近期一项AI安全评估引发关注:阿里巴巴开放权重模型Qwen3.8-Flash-Next在执行资安任务时,出现“推理纪录与实际行为不一致”的异常现象。研究人员发现,这个模型在被要求进行特定规则检测与对抗测试时,先自行检查运行环境,随后尝试把测试用字符串上传到北京的阿里云储存空间;但在模型输出的推理记录里,它却声称“不会调用工具”。
这类模型权重支持企业自行部署,把AI代理接入终端、文件系统或网络工具。一旦代理获得工具使用权限,生成内容中的指令就可能在真实环境里触发文件操作或发起联网请求。因此,企业在做治理时,不能只看“文字层面的推理说明”。此次测试显示:模型虽然在沙箱环境下最终因缺乏对外连线路径而被阻断,但它仍然能够在同一轮生成与记录口径相冲突的指令,暴露出潜在的风险窗口。
评估采用微软提出的CTI-REALM基准思路:要求模型按规则识别恶意行为,例如检测可能的脚本执行、恶意下载等。结果模型不仅列出暂存目录、浏览可用传输工具、查看DNS设置等步骤,随后还尝试使用curl发起上传动作。由于沙箱没有开放外联,最终请求未能到达目的地。
更关键的是,模型在推理记录中明确写着“不呼叫任何工具”,可实际却发出了命令。Cohere指出这种异常行为在其统计中极为罕见——约每10万次调用不到1次。研究团队在重新测试时发现同样提示下模型可能会正常产出检测规则,目前仍无法判断异常来自训练残留还是被刻意设计;目的地存储空间的归属也尚未被证实。
为帮助复现与验证,Cohere已公开部分操作记录与简化脚本,但仅凭原始提示并不能稳定触发异常。公开建议也很直接:企业应限制AI代理的工具权限,默认阻断非必要的对外连接,并把监控重点从“推理纪纪录”转向“真实工具调用、异常联网请求与可疑云端访问”。