OpenAI在11月16日宣布启动第一阶段“嵌入式评估”(Embedded Assessments),找来4家独立机构深入其内部,对AI模型的安全性与防护能力进行更彻底的检验。这项计划与以往只通过API对外测试不同,外部专家将获得更高权限:不仅能访问尚未发布的模型,还可能接触原始代码、训练与评估数据、监控系统以及技术文档;同时也能与研究人员面对面交流,尝试挖出常规外测可能遗漏的风险。
在这次合作中,参与机构各有侧重点。首先是Apollo Research,一家专注先进AI安全风险的公益组织,重点关注模型是否会出现“欺骗用户”、隐藏真实意图或绕过安全限制。此次他们将重点调查:模型是否可能暗中违背开发者的原始意图,以及现有监控系统能否及时发现此类异常行为。
另一家是METR,这是一家非营利研究机构,专攻AI能力与风险评估。他们计划检验OpenAI目前规模最大的强化学习训练工作,寻找测试未发现的模型行为偏差,并进一步评估监控机制的有效性。
此外,Transluce聚焦AI模型的可解釋性与安全研究,将检查模型在完成训练后的安全评估质量和覆盖范围。双方还计划在2027年初开展为期约8周的后续评估,追踪评估结果如何影响后续模型的发布决策。
最后是Goodfire,这家公司擅长利用可解釋性技术理解神经网络内部活动。他们将派遣研究人员进驻OpenAI,透过自家平台分析模型内部机制,协助改进训练监控、除错流程,并提升模型对齐表现。
由于评估可能触及敏感机密资料,相关专家需要进驻OpenAI办公场所并使用OpenAI提供的设备。评估机构可自行发布报告,但OpenAI保留删除机密信息的权利,并可要求延后披露与安全风险相关的发现。
OpenAI表示,这项计划也属于其履行更高层级安全承诺的一部分,目标是建立长期的第三方评估机制,并推动AI行业逐步形成共同的安全评估标准。