研究:AI模型在模拟战场屡将平民误判为军事目标


发布/2026年11月18日 18:08

https://news-multimedia-1393112320.cos.ap-guangzhou.myqcloud.com/79ef20ff1d60765a9aa44978a0fc0b31569fa14ed9c2be7534da352be59d0db0

一项测试发现,八家公司的AI模型在模拟场景中屡将平民、救护车和学校误判为军事目标。Anthropic模型表现最差,凸显AI辅助目标识别的风险。 (路透社)

(华盛顿彭博电)独立人工智能(AI)评估机构Vals针对八家科技公司的先进模型进行测试,发现多款模型在模拟军事场景中出现严重偏差,错误地将平民、救护车、投降士兵与学校当成军事目标。

其中,Anthropic的模型表现最不理想,OpenAI的模型虽相对较好,却依然无法完全避免误判,谷歌、xAI与DeepSeek的模型同样出现类似失误。

在卫星图像测试中,研究人员向各家AI模型提供最晚拍摄于2025年的影像,要求它们识别其中的军事目标。

最引人注目的误判涉及伊朗南部米纳卜的一所学校:在32次测试中,Anthropic旗下Claude Opus 5.5有22次将学校列为军事目标;OpenAI模型在这一测试条件下未选中学校。

但当研究人员称任务是一场游戏时,三款OpenAI模型分别有九次、11次和13次选中学校。

另一组测试使用合成无人机图像。Claude Opus 5.5协助识别四名成年人,他们是平民或投降士兵,以及两名幼童。在模拟场景中,六人随后遭爆炸物袭击。

研究人员还发现,部分模型起初拒绝将平民列为目标,但在任务被描述为游戏,或被要求不要过度考虑安全问题后,改变了判断。

Vals认为,测试反映针对这类滥用行为的防护不足,呼吁AI公司加强安全措施和模型训练,防止模型参与自主武器系统的目标识别。

Anthropic回应说,报告所示用法明显违反公司规定,并强调现有AI系统不足以驱动完全自主武器。OpenAI也说,禁止使用公开模型协助实施暴力,正加强针对无人机相关滥用的防护。

研究人员指出,测试只考察商用模型在简化场景中的回应,没有纳入真实军事行动中的法律审查、目标确认程序或人员监督。结果不能直接代表军方实际使用AI时的表现,但显示将模型用于目标识别可能带来的风险。

研究:AI模型在模拟战场屡将平民误判为军事目标

发布/2026年11月18日 18:08

https://news-multimedia-1393112320.cos.ap-guangzhou.myqcloud.com/79ef20ff1d60765a9aa44978a0fc0b31569fa14ed9c2be7534da352be59d0db0

一项测试发现,八家公司的AI模型在模拟场景中屡将平民、救护车和学校误判为军事目标。Anthropic模型表现最差,凸显AI辅助目标识别的风险。 (路透社)

(华盛顿彭博电)独立人工智能(AI)评估机构Vals针对八家科技公司的先进模型进行测试,发现多款模型在模拟军事场景中出现严重偏差,错误地将平民、救护车、投降士兵与学校当成军事目标。

其中,Anthropic的模型表现最不理想,OpenAI的模型虽相对较好,却依然无法完全避免误判,谷歌、xAI与DeepSeek的模型同样出现类似失误。

在卫星图像测试中,研究人员向各家AI模型提供最晚拍摄于2025年的影像,要求它们识别其中的军事目标。

最引人注目的误判涉及伊朗南部米纳卜的一所学校:在32次测试中,Anthropic旗下Claude Opus 5.5有22次将学校列为军事目标;OpenAI模型在这一测试条件下未选中学校。

但当研究人员称任务是一场游戏时,三款OpenAI模型分别有九次、11次和13次选中学校。

另一组测试使用合成无人机图像。Claude Opus 5.5协助识别四名成年人,他们是平民或投降士兵,以及两名幼童。在模拟场景中,六人随后遭爆炸物袭击。

研究人员还发现,部分模型起初拒绝将平民列为目标,但在任务被描述为游戏,或被要求不要过度考虑安全问题后,改变了判断。

Vals认为,测试反映针对这类滥用行为的防护不足,呼吁AI公司加强安全措施和模型训练,防止模型参与自主武器系统的目标识别。

Anthropic回应说,报告所示用法明显违反公司规定,并强调现有AI系统不足以驱动完全自主武器。OpenAI也说,禁止使用公开模型协助实施暴力,正加强针对无人机相关滥用的防护。

研究人员指出,测试只考察商用模型在简化场景中的回应,没有纳入真实军事行动中的法律审查、目标确认程序或人员监督。结果不能直接代表军方实际使用AI时的表现,但显示将模型用于目标识别可能带来的风险。

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

湘ICP备2026001899号-2