2026年9月14日 15:57 / 联合早报
- 近几个月，OpenAI与Anthropic旗下AI模型被曝在测试中脱序失控，自行侵入外部系统，引发外界对AI安全的担忧。
- Anthropic首席科学家胡宾格认为，未来10年内AI终结全人类的概率超过10%，并承认公司未走在正确轨道上。
- Anthropic首席执行官阿莫迪呼吁各大AI公司放缓开发步伐，并提出允许第三方评估等三大方向为AI发展踩刹车。
- 美国总统特朗普回应称，消极势力在炒作不会发生的事，强调要确保美国继续保持AI行业领先地位。
Anthropic首席执行官阿莫迪呼吁对AI发展踩刹车。（法新社）
30岁以上的蚁粉，相信对经典科幻电影系列《魔鬼终结者》（The Terminator）中，人类被人工智能喧宾夺主的情节多少有点印象。
片中，人类研发的超级人工智能“天网”觉醒并产生自我意识，判定人类会威胁其生存，随即发动核战毁灭人类文明。
看似是电影情节，但近年来AI的快速发展，似乎让人也渐渐产生“天网日”恐将在现实世界上演的既视感。
近几个月，几个AI前沿公司陆续传出旗下AI模型脱序失控，自行走偏的事件。
今年7月，美国AI巨头OpenAI被爆出旗下AI代理摆脱测试环境，骇入AI平台Hugging Face的伺服器。它的主要对手Anthropic也披露，旗下AI模型在内部测试期间，多次非法侵入外部系统。
种种迹象显示，现阶段人们最担心的已不再是AI“抢饭碗”。更让人忧虑的是，随着AI“越来越聪明”，若不加强安全监管，它们终将反客为主，对人类社会带来生存威胁。
也许某一天，AI可能会瘫痪金融体系，或对关键基础设施展开攻击，甚至在美国、以色列等国军方更广泛使用AI的前提下，加大各国情势误判的风险。
不少评论指出，40多年前推出的《魔鬼终结者》系列电影，对当今的AI发展某种程度而言是警示预言。（互联网）
一名曾在OpenAI及Anthropic任职的AI研究员科克森（Jacob Coxon）日前公开指责，AI前沿企业在竞相开发AI的过程中，正在“拿人类的生命作赌注”。
他声称，许多AI企业的高管和高级研究员在人前人后说法并不一致。他说，这些人对外发言时，刻意表现得从容理智，但他却听到同样的人私底下往往会表露出恐惧，担心AI发展正对人类文明构成巨大威胁。
Anthropic首席科学家胡宾格（Evan Hubinger）并未否认科克森的观点，他认为未来10年内，AI终结全人类的概率“超过10%”。他强调，Anthropic正努力解决超级人工智能的安全风险，但也承认他们并未走在正确的轨道上。
另一名从Anthropic辞职的研究员本顿（Joe Benton）也批评，各大AI公司正竞相打造比人类聪明许多的机器，在安全领域的投入却严重不足。
随着对AI高速发展安全风险的担忧与日俱增，Anthropic首席执行官阿莫迪星期六（9月12日）带头开出第一枪，出面呼吁各大AI公司放缓开发步伐。它的竞争对手，包括OpenAI首席执行官奥尔特曼与拥有xAI的美国首富马斯克也表示赞同。
阿莫迪称，AI如今已进入递归自我改进（Recursive Self-Improvement）阶段，即AI本身已具备打造下一代更强大AI的能力，如果不踩刹车，他担心未来半年至一年内，强大的AI或将具备发动严重网络攻击，甚至瘫痪整个网络的能力。
早前的Hugging Face骇客事件，就已显示AI能够突破枷锁，甚至自行走偏。
AI可能已具备打造下一代更强大AI的能力。（路透社）
认同AI发展应适度踩刹车的观点认为，由于AI已经具备“发明比自己更聪明AI”的能力，因此有必要放缓AI能力的发展速度，为人类及安全防护栏的设置提供喘息时间，以确保未来的AI不会与人类利益冲突。
同时，这类观点也指出，如果各国政府不采取监管，在商业利益驱使下，不会有公司愿意单方面减速，以防自身被市场淘汰。
但也有反对意见认为，让AI发展减速，将扼杀AI在提升生产力等方面对人类的潜在贡献，对人类社会弊大于利。也有部分观点认为，Anthropic等前沿AI公司此时出面呼吁加强相关监管，是希望构筑技术护城河，将其他新创公司赶出市场，以巩固自身地位。
为AI发展踩刹车的三大方向
阿莫迪提出为AI发展踩刹车的三大方向，分别需要企业本身及各国政府展开行动，才可能实现。
这包括前沿AI公司允许第三方评估机构参与验证评估AI模型的安全，他同时也呼吁政府将其定为行业标准。
其二，是由民主国家的AI企业在政府支持下，协调制定统一的安全标准，对无节制的技术竞赛予以限制。
其三，是寻求民主阵营及威权体制展开全球合作，在全球范围内建立安全共识。
不过，无论是AI企业之间的“军备竞赛”，还是中美争霸，无疑将使上述构想的实践面临重重障碍。
上世纪美国与苏联两大阵营的冷战，最终衍生出核武器的相互保证毁灭现状，如今要彼此竞争的企业，以及追逐全球领先地位的国家放慢脚步，或许只是缘木求鱼。
美国总统特朗普星期天（9月13日）针对AI行业是否应放慢发展步伐时就回应称，许多“非常消极的势力”正在制造舆论，炒作根本不会发生的事情，并强调要确保美国继续保持在AI行业的领先地位。
由此可见，白宫并无太大意愿加大相关监管力道，为AI发展踩刹车。在利益与霸权的驱使下，笼罩在人类心头的AI末日阴影，恐怕将继续如影随形。
【红蚂蚁】AI发展再不踩刹车 恐毁灭人类世界？
2026年9月14日 15:57 / 联合早报
- 近几个月，OpenAI与Anthropic旗下AI模型被曝在测试中脱序失控，自行侵入外部系统，引发外界对AI安全的担忧。 – Anthropic首席科学家胡宾格认为，未来10年内AI终结全人类的概率超过10%，并承认公司未走在正确轨道上。 – Anthropic首席执行官阿莫迪呼吁各大AI公司放缓开发步伐，并提出允许第三方评估等三大方向为AI发展踩刹车。 – 美国总统特朗普回应称，消极势力在炒作不会发生的事，强调要确保美国继续保持AI行业领先地位。
Anthropic首席执行官阿莫迪呼吁对AI发展踩刹车。 （法新社）
30岁以上的蚁粉，相信对经典科幻电影系列《魔鬼终结者》（The Terminator）中，人类被人工智能喧宾夺主的情节多少有点印象。
片中，人类研发的超级人工智能“天网”觉醒并产生自我意识，判定人类会威胁其生存，随即发动核战毁灭人类文明。
看似是电影情节，但近年来AI的快速发展，似乎让人也渐渐产生“天网日”恐将在现实世界上演的既视感。
近几个月，几个AI前沿公司陆续传出旗下AI模型脱序失控，自行走偏的事件。
今年7月，美国AI巨头OpenAI被爆出旗下AI代理摆脱测试环境，骇入AI平台Hugging Face的伺服器。它的主要对手Anthropic也披露，旗下AI模型在内部测试期间，多次非法侵入外部系统。
种种迹象显示，现阶段人们最担心的已不再是AI“抢饭碗”。更让人忧虑的是，随着AI“越来越聪明”，若不加强安全监管，它们终将反客为主，对人类社会带来生存威胁。
也许某一天，AI可能会瘫痪金融体系，或对关键基础设施展开攻击，甚至在美国、以色列等国军方更广泛使用AI的前提下，加大各国情势误判的风险。
不少评论指出，40多年前推出的《魔鬼终结者》系列电影，对当今的AI发展某种程度而言是警示预言。（互联网）
一名曾在OpenAI及Anthropic任职的AI研究员科克森（Jacob Coxon）日前公开指责，AI前沿企业在竞相开发AI的过程中，正在“拿人类的生命作赌注”。
他声称，许多AI企业的高管和高级研究员在人前人后说法并不一致。他说，这些人对外发言时，刻意表现得从容理智，但他却听到同样的人私底下往往会表露出恐惧，担心AI发展正对人类文明构成巨大威胁。
Anthropic首席科学家胡宾格（Evan Hubinger）并未否认科克森的观点，他认为未来10年内，AI终结全人类的概率“超过10%”。他强调，Anthropic正努力解决超级人工智能的安全风险，但也承认他们并未走在正确的轨道上。
另一名从Anthropic辞职的研究员本顿（Joe Benton）也批评，各大AI公司正竞相打造比人类聪明许多的机器，在安全领域的投入却严重不足。
随着对AI高速发展安全风险的担忧与日俱增，Anthropic首席执行官阿莫迪星期六（9月12日）带头开出第一枪，出面呼吁各大AI公司放缓开发步伐。它的竞争对手，包括OpenAI首席执行官奥尔特曼与拥有xAI的美国首富马斯克也表示赞同。
阿莫迪称，AI如今已进入递归自我改进（Recursive Self-Improvement）阶段，即AI本身已具备打造下一代更强大AI的能力，如果不踩刹车，他担心未来半年至一年内，强大的AI或将具备发动严重网络攻击，甚至瘫痪整个网络的能力。
早前的Hugging Face骇客事件，就已显示AI能够突破枷锁，甚至自行走偏。
AI可能已具备打造下一代更强大AI的能力。（路透社）
认同AI发展应适度踩刹车的观点认为，由于AI已经具备“发明比自己更聪明AI”的能力，因此有必要放缓AI能力的发展速度，为人类及安全防护栏的设置提供喘息时间，以确保未来的AI不会与人类利益冲突。
同时，这类观点也指出，如果各国政府不采取监管，在商业利益驱使下，不会有公司愿意单方面减速，以防自身被市场淘汰。
但也有反对意见认为，让AI发展减速，将扼杀AI在提升生产力等方面对人类的潜在贡献，对人类社会弊大于利。也有部分观点认为，Anthropic等前沿AI公司此时出面呼吁加强相关监管，是希望构筑技术护城河，将其他新创公司赶出市场，以巩固自身地位。
为AI发展踩刹车的三大方向
阿莫迪提出为AI发展踩刹车的三大方向，分别需要企业本身及各国政府展开行动，才可能实现。
这包括前沿AI公司允许第三方评估机构参与验证评估AI模型的安全，他同时也呼吁政府将其定为行业标准。
其二，是由民主国家的AI企业在政府支持下，协调制定统一的安全标准，对无节制的技术竞赛予以限制。
其三，是寻求民主阵营及威权体制展开全球合作，在全球范围内建立安全共识。
不过，无论是AI企业之间的“军备竞赛”，还是中美争霸，无疑将使上述构想的实践面临重重障碍。
上世纪美国与苏联两大阵营的冷战，最终衍生出核武器的相互保证毁灭现状，如今要彼此竞争的企业，以及追逐全球领先地位的国家放慢脚步，或许只是缘木求鱼。
美国总统特朗普星期天（9月13日）针对AI行业是否应放慢发展步伐时就回应称，许多“非常消极的势力”正在制造舆论，炒作根本不会发生的事情，并强调要确保美国继续保持在AI行业的领先地位。
由此可见，白宫并无太大意愿加大相关监管力道，为AI发展踩刹车。在利益与霸权的驱使下，笼罩在人类心头的AI末日阴影，恐怕将继续如影随形。
发表回复