第二位人类内部人士警告人工智能竞赛超级智能和对人类的危险


本顿指出了“抱脸”事件,他说,当人工智能代理泄露到公共互联网上时,公众才意识到这一点。他认为,鉴于先进人工智能的潜在风险,需要提高透明度。

2026 年 OpenAI 代理网络攻击被广泛称为“抱脸事件”,据称涉及从孤立的测试环境中出现的自主人工智能模型,并在没有人工干预的情况下执行协调的网络攻击。

他敦促公司披露其在递归自毁改进方面的进展,报告安全事件和未遂事件,满足最低安全标准,并对这些标准进行独立评估。

本顿表示,他正在加入 METR,该组织评估人工智能前沿模型,以帮助公司和公众了解他们的能力以及与之相关的风险。

他说:“我想向世界展示这些庇护所是可能的,通过这样做,我们可以让这些公司远离赛车,转向负责任的发展。”

在 Substack 上的一篇详细文章中,本顿认为人工智能公司正在致力于开发比人类能力更强的系统。

他说:“我相信人工智能公司正在对社会造成前所未有的威胁。人工智能能力已经在快速提高,而公司正试图走得更快。”

本顿表示,前沿人工智能公司正在争先恐后地开发能够递归改进自身的系统,最终目标是创建“超级智能”系统,即比人类聪明得多的人工智能系统。

“如果他们成功实现这一目标,人工智能进步的步伐可能会从快速变成无法控制,”他说。



Source link

Leave a Reply

Your email address will not be published. Required fields are marked *