马斯克命令停息AI开发，夸大文明会失控，这种担心多虑了？

划重点

文 / 胡泳 北京大学消息与传播学院教授

在GPT-4火热出炉、人工智能军备角逐方兴未艾的形势下，包罗埃隆·马斯克（Elon Musk）和苹果公司连合首创人史蒂夫·沃兹尼亚克（Steve Wozniak）在内的千余名科技首脑签订了一封公开信，恳请研究职员在六个月内停息开发比GPT-4更强盛的人工智能体系。

起首，面对人工智能，公开信是老套路了。2015年1月，霍金（Stephen Hawking）和马斯克及数十位人工智能专家就签订过一封关于人工智能的公开信，命令对人工智能的社会影响举行研究，并制止研究职员创造出不安全或无法控制的体系。2018 年，构造这一次公开信的生命未来研究所（Future of Life Institute，FLI）还草拟过别的一封信，命令订定“针对致命自主武器的法律”，签订人当中也有马斯克。

其次，对署名者的名单要审慎对待，由于有报道称某些名字被添加到名单里是恶作剧，比方OpenAI首席实行官山姆·阿尔特曼（Sam Altman）也曾短暂地现身此中。有些签订者明白表现并差别意公开信的全部内容，只是由于“转达的精神是对的”而表现支持。固然，更多的人工智能研究者和专家公开表现差别意这封信的提媾和方法。

信中提到了对错误信息传播、劳动力市场主动化风险以及文明失控的大概性的担心。以下是要点：

* 失控的人工智能

各家公司正在竞相开发先辈的人工智能技能，连创造者都无法“明白、猜测或可靠地控制”。

信中写道：“我们必须问本身：我们应该让呆板用宣传和不真实的东西充斥我们的信息渠道吗？我们是否应该把全部的工作都主动化，包罗那些有成绩感的工作？我们是否应该开发非人类的大脑，使其终极在数目上高出我们，在智慧上赛过我们，镌汰并取代我们？我们是否应该鲁莽去对我们文明控制的风险？这些决定绝不能委托给未经推选的技能首脑。只有当我们确信强盛的人工智能体系的结果是积极的，其风险是可控的，才应该开发。”

* “伤害的角逐”

这封信告诫说，人工智能公司陷入了“开发和摆设”新的先辈体系的“失控角逐”。 近来几个月，OpenAI 的ChatGPT的病毒式盛行似乎促使其他公司加速发布本身的 AI 产物。

公开信敦促企业劳绩“人工智能之夏”的回报，同时让社会有时机顺应新技能，而不是匆忙进入“毫无预备的秋日”。

* 六个月的停息期

信中说，停息开发将为人工智能体系引入“共享安全协议”提供时间。信中还称，“如果无法快速实行如许的停息，政府应该参与并订定停息期”。

公开信表现，停息应该是从围绕先辈技能的“伤害角逐”中退却一步，而不是完全制止通用人工智能（Artificial general intelligence，AGI）的开发。

一些支持FLI的人以为，研究职员正处于不知不觉中创造出伤害的、有知觉的人工智能体系的边沿，就像在《黑客帝国》和《闭幕者》等盛行的科幻影戏系列中看到的那样。更加激进的人士如埃利泽·尤德科夫斯基（Eliezer Yudkowsky）以为，应该无穷期停息新的大规模训练，而且是在全天下范围内停息。“关闭全部的大型GPU集群（大型盘算机农场，最强盛的人工智能在这里得到美满）。关闭全部的大型训练运行。对任何人在训练人工智能体系时被答应使用的盘算本领设置上限，并在未来几年内将其下调，以赔偿更有用的训练算法。立即订定多国协议，防止被克制的运动转移到其他地方。”

而剧烈反对的人以致失去了规矩扬声恶骂。我熟悉的纽约都会大学消息学教授杰夫·贾维斯（Jeff Jarvis）一扫往常心目中的温文印象，在推特上发帖说：“这真XX的可笑，如果我见过的话，这是#道德恐慌#的一个典范标本：命令停息训练人工智能。谷登堡：制止你的印刷机! 有这么多疑为道德企业家和留意力成瘾者的人士署名。”

公平地说，固然业界绝不会同意停息六个月，但人工智能发展眼下的发展将速率置于安全之上，简直须要引发社会关注。我以为我们须要敲响尽大概多的警钟，以唤醒羁系者、政策订定者和行业领导者。在其他情况下，玄妙的告诫大概就充足了，但语言模子技能进入市场的速率比此前人们履历过的任何技能都要快。放缓一下脚步，思考一下前路，对社会顺应新的人工智能技能是须要的。

但我们看到的情况恰好相反，在伤害的角逐中，各人都在加码，由于赌注在加大。“一场角逐从本日开始”，微软首席实行官萨蒂亚·纳德拉（Satya Nadella）在 2 月 7 日向谷歌发出了挑衅， “我们要举措，而且举措要快”。为应对ChatGPT 的乐成，谷歌公布进入“赤色代码”企业告急状态，并将本身的谈天呆板人 Bard 推向市场，在一次演示中表现，它将“重新校准”在发布基于 AI 技能的工具时乐意负担的风险水平。在 Meta 近来的季度财报电话集会会议上，首席实行官马克·扎克伯格（Mark Zuckerberg）公布他的公司目标是“成为天生式人工智能的领导者”。云云热浪滚滚，技能带来的错误和危害肯定有所增长——人们对人工智能的反对也会增长。

人工智能安全初创公司SaferAI的首席实行官西米恩·坎珀斯（Simeon Campos）说，他签订这封信是由于，如果连这些体系的发明者都不知道它们是怎样工作的，不清晰它们有什么本领，也不相识对它们的举动怎样举行限定，那么就不大概管理体系的风险。 “我们正在将这类体系的本领扩展到亘古未有的水平，在全速角逐中对社会产生厘革性影响。必须放慢它们的发展速率，让社会顺应并加速更换性的AGI架构，这些架构在计划上是安全的，而且可以正式验证。”

公开信的签订者、纽约大学光荣教授加里·马库斯（Gary Marcus）信赖，这封信将成为一个迁徙转变点。“我以为这是AI史上——大概也是人类史上——一个非常紧张的时间。”这个恐怕过头其辞了。公开信在一些紧张的地方是错误的。

信中说：“正如大量研究表明的那样，具有人类竞争力的人工智能体系会对社会和人类构成深远风险。”着实风险更多来自于大型语言模子（large language model, LLM）在一个克制性体系中的使用，这比假想的人工智能反乌托邦远景要具体和告急得多。

岂论我们多么惊叹LLMs的“智能”，以及它的学习速率——每天都有各种非常进取的创新出现，微软的一组研究职员在测试了GPT-4之后以致陈诉说，它闪现了通用人工智能的火花——然而LLMs在本质上不大概拥有自我意识，它们只是在巨大的文本库中训练出来的神经网络，通过辨认模式来产生本身的概率文本。风险和危害从来都非源出强盛的人工智能，相反，我们须要担心的是，大型语言模子的权利会合在大玩家手中，复制克制体系，粉碎信息生态体系，以及通过浪费能源资源粉碎天然生态体系。

大公司对它们正在做的变乱变得越来越机密，这使得社会很难反抗大概出现的任何危害。公开信没有说到社会公理，而像OpenAI如许的公司依靠于举世南方国家的剥削性劳动，在那里使用时薪不到 2 美元的肯尼亚外包工人来检察有害内容，包罗愤恨言论和暴力，以辅导人工智能制止这些内容。别的，尚有人工智能用于使用的大概性：现在已经存在通过个性化对话影响运动的技能，这些运动根据用户的代价观、爱好和配景来定位用户，以推动贩卖、宣传或错误信息。也就是说，人工智能驱动的对话影响有大概成为人类创造的最强盛的有针对性的说服情势。正如马库斯所说，他并差别意其他人对智能呆板超出人类控制的担心，更加担心的是被广泛摆设的“平庸的人工智能”，好比被犯罪分子用来诱哄人们或传播伤害的错误信息。

// 编注：传统的“南方”“北方”概念出现在上世纪五六十年代，在殖民地解放运动风起云涌的配景下，一些摆脱殖民枷锁走上独立发展蹊径的国家开始使用“南方”，来表明发展中天下与工业化国家代表的“北方”之间存在体系性不同等。

其他标题包罗隐私标题，由于 AI 越来越可以或许表明大型监控数据集；版权标题，包罗 Stability AI 在内的公司正面对来自艺术家和版权全部者的诉讼，他们反对未经答应使用他们的作品来训练 AI 模子；能源斲丧标题，每次提示 AI模子时，它都须要能源。人工智能模子使用与游戏盘算机雷同的强盛 GPU 处置惩罚器，由于它们须要并行运行多个历程。

公开信渲染人工智能的末日图景，本身也吊诡地布满了人工智能的炒作，使我们更难懂决真实的、正在发生的人工智能危害。在这方面，公开信根本上构成了一种误导：把各人的留意力引向假设的LLMs的权利和危害上，并提出一种非常暗昧和无效的办理方式，而不是着眼于此时此地的危害并推动办理相干标题——比方，在涉及LLMs的训练数据和本领时要求更多的透明度，大概就它们可以在那里和何时使用举行立法。

公开信提到“人工智能将引起的戏剧性的经济和政治杂乱”，实际上，人工智能并不会引发这统统，技能背后的企业和风险投资公司却会。它们渴望尽大概地赚取更多的钱，却很少关心技能对民主和情况的影响。骇人听闻者大谈特谈人工智能造成的伤害，已经让听者以为并不是“人”在决定摆设这些东西。

可巧地是，OpenAI也担心人工智能的伤害。但是，该公司渴望审慎行事而不是停下来。“我们渴望乐成应对巨大的风险。在面对这些风险时，我们承认理论上看似准确的变乱在实践中通常比预期的更奇怪”，奥特曼在 OpenAI 关于规划通用人工智能的声明中写道。“我们信赖我们必须通过摆设功能较弱的技能版原来不绝学习温顺应，以最大限度地淘汰‘一次乐成’的情况。”

换句话说，OpenAI正在准确地依照人类通常的获取新知识和开发新技能的路径——即从反复试验中学习，而不是通过超天然的先见之明“一次乐成”。这种做法是准确的，同时，把人工智能工具交给平凡大众使用也是对的，由于“民主化的访问将导致更多更好的研究、分散的权利、更多的长处以及更多的人贡献新想法”。我们只是同时也须要人工智能实验室提供关于训练数据、模子架构和训练制度的透明度，以便全社会更好地研究它们。

微软说它是“由以人为本的道德原则驱动的”；谷歌说它将“大胆而负责任地”向前迈进；而OpenAI说它的使命是用技能“造福全人类”。我们看到许多如许的公司推出了强盛的体系，但也在某种水平上推卸责任，而且不太清晰它们将怎样管理自身而成为真正的担责者。时间会告诉我们这些宣言是否会有举措的支持，大概充其量只是谈天而已。

本文独家发布腾讯消息，未经授权，请勿转载。