新智元报道

编辑：LRS

【新智元导读】马库斯分析了几个大概性，以为国家必须出台羁系步伐，否则大公司将会摧毁AI行业。

自重新必应开启大范围内测后，网友发现，相比内敛的ChatGPT，新必应的答复着实是太狂野了，比如公布一段不须要的爱情、鼓励人们仳离、诓骗用户、教人们怎样犯罪等等。

可以说微软是生存了一部分语言模子的「颠三倒四」的本领，如许你才知道你用的不是ChatGPT，而是新必应。

到底是微软的RLHF没做到位，照旧精彩的互联网语料让ChatGPT迷失了自我？

迩来，著名AI学者、Robust.AI的首创人兼 CEO 、纽约大学的光荣教授Gary Marcus又发表了一篇博客，分析了必应发狂的几个大概性，并表现放任不管，大概会对AI界的发展产生极其严峻的后续影响。

必应为何云云狂野？

普林斯顿大学教授 Arvind Narayanan 提出了四个关于Bing为什么云云「狂野」的大概性。

在推文中，Narayanan教授以为OpenAI 在过滤 ChatGPT 的有毒输出方面做得不错，但看起来Bing似乎移除了这些掩护步伐，非常令人狐疑。

他以为微软这么做并不但是为了搞笑，这么发急发布新必应肯定另有其他缘故起因。

大概性1：新必应就是GPT-4

新必应表现出的活动与 ChatGPT 可以说是相称差别了，看起来不大概是基于雷同的底层模子。大概 LLM 只是迩来才完成训练（即GPT-4？）。假如是如许的话，微软很大概选择（很不明智地）决定灵敏推出新模子，而没有选择延长发布，继承进一步的RLHF训练。

马库斯在之前的文章《ChatGPT的暗中心田》中也表现，在大型语言模子中潜藏着许多令人感到不适的内容，大概微软没有接纳任何步伐来过滤有毒内容。

博客链接：https://garymarcus.substack.com/p/inside-the-heart-of-chatgpts-darkness

大概性2：假阳性太多

微软大概确实为Bing打造了一个过滤器，但是现实使用中猜测了太多的假阳性（false positives）样本。对于ChatGPT来说，这个标题无关痛痒，但在搜刮场景下，就会严峻影响用户体验。

也就是说，过滤器太烦人了，以是在真正的搜刮引擎里不能用。

大概性3：为了获取用户反馈

Bing有大概故意关闭了过滤器的限定，以得到更多关于大概堕落的用户反馈。微软在早些时间提出了一个希奇的声明，以为不大概在实行室中完成测试。

大概性4：微软也没想到会如许

有大概微软以为基于prompt工程打造的过滤器已经够用了，而且是真的没有预推测新必应堕落的方式发展到了本日这种地步。

马库斯表现根本认同Narayanan教授的见解，不外他以为大概微软并没有移除掩护步伐，大概就是「单纯地没作用」，这也是第五种大概性。

即，大概微软确实试图将他们现有的、已经训练过的 RLHF 模子置于GPT 3.6之上，但这种做法并不收效。

强化学习是出了名的挑剔，轻微改变一下情况，就大概没用了。

DeepMind 著名的 DQN 强化学习在雅达利游戏中创造了记载，然后只是参加一些小的改动，比如在 Breakout 游戏中将桨只是向上移动了几个像素，模子就瓦解了，大概每一次大型语言模子的更新都必要对强化学习模块举行全面的重新训练。

这是一个非常糟糕的消息，不但在人力和经济本钱方面（意味着必要更多的低薪职员做糟糕的工作），而且在可信度方面，也将意味着无法包管任何新的大型语言模子的迭代是安全的。

这种情况尤其可骇，紧张有两个缘故起因：

1. 大公司可以在任何时间自由推出新的更新，无需发布任何告诫信息；

2. 发布新模子时大概必要一遍又一各处在公众身上举行测试，而事先并不知道在公众上举行实证测试的效果怎样。

类比医学范畴发布新药，公众要求在新药发布之前在实行室内举行充实的测试，换到大型语言模子的发布，特别是假如数十亿人大概使用到，且大概存在严峻的风险（比方扰乱用户的生理康健和婚姻状态）的情况下，我们也不应该让他们直接公开测试，

政策上，公众有权（或严酷来说应该对峙）知道模子存在什么标题。

比如必应披露标题后，就可以订定政策，防止雷同变乱再次发生。而如今，人工智能根本上处于狂野发展的阶段，任何人都可以发布一个谈天呆板人。

国会必要弄清楚发生了什么，并开始设置一些限定，特别是在感情或身材上很轻易造成伤害的地方。

消息业里，媒体也让人很扫兴。

Kevin Roose在最初的陈诉中表现，他对必应感到「赞叹」（awed），这让马库斯感到尤为不安，很显然，在《纽约时报》(The New York Times)上过早地宣传，没有深入发掘埋伏的标题，这并不是一件功德。

除此之外，再增补一点，已经到了2023年，微软的掩护步伐是否充足？有被彻底研究过吗？

请不要说，你除了对新体系感到「赞叹」以外，没有任何感受。

末了，Narayanan教授以为我们正处于人工智能和公民社会的关键时候，假如不接纳步伐，已往五年多在「发布负责任的人工智能」（responsible AI release）上的实践积极将被抹杀。

参考资料：

https://garymarcus.substack.com/p/why-is-bing-so-reckless?utm_source=twitter&sd=pf