专访OpenAI研发团队：曾对ChatGPT走红感到狐疑

2022 年 11 月尾，当 OpenAI 免费推出 ChatGPT 时，这家总部位于美国旧金山的人工智能公司对它险些没有什么特别等候。显而易见的是，OpenAI 内部没有人预备好欢迎云云大规模的惊动。从那以后，该公司不绝在追赶用户的盼望、办理用户发现的标题，并实验让自己的乐成长处最大化。

在 OpenAI 研究政策的桑德希尼·阿加瓦尔（Sandhini Agarwal）说，ChatGPT 被内部视为一个“研究预览”，是一项两年前的技能的更好版本，更紧张的是它试图通过网络公众的反馈来办理模子的一些缺陷。在 OpenAI 研究 ChatGPT 的科学家利亚姆·费杜斯（Liam Fedus）说：“我们不想把它作为一个巨大的技能进步来夸大它的水平。”

为了相识 ChatGPT 谈天呆板人背后的故事——它是怎样制作的，OpenAI 自发布以来怎样更新它，以及它的开辟者对其乐成的见解——我采访了四个人，他们资助构建了这款最受欢迎的互联网应用。除了阿加瓦尔和费德斯，我还采访了 OpenAI 的连合首创人约翰·舒尔曼（John Schulman）和 OpenAI 对齐团队（Alignment Team）的负责人简·莱克（Jan Leike），该团队致力于让人工智能只做用户想做的事故（并仅限于此）。（注：人工智能范畴的对齐，指的是引导人工智能体系的活动，使其符合计划者的长处和预期目标。）

我的感觉是，OpenAI 仍然对其“研究预览”的乐成感到狐疑，但已经捉住这次时机推动这项技能更好地发展，观察数以百万计的人是怎样利用它的，并试图办理最糟糕的标题。

自 2022 年 11 月以来，OpenAI 已经多次更新了 ChatGPT。研究职员正在利用一种叫做对抗性练习的技能来制止用户对 ChatGPT 的诱骗（这也被称为越狱）。这项工作让多个谈天呆板人相互对抗：一个谈天呆板人扮演暴徒，通过天生文原来攻击另一个谈天呆板人，迫使它突破通例束缚，做出不应该做出的活动。乐成的攻击会被添加到 ChatGPT 的练习数据中，渴望下一代模子可以或许学会忽略它们。

OpenAI 还与微软签署了一项数十亿美元的协议，并公布与举世管理咨询公司贝恩（Bain）相助。贝恩操持让适口可乐等客户利用 OpenAI 的天生式人工智能模子举行营销活动。除了 OpenAI 自己，关于 ChatGPT 的惊动还引发了新一轮围绕大型语言模子的高潮，举世各地的公司和投资者纷纷投身此中，恐怕慢人一步。

短短三个月里，我们看到了许多报道。但 ChatGPT 是怎样诞生的？OpenAI 接纳了哪些步调来确保它已经预备好向公众开放了？下一步又是什么？对此我们知之甚少。

为了便于阅读和明白，我们对采访内容举行了编辑。

简·莱克（Jan Leike）：诚实说，如今的状态真是太棒了。这让我们很惊奇，我们不绝在积极追赶公众的热情和盼望。

约翰·舒尔曼（John Schulman）：在 ChatGPT 发布后的几天里，我经常检察推特，当时有一段非常疯狂的时期，推特上充斥着 ChatGPT 的截图。我之前盼望它能符适用户的直觉，我也渴望它能得到一群粉丝，但我并没盼望它能到达如今这个盛行水平。

桑德希尼·阿加瓦尔（Sandhini Agarwal）：我以为这对我们全部人来说都绝对是一个惊喜。我们更多地关注这些模子自己，以至于我们忘记了公众会对它感到多么惊奇。

利亚姆·费德斯（Liam Fedus）：我们对它的反响感到非常惊奇。我们已经看到过许多通用谈天呆板人，我们自己也知道它很难做好。然而，我们的内测给了我们信心，由于我们看到有些东西真的很棒。

简·莱克（Jan Leike）：我很想更好地明白是什么推动了这齐备——是什么推动了它的疯狂流传和爆红。诚实说，我们不明白，也不知道缘故原由。让该团队感到狐疑的部分缘故原由在于，ChatGPT 背后的大部分技能并不奇怪。ChatGPT 是 GPT-3.5 的一个微调版本。GPT-3.5 是 OpenAI 在 ChatGPT 出现前几个月发布的大型语言模子眷属。GPT-3.5 自己就是 GPT-3 的更新版本，后者诞生于 2020 年。该公司在其网站上提供了这些模子的 API 接口，这使得其他软件开辟职员可以很轻易地将模子插入到他们自己的代码中。OpenAI 还在 2022 年 1 月发布了另一款 GPT-3.5 微调版本，名为 InstructGPT。但公众并没有对之前这些版本云云痴迷。

利亚姆·费杜斯（Liam Fedus）：ChatGPT 模子与 InstructGPT 模子利用了雷同的语言模子，但微调方法稍有差别。我们添加了一些对话数据，并调解了一些练习过程。以是我们不想把它看成一个巨大的技能希望，也没想夸大它。结果表明，对话数据对 ChatGPT 有很大的正面影响。

约翰·舒尔曼（John Schulman）：假如用尺度基准来评估它的技能本事，两个模子之间实在并没有实质性的差别，但是 ChatGPT 更易上手和易用。

简·莱克（Jan Leike）：在某种意义上，你可以把 ChatGPT 明白为已经存在了一段时间的人工智能体系的另一个版本。本质上来说，这并不是一个比之前更强盛的模子。在 ChatGPT 出现之前，同样的根本模子已经以 API 的情势利用了将近一年。但从另一种意义上说，我们使它更符合人类的需求，即用户想让它做什么。它可以与你对话，谈天界面使其很轻易上手，它积极让自己提供资助。这是一个惊人的进步，我以为这是人们开始意识到的一件事。

约翰·舒尔曼（John Schulman）：ChatGPT 更轻易推断出用户的意图。用户可以通过不停调解提示来得到他们真正想要的东西。ChatGPT 的练习方式与 InstructGPT 非常相似，都利用了一种被称为“从人类反馈中强化学习（RLHF）”的技能。这是 ChatGPT 的乐成法门。其根本想法是拿到一个会天生各种内容的大型语言模子，比如 GPT-3.5，然后通过教它人类用户真正喜欢什么样的答复来调解它。

简·莱克（Jan Leike）：我们安排了许多人阅读 ChatGPT 的提示和答复，然后判断一个答复是否比另一个答复更好。全部这些数据被归并到一次练习中。这和我们在 InstructGPT 上所做的是一样的。你渴望它（天生的内容）是有资助的、真实的、无害的。另有一些关于制尴尬刁难话和成为一名假造助手的东西。比如，假如用户的标题不清楚，它就应该追问。它还应该澄清一下，自己是一个人工智能体系。它不应该假设自己是一个不应该拥有的身份，它不应该声称自己拥有它不拥有的本事，当用户要求它做一个它不应该做的使命时，它必须拒绝。在这次练习中出现的一句话是“作为一种由 OpenAI 练习的语言模子……”，之前它并没有明白地说出来，但这句话被人类评审员看得很重。

桑德希尼·阿加瓦尔（Sandhini Agarwal）：是的，我想事故就是如许发生的。我们有一系列的、差别的尺度，人类评分者必须对模子举行排名，比如真实性。但他们也会青睐于他们以为很好的做法，比如不要扮演一个它不应该扮演的脚色。由于 ChatGPT 利用的技能与 OpenAI 之前所用的雷同，以是团队在预备向公众发布这个模子时并没有做任何差别的事故。他们以为，用从前模子所用的尺度就富足了。当我们预备发布时，我们并不以为这个模子会带来全新的风险。GPT-3.5 已经存在于这个天下上了，我们已经知道它富足安全了。通过 ChatGPT 对人类偏好的练习，该模子只是自动学会了拒绝，它会拒绝许多哀求。

简·莱克（Jan Leike）：我们确实为 ChatGPT 做了一些额外的“粉碎性测试”，OpenAI 的每个人都坐下来试图突破它。我们也有外部团体在做同样的事故。我们另有一个开放给可信任用户的早期访问步调，他们也会提供反馈。

桑德希尼·阿加瓦尔（Sandhini Agarwal）：我们确实发现它产生了某些不须要的输出，但 GPT-3.5 也会产生雷同的东西。以是就风险而言，作为一个研究预览——由于这是它最初的意图——它没什么标题。

约翰·舒尔曼（John Schulman）：你不能比及体系完善了才去发布它。我们已经对早期版本测试了几个月，测试职员对该产物有正面的反馈。我们最关心的是究竟性，由于这个模子喜欢制造东西。但是 InstructGPT 和其他大型语言模子已经存在了，以是我们以为只要 ChatGPT 在究竟性和其他安全标题方面比那些模子更好，就富足了。根据我们有限的评估，我们在发布之前确认了该模子确实比其他模子更真实和安全，以是我们才做出了发布的决定。OpenAI 不绝在关注人们怎样利用 ChatGPT。它第一次看到，一个大型语言模子被数万万用户以光怪陆离的方式利用，这些用户大概渴望测试它的极限，发现它的缺陷。该团队试图捉住 ChatGPT 所能产生的标题最大的案例——从侮慢宗教的笔墨到偷取名誉卡号码的恶意软件代码——并利用这些例子来调解该模子的将来版本。

桑德希尼·阿加瓦尔（Sandhini Agarwal）：我们另有很长的路要走。我以为，ChatGPT 的病毒式流传已经让我们已知的许多标题浮出水面，而且变得至关紧张——这些是我们想要尽快办理的标题。比如，我们知道这个模子仍然很有私见。是的，ChatGPT 非常善于拒绝不好的哀求，但它也很轻易被提示所误导，使它不去拒绝我们渴望它拒绝的东西。

利亚姆·费杜斯（Liam Fedus）：看到用户的多样化和创造性，已经很令人高兴了，但我们总是专注于必要改进的范畴。我们以为，通过摆设、得到反馈和改进的迭代过程，我们可以产生划一性最强、性能最强的技能。随着技能的发展，新的标题不可制止地会出现。

桑德希尼·阿加瓦尔（Sandhini Agarwal）：在发布后的几周里，我们看到了人们讨论了一些最可骇的案例，即人们能看到的最糟糕的事故。我们评估了每一个标题，并讨论了我们应该怎样办理它。我们发现的许多事故都与越狱有关，这绝对是一个我们必要办理的标题。但是由于用户必须实验一些复杂的方法，才气让模子说出不好的事故，以是也不能说这被我们完全忽视了，而且这也不是让我们非常惊奇的事故。不外，这是我们如今正在积极积极改进的事故。当我们发现越狱的环境时，我们会将它添加到练习和测试数据中。我们看到的全部数据都将用来塑造将来的模子。

简·莱克（Jan Leike）：偶然一些例子会在推特上疯传，但也会有一些人私下接洽我们。每次我们有了一个更好的模子，我们都想把它放出来并测试它。我们非常乐观地以为，一些有针对性的对抗性练习可以大大改善越狱的环境。现在还不清楚这些标题是否会完全消散，但我们以为，我们可以让许多越狱工作变得更加困难。我想再夸大一次，在模子被公布之前，我们就知道越狱是大概的。但我以为，一旦你摆设了这些体系，就很难真正推测它们会出现哪些安全标题。以是我们非常关注人们利用这个体系去做什么，看看到底发生了什么，然后再对此做出反应。这并不是说，我们不应该在推测安全标题时自动弱化它的紧张性。但是，当一个体系进入实际天下时，真的很难预见会发生什么。2023 年 1 月，微软发布了 ChatGPT 支持的必应搜刮，这是一个以谈天呆板情面势存在的搜刮引擎，许多人以为它是 OpenAI 未发布的 GPT-4 的一个版本。由于 OpenAI 的原话是：“必应背后的驱动技能，是一个微软为搜刮定制的、我们的下一代模子。它连合了来自 ChatGPT 和 GPT-3.5 的进步。”科技巨头开始用上了谈天呆板人，这给那些负责构建底层模子的人带来了新的寻衅。

桑德希尼·阿加瓦尔（Sandhini Agarwal）：如今的风险肯定比六个月前要高得多，但仍低于一年后大概会到达的水平。显然，在这些模子中，真正紧张的一点是它们被利用的上下文。对于谷歌和微软而言，模子会天生假造的究竟，这是一个很大的标题，由于它们本质上是搜刮引擎，用户会等候准确的、真实的内容。搜刮功能对大型语言模子的要求，远远差别于一个好玩的谈天呆板人。我们必要弄清楚，我们如安在全部这些差别的用途之间游走，然后创造一些对人们有效的东西。在差别情形下，我们所盼望的活动大概会有所差别。这增长了更多的压力。由于我们如今知道，我们正在以产物为目标去塑造这些模子。ChatGPT 是一个如今有了 API 的产物。我们正在构建这种通用技能，我们必要确保它在全部方面都能胜任。这是我们如今面对的关键寻衅之一。

约翰·舒尔曼（John Schulman）：我低估了人们在政治话题上利用 ChatGPT 的爱好。在网络练习数据时，我们本可以做出一些更好的决定，如许就可以镌汰由此引发的标题。我们如今正在积极办理它。

简·莱克（Jan Leike）：在我看来，ChatGPT 有许多失败之处——我们有许多的事故要做。我没以为我们办理了全部这些标题。对我们自己和其他人而言，我们都必须转达清楚这项技能的范围性。我的意思是，语言模子已经存在一段时间了，但如今还处于早期阶段。我们知道它们全部的标题。我以为我们必要抢先用户一步，公道地管理盼望，并明白表现这不是一个制品。

支持：Ren

原文：

https://www.technologyreview.com/2023/03/03/1069311/inside-story-oral-history-how-chatgpt-built-openai/