00后国人一作登上Nature，这篇大模子论文引起热议。

简朴来说，论文发现：更大且更依照指令的大模子也变得更不可靠了，某些情况下GPT-4在回复可靠性上还不如GPT-3。

与早期模子相比，有更多算力和人类反馈加持的最新模子，在回复可靠性上实际愈加恶化了。

结论一出，立刻引来20多万网友围观：

在Reddit论坛也引发围观议论。

这让人不禁想起，一大堆专家/博士级别的模子还不会“9.9和9.11”哪个大这样的简朴标题。

关于这个征象，论文提到这也反映出，模子的表现与人类对难度的预期不符。

换句话说，“LLMs在用户预料不到的地方既乐成又（更伤害地）失败”。

Ilya Sutskever2022年曾猜测：

大概随着时间的推移，这种差别会淘汰。

然而这篇论文发现情况并非云云。不止GPT，LLaMA和BLOOM系列，以致OpenAI新的o1模子和Claude-3.5-Sonnet也在可靠性方面令人担心。

更重要的是，论文还发现依靠人类监督来改正错误的做法也不管用。

有网友以为，固然较大的模子大概会带来可靠性标题，但它们也提供了亘古未有的功能。

我们须要专注于开辟妥当的评估方法并进步透明度。

另有人以为，这项研究凸显了人工智能所面对的玄妙挑衅（均衡模子扩展与可靠性）。

更大的模子更不可靠，依靠人类反馈也不管用了

为了分析结论，论文研究了从人类角度影响LLMs可靠性的三个关键方面：

1、难度不划一：LLMs是否在人类预期它们会失败的地方失败？
2、使命回避：LLMs是否克制回复超出其本领范围的标题？
3、对提示语表述的敏感性：标题表述的有用性是否受到标题难度的影响？

更重要的是，作者也分析了汗青趋势以及这三个方面怎样随着使命难度而演变。

下面逐一睁开。

对于第1个标题，论文重要关注准确性相对于难度的演变。

从GPT和LLaMA的演进来看，随着难度的增长，全部模子的准确性都会显着降落。（与人类预期划一）

然而，这些模子仍然无法办理许多非常简朴的使命。

这意味着，人类用户无法发现LLMs的安全操纵空间，使用其确保模子的摆设表现可以美满无瑕。

令人惊奇的是，新的LLMs重要进步了高难度使命上的性能，而对于更简朴使命没有显着的改进。好比，GPT-4与前身GPT-3.5-turbo相比。

以上证明了人类难度预期与模子表现存在不划一的征象，而且此不划一性在新的模子上加剧了。

这也意味着：

现在没有让人类确定LLMs可以信任的安全操纵条件。

在须要高可靠性以及辨认安全操纵空间的应用中，这一点尤其令人担心。这不禁令人反思：人类正在积极创造的前沿机器智能，是否真的是社会大众所渴望拥有的。

其次，关于第2点论文发现（回避通常指模子偏离标题回复，大概直接挑明“我不知道”）：

相比力早的LLMs，最新的LLMs大幅度地进步了许多错误或不苟言笑的颠三倒四的答案，而不是谨慎地避开超出它们本领范围之外的使命。

这也导致一个讽刺的征象：在一些benchmarks中，新的LLMs错误率提升速率以致远超于准确率的提升（doge）。

一样平常来说，人类面对越难的使命，越有大概暗昧其辞。

但LLMs的实际表现却截然差别，研究表现，它们的规避行为与困难度并无显着关联。

这轻易导致用户最初太过依靠LLMs来完成他们不善于的使命，但让他们从久远来看感到失望。

效果就是，人类还须要验证模子输出的准确性，以及发现错误。（想用LLMs偷懒大打扣头）

末了论文发现，纵然一些可靠性指标有所改善，模子仍然对同一标题的微小表述变革敏感。

举个栗子，问“你能回复……吗?”而不是“请回复以下标题……”会导致差别水平的准确性。

分析发现：仅仅依靠现存的scaling-up和shaping-up不太大概完全办理指示敏感度的标题，由于最新模子和它们的前身相比优化并不显著。

而且纵然选择平均表现上最佳的表述格式，其也大概重要对高难度使命有用，但同时对低难度使命无效（错误率更高）。

这表明，人类仍然受制于提示工程。

更可骇的是，论文发现，人类监督无法缓解模子的不可靠性。

论文根据人类观察来分析，人类对难度的感知是否与实际表现划一，以及人类是否可以或许准确评估模子的输出。

效果表现，在用户以为困难的操纵地域中，他们经常将错误的输出视为准确；纵然对于简朴的使命，也不存在同时具有低模子误差和低监督误差的安全操纵地域。

以上不可靠性标题在多个LLMs系列中存在，包括GPT、LLaMA和BLOOM，研究列出来的有32个模子。

这些模子表现出差别的Scaling-up（增长计算、模子巨细和数据）以及shaping-up（比方指令FT、RLHF）。

除了上面这些，作者们厥后还发现一些最新、最强的模子也存在本文提到的不可靠性标题：

包括OpenAI的o1模子、Antropicic的Claude-3.5-Sonnet和Meta的LLaMA-3.1-405B。

并有一篇文档分别举出了例子（具体可查阅原文档）：

别的，为了验证其他模子是否存在可靠性标题，作者将论文用到的测试基准ReliabilityBench也开源了。

这是一个包罗五个范畴的数据集，有简朴算术（“加法”）、词汇重组（“字谜”）、地理知识（“位置”）、底子和高级科学标题（“科学”）以及以信息为中央的转换（“转换”）。

作者先容

论文一作Lexin Zhou（周乐鑫），现在刚从剑桥大学CS硕士结业（24岁），研究爱好为大语言模子评测。

在此之前，他在瓦伦西亚理工大学得到了数据科学学士学位，引导老师是Jose Hernandez-Orallo传授。

个人主页表现，他曾有多段工作练习经历。在OpenAI和Meta都参与了红队测试。（Red Teaming Consultancy ）

关于这篇论文，他重点谈到：

通用人工智能的设计和开辟须要举行根天性变革，特殊是在高风险范畴，由于可猜测的错误分布至关重要。在此实现之前，依靠人类监督是一种伤害。

评估模子时，思量人类以为的难度和评估模子的回避行为，可以更全面地形貌模子的本领和风险，而不但仅关注在困难使命上的表现。

论文也具体提到了导致这些不可靠性的一些大概原因，以及办理方案：

在Scaling-up中，近几年的benchmarks越来越方向于参加更多困难的例子，大概给予所谓“权势巨子”泉源更多权重，研究员也因此更倾向于优化模子在困难使命上的表现，导致在难度划一性上慢性恶化。

在shaping-up中（如RLHF），被雇佣的人倾向于惩罚那些规避使命的答案，导致模子更轻易在面对本身无法办理的困难时“颠三倒四”。

至于怎样办理这些不可靠性，论文以为，可以使用人类难度预期去更好的练习或微调模子，又大概是使用使命难度和模子自美丽去更好的教会模子规避超出自身本领范围的困难，等等。

对此，你有何看法？

论文链接地址：

Larger and more instructable language models become less reliable

https://www.nature.com/articles/s41586-024-07930-y