AI大模子专家访谈丨港科大何俊贤：评测基准是大模子开辟的指南针

12月28日，2023人工智能大模子基准测试科创发展大会暨中西部数字经济大会（下称“大会”）将在成都市正式举行。

一方面，大会约请权势巨子机构及高校专家组建了“大模子基准评测专家委员会”，将对国内大模子开展评测工作，深入相识当前国内大模子的本领程度以及大模子企业发展情况。另一方面，头部企业、专家学者、国内权势巨子尺度订定机构等将在大会齐聚一堂，共同探究行业发展趋势，搭建产业上卑鄙沟通平台，推动大模子技能的进步。

大会举行前夕，红星资源局对话了香港科技大学盘算机系助理传授何俊贤，他重要研究关注大语言模子的efficient adaption, factuality, reasoning, evaluation等方向。何俊贤担当ACL和EMNLP的范畴主席，论文入选ACL 2019最佳体系论文提名、ICLR 2022最有影响力论文榜单（paper digest），曾获百度AI博士奖学金、AI华人新星百强等荣誉。他引导门生发布了大模子的中文权势巨子评测基准C-Eval，发布以来下载量高出50万次。

何俊贤表现，大语言模子隔断大众很近，新技能很快会被大众感知。他们工作的终极目的，是实现真正意义上的能人工智能。

以下是对话实录：

红星资源局：ChatGPT很受接待，也正是你研究的语言方向大模子。怎样来权衡一个大语言模子的智能程度？

何俊贤：真正的智能，是用户已经分辨不出，对面到底是一个专家，照旧一个呆板。

真正的智能不但是闲聊，好比保举商品，扣问本日的气候，还可以问关于汗青数学物理的各种知识，以致可以上传一道测验题，直接问这道题怎么做，也可以帮你写代码，帮你写消息稿。

如果这些方方面面的变乱都可以做得很好，感觉很聪明，可以获取天下上的知识，也有很强的推理本领。那么我们以为这已经和真人无异了。

红星资源局：你引导门生发布了大模子的中文权势巨子评测基准C-Eval，和之前的评测榜单有什么区别？

何俊贤：C-Eval是中文的第一个测大模子的评测基准。

从前在天然语言处理处罚方向，也有许多中文的数据集和评测基准被广泛应用。但随着客岁底像GPT如许的大模子出来后，许多从前的测评就没那么全面，由于大模子的本领着实太强了。从前的评测基准的区分度不敷，行业突然履历大厘革，急需新的评测基准来资助各人开辟模子。

如果没有评测基准，开辟会非常困难，就像飞行没有指南针。由于在整理数据做训练来开辟模子的过程中，没有尺度来告诉你，方向到底是对照旧错。

之前传统评测基准的使命就像有一条点评，帮我猜测到底是一星的照旧两星的，到底是正面照旧负面的评价，这种使命相对来说很简朴。

现在C-Eval的使命是真的高考、考研的，以及清华北大上交这些学校本科生的数学物理生物真题，有50多个科目，和从前的难度很不一样。

红星资源局：如果要处理处罚现在更高的难度，对大模子提出的新要求在哪？

何俊贤：大模子须要可以大概精确影象更多的知识，且可以大概举行更复杂的推理。

红星资源局：从C-Eval的标题来看，不但检验信息的储备本领，另有数理类的解题本领？

何俊贤：一个模子除了知识以外，还很紧张的是分析本领，由于我们以为真正的智能是须要推理的。

一方面，以中文的配景来说，模子须要知道许多知识，包罗和中国文化有关的汗青、政治、地理等各方面的知识。这须要影象本领，但影象本领比力浅近，只须要记着就可以。

另一方面，数学和物理须要的逻辑推理本领很难。知道数学和物理的原理，要运用原理，用肯定的逻辑把标题解出来。这本质上是一种强逻辑的测试，每每对大脑非常难，由于某种程度上，这才关系到真正的智能。

红星资源局：C-Eval榜单测过的近100个模子中，中文的大语言模子到哪个阶段了？和ChatGPT4.0的差距另有多少？

何俊贤：跟ChatGPT4.0的差距照旧很大的。由于ChatGPT在中文基准上，没有办法完全反映出它的上风。

我们5月份测的时间，ChatGPT4.0是遥遥领先的，比第二名要高许多。但是现在ChatGPT4.0在我们的榜单上，大概只排到前10左右。一方面由于C-Eval测评的一部分须要死记硬背，测的又是中国文化，ChatGPT没有那么善于。另一方面由于国内许多模子有对C-Eval举行针对性的优化，导致榜单数字虚高，也就是我们常说的“刷榜”活动。

但是从更多的评测来看，以及各人直观的感受，着实国内的模子和ChatGPT4.0的差距还很大。用户的感受是最直观的，这很难诱骗大众。

红星资源局：对中文的大模子来说，须要办理的差距在哪？

何俊贤：国内的模子和ChatGPT最大的差距，照旧强推理本领上。这关系到更高条理的智能，真正的差距并不是死记硬背的那部分。

真正的差距，是一些很难的使命，好比说让它帮你写代码，让它明白一个很长的指令，然后让它自己推理的本领，这方面的差距非常大。这是很关键的本领，死记硬背上的差距并没有那么大。

红星消息记者 程璐洋

编辑 余冬梅