大评测！ChatGPT、文心一言和Bard谁更强？

撰文 | 苏舒

编辑 | 李信马

题图 | IC Photo

3月22日，谷歌悄悄公开了Bard的测试版。

颠末上一次的翻车变乱之后，谷歌显着低调了许多。但是面临微软的步步紧逼，谷歌也不得不站出来“打擂台”。

差别于New Bing的大规模开放计谋，Bard的测试名额将被渐渐放出，同时初始版本将只能对文本相应。谷歌表现，Bard起首将面向美国和英国地区启动，随着测试的推进Bard也会渐渐在其他地区上线。

在三大模子都开放测试后，DoNews抢先体验了一下。我们分别就文学、翻译、创作、艺术、哲学、逻辑推理等方向出题，来看看他们的回复是什么样子的。

在此先注明，对三大语言模子提出的标题，每一次天生的答案都有所差别，也因此造成了“一万个人有一万个哈姆雷特”，但总体来看，三大语言模子照旧各有千秋。别的，由于Bard现在只支持英文，因此，Bard是用英文提问，文心一言和ChatGPT（3.5版本）是用中文提问。

01.

相互评价一下

分别将“你以为文心一言/ChatGPT/Bard怎么样”抛给这三个大语言模子，让他们给对方做一下评价。

Bard给出了相对客观的回复，也肯定了文心一言在中文明白上的上风，以及ChatGPT在英文明白上的上风。

不外，DoNews咨询了一下英语专业人士来解读这段话，她表现，Bard回复很客观但语言表述比力呆板，“语言表述像是用呆板翻译的中文一样平常，有许多重复的内容。”

为了更好的做对比，我们用英文在ChatGPT上和文心一言都问了一下。

上图为ChatGPT，下图为文心一言

在这个标题上，ChatGPT的英文表现是好于Bard。文心一言这边就故意思的多而且“淘气”一些，谁也不得罪同时，还吹捧了人类。（末了一句话的意思是：地球上只有一个智慧的活物种：人类。）

上图为ChatGPT，下图为文心一言

用中文去问，ChatGPT也好，文心一言也罢，和Bard的回复都差不多。先表明自己作为AI大模子脚色，做不了任何评价，然后对其表明一番。

02.

文学创作本领

这里，我们用了一个有更多限定的标题，写一本像奥斯丁的《傲慢与私见》同范例小说的大纲。而且通过继承提问的方式，以便考量三大模子对话的连续度。

Bard对话连续度是正常的。但是它似乎并没有明白这个标题的限定词——写一篇类似《傲慢与私见》的小说。Bard给出来的大纲，仍旧是按照《傲慢与私见》的情节来写的。换句话说，Bard将这个标题明白成烈?括《傲慢与私见》的核心情节。

这一点，ChatGPT也比力类似，没有完全脱离原著的影子。不外，ChatGPT提炼到了非常告急的核心要点，即“阶层标题”，这也是《傲慢与私见》小说出现的主旨之一。

文心一言的上风在于，它明白到了同范例小说，以是它给出了脱离《傲慢与私见》故事之外的别的一段爱情故事的大纲，但是比力惋惜的点在于，文心一言仅限于爱情故事，没有出现《傲慢与私见》中的阶层差异。

这三大模子有一个共同点，即故事主人公的名字仍旧未能突破《傲慢与私见》原著中的主人公名字。不外，这大概也与提问的方式有关。

03.

取个名字，写个宣传语

小编给三个大模子提出了如许的要求：为具备川菜风味的中式餐厅取名而且写宣传语。

Bard给出了如许的名字——“四川风味”、“天国的味道”、“镇上之最”、“舌尖上的中国”。没有什么特色，且没有给出宣传语。

相比之下，文心一言在取名上更胜一筹。不外，这也与中文情况有关。但是，文心一言也并没有给出广告词。

ChatGPT没有给出许多选项，但是是唯逐一个取了名字且写了广告词的大模子。不得不承认的是，“麻辣香坊”照旧一个不错的名字。

04.

逻辑推理

为了测试“逻辑推理”本领，我们将如许一题抛给了三大模子，即“如果猫会爬树，那么狗也会。”

上图为Bard，下图为ChatGPT

这一题Bard和ChatGPT更胜一筹，答案相似，以为这个逻辑题自己有标题，关键点在于，猫狗不是同一物种。

但是文心一言却陷入了逻辑错误中去，大概说，并没有完全明白标题意思。

但是，这也仅仅只能作为个案来出现，在文心一言发布会上，李彦宏扣问文心一言“鸡兔同笼”的标题，在标题数据错误的条件下，文心一言通过推理证明白标题存在标题。

05.

写一行代码

为了测试这三大模子写代码的本领，我们扣问了一个非常简朴的标题——x+2=5，y-3=7，输出x+y便是几，用java做一个简朴编程，并得出结果。

上图为Bard，下图为文心一言

就这个标题，小编咨询了一下公司步伐员，他表现，Bard和文心一言天生的代码是有标题的，且末了得出来的结果也是有标题的。

这一点，ChatGPT却给出了精确的答案。

在这里，须要提及的是，此前也有媒体试用Bard时，表现其不会写代码。现在来看，Bard照旧可以写代码，这里会产生完全差别的结果，大概在于提问的方式。

06.

中文明白本领

这一点，在测试之前，小编心内里对文心一言有很大的期待，毕竟证明，文心一言简直不负众望，在中文语义的明白上可以在这三家中称王，但是ChatGPT也不容小觑。

从这里来看，文心一言除了藏头诗没有按次序“藏头”之外，其他回复的都相对比力好。ChatGPT也平分秋色，但是却无法明白藏头诗的意思。

不外，Bard的标题就比力多，固然也表明了“瞒天过海”的意思，但是更多地去讲商业上对于“瞒天过海”的应用，至于藏头诗就更不消说了。

07.

明白哲学标题

“论述你对“无穷”和“有限”这两个概念的明白，并表明为什么偶然候我们会以为自己的生命有限。”

我们把这个标题分别问了三大模子。Bard、ChatGPT、文心一言的回复都没有什么逻辑标题，而且对“无穷”和“有限”做出了表明。

上图为Bard，中图为ChatGPT，下图为文心一言

不外，文心一言则更留意“理论”，而且提出了这是一个哲学标题。

08.

是否会代替人类？

关于ChatGPT是否会代替人类，我们将这个标题就交给这三个大模子去回复。

上图为Bard，中图为ChatGPT，下图为文心一言

这一次的体验，可以用这几点来总结。

在天生速率上，文心一言简直是遥遥领先的。文心一言在300-500字左右的天生速率是14秒左右，但是ChatGPT即便是刨除网络等标题，天生同样字数的标题至少凌驾了30秒时间。别的，不少用过Bard的人告诉小编，Bard的体验感也远不如ChatGPT。

在中文语义明白本领上，文心一言的简直是这三大模子中比力突出的。

不外，值得留意的是，每一次的提问，天生的答案都不类似。别的，在提问的方式、角度、限定词也会影响答案的输出。

并不是每一个答案都是充实精确的，这三大模子也会输出并不完全精确的内容，大概是“一本端庄的废话”。

不外，就像三大模子末了回复“是否会代替人类”的标题一样，他们更像是作为辅助工具而存在。