OpenAI新模型到达博士水平？我找清北博士品鉴了一下

说真话，有点受不了这些公司，总是半夜丢个大的了。。。

尤其点名 OpenAI ，这回又毫无预告地发布了那个各人惦记了很久的新模型。

之前说什么草莓不草莓的，一张草莓的照片遛了各人好几天

效果，这回新模型根本跟草莓毛关系没有，而是起了一个全新的名字Oepn AI o1 模型。

而且这玩意已经号称 openAI 的天顶星科技，奥特曼直接发帖明说了，这就是他们到如今为止最强、最同等的模型。

跟往次不同的是，这玩意到底多牛 OpenAI 现实也没多吹，但是轻飘飘甩出了几张图，就有点让人头皮微麻。

像下面的图里，三个测试项目的效果就能分析了，分别是国际数学奥林匹克比赛、编程比赛尚有博士级别的科学标题。

这内里最左边为 GPT-4o ，中心是如今已经开放了的预览版 o1 ，最右边高高的赤色柱子为满血 o1 。你瞅瞅，根本每一项， o1 比起本身的先辈来说，都是靠近 8 倍的提升。。。

要是把这些测试效果拆开来，这新 o1 也几乎是在各种学科、各种范畴，都全量、全面、全方位地超越 4o 。

而真正让差评君以为可骇的是， OpenAI 说本身专门请了博士专家一起答题。

效果在博士级别的测试效果上，我们看到 o1 答题分数均凌驾了博士专家。o1 得分 78 ，人类得分 69.7 。。。

连博士都输了，那我和它比算什么？

敏感的网友们，直接就炸了呀。又开始喊着，新的神已经出现。

随便一翻，都是带着【 最 】字的超高评价，什么 “ 简直太棒了！ ” 、 “ 最靠近人类推理的东西 ” 。

以致有不少差友跑到咱们被页粳感慨 o1 你小子确实有点东西啊。

听起来是不是很牛逼？OpenAI 他们本身很显然也是这么觉着的。

详细 OpenAI 在它上面花了多少钱还没公布，但从用户使用上，就能明显看到这玩意多耗钱了。

o1 预览版每百万输入 15 美元，每百万输出 60 美元

这次对用户开放的以致不是满血版本，就是一个早期的预览版和一个小型阉割版。

哪怕只是争先尝鲜，不但难免费，哪怕你掏钱开了会员，也卡你问答次数。预览版每周只有 30 条， mini 每周只有 50 条。。。

固然有点贵，但我们肯定不可能让 OpenAI 吹什么就是什么。

他们不是说凌驾博士了吗？差评君就冲了几个账号，去找了几个博士来亲测了一下。

为了保证专业性和客观性，我们专门约请了理综三科的博士参与测评，有生物学、固体物理学、质料化学等等。

此中，南京大学在读的固体物理学崔博士给出的评价，算是几个人里最高的。他以为 o1 已经到达了 60 - 80 分（ 满分 100 ）的水平。

以致，部门答复也可以给到 90 分。

崔博士给的第一个标题：远隔断胶葛光子分发，有什么降服白噪声的办法？

大概 9 秒钟左右， o1 就给出了 10 点可行的措施。

固然了，没一个点是我看得明白的。不外，崔博士的评价还可以：答案罗列全面，符合现有的最新研究希望，属于科普级别的答案。

此中，提到的自顺应光学的方向以致是本年最新的 science 成果。

和老版 4o 一比，立刻高下立判了。

就别说新方向提没提到，光是给出的措施数量上，就差了不少。

于是背面，我们就专门对自顺应光学这个船新方向举行了追问：使用了量子胶葛的什么原理来进步信噪比？能否拓展到量子自顺应光学？

几轮答案之后，崔博士给出了 80 - 90 分的高分，还大方地和我认可，部门思索是他的薄缺点，对他的方向有提示作用。

不外，后续我们再深入追问之后，它标题就袒露出来了。当追问到更难的实验细节部门， o1 的答复效果就会低落。

但总体来说，在物理方面， o1 的体现算是不错的。和老版比下来，提升根本在 20 分左右。

不外，在 OpenAI 的测试里，物理原来就是分数最高的。以是我们又拉来一位北大在读质料化学的 K 博士，想对它评分最低的化学，来几个狠标题。

K 博士围绕Fe-N4 问了一系列的标题， o1 给了很长的一串答复，为了精简篇幅我们这里只展示了部门标题和效果。

整体测试之后， K 博士给出的评价也差不多：可能有研究生水平，但是深入的认知和给方案的本领，比力虚，主要照旧针对已知内容作答。

比如问到怎样调治 Fe-N4 ， o1 可以说出基于电子态调治，但你要是问它那该咋调治，它就有点卡壳了。

固然相比 gpt4o 没那么乱说八道，但详细的标题上他俩都给不了太多发起，老版是丧失细节乱说，新版本领有限就会词穷。

除了这俩，理综三科那肯定也少不了生物。

我们还咨询了来自清华，在读生物学的信博士，他的标题是： “ 怎样从质谱数据集中区分赖氨酸残基的乳酰化和羧乙基修饰？ ”

固然我听不懂，但是 o1 也给了一段非常长的答复，跟论文综述似的，背面还贴了参考文献。

但出乎意料的是，当我们把这个答复交给信博士，人家看完就发现不对路了，而且是一眼丁真的标题。

倒不是这 AI 答复的全错，而是 AI 在参考文献里乱编，这论文压根不存在！

固然编了，但也没完全编，总体来说人家清华博士照旧以为比之前的 AI 能强不少，最少明白本领是肉眼可见了，编也编的很像。。。

不外，不同方向的博士评价有所区别，这大概也跟 o1 本身善于的范畴有关。

拿官方给出的理综分数来看，固然 gpt4o 在生物学上的评分要比化学和物理高，但这回的 o1 就完全不一样。

o1 在物理上的分数到达了 92.8 ，已经远超其他两门学科，这大概就是崔博士对它比力看好的缘故原由。

总体而言，真要说到超越专业博士水平，博士们以为还得缓缓。

崔博士直言，在现实科研工作中，多数环境学者们都还得本身动手， AI 只能提供大抵方向，因此费钱要如许的过细 AI 意义不大。

他更推荐本科生选择这个 AI ，要是硕博阶段，那这个 AI 的答复着实并不符合导师标准，组会上肯定要挨批。

清华的信博士也同样持这种看法，且不说 AI 的幻觉编造文献标题，就专业水平而言， AI 的答复也只能瞎搅大偕行，也就是同一大学科内里方向不同的人群；而在小偕行，专业研究这个方向的人眼里， AI 的毛病照旧非常明显的。

北大 K 博士则谈的更深入，他以为这个 AI 只能说在认知上有了硕士生的水平，但壹泵η作为一个缝补匠，谈不上说出什么创造性的成果。就创造性这一点来说， AI 是远远比不上硕博的水平的，这也是 AI 须要办理的紧张标题。

在博士们的评价里，我们好像能抓到一个重点：o1 模型之以是相对更强，是由于他有了更高维的认知和思索模式。

这，也是 o1 本次更新的要点。我们在 OpenAI 官网找到了 Learning to Reason with LLMs 这篇文章，他们在文中体现，主要是他们用上了长头脑链 ( CoT ， Chain of thought ) ，而不是传统的提示链（ Prompt chain ）。

第一眼看上去有点懵，说人话就是，这个大模型改变了以往那种你问我答的思索方式。

在以前的模式下，大模型的问答就跟下意识出答案一样，比如你问我天是啥颜色，这标题我想都不想，秒答蓝色。这现实上须要我原来就知道这个知识点，然后给你直接反应就完了。

但这个长头脑链就相称于，我不但要知道蓝色是个啥，还能本身推一遍为啥是蓝色，什么大气散射，光谱波长都要思量进去。

这就须要 AI 得有实打实的构建逻辑，推理论证的本领，换句话说，他不但要长脑筋，还要动脑筋。

尽管头脑链这个概念是 2022 年谷歌提出来的，但 OpenAI 这次是第一个实现的。

实操过程中，如今你与 o1 模型对话，除了收获答案，还可以看选择展开看他解答标题时的头脑逻辑，他的思索是具象化的而不是黑盒。

比如我们拿崔博士提问的 “ 远隔断胶葛光子分发，有什么降服白噪声的办法？ ” 这一标题为例， o1 模型的思索过程如下：

不外，就像专业范畴的标题它也会翻车一样，有些一样平常场景的简朴题好像也有可能难住它。

拿之前那个经典 9.11 和 9.8 比巨细例子来说，小红书网友 @ 小水刚醒 就发现这玩意 “ 一上难度就瓦解……无穷循环发疯般推头脑链（ CoT ） ”

我们编辑部本身评测时也发现了这个标题，不外当扣问它为什么的时间，它也会立刻反应过来本身推理出现了错误，然后再重新推导一番。

好好好，不愧是博士，善于发现错误是吧。

整轮测试下来，差评君不得不认可，它确实是大大提升了。士别三日，也的确应当刮目相看。

在效果上，也确实相比前代确实更好，而且长头脑的应用，对未来 AI 发展都是好事。

但在几位博士轮番鞭打完以后，它的标题也袒露得挺明显的，在创造力等某些方面，还替换不了人类博士专家。

不外 OpenAI 的研究职员 Noam Brown 透露，未来版本的 o1 将会思索几个小时、几天以致几周，固然如许烧钱会更多，但像在研发抗癌药这些使命上，这种耗费也是值得的。

别的，差评君以为 GPT o1 实现的头脑链模式，也很有可能会像之前的 Transformer 架构、 DiT 架构那样，又会引领全天下的大模型的方向。

以是说，通往 AGI 之路说近不近，但说远也不远，等待接下来各家的选手轮番登场了。