AI大模子的白垩纪

优美的长假即将已往，我们又该忙起来了。在AI范畴，这两年最忙的一项根本技能应该非大模子莫属。

随着近来AI绘画、AI天生视频等本事不绝革新大众对AI技能边界的认知，站在AI创作家们背后的大模子的职位也跟着水涨船高。大张旗鼓的“炼大模子”运动好像来到了丰收时节。

但在大模子愈发火爆的同时，我们不丢脸到一个标题：预练习大模子固然在浩繁范畴都表现出了精良的应用结果，但这些结果所产生的贸易代价，却很难与大模子的练习资本、根本办法投入资本画上等号。

究竟上，外貌光鲜的大模子正在履历一个有些困难的转型阶段：大模子不绝表现出的“神奇”结果，引发了资源、产业、学术界的巨大关注。随着一个又一个大模子被练习完成，推向市场，却会发现大模子的应用场景与贸易代价固然有，但并不充沛。怎样从“炼大模子”，走向“用大模子”，正在成为关键检验。尤其值得注意的是，中国AI行业对大模子的投资、建立更加激进，那么大模子的应用转型检验也将更加明显、先觉地浮现于中国市场。

AI预练习大模子在现在阶段的境况，让我想到一个词：白垩纪。

白垩纪是地质年代中，中生代的末了一个纪元。这时间环球开始变暖，大陆架布局开始定型。恐龙仍旧统治着天下，但哺乳动物已经开始生动。

大模子好像也处在如许一个阶段里。被BERT、GPT-3夯定的大模子思绪仍旧困绕在AI产业头顶。但怎样让大模子走向新的应用纪元，已经成为一个非常热切，同时略带迷茫的必答题。

新物种开始出现，老物种仍旧占据主流

在讨论大模子的转型之前，我们还是必要用一点篇幅回溯一下大模子的发展思绪与应用逻辑。

所谓的预练习大模子，是指在大规模宽泛数据上举行练习的根本模子。它捉住了深度学习算法数据越多模子鲁棒性越强的根本特点，对模子举行暴力地“数据投喂”。颠末大规模数据的预练习后，模子可以顺应更多种类、更为复杂的鄙俚任务，从而终极得到更好的智能体验。

大规模预练习模子，着实并不是一种技能路径上的创新，而是更靠近把握技能特性之后的工程创新。大模子之路被广泛认可，开始于谷歌在2018年10跃发布BERT。它利用BooksCorpus和维基百科的大规模数据举行模子练习，在11个鄙俚任务上革新了当时的业界记载。

我们可以将大规模预练习模子明确为一种“预制菜”。既然用户自己烹调的难度太高，费工费火，那就不妨由商家先行预制。用户将菜买回后加热一下，参加自己喜好的调料就能上桌食用。大模子的思绪也是云云，它通过上游举行模子预练习，鄙俚举行任务微调的方式来使更多产业能给应用到结果好、质量高的AI模子。

而颠末几年的发展，大模子如今已经来到了一个新旧瓜代的临界点。这里的新旧瓜代可以分为两个层面举行明确。起首大模子自己不绝举行技能层面的革新。我们知道，业界最具典范性，也最为出圈的大模子OpenAI在2020年5月发布的GPT-3。这一大模子具有1750亿参数，在非常多文本天生类任务上有着出众表现。而无论是BERT还是GPT-3，都是自然语言处置惩罚范畴的大模子。而在GPT-3之后，大模子一方面在模子参数上不绝提拔，同时也在技能上举行迭代。好比呆板视觉大模子已经成为行业的新主流，同时多模态大模子与行业知识精密联合的大模子开始出现。推动大模子的本事覆盖从语言走向视觉，继而走向更复杂的综合任务。

另一个层面的大模子新旧瓜代，体如今产业侧对大模子应用的召唤上。随着几年时间已往，“我们必须赶快有一个大模子”的热情开始消退；转而产生了“我们确实有大模子，然后呢？”如许的应用焦急。尤其对于中国市场来说更是云云。在美国AI界，大模子不绝都是少数科技巨头、学术构造在做，此中很多大模子的根本定位就是AI技能投资的一部分。但在中国则差别，怀揣着对技能竞争的器重，大量互联网、云盘算企业都参加了大模子的构建角逐，这些大模子必须找到有效的贸易出谈锋气收回投资。同时，也有大量科研机构、院校参加此中。于是我们可以在中国看到雨后春笋般发布的大模子，如许做的上风是中国AI在大模子数目上遥遥领先，同时，也带来了云云多的大模子项目应该要怎样消化和利用的标题。

现在阶段，大模子产业的特性是那些直接对标GPT-3的大模子项目仍旧占据主流，大概说并没有给出太多有说服力的逾越代价。同时，新的大模子技能思绪与产业转型思绪也已经开始出现。这正是白垩纪的特点：恐龙和哺乳动物共处一地，而新生物种正期待着更多变革到来。

大模子的霸道生长，已经陷入某种枯竭

几年来，炼大模子成了AI范畴最热门，同时也最能引起舆论、资源关注的一件事。陪伴着大量大模子项目标快速上马，我们很难判定此中有哪些是抱着“竞争对手在做，以是我也要做”的互联网心态来推动，又有哪些项目是为了与新基建、科技举国体制等热门概念挂靠灵敏上线。

团体来看，赛马圈地式的大模子产业发展，为整个AI范畴提供了一种积极昂扬的氛围。推动大模子与各个行业、各科研范畴联合变得比力轻松。与此同时，我们也很轻易将大模子与更多AI技能，乃至VR、元宇宙、区块链等同样被称为风口的技能举行类比，而且发现大模子的发展轨迹，也有着诸多“霸道生长”的陈迹。

着实从应用角度看，大模子就像云盘算一样，是一种将产业上游投入举行收紧的集约化操纵。一样寻常来说，企业应用AI有几种方案。最简单的一种是直接接入具有AI本事的标准化API，这种模式只能提供简单的AI本事，无法覆盖复杂的智能化需求；第二种是团体定制AI办理方案，这种方案必要产生高额的定制费用与专家资本，是最不经济划算的一种；第三种是自己举行AI开发，这种最为贴近企业真实需求，但会导致开发出的模子不敷标准化，与业界领先程度具有差距，而且也要求企业具备AI开发履历与干系构造架构。

大模子的出现，可以说是在几种方案之间探求均衡点。通过大规模预练习+微调的模式，多少企业与行业可以共享、重复应用大模子。如许企业既用到了高水准的AI本事，同时也制止了过重的开发资本与建立资本，也就是所谓的推动AI进入工业生产期间，扬弃作坊式的AI开发。

然而我们可以或许发现，这种逻辑下终极肯定会导致大模子数目较少，而鄙俚应用非常丰富的产业格局。在现在阶段，情况恰好相反。鄙俚的大模子应用处在方兴未艾的阶段，干系企业与办理方案并不绝。反而上游的大模子项目层出不穷，而且显现出了肯定程度上的同质化。这种霸道生长，一样寻常来说包罗着几种埋伏标题：

1.太过聚焦大模子参数和数据集测试结果。

1700亿参数的GPT-3，将大模子正式拉到了千亿参数规模。随后大模子的参数比拼不绝升级，很快我们就见到了万亿参数规模的大模子。寻求大模子的参数巨大化，曾经一度成为AI范畴的主流，随后也引发了相称多的反思。一味追逐模子体积大、练习数据规模大，会导致模子很难在实际场景中举行摆设，而且低质量的练习数据过多，很多时间会导致反向结果出现。

大模子范畴另一个标题，是追逐在某项数据集测试中革新记载。以标准化数据集评判大模子本事固然无可厚非。但很多时间数据集测试是有诀窍的，可以举行针对性调优。一味关注测试结果，很大概导致大模子的实际应用结果不敷。

2.技能创新太过“个性化”。

由于大模子范畴的竞争猛烈，而且工程蹊径着实比力单一，为了标明自己的大模子具有差别化，业界开始鼓起了大模子的“微创新”高潮。一样寻常做法是，提出自己是业界首个某某技能上的大模子。但这项技能是否具有说服力，是否有富足的实际应用代价，则大概要打上一些问号。而随着各人都是首个某某大模子，大模子的界说越来越复杂，评判标尺也越来越暗昧。鄙俚用户选择大模子的难度也随之加大。肯定要夸大自己是“首个”，导致大模子陷入了杂乱的创新局面。

3.打着国产化的名号，举行大量重复投资。

业界另一项关于大模子的标题，是随着自主可控与国产化更换成为趋势，干系企业与科研机构开始大量举行重复的大模子投资。大模子国产化固然是公道且须要的。但差别企业、科研机构与差别项目、差别地区政策之间互助，轻易造成大模子国产化项目处于教逑堤度且重复建立的发展模式中，反而低沉了国产化的终极结果。

在种子标题之下，大模子的霸道生长固然并未竣事，但已经显袒露了某种枯竭。推动大模子从参数为中心向应用为中心变革，是现在阶段的焦点标题。

大模子转型，出现出两个思绪

无论是称作“炼大模子”，还是大模子的霸道生长，可以看到中国AI大模子的第一阶段发展处于一种饱和态势中。固然大概产生各种各样的浪费与重复投资，但确实为整个产业长期发展打下了结实根本。

这一点最直接的表现，在于现在中国AI产业中与大模子发展相适配的根本办法已经非常美满。这一上风是此前很多技能，以致深度学习技能刚刚鼓起时都不具备的。IDC发布的《Market Glance：中国AI大模子市场概览，2022》陈诉提出，大模子作为人工智能融合产业级实践的肯定情势，现在底层支持服务根本美满，多范例芯片连续迭代，围绕练习本事、核默算子库、上层软件平台深入布局优化。

底层根本支柱与配套办法的美满，让大模子走向应用更加顺遂。在本日我们可以看到，大模子转型应用为中心，紧张出现出两个发展思绪。

1.拥抱AIGC，与西欧对齐的大模子发展思绪。

从GPT-3出圈的自动协作，到迩来火爆的AI作画，再到谷歌与Meta近来纷纷押注的AI天生视频，这项本事都可以归纳为AIGC（AI-Generated Content），即AI天生内容。

AIGC可以或许产生优质、复杂，乃至以假乱真的内容，背后的“脑力”广泛来自负模子的支持。因此在大模子亟待与商用代价接驳的时间段，AIGC也就构成了最直接，最清楚的贸易化路径。但在现在阶段，AIGC的贸易化潜力另有待深耕。应用范围最广的AIGC本事应该就是AI作画，但其自己面向的常态化用户更多是插画师、操持师、自媒体，大量C端用户都是本着尝鲜的心态试试看，其终极可以或许激活多大的贸易代价尚不明确。一样寻常来说，AIGC中大模子扮演着双重脚色，一种是直接为大模子所属企业的软件提供支持，终极按需求次数或积分完成贸易转化；另一种是赋能其他软件开发者，通过模子利用大概动员云盘算、云存储用量来完成贸易代价。无论哪种情势，将AIGC从小众需求酿成大众需求，同时进一步提拔AIGC的贸易空间都是当务之急。

另一个角度看，AIGC也是谷歌、Meta等西欧科技巨头大规模投入的范畴，因此国内互联网与AI企业是有发展参照物的。这一点固然带来了很多竞争，但也将确保发展蹊径处在中国科技企业比力熟悉的发展节奏当中。

2.拓展大模子与行业智能化、科学盘算的联合空间，中国大模子的自主探索。

就像AI技能自己一样，中国产学政各界对大模子的深层期待是激活行业智能化代价，与中国经济团体应用空间联合，乃至在中国激活第四次工业革命。而这条路则是完全新颖、缺乏参照物的大模子发展大概性。其最大的标题在于，颠末多年的发展，产业应用AI仍旧难以办理资本过高、难以规模化复杂的标题，大模子的资本更加高昂，可否逃出AI的资本效益陷阱也变得更加复杂。而且将大模子与详细行业、详细科研范畴联合，固然在西欧也有实行探索，但中国已经依赖丰富的产业需求与全社会的数字化热情走到了前线。怎样在无人区激活大模子的长期代价，既是中国AI的机会，也是严苛寻衅。

在现在阶段，我们能看到一些AI厂商已经推出了行业大模子，好比金融大模子、能源大模子等等。也有多个范畴与大模子举行了跨界互助，好比中国商飞团结科技厂商，发布了应用于大飞机测试的流体仿真大模子、西安交大干系团队应用大模子在超等抗药菌范畴取得突破等等。

中国AI大模子，已经在跨模态搜刮、自动驾驶、数字人、生物医疗、质料化学、数学能范畴举行了广泛探索。但这些探索广泛处在跨范畴互助与案例打造的阶段，举例结实的贸易化代价另有不短的路要走。尤其在怎样摊薄大模子资本，推动规模化应用方面另有非常多的寻衅。

不管怎么样，大模子走向产业，走向贸易化，已经从“等等再说”酿成了“时不我待”。不顺应新的变革，很大概无法走向更远。

在苏醒与未知中走向新生代

6500万年前，白垩纪正式竣事，地球迎来了最新的地质期间：新生代。随着恐龙灭尽，灵长类觉醒，整个地球的故事开始出现出新的样貌。

在本日，我们大概也会迷惑。如今大模子的发展结果、根本办法建立、技能蹊径探索，究竟有多少能留到下一个阶段呢？肯定是会有的，但大概率并不多。

我们必须苏醒地熟悉到，大量大模子终归会丧失产业空间。就像其他盘算、存储、AI根本办法一样，大模子到末了也只能留下被频仍利用，形成根本办法的少少数。转型肯定带来新的投资与建立高潮鼓起，以及传统高潮的消退。当产学各界不必要风起云涌般炮制大模子的时间，那些为此打造的算力、网络、开发平台根本办法应该何去何从？好像也是一个必要提前思索的变量。

别的，我们还必要意识到大模子的前路不是一帆风顺的。大模子与行业融合，是一条根植中国经济与社会特性，而且蕴藏着极大代价大概性的新路。但颠末多年发展，我们会发现全部AI标题到末了都是资本标题。大模子可否掏出AI“有效，但过贵”的资本怪圈，能不能为IT、云盘算、互联网厂商带来富足的代价定位？这些标题仍旧缺乏清楚的答案。

以是，大模子的白垩纪仍旧没有竣事。但我们也知道拼参数、大量重复建立的大模子发展阶段终会已往，而检验在当时大概才刚刚开始。

很多人以为，大模子是深度学习2.0，是AI制止陷入第三次隆冬的诺亚方舟。它被拜托了太多期待。

在新的AI火苗被点燃前，大模子还将在很长时间里难以更换。