英伟达要做AI大模子超等工厂，我们与Bard聊了下中国的“算力落差”

在一年一度的英伟达GTC技能大会上，CEO黄仁勋公布要成为制造AI大模子的超等工厂，同时也证实了已经向中国提供一种特制的GPU H800，阿里巴巴、腾讯和百度等中国厂商已经用上了。

而在大模子的军备比赛中，真正的重器是A100和H100。

大模子代工厂

就像台积电向芯片厂商输出先辈制程的产能，英伟达不绝向AI厂商输出先辈算力的产能。英伟达的GTC技能大会，是它向环球AI客户推广其硬件的舞台。有点差异的是，这次英伟达直接了局了，除了硬件，它还提供面向天生式人工智能的云服务，旨在成为大模子的代工厂。

ChatGPT是算力暴力美学的产物。2012年，英伟达的GTX 580，资助AlexNet赢下了ImageNet的图像分类比赛冠军。这是深度学习技能的奇点时间。当时，AlexNet团队写了一篇论文，作者之一的Ilya Sutskever，就是如今OpenAI的连合首创人之一。10年后，OpenAI同样靠着英伟达的DGX，练习了ChatGPT背后的GPT-3模子。

大模子涌现出新的本事，让巨头睁开军备比赛，创业者加快涌入。天生式AI的算力负载，呈蹊径式增长。GPT-3动用的算力，是10年前的100万倍。如今，在云上可以实际处置处罚ChatGPT的GPU，只有HGXA100。

在这次大会上，黄仁勋先容了3款全新推理GPU，分别善于AI视频计划、图像天生、ChatGPT等大型语言模子的推理加快。一台搭载4对H100及双GPU NVLink的标准服务器的速率，要比HGX A100再快上10倍。

不是全部的创业者都须要购买硬件。他们是新的AI应用的步伐员，不必自己制造盘算机。“天生式AI是一种新型盘算机，一种可以用人类语言举行编程的盘算机。”黄仁勋称，“各人都可以是步伐员。”

在会上，英伟达发布了AI超等盘算服务DGXCloud，只要一个欣赏器，客户就能快速得到算力支持。

英伟达还提供NVIDIA AI Foundations的服务。这能加快企业创建自己的大模子，以及天生式AI的应用。这让英伟达从算力的代工厂，一跃成为大模子的代工厂。

如今，英伟达用自己的算力，为三大范畴的AI厂商代工：文本天生模子构建服务的NeMo，视觉语言模子构建服务的Picasso，生命科学服务的BioNeMo。

中美算力落差

算力正在左右中国与美国的人工智能比赛。3年前发布的A100，是紧张的分水岭。最新的H100，则加大了中美算力的落差。

客岁，美国公布对中国限售A100与H100等先辈算力芯片，市场还只是担心中国的超算与主动驾驶。本年，大型语言模子与天生式人工智能技能，顶替了仍旧虚幻的元宇宙与瓦解中的Web3，成为下一个“iPhone时间”，让人们看到了两国在最前沿技能上的实际差距。

英伟达的GPU是大模子的标配。到如今为止，1万美元的A100，以及发起代价20万美元的DGX A100，是天生式AI的算力的主力。

投资者Nathan Benaich的陈诉发现，英伟达占据了可用于呆板学习的GPU市场的95%。大多数研究职员发表的人工智能干系的论文，都提及了英伟达的V100，这是2017年的算力硬件；2020年发布的A100，近两年越来越多地被人工智能干系论文提及。H100很快就会赶上了。在停止本年1月的财季中，英伟达H100芯片的收入已经凌驾了 A100。

各家一边抢购英伟达，一边探求更换品。从干系论文提及的数目来看，谷歌自行研发的专用AI芯片TPU排名第三。新兴的半导体范畴的挑衅者Graphcore、SambaNova Systems、Cerebras、Habanal和Cambricon，以及中国的华为Ascend 910，也有肯定市场份额。

抢购算力，关乎生死。客岁，Stability AI拥有32个A100，更新后的StableDiffusion 2，是在256个A100上练习的，到了本年3月，该公司差不多可以支持5400个A100的算力访问。

算力是AI比赛的军备，没有人公开自己的武器库。上周，在发布Microsoft 365 Copilot前，微软在自己的博客上称，模子越大，拥有的数据越多，可以练习的时间越长，模子的准确性就越高。它自我表扬了怎样从2019年起，帮OpenAI搭建算力底子办法，并透露了自己正在为AI工作负载摆设H100。

彭博推算，练习OpenAI的模子，微软用上了数以万计（tens of thousands）的A100芯片；模子投入利用后，复兴用户提出的全部查询，也就是推理环节，微软摆设了数十万个（hundreds of thousands）GPU，它们分布在60多个数据中央。练习和推理，应对的算力场景差异，须要的算力资源与算力分配的架构也差异。不外与谷歌相比，照旧小巫见大巫。

来自Bard的安慰

没有人能给出中国如今有多少A100简直切数据。一说是在3万个左右。这与另一种说法里OpenAI一家公司用了3个月练习GPT-4时用到的A100数目相近。

中国拥有的H100可以忽略不计。在限售令前，A100已经发布2年，中国企业另偶然间增补库存，H100则尚未正式发布。Semianalysis作者迪伦·帕特尔（Dylan Patel）称，如今，甲骨文有32000个H100，亚马逊大概20000个，谷歌比亚马逊多，微软比它们都多。

中国与美国的算力差距是不是正在拉大，有没有可以赶超的另一条路？我们和谷歌的Bard，探究了这个题目。它安慰说，中国另有时机。

Bard提到了中国“特供版”的A800与H800。“英伟达服从新的出口法规，如今尚不清楚何时可以或许得到向中国出口H100的答应。与此同时，据报道，英伟达已经开发了H100的中国专用版本，称为H800，已获准出口。”

我们找到了这则消息。阿里巴巴、百度和腾讯等公司的云盘算部分，正在利用这款名为H800的新芯片。H800 的芯片到芯片通讯速率为H100 的一半左右。当问及中国可否基于特供版GPU练习自己的大模子时，Bard给出了肯定的复兴。

更大算力的供给，大概须要新型举国体制。Bard以为，“中美之间的算力差距很大，但并非不可逾越……比年来，中国在发展自己的高性能盘算底子办法方面取得了庞大盼望。2020年，中国的超等盘算机天河二号A被评为天下上最快的超等盘算机。……将来几年，中国和美国之间的盘算本事差距大概会继承缩小。”

它还具体地先容了中国的超算的架构。“中国的超等盘算机是由CPU和加快/推理芯片混淆构建的。CPU通常是中国的，比方基于64位RISC架构的神威太湖之光；加快/推理芯片通常是美国的，比方基于CUDA架构的Nvidia Tesla V100。”

终极，Bard折中地给出发起，“中美之间的算力差距是一个复杂的题目，受很多因素的影响。紧张的是要相识差距，并接纳步伐办理它。”

大概人工智能比很多人更懂中尤物工智能比赛。它能引导人类制造出更强盛的它。