马斯克4个月建成天下最强超算！10万块H100，将训练Grok-3

智东西（公众号：zhidxcom）

编译 | 吴浪娜

编辑 | 漠影

智东西9月4日消息，据Business Insider、《财产》杂志报道，埃隆·马斯克（Elon Musk）周二在社交平台X上公布，其AI初创公司xAI于上周末上线了名为“Colossus”的超等盘算机。

该集群拥有10万块英伟达H100处置惩罚器，是天下上最强盛的AI训练体系。若xAI可以或许获得5万块英伟达新推出的H200系列处置惩罚器，Colossus的规模将在几个月内扩大1倍。

Colossus从筹划到完成仅用了122天，将被用于训练xAI的大型语言模子Grok。马斯克还说，盼望在12月发布Grok-3。Grok与各人熟知的GPT-4是竞争对手。

▲马斯克在X上公布Colossus已上线。（图源：Business Insider）

一、10万块H100处置惩罚器，xAI通过特斯拉间接保障芯片供应

Colossus搭载了10万块英伟达标准Hopper H100处置惩罚器，这是任何其他单个AI盘算集群都无法比拟的。

高性能GPU是强盛AI模子所必须的盘算本事来源。

马斯克估计，如果xAI可以或许获得5万块英伟达新推出的、更先辈的H200系列芯片（其性能约莫是前者的两倍），Colossus的运算本事将在几个月内增长1倍。

马斯克于2023年7月创建了xAI，直到本年6月才选定美国孟菲斯作为Colossus的创建所在。Colossus仅用122天完成上线，创建速率可谓惊人。

在X上，英伟达数据中心账户回应马斯克的帖子称：“令人高兴的是，天下上最大的GPU超等盘算机Colossus，在创记载的时间内上线了。”

自2022年底ChatGPT发布以来，AI的炒作热潮让各家公司争相抢购英伟达的芯片。由于需求激增和供应受限，导致芯片短缺。

只管获取芯片并不轻易，但各家公司仍会想各种办法来确保芯片的供应，并将其投入利用，以便在竞争中领先对手。

马斯克作为英伟达的重要客户，承诺仅特斯拉一家本年就会在其硬件上泯灭30亿到40亿美元。

特斯拉将英伟达已经交付给它的AI芯片转手给了xAI，在芯片供应方面xAI获得了先发优势。

二、Grok-3或将成为最强盛AI，特斯拉大概投资xAI

Colossus将被用于训练xAI的大语言模子Grok-3。

“我们盼望能在12月发布Grok-3，到当时，Grok-3应该是天下上最强盛的AI。”马斯克曾在播客中说道。

许多特斯拉专家推测，它终极将为特斯拉的人形呆板人Optimus提供动力。

马斯克对此寄予厚望，以为这个具有战略意义的灯塔项目，每年大概为特斯拉带来1万亿美元的利润。

上个月，Grok-2的早期测试版已向用户推出。

它仅在约莫1.5万块英伟达H100处置惩罚器上举行了训练，但根据一些谈天呆板人排行榜的标准，它已经是功能强盛的AI大型语言模子之一。

风投公司红杉资源（Sequoia Capital）的合资人肖恩·马奎尔（Shaun Maguire）在X上写道，xAI团队如今“可以利用天下上最强盛的训练集群”来构建其Grok谈天呆板人的下一块版本。他增补说：“在过去几周里，Grok-2已经迅速跻身开始进模子之列。”

由1.5万块到10万块，GPU数目增长近7倍，这阐明，马斯克并不计划在开发通用人工智能（AGI）的竞争中向OpenAI屈服。他曾因担心谷歌主导这项技术，而在2015年底资助萨姆·阿尔特曼（Sam Altman）共同创建了OpenAI。厥后他与阿尔特曼发生辩说，如今正再次告状OpenAI。

此外，xAI在5月的B轮融资中筹集了60亿美元，得到了安德森·霍洛维茨（Andreessen Horowitz）和红杉资源等风险投资公司的支持。

特斯拉大概是下一家投资马斯克xAI的公司。

马斯克还谈道，他将向特斯拉董事会发起，就是否向xAI投资约50亿美元举行投票。这一发起受到了许多股东的欢迎。

他曾在X上写道，“我之前说过，特斯拉本年将在AI相干付出上泯灭约莫100亿美元，此中约一半是内部付出，重要是特斯拉筹划的AI推理盘算机和全部汽车中都配备的传感器，以及Dojo（特斯拉定制的AI超等盘算机）。”

三、Colossus规模逾越Meta公司集群，马斯克与扎克伯格打擂台

风投公司Air Street Capital的首创人兼普通合资人纳森·贝纳什（Nathan Benaich）不绝在追踪科技公司收购的H100 GPU数目。

他统计Meta共有35万块，xAI有10万块。马斯克的另一家公司特斯拉则有3.5万块。

在7月发表的一篇研究论文中，Meta表现其Llama 3大型语言模子的最大版本是在1.6万块H100 GPU上训练的。

3月，该公司公布“对Meta的AI将来举行庞大投资”，创建了两个各有2.4万块GPU的集群，以支持Llama 3的开发。

这阐明，xAI最新的训练集群Colossus比用于训练Meta最大AI模子的集群要大得多。

这让马斯克得以与硅谷的竞争对手马克·扎克伯格一较高下。

结语：xAI产物战略待清朗，运行Colossus为都会资源增压

与大多数AI公司一样，xAI技术的贸易化仍存在很大的不确定性。“xAI可以或许在马斯克的领导下筹集到云云多的资金并取得进展，这令人印象深刻，但他们的产物战略仍不清朗。”贝奈克告诉Business Insider。

Colossus的上线给孟菲斯这座都会带来了机会。市政官员以极快的速率同意了该项目。但它也将给都会的资源带来压力。据市政公用事业部门的官员估计，该体系天天必要多达100万加仑的水来冷却服务器，并且将斲丧高达150兆瓦的电力。只管云云，马斯克以为任何值得做的事变都值得快速完成，以克制落伍于竞争对手。

来源：Business Insider、《财产》