快捷导航
科技信息

AI高潮汹涌,算力需求爆炸,GPU“一卡难求”

人工智能高潮之下,新涌入这一赛道的公司意识到了一个大题目:想做大模子的公司太多,GPU已经不敷用了。有媒体近期获悉,用于练习AI的GPU的需求激增,包罗亚马逊、微软、谷歌和甲骨文等重要云服务供应商,都已经开始

人工智能高潮之下,新涌入这一赛道的公司意识到了一个大题目:想做大模子的公司太多,GPU已经不敷用了。

有媒体近期获悉,用于练习AI的GPU的需求激增,包罗亚马逊、微软、谷歌和甲骨文等重要云服务供应商,都已经开始限定算力供给,别的,服务器硬件也越来越难租到了,有公司对媒体表现,租赁硬件须要等候数月之久。

GPU需求爆炸让AI淘金海潮的“卖铲人”英伟达赚得盆满钵满,也大受资源市场承认。本年以来,英伟达股价累计涨超88%。

AI引爆GPU需求

风险投资公司Root Ventures的工程师Yasyf Mohamedali对媒体表现,他已经花了数周时间试图从亚马逊AWS和谷歌云租赁一台AI服务器,但不绝没有乐成。直到近来才好不容易从一家小初创企业那边通过转租拿到了一台。

他以为:

“除非你已经(和重要云服务供应商)签署了现有条约,大概预付了费用,否则险些不大概租到服务器。“

据两名知情人士对媒体表现,由于GPU短缺,亚马逊的新客户很难立即得到GPU服务器。亚马逊的客服发起他们租用搭载亚马逊内部芯片Trainium的服务器,但绝大多数开辟团队都更风俗利用GPU服务器。

而微软乃至在实行说服一些客户放弃已经预付款但还未投入利用的GPU服务器,以便将这些服务器转售给其他公司。

别的,规模更小的甲骨文在已往一个月里,拒绝了全部AI新客户,来由是GPU服务器容量有限。

有市场分析指,这次的“缺芯”困难和2020年下半年开始的车企缺芯潮不一样,GPU的重要供应商英伟达并不存在供应链方面的拦阻。GPU短缺重要是由于云厂商没有预见到AI需求会云云强劲,没有订购富足的芯片。

客岁科技企业团体降本过冬,也是导致本轮GPU短缺的因素之一。Wedbush Securities分析师Matt Bryson以为,由于云厂商付出增长放缓,因此在已往一年缩减了新建服务器的规模。

不外,他也表现,如今英伟达积蓄的订单在2-3个月左右,随着产物的徐徐交付,GPU短缺困难在将来或有所缓解。

创业公司前来救济

在亚马逊、微软、谷歌、甲骨文等巨头之外,一些小厂商开始涌入这一赛道“济急”。这些公司通过大批量从英伟达那边下单得到GPU,然后再把GPU转租出去来赢利。它们的方案通常比云服务巨头更有性价比。

比方,重要云服务的收费模式是按季度、年的时间来收费,但服务器通常不会24小时运转,这就意味着买了云服务的公司,是在为他们没有利用的服务器容量付费。

而初创公司Banana则以利用的秒数来租赁GPU服务器,对体量不大的开辟团队而言颇具吸引力。

据媒体报道,如今类似RunPod、Crusoe、Lambda Labs等GPU提供商的服务器容量都已靠近上限,这些公司都在加紧扩容。Lambda Labs在3月得到了4400万美元融资,全部投入于购买更多芯片。

收藏 邀请
上一篇:中国付出整理协会倡议付出行业从业职员审慎使用ChatGPT等工具下一篇:消息称塔塔团体4月尾前将接受纬创印度工厂,为苹果组装iPhone
我有任务需求要发布
专业服务商主动承接
快速解决你的需求

专注IT众包服务

平台只专注IT众包,服务数 十万用户,快速解决需求

资金安全

交易资金托管平台,保障资 金安全,确认完成再付款

实力商家

优秀软件人才汇集,实力服务商入驻,高效解决需求

全程监管

交易过程中产生纠纷,官方100%介入受理,交易无忧

  • 微信访问
  • 手机APP