谁卡了英伟达的脖子？

英伟达最新季度财报公布后，不光AMD缄默沉静英特尔堕泪，做过长时间生理创建的分析师也没想到真真相况云云超预期。

更可骇的是，英伟达同比暴涨854%的收入，很大程度上是由于“只能卖这么多”，而不是“卖出去了这么多”。一大堆“初创公司拿H100抵押贷款”的小作文背后，反应的是H100 GPU供应告急的毕竟。

假如缺货继续一连到本年年底，英伟达的业绩恐怕会更加震撼。

H100的短缺不禁让人想起几年前，GPU由于加密货币暴涨导致缺货，英伟达被游戏玩家骂得狗血淋头。不外当年的显卡缺货很大程度上是由于不公道的溢价，H100的缺货却是产能着实有限，加价也买不到。

换句话说，英伟达照旧赚少了。

在财报发布当天的电话聚会会议上，“产能”天经地义地成为了最高频词汇。对此，英伟达说话严谨，不应背的锅果断不背：

“市场份额方面，不是仅靠我们就可以得到的，这须要凌驾许多差异的供应商。”

现实上，英伟达所说的“许多差异的供应商”，算来算去也就两家：

SK海力士和台积电。

HBM：韩国人的游戏

假如只看面积占比，一颗H100芯片，属于英伟达的部门只有50%左右。

在芯片剖面图中，H100裸片占据焦点位置，双方各有三个HBM堆栈，加起面积与H100裸片相当。

这六颗平平无奇的内存芯片，就是H100供应短缺的罪魁罪魁之一。

HBM（High Bandwidth Memory）直译过来叫高宽带内存，在GPU中负担一部门存储器之职。

和传统的DDR内存差异，HBM本质上是将多个DRAM内存在垂直方向堆叠，如许既增长了内存容量，又能很好的控制内存的功耗和芯单方面积，镌汰在封装内部占用的空间。

“堆叠式内存”原来对准的是对芯单方面积和发热非常敏感的智能手机市场，但标题是，由于生产资本太高，智能手机终极选择了性价比更高的LPDDR门路，导致堆叠式内存空有技能储备，却找不到落地场景。

直到2015年，市场份额节节败退的AMD盼望借助4K游戏的遍及，抄一波英伟达的后路。

在当年发布的AMD Fiji系列GPU中，AMD接纳了与SK海力士团结研发的堆叠式内存，并将其定名为HBM（High Bandwidth Memory）。

AMD的假想是，4K游戏须要更大的数据吞吐服从，HBM内存高带宽的上风就能表现出来。其时AMD的Radeon R9 Fury X显卡，也简直在纸面性能上压了英伟达Kepler架构新品一头。

但标题是，HBM带来的带宽提拔，显然难以抵消其自己的高资本，因此也未得到遍及。

直到2016年，AlphaGo横扫冠军棋手李世石，深度学习横空出世，让HBM内存一下有了用武之地。

深度学习的焦点在于通过海量数据训练模子，确定函数中的参数，在决议中带入现实数据得到终极的解。

理论上来说，数据量越大得到的函数参数越可靠，这就让AI训练对数据吞吐量及数据传输的耽误性有了一种近乎病态的寻求，而这恰好是HBM内存办理的标题。

2017年，AlphaGo再战柯洁，芯片换成了Google自家研发的TPU。在芯片计划上，从第二代开始的每一代TPU，都接纳了HBM的计划。英伟达针对数据中央和深度学习的新款GPU Tesla P100，搭载了第二代HBM内存（HBM2）。

随着高性能盘算市场的GPU芯片险些都配备了HBM内存，存储巨头们围绕HBM的竞争也敏捷睁开。

现在，环球可以或许量产HBM的仅有存储器三大巨头：SK海力士、三星电子、美光。

SK海力士是HBM发明者之一，是现在唯一量产HBM3E（第三代HBM）的厂商；三星电子以HBM2（第二代HBM）入局，是英伟达首款接纳HBM的GPU的供应商；美光最掉队，2018年才从HMC转向HBM门路，2020年年中才开始量产HBM2。

此中，SK海力士独占HBM 50%市场份额，而其独家供应给英伟达的HBM3E，更是牢牢卡住了H100的出货量：

H100 PCIe和SXM版本均用了5个HBM堆栈，H100S SXM版本可到达6个，英伟达力推的H100 NVL版本更是到达了12个。按照研究机构的拆解，单颗16GB的HBM堆栈，资本就高达240美元。那么H100 NVL单单内存芯片的资本，就快要3000美元。

资本照旧小标题，思量到与H100直接竞争的谷歌TPU v5和AMD MI300即将量产，后两者同样将接纳HBM3E，陈能更加左支右绌。

面对激增的需求，听说SK海力士已定下产能翻番的小目的，动手扩建产线，三星和美光也对HBM3E摩拳擦掌，但在半导体财产，扩建产线从来不是一挥而就的。

按照9-12个月的周期乐观预计，HBM3E产能至少也得到来岁第二季度才气得到增补。

别的，就算办理了HBM的产能，H100能供应多少，还得看台积电的表情。

CoWoS：台积电的宝刀

分析师Robert Castellano不久前做了一个测算，H100接纳了台积电4N工艺（5nm）生产，一片4N工艺的12寸晶圆代价为13400美元，理论上可以切割86颗H100芯片。

假如不思量生产良率，那么每生产一颗H100，台积电就能得到155美元的收入[6]。

但现实上，每颗H100给台积电带来的收入很大概凌驾1000美元，缘故原由就在于H100接纳了台积电的CoWoS封装技能，通过封装带来的收入高达723美元[6]。

每一颗H100从台积电十八厂的N4/N5产线上下来，都会运往同在园区内的台积电先辈封测二厂，完成H100制造中最为特殊、也至关告急的一步——CoWoS。

要明白CoWoS封装的告急性，依然要从H100的芯片计划讲起。

在消耗级GPU产物中，内存芯片一样寻常都封装在GPU焦点的外围，通过PCB板之间的电路通报信号。

好比下图中同属英伟达出品的RTX4090芯片，GPU焦点和GDDR内存都是分开封装再拼到一块PCB板上，相互独立。

GPU和CPU都遵照着冯·诺依曼架构，其焦点在于“存算分离”——即芯片处理处罚数据时，须要从外部的内存中调取数据，盘算完成后再传输到内存中，一来一回，都会造成盘算的耽误。同时，数据传输的“数量”也会因此受限定。

可以将GPU和内存的关系比作上海的浦东和浦西，两地间的物资（数据）运输须要依赖南浦大桥，南浦大桥的运载量决定了物资运输的服从，这个运载量就是内存带宽，它决定了数据传输的速率，也间接影响着GPU的盘算速率。

1980年到2000年，GPU和内存的“速率失配”以每年50%的速率增长。也就是说，就算修了龙耀路隧道和上中路隧道，也无法满足浦东浦西两地物资运输的增长，这就导致高性能盘算场景下，带宽成为了越来越显着的瓶颈。

2015年，AMD在应用HBM内存的同时，也针对数据传输接纳了一种创新的办理方案：把浦东和浦西拼起来。

简朴来说，2015年的Fiji架构显卡，将HBM内存和GPU焦点“缝合”在了一起，把几块小芯片变成了一整块大芯片。如许，数据吞吐服从就成倍进步。

不外如上文所述，由于资本和技能标题，AMD的Fiji架构并没有让市场买账。但深度学习的发作以及AI训练对数据吞吐服从不计资本的寻求，让“芯片缝合”有了用武之地。

别的，AMD的思绪固然好，但也带来了一个新标题——无论HBM有多少上风，它都必须和“缝芯片”的先辈封装技能共同，两者唇齿相依。

假如说HBM内存还能货比三家，那么“缝芯片”所用的先辈封装，看来看去就只有台积电一家能做。

CoWoS是台积电先辈封装古迹的出发点，英伟达则是第一个接纳这一技能的芯片公司。

CoWoS由CoW和oS组合而来：CoW表现Chip on Wafer，指裸片在晶圆上被拼装的过程，oS表现onSubstrate，指在基板上被封装的过程。

传统封装一样寻常只有oS环节，一样寻常在代工厂完成晶圆制造后，交给第三方封测厂办理，但先辈封装增长的CoW环节，就不是封测厂能办理的了的。

以一颗完备的H100芯片为例，H100的裸片附近分布了多个HBM堆栈，通过CoW技能拼接在一起。但不光是拼接而已，还要同时实现裸片和堆栈间的通讯。

台积电的CoW区别于其他先辈封装的亮点在于，是将裸片和堆栈放在一个硅中介层（本质是一块晶圆）上，在中介层中做互联通道，实现裸片和堆栈的通讯。

雷同的另有英特尔的EMIB，区别在于通过硅桥实现互联。但带宽远不及硅中介层，思量到带宽与数据传输速率痛痒相干，CoWoS便成了H100的唯一选择。

这便是卡住H100产能的另一只手。

固然CoWoS结果逆天，但4000-6000美元/片的天价照旧拦住了不少人，此中就包罗富可敌国的苹果。因此，台积电准备的产能相当有限。

然而，AI海潮忽然发作，供需平衡瞬间被冲破。

早在6月就有传言称，本年英伟达对CoWoS的需求已经到达4.5万片晶圆，而台积电年初的预估是3万片，再加上其他客户的需求，产能缺口凌驾了20%。

为了增补缺口，台积电的阵仗不可谓不大。

6月，台积电正式启用同在南科的先辈封测六厂，光无尘室就比别的封测厂的加起来还大，并答应逐季增长CoWoS产能，为此将部门oS外包给第三方封测厂。

但正如HBM扩产不易，台积电扩产也须要时间。现在，部门封装装备、零组件交期在3-6个月不等，到年底前，新产能能开出多少照旧未知。

不存在的Plan B

面对H100的结构性紧缺，英伟达也不是完全没有Plan B。

在财报发布后的电话聚会会议上，英伟达就透露，CoWoS产能已经有其他供应商到场认证。固然没说具体是谁，但思量到先辈封装的技能门槛，除了台积电，也就只有英特尔天赋不敷的EMIB、三星开发了好久不绝等不来客户的I-Cube能委曲救火。

但焦点技能更换犹如阵前换将，随着AMD MI300即将量产出货，AI芯片竞争白热化，是否能和英特尔和三星的技能磨合到位，恐怕黄仁勋自己生理也是惴惴。

比黄仁勋更发急的大概是买不到H100的云服务厂商与AI初创公司。毕竟游戏玩家抢不到显卡，也就是游戏帧数少了20帧；大公司抢不到H100，很大概就丢掉了几十亿的收入和上百亿的估值。

须要H100的公司重要有三类：微软、亚马逊这类云服务商；Anthropic、OpenAI这些初创公司；以及特斯拉这类大型科技公司，特斯拉的新版本FSD方案就用了10000块H100构成的GPU集群来训练。

这还没算上Citadel这类金融公司，以及买不到特供版H800的中国公司。

根据GPUUtils的测算[7]，守旧估计，现在H100的供给缺口到达43万张。

固然H100存在理论上的更换方案，但在现实环境下都缺乏可行性。

好比H100的前代产物A100，代价只有H100的1/3左右。但标题是，H100的性能比A100强了太多，导致H100单元资本的算力比A100高。思量到科技公司都是成百上千张起购，买A100反而更亏。

AMD是另一个更换方案，而且纸面性能和H100相差无几。但由于英伟达CUDA生态的壁垒，接纳AMD的GPU很大概让开发周期变得更长，而接纳H100的竞争对手很大概就由于这点时间差，和自己拉开了差距，以致上亿美元的投资血本无归。

种种缘故原由导致，一颗团体物料资本3000美元的芯片，英伟达直接加个零卖，各人居然都抢着买。这大概是黄仁勋自己也没想到的。

而在HBM与CoWoS产能改善之前，买到H100的方法大概就只剩下了一种：

等那些靠吹牛逼融到钱买了一堆H100的初创公司休业，然后接盘他们的二手GPU。

参考资料

[1]AI Capacity Constraints - CoWoS and HBM Supply Chain，SemiAnalysis

[2]原厂积极扩产，预估2024年HBM位元供给年发展率105%，TrendForce

[3]HBM技能会给数据中央带来怎样的变革？半导体财产纵横

[4]先辈封装第二部门：英特尔、台积电、三星、AMD、日月光、索尼、美光、SKHynix、YMTC、特斯拉和英伟达的选项/利用回顾，Semianalysis

[5]OpenAI团结首创人兼职科学家Andrej Karpathy推文

[6]Taiwan Semiconductor: Significantly Undervalued As Chip And Package Supplier To Nvidia，SeekingAlpha

[7]Nvidia H100 GPUs: Supply and Demand，GPU Utils

编辑：李墨天

视觉计划：疏睿

责任编辑：李墨天