人类已达硅盘算架构上限，预计2030年AI会斲丧环球电力供应50％

编辑：Aeneas

【新智元导读】我们已经开始体验到，硅盘算体验到达上限的感觉。将来10年，将出现严厉的算力差距，而无论是现有的技能公司照旧当局，都没能办理这一标题。

现在，我们已经风俗了盘算会变得越来越自制，以至于我们从来未曾猜疑过，大概有一天我们会用不起它。

现在，Rodolfo Rosini，一家初创公司的CEO提出了一个令我们震惊的标题：假如我们正在到达经典盘算模子的根本物理极限，就像我们的经济依靠自制的盘算一样，那该怎么办？

大型盘算的停滞

现在，由于缺乏技能创新，美国已经到达了一个安稳期。

赖特定律（Wright’s Law）在很多行业中都建立——制造工艺每改进20%左右，生产率就会翻一番。

在技能范畴，它体现为摩尔定律。

在1960年代，英特尔连合首创人Gordon Moore注意到集成电路中的晶体管数量好像同比翻了一番，提出了摩尔定律。

今后，这个定律就成为市场和工程之间左券的底子，使用过剩的盘算本领和尺寸的缩小，推动盘算堆栈中产物的构建。

当时的预期是，有了更快和更自制的处置惩罚器，盘算本相识随着时间呈指数级进步。

然而，构成摩尔定律的差别力气已经发生了厘革。

几十年来，摩尔定律背后的推动力是Dennard缩放定律。晶体管尺寸和功耗同步减半，使每单元能量的盘算量增长一倍（后者也称为Koomey’s LawKoomey定律)。

2005 年，由于电流走漏导致芯片升温，这种缩放比例开始失效，随之而来的是具有单个处置惩罚焦点的芯片的性能故步自封。

为了保持盘算增长轨迹，芯片行业转向了多核架构：多个微处置惩罚器“粘合”在一起。固然这大概在晶体管密度方面延伸了摩尔定律，但它增长了整个盘算堆栈的复杂性。

对于某些范例的盘算使命，如呆板学习或盘算机图形，这带来了性能提拔。但是对于很多并行化不好的通用盘算使命，多核架构无能为力。

总之，很多使命的盘算本领不再呈指数级增长。

纵然在多核超等盘算机的性能上，从TOP500 （环球最快超等盘算机排名）来看，2010年左右也出现了显着的拐点。

这种放缓的影响是什么？盘算在差别行业中发挥的越来越告急的作用表明，影响是立竿见影的，而且只有在摩尔定律进一步动摇的环境下才会变得更加告急。

举两个非常的例子：盘算本领的进步和资源的低落使得能源行业石油勘探的生产率增长了49%，生物技能行业的卵白质折叠推测增长了94%。

这意味着盘算速率的影响不光限于科技行业，已往50年的大部分经济增长都是摩尔定律驱动的二阶效应，没有它，天下经济大概会克制增长。

尚有一个须要更多算力的突出缘故起因，就是人工智能的鼓起。在本日，训练大语言模子 (LLM) 大概耗费数百万美元，并须要数周时间。

假如不继续增长数字运算和数据扩展，呆板学习所答应的将来就无法实现。

随着呆板学习模子在消耗技能中的日益遍及，预示着其他行业对盘算的巨大需求，而且大概是双曲线的需求，自制的处置惩罚正成为生产力的基石。

摩尔定律的殒命大概会带来盘算的大停滞。与到达AGI大概须要的多模态神经网络相比，本日的LLM仍旧相对较小，且容易训练。将来的GPT和它们的竞争对手将须要特殊强大的高性能盘算机来改进，以致举行优化。

大概很多人会感到猜疑。毕竟，摩尔定律的闭幕已经被预言过很多次了。为什么应该是现在？

从汗青上看，这些推测中有很多都源于工程上的寻衅。此前，人类的聪明才智曾一次又一次地降服了这些停滞。

现在的差别之处在于，我们面临的不再是工程和智能方面的寻衅，而是物理学施加的限定。

MIT Technology Review2月24日发文称，我们没有为摩尔定律的闭幕做好准备

过热导致无法处置惩罚

盘算机是通过处置惩罚信息来工作的。

当他们处置惩罚信息时，此中一些信息会随着微处置惩罚器归并盘算分支或覆盖注册表而被扬弃。这并不是免费的。

热力学定律对某些过程的服从有严格的限定，而它也实用于盘算，就像它实用于蒸汽机一样。这个资源称为Landauer’s limit兰道尔极限（Landauer’s limit）。

它是每次盘算利用过程中散发的微量热量：约莫每比特10^-21焦耳。

鉴于这种热量这么小，兰道尔极限长期以来不停被以为可以忽略。

然而，现在的工程本领已经发展到了可以到达这种能量规模的水平，由于由于电流走漏等其他开销，实际天下的极限估计比Landauer的边界大了10-100倍。芯片有数以千亿计的晶体管，以每秒数十亿次的速率运行。

把这些数字加起来，大概在到达热停滞之前，摩尔定律大概还剩下一个数量级的增长。

到当时，现有的晶体管架构将无法进一步进步能效，而且产生的热量会克制将晶体管封装得更精密。

假如我们不弄清晰这一点，就无法看清行业代价观将会发生什么厘革。

微处置惩罚器将受到限定，行业将争取边际能源服从的较低嘉奖。

芯片尺寸会膨胀。看看英伟达4000系列的GPU 卡：只管使用了更高密度的工艺，但它只有一只小狗那么大，功率高达650W。

这促使NVIDIA首席实行官黄仁勋在2022年底公布“摩尔定律已死”——只管这一声明大部分精确，但其他半导体公司否认了这一声明。

IEEE每年都会发布半导体门路图，最新的评估是2D的微缩将在2028年完成，3D微缩应该在2031年全面启动。

3D 微缩（芯片在此中相互堆叠）已经很广泛，但它是在盘算机内存中，而不是在微处置惩罚器中。

这是由于内存的散热要低得多；然而，散热在3D架构中很复杂，因此主动内存冷却变得很告急。

具有256层的内存即将出现，预计到2030年将到达1,000层大关。

回到微处置惩罚器，正在成为商业标准的多门器件架构（如Fin场效应晶体管和Gates-all-round）将在将来几年继续遵照摩尔定律。

然而，由于固有的热标题，在20世纪30年代以后都不大概有真正的垂直扩展（vertical scaling）。

毕竟上，现在的芯片组会过细监督处置惩罚器的哪些部分随时处于生动状态，纵然在单个平面上也能制止过热。

2030危急？

一个世纪前， 美国书生Robert Frost曾经如许问道：天下会在霜照旧火中闭幕?

假如答案是火，那就险些预示着盘算的闭幕。

大概，就担当这个毕竟：电力使用会增长，然后扩大微处置惩罚器的制造规模。

为了这个目的，人类已经斲丧了很大一部分地球能源。

大概另一种选择是简朴地担当增长的电力使用并扩大微处置惩罚器的制造规模。我们已经为此目的使用了地球能源供应的很大一部分。

在爱尔兰，仅70个数据中心就斲丧了天下14%的能源。到2030年代，预计环球生产电力的30-50%将用于盘算和冷却——这还没算加密钱币的那些能耗。

（风趣的是，在3月19日博文发表后，作者又将这个推测删除了。他的表明是，这是基于Nature论文中最坏环境的推断，为了论证的清晰和精确，现在已将其删除）

而现在的能源生产的规模化速率，在这之后会导致摩尔定律规模化的资源略微增长。

而在操持（能源服从）和实行层面（将仍在使用的旧操持更换为最新技能）的一系列一次性优化步伐，将答应印度等发展中经济体赶上环球的团体生产力。

而摩尔定律闭幕后，人类在微处置惩罚器芯片的制造还没有到达极限之前，就会耗尽能源，盘算资源降落的步调将故步自封。

固然量子盘算被吹捧为逾越摩尔定律的有效途径，但它存在太多未知数了，离商用尚有数十年的发展，至少在将来 20到30年内，都派不上用场。

显然，将来10年将出现严厉的算力差距，现有的技能公司、投资者或当局机构都没办法办理。

摩尔定律和兰道尔极限的碰撞已经有数十年了，可以说是2030年代最巨大、最关键的事故之一。

但现在，知道这件事的人，好像并不多。

参考资料：

https://www.exponentialview.co/p/the-great-computing-stagnation