❤️Nvidia的AI晶片H100有多神？为何一片难求？

小嵐

本帖最后由 小嵐 于 2023-11-3 11:31 编辑

抢购 H100 的客户，主要分成三类：

第一类是 综合型云端计算巨头

比如微软 Azure、Google GCP 和亚马逊 AWS 这样的云端计算巨头。他们的特点是财大气粗，动辄就想 「包圆」 英伟达的产能，但每家也都藏着小心思，对英伟达的近垄断地位感到不满，暗地里自己研发芯片来降低成本。

第二类是 独立的云 GPU 服务商

典型公司如前文提到的 CoreWeave，以及 Lambda、RunPod 等。这类公司算力规模相对较小，但能够提供差异化的服务，而英伟达对这类公司也是大力扶持，甚至直接出钱投资了CoreWeave 和Lambda，目的很明确：给那些私自造芯的巨头们上眼药。

第三类是 自己在训练 LLM（大语言模型）的大小公司

既包括 Anthropic、Inflection、Midjourney 这种初创公司，也有像苹果、特斯拉、Meta 这样的科技巨头。它们通常一边使用外部云服务商的算力，一边自己采购 GPU 来自建炉灶 —— 有钱的多买，没钱的少买，主打一个丰俭由人。


在这三类客户中，微软Azure 至少有5 万张H100，Google手上大概有3 万张，Oracle 大概有2 万张左右，而特斯拉和亚马逊手上也至少拿有1 万张左右， CoreWeave 据称有3.5 万张的额度承诺（实际到货大概1 万）。其他的公司很少有超过 1 万张的。


这三类客户总共需要多少张 H100 呢？根据海外机构 GPU Utils 的预测，H100 当前需求大概 43.2 万张。其中OpenAI 需要5 万张来训练GPT-5，Inflection 需求2.2 万张，Meta 则是2.5 万张（也有说法是10 万张），四大公有云厂商每家都需要至少3 万张，私有云行业则是10 万张，而其他的小模型厂商也有10 万张的需求。


英伟达 2023 年的 H100 出货量大概在 50 万张左右 ，目前台积电的产能仍在爬坡，到年底 H100 一卡难求的困境便会缓解。


但长期来看，H100 的供需缺口会随着 AIGC 的应用爆发而继续水涨船高。根据金融时报的报导，2024 年 H100 的出货量将高达 150 万张 – 200 万张，相比于今年的 50 万张，提升 3-4 倍 。


而华尔街的预测则更为激进：美国投行Piper Sandler 认为明年英伟达在资料中心上的营收将超过600 亿美元（FY24Q2：103.2 亿美元），按这个资料倒推，A+H 卡的出货量接近300 万张。


还有更夸张的估计。某 H100 伺服器最大的代工厂（市占率 70%-80%），从今年 6 月开始就陆续出货了 H100 的伺服器，7 月份产能陆续爬坡。一份最近的调研显示，这家代工厂认为 2024 年 A+H 卡的出货量会在 450 万张～500 万张之间。


这对英伟达意味着 「泼天的富贵」，因为 H100 的暴利程度，是其他行业人难以想像的。

lewissue

本帖最后由 lewissue 于 2023-11-3 11:25 编辑

辉达是个港台翻译吧，太违和了

晶片也是港台用语，不过我第一遍看竟然没发现，只注意到辉达

shiguang

不觉明历

小嵐

lewissue 发表于 2023-11-3 11:24

辉达是个港台翻译吧，太违和了

晶片也是港台用语，不过我第一遍看竟然没发现，只注意到辉达 ...
謝謝你的提醒~