炼大模型最佳GPU英伟达H100,全部卖空了!
即使现在立即订购,也要等2024年Q1甚至Q2才能用上。
这是与英伟达关系密切的云厂商CoreWeave对华尔街日报透露的最新消息。
从4月初开始,供应就变得异常紧张。仅仅一周之内,预期交货时间就从合理水平跳到了年底。
全球最大云厂商亚马逊AWS也证实了这一消息,CEO Adam Selipsky近期表示:
A100和H100是最先进的……即使对于AWS来说也很难获得。
更早时候,马斯克还在一场访谈节目中也说过:GPU现在比d品还难获得。
如果找“黄牛”买,溢价高达25%。
如Ebay上的价格已从出厂价约36000美元涨到了45000美元,而且货源稀少。
这种形势下,国内的百度、字节、阿里、腾讯等大型科技公司也向英伟达下了总计50亿美元的A800等芯片订单。
其中只有10亿美元的货能今年内交付,另外80%也要等2024年才行。
那么现有高端GPU都卖给谁了?这一波产能又是卡在了哪?
H100卖给谁,老黄说了算
ChatGPT爆发以来,擅长训练大模型的英伟达A100、H100成了香饽饽。
甚至H100已经可以作为初创公司的一种资产,找投资基金获得抵押贷款。
OpenAI、Meta为代表的AI公司,亚马逊、微软为代表的云计算公司,私有云Coreweave和Lambda,以及所有想炼自家大模型的各类科技公司,需求量都巨大。
然而卖给谁,基本是英伟达CEO黄仁勋说了算。
据The Information消息,H100这么紧缺,英伟达把大量的新卡分配给了CoreWeave,对亚马逊微软等老牌云计算公司限量供应。
(英伟达还直接投资了CoreWeave。)
外界分析是因为这些老牌公司都在开发自己的AI加速芯片、希望减少对英伟达的依赖,那老黄也就成全他们。
老黄在英伟达内部还把控了公司日常运营的方方面面,甚至包括“审查销售代表准备对小型潜在客户说什么话”。