不做大模型,就没有算力用。
这是ChatGPT点燃AI风口后,国内某top3高校AI实验室的残酷现状。
同一个实验室里,非大模型团队6人用4块3090卡,比起同实验室的大模型团队10个人用10块A800卡,本就已经不算富裕。
现在,校企合作也更偏爱大模型。去年11月ChatGPT发布后,与非大模型团队合作的企业骤减,近期找上门的,也是张口就问:
“你们做大模型不?”
做,有高校和企业的通力支持;不做?那就只能眼睁睁看着算力花落别家。
哪怕某量化私募基金的有10000张A100卡,还对高校研究团队开放申请,也不见得能落一张到你头上。
“要是我们组能分到一些就好了。”看到这条微博,非大模型团队带队的数据科学方向博士小哥羡慕不已,因为缺算力,他都愁得快仰天长啸了:我们也值得投资啊!!!
现在,大伙争先恐后扑向ChatGPT背后GPT-3.5般的各种大模型,算力流向亦然。
其他AI领域本就不足的算力更荒了,尤其是国内学界手里的算力分配下来,贫富差距肉眼可见。
一整个实验室就4块3090卡
巨大规模算力以月为单位的租用成本,对研究团队来说不是小数目。大模型正当其道,学界研究大模型的实验室或团队拥有算力资源的优先分配权。
就拿小哥在学校的亲身体验来说,在他们研究室,大模型小组10个人有10块A800卡可用,而另一个研究传统机器学习方向的实验室,整个实验室只有4块3090卡。
拥抱主流趋势是一重原因,另一重原因是实验室需要运转和维护的经费,获得拨款的一种形式是申请国家项目,但必要步骤是提供论文成果。
双重原因下,本就不多的算力资源,不得不优先分配给大模型这样热门且相对容易出成果的研究。哪怕对学界来说,训一个大模型其实练不太动——因为数据、算力和资金都有些捉襟见肘。
为了获得更多的资源,有的非大模型实验室甚至额外专门成立研究大模型的团队。
当然,想要获得资金和资源,校企合作也是不可或缺的一种方式。
这种推动产研融合的重要支撑形式持续已久,2020年,KDD中校企合作论文占比超过50%,这个比例在ICCV中达到45%。
举例来说,2021年,清华大学KEG、PACMAN(并行与分布式计算机系统)、NLP等实验室着手推进训练千亿参数的稠密模型,但团队用于训练模型的计算资源并不充足。最终,校外企业智谱AI租用了近百台A100的服务器,