2023世界人工智能大会期间,有人直言,没有大算力做大模型就是天方夜谭。但也有人认为,数据要素在人工智能大模型的发展中具有关键性作用,决定了模型的训练质量、性能表现和应用领域的广度与深度。
全球大模型群雄逐鹿,算力最先告急。今年5月29日,英伟达创始人黄仁勋断言,“我们已经达到生成式AI引爆点,从此全世界的每个角落都会有算力需求”。一天后,英伟达市值突破万亿美元,屹立世界之巅。
人们常把算力、算法、数据形容为人工智能的三驾马车,但这三驾马车之间可能也不是完全的并行关系。如果说算力是大模型的“根”,那数据或者说是高质量的语料库,或许就会成为算力的“根”。
一热一冷
大模型浪潮,率先将算力推至风口浪尖。2023世界人工智能大会上,算力成为大模型绝对的关键词之一。中国工程院院士、鹏城实验室主任高文把算力比作电力,认为没有大算力做大模型就是天方夜谭。华为轮值董事长胡厚崑也提到,大模型训练的效率或者是创新的速度,根本上取决于算力的大小。中国的算力已经成为一个越来越稀缺的资源。
大会期间,毕马威与联想集团联合发布《普慧算力开启新计算时代》报告。毕马威中国数字化赋能主管合伙人张庆杰在解读报告时提到,算力供给增速明显难以满足指数式爆发的需求,储备算力成为各行各业的必要举动。
据了解,深度学习出现之前,用于AI训练的算力增长大约每20个月翻一番;之后,用于AI训练的算力大约每6个月翻一番;2012年后,全球头部AI模型训练算力需求更是加速到每3-4个月翻一番,即平均每年算力增长幅度达到惊人的10倍;目前大模型发展如火如荼,训练算力需求有望扩张到原来的10-100倍,算力需求的指数级增长曲线将更加陡峭。
大模型对算力的需求是显而易见的,但更关键的点可能在于是否能把算力更高效地挖掘出来。一家芯片企业的技术人员对北京商报记者提到,一个模型上线需要用到很多硬件,如果只支撑了少量用户,就会因为太贵导致用户不买账,由此撑不起正向循环的情况,但太便宜又会出现亏本的问题。特别是到落地阶段,如何能够结合模型上的一些改进,把硬件的特性最大程度地发挥出来,就会变得非常重要。
“也就是说在训练阶段,大家对算力的追求可能是‘大’,这一方面能够做出更大的模型,另一方面也能够进行更快速的迭代。但到用户开始接受这个效果的时候,就要涉及到怎样做才能更划算的问题,也就是说在部署阶段,可能要更关注‘精’的问题,尽可能用相对少的算力实现最大程度的作用。”上述技术人员说道。