AIGC崛起的热潮下,数据、算力、算法可谓是当下智能世界三要素,其中算力则是构建大规模AI的核心。在此大背景下,数据量的爆炸式增长,带动了其对算力需求的指数级增长,进而使得基础算力成为了全球科技巨头角逐的新“战场”。
(图源:weetechsolution)
算力资源稀缺问题日趋严重
算力以及数据和熟练劳动力,是构建人工智能系统的关键要素。据安德森·霍洛维茨最新报告显示,企业已经将“超过80%的总资本用于计算资源”,算力已经成为“当今推动行业发展的关键因素”。
当我们使用“计算”这个词时,我们有时指的是执行特定任务所需的计算次数,例如训练AI模型。在其他时候,“计算”仅指芯片等硬件。
算力是数据中心的服务器通过对数据进行处理后实现结果输出的一种能力,最常用的计量单位是每秒执行的浮点运算次数(FLOPS)。算力主要分为两大类:通用算力及HPC算力(高性能计算,High-performance computing)。其中通用算力计算量小,用于常规应用;HPC算力则通常为计算机集群系统,通过各种互联技术将多个计算机系统连接在一起,利用所有被连接系统的综合计算能力来处理大型计算问题。
当前,算力资源稀缺问题已经成为大规模AI模型训练和AI产品中模型部署的关键瓶颈。这种稀缺性赋予了少数对这些资源拥有控制权的公司巨大的市场力量——芯片制造商,如半导体制造公司英伟达,以及谷歌、微软和亚马逊等云基础设施公司,其中最大的公司还运营着庞大的平台生态系统,这些生态系统使他们能够访问数据和多种方式将AI商业化,并在大规模AI方面具有先发优势。
AI大模型带动算力需求超越摩尔定律增长
(图源:RackSolutions)
我们知道,AI模型的最新进展是通过深度学习实现的,作为一种新的机器学习技术,它使用大量数据来构建理解层。深度学习促进了比我们以前看到的更具有泛化能力的模型的开发,它使用高端计算资源来实现,这些资源可以非常快速地并行执行海量计算。
众所周知,深度学习在设计上计算成本非常高。据权威研究结果显示,增加规模是提高深度学习模型训练准确性和性能的关键,这促使对算力的需求呈指数级增长,导致人们担心当前的增长速度是不可持续的。
在深度学习时代之前,AI模型使用的计算量在大约21.3个月内翻了一番;自2010年左右深度学习作为一种范式占据主导地位以来,模型使用的计算量仅在5.7个月内就开始翻番。然而,自从2015年以来,计算增长的趋势分为两种:大规模模型中使用的算力大约在9.9个月内翻了一番,而常规规模模型中使用的计算量仅在5.7个月内翻了一番。
过去的一年里,AI大模型更是以前所未有的速度发展,同时引发全球各领域对算力需求的激增,这种增长态势不仅打破了传统技术的发展预期,彻底超越了著名的“摩尔定律”所描绘的半导体行业发展趋势。
“摩尔定律”的核心内容为:集成电路上可以容纳的晶体管数目在大约每经过18个月到24个月便会增加一倍。换言之,处理器的性能大约每两年翻一倍,同时价格下降为之前的一半。尽管被业内人看作是“铁律”,但摩尔定律却并非自然科学定律,它只是在一定程度揭示了信息技术进步的速度。
在AI大模型特别是大型预训练模型如ChatGPT的训练过程中,所需的计算资源的增长速率远超这一规律——AI 训练任务中的算力增长(所需算力每 3.5个月翻一倍),已然超越了摩尔定律。
算力基础设施对AI的影响
全球算力集中的现状,正在推动着云基础设施提供商采取行动保护其在市场上的主导地位,在产品准备好广泛使用之前抢先发布产品,并不断锁定其云生态系统,以确保市场布局。
一直以来,在全球算力供应链的重要节点上,这些关键要素都被一家或少数几家巨头公司所垄断。特别是在新一代AI技术崛起的当下,“算力基建”持续发展,作为算力的主要载体的算力基础设施,则正在成为全球巨头角逐的新“战场”。
(图源:Machine Design)
作为人工智能领域中的重要基础设施之一,算力基础设施主要包括通用数据中心、超算中心、智算中心、边缘计算中心等基础设施。当下,火热发展的AI大型模型除了可以和现有的硬件兼容,还可以给那些在算力基础设施上投入大量资金的云基础设施提供商带来回报。
那么,算力基础设施的构建对AI究竟有哪些至关重要的影响呢?
首先,算力基础设施会影响谁可以构建AI;其次,算力基础设施会决定谁可以构建什么样的AI;第三,算力基础设施可以决定在此过程中谁可以获利。总之,算力基础设施定义了科技行业的发展大趋势,加速了AI公司之间的“恶性”竞争,并深刻影响AI的发展走向。
最令人担忧的是,算力基础设施还会让拥有算力的科技巨头,掌握经济和“政治”权力,巩固其主导科技行业的控制权。
也就是说,谁拥有算力基础设施,谁就掌握了“权力”,不少入局者似乎正在把算力当做是实现其全球科技布局的“跳板”。
由于GPU、网络以及构建大规模高效运行计算所需的数据中心基础设施前期成本高昂,这些基础设施云服务商巨头们,如谷歌云、微软Azure和亚马逊等巨头,正在通过大规模投资AI来帮助企业控股生态系统,并进一步巩固他们在云计算中的主导地位。
对此,DeepMind的联合创始人穆斯塔法·苏莱曼就呼吁,将芯片销售限制在能够证明其遵守安全和道德使用技术的公司手里。与此同时,不少业内人士也希望有一些针对软件-硬件关系的干预措施出来,以此来对市场进行规范。