国家间的算力战争,为什么我们还没造出ChatGPT?

创异文化舍 2024-04-06 06:09:29

AI时代3要素:数据、算法、算力。

跟老美比,咱们前两个都不差,现在唯一影响我们AI发展的,就是算力。

所以为什么你会觉得国内的大模型不是很好用,或者天天听到有声音说,中国的AI要在应用层上发力,而不要去卷大模型。

原因就在于我们目前在算力上严重不足,尤其是HPC,也就是高性能计算方面。

大家好,欢迎来到创异文化社,我是社长Alan.

对于不是很了解的朋友,我先跟大家简单解释下,到底算力在AI中有多大的作用。

你可以把人工智能大模型想象成一个人,它一开始什么都不会,我们需要去教它。

让它先理解了人类的语言和知识,然后它才能帮我们去做一些工作,而这就是所谓的对大模型进行训练。

那么训练所需的知识就是数据,光有数据还不行,你还要告诉它用什么方法去学,而这就是算法。

那么有了数据和算法后,如何让大模型学习的速度更快、学习的范围更广呢?

这就需要算力来起作用了,它就像人类的智商一样,直接决定了大模型是学霸还是学渣。

原理也很简单,因为算力越强,AI能进行的计算就越多,因此能理解和解决的问题也就越复杂。

所以说算力是现有人工智能技术发展的基础。

至少ChatGPT的成功,让我们看到了堆算力是能出奇迹的。

而OpenAI跑出来的Scaling Law,也就是规模法则路线,是目前所有大模型公司都在采用的方法,包括我们国内的公司也是。

那么问题来了,Scaling Law依靠的是强大的高性能算力做基础,才可能出奇迹。

而高性能算力依靠的是高性能运算硬件的集群,才能实现。

因此我们国家要想在算力上实现突破,归根结底还是要在运算硬件的核心,也就是CPU和GPU等这样的芯片上,杀出一条血路。

我们都知道,老美现在正对我们实行各种高科技禁令。GPU、光刻机等所有跟AI发展有关的技术、产品,都不让出口到中国。

英伟达为了能符合要求把产品卖给中国,专门推出了H20、L20等GPU,来绕过老美的监管。

但其算力可想而知,跟现有主流在用的A100和H100差距很大。

H20的算力大概只有A100的50%,H100的15%,更别提英伟达今年刚发布的B200了。

B200的运算性能至少是H100的2.5倍,那H20跟B200的差距有多大,你知道了,并且B200在今年下半年就会投入商用。

所以说实话,大国间的AI竞争,下半年将会更激烈!

我们国内现在做大模型的公司确实挺不容易的,真的都是勇士。

咱们用完觉得不好用,也要理解。

毕竟由于算力有限,咱们国内大多数的模型都是百亿参数级的,千亿的都很少。

就在前几天,咱们国内首个开源的千亿大模型,才刚刚问世。

而你知道GPT4的模型参数有多少吗?是1.8万亿。

而且越往后,也就是说到GPT5、GPT6等,模型训练的参数可能就越大。

黄仁勋也表示,英伟达的新产品是为十万亿参数级的大模型而准备的。

看到这你应该就明白了,不是我们不想赶超GPT4,而是算力的鸿沟,必然会带来AI发展的瓶颈。

好,刚才说的这些,都是咱们当下现实面对的困难。

那么你一定会想:我们就没有其他办法了吗?

答案是:还真有!

接下来我就再说一说,咱们破局的机会在哪?

事物永远都有两面性,有危必有机。

虽然我们目前在算力的硬件上被卡脖子,但这也意味着我们国产的算力设备正进入快速发展期。

以前呢,人工智能技术还不够普及,场内的玩家也不多,所以对高性能算力设备的需求没那么强。

再加上市场被英伟达等公司占着,咱们国内公司做相关的研发,投资和收益不成正比。

但现在不一样,英伟达2万亿美金的市值,证明了算力基础设施的“钱途无量”。

有数据显示,我们GPU的国产化率不足10%,但中国AI算力芯片的市场规模预计2024-2025年将超过2600亿元,这也就说明其中巨大的空间正等着被填补。

现在只要有高端设备出现,就是供不应求的状态。

那些早先就布局算力芯片研发的中国公司,已经开始收获订单了,像华为海思、寒武纪、海光信息等。

其中,华为的昇腾910B已经基本做到在能力上可以对标英伟达的A100了。

百度和科大讯飞等公司在2023年的时候,就从华为那买了不少。

而且可以确定的是:咱们国家算力芯片的能力,接下来也能做到成倍的增长。

为什么这样说呢?

因为芯片中还有一个叫做Chiplet的技术,这两年有了突破。

简单来说,就是它可以把两个或更多的芯片集成到一起,把它们变成一个芯片,来实现更强大的算力。

之前提到的英伟达最新推出的B200,用的就是Chiplet技术。

所以看到没,受摩尔定律的限制,老美那边也没办法,只能通过Chiplet把芯片做大这样的方式,来解决算力问题。

Chiplet技术的底层是芯片互联协议,这是英特尔等10家巨头联合,在2022年推出的统一芯片标准。

而我们国家也在2023年1月,由中国计算机互连技术联盟(CCITA)发布了《小芯片接口总线技术要求》,构建了属于我们中国自己的芯片互联标准。

这对我们规避国际上的技术封锁,和通过Chiplet来实现高性能算力,有了完善的基础。

另外就是:模型参数上是不是万亿的一定比千亿好?

目前还不能下此定论。

虽然chatGPT的成功经验是如此,但它并不能说明,这是AI通往成功的唯一道路。

有时候受于一些条件的限制,反而我们可能创造出更高效的技术。

老美那以OpenAI为代表的公司,走的是“从大到小”的路线,也就是先创造出一个无所不能的全才然后让他再去当医生、律师、工程师等各种角色。

那咱们能不能反过来,走“从小到大”的路线?

先创造出医生、律师、工程师等精通单一能力的“小模型”,然后再把它们的能力组合起来,最终实现强大的AGI(通用人工智能)?这也不是不可能的。

人工智能时代的序幕才刚刚开始,未来会有无数种可能性出现。

算力作为最重要的基础之一,我们国家给予了高度重视。

在2023年的10月份,发布了《算力基础设施高质量发展行动计划》,对计算力、运载力、存储力、应用赋能这四个方面提出了建设目标。

每一条其实都在关乎着你我,不管是是生活上,还是工作上。

就像AI的发展一样,影响着每个人的未来。

相信我们国家的AI技术,定会随着算力的升级实现飞跃!

关注我们,持续收获科技、商业深度干货~

1 阅读:10

创异文化舍

简介:感谢大家的关注