文心大模型4.0推理成本将增加10倍!大模型如此烧钱为啥我们还要搞? 如果问2

刘大爷杂谈 2023-10-11 14:34:25

文心大模型4.0推理成本将增加10倍!大模型如此烧钱为啥我们还要搞? 如果问2023开年最火的科技概念是什么,恐怕ChatGPT是不遑多让,作为目前全球影响力最大的大语言模型,它确实能够大幅提升我们的工作效率,堪称是人工智能“神器”。 既然ChatGPT如此强大,咱们的AI技术也不逊色国外,为啥不是咱们的国产大模型先研发出来?其实有个因素一直被咱们忽视——中文大语言模型实在太烧钱了! 据国盛证券估算,GPT-3训练一次的成本大概140万美元,对于更先进的迭代版本,成本最高能达到1200万美元,而牛津大学的研究直接给国产大模型泼了盆冷水:由于中文通常一个词汇有多种含义,导致中文大语言模型所消耗的内存和计算资源更多,训练费用几乎是英语的两倍! 既然中文大语言模型如此烧钱,那国产大语言模型岂不是没戏了? 当然不是!要知道,大语言模型之争可不仅仅是技术之争,更是国家AI话语权的较量。试想一下,如果以后国人都习惯了chatgpt,万一哪天人家直接限制咱们使用,我们该如何是好? 事实上,尽管艰难,但国内企业对于国产大模型的研发一直在路上,而最近据知情人爆料,国内百度文心大模型4.0已经在加紧开发了! 作为国产中文大语言模型的翘楚,文心大模型一直被寄予厚望,而本次爆料还有个关键信息——文心4.0很可能拥有“万亿级别参数规模”。要知道,ChatGPT之所以“聪明”就因为参数更大,如果爆料属实,文心4.0是用单一模型在万卡AI集群上训练出来的,这就意味着它将成为史上最大参数模型,不仅训练速度更快,逻辑性能也会比3.5高一个数量级,在模型能力上将实现质的突破!性能提升的同时,也是推理成本的提升,文心4.0的推理成本较文心3.5将增加10倍! 不得不感慨一句,中美大模型绝非表面的技术之争,话语权之争才是胜负手。而10月17日,百度将召开世界大会,届时是否会隆重推出文心4.0?让我们多一点期待!

0 阅读:52
刘大爷杂谈

刘大爷杂谈

感谢大家的关注