不久前,零一万物CEO李开复老师表示,模型推理的成本每年下降十倍,过去两年已经证明了这一点。做得好的话,推理成本能下降二三十倍。
5月15日,字节跳动豆包大模型在火山引擎原动力大会上正式发布,主力模型推理输入价格0.0008元/千tokens,相当于把行业价格直降100多倍!要知道,大模型推理的GPU算力是宝贵的资源。如果没有疯的话,字节很显然对于优化推理成本的技术有着非常乐观的预期。
火山引擎总裁谭待表示,超低定价来自对技术的信心,而且大模型要真正落地开花,降低使用成本是必要的条件。对于企业而言,大模型从以分计价到以厘计价的巨大跨越,将助力企业以更低成本加速业务创新。
豆包推动AI普惠一直低调的字节AI在此次大会放了大招。
首先,品牌名称统一了。从原来的“云雀”大模型改名为“豆包大模型,从基座模型到上层应用,一口气抛出了一系列9款模型。
其中,豆包主力模型分为通用模型pro和lite两个版本,分别适配不同用户的使用需求。除此之外,还有 7 款功能性模型,涵盖角色扮演、语音识别、语音合成、声音复刻、文生图等方面。
此外,字节跳动基于豆包大模型还打造了AI(人工智能)对话助手“豆包”、AI应用开发平台“扣子”、互动娱乐应用“猫箱”以及河马爱学(AI学习助手)、星绘(AI分身创作)、即梦(AI创作平台)等。
字节跳动产品和战略副总裁朱骏认为,技术在快速演化,但用户核心的需求没有改变,包括高效获取信息、工作提效、自我表达、社交娱乐等等。字节跳动做了很多学习和探索,希望找到适合的大模型应用形态,以足够自然的交互方式,为用户的生活和工作带来便利。
比起首次亮相的豆包大模型家族,价格才是此次大会最大的意外和惊喜。当火山引擎总裁谭待公布“豆包通用模型Pro 32k模型,正式定价是0.0008元/千tokens”,现场响起了一阵惊呼和掌声。
这可以说是一个之前谁也没办法想象的“地板价 ”。
以 OpenAI 发布的全新模型GPT-4o为例,GPT-4o的价格已经来到输入5美元/百万Token(约为0.035元/千tokens),输出15美元/百万Tokens(0.1元/千tokens)。国内的一众大模型厂商,均价在0.12元/千Tokens左右——豆包大模型的价格比其便宜了150倍。火山引擎公布的价格计算显示,一元钱能买到豆包主力模型的125万tokens,大约是200万个汉字,相当于三本《三国演义》。
对于大幅降价的原因,谭待给出了解释:“一个是我们能够做到,第二是我们需要这么做。”根本原因在于,模型推理成本快速下降是软硬件技术发展的必然规律。很显然,字节对于通过技术手段优化成本非常乐观。
对于降价是否会引起大模型市场的竞争,谭待表示,目前大模型市场仍在发展初期阶段,“池塘有多大,鱼就有多大,现在整个池塘还在培养的过程。”目前,大模型仍处于百家争鸣的状态,需要大家一起实现应用落地、降低成本,让更多人受益,因此目前还不存在激烈竞争。
在会后的采访中,谭待则表示,0.0008元/千Tokens并不是一个意在“打价格战”的价格 。作为字节跳动 To B 的重要的载体,火山的定价会遵循正常的商业逻辑,亏钱补贴,并不能换来长久的商业合作。
可以预见,从豆包大模型开始,大模型行业从“以分计价”到“以厘计价”的时代。
产品力久经打磨本次发布会上,字节跳动没有放出任何榜单分数和参数规模,对于自家的产品可谓是胸有成竹。
谭待在会后采访中直言,为什么不披露测试结果和参数,因为这些大家都可以自己测就好了,好不好用完全可以自己体验一下就能感受到。
实际上,早在去年大模型就在字节跳动内部完成了上线,也是首批通过大模型服务安全备案的大模型之一。豆包字节跳动内部已经把大模型接入抖音、番茄小说、飞书、巨量引擎,覆盖了办公智能助手、电商导购、售后客服、营销创作、数据智能分析、编程助手等业务场景50余个业务。
字节跳动自身的产品也为豆包大模型提供了丰富且能够规模化的应用场景。其中,在苹果APP Store和各大安卓应用市场,豆包APP的下载量在AIGC类应用中排名第一。豆包上已有超过800万个智能体被创建,月度活跃用户达到2600万。
谭待介绍,经过一年时间的迭代和市场验证,豆包大模型正成为国内使用量最大、应用场景最丰富的大模型之一,目前日均处理1200亿Tokens文本,生成3000万张图片。
豆包大模型在成本和效果上已经得到了成功验证,在服务字节内部的同时,也在与火山引擎的众多企业客户合作共创大模型的应用落地。
去年,火山引擎发布了一站式大模型服务平台火山方舟,希望通过模型即服务的理念,帮助企业在高效、安全的环境里应用各类模型。此次大会将火山方舟平台进行了全新升级,推出了方舟2.0平台大幅提升核心插件、系统性能以及平台体验,帮助企业推进大模型的价值创造。
首先是联网插件,升级后提供头条抖音同款搜索能力,实时连接海量优质数据,同时使用文本、图像、语音等多模态交互方式,并通过业内领先的意图识别能力,大幅提升模型的信息获取能力;随后是大模型内容插件,可以独家提供抖音丰富的视频和图文内容,并且作为相当的重要信息去丰富大模型和用户的交互过程;以及知识库插件,对企业来说,其实内部积累了很多专业数据,通过知识库的应用,可以通过这些专业数据更好地辅助大模型,提升它的精确度,降低幻觉。火山方舟的知识库插件内置了字节自主研发的大规模高性能向量检索引擎,可以实现百亿级别数据的毫秒级检索,而且能支持秒级索引流式更新。这是一个重要的功能。
除以上核心插件升级之外,火山方舟2.0也全面升级了系统承载能力、安全防护能力和算法服务能力。在系统承载力上,提供超万卡的GPU资源池来支撑大模型推理服务,并提供极致的弹性调度,仅仅只需要 3 分钟,就能够顺利完成千卡扩容;安全防护上,通过安全沙箱构建可信的执行环境,多维度的安全架构,保障数据安全;此外,火山引擎提供专业的算法团队服务,帮助客户释放独有数据价值,让企业大模型应用轻松落地。
除了好的模型效果、便捷的插件、强劲的系统性能,还需要提供简单易用开发平台。扣子产品经理潘宇扬介绍,扣子(coze)作为字节跳动推出的新一代AI应用开发平台,具备低门槛、个性化、实时性、多模态等优势,并集合海量的AI资源、丰富的发布渠道、一键自定义API服务,帮助填补大模型到用户场景的最后一公里。
谭待表示,火山引擎致力于成为AI时代最开放和领先的云服务平台。全新升级的火山方舟2.0将通过更强性能、更优插件、更好服务以及安全可信方案,助力大模型应用落地
大模型落地蓄势待发在豆包大模型和火山方舟平台加持下,汽车、金融、消费、教育等行业都在抓紧机遇运用大模型。
例如招商银行基于扣子和豆包大模型搭建了可以推荐餐饮优惠门店的“掌上生活”bot,以及能汇总市场行情的“财富看点”bot;海底捞通过使用豆包大模型搭建顾客评价分析模型,分析结果应用于服务质量、菜品质量、经营管理的优化迭代;超级猩猩基于扣子和豆包大模型搭建了AI顾问,为用户提供全能答疑,智能推荐健身课程;OPPO的小布助手与豆包大模型在通用问答、定制化聊天人设智能体和定制化职场人设智能体上展开合作,丰富了知识储备,提升了实时检索能力和安全合规保障;复旦大学基于扣子和豆包大模型,搭建了通识核心课程《生态学》的辅导助手。
蒙牛集团副总裁首席数智官李琤洁在大会现场分享AI应用表示,蒙牛运用大模型技术,构建AI矩阵。目前已经生成AI营养专家、AI育婴师、AI运动营养师、AI广告投手、AI SEO专家。蒙牛利用AI进行智能优化后投放广告,节省预算超过以往30%以上。运用AI完成(一人运营自有媒体)利用AIGC,基于热点话题产出创意概念,生成可直接用于社媒传播的图像和文案。生成可直接用于传播的图像和文案海量实时在社交媒体发布。
发布会当天,火山引擎联合中国电动汽车百人会,与吉利汽车、长城汽车、捷途汽车、赛力斯、智己汽车等20余家厂商,宣布成立汽车大模型生态联盟,致力于为消费者带来汽车全场景AI新体验。
同时,火山引擎与OPPO、vivo、荣耀、小米、三星、华硕宣布成立智能终端大模型联盟。OPPO小布助手、荣耀MagicBook的YOYO助理、小米“小爱同学”,以及华硕笔记本电脑的豆叮AI助手等应用,均已接入火山引擎的大模型服务。
当前大模型应用发展仍处于早期阶段。QuestMobile 数据显示,截至今年 3 月,基于大模型的AIGC行业用户量为7380万,同比增长了8倍,仅占移动互联网用户量的6%,存在广阔的增长空间。
在推动AI转型的浪潮中,技术创新与商业落地并行不悖。技术驱动下的极致性价比,让大模型的使用门槛大大降低,使得人人都能享受到其带来的便利。
编辑:高明