这次去硅谷,当地的创业者也很怀疑 GPT-5 年底究竟能不能出来?即使出来了,相较GPT-4,推理能力上会不会在有显著提高?
现在硅谷都说可能至少要十万张 ,甚至二三十万张 GPU 卡,才能看到显著的性能提升。但是即使你有卡,可能也没那么多可用来训练的数据。
最近快手发布的「可灵」,大家体验过吗?
「可灵」做的文生视频比Sora更好。
为什么快手比 OpenAI 做的还要好?因为快手本身就做短视频,有很多数据做训练。相反,你问Sora 有没有爬 YouTube 的数据做训练,他都不敢说。快手证明了,卡多还不如数据多更有效,我用更多数据反而能训练出更好的模型。
所以,中国在 AI 技术上并不比美国差,而且更重要的是数据。
现在,GPT-4 在很多文字场景上,已经可以满足大部分需求,最大的难点是多步推理还不太行。一个比较复杂的逻辑需要多步推理,如果每一步都只能做到 90% - 95% 的准确率,那多步迭代后其准确率可能就到 50% 以下了。
而中国企业用私有数据化训练模型,就可以很大程度上降低幻觉、增加正确率,关键是你有没有能积累足够多的高质量数据。
为什么做微信营销的公司,去年很容易就用大模型取代了 50% 的人?就是因为他们内部把团队和用户之间的对话数据都累积下来了。