文丨Congerry

Grok-1 开源了！

上周一，马斯克宣布：“本周将开源 Grok 大模型。”但是一直到周六都没动静，本以为马斯克又鸽了。

结果周日，马斯克旗下的 AI 公司 xAI 就兑现承诺：“开源 Grok-1。”

"我们正在发布我们的大型语言模型 Grok-1 的基础模型权重和网络架构，"xAI在一篇博客文章中宣布。"Grok-1是一个由xAI从头开始训练的 3140 亿参数专家混合（Mixture-of-Experts）模型。

通常情况下，参数越多，模型就越先进、复杂和高效。开源以后，Grok-1也一跃成为目前全球参数量最大的开源大型语言模型。

模型细节：

基于大量文本数据训练的基础模型，未针对任何特定任务进行微调；314B 参数的 Mixture-of-Experts 模型，25% 的权重对给定token有效；2023 年 10 月，xAI 在 JAX 和 Rust 的基础上使用自定义训练栈从头开始训练。

Grok-1 根据 Apache License 2.0 开放源代码，允许商业使用、修改和分发，但不能注册商标，用户也不承担任何责任或保证。此外，用户必须复制原始许可证和版权声明，并说明所做的修改。

目前，Grok-1 的代码和模型权重已经上线GitHub，并收获10.6K颗星。

GitHub地址：https://github.com/xai-org/grok-1

不过，xAI 强调，由于模型规模较大（314B参数），需要有足够GPU内存的机器才能使用示例代码测试模型。

Grok-1开源消息公布之后，很多人开始在X平台上进行讨论。

知名机器学习与 AI 研究者 Sebastian Raschka 评价：“与其他通常带有使用限制的开放权重模型相比，Grok-1 的开源程度更高。与 Pythia、Bloom 和 OLMo 相比，它的开源程度较低，因为它们都有训练代码和可重现的数据集。”

Craiyon 创始人Boris Dayma 也对Grok-1模型的代码进行了初步评论和分析，主要内容包括：

模型代码编写得不错；分片规则遵循了旧的T5X风格；使用了Haiku库，但更新到Flax库也不太困难；在混合专家(MoE)层使用了shard_map进行自定义内存管理；对缓存的处理方式来自某些Haiku或DeepMind的示例，作者不太熟悉；前馈层使用了GeGLU激活函数；使用了ROPE(通过编码相对位置提高效率)；似乎使用了CogView论文中提到的"三明治规范化"技术，而非常规的Pre-LN，这一点让作者感到惊讶，因为作者认为Normformer可能会更好一些；没有训练代码/细节，但能看到模型架构还是很酷的。

去年7月中旬，马斯克宣布建立xAI团队。随后这个团队用了一个多月的时间搞出了参数量为330亿的Grok-0原型。

之后，团队又进行了两个月的努力迭代至Grok-1。不过，Grok-1在多项基准测试中的成绩并不算突出，虽然能够压过GPT-3.5、LLaMa 2一头，但是距离GPT-4、Claude 2都有一定的距离。

Grok 最初是作为一个专有或 "闭源 "模型于 2023 年 11 月发布的，到目前为止，它只能在X平台上访问，而且是通过每月 16 美元或每年 168 美元的 X Premium+ 付费订阅服务。

之所以选择现在开源，很大一部分原因很有可能是因为隔壁的“CloseAI。”毕竟，为了让OpenAI开源，马斯克甚至不惜动用了法律手段。

有意思的是，Grok此次官宣的方式还模仿了此前的ChatGPT。

看到 Grok 的表达方式与自己此前的推文如出一辙，ChatGPT 使用了马斯克“口嗨”技能，直接贴面输出xAI：“抄袭了我整个笑话。”

不过网友直指 ChatGPT 的笑话（开源）是一个谎言。

马斯克也回击 ChatGPT：“告诉我们更多有关 OpenAI 的“Open”部分的信息……”

另一方面，选择开源马斯克应该也有自己的商业考量。

扎克伯格曾解释过 Meta 开源战略的潜在好处，开源模型通常更安全、更高效，而且运行起来更具成本效益，因为它们不断受到社区的审查和开发。

开源软件还可以成为行业标准，从而更容易将创新融入 Meta 的产品中。最后，开源在开发人员和研究人员中的普及可以帮助 Meta 吸引更好的人才。

这一点对于马斯克的xAI来说同样适用。

例如，AI 搜索引擎初创企业 Perplexity 首席执行官 Arvind Srinivas 在 X 上发帖表示，该公司将对 Grok 进行对话式搜索的微调，并将其提供给 Pro 用户，而之前Perplexity AI 一直在用的是OpenAI 的GPT系列大模型。