ElonMusk：Grok3的预训练已经完成，以超Grok2十倍的算

真的不是郑小康 2025-01-04 10:38:52

Elon Musk：Grok 3 的预训练已经完成，以超 Grok 2 十倍的算力。

Grok 2 是基于从甲骨文租赁的 1.6 万块 H100 训练的，十倍起码要 16 万块 H100 了？xAI 已公开的只有那个 122 天建成的 10 万卡集群。

Grok 3 规划于 2024 年年底发布，所以现在属于跳票进行时。

xAI 做的确实也是很有挑战的训练，目前尚无单一模型会耗费如此巨大的算力训练，可以预期训练过程中会遇到各种各样的中断失败，预训练已经完成算是个好消息。

0 阅读：0

真的不是郑小康

感谢大家的关注

作者最新文章

1

汽车行业的不景气已经发展到了这个地步。要探店，要对比竞品，要出竞品镜头，出不了口

2

这个类比有点意思。在学校学习知识，有点像模型的预训练，而步入社会的实践和成长，这

3

不知道是不是前两天发了迈凯轮要用蔚来的技术平台那条微博，这两天朋友圈老刷到蔚来的

4

网上流出的 Llama 4 模型训练问题，不知真假。能对得上的包括「X 和 Re

5

刚骑了 20 km 自行车，回家拉伸完就和 Grok 聊了一会儿，也算解开了一个

6

不知道是不是前两天发了迈凯轮要用蔚来的技术平台那条微博，这两天朋友圈老刷到蔚来的

7

Llama 4 一发布，又一个过 1400 的模型。感慨一下 Grok-3 是

8

微软 50 周年，有几个网友晒出了 Windows Phone.

9

Sam Altman：OpenAI 可能在几周后分布 o3 和 o4-mini，

10

星巴克真喝咖啡梗，现在出模型编程版了。

热门分类

推荐热榜军事 NBA 体育社会明星八卦娱乐财经科技汽车历史国际游戏动漫公益搞笑商业互联网数码国际足球房产家居时尚科学探索职场育儿股票教育影视情感热点中国军情武器中国南海中国足球亚洲杯科比综合体育 CBA 投资楼市大咖秀外汇创业风口 SUV 豪车概念车优惠新能源美国欧洲朝日韩俄罗斯孕期街拍恋爱攻略婚姻正能量

汽车TOP

1

为什么上车之前要脱鞋呢

2

如果那三个小姑娘开的不是电车，而是一辆普通的燃油车，以时速90公里正面直接撞柱子

3

问界M8静态评测首发冰箱彩电大沙发，这就是一个移动的客厅➕起居室，这就是个移

4

余承东不再担任华为车BU董事长华为内部的正常职务调动吧，鸿蒙智行现在的发展挺顺利

5

赤裸裸的现实！中国打响了停售燃油车的第一枪比亚迪：2023年已经停产燃油车

6

SUV销量TOP20！你最想买哪款给没有车的我一点点意见吧看了一晚上

7

李想称智驾名称要让用户看得懂之前在社交媒体称：“呼吁媒体和行业机构统一自动驾

8

十款质量好又耐开的汽车1：大众朗逸2：大众宝来3：本田飞度4：丰田威驰

9

轮毂里居然用塑料？！啥车的轮毂这么省成本？安全性够吗？

10

凯美瑞2.0L和2.5L的发动机技术差异不大，热效率相差仅1%。但2.5L版本优

汽车最新文章

1

为什么上车之前要脱鞋呢

2

比亚迪汉L终于要上市了！期待已久，应该是绝对的物有所值！跨时代的电车技术！期待来

3

比亚迪汉L、唐L3天后上市不仅对比亚迪，在整个汽车市场，这都是今年相当重磅的两

4

十款质量好又耐开的汽车1：大众朗逸2：大众宝来3：本田飞度4：丰田威驰

5

大力发展电车的后果已经越来越明显了。1.原来配备在百万豪车上面的空气悬架，已经

6

一张图：帮你认识奔驰SUV尺寸大小。☞奔驰最小的SUV：GLA☞依次是GLB、G

7

听我一句劝，2025年，买车不纠结：1、要质量——买丰田！2、要舒适——

8

比亚迪好不好，这就是赤裸裸的现实日本，1月卖了53辆俄罗斯，1月卖了131辆

9

一觉醒来，汽车界炸锅了。！2025年新能源汽车补贴的调整方案来了：购买150

10

电车∨S油车这样对比就很直接，也很明白。那，你是选电，还是油。