本篇内容是「AGIX 投什么」的第 6 篇。AGIX 指数是从全球上千家科技上市公司中精选出的 40 家“高 AI 纯度”公司的组合。AGIX 指数即是定位 AGI 进程的坐标，也为投资人捕捉 AI-alpha 提供了价值工具。在「AGIX 投什么」板块，我们会对 AGIX Index 的组合公司进行深度分析，为市场输出全面的 AI 投资参考。

Tesla 是 AGIX Index 组合的前 10 大持仓公司之一，公司在过去 10 年在自动驾驶和机器人的大规模投入让其有机会成为物理世界 AGI 最强玩家。近期，Tesla 迎来2024 年内第二波股价上涨，不仅达到最近 2 个月以来的最高水平，还抹平了今年以来所有跌幅并转涨，AI 是驱动这轮增长的最重要因子。

10 月 10 日， Tesla 将正式发布的 Robotaxi，根据 ARK 的分析， 预计到 2029 年，特斯拉近 90% 的企业价值和收益将归因于自动驾驶出租车业务。本周，Tesla 还调低了 FSD 的选装价格，推动新车销售同时，FSD 选装率的提升也会帮助 Tesla 收集更多数据改进 FSD 表现。虽然 Optimus 机器人距离大规模商业化还很远，但如果用 Optimus 替代 Tesla 工厂工人、提升人效也能极大程度改善利润，参考 ARK 对 Tesla 的建模，如果在未来 5 年实现 Optimus 在 Tesla 工厂的部署，最大能节约 30-40 亿美元成本。

本篇内容是前 Tesla 计算机视觉团队负责人 Andrej Karpathy 的深度访谈。Andrej Karpathy 亲手搭建了 Tesla 计算机视觉团队，并参与了 Optimus 机器人项目。他详细分享自己关于自动驾驶技术的进展以及对市场竞争的看法，Andrej Karpath 认为， Tesla 探索的端对端是自动驾驶最理想的实现路径，Tesla 汽车在全球的大规模部署是它的最大优势，接下来只要解决软件问题就能够真正实现自动驾驶的大范围推广，从 10 年的长度来看，Tesla 会在规模化和收入模式上做到全球领先。

💡 目录 💡

01 自动驾驶和 AGI 很像

02 Tesla 也是一家机器人公司

03 小模型与“LLMs 公司”

04 AI 时代的教育

01.

自动驾驶和 AGI 很像

Sarah Guo: 你怎么看今天自动驾驶的发展？还有多久我们会看到自动驾驶全面普及？

Andrej Karpathy: 我在自动驾驶领域呆了 5 年，我觉得这个领域非常有趣。从现阶段这个领域的发展情况来看，自动驾驶和 AGI 之间非常相似，也可能因为我对自动驾驶领域很熟悉，但我确实觉得我们在自动驾驶领域已经快接近 AGI 了，比如现在已经有成型的产品可以让用户付费使用，Waymo 就是一个很好的例子，Waymo 现在在旧金山很常见，很多人都体验过，我自己就常常体验 Waymo，它已经成为了一个商业化的产品。

我第一次体验 Waymo 差不多是 10 年前，当时有一位朋友在 Waymo 工作，他带我乘坐 Waymo 环绕了一整个街区，10 年前从技术角度 Waymo 就已经很好了，但从 demo 到成为大规模铺设在城市中的产品这个过程经历了 10 年，当然今天 Waymo 也还在持续扩张。

Elad Gil: 从 demo 到成功的付费产品之间经历了 10 年，有多少程度是监管的原因？你认为自动驾驶技术什么时候就已经 ready 了？

Andrej Karpathy: 我认为自动驾驶其实在 10 年前就已经达到相当成熟的水平，但 30 分钟的 demo 并不能完全展示他们过去 10 年所面临的所有挑战，demo 与实际产品之间有很大差距，当然这里面会有部分监管的原因。

但我认为，我们已经一定程度上已经在自动驾驶领域达成了 AGI。与此同时，demo 和在全球范围内得到推广之间也存在着很大差距。虽然 Waymo 已经可以在旧金山运行，但从在全球市场普及角度，还没有产生很实质性的影响和结果。这也是我认为 AGI 和自动驾驶相似的地方。

回到自动驾驶领域，许多人认为 Waymo 在技术上领先于 Tesla，但我个人认为 Tesla 实际上要比 Waymo 走得更前，这个观点可能和目前的主流声音不太一样，但我对 Tesla 的自动驾驶确实很有信心。

Tesla 面临的是软件层面的问题，Waymo 的挑战来自于硬件，相比较来说，软件问题的解决要更容易。Tesla 已经在全球范围内大规模部署了车辆，而 Waymo 还没有达到这样的规模。因此，我相信一旦 Tesla 的系统能够真正大规模落地并高效运转起来，效果会很惊人。昨天我刚试驾了 FSD 的最新版本，驾驶体验非常流畅。Tesla 自动驾驶系统的一系列操作，让我觉得 Tesla 今天自动驾驶上已经取得了相当不错的结果。

整体上，我觉得 Tesla 的自动驾驶最大的挑战在于软件角度，Waymo 的挑战则更多来自硬件。从今天的情况看，Waymo 似乎处于优势位置，但我相信，如果从 10 年的长度来看，Tesla 会在规模化和收入模式上更领先。

Elad Gil: 你认为解决软件问题需要多长时间？你刚刚提到 Waymo 的车辆上有很多昂贵的激光雷达和传感器，这些硬件给软件系统提供了支持，如果像 Tesla 一样，仅仅只是依赖摄像头系统，不仅能够显著降低成本，还能减少系统的复杂性，并且适用于更多车型。这种转变大概什么时候能够实现？

Andrej Karpathy: 我个人希望未来几年内就能解决。其实 Tesla 在训练阶段也使用了很多昂贵的传感器，还做了很多没办法大规模推广的技术，比如无线传感器信任模型研究和地图测绘等。而在测试阶段，Tesla 将这些数据精简成一个只依赖视觉系统的测试包，部署到量产车上。很多人可能并没有意识到，这其实是一种很精明的传感器与成本之间的“套利”。因为摄像头能够捕捉到足够的信息，神经网络也有能力处理这些信息。在训练阶段，这些传感器非常有用，但在测试阶段，它们的作用并不那么重要。所以，我认为只依赖摄像头已经足够。

Elad Gil: 自动驾驶领域最近出现的一个趋势是，开始从基于边缘案例设计的启发式算法逐渐转向端到端的深度学习，背后的原因和逻辑是什么？

Andrej Karpathy: 端对端其实就是我们一开始想要做的。我刚加入 Tesla 时，我们就讨论过，神经网络最终一定会替代整个技术栈。当时系统中有大量的 C++ 代码，但今天测试包中运行的 C++ 代码已经很少了。神经网络逐步取而代之，一开始神经网络只是用在图像识别处理上，后面又扩展到处理多帧图像并生成预测结果，随着时间推移，C++ 代码逐渐被替代。最终，系统只需要给出驾驶指令，神经网络就能输出结果。

所以 Tesla 在做的就是端对端的 AI 驾驶，但 Waymo 应该是没有选择这个技术路线的。虽然他们有过尝试，但效果不太理想。

我个人很相信端对端的路线才是正确的，是未来发展的必然方向。如果从这个角度看，十年后的 Tesla 系统很有可能会发展成一个端到端的神经网络，视频流输入后直接输出驾驶指令。当然，这个过程需要逐步完善系统的各个模块。我并不认为当前所有的中间预测(intermediate predictions)会对开发进程产生误导，恰恰相反，它们是系统的重要组成部分。因为在训练一个完全端到端的神经网络时，模拟人类驾驶的监督信号十分有限，无法支撑如此庞大的网络进行训练。中间预测则能帮助开发出特征和检测器，从而使得端到端的问题变得更加可行。因此，我猜测他们在进行大量的预训练，以便未来实现端到端的微调。

总的来说，我认为神经网络取代整个技术栈的过程是必要的，但过程需要循序渐进。Tesla 目前的尝试已经展现了初步成效，让人对未来充满期待。

💡

中间预测（Intermediate Predictions）：在模型训练或推理过程中，生成的非最终结果或输出。这些预测在多步计算过程中作为中间步骤，帮助模型逐步逼近最终结果。它们在复杂任务中非常有用，比如分层决策、机器翻译或多任务学习，可以通过评估这些中间结果来优化模型性能，纠正偏差或提高模型的训练效果。此外，中间预测还帮助解释模型的内部工作机制，并可能为模型调优提供参考。

02.

Tesla 也是一家机器人公司

Sarah Guo: 离开 Tesla 之前，你也参与过 Tesla 的人形机器人项目。从自动驾驶到机器人，有哪些技术是可以迁移的？

Andrej Karpathy: 基本上所有技术都可以迁移。但我觉得大家可能还没有意识到这一点。机器人和汽车本质上并没有太大的差别。我觉得把 Tesla 简单理解为一家汽车公司其实是对它的误解