1. 阻止人类灭绝1.1. 宇宙中唯一知道这些的物体，唯一知道宇宙存在的物体，是我们的大脑1.2. 如果没有关于某个事物的知识，我们能说这个事物就一定存在吗？1.2.1. 我们的大脑扮演着这样一个独特的角色，这很令人着迷1.3. 30%的大脑，即旧脑，是由许多不同部分组成的1.3.1. 旧脑区域控制着我们的身体机能、基本行为和情绪1.3.2. 其中一些行为和情绪会使我们具有攻击性，个性中会有暴力、贪婪和欺骗等特征1.3.3. 随着科技发展越来越强大，旧脑的自私和短视行为可能会将我们引向灭绝，或使我们陷入社会崩溃的局面，并进入另一个至暗时代1.3.3.1. 仍有数十亿人对生命和宇宙的最基本信息持错误信念，而这些病毒式的错误信念也是威胁我们生存的行为来源1.3.4. 我们被困在一个不仅被设定为终将走向死亡的身体里，而且在很大程度上被一个无知的野蛮人（旧脑所控制）1.3.5. 我们试图控制旧脑的破坏性和分裂性冲动，但到目前为止，我们还不能完全做到这一点1.3.6. 旧脑结合错误的信念会导致真正的生存风险，这种风险远大于人们预测的人工智能可能会带来的威胁1.3.7. 从战争到气候变化，都是由错误的信念，或旧脑的自私欲望，或两者共同造成的1.4. 70%的大脑，即新脑，是由新皮质构成的1.4.1. 新皮质学习世界的模型，正是这个模型使我们变得智能1.4.2. 智能的进化是因为它也对传播基因有帮助，我们是基因的仆人，但旧脑和新脑之间的力量平衡已经开始发生转变1.4.3. 无论我们变得多么聪明，我们的新皮质仍然与旧脑相连1.4.4. 新皮质包含的不是一个世界模型，而是大约15万个感觉-运动模型系统1.4.5. 新皮质所做的一切都以参考系为基础1.5. 我们的祖先对我们存在的最基本的事实几乎一无所知1.5.1. 他们编造了关于这些奥秘的故事，但这些故事并非事实1.5.2. 整个宇宙似乎是按照一套规律工作的，其中一些规律也已被我们发现1.6. 人类是最聪明的物种1.6.1. 对大脑进行逆向工程和了解智能是人类将要进行的最重要的科学探索1.6.2. 大量的实验数据将我们淹没，如果没有一个理论框架，就很难理解这些数据1.7. 在过去，无论是否有意，活着就是为了保存和复制基因1.8. 神经科学和机器学习都是具有巨大惯性的大领域1.9. 生活没有说明书，也没有历史或背景故事来解释这一切是怎么回事2. 选择我们的未来2.1. 越来越多的证据证明并没有一只看不见的手在指引宇宙的发展2.1.1. 从简单生命的出现，到复杂的有机生物体，再到智能体，既无预先安排，也非不可避免2.2. 宇宙中唯一关心人类未来如何展开的只有人类自己2.3. 地球是动态的2.3.1. 构成其表面的构造板块不断移动，造就了新的山脉、大陆和海洋，同时将现有的地貌陷入地球中心2.3.2. 变化速度虽缓，但不会停止2.3.3. 人类无法阻止地球最基本的地质特征变化，亦无法阻止物种的进化和灭绝2.4. 从宇宙的角度看，这种区分方法非常随意，因为无论是脊髓灰质炎病毒还是野花，它们本身并不比另一方更好或更坏2.4.1. 人类会根据什么对自身最有益，来选择要保护的东西2.5. 环保主义与保护自然无关，与人类选择有关2.5.1. 通常情况下，环保主义者做出的选择对未来的人类有利2.6. 宇宙并不关心我们的选择2.6.1. 帮助未来的人类，还是让现在的人类受益，这是我们自己的选择2.7. 什么都不做是不行的2.7.1. 我们是大自然的一部分，因此必须做出影响未来发展的选择2.7.2. 我们需要做一个意义重大的选择，这个选择就是我们更偏爱旧脑还是更偏爱新脑2.7.3. 我们是希望人类的未来由自然选择、竞争和自私基因来决定，还是由智能和它想要理解这个世界的愿望来决定？2.7.4. 我们需要具备通过操纵基因来改变进化进程的能力，以及创造非生物形式智能的能力3. 成为星际物种3.1. 当太阳寿命殆尽，太阳系中的所有生命也会灭绝3.1.1. 大多数与人类有关的灭绝事件都是在地球上发生的3.2. 降低人类灭绝风险的一个方法是成为一个星际物种3.2.1. 如果我们能在附近的一颗行星或月球上建立一个永久居住地，那么即使地球变得不再宜居，人类这个物种和人类积累的知识也能留存下来3.2.2. 人类已经很久没有前往新的未知之地了3.2.3. 我们可以在火星上生活，但要做到这一点，我们需要创造一些还没有的东西3.2.3.1. 我们需要智能自主的机器人3.2.3.1.1. 智能建筑机器人则是实现这一目标的必要条件3.2.3.2. 为了让人类在火星上生活，我们需要大型、密闭的建筑物来培育和种植作物3.2.3.3. 在火星上实现自给自足之前，我们将不得不从地球上运输所需的一切：食物、空气、水、药品、工具、建筑设备、材料和大批大批的人3.2.3.4. 如果我们不派遣人类工程师和建筑工人，而是派遣智能机器人工程师和建筑机器人，那么为人类改造火星是可以做到的3.2.3.5. 即使我们设法在火星上成功建立了居住地，可能也不得不接受人类将永远无法走出太阳系的事实3.2.3.5.1. 进化遗留下来的问题所带来的固有风险和限制仍然存在3.2.4. 人类要想在火星上长期生活，就一定需要智能机器的帮助3.2.4.1. 关键的要求是赋予火星上的机器人劳动能力以及相当于新皮质的能力3.2.4.2. 能够实现这一目标的唯一途径是完成大脑新皮质的逆向工程，并经由计算模拟创建同等结构3.2.5. 创造真正的智能机器人是可以实现的3.2.5.1. 如果人类把它作为优先事项，在几十年内便可以做到3.3. 历史表明，最终生活在火星上的人和生活在地球上的人可能会爆发冲突，从而危及其中一方或两败俱伤3.4. 凭借人类如今拥有的技术，需要数万年才能到达离我们最近的类地行星3.4.1. 人类不可能进行那么长时间的太空旅行3.4.2. 人类到那时肯定会取得今天无法想象的科技进展，其中之一可能是实用的太空旅行技术3.5. 成为星际物种是防止人类灭绝的一种尝试，但这仍然是一个由基因决定的未来4. 修改自身基因4.1. 研发了精确修改DNA分子的技术4.1.1. 人类将能够创建新的基因组，并以创建和编辑文本文件的精确度和便利性，来修改现有的基因组4.2. 基因编辑究竟是好是坏，是可行还是应在道德上受到谴责，取决于具体情况4.3. 如果基因编辑使我们的整个物种不至于灭绝，那么它就成了一种重要且必要的手段4.4. 没有绝对的对与错，只有符合利益的抉择需要做4.5. 原则上不应该允许对DNA进行修改，那么，不管他们是否意识到，他们已经选择了一个符合现有基因最佳利益的未来，或者正如经常发生的情况那样，选择了一个基于病毒式错误信念的未来4.6. 基因编辑是可行的，因此我们有这个选项4.6.1. 选择凭借智慧来掌控人类的未来4.6.2. 为什么无指导的进化之路比我们自己选择的道路更可取4.7. 通过修改DNA而设计的未来仍然是一个生物未来，这限制了事情的更多可能性5. 离开达尔文轨道5.1. 20世纪40年代，没有人能想象计算机能比米粒还小，小到可以嵌入几乎所有东西中5.1.1. 那时的人也无法想象强大的云计算机，支持在任意位置访问，但它本身并不位于任何具体的地方5.2. 创造出像人类一样拥有智能但并不依赖人类的智能机器5.2.1. 它们将成为可以飞出太阳系并比人类生存得更久的智能体5.2.2. 这些机器将分享人类的知识，而非复制人类的基因5.2.3. 人类的智能机器后代将在没有人类的情况下，继续生存繁衍6. 目标1：保存知识6.1. 如果没有人类积极地维护它，知识库就会慢慢腐烂6.1.1. 维基地球不会自我复制，也不会自我修复，因此，从更长的时间跨度上看，它也只是一种暂时的方案6.1.2. 我们会尽量将它设计成可以持续运行很长时间的储存库，但在遥远未来的某个时刻，它终将不再可读6.2. 保存知识最可靠的方法是不断地进行复制传递6.2.1. 即便失去其中任何一个个体，也不会导致知识的永久丢失6.3. 创造智能机器的一个目标是，复制人类已经在做的事情：通过制作和传递副本来保存知识6.3.1. 智能机器可以慢慢地游历整个银河系，甚至其他星系6.3.2. 对于智能机器来说，复制是非常困难的，这也许是这个目标可能无法实现的主要原因6.4. 一切都会被折损6.4.1. 当智能机器在太空中旅行，有的会损坏、丢失，有的会被无意摧毁6.4.2. 智能机器后代必须能够自我修复，并在需要时复制自己6.4.2.1. 这会吓到那些担心智能机器将统治世界的人6.5. 当下更重要的事情是讨论目标和概念，以帮助我们确定这是不是我们可以做的事情6.6. 关注智能和知识的未来，而不是仅仅关注我们这个物种的未来6.6.1. 我们卓越的智能是独一无二的6.6.2. 人类的大脑是宇宙中唯一知道更辽阔的宇宙存在的东西7. 目标2：获取新知识7.1. 如果我们创造出能够在恒星之间穿梭旅行，并能进行自我维护的智能机器，它们就会发现新的东西7.1.1. 好奇心是旧脑的功能之一7.1.1.1. 即使明知不探索会更安全，人类仍很难抗拒探索7.1.2. 如果智能机器要穿越银河系，那么它们对宇宙的了解将不断增加7.2. 为了扩展和保存人类的基因7.2.1. 基因只是会自我复制的分子7.2.2. 随着基因的进化，它们并没有朝着任何特定的方向发展7.2.3. 一个基因在本质上也不会比另一个基因更好，就像一个分子在本质上不会比任何其他分子更好一样7.2.4. 一个由基因驱动的未来几乎没有方向，只有短期目标：保持健康，繁衍后代，享受生活7.3. 为了扩展和保存人类的知识7.3.1. 人类这个物种之所以如此重要，是因为智能而不是特定的基因7.3.2. 我们应该到其他行星上学习更多知识，从而能够在未来为扩展和保存人类的知识提供保障7.3.3. 知识既有方向，也有最终目标7.3.4. 谜题7.3.4.1. 宇宙有多大？7.3.4.2. 它是否永远存在？7.3.4.3. 它有边界吗？7.3.4.4. 它是否像地球一样自转？7.3.4.5. 是否有许多其他宇宙？7.3.4.6. 什么是时间？7.3.4.7. 生命是如何起源的？7.3.4.8. 智能生物是普遍存在的吗？7.3.5. 一个为知识的最佳利益而设计的未来既有方向又有最终目标7.4. 我们不一定要顾此失彼，完全可以两者兼顾7.4.1. 我们可以继续生活在地球上，尽最大努力保持地球的宜居性，并努力保护自己不受自身最糟糕行为的影响7.5. 知识高于基因7.5.1. 知识和智能比基因和生物学更珍贵7.5.2. 值得被保存在我们的生物大脑之外7.6. 鼓励讨论，指出一些我们认为在伦理上具有确定性，实际上能成为选择的东西，并把一些之前没有得到重视的想法带回讨论中来7.6.1. 不是在规定人类应该做什么8. 学习方法8.1. 你需要阅读多个不同来源的文章来相互验证，以便获得对某个领域的内容正确的理解8.2. 综述文章通常会比普通论文更容易阅读8.3. 阅读特定的学术论文8.4. 跳到论文结尾的讨论部分8.5. 如果需要，才会考虑从头到尾认真读完这篇论文