结论出来了，AI不能“真正理解和推理”
这是Ilya Sutskever说的。现在业界都知道大模型的“推理”是怎么回事了，失望了，不准备大搞了，在想别的办法。我来解释下，为什么大模型不会理解和推理。
一种推理是形式主义的，不需要理解。就A推B、B推C，最后得出结论，ABC是什么不管。这等于符号游戏，古早时期就有这类搞法，最后搞不下去了。等于对符号基于一些规则进行排列组合，产生后续符合组合。这能搞出东西才见鬼，没有理解不行的。
人类真正满意的推理，是基于“理解”的。你知道ABC对应的是什么东西，推理符合常识。而人们基于常识和对规律的深入洞察，能够提出一些复杂的推理过程，展现了真正的人类智慧和创新。很多人做数学题是需要洞察的，起码也要理解。而只会套形式的人，就学不好数学和理工科，理解不了自己在套什么。
大模型，表面上干了很多推理，甚至不少推理很复杂。有说法是博士水平，多么厉害。深入研究发现，这些推理是基于符号的，是形式主义的。机器不理解自己在干什么，难以得出深入的对规律的洞察。一些惊人的表现，来源是参考训练数据中的答案。它会推理是被逼得，推不对就玩命训练，模拟出来了很多常规的推理结果。测试不对劲就训练，数据中有足够的“料”，加点形式主义推理，就能蒙对了。这些料是先验的，从天而降，机器产生不了新料。
COT思维链，就是把形式主义的推理展开。展开以后，就能和先验的料更多碰撞，一些不对的路就不搞了。碰来碰去就碰对了。有点像是悟性不足的学生做题，乱试各种推法，做很慢。
现在，人们对大模型的推理表现不满意了。没人愿意教悟性不足的学生，即使他们非常努力、不睡觉、看无数参考书，但就是最基本的“理解”不行。老师会说这种学生“没开窍”。大模型面对的是token世界，token1、token2...它上哪理解去？这方面连小学生都不如。但是勤快学习形式主义，在一些问题上模拟到似乎有博士水平了。
大模型真正的逻辑实力，有没有小学生都不一定，如著名的问strawberry里有几个r的问题。大模型只是不理解人们在问为什么，不理解问题。所以，需要人们学习promt技术，改善提问，让大模型庞大的输入储备和形式主义推理能管用。这让机器推理不能大规模应用，因为一般人很快就会不耐烦，觉得机器没用。反而是聪明人觉得机器有用，帮自己汇总资料什么的。
感觉所有神经网络模型都会卡在“理解”上，时间也许很长。人类的“理解”怎么回事，非常本质，也许和自我意识有关。如果一个东西，连自我意识都没有，怎么谈理解？而自我意识是老话题，很哲学，现在不知道如何产生，一些人认为本质是量子。没有量子计算机，机器就没有理解。
