世界模型与 LLM
语言只是人类文明的高级产物，它是一种被高度压缩、抽象过的“交流工具”，而非世界的本质。真正的智能或者说世界模型，应该是从真正的世界中学习，而非语言。
但是这个真实的世界，我们需要一种媒介作为输入，视频或许是一个很好的选择，因为视频一定程度是真实世界原貌的客观反映，但是同样的，视频能够蕴含的信息仍然有限，它并不是真实的世界。
同时，虽然是从真实的世界中学习，但是他不应该对同一时刻的所有信息予以相同的注意力，应该有选择地关注与“任务”相关的信息，这也是一种“抽象”，某种程度上也是一种对世界的“表征”。
LLM 并不是 The Bitter Lesson。在我利用 AI 搜索“The Bitter Lesson”的解释的时候，AI 给的举例之一便是 LLM 或者说 NLP 的成功，尤其是 Transformer 或者 ChatGPT。但是正如前边所说，语言本身就是人类的高级产物，而 The Bitter Lesson 本身强调的是，人类“引以为傲”的先验知识，在机器大量的学习面前，不值一提。正如围棋中阿尔法狗的成功一样，研究者曾试图把围棋特有的形状和策略编入程序。但后来的 AlphaGo 及其后继者 AlphaZero，仅仅依靠通用的自我博弈和蒙特卡洛树搜索，辅以海量算力，就彻底颠覆了人类几千年的围棋知识。LLM 之于理想中的世界模型也如此，人类语言就相当于围棋特有的形状和策略，他不是围棋本身，而是基于围棋进一步抽象或者发展出来的高级产物，而理想的世界模型的输入则相当于围棋本身，也即围棋的规则，而世界模型会基于这个规则下，不需要形状和策略等高级产物，而学习出自己的智慧。
即，真正的世界模型，其输入不应是被人类语言高度过滤后的“二手知识”，而应当是连续的、高维的、充满噪音的真实物理世界信号。
LLM 或者说语言模型应该是世界模型的一个部分，或者说一个输出的接口。当世界模型基于真实的世界学习到了真实的表征之后，如果要实现一个语言模型，只需要将这些表征与人类语言进行对齐，作为这些表征一个输出即可。这样这里的语言模型是有对真实世界的认知的，它是对真实的世界的描述，只不过将这些描述“翻译”为了人类语言。而我们现在所使用的 LLM，它的任务或许更像是“搜索引擎”，它可以用来搜索互联网上已有的内容，但无法对真实世界进行描述。
“一个 4 岁小孩看过的视频，量级比所有训练语言大模型的 token 还要大。”这正是我经过弯弯绕绕最终还是选择要尝试世界模型的原因。2023 年暑假，在北大暑期学堂，朱松纯教授关于通用人工智能的讲座我至今无法忘记。当时朱教授讲到，机器可以完成很多人类难以完成的任务（在 2023 暑假 LLM 并不是很火，至少对于高中生的我，这是一个完全未知的事物，所以教授选择的描述是“机器”），但是对于人类儿童在几岁时就能理解的事情，比如一个杯子放在桌边，他可能会掉下来摔碎，机器却无法理解。那时朱教授还为我们展示了一个视频，是两个小球，在“互相追逐打闹”，这在人类看来是这样的，可是实际上，这只是几个像素点在移动，是人类的“大脑”赋予了这些移动的意义。这非常深刻地震撼到了我，激发了我对这种研究的好奇，尽管这些好奇曾一度消磨，但正如谢赛宁说的：“世界模型是所有人会抵达的终点。”
真正的科研
在我初学深度学习的时候，当学习到 ResNet 的时候，我曾极其崇拜何恺明，认为那是天才般的“灵光一现”，是极强直觉带来的完美降维打击。但谢赛宁对何恺明及其自身科研经历的描述，让我意识到我错了。
“如果一个工作最后的呈现和你最初设想的 idea 一模一样，那这往往是一篇最差的、最无聊的论文。”在观看这个视频之前的我看来，科研就是：提出一个绝妙的 idea -> 一步步完美实现它 -> 发表惊世骇俗的 paper。但是谢赛宁的描述说明了这并不是科研的常态。真正的科研从来不是线性的 A 到 B。在长达 6 个月的项目周期里，可能前 5 个月都在不断地试错、推翻、重建，真正的突破往往是在最后几周的迷雾中爆发的。
科研的常态，是在一个大方向下，通过海量的阅读和实验，去进行无尽的“随机梯度下降”。这个过程绝不是直线的。我曾以为大神的成功靠的是灵感，但实际上，正如谢赛宁回忆中的何恺明：他有着极其恐怖的专注力，每天除了思考这一个问题不作他想；他有着极致的工程执行力，为了探究底层的真理，他会亲手搭建 TPU 的基础设施，甚至用精细的 Excel 表格来严控每一个实验变量，从失败的实验中榨取梯度的信号。
“Research 的求索过程，本身就是在一个暗无天日的地方摸索。当你看不见光亮的时候，总是会感到迷茫和沮丧。” 科研是一场反脆弱的游戏，沮丧和试错可能占据了日常的 95%。在这个漫长而苦涩的梯度下降过程中，灵光一现固然重要，但在迷雾中坚定地搭好脚手架、保持对真理的极致渴望与热爱，才是推动我们抵达全局最优解的唯一动力。