第 2 页 · 文字版
心晴九天 · 课程笔记 从世界模型到世界智能体
OVERVIEW
一页看懂这堂课 大语言模型学的是怎么说话,世界模型学的是世界下一秒会变成什么样。这堂课从原理讲到难 题,最后落到怎么用它训练能在工厂里干活的机器人。
它是什么 → 怎么造出来 → 三种用法 → 三个难题 → 变成 Agent → 未解问题
六句话记住主线 1. 它是什么:一个实时的、跟着动作走、一帧接一帧往下画的视频生成器。比传统模拟器更像真的,但 没有可以编辑的 3D 状态。
2. 怎么造出来:扩散模型,从噪点一步步去噪出画面;网络用的是 Transformer;每一帧都参考前面几 帧,以及动作、文字等条件。
3. 三种用法:开环(游戏,自由但会越滚越歪)、闭环(机器人,有真摄像头拉回现实)、锚定开环 (自己画,但靠地图这类不变的锚稳住)。
4. 三个难题:记不住(上下文太短)、多人共处一个世界、越画越歪(曝光偏差)。各有对应的解法。
5. 变成 Agent:带动作标注的视频只有约 2000 小时,普通视频约 20 亿小时。解法是先生成"成功完成任 务"的视频,再用逆动力学反推动作。
6. 未解问题:更长的上下文、和视觉语言模型怎么分工、去噪步数、检验员、世界动作模型怎么设计。
一个整理者的观察。世界模型碰到的坎,和大语言模型几乎一一对应:上下文不够长、自己的错误越 滚越大、需要被真实世界拉回来。大模型这几年迈过这些坎的办法,很可能就是世界模型接下来要走 的路。
讲者本人的两句提醒 "生成模型一定会幻觉,这本来就是它被训练去做的事。"关键是让它一直贴着真实的观察。 53:00
现有的世界模型还不够好,真要卖给客户的机器人,他不会用它们来训练。 51:00
斯坦福 CS292 / EE292R · Gordon Wetzstein · 2026.09.30 2 / 13
文字版便于检索与复制,图表和排版请切回「图文」。