第 12 页 · 文字版
心晴九天 · 课程笔记 从世界模型到世界智能体
PART 6
六 还没解决的问题
原课幻灯片:世界模型的开放挑战。 1. 长上下文:永远不够长。要记住 3D 结构、做过的事,也是外推动力学、上下文学习的基础。
2. 规划与推理:怎么和视觉语言模型结合最好?推理放在视觉语言模型里,还是放在扩散模型里?
3. 效率:少步蒸馏(30–50 步压到 1–2 步)、只关注上下文里真正重要的 token、量化、剪枝、模型架 构。
4. 表示学习:现在的 VAE 不够好,还没有可扩展的、专为生成任务设计的表示学习方法。
5. Agent 化的世界模型:用 GPT-6 这类会用工具、能闭环的 Agent 当检验员,或放进迭代循环。
6. 世界动作模型:怎样最好地同时生成动作和观察?推理时是否一定需要观察?
(44:40–46:40)
问答精选 时间怎么表示?默认用帧序号当时间,但如果要独立控制场景的全局时间和镜头,就不够了。归根结底 是数据问题:需要大量各个变量独立变化的训练样本。 47:30–48:40
模型怎么知道自己错了?闭环里只想一小段,执行后用检验员对照目标;也可以先模拟多个未来,再挑 一个。 49:00–50:00
开源基础模型够用吗?预训练极难:架构、海量数据、标注、巨量算力缺一不可。一个 140 亿参数的扩散 Transformer,怎么蒸馏也很难跑到实时,延迟和成本都高。开源模型进步很大,但公司越来越不愿意开 源,现有模型还不够好。 50:00–52:00
斯坦福 CS292 / EE292R · Gordon Wetzstein · 2026.09.30 12 / 13
文字版便于检索与复制,图表和排版请切回「图文」。