第 3 页 · 文字版
心晴九天 · 课程笔记 从世界模型到世界智能体
GLOSSARY
概念词典 按出现顺序排列。右栏是一句话的白话解释,括号里是原课时间点。
概念 白话解释 世界模型 从视频里学会"世界下一秒会怎样"的模型。讲者的定义:实时的、动作条件的、自回 World Model 归的视频生成器。(16:50)
仿真和现实的差距 传统模拟器里的画面和物理不够真,在里面练好的东西到真实世界常常不灵。 Sim-to-Real Gap (04:30)
扩散模型 从纯噪声出发,一步步去噪生成画面;训练时反过来,给真画面加噪,让模型学 Diffusion / Flow Matching 习"往哪个方向去噪"。(07:00–11:30)
潜空间 先用变分自编码器把高清画面压缩成小得多的表示,在这上面去噪,最后再还原, Latent Space / VAE 省算力。(11:50)
扩散 Transformer 负责去噪的网络,和大语言模型同一类结构,能靠堆数据和算力扩展。(12:30) Diffusion Transformer 上下文帧与 KV 缓存 生成下一帧时参考前面几帧,用的是和大模型记住前文一样的缓存机制。(14:00) Context Frames / KV Cache 世界动作模型 不仅预测未来画面,也预测 Agent 接下来该采取的动作。(16:30) World Action Model, WAM 开环 / 闭环 / 锚定开环 参考的是自己画的帧 / 真实摄像头的帧 / 自己画的帧加一个不变的锚(如地图)。 Open / Closed / Anchored Open (17:00–19:30) Loop 曝光偏差 训练时看真数据,推理时看自己生成的数据,误差逐帧累积。大语言模型也有这个 Exposure Bias 问题。(33:10–34:20)
FramePack 越久远的帧,存得越低分辨率、越稀疏,打包成一张图交给模型,用有限算力记更 上下文打包 久。(24:00)
空间记忆 每帧估计深度,融合成全局 3D 点云地图,回到老地方时按地图把结构画对。 Spatial Memory (25:30)
DAgger / BAgger DAgger:人类把跑偏的车拉回来,纠正过程变成训练数据。BAgger:把模型自己画 Dataset / Backwards Aggregation 坏的视频倒放,得到"从坏变好"的示范。(34:20–35:50)
策略 机器人的大脑:看到什么,下一步做什么,形成感知—动作循环。(37:00) Policy 模仿学习 用带动作标注的视频直接教机器人,是现在的主流,瓶颈是数据太少。(38:40) Imitation / Supervised Learning 逆动力学 已知前后两个画面,反推中间做了什么动作。数据效率很高。(41:00–42:30) Inverse Dynamics 缩放定律 模型和数据足够大,才会出现思维链、上下文学习这类涌现能力。讲者认为机器人 Scaling Laws 也要走这条路。(40:30)
少步蒸馏 把原本要 30–50 步的去噪,压缩到一两步,以实现实时生成。(45:30) Few-step Distillation
斯坦福 CS292 / EE292R · Gordon Wetzstein · 2026.09.30 3 / 13
文字版便于检索与复制,图表和排版请切回「图文」。