第 9 页 · 文字版
心晴九天 · 课程笔记 从世界模型到世界智能体
可控性 团队做过的控制方式:镜头控制(CameraCtrl 1/2)、用追踪到的手与生成世界中的物体互动(比如摸 狗)、时空独立控制,也就是《黑客帝国》式的子弹时间,时间停住、镜头绕行。讲者提到,这些功能 已经出现在 World Labs 等商用系统里。 30:30–33:30
难题三:越画越歪(漂移) 自回归一直生成下去,动作变怪、颜色过饱和、物体变形。原因是训练时上下文都是干净的真实帧,推 理时上下文是模型自己生成的、越来越差的帧,分布不一致,误差累积,即曝光偏差。 33:10–34:20
原课幻灯片:DAgger,用专家示范帮助从偏离中恢复。问题是:视频生成里,专家示范从哪来? BAgger(Backwards Aggregation):让模型自己生成到出现退化,再把这段视频倒放,配上"这段是倒 放"的文字提示(避免学到鱼倒着游这类不合理动作),就得到了从坏变好的纠正示范。多轮后训练后, 模型学会自我纠正。对比:History Guidance 仍有明显颜色饱和;Self Forcing 画面好看但动作僵硬; BAgger 兼顾画面和动作。 34:50–36:20
PART 5
五 从世界模型到世界智能体 驱动机器人的是策略:从观察到动作的映射,闭合感知—动作循环。讲者比较了三条训练路线: 37:00– 39:00
路线 优点 问题 传统模拟器 数据几乎免费、无限 仿真和现实的差距,数据多样性永远比不上真实世界
斯坦福 CS292 / EE292R · Gordon Wetzstein · 2026.09.30 9 / 13
文字版便于检索与复制,图表和排版请切回「图文」。