第 6 页 · 文字版
心晴九天 · 课程笔记 从世界模型到世界智能体
原课幻灯片:视频世界模型 = 条件(controls)+ 上下文帧(context)→ 下一帧。
从图像到视频 视频世界模型在网络规模的视频上预训练:遮住几帧,用前面的帧去预测它们。推理时,前面几帧通过 KV 缓存作为上下文,和大模型根据前文预测下一个 token 是同一个思路。 14:00–15:00
条件信号几乎可以是任何东西:人物身份照片、环境地图、动作捕捉、方向键、文字,甚至脑电、心 跳、眼动、追踪到的手和头显位置。讲者把用于 VR 的这一类称作"生成式现实"。 15:00–16:30
再往前一步是世界动作模型(WAM):同时预测未来的画面和 Agent 未来的动作,机器人可以先"想 象"未来,再从中得出动作。 16:30
PART 3
三 三种用法 这是理解后面所有难题的骨架。区别在于:生成下一帧时,模型参考的是什么。 17:00–19:30
开环 Open Loop 闭环 Closed Loop 锚定开环 Anchored 参考的是自己生成的帧。 参考的是真实摄像头拍到的帧。 自己生成画面,但有一个持续存在的 锚,比如地图。 典型场景:游戏、Genie 3。 典型场景:机器人、自动驾驶。 典型场景:讲者实验室的空间记忆、 问题:每个小错都会累积,产生漂 每一步都被真实观察拉回,不容易 多人 Doom。 移。 漂。 靠锚保持全局一致。
斯坦福 CS292 / EE292R · Gordon Wetzstein · 2026.09.30 6 / 13
文字版便于检索与复制,图表和排版请切回「图文」。