第 7 页 · 文字版
心晴九天 · 课程笔记 从世界模型到世界智能体
讲者列出的三大难题里,"记不住"和"越画越歪"主要发生在开环;"锚定开环"是他们针对前两个难题给 出的共同思路;机器人则天然处在闭环里,这也是世界模型能先在机器人上落地的原因之一。
PART 4
四 三个难题 难题一:记不住(长上下文) 斯坦福一位本科生做的 Minecraft 世界模型 Oasis:玩家向前看、抬头看天、再低头,世界完全变了。因 为上下文只装得下最近几帧,天空占满后,之前的画面就被挤出去了。 19:00–20:30
原课幻灯片:自回归逐帧生成的 Minecraft 世界模型。 为什么不能简单加长?Transformer 的自注意力,训练时计算量随 token 数平方增长,推理时线性增长。 一段 512×512、每秒 32 帧、10 秒的视频,即使压缩到潜空间,也有几十万个 token。现在前沿大模型的 上下文约一百万到两百万 token,放到视频上大约只多记一秒。 21:00–22:40
借鉴人脑:人的记忆像一组专家系统,视觉记忆和空间记忆在不同脑区,工作记忆是秒级,短期和长期 记忆是分钟到几十年。 23:00–24:00
FramePack:越久远的帧,在空间和时间上降采样得越多,全部打包成一张图,高效地交给扩散 Transformer。在 2025 年,这个方法就能让短视频里的人物面孔保持一致。 24:00–25:30
空间记忆:每帧额外生成深度图,融合成全局一致的点云;在当前位置渲染点云,作为下一帧的条 件;同时保留几张关键帧。"走回胡佛塔,塔得还在,树叶变没变,没人在乎。" 25:30–27:40
斯坦福 CS292 / EE292R · Gordon Wetzstein · 2026.09.30 7 / 13
文字版便于检索与复制,图表和排版请切回「图文」。