跳到内容
九天共学
学习资料
课程笔记 · 13 页

从世界模型到世界智能体 · 斯坦福课程笔记

看视频
配套视频 · 心晴九天

从世界模型到世界智能体 · 斯坦福讲座

在小红书打开

如果 App 打开了首页,复制搜索词后在小红书搜索。

也可以长按视频名称复制。
下载 PDF
7 / 13

第 7 页 · 文字版

心晴九天 · 课程笔记 从世界模型到世界智能体

讲者列出的三大难题里,"记不住"和"越画越歪"主要发生在开环;"锚定开环"是他们针对前两个难题给 出的共同思路;机器人则天然处在闭环里,这也是世界模型能先在机器人上落地的原因之一。

PART 4

四 三个难题 难题一:记不住(长上下文) 斯坦福一位本科生做的 Minecraft 世界模型 Oasis:玩家向前看、抬头看天、再低头,世界完全变了。因 为上下文只装得下最近几帧,天空占满后,之前的画面就被挤出去了。 19:00–20:30

原课幻灯片:自回归逐帧生成的 Minecraft 世界模型。 为什么不能简单加长?Transformer 的自注意力,训练时计算量随 token 数平方增长,推理时线性增长。 一段 512×512、每秒 32 帧、10 秒的视频,即使压缩到潜空间,也有几十万个 token。现在前沿大模型的 上下文约一百万到两百万 token,放到视频上大约只多记一秒。 21:00–22:40

借鉴人脑:人的记忆像一组专家系统,视觉记忆和空间记忆在不同脑区,工作记忆是秒级,短期和长期 记忆是分钟到几十年。 23:00–24:00

FramePack:越久远的帧,在空间和时间上降采样得越多,全部打包成一张图,高效地交给扩散 Transformer。在 2025 年,这个方法就能让短视频里的人物面孔保持一致。 24:00–25:30

空间记忆:每帧额外生成深度图,融合成全局一致的点云;在当前位置渲染点云,作为下一帧的条 件;同时保留几张关键帧。"走回胡佛塔,塔得还在,树叶变没变,没人在乎。" 25:30–27:40

斯坦福 CS292 / EE292R · Gordon Wetzstein · 2026.09.30 7 / 13

文字版便于检索与复制,图表和排版请切回「图文」。

答疑由心晴确认后回复
资料说明与出处

2026 年 9 月 30 日讲座的个人学习笔记,保留原课署名与整理边界。

心晴九天整理 · 原资料版本:2026-09-30

配套讲解:从世界模型到世界智能体 · 斯坦福讲座
配套视频 · 心晴九天

从世界模型到世界智能体 · 斯坦福讲座

在小红书打开

如果 App 打开了首页,复制搜索词后在小红书搜索。

也可以长按视频名称复制。

保留原作者署名、来源与原文件版本。本次仅整理阅读入口,未把旧资料的数字、产品或政策状态重新核验为当前事实。

配套练习与阅读提示
  • 按目录阅读这份原版资料
  • 结合配套笔记理解图示、例子和使用边界

选一个与你手头任务有关的段落,先写自己的判断;资料中的提示词仅供本人决定是否使用。

使用统计:关闭

帮助心晴了解哪些内容有用。默认关闭;不记录问题正文、私人笔记、手机号或聊天内容。

允许关联后,登录账号的页面与操作可由运营查看。已启用浏览器“不跟踪”时不采集。明细最多保留 90 天,后台读取或每日首次采集时清理。