跳到内容
九天共学
学习资料
课程笔记 · 13 页

从世界模型到世界智能体 · 斯坦福课程笔记

看视频
配套视频 · 心晴九天

从世界模型到世界智能体 · 斯坦福讲座

在小红书打开

如果 App 打开了首页,复制搜索词后在小红书搜索。

也可以长按视频名称复制。
下载 PDF
6 / 13

第 6 页 · 文字版

心晴九天 · 课程笔记 从世界模型到世界智能体

原课幻灯片:视频世界模型 = 条件(controls)+ 上下文帧(context)→ 下一帧。

从图像到视频 视频世界模型在网络规模的视频上预训练:遮住几帧,用前面的帧去预测它们。推理时,前面几帧通过 KV 缓存作为上下文,和大模型根据前文预测下一个 token 是同一个思路。 14:00–15:00

条件信号几乎可以是任何东西:人物身份照片、环境地图、动作捕捉、方向键、文字,甚至脑电、心 跳、眼动、追踪到的手和头显位置。讲者把用于 VR 的这一类称作"生成式现实"。 15:00–16:30

再往前一步是世界动作模型(WAM):同时预测未来的画面和 Agent 未来的动作,机器人可以先"想 象"未来,再从中得出动作。 16:30

PART 3

三 三种用法 这是理解后面所有难题的骨架。区别在于:生成下一帧时,模型参考的是什么。 17:00–19:30

开环 Open Loop 闭环 Closed Loop 锚定开环 Anchored 参考的是自己生成的帧。 参考的是真实摄像头拍到的帧。 自己生成画面,但有一个持续存在的 锚,比如地图。 典型场景:游戏、Genie 3。 典型场景:机器人、自动驾驶。 典型场景:讲者实验室的空间记忆、 问题:每个小错都会累积,产生漂 每一步都被真实观察拉回,不容易 多人 Doom。 移。 漂。 靠锚保持全局一致。

斯坦福 CS292 / EE292R · Gordon Wetzstein · 2026.09.30 6 / 13

文字版便于检索与复制,图表和排版请切回「图文」。

答疑由心晴确认后回复
资料说明与出处

2026 年 9 月 30 日讲座的个人学习笔记,保留原课署名与整理边界。

心晴九天整理 · 原资料版本:2026-09-30

配套讲解:从世界模型到世界智能体 · 斯坦福讲座
配套视频 · 心晴九天

从世界模型到世界智能体 · 斯坦福讲座

在小红书打开

如果 App 打开了首页,复制搜索词后在小红书搜索。

也可以长按视频名称复制。

保留原作者署名、来源与原文件版本。本次仅整理阅读入口,未把旧资料的数字、产品或政策状态重新核验为当前事实。

配套练习与阅读提示
  • 按目录阅读这份原版资料
  • 结合配套笔记理解图示、例子和使用边界

选一个与你手头任务有关的段落,先写自己的判断;资料中的提示词仅供本人决定是否使用。

使用统计:关闭

帮助心晴了解哪些内容有用。默认关闭;不记录问题正文、私人笔记、手机号或聊天内容。

允许关联后,登录账号的页面与操作可由运营查看。已启用浏览器“不跟踪”时不采集。明细最多保留 90 天,后台读取或每日首次采集时清理。