跳到内容
九天共学
学习资料
课程笔记 · 13 页

从世界模型到世界智能体 · 斯坦福课程笔记

看视频
配套视频 · 心晴九天

从世界模型到世界智能体 · 斯坦福讲座

在小红书打开

如果 App 打开了首页,复制搜索词后在小红书搜索。

也可以长按视频名称复制。
下载 PDF
3 / 13

第 3 页 · 文字版

心晴九天 · 课程笔记 从世界模型到世界智能体

GLOSSARY

概念词典 按出现顺序排列。右栏是一句话的白话解释,括号里是原课时间点。

概念 白话解释 世界模型 从视频里学会"世界下一秒会怎样"的模型。讲者的定义:实时的、动作条件的、自回 World Model 归的视频生成器。(16:50)

仿真和现实的差距 传统模拟器里的画面和物理不够真,在里面练好的东西到真实世界常常不灵。 Sim-to-Real Gap (04:30)

扩散模型 从纯噪声出发,一步步去噪生成画面;训练时反过来,给真画面加噪,让模型学 Diffusion / Flow Matching 习"往哪个方向去噪"。(07:00–11:30)

潜空间 先用变分自编码器把高清画面压缩成小得多的表示,在这上面去噪,最后再还原, Latent Space / VAE 省算力。(11:50)

扩散 Transformer 负责去噪的网络,和大语言模型同一类结构,能靠堆数据和算力扩展。(12:30) Diffusion Transformer 上下文帧与 KV 缓存 生成下一帧时参考前面几帧,用的是和大模型记住前文一样的缓存机制。(14:00) Context Frames / KV Cache 世界动作模型 不仅预测未来画面,也预测 Agent 接下来该采取的动作。(16:30) World Action Model, WAM 开环 / 闭环 / 锚定开环 参考的是自己画的帧 / 真实摄像头的帧 / 自己画的帧加一个不变的锚(如地图)。 Open / Closed / Anchored Open (17:00–19:30) Loop 曝光偏差 训练时看真数据,推理时看自己生成的数据,误差逐帧累积。大语言模型也有这个 Exposure Bias 问题。(33:10–34:20)

FramePack 越久远的帧,存得越低分辨率、越稀疏,打包成一张图交给模型,用有限算力记更 上下文打包 久。(24:00)

空间记忆 每帧估计深度,融合成全局 3D 点云地图,回到老地方时按地图把结构画对。 Spatial Memory (25:30)

DAgger / BAgger DAgger:人类把跑偏的车拉回来,纠正过程变成训练数据。BAgger:把模型自己画 Dataset / Backwards Aggregation 坏的视频倒放,得到"从坏变好"的示范。(34:20–35:50)

策略 机器人的大脑:看到什么,下一步做什么,形成感知—动作循环。(37:00) Policy 模仿学习 用带动作标注的视频直接教机器人,是现在的主流,瓶颈是数据太少。(38:40) Imitation / Supervised Learning 逆动力学 已知前后两个画面,反推中间做了什么动作。数据效率很高。(41:00–42:30) Inverse Dynamics 缩放定律 模型和数据足够大,才会出现思维链、上下文学习这类涌现能力。讲者认为机器人 Scaling Laws 也要走这条路。(40:30)

少步蒸馏 把原本要 30–50 步的去噪,压缩到一两步,以实现实时生成。(45:30) Few-step Distillation

斯坦福 CS292 / EE292R · Gordon Wetzstein · 2026.09.30 3 / 13

文字版便于检索与复制,图表和排版请切回「图文」。

答疑由心晴确认后回复
资料说明与出处

2026 年 9 月 30 日讲座的个人学习笔记,保留原课署名与整理边界。

心晴九天整理 · 原资料版本:2026-09-30

配套讲解:从世界模型到世界智能体 · 斯坦福讲座
配套视频 · 心晴九天

从世界模型到世界智能体 · 斯坦福讲座

在小红书打开

如果 App 打开了首页,复制搜索词后在小红书搜索。

也可以长按视频名称复制。

保留原作者署名、来源与原文件版本。本次仅整理阅读入口,未把旧资料的数字、产品或政策状态重新核验为当前事实。

配套练习与阅读提示
  • 按目录阅读这份原版资料
  • 结合配套笔记理解图示、例子和使用边界

选一个与你手头任务有关的段落,先写自己的判断;资料中的提示词仅供本人决定是否使用。

使用统计:关闭

帮助心晴了解哪些内容有用。默认关闭;不记录问题正文、私人笔记、手机号或聊天内容。

允许关联后,登录账号的页面与操作可由运营查看。已启用浏览器“不跟踪”时不采集。明细最多保留 90 天,后台读取或每日首次采集时清理。