跳到内容
九天共学
学习资料
课程笔记 · 13 页

从世界模型到世界智能体 · 斯坦福课程笔记

看视频
配套视频 · 心晴九天

从世界模型到世界智能体 · 斯坦福讲座

在小红书打开

如果 App 打开了首页,复制搜索词后在小红书搜索。

也可以长按视频名称复制。
下载 PDF
2 / 13

第 2 页 · 文字版

心晴九天 · 课程笔记 从世界模型到世界智能体

OVERVIEW

一页看懂这堂课 大语言模型学的是怎么说话,世界模型学的是世界下一秒会变成什么样。这堂课从原理讲到难 题,最后落到怎么用它训练能在工厂里干活的机器人。

它是什么 → 怎么造出来 → 三种用法 → 三个难题 → 变成 Agent → 未解问题

六句话记住主线 1. 它是什么:一个实时的、跟着动作走、一帧接一帧往下画的视频生成器。比传统模拟器更像真的,但 没有可以编辑的 3D 状态。

2. 怎么造出来:扩散模型,从噪点一步步去噪出画面;网络用的是 Transformer;每一帧都参考前面几 帧,以及动作、文字等条件。

3. 三种用法:开环(游戏,自由但会越滚越歪)、闭环(机器人,有真摄像头拉回现实)、锚定开环 (自己画,但靠地图这类不变的锚稳住)。

4. 三个难题:记不住(上下文太短)、多人共处一个世界、越画越歪(曝光偏差)。各有对应的解法。

5. 变成 Agent:带动作标注的视频只有约 2000 小时,普通视频约 20 亿小时。解法是先生成"成功完成任 务"的视频,再用逆动力学反推动作。

6. 未解问题:更长的上下文、和视觉语言模型怎么分工、去噪步数、检验员、世界动作模型怎么设计。

一个整理者的观察。世界模型碰到的坎,和大语言模型几乎一一对应:上下文不够长、自己的错误越 滚越大、需要被真实世界拉回来。大模型这几年迈过这些坎的办法,很可能就是世界模型接下来要走 的路。

讲者本人的两句提醒 "生成模型一定会幻觉,这本来就是它被训练去做的事。"关键是让它一直贴着真实的观察。 53:00

现有的世界模型还不够好,真要卖给客户的机器人,他不会用它们来训练。 51:00

斯坦福 CS292 / EE292R · Gordon Wetzstein · 2026.09.30 2 / 13

文字版便于检索与复制,图表和排版请切回「图文」。

答疑由心晴确认后回复
资料说明与出处

2026 年 9 月 30 日讲座的个人学习笔记,保留原课署名与整理边界。

心晴九天整理 · 原资料版本:2026-09-30

配套讲解:从世界模型到世界智能体 · 斯坦福讲座
配套视频 · 心晴九天

从世界模型到世界智能体 · 斯坦福讲座

在小红书打开

如果 App 打开了首页,复制搜索词后在小红书搜索。

也可以长按视频名称复制。

保留原作者署名、来源与原文件版本。本次仅整理阅读入口,未把旧资料的数字、产品或政策状态重新核验为当前事实。

配套练习与阅读提示
  • 按目录阅读这份原版资料
  • 结合配套笔记理解图示、例子和使用边界

选一个与你手头任务有关的段落,先写自己的判断;资料中的提示词仅供本人决定是否使用。

使用统计:关闭

帮助心晴了解哪些内容有用。默认关闭;不记录问题正文、私人笔记、手机号或聊天内容。

允许关联后,登录账号的页面与操作可由运营查看。已启用浏览器“不跟踪”时不采集。明细最多保留 90 天,后台读取或每日首次采集时清理。