第 10 页 · 文字版
心晴九天 · 课程笔记 从世界模型到世界智能体
完美世界模型当模拟器 原理上数据多且没有 这样的模型还不存在,机器人很容易把它"玩坏";可能 差距 需要和传统模拟器混合
模仿学习 当前主流,如 diffusion 带动作标注的数据太少 policy
原课幻灯片:全网视频约 18 千万亿 token(约 20 亿小时);带机器人动作标注的视频约 180 亿 token(约 2000 小时);机器人动作 token 约 5 亿。注:若按比例画,蓝色圆的直径约 60 米。 为什么数据量是关键:2020 年的大模型缩放定律论文表明,思维链、上下文学习这类涌现能力,只在足 够大的模型和数据上出现。机器人要么把"小红点"做大,很多公司正在大量采集机器人数据;要么把海量 无标注视频用起来。 40:30–41:20
Rhoda 的做法:先想象,再反推 1. 视频生成:策略把当前观察映射为"未来的观察",即一段机器人成功完成任务的视频。这一步可以用 网络规模的无标注视频训练。
2. 逆动力学:从想象出的视频反推末端执行器的位姿和动作。这一步数据效率很高,不需要多少数据。
讲者说明:这部分是他参与的创业公司 Rhoda 的工作,不是斯坦福实验室的项目;他们约两年前开始做基于视频的机器人,现在这个方 向已经很拥挤。(37:00–45:00)
斯坦福 CS292 / EE292R · Gordon Wetzstein · 2026.09.30 10 / 13
文字版便于检索与复制,图表和排版请切回「图文」。