第 11 页 · 文字版
心晴九天 · 课程笔记 从世界模型到世界智能体
原课幻灯片:开箱倒料(Decanting)、拆箱(Container Breakdown)、需要长期视觉记忆的猜杯子任务。幻灯片标注:开箱倒料 1.5h, 所用机器人数据 11 小时;拆箱 2.7h,所用机器人数据 17 小时。
已经在做的工业任务 开箱倒料:大型汽车制造商定义的任务。机械臂自主打开沉重的箱子,把轴承倒进周转箱,把塑料件 和蜡纸分别放进回收箱。
拆箱:农业场景里装农产品的箱子,用完后需要清理、拆解。
退货检查:检查退回的衣服并重新打包;记住哪些已经检查过,效率会高很多。
猜杯子:物体藏在杯下来回换位,只有上下文足够长才能解,演示里机器人先生成"成功完成"的视 频,再执行。
(42:40–44:30)
安全与幻觉 闭环:每次只往前想一小段(大约一秒、几帧),执行,再根据真实观察继续。 49:00
检验:用视觉语言模型或感知模型当检验员,判断结果是否符合目标;也可以先生成多个可能的未 来,挑一个再执行。 49:00–50:00
分工:长时程的任务规划交给视觉语言模型,视频模型负责下一段物理动作规划;触觉、声音等信号 也有用。 53:30–54:10
"任何生成模型都会幻觉。"关键是贴着物理观察,而不是规划几分钟、几小时以后的事。 53:00
斯坦福 CS292 / EE292R · Gordon Wetzstein · 2026.09.30 11 / 13
文字版便于检索与复制,图表和排版请切回「图文」。