第 5 页 · 文字版
心晴九天 · 课程笔记 从世界模型到世界智能体
PART 2
二 怎么造出来 今天的世界模型大多建立在扩散模型(或其变体 flow matching)上,不是大语言模型那种"猜下一个 token"的自回归模型。 07:00
原课幻灯片:前向扩散,把噪声逐步加到图像上;模型学习反过来去噪。
五个关键环节 1. 从噪声到数据:直接从真实图像分布采样很难,于是从容易采样的高斯噪声出发,学习一条从噪声通 往数据的轨迹。 08:00
2. 训练方式:给干净图像加噪(常用噪声和图像之间的线性插值),让网络预测"速度",也就是沿轨迹 变化的方向,损失函数是简单的 L2。 10:30–11:30
3. 潜空间:高分辨率下不直接处理像素,先用 VAE 压缩到潜空间,扩散过程在潜空间里进行。 11:50
4. 网络结构:大规模生成模型普遍使用 Transformer。文字描述经文本编码器后,通过交叉注意力注入。 12:30–13:30 5. 数据规模:学术界常用 ImageNet,一百多万张;商用的顶级图像生成模型,用的是几十亿张精心筛选 的图像。 09:00–10:00
斯坦福 CS292 / EE292R · Gordon Wetzstein · 2026.09.30 5 / 13
文字版便于检索与复制,图表和排版请切回「图文」。