能预测一个小改动会造成什么结果,比熟悉术语更容易暴露理解里的缺口。
01把问题缩到可以手算
看完教程,很容易产生一种熟悉感:每个词都听过,代码也能运行。但如果换一个输入,我们未必能预测输出。一个小实验可以把这个差距变得具体。
Karpathy 的 micrograd 是面向标量运算的自动求导实现,也包含小型神经网络库。这里借它的学习入口,设计一个独立的手算练习;下面的实验不是对原项目运行结果的报告。
02先写预测,再看答案
设 y = a × b + c,取 a = 2、b = 3、c = 1,得到 y = 7。保持 b 和 c 不变,把 a 增加 0.01,y 增加 0.03,变化量之比为 3。对这个线性表达式,这就是 y 对 a 的导数。
现在交换角色:只改变 b,变化量之比是多少?再把 c 改成一个很大的数,y 对 a 的导数会不会变?先把预测写在纸上,再计算。你不需要先搭建一个训练系统。
y = a * b + c a = 2, b = 3, c = 1 → y = 7 a = 2.01 → y = 7.03 (7.03 - 7) / 0.01 = 3
03让 AI 检查你的理由
给九天的输入可以是:“我预测改变 c 不会改变 y 对 a 的导数,因为 c 与 a 无关。请给我一个相近但结论不同的表达式,先不要公布答案。”这样,模型帮助你找到理解的边界,而不只是生成一段解释。
例如把表达式改成 y = a × b + a × c,原来的判断就需要重新检查。简单表达式可以手算核对;对于更复杂的函数,有限差分还要考虑步长和数值误差,不能把一次近似计算当成严格证明。
04留下一条可复查的记录
记录输入、预测、实际结果和改正后的解释。如果继续使用 micrograd,再固定代码版本,比较手算、有限差分与自动求导结果;只有真正执行后,才写“已验证”。
这套做法也适用于 SQL、缓存策略和接口重试:先选一个足够小的变化,写下你认为会发生的事,再保留证据。学习笔记可以记录错误,不必每一篇都像完整教程。
把这个问题带回你的工作
对 y = a × b + a × c,先预测它对 a 的导数,再分别用手算和改变 a 的数值实验核对。请把预测与理由告诉九天。
进入配套实践 ↗来源与进一步阅读
本文为本站辅助教学稿,示例为虚构情境,不代表客户项目或原作者认可。外部资料用于概念依据,本站方案与推断在正文中单独说明。
Andrej Karpathy · micrograd ↗