李沐的资料可以接在学习的两个阶段:还在理解训练过程时,用《动手学深度学习》把概念和代码连起来;开始读论文后,看他如何拆摘要、图、方法和实验。
刚开始学:边看边改一个训练过程
《动手学深度学习》中文教材和官方课程与视频索引可以配着用。先读数据操作、线性模型、损失与优化,再到多层感知机。手边留一份代码,看看输入是什么形状、损失从哪里来、参数如何更新。
如果还没有动手的对象,接图像分类起步路线。遇到不懂的数学,回基础页找对应解释。想换一套讲法,课程总表里还有 fast.ai、3b1b、李宏毅与 CS229。
第一次读论文:先自己看,再对照精读
从论文精读索引找“如何读论文”,再选一篇正在学的论文。例如学 Attention 时,可以配Transformer 逐段精读。
先写下自己对问题、方法和实验的理解,听完再比较:他停下来追问了哪里,我忽略了哪张图,哪些结论需要实验支持。这样下次独立读文章时,才会留下自己的读法。