2020年寒假组队学习《动手学深度》,作为自己的深度学习的入门的体系
为了让自己能够Cover动手学习深度学习这本书,目前笔者采用的学习路径以李沐《动手学深度》的原书为主,伯禹的视频为辅,课后练习及书中习题为检测来完成。
第一遍 预习总结 看对应章节的原书《动手学习深度学习》,对内容用自己的方式总结为markdown笔记,同时对原书中章节的课后习题进行解答;
第二遍 代码搞懂 以伯禹视频为辅助,同时对每一句代码进行文档和blog的查阅,理解其中使用的torch的函数的用法,并作上标注。输出类型为:文档标注笔记后导出的pdf,以及由标注总结成的markdown(后面有时间整理);
第三遍 复盘 泊禹平台每个章节的习题解答和解析,分析每一个选项的内容,确保自己完全掌握住了知识点。
-
Q:看视频觉得讲的不够详细,理解的不够透彻?
A:读《动手学深度学习》的原书,原书上的解释以及代码给的比较详细,读原书可以顺出一条比较清晰的路径;
-
Q:总结笔记怎么做?
A:笔者刚开始时一直没找到做总结笔记的好方法,后来在读原书的过程中,就是尝试把原书中过程性的给总结成介绍性的话,比如书上说的是需要来求一个批量样本的梯度和,那么需要定义自动求梯度的模块。你总结的话可以说是:这里需要定义自动求梯度的模块,这个模块的作用是来求一个批量样本的梯度和。
-
Q:在家学不进怎么整?
A:可以找同队人一起打卡,也可以找别人提醒下开个头,开完头后就顺很多了,唯有行动,可破焦虑!
-
Q:学习效率的app推荐
A:Timing,番茄todo;最好是能开始把想做的事都写在‘收集箱‘中,再细分为小任务用Timing完成。
笔记的主要内容结合自己看原书的顺序,以及伯禹上的目录,做了自己的调整,主要内容如下:
- Note01:线性回归;Softmax与分类模型;多层感知机
- Note02:模型选择、欠拟合和过拟合;权重衰减;丢弃法
- Note03:自动求梯度;正向传播、反向传播和计算图;数值稳定性和模型初始化;深度学习计算
- Note04:卷积神经网络及变种AlexNet、VGG、NiN、GoogleNet、ResNet、DenseNet
- Note05:循环神经网络及GRU、LSTM、双向循环
- Note06:优化算法SGD,AdaGrad,RMSProp,AdaDelta,Adam
- Note07:词嵌入
- Note08:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer;
- Note09:文本分类
- Note10:循环神经网络在构建语言模型中的演化历程
- Note11:推荐评论展示任务