Skip to content

ditingdapeng/DeepLearning_note

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

13 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Datawhale✖泊禹《动手学习深度学习》-笔记

2020年寒假组队学习《动手学深度》,作为自己的深度学习的入门的体系

学习路径

为了让自己能够Cover动手学习深度学习这本书,目前笔者采用的学习路径以李沐《动手学深度》的原书为主,伯禹的视频为辅,课后练习及书中习题为检测来完成。

第一遍 预习总结 看对应章节的原书《动手学习深度学习》,对内容用自己的方式总结为markdown笔记,同时对原书中章节的课后习题进行解答;

第二遍 代码搞懂 以伯禹视频为辅助,同时对每一句代码进行文档和blog的查阅,理解其中使用的torch的函数的用法,并作上标注。输出类型为:文档标注笔记后导出的pdf,以及由标注总结成的markdown(后面有时间整理);

第三遍 复盘 泊禹平台每个章节的习题解答和解析,分析每一个选项的内容,确保自己完全掌握住了知识点。

过程中自己遇到的问题及解决方法

  1. Q:看视频觉得讲的不够详细,理解的不够透彻?

    A:读《动手学深度学习》的原书,原书上的解释以及代码给的比较详细,读原书可以顺出一条比较清晰的路径;

  2. Q:总结笔记怎么做?

    A:笔者刚开始时一直没找到做总结笔记的好方法,后来在读原书的过程中,就是尝试把原书中过程性的给总结成介绍性的话,比如书上说的是需要来求一个批量样本的梯度和,那么需要定义自动求梯度的模块。你总结的话可以说是:这里需要定义自动求梯度的模块,这个模块的作用是来求一个批量样本的梯度和。

  3. Q:在家学不进怎么整?

    A:可以找同队人一起打卡,也可以找别人提醒下开个头,开完头后就顺很多了,唯有行动,可破焦虑!

  4. Q:学习效率的app推荐

    A:Timing,番茄todo;最好是能开始把想做的事都写在‘收集箱‘中,再细分为小任务用Timing完成。

笔记主要内容

笔记的主要内容结合自己看原书的顺序,以及伯禹上的目录,做了自己的调整,主要内容如下:

  • Note01:线性回归;Softmax与分类模型;多层感知机
  • Note02:模型选择、欠拟合和过拟合;权重衰减;丢弃法
  • Note03:自动求梯度;正向传播、反向传播和计算图;数值稳定性和模型初始化;深度学习计算
  • Note04:卷积神经网络及变种AlexNet、VGG、NiN、GoogleNet、ResNet、DenseNet
  • Note05:循环神经网络及GRU、LSTM、双向循环
  • Note06:优化算法SGD,AdaGrad,RMSProp,AdaDelta,Adam
  • Note07:词嵌入
  • Note08:机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer;
  • Note09:文本分类
  • Note10:循环神经网络在构建语言模型中的演化历程
  • Note11:推荐评论展示任务

About

2020年寒假组队学习

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published