Skip to content

📘 记录深度学习的学习过程和资料整理,包括计算机视觉CV、Paper解读等...

Notifications You must be signed in to change notification settings

sxzhou1937/DeepLearning-Notes

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

51 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

记录DeepLearning学习过程

目录

👉 推荐该系列文章:关于神经网络模型&TensorFlow学习&目标检测模型等内容的系列文章.md

👉 计算机视觉牛人博客和代码汇总:计算机视觉牛人博客和代码汇总(全) - findumars - 博客园

👉 关于图像分割(Image segmentation,含语义/实例/场景分割)的学习见:图像分割专题 && 本文 1.3 语义/实例/场景分割(Images segmentation) 节内容~

👉 这里记录一些在学习过程的要点梳理和个人理解:深度学习要点梳理和个人理解 [推荐]

👉 深度学习之框架学习,传送门:

👉 关于目标检测(Object Detection)的学习见:目标检测专题


人工智能最新学术研究和技术实现追寻,可关注:


领域人物及事迹,了解下:

1. Learning

1.1 深度学习基础

科普文章:

机器学习:

深度学习:

深度学习系列文章:

其他文章:

1.2 常见模型的讲解及实现

(0) Paper讲解

(1) ResNet

讲解

实践

关于残差连接:resnet中的残差连接,你确定真的看懂了?

更多内容请看我单独写的一个文档:ResNet(残差网络).md

1.3 语义/实例/场景分割(Images segmentation)

(1) 图像分割基础

①什么是图像分割?

②综述类/总结类:

  • 从全连接层到大型卷积核:深度学习语义分割全指南

  • 分割算法——可以分割一切目标(各种分割总结) [荐]

    深度学习最初流行的分割方法是,打补丁式的分类方法 (patch classification) 。逐像素地抽取周围像素对中心像素进行分类。由于当时的卷积网络末端都使用全连接层 (full connected layers) ,所以只能使用这种逐像素的分割方法。

    但是到了 2014 年,来自伯克利的 Fully Convolutional Networks(FCN)卷积网络,去掉了末端的全连接层。随后的语义分割模型基本上都采用了这种结构。除了全连接层,语义分割另一个重要的问题是池化层。池化层能进一步提取抽象特征增加感受域,但是丢弃了像素的位置信息。但是语义分割需要类别标签和原图像对齐,因此需要从新引入像素的位置信息。有两种不同的架构可以解决此像素定位问题。

    第一种是编码-译码架构。编码过程通过池化层逐渐减少位置信息、抽取抽象特征;译码过程逐渐恢复位置信息。一般译码与编码间有直接的连接。该类架构中 U-net 是最流行的。

    第二种是膨胀卷积 (dilated convolutions) 【这个核心技术值得去阅读学习】,抛弃了池化层。

  • 一文概览主要语义分割网络:FCN,SegNet,U-Net...

    该文为译文,介绍了很多语义分割的深度学习模型,包括半监督下的语义分割,可以大致看下。

③深度学习语义分割模型的介绍:

④图像分割的衡量指标:

语义分割其实就是对图片的每个像素都做分类。其中,较为重要的语义分割数据集有:VOC2012 以及 MSCOCO。

(2) 图像分割仓库

(3) 图像分割论文及最新研究

论文汇集:

(4) 图像分割讲解视频

1.4 目标检测(Object Detection)

(待更……)

1.5 强化学习/增强学习(Reinforce Learning)

(1) 基础

2. Questions

(1)如何免费云端运行 Python 深度学习框架:如何在免费云端运行 Python 深度学习框架?-红色石头的个人博客

(2)什么学习中网络不收敛指的是什么?——①误差一直来回波动,进入不到容忍度内。②跟迭代不收敛或者系统不稳定差不多,上下波动不能趋近一个定值。

3. Competition

(1) Kaggle官网:https://www.kaggle.com/

(2) 天池AI开发者社区:https://tianchi.aliyun.com/home/

4. Papers

4.1 Basic

  • 《A guide to convolution arithmetic for deep》[Paper]
  • 《Bag of Tricks for Image Classification with Convolutional Neural Networks》[Paper]
  • (待更。。。

4.2 Models

  • [1989] LeNet:《Gradient-Based Learning Applied to document Recognition》[Paper]

  • [2012] AlexNet:《ImageNet Classification with Deep Convolutional Neural Networks》[Paper]

  • [2014] Inception v1:《Going deeper with convolutions》[Paper]

    注:先前叫 GoogLeNet,现在简单地被称为 Inception vN,其中 N 指的是由 Google 定的版本号。

  • [2014] VGGNet:《Very Deep Convolutional Networks for Large-Scale Image Recognition》[Paper]

  • [2015] Inception v2:《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》[Paper]

  • [2015] Inception v3:《Rethinking the Inception Architecture for Computer Vision》[Paper]

  • [2015] ResNet:《Deep Residual Learning for Image Recognition》[Paper]

  • [2016] Inception v4:《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》[Paper]

4.3 Images segmentation

  • FCN:《Fully Convolutional Networks for Semantic Segmentation》 [Paper-v1] [Paper-v2](最新提交时间:2015.03.08)
  • U-Net:《U-Net: Convolutional Networks for Biomedical Image Segmentation》[Paper](最新提交时间:2015.05.18)
  • SegNet:《SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation》[Paper-v1] [Paper-v2] [Paper-v3](最新提交时间:2016.11.10)
  • Dilated Convolutions:《Multi-Scale Context Aggregation by Dilated Convolutions》[Paper-v1] [Paper-v2] [Paper-v3](最新提交时间:2016.04.30)
  • DeconvNet:《Learning Deconvolution Network for Semantic Segmentation》[Paper](最新提交时间:2015.05.17)
  • RefineNet:《RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation》[Paper-v1] [Paper-v2] [Paper-v3](最新提交时间:2016.11.25)
  • PSPNet:《Pyramid Scene Parsing Network》[Paper-v1] [Paper-v2](最新提交时间:2017.04.27)
  • Large Kernel Matters:《Large Kernel Matters -- Improve Semantic Segmentation by Global Convolutional Network》[Paper](最新提交时间:2017.03.08)
  • DeepLab 系列:
    • DeepLab v1:《Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs》[Paper-v1] [Paper-v2] [Paper-v3] [Paper-v4](最新提交时间 :2016.06.07)
    • DeepLab v2:《DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs》[Paper-v1] [Paper-v2](最新提交时间:2017.05.12)
    • DeepLab v3:《Rethinking Atrous Convolution for Semantic Image Segmentation》[Paper-v1] [Paper-v2] [Paper-v3](最新提交时间:2017.12.05)
    • DeepLab v3+:《Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation》[Paper-v1] [Paper-v2] [Paper-v3](最新提交时间:2018.08.22)
  • NAS:《Searching for Efficient Multi-Scale Architectures for Dense Image Prediction》[Paper-v1](提交时间:2018.09.11) 相关文章:语义分割领域开山之作:Google提出用神经网络搜索实现语义分割 | 雷锋网
  • (待更。。。

语义分割类的论文合集:

关于图像分割的代码实现,见:2-图像分割仓库

一些新的研究:

4.4 Object Detection

  • R-CNN:《Rich feature hierarchies for accurate object detection and semantic segmentation》[Paper]
  • Fast R-CNN:《Fast R-CNN》 [Paper]
  • Faster R-CNN:《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》 [Paper]
  • Yolo
  • SSD
  • Mask R-CNN :《Mask R-CNN》 [Paper]

一些新的研究:

4.5 Others

5. Interview

6. Resources

6.1 Books

这两年关于人工智能特别是深度学习的书如雨后春笋不断涌现。下面列举一些被大家普遍评价较高以及我有大概浏览了下觉得不错的书,权当个参考吧:

1.机器学习

  • 《写给人类的机器学习》译者:飞龙(等);原书:Machine Learning for Humans
  • 周志华《机器学习》,2016年1月
  • Peter Harrington 《机器学习实战》,中文版译者:李锐/李鹏/曲亚东/王斌 ,2013年6月 [GitHub代码仓库]

2.深度学习

  • Michael Nielsen《Neural Networks and Deep Learning》,中文版《神经网络与深度学习》
  • 弗朗索瓦•肖莱 《Python深度学习》,中文版译者:张亮,2018年8月
  • 张玉宏《深度学习之美:AI时代的数据处理与最佳实践》,2018年6月
  • 张平《图解深度学习与神经网络:从张量到TensorFlow实现》,2018年09月
  • 李沐、Aston Zhang 等人《动手学深度学习》预览版:《动手学深度学习》
  • 邱锡鹏《神经网络与深度学习》:在线阅读

3.深度学习框架

  • 泽宇/顾思宇 《Tensorflow:实战Google深度学习框架》
  • 黄文坚/唐源《TensorFlow实战》
  • 廖星宇《深度学习入门之PyTorch》 [代码仓库]
  • 陈云《深度学习框架PyTorch:入门与实践》 [代码仓库]

6.2 Videos

6.3 GitHub

  • apachecn/AiLearning

  • DeepLearning-500-questions

    深度学习500问,以问答形式对常用的概率知识、线性代数、机器学习、深度学习、计算机视觉等热点问题进行阐述,以帮助自己及有需要的读者。 全书分为15个章节,近20万字。由于水平有限,书中不妥之处恳请广大读者批评指正。 未完待续...

  • AI初学者--(机器学习爱好者)

    本网站是一个公益性网站,致力于人工智能(AI)方面的课程的翻译、笔记分享等。

    本人2014年下半年开始翻译吴恩达老师的机器学习课程字幕,并写了课程的中文笔记。笔记被下载了几万次,应该帮助了不少人,也有很多人一直在帮助我,现在我把笔记的word原稿和markdown原稿分享给大家。

    …… ——By 黄海广

  • daily-paper-computer-vision

    记录每天整理的计算机视觉/深度学习/机器学习相关方向的论文。

6.4 Blog

7. Thinking

Journals

对期刊和会议的认识:

计算机视觉方向(CV)三大顶级会议:

  • ICCV(IEEE International Conference on Computer Vision,国际计算机视觉大会)
  • CVPR(IEEE Conference on Computer Vision and Pattern Recognition,IEEE国际计算机视觉与模式识别会议)
  • ECCV(European Conference on Computer Vision,欧洲计算机视觉国际会议)

其他顶会:

  • AAAI
  • NeurIPS
  • ……

Q:什么是影响影子?

影响因子(Impact Factor,IF)是汤森路透(Thomson Reuters)出品的期刊引证报告(Journal Citation Reports,JCR)中的一项数据。 即某期刊前两年发表的论文在该报告年份(JCR year)中被引用总次数除以该期刊在这两年内发表的论文总数。这是一个国际上通行的期刊评价指标。——from:影响因子_百度百科

一些网上的分享:

更多的了解:对期刊和会议的认识

News:

About

📘 记录深度学习的学习过程和资料整理,包括计算机视觉CV、Paper解读等...

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • HTML 100.0%