Algorithm Engineer Prepares

算法工程师的自我修养

【算法岗相关的常用知识梳理，包括理论、代码、经典模型与新技术】（持续更新ing）

👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻

算法工程师的修炼之路（书单）：点击进入

🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉🎉

---

0x000 计算机视觉

基础概念

图像分类经典模型（LeNet、AlexNet、VGG、ResNet、GoogLeNet）

语义分割任务经典模型（FCN、Unet、RefineNet、PSPnet、SegNet）

目标检测任务基础模型（两阶段、一阶段，包括R-CNN系列、YOLO系列、SSD）

实例分割基本概念与经典模型：FCIS、YOLCAT、PolarMask、SOLO

计算机视觉任务中常用的loss函数汇总

CNN的轻量化方法基本概念（剪枝、蒸馏、量化、小网络）

模型蒸馏（distillation）的基本原理

YOLO各版本迭代过程与实现细节

DeepLab v3 实现细节

非极大值抑制方法（NMS）及其实现

数据增广与测试时增强（TTA）

RoIAlign算子具体代码实现（以facebook的maskrcnn-benchmark为例）

DeepLab中的CRF的实现

Anchor Free 目标检测方法：CornerNet、CenterNet、FCOS

模型量化策略：PTQ、QAT、LSQ

低层视觉技术（low-level task）

图像与视频去噪经典算法与原理

图像与视频超分辨率：任务与方法

双目超分辨率（Stereo SR）相关模型

无监督超分辨率方法

去雾算法（Dehaze）：暗通道先验原理

光流（Optical Flow）计算与应用：传统方法与光流网络

分割与检测

DeepLab系列模型内容梳理

并行的多尺度融合策略：HRNet

多次稠密上采样后融合的unet加强版：Unet++

OCRNet（Object Contextural Representation）：基于transformer attention机制的上下文关联策略

Dilated Residual Net（DRN）：空洞卷积改进resnet

MS COCO 数据集的实例分割/目标检测的annotation基本格式

anchor-free目标检测模型之：FCOS（多尺度、相对位置、centerness）

COCO数据集的官方api的基本用法（get类别/图像/标注Id、load图像/标注信息）

生成模型（GAN、Diffusion Model etc.）

生成对抗网络GAN基本原理与问题

Wasserstein GAN：log微操防止JS散度的梯度消失和logD trick的模式坍塌

CycleGAN：循环一致性约束的无监督domain transfer方案

StyleGAN 和 StarGAN

Diffusion Model：扩散模型原理

Stable Diffusion Model

Diffusion的应用：去噪、超分、图像生成

神经网络鲁棒性与攻击

神经网络的鲁棒性（clever Hans效应）

轻量化模型

Mobilenet系列模型梳理

Shufflenet v1&v2：分组卷积加通道shuffle信息交互

Squeezenet：压缩通道学特征与膨胀

Ghostnet：ghost特征加简单变换生成丰富feature map

Efficientnet：通道数、深度、分辨率的复合NAS搜索优化

轻量化超分网络：IMDN、ECBNet、RFDN

小样本学习

小样本基本概念

小样本分割经典模型梳理

• OSLSM 2017 （Pascal 5i做交叉验证，weight hashing，sup和que最终特征logistic回归）
• SG-One 2018 （mask pooling + cosine sim）
• Prototype Alignment Network (PANet) 2019 （alignment，一种类cycle loss）
• FSS-1000（relation net） 2019 （主要是数据集FSS-1000，适用于小样本分割的数据集）
• CANet: Class-Agnostic Segmentation 2019（对结果进行 refinement）
• BMVC 2018 2018（网络设计较复杂）
• Prototype Mixture Models（PMM） 2020 （将prototype拆成多个）
• Prior Guided Feature Enrichment Network（PFENet） 2020（先生成无须训练的prior，后接多特征融合）
• FSIL（Few shot Seg Image Level） 2020 （利用image-level的弱监督信息做few shot seg）

弱监督学习

Image-level label 语义分割基本思路

小目标检测

小目标检测常见处理思路

多尺度特征学习思路相关模型

context-based 相关模型

训练策略、loss函数、data augment思路相关方法汇总

骨干网络（backbone）发展

Resnet变体

SENet：squeeze and excitation

DenseNet

Inceptions

51x51 SLaK（Sparse Large Kernel）More ConvNets in the 2020s: Scaling up Kernels Beyond 51x51 using Sparsity

重参数化策略

RepVGG：make VGG great again！

ECB（Edge-oriented Conv Block）：Sobel与Laplacian强化边缘的重参数化策略

ACNet（Asymmetric Conv）：1x3、3x1、3x3的非对称重参数化

DBB（Diverse Branch Block）：不同排列组合的多分支block

SLaK中的重参数化：极端大核如何训练？

---

0x001 数据处理

基础概念

数据处理和评估中的常用度量指标（AUC/KS/Gain/Lift）

特征分箱原则与策略（等频分箱、等距分箱、卡方分箱、bestKS分箱）

特征分析之单变量分析（WOE/IV/PSI）

---

0x002 深度学习基础

损失函数

最常用的损失函数（BCE、交叉熵、MSE、MAE）

PyTorch中定义的其他几种损失函数（NLL、Multi-label、Huber、Triplet Loss等）

分割和检测任务中的损失函数（IoU loss、Dice loss、Lovasz loss）

下降方法与学习率策略

梯度下降法及其变体（Momentum、Nesterov、RMSprop、Adagrad、Adam、AdamW等）

牛顿法和拟牛顿法：二阶优化的策略

Gradient Clipping：梯度裁剪，防止梯度爆炸的手段

L1 norm下的优化；ISTA&FISTA；学习率策略；ADMM；

EMA（Exponential Moving Average）

激活函数

常见激活函数（sigmoid/ReLU/Maxout 等）

RELU6：适应低精度计算的有界激活函数

GELU：依据高斯分布cdf计算设计的激活函数

Swish：光滑非单调下有界的self-gating函数

卷积层设计

分组卷积

deformable（可变）卷积

初始化方法

常用初始化方法（随机初始化、xavier初始化、kaiming初始化）

---

0x003传统机器学习基础（非NN类）

必备基础

SVM、逻辑回归、决策树的关键内容整理

kNN与k-d树：简单算法的工程优化

集成学习方法（bagging、boosting、stacking）、梯度提升原理

进阶模型与算法

隐马尔科夫模型（HMM）

蒙特卡洛方法

MCMC：马尔科夫链蒙特卡洛算法

Viterbi算法

无权重二部图最大匹配的匈牙利算法（Hungarian Algorithm）、赋权图Kuhn-Munkres算法

宽表数据建模常用集成模型：XGBoost、GBDT、LightGBM，原理与区别

---

0x004 视觉中的非CNN结构（Transformer/MLP）

基础概念

注意力机制的原理、应用与局限

视觉Transformer与MLP（非CNN结构）

ViT模型基本原理：image=16x16 words

DETR：基于transformer的端到端目标检测（bbox集合预测、二分匹配）

Swin Transformer

SETR

DeiT

CaiT

Segmenter

SegFormer

MLP-Mixer（非transformer）

---

0x005 自然语言处理基础

必备基础

文本数据预处理：分词、去停用词、tfidf编码

主题模型（topic model）

基本NLP模型

最基础的词嵌入模型Word2vec（skip-gram & cbow）

GloVe词嵌入：基于共现矩阵学习词间关系差别的嵌入方法

ELMo：基于语言模型的bi-LSTM的基于上下文动态嵌入的模型，处理一词多义（芝麻街命名模型第一弹）

FastText：Facebook开源的文本分类和词嵌入工具包

GPT系列：Generative Pre-Training，单向Transformer，非监督预训练+下游任务微调

BERT：谷歌开放的基于bidirectional Transformer的最强语言模型，BERT yyds !

NLP模型实现的相关tricks

Negative Sampling：词嵌入训练中的负采样操作

Hierachical Softmax：基于Huffman编码的高输出维度（词典大小）的优化方法

---

0x006 信息论

信息论基本概念与定义：信息量、信息熵、条件熵、相对熵

香农三大定理：变长无失真信源编码、有噪信道、有损信源编码

---

0x007 矩阵论

矩阵与线性代数基础概念与定义

图像处理与图形学中的矩阵变换

基变换与坐标变换

矩阵的对角化

---

0x008 统计推断与概率论

贝叶斯定理与应用

最大似然估计与最大后验估计

古典概型例题汇总

---

0x009 PyTorch相关

并行化策略（DataParalle和DistributedDataParallel）与多机多卡训练

PyTorch中的Dataset处理逻辑

PyTorch模型量化与onnx转换处理流程

---

0x00A 数据结构与算法

数据结构：单调栈（MonoStack）基本原理

Huffman树与Huffman编码：最优权重路径的无损压缩编码算法

跳表（skiplist）：基于多级别索引的查找复杂度log(n)的链表

并查集（union-find）：近乎常数操作复杂度的不相交集合查询

Trie（字典树/前缀树）字符串前缀匹配查询

自平衡的二叉查找树：AVL树（平衡因子，左旋、右旋）

位图算法与布隆过滤器（Bloom Filter）

---

0x00B 强化学习

强化学习的基本概念

Q-learning模型与SARSA模型

深度强化学习概述

---

0x00C 推荐系统与推荐算法基础

经典推荐算法：协同过滤（Collaborative Filtering，CF）

Matrix Factorization：从用户-物品矩阵中分解出用户和物品的特征隐向量

LR模型及其改进版MLR（piece-wise LR）：一阶特征建模的CTR预估

POLY2：二阶特征交叉

FM（因子分解机）和FFM（Field-aware FM）：隐向量内积实现特征交叉权重

---

0x00D 图嵌入与图神经网络相关算法

图嵌入方法DeepWalk：利用random walk将图嵌入转为词嵌入

LINE：基于一阶相似度和二阶（邻域）相似度的图嵌入方法

node2vec：通过参数整合BFS和DFS的游走采样

PyTorchBigGraph：一种分块的处理大图的方法和框架，Facebook出品

---

0x00E 信号处理相关常识与算法

频域分析、傅里叶变换与FFT

连续信号、离散信号，采样与奈奎斯特定理

---

0x00F 计算成像、图形学相关算法

光、颜色与颜色空间

ISP基本处理流程

图像变换：平移、旋转、缩放；仿射变换与投影变换

计算机图形学基本概念

---

0xFFF 常用工具类

>> Git相关

Git基本原理

Git常用操作指令

>> 大数据处理 （hadoop、SQL、Hive、Spark）

hadoop基本原理简介

SQL基本操作

Hive表基本格式与原理

Spark基本原理简介

>> Docker相关

Docker基本原理

Docker常用指令

>> 编程语言相关

==== Python相关

Python的反射机制及其使用方法

Python中的深拷贝和浅拷贝

Python中的类（class）的原理与特点

Python中常用的魔法方法

Python的垃圾回收机制（Garbage Collection）

Python的with语句执行原理

Python中的函数wrapper和装饰器（decorator）

Python的线程、进程，与协程（Corountine）的基本概念

==== C/C++ 相关

C/C++基本常识、编译链接过程

C++中的常用修饰符：static、const 等

C++中的指针和引用；值传递、指针传递和引用传递

CMake的使用方法

==== Java相关

Java虚拟机基本原理

Java常用语法结构