diff --git "a/A-\346\267\261\345\272\246\345\255\246\344\271\240/C-\344\270\223\351\242\230-\344\274\230\345\214\226\347\256\227\346\263\225.md" "b/A-\346\267\261\345\272\246\345\255\246\344\271\240/C-\344\270\223\351\242\230-\344\274\230\345\214\226\347\256\227\346\263\225.md"
index 390e81aa..60609d84 100644
--- "a/A-\346\267\261\345\272\246\345\255\246\344\271\240/C-\344\270\223\351\242\230-\344\274\230\345\214\226\347\256\227\346\263\225.md"
+++ "b/A-\346\267\261\345\272\246\345\255\246\344\271\240/C-\344\270\223\351\242\230-\344\274\230\345\214\226\347\256\227\346\263\225.md"
@@ -38,7 +38,7 @@ Index
## 梯度下降
-> 数学/[梯度下降法](../数学/深度学习的核心.md#梯度下降法)
+> ../数学/[梯度下降法](../C-数学/B-深度学习的核心#梯度下降法)
- 梯度下降是一种**优化算法**，通过**迭代**的方式寻找模型的**最优参数**；
- 所谓最优参数指的是使**目标函数**达到最小值时的参数；
@@ -60,7 +60,7 @@ Index
### 小批量随机梯度下降
- 为了降低随机梯度的**方差**，使模型迭代更加稳定，实践中会使用**一批**随机数据的损失来近似平均损失。
- > ./机器学习基础/[偏差与方差](./ML-机器学习基础.md#偏差与方差)
+ > ../机器学习基础/[偏差与方差](../A-机器学习/A-机器学习基础#偏差与方差)
- 使用批训练的另一个主要目的，是为了利用高度优化的**矩阵运算**以及**并行计算框架**。
### 小批量 SGD 的更新过程
@@ -156,7 +156,7 @@ Index
> Hinton, 2012
- RMSProp 主要是为了解决 AdaGrad 方法中**学习率过度衰减**的问题—— AdaGrad 根据平方梯度的**整个历史**来收缩学习率，可能使得学习率在达到局部最小值之前就变得太小而难以继续训练；
- RMSProp 使用**指数衰减平均**（递归定义）以丢弃遥远的历史，使其能够在找到某个“凸”结构后快速收敛；此外，RMSProp 还加入了一个超参数 `ρ` 用于控制衰减速率。
- > ./术语表/[指数衰减平均](./Base-A-术语表.md#指数加权平均指数衰减平均)
+ > ./术语表/[指数衰减平均](./备忘-术语表#指数加权平均指数衰减平均)
- 具体来说（对比 AdaGrad 的算法描述），即修改 `r` 为
- > 在解码的第一步，Decoder 先读取 **Encoder 的最终状态**，生成目标语言的第一个词 'W'，接着 Decoder 读取第一步的输出 'W' 作为第二步的输入，进而生成第二个词 'X'，如此直到生成 `` 或达到指定**最大长度**。
- >> Decoder 生成每个词还要结合当前时间步的隐状态（如果是 LSTM 还有 记忆状态），更深入的细节暂时略过。
+
+
+ > 在解码的第一步，Decoder 先读取 **Encoder 的最终状态**，生成目标语言的第一个词 'W'，接着 Decoder 读取第一步的输出 'W' 作为第二步的输入，进而生成第二个词 'X'，如此直到生成 `` 或达到指定**最大长度**。
+ >> Decoder 生成每个词还要结合当前时间步的隐状态（如果是 LSTM 还有 记忆状态），更深入的细节暂时略过。
- Seq2Seq 之所以流行，是因为它为不同的问题提供了一套**端到端**（End to End）的解决方案，免去了繁琐的中间步骤，从输入直接得到结果.
- 根据任务的输入输出差异，编码器和解码器的设计也不尽相同，但是“Encoder-Decoder”的结构都是一致的。
- - **机器翻译**：输入源语言的一个句子，输出目标语言的句子；
- - **机器问答**：输入问题/查询，输出答案；
- - **文本摘要**：输入一个长句或段落，输出一个摘要短句；
- - **语音识别**：输入是音频序列信号，输出为识别出的文本；
- - **图像描述**：输入是图像经过视觉网络的特征，输出是图像的描述文本。
- - ...
+ - **机器翻译**：输入源语言的一个句子，输出目标语言的句子；
+ - **机器问答**：输入问题/查询，输出答案；
+ - **文本摘要**：输入一个长句或段落，输出一个摘要短句；
+ - **语音识别**：输入是音频序列信号，输出为识别出的文本；
+ - **图像描述**：输入是图像经过视觉网络的特征，输出是图像的描述文本。
+ - ...
### 解码方法（贪心、Beam Search、维特比算法）
- Seq2Seq 中的解码方法主要有三种：**贪心**、**Beam Search**、**维特比算法**（动态规划）
- 这三种方法的思想本质上是一致的，假设选取相同的评价标准（比如概率最大、路径最短等）
- - **贪心**每到达一个节点，只选择当前状态的**最优结果**，其他都忽略，直到最后一个节点；贪心法只能得到某个局部最优解；
- - **Beam Search** 会在每个节点保存当前**最优的 k 个结果**（排序后），其他结果将被“剪枝”，因为每次都有 k 个分支进入下一个状态。Beam Search 也不能保证全局最优，但能以较大的概率得到全局最优解。
- - **维特比算法**利用**动态规划**的方法可以保证得到全局最优解，但是当候选状态极大时，需要消耗大量的时间和空间搜索和保存状态，因此维特比算法只适合状态集比较小的情况。
+ - **贪心**每到达一个节点，只选择当前状态的**最优结果**，其他都忽略，直到最后一个节点；贪心法只能得到某个局部最优解；
+ - **Beam Search** 会在每个节点保存当前**最优的 k 个结果**（排序后），其他结果将被“剪枝”，因为每次都有 k 个分支进入下一个状态。Beam Search 也不能保证全局最优，但能以较大的概率得到全局最优解。
+ - **维特比算法**利用**动态规划**的方法可以保证得到全局最优解，但是当候选状态极大时，需要消耗大量的时间和空间搜索和保存状态，因此维特比算法只适合状态集比较小的情况。
#### Beam Search（集束搜索）
- Beam Search 是一种启发式算法
- 该方法会保存前 `beam_size` 个最佳状态，每次解码时会根据所有保存的状态进行下一步**扩展**和**排序**，依然只保留前 `beam_size` 个最佳状态；循环迭代至最后一步，保存最佳选择。
- Beam Search 图示
-
+
- 当 `beam_size = 1` 时，Beam Search 即退化为贪心搜索
- 一般为了计算资源和性能的平衡，`beam_size` 会选择一个适中的范围；通常 `beam_size` 取 `8~12` 即可（机器翻译、文本摘要）
@@ -89,22 +89,22 @@ Index
#### 其他最短路径算法
- Dijkstra 算法（迪杰斯特拉算法）
- - 基于贪心
- - 用于求解某个顶点到其他所有顶点之间的最短路径
- - 时间复杂度 `O(N^2)`
- - Dijkstra 算法的使用范围比 Viterbi 算法更广，可用于求解大部分图结构中的最短路径。
+ - 基于贪心
+ - 用于求解某个顶点到其他所有顶点之间的最短路径
+ - 时间复杂度 `O(N^2)`
+ - Dijkstra 算法的使用范围比 Viterbi 算法更广，可用于求解大部分图结构中的最短路径。
- Floyd 算法（弗洛伊德算法）
- - 求解的是每一对顶点之间的最短路径
- - 时间复杂度 `O(N^3)`
+ - 求解的是每一对顶点之间的最短路径
+ - 时间复杂度 `O(N^3)`
### 构建 Seq2Seq 一般做法
- 堆叠 RNN/CNN
- > [CNN 与序列建模](#cnn-与序列建模)
+ > [CNN 与序列建模](#cnn-与序列建模)
- Dropout 机制
- **残差**连接
- **Attention 机制**
- > [Attention 专题](./DL-C-专题-Attention.md)
+
## 序列的表示学习
@@ -122,21 +122,21 @@ Index
## CNN 与序列建模
- 一般认为 CNN 擅长处理**网格结构的数据**，比如图像（二维像素网络）
- - 卷积层试图将神经网络中的每一小块进行更加深入的分析，从而得出抽象程度更高的特征。
- - 一般来说通过卷积层处理的神经元结点矩阵会变得更深，即神经元的组织在第三个维度上会增加。
+ - 卷积层试图将神经网络中的每一小块进行更加深入的分析，从而得出抽象程度更高的特征。
+ - 一般来说通过卷积层处理的神经元结点矩阵会变得更深，即神经元的组织在第三个维度上会增加。
- **时序数据**同样可以认为是在时间轴上有规律地采样而形成的一维网格
-
+
- > [CNN for Sentence Classification](https://arxiv.org/abs/1408.5882) (Kim, 2014)
+ > [CNN for Sentence Classification](https://arxiv.org/abs/1408.5882) (Kim, 2014)
### 一维卷积
- 适用于序列建模的卷积网络一般就是采用的是一维卷积
-
+
- - 最下层的 `x_i` 可视为句子的输入序列
- - 最上层的 `g_j` 即输出序列
- - 流行的网络中一般使用 **embedding** 作为输入，也就说每个 `x_i` 其实是一个多维向量 `v(x_i)`
- > [NLP-词向量](./NLP-词向量.md)
+ - 最下层的 `x_i` 可视为句子的输入序列
+ - 最上层的 `g_j` 即输出序列
+ - 流行的网络中一般使用 **embedding** 作为输入，也就说每个 `x_i` 其实是一个多维向量 `v(x_i)`
+ > ../自然语言处理/[词向量](../B-自然语言处理/B-专题-词向量.md)
## 时间卷积网络（TCN）
diff --git "a/A-\346\267\261\345\272\246\345\255\246\344\271\240/\345\244\207\345\277\230-\346\234\257\350\257\255\350\241\250.md" "b/A-\346\267\261\345\272\246\345\255\246\344\271\240/\345\244\207\345\277\230-\346\234\257\350\257\255\350\241\250.md"
index f8851210..9299ed92 100644
--- "a/A-\346\267\261\345\272\246\345\255\246\344\271\240/\345\244\207\345\277\230-\346\234\257\350\257\255\350\241\250.md"
+++ "b/A-\346\267\261\345\272\246\345\255\246\344\271\240/\345\244\207\345\277\230-\346\234\257\350\257\255\350\241\250.md"
@@ -6,36 +6,36 @@ Index
- [指数加权平均（指数衰减平均）](#指数加权平均指数衰减平均)
- - [偏差修正](#偏差修正)
+ - [偏差修正](#偏差修正)
## 指数加权平均（指数衰减平均）
> [什么是指数加权平均、偏差修正？ - 郭耀华](http://www.cnblogs.com/guoyaohua/p/8544835.html) - 博客园
- **加权平均**
- - 假设 `θi` 的权重分别为 `ρi`，则 `θi` 的加权平均为：
-
+ - 假设 `θi` 的权重分别为 `ρi`，则 `θi` 的加权平均为：
+
- **指数加权平均**
-
+
- > 注意到越久前的记录其权重呈**指数衰减**，因此指数加权平均也称**指数衰减平均**
+ > 注意到越久前的记录其权重呈**指数衰减**，因此指数加权平均也称**指数衰减平均**
- **示例**：设 `ρ=0.9, v0=0`
-
-
- > 其中 `v_t` 可以**近似**认为是最近 `1/1-ρ` 个值的滑动平均（`ρ=0.9`时，`0.1 * 0.9^9 ≈ 0.038`），更久前的记录其权重已近似为 0。
+
+
+ > 其中 `v_t` 可以**近似**认为是最近 `1/1-ρ` 个值的滑动平均（`ρ=0.9`时，`0.1 * 0.9^9 ≈ 0.038`），更久前的记录其权重已近似为 0。
### 偏差修正
- 指数加权平均在前期会存在较大的**误差**
-
-
- - 注意到只有当 `t -> ∞` 时，所有权重的和才接近 1，当 `t` 比较小时，并不是标准的加权平均
+
+
+ - 注意到只有当 `t -> ∞` 时，所有权重的和才接近 1，当 `t` 比较小时，并不是标准的加权平均
- **示例**：设 `ρ=0.9, v0=0`
-
+
- - 当 `t` 较小时，与希望的加权平均结果差距较大
+ - 当 `t` 较小时，与希望的加权平均结果差距较大
- **引入偏差修正**
-
+
- - 偏差修正只对**前期**的有修正效果，**后期**当 `t` 逐渐增大时 `1-ρ^t -> 1`，将不再影响 `v_t`，与期望相符
\ No newline at end of file
+ - 偏差修正只对**前期**的有修正效果，**后期**当 `t` 逐渐增大时 `1-ρ^t -> 1`，将不再影响 `v_t`，与期望相符
\ No newline at end of file
diff --git "a/B-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/A-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206\345\237\272\347\241\200.md" "b/B-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/A-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206\345\237\272\347\241\200.md"
index f5e4f0c9..006dd497 100644
--- "a/B-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/A-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206\345\237\272\347\241\200.md"
+++ "b/B-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/A-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206\345\237\272\347\241\200.md"
@@ -6,28 +6,28 @@ Index
- [NLP 概述](#nlp-概述)
- - [解决 NLP 问题的一般思路](#解决-nlp-问题的一般思路)
- - [NLP 的历史进程](#nlp-的历史进程)
- - [Seq2Seq 模型](#seq2seq-模型)
- - [评价机制](#评价机制)
- - [困惑度 (Perplexity, PPX)](#困惑度-perplexity-ppx)
- - [BLEU](#bleu)
- - [ROUGE](#rouge)
+ - [解决 NLP 问题的一般思路](#解决-nlp-问题的一般思路)
+ - [NLP 的历史进程](#nlp-的历史进程)
+ - [Seq2Seq 模型](#seq2seq-模型)
+ - [评价机制](#评价机制)
+ - [困惑度 (Perplexity, PPX)](#困惑度-perplexity-ppx)
+ - [BLEU](#bleu)
+ - [ROUGE](#rouge)
- [语言模型](#语言模型)
- - [XX 模型的含义](#xx-模型的含义)
- - [概率/统计语言模型 (PLM, SLM)](#概率统计语言模型-plm-slm)
- - [参数的规模](#参数的规模)
- - [可用的概率模型](#可用的概率模型)
- - [N-gram 语言模型](#n-gram-语言模型)
- - [可靠性与可区别性](#可靠性与可区别性)
- - [OOV 问题](#oov-问题)
- - [平滑处理 TODO](#平滑处理-todo)
- - [神经概率语言模型 (NPLM)](#神经概率语言模型-nplm)
- - [N-gram 神经语言模型](#n-gram-神经语言模型)
- - [N-gram 神经语言模型的网络结构](#n-gram-神经语言模型的网络结构)
- - [模型参数的规模与运算量](#模型参数的规模与运算量)
- - [相比 N-gram 模型，NPLM 的优势](#相比-n-gram-模型nplm-的优势)
- - [NPLM 中的 OOV 问题](#nplm-中的-oov-问题)
+ - [XX 模型的含义](#xx-模型的含义)
+ - [概率/统计语言模型 (PLM, SLM)](#概率统计语言模型-plm-slm)
+ - [参数的规模](#参数的规模)
+ - [可用的概率模型](#可用的概率模型)
+ - [N-gram 语言模型](#n-gram-语言模型)
+ - [可靠性与可区别性](#可靠性与可区别性)
+ - [OOV 问题](#oov-问题)
+ - [平滑处理 TODO](#平滑处理-todo)
+ - [神经概率语言模型 (NPLM)](#神经概率语言模型-nplm)
+ - [N-gram 神经语言模型](#n-gram-神经语言模型)
+ - [N-gram 神经语言模型的网络结构](#n-gram-神经语言模型的网络结构)
+ - [模型参数的规模与运算量](#模型参数的规模与运算量)
+ - [相比 N-gram 模型，NPLM 的优势](#相比-n-gram-模型nplm-的优势)
+ - [NPLM 中的 OOV 问题](#nplm-中的-oov-问题)
@@ -42,88 +42,87 @@ Index
## NLP 的历史进程
- **规则系统**
- - 正则表达式/自动机
- - 规则是固定的
- - **搜索引擎**
- ```tex
- “豆瓣酱用英语怎么说？”
- 规则：“xx用英语怎么说？” => translate(XX, English)
-
- “我饿了”
- 规则：“我饿（死）了” => recommend(饭店，地点)
- ```
+ - 正则表达式/自动机
+ - 规则是固定的
+ - **搜索引擎**
+ ```tex
+ “豆瓣酱用英语怎么说？”
+ 规则：“xx用英语怎么说？” => translate(XX, English)
+
+ “我饿了”
+ 规则：“我饿（死）了” => recommend(饭店，地点)
+ ```
- **概率系统**
- - 规则从数据中**抽取**
- - 规则是有**概率**的
- - 概率系统的一般**工作方式**
- ```tex
- 流程设计
- 收集训练数据
- 预处理
- 特征工程
- 分类器（机器学习算法）
- 预测
- 评价
- ```
-
-
- - 最重要的部分：数据收集、预处理、特征工程
- - 示例
- ```tex
- 任务：
- “豆瓣酱用英语怎么说” => translate(豆瓣酱，Eng)
-
- 流程设计（序列标注）：
- 子任务1： 找出目标语言 “豆瓣酱用 **英语** 怎么说”
- 子任务2： 找出翻译目标 “ **豆瓣酱** 用英语怎么说”
-
- 收集训练数据：
- （子任务1）
- “豆瓣酱用英语怎么说”
- “茄子用英语怎么说”
- “黄瓜怎么翻译成英语”
-
- 预处理：
- 分词：“豆瓣酱 用 英语 怎么说”
-
- 抽取特征：
- （前后各一个词）
- 0 茄子： < _ 用
- 0 用： 豆瓣酱 _ 英语
- 1 英语： 用 _ 怎么说
- 0 怎么说： 英语 _ >
-
- 分类器：
- SVM/CRF/HMM/RNN
-
- 预测：
- 0.1 茄子： < _ 用
- 0.1 用： 豆瓣酱 _ 英语
- 0.7 英语： 用 _ 怎么说
- 0.1 怎么说： 英语 _ >
-
- 评价：
- 准确率
- ```
+ - 规则从数据中**抽取**
+ - 规则是有**概率**的
+ - 概率系统的一般**工作方式**
+ ```tex
+ 流程设计
+ 收集训练数据
+ 预处理
+ 特征工程
+ 分类器（机器学习算法）
+ 预测
+ 评价
+ ```
+
+
+ - 最重要的部分：数据收集、预处理、特征工程
+ - 示例
+ ```tex
+ 任务：
+ “豆瓣酱用英语怎么说” => translate(豆瓣酱，Eng)
+
+ 流程设计（序列标注）：
+ 子任务1： 找出目标语言 “豆瓣酱用 **英语** 怎么说”
+ 子任务2： 找出翻译目标 “ **豆瓣酱** 用英语怎么说”
+
+ 收集训练数据：
+ （子任务1）
+ “豆瓣酱用英语怎么说”
+ “茄子用英语怎么说”
+ “黄瓜怎么翻译成英语”
+
+ 预处理：
+ 分词：“豆瓣酱 用 英语 怎么说”
+
+ 抽取特征：
+ （前后各一个词）
+ 0 茄子： < _ 用
+ 0 用： 豆瓣酱 _ 英语
+ 1 英语： 用 _ 怎么说
+ 0 怎么说： 英语 _ >
+
+ 分类器：
+ SVM/CRF/HMM/RNN
+
+ 预测：
+ 0.1 茄子： < _ 用
+ 0.1 用： 豆瓣酱 _ 英语
+ 0.7 英语： 用 _ 怎么说
+ 0.1 怎么说： 英语 _ >
+
+ 评价：
+ 准确率
+ ```
- 概率系统的优/缺点
- - `+` 规则更加贴近于真实事件中的规则，因而效果往往比较好
- - `-` 特征是由专家/人指定的；
- - `-` 流程是由专家/人设计的；
- - `-` 存在独立的**子任务**
+ - `+` 规则更加贴近于真实事件中的规则，因而效果往往比较好
+ - `-` 特征是由专家/人指定的；
+ - `-` 流程是由专家/人设计的；
+ - `-` 存在独立的**子任务**
- **深度学习**
- - 深度学习相对概率模型的优势
- - 特征是由专家指定的 `->` 特征是由深度学习自己提取的
- - 流程是由专家设计的 `->` 模型结构是由专家设计的
- - 存在独立的子任务 `->` End-to-End Training
+ - 深度学习相对概率模型的优势
+ - 特征是由专家指定的 `->` 特征是由深度学习自己提取的
+ - 流程是由专家设计的 `->` 模型结构是由专家设计的
+ - 存在独立的子任务 `->` End-to-End Training
## Seq2Seq 模型
-> [NLP-序列建模](./NLP-序列建模.md)
- 大部分自然语言问题都可以使用 Seq2Seq 模型解决
-
+
- **“万物”皆 Seq2Seq**
-
+
## 评价机制
@@ -131,28 +130,28 @@ Index
### 困惑度 (Perplexity, PPX)
> [Perplexity](https://en.wikipedia.org/wiki/Perplexity) - Wikipedia
- 在信息论中，perplexity 用于度量一个**概率分布**或**概率模型**预测样本的好坏程度
- > 机器学习/[信息论](../机器学习/README.md#信息论)
+ > ../机器学习/[信息论](../A-机器学习/A-机器学习基础#信息论)
基本公式
- **概率分布**（离散）的困惑度
- 
- >> 
+ >>
- 这个过程相当于对样本进行了改写，使得训练样本的数量大大增加
-- QANet 中的做法：
- 
- 具体到 SQuAD 任务就是 `(d,q,a) -> (d’, q, a’)`，问题不变，对文档 `d` 翻译改写，由于改写后原始答案 `a` 现在可能已经不在改写后的段落 `d’` 里了，所以需要从改写后的段落 `d’` 里抽取新的答案 `a’`，采用的方法是计算 `d’` 里每个单词和原始答案里 start/end words 之间的 **character-level 2-gram score**，分数最高的单词就被选择为新答案 `a’` 的 start/end word。
- > 中文没有里面没有 character-level 2-gram，可以考虑词向量之间的相似度
-
-### 同义词替换 TODO
-- 图像中对图片进行缩放、平移、旋转等操作不会改变图片本身含义；语音中对语音的声调、语速、噪声稍加改动也不会改变其结果
-- 文本中能做的类似改动比较少，同义词替换算一种
- - 哪些词应当被替换
- - 应该是用哪个同义词来替换
\ No newline at end of file
diff --git "a/B-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/B-\344\270\223\351\242\230-\345\217\245\345\220\221\351\207\217.md" "b/B-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/B-\344\270\223\351\242\230-\345\217\245\345\220\221\351\207\217.md"
index 5730ebdd..6d5fd341 100644
--- "a/B-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/B-\344\270\223\351\242\230-\345\217\245\345\220\221\351\207\217.md"
+++ "b/B-\350\207\252\347\204\266\350\257\255\350\250\200\345\244\204\347\220\206/B-\344\270\223\351\242\230-\345\217\245\345\220\221\351\207\217.md"
@@ -10,25 +10,25 @@ Index
- [基线模型](#基线模型)
- - [基于统计的词袋模型（BoW）](#基于统计的词袋模型bow)
- - [基于词向量的词袋模型](#基于词向量的词袋模型)
- - [均值模型](#均值模型)
- - [加权模型](#加权模型)
- - [基于 RNN（任务相关）](#基于-rnn任务相关)
- - [基于 CNN（任务相关）](#基于-cnn任务相关)
+ - [基于统计的词袋模型（BoW）](#基于统计的词袋模型bow)
+ - [基于词向量的词袋模型](#基于词向量的词袋模型)
+ - [均值模型](#均值模型)
+ - [加权模型](#加权模型)
+ - [基于 RNN（任务相关）](#基于-rnn任务相关)
+ - [基于 CNN（任务相关）](#基于-cnn任务相关)
- [词袋模型](#词袋模型)
- - [[2018] Power Mean 均值模型](#2018-power-mean-均值模型)
- - [[2017] SIF 加权模型](#2017-sif-加权模型)
+ - [[2018] Power Mean 均值模型](#2018-power-mean-均值模型)
+ - [[2017] SIF 加权模型](#2017-sif-加权模型)
- [无监督模型](#无监督模型)
- - [[2015] Skip-Thought Vector](#2015-skip-thought-vector)
- - [[2018] Quick-Thought Vectors](#2018-quick-thought-vectors)
+ - [[2015] Skip-Thought Vector](#2015-skip-thought-vector)
+ - [[2018] Quick-Thought Vectors](#2018-quick-thought-vectors)
- [有监督模型](#有监督模型)
- - [[2017] InferSent](#2017-infersent)
- - [[2017] Self-Attention](#2017-self-attention)
- - [[2015] DAN & RecNN](#2015-dan--recnn)
+ - [[2017] InferSent](#2017-infersent)
+ - [[2017] Self-Attention](#2017-self-attention)
+ - [[2015] DAN & RecNN](#2015-dan--recnn)
- [多任务学习](#多任务学习)
- - [[2018] 基于多任务的 Sentence Embedding（微软）](#2018-基于多任务的-sentence-embedding微软)
- - [[2018] Universal Sentence Encoder（谷歌）](#2018-universal-sentence-encoder谷歌)
+ - [[2018] 基于多任务的 Sentence Embedding（微软）](#2018-基于多任务的-sentence-embedding微软)
+ - [[2018] Universal Sentence Encoder（谷歌）](#2018-universal-sentence-encoder谷歌)
- [参考文献](#参考文献)
@@ -44,19 +44,19 @@ Index
### 基于词向量的词袋模型
#### 均值模型
- 
- **1）** 对句子中的每个词向量，乘以一个权重 `a/(a+p_w)`，其中 `a` 是一个常数（原文取 `0.0001`），`p_w` 为该词的词频；对于出现频率越高的词，其权重越小；
- **2）** 计算**句向量矩阵**的第一个主成分 `u`，让每个句向量减去它在 `u` 上的投影（类似 PCA）；
+ **1）** 对句子中的每个词向量，乘以一个权重 `a/(a+p_w)`，其中 `a` 是一个常数（原文取 `0.0001`），`p_w` 为该词的词频；对于出现频率越高的词，其权重越小；
+ **2）** 计算**句向量矩阵**的第一个主成分 `u`，让每个句向量减去它在 `u` 上的投影（类似 PCA）；
- **完整算法描述**
- 
- 当采样到正例时，跳过
- 特别的，Word2Vec 在计算 `len(w)` 时做了一些改动——为 `count(·)` 加了一个**指数**
- 
Glove 也利用了**反向传播**来更新词向量，但是结构要更简单，所以 GloVe 的速度更快
- Glove 认为 Word2Vec 对高频词的处理还不够，导致速度慢；GloVe 认为共现矩阵可以解决这个问题
- > 实际 Word2Vec 已结有了一些对高频词的措施 > [高频词的处理](#高频词的处理)
-- 从效果上看，虽然 GloVe 的训练速度更快，但是**词向量的性能**在通用性上要弱一些：
- 在一些任务上表现优于 Word2Vec，但是在更多的任务上要比 Word2Vec 差
+ > 实际 Word2Vec 已结有了一些对高频词的措施 > [高频词的处理](#高频词的处理)
+- 从效果上看，虽然 GloVe 的训练速度更快，但是**词向量的性能**在通用性上要弱一些：
在一些任务上表现优于 Word2Vec，但是在更多的任务上要比 Word2Vec 差
# FastText
-- FastText 是从 Word2Vec 的 CBOW 模型演化而来的；
- 从网络的角度来看，两者的模型基本一致；**区别仅在于两者的输入和目标函数不同**；
-
- 
+ ```Cpp
+ // 源码中计算 n-grams 的声明，只计算单个词的字符级 n-gram
+ compute_ngrams(word, unsigned int min_n, unsigned int max_n);
+ ```
+ ```Python
+ # > https://github.com/vrasneur/pyfasttext#get-the-subwords
+ >>> model.args.get('minn'), model.args.get('maxn')
+ (2, 4)
+ # 调用源码的 Python 接口，源码上也会添加 '<' 和 '>'
+ >>> model.get_all_subwords('hello') # word + subwords from 2 to 4 characters
+ ['hello', '', 'lo', 'lo>', 'o>']
+ >>> # model.get_all_subwords('hello world') # warning
+ ```
+- **值得一提的是**，因为 FastText 使用了字符级的 N-gram 向量作为额外的特征，使其能够对**未登录词**也能输出相应的词向量；
+
**具体来说**，**未登录词**的词向量等于其 N-gram 向量的叠加
+
## `gensim.models.FastText` 使用示例
-> code/[FastText](../code/工具库/gensim/FastText.py)
+> ../codes/[FastText](../_codes/工具库/gensim/FastText.py)
+
- 构建 FastText 以及获取词向量
- ```Python
- # gensim 示例
- import gensim
- import numpy as np
- from gensim.test.utils import common_texts
- from gensim.models.keyedvectors import FastTextKeyedVectors
- from gensim.models._utils_any2vec import compute_ngrams, ft_hash
- from gensim.models import FastText
-
- # 构建 FastText 模型
- sentences = [["Hello", "World", "!"], ["I", "am", "huay", "."]]
- min_ngrams, max_ngrams = 2, 4 # ngrams 范围
- model = FastText(sentences, size=5, min_count=1, min_n=min_ngrams, max_n=max_ngrams)
-
- # 可以通过相同的方式获取每个单词以及任一个 n-gram 的向量
- print(model.wv['hello'])
- print(model.wv['', '', '']
- ['', '', '']
- ['', '']
- ['', '']
- ['', '', '']
- ['', '', '']
- ['<.', '.>', '<.>']
- """
- assert sum_ngrams == len(model.wv.vectors_ngrams)
- print(sum_ngrams) # 57
- print()
- ```
+ ```Python
+ sum_ngrams = 0
+ for s in sentences:
+ for w in s:
+ w = w.lower()
+ # from gensim.models._utils_any2vec import compute_ngrams
+ ret = compute_ngrams(w, min_ngrams, max_ngrams)
+ print(ret)
+ sum_ngrams += len(ret)
+ """
+ ['', '', '']
+ ['', '', '']
+ ['', '']
+ ['', '']
+ ['', '', '']
+ ['', '', '']
+ ['<.', '.>', '<.>']
+ """
+ assert sum_ngrams == len(model.wv.vectors_ngrams)
+ print(sum_ngrams) # 57
+ print()
+ ```
### 计算一个未登录词的词向量
- 未登录词实际上是已知 n-grams 向量的叠加平均
- ```Python
- # 因为 "a", "aa", "aaa" 中都只含有 " `gensim.models.keyedvectors.FastTextKeyedVectors.word_vec(token)` 的内部实现
- ```Python
- word_unk = "aam"
- ngrams = compute_ngrams(word_unk, min_ngrams, max_ngrams) # min_ngrams, max_ngrams = 2, 4
- word_vec = np.zeros(model.vector_size, dtype=np.float32)
- ngrams_found = 0
- for ngram in ngrams:
- ngram_hash = ft_hash(ngram) % model.bucket
- if ngram_hash in model.wv.hash2index:
- word_vec += model.wv.vectors_ngrams[model.wv.hash2index[ngram_hash]]
- ngrams_found += 1
-
- if word_vec.any(): #
- word_vec = word_vec / max(1, ngrams_found)
- else: # 如果一个 ngram 都没找到，gensim 会报错；个人认为把 0 向量传出来也可以
- raise KeyError('all ngrams for word %s absent from model' % word_unk)
-
- print(word_vec)
- print(model.wv["aam"])
- """
- [ 0.02210762 -0.10488641 0.05512805 0.09150169 0.00725085]
- [ 0.02210762 -0.10488641 0.05512805 0.09150169 0.00725085]
- """
-
- # 如果一个 ngram 都没找到，gensim 会报错
- # 其实可以返回一个 0 向量的，它内部实际上是从一个 0 向量开始累加的；
- # 但返回时做了一个判断——如果依然是 0 向量，则报错
- # print(model.wv['z'])
- r"""
- Traceback (most recent call last):
- File "D:/OneDrive/workspace/github/DL-Notes-for-Interview/code/工具库/gensim/FastText.py", line 53, in
- print(model.wv['z'])
- File "D:\program\work\Python\Anaconda3\envs\tf\lib\site-packages\gensim\models\keyedvectors.py", line 336, in __getitem__
- return self.get_vector(entities)
- File "D:\program\work\Python\Anaconda3\envs\tf\lib\site-packages\gensim\models\keyedvectors.py", line 454, in get_vector
- return self.word_vec(word)
- File "D:\program\work\Python\Anaconda3\envs\tf\lib\site-packages\gensim\models\keyedvectors.py", line 1989, in word_vec
- raise KeyError('all ngrams for word %s absent from model' % word)
- KeyError: 'all ngrams for word z absent from model'
- """
- ```
+ > `gensim.models.keyedvectors.FastTextKeyedVectors.word_vec(token)` 的内部实现
+ ```Python
+ word_unk = "aam"
+ ngrams = compute_ngrams(word_unk, min_ngrams, max_ngrams) # min_ngrams, max_ngrams = 2, 4
+ word_vec = np.zeros(model.vector_size, dtype=np.float32)
+ ngrams_found = 0
+ for ngram in ngrams:
+ ngram_hash = ft_hash(ngram) % model.bucket
+ if ngram_hash in model.wv.hash2index:
+ word_vec += model.wv.vectors_ngrams[model.wv.hash2index[ngram_hash]]
+ ngrams_found += 1
+
+ if word_vec.any(): #
+ word_vec = word_vec / max(1, ngrams_found)
+ else: # 如果一个 ngram 都没找到，gensim 会报错；个人认为把 0 向量传出来也可以
+ raise KeyError('all ngrams for word %s absent from model' % word_unk)
+
+ print(word_vec)
+ print(model.wv["aam"])
+ """
+ [ 0.02210762 -0.10488641 0.05512805 0.09150169 0.00725085]
+ [ 0.02210762 -0.10488641 0.05512805 0.09150169 0.00725085]
+ """
+
+ # 如果一个 ngram 都没找到，gensim 会报错
+ # 其实可以返回一个 0 向量的，它内部实际上是从一个 0 向量开始累加的；
+ # 但返回时做了一个判断——如果依然是 0 向量，则报错
+ # print(model.wv['z'])
+ """
+ Traceback (most recent call last):
+ File "D:/OneDrive/workspace/github/DL-Notes-for-Interview/code/工具库 /gensim/FastText.py", line 53, in
+ print(model.wv['z'])
+ File "D:\program\work\Python\Anaconda3\envs\tf\lib\site-packages\gensim\models \keyedvectors.py", line 336, in __getitem__
+ return self.get_vector(entities)
+ File "D:\program\work\Python\Anaconda3\envs\tf\lib\site-packages\gensim\models \keyedvectors.py", line 454, in get_vector
+ return self.word_vec(word)
+ File "D:\program\work\Python\Anaconda3\envs\tf\lib\site-packages\gensim\models \keyedvectors.py", line 1989, in word_vec
+ raise KeyError('all ngrams for word %s absent from model' % word)
+ KeyError: 'all ngrams for word z absent from model'
+ """
+ ```
# WordRank TODO
@@ -440,11 +450,10 @@ Glove 也利用了**反向传播**来更新词向量，但是结构要更简单
-
# 其他实践
## 一般 embedding 维度的选择
> [Feature Columns](https://www.tensorflow.org/versions/master/guide/feature_columns#indicator_and_embedding_columns) | TensorFlow
- 经验公式 `embedding_size = n_categories ** 0.25`
- 在大型语料上训练的词向量维度通常会设置的更大一些，比如 `100~300`
- > 如果根据经验公式，是不需要这么大的，比如 200W 词表的词向量维度只需要 `200W ** 0.25 ≈ 37`
+ > 如果根据经验公式，是不需要这么大的，比如 200W 词表的词向量维度只需要 `200W ** 0.25 ≈ 37`
diff --git "a/_codes/\345\267\245\345\205\267\345\272\223/gensim/FastText.py" "b/_codes/\345\267\245\345\205\267\345\272\223/gensim/FastText.py"
new file mode 100644
index 00000000..028e4f3e
--- /dev/null
+++ "b/_codes/\345\267\245\345\205\267\345\272\223/gensim/FastText.py"
@@ -0,0 +1,109 @@
+"""
+`gensim.models.FastText` 使用示例
+"""
+# gensim 示例
+import gensim
+import numpy as np
+from gensim.test.utils import common_texts
+from gensim.models.keyedvectors import FastTextKeyedVectors
+from gensim.models._utils_any2vec import compute_ngrams, ft_hash
+from gensim.models import FastText
+
+# 构建 FastText 模型
+sentences = [["Hello", "World", "!"], ["I", "am", "huay", "."]]
+min_ngrams, max_ngrams = 2, 4 # ngrams 范围
+model = FastText(sentences, size=5, min_count=1, min_n=min_ngrams, max_n=max_ngrams)
+
+# 可以通过相同的方式获取每个单词以及任一个 n-gram 的向量
+print(model.wv['hello'])
+print(model.wv['', '', '']
+['', '', '']
+['', '']
+['', '']
+['', '', '']
+['', '', '']
+['<.', '.>', '<.>']
+"""
+assert sum_ngrams == len(model.wv.vectors_ngrams)
+print(sum_ngrams) # 57
+print()
+
+# 因为 "a", "aa", "aaa" 中都只含有 "
+ print(model.wv['z'])
+ File "D:\program\work\Python\Anaconda3\envs\tf\lib\site-packages\gensim\models\keyedvectors.py", line 336, in __getitem__
+ return self.get_vector(entities)
+ File "D:\program\work\Python\Anaconda3\envs\tf\lib\site-packages\gensim\models\keyedvectors.py", line 454, in get_vector
+ return self.word_vec(word)
+ File "D:\program\work\Python\Anaconda3\envs\tf\lib\site-packages\gensim\models\keyedvectors.py", line 1989, in word_vec
+ raise KeyError('all ngrams for word %s absent from model' % word)
+KeyError: 'all ngrams for word z absent from model'
+"""
+
