19.md

2. 无监督学习

• 2.1. 高斯混合模型
  • 2.1.1. 高斯混合
    • 2.1.1.1. 优缺点 GaussianMixture
      • 2.1.1.1.1. 优点
      • 2.1.1.1.2. 缺点
    • 2.1.1.2. 选择经典高斯混合模型中分量的个数
    • 2.1.1.3. 估计算法期望最大化（EM）
  • 2.1.2. 变分贝叶斯高斯混合
    • 2.1.2.1. 估计算法: 变分推断（variational inference）
      • 2.1.2.1.1. 优点
      • 2.1.2.1.2. 缺点
    • 2.1.2.2. The Dirichlet Process（狄利克雷过程）
• 2.2. 流形学习
  • 2.2.1. 介绍
  • 2.2.2. Isomap
    • 2.2.2.1. 复杂度
  • 2.2.3. 局部线性嵌入
    • 2.2.3.1. 复杂度
  • 2.2.4. 改进型局部线性嵌入（MLLE）
    • 2.2.4.1. 复杂度
  • 2.2.5. 黑塞特征映射（HE）
    • 2.2.5.1. 复杂度
  • 2.2.6. 谱嵌入
    • 2.2.6.1. 复杂度
  • 2.2.7. 局部切空间对齐（LTSA）
    • 2.2.7.1. 复杂度
  • 2.2.8. 多维尺度分析（MDS）
    • 2.2.8.1. 度量 MDS
    • 2.2.8.2. 非度量 MDS
  • 2.2.9. t 分布随机邻域嵌入（t-SNE）
    • 2.2.9.1. 优化 t-SNE
    • 2.2.9.2. Barnes-Hut t-SNE
  • 2.2.10. 实用技巧
• 2.3. 聚类
  • 2.3.1. 聚类方法概述
  • 2.3.2. K-means
    • 2.3.2.1. 小批量 K-Means
  • 2.3.3. Affinity Propagation
  • 2.3.4. Mean Shift
  • 2.3.5. Spectral clustering
    • 2.3.5.1. 不同的标记分配策略
  • 2.3.6. 层次聚类
    • 2.3.6.1. Different linkage type: Ward, complete and average linkage
    • 2.3.6.2. 添加连接约束
    • 2.3.6.3. Varying the metric
  • 2.3.7. DBSCAN
  • 2.3.8. Birch
  • 2.3.9. 聚类性能度量
    • 2.3.9.1. 调整后的 Rand 指数
      • 2.3.9.1.1. 优点
      • 2.3.9.1.2. 缺点
      • 2.3.9.1.3. 数学表达
    • 2.3.9.2. 基于 Mutual Information （互信息）的分数
      • 2.3.9.2.1. 优点
      • 2.3.9.2.2. 缺点
      • 2.3.9.2.3. 数学公式
    • 2.3.9.3. 同质性，完整性和 V-measure
      • 2.3.9.3.1. 优点
      • 2.3.9.3.2. 缺点
      • 2.3.9.3.3. 数学表达
    • 2.3.9.4. Fowlkes-Mallows 分数
      • 2.3.9.4.1. 优点
      • 2.3.9.4.2. 缺点
    • 2.3.9.5. Silhouette 系数
      • 2.3.9.5.1. 优点
      • 2.3.9.5.2. 缺点
    • 2.3.9.6. Calinski-Harabaz 指数
      • 2.3.9.6.1. 优点
      • 2.3.9.6.2. 缺点
• 2.4. 双聚类
  • 2.4.1. Spectral Co-Clustering
    • 2.4.1.1. 数学公式
  • 2.4.2. Spectral Biclustering
    • 2.4.2.1. 数学表示
  • 2.4.3. Biclustering 评测
• 2.5. 分解成分中的信号（矩阵分解问题）
  • 2.5.1. 主成分分析（PCA）
    • 2.5.1.1. 准确的PCA和概率解释（Exact PCA and probabilistic interpretation）
    • 2.5.1.2. 增量PCA (Incremental PCA)
    • 2.5.1.3. PCA 使用随机SVD
    • 2.5.1.4. 核 PCA
    • 2.5.1.5. 稀疏主成分分析 ( SparsePCA 和 MiniBatchSparsePCA )
  • 2.5.2. 截断奇异值分解和隐语义分析
  • 2.5.3. 词典学习
    • 2.5.3.1. 带有预计算词典的稀疏编码
    • 2.5.3.2. 通用词典学习
    • 2.5.3.3. 小批量字典学习
  • 2.5.4. 因子分析
  • 2.5.5. 独立成分分析（ICA）
  • 2.5.6. 非负矩阵分解(NMF 或 NNMF)
    • 2.5.6.1. NMF 与 Frobenius 范数
    • 2.5.6.2. 具有 beta-divergence 的 NMF
  • 2.5.7. 隐 Dirichlet 分配（LDA）
• 2.6. 协方差估计
• 2.7. 经验协方差
• 2.8. 收敛协方差
  • 2.8.1. 基本收敛
  • 2.8.2. Ledoit-Wolf 收敛
  • 2.8.3. Oracle 近似收缩
• 2.9. 稀疏逆协方差
• 2.10. Robust 协方差估计
  • 2.10.1. 最小协方差决定
• 2.11. 新奇和异常值检测
  • 2.11.1. Novelty Detection（新奇检测）
  • 2.11.2. Outlier Detection（异常值检测）
    • 2.11.2.1. Fitting an elliptic envelope（椭圆模型拟合）
    • 2.11.2.2. Isolation Forest（隔离森林）
    • 2.11.2.3. Local Outlier Factor（局部异常系数）
    • 2.11.2.4. 一类支持向量机与椭圆模型与隔离森林与局部异常系数
• 2.12. 密度估计
  • 2.12.1. 密度估计: 直方图
  • 2.12.2. 核密度估计
• 2.13. 神经网络模型（无监督）
  • 2.13.1. 限制波尔兹曼机
    • 2.13.1.1. 图形模型和参数化
    • 2.13.1.2. 伯努利限制玻尔兹曼机
    • 2.13.1.3. 随机最大似然学习