第二章-多元线性回归与特征工程.md

WEEK 2

[TOC]

多特征向量（入门）-Multiple features

vector-向量

当我们考虑多个影响时，可以想象下面的这个形式来表述

dot product-点乘

多元线性回归-Multiple linear regression

矢量处理-向量运算

vectorization-矢量化，可以更容易处理你的数据

Python的索引是从零开始的

• 手动计算点乘

• 循环写法计算求和

• 向量的点乘

向量化可以更加方便运算与阅读，而且计算机的向量化是并行计算（硬件），相比于之前的会快很多。

向量化处理数据-为了后续改善多元回归梯度下降

多元线性回归的梯度下降-Gradient descent for multiple linear regression

number-b，b不是向量，是个数。

$$ 对w求导\quad \frac{d}{dw_1}J(\vec w,b) = x_1^{(i)}\quad其余项都是常数项 $$ 

Normal equation

详解正规方程（Normal Equation） - 知乎

（用到了很多的矩阵求导公式,可以用来检测结果）

优点：

• 无需迭代

缺点：

• 只能在多元线性回归中用到

• 如果数据量过大，会很慢

  

有关特征值与参数调节工程

特征放缩-Feature scaling

有的参数或者训练数据差异很大

如何合理的取值（大小关系上）

缩放后更加精确美观的标出我们的取值范围区域

• 训练向量集的归一化-Mean normalization
• Z-score 标准化Z-score normalization

尽量使得所有的变量所属区间长度相近，特征放缩可以使梯度下降更快

检验收敛性-Check the convergence

怎么看收敛性

一般都是要单减，否则说明有bug或者$\alpha$选的不好

自动算法像是规定一个误差，减少基本趋于0时跳出。

如何选取$\alpha$

多带入一些$\alpha$的值进行测试（调参）

特征工程-Feature Engineering

用知识构造一个新的特征（变量）能够反映更多的特性，还可以使得整体更加拟合。

多项式回归-Polynomial Regression

此时，特征放缩-feature scaling尤为重要。那么该如何选，以后的课程会分析各种情况下的优缺点。