吴恩达机器学习笔记——正规方程（Normal Equation）

问题描述：m examples : (x⁽¹⁾,y⁽¹⁾), (x⁽²⁾,y⁽²⁾),…, (x^(m),y^(m)) and n features;

计算方法：θ = (X^TX)^-1X^Ty;

计算过程：

(1) x⁽ⁱ⁾ = [ x_0⁽ⁱ⁾

　　　　  x₁⁽ⁱ⁾

　　　　…

　　　　  x_n⁽ⁱ⁾

　　　　]

为列矩阵；

(2)design matrix:

X = [

　　(x⁽¹⁾)^T

　　(x⁽²⁾)^T

　　(x⁽³⁾)^T

　　…

　　(x⁽ⁿ⁾)^T

　　]

(3)compute with the format

θ = (X^TX)^-1X^Ty;

和梯度下降比较

（1）梯度下降：

　　需要选择速率α；

　　需要许多迭代；

　　当n取值很大（n >= 10⁶）时效果更好；

（2）正规方程：

　　不需要选择速率α；

　　不需要很多次的迭代；

　　需要进行矩阵计算，复杂度为O（n³）

　　适用于n比较小的情况；