麻省理工線性代數筆記（十四）-投影及最小二乘

本講主要內容：

投影

最小二乘法

1。 投影

推廣到高維情況：

藉助矩陣：用矩陣A的列向量空間描述投影空間，向量b為被投影向量！

結論對比前面投影到一個二維向量上的結論，形式完全契合，非常完美！

2。 最小二乘

有了投影矩陣之後，我們來看它的具體應用，其實這就是最小二乘法。

進行投影后，此時殘差e的長度最小，e長度最小就對應著最小二乘法的最佳化目標，因此我們進行投影，得到的近似解，就是最小二乘法的解。

應用：曲線擬合問題，這裡舉一個最簡單的例子：

找到最接近三個點（0，6），（1，0），（2，0）的直線。假設直線b=C+Dt，

寫成矩陣形式，3個方程2個未知數，方程組不可解：

擬合曲線如下：

最小二乘法在許多場合都有應用，凡是能抽象出Ax=b的形式，都可以用此方式解決！