機器學習線性代數:線性代數的本質 筆記

超值推薦：

https：//www。

bilibili。com/video/BV1y

s411472E？p=13

閱讀原因：

機器學習涉及到很多矩陣方面的知識，補充一下

抓住幾何意義的點，弱化計算，非常直觀的進行解釋

目前寫了三篇；

一篇基於線性代數本質影片進行分享；

一篇關於一系列的特殊矩陣 線性方程組進行分享：

https：//

zhuanlan。zhihu。com/p/14

9515834

線性角度看線性迴歸：

https：//

zhuanlan。zhihu。com/p/15

4463155

主要知識點(個人理解，歡迎補充)

向量 子空間/列空間/零空間

矩陣 線性變化 基變換

行列式 點積 叉乘

特徵值/特徵向量

線性方程組、線性方程組求解，解與子空間

逆矩陣

矩陣對角化： 特徵向量作為基，特徵值/特徵向量相關

正交投影 正交矩陣以及Gram-Schmidt正交化

對稱矩陣

正定矩陣/半正定矩陣矩陣

矩陣分解

這篇筆記：

主要記錄一些主要的結論點，看影片有影象的變換更加直觀；

在點積那部分多插入了幾個圖，整理下邏輯順序

向量是什麼

把向量看成變換的物質載體，是線性代數的基礎

向量有三種理解

物理角度

：向量是空間中有指向的箭頭，定義這個向量，需要它的長度以及它指向的方向兩個方面。在這個角度沒有原點一說，向量是可以移動的，只要長度和指向的方向一樣，就是同一個向量。

計算機角度

：向量是有序的數字列表（lists of numbers）

數學角度

： 抽象的定義：向量可以是任何物件，只要保證向量相加、數字和向量相乘是有意義的即可。

數學角度的具化方面，也就是幾何角度說，

不同於物理角度，幾何中，向量起於原點，這樣也就有了座標系，一個向量也就可以使用計算機有序列表的方式表示；

向量運算

：

向量當中一種特定的運動，即在空間朝著當中某個方向運動一定距離

向量加： 幾何意義就是，先透過向量A移動，然後經過向量B移動，到達的位置

向量數乘： scaling

拉伸，壓縮，翻轉向量的行為，

統稱為scaling

，而這些數值本身，稱之為scalars

矩陣的四個基本子空間

https：//

zhuanlan。zhihu。com/p/44

313005

列空間 行空間 零空間 左零空間

子空間(Subspace)

向量集合V滿足以下三個條件稱為子空間

零向量在V當中

如果 u 和 v都屬於V，那麼 u + v 也屬於V

如果u屬於V， c是一個數字，那麼cu屬於V

線性組合 張成 和基

線性組合的幾何意義

：

線性組合是一個操作，將各個向量scaling之後，相加在一起，就得到了參與操作的向量組的一個Linear Combination。

張成(span)

： 透過對一組向量/向量集合進行線性組合，表示出一個空間，這個過程稱為span

線性相關

在一個線性空間中，如果一組向量

， 從

可以推出

則稱這組向量是線性無關的。

基

對於任意一個向量空間而言，它的基是一個線性無關的向量組，透過線性組合這個向量組，可以span整個向量空間。

矩陣和線性變換

變換

變換可以當成一個函式，本質上是輸入一個向量，經過某個變換之後，得到一個輸出的向量。

整個過程，可以看作是輸入的向量移動到了輸出的向量的位置。

Linear transformations的特點

經過變換之後：

所有的直線還是直線

原點還在原來的位置

等距變化

描述Linear transformation:

矩陣可以描述線性變換，一個矩陣代表了一個線性變換

以矩陣的列作為變換的基向量

對基向量進行線性組合，係數是需要變換的向量

矩陣乘法和複合變化

略

行列式（determinant）

線性變換，有些是將原來的網格拉伸，有些是將原來的網格壓縮，如果要定性的來描述變換，那麼去測量拉伸或者壓縮的程度不失為明智之舉。

行列式定量的描述出，在經過一個線性變換之後，

原來單位向量所圍成面積變化的倍數

只要檢驗某個線性變換的行列式的值是否為0，就可知該線性變換是否把原來的空間

壓縮到更小的維度上

determinant的正負含義——方向

： 變換後向量基的相對順序是否有變化

逆矩陣 行列式和零空間

Ax = v的幾何意義

：

求解的過程，

就是要找到這樣一個向量x，使得向量x在經過A進行線性變換之後，和v向量重合

當行列式不為零的時候，有且僅有一個解。要找到這個解向量，可以像倒帶一樣，對v向量進行A的逆操作。（進行符合變換，是一個Identity矩陣，想當於沒有變換）

Rank

：

秩有列秩和行秩

列秩：列向量中最大線性無關組的數目

點積（dot product）和對偶性

點積的幾何意義：投影

點積的幾何意義（

投影

）：w和v的點積， 將w向量投影到v向量上的長度乘v向量的長度；具有對稱性，將v投影到w上計算也可以

為什麼點積運算可以和投影聯絡起來

點積、多維空間到一維空間的線性對映、投影都是將向量作為輸入，變出輸出一個數字。

點積是列向量的形式，多維到一維的變換矩陣是行向量（一維矩陣）的形式

叉積（Cross products）

https：//

zhuanlan。zhihu。com/p/11

0820516

幾何角度看

方向是：垂直於叉積的兩個向量所組成的平面，長度是：兩個向量組成矩陣的行列式

特徵向量和特徵值

幾何意義

：空間中的向量，經過線性變換後，向量的方向沒有發生變化，只是長度發生了伸縮（有可能是翻轉）

抽象向量空間

從某種意義上說，函式實際上是另一種向量。

函式可進行加和與數乘運算，而因為向量也不過只有相加和數乘兩種運算，所以最初以空間中箭頭為背景來建立的線性代數的合理概念和解決問題的手段，例如：線性變換，列空間、點積、特徵值、特徵向量等，應該能夠直接應用於函式。

函式作為線性變換有一個完全合理的解釋。這個變換接收一個函式，把它變成另一個函式。可以找到一個常見的例子，導數。