您當前的位置：首頁 > 舞蹈

學習筆記(I)|泛函分析與最最佳化——線性空間

作者：由沒有妳的極限丶發表于舞蹈時間：2021-02-21

寫在最前面

大家好！

2021年初，我在圖書館發現有一本《泛函分析與最最佳化理論》，該書通俗易懂，對初學者特別友好，因為幾乎不涉及測度與積分，只需要數學分析和線性代數的預備知識。該書是一本從“最最佳化方法“到”最最佳化理論“的過渡教材，但遺憾的是該書已經不再出版發行，因此我想透過學習筆記的形式將該書的主要內容記錄下來。

本系列筆記主要涉及4個框架：

投影定理

、

Hahn-Banach定理

、

對偶性

和

微分

。

本學習筆記主要參考《泛函分析與最最佳化理論》和《Optimization by Vector Space Methods》兩本書，同時也會參考一些其他書目對內容進行一些補充。

筆者之前並沒有系統學過泛函分析課程，因此文章中不免有錯誤之處，歡迎大家批評指正！

首先我們回顧

線性空間（linear space）

的定義。

定義1（線性空間）

：設

是一數域，

是一非空集合，並且在

中定義兩種封閉運算：加法

：

$\forall x,y \in X, x+y\in X$

，和數乘

$“\cdot”$

：

$\forall \lambda \in F,x\in X, \lambda\cdot x = \lambda x \in X$

（通常可省略

$“\cdot”$

）。如果

滿足下面八條運演算法則：

（1）加法交換律：

$\forall x,y\in X$

，有

；

（2）加法結合律：

$\forall x,y,z\in X$

，有

；

（3）零元素：

$\exists \theta \in X$

，使得對

$\forall x\in X$

，有

$x+\theta = x$

，

$\theta$

稱為

的零元素，也簡稱零元；

（4）負元素：

$\forall x \in X, \exists y\in X$

，使得

$x+y=\theta$

，

稱為

的負元素，也簡稱負元，記作

；

（5）標量分配律：

$\forall \lambda,\mu\in F,\ x\in X$

，有

$(\lambda +\mu)x = \lambda x+\mu x$

；

（6）向量分配律：

$\forall \lambda\in F,\ x,y \in X$

，有

$\lambda(x+y) = \lambda x+ \lambda y$

；

（7）標量結合律：

$\forall \lambda,\mu \in F,\ x\in X$

，有

$(\lambda \mu)x = \lambda(\mu x)$

；

（8）

$\exists$

數

$1 \in F$

，對

$\forall x\in X$

，有

$1\cdot x = x$

；

則稱這樣的集合

是數域

上的線性空間，有時也稱為向量空間，其元素稱為向量。

在上述線性空間

中，若數域

為實數域

$\mathbb{R}$

（複數域

$\mathbb{C}$

），則稱

為實（復）線性空間。如無特殊說明，本文提及的線性空間均定義在實數域上。

根據上述八條性質，我們可以證明

命題1

：線性空間

中零元素

$\theta$

，以及

$\forall x\in X$

對應的負元素

是唯一的。

證明

：

設

$\theta_1,\theta_2$

是線性空間

中的零元素，根據性質（1）和（3）有

$\begin{cases} \theta_1+\theta_2=\theta_1 \\ \theta_2+\theta_1=\theta_2 \end{cases} \Rightarrow \theta_1=\theta_2.$

設

$y_1,y_2\in X$

是元素

的負元素，根據性質（2）-（4）有

$y_1 = y_1 +\theta = y_1 + (x+y_2)= (y_1 +x) + y_2= \theta + y_2 = y_2.$

下面我們給出幾個線性空間的例子。

例1：線性代數中，所有

維向量

$x=(\xi_1,\cdots,\xi_n)^\top$

，按其所定義的加法和數量乘法，構成一個線性空間。

例2：所有無窮維向量

$x=(\xi_1,\cdots,\xi_n,\cdots)^\top$

，類似

維向量定義的加法和數乘，規定其零元素為

$\theta = (0,\cdots,0,\cdots)^\top$

，其負元素為

$-x = (-\xi_1,\cdots,-\xi_n,\cdots)^\top$

，構成一個線性空間。特別地，當

$\exists M>0$

使得

$|\xi_i|<M,\ \forall k \in \mathbb{N}^+$

時，則稱向量

是

有界

的，此時所有的有界向量構成一個

有界無窮序列線性空間

。

例3：閉區間

上所有多項式函式

，構成一個線性空間。

例4：所有收斂到

的實數無窮序列構成一個線性空間。

定義2（線性子空間，linear subspace）

：設

是一線性空間，

$\emptyset \ne M \subset X$

。若對

$\forall \alpha,\beta \in \mathbb{R},\ x,y\in M$

，有

$\alpha x +\beta y \in M$

，則稱

是

的一個線性子空間，簡稱子空間。

由於

是

的非空子集，故

中至少包含一個元素。根據定義，取

$\alpha = \beta=0$

易得

$\theta \in M$

，即任何子空間必定包含零元素

$\theta$

。

命題2

：設

是一線性空間，則

$\{\theta\}$

和

都是

的線性子空間。

證明：因為

$\{\theta \}\subset X,\ X \subset X$

且

對加法和數乘運算封閉，根據定義2驗證即可。

定義3（交集）

：集合

與

的交集

$M\cap N := \{x |x\in M,\ x \in N\}$

。

定義4（和集）

：集合

與

的和集

$M+N := \{x+y |x\in M,y \in N\}$

。

定義5（並集）

：集合

與

的並集

$M\cup N := \{x |x\in M\ 或\ x \in N\}$

。

定義6（生成子空間）

：設

是一線性空間，

是

的一個子集，則稱

中的向量線性組合是

的一個子空間，稱為由

生成的子空間（generated subspace by

），記為

$[S]:=\{x\in X|x = \sum_{i=1}^n\alpha_ix_i,x_i\in S,\alpha_i \in \mathbb{R}\}$

。

命題3

：設

和

是線性空間

的子空間，則

$M\cap N$

與

$M+N=[M\cup N]$

都是

的子空間。

證明：

1）顯然有

$\theta \in M\cap N \subset M \cup N$

，故

$M\cap N$

與

$M\cup N$

都是非空子集。

對

$\forall \alpha,\beta \in \mathbb{R}$

，

$x,y \in M \cap N \Rightarrow x,y\in M \stackrel{子空間M}\Longrightarrow \alpha x+\beta y \in M$

同理有

$\alpha x +\beta y \in N$

，故

$\alpha x + \beta y \in M\cap N$

，即

$M\cap N$

是一線性子空間。

$\begin{cases} \forall z_i \in M+N \Rightarrow \exists (x_i,y_i) \in M\times N, \text{s.t. } z_i =x_i+y_i \\ 子空間M \Rightarrow \alpha x_1+\beta x_2 \in M \\ 子空間N \Rightarrow \alpha y_1 + \beta y_2 \in N \\ \end{cases} \Longrightarrow \alpha z_1 +\beta z_2 \in M+N$

故

是一線性子空間。

2）

$M+N=[M\cup N]$

：

一方面，對任意

$z \in M+N$

，存在

$x\in M, y\in N$

使得

，根據生成子空間以及並集的定義知，

$z \in [M\cup N]$

，故

$M+N \subset [M\cup N]$

。

另一方面，對任意

$z \in [M\cup N]$

，根據生成子空間的定義知：存在

$\{\alpha_i\}_{i=1}^n\subset \mathbb{R}$

以及

$x_i \in M\cup N$

使得

$z = \sum_{i=1}^n \alpha_i x_i$

。注意到

和

是一線性子空間，有

$\sum_{k\in \{i|x_i\in M-N\}}\alpha_k x_k \in M, \sum_{k\in\{i|x_i\in N\}}\alpha_k x_k \in N,$

，因此

$z \in M + N$

，即

$[M\cup N] \subset M+N$

。

證畢。

例5：所有收斂的無窮序列構成有界無窮序列線性空間中的一個子空間。

例6：所有在

上次數不超過

的多項式，構成連續函式線性空間的一個子空間。

例7：設

$M=\{x|Ax=\theta\}$

，其中

是一個

$m\times n$

的矩陣，則

是

維向量空間的一個子空間。

定義7（線性流形/仿射空間，linear manifold/affine space）

：設

是一個線性空間，

是

的一個子空間，

在

中作某個平移（不妨記為

$\ x_0\in X$

）後所構成的向量集合

$V := x_0 +M = \{x_0+m|m\in M\}$

，稱為

中的一個線性流形/仿射空間。

例8：非齊次線性方程組

的解空間

$V=\{x|Ax=b\}$

構成一個線性流形。

記

$M = \{x|Ax=\theta\}$

是齊次線性方程組

$Ax=\theta$

的解空間，記

是非齊次線性方程組的一個特解，即

。根據線性方程組理論，

的所有解可表示為通解與特解的疊加，即

$V=\{x+x_0|x\in M\} = x_0 +M$

，是一個線性流形。

定義8（生成線性流形）

：給定線性空間

中的一個非空子集

，包含

的最小線性流形，稱為由

生成的線性流形（generated linear manifold by

），即

$v(S) = \bigcap_iV_i$

，其中

是包含

的線性流形。

凡是線性子空間都過原點，而線性流形不一定經過原點。進一步推廣線性子空間和線性流形的概念，我們可以定義

凸集（convex set）

和

錐（cone）

。

定義9（凸集）

：設

是一線性空間，子集

$K\subset X$

。若對

$\forall x_1,x_2\in K, \alpha \in [0,1]$

，有

$\alpha x_1 +(1-\alpha)x_2 \in K$

，則稱

為

中的一個凸集。

圖片來自《Optimization by Vector Space Methods》Figure 2。3

例8：空集

$\emptyset$

，單點集，線性空間

都是凸集。

例9：集合

$S = \{x|Ax=b,x\ge 0\}$

是凸集。

命題4

：設

與

是線性空間

的兩個凸集，則

（1）

$\alpha K = \{x \in X|x = \alpha k,\forall k\in K\}$

；

（2）

；

都是凸集。

定義10（凸包，convex hull）

：設

是一線性空間，

$S\subset X$

，則包含

的最小凸集稱為

的凸包，記作

。

圖片來自《Optimization by Vector Space Methods》Figure 2。4

定義11（錐）

：設

是一線性空間，

$C\subset X$

。若對

$\forall x \in C$

及標量

$\alpha \ge 0$

，有

$\alpha x \in C$

，則稱

為

中的一個錐。

圖片來自《Optimization by Vector Space Methods》Figure 2。5

根據錐的定義，取

$\alpha =0$

，有

$\theta \in C$

，

$\theta$

稱為錐

的頂點。而以

為頂點的錐，規定為以原點為頂點的錐

的一個平移，即

。特別地，當一個集合既是錐又是凸集時，則稱該集合為

凸錐（convex cone)

，如Figure 2。5中（b）圖所示。

本節內容主要是回顧線性代數中的基本內容，並給出線性流形、凸集以及錐的相關定義。本節主要討論線性空間的代數性質。在下一節，我們將介紹

賦範線性空間（normed linear space）

，並討論開集、閉集、收斂性等拓撲性質。

標簽：線性空間定義流形設是

上一篇:【微語傳記4.1】全球克里奧爾語混合語盤點（上）：概論、基於英語的混合語

下一篇：中東戰場那些“土武器”背後的智慧

猜你喜歡