形象理解外罰函式法+內罰函式法

Disclaimer：這是把筆記直接貼上過來了（字醜勿噴），只從圖形層面去直觀展示內外罰函式的原理，不含嚴格的定義和推導，因此十分不嚴謹。

外罰函式

外罰函式法的主要缺點：（1）近似的最優解往往不是可行解，從上面的例子很容易看出，最優解如果在邊界上，那麼近似的最優解是從可行域外部逼近的，這在一些實際應用場合是不能接受的（函式邊界外面沒有定義）。（2）懲罰力度往往需要趨於無窮才能讓近似的最優解逼近真正的最優解，但隨著的增大，海森陣容易趨於病態，尤其在用數值迭代的過程中造成不穩定的現象（所謂的梯度懸崖），甚至是無法求解。

2. 內罰函式

內罰函式的優點：每個近似最優解都是可行解（因為迭代點始終處於可行域內部）

缺點：（1）僅適用於不等式約束；（2）尋找初始可行點可能不容易；（3）障礙因子r不斷減小也會導致海森陣趨於病態（梯度懸崖），在數值求解過程中造成很大麻煩。

例題