關於人工智慧的一些胡思亂想
引言
寫這篇文章的主要目的是為了表達筆者在人工智慧實踐中（主要是NLP領域）的一些奇奇怪怪的想法，不感興趣的童鞋請自行繞道，感興趣的童鞋看完後歡迎在評論區發表想法，一起探討！！！限於本人才疏學淺，文中表述也會存在不合適的地方，盡請指正！！！
計算機“理解”語言與人之間的差異
什麼是語言，我們暫且簡單地將其理解為人類交流認知的一種方式，英語是語言，中文是語言等等。那如何讓計算機嘗試去“理解”這些語言呢？首先要做的一件事就是將語言的
基本元素向量化
：從離散編碼One-hot、Co-occurrence Matrix到稠密編碼Word2Vec、Bert等，都是嘗試將語言的基本元素向量化以讓計算機可以理解。這裡的基本元素可以是一個單詞如長江，或一個片語如武漢長江大橋，或一個特定實體如李白等。
基本元素向量化有很多優點，如可以透過計算兩個向量的相似度來衡量兩個基本元素的相似程度、將一個句子對應Word Embedding Matrix透過RNN可以得到該句子的Sentence vector，然後再進行下游任務等。
然而，基本元素向量化真的可以模擬人“理解”語言嗎？兩者之間有沒有差異呢？筆者以直白也腦洞的方式嘗試解釋想表達的差異！
1。 嵌入維度到底是什麼呢？
說起Word Embedding，必然繞不過嵌入維度。筆者對Word Embedding的理解是尋找一個
維空間，每一維度都是有益於“理解”語言的基礎特徵，而Word Embedding之後每個基本元素向量化之後的值表示該基本元素在該基礎特徵上的數值。
2。 N這個數值有沒有物理意義？
前面說到每一維度都是有益於“理解”語言的基礎特徵，那基礎特徵有沒有物理意義呢？
2。1 假設有物理意義
假設中文語言的基礎特徵（基礎特徵間需正交）是中文語言裡的“顏色”、“體積”、“是否是水果”等等，那麼問題來了，對於“蘋果”這種具體的基礎元素，Word Embedding之後其向量可以是一個稠密的實數向量，但對於“顏色”、“體積”這種概念性的基礎元素或者稱之為基礎特徵的基礎元素，其向量應該是一個One-hot向量，而其嵌入向量是One-hot向量嗎？
2。2 假設沒有物理意義
假設基礎特徵沒有物理意義，那為什麼常見的開源資料顯示Word Embedding的嵌入維度為10和300（極端舉例）會產生巨大差異？難道僅僅是因為10和300帶來的數學意義即模型引數量不同導致的嗎？
3。 人是如何理解語言的？
第一個例子：
老師跟我說：蘋果。我：蘋果是一種水果、綠色或紅色或黃色的、很好吃。。。
老師跟我說：李白。我：“仰天大笑出門去，我輩豈是蓬蒿人”、腦海中浮現出一幅李白虛幻的畫面。。。
第二個例子：
一歲時：老師跟我說“長江”。我：？？？ 路人甲：？？？
小學時：老師跟我說“長江”。我：長江是一條河。 路人甲： 長江是一條長河。
中學時：老師跟我說“長江”。我：長江、黃河是中國的母親河！ 路人甲：長江，世界第3長河！
3。1 人理解語言需要基礎特徵嗎？
需要好像也不需要！！！
需要。當提到蘋果，我們首先想到其對應的“是一種水果”、“黃色/綠色/紅色”、“很好吃”這些基礎特徵，而且這些基礎特徵也適用於其它一些基本元素，如牛肉，“不是一種水果”、“紫色”、“很好吃”。
不需要。當提到李白，一般人都不會將其分解為這些基礎特徵，相反大多數人腦海中會浮現出李白飄逸浪漫的畫面、會想到“仰天大笑出門去，我輩豈是蓬蒿人”、會想到“十步殺一人，千里不留行”等。
3。2 人理解語言的多樣性（差異性）
人理解語言具有非常大的多樣性（差異性）。
同一個人，不同時期；同一時期，不同的人；不同時期，不同的人等對於同一語言基本元素（例中長江）的理解可能會存在巨大差異，而
現有的任意詞嵌入模型無法體現這種差異，即詞嵌入這種正規化無法體現人理解語言的差異性！
AI生成
說完了基礎的Word Embedding，再來談談更加複雜的NLU和NLG，NLU是NLG的基礎，兩者密不可分。接下來，我們直入主題：AI生成！
1。 背景
筆者爬取了唐宋時期的一些五言絕句、五言律詩、七言絕句和七言律詩，並以Transformer為backbone實現了一個AI生成模型，然後分別為五言絕句、五言律詩、七言絕句和七言律詩訓練一個生成模型。之所以分開訓練的原因是考慮到
人學習寫詩時一般也是按類別學習
，例如以桃花為題寫一首五言律詩，首先考慮詩的體裁是五言律詩，然後再以桃花為主題開始寫詩。模型的輸入是詩的標題，輸出對應的詩句。
2。 為了方便後續討論，人為地定義一些評價指標
記憶性
：當生成模型的輸入是語料庫中title-content對的某一title時，生成模型
需要將
對應的content作為輸出。
類比性
：當生成模型“認為”其輸入與語料庫中title-content對的某一title具有非常相似的語義時，生成模型
可以將
對應的content作為輸出。
生成性
：當生成模型的輸入不滿足上述兩種情況時，生成模型自由輸出符合格式的古詩。
3。 從結果看AI生成
3。1 記憶性
從實驗結果來看，訓練過程中由於訓練集Loss和驗證集Loss均不為0，因此AI生成模型沒有100%的記憶能力，但在經過一段時間的訓練之後AI生成模型具有了
一定的記憶性
（Loss變得很小）。如下圖所示，五言絕句、五言律詩、七言絕句、七言律詩AI生成模型均具有了一定的記憶性。更通俗地說，如果生成模型見過這個title-content對，那麼當title作為生成模型的輸入時，其很可能輸出“正確”的content。
{
“輸入”
：
“送友人”
，
“輸出”
：
“青山橫北郭，白水繞東城。此地一為別，孤蓬萬里徵。浮雲遊子意，落日故人情。揮手自茲去，蕭蕭班馬鳴。”
}
{
“輸入”
：
“折楊柳”
，
“輸出”
：
“垂楊拂綠水，搖豔東風年。花明玉關雪，葉暖金窗煙。美人結長想，對此心悽然。攀條折春色，遠寄龍庭前。”
}
五言律詩生成結果
{
“輸入”
：
“靜夜思”
，
“輸出”
：
“床前明月光，疑是地上霜。舉頭望明月，低頭思故鄉。”
}
{
“輸入”
：
“獨坐敬亭山”
，
“輸出”
：
“眾鳥高飛盡，孤雲獨去閒。相看兩不厭，只有敬亭山。”
}
五言絕句生成結果
{
“輸入”
：
“望廬山瀑布”
，
“輸出”
：
“日照香爐生紫煙，遙看瀑布掛前川。飛流直下三千尺，疑是銀河落九天。”
}
{
“輸入”
：
“黃鶴樓送孟浩然之廣陵”
，
“輸出”
：
“故人西辭黃鶴樓，煙花三月下揚州。孤帆遠影碧空盡，唯見長江天際流。”
}
七言絕句生成結果
{
“輸入”
：
“登高”
，
“輸出”
：
“風急天高猿嘯哀，渚清沙白鳥飛回。無邊落木蕭蕭下，不盡長江滾滾來。萬里悲秋常作客，百年多病獨登臺。艱難苦恨繁霜鬢，潦倒新停濁酒杯。”
}
{
“輸入”
：
“七言律詩&曲江對酒”
，
“輸出”
：
“苑外江頭坐不歸，水精春殿轉霏微。桃花細逐楊花落，黃鳥時兼白鳥飛。縱飲久判人共棄，懶朝真與世相違。吏情更覺滄洲遠，老大悲傷未拂衣。”
}
七言律詩生成結果
3。2 類比性
從實驗結果來看，當把“靜夜思”、“月夜思”、“月夜思家”作為生成模型的輸入時，模型均能輸出“靜夜思”對應的原文，即在經過一段時間的訓練之後AI生成模型也具有了
一定的類比性
。
【注意】
這與搜尋並不相同，搜尋中會對query和庫中其它key進行相似性計算，然後輸出與其相似性最高的key對應的value，而AI生成模型的Encoder模組對query會進行上下文語義編碼得到context vector，然後Decoder模組會根據這個context vector進行
自迴歸式
的文字生成。因為“靜夜思”、“月夜思”、“月夜思家”三個輸入經過Encoder編碼後其對應的context vector
很相似
，因此會輸出相同的結果。換句話說，
類比性透過AI生成模型的Encoder模組得以體現！
限於篇幅，只呈現五言絕句生成結果
3。3 生成性
實驗中，當AI生成模型的輸入是“送友人別”時，生成古詩中“斗酒渭城邊，壚頭醉不眠。”來自語料庫中五言律詩——送別；“黃金新月清，雲傍我有金。惜別遊萬里，落萬里流流。揮手別回首，新坐應相思。”由AI自動生成，每一句在語料庫中沒有相同的匹配！當AI生成模型的輸入是“別友人”時，全詩均由AI自動生成，每一句在語料庫中沒有相同的匹配！
全詩均由AI自動生成這種情況很好理解，可以簡單地認為“送友人”和“別友人”經過AI生成模型的Encoder模組後得到的context vector沒有那麼相似；那一部分來自語料庫、一部分自動生成這種情況怎麼理解呢？
要理解後一種情況，讀者需要理解Transformer架構中Decoder的兩部分Attention機制：Self-Attention和Encoder-Decoder-Attention。白話理解的話就是，“送友人”和“送友人別”經過AI生成模型的Encoder模組後得到的context vector存在一定的相似性，相似部分對應來自語料庫的部分；不相似部分對應自動生成的部分（筆者才疏學淺，只能這樣表達。不過讀者要是掌握了Transformer，大概也能理解我想表達的意思吧）。
透過實驗結果，我們也能觀察到：AI
好像
在根據“送友人”這首詩的
感覺
生成“送友人別”和“別友人”這兩首詩。為什麼說好像，因為我也不知道怎麼解釋，強行解釋的話就是AI在“模仿”正確答案！
最後，我們來看看AI自動生成的這幾個詩句！畢竟，這才是這個AI生成模型可以被稱為“AI”生成模型的原因，姑且讓我這麼稱呼它。
黃金新月清，雲傍我有金。惜別遊萬里，落萬里流流。揮手別回首，新坐應相思
水生春天地，白帝新安無。今若此意意，孤城宿蓬萬。弄遊子意高，落日故人看。揮手一點去，相逢逢逢逢
雖然不那麼押韻，但
黃金新月清、惜別遊萬里、揮手別回首、水生春天地、落日故人看
這幾句還是有令人感到驚喜，畢竟這幾句還算是有點意境，而且模型生成的整首詩也與主題“送別”是相關的！
限於篇幅，只呈現五言律詩生成結果
看到這，我們是否可以問出這樣的疑惑：AI生成模型到底在學習什麼？AI生成模型算是人工智慧嗎？我們接著往下看！！！
AI生成模型真的智慧嗎？
1。 什麼是智慧
什麼是智慧，正如“一千個人心中有一千個哈姆雷特”一樣，不存在一個統一的定義。為了方便討論，我們暫且從兩個角度看待智慧：
正規化學習能力
和
圖靈測試
！
2 正規化學習能力
AI的學習正規化是什麼樣的呢？
給定
與
，正向構建神經網路模型（
），然後在凸最佳化的背景下使用Gradient Descent演算法更新
，以期望神經網路模型輸出的
與
之間的差異足夠小；如何衡量這個差異，即有了各式各樣的Loss Function！
即（按照筆者的理解），
，
，
，Loss Function， Gradient Descent就是深度學習的正規化（我也不知道這樣的表述準不準確，歡迎指正）。
目前來看，現有的AI是AIer根據自己的經驗或工程實踐構建一個模型，然後選擇一個合適的Loss Function，然後模型才可以在凸最佳化的背景下基於GD更新
以期望模型學到了一些關於
和
之間的關係！
可以看到，最重要的兩步：
構建模型+衡量學習的好不好都是人工設定的
！因此，
人工智慧，人工在前，智慧在後
！所以一旦有一天，整個深度學習的數學理論發生了大的變化，那整個學習正規化必然會隨之改變！但是，
變的是正規化，不變的是正規化背後人的思維
（尋找
和
之間的關係）！站在這個角度，即只把AI當做在一個正規化下尋找答案的工具，AI做的確實還不錯，比如之前風靡全球的AlphaGo，可以將其稱為人工智慧，或者，換個說法，
一種人工設計的演算法
，可能更為貼切！
看到這，讀者心中關於AI生成章節中AI生成模型到底在學習什麼的疑惑，應該有了答案！
AI生成模型在人工設計的正規化下（模型結構+Loss Function+GD+各種技巧），在學習title與content的關係！
3。 圖靈測試
圖靈測試（Turing Test）是計算機科學家阿蘭圖靈於1950年提出的思想實驗，
目的在於測試機器能否表現出與人等價或無法區分的智慧
。如果多輪測試之後，測試者不能區分被測試者與機器之間的區別，則機器透過圖靈測試。測試結果並不取決於機器給出正確答案的能力，而是機器表現出與人等價或無法被區分的能力，即
機器要偽裝自己是人
！
從圖靈測試的角度看，智慧並不取決於給出正確答案的能力，而是機器表現出與人等價或無法被區分的能力，現有的AI不具備這種智慧能力。
4。 一點題外話
研究資料表明，AI系統對抗噪聲的能力嚴重不足，即在原始樣本新增一些人眼無法察覺的擾動（這樣的擾動不會影響人類的識別），但會使AI系統做出錯誤的判斷，如下圖所示，而真正的人工智慧應該能處理這種噪聲擾動。
人工智慧的未來
《人工智慧的未來》一書中提到：智慧可以超越自然的侷限，並依據自身的意識改變世界，人類智慧可以幫助我們克服生物遺傳的侷限，並在這一程序中改變自我。唯有人類能夠做到這一點！人類的第一個發明是口語，它使我們能夠用不同的話語去表達想法。隨後發明的書面語言，使我們能夠用不同形式來表達我們的想法。書面語庫極大地擴充套件了我們無外力援助的大腦的能力，使我們能夠維持並擴充我們的認知基礎，這是一種遞迴結構化的思想。現在有一項涉及成千上萬個科學家和工程師的宏偉工程正在進行中，他們正致力於理解智慧程式的最好範例——
人類大腦
。這項工程的目的是精確理解人類大腦的工作機制，然後透過這些已知的方法來更好地瞭解我們自身，並在必要時修復大腦。
筆者也贊同這本書裡的觀點，人工智慧的未來是人類大腦！什麼時候科學家可以精確理解人類大腦的工作機制，那個時候，真正的人工智慧可能就會出現了吧！正如科幻電影《人工智慧》一般！
David is 11 years old。
He weighs 60 pounds。
。。。
His love is real。
But he is not。
以上就是筆者關於人工智慧的一些胡思亂想的全部內容了，歡迎交流！！！
下一篇：初二的英語要怎樣學好？
