一入侯門“深”似海，深度學習深幾許（下）

什麼是深度學習？

再後來，機器學習的專家們發現，可以讓神經網路自己學習如何抓取資料的特徵，這種學習的方式，效果更佳。於是興起了特徵表示學習（feature representation learning）的風潮。這種學習方式，對資料的擬合也更加的靈活好用。於是，人們終於從自尋“特徵”的苦逼生活中解脫出來。

但這種解脫也付出了代價，那就是機器自己學習出來的特徵，它們存在於機器空間，完全超越了人類理解的範疇，對人而言，這就是一個黑盒世界。為了讓神經網路的學習效能，表現得更好一些，人們只能依據經驗，不斷地嘗試性地進行大量重複的網路引數調整，同樣是“苦不堪言”。於是，“人工智慧”領域就有這樣的調侃：“有多少人工，就有多少智慧”。

因此，你可以看到，在這個世界上，存在著一個“麻煩守恆定律”：麻煩不會減少，只會轉移。

再後來，網路進一步加深，出現了多層次的“表示學習”，它把學習的效能提升到另一個高度。這種學習的層次多了，其實也就是套路“深了”。於是，人們就給它取了個特別的名稱——Deep Learning（深度學習）。

深度學習的學習物件同樣是資料。與傳統機器學習所不同的是，它需要大量的資料，也就是“大資料（Big Data）”。

有一個觀點，在工業界一度很流行，那就是在大資料條件下，簡單的學習模型會比複雜模型更加有效。而簡單的模型，最後會趨向於無模型，也就是無理論。例如，早在2008年，美國 《連線》（Wired）雜誌主編克里斯﹒安德森（Chris Anderson）就曾發出“理論的終結（The End of Theory）”的驚人斷言：“海量資料已經讓科學方法成為過去時（The Data Deluge Makes the Scientific Method Obsolete）”。

但地平線機器人創始人（前百度深度學習研究院副院長）餘凱先生認為，深度學習的驚人進展，是時候促使我們要重新思考這個觀點了。也就是說，他認為“大資料+複雜模型”或許能更好地提升學習系統的效能。

“戀愛”中的深度學習

法國科技哲學家伯納德﹒斯蒂格勒（Bernard Stiegler）認為，人們以自己的技術和各種物化的工具，作為自己“額外”的器官，不斷的成就自己。按照這個觀點，其實，在很多場景下，計算機都是人類思維的一種物化形式。換句話說，計算機的思維（比如說各種電子演算法），都能找到人類生活實踐的影子。

比如說，現在火熱的深度學習，與人們的戀愛過程也有相通之處。在知乎上，就有人（jacky yang）以戀愛為例來說明深度學習的思想，倒也非常傳神。我們知道，男女戀愛大致可分為三個階段：

第一階段初戀期，相當於深度學習的輸入層。妹子吸引你，肯定是有很多因素，比如說臉蛋、身高、身材、性格、學歷等等，這些都是輸入層的引數。對不同喜好的人，他們對輸出結果的期望是不同的，自然他們對這些引數設定的權重也是不一樣的。比如，有些人是奔著結婚去的，那麼他們對妹子的性格可能給予更高的權重。否則，臉蛋的權重可能會更高。

圖3 戀愛中的深度學習

第二階段熱戀期，對應於深度學習的隱藏層。在這個期間，戀愛雙方都要經歷各種歷練和磨合。清朝湖南湘潭人張燦寫了一首七絕：

書畫琴棋詩酒花，當年件件不離他。

而今七事都更變，柴米油鹽醬醋茶。

這首詩說的就是，在過日子的洗禮中，各種生活瑣事的變遷。戀愛是過日子的一部分，其實也是如此，也需要雙方不斷磨合。這種磨合中的權重取捨平衡，就相等於深度學習中隱藏層的引數調整，它們需要不斷地訓練和修正！戀愛雙方相處，磨合是非常重要的。要怎麼磨合呢？光說“520（我愛你）”，是廉價的。這就給我們程式猿（媛）提個醒，愛她（他），就要多陪陪她（他）。陪陪她（他），就增加了引數調整的機會。引數調整得好，輸出的結果才能是你想要的。

第三階段穩定期，自然相當於深度學習的輸出層。輸出結果是否合適，是否達到預期，高度取決於“隱藏層”的引數 “磨合”得怎麼樣。

小結

在本小節，我們回顧了“機器學習”的核心要素，那就是透過對資料運用，依據統計或推理的方法，讓計算機系統的效能得到提升。而深度學習，則是把由人工選取物件特徵，變更為透過神經網路自己選取特徵，為了提升學習的效能，神經網路的表示學習的層次較多（較深）。

以上僅僅給出機器學習和深度學習的概念性描述，在下一個小結中，我們將給出機器學習的形式化表示，傳統機器學習和深度學習的不同之處在哪裡，以及到底什麼是神經網路等。

本文節選自埃文科技高階技術顧問，張玉宏博士所作《一入侯門“深”似海，深度學習深幾許（深度學習入門系列之一）》一文。

作者簡介：

張玉宏博士，2012年畢業於電子科技大學現執教於河南工業大學。中國計算機協會CCF會員ACM/IEEE會員，埃文科技高階技術顧問。主要研究方向為高效能計算、生物資訊學主編有暢銷書《品味大資料》。