數學轉CS，看斯坦福NLP博士、Manning高徒Abigail See怎麼學AI

作者：由機器之心發表于文化時間：2019-03-24

近日，deeplearning。ai 採訪了斯坦福 NLP 博士 Abigail See，她師從 Chris Manning，在 NLP 領域已經取得很多成績，她還是斯坦福經典課程 CS224n 課程的助教。這篇文章介紹了她的日常工作、研究興趣、對 AI 研究人員的建議等。

選自deeplearning.ai，機器之心編譯，參與：路雪、王淑婷。

問：你是如何開始 AI 研究的？

答：我在英國劍橋長大，很小的時候就對數學感興趣。我喜歡做奧數題，本科時在劍橋大學學習純粹數學。雖然數學很有意思，但我想研究一些與現實世界聯絡更強的東西，於是我轉向了計算機科學（CS）。幸運的是，劍橋（有時被稱為「矽沼澤」）也是科技聚集地，如微軟的研究機構分支就在這裡，因此我開始透過實習逐漸轉向 CS。

2015 年我開始在斯坦福大學讀博，專業是 CS，當時我對自己想做什麼並不清楚。但是我很快發現，AI，尤其是深度學習最令我感到振奮。我選擇研究自然語言處理（NLP），因為我對溝通感興趣。溝通是一項關鍵技能，但即使對人類而言這也並不容易。因此使計算機成為好的溝通者是很重要也很有挑戰的一件事。

問：你目前在研究什麼？

答：我目前主要在嘗試使用深度學習開發更好的自然語言生成方法。適用於機器翻譯等任務的神經方法卻無法用於更開放的任務，如講故事和閒聊，我想在這些任務上取得進展。最近，我在研究如何控制聊天機器人，使其成為更好的談話者，讓神經語言模型想得更遠，以及創造更好的方法來生成連貫的故事。

去年，我在研究之外還承擔了一些教學工作。我擔任斯坦福大學 NLP 和深度學習王牌課程 CS224n 的助教，這門課的主講教師是我的導師 Chris Manning。講這門課是一項巨大的挑戰：這個領域發展得很快，因此每一年我們都要大量更新教學大綱和教材，從而跟上當前的最佳實踐。例如，今天我們把 2017 年開發的教學內容更新成了全新的任務和講義，以反映 2019 年的 NLP 和深度學習現狀。所有這些都必須大規模地完成，這不僅關乎 450 名斯坦福學生，還有大量對此感興趣的全球聽眾。

問：可以介紹一下你每天的工作嗎？

答：大部分時候，我會與研究合作者開會，討論想法和結果，規劃下一步要做什麼。比起獨自工作，我更喜歡和別人一起工作。研究是一件充滿挫折和掙扎的事，而合作者會幫助你不斷前進。我還嘗試參加一些研討會和閱讀小組，以確保自己能夠不斷吸收新想法。

如果我在準備 CS224n 的授課，我會用盡可能多的時間去研究內容、準備幻燈片，並練習。上課的時候雖然可以看講義，但它只不過是教學工作的冰山一角。我們有一個 20 人的團隊，一起準備從佈置作業到為講課影片加字幕的所有事情。管理這支團隊是我目前最主要的工作，這就像在轉碟一樣，總有一些事情需要我去注意。

為了放鬆，我每週嘗試做一些不一樣的事情。目前，我參加了一支舞蹈隊，而且我還在學習爵士鋼琴。

問：你使用什麼技術棧？

答：研究數學的時候，我的技術棧是紙和筆。現在，我用：

Atom 來程式設計：我喜歡基於 GUI 的文字編輯器。我可能永遠不會學習 Vim，不學對我也沒什麼影響！除了程式設計，我還在 Atom 裡寫生活日常（如閱讀筆記、待辦事項、論文大綱等）。

Pytorch 做深度學習：和很多 NLP 研究者一樣，兩年前我從 TensorFlow 轉 PyTorch 了，因為 PyTorch 在原型製作和 debug 方面相對好用。但是，我仍然使用 TensorBoard 來做視覺化。

Overleaf 寫 LaTeX 文件：LaTeX 很難，我喜歡用 Overleaf，它會讓事情簡單一些。

BetterTouchTool：我離不開這款 Mac 電腦的快捷鍵神器。

問：進入 AI 領域之前你做的是什麼？它是如何對你現在的工作產生影響的？

答：從純粹數學研究轉到深度學習有點奇怪——前者是如此嚴肅，而後者是如此經驗性的東西。我很喜歡之前的純粹數學訓練，因為它能讓我涉獵方程和證明（即使很難，但我至少不會害怕退縮）。

除了科學，我感興趣的還有藝術、文學、電影，以及它們與更廣闊社會的關係。這些興趣反映在我的研究中，我選擇了更具創造性的 NLP 任務，比如對話語言和講故事。我還關注人工智慧在社會中更廣泛的作用，例如，去年我舉辦了 AI 沙龍，對 AI 進行一系列討論。

問：你如何做到持續學習？如何跟上最新的 AI 研究趨勢？

答：首先，我會提醒自己與他人交談。我覺得在斯坦福 NLP 組工作的最大收穫是身邊有一群很厲害的人。與這些人交談比看大量論文學得更快，也更有教育意義。

其次，我會盡量大膽地去問問題，哪怕是蠢問題。這樣做可以更快地消除障礙，而且我希望這樣能夠建立一個舒適的工作氛圍，讓每個人都能輕鬆地提問。

我發現教學也是一個保持持續學習的好方法。講授 CS224n 課程要求我對各種主題的理解比以往更深。

為了跟上最新的 AI 新聞，我使用推特。我關注了很多 NLP 教授，比如 Kyunghyun Cho、Miles Brundage、Mark Riedl、Emily Bender，還有那些對這個領域提供有趣元評論的人，比如 Sebastian Ruder、Stephen Merity、Zachary Lipton。此外，我還關注那些投身計算機科學教育的人（如 Rachel Thomas、Jeremy Howard、Cynthia Lee）和研究 AI 倫理的人（如 Kate Crawford、Joy Buolamwini、Timnit Gebru）。

問：你最感興趣的 AI 研究是什麼？

答：我最感興趣的是旨在將離散結構引入神經網路（通常有很多連續表徵）的研究。這項研究很重要，它能夠使神經網路進行推理。另一個我感興趣的趨勢是為 NLP 深度學習開發更好的通用預訓練模型（如 ELMo 和 BERT）。我希望這種模型能讓為困難或特殊的 NLP 任務構建系統變得更容易，而不是每次都重新造輪子。

問：你對想進入 AI 領域的人有什麼建議？

答：我的第一個建議是：任何人都可以學習 AI。有些人說，要進入 AI 領域，首先要獲得特定學科的學位、上過特定的大學或者有一定的程式設計經驗。我覺得這種觀點有些狹隘，有很多條通向 AI 的路。例如，我開始讀博士的時候，幾乎不知道如何寫程式碼。AI 是一個快速發展的領域，相關的應用無處不在。來自任意學科、擁有任意背景的人都能夠而且都應該為 AI 做點什麼。我們需要依靠大家的努力才能實現最好的 AI。

我的第二個建議是：學習 AI 不要一刀切。有些人更想學習理論知識，有些人可能更喜歡實踐知識。現在有越來越多的高質量資源供大家學習 AI，而且很多都是免費的。你可以嘗試這些東西，找出適合自己的學習方式。