2017年的10大AI頂會，風起雲湧的故事 | 機器之心年度盤點

作者：由機器之心發表于收藏時間：2018-01-02

機器之心原創

作者：蔣思源、路雪

在過去的一年中，從 AAAI 到 NIPS 很多學術頂會都在關注人工智慧和機器學習，而它們的參會情況與論文提交情況很大程度上都體現了這個領域的活躍程度。在本文中，機器之心概覽了 2017 年人工智慧頂會的參會情況、論文提交與接受情況、華人力量和獲獎論文情況，我們希望讀者能從這些觀察中獲得一些今年的趨勢與研究主題。

文字主要分為兩部分，第一部分是 2017 年頂會的概覽，包括今年該領域 10 個頂會的論文提交與接受情況和它們的華人力量。第二部分重點關注這些頂會的獲獎論文情況，我們將這些獲獎論文主要分為計算機視覺、自然語言處理、學習過程和資料問題等 6 大主題，並從這些主題簡要概述對應研究論文的觀點與發現。

頂會論文概覽

頂會論文的提交與接收

AAAI、CVPR、IJCAI、ICCV、NIPS 今年的投稿數量均超過 2000，接收的論文數量均超過 600。ICLR 2017 是舉辦以來的第五屆，去年的論文錄用率接近 30%，今年達到了 40%。KDD 論文錄用率 18。9%，是上圖十項會議中論文錄用率最低的會議。（數量統計誤差 ±5）

下面我們簡要介紹這些會議及其今年接收論文的情況。

1。綜合性會議

ICML 是計算機科學領域的頂會之一。據統計，ICML 2017 共評審了 1676 篇論文，接收了 434 篇，錄取率為 25。89%。

本屆 NIPS 共收到 3240 篇論文投稿，創歷年新高，其中 678 篇被選為大會論文，錄用率為 20。9%。40 篇為 oral 論文，112 篇為 spotlight 論文。

AAAI 是人工智慧領域一年一度的頂級盛會，圍繞人工智慧的研究與發展，吸引了全球的人工智慧精英。AAAI 2017 收到的投遞論文有 2571 篇，其中 639 篇論文被大會接收，錄用率不足 25%。

IJCAI（人工智慧國際聯合大會）是人工智慧領域的頂級綜合會議，被中國計算機學會推薦國際學術會議列表認定為 A 類會議。今年 IJCAI 共收到 2540 篇論文投稿，最終錄用 660 篇，錄用率 26%。

2。計算機視覺領域會議

根據谷歌釋出的 2017 版學術指標，在計算機視覺與模式識別領域，CVPR 是影響力最大的論文釋出平臺。CVPR 全稱為「IEEE Conference on Computer Vision and Pattern Recognition」（計算機視覺與模式識別會議），是近年來計算機視覺領域全球最影響力、內容最全面的頂級學術會議。今年的 CVPR 共收到有效提交論文 2680 篇，其中 2620 篇論文經過完整評議，最終總計 783 篇被正式錄取（佔總提交數的 29%）。被接收的論文中，71 篇將進行長口頭演講，144 篇進行短亮點演講。

國際計算機視覺大會（ICCV）全稱是 IEEE International Conference on Computer Vision，由 IEEE 主辦，與計算機視覺模式識別會議（CVPR）和歐洲計算機視覺會議（ECCV）並稱計算機視覺方向的三大頂級會議。據統計，本屆 ICCV 共收到 2143 篇論文投稿，其中 621 篇被選為大會論文，錄用比例 29%。其中有 45 篇口頭報告（Oral）和 56 篇亮點報告（Spotlight）。大會公開的資訊顯示，本屆共有 3107 名參會者。

3。自然語言處理領域會議

國際計算語言學協會（ACL，The Association for Computational Linguistics），是世界上影響力最大、最具活力的國際學術組織之一。今年 ACL 收到論文 1419 篇，接收 344 篇，錄用率 24%。

EMNLP 是自然語言處理領域的頂級會議。今年 EMNLP 共收到 1466 篇論文，錄用 323 篇論文，包括 216 篇長論文和 107 篇短論文，錄用率 22%。

4。深度學習領域會議

ICLR 是深度學習領域的盛會，每年舉辦一次。2013 年，深度學習巨頭 Yoshua Bengio、Yann LeCun 主持舉辦了第一屆 ICLR 大會。經過幾年的發展，在深度學習火熱的今天，ICLR 已經成為人工智慧領域不可錯過的盛會之一。ICLR 會議涉及的相關主題有：

無監督、半監督、監督式表徵學習

進行規劃的表徵學習，強化學習

度量學習和核學習

稀疏編碼和維度擴充套件

層級模型

表徵學習的最佳化

學習輸出或狀態的表徵

實現問題、並行、軟體平臺、硬體

在視覺、音訊、語音、自然語言處理、機器人、神經科學或任何其它領域的應用

ICLR 2017 收到了 507 篇論文，其中 196 篇論文被大會接收，錄用率 38。7%。今年的論文評審結果也已出爐，提交論文的數量為 491 篇，而被接受的情況為：15 篇 oral（3%），183 篇 poster（37。3%），錄用率為 40%。

5。資料探勘領域會議

KDD 是國際資料探勘領域的頂級會議。據統計，KDD 2017 共收到 1144 篇論文投遞，收錄 216 篇，錄用率 18。9%。

頂會中的華人力量

在計算機視覺領域的頂會中，到處都能見到華人的身影，很多參會的學者都會驚喜地發現 CVPR 接收論文名單有非常多的華人署名。而 ICCV 2017 同樣將最佳論文和最佳學生論文都授予了何凱明等人。如下是計算機視覺獲獎論文的華人作者情況（不完全統計）：

CVPR 2017 最佳論文《Densely Connected Convolutional Networks》的兩位共同一作 Gao Huang（黃高）、Zhuang Liu（劉壯）均為華人。黃高是清華大學博士、康奈爾大學博士後；劉壯也來自清華大學。另一篇最佳論文《Learning from Simulated and Unsupervised Images through Adversarial Training》的作者之一 Wenda Wang 畢業於卡內基梅隆大學，現任蘋果公司機器學習工程師。

ICCV 2017 Facebook AI 研究員何愷明獲得最佳論文獎，同時是最佳學生論文的作者之一。最佳學生論文《Focal Loss for Dense Object Detection》的一作林宗毅（Tsung-Yi Lin）畢業於國立臺灣大學，後在康奈爾大學完成博士學位。此外，賈揚清領銜的 Caffe 團隊獲得 Everingham 團隊獎。

在自然語言處理領域中，最大的亮點可能是 ACL 2017 有 5 篇國內論文入選傑出論文，分別來自北京大學、復旦大學、清華大學和中科院自動化所。以下是詳細情況（不完全統計）：

ACL 2017 最佳演示論文《Hafez： an interactive poetry generation system》共同一作 Xing Shi（史興）本科畢業於清華大學，現於南加州大學讀博。以下五篇 ACL 2017 傑出論文皆來自國內：

Adversarial Multi-Criteria Learning for Chinese Word Segmentation。作者：陳新馳、施展、邱錫鵬、黃萱菁（復旦大學）

Visualizing and Understanding Neural Machine Translation。作者：丁延卓、劉洋、欒煥博、孫茂松（清華大學）

Abstractive Document Summarization with a Graph-Based Attentional Neural Model。作者： Jiwei Tan、萬小軍（北京大學）

Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme。作者：鄭孫聰、Feng Wang、Hongyun Bao（中科院自動化研究所）

A Two-stage Parsing Method for Text-level Discourse Analysis。論文作者：王義中、李素建、Houfeng Wang（北京大學）

EMNLP 2017 最佳長論文《Men Also Like Shopping： Reducing Gender Bias Amplification using Corpus-level Constraints》作者 Jieyu Zhao、Tianlu Wang、Mark Yatskar、Vicente Ordonez 和 Kai-Wei Chang，其中來自弗吉尼亞大學的趙潔玉、王天露、張凱崴均為華人。一作趙潔玉 UCLA 二年級在讀博士生，師從 Kai-Wei Chang（張凱崴）教授。主要研究領域為自然語言處理與機器學習。此前，在北京航空航天大學獲得計算機本科及碩士學位，並在弗吉尼亞大學完成博士一年級的學習，現就讀於 UCLA 計算機專業。

在綜合性頂會和深度學習頂會中，也常有華人的論文獲獎。其中值得注意的是 ICLR 2017 關於重新思考泛化的最佳論文，該論文非常有影響力，且一作也是華人。

IJCAI 2017 最佳學生論文獎《Tag Disentangled Generative Adversarial Networks for Object Image Re-rendering》是優必選悉尼 AI 研究院創作的論文，一作王超嶽，悉尼科技大學 FEIT 三年級博士生，優必選悉尼 AI 研究院訪問學生，導師陶大程教授。陶大程是優必選 AI 首席科學家，他領導的優必選悉尼 AI 研究院有 13 篇論文被接收，除這篇外，論文《General Heterogeneous Transfer Distance Metric Learning via Knowledge Fragments Transfer》進入最佳傑出論文獎前三名。

ICML 2017 最佳論文《Understanding Black-box Predictions via Influence Functions》作者之一 Percy Liang 是著名華人學者、斯坦福大學副教授。

ICLR 2017 一共有 3 篇最佳論文，其中論文《Understanding deep learning requires rethinking generalization》的一作是畢業於浙江大學、現於 MIT 讀博的 Chiyuan Zhang。論文《Making Neural Programming Architectures Generalize via Recursion》的作者 Dawn Song（宋曉東）本科畢業於清華大學，現任職於加州大學伯克利分校。

獲獎論文分析

我們統計了 2017 年人工智慧頂會的獲獎論文數，並在簡要地篩選後，統計了這些獲獎論文的關注領域與關鍵詞等比較有意思的資訊。如下展示了大會獲獎論文的分佈情況，2017 年獲獎論文不精確統計大約有 56 篇，其中包括了經典論文獎或其它年份發表的論文。

AAAI 2017 的獎項除了一篇最佳論文與一篇最佳學生論文外，還有另外 10 大獎項，包括經典論文獎、應用開發獎等 7 大獲獎論文。但我們只會分析兩篇最佳論文的主題與關鍵詞。今年 AAAI 其它獲獎論文的主題很有意思，例如經典論文主要開創了粒子濾波的應用，它為機器人定位提供了有效和可擴充套件的方法，而應用獎論文更是關注線上人才招聘和物理材料的合成與表徵。除了論文獎項外，香港科技大學林方真教授因為對知識表達、非單調邏輯和行為理論等領域的重大貢獻而獲得 AAAI Fellow。

其它頂會的論文情況也和 AAAI 類似，我們將去除歷年的經典論文和其它年份的論文。例如在今年 ICML 的經典論文中，2007 年的研究者關注結合 UCT 線上知識與離線知識以構建強大的 9*9 圍棋系統，但近來深度強化學習和自我對抗策略等技術已經在圍棋遊戲中取得了很重要的成果，所以這一類的主題我們並不會深入探討。

值得注意的是，很多頂會的經典論文都出現了支援向量機相關的主題。例如 ICML 經典論文 Pegasos： Primal Estimated sub-GrAdient SOlver for SVM 提出了一個簡單有效的隨機子梯度下降演算法，用於解決支援向量機（SVM）提出的最佳化問題。KDD 的經典論文 Training Linear SVMs in Linear Time 提出了一種訓練線性 SVM 的截平面演算法，該演算法經證明對於分類問題而言訓練時間只需 O（sn），有序迴歸問題的訓練時間為 O（sn log（n）），其中 s 為非零特徵數，n 為訓練樣本數。而剛剛結束的 NIPS 也釋出了關於 SVM 的經典論文 Random Features for Large-Scale Kernel Machines 提出了一種把輸入資料對映到隨機的低維特徵空間中，然後再使用現有的快速線性化演算法的方法。

此外，KDD 主要是資料探勘領域與知識發現方面的頂會，所以雖然它與人工智慧有很大的聯絡，但我們並沒有將其納入研究主題的統計。今年的 KDD 從主題上來看主要關注於時序資料與圖演算法，且接受的應用類論文佔據了 40% 左右。該會議的最佳論文探討了如何學習更簡單的結構化表徵方法，它結合眾包與迴圈神經網路從產品描述中抽取向量表徵，並且這些學到的向量能比傳統資訊檢索方法更精確與快速地找到類比資訊。除此之外，該會議的最佳應用論文關注於防禦安卓惡意軟體，它透過分析 API 之間的不同關係以建立更高層級的語義資訊，因而檢測出惡意軟體的攻擊者。今年 KDD 大會確實有非常多的見解與創意，不過限於我們的主題與關注點，後文並沒有統計與分析 KDD 相關的資訊。

因此，在今年頂會 56 篇獲獎論文中，我們以下討論了 32 篇獲獎論文的主題與關鍵詞等資訊。

研究主題的分佈

我們首先根據這 32 篇獲獎論文分析了 AAAI、ICLR、ICCV 和 NIPS 等頂會（除去 KDD）的獲獎研究主題。其中我們將這些獲獎論文的主題分為 6 種，它們之間可能會有交叉，例如可能有論文使用強化學習的方法研究自然語言處理相關的問題。值得注意的是，學習過程這一主題描述的是最最佳化方法、模型擬合或模型驗證等問題，資料問題描述的是新型資料集、資料隱私和資料偏見等相關的問題。以下展示了今年部分頂會獲獎論文的主題分佈：

在這些獲獎論文的主題中，討論地最多的是計算機視覺與自然語言處理。這兩個任務也是目前非常流行的研究領域，從 CVPR 和 ICCV 專注於計算機視覺領域，ACL 和 EMNLP 專注於自然語言處理領域就可見一斑。對於其它如 AAAI、ICML 和 IJCAI 等綜合性會議，它們關注地更多的是學習過程與資料問題。此外，強化學習和遷移學習等前沿話題在各大會議的獲獎論文中也常提到。

1。計算機視覺

對於計算機視覺領域來說，貢獻最大的當然是 CVPR 與 ICCV，其它如 IJCAI 等也有相關主題的獲獎論文。這些獲獎論文具體研究的方向主要有目標檢測、影象標註、影象生成、語義分割、卷積神經網路架構等方面。今年唯一以研究卷積架構為主題的獲獎論文是康奈爾與清華大學聯合完成的 Densely Connected Convolutional Networks，他們發現如果卷積神經網路在接近輸入層和輸出層的層級中包含較短的連線，那麼 CNN 就能在訓練上顯著地變得更深、更精確和擁有更高的效率。據此，他們提出了密集卷積網路（DenseNet），這種卷積神經網路以前饋的方式將每一層與其他層相連線起來。這篇論文的評價非常高，很多研究者認為 DenseNet 在 ResNet 基礎上提出了更優秀的密集型連線方式，這種連線不僅能使得特徵更加穩健，同時還能產生更快的收斂速度。雖然有學者指出 DenseNet 的記憶體佔用太大，訓練成本很高，但也有研究者測試表明在推斷時它所需要的記憶體要比 ResNet 少。以下展示了 DenseNet 的基本架構：

除了卷積架構外，語義分割或目標例項分割最有影響力之一的獲獎論文就是何凱明等研究者提出來的 Mask R-CNN，它是一種簡單、靈活和高效的通用目標分割框架。Mask R-CNN 是基於 Faster R-CNN 的擴充套件，它在用於邊界框識別的分支上添加了一個並行的分支用於預測目標的掩碼。因此這種方法不僅能夠有效地檢測影象中的目標，同時還能為每個例項生成一個高質量的分割掩碼。值得注意的是，何凱明是該最佳論文的第一作者，同時是今年最佳學生論文的作者之一，若加上 CVPR 2009、CVPR 2016 兩篇最佳論文，那麼他已有四篇獲計算機視覺頂會的最佳論文。

Mask R-CNN 框架

在計算機視覺研究主題中，今年獲獎論文討論得比較多的可能就是目標檢測。在 YOLO9000： Better， Faster， Stronger 論文中，作者提出了 YOLOv2 和 YOLO9000 檢測系統。YOLOv2 能大大改善 YOLO 模型，並且以非常高的 FPS 獲得更好的結果，而 YOLO9000 這一網路結構可以實時地檢測超過 9000 種物體分類，這主要可以歸因於 WordTree 混合了目標檢測資料集與目標識別資料集，因此透過聯合訓練能實現非常好的效果。而在 Focal Loss for Dense Object Detection 論文中，研究者提出的全新 Focal Loss 方法，它集中於稀疏、困難樣本中的訓練，避免了訓練過程中可能出現的大量負面因素。他們表明使用 Focal Loss 進行訓練的 RetinaNet 可以在目標檢測任務上達到一步檢測器的速度，同時準確性高於業內最佳的兩步檢測器。

影象生成其實也是今年獲獎論文比較關注的主題，例如蘋果公司的 Learning from Simulated and Unsupervised Images through Adversarial Training 提出了模擬加非監督學習方法在使用合成影象方面展現出了顯著的提升效果。而另一篇 Tag Disentangled Generative Adversarial Networks for Object Image Re-rendering 提出了一種條理化的標籤解糾纏的生成對抗網路（TDGAN），該 TDGAN 透過指定多個場景屬性（如視角、照明和表現等）從單張圖片重新渲染出感興趣目標的新圖片。若給定一張輸入影象，解糾纏網路會抽取解開的、可解釋性的表徵，然後這些表徵再投入到生成網路以生成圖片。

2。自然語言處理

自然語言處理是除計算機視覺外另一個非常受關注的研究領域，甚至今年以 NLP 為主題的獲獎論文比計算機視覺還要多。基本上，ACL 和 EMNLP 是對這一領域貢獻非常大的頂會，今年該領域的獲獎論文關注的也非常廣，主要有機器翻譯、語音語域、分詞模型、語言的生成模型和其它一些 NLP 資料相關的問題。值得注意的是，自然語言處理領域和計算機視覺領域一樣有很多引人注目的應用，最突出的就是神經機器翻譯。雖然去年神經機器翻譯就已經有了很大的發展，但今年很多研究者真正從編碼器-解碼器架構、注意力機制、強化學習方法甚至是 LSTM 與 GRU 的結構來提升神經機器翻譯的效能。除此之外，自然語言處理其它很多方面都有非常大的進步，下面我們將簡介今年頂會有關自然語言處理的獲獎論文。

今年 NLP 獲獎論文有很多關注於偏語言學的問題，例如在論文 Probabilistic Typology： Deep Generative Models of Vowel Inventories 中，研究者介紹了一系列深度隨機點過程，並將他們與之前的計算性的、基於模擬的方法相對比。該論文提出了首個針對音韻型別學中基礎問題的機率性方法，它希望透過深度神經網路的學習方法來對母音空間構建一個可訓練的機率型生成分佈，從而來研究語言型別學中的母音的分散性和聚焦性問題。此外，該論文的研究者在 ACL 大會演講結束時表明 NLP 工具應該是進行科學研究的手段，而不止是工程任務，這也正是該論文將深度學習與傳統 NLP 研究相結合的一次嘗試。除此之外，The Role of Prosody and Speech Register in Word Segmentation： A Computational Modelling Perspective 探討了在分詞任務中語音語域和韻律學的作用，他們發現語域之間的區別要小於以前的，並且韻律學邊界資訊幫助成年人指向的語音要比嬰幼兒指向的語音更多一些。

今年以 NLP 為主題的獲獎論文還有另一個非常有意思的話題，論文 Hafez： an Interactive Poetry Generation System 提出了一種自動詩歌生成系統，它將迴圈神經網路（RNN）與一個有限態接收器（FSA）進行整合，因此可以在給定任意話題的情況下生成十四行詩。Hafez 還能讓使用者調整各種不同風格的配置，從而對已生成的詩歌進行修改和潤色。

NLP 獲獎論文除了以上研究型成果，還有一部分是因為在資料上或工具上有重要成果而獲得了獎項。資料集、資料偏見或語料庫等問題將在後一部分詳細討論，因為除了 NLP 中的資料問題，其它如影象標註等問題在大會獲獎論文中也有討論。另一項哈佛大學 NLP 組開源的神經機器翻譯工具則體現了工程方向的研究成果。在論文 OpenNMT ： Open-Source Toolkit for Neural Machine Translation 中，研究者介紹了一種用於神經機器翻譯的開源工具包。該工具包以效率、模組化、可延展性作為優先考慮因素，從而在模型架構、特徵表徵、開源形態中支援 NMT 研究，哈佛 NLP 組在官網上表示該系統已經達到生產可用的水平。

OpenNMT 可以像主要的翻譯服務提供商的已投入生產的系統那樣使用。該系統簡單易用，易於擴充套件，同時也能維持效率和當前最佳的翻譯準確度。其特性包括：

簡單的通用型介面，僅需要原始檔和目標檔案；

為高效能 GPU 訓練進行了速度和記憶體最佳化；

可以提升翻譯效能的最新研究的特性；

有多個語言對的預訓練好的模型；

允許其它序列生成任務的擴充套件，比如歸納總結和影象到文字生成。

3。學習過程

在我們的分類中，學習過程其實是一個很廣的研究領域，它可以包括最最佳化方法、訓練過程或方法、最大似然估計或其它構建損失函式的方法以及泛化問題與黑箱問題等話題。當然，一般學習過程指的是訓練或最最佳化過程，但我們這裡不妨將這個概念推廣到一般機器學習模型所共有的問題，例如我們思考的黑箱問題、隨機擾動或新型驗證方法等適用於一般機器學習模型的研究主題。這一部分確實最近越來越受到研究者的關注，很多論文在討論是否有更優的梯度下降方法、更好的模型解釋或更美的引數估計方法，這一傾向也表現在今年頂會獲獎論文的研究主題中。我們一共將 7 篇獲獎論文歸到這一類中，它們討論了機器學習模型的各個方面，非常值得各位讀者詳細瞭解。

其實最近 ICLR 2018 評分排第二的論文就詳細研究了最最佳化方法，在 ON THE CONVERGENCE OF ADAM AND BEYOND 論文中，研究者發現 MSPROP、ADAM、ADADELTA 和 NADAM 等方法都是基於使用前面迭代所產生梯度平方的指數滑動平均值，它們在對該滑動平均值取平方根後用於縮放當前梯度以更新權重。該論文表示些演算法因為使用了指數滑動平均操作而有時並不能收斂到最優解（或非凸條件下的臨界點）。因此研究者提出了一種 ADAM 演算法的新變體，它透過賦予這些演算法對前面梯度的「長期記憶」能力而解決收斂問題。在 NIPS 2017 的最佳論文 Variance-based Regularization with Convex Objectives 中，研究者探討了一種風險最小化和隨機最佳化的方法，該方法可以為方差提供一個凸屬性的替代項，並允許在逼近和估計誤差間實現近似最優與高效計算間的權衡。他們證明了該過程具有最優性保證（ertificates of optimality），並透過逼近和最優估計誤差間良好的權衡在更一般的設定下比經驗風險最小化方法有更快的收斂率。因此，前一篇論文表明瞭 Adam 等演算法的侷限性而提出改進方法，後一篇論文直接提出一種能提升標準經驗風險最小化在許多分類問題測試上的效能的方法。

ADAM和AMSGRAD 在簡單一維合成案例中的效能對比

最最佳化方法是標準的學習過程，但泛化與黑箱等問題與學習過程也有很大的關係。例如如何在訓練過程中控制模型不產生過擬合，或理解模型的超引數與所學習到的引數等問題都是值得我們關注的話題。在 Understanding deep learning requires rethinking generalization 論文中，作者表明傳統的泛化思考是將小的泛化誤差歸結為模型族的特性，或是與訓練過程中的正則化技術有關。但這些傳統的方法並不能解釋大型神經網路在實踐中泛化良好的原因，因此作者透過理論構建與實證研究表明只要引數的數量超過了資料點的數量，那麼簡單的 2 層深度的神經網路就已經有完美的有限樣本表達能力。同樣在 Understanding Black-box Predictions via Influence Functions 論文中，研究者使用了穩健性統計的經典技術影響函式，它可以透過學習演算法追蹤模型的預測並返回訓練資料，因此我們能確定最影響給定預測的訓練資料點。他們表示即使在理論失效的非凸和不可微模型下，影響函式的近似依然能提供有價值的資訊來理解黑箱模型的預測結果。

4。資料問題

今年各大學術會議確實非常關注資料相關的問題，例如資料偏見、資料隱私和大資料集等。這一類主題大致可以分為兩部分，即新型資料集、語料庫、知識庫，或者是資料本身存在的特性與問題。其實今年已經提出了好幾個資料集，我們可能比較熟悉旨在替代 MNIST 的 fashion-MNIST 資料集，還有 Facebook 構建的用於星際爭霸人工智慧研究的新一代資料集 STARDATA，這些強大的資料集都推動了深度學習與機器學習向前發展。此外，蘋果和微軟等大公司對資料隱私問題做出了進一步的思考。例如微軟今年推出了 PrivTree，它利用差分隱私演算法保護位置隱私，而蘋果的差分隱私演算法從數學角度嚴格定義了隱私，他們的想法即仔細校準的噪聲可以隱藏使用者資料。今年 IJCAI 和 EMNLP 等頂會也都有以資料為主題的獲獎論文。

對於獲獎資料集與知識庫等內容，在 A Corpus of Natural Language for Visual Reasoning 論文中，研究者提出了一種新的視覺推理語言資料集，包含對合成影象進行自然描述（3962 條語句）的 92244 對樣本。該資料集證明，大多語言學現象都需要視覺和集合論（set-theoretic）推理，因此它在未來的研究當中將是極具競爭力的。YAGO 知識庫的擴充套件 YAGO2 中，研究者表明它從維基百科、GeoNames 和 WordNet 中自動構建而成，涵蓋了 980 萬實體的 4。47 億事實。人類評估已經確認其中 95% 的事實屬實。

Alane Suhr 等人提出的視覺推理語言資料集。

對於資料偏見與資料隱私，Men Also Like Shopping： Reducing Gender Bias Amplification using Corpus-level Constraints 論文研究了與多標籤目標分類和視覺語義角色標註相關聯的資料和模型。他們發現這些任務的資料集包含嚴重的性別偏見，且在這些資料集上訓練的模型放大了這些偏見。例如，在訓練集中，做飯涉及到女性的機率要比男性高 33%，而訓練後的模型在測試集上將這一機率放大到了 68%。因此研究者建議可以注入用於校準現有結構化預測模型的語料庫級約束，並基於拉格朗日鬆弛設計一種演算法以進行群體推斷。此外，谷歌大腦等研究員在論文 Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data 表示模型中可能會無意中隱含一些訓練資料，因此透過仔細分析就能揭露一些敏感性資訊。為了解決這個問題，研究者提出了教師整合的私有聚合（PATE），該方法透過黑箱的方式組合多個由互斥資料集訓練的模型。因為這些模型都依賴於敏感性資料，所以它們並不會公開，但是它們還是可以作為「學生」模型的「教師」。因此，即使攻擊者可以訪問學生與檢查內部執行工作，但他並不能直接訪問到單一教師的基礎引數或資料。

5。其它問題

其實今年的學術會議的獲獎論文還有很多關注於強化學習與應用方面。在強化學習方面，The Option-Critic Architecture 論文表明時間抽象（temporal abstraction）是強化學習中對學習和規劃進行擴充套件的關鍵，他們為 option 推匯出策略梯度定理，並提出了一種新型 option-critic 架構，它能同時學習內部策略和 option 終止條件而不需要提供任何額外的獎勵或子目標。而在應用方面，Making Neural Programming Architectures Generalize via Recursion 提出了使用一種使用遞迴來增強神經架構的方法，他們在一個神經程式設計器-直譯器框架中實現了這種遞迴，且該框架可用於四種任務：小學加法、氣泡排序、拓撲排序和快速排序。該論文的研究者最後表明我們有必要結合使用遞迴這樣的概念，來使神經架構能穩健地學習程式語義。

結語

今年的機器學習領域，尤其是深度學習方法非常引人注目，這一點從頂會的提交論文與參會人數就能體現出來。例如在 NIPS 2017 的第一天，長灘會展中心門口的註冊排隊長龍「長到可以讓你看幾篇論文」。所有這些知名的頂會都表明著這個時代剛剛好，很多想法、很多可能都能透過研究與探討得到實現。最後祝各位讀者在新的一年裡都能實現各自的想法，為蓬勃的人工智慧領域與機器學習社群留下一些印記。機器之心在 2018 也將繼續並深入地觀察學術會議，我們將展現這個蓬勃領域最可愛的一面。