【論文淺析】Semi-supervised sequence tagging with LM..

本文對Semi-supervised sequence tagging with bidirectional language models一文做一個簡短介紹，該文發表在ACL2017。

一、任務介紹

利用語言模型學習得到的RNN表示，來增強有監督的序列標註任務。往往序列標註的資料集是有限的，在有限的資料下，模型很難學習到一個足夠好的embedding來表示單詞。

本文透過語言模型可以利用到大量沒有標註的資料，來增強單詞的語義表示。

二、模型

做法也很簡單，

1）第一步用大量的未標註資料進行前向和反向語言模型的訓練，預訓練好兩個RNN網路。

2）對於給定句子中每一個單詞，例如“New”，先得到單詞的embedding表示，然後經過第一層雙向RNN，得到隱層表示，

這個時候該句子經過預訓練好的兩個RNN網路，得到New的前後RNN輸出表示，與之前的網路隱層進行拼接，輸入到第二層RNN網路中，進行序列標註。比起正常的序列標註模型來，多了一個拼接預訓練好語言模型的輸出表示。這一塊多餘的東西還不用標註，豈不妙哉。

三、實驗

主實驗如table1所示，我們可以看出，效能從90。87提高了91。93，增加了一個多點，效果還是挺明顯的。

至於語言模型的輸出到底加在RNN的哪一層，作者也做了實驗：

發現加在第一層RNN的輸出的時候結果最好，不要問為什麼，問了就是煉丹。

四、貢獻

本文沒有在基本的序列標註模型再繼續搞一些fancy的騷結構，或者其它懟模型的操作，而是採用半監督方法創新的利用大量沒有標註的資料來提高效能，很nice。整篇文章通俗易懂，賞心悅目。