命名實體識別中未標記問題的實證分析

作者：由棧下小湖發表于遊戲時間：2021-01-23

《Empirical Analysis of Unlabeled Entity Problem in Named Entity Recognition》閱讀筆記

paper:

Empirical Analysis of Unlabeled Entity Problem in Named Entity Recognition

source: ICLR 2021

論文概述：

創新點：

透過在訓練階段修改loss計算方式，及引入負樣本，有效的緩解了未標註實體問題（Unlabeled Entity Problem）。

主要工作：

本文主要針對命名識別資料集中存在的未標註實體問題，首先分析了未標註實體為何會影響模型效能，以及不同條件下的影響程度，再提出解決方法，實驗驗證本文的方法在不完全標註的NER資料集上能夠有效的緩解未標註實體問題，在完全標註的NER資料集上效能與SOTA的模型具有可比性。

1、PRELIMINARIES

未標註實體問題：

註釋實體集y，每個實體對應的起始索引及標籤型別三元組的集合。未標註實體問題，指資料集中部分實體沒有出現在實體註釋集中，即對資料集進行註釋時將部分實體註釋為了非實體。

之所以未標註實體會影響模型效能，有以下

兩個原因

：

（1）未標註實體，本身因為沒有標註，導致訓練資料中實體數量的減少；

（2）未標註實體，被模型視為了負例項，誤導模型的判斷。

BERT TAGGING

使用BERT作為編碼器，

$\left[\mathbf{h}_{1}, \mathbf{h}_{2}, \cdots, \mathbf{h}_{n}\right]=\operatorname{BERT}(\mathbf{x})$

，

$h_{i}$

為token

$x_{i}$

的representation，

為輸入序列。則token

$x_{i}$

對應的標籤機率分佈為

$q_{i} = Softmax(Wh_{i})$

，loss的計算為交叉熵損失函式，

$loss = \sum_{1 \leq i \leq n}-\log \mathbf{q}_{i}\left[z_{i}\right]$

，n為句子長度，

$q_{i}$

表示token

$x_{i}$

的標籤機率分佈，

$q_{i}[z_{i}]$

表示token

$x_{i}$

屬於標籤

$z_{i}$

的機率，

$z_{i}$

為token

$x_{i}$

的真實標籤。計算舉例如下：

$loss = -(1*log 0.4 + 1*log 0.3+1*log0.1)=-\sum_{1\leq i \leq n} log \mathbf{q}_{i}[z_{i}]$

2、EMPIRICAL STUDIES

PREPARATIONS合成數據集：

為了模擬註釋不完全的資料集，按照一定的掩碼機率隨機去掉完全註釋資料集中的部分實體。選用資料集，

和

Methods：

使用

BERT Tagging

和

LSTM Tagging

模型。為了探究未標註實體對模型效能的影響，本文對

loss

進行了修改，如下

$\left(\sum_{1 \leq i \leq n}-\log \mathbf{q}_{i}\left[z_{i}\right]\right)-\left(\sum_{\left(i^{\prime}, j^{\prime}, l^{\prime}\right) \in \widetilde{\mathbf{y}}} \sum_{i^{\prime} \leq k \leq j^{\prime}}-\log \mathbf{q}_{k}\left[z_{k}\right]\right)$

其中

$\widetilde{\mathbf{y}}$

表示未被註釋為實體的實體集，即對資料集進行註釋時遺漏的真實實體組成的集合，第二個括號內的式子表示未註釋實體帶來的損失，因為資料集中這些短語沒有被標註為實體，因此在訓練過程中無論模型對它們的標籤機率預測為什麼，都會引入錯誤的損失。因此減去該部分損失，可以讓模型避免被未標註實體誤導。

之所以能夠減去式子的第二部分，是因為是在人工合成的資料集上進行的訓練，可以知道哪些真實實體被掩碼了，在計算loss時，如果發現被掩碼的實體，那麼就減去該實體對應的loss即可。

此處的loss修改只是用於在人工合成數據集上，定量分析未標註實體造成的影響，下面第三部分METHODOLOGY中，引入負樣本時的使用的loss才是本文創新點。

Metrics：

引入了兩個度量的標準，分別是

侵蝕率(erosion rate)

$\alpha_{p}$

和

誤導率(misguidance rate)

$\beta_{p}$

：

$\alpha_{p}=\frac{f_{0}^{a}-f_{p}^{a}}{f_{0}^{a}}, \quad \beta_{p}=\frac{f_{p}^{a}-f_{p}}{f_{p}^{a}}$

其中，

$f_{p}^{a}$

表示修改loss後的掩碼機率為

的模型的F1值，

$f_{p}$

表示未修改loss的掩碼機率為

的模型的F1值，

$f_{0}^{a}$

即

$f_{p=0}^{a}$

。

$\alpha_{p}$

是用於衡量未標註實體比例對模型效能的影響（訓練資料中實體數量減少的比例對模型的影響）；

$\beta_{p}$

是衡量未標註實體對於模型效能誤導的程度。前者用於分析衡量

原因（1），

後者用於分析衡量

原因（2）

。

OVERALL ANALYSIS

推論：註釋實體的減少，會降低模型的F1值，使用預訓練的模型可以一定程度上緩解這個問題；未標註實體造成模型效能下降的兩個原因中，原因（2）的影響更大。

3、METHODOLOGY

由上述推論，預訓練的模型可以一定程度上緩解實體減少造成的效能下降問題，因此使用BERT作為編碼器。

$\left[\mathbf{h}_{1}, \mathbf{h}_{2}, \cdots, \mathbf{h}_{n}\right]=\operatorname{BERT}(\mathbf{x})$

每個短語

$x_{i,j}$

的表徵為

$\mathbf{s}_{i, j}=\mathbf{h}_{i} \oplus \mathbf{h}_{j} \oplus\left(\mathbf{h}_{i}-\mathbf{h}_{j}\right) \oplus\left(\mathbf{h}_{i} \odot \mathbf{h}_{j}\right)$

，其中

$\oplus$

表示向量拼接，

$\odot$

表示元素乘。短語

$x_{i,j}$

，即span（i，j）的標籤機率分佈：

$\mathbf{o}_{i, j}=\operatorname{Softmax}\left(\mathbf{U} \tanh \left(\mathbf{V} \mathbf{s}_{i, j}\right)\right)$

$\mathbf{o}_{i, j}[l]$

表示預測為實體

的機率。

此處span級表徵 #FormatImgID_46# ，文章中並沒有解釋為什麼這麼計算，至於為什麼不是用span中每個token的表徵

$h_{i}$

聯合計算span級表徵，而是隻用了span的首尾兩個token進行計算，個人理解是為了突出邊界資訊，而其中的

$\oplus$

、

$\odot$

、

操作，無非是把融合資訊每種方法都拼接上去。

（不要問我怎麼抽取資訊，問就是所有方法全給拼上！！個人理解哈）

由上述結論知，未標註實體會誤導模型，本文針對這個問題的解決方法是引入負樣本，即隨機選取一部分未標記的跨度span作為負樣本用於引導訓練損失。負樣本集合如下：

$\{(i, j, \mathrm{O}) \mid(i, j, l) \notin \mathbf{y}, 1 \leq i \leq j \leq n, l \in \mathcal{L}\}$

其中

$\mathbf{y}$

表示註釋實體集，即未標註的span組成的集合。

取上述集合的子集

$\widehat{\mathbf{y}}$

，子集的大小為

$\lceil\lambda * n\rceil$

，

$0< \lambda<1$

，

$\lceil\rceil$

表示上取整。

本文提出的loss創新點

——> sapn級的交叉熵損失：

$\left(\sum_{(i, j, l) \in \mathbf{y}}-\log \left(\mathbf{o}_{i, j}[l]\right)\right)+\left(\sum_{\left(i^{\prime}, j^{\prime}, l^{\prime}\right) \in \widehat{\mathbf{y}}}-\log \left(\mathbf{o}_{i^{\prime}, j^{\prime}}\left[l^{\prime}\right]\right)\right)$

此處的loss，不同於之前的loss，首先它不是計算句子中所有token預測的損失，而是針對

被標註為實體的span

和

未被標註為實體但其本身是實體的span

計算交叉熵損失。

之所以能夠計算上式的第二個括號內容，是人工找到資料集中標註時遺漏的span（unlabeled entity），隨機選其子集，在計算損失時，如果一個span出現在該子集中，則將這個span的損失加上。

4、DISCUSSION

透過負取樣，模型不把未標註實體作為負樣本的機率大於

$1-\frac{2}{n-5}$

，即有效緩解了模型將未標註實體視作負樣本而受到誤導造成效能下降的問題。

$\begin{aligned} \prod_{0 \leq i<\lceil\lambda n\rceil} &\left(1-\frac{1}{\frac{n(n-1)}{2}-m-i}\right)>\left(1-\frac{1}{\frac{n(n-1)}{2}-m-\lceil\lambda n\rceil}\right)^{\lceil\lambda n\rceil} \\ >\left(1-\frac{1}{\frac{n(n-1)}{2}-n-n}\right)^{n} & \geq\left(1-n * \frac{1}{\frac{n(n-1)}{2}-n-n}\right)=1-\frac{2}{n-5} \end{aligned}$