對時間序列分類的LSTM全卷積網路的見解

對時間序列分類的LSTM全卷積網路的見解

題目：

Insights into LSTM Fully Convolutional Networks for Time Series Classification

作者：

Fazle Karim， Somshubra Majumdar， Houshang Darabi

Accepted at IJCNN 2019

Machine Learning （cs。LG）

Submitted on 27 Feb 2019

文件連結：

arXiv：1902。10756

程式碼連結：

https：//

github。com/titu1994/LST

M-FCN

摘要

長期、短期記憶全卷積神經網路（LSTM-FCN）和注意力LSTM-FCN （ALSTM-FCN）在舊的加州大學河濱分校（UCR）時間序列儲存庫中對時間序列訊號進行分類的任務中表現出了最先進的效能。然而，對於LSTM-FCN和ALSTM-FCN為何表現良好，目前還沒有研究。在本文中，我們對LSTM-FCN和ALSTM-FCN進行了一系列燒蝕試驗（3627個實驗），以便更好地理解模型及其各個子模組。對ALSTM-FCN和LSTM-FCN的燒蝕試驗結果表明，聯合使用時，這兩種材料的燒蝕效果較好。使用Wilcoxson符號秩檢驗比較了兩種z歸一化技術，即單獨對每個樣本進行z歸一化和對整個資料集進行z歸一化，以顯示效能上的統計差異。此外，我們還透過比較維度洗牌與LSTM-FCN在不應用維度洗牌時的效能，瞭解維度洗牌對LSTM-FCN的影響。最後，我們證明了LSTM- fcn的效能，當LSTM塊被一個GRU、基本RNN和密集塊替換時。

要點

表一：LSTM-FCN與

帶有基線模型的ALSTM-FCN。綠色單元格指定我們的效能匹配或超過最先進結果的例項。粗體值表示效能最佳的模型。

圖1燒蝕試驗-透過從每個卷積層隨機選擇的濾波器進行轉換後輸入訊號的視覺化表示

表二：燒蝕試驗- LSTM/ALSTM塊、FCN塊與Raw的線性SVM效能比較

訊號。綠色單元格和橙色單元格指定塊上的線性SVM模型在原始訊號上超過線性SVM的例項。粗體表示使用線性SVM分類器效能最好的塊。Count∗表示該列中粗體值的數量。

表三：燒蝕試驗- LSTM/ALSTM塊、FCN塊、LSTM/ALSTM-FCN的MLP效能比較

塊和原始訊號。綠色單元格和橙色單元格指定塊上的MLP模型超過原始訊號上的MLP的例項。粗體值表示使用MLP分類器效能最好的塊。Count∗表示該列中粗體值的數量。

英文原文

Long Short Term Memory Fully Convolutional Neural Networks （LSTM-FCN） and Attention LSTM-FCN （ALSTM-FCN） have shown to achieve state-of-the-art performance on the task of classifying time series signals on the old University of California-Riverside （UCR） time series repository。 However， there has been no study on why LSTM-FCN and ALSTM-FCN perform well。 In this paper， we perform a series of ablation tests （3627 experiments） on LSTM-FCN and ALSTM-FCN to provide a better understanding of the model and each of its sub-module。 Results from the ablation tests on ALSTM-FCN and LSTM-FCN show that the these blocks perform better when applied in a conjoined manner。 Two z-normalizing techniques， z-normalizing each sample independently and z-normalizing the whole dataset， are compared using a Wilcoxson signed-rank test to show a statistical difference in performance。 In addition， we provide an understanding of the impact dimension shuffle has on LSTM-FCN by comparing its performance with LSTM-FCN when no dimension shuffle is applied。 Finally， we demonstrate the performance of the LSTM-FCN when the LSTM block is replaced by a GRU， basic RNN， and Dense Block。