tensorflow中peephole=true的LSTM api好像和原論文描述的不一致？
作者：由 知乎使用者 發表于 歷史時間：2018-06-22
使用者2020-02-02 09:33:57這圖簡直是江蘇著名風景——太湖……
程式碼裡明確說了peephole實現來自於Sak2014， Long Short-Term Memory Recurrent Neural Network Architectures for Large Scale Acoustic Modeling ，這篇文章中說了peephole矩陣都是對角矩陣
實際上上篇文章並非peephole原始論文，但是你貼的這篇文章Xingshan2015， Convolutional LSTM Network： A Machine Learning Approach for Precipitation Nowcasting 也不是。文章中清楚說了沿用的是Graves2013， Generating sequences with recurrent neural networks中的公式，而這篇文章也清楚地說了peephole矩陣都是對角矩陣
之前的答案已經解釋過，對角矩陣和向量相乘等價於用由該對角線元素組成的向量去和矩陣按位置相乘。至於前述答案提的問題“為什麼”，需要參考peephole的原始文獻Gers2002， Learning precise timing with LSTM recurrent networks 但是這篇文章太早，用的符號記法和現在很不一樣，不太好讀，加上我數學不太好，我也沒太看懂。不過首先我覺得Graves2013的實現和Gers2002的描述有區別（需要大佬解惑），其次看上去原始論文也沒有說為什麼要用對角矩陣，只是說這種方法簡單，而且驗證有效
