2006——Notes on Convolutional Neural Networks2011——Large displacement optical flow_ descriptor matching in variational mo
LeNet:Gradient based learning applied to document recognitionAlexNet:ImageNet Classification with Deep Convolutional Neu
用於影象的卷積神經網路發展的綜述A review of the development of convolutional neural networks for image recognition陳德龍 河海大學 計算機與資訊學院2017級
)Fast Forward and Backward Propagation Schemes on Circulant Convolutional Layer如果具有迴圈結構,就有以上好處,那個就將原始無結構的權重張量轉換為結構化的迴圈結構
用 Convolutional Projection 而非 Linear Projection 的方式得到 Self-Attention 所需的Key、Value 以及 Query,並且 Convolutional Projection 使
在[2]中,也特別說明了,更加深的層數,抽象能力更加的好,但是,我覺得普通來說,五個卷積層數已經足夠使用,已經可以學到了一個很好的影象表達,比如在[3]中,直接把學好的feature拿過來使用,也可以達到很好的效果