Circle Loss 感想

感謝大家對

Circle Loss

的關注。沒想到這個工作引起了激烈的討論(

如何理解與看待在cvpr2020中提出的circle loss？

)，甚至帶來了一些爭議。

首先，還是說明一下，circle loss在實際應用中，是非常強力的。在諸如行人reid、車輛reid、人臉識別、通用細粒度檢索的超大（業務）規模資料集上，它的表現是很不錯的，這裡可以請讀者放心。另外，據這兩天嘗試使用的一些網友反映，在聲紋識別、domain adaptation等科研或應用中，也取得了不錯的效能。

很高興能收到這些正面的反饋，繼續歡迎大家使用

。

有一些同學對它的理論意義有質疑

，說裡面某些做法A早就做過了、B早就做過了、C上有它的影子、甚至自己早就這樣嘗試過。

我必須承認，Circle Loss是建立在先前一系列loss function、deep embedding learning工作基礎上的，它與之前一些重要工作，一定會在區域性上有形式上的重疊

。就像在rebuttal中，有一位審稿人也提到，說NPair loss早就用了類似CE Loss的公式來進行pairwise learning啊。但是，最終大家還是一致同意，Circle Loss能夠不經過任何 modification，直接表達兩種學習方式（classification learning和pairwise learning），這種unified framework是一件有意義、有啟發的事情；再比如，昨天有同學跟我說，用softmax-based的loss形式來處理非線性的最佳化目標，他去年也做了一個類似工作並投了cvpr，但最後掛了就放棄了，他覺得很不服氣。問他這樣做的motivation是什麼，他說就是碰巧試出來了效果好。

這裡，我想借用神盾局特工第四季裡面的梅斯局長這個形象來表達我對科研的一個觀點。梅斯局長其實是一個沒有任何超能力的凡人，大家都以為他是一個英雄（在標題的照片裡，他看上去正在大無畏地救人），實際上，他當時只是自己慌忙躲閃、碰巧被拍下了。為了維護自己超能力英雄形象，他定期注射藥物。其實，解決難題的超能力，就好比方法能夠獲得性能提高的“形”，我們每個人都渴望自己的方法漲點漲點再漲點。很多時候，我們就像那個一度被人嘲笑的梅斯局長，為了外在的英雄形象費盡心思嚐盡苦頭。

梅斯局長真正成為英雄，是在AIDA的虛擬世界裡，他為了救一個數字虛擬出來的兒童，犧牲了自己真正的生命（當然，他自己並不知道那是個虛擬的兒童）。梅斯終究是一個沒有超能力的人，他不是雷神、不是奇異博士，甚至不如鋼鐵俠。他為了一個看似毫無意義的虛擬兒童，耗盡了自己所有的力氣，犧牲了自己。可以說，梅斯局長真的是無用極了，他唯“二”的兩次救人，看起來似乎都毫無意義。畢竟，他的力量太渺小了。

然而，他的精神卻啟發了同樣困於AIDA虛擬世界的特工梅，並終於救了主角一行人。實際上沒有任何超能力的梅斯，用他的精神，終於實現了自己拯救世界的英雄夢想。

“神”是高於形的存在。我始終相信，兩個工作，哪怕形式上一模一樣，但如果你能賦予其中一個更高的“神”——能夠有更深的理解，帶給別人啟發，那麼，你就做出了一個好工作

。因此，拋開circle loss在一系列學術集和實際應用任務中的效能提高不說，我喜歡Circle Loss。我清楚的記得自己以及幾位合作的小夥伴@Daniel Cheng @iridescence 在投入這個工作中迸發出的興趣和激情。我並不是一個完全的新手，我有過若干頂會及T-PAMI。但是，去年下半年，我深信這是目前自己最好的一個工作，我帶著激情全身心投入其中。當時 @鄭良 習慣性地給我潑冷水，說“你這個投cvpr不一定能中，因為cvpr通常並不歡迎這種風格的工作”。然而我自信地說“沒關係，我對這個工作有信心，如果cvpr不歡迎它，我相信它會有一個好的去處”。最終，Circle Loss被推薦為Oral presentation。

這裡，我還是說一下，我自己感覺不容易的兩個點——僅僅是從一個沒有超能力的梅斯局長的角度來看：

1）當我們從相似性對最佳化的角度出發，我們遍歷所有的

，就能夠非常自然而然地得到論文中的公式1，這個公式能夠非常完整地涵蓋常用的分類loss以及pair-based metric loss。

2）在對公式1這樣一個統一認知的基礎上，我們進一步做出一個簡單的泛化，將

泛化成

,讓最佳化程度不同的similarity score，獲得不同的最佳化。最終，更靈活的最佳化和更明確的收斂目標，導致了更好的訓練結果。公式主要是文中的公式4和6。

上述兩個公式，都克服了一些習慣思維，至少，是我自己的習慣思維。因此，我在付出努力得到這些理解後，欣喜若狂。很幸運這樣膚淺的解讀，在CVPR審稿過程中雖然也受到了一些diss，但是更多的是得到了認可。

在研究過程中，我們大部分時候似乎都是那個無力的梅斯局長，苦苦尋覓超能力而不得；真正能讓我們閃耀瞬間光芒的，往往是我們在竭盡全力後所產生的一點點啟發——哪怕除卻這點啟發外的事情看似毫無意義。如果一段時間後，這個工作真的不再有任何爭論，大家都覺得這個工作的所有想法、所有做法，是平淡無奇的common sense。那麼，circle loss可以自己篤定地說“that is my destiny fulfilled”。共勉～