多模態中的prompt正規化（三）——CLIP-adapter

前兩篇多模態prompt的文章CLIP和COOP分別分別在今年3月份、9月份掛載arxiv上，十月份又掛了一篇：CLIP-adapter。coop和這一篇都是在clip基礎上增量式的工作，clip使用一個人為設定好的prompt直接進行零樣本推理，而後兩篇都是使用小樣本學習，coop是初始化一個隨機的prompt，在小樣本中學習合適的prompt，從而更適應這個任務；adapter是在模型中間插入一個隨機的可學習的模組，透過更新這個模組來更適應下游任務。

讀本文前需要先了解前兩篇文章：clip，coop

模型

最下面就是adapter的結構，在小樣本學習時，在兩個分支上各加入一個可學習的層。小樣本訓練時，其他部分凍結引數（如果更新整個大模型，由於資料太少很容易過擬合）。並且為了更好地結合微調的知識和原始的知識，又加入一個殘差連線結構，見圖。

實驗

在11個數據集上進行小樣本學習，可以看到clip零樣本推理的結果，clip小樣本微調的結果，coop小樣本學習的結果，adapter小樣本學習的結果。

從左上角平均結果的圖可以看出，adpater小樣本學習的效果最好。對於clip，小樣本學習的初始階段甚至弱於零樣本學習，所以人為設定的prompt只是我們看上去合理的提示語句，對於模型來說可能並不是一個好的初始化。