可是argmax也有無法求導的問題,因此可以使用softmax來代替,也就是Gumbel-Softmax trick,那麼有如下計算公式(τ表示溫度係數,類似於知識蒸餾裡的溫度係數,也是用來控制分佈的平滑度):使用gumbel softma
綜上總體思路:基於Gumbel Distribution取樣來避免不可導問題在1中引入了argmax又導致了不可導(Gumbel max)又引入softmax函式來對argmax進行光滑近似,使得可導(Gumbel softmax)具體步驟
所以我們現在假設最大,首先計算其PDF得到,因為,有:上面的式子的物理含義是:從中心為 #FormatImgID_80# 的Gumbel Distribution裡面取樣得到的 #FormatImgID_81# 是觀測值裡面最大值的機率分佈
由於隨機變數服從引數、的標準Gumbel分佈,其累計分佈函式為:(4)將(3)式套入(4)式中,可以得到給定時、的條件機率:(5)而實際上,也是一個引數為0、1的標準Gumbel分佈,其機率密度函式為:(6)因此,為求(3)的值,我們需要對