對於做分類的網路模型,什麼時候線上性層後面加softmax?以及什麼時候不加,直接線性輸出?
作者:由 知乎使用者 發表于 體育時間:2022-01-07
你說的線性層後面沒加softmax,可能只是他的softmax沒有在模型裡而是在損失函數里,比如pytorch裡面的交叉熵函式,是自帶了softmax計算的,所以模型裡面就沒有寫softmax。
一般做分類,最後都會加上一個softmax的吧
Softmax直接損失函數里,你沒加的時候網路有的時候預設給你加上了
為什麼轉化成機率,看下交叉熵loss的定義。。。