新損失！CFL：Cyclical Focal Loss

一句話總結

本文提出一種新穎的cyclical focal loss，並證明它是比交叉熵 softmax 損失或focal loss更通用的損失函式，為平衡、不平衡或長尾資料集提供了卓越的效能，程式碼已開源！

點選關注@CVer計算機視覺，第一時間看到最優質、最前沿的CV、AI工作~

注：文末附【Transformer】微信交流群

CFL

Cyclical Focal Loss

單位：美國海軍研究實驗室

程式碼：

https：//

github。com/lnsmith54/CF

L

論文：

https：//

arxiv。org/abs/2202。0897

8

交叉熵 softmax 損失是用於訓練深度神經網路的主要損失函式。另一方面，當每個類中的訓練樣本數量不平衡時，例如在長尾資料集中，Focal Loss函式已被證明可以提供更好的效能。在本文中，我們介紹了一種新穎的cyclical focal loss，並證明它是比交叉熵 softmax 損失或focal loss更通用的損失函式。

主要貢獻

實驗結果

我們描述了cyclical focal loss背後的直覺，我們的實驗提供了證據，證明cyclical focal loss為平衡、不平衡或長尾資料集提供了卓越的效能。我們為 CIFAR-10/CIFAR-100、ImageNet、平衡和不平衡的 4，000 個 CIFAR-10/CIFAR-100 訓練樣本版本以及來自開放長尾識別 （OLTR） 的 ImageNet-LT 和 Places-LT 提供了大量實驗結果挑戰。實現cyclical focal loss函式只需要幾行程式碼，並且不會增加訓練時間。

CVer-Transformer交流群

建了CVer-Transformer交流群！想要進Transformer學習交流群的同學，可以直接加微訊號：

CVer9999

。加的時候備註一下：

Transformer+學校/公司+暱稱

，即可。然後就可以拉你進群了。

推薦閱讀

清華大學黃高團隊提出DAPL：透過Prompt學習進行域適應

ICLR 2022 | 重新思考點雲中的網路設計和區域性幾何—PointMLP：殘差 MLP 框架

谷歌提出MaskGIT：掩碼生成影象Transformer

ICLR 2022 | EsViT：用於表徵學習的高效自監督視覺Transformer

MIM新工作！CAE：用於自監督表示學習的上下文自動編碼器

BEiT團隊新作！CIM：自監督視覺預訓練的損壞影象建模

YOCO（你只需剪下一次）：透過一次剪下來增強資料增廣

FAIR提出MeMViT：高效長期影片識別的記憶增強多尺度視覺Transformer

PFT：用於語義分割的金字塔融合Transformer

FAIR提出ConvNeXt：2020 年代的卷積網路

華為諾亞提出PyramidTNT：使用金字塔架構改進TNT Baselines

清華提出DAT：具有可變形注意力的視覺Transformer

視覺Transformer的PyTorch實現合集！多種ViT變體！

FAIR提出MaskFeat：自監督視覺預訓練的Masked特徵預測

屠榜目標跟蹤！SwinTrack：Transformer跟蹤的簡單而強大的基線

Mask2Former來了！用於通用影象分割的 Masked-attention Mask Transformer

清華提出：最新的計算機視覺注意力機制（Attention）綜述！

國產硬核！AlphaRotate：基於TensorFlow的旋轉目標檢測基準

Swin Transformer奪得ICCV 2021最佳論文！中國學者拿下“半壁江山”！

為何Transformer在計算機視覺中如此受歡迎？

Transformer一腳踹進醫學影象分割！看5篇MICCAI 2021有感

深度學習中的 Attention 機制總結與程式碼實現（2017-2021年