Pytorch實作系列 — Res2Net

Res2Net 是由 Gao et al.(2019, 天津南開大學)在 Res2Net: A New Multi-scale Backbone Architecture提出，特色在於相較於利用不同區塊的多尺度特徵融合，而是混和多組特徵達到多個感受野的特徵融合。

想了解ResNet的可先參考

Pytorch實作系列 — ResNet

為什麼提這個模型

因為在論文看到，而且arxiv上引用數有到三千。

網路概念

作者提出在更細膩的層級下做到特徵融合的方法，相較於其他方法從不同區塊取得多尺度特徵，Res2Net將channel分組後，在bottleneck的中間層做到多個感受野的特徵融合。

Res2Net bottleneck

也可以更進一步，用ResNeXt的cardinality 和 Squeeze and excitation擴展。

Res2Net integrated with cardinality from ResNeXt and Squeeze and excitation(SE) block

網路結構

作為模組化的一層修改，可加入到大部分的ResNet家族。

資料集

Animals-10，一個包含十種動物，兩萬八千多張照片的資料集。

評估

Res2Net50-4c64w訓練準確度達到79%，模型大小為約為ResNet50的一半。

Res2Net50–4c64w confusion matrix (training)

實作

GitHub — gitE0Z9/pytorch-implementations: Deep learning models implemented in PyTorch

參考

Res2Net: A New Multi-scale Backbone Architecture