Pytorch實作系列 — Wide ResNet

Wide ResNet 是由 Zagoruyko et al.(2016, 巴黎高等橋樑工程學校)在 Wide Residual Networks提出，相較於過去ResNet的研究方向以深度為主，而是將R往寬度上做探索，得到更小更快，但效果相當的網路。

為什麼提這個網路

因為torchvision有，就拿來看看，而且當時討論wide的論文也不少。

網路概念

作者認為ResNet在深度上的追求對模型的效能提升效益不大，即使到達一千多層的網路效果也沒有太大改進，反而提升寬度更能強化模型的表達能力，具有更多同層的參數擴大特徵圖的提取效果。

另一點則是在卷積層之間加入dropout，替代掉batch normalization(BN)，因為BN需要更多的樣本和資料增強，dropout可能更適合作為寬度增加後的正則化方法。

Torchvision有提供下圖(b)的wide resnet版本。

b, c, d是wide resnet所提出的變形

網路結構

結構上極為簡單，寬度基數也從64變為16，透過寬度因子及深度因子做網路大小的控制。作者當時受限於過去相關的軟硬體不發達，所以使用的圖片有時較小。

wide resnet architecture

資料集

Animals-10，一個包含十種動物，兩萬八千多張照片的資料集。

評估

WRN16-8 訓練準確度 74%，檔案大小只有0.33MB

WRN16–8 confusion matrix (training)

實作

GitHub - gitE0Z9/pytorch-implementations: Deep learning models implemented in PyTorch

參考

Wide Residual Networks

GitHub - szagoruyko/wide-residual-networks: 3.8% and 18.3% on CIFAR-10 and CIFAR-100