Pytorch實作系列 — Highway network

mz bai
Jul 24, 2024

--

Highway network是由 Srivastava et al.(2015, 瑞士AI研究室 IDSIA)在 Highway Networks 提出,利用調控identity mapping跟residual transformation兩個分支使得類神經網路可達到更深的層數。

網路概念

跟ResNet的殘差結構相比,可看作identity mapping跟residual transformation兩個分支的加權總和,結構類似gated mechanism。

該方法作為skip connection的變形之一,不只可用在CNN或殘差網路,也可用於LSTM等其他網路,這點也反映在GRU跟LSTNet的設計上。

The formula from paper

網路結構

結構上不限制F(x)所使用的區塊設計,而T(x)代表的是兩者的加總的權重,理論上該結構可達到非常深的網路。

network architecture

資料集

EuroSAT,一個有兩萬七千多張照片的衛星對地面照片資料集,共十種標記,包括森林、工業區、住宅區、河流、耕地等。

評估

在測試集的準確度達95.8%

confusion matrix

實作

參考

--

--

mz bai
mz bai

Written by mz bai

Present data engineer, former data analyst, Kaggle player, loves data modeling.