Highway network是由 Srivastava et al.(2015, 瑞士AI研究室 IDSIA)在 Highway Networks 提出,利用調控identity mapping跟residual transformation兩個分支使得類神經網路可達到更深的層數。
網路概念
跟ResNet的殘差結構相比,可看作identity mapping跟residual transformation兩個分支的加權總和,結構類似gated mechanism。
該方法作為skip connection的變形之一,不只可用在CNN或殘差網路,也可用於LSTM等其他網路,這點也反映在GRU跟LSTNet的設計上。
網路結構
結構上不限制F(x)所使用的區塊設計,而T(x)代表的是兩者的加總的權重,理論上該結構可達到非常深的網路。
資料集
EuroSAT,一個有兩萬七千多張照片的衛星對地面照片資料集,共十種標記,包括森林、工業區、住宅區、河流、耕地等。
評估
在測試集的準確度達95.8%