Pytorch實作系列 — RCNN for text classification

Recurrent convolution neural network for text classification是由 Lai et al.(2015, 中國科學院)在 Recurrent Convolutional Neural Networks for Text Classification提出，是由RNN和CNN組成的文本網路，結合兩者特色達到不俗的表現。

網路概念

藉由結合RNN和CNN的特色，避免RNN對較近時間步數據的偏見，也避免CNN對遠距離關係較弱的表達能力，兩者互相補拙。該網路結構使用雙向RNN和當下的word vector，再交由CNN分類器判斷。

網路結構

由雙向RNN及一層卷積層組成，並以max pooling做最後的特徵篩選，而非平均池化，畢竟不是每個字對分類的貢獻都一樣。

Rcnn architecture

資料集

AG News，AG是作者的名字，收集超過2000個新聞來源的多分類資料集，在torchtext共收錄四類，全球、運動、商業、科學。

評估

測試準確度達到89.85%，模型大小為35.41MB，九成參數來自embedding layer。

實作

GitHub — gitE0Z9/pytorch-implementations: Deep learning models implemented in PyTorch

參考

https://cdn.aaai.org/ojs/9513/9513-13-13041-1-2-20201228.pdf