超越ResNet的緊密連接卷積神經網路

Topic: Densely connected convolutional networks

Dosudo deep learning newsletter #4

Editor:  George.Wu

Resources:    Paper link     Github      Tensorflow code

label:    Network architecture

2017  CVPR best paper

一般來說越深層的convolutional neural networks(CNNs)會有越好的效能, 但會產生梯度消失問題(vanishing gradient),就是從輸入層到越來越深入的層在訓練時梯度訊息會遞減或消散.有不少的研究嘗試解決這個問題, 希望讓梯度訊號即使通過上百層的網路也不會消散.其中包括殘差網路 Residual Net(ResNets) [1] 建立層與層之間的直通通道及Highway network [2] 進一步利用可調適的方式決定哪些層之間有直通通道哪些沒有. Stochastic Net [3] 則是在訓練時隨機丟棄直通通道.這些改善方案的相同點就是建立非相鄰層與層之間的短路徑.