Google Brain釋出不需訓練權重的神經網路?

Topic:  Exploring Weight Agnostic Neural Networks

13.png

EditorGeorge Wu

Resources:   paper   Google AI blog   Github   post   中文post

Label:  Architecture Search(NAS),   Google Brain,  multi-objective optimization

Date:  August, 2019

 

大意:

Google Brain小組日前開發出Weight Agnostic Neural Networks (權重無關神經網路), 強調並不做權重數值的訓練, 而單以網路架構的優化來達成學習的目標. 為此他們使用Topology search algorithm (NEAT)網路架構搜尋演算法, 並在不經訓練的隨機權重值下成功讓強化學習的agent能成功達成任務, 並可以找到最簡化的網路架構.

 

神經網路權重vs神經網路架構

在Convolutional Neural Network(CNN)卷積神經網絡發展初期, 出現了很多不同層數, 架構的各式神經網路, 從AlexNet(2012), GoogleNet(2014), VGGNet(2014) 到ResNet(2015), DenseNet(2017)等, 大部分的改進都是為了讓訓練結果更好, 選用更多卷積層或更適合的Kernel或更有效率的網路連結方式, 儘可能的增加權重數目或增進訓練效率. 而就和之前類神經網路的發展類似, 大家也關注到神經網路架構優化的重要性也就是Neural Architecture Search(NAS), 包括Self-adaptive(自適應)網路架構, 或結合各式heuristic search(啟發式演算法)同時搜尋網路參數及網路架構等等. 發展方向從儘量多的權重參數追求最好的訓練結果, 到儘量精簡網路結構而同時能有可接受的結果. 而Weight Agnostic Neural Networks 就算是另一個極端. Google Brain向我們證明了即使僅靠著網路優化完全不進行權重的訓練, 也能夠達成很好的結果.

 

2.png

搜索主要流程

Google Brain開發的網路架構搜尋法是基於演化式優化(Evolutionary optimization algorithm). 從一開始創建一群最簡化的網路架構(Minimal network), 並在共享權重值下對所有網路的性能及複雜度進行排序(Rank),並從這population挑選排名較高的網路結構進行隨機Insert Node及Add connection. 形成下一批的網路結構population, 並再次進行排序及挑選. 重複這樣的過程直到達成結束條件, 也挑選出最佳的網路結構, 也因為是同時對網路性能及複雜度優化, 所以使用多目標搜尋(multi-objective optimization).

 

3.png

結果及結論

其實以搜尋方法來說就是傳統的EA, 藉著population based及菁英策略的使用能儘可能保證搜尋到全局最佳解, 也就是最簡化的網路架構, 並能達成目標, 而且效能並不會輸給一般方式訓練的多層神經網路. 那這是否就代表之後我們就不須架構很複雜的網路結構而去訓練權重, 也不是. 而是展示了單靠網路結構的優化就可以很大程度的提升性能, 也因權重數目的降低大大減少訓練時間. 只能說是相輔相成吧.

 

 

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s