近日,斯坦福大學(xué)李飛飛組的研究者發(fā)表論文《Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation》,提出了Auto-DeepLab,其在圖像語義分割問題上超越了很多業(yè)內(nèi)最佳模型,甚至可以在未經(jīng)過預(yù)訓(xùn)練的情況下達到預(yù)訓(xùn)練模型的表現(xiàn)。Auto-DeepLab開發(fā)出與分層架構(gòu)搜索空間完全匹配的離散架構(gòu)的連續(xù)松弛,能夠顯著提高架構(gòu)搜索的效率,降低算力需求。
據(jù)了解,該論文主要貢獻如下:
?這是首次將 NAS 從圖像分類任務(wù)擴展到密集圖像預(yù)測任務(wù)的嘗試之一。
?該研究提出了一個網(wǎng)絡(luò)級架構(gòu)搜索空間,它增強和補充了已經(jīng)得到深入研究的單元級架構(gòu)搜索,并對網(wǎng)絡(luò)級和單元級架構(gòu)進行更具挑戰(zhàn)性的聯(lián)合搜索。
?本研究提出了一種可微的連續(xù)方式,保證高效運行兩級分層架構(gòu)搜索,在一個 GPU 上僅需 3 天。
?在未經(jīng) ImageNet 預(yù)訓(xùn)練的情況下,Auto-DeepLab 模型在 Cityscapes 數(shù)據(jù)集上的性能顯著優(yōu)于 FRRN-B 和 GridNet,同時也和 ImageNet 預(yù)訓(xùn)練當(dāng)前最佳模型性能相當(dāng)。在 PASCAL VOC 2012 和 ADE20K 數(shù)據(jù)集上,最好的 Auto-DeepLab 模型優(yōu)于多個當(dāng)前最優(yōu)模型。
據(jù)悉,在回歸斯坦福大學(xué)當(dāng)教授之前,李飛飛曾擔(dān)任谷歌中國AI負責(zé)人,并在擔(dān)任谷歌云負責(zé)人與首席科學(xué)家的兩年間,建立了一個高效的團隊,幫助 Google 加速將人工智能和機器學(xué)習(xí)引入自己的云服務(wù)中。