繼百度在CVPR 2019、CVPR 2020拿下三個圖像視頻領(lǐng)域競賽冠軍后，百度自研的“圖像超分辨技術(shù)”又一次在世界舞臺上“傲視群雄”。

近日，百度在國際視覺領(lǐng)域頂會ECCV 2020上展現(xiàn)了全球領(lǐng)先的AI技術(shù)實力，以自研的創(chuàng)新技術(shù)，百度包攬了AIM 2020 Real Image Super-Resolution Challenge全部3項冠軍。截至目前，百度自研的SA-NAS和GP-NAS等自動化深度學(xué)習(xí)技術(shù)已在CVPR2019，CVPR2020，ECCV2020 等多個頂會workshop上，累計奪得6項世界第一，提交專利申請超過200余項，并已開始應(yīng)用于不同領(lǐng)域，展示了百度在AI圖像處理領(lǐng)域進(jìn)軍的最新成果。

其中，SA-NAS搜索方法是百度首次把NAS技術(shù)應(yīng)用于圖像降噪領(lǐng)域;GP-NAS搜索方法是百度首次把NAS技術(shù)應(yīng)用于圖像超分領(lǐng)域。首次嘗試創(chuàng)新技術(shù)斬獲國際頂級大賽冠軍，這也是百度視覺AI技術(shù)實力經(jīng)得起驗證、領(lǐng)先全球的最好證明。

百度視覺AI處理技術(shù)持續(xù)領(lǐng)先全球

此次百度包攬AIM 2020 Real Image Super-Resolution Challenge的3項冠軍，含金量如何?

從會議規(guī)格來看，ECCV是世界計算機(jī)視覺頂級會議之一，每兩年舉辦一場，與CVPR和ICCV并稱計算機(jī)視覺領(lǐng)域三大會議，由此可以看出本次ECCV大會中AIM 2020 workshop上舉辦的 Real Image Super-Resolution Challenge是國際頂級賽事，含金量極高。值得一提的是，此次競賽主要聚焦圖片和視頻處理技術(shù)，參賽者也在不斷挖掘相關(guān)領(lǐng)域的新趨勢和進(jìn)展，在學(xué)術(shù)界和工業(yè)界都有非常大的影響力。

從技術(shù)要求來看，所謂的圖像超分辨技術(shù)指的是通過低分辨率圖像還原出高分辨率圖像，盡管很多模型在模擬數(shù)據(jù)集上會取得比較不錯的效果，但真實圖像的超分辨技術(shù)比模擬數(shù)據(jù)更具有挑戰(zhàn)性。所以此項賽事對于參賽者的技術(shù)能力要求極高。

近年來，隨著神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(NAS，Neural Architecture Search)技術(shù)發(fā)展，有學(xué)者將NAS應(yīng)用到圖像超分領(lǐng)域，雖然在每秒浮點運(yùn)算次數(shù)(Flops)和延時約束下，NAS模型取得了非常不錯的結(jié)果，但這些模型相比人工設(shè)計的不受Flops約束的當(dāng)前最佳模型，仍存在一定的性能差距。

此次AIM 2020 Real Image Super-Resolution Challenge更側(cè)重于考核參賽者的當(dāng)前最佳結(jié)果，百度自研的GP-NAS AutoDL技術(shù)，充分挖掘基于自研的多重殘差網(wǎng)絡(luò)在圖像超分的應(yīng)用潛力，在真實圖像超分任務(wù)上取得當(dāng)前最佳結(jié)果。

GP-NAS是百度自研的AutoDL算法，從貝葉斯角度來建模NAS，并為不同的搜索空間設(shè)計了定制化的高斯過程均值函數(shù)和核函數(shù)。基于GP-NAS的超參數(shù)，可高效率預(yù)測搜索空間中任意模型結(jié)構(gòu)的性能，從而模型結(jié)構(gòu)自動搜索問題被轉(zhuǎn)換為GP-NAS高斯過程的超參數(shù)估計問題。接下來，通過互信息最大化采樣算法，可有效采樣模型結(jié)構(gòu)。根據(jù)采樣網(wǎng)絡(luò)的性能，有效地逐步更新GP-NAS超參數(shù)的后驗分布。基于估計出的GP-NAS超參數(shù)，最終可以預(yù)測出滿足特定延時約束的最優(yōu)的模型結(jié)構(gòu)。

(基于高斯過程的模型結(jié)構(gòu)自動搜索GP-NAS的架構(gòu)圖)

基于GP-NAS，百度自研了用于圖像恢復(fù)與增強(qiáng)的多重殘差網(wǎng)絡(luò)DRN。針對真實圖像超分的應(yīng)用場景，該網(wǎng)絡(luò)利用殘差模塊內(nèi)和模塊間的多重鏈接學(xué)習(xí)不同維度的特征，并設(shè)計了基于特征通道、殘差模塊數(shù)和模塊內(nèi)卷積層數(shù)等超參的搜索空間。基于GP-NAS技術(shù)原理，可以預(yù)測搜索空間中任意模型結(jié)構(gòu)的性能，并快速篩選多個模型結(jié)構(gòu)差異化的多重殘差模型用于模型融合來達(dá)到最佳的圖像超分效果。

(百度自研的用于圖像恢復(fù)與增強(qiáng)的多重殘差網(wǎng)絡(luò)DRN的基本結(jié)構(gòu))

該模型在ECCV 2020 Real Image Super-Resolution Challenge的比賽結(jié)果，全部3項的PSNR和SSIM指標(biāo)都排在第一位。

如此先進(jìn)的視覺技術(shù)在生活中的應(yīng)用效果如何?下圖為基于GP-NAS的多重殘差圖像超分模型與雙三次插值的效果對比圖，可以看到，百度自研的GP-NAS技術(shù)讓這個世界的美好更加清晰可見。

(GP-NAS圖像超分模型效果對比圖)

上述技術(shù)已經(jīng)在實際場景中使用，智感超清等相關(guān)產(chǎn)品搭載該項技術(shù)，可對視頻場景級別的畫面復(fù)雜度進(jìn)行智能分析，在視頻轉(zhuǎn)碼中涉及的超分辨重建，畫質(zhì)增強(qiáng)等關(guān)鍵技術(shù)上發(fā)揮重要作用。配合百度研發(fā)的AI驅(qū)動內(nèi)容自適應(yīng)轉(zhuǎn)碼技術(shù)，動態(tài)分配最優(yōu)編碼參數(shù)，在同等畫質(zhì)下，碼率更低，智感超清技術(shù)節(jié)省帶寬成本和存儲成本30%+。目前，智感超清在好看視頻、全民小視頻、百度貼吧等已全量上線，每日進(jìn)行上千萬轉(zhuǎn)碼任務(wù)，保證畫面質(zhì)量的同時，大大降低平臺的帶寬成本。

百度

實際上，百度領(lǐng)先的視覺AI技術(shù)早已獲得世界認(rèn)可。今年6月，在全球計算機(jī)視覺頂會CVPR 2020上，百度斬獲NTIRE(New Trends in Image Restoration and Enhancement)挑戰(zhàn)賽的真實圖像降噪賽道和視頻質(zhì)量映射賽道的兩項冠軍。

真實圖像降噪賽道

圖像降噪作為計算機(jī)視覺熱門領(lǐng)域，在視頻監(jiān)控、無人駕駛、移動可穿戴設(shè)備、遙感及醫(yī)學(xué)圖像分析等領(lǐng)域應(yīng)用廣泛。對于NTIRE2020挑戰(zhàn)賽的真實圖像降噪賽道(Real Image Denoising rawRGB Track)，其首要目標(biāo)是去除或糾正圖像上的噪聲信息，百度最終以第一的成績達(dá)成目標(biāo)，奪得冠軍。

(百度拿下NTIRE2020挑戰(zhàn)賽真實圖像降噪賽道冠軍)

針對該項競賽，百度設(shè)計了多跳躍連接的密集殘差模塊學(xué)習(xí)不同分辨率下的特征表達(dá)，并通過創(chuàng)新性mosaic-stride模塊提升rawRGB的降噪能力，同時使用分布式SA-NAS搜索最優(yōu)的模型結(jié)構(gòu);其中，SA-NAS搜索方法是百度首次把NAS技術(shù)應(yīng)用于圖像降噪領(lǐng)域。

視頻質(zhì)量映射賽道

視頻質(zhì)量映射賽道(Video Quality Mapping—Track1: Supervised)關(guān)注圖片視頻底層視覺技術(shù)的關(guān)鍵問題。這一技術(shù)可有效提高視頻質(zhì)量，提升用戶觀看體驗。百度憑借過硬的視覺技術(shù)和經(jīng)驗積累，取得了該賽道的冠軍成績。

(百度拿下NTIRE2020挑戰(zhàn)賽視頻質(zhì)量映射賽道冠軍)

針對該賽道的問題，百度通過把現(xiàn)有EDVR模型思路與CNN網(wǎng)絡(luò)結(jié)構(gòu)DenseNet相結(jié)合，利用DenseNet提取視頻的圖片特征，融合CNN淺層與深層特征，從而實現(xiàn)更強(qiáng)的表達(dá)能力;EDVR模型則完成了視頻幀之間信息交換，對齊幀間信息，實現(xiàn)信息共享與互補(bǔ)。

而更早前的2019年，百度也曾在 NTIRE 競賽中的圖像超分辨項目中強(qiáng)勢奪冠。該比賽采用了全新拍攝的真實數(shù)據(jù)集(RealSR)，百度視覺團(tuán)隊在 PSNR 和 SSIM 兩項指標(biāo)上均名列第一，同時提出極具創(chuàng)新性的 CDSR 超分模型，通過級聯(lián)的方法逐步將圖像從模糊變清晰。

據(jù)介紹，NTIRE(New Trends in Image Restoration and Enhancement)和AIM (Advances in Image Manipulation)是近年來計算機(jī)圖像修復(fù)領(lǐng)域最具影響力的賽事，每年都會吸引大量的關(guān)注者和參賽者。而百度在這樣極具影響力的大賽中屢屢奪冠，顯示出百度大腦在視覺領(lǐng)域各個方向的長期積累、全面發(fā)力，更是百度大腦技術(shù)實力全球領(lǐng)先的強(qiáng)大佐證。此外，這些技術(shù)也已經(jīng)應(yīng)用于不同領(lǐng)域，幫助有智感超清需求的產(chǎn)品升級，為企業(yè)降本增效的同時，也能讓人們感受到人工智能技術(shù)帶來的紅利，體驗美好的人工智能時代。(一鳴)

標(biāo)簽： 中國AI技術(shù)