通過風(fēng)格遷移的濃霧天氣條件下無人機(jī)圖像目標(biāo)檢測(cè)方法

　　摘要：雨霧惡劣天氣條件下，無人機(jī)獲取的圖像細(xì)節(jié)丟失嚴(yán)重，直接對(duì)降質(zhì)圖像進(jìn)行目標(biāo)檢測(cè)會(huì)導(dǎo)致目標(biāo)的漏檢和錯(cuò)檢。先去霧后檢測(cè)的方法對(duì)薄霧天氣條件下無人機(jī)圖像的目標(biāo)檢測(cè)性能提升顯著，但無法解決目標(biāo)檢測(cè)模型過度依靠圖像中目標(biāo)物紋理和表面信息分類的問題,濃霧天氣條件下性能較差。針對(duì)這一問題提出通過風(fēng)格遷移的無人機(jī)圖像目標(biāo)檢測(cè)方法，在保持圖像內(nèi)容不變的基礎(chǔ)上改變圖像的風(fēng)格，使目標(biāo)檢測(cè)模型從學(xué)習(xí)目標(biāo)物紋理和表面信息轉(zhuǎn)變?yōu)閷W(xué)習(xí)目標(biāo)物輪廓這一更高難度的任務(wù)。實(shí)驗(yàn)在無人機(jī)數(shù)據(jù)集Visdrone2019上進(jìn)行，首先利用不同濃度霧氣圖像在梯度特征、暗通道特征及小波特征上的差異，將無人機(jī)圖像劃分為無霧、薄霧、濃霧圖像。其次針對(duì)薄霧和濃霧圖像分別采取去霧和風(fēng)格遷移的處理方式。實(shí)驗(yàn)結(jié)果表明，通過風(fēng)格遷移的目標(biāo)檢測(cè)方法可以進(jìn)一步減緩光照、噪聲帶來的影響，并顯著提升無人機(jī)濃霧圖像的目標(biāo)檢測(cè)性能，與先去霧后檢測(cè)的方法結(jié)合，可以自適應(yīng)地完成無人機(jī)濃霧天氣條件下圖像的目標(biāo)檢測(cè)任務(wù)。

　　關(guān)鍵詞：無人機(jī)圖像;霧圖像;風(fēng)格遷移;目標(biāo)檢測(cè);霧氣圖像分類

　　0引言隨著科學(xué)技術(shù)的快速發(fā)展，無人機(jī)技術(shù)不斷取得新進(jìn)展。無人機(jī)趨于微型化、自動(dòng)化、智能化，因而被廣泛應(yīng)用在軍事和民事領(lǐng)域[1]，如：自然災(zāi)害檢測(cè)調(diào)查、空中偵察預(yù)警、航空監(jiān)測(cè)等。目標(biāo)檢測(cè)作為無人機(jī)感知和理解環(huán)境的重要手段，是計(jì)算機(jī)視覺的一項(xiàng)基礎(chǔ)而又高難度的任務(wù)[2]，長久以來一直被國內(nèi)外學(xué)者所研究。

　　無人機(jī)論文范例：無人機(jī)測(cè)繪數(shù)據(jù)處理關(guān)鍵技術(shù)及應(yīng)用的相關(guān)分析

　　目標(biāo)檢測(cè)算法中的一個(gè)重要過程是圖像特征提取，主要可以分為手工設(shè)計(jì)特征提取和深度學(xué)習(xí)特征提取�；�于深度學(xué)習(xí)提取特征的方法在無人機(jī)圖像目標(biāo)檢測(cè)領(lǐng)域有著優(yōu)良的效果，尤其是對(duì)于無人機(jī)拍攝的清晰無降質(zhì)的圖像，可以進(jìn)一步分為雙階段目標(biāo)檢測(cè)算法[3-6]以及單階段目標(biāo)檢測(cè)算法[7-10]。

　　兩種檢測(cè)算法各有特點(diǎn)，雙階段目標(biāo)檢測(cè)算法準(zhǔn)確率和精度更高，適用于需要高精度識(shí)別的任務(wù);單階段目標(biāo)檢測(cè)器速度更快，適合實(shí)時(shí)識(shí)別任務(wù)。然而常見的雨霧惡劣天氣下，無人機(jī)獲取的圖像質(zhì)量受到極大的影響，直接對(duì)降質(zhì)圖像進(jìn)行目標(biāo)檢測(cè)性能不佳。一種直接提升降質(zhì)圖像目標(biāo)檢測(cè)性能的方法，是在目標(biāo)檢測(cè)之前，對(duì)降質(zhì)圖像進(jìn)行去霧，增強(qiáng)圖像中的有效信息。

　　然而基于先驗(yàn)的去霧方法，如暗通道先驗(yàn)(DCP)[11]、顏色衰減先驗(yàn)(CAP)[12]，基于模型驅(qū)動(dòng)的深度網(wǎng)絡(luò)去霧方法,如MSCNN[13]、AOD-Net[14]，基于生成對(duì)抗網(wǎng)絡(luò)的去霧方法，如EPDN[15]，以及基于編碼解碼結(jié)構(gòu)的全卷積神經(jīng)網(wǎng)絡(luò)去霧方法，如GMAN[16]、MSBDN[17]等，都是以人的視覺感知為基礎(chǔ)設(shè)計(jì)評(píng)判標(biāo)準(zhǔn)的。以這種準(zhǔn)則為基礎(chǔ)設(shè)計(jì)的圖像復(fù)原方法，雖然可以獲得感知良好的圖像，但目標(biāo)檢測(cè)模型仍過度關(guān)注圖像中目標(biāo)物紋理和表面信息，無法充分利用目標(biāo)物形狀信息，這通常會(huì)損失與目標(biāo)檢測(cè)相關(guān)的有效信息，導(dǎo)致濃霧天氣條件下無人機(jī)圖像的目標(biāo)檢測(cè)性能變差。

　　事實(shí)上，相比依靠人的視覺感知復(fù)原的清晰圖像，風(fēng)格遷移可能更有利于后續(xù)的目標(biāo)檢測(cè)、分類、識(shí)別、理解等中高層任務(wù)。風(fēng)格遷移通過圖像生成網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行變換，在保持圖像內(nèi)容不變的基礎(chǔ)上，將圖像風(fēng)格變換為預(yù)設(shè)風(fēng)格。風(fēng)格遷移可以平滑圖像中目標(biāo)物的局部細(xì)小紋理特征，豐富目標(biāo)物的顏色信息，使CNN不能輕易學(xué)到目標(biāo)物的紋理和表面特征，轉(zhuǎn)而學(xué)習(xí)目標(biāo)物輪廓這一更高難度的任務(wù)[18]，而輪廓是人類和生物視覺中定義形狀最可靠的信息。

　　據(jù)此，本文提出通過風(fēng)格遷移的無人機(jī)濃霧圖像的目標(biāo)檢測(cè)方法，對(duì)無人機(jī)濃霧圖像進(jìn)行風(fēng)格遷移，來弱化光照、噪聲、天氣變化等帶來的影響，加強(qiáng)目標(biāo)檢測(cè)模型對(duì)圖像中目標(biāo)物邊緣信息的利用。本文在無人機(jī)數(shù)據(jù)集Visdrone2019[19]上進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明將歸一化的梯度特征、暗通道特征及小波特征作為組合特征，可以準(zhǔn)確描述不同霧氣濃度下無人機(jī)圖像的特征差異。與先去霧后檢測(cè)的方法相比，本文方法對(duì)真實(shí)無人機(jī)濃霧圖像的檢測(cè)效果更好，在合成的無人機(jī)濃霧數(shù)據(jù)集上進(jìn)行檢測(cè)，mAP50可提升2%～8%。

　　1總體方法

　　本文方法可以自適應(yīng)地完成不同霧氣濃度的無人機(jī)圖像的目標(biāo)檢測(cè)任務(wù)，整個(gè)過程分三個(gè)步驟進(jìn)行。

　　(1)數(shù)據(jù)集的構(gòu)建。在無人機(jī)數(shù)據(jù)集Visdrone2019[19]上根據(jù)風(fēng)格遷移模型以及大氣散射模型分別生成32種不同的風(fēng)格數(shù)據(jù)集和18種不同濃度的霧天數(shù)據(jù)集。

　　(2)無人機(jī)霧天圖像的分類。結(jié)合圖像的梯度特征、暗通道特征及小波特征，通過SVM進(jìn)行有監(jiān)督學(xué)習(xí),將無人機(jī)霧天圖像分為無霧、薄霧、濃霧圖像。

　　(3)無人機(jī)霧天圖像的目標(biāo)檢測(cè)。根據(jù)無人機(jī)霧天圖像的分類結(jié)果，對(duì)無霧、薄霧、濃霧圖像分別采用直接檢測(cè)、先去霧后檢測(cè)、通過風(fēng)格遷移的檢測(cè)方法進(jìn)行圖像檢測(cè)。本文重點(diǎn)描述通過風(fēng)格遷移的無人機(jī)濃霧圖像的目標(biāo)檢測(cè)方法。

　　1.1數(shù)據(jù)集的構(gòu)建

　　本文將無人機(jī)數(shù)據(jù)集Visdrone2019[19]作為基礎(chǔ)數(shù)據(jù)集來構(gòu)建實(shí)驗(yàn)相關(guān)的風(fēng)格數(shù)據(jù)集和霧天數(shù)據(jù)集。Visdrone2019由8629張帶標(biāo)注圖像和1580張不帶標(biāo)注圖像組成，包含12類常見目標(biāo)，如行人、車輛等。該數(shù)據(jù)集中圖像目標(biāo)物尺度變化較大，從幾像素到幾千像素不等，且弱小目標(biāo)十分密集，因此對(duì)其進(jìn)行目標(biāo)檢測(cè)具有一定的挑戰(zhàn)。

　　1.1.1風(fēng)格數(shù)據(jù)集的構(gòu)建

　　本文采用快速風(fēng)格遷移模型[20]來生成風(fēng)格數(shù)據(jù)集�？焖亠L(fēng)格遷移模型由圖像生成網(wǎng)絡(luò)和損失網(wǎng)絡(luò)兩部分組成。圖像生成網(wǎng)絡(luò)本質(zhì)是一個(gè)全卷積神經(jīng)網(wǎng)絡(luò)，由5個(gè)殘差模塊和一對(duì)下采樣和上采樣模塊組成。通過圖像生成網(wǎng)絡(luò)將輸入圖像映射成內(nèi)容和風(fēng)格與原圖像及風(fēng)格圖像相似的輸出圖像。損失網(wǎng)絡(luò)本質(zhì)是一個(gè)特征提取網(wǎng)絡(luò)。通過預(yù)訓(xùn)練的VGG-16網(wǎng)絡(luò)提取輸出圖像的感知特征，將其作為度量構(gòu)建出內(nèi)容損失函數(shù)和風(fēng)格損失函數(shù)。此外，為了使輸出圖像更加自然，還引入總變分正則函數(shù)[21]進(jìn)行約束。

　　1.2無人機(jī)霧天圖像的分類

　　針對(duì)不同濃度霧氣圖像自適應(yīng)地選擇合適的處理方法，將會(huì)顯著提升目標(biāo)檢測(cè)模型的性能。綜合考慮分類算法的時(shí)間復(fù)雜度、空間復(fù)雜度以及準(zhǔn)確率，本文采用基于SVM和混合特征的霧天圖像分類算法。經(jīng)過大量實(shí)驗(yàn)分析，發(fā)現(xiàn)利用歸一化的梯度特征、暗通道特征及小波特征，可以準(zhǔn)確地表征不同霧天圖像的濃度，因此本文將上述三種特征作為混合特征完成對(duì)無人機(jī)霧天圖像的分類。

　　1.3無人機(jī)霧天圖像的目標(biāo)檢測(cè)

　　目前，針對(duì)無人機(jī)霧天圖像的目標(biāo)檢測(cè)，主流方法是直接檢測(cè)或先去霧后檢測(cè)，然而這些方法對(duì)于無人機(jī)濃霧圖像的目標(biāo)檢測(cè)效果較差。因此本文提出通過風(fēng)格遷移的無人機(jī)濃霧圖像目標(biāo)檢測(cè)方法。方法的關(guān)鍵在于挑選使目標(biāo)檢測(cè)性能最優(yōu)的遷移風(fēng)格。文獻(xiàn)[23]提出，風(fēng)格的選取會(huì)對(duì)風(fēng)格遷移過程產(chǎn)生明顯的影響，通過精心挑選遷移風(fēng)格可以使風(fēng)格遷移效果得到顯著地提高。然而目前還沒有詳細(xì)的分析來可靠地確定哪些風(fēng)格對(duì)風(fēng)格遷移方法有促進(jìn)作用。為此本文采用兩種評(píng)價(jià)準(zhǔn)則：主觀評(píng)價(jià)及定量評(píng)價(jià)50rAP來衡量遷移風(fēng)格的好壞，并從中挑選出使目標(biāo)檢測(cè)性能最優(yōu)的遷移風(fēng)格。

　　2實(shí)驗(yàn)結(jié)果與分析

　　2.1實(shí)驗(yàn)環(huán)境

　　CPU:XeonE5-2620v4@2.10GHz;RAM:16GB;GraphicsCard:RTX2080Ti@11GB;OperatingSystem:Ubuntu;Frame:pytorch.1.2.02.2基于SVM的無人機(jī)霧天圖像分類本文構(gòu)建的無人機(jī)霧天數(shù)據(jù)集包括18種不同濃度霧氣圖像。分別隨機(jī)選取無霧、薄霧、濃霧共4320張圖像組成霧氣分類數(shù)據(jù)集。提取這些圖像的歸一化梯度特征、暗通道特征及小波特征，合并成50維的混合特征集。

　　2.3通過風(fēng)格遷移的目標(biāo)檢測(cè)方法

　　2.3.1訓(xùn)練設(shè)置

　　本文采用一階段目標(biāo)檢測(cè)器RefineDet[7]來完成無人機(jī)霧天圖像的目標(biāo)檢測(cè)�？紤]到采用Visdrone2019[19]基礎(chǔ)數(shù)據(jù)集訓(xùn)練的目標(biāo)檢測(cè)模型仍可有限地利用目標(biāo)物形狀信息，本文將基礎(chǔ)數(shù)據(jù)集、最優(yōu)遷移風(fēng)格作用于基礎(chǔ)數(shù)據(jù)集和濃霧數(shù)據(jù)集生成的風(fēng)格數(shù)據(jù)集共同作為訓(xùn)練集，對(duì)RefineDet進(jìn)行重新訓(xùn)練。初始學(xué)習(xí)率設(shè)置為0.001,動(dòng)量設(shè)置為0.9,權(quán)重衰減設(shè)置為0.0005,訓(xùn)練迭代輪次設(shè)置為400000次,批尺寸設(shè)置為16。當(dāng)?shù)�代次�?shù)為200000、320000時(shí)將學(xué)習(xí)率降低10倍。按照訓(xùn)練驗(yàn)證集和測(cè)試集為8：2的比例進(jìn)行數(shù)據(jù)集的隨機(jī)分組。

　　3結(jié)束語

　　針對(duì)無人機(jī)霧天圖像的目標(biāo)檢測(cè)任務(wù)，本文首先采用SVM借助歸一化的梯度特征、暗通道特征、小波特征形成的混合特征對(duì)無人機(jī)圖像進(jìn)行霧氣分類，并自適應(yīng)匹配最優(yōu)的檢測(cè)算法。其次考慮到先去霧后檢測(cè)方法無法解決目標(biāo)檢測(cè)模型過度依靠圖像中目標(biāo)物紋理和表面信息分類，濃霧天氣條件下性能較差的問題，提出通過風(fēng)格遷移的無人機(jī)濃霧圖像目標(biāo)檢測(cè)方法。

　　本文方法進(jìn)一步弱化了霧氣干擾對(duì)目標(biāo)檢測(cè)模型的影響，解決了目標(biāo)檢測(cè)模型過度依靠圖像中目標(biāo)物紋理和表面信息分類的問題，使目標(biāo)檢測(cè)模型更充分地利用圖像中目標(biāo)物的形狀和輪廓信息。經(jīng)測(cè)試，相比于其他方法，本文方法對(duì)合成和真實(shí)的無人機(jī)濃霧圖像的目標(biāo)檢測(cè)性能均有明顯的提升，在合成的無人機(jī)濃霧數(shù)據(jù)集上mAP50最高可提升8%。但本文方法對(duì)較小目標(biāo)的檢測(cè)能力相對(duì)較弱，對(duì)薄霧圖像中目標(biāo)物的檢測(cè)性能低于先去霧后檢測(cè)方法。下一步工作中，將在風(fēng)格遷移過程中進(jìn)一步利用圖像的深度信息，研究以目標(biāo)檢測(cè)為驅(qū)動(dòng)的風(fēng)格遷移方法。

　　參考文獻(xiàn):

　　[1]路靜.微型無人機(jī)的應(yīng)用現(xiàn)狀及未來發(fā)展[J].集成電路應(yīng)用,2018(4):88-91.LuJing.ApplicationStatusandFutureDevelopmentofMicroUAV[J].ApplicationsofIC,2018,35(4):88-91.(inChinese)

　　[2]周啟晨.基于深度學(xué)習(xí)的無人機(jī)對(duì)地目標(biāo)跟蹤算法研究[D].北京:北方工業(yè)大學(xué),2019.ZhouQ.ResearchonObjectTrackingAlgorithmofUAVBasedonDeeplearning[D].NorthChinaUniversityofTechnology,2019.(inChinese)

　　[3]HeKM,SunJ,TangXO.SingleImageHazeRemovalUsingDarkChannelPrior[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2011,33(12):2341-2353.

　　作者：殷旭平1，鐘平1*，薛偉1,2，肖子軒1，李廣

轉(zhuǎn)載請(qǐng)注明來自發(fā)表學(xué)術(shù)論文網(wǎng)：http:///dzlw/26764.html