通過風格遷移的濃霧天氣條件下無人機圖像目標檢測方法

　　摘要：雨霧惡劣天氣條件下，無人機獲取的圖像細節(jié)丟失嚴重，直接對降質圖像進行目標檢測會導致目標的漏檢和錯檢。先去霧后檢測的方法對薄霧天氣條件下無人機圖像的目標檢測性能提升顯著，但無法解決目標檢測模型過度依靠圖像中目標物紋理和表面信息分類的問題,濃霧天氣條件下性能較差。針對這一問題提出通過風格遷移的無人機圖像目標檢測方法，在保持圖像內容不變的基礎上改變圖像的風格，使目標檢測模型從學習目標物紋理和表面信息轉變?yōu)閷W習目標物輪廓這一更高難度的任務。實驗在無人機數(shù)據(jù)集Visdrone2019上進行，首先利用不同濃度霧氣圖像在梯度特征、暗通道特征及小波特征上的差異，將無人機圖像劃分為無霧、薄霧、濃霧圖像。其次針對薄霧和濃霧圖像分別采取去霧和風格遷移的處理方式。實驗結果表明，通過風格遷移的目標檢測方法可以進一步減緩光照、噪聲帶來的影響，并顯著提升無人機濃霧圖像的目標檢測性能，與先去霧后檢測的方法結合，可以自適應地完成無人機濃霧天氣條件下圖像的目標檢測任務。

　　關鍵詞：無人機圖像;霧圖像;風格遷移;目標檢測;霧氣圖像分類

　　0引言隨著科學技術的快速發(fā)展，無人機技術不斷取得新進展。無人機趨于微型化、自動化、智能化，因而被廣泛應用在軍事和民事領域[1]，如：自然災害檢測調查、空中偵察預警、航空監(jiān)測等。目標檢測作為無人機感知和理解環(huán)境的重要手段，是計算機視覺的一項基礎而又高難度的任務[2]，長久以來一直被國內外學者所研究。

　　無人機論文范例：無人機測繪數(shù)據(jù)處理關鍵技術及應用的相關分析

　　目標檢測算法中的一個重要過程是圖像特征提取，主要可以分為手工設計特征提取和深度學習特征提取�；�于深度學習提取特征的方法在無人機圖像目標檢測領域有著優(yōu)良的效果，尤其是對于無人機拍攝的清晰無降質的圖像，可以進一步分為雙階段目標檢測算法[3-6]以及單階段目標檢測算法[7-10]。

　　兩種檢測算法各有特點，雙階段目標檢測算法準確率和精度更高，適用于需要高精度識別的任務;單階段目標檢測器速度更快，適合實時識別任務。然而常見的雨霧惡劣天氣下，無人機獲取的圖像質量受到極大的影響，直接對降質圖像進行目標檢測性能不佳。一種直接提升降質圖像目標檢測性能的方法，是在目標檢測之前，對降質圖像進行去霧，增強圖像中的有效信息。

　　然而基于先驗的去霧方法，如暗通道先驗(DCP)[11]、顏色衰減先驗(CAP)[12]，基于模型驅動的深度網絡去霧方法,如MSCNN[13]、AOD-Net[14]，基于生成對抗網絡的去霧方法，如EPDN[15]，以及基于編碼解碼結構的全卷積神經網絡去霧方法，如GMAN[16]、MSBDN[17]等，都是以人的視覺感知為基礎設計評判標準的。以這種準則為基礎設計的圖像復原方法，雖然可以獲得感知良好的圖像，但目標檢測模型仍過度關注圖像中目標物紋理和表面信息，無法充分利用目標物形狀信息，這通常會損失與目標檢測相關的有效信息，導致濃霧天氣條件下無人機圖像的目標檢測性能變差。

　　事實上，相比依靠人的視覺感知復原的清晰圖像，風格遷移可能更有利于后續(xù)的目標檢測、分類、識別、理解等中高層任務。風格遷移通過圖像生成網絡對輸入圖像進行變換，在保持圖像內容不變的基礎上，將圖像風格變換為預設風格。風格遷移可以平滑圖像中目標物的局部細小紋理特征，豐富目標物的顏色信息，使CNN不能輕易學到目標物的紋理和表面特征，轉而學習目標物輪廓這一更高難度的任務[18]，而輪廓是人類和生物視覺中定義形狀最可靠的信息。

　　據(jù)此，本文提出通過風格遷移的無人機濃霧圖像的目標檢測方法，對無人機濃霧圖像進行風格遷移，來弱化光照、噪聲、天氣變化等帶來的影響，加強目標檢測模型對圖像中目標物邊緣信息的利用。本文在無人機數(shù)據(jù)集Visdrone2019[19]上進行實驗。實驗結果表明將歸一化的梯度特征、暗通道特征及小波特征作為組合特征，可以準確描述不同霧氣濃度下無人機圖像的特征差異。與先去霧后檢測的方法相比，本文方法對真實無人機濃霧圖像的檢測效果更好，在合成的無人機濃霧數(shù)據(jù)集上進行檢測，mAP50可提升2%～8%。

　　1總體方法

　　本文方法可以自適應地完成不同霧氣濃度的無人機圖像的目標檢測任務，整個過程分三個步驟進行。

　　(1)數(shù)據(jù)集的構建。在無人機數(shù)據(jù)集Visdrone2019[19]上根據(jù)風格遷移模型以及大氣散射模型分別生成32種不同的風格數(shù)據(jù)集和18種不同濃度的霧天數(shù)據(jù)集。

　　(2)無人機霧天圖像的分類。結合圖像的梯度特征、暗通道特征及小波特征，通過SVM進行有監(jiān)督學習,將無人機霧天圖像分為無霧、薄霧、濃霧圖像。

　　(3)無人機霧天圖像的目標檢測。根據(jù)無人機霧天圖像的分類結果，對無霧、薄霧、濃霧圖像分別采用直接檢測、先去霧后檢測、通過風格遷移的檢測方法進行圖像檢測。本文重點描述通過風格遷移的無人機濃霧圖像的目標檢測方法。

　　1.1數(shù)據(jù)集的構建

　　本文將無人機數(shù)據(jù)集Visdrone2019[19]作為基礎數(shù)據(jù)集來構建實驗相關的風格數(shù)據(jù)集和霧天數(shù)據(jù)集。Visdrone2019由8629張帶標注圖像和1580張不帶標注圖像組成，包含12類常見目標，如行人、車輛等。該數(shù)據(jù)集中圖像目標物尺度變化較大，從幾像素到幾千像素不等，且弱小目標十分密集，因此對其進行目標檢測具有一定的挑戰(zhàn)。

　　1.1.1風格數(shù)據(jù)集的構建

　　本文采用快速風格遷移模型[20]來生成風格數(shù)據(jù)集�？焖亠L格遷移模型由圖像生成網絡和損失網絡兩部分組成。圖像生成網絡本質是一個全卷積神經網絡，由5個殘差模塊和一對下采樣和上采樣模塊組成。通過圖像生成網絡將輸入圖像映射成內容和風格與原圖像及風格圖像相似的輸出圖像。損失網絡本質是一個特征提取網絡。通過預訓練的VGG-16網絡提取輸出圖像的感知特征，將其作為度量構建出內容損失函數(shù)和風格損失函數(shù)。此外，為了使輸出圖像更加自然，還引入總變分正則函數(shù)[21]進行約束。

　　1.2無人機霧天圖像的分類

　　針對不同濃度霧氣圖像自適應地選擇合適的處理方法，將會顯著提升目標檢測模型的性能。綜合考慮分類算法的時間復雜度、空間復雜度以及準確率，本文采用基于SVM和混合特征的霧天圖像分類算法。經過大量實驗分析，發(fā)現(xiàn)利用歸一化的梯度特征、暗通道特征及小波特征，可以準確地表征不同霧天圖像的濃度，因此本文將上述三種特征作為混合特征完成對無人機霧天圖像的分類。

　　1.3無人機霧天圖像的目標檢測

　　目前，針對無人機霧天圖像的目標檢測，主流方法是直接檢測或先去霧后檢測，然而這些方法對于無人機濃霧圖像的目標檢測效果較差。因此本文提出通過風格遷移的無人機濃霧圖像目標檢測方法。方法的關鍵在于挑選使目標檢測性能最優(yōu)的遷移風格。文獻[23]提出，風格的選取會對風格遷移過程產生明顯的影響，通過精心挑選遷移風格可以使風格遷移效果得到顯著地提高。然而目前還沒有詳細的分析來可靠地確定哪些風格對風格遷移方法有促進作用。為此本文采用兩種評價準則：主觀評價及定量評價50rAP來衡量遷移風格的好壞，并從中挑選出使目標檢測性能最優(yōu)的遷移風格。

　　2實驗結果與分析

　　2.1實驗環(huán)境

　　CPU:XeonE5-2620v4@2.10GHz;RAM:16GB;GraphicsCard:RTX2080Ti@11GB;OperatingSystem:Ubuntu;Frame:pytorch.1.2.02.2基于SVM的無人機霧天圖像分類本文構建的無人機霧天數(shù)據(jù)集包括18種不同濃度霧氣圖像。分別隨機選取無霧、薄霧、濃霧共4320張圖像組成霧氣分類數(shù)據(jù)集。提取這些圖像的歸一化梯度特征、暗通道特征及小波特征，合并成50維的混合特征集。

　　2.3通過風格遷移的目標檢測方法

　　2.3.1訓練設置

　　本文采用一階段目標檢測器RefineDet[7]來完成無人機霧天圖像的目標檢測�？紤]到采用Visdrone2019[19]基礎數(shù)據(jù)集訓練的目標檢測模型仍可有限地利用目標物形狀信息，本文將基礎數(shù)據(jù)集、最優(yōu)遷移風格作用于基礎數(shù)據(jù)集和濃霧數(shù)據(jù)集生成的風格數(shù)據(jù)集共同作為訓練集，對RefineDet進行重新訓練。初始學習率設置為0.001,動量設置為0.9,權重衰減設置為0.0005,訓練迭代輪次設置為400000次,批尺寸設置為16。當?shù)�代次�?shù)為200000、320000時將學習率降低10倍。按照訓練驗證集和測試集為8：2的比例進行數(shù)據(jù)集的隨機分組。

　　3結束語

　　針對無人機霧天圖像的目標檢測任務，本文首先采用SVM借助歸一化的梯度特征、暗通道特征、小波特征形成的混合特征對無人機圖像進行霧氣分類，并自適應匹配最優(yōu)的檢測算法。其次考慮到先去霧后檢測方法無法解決目標檢測模型過度依靠圖像中目標物紋理和表面信息分類，濃霧天氣條件下性能較差的問題，提出通過風格遷移的無人機濃霧圖像目標檢測方法。

　　本文方法進一步弱化了霧氣干擾對目標檢測模型的影響，解決了目標檢測模型過度依靠圖像中目標物紋理和表面信息分類的問題，使目標檢測模型更充分地利用圖像中目標物的形狀和輪廓信息。經測試，相比于其他方法，本文方法對合成和真實的無人機濃霧圖像的目標檢測性能均有明顯的提升，在合成的無人機濃霧數(shù)據(jù)集上mAP50最高可提升8%。但本文方法對較小目標的檢測能力相對較弱，對薄霧圖像中目標物的檢測性能低于先去霧后檢測方法。下一步工作中，將在風格遷移過程中進一步利用圖像的深度信息，研究以目標檢測為驅動的風格遷移方法。

　　參考文獻:

　　[1]路靜.微型無人機的應用現(xiàn)狀及未來發(fā)展[J].集成電路應用,2018(4):88-91.LuJing.ApplicationStatusandFutureDevelopmentofMicroUAV[J].ApplicationsofIC,2018,35(4):88-91.(inChinese)

　　[2]周啟晨.基于深度學習的無人機對地目標跟蹤算法研究[D].北京:北方工業(yè)大學,2019.ZhouQ.ResearchonObjectTrackingAlgorithmofUAVBasedonDeeplearning[D].NorthChinaUniversityofTechnology,2019.(inChinese)

　　[3]HeKM,SunJ,TangXO.SingleImageHazeRemovalUsingDarkChannelPrior[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2011,33(12):2341-2353.

　　作者：殷旭平1，鐘平1*，薛偉1,2，肖子軒1，李廣

轉載請注明來自發(fā)表學術論文網：http:///dzlw/26764.html