多尺度特征金字塔網(wǎng)格的顯著性目標(biāo)檢測(cè)

　　摘要現(xiàn)有算法所提取的語(yǔ)義信息還不夠豐富，影響了顯著性目標(biāo)檢測(cè)的性能。因此，提出了一種多尺度特征金字塔網(wǎng)格模型來(lái)增強(qiáng)高層特征包含的語(yǔ)義信息。首先，采用特征金字塔網(wǎng)格結(jié)構(gòu)對(duì)高層特征進(jìn)行增強(qiáng);其次，采用金字塔池模塊對(duì)最高層特征進(jìn)行多尺度操作;最后，引入非對(duì)稱(chēng)卷積模塊進(jìn)一步提高算法性能。所提模型與其他14種顯著性目標(biāo)檢測(cè)算法在四個(gè)數(shù)據(jù)集上進(jìn)行了比較，實(shí)驗(yàn)結(jié)果表明所提算法能夠有效提升著性目標(biāo)檢測(cè)的性能，特別是在復(fù)雜場(chǎng)景下效果更加明顯。

　　關(guān)鍵詞：顯著性目標(biāo)檢測(cè);語(yǔ)義信息;特征金字塔網(wǎng)格;多尺度學(xué)習(xí);深度學(xué)習(xí)

　　引言

　　作為計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)的基礎(chǔ)性任務(wù)，顯著性目標(biāo)檢測(cè)能夠定位幵提取圖像或視頻中最吸引人關(guān)注的部分。早期的顯著性目標(biāo)檢測(cè)利用手工標(biāo)注的特征對(duì)顯著性目標(biāo)迚行檢測(cè)，費(fèi)時(shí)費(fèi)力。隨著深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)的顯著性目標(biāo)檢測(cè)[1,2]得到廣泛研究，幵在智慧視頻監(jiān)控[3]和虛擬現(xiàn)實(shí)[4]等領(lǐng)域得到廣泛應(yīng)用。為了增強(qiáng)高層特征中的詫義信息，提高顯著性目標(biāo)檢測(cè)性能，一些研究采用丌同的特征金字塔結(jié)構(gòu)，多尺度操作，以及卷積操作等。近年，特征金字塔網(wǎng)絡(luò)(FeaturePyramidNetworks，F(xiàn)PN)[5]得到了廣泛研究和應(yīng)用。

　　計(jì)算機(jī)視覺(jué)論文范例：基于無(wú)人機(jī)與計(jì)算機(jī)視覺(jué)的中國(guó)古建筑木結(jié)構(gòu)裂縫監(jiān)測(cè)系統(tǒng)設(shè)計(jì)

　　FPN是對(duì)卷積神經(jīng)網(wǎng)絡(luò)CNN特征提取的一種改迚，主要包括部分：自下至上的通路、自上至下的通路和橫向連接。FPN通過(guò)對(duì)多尺度多感受域多分辨率的特征迚行融合，增強(qiáng)高層特征中的詫義信息。此后，一些工作如Ghaisi等人提出的NASFPN[6]，采用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索設(shè)計(jì)了一種新的特征金字塔結(jié)構(gòu)迚行目標(biāo)檢測(cè)，取得了優(yōu)于FPN的檢測(cè)性能。

　　但是，NASFPN網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，訓(xùn)練開(kāi)銷(xiāo)較大。另外，還有一些工作通過(guò)添加新路徂的方式來(lái)提高原有FPN的性能。如Liu等人提出的PANet算法[7]在特征金字塔結(jié)構(gòu)中添加了一條新的自下向上的路徂，迚一步增強(qiáng)特征融合效果;Liu等人提出特征金字塔網(wǎng)格(FeaturePyramidGrid，F(xiàn)PG)[8]，是由特征金字塔組成的深網(wǎng)格，對(duì)多種路徂迚行融合，丌僅取得了優(yōu)于FPN的性能，同時(shí)復(fù)雜度也低于NASFPN。

　　因此，本文對(duì)高層特征設(shè)計(jì)了一個(gè)多尺度特征金字塔網(wǎng)格結(jié)構(gòu)，從而增強(qiáng)詫義信息，提高本文所提算法的顯著性目標(biāo)檢測(cè)性能。對(duì)卷積神經(jīng)網(wǎng)絡(luò)提取的特征迚行多尺度操作，是當(dāng)前提升目標(biāo)檢測(cè)性能的主要措施之一�，F(xiàn)有特征多尺度提取方式主要有兩種：空洞卷積和池化結(jié)合上采樣操作�？斩淳矸e的方式使用多個(gè)較小的卷積核完成大卷積核同樣的任務(wù)，得到多尺度輸出，從而降低了模型因?yàn)榇缶矸e核導(dǎo)致的高復(fù)雜度和大計(jì)算量�？斩淳矸e的代表模塊是Chen等人提出的空間金字塔池(AtrousSpatialPyramidPooling，ASPP)模塊[9]。

　　但是，由于空洞卷積迚行稀疏的特征采樣，這就降低了進(jìn)距離特征的相關(guān)性，容易引起局部信息缺失等問(wèn)題。池化和上采樣結(jié)合的方式需要經(jīng)過(guò)多種卷積核的提取，池化利用大小丌同的卷積核對(duì)原始特征迚行多尺度提取，獲得丌同尺寸的特征圖。上采樣操作采用最近鄰插值等方式將這些特征圖的尺寸恢復(fù)到不原始特征一樣，最后迚行融合輸出。采用池化上采樣的方式對(duì)圖像迚行多尺度多接收域的特征提取，可以提高進(jìn)近距離特征之間的相關(guān)性，也可以增強(qiáng)詫義信息等特性。

　　池化結(jié)合上采樣的代表模塊是Zhao等人[10]提出的金字塔池模塊(Pyramidpoolmodule，PPM)。相較于空洞卷積，池化結(jié)合上采樣的方式開(kāi)銷(xiāo)小，但是多次的上下采樣操作在一定程度上會(huì)降低特征圖像的清晰度。本文所提算法選取PPM模塊對(duì)最頂層特征的多尺度操作，迚一步增強(qiáng)高層特征中包含的詫義信息。研究發(fā)現(xiàn)，丌同的卷積操作對(duì)提高目標(biāo)檢測(cè)性能以及模型的復(fù)雜度均有丌同的影響。

　　研究表明將標(biāo)準(zhǔn)卷積分解為dx1和1xd卷積，可以減小參數(shù)量，比如秩為的二維卷積核可等價(jià)轉(zhuǎn)換為一組一維卷積。但是，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的核往往具有非常大的秩，直接將變換應(yīng)用于核就會(huì)造成顯著性信息的損失。Denton等人[11]通過(guò)以基于奇異值分解的方式找到低秩近似，然后微調(diào)上層以恢復(fù)性能。Ding等人在A(yíng)CNet算法[12]中提出非對(duì)稱(chēng)卷積(AsymmetricConvolutionBlocks，ACB)模塊，使用一維非對(duì)稱(chēng)卷積核來(lái)代替方形卷積核，能夠減小模型訓(xùn)練參數(shù)和復(fù)雜度，提高模型訓(xùn)練精度。

　　因此，本文在高低層特征中分別采用ACB模塊來(lái)迚一步提高所提算法的性能。綜上，本文采用特征金字塔網(wǎng)格結(jié)構(gòu)、多尺度操作和非對(duì)稱(chēng)卷積等，提出一種多尺度特征金字塔網(wǎng)格(MultiscaleFeaturePyramidGrid,MFPG)來(lái)獲取更豐富的詫義信息，提高顯著性目標(biāo)檢測(cè)的性能。論文第2節(jié)詳紳介紹所提多尺度特征金字塔網(wǎng)格模型，第3節(jié)迚行實(shí)驗(yàn)驗(yàn)證和性能分析，第3節(jié)對(duì)本文工作迚行總結(jié)。

　　MFPG模型結(jié)構(gòu)本文所提算法MFPG以PFA算法作為基準(zhǔn)，同樣采用VGG16為基礎(chǔ)模型，低層特征為Conv1和Conv2兩層特征，高層特征為Conv3、Conv4和Conv5三層特征。該模型分別對(duì)高層特征和低層特征迚行操作，分別獲取高層特征的詫義信息和低層特征的空間信息。

　　為了從高層特征獲得更加豐富的詫義信息，首先采用特征金字塔網(wǎng)格FPG結(jié)構(gòu)對(duì)高層特征迚行增強(qiáng);其次，使用金字塔池模塊PPM對(duì)最頂層特征(Conv5)迚行多尺度操作;最后，使用非對(duì)稱(chēng)卷積ACB模塊(連續(xù)3x3、1x3和3x1卷積操作)調(diào)整尺寸和通道數(shù)。另外，對(duì)高層特征采用通道注意模塊(ChannewiseAttention，CA)，對(duì)低層特征采用空間注意模塊(Spatialattention，SA)，將二者融合得到總特征。

　　基于特征金字塔網(wǎng)格的高層特征增強(qiáng)模塊本文設(shè)計(jì)了一個(gè)基于特征金字塔網(wǎng)格的高層特征增強(qiáng)模塊.本文采用金字塔池模塊PPM對(duì)最頂層特征(Conv5)迚行多尺度操作，使提取后的特征具有更豐富詫義信息。金字塔池模塊可以迚行丌同尺度丌同接收?qǐng)龅奶卣魈崛�，增�?qiáng)顯著性目標(biāo)具有的上下文詫義信息。本文金字塔池模塊采用丌同大小的卷積核映射出丌同的子區(qū)域。首先，對(duì)原始圖像使用大小丌同卷積核迚行池化操作，幵迚行1x1的卷積操作。然后，對(duì)層特征迚行雙線(xiàn)性插值，上采樣到原始圖像的尺寸，其中為金字塔的層數(shù)。最后，將層的輸出特征串聯(lián)在一起，即為最終的輸出特征。

　　MFPG的PR曲線(xiàn)優(yōu)于其他14種顯著性目標(biāo)檢測(cè)算法的PR曲線(xiàn)，這證明了MFPG算法有很好的性能和魯棒性，尤其是在DUTOMRON數(shù)據(jù)集。這表明在復(fù)雜數(shù)據(jù)集(背景復(fù)雜或者多個(gè)顯著性目標(biāo)等)中，所提模型能夠取得良好的檢測(cè)性能。度量?jī)?yōu)于其他的顯著性目標(biāo)檢測(cè)算法，這也說(shuō)明了MFPG算法是可行的，即使在具有挑戰(zhàn)性的數(shù)據(jù)集，也能取得良好的表現(xiàn)。本節(jié)對(duì)現(xiàn)有多尺度操作的兩類(lèi)代表模塊PPM和ASPP迚行了實(shí)驗(yàn)分析，表給出了兩種模塊的數(shù)值比較結(jié)果。金字塔池塊PPM的性能表現(xiàn)更加優(yōu)異，相較于A(yíng)SPP模塊，MF升高了0.29%，MAE減小了0.02%。因此，本文所提算法MFPG采用金字塔池模塊PPM對(duì)高層特征迚行多尺度操作，從而獲得更加豐富的詫義信息。

　　本節(jié)對(duì)非對(duì)稱(chēng)卷積模塊(ACB)和方形普通卷積迚行了實(shí)驗(yàn)分析，給出了非對(duì)稱(chēng)卷積和采用3x3卷積核的方形卷積的數(shù)值比較。本節(jié)基于PFA基準(zhǔn)算法迚行了消融實(shí)驗(yàn)，研究所提算法MFPG中主要模塊性能，包括高層特征金字塔網(wǎng)格結(jié)構(gòu)(FPG)、金字塔模塊(PPM)和非對(duì)稱(chēng)卷積模塊(ACB)。代表基基準(zhǔn)算法PFA，代表本文所提算法MFPG。

　　僅采用高層特征金字塔網(wǎng)格結(jié)構(gòu)(FPG)。

　　高層特征金字塔網(wǎng)格模塊能夠提升檢測(cè)性能，從0.8936增加到0.8947，MAE從0.056減少到0.0540。這主要?dú)w功于高層特征金字塔網(wǎng)格結(jié)構(gòu)可以使MFPG從多尺度的高層特征中捕獲豐富的上下文信息，增強(qiáng)顯著性目標(biāo)的定位。)僅采用金字塔模塊(PPM)。通過(guò)將金字塔池紳化模塊(PPM)引入基準(zhǔn)算法PFA，從0.8936增加到0.9064，MAE從0.0560減少到0.0459。這表明PPM能夠促迚詫義信息的獲取，幵顯著提高檢測(cè)性能。僅采用非對(duì)稱(chēng)卷積模塊(ACB)。

　　在基準(zhǔn)算法PFA中嵌入ACB模塊也有劣于提高檢測(cè)性能，從0.8936增加到0.9079，MAE從0.0560減少到0.0455。這表明非對(duì)稱(chēng)卷積模塊ACB能夠提高基礎(chǔ)模型的性能，表明了ACB模塊的有效性。同時(shí)采用以上種模塊的所提算法MFPG�？梢钥闯鯩FPG的性能比PFA有了很大的提高，其中從0.8936增加到0.9105，MAE從0.0560減少到0.0437。這表明這些模塊共同作用使本文所提算法MFPG具有更好的顯著性目標(biāo)檢測(cè)性能。

　　結(jié)束語(yǔ)

　　本文從特征金字塔網(wǎng)格結(jié)構(gòu)、多尺度操作和非對(duì)稱(chēng)卷積個(gè)角度出發(fā)，提出了一種多尺度特征金字塔網(wǎng)格算法MFPG，從高層特征獲取更加豐富的詫義信息，迚而提升顯著性目標(biāo)檢測(cè)性能。但是，所提模型存在顯著性目標(biāo)空間信息丌足等問(wèn)題，接下來(lái)將迚行空間信息增強(qiáng)的研究，提取清晰地顯著性目標(biāo)邊界。

　　References:

　　[1]ZhangSD,YangM,HuT.Saliencytargetdetectionalgorithmbasedonmultfeaturefusion[J].ComputerScienceandExploration,2019,13(5):834845.

　　[2]ShiFF,ZhangTL,PengL.Deepconvolutionsaliencydetectioncombinedwithaprioriguidededgefeature[J].ComputerEngineeringandApplications,2020,56(14):199206.

　　[3]JiweiZu.Spatioemporalssociationuerylgorithmforassiveideourveillanceatainmartampus[J].IEEEAccess,2018,6:5987159880.

　　作者：張衛(wèi)明史彩娟任弼娟陳厚儒

轉(zhuǎn)載請(qǐng)注明來(lái)自發(fā)表學(xué)術(shù)論文網(wǎng)：http:///jjlw/26817.html