改進(jìn)YOLOv5的蘋(píng)果花生長(zhǎng)狀態(tài)檢測(cè)方法

所屬分類：農(nóng)業(yè)論文閱讀次時(shí)間：2021-11-12 15:53

本文摘要：摘要：針對(duì)現(xiàn)有目標(biāo)檢測(cè)算法難以在果園復(fù)雜環(huán)境下對(duì)蘋(píng)果花朵生長(zhǎng)狀態(tài)進(jìn)行高精度檢測(cè)的問(wèn)題，提出一種改進(jìn)YOLOv5的蘋(píng)果花朵生長(zhǎng)狀態(tài)檢測(cè)方法，對(duì)花蕾、半開(kāi)、全開(kāi)、凋落四類蘋(píng)果樹(shù)開(kāi)花期花朵生長(zhǎng)狀態(tài)進(jìn)行檢測(cè)。該方法首先對(duì)跨階段局部網(wǎng)絡(luò)模塊進(jìn)行改進(jìn)，并調(diào)整模塊數(shù)量

　　摘要：針對(duì)現(xiàn)有目標(biāo)檢測(cè)算法難以在果園復(fù)雜環(huán)境下對(duì)蘋(píng)果花朵生長(zhǎng)狀態(tài)進(jìn)行高精度檢測(cè)的問(wèn)題，提出一種改進(jìn)YOLOv5的蘋(píng)果花朵生長(zhǎng)狀態(tài)檢測(cè)方法，對(duì)花蕾、半開(kāi)、全開(kāi)、凋落四類蘋(píng)果樹(shù)開(kāi)花期花朵生長(zhǎng)狀態(tài)進(jìn)行檢測(cè)。該方法首先對(duì)跨階段局部網(wǎng)絡(luò)模塊進(jìn)行改進(jìn)，并調(diào)整模塊數(shù)量，結(jié)合協(xié)同注意力模塊設(shè)計(jì)主干網(wǎng)絡(luò)，提高模型檢測(cè)性能并減少參數(shù)。其次，結(jié)合新的檢測(cè)尺度與基于拆分的卷積運(yùn)算設(shè)計(jì)特征融合網(wǎng)絡(luò)，提升網(wǎng)絡(luò)特征融合能力，最后選用CIoU作為邊框回歸的損失函數(shù)實(shí)現(xiàn)高精度的定位。將所改進(jìn)算法與原始YOLOv5算法在自建數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，通過(guò)實(shí)驗(yàn)結(jié)果表明，本文方法mAP達(dá)到92.2%，比YOLOv5提高5.4%，與其他主流算法相比檢測(cè)精度有較大提升，證明了算法的有效性。

　　關(guān)鍵詞：YOLOv5;農(nóng)業(yè)自動(dòng)監(jiān)測(cè);特征融合;目標(biāo)檢測(cè)

蘋(píng)果種植

　　近幾年來(lái)我國(guó)經(jīng)濟(jì)林果產(chǎn)業(yè)飛速發(fā)展，蘋(píng)果作為最常見(jiàn)的經(jīng)濟(jì)林果之一，其規(guī)模與產(chǎn)量逐年增加，但目前經(jīng)濟(jì)林果的栽培質(zhì)量與技術(shù)仍然有待提高。在蘋(píng)果發(fā)育的整個(gè)物候期中，想要提高蘋(píng)果產(chǎn)量除了要做好土、肥、水管理和病蟲(chóng)害防治外，花期管理在整個(gè)過(guò)程中也具有非常重要的地位，在不同的花朵生長(zhǎng)狀態(tài)對(duì)其進(jìn)行人工干預(yù)可以有效提高坐果率和果實(shí)品質(zhì)。對(duì)于蘋(píng)果花朵生長(zhǎng)狀態(tài)的自動(dòng)檢測(cè)也成為一項(xiàng)具有重要價(jià)值的研究。目前，國(guó)內(nèi)外對(duì)經(jīng)濟(jì)林果等農(nóng)作物的自動(dòng)觀測(cè)已經(jīng)展開(kāi)了非常廣泛的研究，通過(guò)計(jì)算機(jī)視覺(jué)技術(shù)可以實(shí)現(xiàn)農(nóng)作物的自動(dòng)化觀測(cè)，從而提高對(duì)農(nóng)作物的管理效率。

　　目前已經(jīng)有多種方法實(shí)現(xiàn)了對(duì)蘋(píng)果的自動(dòng)觀測(cè)，觀測(cè)的工作集中于對(duì)蘋(píng)果果實(shí)的檢測(cè)與產(chǎn)量估計(jì)，以及對(duì)蘋(píng)果物候期的檢測(cè)。但是，關(guān)于蘋(píng)果花期生長(zhǎng)狀態(tài)識(shí)別方面的研究目前還存在很多不足，當(dāng)前的已有成果只能單獨(dú)檢測(cè)全開(kāi)的花朵而無(wú)法將各種生長(zhǎng)狀態(tài)的花朵進(jìn)行高精度的分類檢測(cè)�，F(xiàn)階段對(duì)農(nóng)作物花期的自動(dòng)觀測(cè)集中于圖像分割與目標(biāo)檢測(cè)的手段。鄧穎等[1]使用基于MaskRCNN的神經(jīng)網(wǎng)絡(luò)模型完成了花朵的識(shí)別和分割任務(wù)所提出的柑橘花朵分割識(shí)別方法實(shí)現(xiàn)了對(duì)柑橘花朵目標(biāo)的高效檢測(cè)。

　　Sharma等[2]通過(guò)對(duì)花朵的形狀分析，使用HSV色彩空間的圖像分割和圓形擬合算法計(jì)算出的圓心提出了一種花朵自動(dòng)分割與數(shù)量估算方法。劉雙喜等[3]通過(guò)分析花朵簇輪廓面積值特征，并將其作為聚類特征，建立花量的模糊聚類模型，實(shí)現(xiàn)蘋(píng)果的花朵數(shù)量估計(jì)。DiasP等[4]使用SLIC和CNN結(jié)合的思想，提出一種對(duì)預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行微調(diào)以使其對(duì)花朵敏感的花朵分割方法。鄭玉龍等[5]提出一種結(jié)合Adam及Sgd的深度學(xué)習(xí)模型Resnet20實(shí)現(xiàn)自然環(huán)境下的花朵識(shí)別。

　　DihuaWu等[6]在CSPDarknet53框架下構(gòu)建YOLOv4模型，使用通道修剪算法對(duì)模型進(jìn)行了修剪，從而實(shí)現(xiàn)快速，準(zhǔn)確地檢測(cè)蘋(píng)果花�？偨Y(jié)以上方法，基于通用深度學(xué)習(xí)的模型雖然在蘋(píng)果花朵檢測(cè)這一領(lǐng)域做了大量研究且對(duì)比傳統(tǒng)方法有效提升了檢測(cè)性能，但對(duì)蘋(píng)果花朵生長(zhǎng)狀態(tài)進(jìn)行高精度檢測(cè)方面的研究尚未取得有效成果。在現(xiàn)階段模型訓(xùn)練與推理時(shí)也會(huì)占用大量的計(jì)算資源。致使無(wú)法做到低成本的學(xué)習(xí)，也難以實(shí)現(xiàn)低成本、高精度的農(nóng)業(yè)自動(dòng)化管理。在此現(xiàn)狀下，亟須一種針對(duì)蘋(píng)果花朵生長(zhǎng)狀態(tài)的一階段檢測(cè)方法，從而實(shí)現(xiàn)對(duì)復(fù)雜場(chǎng)景下蘋(píng)果花朵生長(zhǎng)狀態(tài)的檢測(cè)。

　　因此，本文針對(duì)現(xiàn)存問(wèn)題構(gòu)建了一個(gè)真實(shí)果園場(chǎng)景下的蘋(píng)果花期花朵圖像數(shù)據(jù)集，提出了一種改進(jìn)YOLOv5的蘋(píng)果花朵生長(zhǎng)狀態(tài)檢測(cè)方法，直接針對(duì)花朵區(qū)域，對(duì)花朵花蕾期、半開(kāi)期、全開(kāi)期、凋落期四種生長(zhǎng)狀態(tài)進(jìn)行識(shí)別，具有模型架構(gòu)簡(jiǎn)單，容易訓(xùn)練，收斂快的優(yōu)勢(shì)。該方法基于YOLOv5架構(gòu)，結(jié)合協(xié)同注意力機(jī)制CA(CoordinateAttention)模塊[7]對(duì)主干網(wǎng)絡(luò)模塊進(jìn)行改進(jìn)和調(diào)整，減少模型參數(shù)并利用更多的淺層特征;設(shè)計(jì)多尺度檢測(cè)結(jié)構(gòu)，提高對(duì)于小目標(biāo)物體的檢測(cè)性能;融合基于分離的卷積運(yùn)算[8]重新設(shè)計(jì)特征融合網(wǎng)絡(luò);使用CIoU作為邊界框回歸的損失函數(shù)。實(shí)驗(yàn)表明，本文方法對(duì)小目標(biāo)檢測(cè)效果良好，可以應(yīng)對(duì)花朵半開(kāi)與全開(kāi)特征不明顯而導(dǎo)致的誤檢情況，并在精度上相比于基線方法都取得一定幅度提升。

　　1YOLO目標(biāo)檢測(cè)模型

　　目前，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)框架主要分為一階段與兩階段目標(biāo)檢測(cè)器兩大類，兩階段的檢測(cè)器首先生成可能包含目標(biāo)物體的候選區(qū)域，并從每個(gè)候選區(qū)域中提取特征，再對(duì)候選區(qū)域進(jìn)行進(jìn)一步的分類和校準(zhǔn)，從而得到最終的結(jié)果，如FasterRCNN[9]、CascadeRCNN[10]等。單階段檢測(cè)器可以直接對(duì)特征圖上每個(gè)位置的目標(biāo)進(jìn)行分類預(yù)測(cè)，具有更高的檢測(cè)效率，如RetinaNet[11]、SSD[12]、CenterNet[13]等。兩階段檢測(cè)器通常在數(shù)據(jù)集上具有更好的檢測(cè)性能，單階段檢測(cè)器在保障檢測(cè)精度的前提下具有更高的時(shí)間效率，對(duì)硬件設(shè)備的要求更低，在農(nóng)業(yè)自動(dòng)觀測(cè)領(lǐng)域具有更好的適用性。

　　1.1YOLOv5架構(gòu)

　　YOLOv5(YouOnlyLookOnce)是由UitralyticsLLC公司發(fā)布的一種單階段目標(biāo)檢測(cè)算法，YOLOv5相比YOLOv4[14]而言，在檢測(cè)平均精度降低不多的基礎(chǔ)上，具有均值權(quán)重文件更小，訓(xùn)練時(shí)間和推理速度更短的特點(diǎn)。YOLOv5的網(wǎng)絡(luò)結(jié)構(gòu)分為輸入端、Backbone、Neck、Head四個(gè)部分。輸入端主要包括Mosaic數(shù)據(jù)增強(qiáng)、圖片尺寸處理以及自適應(yīng)錨框計(jì)算三部分。

　　Mosaic數(shù)據(jù)增強(qiáng)將四張圖片進(jìn)行組合，達(dá)到豐富圖片背景的效果;圖片尺寸處理對(duì)不同長(zhǎng)寬的原始圖像自適應(yīng)的添加最少的黑邊，統(tǒng)一縮放為標(biāo)準(zhǔn)尺寸;自適應(yīng)錨框計(jì)算在初始錨框的基礎(chǔ)上，將輸出預(yù)測(cè)框與真實(shí)框進(jìn)行比對(duì)，計(jì)算差距后再反向更新，不斷迭代參數(shù)來(lái)獲取最合適的錨框值。Backbone主要包含了BottleneckCSP[15]和Focus模塊。BottleneckCSP模塊在增強(qiáng)整個(gè)卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)性能的同時(shí)大幅減少了計(jì)算量;Focus模塊對(duì)圖片進(jìn)行切片操作，將輸入通道擴(kuò)充為原來(lái)的4倍，并經(jīng)過(guò)一次卷積得到下采樣特征圖，在實(shí)現(xiàn)下采樣的同時(shí)減少了計(jì)算量并提升了速度。

　　Neck中采用了FPN[16]與PAN結(jié)合的結(jié)構(gòu)，將常規(guī)的FPN層與自底向上的特征金字塔進(jìn)行結(jié)合，將所提取的語(yǔ)義特征與位置特征進(jìn)行融合，同時(shí)將主干層與檢測(cè)層進(jìn)行特征融合，使模型獲取更加豐富的特征信息。Head輸出一個(gè)向量，該向量具有目標(biāo)對(duì)象的類別概率、對(duì)象得分和該對(duì)象邊界框的位置。檢測(cè)網(wǎng)絡(luò)由三層檢測(cè)層組成，不同尺寸的特征圖用于檢測(cè)不同尺寸的目標(biāo)對(duì)象。每個(gè)檢測(cè)層輸出相應(yīng)的向量，最后生成原圖像中目標(biāo)的預(yù)測(cè)邊界框和類別并進(jìn)行標(biāo)記。

　　1.2YOLOv5在花朵生長(zhǎng)狀態(tài)檢測(cè)中的問(wèn)題

　　盡管YOLOv5已經(jīng)具有了良好的檢測(cè)性能和推理速度，但針對(duì)本文所解決問(wèn)題，仍然存在以下缺陷：

　　(1)算法中主干網(wǎng)絡(luò)有較多的Bottleneck結(jié)構(gòu)，卷積操作中的卷積核包含大量參數(shù)，導(dǎo)致識(shí)別模型中含有大量參數(shù)，增加了模型的部署成本。由于花蕾期目標(biāo)較小，且小目標(biāo)的物體更依賴于淺層特征，故特征提取中通過(guò)大量的卷積之后容易對(duì)小目標(biāo)對(duì)象的特征提取造成一定的信息丟失。(2)原始模型中分別利用8倍下采樣、16倍下采樣、32倍下采樣的特征圖作為特征層去檢測(cè)目標(biāo)，當(dāng)輸入圖像尺寸為640×640時(shí)，大小分別為80×80、40×40、20×20的檢測(cè)層大小可以用來(lái)分別檢測(cè)大小在8×8、16×16、32×32以上的目標(biāo)，所以當(dāng)某一目標(biāo)在原輸入圖像中大小小于8×8時(shí)去檢測(cè)目標(biāo)將會(huì)變得困難。

　　(3)在路徑聚合網(wǎng)絡(luò)PANet[17](PathAggregationNetwork)中雖然將深層特征圖和淺層特征圖拼接來(lái)融合不同級(jí)別的特征信息，但其并未將更加底層的特征圖與高層特征圖進(jìn)行融合，且未考慮特征內(nèi)部的模式冗余。(4)當(dāng)預(yù)測(cè)框在目標(biāo)框內(nèi)部且預(yù)測(cè)框大小一致時(shí)，邊界框回歸損失函數(shù)GIoU完全退化為IoU損失函數(shù)，無(wú)法實(shí)現(xiàn)高精度的定位。2改進(jìn)的YOLOv5算法針對(duì)YOLOv5在花朵生長(zhǎng)狀態(tài)檢測(cè)中所存在的問(wèn)題，本文對(duì)模型做出如下改進(jìn)來(lái)提升對(duì)花朵生長(zhǎng)狀態(tài)的檢測(cè)效果：

　　(1)在主干網(wǎng)絡(luò)中引入?yún)f(xié)同注意力機(jī)制，在捕獲跨通道信息的同時(shí)，還能捕獲方向感知和位置感知信息，幫助模型更加精準(zhǔn)地定位和識(shí)別感興趣區(qū)域。對(duì)BottleneckCSP結(jié)構(gòu)修改，并減少模塊數(shù)量來(lái)保留更多的淺層特征。(2)在原有網(wǎng)絡(luò)結(jié)構(gòu)三層檢測(cè)層的基礎(chǔ)上，添加小目標(biāo)檢測(cè)層，從而提高對(duì)小目標(biāo)物體的檢測(cè)性能。(3)將PANet中更加底層的特征圖與高層特征圖進(jìn)行融合，且在PANet中使用基于分離的卷積運(yùn)算來(lái)消除同一層內(nèi)輸入特征圖中存在的冗余問(wèn)題。(4)使用CIoU作為邊界框回歸的損失函數(shù)，解決預(yù)測(cè)框在目標(biāo)框內(nèi)部且預(yù)測(cè)框大小一致的情況，提高定位精度。

　　3實(shí)驗(yàn)

　　3.1數(shù)據(jù)集

　　本文的數(shù)據(jù)來(lái)源于中國(guó)山西臨猗農(nóng)田試驗(yàn)站，參考農(nóng)業(yè)氣象觀測(cè)規(guī)范，制定適宜本地的蘋(píng)果花期觀測(cè)標(biāo)準(zhǔn)，于2019年4月(花蕾期)開(kāi)始，采集至2019年5月(凋落期)結(jié)束，使用38885184像素分辨率的田間實(shí)時(shí)監(jiān)測(cè)設(shè)備在不同花期進(jìn)行圖像采集，采集時(shí)間段設(shè)定為每天8點(diǎn)11點(diǎn)、12點(diǎn)15點(diǎn)、16點(diǎn)19點(diǎn)，構(gòu)建了蘋(píng)果花期花朵不同生長(zhǎng)狀態(tài)的圖像數(shù)據(jù)集。

　　4結(jié)束語(yǔ)

　　本文針對(duì)通用深度學(xué)習(xí)目標(biāo)檢測(cè)技術(shù)難以在復(fù)雜果園背景下對(duì)蘋(píng)果花朵不同生長(zhǎng)狀態(tài)進(jìn)行高精度檢測(cè)的問(wèn)題，提出一種改進(jìn)YOLOv5的蘋(píng)果花朵生長(zhǎng)狀態(tài)檢測(cè)方法。該方法基于YOLOv5網(wǎng)絡(luò)架構(gòu)，結(jié)合CA注意力模塊與改進(jìn)的BSP_1模塊設(shè)計(jì)主干網(wǎng)絡(luò)提取特征;增加多尺度檢測(cè)結(jié)構(gòu)并融合基于分離的卷積運(yùn)算設(shè)計(jì)了高效的目標(biāo)提取網(wǎng)絡(luò);使用CIoU作為邊框回歸的損失函數(shù)，提高邊框回歸精度。

　　實(shí)驗(yàn)表明，本文所提出的檢測(cè)方法能夠準(zhǔn)確、快速地檢測(cè)出不同生長(zhǎng)狀態(tài)下的花朵圖像。本文方法在NvidiaRTX2080Ti測(cè)試條件下mAP達(dá)到0922，速度為9321FPS，實(shí)現(xiàn)了高精度、高速率的檢測(cè)，性能高于通用目標(biāo)檢測(cè)模型，該方法為蘋(píng)果花期管理提供了有益的幫助。下一步將在嵌入式設(shè)備上進(jìn)行模型的性能改進(jìn)，進(jìn)一步改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，以實(shí)現(xiàn)移動(dòng)端實(shí)時(shí)花朵生長(zhǎng)狀態(tài)檢測(cè)。

　　參考文獻(xiàn)

　　[1]鄧穎,吳華瑞,朱華吉.基于實(shí)例分割的柑橘花朵識(shí)別及花量統(tǒng)計(jì)[J].農(nóng)業(yè)工程學(xué)報(bào),2020,036(7):200207.DengYing,WuHuarui,ZhuHuaji.Citrusfloweridentificationandflowervolumestatisticsbasedoninstancesegmentation[J].TransactionsoftheChineseSocietyofAgriculturalEngineering,2020,036(7):200207.

　　[2]SharmaA,SharmaVK,SrivastavaDK.Overlappedflowersyielddetectionusingcomputerbasedinterface[J].PerspectivesinScience,2016,8:2527.

　　[3]劉雙喜,孫林林,王震等.復(fù)雜背景下蘋(píng)果樹(shù)花量模糊聚類準(zhǔn)確估測(cè)模型[J].中國(guó)農(nóng)機(jī)化學(xué)報(bào),2017,38(8):7481.LiuShuangxi,SunLinlin,WangZhen,etal.FuzzyClusteringAccurateEstimationModelofAppleTreeFlowerVolumeunderComplexBackground[J].ChineseJournalofAgriculturalMachineryChemistry,2017,38(8):P.7481

　　[4]DiasPA,TabbA,MedeirosH.Appleflowerdetectionusingdeepconvolutionalnetworks[J].ComputersinIndustry,2018,99:1728.

　　[5]鄭玉龍趙明基于深度學(xué)習(xí)的自然環(huán)境下花朵識(shí)別[J].計(jì)算技術(shù)與自動(dòng)化,2019,(2):114118.ZhengYL,ZhaoM.Flowerrecognitioninnaturalenvironmentbasedondeeplearning[J].ComputingTechnologyandAutomation,2019,(2):114118.

　　作者：楊其晟，李文寬，楊曉峰，岳琳茜，李海芳