本文摘要：摘要：針對傳統(tǒng)高速公路異常事件檢測方法效率低、漏檢率高、實時性較差等問題，提出基于視頻時空關(guān)系的高速公路異常停車檢測方法。首先，采用基于交通流頻率分析的無監(jiān)督分割方法分割道路圖像，去除較小連通域提取道路分割圖;然后，通過透視關(guān)系模型將近遠目標歸一化到
摘要：針對傳統(tǒng)高速公路異常事件檢測方法效率低、漏檢率高、實時性較差等問題，提出基于視頻時空關(guān)系的高速公路異常停車檢測方法。首先，采用基于交通流頻率分析的無監(jiān)督分割方法分割道路圖像，去除較小連通域提取道路分割圖;然后，通過透視關(guān)系模型將近遠目標歸一化到同一尺度并進行裁剪，輸入YOLOv4網(wǎng)絡(luò)進行二次檢測增強對近遠目標檢測的魯棒性;最后建立時空信息矩陣，通過時空矩陣的更新與NMS(Non-MaximumSuppression)方法檢測合并異常區(qū)域并輸出檢測結(jié)果。實驗結(jié)果顯示，該方法在遠距離場景中的準確率為95%，在擁擠場景中的準確率為93%;通過對比實驗結(jié)果發(fā)現(xiàn)該方法能夠有效提高復(fù)雜場景下異常停車檢測準確率且具有良好的泛化能力。
關(guān)鍵詞：智能交通;異常停車;道路分割;YOLOv4;透視關(guān)系;時空關(guān)系
0引言
近年來，我國機動車數(shù)量不斷增加，給現(xiàn)有道路通行能力和交通管控能力帶來了巨大挑戰(zhàn)。特別是在高速公路環(huán)境中，車輛違停等異常行為一旦發(fā)生，將會導(dǎo)致嚴重的交通事故。因此及時發(fā)現(xiàn)異常行駛車輛，檢測交通異常事件十分重要。傳統(tǒng)人工觀看視頻監(jiān)控并判斷交通事件異常的檢測方式勞動強度大，工作效率低且存在漏判現(xiàn)象，已不能滿足智能交通發(fā)展的需求，基于計算機視覺的交通異常事件自動檢測技術(shù)越來越受到學(xué)者們的重視[1~3]。
目前主流的基于計算機視覺的異常自動檢測方法包括：基于模型的異常行為檢測和基于深度學(xué)習(xí)的異常行為檢測[4]�；谀Ｐ偷姆椒ㄍǔ２捎谜颖具M行模型構(gòu)造，由于異常行為會偏離正常行為模型，故在測試階段偏離模型的樣本即可判定為異常。
高斯混合模型(GMM)、隱馬爾可夫模型(HMM)是異常檢測中常用的參數(shù)模型。在車輛異常行為檢測算法中，GMM模型可以自動獲取關(guān)聯(lián)屬性并通過曲面擬合和加權(quán)抽樣策略克服異常檢測中樣本不足的問題[5,6]，但其計算過程復(fù)雜且特征數(shù)目較大時計算成本較高。HMM模型可以依據(jù)時域特征將目標行為分解為簡單和復(fù)雜兩部分以有效檢測場景中的細微異常行為[7]，但其在訓(xùn)練時需提前設(shè)定狀態(tài)數(shù)目且無法更改，因此僅適用于對場景先驗知識較了解的情況。狄利克雷混合模型(DPMM)是一種非參數(shù)模型，基于DPMM對車輛行為建模時無須提前設(shè)定模型數(shù)目，相比于參數(shù)模型更適用于對視頻中復(fù)雜場景的異常檢測[8,9]。
上述基于模型的異常檢測雖然具有良好的檢測效果，但其依賴于手工提取時空域特征且場景遷移能力差。因此隨著深度學(xué)習(xí)的發(fā)展，異常行為檢測算法正由基于模型的方法向基于深度學(xué)習(xí)的方法轉(zhuǎn)換�；谏疃葘W(xué)習(xí)的異常檢測方法通過特定的網(wǎng)絡(luò)結(jié)構(gòu)，從大量訓(xùn)練數(shù)據(jù)中自動提取由低階邊緣到高階語義等更具有判別性的行為表示特征，具有更優(yōu)異的行為檢測性能。
基于深度學(xué)習(xí)的異常檢測方法可分為基于監(jiān)督學(xué)習(xí)的方法和基于無監(jiān)督學(xué)習(xí)的方法。基于監(jiān)督學(xué)習(xí)的方法操作簡單、易于理解，但標注數(shù)據(jù)需要大量時間，面對真實場景時檢測效果不佳，此外該方法需要大量時間調(diào)節(jié)參數(shù)以獲取最佳異常檢測結(jié)果[10,11]。所以基于深度學(xué)習(xí)的方法更多的采用無監(jiān)督的訓(xùn)練方法。Lazzaretti等應(yīng)用自動編碼器對正常樣本行為進行特征表示，再利用解碼器對視頻幀進行重建，最后根據(jù)重建誤差檢測異常[12]。
文獻[13]基于變分自編碼器(VAE)通過端對端的深度學(xué)習(xí)技術(shù)將正常樣本的隱層表示約束成一個高斯分布，計算測試樣本隱層表示屬于高斯分布的概率并根據(jù)檢測門限判斷其是否異常。Liu等利用生成對抗網(wǎng)絡(luò)(generativeadversarialnetwork，GAN)等生成式網(wǎng)絡(luò)對視頻進行重建或預(yù)測，再將重建誤差大于閾值的個例判定為異常[14]。Chong等通過將空間卷積特征提取器和時間特征提取器合并到深度自動編碼器中，構(gòu)建了一個端到端的異常檢測模型[15]。Medel等采用基于卷積LSTM(convolutionalLSTM，Conv-LSTM)網(wǎng)絡(luò)的自編碼器對正常行為的外觀和運動模式進行建模，進一步提高了基于自編碼器的異常行為檢測方法的性能[16]。
基于無監(jiān)督的車輛異常行為檢測算法無須對樣本進行注釋，僅依靠樣本數(shù)據(jù)自身分布規(guī)律將小概率事件判定為異常。但在異常檢測時需要構(gòu)建復(fù)雜的網(wǎng)絡(luò)模型，檢測效率低且需要對原始樣本數(shù)據(jù)進行大量的處理和分析。例如，自編碼器通過無監(jiān)督的方式對交通場景中的車輛正常行為進行特征表示，但車輛異常行為的檢測需要對比分析正常樣本檢測來重建誤差�；谝陨瞎ぷ�，本文提出基于時空關(guān)系的異常停車檢測，該方法采用無監(jiān)督學(xué)習(xí)，檢測結(jié)果僅依賴于目標識別結(jié)果，無須對待測數(shù)據(jù)進行分析與處理，能夠準確定位異常啟停時間，有效適應(yīng)多變的環(huán)境。
首先使用均值法建立背景，再依據(jù)交通流頻率信息分割路面;其次將透視關(guān)系與YOLOv4網(wǎng)絡(luò)結(jié)合以進行車輛目標檢測，該操作將處于圖像中不同位置的目標歸一化，提高了遠處小目標檢測的精度;然后根據(jù)車輛檢測結(jié)果構(gòu)造時空矩陣以記錄每個被檢像素的時空狀態(tài);最后依據(jù)時空矩陣的更新檢測異常，并對得到的異常采用非極大值抑制(NMS)方法進行回溯合并以得到準確的異常區(qū)域和開始、結(jié)束時間。該檢測方法能夠快速高效的檢測異常停車事件且具有良好的泛化能力。
1基于透視關(guān)系和YOLOv4模型的車輛檢測
1.1交通流頻率道路分割
為了獲取車輛坐標位置，判斷車輛違停狀態(tài)，精確提取運動目標前景是后續(xù)目標檢測和異常檢測的關(guān)鍵。高速公路監(jiān)控視頻圖像視野較大，需要選用合適的方法分割路面以排除場景外房屋或路側(cè)樹木對目標檢測的影響。本文應(yīng)用一種基于交通流頻率分析的無監(jiān)督分割方法，該方法操作簡單且效果良好。
1.2透視關(guān)系建模
濾除運動目標后需要檢測靜止車輛，然而實際交通場景中遠處小目標容易漏檢從而導(dǎo)致異常事件漏檢。因此本文利用透視關(guān)系[18]將近遠目標歸一化到一個更小的波動范圍以增強對近遠目標檢測的魯棒性。
1.3基于透視關(guān)系的YOLOv4車輛檢測
透視關(guān)系的建立主要依靠檢測框結(jié)果，因此選用合適的目標檢測算法進行初始檢測十分重要。目前主流的目標檢測算法有ONE-STAGE和TWO-STAGE兩種，TWO-STAGE指檢測算法分兩步完成，首先獲取候選區(qū)域，然后進行分類，典型代表有CNN[21]系列;與之相對的ONESTAGE檢測則無須單獨尋找候選區(qū)域，如SSD[22]/YOLO[23]系列。
YOLO能夠在GPU上每秒處理較高幀數(shù)，同時提供與其他先進的模型相同甚至更好的精度[24]。速度是交通視頻檢測異常的關(guān)鍵，因此本文選用YOLOv4網(wǎng)絡(luò)作為車輛目標檢測網(wǎng)絡(luò)并將其與透視關(guān)系結(jié)合以獲取車輛的精確位置。首先利用YOLOv4獲取初始檢測框結(jié)果，然后應(yīng)用線性回歸計算透視關(guān)系中的關(guān)鍵系數(shù)和，基于此就能夠?qū)D像中不同區(qū)域的尺度進行歸一化裁剪。裁剪區(qū)域面積根據(jù)區(qū)域內(nèi)可容納的目標數(shù)量進行劃分。
2基于時空關(guān)系的車輛異常停車檢測方法
通過透視檢測模塊能夠獲取靜止車輛位置信息，但并非所有檢測的靜止車輛都可判定為異常，并且根據(jù)檢測結(jié)果確定同一異常開始和結(jié)束時間十分困難。一個常用方法是使用對象跟蹤[26,27]或光流法[28]分析同一車輛的軌跡以判定異常。但是基于軌跡特征的異常檢測依賴于軌跡提取，而視頻質(zhì)量、車輛間互相干擾都會導(dǎo)致軌跡縮減。其中，當連續(xù)檢測到某位置時，該位置進入可疑異常狀態(tài)，該異常狀態(tài)由Vstate更新，當檢測到最新異常時，計數(shù)矩陣Vdetected和連續(xù)未檢測矩陣Vundetected更新。
道路異常停車的一個主要標準是停車時間長短。故本文只分析進入可疑異常狀態(tài)且持續(xù)時間最長的位置。當異常持續(xù)時間過長(大于60s)時，以該位置為起點進行廣度優(yōu)先遍歷，以得到Vdetected中計數(shù)值相似的連通區(qū)域。同時記錄該連通區(qū)域進入異常狀態(tài)的開始時間Vstart，同時待該區(qū)域的異常狀態(tài)Vstate更新后輸出結(jié)束時間Vend，并將檢測到連通區(qū)域位置的平均得分作為異常得分。
為了獲取準確完整的異常停車區(qū)域，本文應(yīng)用NMS方法合并上述連通區(qū)域，并將大于閾值IOU(IntersectionoverUnion)的異常更新最早時間定義為異常停車的開始時間，最晚時間為結(jié)束時間。因算法輸入為加權(quán)平均后的圖像，故檢測到靜止車輛時間存在延遲。針對這一問題，本文在固定時間長度內(nèi)對異常區(qū)域的原始圖像進行時間回溯�；厮葸^程中的異常區(qū)域與當前輸出異常區(qū)域面積的IOU大于0.5時，更新異常開始時間。同時，如果在此異常區(qū)域內(nèi)持續(xù)檢測到車輛則繼續(xù)回溯，直到未檢測到新異常為止。算法1基于時空矩陣的異常停車檢測算法
3實驗結(jié)果與分析
3.1實驗方法
3.2實驗數(shù)據(jù)集
本文選取來自三個真實高速公路中不同場景的監(jiān)控視頻和UADETRAC數(shù)據(jù)集[16]作為車輛檢測數(shù)據(jù)樣本。其中UADETRAC包含使用CannonEOS550D相機在在中國北京和天津不同位置拍攝的24個10小時視頻，分辨率為960*540。高速公路監(jiān)控視頻包含雨天、夜晚等復(fù)雜天氣和匝道、主干道、上坡等不同場景的5段視頻，分辨率為1270*980，從中抽取若干幀采用人工方式進行標注和分類。該混合數(shù)據(jù)集共包含5200張圖像，采用隨機選擇的方式將數(shù)據(jù)集分成80%的訓(xùn)練集和20%的測試集。
訓(xùn)練集有3924張圖像，其中，包含2616張來自真實高速公路的監(jiān)控視頻，1308張來自UADETRAC數(shù)據(jù)集。測試集有1276張圖像車輛目標與訓(xùn)練集完全不同的圖像以測試已訓(xùn)練模型的準確率。由于來自真實環(huán)境的異常數(shù)據(jù)難以捕捉，因此本次實驗使用英偉達官方發(fā)布的異常事件檢測數(shù)據(jù)集[29]。該數(shù)據(jù)集由100個視頻組成，每個視頻平均時長約15分鐘，幀速為每秒30幀，分辨率為800*410，共包含18起由車禍、違章停車引起的異常停車事件。
3.3實驗評價指標
異常數(shù)據(jù)集包含異常停車事件及異常開始及結(jié)束時間，所以應(yīng)用F1-Score衡量模型檢測性能，F(xiàn)1分數(shù)越大，模型檢測異常準確率越高，應(yīng)用均方根誤差(RMSE)衡量檢測時間誤差，時間誤差越小，模型檢測異常起始時間越準確。
3.4實驗過程及評價
本文以上述異常數(shù)據(jù)集為研究對象，驗證異常停車檢測算法的正確性。其中視頻分辨率為800*410，幀率為30幀/s。截取自高速公路異常停車事件發(fā)生視頻的第1803幀、第5623幀、第7023幀、第10168幀及包括本文算法在內(nèi)的三種異常算法檢測結(jié)果。該視頻展示的是目標車輛由正常行駛狀態(tài)逐漸變?yōu)闇p速慢行狀態(tài)，最后變成停車狀態(tài)的過程。從圖中可以看出，從1803幀到5623幀車輛由正常行駛開始逐漸減速行駛，單位時間內(nèi)的位移逐漸變小;從5623幀到7023幀，車輛由減速行駛變?yōu)橥Ｖ範顟B(tài)，且在該位置停止了一段時間，在10168幀時異常停車狀態(tài)結(jié)束。
其中第一行為基于時序模型[16]的檢測結(jié)果，該方法對運動目標的速度和方向進行建模，提取光流特征至卷積神經(jīng)網(wǎng)絡(luò)并結(jié)合分類算法實現(xiàn)異常停車檢測，但是由于異常發(fā)生時間過長，該時序模型已經(jīng)無法保持異常檢測狀態(tài)導(dǎo)致在7023幀時丟失異常。中間為基于運動目標軌跡[28]的檢測結(jié)果，該方法通過檢測運動目標軌跡并創(chuàng)建基于軌跡的異常判斷模型檢測出了異常停車事件，但是在5623幀中，受異常停車事件影響而行車緩慢的兩輛車軌跡與異常軌跡高度相似(綠色框標注)，導(dǎo)致基于軌跡的異常檢測模型檢測失誤。
最后一行為本文異常檢測模型的檢測結(jié)果，通過輸入加權(quán)平均圖像至本文所述異常停車檢測算法，準確的檢測到了異常停止車輛并給出了異常開始和結(jié)束時間。 為了驗證本文異常停車檢測算法的有效性，分別對高速公路近遠距離場景及道路擁擠場景進行檢測并使用基于運動目標軌跡的異常檢測算法、基于時序模型的檢測算法作對比實驗。實驗中對相關(guān)參數(shù)進行設(shè)置，將正常狀態(tài)轉(zhuǎn)換到可疑狀態(tài)的閾值設(shè)置為6個連續(xù)幀，thresholddetected=6，可疑狀態(tài)轉(zhuǎn)換到正常狀態(tài)的閾值設(shè)置為8個連續(xù)幀，thresholdundetected=8，輸出異常的最短時間閾值為60s，檢測異常的最小分數(shù)閾值為0.8。
在近距離和遠距離場景中，本文方法在時間誤差和準確率方面均表現(xiàn)出了更好的性能。在遠距離場景中本文方法的F1分數(shù)和S分數(shù)更高，說明本文方法能夠提升遠距離場景的事件檢測能力，有效減少事件的漏檢而且檢測時間誤差小。采用基于運動目標軌跡的異常檢測算法，當背景經(jīng)常變化或者目標較小時，易將車輛過濾掉而導(dǎo)致車輛不能有效追蹤，從而使得遠距離場景下的異常事件準確性較低。采用基于時序模型的檢測方法在異常事件持續(xù)時間較長時無法保持檢測狀態(tài)且應(yīng)用深度卷積神經(jīng)網(wǎng)絡(luò)提高檢測準確率需花費較長的時間，難以滿足實時性的要求。
在道路擁擠和正常路況中，本文方法的時間誤差(RMSE)更小，S分數(shù)更大，說明本文方法對異常停車的檢測反應(yīng)更敏感，定位更準確。由于擁堵場景中運動目標數(shù)量多，軌跡匹配和切換復(fù)雜導(dǎo)致獲取運動目標的軌跡質(zhì)量差，難以精確定位停車異常�；跁r序模型的方法需要對運動目標速度方向建模而擁擠道路中車輛運動速度緩慢，提取出的光流特征難以區(qū)分導(dǎo)致異常檢測能力下降。
4結(jié)束語
本文完成了基于視頻時空關(guān)系的異常停車檢測研究，該方法能夠最大限度減少非異常信息的干擾。首先，量化空間交通頻率得交通流頻率分割圖，二值化分割圖后過濾小的獨立連接域?qū)崿F(xiàn)無監(jiān)督道路分割，消除道路外因素的干擾;通過不斷疊加輸入幀來增強靜態(tài)對象，消除動態(tài)交通干擾。其次，利用透視關(guān)系和YOLOv4獲取車輛坐標，透視關(guān)系將視頻遠近區(qū)域轉(zhuǎn)換成統(tǒng)一的尺度，提高了目標檢測精度。
最后，提取視頻時空矩陣分析異�？臻g中的車輛位置，應(yīng)用NMS模塊合并異常檢測信息得到異常的開始和結(jié)束時間。實驗結(jié)果表明，本文提出的高速公路異常停車檢測算法可以提升遠距離場景和擁堵場景下異常事件的檢測準確率，且無須標注數(shù)據(jù)和構(gòu)建復(fù)雜的網(wǎng)絡(luò)模型，計算速度快，占用資源少，體現(xiàn)了識別準確性和實時性。但該方法無法在線實時應(yīng)用，后續(xù)計劃將檢測結(jié)果替換為車輛密度圖，以實現(xiàn)對車輛位置和概率分布的更連續(xù)估計，并提高時間估計的準確性。
參考文獻：
[1]MouLuntian,MaoShasha,XieHaitao,etal.Structuredbehaviorpredictionofon-roadvehiclesviadeepforest[J].ElectronicsLetters,2019,55(8):452-454.
[2]LINWY,ZHOUY,XUHT,etal.Atube-and-droplet-basedapproachforrepresentingandanalyzingmotiontrajectories.IEEETransactionsonPatternAnalysisandMachineIntelligence,2017,39(8):1489-1503.
[3]DegardinB,ProenaH.Iterativeweak/self-supervisedclassificationframeworkforabnormaleventsdetection[J].PatternRecognitionLetters,2021:145.
[4]ShiraziMS,MorrisBT.Lookingatintersections:Asurveyofintersectionmonitoringbehaviorandsafetyanalysisofrecentstudies[J]. IEEETransactionsonIntelligentTransportationSystems,2017:1-21.
[5]李楠芳,王旭,馬學(xué)智,等.基于隱高斯模型的多元離散數(shù)據(jù)異常檢測[J].計算機應(yīng)用與軟件,2018,35(08):249-253.(LiNanfang,WangXu,MaXuezhi.et.al.MultivariateDiscreteDataAnomalyDetectionBasedonHiddenGaussianModel.Computerapplicationsandsoftware.2018,35(08):249-253.)
[6]Aköz,Ömer,KarsligilME.Trafficeventclassificationatintersectionsbasedontheseverityofabnormality[J].MachineVisionandApplications.2014,25(3):613-632.
[7]NganHYT,YungNHC,YehAGO.Outlierdetectionintrafficdatabasedonthedirichletprocessmixturemodel[J].IntelligentTransportSystemsIet,2015,9(7):773-781.
[8]SanthoshKK,DograDP,RoyPP,etal.Trajectory-basedsceneunderstandingusingdirichletprocessmixturemodel[J].IEEEtransactionsoncybernetics.2018,51(8):4148-4161.
[9]ChalapathyR,BorzeshiEZ,PiccardiM.Aninvestigationofrecurrentneuralarchitecturesfordrugnamerecognition[C]/ProceedingsoftheSeventhInternationalWorkshoponHealthTextMiningandInformationAnalysis.2016.(2016-9-24)[2021-7-30].http://arxiv.org/abs/1609.07585.
作者：梁睿琳1a，王銳2†，郭迎1a,1b
轉(zhuǎn)載請注明來自發(fā)表學(xué)術(shù)論文網(wǎng)：http:///jjlw/29432.html
