基于三維視頻融合的礦山視頻監(jiān)控技術(shù)研究

　　摘要傳統(tǒng)礦山視頻監(jiān)控存在視頻數(shù)據(jù)量大、視頻圖像之間關(guān)聯(lián)性差、缺乏與三維空間位置信息的直接聯(lián)動等問題，監(jiān)管人員在面對多個碎片化的監(jiān)控視頻圖像時難以有效復(fù)現(xiàn)場景及位置，這使得突發(fā)事件發(fā)生時不能及時解決相關(guān)問題，嚴重影響了礦山活動的經(jīng)濟環(huán)保和應(yīng)急救援。針對以上問題，提出一種基于三維視頻融合的礦山視頻監(jiān)控方法，利用三維視頻融合技術(shù)，將實時監(jiān)控視頻作為紋理構(gòu)建幾何體，通過特征點選擇、匹配與礦山三維模型進行融合，在此基礎(chǔ)上為了使三維視頻紋理融合效果更好，采用拉普拉斯網(wǎng)格形變算法對視頻幾何體紋理的畸變進行校正。試驗結(jié)果表明，三維視頻融合具有較強的視覺觀感效果，視頻與視頻之間相互關(guān)聯(lián)，整合了碎片化的視頻，視頻與三維模型融合，解決了三維空間數(shù)據(jù)與視頻不聯(lián)動的問題，彌補了傳統(tǒng)視頻監(jiān)管技術(shù)的缺陷，豐富了礦山監(jiān)測的手段。

　　關(guān)鍵詞三維可視化三維視頻融合礦山視頻監(jiān)控網(wǎng)格形變紋理校正

　　當(dāng)前智慧礦山正向著安全、高效、綠色的方向發(fā)展，對礦山信息的呈現(xiàn)從二維到三維進行轉(zhuǎn)變[1]。視頻監(jiān)控是礦山生產(chǎn)監(jiān)管的重要手段之一，傳統(tǒng)的礦山視頻監(jiān)控技術(shù)往往采用平面列表的可視化方式，與三維地理信息結(jié)合不緊密，通常采用給視頻編號的方式記錄其攝像監(jiān)控設(shè)置的位置，只有熟悉現(xiàn)場的人員才能網(wǎng)絡(luò)首發(fā)時間：2021-12-2710:58:52網(wǎng)絡(luò)首發(fā)地址：https://kns.cnki.net/kcms/detail/34.1055.TD.20211224.1209.002.html對監(jiān)控區(qū)域進行快速的定位，監(jiān)管效率低，阻礙了智慧礦山的建設(shè)[2]。通過融合三維模型地理空間位置信息與實時監(jiān)控視頻，將對礦山風(fēng)險預(yù)測、危機預(yù)警、安全監(jiān)管等方面起到重要的輔助作用。

　　因此，可以使用三維可視化技術(shù)對傳統(tǒng)礦山視頻監(jiān)控技術(shù)進行改進。近年來，諸多學(xué)者對礦山的三維可視化技術(shù)進行了大量研究。如：周羽結(jié)合地表建模及可疊加遙感技術(shù)對礦山進行了全方位的立體建模，實現(xiàn)了地上地下一體化顯示[3];李昀等基于WebGL構(gòu)建了三維礦山巷道系統(tǒng)的架構(gòu)，實現(xiàn)了三維巷道可視化、二維三維一體顯示和路徑分析應(yīng)用功能[4];黃青青等設(shè)計了基于Unity3D平臺實現(xiàn)了對大孤山露天鐵礦的三維可視化，真實地展示了大孤山露天鐵礦復(fù)雜的礦巖關(guān)系和時空關(guān)系，增強了三維立體直觀的表現(xiàn)[5]。

　　上述研究對礦山的三維可視化技術(shù)進行了完善，將礦山數(shù)據(jù)與三維地理信息相結(jié)合，進行了可視化的展示，增強了虛擬三維場景的真實性，為礦山的開發(fā)管理和日常調(diào)度提供依據(jù)，但是這些研究都未能結(jié)合實時的礦山生產(chǎn)數(shù)據(jù)，礦山生產(chǎn)變化快，時效性強，空間位置信息不斷變化，這些研究利用已有的數(shù)據(jù)進行三維可視化展示，缺乏時效性，往往只具有展示的作用，將實時的數(shù)據(jù)進行三維可視化能幫助管理人員對礦山生產(chǎn)的突發(fā)事件進行及時的處理，能在實質(zhì)上提升管理效率、保障生產(chǎn)安全。一些其他領(lǐng)域的學(xué)者嘗試將三維模型與實時的視頻進行融合，產(chǎn)生了三維視頻融合技術(shù)[6]。

　　HU利用構(gòu)建紋理幾何體的方式，將視頻圖像作為紋理構(gòu)建幾何體，融合到三維模型上[7];DE等采用投影融合的方式，將視頻圖像投影到三維模型表面[8]。目前三維視頻融合技術(shù)處在發(fā)展階段，仍存在一些問題需要進一步解決，如：三維模型與視頻紋理不契合，攝像機因為拍攝角度出現(xiàn)偏差導(dǎo)致視頻圖像失真，紋理會產(chǎn)生畸變[9]。針對以上研究存在的不足，本文使用三維可視化技術(shù)對傳統(tǒng)的礦山視頻監(jiān)控技術(shù)進行改進，提出一種基于三維視頻融合的礦山視頻監(jiān)控技術(shù)，通過構(gòu)建紋理幾何體的方式，將實時監(jiān)控視頻與礦山三維模型進行融合。

　　構(gòu)建紋理幾何體的方式相較于投影融合的方式優(yōu)勢在于：當(dāng)視頻數(shù)量過多時采用投影融合的方法會影響著色器執(zhí)行，當(dāng)接入多視頻時用構(gòu)建紋理幾何體的方式進行三維視頻融合穩(wěn)定性更高。因此，本文采用了構(gòu)建視頻紋理幾何體的方式進行三維視頻融合，三維場景漫游更穩(wěn)定，同時針對視頻紋理畸變的問題，本文使用了拉普拉斯網(wǎng)格形變算法對紋理畸變進行校正，使三維視頻融合更貼近礦山真實的生產(chǎn)環(huán)境。

　　1技術(shù)路線

　　本研究提出的礦山視頻監(jiān)控技術(shù)基于三維視頻融合思路，其技術(shù)路線主要分為構(gòu)建礦山三維模型、獲取礦山實時監(jiān)控視頻、搭建三維場景3個部分。

　　1.1礦山三維模型構(gòu)建

　　礦山三維建模步驟為：①利用無人機傾斜攝影技術(shù)，收集礦山現(xiàn)場數(shù)據(jù)[10];①使用contextcapture軟件針對視頻監(jiān)控區(qū)域進行初步建模;①由于無人機傾斜攝影測量技術(shù)對于精細物體的建模效果不佳，通過3DStudioMax軟件對三維模型進行細部的修正，優(yōu)化模型細節(jié)，為視頻融合提供三維模型基礎(chǔ)。對模型缺損或存在懸浮物的部分進行了修正、優(yōu)化。

　　1.2礦山實時監(jiān)控視頻獲取

　　攝像機采集實時視頻圖像與磁盤相互連接，對視頻進行同步存儲。攝像機采集的原始視頻通過編碼器轉(zhuǎn)為網(wǎng)絡(luò)傳輸格式，發(fā)送到流媒體服務(wù)器�？蛻舳丝梢酝ㄟ^流媒體服務(wù)器提供的數(shù)據(jù)傳輸接口，經(jīng)過HLS協(xié)議獲取到視頻[11]。

　　1.3三維場景搭建

　　搭建三維場景，導(dǎo)入構(gòu)建的礦山三維模型，調(diào)整模型的位置、角度、大小等參數(shù)以符合虛擬現(xiàn)實場景;導(dǎo)入礦山實時視頻數(shù)據(jù)，以視頻作為紋理生成視頻幾何體，對其進行裁切，保留視頻圖像清晰、光線佳、形變小的部分。最后將模型和視頻幾何體通過特征點提取、特征點匹配以及紋理畸變校正等步驟實現(xiàn)三維視頻融合。

　　2三維視頻融合

　　本研究通過構(gòu)建視頻紋理幾何體，進行三維視頻融合。具體實現(xiàn)步驟為：首先采集三維模型與視頻幾何體的特征點，確定模型與視頻幾何體特征點的對應(yīng)關(guān)系;然后對視頻區(qū)域進行三角網(wǎng)格劃分，為紋理校正做準備;最后將模型與視頻幾何體進行特征點匹配，同時通過拉普拉斯網(wǎng)格形變算法對視頻幾何體的頂點進行調(diào)整[12-14]，對三角網(wǎng)格進行變形處理，從而校正畸變的紋理，實現(xiàn)三維模型與視頻的融合。為了提高三維視頻融合的渲染效率，攝像機安裝位置和鏡頭角度一旦確定之后不隨意更改，可以防止視頻幾何體拼接處出現(xiàn)錯位、減少特征點提取和匹配的計算量，在提取特征點時可以抓取具有代表性的視頻畫面。

　　2.1特征點提取和匹配

　　本文用SIFT算法采集模型與視頻幾何體上的特征點，并使用人機交互的方式修正部分點的位置、去除雜亂的點。利用上一步得到的特征點，在視頻幾何體中添加特征點作為頂點，使用Delaunay三角剖分的方法，對視頻幾何體進行三角網(wǎng)格的劃分，為后續(xù)紋理校正做準備。為了使紋理校正時，紋理變化更均勻，在進行三角網(wǎng)格劃分時可以采用手動或自動的方式在視頻幾何體上添加一些非特征點。最后通過模型和視頻幾何體特征點之間的位置關(guān)系，進行特征點的匹配。

　　2.1.1SIFT算法特征點提取

　　SIFT(Scale-invariantfeaturetransform)是一種能檢測圖像局部特征的算法。視頻具有動態(tài)性，存在動態(tài)變化的物體，并且不同時刻的現(xiàn)場光照強度和天氣狀況不一樣，會影響對視頻圖像的特征點提取。該算法具有較強的穩(wěn)定性，能在一定程度上適應(yīng)圖像旋轉(zhuǎn)、尺度和亮度的變化[16]。用SIFT算法對相同區(qū)域的三維模型與視頻圖像進行了特征點提取。

　　借助SIFT算法能快速提取特征點，但進行特征點匹配時要保證模型和視頻幾何體提取的特征點數(shù)量相同，所以還需要通過人機交互的方式剔除雜亂的特征點，調(diào)整部分區(qū)域特征點的位置，使三維模型和視頻幾何體的特征點相對應(yīng)。

　　2.1.2Delaunay三角剖分

　　Delaunay三角剖分是將有限的點集合組成封閉線段平面圖。平面圖中的邊不包括點集的所有端點，線段之間不交叉，在平面圖中所有的平面都是三角形平面，且每個三角形平面的合集都為凸包。在進行視頻融合時，為了使視頻融合效果更佳，視頻幾何體需經(jīng)過裁切，去除重疊部分或是圖像質(zhì)量不佳部分，因此視頻幾何體會被裁切成任意凸多邊形或凹多邊形。

　　幾何體在進行三角剖分時，要保證其輪廓形狀不發(fā)生改變，需要使用有約束條件的Delaunay三角剖分方法，考慮約束線段即幾何體的輪廓線，采用遞歸割耳法，先將影響區(qū)域調(diào)整為簡單多邊形，再遞歸尋找并割去多邊形的耳，最終將影響區(qū)域重新三角剖分[15]。將無約束和有約束的Delaunay三角剖分方法對三角網(wǎng)格劃分的結(jié)果進行對比，三角網(wǎng)格構(gòu)成了多邊形ABFECD，剔除了三角形ADC部分。因此，用有約束條件的Delaunay三角剖分方法能約束三角網(wǎng)格輪廓，該方法能實現(xiàn)對任意輪廓的視頻幾何體進行三角網(wǎng)格劃分。

　　2.2紋理畸變校正

　　特征點匹配的結(jié)果容易出現(xiàn)視頻紋理畸變的現(xiàn)象，其原因有：①攝像機所拍攝的視頻圖像會因為透視原理產(chǎn)生離視點近的物體大、離視點遠的物體小的現(xiàn)象，因此將視頻圖像作為紋理與模型融合時會出現(xiàn)紋理不匹配的情況;①三維模型的精度不夠高，模型紋理與現(xiàn)實場景有偏差，導(dǎo)致模型與視頻圖像不契合。本文采用拉普拉斯網(wǎng)格形變算法，從視頻幾何體的紋理上進行調(diào)整，使視頻紋理與三維模型更貼合。

　　2.2.1拉普拉斯網(wǎng)格形變定義

　　傳統(tǒng)的三維曲面基于笛卡爾坐標(biāo)系，只能描述每個頂點的空間位置信息，而基于曲面微分表達的方式能夠描述包括尺寸和方向在內(nèi)的局部信息[12]。拉普拉斯坐標(biāo)能表示點與相鄰三角網(wǎng)格點之間的相對位置關(guān)系，因此包含了三維曲面的局部特征信息，在進行特征點匹配時，利用拉普拉斯網(wǎng)格形變算法能保持局部紋理細節(jié)，減少紋理扭曲。

　　3試驗與分析

　　3.1試驗數(shù)據(jù)與環(huán)境

　　本研究以武鋼資源集團烏龍泉礦業(yè)有限公司某露天礦區(qū)域為例開展相關(guān)試驗，通過利用蒼穹數(shù)碼技術(shù)股份有限公司的KQGIS軟件對采場區(qū)域數(shù)據(jù)進行格式轉(zhuǎn)換、配準和編輯等預(yù)處理。試驗的硬件環(huán)境：顯卡：NVIDIAGeForceGTX1660SUPER，運行內(nèi)存：16GB，操作系統(tǒng)：window10，瀏覽器：Chrome。

　　3.2試驗結(jié)果與分析

　　3.2.1穩(wěn)定性驗證

　　文獻[18]用投影融合的方法，基于WebGL協(xié)議通過CesiumJS接口進行視頻融合。為了驗證本文方法頁面渲染的穩(wěn)定性，使用CesiumJS接口構(gòu)建三維場景，記錄加載1路到10路視頻時頁面的幀率變化情況，同時保證視頻畫面的大小、位置等變量相同，使用投影融合的方法加載視頻，記錄其幀率變化。

　　頁面幀率大于20幀/s時，能實現(xiàn)三維場景的正常漫游，當(dāng)?shù)陀?0幀/s時，三維場景會出現(xiàn)明顯的延時卡頓現(xiàn)象，因此頁面幀率是否大于20幀/s是檢驗頁面渲染穩(wěn)定性優(yōu)劣的重要指標(biāo)。當(dāng)視頻數(shù)量大于5時，使用投影融合方法，不能滿足三維場景的正常漫游，會出現(xiàn)卡頓現(xiàn)象;而本文方法在視頻數(shù)量達到10時，其融合幀率為22幀/s，場景仍能實現(xiàn)流暢的渲染;從折線圖進行縱向比較，顯示使用本文方法加載1到10路視頻，頁面渲染的幀率均高于使用投影融合方法加載視頻的頁面幀率。

　　綜上可知，投影融合的方法在視頻數(shù)量少時可以進行三維場景的正常渲染，視頻數(shù)量過多時則不能滿足常規(guī)的操作;而本文所采用的三維視頻融合方法可穩(wěn)定的進行三維場景漫游，能滿足加載多視頻流，對于三維場景中的視頻融合具有較強的適用性，更接近虛擬現(xiàn)實的理想化理念。

　　3.2.2優(yōu)越性驗證

　　傳統(tǒng)投影融合方法，忽略了紋理的畸變，本研究視頻融合方法相較于傳統(tǒng)的視頻融合方法來說，能有效地進行紋理畸變的校正，使用拉普拉斯網(wǎng)格形變算法解決了因三維模型紋理與視頻圖像存在差異而產(chǎn)生的不匹配問題，提高了三維視頻融合之后的視覺觀感效果。拉普拉斯網(wǎng)格形變算法常用于調(diào)整三維模型的頂點，約束其局部特征，本研究使用拉普拉斯網(wǎng)格形變算法來調(diào)整視頻幾何體的頂點，對局部紋理特征進行調(diào)整，從而實現(xiàn)真實感更佳的三維視頻融合。

　　4結(jié)論

　　(1)傳統(tǒng)的礦山視頻監(jiān)控存在視頻數(shù)量多、視頻圖像關(guān)聯(lián)性不強、缺乏三維空間位置信息等問題，這些問題嚴重影響了智慧礦山的建設(shè)。本研究提出的基于三維視頻融合的礦山視頻監(jiān)控技術(shù)利用三維可視化的方式將視頻與三維模型相融合，解決了傳統(tǒng)視頻監(jiān)控缺少位置信息的問題，使位置信息與視頻緊密聯(lián)動，有效提高了監(jiān)管效率。本文方法較以往在三維視頻融合的研究相比，渲染穩(wěn)定性更高，使用拉普拉斯網(wǎng)格形變算法對視頻幾何體紋理畸變進行校正，實現(xiàn)了融合度的極大提高。(2)本研究方法不足在于，實時視頻的動態(tài)性降低了特征點的選取效率、影響了特征點的代表性。提高特征點的選取效率和精度，從而提升三維視頻融合的效率，是未來的重點研究方向。

　　參考文獻：

　　[1]荊永濱，孫光中，畢林.地下金屬礦山三維可視化采礦設(shè)計研究[J].金屬礦山，2017(4)：132-136.JINGYongbin,SUNGuangzhong,BILin.Researchon3Dvisualminingdesignforundergroundmetalmine[J].MetalMine,2017(4):132-136.

　　[2]海云瑞.無人機傾斜攝影與視頻融合技術(shù)在生態(tài)農(nóng)業(yè)園區(qū)全景監(jiān)控中的應(yīng)用研究[J].寧夏農(nóng)林科技，2018，59(8)：44-46.HAIYunrui.Theapplicationofunmannedaerialvehicleobliquephotographyandvideofusiontechnologyinpanoramicmonitoringofecologicalagricultureparks[J].NingxiaJournalofAgricultureandForestryScienceandtechnology,2018,59(8):44-46.

　　[3]周羽.鈾礦三維可視化技術(shù)與實現(xiàn)[J].測繪科學(xué)，2017，42(4)：162-167.ZHOUYu.Researchon3Dvisualizationforuraniumdeposit[J].ScienceofSurveyingandMapping,2017,42(4):162-167.

　　[4]李昀，蘇小東，董加巖，等.基于WebGL的三維礦山巷道系統(tǒng)研究[J].工礦自動化，2017，43(11)：70-74.LIYun,SUXiaodong,DONGJiayan,etal.Researchonthree-dimensionalmineroadwaysystembasedonWebGL[J].IndustryandMineAutomation,2017,43(11):70-74.

　　作者：苗作華1,2湯陽1任磊1王夢婷1謝媛1戰(zhàn)川1李宏亮3

轉(zhuǎn)載請注明來自發(fā)表學(xué)術(shù)論文網(wǎng)：http:///jzlw/29223.html