本文摘要:摘要:基于數(shù)據(jù)挖掘技術,結合工程實例,設計開發(fā)了軟件對公路控制測量平差結果進行數(shù)據(jù)挖掘提
摘 要:基于數(shù)據(jù)挖掘技術,結合工程實例,設計開發(fā)了軟件對公路控制測量平差結果進行數(shù)據(jù)挖掘提取、質(zhì)量分析與評價,并形成了質(zhì)量驗收報告。處理過程快速高效,結果準確可靠,大大提高了質(zhì)量檢查效率,促進了對公路勘測質(zhì)量的有效控制。
關鍵詞:數(shù)據(jù)挖掘;公路勘測;質(zhì)量控制;質(zhì)量評價
勘測成果資料作為項目設計、施工的基礎資料,其重要性不言而喻。如今的公路工程項目一般規(guī)模大、工程量大、建設難度高,對于控制測量而言,其產(chǎn)生的觀測數(shù)據(jù)、計算數(shù)據(jù)和平差報告的數(shù)據(jù)量很大,如何在短時間內(nèi)從大量數(shù)據(jù)中獲取有用信息,并對測量過程和結果進行質(zhì)量控制與評價是一大難點。目前多采用人工檢查的方式檢查測量平差成果質(zhì)量,但效率偏低、數(shù)據(jù)利用率低、不能及時準確地反映測量過程中的質(zhì)量問題。利用數(shù)據(jù)挖掘技術可從海量數(shù)據(jù)中挖掘并提取有用信息[1],用于質(zhì)量評價和分析決策,已被廣泛應用于商業(yè)領域[2]以及智慧城市建設中[3]。借助云計算技術進行數(shù)據(jù)挖掘提取,可提高數(shù)據(jù)挖掘的準確性,同時降低挖掘成本[4]。
將PageRank、K-means等數(shù)據(jù)挖掘算法應用到管理系統(tǒng)海量數(shù)據(jù)的挖掘分析中,獲取有價值的信息,從而為管理系統(tǒng)的優(yōu)化與升級提供參考依據(jù)[5]。本文探討了數(shù)據(jù)挖掘技術在公路勘測質(zhì)量控制中的應用,并結合工程實例,設計編寫了軟件,以實現(xiàn)對公路控制測量平差結果的快速數(shù)據(jù)挖掘提取與質(zhì)量評價。
數(shù)據(jù)挖掘論文范例:論數(shù)據(jù)挖掘技術在計算機網(wǎng)絡病毒防范中的應用
1數(shù)據(jù)挖掘技術與公路勘測質(zhì)量控制
1.1數(shù)據(jù)挖掘技術
數(shù)據(jù)挖掘技術的實質(zhì)是一種人工智能技術,隨著大數(shù)據(jù)技術的興起而發(fā)展成熟,通過數(shù)據(jù)挖掘與分析從海量數(shù)據(jù)中提取有價值的信息。海量數(shù)據(jù)具有不規(guī)則性、隨機性、多樣性等特點,數(shù)據(jù)表達較模糊,因此需首先對海量數(shù)據(jù)進行預處理,再進行數(shù)據(jù)挖掘,然后采用一定的算法和規(guī)則對挖掘的數(shù)據(jù)進行分析和判斷,從而提取出有價值的信息,用于下一步分析與評價。數(shù)據(jù)挖掘技術的特點包括:①數(shù)據(jù)處理量大,在大數(shù)據(jù)時代,隨著社會和科技的發(fā)展,未來各行業(yè)的數(shù)據(jù)量將有增無減,且種類繁多、混亂無序;②數(shù)據(jù)挖掘算法和規(guī)則應緊跟用戶需求,不斷發(fā)展,數(shù)據(jù)挖掘的最終目的是為了獲取有用信息或摒棄無用信息,因此數(shù)據(jù)篩選標準和算法應圍繞用戶需求展開,針對性強,并隨之不斷發(fā)展;③自動化程度高、人工干預少;④處理過程高效、準確。
1.2公路勘測質(zhì)量控制
公路勘測所產(chǎn)生的數(shù)據(jù)較多,而控制測量作為各項測量工作的基礎,對其成果質(zhì)量的控制就顯得尤為重要。目前,通常是根據(jù)規(guī)范要求對控制測量成果進行質(zhì)量檢查與驗收,對于中間測量過程數(shù)據(jù)質(zhì)量的控制較薄弱,這樣不利于及時發(fā)現(xiàn)該環(huán)節(jié)中的錯誤和質(zhì)量問題,從而導致采取措施不夠及時、有效,將給項目造成一定的損失。數(shù)據(jù)挖掘技術能較好地解決這些問題,能應用于控制網(wǎng)設計、觀測數(shù)據(jù)、數(shù)據(jù)計算、平差報告等各階段數(shù)據(jù)質(zhì)量檢查中。
數(shù)據(jù)挖掘技術一方面可通過聚類分析、粒度分析、關聯(lián)分析等方式從大量測量數(shù)據(jù)中獲取有用信息,用于進一步的分析與判斷;另一方面可根據(jù)一定的規(guī)則和標準對海量數(shù)據(jù)進行自動檢核與分析,清理不合格、無用的錯誤和冗余信息,提高數(shù)據(jù)整體的準確率和有效性,同時提高數(shù)據(jù)利用率。數(shù)據(jù)挖掘技術在公路勘測質(zhì)量控制中的應用依據(jù)為:JTGC10-2007《公路勘測規(guī)范》[6]、JTG/TC10-2007《公路勘測細則》[7]、GB/T24356-2009《測繪成果質(zhì)量檢查與驗收》[8]和GB/T18316-2008《數(shù)字測繪成果質(zhì)量檢查與驗收》[9]等相關規(guī)范規(guī)定。
數(shù)據(jù)挖掘主要分為文本挖掘和圖像挖掘兩種方式,其中文本包括原始觀測數(shù)據(jù)、計算書、平差報告等資料,文本挖掘通過讀取文本數(shù)據(jù)進行挖掘分析和信息提取;圖像包括控制點點位分布圖、GNSS控制網(wǎng)網(wǎng)型圖等各種圖件資料,以GNSS控制網(wǎng)網(wǎng)型圖為例,利用計算機圖形圖像處理技術和數(shù)據(jù)挖掘技術分析控制點的空間距離與分布,從而判斷控制網(wǎng)的整體網(wǎng)型強度、點位連接強度等,為控制網(wǎng)的設計優(yōu)化提供參考依據(jù)。數(shù)據(jù)挖掘技術在公路勘測質(zhì)量控制中的應用具體表現(xiàn)為:
1)數(shù)據(jù)清理。測量數(shù)據(jù)中存在一些噪聲或粗差,甚至是錯誤,因此采用數(shù)據(jù)挖掘技術基于一定的規(guī)則對冗余和錯誤數(shù)據(jù)進行清理,如一組觀測數(shù)據(jù)中某個觀測值隨機誤差超過閾值可認定為粗差,并自動將其清理。另外,對于不符合規(guī)范要求的測量數(shù)據(jù),也可利用數(shù)據(jù)挖掘功能將其清理掉,如在GNSS靜態(tài)觀測數(shù)據(jù)中,對于錯誤的儀器天線高數(shù)據(jù)以及觀測時間不足、觀測值超限等不合格數(shù)據(jù)均可根據(jù)規(guī)范要求進行清除。2)空間粒度分析。對于控制點點位空間分布的位置屬性,以點位精度為基準進行數(shù)據(jù)挖掘分析,如在平面控制測量平差報告中,對于三維自由網(wǎng)的平差結果,將規(guī)范中相應等級控制網(wǎng)的控制點點位精度要求設定為閾值,挖掘提取平差結果的點位信息,包括控制點三維坐標、點位中誤差等,再對點位中誤差大于閾值的控制點進行標記,以精度指標超限處理。
3)空間尺寸挖掘。以控制點之間的相對關系為基準,對控制點空間分布的相對關系和屬性進行挖掘分析,如相鄰平面控制點之間的邊長距離、邊長相對中誤差、相對點位中誤差等信息;對平面控制網(wǎng)平差解算后的二維自由網(wǎng)結果進行挖掘提取,包括二維基線向量、平面坐標、平差后邊長及其相對中誤差、相鄰點坐標分量及其相對中誤差等信息,根據(jù)規(guī)范中的精度指標要求進行分析判斷。4)關聯(lián)分析。以數(shù)據(jù)之間的內(nèi)在聯(lián)系為基準,通過數(shù)據(jù)挖掘?qū)Ω黜棓?shù)據(jù)進行歸納與分析,尋找對象之間的變化規(guī)律和影響因素,如在高程控制測量平差中,挖掘提取各測段的高差、路線長度等數(shù)據(jù),按照規(guī)范中的精度指標要求,根據(jù)控制等級、路線長度計算閉合水準路線的閉合差并判斷是否超限,若不超限則根據(jù)各測段長度將閉合差分配到各測段高差中。
2軟件研發(fā)與工程應用
結合具體工程案例,本文設計編寫了軟件對控制測量平差結果進行數(shù)據(jù)挖掘提取與質(zhì)量評價。
2.1軟件研發(fā)
科傻系統(tǒng)(COSA)是武漢大學研發(fā)的一款商業(yè)軟件,包括CosaGPS、CosaWin兩個子系統(tǒng),分別對GNSS靜態(tài)觀測數(shù)據(jù)和高程控制測量數(shù)據(jù)進行平差解算。在公路工程項目中,首先利用COSA系統(tǒng)進行控制測量數(shù)據(jù)的平差解算,并生成平差文件;然后將平差文件導入自編軟件中進行數(shù)據(jù)挖掘提取,根據(jù)軟件中預設的相關規(guī)范要求進行計算分析、指標判斷和質(zhì)量評價;最后形成并輸出標準化的質(zhì)量驗收報告。該軟件制定了標準化的數(shù)據(jù)文件模塊,包括平差報告數(shù)據(jù)模塊、專家知識庫模塊和驗收報告模塊。
平差報告數(shù)據(jù)模塊是針對COSA平差軟件生成的平差報告文件編寫的文件讀取模塊,能與平差軟件無縫對接,直接準確讀取每個平差文件的內(nèi)容,其中平面控制測量平差報告包括重復基線計算結果、異步環(huán)閉合差計算結果、三維控制網(wǎng)平差結果和二維控制網(wǎng)平差結果4個文件;高程控制測量平差報告包括已知點高程、測段高差和長度,高差閉合差計算結果,高程平差值結果3個文件。
專家知識庫模塊包括JTGC10-2007《公路勘測規(guī)范》等規(guī)范中具體的精度指標和相關規(guī)定,是文本數(shù)據(jù)挖掘后進行精度指標判斷和質(zhì)量評價的依據(jù)。驗收報告模塊包括平面控制測量和高程控制測量質(zhì)量驗收報告,驗收報告的內(nèi)容、格式相對固定,基本包含了公路工程平面和高程控制測量的主要精度指標以及平差報告的主要內(nèi)容。軟件功能主要包括平差報告讀取與數(shù)據(jù)挖掘、數(shù)據(jù)計算與指標判斷、驗收報告輸出。平差報告讀取與數(shù)據(jù)挖掘,即根據(jù)平差報告數(shù)據(jù)模塊讀取各文件數(shù)據(jù),并進行數(shù)據(jù)挖掘和信息提取;數(shù)據(jù)計算與指標判斷,即對提取的信息數(shù)據(jù)進行空間粒度分析、空間尺寸挖掘、關聯(lián)分析等,并對分析結果進行整理歸納,根據(jù)專家知識庫中的規(guī)范要求進行指標判斷與質(zhì)量分析;驗收報告輸出,即輸出標準化的質(zhì)量驗收報告。
2.2軟件應用
本文采用自編軟件,對某高速公路項目平面控制測量平差結果進行質(zhì)量檢查。該項目布設GNSS控制點169個,其中已知點5個,測量等級為一級。首先采用COSA系統(tǒng)對控制測量數(shù)據(jù)進行控制網(wǎng)平差計算,再將得到的平差文件導入自編軟件中進行數(shù)據(jù)挖掘計算與質(zhì)量分析,最后輸出驗收報告。
3結 語
結合工程實例,通過軟件設計與開發(fā),本文對數(shù)據(jù)挖掘技術在公路勘測質(zhì)量控制中的應用進行了探討,得到的結論為:1)利用數(shù)據(jù)挖掘技術可根據(jù)規(guī)范要求對測量數(shù)據(jù)進行自動檢核與分析,去除冗余和錯誤數(shù)據(jù),提高數(shù)據(jù)整體的準確率和有效性。2)采用數(shù)據(jù)挖掘技術可對測量過程數(shù)據(jù)進行質(zhì)量檢核,及時發(fā)現(xiàn)質(zhì)量問題并予以解決,避免造成更多返工和更大損失,從而有助于加強對工程測量過程的質(zhì)量控制,促進項目整體質(zhì)量水平的提升。3)設計與開發(fā)公路工程測量質(zhì)量控制軟件,可直接讀取平差軟件解算后的平差文件,并進行數(shù)據(jù)挖掘提取與質(zhì)量評價,最終形成標準化的質(zhì)量驗收報告。整個過程快速高效,結果準確可靠,大大提高了成果質(zhì)量檢查的效率,有效促進了對公路勘測的質(zhì)量控制。
參考文獻
[1]杜江毅,邊馥苓.面向大數(shù)據(jù)的空間數(shù)據(jù)挖掘綜述[J].地理空間信息,2017,15(1):8-12
[2]王鵬.大數(shù)據(jù)時代數(shù)據(jù)挖掘技術分析[J].農(nóng)家參謀,2020(24):90
[3]朱宏列,戚欣.數(shù)據(jù)挖掘在智慧城市中的應用[J].計算機時代,2020(10):40-42
[4]何欣.基于云計算技術下海量數(shù)據(jù)挖掘的實現(xiàn)研究[J].現(xiàn)代信息科技,2020,4(9):91-93
[5]李加慶,原士棟.數(shù)據(jù)挖掘關鍵技術分析探索[J].計算機產(chǎn)品與流通,2020(3):81
[6]公路勘測規(guī)范:JTGC10-2007[S].北京:人民交通出版社,2007
[7]公路勘測細則:JTG/TC10-2007[S].北京:人民交通出版社,2007
[8]測繪成果質(zhì)量檢查與驗收:GB/T24356-2009[S].北京:中國標準出版社,2009
[9]數(shù)字測繪成果質(zhì)量檢查與驗收:GB/T18316-2008[S].北京:中國標準出版社,2008
作者:向榮榮1,李 松1,王守彬1
轉(zhuǎn)載請注明來自發(fā)表學術論文網(wǎng):http://m.liangshanbai.cn/dzlw/25690.html