智能化綜采管理平臺(tái)中多源異構(gòu)數(shù)據(jù)處理

　　摘 要: 針對(duì)智能化綜采管理平臺(tái)存在的信息孤島以及子系統(tǒng)割裂等煤礦建設(shè)中存在的一系列問 題，提出了智能化綜采管理平臺(tái)中的多源異構(gòu)數(shù)據(jù)處理系統(tǒng)為主體的智能化煤礦建設(shè)體系架構(gòu)。 通過對(duì)大數(shù)據(jù)的采集、存儲(chǔ)、分析以及系統(tǒng)實(shí)現(xiàn)，在井下構(gòu)建智能化的多源異構(gòu)大數(shù)據(jù)平臺(tái)，成功建 成了各個(gè)子系統(tǒng)之間能夠統(tǒng)一管理、信息之間能夠共享的格局。分析認(rèn)為，多源異構(gòu)數(shù)據(jù)處理系統(tǒng) 可實(shí)現(xiàn)各類多源異構(gòu)數(shù)據(jù)的高效傳輸和快速處理分析，能消除信息孤島，以及設(shè)備持續(xù) 開采的周期壽命進(jìn)行預(yù)警預(yù)判和自動(dòng)分析。

　　關(guān)鍵詞: 智能化綜采; 多源異構(gòu)數(shù)據(jù); 數(shù)據(jù)倉庫; 數(shù)據(jù)處理

　　0 引言

　　煤礦綜采自動(dòng)化技術(shù)對(duì)實(shí)現(xiàn)煤炭安全、高效的 回采具有非常重要的意義，是國家經(jīng)濟(jì)發(fā)展所需煤 炭供應(yīng)的先決條件。國家“十五”“十一五”期間以來，我國煤炭開采技術(shù)及裝備取得重大進(jìn)步，推動(dòng)了 煤礦安全高效綠色開采技術(shù)的發(fā)展，建成了一大批 綜合機(jī)械化和高自動(dòng)化程度的現(xiàn)代化礦井，生產(chǎn)效 率、安全指標(biāo)和煤炭產(chǎn)量大幅度提高[1-4]。

　　國內(nèi)煤 礦企業(yè)也在積極探索綜采自動(dòng)化技術(shù)的研究，并進(jìn) 行了多方面的嘗試，取得了顯著進(jìn)步。但由于綜采 工作面復(fù)雜的生產(chǎn)過程，龐大的綜采設(shè)備系統(tǒng)，各設(shè) 備作業(yè)條件協(xié)同復(fù)雜，動(dòng)作繁多，且對(duì)動(dòng)作的邏輯順 序、準(zhǔn)確性、響應(yīng)速度要求高，所以針對(duì)其監(jiān)控和管理面臨著各設(shè)備控制方式分散、無法實(shí)現(xiàn)快速、準(zhǔn)確 的協(xié) 作，不 能 充 分 發(fā) 揮 設(shè) 備 性 能，生 產(chǎn) 效 率 較 低[5-8]。

　　而且綜采工作面自動(dòng)化系統(tǒng)以過程化控制 為核心，與生產(chǎn)管理過程脫節(jié)，未進(jìn)行高效實(shí)時(shí)的實(shí) 現(xiàn)信息的集成和互通，不能有效的對(duì)綜采關(guān)鍵設(shè)備 進(jìn)行管理，無法為生產(chǎn)管理者提供決策和建議。因 此，綜采自動(dòng)化系統(tǒng)的統(tǒng)一管理平臺(tái)應(yīng)運(yùn)而生，但對(duì) 于智能化綜采管理平臺(tái)中多源異構(gòu)數(shù)據(jù)的處理仍需 進(jìn)一步探究。

　　1 智能化綜采管理平臺(tái)應(yīng)用現(xiàn)狀

　　現(xiàn)有的安全生產(chǎn)監(jiān)測(cè)監(jiān)控系統(tǒng)，多是局部性、少 量指標(biāo)的檢測(cè)[9-11]。同時(shí)，因?yàn)樯�產(chǎn)廠商以及系統(tǒng) 建設(shè)兩者在時(shí)期上存在差異，所有子系統(tǒng)在通信協(xié) 議和接入技術(shù)上不能夠?qū)崿F(xiàn)統(tǒng)一，子系統(tǒng)之間存在 較大的數(shù)據(jù)結(jié)構(gòu)差異，同時(shí)具有多源性和異構(gòu)性的 特點(diǎn)。煤礦井下設(shè)備( 包含各裝備、機(jī)器、儀器等電 子設(shè)施) 的數(shù)據(jù)采集均通過監(jiān)控系統(tǒng)直接從設(shè)備上 采集。

　　設(shè)備廠商對(duì)不同專業(yè)設(shè)備開發(fā)對(duì)應(yīng)的監(jiān)控系 統(tǒng)從設(shè)備上實(shí)時(shí)獲取數(shù)據(jù)。對(duì)煤礦而言，數(shù)據(jù)只能 在監(jiān)控系統(tǒng)中查看，不能在其它系統(tǒng)中實(shí)時(shí)使用; 對(duì) 開發(fā)商來講，每個(gè)監(jiān)控系統(tǒng)既要負(fù)責(zé)數(shù)據(jù)的采集，又要負(fù)責(zé)數(shù)據(jù)的校驗(yàn)、傳輸、共享，大部分功能重復(fù)開 發(fā)，造成系統(tǒng)臃腫，改動(dòng)困難。而現(xiàn)有設(shè)備數(shù)據(jù)采集 沒有統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、采集標(biāo)準(zhǔn)，在使用采集數(shù)據(jù) 時(shí)，需要根據(jù)每種提供的格式進(jìn)行解析、轉(zhuǎn)換，增加 了出錯(cuò)機(jī)率與重復(fù)工作量。并且，現(xiàn)有設(shè)備所生成 的數(shù)據(jù)格式多樣，包含結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化 數(shù)據(jù)。因此，多源異構(gòu)數(shù)據(jù)的處理就成為智能化綜 采管理平臺(tái)運(yùn)轉(zhuǎn)的核心引擎。

　　2 多源異構(gòu)大數(shù)據(jù)處理框架

　　2. 1 數(shù)據(jù)采集與 ETL 數(shù)據(jù)處理系統(tǒng)架構(gòu):

　　智能化綜采管理平臺(tái)中數(shù) 據(jù)來源十分廣泛，例如，運(yùn)輸三機(jī)、采煤機(jī)等各種生 產(chǎn)器械、電液控制等器械系統(tǒng)、各種傳感器的安全監(jiān) 測(cè)數(shù) 據(jù)、用 戶 操 作 行 為 數(shù) 據(jù)、故 障 及 報(bào) 警 數(shù) 據(jù) 等[12-14]。這些數(shù)據(jù)通過各自本身的監(jiān)控系統(tǒng)及各 種終端設(shè)備直接傳輸?shù)皆贫耍�由于各設(shè)備的生產(chǎn)廠 商不同，且暫無統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，所以采集的數(shù)據(jù)格 式多樣，存在結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，形 成多源異構(gòu)數(shù)據(jù)，并存在重復(fù)數(shù)據(jù)的可能[15-17]。

　　多 源異構(gòu)數(shù)據(jù)處理系統(tǒng)架構(gòu)，如圖 1 所示。用來描述將數(shù)據(jù)從來源端經(jīng)過抽取 ( extract) 、轉(zhuǎn)換 ( transform) 、加載( load) 至目的端的過程，同時(shí)也是構(gòu)建 數(shù)據(jù)倉庫至關(guān)重要的一個(gè)環(huán)節(jié)，用戶通過數(shù)據(jù)源抽取出自己需要的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終將數(shù)據(jù)按 照預(yù)先定義好的數(shù)據(jù)倉庫模型加載到數(shù)據(jù)倉庫中 去。其中數(shù)據(jù)清洗包含: ①對(duì)不精確數(shù)據(jù)的清洗。

　　首先就是要識(shí)別出數(shù)據(jù)中的異常。在識(shí)別數(shù)據(jù)中的 異常時(shí)，最常用的方法就是統(tǒng)計(jì)學(xué)的方法。給每個(gè) 屬性賦予對(duì)應(yīng)的權(quán)重是它的核心思想，對(duì)每個(gè)屬性 字段值的平均值和標(biāo)準(zhǔn)差進(jìn)行統(tǒng)計(jì)，依據(jù)此為每一 個(gè)屬性建立一個(gè)置信區(qū)間，通過查看屬性值是否在 置信區(qū)間內(nèi)來判斷屬性是否異常; ②重復(fù)數(shù)據(jù)的清 洗。在數(shù)據(jù)倉庫中，最常見的數(shù)據(jù)質(zhì)量問題就包括 相似重復(fù)數(shù)據(jù)，不同系統(tǒng)的集成一般會(huì)導(dǎo)致大量重 復(fù)記錄生成，因此需要判斷兩條數(shù)據(jù)是否相似或相 同，從而對(duì)相似重復(fù)數(shù)據(jù)進(jìn)行集中的清洗。

　　2. 2 數(shù)據(jù)存儲(chǔ)

　　根據(jù)數(shù)據(jù)集不同的特點(diǎn)和用途，采用不同的數(shù) 據(jù)庫進(jìn)行存儲(chǔ)操作。 Gbase /Oracle: Gbase 和 Oracle 兩者都是 SQL 數(shù) 據(jù)庫，都遵從 SQL 語句，語法也差不多。最大的區(qū) 別是表結(jié)構(gòu)不同，Oracle 是傳統(tǒng)行列式，小庫比較 快，大庫靠索引提高效率。Gbase 是分布式，數(shù)據(jù)不 是按行列來排列而是按區(qū)塊分布的，所以小庫的速 度一般般，但是大庫比如 TB 級(jí)，效率驚人，數(shù)據(jù)庫 越大 Gbase 優(yōu)勢(shì)越明顯。

　　因此采用 Gbase 和 Oracle 對(duì)高價(jià)值密度數(shù)據(jù)進(jìn)行存儲(chǔ)及處理。 SQL on Hadoop: 在 SQL on Hadoop 系統(tǒng)中，有兩 種架構(gòu)，一種是基于某個(gè)運(yùn)行時(shí)，框架構(gòu)建出查詢引 擎，典型案例是 Hive; 另一種是模仿過去關(guān)系數(shù)據(jù) 庫的 MPP 架構(gòu)，就是依據(jù)過去的 MPP 數(shù)據(jù)庫架構(gòu) 創(chuàng)建一個(gè)專門的系統(tǒng)，于是就有了 Impala，Presto 等 等。Hive 具有高擴(kuò)展性的特點(diǎn)，能夠?qū)⒓�群的�?guī)模 自由擴(kuò)展，一般不需要重啟服務(wù); 還具有高延展性， 支持用戶自定義函數(shù)，用戶可以根據(jù)需求來實(shí)現(xiàn)自 己的函數(shù); 同時(shí)還具備高容錯(cuò)性，SQL 在節(jié)點(diǎn)出現(xiàn)差 錯(cuò)時(shí)仍可完成執(zhí)行; 將復(fù)雜 MR 任務(wù)編寫為 SQL 語 句，提高開發(fā)效率; 靈活的數(shù)據(jù)存儲(chǔ)等。

　　但是也存在 非常明顯的缺點(diǎn)，具有延遲性，性能還有待提升; 索 引功能還不夠完善，效率較低; 不支持事務(wù)類操作。 因此將其作為低價(jià)值密度數(shù)據(jù)的數(shù)據(jù)倉庫。 MapReduce: MapReduce 是一種編程模型，主要 用于大規(guī)模數(shù)據(jù)集( 大于 1TB) 的并行運(yùn)算。概念 “Map( 映射) ”和“Reduce( 歸約) ”，是它們的主要思 想，它具有從函數(shù)式編程語言以及從矢量編程語言 里借來的特性。MapReduce 對(duì)不會(huì)分布式并行編程 情況下的程序人員提供了極大的便利，并能在分布 式系統(tǒng)上運(yùn)行自己的程序，是面向大數(shù)據(jù)并行處理的計(jì)算模型、框架和平臺(tái)。利用其并行計(jì)算的特點(diǎn) 對(duì)低價(jià)值密度數(shù)據(jù)進(jìn)行批量處理分析。

　　2. 3 數(shù)據(jù)處理

　　系統(tǒng)對(duì)于數(shù)據(jù)的處理分為高價(jià)值密度數(shù)據(jù)和低 價(jià)值密度數(shù)據(jù)兩個(gè)部分。 低價(jià)值密度數(shù)據(jù)處理: 數(shù)據(jù)的價(jià)值密度與數(shù)據(jù) 量成反比，數(shù)據(jù)量越龐大，其價(jià)值密度越低。因此對(duì) 于低價(jià)值密度的龐大數(shù)據(jù)，利用 MapReduce 對(duì)大數(shù) 據(jù)并行計(jì)算的能力，采用分布式隊(duì)列流式計(jì)算方法， 進(jìn)行數(shù)據(jù)管理和分析挖掘。低價(jià)值密度數(shù)據(jù)的數(shù)據(jù) 管理包括 Hadoop 集群配置管理、應(yīng)用管理、資源監(jiān) 控、安全管理、告警管理等。

　　分析挖掘則是利用分析 挖掘算法庫中的自然語言、分類算法、推薦算法、聚 類算法、關(guān)聯(lián)分析等算法對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析、效果 監(jiān)控、反饋學(xué)習(xí)和系統(tǒng)監(jiān)控。 高價(jià)值密度數(shù)據(jù)處理: 對(duì)于高價(jià)值密度數(shù)據(jù)，由 于其數(shù)據(jù)量相對(duì)較小可以進(jìn)行更詳細(xì)的數(shù)據(jù)定義、 數(shù)據(jù)篩選、分析定制和算法管理工作。

　　2. 4 功能實(shí)現(xiàn)

　　多源異構(gòu)數(shù)據(jù)處理系統(tǒng)目前已在智能化綜采管 理平臺(tái)實(shí)現(xiàn)運(yùn)行。通過持續(xù)數(shù)據(jù)采集，實(shí)現(xiàn)對(duì)生產(chǎn) 設(shè)備的預(yù)警預(yù)判; 通過數(shù)據(jù)的交叉分析，實(shí)現(xiàn)對(duì)各綜 采自動(dòng)化生產(chǎn)過程中的事件關(guān)聯(lián)性分析決策。通過 數(shù)據(jù)的積累，豐富企業(yè)決策依據(jù); 實(shí)現(xiàn)數(shù)據(jù)的保護(hù)以 及數(shù)據(jù)存儲(chǔ)，讓生產(chǎn)數(shù)據(jù)具有繼承傳遞性。

　　煤炭論文投稿刊物：《煤炭學(xué)報(bào)》是中國煤炭學(xué)會(huì)主辦的煤炭系統(tǒng)最高水平的綜合性學(xué)術(shù)刊物，現(xiàn)為雙月刊，112頁。主要刊載與煤炭科學(xué)技術(shù)相關(guān)的基礎(chǔ)理論和重大工程研究的理論成果，包括煤田地質(zhì)學(xué)、礦山巖體力學(xué)、采礦工程、煤礦安全、環(huán)境保護(hù)、煤礦機(jī)電一體化、煤的加工與利用、煤炭經(jīng)濟(jì)研究等領(lǐng)域的學(xué)術(shù)論文。

　　3 結(jié)語

　　多源異構(gòu)數(shù)據(jù)處理系統(tǒng)針對(duì)煤礦生產(chǎn)的數(shù)據(jù)特性，可實(shí)現(xiàn)各類多源異構(gòu)數(shù)據(jù)的高效傳輸，快速處理分析。此外，可以消除信息孤島，建立統(tǒng)一的數(shù)據(jù)傳 輸網(wǎng)絡(luò)與數(shù)據(jù)處理中心; 針對(duì)煤礦綜采的各個(gè)環(huán)節(jié)的數(shù)據(jù)采集，結(jié)合專家經(jīng)驗(yàn)進(jìn)行開采的安全性預(yù)判， 進(jìn)而對(duì)設(shè)備持續(xù)開采的周期壽命進(jìn)行預(yù)警預(yù)判和自動(dòng)分析。

　　參考文獻(xiàn):

　　[1] 王國法. 綜采自動(dòng)化智能化無人化成套技術(shù)與裝 備發(fā)展方向[J]. 煤炭科學(xué)技術(shù)，2014，42( 9) : 30- 34.

　　[2] 王金華，黃樂亭，李首濱，等. 綜采工作面智能化 技術(shù)與裝備的發(fā)展[J]. 煤炭學(xué)報(bào)，2014，39( 8) : 1418-1423.

　　[3] 高小強(qiáng)，杜福銀，蔡愛國. 變頻驅(qū)動(dòng)刮板輸送機(jī)負(fù) 載特性及調(diào)速的智能控制策略研究[J]. 礦山機(jī)械，2011，39( 11) : 12-16.

　　[4] 王凱. 基于刮板輸送機(jī)負(fù)載預(yù)測(cè)的采煤機(jī)調(diào)速技 術(shù)研究[D]. 徐州: 中國礦業(yè)大學(xué)，2015.

　　[5] 谷勇. 基于模糊控制的采煤機(jī)截割自動(dòng)調(diào)速控制 系統(tǒng)[J]. 煤礦機(jī)械，2013，34( 12) : 151-153.

　　作者：楊 波，吳 寧

轉(zhuǎn)載請(qǐng)注明來自發(fā)表學(xué)術(shù)論文網(wǎng)：http:///jzlw/24091.html