本文摘要：當(dāng)今的分析需求給現(xiàn)有數(shù)據(jù)基礎(chǔ)設(shè)施帶來了前所未有的壓力。能否跨操作和存儲(chǔ)數(shù)據(jù)執(zhí)行實(shí)時(shí)分析對(duì)業(yè)務(wù)成功來說非常重要，但實(shí)現(xiàn)起來總是充滿挑戰(zhàn)。 有一家航空公司，他們希望收集并分析其噴氣發(fā)動(dòng)機(jī)的連續(xù)數(shù)據(jù)流，以實(shí)現(xiàn)預(yù)測(cè)性維護(hù)，更快地解決問題。每臺(tái)發(fā)動(dòng)機(jī)
當(dāng)今的分析需求給現(xiàn)有數(shù)據(jù)基礎(chǔ)設(shè)施帶來了前所未有的壓力。能否跨操作和存儲(chǔ)數(shù)據(jù)執(zhí)行實(shí)時(shí)分析對(duì)業(yè)務(wù)成功來說非常重要，但實(shí)現(xiàn)起來總是充滿挑戰(zhàn)。
有一家航空公司，他們希望收集并分析其噴氣發(fā)動(dòng)機(jī)的連續(xù)數(shù)據(jù)流，以實(shí)現(xiàn)預(yù)測(cè)性維護(hù)，更快地解決問題。每臺(tái)發(fā)動(dòng)機(jī)都有數(shù)百個(gè)傳感器，用于監(jiān)測(cè)溫度、速度和振動(dòng)等參數(shù)，并將這些信息不斷地發(fā)送到物聯(lián)網(wǎng)(IoT)平臺(tái)。物聯(lián)網(wǎng)平臺(tái)接收、處理和分析數(shù)據(jù)后，將其存儲(chǔ)在數(shù)據(jù)湖(也稱為操作數(shù)據(jù)存儲(chǔ))中，只有最新的數(shù)據(jù)保留在操作數(shù)據(jù)庫中。
現(xiàn)在，只要實(shí)時(shí)數(shù)據(jù)中的異常讀數(shù)觸發(fā)某一引擎的警報(bào)，航空公司就需要對(duì)該引擎的實(shí)時(shí)操作數(shù)據(jù)和存儲(chǔ)的歷史數(shù)據(jù)同時(shí)進(jìn)行實(shí)時(shí)分析。然而，航空公司可能會(huì)發(fā)現(xiàn)，利用其現(xiàn)有基礎(chǔ)設(shè)施不可能進(jìn)行實(shí)時(shí)分析。
如今，開發(fā)大數(shù)據(jù)計(jì)劃的企業(yè)通常使用Hadoop將其操作數(shù)據(jù)的副本存儲(chǔ)在數(shù)據(jù)湖中，數(shù)據(jù)科學(xué)家可以訪問其中的數(shù)據(jù)，進(jìn)行各種分析。當(dāng)實(shí)際應(yīng)用需要對(duì)輸入的操作數(shù)據(jù)以及存儲(chǔ)在數(shù)據(jù)湖中的數(shù)據(jù)子集進(jìn)行實(shí)時(shí)分析時(shí)，傳統(tǒng)的基礎(chǔ)設(shè)施就成了絆腳石。訪問存儲(chǔ)在數(shù)據(jù)湖中的數(shù)據(jù)時(shí)存在固有的延遲，跨數(shù)據(jù)湖和操作數(shù)據(jù)運(yùn)行聯(lián)合查詢也會(huì)遇到挑戰(zhàn)。
內(nèi)存計(jì)算解決方案具有實(shí)時(shí)性能、極強(qiáng)的可擴(kuò)展性，并且能與流行的數(shù)據(jù)平臺(tái)進(jìn)行內(nèi)置集成，從而解決了跨數(shù)據(jù)湖和操作數(shù)據(jù)進(jìn)行實(shí)時(shí)分析的難題。這些功能使混合業(yè)務(wù)/分析處理(HTAP)功能能夠跨數(shù)據(jù)湖和操作數(shù)據(jù)集進(jìn)行實(shí)時(shí)聯(lián)合查詢。
內(nèi)存計(jì)算平臺(tái)功能
內(nèi)存計(jì)算平臺(tái)支持對(duì)操作數(shù)據(jù)的接收、處理和分析，對(duì)于以下部分或者全部項(xiàng)目還支持實(shí)時(shí)性能和PB級(jí)擴(kuò)展：內(nèi)存數(shù)據(jù)網(wǎng)格和內(nèi)存數(shù)據(jù)庫。內(nèi)存數(shù)據(jù)網(wǎng)格和內(nèi)存數(shù)據(jù)庫匯集了服務(wù)器集群的可用內(nèi)存和計(jì)算能力，允許在內(nèi)存中處理數(shù)據(jù)，并消除了在處理前等待從磁盤檢索數(shù)據(jù)的延時(shí)。內(nèi)存中的數(shù)據(jù)網(wǎng)格部署在現(xiàn)有數(shù)據(jù)庫之上，并保持與底層數(shù)據(jù)庫的同步，而內(nèi)存中的數(shù)據(jù)庫則在內(nèi)存中維持完整的數(shù)據(jù)集，周期性地將數(shù)據(jù)寫入硬盤，僅用于備份和恢復(fù)目的。內(nèi)存中的數(shù)據(jù)網(wǎng)格和內(nèi)存中的數(shù)據(jù)庫可以部署在本地、公有云或者私有云中，也可以部署在混合環(huán)境中。
·流數(shù)據(jù)處理。內(nèi)存計(jì)算平臺(tái)可以從流行的流媒體平臺(tái)(例如，ApacheKafka)實(shí)時(shí)獲取、處理和分析大批量的數(shù)據(jù)流。
·機(jī)器學(xué)習(xí)和深度學(xué)習(xí)。結(jié)合了機(jī)器學(xué)習(xí)庫的內(nèi)存計(jì)算平臺(tái)支持使用操作數(shù)據(jù)對(duì)機(jī)器學(xué)習(xí)模型進(jìn)行實(shí)時(shí)訓(xùn)練。內(nèi)存計(jì)算平臺(tái)可與TensorFlow等深度學(xué)習(xí)平臺(tái)進(jìn)行本機(jī)集成，能夠顯著降低準(zhǔn)備數(shù)據(jù)并將數(shù)據(jù)傳輸?shù)竭@些深度學(xué)習(xí)訓(xùn)練平臺(tái)的成本和復(fù)雜性。
·聯(lián)合查詢。一些內(nèi)存計(jì)算平臺(tái)利用與流行的流數(shù)據(jù)平臺(tái)(包括ApacheKafka和ApacheSpark)的內(nèi)置集成特性，實(shí)現(xiàn)跨數(shù)據(jù)湖和操作數(shù)據(jù)集的聯(lián)合查詢。
ApacheKafka用于構(gòu)建實(shí)時(shí)數(shù)據(jù)流水線和流式應(yīng)用程序，為輸入數(shù)據(jù)的實(shí)時(shí)處理提供數(shù)據(jù)。ApacheSark是一個(gè)統(tǒng)一的分析引擎，可以執(zhí)行大規(guī)模的數(shù)據(jù)處理，包括跨Hadoop數(shù)據(jù)湖和操作數(shù)據(jù)庫，對(duì)數(shù)據(jù)進(jìn)行聯(lián)合查詢。
·混合業(yè)務(wù)/分析處理(HTAP)或者混合操作/分析處理(HOAP)。采用HTAP、HOAP或者業(yè)務(wù)分析，企業(yè)能夠維護(hù)一個(gè)單一的數(shù)據(jù)集，在該數(shù)據(jù)集上他們可以同時(shí)執(zhí)行業(yè)務(wù)和分析處理，從而消除了把數(shù)據(jù)從專用業(yè)務(wù)數(shù)據(jù)庫移動(dòng)到獨(dú)立的專用分析數(shù)據(jù)庫所需的昂貴而又緩慢的提取、轉(zhuǎn)換和加載(ETL)過程。
從ApacheKafka到ApacheSpark再到實(shí)時(shí)深度分析
本例中的航空公司采用與Kafka、Spark和Hadoop集成后的內(nèi)存計(jì)算平臺(tái)，能夠針對(duì)某一引擎，同時(shí)對(duì)其實(shí)時(shí)操作數(shù)據(jù)和歷史數(shù)據(jù)運(yùn)行實(shí)時(shí)分析。ApacheKafka向內(nèi)存計(jì)算平臺(tái)提供實(shí)時(shí)流數(shù)據(jù)。內(nèi)存計(jì)算平臺(tái)在內(nèi)存中維護(hù)操作和溫度數(shù)據(jù)，并跨數(shù)據(jù)集運(yùn)行實(shí)時(shí)查詢。Spark從數(shù)據(jù)湖中檢索歷史數(shù)據(jù)，從內(nèi)存計(jì)算平臺(tái)中檢索溫度操作數(shù)據(jù)，通過跨數(shù)據(jù)孤島運(yùn)行查詢來實(shí)現(xiàn)更深入的深度分析。有了這種架構(gòu)后，航空公司就能夠即時(shí)深度分析產(chǎn)生異常讀數(shù)的原因。
現(xiàn)代數(shù)據(jù)基礎(chǔ)架構(gòu)最受歡迎的一些優(yōu)點(diǎn)包括：預(yù)測(cè)性維護(hù)和更快地解決問題，從而讓客戶更加滿意，提高資產(chǎn)利用率，獲得更高的投資回報(bào)率……等等。使用內(nèi)存計(jì)算平臺(tái)對(duì)操作數(shù)據(jù)和數(shù)據(jù)湖數(shù)據(jù)子集運(yùn)行實(shí)時(shí)分析，可以使這些以及其他新的實(shí)時(shí)物聯(lián)網(wǎng)服務(wù)成為現(xiàn)實(shí)。NikitaIvanov是GridGain系統(tǒng)公司的聯(lián)合創(chuàng)始人和首席技術(shù)官，負(fù)責(zé)領(lǐng)導(dǎo)開發(fā)先進(jìn)和分布式內(nèi)存數(shù)據(jù)處理技術(shù)。他在軟件應(yīng)用程序開發(fā)、構(gòu)建HPC和中間件平臺(tái)方面有20多年的經(jīng)驗(yàn)，并為Adaptec，Visa和BEA系統(tǒng)等公司的工作做出了貢獻(xiàn)。
數(shù)據(jù)分析師評(píng)職知識(shí)：大數(shù)據(jù)論文發(fā)表容易投稿嗎
大數(shù)據(jù)如今應(yīng)用是比較廣泛的，這方面可以寫作的關(guān)聯(lián)熱詞有很多，比如數(shù)據(jù)分析，云計(jì)算，數(shù)據(jù)挖掘等，這樣的論文也是很容易投稿的。大家可以發(fā)表一些熱門的選題論文，選題要新穎，這樣投稿成功率是比較高的。
轉(zhuǎn)載請(qǐng)注明來自發(fā)表學(xué)術(shù)論文網(wǎng)：http:///jjlw/21117.html
