廣電媒體云存儲的數(shù)據(jù)遷移方案與應(yīng)用

　　摘要：媒體云存儲是廣電素材媒資庫的核心設(shè)備，其為電視節(jié)目的制作及存儲提供了物理支持。目前，在媒體融合及縣級融媒體技術(shù)中心的持續(xù)推進(jìn)下，單集群存儲的容量急劇下降。本文利用災(zāi)備技術(shù)和災(zāi)備策略提出采用雙集群基于存儲的遠(yuǎn)程復(fù)制功能來解決單集群容量不斷下降的難題，應(yīng)用結(jié)果表明，該方案完全可以解決存儲集群不通過節(jié)點(diǎn)擴(kuò)容而采用遷移的方式進(jìn)行集群存儲容量回收，同時(shí)緩解了現(xiàn)有生產(chǎn)環(huán)境存儲的壓力。

　　關(guān)鍵詞：存儲遷移遠(yuǎn)程復(fù)制備份異步復(fù)制目錄快照

　　1引言

　　在縣級融媒體技術(shù)中心持續(xù)推進(jìn)與傳統(tǒng)廣電業(yè)務(wù)上云的需求背景下，對廣電云平臺的計(jì)算與存儲資源需求都大幅增長，尤其是以視頻、音頻、圖片為主的非結(jié)構(gòu)化大文件類型數(shù)據(jù)，更是出現(xiàn)了指數(shù)級的增長。因此，對目前所使用的分布式存儲集群的要求也就更加嚴(yán)格，當(dāng)大量核心媒資數(shù)據(jù)需要進(jìn)行多重備份時(shí)，這將再次加劇對存儲容量的大幅需求。在保證現(xiàn)有媒體云存儲集群業(yè)務(wù)數(shù)據(jù)安全的同時(shí)，集群存儲容量需要不斷被擴(kuò)容或者進(jìn)行數(shù)據(jù)遷移，這已然成為廣電媒體云存儲需要迫切解決的問題。

　　2需求分析

　　廣電媒體云平臺目前所使用的媒體存儲系統(tǒng)基本是分布式存儲集群[1]，因其具備良好的擴(kuò)展性、安全可靠性、輕量級的運(yùn)維管理以及支持多協(xié)議訪問優(yōu)點(diǎn)，從而被廣泛使用。盡管如此，分布式存儲集群產(chǎn)品也會存在生命周期限制。比如，單集群跨多型號節(jié)點(diǎn)產(chǎn)品會有兼容性限制、相同型號備品備件不足和存儲版本不支持新型號存儲節(jié)點(diǎn)等問題，這些都有可能導(dǎo)致現(xiàn)有生產(chǎn)分布式存儲集群不能及時(shí)進(jìn)行節(jié)點(diǎn)擴(kuò)容以提升集群容量。

　　媒體方向論文： 融媒體環(huán)境下網(wǎng)絡(luò)文學(xué)的傳播與發(fā)展探究

　　因此，只能通過部署使用更高性能存儲節(jié)點(diǎn)用以重建新的分布式存儲集群，以此來解決存儲容量被日益增長的媒體素材消耗殆盡的問題。由于現(xiàn)有生產(chǎn)環(huán)境存儲集群直接擴(kuò)容方案受到限制，而業(yè)務(wù)也在不斷進(jìn)行寫操作，存儲容量將進(jìn)一步壓縮，因此，需要將現(xiàn)有存儲集群中的數(shù)據(jù)遷移至新建的高性能節(jié)點(diǎn)存儲集群中，而新建的存儲集群由于備品備件較為充足，是能夠進(jìn)行大量節(jié)點(diǎn)直接擴(kuò)容的，這將恰當(dāng)解決生產(chǎn)集群存儲容量不足的問題。其中，占用容量較大的冷數(shù)據(jù)視頻素材將是數(shù)據(jù)遷移的首選，其次是業(yè)務(wù)讀寫量不是特別大的熱數(shù)據(jù)。

　　3方案研究

　　3.1整體架構(gòu)

　　3.1.1災(zāi)備技術(shù)及災(zāi)備策略

　　災(zāi)備技術(shù)是指利用技術(shù)、管理手段以及相關(guān)資源確保關(guān)鍵數(shù)據(jù)、關(guān)鍵數(shù)據(jù)處理系統(tǒng)和關(guān)鍵業(yè)務(wù)在災(zāi)難發(fā)生后可以快速恢復(fù)的過程。目前，災(zāi)備策略主要分為完全備份與增量備份，而主流的復(fù)制策略則分為異步復(fù)制與同步復(fù)制[2]。

　　3.1.2快照技術(shù)

　　隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，產(chǎn)生的數(shù)據(jù)量正在快速增加。對于重要數(shù)據(jù)，通常會進(jìn)行數(shù)據(jù)備份以免造成數(shù)據(jù)丟失。在早期的數(shù)據(jù)備份方式中，恢復(fù)時(shí)間目標(biāo)(RTO)和恢復(fù)點(diǎn)目標(biāo)(RPO)無法滿足業(yè)務(wù)的要求，而且數(shù)據(jù)備份過程中可能會影響業(yè)務(wù)性能，甚至導(dǎo)致業(yè)務(wù)中斷。當(dāng)數(shù)據(jù)量快速增加且數(shù)據(jù)增長速度也同步加快時(shí)，如何減少備份時(shí)間窗口期成為運(yùn)維人員重點(diǎn)關(guān)注的問題。因此，數(shù)據(jù)備份、數(shù)據(jù)保護(hù)技術(shù)開始逐步出現(xiàn)�？煺占夹g(shù)是數(shù)據(jù)備份技術(shù)中最常見的一種方式，一般被定義為一組文件、卷或者存儲目錄在某個(gè)特定的時(shí)間點(diǎn)上的副本。它所能捕獲到的是一些特定數(shù)據(jù)在特定時(shí)間點(diǎn)上的映像。

　　其原理與人們使用手機(jī)拍照類似，通過拍照可以快速記錄下某一瞬間被拍照對象的狀態(tài)。由于可以快速生成快照，通過此技術(shù)，運(yùn)維人員能夠?qū)崿F(xiàn)數(shù)據(jù)的零備份窗口，從而滿足企業(yè)對業(yè)務(wù)連續(xù)性和數(shù)據(jù)可靠性的要求。而針對存儲目錄快照的常規(guī)應(yīng)用場景包括以下兩個(gè)方面。

　　(1)用于數(shù)據(jù)持續(xù)保護(hù)、快速備份和恢復(fù)快照占用存儲空間小，所以，在通過配置定時(shí)快照策略時(shí)，可以在不同時(shí)間點(diǎn)為源目錄創(chuàng)建多個(gè)快照版本。當(dāng)源目錄下的文件數(shù)據(jù)遭到人為意外刪除、覆蓋或病毒入侵等非物理介質(zhì)損壞時(shí)，可以通過故障前的快照恢復(fù)數(shù)據(jù)，從而保證用戶數(shù)據(jù)的可用性和可恢復(fù)性。對于一些重要的時(shí)間點(diǎn)或者重要的數(shù)據(jù)，用戶可以手動(dòng)創(chuàng)建快照進(jìn)行備份，用于在文件損壞或誤操作后的快速恢復(fù)。

　　(2)用于遠(yuǎn)程復(fù)制場景遠(yuǎn)程復(fù)制依賴于快照技術(shù)。遠(yuǎn)程復(fù)制任務(wù)啟動(dòng)后按照設(shè)定的時(shí)間間隔定時(shí)創(chuàng)建快照，然后將快照時(shí)刻的數(shù)據(jù)同步至遠(yuǎn)端集群，每次只需要復(fù)制當(dāng)前快照與前一個(gè)快照之間的增量數(shù)據(jù)。當(dāng)遠(yuǎn)程復(fù)制的本地和遠(yuǎn)端目錄間數(shù)據(jù)同步完成時(shí)，會在遠(yuǎn)端集群建立一致性目錄快照，用于數(shù)據(jù)一致性對比。當(dāng)遠(yuǎn)端集群也存在當(dāng)前同步后的一致性目錄快照時(shí)，即可判斷當(dāng)前同步已完成。經(jīng)過對以上兩種應(yīng)用場景的分析以及結(jié)合實(shí)際生產(chǎn)環(huán)境，本文圍繞遠(yuǎn)程復(fù)制場景進(jìn)行深入研究。

　　3.2采用雙集群基于存儲的遠(yuǎn)程復(fù)制功能

　　3.2.1不同類型數(shù)據(jù)的遠(yuǎn)程復(fù)制方式

　　遠(yuǎn)程復(fù)制[3]是容災(zāi)備份的核心技術(shù)。遠(yuǎn)程復(fù)制要想將本地站點(diǎn)集群的目錄數(shù)據(jù)復(fù)制到遠(yuǎn)端站點(diǎn)集群，首先需要在集群間創(chuàng)建復(fù)制鏈路，然后為需要同步的目錄創(chuàng)建遠(yuǎn)程復(fù)制Pair。遠(yuǎn)程復(fù)制Pair是一條數(shù)據(jù)復(fù)制關(guān)系，通過它指定了數(shù)據(jù)復(fù)制的來源和目標(biāo)以及數(shù)據(jù)復(fù)制的頻率等相關(guān)規(guī)則，不同類型的數(shù)據(jù)使用不同的策略。

　　針對冷數(shù)據(jù)，創(chuàng)建遠(yuǎn)程復(fù)制Pair后，需要用戶手動(dòng)觸發(fā)初始同步，初始同步即為全量同步，屬于完全備份策略，所以，初始同步會將本地目錄中的所有數(shù)據(jù)一次性復(fù)制到遠(yuǎn)端目錄中，這在復(fù)制遷移鏈路上會占用大量的帶寬，耗費(fèi)時(shí)間也相對較長，對存儲服務(wù)系統(tǒng)性能影響較大。所以，需要在業(yè)務(wù)不繁忙的時(shí)段進(jìn)行初始同步操作。

　　針對熱數(shù)據(jù)，首次全量數(shù)據(jù)同步完成后，當(dāng)業(yè)務(wù)人員再次對本地目錄進(jìn)行讀寫數(shù)據(jù)時(shí)，如果此時(shí)啟動(dòng)同步操作，則其同步方式均是增量同步的方式，屬于增量備份策略，即只對全量同步之后的差異數(shù)據(jù)進(jìn)行同步，能夠縮短數(shù)據(jù)遠(yuǎn)程復(fù)制時(shí)間，同時(shí)也提高了數(shù)據(jù)傳輸效率。當(dāng)業(yè)務(wù)人員在本地目錄中刪除數(shù)據(jù)并啟動(dòng)目錄同步后，遠(yuǎn)端目錄中的相應(yīng)數(shù)據(jù)也會被刪除�？偟膩碚f，初始同步完成后的每次同步都是增量同步。增量同步只復(fù)制增加、刪除和修改的數(shù)據(jù)，數(shù)據(jù)量較小，占用網(wǎng)絡(luò)帶寬比全量同步小，復(fù)制傳輸數(shù)據(jù)量的時(shí)間也會少很多。相對于全量同步，增量同步對系統(tǒng)性能的影響要小。

　　3.2.2熱數(shù)據(jù)基于目錄快照進(jìn)行的數(shù)據(jù)異步復(fù)制

　　本地和遠(yuǎn)端目錄間的數(shù)據(jù)同步是基于目錄快照進(jìn)行的數(shù)據(jù)異步復(fù)制。對遠(yuǎn)程復(fù)制Pair啟動(dòng)初次同步時(shí)，存儲系統(tǒng)自動(dòng)為本地目錄創(chuàng)建一份該時(shí)間點(diǎn)的快照，定義為本次數(shù)據(jù)同步的基準(zhǔn)快照。而后續(xù)每次進(jìn)行數(shù)據(jù)增量同步時(shí)，系統(tǒng)則再次為本地目錄創(chuàng)建一份快照，并分析兩次目錄快照同步期間的差異數(shù)據(jù)，最后將差異部分的數(shù)據(jù)同步至遠(yuǎn)端目錄，這樣系統(tǒng)不需要掃描整個(gè)目錄的數(shù)據(jù)，也能提高增量同步的效率。

　　值得注意的是，產(chǎn)生的差異數(shù)據(jù)需要在下次同步啟動(dòng)時(shí)才 能同步到遠(yuǎn)端目錄當(dāng)中，這樣能夠保證數(shù)據(jù)的一致性。當(dāng)數(shù)據(jù)完成同步后，系統(tǒng)通過遠(yuǎn)程復(fù)制Pair在遠(yuǎn)端集群為遠(yuǎn)端目錄創(chuàng)建一份一致性快照。因此，可以通過直接對比本地目錄和遠(yuǎn)端目錄是否存在當(dāng)前同步的一致性快照數(shù)據(jù)來判斷同步是否已經(jīng)全部完成。

　　為了防止在數(shù)據(jù)同步過程中因意外中斷而導(dǎo)致數(shù)據(jù)丟失的情況發(fā)生，本地、遠(yuǎn)端集群都各自保留最新的兩份快照數(shù)據(jù)。后續(xù)每次同步結(jié)束后，都將會保存最新的快照數(shù)據(jù)，并刪除“老”的快照數(shù)據(jù)。而刪除“老”快照數(shù)據(jù)的時(shí)間間隔可根據(jù)遠(yuǎn)端集群中對目錄快照的保存時(shí)間功能進(jìn)行設(shè)置，若超過設(shè)置時(shí)間，則系統(tǒng)會自動(dòng)刪除快照數(shù)據(jù)。

　　4方案應(yīng)用

　　根據(jù)上述的需求分析與方案研究，我們本次采用基于目錄快照數(shù)據(jù)異步復(fù)制的策略進(jìn)行單向數(shù)據(jù)遷移。為了緩解現(xiàn)有生產(chǎn)存儲集群中的容量被快速消耗以及保證前端業(yè)務(wù)的正常讀寫，本方案將優(yōu)先對占據(jù)大容量的冷備媒體視頻素材進(jìn)行全量同步，全量同步結(jié)束后，在生產(chǎn)環(huán)境存儲集群中回收相應(yīng)的媒體素材以釋放存儲空間，而后再對生產(chǎn)環(huán)境中的熱數(shù)據(jù)采取先全量同步再增量同步的策略，最后選擇一個(gè)業(yè)務(wù)空窗期進(jìn)行業(yè)務(wù)的完全遷移與切換。雙存儲集群中遠(yuǎn)程復(fù)制流程按照下列方式進(jìn)行配置。

　　(1)配置復(fù)制區(qū)域每個(gè)存儲集群默認(rèn)只有一個(gè)復(fù)制區(qū)域，只能進(jìn)行修改，無法進(jìn)行創(chuàng)建和刪除操作。同時(shí)，需要在本地和遠(yuǎn)端存儲集群的復(fù)制區(qū)域中配置相同的存儲節(jié)點(diǎn)數(shù)量，如果節(jié)點(diǎn)數(shù)量差距較大，將會導(dǎo)致復(fù)制區(qū)域通道鏈路不對等，可能會導(dǎo)致復(fù)制性能下降，本次實(shí)際環(huán)境各配置4個(gè)存儲節(jié)點(diǎn)。

　　(2)創(chuàng)建復(fù)制區(qū)域通道在獲取到遠(yuǎn)端集群的復(fù)制區(qū)域名稱和其集群內(nèi)任一節(jié)點(diǎn)的靜態(tài)前端業(yè)務(wù)IP地址之后，即可通過復(fù)制區(qū)域通道建立起本地與遠(yuǎn)端集群的遠(yuǎn)程復(fù)制鏈路，用于數(shù)據(jù)復(fù)制傳輸。

　　(3)創(chuàng)建遠(yuǎn)程復(fù)制Pair除本地與遠(yuǎn)端集群都創(chuàng)建了復(fù)制區(qū)域通道且通信正常之外，兩端集群還必須具有遠(yuǎn)程復(fù)制功能，并且要求遠(yuǎn)端集群目錄為空。在遠(yuǎn)程復(fù)制Pair創(chuàng)建成功后，確保Pair中的本地和遠(yuǎn)端目錄不被刪除、移動(dòng)或更改，否則將會導(dǎo)致整個(gè)遠(yuǎn)程復(fù)制過程異常，造成數(shù)據(jù)丟失。

　　(4)同步遠(yuǎn)程復(fù)制Pair在本地、遠(yuǎn)端存儲集群遠(yuǎn)程復(fù)制功能上，當(dāng)顯示“遠(yuǎn)程復(fù)制Pair健康狀態(tài)”均為“正常”，且遠(yuǎn)程復(fù)制Pair的“遠(yuǎn)端目錄寫保護(hù)狀態(tài)”為“只讀”時(shí)，才能進(jìn)行同步操作，初始同步必須手動(dòng)同步。

　　(5)分裂遠(yuǎn)程復(fù)制Pair當(dāng)人為想中斷同步時(shí)，可以對正在同步的Pair進(jìn)行分裂，系統(tǒng)將中止數(shù)據(jù)復(fù)制操作，遠(yuǎn)端目錄數(shù)據(jù)與本地目錄數(shù)據(jù)為不完整狀態(tài)。當(dāng)再次同步該P(yáng)air時(shí)，系統(tǒng)會繼續(xù)上次未完成的同步任務(wù)(也稱為“斷點(diǎn)續(xù)傳”)，直至上次任務(wù)對應(yīng)的數(shù)據(jù)全部同步完成。實(shí)際上，數(shù)據(jù)遷移目前已從現(xiàn)有生產(chǎn)集群存儲中總共遷移了大約800T數(shù)據(jù)容量至新分布式存儲集群中，這 緩解了舊的生產(chǎn)環(huán)境存儲容量的壓力。整個(gè)過程較為順利，遷移速率最大達(dá)到800MB/s。

　　5結(jié)語

　　本方案結(jié)合中國藍(lán)云平臺現(xiàn)有分布式存儲集群在實(shí)際生產(chǎn)環(huán)境中遇到的問題，著重介紹了當(dāng)生產(chǎn)環(huán)境中的分布式集群存儲面臨因不具備節(jié)點(diǎn)擴(kuò)容而導(dǎo)致可用容量枯竭時(shí)的一種數(shù)據(jù)遷移方案。該方案以災(zāi)備技術(shù)、災(zāi)備策略以及快照技術(shù)為基礎(chǔ)，根據(jù)業(yè)務(wù)對不同目錄的讀寫頻率分成冷熱兩種數(shù)據(jù)類型，并根據(jù)不同數(shù)據(jù)類型制定不同的遷移策略來實(shí)現(xiàn)整個(gè)數(shù)據(jù)復(fù)制遷移過程，緩解了本地端存儲的存儲壓力，同時(shí)解決了掛載在本地端存儲業(yè)務(wù)系統(tǒng)能夠持續(xù)穩(wěn)定的進(jìn)行讀寫。最后，希望此分布式存儲數(shù)據(jù)遷移方案能夠?yàn)閺V電行業(yè)業(yè)務(wù)的穩(wěn)定運(yùn)行提供一種參考。

　　參考文獻(xiàn)：

　　[1]陸蘊(yùn)超.分布式存儲技術(shù)在虛擬化架構(gòu)中的應(yīng)用[J].有線電視技術(shù),2017(7):54-56.

　　[2]李旺,王韻.基于存儲的遠(yuǎn)程異步復(fù)制災(zāi)備方案設(shè)計(jì)與應(yīng)用[J].信息技術(shù)與信息化,2013(5):106-108+158.

　　[3]闕志興,許雄凌,陳飛.云存儲下的容災(zāi)備份技術(shù)研究與部署[J].科技創(chuàng)新與應(yīng)用,2017(21):34-35.

　　作者：浙江廣播電視集團(tuán)張勝龍蔡晶晶史姣姣

轉(zhuǎn)載請注明來自發(fā)表學(xué)術(shù)論文網(wǎng)：http:///jjlw/29764.html