廣電媒體云存儲的數(shù)據(jù)遷移方案與應用

　　摘要：媒體云存儲是廣電素材媒資庫的核心設備，其為電視節(jié)目的制作及存儲提供了物理支持。目前，在媒體融合及縣級融媒體技術中心的持續(xù)推進下，單集群存儲的容量急劇下降。本文利用災備技術和災備策略提出采用雙集群基于存儲的遠程復制功能來解決單集群容量不斷下降的難題，應用結果表明，該方案完全可以解決存儲集群不通過節(jié)點擴容而采用遷移的方式進行集群存儲容量回收，同時緩解了現(xiàn)有生產(chǎn)環(huán)境存儲的壓力。

　　關鍵詞：存儲遷移遠程復制備份異步復制目錄快照

　　1引言

　　在縣級融媒體技術中心持續(xù)推進與傳統(tǒng)廣電業(yè)務上云的需求背景下，對廣電云平臺的計算與存儲資源需求都大幅增長，尤其是以視頻、音頻、圖片為主的非結構化大文件類型數(shù)據(jù)，更是出現(xiàn)了指數(shù)級的增長。因此，對目前所使用的分布式存儲集群的要求也就更加嚴格，當大量核心媒資數(shù)據(jù)需要進行多重備份時，這將再次加劇對存儲容量的大幅需求。在保證現(xiàn)有媒體云存儲集群業(yè)務數(shù)據(jù)安全的同時，集群存儲容量需要不斷被擴容或者進行數(shù)據(jù)遷移，這已然成為廣電媒體云存儲需要迫切解決的問題。

　　2需求分析

　　廣電媒體云平臺目前所使用的媒體存儲系統(tǒng)基本是分布式存儲集群[1]，因其具備良好的擴展性、安全可靠性、輕量級的運維管理以及支持多協(xié)議訪問優(yōu)點，從而被廣泛使用。盡管如此，分布式存儲集群產(chǎn)品也會存在生命周期限制。比如，單集群跨多型號節(jié)點產(chǎn)品會有兼容性限制、相同型號備品備件不足和存儲版本不支持新型號存儲節(jié)點等問題，這些都有可能導致現(xiàn)有生產(chǎn)分布式存儲集群不能及時進行節(jié)點擴容以提升集群容量。

　　媒體方向論文： 融媒體環(huán)境下網(wǎng)絡文學的傳播與發(fā)展探究

　　因此，只能通過部署使用更高性能存儲節(jié)點用以重建新的分布式存儲集群，以此來解決存儲容量被日益增長的媒體素材消耗殆盡的問題。由于現(xiàn)有生產(chǎn)環(huán)境存儲集群直接擴容方案受到限制，而業(yè)務也在不斷進行寫操作，存儲容量將進一步壓縮，因此，需要將現(xiàn)有存儲集群中的數(shù)據(jù)遷移至新建的高性能節(jié)點存儲集群中，而新建的存儲集群由于備品備件較為充足，是能夠進行大量節(jié)點直接擴容的，這將恰當解決生產(chǎn)集群存儲容量不足的問題。其中，占用容量較大的冷數(shù)據(jù)視頻素材將是數(shù)據(jù)遷移的首選，其次是業(yè)務讀寫量不是特別大的熱數(shù)據(jù)。

　　3方案研究

　　3.1整體架構

　　3.1.1災備技術及災備策略

　　災備技術是指利用技術、管理手段以及相關資源確保關鍵數(shù)據(jù)、關鍵數(shù)據(jù)處理系統(tǒng)和關鍵業(yè)務在災難發(fā)生后可以快速恢復的過程。目前，災備策略主要分為完全備份與增量備份，而主流的復制策略則分為異步復制與同步復制[2]。

　　3.1.2快照技術

　　隨著計算機技術的快速發(fā)展，產(chǎn)生的數(shù)據(jù)量正在快速增加。對于重要數(shù)據(jù)，通常會進行數(shù)據(jù)備份以免造成數(shù)據(jù)丟失。在早期的數(shù)據(jù)備份方式中，恢復時間目標(RTO)和恢復點目標(RPO)無法滿足業(yè)務的要求，而且數(shù)據(jù)備份過程中可能會影響業(yè)務性能，甚至導致業(yè)務中斷。當數(shù)據(jù)量快速增加且數(shù)據(jù)增長速度也同步加快時，如何減少備份時間窗口期成為運維人員重點關注的問題。因此，數(shù)據(jù)備份、數(shù)據(jù)保護技術開始逐步出現(xiàn)�？煺占夹g是數(shù)據(jù)備份技術中最常見的一種方式，一般被定義為一組文件、卷或者存儲目錄在某個特定的時間點上的副本。它所能捕獲到的是一些特定數(shù)據(jù)在特定時間點上的映像。

　　其原理與人們使用手機拍照類似，通過拍照可以快速記錄下某一瞬間被拍照對象的狀態(tài)。由于可以快速生成快照，通過此技術，運維人員能夠?qū)崿F(xiàn)數(shù)據(jù)的零備份窗口，從而滿足企業(yè)對業(yè)務連續(xù)性和數(shù)據(jù)可靠性的要求。而針對存儲目錄快照的常規(guī)應用場景包括以下兩個方面。

　　(1)用于數(shù)據(jù)持續(xù)保護、快速備份和恢復快照占用存儲空間小，所以，在通過配置定時快照策略時，可以在不同時間點為源目錄創(chuàng)建多個快照版本。當源目錄下的文件數(shù)據(jù)遭到人為意外刪除、覆蓋或病毒入侵等非物理介質(zhì)損壞時，可以通過故障前的快照恢復數(shù)據(jù)，從而保證用戶數(shù)據(jù)的可用性和可恢復性。對于一些重要的時間點或者重要的數(shù)據(jù)，用戶可以手動創(chuàng)建快照進行備份，用于在文件損壞或誤操作后的快速恢復。

　　(2)用于遠程復制場景遠程復制依賴于快照技術。遠程復制任務啟動后按照設定的時間間隔定時創(chuàng)建快照，然后將快照時刻的數(shù)據(jù)同步至遠端集群，每次只需要復制當前快照與前一個快照之間的增量數(shù)據(jù)。當遠程復制的本地和遠端目錄間數(shù)據(jù)同步完成時，會在遠端集群建立一致性目錄快照，用于數(shù)據(jù)一致性對比。當遠端集群也存在當前同步后的一致性目錄快照時，即可判斷當前同步已完成。經(jīng)過對以上兩種應用場景的分析以及結合實際生產(chǎn)環(huán)境，本文圍繞遠程復制場景進行深入研究。

　　3.2采用雙集群基于存儲的遠程復制功能

　　3.2.1不同類型數(shù)據(jù)的遠程復制方式

　　遠程復制[3]是容災備份的核心技術。遠程復制要想將本地站點集群的目錄數(shù)據(jù)復制到遠端站點集群，首先需要在集群間創(chuàng)建復制鏈路，然后為需要同步的目錄創(chuàng)建遠程復制Pair。遠程復制Pair是一條數(shù)據(jù)復制關系，通過它指定了數(shù)據(jù)復制的來源和目標以及數(shù)據(jù)復制的頻率等相關規(guī)則，不同類型的數(shù)據(jù)使用不同的策略。

　　針對冷數(shù)據(jù)，創(chuàng)建遠程復制Pair后，需要用戶手動觸發(fā)初始同步，初始同步即為全量同步，屬于完全備份策略，所以，初始同步會將本地目錄中的所有數(shù)據(jù)一次性復制到遠端目錄中，這在復制遷移鏈路上會占用大量的帶寬，耗費時間也相對較長，對存儲服務系統(tǒng)性能影響較大。所以，需要在業(yè)務不繁忙的時段進行初始同步操作。

　　針對熱數(shù)據(jù)，首次全量數(shù)據(jù)同步完成后，當業(yè)務人員再次對本地目錄進行讀寫數(shù)據(jù)時，如果此時啟動同步操作，則其同步方式均是增量同步的方式，屬于增量備份策略，即只對全量同步之后的差異數(shù)據(jù)進行同步，能夠縮短數(shù)據(jù)遠程復制時間，同時也提高了數(shù)據(jù)傳輸效率。當業(yè)務人員在本地目錄中刪除數(shù)據(jù)并啟動目錄同步后，遠端目錄中的相應數(shù)據(jù)也會被刪除�？偟膩碚f，初始同步完成后的每次同步都是增量同步。增量同步只復制增加、刪除和修改的數(shù)據(jù)，數(shù)據(jù)量較小，占用網(wǎng)絡帶寬比全量同步小，復制傳輸數(shù)據(jù)量的時間也會少很多。相對于全量同步，增量同步對系統(tǒng)性能的影響要小。

　　3.2.2熱數(shù)據(jù)基于目錄快照進行的數(shù)據(jù)異步復制

　　本地和遠端目錄間的數(shù)據(jù)同步是基于目錄快照進行的數(shù)據(jù)異步復制。對遠程復制Pair啟動初次同步時，存儲系統(tǒng)自動為本地目錄創(chuàng)建一份該時間點的快照，定義為本次數(shù)據(jù)同步的基準快照。而后續(xù)每次進行數(shù)據(jù)增量同步時，系統(tǒng)則再次為本地目錄創(chuàng)建一份快照，并分析兩次目錄快照同步期間的差異數(shù)據(jù)，最后將差異部分的數(shù)據(jù)同步至遠端目錄，這樣系統(tǒng)不需要掃描整個目錄的數(shù)據(jù)，也能提高增量同步的效率。

　　值得注意的是，產(chǎn)生的差異數(shù)據(jù)需要在下次同步啟動時才 能同步到遠端目錄當中，這樣能夠保證數(shù)據(jù)的一致性。當數(shù)據(jù)完成同步后，系統(tǒng)通過遠程復制Pair在遠端集群為遠端目錄創(chuàng)建一份一致性快照。因此，可以通過直接對比本地目錄和遠端目錄是否存在當前同步的一致性快照數(shù)據(jù)來判斷同步是否已經(jīng)全部完成。

　　為了防止在數(shù)據(jù)同步過程中因意外中斷而導致數(shù)據(jù)丟失的情況發(fā)生，本地、遠端集群都各自保留最新的兩份快照數(shù)據(jù)。后續(xù)每次同步結束后，都將會保存最新的快照數(shù)據(jù)，并刪除“老”的快照數(shù)據(jù)。而刪除“老”快照數(shù)據(jù)的時間間隔可根據(jù)遠端集群中對目錄快照的保存時間功能進行設置，若超過設置時間，則系統(tǒng)會自動刪除快照數(shù)據(jù)。

　　4方案應用

　　根據(jù)上述的需求分析與方案研究，我們本次采用基于目錄快照數(shù)據(jù)異步復制的策略進行單向數(shù)據(jù)遷移。為了緩解現(xiàn)有生產(chǎn)存儲集群中的容量被快速消耗以及保證前端業(yè)務的正常讀寫，本方案將優(yōu)先對占據(jù)大容量的冷備媒體視頻素材進行全量同步，全量同步結束后，在生產(chǎn)環(huán)境存儲集群中回收相應的媒體素材以釋放存儲空間，而后再對生產(chǎn)環(huán)境中的熱數(shù)據(jù)采取先全量同步再增量同步的策略，最后選擇一個業(yè)務空窗期進行業(yè)務的完全遷移與切換。雙存儲集群中遠程復制流程按照下列方式進行配置。

　　(1)配置復制區(qū)域每個存儲集群默認只有一個復制區(qū)域，只能進行修改，無法進行創(chuàng)建和刪除操作。同時，需要在本地和遠端存儲集群的復制區(qū)域中配置相同的存儲節(jié)點數(shù)量，如果節(jié)點數(shù)量差距較大，將會導致復制區(qū)域通道鏈路不對等，可能會導致復制性能下降，本次實際環(huán)境各配置4個存儲節(jié)點。

　　(2)創(chuàng)建復制區(qū)域通道在獲取到遠端集群的復制區(qū)域名稱和其集群內(nèi)任一節(jié)點的靜態(tài)前端業(yè)務IP地址之后，即可通過復制區(qū)域通道建立起本地與遠端集群的遠程復制鏈路，用于數(shù)據(jù)復制傳輸。

　　(3)創(chuàng)建遠程復制Pair除本地與遠端集群都創(chuàng)建了復制區(qū)域通道且通信正常之外，兩端集群還必須具有遠程復制功能，并且要求遠端集群目錄為空。在遠程復制Pair創(chuàng)建成功后，確保Pair中的本地和遠端目錄不被刪除、移動或更改，否則將會導致整個遠程復制過程異常，造成數(shù)據(jù)丟失。

　　(4)同步遠程復制Pair在本地、遠端存儲集群遠程復制功能上，當顯示“遠程復制Pair健康狀態(tài)”均為“正常”，且遠程復制Pair的“遠端目錄寫保護狀態(tài)”為“只讀”時，才能進行同步操作，初始同步必須手動同步。

　　(5)分裂遠程復制Pair當人為想中斷同步時，可以對正在同步的Pair進行分裂，系統(tǒng)將中止數(shù)據(jù)復制操作，遠端目錄數(shù)據(jù)與本地目錄數(shù)據(jù)為不完整狀態(tài)。當再次同步該Pair時，系統(tǒng)會繼續(xù)上次未完成的同步任務(也稱為“斷點續(xù)傳”)，直至上次任務對應的數(shù)據(jù)全部同步完成。實際上，數(shù)據(jù)遷移目前已從現(xiàn)有生產(chǎn)集群存儲中總共遷移了大約800T數(shù)據(jù)容量至新分布式存儲集群中，這 緩解了舊的生產(chǎn)環(huán)境存儲容量的壓力。整個過程較為順利，遷移速率最大達到800MB/s。

　　5結語

　　本方案結合中國藍云平臺現(xiàn)有分布式存儲集群在實際生產(chǎn)環(huán)境中遇到的問題，著重介紹了當生產(chǎn)環(huán)境中的分布式集群存儲面臨因不具備節(jié)點擴容而導致可用容量枯竭時的一種數(shù)據(jù)遷移方案。該方案以災備技術、災備策略以及快照技術為基礎，根據(jù)業(yè)務對不同目錄的讀寫頻率分成冷熱兩種數(shù)據(jù)類型，并根據(jù)不同數(shù)據(jù)類型制定不同的遷移策略來實現(xiàn)整個數(shù)據(jù)復制遷移過程，緩解了本地端存儲的存儲壓力，同時解決了掛載在本地端存儲業(yè)務系統(tǒng)能夠持續(xù)穩(wěn)定的進行讀寫。最后，希望此分布式存儲數(shù)據(jù)遷移方案能夠為廣電行業(yè)業(yè)務的穩(wěn)定運行提供一種參考。

　　參考文獻：

　　[1]陸蘊超.分布式存儲技術在虛擬化架構中的應用[J].有線電視技術,2017(7):54-56.

　　[2]李旺,王韻.基于存儲的遠程異步復制災備方案設計與應用[J].信息技術與信息化,2013(5):106-108+158.

　　[3]闕志興,許雄凌,陳飛.云存儲下的容災備份技術研究與部署[J].科技創(chuàng)新與應用,2017(21):34-35.

　　作者：浙江廣播電視集團張勝龍蔡晶晶史姣姣

轉(zhuǎn)載請注明來自發(fā)表學術論文網(wǎng)：http://m.liangshanbai.cn/jjlw/29764.html