廣電媒體云存儲(chǔ)的數(shù)據(jù)遷移方案與應(yīng)用

　　摘要：媒體云存儲(chǔ)是廣電素材媒資庫(kù)的核心設(shè)備，其為電視節(jié)目的制作及存儲(chǔ)提供了物理支持。目前，在媒體融合及縣級(jí)融媒體技術(shù)中心的持續(xù)推進(jìn)下，單集群存儲(chǔ)的容量急劇下降。本文利用災(zāi)備技術(shù)和災(zāi)備策略提出采用雙集群基于存儲(chǔ)的遠(yuǎn)程復(fù)制功能來(lái)解決單集群容量不斷下降的難題，應(yīng)用結(jié)果表明，該方案完全可以解決存儲(chǔ)集群不通過(guò)節(jié)點(diǎn)擴(kuò)容而采用遷移的方式進(jìn)行集群存儲(chǔ)容量回收，同時(shí)緩解了現(xiàn)有生產(chǎn)環(huán)境存儲(chǔ)的壓力。

　　關(guān)鍵詞：存儲(chǔ)遷移遠(yuǎn)程復(fù)制備份異步復(fù)制目錄快照

　　1引言

　　在縣級(jí)融媒體技術(shù)中心持續(xù)推進(jìn)與傳統(tǒng)廣電業(yè)務(wù)上云的需求背景下，對(duì)廣電云平臺(tái)的計(jì)算與存儲(chǔ)資源需求都大幅增長(zhǎng)，尤其是以視頻、音頻、圖片為主的非結(jié)構(gòu)化大文件類(lèi)型數(shù)據(jù)，更是出現(xiàn)了指數(shù)級(jí)的增長(zhǎng)。因此，對(duì)目前所使用的分布式存儲(chǔ)集群的要求也就更加嚴(yán)格，當(dāng)大量核心媒資數(shù)據(jù)需要進(jìn)行多重備份時(shí)，這將再次加劇對(duì)存儲(chǔ)容量的大幅需求。在保證現(xiàn)有媒體云存儲(chǔ)集群業(yè)務(wù)數(shù)據(jù)安全的同時(shí)，集群存儲(chǔ)容量需要不斷被擴(kuò)容或者進(jìn)行數(shù)據(jù)遷移，這已然成為廣電媒體云存儲(chǔ)需要迫切解決的問(wèn)題。

　　2需求分析

　　廣電媒體云平臺(tái)目前所使用的媒體存儲(chǔ)系統(tǒng)基本是分布式存儲(chǔ)集群[1]，因其具備良好的擴(kuò)展性、安全可靠性、輕量級(jí)的運(yùn)維管理以及支持多協(xié)議訪(fǎng)問(wèn)優(yōu)點(diǎn)，從而被廣泛使用。盡管如此，分布式存儲(chǔ)集群產(chǎn)品也會(huì)存在生命周期限制。比如，單集群跨多型號(hào)節(jié)點(diǎn)產(chǎn)品會(huì)有兼容性限制、相同型號(hào)備品備件不足和存儲(chǔ)版本不支持新型號(hào)存儲(chǔ)節(jié)點(diǎn)等問(wèn)題，這些都有可能導(dǎo)致現(xiàn)有生產(chǎn)分布式存儲(chǔ)集群不能及時(shí)進(jìn)行節(jié)點(diǎn)擴(kuò)容以提升集群容量。

　　媒體方向論文： 融媒體環(huán)境下網(wǎng)絡(luò)文學(xué)的傳播與發(fā)展探究

　　因此，只能通過(guò)部署使用更高性能存儲(chǔ)節(jié)點(diǎn)用以重建新的分布式存儲(chǔ)集群，以此來(lái)解決存儲(chǔ)容量被日益增長(zhǎng)的媒體素材消耗殆盡的問(wèn)題。由于現(xiàn)有生產(chǎn)環(huán)境存儲(chǔ)集群直接擴(kuò)容方案受到限制，而業(yè)務(wù)也在不斷進(jìn)行寫(xiě)操作，存儲(chǔ)容量將進(jìn)一步壓縮，因此，需要將現(xiàn)有存儲(chǔ)集群中的數(shù)據(jù)遷移至新建的高性能節(jié)點(diǎn)存儲(chǔ)集群中，而新建的存儲(chǔ)集群由于備品備件較為充足，是能夠進(jìn)行大量節(jié)點(diǎn)直接擴(kuò)容的，這將恰當(dāng)解決生產(chǎn)集群存儲(chǔ)容量不足的問(wèn)題。其中，占用容量較大的冷數(shù)據(jù)視頻素材將是數(shù)據(jù)遷移的首選，其次是業(yè)務(wù)讀寫(xiě)量不是特別大的熱數(shù)據(jù)。

　　3方案研究

　　3.1整體架構(gòu)

　　3.1.1災(zāi)備技術(shù)及災(zāi)備策略

　　災(zāi)備技術(shù)是指利用技術(shù)、管理手段以及相關(guān)資源確保關(guān)鍵數(shù)據(jù)、關(guān)鍵數(shù)據(jù)處理系統(tǒng)和關(guān)鍵業(yè)務(wù)在災(zāi)難發(fā)生后可以快速恢復(fù)的過(guò)程。目前，災(zāi)備策略主要分為完全備份與增量備份，而主流的復(fù)制策略則分為異步復(fù)制與同步復(fù)制[2]。

　　3.1.2快照技術(shù)

　　隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，產(chǎn)生的數(shù)據(jù)量正在快速增加。對(duì)于重要數(shù)據(jù)，通常會(huì)進(jìn)行數(shù)據(jù)備份以免造成數(shù)據(jù)丟失。在早期的數(shù)據(jù)備份方式中，恢復(fù)時(shí)間目標(biāo)(RTO)和恢復(fù)點(diǎn)目標(biāo)(RPO)無(wú)法滿(mǎn)足業(yè)務(wù)的要求，而且數(shù)據(jù)備份過(guò)程中可能會(huì)影響業(yè)務(wù)性能，甚至導(dǎo)致業(yè)務(wù)中斷。當(dāng)數(shù)據(jù)量快速增加且數(shù)據(jù)增長(zhǎng)速度也同步加快時(shí)，如何減少備份時(shí)間窗口期成為運(yùn)維人員重點(diǎn)關(guān)注的問(wèn)題。因此，數(shù)據(jù)備份、數(shù)據(jù)保護(hù)技術(shù)開(kāi)始逐步出現(xiàn)�？煺占夹g(shù)是數(shù)據(jù)備份技術(shù)中最常見(jiàn)的一種方式，一般被定義為一組文件、卷或者存儲(chǔ)目錄在某個(gè)特定的時(shí)間點(diǎn)上的副本。它所能捕獲到的是一些特定數(shù)據(jù)在特定時(shí)間點(diǎn)上的映像。

　　其原理與人們使用手機(jī)拍照類(lèi)似，通過(guò)拍照可以快速記錄下某一瞬間被拍照對(duì)象的狀態(tài)。由于可以快速生成快照，通過(guò)此技術(shù)，運(yùn)維人員能夠?qū)崿F(xiàn)數(shù)據(jù)的零備份窗口，從而滿(mǎn)足企業(yè)對(duì)業(yè)務(wù)連續(xù)性和數(shù)據(jù)可靠性的要求。而針對(duì)存儲(chǔ)目錄快照的常規(guī)應(yīng)用場(chǎng)景包括以下兩個(gè)方面。

　　(1)用于數(shù)據(jù)持續(xù)保護(hù)、快速備份和恢復(fù)快照占用存儲(chǔ)空間小，所以，在通過(guò)配置定時(shí)快照策略時(shí)，可以在不同時(shí)間點(diǎn)為源目錄創(chuàng)建多個(gè)快照版本。當(dāng)源目錄下的文件數(shù)據(jù)遭到人為意外刪除、覆蓋或病毒入侵等非物理介質(zhì)損壞時(shí)，可以通過(guò)故障前的快照恢復(fù)數(shù)據(jù)，從而保證用戶(hù)數(shù)據(jù)的可用性和可恢復(fù)性。對(duì)于一些重要的時(shí)間點(diǎn)或者重要的數(shù)據(jù)，用戶(hù)可以手動(dòng)創(chuàng)建快照進(jìn)行備份，用于在文件損壞或誤操作后的快速恢復(fù)。

　　(2)用于遠(yuǎn)程復(fù)制場(chǎng)景遠(yuǎn)程復(fù)制依賴(lài)于快照技術(shù)。遠(yuǎn)程復(fù)制任務(wù)啟動(dòng)后按照設(shè)定的時(shí)間間隔定時(shí)創(chuàng)建快照，然后將快照時(shí)刻的數(shù)據(jù)同步至遠(yuǎn)端集群，每次只需要復(fù)制當(dāng)前快照與前一個(gè)快照之間的增量數(shù)據(jù)。當(dāng)遠(yuǎn)程復(fù)制的本地和遠(yuǎn)端目錄間數(shù)據(jù)同步完成時(shí)，會(huì)在遠(yuǎn)端集群建立一致性目錄快照，用于數(shù)據(jù)一致性對(duì)比。當(dāng)遠(yuǎn)端集群也存在當(dāng)前同步后的一致性目錄快照時(shí)，即可判斷當(dāng)前同步已完成。經(jīng)過(guò)對(duì)以上兩種應(yīng)用場(chǎng)景的分析以及結(jié)合實(shí)際生產(chǎn)環(huán)境，本文圍繞遠(yuǎn)程復(fù)制場(chǎng)景進(jìn)行深入研究。

　　3.2采用雙集群基于存儲(chǔ)的遠(yuǎn)程復(fù)制功能

　　3.2.1不同類(lèi)型數(shù)據(jù)的遠(yuǎn)程復(fù)制方式

　　遠(yuǎn)程復(fù)制[3]是容災(zāi)備份的核心技術(shù)。遠(yuǎn)程復(fù)制要想將本地站點(diǎn)集群的目錄數(shù)據(jù)復(fù)制到遠(yuǎn)端站點(diǎn)集群，首先需要在集群間創(chuàng)建復(fù)制鏈路，然后為需要同步的目錄創(chuàng)建遠(yuǎn)程復(fù)制Pair。遠(yuǎn)程復(fù)制Pair是一條數(shù)據(jù)復(fù)制關(guān)系，通過(guò)它指定了數(shù)據(jù)復(fù)制的來(lái)源和目標(biāo)以及數(shù)據(jù)復(fù)制的頻率等相關(guān)規(guī)則，不同類(lèi)型的數(shù)據(jù)使用不同的策略。

　　針對(duì)冷數(shù)據(jù)，創(chuàng)建遠(yuǎn)程復(fù)制Pair后，需要用戶(hù)手動(dòng)觸發(fā)初始同步，初始同步即為全量同步，屬于完全備份策略，所以，初始同步會(huì)將本地目錄中的所有數(shù)據(jù)一次性復(fù)制到遠(yuǎn)端目錄中，這在復(fù)制遷移鏈路上會(huì)占用大量的帶寬，耗費(fèi)時(shí)間也相對(duì)較長(zhǎng)，對(duì)存儲(chǔ)服務(wù)系統(tǒng)性能影響較大。所以，需要在業(yè)務(wù)不繁忙的時(shí)段進(jìn)行初始同步操作。

　　針對(duì)熱數(shù)據(jù)，首次全量數(shù)據(jù)同步完成后，當(dāng)業(yè)務(wù)人員再次對(duì)本地目錄進(jìn)行讀寫(xiě)數(shù)據(jù)時(shí)，如果此時(shí)啟動(dòng)同步操作，則其同步方式均是增量同步的方式，屬于增量備份策略，即只對(duì)全量同步之后的差異數(shù)據(jù)進(jìn)行同步，能夠縮短數(shù)據(jù)遠(yuǎn)程復(fù)制時(shí)間，同時(shí)也提高了數(shù)據(jù)傳輸效率。當(dāng)業(yè)務(wù)人員在本地目錄中刪除數(shù)據(jù)并啟動(dòng)目錄同步后，遠(yuǎn)端目錄中的相應(yīng)數(shù)據(jù)也會(huì)被刪除�？偟膩�(lái)說(shuō)，初始同步完成后的每次同步都是增量同步。增量同步只復(fù)制增加、刪除和修改的數(shù)據(jù)，數(shù)據(jù)量較小，占用網(wǎng)絡(luò)帶寬比全量同步小，復(fù)制傳輸數(shù)據(jù)量的時(shí)間也會(huì)少很多。相對(duì)于全量同步，增量同步對(duì)系統(tǒng)性能的影響要小。

　　3.2.2熱數(shù)據(jù)基于目錄快照進(jìn)行的數(shù)據(jù)異步復(fù)制

　　本地和遠(yuǎn)端目錄間的數(shù)據(jù)同步是基于目錄快照進(jìn)行的數(shù)據(jù)異步復(fù)制。對(duì)遠(yuǎn)程復(fù)制Pair啟動(dòng)初次同步時(shí)，存儲(chǔ)系統(tǒng)自動(dòng)為本地目錄創(chuàng)建一份該時(shí)間點(diǎn)的快照，定義為本次數(shù)據(jù)同步的基準(zhǔn)快照。而后續(xù)每次進(jìn)行數(shù)據(jù)增量同步時(shí)，系統(tǒng)則再次為本地目錄創(chuàng)建一份快照，并分析兩次目錄快照同步期間的差異數(shù)據(jù)，最后將差異部分的數(shù)據(jù)同步至遠(yuǎn)端目錄，這樣系統(tǒng)不需要掃描整個(gè)目錄的數(shù)據(jù)，也能提高增量同步的效率。

　　值得注意的是，產(chǎn)生的差異數(shù)據(jù)需要在下次同步啟動(dòng)時(shí)才 能同步到遠(yuǎn)端目錄當(dāng)中，這樣能夠保證數(shù)據(jù)的一致性。當(dāng)數(shù)據(jù)完成同步后，系統(tǒng)通過(guò)遠(yuǎn)程復(fù)制Pair在遠(yuǎn)端集群為遠(yuǎn)端目錄創(chuàng)建一份一致性快照。因此，可以通過(guò)直接對(duì)比本地目錄和遠(yuǎn)端目錄是否存在當(dāng)前同步的一致性快照數(shù)據(jù)來(lái)判斷同步是否已經(jīng)全部完成。

　　為了防止在數(shù)據(jù)同步過(guò)程中因意外中斷而導(dǎo)致數(shù)據(jù)丟失的情況發(fā)生，本地、遠(yuǎn)端集群都各自保留最新的兩份快照數(shù)據(jù)。后續(xù)每次同步結(jié)束后，都將會(huì)保存最新的快照數(shù)據(jù)，并刪除“老”的快照數(shù)據(jù)。而刪除“老”快照數(shù)據(jù)的時(shí)間間隔可根據(jù)遠(yuǎn)端集群中對(duì)目錄快照的保存時(shí)間功能進(jìn)行設(shè)置，若超過(guò)設(shè)置時(shí)間，則系統(tǒng)會(huì)自動(dòng)刪除快照數(shù)據(jù)。

　　4方案應(yīng)用

　　根據(jù)上述的需求分析與方案研究，我們本次采用基于目錄快照數(shù)據(jù)異步復(fù)制的策略進(jìn)行單向數(shù)據(jù)遷移。為了緩解現(xiàn)有生產(chǎn)存儲(chǔ)集群中的容量被快速消耗以及保證前端業(yè)務(wù)的正常讀寫(xiě)，本方案將優(yōu)先對(duì)占據(jù)大容量的冷備媒體視頻素材進(jìn)行全量同步，全量同步結(jié)束后，在生產(chǎn)環(huán)境存儲(chǔ)集群中回收相應(yīng)的媒體素材以釋放存儲(chǔ)空間，而后再對(duì)生產(chǎn)環(huán)境中的熱數(shù)據(jù)采取先全量同步再增量同步的策略，最后選擇一個(gè)業(yè)務(wù)空窗期進(jìn)行業(yè)務(wù)的完全遷移與切換。雙存儲(chǔ)集群中遠(yuǎn)程復(fù)制流程按照下列方式進(jìn)行配置。

　　(1)配置復(fù)制區(qū)域每個(gè)存儲(chǔ)集群默認(rèn)只有一個(gè)復(fù)制區(qū)域，只能進(jìn)行修改，無(wú)法進(jìn)行創(chuàng)建和刪除操作。同時(shí)，需要在本地和遠(yuǎn)端存儲(chǔ)集群的復(fù)制區(qū)域中配置相同的存儲(chǔ)節(jié)點(diǎn)數(shù)量，如果節(jié)點(diǎn)數(shù)量差距較大，將會(huì)導(dǎo)致復(fù)制區(qū)域通道鏈路不對(duì)等，可能會(huì)導(dǎo)致復(fù)制性能下降，本次實(shí)際環(huán)境各配置4個(gè)存儲(chǔ)節(jié)點(diǎn)。

　　(2)創(chuàng)建復(fù)制區(qū)域通道在獲取到遠(yuǎn)端集群的復(fù)制區(qū)域名稱(chēng)和其集群內(nèi)任一節(jié)點(diǎn)的靜態(tài)前端業(yè)務(wù)IP地址之后，即可通過(guò)復(fù)制區(qū)域通道建立起本地與遠(yuǎn)端集群的遠(yuǎn)程復(fù)制鏈路，用于數(shù)據(jù)復(fù)制傳輸。

　　(3)創(chuàng)建遠(yuǎn)程復(fù)制Pair除本地與遠(yuǎn)端集群都創(chuàng)建了復(fù)制區(qū)域通道且通信正常之外，兩端集群還必須具有遠(yuǎn)程復(fù)制功能，并且要求遠(yuǎn)端集群目錄為空。在遠(yuǎn)程復(fù)制Pair創(chuàng)建成功后，確保Pair中的本地和遠(yuǎn)端目錄不被刪除、移動(dòng)或更改，否則將會(huì)導(dǎo)致整個(gè)遠(yuǎn)程復(fù)制過(guò)程異常，造成數(shù)據(jù)丟失。

　　(4)同步遠(yuǎn)程復(fù)制Pair在本地、遠(yuǎn)端存儲(chǔ)集群遠(yuǎn)程復(fù)制功能上，當(dāng)顯示“遠(yuǎn)程復(fù)制Pair健康狀態(tài)”均為“正常”，且遠(yuǎn)程復(fù)制Pair的“遠(yuǎn)端目錄寫(xiě)保護(hù)狀態(tài)”為“只讀”時(shí)，才能進(jìn)行同步操作，初始同步必須手動(dòng)同步。

　　(5)分裂遠(yuǎn)程復(fù)制Pair當(dāng)人為想中斷同步時(shí)，可以對(duì)正在同步的Pair進(jìn)行分裂，系統(tǒng)將中止數(shù)據(jù)復(fù)制操作，遠(yuǎn)端目錄數(shù)據(jù)與本地目錄數(shù)據(jù)為不完整狀態(tài)。當(dāng)再次同步該P(yáng)air時(shí)，系統(tǒng)會(huì)繼續(xù)上次未完成的同步任務(wù)(也稱(chēng)為“斷點(diǎn)續(xù)傳”)，直至上次任務(wù)對(duì)應(yīng)的數(shù)據(jù)全部同步完成。實(shí)際上，數(shù)據(jù)遷移目前已從現(xiàn)有生產(chǎn)集群存儲(chǔ)中總共遷移了大約800T數(shù)據(jù)容量至新分布式存儲(chǔ)集群中，這 緩解了舊的生產(chǎn)環(huán)境存儲(chǔ)容量的壓力。整個(gè)過(guò)程較為順利，遷移速率最大達(dá)到800MB/s。

　　5結(jié)語(yǔ)

　　本方案結(jié)合中國(guó)藍(lán)云平臺(tái)現(xiàn)有分布式存儲(chǔ)集群在實(shí)際生產(chǎn)環(huán)境中遇到的問(wèn)題，著重介紹了當(dāng)生產(chǎn)環(huán)境中的分布式集群存儲(chǔ)面臨因不具備節(jié)點(diǎn)擴(kuò)容而導(dǎo)致可用容量枯竭時(shí)的一種數(shù)據(jù)遷移方案。該方案以災(zāi)備技術(shù)、災(zāi)備策略以及快照技術(shù)為基礎(chǔ)，根據(jù)業(yè)務(wù)對(duì)不同目錄的讀寫(xiě)頻率分成冷熱兩種數(shù)據(jù)類(lèi)型，并根據(jù)不同數(shù)據(jù)類(lèi)型制定不同的遷移策略來(lái)實(shí)現(xiàn)整個(gè)數(shù)據(jù)復(fù)制遷移過(guò)程，緩解了本地端存儲(chǔ)的存儲(chǔ)壓力，同時(shí)解決了掛載在本地端存儲(chǔ)業(yè)務(wù)系統(tǒng)能夠持續(xù)穩(wěn)定的進(jìn)行讀寫(xiě)。最后，希望此分布式存儲(chǔ)數(shù)據(jù)遷移方案能夠?yàn)閺V電行業(yè)業(yè)務(wù)的穩(wěn)定運(yùn)行提供一種參考。

　　參考文獻(xiàn)：

　　[1]陸蘊(yùn)超.分布式存儲(chǔ)技術(shù)在虛擬化架構(gòu)中的應(yīng)用[J].有線(xiàn)電視技術(shù),2017(7):54-56.

　　[2]李旺,王韻.基于存儲(chǔ)的遠(yuǎn)程異步復(fù)制災(zāi)備方案設(shè)計(jì)與應(yīng)用[J].信息技術(shù)與信息化,2013(5):106-108+158.

　　[3]闕志興,許雄凌,陳飛.云存儲(chǔ)下的容災(zāi)備份技術(shù)研究與部署[J].科技創(chuàng)新與應(yīng)用,2017(21):34-35.

　　作者：浙江廣播電視集團(tuán)張勝龍蔡晶晶史姣姣

轉(zhuǎn)載請(qǐng)注明來(lái)自發(fā)表學(xué)術(shù)論文網(wǎng)：http:///jjlw/29764.html