国产强伦姧在线观看无码,中文字幕99久久亚洲精品,国产精品乱码在线观看,色桃花亚洲天堂视频久久,日韩精品无码观看视频免费

      您現(xiàn)在的位置:智能制造網(wǎng)>技術(shù)中心>基于公有云TB級(jí)文件保護(hù)系統(tǒng)

      直播推薦

      更多>

      企業(yè)動(dòng)態(tài)

      更多>

      推薦展會(huì)

      更多>

      基于公有云TB級(jí)文件保護(hù)系統(tǒng)

      2016年03月14日 17:20:39人氣:15500來(lái)源:

        企業(yè)業(yè)務(wù)稍微上點(diǎn)規(guī)模的,IT系統(tǒng)產(chǎn)生的數(shù)據(jù)很容易就超過(guò)TB級(jí),并且資料文檔等很容易超過(guò)億級(jí)別的規(guī)模,如果用手動(dòng)復(fù)制的方案來(lái)備份,基本是非常困難的;這種情況下,即使購(gòu)買(mǎi)一些專(zhuān)業(yè)系統(tǒng),隨著數(shù)據(jù)量日益增大,跑起來(lái)也非常吃力。本文重點(diǎn)討論如何基于云平臺(tái),來(lái)實(shí)現(xiàn)對(duì)應(yīng)的解決方案。

        TB級(jí)海量文件場(chǎng)景特點(diǎn)

        文件規(guī)模大,動(dòng)作上規(guī)模

        文件目錄結(jié)構(gòu)多,層次多

        文件大小從KB 到MB,GB,甚至百GB級(jí)別分布

        文件變化快,或者有批量增加的場(chǎng)景

        無(wú)用的,有用的,混在一起

        時(shí)間分布久,跨度大

        文件類(lèi)型文本,視頻,圖片,壓縮等都有

        單個(gè)節(jié)點(diǎn)的數(shù)據(jù)量上TB級(jí)

        總量上TB級(jí),但分布在多個(gè)節(jié)點(diǎn)

        面對(duì)如此特點(diǎn),如果按照目前的設(shè)備+軟件方案,在以下幾點(diǎn)有非常大的缺陷:

        1.升級(jí)擴(kuò)展復(fù)雜,預(yù)先估計(jì)容量,后續(xù)擴(kuò)展起來(lái)相當(dāng)麻煩,必須的改變存儲(chǔ)策略,或重新離線做數(shù)據(jù)遷移分布。如果初始購(gòu)買(mǎi)的存儲(chǔ)擴(kuò)展有限,后期還不能很好的升級(jí)擴(kuò)展。

        2.3-5年左右的生命周期,也就是說(shuō),數(shù)據(jù)經(jīng)過(guò)幾年后,改造升級(jí),購(gòu)買(mǎi)新的方案是必須的,這樣當(dāng)數(shù)據(jù)上到百TB級(jí)別,整個(gè)工程實(shí)施也是相當(dāng)復(fù)雜了。

        3. 一次投入特別的貴,如果對(duì)原始TB級(jí)數(shù)據(jù)做專(zhuān)業(yè)備份保護(hù),投入得數(shù)十萬(wàn),具體到不同的行業(yè),性能和保護(hù)窗口參數(shù)稍微提升,投入立即上升到。

        隨著數(shù)據(jù)量的增長(zhǎng),超過(guò)一個(gè)量級(jí),比如10TB級(jí)別,其實(shí)這類(lèi)方案已經(jīng)難于勝任了。

        破解思路

        基本上來(lái)說(shuō),要破解海量數(shù)量,以及TB級(jí)增長(zhǎng)的難題,基于云的方案是目前zui有前途的思路,云有4個(gè)核心好處:

        

       

        1.存儲(chǔ)和計(jì)算能力按需擴(kuò)展

        2.可靠,云的計(jì)算和存儲(chǔ)分布特點(diǎn),使得系統(tǒng)在計(jì)算和存儲(chǔ)都具備傳統(tǒng)結(jié)構(gòu)不具備的數(shù)倍的可靠性

        3.安全,基礎(chǔ)云服務(wù)商自身在安全方面不計(jì)成本,比起自己構(gòu)建IT設(shè)施,來(lái)得更加專(zhuān)業(yè)

        4.擴(kuò)展,開(kāi)放性更好,使得構(gòu)建的服務(wù),更容易外部系統(tǒng)對(duì)接

        目前在國(guó)內(nèi)以及其他地區(qū),都有成熟的云平臺(tái)可以作為構(gòu)建基礎(chǔ)。當(dāng)然,除了明顯的優(yōu)點(diǎn)外,也有1個(gè)缺點(diǎn)是,云畢竟在異地,速度方面沒(méi)有本地來(lái)得快,所以在設(shè)計(jì)系統(tǒng)的時(shí)候,要充分考慮到此處特點(diǎn)。以此為基礎(chǔ),考慮構(gòu)思如下備份系統(tǒng)的設(shè)計(jì)目標(biāo):

        zui高性?xún)r(jià)比的TB級(jí)海量小文件備份服務(wù)

        支持分布式,多節(jié)點(diǎn)集中管理監(jiān)控

        備份容易且快速恢復(fù)

        結(jié)合云平臺(tái)的優(yōu)缺點(diǎn),基本的設(shè)計(jì)思路大體如下:

        規(guī)模上量:?jiǎn)吸c(diǎn)TB突破,分布式上量

        zui小空間占用:zui大化變小數(shù)據(jù)

        平衡性能開(kāi)銷(xiāo):IO掃描和效益平衡

        不做無(wú)用功:特征類(lèi)型自適應(yīng)處理

        zui近zui快,zui遠(yuǎn)zui可靠:多級(jí)模式結(jié)合,平衡速度和可靠性

        以下將圍繞以上5個(gè)點(diǎn)展開(kāi),看一個(gè)專(zhuān)業(yè)級(jí)別的備份保護(hù)系統(tǒng)如何打造。

        TB級(jí)突破

        實(shí)現(xiàn)TB級(jí)突破,重點(diǎn)思路在于如何解決備份和恢復(fù)的速度,以及海量規(guī)模的數(shù)據(jù)塊存儲(chǔ)。而解決數(shù)據(jù)備份和恢復(fù)速度的關(guān)鍵在于組織好數(shù)據(jù)索引;我們?nèi)粘?吹降木W(wǎng)盤(pán)備份是簡(jiǎn)單的同步模型,很難勝任連續(xù)的數(shù)據(jù)塊版本影射關(guān)系。而一個(gè)專(zhuān)業(yè)的備份系統(tǒng),此處是必須要解決好。

        架構(gòu)上要突破純?cè)频姆桨?,本地和云結(jié)合

        

       

        純?cè)频姆桨福昧嗽频膸讉€(gè)優(yōu)勢(shì)點(diǎn),但也同時(shí)受云天生異地的特點(diǎn)影響,在傳輸效率方面是必定落后本地的方案,在強(qiáng)調(diào)速度的備份和恢復(fù)場(chǎng)景下,只有壓縮數(shù)據(jù),加大帶寬。因此,更好的專(zhuān)業(yè)級(jí)方案是兼顧云和本地的優(yōu)勢(shì)進(jìn)行設(shè)計(jì)。

        

       

        以下黃色部分,就是加的一層本地存儲(chǔ);本地客戶(hù)端將以分塊的形式把數(shù)據(jù)寫(xiě)入本地客戶(hù)端,同時(shí)啟動(dòng)同步邏輯,把數(shù)據(jù)從本地同步到云存儲(chǔ)。

        

       

        TB級(jí)數(shù)據(jù)重點(diǎn)在索引管理上要下功夫,索引分為本地和云端兩級(jí)

        本地索引采用分段分布設(shè)計(jì),突破傳統(tǒng)RDB單庫(kù)數(shù)量過(guò)大,查詢(xún)過(guò)慢的瓶頸。本地索引模型讀寫(xiě)相對(duì)簡(jiǎn)單,可以采用自己研發(fā)或開(kāi)源的本地?cái)?shù)據(jù)存儲(chǔ)方案,Sparkey, levelDB,BDB,甚至MongoDB等都可以,實(shí)現(xiàn)索引庫(kù)理論支持TB級(jí)以上的的索引大小,具體到文件為每條索引可做到100字節(jié)以?xún)?nèi)

        索引容量: TB/0.1KB > 100億條索引

        

       

        按照簡(jiǎn)單的順序存取模型,海量的目錄,文件索引,這種分級(jí)模型的索引框架,可以輕松解決TB級(jí)數(shù)據(jù)與海量小文件場(chǎng)景的管理。

        當(dāng)然,如果離開(kāi)了異地配合,這種方案還是不完整的。因此在云上,要支持更大規(guī)模的索引容器。幸運(yùn)的是,在云上,我們可以選擇的方案還比較多??梢曰贛ongoDB,LevelDB等的列模型數(shù)據(jù)庫(kù),也可以基于云平臺(tái)本身的分布式KV數(shù)據(jù)庫(kù)來(lái)保存索引。

        

       

        設(shè)備通過(guò)調(diào)度中心定位到云索引中心 ; 單個(gè)云索引中心采用NO-SQL DB分布式設(shè)計(jì),具體按照任務(wù)ID進(jìn)行分布。關(guān)于具體的索引容器,可以選擇云平臺(tái)提供的KV數(shù)據(jù)庫(kù),如果要更多靈活的控制,也可以自己選用專(zhuān)業(yè)的KV 數(shù)據(jù)庫(kù)來(lái)構(gòu)建。理論上云端可以管理索引的數(shù)量無(wú)限。

        數(shù)據(jù)按系列段分塊存儲(chǔ),提升混合云模型的速度參數(shù)

        普通的量級(jí)數(shù)據(jù)讀寫(xiě),無(wú)所謂要不要分塊了,但一旦規(guī)模上到TB級(jí)別,特別在文件量變化快的場(chǎng)景,要盡可能縮短備份窗口,必要的數(shù)據(jù)存儲(chǔ)組織就顯得非常的關(guān)鍵。其數(shù)據(jù)存儲(chǔ)分為兩部分,本地和云。

        本地?cái)?shù)據(jù)存儲(chǔ)設(shè)計(jì),可采用N *KB – N *MB 相對(duì)固定系列段的分塊設(shè)計(jì),兼顧讀寫(xiě)效率與空間平衡分塊采用期望分塊方案,盡可能讓分塊分布在1個(gè)區(qū)間,保證去重效果的同時(shí),減低分塊對(duì)索引記錄數(shù)占用的數(shù)量。本文按照64KB 到 4MB的經(jīng)驗(yàn)值方案來(lái)計(jì)算.

        總可索引數(shù)據(jù)量區(qū)間:理論zui小管理數(shù)據(jù) 100億* 64KB = 600+TB , 理論zui大管理數(shù)據(jù) 100億* 4MB = 40+ PB 這么大的規(guī)模,理論上已經(jīng)遠(yuǎn)遠(yuǎn)滿(mǎn)足數(shù)據(jù)存儲(chǔ)管理需要。

        對(duì)于數(shù)據(jù)上云,初始化系統(tǒng)這里可以把設(shè)備定位到不同的云數(shù)據(jù)中心,與索引位于同1個(gè)中心內(nèi);上傳的數(shù)據(jù)異步化存儲(chǔ)到云存儲(chǔ),或可同時(shí)異步到特定的塊存儲(chǔ)設(shè)備;對(duì)于塊存儲(chǔ),提供合并機(jī)制,將小塊進(jìn)行合并存儲(chǔ),提高存儲(chǔ)讀寫(xiě)效率。所以,理論上云端冗余管理的數(shù)據(jù)量受限于云存儲(chǔ)空間提供商的。

        本地和云的數(shù)據(jù)存儲(chǔ)組織方案,在本地通過(guò)相對(duì)分塊序列的方案,在云采用云存儲(chǔ)的方案,從KB-MB級(jí)的小數(shù)據(jù)塊文件都可以輕松管理起來(lái)。

        

       

        上圖是基于索引和塊存儲(chǔ)結(jié)合的增量應(yīng)用。任何一個(gè)數(shù)據(jù)塊的變化都會(huì)*時(shí)間,通過(guò)本地的索引塊簽名快速判斷是否需要上傳備份 ; 如果本地的索引無(wú)法啟動(dòng),將從云端獲取簽名進(jìn)行比對(duì)。任何一個(gè)需要備份的數(shù)據(jù)塊,可以快速通過(guò)分塊序列存儲(chǔ)方案,保存在對(duì)應(yīng)的數(shù)據(jù)塊文件中。

        通過(guò)并行冗余通道,提升上下云的速度、穩(wěn)定和可靠性

        互聯(lián)網(wǎng)絡(luò)本身是一個(gè)質(zhì)量無(wú)法端到端保證的的一個(gè)網(wǎng)絡(luò),傳輸?shù)姆€(wěn)定性會(huì)又多個(gè)環(huán)節(jié)影響。包括運(yùn)營(yíng)商網(wǎng)絡(luò),平臺(tái)的網(wǎng)絡(luò),以及用戶(hù)接入的網(wǎng)絡(luò)等。對(duì)于一個(gè)專(zhuān)業(yè)級(jí)的備份系統(tǒng),必須要考慮網(wǎng)絡(luò)通道的連續(xù)、穩(wěn)定運(yùn)行。

        

       

        以上,在任何一次客戶(hù)端注冊(cè)期間,一旦認(rèn)證通過(guò)后,可以根據(jù)系統(tǒng)資源情況,分配合適的數(shù)據(jù)節(jié)點(diǎn)給客戶(hù)端。 客戶(hù)端可以根據(jù)情況,正常情況下,多通道并行傳送 ; 一旦檢測(cè)到通道出現(xiàn)問(wèn)題,自動(dòng)摘除 ;各個(gè)節(jié)點(diǎn)會(huì)上報(bào)數(shù)據(jù)到調(diào)度中心; 同時(shí)當(dāng)鏈路恢復(fù)的時(shí)候,自動(dòng)接入到系統(tǒng)中。下圖就是示意多通道在同步到云,以及從云恢復(fù)或下載數(shù)據(jù)。

        

       

        采用端到端加密數(shù)據(jù)塊設(shè)計(jì),結(jié)合數(shù)據(jù)塊垮云分布機(jī)制,可靠保存?zhèn)浞莸奖镜睾驮频臄?shù)據(jù)

        在備份體系中,數(shù)據(jù)保密性設(shè)計(jì)不依賴(lài)于人,從機(jī)制上保證數(shù)據(jù)備份到云是機(jī)密的。zui常用的一種方案就是采用對(duì)稱(chēng)加密,具體可以采用AES,3DES 等算法。目前比較常用AES256位,而key的產(chǎn)生可以在客戶(hù)端產(chǎn)生。Key一旦丟失,數(shù)據(jù)將無(wú)法恢復(fù)和使用。因此key的妥善保護(hù),也是非常重要。

        

       

        在基于塊的加密設(shè)計(jì)中,結(jié)合云分布特征,數(shù)據(jù)被打散在不同的存儲(chǔ)位置,因此在數(shù)據(jù)安全方面進(jìn)一步增加了強(qiáng)度?;谀壳暗墓性破脚_(tái)的情況,在國(guó)內(nèi)和國(guó)外都有幾大主流的云存儲(chǔ)平臺(tái),分布在。理論上,數(shù)據(jù)可以分步在任何一個(gè)地方。*考慮的是數(shù)據(jù)如何跨地區(qū)進(jìn)行同步和分布; 當(dāng)然這里可以先寫(xiě)入本地云中心,冗余塊通過(guò)高速通道,再同步其他云中心,這里可以是同構(gòu)的云,也可以是異構(gòu)的云。

        

       

        引入自動(dòng)適應(yīng)方案,提升海量文件和應(yīng)用場(chǎng)景的適應(yīng)能力

        在海量文件情況下,由幾種系統(tǒng)因素影響備份的效率和資源開(kāi)銷(xiāo)。備份系統(tǒng)如果全速開(kāi)進(jìn),會(huì)消耗過(guò)多的計(jì)算和IO資源,如果是生產(chǎn)系統(tǒng),勢(shì)必也會(huì)帶來(lái)沖突。以下是幾種典型的需要規(guī)避的:

        壓縮比例和CPU消耗的沖突

        磁盤(pán)IO和小文件隨機(jī)分布的沖突

        強(qiáng)加密和CPU需求的沖突

        實(shí)時(shí)檢測(cè)和系統(tǒng)資源的沖突

        文件類(lèi)型和壓縮效果的沖突

        備份帶寬消耗

        

       

        通過(guò)對(duì)帶寬,壓縮算法,文件類(lèi)型定義等預(yù)定義策略,可以快速平衡好系統(tǒng)資源。這種適合在確定判斷系統(tǒng)場(chǎng)景的情況啟用。

        對(duì)于無(wú)法預(yù)知的情況,啟動(dòng)自動(dòng)監(jiān)測(cè)機(jī)制,包括壓縮比,是否硬件加密加速,是否需要啟動(dòng)實(shí)時(shí)或批量掃描等。

      關(guān)鍵詞:存儲(chǔ)設(shè)備
      全年征稿/資訊合作 聯(lián)系郵箱:1271141964@qq.com

      免責(zé)聲明

      • 凡本網(wǎng)注明"來(lái)源:智能制造網(wǎng)"的所有作品,版權(quán)均屬于智能制造網(wǎng),轉(zhuǎn)載請(qǐng)必須注明智能制造網(wǎng),http://towegas.com。違反者本網(wǎng)將追究相關(guān)法律責(zé)任。
      • 企業(yè)發(fā)布的公司新聞、技術(shù)文章、資料下載等內(nèi)容,如涉及侵權(quán)、違規(guī)遭投訴的,一律由發(fā)布企業(yè)自行承擔(dān)責(zé)任,本網(wǎng)有權(quán)刪除內(nèi)容并追溯責(zé)任。
      • 本網(wǎng)轉(zhuǎn)載并注明自其它來(lái)源的作品,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)或證實(shí)其內(nèi)容的真實(shí)性,不承擔(dān)此類(lèi)作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí),必須保留本網(wǎng)注明的作品來(lái)源,并自負(fù)版權(quán)等法律責(zé)任。
      • 如涉及作品內(nèi)容、版權(quán)等問(wèn)題,請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。

      <
      更多 >

      工控網(wǎng)機(jī)器人儀器儀表物聯(lián)網(wǎng)3D打印工業(yè)軟件金屬加工機(jī)械包裝機(jī)械印刷機(jī)械農(nóng)業(yè)機(jī)械食品加工設(shè)備制藥設(shè)備倉(cāng)儲(chǔ)物流環(huán)保設(shè)備造紙機(jī)械工程機(jī)械紡織機(jī)械化工設(shè)備電子加工設(shè)備水泥設(shè)備海洋水利裝備礦冶設(shè)備新能源設(shè)備服裝機(jī)械印染機(jī)械制鞋機(jī)械玻璃機(jī)械陶瓷設(shè)備橡塑設(shè)備船舶設(shè)備電子元器件電氣設(shè)備


      我要投稿
      • 投稿請(qǐng)發(fā)送郵件至:(郵件標(biāo)題請(qǐng)備注“投稿”)1271141964.qq.com
      • 聯(lián)系電話0571-89719789
      工業(yè)4.0時(shí)代智能制造領(lǐng)域“互聯(lián)網(wǎng)+”服務(wù)平臺(tái)
      智能制造網(wǎng)APP

      功能豐富 實(shí)時(shí)交流

      智能制造網(wǎng)小程序

      訂閱獲取更多服務(wù)

      微信公眾號(hào)

      關(guān)注我們

      抖音

      智能制造網(wǎng)

      抖音號(hào):gkzhan

      打開(kāi)抖音 搜索頁(yè)掃一掃

      視頻號(hào)

      智能制造網(wǎng)

      公眾號(hào):智能制造網(wǎng)

      打開(kāi)微信掃碼關(guān)注視頻號(hào)

      快手

      智能制造網(wǎng)

      快手ID:gkzhan2006

      打開(kāi)快手 掃一掃關(guān)注
      意見(jiàn)反饋
      關(guān)閉
      企業(yè)未開(kāi)通此功能
      詳詢(xún)客服 : 0571-87858618