成都科匯科技有限公司
Kehui Technology Co., Ltd.
在分布式存儲(chǔ)系統(tǒng)中，如何在不可靠硬件系統(tǒng)中實(shí)現(xiàn)穩(wěn)定可靠的存儲(chǔ)服務(wù)一直是工程上的難點(diǎn)，業(yè)界一般采用多副本技術(shù)來保障數(shù)據(jù)的可靠性。
在多副本基礎(chǔ)上，我們還需要考慮多故障域。但是故障域的需求可能是動(dòng)態(tài)變化的，一個(gè)客戶在初期可能只有3臺(tái)機(jī)器，那么故障域就是節(jié)點(diǎn)，即允許2個(gè)節(jié)點(diǎn)同時(shí)發(fā)生故障，剩下1個(gè)節(jié)點(diǎn)即可提供服務(wù)。后面隨著業(yè)務(wù)的增長，需要不斷地進(jìn)行擴(kuò)容，這時(shí)候節(jié)點(diǎn)數(shù)可能增加到數(shù)十臺(tái)到數(shù)百臺(tái)。隨著節(jié)點(diǎn)數(shù)的增加，多個(gè)節(jié)點(diǎn)同時(shí)發(fā)生故障的概率也會(huì)增加。如果還是選擇節(jié)點(diǎn)作為故障域，那么由于多節(jié)點(diǎn)同時(shí)故障導(dǎo)致的服務(wù)不可用的概率就會(huì)增加，因此這時(shí)候我們需要將節(jié)點(diǎn)故障域修改為機(jī)架故障域。隨著業(yè)務(wù)的再次增加，機(jī)架故障域可能需要擴(kuò)展到機(jī)房故障域，上升到數(shù)據(jù)中心級(jí)別的故障域。
因此，一個(gè)靈活的分布式存儲(chǔ)系統(tǒng)，需要考慮針對(duì)業(yè)務(wù)地不斷變化，隨時(shí)適應(yīng)其對(duì)IT架構(gòu)靈活配置的需求。因此，在副本算法的選擇上，需同時(shí)滿足以下幾點(diǎn)需求：
可以多副本，也可以糾刪碼（EC，N + M，N和M靈活配置）
多故障域支持（節(jié)點(diǎn)->機(jī)架->機(jī)房->數(shù)據(jù)中心）
故障域的靈活調(diào)整
各磁盤使用量的均衡
針對(duì)以上的幾點(diǎn)強(qiáng)需求，XSKY星辰天合統(tǒng)一數(shù)據(jù)平臺(tái)(XEDP)從底層實(shí)現(xiàn)上采用了設(shè)計(jì)分布式路由算法（以下簡稱算法），該算法用來決定數(shù)據(jù)在集群中的分布，包括多副本存放的物理位置。該算法的設(shè)計(jì)核心是將數(shù)據(jù)中心、機(jī)架、機(jī)器和磁盤構(gòu)建成一顆多叉樹，副本策略選擇的過程就是從根節(jié)點(diǎn)到葉子節(jié)點(diǎn)路徑選擇的過程?；谠撍惴?，XEDP構(gòu)建了一個(gè)彈性靈活的存儲(chǔ)池。
在線擴(kuò)容和縮容（自動(dòng)重平衡）
XEDP支持在線擴(kuò)容和縮容。在擴(kuò)容節(jié)點(diǎn)或者故障縮容節(jié)點(diǎn)時(shí)，需考慮在盡可能減少數(shù)據(jù)遷移的情況下，**系統(tǒng)中各節(jié)點(diǎn)負(fù)載的均衡性。該算法具有以下特點(diǎn)：
均衡性：數(shù)據(jù)能夠均勻地分布到所有的節(jié)點(diǎn)中；
隔離性：當(dāng)有新節(jié)點(diǎn)加入系統(tǒng)中，系統(tǒng)會(huì)重新做數(shù)據(jù)分配，數(shù)據(jù)遷移僅涉及新增節(jié)點(diǎn)，現(xiàn)有節(jié)點(diǎn)上的數(shù)據(jù)不需要做很大調(diào)整；
適應(yīng)性：在做數(shù)據(jù)分布計(jì)算時(shí)，算法是可以動(dòng)態(tài)調(diào)整的，當(dāng)系統(tǒng)中出現(xiàn)性能、負(fù)載不一致的節(jié)點(diǎn)時(shí)，算法可以根據(jù)調(diào)整輸入?yún)?shù)優(yōu)化算法，重新平衡負(fù)載。
但是由于節(jié)點(diǎn)異構(gòu)，節(jié)點(diǎn)中各磁盤裸容量有可能不一致等情況，數(shù)據(jù)的重構(gòu)可能會(huì)導(dǎo)致數(shù)據(jù)在各磁盤或節(jié)點(diǎn)間分布不均衡。為了解決這個(gè)問題，XEDP在產(chǎn)品上支持自動(dòng)數(shù)據(jù)重平衡和手動(dòng)重平衡。
自動(dòng)重平衡模式是為了減少運(yùn)維投入而開發(fā)的一款智能運(yùn)維工具，在該模式下，算法會(huì)根據(jù)集群的負(fù)載，選擇在業(yè)務(wù)壓力小的情況下自動(dòng)進(jìn)行數(shù)據(jù)重平衡。
手動(dòng)數(shù)據(jù)重平衡下用戶可以自行決定是否立即觸發(fā)數(shù)據(jù)的重平衡，用戶可以在綜合評(píng)估負(fù)載和容量需求的情況下按需操作。
XEDP支持集群數(shù)十倍數(shù)百倍的擴(kuò)容。擴(kuò)容過程中，算法會(huì)預(yù)先分析擴(kuò)容后各個(gè)磁盤需要承擔(dān)多少數(shù)據(jù)，然后在此基礎(chǔ)上進(jìn)行智能的微調(diào)，算法能**在擴(kuò)容數(shù)十倍后各個(gè)磁盤的容量使用率差值不超過3%，基本實(shí)現(xiàn)了數(shù)據(jù)在磁盤間的均衡分布。
整池?cái)U(kuò)容
當(dāng)容量使用緊張時(shí)需要進(jìn)行擴(kuò)容，雖然XEDP自帶恢復(fù)QoS可以將對(duì)業(yè)務(wù)的影響減少，但是擴(kuò)容畢竟涉及到大量的數(shù)據(jù)重平衡，重平衡的過程將會(huì)持續(xù)較長時(shí)間。在對(duì)象和文件場(chǎng)景，如果是規(guī)?；瘮U(kuò)容，XEDP支持“整池?cái)U(kuò)容”特性。整池?cái)U(kuò)容即將所有的新增磁盤組成一個(gè)全新的資源池，新的數(shù)據(jù)會(huì)寫入新的資源池，而所有已經(jīng)寫入的數(shù)據(jù)都會(huì)存放在老資源池，老資源池僅支持支持讀，修改和刪除。整池庫容特性避免了數(shù)據(jù)的恢復(fù)，對(duì)業(yè)務(wù)沒有絲毫的影響。
在線副本數(shù)調(diào)整
隨著業(yè)務(wù)或者IT預(yù)算的調(diào)整，可能需要調(diào)整副本數(shù)來應(yīng)對(duì)這些變化。XEDP支持在線調(diào)整副本數(shù)，增加或者減少副本一鍵操作，方便靈活。
精簡EC<——>普通EC
糾刪碼（Erasure Coding，EC）是實(shí)現(xiàn)在同樣的硬件條件下，擴(kuò)大可用容量的常用方式。例如三副本的得盤率是33.3%，EC 4+2的得盤率是66.6%，EC 8+2 的得盤率是 80%。糾刪碼K+M會(huì)將數(shù)據(jù)按照條帶切分，每個(gè)條帶再分為K個(gè)數(shù)據(jù)切片，然后對(duì)K個(gè)數(shù)據(jù)分片計(jì)算出M個(gè)校驗(yàn)分片。
對(duì)于絕大多數(shù)客戶而言，XEDP支持一種精簡EC的模式。在精簡EC模式下，用較少的節(jié)點(diǎn)可以實(shí)現(xiàn)EC的需求。以精簡EC 4 + 2:1為例，每2個(gè)數(shù)據(jù)切片（或校驗(yàn)分片）存在1個(gè)節(jié)點(diǎn)的2個(gè)磁盤中，因此我們只需要3個(gè)節(jié)點(diǎn)即可滿足上述的要求（這種情況可以損壞2個(gè)磁盤，但是只支持1個(gè)節(jié)點(diǎn)故障）。后續(xù)隨著集群擴(kuò)容到6個(gè)節(jié)點(diǎn)，我們可以把精簡EC擴(kuò)展為普通EC。普通EC模式下，不同數(shù)據(jù)分片存放在不同節(jié)點(diǎn)中，調(diào)整后可以支持2個(gè)節(jié)點(diǎn)同時(shí)故障。
同樣在縮容場(chǎng)景下，我們也支持將普通EC降級(jí)為精簡EC。
故障域調(diào)整
隨著業(yè)務(wù)增加，集群節(jié)點(diǎn)數(shù)可能從3節(jié)點(diǎn)擴(kuò)展到了100個(gè)節(jié)點(diǎn)，這時(shí)候發(fā)生多節(jié)點(diǎn)故障概率大增（例如交換機(jī)故障或者機(jī)架電源故障），因此我們需要調(diào)整將集群故障域的級(jí)別從節(jié)點(diǎn)上升到機(jī)架。
XEDP中故障域的調(diào)整是靈活的，可以實(shí)現(xiàn)從節(jié)點(diǎn)故障域上升到機(jī)架或者機(jī)房等。見下圖：
算法對(duì)于多故障域的支持是天然的。在算法中，數(shù)據(jù)中心、機(jī)房、機(jī)架、節(jié)點(diǎn)、磁盤組成了一顆樹，磁盤是葉子節(jié)點(diǎn)，其余（數(shù)據(jù)中心，機(jī)房，機(jī)架，節(jié)點(diǎn)）的組成中間節(jié)點(diǎn)。故障域的調(diào)整就是在現(xiàn)有故障域的基礎(chǔ)上，通過增加或者減少對(duì)應(yīng)中間節(jié)點(diǎn)的類型，因此故障域的調(diào)整其實(shí)就是重畫整顆樹的過程。
本地集群<——>延展集群
隨著業(yè)務(wù)的再次增加，有些業(yè)務(wù)需要進(jìn)行容災(zāi)，避免業(yè)務(wù)宕機(jī)，保障業(yè)務(wù)持續(xù)可用的目的考慮，很多企業(yè)開始興建雙活數(shù)據(jù)中心，特別是金融行業(yè)。這時(shí)候我們需要將故障域從機(jī)架上升到數(shù)據(jù)中心。在多數(shù)據(jù)中心的基礎(chǔ)上，我們可以構(gòu)建業(yè)務(wù)雙活方案。
XEDP將提供的存儲(chǔ)池跨站點(diǎn)雙活方案稱為延展集群。延展集群將存儲(chǔ)池從單個(gè)站點(diǎn)擴(kuò)展到兩個(gè)站點(diǎn)，存儲(chǔ)池中數(shù)據(jù)副本可以跨站點(diǎn)分布，實(shí)現(xiàn)了級(jí)別的可用性。延展集群可以替代傳統(tǒng)共享存儲(chǔ)集群或存儲(chǔ)鏡像集群等解決方案，實(shí)現(xiàn)園區(qū)或同城的數(shù)據(jù)中心級(jí)雙活及災(zāi)難恢復(fù)。
XEDP分布式存儲(chǔ)系統(tǒng)支持將集群內(nèi)的存儲(chǔ)節(jié)點(diǎn)放置在不同的數(shù)據(jù)中心中，確保一個(gè)數(shù)據(jù)對(duì)象的多個(gè)副本保存在不同地理位置的存儲(chǔ)節(jié)點(diǎn)上，實(shí)現(xiàn)多副本數(shù)據(jù)高可用。
延展集群基于多級(jí)故障域的跨數(shù)據(jù)中心分布策略基礎(chǔ)上，提供對(duì)主副本讀取優(yōu)先級(jí)的設(shè)置，提供就近讀取能力，優(yōu)化了業(yè)務(wù)的讀取性能。延展集群設(shè)置故障域級(jí)別為數(shù)據(jù)中心，并設(shè)置兩個(gè)數(shù)據(jù)中心級(jí)故障域，兩個(gè)數(shù)據(jù)站點(diǎn)和一個(gè)仲裁站點(diǎn)，仲裁站點(diǎn)用于故障場(chǎng)景的決策判斷并防止腦裂，數(shù)據(jù)在兩個(gè)數(shù)據(jù)中心站點(diǎn)以副本的形式分布。
XEDP支持從本地的集群擴(kuò)展到延展集群，見下圖：
隨著業(yè)務(wù)的調(diào)整，前些年構(gòu)建的延展集群方案需要調(diào)整為本地多副本策略（存儲(chǔ)集群承載的應(yīng)用的關(guān)鍵性下降，可能需要降低保護(hù)級(jí)別，這樣可以節(jié)省廣域網(wǎng)帶寬和備份數(shù)據(jù)中心的開銷）。XEDP同樣支持延展集群在線動(dòng)態(tài)調(diào)整為本地集群，可大可小，體現(xiàn)軟件定義存儲(chǔ)之美。
總結(jié)
以上介紹數(shù)據(jù)安全策略的需求，可以簡單總結(jié)如下：
動(dòng)態(tài)調(diào)整副本數(shù)；
在線擴(kuò)容和縮容（調(diào)整節(jié)點(diǎn)數(shù)）；
支持異構(gòu)（磁盤數(shù)量和容量可以不同）；
在線（上）延展和（下）延展；
XEDP依賴的分布式路由算法對(duì)上述場(chǎng)景的支持是靈活且自然的。它的靈活性體現(xiàn)在其能夠根據(jù)業(yè)務(wù)的需要進(jìn)行實(shí)時(shí)的副本方案以及故障域的調(diào)整。
XSKY星辰天合這些特性，在很多客戶的生產(chǎn)環(huán)境得到驗(yàn)證：
某客戶容量突然爆發(fā)式增長，但新采購的服務(wù)器由于疫情原因遲遲沒有到貨。客戶被迫把數(shù)據(jù)保護(hù)級(jí)別從3副本臨時(shí)降級(jí)為2副本，**了業(yè)務(wù)的正常運(yùn)行。等新服務(wù)器加入到貨擴(kuò)容后，重新調(diào)整為3副本。整個(gè)過程，業(yè)務(wù)沒有受到影響。
某客戶特別重視容災(zāi)，初期存儲(chǔ)集群直接采用延展集群雙活數(shù)據(jù)中心方案。但后來疫情來臨，公司的業(yè)務(wù)有所調(diào)整，客戶希望壓縮成本，不再租備份數(shù)據(jù)中心，希望把延展集群在線降級(jí)為普通集群。經(jīng)過XSKY星辰天合的指導(dǎo)，客戶平滑實(shí)現(xiàn)了降級(jí)，業(yè)務(wù)沒有受到影響。
業(yè)務(wù)很多的軟件定義存儲(chǔ)（SDS)公司，都是把擴(kuò)容做得很完善，畢竟這樣可以多賣存儲(chǔ)。但對(duì)于縮容，減少規(guī)模這樣的事情，支持程度很差，有些干脆就不支持，覺得這些付出沒有回報(bào)。但XSKY星辰天合，真正從客戶需求出發(fā)，把減少節(jié)點(diǎn)，減少副本數(shù)，減少一個(gè)數(shù)據(jù)中心這樣的需求都支持了，而且支持在線調(diào)整，業(yè)務(wù)無需停機(jī)，得到客戶的高度贊揚(yáng)。
服務(wù)服務(wù)區(qū)域：
西南星辰天合 XSKY 軟件定義存儲(chǔ) SDS
四川星辰天合 XSKY 重慶星辰天合 XSKY 貴州星辰天合 XSKY 云南星辰天合 XSKY 西藏自治區(qū)星辰天合 XSKY
四川星辰天合 XSKY:德陽星辰天合 XSKY 綿陽星辰天合 XSKY 攀枝花星辰天合 XSKY 西昌星辰天合 XSKY 雅安星辰天合 XSKY 內(nèi)江星辰天合 XSKY 資陽星辰天合 XSKY 南充星辰天合 XSKY 眉山星辰天合 XSKY 樂山星辰天合 XSKY 自貢星辰天合 XSKY 瀘州星辰天合 XSKY 廣元星辰天合 XSKY 遂寧星辰天合 XSKY 宜賓星辰天合 XSKY 廣安星辰天合 XSKY 達(dá)州星辰天合 XSKY 雅安星辰天合 XSKY 巴中星辰天合 XSKY 資陽星辰天合 XSKY 攀枝花星辰天合 XSKY 涼山彝族自治州星辰天合 XSKY 甘孜藏族自治州星辰天合 XSKY 阿壩藏族羌族自治州星辰天合 XSKY
貴州星辰天合 XSKY:貴陽星辰天合 XSKY 六盤水星辰天合 XSKY 遵義星辰天合 XSKY 安順星辰天合 XSKY 銅仁星辰天合 XSKY 畢節(jié)星辰天合 XSKY 黔南星辰天合 XSKY 黔西南星辰天合 XSKY 貴州黔東南星辰天合 XSKY
重慶星辰天合 XSKY 合川星辰天合 XSKY 南川星辰天合 XSKY 潼南星辰天合 XSKY 銅梁星辰天合 XSKY 長壽星辰天合 XSKY 璧山星辰天合 XSKY 榮昌星辰天合 XSKY 綦江星辰天合 XSKY 大足星辰天合 XSKY 武隆星辰天合 XSKY 墊江星辰天合 XSKY 奉節(jié)星辰天合 XSKY
昆明星辰天合 XSKY 曲靖星辰天合 XSKY 玉溪星辰天合 XSKY 保山星辰天合 XSKY 昭通星辰天合 XSKY 麗江星辰天合 XSKY 普洱星辰天合 XSKY 臨滄星辰天合 XSKY 文山壯族苗族自治州（文山星辰天合 XSKY） 紅河哈尼族彝族自治州（紅河星辰天合 XSKY） 西雙版納傣族自治州 （西雙版納星辰天合 XSKY） 楚雄彝族自治州（楚雄星辰天合 XSKY） 大理白族自治州（大理星辰天合 XSKY） 德宏傣族景頗族自治州（德宏星辰天合 XSKY） 怒江傈僳族自治州（怒江星辰天合 XSKY） 迪慶藏族自治州（迪慶星辰天合 XSKY）
貴州星辰天合 XSKY 貴陽星辰天合 XSKY 遵義星辰天合 XSKY 安順星辰天合 XSKY 畢節(jié)星辰天合 XSKY 銅仁星辰天合 XSKY 黔東南星辰天合 XSKY 黔西南星辰天合 XSKY 黔南星辰天合 XSKY 六盤水星辰天合 XSKY 貴安星辰天合 XSKY 凱里星辰天合 XSKY 都勻星辰天合 XSKY 興義星辰天合 XSKY
星辰天合 XSKY 系列產(chǎn)品和型號(hào)
SDS軟件 XCBS云后端存儲(chǔ) XEBS塊存儲(chǔ) XUDS非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ) XEOS對(duì)象存儲(chǔ) XGFS文件存儲(chǔ)XEDP 統(tǒng)一數(shù)據(jù)平臺(tái)SDS 一體化產(chǎn)品XSCALER EXPRESS 2000 XSCALER EXPRESS 2100/3100XP 系列備份一體機(jī)XH 系列超融合一體機(jī) XSCALER 3000XSCALER 5000星飛 XINFINI 全閃系列數(shù)據(jù)管理軟件 X3DS立體數(shù)據(jù)管理系統(tǒng) XSKY S3 ConsoleXSKY CloudAI 信創(chuàng)產(chǎn)品天合翔宇 宇系列信創(chuàng)一體機(jī)。
詳細(xì)解決方案請(qǐng)咨詢：
成都科匯科技有限公司
地址：成都市人民南路四段1號(hào)時(shí)代數(shù)碼大廈
電話：400-028-1235
手機(jī)：180 8195 0517（微信同號(hào)）