本文來自微信公眾號(hào)“twt企業(yè)IT社區(qū)”，作者/張鵬，曾就職于IBM、Dell EMC公司，從事客戶服務(wù)工程師共10年以上，現(xiàn)任職于某城市商業(yè)銀行運(yùn)行維護(hù)中心，從事存儲(chǔ)、備份、應(yīng)用負(fù)載等實(shí)施、運(yùn)維與管理工作，曾參與行內(nèi)新一代核心系統(tǒng)上線、容災(zāi)建設(shè)切換等項(xiàng)目。
隨著互聯(lián)網(wǎng)數(shù)據(jù)規(guī)模越來越大，并發(fā)請(qǐng)求越來越高，傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)在性能、價(jià)格、可擴(kuò)展性方面已經(jīng)不能很好地滿足需求。谷歌、亞馬遜等互聯(lián)公司率先在后臺(tái)基礎(chǔ)設(shè)施中引入超大規(guī)模分布式存儲(chǔ)系統(tǒng)，用來解決海量數(shù)據(jù)的存儲(chǔ)問題。與傳統(tǒng)的集中式存儲(chǔ)技術(shù)不同，分布式存儲(chǔ)沒有將數(shù)據(jù)存儲(chǔ)在某個(gè)特定節(jié)點(diǎn)上，而是通過網(wǎng)絡(luò)將各個(gè)節(jié)點(diǎn)分散的存儲(chǔ)資源匯聚成一個(gè)虛擬的存儲(chǔ)備，將數(shù)據(jù)分散在各處。相較于集中存儲(chǔ)，分布式存儲(chǔ)成本低，擴(kuò)展性好，弱化了關(guān)系數(shù)據(jù)模型，可以得到高并發(fā)和高性能。
1分布式存儲(chǔ)概念及特點(diǎn)
分布式存儲(chǔ)系統(tǒng)，是將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的設(shè)備上。傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù)，存儲(chǔ)服務(wù)器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點(diǎn)，不能滿足大規(guī)模存儲(chǔ)應(yīng)用的需要。隨著各行業(yè)數(shù)字化轉(zhuǎn)型的加速，越來越多的數(shù)據(jù)被生產(chǎn)出來，分布式存儲(chǔ)成為我們應(yīng)對(duì)海量數(shù)據(jù)挑戰(zhàn)的重要助力。從20世紀(jì)80年代開始，歷經(jīng)幾十年的演進(jìn)，分布式存儲(chǔ)已經(jīng)走過了四個(gè)階段：第一階段是1980年代的網(wǎng)絡(luò)文件系統(tǒng)，通過少量服務(wù)器實(shí)現(xiàn)網(wǎng)絡(luò)環(huán)境下的簡(jiǎn)單文件共享；第二階段是1990年代的共享SAN文件系統(tǒng)，已經(jīng)能夠外接SAN設(shè)備實(shí)現(xiàn)更大的文件系統(tǒng)；第三階段是2000年代的Share-Nothing存儲(chǔ)，開始利用通用服務(wù)器構(gòu)建起高擴(kuò)展的存儲(chǔ)系統(tǒng)；第四階段是2010年代逐步產(chǎn)生的企業(yè)級(jí)云存儲(chǔ)，這類存儲(chǔ)開始具備豐富的企業(yè)特性，存儲(chǔ)性能、效率和數(shù)據(jù)保護(hù)能力有了顯著的增強(qiáng)，開始在各行各業(yè)中廣泛應(yīng)用。
此外，不同類型的數(shù)據(jù)需要用不同的分布式存儲(chǔ)系統(tǒng)去處理。圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)，由于個(gè)體相互之間沒有關(guān)聯(lián)，體積大，采用二級(jí)制，通常使用分布式文件系統(tǒng)進(jìn)行存儲(chǔ)；自描述的數(shù)據(jù)結(jié)構(gòu)和內(nèi)容混在一起的半結(jié)構(gòu)化數(shù)據(jù)，比較簡(jiǎn)單的可以用分布式鍵值系統(tǒng)存儲(chǔ)，較為復(fù)雜的一般采用分布式表格系統(tǒng)來存儲(chǔ)區(qū)；結(jié)構(gòu)化數(shù)據(jù)由分布式數(shù)據(jù)庫(kù)存儲(chǔ)。
2云計(jì)算的概念及特點(diǎn)
云計(jì)算是網(wǎng)格計(jì)算、分布式計(jì)算(Distributed Computing)、并行計(jì)算(Parallel Computing)、效用計(jì)算(Utility Computing)、網(wǎng)絡(luò)存儲(chǔ)、虛擬化(Virtualization)、負(fù)載均衡(Load Balance)等傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。廣義云計(jì)算指服務(wù)的交付和使用模式，指通過網(wǎng)絡(luò)以按需要、易擴(kuò)展的方式獲得服務(wù)。這種服務(wù)可以是IT軟件和互聯(lián)網(wǎng)相關(guān)服務(wù)，也可以是其他服務(wù)。狹義云計(jì)算指IT基礎(chǔ)設(shè)施的交付和使用模式，指通過網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需資源?？傮w來說云計(jì)算具有以下幾個(gè)特點(diǎn)：1)超大規(guī)模：“云”具有相當(dāng)?shù)囊?guī)模，企業(yè)私有云一般擁有數(shù)百上千臺(tái)服務(wù)器并且能夠橫向平滑擴(kuò)展，“云”賦予了用戶前所未有的計(jì)算能力；2)虛擬化：云計(jì)算支持用戶在任意位置、使用各種終端獲取應(yīng)用服務(wù)。所請(qǐng)求的資源來自“云”，而不是固定的有形的實(shí)體。應(yīng)用在“云”中某處運(yùn)行，但實(shí)際上用戶無需了解、也不用擔(dān)心應(yīng)用運(yùn)行的具體位置；3)高可靠性：“云”使用了數(shù)據(jù)多副本容錯(cuò)、計(jì)算節(jié)點(diǎn)同構(gòu)可互換等措施來保障服務(wù)的高可靠性；4)通用性：云計(jì)算不針對(duì)特定的應(yīng)用，在“云”的支撐下可以構(gòu)造出千變?nèi)f化的應(yīng)用，同一個(gè)“云”可以同時(shí)支撐不同的應(yīng)用運(yùn)行；5)高可擴(kuò)展性：“云”的規(guī)模可以動(dòng)態(tài)伸縮，滿足應(yīng)用和用戶規(guī)模增長(zhǎng)的需要；6)按需服務(wù)：“云”是一個(gè)龐大的資源池，你按需購(gòu)買；7)廉價(jià)性：由于“云”的自動(dòng)化集中式管理使大量企業(yè)無需負(fù)擔(dān)日益高昂的數(shù)據(jù)中心管理成本，“云”的通用性使資源的利用率較之傳統(tǒng)系統(tǒng)大幅提升，因此用戶可以充分享受“云”的低成本優(yōu)勢(shì)。
3分布式存儲(chǔ)在云環(huán)境下的應(yīng)用場(chǎng)景
3.1分布式存儲(chǔ)系統(tǒng)架構(gòu)
云和AI時(shí)代，數(shù)據(jù)迎來海量增長(zhǎng)。高速5G通信、高清8K視頻、自動(dòng)駕駛和大數(shù)據(jù)分析等越來越多的新興應(yīng)用正逐步推高對(duì)數(shù)據(jù)存儲(chǔ)的需求。企業(yè)不斷擴(kuò)展業(yè)務(wù)邊界，整合云場(chǎng)景存儲(chǔ)資源，以更低TCO（Total Cost of Ownership)、更靈活的彈性部署應(yīng)對(duì)非結(jié)構(gòu)化數(shù)據(jù)快速增長(zhǎng)。在這樣的背景下，分布式存儲(chǔ)架構(gòu)成為了首選。各存儲(chǔ)廠家紛紛推出自己的分布式存儲(chǔ)產(chǎn)品，通過存儲(chǔ)系統(tǒng)軟件將每個(gè)硬件節(jié)點(diǎn)的本地存儲(chǔ)資源組織起來，按需為上層應(yīng)用提供文件存儲(chǔ)、對(duì)象存儲(chǔ)、大數(shù)據(jù)存儲(chǔ)和塊存儲(chǔ)服務(wù)。實(shí)現(xiàn)海量數(shù)據(jù)儲(chǔ)存更經(jīng)濟(jì)、多樣性數(shù)據(jù)使用更高效、在線業(yè)務(wù)承載更可靠。其系統(tǒng)架構(gòu)如圖1。
目前大多分布式存儲(chǔ)產(chǎn)品都會(huì)提供基于三層的分布式存儲(chǔ)架構(gòu)，會(huì)融合分布式文件、對(duì)象、大數(shù)據(jù)和塊多個(gè)服務(wù)形態(tài)，支持文件、對(duì)象、大數(shù)據(jù)服務(wù)部署在一個(gè)集群，并統(tǒng)一管理，整體功能架構(gòu)由存儲(chǔ)接口層、存儲(chǔ)服務(wù)層、存儲(chǔ)引擎層和存儲(chǔ)管理組成，如圖2所示，此外還會(huì)提供一些殺毒、異構(gòu)開源存儲(chǔ)管理的特色功能。
分布式存儲(chǔ)系統(tǒng)具有海量數(shù)據(jù)儲(chǔ)存更經(jīng)濟(jì)、多樣性數(shù)據(jù)使用更高效、在線業(yè)務(wù)承載更可靠等優(yōu)勢(shì)，已被廣泛應(yīng)用于如下場(chǎng)景：
1)HPC（High Performance Computing)場(chǎng)景：在氣象、基因、石油等HPC高性能計(jì)算場(chǎng)景，應(yīng)用對(duì)分布式存儲(chǔ)的性能要求高。文件服務(wù)提供的DPC可減少跨網(wǎng)絡(luò)傳輸延遲，并提供標(biāo)準(zhǔn)接口給應(yīng)用，在不修改應(yīng)用的情況下提供比標(biāo)準(zhǔn)協(xié)議更高的性能。
2)內(nèi)容存儲(chǔ)、備份歸檔場(chǎng)景：高性能、高可靠的企業(yè)級(jí)對(duì)象存儲(chǔ)資源池可滿足互聯(lián)網(wǎng)數(shù)據(jù)、在線音頻/視頻、企業(yè)網(wǎng)盤等實(shí)時(shí)在線業(yè)務(wù)吞吐量大、熱點(diǎn)數(shù)據(jù)頻繁訪問的業(yè)務(wù)需求，以及長(zhǎng)期保存、在線訪問需求。例如應(yīng)用于金融電子票據(jù)影像、雙錄（錄音/錄像)，醫(yī)療影像、政企電子文檔和車聯(lián)網(wǎng)場(chǎng)景存儲(chǔ)、備份或歸檔。
3)大數(shù)據(jù)分析場(chǎng)景：大數(shù)據(jù)計(jì)算存儲(chǔ)分離解決方案可整合傳統(tǒng)數(shù)據(jù)孤島，構(gòu)建統(tǒng)一的企業(yè)大數(shù)據(jù)資源池，結(jié)合大比例EC、存儲(chǔ)和計(jì)算分離按需部署和擴(kuò)容等企業(yè)級(jí)能力，實(shí)現(xiàn)大數(shù)據(jù)業(yè)務(wù)效率提升及TCO降低。例如應(yīng)用于金融大數(shù)據(jù)分析、運(yùn)營(yíng)商日志留存大數(shù)據(jù)和政務(wù)大數(shù)據(jù)等。
4)云/虛擬化場(chǎng)景：為云和虛擬化提供按需獲取、彈性擴(kuò)展的海量存儲(chǔ)資源池，基于通用服務(wù)器大幅提升存儲(chǔ)資源的部署、擴(kuò)展和運(yùn)維效率。例如應(yīng)用于金融互聯(lián)網(wǎng)渠道接入云、開發(fā)測(cè)試云，運(yùn)營(yíng)商BOM域業(yè)務(wù)云化、B2B云資源池、政務(wù)云等。
5)關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫(kù)場(chǎng)景：通過分布式Active-Active雙活、穩(wěn)定低時(shí)延等企業(yè)級(jí)能力，保障OLAP或OLTP類關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)高效穩(wěn)定運(yùn)行。
3.2云環(huán)境下分布式存儲(chǔ)的應(yīng)用場(chǎng)景
用戶訪問層是基于云存儲(chǔ)開發(fā)的應(yīng)用程序的入口，授權(quán)用戶可以通過標(biāo)準(zhǔn)的公共應(yīng)用接口登錄云存儲(chǔ)系統(tǒng)，享受云存儲(chǔ)服務(wù)。云存儲(chǔ)產(chǎn)品服務(wù)商不同，云存儲(chǔ)提供的訪問類型和訪問手段也不同。
數(shù)據(jù)服務(wù)層是利用云存儲(chǔ)資源進(jìn)行應(yīng)用開發(fā)的關(guān)鍵部分，云存儲(chǔ)平臺(tái)通過數(shù)據(jù)服務(wù)層為用戶提供統(tǒng)一的協(xié)議和編程接口，進(jìn)行應(yīng)用程序的開發(fā)。應(yīng)用接口層是云存儲(chǔ)最靈活多變的部分。不同的云存儲(chǔ)運(yùn)營(yíng)機(jī)構(gòu)可以根據(jù)實(shí)際業(yè)務(wù)類型開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。
數(shù)據(jù)管理層是云存儲(chǔ)最為核心的部分，也是最復(fù)雜的部分。數(shù)據(jù)管理層采用集群技術(shù)、分布式存儲(chǔ)技術(shù)，實(shí)現(xiàn)多存儲(chǔ)設(shè)備之間的協(xié)同工作，對(duì)外提供高可用性、可擴(kuò)展性的服務(wù)，同時(shí)還負(fù)責(zé)數(shù)據(jù)加密、備份、容災(zāi)以及必要的計(jì)費(fèi)等任務(wù)。
數(shù)據(jù)存儲(chǔ)層是云存儲(chǔ)最基礎(chǔ)的部分，由不同類型的存儲(chǔ)設(shè)備和網(wǎng)絡(luò)設(shè)備組成。數(shù)據(jù)存儲(chǔ)層實(shí)現(xiàn)海量數(shù)據(jù)的統(tǒng)一管理、存儲(chǔ)設(shè)備管理、狀態(tài)監(jiān)控等。存儲(chǔ)層位于云存儲(chǔ)的最下層，它是云存儲(chǔ)中最基礎(chǔ)的部分。存儲(chǔ)設(shè)備的選擇多種多樣各種存儲(chǔ)設(shè)備都可以用來構(gòu)建這一層。云存儲(chǔ)中的存儲(chǔ)設(shè)備通常數(shù)量眾多且分布在多個(gè)不同位置，彼此之間通過互聯(lián)網(wǎng)或者光纖通道等把各種網(wǎng)絡(luò)連接在一起。分布在存儲(chǔ)設(shè)備之上的是一個(gè)統(tǒng)一的存儲(chǔ)硬件設(shè)備管理系統(tǒng)，通過這一層可以實(shí)現(xiàn)存儲(chǔ)設(shè)備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)。
在行內(nèi)分布式存儲(chǔ)主要以分布式SAN為虛擬化資源池提供服務(wù)，以分布式文件為媒體/視頻監(jiān)控/HPC提供服務(wù)、以分布式對(duì)象為備份歸檔提供服務(wù)，以分布式數(shù)據(jù)庫(kù)為大數(shù)據(jù)服務(wù)。
3.2.1為云平臺(tái)底座提供基礎(chǔ)存儲(chǔ)資源
云環(huán)境下，分布式存儲(chǔ)系統(tǒng)能夠?qū)崿F(xiàn)計(jì)算資源和存儲(chǔ)資源的單獨(dú)橫向擴(kuò)展，計(jì)算資源不足時(shí)直接擴(kuò)容計(jì)算節(jié)點(diǎn)，存儲(chǔ)空間不足時(shí)只需擴(kuò)容存儲(chǔ)節(jié)點(diǎn)，極大地節(jié)省硬件資源降低成本。對(duì)于云平臺(tái)中部署的輕量級(jí)企業(yè)關(guān)鍵應(yīng)用程序，可選用中等性能的磁盤類型，滿足性能要求不高但是要求具有豐富的企業(yè)級(jí)特性場(chǎng)景，例如普通數(shù)據(jù)庫(kù)、應(yīng)用VM、中間件VM等數(shù)據(jù)存儲(chǔ)需求。通過云硬盤的形式掛載給虛擬機(jī)或裸金屬服務(wù)器使用，滿足企業(yè)用戶應(yīng)用數(shù)據(jù)的存儲(chǔ)需求。
分布式存儲(chǔ)在云平臺(tái)提供基礎(chǔ)存儲(chǔ)服務(wù)，通過彈性云硬盤的形式提供給應(yīng)用虛擬機(jī)和裸金屬使用，在應(yīng)用對(duì)性能要求不高的情況下，通常在初期用于渠道類應(yīng)用、各類外圍應(yīng)用、灰度發(fā)布應(yīng)用、容器技術(shù)應(yīng)用、桌面以及開發(fā)測(cè)試環(huán)境，采用分布式存儲(chǔ)做云平臺(tái)底座存儲(chǔ)設(shè)備，提供彈性擴(kuò)展、存算分離、存儲(chǔ)類型可選、EC糾刪可靠和高并發(fā)等便捷場(chǎng)景服務(wù)的作為結(jié)合點(diǎn)。
為了應(yīng)對(duì)互聯(lián)網(wǎng)金融帶來的業(yè)務(wù)浪涌，除核心賬務(wù)系統(tǒng)采用集中式高端全閃存儲(chǔ)外，外圍業(yè)務(wù)以及海量非結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)場(chǎng)景已經(jīng)全面向分布式存儲(chǔ)過渡。憑借分布式存儲(chǔ)的彈性資源分配能力，金融行業(yè)的新業(yè)務(wù)開發(fā)和部署效率相比傳統(tǒng)存儲(chǔ)都有所提升和加速，突發(fā)資源獲取周期從過去的天級(jí)縮短到小時(shí)級(jí)，資源池化后，存儲(chǔ)效率得到顯著提升，運(yùn)維費(fèi)用也不斷降低，整體TCO實(shí)現(xiàn)有效壓降。
銀行的七大類業(yè)務(wù)系統(tǒng)（賬務(wù)處理類、業(yè)務(wù)處理類、渠道服務(wù)類、服務(wù)支撐類、外聯(lián)三方類、數(shù)據(jù)服務(wù)類、辦公管理類），在與金融云平臺(tái)和分布式存儲(chǔ)架構(gòu)功能特點(diǎn)的結(jié)合中，我們對(duì)各類系統(tǒng)的資源需求變動(dòng)、業(yè)務(wù)迭代速度、數(shù)據(jù)一致性要求、并發(fā)要求進(jìn)行分析，得出云平臺(tái)中適用的業(yè)務(wù)系統(tǒng)類型，如表1所示，進(jìn)而為選擇和配置云平臺(tái)中各區(qū)域分布式存儲(chǔ)提供依據(jù)。
3.2.2為云平臺(tái)提供分布式數(shù)據(jù)庫(kù)存儲(chǔ)資源
在云計(jì)算平臺(tái)中，傳統(tǒng)數(shù)據(jù)庫(kù)以O(shè)racle、DB2或者M(jìn)ySql的關(guān)系型數(shù)據(jù)庫(kù)為主，但是當(dāng)單表數(shù)據(jù)量爆炸或者單個(gè)數(shù)據(jù)庫(kù)無法承受高強(qiáng)度I/O時(shí)，集中式數(shù)據(jù)庫(kù)是無法解決性能和數(shù)據(jù)處理瓶頸問題的，難以應(yīng)對(duì)應(yīng)用層的高并發(fā)數(shù)據(jù)訪問。業(yè)務(wù)核心數(shù)據(jù)庫(kù)使用場(chǎng)景需要支持應(yīng)用高峰期的密集訪問，要求磁盤具有持續(xù)穩(wěn)定的高性能和低時(shí)延，通過選用超高性能的磁盤類型，可以實(shí)現(xiàn)超強(qiáng)性能與超高可靠性的集合，滿足關(guān)系型數(shù)據(jù)庫(kù)等數(shù)據(jù)密集型場(chǎng)景下低時(shí)延、高I/O性能密度的嚴(yán)苛性能要求。
在基于MySQL的分布式數(shù)據(jù)庫(kù)中，分表支持動(dòng)態(tài)漂移，隨著表的熱度和大小進(jìn)行動(dòng)態(tài)的擴(kuò)容和伸縮，保證資源分配最優(yōu)化；而分布式存儲(chǔ)節(jié)點(diǎn)可以無限水平擴(kuò)展，從而提供可動(dòng)態(tài)無限擴(kuò)展的存儲(chǔ)容量；性能隨節(jié)點(diǎn)擴(kuò)展而線性增長(zhǎng)，滿足云計(jì)算平臺(tái)對(duì)容量和性能的需求，具備云服務(wù)所有的彈性、敏捷、按需和輕運(yùn)維特性。因此，采用分布式存儲(chǔ)優(yōu)化后用于數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)，提高性能的同時(shí)確保了數(shù)據(jù)的安全性。
在金融及其他領(lǐng)域，基于分布式存儲(chǔ)加速多域融合，實(shí)現(xiàn)降本增效。通過對(duì)非關(guān)鍵業(yè)務(wù)進(jìn)行云化部署，并使用分布式存儲(chǔ)構(gòu)建統(tǒng)一的云資源池，實(shí)現(xiàn)多域融合。云資源池替換傳統(tǒng)存儲(chǔ)的煙囪化建設(shè)，大幅提升了存儲(chǔ)資源的利用率，業(yè)務(wù)上線時(shí)間也大幅降低，為金融行業(yè)降本節(jié)支提供了很大助力。
4分布式存儲(chǔ)在云環(huán)境下的部署
國(guó)內(nèi)分布式存儲(chǔ)相對(duì)于集中式存儲(chǔ)而言是一種分布式技術(shù)，是在規(guī)格維度上按照擴(kuò)展性進(jìn)行分類的，國(guó)際上則是按照架構(gòu)將存儲(chǔ)分為企業(yè)級(jí)存儲(chǔ)和軟件定義存儲(chǔ)，不論企業(yè)選擇存儲(chǔ)產(chǎn)品的資本與管理支出模式，也不論存儲(chǔ)廠商是否能夠真正做到分布式存儲(chǔ)的軟、硬件解耦，本文暫定已經(jīng)完成了對(duì)比集中式存儲(chǔ)的全面而細(xì)致的選型評(píng)估過程，結(jié)合企業(yè)自身情況對(duì)分布式存儲(chǔ)能夠物善其用的前提下進(jìn)行下面的實(shí)施與部署，對(duì)冷熱數(shù)據(jù)分層、數(shù)據(jù)湖建設(shè)需求以及高可用性要求能夠充分考慮，如果多個(gè)AZ在百TB級(jí)別以上，建議進(jìn)行較為合理的規(guī)劃。
在云基礎(chǔ)架構(gòu)中，分布式存儲(chǔ)有兩種部署形態(tài)，融合部署和分離部署，融合部署多用于云平臺(tái)管理區(qū)域服務(wù)的使用，分布式存儲(chǔ)多用于用戶業(yè)務(wù)使用。根據(jù)交換機(jī)組網(wǎng)形態(tài)分多種組網(wǎng)形態(tài)和部署方案，如存儲(chǔ)節(jié)點(diǎn)前后端共享網(wǎng)絡(luò)和前后端獨(dú)立網(wǎng)絡(luò)部署方案，以前后端獨(dú)立部署為例，按照前后端網(wǎng)口的類型又可分為10GE、25GE、100GE、IB網(wǎng)絡(luò)四種類型（10GE前端+10GE后端、25GE前端+25GE后端等)，本文以10GE前端+10GE后端獨(dú)立組網(wǎng)為例，闡述云平臺(tái)內(nèi)分布式存儲(chǔ)系統(tǒng)的部署方式。
4.1組網(wǎng)規(guī)劃
規(guī)劃云平臺(tái)各網(wǎng)絡(luò)平面時(shí)，對(duì)分布式存儲(chǔ)業(yè)務(wù)網(wǎng)絡(luò)平面、存儲(chǔ)網(wǎng)絡(luò)平面和管理網(wǎng)絡(luò)平面進(jìn)行合理規(guī)劃，如圖4和圖5所示，針對(duì)各個(gè)網(wǎng)絡(luò)平面進(jìn)行規(guī)劃設(shè)計(jì)。同時(shí)，針對(duì)物理硬件設(shè)備進(jìn)行角色梳理和機(jī)柜位置合理規(guī)劃，管理節(jié)點(diǎn)（管理分布式事務(wù)進(jìn)程的服務(wù)器，負(fù)責(zé)塊存儲(chǔ)服務(wù)的告警、監(jiān)控、日志、配置等操作維護(hù)功能)、存儲(chǔ)節(jié)點(diǎn)（提供存儲(chǔ)資源的服務(wù)器)、計(jì)算節(jié)點(diǎn)（運(yùn)行應(yīng)用系統(tǒng)的服務(wù)器)，根據(jù)不通功能角色規(guī)劃不同網(wǎng)絡(luò)平面地址。
1)業(yè)務(wù)網(wǎng)絡(luò)（iSCSI網(wǎng)絡(luò))：用于計(jì)算節(jié)點(diǎn)和VBS之間通過iSCSI協(xié)議進(jìn)行通信。
2)BMC/管理網(wǎng)絡(luò)：BMC網(wǎng)絡(luò)，用于接入節(jié)點(diǎn)Mgmt接口，提供遠(yuǎn)程硬件設(shè)備帶外管理功能。
3)存儲(chǔ)網(wǎng)絡(luò)：用于VBS和OSD間或者OSD和OSD間數(shù)據(jù)通信。
4)容災(zāi)復(fù)制網(wǎng)絡(luò)：用于主端存儲(chǔ)系統(tǒng)和從端存儲(chǔ)系統(tǒng)間網(wǎng)絡(luò)的數(shù)據(jù)傳輸。
4.2節(jié)點(diǎn)網(wǎng)口規(guī)劃
根據(jù)組網(wǎng)規(guī)劃，分別對(duì)計(jì)算節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)的網(wǎng)口進(jìn)行規(guī)劃，保持同一類型的節(jié)點(diǎn)網(wǎng)口位置和功能一致，方便實(shí)施和后續(xù)運(yùn)維。計(jì)算節(jié)點(diǎn)按實(shí)際需要進(jìn)行環(huán)境規(guī)劃各計(jì)算節(jié)點(diǎn)接口的用途和上行鏈路。對(duì)存儲(chǔ)節(jié)點(diǎn)的規(guī)劃，可根據(jù)服務(wù)器物理接口，如圖6所示：
規(guī)劃各存儲(chǔ)節(jié)點(diǎn)接口的用途和上行鏈路，以表2為例建立計(jì)算和存儲(chǔ)節(jié)點(diǎn)的節(jié)點(diǎn)總網(wǎng)絡(luò)規(guī)劃。
4.3硬件安裝和軟件部署
根據(jù)規(guī)劃的接口和連線規(guī)則，進(jìn)行物理設(shè)備的加電、連線、網(wǎng)絡(luò)配置和測(cè)試，物理硬件初始化完成后進(jìn)行分布式軟件系統(tǒng)的安裝部署，期間硬件安裝的如圖7所示。
根據(jù)分布式存儲(chǔ)軟件的安裝指南，進(jìn)行分布式存儲(chǔ)系統(tǒng)的安裝，以華為OceanStor Pacific分布式存儲(chǔ)在華為云環(huán)境下的部署為例，主要安裝流程如圖8所示，主要流程如下。
1）分布式存儲(chǔ)系統(tǒng)安裝前準(zhǔn)備
檢查交換機(jī)是否已經(jīng)根據(jù)網(wǎng)絡(luò)規(guī)劃配置完成，并準(zhǔn)備相關(guān)的軟件包、安裝工具和安裝指導(dǎo)文檔。
2）準(zhǔn)備管理虛擬機(jī)
在對(duì)接云平臺(tái)時(shí)，通過Web-UI方式在云平臺(tái)虛擬化底座中安裝管理節(jié)點(diǎn)虛擬機(jī)，以便后續(xù)為管理節(jié)點(diǎn)安裝管理軟件。
3)配置Fusionstorage-Block角色
通過云平臺(tái)底座虛擬化系統(tǒng)的安裝部署界面，為計(jì)算節(jié)點(diǎn)配置Fusionstorage-Block角色，并保證網(wǎng)絡(luò)通信正常。
4)配置各節(jié)點(diǎn)BMC管理面IP并檢查存儲(chǔ)節(jié)點(diǎn)各檢查項(xiàng)指標(biāo)
配置各節(jié)點(diǎn)BMC管理面IP，通過該遠(yuǎn)程管理系統(tǒng)可以對(duì)硬件進(jìn)行高可靠的監(jiān)測(cè)和管理。同時(shí)，安裝前對(duì)存儲(chǔ)節(jié)點(diǎn)服務(wù)器的固件版本、操作系統(tǒng)版本、操作系統(tǒng)是否安全加固、系統(tǒng)盤緩存策略、JBOD功能、SMMU功能、設(shè)備固件驅(qū)動(dòng)版本以及查硬盤背板的兼容性。
5)配置節(jié)點(diǎn)管理網(wǎng)絡(luò)
按照網(wǎng)絡(luò)規(guī)劃，對(duì)存儲(chǔ)節(jié)點(diǎn)進(jìn)行管理節(jié)點(diǎn)網(wǎng)口IP配置。
6）安裝分布式存儲(chǔ)軟件
按照安裝流程，進(jìn)行分布式存儲(chǔ)軟件部署（安裝管理節(jié)點(diǎn)、增加存儲(chǔ)節(jié)點(diǎn)、配置存儲(chǔ)網(wǎng)絡(luò)、安裝存儲(chǔ)節(jié)點(diǎn)、創(chuàng)建控制集群)。
根據(jù)技術(shù)能力和實(shí)際場(chǎng)景可部署GFS、Ceph等開源分布式存儲(chǔ)軟件，以Hadoop集群為例，由云平臺(tái)進(jìn)行統(tǒng)一納管，則在基礎(chǔ)配置之后（配置jdk環(huán)境、配置集群環(huán)境變量、關(guān)閉防火墻、修改主機(jī)名、master和slave的IP地址、配置SSH免密登錄），進(jìn)入HDFS集群配置（安裝master和slave的hadoop文件、配置core-site文件調(diào)優(yōu)、集群環(huán)境變量、并啟動(dòng)集群和web管理），完成與云平臺(tái)的對(duì)接。對(duì)于存量的Hadoop/HDFS集群，而且存有多種格式數(shù)據(jù)量大的情況，可考慮利用類似DI on Hadoop的遷云工具進(jìn)行對(duì)接。
7)配置交換機(jī)流控并加載存儲(chǔ)License
當(dāng)存儲(chǔ)網(wǎng)絡(luò)使用RoCE組網(wǎng)時(shí)需要配置交換機(jī)流控，對(duì)后端網(wǎng)絡(luò)進(jìn)行流量閾值監(jiān)控，同時(shí)加載分布式存儲(chǔ)授權(quán)l(xiāng)icense，并登錄云平臺(tái)管理面使用分布式存儲(chǔ)提供的彈性云硬盤服務(wù)。
4.4分布式存儲(chǔ)測(cè)試與上線
在分布式存儲(chǔ)部署完成之后，通過設(shè)備常規(guī)檢驗(yàn)測(cè)試、兼容性測(cè)試、功能測(cè)試、性能測(cè)試、穩(wěn)定性和可靠性測(cè)試，以及運(yùn)維管理功能等非功能方面的測(cè)試，全面驗(yàn)證分布式存儲(chǔ)各方面特性，之后在云管平臺(tái)中實(shí)現(xiàn)對(duì)基礎(chǔ)設(shè)施中存儲(chǔ)資源進(jìn)行納管與上線，各企業(yè)都有成熟的流程規(guī)范，在此不再贅述。
5總結(jié)
本文從云和分布式存儲(chǔ)各自特點(diǎn)出發(fā)，從分布式存儲(chǔ)架構(gòu)特點(diǎn)引入云環(huán)境下提供分布式存儲(chǔ)的使用場(chǎng)景和銀行業(yè)中適合承載的業(yè)務(wù)類型。后續(xù)對(duì)分布式存儲(chǔ)在云環(huán)境下的基本部署進(jìn)行描述，希望能夠加深云環(huán)境中分布式存儲(chǔ)應(yīng)用管理的理解，充分利用分布式存儲(chǔ)實(shí)現(xiàn)塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)的方式和特點(diǎn)，補(bǔ)充集中式企業(yè)存儲(chǔ)的短板，針對(duì)PB級(jí)別海量非結(jié)構(gòu)化數(shù)據(jù)等典型場(chǎng)景，體現(xiàn)存調(diào)優(yōu)勢(shì)，為云環(huán)境提供有力資源保障的同時(shí)，分布式架構(gòu)為運(yùn)維能力和技術(shù)水平提出了更高的要求標(biāo)準(zhǔn)和規(guī)范。
物聯(lián)網(wǎng)、人工智能、區(qū)塊鏈等新技術(shù)的不斷產(chǎn)生和迭代，會(huì)給云計(jì)算帶來顛覆性的改變，數(shù)字資產(chǎn)的安全保障，態(tài)勢(shì)感知等技術(shù)發(fā)展都是應(yīng)運(yùn)而生的必然產(chǎn)物。在元宇宙的時(shí)代，萬物皆有虛擬化身，而云計(jì)算作為數(shù)字化的基礎(chǔ)設(shè)施，勢(shì)必準(zhǔn)備好為元宇宙提供高性價(jià)比、高可靠、高兼容性、高擴(kuò)展性、高運(yùn)算速度的特性，最終實(shí)現(xiàn)打破時(shí)間和空間的界限，實(shí)現(xiàn)社交、游戲、辦公等場(chǎng)景的虛擬和現(xiàn)實(shí)的融合。
