【導(dǎo)讀】本文從IT架構(gòu)的視角，對(duì)某行在不同數(shù)字化改造階段中，云存儲(chǔ)架構(gòu)變化的過程和思路進(jìn)行梳理和總結(jié)，包括煙囪式存儲(chǔ)“云”架構(gòu)、集中式云存儲(chǔ)架構(gòu)、分布式云存儲(chǔ)架構(gòu)，以此為例，旨在分享云存儲(chǔ)架構(gòu)變化的演進(jìn)觀點(diǎn)，希望對(duì)同行有一定的借鑒和參考價(jià)值。
【作者】鄧毓，某農(nóng)信社資深骨干工程師，主要負(fù)責(zé)Power，x86及相關(guān)存儲(chǔ)、數(shù)據(jù)庫、中間件、應(yīng)用負(fù)載、監(jiān)控、備份和各類虛擬化平臺(tái)等的運(yùn)維及管理工作，一線實(shí)施經(jīng)驗(yàn)豐富，對(duì)雙活數(shù)據(jù)中心及云平臺(tái)建設(shè)和監(jiān)控有著深入的見解。
一、前言
存儲(chǔ)是IT行業(yè)的三大關(guān)鍵技術(shù)領(lǐng)域之一，是IT系統(tǒng)的感知輸入記錄和IT大腦的思維記憶所在，其基礎(chǔ)性和重要性不言而喻。云存儲(chǔ)作為將儲(chǔ)存資源放到云上供行為對(duì)象任意時(shí)間、任意地點(diǎn)，只要有網(wǎng)絡(luò)連接即可存取的技術(shù)，依托其便利性和彈性按需的低成本優(yōu)勢(shì)伴隨著云計(jì)算技術(shù)一起迅猛發(fā)展，勢(shì)不可擋。在當(dāng)前數(shù)字經(jīng)濟(jì)高速發(fā)展的背景下，為了實(shí)現(xiàn)“數(shù)字經(jīng)濟(jì)的基礎(chǔ)設(shè)施”的宏大愿景，存儲(chǔ)必須擔(dān)負(fù)起更大的責(zé)任，為企業(yè)數(shù)字化轉(zhuǎn)型提供核心價(jià)值，促進(jìn)基礎(chǔ)設(shè)施云化、核心技術(shù)互聯(lián)化和應(yīng)用數(shù)據(jù)化和智能化的升級(jí)。在這個(gè)數(shù)字經(jīng)濟(jì)時(shí)代，云存儲(chǔ)也在悄然發(fā)生巨變，主要體現(xiàn)在以下三個(gè)方面：
1、存儲(chǔ)服務(wù)網(wǎng)絡(luò)的巨變。云存儲(chǔ)是基于云計(jì)算相關(guān)技術(shù)延伸和發(fā)展而來的全新的產(chǎn)品形態(tài)。本質(zhì)上，云計(jì)算不是一種計(jì)算，而是一種服務(wù)，云存儲(chǔ)也不是一種存儲(chǔ)，而是一種基于存儲(chǔ)功能的服務(wù)。云存儲(chǔ)的內(nèi)核是應(yīng)用軟件與存儲(chǔ)設(shè)備相結(jié)合，通過應(yīng)用軟件來實(shí)現(xiàn)存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)的轉(zhuǎn)變。使用云存儲(chǔ)時(shí)并不是使用某一個(gè)存儲(chǔ)設(shè)備，而是使用整個(gè)云存儲(chǔ)網(wǎng)絡(luò)帶來的一種數(shù)字化服務(wù)。
2、云原生對(duì)云存儲(chǔ)的新要求。云原生應(yīng)用對(duì)遷移性、擴(kuò)展性和動(dòng)態(tài)性的需求，對(duì)云原生存儲(chǔ)也帶來了相應(yīng)的密度、速度、混合度的要求，因此需要云存儲(chǔ)不斷提高在效率、彈性、穩(wěn)定、應(yīng)用低耦合、安全等方面的能力。首先，云原生存儲(chǔ)是面向應(yīng)用的應(yīng)用層存儲(chǔ)，是云存儲(chǔ)在用戶接口、效率和易用性等優(yōu)勢(shì)的集合；其次，云原生存儲(chǔ)利用云存儲(chǔ)基礎(chǔ)設(shè)施紅利，是構(gòu)建在應(yīng)用存儲(chǔ)之上的分層存儲(chǔ)；第三，云原生提升了實(shí)現(xiàn)效率和自治方面的能力，提升了存儲(chǔ)穩(wěn)定性，降低了安全隱患。
3、不可或缺的混合云存儲(chǔ)。通過混合云IT架構(gòu)無縫上云已成為企業(yè)應(yīng)用的新常態(tài)，混合云存儲(chǔ)將成為架起本地?cái)?shù)據(jù)中心和公共云的橋梁，是傳統(tǒng)企業(yè)客戶上云的新路徑。從新舊業(yè)務(wù)的融合到云計(jì)算研發(fā)的混合部署，都離不開混合云的支持。不同的系統(tǒng)，在不同的時(shí)間點(diǎn)所呈現(xiàn)的狀態(tài)也同樣不同，作為一種產(chǎn)品化的解決方案，混合云可以說是公共云、私有云、本地基礎(chǔ)設(shè)施部署優(yōu)勢(shì)的一個(gè)結(jié)合。云所提供的功能和業(yè)務(wù)越來越豐富，隨著容器等云原生技術(shù)的發(fā)展，業(yè)務(wù)的跨云部署也將更加便捷，在權(quán)限管理、靈活性、性價(jià)比方面表現(xiàn)出更大的優(yōu)勢(shì)。
在這樣的背景下，本文將從IT架構(gòu)的視角，以我行在不同數(shù)字化改造階段，云存儲(chǔ)架構(gòu)演進(jìn)的過程和思路為例進(jìn)行梳理和總結(jié)，旨在厘清在云存儲(chǔ)不斷的技術(shù)變革下，我行的跟進(jìn)策略和架構(gòu)抉擇思路，包括煙囪式“云”架構(gòu)、集中式云存儲(chǔ)架構(gòu)、分布式云存儲(chǔ)架構(gòu)，希望對(duì)同行有一定的借鑒和參考價(jià)值。
二、煙囪式存儲(chǔ)“云”架構(gòu)階段
基礎(chǔ)設(shè)施煙囪式架構(gòu)，是國內(nèi)各銀行早期數(shù)據(jù)中心信息系統(tǒng)建設(shè)過程中的必然形態(tài)。在這個(gè)階段，大多數(shù)IT建設(shè)者們并不太關(guān)注基礎(chǔ)架構(gòu)方面的規(guī)劃及設(shè)計(jì)，采用何種技術(shù)架構(gòu)，在當(dāng)時(shí)的條件下，并沒有那么重要。信息系統(tǒng)的建設(shè)重點(diǎn)就是讓承載的業(yè)務(wù)系統(tǒng)穩(wěn)定運(yùn)行，服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)設(shè)備的核心使命是為業(yè)務(wù)提供一個(gè)良好的運(yùn)行環(huán)境，讓業(yè)務(wù)系統(tǒng)穩(wěn)定連續(xù)性運(yùn)行即可。
我行也不例外，在這個(gè)時(shí)期，我行的信息系統(tǒng)基礎(chǔ)設(shè)施的主體建設(shè)模式仍然主要停留在“豎井”模式。大部分信息系統(tǒng)都是煙囪式的架構(gòu)設(shè)計(jì)，幾乎每個(gè)重要信息系統(tǒng)都會(huì)配置一套獨(dú)立硬件設(shè)備，典型的“標(biāo)配”方案為兩臺(tái)高端小型機(jī)（或X86服務(wù)器）做數(shù)據(jù)庫服務(wù)器，搭建高可用雙機(jī)環(huán)境，然后再加兩臺(tái)或以上應(yīng)用服務(wù)器，后端連接兩臺(tái)FC交換機(jī)和一臺(tái)存儲(chǔ)設(shè)備。
該架構(gòu)的弊端主要表現(xiàn)為：在信息系統(tǒng)間，各應(yīng)用系統(tǒng)建立在自身獨(dú)立的資源支撐體系上，存儲(chǔ)數(shù)據(jù)完全是割裂的，導(dǎo)致設(shè)備利用率非常低，相互間難以實(shí)現(xiàn)資源共享；在信息系統(tǒng)內(nèi)，各系統(tǒng)內(nèi)部在開發(fā)、測(cè)試、生產(chǎn)和備份等層面的資源為相對(duì)獨(dú)立的資源在做支撐，整體資源的流動(dòng)性和利用率低，內(nèi)部也無法實(shí)現(xiàn)共享；在運(yùn)維方面，一個(gè)故障的處理往往需要多個(gè)不同專業(yè)領(lǐng)域的人員協(xié)同工作，效率容易成為瓶頸；另外，在基礎(chǔ)設(shè)施資源沒有很好規(guī)劃和合理利用的情況下，這樣的架構(gòu)也會(huì)導(dǎo)致數(shù)據(jù)中心空間、能耗、制冷大規(guī)模增加，而且設(shè)備數(shù)量的隨意增加還會(huì)嚴(yán)重影響運(yùn)維和管理的效率。
三、集中式云存儲(chǔ)架構(gòu)階段
為了有效應(yīng)對(duì)上述煙囪式架構(gòu)的弊端，我行開展了基于虛擬化技術(shù)的系統(tǒng)建設(shè)模式變革，也就是所謂的基礎(chǔ)設(shè)施“資源池式”的建設(shè)模式。通過廣泛采用各類虛擬化技術(shù)，實(shí)現(xiàn)計(jì)算資源和存儲(chǔ)資源的虛擬化，同時(shí)構(gòu)建起對(duì)應(yīng)的虛擬化資源池，提升了整體資源的使用率。
虛擬化技術(shù)的應(yīng)用打破了傳統(tǒng)豎井式的資源壁壘，應(yīng)用系統(tǒng)間能夠共享各類資源，支持隨業(yè)務(wù)應(yīng)用壓力變化靈活調(diào)整資源供應(yīng)；池化概念的引入把原來“煙囪式”彼此割裂的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源在邏輯上整合成為了一臺(tái)超大規(guī)模云計(jì)算機(jī)。虛擬化資源池為上層軟件提供彈性的按需資源供給的能力，從而實(shí)現(xiàn)軟硬件部署過程與運(yùn)行態(tài)的解耦，屏蔽軟硬件異構(gòu)多廠家差異性與復(fù)雜度，并填補(bǔ)計(jì)算與存儲(chǔ)之間的性能鴻溝；另外，從小規(guī)模式的資源堆疊逐步走向大規(guī)模資源池構(gòu)建之后，通過對(duì)運(yùn)維流程的固化、不同專業(yè)領(lǐng)域的人員整合等方法，實(shí)現(xiàn)了運(yùn)維管理的統(tǒng)一化和集中化，大大提高了運(yùn)維效率。
存儲(chǔ)虛擬化也正是我行該階段的技術(shù)核心之一，其原理是在物理存儲(chǔ)系統(tǒng)和服務(wù)器之間增加一個(gè)虛擬層，它管理和控制所有存儲(chǔ)并對(duì)服務(wù)器提供存儲(chǔ)服務(wù)。服務(wù)器不直接與存儲(chǔ)硬件打交道，存儲(chǔ)硬件的增減、調(diào)換、分拆、合并對(duì)服務(wù)器層完全透明。這種架構(gòu)方式隱藏了不同存儲(chǔ)的復(fù)雜程度，允許將存儲(chǔ)池中的存儲(chǔ)通用功能集成使用，擺脫了單個(gè)存儲(chǔ)物理容量的局限，同時(shí)又能提供各種豐富的存儲(chǔ)高級(jí)功能，包括存儲(chǔ)自動(dòng)分層、快照、容災(zāi)、雙活、數(shù)據(jù)遷移、鏡像、壓縮等等。
我行通過存儲(chǔ)虛擬化技術(shù)搭建了交易類、管理類和開發(fā)測(cè)試類三套存儲(chǔ)資源池，每套資源池整合了不同廠商、不同型號(hào)、不同性能的各類異構(gòu)存儲(chǔ)設(shè)備，形成一個(gè)兼具的高可用、靈活性、動(dòng)態(tài)化和可擴(kuò)展性的池化底座，為上層業(yè)務(wù)系統(tǒng)提供塊存儲(chǔ)服務(wù)，例如數(shù)據(jù)讀寫、數(shù)據(jù)鏡像保護(hù)、在線數(shù)據(jù)遷移和切換、存儲(chǔ)性能動(dòng)態(tài)分層、數(shù)據(jù)容災(zāi)復(fù)制等，該底座也具備一定的擴(kuò)展能力，例如存儲(chǔ)虛擬化節(jié)點(diǎn)橫向擴(kuò)展、新增存儲(chǔ)節(jié)點(diǎn)和擴(kuò)容存儲(chǔ)容量等。另外，存儲(chǔ)資源池又能夠支持統(tǒng)一的RESTFull API標(biāo)準(zhǔn)接口對(duì)接上層的云計(jì)算管理平臺(tái)或者容器云平臺(tái)，屏蔽了異構(gòu)存儲(chǔ)的差異性，利用編排引擎實(shí)現(xiàn)存儲(chǔ)、計(jì)算、網(wǎng)絡(luò)、運(yùn)維等集成式服務(wù)，利用云管實(shí)現(xiàn)業(yè)務(wù)對(duì)數(shù)據(jù)“存儲(chǔ)-使用-管理”的全生命周期支撐能力，通過“應(yīng)用軟件+存儲(chǔ)資源池”的方式達(dá)到存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)轉(zhuǎn)變的目標(biāo)，全面開啟計(jì)算、存儲(chǔ)等基礎(chǔ)設(shè)施云化的新征程。
這個(gè)階段，我行將其命名為集中式云存儲(chǔ)架構(gòu)階段，存儲(chǔ)設(shè)備虛擬化技術(shù)究其本質(zhì)仍然具有集中化特質(zhì)，擴(kuò)展也存在局限性。
一方面，存儲(chǔ)虛擬化設(shè)備雖然兼容性好，能夠整合多套存儲(chǔ)，自身節(jié)點(diǎn)也有一定的擴(kuò)展能力，但終究存在容量和性能擴(kuò)展性瓶頸，整個(gè)存儲(chǔ)池?zé)o法提供PB到甚至EB級(jí)的云存儲(chǔ)能力。在容量受到限制的情況下，整個(gè)存儲(chǔ)池的吞吐量也受到限制，通常而言，需要把連續(xù)的信息分片存儲(chǔ)于多個(gè)存儲(chǔ)設(shè)備以增加吞吐量和性能。但存儲(chǔ)虛擬化天然不適用于跨存儲(chǔ)的連續(xù)數(shù)據(jù)分布，存儲(chǔ)卷所對(duì)應(yīng)的存儲(chǔ)按照標(biāo)準(zhǔn)需盡量在同一存儲(chǔ)內(nèi)部打散，而不是多存儲(chǔ)打散。這種傳統(tǒng)集中式的思路，也正是造成局限性的根因，極大影響了存儲(chǔ)池的整體性能和伸縮性。
另一方面，在如今的互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)存取手段紛繁復(fù)雜，形態(tài)五花八門，半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)體量日趨增大，集中化的存儲(chǔ)架構(gòu)顯現(xiàn)出自身的固有局限。存儲(chǔ)虛擬化后的存儲(chǔ)池只能提供塊存儲(chǔ)服務(wù)，無法同時(shí)提供對(duì)象、塊、和文件存儲(chǔ)服務(wù)，這些服務(wù)在業(yè)務(wù)互聯(lián)化的今天，全都是必需品。這就要求云存儲(chǔ)系統(tǒng)必須能夠提供多樣的存儲(chǔ)服務(wù)，包括塊設(shè)備服務(wù)來滿足數(shù)據(jù)庫類型的存儲(chǔ)要求。文件系統(tǒng)、對(duì)象等存儲(chǔ)服務(wù)來滿足半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)要求。因此，這就要求云存儲(chǔ)能夠提供豐富的標(biāo)準(zhǔn)接口，包括文件系統(tǒng)接口（NFS、CIFS）、塊接口（iSCIS、FC）或者對(duì)象接口（S3、SWIFT）以及對(duì)內(nèi)能夠提供標(biāo)準(zhǔn)的管理接口。
四、分布式云存儲(chǔ)架構(gòu)階段
由于集中式云存儲(chǔ)架構(gòu)的上述局限性，我行積極開展了第二代云存儲(chǔ)架構(gòu)探索與實(shí)踐，通過利用大量標(biāo)準(zhǔn)化機(jī)器的存儲(chǔ)資源聚合構(gòu)造一個(gè)海量存儲(chǔ)池，結(jié)合我行的原生云計(jì)算架構(gòu)體系進(jìn)行分布式云存儲(chǔ)系統(tǒng)建設(shè)。該云存儲(chǔ)系統(tǒng)是我行未來數(shù)據(jù)存儲(chǔ)的基石性系統(tǒng)，其上承載了一系列的云存儲(chǔ)服務(wù)，為業(yè)務(wù)系統(tǒng)提供大規(guī)模、高可用、高吞吐量和良好擴(kuò)展性的存儲(chǔ)服務(wù)。
大規(guī)模：目前單集群達(dá)到數(shù)百臺(tái)規(guī)模，支持?jǐn)?shù)十PB量級(jí)的存儲(chǔ)大小，總文件數(shù)量達(dá)到億量級(jí)；
數(shù)據(jù)高可靠性：保證數(shù)據(jù)和元數(shù)據(jù)是持久保存并能夠正確訪問的，保證所有數(shù)據(jù)存儲(chǔ)在處于不同機(jī)架的多個(gè)節(jié)點(diǎn)上面（通常設(shè)置為3）。即使集群中的部分節(jié)點(diǎn)出現(xiàn)硬件和軟件故障，系統(tǒng)能夠檢測(cè)到故障并自動(dòng)進(jìn)行數(shù)據(jù)的備份和遷移，保證數(shù)據(jù)的安全存在；
服務(wù)高可用性：保證業(yè)務(wù)能夠不中斷地訪問數(shù)據(jù)，降低系統(tǒng)的不可服務(wù)時(shí)間。即使出現(xiàn)軟硬件的故障、異常和系統(tǒng)升級(jí)等情況，服務(wù)仍可正常訪問；
高吞吐量：運(yùn)行時(shí)系統(tǒng)I/O吞吐量能夠隨機(jī)器規(guī)模線性增長，保證響應(yīng)時(shí)間；
高可擴(kuò)展性：保證系統(tǒng)的容量能夠通過增加機(jī)器的方式得到自動(dòng)擴(kuò)展，下線機(jī)器存儲(chǔ)的數(shù)據(jù)能夠自動(dòng)遷移到新加入的節(jié)點(diǎn)上。
在上層的云存儲(chǔ)服務(wù)中，既有要求高吞吐量，期待I/O能力隨集群規(guī)模線性增長的“開放存儲(chǔ)”；又有要求低時(shí)延的“彈性計(jì)算”，作為底層平臺(tái)核心的云存儲(chǔ)必須二者兼顧，同時(shí)具備高吞吐量和低時(shí)延。并且在線應(yīng)用對(duì)云存儲(chǔ)也提出了與離線應(yīng)用不同的挑戰(zhàn)：對(duì)象存儲(chǔ)和表格存儲(chǔ)服務(wù)要求低時(shí)延數(shù)據(jù)讀寫，彈性塊存儲(chǔ)和文件存儲(chǔ)服務(wù)在要求低時(shí)延的同時(shí)還需要具備隨機(jī)寫的能力。針對(duì)這些需求，云存儲(chǔ)實(shí)現(xiàn)了事務(wù)日志文件和隨機(jī)訪問文件，用以支撐在線應(yīng)用。其中，日志文件通過多種方法對(duì)時(shí)延進(jìn)行了優(yōu)化，包括設(shè)置更高的優(yōu)先級(jí)、由客戶端直接寫多份拷貝而不是用傳統(tǒng)的流水線方式、寫入成功，不經(jīng)過Master確認(rèn)等。隨機(jī)訪問文件則允許用戶隨機(jī)讀寫，同時(shí)也應(yīng)用了類似日志文件的時(shí)延優(yōu)化技術(shù)。我行的云存儲(chǔ)系統(tǒng)架構(gòu)如下圖所示：
在我行云存儲(chǔ)系統(tǒng)中，文件系統(tǒng)的元數(shù)據(jù)存儲(chǔ)在多個(gè)主服務(wù)器（Master）上，文件內(nèi)容存儲(chǔ)在大量的塊服務(wù)器（Chunk Server）上?？蛻舳顺绦蛟谑褂迷拼鎯?chǔ)時(shí)，首先從主服務(wù)器獲取元數(shù)據(jù)信息（包括接下來與哪些塊服務(wù)器交互），然后在塊服務(wù)器上直接進(jìn)行數(shù)據(jù)操作。
由于元數(shù)據(jù)信息很小，大量的數(shù)據(jù)交互是客戶端直接與塊服務(wù)器進(jìn)行的，因此云存儲(chǔ)采用了少量的主服務(wù)器來管理元數(shù)據(jù)，并使用Paxos協(xié)議保證元數(shù)據(jù)的一致性。通常配置為5個(gè)實(shí)例，可以同時(shí)容忍兩臺(tái)機(jī)器出故障，保證了高可用和快速切換的能力，減少了外部的依賴，做到了獨(dú)立自包含，在保障高穩(wěn)定性和高性能前提下能夠容忍復(fù)雜故障。此外，塊大小被設(shè)置為64MB，進(jìn)一步減少了元數(shù)據(jù)的大小，因此可以將元數(shù)據(jù)全部放到內(nèi)存里，從而使得主服務(wù)器能夠處理大量的并發(fā)請(qǐng)求。
塊服務(wù)器負(fù)責(zé)管理存儲(chǔ)空間和數(shù)據(jù)讀寫，支持分級(jí)存儲(chǔ)，針對(duì)不同的存儲(chǔ)介質(zhì)如NVMe SSD、SATA SDD、HDD等，根據(jù)相關(guān)配置的策略，把數(shù)據(jù)寫入對(duì)應(yīng)的存儲(chǔ)介質(zhì)，同時(shí)支持基于策略的遷移。比如說在混合存儲(chǔ)云盤，數(shù)據(jù)先寫入來自三臺(tái)不同機(jī)器的SSD盤后就返回，后臺(tái)異步地將數(shù)據(jù)遷移到HDD盤；其次，塊服務(wù)器采用了一系列技術(shù)來提供穩(wěn)定的性能，例如服務(wù)分級(jí)（能夠?qū)φ?qǐng)求隊(duì)列和網(wǎng)絡(luò)流量設(shè)定不同的優(yōu)先級(jí)）、管理后臺(tái)活動(dòng)、熱點(diǎn)負(fù)載平衡、增加副本來應(yīng)對(duì)重度使用的數(shù)據(jù)、緩沖加速、備份請(qǐng)求來規(guī)避慢盤等。這些技術(shù)的本質(zhì)目標(biāo)就是基于無法預(yù)估的資源來打造可以預(yù)測(cè)的整體，提供穩(wěn)定的性能。
數(shù)據(jù)高可靠性方面，在向文件寫入數(shù)據(jù)之前，客戶端將建立到3個(gè)塊服務(wù)器的連接，客戶向主副本寫入數(shù)據(jù)以后，由主副本負(fù)責(zé)向其他副本發(fā)送數(shù)據(jù)。與直接由客戶端向三個(gè)副本寫入數(shù)據(jù)相比，這樣可以減少客戶端的網(wǎng)絡(luò)帶寬使用。塊副本在放置的時(shí)候，為保證數(shù)據(jù)可用性和最大化地使用網(wǎng)絡(luò)帶寬，會(huì)將副本放置在不同機(jī)架上，并優(yōu)先考慮磁盤利用率低的機(jī)器。當(dāng)硬件故障或數(shù)據(jù)不可用造成數(shù)據(jù)塊的副本數(shù)目達(dá)不到3份的時(shí)候，數(shù)據(jù)塊會(huì)被重新復(fù)制。為保證數(shù)據(jù)的完整性，每塊數(shù)據(jù)在寫入時(shí)會(huì)同時(shí)計(jì)算一個(gè)校驗(yàn)值，與數(shù)據(jù)同時(shí)寫入磁盤。當(dāng)讀取數(shù)據(jù)塊的時(shí)候，塊服務(wù)器會(huì)再次計(jì)算校驗(yàn)值與之前存入的值是否相同，如果不同就說明數(shù)據(jù)出現(xiàn)了錯(cuò)誤，需要從其他副本重新讀取數(shù)據(jù)。
