本文來(lái)自twt企業(yè)IT社區(qū)，羅文江，某大型銀行資深的云計(jì)算架構(gòu)師，從業(yè)經(jīng)驗(yàn)近30年，自身經(jīng)歷了應(yīng)用開(kāi)發(fā)、業(yè)務(wù)分析BA、系統(tǒng)設(shè)計(jì)SA、CMMI之EPG過(guò)程改進(jìn)、應(yīng)用架構(gòu)管理、云計(jì)算架構(gòu)設(shè)計(jì)等角色轉(zhuǎn)變。當(dāng)前從事銀行私有云、公有云和信創(chuàng)云基礎(chǔ)設(shè)施、以及混合云架構(gòu)的建設(shè)，參與包括容器云等相關(guān)云服務(wù)的規(guī)劃、技術(shù)選型、架構(gòu)設(shè)計(jì)和實(shí)施，和業(yè)務(wù)連續(xù)性等保障體系的建設(shè)工作。
云存儲(chǔ)是指通過(guò)集群應(yīng)用、網(wǎng)絡(luò)技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類(lèi)型的、廉價(jià)的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。使用者可以在任何時(shí)間、任何地方，透過(guò)任何可聯(lián)網(wǎng)的設(shè)備連接到“云”上方便地存取數(shù)據(jù)。云存儲(chǔ)技術(shù)是孕育在云計(jì)算技術(shù)的發(fā)展歷程之中,而大容量、高可靠、高可用、高擴(kuò)展、易用性的存儲(chǔ)需求，大大推動(dòng)云存儲(chǔ)服務(wù)的發(fā)展和普及。2006年3月，亞馬遜（Amazon）推出的亞馬遜簡(jiǎn)易儲(chǔ)存服務(wù)（Amazon Simple Storage Service，即S3）云存儲(chǔ)產(chǎn)品，正式開(kāi)啟了云存儲(chǔ)服務(wù)的發(fā)展。當(dāng)前國(guó)內(nèi)外互聯(lián)網(wǎng)巨頭，都推出相應(yīng)的云存儲(chǔ)平臺(tái)，如亞馬遜（Amazon）的S3，谷歌的Google Drive，微軟（Microsoft）的Azure，百度云盤(pán)，阿里云OSS，騰訊云COS，華為云OBS，360云盤(pán)等。
云存儲(chǔ)從數(shù)據(jù)的存儲(chǔ)和訪問(wèn)的方式來(lái)區(qū)分，包括數(shù)據(jù)塊級(jí)云存儲(chǔ)、文件級(jí)云存儲(chǔ)和對(duì)象級(jí)云存儲(chǔ)。這三種類(lèi)型是由傳統(tǒng)的SAN(Storage Area Network,存儲(chǔ)局域網(wǎng))、NAS(Network Area Storage,網(wǎng)絡(luò)附加存儲(chǔ))和CAS(Content Addressed Storage,內(nèi)容尋址存儲(chǔ))分別發(fā)展而來(lái)。
塊存儲(chǔ)數(shù)據(jù)是以數(shù)據(jù)塊的形式進(jìn)行管理，每個(gè)數(shù)據(jù)塊只有一個(gè)地址，一旦被一個(gè)系統(tǒng)使用，就獨(dú)占了，不能被共享。NAS數(shù)據(jù)是以文件的形式進(jìn)行管理，在文件系統(tǒng)一層對(duì)外提供服務(wù)，通過(guò)CIFS或者NFS協(xié)議進(jìn)行共享。對(duì)象存儲(chǔ)是以對(duì)象的形式進(jìn)行管理，采用扁平化方式，棄用了目錄樹(shù)結(jié)構(gòu)，通過(guò)Restful或HTTP接口實(shí)現(xiàn)隨時(shí)隨地訪問(wèn)的共享和高速訪問(wèn)。這三種云存儲(chǔ)類(lèi)型的區(qū)別如下表所示：
分布式對(duì)象存儲(chǔ)是為海量非結(jié)構(gòu)化數(shù)據(jù)提供通過(guò)Key-Value鍵值查找數(shù)據(jù)文件的分布式存儲(chǔ)模式，是一種用戶(hù)可通過(guò)網(wǎng)絡(luò)，以WEB控制臺(tái)、API、SDK和工具等多樣化方式隨時(shí)進(jìn)行任意格式文件的上傳、下載和管理數(shù)據(jù)，具備高擴(kuò)展性、低成本、可靠和安全的數(shù)據(jù)存儲(chǔ)服務(wù)，同時(shí)還可以通過(guò)CDN節(jié)點(diǎn)對(duì)對(duì)象文件下載進(jìn)行加速。
分布式對(duì)象存儲(chǔ)的技術(shù)是引入了對(duì)象元數(shù)據(jù)來(lái)描述對(duì)象特征，對(duì)象元數(shù)據(jù)具有豐富的語(yǔ)義，另外引入容器概念作為存儲(chǔ)對(duì)象的集合。對(duì)象存儲(chǔ)系統(tǒng)底層基于分布式存儲(chǔ)系統(tǒng)來(lái)實(shí)現(xiàn)數(shù)據(jù)的存取，其存儲(chǔ)方式對(duì)外部應(yīng)用透明。因此，存儲(chǔ)系統(tǒng)架構(gòu)具有高可擴(kuò)展性，支持?jǐn)?shù)據(jù)的并發(fā)讀寫(xiě)，一般不支持?jǐn)?shù)據(jù)的隨機(jī)寫(xiě)操作。對(duì)象存儲(chǔ)的技術(shù)成熟，對(duì)底層硬件要求不高，存儲(chǔ)系統(tǒng)可靠性和容錯(cuò)通過(guò)軟件實(shí)現(xiàn)，同時(shí)http訪問(wèn)接口簡(jiǎn)單，適合處理海量、小數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)，如：郵箱、網(wǎng)盤(pán)、相冊(cè)、音頻視頻存儲(chǔ)等。
分布式對(duì)象存儲(chǔ)的架構(gòu)中：
存儲(chǔ)空間（Bucket）是用戶(hù)用于存儲(chǔ)對(duì)象（Object）的容器，所有的對(duì)象都必須隸屬于某個(gè)存儲(chǔ)空間。存儲(chǔ)空間具有各種配置屬性，包括地域、訪問(wèn)權(quán)限、存儲(chǔ)類(lèi)型等。用戶(hù)可以根據(jù)實(shí)際需求，創(chuàng)建不同類(lèi)型的存儲(chǔ)空間來(lái)存儲(chǔ)不同的數(shù)據(jù)。存儲(chǔ)空間的特征如下：
同一個(gè)存儲(chǔ)空間的內(nèi)部是扁平的，沒(méi)有文件系統(tǒng)的目錄等概念，所有的對(duì)象都直接隸屬于其對(duì)應(yīng)的存儲(chǔ)空間。
每個(gè)用戶(hù)可以擁有多個(gè)存儲(chǔ)空間。
存儲(chǔ)空間的名稱(chēng)在OSS范圍內(nèi)必須是全局唯一的，一旦創(chuàng)建之后無(wú)法修改名稱(chēng)。
存儲(chǔ)空間內(nèi)部的對(duì)象數(shù)目沒(méi)有限制。
對(duì)象（Object）是對(duì)象存儲(chǔ)數(shù)據(jù)的基本單元。和傳統(tǒng)的Posix標(biāo)準(zhǔn)文件系統(tǒng)不同，對(duì)象沒(méi)有文件目錄層級(jí)結(jié)構(gòu)的關(guān)系。對(duì)象由元信息（Object Meta），用戶(hù)數(shù)據(jù)（Data）和文件名（Key）組成，并且由存儲(chǔ)空間內(nèi)部唯一的Key來(lái)標(biāo)識(shí)。對(duì)象元信息是一組鍵值對(duì)，表示了對(duì)象的一些屬性，比如最后修改時(shí)間、大小等信息，同時(shí)用戶(hù)也可以在元信息中存儲(chǔ)一些自定義的信息，對(duì)象的生命周期是從上傳成功到被刪除為止。
存儲(chǔ)類(lèi)型（Storage Class）提供標(biāo)準(zhǔn)、低頻訪問(wèn)、歸檔、冷歸檔四種存儲(chǔ)類(lèi)型，全面覆蓋從熱到冷的各種數(shù)據(jù)存儲(chǔ)場(chǎng)景。其中標(biāo)準(zhǔn)存儲(chǔ)類(lèi)型提供高持久、高可用、高性能的對(duì)象存儲(chǔ)服務(wù)，能夠支持頻繁的數(shù)據(jù)訪問(wèn)；低頻訪問(wèn)存儲(chǔ)類(lèi)型適合長(zhǎng)期保存不經(jīng)常訪問(wèn)的數(shù)據(jù)（平均每月訪問(wèn)頻率1到2次），存儲(chǔ)單價(jià)低于標(biāo)準(zhǔn)類(lèi)型；歸檔存儲(chǔ)類(lèi)型適合需要長(zhǎng)期保存的歸檔數(shù)據(jù)；冷歸檔存儲(chǔ)適合需要超長(zhǎng)時(shí)間存放的極冷數(shù)據(jù)。這四種存儲(chǔ)類(lèi)型的特點(diǎn)如下表所示：
不同存儲(chǔ)類(lèi)型（Storage Class）的技術(shù)特性是和其功能匹配的，如下圖所示：
分布式對(duì)象存儲(chǔ)系統(tǒng)的部署架構(gòu)通常都支持跨AZ/跨IDC機(jī)房，以及AZ內(nèi)/機(jī)房?jī)?nèi)的故障域隔離，譬如AWSS3對(duì)象存儲(chǔ)系統(tǒng)的部署架構(gòu)如下圖所示：
分布式對(duì)象存儲(chǔ)提供了五級(jí)可靠性架構(gòu)，通過(guò)跨區(qū)域復(fù)制、AZ之間數(shù)據(jù)容災(zāi)、AZ內(nèi)設(shè)備和數(shù)據(jù)冗余、存儲(chǔ)介質(zhì)的慢盤(pán)/壞道檢測(cè)等技術(shù)方案，保障了對(duì)象數(shù)據(jù)的持久性和可靠性，其數(shù)據(jù)持久性、業(yè)務(wù)連續(xù)性都遠(yuǎn)高于傳統(tǒng)架構(gòu)。
分布式對(duì)象存儲(chǔ)的應(yīng)用場(chǎng)景非常廣泛，比較典型的有靜態(tài)網(wǎng)站托管、云盤(pán)、視頻點(diǎn)播、視頻監(jiān)控、大數(shù)據(jù)分析、備份歸檔等場(chǎng)景。
1）靜態(tài)網(wǎng)站托管場(chǎng)景：
終端用戶(hù)瀏覽器和APP上的動(dòng)態(tài)數(shù)據(jù)直接與業(yè)務(wù)系統(tǒng)進(jìn)行交互，動(dòng)態(tài)數(shù)據(jù)請(qǐng)求發(fā)往業(yè)務(wù)系統(tǒng)處理后直接返回給用戶(hù)。靜態(tài)數(shù)據(jù)保存在分布式對(duì)象存儲(chǔ)系統(tǒng)中，業(yè)務(wù)系統(tǒng)通過(guò)內(nèi)網(wǎng)對(duì)靜態(tài)數(shù)據(jù)進(jìn)行處理，終端用戶(hù)通過(guò)就近的內(nèi)容分發(fā)網(wǎng)絡(luò)CDN節(jié)點(diǎn)，直接向分布式對(duì)象存儲(chǔ)系統(tǒng)請(qǐng)求和讀取靜態(tài)數(shù)據(jù)。
2）云盤(pán)場(chǎng)景：
用戶(hù)手機(jī)、電腦、PAD等終端設(shè)備上的動(dòng)態(tài)數(shù)據(jù)與云盤(pán)系統(tǒng)進(jìn)行交互，動(dòng)態(tài)數(shù)據(jù)請(qǐng)求發(fā)送到企業(yè)云盤(pán)業(yè)務(wù)系統(tǒng)處理后直接返回給終端設(shè)備。靜態(tài)數(shù)據(jù)保存在分布式對(duì)象存儲(chǔ)系統(tǒng)中，業(yè)務(wù)系統(tǒng)通過(guò)內(nèi)網(wǎng)對(duì)靜態(tài)數(shù)據(jù)進(jìn)行處理，用戶(hù)終端直接向分布式對(duì)象存儲(chǔ)系統(tǒng)請(qǐng)求和取回靜態(tài)數(shù)據(jù)。同時(shí)，分布式對(duì)象存儲(chǔ)系統(tǒng)提供生命周期功能，實(shí)現(xiàn)不同對(duì)象存儲(chǔ)類(lèi)別之間的自動(dòng)轉(zhuǎn)換，以節(jié)省存儲(chǔ)成本，同時(shí)存儲(chǔ)容量可隨用戶(hù)數(shù)據(jù)量的提高而自動(dòng)擴(kuò)容。
分布式對(duì)象存儲(chǔ)系統(tǒng)的架構(gòu)，有其他組成對(duì)象或其他云服務(wù)是存在有機(jī)聯(lián)系的。譬如Openstack平臺(tái)架構(gòu)中，分布式對(duì)象存儲(chǔ)Swift提供了鏡像系統(tǒng)Glance的鏡像文件、塊存儲(chǔ)Cinder的快照文件、數(shù)據(jù)庫(kù)Trove的數(shù)據(jù)庫(kù)備份文件和大數(shù)據(jù)Sahara的數(shù)據(jù)及任務(wù)JOB的存儲(chǔ)服務(wù)，另外，Swift自身也使用了認(rèn)證鑒權(quán)Keystone、監(jiān)控Ceilometer和門(mén)戶(hù)Horizon的能力，如下圖所示：
