淺析云存儲(chǔ)技術(shù)的原理與架構(gòu)

懿軒云
目前利用科技手段輔助城市管理的建設(shè)模式已經(jīng)由以前的以視頻監(jiān)控為主的平安城市建設(shè)轉(zhuǎn)向以多傳感技術(shù)為主的智慧城市建設(shè),在這一過(guò)程中,雖然當(dāng)前主要的數(shù)據(jù)量仍然來(lái)自視頻監(jiān)控?cái)z像頭產(chǎn)生的圖像數(shù)據(jù),但由各類傳感器產(chǎn)生的數(shù)據(jù)量和數(shù)據(jù)種類正在加速增長(zhǎng)。

目前利用科技手段輔助城市管理的建設(shè)模式已經(jīng)由以前的以視頻監(jiān)控為主的平安城市建設(shè)轉(zhuǎn)向以多傳感技術(shù)為主的智慧城市建設(shè),在這一過(guò)程中,雖然當(dāng)前主要的數(shù)據(jù)量仍然來(lái)自視頻監(jiān)控?cái)z像頭產(chǎn)生的圖像數(shù)據(jù),但由各類傳感器產(chǎn)生的數(shù)據(jù)量和數(shù)據(jù)種類正在加速增長(zhǎng)。

例如各城市道路的交通流量信息、移動(dòng)終端的身份采集信息等,對(duì)這些海量信息的存儲(chǔ)、分析和利用,除了提供傳統(tǒng)的安全防范、事后查證功能外,更為城市建設(shè)科學(xué)規(guī)劃、科學(xué)管理提供了充分的數(shù)據(jù)基礎(chǔ),同時(shí),在這樣一個(gè)海量大數(shù)據(jù)的時(shí)代,對(duì)于數(shù)據(jù)的安全存儲(chǔ)和應(yīng)用也需要與之相適應(yīng)的新的技術(shù)手段,而以分布式和并行處理為基礎(chǔ)的云計(jì)算和云存儲(chǔ)技術(shù),在此過(guò)程中也得到了極大地發(fā)展。

相對(duì)傳統(tǒng)存儲(chǔ)而言,云存儲(chǔ)改變了數(shù)據(jù)垂直存儲(chǔ)在某一臺(tái)物理設(shè)備的存放模式,通過(guò)寬帶網(wǎng)絡(luò)集合大量的存儲(chǔ)設(shè)備,通過(guò)存儲(chǔ)虛擬化、分布式文件系統(tǒng)、底層對(duì)象化等技術(shù)將位于各單一存儲(chǔ)設(shè)備上的物理存儲(chǔ)資源進(jìn)行整合,構(gòu)成邏輯上統(tǒng)一的存儲(chǔ)資源池對(duì)外提供服務(wù),從而在存儲(chǔ)容量上得以從單設(shè)備PB級(jí)橫向擴(kuò)展至數(shù)十、數(shù)百PB,由于云存儲(chǔ)系統(tǒng)中的各節(jié)點(diǎn)能夠并行提供讀寫訪問服務(wù),系統(tǒng)整體性能隨著業(yè)務(wù)節(jié)點(diǎn)的增加而獲得同步提升。同時(shí),通過(guò)冗余編碼技術(shù)、遠(yuǎn)程復(fù)制技術(shù),進(jìn)一步為系統(tǒng)提供節(jié)點(diǎn)級(jí)甚至數(shù)據(jù)中心級(jí)的故障保護(hù)能力。

容量和性能的按需擴(kuò)展、極高的系統(tǒng)可用性,是云存儲(chǔ)系統(tǒng)最核心的技術(shù)特征。

通常,從云存儲(chǔ)的技術(shù)實(shí)現(xiàn)層次上看,從底層向上,可以分為存儲(chǔ)層、管理調(diào)度層、訪問接口層、應(yīng)用服務(wù)層等四個(gè)層次,如下圖所示:

1111.jpg

其中存儲(chǔ)層是云存儲(chǔ)的基礎(chǔ),一臺(tái)云存儲(chǔ)節(jié)點(diǎn)設(shè)備通常能安裝24個(gè)以上的硬盤,通常通過(guò)IP接口將大量的存儲(chǔ)設(shè)備互連在一起形成存儲(chǔ)設(shè)備資源池,在一個(gè)云存儲(chǔ)系統(tǒng)中,底層物理存儲(chǔ)設(shè)備數(shù)量龐大,而且設(shè)備形態(tài)理論上也允許異構(gòu)(這樣也可以接入傳統(tǒng)的IP SAN或FC SAN),在物理存儲(chǔ)設(shè)備之上是一個(gè)統(tǒng)一的存儲(chǔ)設(shè)備管理層,實(shí)現(xiàn)對(duì)物理存儲(chǔ)設(shè)備的邏輯虛擬化管理、狀態(tài)監(jiān)控和維護(hù)等功能。

管理調(diào)度層是云存儲(chǔ)最核心的部分,這一層的主要功能是在存儲(chǔ)層提供的存儲(chǔ)資源上部署分布式文件系統(tǒng)或者建立和組織存儲(chǔ)資源對(duì)象,并將用戶數(shù)據(jù)進(jìn)行分片處理,按照設(shè)定的保護(hù)策略將分片后的數(shù)據(jù)以多副本或者冗余糾刪碼的方式分散存儲(chǔ)到具體的存儲(chǔ)資源上去。

同時(shí),在本層還會(huì)在節(jié)點(diǎn)間進(jìn)行讀寫負(fù)載均衡調(diào)度以及節(jié)點(diǎn)或存儲(chǔ)資源失效后的業(yè)務(wù)調(diào)度與數(shù)據(jù)重建恢復(fù)等任務(wù),以便始終提供高性能、高可用的訪問服務(wù)。不過(guò),在具體實(shí)現(xiàn)時(shí),該層的功能也可能上移,位于訪問接口層和應(yīng)用服務(wù)層之間,甚至直接嵌入到應(yīng)用服務(wù)層中,和業(yè)務(wù)應(yīng)用緊密結(jié)合,形成業(yè)務(wù)專用云存儲(chǔ)。

THEEND

最新評(píng)論(評(píng)論僅代表用戶觀點(diǎn))

更多
暫無(wú)評(píng)論