什么是分布式存儲?主要應用在哪些方面?

方平解數(shù)碼
分布式存儲是將數(shù)據(jù)分散存儲在多臺獨立的設備上。傳統(tǒng)的網(wǎng)絡存儲系統(tǒng)采用集中的存儲服務器存放所有數(shù)據(jù),存儲服務器成為系統(tǒng)性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規(guī)模存儲應用的需要。

國家大力支持5G、人工智能、區(qū)塊鏈、云計算、和大數(shù)據(jù)等前沿科技的發(fā)展。而隨著存儲數(shù)據(jù)的增加,存儲服務器也越來越多,同時存儲壓力也不斷的上升,不僅增加了存儲的高成本,同時這種傳統(tǒng)的存儲方式也在數(shù)據(jù)存儲的安全性和可靠性方面存在很大的風險,一旦一臺大型機器出現(xiàn)故障,那么整個系統(tǒng)將可能處于不可用的狀態(tài),后果非常的嚴重。相比傳統(tǒng)的集中式存儲存在數(shù)據(jù)安全性和可靠性的問題,分布式存儲就可以很好地解決這一痛點。

2345截圖20200908083720.png

而在信息爆炸的時代,人們可以獲取的數(shù)據(jù)呈指數(shù)倍的增長,單純在固定某個地點進行硬盤的擴充在容量大小、擴充速度、讀寫速度和數(shù)據(jù)備份等方面上的表現(xiàn)都無法達到要求;而且大數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)多是來自于客戶,數(shù)據(jù)的種類多,存儲系統(tǒng)需要存儲各種半結構化、非結構化的數(shù)據(jù),如文檔、圖片、視頻等,因此大數(shù)據(jù)的存儲宜使用分布式文件系統(tǒng)來管理這些非結構化數(shù)據(jù)。

2345截圖20200908083720.png

分布式存儲是將數(shù)據(jù)分散存儲在多臺獨立的設備上。傳統(tǒng)的網(wǎng)絡存儲系統(tǒng)采用集中的存儲服務器存放所有數(shù)據(jù),存儲服務器成為系統(tǒng)性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規(guī)模存儲應用的需要。分布式網(wǎng)絡存儲系統(tǒng)采用可擴展的系統(tǒng)結構,利用多臺存儲服務器分擔存儲負荷,利用位置服務器定位存儲信息,它不但提高了系統(tǒng)的可靠性、可用性和存取效率,還易于擴展。

分布式存儲通過非標準協(xié)議實現(xiàn)服務器上存儲資源的整個,并進行存儲資源池化和虛擬化處理,最后呈現(xiàn)給用戶某種形式(塊存儲或者文件存儲)的存儲空間。分布式存儲有其特異性,其使用的并非標準協(xié)議,因此通常需要在應用服務器安裝其客戶端軟件實現(xiàn)存儲空間的虛擬呈現(xiàn),以及請求的處理。

由于分布式存儲拓撲結構的復雜性,其出現(xiàn)故障的概率也大大增加了。因此,對于分布式存儲需要實現(xiàn)基于網(wǎng)絡的數(shù)據(jù)冗余、數(shù)據(jù)保護和數(shù)據(jù)容錯等功能,確保在出現(xiàn)任何異常情況,如磁盤、網(wǎng)卡、交換機和服務器等故障,下存儲系統(tǒng)的可用性和可靠性。

2345截圖20200908083720.png

傳統(tǒng)的分布式計算系統(tǒng)中通常計算節(jié)點與存儲節(jié)點是分開的。當執(zhí)行計算任務時,首先要把數(shù)據(jù)從數(shù)據(jù)節(jié)點傳輸至計算節(jié)點(數(shù)據(jù)向計算遷移),這種處理方式會使外存文件數(shù)據(jù)I/O訪問成為一個制約系統(tǒng)性能的瓶頸。為了減少大數(shù)據(jù)并行計算系統(tǒng)中的數(shù)據(jù)通信開銷,應當考慮將計算向數(shù)據(jù)靠攏和遷移。

從各廠商的解決方案來看,面對目前互聯(lián)網(wǎng)應用PB級的海量存儲的存儲需求,頻繁的數(shù)據(jù)傳輸,都是通過應用分布式存儲系統(tǒng),實現(xiàn)在普通PC機上部署節(jié)點,通過系統(tǒng)架構設計提供強大的容錯能力,針對大型的、分布式的、大量數(shù)據(jù)訪問的應用給用戶提供總體性能最高的服務。

THEEND

最新評論(評論僅代表用戶觀點)

更多
暫無評論