大數(shù)據(jù)概念解析:分布式存儲(chǔ)與數(shù)據(jù)庫(kù)

山西區(qū)塊鏈技術(shù)中心
分布式存儲(chǔ)系統(tǒng)面向海量數(shù)據(jù)的存儲(chǔ)訪問(wèn)與共享需求,提供基于多存儲(chǔ)節(jié)點(diǎn)的高性能,高可靠和可伸縮性的數(shù)據(jù)存儲(chǔ)和訪問(wèn)能力,實(shí)現(xiàn)分布式存儲(chǔ)節(jié)點(diǎn)上多用戶(hù)的訪問(wèn)共享。目前業(yè)界比較流行的分布式存儲(chǔ)系統(tǒng)包括:HDFS、OpenStack Swift、Ceph、GlusterFS、Lustre、AFS、OSS等。

大數(shù)據(jù)技術(shù)當(dāng)中,在海量數(shù)據(jù)的存儲(chǔ)環(huán)節(jié),涉及到兩個(gè)重要的概念,就是分布式數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)庫(kù),穩(wěn)定高效安全的數(shù)據(jù)存儲(chǔ),才能為后續(xù)的計(jì)算分析環(huán)節(jié),提供穩(wěn)固的支持。今天的大數(shù)據(jù)概念解析,我們來(lái)講講分布式存儲(chǔ)與數(shù)據(jù)庫(kù)。

進(jìn)入大數(shù)據(jù)時(shí)代,數(shù)據(jù)特征發(fā)生了明顯的變化,數(shù)據(jù)規(guī)模大、非結(jié)構(gòu)化/半結(jié)構(gòu)化的數(shù)據(jù)多,使得大數(shù)據(jù)存儲(chǔ)本身也需要克服很多的問(wèn)題。要實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的計(jì)算分析加工等問(wèn)題,對(duì)于企業(yè)而言,需要通過(guò)各種手段來(lái)解決相關(guān)的問(wèn)題,比如說(shuō)通過(guò)優(yōu)化存儲(chǔ)基礎(chǔ)設(shè)施,或者搭建高性能的大數(shù)據(jù)存儲(chǔ)框架等等。海量數(shù)據(jù)的存儲(chǔ)任務(wù),針對(duì)于不同的應(yīng)用場(chǎng)景,往往需要因地制宜地選擇存儲(chǔ)方案,因此有了對(duì)象存儲(chǔ)、塊存儲(chǔ)、文件系統(tǒng)存儲(chǔ)等。

分布式文件/對(duì)象存儲(chǔ)系統(tǒng)

分布式存儲(chǔ)系統(tǒng)面向海量數(shù)據(jù)的存儲(chǔ)訪問(wèn)與共享需求,提供基于多存儲(chǔ)節(jié)點(diǎn)的高性能,高可靠和可伸縮性的數(shù)據(jù)存儲(chǔ)和訪問(wèn)能力,實(shí)現(xiàn)分布式存儲(chǔ)節(jié)點(diǎn)上多用戶(hù)的訪問(wèn)共享。目前業(yè)界比較流行的分布式存儲(chǔ)系統(tǒng)包括:HDFS、OpenStack Swift、Ceph、GlusterFS、Lustre、AFS、OSS等。

分布式關(guān)系型數(shù)據(jù)庫(kù)

關(guān)系型數(shù)據(jù)庫(kù)是建立在關(guān)系模型基礎(chǔ)上的數(shù)據(jù)庫(kù),借助于集合代數(shù)等數(shù)學(xué)概念和方法來(lái)處理數(shù)據(jù)庫(kù)中的數(shù)據(jù)。目前業(yè)界比較流行的分布式關(guān)系型數(shù)據(jù)庫(kù)包括:DRDS、TiDB、GreenPlum、Cobar、Aurora、Mycat等。

分析型數(shù)據(jù)庫(kù)

分析數(shù)據(jù)庫(kù)是面向分析應(yīng)用的數(shù)據(jù)庫(kù),與傳統(tǒng)的數(shù)據(jù)庫(kù)不同,它可以對(duì)數(shù)據(jù)進(jìn)行在線統(tǒng)計(jì)、數(shù)據(jù)在線分析、隨即查詢(xún)等發(fā)掘信息數(shù)據(jù)價(jià)值的工作。目前業(yè)界比較流行的分析型數(shù)據(jù)庫(kù)包括:Kylin、AnalyticDB、Druid、Clickhouse、Vertica、MonetDB、InfiniDB、LucidDB等。

圖數(shù)據(jù)庫(kù)

圖數(shù)據(jù)庫(kù)的基本含義是以“圖”這種數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)和查詢(xún)數(shù)據(jù),而不是存儲(chǔ)圖片的數(shù)據(jù)庫(kù)。目前業(yè)界比較流行的圖數(shù)據(jù)庫(kù)包括:Titan、Neo4J、ArangoDB、OrientDB、MapGraph、ALLEGROGRAPH等。

列存儲(chǔ)數(shù)據(jù)庫(kù)

列式數(shù)據(jù)庫(kù)是以列相關(guān)存儲(chǔ)架構(gòu)進(jìn)行數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù),主要適合于批量數(shù)據(jù)處理和即時(shí)查詢(xún)。目前業(yè)界比較流行的列存儲(chǔ)數(shù)據(jù)庫(kù)包括:Phoenix、Cassandra、Hbase、Kudu、Hypertable等。

文檔數(shù)據(jù)庫(kù)

文檔型數(shù)據(jù)庫(kù)是NoSQL中非常重要的一個(gè)分支,它主要用來(lái)存儲(chǔ)、索引并管理面向文檔的數(shù)據(jù)或者類(lèi)似的半結(jié)構(gòu)化數(shù)據(jù)。目前業(yè)界比較流行的文檔型數(shù)據(jù)庫(kù)包括:MongoDb、CouchDB、OrientDB、MarkLogic等。

鍵值存儲(chǔ)數(shù)據(jù)庫(kù)

鍵值存儲(chǔ)(Key-Value)是NoSQL中,數(shù)據(jù)模型中比較簡(jiǎn)單的一個(gè)了,主要就是用哈希表,通過(guò)對(duì)于鍵(Key)的查找來(lái)找到特定的數(shù)據(jù)。目前業(yè)界比較流行的鍵值存儲(chǔ)數(shù)據(jù)庫(kù)包括:Redis、Memcached、Tair等。關(guān)于大數(shù)據(jù)概念解析,分布式存儲(chǔ)與數(shù)據(jù)庫(kù),以上就為大家做了一個(gè)簡(jiǎn)單的介紹了。大數(shù)據(jù)存儲(chǔ)環(huán)節(jié),涉及到分布式與數(shù)據(jù)庫(kù),是需要重點(diǎn)去掌握的一部分,對(duì)于主流的技術(shù)架構(gòu)也需要有相應(yīng)程度的掌握。

目前業(yè)界比較流行的鍵值存儲(chǔ)數(shù)據(jù)庫(kù)包括:Redis、Memcached、Tair等。

關(guān)于大數(shù)據(jù)概念解析,分布式存儲(chǔ)與數(shù)據(jù)庫(kù),以上就為大家做了一個(gè)簡(jiǎn)單的介紹了。大數(shù)據(jù)存儲(chǔ)環(huán)節(jié),涉及到分布式與數(shù)據(jù)庫(kù),是需要重點(diǎn)去掌握的一部分,對(duì)于主流的技術(shù)架構(gòu)也需要有相應(yīng)程度的掌握。

THEEND

最新評(píng)論(評(píng)論僅代表用戶(hù)觀點(diǎn))

更多
暫無(wú)評(píng)論