關(guān)于大數(shù)據(jù)和云計(jì)算的關(guān)系人們通常會(huì)有誤解，而且也會(huì)混淆，如果做一個(gè)更形象的解釋，云計(jì)算相當(dāng)于我們的計(jì)算機(jī)和操作系統(tǒng)，將大量的硬件資源虛擬化之后再進(jìn)行分配使用，在云計(jì)算領(lǐng)域目前的老大應(yīng)該算是Amazon，可以說(shuō)為云計(jì)算提供了商業(yè)化的標(biāo)準(zhǔn)，另外值得關(guān)注的還有VMware(其實(shí)從這一點(diǎn)可以幫助你理解云計(jì)算和虛擬化的關(guān)系)，開(kāi)源的云平臺(tái)最有活力的就是Openstack了。
大數(shù)據(jù)相當(dāng)于海量數(shù)據(jù)的“數(shù)據(jù)庫(kù)”，而且通觀大數(shù)據(jù)領(lǐng)域的發(fā)展也能看出，當(dāng)前的大數(shù)據(jù)處理一直在向著近似于傳統(tǒng)數(shù)據(jù)庫(kù)體驗(yàn)的方向發(fā)展，Hadoop的產(chǎn)生使我們能夠用普通機(jī)器建立穩(wěn)定的處理TB級(jí)數(shù)據(jù)的集群，把傳統(tǒng)而昂貴的并行計(jì)算等概念一下就拉到了我們的面前，但是其不適合數(shù)據(jù)分析人員使用(因?yàn)镸apReduce開(kāi)發(fā)復(fù)雜)，所以PigLatin和Hive出現(xiàn)了，為我們帶來(lái)了類SQL的操作，到這里操作方式像SQL了，但是處理效率很慢，絕對(duì)和傳統(tǒng)的數(shù)據(jù)庫(kù)的處理效率有天壤之別，所以人們又在想怎樣在大數(shù)據(jù)處理上不只是操作方式類SQL，而處理速度也能“類SQL”，Google為我們帶來(lái)了Dremel/PowerDrill等技術(shù)，Cloudera(Hadoop商業(yè)化最強(qiáng)的公司)的Impala也出現(xiàn)了。
據(jù)專家分析，未來(lái)的趨勢(shì)是，云計(jì)算作為計(jì)算資源的底層，支撐著上層的大數(shù)據(jù)處理，而大數(shù)據(jù)的發(fā)展趨勢(shì)是，實(shí)時(shí)交互式的查詢效率和分析能力，借用Google一篇技術(shù)論文中的話，“動(dòng)一下鼠標(biāo)就可以在秒級(jí)操作PB級(jí)別的數(shù)據(jù)”。
在談大數(shù)據(jù)的時(shí)候，人們首先談到的就是大數(shù)據(jù)的4V特性，即類型復(fù)雜，海量，快速和價(jià)值。IBM原來(lái)談大數(shù)據(jù)的時(shí)候談3V，沒(méi)有價(jià)值這個(gè)V。而實(shí)際我們來(lái)看4V更加恰當(dāng)，價(jià)值才是大數(shù)據(jù)問(wèn)題解決的最終目標(biāo)，其它3V都是為價(jià)值目標(biāo)服務(wù)。在有了4V的概念后，就很容易簡(jiǎn)化的來(lái)理解大數(shù)據(jù)的核心，即大數(shù)據(jù)的總體架構(gòu)包括三層，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)處理和數(shù)據(jù)分析。類型復(fù)雜和海量由數(shù)據(jù)存儲(chǔ)層解決，快速和時(shí)效性要求由數(shù)據(jù)處理層解決，價(jià)值由數(shù)據(jù)分析層解決。
數(shù)據(jù)先要通過(guò)存儲(chǔ)層存儲(chǔ)下來(lái)，然后根據(jù)數(shù)據(jù)需求和目標(biāo)來(lái)建立相應(yīng)的數(shù)據(jù)模型和數(shù)據(jù)分析指標(biāo)體系對(duì)數(shù)據(jù)進(jìn)行分析產(chǎn)生價(jià)值。而中間的時(shí)效性又通過(guò)中間數(shù)據(jù)處理層提供的強(qiáng)大的并行計(jì)算和分布式計(jì)算能力來(lái)完成。三層相互配合，讓大數(shù)據(jù)最終產(chǎn)生價(jià)值。
大數(shù)據(jù)兩大核心為云技術(shù)和BI，離開(kāi)云技術(shù)大數(shù)據(jù)沒(méi)有根基和落地可能，離開(kāi)BI和價(jià)值，大數(shù)據(jù)又變化為舍本逐末，丟棄關(guān)鍵目標(biāo)。簡(jiǎn)單總結(jié)就是大數(shù)據(jù)目標(biāo)驅(qū)動(dòng)是BI，大數(shù)據(jù)實(shí)施落地式云技術(shù)。
