“無人駕駛”企業(yè)IT環(huán)境運(yùn)維背后的黑科技，英特爾才是大玩家”
今天的企業(yè)IT環(huán)境變得越來越復(fù)雜，特別是多個本地數(shù)據(jù)中心、邊緣計算節(jié)點(diǎn)和公有云之間的關(guān)聯(lián)運(yùn)營，成為企業(yè)CIO和業(yè)務(wù)線負(fù)責(zé)人的痛點(diǎn)。
根據(jù)IDC的預(yù)計，到2025年，物聯(lián)網(wǎng)每年將產(chǎn)生79.4 ZB的數(shù)據(jù)，也就是794億TB的數(shù)據(jù)。而所有數(shù)據(jù)的背后，則是支撐產(chǎn)生這些數(shù)據(jù)的機(jī)器數(shù)據(jù)又稱元數(shù)據(jù)，典型代表就是日志數(shù)據(jù)。
自業(yè)界提出“無人駕駛”數(shù)據(jù)庫、“無人駕駛”數(shù)據(jù)中心以來，就試圖用AI人工智能、ML機(jī)器學(xué)習(xí)、大數(shù)據(jù)分析等技術(shù)，簡化各類應(yīng)用底層的IT系統(tǒng)運(yùn)營。
過去，是IT人員手工分析由服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲設(shè)備等產(chǎn)生的大量日志文檔，從而分析IT系統(tǒng)的問題所在，進(jìn)而定位并解決IT故障。但隨著企業(yè)IT的日益復(fù)雜化，通過AI等技術(shù)手段自動化分析、定位和修復(fù)IT故障，成為“無人駕駛”IT的可能空間。
要實(shí)現(xiàn)“無人駕駛”IT運(yùn)營，就需要實(shí)現(xiàn)IT設(shè)備日志文檔的高可擴(kuò)展存儲以及高性能分析。開源Elasticsearch是高可擴(kuò)展文檔存儲的理想軟件，但需要配合較昂貴的內(nèi)存存儲，而內(nèi)存計算存儲還是ML高性能分析的基礎(chǔ)。
美國創(chuàng)新公司PhoenixNAP、Vision.AI與英特爾合作，推出了下一代企業(yè)數(shù)據(jù)存儲SaaS解決方案phoenixNAP Elasticsearch Service，解決了高可擴(kuò)展存儲與高性能分析之間的矛盾，帶來了“無人駕駛”IT背后的黑科技。
1
機(jī)器數(shù)據(jù)分析的重要性
隨著以互聯(lián)網(wǎng)和云計算為代表的新一代分布式系統(tǒng)的高速發(fā)展，系統(tǒng)日志也呈爆炸性增長態(tài)勢：包括服務(wù)器和應(yīng)用在內(nèi)的許多數(shù)字資產(chǎn)正在生成大量日志。特別是移動互聯(lián)網(wǎng)應(yīng)用的發(fā)展，帶來單個應(yīng)用訪問量的劇增，系統(tǒng)日志可達(dá)上千萬甚至上億條，這對于IT運(yùn)維來說就意味著越來越困難和難以維護(hù)的工作。
系統(tǒng)日志是按照時間順序存儲系統(tǒng)變更記錄的一種數(shù)據(jù)表或文件，也就是記錄了IT系統(tǒng)和設(shè)備在什么時間發(fā)生了什么事情，例如數(shù)據(jù)庫把修改信息寫到日志里，那么當(dāng)數(shù)據(jù)庫發(fā)生崩潰的時候就可以用日志來同步各種數(shù)據(jù)結(jié)構(gòu)和索引等。而對于分布式系統(tǒng)來說，日志記錄了按時間順序發(fā)生的一切機(jī)器行為，這對于分布式系統(tǒng)的分工、同步與協(xié)作來說尤其重要。
特別是在多云環(huán)境下，日志可能分布在不同的云平臺上，查找任何單個數(shù)據(jù)點(diǎn)都可能需要搜索大量數(shù)據(jù)。通常情況下，多個數(shù)據(jù)點(diǎn)還需要建立關(guān)聯(lián)以便進(jìn)行分析。例如，如果發(fā)生安全事件，企業(yè)可能需要搜索特定時間段內(nèi)的所有日志以迅速追蹤用戶的活動軌跡，而搜索耗費(fèi)的時間越長，對于企業(yè)的風(fēng)險就越大。
許多公司不僅希望能不斷增加元數(shù)據(jù)日志的存儲容量，而且還能對它們進(jìn)行搜索和分析。開源搜索引擎Elasticsearch就能實(shí)現(xiàn)這個目的，但它通常要求將數(shù)據(jù)存儲在較為昂貴的閃存介質(zhì)中以便進(jìn)行高性能分析，這將導(dǎo)致存儲成本的高速攀升。將數(shù)據(jù)放入超大規(guī)模云環(huán)境可以降低成本，但仍需持續(xù)進(jìn)行集群管理并且無法利用低成本的對象存儲。
現(xiàn)在，很多云的企業(yè)用戶都在尋找一種能夠克服這些局限的解決方案，以便輕松、快速地分析元數(shù)據(jù)，同時利用開源軟件的經(jīng)濟(jì)優(yōu)勢。
2
黑科技：下一代企業(yè)分析架構(gòu)
phoenixNAP公司是一家遍布全球的IT服務(wù)提供商，以云服務(wù)、專用服務(wù)器、主機(jī)托管和IaaS基礎(chǔ)設(shè)施即服務(wù)技術(shù)解決方案為主業(yè)，也是VMware vCloud Air網(wǎng)絡(luò)計劃的高級服務(wù)提供商。
phoenixNAP與Vizion.AI及英特爾聯(lián)合推出的phoenixNAP Elasticsearch Service，可幫助企業(yè)在部署Elasticsearch的時候，只將最熱的10%數(shù)據(jù)存儲在內(nèi)存中以進(jìn)行搜索和分析，其余90%保存在對象存儲云中，而Vizion.AI負(fù)責(zé)壓縮、去重、加密以及云間傳輸。
Vizion.AI的母公司Panzura提供了一個中間層，可以在數(shù)據(jù)中心存儲協(xié)議和云原生對象存儲之間進(jìn)行轉(zhuǎn)換。這使運(yùn)行在數(shù)據(jù)中心的Elasticsearch以及其它應(yīng)用，無需修改即可訪問云存儲，而內(nèi)存中的緩存則有助于實(shí)現(xiàn)高性能。
Panzura是一家領(lǐng)先的多云文件服務(wù)與數(shù)據(jù)管理技術(shù)提供商，作為VMware的合作伙伴，phoenixNAP、Vizion.AI和Panzura以及英特爾共同提供了下一代企業(yè)分析架構(gòu)及SaaS方案。
與將大量元數(shù)據(jù)保存在內(nèi)存中相比，使用云存儲可以大幅降低成本。而phoenixNAP Elasticsearch Service只將最熱的10%數(shù)據(jù)保存在內(nèi)存中，而且采用的是英特爾?傲騰?持久內(nèi)存——在提供大容量存儲的同時，實(shí)現(xiàn)近內(nèi)存處理速度。
Vizion.AI對使用持久內(nèi)存的基礎(chǔ)設(shè)施進(jìn)行性能測試，并與在公有云服務(wù)中運(yùn)行的性能進(jìn)行了比較，結(jié)果發(fā)現(xiàn)在創(chuàng)建文檔索引和文檔數(shù)字化方面，phoenixNAP方案的速度要快3倍，延遲也減少了80%。
為什么說phoenixNAP Elasticsearch Service是下一代企業(yè)分析架構(gòu)呢？因?yàn)檫@個方案不僅適用于Elasticsearch服務(wù)，對于需要利用本地內(nèi)存進(jìn)行數(shù)據(jù)分析、同時利用對象云存儲進(jìn)行大容量數(shù)據(jù)存儲的服務(wù)都適用，例如IoT數(shù)據(jù)分析、ML機(jī)器學(xué)習(xí)、安全數(shù)據(jù)分析等等機(jī)器數(shù)據(jù)的分析與存儲，在滿足分析性能的同時還大幅降低了整體的存儲成本。
3
黑科技背后的硬科技
phoenixNAP Elasticsearch Service對于企業(yè)來說，最大的收益就是在企業(yè)的混合多云及IT環(huán)境中提供兼具性能與成本效應(yīng)的元數(shù)據(jù)搜索與分析，而其中離不開英特爾的技術(shù)支持。
phoenixNAP Elasticsearch Service的底層服務(wù)器硬件由配備英特爾?傲騰?持久內(nèi)存的第二代英特爾?至強(qiáng)?可擴(kuò)展處理器家族提供支持。英特爾?傲騰?持久內(nèi)存，讓CSP云服務(wù)商能夠獲得高性價比大容量存儲能力以及接近內(nèi)存的性能，其物理外形與DRAM兼容并可插入相同的DIMM插槽中。
而phoenixNAP Elasticsearch Service的虛擬化層則是支持英特爾?傲騰?持久內(nèi)存的VMware vSphere 6.7，這為Elasticsearch提供了適配的企業(yè)IT環(huán)境，無需修改代碼即可通過vSphere獲得英特爾?傲騰?持久內(nèi)存的支持。
在phoenixNAP Elasticsearch Service最上層是容器化的工作負(fù)載，以及采用Kubernetes進(jìn)行集群管理。Vizion.AI副總裁兼總經(jīng)理Geoff Tudor表示：“英特爾®傲騰™持久內(nèi)存的優(yōu)勢在于它不會影響應(yīng)用的部署。
如果從Kubernetes的角度來看，持久內(nèi)存就像是另一種存儲資源，其效果立竿見影且無需更改任何代碼。另外，與使用超大規(guī)模云提供商的服務(wù)相比，借助英特爾®傲騰™持久內(nèi)存來加速我們的解決方案還能讓我們做到低本高效。”
phoenixNAP Elasticsearch Service對于 CSP云服務(wù)商來說，通過在每臺服務(wù)器上部署數(shù)百個客戶的容器，新內(nèi)容的索引速度得到提高、實(shí)時搜索延遲得以降低，從而避免服務(wù)器爭用并改善客戶體驗(yàn)。當(dāng)前，云市場的競爭非常激烈，phoenixNAP Elasticsearch Service憑借針對特定應(yīng)用優(yōu)化并輔以增值服務(wù)的云環(huán)境，從競爭中脫穎而出。
全文總結(jié)：phoenixNAP Elasticsearch Service對于實(shí)現(xiàn)“無人駕駛”企業(yè)IT環(huán)境運(yùn)維具有重大意義，該方案解決了元數(shù)據(jù)存儲與搜索和分析之間的成本與性能的矛盾。phoenixNAP Elasticsearch Service讓企業(yè)IT可以在本地內(nèi)存中快速對元數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，同時把海量的元數(shù)據(jù)存儲到對象存儲云服務(wù)中，這樣就可以用ML機(jī)器學(xué)習(xí)算法等持續(xù)對元數(shù)據(jù)進(jìn)行分析，并把分析結(jié)果用于自動化系統(tǒng)的校正與修復(fù)。有了phoenixNAP Elasticsearch Service這樣的黑科技，“無人駕駛”企業(yè)IT的夢想終將實(shí)現(xiàn)！
