2020年存儲技術(shù)展望:AI推動(dòng)數(shù)據(jù)存儲理念進(jìn)化

電子發(fā)燒友
AI時(shí)代,終端、邊緣、混合云、私有云和公有云之間的數(shù)據(jù)流,數(shù)據(jù)安全和保護(hù)比以往任何時(shí)候都更為重要。同時(shí)數(shù)據(jù)的復(fù)雜性讓數(shù)據(jù)管理軟件越來越受到市場的重視。

2020年以意想不到的方式在展開,讓人們愈發(fā)渴望AI的到來。

大家知道早在60年前,“人工智能”概念就正式提出。其發(fā)展曾經(jīng)歷了兩次低谷,這兩次低谷的原因一方面受質(zhì)于人工智能三個(gè)因素,算力、算法和數(shù)據(jù)的制約。一方面受制于ICT的發(fā)展,沒有實(shí)現(xiàn)數(shù)據(jù)的互聯(lián)互通,人工智能就如同無源之水。

而推動(dòng)AI第三次的到來是算力的大幅提升、算法的不斷優(yōu)化以及數(shù)據(jù)的海量增長。

IDC預(yù)測,到2021年,75%的商用企業(yè)級應(yīng)用將使用AI;超過50%的消費(fèi)者將享受機(jī)器人客服的服務(wù),并且,50%以上的新型工業(yè)機(jī)器人將采用AI??梢哉f人類正在向一個(gè)萬物感知、萬物互聯(lián)、萬物智能的世界進(jìn)化。基于AI的推動(dòng),以數(shù)據(jù)為基礎(chǔ)的IT架構(gòu)在理念和技術(shù)上在不斷進(jìn)化。

在云計(jì)算時(shí)代,大家關(guān)心的是數(shù)據(jù)上云。但是AI發(fā)展,讓大家看到數(shù)據(jù)不僅需要云上進(jìn)行智能化處理,同時(shí)需要在設(shè)備邊緣端進(jìn)行處理?;?G,AI驅(qū)動(dòng)的物聯(lián)網(wǎng),需要邊緣設(shè)備具備AI計(jì)算和數(shù)據(jù)存儲。物聯(lián)網(wǎng)離不開云計(jì)算這樣的基礎(chǔ)設(shè)施,但是沒有邊緣側(cè)的低成本傳感器和AI應(yīng)用程序來構(gòu)建智能邊緣計(jì)算環(huán)境,對于物聯(lián)網(wǎng)需求的超低時(shí)延和靈活性、安全性需求就無從談起。那么融合5G、AI和云計(jì)算技術(shù)的生態(tài)就會(huì)發(fā)展之力不完整。

基于此,數(shù)據(jù)基礎(chǔ)設(shè)施的構(gòu)建正在顛覆

現(xiàn)在沒有一個(gè)人和應(yīng)用是孤立存在,所有任何機(jī)構(gòu)、組織和個(gè)人對于IT基礎(chǔ)架構(gòu)的需求正在顛覆重構(gòu), 新的基礎(chǔ)設(shè)施要具備IT系統(tǒng)高級別的安全性和可靠性。要具備可擴(kuò)展性,必須支持高可用性,并提供靈活性。所有的公有云、私有云和混合云的架構(gòu)以及集中式存儲、分布式存儲、超融合系統(tǒng),在架構(gòu)上將趨于融合。而展現(xiàn)的方式就是對數(shù)據(jù)基礎(chǔ)設(shè)施的重構(gòu)進(jìn)行。大道殊途,IBM、華為、戴爾、聯(lián)想、Hitachi等都在圍繞數(shù)據(jù)基礎(chǔ)設(shè)施進(jìn)行戰(zhàn)略布局,雖然手段不同,但是戰(zhàn)略方向驚人相似。

IBM印象中一直是集中式的代表,但是下一代基礎(chǔ)設(shè)施的概念I(lǐng)BM很早就提出。IBM早在2017年就意識到AI的應(yīng)用需要下一代基礎(chǔ)設(shè)施來支撐,并意識到軟件定義存儲才是主力數(shù)據(jù)驅(qū)動(dòng)基礎(chǔ)架構(gòu)的關(guān)鍵。

IBM逐步統(tǒng)一存儲軟件,到現(xiàn)在IBM Spectrum存儲軟件已經(jīng)有16款產(chǎn)品,產(chǎn)品覆蓋從存儲管理到數(shù)據(jù)保護(hù)到數(shù)據(jù)上云到AI管理。2019年IBM基于Modern 架構(gòu),通過Z系列主機(jī)、 LinuxONE、存儲以及高性能計(jì)算打造的適應(yīng)多云環(huán)境的現(xiàn)代基礎(chǔ)架構(gòu)。而這個(gè)架構(gòu)中能夠?qū)崿F(xiàn)核心數(shù)據(jù)云、高密度整合云、混合數(shù)據(jù)云、異構(gòu)存儲云、綠色存儲云、Power云、人工智能云等多種云組合讓企業(yè)在云中漫步。

2018年華為推出AI戰(zhàn)略與全棧全場景AI解決方案。華為全棧全場景的AI解決方案,正在從理念到戰(zhàn)略、 從芯片到應(yīng)用、從面向消費(fèi)者(HiAI),到面向企業(yè)(華 為云EI),一步一個(gè)腳印地來實(shí)現(xiàn)無所不及的智能。同時(shí)華為將AI技術(shù)與IT產(chǎn)品與解決方案深度融合,推出金融級的分布式數(shù)據(jù)庫,華為云FusionInsight大數(shù)據(jù)解決方案等。

在2019年華為提出要邁入智能時(shí)代,數(shù)據(jù)基礎(chǔ)設(shè)施要向極簡進(jìn)化。華為IT產(chǎn)品線副總裁、智能數(shù)據(jù)與存儲領(lǐng)域總裁周躍峰認(rèn)為華為談到的“極簡”是把簡單帶給別人、復(fù)雜留給自己。華為對下一代數(shù)據(jù)基礎(chǔ)設(shè)施的理念有三個(gè)。一是融合,今天絕大部分的數(shù)據(jù)存儲系統(tǒng)都有三套以上,生產(chǎn)交易場景的數(shù)據(jù)、數(shù)據(jù)湖場景的數(shù)據(jù)、以及越來越多的邊緣場景的數(shù)據(jù)。華為的理念是這些壁壘,打破數(shù)據(jù)庫、存儲、大數(shù)據(jù)的壁壘,同時(shí)實(shí)現(xiàn)邊緣智慧,引領(lǐng)邊云協(xié)同,既能實(shí)現(xiàn)生產(chǎn)力的提升也能實(shí)現(xiàn)數(shù)據(jù)價(jià)值。

第二個(gè)數(shù)據(jù)基礎(chǔ)設(shè)施要具備智能化,這方面華為基于AI昇騰的芯片,通過智能化,減少人工的干預(yù)以及數(shù)據(jù)管理方面的優(yōu)勢。比如AI能夠幫助在閃存方面需要數(shù)據(jù)壓縮,對于不同的數(shù)據(jù)壓縮的比率是不一樣的, AI針對不同的數(shù)據(jù)可以不同的算法、參數(shù)去做,這個(gè)就是從智能體現(xiàn)出來的極簡。實(shí)現(xiàn)整個(gè)數(shù)據(jù)基礎(chǔ)設(shè)施、整個(gè)的自動(dòng)化的駕駛,從過去面向產(chǎn)品的設(shè)備轉(zhuǎn)向面向客戶的場景來自動(dòng)化。

第三個(gè)極簡的表現(xiàn)是開放,華為希望合作伙伴就像用自家產(chǎn)品一樣,非常容易應(yīng)用到華為提供的核心應(yīng)用,比如可以把數(shù)據(jù)庫方便的遷移到這個(gè)數(shù)據(jù)基礎(chǔ)設(shè)施。

我們看到戴爾科技的整體戰(zhàn)略也在加速,圍繞戴爾科技邊緣到核心到云的整個(gè)產(chǎn)品線進(jìn)行創(chuàng)新。首先基于VMware打造一個(gè)Dell Technologies cloud平臺來為企業(yè)提供數(shù)字化轉(zhuǎn)型的好工具。而在2019年最后一天,VMware宣布已經(jīng)完成27億美元收購云原生軟件公司Pivotal的交易,雖然VMware和Pivotal都是當(dāng)時(shí)戴爾收購EMC的相關(guān)企業(yè),但是都是獨(dú)立運(yùn)營。此次收購讓戴爾科技向著在任何地方管理基礎(chǔ)設(shè)施的云計(jì)算服務(wù)提供商走進(jìn)一步。相信2020年戴爾科技對于數(shù)據(jù)基礎(chǔ)設(shè)施的理解更深。

包括聯(lián)想也在變革,聯(lián)想基于數(shù)據(jù)智能驅(qū)動(dòng)商業(yè)變革三大要素?cái)?shù)據(jù)、計(jì)算力和算法提出3S戰(zhàn)略——智能物聯(lián)網(wǎng)設(shè)備(Smart IOT)、智能基礎(chǔ)架構(gòu)(Smart Infrastructure)以及行業(yè)智能(Smart Vertical)三大戰(zhàn)略。特別是圍繞智能基礎(chǔ)設(shè)施,聯(lián)想數(shù)據(jù)中心業(yè)務(wù)集團(tuán)升級為聯(lián)想企業(yè)科技集團(tuán)。童夫堯擔(dān)任聯(lián)想集團(tuán)高級副總裁兼企業(yè)科技集團(tuán)總裁,過去一年聯(lián)想一方面緊握拳頭產(chǎn)品,為企業(yè)提供智能計(jì)算力。在筆者看來,一方面超算作為算力的核心代表,也是聯(lián)想作為智能基礎(chǔ)設(shè)施的拳頭產(chǎn)品,聯(lián)想這方面保持優(yōu)勢,同時(shí)過去一年聯(lián)想和Netapp合作而成立的聯(lián)想凌拓,擴(kuò)大聯(lián)想在存儲板塊的影響力。現(xiàn)在存儲產(chǎn)品組合由過去夠覆蓋市場的15%,到現(xiàn)在可以覆蓋95%,外部存儲排名躍升第四位。

同時(shí)基于基于5G新業(yè)務(wù)打造市場新需求,在解決方案方面,圍繞智能制造、智慧城市、智慧醫(yī)療、智慧零售、智慧教育等場景,開發(fā)新型智能物聯(lián)網(wǎng)終端以及基于行業(yè)場景的一站式物聯(lián)網(wǎng)解決方案。打造定制化產(chǎn)品服務(wù)和包括超大規(guī)模數(shù)據(jù)中心、軟件定義數(shù)據(jù)中心、高性能計(jì)算、人工智能、基礎(chǔ)設(shè)施等一系列端到端解決方案。

同樣還有HDS,HDS在高端存儲一直處于領(lǐng)先地位。在2017年9月份, Hitachi集團(tuán)宣布整合Hitachi Data Systems、Pentaho和Hitachi Insight Group三家公司成立的一個(gè)新公司Hitachi Vantara。其愿景是將Hitachi集團(tuán)108年的運(yùn)營技術(shù)(OT)和59年的信息技術(shù)(IT)經(jīng)驗(yàn)、技術(shù)和行業(yè)經(jīng)驗(yàn)完美結(jié)合在一起。通過不斷深化領(lǐng)域?qū)I(yè)知識為客戶帶來空前豐富的數(shù)據(jù)管理的能力,讓Hitachi Vantara成為業(yè)內(nèi)集分析、工業(yè)專業(yè)知識、技術(shù)和成果于一身的卓越軟件與解決方案提供商。

到了2019年,Hitachi Vantara除了為企業(yè)提供核心存儲平臺之外,已經(jīng)開始通過Pentaho來融合BI和大數(shù)據(jù)。通過AI、機(jī)器學(xué)習(xí)技術(shù)實(shí)現(xiàn)從數(shù)據(jù)抽取到數(shù)據(jù)湖的建立到數(shù)據(jù)挖掘分析。2020年初, Hitachi Vantara宣布與Hitachi Consulting完成整合,新公司致力于成為領(lǐng)先的數(shù)字基礎(chǔ)架構(gòu)和解決方案提供商。

三年來,新的Hitachi Vantara已經(jīng)集合了Hitachi Vantara在IT領(lǐng)域的深厚積淀和Hitachi Consulting以咨詢?yōu)橹鲗?dǎo)的領(lǐng)先數(shù)字化解決方案以及垂直行業(yè)經(jīng)驗(yàn)。Hitachi Vantara將把優(yōu)質(zhì)、定制化、可持續(xù)的和新業(yè)務(wù)模型相關(guān)的咨詢方法論與數(shù)據(jù)驅(qū)動(dòng)的解決方案(例如Lumada Manufacturing Insights)集成,以提供全面的實(shí)踐方案。Lumada Manufacturing Insights這一解決方案可打破數(shù)據(jù)孤島,并采用AI和機(jī)器學(xué)習(xí)技術(shù)來評估和提高設(shè)備整體有效性(OEE)。

我們也看到,AI時(shí)代,需要數(shù)據(jù)需要里計(jì)算更近

今天隨著數(shù)據(jù)的爆炸式增長,如人工智能、物聯(lián)網(wǎng)等新技術(shù)的成熟,人們對于數(shù)據(jù)處理的極高需求與底層存儲技術(shù)之間的不匹配感越來越強(qiáng)烈。數(shù)據(jù)增長的越多,在內(nèi)存和存儲上的數(shù)據(jù)堵塞越嚴(yán)重,人們愈發(fā)希望擴(kuò)大內(nèi)存,在DRAM上存儲更多數(shù)據(jù),同時(shí)需要保持低時(shí)延,不能和CPU的運(yùn)算速度相差太遠(yuǎn)。

海量數(shù)據(jù)時(shí)代,企業(yè)不僅面臨更復(fù)雜的數(shù)據(jù)處理需求,對于數(shù)據(jù)實(shí)時(shí)分析的需求也明顯增加。人們按照數(shù)據(jù)的訪問頻度把數(shù)據(jù)分為冷、溫、熱數(shù)據(jù),其中經(jīng)常訪問的數(shù)據(jù)占全體數(shù)據(jù)總量的約10%,但人們通常需要花費(fèi)90%的時(shí)間來訪問這10%的數(shù)據(jù)。這樣看來,一個(gè)理想的計(jì)算平臺,存儲之間需要通過分層,達(dá)到與CPU和內(nèi)存之間的容量和性能的平衡。因此,需要把頻繁訪問的數(shù)據(jù)向上移動(dòng)靠近內(nèi)存、不經(jīng)常訪問的數(shù)據(jù)向下移動(dòng)靠近SSD甚至于HDD。如果每個(gè)層級的容量能夠達(dá)到上一層級的10倍,同時(shí)性能只有十分之一,這樣每一層級都(自下而上)可以保留“更熱”的數(shù)據(jù),使處理器實(shí)現(xiàn)快速訪問。

英特爾經(jīng)過幾年的布局,基于存儲級內(nèi)存傲騰技術(shù)來讓數(shù)據(jù)離計(jì)算越來越近,傲騰技術(shù)具備大容量和低延時(shí)特性,同時(shí)成本比內(nèi)存更低,這樣10%的熱數(shù)據(jù)放在傲騰持久內(nèi)存里來更好的提升整個(gè)數(shù)據(jù)中心系統(tǒng)。

浪潮作為全球領(lǐng)先的綜合云解決方案和服務(wù)提供商,提供全面的解決方案和服務(wù)。對于新技術(shù)采取了積極的態(tài)度,在中國市場推出了首款采用傲騰雙端口NVMe SSD的中端全閃存儲—AS5000G5-F系列,實(shí)現(xiàn)了高達(dá)800萬IOPS、0.1ms延時(shí),是當(dāng)前業(yè)界最高性能的中端存儲。對于浪潮的“智能計(jì)算”戰(zhàn)略來講,存儲的性能提升是實(shí)現(xiàn)數(shù)據(jù)離計(jì)算越來越近,讓AI更好賦能的有效手段。

中科曙光作為高性能計(jì)算領(lǐng)軍企業(yè),認(rèn)識到高性能計(jì)算對于AI應(yīng)用的作用,創(chuàng)新推出面向高性能計(jì)算、人工智能等多種應(yīng)用場景,兼顧性能、能效、應(yīng)用生態(tài)。采用浸沒式液體相變冷卻技術(shù),實(shí)現(xiàn)全球領(lǐng)先的計(jì)算密度和節(jié)能性。整合曙光最新的高速網(wǎng)絡(luò)和存儲技術(shù),實(shí)現(xiàn)超大規(guī)模線性擴(kuò)展的新一代硅立方高性能計(jì)算,同時(shí)中科曙光XData大數(shù)據(jù)智能平臺、自主研發(fā)的存儲產(chǎn)品在智慧氣象、智慧水務(wù)、智慧銀行等行業(yè)也積極推動(dòng)。

AI時(shí)代,數(shù)據(jù)管理比以往更重要

AI時(shí)代,終端、邊緣、混合云、私有云和公有云之間的數(shù)據(jù)流,數(shù)據(jù)安全和保護(hù)比以往任何時(shí)候都更為重要。同時(shí)數(shù)據(jù)的復(fù)雜性讓數(shù)據(jù)管理軟件越來越受到市場的重視。2020年1月9日,數(shù)據(jù)管理市場就發(fā)生了一起巨額收購,美國著名的軟件投資方Insight Partners宣布50億美元收購云數(shù)據(jù)管理備份解決方案的領(lǐng)導(dǎo)者Veeam Software。此次收購除了全球布局之外,另一個(gè)原因是Veeam是由俄羅斯人創(chuàng)立的,收購之后可以更好的服務(wù)美國數(shù)據(jù)恢復(fù)和保護(hù)市場,因?yàn)槊绹袌稣嫉饺?0%以上,Veeam成為美國公司可以更好的擴(kuò)展美國業(yè)務(wù)。

同時(shí)中國數(shù)據(jù)管理管理廠商也在積極走出海外,愛數(shù)打造的全棧超可用災(zāi)備云AnyBackup在2019年已經(jīng)為22個(gè)國家提供災(zāi)備服務(wù)。在中國企業(yè)積極走出海外的同時(shí),國際公司也在積極為中國市場提供服務(wù),戴爾科技旗艦級數(shù)據(jù)保護(hù)軟件Dell EMC Avamar Virtual Edition (AVE)2020年已經(jīng)支持AWS中國北京區(qū)域和寧夏區(qū)域,以及Azure中國在內(nèi)的多云環(huán)境。保護(hù)云中重要應(yīng)用,用戶將獲得經(jīng)濟(jì)高效的云端備份解決方案,數(shù)據(jù)在云上和本地?cái)?shù)據(jù)中心之間復(fù)制實(shí)現(xiàn)容災(zāi)。

當(dāng)然我們也看到,新技術(shù)不是一蹴而就的進(jìn)行變化。而是新技術(shù)和現(xiàn)有技術(shù)不斷迭代的變化。每一年公有云是否替代私有云、閃存什么時(shí)候替代硬盤等討論從沒有停止。早在2010年代的時(shí)候,很多人預(yù)測10年后,公有云肯定替代私有云,也有很多人都說5年后,閃存會(huì)替代磁盤。但是現(xiàn)實(shí)發(fā)展很理性,公有云與私有云并存,閃存和磁盤并存。因?yàn)闅v史的數(shù)據(jù)很多都存儲在歷史的設(shè)備里。當(dāng)然我們也看到存儲的趨勢,閃存存儲在消費(fèi)級領(lǐng)域已經(jīng)全面超過磁盤存儲。企業(yè)數(shù)據(jù)存儲,在未來很長一段時(shí)間將是閃存和磁盤共存。

IDC預(yù)測2025年全球生成的數(shù)據(jù)為175ZB,而2019年全球生成的數(shù)據(jù)為41ZB。這些數(shù)據(jù)的存儲需要不同介質(zhì)設(shè)備將繼續(xù)滿足日益增長的數(shù)據(jù)存儲需求。硬盤和閃存都在滿足這一需求。提供實(shí)際數(shù)據(jù)的HDD是承載數(shù)據(jù)海洋必不可少的。而閃存用于在數(shù)據(jù)庫中定位數(shù)據(jù)或建立索引。應(yīng)用和相關(guān)服務(wù)的持續(xù)增長意味著這兩種存儲類型的數(shù)量都將增長。

在西部數(shù)據(jù),希捷,東芝這三家大型硬盤供應(yīng)商里,TrendForce報(bào)告,希捷的硬盤出貨量達(dá)到了3150萬,同比下降14%,西部數(shù)據(jù)出貨量約為2935萬,年同比下降3%,東芝硬盤出貨量約1635萬,年同比下降20%。但是近線存儲硬盤產(chǎn)量達(dá)到1500萬,年同比增長41%;近線存儲指的是數(shù)據(jù)訪問量頻次不高,但是不知道何時(shí)會(huì)突然用到的數(shù)據(jù)。目前主要是大容量的機(jī)械硬盤。

雖然2019年硬盤出貨量大幅度下降,但是按照硬盤容量的銷售來看,還是處于歷史高水平。希捷2020年最新財(cái)報(bào)就顯示,隨著大容量存儲方案需求的提升,第一財(cái)季EB出貨量接近創(chuàng)記錄水平。希捷正在增加業(yè)界16TB硬盤的出貨量,以滿足強(qiáng)勁的客戶需求。

于此同時(shí),閃存的市場并沒有想象的那么順利。據(jù)Gartner發(fā)布的報(bào)告,占有全球4成的存儲器市場份額,存儲器占到其半導(dǎo)體業(yè)務(wù)的8成以上的三星電子業(yè)績下滑達(dá)29%,跌至行業(yè)第二。主要要原因是在2017-2018年由于數(shù)據(jù)中心的建設(shè)需求擴(kuò)大等因素,閃存市場經(jīng)歷了一個(gè)黃金期,各個(gè)閃存公司的增產(chǎn)等導(dǎo)致2019年閃存市場供大于求。特別是2019年以后隨著中國公司加入存儲芯片市場,長期來閃存市場依然是供過于求。

時(shí)間拉長來看,人工智能的到來對于數(shù)據(jù)基礎(chǔ)設(shè)施的改變正在加速進(jìn)行。新的時(shí)代,是需要更高算力、更智能的芯片、更靈活的存儲。同時(shí)整個(gè)市場也呈現(xiàn)了百花齊放的狀態(tài)。數(shù)據(jù)基礎(chǔ)設(shè)施將圍繞包括X86、ARM、GPU、NPU等計(jì)算平臺展開。海量的數(shù)據(jù)將圍繞包括DRAM、3DXPOINT、NVME、3D NAND、大容量磁盤等存儲設(shè)備展開。在這樣的變化下,算力、數(shù)據(jù)接入、數(shù)據(jù)存儲、數(shù)據(jù)處理以及數(shù)據(jù)使能都需要重定義,來真正讓智能技術(shù)融入到數(shù)據(jù)基礎(chǔ)設(shè)施中,來真正釋放數(shù)據(jù)價(jià)值。

THEEND

最新評論(評論僅代表用戶觀點(diǎn))

更多
暫無評論