在2021乃至下一個(gè)十年，存儲(chǔ)行業(yè)將迎來哪些發(fā)展？有哪些技術(shù)將逐漸被淘汰，又有哪些技術(shù)會(huì)興起？
擁有30余年從業(yè)經(jīng)驗(yàn)的IT顧問Chris Evans分享了他對存儲(chǔ)介質(zhì)、系統(tǒng)、SDS，以及容器附加存儲(chǔ)技術(shù)（Container attached storage）的發(fā)展洞察。
本文在不改變原意的基礎(chǔ)上進(jìn)行了節(jié)選翻譯，以下為正文內(nèi)容。
存儲(chǔ)介質(zhì)
PLC閃存開始興起：PLC將每個(gè)存儲(chǔ)單元（Cell）中數(shù)據(jù)存儲(chǔ)位數(shù)從QLC的4個(gè)提高到了5個(gè)，相比QLC只提升了25％，技術(shù)發(fā)展的回報(bào)率持續(xù)下降。
SLC->MLC–容量提升達(dá)100%
MLC->TLC–容量提升達(dá)50%
TLC->QLC–容量提升達(dá)33%
QLC->PLC–容量提升達(dá)25%
數(shù)據(jù)存儲(chǔ)位數(shù)的提升是以犧牲耐用性來實(shí)現(xiàn)的，這意味著PLC將更適合用于讀密集型負(fù)載，當(dāng)然，存儲(chǔ)廠商會(huì)繼續(xù)優(yōu)化介質(zhì)的耐用性，但不可避免的是，隨著數(shù)據(jù)存儲(chǔ)位數(shù)的提升，延遲會(huì)越來越高。
應(yīng)該不會(huì)有單純用PLC的存儲(chǔ)設(shè)備，PLC應(yīng)該結(jié)合其它技術(shù)來使用，比如分區(qū)存儲(chǔ)（Zoned Storage）。在分區(qū)存儲(chǔ)中，部分介質(zhì)以PLC的模式運(yùn)行，而另外一部分則是TLC或者QLC的模式運(yùn)行。這種方式可能還會(huì)與其他方案，比如計(jì)算型存儲(chǔ)（Computational Storage）結(jié)合。
400層的NAND閃存：現(xiàn)在的NAND介質(zhì)正在向176層和192層發(fā)展，而且，發(fā)展的步伐似乎沒有放慢的意思。我們可以期待在2021年看到至少384層或者256層的NAND。
如果能在不進(jìn)行大量重新設(shè)計(jì)的前提下繼續(xù)提升密度，那么增加層數(shù)的回報(bào)會(huì)大于數(shù)據(jù)存儲(chǔ)位數(shù)增加的回報(bào)。在未來的發(fā)展中，靠增加層數(shù)實(shí)現(xiàn)的增長速度可能會(huì)放緩，但目前來看，3D-NAND增加層數(shù)仍是增加設(shè)備容量的主要方式。
分區(qū)介質(zhì)：無論是在磁盤還是固態(tài)存儲(chǔ)市場，分區(qū)存儲(chǔ)對于大容量存儲(chǔ)介質(zhì)都非常重要。SMR技術(shù)提升了磁盤的存儲(chǔ)密度，如今有許多操作系統(tǒng)都對SMR進(jìn)行了優(yōu)化，不過，要注意的是，在引入對性能有較大影響的技術(shù)時(shí)，廠商需要盡可能透明。
在未來十余年，HAMR，HDMR和MAMR還將繼續(xù)不斷提升容量。如果成本合理的話，未來幾年可能會(huì)看到多讀寫臂磁盤，甚至每個(gè)盤片都有一個(gè)獨(dú)立的磁頭。
所有這些技術(shù)趨勢都說明需要在外部外圍設(shè)備上做更多工作，來實(shí)現(xiàn)更大的并行度，這種趨勢在未來十年將持續(xù)下去。
計(jì)算型存儲(chǔ)用例：計(jì)算型存儲(chǔ)是一種新的解決I/O瓶頸的方式，它將計(jì)算推送到存儲(chǔ)一側(cè)。在許多場景下，這種方式都可以高效地進(jìn)行分布式計(jì)算，可以對數(shù)據(jù)執(zhí)行獨(dú)立的進(jìn)程。
計(jì)算型存儲(chǔ)廠商已經(jīng)在市場上推出了相應(yīng)產(chǎn)品，但應(yīng)用還沒有跟上，炒作的意義更大一點(diǎn)?，F(xiàn)階段還處于早期，主要的解決方案要么是實(shí)現(xiàn)批處理，要么則是基于事件的處理，或者是用在存儲(chǔ)上，例如用于嵌入式固件或FPGA中的壓縮過程。
希望2021年能出現(xiàn)新的編程模型，允許跨多個(gè)設(shè)備進(jìn)行分布式處理。同時(shí)，還希望出現(xiàn)改進(jìn)的安全控制措施，以防止計(jì)算型存儲(chǔ)設(shè)備被用作攻擊媒介。
我希望能看到計(jì)算型存儲(chǔ)在邊緣場景部署，并集成到傳統(tǒng)存儲(chǔ)設(shè)備中，幫助傳統(tǒng)存儲(chǔ)做Offload，從而減輕傳統(tǒng)存儲(chǔ)處理數(shù)據(jù)密集型工作負(fù)載的壓力。
DNA存儲(chǔ)：把DNA用于長期存儲(chǔ)的概念雖然有了發(fā)展的苗頭，但我預(yù)測下一個(gè)十年中，DNA存儲(chǔ)還是只能停留在概念階段。
總結(jié)：
過去十年里，存儲(chǔ)領(lǐng)域最重要的變化就是存儲(chǔ)軟件和硬件之間的集成和協(xié)作水平在不斷提高。磁盤和SDD不只是一個(gè)個(gè)黑盒子，存儲(chǔ)系統(tǒng)必須考慮每種介質(zhì)的物理特性。
在許多情況下，操作系統(tǒng)或應(yīng)用程序?qū)又g的相互調(diào)用會(huì)讓依賴關(guān)系變得復(fù)雜，在未來十年的發(fā)展中，那些在市場上比較成功的存儲(chǔ)系統(tǒng)，他們的系統(tǒng)與存儲(chǔ)介質(zhì)之間的交互將更加密切，系統(tǒng)的復(fù)雜度也會(huì)繼續(xù)增加。
存儲(chǔ)系統(tǒng)
成本降低且可靠性提升：云存儲(chǔ)的成本已經(jīng)趨于平穩(wěn)，不會(huì)有大幅度的降低，目前，云廠商主要是通過構(gòu)建更多的層級來降低成本，而本地存儲(chǔ)市場會(huì)面臨更激烈的競爭。
基于服務(wù)的定價(jià)模型：接下來幾年，基于服務(wù)的采購和計(jì)費(fèi)將更流行。這要求架構(gòu)具備良好的擴(kuò)展性，具有遠(yuǎn)程管理功能，并且具備高度商品化的特點(diǎn)。
轉(zhuǎn)向全閃存：全閃數(shù)據(jù)中心說了很多年了，隨著閃存成本的降低，單位容量的價(jià)格也越來越低，但對于大量冷數(shù)據(jù)而言，閃存在未來十年可能都沒什么吸引力。但對于活躍的數(shù)據(jù)而言，閃存和持久性內(nèi)存將取代磁盤驅(qū)動(dòng)器。我預(yù)計(jì)，硬盤將在五年內(nèi)成為歸檔解決方案的專屬介質(zhì)。
功能特性停滯不前：如今，很難在共享存儲(chǔ)解決方案中看到新的功能特性。未來十年里，存儲(chǔ)平臺(tái)的新功能將越來越少，存儲(chǔ)平臺(tái)的變化也會(huì)越來越小。存儲(chǔ)系統(tǒng)最主要的變化在于如何利用好新的介質(zhì)。
企業(yè)存儲(chǔ)陣列走向終結(jié)：起源于上世紀(jì)九十年代的“整體式”存儲(chǔ)架構(gòu)將走向終點(diǎn)，當(dāng)然，與大型機(jī)關(guān)聯(lián)的存儲(chǔ)還會(huì)繼續(xù)存在。中端存儲(chǔ)能滿足絕大多數(shù)的存儲(chǔ)需求，我預(yù)計(jì)主流的塊存儲(chǔ)平臺(tái)都將是以中端存儲(chǔ)為主。
集成：共享存儲(chǔ)最大的優(yōu)勢就是它的集成度。如果像Kubernetes這種容器框架變得跟容器一樣動(dòng)態(tài)性極強(qiáng)，那就得構(gòu)建一個(gè)新的持久性存儲(chǔ)層，而共享存儲(chǔ)就非常合適。共享存儲(chǔ)不僅具備持久性和彈性，它還集成了數(shù)據(jù)保護(hù)功能。我希望能有更多類似的集成，這樣一來，存儲(chǔ)系統(tǒng)可以在連接服務(wù)器的狀態(tài)下，實(shí)現(xiàn)更高的自主性。
SOHO存儲(chǔ)廠商的崛起：在經(jīng)典的創(chuàng)新者的窘境中，我設(shè)想會(huì)出現(xiàn)這種存儲(chǔ)廠商，它從低端市場入局，從家用存儲(chǔ)市場開始入手，然后逐步向越來越多的存儲(chǔ)場景滲透。然而，小容量的存儲(chǔ)市場將面臨更多的挑戰(zhàn)，包括來自公有云存儲(chǔ)的挑戰(zhàn)。
總結(jié)：
共享存儲(chǔ)市場是一個(gè)非常成熟的市場，廠商之間存在激烈的競爭關(guān)系，利潤會(huì)越來越薄。未來十年，預(yù)計(jì)設(shè)備廠商數(shù)量將大大減少，目前，我們已經(jīng)看見了許多合并和收購案。2021年，預(yù)計(jì)會(huì)有更多合并和收購發(fā)生，到2030年的時(shí)候，市場上將會(huì)剩下僅有的幾家廠商。存儲(chǔ)設(shè)備廠商的黃金時(shí)代已經(jīng)過去，接下來將是軟件和云的時(shí)代。
軟件定義存儲(chǔ)
早期的SDS方案主要是軟硬件分離，廠商主要賣的是可在標(biāo)準(zhǔn)硬件上運(yùn)行的軟件，根據(jù)容量或硬件的Lincence收費(fèi)。雖然低成本的硬件很有吸引力，但它存在兼容性，Bug和供應(yīng)鏈等方面的挑戰(zhàn)。于是，后來的SDS方案主要是軟硬一體的方式交付，以下是我對SDS發(fā)展階段的總結(jié)：
硬件分離–存儲(chǔ)軟硬件獨(dú)立部署；
專有的SDS解決方案–包括對象和文件存儲(chǔ)，以及大量基于塊的產(chǎn)品；
專有的SDS系統(tǒng)，將軟件方案與經(jīng)認(rèn)證和測試的硬件打包來出售，具備可預(yù)測和可擴(kuò)展的性能；
抽象的SDS解決方案–可根據(jù)指標(biāo)和QoS交付存儲(chǔ)資源的軟件產(chǎn)品，與硬件無關(guān)；
合作伙伴模式–廠商把SDS產(chǎn)品作為集成解決方案的一部分進(jìn)行銷售。
此外，還有一種新的存儲(chǔ)分支正在發(fā)展當(dāng)中，它就是容器附加存儲(chǔ)，它使用容器技術(shù)來交付存儲(chǔ)資源，通常以Kubernetes集群的形式存在，這是本文另外一部分要談的內(nèi)容。
軟件定義存儲(chǔ)已被業(yè)界廣泛認(rèn)可為標(biāo)準(zhǔn)的部署模型。甚至專有存儲(chǔ)硬件廠商也在利用軟件來提供新功能，云廠商提供虛擬設(shè)備或基于云的本地存儲(chǔ)硬件服務(wù)。可以說，SDS在整個(gè)行業(yè)取得了巨大成功，除了支持大型機(jī)所需的高端存儲(chǔ)，SDS都是最常見的開發(fā)和部署模式。
過去十年當(dāng)中，處理器通過不斷增加核數(shù)性能有了顯著提高，DRAM內(nèi)存的性能也有明顯提升，總線速度提升也非常明顯，同時(shí)，還出現(xiàn)了新的存儲(chǔ)介質(zhì)，SDS充分利用到了性能提升所帶來的價(jià)值。
軟件因?yàn)槌浞掷昧擞布膬?yōu)勢而得到了發(fā)展，兜兜轉(zhuǎn)轉(zhuǎn)，硬件再次成為焦點(diǎn)。SmartNIC（智能網(wǎng)卡）出現(xiàn)了，SmartNIC可以將存儲(chǔ)，網(wǎng)絡(luò)和一些安全負(fù)載轉(zhuǎn)移到專用硬件上，從而提高效率。SmartNIC的流行是因?yàn)楣性茝S商想要進(jìn)一步優(yōu)化硬件架構(gòu)，為的是降本增效。還有的廠商在用ARM來運(yùn)行通用負(fù)載，還有的在使用帶有ARM內(nèi)核和FPGA的SmartNIC。
SmartNIC目前還處于早期階段，我們可以拭目以待，看看這項(xiàng)技術(shù)能有多大的適用范圍，是否會(huì)從大企業(yè)滲透到中小型企業(yè)。
SDS的主要發(fā)展趨勢如下：
萬物皆SDS：最明顯的變化可能是，所有存儲(chǔ)資源都是軟件定義的。通用CPU功能強(qiáng)大，足以滿足幾乎所有企業(yè)的大多數(shù)I/O要求。當(dāng)商用標(biāo)準(zhǔn)硬件可以滿足90％的需求時(shí)，也就沒有開發(fā)專有存儲(chǔ)硬件的必要了。
更高度的集成度、更高的復(fù)雜度：無論是要緩解NAND的壓力，還是想充分利用持久性內(nèi)存，又或者是希望高效地用磁盤做歸檔，都需要軟件需要能充分利用各種介質(zhì)的特點(diǎn)，為此，就需要新的存儲(chǔ)API。目前，包括以太網(wǎng)SSD，EBOF（Ethernet Bunch of Flash）以及MCAS等解決方案中已經(jīng)開始用新的API，Linux系統(tǒng)也開始提供支持SMR硬盤的API來優(yōu)化性能。存儲(chǔ)廠商也會(huì)用新技術(shù)來開發(fā)新的存儲(chǔ)產(chǎn)品。
更好的數(shù)據(jù)管理：大多數(shù)存儲(chǔ)解決方案都是采用標(biāo)準(zhǔn)協(xié)議來訪問數(shù)據(jù)，從長遠(yuǎn)來看，這一做法無法應(yīng)對來自AI、數(shù)據(jù)分析、數(shù)據(jù)移動(dòng)性以及數(shù)據(jù)安全方面的挑戰(zhàn)。SDS需要通過擴(kuò)展文件系統(tǒng)的功能和新的API來解決數(shù)據(jù)管理問題，比如，為文件系統(tǒng)添加數(shù)據(jù)保護(hù)和信息生命周期管理（IML）功能。
更好的數(shù)據(jù)移動(dòng)性：當(dāng)前最大的挑戰(zhàn)之一就是如何管理跨地域和技術(shù)邊界的數(shù)據(jù)訪問的問題。如今，數(shù)據(jù)不是在本地就是在公有云中，數(shù)據(jù)孤島現(xiàn)象明顯，數(shù)據(jù)移動(dòng)性有限，無法跨平臺(tái)訪問數(shù)據(jù)。市場上有一些解決數(shù)據(jù)移動(dòng)性問題的解決方案，但這個(gè)市場上沒有做得特別出色的廠商。SDS的發(fā)展應(yīng)該關(guān)注如何解決數(shù)據(jù)移動(dòng)性挑戰(zhàn)。有觀點(diǎn)認(rèn)為，了解數(shù)據(jù)和應(yīng)用程序的結(jié)構(gòu)以及需求，具備數(shù)據(jù)感知能力（Data Awareness）之后才能解決數(shù)據(jù)移動(dòng)性和數(shù)據(jù)管理方面的挑戰(zhàn)。
總結(jié)：
SDS悄然改變了存儲(chǔ)行業(yè)，幾乎所有東西都是由軟件定義的。未來成功的存儲(chǔ)解決方案將是那些具有靈活消費(fèi)模型，不依賴于硬件的，能很好地支持?jǐn)?shù)據(jù)管理，能提供良好數(shù)據(jù)移動(dòng)性的解決方案。與以往的市場格局一樣，同樣會(huì)有領(lǐng)導(dǎo)者和掉隊(duì)者，同樣還會(huì)有吃老本的企業(yè)，但市場份額會(huì)持續(xù)走低。未來十年的存儲(chǔ)市場將以更快的速度發(fā)展。
容器附加存儲(chǔ)
容器附加存儲(chǔ)（Container-attached storage，以下簡稱“CAS”），CAS提供了數(shù)據(jù)向應(yīng)用映射的新的范式，依賴于容器環(huán)境自身來提供持久存儲(chǔ)。隨著容器尤其是Kubernetes成為重要的應(yīng)用程序交付平臺(tái)，CAS是否會(huì)被廣泛使用呢？
經(jīng)過過去五年的發(fā)展，應(yīng)用的容器化趨勢越發(fā)明顯，Kubernetes已經(jīng)成了最主流的容器編排平臺(tái)。當(dāng)容器技術(shù)剛剛興起時(shí)，業(yè)界普遍認(rèn)為根本不需要持久存儲(chǔ)，所需的持久性通過應(yīng)用程序?qū)拥臄?shù)據(jù)復(fù)制和鏡像來就能實(shí)現(xiàn)。
但隨著容器技術(shù)的發(fā)展，就連傳統(tǒng)數(shù)據(jù)庫軟件和許多應(yīng)用都進(jìn)行了容器化，于是便對數(shù)據(jù)存儲(chǔ)產(chǎn)生了一種新的需求：要求數(shù)據(jù)在某個(gè)容器的生命周期內(nèi)持續(xù)存在。事實(shí)上，由于種種原因，想要數(shù)據(jù)持續(xù)存在是很難的。
首先，通過應(yīng)用程序?qū)訉?shí)現(xiàn)的持久性會(huì)帶來相當(dāng)大的開銷，需要在容器基礎(chǔ)架構(gòu)側(cè)進(jìn)行許多數(shù)據(jù)復(fù)制數(shù)據(jù)操作，而不是基于主機(jī)的I/O操作。
其次，許多應(yīng)用平臺(tái)可能沒有數(shù)據(jù)復(fù)制功能，如果只依賴于映像副本來實(shí)現(xiàn)持久化，數(shù)據(jù)本身并不可靠。
第三，企業(yè)需要持久性存儲(chǔ)來滿足其在合規(guī)性和審計(jì)方面的要求，持久存儲(chǔ)對于數(shù)據(jù)保護(hù)和安全控制至關(guān)重要。
最開始，持久存儲(chǔ)是通過卷、LUN或者目錄直接映射到容器上，但這種做法不僅效率低，而且缺乏靈活性，隨著時(shí)間的推移，容器存儲(chǔ)接口（Container Storage Interface，CSI）成了容器存儲(chǔ)的標(biāo)準(zhǔn)方法，讓存儲(chǔ)廠商來開發(fā)將存儲(chǔ)映射到容器的插件，容器生態(tài)系統(tǒng)通過一個(gè)進(jìn)程來動(dòng)態(tài)地請求存儲(chǔ)，該進(jìn)程屏蔽了存儲(chǔ)平臺(tái)的差異性。
容器附加存儲(chǔ)（CAS）是一個(gè)軟件平臺(tái)，它使用容器生態(tài)系統(tǒng)來為容器提供存儲(chǔ)。為了認(rèn)識(shí)CAS是什么，我們可以做一個(gè)簡單的類比，與HCI相似的是，每個(gè)服務(wù)器節(jié)點(diǎn)運(yùn)行一個(gè)專用的虛擬機(jī)來提供存儲(chǔ)，或者在運(yùn)行著hypervisor的節(jié)點(diǎn)之上運(yùn)行來構(gòu)建橫向擴(kuò)展存儲(chǔ)層。
在這兩種模式中，每臺(tái)服務(wù)器都有映射到虛擬機(jī)的本地存儲(chǔ)，提供數(shù)據(jù)保護(hù)（副本或糾刪碼）和自管理功能。CAS的做法與HCI存儲(chǔ)類似，它也使用容器集群中每個(gè)服務(wù)器上的本地存儲(chǔ)資源，將存儲(chǔ)作為一組容器化進(jìn)程或微服務(wù)來交付。
與此前的HCI一樣，CAS也取消了對于專有SAN的依賴，至少不依賴于當(dāng)前常見的共享存儲(chǔ)，如果容器平臺(tái)是通過虛擬機(jī)來交付的，那么，每個(gè)VM都可以使用附加存儲(chǔ)（無論最終是否由SAN提供），這里的存儲(chǔ)被被CAS數(shù)據(jù)平面劃分成不同的卷。
而在裸金屬環(huán)境中，先由本地磁盤資源被抽象到容器卷中，然后，CAS軟件維護(hù)有關(guān)物理存儲(chǔ)容量如何分配的元數(shù)據(jù)和狀態(tài)信息。由于元數(shù)據(jù)存儲(chǔ)（通常是etcd或其他鍵/值集群）變得至關(guān)重要，所以，大多數(shù)廠商都是將元數(shù)據(jù)存儲(chǔ)與運(yùn)行應(yīng)用程序的容器集群分開了。
CAS的主要發(fā)展趨勢如下：
成熟度：最明顯的變化可能是新特性和新功能的開發(fā)。CAS解決方案的成熟度跟現(xiàn)有成熟的存儲(chǔ)解決方案還有很大差距，比如，在數(shù)據(jù)保護(hù)和其他數(shù)據(jù)服務(wù)方面還有很大欠缺。CAS也需要考慮利用持久內(nèi)存之類的新介質(zhì)。
數(shù)據(jù)移動(dòng)性：當(dāng)前的CAS解決方案尚未完全解決混合存儲(chǔ)所需的數(shù)據(jù)移動(dòng)性問題。例如，在虛擬機(jī)上運(yùn)行的應(yīng)用，需要通過基于容器的代碼來對需要分析的數(shù)據(jù)打快照。如今，構(gòu)建這種工作流都需要手工操作。
安全性：CAS解決方案還存在安全性方面的問題，與之前的FC或iSCSI一樣，CAS的安全控制很弱或根本就沒有安全控制，沒有真正的驗(yàn)證或?qū)徍四芰Α＿@是由于這些協(xié)議的安全設(shè)計(jì)本身造成的。
性能管理：CAS解決方案需要更強(qiáng)的實(shí)時(shí)性能分析能力。一些存儲(chǔ)廠商提供儀表盤來對卷進(jìn)行可視化管理，并建議使用Prometheus服務(wù)監(jiān)控系統(tǒng)來監(jiān)控性能指標(biāo)，從而提供與成熟共享存儲(chǔ)類似的功能。
CAS面臨的一些挑戰(zhàn)的根源還在于CSI，CSI本質(zhì)是一種模擬FC和iSCSI網(wǎng)絡(luò)的存儲(chǔ)連接功能，當(dāng)前的設(shè)計(jì)方案甚至還有三十年前大型機(jī)存儲(chǔ)管理子系統(tǒng)方案的影子。我們應(yīng)該重新設(shè)計(jì)應(yīng)用程序數(shù)據(jù)到容器的映射方式，比如，使用共享文件存儲(chǔ)或者對象存儲(chǔ)，而不只是塊存儲(chǔ)。
SmartNICs和離散型存儲(chǔ)也是CAS可以發(fā)揮價(jià)值的領(lǐng)域。與物理存儲(chǔ)只能固定在一臺(tái)設(shè)備上不同的是，CAS可以通過網(wǎng)絡(luò)動(dòng)態(tài)分配存儲(chǔ)，由于它可以訪問存儲(chǔ)在網(wǎng)絡(luò)其他位置的持久數(shù)據(jù)，這將使構(gòu)建動(dòng)態(tài)裸金屬存儲(chǔ)集群變得更容易。此外，SmartNIC軟件提供了一個(gè)安全模型，可用來驗(yàn)證數(shù)據(jù)訪問權(quán)限。
總結(jié)：
CAS在本質(zhì)上也是一種SDS，其長遠(yuǎn)目標(biāo)似乎是要做容器生態(tài)系統(tǒng)的抽象和映射層，成功的關(guān)鍵主要取決于數(shù)據(jù)感知能力，而不僅僅是靠另一種連接協(xié)議。容器存儲(chǔ)無疑是未來十年最需要繼續(xù)關(guān)注的領(lǐng)域之一。
