本文來(lái)自微信公眾號(hào)“中國(guó)信息化周報(bào)”，作者：路沙。
相關(guān)機(jī)構(gòu)分析顯示，中國(guó)全閃存儲(chǔ)市場(chǎng)2023年前三季度實(shí)現(xiàn)同比4.0%增長(zhǎng)。隨著人工智能、大數(shù)據(jù)等技術(shù)的應(yīng)用，高性能、高IOPS等場(chǎng)景大量出現(xiàn)，以及節(jié)能減排的要求，像金融、制造等行業(yè)對(duì)于全閃存儲(chǔ)需求將持續(xù)旺盛。
正是看中這一趨勢(shì)，眾多存儲(chǔ)廠商都在持續(xù)進(jìn)行全閃存儲(chǔ)領(lǐng)域的技術(shù)創(chuàng)新和市場(chǎng)布局。例如，日前，IBM發(fā)布了全新的入門級(jí)全閃存存儲(chǔ)平臺(tái)IBM FlashSystem 5300、美光宣布量產(chǎn)232層QLC NAND閃存、中科曙光發(fā)布ParaStor分布式全閃存儲(chǔ)、西部數(shù)據(jù)推出首款采用QLC閃存顆粒的新品——西部數(shù)據(jù)PC SN5000S NVMe SSD（固態(tài)硬盤）。更早之前，戴爾科技推出PowerScale新一代全閃節(jié)點(diǎn)F210和F710、華為也發(fā)布了全新數(shù)據(jù)湖解決方案及全閃存新品。
由此來(lái)看，隨著閃存介質(zhì)容量持續(xù)提升和成本持續(xù)下降，閃存高可靠性、高性能、低延遲和低功耗等優(yōu)勢(shì)開始顯現(xiàn)，全閃存儲(chǔ)正在成為數(shù)據(jù)中心和云計(jì)算等需要大規(guī)模存儲(chǔ)和高速訪問(wèn)應(yīng)用的首選解決方案。
全閃存儲(chǔ)為何備受青睞
從技術(shù)的角度來(lái)看，全閃存儲(chǔ)備受青睞的原因無(wú)外乎高IOPS、低延遲、高性能、數(shù)據(jù)壓縮和容量擴(kuò)展，以及企業(yè)級(jí)數(shù)據(jù)保護(hù)等技術(shù)特性。例如，全閃存儲(chǔ)使用SSD或其他閃存介質(zhì)代替HDD（傳統(tǒng)機(jī)械硬盤），提供遠(yuǎn)高于傳統(tǒng)磁盤存儲(chǔ)的數(shù)據(jù)吞吐能力及更低的時(shí)延；全閃存陣列的讀寫速度要比磁盤陣列快很多等。
據(jù)了解，與HDD相比，在單一腳本中，SSD可以提供50到100萬(wàn)IOPS，延遲在1毫秒以下；讀或?qū)懖僮鞔蟾胖恍枰?0微秒，而HDD至少需要3毫秒。此外，最新的全閃存陣列單元能夠壓縮數(shù)據(jù)，有效容量可以變?yōu)樵瓉?lái)的三到六倍，提供了大量的增長(zhǎng)空間。
不過(guò)，如果歸根溯源的話，還要從存儲(chǔ)介質(zhì)的轉(zhuǎn)變開始說(shuō)起。如今，隨著技術(shù)的不斷發(fā)展，全閃存儲(chǔ)經(jīng)歷了SLC（單層式存儲(chǔ)）、MLC（雙層式存儲(chǔ)）、TLC（三層式存儲(chǔ)）、QLC（四層式存儲(chǔ)）四代演進(jìn)，不同階段，單個(gè)存儲(chǔ)單元的數(shù)據(jù)會(huì)越來(lái)越多，容量越來(lái)越大、成本越來(lái)越低。
SLC每單元可存儲(chǔ)1bit信息。雖然其存儲(chǔ)容量有限，但在數(shù)據(jù)穩(wěn)定性、讀寫速度和質(zhì)量方面均表現(xiàn)出色；MLC每單元可存儲(chǔ)2bit信息。相較于SLC，MLC的存儲(chǔ)容量有所提升，但使用壽命較短，讀寫速度和質(zhì)量也略遜一籌。依此類推，到QLC階段，全閃存儲(chǔ)有了更高的容量，但也相應(yīng)降低了讀寫速度與使用壽命。不過(guò)，在這一階段，隨著存儲(chǔ)容量的提升、存儲(chǔ)成本的降低使得全閃存儲(chǔ)的普及變得更加容易。
像戴爾科技、美光、西部數(shù)據(jù)等存儲(chǔ)廠商發(fā)布的全閃新品都采用了QLC介質(zhì)。
戴爾科技集團(tuán)大中華區(qū)信息基礎(chǔ)架構(gòu)解決方案事業(yè)部存儲(chǔ)業(yè)務(wù)總經(jīng)理劉志洪表示，在全閃存儲(chǔ)方面，2012年EMC通過(guò)收購(gòu)XtremIO，開啟了“全閃存儲(chǔ)”的熱潮；而2023年，的Dell PowerScale在市場(chǎng)中率先引入QLC介質(zhì)，更是開啟了“全閃存儲(chǔ)”的普及潮。
以前，在QLC SSD剛推出的時(shí)候，許多存儲(chǔ)廠商都將首發(fā)目標(biāo)對(duì)準(zhǔn)了企業(yè)級(jí)市場(chǎng)，而不是消費(fèi)級(jí)，原因就在于QLC SSD通過(guò)堆棧更高的層數(shù)，可以輕松實(shí)現(xiàn)更大的存儲(chǔ)密度。而如今最新的QLC產(chǎn)品，不僅在帶寬、讀取性能、整體可靠性和耐用性等核心性能方面，已經(jīng)部分追上TLC產(chǎn)品，還憑借著更高的存儲(chǔ)密度，可以輕松實(shí)現(xiàn)容量和成本上的優(yōu)勢(shì)。
據(jù)了解，跟TLC相比，QLC的儲(chǔ)存密度提高了33%。在PCB（印刷電路板）趨小的當(dāng)下，單顆閃存容量的提升，能夠顯著提升SSD整體的存儲(chǔ)容量，使得在服務(wù)器機(jī)架面積不變的情況下，能夠部署更多QLC SSD，從而降低整體的運(yùn)營(yíng)成本。
能為大模型訓(xùn)練推理帶來(lái)什么
在大模型時(shí)代下，大模型訓(xùn)練推理的效率決定著大模型的進(jìn)化速度，同時(shí)也影響著大模型企業(yè)在行業(yè)中的整體競(jìng)爭(zhēng)力。因此，在大模型場(chǎng)景下，當(dāng)文件數(shù)量從百億至千億級(jí)別，將對(duì)存儲(chǔ)空間和存儲(chǔ)效率提出更高要求。同時(shí)，隨著模型參數(shù)增大，訓(xùn)練數(shù)據(jù)集的規(guī)模也將呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，存儲(chǔ)成本隨之增加。在這一過(guò)程中，需要對(duì)整體存儲(chǔ)方案進(jìn)行優(yōu)化，在滿足高性能存儲(chǔ)的前提下，解決大模型參數(shù)增長(zhǎng)帶來(lái)的存儲(chǔ)成本上升問(wèn)題。
不難看出，在AI大模型的訓(xùn)練和應(yīng)用中，數(shù)據(jù)讀取速度和存儲(chǔ)可靠性對(duì)模型的性能和效率有著至關(guān)重要的影響。全閃存儲(chǔ)技術(shù)的高性能和大容量能夠大幅提升數(shù)據(jù)讀取速度，縮短模型訓(xùn)練和推理的時(shí)間。同時(shí)，全閃存儲(chǔ)技術(shù)的低延遲和高可靠性能夠確保數(shù)據(jù)的安全性和完整性，避免數(shù)據(jù)丟失或損壞對(duì)模型性能的影響。
例如，焱融全閃一體機(jī)F8000X能夠根據(jù)智譜AI大模型訓(xùn)練的不同業(yè)務(wù)階段特點(diǎn)，調(diào)用不同的存儲(chǔ)服務(wù)能力，滿足各個(gè)階段業(yè)務(wù)對(duì)數(shù)據(jù)服務(wù)能力的要求，摒棄了傳統(tǒng)分立建設(shè)，避免數(shù)據(jù)孤島問(wèn)題；中科曙光ParaStor分布式全閃存儲(chǔ)，以XDS技術(shù)嵌入Parabuffer加速引擎，支持AI芯片高速數(shù)據(jù)直接存取機(jī)制，將系統(tǒng)的整體I/O性能提高數(shù)倍，通過(guò)優(yōu)化存算協(xié)同，將訓(xùn)練時(shí)間從幾十天降低到幾天。
中科曙光存儲(chǔ)產(chǎn)品事業(yè)部副總經(jīng)理、曙光存儲(chǔ)公司副總裁楊志雷表示，AI大模型行業(yè)落地加速且愈加“實(shí)用化”，離散小模型匯聚到基礎(chǔ)大模型，一年內(nèi)行業(yè)通用場(chǎng)景數(shù)據(jù)可支撐通用場(chǎng)景大模型，2年內(nèi)生產(chǎn)場(chǎng)景核心數(shù)據(jù)將支持形成行業(yè)生產(chǎn)場(chǎng)景大模型。在場(chǎng)景需求上，數(shù)據(jù)的質(zhì)量愈發(fā)重要，作為高質(zhì)量數(shù)據(jù)集載體的存儲(chǔ)系統(tǒng)成為大模型核心基礎(chǔ)設(shè)施。
