信創(chuàng)云環(huán)境下,一般類應用服務器(通用云主機)應用場景下,如何部署對象存儲和 NAS 存儲?

信創(chuàng)云環(huán)境下,一般類應用服務器的應用場景就是絕大多數(shù)應用的部署場景。信創(chuàng)云環(huán)境就是要整合對象存儲和NAS存儲的優(yōu)點,實現(xiàn)更高效的數(shù)據(jù)存儲和管理。對象存儲在大規(guī)模數(shù)據(jù)存儲和備份方面具有優(yōu)勢,而NAS則更適合小規(guī)模數(shù)據(jù)的共享和訪問,因此可以根據(jù)實際需求進行選擇和部署。

本文來自微信公眾號“twt企業(yè)IT社區(qū)”。

信創(chuàng)云環(huán)境下,一般類應用服務器的應用場景就是絕大多數(shù)應用的部署場景。信創(chuàng)云環(huán)境就是要整合對象存儲和NAS存儲的優(yōu)點,實現(xiàn)更高效的數(shù)據(jù)存儲和管理。對象存儲在大規(guī)模數(shù)據(jù)存儲和備份方面具有優(yōu)勢,而NAS則更適合小規(guī)模數(shù)據(jù)的共享和訪問,因此可以根據(jù)實際需求進行選擇和部署。

【欄目主編】張鵬某金融科技公司高級技術主管:本議題由招商證券平臺架構師張錁斌、江蘇農信存儲架構師康建國發(fā)表針對議題下關鍵點的主張,幾位專家的主張在某金融行業(yè)公司技術經理陳橙、某金融公司架構師劉艷春及我本人等多位專家的復議后,形成了一定的共識,希望可以對同行有一定的參考。

張錁斌 招商證券平臺架構師:

企業(yè)對數(shù)據(jù)中心的依賴度不斷提高,對數(shù)據(jù)可用性的需求也隨之增加。因此,在未來,NAS和對象存儲對于數(shù)據(jù)的高可用性和容錯性將會越來越重要,可以提供高可用性的存儲服務。

隨著中國基礎設施能力的快速崛起,使用全信創(chuàng)的技術棧支持生產系統(tǒng)已經從嘗試走向正式落地。在落地的過程中,存儲作為IT基礎設施的三大件(服務器/存儲/數(shù)據(jù)庫),是最重要也是技術最復雜的一個基礎能力,存儲的好壞,不僅影響系統(tǒng)的并發(fā)和性能,還極大地影響了系統(tǒng)的可用性和可靠性。

一、NAS和對象存儲技術對比

NAS和對象存儲雖然都是存儲分離方案,一般都是采用分布式架構,但是在功能和非功能上存在較大的差異。針對不同的應用場景對比如表1:

表:NAS和對象存儲技術對比

640 (1).png

可以看出NAS和對象存儲有著各自的側重,在實際應用中,可以結合NAS和對象存儲能力,從具體的業(yè)務需求、數(shù)據(jù)訪問模式、數(shù)據(jù)容量和增長速率等多個因角度行評估,選擇合適的存儲方案。

NAS存儲文件級別的存儲和控制,可進行多種協(xié)議訪問,通過操作系統(tǒng)層接入,對于應用的侵入性低??梢酝ㄟ^操作系統(tǒng)自帶的工具(SMB等)進行訪問,易于管理和維護。使用文件接口訪問方式,入門門檻低。適合用于應用存儲需要隨機訪問的熱數(shù)據(jù),不建議用于存儲大規(guī)模的數(shù)據(jù)。

對象存儲采用一種無文件系統(tǒng)的存儲方式,可以避免傳統(tǒng)NAS存儲中出現(xiàn)的文件系統(tǒng)碎片等問題。同時通過數(shù)據(jù)拆分,提供更高的并發(fā)能力。對象存儲靈活性高,可輕松擴展;能夠處理大規(guī)模數(shù)據(jù)存儲,適用于需要高可靠性的應用程序;提供數(shù)據(jù)備份和冗余;能夠在任何地方較快地存儲和檢索數(shù)據(jù)。對象存儲適合大規(guī)模、高可靠性的分布式數(shù)據(jù)存儲場景,如云存儲、大數(shù)據(jù)存儲、長期存儲等。

二、部署方案

1.一體機方案

一體機方案采用專用的存儲硬件架構設計,提供開箱即用的部署便利。一體機的方式是傳統(tǒng)存儲設備的延伸,類似于傳統(tǒng)的集中式存儲部署方案。

適用場景:

-適用于數(shù)據(jù)規(guī)模不大,對響應性能要求高,運維能力受限的場景。比如中小企業(yè),大型企業(yè)分支機構,邊緣節(jié)點的存儲等場景。數(shù)據(jù)量不大、可靠性要求很高的核心交易系統(tǒng)存儲需求,也可以考慮一體機方案。

特點:

-存儲設備單元化,易于管理和維護。

-部署相對簡單,不需要太多專業(yè)知識和技能。

優(yōu)點:

-集成度高,構造簡單,易于維護。

-設備型號標準化,采購方便,容易部署。

-專用存儲架構,存儲利用率更高

缺點:

-存儲容量有限,難以擴容,不適合大量數(shù)據(jù)應用場景。

-存儲性能存在上限,難以滿足高并發(fā)業(yè)務需求。

-存儲單點故障風險高,對業(yè)務運行的穩(wěn)定性有影響。

-專用設備,廠商鎖定。

2.分布式方案

分布式存儲是基于通用服務器的存儲方案,通過軟件能力實現(xiàn)高可用的存儲方案。分布式方案是和云計算緊密相關聯(lián)的。AWS的第一個云服務就是對象存儲S3服務。

適用場景:

-適用于大數(shù)據(jù)或高訪問量的應用場景,比如中大型企業(yè)的云NAS和對象服務,大數(shù)據(jù)和AI訓練等場景。

特點:

-分布式存儲系統(tǒng)可以無限水平擴展,適合大數(shù)據(jù)或高訪問量的應用場景。

-可以實現(xiàn)數(shù)據(jù)備份、容錯、負載均衡等功能,提高系統(tǒng)的可用性和穩(wěn)定性。

-支持多種協(xié)議和接口,可以滿足不同類型的應用需求。

優(yōu)點:

-存儲容量、性能擴展方便,靈活性高。

-分布式可靠性,可支持同城的數(shù)據(jù)多副本和容錯。

-數(shù)據(jù)分散存儲,不易發(fā)生單點故障。

缺點:

-系統(tǒng)部署和維護需要較高的技能和經驗。

-系統(tǒng)復雜度較高,把握系統(tǒng)整體性能需要較多資源和精力。

-系統(tǒng)通信延遲存在,會對性能產生影響。

三、部署實踐

對象存儲作為歸檔存儲服務,同時也作為鏡像倉庫,支持業(yè)務的異地部署和恢復,承載了企業(yè)數(shù)據(jù)的最后一道防線的職責。對象存儲的高可用方案對于整個業(yè)務系統(tǒng)的可用性起到決定作用。對象存儲是云服務的一種,可以采用云服務的部署方式,將距離相近,而且具備一定隔離能力的機房作為獨立的可用區(qū)(Available Zone),將對象存儲集群的部署在不同的可用區(qū),確保在一個甚至是兩個獨立可用區(qū)出現(xiàn)問題時,對象存儲可以對外提供服務。異地災備采用異步復制的方式,根據(jù)RPO/RTO和帶寬能力,設置合適的同步策略。

分布式NAS可以參考對象存儲的部署方式。對于一體機的NAS可以選擇采用兩地三中心的高可用方案。本地進行實時同步備份,異地采用異步備份。

對于比較成熟的應用框架,可以考慮單中心部署,由應用負責數(shù)據(jù)的同步復制,這個方案的好處是應用可以只復制少量的重要數(shù)據(jù),大大降低了數(shù)據(jù)傳輸?shù)囊蟆?/p>

四、技術展望

近年來,云存儲一直在不斷發(fā)展,其中NAS和對象存儲也不例外。以下是它們的一些發(fā)展趨勢:

1.數(shù)據(jù)安全性:數(shù)據(jù)安全一直是云存儲的熱點話題,NAS和對象存儲也不例外。未來,資料的安全性將成為更加關注的焦點,云存儲方案需要加強安全措施,保證資料的機密性和完整性。

2.高速度和低延遲:隨著云計算的不斷普及,越來越多的用戶希望能夠快速地存取、管理和分析存儲在云上的數(shù)據(jù)。因此,包括NAS和對象存儲在內的云存儲,都通過底層技術的革新,如存儲介質的更新?lián)Q代,NOF(NVMeover Fabrc)等新的協(xié)議,提供高速度和低延遲的存儲服務,以滿足用戶的需求。

3.高可用性:隨著企業(yè)對數(shù)據(jù)中心的依賴度不斷提高,對數(shù)據(jù)可用性的需求也隨之增加。因此,在未來,NAS和對象存儲對于數(shù)據(jù)的高可用性和容錯性將會越來越重要,可以提供高可用性的存儲服務。

4.人工智能技術:隨著人工智能技術的發(fā)展,NAS和對象存儲的應用場景也在不斷擴展。未來,云存儲提供商可以利用人工智能技術,提供更加智能化的存儲服務,包括數(shù)據(jù)分析、自動化管理、數(shù)據(jù)分類和識別等功能。

5.大數(shù)據(jù)處理:隨著大數(shù)據(jù)時代的到來,處理海量數(shù)據(jù)的需求也在不斷增長。未來,NAS和對象存儲需要進一步提高對海量數(shù)據(jù)的處理能力,提供更加高效的數(shù)據(jù)處理和管理服務。

康建國 江蘇農信存儲架構師:

對于云環(huán)境上需要文件共享服務,同時有高并發(fā)低時延要求的應用系統(tǒng),可以選擇從雙活NAS存儲上分配資源使用。當然,由于集中式NAS資源和處理能力有限,需要對分配使用的應用數(shù)量做一定控制。

近年來,隨著電子商務、云原生、微服務、分布式應用、DevOps等現(xiàn)代應用架構的流行,用戶開始將越來越多的傳統(tǒng)應用進行改造和重構,遷移到云環(huán)境。同時,當下國產化進程推進迅速。在這樣的背景下,在云環(huán)境下針對非結構化數(shù)據(jù)如何規(guī)劃和部署NAS和對象存儲值得仔細考量。

一、云環(huán)境下NAS和對象存儲的使用場景

1.NAS的使用場景

NAS存儲使用標準的文件系統(tǒng)和協(xié)議(如CIFS、NFS),主要操作對象是文件和文件夾,主機端通過文件夾路徑直接訪問存儲的文件,適用于小型和中型的文件應用,例如普通的文檔、圖片、視頻等數(shù)據(jù)。NAS存儲適合用于多主機共享數(shù)據(jù),它提供了高效的文件訪問和管理,支持多用戶并發(fā)訪問。

相對于對象存儲,NAS存儲在集成和應用上更具備廣泛性和兼容性,應用無需改造,開箱即用,適合小規(guī)模應用集群快速部署。

集中式NAS和分布式NAS的使用場景有所不同,前者憑著自身的高性能優(yōu)點適用于高并發(fā)低時延的小文件應用場景,后者適用大文件順序寫場景,比如票據(jù)影像的備份歸檔等。

2.對象存儲的使用場景

對象存儲接近無限擴展能力使其可以真正意義上實現(xiàn)非結構化數(shù)據(jù)的海量存儲。其扁平化的存入和讀取數(shù)據(jù)對象方式,使其使用方式簡單,應用經過標準API接口進行調用,十分契合互聯(lián)網大數(shù)據(jù)的存儲。對象存儲適合存儲包括多媒體、音樂、圖片、視頻監(jiān)控文件、軟件、鏡像、掃描件等種類在內的海量文件。

第一類場景是使用與應用系統(tǒng)保存業(yè)務所需要存儲的各類文件、視頻、音頻、圖片等對象,比如金融行業(yè)的票據(jù)影像與雙錄等。第二類場景是可以作為云上數(shù)據(jù)的長期備份和歸檔使用。對于需要透明保存但很少被訪問的溫冷數(shù)據(jù),可以從在線高性能存儲遷移備份至對象存儲做長期保存,兼顧了成本效益與數(shù)據(jù)可用性。

640 (1).png

圖1 NAS與對象存儲對比圖

二、云環(huán)境下的NAS和對象存儲的部署

在明確了NAS和對象存儲的各自特點和各自適用場景之后,我們可以考慮以下基礎設施如何部署了。當然不管是NAS存儲還是對象存儲,首先需要滿足信創(chuàng)基礎環(huán)境的兼容性要求,包括芯片、操作系統(tǒng)、網絡等等。

(1)集中式NAS

在云環(huán)境之外單獨部署一套雙活架構的集中式NAS存儲,配置閃存盤和足夠前端萬兆接口卡,連接兩臺萬兆交換機,組建一套完整的高性能雙活NAS架構,為云上需要使用集中式NAS的應用系統(tǒng)提供文件共享服務。

對于云環(huán)境上需要文件共享服務,同時有高并發(fā)低時延要求的應用系統(tǒng),可以選擇從雙活NAS存儲上分配資源使用。當然,由于集中式NAS資源和處理能力有限,需要對分配使用的應用數(shù)量做一定控制。

(2)分布式NAS

分布式NAS使用和對象存儲一套分布式存儲上提供的文件存儲服務??梢允褂脤ο蟠鎯Φ膽靡宦墒褂脤ο蟠鎯?,只有那些應用程序無法改造適配對象存儲,而對時延要求不高的應用系統(tǒng),才推薦使用分布式NAS。

(3)對象存儲

對象存儲的部署一般有兩種方案,一個是軟硬一體的方案,即超大規(guī)模分布式存儲平臺,另一個是軟硬分離,采用“軟件定義和通用服務器”。用戶可以根據(jù)自己的部署、運維能力選擇采用。

另外,建議搭建對象存儲的跨站點高可用架構,采用跨站點多活或者遠程復制技術實現(xiàn)容災,提升對象存儲的高可用能力。

三、NAS部署方案實踐

在信創(chuàng)云環(huán)境中確實需要使用集中式NAS的系統(tǒng),可以在云環(huán)境之外獨立部署集中式NAS,如今隨著業(yè)務連續(xù)性要求越來越高,行業(yè)已經默認采用雙活NAS架構。典型的雙活集中式NAS物理部署結構參考圖2、圖3。

640 (1).png

圖2 NAS雙活物理架構

640 (1).png

圖3 NAS雙活容災方案組網拓撲圖

結束語

信創(chuàng)云環(huán)境下,對象存儲和NAS存儲的部署需要考慮服務器的負載情況、網絡架構、安全措施、資源利用率和性能優(yōu)化、高可用性、可擴展性和靈活性。針對不同應用場景選擇適合的存儲方式。如高負載應用采用分布式存儲架構,頻繁讀寫采用NAS存儲,大量存儲非結構化數(shù)據(jù)采用對象存儲。同時部署時需要選擇完善的高可用和災備解決方案,并經過測試和驗證,確保存儲系統(tǒng)的穩(wěn)定性、可用性和數(shù)據(jù)安全性。

THEEND

最新評論(評論僅代表用戶觀點)

更多
暫無評論