云存儲在信創(chuàng)云中的應(yīng)用

存儲,顧名思義就是存儲數(shù)據(jù)的地方,而稱之為云存儲,其實就是意味著一種服務(wù)的提供出去。信創(chuàng)云采用全托管的模式,用戶可以通過簡單易用的控制臺使用各種云服務(wù),自主的實現(xiàn)在云上的各種業(yè)務(wù)目標(biāo)。

本文來自微信公眾號“twt企業(yè)IT社區(qū)”,作者/朱琦,目前擔(dān)任某國內(nèi)著名餐飲連鎖企業(yè)運維負責(zé)人,涉獵領(lǐng)域廣泛,特別對運維和數(shù)據(jù)和數(shù)據(jù)庫運維有自己獨特的理解和認識。

前言

存儲,顧名思義就是存儲數(shù)據(jù)的地方,而稱之為云存儲,其實就是意味著一種服務(wù)的提供出去。信創(chuàng)云采用全托管的模式,用戶可以通過簡單易用的控制臺使用各種云服務(wù),自主的實現(xiàn)在云上的各種業(yè)務(wù)目標(biāo)。

所以,存儲要和信創(chuàng)云結(jié)合,必須聚焦在自主上,即把復(fù)雜的存儲選擇邏輯以直白的方式提供給用戶,把專業(yè)性很強的性能指標(biāo)以用戶可以理解的方式感知到。

眾說周知,亞馬遜是公有云的鼻祖,其技術(shù)的領(lǐng)先不容置疑,讓要讓一個普通用戶去用亞馬遜云,用好亞馬遜云。需要有較高的技術(shù)學(xué)習(xí)成本。為此,亞馬遜公司還建立的較為復(fù)雜的培訓(xùn)系統(tǒng)和認證體系,對于云存儲也不例外,比如對于磁盤也有很多規(guī)格種類,代表不同的存儲方式和性能。

化繁為簡,讓只有一般云知識的用戶在先不學(xué)習(xí)或少學(xué)習(xí)的基礎(chǔ)上,在信創(chuàng)云上自主,暢快、低成本的使用云存儲,讓用戶真正的聚焦在業(yè)務(wù)上,而不是成為“存儲專家”,是信創(chuàng)云的云存儲能否成功的關(guān)鍵。

1.存儲的設(shè)備

1.1硬盤/固態(tài)硬盤

公有云一般大量使用企業(yè)級的SAS/SATA硬盤和SSD作為基礎(chǔ)存儲介質(zhì),選用性能穩(wěn)定和高可靠性的硬盤,在不同節(jié)點上的硬盤存儲可以構(gòu)成分布式存儲。

1.2存儲陣列

公有云會使用高端的存儲陣列設(shè)備,如NetApp、Dell EMC等知名品牌,通過RAID和虛擬化技術(shù)提供存儲,這是集中式存儲,通常比較昂貴。

1.3全閃存存儲

如果存儲陣列中使用的時SSD,或最頂級的Nvme SSD磁盤,就構(gòu)成了全閃存存儲,部分公有云已經(jīng)開始使用全閃存存儲陣列提供高性能存儲。

1.4磁帶庫

部分公有云會配置磁帶庫用于冷數(shù)據(jù)備份和歸檔。但使用頻率不高。目前,由于磁帶的壽命短等缺點,很少有真實的磁帶庫了,取而代之的是虛擬帶庫。虛擬帶庫是由一些廉價的SAS甚至SATA盤構(gòu)成的盤庫構(gòu)成,盤庫與陣列有明顯的區(qū)別是前者不帶有驅(qū)動器。

1.5冷/熱數(shù)據(jù)分離存儲

這我感覺應(yīng)該是信創(chuàng)云存儲提供的創(chuàng)新部分。目前在IDC機房中都是有分層存儲的,而在公有云上,不同廠商也提供了不同的同一存儲類型的分布式存儲,可以將不常訪問數(shù)據(jù)遷移到低成本存儲中。但并不能混合使用。

1.6存儲網(wǎng)關(guān)

用于連接內(nèi)部存儲網(wǎng)絡(luò)與外部客戶的橋接設(shè)備。

2.云存儲的種類

2.1塊存儲

塊存儲可以說是大家在平時接觸的最常見的存儲了,在物理機上裝塊磁盤,windows或linux系統(tǒng)掛載的都是塊存儲。但在云存儲中,就要多考慮一些東西了。

不同的用戶在不同的項目,需要的塊存儲是不同的。大多數(shù)的用戶需要的普通的塊存儲。但大多數(shù)目前的公有云提供商都是用集中式存儲提供塊存儲的。這樣做的好處很明顯,方便而且性能完全可以滿足要求,但缺點就是成本挺高的。如果容量小還感覺不到,超過500GB的價格就不一樣了。所以信創(chuàng)云可以考慮提供分布式存儲,推薦使用開源的ceph,或商業(yè)的xsky,因為分布式存儲的是通過多臺服務(wù)器的本地盤組成的,所以價格較低。

分布式存儲的問題是讀性能優(yōu)秀,延遲尚可,但寫的性能較差。但有些應(yīng)用計算在內(nèi)存、寫磁盤的需求并不多,針對這些應(yīng)用提供分布式存儲所提供的塊存儲,可以有效的降低使用成本。

除此之外,分布式存儲有巨大魅力的一點就是,可以通過調(diào)節(jié)副本的數(shù)量來控制寫的性能,這點可以通過適當(dāng)?shù)姆庋b暴露給用戶,又提高了用戶選擇的多樣性。

2.2對象存儲

以對象的形式進行存儲,每個對象包含數(shù)據(jù)和元數(shù)據(jù),通過RESTful API進行訪問,具有高可靠、高可用、高擴展性等特點,可以輕松應(yīng)對海量數(shù)據(jù)的存儲。它還實現(xiàn)了跨區(qū)域復(fù)制機制,可以在不同地域存儲對象副本,防止區(qū)域性故障導(dǎo)致的數(shù)據(jù)丟失。它的計費模式也比較特殊,實行按用量付費的計費模式,用戶只需要為實際使用的存儲量和流量付費,節(jié)省成本。一般公有云的對象存儲都提供Policy和ACL的訪問控制機制,用于管理對存儲空間和對象訪問的權(quán)限。而為了訪問上的快速和控制,一般會集成CDN服務(wù),通過邊緣節(jié)點實現(xiàn)更快速的資源分發(fā)。

在使用中,感到不太便捷的,就是它的訪問控制機制了。比如在AWS中,要訪問對象存儲S3中的桶(bucket),我可以通過三種方式,一設(shè)定AKSK,也就是訪問密鑰和加密密鑰,通過IAM設(shè)置不同的訪問bucket的權(quán)限;二設(shè)置policy,policy的設(shè)定必須參考文檔有格式的要求,而且對白名單,黑名單,賬號,操作都有不同的設(shè)置要求,不同的policy組合起來還有注意優(yōu)先級,十分搞腦子;三打開public的阻止選項,這屬于無腦操作,對外界訪問不加任何限制,存在安全問題。

所以,信創(chuàng)云應(yīng)該從訪問控制入手,提供不同的場景讓用戶去選擇,而不是讓用戶自己去學(xué)習(xí)去組織不同的policy和IAM權(quán)限設(shè)置。這些設(shè)置對于一個有經(jīng)驗的云管理人員算不上什么,但是對于用戶就可能會有較高的學(xué)習(xí)成本。

對象存儲必定會有大量的web服務(wù)接口和restful API接口,將來對于信創(chuàng)云來說,必定會有云桌面,如aws的workspace,阿里云的無影;讓對象存儲無縫對接云桌面這也是必須的。再又可以進一步考慮優(yōu)雅方便的對接用戶自己的IT環(huán)境,使得信創(chuàng)云的對象存儲成為企業(yè)的“百度網(wǎng)盤”,我感到也可以擴大信創(chuàng)云的用戶群體。

2.3文件存儲

文件存儲提供了標(biāo)準(zhǔn)的NFS和SMB網(wǎng)絡(luò)文件系統(tǒng),讓用戶可以將云硬盤掛載為文件系統(tǒng)共享來存放數(shù)據(jù)。文件存儲也建立在分布式文件系統(tǒng)之上,可以按需擴展容量和增強性能。用戶可以通過標(biāo)準(zhǔn)文件訪問協(xié)議進行數(shù)據(jù)存取,很方便地使用文件存儲服務(wù)。

這種存儲通常用于傳統(tǒng)企業(yè)應(yīng)用系統(tǒng)遷移到云時繼續(xù)使用文件共享的場景,也是廣泛被大家所理解的存儲。更重要的是它可以作為也就是價格適中,性能一般的“中庸”的共享存儲,對于容器環(huán)境而言,可以作為一種“缺省存儲選擇”。因為有些時候,用戶對于共享存儲的性能要求真的不是特別高。

比如:對于Kafka,傳統(tǒng)概念上,都認為它對存儲的性能要求非常高,但在開發(fā)環(huán)境或功能測試環(huán)境中,我們只要有這個kafka組件就可以了。所以信創(chuàng)云可以結(jié)合中國的實際情況,提供一種低成本的開發(fā)測試環(huán)境的存儲,文件存儲也許是個不錯的選擇。

3.信創(chuàng)云云存儲之思考

3.1云存儲數(shù)據(jù)的冷熱數(shù)據(jù)分層存儲

前面我談到很多IDC機房是有分層存儲的,而且這種存儲還可以自動進行遷移,比如熱數(shù)據(jù)放置在Nvme SSD的存儲上,當(dāng)這熱數(shù)據(jù)稍冷后,可以遷移到普通的SSD磁盤上,再冷卻后,可以遷移到普通的SAS盤上。為什么能這么做呢?是因為存儲廠商生產(chǎn)的磁盤陣列中放置了三種類型的磁盤。

公有云比IDC更有優(yōu)勢的是虛擬化技術(shù),可以把不同的存儲方式,容納到分層存儲中。于是,在云存儲中,我們可以加入更多的存儲類型,而不是只能是磁盤。比如,我們可以把分布層存儲,對象存儲也容納進去。這樣能對數(shù)據(jù)的訪問有更好的掌控,并且可以給客戶省下更多的錢。

3.2云存儲在容器環(huán)境的使用

曾經(jīng)開發(fā)過一類ALL-in-Kubernetes的產(chǎn)品,類似于現(xiàn)在的青云信創(chuàng)云。我們把Redis-cluster,kafka,基于vitness的mysql,TiDB,elasticsearch全部搬入了kubernetes容器云,并水用基于ceph分布式存儲的xsky作為整個容器云的存儲供應(yīng),當(dāng)然TiDB使用本地磁盤并沒有用xsky。這個容器云集群雖然是在IDC機房部署的,但目前看起來在信創(chuàng)云上也是可以的。

它的好處是操作傻瓜式,用戶想要部署redis cluster或elasticsearch的PAAS組件時,只需要點鼠標(biāo)選擇不同的配置,特別在存儲選擇時,也只需要選擇不同的存儲類型(比較簡陋,只有兩個選擇xsky,localdisk兩種),后端就可以拼接出一個yaml語句,然后在kubernetes集群上部署。而用戶不需要了解任何yaml的語法。我感覺,這是信創(chuàng)云一個可以完善的方向,再進一步完善可以開發(fā)出收費組建,監(jiān)控組建,在適當(dāng)?shù)母綦x存儲組件,應(yīng)用組件和計算組件。

3.3云存儲的數(shù)據(jù)遷移

曾經(jīng)我在的一家公司想做數(shù)據(jù)庫的完整災(zāi)備數(shù)據(jù)庫,數(shù)據(jù)量也不大,也就30T左右。我們聽說華為云比較便宜,就把華為云的團隊叫了過來,一切都談的很好。但在數(shù)據(jù)遷移的環(huán)節(jié)出了問題。

也許現(xiàn)在華為云有了好的解決方案,但在當(dāng)時,華為云讓我們自己一點點的把數(shù)據(jù)傳到云上去。這且不論其他成本,就這個時間成本也是難以承受的。AWS提供了一種“移動存儲“的數(shù)據(jù)遷移服務(wù)。我感覺我們的信創(chuàng)云要想做大做強,這種服務(wù)器也是需要有的,就是準(zhǔn)備大型的高可靠高容量的”移動硬盤“,到用戶的IDC機房把數(shù)據(jù)copy出來,遷移到云機房去。這無論對建立云上云下的混合云,還是遷移數(shù)據(jù)上云,都是有莫大好處的。

3.4云存儲的安全性

用戶數(shù)據(jù)上云的一個巨大阻力就是安全。前天我問了我的太太,她是一家物流公司的財務(wù)總。她的公司會不會把數(shù)據(jù)上云?當(dāng)場給出了否定的回答,為什么呢?她說,經(jīng)常聽到有公司的客戶數(shù)據(jù)在云上丟失,所以,業(yè)界都不敢用了。所以,如果讓用戶對云存儲的安全性有足夠的信心,是信創(chuàng)云存儲能否在企業(yè)中成功的重要挑戰(zhàn)!

當(dāng)今,雖然亞馬遜云是公有云的老大。其上有眾多數(shù)據(jù)庫,性能不一定比Oracle差,每年有不少企業(yè)把在IDC機房的Oracle數(shù)據(jù)庫遷移到亞馬遜云上,但速度非常緩慢,從10年前超過40%的市場份額,到2023年7月Oracle公司還是有34.8%的市場份額。Oracle的許可證如此之貴,企業(yè)在擔(dān)心什么呢?為什么不遷移呢?其中重要的原因就是安全性。

這有人說這是數(shù)據(jù)庫的安全性,和存儲的安全性是有區(qū)別的。但近幾年來,隨著大數(shù)據(jù)的普及,數(shù)據(jù)不僅僅存放在了數(shù)據(jù)庫中,還直接以文件形式存放在存儲里磁盤上,更有甚者,大數(shù)據(jù)直接存儲在對象存儲上。

問題焦點更進一步從數(shù)據(jù)庫安全性轉(zhuǎn)移到了存儲安全性。云存儲必須在存儲加密上有新的突破,不僅讓用戶用的方便,還必須用的放心。

4.結(jié)束語

數(shù)據(jù)是新的石油,是企業(yè)的重要資產(chǎn),國家已經(jīng)做出了“黨管數(shù)據(jù)”的重要指示,這足以說明數(shù)據(jù)的重要性。云存儲做為云上數(shù)據(jù)的載體,在信創(chuàng)云中起著舉足輕重的地位。

要做好云存儲,必須在降本增效、適用容器、便捷遷移、提供安全性四個方面下功夫,做出和現(xiàn)有公有云不一樣的服務(wù)或更進一步的服務(wù)出來。讓信創(chuàng)云的云存儲真正意義上無愧于“創(chuàng)”!

THEEND

最新評論(評論僅代表用戶觀點)

更多
暫無評論