本文來自微信公眾號“twt企業(yè)IT社區(qū)”。
【欄目主編】趙海某金融系統(tǒng)高級主管：本議題由寧夏銀行技術(shù)經(jīng)理陳明福、某省農(nóng)信資深技術(shù)經(jīng)理雷智以及我本人發(fā)表議題下的主張，幾位專家的主張?jiān)诮鬓r(nóng)信技術(shù)經(jīng)理鄧毓、某金融科技公司資深集成工程師孫偉光、某金融公司架構(gòu)師劉艷春等多位專家的復(fù)議后，形成了一定的共識，希望可以對同行有一定的參考。
陳明福寧夏銀行技術(shù)經(jīng)理：
對于銀行業(yè)來說，關(guān)鍵應(yīng)用系統(tǒng)安全穩(wěn)定可靠是第一要務(wù)，設(shè)備選型應(yīng)該遵循“行業(yè)主流、安全穩(wěn)定”的原則，同時兼顧性能（主要包含IOPS、MBPS及延時等指標(biāo)）與成本，并充分考慮國家信息技術(shù)應(yīng)用創(chuàng)新戰(zhàn)略。
一、關(guān)鍵應(yīng)用存儲需求特點(diǎn)
隨著金融業(yè)信息化程度的不斷提高與完善，信息系統(tǒng)在金融行業(yè)的關(guān)鍵業(yè)務(wù)中承擔(dān)的角色越來越重要，保證業(yè)務(wù)連續(xù)性是信息系統(tǒng)建設(shè)的關(guān)鍵，業(yè)務(wù)系統(tǒng)的連續(xù)性和災(zāi)難保護(hù)的重要性也越來越突出。在當(dāng)前數(shù)字化浪潮下，關(guān)鍵應(yīng)用系統(tǒng)是銀行業(yè)穩(wěn)健經(jīng)營發(fā)展的核心支撐，如何有效確保關(guān)鍵應(yīng)用系統(tǒng)安全穩(wěn)定運(yùn)行且數(shù)據(jù)零丟失，是每一名銀行科技人員最關(guān)注的事情，存儲設(shè)備作為數(shù)據(jù)中心內(nèi)最關(guān)鍵、最核心的硬件資源，承載了所有重要業(yè)務(wù)數(shù)據(jù)，其重要性不言而喻。
對于銀行業(yè)來說，關(guān)鍵應(yīng)用系統(tǒng)安全穩(wěn)定可靠是第一要務(wù)，業(yè)務(wù)不能斷，數(shù)據(jù)不能丟，必須提供7×24小時連續(xù)業(yè)務(wù)；隨著互聯(lián)網(wǎng)金融的發(fā)展，在線交易快速增長，要求聯(lián)機(jī)業(yè)務(wù)系統(tǒng)支持海量用戶高并發(fā)訪問，性能要求高，時延極致低；監(jiān)管政策日漸趨嚴(yán)，針對各類事件的處罰日趨嚴(yán)格。
二、關(guān)鍵應(yīng)用存儲設(shè)備選型建議
設(shè)備選型應(yīng)該遵循“行業(yè)主流、安全穩(wěn)定”的原則，同時兼顧性能（主要包含IOPS、MBPS及延時等指標(biāo)）與成本，并充分考慮國家信息技術(shù)應(yīng)用創(chuàng)新戰(zhàn)略。對于金融行業(yè)來說，為確保安全可靠以及數(shù)據(jù)一致性等條件約束，建議按場景（如數(shù)據(jù)庫和應(yīng)用）分別對存儲進(jìn)行使用，建議不混合使用。銀行業(yè)存儲設(shè)備選型的關(guān)鍵點(diǎn)在于存儲需要具備以下幾個特點(diǎn)：
1.行業(yè)主流
所選擇的存儲設(shè)備品牌及型號需要在業(yè)界（尤其是同行業(yè)）有廣泛的成功應(yīng)用案例，經(jīng)得起同行業(yè)的考驗(yàn)，以及需要有穩(wěn)定的服務(wù)團(tuán)隊(duì)。
2.安全穩(wěn)定
存儲架構(gòu)的穩(wěn)定性及可靠性是數(shù)據(jù)中心存儲選型最基本也是最重要的需求，包含存儲架構(gòu)冗余度較高，各個部件（如：控制器、磁盤、前端接口卡、后端接口卡、網(wǎng)卡及電源等）均為冗余設(shè)計、支持在線熱插拔，任意部件損壞均不影響主機(jī)上業(yè)務(wù)運(yùn)行，硬件維護(hù)對上層主機(jī)訪問無感知。其次，各部件可以進(jìn)行微碼在線升級，對主機(jī)訪問無影響。特別是關(guān)鍵部位控制器，已有最新存儲產(chǎn)品可以支持控制器升級微碼不重啟。
3.可維護(hù)性
存儲設(shè)備需具備較高的可維護(hù)性，各個部件的預(yù)防性維護(hù)和更換均為在線操作，控制器、硬盤及接口卡等部件都必須支持在線微碼升級，交替重啟部件或更換部件時不可以影響到上層業(yè)務(wù)。
4.硬件架構(gòu)
當(dāng)前存儲設(shè)備產(chǎn)品根據(jù)架構(gòu)分為“集中式架構(gòu)存儲”和“分布式架構(gòu)存儲”兩大陣營。集中式存儲最大的優(yōu)勢在于架構(gòu)簡單、維護(hù)相對容易，已有的運(yùn)維經(jīng)驗(yàn)?zāi)軌蜓永m(xù)，同時傳統(tǒng)存儲廠商支持能力相對較強(qiáng)。而分布式存儲在非一線城市中廠商技術(shù)支持方面還存在短板。因此，對于銀行信息系統(tǒng)中大多數(shù)關(guān)鍵應(yīng)用，包括核心系統(tǒng)、前置系統(tǒng)、支付系統(tǒng)、銀行卡系統(tǒng)等應(yīng)用，具有高穩(wěn)定性、高吞吐量和低時延等特性的集中式架構(gòu)存儲是更好的選擇，存儲設(shè)備的各個控制器工作在對稱Active/Active模式，各控制器性能負(fù)載穩(wěn)定均衡；若上層應(yīng)用有特定的分布式文件存儲、對象存儲或者海量數(shù)據(jù)存儲需不斷擴(kuò)展的需求，同時對存儲穩(wěn)定性和時延要求不高，則可以考慮選擇分布式架構(gòu)存儲。
5.可擴(kuò)展能力
可以按需在線進(jìn)行橫向擴(kuò)展，同時擴(kuò)展存儲容量和存儲性能，隨著容量需求的增加可以按需進(jìn)行在線擴(kuò)容，包括存儲柜內(nèi)的縱向擴(kuò)容和多柜的橫向擴(kuò)展，擴(kuò)展之后實(shí)現(xiàn)存儲資源的在線自動平衡。當(dāng)前行業(yè)內(nèi)主流高端存儲設(shè)備基本配置為“四控制器”，Cache容量高達(dá)TB甚至更高，前端主機(jī)接口模塊FC口速率高達(dá)到32GB。閃存盤因“大容量、高IOPS、低耗時和低返廠率”等特點(diǎn)已成為當(dāng)前集中式高端存儲設(shè)備的首選主流配置。對于預(yù)算充裕的用戶，可以選擇配置NVMeSSD盤，充分保障設(shè)備性能滿足業(yè)務(wù)需求。
6.性能指標(biāo)
在存儲設(shè)備購買時，一定要充分結(jié)合業(yè)務(wù)系統(tǒng)運(yùn)行情況，并充分預(yù)測未來5-10年業(yè)務(wù)發(fā)展趨勢，推算出存儲設(shè)備性能指標(biāo)，至少保證未來5年內(nèi)業(yè)務(wù)系統(tǒng)不會出現(xiàn)存儲性能瓶頸。隨著閃存技術(shù)的快速發(fā)展，目前全閃存存儲已經(jīng)成為各家主流存儲廠商的標(biāo)準(zhǔn)配置，同時結(jié)合控制器和硬盤框的NVMe技術(shù)應(yīng)用，IOPS已經(jīng)從傳統(tǒng)機(jī)械硬盤存儲的幾萬、十幾萬，上升到幾百萬級別，性能得到極大提升，因此在當(dāng)前形勢之下采購新存儲設(shè)備時，全閃存存儲已成為首選，如果成本可以承受，配備NVMe SSD的全閃存存儲是最佳選擇。
7.成本評估
對于銀行業(yè)來說，高端存儲設(shè)備選型一個重要的參考就是單位TB可用容量下的成本，能夠花更少的錢買到更多的容量，一定是我們采購過程中的一個重要指標(biāo)，這就對存儲設(shè)備的架構(gòu)能力和存儲廠商的商業(yè)模式提出了一定的要求，最終的選擇需要根據(jù)實(shí)際情況去做抉擇。計算成本時除了硬件配置成本，還需要考慮軟件許可成本和日常管理維護(hù)成本（包含存儲設(shè)備維保服務(wù)成本）。
8.國家信息技術(shù)應(yīng)用創(chuàng)新戰(zhàn)略
當(dāng)前，國家提出“信息技術(shù)應(yīng)用創(chuàng)新”戰(zhàn)略，其中存儲設(shè)備隸屬于“信創(chuàng)基礎(chǔ)設(shè)施產(chǎn)品”范疇，監(jiān)管部門也出臺相應(yīng)政策，對于銀行業(yè)來說，在滿足安全穩(wěn)定可靠及性能前提下，應(yīng)該充分響應(yīng)國家“信息技術(shù)應(yīng)用創(chuàng)新”戰(zhàn)略。隨著國內(nèi)廠商技術(shù)的不斷演進(jìn)，目前國內(nèi)存儲品牌（如：華為）已經(jīng)得到業(yè)界公認(rèn)和實(shí)踐，能夠滿足數(shù)據(jù)中心建設(shè)各項(xiàng)指標(biāo)需求。因此，在國家提倡科技創(chuàng)新和金融行業(yè)IT國產(chǎn)化戰(zhàn)略的背景下，在存儲產(chǎn)品各項(xiàng)功能均滿足的前提下，可以優(yōu)先考慮已經(jīng)經(jīng)過行業(yè)考驗(yàn)的國內(nèi)存儲品牌。
9.廠商技術(shù)支持服務(wù)能力
重點(diǎn)考察設(shè)備廠商存儲產(chǎn)品持續(xù)研發(fā)能力和本地技術(shù)服務(wù)能力，在遇到個性化需求時或需求變化時能夠及時響應(yīng)處理的能力，是否有本地化的技術(shù)支持服務(wù)力量，對客戶的響應(yīng)是否及時且有效，這些都需要充分考查和了解。
三、存儲關(guān)鍵技術(shù)架構(gòu)建議
對于銀行業(yè)來說，兩地三中心或多地多中心是當(dāng)前監(jiān)管部門強(qiáng)制要求必不可少的數(shù)據(jù)中心建設(shè)模式，在完善的容災(zāi)體系架構(gòu)場景下，基于存儲復(fù)制技術(shù)的容災(zāi)架構(gòu)依然是各銀行業(yè)傾向選擇的一種數(shù)據(jù)保護(hù)措施，故在銀行業(yè)實(shí)施存儲時，需要充分考慮存儲設(shè)備的本地高可用及多中心間容災(zāi)架構(gòu)能力。
1）免網(wǎng)關(guān)雙活A(yù)-A架構(gòu)，即不依賴于VPLEX、SVC等存儲網(wǎng)關(guān)設(shè)備，而直接使用存儲自身的機(jī)頭進(jìn)行兩臺存儲之間的IO雙活。如：華為公司的HyperMetro就屬于免網(wǎng)關(guān)解決方案的主流技術(shù)之一。
2）數(shù)據(jù)同步和異步復(fù)制功能，可以與雙活特性實(shí)現(xiàn)免網(wǎng)關(guān)的雙活+異地容災(zāi)的三副本數(shù)據(jù)容災(zāi)架構(gòu)。
3）快照功能。
上述三方面是實(shí)施存儲時重點(diǎn)關(guān)注的技術(shù)架構(gòu)特性。
四、總結(jié)
本文結(jié)合銀行關(guān)鍵應(yīng)用系統(tǒng)存儲設(shè)備實(shí)施情況，分析存儲設(shè)備選型及關(guān)鍵技術(shù)實(shí)施過程中需要關(guān)注的要點(diǎn)，希望給同行在關(guān)鍵應(yīng)用系統(tǒng)存儲設(shè)備集成實(shí)施時提供一種參考。
雷智某省農(nóng)信資深技術(shù)經(jīng)理：
存儲架構(gòu)升級的關(guān)鍵在于平穩(wěn)投產(chǎn)落地。沒有最好的存儲技術(shù)，只有最適合的存儲解決方案。在存儲架構(gòu)方案設(shè)計時，需從行內(nèi)實(shí)際情況出發(fā)，對標(biāo)行業(yè)最佳實(shí)踐，充分利用廠商資源，保證技術(shù)的延續(xù)性，做好架構(gòu)、產(chǎn)品、性能、維護(hù)和費(fèi)用之間的有效平衡。
關(guān)鍵應(yīng)用系統(tǒng)存儲架構(gòu)設(shè)計階段，應(yīng)重點(diǎn)關(guān)注存儲類型、容量、組網(wǎng)及高可用容災(zāi)等關(guān)鍵點(diǎn)。在投產(chǎn)實(shí)施及運(yùn)維管理階段，需關(guān)注現(xiàn)網(wǎng)調(diào)研、實(shí)施窗口、數(shù)據(jù)遷移、回退方案、投產(chǎn)跟蹤和常態(tài)化演練機(jī)制、日常運(yùn)維機(jī)制、智能運(yùn)維工具和健全運(yùn)維生態(tài)等重點(diǎn)方面。
一、引言
存儲架構(gòu)升級的關(guān)鍵在于平穩(wěn)投產(chǎn)落地。關(guān)鍵應(yīng)用作為企業(yè)IT系統(tǒng)中重要程度最高、涉及范圍最廣、業(yè)務(wù)數(shù)據(jù)最多、場景差異最大的應(yīng)用系統(tǒng)類別，對存儲架構(gòu)的設(shè)計及落地帶來了較大的挑戰(zhàn)。本文將通過闡述銀行業(yè)關(guān)鍵應(yīng)用存儲架構(gòu)的應(yīng)用場景、設(shè)計原則、投產(chǎn)實(shí)施及運(yùn)維管理等重點(diǎn)內(nèi)容，讓讀者對銀行業(yè)關(guān)鍵應(yīng)用存儲的落地實(shí)踐情況有所了解。
二、銀行業(yè)關(guān)鍵應(yīng)用對存儲的需求場景及功能特點(diǎn)
一般來說，銀行業(yè)按照應(yīng)用系統(tǒng)重要等級可以分為核心、重要、外圍及管理、數(shù)據(jù)分析等類別，其中核心及重要類系統(tǒng)通常稱為“關(guān)鍵應(yīng)用”。根據(jù)關(guān)鍵應(yīng)用系統(tǒng)處理事物的特性，可以分為OLTP（聯(lián)機(jī)事務(wù)處理過程）和OLAP（聯(lián)機(jī)分析處理）等類別。聯(lián)機(jī)事務(wù)處理方式、數(shù)據(jù)量大小、系統(tǒng)重要程度等差異均會對關(guān)鍵應(yīng)用存儲架構(gòu)提出不同的需求。
三、關(guān)鍵應(yīng)用存儲架構(gòu)的設(shè)計原則及關(guān)鍵點(diǎn)
1.關(guān)鍵應(yīng)用存儲架構(gòu)設(shè)計的原則
存儲架構(gòu)的設(shè)計既要滿足未來業(yè)務(wù)發(fā)展需要和技術(shù)發(fā)展趨勢，也要在總體技術(shù)風(fēng)險可控的前提下，對現(xiàn)有架構(gòu)進(jìn)行平滑升級，解決當(dāng)前架構(gòu)瓶頸。關(guān)鍵應(yīng)用系統(tǒng)所用存儲架構(gòu)的建設(shè)總體原則應(yīng)根據(jù)不同應(yīng)用對存儲性能和容災(zāi)的訴求進(jìn)行存儲選型。按照應(yīng)用的業(yè)務(wù)重要性及對RPO、RTO不同要求，重新規(guī)劃應(yīng)用主機(jī)和存儲對應(yīng)關(guān)系，對應(yīng)不同級別容災(zāi)方案。
需要注意的是，沒有最好的存儲技術(shù)，只有最適合的存儲解決方案。因此，在存儲架構(gòu)方案設(shè)計時，需從行內(nèi)實(shí)際情況出發(fā)，對標(biāo)行業(yè)最佳實(shí)踐，充分利用廠商資源，做好技術(shù)的延續(xù)性、做好架構(gòu)、產(chǎn)品、性能、維護(hù)和費(fèi)用之間的有效平衡。
2.關(guān)鍵應(yīng)用存儲架構(gòu)設(shè)計的關(guān)鍵點(diǎn)
存儲的單機(jī)配置決定著存儲架構(gòu)的整體性能。通常在存儲架構(gòu)規(guī)劃時采用“高端低配”（高端機(jī)型、中低配置）策略進(jìn)行存儲選型，在保障技術(shù)先進(jìn)、性能強(qiáng)大的同時，降低維護(hù)期因存儲技術(shù)落后、性能不足而帶來的優(yōu)化和擴(kuò)容等風(fēng)險較大操作的頻率，同時高端機(jī)型也能夠得到原廠商更大售后服務(wù)支持。所替換的老舊存儲可用于開發(fā)測試或外圍類系統(tǒng)使用，保護(hù)既有投資。
1)存儲類型
按照關(guān)鍵應(yīng)用類別及特性選擇集中式或分布式存儲，可根據(jù)關(guān)鍵應(yīng)用重要性、需求特點(diǎn)及性價比選擇全閃、混閃及傳統(tǒng)機(jī)械盤存儲。
2)存儲容量
根據(jù)現(xiàn)網(wǎng)存儲容量、歷史增長率以及未來增長率等指標(biāo)來綜合評估。以存儲池為單位，根據(jù)當(dāng)前容量大小，將近3年最大年增長率作為未來5年年均增長率進(jìn)行估算，在此基礎(chǔ)上再預(yù)留20%-30%可用容量。
3)存儲及應(yīng)用組網(wǎng)
在滿足技術(shù)先進(jìn)性的前提下，保障技術(shù)選型穩(wěn)定性和高可用性，確保存儲網(wǎng)絡(luò)架構(gòu)穩(wěn)健、保障業(yè)務(wù)系統(tǒng)性能。在實(shí)施過程中以數(shù)據(jù)完整性為核心保障體系，按計劃完成容災(zāi)方案為目標(biāo)，盡量減少業(yè)務(wù)系統(tǒng)影響，降低對業(yè)務(wù)系統(tǒng)的影響。
根據(jù)設(shè)備情況，從需求、容量、性能、可用性和管理性幾個方面詳細(xì)設(shè)計，重點(diǎn)考慮存儲池類別、吞吐負(fù)載、關(guān)聯(lián)耦合性，尤其需要提前規(guī)劃交換機(jī)端口分配規(guī)則、Zone分配規(guī)則、跨數(shù)據(jù)中心級聯(lián)設(shè)計。
4)高可用及容災(zāi)
存儲架構(gòu)是全行容災(zāi)方案的重要基礎(chǔ)。存儲架構(gòu)方案的設(shè)計需要根據(jù)全行整體容災(zāi)建設(shè)思路，結(jié)合存儲特性和業(yè)務(wù)特點(diǎn)統(tǒng)籌規(guī)劃，以確保滿足監(jiān)管及全行所需RTO及RPO指標(biāo)。在實(shí)際制定存儲規(guī)劃方案中，以下方面需重點(diǎn)關(guān)注:
一是存儲3DC架構(gòu)的建設(shè)思路。存儲3DC架構(gòu)已是各大存儲產(chǎn)品的標(biāo)準(zhǔn)功能架構(gòu)，也是各行業(yè)容災(zāi)方案中均采用的成熟存儲容災(zāi)解決方案。但在實(shí)際使用中，需根據(jù)各行現(xiàn)網(wǎng)容災(zāi)架構(gòu)、數(shù)據(jù)中心間距離、空間、帶寬質(zhì)量、人員分布等因素綜合考慮。
一般來說，存儲3DC架構(gòu)在物理地點(diǎn)設(shè)置上有兩種方案，一是本地、同城和異地各一臺存儲，三者間形成3DC容災(zāi)架構(gòu)（性價比較高、容災(zāi)整體架構(gòu)較為靈活）；二是本地（2臺雙活）和同城（1臺）組成容災(zāi)架構(gòu)（維護(hù)難度較小，可以最大程度應(yīng)對本地主中心存儲故障），架構(gòu)圖示例可見圖1。
圖1同城3DC存儲容災(zāi)架構(gòu)圖
二是各數(shù)據(jù)中心承載的容災(zāi)功能的選擇。在金融監(jiān)管部門要求及傳統(tǒng)銀行容災(zāi)方案中，主中心、同城中心及異地中心根據(jù)所承載的容災(zāi)功能情況，可以分為“大同城、小異地”和“小同城、大異地”兩種。以“大同城、小異地”為例，“大同城”指以雙活模式構(gòu)建兩個同城數(shù)據(jù)中心，通過部署必要的軟硬件設(shè)備，逐步實(shí)現(xiàn)既能兩個中心共同承擔(dān)業(yè)務(wù)，又能單個中心獨(dú)立承載全部業(yè)務(wù)。“小異地”指建立異地災(zāi)備數(shù)據(jù)中心，在發(fā)生區(qū)域性災(zāi)難時，保障金融機(jī)構(gòu)關(guān)鍵業(yè)務(wù)的持續(xù)運(yùn)營。
三是存儲網(wǎng)絡(luò)組網(wǎng)。優(yōu)化煙囪式架構(gòu)，F(xiàn)C-SAN網(wǎng)絡(luò)采用Core-edge架構(gòu)，通過分層實(shí)現(xiàn)計算、存儲資源池化，更利于向云化演進(jìn)。存儲池間數(shù)據(jù)互聯(lián)互通，應(yīng)用共享所有存儲資源。SAN及應(yīng)用組網(wǎng)架構(gòu)圖示例可見圖2。
圖2 SAN及應(yīng)用組網(wǎng)架構(gòu)圖
四是高可用及容災(zāi)方案的選擇。容災(zāi)體系規(guī)劃應(yīng)該從業(yè)務(wù)視角為出發(fā)點(diǎn)，以終為始的制定各類業(yè)務(wù)系統(tǒng)RTO和RPO，找準(zhǔn)各容災(zāi)技術(shù)定位，通過各容災(zāi)技術(shù)組合做好備份冗余，按照業(yè)務(wù)類別和技術(shù)特性搭好容災(zāi)技術(shù)體系框架，做好容災(zāi)技術(shù)頂層設(shè)計。
四、關(guān)鍵應(yīng)用存儲投產(chǎn)實(shí)施及運(yùn)維管理
1.關(guān)鍵應(yīng)用存儲投產(chǎn)實(shí)施的關(guān)鍵點(diǎn)
1)現(xiàn)網(wǎng)調(diào)研
對現(xiàn)網(wǎng)架構(gòu)的服務(wù)器多路徑、存儲兼容性、數(shù)據(jù)量、網(wǎng)絡(luò)帶寬、可用窗口、影響范圍等進(jìn)行詳細(xì)調(diào)研。針對現(xiàn)網(wǎng)應(yīng)用系統(tǒng)及基礎(chǔ)架構(gòu)等差異，科學(xué)制定投產(chǎn)的方式、批次等投產(chǎn)實(shí)施方案。
2)實(shí)施窗口
由于遷移變更內(nèi)容多，操作復(fù)雜，關(guān)鍵應(yīng)用磁盤較多、操作時間較長，導(dǎo)致整個操作時間窗口有可能超出正常維護(hù)窗口時間?？梢酝ㄟ^科學(xué)制定Runbook、操作指導(dǎo)書、操作命令、非影響業(yè)務(wù)的情況下提前開展、分階段分批實(shí)施等措施，科學(xué)規(guī)劃操作時間窗口。
3)數(shù)據(jù)遷移
數(shù)據(jù)遷移是存儲新架構(gòu)投產(chǎn)的關(guān)鍵步驟。在存儲數(shù)據(jù)遷移中需重點(diǎn)關(guān)注數(shù)據(jù)一致性、業(yè)務(wù)完備性和系統(tǒng)兼容性?？茖W(xué)安排數(shù)據(jù)遷移策略，通過遷移演練等多種措施，盡量減少停機(jī)窗口和停機(jī)對客戶服務(wù)體驗(yàn)的影響。
4)回退方案
回退方案作為投產(chǎn)實(shí)施方案中的關(guān)鍵環(huán)節(jié)，必須確保投產(chǎn)出現(xiàn)風(fēng)險時，有完善的回退應(yīng)急預(yù)案，保障回退期間業(yè)務(wù)不受影響。需提前準(zhǔn)備并演練不同投產(chǎn)場景的主要回退步驟，將回退所需時間加入到投產(chǎn)計劃窗口之中。
5)投產(chǎn)跟蹤
主要對整體存儲架構(gòu)及應(yīng)用系統(tǒng)的功能及性能進(jìn)行跟蹤，驗(yàn)證投產(chǎn)工作的實(shí)際成效。針對發(fā)現(xiàn)的故障及時進(jìn)行分析，并評估采用基于投產(chǎn)架構(gòu)環(huán)境進(jìn)行解決、整體回退或部分回退等方案保障生產(chǎn)系統(tǒng)安全穩(wěn)定運(yùn)營。
2.關(guān)鍵應(yīng)用存儲運(yùn)維管理的關(guān)鍵點(diǎn)
1)常態(tài)化演練機(jī)制
常態(tài)化演練是檢驗(yàn)災(zāi)備體系可用性、準(zhǔn)確性和時效性的關(guān)鍵手段。把應(yīng)急演練納入常態(tài)化軌道，開展經(jīng)常性的、針對性的應(yīng)急演練工作，才能充分保證災(zāi)備機(jī)制的有效性，檢驗(yàn)災(zāi)備流程的可操作性，不斷完善災(zāi)備體系建設(shè)，持續(xù)提升災(zāi)備演練的實(shí)戰(zhàn)能力。
2)日常運(yùn)維機(jī)制
常態(tài)運(yùn)維機(jī)制一般包括常態(tài)巡檢機(jī)制（告警檢查、硬軟件狀態(tài)等）和性能分析機(jī)制（歷史性能數(shù)據(jù)分析、容量預(yù)測、瓶頸預(yù)測及優(yōu)化等）。
3)智能運(yùn)維工具
一般來說，存儲廠商可以提供存儲產(chǎn)品的監(jiān)控及運(yùn)維工具，也可使用第三方工具。智能運(yùn)維工具的使用可以大幅提高運(yùn)維管理的準(zhǔn)確性和效率。如華為DME提供的存儲智能預(yù)測分析（硬盤失效預(yù)測、容量趨勢預(yù)測、性能潮汐分析、性能異常檢測、性能瓶頸分析、設(shè)備健康評估）、報表展現(xiàn)、存儲異構(gòu)管理等功能。
4)健全運(yùn)維生態(tài)
關(guān)鍵系統(tǒng)存儲作為銀行機(jī)構(gòu)的關(guān)鍵設(shè)備，在提升行內(nèi)技術(shù)人員能力的同時，還需建立“原廠+三方”、“一線+后臺”、“交付+研發(fā)”的立體式、全天候的支撐服務(wù)體系。
五、結(jié)束語
本文基于銀行業(yè)關(guān)鍵應(yīng)用系統(tǒng)存儲需求場景，結(jié)合行業(yè)經(jīng)驗(yàn)，對銀行業(yè)關(guān)鍵系統(tǒng)存儲架構(gòu)設(shè)計原則和關(guān)鍵點(diǎn)、投產(chǎn)實(shí)施和運(yùn)維管理等重點(diǎn)內(nèi)容進(jìn)行了研究和總結(jié)。介紹銀行業(yè)關(guān)鍵應(yīng)用系統(tǒng)類別和存儲使用場景，分析了關(guān)鍵應(yīng)用系統(tǒng)存儲架構(gòu)設(shè)計的存儲類型、容量、組網(wǎng)及高可用容災(zāi)等關(guān)鍵點(diǎn)，總結(jié)了在投產(chǎn)實(shí)施及運(yùn)維管理中需關(guān)注的現(xiàn)網(wǎng)調(diào)研、實(shí)施窗口、數(shù)據(jù)遷移、回退方案、投產(chǎn)跟蹤和常態(tài)化演練機(jī)制、日常運(yùn)維機(jī)制、智能運(yùn)維工具和健全運(yùn)維生態(tài)等重點(diǎn)方面，希望能讓讀者對銀行業(yè)關(guān)鍵應(yīng)用系統(tǒng)存儲實(shí)施落地的行業(yè)經(jīng)驗(yàn)有所了解和參考。
張鵬某金融科技公司高級技術(shù)主管：
選好產(chǎn)品很重要，存儲的核心能力要符合關(guān)鍵業(yè)務(wù)數(shù)據(jù)應(yīng)用場景。通常關(guān)鍵業(yè)務(wù)數(shù)據(jù)需要高端存儲系統(tǒng)來配合。存儲選得好非常重要，實(shí)施規(guī)劃做的好也很重要。
金融行業(yè)的關(guān)鍵應(yīng)用系統(tǒng)多數(shù)是聯(lián)機(jī)交易系統(tǒng)，數(shù)據(jù)存放于數(shù)據(jù)庫中。數(shù)據(jù)庫按照業(yè)務(wù)通常分為兩類：聯(lián)機(jī)事務(wù)處理（OLTP）和聯(lián)機(jī)分析處理（OLAP）。其中，OLTP是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的主要應(yīng)用，主要是基本、日常的事務(wù)處理,有大量在線用戶進(jìn)行事務(wù)操作，如證券交易、銀行交易、在線購物網(wǎng)站等；OLAP是數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操作，且少量的用戶在線執(zhí)行長時間復(fù)雜的統(tǒng)計查詢，側(cè)重決策支持，提供直觀易懂的查詢結(jié)果給決策人員，以便準(zhǔn)確掌握企業(yè)的經(jīng)營狀況，從而制定正確的方案。
OLTP應(yīng)用的主要負(fù)載特征是小數(shù)據(jù)塊的隨機(jī)讀寫，需要存儲系統(tǒng)提供高IOPS低時延的性能支持，以保證大量在線用戶事務(wù)操作的及時響應(yīng)。從數(shù)據(jù)庫角度看，每個事務(wù)的讀、寫、更涉及的數(shù)據(jù)量非常小。數(shù)據(jù)庫的數(shù)據(jù)必須是當(dāng)前的，所以對數(shù)據(jù)庫的可用性要求很高。多用戶并發(fā)連接數(shù)據(jù)庫，訪問數(shù)據(jù)庫，要求數(shù)據(jù)庫有很快的響應(yīng)時間，通常一個事務(wù)在幾秒內(nèi)完成。從存儲角度看，每個I/O非常小，通常為2KB~8KB，訪問硬盤數(shù)據(jù)的位置非常隨機(jī)，通常至少30％的數(shù)據(jù)是隨機(jī)寫操作，重做日志寫入非常頻繁。
如何提升OLTP業(yè)務(wù)性能，在存儲選擇的過程中尤為重要
選好產(chǎn)品很重要，存儲的核心能力要符合關(guān)鍵業(yè)務(wù)數(shù)據(jù)應(yīng)用場景。通常關(guān)鍵業(yè)務(wù)數(shù)據(jù)需要高端存儲系統(tǒng)來配合。高端存儲系統(tǒng)必須具有以下主要特點(diǎn)：安全可靠，穩(wěn)定運(yùn)行，核心業(yè)務(wù)永不中斷，高擴(kuò)展能力等等。這些特點(diǎn)來源于高端存儲有別于中低端存儲的設(shè)計和配置。
存儲控制器的架構(gòu)設(shè)計，是存儲的核心，各高端存儲廠商都有獨(dú)門絕技，例如早期國外廠商的全光纖交換式和點(diǎn)對點(diǎn)直連相混合的統(tǒng)一星型網(wǎng)絡(luò)體系架構(gòu)，交換式體系結(jié)構(gòu)又稱CrossBar結(jié)構(gòu)，是一種高帶寬、大吞吐率和無阻塞的體系結(jié)構(gòu)。又比如有些廠商采用直連矩陣結(jié)構(gòu)，虛擬矩陣結(jié)構(gòu)，或無阻塞交換矩陣結(jié)構(gòu)，都有別于中低端存儲的雙控制器共享總線結(jié)構(gòu)，這些結(jié)構(gòu)的設(shè)計都是為了實(shí)現(xiàn)CPU、內(nèi)存、驅(qū)動器和服務(wù)器端口在各個控制器之間的共享，提供低延遲的穩(wěn)定訪問。當(dāng)前有些廠商采用的分布式多控制器多集群的結(jié)構(gòu)還可以提高高可用性以及靈活和強(qiáng)大的擴(kuò)展能力。值得自豪的是國內(nèi)高端存儲廠商目前應(yīng)對高安全，高穩(wěn)定需求的核心應(yīng)用，也推出高端存儲系統(tǒng)，例如采用創(chuàng)新的SmartMatrix智能矩陣架構(gòu)，該架構(gòu)具備全交換、全虛擬化、全冗余、固有負(fù)載均衡等特點(diǎn)，結(jié)合端到端數(shù)據(jù)完整性（End-to-endData Integrity）、內(nèi)存ECC（Error Checking andCorrecting）和傳輸通道CRC（Cyclic RedundancyCheck）等技術(shù)，提供存儲系統(tǒng)性能線性增長、最大的擴(kuò)展性、7×24小時高可用性以及高系統(tǒng)安全性，能全面滿足大中型數(shù)據(jù)中心關(guān)鍵業(yè)務(wù)的需求。
緩存Cache是存儲系統(tǒng)的核心部件。存儲系統(tǒng)中數(shù)據(jù)最終是存放在若干個磁盤中。不管是機(jī)械磁盤還是固態(tài)磁盤，其讀寫速度遠(yuǎn)低于CPU速度。因此對于存儲系統(tǒng)來說，一邊是服務(wù)器/主機(jī)高速請求，另一邊是磁盤低速讀寫，因此必須通過相應(yīng)部件和技術(shù)來調(diào)和這個高低矛盾。這就需要高速緩存（Cache）和緩存管理技術(shù)。緩存的設(shè)計各個廠商差別也比較大，有的廠商是數(shù)據(jù)和控制分離的結(jié)構(gòu)，通過數(shù)據(jù)緩存交換式結(jié)構(gòu)，提供持續(xù)的高帶寬和大吞吐率，通過控制緩存點(diǎn)對點(diǎn)直連結(jié)構(gòu)，提供多通道和高并發(fā)能力。有的廠商是數(shù)據(jù)和控制混合緩存，每塊緩存卡上分配一定地址范圍作為該緩存卡的控制信息或索引，其他地址作為數(shù)據(jù)信息的存儲，這種無集中控制緩存機(jī)制的設(shè)計就是分布式緩存架構(gòu)。不管何種設(shè)計架構(gòu)，最終使用者應(yīng)該關(guān)注的是并發(fā)訪問的能力，高速緩存是影響高端存儲的關(guān)鍵部件，高速緩存的并發(fā)訪問可以成倍地提高存儲系統(tǒng)的綜合性能，并發(fā)訪問能力沒有提高上去，后端的磁盤通路再多，磁盤I/O能力再高也無濟(jì)于事。緩存畢竟可配置的容量有限，除去用于其他功能的容量開銷，真正用于讀寫緩存的空間有限且珍貴，那么好的交換算法，智能的調(diào)度算法，可以更加高效的利用緩存空間同時調(diào)節(jié)讀寫緩存的比例，讓緩存空間能夠發(fā)揮更高效能，這也是高端存儲適應(yīng)核心關(guān)鍵業(yè)務(wù)場景必備的能力。另外需要關(guān)注的，高端存儲必備的緩存數(shù)據(jù)保護(hù)措施，通常寫緩存會提供鏡像保護(hù)，掉電電池保護(hù)等，確保未提交數(shù)據(jù)的安全。
RAID技術(shù)，即獨(dú)立磁盤冗余陣列，是把相同的數(shù)據(jù)存儲在多個硬盤的不同地方的方法?；驹聿辉谶@里贅述，主要談?wù)勗谶M(jìn)行RAID級別（以磁盤組成RAID組，不考慮熱備盤的情況舉例）選擇時，應(yīng)該考慮可靠性，讀寫性能，磁盤利用率等幾個方面。RAID0不提供數(shù)據(jù)冗余，損壞的數(shù)據(jù)將無法得到恢復(fù)，即使讀寫性能和磁盤利用率都非常高，但不適用于關(guān)鍵數(shù)據(jù)業(yè)務(wù)的場景。RAID1，數(shù)據(jù)全冗余，最多可以容許N-1個硬盤同時損壞（N個硬盤組成的RAID1陣列），讀性能較高，寫性能較低，磁盤利用率比較低（約為25%或50%），由于磁盤數(shù)量局限性比較高，通常只應(yīng)用于系統(tǒng)磁盤的數(shù)據(jù)存儲。RAID3，數(shù)據(jù)冗余度較高，任意一塊磁盤（以磁盤舉例）數(shù)據(jù)故障都可以通過校驗(yàn)進(jìn)行恢復(fù)，如果出現(xiàn)兩個及以上磁盤故障，則整個RAID級別故障，讀性能高，寫性能低，磁盤利用率較高（約為80%左右），適合于查詢類多的業(yè)務(wù)場景，例如存儲視頻影像數(shù)據(jù)。RAID5，數(shù)據(jù)冗余度較高，校驗(yàn)數(shù)據(jù)分布在每一個磁盤上，允許任意一個磁盤故障，如果出現(xiàn)兩個及以上磁盤故障，則整個RAID級別故障。讀性能較高，寫性能較高，磁盤利用率較高（約為80%左右），適用于一些關(guān)鍵數(shù)據(jù)業(yè)務(wù)場景，但配置時需要注意RAID組的磁盤數(shù)不要過大，避免故障發(fā)生帶來的寫懲罰問題。RAID6，數(shù)據(jù)冗余度較高，兩組校驗(yàn)數(shù)據(jù)分散在不同的磁盤上，允許任意兩個磁盤故障，如果出現(xiàn)三個及以上磁盤故障，則整個RAID級別故障，這種故障概率就低很多，讀性能中等，寫性能也中等，磁盤利用率隨著磁盤數(shù)量增加而增加，最大磁盤利用率約88%。SSD磁盤的大量應(yīng)用，機(jī)械磁盤性能的問題得到緩解，在關(guān)鍵數(shù)據(jù)存儲場景下，SSD磁盤采用RAID6保護(hù)方式越來越多。RAID10，數(shù)據(jù)冗余度高，最多可以容許N個硬盤同時損壞（2N個硬盤組成的RAID 10陣列），讀和寫的性能較高，磁盤利用率為50%，可應(yīng)用于關(guān)鍵數(shù)據(jù)業(yè)務(wù)場景，成本略高。當(dāng)前，一些存儲廠商還推出更高級別的RAID級別，例如采用一些動態(tài)RAID技術(shù)，基于虛擬數(shù)據(jù)塊的RAID技術(shù)，增加校驗(yàn)數(shù)量，提高冗余能力和磁盤空間利用率，縮短硬盤故障后的重構(gòu)時間，可根據(jù)業(yè)務(wù)場景的需要來選擇，通常需要注意的是冗余能力，磁盤空間利用率與性能是成反比的，根據(jù)業(yè)務(wù)特性找到折中平衡點(diǎn)是關(guān)鍵。在選擇RAID時綜合可靠性、性能、利用率、成本等方面考慮，建議分層分級進(jìn)行數(shù)據(jù)存儲策略定制，例如對于核心業(yè)務(wù)（如運(yùn)營商的計費(fèi)等系統(tǒng)或金融A類在線交易系統(tǒng)等），性能層RAID策略配置為RAID10，RAID5或更高冗余能力的RAID，如果是SSD盤可用RAID6（8D+2P）。對于非核心業(yè)務(wù)，性能層RAID策略配置為RAID5（8D+1P）。容量層的RAID策略推薦配置為RAID6。
存儲系統(tǒng)的微碼需要簡化、高效、執(zhí)行速度快、周而復(fù)始地完成服務(wù)器/主機(jī)對數(shù)據(jù)的訪問請求，同時關(guān)鍵業(yè)務(wù)系統(tǒng)有業(yè)務(wù)連續(xù)性的要求，存儲軟件功能（例如數(shù)據(jù)本地復(fù)制克隆快照、遠(yuǎn)程數(shù)據(jù)復(fù)制，存儲雙活，服務(wù)器多路徑等）都是在存儲選型里必需考慮的內(nèi)容。
存儲連接技術(shù)對存儲的性能也起著關(guān)鍵作用
小型計算機(jī)系統(tǒng)接口SCSI是一種用于計算機(jī)及其周邊設(shè)備之間（硬盤、軟驅(qū)、光驅(qū)、打印機(jī)、掃描儀等）系統(tǒng)級接口的獨(dú)立處理器標(biāo)準(zhǔn)。SCSI標(biāo)準(zhǔn)定義命令、通信協(xié)議以及實(shí)體的電氣特性（換成OSI的說法，就是占據(jù)物理層、鏈接層、套接層、應(yīng)用層），最大部分的應(yīng)用是在存儲設(shè)備上（例如硬盤、磁帶機(jī)），除外，SCSI可以連接的設(shè)備包括有掃描儀、光學(xué)設(shè)備（像CD、DVD）、打印機(jī)等等。截止到2003年的SCSI標(biāo)準(zhǔn)是Ultra 640 SCSI，其最大同步傳輸速度達(dá)到640MB/s，這種接口是一種便于系統(tǒng)集成、降低成本和提高效率的接口標(biāo)準(zhǔn)，主要用于早期的中高端服務(wù)器與工作站上。
SAS（Serial Attached SCSI，串列SCSI）是由并行SCSI物理存儲接口演化而來，是由ANSIINCITS T10技術(shù)委員會開發(fā)的新的存儲接口標(biāo)準(zhǔn)。與并行方式相比，串列方式提供更快速的通信傳輸速度以及更簡易的配置。在企業(yè)級存儲領(lǐng)域早已取代了老邁的SCSI。雖然SCSI是一個具有很多特性的并行總線技術(shù)，但SAS是一種串行互連架構(gòu)，可以讓企業(yè)用戶以更為靈活的方式進(jìn)行擴(kuò)展和管理他們的存儲系統(tǒng)。SAS則具有更高的性能，當(dāng)今SAS-4已經(jīng)可以支持22.5Gbps速率。
光纖通道FC，也稱為光纖信道和是一種高速網(wǎng)絡(luò)互聯(lián)技術(shù)（最高速度128Gbps），主要用于將計算機(jī)數(shù)據(jù)存儲連接到服務(wù)器。光纖通道由信息技術(shù)標(biāo)準(zhǔn)國際委員會（INCITS）的T11技術(shù)委員會標(biāo)準(zhǔn)化。INCITS受美國國家標(biāo)準(zhǔn)學(xué)會（ANSI）官方認(rèn)可。光纖通道FC和SCSI接口一樣最初也不是為硬盤設(shè)計開發(fā)的接口技術(shù)，是專門為網(wǎng)絡(luò)系統(tǒng)設(shè)計的，但隨著存儲系統(tǒng)對速度的需求，才逐漸應(yīng)用到硬盤系統(tǒng)中。光纖通道硬盤是為提高多硬盤存儲系統(tǒng)的速度和靈活性才開發(fā)的，它的出現(xiàn)大大提高了多硬盤系統(tǒng)的通信速度。光纖通道的主要特性有：熱插拔性、高速帶寬、遠(yuǎn)程連接、連接設(shè)備數(shù)量大等。光纖通道是為在像服務(wù)器這樣的多硬盤系統(tǒng)環(huán)境而設(shè)計，能滿足高端工作站、服務(wù)器、海量存儲子網(wǎng)絡(luò)、外設(shè)間通過集線器、交換機(jī)和點(diǎn)對點(diǎn)連接進(jìn)行雙向、串行數(shù)據(jù)通訊等系統(tǒng)對高數(shù)據(jù)傳輸率的要求。光纖通道早已經(jīng)成為企業(yè)級存儲SAN中的一種常見連接類型。
iSCSI，Internet小型計算機(jī)系統(tǒng)接口，又稱為IP-SAN，是一種基于因特網(wǎng)及SCSI-3協(xié)議下的存儲技術(shù)，由IETF提出，并于2003年2月11日成為正式的標(biāo)準(zhǔn)。iSCSI利用了TCP/IP的port 860和3260作為溝通的渠道。透過兩部計算機(jī)之間利用iSCSI的協(xié)議來交換SCSI命令，讓計算機(jī)可以透過高速的局域網(wǎng)集線來把SAN模擬成為本地的儲存裝置。iSCSI常常被認(rèn)為是光纖通道FC的一個低成本替代方法，使用它來連接服務(wù)器計算機(jī)和磁盤卷上存儲陣列。
NVMe非易失性內(nèi)存標(biāo)準(zhǔn)；相比于傳統(tǒng)的SATA和SAS總線技術(shù)，NVMe SSD利用了服務(wù)器中的PCIe高速總線，將其直接連接到計算機(jī)，從而減少了CPU的開銷，簡化了操作，降低了延遲，提高了IOPS和吞吐量。隊(duì)列深度是NVMe相對于SATA和SAS的另一個優(yōu)勢，SATA和SAS只能是單個隊(duì)列，而且每個隊(duì)列的深度也比較低，而NVMe協(xié)議設(shè)計之初就考慮了該問題，它的最大隊(duì)列數(shù)量可以是65K，而且每個隊(duì)列的深度可以高達(dá)65K。除了減少延遲外，這對于提高服務(wù)器處理并發(fā)請求的能力至關(guān)重要。
RoCE是一種允許通過以太網(wǎng)使用遠(yuǎn)程直接內(nèi)存訪問（RDMA）的網(wǎng)絡(luò)協(xié)議。在全閃存存儲的SAN網(wǎng)絡(luò)中使用10GE/25GE的交換機(jī)通信，將大幅降低網(wǎng)絡(luò)時延，提升整體性能。
NVMe over Fabrics（簡稱NVMe-OF）將NVMe應(yīng)用到前端，作為存儲陣列與前端服務(wù)器連接的通道，取代過去的FC、iSCSI。由此，服務(wù)器可以使用本機(jī)NVMe協(xié)議直接與NVMe SSD通信，從而大幅降低了延遲。對于NVMe-oF，傳輸類型有3種選擇，分別是使用光纖通道、TCP和RDMA的NVMe-oF。采用RDMA作為傳輸類型的NVMe over RoCE對網(wǎng)絡(luò)要求較高，要求交換機(jī)能夠支持無損以太網(wǎng)，支持PFC死鎖檢測和抑制/隔離等。
存儲選的好非常重要，實(shí)施規(guī)劃做的好也很重要
存儲的實(shí)施需要從存儲本身及存儲組網(wǎng)環(huán)境幾個方面來設(shè)計。
存儲側(cè)的配置主要包含容量、存儲池、文件系統(tǒng)以及網(wǎng)絡(luò)的規(guī)劃。使用存儲之前，建議首先分析清楚業(yè)務(wù)性能和容量需求，做好存儲系統(tǒng)的硬盤數(shù)規(guī)劃，降低運(yùn)維風(fēng)險。
存儲系統(tǒng)用于存儲業(yè)務(wù)數(shù)據(jù)和系統(tǒng)數(shù)據(jù)，為了保證有足夠的容量用于存儲業(yè)務(wù)數(shù)據(jù)，需要對存儲系統(tǒng)的可用容量進(jìn)行合理規(guī)劃。規(guī)劃可用容量時，需要考慮單盤標(biāo)稱容量、熱備容量、RAID利用率等因素。硬盤廠商和操作系統(tǒng)對硬盤容量定義的算法是存在偏差的，因此，硬盤的標(biāo)稱容量和操作系統(tǒng)中顯示的實(shí)際容量也存在著一定的偏差。通常硬盤廠商的算法：1GB=1,000MB、1MB=1,000KB、1KB=1,000bytes。操作系統(tǒng)的算法：1GB=1,024MB、1MB=1,024KB、1KB=1,024bytes。存儲系統(tǒng)支持熱備空間，用于承載失效成員盤中的數(shù)據(jù)，在規(guī)劃存儲可用容量時要考慮熱備空間的占用。不同的RAID級別中，校驗(yàn)數(shù)據(jù)帶來的容量開銷是不同的，也就是說RAID有效磁盤空間利用率也是規(guī)劃實(shí)際可用容量需要考慮的。除此之外，不同廠商可用容量數(shù)據(jù)塊大小計算也有差異，所以計算規(guī)劃可用容量的時候，最好有一定的余量。
存儲池，是存放存儲空間資源的容器。為了更好地利用存儲系統(tǒng)的存儲空間，需要根據(jù)實(shí)際的業(yè)務(wù)需求，對存儲池的RAID策略進(jìn)行合理的規(guī)劃。根據(jù)RAID中檢驗(yàn)位的個數(shù)不同提供不同的保護(hù)級別。RAID保護(hù)級別的選擇可以參考前文描述，根據(jù)業(yè)務(wù)特點(diǎn)不同提供更合理的容量和性能。創(chuàng)建存儲池時，允許設(shè)置容量分配比的告警閾值，默認(rèn)是80（百分比），這里特別強(qiáng)調(diào)關(guān)鍵業(yè)務(wù)環(huán)境下不建議增大這個預(yù)警值。在使用瘦磁盤（Thin LUN）的時候，容量告警尤其重要，用戶可以根據(jù)業(yè)務(wù)數(shù)據(jù)量增長的速度設(shè)置合理的告警閾值，避免業(yè)務(wù)因?yàn)榇鎯Τ厝萘坎蛔愣斐煞?wù)中斷。存儲池中RAID的劃分，還要考慮磁盤冗余和磁盤柜冗余，以及熱備盤的配比。RAID是否跨磁盤柜，在空間利用率、可靠性、性能方面還是有差異，不跨磁盤柜的RAID空間利用率高，跨磁盤柜的RAID可靠性高，兩者隨機(jī)讀與順序讀性能相當(dāng)，其中不跨磁盤柜的RAID順序?qū)懶阅芨哂陔S機(jī)寫性能。
存儲區(qū)域網(wǎng)絡(luò)SAN中，邏輯單元號LUN是用來標(biāo)識一個邏輯單元的數(shù)字，這個邏輯單元是通過SCSI尋址的設(shè)備。存儲系統(tǒng)將物理硬盤進(jìn)行分區(qū)，成為擁有邏輯地址的各個部分，進(jìn)而允許服務(wù)器進(jìn)行訪問，這樣的一個分區(qū)便稱為一個LUN。通常說的LUN也指在SAN存儲上創(chuàng)建的邏輯磁盤。不同廠商對LUN和卷的定義不同，本文針對一般情況進(jìn)行描述，即卷只是針對服務(wù)器來講。存儲系統(tǒng)上創(chuàng)建一個LUN，此時LUN相對于存儲系統(tǒng)是一個邏輯設(shè)備。當(dāng)網(wǎng)絡(luò)中的服務(wù)器連接到存儲系統(tǒng)時，就可以識別到存儲系統(tǒng)上的邏輯設(shè)備LUN，此時LUN相對于服務(wù)器來講就是一個物理硬盤。在該物理硬盤上創(chuàng)建一個或多個分區(qū)，就可以得到一個或多個卷。此時卷相對于服務(wù)器是一個邏輯設(shè)備。數(shù)據(jù)庫或應(yīng)用系統(tǒng)創(chuàng)建LUN時，為了存儲系統(tǒng)的性能達(dá)到最優(yōu)狀態(tài)，需要根據(jù)實(shí)際的數(shù)據(jù)存儲情況，為LUN選擇合適的策略。通常存儲廠商會提供不同應(yīng)用類型的預(yù)置配置策略，如果沒有匹配特定的應(yīng)用類型，也可以選擇通用類型。LUN數(shù)量的設(shè)置，要考慮LUN是否跨越RAID組中的所有硬盤，新型的RAID技術(shù)的存儲池會將LUN的數(shù)據(jù)塊盡量分布在所有硬盤上，發(fā)揮最大性能，所以要參考不同廠商提供的配置策略設(shè)置合理的LUN數(shù)量。同時滿足數(shù)量的前提下，使用盡量大的LUN容量，以簡化管理開銷，但是建議單個LUN不要超過2TByte。
網(wǎng)絡(luò)側(cè)配置，不管通過以光纖通道為代表的存儲區(qū)域網(wǎng)絡(luò)還是通過以太網(wǎng)互聯(lián)，存儲和服務(wù)器之間的網(wǎng)絡(luò)側(cè)規(guī)劃要充分考慮可靠性和負(fù)載均衡等特性，通常要遵循幾個原則，即服務(wù)器鏈路雙交換組網(wǎng)，每個服務(wù)器至少兩張HBA卡（這里的HBA卡不是泛指光纖通道卡，可以理解為服務(wù)器通過不同協(xié)議連接存儲的接口卡），每張卡到兩個交換機(jī)均有鏈路；存儲到交換機(jī)雙交換組網(wǎng)，每個控制器至少兩張接口卡，每張接口卡到兩個交換機(jī)均有鏈路。
存儲和服務(wù)器間的訪問控制也需要規(guī)劃。LUN Masking邏輯單元號掩蔽是指LUN與服務(wù)器HBA卡的WWN地址綁定，與服務(wù)器HBA卡建立一對一或多對一的連接和訪問關(guān)系。以存儲為中心的，在一個存儲前端端口掩碼多個LUN的加強(qiáng)型方法。LUN Masking在存儲控制器級別上進(jìn)行服務(wù)器HBA的WWN綁定，因此存儲控制能夠?qū)⒉煌琇UN劃分給一個或多個服務(wù)器，可以提供LUN級別的訪問控制。LUN Masking也允許磁盤存儲資源在多個獨(dú)立服務(wù)器之間共享。LUNMapping邏輯單元號映射是指LUN與存儲設(shè)備的服務(wù)器端口進(jìn)行綁定，服務(wù)器連接不同的服務(wù)器端口時所能訪問的LUN不同。實(shí)現(xiàn)不同的LUN與不同的存儲服務(wù)器端口綁定，不同的服務(wù)器端口與不同的FC交換機(jī)或者不同的ZONE連接，從而實(shí)現(xiàn)不同的服務(wù)器只能訪問不同的存儲端口。不同廠商對LUN Masking和LUN Mapping的定義和解釋不完全相同，有的甚至就定義成一個名稱。本位以映射視圖作為統(tǒng)稱，主要圖定義了LUN、陣列端口、服務(wù)器端口之間的邏輯映射。創(chuàng)建映射視圖，建議為了便于管理，建立類似LUN組的對象，將同一種業(yè)務(wù)的LUN加入到一個LUN組內(nèi)。建立類似服務(wù)器組的對象，將包含一組需要共享存儲資源的“服務(wù)器”，以及每個“服務(wù)器”包含多個啟動器（主機(jī)端口）。為每一個服務(wù)器創(chuàng)建一個“服務(wù)器”，將該服務(wù)器的所有啟動器添加到該“服務(wù)器”內(nèi)。如果為了可以更精細(xì)化的控制存儲端口的分配，可以考慮建立類似端口組的對象，一個端口組應(yīng)至少包含來自于每個控制器的一個端口，以增加運(yùn)維的靈活性，降低業(yè)務(wù)之間的性能影響，同時避免單點(diǎn)故障。
服務(wù)器側(cè)的配置，主要考慮在服務(wù)器硬件資源有限的情況下，最大程度地發(fā)揮出服務(wù)器性能，提高系統(tǒng)的并發(fā)處理能力與穩(wěn)定性是一項(xiàng)相當(dāng)重要的工作。操作系統(tǒng)內(nèi)核參數(shù)的調(diào)整是必不可少的。例如Linux系統(tǒng)下，TCP斷開連接以后會以TIIME_WAIT狀態(tài)保留一定的時間，然后才會釋放端口。當(dāng)并發(fā)請求過多的時候，就會產(chǎn)生大量的TIME_WAIT狀態(tài)的連接，不及時斷開將會占用大量的端口資源。通過優(yōu)化TCP的內(nèi)核參數(shù)，及時清理掉TIME_WAIT狀態(tài)的端口。編輯/etc/sysctl.conf并添加參數(shù)內(nèi)容。net.ipv4.tcp_syncookies=1表示開啟SYN Cookies。當(dāng)出現(xiàn)SYN等待隊(duì)列溢出時，啟用Cookies來處理，可防范少量SYN攻擊，默認(rèn)為0表示關(guān)閉。net.ipv4.tcp_tw_reuse=1表示開啟重用。允許將TIME_WAIT sockets重新用于新的TCP連接。默認(rèn)為0表示關(guān)閉。net.ipv4.tcp_tw_recycle=1表示開啟TCP連接中TIME_WAIT sockets的快速回收。默認(rèn)為0表示關(guān)閉。net.ipv4.tcp_fin_timeout=30表示修改系統(tǒng)默認(rèn)的TIMEOUT時間。讓內(nèi)核參數(shù)修改生效記得執(zhí)行命令sysctl–p。
服務(wù)器側(cè)還需要進(jìn)行多路徑的配置，主要是服務(wù)器操作系統(tǒng)自身的多路徑管理軟件和存儲廠商提供的多路徑管理軟件。一般存儲廠商提供的多路徑管理軟件是基于操作系統(tǒng)上的增強(qiáng)?？梢酝ㄟ^更豐富的參數(shù)配置，靈活配置路徑的選擇算法，和分配I/O負(fù)載。尤其是在存儲雙活的解決方案中，多路徑管理軟件的配合非常重要。
關(guān)鍵數(shù)據(jù)存儲在數(shù)據(jù)庫中，數(shù)據(jù)庫側(cè)的配置也是非常重要，企業(yè)級數(shù)據(jù)庫的日志文件和數(shù)據(jù)文件的存儲方式不同，對存儲的要求也不同，例如日志文件會存在頻繁的覆蓋寫的操作，如果存儲中有SSD磁盤，就要特別注意SSD磁盤對寫入次數(shù)的限制，那么就需要通過對數(shù)據(jù)庫參數(shù)的調(diào)整，來減少磁盤離散寫入，增加磁盤順序?qū)懭氲牧?，并且盡量分布均勻的寫入磁盤空間。不同的數(shù)據(jù)庫的數(shù)據(jù)引擎對存儲的I/O要求差異較大，具體情況請參考數(shù)據(jù)庫相關(guān)文檔。
實(shí)施中配置步驟參考
OLTP數(shù)據(jù)庫場景下，存儲配置步驟可參考下表。
表1 OLTP數(shù)據(jù)庫場景下存儲配置步驟表
總結(jié)
本文介紹了金融機(jī)構(gòu)關(guān)鍵業(yè)務(wù)系統(tǒng)數(shù)據(jù)存儲的選型關(guān)注點(diǎn)，以及實(shí)施配置中的一些最佳實(shí)踐，讀者可以利用本文提供的存儲、組網(wǎng)、參數(shù)等信息，在實(shí)踐中進(jìn)行參考，減少在實(shí)施方案規(guī)劃時的負(fù)擔(dān)與實(shí)施過程中的風(fēng)險。也期望能夠幫助讀者為關(guān)鍵業(yè)務(wù)系統(tǒng)選擇到具有高性能、高擴(kuò)展性、安全穩(wěn)定、簡單易用的存儲系統(tǒng)。
結(jié)束語
金融行業(yè)對數(shù)據(jù)存儲的性能、高可用性、安全性、業(yè)務(wù)連續(xù)性等要求比較高，應(yīng)用場景豐富，企業(yè)級存儲需要具備對應(yīng)的能力，并且在實(shí)施過程中需要根據(jù)數(shù)據(jù)特點(diǎn)做好規(guī)劃設(shè)計。議題中闡述的技術(shù)特點(diǎn)多為通用技術(shù)，或業(yè)界主流技術(shù)特點(diǎn)，意在引導(dǎo)廠商在做產(chǎn)品設(shè)計時能夠更好理解用戶的應(yīng)用場景，同時為用戶在實(shí)施規(guī)劃中提供參考。
