【摘要】在數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)計中，和業(yè)務(wù)相關(guān)的網(wǎng)絡(luò)設(shè)計已非常成熟，而沒有和直接業(yè)務(wù)相關(guān)的網(wǎng)絡(luò)設(shè)計卻未得到足夠重視。當(dāng)收到某項不和業(yè)務(wù)直接相關(guān)的網(wǎng)建設(shè)需求時，通常僅根據(jù)該需求建設(shè)獨立網(wǎng)絡(luò)，或在業(yè)務(wù)網(wǎng)內(nèi)規(guī)劃獨立VLAN。隨著虛擬化、分布式技術(shù)、云計算等新技術(shù)的大量使用，不直接和業(yè)務(wù)相關(guān)的網(wǎng)絡(luò)建設(shè)需求越來越多，也越來越復(fù)雜。如依然采用上述方法建設(shè)網(wǎng)絡(luò)，不僅會增加運維、管理上的復(fù)雜度，還會造成設(shè)備利用率低，資源浪費嚴(yán)重；或因增加業(yè)務(wù)網(wǎng)絡(luò)的復(fù)雜性，而影響業(yè)務(wù)網(wǎng)的穩(wěn)定性和性能。因此，在數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)時，針對不直接和業(yè)務(wù)相關(guān)的網(wǎng)絡(luò)，如何進(jìn)行統(tǒng)籌規(guī)劃和建設(shè)，已越顯重要。
【關(guān)鍵詞】業(yè)務(wù)網(wǎng)、非業(yè)務(wù)網(wǎng)、安全域、VRF、SDN、Vlan、ACL
【作者】范永清，系統(tǒng)架構(gòu)師，現(xiàn)就職于廈門銀行信息技術(shù)部，目前主要負(fù)責(zé)廈門銀行技術(shù)架構(gòu)設(shè)計。
直接為業(yè)務(wù)系統(tǒng)提供服務(wù)的網(wǎng)絡(luò)稱為業(yè)務(wù)網(wǎng)絡(luò)。為保證銀行信息系統(tǒng)的安全運行，結(jié)合監(jiān)管部門要求，通常將業(yè)務(wù)網(wǎng)劃分為若干安全區(qū)域，各安全區(qū)域之間通過防火墻隔離。如數(shù)據(jù)庫區(qū)、應(yīng)用服務(wù)區(qū)、外聯(lián)區(qū)、互聯(lián)網(wǎng)金融區(qū)等。關(guān)于業(yè)務(wù)網(wǎng)的網(wǎng)絡(luò)規(guī)劃與設(shè)計已非常成熟，本文不再詳述。
不直接為業(yè)務(wù)提供服務(wù)的網(wǎng)絡(luò)，稱為非業(yè)務(wù)網(wǎng)絡(luò)。不同用途的非業(yè)務(wù)網(wǎng)絡(luò)特點不同。本文將對非業(yè)務(wù)網(wǎng)絡(luò)的特性進(jìn)行分析，從全局角度，統(tǒng)籌規(guī)劃，以獲得強穩(wěn)定、易擴展、便運維的高性能非業(yè)務(wù)網(wǎng)絡(luò)。
一、非業(yè)務(wù)網(wǎng)的分類、特性與網(wǎng)絡(luò)規(guī)劃需求
沒有直接和業(yè)務(wù)相關(guān)的網(wǎng)絡(luò)，根據(jù)其用途，可分為帶外管理網(wǎng)、虛擬化管理網(wǎng)、虛擬化遷移網(wǎng)、數(shù)據(jù)備份網(wǎng)、數(shù)據(jù)同步網(wǎng)、集群心跳網(wǎng)、分布式集群數(shù)據(jù)同步網(wǎng)、存儲應(yīng)用IP數(shù)據(jù)網(wǎng)等，網(wǎng)絡(luò)規(guī)劃需求分述如下：
1、帶外管理網(wǎng)
帶外管理網(wǎng)，用于連接各類硬件設(shè)備的帶外管理，如網(wǎng)絡(luò)、存儲、服務(wù)器、安全等設(shè)備的帶外管理。
每臺設(shè)備通常只有一個千兆電口的帶外管理口，因此帶外管理網(wǎng)接入只需配置單臺千兆電口網(wǎng)絡(luò)接入交換機。
帶外管理網(wǎng)可根據(jù)管理設(shè)備類型或管理員權(quán)劃分VLAN，各Vlan間相互獨立，且各數(shù)據(jù)中心之間無需相互通訊，無需發(fā)布路由。
如按管理設(shè)備類型劃分4個Vlan，分別用于網(wǎng)絡(luò)、存儲、服務(wù)器、安全設(shè)備的帶外管理。當(dāng)需要增加一類管理設(shè)備時，可增加一個Vlan。
因帶外管理網(wǎng)不發(fā)布路由，為實現(xiàn)遠(yuǎn)程管理，需配置帶外管理服務(wù)器，該服務(wù)器配置雙網(wǎng)卡，其中一個網(wǎng)卡連接帶外管理網(wǎng)，另一網(wǎng)卡連接業(yè)務(wù)網(wǎng)的運維管理區(qū)，運維人員配合堡壘機系統(tǒng)，可實現(xiàn)遠(yuǎn)程管理。
網(wǎng)絡(luò)規(guī)劃需求如下圖所示：
2、虛擬化管理網(wǎng)
虛擬化管理網(wǎng)，用于虛擬化資源池的管理，如VMware、KVM、容器平臺等資源池的管理。
該網(wǎng)絡(luò)流量較小，但需保證網(wǎng)絡(luò)的高可用，故每臺宿主機須配置兩張千兆電口網(wǎng)卡，每張網(wǎng)卡分別連接到兩臺接入交換機。
虛擬化管理網(wǎng)可根據(jù)虛擬化管理要求，劃分不同VLAN（如VMware管理VLAN、KVM管理VLAN等），各VLAN間相互隔離，且各數(shù)據(jù)中心之間無通訊需求。
如增加一個虛擬化管理類型，可增加一個Vlan。
因運維人員需要遠(yuǎn)程進(jìn)行維護(hù)，故需把路由發(fā)布到全網(wǎng)。因此，在實際建設(shè)時，可將虛擬化管理網(wǎng)建設(shè)在業(yè)務(wù)網(wǎng)的運維管理區(qū)。
網(wǎng)絡(luò)規(guī)劃需求如下圖所示：
3、虛擬化遷移網(wǎng)
虛擬化遷移網(wǎng)，用于虛擬化資源池中的虛擬機遷移，如：VMware的Vmotion等。
該網(wǎng)絡(luò)流量大，且必須保證高可用，故每臺宿主機需配置兩張萬兆光口網(wǎng)卡，每張網(wǎng)卡分別連接到兩臺接入交換機。
虛擬化遷移網(wǎng)可根據(jù)虛擬化資源池劃分VLAN。每個資源池對應(yīng)一個VLAN，。因虛機的遷移只發(fā)生在資源池內(nèi)部，且無需跨中心遷移，故中心內(nèi)各VLAN之間相互隔離，且數(shù)據(jù)中心之間無需相互通訊，無需發(fā)布路由。
如增加一個資源池，可增加一個Vlan。
網(wǎng)絡(luò)規(guī)劃需求如下圖所示：
4、數(shù)據(jù)備份網(wǎng)
數(shù)據(jù)備份網(wǎng)，用于備份數(shù)據(jù)的傳輸，如虛擬化、數(shù)據(jù)庫的數(shù)據(jù)備份、虛擬帶庫的數(shù)據(jù)傳輸?shù)取?/p>
該網(wǎng)絡(luò)流量大、且必須保證高可用，故每臺宿主機需配置兩張萬兆光口網(wǎng)卡，每張網(wǎng)卡分別連接到兩臺接入交換機。
根據(jù)備份要求，數(shù)據(jù)中心內(nèi)的數(shù)據(jù)備份到本地備份服務(wù)器后，還須同時傳送到同城中心和異地中心保存，故需打通各個中心的備份網(wǎng)絡(luò)。為實現(xiàn)上述網(wǎng)絡(luò)需求，同時不打破業(yè)務(wù)中的安全域規(guī)劃，數(shù)據(jù)備份網(wǎng)根據(jù)業(yè)務(wù)網(wǎng)中的安全區(qū)域劃分VLAN，不同安全域?qū)?yīng)不同備份Vlan，各Vlan間相互獨立（如下圖中的Vlan(1)~Vlan(n)）。再規(guī)劃一個獨立Vlan（如下圖中的VLan (X)），用于備份服務(wù)器的網(wǎng)絡(luò)接入。該Vlan分別與各備份Vlan（Vlan1~Vlan(n)）通訊。為了實現(xiàn)數(shù)據(jù)的異地保存，還須打通各數(shù)據(jù)中心備份服務(wù)器Vlan（Vlan（X））的網(wǎng)絡(luò)。
如業(yè)務(wù)網(wǎng)增加一個安全域，數(shù)據(jù)備份網(wǎng)應(yīng)相應(yīng)增加一個備份VLan
網(wǎng)絡(luò)規(guī)劃需求如下圖所示：
5、數(shù)據(jù)同步網(wǎng)
數(shù)據(jù)同步網(wǎng)，用于數(shù)據(jù)中心之間對應(yīng)數(shù)據(jù)庫的數(shù)據(jù)同步，如Oracle的DG、MySQL的Binlog等。
該網(wǎng)絡(luò)流量大，且必須保證高可用，故每臺宿主機需配置兩張萬兆光口網(wǎng)卡，每張網(wǎng)卡分別連接到兩臺接入交換機。
根據(jù)數(shù)據(jù)中心應(yīng)用級災(zāi)備要求，各中心均均須部署應(yīng)用系統(tǒng)和數(shù)據(jù)庫，并利用數(shù)據(jù)庫的復(fù)制技術(shù)，將主中心的數(shù)據(jù)實時同步到其他中心的數(shù)據(jù)庫上。根據(jù)上述網(wǎng)絡(luò)需求，數(shù)據(jù)同步網(wǎng)根據(jù)業(yè)務(wù)網(wǎng)中數(shù)據(jù)庫所在安全域劃分Vlan，不同安全域?qū)?yīng)不同Vlan，各VLAN間相互隔離，同時打通數(shù)據(jù)中心對應(yīng)Vlan的網(wǎng)絡(luò)。
如業(yè)務(wù)網(wǎng)中增加一個數(shù)據(jù)庫分區(qū)，數(shù)據(jù)同步網(wǎng)應(yīng)相應(yīng)增加一個數(shù)據(jù)庫同步Vlan。
網(wǎng)絡(luò)規(guī)劃需求如下圖所示：
6、集群心跳網(wǎng)
集群心跳網(wǎng)，用于集群的心跳數(shù)據(jù)傳輸，如Oracle RAC的數(shù)據(jù)庫心跳。
該網(wǎng)絡(luò)流量大，且必須保證高可用，故每臺宿主機需配置兩張萬兆光口網(wǎng)卡，每張網(wǎng)卡分別連接到兩臺接入交換機上。
集群心跳網(wǎng)根據(jù)集群劃分Vlan，每個集群劃分一個Vlan。（如Oracle RAC，每個Oracle RAC劃分一個Vlan）。各VLAN間相互獨立，且各數(shù)據(jù)中心之間無通訊需求，無需發(fā)布路由。
如增加一個集群，集群心跳網(wǎng)應(yīng)相應(yīng)增加一個Vlan。
網(wǎng)絡(luò)規(guī)劃需求如下圖所示：
7、分布式集群數(shù)據(jù)同步網(wǎng)
分布式集群數(shù)據(jù)同步網(wǎng)，用于承載分布式存儲集群、分布式數(shù)據(jù)庫集群內(nèi)各節(jié)點之間副本數(shù)據(jù)的同步，如hadoop集群、分布式存儲集群等。
該網(wǎng)絡(luò)的流量大，且必須保證高可用，故每個節(jié)點服務(wù)器配置兩張萬兆光口網(wǎng)卡，每張網(wǎng)卡分別連接到兩臺接入交換機。
分布式集群數(shù)據(jù)同步網(wǎng)根據(jù)分布式集群資源池劃分Vlan，每個資源池對應(yīng)一個Vlan。因副本數(shù)據(jù)只在集群內(nèi)部復(fù)制，故中心內(nèi)各VLAN相互隔離，但因數(shù)據(jù)要復(fù)制到其他中心，故需打通數(shù)據(jù)中心之間對應(yīng)Vlan的網(wǎng)絡(luò)。
如增加一個分布式集群，可增加一個Vlan。
網(wǎng)絡(luò)規(guī)劃需求如下圖所示：
8、存儲應(yīng)用IP數(shù)據(jù)網(wǎng)
存儲應(yīng)用IP數(shù)據(jù)網(wǎng)，用于承載應(yīng)用系統(tǒng)的存儲IP數(shù)據(jù)，如業(yè)務(wù)系統(tǒng)訪問分布式存儲、NAS存儲時，使用該網(wǎng)絡(luò)。
該網(wǎng)絡(luò)的流量大，且必須保證高可用，故每個節(jié)點服務(wù)器配置兩張萬兆光口網(wǎng)卡，每張網(wǎng)卡分別連接到兩臺接入交換機。
為保證訪問效率，應(yīng)用系統(tǒng)不建議跨中心訪問存儲系統(tǒng)，故無需打通跨中心的訪問。
根據(jù)業(yè)務(wù)網(wǎng)中的安全區(qū)域劃分VLAN，每個安全域?qū)?yīng)一個存儲數(shù)據(jù)Vlan，各Vlan間相互獨立（如下圖中的Vlan(1)~Vlan(n)）。再規(guī)劃一個獨立Vlan（如下圖中的VLan (X)），用于NAS、分布式存儲的存儲應(yīng)用IP數(shù)據(jù)網(wǎng)的接入。該Vlan分別與各存儲數(shù)據(jù)Vlan（Vlan1~Vlan(n)）通訊。
如業(yè)務(wù)網(wǎng)增加一個安全域，存儲應(yīng)用IP數(shù)據(jù)網(wǎng)應(yīng)相應(yīng)增加一個數(shù)據(jù)存儲VLan。
網(wǎng)絡(luò)規(guī)劃需如下圖所示：
二、數(shù)據(jù)中心非業(yè)務(wù)網(wǎng)的規(guī)劃與實踐
在數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)中，根據(jù)上述非業(yè)務(wù)網(wǎng)絡(luò)規(guī)劃需求，新規(guī)劃的非業(yè)務(wù)網(wǎng)將與生產(chǎn)網(wǎng)隔離，且更注重網(wǎng)絡(luò)的性能，同時具備廣接入、易擴展、便管理的特性。規(guī)劃要點如下：
非業(yè)務(wù)網(wǎng)采用兩層網(wǎng)絡(luò)架構(gòu)設(shè)計，每個服務(wù)器分區(qū)部署二層接入交換機，支持千兆、萬兆網(wǎng)絡(luò)接入。核心采用高性能、低延時的三層交換機。接入交換機與核心交換機之間采用40G/100G互聯(lián)。為保證網(wǎng)絡(luò)的高可用，核心和每組接入交換機均采用雙機部署。網(wǎng)絡(luò)示意圖如下：
在實際網(wǎng)絡(luò)建設(shè)時，可采用傳統(tǒng)的路由交換技術(shù)或SDN技術(shù)組建物理網(wǎng)絡(luò)，在物理網(wǎng)絡(luò)上劃分VRF（或租戶），每個VRF（或租戶）對應(yīng)某個用途的非業(yè)務(wù)網(wǎng)。VRF內(nèi)設(shè)置多個Vlan（或租戶內(nèi)設(shè)置多個EPG），Vlan之間通過ACL隔離（租戶采用EPG隔離）。啟用路由協(xié)議，按需實現(xiàn)中心內(nèi)或多中心間Vlan的相互通訊。為使方案更具通用性，本文擬采用傳統(tǒng)的路由交換技術(shù)，規(guī)劃非業(yè)務(wù)網(wǎng)絡(luò)。
因虛擬化管理網(wǎng)路由需發(fā)布到運維管理區(qū)，為簡化設(shè)計，可直接將虛擬化管理網(wǎng)規(guī)劃在運維管理區(qū)上，本文不再詳述。
如需增加一類非業(yè)務(wù)應(yīng)用，可在非業(yè)務(wù)網(wǎng)上增加一個VRF（或租戶），并按需求劃分Vlan、發(fā)布路由。
VRF和Vlan劃分詳見下表：
接入交換機端口與路由規(guī)劃如下：
為了避免服務(wù)器在運行過程中，不同類型的網(wǎng)絡(luò)相互產(chǎn)生影響，根據(jù)非業(yè)務(wù)網(wǎng)絡(luò)的流量特點，對服務(wù)器的網(wǎng)絡(luò)接入進(jìn)行了規(guī)劃。詳見下表：
獨立的非業(yè)務(wù)網(wǎng)規(guī)劃，隔離了非業(yè)務(wù)應(yīng)用對業(yè)務(wù)的影響，提高了業(yè)務(wù)網(wǎng)的穩(wěn)定性。此外，統(tǒng)籌的非業(yè)務(wù)網(wǎng)規(guī)劃，不僅很好地滿足了非業(yè)務(wù)應(yīng)用的各項網(wǎng)絡(luò)需求，為非業(yè)務(wù)應(yīng)用提供穩(wěn)定、可靠的高效網(wǎng)絡(luò)，同時提高設(shè)備利用率，減少機柜占用空間，且方便了未來非業(yè)務(wù)的擴展，簡化運維。
