一名銀行數(shù)據(jù)中心工作多年的IT人對轉(zhuǎn)型分布式系統(tǒng)的思考與對策

隨著云計算、大數(shù)據(jù)等數(shù)字技術(shù)的廣泛應(yīng)用,以及在移動互聯(lián)網(wǎng)、互聯(lián)網(wǎng)金融、去IOE和自主可控等內(nèi)外環(huán)境和監(jiān)管政策的指引和驅(qū)動下,中國金融的科技領(lǐng)域正發(fā)生著翻天覆地的變化。銀行、保險、證券、信托等金融行業(yè)為了提高信息系統(tǒng)的靈活度、降低成本、安全可控等,紛紛采取分布式架構(gòu)和相關(guān)技術(shù)建設(shè)新系統(tǒng)或者重構(gòu)原有系統(tǒng)。

【摘要】從集中式架構(gòu)演變到分布式架構(gòu),給銀行內(nèi)圍繞集中式架構(gòu)的相關(guān)崗位人群帶來了新的挑戰(zhàn)和職業(yè)風險。當時代拋棄你的時候它都不會給你打招呼。作為一名銀行的數(shù)據(jù)中心從業(yè)人員,根據(jù)十幾年來經(jīng)歷IT架構(gòu)的情況,說說自己的感受。

【作者】加州是我,2004年大學本科信息管理專業(yè)畢業(yè)后進入當時一家新興的全國制股份銀行,從此開始IT運維工作,從未換過部門科室,一路伴隨該銀行的不斷發(fā)展走到今日。經(jīng)歷了批量操作、基礎(chǔ)設(shè)施運維、應(yīng)用系統(tǒng)維護、IT運維及分支行籌建等多種崗位。尤其親身經(jīng)歷數(shù)據(jù)中心從無到有、從小到大的過程;從傳統(tǒng)的集中式、電子化到現(xiàn)在的分布式、智能化,從物理機到云時代的發(fā)展。

一、綜述

隨著云計算、大數(shù)據(jù)等數(shù)字技術(shù)的廣泛應(yīng)用,以及在移動互聯(lián)網(wǎng)、互聯(lián)網(wǎng)金融、去IOE和自主可控等內(nèi)外環(huán)境和監(jiān)管政策的指引和驅(qū)動下,中國金融的科技領(lǐng)域正發(fā)生著翻天覆地的變化。銀行、保險、證券、信托等金融行業(yè)為了提高信息系統(tǒng)的靈活度、降低成本、安全可控等,紛紛采取分布式架構(gòu)和相關(guān)技術(shù)建設(shè)新系統(tǒng)或者重構(gòu)原有系統(tǒng)。

在企業(yè)信息化建設(shè)快速發(fā)展的今天,金融行業(yè)信息系統(tǒng)規(guī)模越來越大,復(fù)雜程度越來越高,IT 架構(gòu)技術(shù)支撐能力的重要性愈加凸顯。具備處理大規(guī)模高并發(fā)交易處理能力已成為銀行業(yè)務(wù)系統(tǒng)的標配,當前在互聯(lián)網(wǎng)業(yè)務(wù)蓬勃發(fā)展的大背景下,基于海量數(shù)據(jù)的處理與分析需求不斷增多,隨著銀行對IT成本的控制更加嚴格,對IT 架構(gòu)的選擇也更加謹慎。

作為一名銀行的數(shù)據(jù)中心從業(yè)人員,根據(jù)十幾年來經(jīng)歷IT架構(gòu)的情況,說說自己的感受。經(jīng)歷了小機+存儲的典型物理架構(gòu)、從前置系統(tǒng)+核心系統(tǒng)的集中業(yè)務(wù)架構(gòu),到現(xiàn)在的分布式、大數(shù)據(jù)、智能化的IT變化,銀行內(nèi)的信息架構(gòu)也隨著時代的改變在不斷的演化升級,已開始逐步從集中式架構(gòu)演變到分布式架構(gòu)。這一演變,也給銀行內(nèi)圍繞集中式架構(gòu)的相關(guān)崗位人群帶來了新的挑戰(zhàn)和職業(yè)風險。當然,這其中也存在著新的機會,因為新的架構(gòu),新的體系,也意味著需要更多符合要求的新人才。

二、分布式系統(tǒng)產(chǎn)生的背景

首先說說集中式架構(gòu),這個架構(gòu)多用于傳統(tǒng)金融行業(yè)、運營商等行業(yè)。主機資源集中在大型主機或小型機上。集中式架構(gòu)下,包括操作系統(tǒng),中間件,數(shù)據(jù)庫等“基礎(chǔ)軟件” 均為閉源商用系統(tǒng)。集中式架構(gòu)的典型案例是 IOE(IBM, Oracle,EMC)提供的計算設(shè)備、數(shù)據(jù)庫技術(shù)和存儲設(shè)備共同組成的系統(tǒng),各方面的技術(shù)支持相對穩(wěn)定、安全,用戶自身的技術(shù)儲備也相對充分。

隨著社會信息化的快速發(fā)展,金融服務(wù)呈現(xiàn)出海量用戶增加,而且需要響應(yīng)“個性產(chǎn)品定制”、“實時風控決策”、“快速敏捷響應(yīng)”等新特征,這對銀行信息系統(tǒng)架構(gòu)提出了更高的要求。下面從系統(tǒng)容量、成本、適應(yīng)性、可用性、云化、自主可控等幾個方面來說說分布式系統(tǒng)優(yōu)勢,在一些場景中,傳統(tǒng)的集中式架構(gòu)可能無法滿足未來科技金融銀行發(fā)展的要求。

1、系統(tǒng)容量。隨著我國對金融服務(wù)的需求越來越高,系統(tǒng)業(yè)務(wù)量越來越大,依靠傳統(tǒng)集中式架構(gòu)下有限數(shù)量的服務(wù)器,其性能已經(jīng)接近瓶頸,我們需要更多的服務(wù)器才能應(yīng)對大規(guī)模的應(yīng)用場景。所以,我們需要垂直或是水平拆分業(yè)務(wù)系統(tǒng),讓其變成一個分布式的架構(gòu)。

2、成本控制。在銀行業(yè)輝煌的10余年間,利潤飛速增長,給銀行的信息化建設(shè)過程帶來了前所未有的發(fā)展。在這段時間內(nèi),各大型商業(yè)銀行都建立起了以主機為核心的集中式架構(gòu),并完成了數(shù)據(jù)大集中和配套周邊系統(tǒng)的大規(guī)模建設(shè)。然而近年來由于互聯(lián)網(wǎng)金融的沖擊,利率市場化等內(nèi)外因素,利潤增長乏力。成本控制已經(jīng)成為我們面臨的一大挑戰(zhàn)。分布式架構(gòu)不再依賴專用設(shè)備和軟件,可以大幅降低基礎(chǔ)設(shè)施的投入成本。

3、適應(yīng)性更強。分布式架構(gòu)強調(diào)服務(wù)化的設(shè)計理念,一般是通過組件化和微服務(wù)來解耦應(yīng)用間的設(shè)計依賴。通過服務(wù)將應(yīng)用間的數(shù)據(jù)依賴重新組織后,系統(tǒng)的靈活性得到增強,數(shù)據(jù)變動的影響也可以被限制在一定的范圍,而且服務(wù)本身更貼近業(yè)務(wù)場景,可驗證性更強。這樣的應(yīng)用一定對未來的業(yè)務(wù)發(fā)展有更強的適應(yīng)性。

4、加強系統(tǒng)可用。銀行的系統(tǒng)基本都已經(jīng)要做到365*24的不間斷運行,我們的業(yè)務(wù)系統(tǒng)也越來越關(guān)鍵,系統(tǒng)架構(gòu)的可用性面臨巨大挑戰(zhàn)。這就意味著架構(gòu)中不能存在單點故障。分布式架構(gòu)首先通過拆分,來降低每一部分的影響范圍,然后利用冗余提供更多的容錯能力,最后還可以通過故障隔離、服務(wù)降級等手段進一步確保系統(tǒng)的可用性。

5、更符合云的要求。云的核心特征就是彈性,而傳統(tǒng)的集中式架構(gòu),依賴昂貴的專用設(shè)備和企業(yè)軟件,無法很好的適應(yīng)云端部署的要求。分布式架構(gòu)更加輕量化,更加靈活,自然更適合云端的部署和運行。

6、自主可控的要求。信息安全、技術(shù)自主可控已成為國家戰(zhàn)略,必須盡快打破技術(shù)受制于人的局面。而傳統(tǒng)集中式建設(shè)模式,缺乏自主掌控,高度依賴供應(yīng)商支持,加重了科技研發(fā)壓力,加大了生產(chǎn)運行風險,無法快速響應(yīng)市場變化,限制了業(yè)務(wù)模式創(chuàng)新。分布式架構(gòu)大多基于開源技術(shù),自主化程度高,采用橫向擴展模式,可實現(xiàn)業(yè)務(wù)的快速上線。

三、架構(gòu)轉(zhuǎn)型對銀行的意義

1. 分布式系統(tǒng)架構(gòu)是技術(shù)發(fā)展的趨勢

隨著互聯(lián)網(wǎng)和云計算服務(wù)的快速發(fā)展,作為其主要技術(shù)的分布式計算、存儲和應(yīng)用技術(shù)正在成為當今信息科技的主流。分布式系統(tǒng)架構(gòu)不僅具有可擴展性強、處理效率高、容錯能力強等特點,更為重要的是,它還是大數(shù)據(jù)、機器學習、人工智能、區(qū)塊鏈的支撐技術(shù)。目前,國內(nèi)外金融機構(gòu)都在積極、審慎地開展私有云建設(shè),研究并嘗試開源、分布式技術(shù)和應(yīng)用。

2. 架構(gòu)轉(zhuǎn)型是銀行生存和發(fā)展的迫切要求

第一,生態(tài)化、場景化的金融服務(wù),以及數(shù)字化、智能化等技術(shù),已經(jīng)對銀行的支付、征信、風險技術(shù)、理財、客戶獲取等核心領(lǐng)域產(chǎn)生極大沖擊,互聯(lián)網(wǎng)技術(shù)創(chuàng)造了平臺經(jīng)濟、共享經(jīng)濟,也推動著金融服務(wù)模式的創(chuàng)新,銀行不加快技術(shù)轉(zhuǎn)型就會被未來淘汰。

第二,以開放、合作、分享的理念和態(tài)度參與到互聯(lián)網(wǎng)金融生態(tài)中必須要有開放的技術(shù)體系和架構(gòu)與合作者聯(lián)接和交換,現(xiàn)有的閉源架構(gòu)在一定程度上限制了銀行業(yè)務(wù)的合作范圍、擴展性和效率。

第三,開源、開放的分布式技術(shù)成本更低、效率更高、用戶體驗更好、開發(fā)和測試方法更為敏捷。

3. 架構(gòu)轉(zhuǎn)型是適應(yīng)我國金融業(yè)安全可控趨勢的迫切要求

以X86、開源為特征的技術(shù)體系,有利于我國信息產(chǎn)業(yè)企業(yè)和銀行業(yè)掌握技術(shù),從而改變我國銀行業(yè)長期以來基礎(chǔ)軟硬件等核心技術(shù)完全依賴國外廠商的狀況,適應(yīng)國家網(wǎng)絡(luò)空間安全戰(zhàn)略要求。

四、銀行人員的對轉(zhuǎn)型分布式系統(tǒng)的困惑和解決思路

盡管分布式系統(tǒng)架構(gòu)成為趨勢,但是銀行業(yè)要實施架構(gòu)轉(zhuǎn)型,在思想觀念重塑、團隊能力建設(shè)、技術(shù)難點攻關(guān)等方面尚存在巨大挑戰(zhàn)和困難,必須采取強有力的措施攻堅克難。

1、困惑一:思想觀念轉(zhuǎn)型難度大

長期以來,銀行信息科技團隊將確??蛻艉豌y行的資金安全作為恪守鐵律。使用最成熟、穩(wěn)定的技術(shù),保證系統(tǒng)交易的實時一致性,是銀行信息技術(shù)部門的基本工作原則。因此,銀行架構(gòu)無一例外地選擇使用以IOE為代表的成熟、穩(wěn)定、具備良好技術(shù)支持保障體系的“經(jīng)典”商用軟件和體系架構(gòu),并培養(yǎng)了大批熟悉應(yīng)用相關(guān)技術(shù)的優(yōu)秀技術(shù)人員。分布式架構(gòu)與傳統(tǒng)架構(gòu)相比,在架構(gòu)、設(shè)計、開發(fā)、運維、管理上需要有不同的思維和技術(shù)能力,這對我行現(xiàn)有技術(shù)團隊的思想觀念和思維模式造成巨大沖擊,需要有一個“脫胎換骨”的轉(zhuǎn)變過程。

對策:

一是虛心向掌握新技術(shù)的互聯(lián)網(wǎng)公司學習,開展技術(shù)交流與合作。

二是建立云計算、金融IT產(chǎn)品創(chuàng)新實驗室專職研發(fā)團隊,通過小團隊的研究、創(chuàng)新、試點和培訓,以點帶面。

三是應(yīng)用新技術(shù)解決業(yè)務(wù)痛點,讓技術(shù)團隊和業(yè)務(wù)部門真切感受到新技術(shù)的好處,理解和支持技術(shù)轉(zhuǎn)型。

第四,也是最為重要的一點,高管層高度重視和支持架構(gòu)轉(zhuǎn)型工作,給信息技術(shù)部門留出一定的轉(zhuǎn)型時間、資金,以及試點和試錯空間。

2、困惑二:缺乏掌握新技術(shù)的人才

開源技術(shù)同樣需要技術(shù)支持,但是與傳統(tǒng)技術(shù)發(fā)展路徑不同,云計算技術(shù)專家大多集中在互聯(lián)網(wǎng)公司。由于開源技術(shù)的變化很快,研究這些技術(shù)的大多為創(chuàng)新型公司,一般規(guī)模小、不穩(wěn)定,難以提供持續(xù)、穩(wěn)定的技術(shù)支持,并且缺乏對銀行應(yīng)用特點的理解和實踐經(jīng)驗。銀行必須培養(yǎng)和擁有一批既掌握新技術(shù)又有豐富銀行應(yīng)用經(jīng)驗的技術(shù)人才,而銀行現(xiàn)有的招聘、薪酬和激勵機制,不足以吸引此類緊缺人才。

對策:

一是高度重視并積極嘗試建立吸引和留住信息科技人才的機制,建立信息科技專業(yè)技術(shù)崗位序列,讓專家型技術(shù)人員有良好的發(fā)展空間。

二是通過制定轉(zhuǎn)型目標、針對性的培訓、項目實踐、評估階段效果等措施,有計劃、有步驟地循序漸進,目前已取得了一定成效。

三是積極開展與國內(nèi)有實力供應(yīng)商的合作,改變單純的甲乙方關(guān)系,聯(lián)合開展技術(shù)難點的研發(fā)和攻關(guān),共同培育市場化的服務(wù)支持環(huán)境。

3、困惑三:數(shù)據(jù)持久化層的技術(shù)難點

在銀行IT架構(gòu)向分布式架構(gòu)轉(zhuǎn)型過程中,最大的技術(shù)難點在于“數(shù)據(jù)持久化層”的分布式。相比之下,應(yīng)用邏輯層和接入層的分布式架構(gòu)已經(jīng)很成熟,在銀行內(nèi)已經(jīng)得到廣泛應(yīng)用。之所以說是難點,是因為數(shù)據(jù)是有狀態(tài)的,特別是銀行核心系統(tǒng)保留的賬務(wù)數(shù)據(jù),在交易過程中會被不停地更改,這部分數(shù)據(jù)一旦被分布到多處存儲,就會造成更改信息的不一致、更改信息不可見、讀取信息不準確等一系列問題,也就是技術(shù)上經(jīng)常說的分布式事務(wù)下數(shù)據(jù)一致性、隔離性、原子性和持久性的問題。

對策:

為解決上述技術(shù)難題,在分布式數(shù)據(jù)庫中研發(fā)了“全局事務(wù)管理器”和“分布式隔離級別”。

前者很好地解決了分布式事務(wù)一致性和隔離性問題,但仍然沒有突破CAP理論(又稱CAP原則,指的是在一個分布式系統(tǒng)中,Consistency(一致性)、 Availability(可用性)、Partition tolerance(分區(qū)容錯性),最多只能同時三個特性中的兩個,三者不可兼得),處理性能會受到影響,分區(qū)容錯性也就成為了一個分布式系統(tǒng)必然要面對的問題。

為解決性能問題,又研發(fā)了“分布式RR”和“分布式CR”兩個隔離級別,對明確不會產(chǎn)生分布式事務(wù)、不受分布式事務(wù)影響的請求,可以指定“分布式CR”隔離級別,從而確保分布式數(shù)據(jù)庫的整體處理性能。

五、小結(jié)

銀行業(yè)是信息化程度較高的行業(yè),信息化隊伍及知識儲備相對充分和快速,在短短十幾年,各銀行業(yè)金融機構(gòu)在分布式架構(gòu)領(lǐng)域已有很多收獲。但總體而言,銀行對于分布式架構(gòu)的應(yīng)用仍然落后于互聯(lián)網(wǎng)行業(yè)。銀行分布式架構(gòu)特點是混合模式,在應(yīng)用層廣泛采用分布式實現(xiàn),但在數(shù)據(jù)庫層,還普遍采用集中的數(shù)據(jù)庫模式。

套用最近的一句時髦話說:當時代拋棄你的時候它都不會給你打招呼。總之,技術(shù)是為業(yè)務(wù)服務(wù)的,無論是集中式架構(gòu)還是分布式架構(gòu),都需要根據(jù)不同的應(yīng)用場景,選擇合適的技術(shù)架構(gòu)。確??蛻糍Y金安全和生產(chǎn)運行穩(wěn)定,是銀行信息化建設(shè)的首要原則,在分布式架構(gòu)應(yīng)用當中,要結(jié)合技術(shù)可控、風險可控、成本可控綜合考量,要本著實事求是、穩(wěn)妥前行的原則逐步推進。

THEEND

最新評論(評論僅代表用戶觀點)

更多
暫無評論