近日，由中國信息協(xié)會大數(shù)據(jù)分會主辦的“2022中國大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新大會”在北京圓滿落幕。500余位政產(chǎn)學(xué)研企各領(lǐng)域的專業(yè)人士參會，就推動中國大數(shù)據(jù)產(chǎn)業(yè)的創(chuàng)新發(fā)展進(jìn)行深入剖析。大會重磅發(fā)布“2021-2022大數(shù)據(jù)創(chuàng)新成果與實(shí)踐”，「DataPipeline助力國盛證券構(gòu)建的實(shí)時數(shù)據(jù)融合平臺」案例成功入選。
《2021-2022大數(shù)據(jù)創(chuàng)新成果與實(shí)踐》意在表彰近一年中實(shí)施的重點(diǎn)大數(shù)據(jù)標(biāo)桿案例，案例信息將被呈報至各省市信息中心、央企、國企等，為相關(guān)部門提供數(shù)字化轉(zhuǎn)型方案應(yīng)用范本，案例為相關(guān)部門提供數(shù)字化轉(zhuǎn)型方案應(yīng)用范本及決策參考，并起到行業(yè)示范引領(lǐng)效應(yīng)。
數(shù)據(jù)融合平臺升級
DataOps理念激發(fā)新活力
國盛證券充分認(rèn)識到，高效的管理體系、統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、良好的數(shù)據(jù)質(zhì)量是數(shù)據(jù)價值實(shí)現(xiàn)的基礎(chǔ)，也是業(yè)內(nèi)較早一批構(gòu)建數(shù)據(jù)中臺的券商。公司數(shù)據(jù)管理體系，力求打破“煙囪式”、“項(xiàng)目制”系統(tǒng)之間的集成和協(xié)作壁壘，沉淀共享服務(wù)，提高服務(wù)重用率，降低前臺業(yè)務(wù)的試錯成本，賦予業(yè)務(wù)快速創(chuàng)新能力，最終提升企業(yè)的組織效能。
國盛證券數(shù)據(jù)中臺戰(zhàn)略致力于整合全業(yè)務(wù)數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的離線采集、實(shí)時采集，打通系統(tǒng)之間的數(shù)據(jù)孤島。通過數(shù)據(jù)加工、清洗、建模、標(biāo)簽化等數(shù)據(jù)治理措施提高數(shù)據(jù)資產(chǎn)的有效性、準(zhǔn)確性，為數(shù)據(jù)可視化、數(shù)據(jù)服務(wù)提供基礎(chǔ)指標(biāo)?；谟行У臄?shù)據(jù)資產(chǎn)，結(jié)合智能營銷、智能資訊、數(shù)據(jù)可視化、賬戶分析等場景，數(shù)據(jù)中臺可為客戶和各管理部門提供有效、及時的數(shù)據(jù)服務(wù)。
隨著公司數(shù)字化轉(zhuǎn)型進(jìn)程逐步深入，智能營銷、客戶服務(wù)、智能賬單等業(yè)務(wù)對數(shù)據(jù)時效性要求也越來越高，對多元異構(gòu)數(shù)據(jù)的統(tǒng)一采集、數(shù)據(jù)實(shí)時同步的需求也越來越緊迫。數(shù)據(jù)中臺中再先的數(shù)據(jù)采集時效和監(jiān)控運(yùn)維等能力已不能適應(yīng)當(dāng)前業(yè)務(wù)的發(fā)展需求，國盛證券希望建立“企業(yè)級實(shí)時數(shù)據(jù)融合平臺”，從而推動以客戶為中心的數(shù)據(jù)智能從而創(chuàng)造更大的業(yè)務(wù)價值。
國盛證券希望通過對數(shù)據(jù)鏈路持續(xù)構(gòu)建，像交付應(yīng)用一樣快速、靈活地交付數(shù)據(jù)，最終達(dá)到降低TCO，提高ROI，實(shí)現(xiàn)數(shù)字化和智能化轉(zhuǎn)型的長期戰(zhàn)略目標(biāo)。因此，國盛證券將此次要建設(shè)的企業(yè)級實(shí)時數(shù)據(jù)融合平臺定位為：具備核心自動化數(shù)據(jù)鏈路能力的數(shù)據(jù)融合平臺，基于DataOps理念的創(chuàng)新型數(shù)據(jù)基礎(chǔ)設(shè)施。
1.技術(shù)目標(biāo)
●豐富和構(gòu)建數(shù)倉ODS層，實(shí)現(xiàn)實(shí)時數(shù)據(jù)的集成，全方位且高效地采集、同步、融合業(yè)務(wù)及客戶行為等的數(shù)據(jù)。
●低代碼，提升實(shí)時數(shù)據(jù)采集的效率，降低開發(fā)成本，提升服務(wù)支撐能力。
●支持端到端靈活線上開發(fā)，高級清洗個性化配置等。
2.業(yè)務(wù)目標(biāo)
●驅(qū)動高效的管理決策：提升數(shù)據(jù)新鮮度，保證數(shù)據(jù)時效，用于管理層的駕駛艙報表、業(yè)務(wù)管理團(tuán)隊(duì)的管理統(tǒng)計及數(shù)據(jù)分析等的場景。
●支撐更及時的客戶關(guān)系管理：將客戶異動消息、行情資訊等信息及時推送給客戶管理/服務(wù)人員，從而支撐更及時的客戶關(guān)系維護(hù)。
●提升客戶服務(wù)體驗(yàn)：打破系統(tǒng)孤島，實(shí)時地把資訊、公告等數(shù)據(jù)進(jìn)行采集形成基礎(chǔ)數(shù)據(jù)，從而把相關(guān)服務(wù)動作直接映射到客戶端，高效支撐客戶生命周期運(yùn)營數(shù)字化。
●賦能精準(zhǔn)營銷：通過數(shù)據(jù)實(shí)時技術(shù)將客戶數(shù)據(jù)進(jìn)行采集并與外部行情結(jié)合，實(shí)現(xiàn)客戶實(shí)時畫像，用于潛客推薦等模型，從而觸發(fā)更多購買場景，支撐更多的精準(zhǔn)營銷動作行為。
攜手DataPipeline
構(gòu)筑創(chuàng)新型數(shù)據(jù)基礎(chǔ)設(shè)施堅(jiān)實(shí)底座
國盛證券通過產(chǎn)品調(diào)研、可行性分析、POC驗(yàn)證，選擇DataPipeline作為合作伙伴共同完成實(shí)時數(shù)據(jù)融合平臺項(xiàng)目的實(shí)施。其主要原因?yàn)椋篋ataPipeline企業(yè)級實(shí)時數(shù)據(jù)融合平臺可實(shí)現(xiàn)數(shù)據(jù)的秒級實(shí)時采集，產(chǎn)品具備統(tǒng)一易用的人性化操作界面，豐富的配置策略可實(shí)現(xiàn)對資源的高效充分利用，產(chǎn)品同時具有標(biāo)準(zhǔn)化遵循與前瞻性判斷前提下的開放可擴(kuò)展性，當(dāng)然最重要的是其金融級的穩(wěn)定高容錯能力。
實(shí)時數(shù)據(jù)融合平臺架構(gòu)
國盛證券實(shí)時數(shù)據(jù)融合平臺打通了客戶交易、客戶基本信息、用戶行為數(shù)據(jù)、外部數(shù)據(jù)等若干系統(tǒng)，適配了包括Oracle、MySQL、MS SQL Server、HBase、Hive、Kafka在內(nèi)的多種數(shù)據(jù)庫管理技術(shù)。該平臺可以助力公司管理異構(gòu)數(shù)據(jù)節(jié)點(diǎn)實(shí)時同步與批量數(shù)據(jù)處理任務(wù)的定義。平臺組件全面實(shí)現(xiàn)了高可用，用戶可以根據(jù)對可用性的要求，靈活進(jìn)行組件節(jié)點(diǎn)的部署，避免單點(diǎn)故障。
同時，實(shí)時數(shù)據(jù)融合平臺的可管理性較之前有明顯提升。根據(jù)客戶分層管理的需求，平臺將系統(tǒng)內(nèi)資源抽象為節(jié)點(diǎn)、鏈路、任務(wù)、資源，每一層都可以進(jìn)行獨(dú)立的管理和授權(quán)，在組織內(nèi)部形成很強(qiáng)的協(xié)同性。用戶可以在鏈路上定義字段類型映射、限速、告警等策略，并應(yīng)用到任務(wù)層面，從而實(shí)現(xiàn)層級化的精細(xì)管理。與此同時，平臺配備容器、應(yīng)用、線程、業(yè)務(wù)四級監(jiān)控體系，平臺內(nèi)部的所有重要事件、告警信息都能夠推送到用戶定義的郵箱、文件路徑或Webhook中，從而與企業(yè)既有的運(yùn)維監(jiān)控體系無縫集成。
向數(shù)據(jù)管理要效益
激發(fā)運(yùn)營與管理數(shù)智化再升級
國盛證券實(shí)時數(shù)據(jù)融合平臺具備自動化智能的數(shù)數(shù)據(jù)任務(wù)與鏈路構(gòu)建，該平臺簡單易用，極大地加速了實(shí)時數(shù)據(jù)同步需求的開發(fā)配置和上線部署。實(shí)時數(shù)據(jù)的采集、加工均可以以配置的方式實(shí)現(xiàn)，一改過去項(xiàng)目制交付的弊端，降低手工開發(fā)成本。同時，通過同步任務(wù)的管理和告警的機(jī)制及圖形化界面，用戶更為直觀地完成了日常任務(wù)監(jiān)控，極大節(jié)省運(yùn)維時間。
同時，該數(shù)據(jù)管理機(jī)制可以很好地應(yīng)對各種實(shí)時數(shù)據(jù)應(yīng)用的場景，提高數(shù)據(jù)的復(fù)用度，提升數(shù)據(jù)管理效率、高效釋放數(shù)據(jù)價值。為快速響應(yīng)客戶服務(wù)、優(yōu)化管理決策等帶來實(shí)時敏捷的數(shù)據(jù)支撐，從而對模式創(chuàng)新、組織能力變革及商業(yè)價值提升帶來推動力。
從技術(shù)角度看，平臺具備“數(shù)據(jù)全、傳輸快、強(qiáng)協(xié)同、更敏捷、極穩(wěn)定、易維護(hù)”的突出特性
1)數(shù)據(jù)全：多元異構(gòu)廣泛支持
支持關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、國產(chǎn)數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)平臺、云存儲、API等多種數(shù)據(jù)節(jié)點(diǎn)類型，可自定義數(shù)據(jù)節(jié)點(diǎn)。
2)傳輸快：高性能實(shí)時處理
針對不同數(shù)據(jù)節(jié)點(diǎn)類型提供TB級吞吐量、秒級低延遲的增量數(shù)據(jù)處理能力，加速企業(yè)各類場景的數(shù)據(jù)流轉(zhuǎn)。
3)強(qiáng)協(xié)同：分層管理降本增效
采用“數(shù)據(jù)節(jié)點(diǎn)注冊、數(shù)據(jù)鏈路配置、數(shù)據(jù)任務(wù)構(gòu)建、系統(tǒng)資源分配”的分層管理模式，定制開發(fā)的建設(shè)周期大大減少。
4)更敏捷：無代碼敏捷管理
提供限制配置與策略配置兩大類十余種高級配置，包括靈活的數(shù)據(jù)對象映射關(guān)系，數(shù)據(jù)融合任務(wù)的研發(fā)交付時間從2周減少為1小時。
5)極穩(wěn)定：極穩(wěn)定高可靠
采用分布式架構(gòu)，所有組件均支持高可用，提供豐富容錯策略，應(yīng)對上下游的結(jié)構(gòu)變化、數(shù)據(jù)錯誤、網(wǎng)絡(luò)故障等突發(fā)情況，可以保證系統(tǒng)業(yè)務(wù)連續(xù)性要求。
6)易維護(hù)：高效全面運(yùn)維
配備容器、應(yīng)用、線程、業(yè)務(wù)四級監(jiān)控體系，全景駕駛艙守護(hù)任務(wù)穩(wěn)定運(yùn)行。自動化運(yùn)維體系，靈活擴(kuò)縮容，合理管理和分配系統(tǒng)資源。
全域數(shù)據(jù)實(shí)時融合的價值愈發(fā)重要，國盛證券實(shí)時數(shù)據(jù)融合平臺可加速數(shù)據(jù)的流通，從而提升經(jīng)營效率構(gòu)建差異性競爭優(yōu)勢。
平臺實(shí)現(xiàn)各系統(tǒng)的打通與關(guān)聯(lián)，覆蓋多層次客戶服務(wù)體系，強(qiáng)化了線上業(yè)務(wù)服務(wù)和資產(chǎn)配置等綜合實(shí)力。該項(xiàng)目的實(shí)施高效且穩(wěn)定地支撐了公司的獲客能力和精準(zhǔn)個性化服務(wù)水平等業(yè)務(wù)場景，助力公司運(yùn)營與管理數(shù)智化再升級。
