一、項(xiàng)目背景
2023年12月29日，國(guó)家數(shù)據(jù)局等17部門(mén)聯(lián)合印發(fā)《“數(shù)據(jù)要素×”三年行動(dòng)計(jì)劃（2024—2026年）》，旨在充分發(fā)揮數(shù)據(jù)要素乘數(shù)效應(yīng)，賦能經(jīng)濟(jì)社會(huì)發(fā)展。某省級(jí)農(nóng)信為提升整體服務(wù)質(zhì)量和自身競(jìng)爭(zhēng)力，滿足基層行社精細(xì)化管理、產(chǎn)品創(chuàng)新、風(fēng)險(xiǎn)防控、客戶營(yíng)銷(xiāo)、經(jīng)營(yíng)決策等方面需求，拓寬各類(lèi)業(yè)務(wù)渠道，增強(qiáng)客戶粘度及業(yè)務(wù)流量，積極推進(jìn)數(shù)字化轉(zhuǎn)型，賦能金融模式，構(gòu)筑良好的生態(tài)運(yùn)營(yíng)環(huán)境，助力鄉(xiāng)村振興、服務(wù)實(shí)體經(jīng)濟(jì)、防范化解風(fēng)險(xiǎn)，推動(dòng)某省級(jí)農(nóng)信實(shí)現(xiàn)高質(zhì)量發(fā)展，合理規(guī)劃科技建設(shè)，高效促進(jìn)數(shù)據(jù)要素流通及利用。
二、實(shí)施目標(biāo)
為提升某省級(jí)農(nóng)信服務(wù)質(zhì)量和自身競(jìng)爭(zhēng)力，滿足基層行社精細(xì)化管理、產(chǎn)品創(chuàng)新、風(fēng)險(xiǎn)防控、客戶營(yíng)銷(xiāo)、經(jīng)營(yíng)決策等方面需求，拓寬各類(lèi)業(yè)務(wù)渠道，增強(qiáng)客戶粘度及業(yè)務(wù)流量，積極推進(jìn)數(shù)字化轉(zhuǎn)型，賦能金融模式，構(gòu)筑良好的生態(tài)運(yùn)營(yíng)環(huán)境，助力鄉(xiāng)村振興、服務(wù)實(shí)體經(jīng)濟(jì)、防范化解風(fēng)險(xiǎn)，推動(dòng)某省級(jí)農(nóng)信實(shí)現(xiàn)高質(zhì)量發(fā)展。
本項(xiàng)目主要基于HADOOP+MPP混合技術(shù)體系建設(shè)大數(shù)據(jù)平臺(tái)，依托大數(shù)據(jù)技術(shù)實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理、數(shù)據(jù)分析、數(shù)據(jù)展現(xiàn)等數(shù)據(jù)應(yīng)用，通過(guò)工程化的“數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加工、數(shù)據(jù)應(yīng)用”等能力體系建設(shè)，提升大數(shù)據(jù)分析和數(shù)據(jù)洞見(jiàn)能力，為實(shí)現(xiàn)管理決策、量化經(jīng)營(yíng)、風(fēng)險(xiǎn)管控、精準(zhǔn)營(yíng)銷(xiāo)、客戶體驗(yàn)、產(chǎn)品創(chuàng)新等核心能力的跨越提升提供堅(jiān)實(shí)的數(shù)據(jù)引擎和平臺(tái)支撐。其工作范圍主要包括數(shù)據(jù)采集交換系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)、歷史數(shù)據(jù)平臺(tái)、實(shí)時(shí)計(jì)算系統(tǒng)、數(shù)據(jù)服務(wù)系統(tǒng)、數(shù)據(jù)開(kāi)發(fā)平臺(tái)等基礎(chǔ)平臺(tái)及系統(tǒng)的建設(shè)。除大數(shù)據(jù)平臺(tái)相關(guān)系統(tǒng)建設(shè)工作外，還需完成數(shù)據(jù)遷移、配合數(shù)據(jù)治理項(xiàng)目相關(guān)工作、配合數(shù)據(jù)應(yīng)用系統(tǒng)建設(shè)、配合監(jiān)管數(shù)據(jù)集市建設(shè)、配合應(yīng)用數(shù)據(jù)集市建設(shè)、配合外部數(shù)據(jù)管理平臺(tái)建設(shè)、配合指標(biāo)管理系統(tǒng)建設(shè)、配合日志管理系統(tǒng)建設(shè)等相關(guān)工作。
三、建設(shè)內(nèi)容
基于數(shù)據(jù)中臺(tái)理念進(jìn)行項(xiàng)目建設(shè)，通過(guò)引入大數(shù)據(jù)技術(shù)對(duì)某省級(jí)農(nóng)信數(shù)據(jù)架構(gòu)進(jìn)行重建，搭建大數(shù)據(jù)基礎(chǔ)平臺(tái)，以數(shù)據(jù)開(kāi)發(fā)平臺(tái)為基礎(chǔ)，支撐數(shù)據(jù)采集系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、歷史數(shù)據(jù)平臺(tái)、實(shí)時(shí)數(shù)據(jù)平臺(tái)等系統(tǒng)平臺(tái)建設(shè)，實(shí)現(xiàn)全行金融數(shù)據(jù)模型的落地，配合數(shù)據(jù)管控平臺(tái)落實(shí)數(shù)據(jù)治理相關(guān)工作，為某省級(jí)農(nóng)信數(shù)字化轉(zhuǎn)型戰(zhàn)略做好支撐。利用大數(shù)據(jù)的海量數(shù)據(jù)處理和并行計(jì)算優(yōu)勢(shì)，結(jié)合監(jiān)管報(bào)送及數(shù)據(jù)應(yīng)用的實(shí)際需要，搭建監(jiān)管和應(yīng)用兩集市，通過(guò)數(shù)據(jù)服務(wù)平臺(tái)對(duì)外提供數(shù)據(jù)服務(wù)，為全行數(shù)據(jù)應(yīng)用、分析、挖掘等打下堅(jiān)實(shí)基礎(chǔ)。
通過(guò)以上總體架構(gòu)規(guī)劃為指導(dǎo)，以下亮點(diǎn)工程版本為基石，打造某省級(jí)農(nóng)信數(shù)據(jù)要素高效協(xié)同工程。
亮點(diǎn)一：
構(gòu)建基于hadoop+mpp大數(shù)據(jù)基礎(chǔ)平臺(tái)+數(shù)據(jù)倉(cāng)庫(kù)的湖倉(cāng)一體生態(tài)體系，大數(shù)據(jù)平臺(tái)支持私有云部署，支撐全行級(jí)數(shù)據(jù)采集、存儲(chǔ)、計(jì)算、分析、挖掘等數(shù)據(jù)應(yīng)用的開(kāi)發(fā)工作，滿足實(shí)時(shí)計(jì)算、離線計(jì)算的開(kāi)發(fā)要求，具有統(tǒng)一的、可擴(kuò)展的、高性能的系統(tǒng)架構(gòu)。數(shù)據(jù)倉(cāng)庫(kù)則配合數(shù)據(jù)治理完成數(shù)據(jù)標(biāo)準(zhǔn)落標(biāo)工作，做好數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)管控等管理工作，替換招標(biāo)人現(xiàn)有操作型數(shù)據(jù)存儲(chǔ)系統(tǒng)（ODS），完成歷史數(shù)據(jù)遷入，支持?jǐn)?shù)據(jù)應(yīng)用系統(tǒng)的數(shù)據(jù)加工、統(tǒng)計(jì)、分析、應(yīng)用等工作，用以支持領(lǐng)導(dǎo)決策、業(yè)務(wù)分析、監(jiān)管審計(jì)、精準(zhǔn)營(yíng)銷(xiāo)等多種業(yè)務(wù)場(chǎng)景對(duì)數(shù)據(jù)的需求。
亮點(diǎn)二：
建設(shè)全行統(tǒng)一數(shù)據(jù)采集交換系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)采集、傳輸、交換的統(tǒng)一管理。通過(guò)數(shù)據(jù)交換系統(tǒng)統(tǒng)一維護(hù)招標(biāo)人各個(gè)系統(tǒng)之間的數(shù)據(jù)接口，統(tǒng)一協(xié)調(diào)數(shù)據(jù)資源，統(tǒng)一為各個(gè)系統(tǒng)提供數(shù)據(jù)交換共享。實(shí)現(xiàn)數(shù)據(jù)的分發(fā)管理，實(shí)現(xiàn)管理控制、抽數(shù)落數(shù)、數(shù)據(jù)處理、監(jiān)控管理等功能，實(shí)現(xiàn)企業(yè)級(jí)數(shù)據(jù)交換，包含作業(yè)調(diào)度工具、批量文件傳輸工具、ETL工具等數(shù)據(jù)交換工具。
亮點(diǎn)三：
以Hadoop大數(shù)據(jù)平臺(tái)為基礎(chǔ)，建設(shè)能夠?qū)Y(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)的歷史數(shù)據(jù)平臺(tái)，支持招標(biāo)人所有數(shù)據(jù)的接入與應(yīng)用，并針對(duì)數(shù)據(jù)查詢進(jìn)行適度表結(jié)構(gòu)優(yōu)化，提高查詢效率。結(jié)合數(shù)據(jù)倉(cāng)庫(kù)，實(shí)現(xiàn)歷史數(shù)據(jù)的統(tǒng)一存儲(chǔ)，為各數(shù)據(jù)提供存儲(chǔ)服務(wù)，為數(shù)據(jù)挖掘分析提供數(shù)據(jù)和計(jì)算支持，按需彈性擴(kuò)容、數(shù)據(jù)共享。根據(jù)數(shù)據(jù)治理制定數(shù)據(jù)生命周期管理策略，完成歷史數(shù)據(jù)的統(tǒng)一歸檔、統(tǒng)一訪問(wèn)、統(tǒng)一運(yùn)維，支持對(duì)數(shù)據(jù)的加工、計(jì)算、分析、挖掘、學(xué)習(xí)、對(duì)外服務(wù)等工作。
亮點(diǎn)四：
實(shí)時(shí)計(jì)算平臺(tái)的搭建，滿足某省級(jí)農(nóng)信對(duì)實(shí)時(shí)指標(biāo)數(shù)據(jù)的查詢需求，其是依托大數(shù)據(jù)實(shí)時(shí)計(jì)算基礎(chǔ)組件為基礎(chǔ)，構(gòu)建對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行計(jì)算、統(tǒng)計(jì)、分析、應(yīng)用的系統(tǒng)。支持實(shí)時(shí)數(shù)據(jù)查詢和實(shí)時(shí)數(shù)據(jù)分析等應(yīng)用場(chǎng)景需要。滿足快貸業(yè)務(wù)、經(jīng)營(yíng)分析報(bào)表系統(tǒng)、管理駕駛艙等實(shí)時(shí)數(shù)據(jù)應(yīng)用的需要，完成數(shù)據(jù)模型的實(shí)時(shí)數(shù)據(jù)加載、清洗、轉(zhuǎn)換、計(jì)算、存儲(chǔ)等工作，配合數(shù)據(jù)服務(wù)系統(tǒng)做好數(shù)據(jù)服務(wù)工作。
亮點(diǎn)五：
數(shù)據(jù)服務(wù)系統(tǒng)建設(shè)，將全行數(shù)據(jù)服務(wù)歸集統(tǒng)一?；诖髷?shù)據(jù)平臺(tái)的數(shù)據(jù)資源，為應(yīng)用端提供自主、靈活、快速的數(shù)據(jù)資產(chǎn)發(fā)布和共享服務(wù)，實(shí)現(xiàn)數(shù)據(jù)與應(yīng)用之間松耦合關(guān)系，提升數(shù)據(jù)服務(wù)集中化、體系化管理，基于數(shù)據(jù)中臺(tái)理念建立數(shù)據(jù)服務(wù)化、總線化、標(biāo)準(zhǔn)化的數(shù)據(jù)中臺(tái)戰(zhàn)略，實(shí)現(xiàn)數(shù)據(jù)即服務(wù)（DaaS）構(gòu)想。
亮點(diǎn)六：
以湖倉(cāng)一體建設(shè)為指導(dǎo)，通過(guò)企業(yè)級(jí)數(shù)據(jù)開(kāi)發(fā)平臺(tái)建設(shè)，將全行的開(kāi)發(fā)規(guī)范進(jìn)行統(tǒng)一，打通數(shù)據(jù)壁壘，實(shí)現(xiàn)數(shù)據(jù)開(kāi)發(fā)的統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一規(guī)范、統(tǒng)一邏輯、統(tǒng)一調(diào)度，對(duì)數(shù)據(jù)需求統(tǒng)一管理，能夠敏捷快速、高質(zhì)保量的完成數(shù)據(jù)開(kāi)發(fā)、測(cè)試、部署、運(yùn)行工作，具備統(tǒng)一的集成開(kāi)發(fā)環(huán)境工具，支持模塊化開(kāi)發(fā)，具備數(shù)據(jù)一體化開(kāi)發(fā)功能，能夠支持大數(shù)據(jù)應(yīng)用研究分析工作的平臺(tái)。全面支持大數(shù)據(jù)平臺(tái)組成系統(tǒng)的各類(lèi)程序的開(kāi)發(fā)工作，用于實(shí)現(xiàn)數(shù)據(jù)采集與交換、數(shù)據(jù)統(tǒng)計(jì)與分析、數(shù)據(jù)共享與服務(wù)、數(shù)據(jù)運(yùn)行與維護(hù)等工作，具有數(shù)據(jù)開(kāi)發(fā)運(yùn)維一體化能力。
四、實(shí)施效果
該項(xiàng)目是依托于大數(shù)據(jù)技術(shù)平臺(tái)架構(gòu)，運(yùn)用神州信息六合上甲一體化數(shù)據(jù)開(kāi)發(fā)平臺(tái)實(shí)現(xiàn)數(shù)倉(cāng)建設(shè)和大數(shù)據(jù)開(kāi)發(fā)，對(duì)接該行上游系統(tǒng)有50個(gè)、下游系統(tǒng)30+個(gè)，實(shí)現(xiàn)原ods系統(tǒng)表7千多張的遷移需求，對(duì)接并響應(yīng)監(jiān)管集市、應(yīng)用集市，支撐多個(gè)數(shù)據(jù)應(yīng)用平臺(tái)，大大提高了該行的創(chuàng)新能力和服務(wù)效率。