摘要:針對(duì)目前水文數(shù)據(jù)庫(kù)獨(dú)立建設(shè),分散存儲(chǔ),形成數(shù)據(jù)孤島的現(xiàn)狀,將分散于各水文業(yè)務(wù)系統(tǒng)的數(shù)據(jù)資源根據(jù)水文業(yè)務(wù)需求,按照同類(lèi)型整合,不同類(lèi)型融合的原則,進(jìn)行統(tǒng)一清洗、整理和匯總,最終形成全局一致、協(xié)調(diào)統(tǒng)一的數(shù)據(jù)資源池。由于水文數(shù)據(jù)更新頻率高,存儲(chǔ)序列長(zhǎng),分析形式多樣,傳統(tǒng)數(shù)據(jù)庫(kù)難以兼顧大規(guī)模存儲(chǔ)和快速檢索分析的需要。本次采用大數(shù)據(jù)存儲(chǔ)引擎,兼顧隨機(jī)讀寫(xiě),批量分析的應(yīng)用需求。基于融合的水文數(shù)據(jù)資源,搭建水文大數(shù)據(jù)平臺(tái),實(shí)現(xiàn)水文數(shù)據(jù)從源庫(kù)(原業(yè)務(wù)庫(kù))到綜合庫(kù)(新建設(shè)的水文大數(shù)據(jù)綜合庫(kù))處理過(guò)程的實(shí)時(shí)監(jiān)控,水文大數(shù)據(jù)平臺(tái)運(yùn)行情況監(jiān)控,水文綜合庫(kù)的數(shù)據(jù)資源可視化展示,數(shù)據(jù)分析產(chǎn)品的自由配置。
1項(xiàng)目背景
1.1水文數(shù)據(jù)特點(diǎn)
水文數(shù)據(jù)是指水文的實(shí)測(cè)資料,即通過(guò)水文測(cè)驗(yàn)所收集的各種水文要素的原始記錄,廣義的水文數(shù)據(jù)還應(yīng)包括水文年鑒、水文統(tǒng)計(jì)值、水文圖集及水文調(diào)查資料等。僅水利行業(yè)與水文數(shù)據(jù)相關(guān)的數(shù)據(jù)庫(kù)就包括了實(shí)時(shí)雨水情數(shù)據(jù)庫(kù)、基礎(chǔ)水文數(shù)據(jù)庫(kù)和水質(zhì)數(shù)據(jù)庫(kù),幾乎覆蓋了水文部門(mén)的主要業(yè)務(wù)數(shù)據(jù)。水文數(shù)據(jù)因其特性具有總量大、種類(lèi)多、增速快和價(jià)值高的特點(diǎn):
(1)數(shù)據(jù)總量大:水文數(shù)據(jù)為一系列的時(shí)間序列數(shù)據(jù),且覆蓋全國(guó)各大流域及行政區(qū)劃的大、中、小河流流經(jīng)的區(qū)域,以測(cè)站為單位進(jìn)行數(shù)據(jù)采集,具有海量數(shù)據(jù)的特性。
(2)數(shù)據(jù)種類(lèi)多:目前有實(shí)時(shí)雨水情數(shù)據(jù)庫(kù)、基礎(chǔ)水文數(shù)據(jù)庫(kù)和水質(zhì)數(shù)據(jù)庫(kù)三類(lèi)數(shù)據(jù)庫(kù)覆蓋了水文部門(mén)的主要業(yè)務(wù)數(shù)據(jù)。其中實(shí)時(shí)雨水情數(shù)據(jù)包含存儲(chǔ)降水、蒸發(fā)、河道、水庫(kù)、閘壩、泵站、潮汐、沙情、冰情、地下水、墑情、特殊水情、水文預(yù)報(bào)等13大類(lèi)數(shù)據(jù);基礎(chǔ)水文數(shù)據(jù)包括降水、蒸發(fā)及蒸發(fā)輔助項(xiàng)目、水位、流量(水量)、泥沙、水溫、冰凌、潮汐、測(cè)站屬性以及其他等十類(lèi)數(shù)據(jù);水質(zhì)數(shù)據(jù)庫(kù)包括了大氣降水、地表水以及地下水等各類(lèi)水體中的水質(zhì)監(jiān)測(cè)信息。除此之外水文大數(shù)據(jù)還應(yīng)包含地理信息數(shù)據(jù)、遙感數(shù)據(jù)和社會(huì)經(jīng)濟(jì)指標(biāo)等多源異構(gòu)數(shù)據(jù),具有數(shù)據(jù)種類(lèi)多的特性。
(3)數(shù)據(jù)增速快:全國(guó)分布在7大流域、31個(gè)省和125個(gè)水情分中心的基本測(cè)站已達(dá)到數(shù)萬(wàn),實(shí)時(shí)水文信息,非汛期每天至少更新1次,汛期每天更新4~8次,部分站點(diǎn)甚至每半小時(shí)更新一次,數(shù)據(jù)更新頻率高,僅每天更新的水情數(shù)據(jù)可達(dá)到數(shù)十萬(wàn)條。
(4)數(shù)據(jù)價(jià)值高:水文數(shù)據(jù)作為水文行業(yè)資源性產(chǎn)品,其價(jià)值是隱藏而非顯性的,隨著水文數(shù)據(jù)規(guī)模的擴(kuò)增,通過(guò)數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn),其潛在價(jià)值將會(huì)越來(lái)越大;水文學(xué)科是地學(xué)的一個(gè)重要分支,水文數(shù)據(jù)是研究區(qū)域或全球水循環(huán)過(guò)程的重要基礎(chǔ),因此其數(shù)據(jù)的完整性和代表性在水文科學(xué)研究中具有重要意義。
1.2主要問(wèn)題
水文數(shù)據(jù)具有海量大數(shù)據(jù)特征,與之相對(duì)的是數(shù)據(jù)現(xiàn)狀的復(fù)雜性,主要體現(xiàn)在以下幾點(diǎn):
(1)數(shù)據(jù)定義缺失,數(shù)據(jù)項(xiàng)缺失;數(shù)據(jù)屬性不完整;
(2)數(shù)據(jù)在多個(gè)系統(tǒng)中重復(fù)采集,重復(fù)存儲(chǔ);
(3)數(shù)據(jù)無(wú)法關(guān)聯(lián)、共享,數(shù)據(jù)整合困難;系統(tǒng)林立,數(shù)據(jù)來(lái)源于多個(gè)部門(mén);
(4)數(shù)據(jù)時(shí)效性差,使用者無(wú)法及時(shí)獲取所需信息;
(5)數(shù)據(jù)使用不方便,方法繁瑣,手工報(bào)表多;
(6)數(shù)據(jù)質(zhì)量差,數(shù)據(jù)不完整,數(shù)據(jù)不一致。
數(shù)據(jù)存儲(chǔ)形式上,目前水文數(shù)據(jù)主要是以表格的形式存儲(chǔ)于諸如Oracle、SQL Server等關(guān)系型數(shù)據(jù)庫(kù)中。水文測(cè)站的更新頻率非常高,幾乎每小時(shí)都有實(shí)時(shí)數(shù)據(jù)更新,產(chǎn)生數(shù)據(jù)表過(guò)大,檢索速度慢,甚至超過(guò)數(shù)據(jù)庫(kù)容量上限等問(wèn)題。常用的解決手段有兩種:一是將歷史數(shù)據(jù)單獨(dú)存儲(chǔ)備份,但產(chǎn)生檢索困難的問(wèn)題;二是將中間數(shù)據(jù)舍棄,僅保留測(cè)站日數(shù)據(jù),但又有歷史水文信息缺失的問(wèn)題。這樣一來(lái)對(duì)水文數(shù)據(jù)后續(xù)的分析和應(yīng)用產(chǎn)生了重大影響。
隨著水利信息化建設(shè)的逐步深化,各項(xiàng)業(yè)務(wù)應(yīng)用的逐步開(kāi)展,數(shù)據(jù)資源融合不足的矛盾表現(xiàn)得也越來(lái)越突出。一方面是防汛抗旱、水資源管理、農(nóng)村水利、水利工程建設(shè)管理等多個(gè)業(yè)務(wù)信息系統(tǒng)的建設(shè),急需水利基礎(chǔ)數(shù)據(jù)、空間數(shù)據(jù)、遙感數(shù)據(jù)等共享數(shù)據(jù)資源的支持;另一方面,水利普查成果數(shù)據(jù)的應(yīng)用不甚理想,沒(méi)有圍繞數(shù)據(jù)中心、業(yè)務(wù)系統(tǒng)的需要和特點(diǎn)充分利用。
當(dāng)前水文業(yè)務(wù)數(shù)據(jù)使用過(guò)程中,存在多部門(mén)建設(shè)的業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)之間缺乏有機(jī)的關(guān)聯(lián),不同業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)質(zhì)量不一致等問(wèn)題,不利于水文數(shù)據(jù)核心價(jià)值的進(jìn)一步挖掘。為了解決上述數(shù)據(jù)問(wèn)題,根據(jù)湖南水文現(xiàn)代化規(guī)劃,十四五期間全面構(gòu)建新型智慧水文信息服務(wù)平臺(tái)。主要建設(shè)內(nèi)容包括水文業(yè)務(wù)數(shù)據(jù)中心平臺(tái),應(yīng)用支撐平臺(tái)、水文業(yè)務(wù)服務(wù)平臺(tái)、水文事務(wù)服務(wù)平臺(tái)、安全管理平臺(tái)五個(gè)平臺(tái)。為了順利啟動(dòng)十四五中水文現(xiàn)代化建設(shè)工作,湖南省計(jì)劃先行完成水文業(yè)務(wù)數(shù)據(jù)中心平臺(tái)核心功能的建設(shè)。
2解決方案
構(gòu)建水文水資源綜合庫(kù);整合現(xiàn)有數(shù)據(jù)資源,實(shí)現(xiàn)數(shù)據(jù)的整合和融合。同時(shí)引入大數(shù)據(jù)存儲(chǔ)引擎,應(yīng)對(duì)水文數(shù)據(jù)更新頻率高,存儲(chǔ)序列長(zhǎng)的存儲(chǔ)、分析需要。整合實(shí)時(shí)雨水情數(shù)據(jù)庫(kù)、洪水預(yù)報(bào)成果庫(kù)、水質(zhì)評(píng)價(jià)數(shù)據(jù)庫(kù)、國(guó)控水資源數(shù)據(jù)庫(kù)等多個(gè)業(yè)務(wù)數(shù)據(jù)庫(kù),形成湖南省水文水資源綜合數(shù)據(jù)庫(kù)。
綜合庫(kù)數(shù)據(jù)模型設(shè)計(jì),主要采用有國(guó)家、行業(yè)標(biāo)準(zhǔn)的沿用最新標(biāo)準(zhǔn)進(jìn)行設(shè)計(jì),沒(méi)有行業(yè)標(biāo)準(zhǔn)的業(yè)務(wù)數(shù)據(jù)庫(kù),在充分參考現(xiàn)有數(shù)據(jù)庫(kù)結(jié)構(gòu)的基礎(chǔ)上,參考實(shí)時(shí)雨水情國(guó)家標(biāo)準(zhǔn)庫(kù)設(shè)計(jì)理念開(kāi)展設(shè)計(jì)。
開(kāi)展數(shù)據(jù)的收集與處理;開(kāi)展數(shù)據(jù)的收集與處理,對(duì)數(shù)據(jù)進(jìn)行抽取、清洗,保證數(shù)據(jù)順利整合到綜合庫(kù)里,并實(shí)現(xiàn)一數(shù)一源。
水文大數(shù)據(jù)平臺(tái)核心系統(tǒng)建設(shè);建設(shè)自動(dòng)同步子系統(tǒng)、分布式存儲(chǔ)系統(tǒng)、大數(shù)據(jù)平臺(tái)管理系統(tǒng)、大數(shù)據(jù)運(yùn)行監(jiān)控系統(tǒng)、數(shù)據(jù)加工與處理系統(tǒng)、數(shù)據(jù)資源服務(wù)管理系統(tǒng)、數(shù)據(jù)集市典型分析服務(wù)功能。實(shí)現(xiàn)數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)整合、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加工、數(shù)據(jù)分析全過(guò)程的可視化監(jiān)視。
數(shù)據(jù)集市典型產(chǎn)品;建設(shè)基于綜合庫(kù)的應(yīng)用成果可視化配置平臺(tái),基于融合的數(shù)據(jù),根據(jù)業(yè)務(wù)需求配置前臺(tái)產(chǎn)品展示,實(shí)現(xiàn)多樣化的產(chǎn)品分析。
3應(yīng)用效果
建設(shè)成果主要包括:水文大數(shù)據(jù)綜合庫(kù),水文大數(shù)據(jù)監(jiān)控大屏,數(shù)據(jù)資源目錄展示平臺(tái),水文大數(shù)據(jù)平臺(tái),可視化展示平臺(tái)幾部分。
3.1湖南水文大數(shù)據(jù)綜合庫(kù)
根據(jù)水文數(shù)據(jù)存儲(chǔ)及分析需求,既要面對(duì)隨機(jī)讀寫(xiě),又要進(jìn)行批量分析,采用kudu大數(shù)據(jù)存儲(chǔ)引擎。將分散于各水文業(yè)務(wù)系統(tǒng)的數(shù)據(jù)資源根據(jù)水文業(yè)務(wù)需求,按照同類(lèi)型整合,不同類(lèi)型融合的原則,進(jìn)行統(tǒng)一清洗、整理和匯總,最終形成全局一致、協(xié)調(diào)統(tǒng)一的數(shù)據(jù)資源池。根據(jù)水文行業(yè)規(guī)則,將數(shù)據(jù)資源劃分為基礎(chǔ)、業(yè)務(wù)、監(jiān)測(cè)、多媒體、空間信息和元數(shù)據(jù)等6大信息分類(lèi),分別對(duì)應(yīng)綜合庫(kù)中的基礎(chǔ)庫(kù)、業(yè)務(wù)庫(kù)、監(jiān)測(cè)庫(kù)、多媒體庫(kù)、空間庫(kù)和元數(shù)據(jù)庫(kù),共整合數(shù)據(jù)表1883張。
3.2湖南水文綜合數(shù)據(jù)庫(kù)監(jiān)視大屏
實(shí)時(shí)監(jiān)控源數(shù)據(jù)庫(kù)(同步的源頭數(shù)據(jù))、綜合數(shù)據(jù)庫(kù)(將要同步到大數(shù)據(jù)環(huán)境中的綜合庫(kù))、產(chǎn)品數(shù)據(jù)庫(kù)(基于綜合數(shù)據(jù)庫(kù)加工成的產(chǎn)品成果數(shù)據(jù))的運(yùn)行狀態(tài)及數(shù)據(jù)處理情況,實(shí)時(shí)記錄同步過(guò)程中產(chǎn)生的異常,進(jìn)行大數(shù)據(jù)平臺(tái)用戶的日常訪問(wèn)量統(tǒng)計(jì)更新。做到大數(shù)據(jù)平臺(tái)運(yùn)行情況“一屏總覽”。
3.3水文大數(shù)據(jù)云平臺(tái)
3.3.1大數(shù)據(jù)平臺(tái)管理系統(tǒng)
本系統(tǒng)是一個(gè)擁有系統(tǒng)集群自動(dòng)化安裝、中心化管理、系統(tǒng)集群監(jiān)控、報(bào)警功能于一體的平臺(tái)管理系統(tǒng)。系統(tǒng)集群管理涵蓋了水文業(yè)務(wù)數(shù)據(jù)中心所涉及到的分布式文件存儲(chǔ)組件、數(shù)據(jù)流處理組件等十幾類(lèi)功能組件。
3.3.2數(shù)據(jù)自動(dòng)同步系統(tǒng)
針對(duì)業(yè)務(wù)表的增量數(shù)據(jù),在數(shù)據(jù)自動(dòng)同步系統(tǒng)中開(kāi)展自動(dòng)抽取任務(wù)創(chuàng)建工作,能夠?qū)崟r(shí)監(jiān)控各業(yè)務(wù)系統(tǒng)每張表的數(shù)據(jù)變化情況,自動(dòng)觸發(fā)增量數(shù)據(jù)的抽取同步任務(wù)。
3.3.3分布式存儲(chǔ)系統(tǒng)
構(gòu)建起10余類(lèi)業(yè)務(wù)數(shù)據(jù)的分布式非結(jié)構(gòu)化型存儲(chǔ)系統(tǒng)??蓪?duì)大規(guī)模數(shù)據(jù)集提供可靠的存儲(chǔ)功能,并對(duì)應(yīng)用程序提供高帶寬的輸入輸出數(shù)據(jù)流。多臺(tái)服務(wù)器均可直接參與到數(shù)據(jù)存儲(chǔ)和應(yīng)用程序任務(wù)執(zhí)行。通過(guò)多服務(wù)器,分布式的存儲(chǔ)和計(jì)算,計(jì)算資源的規(guī)模能夠按照需要增長(zhǎng),保障水文業(yè)務(wù)數(shù)據(jù)中心持續(xù)穩(wěn)定發(fā)展。
3.3.4數(shù)據(jù)加工與處理系統(tǒng)
針對(duì)現(xiàn)有業(yè)務(wù)數(shù)據(jù)庫(kù)通過(guò)同類(lèi)型整合、不同類(lèi)型融合的加工與處理方式構(gòu)建起10余類(lèi)水文業(yè)務(wù)數(shù)據(jù)產(chǎn)品服務(wù),形成數(shù)據(jù)集市。支持?jǐn)?shù)據(jù)的流式處理、批處理等處理形式。
3.4數(shù)據(jù)資源服務(wù)管理系統(tǒng)
本系統(tǒng)可以提供數(shù)據(jù)庫(kù)連接的管理、元數(shù)據(jù)管理、數(shù)據(jù)資源目錄管理、數(shù)據(jù)資源共享管理等功能。
數(shù)據(jù)庫(kù)連接的管理:可以實(shí)現(xiàn)對(duì)Oracle、Mysql、Sql server登錄的連接管理、便于整個(gè)水文業(yè)務(wù)數(shù)據(jù)中心各子系統(tǒng)便捷使用。
元數(shù)據(jù)管理:可以查閱水文業(yè)務(wù)數(shù)據(jù)中心元數(shù)據(jù)信息,并提供對(duì)表信息、字段信息、字段枚舉值配置功能、針對(duì)每一張均可預(yù)覽庫(kù)表數(shù)據(jù)。
數(shù)據(jù)資源目錄管理:可以查閱水文業(yè)務(wù)數(shù)據(jù)中心數(shù)據(jù)資源目錄信息,并提供數(shù)據(jù)資源目錄的增加、修改、刪除功能。
數(shù)據(jù)資源共享管理:通過(guò)可視化的人工配置方式可以靈活的提供單張表、聯(lián)合表的數(shù)據(jù)共享接口創(chuàng)建與授權(quán)。
3.5數(shù)據(jù)集市典型產(chǎn)品
通過(guò)動(dòng)態(tài)可視化配置的方式獲取數(shù)據(jù)配置產(chǎn)品;可配置出表格、圖表等各種展示形式;提供過(guò)濾、分組匯總、新增列、字段設(shè)置、排序、左右合并、上下合并、行列轉(zhuǎn)化、自循環(huán)列、數(shù)據(jù)類(lèi)型轉(zhuǎn)化等數(shù)據(jù)分析方法。