本文來自向云而生。
最近艾瑞等一些咨詢機構(gòu)先后發(fā)布了關于數(shù)據(jù)中臺和數(shù)據(jù)治理的一些研報，結(jié)合最近跟一部分客戶討論的關于數(shù)據(jù)域后續(xù)發(fā)展的一些心得，今天來談談數(shù)據(jù)中臺與數(shù)據(jù)治理的后續(xù)發(fā)展趨勢和思路。
01市場在擴大，但是趨于理智，價值導向更明顯
數(shù)據(jù)中臺是中國本土誕生的一個詞，從技術的角度來講，我個人認為是對數(shù)據(jù)架構(gòu)和數(shù)據(jù)平臺的一個巨大貢獻，快速拉進了高不可攀的數(shù)據(jù)技術與實際應用的距離，讓數(shù)據(jù)在企業(yè)落地變得觸手可及。
數(shù)據(jù)中臺顯然是近幾年的一個行業(yè)熱點，幾乎所有有能力的客戶，都會場合套用數(shù)據(jù)中臺的概念來啟動數(shù)據(jù)域建設或者改造，試圖打破信息壁壘和數(shù)據(jù)煙囪，實現(xiàn)數(shù)據(jù)資產(chǎn)的整合。在數(shù)據(jù)要素配置的政策加持下，數(shù)據(jù)中臺市場規(guī)模迅速擴大。
最近看了一些數(shù)據(jù)，數(shù)據(jù)中臺增長率從2019年的120%，降到了2022年的30%，再到預測的2023年的24%，雖然不同機構(gòu)對這一數(shù)字的解讀用了不同詞兒，有的叫增長趨于平穩(wěn)，有的叫增速驟降，怎么說都對，但其中的共識就是客戶開始變得比以前理智，不再糾結(jié)于過分追新求快，開始關注數(shù)據(jù)中臺的價值導向?？蛻粢查_始更理智的看待數(shù)據(jù)要素，從一開始像囤積土地資源一樣囤積數(shù)據(jù)，開始更多關注數(shù)據(jù)本身能夠帶來的價值。同時，也開始更加關注基于數(shù)據(jù)中臺的數(shù)據(jù)治理應該如何開展。
02數(shù)據(jù)中臺與數(shù)據(jù)治理本就你中有我，我中有你
數(shù)據(jù)中臺的出現(xiàn)，在客觀上對傳統(tǒng)數(shù)據(jù)治理的推進造成了一定的影響，但是數(shù)據(jù)中臺從本質(zhì)上跟數(shù)據(jù)治理是相輔相成額關系。首先，數(shù)據(jù)中臺實現(xiàn)了數(shù)據(jù)資源的聚合和融通，承載了業(yè)務條線對數(shù)據(jù)的需求和期望，是企業(yè)切入數(shù)據(jù)域建設的重要途徑和抓手。企業(yè)通過數(shù)據(jù)中臺的建設和落地，比較容易在數(shù)據(jù)層面“找問題”、“強弱項”，有助于數(shù)據(jù)治理意識和體系的形成。數(shù)據(jù)中臺要想持續(xù)發(fā)揮價值，需要受數(shù)據(jù)治理體系的管理和約束，數(shù)據(jù)治理的持續(xù)運行有助于進一步加強和推動數(shù)據(jù)服務能力建設。
雖然在技術架構(gòu)上，數(shù)據(jù)治理始終都是數(shù)據(jù)中臺的重要組成部分，但是數(shù)據(jù)治理的成效始終都沒有發(fā)揮出來。究其原因，問題應該出在管理和組織上。
03除了工具和平臺，我們應該怎么理解數(shù)據(jù)治理
1、統(tǒng)一思想
數(shù)據(jù)治理應該成為企業(yè)數(shù)字化轉(zhuǎn)型戰(zhàn)略的一部分，針對不同情況和處境，盡快達成一致，形成統(tǒng)一的治理思想和戰(zhàn)略，并納入數(shù)字化戰(zhàn)略統(tǒng)一推進。處在數(shù)字化轉(zhuǎn)型初期的，應該采取管理先行制度為王的策略；處在數(shù)字化轉(zhuǎn)型中期的，應該盡快建立數(shù)據(jù)治理平臺能力，建立全鏈路數(shù)據(jù)跟蹤監(jiān)測體系和數(shù)據(jù)質(zhì)量基線，快速發(fā)現(xiàn)問題，避免一亂一治的問題。
2、組織至上
數(shù)據(jù)治理始終都是一個以人為本的領域，數(shù)據(jù)治理的核心是人，不是系統(tǒng)。這個概念可能很多人不能接受，但事實就是這樣。平臺和工具只能代替人去處理一些重復性勞動，但是數(shù)據(jù)意識的養(yǎng)成、數(shù)據(jù)標準的建立、數(shù)據(jù)質(zhì)量體系的完善都需要靠人去推動。所以，成立專門的組織就很重要，建立面向數(shù)據(jù)治理、數(shù)據(jù)運維和數(shù)據(jù)運營的專門團隊，確定團隊和組織的地位和責權利，就變成了當務之急。有時候組織的范圍不僅僅是本單位內(nèi)部，還會包括你的應用開發(fā)商、服務商和供應商。
3、模式適配
通常來講，數(shù)據(jù)治理的推進模式有集中式、聯(lián)邦式和分布式。模式?jīng)]有好與壞的區(qū)別，適合的就是最好的。比如，對于管理能效高，自上而下推動力強的企業(yè)，顯然集中式是最佳的選擇。對于存在多源異構(gòu)數(shù)據(jù)的企業(yè)，數(shù)據(jù)資源豐富、需要調(diào)動不同業(yè)務條線的數(shù)據(jù)意識和積極性，聯(lián)邦制可能更適合。
4、建章立制
在以前的數(shù)據(jù)治理活動中，很多大程度上規(guī)章制度是缺位的。數(shù)據(jù)治理往往以運動的方式出現(xiàn)，“醒時同交歡,醉后各分散”，雷聲大雨點小，運動過后無人問津，一切都回歸原點。數(shù)據(jù)治理的建章立制的過程，也是“立法”的過程，需要明確數(shù)據(jù)的管理職責、管理流程，形成常態(tài)化治理機制，實現(xiàn)數(shù)據(jù)的“長治久安“。
04數(shù)據(jù)治理的發(fā)展趨勢
從目前來看，數(shù)據(jù)治理的發(fā)展趨勢，有很多方面已經(jīng)很明確了，比如數(shù)據(jù)治理與AI的結(jié)合、數(shù)據(jù)安全與數(shù)據(jù)治理的深度融合、數(shù)據(jù)價值呈現(xiàn)成為數(shù)據(jù)治理的關注焦點。以上思路毋庸多言，我想重點分享一下下面的觀點：
1、業(yè)務牽引的精細化治理，成為趨勢
傳統(tǒng)大水漫灌式的數(shù)據(jù)治理方式，正在被業(yè)務場景聚焦的精細化方式取代，開始嘗試重點突破關鍵和核心業(yè)務場景，在局部和小范圍進行推進，取得成效以后再進行推廣。同時，不同行業(yè)和領域?qū)?shù)據(jù)治理能力的需求迫切程度也不一樣，比如金融數(shù)據(jù)治理重點關注數(shù)據(jù)標準化，多源異構(gòu)數(shù)據(jù)較多和離線實時數(shù)據(jù)并行的場景更關注數(shù)據(jù)質(zhì)量監(jiān)測，需要按照結(jié)合行業(yè)屬性和業(yè)務特點進行有針對性的精細化治理，杜絕頭疼醫(yī)頭腳疼醫(yī)腳。
2、全鏈路數(shù)據(jù)跟蹤監(jiān)測體系和數(shù)據(jù)質(zhì)量基線需要持續(xù)關注
說起數(shù)據(jù)質(zhì)量監(jiān)測，這正成為數(shù)據(jù)治理取得價值突破的重要抓手。面對大量多源異構(gòu)數(shù)據(jù)和不同業(yè)務場景下，離線和實施數(shù)據(jù)并存的情況，全鏈路數(shù)據(jù)跟蹤監(jiān)測體系顯得尤為重要，需要從數(shù)據(jù)源、數(shù)據(jù)模型到數(shù)據(jù)應用的全鏈路監(jiān)控，監(jiān)控數(shù)據(jù)調(diào)取、數(shù)據(jù)運行狀態(tài)和數(shù)據(jù)質(zhì)量事件。同時，我們需要及時構(gòu)建數(shù)據(jù)質(zhì)量運維基線，根據(jù)任務要求建立合理的基線預警，對數(shù)據(jù)質(zhì)量問題早發(fā)現(xiàn)早處置。關注持續(xù)的任務關聯(lián)性和影響性分析（有點像業(yè)務連續(xù)性里面的業(yè)務影響性分析），基于全鏈路的數(shù)據(jù)血緣，梳理上下數(shù)據(jù)依賴關系，及時通報及時修復。
3、數(shù)據(jù)治理和數(shù)據(jù)平臺一體化建設
數(shù)據(jù)治理體系和數(shù)據(jù)平臺建設，往往沒辦法依照“發(fā)現(xiàn)問題、分析問題、解決問題”的路徑去落地，會受很多問題的制約和限制。解決數(shù)據(jù)問題，通常有兩個思路：
一是一是從平臺架構(gòu)、技術方面思考解決方法。這個方向就是數(shù)據(jù)中臺，數(shù)據(jù)中臺中的“一切業(yè)務數(shù)據(jù)化、一切數(shù)據(jù)業(yè)務化”的思想，體現(xiàn)出來的數(shù)據(jù)資產(chǎn)化、元數(shù)據(jù)管理等等跟數(shù)據(jù)治理思想一致。
二是通過數(shù)據(jù)治理解決問題。在這個方向上，數(shù)據(jù)治理從數(shù)據(jù)資源目錄梳理、數(shù)據(jù)標準建立開始，逐步推動數(shù)據(jù)資源服務和數(shù)據(jù)能力服務兩大板塊。
因此，數(shù)據(jù)平臺建設與數(shù)據(jù)治理正在深度融合，按照一體化建設的思路向縱深發(fā)展。
4、DataOps數(shù)據(jù)開發(fā)治理一體化
近幾年，DataOps數(shù)據(jù)開發(fā)治理一體化在業(yè)界非常受歡迎。部分數(shù)字化轉(zhuǎn)型較早、數(shù)據(jù)資源條件優(yōu)厚的企業(yè)，借鑒傳統(tǒng)DevOps的理念，將原本分散的數(shù)據(jù)治理、管理、開發(fā)和應用等環(huán)節(jié)打通，形成一個無縫銜接的大閉環(huán)，去破解企業(yè)在數(shù)據(jù)應用中的難題。
究竟什么是DataOps，在現(xiàn)在階段不太好定義。維基百科對DataOps的定義是一種面向流程的自動化方法，由分析和數(shù)據(jù)團隊使用，旨在提高數(shù)據(jù)分析的質(zhì)量并縮短數(shù)據(jù)分析的周期，簡而言之，就是提供一整套工具和方法論，讓數(shù)據(jù)應用的開發(fā)和管理更加高效。顯然，這個定義有點籠統(tǒng)又不明確。
我們一般理解，DataOps的目標是為了使數(shù)據(jù)資源和數(shù)據(jù)應用的開發(fā)變得更加有序和可控，實現(xiàn)組件和能力重用以及過程自動化，實現(xiàn)面向用戶的自助式數(shù)據(jù)分析。DataOps在數(shù)據(jù)開發(fā)運營體系化方面，可以作為數(shù)據(jù)中臺建設必須參考的一個方法論。DataOps強調(diào)的是數(shù)據(jù)應用的開發(fā)和運維效率，就像DevOps一樣，DataOps希望通過提供一整套工具和方法論，來讓數(shù)據(jù)應用的開發(fā)和管理更加高效。
如果說數(shù)據(jù)中臺是數(shù)據(jù)戰(zhàn)略層面的，我理解DataOps就是戰(zhàn)術層面的。本來還想說說Data Fabric，又是一個不太好翻譯的詞，Data Fabric成為跨平臺數(shù)據(jù)整合的新方式，極有可能是顛覆式的方式。
