本文來自數(shù)據(jù)學堂。
數(shù)據(jù)已成為數(shù)字經(jīng)濟的重要生產(chǎn)要素，這意味著，整合更多數(shù)據(jù)、擁有更強的數(shù)據(jù)分析和處理能力，以數(shù)據(jù)資產(chǎn)化、數(shù)據(jù)服務化、數(shù)據(jù)知識化驅(qū)動業(yè)務，將是組織獲得核心競爭力的關鍵。
然而，在構建數(shù)據(jù)驅(qū)動型組織的道路上，數(shù)據(jù)孤島已成為釋放數(shù)據(jù)價值的關鍵障礙，主要表現(xiàn)在數(shù)據(jù)整合與治理、組織運營、數(shù)字創(chuàng)新等各個層面。
01“數(shù)據(jù)孤島”是什么？
企業(yè)發(fā)展到一定階段，必然會跟隨時代發(fā)展進行信息化建設。而信息化建設的不平衡，催生了“數(shù)據(jù)孤島”現(xiàn)象的產(chǎn)生。
企業(yè)內(nèi)部通常存在多個事業(yè)部，每個事業(yè)部都有各自的數(shù)據(jù)，事業(yè)部之間的數(shù)據(jù)往往都各自存儲，各自定義，形成不同的子系統(tǒng)。而子系統(tǒng)之間并未建立有效的數(shù)據(jù)交換服務，各業(yè)務系統(tǒng)數(shù)據(jù)描述標準不一，造成嚴重的數(shù)據(jù)不一致。各個子系統(tǒng)內(nèi)所存儲占有的數(shù)據(jù)，就像一個個孤島，難以和企業(yè)內(nèi)部的其他數(shù)據(jù)進行連接互動。
這樣的情況就被稱為“數(shù)據(jù)孤島”現(xiàn)象。簡單來說，就是企業(yè)內(nèi)部的數(shù)據(jù)間缺乏關聯(lián)性，彼此無法兼容。
組織中一切活動都會產(chǎn)生數(shù)據(jù)，但這些海量的數(shù)據(jù)由于組織戰(zhàn)略、架構設置、數(shù)字化建設等原因，分散存儲在組織的各個部門、業(yè)務系統(tǒng)、應用之中，彼此無法互聯(lián)互通、共享，也無法被利用，形成了一個又一個孤立的數(shù)據(jù)島嶼。
數(shù)據(jù)孤島作為數(shù)字化轉(zhuǎn)型的負面產(chǎn)物，已成為一種普遍現(xiàn)象，F(xiàn)orrester調(diào)研發(fā)現(xiàn)，82%的企業(yè)都受到數(shù)據(jù)孤島的阻礙。
02“數(shù)據(jù)孤島”的危害
企業(yè)內(nèi)不同部門數(shù)據(jù)的“各自為政”，大大制約著企業(yè)管理和業(yè)務的順暢開展：
1、數(shù)據(jù)重復：由于數(shù)據(jù)流通不暢，企業(yè)各部門在收集數(shù)據(jù)時會產(chǎn)生重復行為，造成了數(shù)據(jù)的重復、冗余、無效等情況，降低了數(shù)據(jù)的質(zhì)量和準確度。
2、錯誤決策：數(shù)據(jù)的不準確、不及時，往往導致企業(yè)決策錯誤或決策遲緩，從而影響企業(yè)的口碑和在市場中的競爭地位。
3、協(xié)作不良：企業(yè)內(nèi)部數(shù)據(jù)孤島現(xiàn)象的顯著，會在很大程度上使得企業(yè)各個部門、團隊之間，因難以獲取工作需要的數(shù)據(jù)，而關系緊張、協(xié)作不良。
4、效率低下：由于不同部門對數(shù)據(jù)的理解和定義不同，企業(yè)內(nèi)部的溝通成本上升。同時，各部門對數(shù)據(jù)的重復管理，造成了時間和金錢的浪費、工作效率的低下。
5、客戶體驗差：企業(yè)內(nèi)各部門擁有的數(shù)據(jù)不一，容易造成客戶端到端的體驗混雜，總體評價低。
03為何會產(chǎn)生“數(shù)據(jù)孤島”現(xiàn)象？
1、以功能為標準的部門劃分導致數(shù)據(jù)孤島。企業(yè)各部門之間相對獨立，數(shù)據(jù)各自保管存儲，對數(shù)據(jù)的認知角度也截然不同，最終導致數(shù)據(jù)之間難以互通，形成孤島。也因此集團化的企業(yè)更容易產(chǎn)生數(shù)據(jù)孤島的現(xiàn)象。
2、缺少企業(yè)內(nèi)信息化建設的戰(zhàn)略和標準，如果不能做到信息系統(tǒng)建設的統(tǒng)一，由不同部門，不同公司來建設的話，必須有一個標準能夠使得日后的互通比較容易實現(xiàn)。
3、不同類型、不同版本的信息化管理系統(tǒng)導致數(shù)據(jù)孤島。人事部門用OA系統(tǒng)，生產(chǎn)部門用ERP系統(tǒng)，銷售部門用CRM系統(tǒng)，甚至一個人事部門使用一家考勤軟件的同時，卻在同時使用另一家的報銷軟件，后果就是一家企業(yè)的數(shù)據(jù)互通越來越難。
04企業(yè)如何走出數(shù)據(jù)孤島？
關于事物各個部分之間的關系對整體發(fā)展的影響，哲學上也曾給出過確定的解答：“當事物的各部分以有序、合理、優(yōu)化的結構形成整體時，整體的功能將大于各部分功能之和；當各部分以無序、欠佳的結構形成整體時，各部分原有的性能得不到發(fā)揮，力量削弱、甚至相互抵消，使整體功能小于各部分之和。”
因此，從長久發(fā)展來看，企業(yè)應該徹底解決數(shù)據(jù)孤島現(xiàn)象，讓各部門的信息數(shù)據(jù)以合理有序的方式相互連通影響，從而推動企業(yè)的發(fā)展進步。
為了解決數(shù)據(jù)孤島的問題，企業(yè)進行了很多嘗試。很多企業(yè)開始有意識地通過調(diào)整數(shù)據(jù)交換架構來改善數(shù)據(jù)質(zhì)量，以打破“數(shù)據(jù)孤島”、實現(xiàn)業(yè)務系統(tǒng)間數(shù)據(jù)的順暢流動。
然而，實踐表明，企業(yè)網(wǎng)狀的數(shù)據(jù)交換架構和以主數(shù)據(jù)治理（管理）平臺為中心的數(shù)據(jù)交換架構都無法徹底地解決數(shù)據(jù)孤島問題。企業(yè)需要既能解決數(shù)據(jù)的交互流動，又能控制數(shù)據(jù)質(zhì)量，并且是控制全部靜態(tài)數(shù)據(jù)（主數(shù)據(jù)+業(yè)務場景數(shù)據(jù)等）的質(zhì)量的解決方案。
經(jīng)過多年的實踐研究發(fā)現(xiàn)，基于靜態(tài)數(shù)據(jù)中心的數(shù)據(jù)交換架構，可以實現(xiàn)這一訴求。構建基于靜態(tài)數(shù)據(jù)中心的數(shù)據(jù)治理平臺，并以其為中心構建雪花狀數(shù)據(jù)交換架構，如圖1所示：
該架構的核心是企業(yè)基于數(shù)據(jù)治理平臺的靜態(tài)數(shù)據(jù)中心，企業(yè)所有業(yè)務系統(tǒng)的數(shù)據(jù)流動都要經(jīng)過該中心的中轉(zhuǎn)，數(shù)據(jù)從各業(yè)務系統(tǒng)采集過來然后分發(fā)出去，同時該靜態(tài)數(shù)據(jù)中心對經(jīng)其中轉(zhuǎn)的數(shù)據(jù)會進行規(guī)范化和標準化，確保數(shù)據(jù)質(zhì)量，實現(xiàn)數(shù)據(jù)從源頭到目標消費系統(tǒng)的真正流動，從根本上徹底打通企業(yè)內(nèi)的數(shù)據(jù)孤島。
該架構中的靜態(tài)數(shù)據(jù)中心對靜態(tài)數(shù)據(jù)的全方位管理可以很好地規(guī)避主數(shù)據(jù)動態(tài)性的問題，并且可以通過靜態(tài)數(shù)據(jù)中心實現(xiàn)由企業(yè)頂層通覽全局靜態(tài)數(shù)據(jù)。
該架構對數(shù)據(jù)質(zhì)量的控制非常全面，靜態(tài)數(shù)據(jù)中心對靜態(tài)數(shù)據(jù)的全方位管理可以解決包含主數(shù)據(jù)及業(yè)務場景數(shù)據(jù)的質(zhì)量問題。
該架構能夠提供多種技術形式的數(shù)據(jù)交換接口，通過即插即用的方式可以隨時掛接新的業(yè)務系統(tǒng)，實現(xiàn)新的數(shù)據(jù)交互和流動。
另外，數(shù)據(jù)的源頭（指數(shù)據(jù)最初的產(chǎn)生地點，一般指某業(yè)務系統(tǒng)）是數(shù)據(jù)流動的起點，也是數(shù)據(jù)交換架構的核心點，針對數(shù)據(jù)的源頭的選擇更是打通數(shù)據(jù)孤島的關鍵點，也決定了整個數(shù)據(jù)交換架構的布局。
為了更好地詮釋該數(shù)據(jù)交換架構針對企業(yè)數(shù)據(jù)管理的適用性，下面具體說明一下不同類型數(shù)據(jù)源頭的位置：物資數(shù)據(jù)的源頭一定是靜態(tài)數(shù)據(jù)中心（數(shù)據(jù)治理平臺）；客戶數(shù)據(jù)的源頭可以是CRM（如有）也可以是靜態(tài)數(shù)據(jù)中心（數(shù)據(jù)治理平臺），供應商數(shù)據(jù)的源頭可以是SRM（如有）也可以是靜態(tài)數(shù)據(jù)中心（數(shù)據(jù)治理平臺）等，具體原因如表1所示。
05基于數(shù)據(jù)中臺的數(shù)據(jù)孤島解決方案
部門A為了解決一些大數(shù)據(jù)問題，采購了廠商X的大數(shù)據(jù)解決方案，安裝了一個大數(shù)據(jù)平臺，導入自己的數(shù)據(jù)并開發(fā)了一些大數(shù)據(jù)應用，運行得挺不錯。這個時候，部門B也需要解決一些大數(shù)據(jù)問題，于是試圖采購廠商Y提供的大數(shù)據(jù)解決方案，但Y的大數(shù)據(jù)平臺和X的有一些版本、組件上的差異，所以需要對X的大數(shù)據(jù)平臺進行改造。
問題是，這個任務由誰來完成，由誰負責改造后的大數(shù)據(jù)平臺的運維？有可能廠商Y的大數(shù)據(jù)應用也需要做些改造，這可行嗎？部門A的應用已經(jīng)運行得很好了，部門B的應用會不會對部門A的應用造成影響（包括性能和數(shù)據(jù)安全的影響）？如果影響了，誰來負責？比較簡單且快速見效的方法是直接安裝廠商Y提供的端到端的解決方案。照此下去，每個解決方案都會安裝一個新的大數(shù)據(jù)系統(tǒng)。
還有一個問題是，廠商X和廠商Y底層的數(shù)據(jù)結構可能不是對外公開的，因而它們各自解決自己的問題，雖然開始互不干擾，但是后來就造成了數(shù)據(jù)孤島和煙囪。這個時候，由于各個子系統(tǒng)的數(shù)據(jù)標準不一、數(shù)據(jù)格式不同，各部門之間數(shù)據(jù)無法互聯(lián)互通，很難根據(jù)數(shù)據(jù)做出全局決策。
解決上面的問題，正是數(shù)據(jù)中臺方法論和架構的任務。TotalPlatform保證所有數(shù)據(jù)應用的統(tǒng)一管理，OneID、OneModel確保各子系統(tǒng)中數(shù)據(jù)的互聯(lián)互通，OneService負責數(shù)據(jù)能力的共享，TotalInsight確保全局數(shù)據(jù)運營的高效和價值量化。
1）全局的數(shù)據(jù)治理
必須有全局的數(shù)據(jù)治理系統(tǒng)來管理所有子系統(tǒng)的數(shù)據(jù)，確保它們能互聯(lián)互通。例如，OneID要求所有關于用戶的數(shù)據(jù)都必須使用同一個ID，OneModel要求所有數(shù)據(jù)倉庫的模型都必須符合同樣的標準。
但是這里要指出，解決數(shù)據(jù)孤島和應用孤島的問題，除了技術方案以外，明確責權利也很重要。出現(xiàn)孤島的原因之一就是各部門的責權利不明晰。如何在使用數(shù)據(jù)中臺解決孤島問題的同時保證責權利的明晰，是一個非常重要的問題，我們將在第6章中詳細描述。
2）數(shù)據(jù)能力的復用和共享
在進行全局的數(shù)據(jù)治理的同時，治理的結果必須能為公司創(chuàng)造價值。這個時候就類似于OneService的功能，既要求能進行全局的數(shù)據(jù)能力的復用和共享，也需要類似TotalInsight的功能，管理全局的數(shù)據(jù)資產(chǎn)，量化數(shù)據(jù)能力的投入產(chǎn)出。主要的工作如下：
建立數(shù)據(jù)能力共享的責權利機制；
提供全局的數(shù)據(jù)能力目錄和訪問機制；
提供數(shù)據(jù)能力共享的工具、機制和流程；
對共享的數(shù)據(jù)能力的管控和審計；
確保共享的數(shù)據(jù)能力的高效運行。
3）云原生架構的支撐
在這個階段隨著業(yè)務的不斷增長，越來越多的應用程序被添加到大數(shù)據(jù)系統(tǒng)中。先有Spark、Kafka，后有Flink、TensorFlow，現(xiàn)在又有各種新的大數(shù)據(jù)和人工智能組件。
這些就是在云基礎架構上運行大數(shù)據(jù)系統(tǒng)的根本原因。而云平臺為分析工作負載和一般工作負載提供了極大支持，并提供了云計算技術的所有好處：易于配置和部署、彈性擴展、資源隔離、高資源利用率、高彈性、自動恢復。
在云計算環(huán)境中運行大數(shù)據(jù)系統(tǒng)的另一個原因是大數(shù)據(jù)工具的發(fā)展。傳統(tǒng)的分布式系統(tǒng)（如MySQL集群、Hadoop和MongoDB集群）傾向于處理自己的資源管理和分布式協(xié)調(diào)，但是現(xiàn)在由于Kubernetes、Mesos、YARN等分布式資源管理器和調(diào)度程序的出現(xiàn)，越來越多的分布式系統(tǒng)（如Spark）將依賴底層分布式框架來提供這些資源分配和程序協(xié)調(diào)調(diào)度的分布式操作原語。在這樣的統(tǒng)一框架中運行它們將大大降低復雜性并提高運行效率，如下圖所示。
寫在最后的話
數(shù)據(jù)孤島是企業(yè)中與企業(yè)的其他部分隔離且無法訪問的數(shù)據(jù)集合，走出數(shù)據(jù)孤島可以幫助企業(yè)在正確的時間獲取正確的數(shù)據(jù)以便輔助企業(yè)做出正確的決策，解決企業(yè)數(shù)據(jù)的不一致問題，提升溝通效率，并幫助企業(yè)降低重復數(shù)據(jù)的存儲問題來節(jié)約成本。
如何走出數(shù)據(jù)孤島？不同的時期，不同的場景可能需要不同的解決方案，您可以選擇基于痛點需求的數(shù)據(jù)集成融合方案，也可以選擇大而全的數(shù)據(jù)中臺方案，具體怎么選，需要結合企業(yè)的需求，沒有最好的只有更合適的。
