前言
對任何業(yè)務(wù)來說，數(shù)據(jù)驅(qū)動的結(jié)果、預(yù)告和對趨勢的預(yù)測都是必不可少的。今天，在我們所做的每件事中，都能看到某種分析的邏輯在背后。從點(diǎn)擊網(wǎng)站(點(diǎn)擊流分析)、在線購買(客戶行為)、遺傳學(xué)、CRM、公用事業(yè)、醫(yī)療保健，甚至選舉，我們都可以看到分析的存在。分析的能力不再讓你獲得優(yōu)勢，它已經(jīng)變成了你保持業(yè)務(wù)不被淘汰的必要條件。它倒逼組織建立數(shù)據(jù)湖或升級現(xiàn)有的數(shù)據(jù)倉庫。
這就引出了一個非常有趣但也令人困惑的問題：我應(yīng)該用數(shù)據(jù)倉庫還是數(shù)據(jù)湖？答案其實很簡單。一般情況下，你應(yīng)該同時擁有數(shù)據(jù)倉庫和數(shù)據(jù)湖，更準(zhǔn)確地說，數(shù)據(jù)倉庫位于數(shù)據(jù)湖中。
數(shù)據(jù)倉庫vs數(shù)據(jù)湖
數(shù)據(jù)倉庫是為分析來自不同系統(tǒng)或業(yè)務(wù)線的結(jié)構(gòu)化數(shù)據(jù)而優(yōu)化的數(shù)據(jù)庫。為了支持更快的SQL驅(qū)動操作報告和分析，模式和數(shù)據(jù)結(jié)構(gòu)都已經(jīng)預(yù)先定義了。數(shù)據(jù)倉庫中的數(shù)據(jù)已經(jīng)被清理、豐富和轉(zhuǎn)換為“單一的真理來源”。
然而，數(shù)據(jù)湖存儲來自商業(yè)應(yīng)用程序、移動應(yīng)用程序、物聯(lián)網(wǎng)設(shè)備和社交媒體的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。模式在數(shù)據(jù)剛捕獲階段是不需要提前定義的。這意味著你可以存儲數(shù)據(jù)，而不需要仔細(xì)設(shè)計，也不需要知道要獲得什么樣的見解。它支持大數(shù)據(jù)分析、搜索分析、機(jī)器學(xué)習(xí)、實時分析、日志分析和點(diǎn)擊流分析等。
理論上，數(shù)據(jù)湖聽起來像是所有問題的一站式解決方案，但并不令人驚訝的是，很多數(shù)據(jù)湖都失敗了。數(shù)據(jù)湖解決了兩個主要問題:“消除數(shù)據(jù)豎井”和“存儲異類源”。然而，這也帶來了許多挑戰(zhàn)，需要正確的體系結(jié)構(gòu)、存儲、數(shù)據(jù)治理和安全模型來驅(qū)動業(yè)務(wù)結(jié)果。
數(shù)據(jù)湖的特性
對數(shù)據(jù)湖的預(yù)期
數(shù)據(jù)湖應(yīng)該能夠交付:
不同的數(shù)據(jù)源：數(shù)據(jù)湖應(yīng)該支持從任何數(shù)據(jù)源高效高速收集數(shù)據(jù)，來自不同來源的數(shù)據(jù)有助于執(zhí)行完整和深入的分析；
數(shù)據(jù)可訪問性：它應(yīng)該允許組織/部門范圍內(nèi)的數(shù)據(jù)以一種安全的授權(quán)方式從多個來源訪問數(shù)據(jù)，數(shù)據(jù)專業(yè)人員和企業(yè)不受IT部門的官僚主義影響；
及時性：數(shù)據(jù)很重要，但只有在及時收到數(shù)據(jù)的情況下才重要。所有用戶都有一個有效的時間窗口，在此期間，正確的信息可以影響他們的決策；
自助式服務(wù)：對于組織范圍的數(shù)據(jù)，數(shù)據(jù)湖應(yīng)該允許用戶使用所需的工具集構(gòu)建他們的報告和模型。
我們接下來要討論怎樣設(shè)計更好的數(shù)據(jù)湖，下圖提到的微服務(wù)架構(gòu)、安全、治理、和存儲是構(gòu)建有效的、數(shù)據(jù)驅(qū)動的、未來感十足的數(shù)據(jù)湖的四大支柱。
數(shù)據(jù)湖的四大支柱
架構(gòu)
大多數(shù)現(xiàn)代數(shù)據(jù)湖都是使用微服務(wù)體系結(jié)構(gòu)構(gòu)建的，其核心是構(gòu)建一套專注于業(yè)務(wù)功能并可獨(dú)立部署的小型服務(wù)。微服務(wù)體系結(jié)構(gòu)是構(gòu)建解耦的、敏捷的和自動化的數(shù)據(jù)湖應(yīng)用程序的理想選擇。一個理想的架構(gòu)應(yīng)該有：
解耦應(yīng)用程序：所有進(jìn)程都應(yīng)該解耦，以避免出現(xiàn)故障時無法應(yīng)對。例如，處理一組數(shù)據(jù)管道的失敗不應(yīng)阻止處理其余的數(shù)據(jù)管道。
消除單點(diǎn)故障：單點(diǎn)故障可能導(dǎo)致整個系統(tǒng)崩潰。而多點(diǎn)故障可以確保在工程師解決故障時，其他的數(shù)據(jù)管道可以不受影響。這也有助于防止類似DDoS的攻擊。這種方法應(yīng)該同時用于硬件和應(yīng)用程序。
敏捷：在小的sprint中與業(yè)務(wù)合作交付最可行的產(chǎn)品(MVP)。業(yè)務(wù)和IT作為合作伙伴在sprint中添加特性。這確保了沒有意外，而且有效的微服務(wù)模型允許并發(fā)應(yīng)用程序部署。
計算與存儲解耦合：允許存儲和計算資源的獨(dú)立擴(kuò)展，可以垂直地(向同一臺機(jī)器添加容量)和水平地(添加更多的機(jī)器)，以接近最佳配置。
審核和日志記錄：由于有如此多的應(yīng)用程序和進(jìn)程以一種解耦的模式運(yùn)行，因此記錄事件以分類問題和流變得非常重要。從數(shù)據(jù)治理的角度來看，記錄各種API和事件的審計記錄變得非常重要。如果存在任何破壞或未經(jīng)授權(quán)的訪問，這對于理解服務(wù)是如何被使用非常方便。幾乎所有的云平臺都提供審計服務(wù)，需要啟用這些服務(wù)來存儲日志。始終采取預(yù)防措施，使審計日志不可變，不受篡改。
存儲
存儲是現(xiàn)代數(shù)據(jù)湖的核心。數(shù)據(jù)湖服務(wù)于具有不同背景和工具偏好的不同客戶，比如數(shù)據(jù)科學(xué)家、分析師和業(yè)務(wù)用戶，他們都需要一組不同的工具和對數(shù)據(jù)的訪問。集中存儲有助于更好的治理、維護(hù)和使用多種工具的能力。通過集中呈現(xiàn)數(shù)據(jù)，所有應(yīng)用程序和工具都可以輕松讀寫數(shù)據(jù)。這種方法提供了替換工具的靈活性，因為存儲已經(jīng)集中并解耦了。然而，擁有以下特征是很重要的:
存儲特性
可伸縮性：企業(yè)數(shù)據(jù)湖充當(dāng)整個組織或部門數(shù)據(jù)的集中式數(shù)據(jù)存儲。它必須具備擴(kuò)展性，沒有容量的限制。像AWS S3或Azure存儲這樣的服務(wù)有助于實現(xiàn)這一點(diǎn)。
高可用性：數(shù)據(jù)讀取的及時性和不間斷可用性是決策的關(guān)鍵。跨多可用性區(qū)域的復(fù)制有助于實現(xiàn)高數(shù)據(jù)可用性。多區(qū)域數(shù)據(jù)復(fù)制確保有效的災(zāi)難恢復(fù)。對于用戶跨多個區(qū)域工作的業(yè)務(wù)，跨不同區(qū)域復(fù)制數(shù)據(jù)有助于更快地為數(shù)據(jù)提供服務(wù)，因為數(shù)據(jù)距離用戶或應(yīng)用程序更近。
數(shù)據(jù)持久性：數(shù)據(jù)一旦存儲，就不會因為磁盤、設(shè)備、災(zāi)難或任何其他原因而丟失。核心存儲層具有非常高的持久性，可以實現(xiàn)出色的數(shù)據(jù)健壯性
安全性：無論是云計算還是本地計算，數(shù)據(jù)安全性都是最重要的考慮因素。數(shù)據(jù)必須是加密的、耐篡改的、不可變的(在需要的地方)，并且符合要求的規(guī)則。數(shù)據(jù)丟失就是業(yè)務(wù)丟失。
治理和審計：應(yīng)用治理規(guī)則、數(shù)據(jù)不變性、識別PII數(shù)據(jù)以及提供數(shù)據(jù)使用的完整審計日志的能力對于滿足法規(guī)和法定要求至關(guān)重要。
存儲任何內(nèi)容：數(shù)據(jù)湖的主要設(shè)計考慮事項之一應(yīng)該是存儲任何格式的數(shù)據(jù)(結(jié)構(gòu)化和非結(jié)構(gòu)化)，并提供快速的檢索時間。對于此類使用場景，強(qiáng)烈建議使用對象存儲。
存儲文件的大小和格式：一個小文件有大小小于Hadoop文件系統(tǒng)(HDFS)默認(rèn)塊大小為128 MB的。在Hadoop框架,集群中的每個文件被表示為一個對象的名字節(jié)點(diǎn)的內(nèi)存,每個占150個字節(jié)。這意味著大量文件將大量消耗內(nèi)存。大多數(shù)基于Hadoop的框架在使用小文件時效率不高。另一個重要的方面是文件的格式(行存儲vs列存儲)。通過柱狀文件格式，可以只讀取、解壓和處理當(dāng)前查詢所需的值。流行的文件格式是ORC和Parquet，它們都有自己的用例和優(yōu)點(diǎn)。
匯聚
數(shù)據(jù)匯聚是將數(shù)據(jù)從不同來源(如點(diǎn)擊流、數(shù)據(jù)中心日志、傳感器、物聯(lián)網(wǎng)設(shè)備、API和數(shù)據(jù)庫)獲取的過程。根據(jù)源的類型以及是否需要實時處理數(shù)據(jù)，可以實時或批量地獲取數(shù)據(jù)。在數(shù)據(jù)湖中，數(shù)據(jù)以原始格式(結(jié)構(gòu)化或非結(jié)構(gòu)化)引入?？梢允褂昧餍械臄?shù)據(jù)復(fù)制工具、流工具或ETL工具攝取數(shù)據(jù)。數(shù)據(jù)攝入的主要目的是快速有效地以原始格式獲取數(shù)據(jù)。在這個階段沒有應(yīng)用轉(zhuǎn)換，如果有了可用的原始數(shù)據(jù)，我們可以回到需要的時間點(diǎn)。建議有效地組織數(shù)據(jù)存儲，以實現(xiàn)更快的數(shù)據(jù)訪問。組織結(jié)構(gòu)的例子——主題區(qū)域/數(shù)據(jù)源/對象/年/月/日被廣泛使用。
數(shù)據(jù)處理
這涉及到構(gòu)建數(shù)據(jù)管道并處理數(shù)據(jù)。理想情況下，第一步應(yīng)該是創(chuàng)建一個數(shù)據(jù)目錄(我們將在數(shù)據(jù)治理部分詳細(xì)討論它)。通常，在數(shù)據(jù)處理過程中應(yīng)該生成多層獨(dú)立的數(shù)據(jù)，如標(biāo)準(zhǔn)化、清理和特定于應(yīng)用程序的轉(zhuǎn)換數(shù)據(jù)，用于不同的目的，如機(jī)器學(xué)習(xí)、數(shù)據(jù)倉庫或分析。這個階段還包括為處理數(shù)據(jù)選擇正確的框架。
大數(shù)據(jù)框架：要在高速下處理大量數(shù)據(jù)，分布式框架是首選。分布式框架意味著數(shù)據(jù)集被劃分為多個文件(默認(rèn)為128 MB)，然后在多臺機(jī)器上并行處理，然后合并數(shù)據(jù)。分布式使更短的時間內(nèi)處理大型數(shù)據(jù)集成為可能。有各種各樣的框架，比如Apache Hadoop、Apache Spark，還有一些商業(yè)可用的云框架。最流行的框架之一是Spark 2.0，它是高度內(nèi)存密集型的，并提供了各種選項，如處理時間序列數(shù)據(jù)、圖形數(shù)據(jù)和Spark SQL來簡化編碼。AWS提供了AWS EMR，這是一個托管服務(wù)，并提供了許多預(yù)先安裝的工具，可以選擇您所選擇的框架。
ETL工具：像Informatica PowerCenter、Talend、Microsoft SQL server SSIS和Matillion這樣的ETL工具非常適合運(yùn)行ETL數(shù)據(jù)管道。它還提供了數(shù)據(jù)編目選項。
Features
可伸縮性：理想的數(shù)據(jù)處理框架應(yīng)該允許在任何時間點(diǎn)進(jìn)行垂直伸縮(在同一臺機(jī)器上增加計算能力)和水平伸縮(并行地增加更多機(jī)器)，并根據(jù)數(shù)據(jù)負(fù)載需求實現(xiàn)從零到最小的停機(jī)時間。自動分組是一種基于CPU或IOPS等重要參數(shù)自動增加計算能力的好方法。
永久集群與臨時集群：一些業(yè)務(wù)需要24*7運(yùn)行的集群，這意味著資源一直在被積極使用。然而，有些業(yè)務(wù)需要每天或每周花幾個小時處理數(shù)據(jù)。在這種情況下，不間斷運(yùn)行集群并產(chǎn)生成本是沒有意義的。在Hadoop集群中，數(shù)據(jù)存儲在節(jié)點(diǎn)上，這使得在不丟失數(shù)據(jù)的情況下終止集群非常困難。然而，像AWS EMR這樣的服務(wù)允許將數(shù)據(jù)存儲到AWS S3。這允許輕松地終止EMR集群，并在需要時重新啟動集群。這是非常劃算的。
托管集群：管理Hadoop集群相當(dāng)麻煩。它需要大量的投資和維護(hù)，而且相當(dāng)昂貴?，F(xiàn)在，AWS、Azure和谷歌等供應(yīng)商都在提供托管集群，能夠快速終止和創(chuàng)建集群。這允許企業(yè)將精力集中在數(shù)據(jù)結(jié)果上，而不是支持服務(wù)器。
消費(fèi)
數(shù)據(jù)湖的主要推動力之一是允許擁有不同技能集的客戶使用不同首選工具的數(shù)據(jù)。數(shù)據(jù)編目、不可變的原始數(shù)據(jù)、集中存儲、多層數(shù)據(jù)處理和只讀模式的多種工具使用。我們可以把消費(fèi)者分成以下幾類：
數(shù)據(jù)倉庫：業(yè)務(wù)用戶需要高性能的數(shù)據(jù)倉庫來運(yùn)行pb級數(shù)據(jù)上的復(fù)雜SQL查詢，以返回復(fù)雜的分析輸出。一些設(shè)計因素使得工具能夠提供快速的結(jié)果。AWS Redshift spectrum、谷歌BigQuery和Azure SQL Data warehouse等工具提供了巨大的壓縮、區(qū)域映射、柱狀存儲，以及在存儲文件上高性能運(yùn)行復(fù)雜查詢的能力。此外，云平臺還提供了可用性、持久性、安全性和成本效益。
交互式查詢：對于一些用例，數(shù)據(jù)分析師需要運(yùn)行SQL查詢來分析大量的數(shù)據(jù)湖數(shù)據(jù)。Apache hive、Apache Presto、Amazon Athena和Impala等工具使用數(shù)據(jù)目錄構(gòu)建SQL友好的邏輯模式，以查詢存儲在選定格式文件中的底層數(shù)據(jù)。這允許在數(shù)據(jù)文件上直接查詢結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
機(jī)器學(xué)習(xí)：數(shù)據(jù)科學(xué)家經(jīng)常需要針對一個巨大的數(shù)據(jù)集運(yùn)行機(jī)器學(xué)習(xí)算法來進(jìn)行預(yù)測和預(yù)測。數(shù)據(jù)湖提供了對企業(yè)范圍數(shù)據(jù)的訪問，以探索和挖掘數(shù)據(jù)以獲得業(yè)務(wù)洞察力。數(shù)據(jù)科學(xué)家可以使用Dataiku、Tensorflow和Sagemaker等工具，或者在AWS等平臺上運(yùn)行用R或Python編寫的算法，AWS提供了在集中式數(shù)據(jù)存儲上使用經(jīng)濟(jì)實惠的spot EC2實例按需要旋轉(zhuǎn)EMR spark集群的能力。
人工智能和自動化：像在數(shù)據(jù)湖之上使用Alexa的聊天機(jī)器人和語音分析這樣的解決方案，或者數(shù)據(jù)湖托管解決方案顯著改善了客戶體驗，減少了運(yùn)營開銷。這些解決方案可以與安全網(wǎng)站或移動應(yīng)用程序集成。
構(gòu)建在AWS S3上的數(shù)據(jù)湖架構(gòu)
數(shù)據(jù)治理
在數(shù)據(jù)湖中，從多個來源收集組織范圍的數(shù)據(jù)，包括消費(fèi)者個人識別信息(PII)數(shù)據(jù)。該數(shù)據(jù)包含分析員可以用來識別和改進(jìn)業(yè)務(wù)產(chǎn)品的重要信息。然而，這些敏感數(shù)據(jù)必須受到保護(hù)，符合隱私法律法規(guī)。這使得數(shù)據(jù)治理成為設(shè)計數(shù)據(jù)湖的關(guān)鍵支柱。數(shù)據(jù)治理是指對企業(yè)中數(shù)據(jù)的可用性、可用性、完整性和安全性的全面管理。它主要取決于業(yè)務(wù)策略和技術(shù)實踐。治理應(yīng)該在一開始就作為設(shè)計的一部分合并，或者至少從一開始就應(yīng)該合并最低標(biāo)準(zhǔn)。數(shù)據(jù)治理主要包括以下方面：
元數(shù)據(jù)管理：由于數(shù)據(jù)湖中存儲了大量數(shù)據(jù)，因此很難跟蹤哪些數(shù)據(jù)已經(jīng)可用，并可能導(dǎo)致數(shù)據(jù)溢出。對此的一個解決方案是數(shù)據(jù)目錄。數(shù)據(jù)目錄是與數(shù)據(jù)管理和搜索工具相結(jié)合的元數(shù)據(jù)的集合，這些工具可以幫助分析人員和其他用戶找到他們需要的數(shù)據(jù)。數(shù)據(jù)目錄作為可用數(shù)據(jù)的目錄，并提供用于評估健身數(shù)據(jù)的預(yù)期用途的信息。最有效的方法是維護(hù)一個中央數(shù)據(jù)目錄，并跨各種處理框架(如Apache Hadoop、Apache Spark、AWS Athena和各種其他可用工具)使用它。這確保了元數(shù)據(jù)的完整性，并應(yīng)用了簡單的數(shù)據(jù)治理規(guī)則。
數(shù)據(jù)質(zhì)量：數(shù)據(jù)質(zhì)量與數(shù)據(jù)完整性、準(zhǔn)確性、一致性、數(shù)據(jù)屏蔽和標(biāo)準(zhǔn)化有關(guān)。在使數(shù)據(jù)可用之前，它確保應(yīng)用了所有這些屬性并正確地分類了數(shù)據(jù)。
遵從性和規(guī)則：必須根據(jù)所操作的業(yè)務(wù)領(lǐng)域?qū)崿F(xiàn)幾個遵從性要求。例如GDPR,HIPAA和ISO標(biāo)準(zhǔn)。如果不遵守，可能會被處以巨額罰款，甚至采取更嚴(yán)厲的行動。它也削弱了信任和商業(yè)信譽(yù)。有一些產(chǎn)品和服務(wù)可以幫助實現(xiàn)這一點(diǎn)，比如AWS Macie幫助識別PII信息，AWS HSM提供完全控制和安全的密鑰管理服務(wù)(KMS)。
安全
對于本地和基于云的企業(yè)數(shù)據(jù)湖，安全性都是至關(guān)重要的，應(yīng)該是最優(yōu)先考慮的問題。安全性應(yīng)該從一開始就進(jìn)行設(shè)計，并且需要在非?；镜募軜?gòu)和設(shè)計中進(jìn)行整合。此外，只有在企業(yè)的整體安全基礎(chǔ)設(shè)施和控制框架中部署和管理數(shù)據(jù)湖的安全性，才能成功。安全可分為以下幾類:
數(shù)據(jù)安全：靜態(tài)和傳輸中的加密:組織的數(shù)據(jù)是一種需要保護(hù)的資產(chǎn)，不被窺探。幾乎所有數(shù)據(jù)都必須在靜止?fàn)顟B(tài)下(存儲在文件和數(shù)據(jù)庫中)得到保護(hù)。默認(rèn)情況下，所有云提供商都為其存儲層提供加密機(jī)制。此外，可以通過選擇加密算法以及由誰(云提供商或客戶)管理和旋轉(zhuǎn)密鑰，使用密鑰管理服務(wù)來實現(xiàn)加密。對于非常安全的系統(tǒng)或由于監(jiān)管需要，組織希望管理其機(jī)器上的密鑰，可以使用硬件安全模塊(HSM)。傳輸中的數(shù)據(jù)意味著數(shù)據(jù)在網(wǎng)絡(luò)上在設(shè)備和服務(wù)(如API)之間移動。這可以通過使用帶有證書的TLS/SSL傳輸來實現(xiàn)。
網(wǎng)絡(luò)安全：下一個重要方面是網(wǎng)絡(luò)安全。對于云解決方案，虛擬私有云(VPC)提供了云中的網(wǎng)絡(luò)隔離。它提供了使用安全組和使用傳統(tǒng)方法(如網(wǎng)絡(luò)ACL和CIDR塊限制)限制連接的靈活性。VPC端點(diǎn)的使用允許流量通過私有網(wǎng)絡(luò)而不是公共網(wǎng)絡(luò)傳輸。所有這些策略都創(chuàng)建了一個網(wǎng)絡(luò)非軍事區(qū)(DMZ)。另一個方面是網(wǎng)絡(luò)防火墻，它控制訪問并監(jiān)視網(wǎng)絡(luò)上的web流量。它還授權(quán)出站會話。它與OSI層中的網(wǎng)絡(luò)層屬性位于一起，所以它只在網(wǎng)絡(luò)層上提供訪問控制。
訪問控制：企業(yè)數(shù)據(jù)湖包含組織范圍的數(shù)據(jù)，因此確保正確的身份驗證策略變得非常重要。每個組織都使用常用的技術(shù)來維護(hù)標(biāo)準(zhǔn)認(rèn)證，比如active directory，它可以用于為數(shù)據(jù)湖生態(tài)系統(tǒng)產(chǎn)品提供認(rèn)證。本地和云平臺都支持將企業(yè)身份識別基礎(chǔ)設(shè)施映射到云提供商的許可基礎(chǔ)設(shè)施上的方法。此外，可以使用身份訪問管理(IAM)控制細(xì)粒度訪問。像AWS這樣的云平臺使用AWS IAM和bucket策略來訪問數(shù)據(jù)文件，提供精細(xì)的訪問管理。這確保只有正確的用戶集可以訪問所需的資源。
應(yīng)用程序安全性：保護(hù)應(yīng)用程序免受外部攻擊是至關(guān)重要的。一般來說，網(wǎng)絡(luò)防火墻沒有檢測/防止威脅的機(jī)制。為此，我們應(yīng)該使用web應(yīng)用程序防火墻來幫助保護(hù)您的web應(yīng)用程序或api，防止常見的web攻擊影響可用性、危害安全性或消耗過多的資源。應(yīng)用程序防火墻允許您創(chuàng)建阻止常見攻擊模式(如SQL注入或跨站點(diǎn)腳本編寫)的安全規(guī)則，以及過濾您定義的特定流量模式的規(guī)則，從而控制流量如何到達(dá)應(yīng)用程序。另一種方法是實現(xiàn)微服務(wù)體系結(jié)構(gòu)，比如將應(yīng)用程序與存儲或其他應(yīng)用程序解耦，以減少表面的攻擊。如果使用云，設(shè)計應(yīng)該包含自動提供組，它可以自動添加資源來吸收高流量攻擊，比如分布式拒絕服務(wù)(DDoS)。
