本文來自微信公眾號“數(shù)據(jù)驅(qū)動智能”，作者/曉曉。
數(shù)據(jù)準確性是指可以作為可靠信息來源的無錯誤記錄。
在數(shù)據(jù)管理中，數(shù)據(jù)準確性是數(shù)據(jù)質(zhì)量框架的首要組成部分和標準。杰克·奧爾森(Jack Olson)撰寫的一篇著作《數(shù)據(jù)質(zhì)量：準確性維度》將形式和內(nèi)容解釋為數(shù)據(jù)準確性的兩個最重要特征。
下面是一個例子：
在美國數(shù)據(jù)庫中，日期遵循MM/DD/YYYY格式，而在歐盟數(shù)據(jù)庫和世界其他國家/地區(qū)中，日期格式為DD/MM/YYYY。如果將09/10/2020轉(zhuǎn)換為內(nèi)容，您認為兩者中哪一個是準確的？
是9月10日還是10月9日？這是威脅數(shù)據(jù)準確性的經(jīng)典意義與形式問題。而這通常是由于缺乏數(shù)據(jù)標準化和規(guī)則而發(fā)生的。
存儲在數(shù)據(jù)倉庫中的任何數(shù)據(jù)都必須準確且適合使用。它會影響組織的商業(yè)智能、預(yù)測、預(yù)算和其他關(guān)鍵活動。如果數(shù)據(jù)不相關(guān)、不正確、不完整和不準確，則可能會中斷流程并影響運營效率。
數(shù)據(jù)不準確的原因是什么
數(shù)據(jù)不準確的原因有很多。一些最常見的原因是：
不良的數(shù)據(jù)輸入做法：數(shù)據(jù)不準確是不良數(shù)據(jù)輸入做法的結(jié)果。沒有數(shù)據(jù)治理的組織將看到以多種格式、樣式和種類輸入的數(shù)據(jù)。例如，一位客戶的性別可能由三位不同的代表以三種不同的方式書寫。更糟糕的是，從社交媒體獲取的數(shù)據(jù)很容易出現(xiàn)錯誤、拼寫錯誤和復(fù)制/粘貼錯誤。
不規(guī)范數(shù)據(jù)可訪問性：CRM是這一點的一個很好的例子。銷售、營銷、客戶服務(wù)和客戶經(jīng)理同時訪問CRM，CRM可能成為重復(fù)、不一致、不準確數(shù)據(jù)的溫床。例如，營銷代表可能想在發(fā)布案例研究之前驗證客戶的公司名稱，結(jié)果卻發(fā)現(xiàn)公司名稱字段中的拼寫錯誤或縮寫形式可能是由銷售代表鍵入或修改的。營銷代表必須經(jīng)過多輪驗證才能修復(fù)此錯誤。更糟糕的是，如果案例研究未經(jīng)驗證就發(fā)布，客戶最終可能會指出錯誤。
數(shù)據(jù)質(zhì)量通常沒有得到解決：團隊忙于銷售、營銷和促銷，無暇考慮數(shù)據(jù)集中的錯誤信息。領(lǐng)導(dǎo)層忙于考慮對云、大數(shù)據(jù)系統(tǒng)、高級軟件和技術(shù)的投資，而無暇顧及數(shù)據(jù)。IT團隊忙于幫助領(lǐng)導(dǎo)層進行“轉(zhuǎn)型”，而無暇顧及完全不同、重復(fù)、不準確的數(shù)據(jù)。數(shù)據(jù)質(zhì)量或準確性不是董事會討論的問題。只有當(dāng)出現(xiàn)嚴重錯誤（如有缺陷的報告或無效的營銷活動）時，它才會成為人們關(guān)注的焦點。
所有這些原因?qū)е戮揞~損失。
不準確數(shù)據(jù)的高成本
一些統(tǒng)計數(shù)據(jù)可以說明這一點。
●不良數(shù)據(jù)使公司損失了大約15%的收入。（Gartner）
●數(shù)據(jù)質(zhì)量不佳對組織造成的平均財務(wù)影響為每年970萬美元。（Gartner）
●僅在美國，由于數(shù)據(jù)質(zhì)量差，企業(yè)每年損失3.1萬億美元。(IBM)
●多項研究報告表明，不良數(shù)據(jù)平均會使企業(yè)損失30%或更多的收入。
●近三分之一的分析師將超過40%的時間用于審查和驗證他們的分析數(shù)據(jù)。（福雷斯特）
●知識工作者將50%的時間浪費在隱藏的數(shù)據(jù)工廠中，尋找數(shù)據(jù)、查找和糾正錯誤，以及為他們不信任的數(shù)據(jù)搜索確認來源。(哈佛商業(yè)評論)
●在發(fā)送電子郵件時遇到問題的人中，有28%的人表示客戶服務(wù)因不良數(shù)據(jù)而受到影響。
●20%到30%的運營費用是由于不良數(shù)據(jù)造成的。
這些統(tǒng)計數(shù)據(jù)證明，不準確、不良的數(shù)據(jù)是大多數(shù)組織中的一個長期問題，并且對投資回報率、公司聲譽和客戶信心產(chǎn)生巨大影響。
為什么必須保持數(shù)據(jù)準確性
見解。分析。智能。
公司希望通過數(shù)據(jù)實現(xiàn)的三個主要目標。這不是通過更多的數(shù)據(jù)來實現(xiàn)的。它是通過準確、完整、及時、可靠的數(shù)據(jù)來實現(xiàn)的。
正是通過這些目標，企業(yè)才能做出關(guān)鍵決策，例如：
●拓展新市場
●啟動新服務(wù)
●了解市場地位
●了解競爭對手
●了解客戶和個性化客戶服務(wù)
●啟用高效的公司流程
●等等。
根據(jù)行業(yè)的不同，數(shù)據(jù)準確性可以成就或破壞企業(yè)。不準確數(shù)據(jù)對現(xiàn)實世界的影響不容忽視。
數(shù)據(jù)質(zhì)量和數(shù)據(jù)準確性不高的三大障礙
大量費用被投資于數(shù)據(jù)管理解決方案。然而，哈佛商業(yè)評論一項對75名高管的研究顯示，只有3%的高管發(fā)現(xiàn)他們的準確數(shù)據(jù)處于可接受范圍內(nèi)，即100條記錄中有97條或更多條記錄是正確的。
公司正在努力保持數(shù)據(jù)準確性，因為他們的重點只是收集更多數(shù)據(jù)，而不是使當(dāng)前數(shù)據(jù)可用。
根據(jù)經(jīng)驗，存在三個阻礙公司保持準確記錄的基本障礙。
糟糕的數(shù)據(jù)文化：公司尚未真正接受數(shù)據(jù)驅(qū)動的文化。對技術(shù)進行了大量投資，但對數(shù)據(jù)意識培訓(xùn)的投資很少甚至沒有。員工大多忘記了數(shù)據(jù)質(zhì)量或數(shù)據(jù)準確性等概念。長期以來，這些做法僅限于IT部門。當(dāng)涉及到客戶數(shù)據(jù)時，業(yè)務(wù)人員可以隨意更改，不遵守任何定義的標準或數(shù)據(jù)質(zhì)量協(xié)議。這些差距使公司無法實現(xiàn)數(shù)據(jù)準確性，從而損害數(shù)據(jù)完整性。
數(shù)據(jù)囤積而不是數(shù)據(jù)驅(qū)動：數(shù)據(jù)囤積真的沒有盡頭。公司每天都在大數(shù)據(jù)技術(shù)上花費巨額費用來收集更多數(shù)據(jù)。但是沒有適當(dāng)?shù)南到y(tǒng)來理解這些數(shù)據(jù)。沒有可用的資源來及時清理、分類、管理數(shù)據(jù)。沒有自動化，也絕對沒有解決導(dǎo)致第三個障礙的數(shù)據(jù)質(zhì)量問題的流程。
頑固地依賴過時的方法和技術(shù)：在當(dāng)今的大多數(shù)組織中，數(shù)據(jù)仍然是使用Excel、SQL或ETL工具手動準備的。所有這些都無法處理現(xiàn)代數(shù)據(jù)的復(fù)雜性——尤其是通過社交媒體、第三方供應(yīng)商或網(wǎng)絡(luò)表單或聊天機器人獲得的客戶數(shù)據(jù)。這些數(shù)據(jù)充滿了錯誤、不準確和奇怪的地方，無法手動處理或準備，因為公司需要幾個月的時間來清理和匹配數(shù)千行數(shù)據(jù)。
不承認確保數(shù)據(jù)質(zhì)量的迫切需要會阻礙進步并影響投資回報率，這是我們下面的下一個要點。
如何計算數(shù)據(jù)準確性的投資回報率
投資回報率決定了所有（如果不是大多數(shù)）公司決策。與所有其他流程一樣，我們將盡最大努力通過衡量其投資回報率來證明在數(shù)據(jù)質(zhì)量上的支出是合理的，大多數(shù)高管將使用傳統(tǒng)方法來實現(xiàn)這一點：
如果我們支出費用修復(fù)數(shù)據(jù)，我們能賺多少錢？好吧，這是一個非傳統(tǒng)的答案。
在以下情況下，您可以提高投資回報率：
●您的公司不會因為錯誤數(shù)據(jù)而犯錯。
●您不會花費每一塊錢來修復(fù)每條記錄。
●您的團隊可以訪問干凈、集中的數(shù)據(jù)源進行工作。
●修復(fù)數(shù)據(jù)的好處超過了掩蓋由不良數(shù)據(jù)引起的錯誤和低效率的成本。
●您可以根據(jù)源自準確數(shù)據(jù)的洞察力和報告做出自信的決策。
事實上，任何數(shù)據(jù)質(zhì)量計劃的投資回報率都是難以度量的。但不良數(shù)據(jù)的代價非常明顯。由于重復(fù)、過時的數(shù)據(jù)、不完整的數(shù)據(jù)、不匹配的數(shù)據(jù)、無法訪問和分散的數(shù)據(jù)，企業(yè)每年損失數(shù)百萬元甚至更多。
這是一個例子：
一家基于訂閱的在線學(xué)習(xí)公司需要匹配從三個來源獲得的一百萬條記錄：銷售線索表格、CRM、客戶服務(wù)。
該公司使用傳統(tǒng)的ETL工具執(zhí)行匹配，但最終出現(xiàn)3.5%的誤報和6.8%的誤報。僅這個數(shù)字就使公司損失了數(shù)百美元的銷售額和人力時間（人工審查每個假陰性和陽性）。如果公司認真地采取了數(shù)據(jù)質(zhì)量計劃，他們就可以防止11%的總記錄被浪費。
一百萬的11%=11,0000
假設(shè)每位顧客支付100美元
那是11,0000 x 100=11000000
浪費了1100萬美元的收入。這對任何公司的盈利能力都是一個巨大的打擊。
采取哪些措施來提高數(shù)據(jù)準確性
您可能想聘請數(shù)據(jù)分析師，或者也許替換新的CRM，或者可能會（再次）要求IT團隊提出解決方案。
停止?。?！這些都行不通。
我建議立即采取的一些步驟是：
●進行數(shù)據(jù)質(zhì)量審計。找出影響數(shù)據(jù)質(zhì)量的前五個問題。您會發(fā)現(xiàn)一些最常見的問題是重復(fù)、不完整的信息和存儲在多個孤島中的數(shù)據(jù)，其中一半以上要么已過時，要么已被遺忘。
●衡量估計的影響。假設(shè)本月有1000個新線索。這些線索中有多少實際上是可用的？如果只是兩三百，你就會損失收入。
●測量修復(fù)此數(shù)據(jù)所需的人力。在驗證和修復(fù)信息上花費了多少時間？他們是手動做的嗎？打了多少個電話，每次通話的平均持續(xù)時間是多少？評估手動修復(fù)此數(shù)據(jù)的成本。如果您的團隊需要一個月的時間來驗證、清理、刪除重復(fù)數(shù)據(jù)并修復(fù)1000行的數(shù)據(jù)集，那么需要尋找一種更快、更自動化的解決方案。
●選擇自動化解決方案：在審核數(shù)據(jù)時，您可能會意識到需要一個數(shù)據(jù)匹配解決方案來幫助刪除重復(fù)項，并可能將來自多個來源的多個數(shù)據(jù)集整合到一個統(tǒng)一的黃金記錄中。這就需要自動化的解決方案進行數(shù)據(jù)匹配和重復(fù)數(shù)據(jù)刪除。除此之外，自動化工具還可以分析、清理、標準化和準備數(shù)據(jù)。
●聘請數(shù)據(jù)分析師來管理數(shù)據(jù)準備：您可能會考慮聘請數(shù)據(jù)分析師并讓他們進行清理，但這并不是他們技能的正確用途。數(shù)據(jù)分析師必須擁有正確的工具和資源，以幫助他們幫助您獲得準確的數(shù)據(jù)。他們必須是思想家和戰(zhàn)略家，而為他們提供的解決方案是實干家。分析師不得將80%的時間花在清潔工作上（專家聲稱數(shù)據(jù)清理是數(shù)據(jù)清潔工作，這可不好玩?。?。讓解決方案進行清潔，讓分析師進行思考！
●只關(guān)注要修復(fù)的特定數(shù)據(jù)集，而不是整個數(shù)據(jù)源：不可能對整個數(shù)據(jù)源或數(shù)據(jù)庫執(zhí)行一攬子操作。那樣不僅沒有用，還白費力氣。相反，應(yīng)專注于優(yōu)化您為即時任務(wù)所需的數(shù)據(jù)——例如清理過去六個月的數(shù)據(jù)以準備半年度報告，或最后一個季度的數(shù)據(jù)以準備促銷活動。當(dāng)您首先專注于修復(fù)重要數(shù)據(jù)時，您將逐漸開始對其他數(shù)據(jù)進行排序，并開始決定要保留什么以及要丟棄什么。
通過這些即時步驟，可以讓您的團隊做好準備，以處理基本的業(yè)務(wù)運營，例如即將到來的遷移計劃、大型促銷活動或商業(yè)智能報告。擁有準確數(shù)據(jù)的根本目標是確保數(shù)據(jù)完整性。您的數(shù)據(jù)可以成就或破壞您的業(yè)務(wù)。你足夠信心去修復(fù)它嗎？
結(jié)論：不要在數(shù)據(jù)準確性上妥協(xié)，公司需要值得信賴的數(shù)據(jù)
數(shù)據(jù)質(zhì)量是目標。數(shù)據(jù)準確性是結(jié)果。擁有合適的數(shù)據(jù)質(zhì)量人才和工具，高質(zhì)量的數(shù)據(jù)使公司能夠更好地自信地邁向未來。
