如果在數(shù)據(jù)清理過程中的某些階段采用機(jī)器學(xué)習(xí)技術(shù)，不僅可以使工作流實(shí)現(xiàn)自動化，而且可以有助于企業(yè)領(lǐng)導(dǎo)的決策，最終獲得更好的結(jié)果。
根據(jù)調(diào)研機(jī)構(gòu)Gartner公司日前發(fā)布的一份調(diào)查報(bào)告，由于數(shù)據(jù)質(zhì)量不良的問題，40%的企業(yè)無法實(shí)現(xiàn)其業(yè)務(wù)目標(biāo)。許多數(shù)據(jù)科學(xué)家已經(jīng)意識到了利用高質(zhì)量數(shù)據(jù)進(jìn)行數(shù)據(jù)分析的重要性，因此，他們將大約80%的時間用于數(shù)據(jù)清理和準(zhǔn)備。這意味著他們將更多的時間花在數(shù)據(jù)分析之前的過程上，而不是專注于提取有意義的見解。
盡管有必要在進(jìn)入數(shù)據(jù)分析過程之前獲得更好的數(shù)據(jù)，但必須有一種更好的方法來解決數(shù)據(jù)集中存在的數(shù)據(jù)質(zhì)量問題，而不是人工地糾正每個錯誤。
使用基于代碼的方法
像Python和R這樣的編程語言使編寫基本數(shù)據(jù)清理工作流變得更加容易，例如：
•刪除對分析過程無用的列。
•更改數(shù)據(jù)類型。
•突出顯示丟失的數(shù)據(jù)。
•從列值中刪除分隔線和空格。
•以數(shù)字方式排列數(shù)據(jù)，而不是分類排列數(shù)據(jù)，
•將字符串更改為日期時間格式等。
使用編程腳本清理數(shù)據(jù)非常有效，但是必須具備大量的編程專業(yè)知識。此外，編程腳本傾向于專門用于特定數(shù)據(jù)集及其列值。這意味著，當(dāng)數(shù)據(jù)值包含相似的基礎(chǔ)模式時，編程函數(shù)可以更好地工作。否則，將最終將特定方案硬編程到代碼中，以達(dá)到數(shù)據(jù)清理的目的，而不是實(shí)現(xiàn)可滿足多種方案的更通用的方法。
機(jī)器學(xué)習(xí)及其在數(shù)據(jù)清理中的作用
要清理數(shù)據(jù)，首先，必須能夠分析和識別不良數(shù)據(jù)。然后執(zhí)行糾正措施以獲取干凈且格式標(biāo)準(zhǔn)化的數(shù)據(jù)集。數(shù)據(jù)清理過程中有多個階段，采用機(jī)器學(xué)習(xí)和人工智能技術(shù)不僅可以使工作流實(shí)現(xiàn)自動化，而且可以獲得更準(zhǔn)確的結(jié)果。
(1)分析數(shù)據(jù)并檢測錯誤
機(jī)器學(xué)習(xí)在數(shù)據(jù)清理中起到重要作用的第一步是對數(shù)據(jù)進(jìn)行概要分析，并突出顯示異常值。生成直方圖并針對經(jīng)過訓(xùn)練的機(jī)器學(xué)習(xí)模型運(yùn)行列值將突出顯示哪些值是異常值，并且與該列的其他值不匹配。可以在標(biāo)準(zhǔn)字典上訓(xùn)練模型，也可以提供專門用于數(shù)據(jù)的自定義數(shù)據(jù)集。
(2)對數(shù)據(jù)的清理和標(biāo)準(zhǔn)化提出智能化建議
除了檢測列值中的錯誤之外，機(jī)器學(xué)習(xí)解決方案還可以提出明智的建議，并突出顯示解決數(shù)據(jù)質(zhì)量問題的可能措施。這些建議基于同一數(shù)據(jù)集中遇到的數(shù)據(jù)的性質(zhì)。例如，如果兩個記錄的地址完全相同，但郵政編碼不同，則機(jī)器學(xué)習(xí)算法可以將其標(biāo)記為需要修復(fù)的可能錯誤。這是通過在數(shù)據(jù)集上設(shè)置相關(guān)性約束來實(shí)現(xiàn)的，如果地址相同，則郵政編碼也必須相同。
(3)通過集群突出顯示可能的重復(fù)項(xiàng)
記錄重復(fù)數(shù)據(jù)刪除是數(shù)據(jù)清理工作流程中最重要的步驟之一。機(jī)器學(xué)習(xí)解決方案可以通過基于記錄的相似性對記錄進(jìn)行集群來幫助用戶執(zhí)行記錄鏈接。這是通過在非重復(fù)數(shù)據(jù)集上訓(xùn)練機(jī)器學(xué)習(xí)模型來實(shí)現(xiàn)的，該數(shù)據(jù)集包含匹配項(xiàng)和不匹配項(xiàng)的標(biāo)簽。一旦訓(xùn)練完成，機(jī)器學(xué)習(xí)模型便會智能地標(biāo)記新數(shù)據(jù)集并創(chuàng)建集群，以突出顯示可能引用同一實(shí)體的數(shù)據(jù)記錄。
(4)影響合并/清除決策以實(shí)現(xiàn)單一真相來源
在創(chuàng)建集群的過程中，機(jī)器學(xué)習(xí)算法對記錄屬于該集群的可能性進(jìn)行評分。這有助于數(shù)據(jù)科學(xué)家做出相應(yīng)的合并或清除數(shù)據(jù)記錄的決定。還可以調(diào)整機(jī)器學(xué)習(xí)算法中使用的變量，以在產(chǎn)生的假陽性和陰性數(shù)量之間設(shè)置可接受的閾值。
基于機(jī)器學(xué)習(xí)的數(shù)據(jù)清理
上面的工作流程顯示了基于機(jī)器學(xué)習(xí)的數(shù)據(jù)清理軟件如何自動執(zhí)行清理活動，而且還通過建議智能建議簡化了決策過程。這種利用人工智能強(qiáng)大功能的高級流程對于數(shù)據(jù)科學(xué)家在數(shù)據(jù)清理和準(zhǔn)備方面節(jié)省大量的時間至關(guān)重要。
