如何讓機(jī)器更懂你?是時候了解NLP了!

Mary Branscombe
自然語言處理(NLP)在語音和文本方面的改進(jìn)將助力主流技術(shù)的發(fā)展。例如以人類自然發(fā)音朗讀電子郵件時,如果用戶對電子表格中的數(shù)據(jù)提出質(zhì)疑,Excel會自動以圖表和數(shù)據(jù)透視表的形式回答相關(guān)問題。

自然語言處理(NLP)在語音和文本方面的改進(jìn)將助力主流技術(shù)的發(fā)展。例如以人類自然發(fā)音朗讀電子郵件時,如果用戶對電子表格中的數(shù)據(jù)提出質(zhì)疑,Excel會自動以圖表和數(shù)據(jù)透視表的形式回答相關(guān)問題。

隨著NLP變得更加準(zhǔn)確并被廣泛使用,其不僅能夠支持預(yù)置主題的聊天機(jī)器人,還能夠處理半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。知識挖掘功能可以幫助用戶洞察業(yè)務(wù)流程、資產(chǎn)和負(fù)債信息,從而幫助創(chuàng)建更加合理的工作流程以及更加實時地監(jiān)測企業(yè)的運(yùn)營。

NLP有著廣泛的應(yīng)用范圍,翻譯和語言生成、分類和聚合、情感分析,以及其他信息提取、Siri等虛擬助手都在NLP的應(yīng)用范圍之內(nèi)。例如拼寫檢查、對電子郵件和消息的回復(fù)給出建議等簡單的NLP如今已經(jīng)被廣泛使用。

Apexanalytix負(fù)責(zé)應(yīng)用與高級技術(shù)的高級副總裁Walt Kristick解釋說:“NLP可以將單詞分解為最基礎(chǔ)的形態(tài),識別它們之間的模式、規(guī)則和聯(lián)系。人類的書面用語和口語在經(jīng)由計算機(jī)算法解析和翻釋之后,系統(tǒng)能夠?qū)W習(xí)和理解人類語言。提高NLP對文本和非相關(guān)數(shù)據(jù)源的分析和提取含義的能力,尤其在醫(yī)療保健和生命科學(xué)領(lǐng)域當(dāng)中,已經(jīng)成為了用戶的關(guān)注點。”

下面我們將介紹一下NLP的現(xiàn)狀以及其適用范圍。

01

NLP服務(wù)的優(yōu)勢

除了Python NLTK、Sanford CoreNLP和Apache OpenNLP之類的框架外,許多算法也可用于構(gòu)建NLP任務(wù),但是往往效率越高的模型,其規(guī)模也就越龐大。有著170億參數(shù)的微軟圖靈自然語言生成模型是有史以來發(fā)布的最大模型,即便是BERT和GPT-2,其參數(shù)也有數(shù)十億之多。

即便企業(yè)擁有NLP專家,如果想根據(jù)自身情況定制相關(guān)的模型也是一項挑戰(zhàn)。微軟主管對話式AI的副總裁Lili Cheng警告說:“僅僅使用這些模型并不能處理企業(yè)中復(fù)雜的事情。對于許多企業(yè)而言,托管這些大型模型、對其有效管理和讓其正常運(yùn)行非常是具有挑戰(zhàn)性的。雖然有人愿意這樣做,但是我們相信更多的客戶希望有針對性地進(jìn)行定制和添加信息。”

當(dāng)領(lǐng)導(dǎo)者開始迅速有針對性地招募某一任務(wù)所需要的所有人員,那么就意味著變革開始了。這三種方式都可以幫助領(lǐng)導(dǎo)者建立一個更好的新常態(tài)。即使是擁有AI人才的企業(yè)也經(jīng)常會從微軟、亞馬遜、谷歌和IBM等提供商那里購買NLP服務(wù),以使專業(yè)開發(fā)人員和商業(yè)用戶也能夠利用該技術(shù)。

作為微軟的客戶,Telefonica在內(nèi)部設(shè)置有AI小組。即便如此,為了讓沒有開發(fā)人員專業(yè)知識的業(yè)務(wù)用戶可以使用Q&A Maker等服務(wù)來創(chuàng)建自己的工具,Telefonica也在使用微軟的Power平臺。Cheng說:“為了讓用戶能夠以搜索或?qū)υ挼姆绞教岢鰡栴}和獲得答案,你可以將其指向PDF文件或網(wǎng)頁版FAQ 。”

NLP的一個關(guān)鍵應(yīng)用是聊天機(jī)器人。聊天機(jī)器人可以幫助接受訂單、從FAQ中提供答案、進(jìn)行路線查詢、預(yù)定會議并在必要時與人類進(jìn)行對話。

Confirmit產(chǎn)品管理高級總監(jiān)Paul Quinn表示,NLP是一種強(qiáng)大的工具,可幫助企業(yè)從大量文本和語音數(shù)據(jù)中獲取客戶洞察力。他說:“企業(yè)通常都擁有超過100TB的非結(jié)構(gòu)化數(shù)據(jù),從呼叫中心提示、客戶電子郵件到調(diào)查評論,無所不包。如果企業(yè)想改善客戶體驗或是想獲得有關(guān)自己品牌的詳細(xì)洞察力,那么他們都可以使用NLP篩選大量數(shù)據(jù),并從中找到有用數(shù)據(jù)。”

IBM研究員兼AI首席架構(gòu)師Dakshi Agrawal表示,不僅僅是零售業(yè),其他面向客戶的行業(yè)也都可從NLP中受益。任何與客戶打交道的企業(yè)都可以利用NLP從他們的互動中獲得洞察力。Agrawal說:“與和外部客戶及合作伙伴打交道一樣,許多企業(yè)也將這一技術(shù)用到了內(nèi)部員工和HR交互當(dāng)中。”

為了在客戶使用不同術(shù)語進(jìn)行報告時,將問題的分組變得更為準(zhǔn)確,除了關(guān)鍵詞提取外,還可以在主題聚合中使用句子嵌入等NLP技術(shù)。這樣可幫助發(fā)現(xiàn)趨勢性問題或重復(fù)出現(xiàn)的問題。

獨(dú)立的英國運(yùn)輸行業(yè)監(jiān)管機(jī)構(gòu)Transport Focus已經(jīng)在使用Signoi來查看通勤者和旅客對各種火車服務(wù)的最大擔(dān)憂。例如,商務(wù)旅客對火車上人滿為患感到不滿意,而那些乘坐火車旅行的人希望停車位更便利一些,放置行李和自行車的空間更大一些。

微軟的Power BI業(yè)務(wù)分析服務(wù)和Salesforce.com的Tableau均提供NLP自己生成語言對結(jié)果進(jìn)行解釋的功能。當(dāng)用戶可以輸入有關(guān)其數(shù)據(jù)的問題后,這些服務(wù)可以提供相應(yīng)的圖表或自動分析。

02

了解企業(yè)知道什么

NLP可幫助企業(yè)了解其已經(jīng)知道了哪些知識。ABBY的合同文本分析、Exigent的合同管理解決方案、Seal的合同發(fā)現(xiàn)與分析等由AI支持的專用工具可從合同中提取條款和期限,從而幫助企業(yè)了解自己承諾了哪些內(nèi)容。XML聯(lián)合發(fā)明者Jean Paoli創(chuàng)立了一家名為Docugami的初創(chuàng)企業(yè)。該公司成立的初衷是讓結(jié)構(gòu)化程度較低的文檔實現(xiàn)這一功能。

Paoli 說:“企業(yè)的數(shù)據(jù)只有15%被存儲在了數(shù)據(jù)庫當(dāng)中。我們在交流中都會用到文本、電子郵件和文檔。結(jié)構(gòu)化數(shù)據(jù)庫不會告訴我們問題的真相,但是文檔會。對于像商業(yè)房地產(chǎn)這類的文件密集型業(yè)務(wù),一線業(yè)務(wù)用戶平均每周要撰寫15份租賃協(xié)議。每到周一,經(jīng)理會發(fā)出一連串提問:‘你做了哪些工作?截止日期是哪天?有沒有談到停車位的問題?他們是否希望我們保留所有權(quán)?’一旦簽署文件,公司就必須要遵守,不幸的是這些信息往往會被淹沒在大量的文件當(dāng)中。”

無論是星巴克要求房東就租賃協(xié)議重新展開談判,還是餐廳需要了解其保險政策的內(nèi)容,許多事情現(xiàn)如今已經(jīng)變得舉足輕重。而這些“隱性數(shù)據(jù)”可以取代星期一上午的例會,提高業(yè)務(wù)敏捷性。

Paoli說:“由于企業(yè)目前正在重新考慮自己的業(yè)務(wù)模式,這時使用NLP來分析業(yè)務(wù)文檔就變得尤為重要。企業(yè)可能不得不就所有的事情重新進(jìn)行談判,他們需要了解自己的義務(wù)和風(fēng)險。”專業(yè)的服務(wù)公司Accenture就是這樣做的,他們通過NLP對100多萬份合同進(jìn)行了分析,以了解自己的承諾和責(zé)任。

對于那些沒有自己NLP專家的企業(yè)而言,Docugami的SaaS產(chǎn)品是一個不錯的選擇,其有30個示例文檔可供使用,并且可自動從存放業(yè)務(wù)文檔的文件夾中進(jìn)行選擇,在30分鐘內(nèi)即可向創(chuàng)建文檔的業(yè)務(wù)用戶進(jìn)行反饋。隨后Docugami會將信息存入數(shù)據(jù)庫中,以幫助創(chuàng)建可通過瀏覽器查閱的儀表板,或是與Excel和Tableau進(jìn)行集成。

03

讓會議傳遞的信息變得更加明確

雖然一些企業(yè)的電話已按要求被記錄下來,但是卻很少被分析,問題的癥結(jié)在于從會議和對話中提取有用信息是一項繁重的人力勞動。又有多少企業(yè)會通過會議上的發(fā)言內(nèi)容了解項目進(jìn)度或截止日期呢?

盡管員工花在會議上的時間在30%,甚至更多,但是會議中的大量信息卻無法像其他的業(yè)務(wù)數(shù)據(jù)那樣被捕獲。PowerPoint幻燈片和Teams會議中的實時字幕以及Azure Streams廣播平臺中可搜索的實時會議轉(zhuǎn)錄功能也都可以不需要人工記錄就可以提供頗具效率的轉(zhuǎn)錄。

除了圖像識別外,這些平臺未來還會使用轉(zhuǎn)錄和文檔分析總結(jié)提煉會議中的主要內(nèi)容,以便團(tuán)隊在會議結(jié)束后的后續(xù)工作中能夠查閱這些內(nèi)容。在過去15年中,橋水基金(Bridgewater Associates)記錄了所有的內(nèi)部會議,所有員工都可查閱這些會議記錄。盡管如此,還是很少有人去翻閱,其中一個原因是這些記錄難以被檢索到。為了解決這個問題,橋水基金開始使用Otter提取這些會議內(nèi)容。

具備語音轉(zhuǎn)文本功能的Azure Cognitive Services API不久將開通轉(zhuǎn)錄上傳至OneDrive上的音頻文件的功能。雖然使用這些API的轉(zhuǎn)錄應(yīng)用程序已經(jīng)被開發(fā)人員開發(fā)出來了,但是如果直接將這一功能內(nèi)置到平臺中無疑可以得到更廣泛的使用。

04

分析與準(zhǔn)確性

雖然用戶可以通過時間軸的方式在內(nèi)容中進(jìn)行檢索,但是NLP的最佳使用方法并不是一字不差的完整轉(zhuǎn)錄。

Otter會將提取的標(biāo)簽作為摘要,以方便用戶了解文本中的內(nèi)容。自動編寫的文檔摘要正在在成為工具,例如IBM Watson的自然語言理解。雖然Otter也在研發(fā),但是用戶仍必須要記住相關(guān)內(nèi)容才能查閱。NLP未來會加入會議分析功能。例如同一主題是否會被繼續(xù)討論,截止日期是否會被不斷推遲等等。

轉(zhuǎn)錄的準(zhǔn)確性是這一切的生命線,而準(zhǔn)確性的衡量非常復(fù)雜。雖然NLP系統(tǒng)在許多方面的準(zhǔn)確性已經(jīng)可與人類媲美,但是它們還是存在短板,例如無法對你還未著手做的工作進(jìn)行準(zhǔn)確比較,沒有一個統(tǒng)一的衡量標(biāo)準(zhǔn)。

微軟的研究人員稱:“雖然如今多模式系統(tǒng)中融合了各種功能,但是整合在一起就不一定可行了。例如,用戶可能會發(fā)現(xiàn)對話系統(tǒng)很出色,但是將語音、語言和視覺和文檔整合在一起,那么對話系統(tǒng)并不能真正發(fā)揮很好的作用。”

錄音質(zhì)量、背景噪音、口音以及談話內(nèi)容都會影響到轉(zhuǎn)錄的準(zhǔn)確性。如果背景安靜且說話的人母語為英語,那么準(zhǔn)確率會在95%以上。在實際使用中雖然轉(zhuǎn)錄會有一些作用,但是距離完美還相差甚遠(yuǎn)。

用戶在使用NLP之前就要明確自己能夠接受的錯誤率是多大。此外,要想能夠被準(zhǔn)確識別,用戶還應(yīng)精心準(zhǔn)備好行業(yè)術(shù)語、產(chǎn)品名稱、員工姓名以及相應(yīng)的概念和相關(guān)詞匯。無論哪種NLP工具都不例外。

微軟的研究人員稱:“我們的期望值不能太高。人工智能雖然不能解決所有的問題,但是自然語言工具卻可以改善許多問題。如何有效地將信息組織起來,從而從文檔中挖掘出更多的信息,如何讓專業(yè)人員進(jìn)行指導(dǎo)才是當(dāng)今企業(yè)面臨的最大問題。”

作者:本文作者Bob Violino為Computerworld、CIO、CSO、InfoWorld和Network World等網(wǎng)站的特約撰稿人。

編譯:陳琳華

原文網(wǎng)址https://www.computerworld.com/article/3541521/6-best-practices-for-business-data-visualization.html

THEEND

最新評論(評論僅代表用戶觀點)

更多
暫無評論