在 IBM,我們專注于開發(fā)和擴展企業(yè)自然語言處理 (Natural Language Processing,NLP) 功能,旨在幫助企業(yè)深入洞察、回答問題并做出更明智的決策,即使他們只有很小的數(shù)據(jù)集或者缺乏專業(yè)知識。
雖然人類語言對孩子來說很容易掌握,但即使是最先進的機器,這也極其復雜,教人工智能理解人類意圖最具挑戰(zhàn)性的工作是它需要大量的數(shù)據(jù)、大量的時間和專業(yè)知識。
當您問問題時,您到底想說什么?您想達到什么目標?您到底想得到什么信息?人類的語言充滿了細微的差別,導致有很多方式來表達特定的意圖。對于聊天機器人等大部分人工智能而言,這的確是個問題,當遇到復雜的語法時,它們會出錯,因為它們只關(guān)注具體的單詞,而不會聯(lián)系更廣泛的上下文語境。
了解Watson Assistant新的增強功能,看看我們自然語言理解新模型是怎樣脫穎而出的。
為了幫助企業(yè)應對這一挑戰(zhàn),IBM在IBM Watson Assistant中推出了改進后的自然語言理解(Natural Language Understanding,NLU)新模型,用于意圖分類。在基準測試中,與商業(yè)方案相比,新的意圖檢測算法更為準確。(1)
IBM 研究院不斷改進自然語言處理功能,并融入到 IBM Watson 中。
此外,我們還在 IBM Watson Assistant 和 Watson Discovery 中引入了新的自然語言處理增強功能,目前已經(jīng)提供 beta 版。這些新功能是在 IBM 研究院(IBM Research)的帶領下開發(fā)的,目的是提高人工智能的自動化程度,以及自然語言處理的精度。
閱讀理解能力(Reading Comprehension)這一功能,它返回包含在較長段落中的具體事實或者簡短答案。目前,Watson Discovery 能夠確定與查詢相對應的最佳“段落”。閱讀理解從企業(yè)文檔集中檢索大量候選段落,搜索當前問題的答案并返回相應的答案。閱讀理解應用上下文情景理解功能來理解查詢,利用大量的語言模型從當前的文檔中提取出具體的答案,然后用戶會收到一個信心分數(shù),該分數(shù)表示系統(tǒng)對每個答案的置信度。
這種功能非常適合金融行業(yè)的組織。例如,如果您正要做出放貸決定,可能需要從復雜的文檔中找出準確的事實,這些文檔通常是由人工進行閱讀和審查的。之前,Watson Discovery 會返回建議的段落。而采用閱讀理解,用戶將得到準確的答案(例如,“當前貸款的利率是多少?”“2.9%”),這節(jié)省了他們手動搜索大量文檔的時間。此功能現(xiàn)已在 beta 版中開放給部分 Watson Discovery 用戶。
FAQ 提取(FAQ Extraction)目前提供 beta 版,是一種新穎的答案檢索技術(shù),它在網(wǎng)頁上爬行以檢測常見問題和問答,使用這些內(nèi)容通過 Watson Assistant 提供簡潔、最新的答案。
FAQ 提取旨在與 Watson Assistant 的 Search Skill 協(xié)同工作,在文檔中尋找最終用戶問題的答案。這種功能使得最終用戶在與人工智能虛擬坐席交互時更容易找到他們需要的答案。
例如,企業(yè)可能很難跟上不斷變化的公共指導,即允許重返工作場所或者實體店重開的規(guī)定。如果沒有 FAQ 提取這樣的機制,將需要大量的資源才能使人工智能客服解決方案保持最新狀態(tài)。相反,Watson Assistant 只需知道官方 FAQ 內(nèi)容的 URL 就能跟上最新信息。
探索Watson Discovery和Assistant中的自然語言處理新功能。
最后,Watson NLP 解決方案現(xiàn)在還支持 10種其他語言。IBM Watson Discovery 現(xiàn)在支持波斯尼亞語 (Bosnian)、克羅地亞語 (Croatian)、丹麥語 (Danish)、芬蘭語 (Finnish)、希伯來語 (Hebrew)、印地語 (Hindi)、挪威語 (Bokmål)、挪威語 (Nynorsk)、塞爾維亞語 (Serbian) 和瑞典語 (Swedish)。而 Watson 自然語言理解 (NLU) 現(xiàn)在支持丹麥語 (Danish)、挪威語 (Bokmål)、挪威語 (Nynorsk)、芬蘭語 (Finnish)、捷克語 (Czech)、希伯來語 (Hebrew)、波蘭語 (Polish) 和斯洛伐克語 (Slovak) (關(guān)鍵字)。
這些進步基于 IBM 研究院的自然語言處理創(chuàng)新渠道。今年年初,我們宣布將采用一些為 IBM 研究院 Project Debater 提供支持的核心自然語言處理技術(shù),包括高級情緒分析(習慣用語理解)、總結(jié)、主題聚類和關(guān)鍵點分析等,并在 Watson Discovery 等 IBM 的自然語言處理產(chǎn)品中實現(xiàn)了商業(yè)化。
這些創(chuàng)新可以幫助企業(yè)進一步理解并從其業(yè)務數(shù)據(jù)中獲取真正的價值,從而能夠做出更明智的決策,并為客戶和員工提供更高效的深度見解。
有關(guān)IBM未來方向和意圖的聲明僅為了說明目標和目的,如有更改或者撤回,恕不另行通知。
參考資料:(1) 2020年 11月,對話型人工智能軟件公司 Jio Haptik 科技發(fā)表了一篇技術(shù)論文,將其產(chǎn)品的性能與谷歌、微軟和RASA的同類產(chǎn)品進行了比較。除了 IBM Watson Assistant 之外,其他商業(yè)解決方案的性能取自 Arora 等公司進行的 2020 基準測試研究。IBM 在 IBM Watson Assistant 上運行了與 Arora 等公司報告的相同的性能測試,目的是用于本分析。
