TWI787755B

TWI787755B - 一種基於深度學習的跨設備、跨語言問答匹配方法

Info

Publication number: TWI787755B
Application number: TW110108765A
Authority: TW
Inventors: 邱仁鈿; 江明洋
Original assignee: 碩網資訊股份有限公司
Priority date: 2021-03-11
Filing date: 2021-03-11
Publication date: 2022-12-21
Also published as: TW202236256A

Abstract

一種基於基於深度學習的跨設備、跨語言問答匹配方法，其包括提供一解答客戶端的伺服器，該伺服器具有一問答資料庫；接收由客戶端使用者提出的自然語言問題；利用一設置於該伺服器的自然語言處理單元來辨識該使用者提出的該自然語言問題內容，並對該內容進行意圖萃取；從問答資料庫中進行問題答案比對；於比對後取得相應於該自然語言問題的原始長答；將該原始長答與該使用者提出的該自然語言問題同時匯入一自然語言問答單元，其中該自然語言問答單元設置於該伺服器中；以及利用該自然語言問答單元辨識是否可將該原始答案中的部分段落分辨出來，若有短答答案就回覆該短答答案給該使用者，若該自然語言問答單元無法於該原始答案中辨識出足夠可信度之短答，則以該原始長答回覆給使用者。

Description

一種基於深度學習的跨設備、跨語言問答匹配方法

本發明涉及計算機應用技術領域中的機器人問答，尤其涉及一種基於深度學習的跨設備、跨語言問答匹配方法。

隨著電腦和人工智慧(Artificial Intelligence,AI)的快速發展，如何從巨量的非結構化資訊中提取真正滿足用戶需求的資訊，已經成為一個越來越重要的研究課題。自然語言問答(QA)系統應運而生，其是能夠對用戶以自然語言形式描述的問題做出準確回答的系統。與傳統的搜索引擎不同，自然語言問答系統並非簡單針對關鍵詞組合進行匹配，而是要理解用戶問題的真實語意。由於自然語言的詞彙、語法和結構的複雜多變，理解自然語言問題的語義往往十分困難。

智能問答系統，例如智慧機器人問答系統主要解決問句的真實意圖分析、問句與答案之間的匹配關係，理解以自然語言形式描述的用戶提問，並透檢索語意資料庫過問答知識庫回傳簡潔、精確的匹配正確答案。

就目前所普遍使用的機器人問答系統上，例如客服系統，相關問題的答案一般會位於資料庫或網頁上，而一般而言機器人對用戶提問的問題會有一些缺失：例如，其回答內容通常會相當冗長；或者是同一個問題換個方式問答案有可能會有偏差或無法回答(因某些原因，無法理解以自然語言形式描述的用戶提問)。

此外，由於機器人問答系統上，用戶端使用相關設備通常具有多樣性，例如個人電腦、智慧型手機、智能音箱等，而且其所用語言亦不相同。

針對上述問題，本發明的目的在於提出解決上述問題的問答匹配方法。本文公開了一種基於基於深度學習的跨設備、跨語言問答匹配方法，其包括提供一解答客戶端的伺服器，該伺服器耦接一問答資料庫；接收由客戶端使用者提出的自然語言問題；利用一設置於該伺服器的自然語言處理單元來辨識該使用者提出的該自然語言問題內容，並對該內容進行意圖萃取；從問答資料庫中進行問題答案比對；於比對後取得相應於該自然語言問題的原始答案(長答)；將該原始答案(長答)與該使用者提出的該自然語言問題同時匯入一自然語言問答單元，其中該自然語言問答單元設置於該伺服器中；以及利用該自然語言問答單元辨識是否可將該原始答案(長答)中的部分段落分辨出來，若有更精準之短答答案就回覆該短答答案給該使用者，若該自然語言問答單元無法於該原始答案(長答)中辨識出足夠可信度之短答，則以該原始答案(長答)回覆給使用者。

上述之問答資料庫是一語料庫單元。

上述之設置於該伺服器的自然語言處理單元係利用SmartBERT模型辨識該自然語言問題，並對該內容進行意圖萃取。

上述之自然語言問答單元係利用SmartBERT問答模型辨識是否可將該原始長答中的該部分段落分辨出來。

上述之SmartBERT模型包含斷詞工具、詞向量生成。

上述之語料庫單元支援中、英、日三種語言。

上述之問答資料庫係可以整合於該伺服器或獨立於該伺服器。

上述之解答客戶端的伺服器經由一雲端網路與該使用者的智慧裝置連結。

上述之智慧裝置可以是個人電腦、平板電腦、智慧型手機、或是智慧音箱。

上述之SmartBERT模型是以應用程式的方式存在於伺服器。

100:系統架構

101a、101b、101c:智慧裝置

103:雲端網路

105:伺服器

105a:問答模組

107:數據資料庫

120:處理單元

122:記憶體

124:存儲裝置

126:通訊單元

128:輸入裝置

130:輸出裝置

132:自然語言問題

134:回覆客戶端的提問

212:自然語言處理單元

214:自然語言問答(QA)單元

301、302、303、304、305、306、307a、307b:步驟

圖1顯示本發明的系統架構。

圖2(A)顯示本發明所提出伺服器的功能方塊圖。

圖2(B)顯示本發明所提出問答模組的功能方塊圖。

圖3顯示本發明所提出基於深度學習的跨設備、跨語言問答匹配方法的流程圖。

此處本發明將針對發明具體實施例及其觀點加以詳細描述，此類描述為解釋本發明之結構或步驟流程，其係供以說明之用而非用以限制本發明之申請專利範圍。因此，除說明書中之具體實施例與較佳實施例外，本發明亦可廣泛施行於其他不同的實施例中。以下藉由特定的具體實施例說明本發明之實施方式，熟悉此技術之人士可藉由本說明書所揭示之內容輕易地瞭解本發明之功效性與其優點。且本發明亦可藉由其他具體實施例加以運用及實施，本說明書所闡述之各項細節亦可基於不同需求而應用，且在不悖離本發明之精神下進行各種不同的修飾或變更。

圖1顯示本發明的系統架構100，其包括至少一智慧裝置(101a、101b、101c)經由雲端網路103與解答客戶端的伺服器105連結，以及整合於該伺服器或獨立於該伺服器的一數據資料庫107。以一較佳實施例而言，智慧裝置(101a、101b、101c)可以是個人電腦(包含筆電、桌上型電腦)、智慧型手機或平板電腦、或是智慧音箱；雲端網路103可以包括有線或無線電信裝置，提問客戶端(即用戶A、B或C)、伺服器105所基於的網路裝置可以透過上述有線或無線電信裝置來交換數據。伺服器105、智慧裝置(101a、101b、101c)的設備在架構上都包含一些基本的組件，如總線、處理裝置、儲存裝置、一個或多個輸入/輸出裝置、和通訊接口等。總線可以包括一個或多個導線，用來實現伺服器和客戶端設備組件之通訊。處理裝置可以包括各類型的用於執行指令、處理程式或硬體控制的處理器或微處理器。儲存裝置可以包括用以儲存動態資訊的動態記憶體，如隨機存取記憶體(RAM)，或用以存儲靜態資訊的靜態記憶體，如唯讀記憶體(ROM)或其他如硬碟等大容量存儲裝置。輸入裝置可以是鍵盤、觸控螢幕、聲音識別裝置等。輸出裝置可以是顯示器、印表機或揚聲器等。通訊接口用於使伺服器或客戶端設備與其他系統或裝置進行通訊。通訊接口之間可以透過有線/無線連接方式連接到上述雲端網路中，以使上述客戶端、伺服器實現相互通訊。問答模組105a可以設置於伺服器105中，用於接收來自客戶端的提問、分析問題並與資料數據庫107(例如，語料庫單元)比對然後回覆客戶端的提問。

圖2(A)顯示本發明所提出伺服器105的功能方塊圖，其可以包括一個或多個處理器或處理單元120、記憶體122、存儲裝置124、一個或多個通訊單元126、一個或多個輸入裝置128以及一個或多個輸出裝置130。於一較佳實施例中，伺服器105可以是具有計算能力的各種伺服器終端機。處理單元120可以是實際或虛擬處理器並能夠根據記憶體中存儲的程式來執行各種程序(process)。在多個處理器系統中，多個處理單元可以平行執行電腦可執行指令，以提高伺服器的平行處理能力。處理單元可以稱做中央處理單元(CPU)、微處理器、控制器、或微控制器。

伺服器105通常包括多個電腦存儲媒介，這樣的媒介可以是伺服器可存取的任何存儲媒介，包括揮發性或非揮發性，可拆卸或不可拆卸存儲媒介。記憶體可以是揮發性記憶體(例如，暫存器、隨機存取記憶體(RAM))、非揮發性記憶體(例如，唯讀記憶體(ROM)、電可擦拭可編程唯讀記憶體(EEPROM)、快閃記憶體)，或是其某種組合。記憶體122可以包括問答模組105a，問答模組105a可以由處理單元存取和運行，以實現相應功能。

存儲裝置124可以是可拆卸或不可拆卸式，並且可以包括機器可讀能夠用於儲存資訊和/或數據並且可以在伺服器內被存取。存儲裝置可以是可拆卸式硬碟的驅動裝置或是光碟驅動裝置。

通訊單元126實現透過通訊介質與另外的計算或電腦設備進行通訊。

輸入裝置128可以是一個或多個各種輸入裝置，例如鍵盤、語音輸入設備等。輸出裝置130可以是一個或多個各種輸出裝置，例如顯示器、揚聲器、印表機等。伺服器可以根據需要透過通訊單元126與一個或多個外部設備(未顯示)進行通訊。

伺服器105可以透過輸入裝置接收由客戶端提出的自然語言問題132，伺服器105可以將自然語言問題132轉換成與其語意上對應的邏輯表示，該邏輯表示可以在資料數據庫107執行比對並回覆客戶端的提問(回答)134。具體上如圖2(B)所示，問答模組105a更包含自然語言處理單元212以處理經由輸入裝置輸入之自然語言問題132，例如輸入之文字字串、或是經語音文字轉換後的字串，該自然語言處理單元212根據結合各種演算法，比對語料庫單元107中所儲存的各種專業詞彙與術語，並回覆客戶端的提問(回答)134；如果回覆客戶端的答案需要進一步精簡，則利用一自然語言問答(QA)單元214結合各種演算法以及比對語料庫單元107的問答集、技術社群和支援文件、使用者行為等資料訓練，進一步輸出更精準的答案。

在問答系統的領域上，深度學習方法可以抽象出問題和答案的本質資訊的表示和問句/答案間的語意匹配關係。另外，在問答語句匹配的過程中，句子中某些關鍵語意的語詞能夠決定是否能夠正確匹配，可以考慮捨棄一些對匹配關係無用的詞語。所以基於注意力機制(attention mechanism)的池化(pooling)方式可以選擇出問答對中匹配關係最好的詞語，進而提高問答句子的匹配準確率。2018年底，Google AI語言的研究人員開源了一種稱為BERT(來自轉換器(Transformer)的雙向編碼器表示形式)的自然語言處理(NLP)新技術。BERT使用轉換器編碼器區塊(encoder block)。轉換器編碼器使用注意(多頭自我注意multi-headed self attention)機制來學習文本中單詞(或子單詞)之間的上下文關係。BERT在基於語言的任務模擬方面表現出優異的性質。SmartBERT模型是基於BERT(來自轉換器的雙向編碼器表示形式)的自然語言處理(NLP)所發展出新技術。本發明利用一自行開發的SmartBERT模型應用於問答系統。以一較佳實施例而言，上述SmartBERT模型是以應用程式的方式存在於伺服器的問答模組中(參考圖1-2)，該SmartBERT模型包含自行開發的中文斷詞工具、詞向量生成，並可以導入微軟Teams的AI助理SmarkWork。其中，SmarkWork利用了微軟Office資料庫中的問答集、技術社群和支援文件、使用者行為等資料訓練而成，有大量資料，可支援中、英、日三種語言。

參考圖1-2，用戶端利用至少一智慧裝置(101a、101b、101c)經由雲端網路103與解答客戶端的伺服器連結105，由於伺服器105中的問答模組105a可以透過輸入裝置128辨別出提出問題端(用戶端)所用智慧裝置(101a、101b、101c)的種類，因而得以動態地調整回答問題的長短。舉例而言，假設本發明是用在一網路銀行機器人客服系統，用戶提出問題是信用卡循環利息繳費方式，若用戶端使用的是有較大螢幕的筆電或平板電腦，伺服器中的問答模組可以以完整的網頁頁面段落回答，並強調(highlights)重點部分。但是若用戶端使用的是智慧型手機，伺服器中的問答模組則需要精簡回答內容。更極端的，若用戶端使用的是無螢幕的智慧音箱，伺服器中的問答模組需要用語音回答，因此需要以更精要簡潔的方式回答。

基於上述，本發明所提的一種基於深度學習的跨設備、跨語言問答匹配方法，可以根據如圖3顯示的流程實施。上述方法包括以下步驟：首先於步驟301，由使用者提出問句，該問句為自然語言問題；接著於步驟302，利用一SmartBERT模型(為前面所提自然語言處理單元212使用)來辨識使用者問句內容，並對該內容進行意圖萃取；然後於步驟303，從問答(question answering,QA)資料庫中(即前面所提語料庫單元107)進行問題答案比對；接著進行步驟304，於比對後取得原始答案(長答)；接著於步驟305，將上述原始答案(長答)與使用者問題同時匯入一SmartBERT QA模型，即SmartBERT問答模型，(為前面所提自然語言問答單元214使用)；接著於步驟306，以上述SmartBERT問答模型辨識是否可將原始答案中的部分段落(短答)分辨出來，若有精準之短答就回覆該精準之短答答案給使用者(步驟307a)，若上述SmartBERT問答模型無法於原始答案中辨識出足夠可信度之短答，則以原始長答回覆給使用者(步驟307b)。以一較佳實施例而言，上述SmartBERT模型是以應用程式的方式存在於伺服器的問答模組中(圖1，105a)。上述問答(question answering,QA)資料庫係存儲於整合於該伺服器或獨立於該伺服器的一數據資料庫(圖1，107)之中。上述之企業級AI助理解決方案採用聊天機器人，藉由本發明優化之SmartBERT模型訓練而成，將以應用程式形式提供在微軟協同社群平臺Teams上，供企業客戶下載使用。不只能針對企業內部文書作業處理(包含但是不限於Microsoft 365應用程式)等提供疑難雜症解答，進一步提供客製化服務，將AI助理與企業內部的ERP、客戶管理系統和訂單系統串接，扮演IT Help Desk角色，來處理內部員工請假差勤、IT設備使用、預約會議以及餐點訂送等問題。本發明專攻自然語言處理服務，首先自行開發採用中文斷詞工具，然後發展詞向量生成，更加利用自然語言界BERT模型。自然語言處理包含：1.序列標注：中文分詞(例如：是『薑母-鴨』還是『薑-母鴨』)、詞性標註、實體命名識別。2.分類：文章類別、情感分析分類(哪些評論是負評)。3.句子關係判斷：文字蘊涵(Textual entailment)、資訊抽取IE(Information Extraction)；問答系統QA(Question answering)。4.生成模式：機器翻譯；自動摘要(Automatic summarization)；語音識別(Speech recognition)。換言之，本發明藉由SmartBERT模型，利用中文斷詞工具、詞向量生成及自然語言BERT模型，導入微軟Teams的AI助理。利用微軟Office資料庫中的問答集、技術社群和支援文件、使用者行為等資料訓練而成，可支援中、英、日三種語言，以上優點彰顯本案之非顯而易見性之所在。

以上實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述實施例對本發明及其效益進行詳細說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的進行修改，或者對其中部分技術特徵進行等同替換；而這些修改或替換，並不使相應技術方案的本質脫離本發明權利要求的範圍。

301、302、303、304、305、306、307a、307b:步驟

Claims

一種基於深度學習的跨設備、跨語言問答匹配方法，包括：提供一解答客戶端的伺服器，該伺服器耦接一問答資料庫；接收由客戶端使用者提出的自然語言問題；利用一設置於該伺服器的自然語言處理單元，該自然語言處理單元係smartBERT模型，來辨識該使用者提出的該自然語言問題內容，並對該內容進行意圖萃取；從問答資料庫中進行問題答案比對；於比對後取得相應於該自然語言問題的原始答案(長答)；將該原始答案(長答)與該使用者提出的該自然語言問題同時匯入一自然語言問答單元，其中該自然語言問答單元係smartBERT問答模型，設置於該伺服器中；以及利用該smartBERT問答模型辨識是否可將該原始答案(長答)中的部分段落分辨出來，若有短答答案就回覆該短答答案給該使用者，若該smartBERT問答模型無法於該原始答案(長答)中辨識出足夠可信度之短答，則以該原始答案(長答)回覆給使用者。
如請求項1所述的基於深度學習的跨設備、跨語言問答匹配方法，其中上述之問答資料庫是一語料庫單元。
如請求項1所述的基於深度學習的跨設備、跨語言問答匹配方法，其中上述之設置於該伺服器的該SmartBERT模型係基於轉換器雙向表示形式(BERT)的自然語言處理技術所開發的模型，應用於問答系統，該smartBERT模型包含斷詞工具、詞向量生成，藉以辨識該自然語言問題，並對該內容進行意圖萃取。
如請求項1所述的基於深度學習的跨設備、跨語言問答匹配方法，其中上述之SmartBERT問答模型係由優化上述smartBERT模型訓練而成，用於辨識是否可將該原始長答中的該部分段落分辨出來。
如請求項4所述的基於深度學習的跨設備、跨語言問答匹配方法，其中上述之SmartBERT問答模型由該SmartBERT模型利用上述問答資料庫中的問答集、技術社群和支援文件以及使用者行為等資料訓練而成。
如請求項2所述的基於深度學習的跨設備、跨語言問答匹配方法，其中上述之語料庫單元支援中、英、日三種語言。
如請求項1所述的基於深度學習的跨設備、跨語言問答匹配方法，其中上述之問答資料庫係可以整合於該伺服器或獨立於該伺服器。
如請求項1所述的基於深度學習的跨設備、跨語言問答匹配方法，其中上述之解答客戶端的伺服器經由一雲端網路與該客戶端使用者的智慧裝置連結。
如請求項8所述的基於深度學習的跨設備、跨語言問答匹配方法，其中上述之智慧裝置可以是個人電腦、平板電腦、智慧型手機、或是智慧音箱。
如請求項1所述的基於深度學習的跨設備、跨語言問答匹配方法，其中上述之SmartBERT模型是以應用程式的方式存在於伺服器。