[go: up one dir, main page]

TWI321313B - Apparatus and method to reduce recognization errors through context relations among dialogue turns - Google Patents

Apparatus and method to reduce recognization errors through context relations among dialogue turns Download PDF

Info

Publication number
TWI321313B
TWI321313B TW096107369A TW96107369A TWI321313B TW I321313 B TWI321313 B TW I321313B TW 096107369 A TW096107369 A TW 096107369A TW 96107369 A TW96107369 A TW 96107369A TW I321313 B TWI321313 B TW I321313B
Authority
TW
Taiwan
Prior art keywords
rule
dialogue
rules
rounds
conversation
Prior art date
Application number
TW096107369A
Other languages
English (en)
Other versions
TW200837717A (en
Inventor
Hsu Chih Wu
Ching Hsieh Lee
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW096107369A priority Critical patent/TWI321313B/zh
Priority to US11/831,960 priority patent/US7890329B2/en
Publication of TW200837717A publication Critical patent/TW200837717A/zh
Application granted granted Critical
Publication of TWI321313B publication Critical patent/TWI321313B/zh

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • G10L2015/0631Creating reference templates; Clustering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Machine Translation (AREA)

Description

1321313 九、發明說明: 【發明所屬之技術領域】 本發明係關於一種透過對話回合(dialogue turn)間内 文(context)關係來減少辨識錯誤的裝置與方法。 【先前技術】 自動語音辨識(Automatic Speech Recognition,ASR) 中,如何減少辨識錯誤(recognition error)是一個很重要的 問題。歷來的研究發現’利用更多的資訊,作為辨識的 參考,可有效地降低辨識錯誤率。可運用的資訊包含語 曰(speech utterance)資訊、語意(Speech semantics)資訊、 還有對話内文(dialogue context)相關資訊。 傳統語音辨識主要是採取關鍵字辨識(keyw〇rd spottmg^如果關鍵字的辨識正確,那麼便可以正確地繼 續對話凡成所需的任務。對於傳統的資訊存取對話系 統來說(例如查詢天氣、查詢人員資訊、語音訂票等系統) 來說’只要能將_字_解提高,配合其他相關技 術(例如不同的對話狀態採取不同的子對話系統),即可實 現一個可用的系統。 較新_話系統中,魏和制者之_關係不同 由1方問,另—方答,其更複雜的互動, 早罪關鍵字辨識的技術無法實現一個可行的對話系 5 統。例如,在一個語言學習系統中,使用者和系統會互 相問對方問題,並回答問題,一同完成某一個任務,或 達到雙方共有的任務《第一圖是此種對話系統的一個例 子。參考第一圖,使用者(以U表示)和系統(以s表示) 進行對話,雙方要共同協調出一個時間,還有雙方都可 以接受的活動來進行。 在此例子中,雙方不再設定是一問一答,因此可能 出現的辨識錯誤會如下所示: <D〇 you like dancing?"有可能被錯誤辨識成:“i do !ike dancing· ” ; “Would you like to…?”有可能被錯誤辨識成:“⑽站 do you like to·.?” 從上述的例子當中,可以窺知僅透過關鍵字辨識來 進行錯誤的辨識,可能無法解決這樣的錯誤。如果可以 參考對話内文的相關資訊,那麼對於辨識率的提升,會 有相當大的幫助。 現今技術中’有利用對話的歷史内容,來提高辨識 率。例如’ Rebecca Jonson等人在IEEE SLT 2006所提出 的論文” Dialogue Context-based Re-ranking of ASR_
Hypotheses” 中,其利用語音特徵(utterance feature)、即 時内文特徵(immediate context feature)、最近内文特徵 (close-context feature)、對話内文特徵(dia〗〇gue c〇ntext feature)和可能者清單特徵(list £^加吻等不同面向的特 徵,作為判定辨識錯誤的參考。而在即時内文特徵、最 近内文特徵巾’此論文只考量了最近的前兩次對話回合 的對話内文資訊,作為辨識的基礎。 另-種參照對懸史内容的作法,則是計算出之前 對話的相關統計資訊(例如,對話進行中的取消率 率(enw percemage)、系統回合數 (number of system論8)、使用者回合數(麵⑽〇f丽 加㈣等概括的資訊,沒有詳細和精確地參照到之前每一 回合對軸麵_資訊,也沒有精確地描述對話回合 之間可能存在的關係 時下的技術大多是根據上—個對話句子(通常是系統 所發出的句子),作為判定目前句子的主要依據。然而, 在真實的對話巾’目前㈣子可能會跟前幾個句子相 關二而非僅與前—個句子相關。在現有的技術當中,對 〜樣的If况’尚無有效率的表示。例如,現有的例子 田中減触N連文法杯抑_條。如果要考量 n>3的情況’那麼其頻率的分佈會非常稀疏_se)。 在叩θ辨識系統中,利用N最佳可能者清單(N-Best ㈣的重崎分方絲提高與音的辨識率 ,也是一個廣 1321313 泛應用的概念。N-最佳可能者清單的方法中,大多著重 於如何利用N·最佳可能者清單資訊來量測信心度 (confidence measure),與如何在辨識過程中,產生队最 佳可能者清單的方法,域Ν·最佳可能者料如何進行 調適性學習(adaptive learning) 〇 【發明内容】 本發明的範例中可提供一種透過對話回合間内文關 係來減少辨識錯誤的裝置與方法。本發明將一或多個對 話回合間内文關係,納入語音辨識時尋找最佳答案的考 里,可降低自動語音辨識系統的辨識錯誤率。本發明可 幫助新代或疋較複雜之對話系統的語音辨識。 本發明分析現有的對話内容,找出多條描述對話内文 關係之規顺成的-規則組(rules♦每—條規則所描述 的資訊是以對話回合_〇gue turn)為單位,並可描述多 個對話回合之_内文_。經過訓練後的規則組,可 用來根據對話的歷史紀錄,決定目前對話回合中,每一 種内文關係現的解。以此機率可對語音辨識所產生 的N-取佳可能者清單進行重算分數,藉此來降低辨識錯 誤率。 本發明之透過對話回合間内文關係來減少辨識錯誤 的襄置包έ -細彳儲存單st〇rage—演化式 8 規則產生模組(evolutionary rule generation module)、和一 規則觸發器(rule trigger·)。規則儲存單元備有一或多條規 則組成的一規則組,每一條規則描述一組對話回合間的 關係。演化式規則產生模組從—對話記錄咖1〇卿1〇幻 中進行演化_,繼出此規顺。規觸發器根據訓 練出的規則組與前多個對話回合的對話歷史記錄 (dialogue history) ’從訓練出的規則組中選出至少一條規 則及其相職驗心度量測(eGnfldenee __),供一 ASR系統對其語音辨識進行重新評估。 重新評估後的觸結果回饋輯話記射,此裝置 可再透過_貝/懲罰元件’進—步調整此規則組。 本發明將對話内容當中的屬性,定義成—或多種類 ^即對销文類別。每―句對話,根據其資訊,都 可以歸屬到—個特定的對話内文類別。雜,每-規則 所私述的資訊包括—序列的前多個對話回合的内文類 二卜、當=對話回合的内文類別,以及該條規則相對應的 度里測。每一規則更享有一種萬用類別的表示方 代表該-或多種不同的蚊類射的任何—種内文 類別。 〜根據本發明之裝制結構與此規職之每—條規則 義和表祕’本發明首先透過_大量平行之演化式 1321313 計鼻方法(evolutionary massive parallelism approach),分 析對話歷史記錄,以訓練出一規則組。然後,根據此規 則組和自動語音辨識系統原本產生的辨識結果進行重新 評估’並量測重新評估之語音辨識的信心度。最後,對 於每一成功的對話回合,動態調適此規則組。 此大量平行之演化式計算方法從對話記錄中,訓練 出此規則組。首先,隨機產生一隨機規則集合。然後, 將此隨機規則集合透過此演化式計算的三個操作元,包 括規則憂異(rule variation)'規則評估扣化evaiuati〇n)與規 則篩選(rule selection),經過多世代的演化調適而訓練出 此規則組。 而經過規則篩選產生的規則組經過多個世代的調適 之後,所產生的規則之信心分數會較高,更能表示對話 回合之間對話内文的關係。利用此種關係,可在現有的 語专辨識基礎上,更進一步提高辨識的準確度。同時, 本發明所使用的學習方法,其訓練所㈣的成本較低, 有助於設計一個可動態調整辨識規則的語音辨識系統。 這樣的機繼於未來歧更複雜互躺對H统,也會 有相當大的幫助。 茲配合下列圖示、實施例之詳細說明及申請專利範 圍’將上述及本發明之其他目的與優點詳述於後。 10 1321313 【實施方式】 第二A圖係本發明之透過對話回合間内文關係來減 少辨識錯誤縣置的—個示賴。參轉二圖,此透過 對話回合間内文關係來減少辨識錯誤的|置200包含-規則儲存單70 2(Π、—演化式規則產生模組203、和-規 則觸發205。規則表示單元2〇1備有一規則組211,此 規則組211係由一或多條規則來組成,並以對話回合為 單位來表示每-條規則。演化式規則產生模組2〇3與該 規則表示單元相互連結,並從—對話記錄(diaiQgue 1〇幻 221中進行演化調適,而訓練出此規則組211。規則觸發 器2〇5與規則儲存單元2〇1連結,並根據訓練出的規則 組211與前N個對話回合的對話歷史記錄223,從訓練 出的規則組211中選出至少一條規則215a及其相對應的 信心度量測215b,供一自動語音辨識系統225對其語音 辨識進行錄評估,其中N為—自綠(natural。 此重新評估後的語音辨識結果225a回饋至對話記錄 221中。本發明之裝置2〇〇可透過一酬賞/懲罰元件 (rewanJ/punishment element)237,進一步調整此規則組 211 ’如第二B圖所示。 參考第二B圖,當使用者語音輸入自動語音辨識系 統225時,此自動語音辨識系統225可根據規則觸發器 11 1321313 205所選出的至少一條規則215a及其相對應的信心度量 測215b,將自動語音辨識系統225原本產生的N_最佳可 月b者清單進行重新評估,與N_最佳可能者清單的分數再 進行權重加總,重估分數(rescoring)即考慮到對話回合間 内文資訊的關係。藉此來減少語音辨識錯誤,即可增加 N-最佳可能者清單之分數評估的可靠度,從此N•最佳可 能者清單中找到更適合的解答,並回饋至對話記錄Π 中。透過酬賞/懲罰元件237,可進一步調整規則組211 内的規則。 根據本發明,演化式規則產生模組2〇3從一個現有的 對話記錄中,訓練出規則組211。例如,先隨機產生一隨 機規則集合,然後將此隨機規則集合透過此演化式規則 產生模組的二個操作元,包括規則變異、規則評估與規 則篩選’而訓練出此規則組211。 依此,本發明之裝·置應用在自動語音辨識系統時, 將一或多個對話回合間内文關係,演化調適而訓練出多 條描述此對話内文關係的一組規則,其中每一條規則所 描述的資訊是以對話回合為單位。經過訓練後的規則 組,可用來根據對話回合的歷史紀錄,決定目前對話回 合中,每一種内文關係出現的機率。以此機率可對語音 辨識原本產生的最佳可能者清單進行重新評估,藉此 來減少辨識錯誤,提高此自動語音辨識系統對辨識結果 12 丄321313 的信心度。
規則組之每一條規則所描述的資訊 ^或多個—湖、t:嫩时H ”有4夕種不同的對話内文類別。每 :條規則撕應的信心度量測為此條糊的信心分數。
回合之對話内文除了所屬的對話内文類別之 ’母-條規則所指述的資訊中還可享有一種萬用類別 的表对式,此萬用類別代表其_或多種不同的内文類 別中的任何一種内文類別。 搭配第一 A圖與第二B圖之根據本發明的結構特 徵,以下進-步說明本發明的運作、每一條規則的表示 方式’以及其所描述資訊的定義。 第二圖為一個流程圖,說明 ·本發明之透過對話回合 間内文關係來減少辨識錯誤的方法的運作。首先,如步 驟301所示,透過一大量平行之演化式計算方法,分析 對話歷史3己錄,以訓練出一規則組,此規則組描述著一 或多個對話回合之間_文關係。然:後,根據此規則組 和自動語音辨識系統原本產生的辨識結果進行重新評 估’並董測重新評估之語音辨識的信心度,如步驟302 所示。最後,對於每一成功的對話回合,動態調適此規 13 則組’如步驟303所示。以下進一步說明步驟301至303。 在步驟301中,此大量平行之演化式計算方法從對 話記錄中,訓練出此規則組。如第四圖所示,首先,隨 機產生一隨機規則集合,如標號401所示。然後,將此 隨機規則集合透過此演化式計算的三個操作元,包括規 貝J ’文異402、規則評估403與規則篩選4〇4,經過多世代 的演化調適而訓練出此規則組。 接下來,說明此規則組如何描述一或多個對話回合 之間的内文關係。如前所述,此規則組係由一或多條規 則來組成,並以對話回合為單位來表示每一條規則。首 先,將對話内容當中的屬性,定義成一或多種類別,亦 即對話内文糊。每—句對話,根據其資訊,都可以歸 屬到-個特定的對_文_。然後,—個規則以符號 :R,i來表示’其中代表前n 次對話回合_文_,R代表當讀話时的内文類 別,以及I代表該條規則相對應的信讀量測。丨的範例 ㈣條規則的評估分數,或是該條酬㈣的次數或機 率等。 不失-般性,第五圖以第一圖之對話記錄為一範 例說明此對話記錄被定義出的9種不同的對話内文類 別例如,對話 1 do noUike t0 g〇 swimming·,,被定義 14 1321313 為η型態、對話” D〇 y〇u like dandng? ”被定義為v型 態、對話,’ Good bye now.”被定義為X型態。 值得一提的是,對話内文類別型態的定義不限於上 述的9種型態,可依照對話句型定義出更多不同型態的 對話内文類別。 在規則表示方式的設定上,每個對話回合之對話内 文除了所屬的對話内文類別型態外’本發明也提供—種 萬用類別型態,記為” # ” 。在MiM2%…Mn*,若 某一對話回合使用類別型態,,# ”,則代表該次對話回 合允許任何一種的對話内文類別。例如,假設對話内文 類別可能的種類有:{V, Y,N,Q,S},該條規則的評估分 數為50,那麼”VY#N : S,50”當中,#位置可以是任何一 種對話内文類別。也就是說”VYVN : s,50”、,,γγγΝ . S,50,,、”VYNN : S,50,,、,,VYQN : S,50” 以及”vySN : S 5〇” 皆符合鵁條規則所描述。 透過演化式規則產生模組的三個操作元進行規則調 適’與經過多個世代的調適之後所產生出來的規則,其 信心分數會較高。換句話說,此規則組内的每條規則可 以描述出對話内文當中,回合和回合之間的内文關係。 值得一提的是,此内文關係不會受限於對話回合的個 數。以下進一步說明演化式規則產生模組的三個操作 15 1321313 元,規則變異402、規則評估403與規則篩選404。 規則變異402 :現有規則集合中,每一條規則會有一 個機率來變異(variation)或組合成其他的規則《變異的方 式是其中某一次的對話内文類別型態,從Mi變成Mj, 或者從變成” #”,或者從” #,,變成Mj,也可以是 其規則的結果,從R變成R’,其中Mi、、r、R’皆代 表不同的對話内文類別。例如,VS#Q變異成VS##。組 合的方式是將規則集合中,不同的規則組合成一新的規 則。例如’ VS## + ##SQ組合成VSSQ。 規則評估403 :係指評估規則之信心度量測I,可依 照該規則在現有對話紀錄中出現的次數或機率來決定。 例如,出現次數愈多,評估分數愈高。 規則篩選404 :係根據以下四個步驟來進行規則的篩 選,以第六圖來說明此規則篩選的步驟流程。在步驟601 中’保留一預定比例的規則,例如300條規則。每條規 則被保留下來的機率,和其信心度成正比。在步驟602 中’隨機或從現有規則中透過規則變異來產生新的規 則°在步驟603中,找出等價規則(equivaiencerule),並 從中刪除較一般性的規則。例如,規則VS#:R和規則 VS##:R如果評估分數相同,則此兩條規則視為等價,刪 除較一般性的規則(VS##:R)。另一例如,假設發現兩 16 1321313 個評估分數相同且類似的規則MiMj#Mi:M『,23以及
Mr,23,則此兩條規則實際上是描述同一種 情況。也就是說當中的,,#,,,只有可 能是Mm。本發明會刪除規則MiMj#Mi:Mr,23,來提高 規則描述的正確率。 如步驟604所示,若有規則被刪除時,則回至步驟 602 ’否則結束此規則篩選。 經過多世代的演化調適而訓練出規則組後,其規則 的评估分數會愈來愈高,而整個規則組所描述的規則, 即愈能代表不同對話之間,對話内文類別的關係。因此, 可用來計算出目前所辨識的對話中,出現各式對話内文 類別的機率。此資訊可以重新對N-最佳可能者清單進行 評分’以提高辨識結果的信心度。 有了訓練出的規則組後,在步驟302中,本發明更 包括下列步驟來進行重新評估,並量測目前對話回合中 各種對話内文類別之可能性的機率。參考第七圖,首先, 如步驟701所示,將前n次的對話記錄,套用在此規則 組中的逐條規則。也就是說,在此規則組中的每一條規 則’去找出其前η次對話回合的内文類別(亦即 MiM2M3...Mn)符合前η次對話記錄的規則。 然後,在所有符合的規則中,根據這些規則之當次 17 對話回合的内文類別(也就是R)來進行分類,並計算出每 —種對話内文類別的信心分數,如步驟702所示。此广 心分數的計算為,縣是該酬,並轉合前^次雜 記錄的所有規則的信心分數總和。根據每種對話類別的 信心分數,就可看出此種對話類別的機率。信心分數兪 高,其機率就愈高。 〜 將此信心分數資訊輸入自動語音辨識系統中,即可 用來降低語音辨識的錯誤率。其方法有二: 乐~種方式 是將信心分數資訊提供給自動語音辨識系統,讓其利用 更多的資訊,來產生更精確的N-最佳可能者清單。第二 種方式是作自動語音辨識的後處理,透過信心分數資訊 或機率較高的酬來酸自動語音辨識魏原本之^最 佳可能者清單的分數,藉此提高辨識的準確率。 在步驟303中’自動語音辨識系統輪出的辨識結果 回饋至對話《,可再透過酬賞/懲罰元件237,動態調 整規則組内的規則。 以對話§己錄内的一段對話為範例,以及對話内文類 別型態定義如第五圖,以下說明本發明的實際運作流 程。不失-般性,此範例中’本發_規職示係以前 4次對話回合_文_來作朗,換句話說,每一規 則表示為 MiMzMslVLt :R,I。 18 第八圖是上述該段對話與其對應的對話内文類別型 態的-個示賴,其中U代表使用者,s代表一語音辨 識系統。 接收第八圖之對話記錄後,第九A圖至第九D圖說 明以大量平狀演化辆算方法來產线躲。第九A 圖係透過隨機方式產生之規職合的_個範例。第九B 圖至第九D圖分狀經過⑽代、2⑻代與誦〇代的 演化調適後,观出醜聽,其巾皆只列出其規則組 300條規則中的前30條規則。 然後’則將前多個對話回合之狀態之對話歷史紀 錄’套用在第九DB巾的規則組的逐條制,並分析目 前對話中目酸話回合巾每-種對_文_的信心分 數與機率’結果如第十圖所示。 不失一般性,第39回個對話回合之狀態之對話歷史 紀錄如下所示: 使用者:”WhatdidyoudoyesterdaymQming<?" 系統:”whatdidnothingyesterdaymomiiig” 根據上述的第39回合的對話歷史記錄,可看出系統的回 答有問題。 透過規則觸發器205 ’將上述的前4次對話回合之狀 1321313 態之對話歷史紀錄,套用規則組中的逐條規則,並找出 規則之前4切軸合_文類別,即M2M3 M4。 在此範例,找出規則組中某一符合規則的MiM2M3 Mt 為XXXQ。然後,根據此内文類別的當次對話回 合的内文類別(也就是R)來進行分類,並計算出目前對話 回合中母一種對話内文類別的分數或機率。 在此範例中,以第五圖中定義出的9種對話内文類 鲁 別型態,分別計算其機率。如第十圖所示,内文類別,,卩 “之機率為0.32、内文類別” γ “之機率為〇12、内文 類別’’ N “之機率為003、内文類別” y “之機率為 0.21、内文類別n “之機率為〇.〇4、内文類別’’呂‘‘之 機率為0_89 '内文類別” V “之機率為〇31、内文類 別” C “之機率為0.25'内文類別,’ X “之機率為〇。 由於内文類別” S “的機率最高,因此,這條 XXXQ.S緣則出現的機率最局,換句話說,系統回欠的 _ 句型應為直述句。 最後,此規則XXXQ:S可與自動語音辨識系統原本 的最佳可能者清單進行權重加總,從最佳可能者清單中 找最符合的句型回答’例如:” I did nothing yesteKiay morning.” ’藉此提高最佳可能者清單之分數評估的可靠 度。當然此規則XXXQ:S也可以在自動語音辨識系統内 20 作後處理,亦即直接調整最佳可能者清單的分數, 高辨識率。 k 本發明調適過的規則組與自動語音辨識系統原本的 最佳可能者清單的分數再進行權重加總,即考慮到對咭 回合間内文類別的關係,如此可增加最佳可能者清單Z 數評估的可靠度。 刀 惟,以上所述者,僅為發明之最佳實施例而已,當不 能依此限定本翻實施之細。即大凡—本發明申請專 利範圍所作之解變化與修飾,皆應減本發明專利涵 蓋之範圍内。 21 【圖式簡單說明】 第-圖為-個傳統對話系統的例子。 第二八_本㈣之透卿_合_文_來減少辨 識錯誤的裝置的一個示意圖。 第二B圖制自動語音辨_統顧本發明進行重
估,且本發明可透過—酬_罰元件,調整第二 的規則組。 T
第三圖為—織糊,朗本發狀透過縣回合間内 文關係來減少辨識錯誤的方法的運作。 第四圖說明透過-演化式計算,撕話記錄中 則組。 第五圖以第一圖之對話記錄為一範例,說明本發明將此 對話記錄定義㈣9财同崎話内文類別。 第六圖說明規則篩選的步驟流程。
第七圖進一步說明本發明如何進行重新評估,並量測目 前對話回合中各種對話内文類別之可能性的機率。 第八圖係對話記錄内的一段對話與其對應的對話内文類 別型態的一個示意圖。 第九Α圖係第八圖之對話記錄透過隨機方式產生之規則 集合的一個範例。 第九B圖-第九d圖分別是經過1〇〇代、2〇〇代與loooo 代的演化調適後,訓練出的規則組’其中皆只列出其規 則組中的前3〇條規則。 第十圖說明規則觸發器將對話歷史紀錄,套用在規則組 22 1321313 中’並算出目前對話回合中每一種對話内文類別的機率。 【主要元件符號說明】 s糸統 U使用者 話回合間内文關係來減少辨識錯誤的裝置 201規則表示單元 203演化式規則產生模組 205規則觸發器 211規則組 215a至少一條規則 215b信心度量測 221對話記錄 N自然數 223前N個對話回合之狀態之對話展中紀婦 225自動語音辨識系統 225a語音辨識的結果 237酬賞/懲罰元件 301透過-大量平行之演化式計算方法,分析對話歷史記錄, 以訓練出一規則組,此規則組描述著一或多個對話回合之 間的内文關係 302根據此規則組和自動語音辨識系統原本產生的辨識結果 ——進行重古’ ·gj測重新評估之語音辨識的佶心疫 303對於每一成功的對話回合 ’動悲調適此親則組 23 1321313 401隨機產生一隨機規則集合__ 402規則變異_403規則評估 404規則篩選
MiM2M3... Mn : R,I規則表示方式 601保留一預定比例的規則__ 602隨機或從現有規則中透過規則變異來產生新的規則 603找出等價規則,並從中刪除較一般性的規則_ 604有規則被刪除? 701將前η次的對話記錄,曼土在此沒則^^的逐條規則 702在所有符合的規則中,根據這些規則之當次對話回合的内 文類別(也就是R)來進行分類,並計算出每一種對話内文 類別的信心分數 24

Claims (1)

1321313 — I ί丨月U曰修正替換頁 十、申請專利範圍: 1. 一種透過對話回合間内文關係來減少辨識錯誤的裝置, 包含: 一規則儲存單元,備有一規則組,該規則組係由一或 多條規則來組成,並以對話回合為單位來表示每一條 該規則所描述的資訊; 一/貝化式規則產生模組,與該規則儲存單元相互連 Φ 結,並從一對話記錄中進行演化調適,而訓練出該規 則組;以及 規則觸發器,與該規則儲存單元連結,並根據該訓 練出的規則組與先前一或多個對話回合之對話歷史記 錄,從該訓練出的規則組中選出至少一條規則及其相 對應的信心度量測,供一自動語音辨識系統對其語音 辨識重新評估。 2·如申請專利範圍第丨項所述之透過對話回合間内文關係 鲁 核少辨識錯誤的裝置’其中,該重新評估後的結果 回饋至泫對話記錄中,該裝置更透過一酬賞/懲罰元 件,來調整該規則組。 3·如申請專纖圍第1項所述之透過對話回合間内文關係 來減少辨識錯誤的裝置,其中該規則組之每一條該規 則的表示中至少包括該對話回合之間的内文關係。 4·如申請專利範圍第!項所述之透過對話回合間内文關係 來減少辨識錯誤的裝置,其中該規則組之每一條該規 則所描述的資訊包括-序列的前多個對話回合的内文 25 * %年_日修正替換頁 類別备-欠對話回合的内文類別,以及該條規則相對 ’ 應的信心度量測。 士申吻專利範圍第4項所述之透過對話回合間内文關係 來減少辨識錯誤的裝置,其中該規則組之每一條該規 則所為述的資訊中具有一或多種不同的對話内文類 別。 如申叫專利範圍第4項所述之透過對話回合間内文關係 來,少辨識錯誤的裝置,其中該條規則相對應的信心 鲁 度里測為該條規貞彳的信心分數。 7·如申請專利範圍第5項所述之透過對話回合間内文關係 來減少辨識錯誤的裝置,其中該規顺之每一條該規 則所描述的資訊中更享有一種萬用類別的表示方式, 該萬用類別代表該-或多種不同的内文類別中的任何 一種内文類別。 8·如申請專利翻第丨項職之透過對_合勒文關係 來減少辨識錯誤的裝置,其中該演化式規則產生模組 _ 包括三個操作元,分別為規則變異、規則評估與酬 篩選。 . 9. -種透賴如合間蚊關絲減少觸錯誤的方法, 該方法包含下列步驟: 透過-大量平行之演化式計算方法,分析對話歷史記 錄,以訓練出一規則組,該規則組描述著—或多個對 話回合之間的内文關係; 根據該規則組和一自動語音辨識系統原本產生的辨識 26 1321313 伽"月日修正替換頁 結果進行重新評估,並量測該重新評估之辨識^--、 信心度;以及 對於每一成功的對話回合,動態調適該規則組。 10.如申請專利範圍第9項所述之透過對話回合間内文關 係來減少辨識錯誤的方法,其中該訓練出該規則組的 步驟更包括: 隨機產生一隨機規則集合;以及 將該隨機規則集合透過一演化式計算的三個操作元, 包括規則變異、規則評估與規則篩選,經過多世代的 演化調適而訓練出該規則組。 Η.如申請專利範圍第9項所述之透過對話回合間内文關 係來減少辨識錯誤的方法,其中該規則組係由一或多 條規則來組成,並以對話回合為單位來表示每一條該 規則所描述的資訊。 12.如申請專職M U項所述之透過對話回合間内文關 係來減少辨識錯誤的方法,其中該規則組係透過下列 步驟來指述-或鋒對話回合之間軸文關係: 將該-或多個對話回合對話内容當中的屬性,定義成‘ 一或多種對話内文類別;以及 每-該規則以符號:R,j來表示,其中 ΗΜ2Μ3.·.Μη代表前n個對話回合的内文類別,R代 表當次對話回合的内文類別]代表該條規則相對應的 信心度量測。 13.如申印專利範圍第1〇項所述之透過對話回合間内文關 27 1321313 分年//月Μ曰修正替換頁 係來減少辨識錯誤的方法,其中該規則變異係指每一 該規則會有-機率,透過變異、或組合之其中一種方 式而成為另一新的規則。 14·如申請專利範圍第10項所述之透過對話回合間内文關 係來減少觸錯誤的方法,其巾該酬評估係指評估 每一該規則之信心度。 15. 如申請專利範圍第1Q項所述之透過對話回合間内文關
係來減少辨識錯誤的方法,其中該規則篩選包括下列 步驟: 保留一預定比例的規則; 隨機或從現有規則中透過規則變異來產生新的規則; 找出等價規則,並從中刪除較一般性的規則;以及 如有規則被刪除時,則返回至該產生新規則的步驟。 16. 如申睛專利範圍第9項所述之透過對話回合間内文關 係來減少辨識錯誤的方法,其中該進行重新評估,並
量測該重新評估之語音辨識的信心度更包括下列步 驟: 將刖多次的對話記錄,套用在該規則組中的每一條規 則,去找出其前多次對話回合的内文類別符合該前多 次對話記錄的規則;以及 在所有該符合的規則中,根據所有該符合的規則之當 次對話回合的内文類別來進行分類,並計算出每一種 對話内文類別的信心分數資訊。 17. 如申請專利範圍第16項所述之透過對話回合間内文關 28 1321313 *//月//日修正替換頁I 係來減少辨識錯誤的方法,其中在該動態調適該規則 組後,將該信心分數資訊提供給該自動語音辨識系統。 18. 如申請專利範圍第17項所述之透過對話回合間内文關 係來減少辨識錯誤的方法,其中該信心分數資訊讓該 自動語音辨識系統有更多的資訊,來產生一精確的最 佳可能者清單。
19. 如申請專利範圍第17項所述之透過對話回合間内文關 係來減少辨識錯誤的方法,其中該信心分數資訊係提 供給該自動語音辨識作後處理,透過該信心分數資訊 來調整該自動語音辨識系統原本之最佳可能者清單的 分數。 29
TW096107369A 2007-03-03 2007-03-03 Apparatus and method to reduce recognization errors through context relations among dialogue turns TWI321313B (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW096107369A TWI321313B (en) 2007-03-03 2007-03-03 Apparatus and method to reduce recognization errors through context relations among dialogue turns
US11/831,960 US7890329B2 (en) 2007-03-03 2007-08-01 Apparatus and method to reduce recognition errors through context relations among dialogue turns

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW096107369A TWI321313B (en) 2007-03-03 2007-03-03 Apparatus and method to reduce recognization errors through context relations among dialogue turns

Publications (2)

Publication Number Publication Date
TW200837717A TW200837717A (en) 2008-09-16
TWI321313B true TWI321313B (en) 2010-03-01

Family

ID=39733774

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096107369A TWI321313B (en) 2007-03-03 2007-03-03 Apparatus and method to reduce recognization errors through context relations among dialogue turns

Country Status (2)

Country Link
US (1) US7890329B2 (zh)
TW (1) TWI321313B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI771284B (zh) * 2017-01-23 2022-07-21 香港商阿里巴巴集團服務有限公司 基於資料驅動預測使用者問題的方法及裝置
TWI833072B (zh) * 2021-03-30 2024-02-21 緯創資通股份有限公司 語音辨識系統及語音辨識方法

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8510109B2 (en) 2007-08-22 2013-08-13 Canyon Ip Holdings Llc Continuous speech transcription performance indication
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9973450B2 (en) 2007-09-17 2018-05-15 Amazon Technologies, Inc. Methods and systems for dynamically updating web service profile information by parsing transcribed message strings
US8676577B2 (en) * 2008-03-31 2014-03-18 Canyon IP Holdings, LLC Use of metadata to post process speech recognition output
US8296144B2 (en) * 2008-06-04 2012-10-23 Robert Bosch Gmbh System and method for automated testing of complicated dialog systems
US8285550B2 (en) 2008-09-09 2012-10-09 Industrial Technology Research Institute Method and system for generating dialogue managers with diversified dialogue acts
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9348816B2 (en) * 2008-10-14 2016-05-24 Honda Motor Co., Ltd. Dialog coherence using semantic features
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US9070360B2 (en) * 2009-12-10 2015-06-30 Microsoft Technology Licensing, Llc Confidence calibration in automatic speech recognition systems
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US9214157B2 (en) * 2011-12-06 2015-12-15 At&T Intellectual Property I, L.P. System and method for machine-mediated human-human conversation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
TWI502600B (zh) * 2012-09-28 2015-10-01 Leadconn Technology Co Ltd 記憶體識別碼修正裝置
US12148426B2 (en) 2012-11-28 2024-11-19 Google Llc Dialog system with automatic reactivation of speech acquiring mode
RU2530268C2 (ru) * 2012-11-28 2014-10-10 Общество с ограниченной ответственностью "Спиктуит" Способ обучения информационной диалоговой системы пользователем
CN103871401B (zh) * 2012-12-10 2016-12-28 联想(北京)有限公司 一种语音识别的方法及电子设备
KR20140089871A (ko) 2013-01-07 2014-07-16 삼성전자주식회사 대화형 서버, 그 제어 방법 및 대화형 시스템
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
KR101959188B1 (ko) 2013-06-09 2019-07-02 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
US9530416B2 (en) 2013-10-28 2016-12-27 At&T Intellectual Property I, L.P. System and method for managing models for embedded speech and language processing
US9666188B2 (en) 2013-10-29 2017-05-30 Nuance Communications, Inc. System and method of performing automatic speech recognition using local private data
US9653071B2 (en) * 2014-02-08 2017-05-16 Honda Motor Co., Ltd. Method and system for the correction-centric detection of critical speech recognition errors in spoken short messages
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
JP6305629B2 (ja) * 2015-03-19 2018-04-04 株式会社東芝 分類装置、方法及びプログラム
US9747279B2 (en) 2015-04-17 2017-08-29 Microsoft Technology Licensing, Llc Context carryover in language understanding systems or methods
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9792281B2 (en) 2015-06-15 2017-10-17 Microsoft Technology Licensing, Llc Contextual language generation by leveraging language understanding
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
IN2015CH05361A (zh) 2015-10-07 2015-10-16 Wipro Ltd
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US12223282B2 (en) 2016-06-09 2025-02-11 Apple Inc. Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10387463B2 (en) * 2017-07-06 2019-08-20 International Business Machines Corporation Dialog agent for conducting task-oriented computer-based communications
US10636424B2 (en) * 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) * 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
CN110858481B (zh) * 2018-08-07 2024-04-30 三星电子株式会社 用于处理用户语音话语的系统和用于操作该系统的方法
US10679150B1 (en) * 2018-12-13 2020-06-09 Clinc, Inc. Systems and methods for automatically configuring training data for training machine learning models of a machine learning-based dialogue system including seeding training samples or curating a corpus of training data based on instances of training data identified as anomalous
CN109949797B (zh) * 2019-03-11 2021-11-12 北京百度网讯科技有限公司 一种训练语料的生成方法、装置、设备及存储介质
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. User activity shortcut suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
DE102020200522A1 (de) 2020-01-17 2021-07-22 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zum Verarbeiten einer Spracheingabe
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
CN113535911B (zh) * 2020-12-03 2024-04-12 腾讯科技(深圳)有限公司 奖励模型处理方法、电子设备、介质和计算机程序产品
US12002459B2 (en) 2021-02-24 2024-06-04 International Business Machines Corporation Autonomous communication initiation responsive to pattern detection
US11756574B2 (en) 2021-03-11 2023-09-12 Apple Inc. Multiple state digital assistant for continuous dialog
US11955137B2 (en) 2021-03-11 2024-04-09 Apple Inc. Continuous dialog with a digital assistant

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2788850B2 (ja) * 1993-02-18 1998-08-20 日本電気株式会社 最適メニュー問い合わせ方式及び階層的メニュー問い合わせによる構造データの編集方式
JP3350293B2 (ja) * 1994-08-09 2002-11-25 株式会社東芝 対話処理装置及び対話処理方法
US6052441A (en) * 1995-01-11 2000-04-18 Fujitsu Limited Voice response service apparatus
US5712957A (en) * 1995-09-08 1998-01-27 Carnegie Mellon University Locating and correcting erroneously recognized portions of utterances by rescoring based on two n-best lists
EP0891589B1 (de) * 1996-04-02 1999-10-06 Siemens Aktiengesellschaft Anordnung zur erstellung eines digitalen wörterbuchs und verfahren zum aufbau eines digitalen wörterbuchs mit hilfe eines rechners
US6078886A (en) * 1997-04-14 2000-06-20 At&T Corporation System and method for providing remote automatic speech recognition services via a packet network
US6044347A (en) * 1997-08-05 2000-03-28 Lucent Technologies Inc. Methods and apparatus object-oriented rule-based dialogue management
US6278968B1 (en) * 1999-01-29 2001-08-21 Sony Corporation Method and apparatus for adaptive speech recognition hypothesis construction and selection in a spoken language translation system
FR2801716B1 (fr) * 1999-11-30 2002-01-04 Thomson Multimedia Sa Dispositif de reconnaissance vocale mettant en oeuvre une regle syntaxique de permutation
US6665273B1 (en) 2000-01-11 2003-12-16 Cisco Technology, Inc. Dynamically adjusting multiprotocol label switching (MPLS) traffic engineering tunnel bandwidth
US20060143007A1 (en) * 2000-07-24 2006-06-29 Koh V E User interaction with voice information services
TW472232B (en) * 2000-08-11 2002-01-11 Ind Tech Res Inst Probability-base fault-tolerance natural language understanding method
DE10043531A1 (de) * 2000-09-05 2002-03-14 Philips Corp Intellectual Pty Sprachdialogsystem
US7844666B2 (en) * 2000-12-12 2010-11-30 Microsoft Corporation Controls and displays for acquiring preferences, inspecting behavior, and guiding the learning and decision policies of an adaptive communications prioritization and routing system
US20020176450A1 (en) 2001-01-31 2002-11-28 Sycamore Networks, Inc. System and methods for selectively transmitting ethernet traffic over SONET/SDH optical network
FR2820872B1 (fr) * 2001-02-13 2003-05-16 Thomson Multimedia Sa Procede, module, dispositif et serveur de reconnaissance vocale
US7729918B2 (en) * 2001-03-14 2010-06-01 At&T Intellectual Property Ii, Lp Trainable sentence planning system
US7516076B2 (en) * 2001-03-14 2009-04-07 At&T Intellectual Property Ii, L.P. Automated sentence planning in a task classification system
US6728220B2 (en) 2001-05-24 2004-04-27 Riverstone Networks, Inc. Method and system for preventing transmission loops in a label switching domain
DE10158583A1 (de) * 2001-11-29 2003-06-12 Philips Intellectual Property Verfahren zum Betrieb eines Barge-In-Dialogsystems
US6985861B2 (en) * 2001-12-12 2006-01-10 Hewlett-Packard Development Company, L.P. Systems and methods for combining subword recognition and whole word recognition of a spoken input
US7610556B2 (en) * 2001-12-28 2009-10-27 Microsoft Corporation Dialog manager for interactive dialog with computer user
US6778492B2 (en) 2002-01-17 2004-08-17 Cisco Technology, Inc. Load balancing for fast reroute backup tunnels
US6999931B2 (en) * 2002-02-01 2006-02-14 Intel Corporation Spoken dialog system using a best-fit language model and best-fit grammar
EP1379032B1 (en) 2002-07-01 2005-03-30 Alcatel Telecommunication network with fast-reroute features
US7047448B2 (en) * 2002-11-21 2006-05-16 Bitfone Corporation Software self-repair toolkit for electronic devices
CN1871638B (zh) * 2003-10-21 2012-01-25 皇家飞利浦电子股份有限公司 采用用户接口的智能语音识别
CN1625176B (zh) 2003-12-03 2010-04-28 华为技术有限公司 基于边缘到边缘伪线仿真协议的通信方法
US20060002423A1 (en) 2004-06-30 2006-01-05 Rembert James W Methods, systems, and computer program products for direct interworking between pseudo wires associated with different services
US7925506B2 (en) * 2004-10-05 2011-04-12 Inago Corporation Speech recognition accuracy via concept to keyword mapping
US7974223B2 (en) 2004-11-19 2011-07-05 Corrigent Systems Ltd. Virtual private LAN service over ring networks

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI771284B (zh) * 2017-01-23 2022-07-21 香港商阿里巴巴集團服務有限公司 基於資料驅動預測使用者問題的方法及裝置
TWI833072B (zh) * 2021-03-30 2024-02-21 緯創資通股份有限公司 語音辨識系統及語音辨識方法

Also Published As

Publication number Publication date
US7890329B2 (en) 2011-02-15
TW200837717A (en) 2008-09-16
US20080215320A1 (en) 2008-09-04

Similar Documents

Publication Publication Date Title
TWI321313B (en) Apparatus and method to reduce recognization errors through context relations among dialogue turns
US11983674B2 (en) Automatically determining and presenting personalized action items from an event
CN110990685B (zh) 基于声纹的语音搜索方法、设备、存储介质及装置
US10013972B2 (en) System and method for identifying speakers
CN108766418A (zh) 语音端点识别方法、装置及设备
CN104903954A (zh) 使用基于人工神经网络的亚语音单位区分的说话人验证及识别
CN107452385A (zh) 一种基于语音的数据评价方法及装置
Choi et al. Offline and online satisfaction prediction in open-domain conversational systems
CN103811009A (zh) 一种基于语音分析的智能电话客服系统
CN111833853A (zh) 语音处理方法及装置、电子设备、计算机可读存储介质
US11354754B2 (en) Generating self-support metrics based on paralinguistic information
Li et al. Investigation of language understanding impact for reinforcement learning based dialogue systems
Thomson et al. N-best error simulation for training spoken dialogue systems
CN113239164A (zh) 多轮对话流程构建方法、装置、计算机设备及存储介质
CN113868271B (zh) 智能客服的知识库更新方法、装置、电子设备及存储介质
JP2020160425A (ja) 評価システム、評価方法、及びコンピュータプログラム。
CN101266793B (zh) 通过对话回合间上下文关系来减少辨识错误的装置与方法
CN119167308A (zh) 基于多模态数据和垂类大模型的心理咨询机器人
JP2020160336A (ja) 評価システム、評価方法、及びコンピュータプログラム。
Higashinaka et al. Modeling user satisfaction transitions in dialogues from overall ratings
CN109147775A (zh) 一种基于神经网络的语音识别方法及装置
US20220210021A1 (en) System and method for reducing network traffic
CN114862420B (zh) 身份识别方法、装置、程序产品、介质及设备
Zeng et al. Towards automatic evaluation of customer-helpdesk dialogues
CN110750620A (zh) 一种群体决策能力评估方法及装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees