[go: up one dir, main page]

TWI661363B - 智慧型機器人及人機交互方法 - Google Patents

智慧型機器人及人機交互方法 Download PDF

Info

Publication number
TWI661363B
TWI661363B TW106132484A TW106132484A TWI661363B TW I661363 B TWI661363 B TW I661363B TW 106132484 A TW106132484 A TW 106132484A TW 106132484 A TW106132484 A TW 106132484A TW I661363 B TWI661363 B TW I661363B
Authority
TW
Taiwan
Prior art keywords
information
target object
voice
related event
key information
Prior art date
Application number
TW106132484A
Other languages
English (en)
Other versions
TW201911127A (zh
Inventor
張學琴
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Publication of TW201911127A publication Critical patent/TW201911127A/zh
Application granted granted Critical
Publication of TWI661363B publication Critical patent/TWI661363B/zh

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/18—Artificial neural networks; Connectionist approaches
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本發明涉及一種智慧型機器人及人機交互方法。該方法應用在該智慧型機器人中。該方法包括步驟：從獲取的語音資訊及圖像資訊中識別一目標物件；確定出與該目標物件對應的基本資訊及相關事件資訊，並將該目標物件的基本資訊與該相關事件資訊進行關聯；從該目標物件對應的相關事件資訊中提取關鍵資訊；根據所提取的關鍵資訊利用神經網路分析演算法確定該目標物件的情緒類別，根據所提取的關鍵資訊檢索預設的公共基礎知識庫，並利用深度學習演算法根據檢索結果及該目標物件的情緒類別確定出一回饋模型；及執行該回饋模型。

Description

智慧型機器人及人機交互方法
本發明涉及機器人領域，尤其涉及一種智慧型機器人及人機交互方法。
現有技術中，機器人與人之間的交互主要涉及簡單的人機對話，或在人的指令下完成特定的工作內容。然而，能夠使機器人從社會的倫理道德、法律法規、天文地理及人際關係(如，家庭關係、同事關係、朋友關係)等方面深入地理解用戶的情感和情緒的問題並與用戶進行交互的方案卻很少。
鑒於以上內容，有必要提供一種智慧型機器人及人機交互方法以深入地理解用戶的情感和情緒的問題並與用戶進行交互。
一種智慧型機器人，包括攝像單元、語音採集單元、輸出單元及處理單元，該處理單元用於：獲取來自該語音採集單元獲取的語音資訊及該攝像單元獲取的圖像資訊；從獲取的語音資訊及圖像資訊中識別一目標物件；確定出與該目標物件對應的基本資訊及相關事件資訊，並將該目標物件的基本資訊與該相關事件資訊進行關聯； 從該目標物件對應的相關事件資訊中提取關鍵資訊；根據所提取的關鍵資訊利用神經網路分析演算法確定該目標物件的情緒類別，根據所提取的關鍵資訊檢索預設的公共基礎知識庫以獲取與該關鍵資訊相關聯的檢索結果，並利用深度學習演算法根據該檢索結果及該目標物件的情緒類別確定出一回饋模型，其中，該回饋模型是指用於控制該智慧型機器人與該目標物件進行交互的指令集；及藉由該輸出單元執行該回饋模型。
優選地，該處理單元從該語音資訊中識別一聲紋特徵及從該圖像資訊中識別臉部特徵，並根據該聲紋特徵及該臉部特徵識別對應的目標物件。
優選地。該處理單元控制該語音採集單元採集該目標物件的語音資訊作為該目標物件的相關事件資訊。
優選地，該處理單元識別所獲取的語音資訊，將所識別的語音資訊轉化為文本資料，提取出該文本資料中的關鍵資訊，並將該文本資料中的關鍵資訊作為該相關事件的關鍵資訊。
優選地，該處理單元控制該攝像單元獲取該目標物件的圖片資訊作為該目標物件的相關事件資訊。
優選地，該處理單元獲取該圖片資訊中包含的面部表情資訊及肢體動作特徵資訊，對所獲取的面部表情資訊進行面部表情特徵提取後確定出面部表情特徵參數，對所獲取的肢體動作資訊進行肢體特徵提取後確定出肢體特徵參數，並將該面部表情特徵參數及肢體特徵參數作為該相關事件資訊的關鍵資訊。
優選地，該處理單元還用於設定該智慧型機器人的情感方向，該處理單元從該目標物件的相關事件資訊中提取關鍵資訊，根據所提取的關鍵資訊利用神經網路分析演算法確定該目標物件的情緒類別，根據所提取的關鍵資訊檢索預設的公共基礎知識庫，並利用深度學習演算法根據檢索結果、該目標物件的情緒類別及設定的該智慧型機器人的情感方向確定出對應的回饋模型。
優選地，該輸出單元包括語音輸出單元及表情輸出單元，該執行模組藉由控制該語音輸出單元輸出語音資訊，及藉由該表情輸出單元輸出表情動作的方式執行該回饋模型。
一種人機交互方法，應用在一智慧型機器人中，該方法包括步驟：獲取一語音採集單元獲取的語音資訊：獲取一攝像單元獲取的圖像資訊；從獲取的語音資訊及圖像資訊中識別一目標物件；確定出與該目標物件對應的基本資訊及相關事件資訊，並將該目標物件的基本資訊與該相關事件資訊進行關聯；從該目標物件對應的相關事件資訊中提取關鍵資訊；根據所提取的關鍵資訊利用神經網路分析演算法確定該目標物件的情緒類別，根據所提取的關鍵資訊檢索預設的公共基礎知識庫以獲取與該關鍵資訊相關聯的檢索結果，並利用深度學習演算法根據該檢索結果及該目標物件的情緒類別確定出一回饋模型，其中，該回饋模型是指用於控制該智慧型機器人與該目標物件進行交互的指令集；及藉由一輸出單元執行該回饋模型。
優選地，該方法在步驟“從獲取的語音資訊及圖像資訊中識別一目標物件”還包括：從該語音資訊中識別一聲紋特徵及從該圖像資訊中識別臉部特徵，並根據該聲紋特徵及該臉部特徵識別對應的目標物件。
優選地，該方法在步驟“確定出與該目標物件對應的基本資訊及相關事件資訊，並將該目標物件的基本資訊與該相關事件資訊進行關聯”中包括：控制該語音採集單元採集該目標物件的語音資訊作為該目標物件的相關事件資訊。
優選地，該方法還包括步驟： 識別所獲取的語音資訊，將所識別的語音資訊轉化為文本資料，提取出該文本資料中的關鍵資訊，並將該文本資料中的關鍵資訊作為該相關事件的關鍵資訊。
優選地，該方法在步驟“確定出與該目標物件對應的基本資訊及相關事件資訊，並將該目標物件的基本資訊與該相關事件資訊進行關聯”中包括： 控制該攝像單元獲取該目標物件的圖片資訊作為該目標物件的相關事件資訊。
優選地，該方法還包括步驟：獲取該圖片資訊中包含的面部表情資訊及肢體動作特徵資訊，對所獲取的面部表情資訊進行面部表情特徵提取後確定出面部表情特徵參數，對所獲取的肢體動作資訊進行肢體特徵提取後確定出肢體特徵參數，並將該面部表情特徵參數及肢體特徵參數作為該相關事件資訊的關鍵資訊。
優選地，該方法還包括步驟：藉由控制一語音輸出單元輸出語音資訊，及藉由一表情輸出單元輸出表情動作的方式執行該回饋模型。
本案中的智慧型機器人及人機交互方法能夠深入地理解用戶的情感和情緒的問題並與用戶進行交互，提高了用戶的體驗感。
1‧‧‧人機交互系統
2‧‧‧智慧型機器人
3‧‧‧伺服器
22‧‧‧攝像單元
23‧‧‧語音採集單元
24‧‧‧壓力感測器
25‧‧‧輸出單元
26‧‧‧味道感測器
27‧‧‧通訊單元
28‧‧‧處理單元
29‧‧‧存儲單元
251‧‧‧語音輸出單元
252‧‧‧表情輸出單元
253‧‧‧運動驅動單元
254‧‧‧顯示單元
101‧‧‧感知模組
102‧‧‧識別模組
103‧‧‧分析模組
104‧‧‧執行模組
105‧‧‧設置模組
T1‧‧‧基本資訊表
S501~S506‧‧‧步驟
圖1為本發明一實施方式中人機交互系統的應用環境圖。
圖2為本發明一實施方式中智慧型機器人的功能模組圖。
圖3為本發明一實施方式中人機交互系統的功能模組圖。
圖4為本發明一實施方式中基本資訊表的示意圖。
圖5為本發明一實施方式中人機交互方法的流程圖。
請參考圖1，所示為本發明一實施方式中人機交互系統1的應用環境圖。該人機交互系統1應用在一智慧型機器人2中。該智慧型機器人2與一伺服器3通訊連接。該人機交互系統1用於控制該智慧型機器人2與用戶進行交互。
請參考圖2，所示為本發明一實施方式中智慧型機器人2的功能模組圖。該智慧型機器人2包括攝像單元22、語音採集單元23、壓力感測器24、輸出單元25、味道感測器26、通訊單元27、處理單元28及存儲單元29。該攝像單元22攝取智慧型機器人2周圍環境的圖像並將攝取的圖像傳送給處理單元28。例如，該攝像單元22可以攝取智慧型機器人2周圍的人、動物或靜止物體的畫面，及將獲取的人、動物或靜止物體的畫面傳送給該處理單元28。本實施方式中，該攝像單元22可以為一攝像頭、3D光場相機等。該語音採集單元23用於接收智慧型機器人2周圍的語音資訊並將接收的語音資訊傳送給處理單元28。在本實施方式中，該語音採集單元23可以為麥克風、麥克風陣列等。該壓力感測器24用於檢測用戶對該智慧型機器人2的按壓力資訊及將檢測出的按壓力資訊傳送給處理單元28。
該輸出單元25包括語音輸出單元251、表情輸出單元252、運動驅動單元253及顯示單元254。該語音輸出單元251用於在該處理單元28的控制下輸出語音資訊。在本實施方式中，該語音輸出單元251可以為揚聲器。表情輸出單元252用於在該處理單元28的控制下輸出表情動作。在一實施方式中，該表情輸出單元252包括設於機器人頭部可開合的眼簾和嘴巴及設於眼簾內可轉動的眼球。該運動驅動單元253用於在該處理單元28的控制下控制該智慧型機器人2的控制下驅動該智慧型機器人2移動。在一實施方式中，該運動驅動單元253包括兩軸或四軸驅動輪。該顯示單元254用於顯示表情圖像，如高興、苦惱、憂鬱表情等。該味道感測器26用於檢測氣味資訊。該通訊單元27用於供該 智慧型機器人2與一伺服器3(如圖1所示)通訊連接。在一實施方式中，該通訊單元27可以為WIFI通訊模組、Zigbee通訊模組及Blue Tooth通訊模組。
該存儲單元29用於存儲該智慧型機器人2的程式碼及資料資料。例如，該存儲單元29可以存儲預設人臉圖像、預設語音及人機交互系統1。本實施方式中，該存儲單元29可以為該智慧型機器人2的內部存儲單元，例如該智慧型機器人2的硬碟或記憶體。在另一實施方式中，該存儲單元29也可以為該智慧型機器人2的外部存放裝置，例如該智慧型機器人2上配備的插接式硬碟，智慧存儲卡(Smart Media Card,SMC)，安全數位(Secure Digital,SD)卡，快閃記憶體卡(Flash Card)等。
本實施方式中，該處理單元28可以為一中央處理器(Central Processing Unit,CPU)，微處理器或其他資料處理晶片，該處理單元28用於執行軟體程式碼或運算資料。
請參考圖3，所示為本發明一實施方式中人機交互系統1的功能模組圖。本實施方式中，該人機交互系統1包括一個或多個模組，所述一個或者多個模組被存儲於該存儲單元29中，並被該處理單元28所執行。人機交互系統1包括感知模組101、識別模組102、分析模組103、執行模組104及設置模組105。在其他實施方式中，該人機交互系統1為內嵌在該智慧型機器人2中的程式段或代碼。
該感知模組101獲取來自該語音採集單元23獲取的語音資訊及該攝像單元22獲取的圖像資訊。
該識別模組102用於從獲取的語音資訊及圖像資訊中識別一目標物件。在一實施方式中，該識別模組102對獲取的語音資訊進行語音信號預處理，例如進行去噪處理，使得語音辨識時更加準確。在一實施方式中，該識別模組102從語音資訊中識別一聲紋特徵及從圖像資訊中識別臉部特徵，並根據該聲紋特徵及該臉部特徵識別該目標物件。該目標物件包括人及動物。例如，該存儲單元29中存儲一第一對應關係表(圖中未示)，該第一對應關係表中定 義了聲紋特徵、臉部特徵及目標物件的對應關係，該識別模組102根據識別出的聲紋特徵、臉部特徵及該第一對應關係表確定該目標物件。在另一實施方式中，該識別模組102也可以僅從獲取的語音資訊中識別該目標物件。例如，該存儲單元29中存儲一第二對應關係表(圖中未示)，該第二對應關係表中定義了聲紋特徵及目標物件的對應關係。該識別模組102根據識別出的聲紋特徵及該第二對應關係表確定該目標物件。在其他實施方式中，該識別模組102也可以僅從獲取的圖像資訊中識別該目標物件。例如，該存儲單元29中存儲一第三對應關係表(圖中未示)。該第三對應關係表中定義該臉部特徵與該目標物件的對應關係，該識別模組102根據識別出的臉部特徵及該第三對應關係表確定該目標物件。在一實施方式中，該識別模組102將獲取的圖像與存儲在存儲單元29中的圖片集進行比對確定出獲取的圖像中的臉部特徵，該識別模組102根據識別出的臉部特徵及該第三對應關係表確定該目標物件。
在一實施方式中，該目標物件還包括靜止物體，例如桌子，椅子，房子等物體。該識別模組102還用於將藉由從該攝像單元22中獲取的圖片與一存儲在存儲單元29中的圖片集進行比對，並根據比對結果確定出該圖片中包含的靜止物體。其中，該圖片集中的每一幅圖片對應包含一靜止物體。例如，該識別模組102將獲取的圖片與存儲的圖片集進行比對後確定該圖片中的物體與存儲的圖片集中一幅圖片所包含的房子一致時，該識別模組102識別出該獲取的圖片中的目標物件為房子。
該識別模組102還用於確定出與該目標物件相關的資訊，例如，基本資訊及相關事件資訊，並將該目標物件的基本資訊與該相關事件資訊進行關聯。在一實施方式中，所述相關的資訊包括，但不限於，該目標物件的基本資訊、及與該目標物件相關的事件資訊。在一實施方式中，當目標物件為人時，該目標物件的基本資訊包括，但不限於，用戶的姓名、年齡、身高、體重、體型(例如，大體型、中體型、小體型)。當目標物件為物體時，該目標物件的基本資訊包括，但不限於，目標物件的名稱、位置、功能屬性等。例如，該存 儲單元29存儲一基本資訊表T1(參考圖4)，該基本資訊表T1定義了目標物件與基本資訊的對應關係。該識別模組102根據該目標物件及該基本資訊表T1確定出與該目標物件對應的基本資訊。
在一實施方式中，與該目標物件相關的事件資訊可以是指發生在某個時間或某個地點的與該目標物件相關的事件。在一實施方式中，當識別出目標物件時，該識別模組102控制該語音採集單元23採集該目標物件的語音資訊作為該目標物件的相關事件資訊。在另一實施方式中，當識別出目標物件時，該識別模組102控制該攝像單元22獲取該目標物件的圖片資訊作為相關事件資訊。在其他實施方式中，當識別出目標物件時，該識別模組102同時將藉由語音採集單元23採集的語音資訊及藉由攝像單元22攝取的圖片資訊作為該目標物件的相關事件資訊。
該分析模組103用於從該目標物件對應的相關事件資訊中提取關鍵資訊。例如，當該目標物件的相關事件資訊為語音資訊時，該分析模組103識別所獲取的語音資訊，將所識別的語音資訊轉化為文本資料，提取出該文本資料中的關鍵資訊，及將該文本資料中的關鍵資訊作為該相關事件的關鍵資訊。本實施方式中，該文本資料中的關鍵資訊包括關鍵字、關鍵字、或關鍵語句。當該當目標物件的相關事件資訊為圖片資訊時，該分析模組103獲取該圖片資訊中包含的面部表情資訊及肢體動作特徵資訊，對所獲取的面部表情資訊進行面部表情特徵提取後確定出面部表情特徵參數，對所獲取的肢體動作資訊進行肢體特徵提取後確定出肢體特徵參數，並將該面部表情特徵參數及肢體特徵參數作為該相關事件資訊的關鍵資訊。
該分析模組103根據所提取的關鍵資訊利用神經網路分析演算法確定該目標物件的情緒類別，根據所提取的關鍵資訊檢索預設的公共基礎知識庫以獲取與該關鍵資訊相關聯的檢索結果，並利用深度學習演算法根據該檢索結果及該目標物件的情緒類別確定出一回饋模型。本實施方式中，該回饋模型是指用於控制該智慧型機器人2與該目標物件進行交互的指令集。本實施方式 中，該公共基礎知識庫可以包括，但不限於人文倫理知識庫、法律法規知識庫、道德情操知識庫、宗教知識庫、天文地理知識庫。在一實施方式中，該公共基礎知識庫存儲在該智慧型機器人2的存儲單元29中。該智慧型機器人2可以直接訪問該存儲單元29中的公共基礎知識庫。在其他實施方式中，該公共基礎知識庫存儲在伺服器3中。該智慧型機器人2藉由通訊單元27訪問該伺服器3中的公共基礎知識庫。
本實施方式中，該深度學習演算法包括，但不限於，“神經詞袋模型”、“遞迴神經網路”、“迴圈神經網路”、“卷積神經網路”。本實施方式中，該目標物件的情緒類別包括高興、悲傷、憤怒、平和、暴躁等情緒。例如，當用戶微笑著對智慧型機器人2說“這些花真漂亮啊！”時，該感知模組101藉由該語音採集單元23獲取使用者的語音資訊，及藉由該攝像單元22獲取包含使用者的圖像資訊。該識別模組102根據使用者的語音資訊識別出使用者的聲紋特徵及根據使用者的圖像資訊識別出使用者的臉部特徵。該識別模組102根據該識別出的聲紋特徵及臉部特徵識別出目標物件為使用者。該識別模組102確定出使用者的基本資訊，及將使用者發出的語音資訊“這些花真漂亮啊！”及使用者微笑的圖像資訊作為使用者的相關事件資訊，並將使用者的基本資訊與使用者的相關事件資訊進行關聯。該分析模組103從使用者發出的語音資訊“這些花真漂亮啊！”提取出關鍵資訊為“花”、“漂亮”，及從使用者微笑的圖像資訊中提取出關鍵資訊為“微笑表情”。該分析模組103根據所提取的該些關鍵資訊“花、漂亮、微笑表情”利用神經網路分析演算法確定該目標物件的情緒類別為高興。該分析模組103根據所提取的上述關鍵資訊檢索預設的公共基礎知識庫，並利用深度學習演算法根據檢索結果及高興的情緒類別確定出對應的回饋模型。
在一實施方式中，該設置模組105用於設定該智慧型機器人2的情感方向。在一實施方式中，該設定的情感方向包括勵志型、安慰型、諷刺型、幽默型等。該分析模組103從該目標物件的相關事件資訊中提取關鍵資訊，根據所提取的關鍵資訊利用神經網路分析演算法確定該目標物件的情緒類別，根 據所提取的關鍵資訊檢索預設的公共基礎知識庫，並利用深度學習演算法根據檢索結果、該目標物件的情緒類別及該設定的智慧型機器人2的情感方向確定出對應的回饋模型。本實施方式中，該情緒類別包括，但不限於，高興、憤怒、悲傷、愉快等情緒。
在一實施方式中，該感知模組101還用於藉由該壓力感測器24感測用戶輸入的按壓力，及藉由該味道感測器26檢測該智慧型機器人2周圍環境的氣味資訊。該分析模組103還用於根據所提取的關鍵資訊檢索預設的公共基礎知識庫以獲取與該關鍵資訊相關聯的檢索結果，並利用深度學習演算法根據該檢索結果、該目標物件的情緒類別、該感測的按壓力及該感測的氣味資訊確定出對應的回饋模型。
該執行模組104用於藉由該輸出單元25執行該回饋模型。在一實施方式中，該執行模組104藉由該輸出單元25輸出語音資訊及輸出表情動作的方式來執行該回饋模型以實現該智慧型機器人2與目標物件之間的交互。具體的，該執行模組104藉由語音輸出單元251輸出語音資訊、藉由表情輸出單元252輸出表情動作的方式執行該回饋模型。例如，當用戶微笑著對智慧型機器人2說“這些花真漂亮啊！”時，該識別模組102識別出該目標物件為使用者。該分析模組103從使用者發出的語音資訊“這些花真漂亮啊！”提取出關鍵資訊為“花”、“漂亮”，及從使用者微笑的圖像資訊中提取出關鍵資訊為“微笑表情”。該分析模組103根據所提取的該些關鍵資訊“花、漂亮、微笑表情”利用神經網路分析演算法確定該目標物件的情緒類別為高興。該分析模組103根據所提取的關鍵資訊“花、漂亮、微笑表情”檢索預設的公共基礎知識庫，並利用深度學習演算法根據檢索結果及高興的情緒類別確定出對應的回饋模型。該回饋模型為控制該智慧型機器人2輸出語音資訊“這些花真的很漂亮，我也很喜歡！”及輸出笑容的表情動作的指令。該執行模組104藉由語音輸出單元251輸出“這些花真的很漂亮，我也很喜歡！”的語音資訊及藉由表情輸出單元252控制設於智慧型機器 人2頭部中的眼簾和嘴巴開合及設於眼簾內的眼球轉動輸出笑容表情動作，從而實現該智慧型機器人2與用戶進行交互。
在其他實施方式中，該執行模組104還藉由運動驅動單元253控制該智慧型機器人2以預設移動的方式及控制該顯示單元254顯示一預設表情圖像的方式來執行該回饋模型以實現該智慧型機器人2與目標物件之間的交互。
請參考圖5，所示為本發明一實施方式中人機交互方法的流程圖。該方法應用在智慧型機器人2中。根據不同需求，該流程圖中步驟的順序可以改變，某些步驟可以省略或合併。該方法包括如下步驟。
S501：獲取來自語音採集單元23獲取的語音資訊及攝像單元22獲取的圖像資訊。
S502：從獲取的語音資訊及圖像資訊中識別一目標物件。
在一實施方式中，該智慧型機器人2對獲取的語音資訊進行語音信號預處理，例如進行去噪處理，使得語音辨識時更加準確。在一實施方式中，該智慧型機器人2從語音資訊中識別一聲紋特徵及從圖像資訊中識別臉部特徵，並根據該聲紋特徵及該臉部特徵識別該目標物件。該目標物件包括人及動物。在一實施方式中，該目標物件還包括靜止物體，例如桌子，椅子，房子等物體。該智慧型機器人2還用於將藉由從該攝像單元22中獲取的圖片與一存儲在存儲單元29中的圖片集進行比對，並根據比對結果確定出該圖片中包含的靜止物體。
S503：確定出與該目標物件對應的基本資訊及相關事件資訊，並將該目標物件的基本資訊與該相關事件資訊進行關聯。
在一實施方式中，所述相關資訊包括，但不限於，該目標物件的基本資訊、及與該目標物件相關的事件資訊。在一實施方式中，當目標物件為人時，該目標物件的基本資訊包括，但不限於，用戶的姓名、年齡、身高、體重、體型(例如，大體型、中體型、小體型)。當目標物件為物體時，該目標物件的基本資訊包括，但不限於，目標物件的名稱、位置、功能屬性等。例如， 該存儲單元29存儲一基本資訊表T1(參考圖4)，該基本資訊表T1定義了目標物件與基本資訊的對應關係。該智慧型機器人2根據該目標物件及該基本資訊表T1確定出與該目標物件對應的基本資訊。
在一實施方式中，與該目標物件相關的事件資訊可以是指發生在某個時間或某個地點的與該目標物件相關的事件。該智慧型機器人2可以控制該語音採集單元23採集該目標物件的語音資訊作為該目標物件的相關事件資訊。在另一實施方式中，該智慧型機器人2可以控制該攝像單元22獲取該目標物件的圖片資訊作為相關事件資訊。在其他實施方式中，該智慧型機器人2同時將藉由語音採集單元23採集的語音資訊及藉由攝像單元22攝取的圖片資訊作為該目標物件的相關事件資訊。
S504：從該目標物件對應的相關事件資訊中提取關鍵資訊。
例如，當該目標物件的相關事件資訊為語音資訊時，該智慧型機器人2識別所獲取的語音資訊，將所識別的語音資訊轉化為文本資料，提取出該文本資料中的關鍵資訊，及將該文本資料中的關鍵資訊作為該相關事件的關鍵資訊。當該當目標物件的相關事件資訊為圖片資訊時，該智慧型機器人2獲取該圖片資訊中包含的面部表情資訊及肢體動作特徵資訊，對所獲取的面部表情資訊進行面部表情特徵提取後確定出面部表情特徵參數，對所獲取的肢體動作資訊進行肢體特徵提取後確定出肢體特徵參數，並將該面部表情特徵參數及肢體特徵參數作為該相關事件資訊的關鍵資訊。
S505：根據所提取的關鍵資訊利用神經網路分析演算法確定該目標物件的情緒類別，根據所提取的關鍵資訊檢索預設的公共基礎知識庫以獲取與該關鍵資訊相關聯的檢索結果，並利用深度學習演算法根據該檢索結果及該目標物件的情緒類別確定出一回饋模型。
本實施方式中，該回饋模型是指用於控制該智慧型機器人2與該目標物件進行交互的指令集。本實施方式中，該公共基礎知識庫可以包括，但不限於人文倫理知識庫、法律法規知識庫、道德情操知識庫、宗教至少庫、天 文地理知識庫。在一實施方式中，該公共基礎知識庫存儲在該智慧型機器人2的存儲單元29中。該智慧型機器人2可以直接訪問該存儲單元29中的公共基礎知識庫。在其他實施方式中，該公共基礎知識庫存儲在伺服器3中。該智慧型機器人2藉由通訊單元27訪問該伺服器3中的公共基礎知識庫。
本實施方式中，該深度學習演算法包括，但不限於，“神經詞袋模型”、“遞迴神經網路”、“迴圈神經網路”、“卷積神經網路”。本實施方式中，該目標物件的情緒類別包括高興、悲傷、憤怒、平和、暴躁等情緒。例如，當用戶微笑著對智慧型機器人2說“這些花真漂亮啊！”時，該對智慧型機器人2藉由該語音採集單元23獲取使用者的語音資訊，及藉由該攝像單元22獲取包含使用者的圖像資訊。該對智慧型機器人2根據使用者的語音資訊識別出使用者的聲紋特徵及根據使用者的圖像資訊識別出使用者的臉部特徵。該對智慧型機器人2根據該識別出的聲紋特徵及臉部特徵識別出目標物件為使用者。該對智慧型機器人2確定出使用者的基本資訊，及將使用者發出的語音資訊“這些花真漂亮啊！”及使用者微笑的圖像資訊作為使用者的相關事件資訊，並將使用者的基本資訊與使用者的相關事件資訊進行關聯。該對智慧型機器人2從使用者發出的語音資訊“這些花真漂亮啊！”提取出關鍵資訊為“花”、“漂亮”，及從使用者微笑的圖像資訊中提取出關鍵資訊為“微笑表情”。該對智慧型機器人2根據所提取的該些關鍵資訊“花、漂亮、微笑表情”利用神經網路分析演算法確定該目標物件的情緒類別為高興。該對智慧型機器人2根據所提取的上述關鍵資訊檢索預設的公共基礎知識庫，並利用深度學習演算法根據檢索結果及高興的情緒類別確定出對應的回饋模型。
S506：藉由輸出單元25執行該回饋模型。
在一實施方式中，該智慧型機器人2藉由該輸出單元25輸出語音資訊及輸出表情動作的方式來執行該回饋模型以實現該智慧型機器人2與目標物件之間的交互。具體的，該智慧型機器人2藉由語音輸出單元251輸出語音資訊、藉由表情輸出單元252輸出表情動作的方式執行該回饋模型。例如，當用 戶微笑著對智慧型機器人2說“這些花真漂亮啊！”時，該智慧型機器人2識別出該目標物件為使用者。該智慧型機器人2從使用者發出的語音資訊“這些花真漂亮啊！”提取出關鍵資訊為“花”、“漂亮”，及從使用者微笑的圖像資訊中提取出關鍵資訊為“微笑表情”。該智慧型機器人2根據所提取的該些關鍵資訊“花、漂亮、微笑表情”利用神經網路分析演算法確定該目標物件的情緒類別為高興。該智慧型機器人2根據所提取的關鍵資訊“花、漂亮、微笑表情”檢索預設的公共基礎知識庫，並利用深度學習演算法根據檢索結果及高興的情緒類別確定出對應的回饋模型。該回饋模型為控制該智慧型機器人2輸出語音資訊“這些花真的很漂亮，我也很喜歡！”及輸出笑容的表情動作的指令。該智慧型機器人2藉由語音輸出單元251輸出“這些花真的很漂亮，我也很喜歡！”的語音資訊及藉由表情輸出單元252控制設於智慧型機器人2頭部中的眼簾和嘴巴開合及設於眼簾內的眼球轉動輸出笑容表情動作，從而實現該智慧型機器人2與用戶進行交互。
在其他實施方式中，該智慧型機器人2還藉由運動驅動單元253控制該智慧型機器人2以預設移動的方式及控制該顯示單元254顯示一預設表情圖像的方式來執行該回饋模型以實現該智慧型機器人2與目標物件之間的交互。
在一實施方式中，該方法還包括步驟：設定該智慧型機器人的情感方向；從該目標物件的相關事件資訊中提取關鍵資訊；根據所提取的關鍵資訊利用神經網路分析演算法確定該目標物件的情緒類別；根據所提取的關鍵資訊檢索預設的公共基礎知識庫；及並利用深度學習演算法根據檢索結果、該目標物件的情緒類別及該設定的智慧型機器人2的情感方向確定出對應的回饋模型。在一實施方式中，該設定的情感方向包括勵志型、安慰型、諷刺型、幽默型等。
在一實施方式中，該方法還包括步驟： 藉由壓力感測器24感測用戶輸入的按壓力；藉由該味道感測器26檢測智慧型機器人2周圍環境的氣味資訊；及根據所提取的關鍵資訊檢索預設的公共基礎知識庫，並利用深度學習演算法根據檢索結果、該目標物件的情緒類別、該感測的按壓力及該感測的氣味資訊確定出對應的回饋模型。
綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述者僅為本發明之較佳實施方式，舉凡熟悉本案技藝之人士，於爰依本發明精神所作之等效修飾或變化，皆應涵蓋於以下之申請專利範圍內。

Claims (11)

  1. 一種智慧型機器人，包括攝像單元、語音採集單元、輸出單元及處理單元，其改良在於，該處理單元用於：獲取來自該語音採集單元獲取的語音資訊及該攝像單元獲取的圖像資訊；從獲取的語音資訊及圖像資訊中識別一目標物件；確定出與該目標物件對應的基本資訊及相關事件資訊，並將該目標物件的基本資訊與該相關事件資訊進行關聯，其中，將該目標物件的語音資訊及圖片資訊作為該目標物件的相關事件資訊；從該目標物件對應的語音資訊及圖片資訊中提取關鍵資訊；根據從所述語音資訊及所述圖片資訊中提取出的關鍵資訊利用神經網路分析演算法確定該目標物件的情緒類別，根據所提取的關鍵資訊檢索預設的公共基礎知識庫以獲取與該關鍵資訊相關聯的檢索結果，並利用深度學習演算法根據該檢索結果、該目標物件的情緒類別及該智慧型機器人預先設定的情感方向確定出一回饋模型，其中，該回饋模型是指用於控制該智慧型機器人與該目標物件進行交互的指令集；及藉由該輸出單元執行該回饋模型。
  2. 如申請專利範圍第1項所述的智慧型機器人，其中，該處理單元從該語音資訊中識別一聲紋特徵及從該圖像資訊中識別臉部特徵，並根據該聲紋特徵及該臉部特徵識別對應的目標物件。
  3. 如申請專利範圍第1項所述的智慧型機器人，其中，該處理單元識別所獲取的語音資訊，將所識別的語音資訊轉化為文本資料，提取出該文本資料中的關鍵資訊，並將該文本資料中的關鍵資訊作為該相關事件的關鍵資訊。
  4. 如申請專利範圍第1項所述的智慧型機器人，其中，該處理單元獲取該圖片資訊中包含的面部表情資訊及肢體動作特徵資訊，對所獲取的面部表情資訊進行面部表情特徵提取後確定出面部表情特徵參數，對所獲取的肢體動作資訊進行肢體特徵提取後確定出肢體特徵參數，並將該面部表情特徵參數及肢體特徵參數作為該相關事件資訊的關鍵資訊。
  5. 如申請專利範圍第1項所述的智慧型機器人，其中，該處理單元還用於設定該智慧型機器人的情感方向為勵志型、安慰型、諷刺型或幽默型。
  6. 如申請專利範圍第1項所述的智慧型機器人，其中，該輸出單元包括語音輸出單元及表情輸出單元，該執行模組藉由控制該語音輸出單元輸出語音資訊，及藉由該表情輸出單元輸出表情動作的方式執行該回饋模型。
  7. 一種人機交互方法，應用在一智慧型機器人中，其改良在於，該方法包括步驟：獲取一語音採集單元獲取的語音資訊：獲取一攝像單元獲取的圖像資訊；從獲取的語音資訊及圖像資訊中識別一目標物件；確定出與該目標物件對應的基本資訊及相關事件資訊，並將該目標物件的基本資訊與該相關事件資訊進行關聯，其中，將該目標物件的語音資訊及圖片資訊作為該目標物件的相關事件資訊；從該目標物件對應的語音資訊及圖片資訊中提取關鍵資訊；根據從所述語音資訊及所述圖片資訊中提取出的關鍵資訊利用神經網路分析演算法確定該目標物件的情緒類別，根據所提取的關鍵資訊檢索預設的公共基礎知識庫以獲取與該關鍵資訊相關聯的檢索結果，並利用深度學習演算法根據該檢索結果、該目標物件的情緒類別確定出一回饋模型及該智慧型機器人預先設定的情感方向，其中，該回饋模型是指用於控制該智慧型機器人與該目標物件進行交互的指令集；及藉由一輸出單元執行該回饋模型。
  8. 如申請專利範圍第7項所述的人機交互方法，其中，該方法在步驟“從獲取的語音資訊及圖像資訊中識別一目標物件”還包括：從該語音資訊中識別一聲紋特徵及從該圖像資訊中識別臉部特徵，並根據該聲紋特徵及該臉部特徵識別對應的目標物件。
  9. 如申請專利範圍第7項所述的人機交互方法，其中，該方法還包括步驟：識別所獲取的語音資訊，將所識別的語音資訊轉化為文本資料，提取出該文本資料中的關鍵資訊，並將該文本資料中的關鍵資訊作為該相關事件的關鍵資訊。
  10. 如申請專利範圍第7項所述的人機交互方法，其中，該方法還包括步驟：獲取該圖片資訊中包含的面部表情資訊及肢體動作特徵資訊，對所獲取的面部表情資訊進行面部表情特徵提取後確定出面部表情特徵參數，對所獲取的肢體動作資訊進行肢體特徵提取後確定出肢體特徵參數，並將該面部表情特徵參數及肢體特徵參數作為該相關事件資訊的關鍵資訊。
  11. 如申請專利範圍第7項所述的人機交互方法，其中，該方法還包括步驟：藉由控制一語音輸出單元輸出語音資訊，及藉由一表情輸出單元輸出表情動作的方式執行該回饋模型。
TW106132484A 2017-08-05 2017-09-21 智慧型機器人及人機交互方法 TWI661363B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201710663432.4 2017-08-05
CN201710663432.4A CN109389005A (zh) 2017-08-05 2017-08-05 智能机器人及人机交互方法

Publications (2)

Publication Number Publication Date
TW201911127A TW201911127A (zh) 2019-03-16
TWI661363B true TWI661363B (zh) 2019-06-01

Family

ID=65230729

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106132484A TWI661363B (zh) 2017-08-05 2017-09-21 智慧型機器人及人機交互方法

Country Status (3)

Country Link
US (1) US10482886B2 (zh)
CN (1) CN109389005A (zh)
TW (1) TWI661363B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110998725B (zh) * 2018-04-19 2024-04-12 微软技术许可有限责任公司 在对话中生成响应
US11244684B2 (en) * 2018-09-11 2022-02-08 International Business Machines Corporation Communication agent to conduct a communication session with a user and generate organizational analytics
US11848014B2 (en) * 2019-07-11 2023-12-19 Sanctuary Cognitive Systems Corporation Human-machine interfaces and methods which determine intended responses by humans
CN110459217B (zh) * 2019-08-21 2022-03-08 中国第一汽车股份有限公司 一种车载问答方法、系统、车辆及存储介质
CN110989900B (zh) 2019-11-28 2021-11-05 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN111300443B (zh) * 2020-02-29 2020-11-13 重庆百事得大牛机器人有限公司 基于法律咨询机器人的情绪安抚方法
CN111368719A (zh) * 2020-03-03 2020-07-03 东莞理工学院 瞳孔特征的真实情感聊天机器人系统及该系统的判断方法
CN111390919A (zh) * 2020-03-09 2020-07-10 合肥贤坤信息科技有限公司 一种陪伴机器人智能图像识别行为分析系统
CN111177326B (zh) * 2020-04-10 2020-08-04 深圳壹账通智能科技有限公司 基于精标注文本的关键信息抽取方法、装置及存储介质
US20230186681A1 (en) * 2020-04-22 2023-06-15 Faceonized Sp. Z.O.O Computing technologies for predicting personality traits
CN111975772B (zh) * 2020-07-31 2021-11-16 深圳追一科技有限公司 机器人控制方法、装置、电子设备及存储介质
CN113031813A (zh) * 2021-03-18 2021-06-25 Oppo广东移动通信有限公司 指令信息获取方法及装置、可读存储介质、电子设备
CN113569712B (zh) * 2021-07-23 2023-11-14 北京百度网讯科技有限公司 信息交互方法、装置、设备以及存储介质
CN114842842B (zh) * 2022-03-25 2024-12-20 青岛海尔科技有限公司 智能设备的语音交互方法和装置、存储介质
CN119304908B (zh) * 2024-12-17 2025-02-25 吉林大学 基于智能陪伴机器人的人脸表情识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI365416B (en) * 2007-02-16 2012-06-01 Ind Tech Res Inst Method of emotion recognition and learning new identification information
TWI447660B (zh) * 2009-12-16 2014-08-01 Univ Nat Chiao Tung Robot autonomous emotion expression device and the method of expressing the robot's own emotion
TWI456515B (zh) * 2012-07-13 2014-10-11 Univ Nat Chiao Tung 融合人臉辨識及語音辨識之身份辨識系統、其方法及其服務型機器人
CN104484656A (zh) * 2014-12-26 2015-04-01 安徽寰智信息科技股份有限公司 基于深度学习的唇语识别唇形模型库构建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10846589B2 (en) * 2015-03-12 2020-11-24 William Marsh Rice University Automated compilation of probabilistic task description into executable neural network specification
US10289076B2 (en) * 2016-11-15 2019-05-14 Roborus Co., Ltd. Concierge robot system, concierge service method, and concierge robot
US11580350B2 (en) * 2016-12-21 2023-02-14 Microsoft Technology Licensing, Llc Systems and methods for an emotionally intelligent chat bot
US10037767B1 (en) * 2017-02-01 2018-07-31 Wipro Limited Integrated system and a method of identifying and learning emotions in conversation utterances

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI365416B (en) * 2007-02-16 2012-06-01 Ind Tech Res Inst Method of emotion recognition and learning new identification information
TWI447660B (zh) * 2009-12-16 2014-08-01 Univ Nat Chiao Tung Robot autonomous emotion expression device and the method of expressing the robot's own emotion
TWI456515B (zh) * 2012-07-13 2014-10-11 Univ Nat Chiao Tung 融合人臉辨識及語音辨識之身份辨識系統、其方法及其服務型機器人
CN104484656A (zh) * 2014-12-26 2015-04-01 安徽寰智信息科技股份有限公司 基于深度学习的唇语识别唇形模型库构建方法

Also Published As

Publication number Publication date
CN109389005A (zh) 2019-02-26
US10482886B2 (en) 2019-11-19
TW201911127A (zh) 2019-03-16
US20190043511A1 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
TWI661363B (zh) 智慧型機器人及人機交互方法
US20210174072A1 (en) Microexpression-based image recognition method and apparatus, and related device
WO2019174439A1 (zh) 图像识别方法、装置、终端和存储介质
EP3866160B1 (en) Electronic device and control method thereof
TWI411935B (zh) 利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法
WO2019085585A1 (zh) 设备控制处理方法及装置
TWI665658B (zh) 智慧型機器人
US20190188903A1 (en) Method and apparatus for providing virtual companion to a user
CN109558788B (zh) 静默语音输入辨识方法、计算装置和计算机可读介质
TW201937344A (zh) 智慧型機器人及人機交互方法
KR102351008B1 (ko) 감정 인식 장치 및 감정 인식 방법
CN104091153A (zh) 应用于聊天机器人的情绪判断方法
JP2005202653A (ja) 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム
CN107992199A (zh) 一种用于电子设备的情绪识别方法、系统及电子设备
CN109521927A (zh) 机器人互动方法和设备
KR20160072621A (ko) 학습과 추론이 가능한 로봇 서비스 시스템
CN109986553B (zh) 一种主动交互的机器人、系统、方法及存储装置
KR102396794B1 (ko) 전자 장치 및 이의 제어 방법
KR20190092751A (ko) 전자 장치 및 이의 제어 방법
KR101950721B1 (ko) 다중 인공지능 안전스피커
CN113822187A (zh) 手语翻译、客服、通信方法、设备和可读介质
JP6798258B2 (ja) 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム
CN110910898A (zh) 一种语音信息处理的方法和装置
WO2020175969A1 (ko) 감정 인식 장치 및 감정 인식 방법
JP2017182261A (ja) 情報処理装置、情報処理方法、およびプログラム