[go: up one dir, main page]

JP2018167339A - 発話制御プログラム、情報処理装置及び発話制御方法 - Google Patents

発話制御プログラム、情報処理装置及び発話制御方法 Download PDF

Info

Publication number
JP2018167339A
JP2018167339A JP2017065157A JP2017065157A JP2018167339A JP 2018167339 A JP2018167339 A JP 2018167339A JP 2017065157 A JP2017065157 A JP 2017065157A JP 2017065157 A JP2017065157 A JP 2017065157A JP 2018167339 A JP2018167339 A JP 2018167339A
Authority
JP
Japan
Prior art keywords
information
topic
utterance
acquired
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017065157A
Other languages
English (en)
Inventor
研一郎 前田
Kenichiro Maeda
研一郎 前田
正気 三浦
Masaki Miura
正気 三浦
日向 誠
Makoto Hiuga
誠 日向
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017065157A priority Critical patent/JP2018167339A/ja
Priority to US15/935,377 priority patent/US10902849B2/en
Publication of JP2018167339A publication Critical patent/JP2018167339A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)

Abstract

【課題】人物の動作、状態または状況に応じた話題をロボットに発話させることを可能とする発話制御プログラム、情報処理装置及び発話制御方法を提供する。【解決手段】ロボットの発話を制御する処理をコンピュータに実行させる発話制御プログラムにおいて、人物に関する第1及び第2の情報を取得し、取得した前記第1の情報を、話題の生成を行う話題生成部に送信し、第1の情報に基づいて話題生成部によって生成された複数の話題を取得すると、取得した複数の話題から、取得した第2の情報に応じた話題を特定し、特定した話題に応じた発話をロボットに実行させる指示を出力する、処理をコンピュータに実行させる。【選択図】図6

Description

本発明は、発話制御プログラム、情報処理装置及び発話制御方法に関する。
近年、利用者(以下、単に人物とも呼ぶ)に対して発話を行うことにより、利用者とコミュニケーションを図ることができるロボットの研究が行われている。
具体的に、このようなロボットは、利用者による発話の内容や各種情報(例えば、時間帯、天気、利用者の表情及び利用者の趣味趣向)に基づいて発話する内容を決定する。そして、ロボットは、決定した内容に基づく発話を利用者に対して行う(例えば、特許文献1乃至3参照)。
特開2008−158697号公報 特開2007−219149号公報 特開2014−006663号公報
上記のようなロボットでは、例えば、発話する内容を決定するための情報を十分に取得することができない場合、利用者の現在の状況に適していない内容の発話を行う可能性がある。そのため、取得することができた情報が十分でない場合であっても、利用者の現在の動作、状態または状況に応じた内容の発話を行うことができるロボットの開発が求められている。
そこで、一つの側面では、人物の動作、状態または状況に応じた話題をロボットに発話させることを可能とする発話制御プログラム、情報処理装置及び発話制御方法を提供することを目的とする。
実施の形態の一つの態様によれば、ロボットの発話を制御する処理をコンピュータに実行させる発話制御プログラムにおいて、人物の発話に関する第1の情報と、前記人物の状況に関する第2の情報とを取得し、取得した前記第1の情報を、話題の生成を行う話題生成部に送信し、前記第1の情報に基づいて前記話題生成部によって生成された複数の話題を取得すると、取得した前記複数の話題から、取得した前記第2の情報に応じた話題を特定し、特定した前記話題に応じた発話を前記ロボットに実行させる指示を出力する、処理を前記コンピュータに実行させる。
一つの側面によれば、人物の動作、状態または状況に応じた話題をロボットに発話させることを可能とする。
図1は、情報処理システム10の全体構成を示す図である。 図2は、情報処理装置1のハードウエア構成を説明する図である。 図3は、話題生成装置2のハードウエア構成を説明する図である。 図4は、情報処理装置1の機能ブロック図である。 図5は、話題生成装置2の機能ブロック図である。 図6は、第1の実施の形態における発話制御処理の概略を説明するフローチャートである。 図7は、第1の実施の形態における発話制御処理の概略を説明する図である。 図8は、第1の実施の形態における発話制御処理の概略を説明する図である。 図9は、第1の実施の形態における発話制御処理の詳細を説明するフローチャートである。 図10は、第1の実施の形態における発話制御処理の詳細を説明するフローチャートである。 図11は、第1の実施の形態における発話制御処理の詳細を説明するフローチャートである。 図12は、第1の実施の形態における発話制御処理の詳細を説明するフローチャートである。 図13は、第1の実施の形態における発話制御処理の詳細を説明するフローチャートである。 図14は、第1の実施の形態における発話制御処理の詳細を説明するフローチャートである。 図15は、第1取得情報131の具体例を説明する図である。 図16は、第2取得情報132の具体例を説明する図である。 図17は、嗜好情報231の具体例を説明する図である。 図18は、話題情報133の具体例を説明する図である。 図19は、S26の処理が行われた後の話題情報133の具体例を説明する図である。 図20は、現在ベクター情報134及び話題ベクター情報135の具体例を説明する図である。 図21は、S53の処理の具体例を説明する図である。 図22は、蓄積情報136の具体例を説明する図である。 図23は、蓄積情報136の具体例を説明する図である。 図24は、第2の実施の形態における発話制御処理を説明するフローチャートである。 図25は、第2の実施の形態における発話制御処理を説明するフローチャートである。 図26は、第2の実施の形態における発話制御処理を説明するフローチャートである。 図27は、第2の実施の形態における話題情報133の具体例を説明する図である。 図28は、S66の処理で無言を示す情報を追加した話題情報133の具体例を説明する図である。
[情報処理システムの構成]
図1は、情報処理システム10の全体構成を示す図である。図1に示す情報処理システム10は、情報処理装置1(以下、発話制御装置1とも呼ぶ)と、話題生成装置2と、記憶装置3と、ロボット4が含まれている。
ロボット4は、例えば、図示しない利用者と対話を行うロボットである。具体的に、ロボット4は、例えば、カメラ等の撮像装置4aと、マイク等の集音装置4bと、スピーカー等の出力装置4cとを有する。なお、ロボット4は、撮像装置4a、集音装置4b及び出力装置4c以外に、例えば、温度センサ等の各種センサを有するものであってよい。
情報処理装置1及び話題生成装置2は、例えば、それぞれ複数の物理マシンから構成され、CPU(Central Computing Unit)と、メモリ(DRAM:Dynamic Random Access Memory)と、ハードディスク(HDD:Hard Disk Drive)等とを有する。
情報処理装置1は、例えば、撮像装置4aを介して利用者及び利用者の周辺に関する各種情報を定期的に取得し、取得した情報を記憶装置3に記憶する。そして、情報処理装置1は、例えば、利用者が発話した場合、集音装置4bを介して発話の内容を取得し、取得した発話の内容を示す情報と記憶装置3に記憶された情報とを話題生成装置2に送信する。
話題生成装置2は、情報処理装置1から受信した情報に基づいて、受信した情報に適した話題を生成する。具体的に、話題生成装置2は、例えば、情報処理装置1から受信した情報に含まれる利用者の嗜好情報に対応する情報をインターネット経由で外部から取得し、情報処理装置1から受信した情報と、外部から取得した情報とに基づいて話題の生成を行う。そして、話題生成装置2は、生成した話題を情報処理装置1に送信する。
その後、情報処理装置1は、話題生成装置2から話題を受信したことに応じて、受信した話題に対応する発話を行う。具体的に、情報処理装置1は、出力装置4cを介して、受信した話題に対応する発話内容の出力を行う。
これにより、情報処理装置1(ロボット4)は、利用者と対話を行うことによってコミュニケーションを図ることが可能になる。
ここで、上記のようなロボット4では、例えば、撮像装置4a等から取得可能な情報が十分でない場合、利用者の現在の状況に適していない内容の発話を行う可能性がある。そのため、例えば、取得可能な情報に基づいて、利用者の現在の状況に応じた内容の発話を行うことができるロボット4の開発が求められている。
そこで、本実施の形態における情報処理装置1は、利用者の発話、動作、状態または状況に関する情報(以下、第1の情報または第1取得情報とも呼ぶ)と、利用者の動作、状態または状況に関する情報(以下、第2の情報または第2取得情報とも呼ぶ)とを取得する。そして、情報処理装置1は、取得した第1取得情報を、話題の生成を行う話題生成装置2に送信する。
その後、情報処理装置1は、第1取得情報に基づいて話題生成装置2によって生成された複数の話題を取得すると、取得した複数の話題から、取得した第2取得情報に応じた話題を特定する。さらに、情報処理装置1は、特定した話題に応じた発話をロボット4に実行させる指示を出力する。
すなわち、話題生成装置2は、例えば、利用者の発話の内容等(第1取得情報)に基づいて、予め複数の話題を生成する。そして、情報処理装置1は、例えば、現在の利用者の状況等(第2取得情報)に基づいて、話題生成装置2が生成した複数の話題のうち、利用者に対して発話する話題としてより適した話題を特定する。その後、ロボット4は、情報処理装置1が特定した話題に対応する発話を行う。
これにより、情報処理装置1は、利用者の動作、状態または状況に応じた話題をロボット4に発話させることが可能になる。
[情報処理システムのハードウエア構成]
次に、情報処理システム10のハードウエア構成について説明する。図2は、情報処理装置1のハードウエア構成を説明する図である。また、図3は、話題生成装置2のハードウエア構成を説明する図である。
初めに、情報処理装置1のハードウエア構成について説明を行う。
情報処理装置1は、図2に示すように、プロセッサであるCPU101と、メモリ102と、外部インターフェース(I/Oユニット)103と、記憶媒体(ハードディスク)104とを有する。各部は、バス105を介して互いに接続される。
記憶媒体104は、記憶媒体104内のプログラム格納領域(図示しない)に、ロボット4が行う発話の内容を制御する処理(以下、発話制御処理とも呼ぶ)を行うためのプログラム110を記憶する。
CPU101は、図2に示すように、プログラム110の実行時に、プログラム110を記憶媒体104からメモリ102にロードし、プログラム110と協働して発話制御処理を行う。
記憶媒体104は、例えば、発話制御処理を行う際に用いられる情報を記憶する情報格納領域130(以下、記憶部130とも呼ぶ)を有する。
また、外部インターフェース103(I/Oユニット103)は、話題生成装置2、記憶装置3及びロボット4との通信を行う。
次に、話題生成装置2のハードウエア構成について説明を行う。
話題生成装置2は、図3に示すように、プロセッサであるCPU201と、メモリ202と、外部インターフェース(I/Oユニット)203と、記憶媒体(ハードディスク)204とを有する。各部は、バス205を介して互いに接続される。
記憶媒体204は、記憶媒体204内のプログラム格納領域(図示しない)に、発話制御処理を行うためのプログラム210を記憶する。
CPU201は、図3に示すように、プログラム210の実行時に、プログラム210を記憶媒体204からメモリ202にロードし、プログラム210と協働して発話制御処理を行う。
記憶媒体204は、例えば、発話制御処理を行う際に用いられる情報を記憶する情報格納領域230(以下、記憶部230とも呼ぶ)を有する。
また、外部インターフェース203(I/Oユニット203)は、情報処理装置1との通信を行う。
[情報処理システムのソフトウエア構成]
次に、情報処理システム10のソフトウエア構成について説明する。図4は、情報処理装置1の機能ブロック図である。また、図5は、話題生成装置2の機能ブロック図である。
初めに、情報処理装置1の機能ブロック図について説明を行う。
CPU101は、図4に示すように、プログラム110と協働することにより、情報取得部111と、情報送受信部112と、話題加工部113と、話題特定部114と、指示出力部115と、情報管理部116として動作する。また、情報格納領域130には、図4に示すように、第1取得情報131と、第2取得情報132と、話題情報133と、現在ベクター情報134と、話題ベクター情報135と、蓄積情報136とが記憶される。
情報取得部111は、利用者に関する第1取得情報131及び第2取得情報132を取得する。具体的に、情報取得部111は、例えば、利用者の発話、動作、状態または状況に関する情報を集音装置4b等から取得し、取得した情報から第1取得情報131を生成することにより、第1取得情報131の取得を行う。また、情報取得部111は、例えば、利用者の動作、状態または状況に関する情報を撮像装置4a等から取得し、取得した情報から第2取得情報132を生成することにより、第2取得情報132の取得を行う。そして、情報取得部111は、例えば、取得した第1取得情報131及び第2取得情報132を情報格納領域130に記憶する。なお、第1取得情報131及び第2取得情報132は、それぞれ同一の情報を含むものであってもよく、全て異なる情報からなるものであってもよい。
情報送受信部112は、情報取得部111が取得した第1取得情報131を、話題(話題候補)の内容を示す情報を含む話題情報133の生成を行う話題生成装置2に送信する。具体的に、情報送受信部112は、例えば、情報取得部111が第1取得情報131を取得したことに応じて、取得した第1取得情報131を話題生成装置2に送信する。また、情報送受信部112は、例えば、利用者が前回発話を行ってから所定時間が経過したことに応じて、取得した第1取得情報131を話題生成装置2に送信する。その後、情報送受信部112は、話題生成装置2によって生成された話題情報133を取得する。
話題加工部113は、例えば、情報送受信部112が話題生成装置2から話題情報133を受信すると、取得した話題情報133の内容を利用者に対する発話に適した内容に加工する。
話題特定部114は、例えば、話題加工部113が話題情報133の加工を行った後、加工を行った話題情報133から、情報格納領域130に記憶された第2取得情報132に応じた話題情報133を特定する。
指示出力部115は、話題特定部114が特定した話題情報133に応じた発話をロボット4に実行させる指示を出力する。
また、情報取得部111は、ロボット4が発話を行った後に、利用者の状態(表情)に関する情報を取得する。そして、情報管理部116は、情報取得部111が利用者の状態に関する情報を取得したことに応じて、蓄積情報136を生成する。蓄積情報136は、取得した利用者の状態に関する情報と、話題特定部114が特定した話題情報133とを対応付けた情報である。その後、情報管理部116は、生成した蓄積情報136を情報格納領域130に記憶する。現在ベクター情報134及び話題ベクター情報135については後述する。
次に、話題生成装置2の機能ブロック図について説明を行う。
CPU201は、図5に示すように、プログラム210と協働することにより、情報送受信部211と、話題生成部212として動作する。また、情報格納領域230には、図5に示すように、嗜好情報231と、話題情報133とが記憶される。
情報送受信部211は、情報処理装置1から送信された第1取得情報131を受信する。
話題生成部212は、情報送受信部211が第1取得情報131を受信したことに応じて話題情報133を生成する。そして、話題生成部212は、例えば、生成した話題情報133を情報格納領域230に記憶する。
具体的に、話題生成部212は、例えば、情報格納領域230を参照し、受信した第1取得情報131に対応する利用者の趣味趣向に関する情報である嗜好情報231を取得する。そして、話題生成部212は、取得した嗜好情報231に対応する情報をインターネット経由で外部から取得する。その後、話題生成部212は、情報処理装置1から受信した第1取得情報131と外部から取得した情報とに基づいて、話題情報133の生成を行う。
なお、嗜好情報231は、例えば、利用者によって情報格納領域230に予め記憶されるものであってよい。また、話題生成部212は、情報送受信部211が第1取得情報131に加えて第2取得情報132を受信した場合、第1取得情報131と第2取得情報132と外部から取得した情報とに基づいて、話題情報133の生成を行うものであってよい。
その後、情報送受信部211は、話題生成部212が生成した話題情報133を情報処理装置1に送信する。
図1で説明した情報処理システム10には、情報処理装置1と話題生成装置2とが含まれている。これに対し、情報処理システム10は、例えば、話題生成装置2を有さず、話題生成装置2の機能を情報処理装置1に実現させるものであってもよい。すなわち、情報処理装置1のCPU101は、話題生成部212としても動作するものであってもよい。
また、図1で説明した情報処理システム10は、複数の話題生成装置2を有するものであってもよい。さらに、図1で説明したロボット4は、情報処理装置1及び話題生成装置2を含むものであってもよい。
[第1の実施の形態の概略]
次に、第1の実施の形態の概略について説明する。図6は、第1の実施の形態における発話制御処理の概略を説明するフローチャートである。また、図7及び図8は、第1の実施の形態における発話制御処理の概略を説明する図である。図7及び図8を参照しながら、図6の第1の実施の形態における発話制御処理の説明を行う。
[発話制御処理の概略]
初めに、発話制御処理の概略について説明を行う。図6は、第1の実施の形態における発話制御処理の概略を説明するフローチャートである。
情報処理装置1は、図6に示すように、処理開始タイミングになるまで待機する(S1のNO)。処理開始タイミングは、例えば、図7に示すように、利用者20が発話したタイミングである。
そして、処理開始タイミングになった場合(S1のYES)、情報処理装置1は、図7に示すように、利用者20に関する第1取得情報131を取得する(S2)。また、情報処理装置1は、この場合、図7に示すように、利用者20に関する第2取得情報132を取得する(S3)。
さらに、情報処理装置1は、図7に示すように、S2の処理で取得した第1取得情報131を、話題情報133の生成を行う話題生成装置2に送信する(S4)。
その後、情報処理装置1は、図8に示すように、話題生成装置2から話題情報133を受信するまで待機する(S5のNO)。そして、話題生成装置2から話題情報133を受信した場合(S5のYES)、情報処理装置1は、図8に示すように、S4の処理で取得した話題情報133から、S3の処理で取得した第2取得情報132に応じた話題情報133を特定する(S6)。さらに、情報処理装置1は、図8に示すように、S6の処理で特定した話題情報133に応じた発話をロボット4に実行させる指示を出力する(S7)。
すなわち、話題生成装置2は、例えば、利用者の発話の内容等(第1取得情報)に基づいて、予め複数の話題を生成する。そして、情報処理装置1は、例えば、現在の利用者の状況等(第2取得情報)に基づいて、話題生成装置2が生成した複数の話題のうち、利用者に対して発話する話題としてより適した話題を特定する。その後、ロボット4は、情報処理装置1が特定した話題に対応する発話を行う。
これにより、情報処理装置1は、利用者の動作、状態または状況に応じた話題をロボット4に発話させることが可能になる。
[第1の実施の形態の詳細]
次に、第1の実施の形態の詳細について説明する。図9から図14は、第1の実施の形態における発話制御処理の詳細を説明するフローチャートである。また、図15から図23は、第1の実施の形態における発話制御処理の詳細を説明する図である。図15から図23を参照しながら、図9から図14に示す発話制御処理を説明する。
[情報処理装置における情報取得処理]
初めに、情報処理装置1における発話制御処理のうち、第2取得情報132を取得する処理(以下、情報取得処理とも呼ぶ)について説明を行う。図9は、情報取得処理を説明するフローチャートである。
情報処理装置1の情報取得部111は、図9に示すように、情報取得タイミングまで待機する(S11のNO)。情報取得タイミングは、例えば、1分毎等、定期的なタイミングであってよい。
そして、情報取得タイミングになった場合(S11のYES)、情報取得部111は、利用者に関する第2取得情報132を取得する(S12)。具体的に、情報取得部111は、例えば、撮像装置4a等を介して利用者の状況等に関する情報を取得し、取得した情報から第2取得情報132を生成することによって、第2取得情報132の取得を行う。以下、第2取得情報132の具体例について説明を行う。
[第2取得情報の具体例]
図15は、第2取得情報132の具体例を説明する図である。図15に示す第2取得情報132は、第2取得情報132に含まれる各情報を識別する「項番」と、第2取得情報132に含まれる各情報の種別を示す「情報種別」と、「情報種別」に設定された種別に対応する情報が設定される「値」とを項目として有する。また、図15に示す第2取得情報132は、「値」に設定された情報に対応するキーワードが設定される「キーワード」を項目として有する。
具体的に、情報取得部111は、「情報種別」に「利用者の表情」が設定された情報(「項番」に「1」が設定された情報)の「値」に、撮像装置4aが取得した利用者の表情に関する値である「0.23,0.71,−0.18」を設定する。また、情報取得部111は、「情報種別」に「利用者の表情」が設定された情報の「値」に、「キーワード」に設定された情報(「0.23,0.71,−0.18」)に対応する情報である「笑顔」を設定する。すなわち、情報取得部111は、「値」に設定された情報から、利用者が発話を行った際の表情が笑顔であったと判定し、「キーワード」に「笑顔」を設定する。
なお、情報取得部111は、例えば、「値」に設定される情報と「キーワード」に設定される情報とを対応付けた情報(図示しない)を参照し、「値」に設定された情報から「キーワード」に設定する情報を特定するものであってもよい。また、情報取得部111は、「値」に設定される情報と「キーワード」に設定される情報とを含む教師データを機械学習させることによって生成した変換パラメータを用いることにより、「値」に設定された情報から「キーワード」に設定する情報を特定するものであってもよい。図15に含まれる他の情報については説明を省略する。
図9にも戻り、情報取得部111は、S12の処理で取得した第2取得情報132を情報格納領域130に記憶する(S13)。
[情報処理装置における発話実行処理(1)]
次に、情報処理装置1における発話制御処理のうち、利用者に対して発話を行う処理(以下、発話実行処理とも呼ぶ)について説明を行う。図10から図14は、発話実行処理を説明するフローチャートである。
情報処理装置1の情報送受信部112は、図10に示すように、利用者による発話を検知するまで待機する(S21のNO)。具体的に、情報送受信部112は、例えば、集音装置4bが利用者による発話を検知するまで待機する。
そして、利用者による発話を検知した場合(S21のYES)、情報送受信部112は、S21の処理で検知した利用者の発話に関する情報を生成する(S22)。以下、S22の処理で取得した情報の具体例について説明を行う。
[S22の処理で生成した情報の具体例]
図16は、S22の処理で取得した情報の具体例を説明する図である。図16に示す情報は、各情報を識別する「項番」と、発話を行った利用者を特定する「利用者識別情報」と、利用者が発話した内容が設定される「発話内容」とを項目として有する。
具体的に、情報取得部111は、図16に示すように、「項番」が「1」である情報の「利用者識別情報」に、例えば、発話を行った利用者として撮像装置4aが識別した利用者の識別情報である「003」を設定する。また、情報取得部111は、図16に示すように、「項番」が「1」である情報の「発話内容」に、例えば、集音装置4bを介して取得した発話の内容である「明日は友達の誕生日なんだ。」という文言を設定する。
図10に戻り、情報送受信部112は、情報格納領域130に記憶された第2取得情報132を取得する(S23)。具体的に、情報送受信部112は、例えば、情報格納領域130に記憶された第2取得情報132のうち、最後に取得された情報(最新の情報)の取得を行う。
続いて、情報送受信部112は、例えば、S22の処理で生成した情報とS23の処理で取得した第2取得情報132とを含む情報を、第1取得情報131として取得する。そして、情報送受信部112は、取得した第1取得情報131を話題生成装置2に送信する(S24)。その後、情報処理装置1の話題加工部113は、話題生成装置2から話題情報133を受信するまで待機する(S25のNO)。以下、話題生成装置2における発話実行処理について説明を行う。なお、情報処理装置1における発話実行処理のS25以降の処理の説明については後述する。
[話題生成装置における発話実行処理]
図13は、話題生成装置2における発話実行処理を説明するフローチャートである。
話題生成装置2の情報送受信部211は、例えば、情報処理装置1が送信した第1取得情報131を受信するまで待機する(S101のNO)。
そして、例えば、第1取得情報131を受信した場合(S101のYES)、話題生成装置2の話題生成部212は、情報格納領域230を参照し、S101の処理で取得した第1取得情報131に対応する利用者の嗜好情報231を取得する(S102)。以下、嗜好情報231の具体例について説明を行う。
[嗜好情報の具体例]
図17は、嗜好情報231の具体例を説明する図である。図17に示す嗜好情報231は、情報格納領域230に記憶された嗜好情報231のうち、図16で説明した第1取得情報131に対応する発話を行った利用者(図16で説明した第1取得情報131における「利用者識別情報」が「003」である利用者)に関する嗜好情報231の具体例である。
図17に示す嗜好情報231は、嗜好情報231に含まれる各情報を識別する「項番」と、嗜好情報231に含まれる各情報の種別を示す「情報種別」と、「情報種別」に設定された種別に対応するキーワードが設定される「キーワード」を項目として有する。
具体的に、図17に示す嗜好情報231において、「項番」が「1」である情報には、「情報種別」として「食べ物」が設定され、「キーワード」として「アイス」が設定されている。また、図17に示す嗜好情報231において、「項番」が「2」である情報には、「情報種別」として「スポーツ」が設定され、「キーワード」として「サッカー」が設定されている。図17に含まれる他の情報については説明を省略する。
図13に戻り、話題生成部212は、例えば、S101の処理で受信した第1取得情報131と、S102の処理で取得した嗜好情報231とに基づいて話題情報133を生成する(S103)。具体的に、話題生成部212は、例えば、複数の話題の内容を示す話題情報133を生成する。そして、話題生成部212は、例えば、生成した話題情報133を情報格納領域230に記憶する。以下、話題情報133の具体例について説明を行う。
[話題情報の具体例]
図18は、話題情報133の具体例を説明する図である。図18に示す話題情報133は、話題情報133に含まれる各情報を識別する「項番」と、話題生成部212が生成した話題の内容が設定される「話題」とを項目として有している。
具体的に、話題生成部212は、図17で説明した嗜好情報231の「項番」が「1」である情報の「キーワード」に設定された情報である「アイス」を参照し、「最近行ったアイスのお店は?」という話題を生成する。そして、話題生成部212は、図18に示すように、例えば、「項番」が「1」である情報の「話題」に「最近行ったアイスのお店は?」という文言を設定する。
また、話題生成部212は、図15で説明した第2取得情報132の「項番」が「1」である情報の「キーワード」に設定された情報である「笑顔」を参照し、「いい笑顔だね!何があったの?」という話題を生成する。そして、話題生成部212は、図18に示すように、例えば、「項番」が「2」である情報の「話題」に「いい笑顔だね!何があったの?」という文言を設定する。
なお、話題生成部212は、例えば、第1取得情報131の「発話内容」、第2取得情報132の「キーワード」、または、嗜好情報231の「キーワード」に設定された情報と、話題生成部212が生成した話題とをそれぞれ含む複数の教師データを機械学習させることで生成した変換パラメータを用いることにより、「話題」に設定する情報を特定するものであってもよい。図18に含まれる他の情報については説明を省略する。
図13に戻り、情報送受信部211は、S103の処理で生成した話題情報133を情報処理装置1に送信する。
[情報処理装置における発話実行処理(2)]
次に、情報処理装置1における発話実行処理のうち、S25以降の処理について説明を行う。
図10に示すように、話題生成装置2から話題情報133を受信した場合(S25のYES)、話題加工部113は、取得した話題情報133を発話に適した形式に加工する(S26)。以下、S26の処理が行われた後の話題情報133の具体例について説明を行う。
[S26の処理が行われた後の話題情報の具体例]
図19は、S26の処理が行われた後の話題情報133の具体例を説明する図である。
例えば、図18に示す話題情報133における「項番」が「3」である情報の「話題」には、「○月×日、XXXのニューシングルがリリースされる。」という文言が設定されており、外部のネットワークから取得した情報がそのまま設定されている。
そのため、話題加工部113は、S26の処理において、図19に示すように、「○月×日、XXXのニューシングルがリリースされる。」という文言を、「来週末にXXXのニューシングルが出るらしいよ。」という文言(発話に適した形式の情報)に加工する。図19に含まれる他の情報については説明を省略する。
図11に戻り、情報処理装置1の話題特定部114は、S26の処理で加工した話題情報133から、S23の処理で取得した第2取得情報132に応じた話題情報133を特定する(S31)。具体的に、話題特定部114は、S26の処理で加工した話題情報133が示す複数の話題から、S23の処理で取得した第2取得情報132の内容に最も適した話題を特定する。以下、S31の処理の詳細について説明を行う。
[S31の処理の詳細]
図14は、S31の処理の詳細について説明する図である。
話題特定部114は、S23の処理で取得した第2取得情報132から、現在ベクター情報134を生成する(S51)。現在ベクター情報134は、利用者の現在の状況を数値化した情報である。具体的に、現在ベクター情報134は、例えば、n×1次元行列として表現される。
そして、話題特定部114は、S26の処理で加工した話題情報133のそれぞれから、複数の話題ベクター情報135をそれぞれ生成する(S52)。話題ベクター情報135は、各話題に適した利用者の状況を数値化した情報である。具体的に、話題ベクター情報135は、例えば、n×1次元行列として表現される。以下、現在ベクター情報134及び話題ベクター情報135の具体例について説明を行う。
[現在ベクター情報及び話題ベクター情報の具体例]
図20は、現在ベクター情報134及び話題ベクター情報135の具体例を説明する図である。図20(A)は、現在ベクター情報134の具体例を説明する図である。また、図20(B)は、話題ベクター情報135の具体例を説明する図である。
具体的に、図15で説明した第2取得情報132の「値」には、「0.23,0.71,−0.18」、「4」及び「6.7,0.25」等が設定されている。そのため、話題特定部114は、図20(A)に示すように、図15で説明した第2取得情報132の「値」に設定された情報である「0.23,0.71,−0.18」、「4」及び「6.7,0.25」を成分として含むように、現在ベクター情報134を生成する。
また、図19で説明した話題情報133における「項番」が「1」である情報の「話題」には、「最近行ったアイスのお店は?」が設定されている。そのため、話題特定部114は、例えば、「最近行ったアイスのお店は?」を、「最近」、「行った」、「アイス」、「の」、「お店」、「は」、「?」と分割する。そして、話題特定部114は、分割されたそれぞれの文言に対応する数値を特定する。具体的に、話題特定部114は、例えば、分割された各文言と数値とを対応付けた情報(図示しない)を参照し、分割されたそれぞれの文言に対応する数値を特定する。その後、話題特定部114は、図20(B)に示すように、特定した数値のそれぞれを成分として含むように、話題ベクター情報135を生成する。
図14に戻り、話題特定部114は、S51の処理で生成した現在ベクター情報134と、S52の処理で生成した複数の話題ベクター情報135のそれぞれとの積を算出する(S53)。以下、S53の処理の具体例について説明を行う。
[S53の処理の具体例]
図21は、S53の処理の具体例を説明する図である。話題特定部114は、図21に示すように、図20(A)で説明した現在ベクター情報134を1×n次元行列として表現した行列と、図20(B)で説明した話題ベクター情報135を示す行列との積として、例えば、「4.21」を算出する。同様に、話題特定部114は、図20(A)で説明した現在ベクター情報134を1×n次元行列として表現して行列と、S52の処理で生成した複数の話題ベクター情報135を示す行列との積をそれぞれ算出する。
図14に戻り、話題特定部114は、S26の処理で加工した話題情報133のうち、S53の処理で算出した積が最大となる話題ベクター情報135に対応する話題情報133を特定する(S54)。
すなわち、話題特定部114は、S53の処理で算出された積が最大となる話題ベクター情報135に対応する話題情報133が示す話題を、話題生成装置2が生成した話題情報133が示す複数の話題のうち、利用者の現在の動作、状態または状況に最も適した話題として特定する。
これにより、情報処理装置1は、ロボット4が利用者の現在の状況等に適していない話題に対応する発話を行うことを防止することが可能になる。
図11に戻り、話題特定部114は、情報格納領域130に記憶された蓄積情報136を参照し、S31の処理で特定した話題情報133が記憶されているか否かを判定する(S32)。以下、蓄積情報136の具体例について説明を行う。
[蓄積情報の具体例]
図22及び図23は、蓄積情報136の具体例を説明する図である。図22等に示す蓄積情報136は、蓄積情報136に含まれる各情報を識別する「項番」と、各話題が設定される「話題」と、「話題」に設定された内容についてロボット4が過去に発話した際の利用者の反応を示す情報が設定される「利用者の反応」とを項目として有する。
具体的に、図22に示す蓄積情報136において、「項番」が「1」である情報には、「話題」として「今日は昨日よりも暑いね。」が設定され、「利用者の反応」として「笑顔」が設定されている。すなわち、図22に示す蓄積情報136における「項番」が「1」である情報は、ロボット4が「今日は昨日よりも暑いね。」という文言からなる発話を過去に行った際に、利用者の表情が笑顔であったことを示している。
また、図22に示す蓄積情報136において、「項番」が「3」である情報には、「話題」として「いい笑顔だね!何があったの?」が設定され、「利用者の反応」として「怒り」が設定されている。すなわち、図22に示す蓄積情報136における「項番」が「3」である情報は、ロボット4が「いい笑顔だね!何があったの?」という文言からなる発話を過去に行った際に、利用者の表情が怒った表情であったことを示している。
図11に戻り、S31の処理で特定した話題情報133が記憶されていると判定した場合(S33のYES)、話題特定部114は、蓄積情報136において、特定した話題情報133が特定種別の情報に対応するか否かを判定する(S34)。そして、特定した話題情報133が特定種別の情報に対応すると判定した場合(S34のYES)、話題特定部114は、S26の処理で加工した話題情報133のうち、S31の処理で特定した情報以外の話題情報133から、S23の処理で取得した第2取得情報132に応じた話題情報133を再度特定する(S35)。その後、話題特定部114は、S33以降の処理を再度行う。
具体的に、図22で説明した蓄積情報136において、「話題」に「いい笑顔だね!何があったの?」が設定された情報の「利用者の反応」には、「怒る」が設定されている。そのため、例えば、S31の処理で特定した話題情報133の「話題」に設定された文言が「いい笑顔だね!何があったの?」であり、S34の処理における特定種別の情報が「怒る」である場合、話題特定部114は、S31の処理で特定した話題情報133が特定種別の情報に対応すると判定する。そして、話題特定部114は、この場合、図19で説明した話題情報133の「話題」に設定された文言のうち、「いい笑顔だね!何があったの?」以外の文言から、例えば、S53の処理で算出した積が「いい笑顔だね!何があったの?」の次に高い文言を再度特定する。
すなわち、話題特定部114は、特定した話題情報133に対応する発話を過去に行った際に、利用者が否定的な反応をしていた場合、特定した話題情報133に対応する発話をロボット4に行わせない。これにより、情報処理装置1は、利用者とのコミュニケーションをより円滑に行うことが可能になる。
一方、S31の処理で特定した話題情報133が記憶されていないと判定した場合(S33のNO)、または、特定した話題情報133が特定種別の情報に対応しない場合(S34のNO)、情報処理装置1の指示出力部115は、図12に示すように、S31またS35の処理で特定した話題情報133に応じた発話をロボット4に実行させる指示を出力する(S41)。
その後、情報取得部111は、利用者の現在の状態に関する情報を取得する(S42)。そして、情報処理装置1の情報管理部116は、取得した利用者の現在の状態に関する情報と、S31またはS35の処理で特定した話題情報とを対応付けた情報を、蓄積情報136として情報格納領域130に記憶する(S45)。すなわち、情報管理部116は、ロボット4が今回の発話を行った際の利用者の状態に関する情報(利用者の反応を示す情報)から新たな蓄積情報136を生成し、情報格納領域130に記憶する。
具体的に、S31またはS35の処理において特定された話題情報133の「話題」に設定された文言が「プレゼントは何をあげるの?」であった場合、情報管理部116は、図23に示すように、「項番」が「4」である情報の「話題」に「プレゼントは何をあげるの?」を設定する。そして、情報管理部116は、「項番」が「4」である情報の「利用者の反応」に「笑顔」を設定する。
このように、本実施の形態における情報処理装置1は、利用者に関する第1取得情報131及び第2取得情報132を取得する。そして、情報処理装置1は、取得した第1取得情報131を、話題の生成を行う話題生成装置2に送信する。
その後、情報処理装置1は、第1取得情報131に基づいて話題生成装置2によって生成された複数の話題を取得すると、取得した複数の話題から、取得した第2取得情報132に応じた話題を特定する。さらに、情報処理装置1は、特定した話題に応じた発話をロボット4に実行させる指示を出力する。
すなわち、話題生成装置2は、例えば、利用者の発話の内容等(第1取得情報)に基づいて、予め複数の話題を生成する。そして、情報処理装置1は、例えば、現在の利用者の状況等(第2取得情報)に基づいて、話題生成装置2が生成した複数の話題のうち、利用者に対して発話する話題としてより適した話題を特定する。その後、ロボット4は、情報処理装置1が特定した話題に対応する発話を行う。
これにより、情報処理装置1は、利用者の動作、状態または状況に応じた話題をロボット4に発話させることが可能になる。
[第2の実施の形態]
次に、第2の実施の形態における発話制御処理について説明する。図24から図26は、第2の実施の形態における発話制御処理を説明するフローチャートである。また、図27及び図28は、第2の実施の形態における発話制御処理を説明する図である。図27及び図28を参照しながら、図24から図26に示す発話制御処理を説明する。
第1の実施の形態における情報処理装置1は、利用者による発話に応じて発話実行処理を開始する。これに対し、第2の実施の形態における情報処理装置1は、利用者による発話が所定時間なかった場合、自発的に発話実行処理を開始する。これにより、情報処理装置1は、利用者が所定時間を超えても発話を行わない場合であっても、利用者の動作、状態または状況に応じた話題をロボット4に発話させることが可能になる。以下、第2の実施の形態における発話実行処理について説明を行う。なお、以下、第1の実施の形態と同じ内容の処理については説明を省略する。
[情報処理装置における発話実行処理]
情報送受信部112は、自発的発話タイミングまで待機する(S61のNO)。自発的発話タイミングは、例えば、利用者による発話が最後に行われてから所定時間が経過しており、かつ、ロボット4の近傍に利用者がいるタイミングであってよい。
そして、自発的発話タイミングになった場合(S61のYES)、情報送受信部112は、情報格納領域130に記憶された第2取得情報132の取得を行う(S62)。すなわち、第2の実施の形態における発話実行処理は、利用者が発話を行ったことに応じて開始する処理ではない。そのため、第2の実施の形態における情報送受信部112は、例えば、利用者の発話に関する情報の取得を行わないものであってよい。
続いて、情報送受信部112は、S62の処理で取得した第2取得情報132を話題生成装置2に送信する(S63)。そして、話題加工部113は、話題生成装置2から話題情報133を受信するまで待機する(S64のNO)。
その後、話題生成装置2から話題情報133を受信した場合(S64のYES)、話題加工部113は、取得した話題情報133を発話に適した形式に加工する(S65)。そして、話題加工部113は、加工した話題情報133に無言を示す情報を追加する(S66)。以下、S64の処理で受信した話題情報133及びS66の処理で無言を示す情報を追加した話題情報133の具体例について説明を行う。
[第2の実施の形態における話題情報の具体例]
図27は、第2の実施の形態における話題情報133の具体例を説明する図である。具体的に、図27は、S64の処理で受信した話題情報133の具体例を説明する図である。
図27に示す話題情報133は、図18で説明した話題情報133における「項番」が「4」である情報(利用者の発話に関する情報から生成される話題)を含んでいない。すなわち、第2の実施の形態における情報送受信部112は、第1の実施の形態における場合と異なり、話題生成装置2に対して利用者の発話に関する情報の送信を行わない。そのため、図27に示すように、S64の処理において受信する話題情報133には、利用者の発話に関する情報から生成される話題が含まれない。
[S66の処理で無言を示す情報を追加した話題情報の具体例]
次に、S66の処理で無言を示す情報を追加した話題情報133の具体例について説明を行う。図28は、S66の処理で無言を示す情報を追加した話題情報133の具体例を説明する図である。
話題加工部113は、図28に示すように、例えば、「項番」が「4」である情報の「話題」として、利用者に対して発話を行わないことを示す「(無言)」を設定する。すなわち、第2の実施の形態における発話実行処理は、利用者による発話に応じて開始される処理ではない。そのため、発話実行処理の実行時において、利用者は、ロボット4による発話を望んでいない場合がある。そこで、話題加工部113は、例えば、図28に示すように、「話題」に「(無言)」を設定した情報(「項番」が「4」である情報)を追加する。
これにより、話題特定部114は、例えば、利用者がロボット4による発話を必要としていない状況にあると判定した場合、「話題」に「(無言)」が設定された情報を特定することが可能になる。
図25に戻り、話題特定部114は、S66の処理で無言を示す情報を追加した話題情報133から、S62の処理で取得した第2取得情報132に応じた話題情報133を特定する(S71)。そして、話題特定部114は、情報格納領域130に記憶された蓄積情報136を参照し、S71の処理で特定した話題情報133が記憶されているか否かを判定する(S72)。
その結果、S71の処理で特定した話題情報133が記憶されていると判定した場合(S73のYES)、話題特定部114は、蓄積情報136において、特定した話題情報133が特定種別の情報に対応するかを判定する(S74)。そして、特定した話題情報133が特定種別の情報に対応すると判定した場合(S74のYES)、話題特定部114は、S66の処理で無言を示す情報を追加した話題情報133のうち、S71の処理で特定した情報以外の話題情報133から、S62の処理で取得した第2取得情報132に応じた話題情報133を再度特定する(S75)。その後、話題特定部114は、S73以降の処理を再度行う。
一方、S71の処理で特定した話題情報133が記憶されていないと判定した場合(S73のNO)、または、特定した話題情報133が特定種別の情報に対応しないと判定した場合(S74のNO)、指示出力部115は、S71またS75の処理で特定した話題情報133に応じた発話をロボット4に実行させる指示を出力する(S81)。
その後、情報取得部111は、利用者の現在の状態に関する情報を取得する(S82)。そして、情報管理部116は、S82の処理において取得した情報と、S71またはS75の処理で特定した話題情報133とを対応付けた情報を、蓄積情報136として情報格納領域130に記憶する(S83)。
これにより、情報処理装置1は、利用者が所定時間を超えても発話を行わない場合であっても、利用者の状況に応じた話題をロボット4に発話させることが可能になる。
以上の実施の形態をまとめると、以下の付記の通りである。
(付記1)
ロボットの発話を制御する処理をコンピュータに実行させる発話制御プログラムにおいて、
人物に関する第1及び第2の情報を取得し、
取得した前記第1の情報を、話題の生成を行う話題生成部に送信し、
前記第1の情報に基づいて前記話題生成部によって生成された複数の話題を取得すると、取得した前記複数の話題から、取得した前記第2の情報に応じた話題を特定し、
特定した前記話題に応じた発話を前記ロボットに実行させる指示を出力する、
処理を前記コンピュータに実行させることを特徴とする発話制御プログラム。
(付記2)
付記1において、
前記第1の情報は、前記人物の発話、動作、状態または状況に関する情報であり、
前記第2の情報は、前記人物の動作、状態または状況に関する情報である、
ことを特徴とする発話制御プログラム。
(付記3)
付記1において、
前記第1の情報は、前記人物の発話、動作、状態または状況に関する情報であり、
前記第2の情報は、前記人物の発話、動作、状態または状況に関する情報のうち、前記第1の情報と異なる情報である、
ことを特徴とする発話制御プログラム。
(付記4)
付記1において、
前記話題生成部は、互いに異なる複数の話題生成部を含み、
前記話題を特定する処理では、前記第1の情報に基づいて前記話題生成部によってそれぞれ生成された複数の話題を取得すると、取得した前記複数の話題から、取得した前記第2の情報に応じた話題を特定する、
ことを特徴とする発話制御プログラム。
(付記5)
付記1において、
前記第1及び第2の情報を取得する処理では、前記人物が発話したことに応じて、前記第1の情報と前記第2の情報との取得を行う、
ことを特徴とする発話制御プログラム。
(付記6)
付記1において、
前記話題を特定する処理では、前記第2の情報に応じた話題、または、前記人物に対して発話をしないことを示す情報を特定し、
前記指示を出力する処理では、前記第2の情報に応じた話題が特定された場合に、特定した前記話題に応じた発話を前記ロボットに実行させる指示の出力を行う、
ことを特徴とする発話制御プログラム。
(付記7)
付記2において、さらに、
前記ロボットによって前記話題に応じた発話が行われたことに応じて、前記人物の状態に関する情報を取得し、
取得した前記人物の状態に関する情報と、特定した前記第2の情報に応じた話題とを対応付けて記憶部に記憶し、
前記話題を特定する処理では、
特定した前記第2の情報に応じた話題が前記記憶部に記憶されている場合、特定した前記第2の情報に応じた話題に対応する前記人物の状態に関する情報が特定種別の情報であるか否かを判定し、
前記人物の状態に関する情報が前記特定種別の情報を示していると判定した場合、前記複数の話題のうち、特定した前記第2の情報に応じた話題以外の話題から、前記第2の情報に応じた話題の特定を再度行う、
処理を前記コンピュータに実行させることを特徴とする発話制御プログラム。
(付記8)
付記1において、
前記情報を取得する処理では、前記人物が最後に発話してから所定時間が経過したことに応じて前記情報を取得する、
ことを特徴とする発話制御プログラム。
(付記9)
付記1において、
前記情報を取得する処理では、前記人物が最後に発話してから所定時間が経過する毎に前記情報を取得する、
ことを特徴とする発話制御プログラム。
(付記10)
ロボットの発話を制御する情報処理装置において、
人物に関する第1及び第2の情報を取得し、
取得した前記第1の情報を、話題の生成を行う話題生成部に送信する情報送信部と、
前記第1の情報に基づいて前記話題生成部によって生成された複数の話題を取得すると、取得した前記複数の話題から、取得した前記第2の情報に応じた話題を特定する話題特定部と、
特定した前記話題に応じた発話を前記ロボットに実行させる指示を出力する指示出力部と、を有する、
ことを特徴とする情報処理装置。
(付記11)
ロボットの発話を制御する発話制御方法において、
人物に関する第1及び第2の情報を取得し、
取得した前記第1の情報を、話題の生成を行う話題生成部に送信し、
前記第1の情報に基づいて前記話題生成部によって生成された複数の話題を取得すると、取得した前記複数の話題から、取得した前記第2の情報に応じた話題を特定し、
特定した前記話題に応じた発話を前記ロボットに実行させる指示を出力する、
ことを特徴とする発話制御方法。
1:情報処理装置 2:話題生成装置
3:記憶装置 4:ロボット
4a:撮像装置 4b:集音装置
4c:出力装置

Claims (10)

  1. ロボットの発話を制御する処理をコンピュータに実行させる発話制御プログラムにおいて、
    人物に関する第1及び第2の情報を取得し、
    取得した前記第1の情報を、話題の生成を行う話題生成部に送信し、
    前記第1の情報に基づいて前記話題生成部によって生成された複数の話題を取得すると、取得した前記複数の話題から、取得した前記第2の情報に応じた話題を特定し、
    特定した前記話題に応じた発話を前記ロボットに実行させる指示を出力する、
    処理を前記コンピュータに実行させることを特徴とする発話制御プログラム。
  2. 請求項1において、
    前記第1の情報は、前記人物の発話、動作、状態または状況に関する情報であり、
    前記第2の情報は、前記人物の動作、状態または状況に関する情報である、
    ことを特徴とする発話制御プログラム。
  3. 請求項1において、
    前記第1の情報は、前記人物の発話、動作、状態または状況に関する情報であり、
    前記第2の情報は、前記人物の発話、動作、状態または状況に関する情報のうち、前記第1の情報と異なる情報である、
    ことを特徴とする発話制御プログラム。
  4. 請求項1において、
    前記話題生成部は、互いに異なる複数の話題生成部を含み、
    前記話題を特定する処理では、前記第1の情報に基づいて前記話題生成部によってそれぞれ生成された複数の話題を取得すると、取得した前記複数の話題から、取得した前記第2の情報に応じた話題を特定する、
    ことを特徴とする発話制御プログラム。
  5. 請求項1において、
    前記第1及び第2の情報を取得する処理では、前記人物が発話したことに応じて、前記第1の情報と前記第2の情報との取得を行う、
    ことを特徴とする発話制御プログラム。
  6. 請求項1において、
    前記話題を特定する処理では、前記第2の情報に応じた話題、または、前記人物に対して発話をしないことを示す情報を特定し、
    前記指示を出力する処理では、前記第2の情報に応じた話題が特定された場合に、特定した前記話題に応じた発話を前記ロボットに実行させる指示の出力を行う、
    ことを特徴とする発話制御プログラム。
  7. 請求項2において、さらに、
    前記ロボットによって前記話題に応じた発話が行われたことに応じて、前記人物の状態に関する情報を取得し、
    取得した前記人物の状態に関する情報と、特定した前記第2の情報に応じた話題とを対応付けて記憶部に記憶し、
    前記話題を特定する処理では、
    特定した前記第2の情報に応じた話題が前記記憶部に記憶されている場合、特定した前記第2の情報に応じた話題に対応する前記人物の状態に関する情報が特定種別の情報であるか否かを判定し、
    前記人物の状態に関する情報が前記特定種別の情報を示していると判定した場合、前記複数の話題のうち、特定した前記第2の情報に応じた話題以外の話題から、前記第2の情報に応じた話題の特定を再度行う、
    処理を前記コンピュータに実行させることを特徴とする発話制御プログラム。
  8. 請求項1において、
    前記情報を取得する処理では、前記人物が最後に発話してから所定時間が経過したことに応じて前記情報を取得する、
    ことを特徴とする発話制御プログラム。
  9. ロボットの発話を制御する情報処理装置において、
    人物に関する第1及び第2の情報を取得し、
    取得した前記第1の情報を、話題の生成を行う話題生成部に送信する情報送信部と、
    前記第1の情報に基づいて前記話題生成部によって生成された複数の話題を取得すると、取得した前記複数の話題から、取得した前記第2の情報に応じた話題を特定する話題特定部と、
    特定した前記話題に応じた発話を前記ロボットに実行させる指示を出力する指示出力部と、を有する、
    ことを特徴とする情報処理装置。
  10. ロボットの発話を制御する発話制御方法において、
    人物に関する第1及び第2の情報を取得し、
    取得した前記第1の情報を、話題の生成を行う話題生成部に送信し、
    前記第1の情報に基づいて前記話題生成部によって生成された複数の話題を取得すると、取得した前記複数の話題から、取得した前記第2の情報に応じた話題を特定し、
    特定した前記話題に応じた発話を前記ロボットに実行させる指示を出力する、
    ことを特徴とする発話制御方法。
JP2017065157A 2017-03-29 2017-03-29 発話制御プログラム、情報処理装置及び発話制御方法 Pending JP2018167339A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017065157A JP2018167339A (ja) 2017-03-29 2017-03-29 発話制御プログラム、情報処理装置及び発話制御方法
US15/935,377 US10902849B2 (en) 2017-03-29 2018-03-26 Non-transitory computer-readable storage medium, information processing apparatus, and utterance control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017065157A JP2018167339A (ja) 2017-03-29 2017-03-29 発話制御プログラム、情報処理装置及び発話制御方法

Publications (1)

Publication Number Publication Date
JP2018167339A true JP2018167339A (ja) 2018-11-01

Family

ID=63670133

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017065157A Pending JP2018167339A (ja) 2017-03-29 2017-03-29 発話制御プログラム、情報処理装置及び発話制御方法

Country Status (2)

Country Link
US (1) US10902849B2 (ja)
JP (1) JP2018167339A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7576290B1 (ja) 2023-06-09 2024-10-31 株式会社サイバーエージェント 話題モジュールセット作成装置、対話装置、話題モジュールセット作成方法、対話方法及びコンピュータプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005022065A (ja) * 2003-07-03 2005-01-27 Sony Corp 音声対話装置及び方法並びにロボット装置
JP2008158697A (ja) * 2006-12-21 2008-07-10 Nec Corp ロボット制御装置
WO2013190963A1 (ja) * 2012-06-18 2013-12-27 エイディシーテクノロジー株式会社 音声応答装置
US20170041523A1 (en) * 2015-08-07 2017-02-09 Google Inc. Speech and computer vision-based control
JP2017049427A (ja) * 2015-09-01 2017-03-09 カシオ計算機株式会社 対話制御装置、対話制御方法及びプログラム
JP2018156272A (ja) * 2017-03-16 2018-10-04 国立研究開発法人情報通信研究機構 対話システム、対話装置及びそのためのコンピュータプログラム

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7725307B2 (en) * 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
US7398209B2 (en) * 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7260537B2 (en) * 2003-03-25 2007-08-21 International Business Machines Corporation Disambiguating results within a speech based IVR session
US7899671B2 (en) * 2004-02-05 2011-03-01 Avaya, Inc. Recognition results postprocessor for use in voice recognition systems
WO2007013521A1 (ja) * 2005-07-26 2007-02-01 Honda Motor Co., Ltd. ユーザと機械とのインタラクションを実施するための装置、方法、およびプログラム
JP4826275B2 (ja) 2006-02-16 2011-11-30 株式会社豊田中央研究所 応答生成装置、方法及びプログラム
US9907473B2 (en) * 2015-04-03 2018-03-06 Koninklijke Philips N.V. Personal monitoring system
US20130024408A1 (en) * 2008-11-21 2013-01-24 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Action execution based on user modified hypothesis
US8626511B2 (en) * 2010-01-22 2014-01-07 Google Inc. Multi-dimensional disambiguation of voice commands
US8417524B2 (en) * 2010-02-11 2013-04-09 International Business Machines Corporation Analysis of the temporal evolution of emotions in an audio interaction in a service delivery environment
US8825020B2 (en) * 2012-01-12 2014-09-02 Sensory, Incorporated Information access and device control using mobile phones and audio in the home environment
EP2839391A4 (en) * 2012-04-20 2016-01-27 Maluuba Inc CONVERSATION AGENT
US9674331B2 (en) * 2012-06-08 2017-06-06 Apple Inc. Transmitting data from an automated assistant to an accessory
US9142215B2 (en) * 2012-06-15 2015-09-22 Cypress Semiconductor Corporation Power-efficient voice activation
JP6037325B2 (ja) 2012-06-22 2016-12-07 公立大学法人首都大学東京 行動促進システム、行動促進方法、及び行動促進システム用のプログラム
CN103543979A (zh) * 2012-07-17 2014-01-29 联想(北京)有限公司 一种输出语音的方法、语音交互的方法及电子设备
JPWO2014073612A1 (ja) * 2012-11-08 2016-09-08 日本電気株式会社 会話文生成装置、会話文生成方法及び会話文生成プログラム
US9521258B2 (en) * 2012-11-21 2016-12-13 Castel Communications, LLC Real-time call center call monitoring and analysis
US9047871B2 (en) * 2012-12-12 2015-06-02 At&T Intellectual Property I, L.P. Real—time emotion tracking system
US9378741B2 (en) * 2013-03-12 2016-06-28 Microsoft Technology Licensing, Llc Search results using intonation nuances
US9112984B2 (en) * 2013-03-12 2015-08-18 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US9201865B2 (en) * 2013-03-15 2015-12-01 Bao Tran Automated assistance for user request that determines semantics by domain, task, and parameter
WO2014197336A1 (en) * 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9443507B2 (en) * 2013-07-15 2016-09-13 GM Global Technology Operations LLC System and method for controlling a speech recognition system
EP3036594B1 (en) * 2013-08-21 2021-05-26 Ademco Inc. Devices and methods for interacting with an hvac controller
US20150100581A1 (en) * 2013-10-08 2015-04-09 Chacha Search, Inc Method and system for providing assistance to a responder
US9698999B2 (en) * 2013-12-02 2017-07-04 Amazon Technologies, Inc. Natural language control of secondary device
US9929873B2 (en) * 2013-12-06 2018-03-27 Vivint, Inc. Voice control using multi-media rooms
US9607137B2 (en) * 2013-12-17 2017-03-28 Lenovo (Singapore) Pte. Ltd. Verbal command processing based on speaker recognition
US10078691B2 (en) * 2013-12-27 2018-09-18 Futurewei Technologies, Inc. System and method for biometrics-based music recommendation
US10321842B2 (en) * 2014-04-22 2019-06-18 Interaxon Inc. System and method for associating music with brain-state data
US9648061B2 (en) * 2014-08-08 2017-05-09 International Business Machines Corporation Sentiment analysis in a video conference
US9646198B2 (en) * 2014-08-08 2017-05-09 International Business Machines Corporation Sentiment analysis in a video conference
US10019672B2 (en) * 2014-08-27 2018-07-10 International Business Machines Corporation Generating responses to electronic communications with a question answering system
US9786299B2 (en) * 2014-12-04 2017-10-10 Microsoft Technology Licensing, Llc Emotion type classification for interactive dialog system
US20160162807A1 (en) * 2014-12-04 2016-06-09 Carnegie Mellon University, A Pennsylvania Non-Profit Corporation Emotion Recognition System and Method for Modulating the Behavior of Intelligent Systems
JP5974312B1 (ja) * 2015-04-07 2016-08-23 パナソニックIpマネジメント株式会社 販売管理装置、販売管理システムおよび販売管理方法
KR102398488B1 (ko) * 2015-06-26 2022-05-13 엘지전자 주식회사 복수의 디바이스에 대한 원격제어를 수행할 수 있는 이동 단말기
US9558734B2 (en) * 2015-06-29 2017-01-31 Vocalid, Inc. Aging a text-to-speech voice
US10108702B2 (en) * 2015-08-24 2018-10-23 International Business Machines Corporation Topic shift detector
US10083535B2 (en) * 2015-09-01 2018-09-25 Animated Codes Made Easy LLC Animation of customer-provided codes
US10331312B2 (en) * 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
KR102429260B1 (ko) * 2015-10-12 2022-08-05 삼성전자주식회사 음성 에이전트 기반의 제어 명령 처리 장치 및 방법과, 에이전트 장치
US10884503B2 (en) * 2015-12-07 2021-01-05 Sri International VPA with integrated object recognition and facial expression recognition
CN106910513A (zh) * 2015-12-22 2017-06-30 微软技术许可有限责任公司 情绪智能聊天引擎
US11783524B2 (en) * 2016-02-10 2023-10-10 Nitin Vats Producing realistic talking face with expression using images text and voice
US10432998B2 (en) * 2016-03-11 2019-10-01 DISH Technologies L.L.C. Online backup and restoration of television receiver storage and configuration data
US10239205B2 (en) * 2016-06-29 2019-03-26 International Business Machines Corporation System, method, and recording medium for corpus curation for action manifestation for cognitive robots
US10074368B2 (en) * 2016-08-17 2018-09-11 International Business Machines Corporation Personalized situation awareness using human emotions and incident properties
US10741175B2 (en) * 2016-11-30 2020-08-11 Lenovo (Singapore) Pte. Ltd. Systems and methods for natural language understanding using sensor input
US10657166B2 (en) * 2017-02-07 2020-05-19 International Business Machines Corporation Real-time sentiment analysis for conflict mitigation using cognative analytics and identifiers
US10798545B2 (en) * 2017-03-02 2020-10-06 Amazon Technologies, Inc. Techniques for device discovery and configuration

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005022065A (ja) * 2003-07-03 2005-01-27 Sony Corp 音声対話装置及び方法並びにロボット装置
JP2008158697A (ja) * 2006-12-21 2008-07-10 Nec Corp ロボット制御装置
WO2013190963A1 (ja) * 2012-06-18 2013-12-27 エイディシーテクノロジー株式会社 音声応答装置
US20170041523A1 (en) * 2015-08-07 2017-02-09 Google Inc. Speech and computer vision-based control
JP2017049427A (ja) * 2015-09-01 2017-03-09 カシオ計算機株式会社 対話制御装置、対話制御方法及びプログラム
JP2018156272A (ja) * 2017-03-16 2018-10-04 国立研究開発法人情報通信研究機構 対話システム、対話装置及びそのためのコンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7576290B1 (ja) 2023-06-09 2024-10-31 株式会社サイバーエージェント 話題モジュールセット作成装置、対話装置、話題モジュールセット作成方法、対話方法及びコンピュータプログラム

Also Published As

Publication number Publication date
US10902849B2 (en) 2021-01-26
US20180286399A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
US11430438B2 (en) Electronic device providing response corresponding to user conversation style and emotion and method of operating same
US11308955B2 (en) Method and apparatus for recognizing a voice
JP6754184B2 (ja) 音声認識装置及び音声認識方法
JP6505748B2 (ja) 人間型ロボットとユーザーの間におけるマルチモード会話を実行する方法、前記方法を実装するコンピュータプログラム及び人間型ロボット
US11367443B2 (en) Electronic device and method for controlling electronic device
KR102628211B1 (ko) 전자 장치 및 그 제어 방법
US11475878B2 (en) Electronic device and operating method thereof
KR102544249B1 (ko) 발화의 문맥을 공유하여 번역을 수행하는 전자 장치 및 그 동작 방법
US10923113B1 (en) Speechlet recommendation based on updating a confidence value
US12198683B2 (en) Device-specific skill processing
KR20210066651A (ko) 전자 장치 및 이의 제어 방법
KR20210064594A (ko) 전자장치 및 그 제어방법
US20200143235A1 (en) System and method for providing smart objects virtual communication
CN110020423A (zh) 基于语义地生成的结果集合路由音频流
WO2016206642A1 (zh) 机器人的控制数据的生成方法及装置
US10269349B2 (en) Voice interactive device and voice interaction method
JP2018167339A (ja) 発話制御プログラム、情報処理装置及び発話制御方法
JP6645779B2 (ja) 対話装置および対話プログラム
US12073830B2 (en) Electronic apparatus and control method thereof
KR20210029354A (ko) 전자장치 및 그 제어방법
JP7605119B2 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US10950231B1 (en) Skill enablement
KR20210044606A (ko) 웨이크업 모델 생성 방법 및 이를 위한 전자 장치
JP3241556U (ja) 言語データ処理システム
JP2020067877A (ja) 対話装置および対話装置の制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210728

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210817