JP2017213612A - ロボットおよびロボットの制御方法 - Google Patents

Abstract

【課題】発話と動作がリンクしたロボットを提供する。
【解決手段】可動部を有するロボットによる動作が定義されたデータであって、開始動作、中間動作、終了動作を含む動作定義セットを記憶する記憶手段と、音声を出力する音声出力手段と、前記可動部を駆動する駆動手段と、前記動作定義セットを用いて前記駆動手段に対する駆動命令を生成する命令生成手段と、前記音声の出力に同期して前記駆動手段に対して駆動命令を発行する制御手段と、を有し、前記命令生成手段は、前記可動部の動作時間が前記音声の出力時間と略同一となるように、前記開始動作と終了動作の間に前記中間動作を一回以上挿入した駆動命令を生成する。
【選択図】図１

Description

本発明は、音声によってユーザと対話するロボットに関する。

近年、人と対話をすることによって様々な情報を提供するロボットが開発されている。例えば、特許文献１には、カメラとマイク、アクチュエータを内蔵し、音声によってユーザとの会話を行うコミュニケーションロボットが開示されている。

特許文献１に記載のロボットは、自身が発話を行っている間、アクチュエータを動作させることでリアクションを行う機能を有している。例えば、ロボットがユーザへの問いかけを行う場合、手や首を動かして問いかけに対応するアクションを行う。このように構成することで、発話と動作を自然な形でリンクさせることができる。

特開２００４−０３４２７３号公報 特開２００１−１７９６６７号公報

特許文献１に記載のロボットは、予め動作時間が決まっている動作定義を複数記憶しており、発話の継続時間に適合する動作定義の組み合わせを動的に生成するという特徴を持っている。これにより、発話の終了と動作の終了を一致させることができる。
しかし、このような方式では、継続時間を優先するため、様々な動作を組み合わせた結果、全体として不自然な動作となってしまうおそれがある。

本発明は上記の課題を考慮してなされたものであり、発話と動作がリンクしたロボットを提供することを目的とする。

本発明に係るロボットは、
可動部を有するロボットによる動作が定義されたデータであって、開始動作、中間動作、終了動作を含む動作定義セットを記憶する記憶手段と、音声を出力する音声出力手段と、前記可動部を駆動する駆動手段と、前記動作定義セットを用いて前記駆動手段に対する駆動命令を生成する命令生成手段と、前記音声の出力に同期して前記駆動手段に対して駆動命令を発行する制御手段と、を有し、前記命令生成手段は、前記可動部の動作時間が前記音声の出力時間と略同一となるように、前記開始動作と終了動作の間に前記中間動作を一回以上挿入した駆動命令を生成することを特徴とする。

動作定義セットとは、可動部を駆動することによるロボットの動作を定義したデータであり、開始動作、中間動作、終了動作の三種類を含んでいる。また、命令生成手段は、音声出力手段が音声を出力する時間と、ロボットが動作する時間が略同一となるように、開始動作と終了動作の間に中間動作を一回以上挿入した駆動命令を生成する。
かかる構成によると、中間動作を繰り返すことで全体としての動作時間の長短を制御することができるため、音声の出力時間が事前に取得できない場合であっても、ロボットによる発話と動作をリンクさせることができる。また、連続させることが想定されていない動作同士が組み合わさることがないため、全体として自然な動作を行うことができる。

また、前記命令生成手段は、前記開始動作および終了動作を連続して行った場合の動作時間が前記音声の出力時間に満たない場合に、前記可動部の動作時間が前記音声の出力時間に達するまで、前記開始動作と終了動作の間に前記中間動作を反復して挿入することを特徴としてもよい。

このように、音声の出力時間が事前に取得できる場合、動作時間が音声の出力時間を上回るまで中間動作を繰り返し挿入してもよい。

また、前記中間動作は、１秒以内の、ループが可能な動作であることを特徴としてもよい。

ループが可能な短い動作を中間動作とすることで、同じ動作を繰り返しても不自然に見えないという効果が得られる。例えば、３〜５秒程度あるような長い動作を何回も繰り返すと、ユーザに違和感を与えてしまう場合があるが、ループ可能な短い動作を繰り返すことで違和感を軽減し、ロボットにより自然なアクションを取らせることができる。

また、本発明に係るロボットは、前記音声出力手段が出力する音声の内容に応じた種別を取得する種別取得手段をさらに有し、前記記憶手段には、前記種別に関連付いた複数の動作定義セットが記憶されており、前記命令生成手段は、前記種別に対応する動作定義セットを選択し、当該動作定義セットを用いて前記駆動命令を生成することを特徴としてもよい。

音声の内容に応じた種別とは、例えば、ロボットの擬似的な感情（喜怒哀楽）などを表すものであってもよいし、音声がユーザに対して何らかの情報を提供するものである場合、当該情報の内容に基づいて設定されたものであってもよい。このように、応答文の内容や種別に応じて複数の動作定義セットを設定しておき、適したものを選択するようにしてもよい。かかる構成によると、発話内容に応じてロボットに異なるリアクションをとらせることができる。

また、前記音声出力手段が出力する音声が二文以上である場合に、前記命令生成手段は、それぞれの文の種別に応じた複数の動作定義セットを選択し、前記複数の動作定義セットを用いて前記駆動命令を生成することを特徴としてもよい。

出力対象の音声が二文以上からなる場合、途中で応答文の種別を変更してもよい。例えば、終了動作を一旦行ってから他の種別に対応する動作を開始してもよいし、中間動作の途中で、他の種別に対応する中間動作に移行してもよい。かかる構成によると、より豊かな表現が可能になる。

また、前記命令生成手段は、前記可動部の位置を初期位置に戻す初期化動作をさらに付加した駆動命令を生成することを特徴としてもよい。

ロボットが動作を終了する際は、次の動作開始に支障のない位置で可動部を停止させる必要がある。そこで、可動部の位置を初期化する命令を駆動命令の末尾に付加するようにしてもよい。かかる構成によると、動作を設計する際に、駆動終了時における可動部の位置を考慮する必要がなくなり、表現の自由度を増すことができる。

なお、本発明は、上記手段の少なくとも一部を含むロボットとして特定することができる。また、前記ロボットの制御方法として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

本発明によれば、発話と動作がリンクしたロボットを提供することができる。

実施形態に係る音声対話システムのシステム構成図である。 ロボット１０を説明する図である。 動作定義セットの具体例を説明する図である。 実施形態に係る音声対話システムの処理フロー図である。 実施形態に係る音声対話システムの処理フロー図である。 実施形態に係る音声対話システムの処理フロー図である。 ロボットの発話時間と動作の組み合わせを説明する図である。

以下、本発明の好ましい実施形態について図面を参照しながら説明する。
本実施形態に係る音声対話システムは、ロボットが音声によってユーザと対話することでコミュニケーションを行うシステムである。

（第一の実施形態）
<システム構成>
図１は、本実施形態に係る音声対話システムのシステム構成図である。本実施形態に係る音声対話システムは、ロボット１０と制御装置２０から構成される。
ロボット１０は、スピーカやマイク、カメラ等を有しており、ユーザとのインタフェースを担う手段である。ロボット１０は、図２に示したように人型（またはキャラクター型）をしており、関節をアクチュエータで可動させることで様々なリアクションを行うことができる。
また、制御装置２０は、ロボット１０に対して制御命令を発行する装置である。本実施形態では、ロボット１０はユーザインタフェースとしてのみ機能し、対話文の生成や音声の認識、その他の処理など、システム全体を制御する処理は制御装置２０が行う。

まず、ロボット１０について説明する。
ロボット１０は、音声入力部１１、通信部１２、音声出力部１３、動作制御部１４から構成される。

音声入力部１１は、ユーザが発した音声を取得する手段である。具体的には、不図示のマイクを用いて、音声を電気信号（以下、音声データ）に変換する。取得した音声データは、後述する通信部１２を介して制御装置２０へ送信される。

通信部１２は、制御装置２０と近距離無線通信を行う手段である。本実施形態では、通信部１２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続を利用した通信を行う。通信部１２は、ペアリング先となる制御装置２０に関する情報を記憶しており、簡便な操作で接続を行うことができる。

音声出力部１３は、ユーザに提供する音声を出力する手段である。具体的には、スピーカを用いて、制御装置２０から送信された音声データを音声に変換する。

動作制御部１４は、ロボット１０が有する複数の可動部に内蔵されたアクチュエータを駆動させることで、ロボット１０の動作を制御する手段である。具体的には、制御装置２０から送信された命令に基づいて、例えば手、肩、肘、足などの関節に配置されたアクチュエータを駆動させることで、ロボット１０に所定のリアクションをさせる。
また、動作制御部１４は、アクチュエータの動作定義（どのような命令に対して、どのアクチュエータをどのように動かすか）を事前に記憶しており、制御装置２０から送信された命令に基づいてアクチュエータを駆動させる。
なお、可動部は、例えば図２で示したように、関節ごとに設けられてもよいし、車輪など、関節以外の箇所に設けられてもよい。ロボットに送信される命令の具体例については後述する。

次に、制御装置２０について説明する。制御装置２０は、ロボット１０の制御を行う装置であって、典型的にはパーソナルコンピュータ、携帯電話、スマートフォンなどである。制御装置２０は、ＣＰＵ、主記憶装置、補助記憶装置を有する情報処理装置として構成することができる。補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることで、図１に図示した各手段が機能する。なお、図示した機能の全部または一部は、専用に設計された回路を用いて実行されてもよい。

制御装置２０は、通信部２１、音声認識部２２、応答生成部２３、音声合成部２４、動作生成部２５から構成される。

通信部２１が有する機能は、前述した通信部１２と同様であるため、詳細な説明は省略する。

音声認識部２２は、ロボットが有する音声入力部１１が取得した音声に対して音声認識を行い、テキストに変換する手段である。音声認識は、既知の技術によって行うことができる。例えば、音声認識部２２には、音響モデルと認識辞書が記憶されており、取得した音声データと音響モデルとを比較して特徴を抽出し、抽出した特徴を認識辞書とをマッチングさせることで音声認識を行う。認識結果は、応答生成部２３へ送信される。

応答生成部２３は、音声認識部２２が出力したテキストに基づいて、ユーザに提供する応答文を生成ないし取得する手段である。提供する情報は、例えば、データベースを検索して得られた情報であってもよいし、ウェブ検索によって得られた情報であってもよい。また、提供する情報は、質問に対する回答でなくてもよい。例えば、ロボット１０がコミュニケーションロボットであるような場合、対話シナリオ（対話辞書）から選択された返答であってもよい。この他にも、自然言語処理によって情報を提供できるものであれば、入力されるテキストと、出力される応答文はどのようなものであってもよい。応答生成部２３が生成ないし取得した応答文は、合成音声に変換されてロボット１０に送信され、その後、ユーザに向けて出力される。

音声合成部２４は、既知の音声合成技術によって、応答生成部２３が生成した応答文（テキスト）を音声データに変換する手段である。生成された音声データはロボット２０に送信され、ユーザに提供される。

動作生成部２５は、応答生成部２３が生成した応答文に基づいて、ロボット１０が行う動作を決定する手段である。動作生成部２５は、可動部の動きを規定したデータ（動作定義セット）を記憶しており、当該データと、応答生成部２３が生成した応答文に基づいて、ロボットに対する駆動命令（以下、動作コマンド）を生成する。
ここで、動作定義セットについて説明する。動作定義セットとは、ロボットが有する複数の可動部をどのように動かすかを定義したデータであって、「開始動作」「中間動作」「終了動作」の三種類の動作の組み合わせからなる。図３は、動作定義セットの一例である。ここでは、ロボットが挨拶を行う場合の動作定義セットを示す。

ロボット２０は、動作定義セットに従って、開始動作、中間動作、終了動作の順に可動
部を駆動させる。図３の例の場合、まず、右手の３つの可動部を初期位置から駆動し切った位置（以下、位置Ｘ）まで移動させることで、右腕が持ち上がる。次いで、肩以外の２つの可動部を初期位置まで往復させることで手を振る動作を行う。最後に、３つの可動部を初期位置に戻すことで、右腕を下げる。これを連続して行うと、ユーザに対して右手を振る動作となる。

なお、ここでは「挨拶」に対応する動作定義セットを示すが、動作定義セットは、応答文の内容（種別）に応じて複数の種類が定義されており、適したものが選択される。たとえば、ロボットの喜怒哀楽や感情（擬似的な感情）に応じて、複数の動作定義セットの中から適するものを選択してもよい。

例えば、「質問の投げかけ」「質問に対する回答」「褒める」「共感」「喜ぶ」などの種別が定義されていてもよい。また、特定のワードに対応する動作定義セットがあってもよい。
また、応答文の内容や種別が同一であっても、環境が異なる場合、異なる動作定義セットを選択する構成としてもよい。例えば、ロボットが自宅にある場合と、自動車の車内にある場合とで異なる動作定義セットを選択してもよい。
また、応答文の内容や種別が同一であっても、ロボットの感情が異なる場合、異なる動作定義セットを選択してもよい。例えば、ロボットが怒りの感情を抱いている場合と、喜びの感情を抱いている場合とで異なる動作定義セットを選択してもよい。
また、応答文が、ユーザに対して情報を提供するものである場合、情報の種別や内容に応じた動作定義セットを選択してもよい。
このように、動作定義セットは、感情、応答文の種別、環境などに応じて、適したものが選択されうる。

なお、中間動作については省略される場合や、繰り返される場合がある。また、終了動作は省略される場合がある。これについてはのちほど説明する。

<処理フロー>
次に、図１に示した各手段が行う処理とデータの流れについて、処理内容およびデータの流れを説明するフロー図である、図４〜図６を参照しながら説明する。
まず、ステップＳ１１で、ロボット１０が有する音声入力部１１が、マイクを通してユーザから音声を取得する。取得した音声は音声データに変換され、通信部を介して制御装置２０が有する音声認識部２２へ送信される。
そして、音声認識部２２が、取得した音声データに対して音声認識を行い、テキストに変換する（ステップＳ１２）。音声認識の結果得られたテキストは、応答生成部２３へ送信される。

次に、ステップＳ２１で、応答生成部２３が、取得したテキストに基づいて応答文を生成する。前述したように、応答文は、自装置が有する対話辞書（対話シナリオ）を用いて生成してもよいし、外部にある情報ソース（データベースサーバやウェブサーバ）を用いて生成してもよい。生成された応答文は、音声合成部２４と動作生成部２５の双方へ送信される。

ステップＳ２２では、音声合成部２４が、応答文に基づいて音声を合成し、音声データを取得する。取得した音声データは、動作生成部２５と通信部２１の双方へ送信される。
また、ステップＳ２３では、動作生成部２５が、応答文に基づいて動作定義セットを取得する。具体的には、応答文の種別（応答がどのような内容であるか）に基づいて、複数の動作定義セットの中から適合するものを取得する。例えば、応答文が挨拶である場合、「挨拶」に対応する動作定義セットを取得する。
なお、ステップＳ２２およびＳ２３の実行順序は問わない。

次に、ステップＳ２４で、動作生成部２５が、取得した音声データに基づいて再生時間を演算し、ステップＳ２５で、再生時間に対応する動作コマンドを生成する。

ここで、動作コマンドの生成方法について説明する。
図３に示したように、本実施形態における動作定義セットは、開始動作、中間動作、終了動作の三種類である。一方、ロボットがユーザに提供する応答は動的に生成されるため、ロボットが音声を再生するのにかかる時間は事前に知ることができない。そこで、本実施形態に係る制御装置２０は、音声の再生時間（以下、発話時間）を演算したうえで、開始動作、中間動作、終了動作を組み合わせ、発話時間に適合する動作を生成する。

図７は、動作生成部２５が動作コマンドを生成する処理を説明する図である。ここでは、発話時間が３秒であり、開始動作に要する時間が６００ミリ秒、中間動作に要する時間が３００ミリ秒、終了動作に要する時間が６００ミリ秒であるものとする。
まず、開始動作と終了動作を続けて行った場合の時間と、発話時間とを比較する。この結果、発話時間のほうが長い場合、開始動作と終了動作との間に中間動作を挿入する。本例の場合、開始動作と終了動作を続けて行った場合の時間が１．２秒であり、発話時間が３秒であるため、中間動作の挿入を行う（図７（Ａ））。

挿入される中間動作の個数は、ロボットの動作時間と発話時間との差異が最も小さくなるように決定される。本例では、中間動作を６個挿入した場合、合計時間が３．０秒となる（図７（Ｂ））。
本例の場合、ステップＳ２５で、開始動作を１回、中間動作を６回、終了動作を１回行うという動作コマンドが生成され、通信部を介してロボット１０に送信される。

一方、例えば発話時間が３．２秒であった場合、中間動作を６個挿入した場合３．０秒（差異は０．２秒）、７個挿入した場合は３．３秒（差異は０．１秒）となるため、挿入される中間動作の個数は７個となる（図７（Ｃ））。
ただし、動作時間と発話時間との差異を最小化する必要は必ずしもなく、動作時間と発話時間が略同一となればよい。

なお、ここでは、中間動作を挿入した場合の例を挙げたが、発話時間が短い場合、中間動作や終了動作を行わなくてもよい。例えば、開始動作と終了動作を続けて行った場合の時間よりも発話時間が短い場合、開始動作と終了動作を続けて行ってもよい。また、開始動作のみを行った場合の時間よりも発話時間が短い場合、開始動作のみを行ってもよい。

また、開始動作についても必ずしも行わなくてもよい。例えば、開始動作を行うことで、開始動作を行わない場合と比較して発話時間と動作時間とのずれが大きくなってしまう場合、開始動作を省略するようにしてもよい。また、開始動作や終了動作に優先度を付与しておき、優先度の低い動作を省略することで、発話時間と動作時間とのずれを小さくする試みを行ってもよい。

また、開始動作や終了動作は、必ずしも一回のみでなくてもよい。例えば、開始動作や終了動作を複数回行うことで、発話時間と動作時間とのずれをより小さくできる場合、開始動作や終了動作を複数回繰り返してもよい。

また、発話時間と動作時間とを完全に一致させたい場合、中間動作や終了動作を途中で打ち切ることで時間の調整を行ってもよい。

ロボット１０側の通信部が音声データと動作コマンドを受信する（ステップＳ３１）と、音声データは音声出力部１３へ、動作コマンドは動作制御部１４へ送信される。
ステップＳ３２では、動作制御部１４が、動作コマンドに対応するアクチュエータの動作定義（どのアクチュエータをどのようなシーケンスで動かすか）を取得する。
一方、音声出力部１３は、音声データを取得すると、当該音声の再生を開始する（ステップＳ３３）。また、同時に再生開始トリガを動作制御部１４に送信し、動作制御部１４が、当該トリガに基づいてアクチュエータの駆動を開始する（ステップＳ３４）。
これにより、発話が始まるのと同時にロボットが動作を開始し、発話が終了すると略同時にロボットの動作も停止する。

以上説明したように、本実施形態に係る音声対話システムは、ロボットが行う発話の時間と、ロボットの動作時間とが一致するように中間動作を割り当て、全体の動作コマンドを生成する。これにより、ロボットによる発話と動きをリンクさせることができる。特に、中間動作をループ可能な短めの動作とし、発話時間を満たすまで動作を繰り返すことで、発話時間の長短にかかわらず自然な動きをさせることができる。

既知の技術では、比較的大きめな動作を組み合わせることで全体としての動きを生成しているため、動作のつなぎ目や、同じ動作を何回も行っていることがユーザに認識されてしまうおそれがあった。これに対し、本発明では、短めの動作をループさせるため、例えば、手や首がゆらゆらと揺れるような自然な動作をさせることができ、ユーザに与える違和感を軽減することができる。

（第二の実施形態）
ロボットが動作を終了する際は、次の動作開始に支障のない位置で可動部を停止させる必要がある。これを行わないと、可動部に位置ずれが発生したり、次の動作が行えなくなるおそれがあるためである。
第二の実施形態は、これに対応するため、ロボットによる動作が終了するごとに、ロボットが有する可動部の位置を初期化する実施形態である。

第二の実施形態では、ステップＳ２５で、動作コマンドの末尾に可動部の位置を初期化する命令を付加する。これにより、確実に可動部を初期位置に戻すことができる。すなわち、動作を設計する際に、駆動終了時における可動部の位置を考慮する必要がなくなり、表現の自由度を増すことができる。

（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。

例えば、実施形態の説明では、音声認識部２２が音声認識を行ったが、音声認識を外部装置で行うようにしてもよい。この場合、制御装置２０に、ネットワークと通信を行うための通信部を追加し、音声データおよび認識結果を送受信するようにしてもよい。
同様に、実施形態の説明では、応答生成部２３が応答を生成したが、応答文の生成を外部装置で行うようにしてもよい。この場合、制御装置２０に、ネットワークと通信を行うための通信部を追加し、音声認識結果および応答文を送受信するようにしてもよい。

また、実施形態の説明では、一回の発話につき一種類の動作定義セットを取得したが、発話が複数回ある場合、発話ごとに異なる動作定義セットを用いてもよい。また、発話の途中でロボットの擬似感情などが変化する場合、途中で応答文の種別を変更（すなわち動作定義セットを変更）してもよい。この場合、終了動作を経たうえで次の動作に移行してもよいし、動作定義セットＡの中間動作から動作定義セットＢの中間動作へ移行させても
よい。

１０・・・ロボット
１１・・・音声入力部
１２，２１・・・通信部
１３・・・音声出力部
２０・・・制御装置
２２・・・音声認識部
２３・・・応答生成部
２４・・・音声合成部
２４・・・動作生成部

Claims (8)

1. 可動部を有するロボットによる動作が定義されたデータであって、開始動作、中間動作、終了動作を含む動作定義セットを記憶する記憶手段と、
   音声を出力する音声出力手段と、
   前記可動部を駆動する駆動手段と、
   前記動作定義セットを用いて前記駆動手段に対する駆動命令を生成する命令生成手段と、
   前記音声の出力に同期して前記駆動手段に対して駆動命令を発行する制御手段と、
   を有し、
   前記命令生成手段は、前記可動部の動作時間が前記音声の出力時間と略同一となるように、前記開始動作と終了動作の間に前記中間動作を一回以上挿入した駆動命令を生成する、
   ロボット。
2. 前記命令生成手段は、前記開始動作および終了動作を連続して行った場合の動作時間が前記音声の出力時間に満たない場合に、前記可動部の動作時間が前記音声の出力時間に達するまで、前記開始動作と終了動作の間に前記中間動作を反復して挿入する、
   請求項１に記載のロボット。
3. 前記中間動作は、１秒以内の、ループが可能な動作である、
   請求項１または２に記載のロボット。
4. 前記音声出力手段が出力する音声の内容に応じた種別を取得する種別取得手段をさらに有し、
   前記記憶手段には、前記種別に関連付いた複数の動作定義セットが記憶されており、
   前記命令生成手段は、前記種別に対応する動作定義セットを選択し、当該動作定義セットを用いて前記駆動命令を生成する、
   請求項１から３のいずれか１項に記載のロボット。
5. 前記音声出力手段が出力する音声が二文以上である場合に、前記命令生成手段は、それぞれの文の種別に応じた複数の動作定義セットを選択し、前記複数の動作定義セットを用いて前記駆動命令を生成する、
   請求項４に記載のロボット。
6. 前記命令生成手段は、前記可動部の位置を初期位置に戻す初期化動作をさらに付加した駆動命令を生成する、
   請求項１から５のいずれか１項に記載のロボット。
7. 駆動手段によって駆動される可動部と、音声出力手段と、を有するロボットの制御方法であって、
   前記可動部による動作が定義されたデータであって、開始動作、中間動作、終了動作を含む動作定義セットを取得する動作定義取得ステップと、
   前記動作定義セットを用いて前記駆動手段に対する駆動命令を生成する命令生成ステップと、
   前記音声の出力に同期して前記駆動手段に対して駆動命令を発行する制御ステップと、
   を含み、
   前記命令生成ステップでは、前記可動部の動作時間が前記音声の出力時間と略同一となるように、前記開始動作と終了動作の間に前記中間動作を一回以上挿入した駆動命令を生成する、
   ロボットの制御方法。
8. 請求項７に記載のロボットの制御方法をコンピュータに実行させるプログラム。

Images