JP5900393B2 - 情報処理装置、操作制御方法及びプログラム - Google Patents

Description

本開示は、情報処理装置、操作制御方法及びプログラムに関する。

従来、ユーザの視界に入るように配置される画面内に操作対象の機器を操作するためのユーザインタフェース（ＵＩ）を表示し、表示したＵＩを介して機器の操作を可能とする技術が存在する。例えば、下記特許文献１は、ヘッドマウントディスプレイの画面内に映る機器をユーザが操作する際に、機器又は機器と関連付けられる仮想ＵＩに対してユーザがジェスチャ（例えば、機器を触れるジェスチャ）でユーザ入力を与えることを記載している。

特開２０１２−１８１８０９号公報

しかしながら、上記特許文献１において記載されている手法では、ジェスチャ入力を受け付ける画面領域が機器の表示領域又は仮想ＵＩの領域に限られる。そのため、ジェスチャ入力の自由度は制限され、ジェスチャに求められる正確さ（例えば、機器を正確にポインティングすること）がユーザの負担となり得る。

従って、利用可能な画面領域をより自由にジェスチャのために活用することのできる仕組みが提供されることが望ましい。

本開示によれば、ユーザにより操作可能な複数の操作対象の画面内の基準位置に基づいて前記画面内に設定される少なくとも１つのジェスチャ領域であって、少なくとも１つの操作対象に関連付けられる前記ジェスチャ領域を用いて、前記少なくとも１つの操作対象の操作を制御する制御部、を備える情報処理装置が提供される。

また、本開示によれば、情報処理装置により実行される操作制御方法において、ユーザにより操作可能な複数の操作対象の画面内の基準位置に基づいて前記画面内に設定される少なくとも１つのジェスチャ領域であって、少なくとも１つの操作対象に関連付けられる前記ジェスチャ領域を用いて、前記少なくとも１つの操作対象の操作を制御すること、を含む操作制御方法が提供される。

また、本開示によれば、情報処理装置を制御するコンピュータを、ユーザにより操作可能な複数の操作対象の画面内の基準位置に基づいて前記画面内に設定される少なくとも１つのジェスチャ領域であって、少なくとも１つの操作対象に関連付けられる前記ジェスチャ領域を用いて、前記少なくとも１つの操作対象の操作を制御する制御部、として機能させるためのプログラムが提供される。

本開示に係る技術によれば、利用可能な画面領域をより自由にジェスチャのために活用することが可能となる。

装置の概要について説明するための説明図である。 操作対象の一例及び既存のジェスチャインタフェースについて説明するための説明図である。 操作対象の他の例について説明するための説明図である。 操作対象のまた別の例について説明するための説明図である。 一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 一実施形態に係る情報処理装置の論理的な構成の一例を示すブロック図である。 認識され得るジェスチャの第１の例について説明するための説明図である。 認識され得るジェスチャの第２の例について説明するための説明図である。 認識され得るジェスチャの第３の例について説明するための説明図である。 認識され得るジェスチャの第４の例について説明するための説明図である。 認識され得るジェスチャの第５の例について説明するための説明図である。 認識され得るジェスチャの第６の例について説明するための説明図である。 操作対象が実オブジェクトである場合の基準位置の一例について説明するための説明図である。 操作対象が実オブジェクトである場合の基準位置の他の例について説明するための説明図である。 操作対象が表示オブジェクトである場合の基準位置の一例について説明するための説明図である。 表示オブジェクトの基準位置の操作体の動きへの追従について説明するための説明図である。 単一の操作対象のみが存在する状況において設定され得るジェスチャ領域の一例について説明するための説明図である。 複数の操作対象にジェスチャ領域を設定するための第１の手法について説明するための第１の説明図である。 複数の操作対象にジェスチャ領域を設定するための第１の手法について説明するための第２の説明図である。 複数の操作対象にジェスチャ領域を設定するための第２の手法について説明するための説明図である。 複数の操作対象にジェスチャ領域を設定するための第３の手法について説明するための第１の説明図である。 複数の操作対象にジェスチャ領域を設定するための第４の手法について説明するための第２の説明図である。 複数の操作対象にジェスチャ領域を設定するための手法のさらなる例について説明するための説明図である。 ジェスチャ領域のマージについて説明するための第１の説明図である。 ジェスチャ領域のマージについて説明するための第２の説明図である。 ジェスチャインタフェース用の標識のいくつかの例について説明するための説明図である。 ジェスチャインタフェース用の標識の他の例について説明するための説明図である。 メニューに対するジェスチャ入力の一例について説明するための説明図である。 一実施形態に係る操作制御処理の全体的な流れの一例を示すフローチャートである。 図２２のステップＳ１８０における処理の詳細な流れの一例を示すフローチャートである。 複数の装置の連携について説明するための説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．概要
２．一実施形態に係る情報処理装置
２−１．ハードウェア構成
２−２．論理的な構成
２−３．ジェスチャの例
２−４．基準位置の例
２−５．ジェスチャ領域の設定例
２−６．ジェスチャ領域のマージ
２−７．ジェスチャインタフェース用の標識
３．処理の流れの例
３−１．全体的な流れ
３−２．操作の実行
４．複数の装置の連携
５．まとめ

＜１．概要＞
本開示に係る技術は、様々な形態の装置に適用可能である。図１は、本開示に係る技術が適用可能な装置の概要について説明するための説明図である。図１の例において、情報処理装置１００は、ヘッドマウントディスプレイ（ＨＭＤ）である。ＨＭＤは、ユーザの頭部に装着され、ユーザの目の一方又は双方の前方に配置されるシースルー型の又は非シースルー型の画面（screen）を有する。情報処理装置１００は、カメラ１０１をも備える。カメラ１０１は、その光軸がユーザの視線と略平行になるように配置され、ユーザの視界に重なる画像を撮像するために用いられる。情報処理装置１００の筐体は、画面を支持するフレームと、ユーザの側頭部に位置するいわゆるテンプルとを含む。テンプルの内部には情報処理及び通信のための様々なモジュールが格納され得る。筐体の表面には、タッチセンサ、ボタン、スイッチ又はホイールなどの操作手段が配設されてもよい。

図１の例において、ユーザは実空間１内に位置している。実空間１には、実オブジェクトＲｏ１及びＲｏ２が存在する。実オブジェクトＲｏ１は、テレビジョン装置である。実オブジェクトＲｏ２は、壁面に貼られた地図である。ユーザは、情報処理装置１００の画面上で、実オブジェクトＲｏ１及びＲｏ２を視認することができる。ユーザは、これら実オブジェクトの他に、情報処理装置１００により表示され得る表示オブジェクトを画面上で視認し得る。

情報処理装置１００の画面を見ている間、ユーザの手は拘束されない。従って、ユーザは、自身の手又はその他の操作体（例えば、手で把持する実オブジェクト、又は足など）を用いて、様々なジェスチャをカメラ１０１に撮像させることができる。そこで、既存の手法において、そうしたジェスチャを活用するジェスチャインタフェースが提案されている。

図２は、操作対象の一例及び既存のジェスチャインタフェースについて説明するための説明図である。図２を参照すると、情報処理装置１００の画面に、実オブジェクトＲｏ１が映っている。また、実オブジェクトＲｏ１を操作するためのユーザインタフェースＵＩ１が当該画面に重畳されている。ユーザインタフェースＵＩ１は、仮想的なメニューであり、メニューアイテムＵＩ１ａ、ＵＩ１ｂ、ＵＩ１ｃ、ＵＩ１ｄ及びＵＩ１ｅを含む。ユーザが例えば操作体Ｈ１でいずれかのメニューアイテムにタッチすると、タッチされたメニューに対応する機能（例えば、チャンネルの変更又は音量の変更）が実オブジェクトＲｏ１により実行される。

図３は、操作対象の他の例について説明するための説明図である。図３を参照すると、情報処理装置１００の画面に、実オブジェクトＲｏ２が映っている。ここで、実オブジェクトＲｏ２について仮想的な操作が予め定義されているものとする。仮想的な操作とは、例えば、拡大され又は縮小された地図の表示であってよい。ユーザが例えば操作体Ｈ１で実オブジェクトＲｏ２をピンチアウトすると、拡大された地図を表す地図データが動的に取得され、取得された地図データに基づいて拡大された地図が画面に表示される。

図４は、操作対象のまた別の例について説明するための説明図である。図４を参照すると、情報処理装置１００の画面に、表示オブジェクトＶｏ３が表示されている。表示オブジェクトＶｏ３は、スクロールバーを有するインターネットブラウザである。ユーザが例えば操作体Ｈ１でスクロールバーを下方へスクロールすると、表示オブジェクトＶｏ３のコンテンツもまたスクロールする。

上述したようなジェスチャインタフェースにおいて、ジェスチャ入力を受け付ける画面領域は、特定のオブジェクトの領域又は仮想的なＵＩの領域に限られる。そのため、ユーザには、それら領域を正確にポインティングした上で所定のジェスチャを行うことが求められる。ジェスチャ入力を受け付ける画面領域が狭い場合、ジェスチャ入力の自由度もまた制限される。従って、既存の手法は、ジェスチャインタフェースの利便性を十分に引き出しているとは言い難い。そこで、次節より、利用可能な画面領域をより自由にジェスチャのために活用することを可能とする仕組みを説明する。

なお、本開示に係る技術は、上述したＨＭＤの例に限定されず、ユーザのジェスチャに基づいて何らかの操作対象を操作するための様々なシステムに適用可能である。例えば、本開示に係る技術は、自動車又はその他の機械を運転する操作者を支援するために操作者の目の前方に配置される画面を有する操作支援システムに適用されてもよい。その場合には、操作者のジェスチャを介して、様々な支援機能が実行され得る。画面は、必ずしもユーザ又は操作者により装着されなくてよく、例えばスマートフォン又はポータブルナビゲーションデバイスなどの情報端末の画面であってもよい。

＜２．一実施形態に係る情報処理装置＞
［２−１．ハードウェア構成］
図５は、情報処理装置１００のハードウェア構成の一例を示すブロック図である。図５を参照すると、情報処理装置１００は、カメラ１０１、マイクロフォン１０２、入力デバイス１０３、センサ１０４、メモリ１０５、通信インタフェース（Ｉ／Ｆ）１０７、ディスプレイ１０８、スピーカ１０９、遠隔操作Ｉ／Ｆ１１０、バス１１１及びプロセッサ１１２を備える。

（１）カメラ
カメラ１０１は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有し、画像を撮像する。カメラ１０１により撮像される画像（動画を構成する各フレーム）は、情報処理装置１００による処理のための入力画像として扱われる。

（２）マイクロフォン
マイクロフォン１０２は、ユーザにより発せられる音声を集音し、音声信号を生成する。マイクロフォン１０２により生成される音声信号は、情報処理装置１００による音声認識のための入力音声として扱われ得る。マイクロフォン１０２は、無指向性マイクロフォンであってもよく、又は固定的な若しくは可変的な指向性を有していてもよい。

（３）入力デバイス
入力デバイス１０３は、ユーザが情報処理装置１００を直接的に操作するために使用されるデバイスである。入力デバイス１０３は、例えば、情報処理装置１００の筐体に配設されるタッチセンサ、ボタン、スイッチ又はホイールなどを含み得る。入力デバイス１０３は、ユーザ入力を検出すると、検出されたユーザ入力に対応する入力信号を生成する。

（４）センサ
センサ１０４は、情報処理装置１００の位置を測定する測位センサ、情報処理装置１００に加わる加速度を測定する加速度センサ、情報処理装置１００の姿勢を測定するジャイロセンサなどのセンサモジュール群を含み得る。センサ１０４により生成されるセンサデータは、オブジェクト認識の支援、地理的な位置に特化したデータの取得、又はユーザ入力の検出などの様々な用途のために利用されてよい。

（５）メモリ
メモリ１０５は、半導体メモリ又はハードディスクなどの記憶媒体（非一時的な媒体：non-transitory media）により構成され、情報処理装置１００による処理のためのプログラム及びデータを記憶する。メモリ１０５により記憶されるデータは、後に説明する様々なデータベース内のデータを含み得る。なお、本明細書で説明するプログラム及びデータの一部又は全部は、メモリ１０５により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。

（６）通信インタフェース
通信Ｉ／Ｆ１０７は、情報処理装置１００による他の装置との間の通信を仲介する。通信Ｉ／Ｆ１０７は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。

（７）ディスプレイ
ディスプレイ１０８は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などにより構成される画面と回路素子とを有する。ディスプレイ１０８の画面は、ユーザの視界に入るようにユーザの目の前方に配置され、その画角はカメラ１０１の画角に一致し又は部分的に重なる。ディスプレイ１０８は、情報処理装置１００により生成される出力画像を表示する。

（８）スピーカ
スピーカ１０９は、振動板及びアンプなどの回路素子を有し、情報処理装置１００により生成される出力音声信号に基づいて、音声を出力する。

（９）遠隔操作インタフェース
遠隔操作Ｉ／Ｆ１１０は、遠隔操作可能な機器へ遠隔操作信号（赤外線信号、無線信号又はその他の制御信号）を送信するインタフェースである。遠隔操作Ｉ／Ｆ１１０は、後に説明するプロセッサ１１２から入力される遠隔操作信号を変調し、変調された信号を送信する。

（１０）バス
バス１１１は、カメラ１０１、マイクロフォン１０２、入力デバイス１０３、センサ１０４、メモリ１０５、通信Ｉ／Ｆ１０７、ディスプレイ１０８、スピーカ１０９、遠隔操作Ｉ／Ｆ１１０及びプロセッサ１１２を相互に接続する。

（１１）プロセッサ
プロセッサ１１２は、例えば、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などであってよい。プロセッサ１１２は、メモリ１０５又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する情報処理装置１００の様々な機能を動作させる。

［２−２．論理的な構成］
図６は、図５に示した情報処理装置１００のメモリ１０５及びプロセッサ１１２により実現される論理的機能の構成の一例を示すブロック図である。図６を参照すると、情報処理装置１００は、画像取得部１２０、音声取得部１３０、アプリケーション部１４０、認識部１５０、オブジェクトデータベース（ＤＢ）１６０、ジェスチャＤＢ１７０及び制御部１８０を備える。認識部１５０は、オブジェクト認識部１５２、ジェスチャ認識部１５４及び音声認識部１５６を含む。制御部１８０は、操作制御部１８２及び表示制御部１８４を含む。

（１）画像取得部
画像取得部１２０は、カメラ１０１により撮像される画像を入力画像として取得する。入力画像は、典型的には、動画を構成する一連のフレームの各々である。入力画像は、ユーザの視界に重なる画角を有する。そして、画像取得部１２０は、取得した入力画像を認識部１５０及び制御部１８０へ出力する。

（２）音声取得部
音声取得部１３０は、マイクロフォン１０２により生成される音声信号を入力音声として取得する。そして、音声取得部１３０は、取得した入力音声を認識部１５０へ出力する。

（３）アプリケーション部
アプリケーション部１４０は、情報処理装置１００が有する様々なアプリケーションを実行し、表示オブジェクトを生成する。例えば、インターネットブラウザ、コンテンツプレーヤ、メーラ又はＳＮＳ（Social Networking Service）クライアントなどのウィンドウが、表示オブジェクトとして生成されてよい。各アプリケーションは、後に説明する操作制御部１８２による制御の下で、アプリケーション処理を実行する。

（４）オブジェクト認識部
オブジェクト認識部１５２は、画像取得部１２０から入力される入力画像内で、実オブジェクト及び操作体を認識する。オブジェクト認識部１５２は、例えば、入力画像から抽出される画像特徴量をオブジェクトＤＢ１６０により予め記憶される既知の実オブジェクトの画像特徴量と照合することにより、入力画像に映る実オブジェクトを識別すると共に、識別した実オブジェクトの画像内の位置を認識する。オブジェクト認識部１５２は、例えば、ＳｆＭ（Structure from Motion）法又はＳＬＡＭ（Simultaneous Localization And Mapping）法などのより高度なオブジェクト認識アルゴリズムを用いて、実オブジェクトの３次元的な位置及び姿勢を認識してもよい。オブジェクト認識部１５２は、同様に、例えば、ユーザの手、足、又はその他の実オブジェクトである操作体をも認識し得る。

（５）ジェスチャ認識部
ジェスチャ認識部１５４は、操作対象を操作するために操作体を用いてユーザにより演じられるジェスチャを認識する。ジェスチャ認識部１５４により実行されるジェスチャ認識処理は、操作体を含む部分画像の切り出し、切り出した部分画像のスケーリング、部分画像の一時的な保存、フレーム間の差分の計算などを含み得る。ジェスチャ認識部１５４は、例えば、オブジェクト認識部１５２により認識される操作体の位置、形状又はサイズなどの属性を追跡し、それら属性の時間的変化をジェスチャＤＢ１７０により予め記憶される既知のパターンと照合することにより、操作体が表現するジェスチャを認識してもよい。なお、本明細書において、ジェスチャとの用語は、操作体の属性の時間的変化を伴わない、静的なポーズ（形状）をも含むものとする。ジェスチャ認識部１５４により認識され得るジェスチャの非限定的ないくつかの例について、後に図面を用いて説明する。

（６）音声認識部
音声認識部１５６は、音声取得部１３０から入力される入力音声に基づいて、ユーザの音声を認識する。音声認識部１５６は、例えば、実行中のアプリケーション又はＵＩが音声コマンドの入力を受け付ける場合には、ユーザの音声から音声コマンドを認識し、認識した音声コマンドの識別子を制御部１８０へ出力する。

（７）オブジェクトＤＢ
オブジェクトＤＢ１６０は、オブジェクト認識部１５２により認識される実オブジェクト及び操作体について予め定義されるオブジェクトデータを記憶するデータベースである。オブジェクトデータは、例えば、各実オブジェクトの識別子、画像特徴量、遠隔操作フラグ及び仮想操作フラグを含み得る。遠隔操作フラグは、対応する実オブジェクトが遠隔操作可能な機器であるか否かを示すフラグである。仮想操作フラグは、対応する実オブジェクトについて仮想的な操作が定義されているか否かを示すフラグである。さらに、オブジェクトＤＢ１６０は、音声認識部１５６により音声認識のために使用される音声コマンドごとの音声特徴データを予め記憶してもよい。

（８）ジェスチャＤＢ
ジェスチャＤＢ１７０は、操作制御部１８２が操作対象の操作を制御するために使用するジェスチャデータを記憶するデータベースである。ジェスチャＤＢ１７０により記憶されるデータは、操作対象に依存しない共通的なジェスチャインタフェースのためのデータと、個々の操作対象に固有のジェスチャインタフェースのためのデータとを含み得る。ジェスチャデータは、例えば、操作体の属性（位置、形状及びサイズなど）の任意の組合せについての、静的なパターン又は時間的変化のパターンを定義する。遠隔操作可能な実オブジェクトについてのジェスチャデータは、個々のジェスチャと送信すべき遠隔制御信号とをマッピングする。仮想的な操作を有する実オブジェクトについてのジェスチャデータは、個々のジェスチャと表示されるべき仮想的な操作の内容とをマッピングする。表示オブジェクトについてのジェスチャデータは、個々のジェスチャと実行すべきアプリケーション処理とをマッピングする。後に説明する操作制御部１７４は、これらジェスチャデータに従い、認識されたジェスチャに応じて操作対象の操作を制御する。

（９）操作制御部
操作制御部１８２は、ジェスチャを認識するためのジェスチャ領域を画面内に設定し、設定したジェスチャ領域において操作体により表現されるジェスチャに応じて、少なくとも１つの操作対象の操作を制御する。本実施形態において、ジェスチャ領域は、入力画像内で操作対象が占める範囲よりも広く設定され得る。従って、ユーザは、操作対象から画面上で離れた位置でジェスチャを演じることによっても、操作対象を操作することができる。操作制御部１８２は、単一の操作対象のみが存在する場合には、当該単一の操作対象に関連付けられるジェスチャ領域を、画面内の利用可能な領域の全体に設定し得る。利用可能な領域とは、画面の全体であってもよく、一部を除外した領域であってもよい。また、操作制御部１８２は、複数の操作対象が存在する場合には、当該複数の操作対象の各々に関連付けられるジェスチャ領域を、当該複数の操作対象の基準位置に基づいて画面内に設定する。画面内の利用可能な領域を個々の操作対象にどのように配分し得るかについて、後に図面を用いてさらに説明する。

一例として、操作制御部１８２により制御される操作対象は、遠隔操作可能な機器であってもよい。遠隔操作可能な機器とは、例えば、テレビジョン装置、ビデオレコーダ、オーディオ機器及びプロジェクタなどのデジタル家電機器、照明器具及び空調機などの非デジタル家電機器、並びにＰＣ（Personal Computer）及びスマートフォンなどの情報端末を含み得る。操作制御部１８２は、遠隔操作可能な機器に関連付けられるジェスチャ領域においてユーザのジェスチャが認識された場合には、認識された当該ジェスチャに対応する遠隔操作信号をジェスチャＤＢ１７０から取得し、取得した遠隔操作信号を当該機器へ送信する。

他の例として、操作制御部１８２により制御される操作対象は、図３を用いて説明したような、仮想的な操作の定義された実オブジェクトであってもよい。仮想的な操作は、図３の例に限定されず、いかなる操作であってもよい。例えば、紙をめくってその裏側を表示するような操作、ポスターからキャラクターが飛び出すような操作又はカレンダーにスケジュールデータを重畳するような操作が定義されてもよい。操作制御部１８２は、そのような実オブジェクトに関連付けられるジェスチャ領域においてユーザのジェスチャが認識された場合には、認識された当該ジェスチャに対応する仮想的な操作を表示することを表示制御部１８４へ指示する。

また別の例として、操作制御部１８２により制御される操作対象は、アプリケーション部１４０がアプリケーションを実行することにより表示される表示オブジェクトであってもよい。操作制御部１８２は、表示オブジェクトに関連付けられるジェスチャ領域においてユーザのジェスチャが認識された場合には、認識された当該ジェスチャに対応するアプリケーション処理をアプリケーション部１４０に実行させる。

操作制御部１８２は、さらに、ジェスチャ以外の操作手段（例えば、入力デバイス１０３又はセンサ１０４）を用いるユーザインタフェースを介する操作対象の操作をも制御してよい。

（１０）表示制御部
表示制御部１８４は、情報処理装置１００による画像の表示を制御する。表示制御部１８４は、例えば、アプリケーション部１４０により生成されるウィンドウなどの表示オブジェクトをディスプレイ１０８へ出力し、表示オブジェクトを画面に表示させる。また、表示制御部１８４は、ジェスチャインタフェースをユーザがより容易に使用できるように、ユーザを支援するいくつかの標識を画面に表示させる。本実施形態において表示され得るジェスチャインタフェース用の標識は、例えば、現在設定されているジェスチャ領域を示す標識、及び操作のために利用可能なジェスチャを示す標識を含み得る。これら標識の具体的な例について、後に図面を用いてさらに説明する。また、表示制御部１８４は、仮想的な操作の定義された実オブジェクトに関連付けられるジェスチャ領域において所定のジェスチャが認識された場合に、認識されたジェスチャに対応する仮想的な操作を画面に表示させる。仮想的な操作の内容は、ジェスチャＤＢ１７０において予め定義され得る。

［２−３．ジェスチャの例］
図７Ａ〜図７Ｆは、ジェスチャ認識部１５４により認識され得るジェスチャの例をそれぞれ示している。なお、ここでは一例として、操作体はユーザの手又は指であるものとする。

図７Ａの第１の例において、ジェスチャ認識部１５４は、人差し指以外の指を折り畳んだ手の形状と指を倒す動きから、ジェスチャＧ１を認識する。ジェスチャＧ１は、指でのタッチを表現するジェスチャ（FingerTouch）である。

図７Ｂの第２の例において、ジェスチャ認識部１５４は、手のひらを開いた形状と手のひらを倒す動きから、ジェスチャＧ２を認識する。ジェスチャＧ２は、手のひらでのタッチを表現するジェスチャ（PalmTouch）である。

図７Ｃの第３の例において、ジェスチャ認識部１５４は、手を並行移動させる動きから、ジェスチャＧ３ａ〜Ｇ３ｄを認識する。ジェスチャＧ３ａ〜Ｇ３ｄは、いわゆるスワイプを表現するジェスチャ（Swipe）である。ジェスチャＧ３ａ〜Ｇ３ｄは、並行移動の方向（例えば、上下左右の４方向）に依存して、それぞれ異なるジェスチャであると認識されてもよい。なお、同様のジェスチャが、フリック（flick）などの他の語で表現されてもよい。また、手のひらを閉じた形状での並行移動が、ドラッグを表現する他のジェスチャとして認識されてもよい。

図７Ｄの第４の例において、ジェスチャ認識部１５４は、人差し指と親指との間の距離を変化させる動きから、ジェスチャＧ４ａ又はＧ４ｂを認識する。ジェスチャＧ４ａは、人差し指と親指との間の距離を広げる動きに対応する、いわゆるピンチアウトを表現するジェスチャ（PinchOut）である。ジェスチャＧ４ｂは、人差し指と親指との間の距離を狭める動きに対応する、いわゆるピンチインを表現するジェスチャ（PinchIn）である。

図７Ｅの第５の例において、ジェスチャ認識部１５４は、手が左右に折り返す動きから、ジェスチャＧ５を認識する。ジェスチャＧ５は、手を振る合図を表現するジェスチャ（Wave）である。

図７Ｆの第６の例において、ジェスチャ認識部１５４は、予め定義される指先の動きから、ジェスチャＧ６を認識する。ジェスチャＧ６を認識するための動きは、任意の動きであってよい。

［２−４．基準位置の例］
上述したように、操作制御部１８２は、複数の操作対象が存在する場合に、当該複数の操作対象の各々に関連付けられるジェスチャ領域を、当該複数の操作対象の基準位置に基づいて画面内に設定する。実空間に存在する実オブジェクトの基準位置は、典型的には、当該実オブジェクトの画面内の位置から決定されてよい。一方、実空間に存在せず画面に表示される表示オブジェクトの基準位置は、当該表示オブジェクトが表示される際にユーザにより指定され得る。

（１）実オブジェクトの基準位置
図８は、操作対象が実オブジェクトである場合の基準位置の一例について説明するための説明図である。図８を参照すると、入力画像に映る実オブジェクトＲｏ１が示されている。オブジェクト認識部１５２は、オブジェクト認識の結果として、画角に対応する２次元座標系（Ｕ，Ｖ）において実オブジェクトＲｏ１が領域ＲＡ１に映っていることを認識する。図８の例では、操作制御部１８２は、オブジェクト認識の結果に基づき、領域ＲＡ１の中心を実オブジェクトＲｏ１の基準位置ＲＰ１として決定している。基準位置ＲＰ１は、領域ＲＡ１の中心ではなく、領域ＲＡ１のいずれかの頂点など、領域ＲＡ１に関連するその他の位置であってもよい。

実オブジェクトの基準位置は、典型的には、画角の変化（又は実オブジェクトの移動）に追随して変化し得る。実オブジェクトが画角の外へ移動した場合には、実オブジェクトの認識はロストし、当該実オブジェクトは操作対象から外れる。しかしながら、一変形例として、操作制御部１８２は、実オブジェクトが画角の外へ移動した後に、一定の期間にわたり又はユーザが明示的に指定する終了タイミングまでの間、当該実オブジェクトの基準位置を画面内に残してもよい。図９の例では、画角が変化した結果として（矢印Ｄ１ａ）、実オブジェクトＲｏ１が画角の外へ移動している（矢印Ｄ１ｂ）。しかし、実オブジェクトＲｏ１の基準位置ＲＰ１は、実オブジェクトＲｏ１の認識が最後に成功した時点の位置のまま残されている。

（２）表示オブジェクトの基準位置
図１０は、操作対象が表示オブジェクトである場合の基準位置の一例について説明するための説明図である。図１０の上段を参照すると、入力画像に映る操作体Ｈ２が示されている。オブジェクト認識部１５２は、オブジェクト認識の結果として、２次元座標系（Ｕ，Ｖ）における操作体Ｈ２の位置を認識する。ここで、ユーザがインターネットブラウザを起動する音声コマンドＶＣ１を発したものとする。音声認識部１５６は、音声コマンドＶＣ１を認識する。すると、操作制御部１８２は、操作体Ｈ２の認識及び音声コマンドＶＣ１の認識に応じて、アプリケーション部１４０にインターネットブラウザを起動させ、ブラウザのウィンドウである表示オブジェクトＶｏ３を基準位置ＲＰ３に配置する。図１０の下段を参照すると、基準位置ＲＰ３に表示された表示オブジェクトＶｏ３が示されている。基準位置ＲＰ３は、操作体Ｈ２の位置から決定される任意の位置であってよい。表示オブジェクトＶｏ３の３次元的な姿勢が、操作体Ｈ２の姿勢から決定されてもよい。このように操作体の認識と音声コマンドの認識との組合せによってアプリケーションを起動する手法によれば、ユーザの通常の会話に起因して誤ってアプリケーションが起動されてしまう誤動作のリスクを軽減することができる。

表示オブジェクトが一度表示された後、表示オブジェクトの基準位置（表示位置）は、操作体の動きに追従してもよく、又は操作体の動きに追従しなくてもよい。基準位置が操作体の動きに追従する場合には、例えばユーザがインターネットブラウザを手に保持しているかのようなＵＩが実現される。図１１の例では、操作体が特定の形状（例えば、手のひらを閉じて表示オブジェクトを掴むような形状）をしていることを条件として、表示オブジェクトＶｏ３の基準位置ＲＰ３が操作体の動きに追従している（矢印Ｄ２）。基準位置が操作体の動きに追従しない場合には、ユーザは、一度表示させた表示オブジェクトに対して両手を用いて自在にジェスチャを演じることができる。

［２−５．ジェスチャ領域の設定例］
（１）単一の操作対象のみが存在
上述したように、操作制御部１８２は、単一の操作対象のみが存在する場合には、当該単一の操作対象に関連付けられるジェスチャ領域を、画面内の利用可能な領域の全体に設定し得る。

図１２は、単一の操作対象のみが存在する状況において設定され得るジェスチャ領域の一例について説明するための説明図である。図１２を参照すると、入力画像内で実オブジェクトＲｏ１が認識されている。実オブジェクトＲｏ１は、ユーザにより操作可能である。ユーザにより操作可能な他の操作対象（実オブジェクト又は表示オブジェクト）は存在しない。従って、図１２の例では、操作制御部１８２は、実オブジェクトＲｏ１に関連付けられるジェスチャ領域ＧＡ１を、画角ＡＮＧの全体に設定している。ユーザは、実オブジェクトＲｏ１を操作するために、ジェスチャ領域ＧＡ１内のどこでジェスチャを演じてもよい。

（２）複数の操作対象が存在
ユーザにより操作可能な複数の操作対象が存在する場合には、操作制御部１８２は、複数の操作対象の画面内の基準位置に基づいて、各操作対象に関連付けられるジェスチャ領域を画面内に設定する。即ち、２つ以上の操作対象が存在する場合、第１の操作対象のためのジェスチャ領域は、他の操作対象の基準位置に影響され得る。そして、２つ以上の操作対象の基準位置に基づいて、個々の操作対象にジェスチャ領域が配分される。以下、複数の操作対象にジェスチャ領域を設定するためのいくつかの手法について説明する。

図１３Ａは、複数の操作対象にジェスチャ領域を設定するための第１の手法について説明するための第１の説明図である。なお、ここでは２つの操作対象が存在するものとする。第１の手法において、操作制御部１８２は、第１の基準位置を有する第１の操作対象に関連付けられる第１のジェスチャ領域と第２の基準位置を有する第２の操作対象に関連付けられる第２のジェスチャ領域とを、第１の基準位置と第２の基準位置との間を通る境界によって画角を分割することにより、画面内に設定する。図１３Ａを参照すると、入力画像内で実オブジェクトＲｏ１が認識されている。また、表示オブジェクトＶｏ３が表示されている。実オブジェクトＲｏ１及び表示オブジェクトＶｏ３は共に、ユーザにより操作可能である。そこで、操作制御部１８２は、実オブジェクトＲｏ１の基準位置ＲＰ１と表示オブジェクトＶｏ３の基準位置ＲＰ３との間を通る垂直な境界ＢＤ１によって、画角ＡＮＧを２つの領域に分割する。基準位置ＲＰ１は境界ＢＤ１の右側に位置するため、境界ＢＤ１の右側の分割後の領域は実オブジェクトＲｏ１のジェスチャ領域ＧＡ１となる。ユーザは、例えばジェスチャ領域ＧＡ１において操作体を用いて所定のジェスチャを演じることにより、テレビジョン装置である実オブジェクトＲｏ１のチャンネルの変更及び音量の変更などの操作を指示することができる。一方、基準位置ＲＰ３は境界ＢＤ１の左側に位置するため、境界ＢＤ１の左側の分割後の領域は表示オブジェクトＶｏ３のジェスチャ領域ＧＡ３となる。ユーザは、例えばジェスチャ領域ＧＡ３において操作体を用いて所定のジェスチャを演じることにより、インターネットブラウザのウィンドウである表示オブジェクトＶｏ３のスクロール及びページ遷移などの操作を指示することができる。

操作制御部１８２は、画角を分割する境界の方向を、基準位置の間の位置関係に依存して決定してもよい。それにより、操作対象とジェスチャ領域との間の対応がよりユーザにとって直感的に分かり易いような柔軟な領域の配分が可能となる。例えば、２つの基準位置の間の垂直方向の距離が水平方向の距離よりも短い場合には垂直な境界、２つの基準位置の間の垂直方向の距離が水平方向の距離よりも長い場合には水平な境界が、画角を分割するために使用され得る。図１３Ａは前者の例を示しており、図１３Ｂは後者の例を示している。図１３Ｂを参照すると、入力画像内で実オブジェクトＲｏ１及びＲｏ２が認識されている。実オブジェクトＲｏ１及びＲｏ２は共に、ユーザにより操作可能である。操作制御部１８２は、実オブジェクトＲｏ１の基準位置ＲＰ１と実オブジェクトＲｏ２の基準位置ＲＰ２との間を通る水平な境界ＢＤ２によって、画角ＡＮＧを２つの領域に分割する。基準位置ＲＰ１は境界ＢＤ２の下側に位置するため、境界ＢＤ２の下側の分割後の領域は実オブジェクトＲｏ１のジェスチャ領域ＧＡ１となる。一方、基準位置ＲＰ２は境界ＢＤ２の上側に位置するため、境界ＢＤ２の上側の分割後の領域は実オブジェクトＲｏ２のジェスチャ領域ＧＡ２となる。ユーザは、例えばジェスチャ領域ＧＡ２において操作体を用いて所定のジェスチャを演じることにより、実オブジェクトＲｏ２について定義されている仮想的な操作を呼び出すことができる。

図１４は、複数の操作対象にジェスチャ領域を設定するための第２の手法について説明するための説明図である。なお、ここでも２つの操作対象が存在するものとする。第２の手法において、操作制御部１８２は、第１の基準位置を有する第１の操作対象に関連付けられる第１のジェスチャ領域と第２の基準位置を有する第２の操作対象に関連付けられる第２のジェスチャ領域とを、画角を均等に分割し、分割後の領域を第１の基準位置と第２の基準位置との間の位置関係に応じて第１の操作対象及び第２の操作対象に割り当てることにより、画面内に設定する。図１４を参照すると、入力画像内で実オブジェクトＲｏ１が認識されている。また、表示オブジェクトＶｏ３が表示されている。実オブジェクトＲｏ１及び表示オブジェクトＶｏ３は共に、ユーザにより操作可能である。操作制御部１８２は、画角の中央を通る垂直な境界ＢＤ３によって、画角ＡＮＧを２つの領域に分割する。基準位置ＲＰ１は基準位置ＲＰ３よりも右方に位置するため、境界ＢＤ３の右側の分割後の領域は実オブジェクトＲｏ１のジェスチャ領域ＧＡ１に、境界ＢＤ３の左側の分割後の領域は表示オブジェクトＶｏ３のジェスチャ領域ＧＡ３となる。このような手法によれば、各ジェスチャ領域が過剰に狭くなってしまうことを回避しつつ、ジェスチャ領域をユーザにとって分かり易いように複数の操作対象に配分することができる。

図１５は、複数の操作対象にジェスチャ領域を設定するための第３の手法について説明するための説明図である。なお、ここでも２つの操作対象が存在するものとする。第３の手法において、操作制御部１８２は、第１の基準位置を有する第１の操作対象に関連付けられる第１のジェスチャ領域を設定した後、第２の基準位置を有する第２の操作対象に関連付けられる第２のジェスチャ領域を、第１の基準位置と第２の基準位置とに基づいて設定する。図１５の上段を参照すると、表示オブジェクトＶｏ３が表示されている。表示オブジェクトＶｏ３のジェスチャ領域ＧＡ３は、表示オブジェクトＶｏ３の基準位置ＲＰ３に基づいて画面内に設定される。その後、図１５の下段を参照すると、画角が移動した結果として、入力画像内で実オブジェクトＲｏ１が認識されている。実オブジェクトＲｏ１の基準位置ＲＰ１は、既に設定されているジェスチャ領域ＧＡ３の右方に位置する。実オブジェクトＲｏ１のジェスチャ領域ＧＡ１は、先に設定されたジェスチャ領域ＧＡ３からの影響を受け、ジェスチャ領域ＧＡ３の右方に残る空き領域に設定される。このような手法によれば、先に設定されたジェスチャ領域においてユーザがジェスチャを演じようとしている際に新たな操作対象が認識された場合にも、新たな操作対象の出現に阻害されることなく、ユーザは意図したジェスチャを演じることができる。

図１６は、複数の操作対象にジェスチャ領域を設定するための第４の手法について説明するための説明図である。なお、ここでも２つの操作対象が存在するものとする。第４の手法において、操作制御部１８２は、第１の基準位置を有する第１の操作対象のために第１のジェスチャ領域を設定した後、第１の基準位置とより優先度の高い第２の操作対象の第２の基準位置とに基づいて、第１のジェスチャ領域を変更する。図１６の上段を参照すると、表示オブジェクトＶｏ３が表示されている。また、入力画像内で実オブジェクトＲｏ１が認識されている。表示オブジェクトＶｏ３はジェスチャ領域ＧＡ３を有し、実オブジェクトＲｏ１はジェスチャ領域ＧＡ１を有する。ここで、実オブジェクトＲｏ１の優先度は表示オブジェクトＶｏ３よりも高いものとする。その後、図１６の下段を参照すると、画角が移動した結果として、入力画像内で実オブジェクトＲｏ１の基準位置ＲＰ１が左方へ移動している。その結果、実オブジェクトＲｏ１のジェスチャ領域ＧＡ１は左方へ拡大している一方で、表示オブジェクトＶｏ３のジェスチャ領域ＧＡ３はジェスチャ領域ＧＡ１からの影響を受け、縮小している。このような手法によれば、ユーザが優先的に操作したいと望む操作対象について十分に広いジェスチャ領域を確実に設定することができる。なお、優先度は、様々な操作対象の種類についてどのように設定されてもよい。

本項では主に２つの操作対象が存在する例について説明したが、操作対象の数はかかる例に限定されない。例えば、図１７を参照すると、入力画像内で実オブジェクトＲｏ１及びＲｏ４が認識されている。実オブジェクトＲｏ４は、遠隔操作可能なオーディオ機器である。また、表示オブジェクトＶｏ３が表示されている。実オブジェクトＲｏ１及びＲｏ４並びに表示オブジェクトＶｏ３は、ユーザにより操作可能である。そこで、操作制御部１８２は、上述した４つの手法の任意の組合せに従って、画角ＡＮＧを３つの領域に分割する。図１７の例では、分割後の右上のジェスチャ領域ＧＡ１が実オブジェクトＲｏ１のために、分割後の右下のジェスチャ領域ＧＡ４が実オブジェクトＲｏ４のために、分割後の左のジェスチャ領域ＧＡ３が表示オブジェクトＶｏ３のためにそれぞれ設定されている。

なお、一実施例において、図９を用いて説明したように、画角が変化した結果として実オブジェクトが画角の外へ移動した後に、実オブジェクトの基準位置は画角内に残される。その場合、操作制御部１８２は、画角の外へ移動した実オブジェクトを操作するためのジェスチャ領域を、当該実オブジェクトの画角内に残される基準位置と他の操作対象の基準位置とに基づいて設定してよい。それにより、画角の変化又はオブジェクト認識の不安定性に起因してジェスチャを介する操作が意図せず中断されてしまうことを防ぐことができる。

［２−６．ジェスチャ領域のマージ］
複数の操作対象が存在する場合であっても、ユーザは、特定の操作対象を操作するために広い画面領域を用いてジェスチャを演じたいと望む可能性がある。そうしたニーズを充足するために、ユーザからの指示に従ってジェスチャ領域をマージするためのＵＩもまた提供されてよい。例えば、操作制御部１８２は、第１の操作対象及び第２の操作対象のうち一方がユーザにより指定された場合に、指定されなかった方の操作対象のジェスチャ領域を、指定された方の操作対象のジェスチャ領域にマージする。

図１８Ａ及び図１８Ｂは、ジェスチャ領域のマージについて説明するための説明図である。図１８Ａの上段を参照すると、入力画像内で実オブジェクトＲｏ１が認識されている。また、表示オブジェクトＶｏ５が表示されている。表示オブジェクトＶｏ５は、コンテンツプレーヤのウィンドウである。実オブジェクトＲｏ１及び表示オブジェクトＶｏ５は共に、ユーザにより操作可能である。そこで、操作制御部１８２は、実オブジェクトＲｏ１の基準位置ＲＰ１と表示オブジェクトＶｏ５の基準位置ＲＰ５とに基づいて、実オブジェクトＲｏ１のためにジェスチャ領域ＧＡ１を、表示オブジェクトＶｏ５のためにジェスチャ領域ＧＡ５をそれぞれ設定する。ここで、一例として、ジェスチャＤＢ１７０において、ジェスチャ領域をマージするためのジェスチャとしてジェスチャＧ１が定義されているものとする。ユーザは、例えば、操作体Ｈ１を用いてジェスチャ領域ＧＡ１においてジェスチャＧ１を演じる。ジェスチャ認識部１５４は、操作体の認識の結果に基づいてジェスチャＧ１を認識する。すると、図１８Ａの下段に示したように、操作制御部１８２は、表示オブジェクトＶｏ５のために設定されていたジェスチャ領域ＧＡ５を、ユーザにより指定された実オブジェクトＲｏ１のためのジェスチャ領域ＧＡ１にマージする。その結果、画角ＡＮＧ内の利用可能な領域の全体が、ジェスチャ領域ＧＡ１になっている。

また、一例として、ジェスチャＤＢ１７０において、操作対象を切り替えるためのジェスチャとしてジェスチャＧ３が定義されているものとする。図１８Ｂの上段に示したように、ユーザは、例えば、操作体Ｈ１を用いてジェスチャ領域ＧＡ１においてジェスチャＧ３を演じる。ジェスチャ認識部１５４は、操作体の認識の結果に基づいてジェスチャＧ３を認識する。すると、図１８Ｂの下段に示したように、操作制御部１８２は、実オブジェクトＲｏ１のためのジェスチャ領域ＧＡ１を、表示オブジェクトＶｏ５のためのジェスチャ領域ＧＡ５に切り替える。

上述したジェスチャインタフェースが採用されることにより、ユーザは、意図する操作対象を操作するために、最大限に広いジェスチャ領域において様々なジェスチャを自在に演じることができる。

［２−７．ジェスチャインタフェース用の標識］
図１９は、ジェスチャインタフェース用の標識のいくつかの例について説明するための説明図である。図１９を参照すると、情報処理装置１００の画面に表示オブジェクトＶｏ３が表示されている。また、実オブジェクトＲｏ１が認識されている。表示制御部１８４により出力画像に重畳される標識ＩＮ１１及び標識ＩＮ１２は、表示オブジェクトＶｏ３のためのジェスチャ領域及び実オブジェクトＲｏ１のためのジェスチャ領域をそれぞれユーザに示す矩形枠である。図１９の例では、操作体Ｈ１は表示オブジェクトＶｏ３のためのジェスチャ領域に位置しているため、標識ＩＮ１１の枠線は、標識ＩＮ１２の枠線よりも（例えば、異なる色、異なる線の太さ、又は点滅などによって）強調的に表示されている。標識ＩＮ１３は、表示オブジェクトＶｏ３の操作のために利用可能なジェスチャをユーザに通知するためのガイダンスを示す。例えば、上下方向のスワイプジェスチャはウィンドウのスクロール、左方向のスワイプジェスチャは「（前のページへ）戻る」、手を振るジェスチャはアプリケーションの終了というアプリケーション処理にそれぞれ対応することが、標識ＩＮ１３から理解される。操作体Ｈ１が実オブジェクトＲｏ１のためのジェスチャ領域に移動した場合には、表示制御部１８４は、標識ＩＮ１３のガイダンスの内容を、実オブジェクトＲｏ１のための内容に切り替えてもよい。

図２０は、ジェスチャインタフェース用の標識の他の例について説明するための説明図である。図２０を参照すると、実オブジェクトＲｏ１が認識されている。表示制御部１８４により出力画像に重畳される標識ＩＮ２１は、実オブジェクトＲｏ１のためのジェスチャ領域をユーザに示す矩形枠である。標識ＩＮ２２は、操作体Ｈ１が実オブジェクトＲｏ１のためのジェスチャ領域に位置している結果として実オブジェクトＲｏ１が操作対象であることをユーザに示すマークである。標識ＩＮ２３は、実オブジェクトＲｏ１の操作のために利用可能なジェスチャをユーザに通知するためのガイダンスを示す。例えば、上下方向のスワイプジェスチャは音量の変更、左右方向のスワイプジェスチャはチャンネルの変更、手を振るジェスチャは電源オフという遠隔操作にそれぞれ対応することが、標識ＩＮ２３から理解される。さらに、標識ＩＮ２３は、詳細なメニューを表示させるためのボタンＢ１を含む。

例えばユーザが図２０のボタンＢ１にタッチした場合、表示制御部１８４は、実オブジェクトＲｏ１の操作メニューを取得し、図２１に例示されるメニューＭＮ１を出力画像に重畳し得る。メニューＭＮ１は、例えば階層的に構成される複数のメニューアイテムを含む。標識ＩＮ３３は、実オブジェクトＲｏ１のメニューＭＮ１を操作するために利用可能なジェスチャをユーザに通知するためのガイダンスを示す。例えば、上下方向のスワイプジェスチャはメニューアイテムのフォーカスの移動、タッチジェスチャはメニューアイテムの決定という操作にそれぞれ対応することが、標識ＩＮ３３から理解される。ユーザは、メニューＭＮ１を操作するために、メニューＭＮ１の狭い表示領域又は個々のメニューアイテムに直接的にタッチしなくてもよい。ユーザは、実オブジェクトＲｏ１のために設定された広いジェスチャ領域においてジェスチャを演じることにより、メニューＭＮ１を操作することができる。

＜３．処理の流れの例＞
［３−１．全体的な流れ］
図２２は、情報処理装置１００により実行され得る操作制御処理の全体的な流れの一例を示すフローチャートである。ここで説明する操作制御処理は、画像取得部１２０により取得される動画を構成する一連のフレームの各々について繰り返される。

図２２を参照すると、まず、画像取得部１２０は、カメラ１０１により撮像される画像を入力画像として取得する（ステップＳ１００）。そして、画像取得部１２０は、取得した入力画像を認識部１５０及び制御部１８０へ出力する。

また、音声取得部１３０は、マイクロフォン１０２により生成される音声信号を入力音声として取得する（ステップＳ１０５）。そして、音声取得部１３０は、取得した入力音声を認識部１５０へ出力する。

次に、音声認識部１５６は、音声取得部１３０から入力される入力音声に基づいて、ユーザにより発せられる音声コマンドを認識する（ステップＳ１１０）。何らかの音声コマンドが認識された場合には、音声認識部１５６は、認識した音声コマンドの識別子を制御部１８０へ出力する。

また、オブジェクト認識部１５２は、画像取得部１２０から入力される入力画像に映る操作体を認識する（ステップＳ１１５）。そして、オブジェクト認識部１５２は、認識した操作体の画面内の位置を制御部１８０へ出力する。

次に、操作制御部１８２は、音声認識部１５６から入力される音声コマンドの認識の結果と、オブジェクト認識部１５２から入力される操作体の認識の結果とに基づいて、表示オブジェクトを配置すべきかを判定する（ステップＳ１２０）。そして、操作制御部１８２は、表示オブジェクトを配置すべきであると判定される場合に、認識された音声コマンドに対応する表示オブジェクトをアプリケーション部１４０に生成させ、操作体の位置から決定される基準位置に、表示オブジェクトを配置する（ステップＳ１２５）。

また、オブジェクト認識部１５２は、画像取得部１２０から入力される入力画像に映る実オブジェクトを認識する（ステップＳ１３０）。そして、オブジェクト認識部１５２は、認識した実オブジェクトの画面内の位置を制御部１８０へ出力する。

次に、操作制御部１８２は、画面に配置される表示オブジェクト及び認識された実オブジェクトのうち、ユーザにより操作可能な操作対象を、オブジェクトＤＢ１６０を参照することにより識別する（ステップＳ１３５）。その後の処理は、ユーザにより操作可能な操作対象の数に依存して分岐する（ステップＳ１４０、Ｓ１４５）。ユーザにより操作可能な操作対象が存在しない場合には、処理はステップＳ１９０へ進む。操作可能な操作対象が１つだけ存在する場合には、処理はステップＳ１５０へ進む。操作可能な操作対象が複数存在する場合には、処理はステップＳ１５５へ進む。

操作可能な操作対象が１つだけ存在する場合、操作制御部１８２は、その１つの操作対象に関連付けられるジェスチャ領域を、利用可能な画角の全体に設定する（ステップＳ１５０）。

一方、操作可能な操作対象が複数存在する場合、操作制御部１８２は、当該複数の操作対象の基準位置に基づいて、各操作対象に関連付けられるジェスチャ領域を画面内に設定する（ステップＳ１５５）。ここでのジェスチャ領域の設定は、図１３Ａ〜図１８Ｂを用いて説明した様々な手法のうち任意の手法に従って行われてよい。

次に、表示制御部１８４は、ジェスチャインタフェースを使用するユーザを支援するための標識を画面に配置する（ステップＳ１６０）。ここで配置されるジェスチャインタフェース用の標識は、図１９〜図２１に例示したようないかなる標識を含んでもよい。

さらに、ジェスチャ認識部１５４は、操作体の認識の結果に基づき、操作制御部１８２により設定されたジェスチャ領域において操作体を用いて演じられたジェスチャを認識する（ステップＳ１６５）。そして、ジェスチャ認識部１５４は、認識したジェスチャの識別子を操作制御部１８２へ出力する。

操作制御部１８２は、ジェスチャ認識部１５４により所定のジェスチャが認識された場合には（ステップＳ１７０）、どのジェスチャ領域においてジェスチャが演じられたかに基づいて、操作されるべき操作対象を判定する（ステップＳ１７５）。そして、操作制御部１８２は、認識されたジェスチャに対応する操作を、判定した操作対象に実行させる（ステップＳ１８０）。

そして、表示制御部１８４は、実行された操作についてのフィードバックを含み得る出力画像を、ディスプレイ１０８の画面に表示させる（ステップＳ１９０）。その後、処理はステップＳ１００へ戻る。

［３−２．操作の実行］
図２３は、図２２のステップＳ１８０における処理の詳細な流れの一例を示すフローチャートである。図２３の処理は、操作対象の種類に依存して分岐する。

例えば、操作対象が遠隔操作可能な実オブジェクトである場合には（ステップＳ１８１）、操作制御部１８２は、認識されたジェスチャに対応する遠隔操作信号を、遠隔操作Ｉ／Ｆ１１０から当該実オブジェクトへ送信させる（ステップＳ１８２）。

操作対象が仮想的な操作の定義された実オブジェクトである場合には（ステップＳ１８３）、操作制御部１８２は、認識されたジェスチャに対応する仮想的な操作を表現する拡張現実（ＡＲ）オブジェクトを、表示制御部１８４に生成させる（ステップＳ１８４）。ここで生成されるＡＲオブジェクトは、図２２のステップＳ１９０において画面に表示され得る。

操作対象がアプリケーションウィンドウなどの表示オブジェクトである場合には（ステップＳ１８５）、操作制御部１８２は、認識されたジェスチャに対応するアプリケーション処理をアプリケーション部１４０に実行させる（ステップＳ１８６）。アプリケーション処理が実行された結果は、図２２のステップＳ１９０において画面に表示され得る。

なお、本節で説明した処理の流れは一例に過ぎない。即ち、上述した処理ステップのいくつかは省略されてもよく、他の処理ステップが追加されてもよく、又は処理ステップの順序が変更されてもよい。例えば、実オブジェクトの操作の用途のみに本開示に係る技術が適用される場合には、表示オブジェクトの配置及び操作に関連する処理ステップは省略されてよい。また、表示オブジェクトの操作の用途のみに本開示に係る技術が適用される場合には、実オブジェクトの認識及び操作に関連する処理ステップは省略されてよい。

＜４．複数の装置の連携＞
本開示に係る技術は、複数の操作が互いに連携することにより実現されてもよい。例えば、前節で説明した操作制御処理の一部は、情報処理装置１００とは物理的に異なる装置により実行されてもよい。

図２４は、複数の装置の連携について説明するための説明図である。図２４を参照すると、ユーザにより装着されるＨＭＤである情報処理装置１００、情報処理装置１００と通信するサーバ装置２００、及び実オブジェクトＲｏ１が示されている。情報処理装置１００は、例えば入力画像及び入力音声をサーバ装置２００へ送信する（ＳＩＧ１）。サーバ装置２００は、図６に示した認識部１５０及び制御部１８０の機能を有する情報処理装置である。サーバ装置２００は、情報処理装置１００から受信される入力画像及び入力音声に基づいて操作制御処理を実行する。サーバ装置２００により実行された処理の結果は、情報処理装置１００へ提供される（ＳＩＧ２）。情報処理装置１００は、サーバ装置２００から受信される処理の結果に基づいて出力画像を画面に表示し、又は遠隔制御信号を実オブジェクトＲｏ１へ送信する（ＳＩＧ３）。遠隔制御信号は、情報処理装置１００ではなくサーバ装置２００から実オブジェクトＲｏ１へ送信されてもよい（ＳＩＧ４）。サーバ装置２００は、例えば、ユーザの近傍に構築されるパーソナルネットワーク若しくはホームネットワーク上に配置されてもよく、又はインターネットなどの遠隔的なネットワーク上に配置されてもよい。

＜５．まとめ＞
ここまで、図１〜図２４を用いて、本開示に係る技術の様々な実施形態について説明した。上述した実施形態によれば、ユーザにより操作可能な単一の操作対象が存在する場合には、当該単一の操作対象に関連付けられるジェスチャ領域が、画面内で利用可能な広い領域に設定される。複数の操作対象が存在する場合には、当該複数の操作対象の基準位置に基づいて、少なくとも１つの操作対象に関連付けられるジェスチャ領域が設定される。即ち、利用可能な画面領域が、操作対象の間の位置関係に応じて、ジェスチャ領域として複数の操作対象に配分される。そして、設定されたジェスチャ領域におけるジェスチャインタフェースを介して、個々の操作対象の操作が制御される。従って、ジェスチャ入力を受け付ける画面領域が狭い領域に制限されないため、ジェスチャ入力の自由度が高められる。また、画角内のある領域でジェスチャを演じることによりある操作対象を操作し、他の領域でジェスチャを演じることにより別の操作対象を操作するという多元的な操作が可能となる。その結果、操作対象を切り替えるための特別なコマンドなどを要することなく、ユーザは、多様なジェスチャインタフェースを通じて複数の操作対象を自在に操作することができる。また、ジェスチャ領域が狭い領域に制限されないため、操作対象を正確にポインティングするといったようなユーザの負担も解消される。これは、タッチセンサ又はマウスなどの他の操作手段と同等のポインティングの精度を得ることの難しいジェスチャインタフェースにおいて特に有益である。

また、上述した実施形態によれば、設定されたジェスチャ領域を示す標識、又は操作対象の操作のために利用可能なジェスチャを示す標識など、ジェスチャインタフェース用のユーザを支援する標識が画面に表示される。従って、ユーザは、どの画面領域でどのようなジェスチャを演じればよいかを、その標識を見ることにより理解することができる。それにより、ジェスチャインタフェースの使用が促進される。

また、上述した実施形態によれば、操作対象が実オブジェクトである場合に、実オブジェクトの基準位置は実オブジェクトの画面内の位置から決定される。従って、ユーザの視界のどこに操作対象の実オブジェクトが存在するかを考慮して、当該実オブジェクトを操作するためのジェスチャ領域を設定することができる。実オブジェクトが遠隔操作可能な機器である場合には、ジェスチャインタフェースを介して当該実オブジェクトを遠隔的に操作することが可能である。実オブジェクトについて仮想的な操作が定義されている場合には、ジェスチャインタフェースを介してその仮想的な操作を呼び出すことができる。

また、上述した実施形態によれば、操作対象が画面に表示される表示オブジェクトである場合に、表示オブジェクトの基準位置は当該表示オブジェクトが表示される際にユーザにより指定される。従って、ユーザが望む表示オブジェクトの配置を考慮して、当該表示オブジェクトを操作するためのジェスチャ領域を設定することができる。そして、設定されたジェスチャ領域におけるジェスチャインタフェースを介して、表示オブジェクトを操作することが可能となる。

なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザにより操作可能な複数の操作対象の画面内の基準位置に基づいて前記画面内に設定される少なくとも１つのジェスチャ領域であって、少なくとも１つの操作対象に関連付けられる前記ジェスチャ領域を用いて、前記少なくとも１つの操作対象の操作を制御する制御部、
を備える情報処理装置。
（２）
前記制御部は、前記ジェスチャ領域を示す標識を前記画面に表示させる、前記（１）に記載の情報処理装置。
（３）
前記制御部は、前記少なくとも１つの操作対象の操作のために利用可能なジェスチャを示す標識を前記画面に表示させる、前記（１）又は前記（２）に記載の情報処理装置。
（４）
前記複数の操作対象は、実空間に存在する実オブジェクトを含み、
前記実オブジェクトの前記基準位置は、当該実オブジェクトの前記画面内の位置から決定される、
前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記複数の操作対象は、前記画面に表示される表示オブジェクトを含み、
前記表示オブジェクトの前記基準位置は、当該表示オブジェクトが表示される際に前記ユーザにより指定される、
前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記表示オブジェクトは、前記ユーザにより発せられる音声コマンドに応じて表示され、
当該表示オブジェクトの前記基準位置は、前記音声コマンドが認識された際の前記画面内の操作体の位置から決定される、
前記（５）に記載の情報処理装置。
（７）
前記実オブジェクトに関連付けて設定される前記ジェスチャ領域は、当該実オブジェクトが前記画面の外へ移動した後に前記画面内に残される、前記（４）に記載の情報処理装置。
（８）
前記実オブジェクトは、遠隔操作可能な機器であり、
前記制御部は、前記遠隔操作可能な機器に関連付けられる前記ジェスチャ領域において前記ユーザのジェスチャが認識された場合に、認識された当該ジェスチャに対応する遠隔操作信号を前記遠隔操作可能な機器へ送信する、
前記（４）に記載の情報処理装置。
（９）
前記実オブジェクトは、仮想的な操作の定義されたオブジェクトであり、
前記制御部は、当該オブジェクトに関連付けられる前記ジェスチャ領域において前記ユーザのジェスチャが認識された場合に、認識された当該ジェスチャに対応する前記仮想的な操作を前記画面に表示させる、
前記（４）に記載の情報処理装置。
（１０）
前記表示オブジェクトは、アプリケーションを実行することにより表示され、
前記制御部は、前記表示オブジェクトに関連付けられる前記ジェスチャ領域において前記ユーザのジェスチャが認識された場合に、認識された当該ジェスチャに対応するアプリケーション処理を前記アプリケーションに実行させる、
前記（５）又は前記（６）に記載の情報処理装置。
（１１）
前記制御部は、第１の基準位置を有する第１の操作対象に関連付けられる第１のジェスチャ領域と第２の基準位置を有する第２の操作対象に関連付けられる第２のジェスチャ領域とを、前記第１の基準位置と前記第２の基準位置との間を通る境界によって画角を分割することにより設定する、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記境界の方向は、前記第１の基準位置と前記第２の基準位置との間の位置関係に依存して決定される、前記（１１）に記載の情報処理装置。
（１３）
前記制御部は、第１の基準位置を有する第１の操作対象に関連付けられる第１のジェスチャ領域と第２の基準位置を有する第２の操作対象に関連付けられる第２のジェスチャ領域とを、画角を均等に分割し、分割後の領域を前記第１の基準位置と前記第２の基準位置との間の位置関係に応じて前記第１の操作対象及び前記第２の操作対象に割り当てることにより、設定する、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１４）
前記制御部は、第１の基準位置を有する第１の操作対象に関連付けられる第１のジェスチャ領域を設定した後、第２の基準位置を有する第２の操作対象に関連付けられる第２のジェスチャ領域を、前記第１の基準位置と前記第２の基準位置とに基づいて設定する、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１５）
前記制御部は、第１の基準位置を有する第１の操作対象に関連付けられる第１のジェスチャ領域を、当該第１の基準位置とより優先度の高い第２の操作対象の第２の基準位置とに基づいて設定する、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１６）
前記制御部は、前記第１の操作対象及び前記第２の操作対象のうち一方が前記ユーザにより指定された場合に、指定されなかった方の操作対象のジェスチャ領域を、指定された方の操作対象のジェスチャ領域にマージする、前記（１１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）
前記制御部は、単一の操作対象が存在する場合には、当該単一の操作対象に関連付けられるジェスチャ領域を前記画面内の利用可能な領域の全体に設定し、前記複数の操作対象が存在する場合には、前記複数の操作対象の各々に関連付けられるジェスチャ領域を、前記複数の操作対象の前記基準位置に基づいて設定する、前記（１）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）
前記画面は、前記ユーザの頭部に装着される、前記（１）〜（１６）のいずれか１項に記載の情報処理装置。
（１９）
情報処理装置により実行される操作制御方法において、
ユーザにより操作可能な複数の操作対象の画面内の基準位置に基づいて前記画面内に設定される少なくとも１つのジェスチャ領域であって、少なくとも１つの操作対象に関連付けられる前記ジェスチャ領域を用いて、前記少なくとも１つの操作対象の操作を制御すること、
を含む操作制御方法。
（２０）
情報処理装置を制御するコンピュータを、
ユーザにより操作可能な複数の操作対象の画面内の基準位置に基づいて前記画面内に設定される少なくとも１つのジェスチャ領域であって、少なくとも１つの操作対象に関連付けられる前記ジェスチャ領域を用いて、前記少なくとも１つの操作対象の操作を制御する制御部、
として機能させるためのプログラム。

１００ 情報処理装置
１５０ 認識部
１８０ 制御部
２００ サーバ装置（情報処理装置）
ＲＰ１，ＲＰ２，ＲＰ３，ＲＰ４，ＲＰ５ 基準位置
ＧＡ１，ＧＡ２，ＧＡ３，ＧＡ４，ＧＡ５ ジェスチャ領域

Claims (18)

1. ユーザにより操作可能な複数の操作対象の画面内の基準位置に基づいて前記画面内に設定される少なくとも１つのジェスチャ領域であって、少なくとも１つの操作対象に関連付けられる前記ジェスチャ領域を用いて、前記少なくとも１つの操作対象の操作を制御する制御部、
   を備え、
   前記制御部は、
   第１の基準位置を有する第１の操作対象に関連付けられる第１のジェスチャ領域と第２の基準位置を有する第２の操作対象に関連付けられる第２のジェスチャ領域とを、前記第１の基準位置と前記第２の基準位置との間を通る境界によって画角を分割することにより設定し、
   前記ユーザが前記第１のジェスチャ領域及び前記第２のジェスチャ領域のうちの一方において所定のジェスチャを行ったことを認識した場合には、前記ユーザが前記所定のジェスチャを行った前記ジェスチャ領域に、前記ユーザが前記所定のジェスチャを行われなかった前記ジェスチャ領域をマージする、
   情報処理装置。
2. 前記制御部は、前記ジェスチャ領域を示す標識を前記画面に表示させる、請求項１に記載の情報処理装置。
3. 前記制御部は、前記少なくとも１つの操作対象の操作のために利用可能なジェスチャを示す標識を前記画面に表示させる、請求項１又は２に記載の情報処理装置。
4. 前記複数の操作対象は、実空間に存在する実オブジェクトを含み、
   前記実オブジェクトの前記基準位置は、当該実オブジェクトの前記画面内の位置から決定される、
   請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記複数の操作対象は、前記画面に表示される表示オブジェクトを含み、
   前記表示オブジェクトの前記基準位置は、当該表示オブジェクトが表示される際に前記ユーザにより指定される、
   請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記表示オブジェクトは、前記ユーザにより発せられる音声コマンドに応じて表示され、
   当該表示オブジェクトの前記基準位置は、前記音声コマンドが認識された際の前記画面内の操作体の位置から決定される、
   請求項５に記載の情報処理装置。
7. 前記実オブジェクトに関連付けて設定される前記ジェスチャ領域は、当該実オブジェクトが前記画面の外へ移動した後に前記画面内に残される、請求項４に記載の情報処理装置。
8. 前記実オブジェクトは、遠隔操作可能な機器であり、
   前記制御部は、前記遠隔操作可能な機器に関連付けられる前記ジェスチャ領域において前記ユーザのジェスチャが認識された場合に、認識された当該ジェスチャに対応する遠隔操作信号を前記遠隔操作可能な機器へ送信する、
   請求項４に記載の情報処理装置。
9. 前記実オブジェクトは、仮想的な操作の定義されたオブジェクトであり、
   前記制御部は、当該オブジェクトに関連付けられる前記ジェスチャ領域において前記ユーザのジェスチャが認識された場合に、認識された当該ジェスチャに対応する前記仮想的な操作を前記画面に表示させる、
   請求項４に記載の情報処理装置。
10. 前記表示オブジェクトは、アプリケーションを実行することにより表示され、
    前記制御部は、前記表示オブジェクトに関連付けられる前記ジェスチャ領域において前記ユーザのジェスチャが認識された場合に、認識された当該ジェスチャに対応するアプリケーション処理を前記アプリケーションに実行させる、
    請求項５又は６に記載の情報処理装置。
11. 前記境界の方向は、前記第１の基準位置と前記第２の基準位置との間の位置関係に依存して決定される、請求項１に記載の情報処理装置。
12. 前記制御部は、前記第１の基準位置を有する前記第１の操作対象に関連付けられる前記第１のジェスチャ領域と前記第２の基準位置を有する前記第２の操作対象に関連付けられる前記第２のジェスチャ領域とを、画角を均等に分割し、分割後の領域を前記第１の基準位置と前記第２の基準位置との間の位置関係に応じて前記第１の操作対象及び前記第２の操作対象に割り当てることにより、設定する、請求項１〜１０のいずれか１項に記載の情報処理装置。
13. 前記制御部は、前記第１の基準位置を有する前記第１の操作対象に関連付けられる前記第１のジェスチャ領域を設定した後、前記第２の基準位置を有する前記第２の操作対象に関連付けられる前記第２のジェスチャ領域を、前記第１の基準位置と前記第２の基準位置とに基づいて設定する、請求項１〜１０のいずれか１項に記載の情報処理装置。
14. 前記制御部は、前記第１の基準位置を有する前記第１の操作対象に関連付けられる前記第１のジェスチャ領域を、当該第１の基準位置とより優先度の高い前記第２の操作対象の前記第２の基準位置とに基づいて設定する、請求項１〜１０のいずれか１項に記載の情報処理装置。
15. 前記制御部は、単一の操作対象が存在する場合には、当該単一の操作対象に関連付けられるジェスチャ領域を前記画面内の利用可能な領域の全体に設定し、前記複数の操作対象が存在する場合には、前記複数の操作対象の各々に関連付けられるジェスチャ領域を、前記複数の操作対象の前記基準位置に基づいて設定する、請求項１〜１４のいずれか１項に記載の情報処理装置。
16. 前記画面は、前記ユーザの頭部に装着される、請求項１〜１４のいずれか１項に記載の情報処理装置。
17. 情報処理装置により実行される操作制御方法において、
    ユーザにより操作可能な複数の操作対象の画面内の基準位置に基づいて前記画面内に設定される少なくとも１つのジェスチャ領域であって、少なくとも１つの操作対象に関連付けられる前記ジェスチャ領域を用いて、前記少なくとも１つの操作対象の操作を制御すること、
    第１の基準位置を有する第１の操作対象に関連付けられる第１のジェスチャ領域と第２の基準位置を有する第２の操作対象に関連付けられる第２のジェスチャ領域とを、前記第１の基準位置と前記第２の基準位置との間を通る境界によって画角を分割することにより設定することと、
    前記ユーザが前記第１のジェスチャ領域及び前記第２のジェスチャ領域のうちの一方において所定のジェスチャを行ったことを認識した場合には、前記ユーザが前記所定のジェスチャを行った前記ジェスチャ領域に、前記ユーザが前記所定のジェスチャを行われなかった前記ジェスチャ領域をマージすることと、
    を含む操作制御方法。
18. 情報処理装置を制御するコンピュータを、
    ユーザにより操作可能な複数の操作対象の画面内の基準位置に基づいて前記画面内に設定される少なくとも１つのジェスチャ領域であって、少なくとも１つの操作対象に関連付けられる前記ジェスチャ領域を用いて、前記少なくとも１つの操作対象の操作を制御する制御部であって、第１の基準位置を有する第１の操作対象に関連付けられる第１のジェスチャ領域と第２の基準位置を有する第２の操作対象に関連付けられる第２のジェスチャ領域とを、前記第１の基準位置と前記第２の基準位置との間を通る境界によって画角を分割することにより設定し、前記ユーザが前記第１のジェスチャ領域及び前記第２のジェスチャ領域のうちの一方において所定のジェスチャを行ったことを認識した場合には、前記ユーザが前記所定のジェスチャを行った前記ジェスチャ領域に、前記ユーザが前記所定のジェスチャを行われなかった前記ジェスチャ領域をマージする制御部、
    として機能させるためのプログラム。

Images