JP2014149640A

JP2014149640A - ジェスチャ操作装置及びジェスチャ操作プログラム

Info

Publication number: JP2014149640A
Application number: JP2013017555A
Authority: JP
Inventors: Shuichi Takeuchi; 修一竹内
Original assignee: Tokai Rika Co Ltd
Current assignee: Tokai Rika Co Ltd
Priority date: 2013-01-31
Filing date: 2013-01-31
Publication date: 2014-08-21

Abstract

【課題】操作対象を注視することなく、ちら見程度で操作することが可能なジェスチャ操作装置及びジェスチャ操作プログラムを提供することを目的とする。
【解決手段】視線検出用カメラ１４の撮影結果から乗員の目の位置及び視線を検出する視線検出用ＥＣＵ２０と、ジェスチャ操作検出用カメラ１４の撮影結果から乗員の手の位置及びジェスチャ操作を検出するジェスチャ操作検出用ＥＣＵ１６と、予め定めた複数の操作対象機器２２Ａ、２２Ｂの中から視線検出用ＥＣＵ２０によって検出された乗員の目の位置、及びジェスチャ操作検出用ＥＣＵ１６によって検出された乗員の手の位置に基づいて操作対象機器２２を決定し、ジェスチャ操作検出用ＥＣＵ１６によって検出されたジェスチャ操作に対応する予め定めた操作を行うように、決定した操作対象機器を制御するジェスチャ操作ＥＣＵ１２と、を備える。
【選択図】図２

Description

本発明は、ジェスチャによって種々の機器（例えば、車載器）を操作するジェスチャ操作装置及びジェスチャ操作プログラムに関する。

ジェスチャによって操作を行う技術としては、例えば、特許文献１に記載の技術が提案されている。

特許文献１には、ステレオカメラによりユーザの画像を撮像するユーザ撮像手段と、ユーザのジェスチャを検出するジェスチャ検出手段と、選択ジェスチャであるか、操作ジェスチャであるかを判別するジェスチャ判別手段と、ユーザの視線の方向に制御機器があるか否かを判別する視線方向判別手段と、選択ジェスチャで選択された制御機器とユーザの視線の方向にある制御機器とが一致する場合に制御機器を選択する制御機器選択手段と、選択された制御機器に対して、操作ジェスチャに応じた操作を実行する制御機器操作手段とを備えた制御機器操作ジェスチャ認識装置（ＰＣ）が提案されている。

特開２００９−３７４３４号公報

しかしながら、特許文献１に記載の技術では、操作対象機器の選択についてもジェスチャで行う必要があり、操作するために覚えるジェスチャの数も多くなるため、改善の余地がある。

さらに、特許文献１に記載の技術では、ジェスチャ操作するために操作対象を注視する必要があるため、車載機器へ適用するためには、脇見運転となるため改善の余地がある。

本発明は、上記事実を考慮して成されたもので、操作対象を注視することなく、ちら見程度で操作することが可能なジェスチャ操作装置及びジェスチャ操作プログラムを提供することを目的とする。

上記目的を達成するために請求項１に記載のジェスチャ操作装置は、乗員を撮影する撮影手段と、前記撮影手段の撮影結果から乗員の目の位置を検出する第１検出手段と、前記撮影手段の撮影結果から乗員の手の位置及びジェスチャ操作を検出する第２検出手段と、予め定めた複数の操作対象機器の中から第１検出手段によって検出された乗員の目の位置、及び第２検出手段によって検出された乗員の手の位置に基づいて操作対象機器を決定し、前記第２検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように、決定した操作対象機器を制御する制御手段と、を備えている。

請求項１に記載の発明によれば、撮影手段では、カメラ等により乗員が撮影され、第１検出手段では、撮影手段の撮影結果から乗員の目の位置が検出され、第２検出手段では、撮影手段の撮影結果から乗員の手の位置及びジェスチャ操作が検出される。なお、撮影手段は、第１検出手段によって乗員の目の位置を検出するための撮影を行う撮影手段と、第２検出手段によって乗員の手の位置及びジェスチャ操作を検出するための撮影を行う撮影手段とをそれぞれ備えるようにしてもよい。

また、制御手段では、予め定めた操作対象機器の中から第１検出手段によって検出された乗員の目の位置、及び第２検出手段によって検出された乗員の手の位置に基づいて操作対象機器が決定される。例えば、請求項３に記載の発明のように、乗員の目の位置と手の位置とを結ぶ線分の延長線上に存在する機器を操作対象機器として決定するようにしてもよい。

そして、第２検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように、決定した操作対象機器が制御される制御手段によって制御される。

すなわち、乗員は、操作対象機器をちら見して、操作対象機器方向に向かってジェスチャ操作するだけで、制御手段が、操作対象機器を決定してジェスチャ操作に対応する操作を行うように、操作対象機器を制御するので、操作対象を注視することなく、ちら見程度でジェスチャ操作によって操作対象機器を操作することができる。

例えば、請求項２に記載の発明のように、第１検出手段が、撮影手段の撮影結果から乗員の視線を更に検出して、制御手段が、予め定めた複数の操作対象機器の中から第１検出手段によって検出した視線の先に存在する操作対象機器候補を抽出する抽出手段を含み、抽出手段によって抽出された操作対象機器候補の中から、第１検出手段によって検出された乗員の目の位置、及び第２検出手段によって検出された乗員の手の位置に基づいて操作対象機器を決定するようにしてもよい。これにより、操作対象機器を容易に特定することが可能となる。

また、請求項４に記載の発明のように、制御手段によって決定した操作対象機器を表す情報を報知する報知手段を更に備えるようにしてもよい。これによって、制御手段によって決定した操作対象機器が適正か否かを報知手段によって確認することができる。

なお、本発明は、請求項５に記載の発明のように、コンピュータを、請求項１〜４の何れか１項に記載のジェスチャ操作装置の前記第１検出手段、前記第２検出手段、及び前記制御手段として機能させるためのジェスチャ操作プログラムとしてもよい。

以上説明したように本発明によれば、操作対象を注視することなく、ちら見程度で操作することが可能なジェスチャ操作装置及びジェスチャ操作プログラムを提供することができる、という効果がある。

本発明の第１実施形態に係るジェスチャ操作装置の概略を示す図である。本発明の第１実施形態に係るジェスチャ操作装置の構成を示すブロック図である。（Ａ）はちら見による操作対象機器の抽出を説明するための図であり、（Ｂ）は目の位置と手の位置の延長線上にある操作対象機器の一例を示す図である。本発明の第１実施形態に係るジェスチャ操作装置におけるジェスチャ操作ＥＣＵのＲＯＭに記憶されたジェスチャ操作プログラムを実行することによって行われる処理の流れの一例を示すフローチャートである。本発明の第２実施形態に係るジェスチャ操作装置の構成を示すブロック図である。報知機器（ヘッドアップディスプレイ及び光源）を示す図である。本発明の第２実施形態に係るジェスチャ操作装置におけるジェスチャ操作ＥＣＵのＲＯＭに記憶されたジェスチャ操作プログラムを実行することによって行われる処理の流れの一例を示すフローチャートである。

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。

（第１実施形態）

図１は、本発明の第１実施形態に係るジェスチャ操作装置の概略を示す図であり、図２は、本発明の第１実施形態に係るジェスチャ操作装置の構成を示すブロック図である。

本実施形態に係るジェスチャ操作装置１０は、ジェスチャ操作によって自動車に搭載された各種機器を操作するものである。ジェスチャ操作装置１０のジェスチャ操作の操作対象機器２２としては、例えば、ディスプレイ２２Ａや、インストルメントパネルに設けられたインパネスイッチ（例えば、ヒータコントローラ、ミラースイッチ、エアコンスイッチ、オーディオの操作スイッチ等の各種スイッチ）２２Ｂを適用することができる。

ジェスチャ操作装置１０は、乗員（運転者）のジェスチャ操作を検出するためのジェスチャ操作検出用カメラ１４、及び乗員（運転者）の視線を検出する視線検出用カメラ１８を備えている。

ジェスチャ操作検出用カメラ１４は、ジェスチャ操作を検出すると共に、手の位置を検出するために、ステレオカメラによって撮影が行われる。ジェスチャ操作検出用カメラ１４は、例えば、図１に示すように、ルームミラーのベース部分に設けられ、インストルメントパネルに設けられたインパネスイッチ２２Ｂやディスプレイ２２Ａ等の操作対象機器２２の方向を撮影するように、車両のルーフ側から下方向に向けて配置されている。なお、ジェスチャ操作検出用カメラ１４は、本実施形態では、ステレオカメラを適用して３次元撮影が可能なものを適用するが、これに限るものではなく、例えば、単眼カメラと距離センサ等を併用して、ジェスチャ操作及び手の位置を検出するようにしてもよい。

また、視線検出用カメラ１８は、乗員の顔を撮影して、撮影画像から目の位置を検出すると共に、視線を検出するために、単眼のカメラによって撮影が行われる。視線検出用カメラ１８は、例えば、図１に示すように、運転者側のルーフに、運転者側に向けられて配置されている。なお、ジェスチャ操作検出用カメラ１４に隣接して設けるようにしてもよい。

ジェスチャ操作の検出や視線検出は、周知の各種技術を適用して検出することができる。また、本実施形態では、ジェスチャ操作検出用カメラ１４と視線検出用カメラ１８をそれぞれ別に設ける構成として説明するが、例えば、ステレオカメラ１つでジェスチャ操作と視線を共に検出するようにしてもよい。或いは、単眼カメラと距離センサを用いてジェスチャ操作と視線を共に検出するようにしてもよい。

ジェスチャ操作装置１０は、ジェスチャ操作ＥＣＵ（Electronic Control Unit）１２を備えており、乗員のジェスチャ操作に応じてジェスチャ操作ＥＣＵ１２が操作対象機器２２の操作を制御するようになっている。

ジェスチャ操作ＥＣＵ１２は、ＣＰＵ１２Ａ、ＲＯＭ１２Ｂ、ＲＡＭ１２Ｃ、及びＩ／Ｏ（入出力インターフェース）１２Ｄがバス１２Ｅに接続されたマイクロコンピュータで構成されている。

Ｉ／Ｏ１２Ｄには、ジェスチャ操作検出用ＥＣＵ１６、視線検出用ＥＣＵ２０、及び複数の操作対象機器２２（２２Ａ、２２Ｂ・・・）が接続されている。

ジェスチャ操作検出用ＥＣＵ１６には、上述のジェスチャ操作検出用カメラ１４が接続されており、ジェスチャ操作検出用カメラ１４の撮影結果が入力される。ジェスチャ操作検出用ＥＣＵ１６は、ジェスチャ操作検出用カメラ１４の撮影結果から、乗員の手の位置及びジェスチャ操作を検出して、検出結果をジェスチャ操作ＥＣＵ１２へ出力する。ジェスチャ操作としては、操作内容毎にジェスチャ操作を予め定めて記憶しておくことにより、対応するジェスチャ操作をパターンマッチング等によって検出する。なお、ジェスチャ操作としては、例えば、手振りや、サイン、手形状など手で行うことができる動作全般とすることができる。

視線検出用ＥＣＵ２０には、上述の視線検出用カメラ１８が接続されており、視線検出用カメラ１８の撮影結果が入力される。視線検出用ＥＣＵ２０は、視線検出用カメラ１８の撮影結果から、乗員の目の位置及び視線を検出して、検出結果をジェスチャ操作ＥＣＵ１２へ出力する。

ジェスチャ操作ＥＣＵ１２のＲＯＭ１２Ｂにジェスチャ操作用プログラムや、操作対象機器２２の位置等が予め記憶されており、ＲＯＭ１２Ｂに記憶されたジェスチャ操作用プログラムをＲＡＭ１２Ｃに展開してＣＰＵ１２Ａが実行することにより、ジェスチャ操作に対応する動作を行うように操作対象機器２２を制御する。

具体的には、乗員は、図３（Ａ）の実線矢印で示すように、前方を注視して運転しているが、操作を行う場合に、図３（Ａ）の点線矢印で示すように、操作対象機器２２をちら見する。

視線検出用カメラ１８及び視線検出用ＥＣＵ２０が乗員の目の位置及び視線を検出して、検出結果をジェスチャ操作ＥＣＵ１２に出力する。そして、ジェスチャ操作ＥＣＵ１２が、図３（Ａ）の点線矢印で示すように、ちら見の視線先に存在する操作対象機器候補を複数抽出する。例えば、図１に示すように、ちら見（図１の一点鎖線矢印）先には、ディスプレイ２２Ａとインパネスイッチ２２Ｂが存在するので、これらの機器を操作対象候補として抽出する。

続いて、乗員は、図３（Ｂ）に示すように、ちら見によって確認した操作対象機器に向かって操作指示に対応して予め定めたジェスチャ操作を乗員が行う。

ジェスチャ操作検出用カメラ１４及びジェスチャ操作検出用ＥＣＵ１６が乗員の手の位置及びジェスチャ操作を検出して、検出結果をジェスチャ操作ＥＣＵ１２に出力する。

そして、ジェスチャ操作ＥＣＵ１２が、操作対象候補の中から、図３（Ｂ）に示すように、乗員の目の位置と乗員の手の位置の延長線上に存在する機器を操作対象機器２２に決定して、検出したジェスチャ操作に対応する動作を行うように、決定した操作対象機器２２を制御する。図３（Ｂ）の例では、インパネスイッチ２２Ｂが操作対象機器２２として決定された例を示す

すなわち、本実施形態に係るジェスチャ操作装置１０では、操作対象機器２２を注視することなく、ちら見とジェスチャ操作だけで操作対象機器を操作することができる。

続いて、上述のように構成された本発明の第１実施形態に係るジェスチャ操作装置１０で行われる具体的な処理例について説明する。図４は、本発明の第１実施形態に係るジェスチャ操作装置１０におけるジェスチャ操作ＥＣＵ１２のＲＯＭ１２Ｂに記憶されたジェスチャ操作プログラムを実行することによって行われる処理の流れの一例を示すフローチャートである。なお、図４の処理は、例えば、イグニッションスイッチがオン、或いは、イグニッションスイッチがアクセサリオンの状態にされた場合に開始し、イグニッションスイッチがオフされた場合に終了する。

ステップ１００では、視線検出が行われてステップ１０２へ移行する。すなわち、視線検出用カメラ１８によって乗員を撮影して、視線検出用ＥＣＵ２０が撮影結果から視線を検出する処理を行って検出結果をジェスチャ操作ＥＣＵ１２に出力する。

ステップ１０２では、操作対象機器への視線の移動があったか否か判定される。該判定は、視線検出用ＥＣＵ２０によって検出された視線に基づいて、ジェスチャ操作ＥＣＵ１２が予め定めた操作対象機器２２が存在する方向への視線の移動があったか否かを判定し、該判定が肯定された場合にはステップ１０４へ移行し、否定された場合には一連の処理がリターンされる。

ステップ１０４では、操作対象機器候補がジェスチャ操作ＥＣＵ１２によって抽出されてステップ１０６へ移行する。すなわち、視線検出用ＥＣＵ２０によって検出されたちら見の視線先に存在する操作対象候補を抽出する。例えば、図１の一点鎖線矢印で示すように、ちら見先にディスプレイ２２Ａとインパネスイッチ２２Ｂが存在する場合には、これらを操作対象機器候補として抽出する。

ステップ１０６では、目の位置が検出されてステップ１０８へ移行する。すなわち、視線検出用カメラ１８によって乗員を撮影して、視線検出用ＥＣＵ２０が撮影結果から乗員の目の位置を検出する処理を行って検出結果をジェスチャ操作ＥＣＵ１２に出力する。

ステップ１０８では、手の位置が検出されてステップ１１０へ移行する。すなわち、ジェスチャ操作検出用カメラ１４によって乗員を撮影して、ジェスチャ操作検出用ＥＣＵ１６が撮影結果から乗員の手の位置を検出する処理を行って検出結果をジェスチャ操作ＥＣＵ１２に出力する。

ステップ１１０では、操作対象機器の決定が行われてステップ１１２へ移行する。すなわち、乗員の目の位置と乗員の手の位置の延長線上に位置する操作対象候補をジェスチャ操作ＥＣＵ１２が特定することにより、特定した操作対象機器候補を操作対象に決定する。

ステップ１１２では、ジェスチャ操作が検出されてステップ１１４へ移行する。すなわち、ジェスチャ操作検出用カメラ１４によって乗員を撮影して、ジェスチャ操作検出用ＥＣＵ１６が撮影結果からジェスチャ操作を検出する処理を行って検出結果をジェスチャ操作ＥＣＵ１２に出力する。

ステップ１１４では、ジェスチャ操作を認識したか否かジェスチャ操作ＥＣＵ１２によって判定される。該判定は、ステップ１１２において、予め定めたジェスチャ操作を検出できたか否かを判定し、該判定が肯定された場合にはステップ１１６へ移行し、否定された場合には、ステップ１１８へ移行する。

ステップ１１６では、ステップ１１０で決定した操作対象機器２２に対してステップ１１２で検出したジェスチャ操作に対応する操作指示をジェスチャ操作ＥＣＵ１２が行う。これによって、ジェスチャ操作によって操作対象機器を操作することができる。

また、ステップ１１８では、予め定めたジェスチャ操作エラー処理が行われて一連の処理がリターンされる。ジェスチャ操作エラー処理としては、例えば、ジェスチャ操作を認識できなかったことを表すアラーム出力や、音声出力、表示等を行う。

（第２実施形態）

続いて、本発明の第２実施形態に係るジェスチャ操作装置について説明する。図５は、本発明の第２実施形態に係るジェスチャ操作装置の構成を示すブロック図である。なお、第１実施形態と同一構成については同一符号を付して詳細な説明を省略する。

本実施形態のジェスチャ操作装置１１は、第１実施形態に対して、操作対象を決定したときに、操作対象を表す情報を報知する報知機器を更に備えた構成とされている。

すなわち、図５に示すように、ジェスチャ操作ＥＣＵ１２のＩ／Ｏ１２Ｄに報知機器２４が第１実施形態のジェスチャ操作装置１０に対して更に接続されている。その他の構成については、第１実施形態と共通とされている。

報知機器２４としては、例えば、図６に示すように、フロントウインドガラス等に画像を投影する投影部を有して当該投影部に画像を投影する、所謂ヘッドアップディスプレイ２４Ａを適用することができる。ヘッドアップディスプレイ２４Ａを適用した場合には、決定した操作対象機器２２を表す情報（例えば、操作対象機器毎に予め定めた色を表示するようにしてもよいし、操作対象機器をテキスト表示するようにしてもよい。或いは、報知機器２４は、図６に示すように、ルーフ等に設けたＬＥＤ等の異なる色をジェスチャ操作している手に照射可能な光源２４Ｂを適用することもできる。光源２４Ｂを適用する場合には、例えば、ジェスチャ操作する手に向けて、操作対象機器２２毎に色を予め定めておき、操作対象機器２２に対応して予め定めた色の光を照射することにより、手に照射された光の色を確認することで、決定した操作対象機器２２が操作しようとした機器か否かを乗員が認識することができる。

続いて、本発明の第２実施形態に係るジェスチャ操作装置１１で行われる具体的な処理例について説明する。図７は、本発明の第２実施形態に係るジェスチャ操作装置１１におけるジェスチャ操作ＥＣＵ１２のＲＯＭ１２Ｂに記憶されたジェスチャ操作プログラムを実行することによって行われる処理の流れの一例を示すフローチャートである。なお、図７の処理は、例えば、イグニッションスイッチがオン、或いは、イグニッションスイッチがアクセサリオンの状態にされた場合に開始し、イグニッションスイッチがオフされた場合に終了する。また、第１実施形態と同一処理については同一符号を付して説明する。

ステップ１１０では、操作対象機器の決定が行われてステップ１１１へ移行する。すなわち、乗員の目の位置と乗員の手の位置の延長線上に位置する操作対象候補をジェスチャ操作ＥＣＵ１２が特定することにより、特定した操作対象機器候補を操作対象に決定する。

ステップ１１１では、決定した操作対象機器が報知機器２４によって乗員に報知されてステップ１１２へ移行する。例えば、報知機器２４としてヘッドアップディスプレイ２４Ａを適用した場合には、操作対象機器毎に色を予め定めて、決定した操作対象機器２２に対応する色を表示したり、操作対象機器２２が何であるかをテキスト表示したりすることにより、操作対象機器が適切な機器が選択されたか否かを確認することができる。或いは、報知機器２４として光源２４Ｂを適用した場合には、操作対象機器毎に色を予め定めて、決定した操作対象機器２２に対応する色を乗員のジェスチャ操作をしている手に照射することで、手に照射されて光の色によって操作対象機器を認識することができる。或いは、報知機器２５として音声出力装置等を適用して、音声により決定した操作対象機器２２を報知するようにしてもよい。

なお、上記の実施の形態では、ジェスチャ操作の操作対象機器２２の一例として、インストルメントパネルに設けられたディスプレイ２２Ａや、インパネスイッチ２２Ｂを一例として挙げたが、操作対象装置は、これに限るものではなく、例えば、ドアトリムに設けたパワーウインドスイッチや、ドアミラースイッチ等を操作対象機器として適用するようにしてもよい。

また、上記の実施の形態では、運転者によるジェスチャ操作を対象として説明したが、助手席等の乗員によるジェスチャ操作についても同様に制御するようにしてもよい。

また、上記の実施の形態では、視線を検出して操作対象機器候補を抽出してから、手の位置及び目の位置に基づいて操作対象機器を決定するようにしたが、操作対象機器候補の抽出を行わずに、手の位置及び目の位置のみに基づいて、操作対象機器を決定するようにしてもよい。

１０ジェスチャ操作装置
１２ジェスチャ操作ＥＣＵ
１４ジェスチャ操作検出用カメラ
１６ジェスチャ操作検出用ＥＣＵ
１８視線検出用カメラ
２０視線検出用ＥＣＵ
２２操作対象機器
２２Ａディスプレイ
２２Ｂインパネスイッチ
２４報知機器
２４Ａヘッドアップディスプレイ
２４Ｂ光源

Claims

乗員を撮影する撮影手段と、
前記撮影手段の撮影結果から乗員の目の位置を検出する第１検出手段と、
前記撮影手段の撮影結果から乗員の手の位置及びジェスチャ操作を検出する第２検出手段と、
予め定めた複数の操作対象機器の中から第１検出手段によって検出された乗員の目の位置、及び第２検出手段によって検出された乗員の手の位置に基づいて操作対象機器を決定し、前記第２検出手段によって検出されたジェスチャ操作に対応する予め定めた操作を行うように、決定した操作対象機器を制御する制御手段と、
を備えたジェスチャ操作装置。
前記第１検出手段が、前記撮影手段の撮影結果から乗員の視線を更に検出し、
前記制御手段が、予め定めた複数の操作対象機器の中から前記第１検出手段によって検出した視線の先に存在する操作対象機器候補を抽出する抽出手段を含み、前記抽出手段によって抽出された前記操作対象機器候補の中から、第１検出手段によって検出された乗員の目の位置、及び第２検出手段によって検出された乗員の手の位置に基づいて操作対象機器を決定する請求項１に記載のジェスチャ操作装置。
前記制御手段は、乗員の目の位置と手の位置とを結ぶ線分の延長線上に存在する機器を操作対象機器に決定する請求項１又は請求項２に記載のジェスチャ操作装置。
前記制御手段によって決定した操作対象機器を表す情報を報知する報知手段を更に備えた請求項１〜３の何れか１項に記載のジェスチャ操作装置。
コンピュータを、請求項１〜４の何れか１項に記載のジェスチャ操作装置の前記第１検出手段、前記第２検出手段、及び前記制御手段として機能させるためのジェスチャ操作プログラム。