JP2013134549A - データ入力装置およびデータ入力方法 - Google Patents

Abstract

【課題】操作者が様々な姿勢をとっていたり、様々な位置にいたりしても操作可能なデータ入力装置を提供すること。
【解決手段】距離情報を取得する距離情報取得部と、少なくとも距離情報に基づき、操作者の手の動作を検出し、検出した動作を示す情報を出力する動作検出部とを備えたデータ入力装置であって、動作検出部は、略水平な基準入力平面に対する手の動作を検出し、距離情報取得部は、当該データ入力装置の出力に応じた画像が表示される表示装置の表示面と略同一平面上に設置され、距離情報取得部が取得する距離情報は、当該距離情報取得部から、基準入力平面に対して鋭角の角度をなす方向の距離を示すことを特徴とする。
【選択図】図１

Description

本発明は、データ入力装置およびデータ入力方法に関する。

従来、パーソナルコンピュータをはじめとする様々な電子機器の操作には、キーボードやマウスといった物理的な入力装置が使用されてきたが、近年ではこれらの物理的入力装置を使用せずに機器を操作する手法が考案されている。
このような入力装置の一つとして、デジタルビデオカメラにより指先の位置検出を行い、そこを基準として仮想キーボードを設定し、指先の動きに応じて操作者が操作を意図した仮想キーを検出し、その仮想キーに対応するキーコードを発生する入力装置がある（特許文献１参照）。
また、投影面の状況に応じて生成したキーボード像を仮想キーボードとして投影面に投影し、２台以上の画像撮影手段により撮影データを解析することにより、操作者の操作による入力データを生成するデータ入力装置がある（特許文献２参照）。
また、手の領域と背景領域に分割し、様々な手及び指のジェスチャを認識することにより、クリック、選択、実行などの視覚ディスプレイを操作するためのコントロールパラメータを割り当てる視覚ディスプレイのためのバーチャルコントローラがある（特許文献３参照）。

特開２００３−２８８１５６号公報 特開２００８−１２３３１６号公報 特表２０１０−５００６４５号公報

しかしながら、上述のような入力装置においては、操作者の姿勢や位置によっては、手の動作の認識が適切に行えず、機器操作が困難になることがあるというという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、操作者が様々な姿勢をとっていたり、様々な位置にいたりしても操作可能なデータ入力装置およびデータ入力方法を提供することにある。

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、距離情報を取得する距離情報取得部と、少なくとも前記距離情報に基づき、操作者の手の動作を検出し、検出した前記動作を示す情報を出力する動作検出部とを備えたデータ入力装置であって、前記動作検出部は、略水平な基準入力平面に対する手の動作を検出し、前記距離情報取得部は、当該データ入力装置の出力に応じた画像が表示される表示装置の表示面と略同一平面上に設置され、前記距離情報取得部が取得する前記距離情報は、当該距離情報取得部から、前記基準入力平面に対して鋭角の角度をなす方向の距離を示すことを特徴とする。

（２）また、本発明の他の態様は、上述のデータ入力装置であって、前記基準入力平面上に入力領域を設定する入力領域設定部を更に備え、前記動作検出部は、前記入力領域に対する手の動作を検出することを特徴とする。

（３）また、本発明の他の態様は、上述のデータ入力装置であって、前記入力領域設定部は、複数の前記入力領域を設定し、前記動作検出部は、前記複数の入力領域毎に、該入力領域に対する前記手の動作の検出を行うことを特徴とする。

（４）また、本発明の他の態様は、上述のデータ入力装置であって、前記動作検出部は、前記検出した動作を示す情報に加えて、該検出した動作が対象とした前記入力領域を示す情報を出力することを特徴とする。

（５）また、本発明の他の態様は、上述のいずれかのデータ入力装置であって、前記動作検出部は、前記設定した入力領域内に操作者の手があるか否かを検出し、前記検出結果を出力して、操作者に通知させることを特徴とする。

（６）また、本発明の他の態様は 上述のいずれかのデータ入力装置であって、前記入力領域における操作方向を判定する操作方向判定部を更に備え、前記操作方向判定部によって判定された方向に従い、前記動作検出部により検出された動作を判別する事を特徴とする。

（７）また、本発明の他の態様は、上述のいずれかのデータ入力装置であって、前記距離情報取得部は、複数のカメラを備え、前記複数のカメラが出力する画像間の視差を算出し、該視差を表す情報を、前記距離情報とすることを特徴とする。

（８）また、本発明の他の態様は、距離情報を取得する距離情報取得部を備えるデータ入力装置であって、当該データ入力装置の出力に応じた画像が表示される表示装置の表示面と略同一平面上に設置され、前記距離情報は、当該距離情報取得部から、前記基準入力平面に対して鋭角の角度をなす方向の距離を示すデータ入力装置におけるデータ入力方法であって、少なくとも前記距離情報に基づき、操作者の手の動作であって、略水平な基準入力平面に対する動作を検出し、検出した前記動作を示す情報を出力するステップを有することを特徴とする。

この発明によれば、操作者が様々な姿勢をとっていたり、様々な位置にいたりしても操作可能である。

本発明の第１の実施形態に係るテレビ会議システムの構成を示す概略ブロック図である。 本実施形態に係るカメラ配置について説明するための図である。 本実施形態に係る左右カメラ画像の例を示す図である。 本実施形態に係るブロックマッチング処理を説明する図である。 エピポーラ線を説明する図である。 本実施形態に係るウインドウ１１４を説明する図である。 本実施形態に係るウインドウ１１５を説明する図である。 本実施形態に係る距離情報の例を示す図である。 本実施形態に係る入力領域の設定方法を説明する図である。 本実施形態に係る入力領域対する動作を説明する図である。 本実施形態に係るカメラ画像と距離情報とを用いた動作検出を説明する図である。 本実施形態に係る操作者の位置の例を示す図である。 本実施形態に係るカメラ画像の別の例を示す図である。 本発明の第２の実施形態に係るタブレット端末の使用環境例を示す図である。 本実施形態に係るタブレット端末の構成を示す概略ブロック図である。 本実施形態に係るタブレット端末に表示するマーカーの例を示す図である。

（第１の実施形態）
本発明の第１の実施形態について、図面を参照しながら説明する。図１は、本発明の実施形態におけるテレビ会議システムの構成を示すブロック図である。図１に示すように、本実施形態におけるテレビ会議システム１０は、表示装置１０１、データ入力装置１００、操作者の動作に応じて表示装置１０１上の表示データを制御する表示制御部１０７を含んで構成される。本実施形態におけるデータ入力装置１００は、表示装置１０１の上部に左右に並べて配置された２つのカメラ１０２、１０３、２つのカメラ画像から距離情報を算出する距離情報算出部１０４、カメラ画像と距離情報から操作者の動作を検知する領域を特定する入力領域設定部１０５、カメラ画像と距離情報を元に操作者の動作を検出する動作検出部１０６を含んで構成される。なお、カメラ１０２は、左側視点のカメラ（左カメラ）であり、カメラ１０３は、右側視点のカメラ（右カメラ）である。本実施形態では、カメラ１０２、１０３と距離情報算出部１０４とで、距離情報取得部を構成する。

図１では、会議用の机１０８があり、その机に向かって会議の参加者であるテレビ会議システム１０の操作者１１１が２名存在する。机１０８の上面は、略水平であり、基準入力平面である。データ入力装置１００は、まず２つのカメラ１０２、１０３から机１０８の机上を含む画像を取得する。この際、２つのカメラ１０２、１０３は、それぞれの光軸が平行になるように設置されているのに加え、光軸と基準入力平面との角度が鋭角となるように設置される。図２はこれを示した図であり、図１を横から見た図である。図中にはカメラ１０３のみが記載されているが、この奥にカメラ１０２が存在する。図２において、線Ｌ１は、カメラ１０２、１０３の光軸である。机１０８は水平に設置されており、その机上面にある基準入力平面は水平面である。このように水平面に対する光軸Ｌ１の角度が、鋭角である傾きＡとなるようにカメラ１０２、１０３を設置している。このように設置する事により、図３に示すように斜め上方から机が存在する領域を撮影する事となる。これにより、図１のように会議の参加者が複数人である場合などでも、カメラ１０２、１０３が撮影したカメラ画像内で、各参加者の手が重なってしまうことを防ぐとともに、表示装置１０１と一体化して設置することも可能になり、テレビ会議システム１０の可搬性を損なわないようにすることができる。
また、２つのカメラは表示装置１０１の表示面と略同一平面上に配置される。ここでの略同一平面とは、表示面に近い位置に設置する事を示しており、例えばアーム等により表示装置１０１に接続され、表示面より多少の距離をもっていても良い。また、ここでは表示装置１０１の上側に配置しているが、ディスプレイサイズの大きさや操作者の条件によっては、横など他の場所に設置しても良い。

図３は、カメラ１０２、１０３によるカメラ画像の例を示す図である。図３において画像Ｇ１は、左カメラであるカメラ１０２が撮影した画像であり、画像Ｇ２は、右カメラであるカメラ１０３が撮影した画像である。画像Ｇ１、Ｇ２中には、机１０８が映っている。画像Ｇ１、Ｇ２にそれぞれ記載されている黒丸は机の同一部分を示している。画像Ｇ１とＧ２とで視点位置が異なるため、この同一部分は、画像Ｇ１とＧ２とで異なる位置に撮影されている。この机の同一部分同士の横方向における座標の差分ｄが視差である。視差とは、視点位置の違いにより起こる、２つの画像における各画像内の対応点同士の位置ずれ量を示す。カメラ１０２、１０３によって撮影されたカメラ画像は、図１に示した距離情報算出部１０４へと送られ、距離算出部１０４はこれらの画像について視差を算出する。

ここで、距離算出部１０４による視差の算出方法について記載する。視差を算出する方法としては、公知の方法であるステレオマッチングを用いる。また、ステレオマッチングには、ＳＡＤ（Sum of Absolute Differences）やＳＳＤ（Sum of Squared Difference）と呼ばれる手法があり、いずれの方法を用いてもよいが、本実施形態ではＳＡＤを用いる。

図４をもちいて、ＳＡＤによるブロックマッチングを説明する。図４に示す左画像１１２と右画像１１３において、エピポーラ線は一致しているものとし、左右画像上の対応点は水平方向に同一ライン上にあるものとして、距離算出部１０４は対応点探索を行う。エピポーラ線とは、２つのカメラがあった場合に、図５に示すように空間中の特徴点１１９と、２つのカメラのレンズ中心１１７、１１８の３点によってできる平面（エピポーラ平面）１２０と、それぞれのカメラの画像平面１２１、１２２との交線が対応する線であり、図では１２３、１２４で示す点線となる。カメラの光軸が平行になるようにカメラを配置する平行配置の場合は、このエピポーラ線１２３，１２４は、同じ高さの水平な直線となる。このような場合、２つの画像において１ライン上で対応点探索を行えばよい。本実施形態において、２つのカメラ１０２、１０３は平行配置であるので、距離算出部１０４は、２つの画像で上下方向に同じ位置のライン同士で対応点探索を行えばよいこととなる。

図４に戻って、距離算出部１０４は、対応点探索を行う際に、左画像１１２上で視差を算出したい画素を中心に３画素×３画素のサイズを持つウインドウ１１４を設定する。ウインドウ１１４は、左画像１１２の右端からＬ画素の位置とする。右画像１１３において、このウインドウ１１４と同一ライン上で画像右端からＬ+ｄ２の距離離れた位置のウインドウ１１５から、画像右端からＬの位置にあるウインドウ１１６まで、１画素ずつウインドウの位置をずらしながら左画像のウインドウ１１４に対する相関値を計算することにより、対応点を特定する。

図６、図７は、それぞれウインドウ１１４、１１５を示しておりＸ_０、Ｘ_a０などＸやＸ_aに数値を付与した記号は、各画素における画素値（ここでは、Ｇ（緑）の輝度値）を示している。図６に示すように、ウインドウ１１４の各画素の画素値は、最上段の左側の画素から順に画素値Ｘ_０、Ｘ_１、Ｘ_２、次に真ん中の段の左側の画素から順に画素値Ｘ_３、Ｘ_４、Ｘ_５、次に最下段の左側の画素から順に画素値Ｘ_６、Ｘ_７、Ｘ_８である。同様に、図７に示すように、ウインドウ１１５の各画素の画素値は、最上段の左側の画素から順に画素値Ｘ_a０、Ｘ_a１、Ｘ_a２、次に真ん中の段の左側の画素から順に画素値Ｘ_a３、Ｘ_a４、Ｘ_a５、次に最下段の左側の画素から順に画素値Ｘ_a６、Ｘ_a７、Ｘ_a８である。距離算出部１０４は、式（１）を用いて、ウインドウ１１４とウインドウ１１５の相関値であるＳＡＤ値を算出する。

距離算出部１０４は、ウインドウ１１４を固定したまま、右画像１１３上でウインドウ１１５を、ウインドウ１１６の位置まで移動させながら、ＳＡＤ値を算出していく。そして、ＳＡＤ値が最も小さくなったときのウインドウ１１５の中心をウインドウ１１４の中心画素に対する対応点とする。距離算出部１０４は、この対応点と、ウインドウ１１４の中心画素との間の距離を算出し、ウインドウ１１４の中心画素の視差とする。距離算出部１０４は、このような操作を、左画像１１２の全ての画素に対して行う事で、左画像１１２の視差マップを算出する。なお、視差マップとは、画像の各画素に対して視差を算出し、各画素における視差を示す値を画素値としたものである。

なお、ここでは、ウインドウ１１４、１１５のウインドウサイズは３画素×３画素としたが、３画素×５画素、５画素×５画素、９画素×９画素などより大きくてもよい。また、ウインドウの重心位置が中央からはずれるが４画素×４画素などの偶数のウインドウでもよく、これらのサイズに限定するものではない。探索範囲であるｄ２はカメラ基線長や被写体の距離などの条件に従い、自由に設定する事が可能である。また、探索方向もここではウインドウ１１５からウインドウ１１６の方向へ探索を行っているが、左画像１１２を基準に探索している為であり、この方向に限定するものではない。また、図６、図７にてＸ_０等の画素値はＧの画素値としたが、Ｒ（赤）やＢ（青）など他の色のどれか一つや合計値、あるいは各画素の輝度値、またＲＧＢ３色全てを用いてもよく、これに限定されるものではない。

本実施形態における距離情報は、距離算出部１０４が算出した視差である。視差は、カメラからその光軸方向の距離が近いほど大きく、距離が遠いほど小さくなるため、カメラからの光軸方向の距離に対応した情報である。なお、視差はカメラの基線長などカメラパラメータを元に実際の距離に変換することも可能であり、距離算出部１０４で実際の距離に変換しても良いが、本実施形態では、距離に変換せず視差をそのまま距離情報として扱う。

左側視点のカメラ１０２のカメラ画像に対応する視差マップを画像で表した物を図８に示す。図８は、視差マップを示す画像であり、画素値が視差を表す。すなわち、視差が大きいほど画素値が大きくなっており、画像を表示した際の輝度が大きく明るく表示される。図８では、机１０８の手前が大きな画素値、奥が小さな画素値になっており、手前から奥側に向けて暗くなっている事がわかる。なお、机１０８の表面は、視差を検出できるように木目などの模様が描かれている方が望ましい。机１０８の表面が無地であり、ＳＡＤによる視差算出でＳＡＤ値が最小となる対応点が複数検出され視差の検出が困難であるときは、カメラ画像内での机の左右の端について視差を検出し、これらの間を線形補間することで、視差を算出するようにしてもよい。机の左右端は背景がブロック内に映りこむことから、視差の算出が可能である為である。図１の距離算出部１０４は、左側視点のカメラ１０２のカメラ画像と、該カメラ画像に対応する視差マップ（距離情報）を入力領域設定部１０５へ送る。

入力領域設定部１０５は、テレビ会議システム１０の操作者１１１による入力動作を検知する入力領域を操作者１１１ごとに設定する。入力領域設定部１０５は、設定した入力領域までの距離と、カメラ画像中での位置とを示す情報を、入力領域を示す情報として動作検出部１０６に出力する。以下に説明するように、本実施形態において、入力領域は机１０８上の矩形の領域であり、入力領域設定部１０５は、該矩形の領域の各頂点における視差と、カメラ画像中での座標とを、入力領域を示す情報として出力する。また、入力領域設定部１０５は入力領域を示す情報に加え、距離情報算出部１０４が出力した距離情報と、カメラ画像とを、そのまま動作検出部１０６に出力する。

図１に示すように、２名の操作者１１１がいる場合、操作者１１１それぞれの前面机１０８上に入力領域１０９、１１０を設定する。入力領域１０９、１１０は各操作者１１１が自由に設定する。テレビ会議システム１０起動時に入力領域が未設定の場合は、入力領域設定部１０５は、表示制御部１０７を通して表示装置１０１に入力領域の設定を促す表示を行う。入力領域設定部１０５は、各操作者１１１が机１０８上を指で囲むようにして指定した領域を検出して、該領域を入力領域とする。

図９は、入力領域設定時のカメラ画像の例を示す図である。点線で示した手Ｈ１ａ、Ｈ２ａが設定する入力領域１０９、１１０の開始位置であり、終了位置である手Ｈ２ａ、Ｈ２ｂまで動かしたときの指先が描く軌跡が、入力領域１０９、１１０の外縁となる。すなわち、手を動かしていくと、入力領域設定部１０５は、距離情報算出部１０４が出力したカメラ画像と距離情報から、時間方向に指先の動きを追従して、指先が描く軌跡を検出する。そして、入力領域設定部１０５は、該軌跡で囲まれた領域１０９、１１０を入力領域として設定する。

入力領域設定部１０５は、領域の設定入力開始と終了を明確にするために、開始時と終了時に例えば手をひらいて手のひらをカメラ１０２、１０３に向かってかざすといった特定の動作をトリガーとして検知するようにしてもよい。例えば、入力領域設定部１０５は、トリガーとなる動作を検知後、画像と距離情報から机１０８上に指が触れたことを検知した場合に、そこを入力領域の開始位置とする。そして、指を机上から離した位置までの軌跡を元に入力領域を設定し、終了の動作をトリガーとして入力領域の設定を終了する。これにより、意図しない動作を入力領域設定の動作として誤認識してしまう事を防止し、設定の信頼度を向上する事が出来る。なお、ここでは開始、終了共にトリガーとなる動作を検知する例を示したが、どちらか片方であっても良い。また、特定の動作はここに示した物に限らず、あらかじめ決められた時間（例えば３秒間）手を動かさないことをトリガーとする等の動作であってもよい。操作者１１１ごとに入力領域の設定を促す表示を行い、順次上記のような方法により設定を行ってもよい。

動作検出部１０６には、入力領域設定部１０５から入力領域を示す情報と、左カメラ画像と、距離情報（視差マップ）とが送られてくる。動作検出部１０６は、これらの情報を元に操作者１１１の動作を検出する。まず、動作検出部１０６は、入力領域設定部１０５で設定した入力領域１０９、１１０に操作者１１１の手があるか否かを判定する。動作検出部１０６は、入力領域１０９、あるいは入力領域１１０内部に手があると判定した場合、その動作を検出し、検出した動作を示す情報を表示制御部１０７へと送る。

動作検出部１０６が検出する動作と、検知結果として表示制御部１０７に出力する情報との組合せとしては、例えば、机１０８に指を接したままでの入力領域１０９、１１０内の移動と、該移動の移動方向および移動量を示すベクトルとがある。また、入力領域１０９、１１０内での指による机１０８上へのタップ（短い時間触れて離す動作）や長押しと、該タップや長押しをした位置を示す座標とがある。また、図１０を参照して説明するように、指を机１０８から離してから一定時間内に戻す動作と、該動作を行った位置を示す座標とがある。また、動作検出部１０６は、表示制御部１０７に出力する情報として、いずれの入力領域１０９、１１０にて検出した動作であるかを示す情報を含めてもよい。表示制御部１０７は、該情報に基づき、操作者１１１毎にポインタを表示するなどの制御を行うことができる。

図１０は、動作検出部１０６が検知する動作の例を説明する図である。図１０に示すように操作者１１１が領域１０９内において指先を机１０８に付けたまま、手Ｈ１ｃを記号Ａで示す矢印の方向（操作者１１１から見て右側）に動かしたとする。動作検出部１０６は、その移動方向、移動量を検知し、その情報を表示制御部１０７へ送る。表示制御部１０７はこれに従い表示装置１０１の画面上に表示するマウスカーソルの位置を、指の移動方向および移動量に応じて動かした位置に変更する。ここでは、画面上で右方向に位置を動かす。また、領域１０９内で指を動かした後、机１０８上の特定の位置で指を離して一定時間以内に再度指をつけた場合には、一般的なパーソナルコンピュータにおけるユーザーインターフェースであるマウスでのクリック動作と同様の処理を行ったと認識する。このように動作を検知して、その動作に応じてシステムを制御する事で、ノートパソコンに搭載されているタッチパッドと同等の機能を持つユーザーインターフェースを実現する事が可能となる。

なお、本実施形態では、動作検出部１０６は、動作の検知に、カメラ画像と距離情報とを用いる。動作検出部１０６は、まず、カメラ画像中から特定の色の領域を検出することで、手の検出を行う。あらかじめ手として認識する色の範囲を設定しておき、この情報を元に手を検出する。なお、カメラ画像中で、手の検出を行う範囲は、入力領域設定部１０５が設定した入力領域に応じた範囲としてもよい。図１０などでも分かるように、指先が入力領域にあるときは、手は入力領域内または入力領域より上側か操作者側（図１０では左側）にある。そこで、動作検出部１０６は、手の検出を行う範囲を、入力領域を上側と操作者側とに所定の幅だけ広げた範囲とする。

次に、動作検出部１０６は、手として検出した領域に対応する、距離情報中の領域を抽出する。そして、動作検出部１０６は、この抽出した領域が示す各画素における距離に、該画素における机１０８の距離との差が、予め決められた閾値以下のものがあるか否かを判定する。閾値以下のものがあると判定したときは、指先が机１０８に接していると判定する。なお、各画素における机１０８の距離は、入力領域設定部１０５が出力した入力領域までの距離と、カメラ画像中での位置とを示す情報に基づき算出する。

なお、ここでは色に基づき手を検出するとしたが、形状情報を使用して検出しても良い。形状情報を利用する場合には、あらかじめ様々な形の手の形状をデータベース化して保持しておき、このデータベースと照合すると共に色情報と合わせて判定するなどの方法がある。また、入力領域設定時などに予め手の色を認識し、該色に基づき検出するようにしても良い。これにより個人差や照明環境に左右されることなく、手の認識精度を向上する事が可能である。

このようにカメラ画像と距離情報とを用いることで、カメラ画像のみでは困難な細かい動作の認識をする事ができる。例えば、図１１に示すように、手の位置が、手Ｈ１ｄから手Ｈ１ｅへと、Ｂの方向に移動したとする。カメラ画像Ｇ１からは机１０８上をなぞりながら奥に向かって指を動かしたのか、それとも机１０８から指を離して上方向に指を上げたのか、という判断は困難である。しかし、この際に、距離情報Ｇ２、すなわち視差を参照すると、手Ｈ１ｄと手Ｈ１ｅでは視差（距離）が変化していない。これは、カメラ１０２、１０３から手までの距離があまり変化していないことを示している。したがって、後者の指を机から離した動作である事がわかる。

また、入力領域設定部１０５により複数の入力領域１０９、１１０を設定した場合、動作検出部１０６は複数人による複数の動作を検知する必要がある。この際にも距離情報を利用する事により、入力領域１１０内に操作者１１１の実際に手があるのか、それともカメラ画像の見かけ上、手前にいる人物の手が奥側の領域１１０内に入ったように見えるだけで、領域１１０を入力領域としている操作者１１１は実際には何も入力していないのか、といった細かい判別が可能となり、複数人でも誤動作を防止しながら操作する事が可能となる。

また、操作者１１１毎に入力領域を設定する事で複数人での操作を実現すると共に、領域外での操作は検知しないため、会議中メモを取ったり資料を取ったりといった動作を行ってもそれを画面の操作とは区別する事が可能となり、より柔軟な使用が可能となる。机には触れずに入力領域上を手が移動した場合も、画像だけで判別すると入力として検知されてしまうが、距離情報から机に触れていない事がわかる為、誤動作の防止が出来る。
なお、本実施形態では指の動きを検知し、囲んだ領域を入力領域として設定したが、実際に指で囲んだり、本などの物を置き、置いた部分の机上の領域を入力領域としたり、本そのものを入力領域とするといった設定方法でも良い。また、操作者の手を認識する事で大体の操作者の位置を把握し、その位置に応じて机上のあらかじめ決まった面積の領域を入力領域として自動で設定しても良い。また、顔認識技術を応用し、操作者の顔を認識する事で操作者の位置をより正確に認識して、入力領域の自動設定の精度を向上しても良い。

また、自動で設定した領域がどの位置なのかを操作者に認識させる為に、入力領域設定部１０５が出力した入力領域を示す情報に基づき、表示制御部１０７が、左カメラ１０２、あるいは右カメラ１０２の映像に入力領域を示すマーカー等を重畳した画像を表示装置１０１に表示させても良い。これにより、自動で領域を設定する場合にも、操作者が入力領域を把握する事が可能となる。また、入力領域の設定開始、終了の動作は手のひらをかざすとしたが、これに限定されるものではなく例えば手を握る、あるいはカメラ１０２、１０３の前で手を横方向に動かすなどその他の動作であってよい。

また、距離算出部１０４では左カメラ画像を基準として視差情報を算出するとしたため、左カメラ画像と、それに対応する視差マップとを入力領域設定部１０５以降に送っているが、右カメラ画像を合わせて送っても良い。また、右カメラ画像を基準にして視差を算出し、右カメラ画像と、それに対応する視差マップとを送っても良い。

また、ここでは操作者１１１は図１に示す位置に居るとしたが、図１２に示す操作者１２５のように、操作者が表示装置１０１に対して正面に居る場合もある。図１２に示す操作者１２５と、操作者１２５が設定した入力領域１２６の位置を考慮すると、操作者の向きに応じて、検知した動作に対応する表示制御部１０７への動作を切替える必要がある。例えば、図１３に示した左カメラ画像のように、入力領域１０９でＢの方向に手を動かした場合と、入力領域１２６でＣの方向に手を動かした場合では、方向はＢもＣも同じである。しかし、操作者の位置に従い動作を変える必要があり、例えば表示装置１０１上のポインタを動かす場合、入力領域１０９におけるＢ方向では画面上の左右方向の移動、入力領域１２６におけるＣ方向では上下方向の移動として検知する必要がある。

そのため、各入力領域毎に、入力領域における操作方向と画面上の操作方向とを対応づける操作方向判定部を備える事で、様々な位置の操作者に対応する事が可能となる。対応付けの方法としては、ここで示した図１３ではカメラ画像上に人が映っていないが、人が映っている場合には入力領域設定部１０５または動作検出部１０６において顔認証技術を応用し、操作者の居る向きを特定して入力領域毎に対応付けを切替える方法がある。また、入力領域設定部１０５による入力領域設定時に、入力領域における操作方向と画面上の操作方向との対応付けを特定する機能を追加しても良い。例えば、左から右に操作する場合の動作を指示する表示を出し、このときの指の動きを検知して操作方向の対応付けを特定する方法がある。また、入力領域設定時の開始位置を必ず入力領域の左下から開始する、といった制限を加える事でも操作方向の対応付けの特定が可能となる。動作検出部１０６は、このように設定された入力領域における操作方向と画面上の操作方向とを対応づけに基づき、検出した動作の向きを、画面上の操作方向に変換する。そして、動作検出部１０６は、検出された動作を示す情報として、この変換された情報を表示制御部１０７に出力する。

（第２の実施形態）
本発明の第２の実施形態について、図面を参照しながら説明する。図１４は、本実施形態におけるデータ入力装置を備えたタブレット端末２００の使用環境を示す図である。図１５は、本実施形態におけるタブレット端末２００の構成を示すブロック図である。なお、同図において、図１の各部と同様の部分には、同一の符号（１０７）を付し、説明を省略する。

図１４において、タブレット端末２００は、赤外線による距離画像センサ２０１と、画像を始めとする各種情報を表示すると同時に、画面上をタッチする事で入力操作を受け付けるタッチパネルを供えた表示部２０２を備えている。タブレット端末とは、様々な形態のものがあるが、一般的にはキーボードを備えずタッチパネル上を指やペンでなぞるといった動作によって操作する携帯端末を指す事が多い。ここでのタブレット端末２００も同様の端末である。内部には図示しないＣＰＵやメモリといった処理装置を備えている。

図１４は、机２０３上にタブレット端末２００を置いた使用環境を示している。机２０３の上面が基準入力平面である。図中２０４、２０５は、後述する入力領域設定部２０６によって設定される入力領域を示している。タブレット端末２００は図に示すように机２０３に配置できる為の支えとなる構成部品を備えている。このように配置した際に、タブレット端末２００の操作は、タッチパネルを使用した操作ではなく、本実施形態によるデータ入力方法を使用した操作となる。

図１５は、タブレット端末２００の構成を示す概略ブロック図である。タブレット端末２００は、データ入力装置２１０、表示制御部１０７、表示部２０２を含んで構成される。データ入力装置２１０は、距離画像センサ２０１と、操作者の動作を検知する領域を特定する入力領域設定部２０６、画像と距離情報を元に操作者の動作を検出する動作検出部２０７を夫君で構成される。なお、表示制御部１０７は図１の表示制御部１０７と同様であるが、表示装置１０１ではなく、表示部２０２に画像を表示させる。距離画像センサ２０１からの出力を用いた後段の各部（入力領域設定部２０６、動作検出部２０７）は、タブレット端末２００が備えるＣＰＵが、メモリに記憶されたプログラムを実行することで実現する。

距離画像センサ２０１は、距離情報である距離画像と通常の画像の両方を取得する。距離画像センサ２０１は、例えば、赤外線発光部と撮像素子を備え、被写体に向けて一定間隔で赤外線を発光する。この赤外光の反射光を撮像素子で捕らえ、照射光と反射光の位相差から近赤外光の飛行時間を求める。飛行時間は距離に比例するので、この飛行時間を距離に変換し、画像として出力する物である。また、距離画像センサ２０１は、同時に、被写体を撮像して、撮像画像も出力する。

入力領域設定部２０６は、距離画像センサ２０１から距離画像と撮影画像とを受け取り、表示制御部１０７を通して表示部２０２に入力領域の設定を促す表示を行う。入力領域設定部２０６は、図１の入力領域設定部１０５と同様にして、入力領域を設定する。ただし、入力領域設定部２０６は、対象とする操作者を１人とし、該一人の操作者に対して複数の入力領域を設定する。ここでは、入力領域設定部２０６は、一人の操作者に対して２つの入力領域の設定を行うよう、予め設定されており、第１の入力領域２０４、第２の入力領域２０５の順に設定し、これら第１の入力領域２０４および第２の入力領域２０５を示す情報を出力する。

動作検出部２０７には、入力領域設定部２０６によって設定された２つの入力領域２０４、２０５を示す情報と、距離画像と、撮影画像とが入力される。動作検出部２０７は、図１の動作検出部１０６と同様にして手の動きを検出する。ただし、図１４に示した第１の入力領域２０４と第２の入力領域２０５では、それぞれ異なる機能を持つ。第１の入力領域２０４での操作は、表示部２０２に表示されるポインタの位置を操作する機能を持ち、第２の領域２０５での操作は、表示されているポインタ位置にあるものを選択・決定したりする機能を持つ。そのため、入力領域２０４では机２０３上をなぞるように動かされる指の動きを検知しポインタを動かす方向を決め、入力領域２０５では指を机２０３から離したりつけたりする動作を検出し、そのポインタ位置で決定・選択動作を行ったかどうかを判別する。

動作検出部２０７は、これらの動作の検出結果を表示制御部１０７へと送り、表示制御部１０７は、これらに基づき、ポインタを移動して表示部２０２に表示させたり、表示部２０２に表示させる画面を遷移させたりする。このように入力領域毎に検知する動作とそれに応じた機能を変えることにより、誤動作を防止し、より操作者の意図を正確に反映した操作が可能となる。

また、動作検出部２０７は、入力領域２０４、２０５内に手が入った場合に、そのことを示すマーカーを画面上に表示するよう表示制御部１０７に指示する。表示制御部１０７は手が入力領域２０４、２０５内にあるという情報を受け取った際には図１６に示すように、表示部２０２の画面左上に情報提示部であるマーカー２０８を表示する。マーカー２０８はここでは丸印である。本実施形態では、設定した入力領域を目視で確認できない。しかし、このように、入力領域２０４、２０５内に手があるかどうかを操作者に通知する手段を備えることにより、入力領域から手がはずれ意図どおりに操作できなくなることを防止する事が可能となる。

なお、ここでは情報提示部は丸印のマーカーとしたが、丸印である必要はなく、文字や他の図形でもよく、表示位置も右上や下など異なる位置であっても良い。マーカーに限らずＬＥＤ等を用いた専用の通知領域をタブレット端末２００に設けても良く、音声で通知するようにしても良い。
また、入力領域の端に近い部分に手がある場合には、表示するマーカーの色を変えるようにしても良い。これにより、設定した入力領域のどのあたりに手があるのかを操作者は判断する事が可能となる。

ここでは、入力領域を複数設けた例を示したが、必ずしも複数設ける必要はなく、複数の領域に分けた機能を１つの領域で出来るように構成しても良い。この際、両手で操作するような複雑な操作を入力として受け付ける場合にも、距離情報を用いる事で手の重なりなどを判別する事が可能となり精度良く検出する事が出来る。１つの領域に限らず、３つ以上の領域を設定し、領域ごとに機能を分けるようにしても良い。

また、複数領域を設けた際の領域毎の機能については、ここで示した機能のみに限定されるものではない。また、入力領域２０４と２０５において、異なる動作を検知するように記載しているが、それぞれ同様の動作で異なる機能を実現するようにしても良い。例えば、入力領域２０４で左右方向に動かすと、表示制御部１０７は、ポインタが左右に動くように表示部２０２０を制御する。また、入力領域２０５で左右方向に指を動かすと、表示制御部１０７は、表示内容が左方向で拡大、右方向で縮小といった動作をするように表示部２０２０を制御するようにしてもよい。これにより、手を動かして行う動作の数を少なくしながら、様々な機能を実現できるようにする事ができ、操作者は多くの動作を覚える必要がなくなり操作しやすいという効果がある。

また、これまでの実施形態においては２眼カメラを用いた距離情報の取得、距離画像センサによる距離情報の取得を示したが、被写体にスリット光を連続的に照射する光切断法を利用するなど、他の手段により距離情報を取得しても良い。

また、図１におけるデータ入力装置１００、表示制御部１０７、図１５におけるデータ入力装置２１０、表示制御部１０７の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各部を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１０…テレビ会議システム
１００…データ入力装置
１０１…表示装置
１０２…左カメラ
１０３…右カメラ
１０４…距離情報算出部
１０５…入力領域設定部
１０６…動作検出部
１０７…表示制御部
１０８…机
１０９、１１０…入力領域
１１１…操作者
２００…タブレット端末
２０１…距離画像センサ
２０２…表示部
２０３…机
２０４…第１の入力領域
２０５…第２の入力領域
２０６…入力領域設定部
２０７…動作検出部

Claims (8)

1. 距離情報を取得する距離情報取得部と、
   少なくとも前記距離情報に基づき、操作者の手の動作を検出し、検出した前記動作を示す情報を出力する動作検出部と
   を備えたデータ入力装置であって、
   前記動作検出部は、略水平な基準入力平面に対する手の動作を検出し、
   前記距離情報取得部は、当該データ入力装置の出力に応じた画像が表示される表示装置の表示面と略同一平面上に設置され、
   前記距離情報取得部が取得する前記距離情報は、当該距離情報取得部から、前記基準入力平面に対して鋭角の角度をなす方向の距離を示すこと
   を特徴とするデータ入力装置。
2. 前記基準入力平面上に入力領域を設定する入力領域設定部を更に備え、
   前記動作検出部は、前記入力領域に対する手の動作を検出すること
   を特徴とする請求項１に記載のデータ入力装置。
3. 前記入力領域設定部は、複数の前記入力領域を設定し、
   前記動作検出部は、前記複数の入力領域毎に、該入力領域に対する前記手の動作の検出を行うこと
   を特徴とする請求項２に記載のデータ入力装置。
4. 前記動作検出部は、前記検出した動作を示す情報に加えて、該検出した動作が対象とした前記入力領域を示す情報を出力すること
   を特徴とする請求項３に記載のデータ入力装置。
5. 前記動作検出部は、前記設定した入力領域内に操作者の手があるか否かを検出し、前記検出結果を出力して、操作者に通知させること
   を特徴とする請求項１から請求項４のいずれかの項に記載のデータ入力装置。
6. 前記入力領域における操作方向を判定する操作方向判定部を更に備え、
   前記操作方向判定部によって判定された方向に従い、前記動作検出部により検出された動作を判別する事
   を特徴とする請求項１から５のいずれかの項に記載のデータ入力装置。
7. 前記距離情報取得部は、複数のカメラを備え、前記複数のカメラが出力する画像間の視差を算出し、該視差を表す情報を、前記距離情報とすることを特徴とする請求項１から請求項６のいずれかの項に記載のデータ入力装置。
8. 距離情報を取得する距離情報取得部を備えるデータ入力装置であって、当該データ入力装置の出力に応じた画像が表示される表示装置の表示面と略同一平面上に設置され、前記距離情報は、当該距離情報取得部から、前記基準入力平面に対して鋭角の角度をなす方向の距離を示すデータ入力装置におけるデータ入力方法であって、
   少なくとも前記距離情報に基づき、操作者の手の動作であって、略水平な基準入力平面に対する動作を検出し、検出した前記動作を示す情報を出力するステップ
   を有することを特徴とするデータ入力方法。