JP2011081480A - 画像入力システム - Google Patents

Abstract

【課題】３Ｄ画像を活用した画像入力システムを提供すること。
【解決手段】立体画像中に表示される複数のアイコンｉには、立体画像における奥行き方向の位置が異なるアイコンが含まれており、当該アイコンｉは、奥行き方向の位置情報を含む３次元位置情報によって、識別可能となっている。つまり、２次元平面における２軸の２次元位置情報のみからアイコンの識別を行っていた従来の入力システムと異なり、この画像入力システムでは、奥行き方向の位置情報を加えた３軸の３次元位置情報から、アイコンｉの識別（選択）を行うため、より高度で、ダイナミックな識別を実現することができる。換言すれば、３Ｄ画像固有の奥行き方向の座標軸を活かした画像入力システムを提供することができる。
【選択図】図２

Description

本発明は、立体画像を用いた画像入力システムに関する。

昨今、携帯電話や、携帯型音楽プレーヤーなどでは、表示画面上にタッチパネルを備えた機種が流行している。これは、表示画面に表示されるアイコン（操作メニュー）に直接触れることにより、当該アイコンに割り付けられた機能が実行されるため、操作性に優れているからである。

このようなタッチパネルは、使用者が直接触れて操作する必要があるため、主に、携帯電話のように携帯可能な電子機器や、カーナビゲーション・システムなどの手の届く範囲で用いられる電子機器に採用されていた。
他方、数十インチの大画面を有する大型テレビや、家庭用のプロジェクターなどの一般家庭への普及が広がりつつあり、このような大画面の表示装置においても、タッチパネルのようなユーザーインターフェイスに優れた入力手段が求められていた。

このような要望に対して、例えば、特許文献１には、使用者が指を指した延長方向の投写画像上にカーソル状の画像を表示させる技術が提案されている。詳しくは、視角の異なる２台の撮像カメラを用いて、使用者の体の位置や手の位置を画像認識により検出し、体の略中心点と手の先端とを結ぶ線分の延長線が、スクリーンと交わる部分にカーソル状の画像を表示させていた。
また、特許文献２には、同様に２台の撮像カメラを用いて、使用者の体全体を撮像および画像認識することにより、片手を上げているなどの使用者の動作態様を検出して、検出した動作態様を離間して配置された表示装置に表示したり、当該動作態様の内容に応じて、ゲームのキャラクターを動かす画像認識システムが開示されている。
また、これらの技術で用いられる投写画像や、表示装置に表示される画像は、いずれも平面（２Ｄ）画像であるが、近年、立体（３Ｄ）画像を表示する表示装置や、表示システムも種々提案され始めている。

特開平５−１９９５７号公報 特開２００８−２２５９８５号公報

しかしながら、上述した従来の技術では、３Ｄ画像を入力手段に適用することについてなんら考慮されていないという問題があった。例えば、特許文献１では、使用者の指差す方向を立体的に検知したとしても、２次元の投写画像における検出位置にカーソルを表示させるだけであり、結局、２次元平面における２軸の２次元位置情報を特定しているに過ぎなかった。また、特許文献２では、使用者の動作態様を立体的に検知して、検知した動作態様自体を操作指示とみなすというものであるため、入力手段に３Ｄ画像を用いるものではなかった。
特に、３Ｄ画像では、ＸＹ軸で表される平面座標軸に加えて、Ｚ軸で表される奥行き方向の座標軸が存在するが、上記両文献では、このＺ軸方向の座標軸の活用方法について全く考慮されていない。つまり、３Ｄ画像を活用した入力システムについては、なんら開示されていないという課題があった。
また、従来の技術では、使用者の動作態様を検出して、その動作態様に応じてなんらかの機能を行うことが可能であるが、表示画面に表示される操作メニュー（アイコン）に関する記載が見当たらないため、使い勝手の良し悪しについては不明であった。
つまり、入力システムの操作性（使い勝手）については、なんら考慮されていないという課題があった。

本発明は、上記課題の少なくとも一部を解決するためになされたものであり、以下の適用例又は形態として実現することが可能である。

（適用例）
立体画像を表示する表示装置と、立体画像と向い合う方向に位置する使用者を異なる視角から撮像する複数台のカメラと、表示装置、および複数台のカメラを制御する制御部と、を少なくとも備えた画像入力システムであって、制御部は、表示装置によって、操作用の複数のアイコンを含む立体画像を表示させるとともに、複数台のカメラが撮像した複数の画像を解析して、使用者における立体画像側に最も突出した部位の３次元位置情報を含む解析情報を導出し、複数のアイコンには、立体画像における奥行き方向の位置が異なるアイコンが含まれており、奥行き方向の位置が異なるアイコンは、奥行き方向の位置情報を含む３次元位置情報によって、識別または選択されることを特徴とする画像入力システム。

この画像入力システムによれば、立体画像中に表示される複数のアイコンには、立体画像における奥行き方向の位置が異なるアイコンが含まれており、当該アイコンは、奥行き方向の位置情報を含む３次元位置情報によって、識別（選択）可能となっている。
つまり、２次元平面における２軸の２次元位置情報のみからアイコンの識別を行っていた従来の入力システムと異なり、適用例における画像入力システムでは、奥行き方向の位置情報を加えた３軸の３次元位置情報から、アイコンの識別を行うため、より高度で、ダイナミックな識別を実現することができる。換言すれば、３Ｄ画像固有の奥行き方向の座標軸を活かした画像入力システムを実現することができる。
また、立体表示されたアイコンを操作する場合には、視覚的に操作したいアイコンが表示されている空間に手を伸ばすことにより、その奥行き方向の位置に表示されているアイコンを識別（選択）することができる。詳しくは、この場合、手の位置が立体画像側に最も突出した部位となるため、手の奥行き方向の位置情報を、複数台のカメラが撮像した複数の画像を解析した解析情報における３次元位置情報として検出して、当該３次元位置情報と一致する位置に表示されているアイコンを識別することができる。
従って、３Ｄ画像を活用した画像入力システムを提供することができる。
また、本適用例に係る画像入力システムによれば、使用者は、立体表示されたアイコンに手を伸ばして触れる動作をすることによって、所望のアイコンを識別できるため、ユーザーインターフェイスに優れている。
従って、使い勝手の良い画像入力システムを提供することができる。

また、複数のアイコンは、表示装置の画面に沿った平面方向において互いに重ならないように配置されていることが好ましい。
また、複数のアイコンのうち、相対的に奥行き方向の高さが高く、使用者に近い位置に表示されるアイコンには、第１の機能が割り付けられ、奥行き方向の高さが高いアイコンよりも、奥行き方向の高さが低いアイコンには、第１の機能よりも使用頻度の低い第２の機能が割り付けられることが好ましい。
また、複数のアイコンは、表示装置の画面に沿った平面方向においてその一部が重なるとともに、奥行き方向において、層状に重ねられていることが好ましい。
また、制御部は、使用者における立体画像側に最も突出した部位の態様が、第１の態様から、第１の態様とは異なる第２の態様に変化したことを検出した場合、選択されたアイコンに割り付けられた機能を実行することが好ましい。

また、制御部は、立体画像において３次元位置情報に基づく位置に、カーソルを表示させることが好ましい。
また、カーソルは、奥行き方向の位置によって、その色調、または形状が変化することが好ましい。
また、カーソルは、立体画像中に複数存在することが好ましい。
また、選択されたアイコンは、他のアイコンよりも強調された表示となることが好ましい。
また、使用者における立体画像側に最も突出した部位は、手であり、第１の態様、および第２の態様を含む手の態様には、手の平を開く、握る、指を指す態様が含まれていることが好ましい。

実施形態１に係る画像入力システムの概要を示す斜視図。 （ａ）画像入力システムの表示装置によって表示された立体画像の一態様を示す斜視図、（ｂ）立体画像に含まれるアイコンの平面図。 画像入力システムの回路ブロック構成図。 （ａ）、（ｂ）図２（ａ）におけるアイコンの側面図。 （ａ）、（ｂ）立体表示されたアイコンの異なる表示態様図。 実施形態２に係る画像入力システムによって表示された立体画像の一態様を示す斜視図。 変形例１に係る画像入力システムの概要を示す斜視図。 変形例２に係る操作態様における一態様を示す斜視図。 変形例３に係る画像入力システムの概要示す斜視図。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の各図においては、各層や各部材を図面上で認識可能な程度の大きさとするため、各層や各部材毎に縮尺を異ならしめてある。

（実施形態１）
「画像入力システムの概要」
図１は、実施形態１に係る画像入力システムの概要を示す斜視図である。図２（ａ）は、当該画像入力システムの表示装置によって表示された立体画像の一態様を示す斜視図である。まず、本実施形態に係る画像入力システム１００の概略構成について説明する。

画像入力システム１００は、表示装置５０、カメラ５５，５６などから構成されている。表示装置５０は、大型のプラズマテレビであり、付属するシャッターメガネ４０を用いて立体画像（３Ｄ画像）を表示可能な構成を備えている。詳しくは、表示装置５０は、右画像と、左画像とを交互に表示するとともに、当該交互の切り換えタイミングに同期してシャッターメガネ４０の左目側と、右目側とのレンズが交互に閉じる（遮光される）ことにより、使用者の右目には右画像が、左目には左画像が、それぞれ選択的に視認されて、脳内で合成されることにより立体画像として認識される。なお、このように立体画像は脳内で合成されて認識されるものであるが、説明を容易にするために、以降の説明においては、立体画像が形成（認識）されることを立体画像が表示されるともいう。

カメラ５５，５６は、表示装置５０の上部における両隅に取り付けられており、当該表示装置の画面Ｖと向い合う位置で、ソファーに座っている使用者を異なる視角から撮像する。換言すれば、カメラ５５，５６は、表示装置５０が表示する立体画像と向い合う方向に位置する使用者を異なる視角から撮像可能な位置に取り付けられている。
また、図１を含む各図においては、表示装置５０の横長の長方形をなした画面Ｖにおける当該横方向をＸ軸方向とし、横方向よりも短い縦方向をＹ軸方向と定義している。また、画面Ｖと略平行な面のことを平面ともいう。また、画面Ｖから引いた垂線の延在方向をＺ軸方向としている。なお、Ｚ軸方向は、立体画像における奥行き方向に相当する。また、Ｙ軸（＋）、（−）方向を上下方向とし、Ｘ軸（−）、（＋）方向を左右方向としている。

ここで、図２（ａ）に示すように、表示装置５０によって表示された立体画像には、操作用の複数のアイコンｉが含まれている。そして、複数のアイコンｉには、立体画像における奥行き方向の位置が異なるアイコンｉが含まれている。
詳しくは、立体画像における林檎の右側に表示された複数のアイコンｉには、３行に渡ってアイコンｉが表示されており、最上段にはアイコンｉ１１〜ｉ１３の３つのアイコンが表示され、その下にはアイコンｉ２１〜ｉ２２の２つのアイコンが表示され、最下段にはアイコンｉ３１が表示されている。また、奥行き方向（Ｚ軸（＋）方向）の高さは、最上段のアイコンｉ１１〜ｉ１３が最も高く、次いで中段のアイコンｉ２１〜ｉ２２、最下段のアイコンｉ３１の順に低くなっている。また、各アイコンは、略立方体状をなしており、平面サイズが略等しく、その厚さ（高さ）が行ごとに異なっている。

そして、使用者の手６０は、人差し指でアイコンｉ１３を指差した状態となっている。これは、使用者が視覚的にアイコンｉ１３を直に触れている状態を模式的に示したものであり、使用者がタッチパネルと同じ感覚で、アイコンｉ１３の操作を行なっている状態を示している。
画像入力システム１００では、この人差し指の位置をカメラ５５，５６が撮像した視角の異なる撮像データを画像認識、および解析して、奥行き方向の位置情報を含む３次元位置情報として検出し、使用者が操作しているアイコンｉ１３を識別することができる。換言すれば、撮像データから人差し指の位置を３次元位置情報として検出し、立体表示されている複数のアイコンｉのうち、当該３次元位置情報と一致する位置に表示されているアイコンｉ１３が選択されていることを識別することができる。
つまり、２次元平面における２軸の２次元位置情報のみからアイコンｉの識別を行っていた従来の入力システムと異なり、本実施形態の画像入力システム１００では、奥行き方向の位置情報を加えた３軸の３次元位置情報から、アイコンｉの識別を行うことができる。換言すれば、画像入力システム１００は、３Ｄ画像固有の奥行き方向の座標軸（Ｚ軸）を活用した画像入力システムである。

また、図２（ａ）では、奥行き方向の高さが最も高いアイコンｉ１３を選択している状態を示しているが、奥行き方向の高さが異なる他のアイコンｉを選択する場合も、視覚的に操作したいアイコンが表示されている位置（空間）に手を伸ばせば良い。この場合も同様に、手を伸ばした状態における人差し指の位置が３次元位置情報として検出されて、所望のアイコンを選択（識別）することができる。なお、手を伸ばすことに限定するものではなく、使用者における立体画像側（Ｚ軸（−）側）に最も突出した部分が検出できれば良い。例えば、太目の指し棒や、マジックハンドなどの突出物を用いても良い。
また、図２（ａ）に示すように、選択されたアイコンｉ１３は、他のアイコンｉよりも表示が強調されて、選択状態にあることが視覚的に識別できるようになっている。強調の方法としては、他のアイコンｉよりも表示コントラストを高くする方法や、輪郭線を太くする方法、色調を強くする方法などがある。また、選択されたアイコンｉを点滅表示させても良い。

また、本実施形態では、好適例として、プラズマテレビに、シャッターメガネ４０を組み合わせた、いわゆるアクティブ型の表示装置５０を立体画像表示装置として採用しているが、使用者の前面に３Ｄ画像を表示可能な表示装置であれば良い。例えば、画面における走査線の奇数ライン（左画像）と偶数ライン（右画像）とに、それぞれ偏光軸の異なる偏光板を貼り付けた液晶テレビからなるディスプレイと、左目レンズには奇数ラインの偏光板と偏光軸を揃えた偏光板を有し、右目レンズには偶数ラインの偏光板と偏光軸を揃えた偏光板を備えた偏光メガネとから構成された、いわゆるパッシブ型の３Ｄ画像表示装置であっても良い。
または、専用のメガネを用いずに、ディスプレイの前面に左右の画像を振り分けるためのパララックスバリアや、レンティキュラーレンズを設けて、適視位置においては、裸眼で３Ｄ画像を鑑賞可能とした表示装置であっても良い。

「画像入力システムの回路ブロック構成」
図３は、画像入力システムの回路ブロック構成図である。
続いて、前述したような入力インターフェイスを実現するための画像入力システム１００の構成について、表示装置５０の構成を中心に説明する。
表示装置５０は、プラズマパネル１、駆動回路２、画像信号処理部３、制御部５、メガネ制御部８、カメラ駆動部９などから構成されている。
プラズマパネル１は、プラズマディスプレイパネルであり、好適例として対角５０インチ以上で、ハイビジョン画質（1280×720）に対応した解像度を有している。
駆動回路２は、プラズマパネル１を走査駆動するための駆動回路であり、走査線（行電極）駆動回路、およびデータ線（列電極）駆動回路などを含んで構成されている。

画像信号処理部３は、画像プロセッサーであり、外部の画像信号供給装置３００から入力された画像データをプラズマパネル１にて表示するのに適切な画像信号に変換する。また、画像信号処理部３には、フレームメモリー４が附属している。フレームメモリー４は、左画像データ、および右画像データを複数フレーム分、格納可能なデータ容量を備えている。
インターネットを経由した動画配信サイトや、ブルーレイディスクプレーヤー（登録商標）、またはパーソナルコンピューターなどの画像信号供給装置３００からは、左画像と右画像とが左右に並んだ状態で伝送されるサイドバイサイドなどの３Ｄ映像フォーマットに対応した３Ｄ画像信号が入力される。
画像信号処理部３は、制御部５からの制御信号に従い、フレームメモリー４を活用して、入力された３Ｄ画像信号に対して、データの補完、または間引き、切り出しなどを含むスケーリング処理を行い、プラズマパネル１の解像度に合わせた画像データを出力する。また、合せて、生成された画像データにアイコンｉを表示させるためのＯＳＤ（On-Screen Display）処理を施す。詳しくは、記憶部７に記憶されているアイコンｉを表す画像データを生成された画像データに重畳させる画像処理を行う。

制御部５は、ＣＰＵ（Central Processing Unit）であり、各部の動作を制御する。また、制御部５には、操作部６、記憶部７、および計時部（図示せず）が附属している。また、制御部５は、記憶部７、およびフレームメモリー４を含む画像信号処理部３を活用して、カメラ５５，５６が撮像した撮像データを画像認識、および解析して、３次元位置情報を含む解析情報を導出する解析部としても機能する。なお、解析情報には、例えば、リアルタイムクロックなどからなる計時部による時間情報が含まれている。これは、時間経過に沿って使用者（手）の態様は変化するため、３次元位置情報を解析するためには、同じ撮像時間における２つの撮像データを解析する必要があるからである。
操作部６は、表示装置５０の画面Ｖの下などの額縁部に形成されており、複数の操作ボタン（図示せず）を含んで構成されている。複数の操作ボタンには、電源ボタンなどの専用ボタンと、２Ｄ画像と３Ｄ画像との切り換え選択や、表示されるアイコン種類の切り換え選択などを行うための、選択および決定を行う複数の汎用ボタンなどが含まれている。なお、同様な複数の操作ボタンを備えたリモコン（図示せず）も付属している。

記憶部７は、例えば、フラッシュメモリーなどの不揮発性のメモリーにより構成されている。記憶部７には、カメラ５５，５６に撮像させた後、当該撮像データから人差し指の位置を３次元位置情報として検出し、立体表示されている複数のアイコンｉのうち、当該３次元位置情報と一致する位置に表示されているアイコンｉを識別するための順序と内容を規定した入力操作検出プログラムを含み、表示装置５０の動作を制御するための様々なプログラムおよび付随するデータが記憶されている。当該プログラムには、制御部５などを解析部として機能させるための画像解析プログラムや、シャッターメガネ４０の制御プログラムも含まれている。なお、記憶部７に加えて、大容量のハードディスクドライブをさらに備えていても良い。

メガネ制御部８は、無線通信部（図示せず）を備えており、上述のシャッターメガネ４０の制御プログラムに従って制御信号をシャッターメガネ４０に無線送信する。
シャッターメガネ４０は、左目、および右目のレンズ部分にそれぞれ液晶シャッターを備えており、メガネ制御部８からの制御信号に従って、両者を排他的に透過状態と遮光状態とに切り換える。換言すれば、左画像と右画像とが交互に表示されるタイミングに同期して、左目、および右目のレンズ部分を交互に透過状態と遮光状態とに切り換える。好適例では、例えば、画面Ｖに左画像と右画像とを１２０フレーム／秒で映し出して、シャッターメガネ４０で右目と左目へ交互に６０フレーム／秒ずつ伝達する。換言すれば、左右の画像がそれぞれ１秒間に６０フレームずつ、左目、および右目に選択的に視認されることにより、３Ｄ画像が認識される。
なお、図示は省略しているが、シャッターメガネ４０には、リチウムイオン電池などからなる電源部や、制御信号を受信するための無線通信部、左目、および右目の液晶シャッターを駆動するための駆動回路などが内蔵されている。

カメラ駆動部９は、制御部５からの制御信号に従い、カメラ５５，５６の駆動を制御する。なお、当該駆動には、撮像や、望遠、広角の切り換え、焦点合わせなどのカメラ５５，５６の調整機能も含まれている。
カメラ５５，５６は、好適例として撮像素子にＣＣＤ（Charge Coupled Device）を用いたカメラを採用している。また、望遠、および広角の切り換えが可能なレンズを備えていることが好ましい。なお、撮像素子として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーや、ＭＯＳイメージセンサーを搭載したカメラを用いても良い。また、撮像のサンプリングレートは、使用者の動作変化を検出可能なレートであれば良く、例えば、静止画を撮像する場合には、２〜４回／秒に設定する。または、入力操作検出プログラムの実行中は、常時動画を撮像させて、当該動画から静止画像を抽出して画像解析する方法であっても良い。

「初期設定、およびアイコンの詳細な説明」
図２（ａ）に戻る。
図２（ａ）は、画像信号供給装置３００としてパーソナルコンピューターが接続されており、当該コンピューターに記憶されている静止画像（立体写真）を画像再生ソフトで表示している状態を示している。
また、操作部での設定により、当該画像再生ソフトに、前述の入力操作検出プログラムが常駐している状態となっているため、操作用の複数のアイコンｉが表示されている。また、実際の入力操作に先立って、使用者の手の位置が立体画像のアイコンｉの位置と略一致するように、使用者の座る位置や、立体画像のサイズなどの調整があらかじめ行われている。換言すれば、使用者が手を伸ばした位置に複数のアイコンｉが表示されるように、使用者の座る位置や、立体画像のサイズなどのキャリブレーションが初期設定として行われる。
また、複数のアイコンｉは、画面Ｖに沿った平面方向において互いに重ならないように配置されている。

図２（ｂ）は、立体画像に含まれるアイコンの平面図である。
図２（ｂ）に示すように、奥行き方向の高さが異なる各アイコンには、それぞれ操作機能が割り付けられている。
まず、奥行き方向の高さが最も高いアイコンｉ１１行において、アイコンｉ１１には１つ前の画像を表示させる「戻る」の機能が割り付けられ、アイコンｉ１２には静止画像が格納されているフォルダー内の全画像を順番に表示する「スライドショー」の機能が割り付けられている。そして、アイコンｉ１３には次の画像を表示させる「進む」の機能が割り付けられている。
また、中段のアイコンｉ２１行では、アイコンｉ２１には１つ上（層）のフォルダーに異動する「フォルダー選択」の機能が割り付けられ、アイコンｉ２２には３Ｄ画像の色調や、サイズ、アスペクト比などの変更が行える「設定変更」の機能が割り付けられている。
そして、奥行き方向の高さが最も低いアイコンｉ３１には、表示している画像（林檎）データを消去するための「消去」機能が割り付けられている。

ここで、操作性という観点から考えると、最も高いアイコンｉ１１行は、使用者から最も近くに位置しているため手を伸ばす距離が短くて操作し易いが、最も低い位置にあるアイコンｉ３１を操作するためには、その分、手を伸ばす距離が長くなるため操作し難くなる。つまり、使用頻度や、機能の内容に応じて、複数のアイコンｉの配置を行うことにより、操作性に変化を付けることができる。
例えば、図２の場合、画像再生ソフトにおいて最も使用頻度の高い「戻る」「スライドショー」「進む」の機能を最上段のアイコンｉ１１行に割り付けている。そして、これらの機能よりも使用頻度が低い「フォルダー選択」「設定変更」の機能を中段のアイコンｉ２１行に割り付けている。
また、「消去」機能については、誤操作を抑制する意味合いで、最も操作し難いアイコンｉ３１に割り付けている。
なお、アイコンｉ１１行およびアイコンｉ２１行においては、「戻る」「スライドショー」「進む」が第１の機能に該当し、「フォルダー選択」「設定変更」が第２の機能に該当する。また、アイコンｉ２１行およびアイコンｉ３１行においては、「フォルダー選択」「設定変更」が第１の機能に該当し、「消去」が第２の機能に該当することになる。

図４（ａ）、（ｂ）は、図２（ａ）におけるアイコンの側面図である。
前述した通り、複数のアイコンｉの奥行き方向の高さは、アイコン行ごとに異なっており、中段のアイコンｉ２１行は最上段のアイコンｉ１１行よりも、寸法ｄ１分、低くなっている。また、最下段のアイコンｉ３１は最上段のアイコンｉ１１行よりも、寸法ｄ２分、低くなっている。なお、寸法ｄ２は、寸法ｄ１よりも長い。また、これら高さは、立体画像のサイズや、使用者までの距離などの表示環境に応じて、奥行き方向の識別が可能な範囲で、適宜設定すれば良い。
ここで、図２（ａ）、図４（ａ）では、複数のアイコンの中からアイコンｉ１３が識別されて、選択された状態を示しているが、これだけでは、アイコンｉ１３に割り付けられている「進む」の機能は実行されない。当該機能を実行するためには、さらに決定（実行）動作を検出する必要がある。

図４（ｂ）には、この決定動作の一例が示されている。この場合、アイコンｉ１３を選択した場所で、手のひらが広げられて、手６０がじゃんけんのパー状態となったことを検出して、アイコンｉ１３に割り付けられている「進む」の機能が実行されて、例えば、次のみかんの立体画像（図示せず）が表示される。この場合、図４（ａ）の指差し態様が第１の態様に相当し、図４（ｂ）の手のひらを広げた状態が第２の態様に相当する。
つまり、使用者における立体画像側に最も突出した部分の態様（形態）変化を操作指示と認識して、決定動作を行う。換言すれば、あらかじめ定められている手６０の形態（パターン）変化を操作指示とみなして、その形態に割り付けられた機能を実行する。
なお、形態（態様）の変化は、手のひらを広げることに限定するものではなく、画像解析において、図４（ａ）の初期態様からの変化が検出可能な態様であれば良い。例えば、指差し態様のままで、ゆっくりと指を左右に振る態様であっても良いし、手を握る態様であっても良い。

「カーソル表示」
図５（ａ）、（ｂ）は、立体表示されたアイコンの異なる表示態様を示す図であり、図２（ａ）に対応している。
図２（ａ）で説明したように、選択されたアイコンｉは強調表示されるため、他のアイコンｉよりも、視覚的に際立つことになるが、さらにカーソルを表示させても良い。
詳しくは、図５（ａ）において、選択されたアイコンｉ１３上には、片矢印で示されたカーソルｃ１が表示されている。カーソルｃ１は、画像認識によって検出された手６０（人指し指の略先端）の位置の３次元位置情報に基づく（一致する）場所に表示される。また、当該図は、この点以外は図２（ａ）での説明と同様である。
また、好適例においては、図５（ｂ）に示すように、中段のアイコンｉ２２が選択された場合には、カーソルの形状をカーソルｃ１から、両矢印のカーソルｃ２に変化させる。さらに、最下段のアイコンｉ３１が選択された場合には、カーソルｃ２から点線で示すように、三又状の矢印のカーソルｃ３に変化させる。
つまり、奥行き方向の位置に応じて、カーソルの形状を変化させている。なお、カーソルの形状は矢印に限定するものではなく、選択されたアイコンｉが識別しやすくなる形状であれば良い。例えば、円形、三角、四角や、これらを組み合わせた形状であっても良い。

また、カーソルの形状を変化させることに限定するものではなく、選択されたアイコンｉが識別しやすくなる変化であれば良い。例えば、アイコンの色調を変化させることであっても良いし、輪郭線の強調具合を変化させたり、最上段以外では点滅表示をさせて、奥に行くほど点滅速度を速めるなど、表示態様を変化させることであっても良い。または、これらを組み合わせることであっても良い。
なお、上記実施形態では、アイコンの数を６個とし、奥行き方向を３段階の階層とした場合について説明したが、これに限定するものではなく、立体画像のサイズや、表示コンテンツなどの表示環境設定（仕様）に応じて、アイコンの数や、奥行き方向の階層数を適宜設定すれば良い。

上述した通り、本実施形態に係る画像入力システムによれば、以下の効果を得ることができる。
画像入力システム１００によれば、立体画像中に表示される複数のアイコンｉには、立体画像における奥行き方向の位置が異なるアイコンが含まれており、当該アイコンｉは、奥行き方向の位置情報を含む３次元位置情報によって、識別可能となっている。
つまり、２次元平面における２軸の２次元位置情報のみからアイコンの識別を行っていた従来の入力システムと異なり、画像入力システム１００では、奥行き方向の位置情報を加えた３軸の３次元位置情報から、アイコンｉの識別（選択）を行うため、より高度で、ダイナミックな識別を実現することができる。換言すれば、３Ｄ画像固有の奥行き方向の座標軸を活かした画像入力システム１００を実現することができる。

また、立体表示されたアイコンｉを操作する場合には、視覚的に操作したいアイコンが表示されている空間に手６０を伸ばすことにより、その奥行き方向の位置に表示されているアイコンを識別（選択）することができる。この場合、手６０の位置が立体画像側に最も突出した部位となるため、手の奥行き方向の位置情報を、複数台のカメラが撮像した複数の画像を解析した解析情報における３次元位置情報として検出して、当該３次元位置情報と一致する位置に表示されているアイコンｉを識別することができる。
従って、３Ｄ画像を活用した画像入力システム１００を提供することができる。
また、画像入力システム１００によれば、使用者は、立体表示されたアイコンｉに手を伸ばして触れる動作をすることによって、所望のアイコンｉを選択（識別）できるため、ユーザーインターフェイスに優れている。
従って、使い勝手の良い画像入力システム１００を提供することができる。

さらに、アイコンｉ１３を選択した場所で、手６０が広げられたことを検出すると、アイコンｉ１３に割り付けられている「進む」の機能が実行される。つまり、使用者における立体画像側に最も突出した部分の態様（形態）変化を操作指示と認識して、決定機能が実行される。換言すれば、あらかじめ定められている手６０の形態（パターン）変化を操作指示とみなして、その形態に割り付けられた機能を実行する。
よって、画像入力システム１００によれば、入力操作を簡便に行うことができる。
また、選択（識別）されたアイコンｉは強調表示されるため、他のアイコンｉよりも、視覚的に際立つことになり、選択（識別）状態を容易に視認させることができる。
また、画像認識によって検出された手６０（人指し指の指先）の位置には、カーソルｃ１が表示されるため、選択（識別）状態をより確実に認識させることができる。
さらに、奥行き方向の位置に応じて、カーソルの形状や、色調などが変化するため、奥行き方向における選択位置を容易に視認させることができる。
従って、画像入力システム１００によれば、入力操作状態を視覚的に認識させることができる。換言すれば、入力操作状態を感覚的（直感的）に把握することができる。

また、複数のアイコンに対する機能の割り付けについて、最も使用頻度の高い「戻る」「スライドショー」「進む」の機能を最上段のアイコンｉ１１行に割り付けて、これらの機能よりも使用頻度が低い「フォルダー選択」「設定変更」の機能を中段のアイコンｉ２１行に割り付けている。そして、最下段のアイコンｉ３１には、「消去」機能を割り付けている。
つまり、使用者に近いアイコンに使用頻度の高い機能を割り付けて、使用者から遠い位置のアイコンに使用頻度の低い機能を割り付けることにより、使い勝手を向上させることができる。
さらに、「消去」機能などの実行後の復旧が困難な機能や、誤操作を防止したい機能は、最も使用者から遠い位置の（奥行き方向の高さが低い）アイコンに割り付けることにより、誤操作を抑制することができる。
従って、機能性に優れた画像入力システム１００を提供することができる。

（実施形態２）
図６は、実施形態２に係る画像入力システムによって表示された立体画像の一態様を示す斜視図であり、図２（ａ）に対応している。
以下、本発明の実施形態２に係る画像入力システムについて説明する。なお、実施形態１と同一の構成部位については、同一の番号を附し、重複する説明は省略する。
まず、本実施形態に係る画像入力システムの構成は、実施形態１の画像入力システム１００の構成と同一である。本実施形態では、立体表示される複数のアイコンの態様が実施形態１とは異なっている。それ以外は、実施形態１での説明と同様である。

図６に示すように、表示装置５０によって表示された立体画像には、奥行き方向において、層状に重ねられた複数のアイコンｉ５２〜ｉ５５が３Ｄ表示されている。
詳しくは、立体画像における最前面（Ｚ軸（＋）側）にはアイコンｉ５２が表示されている。アイコンｉ５２は、ファイルフォルダーとしての機能と、当該ファイルフォルダーに格納されているファイルを実行するアプリケーションソフトとしての機能を兼ね備えた複合アイコンである。その外形は、厚さ（高さ）が殆ど無い平板状をなしており、平面的には、縦長の長方形状の外形を有している。このアイコンｉ５２内には、格納されている動画ファイルの開始点における山並みの静止画像がサムネイル表示されている。また、サムネイル表示の下には、当該動画ファイルを再生、停止、巻き戻しするための操作アイコンｂ１１〜ｂ１３が表示されている。なお、アプリケーションソフトは、動画ファイル再生ソフトに限定するものではなく、格納されているファイルを実行可能なソフトであれば良い。

そして、アイコンｉ５２の背面側（Ｚ軸（−）側）には、同様な構成のアイコンｉ５３〜ｉ５５が、この順番で略等間隔に重ねられている。
つまり、立体画像の奥行き方向において、最も浅い（低い）アイコンｉ５５から、アイコンｉ５４、アイコンｉ５３、アイコンｉ５２の順に深く（高く）なるように積層されている。換言すれば、使用者側から最も近い位置に表示されるアイコンｉ５２から、アイコンｉ５３、アイコンｉ５４、アイコンｉ５５の順に遠くなるように表示（配置）されている。

また、複数のアイコンｉの中から、所定のアイコンを選択するためには、実施形態１での説明と同様に、選択したいアイコンまで手６０を伸ばせば良い。
図６の場合、手６０の指先の位置がアイコンｉ５２の位置と略一致しているため、アイコンｉ５２が強調表示されて選択（識別）された状態となっている。また、本実施形態の場合、各アイコンの平面サイズが略同じで、その大半の部分が重なっているため、一点鎖線の矢印で示すように、手６０の奥行き方向における位置だけで、実質的にアイコンｉが選択されることになる。換言すれば、手６０の位置が平面的にアイコンと重なっている場合、解析した３次元位置情報における手６０の奥行き方向の位置情報のみで、アイコンｉを識別（選択）することができる。

また、図６は、アイコンｉ５２を選択した状態を示しているため、最前面にアイコンｉ５２が表示されているが、選択前の初期状態においては、最前面にはアイコンｉ５１が表示されていた。このアイコンｉ５１は、手６０の位置がアイコンｉ５２に達した時点で、実線の矢印で示すように、アイコンｉ５２の右側に反転した状態で縮小表示される。
また、奥行き方向における手６０の位置をアイコンｉ５１があった高さまで戻すと、縮小表示されていたアイコンｉ５１が選択されて、初期状態と同様に最前面に表示されることになる。なお、他のアイコンを選択した場合も、同様である。
つまり、初期状態を除いて、選択されたアイコンが常に最前面に表示されるとともに、当該選択の前に最前面にあったアイコンは、隣に縮小表示されることになる。

また、各アイコンｉの上部には、それぞれタグｔ５１〜ｔ５５が形成されている。タグｔ５１〜ｔ５５は、平面的にその全てが重ならないように形成されており、各アイコンの平面サイズが同じであっても、視覚的に下層のアイコンの存在を認識させることができる。また、タグを設ける方法に限定するものではなく、重なっている複数のアイコンを視認可能な方法であれば良い。例えば、平面位置を少しずつズラしながら複数のアイコンを重ねる方法であっても良い。
つまり、複数のアイコンｉは、平面方向においてその一部が重なるとともに、奥行き方向において、層状に重ねられた構成となっていれば良い。
また、実施形態１と同様に、画像認識によって検出された手６０（人指し指の指先）の位置にカーソルを表示しても良い。

また、本実施形態では、選択したアイコンに割り付けられた機能を実行（決定）する方法が２つある。１つは、実施形態１と同様に、選択した位置で手６０の態様を変化させる方法である。この場合、実行される機能は、操作アイコンｂ１１と同じ「再生」となる。
もう１つの方法は、選択したアイコンに表示されている操作アイコンｂ１１〜ｂ１３の位置に手を移動させる方法である。アイコンが選択状態になると、当該アイコン内の操作アイコンｂ１１〜ｂ１３の機能が有効となるため、所望の操作アイコンの位置に手を移動させるだけで、その機能を実行することができる。また、操作アイコンの位置に手を移動させるとともに、その位置が、例えば、２秒以上固定されていた場合に、その機能を実行することがであっても良い。
図６において、上記方法によって、操作アイコンｂ１１の「再生」機能が実行された場合には、アイコンｉ５２に格納されている山並みの動画ファイルが画面Ｖ一杯に３Ｄ画像で表示される。

上述した通り、本実施形態に係る画像入力システムによれば、実施形態１における効果に加えて、以下の効果を得ることができる。
奥行き方向において、複数のアイコンｉが層状に重ねられたアイコン態様であっても、奥行き方向の位置情報を含む３次元位置情報によって、所望のアイコンを識別（選択）することができる。
特に、手６０の位置を奥行き方向に移動させるだけで、選択されているアイコンが最前面に表示されるため、所望のアイコン（ファイル）を素早く見つけ出すことができる。
従って、ユーザーインターフェイスに優れ、使い勝手の良い画像入力システムを提供することができる。

また、各アイコンｉの上部には、それぞれタグが形成されているか、または平面位置を少しずつズラしながら複数のアイコンを重ねる構成となっている。つまり、複数のアイコンｉは、平面方向においてその一部が重なるとともに、奥行き方向において、層状に重ねられた構成となっている。
よって、複数のアイコンが層状に重ねられたアイコン態様であっても、視覚的に下層のアイコンの存在を認識させることができる。
従って、使い勝手の良い画像入力システムを提供することができる。

なお、本発明は上述した実施形態に限定されず、上述した実施形態に種々の変更や改良などを加えることが可能である。変形例を以下に述べる。

（変形例１）
図７は、変形例１に係る画像入力システムの概要を示す斜視図であり、図１に対応している。
上記実施形態では、立体表示されたアイコンに直に触る感覚で手を伸ばして操作を行うものとして説明したが、画面と使用者との距離が大きく離間している場合には、遠方からアイコンを指差すことになるため、使用者が選択したいアイコンを適切に識別する方法を補う必要がある。本変形例は、この識別方法の一つである。
変形例１の画像入力システム１１０は、対角１００インチ以上の大型の画面Ｖを有する表示装置５２を備えている。このため、画面Ｖと使用者との距離が図１の事例に比べて長くなっている。これ以外の構成は、実施形態１での説明と同一である。

画像入力システム１１０においては、使用者は遠方に表示されたアイコンを指差すことになるため、使用者が選択したいアイコンを、使用者の頭の略真ん中と、手６０とを結ぶ線分Ｌａの延長線上にあるものとして識別（選択）している。なお、使用者の頭の位置は、手と同様にカメラ５５，５６による撮像データを画像解析することによって導出することができる。
なお、画面Ｖのサイズがさらに大きく、使用者がより遠方に位置する場合には、線分の基準点を使用者の体の略真ん中とするなど、より効率的に選択したいアイコンを識別可能な位置に変更しても良い。
この方法によれば、画面と使用者との距離が大きく離間している場合であっても、選択したいアイコンを適切に識別することができる。

（変形例２）
図８は、変形例２に係る操作態様における一態様を示す斜視図であり、図２（ａ）に対応している。
上記実施形態では、操作は１つの手（カーソル）によって行われるものとして説明したが、この方法に限定するものではなく、複数の手（カーソル）によって同時に操作することであっても良い。
図８は、変形例２に係る立体表示された複数のアイコンを示す斜視図である。
詳しくは、３行に渡ってアイコンｉが表示されており、最上段にはアイコンｉ７１行の５つのアイコンが表示され、その下の中段にはアイコンｉ８１行の５つのアイコンが表示され、最下段にはアイコンｉ９１行の５つのアイコンが表示されている。また、奥行き方向（Ｚ軸（＋）方向）の高さは、最も高い最上段のアイコンｉ７１行から、中段のアイコンｉ８１行、最下段のアイコンｉ９１行の順に低くなっている。

ここで、図８の事例では、使用者が２人おり、１人が手６０でアイコンｉ７１を選択し、もう１人が手６１でアイコンｉ７５を選択しようとしている。このため、双方の手６０，６１の位置にカーソルが表示されている。
この場合、例えば、ゲームのように２つの同時入力を受け付け可能なアプリケーションの場合であれば、２つのアイコンｉ７１，ｉ７５を同時に選択することが可能である。または、時系列に処理する必要があるアプリケーションの場合であれば、例えば、解析情報における計時データの時間に従って、先に選択されたアイコンを選択する。
なお、手の位置が２つであっても、２台のカメラによる撮像データを画像認識、および解析によって、双方の手６０，６１の位置をそれぞれ検出することができる。
また、例えば、同時にアイコンｉ７５、およびアイコンｉ８１の選択位置に手６０，６１が検出された場合には、奥行き方向の高さが高いアイコンｉ７５を先に選択するなど、アイコンの奥行き方向の位置に応じて、処理の優先順位を付けても良い。
この方法によれば、両手による操作や、複数人による操作が可能となるため、多様な用途にこの画像入力システムを適用することができる。

（変形例３）
図９は、変形例３に係る画像入力システムの概要示す斜視図であり、図１に対応している。
上記実施形態では、画像入力システムの表示装置としてプラズマテレビや、液晶テレビのような一体型のディスプレイを用いることとして説明したが、この構成に限定するものではなく、投写型のディスプレイを用いた表示装置であっても良い。
変形例３に係る画像入力システム２００は、ホストプロジェクター１５０、スレーブプロジェクター１５１、カメラ５５，５６、偏光メガネ１４０などから構成されている。
ホストプロジェクター１５０は、スレーブプロジェクター１５１、およびカメラ５５，５６を制御する制御装置を兼ねており、画像を投写する投写部に加えて、図３の制御部や、画像信号処理部、カメラ駆動部などと同様な機能を備えた回路部を搭載している。

ホストプロジェクター１５０は、投写部に第１の偏光板を備えており、当該第１の偏光板を透過した左画像をスクリーンＳｃ（画面Ｖ）に投写する。スレーブプロジェクター１５１は、投写部に第１の偏光板の偏光軸と略直交する偏光軸を有する第２の偏光板を備えており、当該第２の偏光板を透過した右画像をスクリーンＳｃ（画面Ｖ）に投写する。
そして、使用者が掛けている偏光メガネ１４０の左側のレンズには第１の偏光板がセットされており、また、右側のレンズには第２の偏光板がセットされている。
この構成であっても、使用者には、スクリーンＳｃに形成された画面Ｖから前面に浮き出すように表示される立体画像が視認されることになり、上記各実施形態と同様に、３Ｄ表示されたアイコンを操作（入力）することができる。
従って、上記各実施形態、および変形例と同様な作用効果を得ることができる。

（変形例４）
図１を用いて説明する。
上記各実施形態、および変形例では、撮像カメラを２台用いることとして説明したが、この構成に限定するものではなく、視角の異なるカメラを２台以上用いることであれば良い。台数が多い方が、情報量が増えるため、３次元位置情報の精度をより高めることができる。
また、手による操作が主体であれば、赤外線カメラを用いても良い。これによれば、常時発熱している人体の一部である手の位置を効率的に感知することができる。

（変形例５）
図１を用いて説明する。
上記各実施形態、および変形例では、シャッターメガネや、偏光メガネを用いることとして説明したが、例えば、パララックスバリアや、レンティキュラーレンズを用いて、メガネなしで３Ｄ表示を行う場合には、画像解析によって使用者の眼の開閉を検出して、これを入力操作に用いても良い。
詳しくは、選択した位置で手６０の態様を変化させることにより、機能を実行（決定）する方法に変えて、左眼を所定時間閉じることによって、機能を実行（決定）することであっても良い。さらに、右眼を所定時間閉じる態様にキャンセル機能を割り付けるなど、両目の開閉の組み合わせで、各種機能を割り付けることであっても良い。
この方法によれば、より画像入力システムの使い勝手を向上させることができる。

（変形例６）
図６を用いて説明する。
上記実施形態２で説明した、立体画像の奥行き方向において複数層に重ねられたアイコンを当該方向における手６０の位置によって選択する方法は、ファイル（フォルダー）の検索方法にも適用することができる。
詳しくは、表示装置５０がハードディスクを内蔵している場合や、画像信号供給装置３００がパーソナルコンピューターである場合などは、写真や動画などの数多くのファイルを保存していることが多い。一般的に、これらのファイル名は、撮影日などの数字や記号であるため、ファイル名から所望のファイルを探し出すことは煩わしい作業である。
ここで、図６のアイコンｉをこれらのファイル（フォルダー）と置き換えた場合、複数層に重ねられたファイルに手を伸ばすだけで、所望のファイルを検索することができる。特に、最も前面に表示されている、つまり、選択しているファイルの画像のみが大きく表示されるため、例えば、小さなサムネイル表示が複数並んで表示される場合よりも、効率良く直感的に所望のファイルを探し出すことができる。
従って、使い勝手の良いファイル検索システムを提供することができる。

３…画像信号処理部、５…制御部、８…メガネ制御部、９…カメラ駆動部、５０…表示装置、５５，５６…カメラ、６０…突出した部位としての手、１００，１１０，２００…画像入力システム、ｉ１１〜ｉ３１，ｉ５１〜ｉ５５，ｉ７１〜ｉ９５…アイコン、ｃ１〜ｃ３…カーソル、Ｖ…画面。

Claims (10)

1. 立体画像を表示する表示装置と、
   前記立体画像と向い合う方向に位置する使用者を異なる視角から撮像する複数台のカメラと、前記表示装置、および前記複数台のカメラを制御する制御部と、を少なくとも備えた画像入力システムであって、
   前記制御部は、前記表示装置によって、操作用の複数のアイコンを含む前記立体画像を表示させるとともに、前記複数台のカメラが撮像した複数の画像を解析して、前記使用者における前記立体画像側に最も突出した部位の３次元位置情報を含む解析情報を導出し、
   前記複数のアイコンには、前記立体画像における奥行き方向の位置が異なる前記アイコンが含まれており、
   前記奥行き方向の位置が異なる前記アイコンは、前記奥行き方向の位置情報を含む前記３次元位置情報によって、識別または選択されることを特徴とする画像入力システム。
2. 前記複数のアイコンは、前記表示装置の画面に沿った平面方向において互いに重ならないように配置されていることを特徴とする請求項１に記載の画像入力システム。
3. 前記複数のアイコンのうち、相対的に前記奥行き方向の高さが高く、前記使用者に近い位置に表示される前記アイコンには、第１の機能が割り付けられ、
   前記奥行き方向の高さが高い前記アイコンよりも、前記奥行き方向の高さが低い前記アイコンには、前記第１の機能よりも使用頻度の低い第２の機能が割り付けられることを特徴とする請求項２に記載の画像入力システム。
4. 前記複数のアイコンは、前記表示装置の画面に沿った平面方向においてその一部が重なるとともに、前記奥行き方向において、層状に重ねられていることを特徴とする請求項１に記載の画像入力システム。
5. 前記制御部は、前記使用者における前記立体画像側に最も突出した部位の態様が、第１の態様から、前記第１の態様とは異なる第２の態様に変化したことを検出した場合、前記選択された前記アイコンに割り付けられた機能を実行することを特徴とする請求項１〜４のいずれか一項に記載の画像入力システム。
6. 前記制御部は、前記立体画像において前記３次元位置情報に基づく位置に、カーソルを表示させることを特徴とする請求項１〜５のいずれか一項に記載の画像入力システム。
7. 前記カーソルは、前記奥行き方向の位置によって、その色調、または形状が変化することを特徴とする請求項６に記載の画像入力システム。
8. 前記カーソルは、前記立体画像中に複数存在することを特徴とする請求項６または７に記載の画像入力システム。
9. 前記選択された前記アイコンは、他の前記アイコンよりも強調された表示となることを特徴とする請求項１〜８のいずれか一項に記載の画像入力システム。
10. 前記使用者における前記立体画像側に最も突出した部位は、手であり、
    前記第１の態様、および第２の態様を含む前記手の態様には、前記手の平を開く、握る、指を指す態様が含まれていることを特徴とする請求項１〜８のいずれか一項に記載の画像入力システム。