JP2015111772A - 投影装置 - Google Patents

Abstract

【課題】ユーザの体の特定部位が検出されたときに特定の対象物に画像を投影する投影部の存在をユーザが自然に認識可能な投影装置を提供する。
【解決手段】投影装置（１）は、可視レーザ光を出射して、第１の対象物に画像を投影する投影部（３０，３０ａ，３１）と、投影部による画像の投影位置を変更可能に投影部を搭載する可動支持部（１２，１３）と、投影部により画像を投影可能な空間内において、空間内の物体までの距離を示す深度データを取得する深度センサ（２０，２５）と、深度データに基づき空間内でユーザの体の特定部位が検出されたときに、可動支持部を制御して、投影部による画像の投影位置を第１の対象物から第２の対象物に変更させる制御部（５０）とを有する。
【選択図】図１

Description

本発明は、可視レーザ光により画像を投影する投影装置に関する。

例えば、テレビ、ビデオ等を操作するための情報入力を行うために、リモコン等の情報入力装置を利用することが一般的に行われている。しかしながら、いざ利用しようとすると、リモコン等の置き場所が不明であったりして、利用したいときに利用できないといった不具合がある。

そこで、こうした問題を解消するために、リモコン等の機器を用いず情報入力を行うことができる装置が提案されている。例えば、特許文献１には、可視レーザ光によりテーブルやユーザの体の一部などに情報入力用画像を投影し、その画像に対するユーザの操作を検出して情報入力を行う情報入力装置が記載されている。

国際公開第２０１２／１７３００１号

特許文献１の装置は、画像を投影可能な空間内で例えばユーザが手のひらを差し出せば、その手のひらを検出して手のひら上に情報入力用画像を投影するため、小型のレーザプロジェクタによる投影画像で情報入力を行うことができる。しかしながら、そうした情報入力装置が小型の投影装置で構成されていると、ユーザは、通常その存在に気付かず、手のひらを差し出す等の画像投影のきっかけとなる動作を行わないため、投影装置を用いた情報入力機能を有効利用できないおそれがある。このため、そうした投影装置があることをユーザが自然に認識できるような何らかの手段が必要である。

そこで、本発明では、ユーザの体の特定部位が検出されたときに特定の対象物に画像を投影する投影部の存在をユーザが自然に認識可能な投影装置を提供することを目的とする。

本発明の投影装置は、可視レーザ光を出射して、第１の対象物に画像を投影する投影部と、投影部による画像の投影位置を変更可能に投影部を搭載する可動支持部と、投影部により画像を投影可能な空間内において、空間内の物体までの距離を示す深度データを取得する深度センサと、深度データに基づき空間内でユーザの体の特定部位が検出されたときに、可動支持部を制御して、投影部による画像の投影位置を第１の対象物から第２の対象物に変更させる制御部とを有することを特徴とする。

本発明の投影装置では、制御部は、特定部位が検出されていないときは第１の対象物に画像が投影されるように、可動支持部と投影部を制御することが好ましい。

本発明の投影装置では、制御部は、深度データに基づき第１の対象物の表面形状を認識し、投影部が投影する画像の形状を表面形状に応じて補正することが好ましい。

本発明の投影装置では、深度センサは、空間全体の赤外線画像を撮像して深度データを取得する第１の検知部と、可動支持部に搭載され、投影部による画像の投影位置で赤外線ビームを２次元状に走査して、赤外線ビームの反射光から深度データを取得する第２の検知部とを有し、制御部は、第１の検知部が取得した深度データから特定部位を検出し、第２の検知部が取得した深度データから第１の対象物の形状を認識することが好ましい。

本発明の投影装置では、制御部は時計機能を有し、投影部は、時計機能により求められる時刻を示す時計画像を第１の対象物に投影することが好ましい。

本発明の投影装置では、投影部は、第２の対象物に情報入力用画像を投影し、制御部は、深度データに基づき情報入力用画像に対するユーザの入力操作を検出することが好ましい。

本発明の投影装置では、制御部は、情報入力用画像に対するユーザの入力操作に応じて、時計画像の表示状態の設定、時計画像が示す時刻の設定、又は時計機能に付随するアラームの設定を行うことが好ましい。

本発明の投影装置では、制御部はカレンダの情報を保持し、投影部は、第１の対象物にカレンダの画像を投影することが好ましい。

本発明の投影装置によれば、ユーザの体の特定部位が検出されたときに特定の対象物に画像を投影する投影部の存在を、ユーザは自然に認識することができる。

投影装置１の全体構成を示す外観斜視図である。 投影装置１の概略構成図である。 第２の検知部２５の構成例を示す図である。 時計画像６０の例を示す図である。 情報入力用画像７０の例を示す図である。 制御部５０の機能ブロック図である。 初期設定処理の一例を示すフローチャートである。 第１の検知部２０の赤外線カメラ２２による撮像データに基づく画像の一例を示す図である。 手のひら検出処理の一例を示すフローチャートである。 検出された手のひら領域１００と、その上に情報入力用画像７０が投影された状態を示す図である。 情報入力検出処理の一例を示すフローチャートである。 左手８０の手のひら領域１００に投影された情報入力用画像７０に対して右手９０により情報入力が行われる場合の例を説明するための図である。 投影位置設定処理の一例を示すフローチャートである。 レーザプロジェクタ３０の他の例を示す概略構成図である。

以下、図面を参照し、投影装置について説明する。ただし、本発明が、図面又は以下に記載される実施形態に限定されるものではないことを理解されたい。なお、図面の説明において、同一の構成要素には同一の符号を付し、重複する説明は省略する。また、説明のため、部材の縮尺は適宜変更している。

この投影装置は、通常は、第１の対象物（例えば、壁等）に、その対象物に応じた形状の画像を投影する。この画像は、例えば仮想的な時計（バーチャルクロック）として機能する時計画像であり、実際の時計と同様に現在の時刻を表示する。そして、投影装置が設置された空間内で例えばユーザが手のひらを差し出す等の動作を行うと、この投影装置は、深度センサにより取得された深度データに基づいて、その動作を検出する。このとき、ユーザの手のひらなどの特定部位が検出されると、この投影装置は、第１の対象物から第２の対象物（例えば、検出された手のひら等）に画像の投影位置を変更し、第２の対象物に情報入力用画像を投影する。

ユーザは、その情報入力用画像に対して入力操作を行うことにより、投影された時計や、他の被操作装置を操作することができる。このように、例えば時計画像が投影されていると、ユーザは、自分がいる空間に投影装置が設置されていることがわかる。そこで、この投影装置は、ユーザに入力操作を行うきっかけを与えるものとして、例えば壁等に時計画像を固定表示する。なお、以下では時計画像を固定表示する例を説明するが、固定表示されるものは例えばカレンダ等、時計以外の画像でもよく、表示内容は特定のものには限定されない。

図１は、投影装置１の全体構成を示す外観斜視図である。図２は、投影装置１の概略構成図である。

投影装置１は、パンティルト架台１０、第１の検知部２０、第２の検知部２５、レーザプロジェクタ３０、制御部５０等を有する。投影装置１は、少なくとも床４１、天井４２及び壁４３を有する空間４０に配置されている。空間４０は、完全に閉じられた空間であっても、開放的な空間であってもよい。パンティルト架台１０は可動支持部の一例であり、第１の検知部２０と第２の検知部２５は深度センサの一例であり、レーザプロジェクタ３０は投影部の一例である。なお、図１では、レーザプロジェクタ３０についてはその出射部３０ａのみを示している。

パンティルト架台１０は、基部１１、第１の回転部１２、第２の回転部１３等を有する。基部１１は天井４２に固定されている。第１の回転部１２は第１のモータ１５によってθ方向に回転し、第２の回転部１３は第２のモータ１６によってφ方向に回転する。なお、第１の回転部１２がθ方向に回転すると、レーザプロジェクタ３０による投影画像は矢印Ａの方向に移動する。また、第２の回転部１３がφ方向に回転すると、投影画像は矢印Ｂの方向に移動する。

レーザプロジェクタ３０は、例えば、ＲＧＢ各色レーザ光源、ＲＧＢレーザ光用ファイバ、ファイバピグテイルモジュール、ＲＧＢファイバコンバイナ、可視シングルモードファイバ、出射部（プロジェクションヘッド）３０ａ等を有する超小型プロジェクタである。レーザプロジェクタ３０は、可視レーザ光によって画像を投影するため、被投影面と出射部３０ａとの間の距離に拘わらず、常に良好な画像を被投影面上に形成することができるというフォーカスフリー特性を有する。

ＲＧＢ各色レーザ光源は、それぞれ半導体レーザ（レーザダイオード）で構成され、対応する色の可視レーザ光を発光する。ファイバピグテイルモジュールは、各色レーザ光源が発光するＲＧＢ各色のレーザ光をそれぞれＲＧＢレーザ光用ファイバへ導入する。ＲＧＢファイバコンバイナは、ＲＧＢレーザ光用ファイバからの光を合波する。そして、可視シングルモードファイバは、合波された光を出射部３０ａへ導く。

出射部３０ａは、パンティルト架台１０の第２の回転部１３に取り付けられており、可視シングルモードファイバによって導かれた可視レーザ光により、空間４０内の対象物に画像を投影する。出射部３０ａは、第１の回転部１２と第２の回転部１３の回転によってその向きを任意に変えられるので、画像の投影位置を任意に変更することができる。このように、投影装置１は、大型のプロジェクタで空間４０の全体に対して投影を行うのではなく、第１の回転部１２と第２の回転部１３により出射部３０ａを移動させてアダプティブに投影位置を制御し、最小の出力で明るい画像を投影する。

出射部３０ａには、ＳＬＭ（Spatial Light Modulator：空間光位相変調器）として、例えばＬＣＯＳ（Liquid Crystal on Silicon）が用いられる。なお、ＭＥＭＳ（Micro Electro Mechanical System）ミラーを用いたスポット走査型の出射部、又はファイバ走査型の出射部を用いて、出射部３０ａを一層小型化してもよい。

また、レーザプロジェクタ３０の可視シングルモードファイバと出射部３０ａ以外の部分は、制御部５０と共にパンティルト架台１０の基部１１内に収納してもよいし、天井４２に別途制御ボックスを取り付けて、その中に収納してもよい。あるいは、レーザプロジェクタ３０の全体を、パンティルト架台１０の第２の回転部１３に取り付けてもよい。また、投影する画像によっては、レーザプロジェクタ３０は、単色やＲＧＢ以外の波長の可視レーザ光源等を用いたものでもよい。

第１の検知部２０は、パンティルト架台１０の基部１１に固定されており、第１の赤外線発光部２１、赤外線カメラ２２等を有する。第１の赤外線発光部２１は、レーザプロジェクタ３０により画像を投影可能な空間４０全体に赤外線を照射する。赤外線カメラ２２は、空間４０内に存在する物体からの赤外線の反射光を受光して撮像し、赤外線画像の画素毎の位置座標データ（ｘ，ｙ）と、各画素に対応する撮像された物体までの距離を示す深度データ（ｒ）とを、制御部５０に出力する。

なお、第１の赤外線発光部２１は、赤外線を発光する半導体レーザ（レーザダイオード）である。第１の赤外線発光部２１には、網膜まで到達せず目に損傷を与えにくい１４００ｎｍ〜２６００ｎｍの波長領域のレーザ（アイセーフレーザ）を使用することが好ましい。しかしながら、この波長領域では例えばＩｎＧａＡｓ系の赤外線カメラを用いる必要があり高価なため、実際には、赤外線カメラ２２として低コストのＳｉ系のＣＭＯＳ又はＣＣＤカメラを使うこともある。この場合、第１の赤外線発光部２１としては、Ｓｉ系のＣＭＯＳやＣＣＤカメラで感度のある８００ｎｍ〜１１００ｎｍの波長領域の半導体レーザを使用するとよい。

図２に示すように、第１の赤外線発光部２１の前面には、偏光板２３が配置される。偏光板２３は、第１の赤外線発光部２１が発光した赤外線のレーザ光のうち、偏光方向が一定方向の直線偏光（例えばＰ偏光）の赤外線のみを出射する。また、赤外線カメラ２２の前面にも、偏光板２４が配置される。これにより、赤外線カメラ２２は、物体からの反射光のうち偏光方向が出射光と同じ一定方向の直線偏光（例えばＰ偏光）の赤外線のみを受光して撮像する。

第２の検知部２５は、パンティルト架台１０の第２の回転部１３にレーザプロジェクタ３０の出射部３０ａと共に搭載されており、第２の赤外線発光部２６、赤外線検知部２７等を有する。第２の赤外線発光部２６は、赤外線を発光する半導体レーザ（レーザダイオード）であり、レーザプロジェクタ３０による画像の投影位置を含む所定領域に赤外線を照射する。赤外線検知部２７は、受光素子としてフォトダイオードを有し、その領域内にある物体からの反射光を受光して検知する。また、赤外線検知部２７は演算部を有し、その演算部により、フォトダイオードの検知信号や、その検知信号と赤外線レーザの出射光との強度比、赤外線レーザの照射角度等から物体の位置座標データを算出し、例えばＴＯＦ（Time of Flight）法を用いて検知物体までの距離を示す深度データを算出する。そして、赤外線検知部２７は、算出した物体の位置座標データ（ｘ，ｙ）と深度データ（ｒ）を、制御部５０に出力する。なお、赤外線検知部２７の演算部の機能は、制御部５０に含めてもよい。

第２の赤外線発光部２６にも、第１の赤外線発光部２１と同様に、アイセーフレーザを発光するものを使用することが好ましい。しかしながら、１４００ｎｍより長い波長領域では例えばＩｎＧａＡｓ系の赤外線センサを用いる必要があり高価なため、実際には、赤外線検知部２７として低コストのＳｉ系のフォトダイオードを使うこともある。この場合、第２の赤外線発光部２６としては、Ｓｉ系のフォトダイオードで感度のある８００ｎｍ〜１１００ｎｍの波長領域の半導体レーザを使用するとよい。

図２に示すように、第２の赤外線発光部２６の前面には、偏光板２８が配置される。偏光板２８は、第２の赤外線発光部２６が発光した赤外線のレーザ光のうち、偏光方向が、第１の検知部２０で使用される赤外線の直線偏光方向と直交する一定方向の直線偏光（例えばＳ偏光）の赤外線のみを出射する。また、赤外線検知部２７の前面にも、偏光板２９が配置される。これにより、赤外線検知部２７は、物体からの反射光のうち偏光方向が出射光と同じ一定方向の直線偏光（例えばＳ偏光）の赤外線のみを受光して検知する。

このように、第１の検知部２０と第２の検知部２５は、直線偏光方向が互いに直交する赤外線を使用することにより、赤外線カメラ２２が受光する赤外線と赤外線検知部２７が受光する赤外線との相互混信を低減させて、ＳＮ比を向上させる。しかしながら、このような偏光多重方式では偏光解消物体に赤外線を照射したときに混信が発生するため、第１の検知部２０と第２の検知部２５は、互いに異なる波長の赤外線を照射しフィルタを介してそれぞれの赤外線を受光する波長多重方式を使用してもよい。あるいは、第１の検知部２０と第２の検知部２５は、混信を防ぐために、異なる発光タイミングで赤外線を照射する時間多重方式を使用してもよい。

第１の検知部２０は、赤外線カメラ２２のリフレッシュレートが１秒間に３０フレーム程度であるため、これより速い物体の移動に追従できないが、第２の検知部２５は、第２の赤外線発光部２６により赤外線が照射される投影空間内にある物体を、ＴＯＦ法によってより高速に検知することができる。さらに、第２の検知部２５は、出射部３０ａと共に第２の回転部１３に一体的に搭載されているので、出射部３０ａによる投影画像が移動しても、投影空間内をより高速にスキャンすることができる。このため、第２の検知部２５を利用すれば、例えば投影空間内に顔や目が進入するのを迅速に検知して、可視レーザ光が人の顔や目に照射されるのを防ぐことも可能になる。

図３は、第２の検知部２５の構成例を示す図である。図３に示す第２の検知部２５では、第２の赤外線発光部２６と赤外線検知部２７は、下部に透明窓２５３を設けた筐体２５２内に、赤外線の出射光軸と受光光軸が互いに直交するように配置されている。そして、第２の赤外線発光部２６の赤外線の出射光軸に沿って、偏光板２８とビームスプリッタ２５０と走査部であるＭＥＭＳミラー２５１とが順次配置されている。ビームスプリッタ２５０とＭＥＭＳミラー２５１は、ビームスプリッタ２５０の半反射面とＭＥＭＳミラー２５１の中立時におけるミラー面が赤外線の出射光軸に対して略５°から４５°の角度をなすように設置される。赤外線検知部２７とビームスプリッタ２５０との間には、偏光板２９が配置されている。

ＭＥＭＳミラー２５１は、そのミラー面（図示せず）が矢印ａ方向と矢印ｂ方向の二軸方向に回動可能に構成されており、ミラー面を各方向に回動させることによって、一点鎖線で示す赤外線ビームを、矢印ｃ方向とそれに直交する（紙面に垂直な）方向に２次元状に走査させる。これにより、第２の検知部２５は、出射部３０ａによる画像の投影位置を含むそれよりやや広い領域に対して、微小スポットの赤外線ビームにより高速のラスタスキャン又はリサジュースキャンを行う。

なお、二軸方向に回動するＭＥＭＳミラー２５１に代えて、一軸方向に回動するＭＥＭＳミラー等の振動ミラーを２枚組み合わせたものを、走査部として使用してもよい。また、ビームスプリッタ２５０を偏光ビームスプリッタにすれば、偏光板２８，２９を省略することも可能である。

制御部５０は、ＣＰＵ５０ａ、ＲＡＭ５０ｂ、ＲＯＭ５０ｃ、Ｉ／Ｏ５０ｄ、通信Ｉ／Ｆ５０ｅ等を有するマイクロコンピュータ及びその周辺回路で構成される。ＣＰＵ５０ａは、各種演算及び処理を行う中央処理部である。ＲＡＭ５０ｂは、入力データやＣＰＵ５０ａが処理するデータを一時的に記憶するランダムアクセスメモリである。ＲＯＭ５０ｃは、ＣＰＵ５０ａが実行する動作プログラム及び固定データを格納するリードオンリメモリである。Ｉ／Ｏ５０ｄは、パンティルト架台１０、第１の検知部２０、第２の検知部２５、レーザプロジェクタ３０との間でデータの送受信を行うための入出力ポートである。通信Ｉ／Ｆ５０ｅは、インターネット等の外部から、投影装置１の動作に必要なデータを受信するための通信インタフェースである。制御部５０は、さらに、不揮発性ＲＡＭ（ＮＶＲＡＭ）やハードディスク装置（ＨＤＤ）等を備えてもよい。

制御部５０は、ＲＯＭ５０ｃに予め記憶されたプログラムをＣＰＵ５０ａが実行することにより、パンティルト架台１０、第１の検知部２０、第２の検知部２５及びレーザプロジェクタ３０の動作を制御する。特に、制御部５０は、レーザプロジェクタ３０に画像データを出力して、空間４０内で予め定められた第１の対象物に時計画像６０を投影させるか、又は空間４０内で予め定められた第２の対象物に情報入力用画像７０を投影させる。すなわち、制御部５０は、パンティルト架台１０を制御して第１の回転部１２と第２の回転部１３を動かすことにより、第１の対象物と第２の対象物の間で画像の投影位置を切り替えて、レーザプロジェクタ３０に時計画像６０と情報入力用画像７０の何れかを投影させる。以下では、時計画像６０が投影されているとき投影装置１は「時計モード」にあるといい、情報入力用画像７０が投影されているとき投影装置１は「入力モード」にあるという。

図１の例では、第１の対象物の一例である窓４４に時計画像６０が投影されており、矢印Ｃで示すように画像の投影位置が切り替えられたときは、第２の対象物の一例であるユーザの左手８０の手のひらに情報入力用画像７０が投影される。なお、第１の対象物と第２の対象物は、ある程度平坦であってユーザが認識可能な広さの面を有するものであれば、例えば、床、壁、ボード、テーブル、あるいはユーザの腕、足等の他の物体でもよく、図１に示したものには限定されない。

図４（Ａ）〜図４（Ｃ）は、時計画像６０の例を示す図である。制御部５０は、パンティルト架台１０及びレーザプロジェクタ３０を制御して、通常は、第１の対象物に時計画像６０を投影させる。その際、制御部５０は、単なるプロジェクションマッピングにより第１の対象物の表面にテクスチャを貼り付けるのではなく、例えば第２の検知部２５により第１の対象物の表面形状を計測し、表面形状に合った時計画像をアダプティブに選択して投影させる。そのために、制御部５０は、丸い時計、四角い時計等の様々な意匠のアナログ時計又はデジタル時計を予めＲＯＭ５０ｃ等に記憶しておく。

図４（Ａ）は、四角い窓４４に投影された四角いアナログ時計画像６０ａである。図４（Ａ）の例では、第１の対象物として窓４４が指定されており、その四角い形状に合わせて四角い時計画像が投影される。

図４（Ｂ）は、丸いテーブル４５に投影された丸いアナログ時計６０ｂである。図４（Ｂ）の例では、第１の対象物としてテーブル４５が指定されており、その丸い形状に合わせて丸い時計画像が投影される。

図４（Ｃ）は、戸棚４６の面に投影されたデジタル時計６０ｃである。図４（Ｃ）の例では、第１の対象物として戸棚４６が指定されており、その四角い形状に合わせて四角い時計画像が投影される。なお、アナログ時計とデジタル時計のどちらが投影されるかは、ユーザが選択できるようにしてもよい。また、図４（Ｃ）の例のように、ユーザは、対象物の表面の一部を時計画像６０の投影位置として選択できるようにしてもよい。

時計画像６０は、現在の時刻を表示する仮想的な時計であり、アナログ時計であれば時計の針が動くように表示が変化し、デジタル時計であれば数字の表示が変化する。投影装置１は時計画像６０を常時表示してもよいし、例えば第１の検知部２０によりユーザの存在が検知されたときだけ時計画像６０を表示してもよい。また、第１の対象物は１つの物体に限らず、複数の物体の間で一定時間毎に時計画像６０の投影位置が切り替わってもよい。

図５は、情報入力用画像７０の例を示す図である。ユーザが空間４０内で手のひらを差し出す等の予め定められた動作を行うと、制御部５０は、例えば第１の検知部２０により取得された深度データに基づいてその手のひらを検出する。このとき、投影装置１は時計モードから入力モードに移行し、例えば検出された手のひら（第２の対象物）に情報入力用画像７０を投影する。複数のユーザが検出可能範囲に入っている場合には、先に検出された手のひらの優先度を高くし、その上に情報入力用画像７０を投影する。

情報入力用画像７０は、時計画像６０の表示設定を入力するための画像であり、例えば、図５に示すように、時刻設定ボタン７２、アラーム設定ボタン７３、スキン設定ボタン７４及び投影位置設定ボタン７５を有する。この他にも、例えば、情報入力用画像７０に投影のオンオフの選択ボタンを設けて、ユーザの操作により時計画像６０を消去又は再表示できるようにしてもよい。

時刻設定ボタン７２は、時計画像６０が表示する時刻を設定するための入力画像を表示させるボタンである。また、アラーム設定ボタン７３は、時計画像６０を仮想的なアラーム時計として動作させるためのボタンである。アラーム設定ボタン７３が選択されると、アラームのオンオフ及びアラームの起動時刻を設定するための入力画像が表示される。投影装置１はアラーム用の音声を出力可能なスピーカ等を有し、制御部５０は、設定されたアラーム起動時刻になるとアラームを起動して、例えば音声と光によりユーザに時刻を知らせる。

スキン設定ボタン７４は、時計画像６０の外観表示を変更するためのボタンである。スキン設定ボタン７４が選択されると、ＲＯＭ５０ｃ等に記憶されている時計のデザインの何れかを選択するための入力画像が表示される。これにより、ユーザは、投影される時計画像６０を異なる外観のものに変更することができる。

投影位置設定ボタン７５は、時計画像６０の投影位置である第１の対象物を設定するモードに投影装置１を移行させるためのボタンである。以下では、このモードのことを「投影位置設定モード」という。投影位置設定ボタン７５が選択されると、制御部５０は、例えば、時計画像６０の投影先とする第１の対象物をユーザが指さす動作を検出し、以後、選択された第１の対象物に時計画像６０を投影させる。

後述するように、図５に示す破線で囲まれた何れかの領域内に指先位置がある場合、各ボタンに対応する情報入力がなされたと判断される。情報入力用画像７０が投影された手のひらと同じ手の指又は他方の手の指で何れかのボタンを選択することにより、ユーザは制御部５０に対して情報を入力することができる。これにより、ユーザは、時計の設置場所まで移動したりリモコン等の機器を利用したりすることなく、手元でバーチャルクロックの各種設定を行うことが可能になる。

例えば、ユーザが何れかの設定ボタンを選択して必要な情報入力を終えるか、情報入力用画像７０に設けられた図示しないリターンボタンをユーザが選択するか、又はユーザが所定の時間何も入力動作をしないことで、投影装置１は、入力モード又は投影位置設定モードから時計モードに移行する。これにより、投影装置１は、第１の対象物への時計画像６０の投影を開始又は再開する。

なお、情報入力用画像７０は、時計画像６０の表示設定に限らず、他の装置への情報入力を行うためのものであってもよい。例えば、エアコン、ネットワークへのアクセス装置、パーソナルコンピュータ、テレビ、ラジオ、又はＣＤ、ＤＶＤ若しくはＶＴＲ等の各種記録媒体の記録再生装置等を被操作装置として、情報入力用画像７０によりこれらの装置への情報入力ができるようにしてもよい。ユーザは、空間４０内に投影装置１が設置されていることを時計画像６０により認識できるので、情報入力用画像７０を投影させる動作を必要に応じて行うことができる。

図６は、制御部５０の機能ブロック図である。投影装置１の上記の機能を実現するために、制御部５０は、機能モジュールとして、初期設定処理部５１と、投影位置制御部５２と、物体検出部５３と、入力検出部５４と、投影位置設定部５５と、画像調整部５６と、時計設定部５７と、時計機能部５８とを有する。これらの各部は、ＲＯＭ５０ｃに予め記憶されたプログラムに従って、ＣＰＵ５０ａにより実現される。

初期設定処理部５１は、パンティルト架台１０へ出力する制御データと、レーザプロジェクタ３０により投影される画像の位置座標データとを対応付けたデータテーブルを作成する初期設定処理を行う。初期設定処理の詳細は、図７を用いて後述する。

投影位置制御部５２は、物体検出部５３がユーザの体の特定部位（例えば手のひら）を検出していないときには、ユーザにより予め指定された第１の対象物に時計画像６０が投影されるように、パンティルト架台１０とレーザプロジェクタ３０を制御する。なお、このとき、投影装置１は時計モードの状態にある。

また、投影位置制御部５２は、物体検出部５３がユーザの体の特定部位を検出したときに、パンティルト架台１０を制御して、レーザプロジェクタ３０による画像の投影位置を第１の対象物から第２の対象物（例えば手のひら）に変更させる。なお、第２の対象物と特定部位は、同じ物体でもよい。

特定部位が検出されると、投影装置１は入力モードに移行する。このとき、投影位置制御部５２は、第１の検知部２０又は第２の検知部２５により取得された第２の対象物の位置座標データ（ｘ，ｙ）と深度データ（ｒ）から、第２の対象物の空間座標（ｘ，ｙ，ｚ）を算出する。そして、投影位置制御部５２は、初期設定処理部５１が作成したデータテーブルに基づき、適当な制御データによってパンティルト架台１０の第１のモータ１５及び第２のモータ１６を駆動制御することで、第１の回転部１２と第２の回転部１３を回転させる。これにより、投影位置制御部５２は、出射部３０ａの向きを変更させて、情報入力用画像７０を第２の対象物に投影させる。すなわち、投影位置制御部５２は、投影装置１が時計モードにあるときと入力モードにあるときで、画像の投影位置を切り替える。

また、ユーザが情報入力用画像７０に対する入力操作又は第１の対象物を指定する操作を終えて、投影装置１が入力モード又は投影位置設定モードから時計モードに移行するときに、投影位置制御部５２は、上記と同様に第１の回転部１２と第２の回転部１３を回転させて、レーザプロジェクタ３０により第１の対象物に時計画像６０を投影させる。

また、例えば特定部位と第２の対象物が同じ手のひらであるときは、投影位置制御部５２は、ユーザが手のひらを動かした場合でもその手のひらを追尾して、常に手のひら上に情報入力用画像７０を投影させることが好ましい。そのためには、投影位置制御部５２は、第２の検知部２５により取得される手のひらの深度データに基づいてパンティルト架台１０を制御することにより、手のひらの移動に合わせて出射部３０ａの向きを変化させる。

物体検出部５３は、投影装置１に情報入力用画像７０を投影させるための、ユーザの予め定められた動作を検出する。そのために、物体検出部５３は、例えば第１の検知部２０が取得した深度データに基づいて、空間４０内におけるユーザの体の特定部位を検出する。例えば、予め定められた動作が手のひらを差し出す動作である場合には、物体検出部５３は、後述する図９の手のひら検出処理により、ユーザの体の特定部位として、ユーザの手のひらを検出する。

あるいは、情報入力用画像７０を投影させるための予め定められた動作は、情報入力用画像７０の被投影面となる第２の対象物をユーザが指さす等の他の動作でもよい。この場合、物体検出部５３は、手のひら検出処理と同様に、例えば第１の検知部２０が取得した深度データに基づいて、ユーザの体の特定部位としてユーザの指を検出する。

なお、ユーザの手のひら等の体の一部に情報入力用画像７０を投影して情報入力を行う場合には、出射部３０ａと情報入力用画像７０との間の投影空間にユーザの顔又は目等の特異物体が進入し易くなる。このため、第１の検知部２０によりその投影空間内にユーザの顔又は目等の特異物体の可能性がある物体を検出したときには、物体検出部５３は、第２の検知部２５から取得した位置座標データ及び深度データに基づいて、その物体が特異物体であるか否かを判断してもよい。この場合、物体検出部５３は、例えば、それらのデータからその物体の輪郭パターンを特定し、予めＲＯＭ５０ｃ等に記憶されている、人の目、鼻、耳、口、顔の輪郭又は顔等の特徴的な形状を示すパターンと比較することにより、特異物体か否かを判断する。そして、物体検出部５３は、検出された物体が特異物体であると判断したときには、レーザプロジェクタ３０に制御信号を出力して、出射部３０ａからのＲＧＢの可視レーザ光の照射を停止させる。

入力検出部５４は、第１の検知部２０又は第２の検知部２５から取得した深度データに基づいて、後述する図１１の情報入力検出処理により、情報入力用画像７０に対するユーザの入力操作を検出する。例えば、入力検出部５４は、投影された情報入力用画像７０の上にユーザの指先が進入したか否かを判断し、その指先位置を特定する。

また、入力検出部５４は、レーザプロジェクタ３０へ出力する画像データに基づいて、情報入力用画像７０に含まれる入力ボタンの種類及び配置位置を判断する。さらに、入力検出部５４は、パンティルト架台１０へ出力した制御データ及び初期設定処理部５１が作成したデータテーブルに基づいて、空間４０内における情報入力用画像７０の位置を特定する。これにより、入力検出部５４は、レーザプロジェクタ３０へ出力する画像データ及びパンティルト架台１０へ出力した制御データに基づいて、各入力ボタンの空間４０内の位置を特定する。

これにより、入力検出部５４は、情報入力用画像７０の被投影面とユーザの指先位置との深度差から、ユーザが情報入力用画像７０上の何れかの入力ボタンにタッチしたか否かを判断する。また、入力検出部５４は、ユーザの指先位置と、各入力ボタンの位置とに基づいて、ユーザが入力した内容を特定する。例えば、ユーザの指先位置が時刻設定ボタン７２、アラーム設定ボタン７３、スキン設定ボタン７４又は投影位置設定ボタン７５の範囲内にある場合には、入力検出部５４は、それぞれ、情報入力内容が「時刻設定」、「アラーム設定」、「スキン設定」又は「投影位置設定」であると特定する。

そして、入力検出部５４は、特定した情報入力内容に対応する信号を出力する。例えば、特定された情報入力の内容が「時刻設定」、「アラーム設定」又は「スキン設定」である場合には、入力検出部５４は、対応する制御信号を時計設定部５７に出力する。また、特定された情報入力の内容が「投影位置設定」である場合には、入力検出部５４は、対応する制御信号を投影位置設定部５５に出力する。

投影位置設定部５５は、「時刻設定」に対応する制御信号を入力検出部５４から取得すると、後述する図１３の投影位置設定処理により、時計画像６０が投影される第１の対象物をユーザの入力操作に応じて設定する。

投影位置設定部５５は、「時刻設定」に対応する制御信号を入力検出部５４から取得すると、出射部３０ａからの投影画像を、情報入力用画像７０から例えば「○」、「□」又は「⇒」等の位置指定用パターンに変更する。また、投影位置設定部５５は、第１の検知部２０が取得した深度データに基づき、ユーザが空間４０内で時計画像６０を投影させたい物体を指さす方向を検出する。そして、投影位置設定部５５は、初期設定処理部５１が作成したデータテーブルを利用してパンティルト架台１０を制御し、検出されたユーザが指さす方向に沿って位置指定用パターンの投影位置を移動させる。

このとき、投影位置設定部５５は、位置指定用パターンが投影されている物体の位置座標データ及び深度データを第２の検知部２５から取得し、それらのデータに基づき、位置指定用パターンの投影位置が人の顔等の特異物体であるか否かを判断してもよい。この場合、投影位置設定部５５は、例えば、それらのデータからその物体の輪郭パターンを特定し、予めＲＯＭ５０ｃ等に記憶されている、人の目、鼻、耳、口、顔の輪郭又は顔等の特徴的な形状を示すパターンと比較することにより、特異物体か否かを判断する。そして、投影位置設定部５５は、位置指定用パターンの投影位置が特異物体であると判断したときには、レーザプロジェクタ３０に制御信号を出力して、出射部３０ａからのＲＧＢの可視レーザ光の照射を停止させる。

投影位置設定部５５は、第２の検知部２５からの深度データに基づき、例えばユーザの指の動作が止まって、位置指定用パターンが一定時間以上同じ物体に投影されたと判断すると、第１の検知部２０又は第２の検知部２５による深度データからその物体の形状を認識し、認識された物体を、時計画像６０が投影される第１の対象物として決定する。あるいは、第１の対象物の候補となる物体を予めＲＡＭ５０ｂ等に登録しておき、その登録された候補の中で、ユーザが位置指定用パターンにより投影対象物を選択できるようにしてもよい。また、投影位置設定部５５は、第２の検知部２５から取得した位置座標データ及び深度データに基づき、第２の検知部２５（又は出射部３０ａ）からの距離、大きさ又は形状等が予め定められた範囲内にある物体のみを、ユーザが第１の対象物として選択できるようにしてもよい。

そして、投影位置設定部５５は、例えば第１の対象物の全体を時計画像６０の投影位置として決定する。あるいは、投影位置設定部５５は、例えば第２の検知部２５により取得された深度データが同程度の範囲を時計画像６０の投影位置としてもよい。ただし、第１の対象物が壁等であると時計画像６０の投影位置として大きすぎる場合もあるため、投影位置設定部５５は、上記と同様にユーザの指さし動作に応じて位置指定用パターンの投影位置を制御することにより、ユーザが第１の対象物上で位置指定用パターンを移動させて指定した範囲を、時計画像６０の投影位置として決定してもよい。あるいは、投影位置設定部５５は、第１の対象物の中央、上側、下側、左側、右側等を示す枠画像を第１の対象物に投影させ、ユーザに位置指定用パターンでそれらの何れかを選択させることにより、時計画像６０の投影位置を決定してもよい。あるいは、表示する時計画像６０の大きさは、予め定められていてもよい。

画像調整部５６は、投影位置設定部５５が決定した第１の対象物の表面形状に合った時計画像の画像データを作成し、投影位置制御部５２に出力する。

このために、画像調整部５６は、投影位置設定部５５が決定した第１の対象物について、第１の検知部２０又は第２の検知部２５が取得した位置座標データ及び深度データに基づき、第１の対象物の形状を認識する。そして、画像調整部５６は、予めＲＯＭ５０ｃ等に記憶されている、丸い時計、四角い時計等の様々なアナログ時計又はデジタル時計の画像データの中から、第１の対象物の形状に合うものを選択する。例えば、第１の対象物の形状が円形又は四角形の場合には、画像調整部５６は、それぞれ円形又は四角形のアナログの時計画像を選択する。また、第１の対象物の形状が棒状の場合には、画像調整部５６は、例えばデジタルの時計画像を選択する。第１の対象物が他の形状を有する場合には、画像調整部５６は、第１の対象物の幅、高さ等に基づき、その形状に近いアナログ又はデジタルの時計画像を選択する。

また、画像調整部５６は、第１の対象物の面積に応じて、投影される時計画像６０を拡大又は縮小する。なお、画像調整部５６は、情報入力用画像７０についても、第２の対象物の深度データに基づき投影画像を拡大又は縮小して、情報入力用画像７０が丁度第２の対象物上に収まるように制御する。

さらに、画像調整部５６は、第１の対象物に歪みのない画像が投影されるように、レーザプロジェクタ３０が投影する画像の画像データを、第１の対象物の表面形状に応じて補正する。例えば、第１の対象物の表面が曲面の場合には、画像調整部５６は、その曲率に合わせて投影画像の形状を補正する。また、例えば、第１の対象物の表面が出射部３０ａからの投影方向に対して垂直でない場合には、画像調整部５６は、その表面に対する投影角度に応じて投影画像の形状を補正する。

なお、画像調整部５６は、第１の対象物の色の濃淡、表面粗さ、反射率等の表面状態に合わせて、投影される時計画像を調整してもよい。例えば、第１の対象物が濃い色の表面である場合には、画像調整部５６は、時計画像の画像データを淡い色又は明るい色のものに調整してもよい。また、第１の対象物が粗い表面である場合には、滑らかな表面に投影する場合よりも、時計画像に含まれる文字を大きなものに調整してもよい。このようにすれば、画像調整部５６は、時計画像を明りょうに表示させることができる。なお、上記のような色の調整を行う場合には、第１の検知部２０又は第２の検知部２５にカラーカメラを設けて、画像調整部５６は、そのカラーカメラにより撮像されるカラー画像を利用するとよい。

時計設定部５７は、情報入力用画像７０に対するユーザの入力操作に応じて、時計画像６０が示す時刻の設定、時計画像６０に付随するアラームの設定、又は時計画像６０の表示状態の設定を行う。

ユーザの入力操作に応じて「時刻設定」に対応する制御信号を入力検出部５４から取得すると、時計設定部５７は、現在時刻を設定するための入力画像が表示されるように、適当なアイコン又は文字等のパターンの画像データをレーザプロジェクタ３０に出力する。そして、その入力画像に対するユーザの入力操作を入力検出部５４が検出すると、時計設定部５７は、ユーザからの指示に従って、時計機能部５８が示す現在時刻を設定する。

また、「アラーム設定」に対応する制御信号を入力検出部５４から取得すると、時計設定部５７は、アラームのオンオフ又は起動時刻の設定のための入力画像に対応する画像データをレーザプロジェクタ３０に出力する。そして、その入力画像に対するユーザの入力操作を入力検出部５４が検出すると、時計設定部５７は、ユーザからの指示に従って時計機能部５８によるアラーム時計の機能をオンオフするか、又はユーザが指示したアラーム起動時刻を時計機能部５８に出力する。

また、「スキン設定」に対応する制御信号を入力検出部５４から取得すると、時計設定部５７は、時計画像６０のデザイン変更のための入力画像に対応する画像データをレーザプロジェクタ３０に出力する。そして、その入力画像に対するユーザの入力操作を入力検出部５４が検出すると、時計設定部５７は、ＲＯＭ５０ｃ等に記憶されている時計のデザインの中から、ユーザにより指定されたものに対応する時計画像の画像データをレーザプロジェクタ３０に出力する。これにより、時計設定部５７は、投影される時計画像６０を異なる外観のものに変更させる。

時計機能部５８は、リアルタイムクロック機能を有し、現在時刻を刻む。時計機能部５８は、投影装置１が時計モードにあるときに、時計画像６０が常時現在時刻を表示するように、例えば秒単位で画像データを生成し、その画像データをレーザプロジェクタ３０に出力する。また、時計機能部５８は、アラーム時計の機能を有し、設定されたアラーム起動時刻になるとアラームを起動して、例えば投影装置１に備え付けられたスピーカから音声を出力させ、あるいはさらにレーザプロジェクタ３０を発光させて、ユーザに時刻を知らせる。なお、時計機能部５８は、通信Ｉ／Ｆ５０ｅを介して、例えばインターネットに接続するか、又はＧＰＳ信号、標準電波若しくはラジオ時報波を受信することにより、現在時刻を自動的に修正してもよい。

図７は、初期設定処理の一例を示すフローチャートである。図８は、第１の検知部２０の赤外線カメラ２２による撮像データに基づく画像の一例を示す図である。以下で説明するフローチャートでは、ステップを「Ｓ」と略記する。

まず、初期設定処理部５１は、レーザプロジェクタ３０により画像を投影可能な空間４０全体の深度データを第１の検知部２０から取得する（Ｓ１０）。そして、初期設定処理部５１は、第１の検知部２０の赤外線カメラ２２により撮像された画像の画素毎に、位置座標データと深度データをＲＡＭ５０ｂに記憶する（Ｓ１１）。例えば、第１の検知部２０の直下にある床４１上の点と第１の検知部２０から離れた位置にある床４１上の点とでは、同じ床４１上でありながら第１の検知部２０及び第２の検知部２５からの深度データに差が出てしまう。このため、初期設定処理部５１は、空間４０内の全ての画素について、位置座標データと深度データを予め取得して記録する。

次に、初期設定処理部５１は、レーザプロジェクタ３０に画像データを出力して図８の基準投影画像７１を投影させ、パンティルト架台１０に制御データを出力して第１の回転部１２と第２の回転部１３を回転させることにより、基準投影画像７１を移動させる（Ｓ１２）。例えば、最初は、符号７１−１で示す中心位置に、基準投影画像７１を移動させる。基準投影画像７１は、例えば図８に示すように、円形の枠内に配置された５つの点で構成される。なお、基準投影画像７１として他の画像を使用してもよい。

次に、初期設定処理部５１は、第１の検知部２０及び第２の検知部２５から位置座標データを取得する（Ｓ１３）。そして、初期設定処理部５１は、基準投影画像７１の５つの点を利用して基準投影画像７１の位置を特定し（Ｓ１４）、パンティルト架台１０へ出力した制御データと特定された基準投影画像７１の位置座標データとの対応関係を、ＲＡＭ５０ｂ上のデータテーブルに記憶する（Ｓ１５）。

その後、初期設定処理部５１は、基準投影画像７１が空間４０の全てを覆うように移動したか否かを判断する（Ｓ１６）。まだ移動していない領域がある場合（Ｓ１６でＮｏ）には、処理はＳ１２に戻る。こうして、初期設定処理部５１は、例えば図８に符号７１−２〜７１−１０で示すように基準投影画像７１を順次移動させながらＳ１２〜Ｓ１５の処理を繰り返すことにより、空間４０の全体について、投影画像の位置座標データと制御データとの対応関係を表すデータテーブルを完成させる。なお、図８の基準投影画像７１−２〜７１−１０は一例であって、位置を特定するために基準投影画像７１を移動させる１回の移動量等は適宜定めることができる。

そして、空間４０の全ての領域を移動したと初期設定処理部５１が判断する（Ｓ１６でＹｅｓ）と、図７の初期設定処理は終了する。

図９は、手のひら検出処理の一例を示すフローチャートである。図１０（Ａ）及び図１０（Ｂ）は、検出された手のひら領域１００と、その上に情報入力用画像７０が投影された状態を示す図である。なお、図１０（Ａ）及び図１０（Ｂ）では、ユーザの左手８０の手のひら領域１００が検出された場合の例を示しているが、右手の手のひらを検出する場合も同様である。

まず、物体検出部５３は、第１の検知部２０から位置座標データ及び深度データを取得する（Ｓ２０）。次に、物体検出部５３は、Ｓ２０で取得した位置座標データに基づいて、物体の輪郭が存在する領域を特定する（Ｓ２１）。そして、物体検出部５３は、Ｓ２０で取得した深度データに基づいて、輪郭が存在する領域のうち、略同じ深度データを有する領域をグルーピングする（Ｓ２２）。

次に、物体検出部５３は、Ｓ２２でグルーピングした物体の輪郭領域が対象部位である手首より先の部分か否かを、予めＲＯＭ５０ｃ等に記憶されているパターンと比較することによって判断する（Ｓ２３）。第１の検知部２０で撮像される赤外線画像に例えばユーザの足、顔、肩等や他の物体が写ることにより、輪郭領域のグループが複数識別される可能性がある。このような場合であっても、物体検出部５３は、パターン認識を行うことによって、手首より先の部分だけを識別する。

輪郭領域が対象部位でないと判断された場合（Ｓ２３でＮｏ）には、物体検出部５３は、そのまま手のひら検出処理を終了する。

一方、輪郭領域が対象部位であると判断された場合（Ｓ２３でＹｅｓ）には、物体検出部５３は、図１０（Ａ）に破線の円で示す手のひら領域１００を検出する（Ｓ２４）。例えば、物体検出部５３は、識別された左手８０の輪郭（外形）から指の先端位置Ｎ１と手首位置Ｎ２，Ｎ３を特定する。そして、物体検出部５３は、指の先端位置Ｎ１と手首位置Ｎ２及びＮ３の中点Ｎ５とを結ぶ直線Ｎ４を引き、直線Ｎ４上で指の先端位置Ｎ１と中点Ｎ５との間の距離の１／４だけ中点Ｎ５から離れた中心点Ｎ６を中心とし、中心点Ｎ６と中点Ｎ５との間の距離を半径とする円形領域を手のひら領域１００とする。なお、手のひら領域１００を決定する方法は、これに限定されず、他の方法を採用してもよい。

手のひら領域１００が検出されると、物体検出部５３は、例えば第１の検知部２０から、その手のひら領域１００の深度データを取得して（Ｓ２５）、ＲＡＭ５０ｂ等に記憶する。そして物体検出部５３は、手のひら領域１００の中心点Ｎ６の位置座標データ（ｘ，ｙ）と深度データ（ｒ）から、中心点Ｎ６の空間座標（ｘ，ｙ，ｚ）を割り出す（Ｓ２６）。これにより、図９の手のひら検出処理は終了する。

なお、物体検出部５３は、手首より先の部分を認識するまで、所定の時間（例えば１秒）間隔で図９の処理フローを実行する。そして、手のひらを特定部位及び第２の対象物とする場合には、手のひらが検出されると、初期設定処理部５１が作成したデータテーブルを利用して投影位置制御部５２がパンティルト架台１０を制御することにより、図１０（Ｂ）のように、手のひら領域１００内の位置に情報入力用画像７０が投影される。

図１１は、情報入力検出処理の一例を示すフローチャートである。図１２は、左手８０の手のひら領域１００に投影された情報入力用画像７０に対して右手９０により情報入力が行われる場合の例を説明するための図である。ここでは、手のひらに情報入力用画像７０が投影された場合の情報入力検出処理を説明するが、他の物体への投影画像に対する情報入力を検出する場合も同様である。

まず、入力検出部５４は、例えば手のひら検出処理により対象部位である手のひら領域１００が検出されているか否かを判断し（Ｓ３０）、対象部位が検出されている場合にのみ、以下のステップに進む。対象部位が検出されている場合には、入力検出部５４は、レーザプロジェクタ３０へ出力した画像データ及びパンティルト架台１０へ出力した制御データを取得する（Ｓ３１）。次に、入力検出部５４は、主に第２の検知部２５から位置座標データ及び深度データを取得する（Ｓ３２）。なお、Ｓ３１とＳ３２の順番は逆でもよい。

次に、入力検出部５４は、Ｓ３２で取得した位置座標データに基づいて、物体の輪郭が存在する領域を特定する（Ｓ３３）。そして、入力検出部５４は、Ｓ３２で取得した深度データに基づいて、深度データが略同じ輪郭領域をグルーピングする（Ｓ３４）。なお、Ｓ３４でグルーピングされた輪郭領域が複数存在する可能性もあるが、入力検出部５４は、手のひら領域１００の範囲内の位置座標（ｘ，ｙ）を有するもののみを進入物体として認識する。

さらに、入力検出部５４は、そのグルーピングした輪郭領域に基づいて、手のひら領域１００への進入物体の進入位置及び指先位置を特定する（Ｓ３５）。例えば、入力検出部５４は、手のひら領域１００への進入物体である右手９０の進入位置０１，０２を特定する。そして、入力検出部５４は、進入位置０１及び０２の中点０３から伸ばした垂線０４上において、中点０３から最も離れた位置で右手９０の輪郭と重なる点０５を指先位置として特定する。なお、入力検出部５４は、進入位置０１及び０２の中点０３から最も離れた位置に存在する右手９０に含まれる輪郭領域を指先位置と特定してもよい。これらの指先位置の特定方法は一例であって、他の方法を採用してもよい。

次に、入力検出部５４は、進入物体である右手９０が情報入力操作を行っているか否かを判断する（Ｓ３６）。例えば、入力検出部５４は、指先位置の点０５が手のひら領域１００上にある場合に、右手９０の指先が情報入力操作を行っていると判断する。入力検出部５４は、指先位置の点０５が手のひら領域１００上にあるか否かを、手のひら領域１００の深度データと指先位置の点０５の深度データとの差が所定閾値以内（例えば１０ｍｍ以内）であるか否かに基づいて判断する。なお、チャタリング等によって指先位置の点０５の深度データが短い期間で変動することがあるため、入力検出部５４は、所定時間（例えば１秒）以上連続して上記の深度差が所定閾値以内である場合に、情報入力があったと判断してもよい。

入力検出部５４は、指先位置が情報入力操作を意図したものではないと判断した場合（Ｓ３６でＮｏ）には、そのまま情報入力検出処理を終了する。一方、入力検出部５４は、指先位置が情報入力操作を意図したものであると判断した場合（Ｓ３６でＹｅｓ）には、レーザプロジェクタ３０へ出力した画像データ及びパンティルト架台１０へ出力した制御データに基づいて、情報入力用画像７０に含まれる各入力ボタンの手のひら領域１００上における位置を特定する（Ｓ３７）。

次に、入力検出部５４は、Ｓ３５で特定した指先位置の点０５と、Ｓ３７で特定した各入力ボタンの手のひら領域１００内での位置とに基づいて、情報入力内容を特定する（Ｓ３８）。指先位置の点０５と一致する入力ボタンが存在しない場合には、情報入力内容が存在しないと特定してもよい。その後、入力検出部５４は、Ｓ３８で特定した情報入力内容に対応する信号を出力する（Ｓ３９）。これにより、図１１の情報入力検出処理は終了する。

図１３は、投影位置設定処理の一例を示すフローチャートである。ユーザが情報入力用画像７０の投影位置設定ボタン７５を選択すると、投影装置１は投影位置設定モードに移行する。このとき、投影位置設定部５５は、時計画像６０が投影される第１の対象物を、以下の処理により設定する。

まず、投影位置設定部５５は、レーザプロジェクタ３０に画像データを出力して、出射部３０ａからの投影画像を、例えば「○」、「□」又は「⇒」等の位置指定用パターンに変更する（Ｓ４０）。これにより、投影装置１が投影位置設定モードに移行したことがユーザにわかるようにする。ユーザは、例えば指先を仮想マウスとして、空間４０内で時計画像６０を投影させたい物体を指さすことにより、位置指定用パターンを移動させる。

そして、投影位置設定部５５は、第１の検知部２０が取得した深度データに基づき、ユーザが指さす方向を検出する（Ｓ４１）。そのために、投影位置設定部５５は、例えば、図９の手のひら検出と同様にしてユーザの指を検出し、検出された指先と指の付け根の２点の位置座標データ及びその深度データから、指先と指の付け根を通る直線を求める。そして、投影位置設定部５５は、初期設定処理部５１が作成したデータテーブルを利用してパンティルト架台１０を制御し、Ｓ４１で検出されたユーザが指さす方向に沿って位置指定用パターンの投影位置を移動させる（Ｓ４２）。

このとき、投影位置設定部５５は、第２の検知部２５からの深度データに基づき、位置指定用パターンの投影位置が人の顔等の特異物体であるか否かを常時判断する（Ｓ４３）。そのために、投影位置設定部５５は、位置指定用パターンが投影されている物体の位置座標データ及び深度データを第２の検知部２５から取得する。そして、投影位置設定部５５は、位置座標データに基づいてその物体の輪郭領域を特定し、深度データに基づいて深度データが略同じである輪郭領域をグルーピングする。得られた輪郭パターンが予めＲＯＭ５０ｃ等に記憶されている特異物体のパターンと類似する場合には、投影位置設定部５５は、投影位置が特異物体であると判断する。

投影位置設定部５５は、投影位置が特異物体であると判断したとき（Ｓ４３でＹｅｓ）には、レーザプロジェクタ３０に制御信号を出力して、出射部３０ａからのＲＧＢの可視レーザ光の照射を停止させ（Ｓ４８）、投影位置設定処理を終了する。

一方、特異物体が検出されていないとき（Ｓ４３でＮｏ）は、投影位置設定部５５は、第２の検知部２５からの深度データに基づき、例えば、ユーザの指の動作が止まって、位置指定用パターンが一定時間以上、同じ物体に投影されたか否かを判断する（Ｓ４４）。投影位置設定部５５は、位置指定用パターンが一定時間以上同じ物体に投影されたとＳ４４で判断するまで、上記のＳ４１〜Ｓ４４の処理を繰り返す。

投影位置設定部５５は、位置指定用パターンが一定時間以上同じ物体に投影されたと判断する（Ｓ４４でＹｅｓ）と、その物体を、時計画像６０が投影される第１の対象物として決定する（Ｓ４５）。なお、この決定方法は一例であり、投影位置設定部５５は他の方法で第１の対象物を決定してもよい。

そして、投影位置設定部５５は、Ｓ４５で決定された第１の対象物の位置座標データ及び深度データから、第１の対象物の形状を認識する（Ｓ４６）。さらに、投影位置設定部５５は、第１の対象物上における時計画像６０の投影位置を決定する（Ｓ４７）。その際は、例えば第１の対象物の全体を時計画像６０の投影位置としてもよい。あるいは、Ｓ４１及びＳ４２と同様にユーザの指さし動作に応じて位置指定用パターンの投影位置を制御することにより、ユーザが第１の対象物上で位置指定用パターンを移動させて指定した範囲を、時計画像６０の投影位置としてもよい。なお、上記の投影位置の決定方法は一例であり、投影位置設定部５５は他の方法を採用してもよい。これにより、図１３の投影位置設定処理は終了する。

図１４は、レーザプロジェクタ３０の他の例を示す概略構成図である。図１４に示すように、第２の検知部２５の第２の赤外線発光部２６をレーザプロジェクタ３０と共用することも可能である。この場合のレーザプロジェクタは、走査方式の出射部３１、シングルモードファイバ３２、広帯域のファイバコンバイナ３３、及びファイバピクテイルモジュール３４等によって構成される。この構成において、可視光のＲ、Ｇ、Ｂ各色用のレーザ光源と赤外線（ＩＲ）用のレーザ光源が発光する各レーザ光は、ファイバピクテイルモジュール３４によってそれぞれ各光ファイバに導入される。そして、広帯域のファイバコンバイナ３３は、各光ファイバによって導かれたＲ、Ｇ、Ｂ、ＩＲの各レーザ光を合波する。シングルモードファイバ３２は、その合波光を走査方式の出射部３１へ導く。

出射部３１では、シングルモードファイバ３２から出射されるレーザ光が、照射光学系３１ａによってＭＥＭＳミラー３１ｂに向けて照射され、ＭＥＭＳミラー３１ｂによる反射光が、投射光学系３１ｃを通して上述した被投影面に投影される。そのＭＥＭＳミラー３１ｂを直交する２軸に関して振動させることによって、投影するレーザ光を高速で２次元走査することができる。これにより、第２の赤外線発光部２６をレーザプロジェクタ３０と共用することが可能になる。さらに、図１４における照射光学系３１ａとＭＥＭＳミラー３１ｂの間にビームスプリッタを配置して、赤外線が照射された物体からの反射光を分離し、赤外線バンドパスフィルタを通してフォトダイオード等の赤外線検知部で受光して検知することもできる。

以上説明したように、投影装置１は、時計モードにあるときは、第１の対象物にその対象物に応じた形状の時計画像６０を投影し、例えばユーザが手のひらを差し出す等の動作を行うと入力モードに移行して、第１の対象物から第２の対象物に投影位置を変更し、第２の対象物に情報入力用画像７０を投影する。このように、投影装置１は、ユーザに情報入力用画像７０で入力操作を行うきっかけを与えるものとして、時計画像６０を固定表示する。この時計画像６０により、ユーザは、自分がいる空間に投影装置１が設置されていることを認識するので、その情報入力用画像７０に対して入力操作を行うことにより、投影された時計や、他の被操作装置を操作することができる。

なお、上記では、第２の対象物が手のひらである場合を主に説明したが、第２の対象物はユーザの腕や足先等でもよい。投影装置１は、例えば、腕の場合には腕時計型リモコンを投影し、足先の場合にはフットスイッチ型リモコンを投影する等、第２の対象物の形状に合わせて、情報入力用画像を異なる形態のリモコン表示としてもよい。

また、壁等の第１の対象物に時計画像を投影することに代えて、投影装置１は、例えば、ユーザが腕を差し出すとその腕に腕時計画像を投影させたり、ユーザが手のひらを差し出すとその手のひらに時計画像を投影させたりしてもよい。

また、投影装置１は、時計画像に代えて、例えばカレンダやユーザの好みのポスター画像等を第１の対象物に固定表示してもよい。あるいは、例えば投影装置１を飲食店等で使用する場合には、第１の対象物をテーブルとして、その上にメニュー画像を固定表示してもよい。

１ 投影装置
１０ パンティルト架台
２０ 第１の検知部
２５ 第２の検知部
３０ レーザプロジェクタ
５０ 制御部
５１ 初期設定処理部
５２ 投影位置制御部
５３ 物体検出部
５４ 入力検出部
５５ 投影位置設定部
５６ 画像調整部
５７ 時計設定部
５８ 時計機能部
６０ 時計画像
７０ 情報入力用画像

Claims (8)

1. 可視レーザ光を出射して、第１の対象物に画像を投影する投影部と、
   前記投影部による画像の投影位置を変更可能に前記投影部を搭載する可動支持部と、
   前記投影部により画像を投影可能な空間内において、当該空間内の物体までの距離を示す深度データを取得する深度センサと、
   前記深度データに基づき前記空間内でユーザの体の特定部位が検出されたときに、前記可動支持部を制御して、前記投影部による画像の投影位置を前記第１の対象物から第２の対象物に変更させる制御部と、
   を有することを特徴とする投影装置。
2. 前記制御部は、前記特定部位が検出されていないときは前記第１の対象物に画像が投影されるように、前記可動支持部と前記投影部を制御する、請求項１に記載の投影装置。
3. 前記制御部は、前記深度データに基づき前記第１の対象物の表面形状を認識し、前記投影部が投影する画像の形状を当該表面形状に応じて補正する、請求項１又は２に記載の投影装置。
4. 前記深度センサは、前記空間全体の赤外線画像を撮像して前記深度データを取得する第１の検知部と、前記可動支持部に搭載され、前記投影部による画像の投影位置で赤外線ビームを２次元状に走査して、当該赤外線ビームの反射光から前記深度データを取得する第２の検知部とを有し、
   前記制御部は、前記第１の検知部が取得した深度データから前記特定部位を検出し、前記第２の検知部が取得した深度データから前記第１の対象物の形状を認識する、請求項３に記載の投影装置。
5. 前記制御部は時計機能を有し、
   前記投影部は、前記時計機能により求められる時刻を示す時計画像を前記第１の対象物に投影する、請求項１〜４の何れか一項に記載の投影装置。
6. 前記投影部は、前記第２の対象物に情報入力用画像を投影し、
   前記制御部は、前記深度データに基づき前記情報入力用画像に対するユーザの入力操作を検出する、請求項５に記載の投影装置。
7. 前記制御部は、前記情報入力用画像に対するユーザの入力操作に応じて、前記時計画像の表示状態の設定、当該時計画像が示す時刻の設定、又は前記時計機能に付随するアラームの設定を行う、請求項６に記載の投影装置。
8. 前記制御部はカレンダの情報を保持し、
   前記投影部は、前記第１の対象物にカレンダの画像を投影する、請求項１〜４の何れか一項に記載の投影装置。

Images