JP6601790B2 - リアルタイム計測投影装置及び三次元投影計測装置 - Google Patents

Description

本発明は、変化する対象物に対して、投影装置より非可視光でパターン光を照射することにより、撮像装置の計測結果を、対応する投影装置の投影座標にリアルタイム変換し、計測によって得られた結果を再び投影装置にて可視光映像として投影するリアルタイム計測投影装置、特にプロジェクション・マッピング用のリアルタイム計測投影装置に関する。本発明は更に、変化する対象物に対して、投影装置より非可視光でパターン光を照射することにより、投影対象の各点までの距離を迅速かつ簡単に測定するための三次元投影計測装置にも関する。

建物等の対象物に対して所望のコンテンツ画像を投影する技術としてプロジェクション・マッピングと呼ばれる技術が知られている。一般に対象物は三次元形状を有するため、コンテンツ画像をそのまま投影した場合には、対象物の表面の凹凸や、奥行きの大小のために、投影装置とは別個の位置にいる観客には、投影された画像が歪んだ画像として見える。そこで、対象物の各点までの撮像装置と投影装置の各画素の対応を予め計測し、コンテンツ画像に対して、対応する座標変換を行って投影することにより、歪みの無いコンテンツ画像を観ることができるようにしている。

従来は、対象物が建物等の固定物であることが一般的であることから、通常は、事前に対象物の各点までの撮像装置と投影装置の各画素の対応を予め計測し、固定された撮像装置と投影装置の各画素の対応情報に基づいてプロジェクション・マッピングを行うようにしていた。しかしながら、乗り物、ダンサー、運動選手などに対してプロジェクション・マッピングを行いたいという要望が出てきつつあり、変化する対象物に対して好適にプロジェクション・マッピングを行うための装置が望まれるようになってきた。

特許文献１には、形状変化や移動する対象物の表面にテクスチャをマッピングする技術が開示されているが、対象物の三次元による投影像の歪みは考慮されていない。特許文献２には、三次元距離計測装置が開示されている。特許文献３にはローリングシャッター方式のカメラと液晶表示方式のプロジェクタを用いた計測方法が開示されている。

ここで、移動する物体にプロジェクション・マッピングを行うための装置を考える際に、計測時から映像投影時までの遅延時間が非常に問題となる。従来の６０ｆｐｓの映像投影装置では、撮影、転送、計算、表示にそれぞれ１／６０秒以上の時間を要するため、秒速１ｍ程度の低速な移動であっても、数十ｃｍ以上の投影誤差が発生し、乗り物、ダンサー、運動選手などへの投影は行えない。

ここで、近年デジタルミラーデバイス（ＤＭＤ）などと呼ばれる１０００ｆｐｓを超える非常に高速な表示デバイスが、市販プロジェクタに搭載されるようになってきた。従って、これらの高速デバイスと、高速度カメラを用いて、かつ、非可視光を組み合わせるなどの、視聴者に視認されない何らかの方法で映像の投影と同時に高速計測を行なう事ができれば、リアルタイムで移動物体へのプロジェクション・マッピングを行うことが可能となる。

特開２０１３−１９２１８９号公報 特許第４９１７３５１号公報 特開２０１３−１２７４３４公報

しかしながら、デジタルミラーデバイス（ＤＭＤ）では、光源の切り替えにより色を変える構成となっているため、可視光と非可視光との切り替えは、フレーム一括でグローバルにしか行なえないため、高速度カメラはグローバルシャッター方式のものしか使えないという課題があった。グローバルシャッター方式のカメラとしてはＣＣＤイメージセンサー方式が一般的であるが、原理上１０００ｆｐｓなどの高速なものを製造することは困難である。

一方で、一般にＣＭＯＳイメージセンサーと呼ばれるものは、１０００ｆｐｓを超えるものも一般に製造販売されているが、ローリングシャッターと呼ばれる各画素が時間をずらして露光される方式のものである。グローバルシャッター方式のＣＭＯＳイメージセンサーも存在するが、露光と読み出しのタイミングのずれを吸収するための電荷保持部を各画素に設けなければならないため、高価になるうえに、各画素の露光面積が電荷保持部によって圧迫され、感度の低いセンサーとなってしまうという課題がある。

特許文献３には、液晶表示装置において、液晶表示の各ラインのずれと、ローリングシャッター方式の露光タイミングのずれを同期させて課題を軽減させることについて記載されているが、熱対策の観点での効率化について述べているだけで、ＤＭＤ方式のプロジェクタにおいて、グローバルにしか光源が変更できない課題や、そもそもプロジェクション・マッピングのように計測結果を可視光映像としても投影しなければならない点については触れられていない。

このような従来技術の問題点及び発明者の知見に鑑み、本発明の主な目的は、当該技術分野において、グローバルな光源の切り替えしか出来ないＤＭＤ方式のプロジェクタと、安価なローリングシャッター方式のカメラとを組み合わせることにより、パターン光の投影と、映像光の投影とを、矛盾無く高速に両立させるための装置を提供することにある。

本発明によれば、このような目的は、ローリングシャッター方式、即ち、前記所定の露光時間の開始及び終了の時点を画素毎に時間的にずらして行う撮像方式の撮像装置と、非可視光及び可視光を投影できる投影装置と、演算装置とを含むリアルタイム計測投影装置であって、前記演算装置の制御により、前記投影装置からパターン画像を含むパターン光を画素毎に時間的にずらして投影し、前記パターン光が照射された前記投影対象上の画像を、前記撮像装置で撮像し、前記撮像装置で撮像した画像を前記パターン画像のデータと対照することにより、前記撮像装置と前記投影装置の個々の画素の対応付けを行い、前記対応付けの結果に基づき、前記投影装置から可視光によって映像投影を行うことを特徴とするリアルタイム計測投影装置を提供することにより達成される。

また、本発明によれば、リアルタイム計測投影装置の前記対応付けの結果と、前記撮像装置と前記投影装置の位置関係から、三角法によって撮影対象且つ投影対象の距離を求めることも可能である。前記撮像装置の画素位置が分かれば、撮像装置からの対象が撮影されている方向が分かり、前記投影装置の投影座標が分かれば投影座標からの対象物の方向が分かり、さらに相互の座標が対応づいているからである。

その場合、本装置を安価な３次元計測装置としても利用可能であり、その場合、前記撮像装置は可視光や非可視光など複数の光を出す必要も無く、計測機能部単独の実装で高付加価値を生み出すことができる。

本発明によれば、低コストの装置を用いて、変化する対象物に対し、撮像装置の各画素で計測した内容を、対応する撮像装置の各画素に対応付けてリアルタイムで投影することができ、特に変化する対象物に対して好適にプロジェクション・マッピングを行うことができる。

本発明に基づくリアルタイム計測投影装置の一実施態様を示すダイヤグラム図である。 本発明に基づくリアルタイム計測投影装置に於いて用いられる計測用のパターンの例を示す。 本発明に基づくリアルタイム計測投影装置に於ける演算装置の詳細を示すブロック図である。 本発明に基づくリアルタイム計測投影装置に於ける各部の作動タイミングを示すタイムチャートである。 本発明の第２実施例に於ける図４と同様のタイムチャートである。 本発明の第３実施例に於ける図４と同様のタイムチャートである。 対象物までの距離を計測する計測専用装置して構成された本発明の第４実施例に於ける単純化されたタイムチャートである。 対象物までの距離を計測する計測専用装置として構成された本発明の第５実施例に於ける単純化されたタイムチャートである。

上記課題を解決するためになされた第１の発明は、 パターン画像を含むパターン光を投影対象に投影するための投影装置と、前記パターン光が照射された前記投影対象の撮像画像を、画素毎に電子的に所定の露光時間をもって取得するための撮像装置と、前記撮像画像を前記パターン画像のデータと対照することにより前記撮像装置の各画素と前記投影装置の各画素との間の画素対応情報を計算し、前記撮像装置から得られた各画素の計測情報を前記画素対応情報に基づき、前記投影装置の対応座標に変換し、前記投影装置の対応座標に変換済みの各画素の計測情報に基づき、前記投影対象に投影されるべき映像を生成するための演算装置とを含み、前記投影装置が、前記撮像装置に於ける露光時間のサイクルに同期して前記演算装置により生成された前記映像を、前記投影対象に映像光として照射するように構成されたリアルタイム計測投影装置であって、前記撮像装置が、前記所定の露光時間の開始及び終了の時点を画素毎に時間的にずらして行うようにしたことを特徴とする。

このように、第１の発明によれば、所定の露光時間の開始及び終了の時点を画素毎に時間的にずらして行うようにしたことから、画素毎のデータの読み出しを並行して行うのではなく、順次行うようにすることができるため、ハードウェアとして廉価なデバイスを利用することが可能となり、また各画素の画像信号の読み取りに於ける演算装置に対する負荷を軽減することができる。

本発明の或る側面では、撮像装置に於ける露光時間の前記サイクルが画像のフレーム単位に設定される。

この側面によれば、画像の投影、撮像装置と投影装置の個々の画素の対応の計測、画像補正量の算出及び画像補正の実行をフレーム単位で行うことから、演算装置等に対する負荷を最小化しつつ、一連の動作を円滑に行うことができる。

本発明の別の側面では、前記映像光は可視光であり、前記パターン光は非可視光である。また、非可視光は例えば近赤外光であったり、紫外線であったりする。

この側面によれば、観る者は、パターン光による干渉を受けることなく映像光を見ることができる。

本発明の更に別の側面では、前記投影装置が、可視光光源と、非可視光光源と、前記両光源からの光を共通の光軸上に配向するダイクロイックミラーと、前記ダイクロイックミラーからの光を空間変調するデジタルマイクロミラー素子と、前記デジタルマイクロミラー素子からの出射光を前記投影対象上にフォーカシングする投射レンズとを含む。

この側面によれば、パターン光および映像光を投影する投影装置の多くの部分を共用化でき、設備を簡略化することができる。

本発明の更に別の側面では、前記撮像装置が前記非可視光を透過し、前記可視光を遮断する可視光カットフィルタを含む。

この側面によれば、パターン光を映像光による干渉を受けることなく撮像することができ、前記撮像装置と前記投影装置の個々の画素の対応を正確に測定することができる。

本発明の更に別の側面では、前記パターン光が、各フレームに設定された複数のサブフレーム領域毎に、時間的にシフトして投影される。

この側面によれば、パターン光の投影のためにそれ程高速の処理が必要とされず、投影装置或いは演算装置に対する負荷を軽減することができる。

また撮像装置による各画素の計測結果とは、輝度であったり色であったりもするが、撮像装置と計測装置の位置関係を用いて三角法によって距離を決定し、その結果を計測結果とすることが出来る。この場合も各画素に対する計測距離を投影装置の各画素について対応付けることとなる。

この側面によれば、対応する撮像装置の各画素に対応する投影対象物の各点までの距離をリアルタイムで投影計測することができ、特に変化する対象物に対して好適にプロジェクション・マッピングを行うことができる。

本発明の更に別の側面では、前記パターン光が空間コード化法に基づいて設定される。

この側面によれば、撮像装置による各画素の計測結果を利用して、投影装置の各画素についての高速かつ正確な対応付けを行うことができる。

本発明の更に別の側面では、前記映像の生成に利用される前記計測情報が距離であり、前記距離に応じて映像生成に用いるテクスチャ画像を切り替えるようにしている。或いは、前記映像の生成に利用される前記計測情報が距離であり、前記距離に応じて投影対象物の切り抜きマスクを生成し、マスクの輪郭の色を変化させた映像を生成するようにしている。前記映像の生成に利用される前記計測情報が距離であり、前記距離に応じて映像の色を変化させるようにしている。或いは、前記映像の生成に利用される前記計測情報が距離であり、前記距離に応じて映像の色を変化させるようにしている。或いは、前記計測情報は、前記撮像装置によって撮影された、色情報であって良く、その場合、前記色情報に含まれる色の捕色を用いて映像補正を行なうことができる。

この側面によれば、様々な視覚効果を導入することができ、より魅力的なプロジェクション・マッピングを実現することができる。

本発明の更に別の側面では、前記パターン画像がマンチェスタコーディング法に基づく複数対の白黒反転画像パターンを含み、前記映像コンテンツが２フレーム毎に更新される。

この側面によれば、相補的な各対の計測パターンの画像が投影される２フレームに渡って同一のコンテンツ画像が投影されることとなり、コード復号に際して相補的な計測パターンの差分が取られるため、コンテンツ画像が相殺され、コンテンツ画像が画素対応情報に対して全く干渉しないこととなり、撮像装置の前方に可視光フィルタを設ける必要がなくなる。

本発明の更に別の側面では、前記パターン画像がマンチェスタコーディング法に基づく複数対の白黒反転画像パターンを含み、前記パターン画像が、各フレームに設定された複数のサブフレーム領域に分割され、各サブフレーム領域に対応する前記パターン画像の部分の前記映像コンテンツが２フレーム毎に更新される。

この側面によれば、パターン光の投影のためにそれ程高速の処理が必要とされず、投影装置或いは演算装置に対する負荷を軽減することができ、しかもコード復号に際して相補的な計測パターンの差分が取られるため、コンテンツ画像が相殺され、コンテンツ画像が距離計測に対して全く干渉しないこととなり、撮像装置の前方に可視光フィルタを設ける必要がなくなる。

上記課題を解決するためになされた第２の発明は、リアルタイム計測投影装置であって、パターン画像を含むパターン光を投影対象に照射する投影装置と、前記パターン光が照射された前記投影対象の撮像画像を、画素毎に電子的に所定の露光時間をもって取得する撮像装置と、前記撮像画像を前記パターン画像のデータと対照することにより前記投影対象の個々の点までの距離を算出する演算装置とを含み、前記撮像装置が、前記所定の露光時間の開始及び終了の時点を画素毎に時間的にずらして行うことを特徴とする。

このように、第２の発明によれば、所定の露光時間の開始及び終了の時点を画素毎に時間的にずらして行うようにしたことから、画素毎のデータの読み出しを並行して行うのではなく、順次行うようにすることができるため、ハードウェアとして廉価なデバイスを利用することが可能となり、また各画素の画像信号の読み取りに於ける演算装置に対する負荷を軽減することができる。

以下、本発明の実施の形態について図面を参照しながら説明する。

本発明に基づくリアルタイム計測投影装置１は、プロジェクション・マッピングを行うシステムとして構成されている。このリアルタイム計測投影装置１に於いて、投影装置３は、可視光ＬＥＤ光源４ａ及び赤外線ＬＥＤ光源４ｂを有し、それらの出射光をダイクロイックミラー５により合流させ、ＤＭＤ（デジタル・マイクロミラー・デバイス）６に入力する。ＤＭＤ６からの出射光はレンズ光学系７を介して投影対象２に投影される。演算装置８は、可視光ＬＥＤ光源４ａ及び赤外線ＬＥＤ光源４ｂを選択して励起し、かつＤＭＤ６に対する制御信号を供給することにより、所望の側の光源からの光を、必要に応じて変調し、投影対象２上の所定の点に向けて照射することができる。その結果、投影対象２に対して画素単位の２次元画像を投影することができ、所望に応じて多数の２次元画像を時系列的に投影し、それを動画として提供することができる。

特に、このリアルタイム計測投影装置１は、移動及び又は変形する投影対象２の距離情報を取得し、得られた距離情報に基づいて、投影対象２の変化に関わらず、投影装置３により投影される画像を観る者が歪みなく観ることができるようにされている。そのために、投影装置３により赤外線等の非可視光（非可視電磁波）により所定の計測パターンを投影対象２に投影し、その投影画像を取得するためにカメラ９が設けられている。カメラ９により得られた計測パターンの画像は、演算装置８により処理され、投影対象２の距離情報を算出する。投影装置３は算出された距離情報に基づいて、所要の映像コンテンツを補正、即ち座標変換し、座標変換された画像を可視光により投影対象２に投射する。それにより、観る者は、投影対象２の３次元的形状に関わらず、歪みなく映像コンテンツを観ることができる。映像コンテンツを投影する可視光が距離情報の取得を阻害する惧れを排除するために、カメラ９の前方に可視光フィルタ１０を設けることもできる。

図２は、リアルタイム計測投影装置に於いて用いられる画素対応計測用のパターンの例を示す。投影装置は本実施例では１０２４×７６８画素からなるものとし、Ｘ座標、Ｙ座標とも１０ビットずつあれば表すことができる。座標値をグレイコード化し、Ｘ座標の最上位ビットである９ビット目を示すパターンがＸ４a、その補完的な画像対として輝度反転させた画像がＸ４ｂ、Ｘ座標の８ビット目を示すのがＸ３a、その補完的な画像対として輝度反転させた画像がＸ３ｂ、Ｘ座標の７ビット目を示すのがＸ２a、その補完的な画像対として輝度反転させた画像がＸ２ｂ、Ｙ座標の最上位ビットである９ビット目を示すパターンがＹ４a、その補完的な画像対として輝度反転させた画像がＹ４ｂ、Ｙ座標の８ビット目を示すのがＹ３a、その補完的な画像対として輝度反転させた画像がＹ３ｂ、Ｙ座標の７ビット目を示すのがＹ２a、その補完的な画像対として輝度反転させた画像がＹ２ｂとして与えられ、以降、Ｘ座標、Ｙ座標とも、０ビット目を示す画像まで、合計４０枚の画像パターンが設定される。

各画素の濃度情報はグレイコードによりコード化し、補完的な画像対の差信号に基づいて、ノイズ除去を図るようにしている（マンチェスタ符号化方式）。このような２０対の補完的な画像からなる画像対を所定の時間内で順次投影対象２に投影し、その投影画像を処理して、投影装置の座標情報を撮像装置の画素とそれぞれ各画素で対応付けすることができる。

なお、本実施例は１０２４×７６８画素の場合の例であって、画像パターンの数が４０枚となっているが、解像度や得たい精度によって枚数は変化する。また撮像装置と投影装置の設置条件によっては、Ｙ座標もしくはＸ座標の片方を常に撮像装置と投影装置とで固定的に対応づけたり、或いは狭い範囲でしかずれないように設定することも可能であり、その場合は片方の座標コードを削減したり、大幅に減らしたりすることも可能である。

図３は、リアルタイム計測投影装置に於ける演算装置８の詳細を示す。演算装置８に於けるパターン生成部１１は、上記した距離計測用のパターンを記憶しており、所定のタイミングで距離計測用のパターンを画像出力部１２に向けて順次出力し、画像出力部１２は対応する画像信号を投影装置３に供給する。また、画像出力部１２は映像出力のタイミングを画像入力部１３に伝達し、画像入力部１３は画像出力部１２とタイミング同期した撮影を行なえるようにカメラ９を制御する。

投影対象２に投影された計測パターンの画像はカメラ９により取得され、得られた画像は画像入力部１３に送られる。得られた画像は、更にパターン復号部１４に送られ、フレームメモリ部１５に補完的な画像対の一方を保持しつつ、フレーム差分を計算し、得られたコード復号用メモリ部１６のコードに対応するビット部位をパターン生成部１１から取得して更新する。コード復号用メモリ部１６には最終的に投影装置と投影装置の画素対応情報が格納され、補完的な画像対を１つ処理する毎に最新の投影装置と投影装置の画素対応情報を座標変換部１７に出力する。この際、投影装置と投影装置の画素対応情報と共に、各画素の計測情報、即ち輝度や色や距離情報などの何れかが付随する。特にここで補完的な画像対を加算することでコード影響を相殺すれば、輝度や色を得るのに役立つ。座標変換部１７は各画素の計測情報を、投影装置と投影装置の画素対応情報にもとづいて並び替えながら座標変換部用メモリ１８に書き込んだ後、投影装置の座標順で座標変換部用メモリ１８の値を読み出して、座標補間部１９に送る。

座標補間部１９は、座標変換部１７から、受け取った各画素の計測情報を用い、各画素の計測情報の存在しないものがあるが、そのような情報を必要に応じて補間する。これは例えば、一定の範囲内に有効な計測情報を持った画素が存在する場合に線形補間等の補間法を用いて行なうなどの方法が考えられる。

コンテンツメモリ部２１には投影対象２に投影されるべき映像の素材となる、テクスチャ、動画データ、メッシュ、シェーダープログラムなどが記憶されており、コンテンツ生成部２０からの要求に応じて、読み込まれ、コンテンツ生成部２０によって、座標補間部１９から得た計測情報に基づいて、投影対象にマッピングされるべき映像が生成される。映像画像は、画像出力部１２に向けて順次出力され、画像出力部１２は対応する画像信号を投影装置３に供給する。

図４は上記した一連の動作の時間的履歴を示すタイムチャートである。本実施例では、毎秒６０００フレームのサイクルで、投影及び撮影を行うものとする。例えば、赤外線ＬＥＤ光源４ｂを各フレームの最初の９０％の時間に渡って点灯し、可視光ＬＥＤ光源４ａを最後の残りの１０％の時間に渡って点灯し、互いに交互に点灯するものとする。赤外線ＬＥＤ光源４ｂが点灯しているときには、ＤＭＤ７は、演算装置８の制御の下に、上記した４０枚の計測用のパターンを各フレーム毎に順次投影対象２に投影し、投影された画像をカメラ９により撮像する。撮像された計測用のパターンは演算装置８により処理され、距離情報に変換される。ＤＭＤ７は極めて高速な動作が可能な素子であることから、非可視光による各距離計測用パターンを一時に投影することもできるが、本実施例では、各フレームをラスター走査するように、順次僅かに時間をずらすように投影している。

一方、カメラ９は、２次元的に配置された感光要素が配置された、例えばＣＭＯＳからなる受光素子を用いたものからなる。投影対象２から得られた画像をフレーム毎に全ての画素を同時に読み出すようにすることもできるが、高価な素子が必要となる。また、高速な信号処理が必要となり、回路設計も困難となる。そこで、本実施例では、投影対象２から得られた画像をラスター走査することにより、２次元的に配置された画素毎に順次露光を開始し、各感光要素毎に一定の露光時間の後に、各感光要素に蓄積された電荷を取り出し（読み出し）、受光量を対応する電気信号を生成する。このとき、各画素についての露光開始タイミングを一定の時間をもってずらすようにしている。各画素についての露光は一定とすることから、露光終了タイミング即ち読み出しタイミングも、露光開始タイミングと同様に一定の時間をもってずれることになる。従って、読み出しを、非可視光を投影する区間の全体に渡って、順次所定の時間差をもって行うことから、高価な素子を必要とせず、回路設計も容易となる。

このような動作を４０フレームに渡って非可視光を投影する区間を完了する間に画面全体に渡るデータが得られ、投影対象２全体の距離情報が得られ、それに基づいてコンテンツ画像（ビデオ画像）の補正内容を更新する。即ち、可視光ＬＥＤ光源４ａが点灯されている間に、ＤＭＤ７は、演算装置８の制御の下に、その時点までの距離計測結果に基づき処理されたコンテンツ画像を投影対象２に投影する。一回の計測が完了するためには、４０フレームを要するため、コンテンツ画像は４０フレームの間、４０回更新されるものであっても良いが、より少ない頻度で更新されるものであっても良い。本実施例の場合、コンテンツ画像は４０フレームの間同一内容で、一回の計測が完了する毎に、コンテンツ画像を更新し、かつコンテンツ画像に対して、直前に完了した距離計測結果に基づく座標変換処理を行うようにしている。

このようにして、投影対象２が移動したり、変形したりしても、投影対象２の変化に応じて、リアルタイムでコンテンツ画像が補正され、観る者に対して歪みのない投影画像を提供することができる。特に、本実施例によれば、投影対象２の動きが速い場合でも、高い追従性をもって、投影対象２に対して適切なコンテンツ画像を投影することができる。

図４に示された実施例では、各距離計測用パターンの投影の完了毎に１フレームのコンテンツ画像が投影されるようにしている。（実際には、１フレームのコンテンツ画像は、ＲＧＢの各色について投影される３フレームの各色画像の集合からなる。）それに対して、図５に示された実施例では、各距離計測用パターンの投影の途中にコンテンツ画像が挟み込まれるようにしている。この場合でも、１フレームの距離計測用パターン毎に１フレームのコンテンツ画像が挟み込まれることから、距離計測用パターンの各画素の露光時間が一定となり、正確な距離計測が可能となる。

図６に示された実施例では、コンテンツ画像の更新レートは半分にされ、更新も画面を２分割して設定されるサブフィールド単位で実施される。これ以外の分割方法も可能である。いずれにせよ、相補的な各対の計測パターンの画像が投影される２フレームに渡って同一のコンテンツ画像が投影される場合には、コード復号に際して相補的な計測パターンの差分が取られるため、コンテンツ画像が相殺され、コンテンツ画像が距離計測に対して全く干渉しないこととなり、カメラ９の前方に可視光フィルタ１０を設ける必要がなくなる。

本発明の更なる発展形態として、対象物までの距離情報に基づいて、投影画像のコンテンツを対応させることもできる。例えば、計測情報として対象物までの距離を計測し、得られた距離情報に基づいて、特定の範囲の距離内に位置する対象物の部分に特定のテクスチャ画像或いは色をペイントするように照射したり、そのような対象物の輪郭を特定の色、強調線及び又はテクスチャにより強調することができる。これによれば、比較的遠方の背景の前方に立つアーチスト或いはアスリートのみに向けて特別な視覚効果を付与するような画像を照射することができる。

或いは、パターン光として可視光を用いることにより、対象物の色情報を取得し、得られた色情報に応じて、特定のコンテンツ画像を投影することもできる。即ち、移動する対象物の部分の特定の色の部分を抽出し、そのような部分に向けて特定の画像を投影することができる。例えば、人物の顔や、人物の服の特定の部分を抽出して、そのような領域に向けて特定の画像を投影することができる。特定の画像として、補色をペイントするようにすれば、対象となる領域を選択的に暗くすることができる。

上記実施例は、プロジェクション・マッピングを行うための距離計測を行う構成に関するものであったが、本発明を、それ以外の目的で距離計測を行う距離計測専用システムに適用することができる。このような装置は、他のシステムの一部をなすものであっても良いことは言うまでもない。図７に示された実施例では、距離計測のみを行うようにし、計測パターンの画像のみが投影され、投影対象２から得られた画像をラスター走査することにより、２次元的に配置された画素毎に順次露光し、各感光要素毎に一定の露光時間の後に、各感光要素に蓄積された電荷を取り出し（読み出し）、受光量を対応する電気信号を生成する。このとき、各画素についての露光開始タイミングを一定の時間をもってずらす。各画素についての露光は一定とすることから、露光終了タイミング即ち読み出しタイミングも、露光開始タイミングと同様に一定の時間をもってずれることになる。従って、読み出しを、非可視光を投影する区間の全体に渡って、順次所定の時間差をもって行うことから、高価な素子を必要とせず、回路設計も容易となる。

同じく図８に示された実施例では、更に計測用パターンを４つのサブフィールドに分割し、サブフィールド毎に所定の時間差をおいて投影するようにしている。従って、この場合には、図８に示すように、計測用パターンは、その走査方向に段階的に書き換えられる。従って、本実施例のようなサブフィールド更新を行なう場合、全フレーム更新に比べて時間当たりの少ないデータ転送で更新が行なえるため、投影装置に高速な転送帯域を要求せずに安価なデバイスで目的を達成することができる。

１ リアルタイム計測投影装置
２ 投影対象
３ 投影装置
４ａ 可視光ＬＥＤ光源
４ｂ 赤外線ＬＥＤ光源
５ ダイクロイックミラー
６ ＤＭＤ（デジタル・マイクロミラー・デバイス）
７ レンズ光学系
８ 演算装置
９ カメラ
１０ 可視光フィルタ
１１ パターン生成部
１２ 画像出力部
１３ 画像入力部
１４ パターン復号部
１５ フレームメモリ部
１６ 復号用メモリ部
１７ 座標変換部
１８ 座標変換用メモリ部
１９ 座標補間部
２０ コンテンツ生成部
２１ コンテンツメモリ部

Claims (16)

1. パターン画像を含むパターン光を投影対象に投影するための投影装置と、
   前記パターン光が照射された前記投影対象の撮像画像を、画素毎に電子的に所定の露光時間をもって取得するための撮像装置と、
   前記撮像画像を前記パターン画像のデータと対照することにより前記撮像装置の各画素と前記投影装置の各画素との間の画素対応情報を計算し、前記撮像装置から得られた各画素の計測情報を前記画素対応情報に基づき、前記投影装置の対応座標に変換し、前記投影装置の対応座標に変換済みの各画素の計測情報に基づき、前記投影対象に投影されるべき映像を生成するための演算装置とを含み、
   前記投影装置が、前記撮像装置に於ける露光時間のサイクルに同期して前記演算装置により生成された前記映像を、前記投影対象に映像光として照射するように構成されたリアルタイム計測投影装置であって、
   前記撮像装置が、前記所定の露光時間の開始及び終了の時点を画素毎に時間的にずらして行うようにしたことを特徴とするリアルタイム計測投影装置。
2. 前記撮像装置に於ける露光時間の前記サイクルが画像のフレーム単位に設定されていることを特徴とする請求項１に記載のリアルタイム計測投影装置。
3. 前記映像光は可視光であり、前記パターン光は非可視光であることを特徴とする請求項１または請求項２に記載のリアルタイム計測投影装置。
4. 前記投影装置が、可視光光源と、非可視光光源と、前記両光源からの光を共通の光軸上に配向するダイクロイックミラーと、前記ダイクロイックミラーからの光を空間変調するデジタルマイクロミラー素子と、前記デジタルマイクロミラー素子からの出射光を前記投影対象上にフォーカシングする投射レンズとを含むことを特徴とする請求項１から請求項３のいずれかに記載のリアルタイム計測投影装置。
5. 前記撮像装置が前記非可視光を透過し、前記可視光を遮断する可視光カットフィルタを含むことを特徴とする請求項３に記載のリアルタイム計測投影装置。
6. 前記パターン光が、各フレームに設定された複数のサブフレーム領域毎に、時間的にシフトして投影されることを特徴とする請求項１から請求項５のいずれかに記載のリアルタイム計測投影装置。
7. 前記計測情報は、前記画素対応情報と、前記撮像装置の位置情報と、前記投影装置の位置情報とから、三角法によって求められた距離情報であることを特徴とする請求項１から請求項６のいずれかに記載のリアルタイム計測投影装置。
8. 前記パターン光が空間コード化法に基づいて設定されることを特徴とする請求項１から請求項７のいずれかに記載のリアルタイム計測投影装置。
9. 前記映像の生成に利用される前記計測情報が距離であり、前記距離に応じて映像生成に用いるテクスチャ画像を切り替えることを特徴とする請求項１から請求項６のいずれかに記載のリアルタイム計測投影装置。
10. 前記映像の生成に利用される前記計測情報が距離であり、前記距離に応じて投影対象物の切り抜きマスクを生成し、マスクの輪郭の色を変化させた映像を生成することを特徴とする請求項１から請求項６のいずれかに記載のリアルタイム計測投影装置。
11. 前記映像の生成に利用される前記計測情報が距離であり、前記距離に応じて映像の色を変化させることを特徴とする請求項１から請求項６のいずれかに記載のリアルタイム計測投影装置。
12. 前記計測情報は、前記撮像装置によって撮影された、色情報であることを特徴とする、請求項１に記載のリアルタイム計測投影装置。
13. 前記映像の生成に利用される前記計測情報が色情報であり、前記色情報に含まれる色の捕色を用いて映像補正を行なうことを特徴とする請求項１２に記載のリアルタイム計測投影装置。
14. 前記パターン画像がマンチェスタコーディング法に基づく複数対の白黒反転画像パターンを含み、映像コンテンツが２フレーム毎に更新されることを特徴とする請求項１に記載のリアルタイム計測投影装置。
15. 前記パターン画像が、各フレームに設定された複数のサブフレーム領域に分割され、各サブフレーム領域に対応する前記パターン画像の部分の前記映像コンテンツが２フレーム毎に更新されることを特徴とする請求項１４に記載のリアルタイム計測投影装置。
16. 三次元投影計測装置であって、
    パターン画像を含むパターン光を投影対象に照射する投影装置と、
    前記パターン光が照射された前記投影対象の撮像画像を、画素毎に電子的に所定の露光時間をもって取得する撮像装置と、
    前記撮像画像を前記パターン画像のデータと対照することにより前記投影対象の個々の点までの距離を算出する演算装置とを含み、
    前記撮像装置が、前記所定の露光時間の開始及び終了の時点を画素毎に時間的にずらして行うことを特徴とする三次元投影計測装置。

Images