JP2014178393A - 画像投影システム及び画像投影方法 - Google Patents

Abstract

【課題】スタック投影に用いる複数のプロジェクタの組み合わせの自由度を高めることができる画像投影システムを提供する。
【解決手段】 画像投影システム１００は、スクリーン面上に同一の画像を２つ重ねて投影する画像投影システムであって、前記画像をスクリーン面上に投影する、互いに解像度が異なる２つのプロジェクタ１０Ａ、１０Ｂと、前記画像に対応する画像データを各プロジェクタに該プロジェクタの解像度で出力するＰＣ３０と、を備えている。
【選択図】図４

Description

本発明は、画像投影システム及び画像投影方法に係り、更に詳しくは、被投影面上に同一の画像を複数重ねて投影する画像投影システム及び画像投影方法に関する。

従来、複数のプロジェクタから被投影面上に同一の画像を複数重ねて投影（スタック投影）する画像投影システムが知られている（例えば特許文献１参照）。

しかしながら、特許文献１に開示されている画像投影システムでは、スタック投影に用いる複数のプロジェクタの組み合わせの自由度が低かった。

本発明は、被投影面上に同一の画像を複数重ねて投影する画像投影システムであって、前記画像を前記被投影面上に投影する、互いに解像度が異なる複数のプロジェクタと、前記画像に対応する画像データを前記複数のプロジェクタそれぞれに該プロジェクタの解像度で出力する画像データ出力装置と、を備える画像投影システムである。

本発明によれば、スタック投影に用いる複数のプロジェクタの組み合わせの自由度を高めることができる。

一実施形態の画像投影システムの構成を概略的に示す図である。 プロジェクタの投影部を説明するための図である。 スクリーン面上における第１又は第２プロジェクタの投影領域をデジタルカメラで撮像する状態を示す図である。 画像投影システムの制御の構成を概略的に示すブロック図である。 図５（Ａ）は、外部メモリ上のコンテンツ画像を示す図であり、図５（Ｂ）は、フラッシュメモリ上のドットパターンを示す図である。 画像投影システムの全体処理を説明するためのフローチャートである。 図７（Ａ）及び図７（Ｂ）は、それぞれ第１プロジェクタから投影されたドットパターンＤＰ１及び第２プロジェクタから投影されたドットパターンＤＰ２をデジタルカメラで撮像する状態を示す図である。 補正パラメータ取得処理を説明するためのフローチャートである。 図９（Ａ）は、第１フラッシュメモリ上のドットパターンＤＰ１の一部を示す図であり、図９（Ｂ）は、デジタルカメラで撮像されたドットパターンＤＰ１の一部を示す図である。 補正後投影目標領域について説明するための図である。 図１１（Ａ）〜図１１（Ｃ）は、ドットパターンＤＰ１の各格子点座標の、マップされた投影コンテンツ画像上の位置に対応する等倍原画像上の座標への変換例を説明するための図（その１〜その３）である。 図１２（Ａ）〜図１２（Ｃ）は、ドットパターンＤＰ２の各格子点座標の、マップされた投影コンテンツ画像上の位置に対応する、原画像を低解像度化した画像上の座標への変換例を説明するための図（その１〜その３）である。 第１補正画像生成処理を説明するためのフローチャートである。 第２補正画像生成処理を説明するためのフローチャートである。 図１５（Ａ）〜図１５（Ｃ）は、それぞれ比較例１、比較例２及び本実施形態における２つのプロジェクタを用いてスタック投影された画像の解像度を説明するための図である。

以下、一実施形態を図１〜図１５（Ｃ）に基づいて説明する。図１には、一実施形態に係る画像投影システム１００が側面図にて示されている。以下では、図１に示される、鉛直方向をＹ軸方向とするＸＹＺ３次元直交座標系を用いて説明する。

画像投影システム１００は、一例として、図１に示されるように、２つのプロジェクタ１０Ａ、１０Ｂ、デジタルカメラ２０、ＰＣ３０（パーソンナルコンピュータ）などを備えている。以下では、プロジェクタ１０Ａを第１プロジェクタ１０Ａ、プロジェクタ１０Ｂを第２プロジェクタ１０Ｂとも称する。

第１及び第２プロジェクタ１０Ａ、１０Ｂは、例えば床面上にＸ軸方向に並べて配置されている。図１では、第２プロジェクタ１０Ｂは、第１プロジェクタ１０Ａの−Ｘ側に隠れている。各プロジェクタは、一例として、吊り下げ型のスクリーンＳの−Ｙ側かつ−Ｚ側の斜め下方に近接して配置されている。ここでは、スクリーンＳは、Ｘ軸方向を長手方向とする矩形状であり、アスペクト比が例えば４：３である。

第１及び第２プロジェクタ１０Ａ、１０Ｂは、互いに異なる解像度を有している。ここでは、第１プロジェクタ１０Ａは、第２プロジェクタ１０Ｂよりも解像度が高い。ここでは、一例として、第１プロジェクタ１０Ａの解像度（リアル解像度）は、１２８０×８００画素であり、第２プロジェクタ１０Ｂの解像度（リアル解像度）は、１０２４×７６８画素である。

各プロジェクタは、一例として、筐体１２、投影部１６（図２参照）などを含む。

筐体１２には、＋Ｙ側の壁に、光を透過させる光透過窓部材２２が設けられている。

投影部１６は、筐体１２内に収容されており、画像データに応じて変調された光を光透過窓部材２２を介してスクリーンＳに投射することで、該スクリーンＳの表面（スクリーン面）に画像を投影する。

投影部１６は、図２に示されるように、一例として、光源８０、光分割手段としてのカラーホイール８２、光均一化手段としてのライトトンネル８４、光屈折手段としての２つのコンデンサレンズ８６、８８、光反射手段としての２つのミラー９０、９２、光変調手段としてのＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）９４、光広角化及び結像手段としての投射レンズ９６、光反射手段としてのミラー９７、光広角化及び反射手段としての自由曲面ミラー９８を含む。

投射レンズ９６は、Ｙ軸方向を光軸方向とし、該光軸方向に沿って所定間隔で配置された複数枚のレンズエレント（不図示）により構成されている。なお、図２では、光源８０からミラー９７に至る光の経路が、矢印により示されている。

投影部１６では、光源８０から射出された光は、カラーホイール８２に入射する。カラーホイール８２に入射した光は、３原色の各色光に時系列的に分割されてカラーホイール８２から順次取り出される。カラーホイール８２から取り出された各色光は、ライトトンネル８４に入射し、その輝度分布が均一化されて、コンデンサレンズ８６、８８に順次入射する。コンデンサレンズ８６、８８に入射した各色光は、結像面が調整された後、ミラー９０、９２で順次反射されて、ＤＭＤ９４に入射する。ＤＭＤ９４に入射した各色光は、上記画像情報に応じてＤＭＤ９４で変調されつつ反射されて、投射レンズ９６に順次入射する。投射レンズ９６に入射した各色光は、広角化された後、ミラー９７で反射されて、自由曲面ミラー９８に順次入射する。自由曲面ミラー９８に入射した各色光は、自由曲面ミラー９８で広角化されつつ反射され、光透過窓部材２２を介して筐体１２の＋Ｙ側かつ＋Ｚ側の斜め上方に（スクリーンＳに向けて）順次投射される（図１参照）。この結果、スクリーン面にカラー画像又はモノクロ画像が投影される。

上述した投影部１６は、投射される光の焦点位置が近くなるように、すなわち短焦点に構成され、短い投射距離で、スクリーンＳに大きなカラー（又はモノクロ）画像を投影することができる。ここで、「投影部１６が短焦点に構成される」とは、投影部１６の光学系が、屈折力を有するミラー（例えば上記自由曲面ミラー９８）を含むことを意味する。このミラーが有する屈折力は正でも負でも良い。投影部１６の光学系が屈折力を有するミラーを含むことで、光透過窓部材２２からスクリーンＳまでの距離が例えば５０センチ以内であっても８０インチ程度の大きな投影像を表示することが可能である。

このような短焦点型のプロジェクタ１０は、スクリーンＳに近接する位置から画像を投影できるため、プロジェクタ１０とスクリーンＳとの間に人や物が介在することが極力防止され、スクリーンＳへの画像の投影が阻害されることを極力防止できる。

そして、以下に詳しく説明するように、２つのプロジェクタ１０Ａ、１０Ｂからの解像度が異なる同一の画像をぴったり一致するように重ねてスクリーン面上に投影（スタック投影）することで、明るく鮮明な（コントラスト及び色再現性が高い）画像を得ることができる。

デジタルカメラ２０は、撮像レンズの画角内に、スクリーン面における第１及び第２プロジェクタ１０Ａ、１０Ｂの投影領域のＯＲ領域が収まるように位置決めされている（図３参照）。すなわち、デジタルカメラ２０は、撮像視野に、上記ＯＲ領域が入るように例えば３脚を介してテーブル上に支持されている。そこで、デジタルカメラ２０は、後述する第１及び第２プロジェクタ１０Ａ、１０Ｂからスクリーン面に時系列で投影されたドットパターンＤＰ１、ＤＰ２を個別に撮像し、得られた画像データをＰＣ３０に送る。

ＰＣ３０は、テーブル上に載置され、各プロジェクタ及びデジタルカメラ２０と結線（例えばＵＳＢ接続）されている。

ＰＣ３０は、一例として、図４に示されるように、ＣＰＵ３７、第１〜第４フレームメモリ３１ａ〜３１ｄ、補正情報取得手段３２、解像度変換部３３、第１及び第２画像データ補正手段３４ａ、３４ｂ、第１及び第２フラッシュメモリ３５ａ、３５ｂなどを含む。

ＣＰＵ３７は、上記各構成部を統括的に制御するとともに、デジタルカメラ２０を制御する。

第１フレームメモリ３１ａは、外部メモリ（例えばＨＤＤ、ＵＳＢメモリ等）からの画像データを１画像毎に一時的に記憶し、補正情報取得手段３２を介して、第１画像データ補正手段３４ａに送る。なお、外部メモリには、投影すべきコンテンツ画像（図５（Ａ）参照）の画像データが保存されている。

第３フレームメモリ３１ｃは、上記外部メモリからの画像データを１画像毎に一時的に記憶し、補正情報取得手段３２を介して、解像度変換部３３に送る。

補正情報取得手段３２は、デジタルカメラ２０からの各ドットパターンの画像データに基づいて、上記外部メモリからの画像データを補正するための補正情報（補正パラメータ）を取得する。

ここで、スクリーン面に投影された各ドットパターンでは、対応するプロジェクタの向きがスクリーンＳと正対していないと台形歪みが生じ、さらに短焦点型のプロジェクタでは、スクリーン面の凹凸（歪み）に起因する非線形な幾何歪みが生じる。そこで、補正情報取得手段３２は、このような歪みを補正するための歪み補正パラメータを取得する。また、スタック投影では、２つのプロジェクタから投影された画像の位置を正確に合わせる必要がある。そこで、補正情報取得手段３２は、スクリーン面上での画像の位置ずれを補正するための位置ずれ補正パラメータを取得する。

解像度変換部３３は、第３フレームメモリ３１ｃからの画像データの解像度を第２プロジェクタ１０Ｂの解像度に変換して、第２画像データ補正手段３４ｂに送る。ここでは、解像度変換部３３は、バイリニア、バイキュービックなどの画素補間手法で解像度を変換する。

第１画像データ補正手段３４ａは、補正情報取得手段３２で取得されたドットパターンＤＰ１の補正情報に基づいて、第１フレームメモリ３１ａからの画像データを補正し、第２フレームメモリ３１ｂに送る。第１画像データ補正手段３４ａは、該画像データの歪みを補正する歪み補正部、及び該画像データの位置ずれを補正する位置ずれ補正部を含む。

第２画像データ補正手段３４ｂは、補正情報取得手段３２で取得されたドットパターンＤＰ２の補正情報に基づいて、解像度変換部３３からの画像データを補正し、第２フレームメモリ３１ｂに送る。第２画像データ補正手段３４ｂは、該画像データの歪みを補正する歪み補正部、及び該画像データの位置ずれを補正する位置ずれ補正部を含む。

第２フレームメモリ３１ｂは、第１画像データ補正手段３４ａからの画像データを１画像毎に一時的に記憶し、第１プロジェクタ１０Ａに送る。

第４フレームメモリ３１ｄは、第２画像データ補正手段３４ｂからの画像データを１画像毎に一時的に記憶し、第２プロジェクタ１０Ｂに送る。

第１フラッシュメモリ３５ａには、高解像度のドットパターンＤＰ１の画像データが格納されている。ドットパターンＤＰ１の解像度は、第１プロジェクタ１０Ａの解像度と同じである。ＣＰＵ３７は、第１プロジェクタ１０Ａに対する接続を、第１フラッシュメモリ３５ａと第２フレームメモリ３１ｂとの間で切り替えることができる。

第２フラッシュメモリ３５ｂには、ドットパターンＤＰ１よりも低解像度のドットパターンＤＰ２の画像データが格納されている。ドットパターンＤＰ２の解像度は、第２プロジェクタ１０Ｂの解像度と同じである。ＣＰＵ３７は、第２プロジェクタ１０Ｂに対する接続を、第２フラッシュメモリ３５ｂと第４フレームメモリ３１ｄとの間で切り替えることができる。

ここで、各ドットパターンは、一例として、図５（Ｂ）に示されるように、８×５のマトリクス状に配列された複数の円形の黒ドット（黒丸）で構成されている。

低解像度のドットパターンＤＰ２は、高解像度のドットパターンＤＰ１を解像度変換で変倍したもの（８×５のマトリクス状に配列された複数の円形の黒ドット）である。このように各ドットパターンでドット数を揃えると、スクリーン面上でのドットの大きさや周期が２つのドットパターンＤＰ１、ＤＰ２で揃えられて、ドットの周期が幾何補正の精度に対応するので幾何補正の精度が揃い、またドット抽出処理での抽出すべきドットの大きさが揃って抽出し易くなる。

次に、画像投影システムの全体処理の一例を、図６のフローチャートを参照して説明する。図６のフローチャートは、ＣＰＵ３７の処理アルゴリズムに対応している。第１プロジェクタ１０Ａは、当初、第２フレームメモリ３１ｂに接続されている。第２プロジェクタ１０Ｂは、当初、第４フレームメモリ３１ｄに接続されている。そして、ユーザは、ＰＣ３０に接続された入力デバイス（例えばキーボード、マウス等）を用いて、ＣＰＵ３７に対して補正パラメータ設定モードを選択できるようになっている。補正パラメータは、当初、デフォルト値（初期設定値）に設定されている。

最初のステップＳ１では、補正パラメータ設定要求があるか否かが判断される。ユーザによって補正パラメータ設定モードが選択されないと、ステップＳ１での判断が否定され、ステップＳ１０に移行する。ユーザによって補正パラメータ設定モードが選択されると、ステップＳ１での判断が肯定され、ステップＳ２に移行する。

ステップＳ２では、各プロジェクタとの接続がフレームメモリからフラッシュメモリに切り替えられる。すなわち、第１プロジェクタ１０Ａとの接続が第２フレームメモリ３１ｂから第１フラッシュメモリ３５ａに切り替えられ、第２プロジェクタ１０Ｂとの接続が第４フレームメモリ３１ｄから第２フラッシュメモリ３５ｂに切り替えられる。

次のステップＳ３では、第１プロジェクタ１０ＡにドットパターンＤＰ１の画像データが出力される。具体的には、ＣＰＵ３７によって第１フラッシュメモリ３５ａからドットパターンＤＰ１の画像データが読み出され、第１プロジェクタ１０Ａに送られる。この結果、第１プロジェクタ１０Ａからスクリーン面上にドットパターンＤＰ１が投影される。

次のステップＳ４では、スクリーン面上に投影されたドットパターンＤＰ１がデジタルカメラ２０で撮像される（図７（Ａ）参照）。撮像されて得られた画像データは、補正情報取得手段３２に送られる。

次のステップＳ５では、第２プロジェクタ１０ＢにドットパターンＤＰ２の画像データが出力される。具体的には、ＣＰＵ３７によって第２フラッシュメモリ３５ｂからドットパターンＤＰ２の画像データが読み出され、第２プロジェクタ１０Ｂに送られる。この結果、第２プロジェクタ１０Ｂからスクリーン面上にドットパターンＤＰ２が投影される。

次のステップＳ６では、スクリーン面上に投影されたドットパターンＤＰ２がデジタルカメラ２０で撮像される（図７（Ｂ）参照）。撮像されて得られた画像データは、補正情報取得手段３２に送られる。

次のステップＳ７では、補正情報取得手段３２によって補正パラメータ取得処理が行われる。補正パラメータ取得処理については、後に詳述する。

次のステップＳ８では、取得された補正パラメータが、第１及び第２画像データ補正手段３４ａ、３４ｂに設定される。

次のステップＳ９では、各プロジェクタとの接続がフラッシュメモリからフレームメモリに切り替えられる。すなわち、第１プロジェクタ１０Ａとの接続が第１フラッシュメモリ３５ａから第２フレームメモリ３１ｂに切り替えられ、第２プロジェクタ１０Ｂとの接続が第２フラッシュメモリ３５ｂから第４フレームメモリ３１ｄに切り替えられる。

そこで、ＣＰＵ３７は、外部メモリから第１プロジェクタ１０Ａの解像度と同じ解像度のコンテンツ画像の画像データを読み出し、第１及び第３フレームメモリ３１ａ、３１ｃに送る。第１フレームメモリ３１ａに送られた画像データは、補正情報取得手段３２を介して第１画像データ補正手段３４ａに送られる。第３フレームメモリ３１ｃに送られた画像データは、補正情報取得手段３２、解像度変換部３３を介して第２画像データ補正手段３４ｂに送られる。

次のステップＳ１０では、第１画像データ補正手段３４ａによって第１補正画像生成処理が行われる。第１補正画像生成処理については、後に詳述する。

次のステップＳ１１では、第２画像データ補正手段３４ｂによって第２補正画像生成処理が行われる。第２補正画像生成処理については、後に詳述する。

以下に、補正情報取得手段３２によって行われる補正パラメータ取得処理（ステップＳ７）について、図８のフローチャートを参照して説明する。

最初のステップＳ７−１では、撮像されたドットパターンＤＰ１の各ドットの重心座標を求める。以下では、便宜上、ドットパターンＤＰ１の各ドットの重心を格子点とも称する。

ここでは、撮像されたドットパターンＤＰ１の各ドットの重心座標を小数画素精度（サブピクセル精度）で求める。具体的には、既存の方法で、２値化して、黒画素の塊をパターンマッチングなどで切り出し、その重心座標を小数画素精度で求める（図９（Ｂ）参照）。同様にして、第１フラッシュメモリ３５ａ上のドットパターンＤＰ１の各ドットの重心座標を求める（図９（Ａ）参照）。

次のステップＳ７−２では、求められた各ドットの重心座標に基づく外挿により、第１プロジェクタ１０Ａの投影領域の外周座標を求める。

具体的には、求められた各ドットの重心座標から線形に外挿して第１プロジェクタ１０Ａの投影領域の外周画素の座標を求める。同様にして、第１フラッシュメモリ３５ａ上のドットパターンＤＰ１の外周画素の座標を求める。

ここで、第１フラッシュメモリ３５ａ上のドットパターンＤＰ１の点Ｑｐ（図９（Ａ）参照）のデジタルカメラ２０で撮像されたドットパターンＤＰ１上での対応点Ｑ_Ｃ（図９（Ｂ）参照）は、取得済みの近傍の例えば４つのドットの重心座標Ａ_Ｃ、Ｂ_Ｃ、Ｃ_Ｃ、Ｄ_Ｃの座標ベクトルから次の（１）式で求めることができる。
Ｑ_Ｃ=（１−ｓ）（（１−ｔ）Ａ_Ｃ＋ｔＢ_Ｃ）＋ｓ（（１−ｔ）Ｃ_Ｃ＋ｔＤ_Ｃ）・・・（１）

なお、ここでは、点Ｑｐの座標が、近傍の例えば４つの格子点Ａ_Ｐ、Ｂ_Ｐ、Ｃ_Ｐ、Ｄ_Ｐ（ドットの重心座標）からｘ軸方向にｔ：１−ｔ （０＜ｔ＜１）、ｙ軸方向にｓ：１−ｓ（０＜ｓ＜１）に内分する点であると仮定している。また、図９（Ｂ）では、−０．５＜ｔ＜０、−０．５＜ｓ＜０とされている。

なお、ドットパターンＤＰ１全体では非線形な幾何歪みが生じ得るが、その一部である２×２個の格子点で構成される四辺形パッチは十分小さいのでこの範囲および外周に向かって少し外挿した範囲では線形な幾何歪みと見なせる。

次のステップＳ７−３では、撮像されたドットパターンＤＰ２の各ドットの重心座標（重心の座標）を求める。以下では、便宜上、ドットパターンＤＰ２の各ドットの重心を格子点とも称する。ステップＳ７−３は、ステップＳ７−１と同様に行われる。

次のステップＳ７−４では、求められた各ドットの重心座標に基づく外挿により、第２プロジェクタ１０Ｂの投影領域の外周座標を求める。ステップＳ７−４は、ステップＳ７−２と同様に行われる。

以上のようにして、撮像された各ドットパターン上での格子点（ドットの重心）の座標（格子点の歪み具合と２つのプロジェクタの投射光の位置）から撮像された各ドットパターン上での対応するプロジェクタの投影領域の外周座標が求められた。

結果として、第１及び第２プロジェクタ１０Ａ、１０Ｂの投影領域（全面白画像が投影されて映る範囲）が検出される（図１０参照）。

そこで、次のステップＳ７−５では、図１０に示されるように、第１及び第２プロジェクタ１０Ａ、１０Ｂの投影領域のＡＮＤ領域内に、補正後のコンテンツ画像が投影される補正後投影目標領域を設定する。

すなわち、ステップＳ７−５では、２つの投影領域のＡＮＤ領域内にアスペクト比を保って最大サイズで変倍したコンテンツ画像をマップする。

具体的には、撮像された各ドットパターンのデジタルカメラ２０の座標系での投影領域の４隅の点は既知であり、かつ４つの辺（上辺、下辺、左辺、右辺）も既知なので、撮像された各ドットパターン上での対応するプロジェクタの投影領域の上辺、および下辺で挟まれた範囲、同じく左辺、右辺で挟まれた範囲に、第１及び第２プロジェクタ１０Ａ、１０Ｂの投影領域のＡＮＤ領域内に取れる矩形範囲（図１０の破線で囲まれた矩形領域）が定まる。この中にコンテンツ画像のアスペクト比（図５（Ａ）のコンテンツ画像の例では４：３）を保って、最大サイズで割り付ければよい。図１０の例では若干縦が余ったので上下に余白を設けてセンタリングしている。

次のステップＳ７−６では、この補正後投影目標領域にコンテンツ画像が投影されるように、原画像の画像データに対して歪み補正及び位置ずれ補正を行うための歪み補正パラメータ及び位置ずれ補正パラメータを算出する。

すなわち、ステップＳ７−６では、撮像されたドットパターンＤＰ１の各ドットの重心座標を、マップされたコンテンツ画像上の位置に対応する等倍コンテンツ画像上の座標に変換する。

具体的には、図１１（Ａ）に示される第１プロジェクタ１０Ａに出力される第１フラッシュメモリ３５ａ上のドットパターンＤＰ１の格子点の１つＰ_１（４＊Ｂｌｋ_１、３＊Ｂｌｋ_１）（但しＢｌｋ_１：ドットパターンＤＰ１の格子サイズ））について見ると、図１１（Ｂ）の撮像画像上では対応する座標（Ｘｃａｍ１、Ｙｃａｍ１）が求められており、ここに矩形鎖線の補正後投影目標領域がマップされるので、図１１（Ｃ）では、等倍（高解像度）コンテンツ画像上での座標位置が定まる。

図１１（Ｂ）の撮像画像上のマップされたコンテンツ画像の左上の原点の座標を（Ｘ_０、Ｙ_０）、コンテンツ画像の変倍率Ｒとすると、撮像画像上でこの格子点に映し出すべき、コンテンツ画像の画素位置（Ｘｃｏｎｔ１、Ｙｃｏｎｔ１）は、以下の（２）式、（３）式のように求めることができる。
Ｘｃｏｎｔ１=（Ｘｃａｍ１−Ｘ_０）／Ｒ・・・（２）
Ｙｃｏｎｔ１=（Ｙｃａｍ１−Ｙ_０）／Ｒ・・・（３）

すべての格子点についてのコンテンツ画像上での画素位置（Ｘｃｏｎｔ、Ｙｃｏｎｔ）が歪み補正パラメータである。これらが第１画像データ補正手段３４ａに送られる。

また、ステップＳ７−７では、撮像されたドットパターンＤＰ２の各ドットの重心座標を、マップされたコンテンツ画像上の位置に対応する低解像度化されたンテンツ画像上の座標に変換する。

その変換方法は、図１２（Ａ）に示される第２フラッシュメモリ３５ｂ上のドットパターンＤＰ２及び図１２（Ｂ）に示されるコンテンツ画像が、低解像度化された画像であることを除いて、ステップＳ７−６と同様である。但し、コンテンツ画像の変倍率Ｒは低解像化された画像からの変倍率となる。

次に、第１補正画像生成処理（Ｓ１０）を図１３のフローチャートを参照して説明する。

最初のステップＳ１０−１では、第２フレームメモリ３１ｂで投影する補正画像のドット位置毎の参照すべき高解像度コンテンツ画像上の座標を設定する。

次のステップＳ１０−２では、ドット以外についての参照すべき高解像度コンテンツ画像上の座標を、線形補間で計算する。

次のステップＳ１０−３では、参照すべき座標（小数点数）に従って、投影すべき高解像度コンテンツ画像から、バイリニア、バイキュービックなどの画素補間手法で第１プロジェクタ１０Ａ用の第１補正画像を生成する。

次に、第２補正画像生成処理（Ｓ１１）を図１４のフローチャートを参照して説明する。

最初のステップＳ１１−１では、第４フレームメモリ３１ｄで投影する補正画像のドット位置毎の参照すべき低解像度コンテンツ画像上の座標を設定する。

次のステップＳ１１−２では、ドット以外についての参照すべき低解像度コンテンツ画像上の座標を、線形補間で計算する。

次のステップＳ１１−３では、参照すべき座標（小数点数）に従って、投影すべき低解像度コンテンツ画像から、バイリニア、バイキュービックなどの画素補間手法で第２プロジェクタ１０Ｂ用の第２補正画像を生成する。

結果として、外部メモリからの高解像度（第１プロジェクタ１０Ａの解像度と同じ解像度）のコンテンツ画像の画像データは、幾何歪みが補正され、かつ位置ずれが補正された状態（検出された幾何歪みが逆に変形され、かつ位置が合わせられた状態）で第１プロジェクタ１０Ａに送られ、対応する画像が第１プロジェクタ１０Ａからスクリーン面上に投影される。また、外部メモリからの高解像度（第１プロジェクタ１０Ａの解像度と同じ解像度）のコンテンツ画像の画像データは、低解像度化され、幾何歪みが補正され、かつ位置ずれが補正された状態で第２プロジェクタ１０Ｂに送られ、対応する画像が第２プロジェクタ１０Ｂからスクリーン面上に投影される。この結果、歪みが補正された２つの投影画像がスクリーン面上における同じ位置に同じ大きさで重ねて表示される。

以上説明した本実施形態の画像投影システム１００は、スクリーン面上に同一の画像を２つ重ねて投影する画像投影システムであって、前記画像をスクリーン面（被投影面）上に投影する、互いに解像度が異なる２つのプロジェクタ１０Ａ、１０Ｂと、前記画像に対応する画像データを各プロジェクタに該プロジェクタの解像度で出力するＰＣ３０（画像データ出力装置）と、を備えている。

この場合、各プロジェクタに該プロジェクタの解像度の画像データが出力されるため、該プロジェクタから該プロジェクタの解像度の画像がスクリーン面上に投影され、解像度が異なる同一の２つの画像がスクリーン面上で重ね合わされる。

この結果、異なる解像度のプロジェクタを組み合わせてスタック投影することができる。すなわち、スタック投影に用いられる複数のプロジェクタの組み合わせの自由度を高めることができる。

一方、従来、同じ解像度の複数のプロジェクタを組み合わせて、スタック投影を行っていた。しかしながら、例えば解像度が互いに異なる複数のプロジェクタを既に所有している場合でも、スタック投影を行うために、これら複数のプロジェクタのいずれかと解像度が同じプロジェクタを新たに購入する必要があった。また、例えばプロジェクタを既に所有していて新たなプロジェクタを追加購入する場合でも、スタック投影を行うために、解像度が同じものを選ぶ必要があった。すなわち、スタック投影を行うために用いられる複数のプロジェクタの組み合わせの自由度が低かった。

図１５（Ａ）及び１５（Ｂ）には、同じ解像度の２つのプロジェクタを用いてスタック投影した場合（比較例１及び比較例２）の投影画像が１次元で模式的に示されている。図１５（Ｃ）には、異なる解像度の２つのプロジェクタを用いてスタック投影した場合（本実施形態）の投影画像が１次元で模式的に示されている。横軸は水平画素座標を示し、縦軸は輝度値を示す。

比較例１及び比較例２では、同じ解像度の２つのプロジェクタを用いてスタック投影するため、投影画像が重なると明るさが２倍になり、位置合わせが正確であれば解像度は元の解像度と同じになる（図１５（Ａ）及び図１５（Ｂ）参照）。

一方、本実施形態では、高解像度プロジェクタと低解像度プロジェクタを用いてスタック投影するため、２つの高解像度のプロジェクタを組み合わせた場合より、解像度は低くなるが、２つの低解像度のプロジェクタを組み合わせた場合に比べ、解像度は高くなり、明るさの向上度合いも同等となる。

また、画像データの解像度は、２つプロジェクタ１０Ａ、１０Ｂのうち、解像度が最も高い第１プロジェクタ１０Ａの解像度に予め設定されており、ＰＣ３０は、画像データの解像度を、２つのプロジェクタのうち、第１プロジェクタ１０Ａ以外の第２プロジェクタ１０Ｂに出力する画像データの解像度を、第２プロジェクタ１０Ｂの解像度に変換する解像度変換部３３を有している。この場合、高解像度の第１プロジェクタ１０Ａと低解像度の第２プロジェクタ１０Ｂを用いて、高解像度の画像データに対応する画像をより高解像度で投影することができる。

また、ＰＣ３０は、解像度が２つのプロジェクタ１０Ａ、１０Ｂの解像度に個別に設定された２つのドットパターンＤＰ１、ＤＰ２の画像データを、対応する２つのプロジェクタ１０Ａ、１０Ｂに時系列で出力可能であり、画像投影システム１００は、２つのプロジェクタ１０Ａ、１０Ｂからスクリーン面上に時系列で投影された２つのドットパターンＤＰ１、ＤＰ２を撮像するデジタルカメラ２０（撮像手段）を更に備えている。この場合、デジタルカメラ２０で撮像された各ドットパターンに基づいて、画像データの補正情報（補正パラメータ）を取得することができる。

また、ＰＣ３０は、撮像された各ドットパターンの歪み情報に基づいて、対応するプロジェクタからスクリーン面に投影される画像の歪みを補正する歪み補正部を含む画像データ補正手段を有している。この場合、歪みが補正された画像をスクリーン面に投影することができる。

また、ＰＣ３０は、撮像された各ドットパターンの位置情報に基づいて、各プロジェクタからスクリーン面に投影される画像の位置ずれを補正する位置ずれ補正部を含む画像データ補正手段を有している。この場合、被投影面上に精度良く位置合わせされた画像を投影することができる。

なお、上記実施形態では、互いに解像度が異なる２つのプロジェクタからの画像が重ねてスクリーンＳ上に投影されているが、これに限らず、要は、互いに解像度が異なる複数のプロジェクタからの画像が重ねてスクリーンＳ上に投影されれば良い。いずれにしても、外部メモリからの画像データは、各プロジェクタに該プロジェクタの解像度で出力されることが好ましい。

また、上記実施形態では、解像度が高い第１プロジェクタの解像度と同じ解像度の画像データが外部メモリから読み出され、そのままの解像度で第１プロジェクタに送られるとともに低解像度化されて（第２プロジェクタの解像度と同じ解像度に変換されて）第２プロジェクタに送られているが、これに限られない。例えば、解像度が低い第２プロジェクタの解像度と同じ解像度の画像データが外部メモリから読み出され、そのままの解像度で第２プロジェクタに送られるとともに高解像度化されて（第１プロジェクタの解像度と同じ解像度に変換されて）第１プロジェクタに送られても良い。また、第１及び第２プロジェクタのいずれの解像度とも異なる解像度の画像データが外部メモリから読み出され、第１プロジェクタの解像度に変換されて第１プロジェクタに送られ、第２プロジェクタの解像度に変換されて第２プロジェクタに送られても良い。

また、上記実施形態では、被投影面は、一例として、吊り下げ型のスクリーンＳの表面とされたが、これに限らず、例えば、建造物の壁に固定されたスクリーンＳの表面、建造物の壁面、布の表面、パネルの表面、ボードの表面、自動車のフロントガラスの表面等とされても良い。

また、上記実施形態では、各ドットパターンでは、複数のドットは、マトリクス状に配列されているが、これに限らず、要は、２次元配列されていれば良い。

また、上記実施形態では、スクリーンＳに投影されるパターンは、ドットパターンとされているが、これに限られず、例えば、格子パターンであっても良い。この場合、例えばドットパターンの各ドットの代わりに、格子パターンの格子の交点を用いても良いし、格子パターンで囲まれる領域（格子の目）を用いても良い。

また、上記実施形態では、ドットパターンは、白地に複数の黒円（黒丸）で構成されているが、これに限らず、例えば、黒地に複数の白ドット（例えば白円、白楕円、白多角形等）、白地に複数の黒楕円、白地に複数の黒多角形等で構成されても良い。なお、本明細書では、パターンの地色よりも濃い色を黒ドット、薄い色を白ドッドと称している。すなわち、黒ドット及び白ドットには、ハーフトーンのドットも含まれる。

また、上記実施形態では、各プロジェクタに接続されるフラッシュメモリにドットパターンが格納されているが、これに限らず、例えば、各プロジェクタに接続されるパターン生成部を設けて、該パターン生成部で少なくとも１つのパターンを生成し、生成されたパターンを各プロジェクタに送るようにしても良い。

投影部１６の構成は、上述したものに限られず、適宜変更可能である。例えば、上記実施形態では、光源８０からの光をＤＭＤ９４で画像信号に応じて変調しているが、これに限らず、例えば、画像信号に応じて光源を変調駆動しても良い。この場合、ＤＭＤ９４に代えて、例えば２軸のＭＥＮＳスキャナ、２軸のガルバノスキャナ、複数のＭＥＭＳミラー、複数のガルバノミラー、透過型液晶パネル、反射型液晶パネル等を用いても良い。

また、上記実施形態では、画像データ出力装置として、ＰＣ３０が採用されているが、各プロジェクタに画像データを出力できる装置であれば、他の装置であっても良い。具体的には、例えばスマートフォン等のタブレット端末、ＤＶＤプレーヤー、ブルーレイプレーヤー、少なくとも画像データの送受信が可能なテレビ会議装置などが挙げられる。

また、上記実施形態では、ＰＣ３０は、外部メモリから画像データを読み込んで各プロジェクタに出力しているが、これに限らず、例えば内蔵ハードディスクドライブに記憶されている画像データ、インタネットで配信されている画像データを各プロジェクタに出力しても良い。

また、上記実施形態では、投影部は、短焦点型とされているが、短焦点型でなくても良い。この場合、屈折力を有するミラー（例えば上記自由曲面ミラー９８）に代えて、ＭＥＮＳミラー、ガルバノミラー等を用いても良い。

１０Ａ…第１プロジェクタ、１０Ｂ…第２プロジェクタ、２０…デジタルカメラ（撮像装置）、３０…ＰＣ（画像データ出力装置）、３３…解像度変換部、３４ａ…第１画像データ補正手段（画像データ補正手段）、３４ｂ…第２画像データ補正手段（画像データ補正手段）、ＤＰ１…ドットパターン（高解像度のパターン）、ＤＰ２…ドットパターン（低解像度のパターン）、Ｓ…スクリーン。

特許第３９０８２５５号公報

Claims (10)

1. 被投影面上に同一の画像を複数重ねて投影する画像投影システムであって、
   前記画像を前記被投影面上に投影する、互いに解像度が異なる複数のプロジェクタと、
   前記画像に対応する画像データを前記複数のプロジェクタそれぞれに該プロジェクタの解像度で出力する画像データ出力装置と、を備える画像投影システム。
2. 前記画像データの解像度は、前記複数のプロジェクタのうち、解像度が最も高い一のプロジェクタの解像度に予め設定されており、
   前記画像データ出力装置は、前記複数のプロジェクタのうち、前記一のプロジェクタ以外の他のプロジェクタに出力される前記画像データの解像度を、前記他のプロジェクタの解像度に変換する解像度変換部を有することを特徴とする請求項１に記載の画像投影システム。
3. 前記画像データ出力装置は、解像度が前記複数のプロジェクタの解像度に個別に設定された複数のパターンの画像データを、対応する前記複数のプロジェクタに時系列で出力可能であり、
   前記複数のプロジェクタから前記被投影面上に時系列で投影された前記複数のパターンを撮像する撮像装置を更に備えることを特徴とする請求項１又は２に記載の画像投影システム。
4. 前記画像データ出力装置は、撮像された前記パターンに基づいて、対応する前記プロジェクタに出力される前記画像データを補正する画像データ補正手段を含むことを特徴とする請求項３に記載の画像投影システム。
5. 前記画像データ補正手段は、撮像された前記パターンの歪み情報に基づいて、対応する前記プロジェクタに出力される前記画像データの歪みを補正する歪み補正部を有することを特徴とする請求項４に記載の画像投影システム。
6. 前記画像データ補正手段は、撮像された前記パターンの位置情報に基づいて、対応する前記プロジェクタに出力される前記画像データの位置ずれを補正する位置ずれ補正部を有することを特徴とする請求項４又は５に記載の画像投影システム。
7. 前記パターンは、２次元配列された複数のドットパターンを含むことを特徴とする請求項１〜６のいずれか一項に記載の画像投影システム。
8. 複数のプロジェクタから被投影面上に同一の画像を複数重ねて投影する画像投影方法であって、
   前記複数のプロジェクタは、解像度が互いに異なり、
   前記画像に対応する画像データを前記複数のプロジェクタそれぞれに該プロジェクタの解像度で出力する工程を含む画像投影方法。
9. 前記画像データの解像度は、前記複数のプロジェクタのうち、解像度が最も高い一のプロジェクタの解像度に予め設定されており、
   前記出力する工程は、前記複数のプロジェクタのうち、前記一のプロジェクタ以外の他のプロジェクタに出力される前記画像データの解像度を前記他のプロジェクタの解像度に変換するサブ工程を含むことを特徴とする請求項８に記載の画像投影方法。
10. 前記出力する工程は、
    解像度が前記複数のプロジェクタの解像度に個別に設定された複数のパターンの画像データを、対応する前記複数のプロジェクタに時系列で出力するサブ工程と、
    前記複数のプロジェクタから前記被投影面上に時系列で投影された前記複数のパターンを撮像するサブ工程と、
    撮像された前記パターンに基づいて、対応する前記プロジェクタに出力される前記画像データを補正するサブ工程と、を含むことを特徴とする請求項８又は９に記載の画像投影方法。