JP6458396B2 - 画像処理システム、及び画像投影装置 - Google Patents

Description

本発明は、画像処理システム、及び画像投影装置に関する。

マルチプロジェクション（マルチ投影）は、複数のプロジェクタ（画像投影装置）を用いて大画面を投影する技術であり、単一のディスプレイを用いて大画面を表示する場合と比べて、安価に大画面を実現することができるというメリットがある。

これに関連する技術として、複数のプロジェクタと複数のステレオカメラを用いて、二次曲線スクリーンに複数のプロジェクタからの映像を任意の始点から歪なく見せる統合装置が知られている（例えば、特許文献１参照）。

特許文献１に開示された技術は、複数のステレオカメラを用いるためコスト面で不利であり、また、複数のプロジェクタと複数のステレオカメラとが別システムになっているため、システムの設置や、設定等に困難を伴っていた。

本発明の実施の形態は、上記問題点に鑑みてなされたものであって、複数の画像投影装置を用いて所定の画像を投影する画像処理システムにおいて、システムのコストを抑制しつつ、設置、設定等を容易にする画像処理システムを提供することを目的とする。

上記課題を解決するため、本発明の一実施形態に係る画像処理システムは、複数の画像投影装置を用いて投影面に所定の画像を投影する画像処理システムであって、前記複数の画像投影装置の各々は、前記投影面に画像を投影する投影手段と、前記投影手段に対して所定の位置に設けられ、前記投影面に投影された画像を撮影する撮影手段と、前記投影手段と前記撮影手段とによる３次元計測の計測パラメータを予め記憶した記憶手段と、を有し、前記画像処理システムは、前記複数の画像投影装置の前記投影手段による投影と、前記複数の画像投影装置の前記撮影手段による撮影とを制御する制御手段と、前記制御によって撮影された画像と、前記複数の画像投影装置の前記記憶手段に予め記憶された前記３次元計測の計測パラメータとに基づいて、前記複数の画像投影装置の各々に対する前記投影面の３次元位置を計測する計測手段と、前記計測された複数の３次元位置を統合する統合手段と、を有し、前記統合された前記投影面の３次元位置に基づいて、前記投影面に前記所定の画像を投影し、前記画像投影装置の各々は、予め測定又は計算された前記３次元計測の計測パラメータを工場出荷前に前記記憶手段に記憶していることを特徴とする。

本発明の実施の形態によれば、複数の画像投影装置を用いて所定の画像を投影する画像処理システムにおいて、システムのコストを抑制しつつ、設置、設定等を容易にする画像処理システムを提供することができる。

一実施形態に係る画像処理システムの構成例を示す図である。 一実施形態に係るプロジェクタのハードウェア構成例を示す図である。 一実施形態に係るＰＣのハードウェア構成例を示す図である。 第１の実施形態に係る画像処理システムの機能構成図である。 第１の実施形態に係る校正用画像の撮影処理の流れを示すフローチャートである。 第１の実施形態に係る校正用画像の撮影について説明するための図である。 第１の実施形態に係る校正処理の一例のフローチャートである。 第１の実施形態に係る記号の定義について説明するための図である。 第１の実施形態に係る３次元座標の算出について説明するための図である。 第１の実施形態に係る合成されたパターン画像の例を示す図である。 第１の実施形態に係る画像投影処理の一例のフローチャートである。 第１の実施形態に係る画像処理システムの接続形態の例を示す図である。 第２の実施形態に係る画像処理システムの機能構成図である。 第２の実施形態に係る校正処理の一例のフローチャートである。 第２の実施形態に係る画像投影処理の一例のフローチャートである。 第３の実施形態に係る画像処理システムの機能構成図である。 第３の実施形態に係る校正用画像の撮影処理の例を示すフローチャートである。 第３の実施形態に係る校正処理の例を示すフローチャートである。 第３の実施形態に係る画像処理の例を示すフローチャートである。 第３の実施形態に係る画像処理システムの接続形態の例を示す図である。 第４の実施形態に係る画像処理システムの構成例を示す図である。 第４の実施形態に係る投影画像が生成される領域について説明するための図である。

以下に、本発明の実施の形態について、添付の図面を参照して説明する。

＜システムの構成＞
図１は一実施形態に係る画像処理システムの構成例を示す図である。画像処理システム１００は、複数のプロジェクタ（画像投影装置）１０１−１、１０１−２、１０１−３、及びＰＣ（Personal Computer）１０２等を有する。尚、以下の説明の中で、複数のプロジェクタ１０１−１〜１０１−３のうちの任意のプロジェクタを示す場合「プロジェクタ１０１」を用いる。また、複数のプロジェクタ１０１−１〜１０１−３の数は一例であって、２台以上の他の数であっても良い。

プロジェクタ１０１は、投影面１０４に投影画像を投影する投影手段１０５と、投影手段１０５に対して所定の位置に設けられ、投影面１０４に投影された投影画像を撮影する撮影手段１０６とを有する。好ましくは、プロジェクタ１０１は、投影手段１０５と撮影手段１０６とによる３次元計測の計測パラメータを予め記憶した記憶手段を有する。

また、プロジェクタ１０１−１は、例えば図１に示すように、プロジェクタ１０１−１の投影領域１０３−１が、プロジェクタ１０１−２の投影領域１０３−２の一部と重複するように配置されている。同様に、プロジェクタ１０１−３は、図１に示すように、プロジェクタ１０１−３の投影領域１０３−３が、プロジェクタ１０１−２の投影領域１０３−２の一部と重複するように配置されている。つまり、複数のプロジェクタ１０１−１〜１０１−３の各々は、隣接するプロジェクタ１０１と投影領域の少なくとも一部が重複するように配置されている。この配置で、各プロジェクタ１０１は、他のプロジェクタ１０１と協働して投影面１０４に投影対象となる所定の画像を投影する。

ＰＣ１０２は、複数のプロジェクタ１０１−１〜１０１−３と、例えば、有線／無線ＬＡＮ（Local Area Network）、近距離無線、ＨＤＭＩ（登録商標）、ＵＳＢ（Universal Serial Bus）等を用いて接続され、制御信号や、画像データ等の送受信が可能である。ＰＣ１０２は、複数のプロジェクタ１０１−１〜１０１−３を用いて、例えば、各プロジェクタ１０１の投影領域よりも大きい投影画面を投影面１０４に投影するマルチプロジェクション（マルチ投影）の制御を行う。

上記構成において、ＰＣ１０２は、複数のプロジェクタ１０１−１〜１０１−３による画像の投影と、投影された画像の撮影を制御する。また、ＰＣ１０２は、撮影した画像と、各プロジェクタ１０１が予め記憶した３次元計測の計測パラメータとに基づいて、各プロジェクタ１０１に対する投影面１０４の３次元位置を算出する。さらに、ＰＣ１０２は、算出された各プロジェクタ１０１に対する投影面１０４の３次元位置を１つの座標系に統合する。

また、ＰＣ１０２は、統合した投影面１０４の３次元位置に基づいて、各プロジェクタ１０１の画像処理パラメータを算出し、算出したパラメータを各プロジェクタ１０１に通知する。各プロジェクタ１０１は、通知された画像処理パラメータに基づいて、投影対象となる所定の画像に画像処理（例えば、投影部分の切出し、変形、明るさ調整等）を行い、画像処理後の画像を投影面１０４に投影する。

上記処理により、投影対象となる所定の画像が投影面１０４にマルチ投影される。

このように、本実施形態に係る画像処理システム１００は、各プロジェクタ１０１の投影手段１０５、撮影手段１０６、及び予め記憶された３次元計測の計測パラメータに基づいて、各プロジェクタ１０１に対する投影面１０４の３次元位置を算出する。また、画像処理システム１００は、各プロジェクタに対する投影面１０４の３次元位置を１つの座標系に統合することにより、投影面１０４の３次元位置を特定する。

これにより、本実施形態に係る画像処理システム１００は、ステレオカメラや、投影面１０４全体を撮影可能な広角で高解像度なカメラ等の高価な撮影手段、及びカメラの設定、調整等の作業によらずに、投影面１０４の３次元位置を特定することができる。従って、本実施形態に係る画像処理システム１００によれば、複数のプロジェクタ（画像投影装置）１０１を用いて所定の画像を投影する画像処理システム１００において、システムのコストを抑制しつつ、設置、設定等を容易にすることができる。

尚、図１のシステム構成はあくまで一例であり、本発明の範囲を限定するものではない。例えば、画像処理システム１００は、複数のプロジェクタ１０１の投影画像を重ね合わせて、各プロジェクタ１０１の投影画面よりも明るい高輝度画面を投影するスタック投影を行うものであっても良い。

また、各プロジェクタ１０１の投影手段１０５と撮影手段１０６とによる３次元計測の計測パラメータは、例えば、ＰＣ１０２、外部サーバ、外部記憶装置等が予め記憶しているものであっても良い。

さらに、ＰＣ１０２の機能は、専用の制御装置等で実現されるものであっても良いし、１つ以上のプロジェクタ１０１によって実現されるものであっても良い。

＜ハードウェア構成＞
（プロジェクタのハードウェア構成）
図２は、一実施形態に係るプロジェクタのハードウェア構成例を示す図である。プロジェクタ１０１は、一般的なコンピュータの構成を含み、例えば、ＣＰＵ（Central Processing Unit）２０１、メモリ２０２、ストレージ部２０３、通信Ｉ／Ｆ（Interface）２０４、外部Ｉ／Ｆ２０５、光源２０６、表示素子２０７、投影レンズ２０８、モーター２０９、撮像レンズ２１０、撮像素子２１１、バス２１２等を有する。また、プロジェクタ１０１は、画像処理を高速化する画像処理部２１等を有していても良い。

ＣＰＵ２０１は、メモリ２０２やストレージ部２０３等からプログラムやデータを読出し、処理を実行することでプロジェクタ１０１が備える各機能を実現する演算装置である。メモリ２０２は、例えば、ＣＰＵ２０１のワークエリア等として使用されるＲＡＭ（Random Access Memory）や、プロジェクタ１０１の起動プログラム等を格納するＲＯＭ（Read Only Memory）等を含む。

ストレージ部２０３は、プロジェクタ１０１のプログラムや、各種データ等を記憶する記憶手段であり、例えば、フラッシュＲＯＭや、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）等で構成される。

通信Ｉ／Ｆ２０４は、他のプロジェクタ１０１や、ＰＣ１０２等と通信を行うためのインタフェースであり、例えば、有線／無線ＬＡＮ、近距離無線通信、ＬＴＥ（Long Term Evolution）等の通信インタフェースを含む。

外部Ｉ／Ｆ２０５は、他のプロジェクタ１０１や、ＰＣ１０２等との画像データ等の送受信を行うためのインタフェースである。外部Ｉ／Ｆ２０５は、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ等のインタフェースを含む。

光源２０６は、プロジェクタ１０１が画像を投影するための光源であり、例えば、ランプ、レーザー、ＬＥＤ（Light Emitting Diode）等の光源を含む。

表示素子２０７は、例えば、ＤＭＤ（Digital Mirror Device）２１４、カラーホイール２１５等を含む。ＤＭＤ２１４は、多数の微小鏡面（マイクロミラー）を平面に配置した表示素子である。カラーホイール２１５は、例えば、赤青、緑の３色に色分けされた円板等を高速で回転させ、透過させることにより色づけを行う。

光源２０６から出た光は、投影対象の画像によって、画素毎にその向きが制御されるＤＭＤ２１４で反射し、カラーホイール２１５で色づけされ、投影レンズ２０８を通して投影面１０４に照射されて像を結ぶ。モーター２０９は、投影レンズ２０８を駆動するモーターで、ズーム、フォーカス等の調整を行う。尚、ＤＭＤ２１４及びカラーホイール２１５は、表示素子２０７の一例である。表示素子２０７は、例えば、ＬＣＤ（Liquid Crystal Display）等の他の表示素子であっても良い。

投影面１０４に投影された画像は、撮像レンズ２１０及び撮像素子２１１によって撮像され、撮像された画像はメモリ２０２、ストレージ部２０３等に記憶される。

また、プロジェクタ１０１は、プロジェクタ１０１が投影する画像の画像処理を行うための画像処理部２１３を有していても良い。画像処理部２１３は、例えば、画像処理用のプロセッサ、ＤＳＰ（Digital Signal Processor）、又は専用のハードウェア等によって実現される。また、プロジェクタ１０１は、画像処理部２１３を有さずに、例えば、ＣＰＵ２０１で動作するプログラムによって、投影する画像の画像処理を行うものであっても良い。

バス２１２は、上記各構成に接続され、アドレス信号、データ信号、各種制御信号等を伝達する。

（ＰＣのハードウェア構成）
図３は、一実施形態に係るＰＣのハードウェア構成例を示す図である。ＰＣ１０２は、一般的なコンピュータの構成を有しており、例えば、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ストレージ部３０４、通信Ｉ／Ｆ３０５、外部Ｉ／Ｆ３０６、表示装置３０７、入力装置３０８、バス３０９等を有する。

ＣＰＵ３０１は、ＲＯＭ３０３やストレージ部３０４等からプログラムやデータをＲＡＭ３０２上に読み出し、処理を実行する演算装置である。ＲＡＭ３０２は、ＣＰＵ３０１のワークエリア等として用いられる不揮発性のメモリである。ＲＯＭ３０３は、例えば、ＰＣ１０２の起動時に実行されるＢＩＯＳ（Basic Input / Output System）や、各種の設定等を記憶する不揮発性のメモリであり、例えば、フラッシュＲＯＭ等で構成される。

ストレージ部３０４は、例えば、ＯＳ（Operating System）、アプリケーションプログラム、各種データ等を記憶する不揮発性の記憶装置であり、例えば、ＨＤＤ、ＳＳＤ等で構成される。

通信Ｉ／Ｆ３０５は、ＰＣ１０２を複数のプロジェクタ１０１−１〜１０１−３に接続して、通信を行うためのインタフェースあり、例えば、有線／無線ＬＡＮ、近距離無線通信、ＬＴＥ（Long Term Evolution）等の通信インタフェースを含む。

外部Ｉ／Ｆ３０６は、複数のプロジェクタ１０１−１〜１０１−３等との画像データ等の送受信を行うためのインタフェースである。外部Ｉ／Ｆ３０６は、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ等のインタフェースを含む。

表示装置３０７は、例えば、ＬＣＤディスプレイ等により実現され、ＰＣ１０２による処理結果等を表示する。入力装置３０８は、例えば、キーボード、マウス、タッチパネル等により実現され、ＰＣ１０２に各操作信号を入力するために用いられる。バス３０９は、上記各構成に接続され、アドレス信号、データ信号、及び各種制御信号等を伝達する。

＜機能構成＞
［第１の実施形態］
図４は、第１の実施形態に係る画像処理システムの機能構成図である。

（プロジェクタの機能構成）
図４において、複数のプロジェクタ１０１−１〜１０１−３は同様の構成を有しているものとする。各プロジェクタ１０１は、投影手段１０５、撮影手段１０６、記憶手段４０１、画像処理手段４０２、通信手段４０３等を有する。

投影手段１０５は、投影面１０４に画像を投影するための手段であり、例えば、図２の光源２０６、表示素子２０７、投影レンズ２０８等を含む。

撮影手段１０６は、投影面１０４に投影された画像を撮影するための手段であり、例えば、図２の撮像レンズ２１０、撮像素子２１１等を含む。本実施形態では、撮影手段１０６は、投影手段１０５に対して所定の位置に設けられている。また、撮影手段１０６は、投影手段１０５が投影面１０４に投影した画像を撮影できるものであれば、投影面１０４の全体を撮影できなくても良い。尚、本実施形態では、撮影手段１０６として単眼カメラを想定しているが、本発明の範囲を限定するものではない。

記憶手段４０１は、投影手段１０５と撮影手段１０６とによる３次元計測の計測パラメータを予め記憶した記憶手段であり、例えば、図２のストレージ部２０３、メモリ２０２等に含まれる。尚、３次元計測の計測パラメータについては後述する。

画像処理手段４０２は、例えば、記憶手段４０１に記憶した画像処理パラメータ、又はＰＣ１０２や他のプロジェクタ１０１等から通知された画像処理パラメータを用いて、プロジェクタ１０１が投影する画像に画像処理（加工）を行う手段である。画像処理手段４０２は、例えば、図２の画像処理部２１３や、図２のＣＰＵ２０１で動作するプログラム等によって実現される。

通信手段４０３は、ＰＣ１０２や、他のプロジェクタ１０１等と制御データ、画像データ等の送受信を行うための手段であり、例えば、図２の通信Ｉ／Ｆ２０４、外部Ｉ／Ｆ２０５等を含む。

上記構成により、プロジェクタ１０１は、投影手段１０５により投影面１０４に画像を投影し、また、投影された投影画像を撮影手段１０６により撮影することができる。また、撮影手段１０６は、投影手段１０５に対して所定の位置に設けられており、記憶手段４０１には、投影手段１０５と撮影手段１０６による３次元計測の計測パラメータが記憶されている。これにより、画像処理システム１００は、投影手段１０５と撮影手段１０６と記憶手段４０１に予め記憶された計測パラメータとに基づいて、プロジェクタ１０１に対する投影面１０４の３次元位置（例えば、座標）を計測することができる。

（ＰＣの機能構成）
ＰＣ１０２は、制御手段４０４、３次元位置計測手段４０５、３次元位置統合手段４０６、パラメータ算出手段４０７、通信手段４０８、記憶手段４０９等を有する。

制御手段４０４は、複数のプロジェクタ１０１−１〜１０１−３による画像の投影と、複数のプロジェクタ１０１−１〜１０１−３による投影面１０４に投影された画像の撮影を制御する。また、制御手段４０４は、複数のプロジェクタ１０１−１〜１０１−３を用いて、投影面１０４に所定の画像（例えば、大画面の画像）を投影する制御を行う。

３次元位置計測手段（計測手段）４０５は、制御手段４０４の制御によって撮影された複数の画像と、各プロジェクタ１０１の記憶手段４０１に予め記憶された計測パラメータとに基づいて、各プロジェクタ１０１に対する投影面１０４の３次元位置を計測する。記憶手段４０１に予め記憶された計測パラメータは、例えば、投影手段１０５と撮影手段１０６とによる三角測量の基線長に対応する情報を含み、３次元位置計測手段４０５は、この基線長に対応する情報に基づいて投影面１０４の３次元座標を計測する。

３次元位置統合手段（統合手段）４０６は、３次元位置計測手段４０５によって計測された複数の３次元位置を統合する。例えば、３次元位置統合手段４０６は、各プロジェクタ１０１に対する投影面１０４の３次元位置を１つの座標系に統合する。

パラメータ算出手段（算出手段）４０７は、３次元位置統合手段４０６によって統合された投影面１０４の３次元位置に基づいて、各プロジェクタ１０１が投影する画像の画像処理パラメータ（補正パラメータ）を算出する。

通信手段４０８は、パラメータ算出手段４０７によって算出された画像処理パラメータを各プロジェクタ１０１に送信する手段であり、例えば、図３の通信Ｉ／Ｆ３０５、外部Ｉ／Ｆ３０６等を含む。また、通信手段４０８は、各プロジェクタ１０１に対する制御コマンドの送受信、各プロジェクタ１０１が撮影した画像の受信、及び各プロジェクタ１０１への投影対象となる画像の送信等も行う。

記憶手段４０９は、例えば、制御手段４０４の制御により各プロジェクタ１０１が撮影した複数の画像、３次元位置統合手段４０６が統合した投影面１０４の３次元位置、パラメータ算出手段４０７が算出した画像処理パラメータ等の各種情報を記憶する。

尚、制御手段４０４、３次元位置計測手段４０５、３次元位置統合手段４０６、パラメータ算出手段４０７、記憶手段４０９等は、例えば、図３のＣＰＵ３０１等で動作するプログラムによって実現される。

＜処理の流れ＞
（校正用画像の撮影処理）
図５は、第１の実施形態に係る校正用画像の撮影処理の流れを示すフローチャートである。画像処理システム１００は、例えば、ＰＣ１０２に対するユーザ操作等に応じて、校正用の画像の撮影処理を開始する。

尚、撮影処理を開始する前に、複数のプロジェクタ１０１−１〜１０１−３は、例えば、図１に示すように、隣接したプロジェクタ１０１の投影領域の一部が重複するように配置されているものとする。また、複数のプロジェクタ１０１−１〜１０１−３の位置関係、例えば、左からプロジェクタ１０１−１、プロジェクタ１０１−２、プロジェクタ１０１−３の順に並べられていること等は、予め設定又は検知されているものとする。

画像処理システム１００の校正用の画像の撮影処理が開始すると、ＰＣ１０２は、複数のプロジェクタ１０１−１〜１０１−３に、校正用画像の撮影処理の開始を指示する第１撮影指示を送信する（ステップＳ５０１）。

第１撮影指示に応じて、プロジェクタ１０１−１は、校正用のパターン画像を投影し（ステップＳ５０２）、プロジェクタ１０１−２、１０１−３は、光源２０６を消灯する（ステップＳ５０３、Ｓ５０４）。

このときに、投影面１０４に投影されるパターン画像の例を図６（ａ）に示す。パラメータの補正に使用するパターン画像としては様々なものがあるが、ここでは、図６（ａ）に示すような、円形パターンを縦横に並べたパターン画像６０１を用いるものとする。

図６（ａ）の状態で、プロジェクタ１０１−１は、プロジェクタ１０１−１の投影手段１０５によってパターン画像６０１が投影された投影面１０４を撮影する（ステップＳ５０５）。このとき、プロジェクタ１０１−１が撮影した画像には、プロジェクタ１０１−１が投影したパターン画像６０１が含まれる。プロジェクタ１０１−１は、ステップＳ５０５で撮影した画像をＰＣ１０２に送信する（ステップＳ５０６）。

また、プロジェクタ１０１−２は、プロジェクタ１０１−１の投影手段１０５によってパターン画像６０１が投影された投影面を撮影する（ステップＳ５０７）。このとき、プロジェクタ１０１−１が撮影した画像には、プロジェクタ１０１−１が投影したパターン画像６０１のうち、プロジェクタ１０１−１とプロジェクタ１０１−１の共通領域６０２の校正パターンが含まれる。プロジェクタ１０１−２は、ステップＳ５０７で撮影した画像をＰＣ１０２に送信する（ステップＳ５０８）。尚、このとき、プロジェクタ１０１−３の撮影エリアには校正用のパターン画像６０１が含まれないので、プロジェクタ１０１−３は、投影面１０４の撮影を行わなくても良い。

ＰＣ１０２は、プロジェクタ１０１−１及びプロジェクタ１０１−２から画像を受信すると（ステップＳ５０９）、複数のプロジェクタ１０１−１〜１０１−３に、第２撮影指示を送信する（ステップＳ５１０）。

第２撮影指示に応じて、プロジェクタ１０１−２は、校正用のパターン画像を投影し（ステップＳ５１２）、プロジェクタ１０１−１、１０１−３は、光源２０６を消灯する（ステップＳ５１１、Ｓ５１３）。

このときに、投影面１０４に投影されるパターン画像の例を図６（ｂ）に示す。図６（ｂ）の状態で、プロジェクタ１０１−１は、プロジェクタ１０１−２の投影手段１０５によってパターン画像６０１が投影された投影面１０４を撮影する（ステップＳ５１４）。このとき、プロジェクタ１０１−１が撮影した画像には、プロジェクタ１０１−２が投影したパターン画像６０１のうち、プロジェクタ１０１−１とプロジェクタ１０１−１の共通領域６０２の校正パターンが含まれる。プロジェクタ１０１−１は、ステップＳ５１４で撮影した画像をＰＣ１０２に送信する（ステップＳ５１５）。

また、プロジェクタ１０１−２は、プロジェクタ１０１−２の投影手段１０５によってパターン画像６０１が投影された投影面を撮影する（ステップＳ５１６）。このとき、プロジェクタ１０１−２が撮影した画像には、プロジェクタ１０１−２が投影したパターン画像６０１が含まれる。プロジェクタ１０１−２は、ステップＳ５１６で撮影した画像をＰＣ１０２に送信する（ステップＳ５１７）。

さらに、プロジェクタ１０１−３は、プロジェクタ１０１−２の投影手段１０５によってパターン画像６０１が投影された投影面１０４を撮影する（ステップＳ５１８）。このとき、プロジェクタ１０１−３が撮影した画像には、プロジェクタ１０１−２が投影したパターン画像６０１のうち、プロジェクタ１０１−２とプロジェクタ１０１−３の共通領域６０３の校正パターンが含まれる。プロジェクタ１０１−３は、ステップＳ５１８で撮影した画像をＰＣ１０２に送信する（ステップＳ５１９）。

ＰＣ１０２は、プロジェクタ１０１−１〜１０１−３から画像を受信すると（ステップＳ５２０）、複数のプロジェクタ１０１−１〜１０１−３に、第３撮影指示を送信する（ステップＳ５２１）。

第３撮影指示に応じて、プロジェクタ１０１−１、１０１−２は、光源２０６を消灯し（ステップＳ５２２、Ｓ５２３）、プロジェクタ１０１−３は、校正用のパターン画像を投影する（ステップＳ５２４）。

このときに、投影面１０４に投影されるパターン画像の例を図６（ｃ）に示す。図６（ｃ）の状態で、プロジェクタ１０１−２は、プロジェクタ１０１−３の投影手段１０５によってパターン画像６０１が投影された投影面１０４を撮影する（ステップＳ５２５）。このとき、プロジェクタ１０１−２が撮影した画像には、プロジェクタ１０１−３が投影したパターン画像６０１のうち、プロジェクタ１０１−２とプロジェクタ１０１−３の共通領域６０３の校正パターンが含まれる。プロジェクタ１０１−２は、ステップＳ５２５で撮影した画像をＰＣ１０２に送信する（ステップＳ５２６）。

また、プロジェクタ１０１−３は、プロジェクタ１０１−３の投影手段１０５によってパターン画像６０１が投影された投影面を撮影する（ステップＳ５２７）。このとき、プロジェクタ１０１−３が撮影した画像には、プロジェクタ１０１−３が投影したパターン画像６０１が含まれる。プロジェクタ１０１−３は、ステップＳ５２７で撮影した画像をＰＣ１０２に送信する（ステップＳ５２８）。尚、このとき、プロジェクタ１０１−１の撮影エリアには校正用のパターン画像６０１が含まれないので、プロジェクタ１０１−１は投影面１０４の撮影を行わなくても良い。

ＰＣ１０２は、プロジェクタ１０１−１、１０２−３から画像を受信し（ステップＳ５２９）、校正用の画像の撮影処理を終了する。

（校正処理）
画像処理システム１００は、校正用の画像の撮影処理が終了すると、校正処理を行う。

図７は、第１の実施形態に係る校正処理の一例のフローチャートである。

校正処理を開始すると、３次元位置計測手段４０５は、図５の処理で取得した画像と、各プロジェクタ１０１が予め記憶している計測パラメータとに基づいて、各プロジェクタ１０１に対する投影面１０４の３次元位置（座標）を算出する（ステップＳ７０１）。尚、３次元位置の算出方法については後述する。

次に、３次元位置統合手段４０６は、隣接するプロジェクタの座標系の対応関係を算出する（ステップＳ７０２）。例えば、３次元位置統合手段４０６は、プロジェクタ１０１−１の座標系とプロジェクタ１０１−２の座標系の対応関係を算出する。また、３次元位置統合手段４０６は、プロジェクタ１０１−２の座標系とプロジェクタ１０１−３の座標系の対応関係を算出する。

さらに、ＰＣ１０２の３次元位置統合手段４０６は、ステップＳ８０２で算出された対応関係に基づいて、投影面１０４の複数の３次元位置を１つの座標系に統合する（ステップＳ７０３）。

続いて、パラメータ算出手段４０７は、ステップＳ８０３で統合された３次元位置に基づいて、複数のプロジェクタ１０１−１〜１０１−３の各々が投影する画像の画像処理パラメータを算出する（ステップＳ７０４）。また、ＰＣ１０２は、算出された画像処理パラメータを、通信手段４０８を介して、複数のプロジェクタ１０１−１〜１０１−３に送信する（ステップＳ７０５）。

複数のプロジェクタ１０１−１〜１０１−３は、受信した画像処理パラメータをそれぞれ記憶手段４０１に記憶し（ステップＳ７０６〜Ｓ７０８）、校正処理を終了する。

（３次元座標の計測について）
ここで、３次元位置計測手段４０５による３次元位置の計測について説明する。また、説明に先立って記号の定義を行う。

図８は、第１の実施形態に係る記号の定義について説明するための図である。

図８（ａ）において、プロジェクタ１０１−１の系で３次元計測する各円形パターンの重心の３次元座標のうち、プロジェクタ１０１−１でのみ撮影される点の座標群をＰ１ｓ（ｉ）とする。また、プロジェクタ１０１−１の系で３次元計測する各円形パターンの重心の３次元座標のうち、プロジェクタ１０１−１、及び１０１−２で共に撮影される共通領域６０２の点の座標群をＰ１ｍ（ｊ）とする。

また、図７（ｂ）において、プロジェクタ１０１−２の系で３次元計測する各円形パターンの重心の３次元座標のうち、プロジェクタ１０１−２でのみ撮影される点の座標群をＰ２ｓ（ｋ）とする。また、プロジェクタ１０１−２の系で３次元計測するパターンの重心の３次元座標のうち、プロジェクタ１０１−１、１０１−２で共に撮影される共通領域６０３の点の座標群をＰ２ｍ（ｌ）とする。

さらに、図７（ａ）において、プロジェクタ１０１−１で投影された共通領域６０２の点の座標群をプロジェクタ１０１−２の座標系で表現したものをＰ２ｍ（ｊ）とする。同様に、図８（ｂ）において、プロジェクタ１０１−２で投影された共通領域６０２の点の座標群をプロジェクタ１０１−１の座標系で表現したものをＰ１ｍ（ｌ）とする。

つまり、Ｐ１ｍ（ｊ）とＰ２ｍ（ｊ）は、同一の点群を異なる座標系で表現したものであり、Ｐ１ｍ（ｌ）とＰ２ｍ（ｌ）も、同一の点群を異なる座標系で表現したものである。

３次元位置計測手段４０５は、プロジェクタ１０１の投影手段１０５が投影したパターン画像を、プロジェクタ１０１の撮影手段１０６が撮影した画像を用いて、プロジェクタ１０１に対する投影面１０４の３次元位置を算出（計測）する。例えば、３次元位置計測手段４０５は、プロジェクタ１０１−１の投影手段１０５が投影したパターン画像を、プロジェクタ１０１−１の撮影手段が撮影した画像を用いて、上記のＰ１ｓ（ｉ）、Ｐ１ｍ（ｊ）を求める。尚、投影面１０４に投影されたパターン画像の３次元座標は、投影面１０４の３次元位置を示す情報の一例である。

パターン画像の３次元座標は、プロジェクタ１０１−１の投影手段１０５からの投影光と、投影面からの反射光を撮影手段１０６で受光する角度の差により三角測量により求めることができる。尚、ここでは、座標原点をプロジェクタ１０１−１の中心に置き、投影手段１０５の視線中心の向きをｚ軸とする座標系で３次元座標を表現するものとする。

同様にして、プロジェクタ１０１−２の投影手段１０５が投影したパターン画像を、プロジェクタ１０１−２の撮影手段１０６が撮影した画像を用いて、プロジェクタ１０１−２に対する投影面１０４の３次元座標であるＰ２ｓ（ｋ）、Ｐ２ｍ（ｌ）を求める。このとき、座標原点はプロジェクタ１０１−２の中心に置き、投影手段１０５の視線中心の向きをｚ軸とした座標系とする。

さらに、同様の手法により、他のプロジェクタ１０１、例えば、プロジェクタ１０１−３に対する投影面１０４の３次元座標も算出する。尚、この段階では、各プロジェクタ１０１が投影した校正パターンの間の座標関係は不明である。

図９は、第１の実施形態に係る３次元座標の算出について説明するための図である。プロジェクタ１０１の記憶手段４０１には、プロジェクタ１０１の投影手段１０５と撮影手段１０６とによる３次元計測の計測パラメータが予め記憶されている。この計測パラメータには、例えば、投影光学系の内部パラメータ、撮影光学系の内部パラメータ、及び投影手段１０５と撮影手段１０６の外部パラメータ等が含まれる。

例えば、投影光学系の内部パラメータとして、表示素子２０７と投影レンズ２０８との間の距離、投影するパターン画像の各円形パターンと表示素子２０７上の物理的な位置との関係等を、予め実測等により求め、記憶手段４０１に記憶しておく。

また、撮影光学系の内部パラメータとして、撮像レンズ２１０と撮像素子２１１との距離や、撮影した画像の座標と撮像素子２１１上の物理的な位置との関係等を、予め実測等により求め、記憶手段４０１に記憶しておく。

さらに、外部パラメータとして、表示素子２０７と撮像素子２１１との間の距離等の三角測量の基線長に対応する情報を、予め実測等により求め、記憶手段４０１に記憶しておく。

３次元位置計測手段４０５は、記憶手段４０１に記憶した投影光学系の内部パラメータ、撮像光学系の内部パラメータ、及び三角測量の基線長に対応する情報に基づいて、プロジェクタ１０１に対する投影面１０４の３次元座標を計測する。

投影面１０４までの距離は、表示素子２０７から投影レンズ２０８の中心を通る光線と、その反射光が撮像レンズ２１０の中心を通って撮像素子２１１に至る光線と、表示素子２０７と撮像素子２１１との間の線と、の三角形により計測することができる。例えば、パターン画像の円形パターンの重心の表示素子２０７上の位置と、対応する円形パターンの重心の撮像素子２１１上の位置と、上記の基線長に対応する情報と、を用いた三角測量により、投影面１０４までの距離を計測することができる。

本実施形態では、投影手段１０５に対して所定の位置に撮影手段１０６が設けられているので、３次元測量の計測パラメータを予め測定又は計算して、例えば、工場出荷前等に、プロジェクタ１０１の記憶手段４０１に記憶しておくことができる。

（３次元位置の統合について）
３次元位置統合手段４０６は、隣接するプロジェクタ１０１で共通に撮影される校正パターン、例えば、図８のＰ１ｍ（ｊ）及びＰ２ｍ（ｊ）、及びＰ１ｍ（ｌ）及びＰ２ｍ（ｌ）等を用いて、隣接するプロジェクタ１０１間の座標系の対応関係を算出する。

例えば、図８（ａ）のＰ１ｍ（ｊ）をプロジェクタ１０１−２の座標系表現であるＰ２ｍ（ｊ）で表す場合について考える。この場合、プロジェクタ１０１−１が投影したパターンＰ１ｍ（ｊ）を、プロジェクタ１０１−１で撮影した画像と、プロジェクタ１０１−２とで撮影した画像とを用いて、ＳｆＭ（Structure from Motion）により算出することができる。ＳｆＭは、多視点から撮影した画像を用いてシーンの３次元構造を推定する公知技術である（例えば、非特許文献１参照）。これにより、プロジェクタ１０１−１が投影した図８（ａ）のＰ１ｍ（ｊ）をプロジェクタ１０１−２の座標系表現であるＰ２ｍ（ｊ）で表すことができる。

同様に、図８（ｂ）のＰ２ｍ（ｌ）をプロジェクタ１０１−１の座標系表現であるＰ１ｍ（ｌ）で表す場合について考える。この場合、プロジェクタ１０１−２が投影したパターンＰ２ｍ（ｌ）を、プロジェクタ１０１−１及び１０１−２が撮影した画像より、ＳｆＭにより、Ｐ１ｍ（ｌ）を算出することができる。これにより、プロジェクタ１０１−２が投影した図８（ｂ）のＰ２ｍ（ｌ）をプロジェクタ１０１−１の座標系表現であるＰ１ｍ（ｌ）で表すことができる。

次に、３次元位置統合手段４０６は、個々の座標系の３次元位置を１つの座標系に統合する。例えば、ＳｆＭで算出されたＰ２ｍ（ｊ）とＰ１ｍ（ｊ）、並びにＳｆＭで算出されたＰ２ｍ（ｌ）とＰ２ｍ（ｌ）は同一点であるから、これらの間の関係を表す回転ベクトルＲと併進ベクトルｔを求めることができる（例えば、非特許文献２参照）。

Ｒ、ｔが求められれば、全ての３次元点を同一座標系で表現することができる。この３次元点は同一平面上に乗るから、その平面を推定することができる。例えば、３次元点のうちの１点を（ｘ０、ｙ０、ｚ０）とおくと、平面ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０までの距離は、｜ａｘ０＋ｂｙ０＋ｃｚ０＋ｄ｜／ｓｑｒｔ（ａ＾２＋ｂ＾２＋ｃ＾２）である。従って、全点の距離の２乗和を最小にするａ、ｂ、ｃ、ｄが求める平面の式となる。

尚、ここではプロジェクタ１０１が２台の場合について説明を行ったが、プロジェクタが３台に増えた場合でも、同様の手法により座標系の統合が可能である。

上記の処理で求められた平面の法線方向からの視点で個々に投影されたパターン画像（２次元の校正パターン画像）を合成することができる。

図１０は、第１の実施形態に係る合成されたパターン画像の例を示す図である。図１０（ａ）は、合成されたパターン画像を示している。また、図１０（ｂ）は、プロジェクタ１０１−１によって投影されたパターン１００１、プロジェクタ１０１−２によって投影されたパターン１００２、プロジェクタ１０１−３によって投影されたパターン１００３を区別して表示した図である。

パラメータ算出手段４０７は、この合成されたパターン画像に基づいて画像処理パラメータを算出する。

例えば、パラメータ算出手段４０７は、各プロジェクタ１０１毎に、校正用画像の円形パターンの各々を線形に外挿し、各プロジェクタ１０１の投影可能領域の外周座標を算出する。

また、パラメータ算出手段４０７は、算出された各プロジェクタ１０１の投影可能領域の論理和により、複数のプロジェクタ１０１−１〜１０１−３による投影可能領域を求める。

さらに、パラメータ算出手段４０７は、複数のプロジェクタ１０１−１〜１０１−３による投影可能領域に、投影対象となる所定の画像をマッピングする。例えば、パラメータ算出手段４０７は、投影対象となる所定の画像のアスペクト比を保ったまま、複数のプロジェクタ１０１−１〜１０１−３による投影可能領域に、投影対象となる所定の画像を最大の大きさでマッピングする。パラメータ算出手段４０７は例えば、図１０（ｂ）の領域１００４の範囲内に投影対象となる所定の画像が、アスペクト比を保ったまま収まるように幾何補正、配置を行う。

さらにまた、パラメータ算出手段４０７は、隣接するプロジェクタ１０１間で投影領域が重複する重複領域を、各プロジェクタ１０１の投影可能領域より算出し、重複領域の明るさ補正のパラメータを算出する。これは、単純にプロジェクタ１０１−１〜１０１−３の画像を重ね合わせると、重複領域が明るくなってしまうためである。

例えば、上記のような処理により、パラメータ算出手段４０７は、投影対象となる所定の画像のうち、各プロジェクタ１０１が投影する領域の抽出、幾何補正、重複領域の明るさ補正等に必要な画像処理パラメータを算出する。

尚、ここでは、パターン画像を合成する場合について説明を行ったが、パラメータ算出手段４０７は、円形パターンの重心座標を用いて上記画像処理パラメータを算出するものであっても良い。

（投影処理）
次に投影処理について説明する。例えば、投影したい画像をＰＣ１０２から各プロジェクタ１０１に送信し、各プロジェクタ１０１が記憶手段４０１に記憶した画像処理パラメータを使って受信した画像を加工して投影することにより、一体化された画像を投影面１０４に投影することができる。

図１１は、第１の実施形態に係る画像投影処理の一例のフローチャートである。

例えば、ＰＣ１０２へのユーザ操作等により投影処理を開始すると、ＰＣ１０２は、複数のプロジェクタ１０１−１〜１０１−３にマルチ投影の開始を指示する（ステップＳ１１０１）。指示を受けた複数のプロジェクタ１０１−１〜１０１−３は、それぞれ、記憶手段４０１に記憶した画像処理パラメータを読み出す（ステップＳ１１０２〜Ｓ１１０４）。

また、複数のプロジェクタ１０１−１〜１０１−３は、それぞれ、読み出した画像処理パラメータで投影する画像を加工するパラメータ適用モードに入る（ステップＳ１１０５〜Ｓ１１０７）。パラメータ適用モードでは、各プロジェクタ１０１は、読み出した画像処理パラメータに従って、受信した横長の画像から必要な部分の抽出、変形を行い、また、明るさや色の補正を行った画像を投影する。

ＰＣ１０２は、複数のプロジェクタ１０１−１〜１０１−３に同一のコンテンツ画像（例えば、横長の画像）を送信する（ステップＳ１１０８）。複数のプロジェクタ１０１−１〜１０１−３は、それぞれ、ＰＣ１０２から受信したコンテンツ画像にパラメータを適用して画像処理を行い（ステップＳ１１０９〜Ｓ１１１１）、画像処理後の画像を投影する（ステップＳ１１１２〜Ｓ１１１４）。

上記のコンテンツ画像の送信、及び投影は、マルチ投影が終了するまで、例えば、６０ｆｐｓ（frame per second）で繰り返し行われる（ステップＳ１１１５）。また、マルチ投影が終了すると、ＰＣ１０２は、マルチ投影の終了指示を複数のプロジェクタ１０１−１〜１０１−３に送信する（ステップＳ１１１６）。複数のプロジェクタ１０１−１〜１０１−３は、それぞれ、マルチ投影の終了指示を受信すると単純投影モードへ移行し（ステップＳ１１１７〜Ｓ１１１９）、マルチ投影処理を終了する。

（接続形態）
図１２は、第１の実施形態に係る画像処理システムの接続形態の例を示す図である。画像処理システム１００は、ＰＣ１０２と各プロジェクタ１０１との間で、制御信号及び映像信号の通信が行えるものであれば、接続形態は任意で良い。

例えば、図１２（ａ）の接続形態では、ＰＣ１０２は、映像信号を分岐装置１２０２（例えば、ＵＳＢハブ）を介して、外付けのビデオカード１２０１で各プロジェクタ１０１に送信し、制御信号のやり取りは、無線ＬＡＮで行う。

図１２（ｂ）の接続形態では、ＰＣ１０２は、映像信号をＨＤＭＩ等の画像インタフェースを用いて出力し、映像分配器１２０３で各プロジェクタに映像信号を分配している。また、制御信号のやり取りは、有線ＬＡＮ等の有線接続によって行われる。

図１２（ｃ）の接続形態では、映像信号及び制御信号の通信を無線通信（例えば無線ＬＡＮ等）によって行う場合の例を示している。

尚、図１２の各接続形態はあくまで一例であって、画像処理システム１００の接続形態は、図１２の各接続形態以外にも様々な組合せが可能である。

＜まとめ＞
以上、本実施形態に係るプロジェクタ１０１は、投影手段１０５に対して所定の位置に撮影手段１０６（カメラ等）が設けられており、投影手段１０５と撮影手段１０６による３次元計測の計測パラメータが記憶手段４０１に予め記憶されている。これにより、カメラの設置、基線長の測定等の準備や、ステレオカメラ等によらずに、プロジェクタ１０１に対する投影面１０４の３次元座標を容易に算出することができる。但し、各プロジェクタ１０１単体の３次元計測だけでは、他のプロジェクタ１０１との座標系の位置関係は不明である。

一方、ＳｆＭのみによる３次元計測では、精度を出すために多くの円パターンを撮影する必要があり、広角で撮影範囲の広いカメラを用いることが望ましい。しかし、そのようなレンズを持つカメラは高価であり、高解像度の撮像素子も要求されることから、コスト面で不利である。

そこで、本実施の形態では、各プロジェクタ１０１に内蔵された低コストの撮影手段と、三角測量、ＳｆＭ等の２つの３次元計測との組合せにより、システムのコストを抑制しつつ、設置、設定等を容易にする画像処理システム１００を実現している。

［第２の実施形態］
図４に示す第１の実施形態の機能構成では、各プロジェクタ１０１が画像処理手段４０２を有しているものとして説明を行ったが、投影画像に対する画像処理は、ＰＣ１０２がまとめて行うものであっても良い。

図１３は、第２の実施形態に係る画像処理システムの機能構成図である。本実施の形態では、ＰＣ１０２が、複数のプロジェクタ１０１−１〜１０１−３のそれぞれが投影する画像の画像処理を行う画像処理手段１３０１を有している。尚、その他の構成は、第１の実施形態と同様なので、ここでは第１の実施形態との差分を中心に説明する。

本実施形態では、図５に示す第１の実施形態の撮影処理と同様にして、校正用画像の撮影処理が行われる。

図１４は、第２の実施形態に係る校正処理の一例のフローチャートである。ステップＳ７０１〜Ｓ７０４までの処理は、第１の実施形態と同様である。ステップＳ１４０１において、第１の実施形態では各プロジェクタ１０１に画像処理パラメータを送信していたが、本実施形態では、算出した画像処理パラメータをＰＣ１０２が保存する。

図１５は、第２の実施形態に係る画像投影処理の一例のフローチャートである。例えば、ＰＣ１０２へのユーザ操作等により投影処理を開始すると、ＰＣ１０２は、図１４のステップＳ１４０１で保存した画像処理パラメータを、投影対象となるコンテンツ画像に適用する（ステップＳ１５０１）。例えば、ＰＣ１０２の画像処理手段１３０１は、プロジェクタ１０１−１に適用する画像処理パラメータを用いて、横長のコンテンツ画像からプロジェクタ１０１−１が投影する部分を抽出、変形し、また、明るさや色の補正を行う。

同様に、画像処理手段１３０１は、プロジェクタ１０１−２に適用する画像処理パラメータを用いて、横長のコンテンツ画像からプロジェクタ１０１−２が投影する部分を抽出、変形し、また、明るさや色の補正を行う。さらに、画像処理手段１３０１は、プロジェクタ１０１−３に適用する画像処理パラメータを用いて、横長のコンテンツ画像からプロジェクタ１０１−３が投影する部分を抽出、変形し、また、明るさや色の補正を行う。

次に、ＰＣ１０２は、ステップＳ１５０１で画像処理を行った画像を、複数のプロジェクタ１０１−１〜１０１−３に送信する（ステップＳ１５０２）。

複数のプロジェクタ１０１−１〜１０１−３は、それぞれ、ＰＣ１０２から受信した画像を用いて投影画像を更新する（ステップＳ１５０３〜１５０５）。

上記処理を、マルチ投影が終了するまで、例えば、６０ｆｐｓで繰り返す（ステップＳ１５０６）。

尚、本実施の形態では、ＰＣ１０２が送信する画像がプロジェクタ１０１毎に異なるため、図１２（ｂ）に示す接続形態は用いることができない。本実施の形態では、例えば、図１２（ａ）、（ｃ）の接続形態等を用いて実現することができる。

以上、本実施形態によれば、各プロジェクタ１０１に画像処理手段が不要であり、プロジェクタ１０１のコスト、又は負荷等を低減することができる。

［第３の実施形態］
第１及び第２の実施形態では、ＰＣ１０２を用いて画像処理システム１００の制御を行う場合について説明を行ったが、画像処理システム１００は、ＰＣ１０２によらずに、複数のプロジェクタで構成することも可能である。

＜機能構成＞
図１６は、第３の実施形態に係る画像処理システムの機能構成図である。本実施形態に係るプロジェクタ１０１は、第１の実施形態に係るプロジェクタ１０１の構成に加えて、画像取得手段１６０１、３次元位置計測手段１６０２、３次元位置統合手段１６０３、パラメータ算出手段１６０４、制御手段１６０５、同期手段１６０６等を有する。

画像取得手段１６０１は、投影面１０４に投影するコンテンツ画像を取得する手段である。画像取得手段１６０１は、例えば、図２の外部Ｉ／Ｆ２０５に接続されたＵＳＢメモリ等の外部ストレージから、投影対象となる同一のコンテンツをそれぞれ取得する。或いは、画像取得手段１６０１は、通信Ｉ／Ｆ２０４等を用いて、サーバ装置等から投影対象となるコンテンツをそれぞれ取得するもの等であっても良い。

３次元位置計測手段（計測手段）１６０２は、制御手段１６０５等の制御によって撮影された画像と、各プロジェクタ１０１の記憶手段４０１に予め記憶された計測パラメータとに基づいて、各プロジェクタ１０１に対する投影面１０４の３次元位置を計測する。

３次元位置統合手段（統合手段）１６０３は、各プロジェクタ１０１の３次元位置計測手段１６０２によって計測された複数の３次元位置を統合する。尚、３次元位置の統合処理は、複数のプロジェクタ１０１で分散して行うものであっても良いし、１つのプロジェクタ１０１でまとめて行うもの等であっても良い。

パラメータ算出手段（算出手段）１６０４は、３次元位置統合手段１６０３等によって統合された投影面１０４の３次元位置に基づいて、各プロジェクタ１０１が投影する画像の画像処理パラメータ（補正パラメータ）を算出する。

制御手段１６０５は、複数のプロジェクタ１０１−１〜１０１−３による画像の投影と、複数のプロジェクタ１０１による投影面１０４に投影された画像の撮影を制御する。また、制御手段４０４は、複数のプロジェクタ１０１−１〜１０１−３を用いて、所定の画像（大画面の画像）を投影するマルチプロジェクションの制御を行う。

同期手段１６０６は、複数のプロジェクタ１０１−１〜１０１−３の画像投影タイミング等の同期を取るための手段である。

尚、他の構成については、第１の実施形態と同様である。

＜処理の流れ＞
（校正用画像の撮影処理）
図１７は、第３の実施形態に係る校正用画像の撮影処理の流れを示すフローチャートである。画像処理システム１００は、例えば、プロジェクタ１０１−１へのユーザ操作等に応じて、校正用の画像の撮影処理を開始する。

尚、撮影処理を開始する前に、複数のプロジェクタ１０１−１〜１０１−３は、例えば、図１に示すように、隣接したプロジェクタ１０１の投影領域の一部が重複するように配置されているものとする。また、複数のプロジェクタ１０１−１〜１０１−３の位置関係、例えば、左からプロジェクタ１０１−１、プロジェクタ１０１−２、プロジェクタ１０１−３の順に並べられていることは、予め設定又は検知されているものとする。

校正用の画像の撮影処理の開始操作が行われると（ステップＳ１７０１）、プロジェクタ１０１−１は、他のプロジェクタ１０１−２、１０１−３に、校正用の画像の撮影処理の開始を指示する第１撮影指示を送信する（ステップＳ１７０２）。

また、プロジェクタ１０１−１は、校正用のパターン画像を投影し（ステップＳ１７０３）、プロジェクタ１０１−２、１０１−３は、第１撮影指示に応じて、光源２０６を消灯する（ステップＳ１７０４、Ｓ１７０５）。

プロジェクタ１０１−１は、プロジェクタ１０１−１の投影手段１０５によってパターン画像が投影された投影面１０４を撮影し（ステップＳ１７０６）、撮影した画像を自装置の記憶手段４０１に保存（記憶）する（ステップＳ１７０７）。

また、プロジェクタ１０１−２は、プロジェクタ１０１−１の投影手段１０５によってパターン画像投影された投影面を撮影し（ステップＳ１７０８）、撮影した画像を自装置の記憶手段４０１に記憶する（ステップＳ１７０９）。尚、このとき、プロジェクタ１０１−３の撮影エリアには校正用のパターン画像が含まれないので、プロジェクタ１０１−３は、画像の撮影を行わなくても良い。

次に、プロジェクタ１０１−１は、他のプロジェクタ１０１−２、１０１−３に、第２撮影指示を送信する（ステップＳ１７１０）。

プロジェクタ１０１−１は光源２０６を消灯する（ステップＳ１７１１）。また、第２撮影指示に応じて、プロジェクタ１０１−２は、校正用のパターン画像を投影し（ステップＳ１７１２）、プロジェクタ１０１−３は、光源２０６を消灯する（ステップＳ１７１３）。

次に、プロジェクタ１０１−１は、プロジェクタ１０１−２の投影手段１０５によってパターン画像が投影された投影面１０４を撮影し（ステップＳ１７１４）し、撮影した画像を自装置の記憶手段４０１に保存する（ステップＳ１７１５）。

また、プロジェクタ１０１−２は、プロジェクタ１０１−２の投影手段１０５によってパターン画像投影された投影面を撮影し（ステップＳ１７１６）、撮影した画像を自装置の記憶手段４０１保存する（ステップＳ１７１７）。

プロジェクタ１０１−３は、プロジェクタ１０１−２の投影手段１０５によってパターン画像が投影された投影面１０４を撮影し（ステップＳ１７１８）、撮影した画像を自装置の記憶手段４０１に保存する（ステップＳ１７１９）。

次に、プロジェクタ１０１−１は、他のプロジェクタ１０１−２、１０１−３に、第３撮影指示を送信する（ステップＳ１７２０）。

プロジェクタ１０１−１は光源２０６を消灯する（ステップＳ１７２１）。また、第２撮影指示に応じて、プロジェクタ１０１−２は、光源２０６を消灯し（ステップＳ１７２２）、プロジェクタ１０１−３は、校正用のパターン画像を投影する（ステップＳ１７２３）。

次に、プロジェクタ１０１−２は、プロジェクタ１０１−３の投影手段１０５によってパターン画像が投影された投影面１０４を撮影し（ステップＳ１７２４）、撮影した画像を自装置の記憶手段４０１に保存する（ステップＳ１７２５）。

また、プロジェクタ１０１−３は、プロジェクタ１０１−３の投影手段１０５によってパターン画像が投影された投影面を撮影し（ステップＳ１７２６）、撮影した画像を自装置の記憶手段４０１に保存し（ステップＳ１７２７）、処理を終了する。尚、このとき、プロジェクタ１０１−１の撮影エリアには校正用のパターン画像が含まれないので、プロジェクタ１０１−１は画像の撮影を行わなくても良い。

（校正処理）
画像処理システム１００は、校正用の画像の撮影処理が終了すると、校正処理を行う。

図１８は、第３の実施形態に係る校正処理の一例のフローチャートである。

校正処理を開始すると、プロジェクタ１０１−１は、他のプロジェクタ１０１−２、１０１−３に構成開始指示を送信する（ステップＳ１８０１）。

次にプロジェクタ１０１は、図１７の処理で取得した画像と、各プロジェクタ１０１が予め記憶している計測パラメータとに基づいて、各プロジェクタ１０１に対する投影面１０４の３次元位置（座標）を算出する（ステップＳ１８０２〜Ｓ１８０４）。

また、各プロジェクタ１０１は、算出した３次元位置（円パターンの位置）と、撮影した校正パターン画像を他のプロジェクタ１０１に送信する（ステップＳ１８０５〜１８０７）。各プロジェクタ１０１は、他のプロジェクタ１０１から受信した情報を用いて、隣接するプロジェクタ１０１との３次元位置の対応関係を算出する（ステップＳ１８０８〜Ｓ１８１０）。また、プロジェクタ１０１−２、１０１−３は、算出した情報をプロジェクタ１０１−１に送信する（ステップＳ１８１１、Ｓ１８１２）。

プロジェクタ１０１−１は、他のプロジェクタ１０１−１、１０１−３から受信した情報を用いて、３次元位置を同一座標系に変換して統合する（ステップＳ１８１３）。また、プロジェクタ１０１−１は、統合した３次元位置を用いて、各プロジェクタの画像処理パラメータを算出する（ステップＳ１８１４）。

プロジェクタ１０１−１は、算出した画像処理パラメータを他のプロジェクタ１０１−２、１０１−３に送信し（ステップＳ１８１５）、自装置の画像処理パラメータを記憶手段４０１に保存する（ステップＳ１８１６）。

プロジェクタ１０１−２、１０１−３は、受信した画像処理パラメータをそれぞれ、自装置の記憶手段４０１に記憶し（ステップＳ１８１７、１８１８）、校正処理を終了する。

（投影処理）
図１９は、第３の実施形態に係る画像投影処理の例を示すフローチャートである。尚、各プロジェクタ１０１には、投影対象となるコンテンツ画像を記憶したＵＳＢメモリ等が予め接続されているものとする。

投影処理を開始すると、プロジェクタ１０１−１は、マルチ投影指示を他のプロジェクタ１０１−２、１０１−３に送信する（ステップＳ１９０１）。

次に、各プロジェクタ１０１−１〜１０１−３は、自装置の記憶手段４０１に記憶した画像処理パラメータを読み出す（ステップＳ１９０２〜Ｓ１９０４）。

また、複数のプロジェクタ１０１−１〜１０１−３は、それぞれ、読み出した画像処理パラメータで投影する画像を加工するパラメータ適用モードに入る（ステップＳ１９０５〜Ｓ１９０７）。

次に、プロジェクタ１０１−１は、他のプロジェクタ１０１−２、１０１−３に投影開始指示を送信する（ステップＳ１９０８）。

各プロジェクタ１０１−１〜１０１−３は、それぞれ、ＵＳＢメモリ等からコンテンツ画像を１コマ分取得し（ステップＳ１９０９〜Ｓ１９１１）、取得したコンテンツ画像にパラメータを適用する（ステップＳ１９１２〜Ｓ１９１４）。

ここで、各プロジェクタ１０１−１〜１０１−３は、投影タイミングの同期を取る（ステップＳ１９１５〜Ｓ１９１７）。例えば、各プロジェクタ１０１−１〜１０１−３は、同期手段１６０６により、制御信号の送受信を行い、他のプロジェクタ１０１の投影準備ができていることを確認し、投影準備が整ったことを確認したときに次の処理に移行する。

次に、各プロジェクタ１０１−１〜１０１−３は、投影画像を更新し（ステップＳ１９１８〜Ｓ１９２０）、更新した画像を投影する。

上記処理を、マルチ投影が終了するまで、例えば、６０ｆｐｓで繰り返す（ステップＳ１９２１）。ステップＳ１９２１で、マルチ投影が終了したと判断すると、プロジェクタ１０１−１は、他のプロジェクタ１０１−２、１０１−３にマルチ投影の終了指示を送信する（ステップＳ１９２２）。

次に、各プロジェクタ１０１−１〜１０１−３は、単純投影モードへ移行し（ステップＳ１９２３〜Ｓ１９２５）、処理を終了する。

上記処理により、画像処理システム１００は、ＰＣ１０２によらずにマルチプロジェクションを実現することができる。

図２０は、第３の実施形態に係る画像処理システムの接続形態の例を示す図である。図２０の例では、各プロジェクタ１０１−１〜１０３−３は、例えば、無線ＬＡＮや、近距離無線通信等による無線相互通信により制御信号の送受信を行い、例えば、ＵＳＢメモリ等の外部記憶手段２００１から、共通のコンテンツ画像を取得する。尚、図２０の接続形態はあくまで一例である。

［第４の実施形態］
第１〜第３の実施形態では、複数のプロジェクタ１０１は、隣接するプロジェクタ１０１と投影領域の一部が重複するように配置され、各プロジェクタ１０１の投影画面よりも大きい大画面を投影するマルチプロジェクションを行うものとして説明を行った。

本実施の形態では、複数のプロジェクタ１０１は、隣接するプロジェクタ１０１と投影領域の一部、又は全部が重複するように配置され、各プロジェクタの投影画面よりも明るい高輝度画面を投影するスタックプロジェクションの例について説明する。

図２１は、第４の実施形態に係る画像処理システムの構成例を示す図である。各機器の構成や、接続形態は、第１の実施形態と同様であるが、各プロジェクタ１０１の投影領域１０３−１〜１０１−３の重なり合う部分が、第１の実施形態よりも大きくなっている。この投影領域が重なり合う部分大きいほど大きな画像を投影できるので、各プロジェクタ１０１の配置時に留意する。

構成用画像の撮影処理の流れ、及び校正処理の流れは、図６、７に示した第１の実施形態と同様で良い。

また、投影時の処理も基本的に図１１に示した第１の実施形態と同様であるが、ステップＳ１１０８において、ＰＣ１０２が各プロジェクタ１０１に送信する画像が横長ではなく、プロジェクタ１０１の解像度に合った比率のコンテンツ画像を送信する点が異なる。また、画像処理パラメータは、画像の一部ではなく、全部を投影領域に収めるように計算される。

図２１は、第４の実施形態に係る投影画像が生成される領域について説明するための図である。この例では、プロジェクタ１０１−１が投影したパターン２１０１、プロジェクタ１０１−２が投影したパターン２１０２、及びプロジェクタ１０１−３が投影したパターン２１０３を含む領域２１０４にコンテンツ画像を投影するようにパラメータが算出される。

このように、画像処理システム１００は、各プロジェクタ１０１−１〜１０１−３の投影領域を重ねて、所定の画像処理を行うことにより、マルチプロジェクションのみでなく、スタック投影にも適用することができる。

１００ 画像処理システム
１０１ プロジェクタ（画像投影装置）
１０１−１ プロジェクタ（第１画像投影装置）
１０１―２ プロジェクタ（第２画像投影装置）
１０１−３ プロジェクタ
１０２ ＰＣ
１０３ 投影領域
１０４ 投影面
１０５ 投影手段
１０６ 撮影手段
４０１ 記憶手段
４０２、１３０１ 画像処理手段
４０４、１６０５ 制御手段
４０５、１６０２ ３次元位置計測手段（計測手段）
４０６、１６０３ ３次元位置統合手段（統合手段）
４０７、１６０４ パラメータ算出手段

特開２００９−００５０４４号公報

八木康史・齋藤英雄編、「コンピュータビジョン最先端ガイド３」、アドコムメディア株式会社、p.5-8、2010年12月発行 玉木 徹、「姿勢推定と回転行列」、信学技報, IEICE Technical Report、SIP2009-48、SIS2009-23, p.59-64, 2009年9月

Claims (10)

1. 複数の画像投影装置を用いて投影面に所定の画像を投影する画像処理システムであって、
   前記複数の画像投影装置の各々は、
   前記投影面に画像を投影する投影手段と、
   前記投影手段に対して所定の位置に設けられ、前記投影面に投影された画像を撮影する撮影手段と、
   前記投影手段と前記撮影手段とによる３次元計測の計測パラメータを予め記憶した記憶手段と、
   を有し、
   前記画像処理システムは、
   前記複数の画像投影装置の前記投影手段による投影と、前記複数の画像投影装置の前記撮影手段による撮影とを制御する制御手段と、
   前記制御によって撮影された画像と、前記複数の画像投影装置の前記記憶手段に予め記憶された前記３次元計測の計測パラメータとに基づいて、前記複数の画像投影装置の各々に対する前記投影面の３次元位置を計測する計測手段と、
   前記計測された複数の３次元位置を統合する統合手段と、
   を有し、
   前記画像処理システムは、前記統合された前記投影面の３次元位置に基づいて、前記投影面に前記所定の画像を投影し、
   前記画像投影装置の各々は、予め測定又は計算された前記３次元計測の計測パラメータを工場出荷前に前記記憶手段に記憶していることを特徴とする画像処理システム。
2. 前記３次元計測の計測パラメータは、前記投影手段と前記撮影手段との間の距離に基づく三角測量の基線長に対応する情報を含む、請求項１に記載の画像処理システム。
3. 前記計測手段は、
   前記複数の画像投影装置のうちの第１画像投影装置が投影した画像を前記第１画像投影装置が撮影した第１の撮影画像と、前記第１画像投影装置の前記記憶手段に記憶した前記３次元計測の計測パラメータとに基づいて、前記第１画像投影装置に対する前記投影面の３次元位置を計測する請求項１又は２に記載の画像処理システム。
4. 前記３次元計測の計測パラメータは、前記投影手段と前記撮影手段とによる三角測量の基線長に対応する情報を含み、
   前記計測手段は、
   前記基線長に対応する情報に基づいて、前記第１画像投影装置に対する前記投影面の座標を計測する請求項３に記載の画像処理システム。
5. 前記複数の画像投影装置は、前記第１画像投影装置に隣接して配置された第２画像投影装置を含み、
   前記統合手段は、
   前記第１の撮影画像と、前記第１画像投影装置の前記投影手段が投影した前記画像の少なくとも一部を前記第２画像投影装置の前記撮影手段が撮影した第２の撮影画像とに基づいて、前記第１画像投影装置の座標系と、前記第２画像投影装置の座標系との対応関係を算出する請求項３又は４に記載の画像処理システム。
6. 前記統合手段は、
   Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎにより、前記対応関係を算出する請求項５に記載の画像処理システム。
7. 前記統合手段は、
   前記算出された対応関係に基づいて、少なくとも前記第１画像投影装置に対する前記投影面の３次元位置と前記第２画像投影装置に対する前記投影面の３次元位置とを１つの座標系に統合する請求項５又は６に記載の画像処理システム。
8. 前記統合手段によって統合された前記投影面の３次元位置に基づいて、前記複数の画像投影装置の各々が投影する画像の画像処理パラメータを算出するパラメータ算出手段を有し、
   前記複数の画像投影装置の各々は、
   前記算出された画像処理パラメータに基づいて画像処理された画像を、前記投影面に投影する請求項１乃至７のいずれか一項に記載の画像処理システム。
9. 前記複数の画像投影装置の各々は、隣接する画像投影装置と投影領域の少なくとも一部が重複するように配置され、
   前記画像処理パラメータは、
   前記複数の画像投影装置を用いて前記複数の画像投影装置の各々の投影画面よりも大きい大画面を投影するマルチ投影のための画像処理パラメータ、又は前記複数の画像投影装置を用いて前記複数の画像投影装置の各々の投影画面よりも明るい高輝度画面を投影するスタック投影のための画像処理パラメータである請求項８に記載の画像処理システム。
10. 他の画像投影装置と協働して投影面に所定の画像を投影する画像投影装置であって、
    前記投影面に画像を投影する投影手段と、
    前記投影手段に対して所定の位置に設けられ、前記投影面に投影された画像を撮影する撮影手段と、
    前記投影手段と前記撮影手段とによる３次元計測の計測パラメータを予め記憶した記憶手段と、
    自装置及び前記他の画像投影装置の前記投影手段による投影と、自装置及び前記他の画像投影装置の前記撮影手段による撮影とを制御する制御手段と、
    前記制御によって撮影された画像と、自装置及び前記他の画像投影装置の前記記憶手段に予め記憶された前記３次元計測の計測パラメータとに基づいて、前記投影面の３次元位置を計測する計測手段と、
    前記計測された前記投影面の３次元位置と、前記他の画像投影装置で計測された前記投影面の３次元位置とを統合する統合手段と、
    を有し、
    前記統合された前記投影面の３次元位置に基づいて、前記投影面に前記所定の画像の少なくとも一部を投影し、
    予め測定又は計算された前記３次元計測の計測パラメータを工場出荷前に前記記憶手段に記憶していることを特徴とする画像投影装置。

Images