JP2006197443A - 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 - Google Patents

Abstract

【課題】 投写対象物と投写手段との相対的な位置の変化を簡易かつ迅速に検出することが可能な画像処理システム等を提供すること。
【解決手段】 入力画像情報に基づくコンテンツ画像と、当該コンテンツ画像の外部の少なくとも一部に設けられた位置変化検出用画像とを含む編集画像を投写するための編集画像情報を生成する調整部１３０と、前記編集画像が投写されるスクリーンを撮像して撮像画像を示す撮像情報を生成する撮像部１８０と、編集画像情報に基づき、編集画像を投写する投写部１９０と、撮像情報に基づき、投写部１９０とスクリーンとの相対的な位置が変化したかどうかを判定する判定部１６０とを含んでプロジェクタを構成する。
【選択図】 図２

Description

本発明は、撮像情報に基づいて投写対象物とプロジェクタとの相対的な位置の変化を検出する画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法に関する。

近年、ＣＣＤカメラを有するプロジェクタを用いてスクリーン等の投写対象物に画像を投写し、投写された投写画像をＣＣＤカメラで撮像して画像の歪み等のキャリブレーション処理を実行するプロジェクタが提案されている。

しかし、このような従来のプロジェクタは、キャリブレーション処理実行後に、ユーザーが誤ってプロジェクタまたはスクリーンに衝突したり、ユーザーがスクリーンを指示棒で叩いたりすることによってプロジェクタとスクリーンとの相対的な位置が変化してしまった場合、適切な画像を表示できない。

このような場合、ユーザーは、キャリブレーション処理の実行によって適切な画像を表示できているものと思っているため、適切な画像を表示できていないことに気づかないことがある。

このような課題を解決するためには、プロジェクタは、プロジェクタとスクリーンとの相対的な位置の変化を検出する必要がある。

特許文献１では、ＣＣＤカメラによる撮像データをフレームメモリに記憶し、フレームメモリの内容の変化から画像の動きを検出するプロジェクタが記載されている。

このようにカメラによる一般的な動き検出方法は、メモリに記憶したｔ時点における撮像データと、ｔ＋１時点における撮像データとを比較することによって動きを検出している。
特開２００１−１０９４２２号公報

しかし、一般的な動き検出方法の場合、一単位時間前の撮像データを保持しておく必要があり、メモリの使用効率が悪い上、撮像データ同士を比較するための処理が複雑となる。

また、ユーザーがプロジェクタとスクリーンとの相対的な位置が変化したことに気づいた場合であっても、再度プロジェクタがキャリブレーション処理を実行する必要がある。

本発明は、上記の課題に鑑みなされたものであり、その目的は、投写対象物と投写手段との相対的な位置の変化を簡易かつ迅速に検出することが可能な画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法を提供することにある。

上記課題を解決するため、本発明に係る画像処理システムは、入力画像情報に基づくコンテンツ画像と、当該コンテンツ画像の外部の少なくとも一部に設けられた位置変化検出用画像とを含む編集画像を投写するための編集画像情報を生成する調整手段と、
前記編集画像が投写される投写対象物を撮像して撮像画像を示す撮像情報を生成する撮像手段と、
前記入力画像情報に基づき、前記コンテンツ画像を投写するとともに、前記編集画像情報に基づき、前記編集画像を投写する投写手段と、
前記撮像情報に基づき、前記投写手段と前記投写対象物との相対的な位置が変化したかどうかを判定する判定手段と、
を含み、
前記判定手段は、前記撮像画像内の前記投写対象物に相当する投写対象領域における前記位置変化検出用画像の有無を判定することにより、前記相対的な位置の変化を判定することを特徴とする。

また、本発明に係るプロジェクタは、上記画像処理システムを有することを特徴とする。

また、本発明に係るプログラムは、撮像手段と、投写手段と、判定手段とを有するコンピュータにより読み取り可能なプログラムであって、
前記コンピュータに、
前記投写手段が、入力画像情報に基づくコンテンツ画像の外部の少なくとも一部に位置変化検出用画像を含む画像を投写し、
前記撮像手段が、前記画像が投写される投写対象物を撮像して撮像画像を示す撮像情報を生成し、
前記判定手段が、前記撮像情報に基づき、前記投写手段と前記投写対象物との相対的な位置が変化したかどうかを判定するための処理を実行させ、
前記撮像手段は、前記投写対象領域を含む撮像範囲で撮像し、
前記判定手段は、前記撮像画像内の前記投写対象物に相当する投写対象領域における前記位置変化検出用画像の有無を判定することにより、前記相対的な位置の変化を判定することを特徴とする。

また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
上記プログラムを記憶したことを特徴とする。

また、本発明に係る画像処理方法は、撮像手段と、投写手段と、判定手段とを有するコンピュータによる画像処理方法であって、
前記投写手段が、入力画像情報に基づくコンテンツ画像の外部の少なくとも一部に位置変化検出用画像を含む画像を投写し、
前記撮像手段が、前記画像が投写される投写対象物を撮像して撮像画像を示す撮像情報を生成し、
前記判定手段が、前記撮像情報に基づき、前記投写手段と前記投写対象物との相対的な位置が変化したかどうかを判定し、
前記撮像手段は、前記投写対象物を撮像する際に、前記投写対象領域を含む撮像範囲で撮像し、
前記判定手段は、前記相対的な位置の変化を判定する際に、前記撮像画像内の前記投写対象物に相当する投写対象領域における前記位置変化検出用画像の有無を判定することにより、前記相対的な位置の変化を判定することを特徴とする。

本発明によれば、画像処理システム等は、通常のコンテンツ画像に位置変化検出用画像を付加して投写し、投写対象領域における位置変化検出用画像の有無を判定することによって投写対象物と投写手段との相対的な位置の変化を簡易かつ迅速に検出することができる。

また、前記画像処理システム、前記プロジェクタ、前記プログラム、前記情報記憶媒体および前記画像処理方法において、前記位置変化検出用画像は、前記コンテンツ画像の外部の上下左右にそれぞれ設けられ、
前記判定手段は、前記撮像画像における前記位置変化検出用画像の検出状態に応じて前記相対的な位置の移動方向および移動量の少なくとも一方を判定してもよい。

これによれば、画像処理システム等は、コンテンツ画像の外部の上下左右に位置変化検出用画像を設けることにより、投写対象物等の移動方向を適切に検出できる。

また、前記画像処理システム、前記プロジェクタ、前記プログラム、前記情報記憶媒体および前記画像処理方法において、前記撮像画像における画素ごとの画像信号値の相違に基づき、前記撮像画像内の前記投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域情報生成手段を含み、
前記判定手段は、前記撮像情報と、前記投写対象領域情報情報とに基づき、前記相対的な位置の変化を判定してもよい。

これによれば、画像処理システム等は、投写対象領域を適切に判別して相対的な変化を検出することができる。

また、前記画像処理システム、前記プロジェクタ、前記プログラム、前記情報記憶媒体および前記画像処理方法において、前記調整手段は、前記判定手段によって前記相対的な位置が変化したと判定された場合、前記入力画像情報に対する補正量および前記投写手段に含まれる投写制御部の制御量の少なくとも一方を、前記判定手段の判定結果に応じて調整してもよい。

これによれば、画像処理システム等は、再度のキャリブレーション処理を実行することなく、相対的な位置の変化に応じて適切な画像を投写することができる。

また、前記画像処理システム、前記プロジェクタ、前記プログラム、前記情報記憶媒体および前記画像処理方法は、前記撮像画像における画素ごとの画像信号値の相違に基づき、前記撮像画像における前記画像に相当する投写領域の位置に関する投写領域情報を生成する投写領域情報生成手段と、
前記投写対象領域情報と、前記投写領域情報とに基づき、前記投写対象物における前記画像の歪みに対する補正値を導出する補正値導出手段と、
を含み、
前記調整手段は、前記補正値に基づき、前記画像の歪みが補正されるように、前記補正量および前記制御量の少なくとも一方を調整してもよい。

これによれば、画像処理システム等は、再度のキャリブレーション処理を実行することなく、相対的な位置の変化に応じて歪みのない適切な画像を投写することができる。

また、前記画像処理システム、前記プロジェクタ、前記プログラム、前記情報記憶媒体および前記画像処理方法は、前記判定手段によって前記相対的な位置が変化したと判定された場合、前記相対的な位置が変化したことを、画像、音声、光のうちの少なくとも１つを用いてユーザーに通知する通知手段を含んでもよい。

これによれば、画像処理システム等は、相対的な位置が変化したことをユーザーに通知することができる。

以下、本発明を、投写対象物と投写手段との相対的な位置の変化を検出するプロジェクタに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施例は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施例に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。

（第１の実施例）
図１は、第１の実施例における画像投写時の状態を示す模式図である。

画像処理システムを有するプロジェクタ２０は、投写対象物の一種であるスクリーン１０へ向け画像を投写する。本実施例では、プロジェクタ２０は、スクリーン１０に正対していない状態となっている。また、プロジェクタ２０からの投写光によって形成される投写画像１２は、スクリーン１０からはみ出している。また、本実施例では、撮像手段の一部であるセンサー６０は、投写画像１２を含む撮像範囲８で撮像する。

また、本実施例では、プロジェクタ２０は、センサー６０による撮像情報に基づき、スクリーン１０のアスペクト比（縦横比）を演算する。そして、プロジェクタ２０は、当該アスペクト比と、既知である所望のアスペクト比に基づき、投写画像１２に含まれるコンテンツ画像がスクリーン１０内に収まり、かつ、所望のアスペクト比となるように、画像の歪み補正を行う。

さらに、本実施例におけるプロジェクタ２０は、このように歪み補正等のキャリブレーション処理を実行した後に、スクリーン１０とプロジェクタ２０との相対的な位置の変化を検出する。

次に、このような機能を実装するためのプロジェクタ２０の機能ブロックについて説明する。

図２は、第１の実施例におけるプロジェクタ２０の機能ブロック図である。

プロジェクタ２０は、ＰＣ等からの入力画像情報を入力する画像情報入力部１１０と、画像の歪みが補正されるように、入力画像情報の補正等を行う調整部１３０と、補正された画像情報を出力する画像情報出力部１１２と、補正された画像情報に基づき、画像を投写する投写部１９０と、キャリブレーション画像情報を生成するキャリブレーション画像情報生成部１７０とを含んで構成されている。

また、調整部１３０は、入力画像情報に基づき、当該入力画像情報に基づくコンテンツ画像の外部の上下左右に位置変化検出用画像を含む編集画像を投写するための編集画像情報を生成する。また、調整部１３０は、画像情報を補正する補正部１３２と、投写部１９０の制御情報を生成する制御部１３４とを含んで構成されている。

また、プロジェクタ２０は、投写画像１２を含む領域（撮像範囲８）を、撮像面を介して撮像して撮像情報を生成する撮像部１８０と、撮像情報に基づき、センサー６０の撮像領域におけるスクリーン１０の領域を検出する投写対象領域情報生成部１４０と、センサー６０の撮像領域における投写画像１２の領域を検出する投写領域情報生成部１５０と、歪み補正用の補正値等を導出する補正値導出部１２０と、スクリーン１０とプロジェクタ２０との相対的な位置の変化を判定する判定部１６０とを含んで構成されている。なお、撮像部１８０は、センサー６０を含む。

また、投写部１９０は、空間光変調器１９２と、投写画像１２の大きさを調整するズーム部１９６と、投写画像１２の投写位置を調整するレンズシフト部１９８と、ズーム部１９６等を制御する投写制御部１９４とを含んで構成されている。

また、上述したプロジェクタ２０の各部を実装するためのハードウェアとしては、例えば、以下のものを適用できる。

図３は、第１の実施例におけるプロジェクタ２０のハードウェアブロック図である。

例えば、画像情報入力部１１０としては、例えばＡ／Ｄコンバーター９３０等、調整部１３０、判定部１６０としては、例えば画像処理回路９７０、ＲＡＭ９５０、ＣＰＵ９１０等、画像情報出力部１１２としては、例えばＤ／Ａコンバーター９４０等、補正値導出部１２０、投写対象領域情報生成部１４０、投写領域情報生成部１５０およびキャリブレーション画像情報生成部１７０としては、例えば画像処理回路９７０、ＲＡＭ９５０等、撮像部１８０としては、例えばＣＣＤセンサー、ＣＭＯＳセンサー、ＲＧＢセンサー等、空間光変調器１９２としては、例えば液晶パネル９２０、液晶パネル９２０を駆動する液晶ライトバルブ駆動ドライバを記憶するＲＯＭ９６０等を用いて実装できる。

なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。

また、これらの各部は、その一部または全部を、回路のようにハードウェア的に実装してもよいし、ドライバのようにソフトウェア的に実装してもよい。

さらに、判定部１６０等の処理をコンピュータに実行させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って判定部１６０等の処理をコンピュータに実行させてもよい。

このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。

また、情報記憶媒体９００に代えて、上述した各部の処理をコンピュータに実行させるためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各部の処理をコンピュータに実行させることも可能である。

次に、これらの各部を用いた画像処理の流れについて説明する。

図４は、第１の実施例における画像処理の流れを示すフローチャートである。

まず、プロジェクタ２０は、台形歪み補正等のキャリブレーション処理を実行する（ステップＳ１）。より具体的には、プロジェクタ２０は、例えば、以下の手順によってキャリブレーション処理を実行する。

まず、キャリブレーション画像情報生成部１７０は、画像全体が黒の単色のキャリブレーション画像（全黒画像）用の画像情報を生成し、画像情報出力部１１２は、当該画像情報のデジタル信号を投写部１９０に出力する。投写部１９０は、当該デジタル信号に基づき、スクリーン１０へ向け全黒画像を投写する。これにより、スクリーン１０には、全黒画像が表示される。

撮像部１８０は、投写画像１２を含む領域を、撮像面を介して撮像して第１の撮像情報を生成する。ここで、撮像情報は、例えば、輝度値、ＸＹＺ値等の輝度値を生成可能な画像信号値をセンサー６０の画素ごとに示す情報である。なお、ここで、ＸＹＺ値とは、国際照明委員会（ＣＩＥ）によって定められた国際規格で、機器独立色の一種の画像信号値である。

図５は、第１の実施例における撮像領域１７を示す模式図である。

撮像領域１７は、センサー６０が画像を捉える撮像面に相当する領域であり、センサー６０の撮像情報を矩形で模式的に示す領域でもある。撮像領域１７としては、具体的には、例えば、ＣＣＤセンサーの撮像面の領域等が該当する。

本実施例では、センサー６０の光軸とレンズ１９８の光軸が同じ方向に向いており、スクリーン１０とプロジェクタ２０とが正対していない。このため、図５に示すように、センサー６０から見た場合、投写画像１２の領域である投写領域１３は撮像領域１７と同様に矩形で見え、スクリーン１０の領域である投写対象領域１１は歪んで見える。

また、本実施例では、投写対象領域情報生成部１４０は、撮像部１８０からの撮像情報に基づき、投写領域１３の対角線の交点、すなわち、投写領域１３の中心（必ずしも中心でなくてもよく、中央付近でもよい。）から外側に向かって放射状に輝度値を探索することによって連続して一定の輝度値を有する領域ＥＦＧＨを投写対象領域１１として決定し、撮像領域１７における領域ＥＦＧＨの４隅の位置を示す投写対象領域情報を補正値導出部１２０に出力する。

そして、キャリブレーション画像情報生成部１７０は、投写画像１２全体を９等分した中央の領域が白で残りの領域が黒であるキャリブレーション画像（中央白画像）用の画像情報を生成し、画像情報出力部１１２は、当該画像情報のデジタル信号を投写部１９０に出力する。投写部１９０は、当該デジタル信号に基づき、スクリーン１０へ向け中央白画像を投写する。撮像部１８０は、投写された中央白画像を撮像して第２の撮像情報を生成する。

投写領域情報生成部１５０は、第１および第２の撮像情報に基づき、全黒撮像画像と中央白撮像画像の画素ごとの輝度値を比較し、一定の輝度比である領域ＡＢＣＤを中央投写領域１５として抽出する。投写領域情報生成部１５０は、撮像領域１７における領域ＡＢＣＤの４隅の位置を示す投写領域情報を補正値導出部１２０に出力する。

補正値導出部１２０は、投写対象領域情報と、投写領域情報に基づき、画像歪み補正用の補正値を導出する。なお、補正値導出部１２０は、補正値の導出手法として、例えば、特願２００４−７８４１２号公報に記載されている画像歪み補正用情報を導出する手法を採用することによって補正値を導出することができる。

そして、調整部１３０は、当該補正値に基づき、画像の歪みを補正するように画像情報を補正する。これにより、投写部１９０は、画像の歪みが補正された画像を投写することができる。以上の手順により、キャリブレーション処理は終了する。なお、キャリブレーション処理や台形歪み補正処理は上記手法に限定されず、種々の手法を採用可能である。

図６は、第１の実施例における台形歪み補正後の撮像画像の模式図である。

キャリブレーション処理の終了後、調整部１３０は、初期状態の投写領域１３のうち、画像情報の補正によってコンテンツ画像（入力画像情報に基づく画像）が表示されなくなった領域が任意の色（例えば、赤等）である位置変化検出用画像を含む編集画像を投写するための編集画像情報を生成する。

投写部１９０は、当該編集画像情報に基づき、編集画像を投写する（ステップＳ２）。

なお、本実施例では、編集画像のうち、台形歪み補正後のコンテンツ画像以外の画像を位置変化検出用画像として用いている。また、位置変化検出用画像はスクリーン１０とプロジェクタ２０との相対的な位置の変化を検出するための画像である。例えば、図６では、文字ＡＢＣＤを含む白い矩形領域がコンテンツ画像の領域であり、当該領域の周囲の黒い領域が位置変化検出用画像の領域であり、両者を含む領域が投写領域１３（編集画像の領域）である。

また、例えば、スクリーン１０のアスペクト比および所望のアスペクト比が４：３である場合、台形歪み補正によって図６に示すようにコンテンツ画像はスクリーン１０と一致するように表示され、スクリーン１０以外の領域は赤色で表示される。なお、実際には、スクリーン１０の後ろには投写画像１２の投写光を反射する物体が存在しないため、ユーザーおよびセンサー６０にはスクリーン１０で反射されたコンテンツ画像のみが捉えられる。

また、キャリブレーション処理の終了後、判定部１６０は、撮像領域１７において、コンテンツ画像、すなわち、投写対象領域１１の外部の上下左右のそれぞれに位置変化を検出するための注目領域１４−１〜１４−４を設定する。

なお、撮像領域１７は、本来は図５のように表示されるが、図６および以下に示す図７〜図１０は、説明を分かりやすくするため、スクリーン１０の正面から撮像した状態になっている。

また、撮像部１８０は、編集画像が投写されたスクリーン１０を含む領域を撮像し、撮像情報を生成する（ステップＳ３）。

判定部１６０は、撮像情報に基づき、撮像画像内の注目領域１４における色を判別する（ステップＳ４）。

そして、判定部１６０は、注目領域１４における色が赤色であるかどうかを判定することにより、位置変化があったかどうかを判定する（ステップＳ５）。

図７は、第１の実施例における移動後の撮像画像の模式図である。

例えば、スクリーン１０がセンサー６０から見て右側に移動した場合、図７に示すように、位置変化検出用画像の右側の一部がスクリーン１０に投写されるようになる。これにより、撮像画像にも当該一部の画像が含まれる。この結果、位置変化検出用画像の赤色がスクリーン１０で反射し、撮像画像内の注目領域１４−３を含む領域に赤色が表示される。

このような場合、判定部１６０は、注目領域１４−３で赤色を検出することにより、位置変化があったと判定する。

位置変化があった場合、プロジェクタ２０は、ステップＳ１のキャリブレーション処理を再実行する（ステップＳ６）。

そして、画像処理終了ではない場合（ステップＳ７）、プロジェクタ２０は、ステップＳ２〜Ｓ７の処理を繰り返し実行する。

これにより、プロジェクタ２０は、常に位置変化の有無を判定して位置変化があった場合には画像の歪み補正等を行うことにより、常に適切な画像を投写できる。

以上のように、本実施例によれば、プロジェクタ２０は、通常のコンテンツ画像に位置変化検出用画像を付加して投写し、注目領域１４における位置変化検出用画像の有無を判定することによってスクリーン１０とプロジェクタ２０との相対的な位置の変化を簡易かつ迅速に検出することができる。

すなわち、プロジェクタ２０は、スクリーン１０による反射という特性を利用することにより、一単位時間前の撮像情報を保持するためのメモリや、差分画像を用いた処理も必要でないため、より効率的に画像処理できる。

また、本実施例によれば、プロジェクタ２０は、撮像情報に基づく画像信号値（例えば、輝度値等）の差異に基づいて投写対象物（例えば、スクリーン１０等）の外形等を判別することができる。

また、本実施例によれば、キャリブレーション画像１２がスクリーン１０よりも大きく投写されている場合であっても、プロジェクタ２０は、中央白画像を用いることにより、投写画像１２の形状等を判別することができる。

さらに、本実施例によれば、プロジェクタ２０は、判別したスクリーン１０や投写画像１２の形状等に基づいて画像の歪みを自動的に補正することができる。

また、本実施例によれば、プロジェクタ２０は、投写対象領域１１を検出する際に中心から外側に向かって輝度値を比較することにより、スクリーン１０上の障害物の影響を受けにくく、より正確に投写対象領域１１を検出することができる。

（第２の実施例）
判定部１６０は、第１の実施例では投写対象領域１１の外部に注目領域１４を設定したが、投写対象領域１１の内部に注目領域１４を設定してもよい。

図８は、第２の実施例における台形歪み補正後の撮像画像の模式図である。また、図９は、第２の実施例における移動後の撮像画像の模式図である。

このような場合、補正部１３２は、図８に示すように、スクリーン１０（投写対象領域１１）よりも小さい領域にコンテンツ画像が表示され、コンテンツ画像の周囲に位置変化検出用画像が付加されるように画像情報を補正する。

そして、判定部１６０は、注目領域１４に位置変化検出用画像の赤色が存在している場合はスクリーン１０またはプロジェクタ２０が動いていないと判定する。例えば、図９に示すように、スクリーン１０が右側に移動した場合、コンテンツ画像の左側の注目領域１４−１がスクリーン１０から外れてしまう。この場合、判定部１６０は、注目領域１４−１に赤色（位置変化検出用画像）を検出できないため、スクリーン１０が右側に移動したと判定することができる。

第２の実施例のように、注目領域１４は投写対象領域１１の内部に設けられてもよい。また、判定部１６０は、注目領域１４に位置変化検出用画像が存在しない場合にスクリーン１０が移動したと判定してもよい。

以上のように、このような手法によっても、プロジェクタ２０は、通常のコンテンツ画像に位置変化検出用画像を付加して投写し、注目領域１４における位置変化検出用画像の有無を判定することによってスクリーン１０とプロジェクタ２０との相対的な位置の変化を簡易かつ迅速に検出することができる。

（第３の実施例）
また、上述した実施例はキャリブレーションの再実行が必要な構成であったが、スクリーン１０が移動した場合であっても、プロジェクタ２０は、キャリブレーションの再実行を行わずに、投写画像１２の大きさを調整することによってスクリーン１０にコンテンツ画像を表示することも可能である。

図１０は、第３の実施例における移動後の撮像画像の模式図である。

例えば、図６に示す状態でスクリーン１０が右に移動した場合、そのままでは図７に示すようにコンテンツ画像の一部が見えなくなってしまうため、プロジェクタ２０は、投写画像１２の大きさを縮小する。

より具体的には、判定部１６０は、注目領域１４−３における位置変化検出用画像の占める割合に応じてズーム部１９６の調整値を決定する。スクリーン１０の移動量が大きいほど上記割合が増加するため、判定部１６０は、例えば、上記割合が増えるほど、縮小率が上がるように、すなわち、投写画像１２がより小さくなるように調整値を決定する。

制御部１３４は、当該調整値に基づく制御情報を生成し、投写部１９０に出力する。投写制御部１９４は、当該制御情報に基づき、ズーム部１９６を制御する。

これにより、図１０に示すように、コンテンツ画像が縮小されてスクリーン１０に投写される。

以上のように、第３の実施例によれば、プロジェクタ２０は、スクリーン１０が移動した場合であっても、キャリブレーション処理を再実行することなく、コンテンツ画像をスクリーン１０に表示することができる。

なお、プロジェクタ２０は、同様の処理により、投写画像１２の大きさだけでなく、投写画像１２の位置を変更してもよい。より具体的には、プロジェクタ２０は、レンズシフト部１９８を制御することにより、投写位置を調整できる。

（変形例）
なお、本発明は上述した実施例に限定されず、種々の変形が可能である。

例えば、第３の実施例では、プロジェクタ２０は、ハードウェア的に投写画像１２を縮小したが、画像情報を補正することによってソフトウェア的に縮小してもよい。

また、プロジェクタ２０は、スクリーン１０が移動した場合に、ユーザーに対するメッセージ画像を投写することにより、ユーザーにスクリーン１０が移動したことを通知してもよい。例えば、スクリーン１０が右に移動した場合、プロジェクタ２０は、「スクリーン１０が右に移動しました。スクリーンを左に移動してください。」、「スクリーン１０が右に移動しました。プロジェクタを右に移動してください。」といったメッセージを示すメッセージ画像を投写してもよい。また、メッセージ画像を表示する通知手段以外も、例えば、音声や、光を用いてユーザーに通知する通知手段をプロジェクタ２０に設けてもよい。

これにより、プロジェクタ２０は、ユーザーに適切な指示を与えることができ、キャリブレーション処理を再実行しなくて済む。

また、投写対象物は、スクリーン１０に限定されず、画像を反射する種々の投写対象物を採用可能である。例えば、投写対象物として、ホワイトボード、気球、風船等を採用してもよい。すなわち、例えば、気球に画像を投写して広告を行う場合等にも本発明を適用可能である。

また、スクリーン１０のアスペクト比は所望のアスペクト比と一致している必要はない。例えば、スクリーン１０が所望のアスペクト比と比べて横長である場合、調整部１３０は、コンテンツ画像の両端の余白部分を黒色にし、スクリーン１０からはみ出る部分を赤色にした編集画像を用いてもよい。

また、上述した実施例では、位置変化検出用画像は、コンテンツ画像の周囲に設けられていたが、コンテンツ画像の上下のみ、左右のみに設けられていてもよく、コンテンツ画像の外部の一部に設けられていてもよい。

また、上述した実施例では、判定部１６０は、注目領域１４の色によって位置変化の有無を判定したが、例えば、注目領域１４を構成する全画素の輝度値、全画素の輝度値の平均値等によって位置変化の有無を判定してもよい。

また、プロジェクタ２０の構成は図２に示す例に限定されない。例えば、調整部１３０には補正部１３２、制御部１３４のどちらか一方の機能だけを設けてもよい。

また、上述した実施例では、投写画像１２を９等分してその中央の領域である中央領域を基準としたが、プロジェクタ２０がスクリーン１０内に投写画像の中央領域を捉えることができるものであれば、中央領域の大きさ、位置は任意でよい。

また、上述した実施例では、プロジェクタ２０は、スクリーン１０の位置が変化したことを検出したが、プロジェクタ２０の位置が変化したことを検出できることはもちろんである。

また、判定部１６０は、投写対象領域１１の外部と内部に注目領域１４を設定してもよい。

また、上述した実施例では、画像処理システムとしてプロジェクタ２０を用いたが、プロジェクタ２０以外の投写型表示装置を用いてもよい。

また、プロジェクタ２０としては、例えば、液晶プロジェクタ、ＤＭＤ(Digital Micromirror Device)を用いたプロジェクタ等を用いてもよい。なお、ＤＭＤは米国テキサスインスツルメンツ社の商標である。

また、上述したプロジェクタ２０の機能は、例えば、プロジェクタ単体で実装してもよいし、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実装してもよい。

第１の実施例における画像投写時の状態を示す模式図である。 第１の実施例におけるプロジェクタの機能ブロック図である。 第１の実施例におけるプロジェクタのハードウェアブロック図である。 第１の実施例における画像処理の流れを示すフローチャートである。 第１の実施例における撮像領域を示す模式図である。 第１の実施例における台形歪み補正後の撮像画像の模式図である。 第１の実施例における移動後の撮像画像の模式図である。 第２の実施例における台形歪み補正後の撮像画像の模式図である。 第２の実施例における移動後の撮像画像の模式図である。 第３の実施例における移動後の撮像画像の模式図である。

符号の説明

１０ スクリーン（投写対象物）、１２ 投写画像、２０ プロジェクタ（画像処理システム）、６０ センサー、１２０ 補正値導出部、１３０ 調整部、１４０ 投写対象領域情報生成部、１５０ 投写領域情報生成部、１６０ 判定部、１７０ キャリブレーション画像情報生成部、１８０ 撮像部、１９０ 投写部、９００ 情報記憶媒体

Claims (10)

1. 入力画像情報に基づくコンテンツ画像と、当該コンテンツ画像の外部の少なくとも一部に設けられた位置変化検出用画像とを含む編集画像を投写するための編集画像情報を生成する調整手段と、
   前記編集画像が投写される投写対象物を撮像して撮像画像を示す撮像情報を生成する撮像手段と、
   前記入力画像情報に基づき、前記コンテンツ画像を投写するとともに、前記編集画像情報に基づき、前記編集画像を投写する投写手段と、
   前記撮像情報に基づき、前記投写手段と前記投写対象物との相対的な位置が変化したかどうかを判定する判定手段と、
   を含み、
   前記判定手段は、前記撮像画像内の前記投写対象物に相当する投写対象領域における前記位置変化検出用画像の有無を判定することにより、前記相対的な位置の変化を判定することを特徴とする画像処理システム。
2. 請求項１において、
   前記位置変化検出用画像は、前記コンテンツ画像の外部の上下左右にそれぞれ設けられ、
   前記判定手段は、前記撮像画像における前記位置変化検出用画像の検出状態に応じて前記相対的な位置の移動方向および移動量の少なくとも一方を判定することを特徴とする画像処理システム。
3. 請求項１、２のいずれかにおいて、
   前記撮像画像における画素ごとの画像信号値の相違に基づき、前記撮像画像内の前記投写対象領域の位置に関する投写対象領域情報を生成する投写対象領域情報生成手段を含み、
   前記判定手段は、前記撮像情報と、前記投写対象領域情報情報とに基づき、前記相対的な位置の変化を判定することを特徴とする画像処理システム。
4. 請求項１〜３のいずれかにおいて、
   前記調整手段は、前記判定手段によって前記相対的な位置が変化したと判定された場合、前記入力画像情報に対する補正量および前記投写手段に含まれる投写制御部の制御量の少なくとも一方を、前記判定手段の判定結果に応じて調整することを特徴とする画像処理システム。
5. 請求項３に従属する請求項４において、
   前記撮像画像における画素ごとの画像信号値の相違に基づき、前記撮像画像における前記画像に相当する投写領域の位置に関する投写領域情報を生成する投写領域情報生成手段と、
   前記投写対象領域情報と、前記投写領域情報とに基づき、前記投写対象物における前記画像の歪みに対する補正値を導出する補正値導出手段と、
   を含み、
   前記調整手段は、前記補正値に基づき、前記画像の歪みが補正されるように、前記補正量および前記制御量の少なくとも一方を調整することを特徴とする画像処理システム。
6. 請求項１〜５のいずれかにおいて、
   前記判定手段によって前記相対的な位置が変化したと判定された場合、前記相対的な位置が変化したことを、画像、音声、光のうちの少なくとも１つを用いてユーザーに通知する通知手段を含むことを特徴とする画像処理システム。
7. 請求項１〜６のいずれかに記載の画像処理システムを有することを特徴とするプロジェクタ。
8. 撮像手段と、投写手段と、判定手段とを有するコンピュータにより読み取り可能なプログラムであって、
   前記コンピュータに、
   前記投写手段が、入力画像情報に基づくコンテンツ画像の外部の少なくとも一部に位置変化検出用画像を含む画像を投写し、
   前記撮像手段が、前記画像が投写される投写対象物を撮像して撮像画像を示す撮像情報を生成し、
   前記判定手段が、前記撮像情報に基づき、前記投写手段と前記投写対象物との相対的な位置が変化したかどうかを判定するための処理を実行させ、
   前記撮像手段は、前記投写対象領域を含む撮像範囲で撮像し、
   前記判定手段は、前記撮像画像内の前記投写対象物に相当する投写対象領域における前記位置変化検出用画像の有無を判定することにより、前記相対的な位置の変化を判定することを特徴とするプログラム。
9. コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
   請求項８に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
10. 撮像手段と、投写手段と、判定手段とを有するコンピュータによる画像処理方法であって、
    前記投写手段が、入力画像情報に基づくコンテンツ画像の外部の少なくとも一部に位置変化検出用画像を含む画像を投写し、
    前記撮像手段が、前記画像が投写される投写対象物を撮像して撮像画像を示す撮像情報を生成し、
    前記判定手段が、前記撮像情報に基づき、前記投写手段と前記投写対象物との相対的な位置が変化したかどうかを判定し、
    前記撮像手段は、前記投写対象物を撮像する際に、前記投写対象領域を含む撮像範囲で撮像し、
    前記判定手段は、前記相対的な位置の変化を判定する際に、前記撮像画像内の前記投写対象物に相当する投写対象領域における前記位置変化検出用画像の有無を判定することにより、前記相対的な位置の変化を判定することを特徴とする画像処理方法。

Images