JP6464968B2 - 投影制御装置、プログラム、及び投影システム - Google Patents

Description

本発明は、投影面に映像を投影する投影システムの技術分野に関する。

従来、プロジェクターから投影される投影画像の投影範囲内に存在する人物への視覚的刺激を減らすため、投影画像の人物に投影される領域をマスクした画像を投影する装置が知られている。例えば特許文献１に開示された投射型表示装置は、投影する元の画像と、カメラにより撮像された投影画像とを比較して、異なる領域を差分領域として検出し、この差分領域を黒信号でマスクした画像を生成し、生成した画像をスクリーン上に投影するように構成されている。

特開２００４−２５４１４５号公報

ところで、投影画像の投影範囲内に存在する人物と、投影面及び人物に投影された投影画像とをカメラで撮像して記録する場合、カメラから見て人物は投影面の手前に位置するため、プロジェクターから発せられた光の強さによっては、背景と人物とをカメラで撮像した画像に比べ、違和感のある不自然な画像が記録されてしまうことがある。このような違和感のある不自然な画像の例として、人物の領域が白飛びした画像、人物の服の色が原色から変化した画像、人物の影が映り込んだ画像などが挙げられる。さらに、人物とプロジェクターとの位置関係によっては、プロジェクターから発せられた光が人物に均等に当たらない場合もある。この場合、人物の領域内でも、例えば光の強さにより白飛びした領域とそうでない領域とが混在した画像や、光の強さにより色が変化した領域とそうでない領域が混在した画像が記録されてしまうことがある。

本発明は、以上の点に鑑みてなされたものであり、投影画像の投影範囲内に存在する対象物（例えば人物）と、投影面及び対象物に投影された投影画像とを撮像する場合であっても、違和感のない自然な画像を撮像して記録することが可能な投影制御装置、プログラム、及び投影システムを提供する。

上記課題を解決するために、請求項１に記載の発明は、投影装置により投影面に投影させる画像を記憶する第１記憶手段と、前記画像の投影範囲内に存在する対象物の領域から人物の顔の領域を検出する検出手段と、前記画像に対し、前記画像の投影範囲内に存在する対象物の領域内で、前記投影装置から発せられる光の反射率が相対的に高い領域に対応する前記画像の領域の階調を、前記反射率が相対的に低い領域に対応する前記画像の領域の階調より、低く設定する設定手段であって、前記検出手段により検出された前記顔の領域に対応する前記画像の領域内は、前記領域の周囲より階調が高いグレー階調を設定する設定手段と、前記設定手段により前記階調が設定された前記領域を含む前記画像を投影画像として前記投影装置に投影させる制御手段と、前記投影画像の投影範囲内に存在する対象物と、前記投影装置より前記投影面及び前記対象物に投影された前記投影画像とを撮像画像として撮像装置が撮像した前記撮像画像を取得する取得手段と、前記取得手段により取得された前記撮像画像を記憶する第２記憶手段と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の投影制御装置において、前記設定手段は、前記反射率が前記高い領域から前記低い領域へ、順に階調が高くなるグレー階調を設定することを特徴とする。

請求項３に記載の発明は、請求項２に記載の投影制御装置において、前記反射率に応じて階調が異なるグレー階調が前記画像と共通する座標系に定められた階調変化テーブルを作成する作成手段を更に備え、前記設定手段は、前記階調変化テーブルにしたがって、前記反射率が前記高い領域から前記低い領域へ、順に階調が高くなるグレー階調を設定することを特徴とする。

請求項４に記載の発明は、投影装置により投影面に投影させる画像を記憶手段に記憶するステップと、前記画像の投影範囲内に存在する対象物の領域から人物の顔の領域を検出するステップと、前記画像に対し、前記画像の投影範囲内に存在する対象物の領域内で、前記投影装置から発せられる光の反射率が相対的に高い領域に対応する前記画像の領域の階調を、前記反射率が相対的に低い領域に対応する前記画像の領域の階調より、低く設定するステップであって、前記検出された前記顔の領域に対応する前記画像の領域内は、前記領域の周囲より階調が高いグレー階調を設定するステップと、前記階調が設定された前記領域を含む前記画像を投影画像として前記投影装置に投影させるステップと、記投影画像の投影範囲内に存在する対象物と、前記投影装置より前記投影面及び前記対象物に投影された前記投影画像とを撮像画像として撮像装置が撮像した前記撮像画像を取得するステップと、前記取得された前記撮像画像を前記記憶手段に記憶するステップと、をコンピュータに実行させることを特徴とする。

請求項５に記載の発明は、画像を投影面に投影する投影装置と、前記投影された画像を撮像する撮像装置と、前記投影を制御する投影制御装置と、を備える投影システムであって、前記投影制御装置は、前記投影装置により投影面に投影させる画像を記憶する第１記憶手段と、前記画像の投影範囲内に存在する対象物の領域から人物の顔の領域を検出する検出手段と、前記画像に対し、前記画像の投影範囲内に存在する対象物の領域内で、前記投影装置から発せられる光の反射率が相対的に高い領域に対応する前記画像の領域の階調を、前記反射率が相対的に低い領域に対応する前記画像の領域の階調より、低く設定する設定手段であって、前記検出手段により検出された前記顔の領域に対応する前記画像の領域内は、前記領域の周囲より階調が高いグレー階調を設定する設定手段と、前記設定手段により前記階調が設定された前記領域を含む前記画像を投影画像として投影させる投影指令を前記投影装置へ出力する制御手段と、を備え、前記投影装置は、前記投影制御装置からの前記投影指令に応じて、前記投影面及び前記対象物に前記投影画像を投影する投影手段を備え、前記撮像装置は、前記投影画像の投影範囲内に存在する対象物と、前記投影装置より前記投影面及び前記対象物に投影された前記投影画像とを撮像画像として撮像する撮像手段を備え、前記投影制御装置は、前記撮像装置により撮像された前記撮像画像を取得する取得手段と、前記取得手段により取得された前記撮像画像を記憶する第２記憶手段と、を備えることを特徴とする。

請求項１、４、５に記載の発明によれば、投影画像の投影範囲内に存在する対象物と、投影面及び対象物に投影された投影画像とを撮像する場合であっても、違和感のない自然な画像を撮像して記録することができ、人物の顔の部分がより見栄えの良い自然な画像を撮像して記録することができる。

請求項２、３に記載の発明によれば、投影画像の投影範囲内に存在する対象物内で、より滑らかな自然な画像を撮像して記録することができる。

（Ａ）は、本実施形態の投影システムＳの概要構成例を示す図である。（Ｂ）は、投影システムＳが利用される部屋の上方から見た部屋内に配置された装置の位置関係の一例を表す図である。 （Ａ）は、投影制御処理中の指示受付処理の一例を示すフローチャートである。（Ｂ）は、ディスプレイ５に表示された指示受付画面の一例を示す図である。 線形補完LUT作成処理の一例を示すフローチャートである。 白黒パターン画像ＰＯ１と黒白パターン画像ＯＰ２と別々に投影して撮像することで合成画像Ｐ３を生成する例を示す概念図である。 プロジェクターの座標（ｘ_ｐ,ｙ_ｐ）とカメラの座標（ｘ_ｃ,ｙ_ｃ）との対応付ける例を示す概念図である。 線形補完LUTの一例を示す概念図である。 投影及び撮像処理の一例を示すフローチャートである。 （Ａ）は、差分画像生成処理の一例を示すフローチャートである。（Ｂ）は、マスク補正画像生成処理の一例を示すフローチャートである。 背景画像Ｂ、撮像画像Ｃ１、差分画像Ｄ、及びマスク補正画像Ｍの一例を示す図である。 美白モード用LUTの一例を示す概念図である。

以下、本発明の実施形態を図面に基づいて説明する。

［１．投影システムの構成及び動作概要］
はじめに、図１等を参照して、本実施形態の投影システムＳの構成及び動作概要について説明する。投影システムＳは、図１（Ａ）に示すように、映像再生装置１、プロジェクター２、カメラ３、操作機器４、ディスプレイ５、及び投影制御装置６等を備えて構成される。映像再生装置１及びプロジェクター２は、投影装置の一例である。カメラ３は、撮像装置の一例である。投影システムＳは、例えばカラオケ店舗等のアミューズメント施設における部屋で利用される。映像再生装置１、カメラ３、操作機器４、及びディスプレイ５は、有線または無線を介して投影制御装置６と接続される。プロジェクター２は、有線または無線を介して映像再生装置１と接続される。

映像再生装置１は、画像（映像）を再生する装置である。画像には、静止画像と動画像とがある。動画像は、例えば複数の静止画像の画像フレームが時系列で切り替えられることで表示される。映像再生装置１は、例えば投影制御装置６から指示された画像を再生し、その画像信号をプロジェクター２へ出力する。再生される画像の画像データは、映像再生装置１の図示しない記憶部に記憶される。或いは、映像再生装置１が、再生する画像の画像データを投影制御装置６の記憶部から取得してもよい。プロジェクター２は、映像再生装置１により再生出力された画像信号に応じた光を発光部から発することにより画像を出力する。これにより、プロジェクター２は、投影手段として、その投影角に収まる投影範囲の投影面に画像（以下、「投影画像」という）を投影する。投影画像の例として、オリジナル画像、及びマスク補正画像Ｍなどが挙げられる。オリジナル画像は、例えば画像提供元から提供される画像である。オリジナル画像の例として、アーティストのプロモーション画像、企業または商品の広告画像などが挙げられる。マスク補正画像Ｍは、オリジナル画像の一部領域にマスク補正処理を行った画像である。このマスク補正処理では、オリジナル画像の投影範囲内に存在する対象物（例えば人物）の領域内で、プロジェクター２から発せられる光の反射率が相対的に高い領域に対応する領域（オリジナル画像における一部領域）の階調が低く設定され、上記反射率が相対的に低い領域に対応する領域（オリジナル画像における他の一部領域）の階調が高く設定される。なお、このマスク補正処理の詳細は後述する。

図１（Ｂ）の例では、プロジェクター２は、部屋の上部（例えば天井）に設置され、壁面aの一部と壁面bの一部と人物とを含む投影面に画像を投影している。なお、部屋の天井面または床面が、投影面であってもよい。また、投影面は曲面であってもよい。また、プロジェクター２は、部屋内に複数台配置されてもよい。この場合、それぞれのプロジェクター２は、それぞれ異なる位置に配置され、それぞれの位置から、それぞれの投影角に収まる投影範囲の投影面に画像を投影する。このとき、それぞれのプロジェクター２は、互いの投影範囲の一部を重ならせて、それぞれ画像を投影してもよい。プロジェクター２が複数台配置される場合、１台の映像再生装置１に複数台のプロジェクター２が接続されてもよいし、複数台の映像再生装置１それぞれに１台ずつプロジェクター２が接続されてもよい。また、映像再生装置１は、投影制御装置６内に組み込まれていてもよい。

カメラ３は、その画角に収まる撮像範囲を撮像する撮像手段を備える。図１（Ｂ）の例では、カメラ３は、投影画像の投影範囲内に存在する人物と、プロジェクター２により投影面及び人物に投影された投影画像とを撮像画像として撮像する。つまり、図１（Ｂ）に示す撮像範囲が撮像される。カメラ３により撮像された撮像画像は、投影制御装置６の記憶部に記憶される。なお、投影画像には、上述したように、オリジナル画像とマスク補正画像Ｍとの２種類ある。このため、オリジナル画像を投影したときの撮像画像（以下、「撮像画像Ｃ１」という）と、マスク補正画像Ｍを投影したときの撮像画像（以下、「撮像画像Ｃ２」という）と、が少なくとも記憶部に記憶されることになる。カメラ３には、例えば、ＲＧＢカメラが用いられる。

操作機器４は、ユーザから操作指示を受け付け、その操作指示を示す指示信号を投影制御装置６へ出力する。ディスプレイ５には指示受付画面が表示される。指示受付画面には、LUT（ルックアップテーブル）作成開始ボタン、通常モード設定ボタン、美白モード設定ボタン、及び投影・撮像開始ボタン等が表示される。LUT作成開始ボタンは、上記マスク補正処理で用いられる線形補完LUTの作成を投影制御装置６に指示するためのボタンである。線形補完LUTの詳細は後述する。ユーザが操作機器４を操作してLUT作成開始ボタンを指定すると、線形補完LUT作成指示を示す指示信号が投影制御装置６へ出力される。通常モード設定ボタンは、通常モードの設定を投影制御装置６に指示するためのボタンである。ここで、通常モードは、マスク補正処理の実行モードの一例であり、線形補完LUTを用いて上記マスク補正処理を実行するモードである。ユーザが操作機器４を操作して、通常モード設定ボタンを指定すると、通常モード設定指示を示す指示信号が投影制御装置６へ出力される。美白モード設定ボタンは、美白モードの設定を投影制御装置６に指示するためのボタンである。ここで、美白モードは、マスク補正処理の実行モードの一例であり、線形補完LUTをベースに作成されたLUT（以下、「美白モード用LUT」という）を用いて上記マスク補正処理を実行するモードである。ユーザが操作機器４を操作して、美白モード設定ボタンを指定すると、美白モード設定指示を示す指示信号が投影制御装置６へ出力される。美白モード用LUTの詳細は後述する。投影・撮像開始ボタンは、画像の投影及び撮像開始を投影制御装置６に指示するためのボタンである。ユーザが操作機器４を操作して投影・撮像開始ボタンを指定すると、画像の投影及び撮像開始指示を示す指示信号が投影制御装置６へ出力される。なお、操作機器４及びディスプレイ５は一体型のタッチパネルディスプレイであってもよい。

投影制御装置６は、画像の投影制御等を行う装置である。投影制御装置６は、図１（Ａ）に示すように、ＩＦ６１a〜６１d、記憶部６２、及び制御部６３を備える。ＩＦ６１a〜６１d、記憶部６２、及び制御部６３は、バス６４に接続されている。ＩＦ６１aは、映像再生装置１と投影制御装置６との間のインターフェースである。ＩＦ６１bは、カメラ３と投影制御装置６との間のインターフェースである。ＩＦ６１cは、操作機器４と投影制御装置６との間のインターフェースである。ＩＦ６１dは、ディスプレイ５と投影制御装置６との間のインターフェースである。

記憶部６２は、例えばハードディスクドライブにより構成される。記憶部６２は、第１記憶手段、及び第２記憶手段の一例である。記憶部６２には、ＯＳ（Operating System）、及び本発明のプログラム等が記憶される。本発明のプログラムは、後述する制御処理をＣＰＵに実行させるプログラムである。また、記憶部６２には、プロジェクター２により投影されるオリジナル画像の画像データが記憶される。また、記憶部６２には、カメラ３により撮像された撮像画像Ｄ１の画像データ、及びカメラ３により撮像された撮像画像Ｄ２の画像データなどが記憶される。制御部６３は、コンピュータとしてのＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等により構成される。制御部６３は、本発明の設定手段、制御手段、取得手段、作成手段、及び検出手段の一例である。制御部６３は、本発明のプログラムに従って投影制御処理を実行する。

［２．投影制御装置６の投影制御処理］
次に、図２等を参照して、本実施形態の投影制御装置６の投影制御処理について説明する。図２（Ａ）に示す処理は、例えば投影制御装置６の電源入により開始される。図２（Ａ）に示す処理が開始されると、制御部６３は、例えば図２（Ｂ）に示す指示受付画面をディスプレイ５に表示し（ステップＳ１）、ユーザからの操作指示の入力待ちの状態となる。次いで、制御部６３は、線形補完LUT作成指示があったか否かを判定する（ステップＳ２）。例えば、ユーザが操作機器４を操作して指示受付画面に表示されたLUT作成開始ボタン５１を指定することで、線形補完LUT作成指示を示す指示信号が投影制御装置６に入力されると、制御部６３は、線形補完LUT作成指示があったと判定する。制御部６３は、線形補完LUT作成指示があったと判定した場合（ステップＳ２：ＹＥＳ）、ステップＳ３へ進む。一方、制御部６３は、線形補完LUT作成指示がないと判定した場合（ステップＳ２：ＮＯ）、ステップＳ４へ進む。

ステップＳ３では、制御部６３は、線形補完LUT作成処理を実行する。ここで、図３を参照して、線形補完LUT作成処理の一例を説明する。図３に示すステップＳ３１では、制御部６３は、白黒パターン画像ＯＰ１の投影指令を映像再生装置１へ送信する。白黒パターン画像ＯＰ１は、図４（Ａ）に示すように、グレー階調から構成され、白色領域と黒色領域が所定数だけ交互に繰り返される画像である。なお、図４（Ａ）の例では、交互に繰り返される白色領域と黒色領域の数は、それぞれ４つであるが、それぞれ５つ以上であってもよい。白黒パターン画像ＰＯ１における白色領域のグレー階調は、例えば“２５５”に設定され、白黒パターン画像ＯＰ１における黒色領域のグレー階調は、例えば“０”に設定される。白黒パターン画像ＯＰ１の画像データは、映像再生装置１の記憶部に予め記憶されていてもよいし、白黒パターン画像ＯＰ１の投影指令と共に映像再生装置１へ送信されてもよい。映像再生装置１は、投影制御装置６から白黒パターン画像ＯＰ１の投影指令を受信すると、白黒パターン画像ＯＰ１を再生し、その画像信号をプロジェクター２へ出力する。プロジェクター２は、再生出力された画像信号に従って白黒パターン画像ＯＰ１を投影画像として投影範囲の投影面に投影する。このときの投影範囲内には人物が存在しない。

次いで、制御部６３は、白黒パターン画像ＯＰ１の撮像指令をカメラ３へ送信する（ステップＳ３２）。カメラ３は、投影制御装置６から白黒パターン画像ＯＰ１の撮像指令を受信すると、カメラ３の画角に収まる撮像範囲内の白黒パターン画像ＯＰ１を、図４（Ｂ）に示すような撮像画像Ｐ１として撮像し、撮像した撮像画像Ｐ１を投影制御装置６へ送信する。図４（Ｂ）に示す撮像画像Ｐ１では、原点（0,0)からのｙ軸方向における距離が大きい白色領域ほど、グレー階調は減少（つまり、明るさが減少）している。これは、原点（0,0)からのｙ軸方向における距離が大きいほど、プロジェクター２の設置位置から遠くなるからである。なお、黒色領域についても、プロジェクター２の設置位置から遠くなるにつれて、グレー階調が変化することになる。次いで、制御部６３は、カメラ３から、撮像画像Ｐ１を取得（受信）して記録する（ステップＳ３３）。これにより、例えば、撮像画像Ｐ１の画像データと、撮像画像Ｐ１の識別ＩＤ（例えば、画像取得時に生成）とが対応付けられて記憶部６２に記憶される。

ところで、プロジェクター２から出力される投影画像における座標（以下、「プロジェクターの座標」という）と、カメラ３により撮像される撮像画像における座標（以下、「カメラの座標」という）とは一致しない場合がある。例えば、図５（Ａ）に示すように壁面aと壁面bとを跨って、図５（Ｂ）に示す白黒パターン画像ＯＰ１が投影された場合において、この白黒パターン画像ＯＰ１をカメラ３で撮像すると、本来直線状である筈の輪郭（つまり、白色領域及び黒色領域の輪郭）が、図５（Ｃ）に示す撮像画像Ｐ０のように屈折した状態で撮像されてしまう。このようなことが想定される場合、プロジェクターの座標（ｘ_ｐ,ｙ_ｐ）とカメラの座標（ｘ_ｃ,ｙ_ｃ）とを対応付ける事前処理が、例えば線形補完LUT作成処理の実行前に行われ、プロジェクターの座標（ｘ_ｐ,ｙ_ｐ）とカメラの座標（ｘ_ｃ,ｙ_ｃ）とを対応付ける対応付けテーブルが作成される。プロジェクターの座標（ｘ_ｐ,ｙ_ｐ）とカメラの座標（ｘ_ｃ,ｙ_ｃ）との対応付けは、例えば、J.BATTLEらによる“RECENT PROGRESS IN CODED STRUCTURED LIGHT AS A TECHNIQUE TO SOLVE THE CORRESPONDENCE PROBLEM: A SURVEY” Pattern （Recognition,Vol.31,No.7,pp.963-982,1998）に記載された方法を用いるとよい。これにより、例えば、図５（Ｂ）に示す白黒パターン画像ＯＰ１における座標（ｘ_ｐ0,ｙ_ｐ0）は、図５（Ｃ）に示す撮像画像Ｐ０における座標（ｘ_ｃ0,ｙ_ｃ0）に対応付けられる。対応付けテーブルを用いる場合の制御部６３は、カメラ３から、撮像画像Ｐ１を取得すると、予め作成された対応付けテーブルにしたがって、撮像画像Ｐ１におけるカメラの座標（ｘ_ｃ,ｙ_ｃ）を、プロジェクターの座標（ｘ_ｐ,ｙ_ｐ）に変換し、座標が変換された撮像画像Ｐ１を記録する（ステップＳ３３）。

次いで、制御部６３は、黒白パターン画像ＯＰ２の投影指令を映像再生装置１へ送信する（ステップＳ３４）。黒白パターン画像ＯＰ２は、図４（Ｃ）に示すように、図４（Ａ）に示す白黒パターン画像ＯＰ１の白色領域と黒色領域とを反転させた白黒反転パターン画像であり、グレー階調（階調値）から構成され、黒色領域と白色領域が所定数だけ交互に繰り返される画像である。図４（Ｃ）に示す黒白パターン画像ＯＰ２における黒色領域のグレー階調は、例えば“０”に設定され、黒白パターン画像ＯＰ２における白色領域のグレー階調は、例えば“２５５”に設定される。なお、図４（Ｃ）の例では、交互に繰り返される黒色領域と白色領域の数は、図４（Ａ）と同様、それぞれ４つであるが、それぞれ５つ以上であってもよい。黒白パターン画像ＯＰ２の画像データは、映像再生装置１の記憶部に予め記憶されていてもよいし、黒白パターン画像ＯＰ２の投影指令と共に映像再生装置１へ送信されてもよい。映像再生装置１は、投影制御装置６から黒白パターン画像ＯＰ２の投影指令を受信すると、図４（Ｃ）に示す黒白パターン画像ＯＰ２を再生し、その画像信号をプロジェクター２へ出力する。プロジェクター２は、再生出力された画像信号に従って黒白パターン画像ＯＰ２を投影画像として投影範囲の投影面に投影する。このときの投影範囲内には人物が存在しない。

次いで、制御部６３は、黒白パターン画像ＯＰ２の撮像指令をカメラ３へ送信する（ステップＳ３５）。カメラ３は、投影制御装置６から黒白パターン画像ＯＰ２の撮像指令を受信すると、カメラ３の画角に収まる撮像範囲内の黒白パターン画像ＯＰ２を、図４（Ｄ）に示すような撮像画像Ｐ２として撮像し、撮像した撮像画像Ｐ２を投影制御装置６へ送信する。図４（Ｄ）に示す撮像画像Ｐ２では、図４（Ｂ）と同様、原点（0,0)からのｙ軸方向における距離が大きい白色領域ほど、グレー階調は減少している。次いで、制御部６３は、カメラ３から、撮像画像Ｐ２を取得（受信）して記録する（ステップＳ３６）。これにより、例えば、撮像画像Ｐ２の画像データと、撮像画像Ｐ２の識別ＩＤとが対応付けられて記憶部６２に記憶される。なお、上述した白黒パターン画像の撮像の場合と同様、対応付けテーブルを用いる場合の制御部６３は、カメラ３から、撮像画像Ｐ２を取得すると、予め作成された対応付けテーブルにしたがって、撮像画像Ｐ２におけるカメラの座標（ｘ_ｃ,ｙ_ｃ）を、プロジェクターの座標（ｘ_ｐ,ｙ_ｐ）に変換し、座標が変換された撮像画像Ｐ２を記録する（ステップＳ３６）。

次いで、制御部６３は、ステップＳ３３で記録された撮像画像Ｐ１と、ステップＳ３５で記録された撮像画像Ｐ２とのそれぞれの白色領域を合成した合成画像Ｐ３（図４（Ｅ））を生成して記録する（ステップＳ３７）。例えば、制御部６３は、撮像画像Ｐ１を構成する画素（例えば、白色領域において、ある座標（300,200）の画素）の階調値（例えば、２５４）と、撮像画像Ｐ２を構成する画素（例えば、黒色領域において、上記座標（300,200）の画素）の階調値（例えば、３）との差（絶対値）に相当する階調値（例えば、２５２）を、その画素の階調値として設定する。このような処理が全ての画素について行われることで合成画像Ｐ３が生成される。

次いで、制御部６３は、ステップＳ３７で生成された合成画像Ｐ３から、反射率マップを作成する（ステップＳ３８）。ここでの反射率は、プロジェクター２から発せられる光の投影面での反射率を意味する。プロジェクター２の設置位置から近い領域（被写体の領域）ほど、その領域からの光の反射率が高くなると考えられるため、反射率を判断することにより、プロジェクター２からの光の強さを推量することが可能である。反射率マップは、画素毎に反射率を定めたマップである。反射率マップにおける各座標（ｘ,ｙ）は、合成画像Ｐ３における各座標（ｘ_ｐ,ｙ_ｐ）に対応する。合成画像Ｐ３を構成する各画素の階調値Gray（ｘ_ｐ,ｙ_ｐ）が高い（白色に近い）ほど、反射率マップにおいて対応する座標の反射率が高くなるように定められる。反射率は、例えば下記（１）式で算出される。なお、（ｘ,ｙ）は、座標を示す関数である。

反射率Ｒ（ｘ,ｙ）＝（２５５−Gray（ｘ_ｐ,ｙ_ｐ））／２５５・・・（１）

次いで、制御部６３は、ステップＳ３８で作成された反射率マップから、線形補完LUTを作成し（ステップＳ３９）、図２（Ａ）に示す処理に戻る。例えば、制御部６３は、図６（Ａ）,（Ｂ）に示すように、反射率マップにおける各反射率Ｒ（ｘ,ｙ）を反転して投影強度Ｌ（ｘ,ｙ）に算出する。投影強度は、プロジェクター２から発せられる光の強さを意味する。なお、撮像画像Ｐ３では、ｘ軸方向における座標ｘの変化に依らず階調値が一定であるので、図６（Ａ）,（Ｂ）では、座標ｘを省略している。そして、制御部６３は、図６（Ｂ）,（Ｃ）に示すように、算出した投影強度Ｌ（ｘ,ｙ）のｙ軸方向における回帰直線を求めることで、線形補完LUTを作成する。このように作成される線形補完LUTは、反射率が高いほど階調が低いグレー階調（つまり、反射率に応じて階調が異なる）が画像と共通する座標系に定められた階調変化テーブルの一例であり、画素毎にグレー階調として階調値LUT（ｘ,ｙ）を定めている。グレー階調においては、階調が低いほど、濃い、すなわち黒色に近い階調である。線形補完LUTによれば、プロジェクター２から発せられた光の反射率が相対的に高かった領域（被写体の領域）へ照射する光の投影強度を低くする一方、光の反射率が相対的に低かった領域へ照射する光の投影強度を高く（つまり、プロジェクター２から発せられる光を強く）することができる。この例では、LUT（ｘ,ｙ）＝LUT（ｙ）となり、図６（Ｄ）に示すように、ｘ座標は線形補完LUTの階調値に関係しない。このようにして作成された線形補完LUTは、例えば記憶部６２に記憶される。なお、上記線形補完LUTは、無彩色のグレー階調（無彩色）で定めるように構成したが、有彩色（例えば、ＲＧＢ）の階調で定めるように構成してもよい。

ステップＳ４では、制御部６３は、通常モード設定指示があったか否かを判定する。例えば、ユーザが操作機器４を操作して指示受付画面に表示された通常モード設定ボタン５２を指定することで、通常モード設定指示を示す指示信号が投影制御装置６に入力されると、制御部６３は、通常モード設定指示があったと判定する。制御部６３は、通常モード設定指示があったと判定した場合（ステップＳ４：ＹＥＳ）、マスク補正処理の実行モードとして、通常モードを設定する（ステップＳ５）。一方、制御部６３は、通常モード設定指示がないと判定した場合（ステップＳ４：ＮＯ）、ステップＳ６へ進む。

ステップＳ６では、制御部６３は、美白モード設定指示があったか否かを判定する。例えば、ユーザが操作機器４を操作して指示受付画面に表示された美白モード設定ボタン５３を指定することで、美白モード設定指示を示す指示信号が投影制御装置６に入力されると、制御部６３は、美白モード設定指示があったと判定する。制御部６３は、美白モード設定指示があったと判定した場合（ステップＳ６：ＹＥＳ）、マスク補正処理の実行モードとして、美白モードを設定する（ステップＳ７）。一方、制御部６３は、美白モード設定指示がないと判定した場合（ステップＳ６：ＮＯ）、ステップＳ８へ進む。

ステップＳ８では、制御部６３は、投影及び撮像開始指示があったか否かを判定する。例えば、ユーザが操作機器４を操作して指示受付画面に表示された投影・撮像開始ボタン５４を指定することで、投影・撮像開始指示を示す指示信号が投影制御装置６に入力されると、制御部６３は、投影・撮像開始指示があったと判定する。制御部６３は、投影及び撮像開始指示があったと判定した場合（ステップＳ８：ＹＥＳ）、ステップＳ９へ進む。一方、制御部６３は、投影及び撮像開始指示がないと判定した場合（ステップＳ８：ＮＯ）、ステップＳ１０へ進む。ステップＳ１０では、制御部６３は、終了指示があったか否かを判定する。制御部６３は、終了指示がないと判定した場合（ステップＳ１０：ＮＯ）、ステップＳ２に戻る。一方、制御部６３は、終了指示があったと判定した場合（ステップＳ１０：ＹＥＳ）、図２（Ａ）に示す処理を終了する。

ステップＳ９では、制御部６３は、投影及び撮像処理を実行する。ここで、図７を参照して、投影及び撮像処理の一例を説明する。図７に示すステップＳ９１では、制御部６３は、差分画像生成処理を実行する。図８（Ａ）に示す差分画像生成処理では、制御部６３は、背景画像Ｂの投影指令を映像再生装置１へ送信する（ステップＳ９１１）。背景画像Ｂは、例えば、上述したオリジナル画像（例えば、図９（Ａ））である。オリジナル画像の画像データは、映像再生装置１の記憶部に予め記憶されていてもよいし、背景画像Ｂの投影指令と共に映像再生装置１へ送信されてもよい。映像再生装置１は、投影制御装置６から背景画像Ｂの投影指令を受信すると、背景画像Ｂを再生し、その画像信号をプロジェクター２へ出力する。プロジェクター２は、再生出力された画像信号に従って背景画像Ｂを投影画像として投影範囲の投影面に投影する。このときの投影範囲内には、図１（Ｂ）に示すように人物が存在する。なお、図１（Ｂ）の例では、対象物の例として人物を示しているが、人物以外の動物、或いは物品等であってもよい。

次いで、制御部６３は、背景画像Ｂの撮像指令をカメラ３へ送信する（ステップＳ９１２）。カメラ３は、投影制御装置６から背景画像Ｂの撮像指令を受信すると、カメラ３の画角に収まる撮像範囲内の背景画像Ｂ（投影画像）を撮像画像Ｃ１（例えば、図９（Ｂ））として撮像し、撮像した撮像画像Ｃ１を投影制御装置６へ送信する。次いで、制御部６３は、カメラ３から、撮像画像Ｃ１を取得（受信）して記録する（ステップＳ９１３）。これにより、例えば、撮像画像Ｃ１の画像データと、撮像画像Ｃ１の識別ＩＤとが対応付けられて記憶部６２に記憶される。なお、上述した白黒パターン画像の撮像の場合と同様、対応付けテーブルを用いる場合の制御部６３は、カメラ３から、撮像画像Ｃ１を取得すると、予め作成された対応付けテーブルにしたがって、撮像画像Ｃ１におけるカメラの座標（ｘ_ｃ,ｙ_ｃ）を、プロジェクターの座標（ｘ_ｐ,ｙ_ｐ）に変換し、座標が変換された撮像画像Ｃ１を記録する（ステップＳ９１３）。

次いで、制御部６３は、投影された背景画像Ｂと、ステップＳ９１３で記録された撮像画像Ｃ１との差分を表す差分画像Ｄを生成して記録し（ステップＳ９１４）、図７に示す処理に戻る。これにより、例えば、差分画像Ｄの画像データと、差分画像Ｄの識別ＩＤとが対応付けられて記憶部６２に記憶される。背景画像Ｂには人物の領域が含まれないが、撮像画像Ｃ１には人物の領域が含まれるため、この人物の領域が強調される差分画像Ｄ（例えば、図９（Ｃ））となる。例えば、制御部６３は、背景画像Ｂを構成する画素の階調値と、撮像画像Ｃ１を構成する画素の階調値との差（絶対値）に相当する階調値（Ｄ（ｘ,ｙ）＝｜Ｂ（ｘ,ｙ）−Ｃ１（ｘ,ｙ）｜）を、その画素の階調値として設定する。このような処理が全ての画素について行われることで差分画像Ｄが生成される。ここでの階調値は、例えば、ＲＧＢの各色を２５６階調で表したＲＧＢ値である。各画素の階調値間との差は、ＲＧＢの色空間におけるＲＧＢ値の座標間のユークリッド距離を算出することで得られる。この場合、人物の領域以外の領域における階調値間との差は０であるので黒色で表されることになる。

図７に示すステップＳ９２では、制御部６３は、美白モードが設定されているか否かを判定する。制御部６３は、美白モードが設定されていないと判定した場合（ステップＳ９２：ＮＯ）、ステップＳ９３へ進む。一方、制御部６３は、美白モードが設定されていると判定した場合（ステップＳ９２：ＹＥＳ）、ステップＳ９４へ進む。ステップＳ９３では、制御部６３は、線形補完LUT作成処理で作成された線形補完LUTを記憶部６２から読み込み、ステップＳ９７へ進む。

ステップＳ９４では、制御部６３は、線形補完LUT作成処理で作成された線形補完LUTを記憶部６２から読み込み、ステップＳ９５へ進む。ステップＳ９５では、制御部６３は、ステップＳ９１２で記録された撮像画像Ｃ１に含まれる人物の領域から顔の領域を検出する。顔の領域の検出には、例えば、Viola-Jonesの検出アルゴリズム、或いは、顔のパーツ（目，鼻，口）検出や肌色検出等のアルゴリズムが用いられる。次いで、制御部６３は、ステップＳ９４で読み込まれた線形補完LUTにおいて、ステップＳ９５で検出された顔の領域内（つまり、顔の領域に対応する撮像画像Ｃ１の領域内）の何れかの座標のグレー階調を補正して美白モード用LUTを作成し（ステップＳ９６）、ステップＳ９７へ進む。例えば、制御部６３は、線形補完LUTが示す全座標のうち、顔の領域に対応する座標は、顔の領域内の中心座標（または中心座標から所定の近傍範囲内にある座標）のグレー階調を階調が高い頂点（ピーク）とし、その頂点の周辺座標に対応する領域については、グレー階調を線形状または非線形状に低くなる階調に新たに定めることで美白モード用LUTを作成する。なお、グレー階調の非線形状の変化は、例えば、図１０（Ａ），（Ｂ）に示すように、顔の領域内の中心座標（ｘf,ｙf）のグレー階調（階調値LUT（ｘf,ｙf））を上記頂点とし、例えばｎ（ｎ＞２）関数を用いて結んだ曲線を回帰で求めることで規定される。このような美白モード用LUTによれば、上記検出された顔の領域へ照射する光の投影強度を高くし（つまり、プロジェクター２から発せられる光を強くて明るくし）、そこから遠ざかるにしたがって徐々に光の投影強度を低くすることができる。

ステップＳ９７では、制御部６３は、マスク補正画像生成処理を実行する。図８（Ｂ）に示すマスク補正画像生成処理では、制御部６３は、ステップＳ９１４で生成された差分画像Ｄにおける座標（ｘ,ｙ）を１つ特定する（ステップＳ９７１）。次いで、制御部６３は、ステップＳ９７１で特定された座標（ｘ,ｙ）の階調値Ｄ（ｘ,ｙ）が閾値未満であるか否かを判定する（ステップＳ９７２）。制御部６３は、座標（ｘ,ｙ）の階調値Ｄ（ｘ,ｙ）が閾値未満であると判定した場合（ステップＳ９７２：ＹＥＳ）、ステップＳ９１１で投影された背景画像Ｂにおける座標（ｘ,ｙ）の階調値Ｂ（ｘ,ｙ）を、新たに生成するマスク補正画像Ｍにおける座標（ｘ，ｙ）の階調値Ｍ（ｘ,ｙ）として設定し（ステップＳ９７３）、ステップＳ９７５へ進む。一方、制御部６３は、座標（ｘ,ｙ）の階調値Ｄ（ｘ,ｙ）が閾値未満でないと判定した場合（ステップＳ９７２：ＮＯ）、マスク補正処理を行う（ステップＳ９７４）。このマスク補正処理では、制御部６３は、ステップＳ９３で読み込まれた線形補完LUTの階調値LUT（ｘ,ｙ）、またはステップＳ９６で作成された美白モード用LUTの階調値LUT（ｘ,ｙ）を、新たに生成するマスク補正画像Ｍにおける座標（ｘ，ｙ）の階調値Ｍ（ｘ,ｙ）として設定する。つまり、マスク補正処理において、制御部６３は、線形補完LUTまたは美白モード用LUTにしたがって、背景画像Ｂの投影範囲内に存在する人物の領域内で、プロジェクター２から発せられる光の反射率が相対的に高い領域に対応する「マスク補正画像Ｍの領域」の階調を低く設定（階調値LUT（ｘ,ｙ）に設定）し、上記反射率が相対的に低い領域に対応する「マスク補正画像Ｍの領域」の階調を高く設定（階調値LUT（ｘ,ｙ）に設定）する。これにより、背景画像Ｂ（オリジナル画像）の一部領域（つまり、階調値Ｄ（ｘ,ｙ）が閾値以上である領域）にマスク補正処理が行われたマスク補正画像Ｍ（例えば、図９（Ｄ））を生成することができる。

ステップＳ９７５では、制御部６３は、上記差分画像Ｄにおいてまだ特定されていない座標（ｘ,ｙ）があるか否かを判定する。制御部６３は、まだ特定されていない座標（ｘ,ｙ）があると判定した場合（ステップＳ９７５：ＹＥＳ）、ステップＳ９７１に戻り、上記差分画像Ｄにおいてまだ特定されていない座標（ｘ,ｙ）を特定して、上記と同様の処理を行う。これにより、制御部６３は、差分画像Ｄにより特定される人物の領域内で、光の反射率が高い領域から低い領域へ、階調が順に高くなるグレー階調をマスク補正画像Ｍに設定することができる。特に、制御部６３は、美白モード用LUTを用いる場合、上記ステップＳ９５で検出された顔の領域に対応する座標は、マスク補正画像Ｍの領域内の例えば中心座標のグレー階調を階調が高い頂点として順に階調が低くなるグレー階調を設定し、顔の領域外（つまり、顔の領域の周囲）は、顔の領域の外縁に対応する座標から、光の反射率が高い領域から低い領域へ向けて階調が順に低くなるグレー階調を設定するマスク補正画像Ｍに設定することができる。このとき、顔の領域内で、階調が最も高い点の階調は、顔の領域の外縁に対応する領域の階調よりも高い階調を設定する。顔の領域の階調は、１点の座標の階調のみを階調が高い頂点とする場合に限らず、少なくとも一部の領域の階調を、顔の領域の外縁よりも高い階調に設定してもよい。一方、制御部６３は、まだ特定されていない座標（ｘ,ｙ）がないと判定した場合（ステップＳ９７５：ＮＯ）、図７に示す処理に戻る。

図７に示すステップＳ９８では、制御部６３は、マスク補正画像生成処理により生成されたマスク補正画像Ｍの投影指令を映像再生装置１へ送信する。つまり、制御部６３は、上記マスク補正処理でグレー階調が設定された領域を含む画像を投影画像として投影させる投影指令を出力する。マスク補正画像Ｍの画像データは、例えば、マスク補正画像Ｍの投影指令と共に映像再生装置１へ送信される。映像再生装置１は、投影制御装置６からマスク補正画像Ｍの投影指令を受信すると、マスク補正画像Ｍを再生し、その画像信号をプロジェクター２へ出力する。プロジェクター２は、再生出力された画像信号に従ってマスク補正画像Ｍを投影画像として投影範囲の投影面に投影する。つまり、投影制御装置６からの投影指令に応じて、映像再生装置１及びプロジェクター２により投影面及び人物にマスク補正画像Ｍが投影される。このときの投影範囲内には、図１（Ｂ）に示すように人物が存在するが、この人物の領域内で光の反射率が高い領域に対応するマスク補正画像Ｍの領域の階調が低く設定されるため、この領域へ照射する光の投影強度を低くすることができる。一方、この人物の領域内で光の反射率が低い領域に対応するマスク補正画像Ｍの領域の階調が高く設定されるため、この領域へ照射する光の投影強度を高くすることができる。

次いで、制御部６３は、マスク補正画像Ｍの撮像指令をカメラ３へ送信する（ステップＳ９９）。カメラ３は、投影制御装置６からマスク補正画像Ｍの撮像指令を受信すると、カメラ３の画角に収まる撮像範囲（投影範囲）内に存在する人物と、プロジェクター２より投影面及び人物に投影されたマスク補正画像Ｍ（投影画像）とを撮像画像Ｃ２として撮像し、撮像した撮像画像Ｃ２を投影制御装置６へ送信する。次いで、制御部６３は、カメラ３から撮像画像Ｃ２を取得（受信）して記録する（ステップＳ１００）。これにより、例えば、撮像画像Ｃ２の画像データと、撮像画像Ｃ２の識別ＩＤとが対応付けられて記憶部６２に記憶される。次いで、制御部６３は、ステップＳ９１２で記録された撮像画像Ｃ１の識別ＩＤと、ステップＳ９１４で記録された差分画像Ｄの識別ＩＤと、ステップＳ１００で記録した撮像画像Ｃ２の識別ＩＤとを対応付ける対応付けデータを生成し、生成した対応付けデータを記憶部６２に記憶し（ステップＳ１０１）、図２（Ａ）に示す処理に戻る。撮像画像Ｃ１と、撮像画像Ｃ２と、差分画像Ｄと、を対応付けて記録することで、これらの画像を後から検証や画像補正等に利用することができる。

以上説明したように、上記実施形態によれば、投影制御装置６は、背景画像Ｂの投影範囲内に存在する対象物（例えば、人物）の領域内で、プロジェクター２から発せられる光の反射率が相対的に高い領域に対応する、マスク補正画像Ｍの領域の階調を低く設定し、上記反射率が相対的に低い領域に対応する、マスク補正画像Ｍの領域の階調を高く設定し、そのマスク補正画像Ｍを投影画像としてプロジェクター２に投影させる。そして、投影制御装置６は、プロジェクター２により投影画像として投影されたマスク補正画像Ｍの投影範囲内に存在する対象物（例えば、人物）と、プロジェクター２により投影面及び対象物（例えば、人物）に投影されたマスク補正画像Ｍとを撮像画像として撮像したカメラ３から撮像画像を取得して記録するように構成したので、より滑らかな違和感のない自然な画像を撮像して記録することができる。例えば人物の領域内で、プロジェクター２からの反射率が高い領域と低い領域とが存在する場合に、光の強さに起因してカメラ３の撮影結果に影響する色差を低減させることができる。また、上述したように、美白モード用LUTを用いれば、人物の顔の部分がより見栄えの良い画像を撮像して記録することができる。

また、本実施形態のマスク補正処理によれば、例えば人物の領域を黒色一色でマスクするような従来の単純マスク処理に比べて不鮮明にならない。つまり、従来の単純マスク処理では、人物の領域が一様に暗くなってしまうが、本実施形態のマスク補正処理によれば、例えば人物の領域の明度が均一に近づくようにすることができる。また、背景画像Ｂ（オリジナル画像）の一部領域（つまり、階調値Ｄ（ｘ,ｙ）が閾値以上である領域）にグレー階調のマスクをすることで、プロジェクター２の配置によっては人物の一部（首や胴体など）に影ができてしまう場合にも、影を隠すことができる。

なお、上記実施形態では、投影範囲内に存在する人物の領域を差分画像Ｄから特定するように構成したが、例えば赤外線センサー等を別途設け、赤外線センサー等により人物の位置情報を取得し、その位置情報からオリジナル画像における人物の領域を決定してもよい。また、上記実施形態では、光の反射率を合成画像Ｐ３から特定するように構成したが、プロジェクター２と壁面（投影面）との位置関係を予め記憶しておき、その位置関係から反射率を決定してもよい。また、上記実施形態では、人物の領域内で光の反射率が高い領域と低い領域とを合成画像Ｐ３から特定するように構成したが、プロジェクター２と人物との位置関係を予め記憶しておき、その位置関係から人物の領域内で光の反射率が高い領域と低い領域とを決定してもよい。

１ 映像再生装置
２ プロジェクター
３ カメラ
４ 操作機器
５ ディスプレイ
６ 投影制御装置

Claims (5)

1. 投影装置により投影面に投影させる画像を記憶する第１記憶手段と、
   前記画像の投影範囲内に存在する対象物の領域から人物の顔の領域を検出する検出手段と、
   前記画像に対し、前記画像の投影範囲内に存在する対象物の領域内で、前記投影装置から発せられる光の反射率が相対的に高い領域に対応する前記画像の領域の階調を、前記反射率が相対的に低い領域に対応する前記画像の領域の階調より、低く設定する設定手段であって、前記検出手段により検出された前記顔の領域に対応する前記画像の領域内は、前記領域の周囲より階調が高いグレー階調を設定する設定手段と、
   前記設定手段により前記階調が設定された前記領域を含む前記画像を投影画像として前記投影装置に投影させる制御手段と、
   前記投影画像の投影範囲内に存在する対象物と、前記投影装置より前記投影面及び前記対象物に投影された前記投影画像とを撮像画像として撮像装置が撮像した前記撮像画像を取得する取得手段と、
   前記取得手段により取得された前記撮像画像を記憶する第２記憶手段と、
   を備えることを特徴とする投影制御装置。
2. 前記設定手段は、前記反射率が前記高い領域から前記低い領域へ、順に階調が高くなるグレー階調を設定することを特徴とする請求項１に記載の投影制御装置。
3. 前記反射率に応じて階調が異なるグレー階調が前記画像と共通する座標系に定められた階調変化テーブルを作成する作成手段を更に備え、
   前記設定手段は、前記階調変化テーブルにしたがって、前記反射率が前記高い領域から前記低い領域へ、順に階調が高くなるグレー階調を設定することを特徴とする請求項２に記載の投影制御装置。
4. 投影装置により投影面に投影させる画像を記憶手段に記憶するステップと、
   前記画像の投影範囲内に存在する対象物の領域から人物の顔の領域を検出するステップと、
   前記画像に対し、前記画像の投影範囲内に存在する対象物の領域内で、前記投影装置から発せられる光の反射率が相対的に高い領域に対応する前記画像の領域の階調を、前記反射率が相対的に低い領域に対応する前記画像の領域の階調より、低く設定するステップであって、前記検出された前記顔の領域に対応する前記画像の領域内は、前記領域の周囲より階調が高いグレー階調を設定するステップと、
   前記階調が設定された前記領域を含む前記画像を投影画像として前記投影装置に投影させるステップと、
   前記投影画像の投影範囲内に存在する対象物と、前記投影装置より前記投影面及び前記対象物に投影された前記投影画像とを撮像画像として撮像装置が撮像した前記撮像画像を取得するステップと、
   前記取得された前記撮像画像を前記記憶手段に記憶するステップと、
   をコンピュータに実行させることを特徴とするプログラム。
5. 画像を投影面に投影する投影装置と、前記投影された画像を撮像する撮像装置と、前記投影を制御する投影制御装置と、を備える投影システムであって、
   前記投影制御装置は、
   前記投影装置により投影面に投影させる画像を記憶する第１記憶手段と、
   前記画像の投影範囲内に存在する対象物の領域から人物の顔の領域を検出する検出手段と、
   前記画像に対し、前記画像の投影範囲内に存在する対象物の領域内で、前記投影装置から発せられる光の反射率が相対的に高い領域に対応する前記画像の領域の階調を、前記反射率が相対的に低い領域に対応する前記画像の領域の階調より、低く設定する設定手段であって、前記検出手段により検出された前記顔の領域に対応する前記画像の領域内は、前記領域の周囲より階調が高いグレー階調を設定する設定手段と、
   前記設定手段により前記階調が設定された前記領域を含む前記画像を投影画像として投影させる投影指令を前記投影装置へ出力する制御手段と、
   を備え、
   前記投影装置は、前記投影制御装置からの前記投影指令に応じて、前記投影面及び前記対象物に前記投影画像を投影する投影手段を備え、
   前記撮像装置は、前記投影画像の投影範囲内に存在する対象物と、前記投影装置より前記投影面及び前記対象物に投影された前記投影画像とを撮像画像として撮像する撮像手段を備え、
   前記投影制御装置は、
   前記撮像装置により撮像された前記撮像画像を取得する取得手段と、
   前記取得手段により取得された前記撮像画像を記憶する第２記憶手段と、
   を備えることを特徴とする投影システム。