JP2011081630A - 画像生成装置、画像生成方法、および、プログラム - Google Patents

Abstract

【課題】複数視点からの視差画像を、適切な距離感の立体的画像として観視者に提示すること。
【解決手段】画像生成装置であって、観視者の右眼で視認されるべき右眼用画像と、観視者の左眼で視認されるべき左眼用画像とを取得する画像取得部と、右眼用画像および左眼用画像に含まれる主要オブジェクトを特定する主要オブジェクト特定部と、右眼用画像に含まれる主要オブジェクトの位置と、左眼用画像に含まれる主要オブジェクトの位置との表示画面上における位置の差であるズレ量を、予め定められた所定値にすべく、右眼用画像および左眼用画像の少なくとも一方における主要オブジェクトの位置を変更する主要オブジェクト位置変更部とを備える。
【選択図】図１

Description

本発明は、画像生成装置、画像生成方法、および、プログラムに関する。

特殊なメガネを用いずに裸眼で立体（３Ｄ）画像を視認させる技術の一つとして、表示面の前面にパララックスバリアまたはレンチキュラレンズを用いる技術が知られている。例えば、表示面に表示した右眼用画像および左眼用画像を、パララックスバリアまたはレンチキュラレンズによりそれぞれ右眼および左眼に指向して射出する技術が知られている（例えば、特許文献１参照）。

特開平７−２８７１９５号公報

例えば複眼カメラで撮像された画像では、無限遠の被写体のオブジェクトは左右の画像で位置ズレはなく、複眼カメラにより近い被写体のオブジェクトは左右の画像で位置がずれている。このような画像を表示面に立体表示すると、無限遠の被写体が表示面に存在し、近くの被写体が表示面より手前に存在するように見える。このため、被写体の前後の間隔が実際よりは著しく狭まって見えることになり、場合によっては全く不自然に見えてしまう。

上記課題を解決するために、本発明の一態様においては、観視者の右眼で視認されるべき右眼用画像と、観視者の左眼で視認されるべき左眼用画像とを取得する画像取得部と、右眼用画像および左眼用画像に含まれる主要オブジェクトを特定する主要オブジェクト特定部と、右眼用画像に含まれる主要オブジェクトの位置と、左眼用画像に含まれる主要オブジェクトの位置との表示画面上における位置の差であるズレ量を、予め定められた所定値にすべく、右眼用画像および左眼用画像の少なくとも一方における主要オブジェクトの位置を変更する主要オブジェクト位置変更部とを備える。

主要オブジェクト位置変更部は、ズレ量を小さくすべく、右眼用画像および左眼用画像の少なくとも一方における主要オブジェクトの位置を変更してよい。

主要オブジェクト位置変更部は、ズレ量をなくすべく、右眼用画像および左眼用画像の少なくとも一方における主要オブジェクトの位置を変更してよい。

主要オブジェクト位置変更部は、右眼用画像に含まれる主要オブジェクトの表示画面における位置を、左眼用画像に含まれる主要オブジェクトの表示画面における位置より、観視者から見て左にすべく、右眼用画像および左眼用画像の少なくとも一方における主要オブジェクトの位置を変更してよい。

主要オブジェクト位置変更部は、ズレ量を観視者の眼幅より小さくすべく、右眼用画像および左眼用画像の少なくとも一方における主要オブジェクトの位置を変更してよい。

右眼用画像および左眼用画像の少なくとも一方から、主要オブジェクトの画像領域をトリミングするトリミング部をさらに備え、主要オブジェクト位置変更部は、トリミング部がトリミングした主要オブジェクトの画像領域の位置を変更してよい。

主要オブジェクトの画像領域より、主要オブジェクトの画像領域の他の画像領域に対してより大きいぼかし処理を施すぼかし処理部をさらに備えてよい。

右眼用画像および左眼用画像に含まれるオブジェクトまでの距離を取得するオブジェクト取得部をさらに備え、ぼかし処理部は、主要オブジェクトの画像領域より、主要オブジェクトより遠くに位置するオブジェクトの画像領域に対してより大きいぼかし処理を施してよい。

主要オブジェクト位置変更部が主要オブジェクトの位置を変更した後の右眼用画像および左眼用画像を表示する表示部をさらに備えてよい。

表示部が表示している右眼用画像および左眼用画像を観視している観視者の指示に基づいて、ズレ量の所定値を決定する所定値決定部とをさらに備えてよい。

画像取得部は、複眼カメラで撮像された右眼用画像および左眼用画像を取得してよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

一実施形態に係る表示装置１０の構成例を示す図である。 画像処理部１２０の動作例を説明する図である。 画像案内部１５０を説明する図である。 画像生成部１１０および画像処理部１２０の動作例を説明する図である。 入力画像における主要オブジェクトと背景オブジェクトとの位置関係を説明する図である。 表示画像における主要オブジェクトと背景オブジェクトとの位置関係を説明する図である。 画像処理部１２０によるぼかし処理の対象領域の一例を示す図である。 表示装置１０の動作例を示すフローチャートである図である。 他の実施形態に係るコンピュータ８００のハードウェア構成の一例を示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係る表示装置１０の構成例を示す図である。表示装置１０は、観視者に立体的画像を提示する。具体的には、表示装置１０は、観視者の右眼で視認されるべき右眼用画像と観視者の左眼で視認されるべき左眼用画像とを生成して、生成した右眼用画像および左眼用画像を、それぞれ観視者の右眼および観視者の左眼に提示することにより、立体的画像を観視者に提示する。

ここで、表示装置１０は、デジタルフォトフレーム、テレビ受像機およびパーソナルコンピュータ用のモニタ等の表示装置であってよい。また、表示装置１０は、デジタルスチルカメラ、デジタルビデオカメラなどの撮像機器の表示デバイスであってよく、携帯電話機などの携帯機器の表示デバイスであってもよい。ここで、デジタルスチルカメラおよびデジタルビデオカメラは、いわゆる複眼カメラであってよい。すなわち、撮像機器は、複数の視点から被写体を撮像して、複数の視点からの撮像画像を表示デバイスに表示してよい。

表示装置１０は、画像取得部１００、画像生成部１１０、画像処理部１２０、表示部１４０、画像案内部１５０、トリミング部１１２、主要オブジェクト位置変更部１１４、主要オブジェクト特定部１６０、オブジェクト距離取得部１７０、所定値決定部１８０、入力部１９２、および、観視者特定部１９４を備える。表示装置１０が備える構成要素のうち、画像案内部１５０を除く機能ブロックは、右眼用画像および左眼用画像を生成する画像生成装置として機能することができる。例えば、画像取得部１００、画像生成部１１０、画像処理部１２０、表示部１４０、トリミング部１１２、主要オブジェクト位置変更部１１４、主要オブジェクト特定部１６０、オブジェクト距離取得部１７０、所定値決定部１８０、入力部１９２、および、観視者特定部１９４を備える機能ブロックが、画像生成装置として機能することができる。

画像取得部１００は、表示部１４０に表示されるべき表示画像の元となる入力画像を取得する。例えば、画像取得部１００は、記憶媒体が記憶している１以上の画像を、入力画像として記憶媒体から取得してよい。画像取得部１００は、外部インターフェイスを通じて外部から供給される画像を、入力画像として取得してもよい。また、画像取得部１００が入力画像として取得する画像は、静止画であってよく、静止画が連続した動画であってもよい。画像取得部１００は複数の入力画像を取得して、画像生成部１１０に供給する。

ここで、入力画像は、右眼および左眼にそれぞれ対応する２視点からの画像である２つの２次元画像であるとする。具体的には、入力画像は、いわゆる複眼カメラにより２視点から撮像されて得られた２つの２次元画像であってよい。すなわち画像取得部１００は、複眼カメラで撮像された右眼用画像および左眼用画像を取得してよい。また、入力画像は撮像画像に限られない。入力画像とは、２視点からのグラフィック画像（例えば、ＣＧ画像など）などのような、２視点からの非撮像画像を含む概念とする。すなわち、画像取得部１００は、観視者の右眼で視認されるべき右眼用画像と、観視者の左眼で視認されるべき左眼用画像とを取得する。

画像生成部１１０は、画像取得部１００から取得した入力画像を用いて、表示部１４０に表示されるべき表示画像に含まれる右眼用画像および左眼用画像を生成する。具体的には、画像生成部１１０は、画像内の少なくとも１つのオブジェクトにおいて対応する対応点の表示画面上における左右方向の位置がズレている右眼用画像と左眼用画像とを生成する。画像生成部１１０による具体的な処理は後述する。本明細書において、右眼用画像と左眼用画像とにおける対応するオブジェクトの対応点の表示画面上の位置の差を、ズレ量と呼ぶ。また、左右方向とは、観視者の右眼および左眼に沿う方向とする。画像生成部１１０は、生成した右眼用画像および左眼用画像を画像処理部１２０に供給する。

画像処理部１２０は、画像生成部１１０が生成した右眼用画像および左眼用画像に所定の画像処理を施して表示画像を生成して、表示部１４０に供給する。例えば、画像処理部１２０は、右眼用画像および左眼用画像の少なくとも一方にぼかし処理を施してよい。例えば、画像処理部１２０は、画像の部分領域毎に複数の画素値を平均化することにより、右眼用画像および左眼用画像の少なくとも一方にぼかし処理を施してよい。画像処理部１２０においてぼかし処理を実行する機能ブロックは、ぼかし処理部として機能することができる。

鮮明な右眼用画像および左眼用画像を観視者に提示するよりも、ぼかし処理を施した場合の方が、観視者は小さな負担で立体的な像を認識することができる場合がある。具体的には、２次元の表示面に表示された擬似的な立体画像である表示画像が観視者に与える空間情報は、実際の３次元空間の物体が与える空間情報とは完全に一致しておらず、観視者は表示画像から得られた視覚的情報に多少の矛盾を感じてしまう場合がある。

観視者の脳は、右眼用画像および左眼用画像を融合して１つの立体的な像を認識しようとするが、右眼用画像および左眼用画像がどちらも鮮明であると矛盾が際立ってしまい、きちんと融合できなくなってしまう場合がある。また、表示画像をきちんと融合するのに観視者の脳に多大の負担をかけてしまい、観視者が疲れてしまう場合がある。

右眼用画像および左眼用画像がどちらも鮮明な場合と比べると、画像処理部１２０が左眼用画像または右眼用画像の少なくとも一方をぼかすことによって矛盾を低減することができる。画像がぼかされたとしても、ぼけた画像を他方の画像に合わせて観視者の脳が都合良く認識することができるので、比較的容易に表示画像を立体的な像として認識することができる。また、観視者の脳は、ぼけた画像を鮮明なものとして都合良く認識することもできるので、観視者が認識する像の画質も実質的に劣化しない。

画像処理部１２０によるぼかし処理により、観視者は小さな負担で表示画像を鮮明な立体的画像として認識することができる。このため、観視者は、表示装置１０が提供する立体的画像を比較的長時間にわたって鑑賞し続けることができる。

なお、画像処理部１２０は、入力画像、右眼用画像、および左眼用画像の少なくともいずれかの鮮明度を算出して、鮮明度が予め定められた値より大きいことを条件として、右眼用画像および左眼用画像の少なくとも一方にぼかし処理を施してよい。例えば、画像処理部１２０は、右眼用画像および左眼用画像の少なくとも一方が有する空間周波数成分に基づいて、鮮明度を決定してよい。例えば、画像処理部１２０は、予め定められた空間周波数より高い空間周波数領域においてより高い空間周波数成分を入力画像が有している場合に、より大きい値の鮮明度を決定してよい。

また、画像処理部１２０は、右眼用画像および左眼用画像のそれぞれを、所定の方向において所定の幅を有する複数のストライプ画像に分割する。そして、画像処理部１２０は、右眼用画像のストライプ画像および左眼用画像のストライプ画像を、所定の画像配列方向に交互に配列して表示画像を生成する。

画像処理部１２０が生成した表示画像は、表示部１４０に供給される。表示部１４０は、画像生成部１１０が生成した、観視者の右眼で視認されるべき右眼用画像、および観視者の左眼で視認されるべき左眼用画像を表示する。具体的には、表示部１４０は、右眼用画像のストライプ画像および左眼用画像のストライプ画像が交互に配列された表示画像を表示する。以下に説明するように、表示部１４０に表示された右眼用画像からの各ストライプ画像（Ｒ）は、画像案内部１５０により観視者の右眼に指向され、表示部１４０に表示された左眼用画像からの各ストライプ画像（Ｌ）は、画像案内部１５０により観視者の左眼に指向される。

画像案内部１５０は、透過部および遮光部が交互に配置された、いわゆるパララックスバリアであってよい。例えば、画像案内部１５０は、交互に配置された透過部および遮光部を有する。透過部および遮光部は、当該延伸方向と直交するバリア配列方向に交互に配置され、表示部１４０が表示した右眼用画像および左眼用画像の対応するストライプ画像を異なる方向に射出させ、観視者の右眼および左眼にそれぞれ提示する。このような構成により、裸眼の観視者に立体的画像を提示することができる。

以上の説明のように、表示画像に含まれる右眼用画像と左眼用画像とにおいて、対応するオブジェクトの対応点の表示部１４０の表示画面上における位置の差が存在する場合に、観視者は表示画像を立体的に認識することができる。例えば、右眼用画像と左眼用画像とにおける対応するオブジェクトの対応点が観視者の瞳孔間距離に近い量だけずれていると、観視者の左眼および右眼の視線は実質的に平行状態となる。これにより、あたかも無限遠を見ているような像を観視者に認識させることができる。

以下に説明するように、表示装置１０は、入力画像に含まれる主要オブジェクトの位置を調整することによって、観視者に望ましい距離感の表示画像を提示することができる。主要オブジェクトは、主要オブジェクト特定部１６０により特定される。具体的には、主要オブジェクト特定部１６０は、入力画像に含まれる右眼用画像および左眼用画像から主要オブジェクトを特定する。

具体的には、主要オブジェクト特定部１６０は、主要オブジェクトとして抽出されるべきオブジェクトのテンプレート画像と入力画像とをテンプレートマッチング等により比較して、当該比較結果に基づき主要オブジェクトを特定してよい。例えば、主要オブジェクト特定部１６０は、人物の顔画像と入力画像とを比較して、予め定められた値より大きい一致度が得られたオブジェクトを主要オブジェクトとして特定してよい。

また、入力画像が撮像された画像であり、フォーカス情報が付帯されている場合には、主要オブジェクト特定部１６０は、フォーカス位置のオブジェクトを主要オブジェクトとして特定してよい。主要オブジェクト特定部１６０は、フォーカス位置のオブジェクトだけでなく、結果的にフォーカスが合っているオブジェクトを主要オブジェクトとして特定してもよい。入力画像が撮像された画像である場合には、主要被写体のオブジェクトは、主要オブジェクトの一例であるといえる。

他にも、主要オブジェクト特定部１６０は、中央の画像領域のオブジェクトを主要オブジェクトとして特定してもよい。例えば、上述のテンプレートマッチング、フォーカス位置に基づいて主要オブジェクトを特定できなかったことを条件として、中央の画像領域のオブジェクトを主要オブジェクトとして特定してよい。また、主要オブジェクトが存在する位置情報など、主要オブジェクトを特定する情報が入力画像に付帯されている場合には、主要オブジェクト特定部１６０は、当該情報により特定されるオブジェクトを主要オブジェクトとして特定してよい。

主要オブジェクト位置変更部１１４は、入力画像に含まれる右眼用画像に含まれる主要オブジェクトの位置と、入力画像に含まれる左眼用画像に含まれる主要オブジェクトの位置との表示画面上における位置の差であるズレ量を、予め定められた所定値にすべく、当該右眼用画像および当該左眼用画像の少なくとも一方における主要オブジェクトの位置を変更する。具体的には、主要オブジェクト位置変更部１１４は、ズレ量を小さくすべく、右眼用画像および左眼用画像の少なくとも一方における主要オブジェクトの位置を変更する。主要オブジェクト位置変更部１１４は、ズレ量をなくすべく、右眼用画像および左眼用画像の少なくとも一方における主要オブジェクトの位置を変更してもよい。そして、表示部１４０は、主要オブジェクト位置変更部１１４が主要オブジェクトの位置を変更した後の右眼用画像および左眼用画像を表示する。

なお、主要オブジェクト位置変更部１１４は、右眼用画像に含まれる主要オブジェクトの表示画面における位置を、左眼用画像に含まれる主要オブジェクトの表示画面における位置より、観視者から見て左にすべく、右眼用画像および左眼用画像の少なくとも一方における主要オブジェクトの位置を変更してよい。この場合に、ズレ量を観視者の眼幅より小さくすべく、主要オブジェクト位置変更部１１４は、右眼用画像および左眼用画像の少なくとも一方における主要オブジェクトの位置を変更することが望ましい。以上の制御により、観視者は、表示面と観視者との中間点よりも表示面側に主要オブジェクトが存在するように見える。

なお、主要オブジェクトのズレ量は、所定値決定部１８０により決定される。例えば、所定値決定部１８０は、表示部が表示している右眼用画像および左眼用画像を観視している観視者の指示に基づいて、ズレ量の所定値を決定する。当該指示は、入力部１９２により観視者から入力され、所定値決定部１８０に供給されてよい。所定値決定部１８０が観視者の指示に基づきズレ量を決定することで、観視者毎に望ましいズレ量を決定することができる。例えば、主要オブジェクトが表示面よりも遠方に存在しているように見えることを好む観視者と、表示面よりも近方に存在しているように見えることを好む観視者とで、ズレ量の符号および大きさを異ならせることができる。

なお、所定値決定部１８０は、観視者を識別する識別情報に対応づけて所定値を記憶してよい。また、観視者特定部１９４は、表示部１４０を観視している観視者を特定して、当該観視者を識別する識別情報を所定値決定部１８０に供給する。所定値決定部１８０は、観視者特定部１９４から受け取った識別情報に対応づけて記憶している所定値を、主要オブジェクトのズレ量として決定してよい。本制御により、望ましいズレ量を観視者に何度も入力させることを未然に防ぐことができ、観視者の負担を軽減することができる。なお、観視者特定部１９４は、観視者の眼幅を示す情報を特定して、特定した情報を画像生成部１１０に供給してよい。一例として、観視者の眼幅は、観視者を撮像して得られた画像に含まれる観視者の顔画像に基づき特定できる。

画像生成部１１０における具体的な処理を説明すると、トリミング部１１２は、右眼用画像および左眼用画像の少なくとも一方から、主要オブジェクトの画像領域をトリミングする。そして、主要オブジェクト位置変更部１１４は、トリミング部１１２がトリミングした主要オブジェクトの画像領域の位置を変更することで、上述した主要オブジェクトのズレ量を調整する。以上説明した画像生成部１１０の処理によれば、ズレ量を調整しない場合にくらべて、遠景のオブジェクトを表示面よりも遠方に移動させ、主要オブジェクトを表示面の方向に移動させることができる。これにより、表示装置１０は、奥行き感をより強く感じることができる立体的画像を観視者に提示することができる。

また、オブジェクト距離取得部１７０は、右眼用画像および左眼用画像に含まれる被写体までの距離を取得する。例えば、入力画像が撮像画像である場合に、オブジェクト距離取得部１７０は、入力画像に付帯されたフォーカス情報などの距離情報を取得してよい。また、当該距離情報は、入力画像の作成者により定められていてもよい。そして、画像処理部１２０は、主要オブジェクトの画像領域より、主要オブジェクトより遠くに位置する被写体の画像領域に対してより大きいぼかし処理を施す。画像処理部１２０が、主要オブジェクトの画像領域より、当該主要オブジェクトの画像領域以外の画像領域に対してより大きいぼかし処理を施すことで、遠近感をより強調した表示画像を観視者に提示することができる。

図２は、画像処理部１２０の動作例を説明する図である。上述したように画像処理部１２０は、左眼用画像および右眼用画像を、複数のストライプ画像（Ｌ１、Ｌ２、Ｌ３、・・・、および、Ｒ１、Ｒ２、Ｒ３、・・・）に分割する。本例の画像処理部１２０は、水平方向の配列方向に沿って、所定の間隔で左眼用画像および右眼用画像を分割する。

画像処理部１２０は、生成したストライプ画像を、右眼用画像および左眼用画像で交互に配列方向に配置して表示画像を生成する。なお、表示部１４０は、表示画像に含まれる右眼用画像および左眼用画像を同時に表示するので、画像処理部１２０は、左眼用画像および右眼用画像のそれぞれについて、ストライプ画像の配列方向における表示画素数を略半分にする。より具体的には、画像処理部１２０は、左眼用画像および右眼用画像のそれぞれのストライプ画像を、配列方向に１つおきに用いる。

図３は、画像案内部１５０を説明する図である。画像案内部１５０は、表示部１４０の観視者側に設けられたバリア部３１０およびバリア制御部３２０を有する。バリア部３１０は、右眼用画像と左眼用画像とを異なる方向へ案内する。

具体的には、バリア部３１０は、表示部１４０の観視者側に、所定の配列方向に沿って交互に設けられた透過部３１２および遮光部３１４を含む。透過部３１２は、左眼用画像の１つのストライプ画像、および、右眼用画像の１つのストライプ画像の組み合わせに対して１つずつ形成される。それぞれの透過部３１２は、対応する左眼用画像のストライプ画像を、観視者の左眼の方向に射出し、対応する右眼用画像のストライプ画像を、観視者の右眼の方向に射出する。

バリア部３１０は、複数のシャッタ素子が配置されることにより形成されてよい。具体的には、バリア部３１０は、水平方向および垂直方向に沿ってマトリクス状に配置された複数のシャッタ素子を含んでよい。バリア制御部３２０は、これらのシャッタ素子のオン／オフを個別に設定することで、透過部および遮光部の延伸方向および配列方向を制御する。つまり、バリア制御部３２０は、透過部を形成すべき領域のシャッタ素子をオン状態とし、遮光部を形成すべき領域のシャッタ素子をオフ状態とすることで、任意の方向に透過部および遮光部を形成する。このように、バリア制御部３２０は、複数のシャッタ素子に光を透過させるか否かを制御することにより、光を遮光する遮光部３１４と光を透過する透過部３１２とをストライプ状に交互に形成させる。

ここで、立体的画像ではなくいわゆる２次元の画像を観視者に提示する場合には、バリア制御部３２０は、表示部１４０上の２次元画像の表示領域に対応する全シャッタ素子を実質的にオン状態にする。これにより、表示部１４０に表示された２次元画像は透過部により透過され、観視者の右眼および左眼により視認される。なお、遮光部３１４と透過部３１２とが交互に配列された状態でも、ズレ量のない同一の右眼用画像および左眼用画像から表示画像を生成することで、２次元の画像を観視者に提示することができる。

なお、本図で例示したパララックスバリア方式の画像案内部１５０の他に、レンチキュラレンズ方式の画像案内部１５０を例示することができる。例えば、バリア部３１０による画像の案内方向を制御することに替えて、レンチキュラレンズにより、画像の案内方向を異ならせることができる。具体的には、複数の右眼用ストライプ画像と複数の左眼用ストライプ画像とを異なる方向へ案内するレンズアレイにより、対応する左眼用画像のストライプ画像を観視者の左眼の方向に指向させ、対応する右眼用画像のストライプ画像を観視者の右眼の方向に指向させることができる。これにより、画像案内部１５０は、複数の右眼用ストライプ画像と複数の左眼用ストライプ画像とを異なる方向へ案内することができる。

図４は、画像生成部１１０および画像処理部１２０の動作例を説明する図である。図４は、入力画像に含まれる左眼用画像４１０および右眼用画像４２０から、表示画像４３０を生成するまでの処理例を模式的に示す。ここでは、主要オブジェクトに対するズレ量として０が決定されたとする。つまり、左眼用画像４１０および右眼用画像４２０から、主要オブジェクトが表示面の位置に存在するように見える表示画像４３０が生成される。

トリミング部１１２は、主要オブジェクト４５０ａおよび主要オブジェクト４５０ｂのズレ量が０になるよう、左眼用画像４１０および右眼用画像４２０をトリミングする。そして、主要オブジェクト位置変更部１１４は、主要オブジェクトのズレ量が０になるよう、トリミングされて得られた左眼用画像４１２を左にシフトさせるとともに、トリミングされて得られた右眼用画像４２２を右にシフトさせる。そして、図３に説明されたように、画像処理部１２０が左眼用画像４１２および右眼用画像４２２から複数のストライプ画像を生成して表示画像４３０を生成する。

表示画像４３０には、同じ位置に表示される主要オブジェクト４５０と、遠方に位置する背景オブジェクト４４０が含まれる。背景オブジェクト４４０ａは観視者の左眼に指向され、背景オブジェクト４４０ｂは観視者の右眼に指向される。一方で、観視者の左眼に指向される主要オブジェクト４５０ａおよび観視者の右眼に指向される主要オブジェクト４５０ｂは、表示画像４３０において同じ位置に存在する。このため、観視者は、主要オブジェクト４５０が表示面の位置に存在するように見え、背景オブジェクト４４０は表示面より遠方に存在するように見える。これにより、表示装置１０は、距離感をより強調した表示画像４３０を観視者に提示することができる。

なお、ここでは、左眼用画像４１０および右眼用画像４２０の全体をシフトさせて主要オブジェクトのズレ量を調整する制御例を説明した。他の制御例としては、主要オブジェクトを含む一部の画像領域をトリミングしてシフトさせることにより、主要オブジェクトのズレ量を調整してもよい。

図５は、入力画像における主要オブジェクトと背景オブジェクトとの位置関係を説明する図である。ここでは、背景オブジェクトは実質的に無限遠に存在する被写体のオブジェクトであるとする。

入力画像を表示装置１０にそのまま表示すると、表示装置１０の表示面の左右方向に同位置に存在する背景オブジェクト（Ｒ２、Ｌ２）は、観視者には表示面の位置に存在するように認識される。このため、観視者には背景オブジェクトが遠方に存在するようには感じられない。一方、入力画像に含まれる右眼用画像内の主要オブジェクトＲ１は、入力画像に含まれる左眼用画像内の主要オブジェクトＬ１より左方に位置している。このため、観視者には、表示面より観視者側の位置５００に主要オブジェクトが存在するように見える。しかしながら、主要オブジェクトの認識位置は背景オブジェクトの認識位置とは大差がないので、観視者はスケール感を感じにくい。

図６は、画像生成部１１０によりズレ量が制御された表示画像における主要オブジェクトと背景オブジェクトとの位置関係を説明する図である。図示されるように、画像生成部１１０により入力画像に含まれる右眼用画像が右方にシフトされ、入力画像に含まれる左眼用画像が左方にシフトされることで、主要オブジェクトのズレ量が０に調整される。これにより観視者には、主要オブジェクトが表示面の位置に存在するように見える。一方、右眼に指向される背景オブジェクトＲ２と左眼に指向される背景オブジェクトＬ２との間でズレ量が生じることで、観視者には背景オブジェクトが表示面より遠方の位置６００に存在するように見える。したがって、主要オブジェクトと背景オブジェクトとの間の距離差が拡大して遠近感がより強調され、観視者はより大きなスケール感を感じることができる。

図７は、画像処理部１２０によるぼかし処理の対象領域の一例を示す。ここではオブジェクト距離取得部１７０が取得した距離情報に基づき、主要オブジェクト以外の領域のオブジェクトが主要オブジェクトより遠方に位置する旨が判断されたとする。この場合に、画像処理部１２０は、主要オブジェクト４５０以外の領域に対してぼかし処理を施す。

画像処理部１２０は、主要オブジェクト４５０以外の領域である背景領域に対して、ぼかし処理の強度を異ならせてもよい。具体的には、オブジェクト距離取得部１７０は、背景領域内に含まれる複数のオブジェクトのそれぞれについて、オブジェクトまでの距離を取得してよい。そして画像処理部１２０は、より遠方のオブジェクトに対して、より大きい強度でぼかし処理を施してよい。これにより、遠近感がより強調された表示画像を観視者に提示することができる。

図８は、表示装置１０の動作例を示すフローチャートである。Ｓ８０２において、観視者特定部１９４により観視者が特定される。Ｓ８０４において、所定値決定部１８０は、主要オブジェクトに対するズレ量を決定する。具体的には、所定値決定部１８０は、Ｓ８０２において特定された観視者の識別情報に対応づけて予め記憶しているズレ量を、主要オブジェクトに対するズレ量として決定する。

Ｓ８０６において、画像取得部１００は、右眼用画像および左眼用画像を含む入力画像を取得する。Ｓ８０８において、主要オブジェクト特定部１６０は、入力画像に含まれる右眼用画像および左眼用画像から主要オブジェクトをそれぞれ特定する。例えばＳ８０８において、観視者が注目し易い予め定められた特定のオブジェクト（例えば、人物、動物の頭部のオブジェクトなど）に類似するオブジェクトを画像認識等により抽出して、抽出したオブジェクトを主要オブジェクトとして特定する。

Ｓ８１０において、オブジェクト距離取得部１７０は、オブジェクトの距離情報を抽出する。具体的には、入力画像に付帯されたフォーカス情報などの距離情報を入力画像から抽出する。Ｓ８１２において、画像生成部１１０は、主要オブジェクトの位置が調整された右眼用画像および左眼用画像を生成する。Ｓ８１２において、具体的には、画像生成部１１０はＳ８０４で決定されたズレ量だけ主要オブジェクトの対応点がずれている右眼用画像および左眼用画像を生成する。

Ｓ８１４において、画像処理部１２０は右眼用画像および左眼用画像から表示画像を生成して、表示部１４０に表示させる。このとき画像処理部１２０は、Ｓ８１０で抽出した距離情報に従って、右眼用画像および左眼用画像における主要オブジェクトより遠方のオブジェクトの領域にぼかし処理を施して、表示画像を生成する。

Ｓ８１６において、画像表示を終了するか否かを判断する。例えば、所定の全入力画像について画像を提示した場合に（ＹＥＳ）、画像表示を終了する旨を判断してよい。提示していないものが存在する場合に（ＮＯ）、次の入力画像を選択すべくＳ８０６の処理に移行する。

図９は、他の実施形態に係るコンピュータ８００のハードウェア構成の一例を示す。コンピュータ８００は、与えられるプログラムに応じて、図１から図８に関連して説明した画像取得部１００、画像生成部１１０、画像処理部１２０、表示部１４０、トリミング部１１２、主要オブジェクト位置変更部１１４、主要オブジェクト特定部１６０、オブジェクト距離取得部１７０、所定値決定部１８０、入力部１９２、観視者特定部１９４として機能する。また、コンピュータ８００は、バリア制御部３２０として更に機能してもよい。

本実施形態に係るコンピュータ８００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ８００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ８００が起動時に実行するブート・プログラム、及び／又は、コンピュータ８００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ８００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。

コンピュータ８００にインストールされ、コンピュータ８００により実行されるプログラムは、ＣＰＵ２０００等に働きかけて、コンピュータ８００を、画像取得部１００、画像生成部１１０、画像処理部１２０、表示部１４０、トリミング部１１２、主要オブジェクト位置変更部１１４、主要オブジェクト特定部１６０、オブジェクト距離取得部１７０、所定値決定部１８０、入力部１９２、観視者特定部１９４などとして機能させる。これらのプログラムに記述された情報処理は、コンピュータ８００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である画像取得部１００、画像生成部１１０、画像処理部１２０、表示部１４０、トリミング部１１２、主要オブジェクト位置変更部１１４、主要オブジェクト特定部１６０、オブジェクト距離取得部１７０、所定値決定部１８０、入力部１９２、観視者特定部１９４などとして機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ８００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像取得部１００、画像生成部１１０、画像処理部１２０、表示部１４０、トリミング部１１２、主要オブジェクト位置変更部１１４、主要オブジェクト特定部１６０、オブジェクト距離取得部１７０、所定値決定部１８０、入力部１９２、観視者特定部１９４などが構築される。

一例として、コンピュータ８００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ８００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 表示装置、１００ 画像取得部、１１０ 画像生成部、１２０ 画像処理部、１４０ 表示部、１５０ 画像案内部、１１２ トリミング部、１１４ 主要オブジェクト位置変更部、１６０ 主要オブジェクト特定部、１７０ オブジェクト距離取得部、１８０ 所定値決定部、１９２ 入力部、１９４ 観視者特定部、３１０ バリア部、３１２ 透過部、３１４ 遮光部、３２０ バリア制御部、４１０ 左眼用画像、４２０ 右眼用画像、４１２ 左眼用画像、４２２ 右眼用画像、４４０ 背景オブジェクト、４５０ 主要オブジェクト、４３０ 表示画像、５００ 位置、６００ 位置、８００ コンピュータ、２０００ ＣＰＵ、２０１０ ＲＯＭ、２０２０ ＲＡＭ、２０３０ 通信インターフェイス、２０４０ ハードディスクドライブ、２０５０ フレキシブルディスク・ドライブ、２０６０ ＣＤ−ＲＯＭドライブ、２０７０ 入出力チップ、２０７５ グラフィック・コントローラ、２０８０ 表示装置、２０８２ ホスト・コントローラ、２０８４ 入出力コントローラ、２０９０ フレキシブルディスク、２０９５ ＣＤ−ＲＯＭ

Claims (13)

1. 観視者の右眼で視認されるべき右眼用画像と、観視者の左眼で視認されるべき左眼用画像とを取得する画像取得部と、
   前記右眼用画像および前記左眼用画像に含まれる主要オブジェクトを特定する主要オブジェクト特定部と、
   前記右眼用画像に含まれる前記主要オブジェクトの位置と、前記左眼用画像に含まれる前記主要オブジェクトの位置との表示画面上における位置の差であるズレ量を、予め定められた所定値にすべく、前記右眼用画像および前記左眼用画像の少なくとも一方における前記主要オブジェクトの位置を変更する主要オブジェクト位置変更部と
   を備える画像生成装置。
2. 前記主要オブジェクト位置変更部は、前記ズレ量を小さくすべく、前記右眼用画像および前左眼用画像の少なくとも一方における前記主要オブジェクトの位置を変更する請求項１に記載の画像生成装置。
3. 前記主要オブジェクト位置変更部は、前記ズレ量をなくすべく、前記右眼用画像および前記左眼用画像の少なくとも一方における前記主要オブジェクトの位置を変更する請求項１に記載の画像生成装置。
4. 前記主要オブジェクト位置変更部は、前記右眼用画像に含まれる前記主要オブジェクトの前記表示画面における位置を、前記左眼用画像に含まれる前記主要オブジェクトの前記表示画面における位置より、観視者から見て左にすべく、前記右眼用画像および前記左眼用画像の少なくとも一方における前記主要オブジェクトの位置を変更する請求項１に記載の画像生成装置。
5. 前記主要オブジェクト位置変更部は、前記ズレ量を観視者の眼幅より小さくすべく、前記右眼用画像および前記左眼用画像の少なくとも一方における前記主要オブジェクトの位置を変更する請求項４に記載の画像生成装置。
6. 前記右眼用画像および前記左眼用画像の少なくとも一方から、前記主要オブジェクトの画像領域をトリミングするトリミング部
   をさらに備え、
   前記主要オブジェクト位置変更部は、前記トリミング部がトリミングした前記主要オブジェクトの前記画像領域の位置を変更する請求項１から５のいずれかに記載の画像生成装置。
7. 前記主要オブジェクトの画像領域より、前記主要オブジェクトの前記画像領域の他の画像領域に対してより大きいぼかし処理を施すぼかし処理部
   をさらに備える請求項１から６のいずれかに記載の画像生成装置。
8. 前記右眼用画像および前記左眼用画像に含まれるオブジェクトまでの距離を取得するオブジェクト距離取得部
   をさらに備え、
   前記ぼかし処理部は、前記主要オブジェクトの画像領域より、前記主要オブジェクトより遠くに位置するオブジェクトの画像領域に対してより大きいぼかし処理を施す請求項７に記載の画像生成装置。
9. 前記主要オブジェクト位置変更部が前記主要オブジェクトの位置を変更した後の前記右眼用画像および前記左眼用画像を表示する表示部
   をさらに備える請求項１から８のいずれかに記載の画像生成装置。
10. 前記表示部が表示している前記右眼用画像および前記左眼用画像を観視している観視者の指示に基づいて、ズレ量の前記所定値を決定する所定値決定部と
    をさらに備える請求項９に記載の画像生成装置。
11. 前記画像取得部は、複眼カメラで撮像された前記右眼用画像および前記左眼用画像を取得する請求項１から１０のいずれかに記載の画像生成装置。
12. 観視者の右眼で視認されるべき右眼用画像と、観視者の左眼で視認されるべき左眼用画像とを取得する画像取得段階と、
    前記右眼用画像および前記左眼用画像に含まれる主要オブジェクトを特定する主要オブジェクト特定段階と、
    前記右眼用画像に含まれる前記主要オブジェクトの位置と、前記左眼用画像に含まれる前記主要オブジェクトの位置との表示画面上における位置の差であるズレ量を、予め定められた所定値にすべく、前記右眼用画像および前記左眼用画像の少なくとも一方における前記主要オブジェクトの位置を変更する主要オブジェクト位置変更段階と
    を備える画像生成方法。
13. 画像生成装置用のプログラムであって、コンピュータを、
    観視者の右眼で視認されるべき右眼用画像と、観視者の左眼で視認されるべき左眼用画像とを取得する画像取得部、
    前記右眼用画像および前記左眼用画像に含まれる主要オブジェクトを特定する主要オブジェクト特定部、
    前記右眼用画像に含まれる前記主要オブジェクトの位置と、前記左眼用画像に含まれる前記主要オブジェクトの位置との表示画面上における位置の差であるズレ量を、予め定められた所定値にすべく、前記右眼用画像および前記左眼用画像の少なくとも一方における前記主要オブジェクトの位置を変更する主要オブジェクト位置変更部
    として機能させるプログラム。

Images