JP2013051627A - 視域調整装置、映像処理装置および視域調整方法 - Google Patents

Abstract

【課題】視聴者に違和感を感じさせることなく、実用性の高い視域の調整を行うことができる視域調整装置を提供する。
【解決手段】視域調整装置は、立体映像を表示可能な立体映像表示装置の前方を撮影可能な撮像部と、撮像部で撮影された映像により視聴者の人数および位置を検出する視聴者情報検出部と、視聴者情報検出部にて検出された人数に基づいて、立体映像を視認可能な視域を調整する方針を示す複数の視域調整方針のいずれかを選択する視域調整方針決定部と、視域調整方針決定部で選択された視域調整方針と視聴者情報検出部で検出された視聴者の位置とに基づいて、視域の調整量を算出する視域情報算出部と、視域情報算出部で算出された視域の調整量に基づいて、視域を調整する視域調整部と、を備える。
【選択図】図１

Description

本発明の実施形態は、立体映像を視認可能な視域を調整する視域調整装置、映像処理装置および視域調整方法に関する。

裸眼で立体映像を視認可能なＴＶが注目されている。ところが、この種のＴＶでは、視聴位置によっては、立体感が得られない場合があり、十分な立体感を得るには、視聴者が立体感を得られる位置まで移動しなければならない。特に、視聴者が複数存在する場合には、各人が立体感を得られる位置まで移動するのは、非常に煩わしい。

そこで、ＴＶ側で立体感が得られる視域を調整することも考えられるが、視聴者は同じ場所に留まっているとは限らず、また視聴者の数も常に一定とは限らないため、視域を自動調整するのは簡易なことではない。

また、ＴＶに入力される映像データは、立体映像の再生に必要な視差データや奥行き情報を含む場合と含まない場合があり、映像データの映像種別を考慮に入れずに視域を自動調整すると、視聴者の意図に反した視域が設定されるおそれがある。

さらに、視聴者の好みは千差万別であり、視聴者の好みを無視して自動調整するのも好ましくない。

特許第４５２１３４２号公報

本発明は、視聴者に違和感を感じさせることなく、実用性の高い視域の調整を行うことができる視域調整装置、映像処理装置および視域調整方法を提供するものである。

本実施形態では、立体映像を表示可能な立体映像表示装置の前方を撮影可能な撮像部と、
前記撮像部で撮影された映像により視聴者の人数および位置を検出する視聴者情報検出部と、
前記視聴者情報検出部にて検出された人数に基づいて、立体映像を視認可能な視域を調整する方針を示す複数の視域調整方針のいずれかを選択する視域調整方針決定部と、
前記視域調整方針決定部で選択された前記視域調整方針と前記視聴者情報検出部で検出された視聴者の位置とに基づいて、前記視域の調整量を算出する視域情報算出部と、
前記視域情報算出部で算出された視域の調整量に基づいて、視域を調整する視域調整部と、を備えることを特徴とする視域調整装置が提供される。

第１の実施形態に係る視域調整装置１を備えた映像処理装置２の外観図。 映像処理装置２の概略構成の一例を示すブロック図。 表示パネル３１およびレンチキュラレンズ３２の一部を上方から見た図。 本実施形態に係る視域調整装置１の処理動作を示すフローチャート。 第１の実施形態による視域調整方針決定テーブルを示す図。 視域の調整量を算出する手法の一例を示す図。 第２の実施形態に係る視域調整装置１を備えた映像処理装置２の概略構成を示すブロック図。 第２の実施形態による視域調整装置１の処理動作を示すフローチャート。 第２の実施形態による視域調整方針決定テーブルを示す図。 第３の実施形態に係る視域調整装置１を備えた映像処理装置２の概略構成を示すブロック図。 第３の実施形態による視域調整装置１の処理動作を示すフローチャート。 第３の実施形態による視域調整方針決定テーブルを示す図。

以下、図面を参照しながら、本発明の一実施形態を説明する。

（第１の実施形態）
図１は第１の実施形態に係る視域調整装置１を備えた映像処理装置２の外観図であり、図２はその概略構成を示すブロック図である。これらの図に示すように、映像処理装置２は、立体映像表示装置３と、表示制御部４と、カメラ５と、受光部６と、チューナデコーダ７と、視差画像変換部８とを備えている。

立体映像表示装置３は、マトリクス状に配列された画素を有する表示パネル３１と、この表示パネル３１に対向するように配置されて各画素からの光線を制御する複数の射出瞳を有する光線制御部３２とを有する。表示パネル３１としては、例えば表示パネル３１や、プラズマディスプレイ、ＥＬ（ElectroLuminescent）パネル等を用いることができる。光線制御部３２は、一般的にはパララクスバリアまたは視差バリアとも呼ばれ、光線制御部３２の各射出瞳は、同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差（水平視差）のみを与える場合には、複数のスリットを有するスリット版またはレンチキュラーシート（シリンドリカルレンズアレイ）が用いられ、上下視差（垂直視差）も含める場合には、ピンホールアレイまたはレンズアレイが用いられる。すなわち、スリット板のスリットや、シリンドリカルレンズアレイのシリンドリカルレンズ、ピンホールアレイのピンホール、レンズアレイのレンズが各射出瞳になる。

なお、本実施形態に係る立体映像処理装置２は、複数の射出瞳を有する光線制御部３２を備えているが、パララックスバリアを透過型液晶表示装置などで電子的に発生させ、バリアパターンの形状や位置などを電子的に可変制御する立体映像処理装置２を用いてもよく、後述する立体画像表示用の画像が表示可能な表示装置であればよい。

以下では、光線制御部３２としてレンチキュラレンズを用いる例を説明する。表示パネル３１は、例えば水平方向に１１５２０（＝１２８０＊９）個、垂直方向に２１６０個の画素が形成された、５５インチサイズのパネルである。表示パネル３１は、背面に設けられるバックライト装置（不図示）によって照明される。表示パネル３１の各画素は、バックライト装置からの照明を受けて、視域調整装置１で視域が調整された視差画像信号（後述）に応じた輝度の光を透過させて、視差画像を表示する。

レンチキュラレンズ３２は表示パネル３１の水平方向に沿って配置される複数の凸部を有し、その数は表示パネル３１の水平方向画素数の１／９である。そして、９個の画素につき１つの凸部が対応するように、レンチキュラレンズ３２は表示パネル３１の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。

本実施形態の表示パネル３１は、３視差以上の多視差方式（インテグラルイメージング方式）または２視差方式で、立体映像を表示することができ、この他に通常の２次元映像も表示可能である。いずれの表示方式の場合も、表示解像度は同じになる。

表示制御部４は、表示パネル３１の各画素に画素データを供給するタイミングを制御する。本実施形態の表示パネル３１は、二次元映像を表示することもできるし、立体映像を表示することもできる。表示制御部４は、表示パネル３１が二次元映像を表示する場合には、二次元映像表示用の画素データを表示パネル３１に供給し、表示パネル３１が三次元映像を表示する場合には、二視差データまたは多視差データを各画素に供給する。

カメラ５は、表示パネル３１の下部中央付近に、所定の仰角で取り付けられ、表示パネル３１の前方の所定の範囲を撮影する。撮影された映像は視域調整装置１に供給され、視聴者の位置を検出するために用いられる。カメラ５は、動画像と静止画像のどちらを撮影してもよい。

受光部６は、例えば表示パネル３１の下部の左側に設けられる。そして、受光部６は視聴者が使用するリモコンから送信される赤外線信号を受信する。赤外線信号は、立体映像を表示するか２次元映像を表示する、立体映像を表示する場合に多視差方式および２視差方式のいずれで表示するか、視域の制御を行うか否か、等を示す信号を含む。

チューナデコーダ７は入力される放送波を受信および選局し、符号化された映像信号を復号する。あるいは、チューナデコーダ７は光ディスク再生装置等の映像出力機器から符号化された映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部８に供給される。

視差画像変換部８は、映像を立体表示するために、ベースバンド映像信号を２視差以上の視差画像信号に変換して画像調整部１５に供給する。

視差画像変換部８は、多視差方式と２視差方式のどちらを採用するかで、処理内容が異なる。

多視差方式を採用する場合、視差画像変換部８は第１〜第９視差画像にそれぞれ対応する第１〜第９視差画像信号を生成する。このとき、９視差の映像信号が入力された場合は、その映像信号を用いて第１〜第９視差画像信号を生成する。２次元の映像信号、あるいは８視差以下の映像信号が入力された場合は、動き検出、構図識別および人間の顔検出等を行って、第１〜第９視差画像信号を生成する。

２視差方式を採用する場合、視差画像変換部８は、左目用および右目用視差画像にそれぞれ対応する左目用および右目用視差画像信号を生成する。フレームパッキング（ＦＰ）、サイドバイサイド（ＳＢＳ）あるいはトップアンドボトム（ＴＡＢ）方式等で視差情報を含む映像信号が入力される場合、視差画像変換部８は表示パネル３１に表示可能な形式の左目用および右目用視差画像信号を生成する。

これに対し、２視差方式を採用する際に視差情報を含まない２次元の映像信号が入力される場合、視差画像変換部８は、映像信号における各画素の奥行き値に基づいて、左目用および右目用視差画像信号を生成する。奥行き値は、各画素がどの程度表示パネル３１に対して手前または奥に見えるように表示するかを示す値である。奥行き値は予め映像信号に付加されていてもよいし、映像信号の特徴に基づいて奥行き値を生成してもよい。

２視差方式を採用する場合、左目用視差画像では、手前に見える画素は奥に見える画素より右側にずれて表示する必要がある。そのため、視差画像変換部８は映像信号における手前に見える画素を右側にずらす処理を行って左目用視差画像信号を生成する。奥行き値が大きいほどずらす量を大きくする。

図２に示すように、視域調整装置１は、視聴者情報検出部１１と、視域調整方針決定部１２と、視域情報算出部１３と、視域調整部１４とを有する。視域調整装置１は、例えば１つのＩＣ（Integrated Circuit）として実装され、表示パネル３１の裏側に配置される。もちろん、視域調整装置１の少なくとも一部をソフトウェアで実装してもよい。

視聴者情報検出部１１は、カメラ５により撮影された映像を用いて視聴者を認識し、視聴者の人数と位置を検出する。視聴者の位置情報は、例えば表示パネル３１の中央を原点とするＸ軸（水平方向）、Ｙ軸（垂直方向）およびＺ軸（表示パネル３１のパネル面の法線方向）上の位置として表される。より具体的には、視聴者情報検出部１１は、まず、入力映像データから人間の顔を検出することにより視聴者を認識する。次いで、視聴者情報検出部１１は映像における顔の位置からＸ軸およびＹ軸上の位置を算出し、顔の大きさからＺ軸上の位置を算出する。視聴者が複数存在する場合、視聴者情報検出部１１は、予め定めた数、例えば１０人分だけ視聴者の位置を検出するようにしてもよい。この場合、検出された顔の数が１０より大きいときは、例えば表示パネル３１から近い、すなわち、Ｚ軸上の距離が小さい順に１０人の視聴者の位置を検出する。

視域調整方針決定部１２は、視聴者情報検出部１１にて検出された人数に基づいて、立体映像を視認可能な視域を調整する方針を示す複数の視域調整方針のいずれかを選択する。

視域情報算出部１３は、視域調整方針決定部１２で選択された視域調整方針と視聴者情報検出部１１で検出された視聴者の位置とに基づいて、視域の調整量を算出する。視域調整部１４は、視域情報算出部１３で算出された視域の調整量に基づいて、視域を調整する。

本実施形態では、表示パネル３１の各凸部に対応して９個の画素を設けて、９視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する９個の画素にそれぞれ第１〜第９視差画像を表示する。第１〜第９視差画像とは、水平方向に並ぶ９つの視点からそれぞれ被写体を見たときに視認される画像である。視聴者は、レンチキュラレンズ３２を介して、左目で第１〜第９視差画像のうちの１つの視差画像を、右目で他の１つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式では、視域を広くすることができる。視域とは、表示パネル３１の前方から表示パネル３１を見たときに映像を立体視可能な領域をいう。

一方、２視差方式では、各凸部に対応する９個の画素のうちの４個に右目用視差画像を、他の５個に左目用視差画像をそれぞれ表示する。左目用および右目用視差画像とは、水平方向に並ぶ２つの視点のうち、左側の視点および右側の視点からそれぞれ被写体を見たときに視認される画像である。視聴者は、レンチキュラレンズ３２を介して、左目で左目用視差画像を、右目で右目用視差画像をそれぞれ見ることにより、映像を立体視できる。２視差方式では、表示される映像の立体感が多視差方式よりも得られやすくなるが、多視差方式に比べて視域が狭くなる。

なお、表示パネル３１に２次元画像を表示する場合には、各凸部に対応する９個の画素に同一の画像を表示する。このように、液晶パネル１に２次元画像を表示する場合も、２視差あるいは多視差による立体映像を表示する場合も、表示解像度は同じになる。

また、本実施形態では、レンチキュラレンズ３２の各凸部と、各凸部に対応づけられる９個の画素との相対的な位置関係を制御することで、視域を調整している。以下、多視差方式を例に取って、視差の制御について説明する。

図３は表示パネル３１およびレンチキュラレンズ３２の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から表示パネル３１を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。
図３は、表示パネル３１とレンチキュラレンズ３２との相対的な位置関係、より具体的には、表示パネル３１とレンチキュラレンズ３２との距離、あるいは表示パネル３１とレンチキュラレンズ３２との水平方向のずれ量によって、視域が変化する様子を示している。

実際には、レンチキュラレンズ３２は、表示パネル３１に高精度に位置合わせをして貼り付けられるため、表示パネル３１とレンチキュラレンズ３２との相対的な位置を物理的に変更することは困難である。

そこで、本実施形態では、表示パネル３１の各画素に表示される第１〜第９視差画像の表示位置をずらすことで、見かけ上、表示パネル３１とレンチキュラレンズ３２との相対的な位置関係を変更し、これにより、視域の調整を行う。

例えば、各凸部に対応する９個の画素に第１〜第９視差画像を順に表示した場合（図３（ａ））に比べ、視差画像を全体に右側にずらして表示した場合（図３（ｂ））、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。

また、水平方向の中央付近では視差画像をずらさず、表示パネル３１の外側ほど、視差画像を外側に大きくずらして表示した場合（図３（ｃ））、視域は表示パネル３１に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図３（ｃ）とは逆に、水平方向の中央付近では視差画像をずらさず、表示パネル３１の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は表示パネル３１から遠ざかる方向に移動する。

このように、視差画像の全体あるいは一部をずらして表示することにより、視域を表示パネル３１に対して左右方向あるいは前後方向に移動させることができる。図３では説明を簡略化するために視域を１つだけ示しているが、実際には複数の視域が存在しており、表示パネル３１の各画素に表示される第１〜第９視差画像の表示位置をずらすと、これら複数の視域は連動して移動する。視域の移動は図２の視域調整部１４により制御される。

図４は本実施形態に係る視域調整装置１の処理動作を示すフローチャートである。まず、視聴者情報検出部１１は、カメラで撮影した映像に基づいて視聴者を認識し、認識した視聴者の人数と位置を検出する（ステップＳ１）。

次に、視域調整方針決定部１２により、現在採用している視域調整方針を変更する必要があるか否かを判定する（ステップＳ２）。視聴者の人数が同じであれば、視域調整方針の変更は不要と判断し、視聴者の人数に変化があれば、視域調整方針の変更が必要と判断する。

視域調整方針決定部１２は、視域調整方針の変更が必要と判断した場合には、視聴者の人数に応じて、視域調整方針を決定する（ステップＳ３）。

図５は第１の実施形態による視域調整方針決定テーブルを示す図である。図５に示すように、第１の実施形態に係る視域調整方針決定部１２は、視聴者の人数に応じて、それぞれ異なる視域調整方針を選択する。

より具体的には、人数がゼロの場合は、視域を表示パネル３１のセンター固定に設定するセンター固定方針を選択する。センター固定とは、レンチキュラレンズ３２を備えた表示パネル３１ごとに定められる最適な視域の中心位置である。

また、人数が一人の場合は、視聴者の位置に合わせて視域を継続的に自動追従して、視域の中心位置に視聴者を配置する自動追従方針を選択する。また、人数が二人以上の場合は、各視聴者の位置に合わせて視域を自動追従する複数人自動追従方針を選択する。

さらに、どの視域調整方針を選択する場合であっても、３視差以上の多視差で立体映像表示を行うインテグラルイメージング方式を採用する。図５では、インテグラルイメージング方式をＩＩと表記している。本実施形態は、インテグラルイメージング方式が選択されると、９視差の多視差方式で立体映像表示を行う。

ここで、人数がゼロの場合に、センター固定方針を選択する理由は、この場合は、視聴者が存在しないことから、視域を調整する必要がないためである。

人数が一人または二人以上の場合に、各視聴者の位置に合わせて視域を自動追従する視域調整方針を選択する理由は、視聴者が位置を変更しても、できるだけ立体映像を視認できるようにするためである。視聴者の位置に合わせて視域を自動追従するには、カメラで撮影した視聴者の位置に合わせて、視域情報算出部１３で視域の調整量を算出し、その算出結果に基づいて、視域調整部１４で視域を調整する必要がある。視域を調整する際は、図５で説明したように、表示パネル３１に表示する第１〜第９視差画像の画素位置を切り替えることで、見かけ上、表示パネル３１とレンチキュラレンズ３２との相対的な位置関係を変更する。

上述した図４のステップＳ３で視域調整方針が決定されると、視域情報算出部１３は、決定された視域調整方針と視聴者の位置とに基づいて、視域の調整量を算出する（ステップＳ４）。

図６は視域の調整量を算出する手法の一例を示す図である。視域情報算出部１３は設定可能な視域のパターンをいくつか予め定めておく。そして、視域情報算出部１３は、各視域について、視域と視聴者の検出位置とが重なる面積を算出し、その面積が最大となる視域を適切な視域と判断する。図６の例では、予め定めた図６（ａ）〜図６（ｅ）の５つの視域（網掛けの領域）のパターンのうち、視域を表示パネル３１に向かって左側に設定する図６（ｂ）において、視聴者２０の検出位置と視域とが重なる面積が最大となる。よって、視域情報算出部１３は図６（ｂ）の視域のパターンを適切な視域と判断し、図６（ｂ）のパターンで視差画像を表示するための制御パラメータを算出する。ここで、制御パラメータとは、例えば、表示パネル３１上で視差画像を表示する画素位置をずらす量である。

このようにして、図４のステップＳ４で視域の調整量が算出されると、次に、視域調整部１４は、視域情報算出部１３が算出した制御パラメータに応じて、視差画像信号をずらしたり、補間処理を行ったりして、視域の調整を行い、新たな視差画像信号を生成する（ステップＳ５）。そして、この新たな視差画像信号を表示パネル３１に供給して、視域調整後の立体映像を表示する（ステップＳ６）。

このように、第１の実施形態では、視聴者の人数に応じて視域調整方針を選択するため、視聴者の人数に応じて、最適な立体映像表示を行うことができる。また、視聴者が位置を変更したとしても、視聴者の位置に合わせて視域を自動追従するため、視聴者に違和感を与えることなく、継続して安定した立体映像表示を提供できる。

（第２の実施形態）
第２の実施形態は、視域調整方針を決定する際に、視聴者の人数だけでなく、入力映像の種別も考慮に入れるものである。

図７は第２の実施形態に係る視域調整装置１を備えた映像処理装置２の概略構成を示すブロック図である。図７の視域調整装置１は、図２の視域調整装置１の構成に加えて、映像種別検出部１５を備えている。

図７の映像種別検出部１５は、入力映像データの映像種別を検出する。例えば、映像種別検出部１５は、入力映像データが奥行き情報または視差情報を含む映像データ（以下、ステレオ３Ｄデータ）であるか、奥行き情報も視差情報も持たない通常の二次元映像データであるかを検出する。

映像種別検出部１５で映像種別を検出する理由は、入力映像データがステレオ３Ｄデータであれば、インテグラルイメージング方式にて多視差による立体映像表示を行うよりも、ステレオ３Ｄデータをそのまま利用して立体映像表示を行った方が立体感に優れた立体映像表示を行えるためである。

図８は第２の実施形態による視域調整装置１の処理動作を示すフローチャートである。図８のフローチャートは、ステップＳ１２とＳ１４の処理が図４のフローチャートとは異なっている。すなわち、視聴者情報検出部１１で視聴者の人数と位置を検出（ステップＳ１１）した後、映像種別検出部１５にて入力映像データの映像種別を検出する（ステップＳ１２）。

その後、現在の視域調整方針を変更する必要があるか否かを判定し（ステップＳ１３）、変更が必要と判定されると、視域調整方針決定部１２にて新たな視域調整方針を決定する（ステップＳ１４）。

図９は第２の実施形態による視域調整方針決定テーブルを示す図である。図９のテーブルは、視域調整方針を決定するための入力パラメータが、視聴者の人数と入力映像種別の二つである。これら２つの入力パラメータの組み合わせで選択される視域調整方針の種類は、全部で６種類である。以下、順に説明する。

視聴者の人数がゼロで、かつ入力映像がステレオ３Ｄデータの場合は、視域調整方針として、ステレオ３Ｄデータの中に含まれる奥行き情報または視差情報をそのまま利用して立体映像表示を行う二視差方式（以下、ダイレクト３Ｄと呼ぶ）を選択し、かつ視域をセンター固定にする。

視聴者の人数がゼロで、かつ入力映像がステレオ３Ｄデータ以外の通常の二次元映像データの場合は、視域調整方針として、インテグラルイメージング方式による多視差の立体映像表示を選択し、かつ視域をセンター固定にする。

視聴者の人数が一人で、かつ入力映像データがステレオ３Ｄデータの場合は、ダイレクト３Ｄを選択し、かつ視聴者の位置に合わせて視域を自動追従する。

視聴者の人数が一人で、かつ入力映像データがステレオ３Ｄデータ以外の通常の二次元映像データの場合は、インテグラルイメージング方式による多視差の立体映像表示を選択し、かつ視聴者の位置に合わせて視域を自動追従する。

視聴者の人数が二人以上で、かつ入力映像データがステレオ３Ｄデータの場合は、インテグラルイメージング方式による多視差の立体映像表示を選択し、かつ複数の視聴者それぞれの位置に合わせて視域を自動追従する。

視聴者の人数が二人以上で、かつ入力映像データがステレオ３Ｄデータ以外の通常の二次元映像データの場合は、インテグラルイメージング方式による多視差の立体映像表示を選択し、かつ複数の視聴者それぞれの位置に合わせて視域を自動追従する。

このように、入力映像データがステレオ３Ｄデータで、かつ視聴者が一人かゼロの場合は、より立体感が得られるように、多視差による立体映像表示は行わずに、入力映像データに含まれる奥行き情報または視差情報をそのまま利用して、二視差による立体映像表示を行う。

図８のステップＳ１４で視域調整方針が決定されると、その後は、図４のステップＳ４〜Ｓ６と同様に、視域の調整量の計算（ステップＳ１５）と、視域の調整（ステップＳ１６）と、立体映像表示（ステップＳ１７）とを順に行う。

このように、第２の実施形態では、視聴者の人数だけでなく、入力映像データの種別も考慮に入れて、視域調整方針を決定するため、入力映像データがステレオ３Ｄデータで、かつ視聴者が一人かゼロのときは、入力映像データをそのまま利用して二視差による立体映像表示を行うことができ、より立体感に優れた立体映像表示を提供できる。

（第３の実施形態）
第３の実施形態は、第２の実施形態に加えて、ユーザの好みも考慮に入れて、視域調整方針を決定するものである。

図１０は第３の実施形態に係る視域調整装置１を備えた映像処理装置２の概略構成を示すブロック図である。図１０の視域調整装置１は、図７の視域調整装置１の構成に加えて、ユーザプリファレンス設定部１６を備えている。

図１０のユーザプリファレンス設定部１６は、ユーザが希望する視域調整方針を設定する。ユーザは、リモートコントローラ等を用いて、複数の視域調整方針の中から希望する視域調整方針を選択する。ユーザプリファレンス設定部１６は、後述する視域調整方針決定テーブルに基づいて、必要に応じてユーザが選択した視域調整方針を採用する。

図１１は第３の実施形態による視域調整装置１の処理動作を示すフローチャートである。図１１のフローチャートは、ステップＳ２３とＳ２５の処理が図８のフローチャートと異なっている。ステップＳ２２で入力映像データの映像種別を判別した後、ユーザプリファレンス設定部１６は、ユーザが希望する視域調整方針を設定する（ステップＳ２３）。

その後、ステップＳ２４で視域調整方針の変更が必要と判定されると、視域調整方針決定部１２は、ユーザの好みも考慮に入れて、新たな視域調整方針を決定する（ステップＳ２４）。

図１２は第３の実施形態による視域調整方針決定テーブルを示す図である。特定の視域調整方針を決定するための入力パラメータは、視聴者の人数と入力映像データの映像種別に加えて、ユーザプリファレンス設定部１６で設定したユーザの好みである。

ユーザの好みの具体的内容は、特に限定されるものではないが、図１２の例では、ユーザは、入力映像に含まれる奥行き情報または視差情報をそのまま用いて立体映像表示を行うダイレクト３Ｄを優先するか否かと、多視差による立体映像表示を行うインテグラルイメージング方式を優先するか否かと、予め設定した重みの大きい位置、すなわち優先度の高い位置）に視域を設定するヒストグラム優先を採用するか否かと、ユーザの手動で任意に設定するか否かと、をユーザプリファレンス設定部１６で設定することができる。

図１２の例では、視聴者の数がゼロで、かつ入力映像データがステレオ３Ｄデータの場合は、ユーザプリファレンス設定部１６の設定内容に応じて、以下の視域調整方針が決定される。

ユーザがダイレクト３Ｄ優先を選択した場合は、ダイレクト３Ｄでセンター固定と決定される。ユーザがインテグラルイメージング方式優先を選択した場合は、インテグラルイメージング方式でセンター固定と決定される。ユーザがヒストグラム優先を選択した場合は、インテグラルイメージング方式でヒストグラムによる中心推定と決定される。ユーザが手動を選択した場合は、インテグラルイメージング方式と決定され、かつユーザが手動で視域調整方針を決定することを許容する。

視聴者の数がゼロで、かつ入力映像データがステレオ３Ｄデータ以外の通常の二次元映像データの場合は、ユーザがダイレクト３Ｄ優先を選択したとしても、ダイレクト３Ｄではなく、インテグラルイメージング方式が設定される。

視聴者が一人の場合は、入力映像データの種別にかかわらず、ユーザがダイレクト３Ｄ優先またはインテグラルイメージング方式を選択した場合は、インテグラルイメージング方式で自動追従が設定される。また、ユーザがヒストグラム優先を選択した場合は、インテグラルイメージング方式でヒストグラムによる優先度付けが設定される。ユーザが手動を選択した場合は、入力映像データがステレオ３Ｄデータであれば、ダイレクト３Ｄで、かつユーザが手動で視域調整方針を決定することを許容する。ユーザが手動を選択したときに入力映像データがステレオ３Ｄでない通常の二次元映像データの場合は、インテグラルイメージング方式が設定され、かつユーザが手動で視域調整方針を決定することを許容する。

視聴者が二人以上の場合は、入力映像データの種別にかかわらず、ユーザがダイレクト３Ｄ優先またはインテグラルイメージング方式を選択した場合は、インテグラルイメージング方式で複数人の自動追従が設定され、ユーザがヒストグラム優先を選択した場合は、インテグラルイメージング方式でヒストグラムによる優先度付けが設定され、ユーザが手動を選択した場合は、ユーザが手動で視域調整方針を決定することを許容する。

図１２に従って、視域調整方針としてインテグラルイメージング方式が選択された場合は、 入力映像データがステレオ３Ｄデータであっても、ステレオ３Ｄデータ以外の通常の二次元映像データであっても、入力映像データに対する、動き検出、構図識別および人間の顔検出による奥行き情報検出を行って、多視差データを生成する。

このように、第３の実施形態では、ユーザの好みも加味して視域調整方針を決定するため、個々のユーザの意向に沿った視域調整が可能となる。

上述した実施形態で説明した視域調整装置１および映像処理装置２の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、視域調整装置１および映像処理装置２の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、視域調整装置１および映像処理装置２の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

１ 視域調整装置
２ 映像処理装置
３ 立体映像表示装置
４ 表示制御部
５ カメラ
６ 受光部
７ チューナデコーダ
８ 視差画像変換部
１１ 視聴者情報検出部
１２ 視域調整方針決定部
１３ 視域情報算出部
１４ 視域調整部
１５ 映像種別検出部
１６ ユーザプリファレンス設定部
３１ 表示パネル
３２ 光線制御部（レンチキュラレンズ）

Claims (10)

1. 立体映像を表示可能な立体映像表示装置の前方を撮影可能な撮像部と、
   前記撮像部で撮影された映像により視聴者の人数および位置を検出する視聴者情報検出部と、
   前記視聴者情報検出部にて検出された人数に基づいて、立体映像を視認可能な視域を調整する方針を示す複数の視域調整方針のいずれかを選択する視域調整方針決定部と、
   前記視域調整方針決定部で選択された前記視域調整方針と前記視聴者情報検出部で検出された視聴者の位置とに基づいて、前記視域の調整量を算出する視域情報算出部と、
   前記視域情報算出部で算出された視域の調整量に基づいて、視域を調整する視域調整部と、を備えることを特徴とする視域調整装置。
2. 前記視域調整方針決定部は、前記視聴者情報検出部にて検出された視聴者の人数に関わらず、３視差以上の多視差データを前記立体映像表示装置の各画素に供給して立体映像表示を行うための視域調整方針を選択することを特徴とする請求項１に記載の視域調整装置。
3. 入力映像データの映像種別を検出する映像種別検出部と、
   前記視域調整方針決定部は、前記視聴者情報検出部にて検出された人数と前記映像種別検出部にて検出された映像種別とに基づいて、前記複数の視域調整方針のいずれかを選択することを特徴とする請求項１に記載の視域調整装置。
4. 前記映像種別検出部は、前記入力映像データが視差情報または奥行き情報を含む三次元映像データであるか、視差情報および奥行き情報を含まない二次元映像データであるかを前記映像種別として検出し、
   前記視域調整方針決定部は、前記視聴者情報検出部にて検出された人数が一人以下で、かつ前記映像種別検出部が前記三次元映像データであると検出した場合には、前記入力映像データに含まれる視差情報または奥行き情報を用いて生成される二視差データを前記立体映像表示装置の各画素に供給して立体映像表示を行うための視域調整方針を選択し、前記視聴者情報検出部にて検出された人数が二人以上の場合には、前記入力映像データが前記三次元映像データと前記二次元映像データとのいずれであっても、３視差以上の多視差データを前記立体映像表示装置の各画素に供給して立体映像表示を行うための視域調整方針を選択することを特徴とする請求項３に記載の視域調整装置。
5. 前記複数の視域調整方針は、視域を前記立体映像表示装置の最適な視域の中心位置に固定するセンター固定方針と、一人の視聴者の移動位置に合わせて視域を調整する自動追従方針と、複数の視聴者それぞれの移動位置に合わせて視域を調整する複数人自動追従方針と、を含み、
   前記視域調整方針決定部は、前記視聴者情報検出部で検出された視聴者がゼロであれば前記センター固定方針を選択し、前記視聴者情報検出部で検出された視聴者が一人であれば前記自動追従方針を選択し、前記視聴者情報検出部で検出された視聴者が二人以上であれば前記複数人自動追従方針を選択することを特徴とする請求項１乃至４のいずれかに記載の視域調整装置。
6. 入力映像データの映像種別を検出する映像種別検出部と、
   視聴者が希望する視域調整方針を設定するユーザプリフェランス設定部と、を備え、
   前記視域調整方針決定部は、視聴者の人数、映像種別および前記ユーザプリフェランス設定部で設定された視聴者の好みに基づいて、前記複数の視域調整方針のいずれかを選択することを特徴とする請求項１に記載の視域調整装置。
7. 前記ユーザプリフェランス設定部は、前記入力映像データに含まれる視差情報または奥行き情報を用いて生成される二視差データを前記立体映像表示装置の各画素に供給して立体映像表示を行うための視域調整方針を優先させるか、３視差以上の多視差データを前記立体映像表示装置の各画素に供給して立体映像表示を行うための視域調整方針を優先させるか、予め定めた視域の重みを優先するヒストグラム優先の視域調整方針を優先させるか、ユーザによる手動設定優先の視域調整方針を優先させるか、のいずれかを設定可能であり、
   前記視域調整方針決定部は、前記ユーザプリフェランス設定部の設定に基づいて、前記複数の視域調整方針のいずれかを選択することを特徴とする請求項６に記載の視域調整装置。
8. 受信または記録された符号化映像信号を復号して前記入力映像データを生成する復号処理部と、
   前記視域調整部で調整された視域が得られるように、前記入力映像データを前記立体映像表示装置の各画素に供給するタイミングを制御する表示制御部と、
   請求項１乃至７のいずれかに記載の視域調整装置と、を備えることを特徴とする映像処理装置。
9. マトリクス状に配列された複数の画素を有する平面表示部と、前記平面表示部に対向配置されて前記平面表示部の各画素からの光線を制御する複数の射出瞳を有する光線制御部と、を有する前記立体映像表示装置を備えることを特徴とする請求項８に記載の映像処理装置。
10. 立体映像を表示可能な立体映像表示装置の前方を撮影するステップと、
    前記撮影された映像により視聴者の人数および位置を検出するステップと、
    前記検出された人数に基づいて、立体映像を視認可能な視域を調整する方針を示す複数の視域調整方針のいずれかを選択するステップと、
    前記選択された前記視域調整方針と前記検出された視聴者の位置とに基づいて、前記視域の調整量を算出するステップと、
    前記算出された視域の調整量に基づいて、視域を調整するステップと、を備えることを特徴とする視域調整方法。

Images