JP5594477B2 - 画像表示装置、画像表示方法、及びプログラム - Google Patents

Description

本発明は、画像表示装置、画像表示方法、及びプログラムに関する。特に、一画面で２Ｄ画像（２次元画像）と３Ｄ画像（３次元画像）が混在する画像表示装置に関する。

３Ｄ画像は２Ｄ画像と比較すると、より高度な表現が可能であり、近年の画像表示技術の進歩と相まってその注目度が高まっている。３Ｄ画像は、左目と右目の視差によって空間を３次元として認知することを利用し、実現される。より具体的な３Ｄ画像の実現は、図５０に示すような画像表示装置により行われる。３Ｄ画像表示部に、左目に対する入力画像（左目用視差画像）と右目に対する入力画像（右目用視差画像）を入力し、これらの画像が観察者の左目と右目で別々に認識されるように調整し、３Ｄ表現（立体表現）を実現する。なお、左目用視差画像と右目用視差画像は両目の視差を考慮して生成された信号である。

ここで、特許文献１において、観察者が立体映像を観察する時に注視すると思われる領域を検出し、この検出した領域とは異なる視差量を持つ領域の信号に対して低域通過型のフィルタ処理を行うことで、注視領域とそれ以外の領域とが、ぼやけた状態で観察者が知覚する技術が開示されている。

また、特許文献２においては、２次元映像信号の動き量が所定値より大きい場合は、動き量に応じた時間差が付加されて視差が発生し、疑似的に左目用映像信号及び右目用映像信号に変換し、疑似３次元映像信号を作り出す技術が開示されている。

さらに、特許文献３においては、立体画像データ内に立体画像であることを示す識別情報を持たせ、立体画像に対応しない機器での観察時には立体画像であることを知覚させ、立体画像に対応した機器での観察時には識別情報が観察者の妨げにならないとする技術が開示されている。

さらに、特許文献４において、２Ｄ画像と３Ｄ画像を混在させ、立体画像を表示することでデータ量及び消費電力を低減する技術が開示されている。特許文献４に記載の画像表示装置は、視差画像生成部と、３Ｄ画像表示部から構成されている。視差画像生成部は、２次元画像と、注目領域画像と、注目領域形状情報、或は、デプス画像信号を入力とし、２次元画像の注目領域に該当する領域を左右２つの異なる視点から表現した画像に置き換え、左目用視差画像と右目用視差画像を生成し、出力する。３Ｄ画像表示部は、生成された左目用視差画像と右目用視差画像を並び替え、２Ｄ画像と３Ｄ画像混在表示を行う。

ここで、入力とする２次元画像とは、３Ｄ表示される一方の視点の画像信号である。注目領域画像は、２次元画像における注目領域を表現する画像であり、注目領域とは画像全体の中で立体的に表現される領域を意味する。注目領域形状情報には、２次元画像における注目領域の位置や形状等の情報が含まれる。また、デプス画像信号は、３次元空間で視点と２次元画像内の被写体の距離を表す信号である。

視差画像生成部で、注目領域画像信号に対してアフィン変換や透過変換といった幾何変換や、周波数領域でのフィルタリングを行い、注目領域画像の各画素に視差を与えることによって、２Ｄ／３Ｄ混在画像を生成する。即ち、生成された左目用視差画像と右目用視差画像の注目領域以外の領域は２次元画像の注目領域以外の領域と同じ画像となる。左目用視差画像と右目用視差画像は、注目領域のみに視差がある画像であって、注目領域以外の画像は同じである。

特開平１１−１５５１５４号公報 特開平７−２８１６４４号公報 特開２００７−０３６５２８号公報 国際公開第２０１０／１１６６１４号

以下の分析は、本発明の観点からなされたものである。

上述のように、３Ｄ画像は２Ｄ画像よりも高い表現力を持ち、エンターテイメントの分野だけに限られず、様々な分野での利用が期待できる。しかし、３Ｄ画像の実現には、高い表現力を有する代償として２Ｄ画像と比較すれば多くの情報量を必要とする。図５０に示す画像表示装置では、左目及び右目それぞれの視点に対応する左目用視差画像と右目用視差画像が必要になる。また、特許文献１で開示された技術では、左目用視差画像と、左目用視差画像から右目用視差画像を生成するための視差情報が必要となる。

このように、３Ｄ画像を表現するためのデータ量は２Ｄ画像のデータ量よりも増加する。データ量が増加すると、映像を出力する機器と映像を表示する機器とを接続するケーブルとの間でデータ転送ができないことや、同一機器内であっても内部のデータバスで扱うことのできる転送量を超える可能性がある。また、単一視点の画像と同じ光量で複数の視点の画像を表示する画像表示機器では多くの電力を消費する。また、特許文献１において開示された技術では、全画面が３Ｄとなる入力映像信号に対するフィルタ処理を行うが、入力映像信号及び出力映像信号も全て立体映像となり、データの転送量と消費電力は２次元映像に比較して著しく増加する。

また、特許文献２において開示された技術では、２次元映像信号の動き量に基づいて視差量を算出し、左目用映像信号と右目用映像信号の生成を行うが、出力映像全体は３次元信号となり、消費電力は２次元表示と比較すれば増加する。

さらに、特許文献３において開示された技術では、立体画像を示す識別マークにより立体画像データの識別を行うが、注目領域の自動抽出方法、注目領域の自動判定方法、及び、注目領域を立体視にする方法については言及されていない。また、特許文献４で開示された技術では、観察者が注目する注目画像領域を予め用意しておく必要がある。そのため、２次元画像以外に、注目画像領域を生成しておく必要があるという問題がある。

上述のように、３Ｄ画像は非常に高い表現力を有し、より一層の普及が望まれるものであるが、２Ｄ画像と比較して大量のデータが必要となる。すると、データの転送容量の不足や消費電力の増加といった問題が生じる。さらに、特許文献４で開示された技術であっても、観察者が注目する注目領域画像が必要であり、立体表示を行なおうとする映像以外に注目領域画像を生成しておく必要がある。

本発明の一側面において、データ量及び消費電力を低減し、観察者の注目する注目領域画像を自動生成することで３Ｄ画像を実現する画像表示装置、画像表示方法、及びプログラムが、望まれる。

本発明の第１の視点によれば、観察者に注目させたい領域である注目領域を含む２次元画像において、デプス閾値を用いて前記２次元画像の各画素と視点からの距離を表すデプス値が前記デプス閾値以上であれば、前記デプス値を２次元表示用のデプス値に変換するデプス画像変換により、前記２次元画像の各画素と３次元空間における視点との距離情報を含むデプス画像信号を生成して、前記注目領域を抽出する注目領域抽出部と、前記２次元画像と前記デプス画像信号とに基づいて前記注目領域に表現する注目領域画像を、左右それぞれの視点から変換した画像と、前記注目領域以外の領域の視差をなくした前記２次元画像と混在して左目用視差画像及び右目用視差画像を生成する視差画像生成部と、前記視差画像生成部で生成された前記左目用視差画像と前記右目用視差画像を表示する３次元画像表示部と、を備える画像表示装置が提供される。

本発明の第２の視点によれば、観察者に注目させたい領域である注目領域を含む２次元画像において、デプス閾値を用いて前記２次元画像の各画素と視点からの距離を表すデプス値が前記デプス閾値以上であれば、前記デプス値を２次元表示用のデプス値に変換するデプス画像変換により、前記２次元画像の各画素と３次元空間における視点との距離情報を含むデプス画像信号を生成して、前記注目領域を抽出する注目領域抽出工程と、前記２次元画像と前記デプス画像信号とに基づいて前記注目領域に表現する注目領域画像を、左右それぞれの視点から変換した画像と、前記注目領域以外の領域の視差をなくした前記２次元画像と混在して左目用視差画像及び右目用視差画像を生成する視差画像生成工程と、前記視差画像生成工程で生成された前記左目用視差画像と前記右目用視差画像を表示する３次元画像表示工程と、を含む画像表示方法が提供される。

本発明の第３の視点によれば、観察者に注目させたい領域である注目領域を含む２次元画像において、デプス閾値を用いて前記２次元画像の各画素と視点からの距離を表すデプス値が前記デプス閾値以上であれば、前記デプス値を２次元表示用のデプス値に変換するデプス画像変換により、前記２次元画像の各画素と３次元空間における視点との距離情報を含むデプス画像信号を生成して、前記注目領域を抽出する注目領域抽出処理と、前記２次元画像と前記デプス画像信号とに基づいて前記注目領域に表現する注目領域画像を、左右それぞれの視点から変換した画像と、前記注目領域以外の領域の視差をなくした前記２次元画像と混在して左目用視差画像及び右目用視差画像を生成する視差画像生成処理と、前記視差画像生成処理で生成された前記左目用視差画像と前記右目用視差画像を表示する３次元画像表示処理と、を画像表示装置を構成するコンピュータに実行させるプログラムが提供される。

本発明の各視点によれば、注目領域のみを立体的に表現し、２次元画像と混在させることでデータ量及び消費電力を低減しつつ、観察者の注目する注目領域画像を自動生成することで３Ｄ画像を実現する画像表示装置、画像表示方法、及びプログラムが提供される。注目領域を自動抽出する際に、入力信号が動画映像の場合は、動き量を考慮したデプス変換を行うことによって、注目領域画像に相当する情報を含んだデプス画像信号を生成し、目の負担が少ない、より面白い、豊かな表現力の２Ｄ／３Ｄ混在コンテンツの作成が可能になる。入力信号が静止の２次元画像となる場合にも、注目領域の以外のデプス値を２Ｄ表示用のデプス値に変換し、注目領域のみを自動的に３Ｄ化することも可能になる。

本発明の第１の実施形態に係る画像表示装置の構成を示すブロック図である。 第１の実施形態に係る画像表示装置における注目領域抽出部の構成の一例を示すブロック図である。 左右の視点からの視差量を説明するための図である。 左右の視点からの視差量を説明するための別の図である。 デプス閾値と動き量の関係の一例を示す図である。 デプス閾値と動き量の関係の一例を示す図である。 ３Ｄ空間における各オブジェクトの配置を示す図である。 注目領域抽出処理を説明するためのフローチャートである。 図８の注目領域抽出処理における前フレーム２次元画像を示す図である。 図８の注目領域抽出処理における現フレーム２次元画像を示す図である。 図８の注目領域抽出処理における前フレームの分割後２次元画像を示す図である。 図８の注目領域抽出処理における現フレームの分割後２次元画像を示す図である。 図８の注目領域抽出処理における動き量の計算結果を示す図である。 図８の注目領域抽出処理におけるデプス画像信号を示す図である。 図８の注目領域抽出処理におけるデプス閾値と動き量の関係を示す図である。 図８の注目領域抽出処理における変換後のデプス画像信号を示す図である。 第１の実施形態の変形例に係る画像表示装置の構成を示すブロック図である。 図１７における注目領域抽出部の内部構成を示すブロック図である。 複数フレームの２次元画像を用いて注目領域の抽出を行う処理のフローチャートである。 図１９の注目領域抽出処理における前フレーム左目用２次元画像を示す図である。 図１９の注目領域抽出処理における前フレーム右目用２次元画像を示す図である。 図１９の注目領域抽出処理における現フレーム左目用２次元画像を示す図である。 図１９の注目領域抽出処理における現フレーム右目用２次元画像を示す図である。 図１９の注目領域抽出処理における前フレーム左目用分割２次元画像を示す図である。 図１９の注目領域抽出処理における前フレーム右目用分割２次元画像を示す図である。 図１９の注目領域抽出処理における現フレーム左目用分割２次元画像を示す図である。 図１９の注目領域抽出処理における現フレーム右目用分割２次元画像を示す図である。 図１９の注目領域抽出処理における左目用動き量計算結果を示す図である。 図１９の注目領域抽出処理における右目用動き量計算結果を示す図である。 図１９の注目領域抽出処理における現フレーム左右画像の視差量を示す図である。 図１９の注目領域抽出処理における左目用デプス画像信号を示す図である。 図１における注目領域抽出部の別の内部構成を示すブロック図である。 本発明の第２の実施形態に係る画像表示装置の内部構成を示すブロック図である。 図３３における注目領域抽出部の内部構成を示すブロック図である。 第２の実施形態における注目領域抽出処理のフローチャートである。 図３５の注目領域抽出処理における２次元画像を示す図である。 図３５の注目領域抽出処理における分割後２次元画像を示す図である。 図３５の注目領域抽出処理における変換前のデプス画像信号を示す図である。 図３５の注目領域抽出処理における変換後のデプス画像信号を示す図である。 デプス推定ＬＵＴ信号の一例を示す図である。 本発明の第３の実施形態に係る画像表示装置の内部構成を示すブロック図である。 図４１における注目領域抽出部の内部構成を示すブロック図である。 図４１における３Ｄ画像表示部の内部構成を示すブロック図である。 図４３におけるバックライトコントローラの内部構成を示すブロック図である。 第３の実施形態におけるＬＣＤ画面の輝度分布図の一例を示す図である。 第３の実施形態における液晶パネルの階調値の一例を示す図である。 第３の実施形態におけるバックライト輝度信号分布の一例を示す図である。 図４７の輝度分布を変換した後の輝度信号の一例を示す図である。 バックライトの輝度を変換した後の液晶パネルの階調値の一例を示す図である。 ３Ｄ表現を実現する画像表示装置の一構成例である。

［第１の実施形態］
本発明の第１の実施形態に係る２Ｄ／３Ｄ画像混在表示装置においては、左目用視差画像と右目用視差画像を生成する視差画像生成部と、２Ｄ／３Ｄ画像混在表示を行う３Ｄ画像表示部の他に、注目領域を自動的に３Ｄ化するための注目領域抽出部も用意する。

本発明の第１の実施形態に係る画像表示装置の構成について、図１を参照して説明する。図１は、本実施形態に係る画像表示装置１の構成を示すブロック図である。図１に示すように、画像表示装置１は、注目領域抽出部１１０と、視差画像生成部１２０、３Ｄ画像表示部１３０を備えている。注目領域抽出部１１０は、撮影された２次元映像をフレームごとに入力する。各フレームの２次元画像は、１０００、２０００、…と表記される。注目領域抽出部１１０は、連続的に入力された２次元画像信号に含まれた輝度情報、動き量情報などから、現在処理しているフレーム画像２０００（以下に、現フレームと略称）に対応するデプス画像２０００ｄを推測する。デプス画像信号は、３次元空間における視点と画像内の被写体との距離（デプス値）を直接表現する信号である。以下の説明においては、視点から被写体までの距離を１画素につき８ビットの範囲で表現可能であるとする。次に、動き量をパラメータとするデプス閾値を用いて注目領域の判断を行い、注目領域以外のデプス値を２Ｄ表示用のデプスに変更する。そして、変換後のデプス画像２０１０が注目領域抽出部１１０から出力される。

視差画像生成部１２０は、変換後のデプス画像２０１０から注目領域画像の各画素の視差情報を算出し、左目用視差画像２０００Ｌｏと右目用視差画像２０００Ｒｏを生成する。最後に、３Ｄ画像表示部１３０で生成された左目用視差画像２０００Ｌｏと右目用視差画像２０００Ｒｏを並び替え、２Ｄ画像と３Ｄ画像混在表示を行う。

以下に、入力から出力までの順で各処理ブロックの構成を説明する。
図２は、注目領域抽出部１１０の構成を示すブロック図である。注目領域抽出部１１０は、画像分割部１０と、デプス画像計算部１１と、動き量計算部１２と、デプス画像変換部１３から構成される。

後述の動き量計算、デプス画像予測など処理のスピードと精度を上げるため、画素単位で処理を行うことではなく、予め入力の２次元画像を幾つの領域に分け、領域単位で計算を行うようにする。画像分割部１０には複数枚の２次元画像（１０００、２０００）が連続的に入力される。ここでは、複数の２次元画像のうち、前フレーム２次元画像を２次元画像１０００、現在のフレーム２次元画像を２次元画像２０００と表記して以下説明する。画像分割部１０では、２次元画像の座標値と色情報を参照し、入力された２次元画像（１０００、２０００）を近い画素特徴（色情報、位置情報）を持つ領域に分ける分割処理を行う。つまり、２次元画像は近い特徴を持つ領域に分解されることになる。そして、分割された各領域にラベリング処理を行い、分割後の出力画像の画素値は、分割後の各領域のラベリング値とする。２次元画像１０００を分割した信号を分割後２次元画像１０００ａと、２次元画像２０００を分割した信号を分割後２次元画像２０００ａと表記する。画像分割処理について具体的な例を後述する。

次に、分割後２次元画像（１０００ａ、２０００ａ）が動き量計算部１２に入力され、色情報、輝度情報、面積情報を用いて前フレーム２次元画像１０００と現フレーム２次元画像２０００の各領域の対応（動き量）を推定する。具体的には、色情報、輝度情報等から導き出した領域について、対応する領域の重心位置の差分値をこの領域の動き量２０００ｃとして出力する。

さらに、分割後２次元画像（１０００ａ、２０００ａ）と、動き量計算部１２が出力する各領域の動き量がデプス画像計算部１１に入力される。デプス画像計算部１１では、各領域の位置情報、動き量、輝度情報等を参照して、各領域のデプス値２０００ｄを予測する。

ここで、視差量とデプス値の関係について図３及び図４を用いて説明する。図３及び図４は３次元空間である対象物を左右の各視点から観測した場合の視差量を説明するための図である。視差量とは左右の各視点で得られる、ずれの量を示すものあり、図３に示すように対象物と各視点との距離が近い場合には、同じ対象物を認識する距離の差が大きく異なる（図３の距離ａ、距離ｂを参照）。一方、対象物と各視点との距離が遠い場合には、同じ対象物を認識する距離の差が小さくなる（図４の距離ｃ、距離ｄを参照）。このように、視差量が大きい場合は視点と対象領域の距離が近いことを意味するのでデプス値としては小さい値が算出され、逆に視差量が小さい場合には視点と対象領域の距離が遠いことを意味するのでデプス値としては大きな値が算出される。

上述のように、視差量からデプス値の推定が可能であるが、入力信号に一つのカメラ情報しかないため、分割後２次元画像２０００ａの輝度情報によってデプス値を推定する。

デプス画像計算部１１において推定されたデプス値２０００ｄと動き量計算部１２から出力する各領域の動き量２０００ｃは、デプス画像変換部１３に入力する。上述のように、視点と対象領域の距離が近くなるにつれて視差量が大きくなるため、視点より近い対象領域が注目領域として抽出されると、より自然的な２Ｄ／３Ｄ混在表現が得られる。そこで、デプス画像変換部１３では、式（１）及び式（２）に示す変換式を用いてデプス画像信号２０００ｄに対して変換処理を行う。
Ｄ１＜Ｄｔｈ（ｖ）：Ｄ２＝Ｄ１ ・・・（１）
Ｄ１＞Ｄｔｈ（ｖ）：Ｄ２＝２５５ ・・・（２）
ここで、Ｄ１：変換前のデプス値２０００ｄ、Ｄ２：変換後のデプス値２０１０、Ｄｔｈ：デプス閾値、ｖ：動き量２０００ｃとする。

式（２）は、各領域の動き量からデプス値の閾値を決定し、ある領域のデプス値が計算された閾値より大きい場合、この領域に表される対象物体のデプス値を２Ｄ表示用のデプス値に変換する。２Ｄ表示用のデプス値は、３Ｄ空間において左右カメラの配置方式により決まる。左右カメラが平行配置の場合は、２Ｄ表示用デプス値が視点より無限遠となる。シフトセンサー方式で左右カメラが配置される場合は、２Ｄ表示用のデプス値がカメラのスクリーン面距離となる。ここで、平行配置のステレオカメラを用いてデプス変換の一例を説明する。式（２）に示すように、閾値より大きいデプス値を持つ対象物体を視点より無限遠と看做し、２５５に変換する。式（１）は、この領域のデプス値が閾値より小さい場合、デプス値の変換はしないことを表している。このような変換処理をすることで、変換後のデプス値が２５５ではない領域を注目領域画像として抽出する。このような変換によって、所謂飛び出す感を演出する。なお、変換後のデプス画像信号は２０１０と表記する。

次に、デプス閾値と動き量の関係について説明する。式（１）と式（２）によると、視点より近い対象領域を３Ｄにしたが、動き量の大きなものは数フレーム後に観察者に近づき注目領域となる可能性があるため、予め閾値を高くして３Ｄ表示を行い、より面白い、豊かな表現力の２Ｄ／３Ｄ混在映像の作成が可能になる。そのため、デプス閾値と動き量の関係は式（３）のような線形関係として規定する。
Ｄｔｈ（ｖ）＝ｋ×ｖ＋Ｄ０ ・・・（３）
ｋは、デプス閾値と動き量の比例係数であり、Ｄ０は静止物体に対応するデプス閾値である。式（３）の関係を図示したものが図５である。

また、３Ｄ画面を観察する際に、対象物があまりに激しい動きをすると、観察者の目が追跡することができない場合がある。そこで、そのようなことを防止するため、式（４）及び式（５）に示すようなデプス閾値と動き量の関係に従ってもよい。
ｖ＜ｖｔｈ：Ｄｔｈ＝ｋ１×ｖ＋Ｄ１ ・・・（４）
ｖ＞ｖｔｈ：Ｄｔｈ＝ｋ２×ｖ＋Ｄ２ ・・・（５）
即ち、オブジェクトの動き量がある値ｖｔｈ以上となると、デプス閾値と動き量の比例係数ｋ２を負の数に設定するか、又は、比例係数を下げる（ｋ２＜ｋ１）ことで、２Ｄ画像から３Ｄ画像への変換を穏やかにさせて目の負担を軽減する。式（４）及び式（５）の関係を図示したものが、図６である。

続いて、注目領域の抽出方法をより具体的に説明する。図７に示すような３個のボールが配置された３次元空間から注目領域の抽出を行う処理について図８を参照しながら説明する。図８は注目領域抽出処理のフローチャートを示した図である。

図７に示すように、ボール１は視点位置から、視線方向にデプス値で１８０離れた位置に置かれている。そして、その位置から点線に示した運動軌跡に沿って動くものとする。ボール２とボール３は、それぞれ視点位置からデプス値１００とデプス値２０離れた場所に固定されている。上記のような３次元空間でのオブジェクトの移動を、ｚ軸の視点位置にあるカメラを用いて時間順に撮影すると、複数のフレーム２次元画像（１０００、２０００）を得ることができる。

ステップＳ０１では、撮影された複数のフレーム２次元画像（１０００、２０００）を時間順に注目領域抽出部１１０に入力する。その際の前フレーム２次元画像１０００を図９に、現フレーム２次元画像２０００を図１０に示す。
２次元画像１０００において、三つのボールに対応する画素の輝度値はそれぞれ１０、１００、２００となる。
２次元画像２０００において、三つのボールに対応する画像の輝度値はそれぞれ１００、１００、２００となる。

ステップＳ０２では、入力された前フレーム２次元画像１０００と現フレーム２次元画像２０００を、座標値と色情報を参照しながら、近い画素特徴（色情報、位置情報）を持つ領域に分ける分割処理と分割された各領域に順番をつけるラベリング処理を行い、分割後２次元画像１０００ａと分割後２次元画像２０００ａを出力する。入力の２次元画像１０００と２０００において、同じボールを表す画素の画素値が等しいため、前記三つのボールがそれぞれ一つの領域として分割される。分割後２次元画像１０００ａと２０００ａにおいて、前記三つのボールに対応する画像の画素値は、該当する領域のラベリング値である。前フレームの分割後２次元画像１０００ａを図１１に、現フレームの分割後２次元画像２０００ａを図１２に示す。

ステップＳ０３では、ステップＳ０２で分割した色情報と輝度情報を用いて、前フレームの分割後２次元画像１０００ａと現フレームの分割後２次元画像２０００ａにおける各領域の対応づけを推定する。その結果、各領域の対応は図１３のようになり、対応する各領域の重心位置の差分値を動き量として出力する。なお、動き量の計算は表示を行う画面の幅等の画面座標系情報と現フレーム画像と前フレーム画像における各領域の位置情報により算出する。例えば、図１３の例では、ボール１の移動量は、画面の幅を１００とした場合には、１２に相当する。従って、ボール１の動き量は１２と算出され、動きのないボール２とボール３の動き量は０となる。以降の説明においても、画面の幅は１００とする。

続いて、現フレームの分割後２次元画像２０００ａと、前フレームの分割後２次元画像１０００ａにおける各領域の動き量をデプス画像計算部１１に入力する。デプス画像計算部１１では、各領域の位置情報、動き量、輝度情報を参照し、各領域のデプス画像信号２０００ｄを予測する。

ここでは、デプスは、入力画像の輝度情報によって予測する。光源が対象物と視点の間に配置されると予め仮定すれば、入力の２次元画像内のこの三つのボールの輝度差は、光源との距離の違いによって生じるものと看做す。そこで、輝度値が大きいほど、デプス値が小さいと推定できる。現フレームの分割後２次元画像２０００ａの輝度情報（ボール１とボール２の輝度値が同じとなり、ボール３の輝度値は、最も大きい）から、図１４に示すようなデプス画像信号２０００ｄの推定も可能である。図１４では、ボール１及びボール２のデプス値が１００となり、ボール３のデプス値が２０となることを示している。

ステップＳ０４では、各領域の動き量からデプス値の閾値を計算し、デプス画像信号２０００ｄに対して変換を行う。その際、式（２）に示すように、ある領域のデプス値が、計算された閾値以上である場合、この領域に表示される対象物体は２Ｄにするため、視点より無限遠とみなし、デプス値を２５５に変換する。逆に、式（１）に示すように、この領域のデプス値が閾値未満で場合は、デプス値をそのまま出力する。例えば、デプス画像信号２０００ｄを変換するためのデプス閾値と動き量の関係を、図１５のような線形関係に規定したとする。すると、デプス閾値と動き量の比例係数ａ＝１０、静止の物体のデプス閾値ｂ＝８０であるから、動き量１２を持つボール１のデプス閾値は２００となり、静止しているボール１とボール２のデプス閾値は８０となる。各領域のデプス閾値とデプス値を式（２）に代入すれば、変換後のデプス画像信号２０１０はボール２のデプスが２５５になる（図１６参照）。

ステップＳ０５では、変換後のデプス画像信号２０１０を出力する。

なお、デプス閾値と動き量の関係を線形関数に仮定したが、その以外の関係に従属するとしてもよい。

以上のように、注目領域抽出部１１０を用いて、２次元画像の各画素に対して動き量を考慮したデプス変換を行うことによって、注目領域画像に相当する情報を含んだデプス画像信号の生成を自動的に行うことができる。従って、視差画像生成部１２０においては、変換後のデプス画像信号２０１０から、被写体と左右の各視点間の距離を復元し、現フレーム画像２０００内の各画素の視差量が算出できる。算出された視差量に従って、各画素に対してずらし処理を行って左目用視差画像２０００Ｌｏ及び右目用注目領域視差画像２０００Ｒｏを生成することができる。

視差画像生成部１２０で行った処理は、式（６）に示す。現フレーム画像２０００における画素（ｕ、ｖ）のずらし量Δｕ（ｕ、ｖ）の計算式は式（６）で表現できる。

ここで、ｚ（ｕ、ｖ）は現フレーム画像における画素（ｕ、ｖ）に対応する３次元空間の点と視点の距離であり、変換後のデプス画像信号２０１０から算出できる。また、ＩＯＤは両視点の距離であり、Ｆｏｖは視角である。即ち、デプス値が大きい時は対象となる画素は視点から離れているので、ずらし量Δｕは小さくなり、特にデプス値が２５５に変換された画素は、視点から無限遠と看做され、視差量が０である。逆にデプス値が小さい時は対象となる画素は視点から近いため、ずらし量Δｕは大きくなる。

次に、算出したずらし量を用いて、現フレーム画像の（ｕ、ｖ）の画素値を左目用視差画像１０００Ｌｏの座標（ｕ−Δｕ、ｖ）と右目用注目領域視差画像１０００Ｒｏの座標（ｕ＋Δｕ、ｖ）に適用する。これらの処理により、注目領域のみに視差がある左目用視差画像１０００Ｌｏ及び右目用視差画像１０００Ｒｏが生成できる。
最後に、３Ｄ画像表示部で生成された左目用視差画像と右目用視差画像を並び替え、２Ｄ画像と３Ｄ画像混在表示を行う。

本実施形態では、注目領域を抽出する際に、対象物体のデプス値と動き量を考慮することで、動き量の大きなものは数フレーム後に観察者に近づき注目領域となる可能性があるため、予め閾値を高くして３Ｄ表示を行い、より面白い、豊かな表現力の２Ｄ／３Ｄ混在コンテンツの作成が可能になる。一方、激しい動きによる目の追跡できないことを防ぐため、デプス閾値を動き量に依存させることで、２Ｄから３Ｄへの変換を緩やかにさせて、目の負担を軽減することができる。また、注目領域以外のデプス値を２Ｄ表示用のデプス値に変換することで、注目領域のみを自動的に３Ｄ化することも可能になる。

［変形例］
なお、本実施形態では、図１７のように複数フレームの左目用２次元画像（１０００Ｌ、２０００Ｌ）と複数フレームの右目用２次元画像（１０００Ｒ、２０００Ｒ）を画像表示装置１ａに入力することも可能である。この場合であっても、左目用２次元画像（１０００Ｌ、２０００Ｌ）と右目用２次元画像（１０００Ｒ、２０００Ｒ）のそれぞれに対して注目領域の抽出方法を適用することができる。図１７に示すように、画像表示装置１ａは、注目領域抽出部１１０ａと、視差画像生成部１２０、３Ｄ画像表示部１３０を備えている。

図１８に、注目領域抽出部１１０ａの構成例を示すブロック図を示す。注目領域抽出部１１０ａは、画像分割部１０ａと、デプス画像計算部１１ａと、動き量計算部１２ａと、デプス画像変換部１３ａから構成される。左目用２次元画像（１０００Ｌ、２０００Ｌ）及び右目用２次元画像（１０００Ｒ、２０００Ｒ）を連続的に画像分割部１０ａに入力する。分割後の左目用２次元画像信号は、１０００Ｌａと２０００Ｌａとなる。分割後の右目用２次元画像信号は、１０００Ｒａと２０００Ｒａとなる。

そして、動き量計算部１２ａにおいて、分割後の左右２次元画像信号の色情報と輝度情報を用いて、前フレームの分割後２次元画像（１０００Ｌａ、１０００Ｒａ）と現フレームの分割後２次元画像（２０００Ｌａ、２０００Ｒａ）における各領域の対応づけを左右に分けて、それぞれ推定し、対応する両領域の重心位置の差分値をこの領域の動き量２０００Ｒｃと２０００Ｌｃとして出力する。

次に、前フレームの分割後左目用２次元画像１０００Ｌａ及び前フレームの分割後右目用２次元画像１０００Ｒａと、現フレームの分割後左目用２次元画像２０００Ｌａ及び現フレームの分割後右目用２次元画像２０００Ｒａと、現フレームの左右２次元画像における各領域の動き量をデプス画像計算部１１ａに入力する。デプス画像計算部１１ａでは、各領域の動き量、輝度情報を参照し、現フレームの分割後左目用２次元画像２０００Ｌａと現フレームの分割後右目用２次元画像２０００Ｒａにおける各領域の対応付けを推測する。対応する両領域の重心位置からこの領域の視差量を得て、デプス値２０００Ｌｄを推測する。

最後に、計算されたデプス値２０００Ｌｄと動き量２０００Ｌｃをデプス画像変換部１３ａに入力し、動き量をパラメータとするデプス閾値Ｄｔｈを用いて注目領域の判断を行い、注目領域以外のデプス値を２Ｄ表示用のデプスに変更する。そして、変換後のデプス画像２０１０Ｌが出力される。

ここでは、複数フレームの左目用２次元画像（１０００Ｌ、２０００Ｌ）と右目用２次元画像（１０００Ｒ、２０００Ｒ）を入力とする場合の注目領域の抽出方法を上述の図１８の場合に当てはめ、具体的に説明する。図１９は、複数フレームの左目用２次元画像（１０００Ｌ、２０００Ｌ）と右目用２次元画像（１０００Ｒ、２０００Ｒ）を用いて注目領域の抽出を行う処理のフローチャートを示した図である。

ステップＳ１１では、撮影された複数フレームの左目用２次元画像（１０００Ｌ、２０００Ｌ）と右目用２次元画像（１０００Ｒ、２０００Ｒ）を時間順に注目領域抽出部１１０ａに入力する。これらの入力画像を図２０乃至図２３に示す。これらの２次元画像は、注目領域抽出部１１０ａにあるフレームバッファ（図示せず）に一時的に保存される。

ステップＳ１２では、入力された複数フレームの左目用２次元画像（１０００Ｌ、２０００Ｌ）と右目用２次元画像（１０００Ｒ、２０００Ｒ）に対して画像分割処理を行う。図２４が前フレームの分割後左目用２次元画像１０００Ｌａであり、図２５が前フレームの分割後右目用２次元画像１０００Ｒａである。また、図２６が現フレームの分割後左目用２次元画像２０００Ｌａであり、図２７が現フレームの分割後右目用２次元画像２０００Ｒａである。

ステップＳ１３では、色情報と輝度情報を用いて、前フレームの分割後２次元画像（１０００Ｌａ、１０００Ｒａ）と現フレームの分割後２次元画像（２０００Ｌａ、２０００Ｒａ）における各領域の対応づけを左右に分けて、それぞれ推定し、対応する両領域の重心位置の差分値をこの領域の動き量として出力する（図２８及び図２９参照）。図２８では、左目用２次元画像における領域２と領域３の動き量が０、領域１の動き量は１２である事を示している。右目用２次元画像における各領域の動き量も同様である。

次に、前フレームの分割後左目用２次元画像１０００Ｌａ及び前フレームの分割後右目用２次元画像１０００Ｒａと、現フレームの分割後左目用２次元画像２０００Ｌａ及び現フレームの分割後右目用２次元画像２０００Ｒａと、現フレームの左右２次元画像における各領域の動き量をデプス画像計算部１１ａに入力する。デプス画像計算部１１ａでは、各領域の動き量、輝度情報を参照し、現フレームの分割後左目用２次元画像２０００Ｌａと現フレームの分割後右目用２次元画像２０００Ｒａにおける各領域の対応付けを推測する。そして、対応する両領域の重心位置からこの領域の視差量を得て、デプス値を推測する。図３０は現フレームの左右２次元画像の視差量を示し、点線で示したボールが右目用視差画像における各領域の位置情報であり、灰色のボールが左目用視差画像における各領域の位置情報である。図３０では、領域１（ボール１）及び領域２（ボール２）の視差量は同じ値となり、領域１と領域２のデプス値は同じ値が与えられる。一方、領域３の視差量は領域１及び領域２の視差量より大きいため、領域３が視点により近いことを意味し、デプス値は小さく与えられる。図３１に、生成された現フレームの左目用画像のデプス画像信号２０００Ｌｄを示す。

ステップＳ１４では、ステップＳ１３において生成された左目用のデプス画像信号２０００Ｌｄと右目用のデプス画像信号２０００Ｒｄの何れかに対してデプス変換を行う。具体的な変換処理は、上述した一枚の２次元画像を入力とする場合のステップＳ０４と同じである。

ステップＳ１５では、変換後の左目用のデプス画像信号２０１０Ｌを出力する。変換後の左目用のデプス画像信号２０１０Ｌを上述のように視差画像生成部１２０に入力し、式（６）に従って注目領域のみに視差がある左目用視差画像２０００Ｌｏ及び右目用視差画像２０００Ｒｏを生成する。

また、画像表示装置１００に入力される信号が、デプス画像信号１０００ｄと２次元画像１０００のみの場合には、注目領域抽出部１１０ｂの構成を図３２のようにすることもできる。注目領域抽出部１１０ｂは、画像分割部１０ｂ、動き量計算部１２ｂ、デプス画像変換部１３ｂから構成される。デプス画像信号１０００ｄを直接、デプス画像変換部１３ｂに入力することで、２次元画像からデプス値を生成するデプス画像計算部が不要となる。また、動き量計算部１２ｂの入力は、画像分割部１０ｂの出力を使ったが、２次元画像を直接入力してもよい。

以上の説明は飛び出す感を出すために、デプス変換によって２Ｄから３Ｄへの変換方法を説明したが、奥行き感を出す場合にも適用できる。その際には、ある領域のデプス値が計算された閾値より小さい場合に、この領域のデプス値を２Ｄ表示用のデプス値に変換する。逆に、この領域のデプス値が閾値より大きい場合、デプス値を変換せずに出力する。

本実施形態では、注目領域を抽出する際に、対象物体のデプス値と動き量を考慮することで、動き量の大きなものは数フレーム後に観察者に近づき注目領域となる可能性があるため、予め閾値を高くして３Ｄ表示を行い、より面白い、豊かな表現力の２Ｄ／３Ｄ混在コンテンツの作成が可能になる。一方、激しい動きによる目の追跡できないことを防ぐため、デプス閾値を動き量に依存させることで、２Ｄから３Ｄへの変換を緩やかにさせて、目の負担を軽減することができる。また、注目領域以外のデプス値を２Ｄ表示用のデプス値に変換することで、注目領域のみを自動的に３Ｄ化することも可能になる。

以上のように、異なる両視点の画像から、注目領域を自動的に抽出し、注目領域のみを立体的に表現する２Ｄ／３Ｄ混在表示が可能となる。なお、特許文献３には、２Ｄ画像と３Ｄ画像の識別マークを注目領域以外に配置する技術が開示されているが、注目領域の自動抽出方法や注目領域の具体的な判定方法は開示されていない。また、入力された左右２次元画像の視差量からデプス画像信号を推定することで、より正確なデプス情報を入手することが可能となる。さらに、動き量をパラメータとするデプス閾値関数を用いて注目領域を抽出するため、動画の場合は、注目させたいものがより滑らかに抽出されて、目の負担が少ない２Ｄ／３Ｄ混在コンテンツを生成することができる。

［第２の実施形態］
続いて、第２の実施形態について図面を参照して詳細に説明する。図３３は本実施形態に係る画像表示装置２の構成を示した図である。図３３において図１と同一構成要素には、同一の符号を表し、その説明を省略する。

画像表示装置２には、２次元画像１０００と、デプス値を推定するためのデプス推定ＬＵＴ信号１００９と、デプス値を変換するためのデプス閾値Ｄｔｈを入力する。デプス推定ＬＵＴ信号１００９は、各領域の形状、面積からデプス値を推定するためのルックアップテーブル信号である。

図３４に注目領域抽出部２１０の構成例を示す。図３４に示す注目領域抽出部２１０は、画像分割部２０と、デプス画像計算部２１と、デプス画像変換部２３から構成される。

画像分割部２０では、２次元画像を入力とし、座標値と色情報とから画像分割処理を行い、分割後の２次元画像を出力する。次に、分割後の２次元画像をデプス画像計算部２１に入力し、各領域の形状及び面積とデプス値との関係が規定されたテーブルを参照し、デプス画像信号１０００ｄを生成する。

デプス画像変換部２３は、入力されたデプス閾値を参照し、デプス画像計算部２１が生成したデプス画像信号１０００ｄに対して、式（１）及び式（２）に示すデプス変換処理を行う。なお、変換後のデプス画像信号１０１０では、注目領域以外のデプス値を２５５とする。

次に、本実施形態における注目領域抽出処理のフローチャート（図３５）と、図３６乃至図４０を参照し、工業操作画面によく用いられるボタン画面を例として、注目領域抽出処理の具体的な処理を説明する。

図３６に示すような、３種類の形状で色が違うボタンを持つ画面を入力とする。三角の形状を持つ領域を領域１、長方形の形状を持つ領域を領域２、円形の形状を持つ領域を領域３とする。

ステップＳ２１では、静止画像の２次元画像１０００を注目領域抽出部２１０に入力する。

ステップＳ２２では、入力された２次元画像を、座標値と輝度値を参照し、一様な画素特徴を持つ領域に分割する処理を行う。図３７は、図３６のボタン画面を輝度値と座標値に基づき、３領域に分割したものである。

ステップＳ２３では、分割後の２次元画像の各領域の特徴量（形状情報、面積）を互いに独立のパラメータとし、デプス推定ＬＵＴ信号を参照することでデプス値を割り当てる。具体的な処理としては、最初に各領域の面積を算出する。図３７に示す例では、三角形領域の面積を８、四角形領域の面積を１２、円形領域の面積は４と計算される。その後、分割後の２次元画像の各領域の形状情報及び面積と、デプス推定ＬＵＴ信号に予め登録されたテーブルデータと、をマッチングすることで各領域にデプス値を割り当てる。

図３８は、図４０に示すデプス推定ＬＵＴ信号を参照して生成されたデプス画像信号１０００ｄである。図４０のデプス推定ＬＵＴ信号に従うと、領域１（三角形領域）のデプス値は５０、領域２（四角形領域）のデプス値は３０、領域３（円形領域）のデプス値は５となる。

ステップＳ２４は、上述のステップＳ２３において生成されたデプス画像信号１０００ｄに対して、式（１）及び式（２）に示すデプス画像変換を行う。例えば、図３８に対して、デプス閾値を４０と設定する場合、変換後のデプス画像信号１０１０は図３９のようになる。その際、図３８の領域１（三角形領域）のデプス値はデプス閾値の４０より大きいため、２５５に変換される。

ステップＳ２５においては、変換後のデプス値を視差画像生成部１２０へ出力する。

本実施形態では、一枚の２次元画像から、注目領域画像を自動的に抽出する処理、とデプス画像を自動的に生成する処理を述べたが、入力が左右２次元画像である場合や、デプス画像を含む場合にも適用できる。デプス画像信号が入力画像信号に含まれるときは、デプス画像計算部２１は不要となる。

本実施形態は、入力信号が静止の２次元画像となる場合にも、注目領域の以外のデプス値を２Ｄ表示用のデプス値に変換し、注目領域のみを自動的に３Ｄ化することも可能になる。

［第３の実施形態］
続いて、第３の実施形態について図面を参照して詳細に説明する。第１乃至第２の実施形態においては、主に３Ｄ画像表示部において表示すべき画像データの生成について説明してきた。本実施形態では、３Ｄ画像表示部において表示すべきデータの生成に加え、画像表示のコントローラの制御について説明する。

画像表示装置が液晶モニターであれば、液晶モニターのバックライトを直接制御することで、表現力豊かな３Ｄ画像を低消費電力で提供することが可能になる。図４１は、本実施の形態に係る画像表示装置３の構成を示すブロック図である。画像表示装置３は、注目領域抽出部３１０、視差画像生成部３２０と３Ｄ画像表示部３３０を備えている。

画像表示装置３には、複数の２次元画像（１０００、２０００）が時間順に入力される。図４２は、注目領域抽出部３１０の内部の構成を示したブロック図である。注目領域抽出部３１０は、第１の実施形態に記載の注目領域抽出部１１０にバックライト制御信号生成部３４を加えたものである。

バックライト制御信号生成部３４は、変換されたデプス画像信号２０１０を用いて、注目領域、すなわちデプス値が２５５ではない領域に該当するバックライト中のＬＥＤの位置を表す位置信号１１００を算出し、出力する。

また、２次元画像の輝度値２０００を参照し、バックライトにおける各ＬＥＤの輝度信号１２００を出力する。さらに、バックライト制御信号生成部に予め定められた輝度変換ＬＵＴ信号１３００を出力する。輝度変換ＬＵＴ信号は、輝度信号を変換するための参照テーブルである。輝度変換ＬＵＴ信号を用いた輝度変換の具体例については後述する。

視差画像生成部３２０は、変換後のデプス画像信号２０１０を元に、各画素を計算された視差に対応する位置にずらして左目用視差画像１０００Ｌｏと右目用視差画像１０００Ｒｏを生成し、上述のバックライト制御信号と同時に３Ｄ画像表示部３３０に出力する。

３Ｄ画像表示部３３０は、図４３に示すように液晶コントローラ３４１と、バックライトコントローラ３４２と、液晶パネル３４３と、ＬＥＤバックライト３４４を備えている。液晶コントローラ３４１は、２次元画像と左目用視差画像２０００Ｌｏと右目用視差画像２０００Ｒｏを入力とし、液晶パネル３４３の画素配置に合わせて、画素データの並び替え処理を行い、出力された合成画像を液晶パネル３４３に出力することで、２Ｄ／３Ｄ混在表示を実現する。一方、ＬＥＤバックライト３４４に対しても、バックライトコントローラ３４２を用いて、注目領域と背景領域に応じてＬＥＤの輝度値変換が可能である。

図４４は、バックライトコントローラ３４２の詳細な構成を示すブロック図である。バックライトコントローラ３４２は、バックライト輝度変換回路３４２１、シフトレジスタ３４２２、ラッチレジスタ３４２３、スイッチ３４２４を備えている。バックライト輝度変換回路３４２１は、位置信号１１００、輝度信号１２００、輝度変換ＬＵＴ信号１３００を入力とし、注目領域の位置信号１１００と輝度変換ＬＵＴ信号１３００を参照しながら、輝度信号１２００の値を変換する。

ここでは、輝度変換の具体的な処理を説明する。はじめに、輝度信号が８ビットずつバックライト輝度変換回路３４２１に入力される。そして、注目領域の位置信号を用いて、現在入力されている輝度信号が注目領域に該当するか否かを判断する。その判断結果に応じて、輝度変換ＬＵＴ信号から適切な輝度値を調べ、輝度変換を行う。その後、新たに生成された輝度信号は、シフトレジスタ３４２２に入力される。シフトレジスタ３４２２では、輝度信号を１ビットずつ受け取り、レジスタに書き込む。８ビット書き込まれたら、この８ビットの信号をラッチレジスタ３４２３に転送する。最後に、ラッチレジスタ３４２３に入力された信号から、対応するＬＥＤを制御するスイッチ信号を、スイッチ３４２４において生成する。このスイッチ信号により、バックライトの各ＬＥＤが制御される。

次に、図４５乃至図４９を参照し、バックライト輝度変換回路３４２１における輝度変換処理により、消費電力を低減できる理由を具体的に説明する。図４５は、ＬＣＤ画面の輝度分布図である。ＬＣＤ画面の輝度は、液晶パネルの透過率とバックライトの輝度から定まる。さらに、液晶パネルの透過率は表示画面の階調値に依存することから、液晶パネルの透過率を階調値に置き換えることが可能である。そこで、ＬＣＤ画面とバックライトの輝度を０から２５５までの整数値に変換した上で、説明を行う。

図４５に示すような、注目領域の輝度値が２００、注目領域以外の輝度値が５０、といった値を持つＬＣＤ画面を、各ＬＥＤの点灯を個別に制御せず実現するためには、液晶パネルの階調値は図４６のように注目領域の輝度値は２００、注目領域外の輝度は５０とし、バックライトの輝度を均一の２５５（１００％）にする必要がある（図４７）。各ＬＥＤの点灯を個別に制御できず、注目領域外のＬＥＤも注目領域のＬＥＤの点灯に合わせる必要があるためである。この場合、バックライトの輝度を最大にして動作させるため消費電力が大きい。

そこで、液晶パネルの消費電力を削減するために、バックライト輝度変換回路３４２１においてバックライトの制御を行う。始めに、図４７のバックライトの輝度信号が８ビットずつバックライト輝度変換回路３４２１に入力される。そして、バックライト輝度変換回路３４２１では、位置信号１１００を参照し、入力されている信号が注目領域内か否かを判断する。判断結果に応じて、輝度変換ＬＵＴ信号１３００から適切な輝度値を調べ、輝度変換を行う。例えば、入力信号が注目領域内の輝度信号であれば、入力信号を変換せずに、輝度信号として出力する。入力信号が注目領域外の輝度信号であれば、入力信号の輝度を半分にして、輝度信号を生成する。以上の処理により、図４７の輝度信号が図４８のように変換される。変換後の輝度信号における注目領域の輝度値は２５５であり、注目領域外の輝度値は輝度信号の半分である１２６に変換される。

一方、図４５に示すようなＬＣＤ画面の輝度分布を得るために、バックライト輝度変換回路３４２１を用いて、液晶パネルの表示画面の階調値を図４９に示すように注目領域を２００、注目領域以外を１００に変換する。即ち、図４５の輝度を持つＬＣＤ画面の実現のため、注目領域以外の領域のバックライトの点灯を抑制し、抑制した結果、注目領域以外の輝度が下ってしまった分を液晶パネルの表示画面の階調値を上げ、階調値をあげることで輝度値を補正する制御を行う。その結果、注目領域外のＬＥＤの輝度が下り、消費電力を削減することができる。

なお、ＬＥＤ用のバックライト輝度変換回路３４２１をバックライトコントローラ３４２に設けた例を説明したが、視差画像生成部３２０内に設けてもよい。また、画像表示装置３に基づき３Ｄ画像表示部の構成を説明したが、第１と第２の実施形態に対しても適用が可能である。以上のように、２Ｄ／３Ｄ混在表示を行う際に、バックライトにおける注目領域のＬＥＤと背景領域のＬＥＤに異なる輝度値を与えることで、消費電力を削減することができる。

なお、上記の特許文献等の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせない選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。例えば、全ての実施形態がハードウェアの構成により実現可能であるが、本発明は、これに限定されるものではない。全ての処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。この場合には、コンピュータプログラムは、記憶媒体に記憶して提供することも可能であり、また、インターネットその他の通信媒体を介して伝送することにより提供することも可能である。なお、第１と第２の実施形態までの３Ｄ画像表示部としては、ＬＣＤ、有機ＥＬ、ＬＥＤ、ＰＤＰ等の表示装置に適用が可能である。特に、有機ＥＬ、ＬＥＤ、ＰＤＰなど自発光の表示装置に適用する場合、消費電力が各画素の輝度で決められるため、フィルタリング処理、階調変換などを用いて注目領域外の輝度値を下げることによって消費電力を削減する効果が顕著である。

１〜３、１ａ、画像表示装置
１１０、１１０ａ、１１０ｂ、２１０、３１０ 注目領域抽出部
１２０、３２０ 視差画像生成部
１３０、３３０ ３Ｄ画像表示部
１０、１０ａ、１０ｂ、２０、３０ 画像分割部
１１、１１ａ、２１、３１ デプス画像計算部
１２、１２ａ、１２ｂ、３２ 動き量計算部
１３、１３ａ、１３ｂ、２３、３３ デプス画像変換部
３４ バックライト制御信号生成部
３４１ 液晶コントローラ
３４２ バックライトコントローラ
３４３ 液晶パネル
３４４ ＬＥＤバックライト
３４２１ バックライト輝度変換回路
３４２２ シフトレジスタ
３４２３ ラッチレジスタ
３４２４ スイッチ
１０００、２０００、１０００Ｌ、２０００Ｌ、１０００Ｒ、２０００Ｒ ２次元画像信号
１０００ａ、２０００ａ、１０００Ｌａ、２０００Ｌａ、１０００Ｒａ、２０００Ｒａ 画像分割処理後の画像信号
２０００ｃ、２０００Ｌｃ、２０００Ｒｃ 動き量
１０００ｄ、２０００ｄ、２０００Ｌｄ、２０００Ｒｄ 変換前のデプス画像信号
１０１０、２０１０、２０１０Ｌ 変換後のデプス画像信号
１００９ デプス推定ＬＵＴ信号
１１００ バックライト位置信号
１２００ バックライト輝度信号
１３００ 輝度変換用ＬＵＴ信号
１０００Ｌｏ、２０００Ｌｏ 左目用視差画像信号
１０００Ｒｏ、２０００Ｒｏ 右目用視差画像信号

Claims (18)

1. 観察者に注目させたい領域である注目領域を含む２次元画像において、デプス閾値を用いて前記２次元画像の各画素と視点からの距離を表すデプス値が前記デプス閾値以上であれば、前記デプス値を２次元表示用のデプス値に変換するデプス画像変換により、前記２次元画像の各画素と３次元空間における視点との距離情報を含むデプス画像信号を生成して、前記注目領域を抽出する注目領域抽出部と、
   前記２次元画像と前記デプス画像信号とに基づいて前記注目領域に表現する注目領域画像を、左右それぞれの視点から変換した画像と、前記注目領域以外の領域の視差をなくした前記２次元画像と混在して左目用視差画像及び右目用視差画像を生成する視差画像生成部と、
   前記視差画像生成部で生成された前記左目用視差画像と前記右目用視差画像を表示する３次元画像表示部と、
   を備えることを特徴とする画像表示装置。
2. 前記注目領域抽出部は、
   最新フレームの第１の２次元画像と、前記第１の２次元画像の直前のフレームの第２の２次元画像と、を受け付け、前記第１の２次元画像及び前記第２の２次元画像を、前記第１の２次元画像及び前記第２の２次元画像において共通する特徴を持つ分割領域に分割し、分割後の第１の２次元画像及び分割後の第２の２次元画像を生成する画像分割部と、
   前記分割後の第１の２次元画像及び前記分割後の第２の２次元画像の分割領域であって対応する分割領域の重心位置の差分値を計算し、前記差分値を前記分割後の第１の２次元画像の分割領域に対する動き量として算出する動き量計算部と、
   前記分割後の第１の２次元画像の分割領域に対する輝度情報から前記分割後の第１の２次元画像信号の分割領域の画素に対するデプス予測値を生成するデプス画像計算部と、
   前記動き量から前記デプス閾値を算出することで、前記デプス予測値に対し前記デプス画像変換を行うデプス画像変換部と、
   を備える請求項１の画像表示装置。
3. 前記注目領域抽出部は、
   最新フレームの第１の左目用２次元画像及び第１の右目用２次元画像と、前記第１の左目用２次元画像と前記第１の右目用２次元画像の直前のフレームの第２の左目用２次元画像及び第２の右目用２次元画像と、を受け付け、前記第１の左目用２次元画像、前記第２の左目用２次元画像、前記第１の右目用２次元画像、前記第２の右目用２次元画像、それぞれの画像を共通する特徴を持つ領域に分割することで、分割後の第１の左目用２次元画像と、分割後の第１の右目用２次元画像と、分割後の第２の左目用２次元画像と、分割後の第２の右目用２次元画像と、を生成する画像分割部と、
   前記分割後の第１の左目用２次元画像と前記分割後の第２の左目用２次元画像の対応する分割領域の重心位置、又は、前記分割後の第１の右目用２次元画像と前記分割後の第２の右目画像の対応する分割領域の重心位置、の差分値を計算し、前記差分値を前記分割後の第１の左目用２次元画像と前記分割後の第１の右目用２次元画像の分割領域に対する動き量として算出する動き量計算部と、
   前記分割後の第１の左目用２次元画像と前記分割後の第１の右目用２次元画像の分割領域の視差量から前記分割後の第１の左目用２次元画像、又は、前記第１の右目用２次元画像の分割領域の画素に対するデプス予測値を生成するデプス画像計算部と、
   前記動き量から前記デプス閾値を算出することで、前記デプス予測値に対し前記デプス画像変換を行うデプス画像変換部と、
   を備える請求項１の画像表示装置。
4. 前記デプス閾値の算出は、前記動き量に比例定数を乗じた後、前記動き量がない場合の前記デプス値を表す所定の定数を加算することにより行う請求項２又は３の画像表示装置。
5. さらに、前記動き量が所定の値を超える場合には、前記比例定数を減少させる請求項４の画像表示装置。
6. 前記デプス画像変換部は、前記デプス値が前記デプス閾値未満である場合には前記デプス画像変換を行わない請求項２から５のいずれか一に記載の画像表示装置。
7. 前記３次元画像表示部は、
   表示画面の輝度を部分的に調整可能なＬＥＤバックライトと、
   前記注目領域抽出部で抽出した部分のＬＥＤバックライトの輝度を低下させるバックライトコントローラと、
   を有し、
   前記視差画像生成部は、前記ＬＥＤの輝度を低下させた場合に、前記注目領域以外の領域の階調を上昇させる請求項１から６のいずれか一に記載の画像表示装置。
8. 前記注目領域抽出部は、
   第１の２次元画像と、画像領域の形状情報及び面積情報と、デプス値との関係が規定されたルックアップテーブルを受け付け、前記第１の２次元画像を、前記第１の２次元画像において共通する特徴を持つ領域に分割し、分割後の第１の２次元画像を生成する画像分割部と、
   前記分割領域の形状情報及び面積情報と、前記デプス値との関係が規定されたルックアップテーブルに基づき前記デプス予測値を生成するデプス画像生成部を備えると共に、
   前記デプス画像変換部は、予め定められた前記デプス閾値を用いて前記デプス画像変換を行う請求項１の画像表示装置。
9. 観察者に注目させたい領域である注目領域を含む２次元画像において、デプス閾値を用いて前記２次元画像の各画素と視点からの距離を表すデプス値が前記デプス閾値以上であれば、前記デプス値を２次元表示用のデプス値に変換するデプス画像変換により、前記２次元画像の各画素と３次元空間における視点との距離情報を含むデプス画像信号を生成して、前記注目領域を抽出する注目領域抽出工程と、
   前記２次元画像と前記デプス画像信号とに基づいて前記注目領域に表現する注目領域画像を、左右それぞれの視点から変換した画像と、前記注目領域以外の領域の視差をなくした前記２次元画像と混在して左目用視差画像及び右目用視差画像を生成する視差画像生成工程と、
   前記視差画像生成工程で生成された前記左目用視差画像と前記右目用視差画像を表示する３次元画像表示工程と、
   を含むことを特徴とする画像表示方法。
10. 前記注目領域抽出工程は、
    最新フレームの第１の２次元画像と、前記第１の２次元画像の直前のフレームの第２の２次元画像と、を受け付け、前記第１の２次元画像及び前記第２の２次元画像を、前記第１の２次元画像及び前記第２の２次元画像において共通する特徴を持つ分割領域に分割し、分割後の第１の２次元画像及び分割後の第２の２次元画像を生成する画像分割工程と、
    前記分割後の第１の２次元画像及び前記分割後の第２の２次元画像の分割領域であって対応する分割領域の重心位置の差分値を計算し、前記差分値を前記分割後の第１の２次元画像の分割領域に対する動き量として算出する動き量計算工程と、
    前記分割後の第１の２次元画像の分割領域に対する輝度情報から前記分割後の第１の２次元画像信号の分割領域の画素に対するデプス予測値を生成するデプス画像計算工程と、
    前記動き量から前記デプス閾値を算出することで、前記デプス予測値に対し前記デプス画像変換を行うデプス画像変換工程と、を含む請求項９の画像表示方法。
11. 前記注目領域抽出工程は、
    最新フレームの第１の左目用２次元画像及び第１の右目用２次元画像と、前記第１の左目用２次元画像と前記第１の右目用２次元画像の直前のフレームの第２の左目用２次元画像及び第２の右目用２次元画像と、を受け付け、前記第１の左目用２次元画像、前記第２の左目用２次元画像、前記第１の右目用２次元画像、前記第２の右目用２次元画像、それぞれの画像を共通する特徴を持つ領域に分割することで、分割後の第１の左目用２次元画像と、分割後の第１の右目用２次元画像と、分割後の第２の左目用２次元画像と、分割後の第２の右目用２次元画像と、を生成する画像分割部と、を生成する画像分割工程と、
    前記分割後の第１の左目用２次元画像と前記分割後の第２の左目用２次元画像の対応する分割領域の重心位置、又は、前記分割後の第１の右目用２次元画像と前記分割後の第２の右目用２次元画像の対応する分割領域の重心位置、の差分値を計算し、前記差分値を前記分割後の第１の左目用２次元画像と前記分割後の第１の右目用２次元画像の分割領域に対する動き量として算出する動き量計算工程と、
    前記分割後の第１の左目用２次元画像と前記分割後の第１の右目用２次元画像の分割領域の視差量から前記分割後の第１の左目用２次元画像、又は、前記第１の右目用２次元画像の分割領域の画素に対するデプス予測値を生成するデプス画像計算工程と、
    前記動き量から前記デプス閾値を算出することで、前記デプス予測値に対し前記デプス画像変換を行うデプス画像変換工程と、を含む請求項９の画像表示方法。
12. 前記デプス画像変換工程は、前記動き量に比例定数を乗じた後、前記動き量がない場合の前記デプス値を表す所定の定数を加算することで前記デプス閾値の算出を行う請求項１０又は１１の画像表示方法。
13. さらに、前記デプス画像変換工程は前記動き量が所定の値を超える場合には、前記比例定数を減少させる請求項１２の画像表示方法。
14. 前記デプス画像変換工程は、前記デプス値が前記デプス閾値未満である場合には前記デプス画像変換を行わない請求項１０から１３のいずれか一に記載の画像表示方法。
15. 前記３次元画像表示工程は、
    表示画面の輝度を部分的に調整可能なＬＥＤバックライトの前記注目領域抽出工程で抽出した部分のＬＥＤバックライトの輝度を低下させる工程を含むと共に、前記視差画像生成工程は、前記ＬＥＤの輝度を低下させた場合に、前記注目領域以外の領域の階調を上昇させる請求項９から１４いずれか一に記載の画像表示方法。
16. 観察者に注目させたい領域である注目領域を含む２次元画像において、デプス閾値を用いて前記２次元画像の各画素と視点からの距離を表すデプス値が前記デプス閾値以上であれば、前記デプス値を２次元表示用のデプス値に変換するデプス画像変換により、前記２次元画像の各画素と３次元空間における視点との距離情報を含むデプス画像信号を生成して、前記注目領域を抽出する注目領域抽出処理と、
    前記２次元画像と前記デプス画像信号とに基づいて前記注目領域に表現する注目領域画像を、左右それぞれの視点から変換した画像と、前記注目領域以外の領域の視差をなくした前記２次元画像と混在して左目用視差画像及び右目用視差画像を生成する視差画像生成処理と、
    前記視差画像生成処理で生成された前記左目用視差画像と前記右目用視差画像を表示する３次元画像表示処理と、を画像表示装置を構成するコンピュータに実行させるプログラム。
17. 前記注目領域抽出処理は、
    最新フレームの第１の２次元画像と、前記第１の２次元画像の直前のフレームの第２の２次元画像と、を受け付け、前記第１の２次元画像及び前記第２の２次元画像を、前記第１の２次元画像及び前記第２の２次元画像において共通する特徴を持つ分割領域に分割することで、分割後の第１の２次元画像及び分割後の第２の２次元画像を生成する画像分割処理と、
    前記分割後の第１の２次元画像及び前記分割後の第２の２次元画像の分割領域であって対応する分割領域の重心位置の差分値を計算し、前記差分値を前記分割後の第１の２次元画像の分割領域に対する動き量として算出する動き量計算処理と、
    前記分割後の第１の２次元画像の分割領域に対する輝度情報から前記分割後の第１の２次元画像信号の分割領域の画素に対するデプス予測値を生成するデプス画像計算処理と、
    前記デプス予測値が、前記動き量から算出した前記デプス閾値以上であれば、前記デプス予測値を２次元表示用のデプス値に変換するデプス画像変換処理と
    を実行する請求項１６のプログラム。
18. 前記注目領域抽出処理は、
    最新フレームの第１の左目用２次元画像及び第１の右目用２次元画像と、前記第１の左目用２次元画像と前記第１の右目用２次元画像の直前のフレームの第２の左目用２次元画像及び第２の右目用２次元画像と、を受け付け、前記第１の左目用２次元画像、前記第２の左目用２次元画像、前記第１の右目用２次元画像、前記第２の右目用２次元画像、それぞれの画像を共通する特徴を持つ領域に分割することで、分割後の第１の左目用２次元画像と、分割後の第１の右目用２次元画像と、分割後第２の左目用２次元画像と、分割後の第２の右目用２次元画像と、を生成する画像分割処理と、
    前記分割後の第１の左目用２次元画像と前記分割後の第２の左目用２次元画像の対応する分割領域の重心位置、又は、前記分割後の第１の右目用２次元画像と前記分割後の第２の右目用２次元画像の対応する分割領域の重心位置、の差分値を計算し、前記差分値を前記分割後の第１の左目用２次元画像と前記分割後の第１の右目用２次元画像の分割領域に対する動き量として算出する動き量計算処理と、
    前記分割後の第１の左目用２次元画像と前記分割後の第１の右目用２次元画像の分割領域の視差量から前記分割後の第１の左目用２次元画像、又は、前記第１の右目用２次元画の分割領域の画素に対するデプス予測値を生成するデプス画像計算処理と、
    前記デプス予測値が、前記動き量から算出した前記デプス閾値以上であれば、前記デプス予測値を２次元表示用のデプス値に変換するデプス画像変換処理と
    を実行する請求項１６のプログラム。

Images