JP5091796B2 - 画像処理装置 - Google Patents

Description

この発明は、例えばPDP(Plasma Display Panel)やOLED(Organic Light Emitting Diode)パネルを用いた表示装置に用いられる画像処理装置に関する。

PDPやOLEDなどの自発光型表示パネルでは、映像シーンによってパネルの消費電力が変動することが知られており、映像シーン依存の消費電力を抑制するために、シーンに応じてピーク輝度を制御する手法が取られている。例えば、特許文献１では、APL(Average Picture Level)に基づいて補正強度を決定し、ガンマ補正曲線を算出している。なお、APLは、画面平均輝度を表しており、Y信号の平均により求めることができる。

しかしながら、従来の手法では、色味のあるシーンと、色味のないシーンで明るさ感の劣化が大きく異なるという問題があった。
特開２００４−２６６７５５

従来では、自発光型表示パネルにおいて、映像シーンに応じたパネル消費電力の変動を抑制すると、明るさ感の劣化変動が大きくなるという問題があった。
この発明は上記の問題を解決すべくなされたもので、映像シーンに応じたパネル消費電力の変動を抑制しても、明るさ感の劣化変動を少なくすることが可能な画像処理装置および画像表示装置を提供することを目的とする。

上記の目的を達成するために、この発明は、フレームを構成する各画素の輝度信号と色差信号とを含む画像信号を取得する画像信号取得手段と、前記色差信号に基づいて彩度を算出する彩度算出手段と、フレームを構成する各画素の輝度信号に対して、各画素の前記彩度に応じた重みを与えて第１の値を算出する重み付け手段と、前記第１の値を平均して、フレームの特徴量を算出する特徴量算出手段と、前記特徴量に基づくピーク輝度を算出し、このピーク輝度を上限として、前記フレームを構成する各画素の輝度信号を補正する補正手段とを具備して構成するようにした。

この発明によれば、色情報を考慮した輝度情報の補正を行うため、映像シーンに応じたパネル消費電力の変動を抑制しながらも、明るさ感の劣化変動を少なくすることが可能な画像処理装置および画像表示装置を提供できる。

以下、図面を参照して、この発明の一実施形態について説明する。
図１は、この発明の一実施形態に係わる画像処理装置を備えた携帯電話機１０の概略構成を示した図であり、携帯電話機１０は、携帯電話機１０の各種動作を制御する制御部１、符号化された動画像信号を復号処理する画像生成部２、アンテナ４を介して受信される地上デジタルテレビジョン放送の放送信号のうち、制御部１によって指定されたチャネルの放送信号を復調してＴＳ（トランスポート）パケットを取り込む地デジ受信部３、アンテナ７を介して基地局から受信した無線信号を復調してベースバンド信号を得る無線部５、ベースバンド信号をＣＤＭＡなどの方式に準拠した復号処理を行うことで音声信号、制御信号、及びデータ信号を得るとともにアンテナ７を介して送信される音声信号、制御信号、及びデータ信号を符号化する信号処理部６、信号処理部６から送られた音声信号を出力するスピーカ９、話者の音声を取り込むマイク８、制御部１から受信した動画像信号に基づいて映像信号を表示パネル３０に表示制御する表示制御部２０から構成される。

なお、上記画像処理装置は、図１の画像処理機能１００に相当する。これは、この一実施形態において、画像処理の主な機能がプログラムによって実現されることを想定しているためである。

図２は、画像処理機能１００によって行われる処理を詳細に説明するための機能ブロック図である。
画像処理機能１００は、APL算出機能１１０と、重み算出機能１２０と、ピーク輝度算出機能１３０と、ゲイン算出機能１４０と、画像補正機能１５０とから構成される。

画像生成部２は、前段に設けられた多重化ストリーム分離部（図示しない）によって多重化ストリームから分離された符号化ビットストリーム（Video ES(Elementary Stream)）を復号し、画像信号であるYUV信号を生成する。なお、多重化ストリームは、例えばワンセグ放送などのデジタル放送の受信信号以外にも、ダウンロードによって得たデータファイルに基づくものでも良い。そして、多重化ストリーム分離部は、アプリケーションに応じた分離処理を行う。

APL算出機能１１０は、画像生成部２により生成された画像信号の色差信号U，Vに基づいて重み算出機能１２０が管理する記憶エリアに記憶する重みルックアップテーブル（LUT）を参照し、上記画像信号の輝度信号Yinに応じて重み付けを行って、APL(Average Picture Level)を算出する。

なお、上記重みLUTは、色差信号U，Vと、重みW(U,V)を対応付けたテーブルであって、すなわち上記画像信号の色相や彩度と重みを対応付けたものであり、無彩色などの輝度信号を低減した場合に、明るさ感が低下するような敏感な色差信号については、小さな値を設定する。

このため、例えば全画素で無彩色の信号を持つフレームのAPLは、APL算出機能１２０の重み付けによって、全画素で有彩色の信号を持つシーンに比べて、低いAPLに変換される。重みW(U,V)の設定例を以下に説明する。

人間の視覚特性として、Helmholtz-Kohlrausch効果と呼ばれる特性が知られている。この特性は、等しい輝度であっても、彩度が高くなると明るさが高く感知されるというものである。すなわち、輝度信号が等しい無彩色と高彩色とを比較すると、高彩色の方が明るく知覚される。

このため、重みLUTでは、図３（ａ）に示すように、色差信号U，Vの値と、重みW(U,V)とを対応付ける。すなわち、彩度(Saturation)が大きくなるにつれて、輝度に対する重みを増加させる。図中の矢印で、重みの減少方向を示す。具体的には、以下のように重み関数WS(u,v)を定義する。

すなわち、図３（ｂ）に示すように、彩度がある閾値TH_S未満ではW_S(u,v)の値が直線的に変化し、彩度がTH_S以上では固定値１となるような特性を重みLUTに設定する。なお、ここでは、折れ線的に関数W_S(u,v)を変化させたが、折れ線点は１つに限定されるものではなく、複数存在してもよい。また、重みの変化は、折れ線の特性に限定されるものではなく、ガウス関数などでモデル化したものであってもよい。

このような彩度による重み付け特性を重みLUTに設定することにより、高彩度が支配的なフレームにおけるAPLは、無彩色が支配的なフレームにおけるAPLよりも高く見積もられることになり、その結果、ピーク輝度Ypeakがより抑制されることになる。

またHelmholtz-Kohlrausch効果は、色相によりその効果が異なることも知られており、黄色では彩度による明るさ感の変化が乏しいのに対して、青・紫・赤などの短波長、長波長における色相は、彩度が高くなるにつれて明るさ感が高くなる。そこで、図４（ａ）に示すように、色相θが黄色（θy）に近づくにつれて、輝度に対する重みを低減させるような特性を重みLUTに設定する。図中の矢印は、重みの減少方向を示す。具体的には、以下のように重み関数Wθ(u,v)を定義する。

すなわち、図４（ｂ）に示すような特性を重みLUTに設定する。なお、重み特性W_θ(u,v)は、図４（ｂ）に例示したような折れ線の特性に限定されるものではなく、ガウス関数などでモデル化したものであってもよい。
また上述した２つの特性を組み合わせて用いることも可能である。例えば以下に示す重み関数W(u,v)に基づく特性を重みLUTに設定する。

説明を図２に戻す。
重み算出機能１２０は、上記重みLUTに代わって、このテーブルをモデル化した関数を記憶エリアに記憶するようにし、APL算出機能１１０は、上記関数に基づく重み付けを輝度信号Yinに行って、APLを求めるようにしてもよい。

ピーク輝度算出機能１３０は、ゲイン算出機能１４０が管理する記憶エリアに予め記憶するゲインルックアップテーブルを参照し、APL算出機能１１０が出力するAPLに対応するピーク輝度を求める。これにより、ピーク輝度算出機能１３０は、上記画像信号に基づくフレームに適したピーク輝度を求める。
なお、上記ゲインルックアップテーブルは、例えば図５に示すように、APLが増加するにつれて、ゲインが小さくなるように、APLとゲインを対応付けたテーブルである。なお、このテーブルに設定する値は、図５に示したような直線的な線分を組み合わせた関数に基づくものではなく、ガウス分布などでモデル化した関数に基づくものでもよい。またピーク輝度の決定は、テーブルに基づくものではなく、モデル関数を用いた演算であってもよい。

画像補正機能１５０は、ピーク輝度算出機能１３０により算出されたピーク輝度に基づいて、輝度の補正値を生成し、これに基づいて上記画像信号の輝度を補正した画像信号を生成する。

表示制御部２０は、画像補正機能１５０で補正された画像信号に基づいて、OLED(Organic Light Emitting Diode)パネルや、PDP(Plasma Display Panel)などを自発光型の表示デバイスとして用いた表示パネル３０を駆動制御し、補正された画像を表示パネル３０に表示する。

次に、上記構成の画像表示装置の動作について説明する。図６は、画像生成部２で得た画像信号を補正する処理を説明するフローチャートであって、この図に示す処理は、１フレーム毎に実施される。以下、この図を参照して説明する。
ステップ６ａにおいては、APL算出機能１１０が、後段の演算で用いる変数APLおよび画素数Nを初期化し、ステップ６ｂに移行する。ここで、変数APLは、０を設定し、また画素数Nには、処理対象のフレームを構成する画素数（幅×高さ）を設定する。

ステップ６ｂにおいては、APL算出機能１１０が、処理対象のフレームを構成する画素の座標(x,y)を１つ選択する。なお、同じフレームを処理対象とするステップ６ｂとステップ６ｃからなるループ処理において、同じ座標を選択することはない。

そしてAPL算出機能１１０は、重み算出機能１２０が管理する記憶エリアに記憶する重みLUTから、選択した座標(x,y)の画素に対応する色差信号U，VであるU(x,y), V(x,y)に対応する重みW(U(x,y), V(x,y))を読み出し、これに選択した座標(x,y)の画素に対応する輝度信号Yin(x,y)を乗算する。そして、APL算出機能１１０は、上記乗算の結果を変数APLに累積加算して、ステップ６ｃに移行する。

ステップ６ｃにおいては、APL算出機能１１０が、処理対象のフレームを構成するすべての画素について、ステップ６ｂの処理を実施したか否かを判定する。ここで、すべての画素について上記処理を実施した場合には、ステップ６ｄに移行し、一方、すべての画素について上記処理を実施していない場合には、ステップ６ｂに移行して、残る画素について上記処理を実施する。

ステップ６ｄにおいては、APL算出機能１１０が、変数APLを画素数Nで割った値を変数APLに設定し、ステップ６ｅに移行する。これにより、処理対象のフレームのAPLが求まった。

ステップ６ｅにおいては、ピーク輝度算出機能１３０が、ゲイン算出機能１４０が管理する記憶エリアに記憶するゲインルックアップテーブルを参照し、ステップ６ｄで求めたAPLに対応する値GainLUT[APL]を読み出し、これをピーク輝度Ypeakとして設定して、ステップ６ｆに移行する。これにより、処理対象となるフレームに適したピーク輝度を求まる。以降の処理では、画像補正機能１５０によって、上記ピーク輝度を上限とした輝度の補正処理がなされる。

なお、ピーク輝度Ypeakに設定される値は、255以下であって、APLが低いフレームよりもAPLが高いフレームでYpeakは低くなる特性を有する。したがって、低APLのフレームは、表示パネル３０で再現可能なピーク輝度で表示されることになるが、一方、高APLのフレームは、表示パネル３０が再現可能なAPL以下の輝度で表示されることになる。

ステップ６ｆにおいては、画像補正機能１５０が、入力輝度yを初期化し、ステップ６ｇに移行する。
ステップ６ｇにおいては、画像補正機能１５０が、ステップ６ｅで求めたピーク輝度Ypeakに基づいて、輝度信号の補正ルックアップテーブルを作成する。この補正ルックアップテーブルは、入力輝度yと補正した輝度値Y-LUT[y]とを対応付けたものである。このため、ステップ６ｇでは、画像補正機能１５０が、入力輝度yについてY-LUT[y]を求め、その後、入力輝度yをインクリメントし、ステップ６ｈに移行する。

なお、補正した輝度値Y-LUT[y]は、例えば、ピーク輝度Ypeakを輝度の最大値255で割り、入力輝度yを乗算した値である。すなわち、補正した輝度値Y-LUT[y]は、輝度信号の階調に対して、Ypeakだけ減衰した値である。また補正した輝度値Y-LUT[y]の設定手法については、これに限らず、表示パネル３０で実施される逆ガンマ特性を考慮し、実際に表示される明るさレベルで減衰する手法や、輝度信号でなくRGBに対するガンマ特性を制御するものなどが考えられる。

ステップ６ｈにおいては、画像補正機能１５０が、入力輝度yが256未満か否かを判定する。ここで、入力輝度yが256未満の場合には、ステップ６ｇに移行して、さらに補正値Y-LUT[y]を生成し、一方、入力輝度yが256未満でない場合には、ステップ６ｉに移行する。したがって、ステップ６ｇおよびステップ６ｈのループ処理によって、入力輝度0〜255にそれぞれ対応する補正値Y-LUT[0]〜Y-LUT[255]が生成され、輝度信号の補正ルックアップテーブルが完成する。

ステップ６ｉにおいては、画像補正機能１５０が、処理対象のフレームを構成する画素の座標(x,y)を１つ選択する。なお、同じフレームを処理対象とするステップ６ｉとステップ６ｊからなるループ処理において、同じ座標を選択することはない。

そして画像補正機能１５０は、選択した座標(x,y)の画素に対応する輝度信号Yin(x,y)の値に対応する補正値Y-LUT[Yin(x,y)]を、ステップ６ｈで生成した補正ルックアップテーブルから選択する。そしてこの選択した値を、選択した座標(x,y)の画素に対応する輝度信号Yout(x,y)として出力し、ステップ６ｊに移行する。これにより輝度信号Yin(x,y)は、Y-LUT[Yin(x,y)]に補正される。また画像補正機能１５０は、上記輝度信号Yout(x,y)とともに、色差信号U(x,y), V(x,y)を表示制御部２０に出力する。

ステップ６ｊにおいては、画像補正機能１５０が、処理対象のフレームを構成するすべての画素について、ステップ６ｉの処理を実施したか否かを判定する。ここで、すべての画素について上記処理を実施した場合には、当該処理を終了し、一方、すべての画素について上記処理を実施していない場合には、ステップ６ｉに移行して、残る画素について上記処理を実施する。

以上のように、上記構成の画像処理機能１００では、フレームを構成する画素毎に輝度信号と色差信号に応じた重みを乗算した値を求めて、その平均値を求め、この平均値に基づいてピーク輝度を決定する。そして、このピーク輝度に基づいて、フレームを構成する各画素の輝度を補正するようにしている。

したがって、上記構成の画像処理機能１００によれば、フレーム毎に色差信号を考慮して輝度の補正が行えるので、映像シーンに応じたパネル消費電力の変動を抑制しながらも、明るさ感の劣化変動を少なくすることができる。

なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

この発明に係わる携帯電話機の一実施の形態の構成を示す回路ブロック図。 図１に示した画像処理機能を説明するための機能ブロック図。 図２に示した重み算出部が記憶する重みルックアップテーブルの特性を説明するための図。 図２に示した重み算出部が記憶する重みルックアップテーブルの特性を説明するための図。 図２に示したゲイン算出部が記憶するゲインルックアップテーブルの特性を説明するための図。 図２に示した画像表示装置の動作を説明するためのフローチャート。

符号の説明

１…制御部、２…画像生成部、３…地デジ受信部、４…アンテナ、５…無線部、６…信号処理部、７…アンテナ、８…マイク、９…スピーカ、１０…携帯電話機、１００…画像処理機能、１１０…APL算出部、１２０…重み算出部、１３０…ピーク輝度算出部、１４０…ゲイン算出部、１５０…画像補正部、２０…表示制御部、３０…表示パネル。

Claims (6)

1. フレームを構成する各画素の輝度信号と色差信号とを含む画像信号を取得する画像信号取得手段と、
   前記色差信号に基づいて彩度を算出する彩度算出手段と、
   フレームを構成する各画素の輝度信号に対して、各画素の前記彩度に応じた重みを与えて第１の値を算出する重み付け手段と、
   前記第１の値を平均して、フレームの特徴量を算出する特徴量算出手段と、
   前記特徴量に基づくピーク輝度を算出し、このピーク輝度を上限として、前記フレームを構成する各画素の輝度信号を補正する補正手段とを具備することを特徴とする画像処理装置。
2. 前記重み付け手段は、
   前記色差信号から算出した彩度の値が閾値未満の場合と彩度の値が閾値以上の場合とで異なる値に設定された重みを前記輝度信号に与えることを特徴とする請求項１に記載の画像処理装置。
3. 前記重み付け手段は、前記色差信号から算出した彩度と重みとを対応付けたテーブルを有し、このテーブルから前記色差信号から算出した彩度に対応付けられた重みを読み出して前記輝度信号に重みを与えることを特徴とする請求項１に記載の画像処理装置。
4. 前記補正手段は、輝度信号の値と、前記特徴量に基づくピーク輝度に応じて前記輝度信号の値を補正した補正後の値とを対応付けた補正テーブルを作成し、この補正テーブルを参照して、この補正テーブルを作成するのに用いたフレームを構成する各画素の輝度信号を補正することを特徴とする請求項１に記載の画像処理装置。
5. さらに、前記補正手段によって補正された輝度信号を用いてディスプレイに画像を表示させる表示制御手段を備えることを特徴とする請求項１に記載の画像処理装置。
6. 前記ディスプレイは、自発光型表示パネルであることを特徴とする請求項５に記載の画像処理装置。

Images