JP4626673B2

JP4626673B2 - 画像処理装置、集積回路装置及び電子機器

Info

Publication number: JP4626673B2
Application number: JP2008118596A
Authority: JP
Inventors: 武邦山本
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2008-04-30
Filing date: 2008-04-30
Publication date: 2011-02-09
Anticipated expiration: 2028-04-30
Also published as: US20090274389A1; JP2009271096A

Description

本発明は、画像処理装置、集積回路装置及び電子機器等に関する。

デジタルカメラなどで静止画や動画を撮影すると、撮影条件によって画質の良くない画像となる場合がある。一般に、このような画像をより良い画質で録画・再生するために、画像処理が行われている。このような画像処理として、例えばコントラスト補正がある。コントラスト補正は、画像の持つ階調情報を補正することで人間の見やすいコントラストに改善する画像処理である。

コントラスト補正は、まず画像から統計情報を抽出し、その統計情報に基づいて補正値を算出することで行われる。このとき、どのような統計情報を用いるかがコントラスト補正の特性を決める上で重要な要素である。そのため、統計情報の選び方によって補正効果が得られない画像があるという課題があった。一方、もともと画質の良い画像については強く補正されることは好ましくないという課題もあった。

ところで、携帯電話等のモバイル機器では、バッテリの使用可能時間はユーザに対する訴求度が高く設計上重視される項目である。そのためモバイル機器に使用される各部品毎においても低消費電力化が求められている。そのような部品のなかで消費電力の大きなものの１つに液晶パネルのバックライトがあり、表示する動画や画像の輝度等に応じて調光（減光）することによって消費電力を大幅に削減することができる。

しかし、バックライトの調光を行うと表示画像の輝度や彩度が低下してしまう。そこで特許文献１に示す画像処理装置等では、バックライトの調光に応じて表示画像の輝度や彩度を補正することによって画質劣化を防止している。例えば輝度の補正は、バックライトの調光によって低下した視覚上の輝度を、表示画像のデータ上の輝度を強調することによって補っている。

しかしながら、このような画像補正では、輝度を大幅に強調することによって高輝度画素の階調情報が失われてしまう。そのため、バックライト調光による消費電力の削減を実現できる一方で、画像のハイライト部分のコントラスト（階調）が犠牲になるという課題があった。
特開２００６−３０８６３１号公報

本発明の幾つかの態様によれば、適切なコントラスト補正を行うことができる画像処理装置、集積回路装置及び電子機器を提供できる。

本発明は、表示画像の輝度値の統計情報を取得する統計情報取得部と、前記統計情報に基づいて前記表示画像の明るさ指標を演算する明るさ指標演算部と、前記表示画像の処理対象画素周辺領域に含まれる複数の画素の輝度値をフィルタ処理して、局所平均輝度値を演算するフィルタ処理部と、前記明るさ指標と前記局所平均輝度値に基づいて前記表示画像のコントラスト補正を行うコントラスト補正部と、を含み、前記統計情報取得部は、前記統計情報として、シャドー画素群についての第１の指標と、ハイライト画素群についての第２の指標を取得し、前記明るさ指標演算部は、前記第１の指標と前記第２の指標から前記明るさ指標を演算することを特徴とする画像処理装置に関係する。

本発明によれば、シャドー画素群についての指標及びハイライト画素群についての指標から求めた明るさ指標を用いてコントラスト補正を行う。これにより、表示画像の輝度分布が偏っている場合でも、高輝度の画像領域と低輝度の画像領域を均等にコントラストを改善できる。一方、中輝度に大多数の画素が分布する画像に対しては、明るさ指標は輝度分布の中央付近の輝度値にできる。これにより、高画質の画像では高コントラストを維持できる。そして、本発明では局所平均輝度値を用いてコントラスト補正を行う。これにより、局所的なコントラストを維持しまま表示画像全体のコントラストを補正できる。さらに、後に述べるように、本発明によればダイナミックレンジを圧縮するコントラスト補正を行うことができる。これにより、輝度のエンハンスによるハイライト部分のコントラスト劣化を防止できる。そして、明るさ指標によって高輝度の画像領域と低輝度の画像領域を均等にコントラストを改善できることで、ハイライト部分のコントラスト劣化を防止するとともに、シャドー部分のコントラストを改善することもできる。

また本発明では、前記第１の指標は、前記表示画像に含まれる画素の画素数を輝度の低い順から積算して、積算値が第１の閾値を超えない範囲で最大の輝度値であり、前記第２の指標は、前記表示画像に含まれる画素の画素数を輝度の高い順から積算して、積算値が第２の閾値を超えない範囲で最小の輝度値であってもよい。

これにより、シャドー画素群についての第１の指標及び、ハイライト画素群についての第２の指標を実現できる。本発明によれば、輝度の低い順又は輝度の高い順から画素数を積算する。これにより、表示画像のシャドー部分とハイライト部分に対応する指標を取得できる。

また本発明では、前記明るさ指標が、前記第１の指標と前記第２の指標の平均であってもよい。

これにより、第１の指標と第２の指標を用いた明るさ指標を実現できる。平均を用いることで、高輝度の画像領域と低輝度の画像領域を均等にコントラスト補正できる。

また本発明では、表示画像に含まれる画素の輝度値と補正値の加算処理を行う加算部を含み、前記処理対象画素周辺領域は、前記表示画像における処理対象画素を含む領域であり、前記コントラスト補正部は、前記明るさ指標と前記局所平均輝度値の差分から求めた第１の補正値を出力し、前記加算部は、前記処理対象画素の輝度値と前記第１の補正値の加算処理を行ってもよい。

これにより、表示画像に対して本発明のコントラスト補正による画像処理を実行することができる。また、本発明では明るさ指標と局所平均輝度値の差分から補正値を求める。これにより、明るさ指標と局所平均輝度値を用いたコントラスト補正を実現できる。

また本発明では、前記コントラスト補正部は、前記局所平均輝度値が前記明るさ指標より小さい場合には、前記処理対象画素の輝度値を大きくする補正値を前記第１の補正値として出力し、前記局所平均輝度値が前記明るさ指標より大きい場合には、前記処理対象画素の輝度値を小さくする補正値を前記第１の補正値として出力してもよい。

本発明によれば、表示画像において低輝度の画像領域の輝度を上げ、高輝度の画像領域の輝度を下げるコントラスト補正を実現できる。これにより、コントラスト補正によってダイナミックレンジを圧縮することができる。

また本発明では、前記コントラスト補正部は、前記明るさ指標と前記局所平均輝度値の差分の絶対値が大きいほど絶対値が大きくなる補正値を前記第１の補正値として出力してもよい。

本発明によれば、表示画像において画像領域の輝度が低くなるに従って輝度を上げ、画像領域の輝度が高くなるに従って輝度を下げるコントラスト補正を実現できる。これにより、コントラスト補正によってダイナミックレンジを圧縮することができる。

また本発明では、前記表示画像に含まれる画素の輝度値と補正値の加算処理を行う加算部を含み、前記処理対象画素周辺領域は、前記表示画像における処理対象画素を含む領域であり、前記コントラスト補正部は、前記明るさ指標を用いて前記局所平均輝度値を変換処理して変換局所平均輝度値を出力する変換部を有し、前記局所平均輝度値と前記変換局所平均輝度値を用いて第１の補正値を出力し、前記加算部は、前記処理対象画素の輝度値と前記第１の補正値の加算処理を行ってもよい。

これにより、明るさ指標と局所平均輝度値を用いたコントラスト補正を行う第１の補正値を実現できる。また、変換処理により明るさ指標と局所平均輝度値の差分から求めた第１の補正値を実現できる。

また本発明では、前記変換部は、前記局所平均輝度値が前記明るさ指標より小さいときは、前記局所平均輝度値より前記変換局所平均輝度値が大きくなる前記変換処理を行い、前記局所平均輝度値が前記明るさ指標より大きいときは、前記局所平均輝度値より前記変換局所平均輝度値が小さくなる前記変換処理を行ってもよい。

これにより、局所的なコントラストを損なうことなくダイナミックレンジを圧縮できる第１の補正値を実現することができる。

また本発明では、前記明るさ指標より輝度の高い前記局所平均輝度値に対応する第１の補正強度及び、前記明るさ指標より輝度の低い前記局所平均輝度値に対応する第２の補正強度を設定する補正調整レジスタを含んでもよい。

これにより、コントラスト補正の補正強度を設定することができる。さらに、表示画像の低輝度部分における補正強度と、表示画像の高輝度部分における補正強度を独立して設定することができる。

また本発明では、前記変換部は、前記局所平均輝度値が前記明るさ指標より大きい場合には、前記明るさ指標と前記局所平均輝度値の差分値に前記第１の補正強度を乗算する乗算処理を行い、前記局所平均輝度値が前記明るさ指標より小さい場合には、前記明るさ指標と前記局所平均輝度値の差分値に前記第２の補正強度を乗算する前記乗算処理を行ってもよい。

これにより、設定された補正強度を用いて、コントラスト補正の補正強度の調整を実現することができる。さらに、表示画像の低輝度部分における補正強度の調整、表示画像の高輝度部分における補正強度の調整を独立して行うことができる。

また本発明では、前記変換処理の低輝度側のオフセットを調整する第１のオフセットと、前記変換処理の高輝度側のオフセットを調整する第２のオフセットを出力するコントラスト調整用オフセット演算部を含んでもよい。

これにより、コントラスト補正のオフセットを調整できる。例えば、第１のオフセットによって第１の補正値の低輝度側を強調し、高輝度側を弱めることができる。また、第２のオフセットによって第１の補正値の低輝度側を弱め、高輝度側を強調することができる。さらに、第２のオフセットによって輝度エンハンスによるハイライト部分の画質劣化を防止できる。

また本発明では、前記統計情報取得部は、前記統計情報として、前記表示画像の平均輝度値を取得し、前記明るさ指標演算部は、前記明るさ指標と前記平均輝度値の差分の絶対値である明るさ差分値を出力し、前記コントラスト調整用オフセット演算部は、前記明るさ差分値を用いて前記第１のオフセットと前記第２のオフセットを出力してもよい。

これにより、輝度分布に偏りのある表示画像において、輝度エンハンスによるハイライト部分の画質劣化を防止できる。また、画素数の多い低輝度部分のコントラストをより強調することができる。

また本発明では、第１のオフセット調整値と第２のオフセット調整値を設定する補正調整レジスタを含み、前記コントラスト調整用オフセット演算部は、前記第１のオフセット調整値を用いて前記第１のオフセットを出力し、前記第２のオフセット調整値を用いて前記第２のオフセットを出力してもよい。

これにより、第１のオフセットと第２のオフセットの調整を実現できる。そして、低輝度側の第１のオフセットと高輝度側の第２のオフセットを独立して調整できる。

また本発明では、前記補正調整レジスタは、前記明るさ指標より輝度の高い前記局所平均輝度値に対応する第１の補正強度と、前記明るさ指標より輝度の低い前記局所平均輝度値に対応する第２の補正強度を設定し、前記変換部は、前記局所平均輝度値が前記明るさ指標より大きい場合には、前記明るさ指標と前記局所平均輝度値の差分値に前記第１の補正強度を乗算する乗算処理を行い、前記局所平均輝度値が前記明るさ指標より小さい場合には、前記明るさ指標と前記局所平均輝度値の差分値に前記第２の補正強度を乗算する前記乗算処理を行い、前記乗算処理の結果と前記第１のオフセットを加算するオフセット加算処理を行ってもよい。

本発明によれば、変換部が、補正強度の乗算処理の結果に第１のオフセットを加算するオフセット加算処理を行う。これにより、変換処理における低輝度側のオフセットの調整を実現できる。

また本発明では、前記コントラスト補正部は、前記処理対象画素の輝度値と前記局所平均輝度値の差分値の絶対値が所定の値より小さいとき、前記局所平均輝度値の代わりに前記処理対象画素の輝度値を用いてもよい。

これにより、局所平均輝度値の演算精度を上げることなく、低階調のコントラストを強調するコントラスト補正を実現できる。そして、演算精度を上げることによる回路規模の増大を防止できる。

また本発明では、画像表示用の照明を表示画像に応じて減光する補正を行う調光量を出力する調光補正部と、前記調光量に基づいて輝度をエンハンスする第２の補正値を出力する明るさ補正強化演算部と、を含み、前記加算部が、前記処理対象画素の輝度値と前記第２の補正値の加算処理を行ってもよい。

本発明によれば、画像表示用の照明を減光することで消費電力を削減できる。また、調光量に応じて輝度をエンハンスすることで、減光によって低下した表示画像の輝度を補償することができる。そして、コントラスト補正によってダイナミックレンジを圧縮することで、輝度エンハンスによるハイライト部分の画質劣化を防止できる。これにより、画質を劣化させることなく画像表示用の照明を減光でき、消費電力を削減できる。

また本発明は、上記のいずれかに記載の画像処理装置を含む集積回路装置に関係する。

また本発明は、上記に記載の集積回路装置を含む電子機器に関係する。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

以下では、説明を簡単にするために、本実施形態を液晶パネルのバックライト調光（減光）に応じた画像補正（輝度強調）と組み合わせた場合について説明する。この場合、本実施形態が表示画像（フレーム画像）のコントラストを保存しつつダイナミックレンジ（輝度のダイナミックレンジ）を圧縮する補正を行うことで、バックライト調光に応じた画像補正による画質劣化を防止できる。そして本実施形態は、統計情報から求めた明るさ指標を用いることで適切なコントラスト補正を行うことができる。

但し本実施形態は、コントラスト補正単独で用いることもでき、他のダイナミックレンジを拡大する画像補正と組み合わせることもできる。また、ダイナミックレンジを圧縮することなく、又はダイナミックレンジを拡大すると共に、コントラスト補正を行うこともできる。さらに、液晶パネルの表示画像に限らずＥＬ（Electro Luminescence）発光素子を用いた表示パネルの表示画像などにも用いることもでき、画像表示に限らず録画など画像を記録する際に用いることもできる。

以下、本発明の実施形態について説明する前に、バックライト調光に応じた画像補正及びその課題について説明する。

１．調光制御、明るさ補正強調
１．１．調光制御と画像補正との関係
図１（Ａ）〜図１（Ｃ）は、表示画像に応じた適応的な調光制御（減光制御）および画像補正の内容を説明するための図である。

図１（Ａ）に示されるように、液晶パネル（ＬＣＤ）１０の適応的な画像補正と、照明（ＬＥＤ：以下、バックライト、ＢＬという）１２の輝度の適応的補正（適応的調光）とを、同時に実行する。図中、Ｇｙ’は、調光（減光）有りの場合の強化された画像補正値である。このＧｙ’は、調光無しの場合の画像補正値Ｇｙに、調光に伴う画像補正値の強化分ΔＧｙを加算して得られる。また、Ｇｓは、適応調光に伴うバックライト１２の輝度の補正値である。

図１（Ｂ）は、調光無しの場合の画像補正値Ｇｙを示している。すなわち、Ｇｙは、バックライト１２の輝度を固定した場合の、画像補正値である。例えば、輝度が低い部分には輝度を持ち上げるような補正が実行され、輝度が高すぎる部分には輝度を低下させるような補正が実行される。

図１（Ｃ）は、調光（Ｇｓ）に伴う画像補正値の強化分ΔＧｙを示している。調光制御は、暗い画像が明るい画像に比べてバックライト１２の減光の影響を受けにくいことから、原則として、暗い画像の場合にバックライト１２の減光量が大きくする。ただし、減光に伴って視覚上の表示画像の輝度が低下するため、輝度低下を補償するように画像補正を強化（以下、明るさ補正強調）する。

調光に応じた画像補正では、図１（Ａ）に示されるように、省電力化のためにバックライト１２の減光を積極的に行い、一方、その減光に伴う画質低下を補償するために、通常の画像補正値（Ｇｙ）に、調光（Ｇｓ）に伴う明るさ補正強調分（ΔＧｙ）を上乗せすることによって、最終的な画像補正値Ｇｙ’が定まる。

図１９に示すのは、１フレームの画像の平均輝度（Ｙａｖｅ）に対する、バックライト削減率、調光無しの場合の画像補正値（Ｇｙ）、調光有りの場合の画像補正値（Ｇｙ’）、調光に伴う画像補正値の強化分（ΔＧｙ）の変化を示す特性図である。

図中、特性線Ａは、バックライト輝度削減率（％）の特性を示し、特性線Ｂは、調光無しの場合の画像補正値（Ｇｙ）の特性を示し、特性線Ｃは、調光有りの場合の画像補正値（Ｇｙ’）の特性を示し、特性線Ｄは、調光に伴う画像補正値の強化分（ΔＧｙ）の特性を示す。

まず、バックライト輝度削減率の変化を示す特性線Ａに着目する。明らかなように、平均輝度（Ｙａｖｅ）が低いほどバックライト輝度削減率が高く、平均輝度（Ｙａｖｅ）が高くなるにつれて、バックライト削減率は低下する。これは、平均輝度が高い画像ほど、バックライトの減光の影響が大きくなるため、平均輝度が低い画像では省電力化を優先させて大きく減光し、平均輝度が高い画像については画質低下の抑制を優先して小さく減光するようにした結果である。

次に、調光無しの場合の画像補正値Ｇｙの変化を示す特性線Ｂに着目する。図示されるように、平均輝度値Gammath1までは、ほぼ定量の輝度持ち上げ補正が実施され、平均輝度値が大きくなると、輝度の持ち上げ量が減少し、平均輝度値Gammath2より平均輝度値が大きくなると、輝度を低下させる補正が実行される。すなわち、基本的には、平均輝度が低い場合には輝度を持ち上げるような補正が実行され、平均輝度が高すぎる場合には輝度を低下させるような補正が実行されることになる。

次に、調光有りの場合の画像補正値Ｇｙ’の変化を示す特性線Ｃに着目する。明らかなように、平均輝度が低いほど画像補正値が大きく、平均輝度が高くなるほど画像補正値は小さくなる。これは、特性線Ｂを基礎として画像補正値が決まることに加えて、大きな減光率が設定される低輝度側における画質低下を防止するために、低輝度側ほど、画像補正値を強化する必要があるからである。

次に、調光に伴う画像補正値の強化分（ΔＧｙ＝Ｇｙ’−Ｇｙ）の変化を示す特性線Ｄに着目する。上述のとおり、調光に伴う画像補正値の強化分ΔＧｙは、低輝度側では増大し、輝度値が増大するにつれて少しずつ低下する。ただし、画像補正値の強化分は、平均輝度値Gammath3付近から緩やかに上昇する。これは、バックライト１２の減光に伴い、高輝度の画像ほど画質低下が懸念されるため、平均輝度が高い画像の輝度低下を抑制するために、画像補正をより強化する必要があるからである。

１．２．明るさ補正強調
図２は、画像補正値Ｇｙ’を用いて入力輝度を補正する場合について、出力輝度対入力輝度のグラフで表した特性図である。グラフＢＬＡ１に、入力輝度を調光無しの場合の画像補正値Ｇｙで補正した場合の出力輝度を示す。また、グラフＢＬＡ２に、入力輝度を調光無しの場合の画像補正値Ｇｙに調光に伴う明るさ補正強調分ΔＧｙを加えた画像補正値Ｇｙ’で補正した場合の出力輝度を示す。グラフＢＬＡ２は、グラフＢＬＡ１に示す補正に対して明るさ補正強調を加えた補正を表している。

そして、グラフＢＬＡ３に、グラフＢＬＡ２の出力輝度を調光による実際の知覚輝度で表したグラフを示す。グラフＢＬＡ３に示すように、グラフＢＬＡ２の補正後の出力輝度は、バックライトの調光によって知覚上の輝度が低下して見える。

ここで図２に示すように、グラフＢＬＡ３は、調光に応じた明るさ補正強調ΔＧｙを適切に設定することによってグラフＢＬＡ１に近い曲線にすることができる。すなわち、明るさ補正強調ΔＧｙによって、バックライトの調光を行った場合（ＢＬＡ３）でも調光無しの場合の画像補正値Ｇｙで補正した場合（ＢＬＡ１）と同等の画像補正を得ることができる。

このように、明るさ補正強調によって調光による輝度低下を補償することで、調光なしの場合と知覚上同等の画像にすることができる。これにより、画質劣化を防止しながらバックライト調光による消費電力削減を実現できる。

しかしながら、明るさ補正強調によって大幅に輝度が強調されることで、表示画像のハイライト部分のコントラスト（階調）が失われるという課題があった。例えば、図２に示すように、ハイライト部分に対応する入力輝度の範囲をＹＨとした場合に、ＹＨの補正後の出力輝度の範囲はＹＨ’に圧縮され、コントラストが失われる。

２．コントラスト補正
図３に、上記課題を解決できる本実施形態の構成例を示す。本実施形態は、表示画像に応じて適応的にコントラスト補正を行う。すなわち、動画などの表示画像の変化に追従したコントラスト補正が行われる。このコントラスト補正によって表示画像のダイナミックレンジが圧縮され、明るさ補正強調によるハイライトつぶれを防止することができる。

具体的には、本実施形態は、統計情報取得部２０、明るさ指標演算部３０、フィルタ処理部４０、コントラスト補正部６０を含む。そして、統計情報取得部２０が表示画像から統計情報を取得し、明るさ指標演算部３０、フィルタ処理部４０、コントラスト補正部６０がコントラスト補正を行う。

より具体的には、統計情報取得部２０は、表示画像に含まれる画素の輝度値について、統計情報を取得する。具体的には、各輝度値を持つ画素数を算出してヒストグラムを作成し、そのヒストグラムを基に統計情報を出力する。例えば、後に図７で説明するシャドー画素群についての第１の指標ａｃｃ＿ｍｉｎ、ハイライト画素群についての第２の指標ａｃｃ＿ｍａｘを出力する。

明るさ指標演算部３０は、統計情報取得部２０が出力する統計情報を受けて明るさ指標Ｌｍ（輝度指標、輝度統計値）を出力する。明るさ指標Ｌｍは、本実施形態が行う画像補正に用いられる指標であり、表示画像全体の持つ明るさを表す輝度値である。例えば、明るさ指標演算部３０は、明るさ指標Ｌｍとして指標ａｃｃ＿ｍｉｎと指標ａｃｃ＿ｍａｘの平均値を出力する。

フィルタ処理部４０は、処理対象画素周辺領域に含まれる画素の輝度値をフィルタ処理して局所平均輝度値Ｙｌｐｆを演算する。処理対象画素周辺領域は、表示画像の一部の領域であり、補正対象である処理対象画素を含む領域である。例えば、フィルタ処理は、処理対象画素周辺領域に含まれる画素の輝度値について平均をとる処理であり、局所平均輝度値Ｙｌｐｆは、処理対象画素周辺領域の平均輝度である。

コントラスト補正部６０は、表示画像のコントラスト補正（コントラスト圧縮）を行う。このコントラスト補正は、例えば表示画像のシャドー部分及びハイライト部分のコントラスト（輝度コントラスト）を維持又は改善する画像補正であり、補正の結果として表示画像のダイナミックレンジが圧縮される画像補正である。具体的には、明るさ指標Ｌｍと局所平均輝度値Ｙｌｐｆを受けて第１の補正値Ｃｙを出力する。

さらに、本実施形態は加算部８０を含むことができる。加算部８０は、表示画像に含まれる画素のデータと補正値の加算処理を行う。具体的には、処理対象画素の輝度値Ｙに第１の補正値Ｃｙを加算し、コントラスト補正後の処理対象画素の輝度（Ｙ＋Ｃｙ）を出力する。

なお、統計情報取得部２０は、表示画像に含まれる全画素から統計情報を取得することもでき、表示画像に含まれる画素のうち一部の画素から統計情報を取得することもできる。また、統計情報取得部２０は、統計情報として表示画像の平均輝度Ｙａｖｅ（全画面平均輝度値）を取得することもできる。そして、明るさ指標演算部３０は、明るさ指標Ｌｍとして平均輝度Ｙａｖｅを出力することもできる。フィルタ処理部４０は、フィルタ処理として、処理対象画素周辺領域に含まれる画素の輝度値について画素毎に異なる重み付けをして平均値を求めることもできる。コントラスト補正部６０は、ダイナミックレンジを変えないでコントラスト補正を行うこともできるし、ダイナミックレンジを拡大するコントラスト補正を行うこともできる。さらに、加算部８０が行う加算処理は、加算だけでなく減算を含むこともでき、係数を乗算する処理を含むこともできる。

次に、図４、図５を用いてコントラスト補正について具体的に説明する。図４、図５は、本実施形態が行うコントラスト補正を模式的に示したものである。なお、説明を簡単にするために、表示画像ＦＬＡが輝度の高い領域ＰＡと輝度の低い領域ＰＢに二分されている場合を例に挙げている。但し、本実施形態の処理対象は図４の例に限らない。

図４に示すように、処理対象画素ＰＸは表示画像ＦＬＡに含まれる画素であり、表示画像ＦＬＡが走査されるに従って表示画像ＦＬＡ上を移動する。処理対象画素周辺領域ＰＸＲは、処理対象画素ＰＸとともに表示画像ＦＬＡ上を移動する領域である。例えば、処理対象画素ＰＸを中心として（２ｎ＋１）画素×（２ｍ＋１）画素（ｎ，ｍは、自然数）の領域を設定することができる。

ここで、明るさ指標演算部３０は、この表示画像ＦＬＡに対応する明るさ指標Ｌｍを求める。すなわち、明るさ指標Ｌｍは１画面の表示画像ＦＬＡに対して１つの値が求められる。そのため明るさ指標Ｌｍは、１画面中の走査によっては変化せず、動画であれば表示画像ＦＬＡの移り変わりに伴って変化する値である。また、フィルタ処理部４０は、処理対象画素周辺領域ＰＸＲに対応する局所平均輝度値Ｙｌｐｆを出力する。この局所平均輝度値Ｙｌｐｆは、１画面中の走査に従って変化する値である。

図５に、図４に示す走査線ＳＬＡ及び走査線ＳＬＢについての補正例を示す。図５では、走査線ＳＬＡが、明るさ指標Ｌｍよりも輝度の高い領域ＰＡにある走査線であり、走査線ＳＬＢが、明るさ指標Ｌｍよりも輝度の低い領域ＰＢにある走査線である場合について示している。

図５のグラフＰＹＡは、走査線ＳＬＡ上の画素の輝度値Ｙであり、処理対象画素ＰＸが走査線ＳＬＡを移動する場合の処理対象画素ＰＸの輝度値Ｙを表す。また、グラフＰＹＬＡは、その処理対象画素ＰＸに対応する処理対象画素周辺領域ＰＸＲについて、局所平均輝度値Ｙｌｐｆを示す。局所平均輝度値Ｙｌｐｆは、処理対象画素周辺領域ＰＸＲの平均輝度であるため、輝度Ｙの変化よりも緩やかに変化する。

そして、コントラスト補正によって、グラフＰＹＡに示す輝度値ＹがグラフＣＰＹＡに示す輝度値（Ｙ＋Ｃｙ）に補正される。コントラスト補正は、明るさ指標Ｌｍを中心として、局所平均輝度値Ｙｌｐｆに基づいて行われる。具体的には、コントラスト補正部６０が明るさ指標Ｌｍと局所平均輝度値Ｙｌｐｆに基づいて各画素に対応する補正値Ｃｙ（負又は正の補正値）を出力することで行われる。例えば、明るさ指標Ｌｍと局所平均輝度値Ｙｌｐｆの差分値（Ｌｍ−Ｙｌｐｆ）に基づいて補正値Ｃｙが出力される。

同様に、グラフＰＹＢは走査線ＳＬＢ上の画素の輝度値Ｙを示し、グラフＰＹＬＢは走査線ＳＬＢ上の画素に対応する処理対象画素周辺領域ＰＸＲについての局所平均輝度値Ｙｌｐｆを示す。そして、コントラスト補正部６０によって、グラフＰＹＢに示す輝度値ＹがグラフＣＰＹＢに示す輝度値（Ｙ＋Ｃｙ）に補正される。

このようにして、本実施形態は表示画像ＦＬＡのコントラスト補正を行う。例えば後に説明する図１２のＣＡ１，ＣＡ２に示すように、本実施形態は、局所平均輝度値Ｙｌｐｆが最大値（例えば、２５５）付近及び最小値（例えば、０）付近のとき階調差が強調される補正値Ｃｙを出力できる。これにより、表示画像ＦＬＡのハイライト部分及びシャドー部分のコントラストを改善することができる。

さらに、本実施形態は、コントラスト補正の結果として表示画像ＦＬＡのダイナミックレンジを変化させる。具体的には、補正値Ｃｙの符号によってダイナミックレンジの拡大、圧縮を調整する。例えば図５に示すように、コントラスト補正部６０は、差分値（Ｌｍ−Ｙｌｐｆ）が正の場合に輝度を小さくする補正値Ｃｙ（負の補正値）を出力し、差分値（Ｌｍ−Ｙｌｐｆ）が負の場合に輝度を大きくする補正値Ｃｙ（正の補正値）を出力することができる。そして、コントラスト補正部６０は、局所平均輝度値Ｙｌｐｆが明るさ指標Ｌｍから離れているほど補正値Ｃｙの絶対値を大きくすることができる。これにより、表示画像ＦＬＡのコントラスト補正を行うと共に、表示画像ＦＬＡのダイナミックレンジを圧縮することができる。

このとき、本実施形態は、表示画像ＦＬＡのダイナミックレンジを圧縮する一方で、距離の近い画素間の階調差を維持する。具体的には、局所平均輝度値Ｙｌｐｆを用いて補正値Ｃｙを求めることで実現される。例えば、図５のグラフＣＰＹＡに示すように、補正前のグラフＰＹＡのコントラストが保たれている。なお、図５では表示画像ＦＬＡの走査方向のみ示しているが、表示画像ＦＬＡ内での方向に関わらず距離の近い画素間のコントラストが保たれる。

ところで、図２等で説明したように、バックライト調光に伴う明るさ補正強調では輝度強調によってハイライト部分のコントラストが失われるという課題があった。すなわち、図６（Ａ）に模式的に示すように、補正前の輝度のヒストグラムＨＴＡ１がヒストグラムＨＴＡ２に補正されるとき、ＨＡ１で示すハイライト部分がＨＡ２に示すように高輝度側につぶされてしまう。

この点、本実施形態によれば、コントラスト補正によってダイナミックレンジを圧縮することができる。これにより、明るさ補正強調を行った場合の画質を改善できる。具体的には、図６（Ｂ）に模式的に示すように、補正前のヒストグラムＨＴＡ１がコントラスト補正によってヒストグラムＨＴＡ３に補正される。このとき、ＬＡ１，ＨＡ１間のダイナミックレンジがＬＡ３，ＨＡ３間のダイナミックレンジに圧縮される。そうすると、明るさ補正強調によってヒストグラムＨＴＡ４に補正されたとき、再びダイナミックレンジがＬＡ４，ＨＡ４間に拡張されても、ＨＡ４に示すようにハイライト部分のコントラストが失われない。これにより、画質を劣化させることなくバックライト調光でき、消費電力を削減できる。

また、単純にダイナミックレンジを圧縮する補正（例えば、ヒストグラム上の輝度値と補正値が１対１に対応する補正）を行うと、コントラストが劣化するという課題があった。具体的には、ダイナミックレンジ圧縮後の輝度値を丸め処理すること等により階調差が失われる。

この点、本実施形態によれば、局所平均輝度値に対して補正値を求めている。そのため、表示画像のローカルなコントラストを保存して補正することができる。これにより、表示画像のコントラストを劣化させることなくダイナミックレンジの圧縮を行うことができる。

なお、図６（Ｂ）では、説明のために、コントラスト補正をヒストグラムを用いて表現している。しかし、上記のように局所平均輝度値を用いた補正のため、補正の前後で輝度値が１対１に対応するわけではない。例えば、ヒストグラムＨＴＡ１の同一輝度の複数の画素が、補正後にヒストグラムＨＴＡ３上の同一の輝度に変換されるとは限らない。以下、図９（Ａ）、図９（Ｂ）等でも同様である。

３．明るさ指標
本実施形態のコントラスト補正においては、明るさ指標Ｌｍとして様々な値を用いることができる。そして、どのような値を用いるかによってコントラスト補正の特性を決めることができる。例えば後で説明するように、明るさ指標Ｌｍとして表示画像の平均輝度Ｙａｖｅを用いることができる。しかしながら、平均輝度Ｙａｖｅを用いると、ヒストグラムが低輝度又は高輝度に偏った分布のとき補正の効果が得にくいという課題があった。

図７に、この課題を解決できる明るさ指標Ｌｍの具体例を示す。この例では、シャドー画素群ＳＧ及びハイライト画素群ＨＧを用いて明るさ指標Ｌｍが求められる。まず、統計情報取得部２０が、表示画像に含まれる画素の輝度値についてヒストグラムＨＴＢを取得し、ヒストグラムＨＴＢからシャドー画素群ＳＧとハイライト画素群ＨＧを求める。

シャドー画素群ＳＧは、ヒストグラムＨＴＢを輝度の低い順から積算して、積算値が第１の閾値ＡＣＣ＿ＭＩＮＴＨを超えない範囲の画素で構成される。具体的には、下式（１）を満たす最大の輝度値ｋを求め、その輝度値以下の輝度を持つ画素をシャドー画素群ＳＧとする（ｊ，ｋは、ｊ≧０，ｋ≧０の整数）。ここでＮ（ｊ）は、統計情報取得部２０が統計情報の取得に用いた画素のうち輝度値ｊの画素数を表す。

一方、ハイライト画素群ＨＧは、ヒストグラムＨＴＢを輝度の高い順から積算して、積算値が第２の閾値ＡＣＣ＿ＭＡＸＴＨを超えない範囲の画素で構成される。具体的には、下式（２）を満たす最大の輝度値ｋを求め、その輝度値以上の輝度を持つ画素をハイライト画素群ＨＧとする。

そして、統計情報取得部２０は、シャドー画素群ＳＧについての第１の指標ａｃｃ＿ｍｉｎと、ハイライト画素群ＨＧについての第２の指標ａｃｃ＿ｍａｘを取得する。具体的には、指標ａｃｃ＿ｍｉｎはシャドー画素群ＳＧに含まれる画素の輝度値のうち、最大の輝度値である。また、指標ａｃｃ＿ｍａｘは、ハイライト画素群ＨＧに含まれる画素の輝度値のうち、最小の輝度値である。

次に、明るさ指標演算部３０が指標ａｃｃ＿ｍｉｎ、ａｃｃ＿ｍａｘを受けて明るさ指標Ｌｍを演算して出力する。例えば、明るさ指標演算部３０は、指標ａｃｃ＿ｍｉｎと指標ａｃｃ＿ｍａｘの平均値である指標ａｃｃ＿ｍｉｄを明るさ指標Ｌｍとして出力できる。すなわち、明るさ指標演算部３０は、下式（３）に示す指標ａｃｃ＿ｍｉｄを求めて明るさ指標Ｌｍとして出力できる。

なお、統計情報取得部２０は、閾値ＡＣＣ＿ＭＩＮＴＨと閾値ＡＣＣ＿ＭＡＸＴＨに互いに異なる値を用いて指標ａｃｃ＿ｍｉｎ、ａｃｃ＿ｍａｘを求めることもできる。また、明るさ指標演算部３０は、指標ａｃｃ＿ｍｉｎ、ａｃｃ＿ｍａｘに異なる重み付けをして指標ａｃｃ＿ｍｉｄを求めることもできる。

このような明るさ指標Ｌｍを用いれば、表示画像のハイライト部分にもシャドー部分にも均等にコントラスト補正を行うことができる。

図８（Ａ）に示す画像例を用いて具体的に説明する。図８（Ａ）に示す表示画像ＦＬＢは、画像の大部分が暗い領域で占められ、画面の一部に非常に明るい領域（ハイライト部分ＨＬ）がある画像を示している。例えば、表示画像ＦＬＢのように夜道の街灯や、その他、夜景や花火の画像などの場合である。

図８（Ｂ）は、表示画像ＦＬＢの輝度のヒストグラムＨＴＣ１を模式的に示したものである。ヒストグラムＨＴＣ１は、画像の大部分の暗い領域に対応する画素群Ａと、ハイライト部分ＨＬに対応する画素群Ｂから構成される。表示画像ＦＬＢに含まれる画素のほとんどは画素群Ａに属するため、ヒストグラムＨＴＣ１は、画素群Ｂと比較して画素群Ａに偏った形状となっている。このとき、指標ａｃｃ＿ｍｉｎ、ａｃｃ＿ｍａｘは、例えば図８（Ｂ）に示すように決定される。そして、指標ａｃｃ＿ｍｉｎ、ａｃｃ＿ｍａｘはシャドー画素群ＳＧ及びハイライト画素群ＨＧに対応して決定されるため、指標ａｃｃ＿ｍｉｄは画素群Ａと画素群Ｂの間の輝度値に設定される。一方、ヒストグラムＨＴＣ１の平均輝度Ｙａｖｅは、画素の集中する画素群Ａ付近の輝度値となる。

ところで、明るさ指標Ｌｍとして平均輝度Ｙａｖｅを用いた場合、表示画像ＦＬＢのような画像が適切にコントラスト補正されないという課題があった。図９（Ａ）を用いて説明する。

図９（Ａ）に明るさ指標Ｌｍの比較例を用いたコントラスト補正の例を示す。図９（Ａ）は、明るさ指標Ｌｍとして平均輝度Ｙａｖｅを使用し、表示画像ＦＬＢをコントラスト補正した例を示す模式図である。ここで、平均輝度Ｙａｖｅは、下式（４）を用いて統計情報取得部２０によって取得される（ｊは、ｊ≧０の整数）。（Ｔｘ×Ｔｙ）は、統計情報取得部２０が統計情報を取得する際に用いる全画素数を表し、Ｎ（ｊ）は、そのうちの輝度値ｊの画素数を表す。

図９（Ａ）に示すように、本実施形態が表示画像ＦＬＢをコントラスト補正することによって、ヒストグラムＨＴＣ１がＨＴＣ２となり、画素群Ａが画素群Ａ’に移動し、画素群Ｂが画素群Ｂ’に移動する。前述のようにコントラスト補正は明るさ指標Ｌｍを中心とした補正であるため、明るさ指標Ｌｍに近い画素群Ａから画素群Ａ’の補正は、高輝度側にも低輝度側にも移動が小さい。一方、高輝度の画素群Ｂは明るさ指標Ｌｍから離れているため、画素群Ｂから画素群Ｂ’の補正は低輝度側に大きく移動する。すなわち、図９（Ａ）の例では、画素群Ａに対して補正効果が少なく、画素群Ｂに対して補正が過剰になっている。そのため、ダイナミックレンジの圧縮についても高輝度側のみが過剰に圧縮されてしまう。

このように、明るさ指標Ｌｍとして平均輝度Ｙａｖｅを用いた場合、輝度分布が偏った表示画像に対して高輝度の画像領域と低輝度の画像領域を均等に補正できないという課題があった。

この点、本実施形態では明るさ指標Ｌｍとして指標ａｃｃ＿ｍｉｄを用いたことにより、輝度分布が偏った表示画像に対しても高輝度の画像領域と低輝度の画像領域を均等に補正できる。

図９（Ｂ）に、明るさ指標Ｌｍとして指標ａｃｃ＿ｍｉｄを使用し、表示画像ＦＬＢをコントラスト補正した例を模式図に示す。図９（Ｂ）に示すように、本実施形態が表示画像ＦＬＢをコントラスト補正することによって、ヒストグラムＨＴＣ１がＨＴＣ３となり、画素群Ａが画素群Ａ”に移動し、画素群Ｂが画素群Ｂ”に移動する。ここで、指標ａｃｃ＿ｍｉｄの輝度値は、画素群Ａと画素群Ｂの間にある。そのため、図９（Ａ）と比較して、画素群Ａに対する補正効果が十分得られ、画素群Ｂに対する補正が過剰になることがない。また、ダイナミックレンジの圧縮についても、低輝度側と高輝度側を偏りなく圧縮することができる。

このように、本実施形態では明るさ指標Ｌｍとして指標ａｃｃ＿ｍｉｄを用いたことにより適切なコントラスト補正を行うことができる。すなわち、シャドー画素群についての指標ａｃｃ＿ｍｉｎ、ハイライト画素群についての指標ａｃｃ＿ｍａｘから明るさ指標Ｌｍが決定されることで、表示画像の低輝度の領域も高輝度の領域も均等にコントラスト補正を行うことができる。

ここで、逆光で黒つぶれしたような低画質の画像についてはコントラストを改善すると共に、もともと高画質の画像には補正の影響を極力与えたくないという課題もあった。例えば、一般的な日中の風景写真のように画像の多くの領域が中輝度であり、階調も豊富な場合である。すなわち、輝度のヒストグラムでは中輝度に大多数の画素が分布し、輝度分布に偏りがない画像である。

この点、本実施形態によれば、中輝度に大多数の画素が分布する画像においては、その画素群の両端がシャドー画素群及びハイライト画素群となる。そのため、画素の分布の中央付近に明るさ指標が設定されることになる。局所平均輝度値が明るさ指標に近い場合に補正値が小さくなるようにしておけば、コントラスト補正によって画素の分布を壊さないようにできる。このように、低画質の画像はコントラストを改善するとともに、高画質の画像の画質を維持することができる。

４．詳細な構成例
４．１．コントラスト補正
図１０に、本実施形態の詳細な構成例を示す。本実施形態は、統計情報取得部２０、フィルタ処理部４０、明るさ指標演算部３０、時間軸フィルタ３２，３４、コントラスト調整補正量演算部５８、コントラスト調整用オフセット演算部３６、補正調整用レジスタ４２、コントラスト補正部６０、加算部８０を含む。

具体的には、統計情報取得部２０は、表示画像から統計情報を取得する。この統計情報に基づいて、フィルタ処理部４０、明るさ指標演算部３０、コントラスト補正部６０によって表示画像に応じて適応的にコントラスト補正が行われる。また、コントラスト調整補正量演算部５８、コントラスト調整用オフセット演算部３６、補正調整用レジスタ４２によってコントラスト補正のオフセット調整が行われる。加算部８０は、処理対象画素の画素データに補正値を加算処理する。

より具体的には、統計情報取得部２０は、表示画像の輝度Ｙ、色差Ｕ（色差Ｃｂ）、色差Ｖ（色差Ｃｒ）を受けて、指標ａｃｃ＿ｍｉｎ，ａｃｃ＿ｍａｘ、平均輝度Ｙａｖｅ、平均色差Ｕａｖｅ，Ｖａｖｅ、指標Ｌｕｍｉｎ，Ｌｕｍａｘを統計情報として出力する。さらに、輝度Ｙ、色差Ｕ，Ｖから彩度Ｓに変換して、彩度平均Ｓａｖｅを統計情報として出力する。これらの統計情報は、動画の１フレーム毎に取得される。ここで、平均色差Ｕａｖｅ，Ｖａｖｅ、平均彩度Ｓａｖｅは、表示画像の色差Ｕ，Ｖ、彩度Ｓの平均値であり、上式（４）に示した平均輝度Ｙａｖｅと同様にして取得される。指標Ｌｕｍｉｎ，Ｌｕｍａｘは、統計情報の取得に用いられる画素のうち、それぞれ最小輝度の画素の輝度値、最大輝度の画素の輝度値である。統計情報取得部２０は、例えば表示画像に含まれる２のべき乗個の画素を用いて統計情報を取得できる。

フィルタ処理部４０は、輝度Ｙを受けて処理対象画素に対応する局所平均輝度値Ｙｌｐｆを出力する。具体的には、フィルタ処理部４０は、下式（５）に示すフィルタ処理を行う（ｎ，ｍは、自然数。ｓ，ｔは整数）。ここで、Ｙ（ｘ＋ｓ，ｙ＋ｔ）は、座標（ｘ＋ｓ，ｙ＋ｔ）の画素の輝度値であり、Ｙ（ｘ，ｙ）は、処理対象画素の輝度値である。また、処理対象画素を中心とする（２ｎ＋１）画素×（２ｍ＋１）画素の領域が処理対象画素周辺領域に対応する。下式（５）では、表示画像の解像度（例えば、ＶＧＡ，ＱＶＧＡ）に応じてｎ，ｍを変えることで、解像度の異なる画像でも同等の補正効果を得ることができる。

明るさ指標演算部３０は、指標ａｃｃ＿ｍｉｎ，ａｃｃ＿ｍａｘ、平均輝度Ｙａｖｅを受けて明るさ指標Ｌｍ、明るさ差分値Ｌｄを出力する。下式（６）に明るさ指標Ｌｍを示す。具体的には、明るさ指標演算部３０は明るさ指標Ｌｍとして、上式（３）で示した指標ａｃｃ＿ｍｉｄが閾値ａｃｃ＿ｈｔｈより大きいときは閾値ａｃｃ＿ｈｔｈを出力し、指標ａｃｃ＿ｍｉｄが閾値ａｃｃ＿ｌｔｈより小さいときは閾値ａｃｃ＿ｌｔｈを出力する。また、指標ａｃｃ＿ｍｉｄが閾値ａｃｃ＿ｌｔｈ以上閾値ａｃｃ＿ｈｔｈ以下のときは、明るさ指標Ｌｍとして指標ａｃｃ＿ｍｉｄを出力する。下式（７）に明るさ差分値Ｌｄを示す。明るさ差分値Ｌｄは、明るさ指標Ｌｍと平均輝度Ｙａｖｅの差分の絶対値であり、後述するコントラスト補正のオフセット調整に用いられる。例えば、明るさ差分値Ｌｄが大きくなると、低輝度でのコントラスト補正が強調される。

時間軸フィルタ３２，３４は、コントラスト補正値Ｃｙの急激な変化に伴う視覚的なちらつき（フリッカ）を防止するために挿入される。すなわち、動画のシーンチェンジにともなって補正値Ｃｙが急激に変化することを防止する。

具体的には、時間軸フィルタ３２は、明るさ指標Ｌｍを受けて明るさ指標Ｌｍ＿ｔを出力する。明るさ指標Ｌｍは動画の１フレーム毎に決まる値であるため、時間軸フィルタ３２は、動画のフレーム毎に時系列的に入力される明るさ指標Ｌｍをローパスフィルタ処理して明るさ指標Ｌｍ＿ｔを出力する。時間軸フィルタ３４は、明るさ差分値Ｌｄを受けて明るさ差分値Ｌｄ＿ｔを出力する。時間軸フィルタ３２と同様に、動画のフレーム毎に時系列的に入力される明るさ差分値Ｌｄをローパスフィルタ処理して明るさ差分値Ｌｄ＿ｔを出力する。例えば、時間軸フィルタ３２，３４は、ＩＩＲ（Infinite impulse response）ローパスフィルタで構成できる。

補正調整用レジスタ４２は、コントラスト補正の補正強度を調整するためのレジスタ値と、コントラスト補正のオフセット値を調整するためのレジスタ値を設定する。具体的には、補正調整用レジスタ４２は、コントラスト補正部６０に対してレジスタ値Ｒ＿ＡＨ，Ｒ＿ＡＬを出力し、コントラスト補正用オフセット演算部３６に対してレジスタ値Ｒ＿ＯＬ，Ｒ＿ＯＨ，Ｒ＿ＢＨ，Ｒ＿ＦＬ，Ｒ＿ＦＨを出力する。

コントラスト調整補正量演算部５８は、バックライト調光による調光量Ｂｌｒ＿ｔを受けて調光量オフセットＣｂｏｆを出力する。具体的には、調光量Ｂｌｒ＿ｔによるバックライト減光率が大きくなるに従って大きくなる調光量オフセットＣｂｏｆを出力する。

コントラスト調整用オフセット演算部３６は、明るさ差分値Ｌｄ＿ｔ、調光量オフセットＣｂｏｆ、レジスタ値Ｒ＿ＯＬ，Ｒ＿ＯＨ，Ｒ＿ＢＨ，Ｒ＿ＦＬ，Ｒ＿ＦＨを受けて、第１のオフセットＯｆ１と第２のオフセットＯｆ２を出力する。具体的には、コントラスト調整用オフセット演算部３６は、下式（８）に従ってオフセットＯｆ１を演算し、下式（９）に従ってオフセットＯｆ２を演算する。すなわち、オフセットＯｆ１，Ｏｆ２は、レジスタ値Ｒ＿ＯＬ，Ｒ＿ＯＨによって調整される。また、オフセットＯｆ１，Ｏｆ２の明るさ差分値Ｌｄ＿ｔに依存する成分がレジスタ値Ｒ＿ＦＬ，Ｒ＿ＦＨによって調整される。さらに、オフセットＯｆ２は、調光量オフセットＣｂｏｆに依存する成分がレジスタ値Ｒ＿ＢＨによって調整される。

コントラスト補正部６０は、局所平均輝度値Ｙｌｐｆ、処理対象画素の輝度Ｙ、明るさ指標Ｌｍ＿ｔ、オフセットＯｆ１，Ｏｆ２、レジスタ値Ｒ＿ＡＨ，Ｒ＿ＡＬを受けて補正値Ｃｙを出力する。具体的には、コントラスト補正部６０は、変換部６２、輝度コントラスト補正量テーブル６８を含む。

より具体的には、コントラスト補正部６０は、下式（１０）に示す局所平均輝度値Ｙｌｐｆ’を求める。すなわち、処理対象画素の輝度Ｙと局所平均輝度値Ｙｌｐｆの差分値の絶対値が閾値Ｙｌｔｈ（所定の値）より小さい場合には、局所平均輝度値Ｙｌｐｆ’として処理対象画素の輝度Ｙを用い、他の場合は局所平均輝度値Ｙｌｐｆ’として局所平均輝度値Ｙｌｐｆを用いる。

そして、変換部６２は、局所平均輝度値Ｙｌｐｆ’、明るさ指標Ｌｍ＿ｔ、オフセットＯｆ１，Ｏｆ２、レジスタ値Ｒ＿ＡＨ，Ｒ＿ＡＬを受けて変換局所平均輝度値Ａｖｅを出力する。具体的には、明るさ指標Ｌｍ＿ｔを用いて局所平均輝度値Ｙｌｐｆ’を変換処理して変換局所平均輝度値Ａｖｅを出力する。より具体的には、変換部６２は、最初に下式（１１）に示す点Ｐ１と下式（１２）に示す点Ｐ２を求める。次に、変換部６２は、点Ｐ１と点Ｐ２を結ぶ直線ｆ（Ｘ）から下式（１３）に示す変換局所平均輝度値Ａｖｅを求める。図１１（Ａ）にＹｌｐｆ’＜Ｌｍ＿ｔの場合の変換例、図１１（Ｂ）にＹｌｐｆ’＞Ｌｍ＿ｔの場合の変換例を示す。図１１（Ａ）、図１１（Ｂ）に示すように、変換部６２によって点Ｐ１と点Ｐ２が求められると、対応する直線ｆ（Ｘ）が決定される。そして、直線ｆ（Ｘ）のうち局所平均輝度値Ｙｌｐｆ’に対応する１点ｆ（Ｙｌｐｆ’）が変換局所平均輝度値Ａｖｅとして出力される。ここで、図１１（Ｂ）に示すように、点Ｐ１と点Ｐ２を結ぶ直線がゼロ以下となる部分については、ｆ（Ｘ）はゼロに設定される。

輝度コントラスト補正量テーブル６８は、変換局所平均輝度値Ａｖｅ、局所平均輝度値Ｙｌｐｆ’を受けて、補正値Ｃｙを出力する。具体的には、下式（１４）に示す補正値Ｃｙを求める。より具体的には、補正値Ｃｙは、下式（１４）の第１項（局所ガンマ）に示す、局所平均輝度値Ｙｌｐｆ’と変換局所平均輝度値Ａｖｅの比に依存する値と、局所平均輝度値Ｙｌｐｆ’の差分から求められる。下式（１４）のγは、例えばγ＝２．２である。このようにして、例えば図１２のグラフＣＹＡ１〜ＣＹＡ３に示す補正値Ｃｙや、図１３（Ａ）に示すグラフＣＹＢ１〜ＣＹＢ３の補正値Ｃｙが出力される。なお、輝度コントラスト補正量テーブル６８は、例えばルックアップテーブルを用いて構成できる。

そして、加算部８０は、処理対象画素の輝度Ｙ、処理対象画素の色差Ｕ，Ｖ、補正値Ｃｙ，Ｌｙ，Ｇｙ’，Ｇｃｕ’，Ｇｃｖ’を受けて、出力輝度Ｙｏｕｔ、出力色差Ｕｏｕｔ，Ｖｏｕｔを出力する。具体的には、加算部８０は、処理対象画素の輝度Ｙと補正値Ｃｙ，Ｌｙ，Ｇｙ’の加算処理を行って出力輝度Ｙｏｕｔ（Ｙｏｕｔ＝Ｙ＋Ｃｙ＋Ｌｙ＋Ｇｙ’）を出力する。また、加算部８０は、処理対象画素の色差Ｕと補正値Ｇｃｕ’の加算処理を行って出力色差Ｕｏｕｔ（Ｕｏｕｔ＝Ｕ＋Ｇｃｕ’）を出力し、処理対象画素の色差Ｖと補正値Ｇｃｖ’の加算処理を行って出力色差Ｖｏｕｔ（Ｖｏｕｔ＝Ｖ＋Ｇｃｖ’）を出力する。ここで、補正値Ｌｙは、後述するレベル補正の補正値であり、補正値Ｇｃｕ’，Ｇｃｖ’は、後述する色差補正の補正値である。

４．２．バックライト調光
さらに本実施形態は、拡張輝度平均演算部５２、調光量演算部５４、時間軸フィルタ５６を含むことができる。具体的には、統計情報取得部２０によって表示画像の統計情報が取得され、統計情報を受けて拡張輝度平均演算部５２、調光量演算部５４によって表示画像に応じて適応的にバックライト調光が行われる。

より具体的には、拡張輝度平均演算部５２は、輝度平均Ｙａｖｅ、彩度平均Ｕａｖｅ，Ｖａｖｅを受けて、拡張輝度平均Ｗａｖｅを出力する。拡張輝度平均Ｗａｖｅは、輝度平均Ｙａｖｅ、色差平均Ｕａｖｅ，Ｖａｖｅの最大値である。

調光量演算部５４は、拡張輝度平均Ｗａｖｅを受けて調光量Ｂｌｒを出力する。この調光量Ｂｌｒに応じてバックライト１２（ＬＥＤ:Light Emitting Diode）が調光（減光）される。具体的には、調光量演算部５４は、拡張輝度平均Ｗａｖｅが小さいほどバックライト減光率が大きくなる調光量Ｂｌｒを出力する。

ここで、平均輝度Ｙａｖｅのみ用いて調光量Ｂｌｒが出力される場合、表示画像の一部に彩度の高い部分があっても、画像が全体として暗い場合にはバックライト減光率が大きくなる。そのため、彩度が低下して画質が劣化する。そこで、拡張平均輝度Ｗａｖｅを用いてバックライト減光率が決定される。すなわち、平均輝度Ｙａｖｅよりも色差平均Ｕａｖｅ又はＶａｖｅが大きい場合には、色差平均Ｕａｖｅ又はＶａｖｅに応じて調光量Ｂｌｒが出力される。これにより、表示画像の彩度が高い場合にはバックライト減光率が小さくなり、画質劣化が防止される。

時間軸フィルタ５６は、動画のシーンチェンジにともなって調光量Ｂｌｒが急激に変化し、フリッカが生じるのを防止する。具体的には、時間軸フィルタ５６は、調光量Ｂｌｒを受けてローパスフィルタ処理し、調光量Ｂｌｒ＿ｔを出力する。

４．３．明るさ補正強調
本実施形態は、明るさ補正量演算部７６、明るさ強化補正量演算部７８、時間軸フィルタ８２、輝度明るさ補正量テーブル８４を含むことができる。具体的には、統計情報取得部２０によって表示画像の統計情報が取得され、統計情報を受けて明るさ補正量演算部７６、明るさ強化補正量演算部７８、輝度明るさ補正量テーブル８４が図２で説明した調光有りの場合の強化された画像補正を行う。

より具体的には、明るさ補正量演算部７６は、調光なしの場合の明るさ補正を行う。すなわち、明るさ補正量演算部７６は、平均輝度Ｙａｖｅを受けて調光なしの場合の補正値Ｇｙに対応する出力値Ｓｇｙを出力する。

明るさ強化補正量演算部７８は、調光に伴う明るさ補正の強化を行う。具体的には、明るさ強化補正量演算部７８は、調光量Ｂｌｒ＿ｔを受けて調光に伴う補正値の強化分ΔＧｙに対応する出力値Ｓｄｇｙを出力する。

時間軸フィルタ８２は、シーンチェンジに伴う補正値Ｇｙ’の急激な変化を防止する。具体的には、時間軸フィルタ８２は、表示画像のフレーム毎に入力される出力値Ｓｇｙと出力値Ｓｄｇｙの加算値を受けてローパスフィルタ処理を行い、出力値Ｓｇｙ’を出力する。

輝度明るさ補正量テーブル８４は、出力値Ｓｇｙ’を受けて補正値Ｇｙ’（第２の補正値）を出力する。具体的には、補正値Ｇｙ’（＝Ｇｙ＋ΔＧｙ）によって図２で説明した調光有りの場合の強化された画像補正が行われる。

４．４．レベル補正
本実施形態は、時間軸フィルタ９６，９８、統計値コントラスト補正部９２，９４、輝度レベル補正量テーブル９０（レベル補正部）を含む。具体的には、統計情報取得部２０によって表示画像の統計情報が取得され、統計情報を受けて統計値コントラスト補正部９２，９４、輝度レベル補正量テーブル９０が表示画像に応じて適応的にレベル補正を行う。

より具体的には、時間軸フィルタ９６，９８は、シーンチェンジに伴って補正値Ｌｙが急激に変化することを防止する。具体的には、時間軸フィルタ９６は、指標Ｌｕｍｉｎを受けてローパスフィルタ処理を行い、指標Ｌｕｍｉｎ＿ｔを出力する。時間軸フィルタ９８は、指標Ｌｕｍａｘを受けてローパスフィルタ処理を行い、指標Ｌｕｍａｘ＿ｔを出力する。ここで、指標Ｌｕｍｉｎ，Ｌｕｍａｘは、統計情報の取得に用いられる画素のうち、それぞれ最小輝度の画素の輝度値、最大輝度の画素の輝度値である。

統計値コントラスト補正部９２は、輝度ヒストグラムの低輝度側の輝度レベルを最適化し、統計値コントラスト補正部９４は、輝度ヒストグラムの高輝度側の輝度レベルを最適化する。具体的には、統計値コントラスト補正部９２は、指標Ｌｕｍｉｎ＿ｔを受けて出力値Ｓｌｍｉｎを出力し、統計値コントラスト補正部９４は、指標Ｌｕｍａｘ＿ｔを受けて出力値Ｓｌｍａｘを出力する。

輝度レベル補正量テーブル９０は、出力値Ｓｌｍｉｎ，Ｓｌｍａｘを受けて補正値Ｌｙを出力する。具体的には、補正値Ｌｙによって表示画像のレベル補正が行われる。より具体的には、図１４に模式的に示すように、補正値ＬｙによってヒストグラムＨＴＤ１がＨＴＤ２に補正される。すなわち、ＬＤ１に示すヒストグラムＨＴＤ１の低輝度部分がＬＤ２に示すように低輝度方向に拡大され、ＨＤ１に示すヒストグラムＨＴＤ１の高輝度部分がＨＤ２に示すように高輝度方向に拡大される。これにより、輝度ヒストグラムの低輝度側及び高輝度側の輝度レベルが最適化される。

４．５．彩度補正
図１０に示す本実施形態の構成例は、彩度補正量演算部３０２、彩度強化補正量演算部３００、時間軸フィルタ３０４、彩度補正量テーブル３１０を含むことができる。具体的には、統計情報取得部２０が表示画像から統計情報を取得し、統計情報を受けて彩度補正量演算部３０２、彩度強化補正量演算部３００、彩度補正量テーブル３１０が表示画像に応じて適応的に彩度補正（彩度強調）を行う。

より具体的には、彩度補正量演算部３０２は、バックライト調光無しの場合の彩度補正を行う。すなわち、彩度補正量演算部３０２は、彩度平均Ｓａｖｅを受けてバックライト調光無しの場合の彩度補正値に対応する出力信号Ｓｇｃを出力する。

彩度強化補正量演算部３００は、バックライト調光に伴う強化された彩度補正を行う。具体的には、彩度強化補正量演算部３００は、調光量Ｂｌｒ＿ｔを受けてバックライト調光に伴う強化された彩度補正分に対応する出力値Ｓｄｇｃを出力する。

時間軸フィルタ３０４は、表示画像の変化に伴う補正値Ｇｃｕ’，Ｇｃｖ’の急激な変化を防止する。具体的には、時間軸フィルタ３０４は、出力値ＳｇｃとＳｄｇｃの加算値を受けてローパスフィルタ処理を行い、出力値Ｓｇｃ’を出力する。

彩度補正量テーブル３１０は、出力値Ｓｇｃ’を受けてバックライト調光有りの場合の強化された彩度補正値Ｇｃｕ’，Ｇｃｖ’を出力する。具体的には、Ｇｃｕ’＝Ｇｃｕ＋ΔＧｃｕ、Ｇｃｖ’＝Ｇｃｖ＋ΔＧｃｖと表すことができる。Ｇｃｕ，Ｇｃｖは、バックライト調光無しの場合の彩度補正値であり、ΔＧｃｕ，ΔＧｃｖは、バックライト調光に伴う強化された彩度補正分である。例えば、補正値Ｇｃｕ’は、色差Ｕが負の時に負の補正値であり、色差Ｕが正の時に正の補正値である。これにより、表示画像の彩度が強調される。また、ΔＧｃｕ，ΔＧｃｖによって、バックライト減光率が大きいほど表示画像の彩度が強調される。

ここで、輝度レベル補正量テーブル９０、輝度明るさ補正量テーブル８４、彩度補正量テーブル３１０は、例えばルックアップテーブルで構成できる。また、時間軸フィルタ５６，８２，９６，９８は、例えばＩＩＲローパスフィルタで構成できる。

なお、本実施形態は図１０に示す構成例に限定されず、一部構成を省略して使用することもできる（例えば時間軸フィルタ３２，３４，５６，８２，９６，９８）。

５．コントラスト補正の具体例
５．１．補正値Ｃｙの具体例
図１２、図１３（Ａ）、図１３（Ｂ）を用いて、コントラスト補正部６０が出力する補正値Ｃｙの具体例を説明する。

図１２に補正値Ｃｙの第１の具体例を示す。図１２に示すのは、Ｏｆ１＝Ｏｆ２＝０の場合の具体例である。例えばグラフＣＹＡ２において、ＣＡ１とＣＡ２に示す部分では局所平均輝度値Ｙｌｐｆ’が大きくなるに従って補正値Ｃｙも大きくなる。すなわち、表示画像のシャドー部分とハイライト部分においては、補正値Ｃｙによってコントラストが強調される。また、グラフＣＹＡ１〜ＣＹＡ３に示すように補正値Ｃｙは、Ｙｌｐｆ’＜Ｌｍ＿ｔにおいて正の値であり、Ｙｌｐｆ’＞Ｌｍ＿ｔにおいて負の値である。すなわち、補正値Ｃｙによって表示画像のダイナミックレンジが圧縮される。

図１３（Ａ）に補正値Ｃｙの第２の具体例を示す。図１３（Ａ）に示すのは、Ｏｆ２≠０の場合の具体例である。グラフＣＹＢ１〜ＣＹＢ３に示すように、補正値Ｃｙの高輝度側にはＯｆ２によってオフセットＯＦＨが生じる。このオフセットＯＦＨは、明るさ補正強調によるハイライトつぶれをより効果的に防止することができる。

図１３（Ｂ）を用いて説明する。グラフＢＬＢ１とＢＬＢ２は、図２で説明した明るさ補正強調分ΔＧｙを含む補正値Ｇｙ’による補正を示す。図１３（Ｂ）に示すように、輝度が０〜２５５で表される場合、オフセットＯＦＨを含む補正値Ｃｙによって輝度は０〜（２５５−ＯＦＨ）の範囲内に補正される。そうすると、補正値Ｇｙ’による補正においてはグラフＢＬＢ１に示す範囲で補正される。これにより、グラフＢＬＢ２に示す、ハイライト部分のコントラストが失われる範囲を用いずに明るさ補正強調を行うことができる。

ところで、明るさ補正強調による画質劣化を防止するため、コントラスト補正とともにダイナミックレンジ圧縮を行うという課題があった。同時に、逆光写真などのシャドー部の画質を改善するという課題もあった。

この点、本実施形態によれば、局所平均輝度値Ｙｌｐｆが明るさ指標Ｌｍより小さい場合には、処理対象画素の輝度値を大きくする補正値Ｃｙを出力し、局所平均輝度値Ｙｌｐｆが明るさ指標Ｌｍより大きい場合には、処理対象画素の輝度値を小さくするコントラスト補正を行うことができる。また、明るさ指標Ｌｍと局所平均輝度値Ｙｌｐｆの差分の絶対値が大きいほど絶対値が大きくなる補正値Ｃｙによってコントラスト補正を行うことができる。これは、図１０に示す構成例のコントラスト補正部６０、変換部６２、輝度コントラスト補正量テーブル６８によって実現できる。具体的には、上式（１１）〜（１４）によって実現できる。例えば、図１２、図１３（Ａ）に示す補正量Ｃｙによって実現できる。

これにより、表示画像のコントラストを改善するコントラスト補正を行うことができる。具体的には、図１２等に示したように、表示画像のシャドー部分とハイライト部分のコントラストを強調して画質を改善することができる。さらに、表示画像のコントラストを劣化させることなくダイナミックレンジを圧縮することができる。

また、本実施形態によれば、局所平均輝度値Ｙｌｐｆが明るさ指標Ｌｍより小さいときは、局所平均輝度値Ｙｌｐｆより変換局所平均輝度値Ａｖｅが大きくなる変換処理を行う。また、局所平均輝度値Ｙｌｐｆが明るさ指標Ｌｍより大きいときは、局所平均輝度値Ｙｌｐｆより変換局所平均輝度値Ａｖｅが小さくなる変換処理を行う。これは、図１０に示す構成例の変換部６２及び上式（１１）〜（１３）によって実現できる。具体的には、図１１（Ａ）、図１１（Ｂ）で説明した変換処理によって実現できる。

これにより、表示画像のコントラストを劣化させることなくダイナミックレンジを圧縮できる補正値Ｃｙを実現することができる。

さらに、本実施形態によれば、明るさ指標Ｌｍより輝度の高い局所平均輝度値Ｙｌｐｆに対応する第１の補正強度及び、明るさ指標Ｌｍより輝度の低い局所平均輝度値Ｙｌｐｆに対応する第２の補正強度を設定することができる。これは、レジスタ値Ｒ＿ＡＨ（第１の補正強度）、レジスタ値Ｒ＿ＡＬ（第２の補正強度）によって実現できる。

これにより、レジスタ設定によってコントラスト補正強度を設定することができる。さらに、表示画像の低輝度部分におけるコントラスト補正強度と、表示画像の高輝度部分における補正強度を独立して設定することができる。

具体的には、本実施形態によれば、局所平均輝度値Ｙｌｐｆが明るさ指標Ｌｍより大きい場合には、明るさ指標Ｌｍと局所平均輝度値Ｙｌｐｆの差分値に第１の補正強度Ｒ＿ＡＨを乗算する乗算処理を行う。また、局所平均輝度値Ｙｌｐｆが明るさ指標Ｌｍより小さい場合には、明るさ指標Ｌｍと局所平均輝度値Ｙｌｐｆの差分値に第２の補正強度Ｒ＿ＡＬを乗算する乗算処理を行う。これは、図１０に示す構成例の補正調整用レジスタ４２、変換部６２及び、上式（１１）で実現できる。

これにより、コントラスト補正強度の調整を実現することができる。さらに、表示画像の低輝度部分におけるコントラスト補正強度の調整、表示画像の高輝度部分における補正強度の調整を独立して行うことができる。すなわち、レジスタ値Ｒ＿ＡＨによって補正値Ｃｙの高輝度側を強調でき、レジスタ値Ｒ＿ＡＬによって補正値Ｃｙの低輝度側を強調できる。

また、本実施形態によれば、変換処理の低輝度側のオフセットを調整する第１のオフセットと、変換処理の高輝度側のオフセットを調整する第２のオフセットを有する。そして、差分値（Ｌｍ−Ｙｌｐｆ）に補正強度Ｒ＿ＡＨ，Ｒ＿ＡＬを乗算する乗算処理の結果に第１のオフセットを加算するオフセット加算処理を行う。これは、図１０に示す構成例のコントラスト調整用オフセット演算部３６、変換部６２及び、第１のオフセットＯｆ１、第２のオフセットＯｆ２、上式（１１）、上式（１２）によって実現できる。

これにより、コントラスト補正のオフセットを調整できる。さらに、低輝度側のオフセットと高輝度側のオフセットを独立して調整することができる。すなわち、オフセットＯｆ１によって補正値Ｃｙの低輝度側を強調し、高輝度側を弱めることができる。また、オフセットＯｆ２によって補正値Ｃｙの低輝度側を弱め、高輝度側を強調することができるとともに、図１３（Ａ）、図１３（Ｂ）に示したオフセットＯＦＨを調整できる。オフセットＯＦＨにより、明るさ補正強調による画質劣化をさらに効果的に防止できる。

具体的には、本実施形態によれば、第１，第２のオフセット調整値を設定することができる。そして、第１，第２のオフセット調整値を用いてオフセットＯｆ１，Ｏｆ２を出力することができる。これは、図１０に示す構成例の補正調整用レジスタ４２、コントラスト調整用オフセット演算部３６及び、レジスタ値Ｒ＿ＯＬ，Ｒ＿ＯＨ（第１，第２のオフセット調整値）、上式（８）、上式（９）によって実現できる。

これにより、レジスタ設定によってコントラスト補正のオフセットを調整できる。そして、低輝度側のオフセットと高輝度側のオフセットの独立した調整を実現できる。

さらに、本実施形態によれば、明るさ指標Ｌｍと平均輝度Ｙａｖｅの差分の絶対値である明るさ差分値Ｌｄを用いてのオフセットＯｆ１，Ｏｆ２を出力できる。これは、明るさ指標演算部３０、コントラスト調整用オフセット演算部３６、上式（７）、上式（８）、上式（９）によって実現できる。

これにより、輝度分布に偏りのある表示画像において、コントラスト補正を強調することができる。例えば、図８（Ｂ）で説明した低輝度側に偏ったヒストグラムをもつ表示画像の場合、明るさ指標Ｌｍ（＝ａｃｃ＿ｍｉｄ）より平均輝度Ｙａｖｅが小さくなるため、明るさ差分値Ｌｄが大きくなる。そして、上式（８）、上式（９）よりオフセットＯｆ１，Ｏｆ２が大きくなり、補正値Ｃｙの低輝度側及び高輝度側がともに強調される。

ここで、平均輝度Ｙａｖｅが低い場合にはバックライト減光率が大きくなるため、明るさ補正強調による輝度強調も大きくなる。この点、本実施形態では明るさ差分値Ｌｄを用いて補正値Ｃｙを強調することができる。すなわち、平均輝度Ｙａｖｅが低い場合に、ハイライト部分の輝度をより大きく下げることでハイライト部分の階調つぶれを防止し、画素数の多い低輝度部分のコントラストをより強調することができる。一方、輝度分布に偏りがない場合には、明るさ指標Ｌｍと平均輝度Ｙａｖｅの値が近く、明るさ差分値Ｌｄの値が小さい。そのため、輝度分布に偏りのある低画質の画像の場合にだけコントラスト補正を強調することができる。

ところで、表示画像の低階調部分（例えば、処理対象画素の輝度値と局所平均輝度値の差分値が０や１）において局所平均輝度値Ｙｌｐｆを用いてコントラスト補正すると、階調差を壊す場合があるという課題があった。すなわち、Ｙｌｐｆは処理対象画素周辺領域の輝度平均のため、低階調部分では丸め処理によって平均化される（例えば、Ｙｌｐｆ＝０．６，１．４が１，１に丸め処理される）という課題があった。さらに、Ｙｌｐｆの平均化を避けるために演算精度を上げると回路規模の増大を招くという課題があった。

この点、本実施形態によれば、処理対象画素の輝度値Ｙと局所平均輝度値Ｙｌｐｆの差分値の絶対値が所定の値より小さいとき、局所平均輝度値Ｙｌｐｆの代わりに処理対象画素の輝度値Ｙを用いることができる。これは、コントラスト補正部６０及び、閾値Ｙｌｔｈ（所定の値）、上式（１０）によって実現できる。

これにより、局所平均輝度値Ｙｌｐｆのみ用いた場合と比べて、低階調のコントラストを強調するコントラスト補正を実現できる。そして、Ｙｌｐｆの演算精度を上げることなく、低階調の階調差が壊されることを防止できる。これにより、回路規模の増大を防止できる。

ところで、本実施形態は、画像表示用の照明を表示画像に応じて減光する補正を行う調光量を出力する調光補正部と、調光量に基づいて輝度をエンハンスする第２の補正値を出力する強化明るさ補正部を含むこともできる。調光補正部は、図１０に示す構成例の拡張輝度平均演算部５２、調光量演算部５４、時間軸フィルタ５６によって実現できる。強化明るさ補正部は、明るさ補正量演算部７６、明るさ強化補正量演算部７８、時間軸フィルタ８２、輝度明るさ補正量テーブル８４によって実現できる。

これにより、図１、図２等で説明したバックライト調光に伴う強化された画像補正を実現できる。すなわち、調光量演算部５４が画像表示用の照明１２（ＬＥＤ）を減光する調光量Ｂｌｒを出力し、明るさ補正量演算部７６が調光量Ｂｌｒを受けて明るさ補正強調を行い（輝度をエンハンスし）、輝度明るさ補正量テーブル８４が第２の補正値Ｇｙ’を出力できる。そして、調光に伴う強化された画像補正とコントラスト補正によって画質を劣化させることなくバックライト調光でき、消費電力を削減できる。

５．２．本実施形態による画像補正の具体例
図１５に本実施形態による画像補正の具体例を示す。図１５では、説明を簡単にするために静止画に本実施形態を適用した場合について説明する。但し、本発明によれば、動画に適用して表示画像に対して適応的に画像補正することもできる。

図１５は、本実施形態を適用した画像の輝度ヒストグラム例である。ＨＴＥ１は、補正前の画像のヒストグラム例である。ＨＴＥ２は、コントラスト補正を行った後のヒストグラム例である。ＨＴＥ３は、さらにバックライト調光に伴う強化された画像補正を行った後のヒストグラム例である。

まず、コントラスト補正によって、ＬＥ１に示すシャドー部分がＬＥ２に示すように高輝度方向に移動し、ＨＥ１に示すハイライト部分がＨＥ２に示すように低輝度方向に移動する。このように、コントラスト補正によってダイナミックレンジが圧縮される。次に、調光に伴う強化された画像補正によって輝度が強調される。このとき、ＨＥ３に示すように、コントラスト補正を行ったことでハイライト部分のコントラスト破壊が防止される。また、ＬＥ２，ＬＥ３に示すように、シャドー部分のコントラストがＬＥ１に比べて改善され、ＨＥ２、ＨＥ３に示すようにハイライト部分のコントラストがＨＥ１に比べて改善される。

６．画像表示制御装置
６．１．構成例
図１６に画像表示制御装置（集積回路装置）の構成例を示す。図１６に示す構成例は、タイミング制御部５１０、統計値取得部５２０、補正係数演算部５４０、画像補正部５６０を含む。

タイミング制御部５１０は、例えば図１８に示すホストコンピュータ１０６から入力されるＹＵＶ形式の画像信号から同期信号を抜き出し、各部の動作タイミングを示すタイミング信号を生成する。

統計値取得部５２０は、ＹＵＶ形式の画像信号と、タイミング制御部５１０から入力されるタイミング信号を受けて、表示画像の１フレーム分の画像信号の統計情報（輝度、色差及び、彩度に関する統計情報）を取得する。

補正係数演算部５４０は、タイミング制御部５１０から入力されるタイミング信号と、統計値取得部５２０から入力される統計情報を受けて、画像補正用の補正値（Ｃｙ，Ｇｙ’等）と、減光後のバックライト輝度（調光量Ｂｌｒ）とをリアルタイムに算出する。そして、算出した調光量Ｂｌｒを例えば図１８に示すバックライト（ＬＥＤ）ドライバ１１４に向けて出力する。

画像補正部５６０は、ＹＵＶ形式の画像信号と、補正係数演算部５４０から入力される画像補整用の補正値を受けて、次のフレームの画像信号の入力に同期して画像補正を実行する。そして、補正された画像信号を例えば図１８に示すパネルドライバ１１２に出力する。

６．２．詳細な構成例
図１７に画像表示制御装置の詳細な構成例を示す。

ここでは、画像表示制御装置１０８は、例えば図１８に示す携帯端末（電子機器。例えば、携帯電話端末、ＰＤＡ端末、携帯可能なコンピュータ端末）に搭載されているものとする。携帯端末は、ワンセグ放送を受信するアンテナＡＮと、通信／画像処理部１０２と、ホストコンピュータ１０６を含む。ホストコンピュータ１０６は、例えば、受信したストリーミング映像信号を、画像表示制御装置１０８に供給する。

図１７に示すように、画像表示制御装置１０８は、ホストコンピュータ１０６から与えられる画像信号（ＲＧＢ（色信号形式）あるいはＹＵＶ（輝度信号と色差信号の形式））を受け、その画像信号がＲＧＢの場合はＹＵＶの画像信号に変換する画像入力インタフェース（Ｉ／Ｆ）１５０と、ホストコンピュータ１０６から与えられる制御情報（例えば、レジスタ値Ｒ＿ＡＨ，Ｒ＿ＡＬ）を一時的に蓄積するレジスタ１５２と、画像信号に画像補正処理を施す画像補正コア２００と、ＹＵＶ形式の画像信号をＲＧＢ形式の画像信号に変換する、または、ＹＵＶ形式のまま出力する画像出力インタフェース（Ｉ／Ｆ）１５４を含む。

以下、図１７の画像補正コア２００の各部の機能および動作を具体的に説明する。

タイミング部２１０は、画像入力インタフェース（Ｉ／Ｆ）１５０から出力されるＹＵＶ形式の画像信号から同期信号を抜き出し、各部の動作タイミングを示すタイミング信号を生成する。

共用演算器２１８は、第１および第２のマルチプレクサ（４００ａ，４００ｂ）と、算術論理演算ユニット（ＡＬＵ）４０２と、算術論理ユニット（ＡＬＵ）の演算結果を振り分ける分配器４０４と、複数の出力先レジスタ（デスティネーションレジスタ）４０６を含む。出力先レジスタ４０６は、出力先毎に区分されたレジスタ郡４０８ａ〜４０８ｃにより構成される。また、複数のレジスタ郡４０８ａ〜４０８ｃの各々に蓄積された演算結果の少なくとも一部を、第１および第２のマルチプレクサ（４００ａ，４００ｂ）の入力側に帰還させる帰還経路が形成されている。

ヒストグラム作成部（統計値取得部）２１２は、１フレーム分の画像信号の統計情報（輝度に関する統計情報および彩度に関する統計情報）を取得する。

コードテーブル（コード記憶部）２１６は、共用演算器２１８の動作手順を指定するための複数のマイクロコードを記憶している。

シーケンスカウンタ（シーケンス指示部）２１４は、コードテーブル２１６をポインティングし、コードテーブル２１６からのマイクロコードの出力順を制御する。デコーダ２１７は、コードテーブル２１６から順次、出力されるマイクロコードをデコードして、共用演算器に供給するための命令およびデータ（係数等）の少なくとも一つを生成する。

デコーダ２１７からは、第１および第２のマルチプレクサ（４００ａ，４００ｂ）に対して、演算に用いられる係数が供給され、算術論理ユニット（ＡＬＵ）４０２に対して演算命令（オペコード）が供給され、分配器４０４に対して分配先情報（デスティネーション情報）が供給される。

共用演算器２１８は、画像補正用の補正値（Ｃｙ，Ｇｙ’等）と、減光後のバックライト輝度（調光量Ｂｌｒ）とをリアルタイムに算出する。共用演算器２１８の演算によって、結果的に、図３等を用いて説明したコントラスト補正による画像処理が実行されることになる。また、図１０等を用いて説明した、バックライト調光処理、バックライト調光に伴う強化された補正による画像処理、彩度強調補正による画像処理、レベル補正による画像処理が、実質的に実行されることになる。

共用演算器２１８の演算は、上述のとおり、信号処理手順をコード化したマイクロコードによって制御される。共用化された最小限の回路構成の演算器を用いることによって、同種のハードウエアを並列に設ける必要なくリアルタイム演算が可能となる。よって、最小の回路、最小の消費電力により、高速な調光制御および画像補正を実現することができる。

共用演算器２１８の演算結果は、出力先毎に区分されたレジスタ郡４０８ａ〜４０８ｃに一時的に蓄積される。算出されたバックライト輝度（調光量Ｂｌｒ）は、バックライ
ト（ＬＥＤ）ドライバに向けて出力され、また、補正値は、係数バッファ４１０に蓄積される。係数バッファ４１０に蓄積された補正値は、次のフレームの画像信号の入力に同期して画像補正部２２２に供給され、画像補正が実行される。

また、複数のレジスタ郡４０８ａ〜４０８ｃの各々に蓄積された演算結果の少なくとも一部は、帰還経路を介して、第１および第２のマルチプレクサ（４００ａ，４００ｂ）の入力側に帰還される。これによって、まず、減光後のバックライト輝度を求め、その演算結果を入力側に戻して、その求められた照明輝度に基づいて画像の補正値を求める処理が実行される。

７．携帯電話端末
図１８に携帯電話端末（電子機器）の構成例を示す。図１８では、携帯電話端末１００（電子機器）に画像表示制御装置（画像表示制御ＬＳＩ）が搭載されている。この携帯電話端末１００は、アンテナＡＮと、通信／画像処理部１０２と、ＣＣＤカメラ１０４と、ホストコンピュータ１０６と、画像表示制御装置１０８と、ドライバ１１０（パネルドライバ１１２とバックライトドライバ１１４を含む）と、表示パネル（例えば液晶パネル（ＬＣＤ））１１６と、バックライト（ＬＥＤ）１１８を含む。

なお、画像表示制御装置１０８は、ドライバ１１０とは別個の制御ＬＳＩであってもよく、ドライバ１１０に搭載されてもよい。また、画像表示制御装置１０８は、ドライバ１１０のコントローラに搭載されてもよく、駆動制御装置（ドライバとコントローラが一体化されたもの）に搭載されてもよい。

本発明の画像表示制御装置１０８は、ストリーミング画像のような動画像を処理可能なリアルタイム性、優れた省電力性および小型化が可能である、という特性を備えている。よって、本発明の画像表示制御装置が搭載されることによって、電子機器１００の付加価値が向上する。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語（表示画像、コントラスト補正、コントラスト、明るさ指標等）と共に記載された用語（フレーム画像、コントラスト圧縮、輝度コントラスト、輝度指標等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またコントラスト補正部、明るさ指標演算部、フィルタ処理部、統計情報取得部、強化明るさ補正部、調光補正部、画像処理装置、集積回路装置、電子機器の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。

図１（Ａ）〜図１（Ｃ）は、調光制御及び、調光に伴う画像補正の説明図。調光に伴う画像補正の特性図。本実施形態の構成例。コントラスト補正の説明図。コントラスト補正の説明図。図６（Ａ）、図６（Ｂ）は、コントラスト補正と調光に伴う画像補正の関係を説明する説明図。明るさ指標の具体例。図８（Ａ）、図８（Ｂ）は、明るさ指標を説明する画像例。図９（Ａ）は、明るさ指標の比較例を用いたコントラスト補正の例。図９（Ｂ）は、明るさ指標の具体例を用いたコントラスト補正の例。本実施形態の詳細な構成例。図１１（Ａ）、図１１（Ｂ）は、変換部の説明図。補正値の第１の具体例。図１３（Ａ）は、補正値の第２の具体例。図１３（Ｂ）は、補正値の第２の具体例と調光に伴う画像補正の関係を説明する説明図。レベル補正の説明図。本実施形態を適用した画像例のヒストグラム。集積回路装置の構成例。集積回路装置の詳細な構成例。電子機器の構成例。調光制御及び、調光に伴う画像補正の特性図。

符号の説明

１０液晶パネル、１２照明、２０統計情報取得部、
３０明るさ指標演算部、３６コントラスト調整用オフセット演算部、
４０フィルタ処理部、４２補正調整用レジスタ、５２拡張輝度平均演算部、
５４調光量演算部、５８コントラスト調整補正量演算部、
６０コントラスト補正部、６２変換部、
６８輝度コントラスト補正量テーブル、７６明るさ補正量演算部、
７８明るさ強化補正量演算部、８０加算部、８４輝度明るさ補正量テーブル、
９０輝度レベル補正量テーブル、９２，９４統計値コントラスト補正部、
１０２通信画像処理部、１０４ＣＣＤ、１０６ホストコンピュータ、
１０８画像表示制御装置、１１０ドライバ、１１２パネルドライバ、
１１４バックライトドライバ、１１６表示パネル、１１８バックライト、
３００彩度強化補正量演算部、３０２彩度補正量演算部、
３１０彩度補正量テーブル、５１０タイミング制御部、５２０統計値取得部、
５４０補正係数演算部、５６０画像補正部、
Ｃｙ第１の補正値、Ｇｙ’ 第２の補正値、Ｙ輝度、Ｙａｖｅ平均輝度、
Ｌｍ明るさ指標、ａｃｃ＿ｍｉｎ第１の指標、ａｃｃ＿ｍａｘ第２の指標、
ＳＧシャドー画素群、ＨＧハイライト画素群、Ｙｌｐｆ局所平均輝度値、
ＰＸＲ処理対象画素周辺領域、ＰＸ処理対象画素、Ｂｌｒ調光量

Claims

表示画像の輝度値の統計情報を取得する統計情報取得部と、
前記統計情報に基づいて前記表示画像の明るさ指標を演算する明るさ指標演算部と、
前記表示画像の処理対象画素周辺領域に含まれる複数の画素の輝度値をフィルタ処理して、局所平均輝度値を演算するフィルタ処理部と、
前記明るさ指標と前記局所平均輝度値に基づいて前記表示画像のコントラスト補正を行うコントラスト補正部と、
を含み、
前記統計情報取得部は、
前記統計情報として、シャドー画素群についての第１の指標と、ハイライト画素群についての第２の指標を取得し、
前記明るさ指標演算部は、
前記第１の指標と前記第２の指標から前記明るさ指標を演算し、
前記第１の指標は、
前記表示画像に含まれる画素の画素数を輝度の低い順から積算して、積算値が第１の閾値を超えない範囲で最大の輝度値であり、
前記第２の指標は、
前記表示画像に含まれる画素の画素数を輝度の高い順から積算して、積算値が第２の閾値を超えない範囲で最小の輝度値であることを特徴とする画像処理装置。
請求項１において、
前記明るさ指標が、前記第１の指標と前記第２の指標の平均であることを特徴とする画像処理装置。
請求項１又は２において、
前記表示画像に含まれる画素の輝度値と補正値の加算処理を行う加算部を含み、
前記処理対象画素周辺領域は、
前記表示画像における処理対象画素を含む領域であり、
前記コントラスト補正部は、
前記明るさ指標と前記局所平均輝度値の差分から求めた第１の補正値を出力し、
前記加算部は、
前記処理対象画素の輝度値と前記第１の補正値の加算処理を行うことを特徴とする画像処理装置。
請求項３において、
前記コントラスト補正部は、
前記局所平均輝度値が前記明るさ指標より小さい場合には、前記処理対象画素の輝度値を大きくする補正値を前記第１の補正値として出力し、
前記局所平均輝度値が前記明るさ指標より大きい場合には、前記処理対象画素の輝度値を小さくする補正値を前記第１の補正値として出力することを特徴とする画像処理装置。
請求項４において、
前記コントラスト補正部は、
前記明るさ指標と前記局所平均輝度値の差分の絶対値が大きいほど絶対値が大きくなる補正値を前記第１の補正値として出力することを特徴とする画像処理装置。
請求項１又は２において、
前記表示画像に含まれる画素の輝度値と補正値の加算処理を行う加算部を含み、
前記処理対象画素周辺領域は、
前記表示画像における処理対象画素を含む領域であり、
前記コントラスト補正部は、
前記明るさ指標を用いて前記局所平均輝度値を変換処理して変換局所平均輝度値を出力する変換部を有し、前記局所平均輝度値と前記変換局所平均輝度値を用いて第１の補正値を出力し、
前記加算部は、
前記処理対象画素の輝度値と前記第１の補正値の加算処理を行うことを特徴とする画像処理装置。
請求項６において、
前記変換部は、
前記局所平均輝度値が前記明るさ指標より小さいときは、前記局所平均輝度値より前記変換局所平均輝度値が大きくなる前記変換処理を行い、前記局所平均輝度値が前記明るさ指標より大きいときは、前記局所平均輝度値より前記変換局所平均輝度値が小さくなる前記変換処理を行うことを特徴とする画像処理装置。
請求項６又は７において、
前記明るさ指標より輝度の高い前記局所平均輝度値に対応する第１の補正強度及び、前記明るさ指標より輝度の低い前記局所平均輝度値に対応する第２の補正強度を設定する補正調整レジスタを含むことを特徴とする画像処理装置。
請求項８において、
前記変換部は、
前記局所平均輝度値が前記明るさ指標より大きい場合には、前記明るさ指標と前記局所平均輝度値の差分値に前記第１の補正強度を乗算する乗算処理を行い、前記局所平均輝度値が前記明るさ指標より小さい場合には、前記明るさ指標と前記局所平均輝度値の差分値に前記第２の補正強度を乗算する前記乗算処理を行うことを特徴とする画像処理装置。
請求項６又は７において、
前記変換処理の低輝度側のオフセットを調整する第１のオフセットと、前記変換処理の高輝度側のオフセットを調整する第２のオフセットを出力するコントラスト調整用オフセット演算部を含むことを特徴とする画像処理装置。
請求項１０において、
前記統計情報取得部は、
前記統計情報として、前記表示画像の平均輝度を取得し、
前記明るさ指標演算部は、
前記明るさ指標と前記平均輝度の差分の絶対値である明るさ差分値を出力し、
前記コントラスト調整用オフセット演算部は、
前記明るさ差分値を用いて前記第１のオフセットと前記第２のオフセットを出力することを特徴とする画像処理装置。
請求項１０又は１１において、
第１のオフセット調整値と第２のオフセット調整値を設定する補正調整レジスタを含み、
前記コントラスト調整用オフセット演算部は、
前記第１のオフセット調整値を用いて前記第１のオフセットを出力し、前記第２のオフ
セット調整値を用いて前記第２のオフセットを出力することを特徴とする画像処理装置。
請求項１２において、
前記補正調整レジスタは、
前記明るさ指標より輝度の高い前記局所平均輝度値に対応する第１の補正強度と、前記明るさ指標より輝度の低い前記局所平均輝度値に対応する第２の補正強度を設定し、
前記変換部は、
前記局所平均輝度値が前記明るさ指標より大きい場合には、前記明るさ指標と前記局所平均輝度値の差分値に前記第１の補正強度を乗算する乗算処理を行い、前記局所平均輝度値が前記明るさ指標より小さい場合には、前記明るさ指標と前記局所平均輝度値の差分値に前記第２の補正強度を乗算する前記乗算処理を行い、
前記乗算処理の結果と前記第１のオフセットを加算するオフセット加算処理を行うことを特徴とする画像処理装置。
請求項３乃至１３のいずれかにおいて、
前記コントラスト補正部は、
前記処理対象画素の輝度値と前記局所平均輝度値の差分値の絶対値が所定の値より小さいとき、前記局所平均輝度値の代わりに前記処理対象画素の輝度値を用いることを特徴とする画像処理装置。
請求項３乃至１４のいずれかにおいて、
画像表示用の照明を表示画像に応じて減光する補正を行う調光量を出力する調光補正部と、
前記調光量に基づいて輝度をエンハンスする第２の補正値を出力する明るさ補正強化演算部と、
を含み、
前記加算部が、前記処理対象画素の輝度値と前記第２の補正値の加算処理を行うことを特徴とする画像処理装置。
請求項１乃至１５のいずれかに記載の画像処理装置を含むことを特徴とする集積回路装置。
請求項１６に記載の集積回路装置を含むことを特徴とする電子機器。