JP5002684B2 - 画像処理装置、表示装置、および画像処理方法 - Google Patents

Description

本発明の実施形態は、画像処理装置、表示装置、および画像処理方法に関する。

高精細な画像を表示する従来技術として、入力された画像に対して、エッジを強調する鮮鋭化処理を施す技術が開示されている（特許文献１参照）。

特開２００５−１３８４９３号公報

しかしながら、従来技術においては、入力された画像がノイズ成分を含むものであるか否かに関わらず、入力された画像に対して同様の鮮鋭化処理が行われているため、入力された画像がノイズ成分を多く含むものであった場合に、鮮鋭化処理によりノイズ成分が強調されて画質劣化を招いてしまう、という課題がある。

本発明は、上記に鑑みてなされたものであって、鮮鋭化処理による画質劣化を避けることができ、より精細で鮮明な画像を提供することができる画像処理装置、表示装置、および画像処理方法を提供することを目的とする。

実施形態の画像処理装置は、鮮鋭化処理手段と、ノイズ量検出手段と、鮮鋭化処理制御手段と、を備える。前記鮮鋭化処理手段は、入力された画像の隣り合う画素の情報を元に間の画素を補間することにより前記入力された画像の解像度以上の解像度の仮の高解像度画像を生成する仮の高解像度生成部と、前記入力された画像に含まれる所定の帯域の画像信号を強調化した画像を生成するアンシャープマスクと、前記アンシャープマスクにより生成された画像と前記仮の高解像度画像との差分を検出する差分検出部と、前記検出された差分から、前記入力された画像の隣り合う画素の情報を元に補間する間の画素に加えるパラメータを生成する調整部と、前記入力された画像の隣り合う画素の情報を元に前記間の画素を補間するとともに、前記補間した間の画素に前記生成されたパラメータを加えて前記入力された画像の解像度以上の解像度の高解像度画像を生成する高解像度生成部と、を備える。前記ノイズ量検出手段は、前記入力された画像に含まれるノイズのノイズ量を検出する。前記鮮鋭化処理制御手段は、前記ノイズ量検出手段により検出されたノイズ量に応じて、前記鮮鋭化処理手段が備える前記調整部により生成される前記パラメータを調整する。

図１は、本実施形態にかかるテレビジョン受信装置の構成を示すブロック図である。 図２は、本実施形態にかかる画像処理装置の構成を示すブロック図である。 図３は、本実施形態にかかる鮮鋭化処理部の構成を示すブロック図である。 図４は、ノイズ量判定ステップと制御レベルとを対応付けたテーブルを示す図である。 図５は、ノイズ量判定ステップおよび制御レベルの判定処理の流れを示すフローチャートである。 図６は、鮮鋭化処理の効果の制御例を示す図である。 図７は、本実施形態にかかる画像処理装置の構成を示すブロック図である。 図８は、本実施形態にかかる画像処理装置の構成を示すブロック図である。 図９は、本実施形態にかかる画像処理装置の構成を示すブロック図である。

（第１の実施形態）
図１は、本実施形態にかかるテレビジョン受信装置の構成を示すブロック図である。図１に示すように、本実施形態にかかるテレビジョン受信装置１０において、デジタルテレビジョン放送受信用のアンテナ１１で受信したデジタルテレビジョン放送信号は、入力端子１２を介してチューナ部１３に供給される。このチューナ部１３は、入力されたデジタルテレビジョン放送信号から所望のチャンネルの信号を選局して復調している。また、チューナ部１３の出力は、デコーダ部１４でデコードされるとともに、直接、セレクタ１９にも供給されている。

アナログテレビジョン放送受信用のアンテナ１５で受信したアナログテレビジョン放送信号は、入力端子１６を介してチューナ部１７に供給される。このチューナ部１７は、入力されたアナログテレビジョン放送信号から所望のチャンネルの信号を選局して復調している。チューナ部１７から出力された信号は、Ａ／Ｄ（Analog-To-Digital）変換部１８によりデジタル化された後、セレクタ１９に供給される。

セレクタ１９は、チューナ部１３から供給された信号から画像・音声信号などを分離する。セレクタ１９で分離された画像・音声信号は、制御部２３を介してＨＤＤ（Hard Disk Drive）ユニットにて記録されても良い。セレクタ１９は、２種類の画像・音声信号から１つを選択して、信号処理部２０に入力している。信号処理部２０は、後述する画像処理装置１を備え、当該画像処理装置１が入力された画像信号に所定の信号処理（鮮鋭化処理など）を施して、映像表示器２２に表示させている。映像表示器２２としては、例えば、液晶ディスプレイやプラズマディスプレイ等のフラットパネルディスプレイが採用される。また、信号処理部２０は、入力された音声信号に所定の信号処理を施し、アナログ化してスピーカ２１に出力することにより、音声再生を行っている。

ここで、テレビジョン受信装置１０では、上述した各種の受信動作を含む種々の動作が制御部２３によって統括的に制御されている。制御部２３は、ＣＰＵ（Central Processing Unit）等を内蔵したマイクロプロセッサであり、操作キーなどの操作部２４からの操作情報、またはリモートコントローラ２６から送信された操作情報を受光部２５を介して受けることにより、その操作内容が反映されるように各部を制御している。この場合、制御部２３は、メモリ２７を使用している。メモリ２７は、主として、ＣＰＵが実行する制御プログラムを格納したＲＯＭ（Read Only Memory）と、ＣＰＵに作業エリアを提供するためのＲＡＭ（Random Access Memory）と、各種設定情報および制御情報等が格納される不揮発性メモリとを備えている。

図２は、本実施形態にかかる画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１は、鮮鋭化処理部２０１、ノイズ量検出部２０２、ノイズ量判定情報出力部２０３、鮮鋭化処理制御部２０４などを備えている。なお、画像処理装置１の各部は、各々がマイクロコントローラなどチップで構成されても良いし、１チップで構成されていても良い。また、画像処理装置１の各部は、ＣＰＵがＲＯＭ等に記憶されたプログラムをＲＡＭの作業エリアに展開し、その展開したプログラムを順次実行することで実現されても良い。

鮮鋭化処理部２０１は、ノイズ量検出部２０２を介して、セレクタ１９から入力された画像信号１０１を受け取り、当該入力された画像信号１０１に対して高解像度化するための画像処理（鮮鋭化処理）を施して、画像信号１０１以上の高解像度の画像信号１０３を生成する。例えば、鮮鋭化処理部２０１は、１４４０×１０８０の解像度の画像信号１０１からＨＤ解像度（１９２０×１０８０）の画像信号１０３を生成する。なお、鮮鋭化処理部２０１は、鮮鋭化処理制御部２０４からの制御信号１０２に従って鮮鋭化処理を行うものとする。

ここで、鮮鋭化処理とは、画像信号１０１に含まれる所定の画像信号を強調化し、その画像信号１０１以上の解像度の画像信号１０３を生成する処理である。この鮮鋭化処理には、画像信号１０１と鮮鋭化処理後の画像信号１０３の解像度が同じであり、画像信号１０１に含まれる所定の画像信号を強調化する処理のみが行われる場合も含まれる。

図３は、本実施形態にかかる鮮鋭化処理部の構成を示すブロック図である。鮮鋭化処理部２０１は、鮮鋭化帯域フィルタ３０１、仮の高解像度画像生成部３０２、差分検出部３０３、コアリング処理部３０４、非線形処理部３０５、ゲイン調整部３０６、高解像度画像生成部３０７などを備えている。

鮮鋭化帯域フィルタ３０１は、入力された画像信号１０１に含まれる所定の帯域の画像信号を抽出して強調化処理を施した後に、画像信号１０１に加算した画像信号１０４を差分検出部３０３へ出力する。すなわち、鮮鋭化帯域フィルタ３０１は、画像信号１０１に含まれる所定の帯域の画像信号を強調化するアンシャープマスクである。また、鮮鋭化帯域フィルタ３０１は、所定の帯域よりも低い帯域には鮮鋭化処理をしないようにする。あるいは、鮮鋭化フィルタ３０１は、所定の帯域よりも低い帯域には鮮鋭化処理を弱めるようにしても良い。例えば、鮮鋭化帯域フィルタ３０１が高い帯域の画像信号を強調化するアンシャープマスクである場合は、画像信号１０１に含まれる細密な模様等のあるテクスチャ部分、線や境目等のあるエッジ部分、及び背景等の平坦部分のうち、テクスチャ部分を抽出して強調化を施した画像信号１０４を出力する。

具体的には、鮮鋭化帯域フィルタ３０１は、フィルタ処理部３０８、コアリング処理部３０９、非線形処理部３１０、ゲイン調整部３１１、補正部３１２を備える。フィルタ処理部３０８は、画像信号１０１から所定の帯域の画像信号を抽出し、コアリング処理部３０９へ出力する。

コアリング処理部３０９は、一定レベル（コアリングレベル）以下をノイズとみなし「０」に置き換えるコアリング処理を行い、コアリング処理後の画像信号を非線形処理部３１０へ出力する。コアリング処理部３０９のコアリングレベルは制御信号１０２をもとに設定される。例えば、制御信号１０２によりコアリングレベルが小さく設定された場合は、小振幅のノイズについては処理が行われなくなることから、コアリング処理部３０９における鮮鋭化処理の効果は強くなる。逆に、制御信号１０２によりコアリングレベルが大きく設定された場合は、小振幅のノイズに対しても処理が行われることから、コアリング処理部３０９における鮮鋭化処理の効果は抑制される。

非線形処理部３１０は、一定レベル（非線形レベル）を境に、入力（画素値）と出力（画素値）との特性が変わる（例えば、等価な関係から出力が緩やかな関係に変わる）、非線形の変換処理を行い、変換処理後の画像信号をゲイン調整部３１１へ出力する。非線形処理部３１０の非線形レベルは制御信号１０２をもとに設定される。例えば、制御信号１０２により非線形レベルが大きく設定された場合は、その非線形レベル以降の入力に対する出力が緩やかなものになることから、鮮鋭化処理の効果は強くなる。逆に、制御信号１０２により非線形レベルが小さく設定された場合は、その非線形レベルまでが入力と出力とが等価な関係であり、非線形レベル以降の入力に対する出力が緩やかになることから、鮮鋭化処理の効果は抑制される。

ゲイン調整部３１１は、入力された映像信号１０１のゲインを調整し、調整後の画像信号を補正部３１２へ出力する。ゲイン調整部３１１におけるゲインの調整量は、制御信号１０２をもとに設定される。例えば、制御信号１０２によりゲインの調整量が大きく設定された場合は、ゲイン調整部３１１における鮮鋭化処理の効果は強くなる。逆に、制御信号１０２によりゲインの調整量が小さく設定された場合は、ゲイン調整部３１１における鮮鋭化処理の効果は抑制される。

補正部３１２は、画像信号１０１に対するフィルタ処理部３０８、コアリング処理部３０９、非線形処理部３１０、ゲイン調整部３１１の処理を施した後の画像信号、すなわち、画像信号１０１に含まれる所定の帯域の画像信号を抽出して強調化処理を施した後の画像信号を、入力された画像信号１０１に加算した画像信号１０４を差分検出部３０３へ出力する。

高解像度画像生成部３０７は、第１解像度の画像信号１０１から本来の画素値を推定して画素を増やすことにより、第１解像度以上の高解像度な第２解像度の画像信号１０３を生成する。具体的には、高解像度画像生成部３０７は、画像信号１０１に含まれる所定の帯域の画像信号を強調化した画像信号１０４と、画像信号１０１から生成した仮の高解像度画像の画像信号１０６との差分から生成されたパラメータ１０７を、画像信号１０１から隣り合う画素の情報を元に間の画素を補間した画像信号に加えて、画像信号１０３を生成する。また、高解像度画像生成部３０７は、画像信号１０１をフレームバッファ（図示しない）などに保持しており、前述した比較と復元の処理を繰り返す間は、保持している画像信号１０１を、高解像度画像の画像信号１０５として仮の高解像度画像生成部３０２へ出力する。画像信号１０５は、仮の高解像度画像生成部３０２を介して画像信号１０６として差分検出部３０３へ出力される。

差分検出部３０３は、鮮鋭化帯域フィルタ３０１により生成された画像信号１０４と、仮の高解像度画像生成部３０２により生成された画像信号１０６との差分を検出する。差分検出部３０３により検出された差分値（差分信号）はコアリング処理部３０４へ出力される。コアリング処理部３０４、非線形処理部３０５、ゲイン調整部３０６は、差分検出部３０３により検出された差分信号を調整する調整部である。

コアリング処理部３０４は、一定レベル（コアリングレベル）以下をノイズとみなし「０」に置き換えるコアリング処理を差分信号に行い、コアリング処理後の信号を非線形処理部３０５へ出力する。コアリング処理部３０５のコアリングレベルは制御信号１０２をもとに設定される。例えば、制御信号１０２によりコアリングレベルが小さく設定された場合は、小振幅のノイズについては処理が行われなくなることから、コアリング処理部３０５における鮮鋭化処理の効果は強くなる。逆に、制御信号１０２によりコアリングレベルが大きく設定された場合は、小振幅のノイズに対しても処理が行われることから、コアリング処理部３０４における鮮鋭化処理の効果は抑制される。

非線形処理部３０５は、一定レベル（非線形レベル）を境に、入力と出力との特性が変わる（例えば、等価な関係から出力が緩やかな関係に変わる）、非線形の変換処理を行い、変換処理後の信号をゲイン調整部３０６へ出力する。非線形処理部３０５の非線形レベルは制御信号１０２をもとに設定される。例えば、制御信号１０２により非線形レベルが大きく設定された場合は、その非線形レベル以降の入力に対する出力が緩やかなものになることから、鮮鋭化処理の効果は強くなる。逆に、制御信号１０２により非線形レベルが小さく設定された場合は、その非線形レベルまでが入力と出力とが等価な関係であり、非線形レベル以降の入力に対する出力が緩やかになることから、鮮鋭化処理の効果は抑制される。

ゲイン調整部３０６は、入力された信号のゲインを調整する。ゲイン調整部３０６によりゲインを調整した後の信号は、パラメータ１０７として高解像度画像生成部３０７へ出力される。ゲイン調整部３０６におけるゲインの調整量は、制御信号１０２をもとに設定される。例えば、制御信号１０２によりゲインの調整量が大きく設定された場合は、ゲイン調整部３０６における鮮鋭化処理の効果は強くなる。逆に、制御信号１０２によりゲインの調整量が小さく設定された場合は、ゲイン調整部３０６における鮮鋭化処理の効果は抑制される。

図２に戻り、ノイズ量検出部２０２は、セレクタ１９から入力された画像信号１０１に含まれるノイズのノイズ量を検出する。本実施形態では、ノイズ量検出部２０２は、任意の期間（以下、ノイズ量平均値取得期間とする）毎に、入力された画像信号１０１から検出したノイズ量の平均値を算出する。そして、ノイズ量検出部２０２は、算出したノイズ量の平均値を、画像信号１０１に含まれるノイズのノイズ量としてノイズ量判定情報出力部２０３に出力する。

ノイズ量判定情報出力部２０３は、テレビジョン受信装置１０の電源がオンされたり、セレクタ１９により信号処理部２０に入力される信号が切り替えられたり、またはチューナ部１３，１７により選局されるチャンネルが切り替えられたりした場合に、ノイズ量検出部２０２から出力されたノイズ量の平均値を取得する。

次いで、ノイズ量判定情報出力部２０３は、取得したノイズ量の平均値に対応するノイズ量の段階（以下、ノイズ量判定ステップとする）に応じた制御レベルを判定する。ここで、制御レベルとは、鮮鋭化処理部２０１により行われる鮮鋭化処理の効果を抑制するレベルを示すものであり、ノイズ量判定ステップが高くなるに従って高くなる。そして、ノイズ量判定情報出力部２０３は、判定した制御レベルを含むノイズ量判定情報を鮮鋭化処理制御部２０４に出力する。

図４は、ノイズ量判定ステップと制御レベルとを対応付けたテーブルを示す図である。本実施形態では、ノイズ量判定情報出力部２０３は、図４に示すテーブルから、ノイズ量検出部２０２から取得したノイズ量の平均値に対応するノイズ量判定ステップと対応付けられた制御レベルを読み出す。次いで、ノイズ量判定情報出力部２０３は、読み出した制御レベルが、前々回の制御レベル（ｘ）と同じか否かを判断する。そして、ノイズ量判定情報出力部２０３は、読み出した制御レベルが制御レベル（ｘ）と同じ場合、制御レベル（ｘ）を含むノイズ量判定情報を出力する。

一方、ノイズ量判定情報出力部２０３は、読み出した制御レベルが制御レベル（ｘ）と異なる場合。当該読み出した制御レベルが、前回の制御レベル（ｙ）と同じか否かを判断する。そして、ノイズ量判定情報出力部２０３は、読み出した制御レベルが制御レベル（ｙ）と同じ場合、読み出した制御レベルを含むノイズ量判定情報を出力し、読み出した制御レベルが制御レベル（ｙ）と異なる場合、制御レベル（ｘ）を含むノイズ量判定情報を出力する。これにより、ノイズ量判定情報出力部２０３から出力されるノイズ量判定情報が含む制御レベルがノイズ量平均値取得期間毎に切り替わることによるチャタリングの発生を防止できる。なお、本実施形態では、ノイズ量判定情報出力部２０３は、前回の制御レベル（ｘ）および前々回の制御レベル（ｙ）をメモリ２７に一時的に記憶しておくものとする。

図５は、ノイズ量判定ステップおよび制御レベルの判定処理の流れを示すフローチャートである。テレビジョン受信装置１０の電源のオン、信号処理部２０に入力される信号の切り替え、またはチューナ部１３，１７により選局されるチャンネルの切り替えが行われると、ノイズ量判定情報出力部２０３は、まず、制御レベル（０）を含むノイズ量判定情報を鮮鋭化処理制御部２０４に出力する（ステップＳ５０１）。

次いで、ノイズ量判定情報出力部２０３は、ノイズ量平均値取得期間が経過する度に、ノイズ量検出部２０２からノイズ量の平均値を取得する（ステップＳ５０２）。次いで、ノイズ量判定情報出力部２０３は、取得したノイズ量の平均値に対応するノイズ量判定ステップがノイズ量判定ステップ（ｎ）以上であるか否かを判断する（ステップＳ５０３）。取得したノイズ量の平均値に対応するノイズ量判定ステップがノイズ量判定ステップ（ｎ）以上であると判断した場合（ステップＳ５０３：Ｙｅｓ）、ノイズ量判定情報出力部２０３は、ノイズ量判定ステップ（ｎ）に応じた制御レベル（ｎ）が前々回の制御レベルの判定結果（以下、制御レベル（ｘ）とする）と同じか否かを判断する（ステップＳ５０４）。

制御レベル（ｎ）が前々回の制御レベル（ｘ）と同じ場合（ステップＳ５０４：Ｙｅｓ）、ノイズ量判定情報出力部２０３は、制御レベル（ｘ）を、取得したノイズ量の平均値に対応するノイズ量判定ステップに応じた制御レベルと判定する（ステップＳ５０５）。一方、制御レベル（ｎ）が前々回の制御レベル（ｘ）と異なる場合（ステップＳ５０４：Ｎｏ）、ノイズ量判定情報出力部２０３は、制御レベル（ｎ）が前回の制御レベルの判定結果（以下、制御レベル（ｙ）とする）と同じか否かを判断する（ステップＳ５０６）。

制御レベル（ｎ）が前回の制御レベル（ｙ）と同じ場合（ステップＳ５０６：Ｙｅｓ）、ノイズ量判定情報出力部２０３は、制御レベル（ｎ）を、取得したノイズ量の平均値に対応するノイズ量判定ステップに応じた制御レベルと判定する（ステップＳ５０７）。一方、制御レベル（ｎ）が前回の制御レベル（ｙ）と異なる場合（ステップＳ５０６：Ｎｏ）、ノイズ量判定情報出力部２０３は、制御レベル（ｘ）を、取得したノイズ量の平均値に対応するノイズ量判定ステップに応じた制御レベルと判定する（ステップＳ５０５）。

ノイズ量判定情報出力部２０３は、取得したノイズ量の平均値に対応するノイズ量判定ステップがノイズ量判定ステップ（ｎ）より低いと判断した場合（ステップＳ５０３：Ｎｏ）、取得したノイズ量の平均値に対応するノイズ量判定ステップがノイズ量判定ステップ（ｎ−１）以上であるか否かを判断する（ステップＳ５０８）。取得したノイズ量の平均値に対応するノイズ量判定ステップがノイズ量判定ステップ（ｎ−１）以上であると判断した場合（ステップＳ５０８：Ｙｅｓ）、ノイズ量判定情報出力部２０３は、上述したステップＳ５０４〜ステップＳ５０７と同様にして、制御レベルの判定を行う（ステップＳ５０９〜ステップＳ５１２）。

一方、ノイズ量判定情報出力部２０３は、取得したノイズ量の平均値に対応するノイズ量判定ステップがノイズ量判定ステップ（ｎ−１）より低いと判断した場合（ステップＳ５０８：Ｎｏ）、上述したステップＳ５０３〜ステップＳ５１２と同様にして、取得したノイズ量の平均値に対応するノイズ量判定ステップとノイズ量判定ステップとの比較、および制御レベルの判定を行う（ステップＳ５１３〜ステップＳ５２１）。

図２に戻り、鮮鋭化処理制御部２０４は、鮮鋭化処理部２０１に対して制御信号１０２を出力することにより、鮮鋭化処理部２０１により行う鮮鋭化処理の効果を制御するものである。具体的には、鮮鋭化処理制御部２０４は、ノイズ量判定情報出力部２０３から出力された制御レベルに応じて（つまり、ノイズ量検出部２０２により検出されたノイズ量の平均値に応じて）、鮮鋭化処理部２０１により行う鮮鋭化処理の効果を制御するものである。より具体的には、鮮鋭化処理制御部２０４は、ノイズ量判定情報出力部２０３から出力された制御レベルが高くなるのに伴って（つまり、ノイズ量検出部２０２により検出されたノイズ量の平均値の増加に伴って）、鮮鋭化処理部２０１により行う鮮鋭化処理の効果を抑制するものである。

本実施形態では、鮮鋭化処理制御部２０４は、ノイズ量判定情報出力部２０３から出力された制御レベルが高くなるに伴って、鮮鋭化帯域フィルタ３０１の効果および調整部（コアリング処理部３０４、非線形処理部３０５、ゲイン調整部３０６）の効果を抑制する。

図６は、鮮鋭化処理の効果の制御例を示す図である。鮮鋭化処理制御部２０４は、ノイズ量判定情報出力部２０３から出力された制御レベルが高くなるのに伴って、制御信号１０２をもとに、フィルタ処理部３０８のフィルタを広帯域に設定する。これにより、フィルタ処理部３０８において鮮鋭化の対象となる高帯域を抑制することができる。

また、鮮鋭化処理制御部２０４は、ノイズ量判定情報出力部２０３から出力された制御レベルが高くなるのに伴って、制御信号１０２をもとに、コアリング処理部３０９，３０４におけるコアリングレベルを大きく設定する。これにより、コアリング処理部３０９，３０４において小振幅のノイズに対しても処理が行われることから、鮮鋭化処理の効果を抑制することができる。

また、鮮鋭化処理制御部２０４は、ノイズ量が多くなるに伴って、制御信号１０２をもとに、非線形処理部３１０，３０５における非線形レベルを小さく設定する。これにより、非線形レベル以降の入力に対する出力が緩やかなものになることから、鮮鋭化処理の効果を抑制することができる。

さらに、鮮鋭化処理制御部２０４は、ノイズ量が多くなるに伴って、制御信号１０２をもとに、ゲイン調整部３１１，３０６におけるゲインの調整量を小さく設定する。これにより、鮮鋭化処理の効果を抑制することができる。

このように第１の実施形態のテレビジョン受信装置１０によれば、入力された画像信号１０１から検出されたノイズ量の増加に伴って、鮮鋭化処理の効果を抑制することにより、ノイズを多く含む画像信号に対する鮮鋭化処理によりノイズが強調されることを防止できるので、鮮鋭化処理による画質劣化を避けることができかつより精細で鮮明な画像を提供することができる。

（第２の実施形態）
本実施形態は、符号化画像を符号化する際の符号化実施情報と復号化画像から検出したノイズ量とを用いて鮮鋭化処理の効果を抑制する際に、当該効果をより抑制する条件に合わせた制御を行う。なお、以下の説明では、第１の実施形態と同様の箇所についての説明を省略し、第１の実施形態と異なる箇所についてのみ説明を行う。

図７は、本実施形態にかかる画像処理装置の構成を示すブロック図である。図７に示すように、画像処理装置７０は、復号化部７０１、符号化方式出力部７０２、符号化情報出力部７０３、鮮鋭化処理制御部７０４、鮮鋭化処理部２０１、ノイズ量検出部２０２、ノイズ量判定情報出力部２０３などを備えている。なお、第１の実施形態にかかる画像処理装置１と同様の箇所については、画像処理装置１と同じ符号を付して説明を省略する。

復号化部７０１は、入力された画像信号が所定の符号化方式により符号化された符号化画像信号７０５である場合に、当該符号化画像信号７０５を復号化する。復号化部７０１が復号化を行う復号化方式は、例えば、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ、ＭＰＥＧ−２などであっても良い。復号化部７０１は、復号化した復号化画像信号７０６をノイズ量検出部２０２に出力するとともに、ノイズ量検出部２０２を介して鮮鋭化処理部２０１に出力する。また、復号化部７０１は、符号化画像信号７０５を復号化する際に得た、符号化画像信号を符号化する際に採用された符号化実施情報を符号化方式出力部７０２および符号化情報出力部７０３へ出力する。なお、本実施形態では、ノイズ量検出部２０２は、復号化画像信号７０６からノイズ量を検出するものとする。また、本実施形態では、鮮鋭化処理部２０１は、復号化画像信号７０６に対して鮮鋭化処理を行うものとする。

具体的には、符号化実施情報は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−２などの符号化方式にかかる情報、フィールドまたはフレームのピクチャタイプ、量子化情報などである。ピクチャタイプは、ＭＰＥＧにおいて定められている動画を構成している最小単位の構造であるＧＯＰ（Group Of Pictures）を構成する、Ｉピクチャ、Ｐピクチャ、Ｂピクチャなどである。量子化情報は、符号化する際の量子化時における精度を示す情報であり、例えばフィールドまたはフレームにおける量子化ステップ、マクロブロックの量子化スケールのフィールドまたはフレーム平均値などである。

復号化部７０１は、符号化実施情報をその内容に応じて分類して符号化方式出力部７０２および符号化情報出力部７０３に出力する。具体的には、復号化部７０１は、符号化実施情報における符号化方式にかかる情報は符号化方式出力部７０２に分類して出力する。また、復号化部７０１は、符号化実施情報におけるピクチャタイプや量子化情報などの情報は符号化情報出力部７０３に分類して出力する。

符号化方式出力部７０２は、復号化部７０１からＨ．２６４／ＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−２などの、符号化画像信号７０５の符号化方式の種類を取得する。符号化方式出力部７０２は、取得した符号化方式の種類を鮮鋭化処理制御部７０４に出力する。

符号化情報出力部７０３は、符号化画像信号７０５のフィールドまたはフレームごとに、そのフィールドまたはフレームのピクチャタイプや量子化情報を復号化部７０１から取得する。符号化情報出力部７０３は、取得したピクチャタイプや量子化情報を鮮鋭化処理制御部７０４に出力する。

鮮鋭化処理制御部７０４は、符号化方式出力部７０２から出力された符号化方式の種類や符号化情報出力部７０３から出力されたピクチャタイプや量子化情報などの符号化実施情報に応じて、鮮鋭化処理部２０１における鮮鋭化処理の効果の強弱を制御するものである。

例えば、鮮鋭化処理制御部７０４は、符号化情報出力部７０３から出力された符号化画像信号７０５の量子化の精度を示す量子化情報（量子化ステップ、量子化スケールなど）に応じて、すなわち量子化の精度の高低を条件に、鮮鋭化処理部２０１における鮮鋭化処理の効果の強弱を制御する。

鮮鋭化処理制御部７０４は、量子化ステップ、量子化スケールが大きく、符号化画像信号７０５の量子化の精度が低い場合は、制御信号１０２をもとに、コアリング処理部３０９，３０４におけるコアリングレベルを大きく設定し、非線形処理部３１０，３０５における非線形レベルを小さく設定し、ゲイン調整部３１１，３０６におけるゲインの調整量を小さく設定する。これにより、鮮鋭化処理制御部７０４は、鮮鋭化処理部２０１による鮮鋭化処理の効果を抑制する。

一方、鮮鋭化処理制御部７０４は、量子化ステップ、量子化スケールが小さく、符号化画像信号７０５の量子化の精度が高い場合は、制御信号１０２をもとに、コアリング処理部３０９，３０４におけるコアリングレベルを小さく設定し、非線形処理部３１０，３０５における非線形レベルを大きく設定し、ゲイン調整部３１１，３０６におけるゲインの調整量を大きく設定する。これにより、鮮鋭化処理制御部７０４は、鮮鋭化処理部２０１による鮮鋭化処理の効果を強くする。

量子化ステップ、量子化スケールが大きく、符号化画像信号７０５の量子化の精度が低い場合は、符号化歪みが発生し易い。この符号化歪みによる歪成分を含む画像信号に鮮鋭化処理を強く施すと、画質劣化を引き起こすことがある。したがって、符号化画像信号７０５の量子化の精度が低い場合は、鮮鋭化処理の効果を抑制することで、符号化歪みによる歪成分が鮮鋭化処理による増幅されることを抑制することができる。なお、鮮鋭化処理制御部７０４が、ノイズ量判定情報出力部２０３から出力された制御レベルに応じて、鮮鋭化処理の効果を制御する処理については、第１の実施形態と同様であるため、ここでは説明を省略する。

また、鮮鋭化処理制御部７０４は、符号化実施情報および制御レベルを用いて鮮鋭化処理部２０１の効果を抑制する際に、当該効果をより抑制する条件に合わせた制御を行うものとする。

具体的には、鮮鋭化処理制御部７０４は、符号化画像信号７０５の量子化の精度が低い場合にコアリング処理部３０９，３０４における鮮鋭化処理の効果を抑制する制御信号１０２、および制御レベルが高い場合にコアリング処理部３０９，３０４における鮮鋭化処理の効果を抑制する制御信号１０２のうち、コアリングレベルを最も大きく設定する制御信号１０２を鮮鋭化処理部２０１に出力する。

また、鮮鋭化処理制御部７０４は、符号化画像信号７０５の量子化の精度が低い場合に非線形処理部３１０，３０５における鮮鋭化処理の効果を抑制する制御信号１０２、および制御レベルが高い場合に非線形処理部３１０，３０５における鮮鋭化処理の効果を抑制する制御信号１０２のうち、非線形レベルを最も小さく設定する制御信号１０２を鮮鋭化処理部２０１に出力する。

また、鮮鋭化処理制御部７０４は、符号化画像信号の量子化の精度が低い場合にゲイン調整部３１１，３０６における鮮鋭化処理の効果を抑制する制御信号１０２、および制御レベルが高い場合にゲイン調整部３１１，３０６における鮮鋭化処理の効果を抑制する制御信号１０２のうち、ゲインの調整量を最も小さく設定する制御信号１０２を鮮鋭化処理部２０１に出力する。

このように、第２の実施形態のテレビジョン受信装置１０によれば、符号化実施情報および制御レベルを用いて鮮鋭化処理部２０１の効果を抑制する際に、当該効果をより抑制する条件に合わせた制御を行うことにより、各条件の中でノイズなどの影響が大きい条件を基準にして鮮鋭化の効果を抑制することができる。

（第３の実施形態）
本実施形態は、入力された画像から検出した周波数ヒストグラムと入力された画像から取得したノイズ量とを用いて鮮鋭化処理の効果を抑制する際に、当該効果をより抑制する条件に合わせた制御を行う。なお、以下の説明では、第１の実施形態と同様の箇所についての説明を省略し、第１の実施形態と異なる箇所についてのみ説明を行う。

図８は、本実施形態にかかる画像処理装置の構成を示すブロック図である。図８に示すように、画像処理装置８０は、ヒストグラム取得部８０１、鮮鋭化処理制御部８０２、鮮鋭化処理部２０１、ノイズ量検出部２０２、ノイズ量判定情報出力部２０３などを備えている。なお、第１の実施形態にかかる画像処理装置１と同様の箇所については、画像処理装置１と同じ符号を付して説明を省略する。

ヒストグラム取得部８０１は、入力された画像信号１０１のフィールドまたはフレームごとに、周波数成分を横軸、その出現度数（画素数）を縦軸とした周波数ヒストグラムを取得する。ヒストグラム取得部８０１は、取得した周波数ヒストグラムを鮮鋭化処理制御部８０２へ出力する。この周波数ヒストグラムの検出により、鮮鋭化処理制御部８０２では、画像信号１０１のフィールドまたはフレームにおいて各周波数成分に対応する画素がどの程度存在するかを判定することができる。すなわち、主に低い周波数成分の画素から構成されるフィールドまたはフレームが、主に高い周波数成分の画素から構成されるフィールドまたはフレームかを判定できる。なお、本実施形態では、ノイズ量検出部２０２の後段にヒストグラム取得部８０１が設けられているが、ノイズ量検出部２０２の前段にヒストグラム取得部８０１を設けても良い。

鮮鋭化処理制御部８０２は、ヒストグラム取得部８０１から出力された周波数ヒストグラムに応じて、鮮鋭化処理部２０１における鮮鋭化処理の効果の強弱を制御する。

例えば、鮮鋭化処理制御部８０２は、画像信号１０１を構成する画素の周波数成分に応じて、鮮鋭化処理部２０１における鮮鋭化処理の効果の強弱を制御する。

鮮鋭化処理制御部８０２は、画像信号１０１が主に高い周波数成分の画素から構成されるフィールドまたはフレームの場合には、制御信号１０２をもとに、コアリング処理部３０９，３０４におけるコアリングレベルを大きく設定し、非線形処理部３１０，３０５における非線形レベルを小さく設定し、ゲイン調整部３１１，３０６におけるゲインの調整量を小さく設定する。これにより、鮮鋭化処理制御部８０２は、鮮鋭化処理部２０１による鮮鋭化処理の効果を抑制する。

一方、鮮鋭化処理制御部８０２は、画像信号１０１が主に低い周波数成分の画素から構成されるフィールドまたはフレームの場合には、制御信号１０２をもとに、コアリング処理部３０９，３０４におけるコアリングレベルを小さく設定し、非線形処理部３１０，３０５における非線形レベルを大きく設定し、ゲイン調整部３１１，３０６におけるゲインの調整量を大きく設定する。これにより、鮮鋭化処理制御部８０２は、鮮鋭化処理部２０１による鮮鋭化処理の効果を強くする。

このように、主に高い周波数成分の画素から構成されるフィールドまたはフレームの場合は、鮮鋭化処理の効果を抑制することにより、高い周波数成分に含まれるノイズが鮮鋭化処理により増幅されることを抑制することができる。

また、鮮鋭化処理制御部８０２は、周波数ヒストグラムおよび制御レベルを用いて鮮鋭化処理部２０１の効果を抑制する際に、当該効果をより抑制する条件に合わせた制御を行うものとする。

具体的には、鮮鋭化処理制御部８０２は、画像信号１０１が主に高い周波数成分の画素から構成されるフィールドまたはフレームの場合にコアリング処理部３０９，３０４における鮮鋭化処理の効果を抑制する制御信号１０２、および制御レベルが高い場合にコアリング処理部３０９，３０４における鮮鋭化処理の効果を抑制する制御信号１０２のうち、コアリングレベルを最も大きく設定する制御信号１０２を鮮鋭化処理部２０１に出力する。

また、鮮鋭化処理制御部８０２は、画像信号１０１が主に高い周波数成分の画素から構成されるフィールドまたはフレームの場合に非線形処理部３１０，３０５における鮮鋭化処理の効果を抑制する制御信号１０２、および制御レベルが高い場合に非線形処理部３１０，３０５における鮮鋭化処理の効果を抑制する制御信号１０２のうち、非線形レベルを最も小さく設定する制御信号１０２を鮮鋭化処理部２０１に出力する。

また、鮮鋭化処理制御部８０２は、画像信号１０１が主に高い周波数成分の画素から構成されるフィールドまたはフレームの場合にゲイン調整部３１１，３０６における鮮鋭化処理の効果を抑制する制御信号１０２、および制御レベルが高い場合にゲイン調整部３１１，３０６における鮮鋭化処理の効果を抑制する制御信号１０２のうち、ゲインの調整量を最も小さく設定する制御信号１０２を鮮鋭化処理部２０１に出力する。

このように、第３の実施形態のテレビジョン受信装置１０によれば、周波数ヒストグラムおよび制御レベルを用いて鮮鋭化処理部２０１の効果を抑制する際に、当該効果をより抑制する条件に合わせた制御を行うことにより、各条件の中でノイズなどの影響が大きい条件を基準にして鮮鋭化の効果を抑制することができる。

（第４の実施形態）
本実施形態は、符号化画像を符号化する際の符号化実施情報と、復号化画像から検出された周波数ヒストグラムと、復号化画像から検出したノイズ量と、を用いて鮮鋭化処理の効果を抑制する際に、当該効果をより抑制する条件に合わせた制御を行う。なお、以下の説明では、第１〜３の実施形態と同様の箇所についての説明を省略し、第１〜３の実施形態と異なる箇所についてのみ説明を行う。

図９は、本実施形態にかかる画像処理装置の構成を示すブロック図である。図９に示すように、画像処理装置９０は、鮮鋭化処理制御部９０１、ヒストグラム取得部８０１、復号化部７０１、符号化方式出力部７０２、符号化情報出力部７０３、鮮鋭化処理部２０１、ノイズ量検出部２０２、ノイズ量判定情報出力部２０３などを備えている。なお、第１〜３の実施形態にかかる画像処理装置１，７０，８０と同様の箇所については、画像処理装置１，７０，８０と同じ符号を付して説明を省略する。

鮮鋭化処理制御部９０１は、符号化画像を符号化する際の符号化実施情報と、復号化画像から取得した周波数ヒストグラムと、復号化画像から検出したノイズ量とを用いて鮮鋭化処理の効果を抑制する際に、当該効果をより抑制する条件に合わせた制御を行なうものとする。

具体的には、鮮鋭化処理制御部９０１は、符号化画像信号７０５の量子化の精度が低い場合にコアリング処理部３０９，３０４における鮮鋭化処理の効果を抑制する制御信号１０２、復号化画像信号７０６が主に高い周波数成分の画素から構成されるフィールドまたはフレームの場合にコアリング処理部３０９，３０４における鮮鋭化処理の効果を抑制する制御信号１０２、および制御レベルが高い場合にコアリング処理部３０９，３０４における鮮鋭化処理の効果を抑制する制御信号１０２のうち、コアリングレベルを最も大きく設定する制御信号１０２を鮮鋭化処理部２０１に出力する。

また、鮮鋭化処理制御部９０１は、符号化画像信号７０５の量子化の精度が低い場合に非線形処理部３１０，３０５における鮮鋭化処理の効果を抑制する制御信号１０２、復号化画像信号７０６が主に高い周波数成分の画素から構成されるフィールドまたはフレームの場合に非線形処理部３１０，３０５における鮮鋭化処理の効果を抑制する制御信号１０２、および制御レベルが高い場合に非線形処理部３１０，３０５における鮮鋭化処理の効果を抑制する制御信号１０２のうち、非線形レベルを最も小さく設定する制御信号１０２を鮮鋭化処理部２０１に出力する。

また、鮮鋭化処理制御部９０１は、符号化画像信号７０５の量子化の精度が低い場合にゲイン調整部３１１，３０６における鮮鋭化処理の効果を抑制する制御信号１０２、復号化画像信号７０６が主に高い周波数成分の画素から構成されるフィールドまたはフレームの場合にゲイン調整部３１１，３０６における鮮鋭化処理の効果を抑制する制御信号１０２、および制御レベルが高い場合にゲイン調整部３１１，３０６における鮮鋭化処理の効果を抑制する制御信号１０２のうち、ゲインの調整量を最も小さく設定する制御信号１０２を鮮鋭化処理部２０１に出力する。

このように、第４の実施形態のテレビジョン受信装置１０によれば、符号化画像を符号化する際の符号化実施情報と、復号化画像から取得した周波数ヒストグラムと、復号化画像から検出したノイズ量とを用いて鮮鋭化処理の効果を抑制する際に、当該効果をより抑制する条件に合わせた制御を行なうことにより、各条件の中でノイズなどの影響が大きい条件を基準にして鮮鋭化の効果を抑制することができる。

以上説明したとおり、第１から第４の実施形態によれば、鮮鋭化処理による画質劣化を避けることができかつより精細で鮮明な画像を提供することができる。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

１，７０，８０，９０ 画像処理装置
１０ テレビジョン受信装置
２０１ 鮮鋭化処理部
２０２ ノイズ量検出部
２０３ ノイズ量判定情報出力部
２０４，７０４，８０２，９０１ 鮮鋭化処理制御部
３０１ 鮮鋭化帯域フィルタ
３０２ 仮の高解像度画像生成部
３０３ 差分検出部
３０４，３０９ コアリング処理部
３０５，３１０ 非線形処理部
３０６，３１１ ゲイン調整部
３０７ 高解像度画像生成部
３０８ フィルタ処理部
３１２ 補正部
７０１ 復号化部
７０２ 符号化方式出力部
７０３ 符号化情報出力部
８０１ ヒストグラム取得部

Claims (7)

1. 入力された画像の隣り合う画素の情報を元に間の画素を補間することにより前記入力された画像の解像度以上の解像度の仮の高解像度画像を生成する仮の高解像度生成部と、前記入力された画像に含まれる所定の帯域の画像信号を強調化した画像を生成するアンシャープマスクと、前記アンシャープマスクにより生成された画像と前記仮の高解像度画像との差分を検出する差分検出部と、前記検出された差分から、前記入力された画像の隣り合う画素の情報を元に補間する間の画素に加えるパラメータを生成する調整部と、前記入力された画像の隣り合う画素の情報を元に前記間の画素を補間するとともに、前記補間した間の画素に前記生成されたパラメータを加えて前記入力された画像の解像度以上の解像度の高解像度画像を生成する高解像度生成部と、を備えた鮮鋭化処理手段と、
   前記入力された画像に含まれるノイズのノイズ量を検出するノイズ量検出手段と、
   前記ノイズ量検出手段により検出されたノイズ量に応じて、前記鮮鋭化処理手段が備える前記調整部により生成される前記パラメータを調整する鮮鋭化処理制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記アンシャープマスクおよび前記調整部は、予め設定されたコアリングレベル以下のノイズを除去するコアリング処理、予め設定された非線形レベルを境に入力と出力の特性を変形する非線形処理、およびゲインを調整するゲイン調整を含み、
   前記鮮鋭化処理制御手段は、前記ノイズ量検出手段により検出されたノイズ量の増加に伴って、前記コアリングレベルを大きくし、前記非線形レベルを小さくし、および前記ゲインの調整量を小さくする制御の少なくともいずれか一つを行なうことを特徴とする請求項１に記載の画像処理装置。
3. 符号化された符号化画像を復号化する復号化手段と、
   前記符号化画像を生成する際の符号化実施情報を取得する取得手段と、をさらに備え、
   前記アンシャープマスクは、前記復号化手段により復号化された復号化画像に含まれる所定の帯域の画像信号を強調化した画像を生成し、
   前記ノイズ量検出手段は、前記復号化画像に含まれるノイズのノイズ量を検出し、
   前記鮮鋭化処理制御手段は、さらに、前記符号化実施情報と前記ノイズ量とを用いて前記強調化の効果を抑制する際に、前記符号化実施情報または前記ノイズ量に応じて、前記強調化の効果をより抑制するよう前記鮮鋭化処理手段に制御信号を出力することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記入力された画像から各周波数成分に対応する画素がどの程度存在するかを示す周波数ヒストグラムを取得する取得手段をさらに備え、
   前記鮮鋭化処理制御手段は、前記周波数ヒストグラムと前記ノイズ量とを用いて前記強調化の効果を抑制する際に、前記符号化実施情報または前記ノイズ量に応じて、前記強調化の効果をより抑制するよう前記鮮鋭化処理手段に制御信号を出力することを特徴とする請求項１または２に記載の画像処理装置。
5. 符号化された符号化画像を復号化する復号化手段と、
   前記符号化画像を生成する際の符号化実施情報を取得する取得手段と、
   前記復号化手段により復号化された復号化画像から各周波数成分に対応する画素がどの程度存在するかを示す周波数ヒストグラムを取得する取得手段と、をさらに備え、
   前記アンシャープマスクは、前記復号化手段により復号化された復号化画像に含まれる所定の帯域の画像信号を強調化した画像を生成し、
   前記ノイズ量検出手段は、前記復号化画像に含まれるノイズのノイズ量を検出し、
   前記鮮鋭化処理制御手段は、前記符号化実施情報と前記周波数ヒストグラムと前記ノイズ量とを用いて前記強調化の効果を抑制する際に、前記符号化実施情報、前記周波数ヒストグラム、または前記ノイズ量に応じて、前記強調化の効果をより抑制するよう前記鮮鋭化処理手段に制御信号を出力することを特徴とする請求項１または２に記載の画像処理装置。
6. 入力された画像の隣り合う画素の情報を元に間の画素を補間することにより前記入力された画像の解像度以上の解像度の仮の高解像度画像を生成する仮の高解像度生成部と、前記入力された画像に含まれる所定の帯域の画像信号を強調化した画像を生成するアンシャープマスクと、前記アンシャープマスクにより生成された画像と前記仮の高解像度画像との差分を検出する差分検出部と、前記検出された差分から、前記入力された画像の隣り合う画素の情報を元に補間する間の画素に加えるパラメータを生成する調整部と、前記入力された画像の隣り合う画素の情報を元に前記間の画素を補間するとともに、前記補間した間の画素に前記生成されたパラメータを加えて前記入力された画像の解像度以上の解像度の高解像度画像を生成する高解像度生成部と、を備えた鮮鋭化処理手段と、
   前記高解像度生成部により生成された前記高解像度画像を表示する表示手段と、
   前記入力された画像に含まれるノイズのノイズ量を検出するノイズ量検出手段と、
   前記ノイズ量検出手段により検出されたノイズ量に応じて、前記鮮鋭化処理手段が備える前記調整部により生成された前記パラメータを調整する鮮鋭化処理制御手段と、
   を備えたことを特徴とする表示装置。
7. 画像処理装置で実行される画像処理方法であって、
   前記画像処理装置は、制御部および記憶部を備え、
   前記制御部は、
   鮮鋭化処理手段が、入力された画像の隣り合う画素の情報を元に間の画素を補間することにより前記入力された画像の解像度以上の解像度の仮の高解像度画像を生成し、前記入力された画像に含まれる所定の帯域の画像信号を強調化した画像を生成し、前記生成された強調化した画像と前記仮の高解像度画像との差分を検出する差分検出部と、前記検出された差分から、前記入力された画像の隣り合う画素の情報を元に補間する間の画素に加えるパラメータを生成し、前記入力された画像の隣り合う画素の情報を元に前記間の画素を補間するとともに、前記補間した間の画素に前記生成されたパラメータを加えて前記入力された画像の解像度以上の解像度の高解像度画像を生成する工程と、
   ノイズ量検出手段が、前記入力された画像に含まれるノイズのノイズ量を検出する工程と、
   鮮鋭化処理制御手段が、前記ノイズ量検出手段により検出されたノイズ量に応じて、前記鮮鋭化処理手段により生成される前記パラメータを調整する工程と、
   を含むことを特徴とする画像処理方法。

Images