JP2005026747A - フィルタ処理装置、画像符号化装置及び方法 - Google Patents

Abstract

【課題】画像の時間的な変化度合や映像の明暗に対する画像劣化の知覚特性を考慮して画像符号化装置での符号化効率を向上させることのできるフィルタ処理装置を提供するものである。
【解決手段】動画像を表す入力画像データに対してフィルタ処理を行なうフィルタ処理装置（１００）において、フレーム内の所定単位領域毎に画像データの時間的な変化度合を検出する単位領域画像変化検出手段（１２０（１２１））と、前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域画像変化検出手段にて検出される前記画像データの時間的な変化度合が大きいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御手段（１３０（１３１））とを有する構成となる。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
本発明は、フィルタ処理装置に係り、詳しくは、動画像を表す符号化前の画像データに対してフィルタ処理を行なうフィルタ処理装置に関する。
【０００２】
また、本発明は、そのようなフィルタ処理装置にて得られたフィルタ処理済みの画像データを所定のアルゴリズムに従って符号化するようにした画像符号化装置及び方法に関する。
【０００３】
【従来の技術】
従来、動画像（映像）を表す画像データを符号化する前にその画像データに対してフィルタ処理を施すことによって符号化効率を向上させるようにした符号化装置が提案されている（例えば、特許文献１参照）。この従来の符号化装置では、所定のブロック単位に画像データの局所的変化度を算出し、その局所的変化度に応じてブロック単位にフィルタ特性を決定している。具体的には、画像データ（画素値）の局所的変化度の大きいブロックに対しては高周波成分の減衰度合いが大きくなるフィルタ係数を用いてフィルタ処理がなされる。濃度（画素値）の変化度合の大きい画像部分においては、その高周波成分を減衰させても画像劣化が目立たないことから、このようなフィルタ処理により、画像劣化を目立たせることなく符号化効率を向上させることができることとなる。
【０００４】
【特許文献１】
特開平８−９３７０号公報
【０００５】
【発明が解決しようとする課題】
しかし、従来の符号化装置では、動画像（映像）の時間的な変化や画像の明暗に対する画像劣化の人間による知覚特性については何ら考慮されていない。例えば、時間的に変化する度合の大きい画像領域では、その画像劣化を知覚しにくい。また、暗い画像領域では、その画像劣化を知覚しにくい。
【０００６】
本発明は、このような事情に鑑みてなされたもので、画像の時間的な変化度合や映像の明暗に対する画像劣化の知覚特性を考慮して画像符号化装置での符号化効率を向上させることのできるフィルタ処理装置を提供するものである。
【０００７】
また、本発明は、そのようなフィルタ処理装置を用いた画像符号化装置及び方法を提供するものである。
【０００８】
【課題を解決するための手段】
本発明に係るフィルタ処理装置は、動画像を表す入力画像データに対してフィルタ処理を行なうフィルタ処理装置において、フレーム内の所定単位領域毎に画像データの時間的な変化度合を検出する単位領域画像変化検出手段と、前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域画像変化検出手段にて検出される前記画像データの時間的な変化度合が大きいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御手段とを有する構成となる。
【０００９】
このような構成により、変化が大きく画像劣化を知覚されにくい所定単位領域の画像データに対してより大きなフィルタ処理の効果が表れるようにフィルタ特性を制御することができることとなる。
【００１０】
前記フィルタ処理の効果は、フィルタ処理による画像データの平滑化、あるいは、画像データの周波数特性の調整等の程度であって、フィルタ処理前の画像データとフィルタ処理後の画像データとの変化度合に対応する。
【００１１】
また、本発明に係るフィルタ処理装置は、前記単位領域画像変化検出手段が、現フレームと前フレームにおける対応する所定単位領域それぞれの画像データに基づいて輝度レベルの差分を算出する単位領域輝度差分算出手段を有する構成とすることができる。
【００１２】
このような構成により、現フレームと前フレームにおける対応する所定単位領域それぞれの画像データに基づいて算出された輝度レベルの差分を用いて各所定単位領域の画像データの時間的な変化度合を表すことができることとなる。
【００１３】
更に、本発明に係るフィルタ処理装置は、前記単位領域輝度差分算出手段が、前記所定単位領域それぞれの対応する画素の輝度値の差分絶対値の総和を算出する手段を有する構成となる。
【００１４】
このような構成により、現フレームと前フレームにおける所定単位領域それぞれの対応する画素の輝度値の差分絶対値の総和を用いて各所定単位領域の画像データの時間的な変化度合を表すことができることとなる。
【００１５】
本発明に係るフィルタ処理装置は、フレーム全体の画像データの時間的な変化度合を検出するフレーム画像変化検出手段を有し、前記フィルタ制御手段が、前記フレーム画像変化手段にて検出される前記フレーム全体の画像データの時間的な変化度合と、前記単位領域画像変化検出手段にて検出される前記所定単位領域の画像データの時間的な変化度合とに基づいて前記所定単位領域の画像データに対するフィルタ処理におけるフィルタ特性を決定する構成とすることができる。
【００１６】
このような構成により、フレーム全体の画像データの時間的な変化度合を考慮しつつ、そのフレーム内の各所定単位領域の画像データの時間的な変化度合に応じて適正なフィルタ特性にて各所定単位領域の画像データに対するフィルタ処理を行なうことができることとなる。
【００１７】
また、本発明に係るフィルタ処理装置は、前記フレーム画像変化検出手段が、現フレームの輝度レベルと前フレームの輝度レベルとの差分を算出するフレーム輝度差分算出手段を有する構成とすることができる。
【００１８】
このような構成により、現フレームの輝度レベルと前フレームの輝度レベルとの差分を用いてフレーム全体の画像データの時間的な変化度合を表すことができることとなる。
【００１９】
更に、本発明に係るフィルタ処理装置は、前記フレーム輝度差分算出手段が、現フレームと前フレームそれぞれの対応する画素の輝度値の差分絶対値の総和を算出する手段を有する構成とすることができる。
【００２０】
このような構成により、現フレームと前フレームそれぞれの対応する画素の輝度値の差分絶対値の総和を用いてフレーム全体の画像データの時間的な変化度合を表すことができることとなる。
【００２１】
本発明に係るフィルタ処理装置は、前記フィルタ制御手段が、前記フレーム画像変化検出手段にて検出されるフレーム全体の画像データの変化度合が所定基準値以上となる場合に、前記単位領域画像変化検出手段にて検出される前記所定単位領域の画像データの時間的な変化度合に係わらず前記所定単位領域の画像データに対するフィルタ処理におけるフィルタ特性を所定特性に決定する構成とすることができる。
【００２２】
このような構成により、シーンチェンジ等によりフレーム全体の画像データの変化度合が所定基準値以上となる場合には、そのフレーム内の各所定単位領域の画像データに対して統一的なフィルタ特性にてフィルタ処理を行なうことができることとなる。なお、前記所定特性は、実質的にフィルタ処理がなされないものであってもよい。
【００２３】
また、本発明に係るフィルタ制御装置は、前記フィルタ制御手段が、前記フレーム画像変化検出手段にて検出されるフレーム全体の画像データの変化度合が前記所定基準値より小さい場合に、前記単位領域画像変化検出手段にて検出される前記所定単位領域の画像データの時間的な変化度合が大きいほど前記所定単位領域の画像データに対するフィルタ処理の効果が大きくなるようにフィルタ特性を決定する構成とすることができる。
【００２４】
このような構成により、シーンチェンジ等がなく、フレーム全体の画像データの変化度合が所定基準値より小さい場合には、変化が大きく画像劣化を知覚されにくい所定単位領域の画像データに対してより大きなフィルタ処理の効果が表れるようにフィルタ特性を制御することができることとなる。
【００２５】
本発明に係るフィルタ処理装置は、動画像を表す入力画像データに対してフィルタ処理を行なうフィルタ処理装置において、フレーム内の所定単位領域毎に画像データに基づいて輝度レベルを検出する単位領域輝度レベル検出手段と、前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域輝度レベル検出手段にて検出される輝度レベルが小さいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御手段とを有する構成となる。
【００２６】
このような構成により、輝度レベルが小さく画像劣化が知覚されにくい所定単位領域の画像データに対してより大きなフィルタ処理の効果が表れるようにフィルタ特性を制御することができることとなる。
【００２７】
また、本発明のフィルタ処理装置は、フレームの各画素が画像エッジであるか否かを判定するエッジ判定手段を有し、前記フィルタ制御手段が、前記エッジ判定手段にて画像エッジであると判定された画素に対するフィルタ処理を行わせない構成とすることができる。
【００２８】
このような構成により、所定単位領域毎にフィルタ特性が決定される過程で、画像エッジであるとの判定のなされた画素に対してフィルタ処理がなされなくなるので、再生画像における画像エッジが不鮮明になることを防止することができるようになる。
【００２９】
更に、本発明のフィルタ処理装置は、フレームの各画素が画像エッジであるか否かを判定するエッジ判定手段を有し、前記フィルタ制御手段が、前記エッジ判定手段にて画像エッジであると判定された画素に対するフィルタ処理の効果が最小となるようにフィルタ特性を決定する構成とすることができる。
【００３０】
このような構成により、所定単位領域毎にフィルタ特性が決定される過程で、画像エッジであるとの判定のなされた画素に対してはフィルタ処理の効果が最小となるようなフィルタ特性が決められるので、再生画像における画像エッジの鮮鋭度の低下を極力防止することができることとなる。
【００３１】
本発明に係る画像符号化装置は、動画像を表す入力画像データに対してフィルタ処理を行なう前処理部と、前記前処理手段にて得られた前処理済画像データを所定のアルゴリズムに従って符号化する符号化部とを有し、前記前処理部は、フレーム内の所定単位領域毎に画像データの時間的な変化度合を検出する単位領域画像変化検出手段と、前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域画像変化検出手段にて検出される前記画像データの時間的な変化度合が大きいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御手段とを有する構成となる。
【００３２】
このような構成により、変化が大きく画像劣化を知覚されにくい所定単位領域の画像データに対してより大きなフィルタ処理の効果が表れるようにフィルタ特性を制御することができることとなる。そして、その所定単位領域毎に適正なフィルタ特性にてなされるフィルタ処理の結果得られた前処理済画像データが符号化されるので、画像劣化を極力抑えつつ効率的な符号化ができるようになる。
【００３３】
また、本発明に係る画像符号化装置は、動画像を表す入力画像データに対してフィルタ処理を行なう前処理部と、前記前処理手段にて得られた前処理済画像データを所定のアルゴリズムに従って符号化する符号化部とを有し、前記前処理部は、フレーム内の所定単位領域毎に画像データに基づいて輝度レベルを検出する単位領域輝度レベル検出手段と、前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域輝度レベル検出手段にて検出される輝度レベルが小さいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御手段とを有する構成となる。
【００３４】
このような構成により、輝度レベルが小さく画像劣化が知覚されにくい所定単位領域の画像データに対してより大きなフィルタ処理の効果が表れるようにフィルタ特性を制御することができることとなる。そして、その所定単位領域毎に適正なフィルタ特性にてなされるフィルタ処理の結果得られた前処理済画像データが符号化されるので、画像劣化を極力抑えつつ効率的な符号化ができるようになる。
【００３５】
本発明に係る画像符号化方法は、動画像を表す入力画像データに対してフィルタ処理を行なう前処理ステップと、前記前処理ステップにて得られた前処理済画像データを所定のアルゴリズムに従って符号化する符号化ステップとを有し、前記前処理ステップは、フレーム内の所定単位領域毎に画像データの時間的な変化度合を検出する単位領域画像変化検出ステップと、前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域画像変化検出ステップにて検出される前記画像データの時間的な変化度合が大きいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御ステップとを有する構成となる。
【００３６】
また、本発明に係る画像符号化方法は、動画像を表す入力画像データに対してフィルタ処理を行なう前処理ステップと、前記前処理ステップにて得られた前処理済画像データを所定のアルゴリズムに従って符号化する符号化ステップとを有し、前記前処理ステップは、フレーム内の所定単位領域毎に画像データに基づいて輝度レベルを検出する単位領域輝度レベル検出ステップと、前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域輝度レベル検出ステップにて検出される輝度レベルが小さいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御ステップとを有する構成となる。
【００３７】
更に、本発明に係る画像符号化方法は、フレームの各画素が画像エッジであるか否かを判定するエッジ判定ステップを有し、前記フィルタ制御ステップが、前記エッジ判定ステップにて画像エッジであると判定された画素に対するフィルタ処理を行わせない構成とすることができる。
【００３８】
また、本発明に係る画像符号化方法は、フレームの各画素が画像エッジであるか否かを判定するエッジ判定ステップを有し、
【００３９】
前記フィルタ制御ステップは、前記エッジ判定ステップにて画像エッジであると判定された画素に対するフィルタ処理の効果が小さくなるようなフィルタ特性を決定する構成とすることができる。
【００４０】
【実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００４１】
本発明の実施の形態に係る画像符号化装置は図１に示すように構成される。
【００４２】
図１において、この画像符号化装置は、前処理部１００及び符号化部２００を有している。撮像装置から動画像（映像）を表す画像データが、例えば、１秒間に３０フレームの割合で前処理部１００に順次供給される。前処理部１００は、入力画像データに対してフィルタ処理を行なって前処理済画像データを生成する。符号化部２００は、前処理部１００からの前処理済画像データを所定のアルゴリズム（例えば、ＭＰＥＧ）に従って符号化し、符号化画像データを出力する。
【００４３】
前処理部１００は、図２に示すように構成される。
【００４４】
図２において、前処理部１００は、メモリ１１０、解析部１２０、フィルタ制御部１３０及びフィルタ１４０を有する。メモリ１１０は、入力される１フレーム分の画像データを格納する。解析部１２０は、メモリ１１０に格納された前フレームの画像データｂと現フレームの画像データａとを入力し、後述するような動画像の輝度レベルに関する特徴量ｃ、ｄ、ｅ、ｇを算出する。フィルタ制御部１３０は、解析部１２０にて得られた特徴量ｃ、ｄ、ｅ、ｇに基づいてフィルタ特性を制御するための制御情報ｋ、ｈを生成する。フィルタ１４０は、フィルタ制御部１３０からの制御情報ｋ、ｈに基づいて決められるフィルタ特性にて入力画像に対してフィルタ処理を行なう。フィルタ１４０にてフィルタ処理された画像データは前処理済画像データとして符号化部２００に供給される。
【００４５】
解析部１２０及びフィルタ制御部１３０は、図３に示すように構成される。
【００４６】
解析部１２０は、ブロック輝度差分算出部１２１、フレーム輝度差分算出部１２２、ブロック輝度レベル算出部１２３及び周辺平均差分算出部１２４を有する。ブロック輝度差分算出部１２１は、フレームに対して予め設定された単位ブロック（単位領域）毎に、時間的に前後する現フレームと前フレームそれぞれの画像データａ、ｂに基づいて輝度レベルの差分を表すブロック輝度差分絶対値ｃを式（１）に従って算出する。
【００４７】
【数１】

【００４８】
ａ（ｉ，ｊ）：現フレームの位置（ｉ．ｊ）にある画素の画素値（輝度値）
ｂ（ｉ．ｊ）：前フレームの位置（ｉ，ｊ）にある画素の画素値（輝度値）
ｍ：単位ブロックにおける横方向の画素総数
ｎ：単位ブロックにおける縦方向の画素総数
【００４９】
前記ブロック輝度差分絶対値ｃは、時間的に前後する現フレームと前フレームそれぞれの画像データａ、ｂに基づいて算出されることから、単位ブロックについての画像データの時間的な変化度合を表し得る。
【００５０】
フレーム輝度差分算出部１２２は、現フレームの画像データａと前フレームの画像データｂとに基づいて現フレームの輝度レベルと前フレームの輝度レベルとの差分を表すフレーム輝度差分絶対値ｄを式（２）に従って算出する。
【００５１】
【数２】

【００５２】
ａ（ｉ，ｊ）：現フレームの位置（ｉ，ｊ）にある画素の画素値（輝度値）
ｂ（ｉ，ｊ）：現フレームの位置（ｉ，ｊ）にある画素の画素値（輝度値）
ｐ：１フレームにおける横方向の画素総数
ｑ：１フレームにおける縦方向の画素総数
【００５３】
前記フレーム輝度差分絶対値ｄは、時間的に前後する現フレームと前フレームそれぞれの画像データａ、ｂに基づいて算出されることから、フレーム全体の画像データの時間的な変化度合を表し得る。
【００５４】
ブロック輝度レベル算出部１２３は、単位ブロック毎に、現フレームの画像データａに基づいてブロック輝度レベルｅを式（３）に従って算出する。
【００５５】
【数３】

【００５６】
ａ（ｉ，ｊ）：現フレームの位置（ｉ，ｊ）にある画素の画素値（輝度値）
ｍ：単位ブロックにおける横方向の画素総数
ｎ：単位ブロックにおける縦方向の画素総数
【００５７】
周辺平均差分算出部１２４は、現フレームの画像データａに基づいて注目画素の輝度レベルと前記注目画素を中心とした所定矩形領域の平均的な輝度レベルとの差分（周辺平均輝度差分）ｇを各注目画素について式（４）に従って演算する。
【００５８】
【数４】

【００５９】
ａ（ｉ，ｊ）：現フレームの位置（ｉ，ｊ）にある画素の画素値（輝度値）
ａ（ｘ，ｙ）：注目画素の画素値（輝度値）
ｒ：注目画素を中心とした所定矩形領域における横方向の画素総数
ｓ：注目画素を中心とした所定矩形領域における縦方向の画素総数
【００６０】
フィルタ制御部１３０は、フィルタ係数決定部１３１及びエッジ判定部１３２を有する。フィルタ係数決定部１３１は、解析部１２０におけるブロック輝度差分算出部１２１からのブロック輝度差分絶対値ｃ及びフレーム輝度差分算出部１２２からのフレーム輝度差分絶対値ｄに基づいて各単位ブロックに適用すべきフィルタ係数を決定する。フィルタ係数決定部１３１は、前記ブロック輝度差分絶対値ｃ及びフレーム輝度差分絶対値ｄ、更に、ブロック輝度レベル算出部１２３からのブロック輝度レベルｅに基づいて各単位ブロックに適用すべきフィルタ係数ｋを決定することもできる。
【００６１】
フィルタ係数決定部１３１は、例えば、図４に示すテーブルに従って各単位ブロックに適用すべきフィルタ係数ｋを決定する。なお、図４に示すフィルタ係数ｋ｛ｋ１，ｋ０，ｋ２｝は、各画素（注目画素）の輝度値に対して両隣接画素の輝度値を考慮してなされるフィルタ処理でのフィルタ特性を表している。
【００６２】
フレーム輝度差分絶対値ｄが所定の基準値Ａ以上となる場合（ｄ≧Ａ）、即ち、フレーム全体の輝度レベルの変化度合が基準の度合以上となる場合、フレームに含まれる各単位ブロックに適用されるフィルタ係数ｋは、ブロック輝度差分絶対値ｃの値に係わらず、常にフィルタ処理の効果が最小となる｛１２，２３１，１２｝に決定される。シーンチェンジ時に一瞬画面全体（フレーム全体）の先鋭度が低下し、次のフレームから先鋭度が元に戻ることがある。このような場合に、先鋭度の低下を更に助長させないようにするために、シーンチェンジが発生したとみなしうる前記フレーム輝度差分絶対値ｄが所定の基準値Ａ以上となる場合には、前述したように各単位ブロックに適用されるフィルタ係数ｋはフィルタ処理の効果が最小（実質的にＯＦＦ）となるものに決められる。
【００６３】
一方、フレーム輝度差分絶対値ｄが所定の基準値Ａより小さくなる場合（ｄ＜Ａ）、即ち、フレーム全体の輝度レベルの変化度合が基準の度合より小さくなる場合、フレームの各単位ブロックに適用されるフィルタ係数ｋは、ブロック輝度差分絶対値ｃの値が大きいほどフィルタ処理の効果が大きくなるように決定される。具体的には、ブロック輝度差分絶対値ｃが４９１５２≦ｃの範囲にある場合、フィルタ係数ｋが｛４７，１６１，４７｝（フィルタ処理の効果が最大となるフィルタ係数）に決定され、ブロック輝度差分絶対値ｃが３２７６８≦ｃ＜４９１５２の範囲にある場合、フィルタ係数ｋが｛４０，１７５，４０｝に決定され、ブロック輝度差分絶対値ｃが１６３８４≦ｃ＜３２７６８の範囲にある場合、フィルタ係数ｋが｛３２，１９１，３２｝に決定され、ブロック輝度差分絶対値ｃがそれ以外の範囲にある場合、フィルタ係数ｋは、フィルタ処理の効果が最小となる｛１２，２３１，１２｝に決定される。
【００６４】
このようにブロック輝度差分絶対値ｃの値が大きい単位ブロック、即ち、画像変化の大きい単位ブロックに対しては、フィルタ処理の効果がより大きくなるようにフィルタ係数が決められる。
【００６５】
エッジ判定部１３２は、解析部１２０における周辺平均輝度差分ｇに基づいて各画素が画像エッジであるか否かを判定し、その判定結果ｈを出力する。注目画素毎に前記式（４）に従って算出される周辺平均輝度差分ｇが大きいことは、注目画素の輝度レベルが周辺領域の輝度レベルと比べて突出して大きいまたは小さいことを表す。従って、エッジ判定部１３２は、例えば、前記周辺平均輝度差分ｇが所定の閾値以上であるか否かに基づいて注目画素が画像エッジであるか否かを判定する。
【００６６】
フィルタ係数決定部１３１にて各単位ブロックに対して決定されたフィルタ係数ｋ及びエッジ判定部１３２から出力された各画素についての画像エッジの判定結果ｈは、フィルタ処理の制御情報としてフィルタ１４０に供給される。フィルタ１４０は、入力される画像データに対して画素単位にその画素が属する単位ブロックについて決定されたフィルタ係数ｋを用いてフィルタ処理を行なう。また、画像エッジであるとの判定（ｈ）がなされた画素については前記フィルタ係数ｋを用いたフィルタ処理を行うことなく、入力される画像データをそのまま出力する。そして、このようなフィルタ１４０によるフィルタ処理のなされた画像データが前処理済画像データとして符号化部２００に順次供給される。
【００６７】
このような前処理部１００によれば、特に、フレーム全体の輝度レベルの変化度合が基準の度合より小さくなる場合（シーンチェンジでない場合）、ブロック輝度差分絶対値ｃの値が大きい単位ブロック、即ち、画像変化が大きく、画像劣化の目立たない単位ブロックに対しては、フィルタ処理の効果がより大きくなるようなフィルタ係数を用いてそのフィルタ処理がなされるようになるので、画像劣化を目立たせることなく符号化すべき情報の量を低減させることができ、符号化部２００による符号化効率を向上させることができるようになる。
【００６８】
また、そのような単位ブロック内の画素であっても、特に画像エッジであるとの判定がなされた画素については、個別的にフィルタ処理をキャンセルさせて、入力画像データをそのまま前処理済画像データとして出力する。従って、画像エッジの鮮鋭度を低下させることなく、フィルタ処理を有効に行なうことができる。
【００６９】
なお、フィルタ１４０は、画像エッジであるとの判定がなされ画素については、フィルタ処理を行なわないようにしているが、処理ブロック毎に決定されたフィルタ係数よりそのフィルタ処理の効果が小さくなるようなフィルタ係数（例えば、前記｛１２，２３１，１２｝より更にフィルタ処理の効果が小さくなるフィルタ係数）をその画像エッジであるとの判定がなされた画素に適用することも可能である。この場合、エッジ判定部１３２からの判定結果ｈはフィルタ係数決定部１３０に供給され、フィルタ係数決定部１３０がその判定結果に基づいてフィルタ係数を決定する。
【００７０】
フィルタ係数決定部１３１は、例えば、図５に示すテーブルに従って、フィルタ係数ｋを決定することもできる。この場合、前記ブロック輝度差分絶対値ｃ及びフレーム輝度差分絶対値ｄに加えてブロック輝度レベル算出部１２３からのブロック輝度レベルｅを考慮して各単位ブロックに適用すべきフィルタ係数ｋを決定している。
【００７１】
フレーム輝度差分絶対値ｄが所定の基準値Ａ以上となる場合（ｄ≧Ａ）、即ち、フレーム全体の輝度レベルの変化度合が基準の度合以上となる場合、ブロック輝度差分絶対値ｃ及びブロック輝度レベルｅの値に係わらず、各単位ブロックに適用されるフィルタ係数ｋは、フィルタ処理の効果が最小となる｛１２，２３１，１２｝に決定される。
【００７２】
一方、フレーム輝度差分絶対値ｄが基準値Ａより小さくなる場合（ｄ＜Ａ）、即ち、フレーム全体の輝度レベルの変化度合が基準の度合より小さくなる場合、フレームの各単位ブロックに適用されるフィルタ係数ｋは、ブロック輝度差分絶対値ｃの値が大きいほど、または、ブロック輝度レベルｅの値が小さいほど、フィルタ処理の効果が大きくなるように決定される。具体的には、ブロック輝度差分絶対値ｃが４９１５２≦ｃの範囲にある場合またはブロック輝度レベルｅがｅ＜１６３８４の範囲にある場合には、フィルタ係数ｋが｛４７，１６１，４７｝（フィルタ処理の効果が最大となるフィルタ係数）に決定され、ブロック輝度差分絶対値ｃが３２７６８≦ｃ＜４９１５２の範囲にある場合またはブロック輝度レベルｅが１６３８４≦ｅ＜３２７６８の範囲にある場合には、フィルタ係数ｋが｛４０，１７５，４０｝に決定され、ブロック輝度差分絶対値ｃが１６３８４≦ｃ＜３２７６８の範囲にある場合またはブロック輝度レベルｅが３２７６８≦ｅ＜４９１５２の範囲にある場合には、フィルタ係数ｋが｛３２，１９１，３２｝に決定され、ブロック輝度差分絶対値ｃ及びブロック輝度レベルｅがそれ以外の範囲にある場合、フィルタ係数ｋは、フィルタ処理の効果が最小となる｛１２，２３１，１２｝に決定される。
【００７３】
この場合、前述した例（図４参照）と同様に、ブロック輝度差分絶対値ｃの値が大きい単位ブロック、即ち、画像変化の大きい単位ブロックに対しては、フィルタ処理の効果がより大きくなるようにフィルタ係数が決められる。更に、ブロック輝度レベルｅの値が小さい単位ブロック、即ち、画像濃度の低い単位ブロックに対しても、フィルタ処理の効果がより大きくなるようにフィルタ係数が決められる。従って、画像濃度が低く、画像劣化の目立たない単位ブロックに対しても、フィルタ処理の効果がより大きくなるようなフィルタ係数を用いてそのフィルタ処理がなされるようになるので、画像劣化を目立たせることなく符号化すべき情報の量を低減させることができ、符号化部２００による符号化効率を向上させることができるようになる。
【００７４】
前処理部１００での前述したようなフィルタ処理にて得られた前処理済画像データを符号化する符号化部２００は、図６に示すように構成される。この例では、符号化部２００は、ＭＰＥＧに従って前記前処理済画像データの符号化を行なう。
【００７５】
図６において、符号化部２００は、分割部２０１、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）部２０２、量子化部２０３、逆量子化部２０４、逆ＤＣＴ部２０５、メモリ部２０６、動き補償部２０７、動き検出部２０８、動き予測部２０９、ＶＬＣ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｅ：可変長符号化）部２１０、減算部２１１及び加算部２１２を有している。分割部２０１は、前処理部１００からの前処理済画像データを取り込み、各フレームの画像データを所定の処理単位ブロック（例えば、１６×１６画素のマクロブロック）に分割して処理単位ブロック毎の画像データを生成する。分割部２１から出力される処理単位ブロック毎の画像データは、その処理単位部ブロックがフレーム間符号化すべきもの場合には減算器２１１に入力される。また、その処理単位ブロックがフレーム内符号化されるべきものである場合、分割部２０１から出力される画像データがＤＣＴ部２０２に入力される。
【００７６】
減算部２１１は、フレーム間符号化すべき処理単位ブロックの画像データを取り込む。そして、減算部２１１はその処理単位ブロックの画像データから動き補償部２０７にて後述するように生成された予測参照画像データを差し引いて、予測誤差データを出力する。ＤＣＴ部２０２は、分割部２０１から出力された処理単位ブロックの画像データ及び減算部２１１から出力された予測誤差データに対して二次元離散コサイン変換を行なう。
【００７７】
量子化部２０３は、ＤＣＴ部２０２での二次元離散コサイン変換により得られた処理単位ブロックの画像データ及び予測誤差データを量子化する。ＶＬＣ部２５は、量子化された処理単位ブロックの画像データ及び予測誤差データを可変長変換して符号化画像データを生成する。
【００７８】
逆量子化部２０４は、量子化部２０３にて得られた量子化済みの画像データ及び予測誤差データに対して逆量子化を施す。逆ＤＣＴ部２０５は、逆量子化部２０４での逆量子化にて得られたデータに対して二次元逆離散コサイン変換を施して予測誤差データまたは再構成データを生成する。加算部２１２は、逆ＤＣＴ部２０５にて生成された予測誤差データと動き補償部２０７で得られた予測参照画像データとを加算して再構成画像データを生成する。メモリ部２０６は、加算部２１２または逆ＤＣＴ部２０５にて生成された再構成画像データを記憶する。動き検出部２０８は、メモリ部２０６に記憶された再構成画像データを取り込む。動き検出部２０８は、分割部２０１から供給された非圧縮の処理単位ブロックの画像データと再構成画像データとを比較することにより、動きベクトルデータを検出する。動き補償部２０７は、動き検出部２０８にて検出された動きベクトルデータをもとに、再構成画像データから予測参照画像データを取り出す。この予測参照画像データは、前述したように、減算部２１１に供給される。動き予測部２０９は、予測動きベクトルデータを算出し、動き検出部２０８にて検出された動きベクトルデータから予測動きベクトルデータを差し引いて、動きベクトル差分データを算出する。
【００７９】
前述したような構成の符号化部２００により前処理部１００からの前処理済み画像データの符号化がなされ、それにより得られた符号化画像データが順次符号化部２００から出力される。
【００８０】
上述したような符号化装置では、前処理部１００において画像の時間的な変化度合や画像の明暗に対する画像劣化の知覚特性を考慮したフィルタ処理がなされることによって、そのフィルタ処理済みの画像データ（前処理済み画像データ）をＭＰＥＧに従って符号化する符号化部１００での符号化効率を向上させることができる。
【００８１】
前処理部１００においてフィルタ係数ｋを決めるための処理単位となる単位ブロックと、符号化部２００において符号化の処理単位となる処理単位ブロックとは同じ大きさのものであっても、異なる大きさのものであってもよい。
【００８２】
また、前処理部１００は、フィルタ処理装置として、例えば、１チップの半導体装置（ＬＳＩ等）の独立した製品とすることもできる。
【００８３】
前処理部１００において、フレーム輝度差分絶対値ｄを特に考慮せずに、ブロック輝度差分絶対値ｃまたはブロック輝度レベルｅに基づいて各単位ブロックに適用すべきフィルタ係数ｋを決定するようにしてもよい。更に、ブロック輝度差分絶対値ｃとブロック輝度レベルｅとのマトリクス的な条件に基づいて各単位ブロックに適用すべきフィルタ係数ｋを決定することもできる。
【００８４】
更に、単位ブロックについてのフィルタ特性を決定するために単位ブロック毎に検出すべき画像データの時間的な変化度合は、前記式（１）に従って算出されるブロック輝度差分絶対値ｃに限定されることはない。また、単位ブロックについてのフィルタ特性を決定するために単位ブロック毎に検出すべき輝度レベルは、前記式（３）に従って算出されるブロック輝度レベルｅに限定されることはない。
【００８５】
【発明の効果】
以上、説明したように、本願発明によれば、フレーム内の各所定単位領域の画像データの時間的な変化度合に応じて、あるいはフレーム内の各所定単位領域の輝度レベルに応じて適正なフィルタ特性にて各所定単位領域の画像データに対するフィルタ処理を行なうことができるようになり、画像の時間的な変化度合や映像の明暗に対する画像劣化の知覚特性を考慮して画像符号化装置での符号化効率を向上させることのできるフィルタ処理装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る符号化装置の基本構成を示すブロック図
【図２】図１に示す符号化装置における前処理部の構成を示すブロック図
【図３】図２に示す前処理部における解析部及びフィルタ制御部の構成を示すブロック図
【図４】フィルタ係数ｋを決定するためのアルゴリズムの一例を示す図
【図５】フィルタ係数ｋを決定するためのアルゴリズムの他の一例を示す図
【図６】図１に示す符号化装置における符号化部の構成を示すブロック図
【符号の説明】
１００ 前処理部
１１０ メモリ
１２０ 解析部
１２１ ブロック輝度差分算出部
１２２ フレーム輝度差分算出部
１２３ ブロック輝度レベル算出部
１２４ 周辺平均差分算出部
１３０ フィルタ制御部
１３１ エッジ判定部
１３２ フィルタ係数決定部
２００ 符号化部
２０１ 分割部
２０２ ＤＣＴ部
２０３ 量子化部
２０４ 逆量子化部
２０５ 逆ＤＣＴ部
２０６ メモリ
２０７ 動き補償部
２０８ 動き検出部
２０９ 動き予測部
２１０ ＶＬＣ部

Claims (17)

1. 動画像を表す入力画像データに対してフィルタ処理を行なうフィルタ処理装置において、
   フレーム内の所定単位領域毎に画像データの時間的な変化度合を検出する単位領域画像変化検出手段と、
   前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域画像変化検出手段にて検出される前記画像データの時間的な変化度合が大きいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御手段とを有することを特徴とするフィルタ処理装置。
2. 前記単位領域画像変化検出手段は、現フレームと前フレームにおける対応する所定単位領域それぞれの画像データに基づいて輝度レベルの差分を算出する単位領域輝度差分算出手段を有することを特徴とする請求項１記載のフィルタ処理装置。
3. 前記単位領域輝度差分算出手段は、前記所定単位領域それぞれの対応する画素の輝度値の差分絶対値の総和を算出する手段を有することを特徴とする請求項２記載のフィルタ処理装置。
4. フレーム全体の画像データの時間的な変化度合を検出するフレーム画像変化検出手段を有し、
   前記フィルタ制御手段は、前記フレーム画像変化手段にて検出される前記フレーム全体の画像データの時間的な変化度合と、前記単位領域画像変化検出手段にて検出される前記所定単位領域の画像データの時間的な変化度合とに基づいて前記所定単位領域の画像データに対するフィルタ処理におけるフィルタ特性を決定することを特徴とする請求項１乃至３のいずれかに記載のフィルタ処理装置。
5. 前記フレーム画像変化検出手段は、現フレームの輝度レベルと前フレームの輝度レベルとの差分を算出するフレーム輝度差分算出手段を有することを特徴とする請求項４記載のフィルタ処理装置。
6. 前記フレーム輝度差分算出手段は、現フレームと前フレームそれぞれの対応する画素の輝度値の差分絶対値の総和を算出する手段を有することを特徴とする請求項５記載のフィルタ処理装置。
7. 前記フィルタ制御手段は、前記フレーム画像変化検出手段にて検出されるフレーム全体の画像データの変化度合が所定基準値以上となる場合に、前記単位領域画像変化検出手段にて検出される前記所定単位領域の画像データの時間的な変化度合に係わらず前記所定単位領域の画像データに対するフィルタ処理におけるフィルタ特性を所定特性に決定することを特徴とする請求項４乃至６のいずれかに記載のフィルタ処理装置。
8. 前記フィルタ制御手段は、前記フレーム画像変化検出手段にて検出されるフレーム全体の画像データの変化度合が前記所定基準値より小さい場合に、前記単位領域画像変化検出手段にて検出される前記所定単位領域の画像データの時間的な変化度合が大きいほど前記所定単位領域の画像データに対するフィルタ処理の効果が大きくなるようにフィルタ特性を決定することを特徴とする請求項７記載のフィルタ処理装置。
9. 動画像を表す入力画像データに対してフィルタ処理を行なうフィルタ処理装置において、
   フレーム内の所定単位領域毎に画像データに基づいて輝度レベルを検出する単位領域輝度レベル検出手段と、
   前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域輝度レベル検出手段にて検出される輝度レベルが小さいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御手段とを有することを特徴とするフィルタ処理装置。
10. フレームの各画素が画像エッジであるか否かを判定するエッジ判定手段を有し、
    前記フィルタ制御手段は、前記エッジ判定手段にて画像エッジであると判定された画素に対するフィルタ処理を行わせないことを特徴とする請求項１乃至９のいずれかに記載のフィルタ処理装置。
11. フレームの各画素が画像エッジであるか否かを判定するエッジ判定手段を有し、
    前記フィルタ制御手段は、前記エッジ判定手段にて画像エッジであると判定された画素に対するフィルタ処理の効果が小さくなるようなフィルタ特性を決定することを特徴とする請求項１乃至９のいずれかに記載のフィルタ処理装置。
12. 動画像を表す入力画像データに対してフィルタ処理を行なう前処理部と、前記前処理手段にて得られた前処理済画像データを所定のアルゴリズムに従って符号化する符号化部とを有し、
    前記前処理部は、フレーム内の所定単位領域毎に画像データの時間的な変化度合を検出する単位領域画像変化検出手段と、
    前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域画像変化検出手段にて検出される前記画像データの時間的な変化度合が大きいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御手段とを有することを特徴とする画像符号化装置。
13. 動画像を表す入力画像データに対してフィルタ処理を行なう前処理部と、前記前処理手段にて得られた前処理済画像データを所定のアルゴリズムに従って符号化する符号化部とを有し、
    前記前処理部は、フレーム内の所定単位領域毎に画像データに基づいて輝度レベルを検出する単位領域輝度レベル検出手段と、
    前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域輝度レベル検出手段にて検出される輝度レベルが小さいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御手段とを有することを特徴とする画像符号化装置。
14. 動画像を表す入力画像データに対してフィルタ処理を行なう前処理ステップと、前記前処理ステップにて得られた前処理済画像データを所定のアルゴリズムに従って符号化する符号化ステップとを有し、
    前記前処理ステップは、フレーム内の所定単位領域毎に画像データの時間的な変化度合を検出する単位領域画像変化検出ステップと、
    前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域画像変化検出ステップにて検出される前記画像データの時間的な変化度合が大きいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御ステップとを有することを特徴とする画像符号化方法。
15. 動画像を表す入力画像データに対してフィルタ処理を行なう前処理ステップと、前記前処理ステップにて得られた前処理済画像データを所定のアルゴリズムに従って符号化する符号化ステップとを有し、
    前記前処理ステップは、フレーム内の所定単位領域毎に画像データに基づいて輝度レベルを検出する単位領域輝度レベル検出ステップと、
    前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域輝度レベル検出ステップにて検出される輝度レベルが小さいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御ステップとを有することを特徴とする画像符号化方法。
16. フレームの各画素が画像エッジであるか否かを判定するエッジ判定ステップを有し、
    前記フィルタ制御ステップは、前記エッジ判定ステップにて画像エッジであると判定された画素に対するフィルタ処理を行わせないことを特徴とする請求項１４または１５記載の画像符号化方法。
17. フレームの各画素が画像エッジであるか否かを判定するエッジ判定ステップを有し、
    前記フィルタ制御ステップは、前記エッジ判定ステップにて画像エッジであると判定された画素に対するフィルタ処理の効果が小さくなるようなフィルタ特性を決定することを特徴とする請求項１４または１５記載の画像符号化方法。

Images