JP2006229411A - 画像復号化装置及び画像復号化方法 - Google Patents

Abstract

【課題】イントラ画像復号化において、低演算量で残像発生の無いフリッカ軽減処理を行なう。
【解決手段】フィルタ制御部１０５は、イントラ予測情報を用いて、ブロックサイズの大きさに応じて時間・空間フィルタを切り替え、イントラ予測情報の時間的変化を用いて時間・空間フィルタの特性を決定し、フィルタ処理部１０６は、フィルタ制御部１０５が決定したフィルタ特性に応じて復号化画像に対して時間・空間フィルタを適用することにより、原画像の画像特性に連動するイントラ予測情報を用いて低演算量にて、フリッカノイズの発生しやすい領域には強い時間フィルタを、残像の発生しやすい領域には弱い時間フィルタを、擬似エッジが発生しやすい領域には強い空間フィルタを適用し、残像のないフリッカ軽減を実現することが可能である。
【選択図】図１

Description

本発明は、画像復号化方法および画像復号化装置に関し、イントラ予測情報を用いて適応的なフィルタ制御を行うことにより、特に主観画質低下の要因となっているフリッカを軽減する画像復号化装置に関する。

近年、テロや犯罪件数の増加に伴い、数十台から百台規模の監視カメラを接続可能な映像監視システムが公共施設等で急速に普及しつつある。また、監視カメラの映像は、犯罪証拠画像として利用されるという位置付けから、静止画像の画質、特に解像度が重要視され、カメラ撮像素子数の増化効果もあり、監視カメラにおける空間解像度の高解像度化が進んでいる。

監視カメラの高解像度化に伴い、数十台規模の監視カメラを接続する監視システムでは、記録容量に制約がある中で、長時間の映像を記録するために、高解像度映像を効率よく圧縮符号化する画像符号化方式が望まれている。さらには、監視映像をランダムアクセスするため、イントラ符号化が使われているのが現状である。

これらの要求を満たす画像符号化技術として、ＪＰＥＧ（Joint Picture Experts Group）方式、あるいはＪＰＥＧ２０００方式などが、監視システムに適用されているが、更なる圧縮性能の向上が必要とされている。

近年標準化されたH.264/AVC(ＩＳＯ／ＩＥＣ１４４９６−１０)方式は、従来のＭＰＥＧ-2やＭＰＥＧ−４の動画符号化方式に比べて、１．５〜２倍の圧縮性能を誇る符号化規格である。H.264/AVC符号化の高い圧縮性能は、１）画面内（イントラ）の相関を利用したイントラ予測方式、２）画像間（インター）の相関を利用した可変ブロック動き予測方式を効率化により実現されている。そのため、映像に対して静止画符号化用のイントラ符号化を用いて符号化した場合においても、ＪＰＥＧやＪＰＥＧ２０００に比べて高い圧縮性能を実現することが確認されている（ISO/IEC JTC1/SC29/WG11 MPEG2003/M10246）。

そのため、監視映像をH.264/AVCイントラ符号化することにより、画像１枚１枚は圧縮性能が高いため高画質となるが、映像として再生する場合、画像間の画質変動が大きいためフリッカノイズとして、主観画質を下げていることが課題である。

従来、H.264/AVCにおけるフリッカノイズを低減する方法として、例えば非特許文献１や２では、フリッカの発生要因となっているイントラ予測において、規格上必要のない予測画像への符号化復号化処理(Ｗ演算と定義する)を施すことによって、予測画像の影響を最小限に抑え、フリッカを低減している。

図７は、非特許文献１に記載された画像復号化装置を示す。

図７において、画像復号化装置７００は、入力部７０１と、エントロピ復号化部７０２と、逆量子化直交変換部７０３と、イントラ補償部７０４と、逆量子化直交変換部７０６と、直交変換量子化部７０５と、出力部７０７を有する構成となっている。

図７における、入力部７０１は圧縮符号化された映像ストリームをエントロピ復号化部７０２に出力し、エントロピ復号化部７０２は、入力された映像ストリームをエントロピ復号化することによりイントラ予測情報と直交変換係数を生成し、イントラ予測情報をイントラ補償部７０４へ出力し、直交変換係数を逆量子化直交変換部７０３へ出力する。

逆量子化直交変換部７０３は入力された直交変換係数に対して逆量子化および直交変換処理を行い、イントラ残差画像を生成し、イントラ補償部７０４に出力する。

イントラ補償部７０４は、内部メモリに蓄積されたイントラ予測用復号化画像に対して、入力されたイントラ予測情報を用いて予測画像を生成し、入力されたイントラ残差画像と予測画像を生成し復号化画像を生成し出力部７０７と直交変換量子化部７０５に出力する。さらに、イントラ補償部は、逆量子化直交変換部７０６より入力されたイントラ予測用復号画像を用いて、内部メモリの画像を更新する。

直交変換量子化部７０５は、入力された復号化画像に対して直交変換、量子化処理、逆量子化処理、直交変換処理を施し、イントラ予測用の復号化画像を生成し、イントラ補償部７０４に出力する。

また特許文献２では、メディアンフィルタを用いて時間的に連続する３フレームの中央値を用いて輝度変動を抑えることにより、フリッカを軽減している。

図１３は、特許文献１に記載された画像復号化装置を示す。

図１３において、フリッカ軽減装置７００は、入力部７０１と、時間メディアンフィルタ部７０２と、加算部７０３と、空間メディアンフィルタ部７０４と、コアリングフィルタブ７０５と、加算部７０６と出力部７０７を有する構成となっている。

図１３において、入力部７０１は、加算部７０３，７０６および時間メディアンフィルタ部７０２に画像を入力する。時間メディアンフィルタブ７０２は遅延回路を２段有し、連続する３画像の中央値を用いて画素を入れ替えることにより時間的な高周波であるフリッカノイズを排除した時間メディアン画像を生成し、加算部７０３に出力する。

加算部７０３は、入力された入力画像から時間メディアン画像を差分処理した、フリッカノイズを含むフリッカ画像を空間メディアンフィルタ部７０４に出力する。

空間メディアンフィルタ部７０４は、フリッカ画像に対して空間的なメディアン処理を行い、空間的な高周波を排除したフリッカ空間メディアン画像をコアリングフィルタ部７０５に出力する。

コアリングフィルタ部７０５は、フリッカ空間メディアン画像の高い振幅成分のみを排除し、低振幅成分のみのフリッカ空間メディアン画像を生成し、加算部７０６に出力する。

加算部７０６は、入力された入力画像から、低振幅成分のフリッカ空間メディアン画像を差分処理することにより、フリッカを軽減した画像を生成し、出力部７０７に出力する。
井口、「2003 J-040 H.264符号化におけるイントラモードのフリッカ低減手法」、情報科学技術フォーラム２００３予稿集、情報科学技術フォーラム、2003年、P277-278 ザオペンファン（Xiaopeng Fan）、" JVT-E070 オールイントラモードにおけるフリッカノイズ削減方法(Flicking Reduction in All Intra Frame Coding)"、[online]、JVT of ISO/IEC MPEG & ITU-T VCEG、2002年10月、[2005年2月2日検索]、インターネット〈URL:http://ftp3.itu.ch/av-arch/jvt-site/2002_10_Geneva/〉 特表2004-503187号公報

しかしながら、上述した非特許文献１においては、正しく復号化するためには、規格上本来不要なＷ演算処理（直交変換量子化部７０５および逆量子化直交変換部７０６）を施す必要があるため、演算量が増大するという課題がある。また、当然のことながらＷ演算が必要なため、H.264/AVC規格を外れることになる。

また、上述した特許文献１では画像全体メディアンフィルタ処理を行っているため演算量が高く、また動きの大きなシーンでは残像ノイズが発生するという課題がある。

本発明はかかる点に鑑みてなされたものであり、ストリーム内のイントラ予測情報を用いて適応的にポストフィルタリングの制御を行うことにより、低演算量かつ残像発生がないフリッカノイズを低減することを目的とする。

本発明の画像復号化装置は、圧縮符号化された画像ストリームを復号化する画像復号化装置であって、前記画像ストリーム内からイントラ予測情報を復号化するエントロピ復号化手段と、前記エントロピ復号化手段によって復号化されたイントラ予測情報を用いて時間または空間フィルタを決定するフィルタ制御手段と、画像ストリームを復号化して復号化画像を生成する復号化手段と、フィルタ制御手段が決定した前記時間または空間フィルタを用いて復号化画像に対してフィルタ処理を行うフィルタ処理手段とを有している。

この構成によれば、画像ストリームを用いてフィルタ制御を行うことが可能であるため、フィルタ制御のための演算量が不要で、低演算量で復号化画像に対する適応的なフィルタ制御を行うことが可能である。

また、本発明に係る画像復号化装置のフィルタ制御手段は、前記イントラ予測情報のうち予測ブロックサイズを用いて空間あるいは時間フィルタの適用可否を判定し、適用可と判定した場合は、前記空間または時間フィルタの特性を決定するものである。

この構成によれば、ブロックサイズに応じてフィルタの制御を行うため、入力画像の特性に応じたフィルタ制御を低演算量で実現することが可能である。

また、本発明に係る画像復号化装置のフィルタ制御手段は、前記イントラ予測情報のうち予測ブロックサイズが所定のサイズより大きい場合には、時間フィルタを適用可と判定するものである。

この構成によれば、ブロックサイズが大きく、入力画像が平坦である領域に対しては、主観画質を低下させるフリッカノイズに対して、時間フィルタを適用することにより、フリッカを適応的に低減可能である。

また、本発明に係る画像復号化装置のフィルタ制御手段は、前記イントラ予測情報のうち予測ブロックサイズが所定のサイズより小さい場合には、前記空間フィルタを適用可と判定するものである。

この構成によれば、予測ブロックサイズが小さく、入力画像のテクスチャが細かい領域に対しては、フリッカの間接要因となっている擬似エッジノイズに対して、空間フィルタを適用することにより、擬似エッジを低減可能である。

また、本発明の画像復号化装置のフィルタ制御手段は、前記イントラ予測情報の現在のフレームと過去のフレームとの時間的変化を用いて、前記時間フィルタの適用可否を判定し、適用可と判定した場合は、前記時間または空間フィルタの特性を決定するものである。

この構成によれば、入力画像の時間的変化に連動するイントラ予測情報の時間的変化に基づいてフィルタ特性を制御することにより、入力画像の時間変動に応じたフィルタ処理を低演算量で処理可能である。

また、本発明の画像復号化装置のフィルタ制御手段は、前記イントラ予測情報のうち予測ブロックサイズが時間的に変化する場合には、前記時間フィルタを非適用と判定するものである。

この構成によれば、入力画像中の時間的変化が発生する領域では、時間フィルタを非適用とすることにより、入力画像中で残像が発生しやすい領域に対しては、時間フィルタによる残像発生を未然に防止することが可能である。

また、本発明に係る画像復号化装置のフィルタ制御手段は、前記イントラ予測情報のうちイントラ予測方向が時間的に変化する場合には、前記時間フィルタの強度を現在の強度より弱める、または前記時間フィルタを非適用と決定するものである。

この構成によれば、入力画像中のテクスチャが時間的に変化する領域では、時間フィルタの強度を弱めることにより、入力画像中で残像が発生しやすいテクスチャ変動領域に対しては、強度の時間フィルタに付随する残像発生を未然に防止することが可能である。

また、本発明に係る画像復号化装置のフィルタ制御手段は、現在のブロックと周辺ブロックおけるイントラ予測情報の空間的変化を利用して、時間あるいは空間フィルタの強度を制御する。

また、本発明に係る画像復号化装置のフィルタ制御手段は、前記イントラ予測情報の現在のブロックと周辺ブロックおける空間的変化を用いて、前記空間フィルタの強度を決定するものである。

この構成によれば、入力画像の空間的変化に連動するイントラ予測情報の空間的変化に基づいてフィルタ特性を制御することにより、入力画像の空間変動に応じたフィルタ処理を低演算量で処理可能である。

また、本発明に係る画像復号化装置のフィルタ制御手段は、前記イントラ予測情報のうちイントラ予測方向に空間的変化が存在する場合には、空間フィルタの強度を現在の強度より弱くする、または空間フィルタを非適用と決定するものである。

この構成によれば、入力画像の空間的変化に連動するイントラ予測情報の空間的変化がある入力画像のエッジ周辺では空間フィルタを弱めることにより、入力画像に存在するエッジ周辺における空間フィルタに付随するボケの発生を防ぐことが可能である。

また、本発明に係る画像復号化装置のフィルタ制御手段は、前記空間フィルタを適用可と判定した場合に、前記イントラ予測情報のうちイントラ予測方向に対して垂直方向の空間フィルタを決定するものである。

この構成によれば、イントラ予測の方向別に空間フィルタを制御することによって、イントラ予測によって発生しやすい擬似エッジを効果的に押さえることが可能である。

また、本発明に係る画像復号化装置のフィルタ制御部は、前記イントラ予測情報のうち予測ブロックサイズを用いて、空間的あるいは時間的に隣接する周辺ブロックの平均予測ブロックサイズと比較し、現在の予測ブロックサイズが前記平均予測ブロックサイズを逸脱する場合には、前記予測ブロックサイズを周辺ブロックの平均予測ブロックサイズに変更した後に、前記空間あるいは時間フィルタの適用を決定するものである。

この構成によれば、イントラ予測情報の時間的あるいは空間的ばらつきを考慮したフィルタ制御を行なうことが可能である。

また、本発明に係る画像復号化装置のフィルタ制御部は、前記イントラ予測情報のうち予測ブロックサイズを用いて、空間的あるいは時間的に隣接する周辺ブロックの平予測ブロックサイズと比較し、現在の予測ブロックサイズが前記平均予測ブロックサイズを逸脱するブロックに対しては、当該ブロックの予測方向が、空間的あるいは時間的に隣接する周辺ブロックのイントラ予測方向と類似するブロックの予測ブロックサイズを用いて予測ブロックサイズを変更した後に、前記空間あるいは時間フィルタの適用を決定するものである。

この構成によれば、イントラ予測情報のばらつきを考慮し、周辺ブロックにおけるフィルタ特性のばらつきによる違和感の発生を抑えたフィルタ制御を行なうことが可能である。

また、本発明に係る画像復号化装置のフィルタ制御部は、前記空間あるいは時間フィルタの適用・非適用が切り替わる境界領域では、前記空間あるいは時間フィルタの強度を線形補完するものである。

この構成によれば、ブロック境界において、空間的あるいは時間的にフィルタ特性の不連続性により発生する主観画質の低下を抑えることが可能である。

また、本発明に係る画像復号化方法は、圧縮符号化された画像ストリームを復号化する画像復号化装置が実行する画像復号化方法であって、前記画像ストリーム内からイントラ予測情報を復号化するエントロピ復号化ステップと、前記エントロピ復号化ステップによって復号化されたイントラ予測情報を用いて時間または空間フィルタの制御を行うフィルタ制御ステップと、画像ストリームを復号化して復号化画像を生成する復号化ステップと、フィルタ制御ステップが決定した時間または空間フィルタを用いて復号化画像に対してフィルタ処理を行うフィルタ処理ステップとを有している。

本発明によれば、符号化ストリームを復号化して得られ、入力画像の画像特性を示すイントラ予測情報を用いて、復号化画像に適用する時間・空間フィルタの特性を制御することにより、フリッカの発生要因である画像特性に適した特性のフィルタを施すことができるため、低演算量で残像発生のないフリッカ軽減を実現することが可能である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像復号化装置の構成を示すブロック図である。

図１に示す画像復号化装置１００は、エントロピ復号化部１０２、逆量子化・直交変換部１０３、イントラ補償部１０４、フィルタ制御部１０５、フィルタ処理部１０６を有し、入力部１０１と、出力部１０７に接続した構成を有している。

入力部１０１は、ネットワークあるいは記録媒体に接続し、画像符号化装置により圧縮符号化された符号化ストリームを１フレーム毎にエントロピ復号化部１０２に出力する。

エントロピ復号化部１０２は、入力部１０１より入力された符号化ストリームをエントロピ復号化し、ブロック毎のイントラ予測情報と符号化係数情報を生成し、イントラ予測情報をフィルタ制御部１０５とイントラ補償部１０４に出力し、符号化係数情報を逆量子化・直交変換部１０３に出力する。

逆量子化・直交変換部１０３は、エントロピ復号化部１０２より入力された符号化係数情報に対して逆量子化・直交変換処理を施し、イントラ予測の残余画像である復号化残余画像を生成しイントラ補償部１０４に出力する。

イントラ補償部１０４は、逆量子化・直交変換部１０３より入力された復号化残余画像とエントロピ復号化部１０２より入力されたイントラ予測情報を元に、内部メモリに格納された復号化画像を用いてイントラ補償処理を行い復号化画像を生成し、復号化画像をフィルタ処理部１０６に出力する。

フィルタ制御部１０５は、エントロピ復号化部１０２より入力されたイントラ予測情報を元に空間・時間フィルタの特性を決定し、決定したフィルタ特性をフィルタ処理部１０６に出力する。

フィルタ処理部１０６は、フィルタ制御部１０５より入力されたフィルタ特性を用いて、イントラ補償部１０４より入力された復号化画像に対して、空間・時間フィルタ処理を行い、フィルタ後の復号化画像を出力部１０７に出力する。

次いで、上記構成を有する画像復号化装置１００の動作について、図４に示すフロー図を用いて説明する。

なお、図２示すフロー図の動作は、画像復号化装置１００の図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、図示しないＣＰＵによって制御される。

＜ステップＳ２０１：ストリーム入力処理＞
まず入力部１０１は、ネットワークあるいは記録媒体に接続し、画像符号化装置により圧縮符号化された符号化ストリームを１フレーム毎にエントロピ復号化部１０２に出力する。

＜ステップＳ２０２：エントロピ復号化処理＞
次に、エントロピ復号化部１０２は、入力部１０１より入力された符号化ストリームをエントロピ復号化し、ブロック毎のイントラ予測情報と符号化係数情報を生成し、イントラ予測情報をフィルタ制御部１０５とイントラ補償部１０４に出力し、符号化係数情報を逆量子化・直交変換部１０３に出力する。

本実施の形態では、符号化ストリームの符号化方式として、Ｈ．２６４／ＡＶＣを想定しており、ここで言うブロック毎のイントラ予測情報とは、下記２つで構成されるものである。
（１）予測ブロックサイズ
イントラ予測処理を行う処理単位である。１６×１６ブロック、もしくは４×４ブロックの２種類が存在する。
（２）イントラ予測方向
イントラ予測処理において、予測方向を示すものである。ブロックサイズ毎に方向が異なり、１６×１６ブロックの場合４方向、４×４ブロックの場合は９方向が存在する。

＜ステップＳ２０３：ストリーム復号化処理＞
逆量子化・直交変換部１０３は、エントロピ復号化部１０２より入力された符号化係数情報に対して４×４ブロック毎に逆量子化・直交変換処理を施し、フレーム全体に対して復号化残余画像を生成し、復号化残余画像をイントラ補償部１０４に出力する。

イントラ補償部１０４は、逆量子化・直交変換部１０３より入力された復号化残余画像とエントロピ復号化部１０２より入力されたイントラ予測情報を元に、内部メモリに格納された復号化画像を用いて、４×４あるいは１６×１６ブロック毎にイントラ補償処理を行い、復号化画像を生成し、復号化画像をフィルタ処理部１０６に出力すると同時に、生成した復号化画像を用いて内部メモリの更新を行なう。

図３、図４および図５はイントラ予測情報、イントラ補償を示した概念図である。

図２において、３０１はフレームを表し、フレーム内を１６×１６画素の正方格子状のブロックが１６×１６ブロック３０２であり、１６×１６ブロック内において、４×４画素の正方格子状のブロックが４×４ブロック３０３である。

図３において、４０１は４×４ブロックのイントラ予測方向を示し、０から８の合計９方向が存在する。４０２は、復号化中の４×４ブロックを示し、４０４は左隣の復号化ブロック、４０３は上隣の復号化ブロックを示す。

イントラ予測符号化においては、Ａ〜Ｌの隣接ブロック中の復号化画素値を用いて、９方向の中でエントロピ復号化により得られた１つの予測方向へ画素を拡張することによりａ〜ｐの４×４予測画像ブロックを生成し、原画像の４×４ブロックと差分処理を行ない残余ブロックのみを符号化することで情報量を削減している。

復号化におけるイントラ補償処理においては、イントラ予測と同様に、予測方向と隣接画素を用いて４×４予測画像ブロックを生成し、４×４残余ブロックに加算処理することにより復号化画像を取得する。

なお、４０１における、２番の予測方向は方向を示すものではなく、Ａ〜Ｌの隣接画素全体の平均値を用いて予測画像ブロックを生成するものである。

図４において、５０1は１６×１６ブロックの予測方向を示し、０から３の合計４方向が存在する。５０２は、復号化中の１６×１６ブロックを示し、５０４は、左隣の復号化ブロック、５０３は上隣の復号化ブロックを示す。

イントラ予測、イントラ補償においては、４×４ブロックの処理と同様に、斜線の隣接画素を予測方向へ拡張して差分画像ブロックを生成し、差分もしくは加算処理を行う。

なお、予測方向５０１において、２番、３番の予測方向は方向を示すものではなく、斜線の隣接画素を用いて、全体の平均値あるいは対角の２画素の平均値を用いて予測画像を生成するものである。

＜ステップＳ２０４：フィルタ制御部＞
フィルタ制御部１０５は、エントロピ復号化部１０２より入力されたイントラ予測情報を元に空間・時間フィルタの特性を決定し、決定したフィルタ特性をフィルタ処理部１０６に出力する。

図６は、フィルタ制御処理のフローを示したものである。

まず、フィルタ制御部１０５は、イントラ予測情報の予測ブロックサイズを用いて、１６×１６ブロックであるかの判定処理を行う。

１６×１６ブロックである場合（ステップＳ６０１のＹＥＳに相当）には、処理を時間フィルタ制御に関係するステップＳ６０２に移動し、１６×１６ブロックでない場合（本実施の形態では、４×４ブロックの場合に相当：ステップＳ６０１のＮＯに相当）には、処理を空間フィルタ制御に関係するステップＳ６０４に移動する（ステップＳ６０１）。

次に、１６×１６ブロックと判定された場合は、イントラ予測情報の時間的変化を用いて時間フィルタの制御を行なう（ステップＳ６０２、Ｓ６０３）。ここで、イントラ予測情報の時間変化とは、１フレーム前の同一場所のブロックにおけるイントラ予測情報と、現在のブロックにおけるイントラ予測情報を比較し、予測ブロックサイズが変化している場合を指す。

予測ブロックサイズに変化が在る場合（ステップＳ６０２のＹＥＳに相当）には、時間フィルタをＯＦＦと決定し、変化がない場合（ステップＳ６０２のＮＯに相当）には、処理を時間フィルタ強度決定処理（ステップＳ６０３）に移動する（ステップＳ６０２）。

このように、予測ブロックサイズが時間的に変化する場合は、フレーム間でテクスチャが大きく変化している可能性が高く、時間フィルタをＯＦＦにすることにより、原画像の特性に合わせて、時間フィルタの課題である残像の発生を抑えたノイズ削減を行なうことが可能である。

次に、イントラ予測情報の時間変化を用いて、時間方向フィルタの強度決定を行なう（ステップＳ６０３）。ここでのイントラ予測情報の時間変化は、１フレーム前の同一場所のブロックにおける予測方向と、現在のブロックにおける予測方向を比較し、予測方向が変化している場合を指す。

予測方向に変化がない場合には、時間フィルタの強度を現在の強度より強く設定し、予測方向に変化が在る場合には、時間フィルタの強度を現在の強度より弱く設定する。

時間フィルタの強度としては、フィルタのタップ係数などを用いて制御可能である。例えば、数式１に時間フィルタの例を示す。

数式１において、F(X,t)は、座標Ｘ、フレーム番号ｔにおける画素値であり、F’はフィルタ後の画素値であり、Xは座標であり、ｔはフレーム番号であり、ｍ（上記タップ係数に相当）はＫ＞ｍを満たすフィルタ強度である。Ｋは正規化パラメータである。

数式１において、時間フィルタ強度が強くする場合には、mを大きく設定し、弱くする場合には、mを小さく設定することにより、時間フィルタの強度を制御することが可能になる。特に、強度を最大限に弱めた場合（数式１においてm=0の場合）は、時間フィルタを非適用とした場合と同じである。

なお、時間フィルタ強度の制御方法は上記方法に限らず、強度が制御できる方法であるならばいかなる方法も利用可能である。

このように、予測方向が時間的に変化する場合は、移動物体が現れた可能性が高く、時間フィルタの強度を弱めることにより、残像の発生を抑えたノイズ削減を行なうことが可能である。

また、予測ブロックサイズが大きく、予測方向が時間的に変換しない場合には、入力画像が平坦かつ静止しており、フリッカの発生確率が高い領域であるため、強い時間フィルタを適用することにより、効率よくフリッカの削減を行なうことが可能である。また、予測方向の時間的変化の判定処理はサイズを比較するだけの低演算量で実現可能である。

続いて、ステップＳ６０１の判定で１６×１６ブロックでない（すなわち４×４ブロックに相当）と判定された場合のフィルタ処理部１０６の動作を説明する（ステップＳ６０４、Ｓ６０５）。まず、イントラ予測情報の空間変化判定処理を行う（ステップＳ６０４）。ここでは、空間フィルタのＯＦＦ判定を行なう。すなわち、４×４ブロックの周辺ブロックの予測方向と、現在の４×４ブロックの予測方向を比較し、予測方向が周辺の方向と異なる場合（ステップＳ６０４のＹＥＳに相当）には、空間方向のフィルタをＯＦＦとする。

なお、周辺ブロックの予測方向の変化量を用いて、変化量が大きくなるにつれて、空間方向のフィルタの強度を段階的に弱めていき、最終的にはＯＦＦと設定することも可能である。例えば、空間方向のフィルタ強度は１次元ローパスフィルタのカットオフ周波数を用いて制御することが可能である。

イントラ予測では予測方向情報の符号化において、周辺ブロックの予測方向との差分情報を符号化するため周辺ブロックと類似の予測方向が決定されやすい。このため、周辺の予測方向と比較し異なる場合には、原画像に本来のエッジが含まれている可能性が高いため、空間フィルタをＯＦＦとすることにより、エッジのボケを防ぐことが可能である。逆に空間変化がない場合（ステップＳ６０４のＮＯに相当）には、処理をステップＳ６０５に移動する。

空間フィルタの方向を決定する（ステップＳ６０５）。具体的には、イントラ予測情報のうち、予測方向を用いて、空間フィルタの適用方向として、予測方向と垂直の方向を決定する。例えば、図３の３０１予測方向において、予測方向が１番の水平予測の場合には、空間フィルタとして、垂直方向の１次元ローパスフィルタを使用し、０番の垂直予測の場合には、空間フィルタとして水平方向の１次元ローパスフィルタを使用するものとする。

イントラ予測においては、予測方向に応じて符号化ノイズである擬似エッジの発生方向に偏りがあるため、予測方向に対して垂直の１次元フィルタを適用することにより、擬似エッジを効率よく削減することが可能である。なお、空間フィルタは方向を有する１次元フィルタに限定されるものではなく、予測方向に発生する擬似エッジを削減可能なフィルタであればいかなるフィルタも利用可能である。

以上が、フィルタ制御の処理フローである。このように、フィルタ制御部１０５は、全ブロックに対して、フィルタ特性（時間・空間フィルタの適用・非適用情報、フィルタ強度情報）を決定し、決定したフィルタ特性をフィルタ処理部１０６へ出力する。

なお、画像復号化装置１００のフィルタ制御部１０５は、空間的あるいは時間的に隣接する周辺ブロックの平均ブロックサイズを算出し、平均ブロックサイズと比較し、ブロックサイズが逸脱するブロックに対しては、空間的あるいは時間的に隣接する周辺ブロックのイントラ予測方向が類似するブロックのブロックサイズを用いてブロックサイズを変更した後に、空間あるいは時間フィルタの適用を決定することも可能である。これにより、イントラ予測情報のばらつきを考慮し、周辺ブロックにおけるフィルタ特性のばらつきによる違和感の発生を抑えたフィルタ制御を行なうことが可能である。例えば、予測方向の類似度は、図４における、４０１イントラ予測方向を示すモード番号値が近いか否かで判別することが可能である。

さらに、画像復号化装置１００のフィルタ制御部１０５は、空間あるいは時間フィルタのＯＮ／ＯＦＦが切り替わる境界領域では、フィルタの強度を線形補完することも可能である。これにより、空間的あるいは時間的にフィルタ特性の不連続性により発生する主観画質の低下を抑えることが可能である。例えば、フィルタ強度の線形補完方法として、フィルタがＯＮからＯＦＦに変わる境界では、数式１において強度を表すmの値を段階的に０に変更していくこと方法が挙げられる。

続いて、フィルタ処理を行う（ステップＳ２０５）。フィルタ処理部１０６は、フィルタ制御部１０５より入力されたフィルタ特性と内部メモリに格納された１フレーム前の画像を用いて、イントラ補償部１０４より入力される復号化画像に対して、時間・空間フィルタを適用し、フィルタ後の復号化画像を出力部１０７に出力するとともに、フィルタ前の復号化画像を内部メモリに格納する。

最後に終了判定を行う（ステップＳ２０７）。すなわち、全画像の符号化ストリームを処理したか否かを判定し、全て処理した場合は、処理を終了し、そうでない場合は、処理をステップＳ２０１へ移動する。

以上が、本実施形態の画像復号化装置の動作説明である。

以上のように本実施の形態では、画像復号化装置１００のフィルタ制御部１０５は、イントラ予測情報を用いて、復号化画像に適用する時間または空間フィルタのフィルタ特性を制御することによって、原画像の特性にあったノイズ削減のためのフィルタ特性を低演算量で決定可能である。

また本実施の形態では、画像復号化装置１００のフィルタ制御部１０５は、イントラ予測情報のうち予測ブロックサイズを用いて空間あるいは時間フィルタの適用を判定することにより、ブロックサイズに応じてフィルタの制御を行うため、入力画像の平坦さに応じたフィルタ制御を低演算量で実現することが可能である。

また本実施の形態では、画像復号化装置１００のフィルタ制御部１０５は、イントラ予測情報のうち予測ブロックサイズが大きい場合（本実施の形態では１６×１６ブロックに相当）には、時間フィルタを適用と決定することによって、ブロックサイズが大きく、入力画像が平坦であり主観画質を低下させるフリッカが発生しやすい領域に対して、時間フィルタを適用することにより、フリッカを適応的に低減することが可能である。

また本実施の形態では、画像復号化装置１００のフィルタ制御部１０５は、イントラ予測情報のうち予測ブロックサイズが小さい場合（本実施の形態では４×４ブロックに相当）には、空間フィルタの適用を決定することにより、ブロックサイズが小さく、入力画像のテクスチャが細かい領域に対しては、フリッカの間接要因となっている擬似エッジノイズに対して、空間フィルタを適用することにより、擬似エッジを低減することが可能である。

また本実施の形態では、画像復号化装置１００のフィルタ制御部１０５は、現在のフレームと過去のフレームにおけるイントラ予測情報の時間的変化を利用して、時間あるいは空間フィルタの強度を制御することにより、入力画像の時間的変化に連動するイントラ予測情報の時間的変化に基づいてフィルタ特性を制御することにより、入力画像の時間変動に応じたフィルタ処理を低演算量で処理することが可能である。

また本実施の形態では、画像復号化装置１００のフィルタ制御部１０５は、現在のフレームと過去のフレームにおけるイントラ予測情報におけるブロックサイズが時間的に変化する場合には、時間フィルタをＯＦＦと決定することにより、入力画像中の時間的変化が発生し時間フィルタにより残像が発生しやすい領域に対しては、残像発生を未然に防止することが可能である。

また本実施の形態では、画像復号化装置１００のフィルタ制御部１０５は、現在のフレームと過去のフレームにおけるイントラ予測情報におけるイントラ予測方向が時間的に変化する場合には、時間フィルタの強度を弱めることにより、入力画像中のテクスチャが時間的に変化し時間フィルタにより残像が発生しやすい領域に対しては、残像発生を未然に防止することが可能である。

また本実施の形態では、画像復号化装置１００のフィルタ制御部１０５は、現在のブロックと周辺ブロックおけるイントラ予測情報の空間的変化を利用して、時間あるいは空間フィルタの強度を制御することにより、入力画像の空間的変化に連動するイントラ予測情報の空間的変化を利用するため、入力画像の空間変動に応じたフィルタ処理を低演算量で処理することが可能である。

また本実施の形態では、画像復号化装置１００のフィルタ制御部１０５は、現在のブロックと周辺ブロックおけるイントラ予測情報におけるイントラ予測方向に空間的変化が存在する場合には、空間フィルタの強度を弱くすることにより、イントラ予測情報の空間的変化がある入力画像のエッジ周辺では空間フィルタを弱めるため、入力画像に存在する本来のエッジ周辺における空間フィルタを適用した場合のボケの発生を防ぐことが可能である。

また本実施の形態では、画像復号化装置１００のフィルタ制御部１０５は、イントラ予測情報のうちイントラ予測方向を用いて、予測方向に対して垂直方向の空間フィルタの適用を決定することにより、イントラ予測によって発生しやすい方向の擬似エッジを効果的に押さえることが可能である。

また本実施の形態では、画像復号化装置１００のフィルタ制御部１０５は、イントラ予測情報のうちブロックサイズ情報を用いて、空間的あるいは時間的に隣接する周辺ブロックの平均ブロックサイズを用いて、ブロックサイズを変更した後に、空間あるいは時間フィルタの適用を決定するため、イントラ予測情報のばらつきを考慮し、周辺ブロックにおけるフィルタ特性のばらつきによる違和感の発生を抑えたフィルタ制御を行なうことが可能である。

また本実施の形態では、画像復号化装置１００のフィルタ制御部１０５は、空間あるいは時間フィルタのＯＮ／ＯＦＦが切り替わる境界領域では、フィルタの強度を線形補完するため、空間的あるいは時間的にフィルタ特性の不連続性により発生する主観画質の低下を抑えることが可能である。

本発明に係る画像復号化装置は、符号化ストリームから得られるイントラ予測情報を用いて、復号化画像に適用する時間または空間フィルタの特性を制御することにより、入力画像特性に合ったフィルタ特性を低演算量で算出し、残像発生のないフリッカ軽減を行なうことが可能であり、カメラ台数が多く高圧縮が必要とされる監視カメラシステムにおける画像復号化装置においては特に有用である。

実施の形態１に係る画像復号化装置の構成を示すブロック図 実施の形態１に係る画像復号化処理を示すフロー図 実施の形態１に係るイントラ予測情報のブロックサイズを示す概念図 実施の形態１に係るイントラ予測情報の４×４ブロックの予測方向を示す概念図 実施の形態１に係るイントラ予測情報の１６×１６ブロックの予測方向を示す概念図 実施の形態１に係るフィルタ制御処理を示すフロー図 従来技術の画像復号化装置の構成を表すブロック図 従来技術のフリッカ軽減装置の構成を表すブロック図

符号の説明

１００ 画像復号化装置
１０１ 入力部
１０２ エントロピ復号化部
１０３ 逆量子化・直交変換部
１０４ イントラ補償部
１０５ フィルタ制御部
１０６ フィルタ処理部
１０７ 出力部
３０１ フレーム
３０２ １６×１６ブロック
３０３ ４×４ブロック
４０１ ４×４ブロックの予測方向
４０２ ４×４ブロック
４０３，４０４ 隣接４×４ブロック
５０１ １６×１６ブロックの予測方向
５０２ １６×１６ブロック
５０３，５０４ 隣接１６×１６ブロック
７００ 画像復号化装置
７０１，１３０１ 入力部
７０２ エントロピ復号化部
７０３，７０６ 逆量子化・直交変換部
７０４ イントラ補償部
７０５ 直交変換・量子化部
７０７，１３０７ 出力部
８００ フリッカ軽減装置
８０２ 時間メディアンフィルタ部
８０３，８０６ 加算部
８０４ 空間メディアンフィルタ部
８０５ コアリングフィルタ部

Claims (14)

1. 圧縮符号化された画像ストリームを復号化する画像復号化装置であって、
   前記画像ストリーム内からイントラ予測情報を復号化するエントロピ復号化手段と、
   前記エントロピ復号化手段によって復号化されたイントラ予測情報を用いて時間または空間フィルタを決定するフィルタ制御手段と、
   画像ストリームを復号化して復号化画像を生成する復号化手段と、
   フィルタ制御手段が決定した前記時間または空間フィルタを用いて復号化画像に対してフィルタ処理を行うフィルタ処理手段と、
   を有する画像復号化装置。
2. 前記フィルタ制御手段は、前記イントラ予測情報のうち予測ブロックサイズを用いて空間あるいは時間フィルタの適用可否を判定し、適用可と判定した場合は、前記空間または時間フィルタの特性を決定する請求項１に記載の画像復号化装置。
3. 前記フィルタ制御手段は、前記イントラ予測情報のうち予測ブロックサイズが所定のサイズより大きい場合には、時間フィルタを適用可と判定する請求項２に記載の画像復号化装置。
4. 前記フィルタ制御手段は、前記イントラ予測情報のうち予測ブロックサイズが所定のサイズより小さい場合には、前記空間フィルタを適用可と判定する請求項２に記載の画像復号化装置。
5. 前記フィルタ制御手段は、前記イントラ予測情報の現在のフレームと過去のフレームとの時間的変化を用いて、前記時間フィルタの適用可否を判定し、適用可と判定した場合は、前記時間または空間フィルタの特性を決定する請求項１に記載の画像復号化装置。
6. 前記フィルタ制御手段は、前記イントラ予測情報のうち予測ブロックサイズが時間的に変化する場合には、前記時間フィルタを非適用と判定する請求項５に記載の画像復号化装置。
7. 前記フィルタ制御手段は、前記イントラ予測情報のうちイントラ予測方向が時間的に変化する場合には、前記時間フィルタの強度を現在の強度より弱める、または前記時間フィルタを非適用と決定する請求項５に記載の画像復号化装置。
8. 前記フィルタ制御手段は、前記イントラ予測情報の現在のブロックと周辺ブロックおける空間的変化を用いて、前記空間フィルタの強度を決定する請求項１に記載の画像復号化装置。
9. 前記フィルタ制御手段は、前記イントラ予測情報のうちイントラ予測方向に空間的変化が存在する場合には、空間フィルタの強度を現在の強度より弱くする、または空間フィルタを非適用と決定することを特徴とする請求項８に記載の画像復号化装置。
10. 前記フィルタ制御手段は、前記空間フィルタを適用可と判定した場合に、前記イントラ予測情報のうちイントラ予測方向に対して垂直方向の空間フィルタを決定する請求項４に記載の画像復号化装置。
11. 前記フィルタ制御部は、前記イントラ予測情報のうち予測ブロックサイズを用いて、空間的あるいは時間的に隣接する周辺ブロックの平均予測ブロックサイズと比較し、現在の予測ブロックサイズが前記平均予測ブロックサイズを逸脱する場合には、前記予測ブロックサイズを周辺ブロックの平均予測ブロックサイズに変更した後に、前記空間あるいは時間フィルタの適用を決定する請求項２に記載の画像復号化装置。
12. 前記フィルタ制御部は、前記イントラ予測情報のうち予測ブロックサイズを用いて、空間的あるいは時間的に隣接する周辺ブロックの平予測ブロックサイズと比較し、現在の予測ブロックサイズが前記平均予測ブロックサイズを逸脱するブロックに対しては、当該ブロックの予測方向が、空間的あるいは時間的に隣接する周辺ブロックのイントラ予測方向と類似するブロックの予測ブロックサイズを用いて予測ブロックサイズを変更した後に、前記空間あるいは時間フィルタの適用を決定する請求項２に記載の画像復号化装置。
13. 前記フィルタ制御部は、前記空間あるいは時間フィルタの適用・非適用が切り替わる境界領域では、前記空間あるいは時間フィルタの強度を線形補完することを特徴とする請求項２に記載の画像復号化装置。
14. 圧縮符号化された画像ストリームを復号化する画像復号化装置が実行する画像復号化方法であって、
    前記画像ストリーム内からイントラ予測情報を復号化するエントロピ復号化ステップと、
    前記エントロピ復号化ステップによって復号化されたイントラ予測情報を用いて時間または空間フィルタの制御を行うフィルタ制御ステップと、
    画像ストリームを復号化して復号化画像を生成する復号化ステップと、
    フィルタ制御ステップが決定した時間または空間フィルタを用いて復号化画像に対してフィルタ処理を行うフィルタ処理ステップと、
    を有する画像復号化方法。

Images