JP4049052B2

JP4049052B2 - ブロック歪低減装置、ブロック歪低減方法、及びブロック歪低減用プログラム

Info

Publication number: JP4049052B2
Application number: JP2003298309A
Authority: JP
Inventors: 孝森重
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2003-08-22
Filing date: 2003-08-22
Publication date: 2008-02-20
Anticipated expiration: 2023-08-22
Also published as: JP2005072824A

Description

本発明は、ブロック単位符号化方式により圧縮符号化された画像データを復号し、その復号画像データをフォーマット変換して得られた画像データに対しても、圧縮符号化時に発生したブロック歪み（ブロックノイズ）を的確に低減するブロック歪低減装置、ブロック歪低減方法、及びブロック歪低減用プログラムに関する。

MPEG（Moving Pictures Expert Group）規格などの画像圧縮符号化では、一定サイズのブロック（所定数の画素からなるブロック）に画像を分割し、DCT（Discrete Cosine Transform）等を用いてブロック単位に変換符号化を行う方式（ブロック単位符号化方式）が使用されている。ブロック単位符号化の場合、高圧縮時に量子化誤差によってブロック歪み（ブロックノイズ）が発生しやすい（ブロック歪みが発生すると、復号した場合にブロック境界が歪みとなって見える）。このブロック歪みを低減するために、ブロック歪みが発生するブロック境界にノイズ軽減フィルタを施すことが提案されている。

また、高圧縮を実現するために、符号化時に画素を間引く場合がある。この場合、一般に、再生時に間引き画素を補間（フォーマット変換）して出力する。例えば、入力画像サイズ704x480を水平方向1/2に間引き、画像サイズ352x480で符号化を行い、再生時に間引き画素を補間して画像サイズ704x480で出力する。これにより、解像感は犠牲になるが、符号量を抑えることができる。回路構成などの制約条件により、フォーマット変換後にブロック歪み軽減処理を行わなければならない場合、前記ノイズ軽減フィルタでは、フォーマット変換によるブロック境界の位置ずれの影響、及び補間作業によるブロック歪み形状変化の影響を受け、ノイズ軽減効果を上げることができない。

そこで、特開平10-191329に記載の発明では、変換されたブロック境界をフォーマット変換情報を用いて特定し、特定されたブロック境界対象画素に対しフィルタ処理を施すことでフォーマット変換後のブロック歪みを軽減する装置が提供されている。

この方式のブロック図を図11に示す。入力端子111より入力されたブロック単位符号化方式による画像圧縮データは、デコーダ部112により画像データに復号される。フォーマット変換部113では、フォーマット情報信号に従い、入力画像データに対しフォーマット変更を行う。例えば、画像サイズ352x480を画像サイズ704x480にフォーマット変換する場合、水平方向に対し図2に示すように変換前2画素から3画素が補間作成される。これにより、図3に示すようにブロック境界を挟む2画素(b,c)はフォーマット変換により5画素(A,B,C,D,E)に影響を及ぼす。ブロック境界検出部114は、フォーマット情報信号を元にブロック境界の影響を受けるフォーマット変換後画素を検出する。ノイズ低減部115ではブロック境界検出部114の情報を元にブロック境界の影響を受けるフォーマット変換後画素に対し同一のフィルタ処理を施すことで、ブロック歪みの軽減を行う。
特開平１０−１９１３２９号公報

しかしながら、特開平10-191329ではブロック境界の影響を受けるフォーマット変換後画素に対し、同一のフィルタ処理を行う。図3において、同一のフィルタを用いるフィルタ処理対象画素となるフォーマット変換後画素はA〜Eである。画素A〜Eのうち、A,BとD,Eとはそれぞれ変換前の同ブロック内画素の影響(変換後画素A,Bは変換前画素a,bの影響、変換後画素D,Eは変換前画素c,dの影響)を強く受けた画素である。また、Cはブロック境界を挟む2画素（b-c）の影響、即ち異なるブロックの2画素の影響を強く受けた画素であり、変換前のブロック境界位置と重なる配置となる。これらすべてのフォーマット変換後画素を同等に扱い、同一のフィルタ処理を施すことはボケ感の増大、不連続性など悪影響を及ぼす。

また、画像サイズ544x480を画像サイズ720x480にフォーマット変換する場合、水平方向に対し図5のように変換前4画素から5画素が補間作成される。ブロックサイズ8x8の場合、フォーマット変換前とフォーマット変換後のブロック境界位置の対応は図8〜図10のように3種類の位相状態を持ち、一定の周期で出現する。これらのブロック境界位置の3種類の位相状態はそれぞれ異種であり、これらすべてに対して同一のフィルタ処理を施すことは不連続感など悪影響を及ぼす。

本発明は、ブロック単位符号化により符号化された画像データを復号して得た再生画像データばかりでなく、その復号画像データをフォーマット変換して得た再生画像データに対しても、再生画像に悪影響を与えることなく的確にブロック歪みの低減を行うことができるブロック歪低減装置、ブロック歪低減方法、及びブロック歪低減用プログラムを提供することを目的とする。

そこで、上記課題を解決するために本発明は、下記の装置、方法、及びプログラムを提供するものである。
（１）所定数の画素からなるブロックを符号化の単位とするブロック単位符号化方式により圧縮符号化された画像データを復号し、その復号画像データをフォーマット変換して得られた画像データが入力され、その入力画像データにおけるブロック境界周辺の画像データに対してフィルタ処理を行って、ブロック歪を低減するブロック歪低減装置であって、
フォーマット変換後の画像データである前記入力画像データにおける各ブロック境界の位置を示すブロック境界位置情報と前記各ブロック境界の画素に対する位置関係を示すブロック境界位置位相情報とを、前記フォーマット変換に関するフォーマット変換情報に基づき算出するブロック境界算出手段（１４）と、
前記ブロック境界算出手段から供給される各前記ブロック境界位置位相情報に応じて、前記ブロック境界の位置が画素に重ならない位置関係であれば、当該ブロック境界の位置を挟む画素組を用いてブロック歪み検出を行い、当該ブロック境界の位置を挟む第１の所定範囲の画素に対してブロック歪み検出結果に応じたローパスフィルタ処理を行うと共に、前記ブロック境界の位置が画素に重なる位置関係であれば、当該ブロック境界と重なる画素の両隣の画素を画素組として用いてブロック歪み検出を行い、当該ブロック境界の位置と重なる画素及び当該ブロック境界の位置周辺の第２の所定範囲の画素に対してブロック歪み検出結果に応じたローパスフィルタ処理を行うノイズ低減手段（１５）と、
を有することを特徴とするブロック歪低減装置。
（２）所定数の画素からなるブロックを符号化の単位とするブロック単位符号化方式により圧縮符号化された画像データを復号し、その復号画像データをフォーマット変換して得られた画像データを入力画像データとし、前記入力画像データにおけるブロック境界周辺の画像データに対してフィルタ処理を行って、ブロック歪を低減するブロック歪低減方法であって、
フォーマット変換後の画像データである前記入力画像データにおける各ブロック境界の位置を示すブロック境界位置情報と前記各ブロック境界の画素に対する位置関係を示すブロック境界位置位相情報とを、前記フォーマット変換に関するフォーマット変換情報に基づき算出するブロック境界算出手順と、
前記ブロック境界算出手順で得られた各前記ブロック境界位置位相情報に応じて、前記ブロック境界の位置が画素に重ならない位置関係であれば、当該ブロック境界の位置を挟む画素組を用いてブロック歪み検出を行い、当該ブロック境界の位置を挟む第１の所定範囲の画素に対してブロック歪み検出結果に応じたローパスフィルタ処理を行うと共に、前記ブロック境界の位置が画素に重なる位置関係であれば、当該ブロック境界と重なる画素の両隣の画素を画素組として用いてブロック歪み検出を行い、当該ブロック境界の位置と重なる画素及び当該ブロック境界の位置周辺の第２の所定範囲の画素に対してブロック歪み検出結果に応じたローパスフィルタ処理を行うノイズ低減手順と、
を有することを特徴とするブロック歪低減方法。
（３）所定数の画素からなるブロックを符号化の単位とするブロック単位符号化方式により圧縮符号化された画像データを復号し、その復号画像データをフォーマット変換して得られた画像データを入力画像データとし、前記入力画像データにおけるブロック境界周辺の画像データに対してフィルタ処理を行って、ブロック歪を低減するブロック歪低減機能をコンピュータに実現させるためのブロック歪低減用プログラムであって、
フォーマット変換後の画像データである前記入力画像データにおける各ブロック境界の位置を示すブロック境界位置情報と前記各ブロック境界の画素に対する位置関係を示すブロック境界位置位相情報とを、前記フォーマット変換に関するフォーマット変換情報に基づき算出するブロック境界算出手段と、
前記ブロック境界算出手段で得られた各前記ブロック境界位置位相情報に応じて、前記ブロック境界の位置が画素に重ならない位置関係であれば、当該ブロック境界の位置を挟む画素組を用いてブロック歪み検出を行い、当該ブロック境界の位置を挟む第１の所定範囲の画素に対してブロック歪み検出結果に応じたローパスフィルタ処理を行うと共に、前記ブロック境界の位置が画素に重なる位置関係であれば、当該ブロック境界と重なる画素の両隣の画素を画素組として用いてブロック歪み検出を行い、当該ブロック境界の位置と重なる画素及び当該ブロック境界の位置周辺の第２の所定範囲の画素に対してブロック歪み検出結果に応じたローパスフィルタ処理を行うノイズ低減手段として、コンピュータを機能させるためのブロック歪低減用プログラム。

本発明によれば、ブロック単位符号化により符号化された画像データを復号して得た再生画像データばかりでなく、その復号画像データをフォーマット変換して得た再生画像データに対しても、再生画像に悪影響を与えることなく的確にブロック歪みの低減を行うことができる

以下、この発明によるブロック歪み低減装置の実施形態について、図を参照しながら説明する。

図1は、この発明によるブロック歪み低減装置を組み込んだMPEGデコーダである。入力端子11よりMPEGビットストリームが入力される。入力されたMPEGビットストリームはMPEGデコーダ12によって、逆量子化、逆DCTなどの処理が行われ、画像データが復元（復号）される。

復元された画像データは、フォーマット情報信号に従いフォーマット変換部13によってフォーマット変換が行われる。図2〜図10に代表的なフォーマット変換による画素補間例を示す。また、フォーマット変換が不要の場合は、画像データに変更は行われずそのまま出力される。

ブロック境界位相算出部14では、フォーマット変換情報を元にフォーマット変換に対応したブロック境界位置情報及びブロック境界位置位相情報を出力する。ノイズ軽減部15では、フォーマット変換部13でフォーマット変換された画像データに対し、ブロック境界位相算出部14からのブロック境界位置情報及びブロック境界位置位相情報を元にフィルタを適応的に切り換えることでブロック歪みの軽減を行う。以上の過程を経て、出力端子16よりブロック歪みが軽減された再生画像が出力される。

以下にてブロック境界位相算出部14およびノイズ軽減部15について詳細に説明する。ブロック境界位相算出部14では、フォーマット変換情報を元にフォーマット変換に対応したブロック境界位置情報及びブロック境界位置位相情報を出力する。例えば、画像サイズ352x480を画像サイズ704x480にフォーマット変換する場合、水平方向に対し図2のように変換前2画素から3画素が補間作成される。ブロックサイズ8x8の場合、フォーマット変換前とフォーマット変換後のブロック境界位置の対応は図4のようになる。

フォーマット変換前のブロック境界位置は、16画素単位で出現しフォーマット変換後の補間画素上に重なる配置となる。この補間画素は、フォーマット変換前のブロック境界を挟む2画素の影響を均等に受けた画素である（図３で説明したように、補間画素Cはブロック境界を挟む2画素（b-c）の影響を均等に受けた画素である）。よって、ブロック境界に歪みを生じていた場合でも、画素補間作業により歪みが弱まる傾向にある。

また、フォーマット変換前のブロック境界がフォーマット変換後の補間画素に重なってしまうことから、フォーマット変換後にはブロック境界を挟む画素組が存在しないこととなる。

一方、画像サイズ480x480を画像サイズ720x480にフォーマット変換する場合、水平方向に対し図5のように変換前3画素から4画素が補間作成される。ブロックサイズ8x8の場合、フォーマット変換前とフォーマット変換後のブロック境界位置の対応は図6のようになる。

フォーマット変換前のブロック境界位置は、12画素単位で出現しフォーマット変換後の中央ではないが特定の補間画素間に位置する。この場合、フォーマット変換前のブロック境界を挟むフォーマット変換後補間画素組は、フォーマット変換前ブロック境界を挟む2画素の影響を受けているものの、その影響は均等では無い。よって、フォーマット変換前のブロック境界に歪みを生じていた場合は、フォーマット変換後でもブロック境界に対応する補間画素間にその歪みが存在する傾向にある。

また、画像サイズ544x480を画像サイズ720x480にフォーマット変換する場合、水平方向に対し図7のように変換前4画素から5画素が補間作成される。ブロックサイズ8x8の場合、フォーマット変換前とフォーマット変換後のブロック境界位置の対応は図8〜図10のように、フォーマット変換前のブロック境界がフォーマット変換後の補間画素に重なる場合1種類、重ならない場合2種類の計3種類の位相関係を持ち、一定の周期で出現する。

以上のように、フォーマット変換情報により、フォーマット変換後のブロック境界位置およびその位相状態は変化する。ブロック境界位相算出部14では、フォーマット変換情報を元にフォーマット変換に対応したブロック境界位置情報及びブロック境界位置位相情報を出力する。

ノイズ軽減部15では、フォーマット変換部13でフォーマット変換された画像データに対し、ブロック境界位相算出部14からの情報を元にブロック境界位置情報及びブロック境界位置位相情報を元にフィルタを適応的に切り換えることでブロック歪みの軽減を行う。例えば、ブロック境界を挟む2画素の画素差分絶対値を用いて歪み検出を行い、歪み検出の結果に応じてブロック歪み軽減フィルタを適用する、ブロック歪み軽減手法を用いる場合を次に示す。

ブロック歪みはブロック境界間でギャップが存在することから目立つ。よって、ブロック境界を挟む2画素の画素絶対差分値が所定値よりも大きい場合に歪みが存在すると考えられる。そこで、ブロック境界を挟む2画素の画素絶対差分値の大きさによりブロック歪みの検出を行う。このように検出したブロック歪み部分にのみブロック歪み軽減フィルタを施すようにすることで、不要な部分へフィルタ処理を施す恐れが無く、的確なフィルタ処理が可能となる。

フォーマット変換後の画像において、ブロック境界位置がフォーマット変換後の補間画素に重ならない位相状態であれば、ブロック境界を挟む補間画素組が存在するため、図14に示すように、ブロック境界を挟む補間画素組（B-C）を用いてブロック歪み検出を行うことができる。また、ブロック歪みが検出された場合、ブロック境界位置を挟む周辺4画素（A〜D）に対し、LPFを施すことにより、図16のように歪みを軽減することができる。図16に黒丸で示すものが歪み軽減後の特性である。（フォーマット変換を行わない再生画像に対するブロック歪み軽減処理は、ブロック境界位置の位相状態が画素に重ならない状態であるので、この場合と同様の処理を行う。）
しかしながら、ブロック境界位置がフォーマット変換後の補間画素に重なる位相状態であれば、ブロック境界を挟む補間画素組が存在せず、ブロック境界を挟む2画素の画素絶対差分値を用いたブロック歪み検出を行うことができない。そこで、図13に示すように、ブロック境界位置がフォーマット変換後の補間画素に重なる位相状態では、ブロック境界が重なる補間画素の両隣の画素（B-D）をブロック境界を挟む2画素の代用としてブロック歪み検出に用いる。また、歪みが検出された場合、ブロック境界位置及び周辺5画素（A〜E）に対し、LPFを施すことにより、図15のように歪みを軽減することができる。図15に黒丸で示すものが歪み軽減後の特性である。

このように、ブロック境界位置の位相状態によりブロック歪み軽減処理を切り換えることで、フォーマット変換後の画像においても、フォーマット変換に対応した的確なブロック歪み軽減処理を行うことができる。

本発明による装置は、上記のようにブロック単位符号化方式により符号化された画像データを再生する機器に組み込んで使用することの他に、既存の機器が出力するブロックノイズを含む復元画像データを入力とする独立したブロックノイズ低減装置として使用することも可能である。

また、本発明は、ソフトウェアによる実現も可能であり、DSP（デジタルシグナルプロセッサ）等による実現も可能である。即ち、本発明は上述したブロック歪低減機能をコンピュータに実現させるためのブロック歪低減用プログラムを含むものである。

図12に本発明のブロック歪低減用プログラムの一実施例を適用したデジタル画像データ再生プログラムのフローチャートを示す。図12に示すの動作が開始されると、まず、ステップ121にて符号化データの入力を受け付け、ステップ122にて入力符号化データは復号化処理により画像データに復元される。復元された画像データは、ステップ123にてフォーマット変換が行われる。次に、ステップ124にてフォーマット変換情報を元にフォーマット変換に対応したブロック境界位置情報及びブロック境界位置位相情報が算出される。

そして、ステップ125にてフォーマット変換された画像データに対し、ブロック境界位置情報及びブロック境界位置位相情報を元にフィルタを切り換え適用することでブロック歪みの軽減が行われる。最後に、ステップ126にてブロック歪みが軽減された再生画像データが出力される。

なお、このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

また、図１に示すデコーダ１２の前段に受信インタフェースを設け、本発明実施例を適用したMPEGデコーダを、ストリーム等で伝送されてくる画像データを受信する受信装置として構成してもよい。

本発明の一実施例を適用したMPEGデコーダを示すブロック図である。画像サイズ352x480を画像サイズ704x480にフォーマット変換する場合における水平方向の画素補間例を示す図である。画像サイズ352x480を画像サイズ704x480にフォーマット変換した場合におけるフォーマット変換前後のブロック境界周辺の対応図である。画像サイズ352x480を画像サイズ704x480にフォーマット変換した場合におけるフォーマット変換前後のブロック境界周辺の対応図である。画像サイズ480x480を画像サイズ720x480にフォーマット変換する場合における水平方向の画素補間例を示す図である。画像サイズ480x480を画像サイズ720x480にフォーマット変換した場合におけるフォーマット変換前後のブロック境界周辺の対応図である。画像サイズ544x480を画像サイズ720x480にフォーマット変換する場合における水平方向の画素補間例を示す図である。画像サイズ544x480を画像サイズ720x480にフォーマット変換した場合におけるフォーマット変換前後のブロック境界周辺の対応図である。画像サイズ544x480を画像サイズ720x480にフォーマット変換した場合におけるフォーマット変換前後のブロック境界周辺の対応図である。画像サイズ544x480を画像サイズ720x480にフォーマット変換した場合におけるフォーマット変換前後のブロック境界周辺の対応図である。従来のブロック歪軽減装置を示すブロック図である。本発明の一実施例を適用したデジタル画像データ再生プログラムのフローチャートである。ブロック境界が重なる場合のフィルタ対象画素を示す図である。ブロック境界が重ならない場合のフィルタ対象画素を示す図である。ブロック境界が重なる場合のブロック境界周辺に対するフィルタ処理のイメージ図である。ブロック境界が重ならない場合のブロック境界周辺に対するフィルタ処理のイメージ図である。

符号の説明

１２ MPEGデコーダ
１３フォーマット変換部
１４ブロック境界位相算出部
１５ノイズ軽減部

Claims

所定数の画素からなるブロックを符号化の単位とするブロック単位符号化方式により圧縮符号化された画像データを復号し、その復号画像データをフォーマット変換して得られた画像データが入力され、その入力画像データにおけるブロック境界周辺の画像データに対してフィルタ処理を行って、ブロック歪を低減するブロック歪低減装置であって、
フォーマット変換後の画像データである前記入力画像データにおける各ブロック境界の位置を示すブロック境界位置情報と前記各ブロック境界の画素に対する位置関係を示すブロック境界位置位相情報とを、前記フォーマット変換に関するフォーマット変換情報に基づき算出するブロック境界算出手段と、
前記ブロック境界算出手段から供給される各前記ブロック境界位置位相情報に応じて、前記ブロック境界の位置が画素に重ならない位置関係であれば、当該ブロック境界の位置を挟む画素組を用いてブロック歪み検出を行い、当該ブロック境界の位置を挟む第１の所定範囲の画素に対してブロック歪み検出結果に応じたローパスフィルタ処理を行うと共に、前記ブロック境界の位置が画素に重なる位置関係であれば、当該ブロック境界と重なる画素の両隣の画素を画素組として用いてブロック歪み検出を行い、当該ブロック境界の位置と重なる画素及び当該ブロック境界の位置周辺の第２の所定範囲の画素に対してブロック歪み検出結果に応じたローパスフィルタ処理を行うノイズ低減手段と、
を有することを特徴とするブロック歪低減装置。
所定数の画素からなるブロックを符号化の単位とするブロック単位符号化方式により圧縮符号化された画像データを復号し、その復号画像データをフォーマット変換して得られた画像データを入力画像データとし、前記入力画像データにおけるブロック境界周辺の画像データに対してフィルタ処理を行って、ブロック歪を低減するブロック歪低減方法であって、
フォーマット変換後の画像データである前記入力画像データにおける各ブロック境界の位置を示すブロック境界位置情報と前記各ブロック境界の画素に対する位置関係を示すブロック境界位置位相情報とを、前記フォーマット変換に関するフォーマット変換情報に基づき算出するブロック境界算出手順と、
前記ブロック境界算出手順で得られた各前記ブロック境界位置位相情報に応じて、前記ブロック境界の位置が画素に重ならない位置関係であれば、当該ブロック境界の位置を挟む画素組を用いてブロック歪み検出を行い、当該ブロック境界の位置を挟む第１の所定範囲の画素に対してブロック歪み検出結果に応じたローパスフィルタ処理を行うと共に、前記ブロック境界の位置が画素に重なる位置関係であれば、当該ブロック境界と重なる画素の両隣の画素を画素組として用いてブロック歪み検出を行い、当該ブロック境界の位置と重なる画素及び当該ブロック境界の位置周辺の第２の所定範囲の画素に対してブロック歪み検出結果に応じたローパスフィルタ処理を行うノイズ低減手順と、
を有することを特徴とするブロック歪低減方法。
所定数の画素からなるブロックを符号化の単位とするブロック単位符号化方式により圧縮符号化された画像データを復号し、その復号画像データをフォーマット変換して得られた画像データを入力画像データとし、前記入力画像データにおけるブロック境界周辺の画像データに対してフィルタ処理を行って、ブロック歪を低減するブロック歪低減機能をコンピュータに実現させるためのブロック歪低減用プログラムであって、
フォーマット変換後の画像データである前記入力画像データにおける各ブロック境界の位置を示すブロック境界位置情報と前記各ブロック境界の画素に対する位置関係を示すブロック境界位置位相情報とを、前記フォーマット変換に関するフォーマット変換情報に基づき算出するブロック境界算出手段と、
前記ブロック境界算出手段で得られた各前記ブロック境界位置位相情報に応じて、前記ブロック境界の位置が画素に重ならない位置関係であれば、当該ブロック境界の位置を挟む画素組を用いてブロック歪み検出を行い、当該ブロック境界の位置を挟む第１の所定範囲の画素に対してブロック歪み検出結果に応じたローパスフィルタ処理を行うと共に、前記ブロック境界の位置が画素に重なる位置関係であれば、当該ブロック境界と重なる画素の両隣の画素を画素組として用いてブロック歪み検出を行い、当該ブロック境界の位置と重なる画素及び当該ブロック境界の位置周辺の第２の所定範囲の画素に対してブロック歪み検出結果に応じたローパスフィルタ処理を行うノイズ低減手段として、コンピュータを機能させるためのブロック歪低減用プログラム。