JP2002077629A - ディジタル画像中のブロック化アーティファクトの範囲を決定する方法 - Google Patents

Abstract

(57)【要約】 【課題】 同じ圧縮比の場合の異なる動きの画像につい
ても、知覚的により正確なブロック化アーティファクト
の尺度を決定する方法を提供することを目的とする。 【解決手段】 ディジタル画像処理方法は、まず列差分
画像を形成し、列差分画像中の列中の値を平均化して、
列差分配列を生成することによってディジタル画像中の
ブロック化アーティファクトの範囲を決定する。１ブロ
ック幅だけ離れている列差分配列中の値の平均が計算さ
れ、ブロック平均化列差分配列が生成される、次に、ブ
ロック平均列差分配列中のピーク値の位置が探され、
（ピーク値を除いて）ブロック平均列差分配列の平均値
を計算して列基本値を生成し、ピーク値と列基本値との
間の比率を計算して列の比を生じさせる。上記の段階を
行方向に繰り返して行の比を生じさせる。最後に、列の
比と行の比をディジタル画像中のブロック化アーティフ
ァクトの範囲の尺度として使用する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル画像処
理の分野に係り、更に特定的にはディジタル画像中でブ
ロック化アーティファクトの範囲を決定する方法に関す
る。

【０００２】

【従来の技術】ディジタル画像は膨大な量のデータを含
む。このようなデータをディジタル媒体に格納するには
非常に費用がかかり、ディジタル画像を伝送するには大
きい帯域幅又は長い時間のいずれかが必要となる。画像
から視覚的に冗長な情報を除去することによって画像デ
ータを圧縮するために、多くのアルゴリズムが開発され
ている。既存の技術のうち、これまでは離散コサイン変
換に基づく（ＤＣＴに基づく）圧縮が最も人気のあるも
のであった。ＤＣＴは、非常によいエネルギーの圧縮性
質とデータの相関性を低下させる性質を有する。更に、
ＤＣＴは、高速アルゴリズムを用いて計算されえ、大規
模集積回路（ＶＬＳＩ）技術を用いて効率的に実施され
る。ＤＣＴに基づく符号化では、画像は小さい方形のブ
ロック（一般的には８×８）へ分割され、局所的な空間
的な相関を除去するためにこれらのブロック全体に亘っ
てＤＣＴが計算される。高い圧縮を達成するため、ＤＣ
Ｔ計数の量子化が行われる。量子化は、伸長された画像
に情報の損失と歪みを生じさせる不可逆的な処理であ
る。量子化の後、データの冗長性は、エントロピー符号
化を用いて更に減少される。復号化側では、受信された
データは、逆ＤＣＴによって復号化され、逆量子化さ
れ、再構成される。一般的に、典型的な８ビットのグレ
ーレベル画像は、知覚可能なアーティファクトなしに最
大で１０：１の圧縮比で符号化されうる。

【０００３】しかしながら、低いビットレートでは、再
構成された画像は一般的に非常に粗い量子化の結果とし
て生ずる目障りなアーティファクトを受ける。主なアー
ティファクトはブロック化効果であり、これは隣接する
ブロック間の人工的なブロック境界として現れる。低い
ビットレートでは、各ブロックは主に最初の幾つかの低
い頻度の係数によって表わされ、各ブロックは独立に処
理されるため、標準的なブロックＤＣＴベースの符号化
スキームではブロック間相関は考慮されない。従って、
ブロック境界に亘る不連続性が知覚可能となる。

【０００４】ブロック化効果を減少させるために多くの
技術が開発されている。（例えば、H.C. Reeve III and
J. S. Lim, "Reduction of blocking effect in image
coding," ICASSP, pp. 1212-1215, 1983）。これらの
殆どの技術は同じ種類の画像フィルタリング技術を用
い、画像の鮮明度を或る程度減少させるため、これらの
技術が「良い画像」、即ちブロック化アーティファクト
を示すほどには十分に圧縮されていない画像に対してこ
れらの技術が使用されてはならない。従って、ディジタ
ル画像中のブロック化アーティファクトの範囲を測定す
る優先順位付けアルゴリズムを開発する必要がある。

【０００５】或るブロック化アーティファクト除去アル
ゴリズムは、ブロック境界位置についての事前の知識を
必要とする。しかしながら、ＤＣＴに基づく技術で圧縮
されたディジタル画像は、例えばクロッピングやズーミ
ングにより、更に変更されうるため、ブロック境界の位
置は変化し、ブロック化アーティファクト除去の時点で
は分からなくなっていることがある。従って、これらの
ブロック化アーティファクト除去アルゴリズムのため
に、ブロック化アーティファクトを有するディジタル画
像中でブロック境界位置を検出する必要性がある。

【０００６】ディジタル画像は、圧縮されている場合も
されていない場合もあり、異なる度合いの圧縮を受けて
いることがあるため、ブロック化アーティファクトの範
囲は全く存在しないものから視覚的に不快なものまで様
々である。従って、アーティファクト除去手順を実行す
るかどうかを決定するために、ブロック化アーティファ
クトの範囲を決定する必要がある。更に、実質的に全て
のアーティファクト除去アルゴリズムは画像の細部を犠
牲にしてブロック化アーティファクトを除去するため、
アーティファクトの除去と画像の細部の保存についての
良いトレードオフのために、最適な量のフィルタリング
を制御する必要がある。

【０００７】

【発明が解決しようとする課題】ブロック化アーティフ
ァクトの範囲を決定する従来の方法は、圧縮されたＪＰ
ＥＧファイルのサイズと、圧縮されていない画像データ
の量に対応する画像のサイズとの比を取ることを含む。
この比は、一般的に圧縮比と称される。しかしながら、
圧縮比は、必ずしも圧縮された画像の質のための良い尺
度ではなく、またブロック化アーティファクトの範囲の
ための良い尺度でもない。一般的に、同じ圧縮比では、
動きの多い画像は圧縮が困難であるため（従って動きの
多い画像は動きの少ない画像よりも多くの細部を失って
いるため）、動きの多い画像は動きの少ない画像よりも
悪く見える。従って、知覚的により正確なブロック化ア
ーティファクトの尺度を決定する必要がある。

【０００８】

【課題を解決するための手段】本発明は、上述の１つ以
上の課題を解決することを目的とする。簡単に概説する
と、本発明の１つの面によれば、画素の行及び列から形
成されるディジタル画像中のブロック化アーティファク
トの範囲を決定する方法は、ディジタル画像中の列と列
の差から列差分画像を形成し、列差分画像中の列の値を
平均化して列差分配列を生成し、１ブロック幅だけ離れ
ている列差分配列中の値の平均を計算してブロック平均
列差分配列を計算し、ブロック平均列差分配列中のピー
ク値の位置を探し、ピーク値を除いてブロック平均列差
分配列の平均値を計算して列基本値を生成し、ピーク値
と列基本値との間の比率を計算して列の比を生じさせ、
上記の段階を行方向に繰り返して行の比を生じさせ、列
の比と行の比をディジタル画像中のブロック化アーティ
ファクトの範囲の尺度として使用する。

【０００９】

【発明の実施の形態】以下の説明では、本発明の望まし
い実施例について、通常はソフトウエアプログラムとし
て実施される画像処理方法として説明する。当業者は、
このようなソフトウエアと同等のものがハードウエアと
しても実施されうることを容易に認識するであろう。画
像操作アルゴリズム及び画像操作アルゴリズムを実行す
るためのシステムは周知であるため、本願では特に本発
明による方法の一部をなす、又はより直接的に協働する
アルゴリズム及びシステムについて説明する。本願に特
に図示又は説明しないアルゴリズム及びシステムの他の
面、及び、それに関連する画像信号を処理する他の方法
で処理するためのハードウエア及び／又はソフトウエア
は、従来技術で公知のシステム、アルゴリズム、構成要
素、及び要素から選択される。以下のような本発明によ
る図示され説明された方法及びシステムが与えられてい
るとき、本発明の実施に有用であり本願に記載又は提案
されていないソフトウエアは、従来通りであり当業者の
通常の技術でなされうるものである。

【００１０】更に、本願では、コンピュータプログラム
は、例えば、磁気ディスク（フロッピー（登録商標）デ
ィスク又はハードドライブ）又は磁気テープといった磁
気記憶媒体；光ディスク、光テープ、又は機械読み取り
可能なバーコードといった光記憶媒体；ランダムアクセ
スメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）
といった固体電子記憶装置；又はコンピュータプログラ
ムを格納するために使用される任意の他の物理的な装置
又は媒体といったコンピュータ読み取り可能な記憶媒体
に格納されうる。

【００１１】本発明は、ディジタル画像中でブロック化
アーティファクトの範囲を決定する方法に関する。ディ
ジタル画像は、強度成分を含むグレースケール画像であ
るか、又は、ＲＧＢ成分を含むカラー画像でありうる。
カラー画像では、人間の視覚系（ＨＶＳ）の色知覚の冗
長性を利用するため画像処理の前に一般的に色変換が行
なわれる。例えば、ＪＰＥＧ圧縮では、カラー画像は、
まずＲＧＢからＹＣｂＣｒ色空間へ変換される。この変
換は、Ｙを強度成分、Ｃｂ及びＣｒを２つのクロミナン
ス成分とすると、以下の式、 Y=16+65.481*R+128.553*G+24.966*B; Cb=128-37.797*R-74.203*G+112*B; Cr=128+112*R-93.786*G-18.214*B で表わされる。Ｒ、Ｇ、Ｂは、全て１に正規化される。

【００１２】図１を参照するに、各画像成分について、
ステップ１０において２つの隣接する列間の絶対差を計
算することにより、まず列差分画像が生成される。例え
ば、列差分画像は、画像の第１の列の画素値から画像の
第２の列の画素値を差し引き、差分値の列を発生させ、
次に列差分画像の第１の列の画素値を差分値の列の絶対
値として設定することによって生成される。同じ手順
は、その列の全ての値がゼロである最後の列を除き、列
差分画像の残る列を設定するために繰り返される。

【００１３】ステップ１２において、列差分画像は垂直
方向に更に平均化され、１次元列差分配列ＶＡが生成さ
れる。元の画像がＭ行Ｎ列の画像データを有すると想定
すると、列差分配列ＶＡは、Ｎ個のエントリを有するは
ずである。画像エッジを検出に寄与するようにするた
め、元の画像成分中の対応する画素の強度グラジエント
の大きさが閾値Ｔよりも大きければ、列差分画像中の画
素の寄与は捨てられる。Ｓｏｂｅｌ演算子は、水平及び
垂直Ｓｏｂｅｌ演算子からの絶対値の和に等しい強度グ
ラジエントを有する強度グラジエント画像を生成するた
め、強度グラジエント演算子として使用される。本発明
のこの実施例では、強度グラジエント画像の標準偏差
（ＳＤ）が計算され、閾値Ｔは標準偏差ＳＤの２倍に設
定される。

【００１４】ステップ１４において、列差分配列ＶＡ
は、ＪＰＥＧブロック幅（８）の周期性を用いて更に平
均化され、８つのエントリを有するブロック平均列差分
配列が生成される。換言すれば、列差分配列ＶＡの８番
目毎のエントリが平均化され、結果はブロック平均列差
分配列ＶＡＡの８つのエントリを設定するために使用さ
れる。

【００１５】ステップ１６において、ブロック平均列差
分配列ＶＡＡから最大値の位置が見つけられ、列ピーク
値として決められ、ステップ１８において、ピーク値を
除いてブロック平均列差分配列ＶＡＡの平均値が計算さ
れる。平均値は、列基本値として決められる。最後に、
ステップ２０において、ピーク値と列基本値との間の比
が計算され、列の比が生成される。

【００１６】図２は、典型的なディジタル画像からの８
つの要素（インデックスは０から始まる）を有する典型
的なブロック平均差分配列を示す。ｘ軸は配列のインデ
ックスであり、ｙ軸は大きさである。この例では、ピー
ク値（２．６２）は指数７で生じ、平均値は１．０３で
あり、比は約２．６である。

【００１７】図１を参照するに、行ピーク値、行基本
値、及び行の比もまた、一連のステップ１０’乃至２
０’において同様に計算され、共通の参照番号は、行に
対して行われる演算が列に対して行われる演算と同様で
あることを示す。更に特定的には、行差分配列ＨＡ及び
ブロック平均行差分配列ＨＡＡはブロック１２及び及び
１４’で夫々生成され、これらの配列に基づく同様の尺
度はブロック１６’乃至２０’において生成される。

【００１８】列及び行は、列方向及び行方向の夫々につ
いてのブロック化アーティファクトの有無の良い指標で
ある。従って、ブロック化アーティファクトの範囲につ
いての望ましい尺度（ステップ２２において計算され
る）は、統計的に等しく分布された水平構造及び垂直構
造を有する画像についての列の比及び行の比の平均値で
ある。より積極的な尺度は、列のひと行の比の最小値で
ある。尺度が所定の閾値を超える場合、上述のReeve及
びLimの文献に記載されるような従来のアーティファク
ト除去アルゴリズムがトリガされる。人間の主観応答に
基づき、望ましい敷地は２．０に決められる。

【００１９】ブロック化アーティファクトの可視性又は
不快性は、画像中の実際の構造に依存しうる。例えば、
テクスチャのある領域は、平坦な領域よりもブロック化
アーティファクトをより良く隠す傾向がある。列及び行
に基づく値は、テクスチャの量の良い指標である。画像
内容に対する高い適合度を達成するため、ブロック化ア
ーティファクトの範囲の尺度は、列／行の比と行／列の
基本値の両方の関数として定義される。一般的に、基本
値が高いほど、テクスチャの活性度は高くなり（ブロッ
ク化アーティファクトのより大きい範囲を隠すことが可
能である）、アーティファクト尺度に対してより高い閾
値が使用されるべきである。実際は、基本値と閾値の間
の関係を定量的に特徴付けるために、ルックアップテー
ブルが構築されうる。

【００２０】ブロック化アーティファクトの範囲の尺度
が所定の閾値を超えると、アーティファクト除去アルゴ
リズムがトリガされる。ブロック平均列差分配列ＶＡＡ
及びブロック平均行差分配列ＨＡＡ中のピーク値のイン
デックスは、画像成分についての水平方向及び垂直方向
のＪＰＥＧブロック境界位置である。例えば、ブロック
平均列差分配列ＶＡＡ中のピーク値に対するインデック
スが４であれば、ＪＰＥＧブロック境界は画像成分の第
４、１２．．．番目の列に現れると想定される。尚、本
実施例では、画像成分の列に対するインデックスは、ブ
ロック平均列差分配列ＶＡＡ及びブロック平均行差分配
列ＨＡＡについても同様に、ゼロから始まる。

【００２１】ディジタル画像がクロッピングされるだけ
でなくズーミング（縮小又は拡大）される場合、ブロッ
クサイズはもはや元のＪＰＥＧブロックサイズの８では
なくなっている。潜在的に拡大されたディジタル画像で
は、ＪＰＥＧブロック化アーティファクトの範囲を決定
する上述の方法は、ピーク値と基本値との間に一連の比
を生成するよう所定の一連の仮定のブロック幅値につい
て繰り返されうる。最大のアーティファクト尺度を生成
する仮定のブロック幅は、ズーミングの後の有効ブロッ
クサイズとして選定されうる。ズーミング率は、有効ブ
ロックサイズと元のブロック（即ち８）との間の比であ
るよう決められる。

【００２２】

【発明の効果】本発明は、画像内容に基づいてディジタ
ル画像中のブロック化アーティファクトの範囲を測定す
るという利点を有する。本発明はまた、ディジタル画像
がクロッピング及びズーミングによって変更されていた
としてもブロック境界位置を自動的に検出するという利
点を有する。

【図面の簡単な説明】

【図１】本発明の実施例を示すブロック図である。

【図２】典型的なブロック平均差分配列を示すプロット
である。

【符号の説明】

１０ 列差分画像を形成する段階 １２ 列差分配列を生成する段階 １４ ブロック平均列差分配列を生成する段階 １６ 列ピーク値の位置を探す段階 １８ 列平均値を計算する段階 ２０ 列の比を計算する段階 １０’ 行差分画像を形成する段階 １２’ 行差分配列を生成する段階 １４’ ブロック平均行差分配列を生成する段階 １６’ 行ピーク値の位置を探す段階 １８’ 行平均値を計算する段階 ２０’ 行の比を計算する段階 ２２ 画像成分についてブロック化アーティファクト
の範囲の尺度を計算する段階

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジエボ ルオ アメリカ合衆国 ニューヨーク 14620 ロチェスター ユニヴァーシティー・パー ク 805 (72)発明者 ラジャン エル ジョシー アメリカ合衆国 ニューヨーク 14612 ロチェスター スパニッシュ・トレイル 24 Ｆターム(参考） 5C059 KK03 KK47 MA00 PP16 PP25 TD03 TD05 TD08 5C078 AA04 BA21 CA22 DA00 DA02

Claims (1)

【特許請求の範囲】
1. 【請求項１】 画素の行及び列から形成されるディジタ
   ル画像中のブロック化アーティファクトの範囲を決定す
   る方法であって、 （ａ）上記ディジタル画像中の列と列の差から列差分画
   像を形成し、 （ｂ）上記列差分画像中の列の値を平均化して列差分配
   列を生成し、 （ｃ）１ブロック幅だけ離れている列差分配列中の値の
   平均を計算してブロック平均列差分配列を計算し、 （ｄ）ブロック平均列差分配列中のピーク値の位置を探
   し、 （ｅ）上記ピーク値を除いて上記ブロック平均列差分配
   列の平均値を計算して列基本値を生成し、 （ｆ）上記ピーク値と上記列基本値との間の比率を計算
   して列の比を生じさせ、 （ｇ）上記（ａ）乃至（ｆ）の段階を行方向に繰り返し
   て行の比を生じさせ、 （ｈ）上記列の比と上記行の比を上記ディジタル画像中
   のブロック化アーティファクトの範囲の尺度として使用
   する方法。