JP2009055236A

JP2009055236A - 映像符号化装置及び方法

Info

Publication number: JP2009055236A
Application number: JP2007218910A
Authority: JP
Inventors: Shingo Nozawa; 慎吾野澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-08-24
Filing date: 2007-08-24
Publication date: 2009-03-12

Abstract

【課題】
視覚的に劣化が目立ちにくい符号化を行う。
【解決手段】
ブロック予測装置１２は、入力端子１０からの映像信号の各画像を１６×１６画素のマクロブロックに分割する。直交変換装置１６は、装置１２からのマクロブロックを８×８画素の変換ブロックに分割し、直交変換する。直交変換装置１８は、装置１２からのマクロブロックを４×４画素の変換ブロックに分割し、直交変換する。符号量見積り装置２０，２２はそれぞれ装置１６，１８による発生符号量を見積もる。特徴抽出装置１４は、人間の視覚特性上、劣化も目立ちやすい部分を入力映像信号から抽出する。判定装置２６は、劣化の目立ち易い部分に対して装置１８の出力変換係数データを選択するように切替え装置２４を制御し、その他の部分に対して、判定装置２６は、装置２０，２２の見積り量が少ないほうを選択するように切替え装置２４を制御する。
【選択図】図１

Description

本発明は，映像信号を高能率に圧縮符号化する映像符号化装置及び方法に関する。

近年、デジタル信号処理技術の進歩により，動画像、静止画像及び音声等の大量のデジタル情報を高能率符号化し、記録媒体への記録及び通信媒体による伝送が可能になっている。

画像を高能率符号化するこのような圧縮方式は、符号化処理の工程に直交変換を含んでいる。直交変換のブロックサイズを適応的に変化させることで、符号化効率を改善できることが知られている。特許文献１には、適応的にブロックサイズを変化させる技術が記載されている。
特表２００３−５２３６５２号公報

特許文献１に記載の技術は、画素値の変化に応じてブロックサイズを決定する。しかし、この方法を適用した場合、再生画像が人間の視聴に適したものであるとは限らない。たとえば，数学的にはわずかな劣化であっても，人間にとっては非常に目立ち易い劣化であったり，あるいは，符号化によって大きく情報が欠落しているにも関わらず，人間にはその劣化がほとんど気にならなかったりすることがある。従来の方法は、このような人間に特有の視覚特性を考慮しておらず、感覚的に劣化を感じることが少なくない。

本発明は、視覚特性を考慮して、符号化ブロックサイズを適応制御する映像符号化装置及び方法を提示することを目的とする。

上述の目的を達成するため、本発明に係る映像符号化装置は、映像信号の各画面を構成する画像を複数のマクロブロックに分割するブロック分割手段と、前記映像信号の各画面において、視覚的な劣化が目立ちやすい劣化出現容易部分を抽出する特徴抽出手段と、前記特徴抽出手段の抽出結果に従い、前記劣化出現容易部分でない部分に対して、前記ブロック分割手段からの前記マクロブロック単位の画像データを第１の変換ブロックサイズで直交変換し、前記劣化出現容易部分に対して、前記ブロック分割手段からの前記マクロブロック単位の画像データを前記第１の変換ブロックサイズより小さい第２の変換ブロックサイズで直交変換する変換手段とを有することを特徴とする。

本発明に係る映像符号化装置は、映像信号の各画面を構成する画像を複数のマクロブロックに分割するブロック分割手段と、前記映像信号の各画面において、視覚的な劣化が目立ちやすい劣化出現容易部分を抽出する特徴抽出手段と、前記ブロック分割手段からの前記マクロブロック単位の画像データを第１の変換ブロックサイズで第１の変換係数データに変換する第１の変換手段と、前記ブロック分割手段からの前記マクロブロック単位の画像データを前記第１の変換ブロックサイズより小さい第２の変換ブロックサイズで第２の変換係数データに変換する第２の変換手段と、前記第１及び第２の変換係数データの一方を選択する切替え手段と、前記第１の変換手段を使った場合の符号量を見積もる第１の符号量見積り手段と、前記第２の変換手段を使った場合の符号量を見積もる第２の符号量見積り手段と、前記第１及び第２の符号量見積り手段の見積り量、並びに前記特徴抽出手段の抽出結果に従い、前記切替え手段を制御する判定手段とを具備し、前記判定手段が、前記特徴抽出手段の抽出結果に従い、前記劣化出現容易部分でない部分に対して、前記第１の符号量見積り手段の見積り量が前記第２の符号量見積り手段の見積り量より少ない場合に、前記切替え手段に前記第１の変換係数データを選択させ、前記第１の符号量見積り手段の見積り量が前記第２の符号量見積り手段の見積り量に等しいか、これより多い場合に、前記切替え手段に前記第２の変換係数データを選択させるとともに、前記劣化出現容易部分に対しては、前記切替え手段に前記第２の変換係数データを選択させることを特徴とする。

本発明に係る映像符号化方法は、映像信号の各画面を構成する画像を複数のマクロブロックに分割するブロック分割するブロック分割ステップと、前記映像信号の各画面において、視覚的な劣化が目立ちやすい劣化出現容易部分を抽出する特徴抽出ステップと、前記特徴抽出ステップの抽出結果に従い、前記劣化出現容易部分でない部分に対して、前記ブロック分割ステップによる前記マクロブロック単位の画像データを第１の変換ブロックサイズで直交変換し、前記劣化出現容易部分に対して、前記ブロック分割手段による前記マクロブロック単位の画像データを前記第１の変換ブロックサイズより小さい第２の変換ブロックサイズで直交変換する変換ステップとを有することを特徴とする。

本発明に係る映像符号化方法は、映像信号の各画面を構成する画像を複数のマクロブロックに分割するブロック分割ステップと、前記映像信号の各画面において、視覚的な劣化が目立ちやすい劣化出現容易部分を抽出する特徴抽出ステップと、前記ブロック分割ステップによる前記マクロブロック単位の画像データを第１の変換ブロックサイズで第１の変換係数データに変換する第１の変換ステップと、前記ブロック分割ステップによる前記マクロブロック単位の画像データを前記第１の変換ブロックサイズより小さい第２の変換ブロックサイズで第２の変換係数データに変換する第２の変換ステップと、前記第１の変換ステップを使った場合の符号量を見積もる第１の符号量見積りステップと、前記第２の変換ステップを使った場合の符号量を見積もる第２の符号量見積りステップと、前記劣化出現容易部分でない部分に対して、前記第１の符号量見積りステップの見積り量が前記第２の符号量見積りステップの見積り量より少ない場合に、前記第１の変換係数データを選択し、前記第１の符号量見積りステップの見積り量が前記第２の符号量見積りステップの見積り量に等しいか、これより多い場合に、前記第２の変換係数データを選択するとともに、前記劣化出現容易部分に対しては、前記第２の変換係数データを選択する選択ステップとを有することを特徴とする。

本発明では、入力映像信号から抽出した特徴情報に基づいて変換ブロックサイズを決定するので、視覚的に劣化が目立ちにくい符号化を行うことができる。すなわち，人間の視覚特性に好適なストリームを出力する映像符号化装置を実現できる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例の概略構成ブロック図を示す。入力端子１０には、外部から映像信号が入力する。入力端子１０に外部の映像ソースから入力した映像信号は、ブロック予測装置１２と特徴抽出装置１４に供給される。外部の映像ソースは、例えば、ビデオカメラの撮像部であり、又は、テレビ放送設備である。

ブロック予測装置１２は、入力端子１０からの映像信号の各画面を構成するピクチャ（画像）を１６×１６画素の複数のマクロブロックに分割し、画面内又は画面間の相関を用いた予測処理を行う。ブロック予測装置１２は、特許請求の範囲のブロック分割手段に相当する。この予測処理は、例えば、ＩＳＯ／ＩＥＣ１３８１８−２規格書、及びＩＴＵ-ＴＨ．２６４規格書に記載されている。予測方法には、イントラ予測とインター予測がある。イントラ予測は，各マクロブロックに対して、相関性の高い隣接画素情報との差分値を算出する方式である。インター予測は，各マクロブロックに対して、過去に符号化した参照ピクチャから相関性の高い画素ブロックを探索し，差分値を算出する方式である。

ブロック予測装置１２は、イントラ予測及びインター予測の何れかの予測により算出された差分値を、８×８直交変換装置１６、４×４直交変換装置１８、８×８符号量見積り装置２０及び４×４符号量見積り装置２２に供給する。

８×８直交変換装置１６は、ブロック予測装置１２から供給されるマクロブロック単位の画像データ（差分値）を８×８画素（第１の変換ブロックサイズ）の変換ブロックに分割し、二次元離散コサイン変換する。４×４直交変換装置１８は、ブロック予測装置１２から供給されるマクロブロック単位の画像データ（差分値）を４×４画素（第２の変換ブロックサイズ）の変換ブロックに分割し、二次元離散コサイン変換する。８×８直交変換装置１６から出力される変換係数データが、特許請求の範囲の第１の変換係数データに対応し、４×４直交変換装置１８から出力される変換係数データが、特許請求の範囲の第２の変換係数データに対応する。１６×１６画素のマクロブロックと、８×８画素の変換ブロック、４×４画素の変換ブロックとの関係を図２に示す。８×８直交変換装置１６及び４×４直交変換装置１８は、二次元直交変換の変換係数データを切替え装置２４に供給する。

８×８符号量見積り装置２０は、８×８直交変換装置１６の二次元離散コサイン変換による発生符号量を見積もる。４×４符号量見積り装置２２は、４×４直交変換装置１８の二次元離散コサイン変換による発生符号量を見積もる。８×８符号量見積り装置２０は、特許請求の範囲の第１の符号量見積り手段に相当し、４×４直交変換装置１８は第２の符号量見積り手段に相当する。例えば、各符号量見積り装置２０，２２は、ブロック予測装置１２から供給される差分値から、各変換ブロックサイズにおける各ブロックの分散値を算出し、その総和を発生符号量の見積り値として出力する。分散の小さいブロックは概ね低周波数の成分から構成されるので，直交変換後の符号量は少ない傾向にある。一方，分散の大きいブロックは概ね高周波数の成分から構成されるので，直交変換後の符号量は多い傾向にある。なお、ここでは、評価値として分散値を用いて説明したが，フーリエ変換などにより高周波成分のパワーを算出したり、実際に直交変換を行って正確な符号量を算出したりしても良い。

８×８符号量見積り装置２０及び４×４符号量見積り装置２２は、見積り結果を判定装置２６に供給する。判定装置２６には更に、特徴抽出装置１４の出力データも供給される。判定装置２６は、符号量見積り装置２０，２２からの符号量見積り結果、及び特徴抽出装置１４の抽出結果に従い、切替え装置２４を制御する。即ち、判定装置２６は、切替え装置２４に対する切替え制御装置として機能する。

特徴抽出装置１４は、入力端子１０からの映像信号から、ブロック予測装置１２での処理対象のマクロブロック毎に、人間の視覚特性上、重要な特徴情報を有する部分を抽出する。例えば、草むらや木立などの込み入った領域は、劣化しても人間の目にはあまり気にならない傾向がある。一方，空や壁などの平坦部分や、物質の境界のようなエッジ部分は、僅かな劣化であっても，視覚的に不自然さを感じ易い。あるいはまた，人物の顔のように、視覚的に注視しやすい領域もまた、符号化による劣化が目立ち易い領域と言える。特徴抽出装置１４は、このような、人間の視覚特性上、劣化が目立ち易い部分、即ち、劣化出現容易部分を抽出する。

具体的には、特徴抽出装置１４は、マクロブロック単位での周波数成分分析により、先ず、劣化が目立ち易い平坦部及び劣化が目立ちにくい高周波ブロックを抽出する。なお、周波数成分の分析には、例えばアダマール変換等を用いることができる。平坦部ではない領域に対して、水平、垂直又は斜め等のエッジを含むかどうかを調べ、エッジを含む場合には、劣化が目立ちやすいブロックであるとする。

更に、特徴抽出装置１４は、画面全体又は部分領域に対して既知の顔検出技術鵜又は肌色検出技術等により人物を検出し、処理対象のマクロブロックが人物として検出された範囲内に含まれるか否かを判定する。当該マクロブロックが人物（又は顔）とみなされる範囲内に含まれている場合、平坦部ではない領域に対しても、劣化が目立ちやすいブロックであるとする。

更に、特徴抽出装置１４は、複数の画面を参照して画面全体又は部分領域に対して移動物体を検出し、処理対象のマクロブロックが移動物体として検出された範囲内に含まれるか否かを判定する。移動物体が検出された場合、それが所定値を基準として低速移動物体か高速移動物体かを判定する。当該マクロブロックが低速移動物体とみなされる範囲内に含まれている場合、平坦部ではないと判定されたブロックであったとしても、劣化が目立ちやすいブロック（劣化出現容易部分）であるとする。高速移動物体とみなされる範囲内に含まれている場合、平坦部と判定されたブロックであったとしても、劣化が目立ちにくいブロック（劣化出現困難部分）であるとする。

特徴抽出装置１４は、このような複合的な解析により判別される劣化出現容易部分を示す指標値又はフラグを抽出結果として判定装置２６に供給する。特徴抽出装置１４は、個別的には、劣化出現容易部分として、映像領域の平坦部分、エッジ部分、注目被写体部分、人物部分、肌色部分、及び低速移動物体部分の何れかを抽出する。

判定装置２６は、基本的に、符号量見積り装置２０，２２からの発生符号量見積り値が少ない方の直交変換ブロックサイズの変換係数データを選択するように、切替え装置２４を制御する。但し、特徴抽出装置１４の特徴抽出結果から、劣化が目立ちやすいブロックであるマクロブロックに対しては、判定装置２６は、切替え装置２４に４×４直交変換装置１８の出力を選択させる。図３に模式的に示すように、小さなブロックであるほど劣化が小さな範囲に留まり、大きなブロックであるほど劣化が大きな範囲に波及するからである。即ち、平坦部、エッジ部，及び注目被写体（顔、人物、又は低速で移動する物体等）については，４×４画素の変換ブロックを使用する。

特徴抽出装置１４が、マクロブロックを、劣化が目立ちやすいブロック（劣化出現容易部分）、劣化が目立ちにくいブロック（劣化出現困難部分）、これらの中間のブロック（劣化出現中間部分）の３種類に分類してもよい。その場合、例えば、判定装置２６は、劣化が目立ちやすいブロックに対して切替え装置２４に４×４直交変換装置１８の出力を選択させ、劣化が目立ちにくいブロックに対して切替え装置２４に８×８直交変換装置１６の出力を選択させる。そして、判定装置２６は、中間のブロックに対して、切替え装置２４に符号量見積り装置２０，２２からの発生符号量見積り値が少ない方の直交変換ブロックサイズの変換係数データを選択させる。

判定装置２６は更に、圧縮後のストリームデータのビットレート又は圧縮率を加味して、切替え装置２４を制御しても良い。

量子化装置２８は、切替え装置２４により選択された直交変換係数データを量子化し、エントロピー符号化装置３０に供給する。エントロピー符号化装置３０は、量子化装置２８からの量子化された変換係数データを算術符号化又は可変長符号化し，符号列をストリーム出力端子３２から外部に出力する。

以上の構成により、人間の視覚特性を考慮して二種類の直交変換ブロックサイズを選択することで、再生画面上で視覚的に劣化が目立たない符号化を行うことができる。人間の視覚特性に好適なストリームを出力する映像符号化装置を実現できる。

また、二種類の直交変換ブロックサイズを発生符号量見積り量に応じて適応的に選択することで、より少ない符号量で符号化可能であり、同じ符号量であれば、情報の劣化がより少ない符号化が可能である。８×８画素と４×４画素の変換ブロックサイズの組み合わせ例を説明したが、本発明は、その他の変換ブロックサイズの組み合わせに適用可能であることは明らかである。

本発明の一実施例の概略構成ブロック図である。マクロブロックと２種類の変換ブロックのサイズ比較図である。変換ブロックサイズと劣化の拡がりを説明する模式図である。

符号の説明

１０入力端子
１２ブロック予測装置
１４特徴抽出装置
１６８×８直交変換装置
１８４×４直交変換装置
２０８×８符号量見積り部
２２４×４符号量見積り部
２４切替え装置
２６判定装置
２８量子化装置
３０エントロピー符号化装置
３２ストリーム出力端子

Claims

映像信号の各画面を構成する画像を複数のマクロブロックに分割するブロック分割手段と、
前記映像信号の各画面において、視覚的な劣化が目立ちやすい劣化出現容易部分を抽出する特徴抽出手段と、
前記特徴抽出手段の抽出結果に従い、前記劣化出現容易部分でない部分に対して、前記ブロック分割手段からの前記マクロブロック単位の画像データを第１の変換ブロックサイズで直交変換し、前記劣化出現容易部分に対して、前記ブロック分割手段からの前記マクロブロック単位の画像データを前記第１の変換ブロックサイズより小さい第２の変換ブロックサイズで直交変換する変換手段
とを有することを特徴とする映像符号化装置。
更に、前記変換手段から出力される変換係数データを量子化する量子化手段と、前記量子化手段の出力データをエントロピー符号化するエントロピー符号化手段とを有することを特徴とする請求項１に記載の映像符号化装置。
前記変換手段が、
前記ブロック分割手段からの前記マクロブロック単位の画像データを第１の変換ブロックサイズで第１の変換係数データに変換する第１の変換手段と、
前記ブロック分割手段からの前記マクロブロック単位の画像データを前記第１の変換ブロックサイズより小さい第２の変換ブロックサイズで第２の変換係数データに変換する第２の変換手段と、
前記特徴抽出手段の抽出結果に従い、前記第１及び第２の変換係数データの一方を選択する切替え手段
とを有することを特徴とする請求項１又は２に記載の映像符号化装置。
映像信号の各画面を構成する画像を複数のマクロブロックに分割するブロック分割手段と、
前記映像信号の各画面において、視覚的な劣化が目立ちやすい劣化出現容易部分を抽出する特徴抽出手段と、
前記ブロック分割手段からの前記マクロブロック単位の画像データを第１の変換ブロックサイズで第１の変換係数データに変換する第１の変換手段と、
前記ブロック分割手段からの前記マクロブロック単位の画像データを前記第１の変換ブロックサイズより小さい第２の変換ブロックサイズで第２の変換係数データに変換する第２の変換手段と、
前記第１及び第２の変換係数データの一方を選択する切替え手段と、
前記第１の変換手段を使った場合の符号量を見積もる第１の符号量見積り手段と、
前記第２の変換手段を使った場合の符号量を見積もる第２の符号量見積り手段と、
前記第１及び第２の符号量見積り手段の見積り量、並びに前記特徴抽出手段の抽出結果に従い、前記切替え手段を制御する判定手段
とを具備し、
前記判定手段が、前記特徴抽出手段の抽出結果に従い、前記劣化出現容易部分でない部分に対して、前記第１の符号量見積り手段の見積り量が前記第２の符号量見積り手段の見積り量より少ない場合に、前記切替え手段に前記第１の変換係数データを選択させ、前記第１の符号量見積り手段の見積り量が前記第２の符号量見積り手段の見積り量に等しいか、これより多い場合に、前記切替え手段に前記第２の変換係数データを選択させるとともに、前記劣化出現容易部分に対しては、前記切替え手段に前記第２の変換係数データを選択させる
ことを特徴とする映像符号化装置。
前記特徴抽出手段は更に、前記映像信号の各画面において、視覚的な劣化が目立ちにくい劣化出現困難部分と、前記劣化出現容易部分と前記劣化出現困難部分の間の劣化出現中間部分とを抽出し、
前記判定手段が、
前記劣化出現中間部分に対して、前記第１の符号量見積り手段の見積り量が前記第２の符号量見積り手段の見積り量より少ない場合に、前記切替え手段に前記第１の変換係数データを選択させ、前記第１の符号量見積り手段の見積り量が前記第２の符号量見積り手段の見積り量に等しいか、これより多い場合に、前記切替え手段に前記第２の変換係数データを選択させ、
前記劣化出現容易部分に対して、前記切替え手段に前記第２の変換係数データを選択させ、
前記劣化出現困難部分に対して、前記切替え手段に前記第１の変換係数データを選択させる
ことを特徴とする請求項４に記載の映像符号化装置。
更に、前記切替え手段から出力される変換係数データを量子化する量子化手段と、前記量子化手段の出力データをエントロピー符号化するエントロピー符号化手段とを有することを特徴とする請求項４又は５に記載の映像符号化装置。
前記特徴抽出手段が、劣化出現容易部分として、映像領域の平坦部分、エッジ部分、注目被写体部分、人物部分、肌色部分、及び低速移動物体部分の何れかを抽出する請求項１乃至６の何れか１項に記載の映像符号化装置。
映像信号の各画面を構成する画像を複数のマクロブロックに分割するブロック分割するブロック分割ステップと、
前記映像信号の各画面において、視覚的な劣化が目立ちやすい劣化出現容易部分を抽出する特徴抽出ステップと、
前記特徴抽出ステップの抽出結果に従い、前記劣化出現容易部分でない部分に対して、前記ブロック分割ステップによる前記マクロブロック単位の画像データを第１の変換ブロックサイズで直交変換し、前記劣化出現容易部分に対して、前記ブロック分割ステップによる前記マクロブロック単位の画像データを前記第１の変換ブロックサイズより小さい第２の変換ブロックサイズで直交変換する変換ステップ
とを有することを特徴とする映像符号化方法。
更に、前記変換ステップによる変換係数データを量子化する量子化ステップと、前記量子化ステップの出力データをエントロピー符号化するエントロピー符号化ステップとを有することを特徴とする請求項８に記載の映像符号化方法。
映像信号の各画面を構成する画像を複数のマクロブロックに分割するブロック分割ステップと、
前記映像信号の各画面において、視覚的な劣化が目立ちやすい劣化出現容易部分を抽出する特徴抽出ステップと、
前記ブロック分割ステップによる前記マクロブロック単位の画像データを第１の変換ブロックサイズで第１の変換係数データに変換する第１の変換ステップと、
前記ブロック分割ステップによる前記マクロブロック単位の画像データを前記第１の変換ブロックサイズより小さい第２の変換ブロックサイズで第２の変換係数データに変換する第２の変換ステップと、
前記第１の変換ステップを使った場合の符号量を見積もる第１の符号量見積りステップと、
前記第２の変換ステップを使った場合の符号量を見積もる第２の符号量見積りステップと、
前記劣化出現容易部分でない部分に対して、前記第１の符号量見積りステップの見積り量が前記第２の符号量見積りステップの見積り量より少ない場合に、前記第１の変換係数データを選択し、前記第１の符号量見積りステップの見積り量が前記第２の符号量見積りステップの見積り量に等しいか、これより多い場合に、前記第２の変換係数データを選択するとともに、前記劣化出現容易部分に対しては、前記第２の変換係数データを選択する選択ステップ
とを有することを特徴とする映像符号化方法。
前記特徴抽出ステップは更に、前記映像信号の各画面において、視覚的な劣化が目立ちにくい劣化出現困難部分と、前記劣化出現容易部分と前記劣化出現困難部分の間の劣化出現中間部分とを抽出し、
前記選択ステップは、
前記劣化出現中間部分に対して、前記第１の符号量見積りステップの見積り量が前記第２の符号量見積りステップの見積り量より少ない場合に、前記第１の変換係数データを選択し、前記第１の符号量見積りステップの見積り量が前記第２の符号量見積りステップの見積り量に等しいか、これより多い場合に、前記第２の変換係数データを選択し、前記劣化出現容易部分に対しては、前記第２の変換係数データを選択し、前記劣化出現困難部分に対しては、前記第１の変換係数データを選択する
ことを特徴とする請求項１０に記載の映像符号化方法。
更に、前記選択ステップにより選択された変換係数データを量子化する量子化ステップと、前記量子化ステップの出力データをエントロピー符号化するエントロピー符号化ステップとを有することを特徴とする請求項１０又は１１に記載の映像符号化方法。
前記特徴抽出ステップが、劣化出現容易部分として、映像領域の平坦部分、エッジ部分、注目被写体部分、人物部分、肌色部分、及び低速移動物体部分の何れかを抽出する請求項８乃至１２の何れか１項に記載の映像符号化方法。