JP2008113463A - 多圧縮モードのビデオ信号圧縮装置 - Google Patents

Abstract

【課題】 雑音をわずかでも含んでいる信号に対して発生される圧縮されたデータの量が効果的に減少される。
【解決手段】 ビデオ入力は減算器１２と動き推定装置１４に供給され、動き推定装置１４の出力は予測装置１３３３とフォーマット化装置１９に供給される。予測装置１３３３は、動き推定装置１４とバッファ・メモリ１７からの出力を受け取り、減算器１２と非線形要素５００に出力を供給する。予測装置１３３３は、符号化されているＩ、ＰおよびＢフレームに対しそれぞれの制御信号を供給し、非線形要素５００を適応的に制御する。非線形要素５００は減算器１２の出力を受け取り、所定の値を超える信号値だけを符号器１５に通過させる。
【選択図】 図２

Description

本発明は、差分パルス符号変調（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ：ＤＰＣＭ）ビデオ信号圧縮装置のための雑音低減に関し、特に、ＤＰＣＭループ内で使用するための雑音低減装置に関する。

ビデオ信号を圧縮するための予測符号化は、時間的に隣接する画像から現在の画像が容易に予測される場合に最もよく機能する。しかしながら、もとの画像に雑音が含まれていると、正確な予測が困難となり、圧縮効率が低下したり、再生画像の質が劣化したりする。従って、圧縮処理に先立って、圧縮しようとするビデオ信号の中に含まれている雑音を最小限度にすることが望ましい。

従来技術の画像予測符号化システムを示す図１について考える。要素１２〜２２は、以下に説明する実際の予測符号化装置を形成する。このような従来技術のシステムにおける雑音低減は、典型的には、雑音低減用の巡回形フィルタ１０を含み、圧縮に先立ってビデオ信号を予め処理する。フィールド巡回形またはフレーム巡回形フィルタは、有効な信号の帯域幅内で雑音成分を効果的に低減することができるので、好んで選ばれる傾向にある。しかしながら、このようなフィルタはまた、メモリについて非常に集中的であり、望ましくないアーティファクト（ａｒｔｉｆａｃｔ）を動画像の周囲に生じることなく雑音を著しく低減させるために、割合に複雑な処理回路を必要とする。

本発明の目的は、付加的なハードウェアを最少限度にして、予測符号化装置のための非常に効果的な雑音低減装置並びに方法を提供することである。

本発明はＤＰＣＭ予測圧縮装置を含み、ＤＰＣＭループ内には簡単な非線形処理要素が含まれ、予め定められた値よりも小さい、予測された画像信号と実際の画像信号との間の残余を除去する。このような残余を除去することにより、雑音を少量でも含んでいる信号に対して発生される圧縮データの量が効果的に減少される。
発明の構成
（請求項１） 多圧縮モードのビデオ信号圧縮装置であって、
ビデオ信号を入力する信号入力端子（ビデオ入力）と、
前記信号入力端子に結合される第１の入力端子、第２の入力端子、および出力端子を具える減算器（１２）と、
入力端子および出力端子を具え、前記ビデオ信号をブロックごとに圧縮するための変換手段（１５）と、
前記変換手段の前記出力端子に結合される入力端子を具え、前記減算器の前記第２の入力端子に結合される出力端子を具え、且つ前記変換手段からの圧縮されたビデオ信号に応答して、各ブロックごとに圧縮解除された予測ビデオ信号を発生するためのビデオ信号予測手段（１３３３）と、
前記変換手段の前記入力端子と前記減算器の前記出力端子との間に結合される非線形要素（５００）と、からなり、
前記非線形要素の伝達関数は、前記ビデオ信号予測手段の圧縮モードに応答し、前記減算器の前記出力端子に発生される信号の残余を、異なる圧縮モードに対して異なる態様で減少させる、前記多圧縮モードのビデオ信号圧縮装置。
（請求項２） 請求項１に記載のビデオ信号圧縮装置において、前記ビデオ信号は、一連のフレームの形式で発生し、各フレームは、一連の異なる圧縮モードに応じて圧縮され、前記圧縮装置は更に、前記異なる圧縮モードに対して、異なる伝達関数で動作するように前記非線形要素（５００）を制御するための手段を具える、請求項１記載の多圧縮モードのビデオ信号圧縮装置。
（請求項３） 画像ブロックの異なる圧縮モードに対して、各ブロックごとに異なる伝達関数を呈するように、前記非線形要素（５００）を制御するための手段を更に具える、請求項１記載の多圧縮モードのビデオ信号圧縮装置。
（請求項４） 前記ビデオ信号予測手段の圧縮モードに応答して、或る形式の圧縮モードについては前記非線形要素（５００）の伝達関数をバイパスするための手段を更に具える、請求項１記載の多圧縮モードのビデオ信号圧縮装置。
（請求項５） 前記ビデオ信号予測手段により所定の圧縮モードの存在が示されると、少なくとも一部に線形伝達関数を与えるように前記非線形要素（５００）を制御するための手段を更に具える、請求項１記載の多圧縮モードのビデオ信号圧縮装置。
（請求項６） 前記非線形要素（５００）が、コアリング回路である、請求項１記載の多圧縮モードのビデオ信号圧縮装置。
発明の効果
予測装置が、符号化されている各圧縮モードに対し、各圧縮モードに対応する制御信号を非線形要素に供給することにより、非線形要素を適応的に制御し、各圧縮モードに対して最適な伝達関数を使用することができ、その結果、効果的に雑音を低減することができる。

本発明は、国際標準化機構の動画専門家グループ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ：ＭＰＥＧ）によって確立されている基準で述べられているものと同様な、ビデオ信号の圧縮に関連して説明する。ＭＰＥＧプロトコルで述べられている形式の動き補正予測符号化はフレーム内の符号化とフレーム間の符号化の両方を必要とする。すなわち、定期的に信号を補充するために、Ｎ番目のフレームごとにフレーム内符号化される。中間のフレームはフレーム間符号化またはＤＰＣＭ予測符号化され、先行するフレームに依存する連続的なフレームにおいて圧縮データが使用される。フレーム内符号化されたフレームはＩフレームと称される。フレーム間符号化されたフレームは、前方予測だけされたかまたは前方予測と後方予測の両方をされたかにより、それぞれＰフレームまたはＢフレームと称される。予測符号化では、それぞれの画像を小さい面積に分割し、隣接の画像を検索して、隣接の画像内にある全く同じかまたはほぼ同じ部分を探し出す。隣接画像内のその部分の位置、および現在の画像の部分とそれに対応する隣接の画像の全く同じかまたはほぼ同じ部分との差が符号化され伝送される。対応する部分が実際に全く同一であれば、すべての差はゼロになり、その対応する部分の位置を識別するベクトルと、すべての差がゼロであることを表示する符号だけで、或る部分が符号化される。従って、圧縮された全く同じかまたはほぼ同じ画像は比較的少数の符号ワードで実現される。その代わり、もし画像の中にかなりの雑音が含まれていれば、フレーム間の画像部分の相関が低下し、それに伴って、残余データが増加すると共に、圧縮された符号ワードも増加する。

図１で、例えば、カメラで発生されるビデオ信号は、ビデオ信号を圧縮用に制御する巡回形雑音低減装置１０に供給される。その他の装置は比較的よく知られている形体のものなので、概略の説明だけを行う。雑音低減装置１０からのＩフレームのピクセル・データは、変更されずに減算器１２から符号器１５に送られる。符号器１５は、ピクセル・データ（８×８ピクセルのブロック）について離散余弦変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：ＤＣＴ）を行い、ＤＣＴ係数を発生する。ＤＣＴ係数は、データ・レートを制御するために量子化され、予め定められた順序で並べられる。このため、値がゼロの係数の大部分は合体し、能率的なラン・レングス符号化を行う。次に符号器は、係数をラン・レングス符号化しそして統計的に符号化する。符号化されたピクセルを表わすデータはフォーマット化装置１９に供給される。装置１９は、選択された圧縮プロトコル（例えばＭＰＥＧ２）に従って、１フレーム内のそれぞれのブロックの原（ソース）位置、符号化の形式（Ｉ，Ｐ，Ｂ）、フレーム番号、タイム・スタンプ（ｔｉｍｅ ｓｔａｍｐ）などを表示する情報を取りつける。フォーマット化装置１９からのデータはトランスポート処理装置２０に供給され、処理装置２０はフォーマット化されたデータを特定のビット数のペイロード・パケット（ｐａｙｌｏａｄ ｐａｃｋｅｔ）に分割し、それぞれのペイロードを追従するために識別記号を発生し、同期情報を発生し、誤り訂正／検出符号を発生し、これらをすべてそれぞれのペイロード・パケットに付加して、トランスポート・パケットを形成する。トランスポート・パケットは、伝送のために適当なモデム２２に供給される。

符号器１５からの圧縮されたＩフレームは復号器１６に供給され、復号器１６は符号器１５とは逆の機能を実行する。圧縮されたＩフレームの場合、復号器１６の出力は再生されたＩフレームである。復元されたＩフレームは、変更されずに、加算器１８によってバッファ・メモリ１７に送られ、その後のＰフレームとＢフレームの予測的圧縮のために、そこに貯えられる。ＰフレームとＢフレームの予測符号化は類似しているので、Ｐフレームの圧縮について述べる。現在圧縮されているＰフレームの画像は動き推定装置１４に供給され、装置１４はこのフレームを、例えば、１６×１６ピクセルのブロックに分割する。推定装置１４は次に、同じ様な１６×１６ピクセルのブロックを求めて、その前のＩフレームまたはＰフレームを検索し、現在のフレーム内のブロックと検索されているフレーム内のほぼ同じブロックとの空間座標における相対的な差を示す１組のベクトルを計算する。このベクトルを使用して、バッファ・メモリ１７内の復元された対応するフレームからの対応するブロックが減算器１２に結合される。減算器１２は、復元されている現在のフレームの対応するブロックから、各ピクセルごとにメモリ１７からの予測されたブロックを差し引く。減算器より供給される差すなわち余りは符号器１５に供給され、ここで、Ｉフレームのピクセル・データと同様に処理される。動き推定装置１４より発生されるベクトルはフォーマット化装置１９に結合され、その中に、それぞれのブロックに関連する符号化されたデータの一部として入れられる。

圧縮されたＰフレームは復号器１６で復号され、加算器１８に供給される。これと同時に、フレームが予測されたもとの画像フレームのそれぞれのブロックは予測装置１３によってバッファ・メモリからアクセスされ、加算器１８の第２の入力に供給され、ここで、復号された余りすなわち差は、各ピクセルごとに加算され、実際の画像を再生する。加算器１８からの再生されたピクセルのＰフレーム・データは、その後のＰおよびＢブレームを予測符号化／復号化するために、バッファ・メモリ１７に貯えられる。

重要なことは、Ｉフレームが処理されている時に、予測装置１３は減算器１２と加算器１８の両方にゼロ値を供給する。従って、入力されるＩフレームは変更されずに減算器１２を通過し、復号器１６からの復号されたＩフレームは変更されずに加算器１８を通過する。

図２は本発明の第１の実施例を示す。図２で、圧縮装置は図１の装置と類似しており、図１の番号と類似した番号で表わした要素は類似した機能を果たす。主要な相違点が２つあり、それは非線形要素５００の追加と、図１の要素１３の機能を果たす要素１３３３にわずかな機能が追加されていることである。

非線形要素５００は減算器１２と符号器１５の間に接続されている。この要素は、予め定められた値を超える信号値のみを通過させるように構成されている。要素５００は簡単なコアリング回路でもよく、この回路は、図３の区分的線形関数（曲線Ｂ）で示すように、予め定められた値以下のすべての値についてはゼロ値を通過させ、予め定められた値を超えるすべての値については、予め定められた値を引いた信号値を通過させる。あるいは、もっと典型的なコアリング回路の形を取ることもでき、この回路では、予め定められた値よりも小さいすべての信号値についてはゼロ値を通過させ、予め定められた値を超えるすべての信号値についてはその信号値を通過させる。要素５００に使用する更に別の関数は、図３の曲線Ａのような、もっと緩やかな曲線の関数である。これらの機能はすべて、処理される信号でアドレスされるように構成されているメモリ内のそれぞれのアドレス位置の中にこれらの機能をプログラムすることにより、備えられる。

圧縮装置は２つの形式の圧縮、フレーム内とフレーム間、を行うことを考えてみる。フレーム間圧縮では要素５００に供給される信号は、２つの独立したフレームのピクセル差をとることから生じる残余である。フレーム内圧縮では、要素５００に供給される信号は変更されてないビデオ信号である。フレーム間圧縮の雑音電力は２の平方根で、フレーム内圧縮よりも大きく、フレーム間圧縮の信号レベルはかなり低い。従って、フレーム内ビデオ信号の信号対雑音比は、信号を劣化させている雑音の量にかかわらず、フレーム間の残余の信号対雑音比よりもかなり大きい。

信号対雑音比が異なるので、フレーム内圧縮の間に行われる非線形の機能は、フレーム間圧縮の場合とは異なる。例えば、もし非線形の機能が区分的線形コアリングであるならば、予め定められた値であってフレーム内の値がそれ以下になるとコアリングされる値は、フレーム間の残余についての値よりも、かなり大きくなる。あるいは、フレーム内信号の信号対雑音比は残余に比較して割合に大きいので、この非線形要素は、変更されてないフレーム内信号を通過させるように制御される。ＢフレームとＰフレームの予測符号化されたフレームの相対的な信号対雑音比も、Ｐフレーム間にあるＢフレームの数によって相当に異なる。従って、異なる形式の予測符号化については、異なる非線形関数を要素５００に使用することが適切であろう。非線形要素５００を適応的に制御することは予測装置１３３３で行われ、予測装置１３３３は符号化されているＩ，ＰおよびＢフレームに対しそれぞれの制御信号を供給する。

図４は、あらゆる形式のフレーム間およびフレーム内圧縮のために同様な非線形関数を使用するのに役立つ実施例を示す。図４で、図１の装置と類似した番号で表わされている要素は、類似したものであり、類似した機能を果たす。図４の回路は、減算器１２と符号器１５の間に非線形要素５０を含んでいる。この非線形要素の機能は、図５に示す機能（標準的なコアリング機能）あるいは装置５００について述べた機能と同様である。

フレーム間符号化フレームの圧縮の間、スイッチＳＷ１とＳＷ２は図に示す選択的な位置にある。スイッチをこの位置にして、図４のシステムは図２のシステムと全く同じように構成され動作して、フレーム間符号化を行う。従って、要素５０の非線形機能は、フレーム間符号化のために期待される性能に従って選択される。

フレーム内符号化の場合、復号器１６からの復号されたフレーム内信号は変更されずに加算器１８を通過することが必要である。これを行うにはスイッチＳＷ１を使用し、ＳＷ１は、Ｉフレームの符号化の間ゼロ値を通過させるように予測装置１３３によって制御される。これと同時にスイッチＳＷ２は図４に示す位置に移動される。

非線形要素がＩフレームの信号に有益な効果を与えるためには、Ｉフレームの信号の信号対雑音比は割合に高いので、Ｉフレームの信号は、雑音を処理するために人為的に低減され、それから雑音処理の後に元に戻される。Ｉフレームの信号の低減を行うには、予測されるＩフレームを発生し、この予測されたＩフレームを減算器１２に供給する。減算器で発生される差の大きさはフレーム間の残余と同じ大きさであり、従って非線形要素はそれに基づいて同様に動作する。次いで、予測装置１３３より供給される予測された信号は、非線形要素より供給される信号に加えられ、入力されたＩフレーム信号はほぼその元の位置に戻される。

予測されるＩフレームを発生するために幾つかの方法がある。１つの方法は、バッファ１７内の最後に復号化されたフレーム（これはＩフレームではないかもしれない）から、現在のＩフレームと一緒に配列されているピクセルのブロックを出力するように予測装置１３３を単純に制御することである。しかしながら、Ｉフレームをもっとずっと正確に予測するのに好ましい方法は、ＰまたはＢフレームを予測するのと同様にしてＩフレームを予測することである。予測には動きベクトルを必要とし、この動きベクトルによって、時間的に間隔を置いたフレーム内にある類似したピクセルのブロック間の空間的一致が得られる。符号化されたＩフレームは一般に動きベクトルを含んでいない。しかしながら、符号器はＰフレームとＢフレームについてベクトルを発生する動きベクトル発生装置を含んでいるので、Ｉフレームについても動きベクトルを発生するように、このような装置をプログラムするのは簡単な事柄である。これらの動きベクトルは、雑音を低減する目的で予測されるＩフレームを発生するために符号器で使用され、そのあとで捨てられる、すなわち、符号化されたビット・ストリームの中に含められない。あるいは、ＭＰＥＧプロトコルで提案されているように、Ｉフレームの動きベクトルは誤り修整の目的で符号化されたビット・ストリームの中に含めることもできる。

値Ｔ（これは通常きわめて小さい）以上の大きさを有する信号サンプルをすべて通過させるように非線形要素はプログラムされると仮定する。また、予測装置１３３から発生される信号はＳ（ｎ）であり、入力されるＩフレーム信号は、Ｉ（ｎ）とする。要素５０を無視すると、スイッチＳＷ２の上部接点に供給される信号はＩ（ｎ）−Ｓ（ｎ）である。この信号は加算器５２の１つの入力に結合され、信号Ｓ（ｎ）は加算器５２の第２の入力に供給される。加算器５２より発生される信号はＩ（ｎ）−Ｓ（ｎ）＋Ｓ（ｎ）＝Ｉ（ｎ）である。これらの値は符号器１５に結合され、入力値から変更されていない。減算器１２から発生される差が±Ｔ以内にある出力値Ｉ（ｎ）だけが非線形要素５０により影響を受ける。従って、もし予測装置１３３から得られるＩフレームの予測が非常に正確で±Ｔ以内の誤差であれば効果的であり、その場合、非線形要素５０は実質的に雑音成分だけに影響を及ぼす。

上述の説明では、各フレームはフレーム内符号化されたフレームとしてまたはフレーム間符号化されたフレームとして完全な形で符号化される。例えば、ＭＰＥＧ基準では、ビデオ信号は各ブロックごとに符号化され、検索フレーム内のブロックにぴったり一致するものが見つからない場合、ＰフレームかＢフレームの或るブロックをフレーム内符号化モードで符号化するように準備がなされる。このような場合、予測装置３３，１３３および１３３３は、現在の処理形式に従って各ブロックごとに非線形処理要素５０および５００をそれぞれ切り換えるようにプログラムされる。従って、特許請求の範囲で、もしフレーム間処理モードに従ってフレームを圧縮することについて述べられているならば、このようなフレームの中にあるピクセルのブロックはフレーム内処理されるものと認識されるべきであり、特許請求の範囲はこのような混合モードで処理されたフレームにも適用される。

従来技術のＤＰＣＭ圧縮装置のブロック図である。 本発明に従う雑音低減装置を含む圧縮装置のブロック図である。 図２および図４の雑音低減装置の例示的な非線形伝達関数を示す。 本発明による雑音低減装置を含む圧縮装置のブロック図である。 図２および図４の雑音低減装置の例示的な非線形伝達関数を示す。

符号の説明

１０ 巡回形雑音低減フィルタ
１２ 減算器
１３ 予測装置
１４ 動き推定装置
１５ 符号器
１６ 復号器
１７ バッファ・メモリ
１８ 加算器
１９ フォーマット化装置
２０ トランスポート処理装置
２１ レート・バッファ
２２ モデム
５０ 非線形要素
１３３ 予測装置

Claims (6)

1. 多圧縮モードのビデオ信号圧縮装置であって、
   ビデオ信号を入力する信号入力端子と、
   前記信号入力端子に結合される第１の入力端子、第２の入力端子、および出力端子を具える減算器と、
   入力端子および出力端子を具え、前記ビデオ信号をブロックごとに圧縮するための変換手段と、
   前記変換手段の前記出力端子に結合される入力端子を具え、前記減算器の前記第２の入力端子に結合される出力端子を具え、且つ前記変換手段からの圧縮されたビデオ信号に応答して、各ブロックごとに圧縮解除された予測ビデオ信号を発生するためのビデオ信号予測手段と、
   前記変換手段の前記入力端子と前記減算器の前記出力端子との間に結合される非線形要素と、からなり、
   前記非線形要素の伝達関数は、前記ビデオ信号予測手段の圧縮モードに応答し、前記減算器の前記出力端子に発生される信号の残余を、異なる圧縮モードに対して異なる態様で減少させる、前記多圧縮モードのビデオ信号圧縮装置。
2. 請求項１に記載のビデオ信号圧縮装置において、前記ビデオ信号は、一連のフレームの形式で発生し、各フレームは、一連の異なる圧縮モードに応じて圧縮され、前記圧縮装置は更に、前記異なる圧縮モードに対して、異なる伝達関数で動作するように前記非線形要素を制御するための手段を具える、請求項１記載の多圧縮モードのビデオ信号圧縮装置。
3. 画像ブロックの異なる圧縮モードに対して、各ブロックごとに異なる伝達関数を呈するように、前記非線形要素を制御するための手段を更に具える、請求項１記載の多圧縮モードのビデオ信号圧縮装置。
4. 前記ビデオ信号予測手段の圧縮モードに応答して、或る形式の圧縮モードについては前記非線形要素の伝達関数をバイパスするための手段を更に具える、請求項１記載の多圧縮モードのビデオ信号圧縮装置。
5. 前記ビデオ信号予測手段により所定の圧縮モードの存在が示されると、少なくとも一部に線形伝達関数を与えるように前記非線形要素を制御するための手段を更に具える、請求項１記載の多圧縮モードのビデオ信号圧縮装置。
6. 前記非線形要素が、コアリング回路である、請求項１記載の多圧縮モードのビデオ信号圧縮装置。