JP4820559B2 - 映像データ符号化及び復号化方法及び装置 - Google Patents

Description

本発明は、一般に映像通信に関し、より詳細には、所与のビットバジェット（ｂｉｔ ｂｕｄｇｅｔ）を効率的に利用しながら、デジタル送信される映像を更新する効率的な方法を提供することに関する。

映像のデジタル化がますます重要となってきている。グローバル通信（例えば、テレビ会議など）での利用に加えて、デジタル映像の記録のための映像のデジタル化もまたますます普及してきている。これらの用途のそれぞれにおいて、映像とそれに付随する音声情報は、電話線、ＩＳＤＮ、ＤＳＬ及び無線周波数を含む通信リンクを介し送信されたり、あるいはＤＶＤ及びＳＶＣＤなどの各種メディア装置に格納されている。

現在、映像データの効率的な格納と共に効率的な送受信には、映像及び付属の音声データの符号化及び圧縮が必要とされるかもしれない。映像圧縮符号化は、映像データの格納に要するメモリを少なくし、必要とされる送信帯域幅を減少させるためのデジタル映像データの符号化方法である。必要とされる送信ビットレートを低減させるため、映像フレームを圧縮するのに、圧縮/伸張（ＣＯＤＥＣ）手法がしばしば利用される。ＣＯＤＥＣハードウェア及びソフトウェアにより、デジタル映像データをオリジナル（すなわち、未圧縮）のデジタル映像フォーマットにより必要とされるものよりも、よりコンパクトなバイナリフォーマットに圧縮することが可能となる。

ソース映像信号の符号化及び圧縮を行うためのアプローチ及び規格には様々なものがある。ある用途に対して、ＩＴＵ−Ｔ勧告Ｈ．２６１、Ｈ．２６３及びＨ．２６４などのいくつかの規格が設計され、これらはテレビ会議アプリケーションにおいて広く利用されている。さらに、Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ’ Ｇｒｏｕｐにより発表された規格（ＭＰＥＧ−２、ＭＰＥＧ−４）は、家電や他の用途に広く普及している。これら規格のそれぞれは、参照することによりここに含まれる。

デジタル画像は、各画素のグリッドから構成される。典型的には、画像全体が一度に処理されるのでなく、個別に処理されるブロックに分割される。各ブロックは、所定数のルミナンスまたはルーマ（ｌｕｍａ）画素（一般に、画素の明るさを規定する）の矩形グリッドと、所定数のクロミナンスまたはクロマ（ｃｈｒｏｍａ）画素（一般に、画素のカラーを規定する）から構成される。所定数のブロックは、例えば、Ｈ．２６４規格における処理単位を構成するマクロブロックに合成される。さらに、Ｈ．２６４規格では、複数のマクロブロックは、スライスとして知られるより大きな処理ユニットに合成されるかもしれない。このような処理ユニットの階層化に関する特徴が以下で説明されるが、処理対象の画像のブロックベース処理のための方法及び技術は、一般に当業者には既知のものであり、ここでは詳細に繰り返されない。

画像データのブロックは、２つの基本的技術の１つの変形により符号化されてもよい。例えば、もとのブロックが前のフレームからの対応するブロックなどの履歴データを参照することなく符号化される「イントラ（Ｉｎｔｒａ）」符号化が利用されてもよい。あるいは、画像データのブロックが当該ブロックと前のフレームからの対応するブロックなどの参照データブロックとの差分に関して符号化される「インタ（Ｉｎｔｅｒ）」符号化が利用されてもよい。上記２つの基本スキームに関する多数の変形が当業者には既知であり、ここでは詳細には説明されない。一般に、最も少ないビットでデータブロックを記述する符号化技術を選ぶことが望ましい。

典型的には、イントラフレーム符号化は、ブロックを表現するのにより多くのビットを必要とする。従って、インタフレーム符号化が一般に好まれる。しかしながら、逆離散コサイン変換（ＩＤＣＴ）の実現におけるアルゴリズムの差があるとき、あるいは送信エラーが発生するときなどの、受信機に保持される基準画像ブロックが送信機に格納されている対応する基準ブロックから乖離する状況が存在する。従って、送信機が与えられた基準に対してブロックを符号化するとき、受信機により再構成されるブロックは、送信が意図するものとは異なるものとなるであろう。従って、各データブロックは、所与のインタフレームモードでの符号化回数に対して、少なくとも１回はイントラフレームモードで符号化されることが望ましい。Ｈ．２６１規格に関するこのような符号化記述の詳細については、Ｂｒｕｄｅｒによる米国特許第５，６４４，６６０号に記載があり、参照することによりここに含まれる。
米国特許第５，６４４，６６０号

しかしながら、このような従来の技術は、Ｈ．２６４などのより新しい符号化規格への適用には適さない。特に、Ｈ．２６４映像ＣＯＤＥＣでは、フレームの「制限イントラ（ｃｏｎｓｔｒａｉｎｅｄ Ｉｎｔｒａ）」フラグが設定されなければ、イントラブロックは、隣接する画素から常に予測される。「制限イントラ」フラグが設定されている場合、当該フレームのすべてのイントラブロックは、必ずしも周辺画素からである必要はないが、他のイントラブロックからのみ予測される。このため、各フレームの１または２個のイントラブロックを送ることにより、画像を徐々に更新させたい場合、（１）「制限イントラ」フラグが解除されている場合には、画像欠陥エラーをイントラ予測によりイントラ領域に伝搬させてしまう、あるいは（２）「制限イントラ」フラグが設定されている場合には、当該フレーム内のすべてのイントラブロックを、それらがリフレッシュブロック（ｒｅｆｌｅｓｈ ｂｌｏｃｋ）またはイントラとしてより効率的に送信されるブロックであるかどうかに関係なく、隣接するイントラ符号化画素を利用することのみに制限することにより、Ｈ．２６４映像ＣＯＤＥＣの重要な効果を消失させる、という望ましくない選択が与えられる。

従って、映像ＣＯＤＥＣの効率を維持しながら、より向上したイントラリフレッシュを提供し、これにより映像クオリティを向上させるシステム及び方法が必要とされる。

本発明は、分類マップを利用することにより、エンコーダとデコーダの基準フレーム間の乖離をリフレッシュするのに用いられる画素グループを送信する映像エンコーダのための方法に関する。この画素グループは本質的に誤り訂正タスクであるものに対して利用されているため、画像冗長部分を利用して符号化効率を向上させる画素グループと反対に、他の画素からの情報に基づくものとすることはできない。Ｈ．２６４規格は、同一のスライスグループ内のマクロブロックのみが互いから空間的に予測されるようにしてもよいということを示している。Ｈ．２６４はまた、フレーム内の各マクロブロックがどのスライスグループに割り当てられているか記述するマップを送信することを可能にする。マクロブロックの一部を１つのスライスグループに、残りのマクロブロックを他の１以上のスライスグループにそれぞれ配置するマップを送信することにより、画像冗長部分を利用するブロックから画像のリフレッシュブロックを分離する所望の効果をもたらすことができる。さらに、各送信フレームに対し、各々が当該フレームにおけるイントラリフレッシュ対象のマクロブロックと対応するマップを送信することにより、画像のすべての部分を徐々にリフレッシュする効果が実現される。最後に、異なるフレームインデックスを各送信マップに割り当てることにより、マップの記述のみが通信開始時に１度だけ送信されればよい。同一のリフレッシュブロックパターンを利用する以降のすべてのフレームは、以前に送信されたマップのインデックスを参照することができる。これにより、通信開始時に複数のリフレッシュマップを送信する追加的チャネル負荷によるだけで、自己訂正映像シーケンスが効率的に送信される。

本発明は、Ｈ．２６４による偶発的ラインエラーを解消することを可能としながら、高いレベルの映像クオリティ及び圧縮率を維持することを可能にする。本発明はテレビ会議アプリケーションを参照して説明されるが、映像データのデジタル化、ＤＶＤの記録などの他の用途においてもまた効果的であるということが予想される。

図１は、一例となるテレビ会議システム１００を示す。テレビ会議システム１００は、ローカルテレビ会議ステーション１０２と、ネットワーク１０６を介し接続されるリモートテレビ会議ステーション１０４とを有する。図２は２つのテレビ会議ステーション１０２及び１０４のみしか示していないが、当業者には、より多くのテレビ会議ステーションがテレビ会議システム１００の接続可能であるということが認識されるであろう。ここで、本発明によるシステム及び方法は、映像データがネットワークを介し送信される任意の通信システムにおいて利用されてもよい。ネットワーク１０６は、以下に限定されるものではないが、ＰＯＴＳ（Ｐｌａｉｎ Ｏｌｄ Ｔｅｌｅｐｈｏｎｅ Ｓｅｒｖｉｃｅ）、ケーブル、光ファイバ及び無線送信メディアなどの任意のタイプの電子送信媒体であってもよい。

図２は、一例となるテレビ会議ステーション２００のブロック図である。簡単化のため、テレビ会議ステーション２００は、リモートテレビ会議ステーション１０４（図１）が同様の構成を備えてもよいが、ローカルテレビ会議ステーション１０２（図１）として説明される。一実施例では、テレビ会議ステーション２００は、表示装置２０２、ＣＰＵ２０４、メモリ２０６、少なくとも１つの映像キャプチャ装置２０８、画像処理エンジン２１０及び通信インタフェース２１２を有する。あるいは、他の装置がテレビ会議ステーション２００に設けられてもよいし、あるいは上記装置のすべてが設けられていなくともよい。

少なくとも１つの映像キャプチャ装置２０８は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラまたは他の任意のタイプの画像キャプチャ装置として実現されてもよい。少なくとも１つの映像キャプチャ装置２０８は、ユーザ画像、会議室または他のシーンをキャプチャし、この画像を画像処理エンジン２１０に送信する。画像処理エンジン２１０は、図３と共により詳細に説明される。他方、画像処理エンジン２１０はまた、リモートテレビ会議ステーション１０４から受信したデータパケットを、表示装置２０２上への表示のため映像信号に変換する。

図３は、図２の画像処理エンジン２１０の一実施例である。画像処理エンジン２１０は、符号化エンジン３０２と、ネットワークを介した送信のため、各符号化マクロブロックをあるフォーマットに配置するよう構成されるトランスポートエンジン３０４と、通信バッファ３０６とを有する。本発明の他の実施例では、トランスポートエンジン３０４は、マクロブロックパケット化エンジンであってもよいし、あるいはトランスポートエンジン３０４はなくてもよく、また符号化エンジン３０２に設けられてもよい。さらに、画像処理エンジン２１０は、多数または少数の要素を有するようにしてもよい。

まず、映像キャプチャ装置２０８（図２）からの映像信号は、各映像フレームを所望のフォーマットに変換し、映像信号の各フレームをマクロブロック群に変換する符号化エンジン３０２に入力される。マクロブロックは、画像要素（あるいは画素と呼ばれる）に関するルミナンス及びクロミナンス要素からなるデータブロックを含むデータ単位である。例えば、Ｈ．２６４規格では、画像はスライスに分割される。スライスは、マクロブロックのシーケンス（または、マクロブロック適応的フレーム/フィールド復号化利用される場合には、マクロブロックペア）である。Ｈ．２６４のブロックサイズは、マクロブロックは同じであるが、Ｈ．２６１及びＨ．２６３とは異なる。参考のため、Ｈ．２６４は、マクロブロックがインタブロックに対して異なるサイズのコンポーネントに分割されることを可能にし、イントラブロックでさえ１６×１６画素モードと４×４画素モードの両方を可能にする。ＤＣＴ/量子化/ＩＤＣＴは、Ｈ．２６１及びＨ．２６３に関する８×８ブロックの代わりに、４×４ブロックに対し実行される。各マクロブロックは、１つの１６×１６ルミナンスと２つの８×８クロミナンスサンプルアレイから構成される。マクロブロックは、４：２：０クロマサンプリングフォーマットによるルミナンスデータの４つの８×８ブロックと、クロミナンスデータの対応する２つの８×８ブロックから構成される。８×８データブロックは、８行８列データマトリックスであり、各データは映像フレームの一画素に対応する。

しかしながら、本発明は、従来規定されたようなマクロブロックに限定されるものでなく、ルミナンス及び/またはクロミナンスデータからなる任意のデータ単位に拡張されてもよい。さらに、本発明の範囲は、ルミナンスデータの４つの８×８ブロックとクロミナンスデータの対応する４つの８×８ブロックからなる４：２：２クロマサンプリングフォーマット、あるいはルミナンスデータの４つの８×８ブロックとクロミナンスデータの対応する８つの８×８ブロックからなる４：４：４クロマサンプリングフォーマットなどの他のサンプリングフォーマットをカバーする。

さらに、符号化エンジン３０２は、画像コンテンツを表すのに利用されるビット数を減少させるため、各マクロブロックを符号化する。各マクロブロックは、「イントラ符号化」または「インタ符号化」されてもよく、映像フレームは、イントラ符号化及びインタ符号化マクロブロックの組み合わせから構成されてもよい。イントラ符号化マクロブロックは、他の映像フレームからの情報を利用することなく符号化される。すなわち、イントラ符号化フレームは、自らを参照することによってのみ符号化される。あるいは、インタ符号化マクロブロックは、時間的類似性（すなわち、１つのフレームからのマクロブロックと前に符号化されたフレームからの近似したマクロブロックとの間に存在する類似性）を利用して符号化される。前の基準映像フレームからの対応するマクロブロックは、この前のフレーム内の同一の空間的位置にある必要はなく、与えられたマクロブロックに関する画素から空間的にオフセットされる画素に関するデータから構成されてもよい。これは、当業者には既知の動き補償技術を利用することから得られるものであり、その詳細はここでは説明されない。

好ましくは、符号化エンジン３０２は、リフレッシュ機構を利用して、フレームのマクロブロックをイントラ符号化する。このリフレッシュ機構は、各フレームに対しマクロブロックの特定パターンをイントラ符号化することにより、エンコーダとデコーダの基準フレーム間のミスマッチを除去する決定性を有する機構である。以降の参考のため、リフレッシュ機構を介しイントラ符号化されたマクロブロックは、リフレッシュイントラ符号化マクロブロックと呼ばれる。リフレッシュ機構の具体例の詳細は、２００２年１２月２３日に出願された米国特許出願第１０/３２８，５１３号「Ｄｙｎａｍｉｃ Ｉｎｔｒａ−ｃｏｄｅｄ Ｍａｃｒｏｂｌｏｃｋ Ｒｅｆｒｅｓｈ Ｉｎｔｅｒｖａｌ ｆｏｒ Ｖｉｄｅｏ Ｅｒｒｏｒ Ｃｏｎｃｅａｌｍｅｎｔ」に説明されている。

好ましくは、符号化エンジン３０２は、符号化映像フレームのどのマクロブロックがイントラ符号化されるかを特定するイントラマクロブロックマップを生成する。イントラマクロブロックの生成後、画像処理エンジン２１０は、当該マップをリモートテレビ会議ステーション１０４（図１）に送信する。マップは、他のデータフィールドが利用可能ではあるが、例えば、符号化映像フレームに関する画像ヘッダデータの一部として送信されてもよい。

上述のように、映像シーケンスの各画像は、１以上のスライスに分割される。各スライスは、いくつかのマクロブロックから構成される。マクロブロック＝スライスグループマップは、画像のマクロブロックをスライスグループにマッピングする方法である。マクロブロック＝スライスグループマップは、各符号化マクロブロックに対して１つの番号が与えられ、各符号化マクロブロックが属するスライスグループを特定する番号リストから構成されてもよい。

Ｈ．２６４は、マクロブロック＝スライスグループマップにおいて、当該フレームの各マクロブロックがどのスライスグループに割り当てられているか特定することにより実現されるフレキシブルマクロブロックオーダリング（Ｆｌｅｘｉｂｌｅ Ｍａｃｒｏｂｌｏｃｋ Ｏｒｄｅｒｉｎｇ）を可能にする。符号化処理中、同一のスライスグループのマクロブロックのみが、互いから予測することができる。各マップが相異なる１または２個のマクロブロックを１つのスライスグループに配置し、当該フレームの残りのマクロブロックをその他のスライスグループに配置した複数のマクロブロック＝スライスグループマップを送信し、その後当該フレームのイントラリフレッシュ対象のマクロブロックに対応するよう適切なマクロブロック＝スライスグループマップをインデックス処理することにより、設計者は、リフレッシュされる領域にエラーを伝搬させるリスクなく、当該画像のリフレッシュ部分の所望の効果を生成することができる。一方では、符号化効率は、その他すべてのマクロブロックが同一のスライスグループに属するため、当該画像の残りにおいても維持される。

映像シーケンス/テレビ会議/映画において、１度だけイントラマクロブロックマップのみが送信される必要があるということに注目することが重要である。Ｈ．２６４規格は、デコーダが２５６までのイントラマクロブロックマップを同時に保持することができることを必要とする。マップの送信後、エンコーダは、どのマップが当該フレームに利用されているか呼び出すため、デコーダの番号によりこのマップを参照する必要があるだけである。これにより、最も高いレベルの符号化効率を維持することが可能となる。

本発明は、実施例を参照することにより説明された。本発明のより広い趣旨及び範囲から逸脱することなく、様々な改良が可能であることは当業者には明らかであろう。さらに、本発明は、特定の実施例及び用途におけるそれの実現形態に関して説明されたが、本発明の有用性はこれに限定されるものでなく、様々な環境及び実現形態において効果的に利用可能であるということは当業者には認識されるであろう。従って、上記説明及び図面は、限定的なものでなく例示的なものであるとみなされるべきである。

図１は、一例となるテレビ会議システムのブロック図である。 図２は、図１のテレビ会議システムの一例となるテレビ会議ステーションのブロック図である。 図３は、図２の画像処理エンジンの一実施例のブロック図である。

符号の説明

１００ テレビ会議システム
１０２ ローカルテレビ会議ステーション
１０４ リモートテレビ会議ステーション
１０６ ネットワーク
２００ テレビ会議ステーション
２０２ 表示装置
２０４ ＣＰＵ
２０６ メモリ
２０８ 映像キャプチャ装置
２１０ 画像処理エンジン
２１２ 通信インタフェース
３０２ 符号化エンジン
３０４ マクロブロックパケット化エンジン
３０６ 通信バッファ

Claims (10)

1. 映像データを符号化する方法であって、
   映像信号の各フレームを複数のマクロブロックに分割するステップと、
   各フレームに対し、前記複数のマクロブロックのイントラリフレッシュ対象の１以上のマクロブロックを第１スライスグループに割り当てるステップと、
   各フレームに対し、前記複数のマクロブロックの残りのマクロブロックを１以上の他のスライスグループに割り当てるステップと、
   前記第１スライスグループに割り当てられたマクロブロックを示すマップを生成するステップと、
   以降の各フレームに対し、前記マップを前記以降のフレームにおける前記イントラリフレッシュ対象のマクロブロックに対応するようインデックス処理するステップと、
   から構成される方法。
2. 請求項１記載の方法であって、さらに、
   前記複数のマクロブロックと前記マップからなる映像データを他の装置に送信するステップを有することを特徴とする方法。
3. 映像信号を復号化する方法であって、
   イントラリフレッシュ対象の１以上のマクロブロックが第１スライスグループに割り当てられ、残りのマクロブロックが１以上の他のスライスグループに割り当てられる複数のマクロブロックと、前記第１スライスグループに割り当てられたマクロブロックを示すマップとからなる信号を受信するステップと、
   前記第１スライスグループに割り当てられた１以上のマクロブロックを、前記第１スライスグループに割り当てられていないマクロブロックを参照することなく、イントラ符号化されたものとして復号化するステップと、
   前記１以上の他のスライスグループに割り当てられた残りのマクロブロックを復号化するステップと、
   前記復号化されたマクロブロックから映像フレームを生成するステップと、
   から構成されることを特徴とする方法。
4. 請求項３記載の方法であって、さらに、
   以降のフレームに対し前記マップをインデックス処理するステップと、
   前記以降のフレームに対応し、前記以降の第１スライスグループに割り当てられる１以上のマクロブロックを、前記以降のフレームにおける前記第１スライスグループに割り当てられていないマクロブロックを参照することなく復号化するステップと、
   前記以降のフレームに対応する残りのマクロブロックを復号化するステップと、
   前記復号化されたマクロブロックから前記以降の映像フレームを再生成するステップと、
   を有することを特徴とする方法。
5. 請求項３記載の方法であって、さらに、
   前記生成されたフレームを表示するステップを有することを特徴とする方法。
6. 映像データを格納する記憶媒体であって、
   前記映像データは、各々が複数のマクロブロックに分割されるフレームのシーケンスに分割され、
   前記複数のマクロブロックのイントラリフレッシュ対象の１以上のマクロブロックが第１スライスグループに割り当てられ、前記複数のマクロブロックの残りが１以上の他のスライスグループに割り当てられ、
   前記映像データはさらに、前記スライスグループに割り当てられたマクロブロックを示すマップを備え、
   前記第１スライスグループに割り当てられたマクロブロックは、イントラブロックとして符号化され、
   前記残りのマクロブロックは、イントラまたはインタ符号化ブロックとして符号化される、
   ことを特徴とする記憶媒体。
7. ＣＰＵと画像処理エンジンとを有する映像信号を符号化する装置であって、
   映像信号の各フレームを複数のマクロブロックに分割するステップと、
   各フレームに対し、前記複数のマクロブロックのイントラリフレッシュ対象の１以上のマクロブロックを第１スライスグループに割り当てるステップと、
   各フレームに対し、前記複数のマクロブロックの残りのマクロブロックを１以上の他のスライスグループに割り当てるステップと、
   前記第１スライスグループに割り当てられたマクロブロックを示すマップを生成するステップと、
   以降の各フレームに対し、前記マップを前記以降のフレームにおける前記イントラリフレッシュ対象のマクロブロックに対応するようインデックス処理するステップと、
   を実行するようプログラムされることを特徴とする装置。
8. 請求項７記載の装置であって、さらに、
   映像キャプチャ装置を有することを特徴とする装置。
9. ＣＰＵを有する映像データを復号化する装置であって、
   イントラリフレッシュ対象の１以上のマクロブロックが第１スライスグループに割り当てられ、残りのマクロブロックが１以上の他のスライスグループに割り当てられる複数のマクロブロックと、前記第１スライスグループに割り当てられたマクロブロックを示すマップとからなる信号を受信するステップと、
   前記第１スライスグループに割り当てられた１以上のマクロブロックを、前記第１スライスグループに割り当てられていないマクロブロックを参照することなく、イントラ符号化されたものとして復号化するステップと、
   前記１以上の他のスライスグループに割り当てられた残りのマクロブロックを復号化するステップと、
   前記復号化されたマクロブロックから映像フレームを生成するステップと、
   を実行するようプログラムされることを特徴とする装置。
10. 請求項９記載の装置であって、さらに、
    表示装置を有し、
    前記ＣＰＵは、前記生成された映像フレームの表示を前記表示装置上に実行するようプログラムされることを特徴とする装置。

Images