JP5535485B2 - 削減された分解能更新モードをマルチビュー・ビデオ符号化に提供する方法及び装置 - Google Patents

Description

（関連出願との相互参照）
本出願は、内容全体を本明細書及び特許請求の範囲に援用する「Ｓｙｓｔｅｍ Ｐｒｏｖｉｄｉｎｇ Ａｄａｐｔａｔｉｏｎ ｏｆ Ｄｅｂｌｏｃｋｉｎｇ Ｆｉｌｔｅｒ ｆｏｒ Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」と題する西暦２００６年１月９日付出願の米国特許仮出願第６０／７５７，２９２号の利益を主張する。更に、本出願は、内容全体を本明細書及び特許請求の範囲に援用する「Ｍｕｌｔｉ−Ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ」と題する西暦２００６年１月９日付出願の米国特許仮出願第６０／７５７，２８９号の利益を主張する。更に、本出願は、内容全体を本明細書及び特許請求の範囲に援用する、本出願と同一の譲受人に譲渡された、「Ｍｅｔｈｏｄｓ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｍｕｌｔｉ−Ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」と題する米国特許本出願（代理人整理番号ＰＵ０６０００４）の利益を主張する。

本発明は一般に、ビデオ符号化及びビデオ復号化に関し、特に、マルチビュー・ビデオ符号化にデブロッキング・フィルタリングの適応を提供する方法及び装置に関する。

ブロックベースのビデオ符号化アルゴリズムは、復号化画像内に可視ブロッキング・アーチファクトをもたらし得る。ブロックベースの動き補償及び残差変換符号化によってもたらされる前述のアーチファクトは、単一のビュー系列の符号化の目的で広範囲にわたって研究されてきた。

デブロッキング・フィルタは、視覚的に不快なブロッキング・アーチファクトを抑制するための実証されたツールである。デブロッキング・フィルタは、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ （ＩＳＯ／ＩＥＣ） Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４ （ＭＰＥＧ−４） Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＡＶＣ）標準（以下、「ＭＰＥＧ−４ ＡＶＣ標準」）／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ， Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｔｏｒ （ＩＴＵ−Ｔ） Ｈ．２６４勧告におけるように、予測ループ内で使用された場合、符号化効率を増加させることが可能である。

デブロッキング・フィルタは、再構成された画素をブロック境界近くで平滑化する。効果的なデブロッキング・フィルタは、信号の性質及び特定の符号化パラメータ値に応じてフィルタリング強度を調節すべきである。しかし、フィルタの適応可能度が高いと、実現において、計算量が、望ましくない大きな状態になる。

先行して提案されているいくつかのマルチビュー・ビデオ符号化（ＭＶＣ）アーキテクチャには、サイマルキャスト（各ビューを別個に圧縮する）と比較して、より好適な符号化効率を達成するための交差ビュー予測を含む。しかし、マルチビュー・ビデオ符号化のフレームワークにおいて、デブロッキング・フィルタ設計に関する先行技術は存在しない。

従来技術の前述並びに他の欠点及び不利点は、マルチビュー・ビデオ符号化にデブロッキング・フィルタリングの適応を提供する方法及び装置に関する本発明によって解決される。

本発明の一局面によれば、ビデオ符号化器を提供する。ビデオ符号化器は、マルチビュー・ビデオ系列を符号化するための予測情報に基づいて適応可能なデブロッキング・フィルタを含む。

本発明の別の局面によれば、ビデオ符号化方法を提供する。方法は、マルチビュー・ビデオ系列を符号化するための予測情報に基づいて、デブロッキング・フィルタリングを適応させる工程を含む。

本発明の更に別の局面によれば、ビデオ復号化器を提供する。ビデオ復号化器は、マルチビュー・ビデオ系列を復号化するための予測情報に基づいて適応可能なデブロッキング・フィルタを含む。

本発明の更に別の局面によれば、ビデオ復号化方法を提供する。方法は、マルチビュー・ビデオ系列を復号化するための予測情報に基づいて、デブロッキング・フィルタリングを適応させる工程を含む。

本発明の別の局面によれば、ビデオ符号化のためのビデオ信号構造を提供する。ビデオ信号構造は、マルチビュー・ビデオ系列の符号化にデブロッキング・フィルタを適応させるための予測情報を含む。

本発明の更なる局面によれば、その上にビデオ信号データを符号化させた記憶媒体を提供する。ビデオ信号データは、マルチビュー・ビデオ系列の符号化にデブロッキング・フィルタを適応させるための予測情報を含む。

本発明の前述並びに他の局面、特徴及び利点は、添付図面に関して検討するものとする、以下の、例示的な実施例の詳細な説明から明らかになるであろう。

本発明は、例示的な図によって、より深く理解することができる。

本発明は、マルチビュー・ビデオ符号化にデブロッキング・フィルタリングの適応を提供する方法及び装置に関する。

本明細書は、本発明の原理を例証する。よって、本明細書及び特許請求の範囲に明記又は明示されていないが、本発明の原理を実施し、その趣旨及び範囲の範囲内に含まれる種々の構成を当業者が考え出すことができるであろう。

本明細書及び特許請求の範囲記載の例及び条件付き言い回しは全て、本発明の原理、及び、当該技術を進歩させるために本願発明者が寄与する本願の概念の理解を手助けするという教示の目的のためであることが意図されており、前述の特に記載された例及び条件に限定されないと解されるものとする。

更に、本発明の原理、局面及び実施例、並びにその具体例を記載した、本明細書及び特許請求の範囲内の提示は全て、その構造的な均等物及び機能的な均等物を包含することが意図されている。更に、現在知られている均等物、及び、将来において開発される均等物（構造に係わらず、同じ機能を行う、開発される何れかの構成要素）を前述の均等物が含むことが意図されている。

よって、例えば、本明細書記載のブロック図が、本発明の原理を実施する例証的な回路の概念図を表すことが当業者によって認識されるであろう。同様に、コンピュータ又はプロセッサを明示しているか否かに係わらず、コンピュータ読み取り可能な媒体において実質的に表し、よって、コンピュータ又はプロセッサによって実行することができる種々の処理を、何れかのフローチャート、フロー図、状態遷移図、疑似コード等が表すことが認識されるであろう。

図に示す種々の構成要素の機能は、専用ハードウェア、並びに適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを使用することによって提供することができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサ、単一の共有プロセッサ、又は一部は共有され得る複数の個々のプロセッサによって備えることができる。「プロセッサ」又は「コントローラ」の語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に表すものと解するべきでなく、限定なしで、ディジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するリードオンリー・メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）、及び不揮発性記憶装置を暗黙的に含み得る。

他のハードウェア（通常のハードウェア及び／又はカスタム）も含むことができる。同様に、図に示すスイッチは何れも、概念的なものに過ぎない。その機能は、プログラム・ロジックの処理によって、専用ロジックによって、プログラム制御と専用ロジックとの相互作用によって行うことができ、又は手作業によっても行うことができる。具体的な手法は、意味合いから、より具体的に理解されるように実施者によって選択可能である。

本願の特許請求の範囲では、特定された機能を行う手段として記載された構成要素は何れも、前述の機能を行う何れかの手段（例えば、ａ）その機能を行う回路要素の組み合わせ、ｂ）何れかの形態のソフトウェア（よって、上記ソフトウェアを実行して上記機能を行うために適切な回路と組み合わせた、ファームウェア、マイクロコード等を含む）を含む）を包含することが意図されている。前述の特許請求の範囲記載の本発明は、特許請求の範囲が要求するやり方で、記載された種々の手段によって提供される機能が組み合わせられ、集約されることにある。よって、前述の機能を提供することが可能な如何なる手段も、本明細書及び特許請求の範囲記載のものと均等であるものとする。

本明細書において本発明の原理の「ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」又は「ａｎ ｅｍｂｏｄｉｍｅｎｔ」に言及していることは、実施例に関して説明する特定の特徴、構造又は特性等が本発明の原理の少なくとも１つの実施例に含まれていることを意味している。よって、本明細書を通した種々の箇所に存在している句「ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」又は「ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ」は必ずしもその全てが同じ実施例を表している訳でない。

更に、（例えば、フローチャートにおいて行われる）ループに関し、マクロブロック、ピクチャ、フィールド、フレーム、ブロック、画素等などのエンティティ「それぞれ」にわたってループする特定のループに対する本明細書における参照は、そういうものとして例示的な目的で記載されており、本発明の原理の範囲を維持しながら、各エンティティのうちの「１つ又は複数」を表し、必ずしも「それぞれ」を表さないとみなすこともできる。よって、例えば、本発明の原理の範囲を維持しながら、部分符号化／復号化及び／又は部分デブロッキングは、本発明の原理の範囲を維持しながら本発明の原理の教示によって行うことができる。

図１に移れば、本発明の原理を施すことができる例示的な符号化器は、参照符号１００で全体を示す。

符号化器１００は、整数変換器／スケーリング器／量子化器１１５の第１の入力と信号通信する出力を有する合成器１０５を含む。整数変換器／スケーリング器／量子化器１１５の第１の出力は、エントロピ符号化器１５５の第１の入力、及びスケーリング器／逆変換器１２０の第１の入力と信号通信で接続される。スケーリング器／逆変換器１２０の出力は、合成器１５０の第１の非反転入力と信号通信で接続される。合成器１５０の出力は、イントラフレーム予測器１２５の第１の入力及びデブロッキング・フィルタ１４５の第１の入力と信号通信で接続される。デブロッキング・フィルタ１４５の出力は、フレーム記憶装置１４０の入力及び動き推定器１３５の第１の入力と信号通信で接続される。動き推定器１３５の出力は、動き補償器１３０の第３の入力及びエントロピ符号化器１５５の第３の入力と信号通信で接続される。合成器１０５の反転入力は、スイッチ１７７の出力と信号通信で接続される。スイッチ１７７の出力は更に、合成器１５０の第２の非反転入力と信号通信で接続される。スイッチ１７７の第１の入力は、動き補償器１３０の出力と信号通信で接続される。スイッチ１７７の第２の入力は、イントラフレーム予測器１２５の出力と信号通信で接続される。フレーム記憶装置１４０の出力は、動き補償器１３０の第１の入力と信号通信で接続される。

符号化器１００の入力は、合成器１０５の非反転入力、符号化器制御モジュール１１０の入力、及び動き推定器１３５の第３の入力と信号通信で接続される。符号化器制御モジュール１１０の第１の出力は、動き補償器１３０の第２の入力と信号通信で接続される。符号化器制御モジュール１１０の第２の出力は、動き推定器１３５の第２の入力と信号通信で接続される。符号化器制御モジュール１１０の第３の出力は、イントラフレーム予測器１２５の第２の入力と信号通信で接続される。符号化器制御モジュール１１０の第４の出力は、整数変換器／スケーリング器／量子化器１１５の第２の入力と信号通信で接続される。符号化器制御モジュール１１０の第５の出力は、デブロッキング・フィルタ１４５の第２の入力と信号通信で接続される。符号化器制御モジュール１１０の第６の出力は、スケーリング器／逆変換器１２０の第２の入力と信号通信で接続される。符号化器制御モジュール１１０の第７の出力は、エントロピ符号化器１５５の第２の出力と信号通信で接続される。エントロピ符号器１５５の出力は、符号化器１００の出力として利用可能である。

図２に移れば、本発明の原理を適用することができる例示的な復号化器の全体を参照符号２００で示す。復号化器２００はエントロピ復号化器２０５を含む。エントロピ復号化器２０５への入力は、復号化器２００への入力として利用可能である。エントロピ復号化器２０５の第１の出力は、復号化器制御モジュール２１０の入力と信号通信で接続される。復号化器制御モジュール２１０の第１の出力は動き補償器２２５の第２の入力と信号通信で接続される。復号化器制御モジュール２１０の第２の出力は、イントラフレーム予測器２２０の第１の入力と信号通信で接続される。復号化器制御モジュール２１０の第３の出力は、スケーリング器／逆変換器２１５の第２の入力と信号通信で接続される。復号化器制御モジュール２１０の第４の出力は、デブロッキング・フィルタ２３５の第２の入力と信号通信で接続される。

エントロピ復号化器２０５の第２の出力は、スケーリング器／逆変換器２１５の第１の入力と信号通信で接続される。スケーリング器／逆変換器２１５の出力は、合成器２３０の第１の非反転入力と信号通信で接続される。合成器２３０の出力は、イントラフレーム予測器２２０の第２の入力及びデブロッキング・フィルタ２３５の第１の入力と信号通信で接続される。デブロッキング・フィルタ２３５の出力は、フレーム記憶装置２４０の入力と信号通信で接続される。フレーム記憶装置２４０の出力は、動き補償器２２５の第３の入力と信号通信で接続される。合成器２３０の第２の非反転入力は、スイッチ２７７の出力と信号通信で接続される。スイッチ２７７の第１の入力は、動き補償器２２５の出力と信号通信で接続される。スイッチ２７７の第２の入力は、イントラフレーム予測器２２０の出力と信号通信で接続される。

エントロピ復号器２０５の第３の出力は、動き補償器２２５の第１の入力と信号通信で接続される。

図３に移れば、ＭＰＥＧ−４ ＡＶＣ標準に準拠した本発明の原理の実施例におけるマルチビュー・ビデオ符号化（ＭＶＣ）のスライス符号化／復号化の例示的な方法の全体を参照符号３００で示す。

方法３００は、ループ端ブロック３１０に制御を渡す開始ブロック３０５を含む。変数ｍｂ＝０乃至ＭａｃｒｏＢｌｏｃｋｓｌｎＰｉｃ−１を用いたループの範囲の設定を含む、マクロブロック毎のループを開始し、機能ブロック３１５に制御を渡す。機能ブロック３１５は、一マクロブロックを符号化／復号化し、ループ端ブロック３２０に制御を渡す。ループ端ブロック３２０が、各マクロブロックにわたるループを終了し、ループ端ブロック３２５に制御を渡す。ループ端ブロック３２５は、変数ｍｂ＝０乃至ＭａｃｒｏＢｌｏｃｋｓｌｎＰｉｃ−１を使用した、ループの範囲の設定を含む、各マクロブロックにわたるループを開始し、ループ端ブロック３３０に制御を渡す。ループ端ブロック３３０は、変数ｖｅｄｇｅ＝０乃至ＶｅｒｔｉｃａｌＥｄｇｅｓ−１を用いた、ループの範囲の設定を含む、符号化／復号化対象の現在のマクロブロックの垂直エッジ（ｖｅｄｇｅ）それぞれにわたるループを開始し、機能ブロック３３５に制御を渡す。機能ブロック３３５は、施す対象の境界強度を選択し、機能ブロック３４０に制御を渡す。機能ブロック３４０は、サンプル・フィルタリングを行い、ループ端ブロック３４５に制御を渡す。ループ限度ブロック３４５は、現在のマクロブロックの各垂直エッジ（ｖｅｄｇｅ）にわたるループを終了し、ループ制御ブロック３５０に制御を渡す。ループ端ブロック３５０は、ループの範囲を変数ｈｅｄｇｅ＝０乃至ＨｏｒｉｚｏｎｔａｌＥｄｇｅｓ−１を用いた、ループの範囲の設定を含む、符号化／復号化する対象の現在のマクロブロックの各水平エッジ（ｈｅｄｇｅ）にわたるループを開始し、機能ブロック３５５に制御を渡す。機能ブロック３５５は境界強度を選択し、機能ブロック３６０に制御を渡す。機能ブロック３６０は、サンプル・フィルタリングを行い、ループ端ブロック３６５に制御を渡す。ループ端ブロック３６５は、各水平エッジ（ｈｅｄｇｅ）にわたるループを終了し、ループ端ブロック３７０に制御を渡す。ループ端ブロック３７０は各マクロブロックにわたるループを終了し、終了ブロック３７５に制御を渡す。

本発明の原理の実施例は、マルチビュー・ビデオ符号化（ＭＶＣ）にデブロッキング・フィルタリングを適応させる工程に関する。マルチビュー・ビデオ符号化（ＭＶＣ）は、マルチビュー系列の符号化の圧縮フレームワークである。マルチビュー・ビデオ符号化（ＭＶ）系列は、別々の視点から同じシーンを捕捉した２つ以上のビデオ系列の組である。本発明の原理を適用することができる特殊なケースとして、立体ビデオ系列は２つのビデオ系列を含み、一方は左チャンネルを表し、他方は右チャンネルを表す。チャンネル毎のフレームは、同時に捕捉され、別々の視野角を有する。

一実施例は、交差ビュー予測をイネーブルすることによってもたらされるブロッキング・アーチファクトの抑制に関し、予測信号は、別のビューの復号化ピクチャから形成される。前述の交差ビュー予測がイネーブルされた場合、通常、更なるブロックノイズが、画素間の境界においてもたらされる。これは、別々のカメラ・ビューによって補償される。効果的には、本発明の原理のこの実施例は、別々のビューからの予測によって生じる、ブロック境界近くのアーチファクトを削減することにより、復号化ピクチャ品質を増加させる。前述の実施例では、予測ビュー情報（本明細書及び特許請求の範囲では参照ビュー情報としても同義で表す）を、ＭＶＣのデブロッキング・フィルタの設計及び／又は使用に導入する。参照ビュー情報は、予測信号の形成に関するビューを示す。例えば、予測信号は、現在ビューの先行復号化ピクチャ又は近傍ビューの先行復号化ピクチャからのものであり得る。この実施例では、前述の参照ビュー情報を使用して、例えば、デブロッキング・フィルタの強度を異ならせ（例えば、増加させ）、かつ／又は別のタイプのフィルタを選択することができる。本明細書及び特許請求の範囲に記載した本発明の原理の教示があれば、当業者は、本発明の原理の範囲を維持しながら、マルチビュー・ビデオ符号化にデブロッキング・フィルタリングを適応させるために使用する参照ビュー情報の前述及び種々の使用法を考え出すであろう。

別の実施例は、交差ビュー予測及び時間予測を可能にすることにより、ＭＶＣを使用してマルチビュー・ビデオ系列を符号化することによってもたらされるブロッキング・アーチファクトを抑制する工程を含む。２つのタイプの予測（交差ビュー予測及び時間予測）が可能な場合、更なるブロックノイズが通常、別々のＭＶＣ予測タイプで復号化された画素間の境界においてもたらされる。効果的には、本発明の原理のこの実施例は、別々の予測タイプ（時間及び交差ビュー）によって生じる、ブロック境界近くのアーチファクトを削減することにより、復号化ピクチャ品質を増加させる。復号化ピクチャ品質が向上するので、圧縮効率も向上し得る。この実施例では、予測タイプ情報が、ＭＶＣのデブロッキング・フィルタの設計及び／又は使用に導入される。この実施例では、前述の予測タイプ情報を使用して、例えば、デブロッキング・フィルタの強度を異ならせ（例えば、増加させ）、かつ／又は別のタイプのフィルタを選択することができる。あるいは、参照ビュー情報を使用して、例えば、デブロッキング・フィルタの強度を異ならせ（例えば、増加させ）、かつ／又は別のタイプのフィルタを選択することができる。本明細書及び特許請求の範囲に記載した本発明の原理の教示があれば、当業者は、本発明の原理の範囲を維持しながら、マルチビュー・ビデオ符号化にデブロッキング・フィルタリングを適応させるために使用する予測タイプ情報の前述及び種々の他の使用法を考え出すであろう。

例証の目的で、本発明の原理の実施例は本明細書及び特許請求の範囲においてＭＰＥＧ―４ ＡＶＣに関して説明する。しかし、本発明は、ＭＰＥＧ−４ ＡＶＣ標準に限定されず、本明細書及び特許請求の範囲記載の本発明の原理の教示があれば、当業者は、本願の原理の範囲を維持しながら、本発明の原理を適用することができるマルチビュー・ビデオ符号化ができる前述及び他のビデオ符号化標準を考え出すであろう。

本発明の原理は、予測ピクチャに適用される特定のデブロッキング手法に限定されるものでなく、よって、何れのデブロッキング手法も、本発明の原理の範囲を維持しながら、本発明の原理の実施例によって利用することができる。

例証の目的で、次に、特定の符号化判定に基づいてデブロッキング・フィルタの強度を適応させるＭＰＥＧ−４ ＡＶＣ標準に規定されたような、デブロッキング・フィルタを拡張する方法に関して説明する。以下、話を単純にする目的でこのオプションを参照する。

ＭＰＥＧ−４ ＡＶＣ標準におけるデブロッキング・フィルタは、４×４ブロックのエッジ全てに施される。更に、エッジ毎に、デブロッキング・フィルタは、その強度を適応させる機能を有する。フィルタ強度を制御するパラメータは、境界強度（Ｂｓ）として表す。境界強度の値は、各エッジ上の可視ブロックノイズを有する可能性を示し、よって、デブロッキング・フィルタの必要性の大小を示す。Ｂｓの値がより高いと、施されるデブロッキング・フィルタの強度がより高くなることを示す。

図４に移れば、ＭＰＥＧ−４ ＡＶＣ標準に使用する境界強度を選択する例示的な方法全体を参照符号４００で示す。方法は、開始ブロック４０５を含み、開始ブロック４０５は機能ブロック４１０に制御を渡す。機能ブロック４１０は、ブロックｐとブロックｑとの間のブロック境界を検査し、制御を判定ブロック４１５に渡す。判定ブロック４１５は、ブロックｐ又はｑがイントラ符号化されているか否かを判定する。肯定の場合、制御は判定ブロック４２０に渡される。さもなければ、制御は機能ブロック４３５に渡される。

判定ブロック４２０は、ブロック境界がマクロブロック境界であるか否かを判定する。肯定の場合、制御は機能ブロック４２５に渡される。さもなければ、制御は機能ブロック４３０に渡される。

機能ブロック４２５は境界強度を４にセットし、制御を終了ブロック４６５に渡す。

機能ブロック４３０は境界強度を３にセットし、制御を終了ブロック４６５に渡す。

判定ブロック４３５は、係数がブロックｐ又はｑで符号化されているか否かを判定する。肯定の場合、制御は機能ブロック４４０に渡される。さもなければ、制御は判定ブロック４４５に渡される。

機能ブロック４４０は、境界強度を２にセットし、制御を終了ブロック４６５に渡す。

判定ブロック４４５は、ブロックｐ及びｑが、別々の参照フレームを有するか、又は異なる数の参照フレームを有するか、否かを判定する。肯定の場合、制御は判定ブロック４５０に渡される。さもなければ、制御は機能ブロック４５５に渡される。

機能ブロック４５０は境界強度を１にセットし、制御を終了ブロック４６５に渡す。

判定ブロック４５５は、｜Ｖ_１（ｐ，ｘ）−Ｖ_１（ｑ，ｘ）｜＞＝１であるか、若しくは｜Ｖ_１（ｐ，ｙ）−Ｖ_１（ｑ，ｙ）｜＞＝１であるか、又は、双予測の場合、｜Ｖ_２（ｐ，ｘ）−Ｖ_２（ｑ，ｘ）｜＞＝１又は｜Ｖ_２（ｐ，ｙ）−Ｖ_２（ｑ，ｙ）｜＞＝１であるか否かを判定し、肯定の場合、制御は機能ブロック４５０に渡される。さもなければ、制御は機能ブロック４６０に渡される。

機能ブロック４６０は境界強度を０にセットし、制御を終了ブロック４６５に渡す。

本発明の原理の実施例によれば、境界強度計算は、マルチビュー系列の場合に予測タイプ情報も考慮に入れるべきである。

図５に移れば、マルチビュー・ビデオ符号化に使用する予測タイプ情報に基づいて境界強度を選択する例示的な方法の全体を参照符号５００で示す。方法５００によれば、強度は、ＭＶＣ予測タイプ、エッジ位置、ブロック・タイプ、符号化係数の数、参照フレーム・インデックス、及び動き／視差ベクトル差の例示的な符号化パラメータに応じて調節される。近傍の２つのブロックが別々のＭＶＣ予測タイプを有する場合、最高境界強度Ｂｓ＝４が実施される。一般に、交差ビュー予測ブロック及び時間予測ブロックは、別々のビューからの参照ピクチャを使用し、よって、別々のＭＶＣ予測タイプの２つのブロックのブロック・エッジは、より高いレベルのブロックノイズを含む可能性がより高くなる。よって、前述のエッジ上により高い境界強度を割り当てると、より好適なフィルタリング結果が得られる。

方法５００は、機能ブロック５１０に制御を渡す開始ブロック５０５を含む。機能ブロック５１０は、ブロックｐとブロックｑとの間のブロック境界を検査し、制御を判定ブロック５１５に渡す。判定ブロック５１５は、ブロックｐ又はブロックｑがイントラ符号化されているか否かを判定する。肯定の場合、制御は判定ブロック５２０に渡される。さもなければ、制御は機能ブロック５３５に渡される。

判定ブロック４２０は、ブロック境界がマクロブロック境界であるか否かを判定する。肯定の場合、制御は機能ブロック５２５に渡される。さもなければ、制御は機能ブロック５３０に渡される。

機能ブロック５２５は境界強度を４にセットし、制御を終了ブロック５７０に渡す。

機能ブロック５３０は境界強度を３にセットし、制御を終了ブロック５７０に渡す。

判定ブロック５３５は、ブロックｐ及びブロックｑが、別々のマルチビュー・ビデオ符号化予測タイプを有するか否かを判定する。肯定の場合、制御は機能ブロック５２５に渡される。さもなければ、制御は判定ブロック５４０に渡される。判定ブロック５４０は、係数がブロックｐ及びブロックｑにおいて符号化されているか否かを判定する。肯定の場合、制御は判定ブロック５４５に渡される。さもなければ、制御は機能ブロック５５０に渡される。

機能ブロック５４５は、境界強度を２にセットし、制御を終了ブロック５７０に渡す。

判定ブロック５５０は、ブロックｐ及びｑが、別々の参照フレームを有するか、又は異なる数の参照フレームを有するか否かを判定する。肯定の場合、制御は判定ブロック５４５に渡される。さもなければ、制御は判定ブロック５６０に渡される。

判定ブロック５６０は、｜Ｖ_１（ｐ，ｘ）−Ｖ_１（ｑ，ｘ）｜＞＝１であるか、若しくは｜Ｖ_１（ｐ．ｙ）−Ｖ_１（ｑ．ｙ）｜＞＝１であるか、又は、双予測の場合、｜Ｖ_２（ｐ，ｘ）−Ｖ_２（ｑ，ｘ）｜＞＝１であるか、若しくは｜Ｖ_２（ｐ，ｙ）−Ｖ_２（ｑ，ｙ）｜＞＝１であるかを判定する。肯定の場合、制御は判定ブロック５５５に渡される。さもなければ、制御は機能ブロック５６５に渡される。

機能ブロック５６５は境界強度を０にセットし、制御を終了ブロック５７０に渡す。

本発明の原理の別の実施例によれば、境界強度計算は、符号化マルチビュー系列の場合、参照ビュー情報も考慮に入れるべきである。

図６に移れば、マルチビュー・ビデオ符号化に使用する予測ビュー情報に基づいて境界強度を選択する例示的な方法の全体を参照符号６００で示す。方法６００によれば、強度は、参照ビュー、エッジ位置、ブロック・タイプ、符号化係数の数、参照フレーム・インデックス、及び動き／視差ベクトル差の例示的な符号化パラメータに応じて調節される。近傍の２つのブロックが別々のＭＶＣ予測タイプを有する場合、最高境界強度Ｂｓ＝４が実施される。一般に、交差ビュー予測ブロック及び時間予測ブロックは、別々のビューからの参照ピクチャを使用し、よって、別々のＭＶＣ予測タイプの２つのブロックのブロック・エッジは、より高いレベルのブロックノイズを含む可能性がより高くなる。よって、前述のエッジ上により高い境界強度を割り当てると、より好適なフィルタリング結果が得られる。

方法６００は、機能ブロック６１０に制御を渡す開始ブロック６０５を含む。機能ブロック６１０は、ブロックｐとブロックｑとの間のブロック境界を検査し、制御を判定ブロック６１５に渡す。判定ブロック６１５は、ブロックｐ又はブロックｑがイントラ符号化されているか否かを判定する。肯定の場合、制御は判定ブロック６２０に渡される。さもなければ、制御は判定ブロック６３５に渡される。

判定ブロック６２０は、ブロック境界がマクロブロック境界であるか否かを判定する。肯定の場合、制御は機能ブロック６２５に渡される。さもなければ、制御は機能ブロック６３０に渡される。

機能ブロック６２５は境界強度を４にセットし、制御を終了ブロック６７０に渡す。

機能ブロック６３０は、境界強度を３にセットし、制御を終了ブロック６７０に渡す。

判定ブロック６３５は、ブロックｐ及びｑが、別々の参照ビューを有するか否かを判定する。肯定の場合、制御は機能ブロック６２５に渡される。さもなければ、制御は判定ブロック６４０に渡される。判定ブロック６４０は、係数がブロックｐ及びｑにおいて符号化されているかを判定する。肯定の場合、制御は機能ブロック６４５に渡される。さもなければ、制御は判定ブロック６５０に渡される。

機能ブロック６４５は境界強度を２にセットし、制御を終了ブロック６７０に渡す。

判定ブロック６５０は、ブロックｐ及びブロックｑが、別々の参照フレームを有するか、又は異なる数の参照フレームを有するか否かを判定する。肯定の場合、制御は機能ブロック６４５に渡される。さもなければ、制御は判定ブロック６６０に渡される。

判定ブロック６６０は、｜Ｖ_１（ｐ，ｘ）−Ｖ_１（ｑ，ｘ）｜＞＝１であるか、若しくは｜Ｖ_１（ｐ，ｙ）−Ｖ_１（ｑ，ｙ）｜＞＝１であるか、又は、双予測の場合、｜Ｖ_２（ｐ，ｘ）−Ｖ_２（ｑ，ｘ）｜＞＝１であるか、若しくは｜Ｖ_２（ｐ，ｙ）−Ｖ_２（ｑ，ｙ）｜＞＝１であるか否かを判定し、肯定の場合、制御は機能ブロック６５５に渡される。さもなければ、制御は機能ブロック６６５に渡される。

機能ブロック６６５は境界強度を０にセットし、制御を終了ブロック６７０に渡す。

次に、一部は前述した本発明の多くの付随的な利点／特徴を説明する。例えば、一利点／特徴は、ビデオ符号化器が、マルチビュー・ビデオ系列を符号化するための予測情報に基づいて適応可能なデブロッキング・フィルタを含むことである。別の利点／特徴は、前述のビデオ符号化器であって、予測情報が、予測タイプ情報及び予測ビュー情報の少なくとも一方を備えるビデオ符号化器である。更に別の利点／特徴は、前述の予測タイプ情報及び予測ビュー情報の少なくとも一方を含む予測情報に基づいて適応可能なデブロッキング・フィルタを有するビデオ符号化器であって、予測タイプ情報が、時間予測情報及び交差ビュー予測情報の少なくとも一方を備えるビデオ符号化器である。更に、別の利点／特徴は、前述の予測タイプ情報及び予測ビュー情報の少なくとも一方を含む予測情報に基づいて適応可能なデブロッキング・フィルタを有するビデオ符号化器であって、デブロッキング・フィルタは、デブロッキング・フィルタによってフィルタリングされる対象の特定のブロックに対する近傍の２つのブロックの予測情報に基づいて適応可能であるビデオ符号化器である。更に、別の利点／特徴は、前述の予測タイプ情報及び予測ビュー情報の少なくとも一方を含む予測情報に基づいて適応可能なデブロッキング・フィルタを有するビデオ符号化器であり、デブロッキング・フィルタは、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｐａｒｔ １０ ＡＶＣ標準／ＩＴＵ−Ｔ Ｈ．２６４勧告に準拠しており、デブロッキング・フィルタによって施される境界強度は、マルチビュー・ビデオ系列を符号化するための予測情報に基づいて適応可能である。更に、別の利点／特徴は、前述のＭＰＥＧ−４ ＡＶＣ標準に準拠したビデオ符号化器であり、デブロッキング・フィルタによってフィルタリングされる対象の特定のブロックに対する近傍の２つのブロックの予測情報が異なる場合に、境界強度は４にセットされる。更に、別の利点／特徴は、前述のビデオ符号化器であり、境界強度、フィルタリングする対象のサンプルの数、及びデブロッキング・フィルタのタイプのうちの少なくとも１つが適応可能である。更に、別の利点／構成は、前述の境界強度、フィルタリングする対象のサンプルの数、及び適応可能なデブロッキング・フィルタのタイプのうちの少なくとも１つを有するビデオ符号化器であり、デブロッキング・フィルタの境界強度は、デブロッキング・フィルタによってフィルタリングされる対象の特定ブロックに対する近傍の２つのブロックの予測情報に基づいて適応可能であり、近傍の２つのブロックの予測情報が異なる場合に、境界強度は増加させる。更に、別の利点／特徴は、前述のビデオ符号化器であり、マルチビュー・ビデオ系列は、立体ビデオ系列を含む。

本発明の前述並びに他の特徴及び利点は、本明細書及び特許請求の範囲記載の教示に基づいて当業者によって容易に確認することができる。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向プロセッサ、又はこれらの組み合わせの種々の形態で実現することができる。

最も好ましくは、本発明の教示はハードウェア及びソフトウェアの組み合わせとして実現される。更に、ソフトウェアは、プログラム記憶装置上に有形に実施されたアプリケーション・プログラムとして実現することができる。アプリケーション・プログラムは、何れかの適切なアーキテクチャを備えるマシンにアップロードすることができ、前述のマシンによって実行することができる。好ましくは、マシンは、ハードウェア（１つ又は複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）や入出力（「Ｉ／Ｏ」）インタフェースなど）を有するコンピュータ・プラットフォーム上に実現される。コンピュータ・プラットフォームは、オペレーティング・システム及びマイクロ命令コードも含み得る。本明細書及び特許請求の範囲記載の種々の処理及び機能は、ＣＰＵによって実行することができる、マイクロ命令コードの一部若しくはアプリケーション・プログラムの一部、又はそれらの何れかの組み合わせであり得る。更に、種々の他の周辺装置（更なるデータ記憶装置や印刷装置など）をコンピュータ・プラットフォームに接続することができる。

更に、添付図面に表した構成システム部分及び構成方法の一部は好ましくはソフトウェアで実現されるので、システム構成部分間又は処理機能ブロック間の実際の接続は、本発明がプログラムされるやり方によって変わり得る。本明細書及び特許請求の範囲に記載の教示が与えられれば、当業者は、本発明の前述及び同様の実現形態又は構成を考え出すことができるであろう。

添付図面を参照して例証的な実施例を本明細書及び特許請求の範囲において説明したが、本発明は前述のまさにその実施例に限定されるものでなく、本発明の範囲又は趣旨から逸脱しない限り、当業者によって種々の変更及び修正を行うことができる。前述の変更及び修正は全て、特許請求の範囲記載の本発明の範囲内に含まれることが意図されている。

本発明の原理の実施例によって本発明の原理を適用することができる例示的な符号化器を示すブロック図である。 本発明の原理の実施例によって本発明の原理を適用することができる例示的な復号化器を示すブロック図である。 本発明の原理の実施例による、マルチビュー・ビデオ符号化（ＭＶＣ）のスライス符号化／復号化の例示的な方法を示すフロー図である。 本発明の原理の実施例による、ＭＰＥＧ−４ ＡＶＣ標準に使用する境界強度を選択する例示的な方法を示すフロー図である。 本発明の原理の実施例による、ＭＰＥＧ−４ ＡＶＣ標準に使用する境界強度を選択する例示的な方法を示すフロー図である。 本発明の原理の実施例による、予測タイプ情報に基づいたマルチビュー・ビデオ符号化に使用するための予測タイプ情報に基づいて境界強度を選択する例示的な方法を示すフロー図である。 本発明の原理の実施例による、予測タイプ情報に基づいたマルチビュー・ビデオ符号化に使用するための予測タイプ情報に基づいて境界強度を選択する例示的な方法を示すフロー図である。 本発明の原理の実施例による、参照ビュー情報に基づいたマルチビュー・ビデオ符号化に使用するための予測ビュー情報に基づいて境界強度を選択する例示的な方法を示すフロー図である。 本発明の原理の実施例による、参照ビュー情報に基づいたマルチビュー・ビデオ符号化に使用するための予測ビュー情報に基づいて境界強度を選択する例示的な方法を示すフロー図である。

Claims (16)

1. ビデオ符号化器であって、
   マルチビュー・ビデオ系列の符号化においてデブロッキング・フィルタリングを行うための、境界強度パラメータを含むデブロッキング・フィルタを備え、別々のマルチビュー・ビデオ符号化予測タイプを有する近傍の２つのブロックのブロック・エッジ上の前記境界強度パラメータは、前記近傍の２つのブロックが同じマルチビュー・ビデオ符号化予測タイプを有する一方、異なる時間予測情報を有する場合よりも高く、前記時間予測情報は、参照フレームの数、参照フレーム・インデックス、及び動きベクトルのうちの少なくとも１つを含むビデオ符号化器。
2. 請求項１記載のビデオ符号化器であって、前記境界強度が４にセットされるビデオ符号化器。
3. 請求項１記載のビデオ符号化器であって、前記デブロッキング・フィルタの境界強度は、前記デブロッキング・フィルタによってフィルタリングされる対象の特定のブロックに対する近傍の２つのブロックの予測情報に基づいて適応可能であり、前記近傍の２つのブロックの前記予測情報が異なる場合に、前記境界強度を増加させるビデオ符号化器。
4. 請求項１記載のビデオ符号化器であって、前記マルチビュー・ビデオ系列は、立体ビデオ系列を含むビデオ符号化器。
5. ビデオを符号化する方法であって、
   マルチビュー・ビデオ系列を符号化するために行われるデブロッキング・フィルタリングを適応させる工程を含み、前記デブロッキング・フィルタリングは境界強度パラメータを含み、別々のマルチビュー・ビデオ符号化予測タイプを有する近傍の２つのブロックのブロック・エッジ上の前記境界強度パラメータは、前記近傍の２つのブロックが同じマルチビュー・ビデオ符号化予測タイプを有する一方、異なる時間予測情報を有する場合よりも高く、前記時間予測情報は、参照フレームの数、参照フレーム・インデックス、及び動きベクトルのうちの少なくとも１つを含む方法。
6. 請求項５記載の方法であって、前記境界強度が４にセットされる方法。
7. 請求項５記載の方法であって、前記適応させる工程は、デブロック・フィルタリングされる対象の特定のブロックに対する近傍の２つのブロックの予測情報に基づいて前記デブロッキング・フィルタリングの境界強度を適応させ、近傍の２つのブロックの予測情報が異なる場合、前記境界強度を増加させる方法。
8. 請求項５記載の方法であって、前記マルチビュー・ビデオ系列は、立体ビデオ系列を含む方法。
9. ビデオ復号化器であって、
   マルチビュー・ビデオ系列の復号化においてデブロッキング・フィルタリングを行うよう適応可能である、境界強度パラメータを含むデブロッキング・フィルタを備え、別々のマルチビュー・ビデオ符号化予測タイプを有する近傍の２つのブロックのブロック・エッジ上の前記境界強度パラメータは、前記近傍の２つのブロックが同じマルチビュー・ビデオ符号化予測タイプを有する一方、異なる時間予測情報を有する場合よりも高く、前記時間予測情報は、参照フレームの数、参照フレーム・インデックス、及び動きベクトルのうちの少なくとも１つを含むビデオ復号化器。
10. 請求項９記載のビデオ復号化器であって、前記境界強度が４にセットされるビデオ復号化器。
11. 請求項９記載のビデオ復号化器であって、前記デブロッキング・フィルタの境界強度は、前記デブロッキング・フィルタによってフィルタリングされる対象の特定のブロックに対する近傍の２つのブロックの予測情報に基づいて適応可能であり、前記近傍の２つのブロックの予測情報が異なる場合に、前記境界強度を増加させるビデオ復号化器。
12. 請求項９記載のビデオ復号化器であって、前記マルチビュー・ビデオ系列は立体ビデオ系列を含むビデオ復号化器。
13. ビデオを復号化する方法であって、
    マルチビュー・ビデオ系列を復号化するために行われるデブロッキング・フィルタリングを適応させる工程を含み、前記デブロッキング・フィルタリングは境界強度パラメータを含み、別々のマルチビュー・ビデオ符号化予測タイプを有する近傍の２つのブロックのブロック・エッジ上の前記境界強度パラメータは、前記近傍の２つのブロックが同じマルチビュー・ビデオ符号化予測タイプを有する一方、異なる時間予測情報を有する場合よりも高く、前記時間予測情報は、参照フレームの数、参照フレーム・インデックス、及び動きベクトルのうちの少なくとも１つを含む方法。
14. 請求項１３記載の方法であって、前記境界強度が４にセットされる方法。
15. 請求項１３記載の方法であって、前記適応させる工程は、デブロック・フィルタリングされる対象の特定のブロックに対する近傍の２つのブロックの予測情報に基づいて前記デブロッキング・フィルタリングの境界強度を適応させ、前記近傍の２つのブロックの予測情報が異なる場合、前記境界強度を増加させる方法。
16. 請求項１３記載の方法であって、前記マルチビュー・ビデオ系列は立体ビデオ系列を含む方法。

Images