JP5180782B2 - 並列分散情報源符号化システム及び並列分散情報源符号化・復号化方法 - Google Patents

Description

本発明は、並列分散情報源符号化装置及び方法に係り、特に、音声信号や画像信号といった情報源を独立に符号化処理する際に、非独立符号化時と同等の符号化効率を効率的に達成する並列分散情報源符号化装置及び並列分散情報源符号化・復号化方法に関する。

近年、ディジタルテレビ放送が開始されるなど画像のディジタル化が進んでいる。ディジタル化された画像データは情報量が多いために保存・伝送のためには圧縮することが望ましく、現在、画像圧縮方式としてJPEGやMPEGなどの国際標準規格が広く用いられている。

一方、近年の顕著な画像アプリケーションの発展は高精細化である。象徴的な出来事としてはディジタルシネマの規格制定があげられる。ディジタルシネマでは、大きなスクリーンでも十分な解像度感が得られることを目的に、最高規格として、"２Ｋ"と"４Ｋ"と呼ばれる高精細画像（2048×1080，4096×2160 pixels）が規定されている。このため、ディジタルシネマでは画像符号化方式として、JPEG 2000が採用されており、異なる大きなスクリーンを持つ映画館にも適切な解像度のコンテンツを配信できるように規格化されている。

このようにディジタルシネマの規格化により超高精細画像のネットワーク配信が現実のものになりつつある。さらに映画のディジタル化が進んだ後を想定すると、映画館に映画以外の高画質ディジタルコンテンツ（ODS: Other Digital Stuff/ Online Digital Source）が光ネットワークを通じてライブ配信される新しいビジネスが期待される。しかしながら、ODSのような新しいアプリケーションを実現するには高品質コンテンツをリアルタイムに処理する必要があり、そのためには符号化を並列分散処理しなくてはならないなどの制約が生じる。特に、近年ではこのような大規模な処理は集積回路により行われており、集積回路の内部成分は外部からは観測できずに少ないパラメータを与えて制御を行う必要がある。そして、一般的に画像圧縮ではこれらの制約は符号化効率の低下を招く。

符号化の問題で特に影響の大きいパラメータとして、ビット配分が考えられる。一般的な最適ビット配分問題は「符号化性能が最大となるように、与えられたビットを種々の符号器に割り当てる問題」と定義される。上記のようなJPEG2000を用いた変換符号化システムを考えた場合は、「全体に与えられたビット量Ｒcを制約条件とし、どの変換係数にどの程度ビットを割り当てると復号信号中の雑音信号のエネルギーｄ（Ｒ）が最小となるのか」という問題に置き換えられる。そして、これはラグランジュ関数Ｊを最小化する問題としてラグランジュの未定常数法を用いることで次式のように定式化される。

min{J}, where J-d(R) + λR （１）
式（１）中のd(R)は誤差信号の白色性を仮定すると、各サブバンドで発生する誤差エネルギーd(R_b)と次式の関係があり、

全体に配分される平均ビット量Ｒと各サブバンドに配分される平均ビットR_b量には、次式の関係がある。

但し、式（２）、（３）中のηbは各サブバンドにおけるサブバンド画像数と全画素数との比であり、Ｇ_bは、各サブバンドにおける復号側の変換利得である。

変換符号化システムにおける各サブバンドへの最適なビット配分は、式（１）を解くことにより与えられるλを満たすようにビット配分すればよく、式（１）（２）（３）よりλは以下のように与えられる。

−λ＝G_bd' _b (R_b) （４）
また、d_b (R_b)とサブバンド係数のエネルギー値

との間には次式の関係が成り立つことから、

結局、式(３)(４)(５)より各サブバンドへの最適ビット配分は次式で与えられる。

但し、式（５）（６）中のε²は、弁別的ひずみ定数であり、信号の正規確率密度関数fx(x)により次式で定義される。

上記で述べたように、近年は取り扱う情報量の増大に伴い並列分散処理が求められている。しかし、情報源符号化ではこれらの制約は一般的に符号化効率の低下を招く。特に、近年では１つの処理に特化した集積回路を複数組み合わせて符号化装置が構成され、それぞれの集積回路内のデータを観測することは仕様上制限されている。そのため、独立した符号化処理を行った場合の符号化効率の最適化は難しい。

非特許文献２，３の手法は、独立に符号化処理を行った場合も、信号の分布や特性に関する仮定が成立すれば効率的に符号化できることが知られているが、チップの制限から式(６)によりビット配分を行うことができない、または、信号の分布や特性が非特許文献２，３中の仮定を満たさない状況が発生する。

本発明は、上記の点に鑑みなされたもので、独立に信号を符号化するものの非独立符号化時と同等の符号化効率を得ることが可能な並列分散情報源符号化システム及び並列分散情報源符号化・復号化法を提供することを目的とする。

図１は、本発明の原理構成図である。

本発明（請求項１）の並列分散情報源符号化システムは、音声信号、画像信号を含む情報源信号を分割した各々の分割信号を独立に符号化する複数の符号化器からなる並列分散情報源符号化装置と、
並列分散情報源符号化装置で符号化された各信号を独立に復号化する複数の復号化器からなる並列分散情報源復号化装置と、
を有し、
並列分散情報源符号化装置は、
情報源信号を任意のブロックに分割するデータ分割手段と、
基準となる任意の基準量子化ステップサイズΔ０を用いてスカラ量子化パラメータであるステップサイズΔｂを導出する量子化パラメータ導出手段と、
量子化パラメータ導出手段により導出されたスカラ量子化パラメータに基づいて、データ分割手段で分割された分割信号を独立に符号化する複数の並列分散情報源符号化手段と、
複数の並列分散情報源符号化手段のそれぞれから出力された符号化データのレートを特徴量として、各ブロックのレート量を一定の比に保ちながら各ブロックへ割り当てる割当符号量を導出することで、任意のレート量でブロック単位の符号量を割り当てるとともに当該各割当符号量を対応する並列分散情報源符号化手段のそれぞれにフィードバックするレート量導出手段と、を含み、
量子化パラメータ導出手段では、分割信号の帯域及びカラー成分毎に導出される復号化側の変換ゲインであるフィルタ係数の２乗ノルムの和をＧbとして、ステップサイズΔｂを下記の式によって求め、


複数の並列分散情報源符号化手段のそれぞれは、レート量導出手段からフィードバックされた各割当符号量に基づいて分割信号を再符号化する。

本発明（請求項２）は、独立に画像データを符号化・復号化を行う並列分散情報源符号化・復号化方法であって、
並列分散情報源符号化装置と並列分散情報源復号化装置を有するシステムにおいて、
並列分散情報源符号化装置が、複数の符号化器を用いて、音声信号、画像信号を含む情報源信号を分割して各々の分割信号を独立に符号化する並列分散情報源符号化ステップと、
並列分散情報源復号化装置が、複数の復号化器を用いて、並列分散情報源符号化ステップで符号化された各信号を独立に復号化する並列分散情報源復号化ステップと、
を行い、
並列分散情報源符号化ステップは、
情報源信号を任意のブロックに分割するデータ分割ステップと、
基準となる任意の基準量子化ステップサイズΔ０を用いてスカラ量子化パラメータであるステップサイズΔｂを導出する量子化パラメータ導出ステップと、 各符号化器で、量子化パラメータ導出ステップにより導出されたスカラ量子化パラメータに基づいて、データ分割ステップで分割された分割信号を独立に符号化する符号化ステップと、
各符号化器での符号化ステップのそれぞれから出力された符号化データのレートを特徴量として、各ブロックのレート量を一定の比に保ちながら各ブロックへ割り当てる割当符号量を導出することで、任意のレート量でブロック単位の符号量を割り当るとともに当該各割当符号量を対応する各符号化器での符号化ステップのそれぞれにフィードバックするレート量導出ステップと、

を含み、 量子化パラメータ導出ステップでは、分割信号の帯域及びカラー成分毎に導出される復号化側の変換ゲインであるフィルタ係数の２乗ノルムの和をＧbとして、ステップサイズΔｂを下記の式によって求め、
各符号化器での符号化ステップのそれぞれにおいて、レート量導出ステップにてフィードバックされた各割当符号量に基づいて前記分割信号を再符号化する。

本発明では、分散環境下により直接ウェーブレット係数を観測することなくレート制御できるスカラ量子化を用いることにより、ウェーブレット係数に対して量子化が行えるために、

を満たすことができ、ビット配分制度の向上が期待できる。さらに、スカラ量子化はEBCOTを用いる最適化と異なり、お互いを全く観測しない分散環境下で最適化を行うことができる。

また、ビット配分比率はどのターゲットレートにおけるビット配分を原点との直線回帰、または、原点を通る多次曲線で近似しても、符号化効率を保つことができる。

本発明は、入力データに依存せずに実施できるが、一例として画像の符号化に応用した場合について説明する。画像を入力信号とすると、情報源符号化装置では静止画像符号化手法として広く用いられているJPEGやJPEG2000、MPEG-2や、H.264やMPEG SVC(Scalable Video Coding)といった画像符号化方式によりデータ圧縮が行われ、符号化データが出力される。本発明は、この情報源符号化装置中の処理を任意のブロック単位に分割し、分割されたブロック単位にお互いを独立に高効率に符号化することができる。また、情報源復号装置では符号化装置で用いられた符号化アルゴリズムに従い独立に復号が行うことができる。つまり、ブロック単位に符号化処理を並列に行うものの符号化効率の低下が少ない符号化が実現される。

以下、図面と共に本発明の実施の形態を説明する。

［第１の実施の形態］
本実施の形態では、輝度信号と色差信号といったカラーコンポーネントを独立に符号化する場合について説明する。

図２は、本発明の第１の実施の形態における並列分散符号化装置の基本構成図である。

同図に示すシステムは、並列分散情報源符号化装置１００、通信モジュール１１０、通信路１２０、受信モジュール２１０、並列分散復号装置２００、復号部２２０から構成される。

同図に示す並列分散情報源符号化装置１００は、データ分割部１０１、並列分散符号化部１０２、１０３，１０４、量子化パラメータ導出部１０５、レート量測定部１０６から構成される。

データ分割部１０１は、入力データを任意のブロック単位に分割する。

並列分散符号化部１０２，１０３，１０４は、量子化パラメータ導出部１０５により導出された符号化パラメータに基づいて、各並列分散符号化部において独立に符号化処理を行う。本実施の形態では、並列分散符号化部１０２，１０３，１０４として、JPEG2000プロセッサを想定している。

量子化△(ステップ)パラメータ導出部１０５は、並列分散符号化部１０２，１０３，１０４が符号化を行う際に必要となる量子化パラメータを導出する。

レート量測定部１０６は、並列分散符号化部１０２，１０３，１０４から出力された符号化データが任意のレート量以内に収まっているか測定する。

通信モジュール１１０は、レート量測定部１０６から出力された符号化データを通信路１２０に送出する。

通信路１２０は、インターネット等の回線であるチャネルである。

受信モジュール２１０は、通信モジュール１１０より送信されるデータを受け取る。

復号部２２０は、一般的な非並列分散復号部である。

並列分散情報源復号装置２００は、並列分散復号部２０１，２０２，２０３、データ合成部２０４から構成される。

並列分散復号部２０１，２０２，２０３は、独立に分割されたブロック単位に復号を行う。

データ合成部２０４は、分割されたブロックを合成する。

以下、上記の各構成要素について詳細に説明する。

本システムは、入力された信号から互いのブロックを観測することなく効率よく符号化を実施することが可能な並列分散処理システムであるが、簡単化のために、以下では画像信号を対象にカラーコンポーネントをブロック単位に並列分散符号化処理する方法を述べる。しかし、入力信号は映像信号のみならず、音声信号などの一般に冗長な信号を対象とすることが可能であり、また、ブロック単位もカラーコンポーネントのみならず、多視点の映像や画像の任意領域などを対象とすることが可能である。

今、RGBコンポーネントの画像が入力されたとし、データ分割部１０１では、RGBコンポーネントからYCbCrコンポーネントに次式により変換が行われて各コンポーネントに分割する。

この色変換によりRGBの色相関を除くことにより圧縮率の向上が期待できる。

分割されたYCbCrカラーコンポーネントは、並列分散符号化部１０２，１０３，１０４により独立に符号化が行われる。並列分散符号化部１０２，１０３，１０４では、一般的な符号化処理が行われる。すなわち、入力された各コンポーネント信号は、各並列分散符号化部１０２，１０３，１０４において、離散コサイン変換やウェーブレット変換といった帯域分割が行われ、変換係数に変換された後に量子化器で量子化され、エントロピー符号化が行われる。この量子化器として、例えば、JPEG2000符号では、サブバンド係数をあるステップサイズで乗算することにより行われる。具体的には、スカラ量子化器(図示せず)において次式により与えられるステップサイズを用いてスカラ量子化が実施される。

ただし、ε、μは任意の非負な整数であり、正規化されたサブバンド信号に対して用いられる。それぞれの並列分散符号化部１０２，１０３，１０４における量子化パラメータであるステップサイズは、量子化△導出部１０５で次式により計算される。

ただし、△_０は基準となる任意の量子化ステップサイズであり、通常、最低周波数サブバンドのものが用いられる。また、Ｇ_bは、それぞれの帯域及びカラー成分毎に導出されるデコード側の変換ゲイン(フィルタ係数の２乗ノルムの和)で導出される。

符号化されたデータはレート量測定部１０８にて、通信容量に適したレート量になっているのか判断がなされる。もし、適していないレート量であれば、量子化△導出部１０５にその情報をフィードバックし、再度、符号化を行う。適したレート量であれば、通信モジュール１１０にて通信に適したようにパケット化等が行われ、通信路１２０を通じて受信モジュール１０９に送られる。

受信されたデータは、並列分散情報源復号装置２００か、非並列情報源復号装置２２０にて復号が行われる。非並列情報源復号装置２２０における復号部２２１では、符号化部の逆の操作、つまり、エントロピー符号化が復号され、変換係数が逆量子化により戻され、離散コサイン変換やウェーブレット変換、色変換などが解かれ復号データとして出力される。

また、並列分散情報源復号装置２００における復号部１１１，１１２，１１３では、非並列情報源復号装置２００と同様に、分割ブロック単位に並列に復号処理が実施される。復号されたそれぞれのブロックデータは、データ合成部２０４にて合成が行われ、復号データとして出力される。

［第２の実施の形態］
本実施の形態では、並列分散情報源符号化装置のみが第１の実施の形態と異なるため、以下では、並列分散情報源符号化装置のみを説明し、他の説明は省略する。

図３は、本発明の第２の実施の形態における並列分散情報源符号化装置の構成を示す。

同図に示す並列分散情報源符号化装置は、データ分割部３０１、並列分散符号化部３０２，３０３，０３４、量子化△導出部３０５、レート量導出部３０６から構成される。

以下、それぞれの構成要素について説明する。

入力されたでデータは、第１の実施の形態と同様に、データ分割部３０１によりRGBコンポーネントからYCbCrコンポーネントに分割される。分割された各カラーコンポーネントは、並列分散符号化部３０２，３０３，３０４により独立に符号化が行われる。並列分散符号化部３０２，３０３，３０４では、第１の実施の形態に示したように、一般的な画像の符号化処理が行われる。その処理中、量子化△導出部３０５により与えられるステップサイズを用いて量子化が行われるが、この際、前述の第１の実施の形態における式（１０）の基準となるステップサイズ△_０は、大きめの数値が設定される。符号化されたデータはレート量導出部３０６に送られる。

レート量導出部３０６では送られてきたそれぞれのレートを特徴量として、任意のレート量でのブロック単位の符号量割り当てが行われる。任意のレート量でのそれぞれのブロックへの符号量は、例えば、線形回帰により導出される。すなわち、ある基準となる△_０によりレート制御された各ブロックのレート量を一定の比を保つことで、任意のレート量でのそれぞれのブロックへの符号量の割当が行われる。これは、出力された各ブロックのレートを原点と一次直線回帰していることと等しい。または、異なる基準となる△_０によりレート制御された各ブロックのレートが得られた場合は、そのデータ量に応じて二次回帰や多次元回帰により近似される。

なお、この次元数は増えれば増えるほど符号化効率が高くなる。レート量導出部３０６で導出された任意のビット割当量を並列分散符号化部３０２，３０３，３０４にフィードバックを行い、PCRD最適化アルゴリズム等により与えられた任意の符号量に符号化が行われ、符号化データが出力される。

［第３の実施の形態］
本実施の形態では、並列分散情報源符号化装置のみが第１の実施の形態と異なるため、以下では、並列分散情報源符号化装置のみを説明し、他の説明は省略する。

図４は、本発明の第３の実施の形態における並列分散情報源符号化装置の構成を示す。

同図に示す並列分散情報源符号化装置４００は、データ分割部４０１、JPEG2000等のスケーラブル符号化を行う並列分散Ｓ（スケーラブル）符号化部４０２，４０３，４０４、量子化△(ステップ)導出部４０５、レート量導出部５０６、ポストレート制御部３０７から構成される。

以下、それぞれの構成要素について説明する。

入力されたデータは、第１の実施の形態と同様にデータ分割部４０１によりRGBコンポーネントからYCbCrコンポーネントに分割される。分割された各カラーコンポーネントは、並列分散スケーラブル符号化部４０２，４０３，４０４により独立に符号化が行われる。例えば、JPEG2000より符号化が行われたとすると、JPEG2000のスケーラビリティ機能を用いてレイヤ毎に符号量切捨てポイントをマークしておく。この際に、量子化ステップ導出部４０５から送られたステップサイズにてレート制御を行い、その符号量を後のプロセスで分かるようにする。すなわち、JPEG2000のスカラ量子化においてブロック単位の総符号量を制御し、そのレート量以下の任意の符号量をポストレート制御にて制御できるようにスケーラビリティ機能を用いて符号切捨てポイントをマークしておく。

レート量導出部４０６では、それぞれの並列分散スケーラブル符号化部４０２，４０３，４０４により出力された符号化ストリームより、ターゲットレートに即したビット配分を導出する。レート量導出部４０６の処理は、第２の実施の形態に記したレート量導出部３０６と同じであるが、JPEG2000では１つのスカラ量子化値しか用いることができないために、直線回帰(一次近似)でのビット配分を行うことになる。

ポストレート制御部４０７では、レート量導出部４０６で導出されたビットレートに添うように、各並列分散スケーラブル符号化部４０２，４０３，４０４でマークされたポイントをポスト量子化ポイントとして、レイヤ切捨てによりポスト処理にてレート制御が行われ、符号化データが作成される。

なお、上記の第１〜第３の実施の形態における並列分散情報源符号化装置、並列分散情報源復号装置の構成要素の動作をプログラムとして構築し、並列分散情報源符号化装置、並列分散情報源復号装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、画像データや音声データの符号化・復号化技術に適用可能である。

本発明の原理構成図である。 本発明の第１の実施の形態における並列分散符号化・復号化システムの基本構成図である。 本発明の第２の実施の形態における並列分散情報源符号化装置の構成図である。 本発明の第３の実施の形態における並列分散情報源符号化装置の構成図である。

符号の説明

１００，３００，４００ 情報源符号化装置
１０１，３０１，４０１ データ分割部
１０２，１０３，１０４，３０２，３０３，３０４ 並列分散符号化部
１０５ 量子化△(ステップ)導出部
１０６ レート量測定部
１１０ 通信モジュール
１２０ 通信路
２００ 情報源復号装置
２０１，２０２，２０３ 並列分散復号部
２０４ データ合成部
２２０ 非並列情報源復号装置
２２１ 復号部
３０６，４０６ レート量導出部
４０２，４０３，４０４ 並列分散Ｓ（スケーラブル）符号化部
４０７ ポストレート制御部

Claims (2)

1. 音声信号、画像信号を含む情報源信号を分割した各々の分割信号を独立に符号化する複数の符号化器からなる並列分散情報源符号化装置と、
   前記並列分散情報源符号化装置で符号化された各信号を独立に復号化する複数の復号化器からなる並列分散情報源復号化装置と、
   を有し、
   前記並列分散情報源符号化装置は、
   前記情報源信号を任意のブロックに分割するデータ分割手段と、
   基準となる任意の基準量子化ステップサイズΔ０を用いてスカラ量子化パラメータであるステップサイズΔｂを導出する量子化パラメータ導出手段と、
   前記量子化パラメータ導出手段により導出された前記スカラ量子化パラメータに基づいて、前記データ分割手段で分割された分割信号を独立に符号化する複数の並列分散情報源符号化手段と、
   前記複数の並列分散情報源符号化手段のそれぞれから出力された符号化データのレートを特徴量として、各ブロックのレート量を一定の比に保ちながら各ブロックへ割り当てる割当符号量を導出することで、任意のレート量でブロック単位の符号量を割り当てるとともに当該各割当符号量を対応する前記並列分散情報源符号化手段のそれぞれにフィードバックするレート量導出手段と、
   を含み、
   前記量子化パラメータ導出手段では、前記分割信号の帯域及びカラー成分毎に導出される復号化側の変換ゲインであるフィルタ係数の２乗ノルムの和をＧbとして、ステップサイズΔｂを下記の式によって求め、
   
   前記複数の並列分散情報源符号化手段のそれぞれは、前記レート量導出手段からフィードバックされた各割当符号量に基づいて前記分割信号を再符号化することを特徴とする並列分散情報源符号化システム。
   
2. 独立に画像データを符号化・復号化を行う並列分散情報源符号化・復号化方法であって、
   並列分散情報源符号化装置と並列分散情報源復号化装置を有するシステムにおいて、
   前記並列分散情報源符号化装置が、複数の符号化器を用いて、音声信号、画像信号を含む情報源信号を分割して各々の分割信号を独立に符号化する並列分散情報源符号化ステップと、
   前記並列分散情報源復号化装置が、複数の復号化器を用いて、前記並列分散情報源符号化ステップで符号化された各信号を独立に復号化する並列分散情報源復号化ステップと、
   を行い、
   前記並列分散情報源符号化ステップは、
   前記情報源信号を任意のブロックに分割するデータ分割ステップと、
   基準となる任意の基準量子化ステップサイズΔ０を用いてスカラ量子化パラメータであるステップサイズΔｂを導出する量子化パラメータ導出ステップと、
   各符号化器で、前記量子化パラメータ導出ステップにより導出された前記スカラ量子化パラメータに基づいて、前記データ分割ステップで分割された分割信号を独立に符号化する符号化ステップと、
   前記各符号化器での符号化ステップのそれぞれから出力された符号化データのレートを特徴量として、各ブロックのレート量を一定の比に保ちながら各ブロックへ割り当てる割当符号量を導出することで、任意のレート量でブロック単位の符号量を割り当てるとともに当該各割当符号量を対応する各符号化器での符号化ステップのそれぞれにフィードバックするレート量導出ステップと、
   を含み、
   前記量子化パラメータ導出ステップでは、前記分割信号の帯域及びカラー成分毎に導出される復号化側の変換ゲインであるフィルタ係数の２乗ノルムの和をＧbとして、ステップサイズΔｂを下記の式によって求め、
   前記各符号化器での符号化ステップのそれぞれにおいて、前記レート量導出ステップにてフィードバックされた各割当符号量に基づいて前記分割信号を再符号化する
   ことを特徴とする並列分散情報源符号化・復号化方法。