JP2008501996A

JP2008501996A - スケーラブルにデータを符号化及び復号化するシステム及び方法

Info

Publication number: JP2008501996A
Application number: JP2007514996A
Authority: JP
Inventors: ユ，ロンシャン; ラハージャ，スサント; リン，シャオ
Original assignee: Agency for Science Technology and Research Singapore
Current assignee: Agency for Science Technology and Research Singapore
Priority date: 2004-06-07
Filing date: 2004-06-07
Publication date: 2008-01-24
Anticipated expiration: 2024-06-07
Also published as: TW200620841A; JP4849479B2; KR20070029793A; ES2326223T3; BRPI0418900A; EP2077620B1; DE602004020936D1; TWI365610B; CN101015125A; EP1756950A4; AU2004320712B2; EP1756950B1; MXPA06014314A; ATE540477T1; KR101119965B1; EP2077620A1; WO2005122408A1; CN101015125B; ATE430407T1; WO2005122408A8

Abstract

スケーラブルにデータを符号化し、符号化されたデータを復号化するシステム及び方法が示される。スケーラブルにデータを符号化する方法の一例は、少なくとも一の所定基準に基づき、前記複数のデータの夫々を、（ｉ）知覚的に関係するデータか（ｉｉ）知覚的に無関係なデータとして分類する分類工程を備える。前記知覚的に関係するデータは、スケーラブルに符号化され、前記知覚的に無関係なデータは非スケーラブルに符号化される。続いて、前記スケーラブルに符号化された知覚的に関係するデータ及び前記非スケーラブルに符号化された知覚的に無関係なデータを結合して、送信用の符号化されたデータストリームにする。

Description

本発明は、スケーラブルにデータを符号化するシステム及び方法、並びにコンピュータ読取可能媒体における各コンピュータプログラム製品に関する。

過去数十年におけるデジタル技術の成長とともに、デジタルＡＶフォーマットは、本質的に、マルチメディアコンテンツ用の主流キャリアとしてそれに対応するアナログフォーマットに代わってきており、またＣＤ／ＤＶＤ、デジタルＴＶ、ビデオオンデマンド（ＶｏＤ）、ネットワークラジオ等の多数のマルチメディアアプリケーションにおいて広く採用されてきた。全般的に見て、デジタルマルチメディア信号は、高データ転送速度を特徴としており、また通信チャンネルを介した配信は、必然的に伝送前の圧縮技術を要する。今日では、例えばビデオ信号用のＨ．２６３やＭＰＥＧ４ビデオ、オーディオ信号用のＭＰＥＧオーディオレイヤＩＩＩ（ｍｐ３）、ＭＰＥＧ−ＡＡＣ、ドルビーＡＣ−３、音声信号（speech signal)用のＧ．７２３．１やＡＭＲ等の、特にマルチメディア信号の圧縮のために設計された多数のデータ圧縮技術が存在し、それらの多くが広く展開されている。

近年、万能マルチメディアアクセス（ＵＭＡ）パラダイムは、ＡＶコンテンツが異種アクセスネットワークを介して異なる性能を有する各種再生装置に配信され、且つ非常に様々な好みを持ったユーザにより用いられる、マルチメディア通信に対する重要な技術として浮上している。ＵＭＡパラダイムは、その枠組みにおけるデジタルＡＶフォーマットに新たな制約を課している。特に、装置の性能及びユーザの好みの多様性に加えて各種ネットワーク帯域幅の条件を満たすためには、デジタルフォーマットは、そのコンテンツの品質を配信ネットワーク内で容易に適応可能とするスケーラビリティ（拡張性）を与えるべきである。このスケーラビリティは、通常、スケーラブル符号化技術を採用することにより実現される。これにより、容易に低データ転送速度に短縮されて且つ順に低品質のＡＶ提示物に復号化されるスケーラブルビットストリームが生成される。

原則として、スケーラブルビットストリームは、図１に例示した「層状」構造を介して構成することができる。層状構造では、先ず、入力信号が基層エンコーダを通過し、基層ビットストリームを生成する。これは、元の信号の最低品質／転送速度を表す。次に、元の信号に対する基層ビットストリームの復元信号を減算することにより得られる差、又はエラー信号を、拡張層エンコーダで符号化し、拡張層ビットストリームを生成する。この工程を次々に続けると、図１に示すようなマルチ拡張層ビットストリームを生成できる。次に、基層ビットストリームを複数の拡張層ビットストリームで多重化して、スケーラブルビットストリームを生成する（図２）。デコーダでは、基層ビットストリームとマルチ拡張層ビットストリームとをスケーラブルビットストリームから解析し、その出力を単純に足し合わせて、復号化出力を生成する。例えば、画像符号化におけるビットプレーン符号化法等の、スケーラブル符号化を実現するその他の手法があるが、それらは基本的には上述の手法と符号化機構は同じである。

このスケーラブル符号化法の利点は、装置の性能及びユーザの好みに加えてネットワーク帯域幅に復元の品質を適応させる能力にある。例えば、可変帯域幅通信チャンネルを介してマルチメディア信号をストリーミングするアプリケーションにおいて、スケーラブル符号化システムは、伝送中に通信チャンネルの利用可能な帯域幅に応じてビットレートを適応可能とするビットストリームを生成できる。その利用可能な帯域幅が最高レートビットストリームに足りなくなった場合、伝送システムは、単純にいくつかの拡張層ビットストリームを破棄してそのビットレートを減じる。そうすると通信チャンネルを介して送信可能のままにできる。この場合、非スケーラブルビットストリームのストリーミングの場合と同じくストリーミングプログラムを中断する代わりに、受信端末はわずかに品質の劣化を出すだけであるが、ユーザにとっては一般により魅力的なストリーミングプログラムをさらに楽しむことができる。

そのような利点にもかかわらず、スケーラブル符号化システムは、通常、非スケーラブル符号化システムよりも符号化の効率性と複雑性の点から劣っている。つまり、ある所与のデータ転送速度で動作する際に、スケーラブルシステムは、一般に非スケーラブルシステムよりも低品質の復元に終わる。これは、スケーラブル符号化システムの層構造が、非スケーラブル符号化システムで実行される特定の目標速度へ最適化するエンコーダの自由度を制限するという事実から来るものである。加えて、スケーラブル符号化システムは、通常、その構造と符号化／復号化工程に要求される計算力との両点で、非スケーラブル符号化システムよりも複雑である。

従って、必要とされるのは、スケーラブル及び非スケーラブルシステムの両方の有利な特性を含むデータ符号化システム及び方法である。

本発明は、マルチメディア信号等のデータストリームを符号化するハイブリッドスケーラブル／非スケーラブルシステム（ＨＳＮＳ）を提供する。このシステムは、データストリーム中の全ての成分がスケーラブルに符号化される必要がないことに注目している。特に、スケーラブル符号化システムの目標は、知覚品質ｖｓデータ転送速度のスケーラビリティを実現することであり、知覚的に無関係な成分をスケーラブルに符号化するのは効率が悪い。これら知覚的に無関係な成分（例えば、視界や視覚等の人間の知覚範囲外のデータ）は、定義によれば、復元物の最終知覚品質に貢献するものである。これらのデータ成分に対して、本発明のシステム及び方法は、非スケーラブルコーダを採用している。よって、このハイブリッドスケーラブル及び非スケーラブル技術は、非スケーラブルシステムの利点を組み込みつつ、スケーラブルビットストリームを与えることができる。

本発明の一の実施形態によれば、スケーラブルにデータを符号化する方法は、複数のデータからなるデータストリームを受信する受信工程と、少なくとも一の所定基準に基づき、前記複数のデータの夫々を、（ｉ）知覚的に関係するデータか（ｉｉ）知覚的に無関係なデータとして分類する分類工程と、を含む。知覚的に関係するデータは、特定人物の感覚範囲内の情報に対応するデータ、例えば、平均的な人物の視聴覚範囲内におけるオーディオ及び／又は映像情報に対応するデータを含む。逆に、知覚的に無関係なデータは、一般にその人物の感覚範囲外の（感覚範囲よりも高い又は低い）情報に対応するデータを含むであろう。

次に、前記知覚的に関係するデータをスケーラブルに符号化し、前記知覚的に無関係なデータを非スケーラブルに符号化する。非スケーラブル符号化の非包括的な例は、ハフマン又は算術コードを用いたサンプル毎の符号化を含む。また、スケーラブル符号化の一例は、層状符号化やビットプレーン符号化を含む。続いて、前記スケーラブルに符号化された知覚的に関係するデータ及び前記非スケーラブルに符号化された知覚的に無関係なデータを結合して、送信用の符号化されたデータストリームにする（符号化されたデータストリーム上へ多重化する）。

本発明の一の実施形態によれば、スケーラブルにデータを符号化可能なシステムは、知覚関係分類器と、スケーラブルコーダと、非スケーラブルコーダと、マルチプレクサと、を含む。このシステムは、複数のデータを含んでなるデータストリームを受信するように設定された入力部を含み、また前記知覚関係分類器は、少なくとも一の所定基準に基づき、前記複数のデータの夫々を、（ｉ）知覚的に関係するデータか（ｉｉ）知覚的に無関係なデータとして分類することができる。前記スケーラブルコーダは、前記知覚的に関係するデータを受信し、それにスケーラブル符号化を適用して符号化された知覚的に関係するデータを生成するように設定された入力部を有する。非スケーラブルコーダは、前記知覚的に無関係なデータ受信し、それに非スケーラブル符号化を適用して符号化された知覚的に無関係なデータを生成するように設定された入力部を有する。前記マルチプレクサは、前記符号化された知覚的に関係するデータ及び前記符号化された知覚的に無関係なデータを夫々受信するように連結された第１及び第２入力部を有し、また前記符号化された知覚的に関係するデータ及び前記符号化された知覚的に無関係なデータを結合して符号化されたデータストリームにする。

本発明の付随的な特性において、知覚関係分類（ＰＲＣ）レコードは符号化工程中に生成され、前記ＰＲＣレコードはどのデータが知覚的に関係するデータか、またどのデータが知覚的に無関係なデータかについての情報を含んでいる。実施に際し、前記ＰＲＣレコードはデコーダにおける元のデータストリームのコピーを復元するために用いることができる。更に、エンコーダ及びデコーダは、データ処理を容易にするためにドメイン変換技術を用いてもよい。このような変換は、例えば、離散フーリエ変換、離散コサイン変換、離散ウェーブレット変換、又は離散サイン変換を含んでいてもよい。

本発明におけるこれらの特性及びその他の特性は、次の図面及び詳細な説明に照らして読むと、より十分に理解されるであろう。

本発明におけるこれらの特性及びその他の特性は、次の図面及び詳細な説明に照らしてみると、よりよく理解されるであろう。

図３Ａ及び３Ｂは、本発明の一の実施例に係るデータをスケーラブルに符号化及び復号化する方法を示す図である。先ず図３Ａに示す符号化方法を参照すると、複数のデータを含んでなる入力信号は、３０２において最初に受信される。入力信号は、以下に例示するような何らかの中間処理を受けてもよいが、これは本発明の動作に必ずしも必要ではない。

次に３０４において、各受信データは、（ｉ）知覚的に関係、又は（ｉｉ）知覚的に無関係として分類される。この分類は、閾値に対する一又は複数の所定基準のレベルを各データに対して比較することを含む。この比較の結果に応じて、データは、知覚的に関係するか無関係か判断される。この所定基準の典型的な種類には、データの周波数、エネルギーレベル、又は人間の知覚システムの知覚モデルを用いて推測した知覚的重要性が含まれる。

例えば、エネルギーレベルが分類基準として選択されると、データＸｉ（ｉ＝０, ..., Ｌ−１）の知覚関係は、次式を用いて決定される。

（１）
但し、ＴＨＲは所定の閾値であり、これ以下の場合、係数は知覚的に無関係と定める。

或いは、この係数の絶対平均値を分類基準として用いることができる。

（２）

他の実施例では、知覚的重要性を、人間の知覚システムの知覚モデルにより推測する。このような実施例では、マスキング閾値に対する次の比率を用いてよい。

（３）
但し、ＪＮＤはその信号に対する最小歪み（差閾）のレベルである。この基準は、従来、ＪＮＤが心理音響学モデルを用いて推測するマスキング閾値である知覚オーディオ符号化において用いられる。例えば、J.D. Johnston著, Transform coding of audio signals using perceptual noise criteria, pp314-323, IEEE Journal on Selected Areas in Communications, Volume: 6, Issue: 2, Feb. 1988を参照されたい。

次に３０６において、知覚的に無関係と分類されたデータを非スケーラブルに符号化する。この工程では、多種類の非スケーラブル符号化を用いることができる。この選択は、主に、知覚データフォーマットと内容によるであろう。データがイメージングデータから構成されるような典型的な実施例では、サンプル毎のハフマン又は算術符号化を用いてスケーラブル符号化を実行してもよい。これらは、考えられるほんの数例の符号化の種類である。本発明下で、その他にも多く適用可能であることは、当業者には当然のことであろう。

その後３０８において、知覚的に関係と分類されたデータをスケーラブルに符号化する。この工程も多くの方法で実行可能である。ビットプレーン符号化としての一例は、"A New, Fast, and Efficient Image Codec based on Set Partitioning in Hierarchical Trees"、A. Said and W. A. Pearlman著、IEEE Transactions on Circuits and Systems For Video Technology, vol. 6, no. 3, pp. 243-250, June 1996、又は"Bit Plane Golomb Coding for Sources with Laplacian Distributions"、R. Yu等著, ICASSP 2003に記載されたビットプレーンコーダである。本発明下で、その他のスケーリング工程も他の実施例で実施されてよいことは、当業者には当然のことであろう。

次に３１０において、スケーラブル及び非スケーラブルに符号化されたデータを符号化されたデータストリーム上へ多重化する。この工程は、従来のマルチプレクサ又は同等のハードウェア、ソフトウェア、又はファームウェアにより実行されてよい。

次に、スケーラブルに信号を復号化する方法を示す図３Ｂを参照すると、その工程は、３５２において符号化されたデータストリームを受信することに始まる。符号化されたデータストリームは、スケーラブル及び非スケーラブルデータの両データを含んでなる。次に３５４において、符号化されたデータストリームを、スケーラブルに符号化されたデータと非スケーラブルに符号化されたデータの別々のストリームへ逆多重化する。この動作は、デマルチプレクサ又はハードウェア、ソフトウェア、又はファームウェアにおける何らかの同等の装置により実行されてよい。

その後３５６において、スケーラブルに符号化されたデータストリームを復号化する。この工程は、通常、上記３０６で選択した符号化技術の逆工程を採用する。同様に３５８において、非スケーラブルに符号化されたデータのストリームを復号化する。ここでも、上記３０８で選択した符号化技術の逆工程を用いることが好ましい。そして、復号化された知覚的に関係するデータ及び復号化された無関係なデータを３６０において結合させ、３０２に供給された入力データの復元版を形成する。

図４は、本発明の一の実施例に係る典型的なエンコーダ及びデコーダを示している。先ずエンコーダ４２０を参照すると、そのシステムは、任意の変換モジュール４２１と、スイッチ４２２（一の実施例においては単極双頭スイッチ）と、知覚関係分類器４２３と、スケーラブルコーダ４２６と、非スケーラブルコーダ４２７と、マルチプレクサ４２８とを含む。当業者には当然のことであるが、その構成要素は、ソフトウェアモジュール、ファームウェア又はハードウェアとして、或いはこれらの実行様式の組み合わせとして実現されてよい。

変換モジュール４２１は、本発明においては任意の構成要素であるが、特定の実施例において用いられてよい。そのように用いる際には、入力信号を、例えば一連の時間又は空間係数を対応する一連の周波数係数に変換する変換係数ストリーム４２１ａにドメイン変換操作できる。変換モジュールは、どのような特定の変換法を採用してもよい。考えられる例としては、離散コサイン変換、離散フーリエ変換、離散サイン変換、離散ウェーブレット変換、これらの変形版等が挙げられる。ある特定の実施例において、その変換モジュールは、本出願人により同時に出願された特許出願（タイトル：Method for Transforming a Digital Signal form the Time Domain into the Frequency Domain and Vice Versa）に記載された変換動作を実行する。その出願は、参照することにより本願に組み込まれる。更に詳細には、入力信号を、二つの平行入力データブロックとして処理すると、その変換により二つの変換係数ブロックが生成する。この工程の実施例は、本出願人の同時に提出した出願に更に記載される。一旦生成すると、変換係数は、単極スイッチ４２２と知覚関係分類器４２３に供給される。

知覚関係分類器（ＰＲＣ）４２３は、変換係数を受信し、また所定の基準に基づき、変換係数が知覚的に関係するか否かを決定する。この所定基準の典型的な種類には、係数の周波数、エネルギーレベル、又は人間の知覚システムの知覚モデルを用いて推測した知覚的重要性が含まれる。例えば、オーディオ信号の入力信号を変換するために整数変形離散コサイン変換（ＩｎｔＭＤＣＴ）を用いる特定の実施例では、知覚関係は、信号係数が１よりも小さい平均絶対値を有しているかに基づいている。なぜならこの場合、信号は、実際のオーディオ信号の代わりに、主にＩｎｔＭＤＣＴ動作における丸め誤差に支配されるからである。もちろん、その他の選択基準が用いられてもよく、本発明はここで例示した基準に制限されないことは、当業者には当然のことであろう。

その分類に応じて、ＰＲＣ４２３は、スイッチ４２２の出力状態を制御し、知覚的に関係するデータをスケーラブルエンコーダ４２６に、また、知覚的に無関係なデータを非スケーラブルエンコーダ４２７に出力する。そして、この二つのデータ群を、夫々のコーダで符号化し、マルチプレクサ４２８を用いてスケーラブルビットストリーム４２９上へ結合する。スケーラブル及び非スケーラブルコーダは、ビットプレーン符号化、ハフマン符号化、及び算術符号化等の所望の符号化動作を実行する符号化システムにおけるいずれのハードウェア、ソフトウェア又はファームウェア実現部から構成されてもよい。本発明は、特定の符号化アルゴリズムに制限されない。本発明の下で多様なスケーラブル及び非スケーラブル符号化を実行できることは、当業者には当然のことであろう。

データ（係数）を知覚的に関係及び無関係として分類した情報を含むＰＲＣレコード４２５が、任意に生成され、マルチプレクサ４２８に供給され、デコーダ４６０に送信するためにビットストリーム４２９上に結合される。ある特定の実施例では、ＰＲＣレコード４２５は、ストリームの処理前にどのデータが知覚的に関係するかをデコーダに知らせるために、ビットストリームのプリアンブルとして付加される。

ここでエンコーダ４６０を参照すると、エンコーダ４６０は、デマルチプレクサ４６１と、スケーラブルデコーダ４６２と、非スケーラブルデコーダ４６３と、スイッチ４６５と、任意の逆変換モジュール４６６を含む。デマルチプレクサ４６１は、エンコーダ４２０から送信されたスケーラブルビットストリーム又はその同等物を受信できる。また別途、符号化された知覚的に関係するデータをスケーラブルデコーダ４６２に、符号化された知覚的に無関係のデータを非スケーラブルデコーダ４６３に、また任意に含まれたＰＲＣレコードをスイッチ４６４に出力できる。スケーラブルデコーダ４６２及び非スケーラブルデコーダ４６３は、夫々に対応するエンコーダ４２６及び４２７の逆動作を行う。これらに固有の実現部（即ち、ソフトウェア、ハードウェア、又はファームウェアにおける実現部）は、ある特定の実施例におけるエンコーダのそれと同様である。

スイッチ４６５（一の実施例においては単極双頭スイッチ）は、復号化された知覚的に関係する係数及び復号化された知覚的に無関係の係数のどちらかを選択することにより、復元変換係数ストリーム４６５ａを生成する。従って、復元変換係数ストリーム４６５ａは、エンコーダ４２０において生成された変換係数ストリーム４２１ａと同一ではなくても、ほぼ同様である。

本発明の下では、変換係数ストリーム４２１ａの正確なコピーを復元するために、復号化された知覚的に関係する係数及び復号化された知覚的に無関係の係数のどちらかを選択するようスイッチ４６５に知らせる方法を変更できる。一の実施例では、スイッチは、本来のデータストリーム４２１ａの正確なコピーを復元するために現在のフレームにおいてどの係数が必要とされているかに関する（以前の同期動作を介した、又は埋め込みプログラミングによる）演繹的知識を所有している。或いは、スイッチ４６５は、現在のフレームにおいてどの係数が必要とされているかを、逆多重化されたＰＲＣレコードにより知らされてよい。

符号化システム４２０が変換モジュール４２１を含む場合、復号化システム４６０は、補足的に動作する逆変換モジュール４６６を含むことが好ましい。従って、それは、復元変換係数ストリーム４６５ａに対して逆ドメイン変換動作を実行し、入力信号の復号版を生成する。特定の実施例では、逆変換モジュールは、本出願人による同時継続出願（タイトル：Method for Performing a Domain Transformation of a Digital Signal form the Time Domain into the Frequency Domain and Vice Versa）に記載されたような逆変換動作を採用する。更に詳細には、復元データストリーム４６５ａは、二つの平行データストリームブロックから構成され、これは同時に処理されて、本出願人により同時に出願された特許出願に記載されるように、二つの同時生成された復号化データブロックを生成する。逆変換モジュール４６６は、通常、ソフトウェア、ハードウェア、ファームウェア、又はこれらの組み合わせにより変換モジュール４２１と同様の方法で実行されるが、これに限らない。

図５は、本発明における一の実施例に係る符号化システム４２０により生成されるスケーラブルビットストリームを示す。一の実施例では、スケーラブルビット５１０は、データフレームの先頭に／付近に設けられ、非スケーラブルビット５２０は、当該フレームの終点付近に設けられる。この配置により、非スケーラブル係数５２０を短縮でき（例えば、狭帯域幅チャンネルを介した変換のため）、よってスケーラブル係数５１０を維持できる。ＰＲＣレコード４２５が用いられる実施例では、信号復元工程中にどの係数を用いるべきかを復号化システムに知らせるために、プリアンブル５０５としてスケーラブル係数５１０の前に加えられてよい。

本発明は、符号化システムにおいて広く適用可能であり、特に、短縮されなければ、本来の信号に対する数学的にロスレスな復元体に復号化可能であるビットストリームを符号化システムが生成するスケーラブル−ロスレス符号化システムにおいて有利である。このような符号化システムにおいては、通常のスケーラブル符号化システムで通常破棄されるような多くの知覚的に無関係な構成要素が、ロスレスビットストリームで、このロスレス符号化の制約に合うように送信される必要がある。その結果、本発明のシステム及び方法を用いて、その符号化の効率性や性能を大いに向上させることができる。

次の文献は、全体として参照することにより本願に組み込まれる。
R. Yu, Xiao Lin, S. Rahardja and H. Huang, "Proposed Core Experiment for improving coding efficient in MPEG-4 audio scalable coding (SLS)" International Organization for Standardisation, Organization, Coding of Moving Pictures and Audio, ISO/IEC JTC1/SC29/WG11, MPEG2003/M10136, Oct 2003, Brisbane, Australia J. Li, "Embedded audio coding (EAC) with implicit auditory masking", ACM Multimedia 2002, Nice, France, Dce. 2002 R. Geiger, J. Herre, J. Koller, and K. Brandenburg, "INTMDCT-A linke between perceptual and lossless audio coding," IEEE Proc. ICASSP 2002 T. Moriya, N. Iwakami, T. Mori, and A. Jin, "A design of lossy and lossless scalable audio coding," IEEE Proc. ICASSP 2000 R. Yu, X. Lin, S Rahardja and C. C. Ko, "A Fine Granular scalable perceptually lossy and lossless audio codec", IEEE Proc. ICME 2003 M. Raad and A. Mertings, "From Lossy to Lossless Audio Coding Using SPIHT," Proc. 5th International Conference of Digital Audio Effect, 2003 A. Said and W. A. Pearlman, "A New, Fast, and Efficient Image Codec based on Set Partitioning in Hierarchical Trees," IEEE Transactions on Circuits and Systems For Video Technology, vol. 6, no.3, pp. 243-250, June 1996 R. Yu and et al, "Bit Plane Golmb Coding for Sources with Laplacian Distributions," ICASSP 2003 Khalid Sayhood, "Introduction to Data Compression," Morgan Kaufmann, 2000 J.D. Johnston, Transform coding of audio signals using perceptual noise criteria, pp314-323, IEEE Journal on Selected Areas in Communications, Volume: 6, Issue: 2, Feb. 1988

以上は、本発明の詳細な説明であるが、これは単なる例示であり、各種変形物、変更物、及び同等物がここに記載の各種装置及び工程において採用されてよい。従って、本発明の範囲は、次に記載の特許請求の範囲によりここに定義される。

技術的に公知の従来のスケーラブル符号化システムを示す図である。図１の従来のスケーラブル符号化システムにより生成されるスケーラブルビットストリームを示す図である。本発明の一の実施例に係るデータをスケーラブルに符号化及び復号化する方法を示す図である。本発明の一の実施例に係るデータをスケーラブルに符号化及び復号化する方法を示す図である。本発明の一の実施例に係るスケーラブルエンコーダ及びスケーラブルデコーダを示す図である。図４のスケーラブルエンコーダにより生成されるビットストリームの一実施例を示す図である。

符号の説明

４２０エンコーダ
４２１変換モジュール
４２２スイッチ
４２３知覚関係分類器
４２６スケーラブルコーダ
４２７非スケーラブルコーダ
４２８マルチプレクサ

Claims

複数のデータを含んでなるデータストリームを受信する受信工程と、
少なくとも一の所定基準に基づき、前記複数のデータの夫々を、（ｉ）知覚的に関係するデータか（ｉｉ）知覚的に無関係なデータとして分類する分類工程と、
前記知覚的に関係するデータをスケーラブルに符号化するスケーラブル符号化工程と、
前記知覚的に無関係なデータを非スケーラブルに符号化する非スケーラブル符号化工程と、
前記スケーラブルに符号化された知覚的に関係するデータ及び前記非スケーラブルに符号化された知覚的に無関係なデータを結合して、符号化されたデータストリームにする結合工程と、
を備えることを特徴とするスケーラブルにデータを符号化する方法。
複数のデータを受信する工程は、離散変換を介して生成される複数の係数を受信する工程を備えることを特徴とする請求項１に記載の方法。
前記離散変換は、離散コサイン変換、変形離散コサイン変換、離散ウェーブレット変換、又は離散フーリエ変換を含んでなることを特徴とする請求項２に記載の方法。
前記データの夫々は、周波数成分を含んでなり、分類工程は、各データの周波数成分に基づき、前記データを（ｉ）知覚的に関係するデータか（ｉｉ）知覚的に無関係なデータとして分類することを特徴とする請求項１に記載の方法。
前記データの夫々は、エネルギーレベル成分を含んでなり、分類工程は、各データのエネルギーレベル成分に基づき、前記データを（ｉ）知覚的に関係するデータか（ｉｉ）知覚的に無関係なデータとして分類することを特徴とする請求項１に記載の方法。
前記データの夫々は、知覚的重要性成分を含んでなり、分類工程は、各データの知覚的重要性成分に基づき、前記データを（ｉ）知覚的に関係するデータか（ｉｉ）知覚的に無関係なデータとして分類することを特徴とする請求項１に記載の方法。
どのデータが知覚的に関係し、どのデータが知覚的に無関係かについての情報を含んでなる知覚関係／無関係レコードを生成する生成工程と、
前記知覚関係／無関係レコードを、前記符号化されたデータストリームにおける前記スケーラブルに符号化されたデータ及び前記非スケーラブルに符号化されたデータに結合させる結合工程と、
を更に備えることを特徴とする請求項１に記載の方法。
前記知覚的に関係するデータをスケーラブルに符号化するスケーラブル符号化工程は、前記知覚的に関係するデータをビットプレーン符号化するビットプレーン符号化工程を含むことを特徴とする請求項１に記載の方法。
前記知覚的に無関係なデータを非スケーラブルに符号化する非スケーラブル符号化工程は、前記知覚的に無関係なデータをハフマン符号化するハフマン符号化工程を含むことを特徴とする請求項１に記載の方法。
前記知覚的に無関係なデータを非スケーラブルに符号化する非スケーラブル符号化工程は、前記知覚的に無関係なデータを算術的に符号化する算術符号化工程を含むことを特徴とする請求項１に記載の方法。
前記符号化されたデータストリームから、一または複数の前記非スケーラブルに符号化された知覚的に無関係なデータを破棄する破棄工程を更に備えることを特徴とする請求項１に記載の方法。
前記スケーラブルに符号化された知覚的に関係するデータは、前記非スケーラブルに符号化された知覚的に無関係なデータの前で、前記データストリーム上へ結合されることを特徴とする請求項１に記載の方法。
符号化された知覚的に関係するデータ及び符号化された知覚的に無関係なデータを含んでなる符号化されたデータストリームを受信する受信工程と、
前記符号化された知覚的に関係するデータをスケーラブルに復号化して、復号化された知覚的に関係するデータにするスケーラブル復号化工程と、
前記符号化された知覚的に無関係なデータを非スケーラブルに復号化して、復号化された知覚的に無関係なデータにする非スケーラブル復号化工程と、
前記復号化された知覚的に関係するデータ及び前記復号化された知覚的に無関係なデータを結合して、復号化されたデータストリームにする結合工程と、
を備えることを特徴とするスケーラブルにデータを復号化する方法。
前記符号化された知覚的に関係するデータをスケーラブルに復号化するスケーラブル復号化工程は、前記知覚的に関係するデータをビットプレーン復号化するビットプレーン復号化工程を含むことを特徴とする請求項１３に記載の方法。
前記符号化された知覚的に無関係なデータを非スケーラブルに復号化する非スケーラブル復号化工程は、前記知覚的に無関係なデータをハフマン復号化するハフマン復号化工程を含むことを特徴とする請求項１３に記載の方法。
前記符号化された知覚的に無関係なデータを非スケーラブルに復号化する非スケーラブル復号化工程は、前記知覚的に無関係なデータを算術的に復号化する算術復号化工程を含むことを特徴とする請求項１３に記載の方法。
前記符号化されたデータストリームは、どの符号化されたデータが符号化された知覚的に関係するデータか、またどの符号化されたデータが符号化された知覚的に無関係なデータかについての情報を含んでなる知覚関係／無関係レコードを備え、前記知覚関係／無関係レコードは、前記復号化されたデータストリームを構成するために用いられることを特徴とする請求項１３に記載の方法。
復号化された信号を得るために、前記データストリームの前記離散変換をとる離散変換工程を更に備えることを特徴とする請求項１３に記載の方法。
前記離散変換は、逆離散コサイン変換、逆変形離散コサイン変換、逆離散ウェーブレット変換、又は逆高速離散フーリエ変換を含んでなることを特徴とする請求項１８に記載の方法。
複数のデータを含んでなるデータストリームを受信するように設定された入力部を有し、少なくとも一の所定基準に基づき、前記複数のデータの夫々を、（ｉ）知覚的に関係するデータか（ｉｉ）知覚的に無関係なデータとして分類する知覚関係分類器と、
前記知覚的に関係するデータを受信し、それにスケーラブル符号化を適用して符号化された知覚的に関係するデータを生成するように設定された入力部を有するスケーラブルコーダと、
前記知覚的に無関係なデータ受信し、それに非スケーラブル符号化を適用して符号化された知覚的に無関係なデータを生成するように設定された入力部を有する非スケーラブルコーダと、
前記符号化された知覚的に関係するデータ及び前記符号化された知覚的に無関係なデータを夫々受信するように連結された第１及び第２入力部を有し、前記符号化された知覚的に関係するデータ及び前記符号化された知覚的に無関係なデータを結合して符号化されたデータストリームにするマルチプレクサと、
を備えることを特徴とするスケーラブルにデータを符号化可能なシステム。
前記データは、離散変換を介して生成される複数の係数を含んでなることを特徴とする請求項２０に記載のシステム。
前記離散変換は、離散コサイン変換、変形離散コサイン変換、離散ウェーブレット変換、又は離散フーリエ変換を含んでなることを特徴とする請求項２０に記載のシステム。
前記データの夫々は、周波数成分を含んでなり、前記知覚関係分類器は、各データの前記周波数成分に基づき、前記データを（ｉ）知覚的に関係するデータか（ｉｉ）知覚的に無関係なデータとして分類することができることを特徴とする請求項２０に記載のシステム。
前記データの夫々は、エネルギーレベル成分を含んでなり、前記知覚関係分類器は、各データの前記エネルギーレベル成分に基づき、前記データを（ｉ）知覚的に関係するデータか（ｉｉ）知覚的に無関係なデータとして分類することができることを特徴とする請求項２０に記載のシステム。
前記データの夫々は、知覚的重要性成分を含んでなり、前記知覚関係分類器は、各データの前記知覚的重要性成分に基づき、前記データを（ｉ）知覚的に関係するデータか（ｉｉ）知覚的に無関係なデータとして分類することができることを特徴とする請求項２０に記載のシステム。
前記知覚関係分類器は、どのデータが知覚的に関係し、どのデータが知覚的に無関係かについての情報を含んでなる知覚関係／無関係レコードを生成することが更にでき、前記マルチプレクサは、前記知覚関係／無関係レコードを、前記符号化されたデータストリームにおける前記符号化された知覚的に関係するデータ及び前記符号化された知覚的に無関係なデータに結合することが更にできることを特徴とする請求項２０に記載のシステム。
前記スケーラブルコーダは、ビットプレーンエンコーダを含むことを特徴とする請求項２０に記載のシステム。
前記非スケーラブルコーダは、ハフマンエンコーダを含むことを特徴とする請求項２０に記載のシステム。
前記非スケーラブルコーダは、算術エンコーダを含むことを特徴とする請求項２０に記載のシステム。
前記符号化されたデータストリームから、一または複数の前記非スケーラブルに符号化された知覚的に無関係なデータを破棄する破棄手段を更に備えることを特徴とする請求項２０に記載のシステム。
前記マルチプレクサは、前記スケーラブルに符号化された知覚的に関係するデータを、前記非スケーラブルに符号化された知覚的に無関係なデータの前で、前記データストリーム上へ結合することができることを特徴とする請求項２０に記載のシステム。
符号化された知覚的に関係するデータ及び符号化された知覚的に無関係なデータを含んでなる符号化されたデータストリームを受信できる入力部、前記符号化された知覚的に関係するデータを提供できる第１出力部、並びに前記符号化された知覚的に無関係なデータを提供できる第２出力部を有するデマルチプレクサと、
前記符号化された知覚的に関係するデータを受信し、それにスケーラブル符号化を適用して、復号化された知覚的に関係するデータを生成するように設定された入力部を有するスケーラブルデコーダと、
前記符号化された知覚的に無関係なデータを受信し、それに非スケーラブル符号化を適用して、復号化された知覚的に無関係なデータを生成するように設定された入力部を有する非スケーラブルデコーダと、
前記復号化された知覚的に関係するデータを受信するように連結された第１ポート、及び前記復号化された知覚的に無関係なデータを受信するように連結された第２ポートを切替可能な入力部、並びに復号化されたデータストリームを提供する出力部を有するスイッチと、
を備えることを特徴とするスケーラブルにデータを復号化するシステム。
前記スケーラブルデコーダは、ビットプレーンデコーダを含むことを特徴とする請求項３２に記載のシステム。
前記非スケーラブルデコーダは、ハフマンデコーダを含むことを特徴とする請求項３２に記載のシステム。
前記非スケーラブルデコーダは、算術デコーダを含むことを特徴とする請求項３２に記載のシステム。
前記符号化されたデータストリームは、どの符号化されたデータが符号化された知覚的に関係するデータか、またどの符号化されたデータが符号化された知覚的に無関係なデータかについての情報を含んでなる知覚関係／無関係分類レコードを備え、
前記スイッチは、前記知覚関係／無関係分類レコードを受信するように連結された第２入力部を有し、
前記スイッチは、知覚関係／無関係分類レコードに応じて、前記第１又は第２入力ポートのどちらかを選択し、続いて前記復号化されたデータストリーム構成することを特徴とする請求項３２に記載のシステム。
前記復号化された入力ストリームを受信するための入力部、及び出力部を有し、離散変換アルゴリズムを適用して復号化された信号を生成することができる離散変換手段を更に備えることを特徴とする請求項３２に記載のシステム。
前記離散変換は、逆離散コサイン変換、逆変形離散コサイン変換、逆離散ウェーブレット変換、又は逆離散フーリエ変換を含んでなることを特徴とする請求項３７に記載のシステム。
複数の受信データをスケーラブルに符号化する指示を実施可能であるコンピュータ読取媒体におけるコンピュータプログラム製品であって、
少なくとも一の所定基準に基づき、前記複数の受信データの夫々を、（ｉ）知覚的に関係するデータか（ｉｉ）知覚的に無関係なデータとして分類する分類コードと、
前記知覚的に関係するデータをスケーラブルに符号化するスケーラブル符号化コードと、
前記知覚的に無関係なデータを非スケーラブルに符号化する非スケーラブル符号化コードと、
前記スケーラブルに符号化された知覚的に関係するデータ及び前記非スケーラブルに符号化された知覚的に無関係なデータを結合して、符号化されたデータストリームにする結合コードと、
を備えることを特徴とするコンピュータプログラム製品。
前記データの夫々は、周波数成分を含んでなり、前記分類コードは、各データの前記周波数成分に基づき、前記データを（ｉ）知覚的に関係するデータか（ｉｉ）知覚的に無関係なデータとして分類することを特徴とする請求項３９に記載のコンピュータプログラム製品。
前記データの夫々は、エネルギーレベル成分を含んでなり、前記分類コードは、各データの前記エネルギーレベル成分に基づき、前記データを（ｉ）知覚的に関係するデータか（ｉｉ）知覚的に無関係なデータとして分類することを特徴とする請求項３９に記載のコンピュータプログラム製品。
前記データの夫々は、知覚的重要性成分を含んでなり、前記分類コードは、各データの前記知覚的重要性成分に基づき、前記データを（ｉ）知覚的に関係するデータか（ｉｉ）知覚的に無関係なデータとして分類することを特徴とする請求項３９に記載のコンピュータプログラム製品。
前記知覚的に関係するデータをスケーラブルに符号化するスケーラブル符号化コードは、ビットプレーン符号化を含むことを特徴とする請求項３９に記載のコンピュータプログラム製品。
前記知覚的に関係するデータを非スケーラブルに符号化する非スケーラブル符号化コードは、ハフマン符号化を含むことを特徴とする請求項３９に記載のコンピュータプログラム製品。
前記知覚的に関係するデータを非スケーラブルに符号化する非スケーラブル符号化コードは、算術符号化を含むことを特徴とする請求項３９に記載のコンピュータプログラム製品。
前記結合コードは、前記スケーラブルに符号化された知覚的に関係するデータを、前記非スケーラブルに符号化された知覚的に無関係なデータの前で、前記データストリーム上へ結合することを特徴とする請求項３９に記載のコンピュータプログラム製品。
符号化された知覚的に関係するデータ及び符号化された知覚的に無関係なデータを含んでなる符号化されたデータストリームをスケーラブルに復号化する指示を実施可能であるコンピュータ読取媒体におけるコンピュータプログラム製品であって、
前記符号化された知覚的に関係するデータをスケーラブルに復号化して、復号化された知覚的に関係するデータにするスケーラブル復号化コードと、
前記符号化された知覚的に無関係なデータを非スケーラブルに復号化して、復号化された知覚的に無関係なデータにする非スケーラブル復号化コードと、
前記復号化された知覚的に関係するデータ及び前記復号化された知覚的に無関係なデータを結合して、復号化されたデータストリームにする結合コードと、
を備えることを特徴とするコンピュータプログラム製品。
前記符号化された知覚的に関係するデータをスケーラブルに復号化するスケーラブル復号化コードは、ビットプレーン符号化を含むことを特徴とする請求項４７に記載のコンピュータプログラム製品。
前記符号化された知覚的に関係するデータをスケーラブルに復号化するスケーラブル復号化コードは、ハフマン符号化を含むことを特徴とする請求項４７に記載のコンピュータプログラム製品。
前記符号化された知覚的に関係するデータをスケーラブルに復号化するスケーラブル復号化コードは、算術符号化を含むことを特徴とする請求項４７に記載のコンピュータプログラム製品。