JP2011160075A - 画像処理装置および方法 - Google Patents

Abstract

【課題】より低遅延な復号処理を実現することができるようにする。
【解決手段】フォーマット判定部２２１は、逆量子化部１０２から供給された映像フォーマットの情報に基づいて、処理対象の係数ラインの映像フォーマットがどのような特徴を有するかを判定する。読み出し制御部２２３は、その判定結果に基づいて読み出し部２１４を制御し、ウェーブレット逆変換部１０５がベースバンドの画像データを水平同期期間１つおきに２ラインずつ出力することができるようなタイミングで、係数データをバッファ部１０４から読み出させ、ウェーブレット逆変換部１０５に供給させる。ウェーブレット逆変換制御部２２４は、ウェーブレット逆変換部１０５を制御し、その係数データの供給タイミングに合わせて合成フィルタリングを実行させる。本発明は、例えば、復号装置に適用することができる。
【選択図】図１３

Description

本発明は、画像処理装置および方法に関し、特に、より低遅延な復号処理を実現することができるようにした画像処理装置および方法に関する。

従来の代表的な画像圧縮方式として、ISO（International Standards Organization）によって標準化されたJPEG（Joint Photographic Experts Group）やJPEG2000がある。

近年では画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタとを組み合わせたフィルタによって複数の帯域に分割し、帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、DCT（Discrete Cosine Transform）変換で問題になる高圧縮でのブロック歪みが無いことから、DCTに代わる新たな技術として有力視されている。

２００１年１月に国際標準化が完了したJPEG2000は、このウェーブレット変換に高能率なエントロピ符号化（ビットプレーン単位のビット・モデリングと算術符号化）を組み合わせた方式を採用しており、JPEGに比べて符号化効率の大きな改善を実現している。

このJPEG2000はデジタルシネマ規格（DCI（Digital Cinema Initiative）規格）用の標準コーデックとしても選定されており、映画の様な動画像用の圧縮にも使われ始めている。また各メーカからJPEG2000を監視カメラや放送局用の取材カメラ、セキュリティ・レコーダなどに応用した製品も出始めている。

また、JPEG2000以外にもウェーブレット変換を用いたデファクトコーデックも、各機関から開発・リリースされている。

これらのコーデックを、即時的な（リアルタイムな）データ伝送に利用することが考えられている。画像データの符号化、符号化データのデータ伝送、および伝送された符号化データの復号を並行して行うことにより、例えば所謂生中継のような、低遅延なデータ伝送を実現させる。

しかしながら、JPEG2000は基本的にピクチャ単位の符号化・復号を行うため、リアルタイム送受信に使うために低遅延を実現しようとした場合、エンコード（符号化）で最低１ピクチャ分、デコード（復号）でも最低１ピクチャ分の遅延が生じる。

これはJPEG2000のみならず、AVC（Advanced Video Coding）イントラ、JPEG等どのコーデックについても同様である。但し、最近になって、画面を幾つかの矩形スライスまたはタイルに分けて、それらを独立にエンコード・デコードを行うことで遅延時間を短縮する手段が提案されている（例えば、特許文献１参照）。

このようなコーデックを用いて以上のような低遅延なデータ伝送を実現させる場合、デコーダは、ビデオ信号の特性、例えばＨブランク（水平ブランク）や、Ｖブランク（垂直ブランク）の時間内に所定量（例えば１ライン）のデコード結果のビデオ信号を出力する必要がある。

特開２００６−３１１３２７号公報

しかしながら、より低遅延にウェーブレット逆変換処理を行うためには、各係数データを複雑な手順で合成フィルタリングする必要があり、ライン出力のタイミングに偏りが生じる。

換言するに、ライン出力のために必要な合成フィルタリングの処理量が、ライン出力毎に異なる。そのため、無計画に係数データをウェーブレット逆変換すると、求められるレートに対してライン出力が速過ぎたり遅過ぎたりして、復号画像表示が破たんする恐れがあった。

本発明は、このような状況に鑑みて提案されたものであり、映像フォーマットの特徴に合わせたライン出力タイミングの制御を行うことにより、映像フォーマットによらず、より低遅延な復号処理を実現することができるようにすることを目的とする。

本発明の一側面は、階層的な分析フィルタ処理により所定ライン数の画像データが周波数帯域毎に分解された、少なくとも最低域成分のサブバンドの係数データを１ライン以上含む、各サブバンドの係数データ群を供給する供給手段と、前記供給手段により供給された前記係数データ群を所定の手順で合成し、ベースバンドの画像データを生成する合成フィルタ手段と、前記供給手段を制御し、前記合成フィルタ手段が前記画像データの水平同期信号の間の期間を示す水平同期期間に応じたタイミングに前記ベースバンドの画像データを生成することができるようなタイミングで、前記係数データを供給させる供給制御手段と、前記合成フィルタ手段を制御し、前記供給手段により供給される前記係数データ群を前記所定の手順で合成させ、前記水平同期期間に応じたタイミングに前記ベースバンドの画像データを生成させる合成フィルタリング制御手段とを備える画像処理装置である。

前記合成フィルタ手段は、前記係数データ群を、より高域な成分をより優先的に生成するような順序で合成し、前記供給制御手段は、前記合成フィルタ手段が、前記順序で合成を行い、前記水平同期期間１つおきに前記ベースバンドの画像データを２ラインずつ生成する事ができるようなタイミングで、合成に必要な前記係数データを前記供給手段に供給させることができる。

前記画像データの前記水平同期期間の長さを判定する判定手段をさらに備え、前記供給制御手段は、前記供給手段を制御し、前記合成フィルタ手段が、前記判定手段により判定された前記水平同期期間に応じたタイミングに前記ベースバンドの画像データを生成することができるようなタイミングで、前記係数データを供給させ、前記合成フィルタリング制御手段は、前記合成フィルタ手段を制御し、前記判定手段により判定された前記水平同期期間に応じたタイミングに前記ベースバンドの画像データを生成させることができる。

前記判定手段は、さらに、前記画像データの水平ブランク期間の長さを判定し、前記判定手段により判定された前記水平ブランク期間の長さに応じて、前記供給手段の前記合成フィルタ手段に対する前記係数データの供給開始タイミングを制御する供給開始タイミング制御手段をさらに備えることができる。

前記合成フィルタ手段に供給する前記係数データ群を保持する保持手段をさらに備え、前記供給手段は、前記保持手段により保持された前記係数データを読み出して前記合成フィルタ手段に供給し、前記供給制御手段は、前記供給手段による前記保持手段からの前記係数データの読み出しを制御することができる。

前記保持手段により保持される前記係数データのデータ量を算出する算出手段と、前記算出手段により算出された前記データ量が、予め定められた所定の閾値を上回るか否かを判定する判定手段と、前記判定手段により前記データ量が前記閾値を上回ると判定された場合、前記供給手段に、前記保持手段に保持されている前記係数データを直ちに読み出させる調整手段とをさらに備えることができる。

前記保持手段により保持される前記係数データのデータ量を算出する算出手段と、前記算出手段により算出された前記データ量が、予め定められた所定の閾値を下回るか否かを判定する判定手段と、前記判定手段により前記データ量が前記閾値を下回ると判定された場合、前記供給手段に、前記保持手段に保持されている前記係数データの読み出しを禁止させる調整手段とをさらに備えることができる。

前記画像データの水平ブランク期間の長さを判定する水平ブランク期間判定手段と、前記保持手段により保持される前記係数データのデータ量を算出する算出手段と、前記水平ブランク期間判定手段により前記水平ブランク期間の長さが長いと判定された場合、前記算出手段により算出された前記データ量が、予め定められた所定の第１の閾値を上回るか否かを判定し、前記水平ブランク期間判定手段により前記水平ブランク期間の長さが短いと判定された場合、前記算出手段により算出された前記データ量が、前記第１の閾値より値が小さい、予め定められた所定の第２の閾値を上回るか否かを判定するデータ量判定手段と、前記データ量判定手段により前記データ量が前記第１の閾値を上回ると判定された場合、前記供給手段に、前記保持手段に保持されている前記係数データを直ちに読み出させ、前記データ量判定手段により前記データ量が前記第２の閾値を下回ると判定された場合、前記供給手段に、前記保持手段に保持されている前記係数データの読み出しを禁止させる調整手段とをさらに備えることができる。

本発明の一側面は、また、画像処理装置の画像処理方法であって、前記画像処理装置の供給手段が、階層的な分析フィルタ処理により所定ライン数の画像データが周波数帯域毎に分解された、少なくとも最低域成分のサブバンドの係数データを１ライン以上含む、各サブバンドの係数データ群を供給し、前記画像処理装置の合成フィルタ手段が、前記供給手段により供給された前記係数データ群を所定の手順で合成し、ベースバンドの画像データを生成し、前記画像処理装置の供給制御手段が、前記供給手段を制御し、前記合成フィルタ手段が前記画像データの水平同期信号の間の期間を示す水平同期期間に応じたタイミングに前記ベースバンドの画像データを生成することができるようなタイミングで、前記係数データを供給させ、前記画像処理装置の合成フィルタリング制御手段が、前記合成フィルタ手段を制御し、前記供給手段により供給される前記係数データ群を前記所定の手順で合成させ、前記水平同期期間に応じたタイミングに前記ベースバンドの画像データを生成させる画像処理方法である。

本発明の一側面においては、階層的な分析フィルタ処理により所定ライン数の画像データが周波数帯域毎に分解された、少なくとも最低域成分のサブバンドの係数データを１ライン以上含む、各サブバンドの係数データ群が供給され、供給された係数データ群を所定の手順で合成し、ベースバンドの画像データを生成し、画像データの水平同期信号の間の期間を示す水平同期期間に応じたタイミングにベースバンドの画像データを生成することができるようなタイミングで、係数データが供給され、供給される係数データ群が所定の手順で合成され、水平同期期間に応じたタイミングにベースバンドの画像データが生成される。

本発明によれば、画像を処理することができる。特に、より低遅延な復号処理を実現することができる。

符号化装置の主な構成例を示すブロック図である。 サブバンドを説明する図である。 ラインブロックを説明する図である。 ５×３分析フィルタの例を示す図である。 分析フィルタリングのリフティング演算例を説明する図である。 係数データの出力順の例を説明する図である。 本発明を適用した復号装置の主な構成例を示すブロック図である。 ５×３合成フィルタの例を示す図である。 合成フィルタリングのリフティング演算例を説明する図である。 ウェーブレット逆変換処理の手順を説明する図である。 ウェーブレット逆変換処理の手順を説明する、図１０に続く図である。 ウェーブレット逆変換処理の手順を説明する、図１１に続く図である。 図７の制御部および逆量子化部の詳細な構成例を示すブロック図である。 映像フォーマットの例を説明する図である。 画像データの構成例を説明する図である。 復号処理の流れの例を説明するフローチャートである。 読み出し制御処理の流れの例を説明するフローチャートである。 バッファ制御処理の流れの例を説明するフローチャートである。 バッファ制御処理の流れの例を説明する、図１８に続くフローチャートである。 本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。

以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（復号装置）
２．第２の実施の形態（パーソナルコンピュータ）

＜１．第１の実施の形態＞
［符号化処理の説明］
本発明は、画像データを符号化した符号化データの復号処理に関するものであるが、まず、この復号処理に対応する、画像データの符号化処理について説明する。

図１は、画像データを符号化する符号化装置の構成例を示す図である。

図１に示される符号化装置１０は、入力された画像データを符号化して符号化データを生成し、出力する。図１に示されるように符号化装置１０は、ウェーブレット変換部１１、途中計算用バッファ部１２、係数並び替え用バッファ部１３、係数並び替え部１４、量子化部１５、およびエントロピ符号化部１６を有する。

符号化装置１０に入力された画像データは、ウェーブレット変換部１１を介して途中計算用バッファ部１２に一時的に溜め込まれる。

ウェーブレット変換部１１は、途中計算用バッファ部１２に溜め込まれた画像データに対してウェーブレット変換を施す。このウェーブレット変換の詳細については後述する。ウェーブレット変換部１１は、ウェーブレット変換により得られた係数データを係数並び替え用バッファ部１３に供給する。

係数並び替え部１４は、係数並び替え用バッファ部１３に書き込まれた係数データを所定の順序（例えば、ウェーブレット逆変換処理順）で読み出し、量子化部１５に供給する。

量子化部１５は、供給された係数データを、所定の方法で量子化し、得られた係数データ（量子化係数データ）をエントロピ符号化部１６に供給する。

エントロピ符号化部１６は、供給された係数データを、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。エントロピ符号化部１６は、生成した符号化データを符号化装置１０の外部に出力する。

［サブバンド］
次に、ウェーブレット変換について説明する。ウェーブレット変換は、画像データを空間周波数の高い成分（高域成分）と低い成分（低域成分）とに分割する分析フィルタリングを、生成した低域成分に対して再帰的に繰り返すことにより、画像データを、階層的に構成される周波数成分毎の係数データに変換する処理である。なお、以下において、分割レベルは、高域成分の階層ほど下位とし、低域成分の階層ほど上位とする。

１つの階層（分割レベル）において、分析フィルタリングは、水平方向と垂直方向の両方について行われる。これにより、１つの階層の係数データ（画像データ）は、１階層分の分析フィルタリングにより４種類の成分に分割される。４種類の成分とは、すなわち、水平方向および垂直方向の両方について高域な成分（ＨＨ）、水平方向に高域で垂直方向に低域な成分（ＨＬ）、水平方向に低域で垂直方向に高域な成分（ＬＨ）、および、水平方向および垂直方向の両方について低域な成分（ＬＬ）である。各成分の集合を、それぞれサブバンドと称する。

ある階層において分析フィルタリングが行われて４つのサブバンドが生成された状態において、次の（１つ上位の）階層の分析フィルタリングは、その生成された４つのサブバンドのうち、水平方向および垂直方向の両方について低域な成分（ＬＬ）に対して行われる。

このように分析フィルタリングが再帰的に繰り返されることにより、空間周波数の低い帯域の係数データは、より小さな領域（低域成分）に追い込まれる。したがって、このようにウェーブレット変換された係数データを符号化するようにすることにより、効率的な符号化が可能となる。

図２は、分析フィルタリングを４回繰り返すことにより、分割レベル４までの１３個のサブバンド（１ＬＨ，１ＨＬ，１ＨＨ，２ＬＨ，２ＨＬ，２ＨＨ，３ＬＨ，３ＨＬ，３ＨＨ，４ＬＬ，４ＬＨ，４ＨＬ，４ＨＨ）に分割された係数データの構成を示している。

［ラインブロック］
次に、ラインブロックについて説明する。図３は、ラインブロックを説明する図である。ウェーブレット変換における分析フィルタリングは、処理対象となる２ラインの画像データまたは係数データから、１階層上の４つのサブバンドの係数データを１ラインずつ生成する。

したがって、例えば、分割レベル数が４の場合、図３の斜線部分で示されるように、最上位階層である分割レベル４の各サブバンドの係数データを１ラインずつ得るためには、サブバンド３ＬＬの係数データが２ライン必要である。

サブバンド３ＬＬを２ライン得る、すなわち、分割レベル３の各サブバンドの係数データを２ラインずつ得るためには、サブバンド２ＬＬの係数データが４ライン必要である。

サブバンド２ＬＬを４ライン得る、すなわち、分割レベル２の各サブバンドの係数データを４ラインずつ得るためには、サブバンド１ＬＬの係数データが８ライン必要である。

サブバンド１ＬＬを８ライン得る、すなわち、分割レベル１の各サブバンドの係数データを８ラインずつ得るためには、ベースバンドの係数データが１６ライン必要である。

つまり、分割レベル４の各サブバンドの係数データを１ラインずつ得るためには、１６ラインのベースバンドの画像データが必要になる。

この最低域成分のサブバンド（図３の例の場合４ＬＬ）の１ライン分の係数データを生成するために必要なライン数の画像データを、ラインブロック（またはプレシンクト）と称する。

例えば、分割レベル数がＮの場合、最低域成分のサブバンドの１ライン分の係数データを生成するためには、ベースバンドの画像データが２のＮ乗ライン必要になる。これがラインブロックのライン数である。

なお、ラインブロックは、その１ラインブロックの画像データをウェーブレット変換して得られる各サブバンドの係数データの集合のことも示す。

また、ラインとは、フレーム画像（ピクチャ）の１列分の水平方向の画素列や、サブバンドの１列分の水平方向の係数列のことを示す。この１ライン分の係数データを係数ラインとも称する。また、１ライン分の画像データを画像ラインとも称する。以下において、より詳細に区別して説明する必要がある場合、適宜表現を変える。

また、１係数ライン（１ライン分の係数データ）が符号化された１ライン分の符号化データを符号ラインとも称する。

ウェーブレット変換部１１は、画像データ（若しくは係数データ）を２ラインずつ分析フィルタリングするが、このとき、できるだけ低遅延に処理を行うような順序で、その２ラインを選択する。

より具体的に説明すると、ウェーブレット変換部１１は、より上位の（より低域の）サブバンドの係数データをできるだけ優先的に生成するような順序で画像データ若しくは係数データを２ラインずつ選択し、分析フィルタリングする。

［５×３分析フィルタ］
次に、分析フィルタリングについて説明する。

ウェーブレット変換処理は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクを用いて行われる。

このウェーブレット変換の具体的な例として、５×３フィルタを用いる方法について説明する。

５×３フィルタのインパルス応答（Ｚ変換表現）は、次の式（１）および式（２）に示すように、低域フィルタＨ０（ｚ）と、高域フィルタＨ１（ｚ）とから構成される。式（１）および式（２）から、低域フィルタＨ０（ｚ）は、５タップで、高域フィルタＨ１（ｚ）は、３タップであることが分かる。

Ｈ₀（ｚ）＝（−１＋２ｚ^-1＋６ｚ^-2＋２ｚ^-3−ｚ^-4）/８ ・・・（１）
Ｈ₁（ｚ）＝（−１＋２ｚ^-1−ｚ^-2）/２ ・・・（２）

これら式（１）および式（２）によれば、低域成分および高域成分の係数を、直接的に算出することができる。ここで、リフティング(Lifting)技術を用いることで、フィルタ処理の計算を減らすことができる。

図４は、５×３フィルタをリフティング表現した図である。図中、最上部の一列が入力信号列である。データ処理は画面上から下方向に流れ、以下の式（３）および式（４）により、高域成分の係数（高域係数）と、低域成分の係数（低域係数）とが出力される。

ｄ_i ¹＝ｄ_i ⁰−１／２（ｓ_i ⁰＋ｓ_i+1 ⁰） ・・・（３）
ｓ_i ¹＝ｓ_i ⁰＋１／４（ｄ_i-1 ¹＋ｄ_i ¹） ・・・（４）

［リフティング演算］
次に、このリフティング演算について説明する。図５は、５×３分析フィルタを用いて、縦方向のラインに対して行われるフィルタリングをリフティング表現した図である。

横方向は、演算過程とそれによって生成される低域・高域係数を図示したものである。図４の場合と照らし合わせて見れば水平が垂直に変わっただけであり、演算の方法は全く同様であることがわかる。

画像の上端においては、矢印５１に示されるように、Line-１から最上位ラインが点線の様に対称拡張され、１ラインが補填される。枠５２で示されるように、これとLine-0、Line-１の合計３ラインを用いてリフティング演算が行われ、Step-1の演算で係数ａが生成される。これは高域係数（Ｈ０）である。

Line-1,Line-2,Line-3が入力されると、この３ラインを用いて、式（３）により次の高域係数ａが算出される。これは高域係数（Ｈ１）である。そして、上記の１番目の高域係数ａ（Ｈ０）と２番目高域係数ａ（Ｈ１）、及びLine-1の係数の合計３つの係数を用いて、式（４）に従い計算すると係数ｂが生成される。これは低域係数（Ｌ１）である。つまり、枠５３で示されるように、Line-1,Line-2,Line-3の３ラインと、高域係数（Ｈ０）とを用いて、低域係数（Ｌ１）および高域係数（Ｈ１）が生成される。

その後、２ラインが入力される毎に、上記のリフティング演算が後続のラインに対しても同様に繰り返され、低域係数と高域係数とが出力される。そして、枠５４に示されるように、低域係数（Ｌ（Ｎ−１））および高域係数（Ｈ（Ｎ−１））が生成されると、高域係数（Ｈ（Ｎ−１））が矢印５５のように対称拡張され、枠５６のように演算が行われ、低域成分（Ｌ（Ｎ））が生成される。

なお、図５は垂直方向のラインに対してフィルタリングを行った例であるが、水平方向のフィルタリングの場合でも全く同様に考えることができる。

以上のリフティング演算は、各階層について行われる。ただし、分析フィルタリングは、上述したように、より低域な成分をより優先的に生成するような順序で行われる。図５を参照して説明した順序は、分析フィルタリングされるデータ間の依存関係を示すものであり、実際の処理実行順とは異なる。

［１ラインブロックの処理］
次に、この分析フィルタリングの実行手順について説明する。

処理対象の画像データ（係数データ）は、ピクチャ（サブバンド）の上のラインから順に処理される。分析フィルタリングのリフティング演算は、処理対象の画像データ（係数データ）が２ライン準備される毎に（つまり、実行可能となり次第）実行される。ただし、より低域のサブバンドを優先的に処理対象とする。

以下に説明するように、分析フィルタリングは、ラインブロック毎に同じ手順で繰り返し実行される。そこで、２ライン準備される毎に分析フィルタリングが実行されるラインブロック（定常状態のラインブロック）における分析フィルタリングの手順を以下に説明する。

なお、初期状態となるピクチャやサブバンドの上端を含むラインブロック（初期状態のラインブロック）においては、分析フィルタリングに必要なライン数が他のラインブロック（定常状態のラインブロック）と異なる。しかしながら、この初期状態のラインブロックの場合も、分析フィルタリングの処理手順は、基本的には他のラインブロックと同様のであるので、その説明は省略する。

図６は、定常状態における係数データの出力順を説明する図である。図６においては、ウェーブレット変換された係数データが、図中、上から下に向かう方向に時系列順に並べられている。

定常状態のラインブロックにおいて、まず、ベースバンドの画像データの、そのラインブロック内において上から２ラインが分析フィルタリングされ、分割レベル１のラインＬ（上からＬ番目の係数ライン）が生成される。１ライン分の係数データでは分析フィルタリングできないので、その次のタイミングにおいて、ベースバンドの画像データの次の２ラインが分析フィルタリングされ、分割レベル１のライン（Ｌ＋１）（上から（Ｌ＋１）番目の係数ライン）が生成される。

この時点で分割レベル１の係数データが２ライン分用意されたので、次に、その分割レベル１の係数データの２ラインに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のラインＭ（上からＭ番目の係数ライン）が生成される。しかしながら、１ライン分なので分割レベル２の分析フィルタリングはまだ実行できない。また、このとき、分割レベル１の係数データが用意されていないので、分割レベル１の分析フィルタリングも実行できない。

そこで、ベースバンドの画像データの次の２ラインが分析フィルタリングされ、分割レベル１のライン（Ｌ＋２）（上から（Ｌ＋２）番目の係数ライン）が生成される。１ライン分の係数データでは分析フィルタリングできないので、続いて、ベースバンドの画像データの次の２ラインが分析フィルタリングされ、分割レベル１のライン（Ｌ＋３）（上から（Ｌ＋３）番目の係数ライン）が生成される。

分割レベル１の係数データが２ライン分用意されたので、次に、その分割レベル１の係数データの２ラインに対して分割レベル１の分析フィルタリングが行われ、分割レベル２のライン（Ｍ＋１）（上から（Ｍ＋１）番目の係数ライン）が生成される。

すると、分割レベル２の係数データが２ライン分用意されたので、次に、その分割レベル２の係数データの２ラインに対して分割レベル２の分析フィルタリングが行われ、分割レベル３のラインＮ（上からＮ番目の係数ライン）が生成される。

以下、同様にして、分割レベル１のライン（Ｌ＋４）（上から（Ｌ＋４）番目の係数ライン）およびライン（Ｌ＋５）（上から（Ｌ＋５）番目の係数ライン）、分割レベル２のライン（Ｍ＋２）（上から（Ｍ＋２）番目の係数ライン）、分割レベル１のライン（Ｌ＋６）（上から（Ｌ＋６）番目の係数ライン）およびライン（Ｌ＋７）（上から（Ｌ＋７）番目の係数ライン）、分割レベル２のライン（Ｍ＋３）（上から（Ｍ＋３）番目の係数ライン）、並びに、分割レベル３のライン（Ｎ＋１）（上から（Ｎ＋１）番目の係数ライン）が、順次、生成される。

すると、分割レベル３の係数データが２ライン分用意されたので、次に、その分割レベル３の係数データの２ラインに対して分割レベル３の分析フィルタリングが行われ、分割レベル４のラインＰ（上からＰ番目の係数ライン）が生成される。

以上のように１ラインブロック分の分析フィルタリングが行われる。つまり、ラインブロック毎に、以上のような手順が繰り返される。

以上のような手順で生成された係数ラインは、上述したように、例えばウェーブレット逆変換処理順に並び替えられ、逆量子化されて、エントロピ符号化されて、符号化データとして出力される。

このように生成された符号化データは、例えばネットワーク等の通信路を介して復号装置に伝送されたり、記録媒体に記録され、その記録媒体を介して復号装置に供給されたりする。

この符号化データの復号装置への伝送方法は任意である。ただし、例えば所謂生中継のように、上述した符号化装置による画像データの符号化から復号装置による符号化データの復号までの処理全体をより低遅延に（リアルタイムに）行うことが求められる場合がある。そのためには、記録媒体を介して伝送させるよりも、ネットワーク等の通信路を介して伝送させるようにし、符号化処理と復号処理とを並行して行うことができるようにするのが望ましい。

ただし、符号化データを記録媒体に記録する場合であっても、復号装置が復号処理をより低遅延に行うことができるという効果を得ることができる。つまり、復号装置は、その記録媒体から符号化データを読み出して復号し、復号画像データを出力する処理をより低遅延に行うことができる。

［復号装置の構成］
図７は、本発明を適用した復号装置の主な構成例を示すブロック図である。

図７に示される復号装置１００は、図１の符号化装置１０に対応する装置である。復号装置１００は、図１の符号化装置１０が画像データを符号化して生成した符号化データを、符号化装置１０による符号化方法に対応する方法で復号し、復号画像データを得る。

図７に示されるように、復号装置１００は、エントロピ復号部１０１、逆量子化部１０２、制御部１０３、バッファ部１０４、ウェーブレット逆変換部１０５、および画像ライン出力部１０６を有する。

符号化データが入力されると（矢印１２１）、エントロピ復号部１０１は、供給された符号化データを、符号化装置１０のエントロピ符号化部１６による符号化方法に対応する復号方法で復号し、係数データ（量子化係数）を得る。エントロピ復号部１０１は、その係数データを逆量子化部１０２に供給する（矢印１２２）。

逆量子化部１０２は、その係数データを、符号化装置１０の量子化部１５による量子化方法に対応する方法で逆量子化し、得られた係数データ（ウェーブレット係数）をウェーブレット逆変換部１０５に供給する（矢印１２７）。

ウェーブレット逆変換部１０５は、その係数データに対して、符号化装置１０のウェーブレット変換部１１による分析フィルタリングに対応する方法で合成フィルタリングを行い、ベースバンドの復号画像データ（画像ライン）を生成する。ウェーブレット逆変換部１０５は、得られた画像ラインを、画像ライン出力部１０６に供給する（矢印１２９）。

画像ライン出力部１０６は、復号画像データの映像フォーマットの水平同期信号に合わせて、その画像ラインを出力する（矢印１３０）。

画像ライン出力部１０６から出力された復号画像データの画像を即時的（リアルタイムに）表示させる場合、画像ライン出力部１０６は、水平同期信号の間（水平同期期間）毎に１ラインずつ画像ラインを出力する必要がある。つまり、ウェーブレット逆変換部１０５は、画像ラインを、水平同期期間当たり１ラインのペースで画像ライン出力部１０６に供給する必要がある。

詳細については後述するが、ウェーブレット逆変換部１０５は、画像ラインを２ラインずつ生成する。したがって、実際には、ウェーブレット逆変換部１０５が、１つおきの水平同期期間毎に２ラインずつ画像ラインを画像ライン出力部１０６に供給する必要がある。

このようなタイミングでウェーブレット逆変換部１０５が画像ラインを生成するように、制御部１０３は、逆量子化部１０２の出力およびウェーブレット逆変換部１０５の動作を制御する。

なお、復号装置１００に供給される符号化データのレート（単位時間当たりの供給量）は、基本的に略一定であるので、逆量子化部１０２は、逆量子化結果の係数データをバッファ部１０４に一旦格納する（矢印１２５）。

制御部１０３は、逆量子化部１０２から供給される情報（矢印１２３）に基づいて、逆量子化部１０２を制御し（矢印１２４）、そのバッファ部１０４からの係数データの読み出し（矢印１２６）を制御する。

このようなタイミング制御により逆量子化部１０２からの出力（矢印１２７）が制御される。さらに、制御部１０３は、その制御に合わせてウェーブレット逆変換部１０５を動作させる（矢印１２８）。

逆量子化部１０２の出力のタイミング制御を説明する前に、ウェーブレット逆変換処理について説明する。

［５×３合成フィルタ］
ウェーブレット逆変換処理は、ウェーブレット変換処理により、階層的に構成される周波数成分毎の係数データを合成し、ベースバンドの画像データに戻す処理である。上述したように、ウェーブレット変換処理では、分析フィルタリングにより、画像データ若しくは係数データが空間周波数の高い成分（高域成分）と低い成分（低域成分）とに分割されるように説明したが、ウェーブレット逆変換処理ではその逆の処理が行われる。

つまり、高域成分と低域成分とに分割された係数データを合成する合成フィルタリングが各分割レベルにおいて実行される。したがって、ウェーブレット逆変換処理も、ウェーブレット変換処理に用いられたフィルタと同様のフィルタを用いて行われる。つまり、ウェーブレット変換において上述した例のように５×３フィルタ（分析フィルタ）が用いられた場合、ウェーブレット逆変換も５×３フィルタ（合成フィルタ）を用いて行われる。

図８は、この５×３合成フィルタをリフティング表現した図である。図中、最上部にウェーブレット変換により生成された入力係数が示される。データ処理は画面上から下方向に流れ、以下の式（５）および式（６）により、その入力された高域成分の係数（高域係数）と、低域成分の係数（低域係数）とから偶数番目（最初を０番目とする）の係数ｓ_i ⁰と奇数番目の係数ｄ_i ⁰が生成される。

ｓ_i ⁰＝ｓ_i ¹−１／４（ｄ_i-1 ¹＋ｄ_i ¹） ・・・（５）
ｄ_i ⁰＝ｄ_i ¹＋１／２（ｓ_i ⁰＋ｓ_i+1 ⁰） ・・・（６）

合成フィルタ側では、このようにして、フィルタリング処理により低域成分および高域成分の係数を合成し、ウェーブレット逆変換を行う。

［リフティング演算］
図９は、５×３合成フィルタを用いて、縦方向のラインに対してフィルタリングを行った場合の図である。横方向は、演算過程とそれによって生成される下位の係数を図示したものである。分析フィルタリングの場合と同様に、水平方向の処理も垂直方向の処理と同様に行われる。最初に垂直方向の合成フィルタリングが行われ、次に水平方向の合成フィルタリングが行われる。

画像の上端においては、枠１５１に示されるように、高域係数（Ｈ０）、低域係数（Ｌ１）、および高域係数（Ｈ１）が入力された時点で、リフティング演算が行われる。このとき、矢印１５２に示されるように、係数ａが対称拡張される。このようにして、１つ下位の階層のLine-0とLine-1が生成される。

次に、２係数ライン（低域成分Ｌ２と高域成分Ｈ２）が入力されると、枠１５３に示されるように、１つ下位の階層のLine-2とLine-3が生成される。

その後、２係数ラインが入力される毎に、枠１５４に示されるように、上記のリフティング演算が後続のラインに対しても同様に繰り返され、下位の係数ラインが２ライン出力される。そして、枠１５５に示されるように、入力された低域係数（Ｌ（Ｎ））および高域係数（Ｈ（Ｎ））に対してLine-2(N)-2とLine-2(N)-1が生成されると、高域係数（Ｈ（Ｎ））が矢印１５６のように対称拡張され、枠１５７のように演算が行われ、Line-2(N+1)-2とLine-2(N+1)-1が生成される。

なお、図９は垂直方向のラインに対してフィルタリングを行った例であるが、水平方向のフィルタリングの場合でも全く同様に考えることができる。

以上のリフティング演算は、各階層について行われる。ただし、合成フィルタリングは、より高域な成分をより優先的に生成するような順序で行われる。図９を参照して説明した順序は、合成フィルタリングされるデータ間の依存関係を示すものであり、実際の処理実行順とは異なる。

［１ラインブロックの処理］
次に、この合成フィルタリングの実行手順について図１０乃至図１２を参照して説明する。図１０乃至図１２において、丸で囲まれた数字は、ラインブロック内におけるラインの識別番号であり、本明細書においては、この識別番号を囲む丸は省略して説明する。また、ここでは分割レベル４でウェーブレット変換された係数に対するウェーブレット逆変換処理について説明する。

図１０に示されるように、最初に、最上位レベルである分割レベル４の各サブバンドの係数１ラインずつ（４ＬＬ／ＨＬ／ＬＨ／ＨＨ）について、１回目の合成フィルタリングが行われる（矢印Ｓ１）。この１回目の合成フィルタリングにより、分割レベル３の低域サブバンドの１ライン目の係数３ＬＬ１と、２ライン目の係数３ＬＬ２が生成される（矢印Ｓ２）。

次に、その１ライン目の係数３ＬＬ１と、新たに入力された分割レベル３の高域サブバンドの係数１ラインずつ（３ＨＬ／ＬＨ／ＨＨ）について、２回目の合成フィルタリングが行われる（矢印Ｓ３）。この２回目の合成フィルタリングにより、分割レベル２の低域サブバンドの１ライン目の係数２ＬＬ１と、２ライン目の係数２ＬＬ２が生成される（矢印Ｓ４）。

続いて、その１ライン目の係数２ＬＬ１と、新たに入力された分割レベル２の高域サブバンドの係数１ラインずつ（２ＨＬ／ＬＨ／ＨＨ）について、３回目の合成フィルタリングが行われる（矢印Ｓ５）。この３回目の合成フィルタリングにより、分割レベル１の低域サブバンドの１ライン目の係数１ＬＬ１と、２ライン目の係数１ＬＬ２が生成される（矢印Ｓ６）。

さらに、その１ライン目の係数１ＬＬ１と、新たに入力された分割レベル１の高域サブバンドの係数１ラインずつ（１ＨＬ／ＬＨ／ＨＨ）について、４回目の合成フィルタリングが行われる（矢印Ｓ７）。この４回目の合成フィルタリングにより、ベースバンドの１ライン目の画像データBase１と、２ライン目の画像データBase２が生成される（矢印Ｓ８）。

次に、５回目の合成フィルタリング行われる。これまでに生成された未処理の係数ラインのうち、最も下位レベルの係数ラインである分割レベル１の低域サブバンドの２ライン目の係数１ＬＬ２がその５回目の合成フィルタリングの対象とされる。

つまり、その分割レベル１の低域サブバンドの２ライン目の係数１ＬＬ２と、新たに入力された分割レベル１の高域サブバンドの係数１ラインずつ（１ＨＬ／ＬＨ／ＨＨ）について、５回目の合成フィルタリングが行われる（矢印Ｓ９）。この５回目の合成フィルタリングにより、ベースバンドの３ライン目の画像データBase３と、４ライン目の画像データBase４が生成される（矢印Ｓ１０）。

次に６回目の合成フィルタリングが行われる。これまでに生成された未処理の係数ラインのうち、最も下位レベルの係数ラインである分割レベル２の低域サブバンドの２ライン目の係数２ＬＬ２がその６回目の合成フィルタリングの対象とされる。

つまり、その分割レベル２の低域サブバンドの２ライン目の係数２ＬＬ２と、新たに入力された分割レベル２の高域サブバンドの係数１ラインずつ（２ＨＬ／ＬＨ／ＨＨ）について、６回目の合成フィルタリングが行われる（矢印Ｓ１１）。図１１に示されるように、この６回目の合成フィルタリングにより、分割レベル１の低域サブバンドの３ライン目の係数１ＬＬ３と、４ライン目の係数１ＬＬ４が生成される（矢印Ｓ１２）。

さらに、その分割レベル１の低域サブバンドの３ライン目の係数１ＬＬ３と、新たに入力された分割レベル１の高域サブバンドの係数１ラインずつ（１ＨＬ／ＬＨ／ＨＨ）について、７回目の合成フィルタリングが行われる（矢印Ｓ１３）。この７回目の合成フィルタリングにより、ベースバンドの５ライン目の画像データBase５と、６ライン目の画像データBase６が生成される（矢印Ｓ１４）。

次に８回目の合成フィルタリングが行われる。これまでに生成された未処理の係数ラインのうち、最も下位レベルの係数ラインである分割レベル１の低域サブバンドの４ライン目の係数１ＬＬ４がその８回目の合成フィルタリングの対象とされる。

つまり、その分割レベル１の低域サブバンドの４ライン目の係数１ＬＬ４と、新たに入力された分割レベル１の高域サブバンドの係数１ラインずつ（１ＨＬ／ＬＨ／ＨＨ）について、８回目の合成フィルタリングが行われる（矢印Ｓ１５）。この８回目の合成フィルタリングにより、ベースバンドの７ライン目の画像データBase７と、８ライン目の画像データBase８が生成される（矢印Ｓ１６）。

次に９回目の合成フィルタリングが行われる。これまでに生成された未処理の係数ラインのうち、最も下位レベルの係数ラインである分割レベル３の低域サブバンドの２ライン目の係数３ＬＬ２がその９回目の合成フィルタリングの対象とされる。

つまり、その分割レベル３の低域サブバンドの２ライン目の係数３ＬＬ２と、新たに入力された分割レベル３の高域サブバンドの係数１ラインずつ（３ＨＬ／ＬＨ／ＨＨ）について、９回目の合成フィルタリングが行われる（矢印Ｓ１７）。この９回目の合成フィルタリングにより、分割レベル２の低域サブバンドの３ライン目の係数２ＬＬ３と、４ライン目の係数２ＬＬ４が生成される（矢印Ｓ１８）。

続いて、その３ライン目の係数２ＬＬ３と、新たに入力された分割レベル２の高域サブバンドの係数１ラインずつ（２ＨＬ／ＬＨ／ＨＨ）について、１０回目の合成フィルタリングが行われる（矢印Ｓ１９）。この１０回目の合成フィルタリングにより、分割レベル１の低域サブバンドの５ライン目の係数１ＬＬ５と、６ライン目の係数１ＬＬ６が生成される（矢印Ｓ２０）。

さらに、その５ライン目の係数１ＬＬ５と、新たに入力された分割レベル１の高域サブバンドの係数１ラインずつ（１ＨＬ／ＬＨ／ＨＨ）について、１１回目の合成フィルタリングが行われる（矢印Ｓ２１）。図１２に示されるように、この１１回目の合成フィルタリングにより、ベースバンドの９ライン目の画像データBase９と、１０ライン目の画像データBase１０が生成される（矢印Ｓ２２）。

次に、１２回目の合成フィルタリング行われる。これまでに生成された未処理の係数ラインのうち、最も下位レベルの係数ラインである分割レベル１の低域サブバンドの６ライン目の係数１ＬＬ６がその１２回目の合成フィルタリングの対象とされる。

つまり、その分割レベル１の低域サブバンドの６ライン目の係数１ＬＬ６と、新たに入力された分割レベル１の高域サブバンドの係数１ラインずつ（１ＨＬ／ＬＨ／ＨＨ）について、１２回目の合成フィルタリングが行われる（矢印Ｓ２３）。この１２回目の合成フィルタリングにより、ベースバンドの１１ライン目の画像データBase１１と、１２ライン目の画像データBase１２が生成される（矢印Ｓ２４）。

次に１３回目の合成フィルタリングが行われる。これまでに生成された未処理の係数ラインのうち、最も下位レベルの係数ラインである分割レベル２の低域サブバンドの４ライン目の係数２ＬＬ４がその１３回目の合成フィルタリングの対象とされる。

つまり、その分割レベル２の低域サブバンドの４ライン目の係数２ＬＬ４と、新たに入力された分割レベル２の高域サブバンドの係数１ラインずつ（２ＨＬ／ＬＨ／ＨＨ）について、１３回目の合成フィルタリングが行われる（矢印Ｓ２５）。この１３回目の合成フィルタリングにより、分割レベル１の低域サブバンドの７ライン目の係数１ＬＬ７と、８ライン目の係数１ＬＬ８が生成される（矢印Ｓ２６）。

さらに、その分割レベル１の低域サブバンドの７ライン目の係数１ＬＬ７と、新たに入力された分割レベル１の高域サブバンドの係数１ラインずつ（１ＨＬ／ＬＨ／ＨＨ）について、１４回目の合成フィルタリングが行われる（矢印Ｓ２７）。この１４回目の合成フィルタリングにより、ベースバンドの１３ライン目の画像データBase１３と、１４ライン目の画像データBase１４が生成される（矢印Ｓ２８）。

次に１５回目の合成フィルタリングが行われる。これまでに生成された未処理の係数ラインのうち、最も下位レベルの係数ラインである分割レベル１の低域サブバンドの８ライン目の係数１ＬＬ８がその１５回目の合成フィルタリングの対象とされる。

つまり、その分割レベル１の低域サブバンドの８ライン目の係数１ＬＬ８と、新たに入力された分割レベル１の高域サブバンドの係数１ラインずつ（１ＨＬ／ＬＨ／ＨＨ）について、１５回目の合成フィルタリングが行われる（矢印Ｓ２９）。この１５回目の合成フィルタリングにより、ベースバンドの１５ライン目の画像データBase１５と、１６ライン目の画像データBase１６が生成される（矢印Ｓ３０）。

以上が１ラインブロック分の合成フィルタリングの手順である。以上のような手順で合成フィルタリングが繰り返し実行されることにより、１ラインブロック分のベースバンドの画像データ（１６ライン）が生成される。

次のラインブロックについては、上述したのと同様に処理が繰り返される（矢印Ｓ３１）。

復号画像データの水平同期信号に合わせて画像ラインを出力させるためには、ベースバンドの画像ラインの生成タイミング、すなわち、合成フィルタリングのタイミングを制御する必要がある。

特に、上述したような手順においては、図１０乃至図１２に示されるように、ベースバンドの画像ラインを２ライン生成するために必要な合成フィルタリングの回数が変化する。具体的には、画像ラインは、４回目、５回目、７回目、８回目、１１回目、１２回目、１４回目、および１５回目の合成フィルタリングにより生成される。

つまり、最初の２ラインを生成するためには４回の合成フィルタリングが必要であるのに対して、その次の２ラインを生成するためには１回の合成フィルタリングのみでよい。以下も同様に合成フィルタリングの回数が変化する。

したがって、復号装置１００が、供給される符号ラインを、無計画に処理して得られた係数ラインを順次合成フィルタリングすると、ベースバンドの画像ラインの生成タイミングに大きな偏りが生じ、復号画像データの水平同期信号に応じた画像ライン出力が困難になる恐れがある。

そこで、制御部１０３は、ウェーブレット逆変換部１０５が、ベースバンドの画像ラインを、その水平同期信号の間の１つおき（水平同期期間の１つおき）毎に１回（２ライン）生成するように、逆量子化部１０２およびウェーブレット逆変換部１０５を制御する。

なお、水平同期期間の長さは、画像の垂直解像度やフレームレートに依存するものであり、映像フォーマットの１つとして定義される。したがって、制御部１０３は、処理する係数データ（復号画像データ）の映像フォーマットに従って制御を行う。

また、詳細については後述するが、ウェーブレット逆変換部１０５への係数ラインの入力タイミングは、バッファ部１０４を用いて調整される。したがって、制御部１０３は、そのバッファ部１０４におけるオーバフローやアンダーフローの発生を抑制するように制御を行う。

特に、そのオーバフローやアンダーフローの発生のしやすさは、処理する係数データ（復号画像データ）の映像フォーマットによって異なる。したがって、制御部１０３は、その映像フォーマットに従って制御を行う。

以下に、その制御について説明する。

［制御部および逆量子化部の構成］
図１３は、図７の逆量子化部１０２および制御部１０３の主な構成例を示すブロック図である。

図１３に示されるように、逆量子化部１０２は、逆量子化演算部２０１および入出力部２０２を有する。逆量子化演算部２０１は、入力された量子化係数（矢印１２２）に対して逆量子化演算を行う。逆量子化された係数データは、入出力部２０２に供給される（矢印２５１）。

入出力部２０２は、バッファ部１０４のインタフェースとして動作し、逆量子化演算部２０１から供給された逆量子化結果である係数データを、バッファ部１０４に書き込んだり（矢印１２５）、バッファ部１０４から読み出したりする（矢印１２６）。入出力部２０２は、制御部１０３に制御されて動作する（矢印１２３−１、矢印１２３−２、矢印１２４−１、および矢印１２４−２）。

入出力部２０２は、書き込み部２１１、入力データ量カウント部２１２、出力データ量カウント部２１３、および読み出し部２１４を有する。

書き込み部２１１は、逆量子化演算部２０１から供給される係数データをバッファ部１０４に供給し、格納する（矢印１２５）。

また、書き込み部２１１は、その係数データの映像フォーマットを、例えばその係数データのヘッダ等、任意のところから取得すると、その映像フォーマットの情報を制御部１０３に供給する（矢印１２３−１）。

さらに、書き込み部２１１は、バッファ部１０４に書き込んだ係数データを入力データ量カウント部２１２にも供給する（矢印２６１）。

入力データ量カウント部２１２は、書き込み部２１１から供給された係数データのデータ量をカウントする。入力データ量カウント部２１２は、そのカウント値を制御部１０３に供給する（１２３−２）。

読み出し部２１４は、制御部１０３に制御されて（矢印１２４−１）、バッファ部１０４から係数データを読み出し（矢印１２６）、それをウェーブレット逆変換部１０５に供給する（矢印１２７）。

また、読み出し部２１４は、バッファ部１０４から読み出した係数データを出力データ量カウント部２１３に供給する。

出力データ量カウント部２１３は、読み出し部２１４から供給された係数データのデータ量をカウントする。出力データ量カウント部２１３は、そのカウント値を制御部１０３に供給する（１２４−２）。

制御部１０３は、フォーマット判定部２２１、読み出し開始タイミング制御部２２２、読み出し制御部２２３、ウェーブレット逆変換制御部２２４、およびバッファ制御部２２５を有する。

フォーマット判定部２２１は、逆量子化部１０２から供給された映像フォーマットの情報（矢印１２３−１）に基づいて、処理対象の係数ライン（復号画像データ）の映像フォーマットがどのような特徴を有するかを判定する。

例えば、フォーマット判定部２２１は、画像信号の水平同期期間や水平ブランク期間の長さを判定する。

例えば、図１４に示されるように、有効水平サイズ１９２０サンプル、有効垂直ライン数１０８０本、毎秒６０フィールドの飛び越し走査方式（１９２０×１０８０＠６０ｉ）の画像の場合、水平サイズ（水平同期期間）は２２００サンプルとなり、有効水平サイズは１９２０サンプルとなる。この場合、Ｈブランク値（水平ブランク期間）は２８０サンプルである。

また、例えば、図１４に示されるように、有効水平サイズ１２８０サンプル、有効垂直ライン数７２０本、毎秒２４フィールドの順次走査方式（１２８０×７２０＠２４ｐ）の画像の場合、水平サイズ（水平同期期間）は４１２５サンプルとなり、有効水平サイズは１２８０サンプルとなる。この場合、Ｈブランク値（水平ブランク期間）は２８４５サンプルである。

例えば図１５に示されるように、水平同期信号３０１のパルス間（水平同期信号の間とも称する）の期間である水平同期期間３１１には、表示可能領域に含まれる水平表示領域の前後に水平ブランク期間３１２−１および水平ブランク期間３１２−２が設けられている。以下において、水平ブランク期間３１２−１および水平ブランク期間３１２−２を互いに区別して説明する必要が無い場合、単に水平ブランク期間３１２と称する。

したがって、画像表示においては、画像信号１ラインが表示された後に、水平ブランク期間３１２が存在し、その後次のラインが表示される。

なお、垂直同期信号３０２も同様に構成されており、垂直同期信号３０２のパルス間（垂直同期信号の間とも称する）の期間である垂直同期期間３２１には、表示可能領域に含まれる垂直表示領域の前後に垂直ブランク期間３２２−１および垂直ブランク期間３２２−２が設けられている。以下において、垂直ブランク期間３２２−１および垂直ブランク期間３２２−２を互いに区別して説明する必要が無い場合、単に垂直ブランク期間３２２と称する。

ここで重要なことは、画像ライン出力部１０６が、各水平同期期間内にベースバンドの画像ラインを１ライン出力することができるようにする必要があるということである。そのためには、ウェーブレット逆変換部１０５が、ベースバンドの画像データを、水平同期期間１つおきに、２ラインずつ出力するように合成フィルタリングを行う必要がある。

図１３に戻り、フォーマット判定部２２１は、このような映像フォーマットの特徴の判定結果を読み出し制御部２２３およびウェーブレット逆変換制御部２２４に通知する（矢印２５４および矢印２５５）。

読み出し制御部２２３は、その判定結果に基づいて読み出し部２１４を制御し、ウェーブレット逆変換部１０５がベースバンドの画像データを水平同期期間１つおきに２ラインずつ出力することができるようなタイミングで、係数データをバッファ部１０４から読み出させ、ウェーブレット逆変換部１０５に供給させる。

ウェーブレット逆変換制御部２２４は、ウェーブレット逆変換部１０５を制御し、その係数データの供給タイミングに合わせて合成フィルタリングを実行させる。

合成フィルタリングが図１０乃至図１２を参照して説明した手順で行われる場合について、１ラインブロック分の制御をより具体的に説明する。なお、以下において係数ラインや画像ラインの順番（何番目のラインであるか）はラインブロックの先頭を基準として説明する。

ラインブロックの最初の水平同期期間が開始されると、読み出し制御部２２３は、読み出し部２１４を制御し、所定のタイミングにおいて、サブバンド４ＬＬ、４ＨＬ、４ＬＨ、および４ＨＨの係数ラインを１ラインずつバッファ部１０４から読み出させ、ウェーブレット逆変換部１０５に供給させる。ウェーブレット逆変換制御部２２４は、供給されたこれらの係数ラインを用いて、図１０の矢印Ｓ１に示される合成フィルタリングを行い、サブバンド３ＬＬの係数ラインを２ライン生成する。

次に、読み出し制御部２２３は、読み出し部２１４を制御し、所定のタイミングにおいて、サブバンド３ＨＬ、３ＬＨ、および３ＨＨの１番目の係数ラインをバッファ部１０４から読み出させ、ウェーブレット逆変換部１０５に供給させる。ウェーブレット逆変換制御部２２４は、生成したサブバンド３ＬＬの１番目の係数ラインと、供給されたこれらの係数ラインを用いて、図１０の矢印Ｓ３に示される合成フィルタリングを行い、サブバンド２ＬＬの係数ラインを２ライン生成する。

次に、読み出し制御部２２３は、読み出し部２１４を制御し、所定のタイミングにおいて、サブバンド２ＨＬ、２ＬＨ、および２ＨＨの１番目の係数ラインをバッファ部１０４から読み出させ、ウェーブレット逆変換部１０５に供給させる。ウェーブレット逆変換制御部２２４は、生成したサブバンド２ＬＬの１番目の係数ラインと、供給されたこれらの係数ラインを用いて、図１０の矢印Ｓ５に示される合成フィルタリングを行い、サブバンド１ＬＬの係数ラインを２ライン生成する。

次に、読み出し制御部２２３は、読み出し部２１４を制御し、所定のタイミングにおいて、サブバンド１ＨＬ、１ＬＨ、および１ＨＨの１番目の係数ラインをバッファ部１０４から読み出させ、ウェーブレット逆変換部１０５に供給させる。ウェーブレット逆変換制御部２２４は、生成したサブバンド１ＬＬの１番目の係数ラインと、供給されたこれらの係数ラインを用いて、図１０の矢印Ｓ７に示される合成フィルタリングを行い、ベースバンドの画像ラインを２ライン生成する。

読み出し制御部２２３およびウェーブレット逆変換制御部２２４は、このような制御を、ウェーブレット逆変換部１０５が４回合成フィルタリングを行い、ラインブロックの最初の水平同期期間にベースバンドの画像ラインを２ライン生成するようなタイミングで行う。

画像ライン出力部１０６は、その最初の水平同期期間と、２番目の水平同期期間において、その生成された２ラインを出力する。

以上のように係数ラインを読み出すと、読み出し制御部２２３は、読み出し部２１４を制御し、さらに、所定のタイミングにおいて、サブバンド１ＨＬ、１ＬＨ、および１ＨＨの２番目の係数ラインをバッファ部１０４から読み出させ、ウェーブレット逆変換部１０５に供給させる。ウェーブレット逆変換制御部２２４は、生成したサブバンド１ＬＬの２番目の係数ラインと、供給されたこれらの係数ラインを用いて、図１０の矢印Ｓ９に示される合成フィルタリングを行い、ベースバンドの画像ラインを２ライン生成する。

読み出し制御部２２３およびウェーブレット逆変換制御部２２４は、このような制御を、ウェーブレット逆変換部１０５が１回合成フィルタリングを行い、３番目の水平同期期間にベースバンドの画像ラインを２ライン生成するようなタイミングで行う。

画像ライン出力部１０６は、３番目の水平同期期間と４番目の水平同期期間において、その生成された２ラインを出力する。

以上のように係数ラインを読み出すと、読み出し制御部２２３は、読み出し部２１４を制御し、さらに、所定のタイミングにおいて、サブバンド２ＨＬ、２ＬＨ、および２ＨＨの２番目の係数ラインをバッファ部１０４から読み出させ、ウェーブレット逆変換部１０５に供給させる。ウェーブレット逆変換制御部２２４は、生成したサブバンド２ＬＬの２番目の係数ラインと、供給されたこれらの係数ラインを用いて、図１０の矢印Ｓ１１に示される合成フィルタリングを行い、サブバンド１ＬＬの係数ラインを２ライン生成する。

次に、読み出し制御部２２３は、読み出し部２１４を制御し、所定のタイミングにおいて、サブバンド１ＨＬ、１ＬＨ、および１ＨＨの３番目の係数ラインをバッファ部１０４から読み出させ、ウェーブレット逆変換部１０５に供給させる。ウェーブレット逆変換制御部２２４は、生成したサブバンド１ＬＬの３番目の係数ラインと、供給されたこれらの係数ラインを用いて、図１１の矢印Ｓ１３に示される合成フィルタリングを行い、ベースバンドの画像ラインを２ライン生成する。

読み出し制御部２２３およびウェーブレット逆変換制御部２２４は、このような制御を、ウェーブレット逆変換部１０５が２回合成フィルタリングを行い、５番目の水平同期期間にベースバンドの画像ラインを２ライン生成するようなタイミングで行う。

画像ライン出力部１０６は、５番目の水平同期期間と６番目の水平同期期間において、その生成された２ラインを出力する。

以上のように係数ラインを読み出すと、読み出し制御部２２３は、読み出し部２１４を制御し、さらに、所定のタイミングにおいて、サブバンド１ＨＬ、１ＬＨ、および１ＨＨの４番目の係数ラインをバッファ部１０４から読み出させ、ウェーブレット逆変換部１０５に供給させる。ウェーブレット逆変換制御部２２４は、生成したサブバンド１ＬＬの４番目の係数ラインと、供給されたこれらの係数ラインを用いて、図１１の矢印Ｓ１５に示される合成フィルタリングを行い、ベースバンドの画像ラインを２ライン生成する。

読み出し制御部２２３およびウェーブレット逆変換制御部２２４は、このような制御を、ウェーブレット逆変換部１０５が１回合成フィルタリングを行い、７番目の水平同期期間にベースバンドの画像ラインを２ライン生成するようなタイミングで行う。

画像ライン出力部１０６は、７番目の水平同期期間と８番目の水平同期期間において、その生成された２ラインを出力する。

以上のように係数ラインを読み出すと、読み出し制御部２２３は、読み出し部２１４を制御し、さらに、所定のタイミングにおいて、サブバンド３ＨＬ、３ＬＨ、および３ＨＨの２番目の係数ラインをバッファ部１０４から読み出させ、ウェーブレット逆変換部１０５に供給させる。ウェーブレット逆変換制御部２２４は、生成したサブバンド３ＬＬの２番目の係数ラインと、供給されたこれらの係数ラインを用いて、図１１の矢印Ｓ１７に示される合成フィルタリングを行い、サブバンド２ＬＬの係数ラインを２ライン生成する。

次に、読み出し制御部２２３は、読み出し部２１４を制御し、所定のタイミングにおいて、サブバンド２ＨＬ、２ＬＨ、および２ＨＨの３番目の係数ラインをバッファ部１０４から読み出させ、ウェーブレット逆変換部１０５に供給させる。ウェーブレット逆変換制御部２２４は、生成したサブバンド２ＬＬの３番目の係数ラインと、供給されたこれらの係数ラインを用いて、図１１の矢印Ｓ１９に示される合成フィルタリングを行い、ベースバンドの画像ラインを２ライン生成する。

次に、読み出し制御部２２３は、読み出し部２１４を制御し、所定のタイミングにおいて、サブバンド１ＨＬ、１ＬＨ、および１ＨＨの５番目の係数ラインをバッファ部１０４から読み出させ、ウェーブレット逆変換部１０５に供給させる。ウェーブレット逆変換制御部２２４は、生成したサブバンド１ＬＬの５番目の係数ラインと、供給されたこれらの係数ラインを用いて、図１１の矢印Ｓ２１に示される合成フィルタリングを行い、ベースバンドの画像ラインを２ライン生成する。

読み出し制御部２２３およびウェーブレット逆変換制御部２２４は、このような制御を、ウェーブレット逆変換部１０５が３回合成フィルタリングを行い、９番目の水平同期期間にベースバンドの画像ラインを２ライン生成するようなタイミングで行う。

画像ライン出力部１０６は、９番目の水平同期期間と１０番目の水平同期期間において、その生成された２ラインを出力する。

以上のように係数ラインを読み出すと、読み出し制御部２２３は、読み出し部２１４を制御し、さらに、所定のタイミングにおいて、サブバンド１ＨＬ、１ＬＨ、および１ＨＨの６番目の係数ラインをバッファ部１０４から読み出させ、ウェーブレット逆変換部１０５に供給させる。ウェーブレット逆変換制御部２２４は、生成したサブバンド１ＬＬの６番目の係数ラインと、供給されたこれらの係数ラインを用いて、図１２の矢印Ｓ２３に示される合成フィルタリングを行い、ベースバンドの画像ラインを２ライン生成する。

読み出し制御部２２３およびウェーブレット逆変換制御部２２４は、このような制御を、ウェーブレット逆変換部１０５が１回合成フィルタリングを行い、１１番目の水平同期期間にベースバンドの画像ラインを２ライン生成するようなタイミングで行う。

画像ライン出力部１０６は、１１番目の水平同期期間と１２番目の水平同期期間において、その生成された２ラインを出力する。

以上のように係数ラインを読み出すと、読み出し制御部２２３は、読み出し部２１４を制御し、さらに、所定のタイミングにおいて、サブバンド２ＨＬ、２ＬＨ、および２ＨＨの４番目の係数ラインをバッファ部１０４から読み出させ、ウェーブレット逆変換部１０５に供給させる。ウェーブレット逆変換制御部２２４は、生成したサブバンド２ＬＬの４番目の係数ラインと、供給されたこれらの係数ラインを用いて、図１２の矢印Ｓ２５に示される合成フィルタリングを行い、サブバンド１ＬＬの係数ラインを２ライン生成する。

次に、読み出し制御部２２３は、読み出し部２１４を制御し、所定のタイミングにおいて、サブバンド１ＨＬ、１ＬＨ、および１ＨＨの７番目の係数ラインをバッファ部１０４から読み出させ、ウェーブレット逆変換部１０５に供給させる。ウェーブレット逆変換制御部２２４は、生成したサブバンド１ＬＬの７番目の係数ラインと、供給されたこれらの係数ラインを用いて、図１２の矢印Ｓ２７に示される合成フィルタリングを行い、ベースバンドの画像ラインを２ライン生成する。

読み出し制御部２２３およびウェーブレット逆変換制御部２２４は、このような制御を、ウェーブレット逆変換部１０５が２回合成フィルタリングを行い、１３番目の水平同期期間にベースバンドの画像ラインを２ライン生成するようなタイミングで行う。

画像ライン出力部１０６は、１３番目の水平同期期間と１４番目の水平同期期間において、その生成された２ラインを出力する。

以上のように係数ラインを読み出すと、読み出し制御部２２３は、読み出し部２１４を制御し、さらに、所定のタイミングにおいて、サブバンド１ＨＬ、１ＬＨ、および１ＨＨの８番目の係数ラインをバッファ部１０４から読み出させ、ウェーブレット逆変換部１０５に供給させる。ウェーブレット逆変換制御部２２４は、生成したサブバンド１ＬＬの８番目の係数ラインと、供給されたこれらの係数ラインを用いて、図１２の矢印Ｓ２９に示される合成フィルタリングを行い、ベースバンドの画像ラインを２ライン生成する。

読み出し制御部２２３およびウェーブレット逆変換制御部２２４は、このような制御を、ウェーブレット逆変換部１０５が１回合成フィルタリングを行い、１５番目の水平同期期間にベースバンドの画像ラインを２ライン生成するようなタイミングで行う。

画像ライン出力部１０６は、１５番目の水平同期期間と１６番目の水平同期期間において、その生成された２ラインを出力する。

以上のように、読み出し制御部２２３およびウェーブレット逆変換制御部２２４が、映像フォーマットの特徴に基づいて制御を行うことにより、ウェーブレット逆変換部１０５は、水平同期期間１つおきに、ベースバンドの画像データを２ラインずつ出力することができる。これにより、画像ライン出力部１０６は、水平同期期間毎にベースバンドの画像データを１ラインずつ出力することができる。つまり、実現可能な映像フォーマットであればどのようなものであっても、画像表示等の、復号画像データの即時的な（リアルタイムな）利用が可能になる。

このように復号装置１００は、映像フォーマットに依らず、より低遅延な復号処理を実現することができる。

なお、画像ライン出力部１０６は、バッファを内蔵し、ウェーブレット逆変換部１０５から２ラインずつ供給される画像ラインを、そのバッファを用いて、１ラインずつ出力させる。このバッファ量を増やし、３ライン以上の画像ラインを蓄積することができるようにすれば、ウェーブレット逆変換処理の遅延に対応することができるようになるが、メモリ量増大により製造コストの増大や遅延時間の増大を招く恐れがある。

これに対して、復号装置１００は、上述したように制御を行うことにより、このようなメモリ量の増大を抑制しつつ、より低遅延な復号処理を実現することができる。

また、図１４の表からわかるように、水平ブランク期間の長さは、画像の解像度やフレームレートに依存する。つまり、水平ブランク期間の長さは映像フォーマット毎に設定されるものであり、映像フォーマットが互いに異なる画像データ同士では、水平ブランク期間の長さが互いに異なることもある。

例えば、１９２０×１０８０＠６０ｉの画像の場合、Ｈブランク値は２８０サンプルであるのに対して、１２８０×７２０＠２４０ｐの画像の場合、Ｈブランク値は２８４５サンプルである。

この水平ブランク期間の長さは、復号処理の余裕度を示す。つまり、水平ブランク期間が長いほど、水平同期期間の長さ（水平サイズ）に対して、その水平同期期間内に処理する必要があるサンプル数が少ない（有効水平サイズが小さい）ことを示す。つまり、復号処理の余裕度（Ｈブランク値）が大きくなる。逆に、水平ブランク期間が短いほど、水平同期期間の長さ（水平サイズ）に対して、その水平同期期間内に処理する必要があるサンプル数が多い（有効水平サイズが大きい）ことを示す。つまり、復号処理の余裕度（Ｈブランク値）は小さくなる。

この余裕度が大きいほど、合成フィルタリングの実行タイミングの自由度は大きくなる。例えば、一般的に、長さ１０の期間に長さ１の処理を１０回行う場合、略余裕が無く、常に各処理を実行する必要があるが、長さ１０の期間に長さ２の処理を２回行えばよい場合、より多様なタイミングからその処理を開始することができる。

この自由度の範囲内であれば、基本的に、時間的に後から処理を開始する方が、バッファ部１０４に係数データを蓄積させる時間が確保されるので、有利である。つまり、水平同期期間の長さが同じであっても、水平ブランク期間の長さによって、バッファ部１０４からの係数データの最適な読み出し開始タイミングが異なる。

そこで、フォーマット判定部２２１は、映像フォーマットの特徴の判定結果を読み出し開始タイミング制御部２２２に供給する（図１３の矢印２５２）。

読み出し開始タイミング制御部２２２は、係数データの読み出しを開始するタイミングを、その判定結果に示される水平ブランク期間の長さに応じて調整し、それを読み出し制御部２２３に通知する（矢印２５３）。

例えば、水平ブランク期間が長い場合、読み出し開始タイミング制御部２２２は、係数データの読み出しを開始するタイミングを、なるべく時間的後に設定する。また、逆に、水平ブランク期間が短い場合、読み出し開始タイミング制御部２２２は、係数データの読み出しを開始するタイミングを、なるべく時間的前に設定する。

読み出し制御部２２３は、読み出し部２１４を制御し、その読み出し開始タイミングから係数データの読み出しを開始させる。

このようにすることにより、読み出し制御部２２３は、水平ブランク期間の長さに応じて、より適切なタイミングで係数データの読み出しを行わせるようにすることができる。

なお、読み出し開始タイミング制御部２２２が、読み出し制御部２２３を介さずに読み出し部２１４を制御するようにしてもよい。ただし、その場合、読み出し制御部２２３も、その後の読み出し制御のために、読み出し開始タイミング制御部２２２が係数データを読み出させたことを把握する必要がある。

さらに、上述したような読み出し制御部２２３の制御により、読み出し部２１４が読み出す係数データの量が水平同期期間毎に変化する。このため、映像フォーマットによっては、バッファ部１０４においてオーバフローやアンダーフローが発生する場合があることも考えられる。

そこで、バッファ制御部２２５は、入力データ量カウント部２１２から供給されるカウント値（入力データ量）と、出力データ量カウント部２１３から供給されるカウント値（出力データ量）とに基づいて、バッファ部１０４に蓄積されているデータ量（バッファ量）を管理し、バッファ部１０４においてオーバフローやアンダーフローが発生しないように、バッファ部１０４からの係数データの読み出しを制御する。

つまり、バッファ制御部２２５は、入力データ量と出力データ量とからバッファ量を算出し、オーバフローが発生しそうな場合、読み出し制御部２２３を制御し（矢印２５８）、本来の読み出しタイミングでなくても、読み出し部２１４に係数データの読み出しを直ちに実行させる。

また、バッファ制御部２２５は、バッファ部１０４においてアンダーフローが発生しそうな場合、読み出し制御部２２３を制御し（矢印２５８）、本来の読み出しタイミングであっても、読み出し部２１４に係数データを読み出させないようにする。

図１３に示されるように、バッファ制御部２２５は、バッファ量演算部２３１、バッファ量判定部２３２、および読み出し調整部２３３を有する。

バッファ量演算部２３１は、入力データ量や出力データ量のカウント値に基づいてバッファ部１０４に蓄積されている係数データのデータ量を示すバッファ量を算出する。

バッファ量判定部２３２は、バッファ量演算部２３１により算出されたバッファ量が予め定められた所定の閾値（許容値）に対して大きいか小さいかを判定する。この閾値（許容値）には、オーバフローの発生を抑制するための閾値、すなわち、バッファ量の許容範囲の上限を示す許容値と、アンダーフローの発生を抑制するための閾値、すなわち、バッファ量の許容範囲の下限を示す許容値とがある。

読み出し調整部２３３は、その判定結果に基づいて、バッファ量調整のために、バッファ部１０４からの係数データの読み出しを実行させる。

例えば、バッファ量が、許容範囲の上限を示す許容値より大きくなった場合、オーバフローの発生の恐れがあるので、読み出し調整部２３３は、読み出し制御部２２３を制御し、読み出し部２１４に直ちに係数データを読み出させる。

また、例えば、バッファ量が、許容範囲の下限を示す許容値より小さくなった場合、アンダーフローの発生の恐れがあるので、読み出し調整部２３３は、読み出し制御部２２３を制御し、読み出し部２１４が係数データを読み出させないようにする。

このようにバッファ制御部２２５は、バッファ部１０４からの読み出しを制御することによりバッファ部１０４のバッファ量を制御する。これにより、バッファ部１０４におけるオーバフローやアンダーフローの発生を抑制することができる。これにより、復号装置１００は、より低遅延な復号処理を実現することができる。

なお、読み出し調整部２３３が、読み出し制御部２２３を介さずに、読み出し部２１４を制御するようにしてもよい。ただし、その場合、読み出し制御部２２３も、その後の読み出し制御のために、読み出し調整部２３３が係数データを読み出させたことを把握する必要がある。

バッファ制御部２２５は、オーバフロー若しくはアンダーフローのいずれか一方の発生のみを抑制することもできる。その場合、バッファ制御部２２５は、制御が容易になり、処理の負荷を低減させることができるが、他方の発生を抑制することができなくなる。

ところで、オーバフローとアンダーフローの発生のしやすさは、映像フォーマットの特徴に依存する。

例えば、水平ブランク期間が短い場合、余裕度が小さく係数データの単位時間当たりのバッファ部１０４からの読み出し量が多いので、アンダーフローが発生しやすい。逆に、水平ブランク期間が長い場合、余裕度が大きく係数データの単位時間当たりのバッファ部１０４からの読み出し量が少ないので、オーバフローが発生しやすい。

そのため、バッファ制御部２２５は、オーバフローとアンダーフローのうち、発生の可能性がより高い方に対する制御処理のみを行う。このようにすることにより、バッファ制御部２２５は、発生の可能性が少ない方に対する処理を省略することができ、その分、処理の負荷を低減させることができる。

また、オーバフローとアンダーフローの発生のしやすさは、映像フォーマットの特徴に依存する。そこで、バッファ制御部２２５が、その特徴に基づいて、オーバフローとアンダーフローのいずれの方が、発生する可能性が高いかを判定する。

フォーマット判定部２２１は、フォーマットの特徴の判定結果をバッファ制御部２２５にも通知する（矢印２５７）。バッファ制御部２２５は、その判定結果に示される水平ブランク期間の長さに基づいて、オーバフローが発生しやすいか、若しくはアンダーフローが発生しやすいかを判定し、その発生しやすい方に対する処理のみを実行する。

このようにすることにより、バッファ制御部２２５は、映像フォーマットの特徴（水平ブランク期間の長さ）に応じて、オーバフロー若しくはアンダーフローの発生を抑制する処理を行うことができ、より効率よく処理を行うことができる。

［処理の流れ］
以上のような復号装置１００により実行される復号処理の流れの例を図１６のフローチャートを参照して説明する。

復号処理が開始されると、復号装置１００のエントロピ復号部１０１は、ステップＳ１０１において、供給された符号化データをエントロピ復号する。

ステップＳ１０２において、逆量子化部１０２は、ステップＳ１０１の処理により符号化データがエントロピ復号されて得られた係数データを逆量子化する。

ステップＳ１０３において、逆量子化部１０２は、ステップＳ１０２の処理により逆量子化された係数データをバッファ部１０４に書き込む。

ステップＳ１０４において、逆量子化部１０２は、制御部１０３に制御され、係数データをバッファ部１０４から読み出す。ウェーブレット逆変換部１０５は、制御部１０３に制御されて、読みだされた係数データをウェーブレット逆変換する。

ステップＳ１０５において、画像ライン出力部１０６は、ウェーブレット逆変換されて得られた画像ラインを水平同期信号に合わせて１ラインずつ出力する。

ステップＳ１０５の処理が終了されると、復号処理が終了される。

なお、以上の処理は、所定のデータ単位毎に繰り返される。また、以上に説明した各ステップの処理は互いに並行して実行されることもある。

次に、図１６のステップＳ１０４において実行される読み出し制御処理の流れの例を、図１７のフローチャートを参照して説明する。

読み出し制御処理が開始されると、ステップＳ１２１において、フォーマット判定部２２１は、書き込み部２１１がバッファ部１０４に書き込んだ係数データの映像フォーマットの特徴を判定する。

ステップＳ１２２において、読み出し開始タイミング制御部２２２は、水平ブランク期間の長さに応じて、読み出し開始タイミングを設定する。

ステップＳ１２３において、読み出し制御部２２３は、読み出し部２１４を制御し、水平同期期間内に画像データを１ラインずつ出力できるようなペースでバッファ部１０４から係数データを読み出させる。もちろん、読み出し制御部２２３は、ステップＳ１２２において設定された読み出し開始タイミングに従って、読み出しを実行させる。

ステップＳ１２４において、ウェーブレット逆変換制御部２２４は、ウェーブレット逆変換部１０５を制御し、水平同期期間内に画像データを１ラインずつ出力できるようなペースで、ウェーブレット逆変換を実行させる。

ステップＳ１２４の処理が終了すると、読み出し制御処理が終了され、図１６のステップＳ１０４に処理が戻り、ステップＳ１０５以降の処理が実行される。

制御部１０３が、以上のように読み出し制御処理を実行することにより、復号装置１００は、映像フォーマットに依らず、より低遅延な復号処理を実現することができる。

なお、読み出し制御部２２３およびウェーブレット逆変換制御部２２４が、予め定められた所定の水平同期期間の長さに合わせてこの読み出し制御処理を行うようにしても良い。その場合、図１７のステップＳ１２１およびステップＳ１２２の処理を省略することができる。また、図１３において、制御部１０３のフォーマット判定部２２１、読み出し開始タイミング制御部２２２、およびバッファ制御部２２５を省略することができる。

また、読み出し制御部２２３およびウェーブレット逆変換制御部２２４が、フォーマット判定部２２１により判定された映像フォーマットの特徴（水平同期期間の長さ）に応じて、この読み出し制御処理を行うようにしても良い。その場合、図１７のステップＳ１２２の処理を省略することができる。また、図１３において、制御部１０３の読み出し開始タイミング制御部２２２、およびバッファ制御部２２５を省略することができる。

さらに、制御部１０３が、この読み出し制御処理のみを行うようにしても良い。その場合、図１３において、制御部１０３のバッファ制御部２２５を省略することができる。

復号装置１００は、図１６に示される復号処理に並行して、バッファ部１０４のバッファ量を制御するバッファ制御処理を実行する。

図１８および図１９のフローチャートを参照して、そのバッファ制御処理の流れの例を説明する。

バッファ制御処理が開始されると、ステップＳ１４１において、フォーマット判定部２２１は、書き込み部２１１によりバッファ部１０４に書き込まれた係数データの映像フォーマットの特徴（水平ブランク期間の長さ）を判定する。例えば、フォーマット判定部２２１は、水平ブランク期間の長さを所定の時間（閾値）と比較し、閾値より長いか否かを判定する。

水平ブランク期間が所定時間より長いと判定された場合、制御部１０３は、ステップＳ１４２において、処理をステップＳ１４３に進める。水平ブランク期間が長い場合、オーバフローが発生する可能性が高いので、ステップＳ１４３以降において、そのオーバフローの発生を抑制するための処理が行われる。

ステップＳ１４３において、入力データ量カウント部２１２は、バッファ部１０４に書き込む係数データのデータ量（In_Data）をカウントする。

ステップＳ１４４において、バッファ量演算部２３１は、以下の式（７）に示されるように、その入力データ量を反映させてバッファ量（Buffer）を算出する。

Buffer＝Buffer＋In_Data ・・・（７）

ステップＳ１４５において、読み出し制御部２２３は、読み出し予定タイミングであるか否かを判定し、読み出し予定タイミングでないと判定された場合、ステップＳ１４６に処理を進める。

ステップＳ１４６において、バッファ量判定部２３２は、バッファ量を予め定められた所定の許容値（閾値）と比較し、バッファ量がその許容値を上回るか否かを判定する。バッファ量が許容値以下であると判定された場合、バッファ量判定部２３２は、ステップＳ１４７に処理を進める。

ステップＳ１４７において、読み出し調整部２３３は、特に読み出し制御部２２３を制御せずに待機する。そして、読み出し調整部２３３は、処理をステップＳ１４３に戻す。

また、ステップＳ１４６において、バッファ量が許容値を上回ると判定された場合、バッファ量判定部２３２は、ステップＳ１４８に処理を進める。

ステップＳ１４８において、読み出し調整部２３３は、オーバフローの発生を抑制するために、読み出し制御部２２３を制御し、読み出し部２１４に直ちに係数データを読み出させる。この処理が終了すると読み出し調整部２３３は、処理をステップＳ１４９に進める。

また、ステップＳ１４５において、読み出し予定タイミングであると判定された場合、読み出し制御部２２３は、ステップＳ１４９に処理を進める。この場合、読み出し制御部２２３は、読み出し調整部２３３に制御あされずに、読み出し部２１４に係数データを予定通り読み出させる。

ステップＳ１４９において、出力データ量カウント部２１３は、バッファ部１０４から読み出された係数データのデータ量（Out_Data）をカウントする。

ステップＳ１５０において、バッファ量演算部２３１は、以下の式（８）に示されるように、その出力データ量を反映させてバッファ量（Buffer）を算出する。

Buffer＝Buffer−Out_Data ・・・（８）

ステップＳ１５１において、制御部１０３は、バッファ制御処理を終了するか否かを判定する。未処理の係数データが存在し、バッファ制御処理を継続すると判定された場合、制御部１０３は、処理をステップＳ１４３に戻し、それ以降の処理を実行させる。つまり、全ての係数データが処理されるまで、ステップＳ１４３乃至ステップＳ１５１の処理が繰り返される。

ステップＳ１５１において、バッファ制御処理を終了すると判定した場合、制御部１０３は、バッファ制御処理を終了する。

また、ステップＳ１４１の判定により、水平ブランク期間が所定時間より短いと判定された場合、制御部１０３は、ステップＳ１４２において、処理を図１９のステップＳ１７１に進める。水平ブランク期間が短い場合、アンダーフローが発生する可能性が高いので、ステップＳ１７１以降において、そのアンダーフローの発生を抑制するための処理が行われる。

ステップＳ１７１において、入力データ量カウント部２１２は、バッファ部１０４に書き込む係数データのデータ量（In_Data）をカウントする。

ステップＳ１７２において、バッファ量演算部２３１は、上述した式（７）に示されるように、その入力データ量を反映させてバッファ量（Buffer）を算出する。

ステップＳ１７３において、読み出し制御部２２３は、読み出し予定タイミングであるか否かを判定する。読み出し予定タイミングでないと判定された場合、読み出し制御部２２３は、処理をステップＳ１７１に戻し、それ以降の処理を実行させる。つまり、アンダーフローに対する処理の場合、読み出し調整部２３３は、読み出し制御部２２３が読み出し調整部２３３の制御なしに読み出し部２１４を制御し、係数データを読み出させる、通常の読み出し予定タイミングにおいてのみ、制御を行う。

ステップＳ１７３において、読み出し予定タイミングであると判定した場合、読み出し制御部２２３は、処理をステップＳ１７４に進める。

ステップＳ１７４において、バッファ量判定部２３２は、係数データを予定量読み出したときのバッファ量を予め定められた所定の許容値（閾値）と比較し、係数データを予定量読み出すとバッファ量がその許容値を下回るか否かを判定する。バッファ量が許容値を下回ると判定された場合、バッファ量判定部２３２は、ステップＳ１７５に処理を進める。

この場合、アンダーフローが発生する可能性が高いので、ステップＳ１７５において、読み出し調整部２３３は、アンダーフローの発生を抑制するために、読み出し制御部２２３を制御し、係数データの読み出しを一時的に禁止する。つまり、読み出し制御部２２３に、この読み出し予定タイミングでの読み出しを禁止させる。

読み出しを禁止させると、読み出し調整部２３３は、処理をステップＳ１７１に戻し、それ以降の処理を実行させる。

ステップＳ１７４において、係数データを予定量読み出してもバッファ量が許容値以上であると判定された場合、バッファ量判定部２３２は、ステップＳ１７６に処理を進める。

ステップＳ１７１において、読み出し調整部２３３は、読み出し制御部２２３を制御しない。つまり、読み出し制御部２２３は、読み出し部２１４に予定通り係数データを読み出させる。この処理が終了すると読み出し制御部２２３は、処理をステップＳ１７７に進める。

ステップＳ１７７において、出力データ量カウント部２１３は、バッファ部１０４から読み出された係数データのデータ量（Out_Data）をカウントする。

ステップＳ１７８において、バッファ量演算部２３１は、上述した式（８）に示されるように、その出力データ量を反映させてバッファ量（Buffer）を算出する。

ステップＳ１７９において、制御部１０３は、バッファ制御処理を終了するか否かを判定する。未処理の係数データが存在し、バッファ制御処理を継続すると判定された場合、制御部１０３は、処理をステップＳ１７１に戻し、それ以降の処理を実行させる。つまり、全ての係数データが処理されるまで、ステップＳ１７１乃至ステップＳ１７９の処理が繰り返される。

ステップＳ１７９において、バッファ制御処理を終了すると判定した場合、制御部１０３は、図１８に処理を戻し、バッファ制御処理を終了する。

以上のようにバッファ制御処理を実行することにより、復号装置１００は、オーバフローやアンダーフローの発生を抑制することができる。

なお、バッファ制御部２２５が、オーバフローの発生のみを抑制するようにしてもよい。その場合、図１８のステップＳ１４１およびステップＳ１４２、並びに、図１９のステップＳ１７１乃至ステップＳ１７９の各処理を省略することができる。

また、バッファ制御部２２５が、アンダーフローの発生のみを抑制するようにしてもよい。その場合、図１８のステップＳ１４１乃至ステップＳ１５１の処理が省略され、図１９の処理のみが実行される。

＜２．第２の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図２０に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図２０において、パーソナルコンピュータ４００のCPU（Central Processing Unit）４０１は、ROM（Read Only Memory）４０２に記憶されているプログラム、または記憶部４１３からRAM（Random Access Memory）４０３にロードされたプログラムに従って各種の処理を実行する。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU４０１、ROM４０２、およびRAM４０３は、バス４０４を介して相互に接続されている。このバス４０４にはまた、入出力インタフェース４１０も接続されている。

入出力インタフェース４１０には、キーボード、マウスなどよりなる入力部４１１、CRT（Cathode Ray Tube）ディスプレイやLCD（Liquid Crystal Display）等のディスプレイ、並びにスピーカなどよりなる出力部４１２、フラッシュメモリ等SSD（Solid State Drive）やハードディスクなどよりなる記憶部４１３、有線LAN（Local Area Network）や無線LANのインタフェースやモデムなどよりなる通信部４１４が接続されている。通信部４１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース４１０にはまた、必要に応じてドライブ４１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４１３にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２０に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア４２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM４０２や、記憶部４１３に含まれるハードディスクなどにより構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成が、複数の装置（または処理部）として構成されるようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成が、まとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成が付加されるようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部が他の装置（または他の処理部）の構成に含まれるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明は、例えば、動画像信号やビデオ信号や静止画像を圧縮して伝送、受信して伸長して画像を出力するシステム等に用いられる装置に好適である。具体的には、モバイル通信機、TV会議システム、監視カメラ・レコーダシステム、医用遠隔医療診断、放送局内のビデオ圧縮・伝送、ライブ映像の配信、生徒と教師間のインタラクティブ通信、無線での静止画・動画伝送、対話型ゲームアプリケーション等に適用することができる。

１００ 復号装置， １０１ エントロピ復号部， １０２ 逆量子化部， １０３ 制御部， １０４ バッファ部， １０５ ウェーブレット逆変換部， １０６ 画像ライン出力部， ２０１ 逆量子化演算部， ２０２ 入出力部， ２１１ 書き込み部， ２１２ 入力データ量カウント部， ２１３ 出力データ量カウント部， ２１４ 読み出し部， ２２１ フォーマット判定部， ２２２ 読み出し開始タイミング制御部， ２２３ 読み出し制御部， ２２４ ウェーブレット逆変換制御部， ２２５ バッファ制御部， ２３１ バッファ量演算部， ２３２ バッファ量判定部， ２３３ 読み出し調整部

Claims (9)

1. 階層的な分析フィルタ処理により所定ライン数の画像データが周波数帯域毎に分解された、少なくとも最低域成分のサブバンドの係数データを１ライン以上含む、各サブバンドの係数データ群を供給する供給手段と、
   前記供給手段により供給された前記係数データ群を所定の手順で合成し、ベースバンドの画像データを生成する合成フィルタ手段と、
   前記供給手段を制御し、前記合成フィルタ手段が前記画像データの水平同期信号の間の期間を示す水平同期期間に応じたタイミングに前記ベースバンドの画像データを生成することができるようなタイミングで、前記係数データを供給させる供給制御手段と、
   前記合成フィルタ手段を制御し、前記供給手段により供給される前記係数データ群を前記所定の手順で合成させ、前記水平同期期間に応じたタイミングに前記ベースバンドの画像データを生成させる合成フィルタリング制御手段と
   を備える画像処理装置。
2. 前記合成フィルタ手段は、前記係数データ群を、より高域な成分をより優先的に生成するような順序で合成し、
   前記供給制御手段は、前記合成フィルタ手段が、前記順序で合成を行い、前記水平同期期間１つおきに前記ベースバンドの画像データを２ラインずつ生成する事ができるようなタイミングで、合成に必要な前記係数データを前記供給手段に供給させる
   請求項１に記載の画像処理装置。
3. 前記画像データの前記水平同期期間の長さを判定する判定手段をさらに備え、
   前記供給制御手段は、前記供給手段を制御し、前記合成フィルタ手段が、前記判定手段により判定された前記水平同期期間に応じたタイミングに前記ベースバンドの画像データを生成することができるようなタイミングで、前記係数データを供給させ、
   前記合成フィルタリング制御手段は、前記合成フィルタ手段を制御し、前記判定手段により判定された前記水平同期期間に応じたタイミングに前記ベースバンドの画像データを生成させる
   請求項１に記載の画像処理装置。
4. 前記判定手段は、さらに、前記画像データの水平ブランク期間の長さを判定し、
   前記判定手段により判定された前記水平ブランク期間の長さに応じて、前記供給手段の前記合成フィルタ手段に対する前記係数データの供給開始タイミングを制御する供給開始タイミング制御手段をさらに備える
   請求項３に記載の画像処理装置。
5. 前記合成フィルタ手段に供給する前記係数データ群を保持する保持手段をさらに備え、
   前記供給手段は、前記保持手段により保持された前記係数データを読み出して前記合成フィルタ手段に供給し、
   前記供給制御手段は、前記供給手段による前記保持手段からの前記係数データの読み出しを制御する
   請求項１に記載の画像処理装置。
6. 前記保持手段により保持される前記係数データのデータ量を算出する算出手段と、
   前記算出手段により算出された前記データ量が、予め定められた所定の閾値を上回るか否かを判定する判定手段と、
   前記判定手段により前記データ量が前記閾値を上回ると判定された場合、前記供給手段に、前記保持手段に保持されている前記係数データを直ちに読み出させる調整手段と
   をさらに備える請求項５に記載の画像処理装置。
7. 前記保持手段により保持される前記係数データのデータ量を算出する算出手段と、
   前記算出手段により算出された前記データ量が、予め定められた所定の閾値を下回るか否かを判定する判定手段と、
   前記判定手段により前記データ量が前記閾値を下回ると判定された場合、前記供給手段に、前記保持手段に保持されている前記係数データの読み出しを禁止させる調整手段と
   をさらに備える請求項５に記載の画像処理装置。
8. 前記画像データの水平ブランク期間の長さを判定する水平ブランク期間判定手段と、
   前記保持手段により保持される前記係数データのデータ量を算出する算出手段と、
   前記水平ブランク期間判定手段により前記水平ブランク期間の長さが長いと判定された場合、前記算出手段により算出された前記データ量が、予め定められた所定の第１の閾値を上回るか否かを判定し、前記水平ブランク期間判定手段により前記水平ブランク期間の長さが短いと判定された場合、前記算出手段により算出された前記データ量が、前記第１の閾値より値が小さい、予め定められた所定の第２の閾値を上回るか否かを判定するデータ量判定手段と、
   前記データ量判定手段により前記データ量が前記第１の閾値を上回ると判定された場合、前記供給手段に、前記保持手段に保持されている前記係数データを直ちに読み出させ、前記データ量判定手段により前記データ量が前記第２の閾値を下回ると判定された場合、前記供給手段に、前記保持手段に保持されている前記係数データの読み出しを禁止させる調整手段と
   をさらに備える請求項５に記載の画像処理装置。
9. 画像処理装置の画像処理方法であって、
   前記画像処理装置の供給手段が、階層的な分析フィルタ処理により所定ライン数の画像データが周波数帯域毎に分解された、少なくとも最低域成分のサブバンドの係数データを１ライン以上含む、各サブバンドの係数データ群を供給し、
   前記画像処理装置の合成フィルタ手段が、前記供給手段により供給された前記係数データ群を所定の手順で合成し、ベースバンドの画像データを生成し、
   前記画像処理装置の供給制御手段が、前記供給手段を制御し、前記合成フィルタ手段が前記画像データの水平同期信号の間の期間を示す水平同期期間に応じたタイミングに前記ベースバンドの画像データを生成することができるようなタイミングで、前記係数データを供給させ、
   前記画像処理装置の合成フィルタリング制御手段が、前記合成フィルタ手段を制御し、前記供給手段により供給される前記係数データ群を前記所定の手順で合成させ、前記水平同期期間に応じたタイミングに前記ベースバンドの画像データを生成させる
   画像処理方法。

Images