JP4779435B2 - 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。特に、伝送路帯域状況や装置処理能力などに応じて選択的に表示画像品質を制御することができるスケーラビリティを有する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。

従来から知られるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などで規定されている動画像符号化方式において、符号化ビットストリームに階層を持たせ、符号化データの受信側において選択的なデータ復号処理を行なうことで出力画像の品質を決定することができるＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）スケーラビリティや、ＦＧＳ（Ｆｉｎｅ Ｇｒａｎｕｌａｒ Ｓｃａｌａｂｉｌｉｔｙ）と呼ばれる技術がある。

ＳＮＲスケーラビリティ技術は、ＭＰＥＧ−２符号化で規定されている技術であり、符号化器において量子化サイズを粗くして生成した低ＳＮＲビットストリーム（ベースレイヤ）と、入力信号からベース信号成分を引いた信号から細かい量子化サイズにより生成した余剰ビットストリーム（エンハンスメントレイヤ）を階層的に送信し、受信側では通信状態に応じてベース信号のみを復号化することにより最低限の低ＳＮＲ画像を得ることができるものである。

ＦＧＳは、ＭＰＥＧ−４符号化で規定されている技術であり、エンハンスメントレイヤにおいてＳＮＲのより細かい制御を可能としている。この技術では、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数をビットプレーン符号化して伝送することにより、伝送帯域に応じて上位ビットのみを復号化することにより画質の制御が可能である。なお、ＭＰＥＧ−２におけるＳＮＲスケーラビリティ技術、およびＭＰＥＧ−４符号化におけるＦＧＳについては、例えば非特許文献１に記載されている。
Overview of Fine Granularity Scalability in MPEG-4 Video Standard", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY,VOL. 11, NO. 3, MARCH 2001

ところで、上記従来の技術では、ＳＮＲを基にベースレイヤを生成しているが、この際には人間の視覚特性はあまり考慮されておらず、ベースレイヤのみを復号化する場合には、表示される画像品質が視覚的に劣化するという問題があった。

本発明はこのような状況に鑑みてなされたものであり、ベースレイヤにおける視覚的な画質劣化を最小限に抑えつつ、エンハンスメントレイヤを受信して復号化することにより、スロー再生時の画質劣化や、被写体境界部分での画質劣化を抑制することを可能にする画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
動画像データの圧縮処理を実行する画像処理装置であり、
動画像データを構成するフレームの分割領域として設定するブロック単位で画素の間引き処理を実行する画像変換部であり、画素間引き処理における代表画素に対応するサンプリング画素を異ならせた複数の階層信号を生成する画像変換部と、
前記画像変換部の生成する複数の階層信号を入力し、該階層信号に基づく符号化データを生成する符号化部を有し、
前記画像変換部は、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部と、
前記移動量検出部の検出した移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームの複数ブロックについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかの態様の間引き処理を実行し、実行する各態様の間引き処理において、それぞれサンプリング画素を異ならせた複数の階層信号に対応する複数の間引きデータを生成するブロック処理部と、
前記ブロック処理部の出力データに含まれるサンプリング画素を集積したパックブロックを生成するパック処理部を有し、
前記パック処理部は、
サンプリング画素を異ならせた複数の階層信号に対応する複数のパックブロックを生成し、
前記符号化部は、
前記パック処理部の生成するパックブロックとしての複数の階層信号の符号化処理を実行し、各階層信号に対応するストリーミング信号を生成する構成であることを特徴とする画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記符号化部は、前記階層信号の差分を算出し、算出差分値に基づく符号化データを生成する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記ブロック処理部は、サンプリング画素を異ならせた複数の階層信号のそれぞれの情報量を等価にした階層信号を生成する処理を実行する構成であることを特徴とする。

さらに、本発明の第２の側面は、
符号化動画像データを入力し画像復元処理を実行する画像処理装置であり、
符号化動画像データを入力し、該入力データの復号処理を実行して動画像データ復元に適用する複数の階層信号を生成する復号化部と、
前記復号化部の生成する階層信号を入力し、階層信号に含まれる画素データに基づくデータ拡張処理により動画像データ復元処理を実行する画像変換部とを有し、
前記複数の階層信号は、画素間引き処理における代表画素に対応するサンプリング画素を異ならせた複数の間引きデータに基づいて生成された複数の階層信号であり、
前記画像変換部は、
前記復号化部の生成する複数の階層信号から選択された処理対象の階層信号に基づく動画像データ復元処理を実行する構成であり、
空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理の少なくともいずれかの間引き処理態様に対応したブロック拡張処理により、動画像データを構成するフレームの分割領域として設定されたブロック単位でのブロック復元処理を、
処理対象として選択した階層数を［Ｌｍ］、
サンプリング画素を異ならせた複数の間引きデータに基づいて生成された複数の階層信号の総数［ｎ］、
としたとき、
前記サンプリング画素をコピー元としたコピー処理によって、コピー後のブロックの画素数がコピー前の画素数の［ｎ／Ｌｍ］倍の画素数とするコピー処理によるデータ拡張処理により動画像データ復元を行なうことを特徴とする画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、前記復号化部の生成する階層信号に対応するサンプリング画素を集積したパックブロックのアンパック処理を実行するアンパック処理部を有し、前記アンパック処理部は、サンプリング画素を異ならせた複数の階層信号に対応する複数のパックブロックに対するアンパック処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記復号化部は、符号化動画像データとして、複数の階層信号の差分に基づいて生成されたストリーミング信号を入力し、該ストリーミング信号の復号により生成した復号データに対する復号データ相互の加算処理により、動画像データ復元に適用する複数の階層信号を生成する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、画像処理装置の処理能力、または、データ通信状況の少なくともいずれかの状態に応じて、前記画像変換部において処理すべき階層信号の数を決定する制御部を有し、前記画像変換部は、前記制御部の決定した数に対応する階層信号の処理を実行する構成であることを特徴とする。

さらに、本発明の第３の側面は、
動画像データの圧縮処理を実行する画像処理方法であり、
動画像データを構成するフレームの分割領域として設定するブロック単位で画素の間引き処理を実行する画像変換ステップであり、画素間引き処理における代表画素に対応するサンプリング画素を異ならせた複数の階層信号を生成する画像変換ステップと、
前記画像変換ステップの生成する複数の階層信号を入力し、該階層信号に基づく符号化データを生成する符号化ステップを有し、
前記画像変換ステップは、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記移動量検出ステップにおいて検出した移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームの複数ブロックについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかの態様の間引き処理を実行し、実行する各態様の間引き処理において、それぞれサンプリング画素を異ならせた複数の階層信号に対応する複数の間引きデータを生成するブロック処理ステップと、
前記ブロック処理ステップにおける出力データに含まれるサンプリング画素を集積したパックブロックを生成するパック処理ステップを有し、
前記パック処理ステップは、
サンプリング画素を異ならせた複数の階層信号に対応する複数のパックブロックを生成し、
前記符号化ステップは、
前記パック処理ステップにおいて生成するパックブロックとしての複数の階層信号の符号化処理を実行し、各階層信号に対応するストリーミング信号を生成するステップであることを特徴とする画像処理方法にある。

さらに、本発明の第４の側面は、
画像復元処理を実行する画像処理方法であり、
符号化動画像データを入力し、該入力データの復号処理を実行して動画像データ復元に適用する複数の階層信号を生成する復号化ステップと、
前記復号化ステップにおいて生成する階層信号を入力し、階層信号に含まれる画素データに基づくデータ拡張処理により動画像データ復元処理を実行する画像変換ステップとを有し、
前記複数の階層信号は、画素間引き処理における代表画素に対応するサンプリング画素を異ならせた複数の間引きデータに基づいて生成された複数の階層信号であり、
前記画像変換ステップは、
前記復号化ステップにおいて生成する複数の階層信号から選択された処理対象の階層信号に基づく動画像データ復元処理を実行するステップであり、
空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理の少なくともいずれかの間引き処理態様に対応したブロック拡張処理により、動画像データを構成するフレームの分割領域として設定されたブロック単位でのブロック復元処理を、
処理対象として選択した階層数を［Ｌｍ］、
サンプリング画素を異ならせた複数の間引きデータに基づいて生成された複数の階層信号の総数［ｎ］、
としたとき、
前記サンプリング画素をコピー元としたコピー処理によって、コピー後のブロックの画素数がコピー前の画素数の［ｎ／Ｌｍ］倍の画素数とするコピー処理によるデータ拡張処理により動画像データ復元を行なうステップであることを特徴とする画像処理方法にある。

さらに、本発明の第５の側面は、
動画像データの圧縮処理をコンピュータ上において実行させるコンピュータ・プログラムであり、
動画像データを構成するフレームの分割領域として設定するブロック単位で画素の間引き処理を実行する画像変換ステップであり、画素間引き処理における代表画素に対応するサンプリング画素を異ならせた複数の階層信号を生成する画像変換ステップと、
前記画像変換ステップの生成する複数の階層信号を入力し、該階層信号に基づく符号化データを生成する符号化ステップを有し、
前記画像変換ステップは、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記移動量検出ステップにおいて検出した移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームの複数ブロックについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかの態様の間引き処理を実行し、実行する各態様の間引き処理において、それぞれサンプリング画素を異ならせた複数の階層信号に対応する複数の間引きデータを生成するブロック処理ステップと、
前記ブロック処理ステップにおける出力データに含まれるサンプリング画素を集積したパックブロックを生成するパック処理ステップを有し、
前記パック処理ステップは、
サンプリング画素を異ならせた複数の階層信号に対応する複数のパックブロックを生成し、
前記符号化ステップは、
前記パック処理ステップにおいて生成するパックブロックとしての複数の階層信号の符号化処理を実行し、各階層信号に対応するストリーミング信号を生成するステップであることを特徴とするコンピュータ・プログラムにある。

さらに、本発明の第６の側面は、
画像復元処理をコンピュータ上において実行させるコンピュータ・プログラムであり、
符号化動画像データを入力し、該入力データの復号処理を実行して動画像データ復元に適用する複数の階層信号を生成する復号化ステップと、
前記復号化ステップにおいて生成する階層信号を入力し、階層信号に含まれる画素データに基づくデータ拡張処理により動画像データ復元処理を実行する画像変換ステップとを有し、
前記複数の階層信号は、画素間引き処理における代表画素に対応するサンプリング画素を異ならせた複数の間引きデータに基づいて生成された複数の階層信号であり、
前記画像変換ステップは、
前記復号化ステップにおいて生成する複数の階層信号から選択された処理対象の階層信号に基づく動画像データ復元処理を実行するステップであり、
空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理の少なくともいずれかの間引き処理態様に対応したブロック拡張処理により、動画像データを構成するフレームの分割領域として設定されたブロック単位でのブロック復元処理を、
処理対象として選択した階層数を［Ｌｍ］、
サンプリング画素を異ならせた複数の間引きデータに基づいて生成された複数の階層信号の総数［ｎ］、
としたとき、
前記サンプリング画素をコピー元としたコピー処理によって、コピー後のブロックの画素数がコピー前の画素数の［ｎ／Ｌｍ］倍の画素数とするコピー処理によるデータ拡張処理により動画像データ復元を行なうステップであることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、画像圧縮装置側において、動画像データを構成するフレームの分割領域として設定するブロック単位で代表画素に対応するサンプリング画素を異ならせた複数の階層信号を生成して、階層信号に基づく符号化データを出力する構成とし、画像伸長装置側では、処理対象として選択した階層数に応じた異なる態様のデータ拡張処理を行って、階層信号に含まれる画素データに基づくデータ拡張処理により動画像データを復元する構成とした。画像伸長装置側では、例えば伝送路帯域や装置の処理能力などに応じて選択的に階層信号の処理を行なうことが可能であり、この制御によって表示画像品質制御が可能となり、スケーラブルな処理が実現される。

また、本発明の構成では、人間の視覚特性を利用した圧縮を行うことにより、ベースレイヤのみを復号化した場合にも高画質な表示が可能となる。また、エンハンスメントレイヤを選択的に受信し、復号化することで、例えばスロー再生時の画質向上、および動被写体の境界領域の画質向上が可能となる。各レイヤの情報量は同等であり、任意のレイヤをベースレイヤとすることが可能である等の効果を有する。

以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの構成について説明する。

本発明の一実施例に係る画像処理装置の構成について、図１以下を参照して説明する。図１には、動画像データを入力し、入力動画像データの圧縮処理を実行する画像圧縮装置１００と、圧縮画像データを入力し、圧縮画像データの伸長処理を実行する画像伸長装置２００を示している。

画像圧縮装置１００の生成信号は、例えばネットワークを介して画像伸長装置２００に伝送される。なお、画像処理装置としては、画像圧縮装置１００と画像伸長装置の一方の機能のみを備えた構成と、双方の機能を備えた構成、いずれの構成も可能である。

画像圧縮装置１００は、画像変換部１１０と、符号化部１５０を有し、画像伸長装置２００は、復号化部２１０と、画像変換部２５０を有する。なお、データの入出力、送受信は図示しない入出力部、通信部を介して実行される。

画像圧縮装置１００の画像変換部１１０は、圧縮処理対象の動画像信号［Ｄｉｎ］を入力とし、動画像を構成するフレームを所定画素領域単位で分割した画像ブロック毎に被写体の動きに合わせて空間方向および時間方向のサンプリングパターンを変更し、階層的な動画像信号である階層化動画像信号：［Ｌ１］〜［Ｌｎ］に変換する処理を実行する。階層化動画像信号：［Ｌ１］〜［Ｌｎ］の生成処理の詳細については後述する。画像変換部１１０は、階層化動画像信号：［Ｌ１］〜［Ｌｎ］に併せて、階層化動画像信号：［Ｌ１］〜［Ｌｎ］の生成態様情報等を含むブロック処理情報［Ｉｎｆ］を生成して、符号化部１５０に入力する。

符号化部１５０は、予め設定されたビットレートに従って、画像変換部１１０から入力する階層化動画像信号：［Ｌ１］〜［Ｌｎ］およびブロック処理情報［Ｉｎｆ］の符号化処理を実行して、画像伸長装置２００に対する送信信号としての階層化ストリーム：［Ｓｔ１］〜［Ｓｔｎ］および、ブロック処理情報ストリーム［Ｓｔ−Ｉｎｆ］を生成し、図示しないデータ出力部あるいはデータ送信部を介して画像伸長装置２００に出力する。

画像伸長装置２００の復号化部２１０は、データ入力部あるいはデータ受信部を介して、階層化ストリーム：［Ｓｔ１］〜［Ｓｔｎ］および、ブロック処理情報ストリーム［Ｓｔ−Ｉｎｆ］を入力し、データの受信状況や画像伸長装置２００のデータ処理能力に応じて適応的に階層化ストリーム：［Ｓｔ１］〜［Ｓｔｎ］の復号処理を行ない、階層化動画像信号：［Ｌ１］〜［Ｌｎ］を生成し、またブロック処理情報ストリーム［Ｓｔ−Ｉｎｆ］の復号により、ブロック処理情報［Ｉｎｆ］を生成して画像変換部２５０に生成信号を入力する。

なお、復号化部２１０は、受信する階層化ストリーム：［Ｓｔ１］〜［Ｓｔｎ］のすべての復号を行なうとは限らず、データの受信状況や画像伸長装置２００のデータ処理能力に応じて選択されたストリームのみを復号する。従って、画像伸長装置２００の復号化部２１０は、ｎ階層の入力階層化ストリーム：［Ｓｔ１］〜［Ｓｔｎ］を受信した場合に生成する階層化動画像信号は、ｎ階層の階層化動画像信号：［Ｌ１］〜［Ｌｎ］中の選択された信号のみとなる。

画像変換部２５０は、復号化部２１０の生成した階層化動画像信号：［Ｌ１］〜［Ｌｎ］と、ブロック処理情報［Ｉｎｆ］を入力し、動画像を構成するフレームを所定画素領域単位で分割した画像ブロック毎のサンプリングパターンに逆変換を行ない、動画像データを復元し、復元した動画像データ［Ｄｏｕｔ］を出力する。

［画像圧縮装置の構成および処理の詳細］
次に、画像圧縮装置の構成および処理の詳細について説明する。まず、図２を参照して画像圧縮装置１００の画像変換部１１０の詳細構成および処理について説明する。

図２に、画像圧縮装置１００の画像変換部１１０のブロック図を示す。画像圧縮装置１００の画像変換部１１０は、前述したように、圧縮処理対象の動画像信号［Ｄｉｎ］を入力とし、動画像を構成するフレームを所定画素領域単位で分割した画像ブロック毎に被写体の動きに合わせて空間方向および時間方向のサンプリングパターンを変更し、ｎ階層（ただしｎ≧２）の動画像信号である階層化動画像信号：［Ｌ１］〜［Ｌｎ］に変換する処理を実行する。ｎ種類の階層化動画像信号：［Ｌ１］〜［Ｌｎ］は、本出願人が先に出願した特願２００３−４１２５０１号において提案した動画像変換装置の生成信号に相当する。これは、人間の視覚特性に基づく超解像度効果を利用して動画像変換を行なうことにより、表示画像の観測者が画質劣化を知覚しにくいように圧縮を行なうことが可能な信号である。

なお、超解像効果とは、観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性に基づいて実現される視覚的効果である。人の視覚は、受けた光の刺激の総和がある閾値になったときに光を知覚するという機能（以下、時間的積分機能と称する）を有している。これは、ブロックの法則（Bloch's Law）として知られており、人が一定時間内に受けた光を加算して知覚していることを示している。時間的積分機能において加算される時間は、視環境などにより変化するが、およそ２５ｍｓ乃至１００ｍｓであるという報告がある。ブロックの法則の詳細については、例えば、"視覚情報ハンドブック，日本視覚学界編，ｐｐ．２１９−２２０"などに記載されている。

図２に示す画像変換部１１０は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行うことにより、画質劣化を観測者が知覚しないようにデータを削減する圧縮を行う構成を有する。図２の画像変換部１１０の構成について説明する。

ブロック分割部１１１は、画像変換部１１０に入力される動画像データ［Ｄｉｎ］の構成フレームを、所定の処理単位フレーム数ｎ毎に蓄積し、ｎフレームの各フレーム画像を所定画素のブロックサイズ（本実施例では４×４画素）のブロックに分割し、ブロック単位で移動量検出部１１２、およびブロック分配部１１３に送る。

移動量検出部１１２は、ブロック分割部１１１から供給された各ブロックについて、ブロック毎に時間的な移動量を検出し、検出した移動量をブロック分配部１１３に送る。移動量検出部１１２は、ブロック分割部１１１から供給されたフレームの各ブロックの動きベクトルを、異なるフレームの対応画素位置のブロックとのブロックマッチング処理を実行して検出し、検出した動きベクトルをブロック分配部１１３に供給する。動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量情報を有する。

移動量検出部１１２は、このような動きベクトル検出処理によって、ブロック毎の時間的な移動量（例えばｘ画素／フレーム）を検出し、検出した移動量をブロック分配部１１３に送る。ブロック分配部１１３は、移動量検出部１１２から供給される移動量に応じて各ブロックに適用すべきブロック処理（間引き処理）を決定し、決定したブロック処理に応じて、ブロック分割部１１１から供給される各ブロックをブロック処理部１１４乃至１１６のいずれかに選択的に供給する。このとき、ブロック分配部１１３における分配方法は、超解像度効果の原理に基づいており、特願２００３−４１２５０１号に詳細な記載がある。

特願２００３−４１２５０１号にも記載されているブロック分配部１１３における分配方法について説明する。例えば、ブロック分配部１１３は、移動量検出部１１２から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の移動量が２ピクセル（画素）以上のブロックについては、ブロック分割部１１１から供給されたｎフレーム分のｎ個のブロックと移動量検出部１１２から供給された移動量を、空間方向間引き処理を実行するブロック処理部１１４に出力し、ブロック処理として、空間方向間引き処理を実行する。

また、１フレーム間の水平方向と垂直方向の移動量がともに２ピクセル未満で、かつ１ピクセル以上のブロックについては、ブロック分配部１１３は、ブロック分割部１１１から供給されたｎフレーム分のｎ個のブロックと移動量検出部１１２から供給された移動量を、空間方向間引きおよび時間方向間引き処理を実行するブロック処理部１１６に出力し、ブロック処理として、空間方向間引きおよび時間方向間引き処理を実行する。

また、１フレーム間の水平方向と垂直方向の移動量がともに１ピクセル未満のブロックについては、ブロック分配部１１３は、ブロック分割部１１１から供給されたｎフレーム分のｎ個のブロックと移動量検出部１１２から供給された移動量を、時間方向間引き処理を実行するブロック処理部１１５に出力し、ブロック処理として時間方向間引き処理を実行する。

なお、上述した処理例で示すブロック分配条件としての１フレーム間の水平方向と垂直方向の移動量の数値は、分配先決定のための条件の一例であり、他の条件で分配先を決定してもよい。

ブロック処理部１１４は、移動量が大きく、超解像度効果が得られるブロックに対して移動方向における空間間引き処理により階層化を行なう。具体的には、各フレーム画像の間引きサンプリング位置を階層毎に変更してサンプリングすることにより、それぞれ移動方向の画素数を１／ｎに間引き、データ量を１／ｎに圧縮する。より詳細な動作については後述する。

ブロック処理部１１５は、移動量が小さく、超解像度効果が得られないブロックに対して時間間引き処理により階層化を行なう。具体的には、処理単位フレーム数ｎのうちサンプリングするフレームを階層毎に変更することにより、それぞれフレーム数を１／ｎに間引き、データ量を１／ｎに圧縮する。より詳細な動作については後述する。

ブロック処理部１１６は、上述の中間の移動量であるブロックに対して空間間引き処理および時間間引き処理により階層化を行なう。具体的には、処理単位フレーム数ｎのうちサンプリングする２フレームを階層毎に変更し、さらにサンプリングされたフレームにおいて、空間方向の間引きサンプリング位置を階層毎に変更して１／２に間引きすることにより、それぞれデータ量を１／ｎに圧縮する。より詳細な動作については後述する。

パック処理部１１７は、ブロック処理部１１４において実行される空間方向間引き処理によって生成された階層化信号を入力し、入力信号に基づいてパックブロックを生成する。すなわち、各ブロックのフレーム対応の間引き後の画素データ信号を集積したパックブロックを生成する。各フレームの対応ブロックにおける間引き処理後の画素データ各々について本来の画素位置を変更して集積させたパックブロックを生成し、これを１フレームの画像信号に変換して出力する。詳細な動作については後述する。

パック処理部１１８は、ブロック処理部１１５において実行される時間方向間引き処理によって生成された階層化信号を入力し、入力信号をそのまま出力する。時間方向間引き処理は、間引き処理単位のｎフレームに対応する同一画素位置のｎブロックから選択された１つのフレームの１ブロックの画素データを出力する処理であり、パック処理部１１８は、間引き後のフレーム対応のブロックをそのまま出力することになる。詳細な動作については後述する。

パック処理部１１９は、ブロック処理部１１６おいて実行される空間方向および時間方向間引き処理によって生成された階層化信号を入力し、入力信号に基づいてパックブロックを生成する。すなわち、各ブロックのフレーム対応の間引き後の画素データ信号を集積したパックブロックを生成する。すなわち、各フレームの対応ブロックにおける間引き処理後の画素データ各々について本来の画素位置を変更して集積させたパックブロックを生成し、これを１フレームの画像信号に変換して出力する。詳細な動作については後述する。

出力部１２０は、パック処理部１１７乃至１１９から供給されるパックされた画像信号に対し、図示しない制御部から供給されるブロック処理情報に基づき、ブロック単位で選択されたパック処理部からの画像信号を選択し、第１階層信号［Ｌ１］から第ｎ階層信号［Ｌｎ］として符号化部に出力する。

ブロック処理情報［Ｉｎｆ］は、ブロック分配部１１３において決定されたブロック処理方法、すなわち、空間方向間引き、時間方向間引き、空間および時間方向間引きのいずれのブロック処理部において処理がなされたかを示す情報および各処理ブロックのフレームを示す情報を含み、ブロック分配部１１３から出力される。この情報は、ブロック（本実施例では４×４画素）毎に、間引き処理およびパック処理単位であるｎフレームおきに出力し、各処理ブロックに対応する処理方法を表す数ビットのデータを含む情報である。

次に、特願２００３−４１２５０１号にも記載されている各ブロック処理部１１４〜１１６の基本的な間引き処理態様について図３以下を参照して説明する。

ブロック処理部１１４は、ブロック分配部１１３から供給された、連続するｎ（例えばｎ＝４）枚のフレームのそれぞれの同一位置にある合計ｎ個のブロック（例えば、水平方向または垂直方向の移動量が２ピクセル以上である場合のｎ個のブロック）に対して、画素数を、同様にブロック分配部１１３から供給された移動量に応じて間引く処理（空間方向間引き処理）を行う。

具体的には、１フレーム間の水平方向の移動量が２ピクセル（画素）以上である場合、ブロック処理部１１４は、処理対象のブロックが図３（ａ）に示すように４×４ピクセルで構成されているとき、水平方向の４画素のうち１つの画素値のみを選択して代表値とする。図３（ｂ）の例では、Ｐ_００乃至Ｐ_３０の４画素のうちＰ_１０のみを代表値（サンプリング点）として有効にする。その他の画素値は無効とする。同様に、Ｐ_０１乃至Ｐ_３１の４画素に対してはＰ_１１を代表値（サンプリング点）とし、Ｐ_０２乃至Ｐ_３２の４画素に対してはＰ_１２を代表値（サンプリング点）とし、Ｐ_０３乃至Ｐ_３３の４画素に対してはＰ_１３を代表値（サンプリング点）とする。

１フレーム間の垂直方向の移動量が２ピクセル以上である場合、ブロック処理部１１４は、ブロックが図３（ａ）に示すように４×４ピクセルで構成されているとき、垂直方向の４画素のうち１つの画素値をサンプリング点として有効とする。図３（ｃ）の例では、Ｐ_００乃至Ｐ_０３の４画素のうちＰ_０１のみをサンプリング点として有効にする。その他の画素値は無効とする。同様に、Ｐ_１０乃至Ｐ_１３の４画素に対してはＰ_１１をサンプリング点とし、Ｐ_２０乃至Ｐ_２３の４画素に対してはＰ_２１をサンプリング点とし、Ｐ_３０乃至Ｐ_３３の４画素に対してはＰ_３１をサンプリング点とする。

ブロック処理部１１４は、このような空間方向間引き処理を供給された連続するｎ（例えばｎ＝４）枚のフレームのそれぞれの同一位置にある合計ｎ＝４個のブロックに対してそれぞれ施すので、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。なお、後述するように、本発明のブロック処理部１１４では、この空間方向間引き処理を、サンプリング点を変更した複数態様で実行して、複数の階層信号を生成する。これらの処理については後段で詳細に説明する。

次に、図２に示すブロック処理部１１５の実行する処理の基本的な処理例について説明する。図２に示すブロック処理部１１５は、ブロック分配部１１３から供給された連続するｎ枚のフレームのそれぞれの同一位置ある合計ｎブロック（例えば、水平方向と垂直方向の移動量がともに１ピクセル未満である場合のｎ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。

具体的にはブロック処理部１１５は、図４に示すように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢｉを、その中の１つのブロック（図に示す例では、フレームＦ１のブロックＢｉ）をサンプリング点として取得し、その他のフレームのブロックを破棄してフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。ブロック処理部１１５は、このような時間方向間引き処理により、データ量が１／４に削減された４個のブロックについてのデータ（１個のブロック）を生成する。なお、後述するように、本発明のブロック処理部１１５では、この時間方向間引き処理を、サンプリング点を変更した複数態様で実行して、複数の階層信号を生成する。これらの処理については後段で詳細に説明する。

ブロック処理部１１６は、ブロック分配部１１３から供給された、連続するｎ枚のフレームのそれぞれの同一位置にある合計ｎ個のブロック（例えば、水平方向と垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合のＮ個のブロック）に対して、画素数の間引き処理（空間方向間引き処理）とフレーム数の間引き処理（時間方向間引き処理）をそれぞれ行う。

ブロック処理部１１６は、処理対象のブロックが図５（ａ）に示すように４×４ピクセルで構成されているとき、水平方向の４画素のうち２つの画素値のみを選択して代表値（サンプリング点）とする。図５（ｂ）の例では、Ｐ_００乃至Ｐ_３０の４画素のうちＰ_００とＰ_２０のみを代表値（サンプリング点）として有効にする。その他の画素値は無効とする。同様に、Ｐ_０１乃至Ｐ_３１の４画素に対してはＰ_０１とＰ_２１のみを代表値（サンプリング点）とし、Ｐ_０２乃至Ｐ_３２の４画素に対してはＰ_０２とＰ_２２のみ代表値（サンプリング点）とし、Ｐ_０３乃至Ｐ_３３の４画素に対してはＰ_０３とＰ_２３のみ代表値（サンプリング点）とする。

１フレーム間の垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合は、垂直方向の４画素のうち２つの画素値を有効とする。例えば、図５（ｃ）に示すように、Ｐ_００乃至Ｐ_０３の４画素のうちＰ_００およびＰ_０２を代表値（サンプリング点）として有効にする。その他の画素値は無効とする。同様に、Ｐ_１０乃至Ｐ_１３の４画素に対してはＰ_１０およびＰ_１２を代表値（サンプリング点）とし、Ｐ_２０乃至Ｐ_２３の４画素に対してはＰ_２０およびＰ_２２を代表値（サンプリング点）とし、Ｐ_３０乃至Ｐ_３３の４画素に対してはＰ_３０およびＰ_３２を代表値（サンプリング点）とする。

さらにブロック処理部１１６は、時間方向の間引き、すなわち、フレーム数の間引き処理を行う。連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックに対して、その中の２つのブロックを有効にするフレーム数の間引き処理を実行する。フレーム数の間引き処理においては、図６に示すように、連続する４枚のフレームＦ１乃至Ｆ４のぞれぞれの同一位置にある合計４個のブロックＢｉを、その中のいずれか２つ（図の例では、フレームＦ１、Ｆ３の２個のブロック）にするフレーム数の間引き（２フレーム間のフレーム数の間引き）を行う。選択された２つのブロックの画素データが４フレームに対応するサンプリング点データとなる。この場合、図５を参照して説明した空間方向の間引きにおいて、すでに１ブロックに８つのサンプリング点選択が実行済みであり、２ブロックから総計１６のサンプリング点が選択され、これらが４フレームに対応するサンプリング点データとして設定されることになる。

ブロック処理部１１６は、図５を参照して説明したデータ量を１／２とする空間方向間引き処理と、図６を参照して説明したデータ量を１／２とする時間方向間引き処理を、供給された４個のブロックに対して施すので、結果として４個のブロックのデータ量が（１／２）×（１／２）＝１／４に削減される。なお、後述するように、本発明のブロック処理部１１５では、この空間方向および時間方向間引き処理を、サンプリング点を変更した複数態様で実行して、複数の階層信号を生成する。これらの処理については後段で詳細に説明する。

次に、本発明の動画像圧縮装置におけるブロック処理部１１４〜１１６と、パック処理部１１７〜１１９の構成および処理について、図７以下を参照して説明する。ブロック処理部１１４〜１１６と、パック処理部１１７〜１１９は、いずれも同様の構成を持ち、図７に示す構成を有し、異なるｎ階層の階層信号［Ｌ１］〜［Ｌｎ］を生成する。ただし、ブロック処理部１１４〜１１６と、パック処理部１１７〜１１９それぞれにおいて実行する処理は異なる。

空間方向の間引き処理を実行するブロック処理部１１４は、第１〜第ｎ階層信号対応ブロック処理部１３１−１〜ｎにおいて、異なる空間方向間引き処理を実行して複数の階層信号対応の間引きデータを生成し、第１〜第ｎ階層信号対応パック処理部１３２−１〜ｎの各々は、これらの複数の階層信号対応の空間方向間引きデータについてそれぞれ個別にパック処理を実行して複数の異なるパックブロックを生成する。

時間方向の間引き処理を実行するブロック処理部１１５は、第１〜第ｎ階層信号対応ブロック処理部１３１−１〜ｎにおいて、異なる時間方向間引き処理を実行して複数の階層信号対応の間引きデータを生成し、第１〜第ｎ階層信号対応パック処理部１３２−１〜ｎの各々は、これらの複数の階層信号対応の時間方向間引きデータについてそれぞれ個別にパック処理を実行して複数の異なるパックブロックを生成する。

空間および時間方向の間引き処理を実行するブロック処理部１１６は、第１〜第ｎ階層信号対応ブロック処理部１３１−１〜ｎにおいて、異なる空間および時間方向間引き処理を実行して複数の階層信号対応の間引きデータを生成し、第１〜第ｎ階層信号対応パック処理部１３２−１〜ｎの各々は、これらの複数の階層信号対応の空間および時間方向間引きデータについてそれぞれ個別にパック処理を実行して複数の異なるパックブロックを生成する。

第１〜第ｎ階層信号対応パック処理部１３２−１〜１３２−ｎ各々の出力が、第１〜第ｎ階層信号：［Ｌ１］〜［Ｌｎ］として、出力部１２０を介して、符号化部１５０に入力され、各階層信号：［Ｌ１］〜［Ｌｎ］に対応する符号化されたストリーム信号：［Ｓｔ１］〜［Ｓｔｎ］として出力される。

以下、図８以下を参照して、間引き処理およびパック処理単位を４フレームとし、出力する階層信号を第１〜第４の４階層信号：［Ｌ１］〜［Ｌ４］とした場合の、ブロック処理部１１４〜１１６、およびパック処理部１１７〜１１９の各処理例について説明する。

（空間方向間引きおよびパック処理）
まず、空間方向間引き処理を実行するブロック処理部１１４とパック処理部１１７の処理について、図８〜図１１を参照して説明する。ブロック処理部１１４は、図７に示す第１〜第ｎ階層信号対応ブロック処理部１３１−１〜ｎにおいて、異なるサンプリング点を設定した空間方向間引き処理を実行し、第１〜第ｎ階層信号対応パック処理部１３２−１〜ｎの各々において、これら異なる複数の空間方向間引きデータに対するパック処理によって複数の異なるパックブロックとしての階層信号［Ｌ１］〜［Ｌｎ］を生成する。

なお、図８〜図１１では、処理対象ブロックが水平方向の移動量を持つブロックであり、水平方向に１／４間引きを行なう処理例について説明する。処理対象ブロックが垂直方向の移動量を持つブロックである場合は、間引き処理およびパック処理の方向を垂直方向に変更した処理として実行することになる。

図８は、空間方向間引き処理を実行するブロック処理部１１４の第１階層信号対応ブロック処理部１３１−１の空間方向間引き処理と、パック処理部１１７の第１階層信号対応パック処理部１３２−１の実行するパック処理を説明する図である。図には、
（Ａ）ブロック処理部に対する入力ブロック
（Ｂ）ブロック処理部の処理
（Ｃ）パック処理部の処理
をそれぞれ示してある。

（Ａ）ブロック処理部１３１−１に対する入力ブロックには、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する同一画素位置にある４ブロックの画素データ、Ａ１〜Ｄ１、Ａ２〜Ｄ２、Ａ３〜Ｄ３、Ａ４〜Ｄ４の画素データを示している。この画素データ構成は簡略化して示したものであり、例えば処理単位としてのブロックは４×４画素である場合、図８（１）処理ブロック例に示すように４×４画素の構成を持つブロックが各フレーム１〜４に対応する処理ブロック群として設定される。ブロックの水平方向の行においては、すべて同一の処理が行なわれるので、その１つの処理例を（Ａ）〜（Ｃ）として示している。

（Ｂ）ブロック処理部１３１−１の処理は、各フレーム１〜４の各入力ブロックについて、左から２番目の画素位置［Ｂ］をサンプリング点として取得し、このサンプリング画素データのみを出力データとして設定する空間方向間引き処理を実行する。すなわち、
フレーム１のブロックについては、Ａ１〜Ｄ１からＢ１、
フレーム２のブロックについては、Ａ２〜Ｄ２からＢ２、
フレーム３のブロックについては、Ａ３〜Ｄ３からＢ３、
フレーム４のブロックについては、Ａ４〜Ｄ４からＢ４、
の各画素をサンプリング画素として取得する。

なお、この処理は、（１）処理ブロック例に示すように４×４画素の構成を持つブロックに対して実行する場合、例えばフレーム１についてのサンプリング画素は、４×４＝１６画素中、左から２番目の列のＢ１０〜Ｂ１３の４画素となる。図８（Ｂ）ブロック処理部の処理に示すフレーム１の［Ｂ１］は、これらのＢ１０〜Ｂ１３の４画素に相当する。他のフレームに対応するサンプリング画素［Ｂ２］〜［Ｂ４］も同様である。

次に、（Ｃ）パック処理部１３２−１の処理は、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する間引き後の画素データ［Ｂ１］〜［Ｂ４］を集積したパックブロック３０１を生成する処理である。４フレーム各々の４×４のブロックを１／４空間間引きした処理によって生成されるパックブロックは図に示すパックブロック３１１となる。すなわち、各フレーム対応のブロックの左から２番目の画素データのみによって構成される４×４画素のブロックが生成される。

このパックブロック３０１（具体的には例えばパックブロック３１１）が第１階層信号［Ｌ１］として設定される。第１階層信号［Ｌ１］は、原信号の１／４のデータ量となっている。この第１階層信号［Ｌ１］は、出力部１２０（図２参照）を介して符号化部１５０（図１参照）に入力されて符号化処理がなされ、第１階層信号［Ｌ１］に対応する第１階層ストリーム信号［Ｓｔ１］として出力される。

図９は、空間方向間引き処理を実行するブロック処理部１１４の第２階層信号対応ブロック処理部１３１−２の空間方向間引き処理と、パック処理部１１７の第２階層信号対応パック処理部１３２−２の実行するパック処理を説明する図である。

（Ａ）ブロック処理部１３１−２に対する入力ブロックには、図８を参照して説明したブロック処理部１３１−１に対する入力ブロックと同様、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する同一画素位置にある４ブロックの画素データ、Ａ１〜Ｄ１、Ａ２〜Ｄ２、Ａ３〜Ｄ３、Ａ４〜Ｄ４の画素データである。

（Ｂ）ブロック処理部１３１−２の処理は、各フレーム１〜４の各入力ブロックについて、先に図８を参照して説明したブロック処理部１３１−１の処理と異なり、左から４番目の画素位置［Ｄ］をサンプリング点として取得し、このサンプリング画素データのみを出力データとして設定する空間方向間引き処理を実行する。すなわち、
フレーム１のブロックについては、Ａ１〜Ｄ１からＤ１、
フレーム２のブロックについては、Ａ２〜Ｄ２からＤ２、
フレーム３のブロックについては、Ａ３〜Ｄ３からＤ３、
フレーム４のブロックについては、Ａ４〜Ｄ４からＤ４、
の各画素をサンプリング画素として取得する。

なお、この処理は、（１）処理ブロック例に示すように４×４画素の構成を持つブロックに対して実行する場合、例えばフレーム１についてのサンプリング画素は、４×４＝１６画素中、左から４番目の列のＤ１０〜Ｄ１３の４画素となる。図９（Ｂ）ブロック処理部の処理に示すフレーム１の［Ｄ１］は、これらのＤ１０〜Ｄ１３の４画素に相当する。他のフレームに対応するサンプリング画素［Ｄ２］〜［Ｄ４］も同様である。

次に、（Ｃ）パック処理部１３２−２の処理は、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する間引き後の画素データ［Ｄ１］〜［Ｄ４］を集積したパックブロック３０２を生成する処理である。なお、このパックブロック３０２は、図８を参照して説明したと同様、４フレーム各々の４×４のブロックを１／４空間間引きした処理によって生成される場合、各フレーム対応のブロックの左から４番目の画素データのみによって構成される４×４画素のブロックとして成される。

このパックブロック３０２が第２階層信号［Ｌ２］として設定される。第２階層信号［Ｌ２］は、原信号の１／４のデータ量となっている。この第２階層信号［Ｌ２］は、出力部１２０（図２参照）を介して符号化部１５０（図１参照）に入力されて符号化処理がなされ、第２階層信号［Ｌ２］に対応する第２階層ストリーム信号［Ｓｔ２］として出力される。

図１０は、空間方向間引き処理を実行するブロック処理部１１４の第３階層信号対応ブロック処理部１３１−３の空間方向間引き処理と、パック処理部１１７の第３階層信号対応パック処理部１３２−３の実行するパック処理を説明する図である。

（Ａ）ブロック処理部１３１−３に対する入力ブロックには、図８を参照して説明したブロック処理部１３１−１に対する入力ブロックと同様、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する同一画素位置にある４ブロックの画素データ、Ａ１〜Ｄ１、Ａ２〜Ｄ２、Ａ３〜Ｄ３、Ａ４〜Ｄ４の画素データである。

（Ｂ）ブロック処理部１３１−３の処理は、各フレーム１〜４の各入力ブロックについて、左から３番目の画素位置［Ｃ］をサンプリング点として取得し、このサンプリング画素データのみを出力データとして設定する空間方向間引き処理を実行する。すなわち、
フレーム１のブロックについては、Ａ１〜Ｄ１からＣ１、
フレーム２のブロックについては、Ａ２〜Ｄ２からＣ２、
フレーム３のブロックについては、Ａ３〜Ｄ３からＣ３、
フレーム４のブロックについては、Ａ４〜Ｄ４からＣ４、
の各画素をサンプリング画素として取得する。

なお、この処理は、（１）処理ブロック例に示すように４×４画素の構成を持つブロックに対して実行する場合、例えばフレーム１についてのサンプリング画素は、４×４＝１６画素中、左から３番目の列のＣ１０〜Ｃ１３の４画素となる。図１０（Ｂ）ブロック処理部の処理に示すフレーム１の［Ｃ１］は、これらのＣ１０〜Ｃ１３の４画素に相当する。他のフレームに対応するサンプリング画素［Ｃ２］〜［Ｃ４］も同様である。

次に、（Ｃ）パック処理部１３２−３の処理は、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する間引き後の画素データ［Ｃ１］〜［Ｃ４］を集積したパックブロック３０３を生成する処理である。なお、このパックブロック３０３は、図８を参照して説明したと同様、４フレーム各々の４×４のブロックを１／４空間間引きした処理によって生成される場合、各フレーム対応のブロックの左から３番目の画素データのみによって構成される４×４画素のブロックとして成される。

このパックブロック３０３が第３階層信号［Ｌ３］として設定される。第３階層信号［Ｌ３］は、原信号の１／４のデータ量となっている。この第３階層信号［Ｌ３］は、出力部１２０（図２参照）を介して符号化部１５０（図１参照）に入力されて符号化処理がなされ、第３階層信号［Ｌ３］に対応する第３階層ストリーム信号［Ｓｔ３］として出力される。

図１１は、空間方向間引き処理を実行するブロック処理部１１４の第４階層信号対応ブロック処理部１３１−４の空間方向間引き処理と、パック処理部１１７の第４階層信号対応パック処理部１３２−４の実行するパック処理を説明する図である。

（Ａ）ブロック処理部１３１−４に対する入力ブロックには、図８を参照して説明したブロック処理部１３１−１に対する入力ブロックと同様、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する同一画素位置にある４ブロックの画素データ、Ａ１〜Ｄ１、Ａ２〜Ｄ２、Ａ３〜Ｄ３、Ａ４〜Ｄ４の画素データである。

（Ｂ）ブロック処理部１３１−４の処理は、各フレーム１〜４の各入力ブロックについて、左から１番目の画素位置［Ａ］をサンプリング点として取得し、このサンプリング画素データのみを出力データとして設定する空間方向間引き処理を実行する。すなわち、
フレーム１のブロックについては、Ａ１〜Ｄ１からＡ１、
フレーム２のブロックについては、Ａ２〜Ｄ２からＡ２、
フレーム３のブロックについては、Ａ３〜Ｄ３からＡ３、
フレーム４のブロックについては、Ａ４〜Ｄ４からＡ４、
の各画素をサンプリング画素として取得する。

なお、この処理は、（１）処理ブロック例に示すように４×４画素の構成を持つブロックに対して実行する場合、例えばフレーム１についてのサンプリング画素は、４×４＝１６画素中、左から１番目の列のＡ１０〜Ａ１３の４画素となる。図１１（Ｂ）ブロック処理部の処理に示すフレーム１の［Ａ１］は、これらのＡ１０〜Ａ１３の４画素に相当する。他のフレームに対応するサンプリング画素［Ａ２］〜［Ａ４］も同様である。

次に、（Ｃ）パック処理部１３２−４の処理は、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する間引き後の画素データ［Ａ１］〜［Ａ４］を集積したパックブロック３０４を生成する処理である。なお、このパックブロック３０４は、図８を参照して説明したと同様、４フレーム各々の４×４のブロックを１／４空間間引きした処理によって生成される場合、各フレーム対応のブロックの左から１番目の画素データのみによって構成される４×４画素のブロックとして成される。

このパックブロック３０４が第４階層信号［Ｌ４］として設定される。第４階層信号［Ｌ４］は、原信号の１／４のデータ量となっている。この第４階層信号［Ｌ４］は、出力部１２０（図２参照）を介して符号化部１５０（図１参照）に入力されて符号化処理がなされ、第４階層信号［Ｌ４］に対応する第４階層ストリーム信号［Ｓｔ４］として出力される。

このように図２に示す空間方向間引き処理を実行するブロック処理部１１４およびパック処理部１１７では、異なるサンプリング点を設定した空間間引き処理およびパック処理を実行して、異なる信号構成データからなる複数の階層信号［Ｌ１］〜［Ｌｎ］を生成する。

（時間方向間引きおよびパック処理）
次に、時間方向間引き処理を実行する図２に示すブロック処理部１１５とパック処理部１１８の実行処理について、図１２〜図１５を参照して説明する。ブロック処理部１１５は、図７に示す第１〜第ｎ階層信号対応ブロック処理部１３１−１〜ｎにおいて、異なるサンプリング点としてのサンプリングフレームを設定した時間方向間引き処理を実行し、第１〜第ｎ階層信号対応パック処理部１３２−１〜ｎの各々において、これら異なる複数の時間方向間引きデータに対するパック処理によって複数の異なるパックブロックとしての階層信号［Ｌ１］〜［Ｌｎ］を生成する。

なお、図１２〜図１５においても、先に図８〜図１１を参照して説明した処理と同様、１／４間引きを行なう処理例について説明する。

図１２は、時間方向間引き処理を実行するブロック処理部１１５の第１階層信号対応ブロック処理部１３１−１の時間方向間引き処理と、パック処理部１１８の第１階層信号対応パック処理部１３２−１の実行するパック処理を説明する図である。図には、
（Ａ）ブロック処理部に対する入力ブロック
（Ｂ）ブロック処理部の処理
（Ｃ）パック処理部の処理
をそれぞれ示してある。

（Ａ）ブロック処理部１３１−１に対する入力ブロックは、前述した空間方向間引き処理例と同様、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する同一画素位置にある４ブロックの画素データ、Ａ１〜Ｄ１、Ａ２〜Ｄ２、Ａ３〜Ｄ３、Ａ４〜Ｄ４である。

（Ｂ）ブロック処理部１３１−１の処理は、各フレーム１〜４の各入力ブロックから、１つのフレーム対応のブロックをサンプリングフレームとして選択する処理であり、ブロック処理部１３１−１は、フレーム１のブロックをサンプリング点として取得し、このサンプリング画素データのみを出力データとして設定する時間方向間引き処理を実行する。すなわち、
フレーム１のブロックＡ１〜Ｄ１
の各画素をサンプリング画素として取得する。

なお、この処理は、（１）処理ブロック例に示すように４×４画素の構成を持つブロックに対して実行する場合、フレーム１の４×４＝１６画素が、そのまま、サンプル画素として選択され、その他のフレーム２〜４の画素は出力テータには含まれないことになる。

次に、（Ｃ）パック処理部１３２−１の処理は、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する間引き後の画素データ［Ａ１］〜［Ｄ１］を集積したパックブロック３２１を生成する処理である。これは、ブロック処理部１３１−１の出力をそのままパックブロックとして設定する処理である。４フレーム各々の４×４のブロックを１／４時間間引きした処理によって生成されるパックブロックは図に示すパックブロック３３１となる。すなわち、フレーム１のブロック画素データのみによって構成される４×４画素のブロックが生成される。

このパックブロック３２１（具体的には例えばパックブロック３３１）が第１階層信号［Ｌ１］として設定される。第１階層信号［Ｌ１］は、原信号の１／４のデータ量となっている。この第１階層信号［Ｌ１］は、出力部１２０（図２参照）を介して符号化部１５０（図１参照）に入力されて符号化処理がなされ、第１階層信号［Ｌ１］に対応する第１階層ストリーム信号［Ｓｔ１］として出力される。

図１３は、時間方向間引き処理を実行するブロック処理部１１４の第２階層信号対応ブロック処理部１３１−２の時間方向間引き処理と、パック処理部１１７の第２階層信号対応パック処理部１３２−２の実行するパック処理を説明する図である。

（Ａ）ブロック処理部１３１−２に対する入力ブロックには、図８を参照して説明したブロック処理部１３１−１に対する入力ブロックと同様、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する同一画素位置にある４ブロックの画素データ、Ａ１〜Ｄ１、Ａ２〜Ｄ２、Ａ３〜Ｄ３、Ａ４〜Ｄ４の画素データである。

（Ｂ）ブロック処理部１３１−２の処理は、各フレーム１〜４の各入力ブロックから、１つのフレーム対応のブロックをサンプリングフレームとして選択する処理であり、ブロック処理部１３１−２は、フレーム３のブロックをサンプリング点として取得し、このサンプリング画素データのみを出力データとして設定する時間方向間引き処理を実行する。すなわち、
フレーム３のブロックＡ３〜Ｄ３
の各画素をサンプリング画素として取得する。

次に、（Ｃ）パック処理部１３２−２の処理は、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する間引き後の画素データ［Ａ３］〜［Ｄ３］を集積したパックブロック３２２を生成する処理である。これは、ブロック処理部１３１−１の出力をそのままパックブロックとして設定する処理である。なお、このパックブロック３２２は、図１２を参照して説明したと同様、４×４のブロックを１／４時間方向間引きした処理によって生成される場合、フレーム３対応のブロックのみによって構成される４×４画素のブロックとして成される。

このパックブロック３２２が第２階層信号［Ｌ２］として設定される。第２階層信号［Ｌ２］は、原信号の１／４のデータ量となっている。この第２階層信号［Ｌ２］は、出力部１２０（図２参照）を介して符号化部１５０（図１参照）に入力されて符号化処理がなされ、第２階層信号［Ｌ２］に対応する第２階層ストリーム信号［Ｓｔ２］として出力される。

図１４は、時間方向間引き処理を実行するブロック処理部１１４の第３階層信号対応ブロック処理部１３１−３の時間方向間引き処理と、パック処理部１１７の第３階層信号対応パック処理部１３２−３の実行するパック処理を説明する図である。

（Ａ）ブロック処理部１３１−３に対する入力ブロックには、図８を参照して説明したブロック処理部１３１−３に対する入力ブロックと同様、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する同一画素位置にある４ブロックの画素データ、Ａ１〜Ｄ１、Ａ２〜Ｄ２、Ａ３〜Ｄ３、Ａ４〜Ｄ４の画素データである。

（Ｂ）ブロック処理部１３１−３の処理は、各フレーム１〜４の各入力ブロックから、１つのフレーム対応のブロックをサンプリングフレームとして選択する処理であり、ブロック処理部１３１−３は、フレーム２のブロックをサンプリング点として取得し、このサンプリング画素データのみを出力データとして設定する時間方向間引き処理を実行する。すなわち、
フレーム２のブロックＡ２〜Ｄ２
の各画素をサンプリング画素として取得する。

次に、（Ｃ）パック処理部１３２−３の処理は、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する間引き後の画素データ［Ａ２］〜［Ｄ２］を集積したパックブロック３２３を生成する処理である。これは、ブロック処理部１３１−１の出力をそのままパックブロックとして設定する処理である。なお、このパックブロック３２３は、図１２を参照して説明したと同様、４×４のブロックを１／４時間方向間引きした処理によって生成される場合、フレーム２対応のブロックのみによって構成される４×４画素のブロックとして成される。

このパックブロック３２３が第３階層信号［Ｌ３］として設定される。第３階層信号［Ｌ３］は、原信号の１／４のデータ量となっている。この第３階層信号［Ｌ３］は、出力部１２０（図２参照）を介して符号化部１５０（図１参照）に入力されて符号化処理がなされ、第３階層信号［Ｌ３］に対応する第３階層ストリーム信号［Ｓｔ３］として出力される。

図１５は、時間方向間引き処理を実行するブロック処理部１１４の第４階層信号対応ブロック処理部１３１−４の時間方向間引き処理と、パック処理部１１７の第４階層信号対応パック処理部１３２−４の実行するパック処理を説明する図である。

（Ａ）ブロック処理部１３１−４に対する入力ブロックには、図８を参照して説明したブロック処理部１３１−４に対する入力ブロックと同様、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する同一画素位置にある４ブロックの画素データ、Ａ１〜Ｄ１、Ａ２〜Ｄ２、Ａ３〜Ｄ３、Ａ４〜Ｄ４の画素データである。

（Ｂ）ブロック処理部１３１−４の処理は、各フレーム１〜４の各入力ブロックから、１つのフレーム対応のブロックをサンプリングフレームとして選択する処理であり、ブロック処理部１３１−４は、フレーム４のブロックをサンプリング点として取得し、このサンプリング画素データのみを出力データとして設定する時間方向間引き処理を実行する。すなわち、
フレーム４のブロックＡ４〜Ｄ４
の各画素をサンプリング画素として取得する。

次に、（Ｃ）パック処理部１３２−４の処理は、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する間引き後の画素データ［Ａ４］〜［Ｄ４］を集積したパックブロック３２４を生成する処理である。これは、ブロック処理部１３１−１の出力をそのままパックブロックとして設定する処理である。なお、このパックブロック３２４は、図１２を参照して説明したと同様、４×４のブロックを１／４時間方向間引きした処理によって生成される場合、フレーム４対応のブロックのみによって構成される４×４画素のブロックとして成される。

このパックブロック３２４が第４階層信号［Ｌ４］として設定される。第４階層信号［Ｌ４］は、原信号の１／４のデータ量となっている。この第４階層信号［Ｌ４］は、出力部１２０（図２参照）を介して符号化部１５０（図１参照）に入力されて符号化処理がなされ、第４階層信号［Ｌ４］に対応する第３階層ストリーム信号［Ｓｔ４］として出力される。

このように図２に示す時間方向間引き処理を実行するブロック処理部１１５およびパック処理部１１８では、異なるサンプリング点としてのサンプリングフレームを設定した時間方向間引き処理およびパック処理を実行して、異なる信号構成データからなる複数の階層信号［Ｌ１］〜［Ｌｎ］を生成する。

（空間方向および時間方向間引きおよびパック処理）
次に、空間方向および時間方向間引き処理を実行する図２に示すブロック処理部１１６とパック処理部１１９の実行処理について、図１６〜図１９を参照して説明する。ブロック処理部１１６は、図７に示す第１〜第ｎ階層信号対応ブロック処理部１３１−１〜ｎにおいて、異なるサンプリング点としてのサンプリングフレームを設定した空間方向および時間方向間引き処理を実行し、第１〜第ｎ階層信号対応パック処理部１３２−１〜ｎの各々において、これら異なる複数の空間方向および時間方向間引きデータに対するパック処理によって複数の異なるパックブロックとしての階層信号［Ｌ１］〜［Ｌｎ］を生成する。

なお、図１６〜図１９においても、先に図８〜図１１を参照して説明した処理と同様、１／４間引きを行なう処理例について説明する。

図１６は、空間方向および時間方向間引き処理を実行するブロック処理部１１６の第１階層信号対応ブロック処理部１３１−１の時間方向間引き処理と、パック処理部１１９の第１階層信号対応パック処理部１３２−１の実行するパック処理を説明する図である。図には、
（Ａ）ブロック処理部に対する入力ブロック
（Ｂ）ブロック処理部の処理
（Ｃ）パック処理部の処理
をそれぞれ示してある。

（Ａ）ブロック処理部１３１−１に対する入力ブロックは、前述した空間方向間引き処理例と同様、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する同一画素位置にある４ブロックの画素データ、Ａ１〜Ｄ１、Ａ２〜Ｄ２、Ａ３〜Ｄ３、Ａ４〜Ｄ４である。

（Ｂ）ブロック処理部１３１−１の処理は、各フレーム１〜４の各入力ブロックから、第１および第３フレームをサンプリングフレームとして、さらに、各サンプリングフレームから一番左と左から３番目の画素データをサンプリング画素として設定し、サンプリング画素を出力データとして設定する空間方向および時間方向間引き処理を実行する。すなわち、
フレーム１のブロック構成画素Ａ１〜Ｄ１中の画素Ａ１とＣ１、
フレーム３のブロック構成画素Ａ３〜Ｄ３中の画素Ａ３とＣ３、
の各画素をサンプリング画素として取得する。

なお、この処理は、（１）処理ブロック例に示すように４×４画素の構成を持つブロックに対して実行する場合、フレーム１の４×４＝１６画素中、Ａ００〜Ａ１３とＣ００〜Ｃ１３の８画素がフレーム１対応ブロックから取得されることを意味する。図に示す（Ｂ）ブロック処理部の処理中のＡ１、Ｃ１がこれらの画素に対応する。フレーム３の画素も同様の処理態様でサンプル点から８画素が取得される。図に示す（Ｂ）ブロック処理部の処理中のＡ３、Ｃ３がこれらの画素に対応する。

次に、（Ｃ）パック処理部１３２−１の処理は、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する間引き後の画素データ［Ａ１］、［Ｃ１］、［Ａ３］、［Ｃ３］を集積したパックブロック３４１を生成する処理である。４フレーム各々の４×４のブロックを１／２空間間引きおよび１／２時間間引きした処理によって生成されるパックブロックは図に示すパックブロック３５１となる。すなわち、フレーム１とフレーム３の各８画素データのみによって構成される４×４画素のブロックが生成される。

このパックブロック３４１（具体的には例えばパックブロック３５１）が第１階層信号［Ｌ１］として設定される。第１階層信号［Ｌ１］は、原信号の１／４のデータ量となっている。この第１階層信号［Ｌ１］は、出力部１２０（図２参照）を介して符号化部１５０（図１参照）に入力されて符号化処理がなされ、第１階層信号［Ｌ１］に対応する第１階層ストリーム信号［Ｓｔ１］として出力される。

図１７は、空間方向および時間方向間引き処理を実行するブロック処理部１１４の第２階層信号対応ブロック処理部１３１−２の時間方向間引き処理と、パック処理部１１７の第２階層信号対応パック処理部１３２−２の実行するパック処理を説明する図である。

（Ａ）ブロック処理部１３１−２に対する入力ブロックには、図８を参照して説明したブロック処理部１３１−１に対する入力ブロックと同様、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する同一画素位置にある４ブロックの画素データ、Ａ１〜Ｄ１、Ａ２〜Ｄ２、Ａ３〜Ｄ３、Ａ４〜Ｄ４の画素データである。

（Ｂ）ブロック処理部１３１−２の処理は、各フレーム１〜４の各入力ブロックから、第２および第４フレームをサンプリングフレームとして、さらに、各サンプリングフレームから一番左と左から３番目の画素データをサンプリング画素として設定し、サンプリング画素を出力データとして設定する空間方向および時間方向間引き処理を実行する。すなわち、
フレーム２のブロック構成画素Ａ２〜Ｄ２中の画素Ａ２とＣ２、
フレーム４のブロック構成画素Ａ４〜Ｄ４中の画素Ａ４とＣ４、
の各画素をサンプリング画素として取得する。

次に、（Ｃ）パック処理部１３２−２の処理は、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する間引き後の画素データ［Ａ２］、［Ｃ２］、［Ａ４］、［Ｃ４］を集積したパックブロック３４２を生成する処理である。

このパックブロック３４２が第２階層信号［Ｌ２］として設定される。第２階層信号［Ｌ２］は、原信号の１／４のデータ量となっている。この第２階層信号［Ｌ２］は、出力部１２０（図２参照）を介して符号化部１５０（図１参照）に入力されて符号化処理がなされ、第２階層信号［Ｌ２］に対応する第２階層ストリーム信号［Ｓｔ２］として出力される。

図１８は、空間方向および時間方向間引き処理を実行するブロック処理部１１４の第２階層信号対応ブロック処理部１３１−３の時間方向間引き処理と、パック処理部１１７の第３階層信号対応パック処理部１３２−３の実行するパック処理を説明する図である。

（Ａ）ブロック処理部１３１−３に対する入力ブロックには、図８を参照して説明したブロック処理部１３１−１に対する入力ブロックと同様、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する同一画素位置にある４ブロックの画素データ、Ａ１〜Ｄ１、Ａ２〜Ｄ２、Ａ３〜Ｄ３、Ａ４〜Ｄ４の画素データである。

（Ｂ）ブロック処理部１３１−３の処理は、各フレーム１〜４の各入力ブロックから、第１および第３フレームをサンプリングフレームとして、さらに、各サンプリングフレームから一番左から２番目と３番目の画素データをサンプリング画素として設定し、サンプリング画素を出力データとして設定する空間方向および時間方向間引き処理を実行する。すなわち、
フレーム１のブロック構成画素Ａ１〜Ｄ１中の画素Ｂ１とＤ１、
フレーム３のブロック構成画素Ａ３〜Ｄ３中の画素Ｂ３とＤ３、
の各画素をサンプリング画素として取得する。

次に、（Ｃ）パック処理部１３２−３の処理は、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する間引き後の画素データ［Ｂ１］、［Ｄ１］、［Ｂ３］、［Ｄ３］を集積したパックブロック３４３を生成する処理である。

このパックブロック３４３が第３階層信号［Ｌ３］として設定される。第３階層信号［Ｌ３］は、原信号の１／４のデータ量となっている。この第３階層信号［Ｌ３］は、出力部１２０（図２参照）を介して符号化部１５０（図１参照）に入力されて符号化処理がなされ、第３階層信号［Ｌ３］に対応する第３階層ストリーム信号［Ｓｔ３］として出力される。

図１９は、空間方向および時間方向間引き処理を実行するブロック処理部１１４の第２階層信号対応ブロック処理部１３１−４の時間方向間引き処理と、パック処理部１１７の第３階層信号対応パック処理部１３２−４の実行するパック処理を説明する図である。

（Ａ）ブロック処理部１３１−４に対する入力ブロックには、図８を参照して説明したブロック処理部１３１−１に対する入力ブロックと同様、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する同一画素位置にある４ブロックの画素データ、Ａ１〜Ｄ１、Ａ２〜Ｄ２、Ａ３〜Ｄ３、Ａ４〜Ｄ４の画素データである。

（Ｂ）ブロック処理部１３１−４の処理は、各フレーム１〜４の各入力ブロックから、第２および第４フレームをサンプリングフレームとして、さらに、各サンプリングフレームから一番左から２番目と３番目の画素データをサンプリング画素として設定し、サンプリング画素を出力データとして設定する空間方向および時間方向間引き処理を実行する。すなわち、
フレーム２のブロック構成画素Ａ２〜Ｄ２中の画素Ｂ２とＤ２、
フレーム４のブロック構成画素Ａ４〜Ｄ４中の画素Ｂ４とＤ４、
の各画素をサンプリング画素として取得する。

次に、（Ｃ）パック処理部１３２−４の処理は、間引き処理およびパック処理単位フレームとして設定される４フレームに対応する間引き後の画素データ［Ｂ２］、［Ｄ２］、［Ｂ４］、［Ｄ４］を集積したパックブロック３４４を生成する処理である。

このパックブロック３４４が第４階層信号［Ｌ４］として設定される。第４階層信号［Ｌ３］は、原信号の１／４のデータ量となっている。この第３階層信号［Ｌ３］は、出力部１２０（図２参照）を介して符号化部１５０（図１参照）に入力されて符号化処理がなされ、第４階層信号［Ｌ４］に対応する第４階層ストリーム信号［Ｓｔ４］として出力される。

このように図２に示す空間方向および時間方向間引き処理を実行するブロック処理部１１６およびパック処理部１１９では、異なるサンプリング点としてのサンプリングフレームを設定した空間方向および時間方向間引き処理およびパック処理を実行して、異なる信号構成データからなる複数の階層信号［Ｌ１］〜［Ｌｎ］を生成する。

上述したように、図２に示す各ブロック処理部１１４〜１１６とパック処理部１１７〜１１９は、ブロック分配部１１３からブロック対応の移動量に基づいて振り分けられるブロックについて、それぞれ空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理を実行して、かつ、異なるサンプル点からなる複数のパックブロックとしての階層信号［Ｌ１］〜［Ｌｎ］を生成して、出力部１２０を介して符号化部１５０に出力する。

例えば４フレームを処理単位として設定した場合の、階層信号は、図２０に示すような設定となる。フレームｋ〜ｋ＋３の４つの入力ストリームに対応する４フレーム対応ブロックについて、４つの階層信号［Ｌ１］〜［Ｌ４］が生成される。フレームｋ＋４〜ｋ＋７の４つの入力ストリームについても、４フレーム対応ブロックについて、４つの階層信号［Ｌ１］〜［Ｌ４］が生成される。以下各４フレーム毎に同様に４つの階層信号［Ｌ１］〜［Ｌ４］が生成されて出力部１２０を介して符号化部１５０に入力され、４つの異なるデータ構成からなるスリーム信号［Ｓｔ１］〜［Ｓｔ４］として出力されることになる。

画像圧縮装置における出力部１２０は、上述したパック処理部１１７乃至１１９の処理によって生成されたパックブロックとしての階層信号［Ｌ１］〜［Ｌｎ］に対し、図示しない制御部から供給されるブロック処理情報に基づき、ブロック単位で選択されたパック処理部からの画像信号を選択し、第１階層信号［Ｌ１］から第ｎ階層信号［Ｌｎ］として符号化部１５０に供給する。

次に、符号化部１５０の構成および処理について、図２１を参照して説明する。符号化部１５０は、画像変換部１１０から出力される階層信号［Ｌ１］〜［Ｌｎ］毎に対応する画像符号化部１５１−１〜１５１−ｎを持ち、各画像符号化部は制御部１５４から供給される所定の符号化ビットレート情報に従って、各階層信号［Ｌ１］〜［Ｌｎ］の符号化処理を行い、各階層信号［Ｌ１］〜［Ｌｎ］に対応するストリーム信号［Ｓｔ１］〜［Ｓｔｎ］を生成して生成ストリームを出力する。

例えば、画像符号化部１５１−１は、第１階層信号［Ｌ１］に対し、制御部１５４から供給される第１階層に対する設定ビットレートに従って符号化処理を行ない、第１階層ストリーム［Ｓｔ１］を生成して出力する。同様に、画像符号化部１５１−ｎは、第ｎ階層信号［Ｌ７］に対し、制御部１５４から供給される第ｎ階層に対する設定ビットレートに従って符号化処理を行ない、第ｎ階層ストリーム［Ｓｔｎ］を生成して出力する。なお、制御部１２４は、第１階層から第ｎ階層に対するビットレートを全て同じレートに設定しても良いし、第１階層に対するビットレートを最大とし、第ｎ階層に対するビットレートを最小とするように段階的なビットレート制御を行なっても良い。全階層のビットレートを同等にする場合には、受信側では任意の階層をベースレイヤとして扱うことが可能となる。また、画像符号化部１５１−１乃至１５１−ｎは、様々な符号化方法が適用可能である。たとえば、動画像圧縮に適したＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式を用いたり、静止画像圧縮に適したＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式を用いることが可能である。

エントロピー符号化部１５３は、画像変換部１１０から供給されるブロック処理情報［Ｉｎｆ］に対し、可逆式の符号化処理を行ない、ブロック処理情報ストリーム［Ｓｔ−Ｉｎｆ］を出力する。ここで、エントロピー符号化方式は、可逆なものであればどのような方式を用いても構わない。

なお、ブロック処理情報［Ｉｎｆ］は、ブロック分配部１１３において決定されたブロック処理方法、すなわち、空間方向間引き、時間方向間引き、空間および時間方向間引きのいずれのブロック処理部において処理がなされたかを示す情報であり、ブロック分配部１１３から出力される。この情報は、ブロック（本実施例では４×４画素）毎に、間引き処理およびパック処理単位であるｎフレームおきに出力し、各処理ブロックに対応する処理方法を表す数ビットのデータである。

制御部１５４は、伝送路の帯域や、伝送エラーの発生状況に応じて、伝送すべき階層数を制御し、受信側で安定した復号化が実現できるようにする。例えば、アプリケーションに依存して伝送路、または受信帯域が狭いことがわかっている場合、あらかじめ第１階層ストリームだけを伝送するようにして伝送ビットレートを抑える。また、例えば、伝送路のエラーを監視し、エラー発生率が上昇した場合には、伝送階層数を減少させ伝送ビットレートを抑えるように制御する。

［画像伸長装置の構成および処理の詳細］
次に、画像伸長装置の構成および処理の詳細について説明する。まず、図２２を参照して画像伸長装置２００の復号化部２１０（図１参照）の詳細構成および処理について説明する。

復号化部２１０は、画像圧縮装置１００の符号化部１５０から伝送される階層化信号からなるストリーム［Ｓｔ１］〜［Ｓｔｎ］を階層毎に復号化する処理を実行する複数の画像復号化部２１１−１〜ｎを有し、各復号化部は制御部２１５の制御に従って復号化処理を行ない、階層毎の画像信号である階層化信号［Ｌ１］〜［Ｌｎ］を、画像変換部２５０に出力する。

例えば、画像復号化部２１１−１は、第１階層ストリーム［Ｓｔ１］に対して復号化処理を行ない、第１階層信号［Ｌ１］を出力する。同様に、画像復号化部２１１−ｎは、第ｎ階層ストリーム［Ｓｔｎ］に対して復号化処理を行ない、第ｎ階層信号［Ｌ１］を出力する。エントロピー復号化部２１４は、ブロック処理情報ストリーム［Ｓｔ−Ｉｎｆ］に対して可逆な復号化処理を行ない、ブロック処理情報［Ｉｎｆ］を出力する。

復号化部２１０における制御部２１５は、復号化部２１０におけるデータ受信状況や、画像伸長装置２００の処理能力などに応じて受信するストリームを制限し、復号化、および画像変換を行なう階層数を制御する。例えば、受信エラーが増加した場合には受信品質が低下していると考え、送信側にビットレートを下げるように通知すると共に、受信ストリーム数を減少させるようにする。また、アプリケーションなどの要求から復号化部２１０、および画像変換部２５０の消費電力を抑えるために、受信ストリーム数を減少させるといった制御も行なう。

次に、画像伸長装置２００の画像変換部２５０の構成および処理について図２３以下を参照して説明する。図２３に、画像伸長装置２００の画像変換部２５０のブロック図を示す。画像伸長装置２００の画像変換部２５０は、前述したように、復号化部２１０の生成した階層化動画像信号：［Ｌ１］〜［Ｌｎ］と、ブロック処理情報［Ｉｎｆ］を入力し、動画像を構成するフレームを所定画素領域単位で分割した画像ブロック毎のサンプリングパターンに逆変換を行ない、動画像データを復元し、復元した動画像データ［Ｄｏｕｔ］を出力する。

ブロック分配部２５１は、復号化部２１０から入力される第１階層信号［Ｌ１］から第ｎ階層信号［Ｌｎ］を、復号化部２１０から入力されるブロック処理情報［Ｉｎｆ］に基づいて、各階層信号に対して適用すべきアンパック処理を選択し、選択されたアンパック処理部２５２〜２５４のいずれか各階層信号を分配する。

ブロック処理情報［Ｉｎｆ］は、前述したように、画像圧縮装置１００のブロック分配部１１３において決定されたブロック処理方法、すなわち、空間方向間引き、時間方向間引き、空間および時間方向間引きのいずれのブロック処理部において処理がなされたかを示す情報であり、各処理ブロックに対応する処理方法を表す数ビットのデータを含む情報である。ブロック分配部２５１は、この情報に基づいて、
（１）空間方向間引きの施されたパックブロックからなる階層信号はアンパック処理部２５２、
（２）時間方向間引きの施されたパックブロックからなる階層信号はアンパック処理部２５３、
（３）空間方向および時間方向間引きの施されたパックブロックからなる階層信号はアンパック処理部２５４、
にそれぞれ階層信号を振り分ける。

アンパック処理部２５２は、画像変換部１１０におけるブロック処理部１１４で空間方向間引き処理が施され、パック処理部１１７において生成されたパックブロックを入力し、入力パックブロックに対するアンパック処理を実行する。すなわち、各階層において１フレームにパックされたパックブロックとしての階層信号から、各フレーム対応の間引き信号を生成し、ブロック処理部２５５に出力する。詳細な動作については後述する。

アンパック処理部２５３は、画像変換部１１０におけるブロック処理部１１５で時間方向間引き処理が施され、パック処理部１１８において生成されたパックブロックを入力し、入力パックブロックに対するアンパック処理を実行する。すなわち、入力されたパックブロックとしての階層信号を、そのままブロック処理部２５６に出力する。詳細な動作については後述する。

アンパック処理部２５４は、画像変換部１１０におけるブロック処理部１１６で空間および時間方向間引き処理が施され、パック処理部１１９において生成されたパックブロックを入力し、入力パックブロックに対するアンパック処理を実行する。すなわち、各階層において１フレームにパックされたパックブロックとしての階層信号から、各フレーム対応の間引き信号を生成し、ブロック処理部２５７に出力する。詳細な動作については後述する。

ブロック処理部２５５乃至２５７は、対応するアンパック処理部２５２乃至２５４から供給される各階層におけるアンパックされたフレーム対応の間引き信号を入力して、各フレーム対応のブロックを復元する画素拡張処理を行なう。

ブロック処理部２５５は、アンパック処理部２５２から供給される空間方向間引き後のデータであるサンプリングされたフレームにおける間引き画素信号に対し、ブロックに対応する移動方向に対応する空間的な画素の拡張により、各フレーム対応のブロックを復元する。具体的には、各フレームにおいてサンプリング点として与えられている画素値を、ブロックの移動方向に並行な画素位置にコピーする処理を行なう。

なお、詳細は後述するが、ブロック処理部２５５において実行する画素コピーによる拡張態様は、画像伸長装置によってアンパックおよびブロック処理を実行する処理階層数に応じて異なる処理態様となる。具体的には、画像圧縮装置によって生成され画像伸長装置が入力する階層信号の階層数を［ｎ］、画像伸長装置によってアンパックおよびブロック処理を実行する処理階層数を［Ｌｍ］としたとき、コピー後のブロックの画素数を、コピー前の画素数の［ｎ／Ｌｍ］倍の画素数になるようにコピー処理を実行する。このコピー処理によってデータ量をｎ／Ｌｍ倍に拡張する。すなわち、画像伸長装置によってアンパックおよびブロック処理を実行する処理階層数［Ｌｍ］が増えることにより、各ブロック処理部において実行する拡張倍率は低くなり、画素拡張により生じるエラーは減少する。より詳細な動作については後述する。

ブロック処理部２５６は、アンパック処理部２５３から供給される時間方向間引き後のデータであるサンプリングされたフレームにおける間引き画素信号に対し、時間方向の拡張を行なう。具体的には、サンプリングされたフレームの全ての画素を、時間方向に連続するフレームにコピーする処理を行なう。なお、このブロック処理部２５６において実行する画素コピーによる拡張態様も、画像伸長装置によってアンパックおよびブロック処理を実行する処理階層数に応じて異なる処理態様となる。

具体的には、画像圧縮装置によって生成され画像伸長装置が入力する階層信号の階層数を［ｎ］、画像伸長装置によってアンパックおよびブロック処理を実行する処理階層数を［Ｌｍ］としたとき、コピー後のブロックの画素数を、コピー前の画素数の［ｎ／Ｌｍ］倍の画素数になるようにコピー処理を実行する。このコピー処理によってデータ量をｎ／Ｌｍ倍に拡張する。すなわち、画像伸長装置によってアンパックおよびブロック処理を実行する処理階層数［Ｌｍ］が増えることにより、各ブロック処理部において実行する拡張倍率は低くなり、画素拡張により生じるエラーは減少する。より詳細な動作については後述する。

ブロック処理部２５７は、アンパック処理部２５４から供給される所定の２フレームに対応する間引き信号に対し、時間方向への拡張を行なうとともに、移動方向への空間的な画素の拡張を行なう。なお、このブロック処理部２５７において実行する画素コピーによる拡張態様も、画像伸長装置によってアンパックおよびブロック処理を実行する処理階層数に応じて異なる処理態様となる。

具体的には、処理階層数［Ｌｍ］がｎ／２以下の場合には、サンプリングされた２フレームにおける画素を、時間方向においてｎ／２Ｌｍ倍のフレーム数になるように前後のフレームにコピーを行ない、各フレームにおいてサンプルとして与えられる画素を、移動方向において２倍の画素数になるように隣り合う画素位置にコピーすることにより、データ量をｎ／Ｌｍ倍に拡張する。また、処理階層数［Ｌｍ］がｎ／２より大きい場合には、各フレームにおいてサンプルとして与えられている画素を、移動方向においてｎ／Ｌｍ倍の画素数になるように隣り合う画素位置にコピーすることにより、データ量をｎ／Ｌｍ倍に拡張する。より詳細な動作については後述する。

ブロック合成部２５８は、ブロック処理部２５５乃至２５７から供給されるブロック毎の画像信号に対して、復号化部２１０からブロック分配部およびアンパック処理部を介して供給されるブロック処理情報［Ｉｎｆ］に基づき、ブロック処理部２５５乃至２５７からの画像信号である各フレーム対応の分割領域データとしてのブロックをフレーム単位で選択して合成し、各フレーム単位の画像信号［Ｄｏｕｔ］を生成して出力する。

なお、復号化部２１０の制御部２１５は、伝送路の帯域や、画像伸長装置２００の処理能力などに応じて決定された処理階層数に応じて、アンパック処理部２５２乃至２５４、およびブロック処理部２５５乃至２５７における処理を制御する。すなわち、画像伸長装置２００における処理階層数［Ｌｍ］を設定し、設定した処理階層数［Ｌｍ］に応じたブロック復元処理を行なうように図に示す制御信号に基づいて制御を行なう。

以下、図２４以下を参照して、間引き処理およびパック処理単位を４フレームとして生成されたパックブロックからなる階層信号［Ｌ１］〜［Ｌ４］を入力してフレーム対応のブロック画像データを生成する場合の、アンパック処理部２５２〜２５４と、ブロック処理部２５５〜２５７の各処理例について説明する。

（空間方向間引きに基づく階層信号（パックブロック）に対するブロック復元処理）
まず、空間方向間引きに基づく階層信号（パックブロック）に対するブロック復元処理を実行するアンパック処理部２５２と、ブロック処理部２５５の処理について、図２４〜図２６を参照して説明する。

なお、図２４〜図２６では、水平方向に１／４間引きを行なって生成されたパックブロックに対する処理例について説明する。処理対象ブロックが垂直方向の移動量を持つブロックである場合は、処理方向を垂直方向に変更した処理として実行することになる。

図２４は、空間方向間引きに基づく階層信号（パックブロック）に対するブロック復元処理であり、第１階層信号［Ｌ１］のみを処理対象とした復元処理例を示している。図２３に示すアンパック処理部２５２におけるアンパック処理と、ブロック処理部２５６におけるブロック復元処理である。図には、
（Ａ）アンパック処理部に対する入力パックブロック（階層信号）
（Ｂ）アンパック処理部の処理
（Ｃ）ブロック処理部の処理
をそれぞれ示してある。

（Ａ）アンパック処理部２５２に対する入力パックブロック（階層信号）は、本処理例では、第１階層信号［Ｌ１］のみであり、図に示すＢ１，Ｂ２，Ｂ３，Ｂ４の画素データからなるパックブロック５０１、すなわち、先に、図８を参照して説明したパックブロック３０１に相当する第１階層信号［Ｌ１］である。このパックブロック５０１は、例えば４×４画素のブロックにおける４フレームの左から２番目の画素データを集積して生成されたパックブロックであり、図に示すパックブロック５１１の画素データからなる。

（Ｂ）アンパック処理部２５２の処理は、このパックブロック５０１のアンパック処理であり、フレーム１からフレーム４までの各フレーム対応の画素データに分離してフレーム対応の間引きデータからなる４つのブロックを生成する。この場合は、先に図８を参照して説明した空間方向間引き処理において、サンプリング点として設定され、パックブロック５０１から取得可能なサンプリング画素のみからなる各フレーム対応のブロックを復元する。

例えばフレーム１に対応するブロックとしては、図２４（１）アンパックによる生成ブロックに示すように、パックブロック５０１から取得可能なフレーム１対応のサンプリング画素、すなわち左から２番目の画素Ｂ１（Ｂ１０〜Ｂ１３）のサンプリング画素のみを設定したブロックを生成する。他のフレーム２〜４についても、それぞれパックブロック５０１に含まれる左から２番目のサンプリング画素Ｂ２，Ｂ３、Ｂ４のみを持つブロックを生成する。

（Ｃ）ブロック処理部２５５の処理は、アンパック処理部２５２の生成したブロックを適用し、ブロック内に含まれるサンプリング画素の画素値を、画素値の未設定位置にコピーする処理を行い各フレーム対応のブロックを生成する処理である。例えばフレーム１対応のブロックでは、アンパック処理によって、図に示す（１）アンパックによる生成ブロックが生成され、このブロックに設定された画素値、すなわち、左から２番目の列のサンプリング画素の画素値を、画素値の設定されていない領域、すなわちブロックの左から１，３，４番目の列にコピーする。この処理によって図に示す（２）復元ブロックを生成する。フレーム２〜４についても同様の処理を実行して各フレーム対応のブロックを復元する。

この図２４に示す処理例は、第１階層信号［Ｌ１］のみを処理対象とした復元処理例を示している。その他の階層信号［Ｌ２］〜については復元処理を実行しない。この処理制御は、復号化部２１０の制御部２１５によって実行される制御であり、制御部２１５は、伝送路の帯域や、画像伸長装置２００の処理能力などに応じて処理階層数を決定し、決定した処理階層数に応じて、アンパック処理部２５２乃至２５４、およびブロック処理部２５５乃至２５７における処理を制御する。

この例では、画像伸長装置２００における処理階層数：Ｌｍ＝１、画像圧縮装置において生成した処理階層：ｎ＝４の設定であり、コピー後のブロックの画素数は、コピー前の画素数の［ｎ／Ｌｍ］＝４倍の画素数になるようなコピー処理が、ブロック処理部２５５において実行され、各フレームにおいて原信号と同じ画素数の信号を持つ動画像データ［Ｄｏｕｔ］を出力する。

図２５は、空間方向間引きに基づく階層信号（パックブロック）に対するブロック復元処理であり、第１階層信号［Ｌ１］と第２階層信号［Ｌ２］を処理対象とした復元処理例を示している。図２３に示すアンパック処理部２５２におけるアンパック処理と、ブロック処理部２５５におけるブロック復元処理である。

（Ａ）アンパック処理部２５２に対する入力パックブロック（階層信号）は、本処理例では、図に示すＢ１，Ｂ２，Ｂ３，Ｂ４の画素データからなるパックブロック５２１（第１階層信号［Ｌ１］）と、Ｄ１，Ｄ２，Ｄ３，Ｄ４の画素データからなるパックブロック５２２（第２階層信号［Ｌ２］）である。これは、先に、図８、図９を参照して説明したパックブロック３０１，３０２に相当する第１階層信号［Ｌ１］および第２階層信号［Ｌ２］である。パックブロック５２１は、例えば４×４画素のブロックにおける４フレームの左から２番目の画素データを集積して生成されたパックブロックであり、パックブロック５２２は、４×４画素のブロックにおける４フレームの左から４番目の画素データを集積して生成されたパックブロックである。

（Ｂ）アンパック処理部２５２の処理は、これらのパックブロック５２１、パックブロック５２２のアンパック処理であり、フレーム１からフレーム４までの各フレーム対応の画素データに分離してフレーム対応の間引きデータからなる４つのブロックを生成する。この場合は、先に図８を参照して説明した空間方向間引き処理において、サンプリング点として設定され、パックブロック５２１から取得可能なサンプリング画素と、図９を参照して説明した空間方向間引き処理において、サンプリング点として設定され、パックブロック５２２から取得可能なサンプリング画素とからなる各フレーム対応のブロックを復元する。

例えばフレーム１に対応するブロックとしては、パックブロック５２１から取得可能なフレーム１対応のサンプリング画素、すなわち左から２番目の画素Ｂ１（Ｂ１０〜Ｂ１３）のサンプリング画素と、パックブロック５２２から取得可能なフレーム１対応のサンプリング画素、すなわち左から４番目の画素Ｄ１（Ｄ１０〜Ｄ１３）のサンプリング画素のみを設定したブロックを生成する。他のフレーム２〜４についても、それぞれパックブロック５２１、５２２に含まれる左から２および４番目のサンプリング画素Ｂ２，Ｄ２、Ｂ３，Ｄ３、Ｂ４，Ｄ４のみを持つブロックを生成する。

（Ｃ）ブロック処理部２５５の処理は、アンパック処理部の生成したブロックを適用し、ブロック内に含まれるサンプリング画素の画素値を、画素値の未設定位置にコピーする処理を行い各フレーム対応のブロックを生成する処理である。例えばフレーム１対応のブロックでは、アンパック処理によって、左から２，４番目の画素Ｂ１，Ｄ１を持つブロックが生成され、このブロックに設定されたサンプリング画素Ｂ１，Ｄ１の画素値を、画素値の設定されていない領域、すなわちブロックの左から１，３番目の列にそれぞれコピーする。この処理によって復元ブロックを生成する。フレーム２〜４についても同様の処理を実行して各フレーム対応のブロックを復元する。

この例では、画像伸長装置２００における処理階層数：Ｌｍ＝２、画像圧縮装置において生成した処理階層：ｎ＝４の設定であり、コピー後のブロックの画素数は、コピー前の画素数の［ｎ／Ｌｍ］＝２倍の画素数になるようなコピー処理が、ブロック処理部２５５において実行され、各フレームにおいて原信号と同じ画素数の信号を持つ動画像データ［Ｄｏｕｔ］を出力する。

図２６は、空間方向間引きに基づく階層信号（パックブロック）に対するブロック復元処理であり、第１階層信号［Ｌ１］〜第４階層信号［Ｌ４］を処理対象とした復元処理例を示している。図２３に示すアンパック処理部２５２におけるアンパック処理と、ブロック処理部２５５におけるブロック復元処理である。

（Ａ）アンパック処理部２５２に対する入力パックブロック（階層信号）は、本処理例では、図に示すＡ１，Ａ２，Ａ３，Ａ４の画素データからなるパックブロック５３１（第４階層信号［Ｌ４］）と、Ｂ１，Ｂ２，Ｂ３，Ｂ４の画素データからなるパックブロック５３２（第１階層信号［Ｌ１］）と、Ｃ１，Ｃ２，Ｃ３，Ｃ４の画素データからなるパックブロック５３３（第３階層信号［Ｌ３］）と、Ｄ１，Ｄ２，Ｄ３，Ｄ４の画素データからなるパックブロック５２２（第２階層信号［Ｌ２］）である。これは、先に、図８〜図１１を参照して説明したパックブロック３０１〜３０４に相当する第１〜４階層信号［Ｌ１］〜［Ｌ４］である。

（Ｂ）アンパック処理部２５２の処理は、これらのパックブロック５３１〜５３４のアンパック処理であり、フレーム１からフレーム４までの各フレーム対応の画素データに分離してフレーム対応の間引きデータからなる４つのブロックを生成する。この場合は、原画像のブロック構成画素と同じ画素数の画素が４つの階層信号（パックブロック５３１〜５３４）のそれぞれにサンプリング画素として設定されており、サンプリング画素からなる各フレーム対応のブロックを復元することで原画像のブロックと同一のブロックが復元される。

（Ｃ）ブロック処理部２５５は、この場合、画素値のコピー処理は不要であり、
アンパック処理部の生成したブロックをそのまま、フレーム対応の復元ブロックとして出力する

この例では、画像伸長装置２００における処理階層数：Ｌｍ＝４、画像圧縮装置において生成した処理階層：ｎ＝４の設定であり、コピー後のブロックの画素数は、コピー前の画素数の［ｎ／Ｌｍ］＝１倍の画素数になるコピー処理、すなわち、ブロック処理部２５５においてコピー処理を実行することなく、各フレームにおいて原信号と同じ画素数の信号を持つ動画像データ［Ｄｏｕｔ］を出力する。

（時間方向間引きに基づく階層信号（パックブロック）に対するブロック復元処理）
まず、時間方向間引きに基づく階層信号（パックブロック）に対するブロック復元処理を実行するアンパック処理部２５３と、ブロック処理部２５６の処理について、図２７〜図２９を参照して説明する。

なお、図２７〜図２９では、時間方向に１／４間引きを行なって生成されたパックブロックに対する処理例について説明する。

図２７は、時間方向間引きに基づく階層信号（パックブロック）に対するブロック復元処理であり、第１階層信号［Ｌ１］のみを処理対象とした復元処理例を示している。図２７に示すアンパック処理部２５３におけるアンパック処理と、ブロック処理部２５６におけるブロック復元処理である。図には、
（Ａ）アンパック処理部に対する入力パックブロック（階層信号）
（Ｂ）アンパック処理部の処理
（Ｃ）ブロック処理部の処理
をそれぞれ示してある。

（Ａ）アンパック処理部２５３に対する入力パックブロック（階層信号）は、本処理例では、第１階層信号［Ｌ１］のみであり、図に示すＡ１，Ｂ１，Ｃ１，Ｄ１の画素データからなるパックブロック６０１、すなわち、先に、図１２を参照して説明したパックブロック３３１に相当する第１階層信号［Ｌ１］である。このパックブロック６０１は、例えば４×４画素のブロックにおける４フレーム中、フレーム１の画素データを取得して生成されたパックブロックであり、図に示す（１）処理ブロック例の画素データからなる。

（Ｂ）アンパック処理部２５３の処理は、フレーム１からフレーム４までの各フレーム対応の画素データに分離してフレーム対応の間引きデータからなる４つのブロックを生成する処理であるが、この場合、入力パックブロック６０１は、フレーム１に対応するブロックそのものであり、その他のフレーム２〜４に対応する画素データは含まれないので、各フレームに対応する画素分配としてのアンパック処理は不要であり、特に処理を実行することなく、入力パックブロック６０１をブロック処理部２５６に出力する。

（Ｃ）ブロック処理部２５６の処理は、アンパック処理部２５３から入力したブロックを適用し、ブロック内に含まれるサンプリング画素の画素値を、画素値の未設定位置にコピーする処理を行い各フレーム対応のブロックを生成する処理である。この場合、アンパック処理部２５３から入力したフレーム１対応のブロックの画素値をそのまま、フレーム２〜４の画素データとするコピー処理を実行して、各フレーム対応のブロックを復元する。

この図２７に示す処理例は、第１階層信号［Ｌ１］のみを処理対象とした復元処理例を示している。その他の階層信号［Ｌ２］〜については復元処理を実行しない。この処理制御は、復号化部２１０の制御部２１５によって実行される制御であり、制御部２１５は、伝送路の帯域や、画像伸長装置２００の処理能力などに応じて処理階層数を決定し、決定した処理階層数に応じて、アンパック処理部２５２乃至２５４、およびブロック処理部２５５乃至２５７における処理を制御する。

この例では、画像伸長装置２００における処理階層数：Ｌｍ＝１、画像圧縮装置において生成した処理階層：ｎ＝４の設定であり、コピー後のブロックの画素数は、コピー前の画素数の［ｎ／Ｌｍ］＝４倍の画素数になるようなコピー処理が、ブロック処理部２５６において実行され、各フレームにおいて原信号と同じ画素数の信号を持つ動画像データ［Ｄｏｕｔ］を出力する。

図２８は、時間方向間引きに基づく階層信号（パックブロック）に対するブロック復元処理であり、第１階層信号［Ｌ１］と第２階層信号［Ｌ２］を処理対象とした復元処理例を示している。図２３に示すアンパック処理部２５３におけるアンパック処理と、ブロック処理部２５６におけるブロック復元処理である。

（Ａ）アンパック処理部２５３に対する入力パックブロック（階層信号）は、本処理例では、図に示すＡ１，Ｂ１，Ｃ１，Ｄ１の画素データからなるパックブロック（第１階層信号［Ｌ１］）６２１と、Ａ３，Ｂ３，Ｃ３，Ｄ３の画素データからなるパックブロック（第２階層信号［Ｌ２］）６２２、すなわち、先に、図１２、図１３を参照して説明したパックブロック３３１，３２２に相当する第１階層信号［Ｌ１］および第２階層信号［Ｌ２］である。

（Ｂ）アンパック処理部２５３の処理は、これらのパックブロック６２１、パックブロック６２２のアンパック処理であり、フレーム１からフレーム４までの各フレーム対応の画素データに分離してフレーム対応の間引きデータからなる４つのブロックを生成する。この場合は、入力パックブロック６２１はフレーム１に対応するブロック、パックブロック６２２はフレーム３に対応するブロックそのものであり、その他のフレーム２，４に対応する画素データは含まれないので、各フレームに対応する画素分配としてのアンパック処理は不要であり、特に処理を実行することなく、入力パックブロック６２１，６２２をブロック処理部２５６に出力する。

（Ｃ）ブロック処理部２５６の処理は、アンパック処理部２５３から入力したブロックを適用し、ブロック内に含まれるサンプリング画素の画素値を、画素値の未設定位置にコピーする処理を行い各フレーム対応のブロックを生成する処理である。この場合、アンパック処理部２５３から入力したフレーム１対応のブロックの画素値をそのまま、フレーム２の画素データとし、アンパック処理部２５２から入力したフレーム３対応のブロックの画素値をそのまま、フレーム４の画素データとするコピー処理を実行して、各フレーム対応のブロックを復元する。

この例では、画像伸長装置２００における処理階層数：Ｌｍ＝２、画像圧縮装置において生成した処理階層：ｎ＝４の設定であり、コピー後のブロックの画素数は、コピー前の画素数の［ｎ／Ｌｍ］＝２倍の画素数になるようなコピー処理が、ブロック処理部２５６において実行され、各フレームにおいて原信号と同じ画素数の信号を持つ動画像データ［Ｄｏｕｔ］を出力する。

図２９は、時間方向間引きに基づく階層信号（パックブロック）に対するブロック復元処理であり、第１階層信号［Ｌ１］〜第４階層信号［Ｌ４］を処理対象とした復元処理例を示している。図２３に示すアンパック処理部２５３におけるアンパック処理と、ブロック処理部２５６におけるブロック復元処理である。

（Ａ）アンパック処理部２５３に対する入力パックブロック（階層信号）は、本処理例では、図に示すＡ１，Ｂ１，Ｃ１，Ｄ１の画素データからなるパックブロック（第１階層信号［Ｌ１］）６３１と、Ａ２，Ｂ２，Ｃ２，Ｄ２の画素データからなるパックブロック（第３階層信号［Ｌ３］）６３２と、Ａ３，Ｂ３，Ｃ３，Ｄ３の画素データからなるパックブロック（第２階層信号［Ｌ２］）６３３と、Ａ４，Ｂ４，Ｃ４，Ｄ４の画素データからなるパックブロック（第４階層信号［Ｌ４］）６３４、すなわち、先に、図１２〜図１５を参照して説明したパックブロック３２１〜３２４に相当する第１〜４階層信号［Ｌ１］〜［Ｌ４］である。

（Ｂ）アンパック処理部２５３の処理は、フレーム１からフレーム４までの各フレーム対応の画素データに分離してフレーム対応の間引きデータからなる４つのブロックを生成する処理であるが、この場合、入力パックブロックは、フレーム１〜４に対応するブロックそのものであり、各フレームに対応する画素分配としてのアンパック処理は不要であり、特に処理を実行することなく、入力パックブロックブロック処理部２５６に出力する。

（Ｃ）ブロック処理部２５６の処理は、アンパック処理部２５３から入力したブロックを適用し、ブロック内に含まれるサンプリング画素の画素値を、画素値の未設定位置にコピーする処理を行い各フレーム対応のブロックを生成する処理であるが、この場合、アンパック処理部２５３から入力するフレーム１〜４対応のブロックは未設定画素のないブロックであり、画素値のコピー処理を行なうことなく、そのまま、フレーム対応の復元ブロックとして出力する。

この例では、画像伸長装置２００における処理階層数：Ｌｍ＝４、画像圧縮装置において生成した処理階層：ｎ＝４の設定であり、コピー後のブロックの画素数は、コピー前の画素数の［ｎ／Ｌｍ］＝１倍の画素数になるコピー処理、すなわち、ブロック処理部２５６においてコピー処理を実行することなく、各フレームにおいて原信号と同じ画素数の信号を持つ動画像データ［Ｄｏｕｔ］を出力する。

（空間方向および時間方向間引きに基づく階層信号（パックブロック）に対するブロック復元処理）
まず、空間方向および時間方向間引きに基づく階層信号（パックブロック）に対するブロック復元処理を実行するアンパック処理部２５４と、ブロック処理部２５７の処理について、図３０〜図３２を参照して説明する。

なお、図３０〜図３２では、水平方向の移動量を持つブロックについて、空間方向に１／２間引き、時間方向に１／２間引きを行なって生成されたパックブロックに対する処理例について説明する。処理対象ブロックが垂直方向の移動量を持つブロックである場合は、処理方向を垂直方向に変更した処理として実行することになる。

図３０は、空間方向および時間方向間引きに基づく階層信号（パックブロック）に対するブロック復元処理であり、第１階層信号［Ｌ１］のみを処理対象とした復元処理例を示している。図３０に示すアンパック処理部２５４におけるアンパック処理と、ブロック処理部２５７におけるブロック復元処理である。図には、
（Ａ）アンパック処理部に対する入力パックブロック（階層信号）
（Ｂ）アンパック処理部の処理
（Ｃ）ブロック処理部の処理
をそれぞれ示してある。

（Ａ）アンパック処理部２５４に対する入力パックブロック（階層信号）は、本処理例では、第１階層信号［Ｌ１］のみであり、図に示すＡ１，Ａ３，Ｃ１，Ｃ３の画素データからなるパックブロック６５１、すなわち、先に、図１６を参照して説明したパックブロック３４１に相当する第１階層信号［Ｌ１］である。このパックブロック６５１は、例えば４×４画素のブロックにおける４フレーム中、フレーム１とフレーム３の左から１，３番目の画素データを取得して生成されたパックブロックである。このパックブロック６５１は、例えば４×４画素のブロックとした場合、パックブロック６５２に示す画素データからなるパックブロックである。

（Ｂ）アンパック処理部２５４の処理は、フレーム１からフレーム４までの各フレーム対応の画素データに分離してフレーム対応の間引きデータからなる４つのブロックを生成する処理である。この場合、入力パックブロック６５１は、フレーム１，３に対応するブロックの画素データのみからなり、例えばフレーム１に対応するアンパックブロックは、図３０（１）アンパックによる生成ブロックに示すように、左から１，３番目の画素データのみからなるブロックとなる。フレーム３についても同様のアンパックブロックが生成される。

（Ｃ）ブロック処理部２５７の処理は、アンパック処理部２５４から入力したブロックを適用し、ブロック内に含まれるサンプリング画素の画素値を、画素値の未設定位置にコピーする処理を行い各フレーム対応のブロックを生成する処理である。この場合、まず、アンパック処理部２５３から入力したフレーム１対応のブロックの画素Ａ１，Ｃ１をフレーム１の左から２，４番目の列にそれぞれコピーを行い、アンパック処理部２５３から入力したフレーム３対応のブロックの画素Ａ３，Ｃ３をフレーム３の左から２，４番目の列にそれぞれコピーを行う。次に、フレーム１対応のブロックの全画素をコピーしたフレーム２対応のブロックを生成し、フレーム３対応のブロックの全画素をコピーしたフレーム４対応のブロックを生成する。この処理によって、各フレーム対応のブロックを復元する。

この図３０に示す処理例は、第１階層信号［Ｌ１］のみを処理対象とした復元処理例を示している。その他の階層信号［Ｌ２］〜については復元処理を実行しない。この処理制御は、復号化部２１０の制御部２１５によって実行される制御であり、制御部２１５は、伝送路の帯域や、画像伸長装置２００の処理能力などに応じて処理階層数を決定し、決定した処理階層数に応じて、アンパック処理部２５２乃至２５４、およびブロック処理部２５５乃至２５７における処理を制御する。

この例では、画像伸長装置２００における処理階層数：Ｌｍ＝１、画像圧縮装置において生成した処理階層：ｎ＝４の設定であり、コピー後のブロックの画素数は、コピー前の画素数の［ｎ／Ｌｍ］＝４倍の画素数になるようなコピー処理が、ブロック処理部２５７において実行され、各フレームにおいて原信号と同じ画素数の信号を持つ動画像データ［Ｄｏｕｔ］を出力する。

図３１は、空間方向および時間方向間引きに基づく階層信号（パックブロック）に対するブロック復元処理であり、第１階層信号［Ｌ１］と第２階層信号［Ｌ２］を処理対象とした復元処理例を示している。図２３に示すアンパック処理部２５４におけるアンパック処理と、ブロック処理部２５７におけるブロック復元処理である。

（Ａ）アンパック処理部２５４に対する入力パックブロック（階層信号）は、本処理例では、図に示すＡ１，Ａ３，Ｃ１，Ｃ３の画素データからなるパックブロック（第１階層信号［Ｌ１］）６６１と、Ａ２，Ａ４，Ｃ２，Ｃ４の画素データからなるパックブロック（第２階層信号［Ｌ２］）６６２、すなわち、先に、図１６、図１７を参照して説明したパックブロック３４１，３４２に相当する第１階層信号［Ｌ１］および第２階層信号［Ｌ２］である。

（Ｂ）アンパック処理部２５４の処理は、これらのパックブロック６６１、パックブロック６６２のアンパック処理であり、フレーム１からフレーム４までの各フレーム対応の画素データに分離してフレーム対応の間引きデータからなる４つのブロックを生成する。この場合は、入力パックブロック６６１からフレーム１，３、パックブロック６６２からフレーム２，４のブロックがそれぞれ左から１，３番目の画素値のみを持つブロックとして生成される。

（Ｃ）ブロック処理部２５７は、アンパック処理部２５４から入力したブロックを適用し、ブロック内に含まれるサンプリング画素の画素値を、画素値の未設定位置にコピーする処理を行い各フレーム対応のブロックを生成する処理である。この場合、アンパック処理部２５４から入力したフレーム１〜４対応のブロックの画素Ａ，Ｃを各フレームの左から２，４番目の列にそれぞれコピーを行い、各フレーム対応のブロックを復元する。

この例では、画像伸長装置２００における処理階層数：Ｌｍ＝２、画像圧縮装置において生成した処理階層：ｎ＝４の設定であり、コピー後のブロックの画素数は、コピー前の画素数の［ｎ／Ｌｍ］＝２倍の画素数になるようなコピー処理が、ブロック処理部２５７において実行され、各フレームにおいて原信号と同じ画素数の信号を持つ動画像データ［Ｄｏｕｔ］を出力する。

図３２は、空間方向および時間方向間引きに基づく階層信号（パックブロック）に対するブロック復元処理であり、第１階層信号［Ｌ１］〜第４階層信号［Ｌ４］を処理対象とした復元処理例を示している。図２３に示すアンパック処理部２５４におけるアンパック処理と、ブロック処理部２５７におけるブロック復元処理である。

（Ａ）アンパック処理部２５４に対する入力パックブロック（階層信号）は、本処理例では、本処理例では、図に示すＡ１，Ａ３，Ｃ１，Ｃ３の画素データからなるパックブロック（第１階層信号［Ｌ１］）６７１と、Ｂ１，Ｂ３，Ｄ１，Ｄ３の画素データからなるパックブロック（第３階層信号［Ｌ３］）６７２と、Ａ２，Ａ４，Ｃ２，Ｃ４の画素データからなるパックブロック（第２階層信号［Ｌ２］）６７３と、Ｂ２，Ｂ４，Ｄ２，Ｄ４の画素データからなるパックブロック（第４階層信号［Ｌ４］）６７４、すなわち、先に、図１６〜図１９を参照して説明したパックブロック３４１〜３４４に相当する第１〜４階層信号［Ｌ１］〜［Ｌ４］である。

（Ｂ）アンパック処理部２５４の処理は、フレーム１からフレーム４までの各フレーム対応の画素データに分離してフレーム対応の間引きデータからなる４つのブロックを生成する処理である。この場合、入力パックブロックに基づいて、４フレーム全ての画素値が設定された４ブロックが設定される。

（Ｃ）ブロック処理部２５７の処理は、アンパック処理部２５４から入力したブロックを適用し、ブロック内に含まれるサンプリング画素の画素値を、画素値の未設定位置にコピーする処理を行い各フレーム対応のブロックを生成する処理であるが、この場合、アンパック処理部２５４から入力するフレーム１〜４対応のブロックは未設定画素のないブロックであり、画素値のコピー処理を行なうことなく、そのまま、フレーム対応の復元ブロックとして出力する。

この例では、画像伸長装置２００における処理階層数：Ｌｍ＝４、画像圧縮装置において生成した処理階層：ｎ＝４の設定であり、コピー後のブロックの画素数は、コピー前の画素数の［ｎ／Ｌｍ］＝１倍の画素数になるコピー処理、すなわち、ブロック処理部２５６においてコピー処理を実行することなく、各フレームにおいて原信号と同じ画素数の信号を持つ動画像データ［Ｄｏｕｔ］を出力する。

上述したように、図２３に示す各アンパック処理部２５２〜２５４と、各ブロック処理部２５５〜２５７は、ブロック分配部２５１からブロック対応の移動量に基づいて振り分けられるブロックについて、それぞれ空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理に対応するアンパックおよびブロック処理を実行して、各フレーム対応のブロックを復元して、ブロック合成部２５８に出力する。

ブロック合成部２５８は、前述したように、ブロック処理部２５５乃至２５７から供給されるブロック毎の画像信号に対して、復号化部２１０からブロック分配部およびアンパック処理部を介して供給されるブロック処理情報［Ｉｎｆ］に基づき、ブロック処理部２５５乃至２５７からの画像信号である各フレーム対応の分割領域データとしてのブロックをフレーム単位で選択して合成し、各フレーム単位の画像信号［Ｄｏｕｔ］を生成して出力する。

なお、例えば４フレームを処理単位として設定した場合の、階層信号から生成する出力画像ストリームは、図３３に示すような設定となる。第１〜第４階層信号に基づいて、上述したアンパックおよびブロック処理を含む画像変換処理が実行され、出力画像ストリームが生成される。

なお、上述したように、画像伸長装置２００の画像変換部２５０は、第１階層信号のみを受信して復元する場合には４倍のデータ拡張を行ない、第１階層信号、および第２階層信号を受信して復元する場合には２倍のデータ拡張を行ない、全ての階層信号を受信して復元する場合にはデータの拡張は行なわない。また、上述した処理例から理解されるように、本発明の画像圧縮装置において生成する階層信号［Ｌ１］〜［Ｌｎ］の持つ情報量は均等な情報量であり、いずれの階層の階層信号をベースレイヤとして設定するか、またエンハンスメントレイヤとして設定するかは、任意の設定が可能である。

本発明の構成によれば、伝送路帯域が低い場合や、受信品質の劣化が生じた場合には、図１に示す画像圧縮装置１００の符号化部１５０からベースレイヤストリームのみを伝送することにより伝送ビットレートを抑えることが可能である。また、受信側である画像伸長装置２００の復号化部２１０、または画像変換部２５０の処理能力が不足する場合には、伝送されるストリームのうち、ベースレイヤストリームのみを受信して復号化することにより信号処理量や消費電力を抑えることができる。さらに、上記のように任意の階層をベースレイヤとすることができるため、ベースレイヤの選択を受信時にエラーが発生していないレイヤに動的に切り替えることも可能である。

上述したように、本発明の構成では、人間の視覚特性を利用した圧縮を行うことにより、ベースレイヤのみを復号化した場合にも高画質な表示が可能となる。また、エンハンスメントレイヤを選択的に受信し、復号化することで、例えばスロー再生時の画質向上、および動被写体の境界領域の画質向上が可能となる。また、各レイヤの情報量は同等であるので任意のレイヤをベースレイヤとすることが可能である等の効果を有する。

［その他の実施例］
上述した実施例では、各階層信号［Ｌ１］〜［Ｌｎ］の各々について、ブロックの構成画素値を適用して各階層信号を生成し、その階層信号に基づく符号化ストリーム信号［Ｓｔ１］〜［Ｓｔｎ］を生成して出力する処理例を説明したが、例えば１つのベースレイヤ［Ｌ１］についてのみ画素値を適用した符号化ストリーム信号［Ｓｔ１］を生成して出力し、その他のエンハンスメントレイヤの階層信号［Ｌ２］〜［Ｌｎ］に対応するストリーム信号［Ｓｔ２］〜［Ｓｔｎ］ついては、ベースレイヤ［Ｌ１］とエンハンスメントレイヤの階層信号［Ｌ２］〜［Ｌｎ］各々の差分値を算出し、差分値に基づく符号化データを生成して、各エンハンスメントレイヤに対応するストリーム信号［Ｓｔ２］〜［Ｓｔｎ］を生成して出力する構成としてもよい。

この差分値によるストリーム信号を生成する画像圧縮装置の符号化部７５０の構成例を図３４に示す。画像符号化部７５１−１は、画像変換部１１０から出力されるベースレイヤに対応する第１階層信号［Ｌ１］の符号化処理を行い、階層信号［Ｌ１］に対応するストリーム信号［Ｓｔ１］を生成して出力する。

減算器７５５−２〜ｎは、画像変換部１１０から出力されるベースレイヤに対応する第１階層信号［Ｌ１］と、エンハンスメントレイヤに対応する第２〜ｎ階層信号［Ｌ２］〜［Ｌｎ］各々の差分を算出する。画像符号化部７５１−２〜ｎは、減算器７５５−２〜ｎから出力される第１階層信号［Ｌ１］と第２〜ｎ階層信号［Ｌ２］〜［Ｌｎ］各々の差分値の符号化処理を行い、ストリーム信号［Ｓｔ２］〜［Ｓｔｎ］を生成して出力する。

各画像符号化部７５１−１〜ｎは、それぞれ制御部７５４から供給される設定ビットレートに従って符号化処理を行なう。たとえば、動画像圧縮に適したＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式を用いたり、静止画像圧縮に適したＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式を用いることが可能である。

エントロピー符号化部７５３は、画像変換部１１０から供給されるブロック処理情報［Ｉｎｆ］に対し、可逆式の符号化処理を行ない、ブロック処理情報ストリーム［Ｓｔ−Ｉｎｆ］を出力する。

制御部７５４は、伝送路の帯域や、伝送エラーの発生状況に応じて、伝送すべき階層数を制御し、受信側で安定した復号化が実現できるようにする。例えば、アプリケーションに依存して伝送路、または受信帯域が狭いことがわかっている場合、あらかじめ第１階層ストリームだけを伝送するようにして伝送ビットレートを抑える。また、例えば、伝送路のエラーを監視し、エラー発生率が上昇した場合には、伝送階層数を減少させ伝送ビットレートを抑えるように制御する。

次に、上述の差分値に基づくストリーム信号の復号を行なう画像伸長装置２００の復号化部７６０の詳細構成および処理について図３５を参照して説明する。

復号化部７６０は、画像圧縮装置１００の符号化部７５０から伝送されるベースレイヤ対応の第１階層信号［Ｌ１］に対応するストリーム［Ｓｔ１］と、第１階層信号［Ｌ１］と第２〜ｎ階層信号［Ｌ２］〜［Ｌｎ］各々の差分値の符号化データからなるストリーム［Ｓｔ２］〜［Ｓｔｎ］を受信して、各階層信号［Ｌ１］〜［Ｌｎ］を生成する復号処理を実行する。

画像復号化部７６１−１は、制御部７６４の制御に従って、ベースレイヤ対応の第１階層信号［Ｌ１］に対応するストリーム［Ｓｔ１］の復号処理を実行して、ベースレイヤ対応の第１階層信号［Ｌ１］を生成する。

画像復号化部７６１−２〜ｎは、制御部７６４の制御に従って、第１階層信号［Ｌ１］と第２〜ｎ階層信号［Ｌ２］〜［Ｌｎ］各々の差分値に対応するストリーム［Ｓｔ２］〜［Ｓｔｎ］の復号処理を実行して、第１階層信号［Ｌ１］と第２〜ｎ階層信号［Ｌ２］〜［Ｌｎ］各々の差分値を算出する。

さらに、各差分値は、加算器７６６−２〜ｎに入力され、第１階層信号［Ｌ１］と各々加算処理がなされて第２〜ｎ階層信号［Ｌ２］〜［Ｌｎ］が生成されて出力される。エントロピー復号化部７６４は、ブロック処理情報ストリーム［Ｓｔ−Ｉｎｆ］に対して可逆な復号化処理を行ない、ブロック処理情報［Ｉｎｆ］を出力する。

この処理例でも復号化部７６０における制御部７６５は、復号化部７６０におけるデータ受信状況や、画像伸長装置２００の処理能力などに応じて受信するストリームを制限し、復号化、および画像変換を行なう階層数を制御する。例えば、受信エラーが増加した場合には受信品質が低下していると考え、送信側にビットレートを下げるように通知すると共に、受信ストリーム数を減少させるようにする。また、アプリケーションなどの要求から復号化部７６０、および画像変換部２５０の消費電力を抑えるために、受信ストリーム数を減少させるといった制御も行なう。

このように差分値を算出してストリーム信号として出力する構成では、データ量の削減、符号化効率、復号効率の向上が実現される。また転送データ量が削減されるので、ネットワークの輻輳の緩和にも貢献することになる。

また、上述した実施例では、画像圧縮装置側で間引きデータに基づくパック処理を実行し、画像伸長装置側でアンパック処理を行う構成として説明したが、パック処理、アンパック処理を行わない構成とし、画像圧縮装置１００におけるブロック処理部で生成した空間方向間引き、または時間方向間引き、または空間方向間引きおよび時間方向間引きデータをそのままパック処理することなく各階層別の階層信号［Ｌ１］〜［Ｌｎ］として図１に示す符号化部１５０に入力して、各階層信号に対応するストリーム信号［Ｓｔ１］〜［Ｓｔｎ］を生成して出力する構成としてもよい。パック処理部を省略した画像変換部１１０の構成を図３６に示す。パック処理部が省略された以外の構成は、先に図２を参照して説明した構成と同様の構成である。

一方、画像伸長装置２００においては、復号化部２１０で復号化して生成した階層信号［Ｌ１］〜［Ｌｎ］を画像変換部２５０に入力し、画像変換部２５０では、アンパック処理を実行することなく、復号化部２１０で復号化して生成した階層信号［Ｌ１］〜［Ｌｎ］に基づく拡張処理を実行して各フレーム対応のブロックデータを生成する。アンパック処理部を省略した画像変換部２５０の構成を図３７に示す。アンパック処理部が省略された以外の構成は、先に図２３を参照して説明した構成と同様の構成である。

本処理例によれば、パック処理、アンパック処理を省略することで、簡略化した装置が実現されることになる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、画像圧縮装置側において、動画像データを構成するフレームの分割領域として設定するブロック単位で代表画素に対応するサンプリング画素を異ならせた複数の階層信号を生成して、階層信号に基づく符号化データを出力する構成とし、画像伸長装置側では、処理対象として選択した階層数に応じた異なる態様のデータ拡張処理を行って、階層信号に含まれる画素データに基づくデータ拡張処理により動画像データを復元する構成とした。画像伸長装置側では、例えば伝送路帯域や装置の処理能力などに応じて選択的に階層信号の処理を行なうことが可能であり、この制御によって表示画像品質制御が可能となり、スケーラブルな処理が実現される。

また、本発明の構成では、人間の視覚特性を利用した圧縮を行うことにより、ベースレイヤのみを復号化した場合にも高画質な表示が可能となる。また、エンハンスメントレイヤを選択的に受信し、復号化することで、例えばスロー再生時の画質向上、および動被写体の境界領域の画質向上が可能となる。各レイヤの情報量は同等であり、任意のレイヤをベースレイヤとすることが可能である等の効果を有する。

画像圧縮装置および画像伸長装置の基本構成を示す図である。 画像圧縮装置における画像変換部の構成を示す図である。 画像変換部におけるブロック処理部の処理例について説明する図である。 画像変換部におけるブロック処理部の処理例について説明する図である。 画像変換部におけるブロック処理部の処理例について説明する図である。 画像変換部におけるブロック処理部の処理例について説明する図である。 画像圧縮装置における画像変換部のブロック処理部およびパック処理部の構成例について説明する図である。 画像圧縮装置における画像変換部のブロック処理部およびパック処理部の処理例について説明する図である。 画像圧縮装置における画像変換部のブロック処理部およびパック処理部の処理例について説明する図である。 画像圧縮装置における画像変換部のブロック処理部およびパック処理部の処理例について説明する図である。 画像圧縮装置における画像変換部のブロック処理部およびパック処理部の処理例について説明する図である。 画像圧縮装置における画像変換部のブロック処理部およびパック処理部の処理例について説明する図である。 画像圧縮装置における画像変換部のブロック処理部およびパック処理部の処理例について説明する図である。 画像圧縮装置における画像変換部のブロック処理部およびパック処理部の処理例について説明する図である。 画像圧縮装置における画像変換部のブロック処理部およびパック処理部の処理例について説明する図である。 画像圧縮装置における画像変換部のブロック処理部およびパック処理部の処理例について説明する図である。 画像圧縮装置における画像変換部のブロック処理部およびパック処理部の処理例について説明する図である。 画像圧縮装置における画像変換部のブロック処理部およびパック処理部の処理例について説明する図である。 画像圧縮装置における画像変換部のブロック処理部およびパック処理部の処理例について説明する図である。 画像圧縮装置における入力画像フレームと出力信号の対応について説明する図である。 画像圧縮装置における符号化部の構成例を示す図である。 画像伸長装置における復号化部の構成例を示す図である。 画像伸長装置における画像変換部の構成について説明する図である。 画像伸長装置における画像変換部のアンパック処理部およびブロック処理部の処理例について説明する図である。 画像伸長装置における画像変換部のアンパック処理部およびブロック処理部の処理例について説明する図である。 画像伸長装置における画像変換部のアンパック処理部およびブロック処理部の処理例について説明する図である。 画像伸長装置における画像変換部のアンパック処理部およびブロック処理部の処理例について説明する図である。 画像伸長装置における画像変換部のアンパック処理部およびブロック処理部の処理例について説明する図である。 画像伸長装置における画像変換部のアンパック処理部およびブロック処理部の処理例について説明する図である。 画像伸長装置における画像変換部のアンパック処理部およびブロック処理部の処理例について説明する図である。 画像伸長装置における画像変換部のアンパック処理部およびブロック処理部の処理例について説明する図である。 画像伸長装置における画像変換部のアンパック処理部およびブロック処理部の処理例について説明する図である。 画像伸長装置における入力信号と出力画像フレームとの対応について説明する図である。 画像圧縮装置における符号化部の構成例を示す図である。 画像伸長装置における復号化部の構成例を示す図である。 画像圧縮装置における画像変換部の構成例を示す図である。 画像伸長装置における画像変換部の構成例を示す図である。

符号の説明

１００ 画像圧縮装置
１１０ 画像変換部
１１１ ブロック分割部
１１２ 移動量検出部
１１３ ブロック分配部
１１４〜１１５ ブロック処理部
１１７〜１１９ パック処理部
１２０ 出力部
１３１ ブロック処理部
１３２ パック処理部
１５０ 符号化部
１５１ 画像符号化部
１５３ エントロピー符号化部
１５４ 制御部
２００ 画像伸長装置
２１０ 復号化部
２１１ 画像復号化部
２１４ エントロピー復号化部
２１５ 制御部
２５０ 画像変換部
２５１ ブロック分配部
２５２〜２５４ アンパック処理部
２５５〜２５７ ブロック処理部
２５８ ブロック合成部
３０１〜３０４ 階層信号（パックブロック）
３１１ 階層信号（パックブロック）
３２１〜３２４ 階層信号（パックブロック）
３３１ 階層信号（パックブロック）
３４１〜３４４ 階層信号（パックブロック）
３５１ 階層信号（パックブロック）
５０１，５１１ 階層信号（パックブロック）
５２１，５２２ 階層信号（パックブロック）
５３１〜５３４ 階層信号（パックブロック）
６０１，６１１ 階層信号（パックブロック）
６２１，６２２ 階層信号（パックブロック）
６３１〜６３４ 階層信号（パックブロック）
６５１，６５２ 階層信号（パックブロック）
６６１，６６２ 階層信号（パックブロック）
６７１〜６７４ 階層信号（パックブロック）
７５０ 符号化部
７５１ 画像符号化部
７５３ エントロピー符号化部
７５４ 制御部
７５５ 減算器
７６０ 復号化部
７６１ 画像復号化部
７６３ エントロピー復号化部
７６５ 制御部
７６６ 加算器

Claims (5)

1. 動画像データの圧縮処理を実行する画像処理装置であり、
   動画像データを構成するフレームの分割領域として設定するブロック単位で画素の間引き処理を実行する画像変換部であり、画素間引き処理における代表画素に対応するサンプリング画素を異ならせた複数の階層信号を生成する画像変換部と、
   前記画像変換部の生成する複数の階層信号を入力し、該階層信号に基づく符号化データを生成する符号化部を有し、
   前記画像変換部は、
   動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
   前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部と、
   前記移動量検出部の検出した移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームの複数ブロックについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかの態様の間引き処理を実行し、実行する各態様の間引き処理において、それぞれサンプリング画素を異ならせた複数の階層信号に対応する複数の間引きデータを生成するブロック処理部と、
   前記ブロック処理部の出力データに含まれるサンプリング画素を集積したパックブロックを生成するパック処理部を有し、
   前記パック処理部は、
   サンプリング画素を異ならせた複数の階層信号に対応する複数のパックブロックを生成し、
   前記符号化部は、
   前記パック処理部の生成するパックブロックとしての複数の階層信号の符号化処理を実行し、各階層信号に対応するストリーミング信号を生成する構成であることを特徴とする画像処理装置。
2. 前記符号化部は、
   前記階層信号の差分を算出し、算出差分値に基づく符号化データを生成する構成であることを特徴とする請求項１に記載の画像処理装置。
3. 前記ブロック処理部は、
   サンプリング画素を異ならせた複数の階層信号のそれぞれの情報量を等価にした階層信号を生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
4. 動画像データの圧縮処理を実行する画像処理方法であり、
   動画像データを構成するフレームの分割領域として設定するブロック単位で画素の間引き処理を実行する画像変換ステップであり、画素間引き処理における代表画素に対応するサンプリング画素を異ならせた複数の階層信号を生成する画像変換ステップと、
   前記画像変換ステップの生成する複数の階層信号を入力し、該階層信号に基づく符号化データを生成する符号化ステップを有し、
   前記画像変換ステップは、
   動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
   前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
   前記移動量検出ステップにおいて検出した移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームの複数ブロックについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかの態様の間引き処理を実行し、実行する各態様の間引き処理において、それぞれサンプリング画素を異ならせた複数の階層信号に対応する複数の間引きデータを生成するブロック処理ステップと、
   前記ブロック処理ステップにおける出力データに含まれるサンプリング画素を集積したパックブロックを生成するパック処理ステップを有し、
   前記パック処理ステップは、
   サンプリング画素を異ならせた複数の階層信号に対応する複数のパックブロックを生成し、
   前記符号化ステップは、
   前記パック処理ステップにおいて生成するパックブロックとしての複数の階層信号の符号化処理を実行し、各階層信号に対応するストリーミング信号を生成するステップであることを特徴とする画像処理方法。
5. 動画像データの圧縮処理をコンピュータ上において実行させるコンピュータ・プログラムであり、
   動画像データを構成するフレームの分割領域として設定するブロック単位で画素の間引き処理を実行する画像変換ステップであり、画素間引き処理における代表画素に対応するサンプリング画素を異ならせた複数の階層信号を生成する画像変換ステップと、
   前記画像変換ステップの生成する複数の階層信号を入力し、該階層信号に基づく符号化データを生成する符号化ステップを有し、
   前記画像変換ステップは、
   動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
   前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
   前記移動量検出ステップにおいて検出した移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームの複数ブロックについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかの態様の間引き処理を実行し、実行する各態様の間引き処理において、それぞれサンプリング画素を異ならせた複数の階層信号に対応する複数の間引きデータを生成するブロック処理ステップと、
   前記ブロック処理ステップにおける出力データに含まれるサンプリング画素を集積したパックブロックを生成するパック処理ステップを有し、
   前記パック処理ステップは、
   サンプリング画素を異ならせた複数の階層信号に対応する複数のパックブロックを生成し、
   前記符号化ステップは、
   前記パック処理ステップにおいて生成するパックブロックとしての複数の階層信号の符号化処理を実行し、各階層信号に対応するストリーミング信号を生成するステップであることを特徴とするコンピュータ・プログラム。

Images