JP2004194030A

JP2004194030A - Device and method for processing image, program, and recording medium

Info

Publication number: JP2004194030A
Application number: JP2002360266A
Authority: JP
Inventors: Keiichi Ikebe; 慶一池辺; Takao Inoue; 隆夫井上; Akira Takahashi; 彰高橋; Takashi Maki; 隆史牧; Taku Kodama; 卓児玉; Ikuko Kusatsu; 郁子草津; Takanori Yano; 隆則矢野; Takeshi Koyama; 毅小山; Shin Aoki; 伸青木; Hiroyuki Sakuyama; 宏幸作山
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-12-12
Filing date: 2002-12-12
Publication date: 2004-07-08
Anticipated expiration: 2022-12-12
Also published as: JP4129913B2

Abstract

<P>PROBLEM TO BE SOLVED: To decrease a code quantity of video by abbreviating a code in a zone having a small variation in the video of a Motion-JPEG2000 in subband units. <P>SOLUTION: Coded data in each frame of the video in a MJ2 file 101 are sent to a decoding part 112, and each subband coefficient of each tile is restored. A difference in each subband coefficient of the current frame and the immediately previous frame is detected by a difference detecting part 116, and the size of the difference and the threshold are compared by a comparison judging part 118. A conversion controlling part 110 judges if the subband code should be abbreviated on the basis of the judged result by the part 118 or the like. A coded data converting part 120 converts the coded data for abbreviating the code of the subband judged to be abbreviated. The content of the MJ2 file 103 converted in this way is transmitted to an external device by a communicating part 104. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像を扱う各種の画像処理装置に係り、特に、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置において動画像の符号量を削減する技術に関する。
【０００２】
【従来の技術】
画像処理装置においては、画像データは、その記録又は伝送に先立って符号化されるのが普通である。現在、画像データの符号化方式として、静止画像にはＪＰＥＧが、動画像にはＭＰＥＧが一般的に利用されている。
【０００３】
このＪＰＥＧとＭＰＥＧに代わる符号化方式として、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣＦＣＤ１５４４４−１）と、その拡張方式であるＭｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣＦＣＤ１５４４４−３）が注目されている（例えば、非特許文献１を参照）。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では、連続した複数の静止画像のそれぞれをフレームとして動画像を扱うが、個々のフレームに関してはＪＰＥＧ２０００に準拠している。
【０００４】
ウェーブレット変換を利用して画像の符号化を行う装置に関し、ウェーブレット変換符号化の単位であるブロック毎に前後のフレーム間で画像の誤差を検出し、誤差が小さいブロックのウェーブレット変換符号化を行わず、したがって、そのブロックの符号を送信しない技術が特許文献１に記載されている。
【０００５】
【特許文献１】
特開２００１−４５４８５号公報
【非特許文献１】
野水泰之著、「次世代画像符号化方式ＪＰＥＧ２０００」、
株式会社トリケップス、２００１年２月１３日
【０００６】
【発明が解決しようとする課題】
Ｍｏｔｉｏｎ−ＪＰＥＧ２０００は、ＭＰＥＧのようなフレーム間予測や動き補償予測を行わず、全てのフレームを前後のフレームから独立して符号化を行う方式であるため、変化の少ないフレームが連続する区間では符号化データの冗長度が大きくなる傾向がある。
【０００７】
本発明は、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像のような、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像において、変化の少ないフレームが連続する区間における符号化データの冗長度を減らして動画像の符号量を効果的に削減する、新規な画像処理装置及び方法を提供することを目的とする。本発明のもう１つの目的は、本発明による画像処理装置又は方法により符号量が削減された動画像の各フレームを支障なく復元するための画像処理装置及び方法を提供することにある。
【０００８】
【課題を解決するための手段】
本発明の画像処理装置は、請求項１に記載のように、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置であって、動画像の各フレームの符号化データから各分割領域の各サブバンド係数を復元する手段と、前記復元する手段により復元された、注目フレームとその直前フレームの対応した分割領域の対応したサブバンド係数の差分を検出する手段と、前記検出する手段により検出された差分に基づき、注目フレームの各分割領域の各サブバンドの符号を省略すべきか否かを判断する手段と、注目フレームの符号化データを、前記判断する手段により符号を省略すべきと判断されたサブバンドの符号が省略された符号化データに変換する手段とを有することを特徴とする。
【０００９】
本発明のもう１つの特徴は、請求項２に記載のように、請求項１に記載の構成であって、前記判断する手段は、前記検出する手段により検出された差分を閾値と比較する手段を含み、差分が閾値以下のサブバンドの符号を省略すべきと判断する画像処理装置にある。
【００１０】
本発明のもう１つの特徴は、請求項３に記載のように、請求項１に記載の構成であって、前記判断する手段は、前記検出する手段により検出された差分を閾値と比較する手段を含み、差分が閾値以下のサブバンドを符号を省略する候補とし、注目フレームにおいて候補とされたサブバンドの中で差分が小さい所定個のサブバンドの符号を省略すべきと判断する画像処理装置にある。
【００１１】
本発明のもう１つの特徴は、請求項４に記載のように、請求項２又は３に記載の構成であって、符号化データは複数のコンポーネントの符号からなり、前記検出する手段による差分の検出、前記比較する手段による比較、前記判断する手段による判断、及び、前記変換する手段によるサブバンドの符号の省略は、各コンポーネント毎に独立に行われる画像処理装置にある。
【００１２】
本発明のもう１つの特徴は、請求項５に記載のように、請求項２又は３に記載の構成であって、符号化データは複数のコンポーネントの符号からなり、前記検出する手段による差分の検出、前記比較する手段による比較及び前記判断する手段による判断は、複数のコンポーネント中の１つの特定のコンポーネントについて行われ、前記変換する手段によりサブバンドの全コンポーネントの符号が省略される画像処理装置にある。
【００１３】
本発明のもう１つの特徴は、請求項６に記載のように、請求項２又３に記載の構成であって、符号化データは複数のコンポーネントの符号からなり、前記検出する手段による差分の検出及び前記比較する手段による比較は各コンポーネント毎に独立に行われ、前記判断する手段により全コンポーネントの差分が閾値以下のサブバンドが符号を省略するサブバンド又はその候補とされ、前記変換する手段によるサブバンドの符号の省略は全コンポーネントについて行われる画像処理装置にある。
【００１４】
本発明のもう１つの特徴は、請求項７に記載のように、請求項２又は３に記載の構成であって、差分と比較される閾値としてサブバンドの種類に応じた値が設定される画像処理装置にある。
【００１５】
本発明のもう１つの特徴は、請求項８に記載のように、請求項２又は３に記載の構成であって、差分と比較される閾値として分割領域の位置に応じた値が設定される画像処理装置にある。
【００１６】
本発明のもう１つの特徴は、請求項９に記載のように、請求項４又は６に記載の構成であって、差分と比較される閾値としてコンポーネントに応じた値が設定される画像処理装置にある。
【００１７】
本発明のもう１つの特徴は、請求項１０に記載のように、請求項２乃至９のいずれか１項に記載の構成であって、前記判断する手段は、注目フレームの直前フレームまでに各分割領域の各サブバンドの符号が連続して省略されたフレーム数をカウントする手段を含み、カウント値が所定値を越えるサブバンドの符号を省略すべきでないと判断する画像処理装置にある。
【００１８】
本発明のもう１つの特徴は、請求項１１に記載のように、請求項２乃至１０のいずれか１項に記載の構成であって、前記判断する手段は、各分割領域での高画質領域の設定の有無を検出する手段を有し、高画質領域が設定されている分割領域のサブバンドの符号を省略すべきでないと判断する画像処理装置にある。
【００１９】
本発明のもう１つの特徴は、請求項１２に記載のように、請求項１乃至１１のいずれか１項の記載の構成に加え、サブバンドの符号の省略に関する情報を動画像に付加する手段を有する画像処理装置にある。
【００２０】
本発明のもう１つの特徴は、請求項１３に記載のように、請求項１２に記載の構成であって、各フレームの符号化データに、そのフレームにおけるサブバンドの符号の省略に関する情報が記述される画像処理装置にある。
【００２１】
本発明のもう１つの特徴は、請求項１４に記載のように、請求項１２に記載の構成であって、動画像のファイルに、サブバンドの符号の省略に関する情報が記述される画像処理装置にある。
【００２２】
本発明のもう１つの特徴は、請求項１５に記載のように、請求項１２に記載の構成であって、動画像のファイルと関連付けられた別のファイルに、サブバンドの符号の省略に関する情報が記述される画像処理装置にある。
【００２３】
本発明の画像処理装置は、請求項１６に記載のように、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理装置であって、動画像の各フレームの符号化データを復号する手段と、この手段により復元された各フレームの各分割領域の各サブバンド係数を一時的に保存する手段と、各フレームにおけるサブバンドの符号の省略を認識する手段とを有し、前記復号する手段は、各フレームの復号において、前記認識する手段により符号が省略されたと認識されたサブバンドについては直前のフレームの復号に用いられた、前記保存する手段に保存されたているサブバンド係数を利用することを特徴とする。
【００２４】
本発明のもう１つの特徴は、請求項１７に記載のように、請求項１６に記載の構成であって前記認識する手段は、各フレームにおけるサブバンドの符号の省略を、そのフレームの符号化データに記述されているサブバンドの符号の省略に関する情報から認識する画像処理装置にある。
【００２５】
本発明のもう１つの特徴は、請求項１８に記載のように、請求項１６に記載の構成であって、前記認識する手段は、動画像のファイルに記述されているサブバンドの符号の省略に関する情報から、各フレームにおけるサブバンドの符号の省略を認識する画像処理装置にある。
【００２６】
本発明のもう１つの特徴は、請求項１９に記載のように、請求項１６に記載の構成であって、前記認識する手段は、動画像のファイルに関連付けられた別のファイルに記述されているサブバンドの符号の省略に関する情報から、各フレームにおけるサブバンドの符号の省略を認識する画像処理装置にある。
【００２７】
本発明のもう１つの特徴は、請求項２０に記載のように、請求項１乃至１９のいずれか１項に記載の構成であって、動画像はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像である画像処理装置にある。
【００２８】
本発明の画像処理方法は、請求項２１に記載のように、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像を扱う画像処理方法であって、動画像の注目フレームとその直前フレームの対応した分割領域の対応したサブバンド係数の差分を検出し、検出された差分に基づき、注目フレームの各分割領域の各サブバンドの符号を省略すべきか否かを判断し、注目フレームの符号化データを、符号を省略すべきと判断されたサブバンドの符号が省略された符号化データに変換することを特徴とする。
【００２９】
本発明の画像処理方法は、請求項２２に記載のように、各フレームが独立に、１以上の分割領域毎にウェーブレット変換後にエントロピー符号化された動画像の各フレームの符号化データを復号する画像処理方法であって、各フレームにおけるサブバンドの符号の省略を認識し、各フレームの復号の際に、符号が省略されたと認識されたサブバンドについては直前のフレームの復号に用いられたサブバンド係数を利用することを特徴とする。
【００３０】
本発明のもう１つの特徴は、請求項２３に記載のように、請求項２１又は２２に記載の構成であって、動画像はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像である画像処理方法にある。
【００３１】
【発明の実施の形態】
以下に説明する本発明の実施の形態においてはＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像が扱われる。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像は、各フレームが前後のフレームと独立に圧縮されたものであり、各フレームの符号化データはＪＰＥＧ２０００に準拠している。まず、以下の説明に必要な限度で、ＪＰＥＧ２０００とＭｏｔｉｏｎ−ＪＰＥＧ２０００について概説する。
【００３２】
図１はＪＰＥＧ２０００のアルゴリズムを説明するための簡略化されたブロック図である。符号化対象となる画像データ（動画像を扱う場合には各フレームの画像データ）は、コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割され、コンポーネント毎にタイルを単位として処理される。ただし、タイルサイズを画像サイズと同一にすること、つまり画像全体を１つのタイルとして処理することも可能である。
【００３３】
タイル画像は、圧縮率の向上を目的として、色空間変換／逆変換部１により、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換を施される。この色空間変換が省かれる場合もある。
【００３４】
色空間変換後の各コンポーネントの各タイル画像に対し、ウェーブレット変換／逆変換部２により、２次元のウェーブレット変換（離散ウェーブレット変換：ＤＷＴ）が実行される。
【００３５】
図２はデコンポジション・レベル数が３の場合のウェーブレット変換の説明図である。図２（ａ）に示すタイル画像（デコンポジションレベル０）に対する２次元ウェーブレット変換により、図２（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。デコンポジションレベルと解像度レベルとの関係であるが、図２（ｄ）の各サブバンドに括弧で囲んで示した数字が、そのサブバンドの解像度レベルを示している。
【００３６】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、量子化／逆量子化部３により、サブバンド毎に量子化される。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。
【００３７】
量子化後の各サブバンド係数は、エントロピー符号化／復号化部４により、サブバンド毎にエントロピー符号化される（ステップＳ４）。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と呼ばれる符号化方式が用いられ、量子化後の各サブバンド係数のビットプレーンが上位プレーンから下位プレーンへ向かって、コードブロックと呼ばれるブロック毎に符号化される（厳密には、１つのビットプレーンは３つのサブビットプレーンに分割し符号化される）。
【００３８】
最後のタグ処理部５で符号形成プロセスが実行される。まず、符号化形成プロセスの第１の段階で、エントロピー符号化／復号化部４で生成されたコードブロックの符号をまとめてパケットを作成する。次の段階で、生成されたパケットをプログレッション順序に従って並べられるとともに必要なタグ情報を付加することにより、所定のフォーマットの符号化データを生成する。
【００３９】
以上は符号化（エンコード）の場合である。復号（デコード）の場合には、図１のタグ処理部５に符号化データが入力され、丁度逆の処理によって各タイルの各コンポーネントの画像データが復元される。
【００４０】
このＪＰＥＧ２０００のアルゴリズムは高圧縮率での画質が良好であるほか、多くの特徴を有する。例えば、符号化データを復号伸長することなく、符号化データの一部の符号を削除可能であることである。また、選択した領域（ＲＯＩ；Region of Interest）の画質を他の領域より向上させる選択的領域画質向上機能がある。
【００４１】
ＪＰＥＧ２０００の符号化データのフォーマットを図３に示す。図３に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ(Main Header)と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ(Tile Header)と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Tile Data）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００４２】
図４にメインヘッダの構成を示す。ＳＩＺ，ＣＯＤ，ＱＣＤの各マーカセグメントは必須であるが、他のマーカセグメントはオプションである。図５にタイルヘッダの構成を示す。図５の（ａ）はタイルデータの先頭に付加されるヘッダであり、（ｂ）はタイル内が複数に分割されている場合に分割されたタイル部分列の先頭に付加されるヘッダである。タイルヘッダでは必須のマーカセグメントはなく、すべてオプションである。図６にマーカ及びマーカセグメントの一覧表を示す。
【００４３】
図７にＭｏｔｉｏｎ−ＪＰＥＧ２０００のファイル（ＭＪ２ファイル）のフォーマットを示す。図７において、１０はオプションのボックス（ｂｏｘ）であり、これはＪＰＥＧ２０００のファイルフォーマット（ＪＰ２ファイルフォーマット）のヘッダ情報のボックス１１と、ＪＰＥＧ２０００の１枚の静止画像の符号化データのボックス１２からなる。このボックス１２はオプションである。
【００４４】
図７において、１５がＭＪ２ファィルで必須のボックスであり、米Apple社のQuick-Time（登録商標）のファイルフォーマットのatomのボックス構造を継承している。すなわち、ボックス１５は、画像・音声データを内容とするmdatボックス１８、mdataボックス１８内のデータの参照情報や時間管理情報など、映像・音声再生のためのメタデータを内容とするmoovボックス１６、moovボックス１６の補足データを内容とするオプションのmoofボックス１７からなる。mdatボックス１８に格納される画像データとは、動画像の各フレームをＪＰＥＧ２０００のアルゴリズムにより符号化した、図３に示したフォーマットの符号化データ（コードストリーム）である。
【００４５】
以下、本発明の実施の形態について説明する。
図８は、本発明の実施の形態を説明するためのブロック図である。この実施の形態に係る画像処理装置は、データ記憶部１００に蓄積されているＭＪ２ファイル１０１に対して、動画像符号化データの符号量を削減するための変換を行い、この変換後のＭＪ２ファイル１０３をデータ記憶部１０２に蓄積し、このＭＪ２ファイル１０３の内容を通信部１０４によりＬＡＮ、ＷＡＮなどのネットワークあるいは他の伝送路を通じて外部装置へ送信する。ただし、データ記憶部１００とデータ記憶部１０２は同一のデータ記憶部であってもよい。
【００４６】
この画像処理装置は、ＭＪ２ファイル変換処理に関連する手段として、変換制御部１１０、デコード部１１２、係数メモリ１１４、差分検出部１１６、比較判定部１１８、符号化データ変換部１２０、作業用メモリ１２２を有する。
【００４７】
デコード部１１２は、例えばＪＰＥＧ２０００準拠の標準的なデコーダであり、動画像の各フレームの符号化データをエントロピー復号化し、各タイルの逆量子化前の各サブバンド係数を復元する。ただし、ここでは逆量子化前の各サブバンド係数を得ることを目的としているため、デコーダの逆量子化機能、ウェーブレット逆変換機能、色空間逆変換機能は利用されない。したがって、デコード部１１２は、そのような不要な機能を持たない構成としてもよい。
【００４８】
係数メモリ１１４は、注目している現フレームの直前のフレームの符号化データより復元された各タイルの各サブバンド係数を一時的に保存するための手段である。差分検出部１１６は、デコード部１１２によって復元された現フレームの各タイルの各サブバンド係数と、係数メモリ１１４に記憶されている直前フレームの対応タイルの対応サブバンド係数との差分を算出する手段である。比較判定部１１８は、差分検出部１１６により検出された前後２フレーム間の対応サブバンド係数の差分と、変換制御部１１０によって設定された閾値との比較判定を行う手段である。
【００４９】
符号化データ変換部１２０は、動画像の各フレームの符号化データを、変換制御部１１０より指示されたサブバンドの符号が省略された符号化データに変換する手段である。サブバンドの符号の省略に関する情報を各フレームの符号化データに付加する場合には、その情報付加操作も符号化データ変換部１２０で行われる。
【００５０】
変換制御部１１０は、符号を省略すべきサブバンドの決定のほか、ＭＪ２ファイル変換処理全体の制御を行う手段である。サブバンドの符号の省略に関する情報をＭＪ２ファイルのmoovボックスなどに付加する場合には、その情報付加操作も変換制御部１１０で行われる。サブバンドの符号の省略に関する情報をＭＪ２ファイルと別のファイルに記述することも可能であり、その場合には、そのファイルの生成も変換制御部１１０で行われる。１２２は変換制御部１１０及び符号化データ変換部１２０の作業用記憶域として利用されるメモリである。符号を省略すべきサブバンドの決定に関わるフラグやカウント値などの情報（後述）の記憶手段としてもメモリ１２２が利用される。
【００５１】
ＭＪ２ファイル変換処理の全体の流れは次の通りである。変換制御部１１０は、データ記憶部１００より対象となるＭＪ２ファイル１０１のmdatボックスに格納されている動画像の各フレームの符号化データをメモリ１２２に順次読み込み、それをデコード部１１２に送る。変換制御部１１０は、差分検出部１１６により検出される差分値、比較判定部１１８による判定結果、デコード部１１２より渡されるＲＯＩ情報などに基づいて各フレームの各タイルの各サブバンドの符号を省略すべきか否か判断し、符号を省略すべきと判断したサブバンドの符号の省略を符号化データ変換部１２０に指示する。符号化データ変換部１２０は、メモリ１２２内の符号化データに対し、指示されたサブバンドの符号を省略する変換処理を施す。変換後の符号化データは、変換制御部１１０によりデータ記憶部１０２に格納される。
【００５２】
このようにしてＭＪ２ファイル１０１のmdatボックス内の動画像の全フレームの符号化データを変換してデータ記憶部１０２に格納した後、あるいはその前に、ＭＪ２ファイル１０１のmdatボックス内の音声符号化データやその他の内容が変換制御部１１０によりデータ記憶部１０２に複写され、元のＭＪ２ファイル１０１を変換したＭＪ２ファイル１０３がデータ記憶部１０２上に作成される。サブバンドの符号の省略に関する情報を例えばmoovボックスに記述する場合には、moovボックスの複写の際にその記述が行われる。サブバンドの符号の省略に関する情報を別ファイルに記述する場合には、そのファイルも変換後のＭＪ２ファイル１０３と関連付けた形でデータ記憶部１０２に書き込まれる。
【００５３】
図９を参照して説明する。ここでは、各フレームが４つのタイル（タイル番号０〜３）に分割されて符号化され、またウェーブレット変換のデコンポジション数は３であるとする。
【００５４】
図８に示す画像処理装置においては、図９の上段に示すように、フレーム（Ｎ）のタイル番号３のタイルの１ＨＨサブバンド係数（量子化後の係数。ただし、量子化前の係数であってもよい）と、その前のフレーム（Ｎ−１）のタイル番号３のタイルの１ＨＨサブバンド係数との差分が閾値より小さいときには、フレーム（Ｎ）のタイル番号３のタイルの１ＨＨサブバンドの符号を省略する符号化データ変換が行われる。同様に、次のフレーム（Ｎ＋１）のタイル番号３の１ＨＨサブバンド係数と、その前のフレーム（Ｎ）のタイル番号３の１ＨＨサブバンド係数との差分が閾値より小さいときには、フレーム（Ｎ＋１）のタイル番号３の１ＨＨサブバンドの符号を省略する変換が行われる。このような変換により、変化の少ない区間では符号量が効果的に削減される。
【００５５】
このような変換が行われた符号化データを受信する側の装置においては、図９の下段に示すように、フレーム（Ｎ）の復号の際に、そのタイル番号３のタイルの１ＨＨサブバンド係数は、その符号が省略されているため復元できない。そこで、その１ＨＨサブバンド係数（逆量子化前の係数）として、その前のフレーム（Ｎ−１）の復号により復元されたタイル番号３のタイルの１ＨＨサブバンド係数をそのまま用いる。同様に、次のフレーム（Ｎ＋１）の復号の際には、そのタイル番号３のタイルの１ＨＨサブバンド係数として、フレーム（Ｎ）のタイル番号３のタイルの１ＨＨサブバンド係数（これは、この例では、フレーム（Ｎ−１）の対応タイルの１ＨＨサブバンド係数に等しい）をそのまま用いる。このように、符号が削除されたサブバンド係数として直前のフレームで用いられたサブバンド係数が利用されるが、符号が省略されたサブバンドでは前後フレーム間でサブバンド係数の差分が小さいため、サブバンドの符号が省略されない場合とほぼ同じ画像を再生することができる。したがって、受信側において違和感のない動画像の再生が可能である。
【００５６】
次に、サブバンドの符号を省略すべきか否かの判断方法について説明する。この実施の形態においては、次に述べる３つの判断方法を選択可能である。
【００５７】
第１の判断方法が選択された場合、変換制御部１１０は、各フレームの各タイル毎に、図１０の手順に従って符号を省略すべきサブバンドを決定する。
【００５８】
デコード部１１２において、符号化データのメインヘッダ又はタイルヘッダのＲＧＮマーカセグメントの解析により、あるいは、ＲＯＩ領域（高画質領域）におけるダイナミックレンジの増大により、各タイル毎にＲＯＩ領域の設定の有無を判断し、それを変換制御部１１０に通知する。すなわち、デコード部１１２は各タイルにおけるＲＯＩ領域の設定の有無を検出する手段としても機能する。
【００５９】
変換制御部１１０は、注目しているタイルにＲＯＩ領域が設定されているかチェックし（ステップＳ１００）、ＲＯＩ領域が設定されているならば、注目タイルの全てのサブバンドの符号を省略すべきでないと判断し、直ちに注目タイルの処理を終わる。これは、ＲＯＩ領域は高画質を意図した領域であるので、符号の省略による画像品質の悪化を回避するためである。
【００６０】
注目タイルにＲＯＩ領域が設定されていない場合には、変換制御部１１０は、１つのサブバンドを選択し（ステップＳ１０５）、そのサブバンドについての比較判定部１１８の判定結果をチェックする（ステップＳ１１０）。すなわち、そのサブバンドについて差分検出部１１６により算出されたサブバンド係数の差分が、閾値以下であるか否かをチェックする。差分が閾値以下であるという判定結果であるならば（ステップＳ１１０，Ｙｅｓ）、変換制御部１１０は、そのサブバンドの符号を省略すべきと判断し、その符号の省略を符号化データ変換部１２０に指示し（ステップＳ１１５）、ステップＳ１０５の手順に戻る。差分が閾値より大きいとの判定結果ならば、そのサブバンドの符号は省略すべきでないと判断し、省略指示を出すことなくステップＳ１０５の手順に戻る。以上の手順を全てサブバンドについて繰り返す。
【００６１】
なお、比較判定部１１８で比較判定に用いられる閾値は変換制御部１１０によって設定される。この閾値は、全てのサブバンド、全てのタイルについて同じ値を設定することも、サブバンドの種類及び／又はタイルの位置に応じた値を設定することもできる。この実施の形態では、ユーザは次の（１）から（４）の閾値設定方法を選択することができる。
【００６２】
（１）全てのサブバンド、全てのタイルについて同じ閾値を設定する方法。閾値はユーザが指定するができ、ユーザが指定しない場合にはデフォルト値が設定される。
（２）サブバンドの種類に応じた閾値を設定する方法。例えば、画像の高い周波数成分を重視したい場合には、高い周波数のサブバンドの閾値を小さめに設定して、高い周波数のサブバンドの符号の省略を抑制する。画像の階調を重視したい場合には、低い周波数のサブバンドの閾値を小さめに設定して、低い周波数のサブバンドの符号の省略を抑制する。このように、サブバンドの種類に応じた閾値を設定することにより、画像の特性やユーザの意図に応じてサブバンドの符号省略をコントロールすることができる利点がある。
（３）タイルの位置に応じた閾値を設定する方法。この方法によれば、画像内の領域に応じてサブバンドの符号省略をコントロールすることができる利点がある。例えば、一般に画像の中央部分は重要な部分であり、その部分の画質を重視したい場合には、中央部分に位置するタイルの閾値を小さめに設定し、画像の周辺部分に位置するタイルの閾値を大きめに設定することにより、中央部分のタイルのサブバンドの符号省略を抑制し、画像の周辺部分のタイルのサブバンドの符号省略を生じやすくすることができる。
（４）上記（２）と上記（３）を組み合わせる方法。
【００６３】
なお、このような閾値設定方法の選択は、次に述べる第２及び第３の判断方法においても同様である。コンポーネント毎に閾値を異ならせることも本発明に含まれるが、これについては後述する。
【００６４】
第２の判断方法が選択された場合、変換制御部１１０は、各フレームの各タイル毎に、図１１の手順に従って符号を省略すべきサブバンドを決定する。
【００６５】
変換制御部１１０は、注目しているタイルにＲＯＩ領域が設定されているかチェックし（ステップＳ１２０）、ＲＯＩ領域が設定されているならば、注目タイルの全てのサブバンドの符号を省略すべきでないと判断し、注目タイルの処理を終わる。
【００６６】
注目タイルにＲＯＩ領域が設定されていない場合には、変換制御部１１０は、１つのサブバンドを選択し（ステップＳ１２５）、そのサブバンドについての比較判定部１１８の判定結果をチェックする（ステップＳ１３０）。
【００６７】
差分が閾値以下であるという判定結果であるならば（ステップＳ１１０，Ｙｅｓ）、そのサブバンドに対応したカウント値をチェックする（ステップＳ１３５）。メモリ１２２上には、各タイルの各サブバンドに１対１に応したカウント値が記憶されている。このカウント値は、現フレームの直前フレームまでに、対応したサブバンドの符号が連続して省略されたフレーム数を表すもので、変換制御部１１０により、動画像の最初のフレームの処理時に０にクリアされ、処理の進行中に適宜更新される。
【００６８】
注目しているサブバンドのカウント値が所定値以下ならば（ステップＳ１３５，Ｙｅｓ）、変換制御部１１０は、注目しているサブバンドの符号を省略すべきと判断し、その省略を符号化データ変換部１２０に指示し（ステップＳ１４０）、対応するカウント値に１を加え（ステップＳ１４５）、ステップＳ１２５に戻る。
【００６９】
差分が閾値を越えているか、カウント値が所定値を越えているときには（ステップＳ１３５又はＳ１３５，Ｎｏ）、変換制御部１１０は注目するサブバンドの符号を省略すべきでないと判断する。この場合は、対応するカウント値を０にクリアし（ステップＳ１５０）、ステップＳ１２５に戻る。
【００７０】
ここで、ステップＳ１３５のチェックを行う目的について図９を参照して説明する。図９の上段に示すようにフレーム（Ｎ）とフレーム（Ｎ＋１）の同じタイルの同じサブバンドの符号が省略された場合、受信側においては、図９の下段に示すように、フレーム（Ｎ＋１）の復号の際に用いられる１ＨＨサブバンド係数は、直前のフレーム（Ｎ）で復元された１ＨＨサブバンド係数ではなく、さらに１フレーム前のフレーム（Ｎ−１）で復元された１ＨＨサブバンド係数である。フレーム（Ｎ−１）とフレーム（Ｎ）の間の１ＨＨサブバンド係数の差分は閾値以下であり、フレーム（Ｎ）とフレーム（Ｎ＋１）との間の１ＨＨサブバンド係数の差分は閾値以下である。しかし、フレーム（Ｎ−１）とフレーム（Ｎ＋１）の間の１ＨＨサブバンド係数の差分が閾値以下である保証はなく、その差分が大きいときには再生画像の品質が損なわれる。このような不都合を回避するため、上に述べたカウント値のチェックにより、同じタイルの同じサブバンドの符号の省略が連続して行われるフレーム数を制限している。
【００７１】
第３の判断方法が選択された場合、変換制御部１１０は、各フレームの各タイル毎に、図１２の手順に従って符号を省略すべきサブバンドを決定する。
【００７２】
メモリ１２２上に、各タイルの各サブバンドに１対１に対応した前記カウント値とフラグが置かれている。カウント値は前述のように動画像の処理開始時に変換制御部１１０によりクリアされる。
【００７３】
各フレームの処理開始時に、変換制御部１１０は全てのフラグをＯＦＦに設定する（ステップＳ２００）。次に、変換制御部１１０は、注目する１つのタイルを選択し（ステップＳ２０５）、そのタイルにＲＯＩ領域が設定されているかチェックする（ステップＳ２１０）。ＲＯＩ領域が設定されているならば、ステップＳ２０５に戻る。
【００７４】
注目したタイルにＲＯＩ領域が設定されていない場合には、変換制御部１１０は、注目したタイルの１つのサブバンドを選択し（ステップＳ２１５）、そのサブバンドについての比較判定部１１８の判定結果をチェックする（ステップＳ２２０）。差分が閾値を越えているという判定結果ならば（ステップＳ２２０，Ｎｏ）、ステップＳ２１５に戻り、別のサブバンドを選択する。
【００７５】
差分が閾値以下であるという判定結果であるならば（ステップＳ２２０，Ｙｅｓ）、そのサブバンドに対応したカウント値をチェックする（ステップＳ２２５）。カウント値が所定値を越えているならば（ステップＳ２２５，Ｎｏ）、ステップＳ２１５に戻る。
【００７６】
サブバンドのカウント値が所定値以下ならば（ステップＳ２２５，Ｙｅｓ）、変換制御部１１０は、注目しているサブバンドを符号省略の候補とし、対応したフラグをＯＮに設定するとともに、注目しているサブバンドに関し差分検出部１１６により算出された差分値をメモリ１２２に保存し（ステップＳ２３０）、ステップＳ２１５に戻る。
【００７７】
１つのタイルについて手順を終了すると、ステップＳ２０５に戻り別のタイルを選択し、そのサブバンドについて同様の手順を繰り返す。
【００７８】
以上の手順を全てのタイルについて繰り返すと、ステップＳ２３５に進む。このステップＳ２３５において、変換制御部１１０は、ＯＮに設定されたフラグに対応したサブバンドつまり候補とされたサブバンドについて、ステップＳ２３０で保存された差分値を比較し、差分値の小さいＮ個のサブバンドの符号を省略すべきと判断し（フラグがＯＮのサブバンド数がＮ個に満たないときには、それらサブバンド全ての符号を省略すべきと判断する）、そのサブバンドの符号の省略を符号化データ変換部１２０に指示する。次に、符号を省略すべきと判断したサブバンドに対応したカウント値に１を加え、他のサブバンドに対応したカウント値を０にクリアする（ステップＳ２４０）。
【００７９】
変換制御部１１０は、変換後ＭＪ２ファイル１０３の送信に使用されるネットワーク、その他の伝送路の伝送容量に応じてＮの値を設定する。すなわち、伝送容量が大きいときにはＮを小さめの値に設定して符号が省略されるサブバンド数を減らし、伝送容量が小さいときにはＮを大きめの値に設定して符号が省略されるサブバンド数を増加させる。言うまでもなく、画像処理装置のユーザがＮの値を指定することも可能である。
【００８０】
さて、符号化データの復号時に、サブバンドの符号量などからサブバンド符号の省略を認識することも可能であるが、より確実な認識を可能にするために、この実施の形態においては、前述のようにサブバンドの符号の省略を示す情報を動画像に付加する。
【００８１】
ここで、サブバンドの符号の省略を示す情報について説明する。この情報は、例えば、ＩＳＯ／ＩＥＣＪＴＣ１ＳＣ２９／ＷＧ１１において標準化作業が進行している、マルチメディア・コンテンツに対するメタデータの表記に関する国際標準規格ＭＰＥＧ−７（Multimedia Content Description Interface；ISO/IEC 15938-1〜8）に従って記述される。先頭から１００フレーム目のタイル番号３のタイルの１ＨＨサブバンドの符号を省略する場合の記述例を次に示す（先頭の数字は便宜上付加した行番号である）。
【００８２】
1 <？xml version="1.0" encoding="Shift_JIS"？>
2 <Mpeg7 xsi:schemaLocation="urn:mpeg:mpeg7:schema:2001
Mpeg7-2001.xsd" xmlns="urn:mpeg:mpeg7:schema:2001"
xmlns:xsi="http://www.w3.org/2001/XML/Schema-instance"
xmlns:mpeg7="urn:mpeg:mpeg7:schema:2001">
3 <DescriptionUnit xsi:type="VideoSegmentType"
id="descriptionUnit-1">
4 <TextAnnotation type="OmittedSubbandNo">
5 
6 <FreeTextAnnotation>3 1HH</FreeTextAnnotation>
7 </TextAnnotiaion>
8 <Semantic id="semantic=2">
9 
10 <Label>
11 <Name>OnittedSubband</Name>
12 </Lable>
13 </Semantic>
14 <MediaTime>
15 
16 <MediaRelTipePoint>P0DT0H0M0S100NOF></MediaRelTimePoint>
17 </MeadiaTime>
18 </DescriptionUnit>
19 </Mpeg7>
【００８３】
このようなＭＰＥＧ−７による記述は、前述したように、例えば、各フレームの符号化データのメインヘッダ又はタイルヘッダのＣＯＭマーカセグメントに記述さり、ＭＪ２ファイルのmoovボックスなどに集約して記述され、あるいは、独立したファイルに記述される。なお、コメント行は省略可能である。また、タイルヘッダに記述する場合には、タイル番号の指定を省くことも可能であり、例えば６行目の記述を
<FreeTextAnnotiaion>1HH</FreeTextAnnotation>
と変更してもよい。タイルヘッダ又はメインヘッダに記述する場合には、フレーム番号も自明であるので１４行目から１７行目の記述も省略可能である。
【００８４】
ここまでは、説明を簡略にするためコンポーネントに言及しなかった。ここで、動画像の符号化データが複数のコンポーネントの符号からなる場合について説明する。
【００８５】
本発明の１つの態様によれば、個々のコンポーネントは独立に扱われる。すなわち、各コンポーネント毎にフレーム間で各サブバンド係数の差分の検出と閾値との比較が行われ、図１０、図１１又は図１２に示した手順に従って、コンポーネント毎にサブバンドの符号を省略すべきか否かが判断され、省略すべきと判断されたコンポーネントのサブバンドの符号が省略される。この態様において、サブバンド係数の差分の判定閾値として、全てのコンポーネントで同じ値を設定することも、コンポーネントによって異なった値を設定することもできる。後者によれば、例えば、Ｙ，Ｃｒ，Ｃｂの３コンポーネントからなる符号化データの場合に、符号省略による影響が目立ちやすいＹ（輝度）コンポーネントに用いられる差分の判定閾値を、Ｃｒ，Ｃｂ（色差）コンポーネントに用いられる差分の判定閾値より小さくすることにより、Ｃｒ，Ｃｂコンポーネントでサブバンドの符号省略を生じやすくし、Ｙコンポーネントのサブバンドの符号省略を抑制することができる。
【００８６】
もう１つの態様によれば、画像品質への影響が最も大きな１つのコンポーネント（例えばＹ，Ｃｒ，Ｃｂの３コンポーネントの場合のＹコンポーネント）についてフレーム間で各サブバンド係数の差分が検出され、図１０、図１１又は図１２の手順に従ってサブバンドの符号を省略すべきか否かが判断される。省略すべきと判断されたサブバンドについては全コンポーネントの符号が省略される。
【００８７】
もう１つの態様によれば、全てのコンポーネントのサブバンド係数の差分がそれぞれに検出される。サブバンドの符号を省略するか否かは図１０、図１１又は図１２の手順によって判断されるが、サブバンドの全コンポーネントの差分がそれぞれの閾値以下となった場合にのみ、そのサブバンドの差分が閾値以下であるとみなされる。そして、符号を省略すべきと判断されたサブバンドについては、全コンポーネントの符号が省略される。この態様は、不自然な色調変化を生じするような符号の省略を回避できる利点がある。この態様においても、サブバンド係数の差分と比較される閾値として、全コンポーネントに同じ値を設定することも、コンポーネント別の値を設定することもできる。
【００８８】
なお、いずれの態様においても、サブバンド係数の差分の判定閾値として、前述のように、タイルの位置及び／又はサブバンド種類に応じて異なった値を用いることも、同一の値を用いることも可能である。
【００８９】
図８に示した画像処理装置においては、ＭＪ２ファイルの内容を送信する前に、動画像の全フレームの符号化データについてフレーム間で違いの小さいサブバンドの符号を省略する変換を行った。しかし、送信時にリアルタイルに各フレームの符号化データの変換を行う構成とすることも可能である。このような構成の画像処理装置について図１３を参照して説明する。
【００９０】
図１３において、通信部１０４はデータ記憶部１００よりＭＪ２ファイル１０１の内容を送信バッファ２０２に読み込み順次送信するが、この送信バッファ２０２に読み込まれた動画像の各フレームの符号化データに対し、サブバンド符号省略処理部２００により前フレームとの差分の小さいサブバンドの符号を省略する処理が施され、この処理後の符号化データが送信される。
【００９１】
このサブバンド符号省略処理部２００は、変換制御部１１０Ａ、デコード部１１２Ａ、係数メモリ１１４Ａ、差分検出部１１６Ａ、比較判定部１１８Ａ、符号化データ変換部１２０Ａ、メモリ１２２Ａからなる。これら各部の作用は図８中の対応要素と同様であるので説明を繰り返さない。ただし、サブバンド符号省略処理部２００は動画像の各フレームの符号化データに対する処理のみを行うため、変換制御部１１０Ａは送信バッファ２０２よりフレーム単位で符号化データを読み込み、その変換後の符号化データを送信バッファ２０２に書き込むだけで、ＭＪ２ファィル全体の読み書きに関する制御には関与しない。
【００９２】
以上に説明した本発明の画像処理装置より送信されるＭＪ２ファイルの内容を受信し、動画像及び音声を再生する本発明の画像処理装置について、図１４を参照し説明する。
【００９３】
ここに示す画像処理装置は、通信部３００、データ記憶部３０２、再生制御部３０４、画像デコード部３０６、ＭＰＥＧ７デコーダ３０８、音声デコード部３１０、表示制御部３１１、画像表示部３１２及び音声出力部３１４から構成される。
【００９４】
通信部３００によって、ネットワーク、その他の伝送路を通じ、前述した本発明の画像処理装置より、ＭＪ２ファイルの内容が（サブハンド符号省略の情報が記述された別ファイルがあれば、そのファイルの内容も）受信されてデータ記憶部３０２に記憶される。
【００９５】
再生制御部３０４は、受信されたＭＪ２ファイルのmoovボックス及びmoofボックスの情報に従って、mdatボックスに格納されている動画像符号化データ及び音声符号化データのデコード及び出力を制御し、動画像と音声を同期させて画像表示部３１２と音声出力部３１４に出力させる。ＭＰＥＧ７デコーダ３０８は、動画像のサブバンド符号省略に関するＭＰＥＧ−７記述をデコードし、サブバンドの符号の省略を認識する手段であり、再生制御部３０４及び画像デコード部３０６に利用される。
【００９６】
画像デコード部３０６は、符号が省略されたサブバンド係数として、前フレームで用いられた対応サブバンド係数を利用する機能が付加されたＪＰＥＧ２０００準拠のデコーダからなる。この付加機能に関連して、画像デコード部３０６は１フレーム前のサブバンド係数を保存するための係数メモリ３０７を備える。画像デコード部３０６は、再生制御部３０４より入力される動画像の各フレームの符号化データの復号を行うが、符号化データのメインヘッダ及びタイルヘッダのＣＯＭマーカセグメントの内容はＭＰＥＧ７デコーダ３０８によっても解釈される。ＣＯＭマーカセグメントにサブバンドの符号省略のＭＰＥＧ−７記述があると、符号が省略されたサブバンドが画像デコード部３０６に通知され、画像デコード部３０６は、その符号が省略されたサブバンドの係数として、前フレームで用いられた係数メモリ３０７内の対応サブバンドの係数を利用する。
【００９７】
moovボックスや別ファイルに含まれているＭＰＥＧ−７記述もＭＰＥＧ７デコーダ３０８により解釈される。サブバンド符号省略のＭＰＥＧ−７記述が含まれている場合には、その内容が再生制御部３０４に通知され、再生制御部３０４は各フレームのデコード時に、符号が省略されたサブバンドを画像デコード部３０６に通知する。画像デコード部３０６で復元されたフレーム画像は表示制御部３１１を介して画像表示部３１２に表示される。
【００９８】
図８、図１３及び図１４に示した本発明の画像処理装置の全ての手段又は一部手段の機能、あるいは、同装置における処理の手順の全部又は一部を、一般的なパソコンなどのコンピュータ上でプログラムにより実現可能であることは明らかである。そのプログラム、及び、同プログラムが記録された各種記録（記憶）媒体も本発明に包含される。
【００９９】
図１５は、本発明の別の実施の形態を説明するためのブロック図である。この実施の形態は撮像手段を持つ画像処理装置、より具体的には、デジタルビデオカメラや動画撮影機能を持つデジタルスチルカメラなどの電子カメラに係るものである。
【０１００】
図１５において、４００は光学レンズ、絞り機構、シャッター機構などから構成される一般的な撮像光学系である。４０１はＣＣＤ型又はＭＯＳ型のイメージャであり、撮像光学系４００により結像される光学像を色分解してから光量に応じた電気信号に変換する。４０２はイメージャ４０１の出力信号をサンプリングしてデジタル信号に変換するＣＤＳ・Ａ／Ｄ変換部であり、相関二重サンプリング（ＣＤＳ）回路とＡ／Ｄ変換回路からなる。
【０１０１】
４０３は画像プロセッサであり、例えばプログラム（マイクロコード）で制御される高速のデジタル信号プロセッサからなる。この画像プロセッサ４０３は、ＣＤＳ・Ａ／Ｄ変換部４０２より入力する画像データに対するガンマ補正処理、ホワイトバランス調整処理、エッジ強調などのためのエンハンス処理のような信号処理のほか、イメージャ４０１、ＣＤＳ・Ａ／Ｄ変換部４０２、表示装置４０４を制御し、また、オートフォーカス制御、自動露出制御、ホワイトバランス調整などのための情報の検出などを行う。表示装置４０４は例えば液晶表示装置であり、モニタリング画像（スルー画像）や撮影画像などの画像の表示、その他の情報の表示などに利用される。
【０１０２】
以上に説明した撮像光学系４００、イメージャ４０１、ＣＤＳ・Ａ／Ｄ変換部４０２及び画像プロセッサ４０３は、静止画像又は動画像を撮影して画像データを取得する撮像手段を構成している。
【０１０３】
４０８はＪＰＥＧ２０００準拠のエンコーダであり、これは撮影された画像データの符号化処理に利用される。４０９はＪＰＥＧ２０００準拠のデコーダであり、ＪＰＥＧ２０００準拠の符号化データの復号処理に利用される。
【０１０４】
４１２は記録媒体４１３に対する情報の書き込み／読み出しを行う媒体記録部である。この媒体記録部４１２により、静止画像撮影時には画像の符号化データはＪＰ２ファイルとして記録媒体４１３に記録され、動画像撮影時には画像の符号化データはＭＪ２ファイルとして記録媒体４１３に記録される。記録媒体４１３は例えば各種メモリカードである。４１４は外部インターフェース部である。この電子カメラは、外部インターフェース部４１４を介し、外部のパソコンなどと有線又は無線のネットワーク又は他の伝送路を通じ情報の交換を行うことができる。
【０１０５】
４０６はシステムコントローラであり、マイクロコンピュータからなる。このシステムコントローラ４０６は、操作部４０７から入力されるユーザの操作情報や画像プロセッサ４０３から与えられる情報などに応答して、撮像光学系４００のシャッター機構、絞り機構、ズーミング機構、画像プロセッサ４０３、エンコーダ４０８、デコーダ４０９、媒体記録部４１２、ＭＪ２ファイル変換部４２０などの制御を行う。４１０はシステムコントローラ４０６のプログラムが記録されたＲＯＭである。４０５はＲＡＭであり、画像データやその符号化データなどの一時記憶域、画像プロセッサ４０３やシステムコントローラ４０６、エンコーダ４０８、デコーダ４０９、媒体記録部４１２、ＭＪ２ファイル変換部４２０の作業記憶域として利用される。操作部４０７は、電子カメラ装置の操作のための各種の操作ボタン（スイッチ）などからなる。
【０１０６】
ＭＪ２ファイル変換部４２０は、図８に示した画像処理装置と同様のＭＪ２ファイル変換処理を行うための手段である。ＭＪ２ファイル変換部４２０が破線で表されているのは、この例ではＭＪ２ファイル変換部４２０の機能が、デコーダ４０９、ＲＡＭ４１１と、システムコントローラ４０６上で動作するプログラム（ＲＯＭ４１０に置かれる）によって実現されるからである。
【０１０７】
ただし、ＭＪ２ファイル変換部４２０を、図８に示すような構成のハードウェアとして実現することも可能であり、このような態様も本発明に包含される。このような態様において、図８に示すデコード部１１２としてデコーダ４０９を、メモリ１２２や係数メモリ１１４としてＲＡＭ４１１を、それぞれ利用することができる。
【０１０８】
動画像撮影時には、システムコントローラ４０６の制御下で、画像プロセッサ４０４により処理された各フレームの画像データがエンコーダ４０８により符号化され、その符号化データが媒体記録部４１２により記録媒体４１３に順次記録される。最終フレームの記録後に、システムコントローラ４０６により、ＭＪ２ファイルのmoovボックスやmoofボックスの情報が記録媒体４１３に書き込まれ、動画像はＭＪ２ファイルとして媒体記録部４１３に格納される。
【０１０９】
記録媒体４１３の空き容量不足などの理由で、記録されているＭＪ２ファイルのサイズを縮小したい場合、ユーザは、１つ又は全部のＭＪ２ファイルを指定し、差分の小さいサブバンドの符号を省略するＭＪ２ファイル変換処理の実行を操作部４０７より指示することができる。この指示が与えられた場合、システムコントローラ４０６は、ＭＪ２ファイルを指定してＭＪ２ファイル変換部４２０を起動する。ＭＪ２ファイル変換部４２０は、媒体記録部４１２を介して、指定されたＭＪ２ファイルをアクセスし、フレーム間で差分の小さいサブバンドの符号を省略する変換処理を実行する。変換後のＭＪ２ファイルは、記録媒体４１３上の元のＭＪ２ファイルに上書きされる形で記録されるか、別のファイルとして記録されるが、そのいずれの形で記録するかはユーザからの指定による。サブバンド符号省略の情報は、前述したように、例えばＭＰＥＧ−７記述の形で符号化データのメインヘッダ又はタイルヘッダに付加されるか、ＭＪ２ファイルのmoovボックスなどに付加されるか、ＭＪ２ファイルと関連付けた別ファイルとして付加される。
【０１１０】
図１５には図示されていないが、この電子カメラは、記録媒体４１３に記録された動画像を再生するための図１４に示すような機構を有する。この機構は、デコーダ４０９と、システムコントローラ４０４上で動作するプログラムにより実現される。動画像の再生時に、符号が省略されたサブバンド係数として、前フレームで用いられた対応サブバンド係数が利用されることは前述の通りである。
【０１１１】
なお、本発明はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像に好適に適用できるが、同様のサブバンド単位の符号省略が可能な他のフォーマットの動画像に対しても本発明を同様に適用できることは以上の説明から明白である。
【０１１２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像などにおいて、サブバンド単位の符号省略によって変化の少ない区間の符号量を効果的に削減することができ、したがって、動画像を伝送するための伝送路の負荷を軽減し、また、動画像を蓄積するための記憶装置の利用効率を向上させることができる。符号量削減後においても動画像の違和感のない再生が可能である。動画像の伝送路の伝送容量や記憶装置の記憶容量などに応じて、各フレームで符号が省略されるサブバンド数をコントロールすることができる。多数フレームにわたって同じサブバンドの符号が連続して省略されることによる画質の悪化を回避できる。高画質領域（ＲＯＩ領域）の画質を悪化させることなく符号量の削減を行うことができる。サブバンドの種類、タイルの位置、コンポーネントに応じて符号の省略をコントロールすることができる、等々の効果を得られる。
【図面の簡単な説明】
【図１】ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。
【図２】２次元ウェーブレット変換を説明するための図である。
【図３】ＪＰＥＧ２０００の符号化データのフォーマットを示す図である。
【図４】メインヘッダの構造を示す図である。
【図５】タイルヘッダの構造を示す図である。
【図６】マーカ及びマーカセグメントの一覧表を示す図である。
【図７】ＭＪ２ファイル・フォーマットを示す図である。
【図８】本発明に係る画像処理装置の一例を説明するためのブロック図である。
【図９】送信側におけるサブバンドの符号省略と、受信側における符号が省略されたサブバンドの処理の説明図である。
【図１０】符号を省略するサブバンドを決定する手順を説明するためのフローチャートである。
【図１１】符号を省略するサブバンドを決定する手順を説明するためのフローチャートである。
【図１２】符号を省略するサブバンドを決定する手順を説明するためのフローチャートである。
【図１３】本発明に係る画像処理装置の別の一例を説明するためのブロック図である。
【図１４】本発明に係る画像処理装置の別の一例を説明するためのブロック図である。
【図１５】本発明に係る画像処理装置の他の一例を説明するためのブロック図である。
【符号の説明】
１０１元のＭＪ２ファイル
１０２変換後のＭＪ２ファイル
１０４通信部
１１０，１１０Ａ変換制御部
１１２，１１２Ａデコード部
１１４，１１４Ａ係数メモリ
１１６，１１６Ａ差分検出部
１１８，１１８Ａ比較判定部
１２０，１２０Ａ符号化データ変換部
１２２，１２２Ａメモリ
３００通信部
３０２データ記憶部
３０４再生制御部
３０６画像デコード部
３０８ＭＰＥＧ７デコーダ
３１０音声デコード部
３１１表示制御部
３１２画像表示部
３１４音声出力部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to various image processing apparatuses that handle moving images, and more particularly, to an image processing apparatus that handles moving images that are entropy-encoded after wavelet transform for each of one or more divided regions independently of each other. The present invention relates to a technique for reducing a code amount.
[0002]
[Prior art]
In an image processing apparatus, image data is usually encoded prior to its recording or transmission. At present, JPEG is generally used for a still image and MPEG is used for a moving image as an encoding method of image data.
[0003]
Attention has been paid to JPEG2000 (ISO / IEC FCD 15444-1) and Motion-JPEG2000 (ISO / IEC FCD 15444-3), which is an extension of JPEG2000 (ISO / IEC FCD 15444-1), as an alternative to JPEG and MPEG (for example, see Non-Patent Document 1). Reference 1). In Motion-JPEG2000, a moving image is handled using each of a plurality of continuous still images as a frame, and each frame is compliant with JPEG2000.
[0004]
Regarding an apparatus that encodes an image using a wavelet transform, an error of an image is detected between preceding and succeeding frames for each block that is a unit of the wavelet transform encoding, and the wavelet transform encoding of a block with a small error is not performed. Therefore, a technique for not transmitting the code of the block is described in Patent Document 1.
[0005]
[Patent Document 1]
JP 2001-45485 A
[Non-patent document 1]
Yasuyuki Nomizu, "Next Generation Image Coding Method JPEG2000",
Trikeps, Inc., February 13, 2001
[0006]
[Problems to be solved by the invention]
Motion-JPEG2000 does not perform inter-frame prediction or motion compensation prediction like MPEG, and encodes all frames independently of the preceding and succeeding frames. There is a tendency that the redundancy of the coded data increases.
[0007]
According to the present invention, in a moving image, such as a Motion-JPEG2000 moving image, in which each frame is independently entropy-encoded after wavelet transform for one or more divided regions, encoding is performed in a section in which frames with little change are continuous. It is an object of the present invention to provide a novel image processing apparatus and method that can effectively reduce the code amount of a moving image by reducing data redundancy. It is another object of the present invention to provide an image processing apparatus and method for restoring each frame of a moving image whose code amount has been reduced by the image processing apparatus or method according to the present invention without any trouble.
[0008]
[Means for Solving the Problems]
The image processing apparatus according to the present invention is an image processing apparatus that handles a moving image in which each frame is independently entropy-encoded after a wavelet transform for each of one or more divided regions. Means for restoring each subband coefficient of each divided region from the encoded data of each frame of the image, and the corresponding subband coefficients of the corresponding divided region of the frame of interest and the frame immediately before it, which are restored by the restoring means. Means for detecting a difference, means for determining whether or not to omit the code of each subband of each divided region of the frame of interest based on the difference detected by the means for detecting, and encoding the encoded data of the frame of interest. Means for converting encoded data in which the code of the subband determined to be omitted by the determining means is omitted.
[0009]
Another feature of the present invention is the configuration according to claim 1, wherein the determining means compares the difference detected by the detecting means with a threshold value. And the image processing apparatus that determines that the sign of the subband whose difference is equal to or smaller than the threshold value should be omitted.
[0010]
Another feature of the present invention is the configuration according to claim 1, wherein the judging means compares the difference detected by the detecting means with a threshold value. And an image processing apparatus that determines that a code of a predetermined number of subbands having a small difference among the candidate subbands in the frame of interest should be omitted. It is in.
[0011]
Another feature of the present invention is the configuration according to claim 2 or 3, wherein the encoded data is composed of codes of a plurality of components, and the difference of the difference by the detecting means is determined. The detection, the comparison by the comparing unit, the determination by the determining unit, and the omission of the sub-band sign by the converting unit are performed by the image processing apparatus that is performed independently for each component.
[0012]
Another feature of the present invention is the configuration according to claim 2 or 3, wherein the encoded data is composed of codes of a plurality of components, and a difference between the encoded data is detected by the detecting unit. The image processing apparatus in which the detection, the comparison by the comparing unit, and the determination by the determining unit are performed for one specific component among a plurality of components, and the sign of all components of the subband is omitted by the converting unit. It is in.
[0013]
Another feature of the present invention is the configuration according to claim 2 or 3, wherein the encoded data is composed of codes of a plurality of components, and the difference of the difference by the detecting means is determined. The detection and the comparison by the comparing means are performed independently for each component, and the sub-band in which the difference of all components is equal to or less than a threshold is determined as a sub-band or a candidate for which the sign is omitted by the determining means, Is omitted in the image processing apparatus performed for all components.
[0014]
Another feature of the present invention is the configuration according to claim 2 or 3, wherein a value corresponding to the type of the subband is set as the threshold value to be compared with the difference. In the image processing device.
[0015]
Another feature of the present invention is the configuration according to claim 2 or 3, wherein a value according to the position of the divided region is set as a threshold value to be compared with the difference. In the image processing device.
[0016]
Another feature of the present invention is the image processing apparatus according to claim 4 or 6, wherein a value corresponding to the component is set as a threshold value to be compared with the difference. It is in.
[0017]
Another feature of the present invention is the configuration according to any one of claims 2 to 9 as described in claim 10, wherein the judging unit determines each of the frames by a frame immediately before a frame of interest. The image processing apparatus includes means for counting the number of frames in which the code of each sub-band in the divided area is continuously omitted, and determines that the code of the sub-band whose count value exceeds a predetermined value should not be omitted.
[0018]
Another feature of the present invention is the configuration according to any one of claims 2 to 10 as described in claim 11, wherein the means for judging includes a high image quality area in each divided area. The image processing apparatus has means for detecting the presence or absence of the setting of the sub-band, and determines that the sign of the sub-band of the divided area in which the high image quality area is set should not be omitted.
[0019]
According to another feature of the present invention, as described in claim 12, in addition to the configuration according to any one of claims 1 to 11, means for adding information regarding omission of a subband code to a moving image. In the image processing apparatus.
[0020]
Another feature of the present invention is the configuration according to claim 12, as described in claim 13, wherein information regarding omission of a subband code in the frame is described in encoded data of each frame. Image processing apparatus.
[0021]
Another feature of the present invention is the image processing apparatus according to the twelfth aspect, wherein the information related to the omission of the subband code is described in the moving image file. It is in.
[0022]
Another feature of the present invention is the configuration according to claim 12, as described in claim 15, wherein information related to omission of a subband code is added to another file associated with the moving image file. Is described in the image processing apparatus.
[0023]
The image processing apparatus according to the present invention is an image processing apparatus that handles a moving image in which each frame is entropy-encoded after wavelet transform for each of one or more divided regions independently of each other. Means for decoding the encoded data of each frame of the image, means for temporarily storing each subband coefficient of each divided region of each frame restored by this means, and omission of the subband code in each frame. Recognizing means, wherein the decoding means, in the decoding of each frame, saves the sub-band whose code has been recognized by the recognizing means as being used for decoding the immediately preceding frame. It is characterized in that the sub-band coefficients stored in the means are used.
[0024]
Another feature of the present invention is the configuration according to claim 16, wherein the recognizing means is configured to omit the omission of the subband code in each frame, and to encode the subband in each frame. The image processing apparatus recognizes the information about the omission of the subband code described in the data.
[0025]
Another feature of the present invention is the configuration according to claim 16, wherein the recognizing unit omits a code of a subband described in a moving image file. The image processing apparatus recognizes the omission of the subband code in each frame from the information about the subband.
[0026]
Another feature of the present invention is the configuration according to claim 16, wherein the recognition unit is described in another file associated with a moving image file. The image processing apparatus recognizes the omission of the sub-band code in each frame from the information on the omission of the sub-band code.
[0027]
Another feature of the present invention is the image processing apparatus according to any one of claims 1 to 19, wherein the moving image is a Motion-JPEG2000 moving image. It is in.
[0028]
The image processing method according to the present invention is an image processing method in which each frame independently handles a moving image subjected to entropy encoding after wavelet transform for each of one or more divided regions, Detecting the difference between the corresponding subband coefficient of the target frame of the image and the corresponding subregion of the immediately preceding frame, and determining whether to omit the sign of each subband of each subregion of the target frame based on the detected difference. And converting the coded data of the frame of interest into coded data in which the code of the subband determined to be omitted is omitted.
[0029]
According to the image processing method of the present invention, each frame independently decodes encoded data of each frame of a moving image that has been entropy-encoded after wavelet transform for each of one or more divided regions. An image processing method, which recognizes omission of a code of a subband in each frame, and when decoding each frame, a subband whose code has been recognized as being omitted is used as a subband used for decoding the immediately preceding frame. It is characterized in that band coefficients are used.
[0030]
Another feature of the present invention is the image processing method according to claim 21 or 22, wherein the moving image is a Motion-JPEG2000 moving image.
[0031]
BEST MODE FOR CARRYING OUT THE INVENTION
In the embodiment of the present invention described below, a motion-JPEG2000 moving image is handled. In the Motion-JPEG2000 moving image, each frame is compressed independently of the preceding and succeeding frames, and the encoded data of each frame complies with JPEG2000. First, JPEG2000 and Motion-JPEG2000 will be outlined to the extent necessary for the following description.
[0032]
FIG. 1 is a simplified block diagram for explaining the algorithm of JPEG2000. Image data to be encoded (image data of each frame when a moving image is handled) is divided into non-overlapping rectangular areas called tiles for each component, and the components are processed in units of tiles. However, it is also possible to make the tile size the same as the image size, that is, to process the entire image as one tile.
[0033]
The tile image is subjected to color space conversion from RGB data or CMY data to YCrCb data by the color space conversion / inverse conversion unit 1 for the purpose of improving the compression ratio. In some cases, this color space conversion is omitted.
[0034]
The wavelet transform / inverse transform unit 2 performs a two-dimensional wavelet transform (discrete wavelet transform: DWT) on each tile image of each component after the color space transform.
[0035]
FIG. 2 is an explanatory diagram of the wavelet transform when the number of decomposition levels is three. The tile image (decomposition level 0) shown in FIG. 2A is divided into 1LL, 1HL, 1LH, and 1HH subbands as shown in FIG. 2B by two-dimensional wavelet transform. By applying the two-dimensional wavelet transform to the coefficients of the 1LL subband, the coefficients are divided into 2LL, 2HL, 2LH, and 2HH subbands as shown in FIG. By applying the two-dimensional wavelet transform to the coefficients of the 2LL sub-band, it is divided into 3LL, 3HL, 3LH, and 3HH sub-bands as shown in FIG. Regarding the relationship between the decomposition level and the resolution level, the number enclosed in parentheses in each subband in FIG. 2D indicates the resolution level of that subband.
[0036]
The wavelet coefficients obtained by such recursive division (octave division) of the low-frequency components (LL subband coefficients) are quantized by the quantization / dequantization unit 3 for each subband. In JPEG2000, both lossless (reversible) compression and lossy (irreversible) compression are possible. In the case of lossless compression, the quantization step width is always 1, and quantization is not performed at this stage.
[0037]
Each of the quantized subband coefficients is entropy coded for each subband by the entropy coding / decoding unit 4 (step S4). For this entropy coding, a coding method called EBCOT (Embedded Block Coding with Optimized Truncation) including block division, coefficient modeling, and binary arithmetic coding is used, and a bit plane of each subband coefficient after quantization is used. From the upper plane to the lower plane, encoding is performed for each block called a code block (strictly, one bit plane is divided into three sub-bit planes and encoded).
[0038]
The code forming process is executed in the last tag processing unit 5. First, in a first stage of the encoding forming process, a packet is created by putting together the codes of the code blocks generated by the entropy encoding / decoding unit 4. In the next stage, the generated packets are arranged according to the progression order, and necessary tag information is added to generate encoded data in a predetermined format.
[0039]
The above is the case of encoding. In the case of decoding (decoding), encoded data is input to the tag processing unit 5 in FIG. 1, and the image data of each component of each tile is restored by exactly the reverse processing.
[0040]
The JPEG2000 algorithm has good image quality at a high compression ratio and has many features. For example, a part of the encoded data can be deleted without decoding and expanding the encoded data. Further, there is a selective area image quality improvement function for improving the image quality of a selected area (ROI: Region of Interest) compared to other areas.
[0041]
FIG. 3 shows the format of JPEG2000 encoded data. As shown in FIG. 3, the encoded data starts with a tag called an SOC marker indicating the start of the encoded data, followed by tag information called a main header (Main Header) that describes encoding parameters, quantization parameters, and the like. After that, code data for each tile follows. Code data for each tile starts with a tag called a SOT marker, tag information called a tile header (Tile Header), a tag called an SOD marker, and tile data (Tile Data) containing a code string of each tile. Is done. After the last tile data, a tag called an EOC marker indicating the end is placed.
[0042]
FIG. 4 shows the configuration of the main header. Each marker segment of SIZ, COD and QCD is required, but other marker segments are optional. FIG. 5 shows the configuration of the tile header. FIG. 5A shows a header added to the head of the tile data, and FIG. 5B shows a header added to the head of the divided tile partial sequence when the inside of the tile is divided into a plurality. There is no mandatory marker segment in the tile header and all are optional. FIG. 6 shows a list of markers and marker segments.
[0043]
FIG. 7 shows the format of a Motion-JPEG2000 file (MJ2 file). In FIG. 7, reference numeral 10 denotes an optional box, which includes a box 11 for header information in a JPEG2000 file format (JP2 file format) and a box 12 for encoded data of one still image in JPEG2000. . This box 12 is optional.
[0044]
In FIG. 7, reference numeral 15 denotes an indispensable box in the MJ2 file, which inherits the atom box structure of the file format of Apple's Quick-Time (registered trademark). That is, the box 15 includes an mdat box 18 containing image / audio data, a moov box 16 containing metadata for video / audio reproduction, such as reference information and time management information of data in the mdata box 18, It comprises an optional moof box 17 containing the supplementary data of the moov box 16. The image data stored in the mdat box 18 is encoded data (code stream) in the format shown in FIG. 3 in which each frame of the moving image is encoded by the JPEG2000 algorithm.
[0045]
Hereinafter, embodiments of the present invention will be described.
FIG. 8 is a block diagram illustrating an embodiment of the present invention. The image processing apparatus according to this embodiment performs a conversion on the MJ2 file 101 stored in the data storage unit 100 in order to reduce the code amount of the encoded moving image data. The MJ2 file 103 is stored in the data storage unit 102, and the contents of the MJ2 file 103 are transmitted by the communication unit 104 to an external device via a network such as a LAN or WAN or another transmission path. However, the data storage unit 100 and the data storage unit 102 may be the same data storage unit.
[0046]
This image processing apparatus includes a conversion control unit 110, a decoding unit 112, a coefficient memory 114, a difference detection unit 116, a comparison determination unit 118, a coded data conversion unit 120, a work memory 122 as means related to the MJ2 file conversion processing. Having.
[0047]
The decoding unit 112 is, for example, a standard decoder conforming to JPEG2000, and entropy-decodes the encoded data of each frame of the moving image to restore each subband coefficient of each tile before inverse quantization. However, since the purpose here is to obtain each subband coefficient before inverse quantization, the inverse quantization function, inverse wavelet transform function, and inverse color space transform function of the decoder are not used. Therefore, the decoding unit 112 may be configured not to have such an unnecessary function.
[0048]
The coefficient memory 114 is means for temporarily storing each subband coefficient of each tile restored from the encoded data of the frame immediately before the current frame of interest. The difference detecting unit 116 calculates a difference between each subband coefficient of each tile of the current frame restored by the decoding unit 112 and a corresponding subband coefficient of the corresponding tile of the immediately preceding frame stored in the coefficient memory 114. It is. The comparison determination unit 118 is a unit that performs a comparison determination between the difference between the corresponding subband coefficients between the two frames before and after the two frames detected by the difference detection unit 116 and the threshold value set by the conversion control unit 110.
[0049]
The coded data conversion unit 120 is a unit that converts coded data of each frame of a moving image into coded data in which the subband code specified by the conversion control unit 110 is omitted. When adding information regarding the omission of the subband code to the encoded data of each frame, the information adding operation is also performed by the encoded data conversion unit 120.
[0050]
The conversion control unit 110 is a unit that determines the sub-bands for which codes should be omitted, and controls the entire MJ2 file conversion process. When adding information regarding the omission of the subband code to the moov box or the like of the MJ2 file, the information adding operation is also performed by the conversion control unit 110. The information regarding the omission of the subband code can be described in a file different from the MJ2 file. In that case, the conversion control unit 110 also generates the file. Reference numeral 122 denotes a memory used as a working storage area of the conversion control unit 110 and the encoded data conversion unit 120. The memory 122 is also used as a storage unit for storing information (described later) such as a flag and a count value related to the determination of a subband for which a code should be omitted.
[0051]
The overall flow of the MJ2 file conversion process is as follows. The conversion control unit 110 sequentially reads the encoded data of each frame of the moving image stored in the mdat box of the target MJ2 file 101 from the data storage unit 100 into the memory 122, and sends it to the decoding unit 112. The conversion control unit 110 omits the sign of each subband of each tile of each frame based on the difference value detected by the difference detection unit 116, the determination result by the comparison determination unit 118, the ROI information passed from the decoding unit 112, and the like. It is determined whether or not the code should be omitted, and the coded data conversion unit 120 is instructed to omit the code of the subband determined to be omitted. The coded data conversion unit 120 performs a conversion process on the coded data in the memory 122 to omit the code of the specified subband. The encoded data after the conversion is stored in the data storage unit 102 by the conversion control unit 110.
[0052]
After the encoded data of all the frames of the moving image in the mdat box of the MJ2 file 101 is converted and stored in the data storage unit 102 in this manner or before that, the audio encoding in the mdat box of the MJ2 file 101 is performed. The data and other contents are copied to the data storage unit 102 by the conversion control unit 110, and an MJ2 file 103 obtained by converting the original MJ2 file 101 is created on the data storage unit 102. For example, when information about the omission of the subband code is described in the moov box, the description is performed when the moov box is copied. When the information regarding the omission of the subband code is described in another file, the file is also written in the data storage unit 102 in a form associated with the converted MJ2 file 103.
[0053]
This will be described with reference to FIG. Here, it is assumed that each frame is divided and encoded into four tiles (tile numbers 0 to 3), and the number of decompositions in the wavelet transform is three.
[0054]
In the image processing apparatus shown in FIG. 8, as shown in the upper part of FIG. 9, the 1HH subband coefficients (coefficients after quantization. And the 1HH subband coefficient of the tile of tile number 3 in the previous frame (N-1) is smaller than the threshold, the 1HH subband of the tile of tile No. 3 in frame (N) Encoded data conversion in which the sign is omitted is performed. Similarly, when the difference between the 1HH subband coefficient of the tile number 3 of the next frame (N + 1) and the 1HH subband coefficient of the tile number 3 of the previous frame (N) is smaller than the threshold, the frame (N + 1) A conversion is performed in which the code of the 1HH subband of tile number 3 is omitted. By such a conversion, the code amount is effectively reduced in the section where the change is small.
[0055]
As shown in the lower part of FIG. 9, in the apparatus on the receiving side of the coded data having undergone such conversion, when decoding the frame (N), the 1HH subband coefficient of the tile of the tile number 3 is used. Cannot be restored because its symbol is omitted. Therefore, as the 1HH subband coefficient (coefficient before inverse quantization), the 1HH subband coefficient of the tile of tile number 3 restored by decoding the previous frame (N-1) is used as it is. Similarly, when decoding the next frame (N + 1), the 1HH subband coefficient of the tile of tile 3 of the frame (N) (this In this example, (1HH subband coefficient of the corresponding tile of frame (N-1)) is used as it is. As described above, the subband coefficient used in the immediately preceding frame is used as the subband coefficient with the code removed, but in the subband with the code omitted, the difference between the subband coefficients between the previous and next frames is small, It is possible to reproduce almost the same image as when the subband code is not omitted. Therefore, it is possible to reproduce a moving image without discomfort on the receiving side.
[0056]
Next, a method for determining whether to omit the subband code will be described. In this embodiment, the following three determination methods can be selected.
[0057]
When the first determination method is selected, the conversion control unit 110 determines, for each tile of each frame, a subband from which a code should be omitted according to the procedure of FIG.
[0058]
The decoding unit 112 determines whether the ROI area is set for each tile by analyzing the RGN marker segment of the main header or tile header of the encoded data or by increasing the dynamic range in the ROI area (high image quality area). Then, it notifies the conversion control unit 110 of this. That is, the decoding unit 112 also functions as means for detecting whether or not the ROI area is set in each tile.
[0059]
The conversion control unit 110 checks whether the ROI area is set for the tile of interest (step S100). If the ROI area is set, the signs of all subbands of the tile of interest should not be omitted. And immediately terminates the processing of the tile of interest. This is because the ROI area is an area intended for high image quality, and thus avoids deterioration of image quality due to omission of codes.
[0060]
If the ROI area is not set for the tile of interest, the conversion control unit 110 selects one subband (step S105), and checks the determination result of the comparison determination unit 118 on the subband (step S110). ). That is, it is checked whether or not the difference between the subband coefficients calculated by the difference detection unit 116 for the subband is equal to or smaller than the threshold. If the result of the determination is that the difference is equal to or smaller than the threshold value (step S110, Yes), the conversion control unit 110 determines that the code of the subband should be omitted, and determines that the code is omitted. (Step S115), and the procedure returns to step S105. If it is determined that the difference is larger than the threshold value, it is determined that the code of the subband should not be omitted, and the process returns to step S105 without issuing an omission instruction. The above procedure is repeated for all subbands.
[0061]
Note that the threshold value used for the comparison determination by the comparison determination unit 118 is set by the conversion control unit 110. This threshold value can be set to the same value for all sub-bands and all tiles, or can be set to a value according to the type of sub-band and / or tile position. In this embodiment, the user can select the following threshold setting methods (1) to (4).
[0062]
(1) A method of setting the same threshold for all subbands and all tiles. The threshold value can be specified by the user, and a default value is set when the user does not specify the threshold value.
(2) A method of setting a threshold according to the type of subband. For example, when importance is placed on the high frequency components of the image, the threshold value of the high frequency sub-band is set to be small, and the omission of the sign of the high frequency sub-band is suppressed. When importance is placed on the tone of the image, the threshold value of the low-frequency sub-band is set to a small value, and the omission of the sign of the low-frequency sub-band is suppressed. As described above, by setting the threshold value according to the type of the sub-band, there is an advantage that the omission of the code of the sub-band can be controlled according to the characteristics of the image and the intention of the user.
(3) A method of setting a threshold value according to the position of a tile. According to this method, there is an advantage that the omission of the sign of the subband can be controlled according to the region in the image. For example, in general, the central part of an image is an important part, and when it is desired to emphasize the image quality of that part, the threshold value of the tile located in the central part is set to a small value, and the threshold value of the tile located in the peripheral part of the image is set to By setting the size larger, it is possible to suppress the omission of the sign of the sub-band of the tile in the center part, and to easily cause the omission of the sign of the sub-band of the tile of the peripheral part of the image.
(4) A method of combining the above (2) and the above (3).
[0063]
The selection of the threshold setting method is the same in the second and third determination methods described below. Making the threshold value different for each component is also included in the present invention, which will be described later.
[0064]
When the second determination method is selected, the conversion control unit 110 determines, for each tile of each frame, a subband from which a code should be omitted according to the procedure of FIG.
[0065]
The conversion control unit 110 checks whether the ROI area is set for the tile of interest (step S120). If the ROI area is set, the signs of all subbands of the tile of interest should not be omitted. Is determined, and the processing of the tile of interest ends.
[0066]
When the ROI area is not set in the tile of interest, the conversion control unit 110 selects one subband (step S125), and checks the determination result of the comparison determination unit 118 on the subband (step S130). ).
[0067]
If the difference is equal to or smaller than the threshold value (step S110, Yes), the count value corresponding to the subband is checked (step S135). The memory 122 stores a count value corresponding to each subband of each tile. This count value indicates the number of frames in which the code of the corresponding subband has been continuously omitted up to the frame immediately before the current frame, and is set to 0 by the conversion control unit 110 when processing the first frame of the moving image. Cleared and updated as needed during the processing.
[0068]
If the count value of the subband of interest is equal to or smaller than the predetermined value (step S135, Yes), the conversion control unit 110 determines that the code of the subband of interest should be omitted, and determines that the omission is the encoded data. The conversion unit 120 is instructed (step S140), 1 is added to the corresponding count value (step S145), and the process returns to step S125.
[0069]
When the difference exceeds the threshold value or the count value exceeds a predetermined value (No at Step S135 or S135), the conversion control unit 110 determines that the sign of the subband of interest should not be omitted. In this case, the corresponding count value is cleared to 0 (step S150), and the process returns to step S125.
[0070]
Here, the purpose of performing the check in step S135 will be described with reference to FIG. As shown in the upper part of FIG. 9, when the same subband code of the same tile of the frame (N) and the frame (N + 1) is omitted, on the receiving side, as shown in the lower part of FIG. 9, the frame (N + 1) Is not the 1HH subband coefficient restored in the immediately preceding frame (N), but the 1HH subband coefficient restored in the previous frame (N-1). is there. The difference between the 1HH subband coefficients between the frame (N-1) and the frame (N) is equal to or smaller than the threshold, and the difference between the 1HH subband coefficients between the frame (N) and the frame (N + 1) is equal to or smaller than the threshold. . However, there is no guarantee that the difference between the 1HH subband coefficients between the frame (N-1) and the frame (N + 1) is equal to or smaller than the threshold, and if the difference is large, the quality of the reproduced image is impaired. In order to avoid such an inconvenience, the above-described check of the count value limits the number of frames in which the sign of the same subband of the same tile is continuously omitted.
[0071]
When the third determination method is selected, the conversion control unit 110 determines, for each tile of each frame, a subband from which a code should be omitted according to the procedure of FIG.
[0072]
On the memory 122, the count value and the flag corresponding to each sub-band of each tile on a one-to-one basis are placed. The count value is cleared by the conversion control unit 110 at the start of processing of a moving image as described above.
[0073]
At the start of processing of each frame, the conversion control unit 110 sets all flags to OFF (step S200). Next, the conversion control unit 110 selects one tile of interest (step S205), and checks whether an ROI area is set for the tile (step S210). If the ROI area has been set, the process returns to step S205.
[0074]
If the ROI area is not set for the tile of interest, the conversion control unit 110 selects one subband of the tile of interest (step S215), and determines the determination result of the comparison determination unit 118 for that subband. Check (step S220). If it is determined that the difference exceeds the threshold (step S220, No), the process returns to step S215, and another subband is selected.
[0075]
If the difference is equal to or smaller than the threshold value (step S220, Yes), the count value corresponding to the subband is checked (step S225). If the count value exceeds the predetermined value (step S225, No), the process returns to step S215.
[0076]
If the count value of the subband is equal to or smaller than the predetermined value (step S225, Yes), the conversion control unit 110 sets the subband of interest as a candidate for code omission, sets the corresponding flag to ON, and sets The difference value calculated by the difference detection unit 116 for the subband that is present is stored in the memory 122 (step S230), and the process returns to step S215.
[0077]
When the procedure is completed for one tile, the procedure returns to step S205, another tile is selected, and the same procedure is repeated for the subband.
[0078]
When the above procedure is repeated for all tiles, the process proceeds to step S235. In step S235, the conversion control unit 110 compares the difference values stored in step S230 with respect to the subband corresponding to the flag set to ON, that is, the candidate subband. It is determined that the code of the subband should be omitted (when the number of subbands whose flag is ON is less than N, it is determined that the code of all the subbands should be omitted). It instructs the encoded data conversion unit 120. Next, 1 is added to the count value corresponding to the subband for which the sign is determined to be omitted, and the count values corresponding to the other subbands are cleared to 0 (step S240).
[0079]
The conversion control unit 110 sets the value of N according to the transmission capacity of the network used for transmitting the converted MJ2 file 103 and other transmission paths. That is, when the transmission capacity is large, N is set to a small value to reduce the number of subbands whose codes are omitted, and when the transmission capacity is small, N is set to a large value and the number of subbands whose codes are omitted is reduced. increase. Needless to say, the user of the image processing apparatus can specify the value of N.
[0080]
By the way, at the time of decoding the encoded data, it is possible to recognize the omission of the sub-band code from the code amount of the sub-band, etc. The information indicating the omission of the sub-band code is added to the moving image as shown in FIG.
[0081]
Here, information indicating the omission of the subband code will be described. This information is based on, for example, the international standard MPEG-7 (Multimedia Content Description Interface; ISO / IEC 15938-1) on the notation of metadata for multimedia contents, which is being standardized in ISO / IEC JTC1 SC29 / WG11. To 8). A description example in the case of omitting the sign of the 1HH subband of the tile with the tile number 3 of the 100th frame from the beginning is shown below (the beginning number is a line number added for convenience).
[0082]
1 <? xml version = "1.0" encoding = "Shift_JIS"? >
Two <Mpeg7 xsi: schemaLocation = "urn: mpeg: mpeg7: schema: 2001
Mpeg7-2001.xsd "xmlns =" urn: mpeg: mpeg7: schema: 2001 "
xmlns: xsi = "http://www.w3.org/2001/XML/Schema-instance"
xmlns: mpeg7 = "urn: mpeg: mpeg7: schema: 2001">
Three <DescriptionUnit xsi: type = "VideoSegmentType"
id = "descriptionUnit-1">
Four <TextAnnotation type = "OmittedSubbandNo">
Five <!-Describe the omitted subband->
6 <FreeTextAnnotation> 3 1HH </ FreeTextAnnotation>
7 </ TextAnnotiaion>
8 <Semantic id = "semantic = 2">
9 <!-Description of omitted subband->
Ten <Label>
11 <Name> OnittedSubband </ Name>
12 </ Lable>
13 </ Semantic>
14 <MediaTime>
Fifteen <!-Number of frames from the beginning->
16 <MediaRelTipePoint>P0DT0H0M0S100NOF></MediaRelTimePoint>
17 </ MeadiaTime>
18 </ DescriptionUnit>
19 </ Mpeg7>
[0083]
As described above, such a description by MPEG-7 is described, for example, in the COM marker segment of the main header or tile header of the encoded data of each frame, and is described collectively in the moov box of the MJ2 file, Alternatively, it is described in an independent file. Note that the comment line can be omitted. In the case of describing in the tile header, it is also possible to omit the designation of the tile number.
<FreeTextAnnotiaion> 1HH </ FreeTextAnnotation>
May be changed. When describing in the tile header or the main header, the description of the 14th to 17th lines can be omitted because the frame number is also obvious.
[0084]
So far, the components have not been mentioned for simplicity. Here, a case will be described in which the encoded data of a moving image includes codes of a plurality of components.
[0085]
According to one aspect of the invention, individual components are treated independently. That is, the detection of the difference between the subband coefficients between the frames for each component and the comparison with the threshold are performed, and the subband code should be omitted for each component according to the procedure shown in FIG. 10, FIG. 11, or FIG. It is determined whether or not the subband is to be omitted, and the sign of the subband of the component determined to be omitted is omitted. In this embodiment, the same threshold value can be set for all components, or a different value can be set for each component, as the determination threshold value for the difference between subband coefficients. According to the latter, for example, in the case of coded data composed of three components of Y, Cr, and Cb, the difference determination threshold used for the Y (luminance) component in which the influence of code omission is conspicuous is set to Cr, Cb (color difference ) By making the difference smaller than the difference determination threshold value used for the component, it is possible to easily omit the sign of the subband in the Cr and Cb components and suppress the omission of the sign of the subband of the Y component.
[0086]
According to another aspect, for one component (for example, Y component in the case of three components of Y, Cr, and Cb) having the greatest effect on image quality, a difference between subband coefficients between frames is detected. It is determined according to the procedure shown in FIG. 10, FIG. 11 or FIG. 12 whether or not the subband code should be omitted. For subbands that are determined to be omitted, reference numerals for all components are omitted.
[0087]
According to another aspect, the differences between the subband coefficients of all components are detected individually. Whether to omit the code of the sub-band is determined by the procedure of FIG. 10, FIG. 11, or FIG. 12, but only when the difference of all components of the sub-band becomes equal to or less than the respective threshold value, The difference is considered to be less than or equal to the threshold. Then, for subbands for which it is determined that the code should be omitted, the codes of all components are omitted. This embodiment has an advantage that it is possible to avoid omission of a sign that causes an unnatural color tone change. Also in this embodiment, the same value can be set for all components or a value for each component can be set as the threshold value to be compared with the difference between the subband coefficients.
[0088]
In any case, as described above, as the determination threshold value of the difference between the subband coefficients, a different value may be used depending on the position of the tile and / or the type of the subband, or the same value may be used. It is possible.
[0089]
In the image processing apparatus illustrated in FIG. 8, before transmitting the contents of the MJ2 file, conversion is performed on the encoded data of all the frames of the moving image by omitting the codes of the sub-bands having small differences between the frames. However, it is also possible to adopt a configuration in which encoded data of each frame is converted into real tiles at the time of transmission. An image processing apparatus having such a configuration will be described with reference to FIG.
[0090]
In FIG. 13, the communication unit 104 reads the contents of the MJ2 file 101 from the data storage unit 100 into the transmission buffer 202 and sequentially transmits the data. The encoded data of each frame of the moving image read into the transmission buffer 202 is The band code omitting processing unit 200 performs a process of omitting the code of the subband having a small difference from the previous frame, and transmits the coded data after this process.
[0091]
The subband code omission processing unit 200 includes a conversion control unit 110A, a decoding unit 112A, a coefficient memory 114A, a difference detection unit 116A, a comparison and determination unit 118A, a coded data conversion unit 120A, and a memory 122A. The operation of these components is the same as that of the corresponding elements in FIG. However, since the subband code omission processing unit 200 performs only processing on the coded data of each frame of the moving image, the conversion control unit 110A reads the coded data from the transmission buffer 202 on a frame basis and performs the coding after the conversion. It only writes data to the transmission buffer 202 and does not participate in control over reading and writing of the entire MJ2 file.
[0092]
An image processing apparatus of the present invention that receives the contents of the MJ2 file transmitted from the above-described image processing apparatus of the present invention and reproduces moving images and sounds will be described with reference to FIG.
[0093]
The image processing apparatus shown here includes a communication unit 300, a data storage unit 302, a reproduction control unit 304, an image decoding unit 306, an MPEG7 decoder 308, an audio decoding unit 310, a display control unit 311, an image display unit 312, and an audio output unit 314. Consists of
[0094]
Through the communication unit 300, the contents of the MJ2 file are read from the image processing apparatus of the present invention through a network or other transmission path (if there is another file in which the information of omitting the subhand code is described, also the contents of the file). The data is received and stored in the data storage unit 302.
[0095]
The playback control unit 304 controls the decoding and output of the encoded video data and encoded audio data stored in the mdat box according to the information of the moov box and the moof box of the received MJ2 file. Are synchronized and output to the image display unit 312 and the audio output unit 314. The MPEG7 decoder 308 is a means for decoding the MPEG-7 description relating to the omission of the subband code of the moving image and recognizing the omission of the subband code, and is used by the reproduction control unit 304 and the image decoding unit 306.
[0096]
The image decoding unit 306 is a JPEG2000-compliant decoder to which a function of using the corresponding subband coefficient used in the previous frame as the subband coefficient with the omitted code is added. In connection with this additional function, the image decoding unit 306 includes a coefficient memory 307 for storing the subband coefficient of the previous frame. The image decoding unit 306 decodes the encoded data of each frame of the moving image input from the reproduction control unit 304, and the contents of the COM marker segments of the main header and the tile header of the encoded data are also decoded by the MPEG7 decoder 308. Will be interpreted. If the COM-7 marker segment has an MPEG-7 description in which the sign of the subband is omitted, the subband whose sign is omitted is notified to the image decoding unit 306, and the image decoding unit 306 transmits the coefficient of the subband whose sign is omitted. The coefficient of the corresponding subband in the coefficient memory 307 used in the previous frame is used.
[0097]
The MPEG-7 description included in the moov box or another file is also interpreted by the MPEG7 decoder 308. When the MPEG-7 description with the subband code omitted is included, the content is notified to the reproduction control unit 304, and the reproduction control unit 304 decodes the subband with the code omitted when decoding each frame. Notify unit 306. The frame image restored by the image decoding unit 306 is displayed on the image display unit 312 via the display control unit 311.
[0098]
The functions of all or some of the units of the image processing apparatus of the present invention shown in FIGS. 8, 13 and 14 or all or a part of the processing procedure in the apparatus are performed by a computer such as a general personal computer. Obviously, the above can be realized by a program. The program and various recording (storage) media on which the program is recorded are also included in the present invention.
[0099]
FIG. 15 is a block diagram for explaining another embodiment of the present invention. This embodiment relates to an image processing apparatus having an image pickup unit, and more specifically, to an electronic camera such as a digital video camera or a digital still camera having a moving image shooting function.
[0100]
In FIG. 15, reference numeral 400 denotes a general imaging optical system including an optical lens, an aperture mechanism, a shutter mechanism, and the like. Reference numeral 401 denotes a CCD or MOS imager that separates an optical image formed by the imaging optical system 400 into colors and converts the color into an electrical signal corresponding to the amount of light. Reference numeral 402 denotes a CDS / A / D conversion unit that samples an output signal of the imager 401 and converts the signal into a digital signal, and includes a correlated double sampling (CDS) circuit and an A / D conversion circuit.
[0101]
An image processor 403 is, for example, a high-speed digital signal processor controlled by a program (microcode). The image processor 403 performs signal processing such as gamma correction processing, white balance adjustment processing, and enhancement processing for edge emphasis on image data input from the CDS / A / D conversion unit 402, as well as the imager 401, CDS / The A / D converter 402 and the display device 404 are controlled, and information for auto focus control, automatic exposure control, white balance adjustment, and the like are detected. The display device 404 is, for example, a liquid crystal display device, and is used for displaying images such as monitoring images (through images) and captured images, and for displaying other information.
[0102]
The imaging optical system 400, the imager 401, the CDS / A / D conversion unit 402, and the image processor 403 described above constitute an imaging unit that captures a still image or a moving image and obtains image data.
[0103]
Reference numeral 408 denotes a JPEG2000-compliant encoder, which is used for encoding captured image data. A decoder 409 conforms to JPEG2000, and is used for decoding JPEG2000-compliant encoded data.
[0104]
A medium recording unit 412 writes / reads information to / from the recording medium 413. With the medium recording unit 412, the encoded data of the image is recorded on the recording medium 413 as a JP2 file when photographing a still image, and the encoded data of the image is recorded on the recording medium 413 as an MJ2 file when photographing a moving image. The recording medium 413 is, for example, various memory cards. 414 is an external interface unit. The electronic camera can exchange information with an external personal computer or the like via a wired or wireless network or another transmission path via the external interface unit 414.
[0105]
Reference numeral 406 denotes a system controller, which comprises a microcomputer. The system controller 406 responds to user operation information input from the operation unit 407, information provided from the image processor 403, and the like, and controls the shutter mechanism, the aperture mechanism, the zooming mechanism, the image processor 403, and the encoder mechanism of the imaging optical system 400. 408, a decoder 409, a medium recording unit 412, an MJ2 file conversion unit 420, and the like. Reference numeral 410 denotes a ROM in which a program of the system controller 406 is recorded. Reference numeral 405 denotes a RAM which is used as a temporary storage area for image data and its encoded data, and as a work storage area for the image processor 403, the system controller 406, the encoder 408, the decoder 409, the medium recording unit 412, and the MJ2 file conversion unit 420. You. The operation unit 407 includes various operation buttons (switches) for operating the electronic camera device.
[0106]
The MJ2 file conversion unit 420 is means for performing the same MJ2 file conversion processing as that of the image processing apparatus shown in FIG. The reason why the MJ2 file conversion unit 420 is represented by a broken line is that the function of the MJ2 file conversion unit 420 is realized by the decoder 409, the RAM 411, and the program (located in the ROM 410) operating on the system controller 406 in this example. This is because that.
[0107]
However, the MJ2 file conversion unit 420 can be realized as hardware having a configuration as shown in FIG. 8, and such an embodiment is also included in the present invention. In such an embodiment, the decoder 409 can be used as the decoding unit 112 and the RAM 411 can be used as the memory 122 and the coefficient memory 114 shown in FIG.
[0108]
At the time of capturing a moving image, under the control of the system controller 406, image data of each frame processed by the image processor 404 is encoded by the encoder 408, and the encoded data is sequentially recorded on the recording medium 413 by the medium recording unit 412. You. After recording the last frame, the system controller 406 writes information of the moov box and moof box of the MJ2 file to the recording medium 413, and the moving image is stored in the medium recording unit 413 as an MJ2 file.
[0109]
If the user wants to reduce the size of the recorded MJ2 file due to lack of free space in the recording medium 413 or the like, the user specifies one or all MJ2 files and omits the sign of the subband with a small difference. Execution of the file conversion process can be instructed from the operation unit 407. When this instruction is given, the system controller 406 specifies the MJ2 file and activates the MJ2 file conversion unit 420. The MJ2 file conversion unit 420 accesses the specified MJ2 file via the medium recording unit 412, and executes a conversion process in which the sign of the sub-band with a small difference between frames is omitted. The converted MJ2 file is recorded so as to overwrite the original MJ2 file on the recording medium 413, or is recorded as another file. The recording method is determined by the user. . As described above, the information on the omission of the subband code is added to the main header or tile header of the encoded data in the form of, for example, MPEG-7, or is added to the moov box of the MJ2 file, Is added as a separate file associated with.
[0110]
Although not shown in FIG. 15, the electronic camera has a mechanism as shown in FIG. 14 for reproducing a moving image recorded on the recording medium 413. This mechanism is realized by a decoder 409 and a program operating on the system controller 404. As described above, when reproducing a moving image, the corresponding subband coefficient used in the previous frame is used as the subband coefficient whose code is omitted.
[0111]
It should be noted that the present invention can be suitably applied to Motion-JPEG2000 moving images, but the present invention can be similarly applied to moving images of other formats in which similar codes can be omitted in subband units. Is obvious from.
[0112]
【The invention's effect】
As is clear from the above description, according to the present invention, in a Motion-JPEG2000 moving image or the like, the code amount of a section having a small change can be effectively reduced by omitting the code in units of subbands. The load on the transmission path for transmitting moving images can be reduced, and the use efficiency of a storage device for storing moving images can be improved. Even after the code amount is reduced, the moving image can be reproduced without a sense of incongruity. The number of subbands whose codes are omitted in each frame can be controlled according to the transmission capacity of the moving image transmission path, the storage capacity of the storage device, and the like. It is possible to avoid deterioration in image quality due to the continuous omission of the same subband code over many frames. The code amount can be reduced without deteriorating the image quality of the high image quality area (ROI area). The effect of being able to control the omission of the code according to the type of the subband, the position of the tile, and the component is obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an algorithm of JPEG2000.
FIG. 2 is a diagram for explaining a two-dimensional wavelet transform.
FIG. 3 is a diagram showing a format of JPEG2000 encoded data.
FIG. 4 is a diagram showing a structure of a main header.
FIG. 5 is a diagram showing a structure of a tile header.
FIG. 6 is a diagram showing a list of markers and marker segments.
FIG. 7 is a diagram showing an MJ2 file format.
FIG. 8 is a block diagram illustrating an example of an image processing apparatus according to the present invention.
FIG. 9 is an explanatory diagram of the omission of the sub-band code on the transmission side and the processing of the sub-band where the code is omitted on the reception side.
FIG. 10 is a flowchart for explaining a procedure for determining a subband from which a code is omitted.
FIG. 11 is a flowchart illustrating a procedure for determining a subband for which a code is omitted.
FIG. 12 is a flowchart for explaining a procedure for determining a subband from which a code is omitted.
FIG. 13 is a block diagram for explaining another example of the image processing apparatus according to the present invention.
FIG. 14 is a block diagram for explaining another example of the image processing apparatus according to the present invention.
FIG. 15 is a block diagram for explaining another example of the image processing apparatus according to the present invention.
[Explanation of symbols]
101 Original MJ2 file
102 MJ2 file after conversion
104 Communication unit
110, 110A Conversion control unit
112, 112A decoding unit
114, 114A coefficient memory
116, 116A Difference detection unit
118, 118A Comparison judgment section
120, 120A Encoded data conversion unit
122, 122A memory
300 communication unit
302 Data storage unit
304 Playback control unit
306 Image decoding unit
308 MPEG7 decoder
310 audio decoding unit
311 Display control unit
312 Image display section
314 Audio output unit

Claims

An image processing apparatus in which each frame independently handles entropy-encoded moving images after wavelet transform for each of one or more divided regions,
Means for restoring each subband coefficient of each divided region from the encoded data of each frame of the moving image,
Means for detecting a difference between a corresponding subband coefficient of a corresponding divided region of a frame of interest and a frame immediately before the frame restored by the restoration means,
Means for determining whether to omit the sign of each subband of each divided region of the frame of interest based on the difference detected by the detecting means,
Means for converting the coded data of the frame of interest into coded data in which the code of the subband determined to be omitted by the determining means is omitted.
An image processing apparatus comprising:

2. The image processing apparatus according to claim 1, wherein the determining unit includes a unit that compares a difference detected by the detecting unit with a threshold, and determines that a sign of a subband whose difference is equal to or smaller than the threshold should be omitted. An image processing apparatus, comprising:

2. The image processing device according to claim 1, wherein the determining unit includes a unit that compares a difference detected by the detecting unit with a threshold, and a subband whose difference is equal to or smaller than the threshold is a candidate for omitting a code, An image processing apparatus comprising: determining that a code of a predetermined number of subbands having a small difference among subbands that are candidates in a frame of interest should be omitted.

4. The image processing apparatus according to claim 2, wherein the encoded data includes codes of a plurality of components, and the difference is detected by the detecting unit, the comparison is performed by the comparing unit, the determination is performed by the determining unit, and The omission of the sub-band code by the converting unit is performed independently for each component.

4. The image processing apparatus according to claim 2, wherein the encoded data is composed of codes of a plurality of components, and the difference detection by the detecting unit, the comparison by the comparing unit, and the judgment by the judging unit are plural. The image processing apparatus is performed for one specific component among the components, and the conversion unit omits the signs of all components of the subband.

4. The image processing apparatus according to claim 2, wherein the encoded data includes codes of a plurality of components, and the detection of the difference by the detecting unit and the comparison by the comparing unit are performed independently for each component. The sub-band in which the difference of all components is equal to or less than the threshold value is determined to be a sub-band or a candidate for omitting the sign by the determining unit, and the omitting of the sub-band sign by the converting unit is performed for all components. Image processing device.

The image processing apparatus according to claim 2, wherein a value corresponding to a type of the subband is set as a threshold value to be compared with the difference.

The image processing apparatus according to claim 2, wherein a value corresponding to a position of the divided area is set as a threshold value to be compared with the difference.

7. The image processing apparatus according to claim 4, wherein a value corresponding to the component is set as a threshold value to be compared with the difference.

The image processing apparatus according to claim 2, wherein the determining unit determines a number of frames in which a code of each subband of each divided region is continuously omitted by a frame immediately before a frame of interest. An image processing apparatus including means for counting, wherein it is determined that the sign of a subband whose count value exceeds a predetermined value should not be omitted.

11. The image processing apparatus according to claim 2, wherein the determining unit includes a unit configured to detect whether or not a high-quality area is set in each divided area. An image processing apparatus characterized in that it is determined that the sign of the sub-band of the divided area to be deleted should not be omitted.

The image processing apparatus according to claim 1, further comprising a unit configured to add information regarding omission of a subband code to a moving image.

13. The image processing apparatus according to claim 12, wherein information regarding omission of a subband code in the frame is described in encoded data of each frame.

13. The image processing apparatus according to claim 12, wherein information regarding omission of a subband code is described in a moving image file.

13. The image processing apparatus according to claim 12, wherein information relating to omission of a subband code is described in another file associated with the moving image file.

An image processing apparatus in which each frame independently handles entropy-encoded moving images after wavelet transform for each of one or more divided regions,
Means for decoding the encoded data of each frame of the moving image,
Means for temporarily storing each subband coefficient of each divided region of each frame restored by this means,
Means for recognizing the omission of the subband code in each frame;
Has,
In the decoding of each frame, in the decoding of each frame, for the subband whose code has been recognized as being omitted by the recognition means, the subband stored in the storage means used for decoding the immediately preceding frame is used. An image processing device using a band coefficient.

17. The image processing apparatus according to claim 16, wherein the recognizing unit recognizes the omission of the subband code in each frame from information on the omission of the subband code described in the encoded data of the frame. An image processing apparatus characterized by the above-mentioned.

17. The image processing apparatus according to claim 16, wherein the recognizing unit recognizes that the omission of the sub-band code in each frame is recognized from the information about the omission of the sub-band code described in the moving image file. Characteristic image processing device.

17. The image processing apparatus according to claim 16, wherein the recognizing unit determines a code of a sub-band in each frame from information on omission of a code of a sub-band described in another file associated with the moving image file. An image processing apparatus characterized by recognizing the omission of.

20. The image processing apparatus according to claim 1, wherein the moving image is a Motion-JPEG2000 moving image.

An image processing method in which each frame independently handles entropy-encoded moving images after wavelet transform for each of one or more divided regions,
Detecting a difference between a corresponding subband coefficient of a target frame of a moving image and a corresponding subregion of the immediately preceding frame, and determining whether to omit a sign of each subband of each subregion of the target frame based on the detected difference. An image processing method, wherein the encoded data of the frame of interest is converted into encoded data in which the code of the subband determined to be omitted is omitted.

An image processing method in which each frame independently decodes encoded data of each frame of a moving image that has been entropy-encoded after wavelet transform for each of one or more divided regions,
Recognize the omission of the subband code in each frame, and when decoding each frame, use the subband coefficient used for decoding the immediately preceding frame for the subband whose code has been recognized as being omitted. Characteristic image processing method.

23. The image processing method according to claim 21, wherein the moving image is a Motion-JPEG2000 moving image.

A program for causing a computer to execute the image processing method according to claim 21, 22 or 23.

A computer-readable recording medium on which the program according to claim 24 is recorded.