JP4067281B2 - 画像処理方法とその方法を利用可能な画像符号化装置および画像復号装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、画像処理技術に関する。この発明はとくに、画像処理方法と、その方法を利用可能な画像符号化装置および画像復号装置に関する。
【０００２】
【従来の技術】
２０世紀は「映像の世紀」と呼ばれたごとく、映画、テレビジョン放送をはじめ、多種多様な映像および画像が生産され、利用されてきた。とくに１９９０年代に入り、ＰＣ（パーソナルコンピュータ）を代表とする各種情報機器の普及、デジタルカメラやカラープリンタなどの大衆化、インターネット人口の爆発的な増加などにより、一般人の日常生活にデジタル画像の文化が深く浸透した。こうした状況下、静止画像、動画像については、それぞれＪＰＥＧ（Joint Photographic Expert Group）、ＭＰＥＧ（Motion Picture Expert Group）などの符号化圧縮技術が標準化され、ＣＤ−ＲＯＭなどの記録媒体や、ネットワークまたは放送波などの伝送媒体を通じた画像の配信および再生の利便性が改善されてきた。ＪＰＥＧの系列において、その進化版ともいうべきＪＰＥＧ２０００が発表され、またＭＰＥＧについても中長期に及ぶ目標が策定されており、今後も画像処理技術の洗練が人々をより深くデジタル画像の世界へ導いていくことに疑いはない。
【０００３】
【発明が解決しようとする課題】
画像データ形式の標準化は、デジタル機器間のデータ授受を促進する効果をもつ。例えば、名刺の半分程度のメモリカードにより、携帯機器や情報機器の間できわめて簡単にデータを交換できるようになった。デジタルカメラで撮影した画像のデータは、同一のデータ形式をサポートする高精細カラープリンタで容易に出力することができる。今後もいろいろな機器をまたいで画像データが利用される場面が増えると予想される。
【０００４】
本発明者はこうした状況下、以下の課題を認識するに至った。すなわち、例えばデジタルカメラで撮影した画像がもともと６４０×４８０の解像度を有するとき、これを３２０×２００のＬＣＤに表示しようとすれば、画像のスケーリングが必要になる。一方、１２０×８０のサムネイル画像を作成しようとすれば、やはりスケーリングを要する。一般にスケーリングは、処理を施そうとするもとの画像のサイズにほぼ比例した処理時間とメモリアクセス量、すなわちバンド幅を要する。したがって、いまの例では、ＬＣＤ出力用の画像データの生成、サムネイル用画像データの生成には、ともに原画像の６４０×４８０というサイズに比例した負荷が生じる。
【０００５】
本発明はこうした考察に基づいてなされたものであり、その目的は、画像処理、とりわけ画像符号化または画像復号を伴う処理の際に処理の負荷を減らし、処理時間および消費電力を低減することの可能な技術の提供にある。
【０００６】
【課題を解決するための手段】
本発明のある態様は、画像処理方法、とくに画像符号化方法に関する。この方法は、原画像を符号化する過程において生じる原画像よりも低い複数の解像度の中間画像を最終的な符号化画像とは別に保存しておき、画像の用途の入力を受けると、前記画像の用途としてふさわしい解像度を判定し、この判定結果に基づいて前記複数の解像度の中間画像の中から適切な解像度を持つ中間画像を読み出し、これを新たな原画像として利用する。「原画像」とは、符号化の開始に当たり投入される画像という程度の意味である。画像を符号化する場合、その符号化の最終結果であるデータのみを取得すればよいが、この態様では、あえて途中経過である中間画像を捨てずに残し、これを再利用する。中間画像の解像度が原画像より低く、かつ、いま求められている符号化画像の解像度が低い場合、わざわざ原画像を順に符号化していくより、中間画像を開始点として符号化するほうが処理は軽い。なお、本明細書では以降、符号化が完了して得られる最終的な画像データに限って「符号化画像」または「符号化画像データ」と呼び、これは中間画像を含まないものとする。
【０００７】
中間画像は、原画像を階層化して符号化する過程において生じる中間階層の画像であってもよい。この場合、中間階層の画像は、階層化処理の過程で自然に発生することが多く、好都合である。以下、単に中間画像というとき、これは「中間階層の画像」も含むものとする。
【０００８】
中間画像を新たな原画像と考え、これを所望の処理に投入することができる。所望の処理として、符号化、スケーリング、すなわち画像サイズまたは解像度の拡大または縮小、回転、トリミング、エッジ強調またはハイパスフィルタリング、平滑化またはノイズ低減またはローパスフィルタリング、色変換、その他いろいろな画像処理がある。
【０００９】
本発明の別の態様は、画像処理方法、とくに画像復号方法に関する。この方法は、原画像を符号化して生成された符号化画像データを復号する過程において生じる最終的な復号画像よりも低い複数の解像度の中間画像を、最終的な復号画像とは別に保存しておき、画像の用途の入力を受けると、前記画像の用途としてふさわしい解像度を判定し、この判定結果に基づいて前記複数の解像度の中間画像の中から適切な解像度を持つ中間画像を読み出して、最終的な復号画像の代わりに利用する。
【００１０】
通常画像を復号する場合、当然復号が完了して得られる画像のみを取得すればよいが、この態様では、あえて中間画像を取得し、利用する。たとえば、中間画像が最終的に復号画像より解像度が低かったり、低周波成分を主体としていても、表示できれば利用可能である。用途によっては、解像度が低いほうが好都合なこともあり、この態様はそうした場合に好適である。なお、「復号画像」とは、符号化された画像データを復号して生じる画像データを指すものとし、したがって符号化と復号がロスレスであれば、復号画像は原画像に一致する。また、「復号画像」は特に断らなくとも復号が完了して得られる最終的な画像を指すものとし、したがって中間画像を含まないものとする。
【００１３】
本発明のさらに別の態様は、画像符号化装置に関する。この装置は、原画像を符号化する符号化ユニットと、符号化の過程において生じる原画像よりも低い複数の解像度の中間画像を最終的な符号化画像とは別に保存する中間画像メモリとを含み、符号化ユニットは、画像の用途の入力を受けて前記画像の用途としてふさわしい解像度を判定し、この判定結果に基づいて前記複数の解像度の中間画像の中から適切な解像度を持つ中間画像を読み出し、これを新たな原画像として符号化を施すことを特徴とする。
【００１４】
符号化ユニットは、原画像を階層化したり、原画像の解像度を落としたり、原画像の低周波成分を利用して中間画像を生成してもよい。また、原画像に二次元ウェーブレット変換を施したときに現れる、二次元ともに低周波成分からなるサブバンドによって中間画像を生成してもよい。
【００１５】
本装置はさらに、画像の用途にふさわしい解像度に応じて原画像または中間画像の一方を選択して符号化ユニットへ投入する画像選択ユニットを含んでもよい。画像の用途を判定するために、用途と画像サイズその他画像の属性を対応づけて記憶するテーブルを備えてもよい。
【００１６】
本発明のさらに別の態様も画像符号化装置に関する。この装置は、撮像ブロックと、それを機構面で制御する機構制御ブロックと、撮像によって得られたデジタル画像を処理する処理ブロックとを含み、前記処理ブロックは、前記デジタル画像を周波数帯域で階層化して符号化する符号化ユニットと、その符号化の過程において生じる前記デジタル画像よりも低い複数の解像度の中間画像を最終的な符号化画像とは別に保存する中間画像メモリと、を含み、前記符号化ユニットは、画像の用途の入力を受けて前記画像の用途としてふさわしい解像度を判定し、この判定結果に基づいて前記複数の解像度の中間画像の中から適切な解像度を持つ中間画像を読み出し、これを新たな原画像として符号化を施すことを特徴とする。この態様によれば、複数の用途に対してわざわざ毎回原画像を符号化する必要がなく、装置の処理負担の低減、処理時間の短縮に寄与する。
【００１７】
本発明のさらに別の態様は、画像復号装置に関する。この装置は、原画像を周波数帯域で階層化して符号化することにより生成された符号化して生成された符号化画像データを復号する復号ユニットと、復号の過程において生じる最終的に得られる復号画像よりも低い複数の解像度の中間画像を、前記最終的に得られる復号画像とは別に保存する中間画像メモリとを含み、画像の用途の入力を受けて前記画像の用途としてふさわしい解像度を判定し、この判定結果に基づいて前記複数の解像度の中間画像の中から適切な解像度を持つ中間画像を読み出し、これを最終的な復号画像の代わりに利用することを特徴とする。この態様によれば、用途に応じて中間画像または復号画像の一方を選択できる。そのために中間画像メモリは、中間画像と最終的に得られる復号画像とを関連づけて記憶していてもよい。この装置は、画像の用途にふさわしい解像度に応じて前記最終的な復号画像または中間画像の一方を選択して出力する画像選択ユニットを含んでもよい。
【００１８】
復号ユニットは、復号の過程で二次元ウェーブレット逆変換を実施し、二次元ともに低周波成分からなるサブバンドによって中間画像を生成してもよい。
【００１９】
本発明のさらに別の態様も画像復号装置に関する。この装置は、受信ブロックと、受信信号を処理する処理ブロックと、処理後の信号を再生する再生ブロックを含み、前記処理ブロックは、前記受信信号から抽出された周波数帯域で階層化されて符号化されたデジタル画像の符号化画像データを復号する復号ユニットと、その復号の過程において生じる最終的に得られる復号画像よりも低い複数の解像度の中間画像を、前記復号によって最終的に得られる復号画像とは別に保存する中間画像メモリとを含み、当該装置はさらに、画像の用途の入力を受けて前記画像の用途としてふさわしい解像度を判定し、この判定結果に基づいて前記複数の解像度の中間画像の中から適切な解像度を持つ中間画像を外部機器へ出力するためのインタフェイスブロックを含む。「外部機器」はネットワーク等の伝送路やメモリ等の受動素子であってもよい。この態様によれば、復号画像を得る際に副産物的に、または一時的に生じる中間画像を有効利用できるため、一連の復号処理で異なる複数の用途に向けた画像を得ることができる。
【００２２】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【００２３】
【発明の実施の形態】
以下、本発明の好適な実施の形態を説明する。実施の形態では、画像処理としてＪＰＥＧ２０００を利用した符号化および復号を考える。ＪＰＥＧ２０００の概要自体はすでに知られているため、以下その部分は詳述しない。
【００２４】
実施の形態１
図１は、実施の形態１に係る画像符号化装置１０の構成図である。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリのロードされた符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２５】
画像符号化装置１０の主要な構成は、符号化ユニット１２、原画像メモリ２６、中間画像メモリ２８、画像選択ユニット３８である。符号化ユニット１２は、ＪＰＥＧ２０００の仕様に基づく符号化処理を担当し、ウェーブレット変換器１４、フレームバッファ１６、量子化器１８、ビットプレーン符号化器２０、算術符号化器２２、およびストリーム生成器２４を含む。符号化処理の開始にあたり、原画像ＯＩ（Original Image）がフレームバッファ１６に読み込まれるが、これは外部からフレームバッファ１６に直接入力されてもよいし、いったん原画像メモリ２６を介して入力されてもよい。以下、原画像メモリ２６を介して入力される場合を想定する。
【００２６】
フレームバッファ１６に読み込まれた原画像ＯＩは、ウェーブレット変換器１４により、階層化される。ＪＰＥＧ２０００におけるウェーブレット変換器１４は、Daubechiesフィルタを利用する。図２にも示すとおり、このフィルタは画像のｘ、ｙそれぞれの方向において同時にローパスフィルタおよびハイパスフィルタとして作用し、ひとつの画像を４つの周波数サブバンドへ分割する。これらのサブバンドは、ｘ、ｙの両方向において低周波成分を有するＬＬサブバンドと、ｘ、ｙのいずれかひとつの方向において低周波成分を有し、かつもう一方の方向において高周波成分を有するＨＬおよびＬＨサブバンドと、ｘ、ｙの両方向において高周波成分を有するＨＨサブバンドである。各サブバンドの縦横の画素数は処理前の画像のそれぞれ１／２であり、一回のフィルタリングで解像度、すなわち画像サイズが１／４のサブバンド画像が得られる。
【００２７】
ウェーブレット変換器１４は、こうして得られたサブバンドのうち、ＬＬサブバンドに対して再度フィルタリング処理を行い、これをさらにＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分割する。フィルタリングは所定の回数行われ、最後のフィルタリングで生じたＬＬサブバンドが原画像ＯＩにおいて最もＤＣ成分に近い画像として取得される。以下、同一階層の各サブバンド、すなわち同じ回数フィルタリングを施して得られた４つのサブバンドはＬＬ、ＨＬおよびＬＨ、ＨＨの順に次第に高周波成分を含み、これらのサブバンドよりもさらに高周波成分を含む画像が、ひとつ前のフィルタリング処理で得られた４つのサブバンドとして続く。以下、図２の例でいえば、左上から順に右下へいくほど高周波成分を含む画像として階層化画像が得られる。
【００２８】
以下、詳述はしないが、ウェーブレット変換器１４によって階層化された画像が低周波成分から順に量子化器１８、ビットプレーン符号化器２０、算術符号化器２２、ストリーム生成器２４による処理を経て最終的な符号化画像データＣＩ（Coded Image）として出力される。
【００２９】
中間画像メモリ２８は、本実施の形態に特徴的な構成で、ウェーブレット変換器１４による処理の途中で得られる中間画像ＩＩ（Intermediate Image）を適宜保存する。通常、こうした中間画像ＩＩはフレームバッファ１６において一時的に生成されるものであり、それ自体特別な用途はもたない。しかしながら本実施の形態では、この中間画像を積極的に利用することにより、後述のメリットを得る。
【００３０】
画像選択ユニット３８は、画像メモリ制御器３２、画像サイズ判定器３４、および画像サイズテーブル３６を含む。画像には、たとえば高精細で印刷したり、単にサムネイル画像として保存するなど、いろいろな用途がある。用途により、画質や解像度が異なる。この点に着目し、画像サイズ判定器３４はユーザから画像の用途の入力を受ける。画像サイズテーブル３６にはあらかじめ画像の用途と、それにふさわしい解像度または画像サイズが記録されている。画像サイズ判定器３４は、ユーザから入力された画像の用途を画像サイズテーブル３６に照合することにより、適切な画像サイズを判定する。判定結果は画像メモリ制御器３２に通知され、画像メモリ制御器３２は画像サイズに応じて原画像メモリ２６から原画像ＯＩをフレームバッファ１６へ投入するか、または中間画像メモリ２８から適切な画像サイズの中間画像ＩＩをフレームバッファ１６へ投入する。
【００３１】
図２は、ウェーブレット変換器１４による原画像ＯＩの処理と、中間画像メモリ２８に格納される中間画像ＩＩの関係を示す。原画像ＯＩは、ウェーブレット変換器１４における初回のフィルタリングにより、第１階層の画像ＷＩ１になる。この画像ＷＩ１のＬＬサブバンドに対してさらにフィルタリングが行われ、図２の場合、最終的に第３階層の画像ＷＩ３が生成される。この画像は、以降量子化器１８以下の処理を受ける。
【００３２】
中間画像メモリ２８には、ウェーブレット変換器１４の処理の途中で生じるＬＬサブバンドの画像が中間画像として保存される。この例の場合、第１階層の画像層ＷＩ１のＬＬサブバンドがそのまま中間画像ＩＩとして保存されている。保存された中間画像ＩＩは、ユーザから指定された用途に応じて再利用される。たとえば、指定された用途に対して、原画像ＯＩの１／４のサイズの画像で十分な場合、中間画像メモリ２８に記録された中間画像ＩＩが読み出され、これが新たな原画像４０としてフレームバッファ１６へ導入され、ウェーブレット変換器１４以下の処理が施され、符号化画像データ４２が生成される。中間画像ＩＩを利用するメリットは以下のとおりである。
【００３３】
１．通常、画像符号化装置１０における符号化処理は、原画像ＯＩの入力から開始される。したがって、符号化画像データが必要になったとき原画像ＯＩが入力され、そのつど符号化が行われる。しかしながら、場合によってはサイズの小さな画像で十分な用途もあり、その際にわざわざサイズの大きな原画像ＯＩを起点とする符号化を再実施することは大きなロスを生む。前述のごとく、一般に画像処理は、画像サイズに比例する処理の負荷を生むため、図２の例では、サイズが１／４の中間画像ＩＩを符号化の開始画像とすることにより、処理の負荷を概略１／４に低減することができる。その結果、処理時間、フレームバッファ１６の占有率、消費電力のいずれの面においても改善効果が期待できる。
【００３４】
２．場合により、スケーリング処理をスキップすることができる。図２の例では、ユーザの用途が１／４のサイズの画像を求めているとき、原画像ＯＩに対し、いずれかの段階において画像サイズを１／４に縮小するスケーリングが必要である。しかしながら、中間画像ＩＩを利用すれば、すでに第１階層の画像ＷＩ１のＬＬサブバンドを抽出した時点で、事実上スケーリング処理が完了している効果をもつ。したがって、この意味でも処理効率の改善が図られる。
【００３５】
３．画質の面でも有利である。ＪＰＥＧ２０００のウェーブレット変換器１４は、低ビットレートにおける画質も重視して設計されており、第１階層の画像ＷＩ１のＬＬサブバンドは、通常原画像ＯＩに対してスケーリングを施すときに利用される一般的なフィルタにくらべ、同等か相当よい画質を実現することが多い。したがって、ＬＬサブバンドの抽出によってスケーリングを兼ねる場合、ＪＰＥＧ２０００の画質面におけるメリットを享受することができる。
【００３６】
４．中間画像が再利用可能になる背景として、そのデータフォーマットが原画像ＯＩのそれと同じであることが挙げられる。すなわち、ウェーブレット変換器１４による処理は画素を単位とするフィルタリングであり、画素値および画像サイズは変化するものの、原画像ＯＩと同じ表示体系にて表示可能な範囲にとどまっている。したがって、中間画像ＩＩを新たな原画像として利用できるほか、中間画像をそのまま表示する用途にも耐える。
【００３７】
なお、第１階層ＷＩ１のＬＬサブバンドよりも小さな画像が必要な場合、図２のごとく、中間画像メモリ２８から読み出された新たな原画像４０に対してスケーリングを施して必要な大きさの画像４４を生成し、これを起点として符号化処理を施すことにより、所望の符号化画像データ４６を得ることができる。もちろん、ウェーブレット変換によって得られる第２階層の画像のＬＬサブバンドや、第３階層の画像ＷＩ３のＬＬサブバンドを中間画像ＩＩとして利用してもよい。いずれにせよ、原画像ＯＩよりもサイズの小さい画像から処理が開始されるので、効率がよい。
【００３８】
図３は、中間画像メモリ２８に記録された画像データ５０の構造を示す。画像データ５０は、原画像ＯＩの識別ＩＤ（図中「ＩＤ（ＯＩ）」）を格納する第１データ領域５２と、中間画像ＩＩのデータを格納する第２データ領域５４を含む。第２データ領域５４はさらに、中間画像ＩＩに関するヘッダ情報（図中「ＩＩヘッダ」）を記録するヘッダ領域５６と、中間画像ＩＩ本体のデータ（図中「ＩＩデータ」）を格納するデータ領域５８に分かれる。ヘッダ領域５６には、この中間画像ＩＩが原画像ＯＩに関して得られたものであることを示すべく、第１データ領域５２に対するリンクが記録されている。
【００３９】
図４は、ヘッダ領域５６の詳細構造を示す。ヘッダ領域５６は、中間画像ＩＩの識別ＩＤ（図中「ＩＤ（ＩＩ）」）を格納する第１サブ領域５６ａと、中間画像ＩＩの解像度情報を格納する第２サブ領域５６ｂと、中間画像ＩＩの画質情報を格納する第３サブ領域５６ｃと、それ以外の情報を格納する第４サブ領域５６ｄを含む。
【００４０】
第１サブ領域５６ａの内容により、中間画像ＩＩと原画像ＯＩの対応関係が判明する。第２サブ領域５６ｂの内容により、画像メモリ制御器３２が中間画像メモリ２８の中から適切な中間画像ＩＩを検出することができる。第３サブ領域５６ｃはオプショナルな構成で、中間画像ＩＩの画質に関する客観情報または主観情報を含む。前者の例として、原画像ＯＩに対する中間画像ＩＩの誤差があり、後者の例として、画像の用途に応じた適否に関する判断基準がある。たとえば、３００ｄｐｉ程度のプリンタによる印刷には耐えるが、１２００ｄｐｉのプリンタには不向きな中間画像ＩＩについては、その旨がこの領域に記録される。第３サブ領域５６ｃも画像メモリ制御器３２から参照され、ある中間画像ＩＩがユーザの求める用途に不向きな場合、別の中間画像ＩＩまたは原画像ＯＩがフレームバッファ１６へ投入される。第４サブ領域５６ｄもオプショナルな構成であり、たとえば原画像ＯＩから中間画像ＩＩを生成した過程が記録されている。この情報は、たとえば新たに中間画像ＩＩを生成する場合などに、適宜参照される。
【００４１】
図５は、画像サイズテーブル３６の詳細構成を示す。画像サイズテーブル３６は、用途欄７０と画像サイズ欄７２を有する。用途欄７０には、たとえば「デジタルカメラ」の「静止画」「動画」など、ユーザが画像を利用する目的が記述される。一方、画像サイズ欄７２には、そうした用途に対し最適な画像サイズがたとえば６４０×４８０というかたちで記述される。用途欄７０に記述される各用途は、画像サイズ判定器３４を通じてユーザに表示され、ユーザはそれらの中から所望の用途を選択できるものとする。各用途に対して記述された画像サイズは、たとえばユーザが有するデジタルカメラの仕様や、デジタルカメラが一般的に有する仕様などに基づいて定められる。
【００４２】
いま仮に、原画像ＯＩのサイズが６４０×４８０で、ユーザが用途としてデジタルカメラの静止画記録を指示したとする。この場合、図５によれば、その用途にふさわしい画像サイズも６４０×４８０であるので、原画像ＯＩはそのまま符号化ユニット１２に投入され、符号化画像データＣＩが生成される。この符号化の処理中に、中間画像ＩＩが中間画像メモリ２８に記録される。いま説明のため、ウェーブレット変換器１４の１回目のフィルタリングによって得られる３２０×２４０の中間画像ＩＩと２回目のフィルタリングによって得られる１６０×１２０の中間画像ＩＩがともに中間画像メモリ２８に記録されるとする。
【００４３】
この状況において、ユーザが次にデジタルカメラによる動画記録を指示したとする。このとき図５の画像サイズ欄７２によれば、動画として必要なサイズは３００×２００であり、画像サイズ判定器３４および画像メモリ制御器３２の連携により、中間画像メモリ２８からサイズが３２０×２４０の中間画像ＩＩが読み出され、フレームバッファ１６へ投入される。つづいて、図示しないＣＰＵまたはＤＳＰ等の処理により、この中間画像ＩＩのサイズが３００×２００へスケールダウンされ、以下ウェーブレット変換器１４、量子化器１８等の処理を経て最終的に３００×２００のサイズの符号化画像データＣＩが出力される。画像サイズを３２０×２４０から３００×２００へスケールダウンする処理は、前述のごとく、原画像ＯＩを起点とするときに比べ、約１／４の負荷ですむ。
【００４４】
ユーザがさらに、デジタルカメラで撮影した画像を電子アルバムのサムネイル画像として保存する旨を指示したとする。この用途に適する画像サイズは、画像サイズ欄７２により１２０×８０と判明する。したがって、画像サイズ判定器３４と画像メモリ制御器３２の連携により、中間画像メモリ２８から画像サイズが１６０×１２０の中間画像ＩＩが読み出され、フレームバッファ１６へ投入される。この中間画像ＩＩにもスケーリングが施され、画像サイズが１２０×８０へスケールダウンされたのち、ウェーブレット変換器１４、量子化器１８等の処理を経て、最終的に１２０×８０のサイズの符号化画像データＣＩが得られる。この処理におけるスケーリングは、原画像ＯＩを起点とする場合に比べ約１／１６の負荷ですむ。
【００４５】
ユーザがさらに、デジタルカメラで撮影した画像を電子アルバムに静止画として記録する旨を指示したとき、このための画像サイズは、画像サイズ欄７２により３２０×２４０と判明する。この場合、画像サイズ判定器３４と画像メモリ制御器３２の連携により、中間画像メモリ２８から画像サイズが３２０×２４０の中間画像ＩＩが読み出され、フレームバッファ１６に投入される。この中間画像ＩＩのサイズは、最終目的の画像サイズと最初から一致しているため、スケーリング処理をスキップすることができる。以下ウェーブレット変換器１４、量子化器１８等の処理を経て最終的に所望のサイズの符号化画像データＣＩが得られる。
【００４６】
このように本実施の形態によれば、スケーリングの処理時間およびバンド幅が大幅に削減されるため、たとえばデジタルカメラによって高解像度の静止画記録と動画撮影を同時に行うことが容易になる。同様に、デジタルカメラによって静止画とサムネイル画像を同時に記録する場合でも、たとえば高速連写撮影が容易になる。したがって、ＪＰＥＧ２０００の処理のプロセスと構成をうまく利用し、かつＪＰＥＧ２０００の高画質なフィルタに着目することにより、比較的容易な構成で画像処理の効率改善が実現する。ひいては、デジタルカメラその他の画像処理装置の商品価値の向上および操作性の改善が実現する。
【００４７】
実施の形態２
図６は実施の形態２に係る画像復号装置１００の構成図である。画像復号装置１００はＪＰＥＧ２０００の復号手順を実現するもので、その主な処理は図１の画像符号化装置１０の逆変換ということができる。なお、図１同様の構成には同じ符号を与え、適宜その説明を省略する。
【００４８】
画像復号装置１００は、復号ユニット１１０と、復号画像メモリ１２４と、中間画像メモリ２８と、画像選択ユニット３８を備える。復号ユニット１１０は、符号化画像データＣＩに対して順次処理を加えるストリーム解析器１２０、算術復号器１１８、ビットプレーン復号器１１６、逆量子化器１１４、ウェーブレット逆変換器１１２、およびワークエリアとして使用されるフレームバッファ１６を含む。
【００４９】
まず一般的な処理として、符号化画像データＣＩに対してストリーム解析器１２０以下の処理が施され、最終的に復号画像ＤＩ（Decoded Image）が復号画像メモリ１２４に格納される。もちろん復号画像ＤＩはそのまま出力されてもよいが、以下、復号画像メモリ１２４へ格納される例を考える。
【００５０】
一方、本実施の形態に特徴的な処理は、ウェーブレット逆変換器１１２の処理の途中で生じる中間画像ＩＩが中間画像メモリ２８へ適宜記録される点にある。
【００５１】
図７は画像復号装置１００による処理手順を示す。まず、投入された符号化画像データＣＩは、ストリーム解析器１２０、算術復号器１１８、ビットプレーン復号器１１６、および逆量子化器１１４の処理を経て、図２における第３階層の画像ＷＩ３の状態に戻る。つづいて、ウェーブレット逆変換器１１２による１回目の逆変換により、第２階層の画像が得られ、そのＬＬサブバンド１５０が中間画像メモリ２８へ記録される。つぎに、ウェーブレット逆変換器１１２による２回目の逆変換によって第１階層に相当する画像が得られ、そのＬＬサブバンド１５２が再び中間画像メモリ２８へ記録される。最後に、３回目の逆変換によって復号画像ＤＩが得られ、これが復号画像メモリ１２４へ格納される。
【００５２】
したがって、たとえば１回目の逆変換によって得られた小さなＬＬサブバンド１５０をサムネイル画像として利用し、２回目の逆変換によって得られたＬＬサブバンド１５２をＬＣＤへ出力し、最終的に得られた最も画像サイズの大きな復号画像ＤＩを外部モニタやプリンタに出力することができる。
【００５３】
本実施の形態によれば、通常は目的に応じてそのつど復号されていた複数の画像サイズの画像を１回の復号処理で得ることができる。すなわち、実施の形態１において説明したと同様、処理の負荷軽減の面で有利なほか、スケーリング処理をスキップすることもできる。
【００５４】
本実施の形態においても、ＪＰＥＧ２０００の有する高画質なフィルタをそのまま利用することにより、ハードウエアの増加を極力抑制しながら大きな効果を生むことができる。実施の形態１同様、中間画像ＩＩを抽出する段階では、すでに中間画像ＩＩと復号画像ＤＩが同じ表示体系にて表示可能な範囲に入っており、この事実が利用される。すなわち、いろいろな画像サイズをそれぞれ求める各種機器に対し、所望のサイズの中間画像ＩＩを効率的に提供することができる。
【００５５】
実施の形態３
図８は実施の形態３に係るデジタルカメラ２００の構成を示す。デジタルカメラ２００は、撮像ブロック２０２、機構制御ブロック２０４、処理ブロック２０６、ＬＣＤモニタ２０８、および操作ボタン群２１０を含む。
【００５６】
撮像ブロック２０２は、図示しないレンズ、絞り、光学ＬＰＦ（ローパスフィルタ）、ＣＣＤ、信号処理部等を含む。ＣＣＤの受光面上に結像した被写体像の光量に応じてＣＣＤに電荷が蓄積され、電圧信号として読み出される。電圧信号は信号処理部でＲ、Ｇ、Ｂ成分に分解され、ホワイトバランス調整、ガンマ補正が行われる。その後、Ｒ、Ｇ、Ｂ信号はＡ／Ｄ変換され、デジタル画像データとなって処理ブロック２０６へ出力される。
【００５７】
機構制御ブロック２０４は、撮像ブロック２０２の光学系の制御、すなわちズーム、フォーカス、絞りなどの駆動を制御する。
処理ブロック２０６は、デジタルカメラ２００全体の制御に利用されるＣＰＵ２２０とメモリ２２２のほか、ＹＣ処理部２２６、カード制御部２２８、通信部２２４を有する。これらのうち、ＣＰＵ２２０の機能の一部とメモリ２２２にロードされた画像符号化プログラムが、実施の形態１の画像符号化装置１０に相当する。実施の形態１のフレームバッファ１６、原画像メモリ２６、中間画像メモリ２８もこのメモリ２２２の一部を利用して実現することができる。
【００５８】
ＹＣ処理部２２６は、デジタル画像データから輝度信号Ｙと色差（クロマ）信号Ｂ−Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号は、それぞれ原画像ＯＩとして独立に順次符号化される。符号化画像データＣＩは、通信部２２４を介して外部へ出力され、またはカード制御部２２８を介してメモリカード２３０へ書き込まれる。
【００５９】
通信部２２４は、標準的な通信仕様に応じたプロトコル変換等の制御を行い、この他に、例えばプリンタ、ゲーム機等の外部機器との間で個別のインタフェイスによるデータ授受を行う。
【００６０】
ＬＣＤモニタ２０８は、被写体画像のほか、撮影／再生モード、ズーム倍率、日時などを表示する。操作ボタン群２１０は、ユーザが撮影を行い、または各種動作モードを設定するためのパワースイッチ、レリーズスイッチ等を含む。
【００６１】
以上の構成において、処理ブロック２０６に内蔵された画像符号化装置１０により、たとえば以下の動作が実現する。
１．静止画像をスナップショットとして撮影し、これを圧縮符号化してメモリカード２３０へ記録する。静止画像の記録の合間に小さな画像サイズで動画像を撮影し、これも同様に圧縮符号化してメモリカード２３０へ記録する。もちろん、メモリカード２３０へ記録せず、直接プリンタへ出力し、または通信部２２４およびインターネットを介して自分のホームページへ直接アップロードするような用途も可能である。
【００６２】
２．静止画像を撮影して符号化する際、サムネイル画像も同時に生成し、これらをメモリカード２３０へ記録し、または外部へ出力する。サムネイル画像は電子アルバムを作る際に非常に有用である。
【００６３】
実施の形態４
図９は、実施の形態４に係るテレビジョン受信装置３００の構成を示す。テレビジョン受信装置３００は、アンテナ３０２とそれを介して放送波を受信する受信ブロック３０４と、受信ブロック３０４による処理の結果得られた画像および音声データを処理する処理ブロック３０６と、処理ブロック３０６によって復号された音声および画像を再生する再生ブロック３０８を含む。またインタフェイスブロック３３６は、処理ブロック３０６による復号画像データを適宜外部機器へ出力する。
【００６４】
受信ブロック３０４はチューナ３２０およびパケット分離部３２２を含む。チューナ３２０はユーザが選んだチャネルを含むトランスポンダを選択し、ＱＰＳＫ復調を施す。復調で得られた複数のトランスポートパケットを含むストリームはパケット分離部３２２へ送られる。パケット分離部３２２はデマルチプレクサであり、所望のチャンネルに対応するパケットを分離して処理ブロック３０６へ出力する。
【００６５】
処理ブロック３０６の画像・音声デコーダ３３４はＣＰＵ３３０およびメモリ３３２と連携し、放送局で符号化され送信された画像および音声データを復号する。画像・音声デコーダ３３４は、入力されたパケットを復号し、音声データを音声出力部３４０へ、画像データを表示装置３４４へそれぞれ出力する。音声出力部３４０は、入力された音声データに所定の処理を施し、最終的に音声がスピーカ３４２へ出力される。処理ブロック３０６の構成、すなわち画像・音声デコーダ３３４、ＣＰＵ３３０、メモリ３３２のうち、画像復号に関する部分が実施の形態２の画像復号装置１００に相当する。
【００６６】
以上の構成において、処理ブロック３０６に内蔵された画像復号装置１００により、たとえば以下の動作が実現する。
１．表示装置３４４に通常の画面を表示させながら、それよりも小さな画像をインタフェイスブロック３３６を介してリアルタイムに外部の携帯端末のＬＣＤへ表示する。
【００６７】
２．同様に通常の画面を表示装置３４４に表示させながら、任意の画面をキャプチャして小さな画像サイズで記録する。
【００６８】
３．同様に通常の画面を表示装置３４４に表示させながら、非常に小さな画像サイズで任意の画像をキャプチャし、これをサムネイル画像程度の大きさで電子メールへ添付する。
【００６９】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そうした変形例をいくつか説明する。
【００７０】
実施の形態では、画像処理の例として符号化および復号を説明した。しかしながら、本発明はそれらに限る必要はなく、任意の画像処理の途中経過を中間画像として保存できるものであれば適用可能である。たとえば、原画像を複数回所定のフィルタリングにかけ、画像を階層化する場合、中間階層の画像が自然に得られるため、好都合である。フィルタも、通常のアベレージフィルタ等、任意のものでよい。
【００７１】
同様の理由から、なんらかのプログレッシブな性質をもつ画像処理は本発明の適用に好都合である。たとえば、プログレッシブに表示される画像のうち最初の方に現れる画像を中間画像として保存しておけば、所定の用途へ向けた再利用が可能である。
【００７２】
実施の形態のスケーリングはすべて縮小方向の処理であった。しかしながら、当然これは拡大方向の処理であってもよい。その場合、画素間で所定の補間処理を施し、画像サイズを拡大すればよい。
【００７３】
図１と図６では、中間画像メモリ２８を独立した構成として描いたが、これはフレームバッファ１６をはじめとする他のメモリと一体であってもよい。要は、中間画像ＩＩを保存するメモリ領域が存在すれば足りる。
【００７４】
実施の形態１では画像符号化装置１０を一体の構成として説明し、実施の形態２では画像復号装置１００を一体の構成として説明した。しかし、これらの構成の任意の部分がリモートに存在してもよく、全体として中間画像を利用する作用をもてばよい。一例として、図１の原画像メモリ２６、中間画像メモリ２８、図６の復号画像メモリ１２４等をリモートのハードディスク等の記憶装置に格納することにより、将来にわたって再利用性の高いデジタル書庫を構築していくことが可能である。
【００７５】
図３の画像データ５０は、中間画像のデータを原画像に関連づけるものであった。この構成に加え、さらに符号化画像データＣＩをこれらに関連づけて記憶してもよい。その場合、さまざまな用途と場面に応じて最適なデータを利用することができる。
【００７６】
図１および図６における画像選択ユニット３８は当然オプショナルな構成であり、画像の選択に関する指示を外部から直接取得し、それを利用して中間画像を適宜読み出してもよい。
【００７７】
実施の形態３ではデジタルカメラを例に説明したが、これは当然他の電子機器であってもよい。たとえばデジタルカメラ同様、撮像ブロックおよび処理ブロックをもつファクシミリ装置、コピー機、スキャナ等の機器に本発明を適用することができる。
【００７８】
同様に実施の形態４ではテレビジョン受信装置を例示したが、これも受信ブロックおよび処理ブロックをもつような他の機器、たとえばインターネットに接続可能な携帯電話や各種ＰＤＡ（個人用情報端末）であってもよい。
【００７９】
【発明の効果】
本発明によれば、画像処理の効率改善を図ることができる。
【図面の簡単な説明】
【図１】 実施の形態１に係る画像符号化装置の構成図である。
【図２】 実施の形態１における処理の手順を示す図である。
【図３】 実施の形態１において中間画像メモリに記録される画像データの構造を示す図である。
【図４】 図３に示す画像データのうちヘッダ領域の構造を示す図である。
【図５】 図１に示す画像サイズテーブルの内部構成を示す図である。
【図６】 実施の形態２に係る画像復号装置の構成図である。
【図７】 実施の形態２における処理の手順を示す図である。
【図８】 実施の形態３に係るデジタルカメラの構成図である。
【図９】 実施の形態４に係るテレビジョン受信装置の構成図である。
【符号の説明】
１０ 画像符号化装置、 １２ 符号化ユニット、 １４ ウェーブレット変換器、 １６ フレームバッファ、 ２８ 中間画像メモリ、 ３２ 画像メモリ制御器、 ３４ 画像サイズ判定器、 ３６ 画像サイズテーブル、 ３８ 画像選択ユニット、 ５０ 画像データの構造、 ５２ 第１領域、 ５４ 第２領域、 ５６ ヘッダ領域、 １００ 画像復号装置、 １１０ 復号ユニット、 １１２ ウェーブレット逆変換器、 １２４ 復号画像メモリ、 ２００デジタルカメラ、 ２０２ 撮像ブロック、 ２０４ 機構制御ブロック、 ２０６ 処理ブロック、 ３００ テレビジョン受信装置、 ３０４ 受信ブロック、 ３０６ 処理ブロック、 ３０８ 再生ブロック、 ３３６ インタフェイスブロック。

Claims (15)

1. 原画像を周波数帯域で階層化して符号化する過程において生じる原画像よりも低い複数の解像度の中間画像を最終的な符号画像とは別に保存する工程と、
   画像の用途の入力を受ける工程と、
   前記画像の用途としてふさわしい解像度を判定し、この判定結果に基づいて前記複数の解像度の中間画像の中から適切な解像度を持つ中間画像を読み出す工程と、
   読み出された中間画像を新たな原画像として所望の処理に投入する工程と、
   を含むことを特徴とする画像処理方法。
2. 周波数帯域で階層化されて符号化された原画像を復号する過程において生じる最終的な復号画像よりも低い複数の解像度の中間画像を前記最終的な復号画像とは別に保存する工程と、
   画像の用途の入力を受ける工程と、
   前記画像の用途としてふさわしい解像度を判定し、この判定結果に基づいて前記複数の解像度の中間画像の中から適切な解像度を持つ中間画像を読み出す工程と、
   読み出された中間画像を前記最終的な復号画像の代わりに利用する工程と、
   を含むことを特徴とする画像処理方法。
3. 前記中間画像を利用することにより、本来必要であったスケーリング処理をスキップすることを特徴とする請求項１又は２に記載の画像処理方法。
4. 原画像を周波数帯域で階層化して符号化する符号化ユニットと、
   前記符号化の過程において生じる原画像よりも低い複数の解像度の中間画像を最終的な符号化画像とは別に保存する中間画像メモリと、を含み、
   前記符号化ユニットは、画像の用途の入力を受けて前記画像の用途としてふさわしい解像度を判定し、この判定結果に基づいて前記複数の解像度の中間画像の中から適切な解像度を持つ中間画像を読み出し、これを新たな原画像として符号化を施すことを特徴とする画像符号化装置。
5. 前記符号化ユニットは、原画像の低周波成分をもとに前記中間画像を生成することを特徴とする請求項４に記載の画像符号化装置。
6. 前記符号化ユニットは、原画像に二次元ウェーブレット変換を施したときに現れる、二次元ともに低周波成分からなるサブバンドによって前記中間画像を生成することを特徴とする請求項４又は５に記載の画像符号化装置。
7. 前記中間画像メモリは、中間画像を原画像と関連づけて記憶することを特徴とする請求項４から６のいずれかに記載の画像符号化装置。
8. 前記画像の用途にふさわしい解像度に応じて前記原画像または中間画像の一方を選択して前記符号化ユニットへ投入する画像選択ユニットをさらに含むことを特徴とする請求項４から７のいずれかに記載の画像符号化装置。
9. 撮像ブロックと、それを機構面で制御する機構制御ブロックと、撮像によって得られたデジタル画像を処理する処理ブロックとを含み、
   前記処理ブロックは、
   前記デジタル画像を周波数帯域で階層化して符号化する符号化ユニットと、
   その符号化の過程において生じる前記デジタル画像よりも低い複数の解像度の中間画像を最終的な符号化画像とは別に保存する中間画像メモリと、を含み、
   前記符号化ユニットは、画像の用途の入力を受けて前記画像の用途としてふさわしい解像度を判定し、この判定結果に基づいて前記複数の解像度の中間画像の中から適切な解像度を持つ中間画像を読み出し、これを新たな原画像として符号化を施すことを特徴とする画像符号化装置。
10. 原画像を周波数帯域で階層化して符号化することにより生成された符号化画像データを復号する復号ユニットと、
    復号の過程において生じる最終的に得られる復号画像よりも低い複数の解像度の中間画像を、前記最終的に得られる復号画像とは別に保存する中間画像メモリと、を含み、
    画像の用途の入力を受けて前記画像の用途としてふさわしい解像度を判定し、この判定 結果に基づいて前記複数の解像度の中間画像の中から適切な解像度を持つ中間画像を読み出し、これを最終的な復号画像の代わりに利用することを特徴とする画像復号装置。
11. 前記中間画像は前記最終的に得られる復号画像の主に低周波成分を含むことを特徴とする請求項１０に記載の画像復号装置。
12. 前記復号ユニットは、復号の過程で二次元ウェーブレット逆変換を実施し、二次元ともに低周波成分からなるサブバンドによって前記中間画像を生成することを特徴とする請求項１０又は１１に記載の画像復号装置。
13. 前記中間画像メモリは、中間画像と最終的に得られる復号画像とを関連づけて記憶することを特徴とする請求項１０〜１２のいずれかに記載の画像復号装置。
14. 前記画像の用途にふさわしい解像度に応じて前記最終的な復号画像または中間画像の一方を選択して出力する画像選択ユニットをさらに含むことを特徴とする請求項１０〜１４のいずれかに記載の画像復号装置。
15. 受信ブロックと、受信信号を処理する処理ブロックと、処理後の信号を再生する再生ブロックを含み、
    前記処理ブロックは、前記受信信号から抽出された周波数帯域で階層化されて符号化されたデジタル画像の符号化画像データを復号する復号ユニットと、その復号の過程において生じる最終的に得られる復号画像よりも低い複数の解像度の中間画像を、前記復号によって最終的に得られる復号画像とは別に保存する中間画像メモリとを含み、
    当該装置はさらに、画像の用途の入力を受けて前記画像の用途としてふさわしい解像度を判定し、この判定結果に基づいて前記複数の解像度の中間画像の中から適切な解像度を持つ中間画像を外部機器へ出力するためのインタフェイスブロックを含むことを特徴とする画像復号装置。

Images