JP4669645B2

JP4669645B2 - Image encoding apparatus, image encoding method, program, and recording medium

Info

Publication number: JP4669645B2
Application number: JP2001289626A
Authority: JP
Inventors: 麻衣子山田; 宏幸作山
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2001-09-21
Filing date: 2001-09-21
Publication date: 2011-04-13
Anticipated expiration: 2021-09-21
Also published as: JP2003102011A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置、画像符号化方法、プログラム、及び記録媒体に関し、より詳細には、アプリケーションプログラム，プリンタドライバ等のデバイスドライバ，その他画像を扱う機器に応用可能な、係数間引きによってレートコントロールをする画像符号化装置、画像符号化方法、プログラム、及び記録媒体に関する。
【０００２】
【従来の技術】
一般に画像の符号化は、色変換→周波数領域の係数への変換→係数の量子化→エントロピー符号化という手順をとる。しかし、種々の画像に対して同一の量子化を実行した場合、圧縮率が画像毎によって一定でなくなるという問題が生じる。そのため、デジタルカメラのメモリに対して枚数を保証したり、ＤＶＤなどの一定の記憶容量をもつ記憶媒体にある一定の動画を記憶させたりする際に、ある一定の圧縮率を保つ必要が生じる。一定の圧縮率を保つためには、符号化後の符号量を所定のサイズに調整する、所謂レートコントロールを行う必要がある。
【０００３】
従来、ＪＰＥＧ方式の量子化は量子化の分母を、符号量が所定のサイズになるまで何回も変化させ、レートコントロールを行う。その結果、レートコントロールを行う際、量子化と符号化を繰り返さなければならないという問題が生じる。
【０００４】
そこで例えば、係数を重要度順に分類し、その分類毎に符号化し、符号化後に重要でない係数を捨てることが考えられる。このような構成にすれば、量子化と符号化を繰り返すことなく、レートコントロールを簡易に行うことができる。
【０００５】
しかしながら、上述した分類は、画質への影響を考慮して行う必要がある。ウェーブレット符号化に代表されるサブバンド符号化は、画像を周波数毎のサブバンドに変換するが、周波数と画質とは密接な関係があるため、分類にあたってはサブバンドの利用等を考慮するのが１つの手法である。
【０００６】
図１７は、サブバンドを説明するための図で、図１７（Ａ）は３回のサブバンド分割により得られた係数を、図１７（Ｂ）はそのコードストリームを、それぞれ示す図である。サブバンドとは、例えば３回のサブバンド分割を行った場合、図１７に示されているような、それぞれの分割によって得られた３ＬＬ，３ＬＨ，３ＨＬ，３ＨＨ，２ＬＨ，２ＨＬ，２ＨＨ，１ＬＨ，１ＨＬ，１ＨＨのことである。３回のサブバンド分割を行った場合、３ＬＬ，３ＬＨ，３ＨＬ，３ＨＨ，２ＬＨ，２ＨＬ，２ＨＨ，１ＬＨ，１ＨＬ，１ＨＨを同一グループとし、図１７（Ｂ）のように、重要度順（３ＬＬ，３ＬＨ，３ＨＬ，３ＨＨ，２ＬＨ，２ＨＬ，２ＨＨ，１ＬＨ，１ＨＬ，１ＨＨ）に並べ、順に符号化していく。そして、レートコントロールを行う際には、重要度の低いサブバンドの係数から（列の最後）順にまるごと捨てていくといった方法も考えられる。
【０００７】
特開２０００−３２３９９２号公報には、画像データをウェーブレット変換により分割し、分割されたサブバンドを水平もしくは垂直方向に間引きする画像データ処理装置および画像データ処理方法が記載されている。しかしながら、この間引きは、より圧縮率を上げる、またはより画質を向上させる等、それぞれの場合に応じて対応できないという問題がある。
【０００８】
【発明が解決しようとする課題】
本発明は、上述のごとき実状に鑑みてなされたものであり、量子化と符号化を繰り返すことなく、また、画質への影響を最小限に抑えながらレートコントロールを簡易に行うことが可能な、画像符号化装置、画像符号化方法、プログラム、及び記録媒体を提供することをその目的とする。
【０００９】
かかる目的を達成するために、本発明は、以下の特徴を有する。
本発明にかかる画像符号化装置は、
周波数領域に変換された画像データの係数を符号化する画像符号化装置であって、
同一種類の係数のうちの少なくとも１種類を２つ以上の係数グループに分類する係数分類手段と、
前記画像データの係数を、前記係数分類手段で分類された係数グループの種類ごとに配列する係数配列手段と、
前記係数配列手段で配列された係数を符号化する係数符号化手段と、
前記係数符号化手段により生成された符号から、該符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する符号破棄手段と、を有し、
前記係数分類手段は、
前記変換がサブバンド分割による変換である場合に、少なくとも１つのサブバンドに対し、前記係数を他のサブバントとロケーションが異なるような係数グループに分類することを特徴とする。
【００１０】
本発明にかかる画像符号化装置は、
周波数領域に変換された画像データの係数を符号化する画像符号化装置であって、
前記画像データの係数を量子化する係数量子化手段と、
前記係数量子化手段で量子化された係数である量子化係数に対し、同一種類の量子化係数のうちの少なくとも１種類を２つ以上の係数グループに分類する係数分類手段と、
前記量子化係数を、前記係数分類手段で分類された係数グループの種類ごとに配列する係数配列手段と、
前記係数配列手段で配列された量子化係数を符号化する係数符号化手段と、
前記係数符号化手段により生成された符号から、該符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する符号破棄手段と、を有し、
前記係数分類手段は、
前記変換がサブバンド分割による変換である場合に、少なくとも１つのサブバンドに対し、前記量子化係数を他のサブバントとロケーションが異なるような係数グループに分類することを特徴とする。
【００１１】
本発明にかかる画像符号化方法は、
周波数領域に変換された画像データの係数を符号化する画像符号化方法であって、
同一種類の係数のうちの少なくとも１種類を２つ以上の係数グループに分類する係数分類工程と、
前記画像データの係数を、前記係数分類工程で分類された係数グループの種類ごとに配列する係数配列工程と、
前記係数配列工程で配列された係数を符号化する係数符号化工程と、
前記係数符号化工程により生成された符号から、該符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する符号破棄工程と、を有し、
前記係数分類工程は、
前記変換がサブバンド分割による変換である場合に、少なくとも１つのサブバンドに対し、前記係数を他のサブバントとロケーションが異なるような係数グループに分類することを特徴とする。
【００１２】
本発明にかかる画像符号化方法は、
周波数領域に変換された画像データの係数を符号化する画像符号化方法であって、
前記画像データの係数を量子化する係数量子化工程と、
前記係数量子化工程で量子化された係数である量子化係数に対し、同一種類の量子化係数のうちの少なくとも１種類を２つ以上の係数グループに分類する係数分類工程と、
前記量子化係数を、前記係数分類工程で分類された係数グループの種類ごとに配列する係数配列工程と、
前記係数配列工程で配列された量子化係数を符号化する係数符号化工程と、
前記係数符号化工程により生成された符号から、該符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する符号破棄工程と、を有し、
前記係数分類工程は、
前記変換がサブバンド分割による変換である場合に、少なくとも１つのサブバンドに対し、前記量子化係数を他のサブバントとロケーションが異なるような係数グループに分類することを特徴とする。
【００１３】
本発明にかかるプログラムは、
上記記載の画像符号化方法をコンピュータに実行させるためのプログラムであることを特徴とする。
【００１４】
本発明にかかる記録媒体は、
上記記載のプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【００３９】
【発明の実施の形態】
本発明は、量子化と符号化を繰り返すことなく、レートコントロールを簡易に行うために、周波数領域に変換された画像データの係数を符号化する際、係数を重要度順に画質への影響を考慮しながら分類し、その分類毎に符号化し、符号化後に重要でない係数を捨てることが可能な構成としている。その概要としてウェーブレット符号化に代表されるサブバンド符号化を例に説明すると、重要度の低いサブバンドの係数からまるごと捨てていくのではなく、例えば、１ＨＬ，１ＬＨ，１ＨＨをそれぞれ奇数行と偶数行に分類し、並べ方を、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬの奇数行，１ＬＨの奇数行，１ＨＨの奇数行，１ＨＬの偶数行，１ＬＨの偶数行，１ＨＨの偶数行とし、レートコントロールを行うほうが、重要度の低いサブバンドから順にまるごと捨てていくよりも画質への影響が少ない。
【００４０】
図１は、本発明の一実施形態に係る画像符号化装置の構成を説明するための図である。
本実施形態の画像符号化装置１０は、周波数領域に変換された画像データの係数を符号化する画像符号化装置であり、係数分類手段１１，係数配列手段１２，係数符号化手段１３を備えるものとする。
【００４１】
係数分類手段１１では、同一種類の係数のうちの少なくとも１種類を２つ以上の係数グループに分類する。係数グループへの分類例は後述する。係数配列手段１２では、画像データの係数を、係数分類手段１１で分類された係数グループの種類（分類の種類）ごとに配列する。係数符号化手段１３では、係数配列手段１２で配列された係数を符号化する。重要度の低い係数を多く捨てるような係数グループに分類するようにすればよい。本実施形態によれば、係数をうまく並べることによって、レートコントロールを簡易にすることが可能となる。
【００４２】
本発明の他の実施形態として、上述の実施形態において係数量子化手段を備えてもよい。ただし、本実施形態における係数量子化手段は、図１の係数分類手段１１の前段に設けられるべき手段であり、周波数領域に変換された画像データの係数を量子化する。そして、係数分類手段１１により、係数量子化手段で量子化された係数である量子化係数に対し、同一種類の量子化係数のうちの少なくとも１種類を２つ以上の係数グループに分類する。係数配列手段１２において、量子化係数を、係数分類手段１１で分類された係数グループの種類ごとに配列し、係数符号化手段１３において、係数配列手段１２で配列された量子化係数を符号化する。本実施形態によれば、画像データを最初に一度適度に量子化しておくことで、トランケート時に大幅な画質劣化を抑えつつ、圧縮率を稼ぐことが可能となる。
【００４３】
図２は、本発明の他の実施形態に係る画像符号化装置の構成を説明するための図である。
本実施形態に係る画像符号化装置は、図１で説明した画像符号化装置１０において、さらに符号破棄手段１４を備えたものとする。符号破棄手段１４では、係数符号化手段１３により生成された符号から、その符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する。本実施形態によれば、係数をうまく並べ、分類グループ単位で破棄することによって、レートコントロールをより簡易にすることが可能となる。
【００４４】
本発明の他の実施形態として、画像符号化装置における変換はサブバンド分割による変換であるものとしてもよい。さらに、係数分類手段１１は、各サブバンドに対し、係数を該係数のロケーションに応じて係数グループに分類する。なお、本明細書中、ロケーションとは、実際の画像の空間位置に対応した係数の空間位置を指すものとする。本実施形態によれば、サブバンドごとに、かつロケーションごとの係数グループすることで、レートコントロールを簡易にすることが可能となる。
【００４５】
図３は、本発明の他の実施形態に係る画像符号化装置における処理を説明するための図で、図３（Ａ）はサブバンド分割後に分類した係数グループの一例を説明するための図、図３（Ｂ）はその係数グループに基づき係数を配列した様子を示す図である。図４は、図３の処理を説明するためのフロー図である。
本発明の他の実施形態として、係数分類手段１１は、すべてのサブバンドに対し、係数をロケーションが同じになるような係数グループに分類してもよく、すべてのサブバンドにおいて位置を同じにすることで、レートコントロールを簡易にすることが可能となる。図３及び図４はその例を示している。
【００４６】
この例では、画像データを３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの３つのサブバンドに分割し、サブバンド分割データ３０を作成する（ステップＳ１）。次に、最外周である１ＨＬ，１ＬＨ，１ＨＨをそれぞれ同じロケーションをもつ奇数列と偶数列の係数グループに分類する（ステップＳ２）。この分類の結果、１ＨＬ係数は奇数列３１及び偶数列３１′に、１ＬＨ係数は奇数列３２及び偶数列３２′に、１ＨＨ係数は奇数列３３及び偶数列３３′に、それぞれ分類されたこととなる。すなわち、分割データ３０が、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ奇数列３１，１ＬＨ奇数列３２，１ＨＨ奇数列３３からなる係数グループと、その他の係数３１′，３２′，３３′からなる係数グループに分類されたともいえる。画像データの係数（図２の実施形態を適用する場合には量子化係数であるが、以下この説明は省略する）を、この分類された係数グループの種類ごとに配列する（ステップＳ３）ことにより、図３（Ｂ）の係数配列（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ奇数列３１，１ＬＨ奇数列３２，１ＨＨ奇数列３３，１ＨＬ偶数列３１′，１ＬＨ偶数列３２′，１ＨＨ偶数列３３′の順）となる。これを全画像に対して行い（ステップＳ４）、処理を終了する。この画像データの係数を符号化して転送すればよい。重要度が最も低い最外周のサブバンド内を分類する際、それぞれのロケーションを列ごとまたは行ごとで同じに分類し、重要度順に並べることで、重要度の低いグループの係数から順に捨てることができるため、レートコントロールを簡易にすることができる。
【００４７】
図５は、本発明の他の実施形態に係る画像符号化装置における処理を説明するための図で、図５（Ａ）はサブバンド分割後に分類した係数グループの一例を説明するための図、図５（Ｂ）はその係数グループに基づき係数を配列した様子を示す図である。図６は、図５の処理を説明するためのフロー図である。
本発明の他の実施形態として、係数分類手段１１は、少なくとも１つのサブバンドに対し、係数を他のサブバントとロケーションが異なるような係数グループに分類するようにしてもよい。本実施形態によれば、すべてのサブバンドにおいて同じにするよりも、画質を保ち易くすることが可能となる。
【００４８】
この例では、画像データを３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの３つのサブバンドに分割し、サブバンド分割データ４０を作成する（ステップＳ１１）。次に、最外周である１ＨＬ，１ＨＨをそれぞれ奇数行と偶数行の係数グループに分類し、１ＬＨをロケーションの異なる奇数列と偶数列の係数グループに分類する（ステップＳ１２）。この分類の結果、１ＨＬ係数は奇数行４１及び偶数行４１′に、１ＬＨ係数は奇数列４２及び偶数列４２′に、１ＨＨ係数は奇数行４３及び偶数行４３′に、それぞれ分類されたこととなる。すなわち、分割データ４０が、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ奇数行４１，１ＬＨ奇数列４２，１ＨＨ奇数行４３からなる係数グループと、その他の係数４１′，４２′，４３′からなる係数グループに分類されたともいえる。画像データの係数を、この分類された係数グループの種類ごとに配列する（ステップＳ１３）ことにより、図５（Ｂ）の係数配列（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ奇数行４１，１ＬＨ奇数列４２，１ＨＨ奇数行４３，１ＨＬ偶数行４１′，１ＬＨ偶数列４２′，１ＨＨ偶数行４３′の順）となる。これを全画像に対して行い（ステップＳ１４）、処理を終了する。この画像データの係数を符号化して転送すればよい。
【００４９】
図７は、本発明の他の実施形態に係る画像符号化装置における処理を説明するための図で、図７（Ａ）はサブバンド分割後に分類した係数グループの一例を説明するための図、図７（Ｂ）はその係数グループに基づき係数を配列した様子を示す図である。図８は、図７の処理を説明するためのフロー図である。
本発明の他の実施形態として、係数分類手段１１は、水平方向ごと，垂直方向ごと，市松模様のいずれか１のロケーションに基づいて分類するようにしてもよい。図７及び図８では、水平・垂直方向ごとのロケーションは既に説明しており、市松模様のロケーションに基づいた分類を代表として説明する。本実施形態によれば、係数を簡易に並べつつ、画質を保ち易くすることが可能となる。なお、図５で説明したように全てのサブバンドで同じロケーションをとらないようにする場合には、いずれか１のサブバンドに対し、水平方向ごと，垂直方向ごと，市松模様のいずれか１のロケーションに基づいて分類するしてもよい。本実施形態によれば、すべてのサブバンドにおいて同じにするよりも、画質の良い時を多くすることが可能となる。
【００５０】
この例では、画像データを３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの３つのサブバンドに分割し、サブバンド分割データ５０を作成する（ステップＳ２１）。次に、最外周である１ＨＬ，１ＬＨ，１ＨＨをそれぞれ同じロケーションをもつ市松模様の黒部分と白部分に対応する係数グループに分類する（ステップＳ２２）。この分類の結果、１ＨＬ係数は白５１及び黒５１′に、１ＬＨ係数は白５２及び黒５２′に、１ＨＨ係数は白３及び黒３′に、それぞれ分類されたこととなる。すなわち、分割データ５０が、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬの白（図では１ＨＬａと表記）５１，１ＬＨの白（図では１ＬＨａと表記）５２，１ＨＨの白（図では１ＨＨａと表記）５３からなる係数グループと、その他の係数１ＨＬの黒（１ＨＬｂで表記）５１′，１ＨＬの黒（１ＬＨｂで表記）５２′，１ＨＨの黒（１ＨＨｂで表記）５３′からなる係数グループに分類されたともいえる。画像データの係数（図２の実施形態を適用する場合には量子化係数であるが、以下この説明は省略する）を、この分類された係数グループの種類ごとに配列する（ステップＳ２３）ことにより、図７（Ｂ）の係数配列（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬａ５１，１ＬＨａ５２，１ＨＨａ５３，１ＨＬｂ５１′，１ＨＬｂ５２′，１ＨＨｂ５３′の順）となる。これを全画像に対して行い（ステップＳ２４）、処理を終了する。この画像データの係数を符号化して転送すればよい。
【００５１】
図９は、本発明の他の実施形態に係る画像符号化装置における処理を説明するための図で、図９（Ａ）はサブバンド分割後に分類した係数グループの一例を説明するための図、図９（Ｂ）はその係数グループに基づき係数を配列した様子を示す図である。図１０は、図９の処理を説明するためのフロー図である。
本発明の他の実施形態として、変換がサブバンド分割による変換であり、前記係数分類手段１１が、係数グループに含まれる係数の個数の比率がサブバンドごとに異なるように係数を分類するようにしてもよい。本実施形態によれば、サブバンドごとに比率を異ならせることで、レートコントロールを簡易にしつつ、画質を保つことが可能となる。比率としては、ＨＨ係数に比べ、ＨＬ係数，ＬＨ係数の方が小さいようにすることで、レートコントロールを簡易にしつつ、または圧縮率を上げつつ、画質を保つことが可能となる。
【００５２】
この例では、画像データを３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの３つのサブバンドに分割し、サブバンド分割データ６０を作成する（ステップＳ３１）。次に、最外周である１ＨＬを奇数行と偶数行の係数グループに、同じく最外周である１ＬＨを奇数列と偶数列の係数グループに、それぞれ分類する（ステップＳ３２）。この分類の結果、１ＨＬ係数は奇数行６１及び偶数行６１′に、１ＬＨ係数は奇数列６２及び偶数列６２′に、それぞれ分類されたこととなる。すなわち、分割データ４０が、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ奇数行６１，１ＬＨ奇数列６２からなる係数グループと、その他の係数６１′，６２′，６３′からなる係数グループに分類されたともいえる。なお、この例では比率を異ならせる係数を１ＨＨとしており、１ＨＨ６３′は結果的に破棄されるグループのみとなる。画像データの係数を、この分類された係数グループの種類ごとに配列する（ステップＳ３３）ことにより、図９（Ｂ）の係数配列（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ奇数行６１，１ＬＨ奇数列６２，１ＨＬ偶数行６１′，１ＬＨ偶数列６２′，１ＨＨ６３′の順）となる。これを全画像に対して行い（ステップＳ３４）、処理を終了する。この画像データの係数を符号化して転送すればよい。一般にＬＨ，ＨＬよりもＨＨは画質に影響しにくいことが知られており、係数の分類を最外周のサブバンド間で異なる量とすることによって、よりレートコントロールを簡易にしつつ、画質を保つことができる。
【００５３】
図１１は、本発明の他の実施形態に係る画像符号化装置における処理を説明するための図で、図１１（Ａ）はサブバンド分割後に分類した係数グループの一例を説明するための図、図１１（Ｂ）はその係数グループに基づき係数を配列した様子を示す図である。図１２は、図１１の処理を説明するためのフロー図である。
本発明の他の実施形態として、変換がサブバンド分割による変換であり、係数分類手段１１が、係数を各レゾリューションレベルに対し、異なる該係数のロケーションに応じて係数グループに分類するようにしてもよい。ここで、レゾリューションレベルとは、サブバンド分割を行った場合の解像度レベルである。例えば３回のサブバンド分割を行った場合、レゾリューションレベル０は３ＬＬ、レゾリューションレベル１は３ＨＬ，３ＬＨ，３ＨＨ，レゾリューションレベル２は２ＨＬ，２ＬＨ，２ＨＨ，レゾリューションレベル３は１ＨＬ，１ＬＨ，１ＨＨと定義される。本実施形態によれば、レゾリューションごとに位置を異ならせることで、同じときよりも画質を良くすることが可能となる。これは、レゾリューションレベルによって解像度が変わってくるためである。
【００５４】
この例では、画像データを３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの３つのサブバンドに分割し、サブバンド分割データ７０を作成する（ステップＳ４１）。次に、最外周である１ＨＬ，１ＬＨ，１ＨＨを奇数列と偶数列の係数グループに、最外周に続く外周である２ＨＬ，２ＬＨ，２ＨＨを奇数行と偶数行の係数グループに、それぞれ分類する（ステップＳ４２）。この分類の結果、２ＨＬ係数は奇数行７１′及び偶数行７１に、２ＬＨ係数は奇数行７２′及び偶数行７２に、２ＨＨ係数は奇数行７３′及び偶数行７３に、１ＨＬ係数は奇数列７４′及び偶数列７４′に、１ＬＨ係数は奇数列７５′及び偶数列７５に、１ＨＨ係数は奇数列７６′及び偶数列７６に、それぞれ分類されたこととなる。すなわち、分割データ７０が、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ偶数行７１，２ＬＨ偶数行７２，２ＨＨ偶数行７３，１ＨＬ偶数列７４，１ＬＨ偶数列７５，１ＨＨ偶数列７６からなる係数グループと、その他の係数７１′，７２′，７３′，７４′，７５′，７６′からなる係数グループに分類されたともいえる。画像データの係数を、この分類された係数グループの種類ごとに配列する（ステップＳ４３）ことにより、図１１（Ｂ）の係数配列（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ偶数行７１，２ＬＨ偶数行７２，２ＨＨ偶数行７３，１ＨＬ偶数列７４，１ＬＨ偶数列７５，１ＨＨ偶数列７６，２ＨＬ奇数行７１′，２ＬＨ奇数行７２′，２ＨＨ奇数行７３′，１ＨＬ奇数列７４′，１ＬＨ奇数列７５′，１ＨＨ奇数列７６′の順）となる。これを全画像に対して行い（ステップＳ４４）、処理を終了する。この画像データの係数を符号化して転送すればよい。
【００５５】
本発明の他の実施形態として、変換がサブバンド分割による変換であり、係数分類手段１１が、係数グループに含まれる係数の個数の比率がレゾリューションごとに異なるように係数を分類するようにしてもよい。本実施形態によれば、レゾリューションごとに量を異ならせることで、レートコントロールを簡易にしつつ、画質を保つことが可能となる。比率としては、レゾリューションレベルが高くなる程、多くなるようにすることで、すなわち重要度の低い係数を多く捨てるような係数グループに分類することで、よりレートコントロールを簡易にしつつ、圧縮率を上げつつ、画質を保つことが可能となる。
【００５６】
本発明の他の実施形態として、係数分類手段１１が、係数を各コンポーネントに対し、異なる該係数のロケーションに応じて係数グループに分類するようにしてもよい。すなわち、コンポーネントごとにかつロケーションごとのグループに分類し、それらロケーションを異ならせる。本実施形態によれば、コンポーネントごとに位置を異ならせることで、同じときよりも画質を良くすることが可能となる。また、色差Ｃｂ成分と色差Ｃｒ成分との間で、後に破棄する係数のロケーションを異ならせるよう係数を分類してもよい。本実施形態によれば、位置が同じときよりも画質を良くすることが可能となる。
【００５７】
ここで、コンポーネントとは明度信号と色差信号のことであり、ＲＧＢデータからの変換方法には、例えば、ＪＰＥＧで広く使用されている以下の色変換が知られている。
輝度Ｙ成分＝０．２９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
色差Ｃｒ成分＝ − ０．１６８７Ｒ − ０．３３１３Ｇ＋０．５Ｂ
色差Ｃｂ成分＝０．５Ｒ − ０．４１８７Ｇ − ０．０１８１３Ｂ
【００５８】
さらに、ＪＰＥＧ２０００の可逆モードで使用される以下の色変換も知られている。
輝度Ｙ成分＝０．２５Ｒ＋０．５Ｇ＋０．２５Ｂ
色差Ｕ成分＝Ｒ − Ｇ
色差Ｖ成分＝Ｂ − Ｇ
【００５９】
また、他の実施形態として、係数分類手段１１が、係数グループに含まれる係数の個数の比率がコンポーネントごとに異なるように係数を分類するようにしてもよい。本実施形態によれば、コンポーネントごとに量を異ならせることで、レートコントロールを簡易にしつつ、画質を保つことが可能となる。さらに、コンポーネントは、輝度Ｙ成分，色差Ｃｂ成分，色差Ｃｒ成分、又は、輝度Ｙ成分，色差Ｖ成分，色差Ｕ成分の組み合わせからなり、比率としては、輝度Ｙ成分に比べ、他の２成分の方が大きいようにしてもよい。本実施形態によれば、それぞれの成分特性に合わせて、量を異ならせることで、レートコントロールを簡易にしつつ、または圧縮率を上げつつ、画質を保つことが可能となる。これは、人間の目がＹＣｂＣｒ成分については輝度Ｙ成分のほうが色差Ｃｂ，Ｃｒ成分よりも敏感であり、また、ＹＵＶ成分については輝度Ｙ成分のほうが色差Ｖ成分，色差Ｕ成分より敏感である。
【００６０】
以上、本発明の実施形態として、係数配列手段をもち、係数を配列後、符号化し、その後で重要度の低い係数を多く捨てるような係数グループを破棄することが可能な画像符号化装置を中心に説明してきたが、本発明は、次に説明する間引き処理にも関わる。ここでは、画像を圧縮する際、簡易な方法として、周波数領域に変換された画像データの係数を間引く。
【００６１】
図１３は、本発明の他の実施形態に係る画像符号化装置の構成を説明するための図である。
本実施形態の画像符号化装置８０は、周波数領域に変換された画像データの係数を符号化する画像符号化装置であり、係数間引手段８１，係数符号化手段８２を備えるものとする。係数間引き手段８１では、周波数領域に変換された画像データの係数に対し、間引き処理を施す。係数符号化手段８２では、係数間引き手段８１で間引き処理を施された後の画像データの係数を符号化する。なお、係数間引き手段８１において、実際には上述した各実施形態における係数分類手段で係数グループに分類する処理に類似した抽出する処理が必要となる。間引きのロケーションや間引きの量（比率）をレゾリューション間やコンポーネント間で変化させることで、画質を保ちつつ、圧縮率を上げることが可能になる。
【００６２】
まず、取り扱う係数が、サブバンド分割により周波数領域に変換された画像データの係数である場合に関し、説明する。
図１４は、本発明の他の実施形態に係る画像符号化装置における間引き処理を説明するためのフロー図である。
係数間引き手段８１において、サブバンドごとに間引く係数の個数の比率が異なるよう係数を間引くようにしてもよい。本実施形態によれば、サブバンドごとに間引く量を異ならせることで、圧縮率を上げつつ画質を保つことをが可能となる。比率としては、ＨＨ係数に比べ、ＨＬ係数，ＬＨ係数の方が小さいようにすることにより、ＨＨを多くすることで、レートコントロールを簡易にしつつ、または圧縮率を上げつつ、画質を保つことが可能となる。
【００６３】
ここでは、３回のサブバンド分割を行い、レゾリューションレベル３のみを間引くとする。図９も併せて参照して説明すると、この例では、画像データを３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの３つのサブバンドに分割し、サブバンド分割データ６０を作成する（ステップＳ５１）。次に、最外周である１ＨＬの偶数行の係数グループ、同じく最外周である１ＬＨの偶数列の係数グループ、同じく最外周である１ＨＨの係数すべての部分、のそれぞれを間引く（ステップＳ５２）。この間引き処理の結果、分割データ６０が、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ奇数行６１，１ＬＨ奇数列６２のみの配列となったことになる。図示しないが、図９（Ｂ）の配列において、後ろ３つの係数グループ６１′，６２′，６３′がない状態の配列となる。これを全画像に対して行い（ステップＳ５３）、処理を終了する。この画像データの係数を符号化して転送すればよい。一般にＬＨ，ＨＬよりもＨＨは画質に影響しにくいことが知られており、係数の分類を最外周のサブバンド間で異なる量とすることによって、よりレートコントロールを簡易にしつつ、画質を保つことができる。
【００６４】
図１５は、本発明の他の実施形態に係る画像符号化装置における間引き処理を説明するためのフロー図である。
本発明の他の実施形態では、係数間引き手段８１において、レゾリューションごとに間引く係数のロケーションが異なるよう係数を間引くようにしてもよい。本実施形態によれば、レゾリューションごとに間引く位置を異ならせることで、より画質を保つことが可能となる。また、係数間引き手段８１において、レゾリューションごとに間引く係数の個数の比率（ここでは個数でよい）が異なるよう係数を間引くようにしてもよい。本実施形態によれば、レゾリューションごとに間引く量を異ならせることで、圧縮率をあげつつ画質を保つことが可能となる。
比率としては、レゾリューションレベルが高くなる程、多くなるようにしてもよい。
【００６５】
ここでは、３回のサブバンド分割を行い、レゾリューションレベル１と２のものを間引くとする。図１１も併せて参照して説明すると、この例では、画像データを３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの３つのサブバンドに分割し、サブバンド分割データ７０を作成する（ステップＳ６１）。次に、最外周である１ＨＬ，１ＬＨ，１ＨＨのそれぞれの奇数列と、２ＨＬ，２ＬＨ，２ＨＨのそれぞれの奇数行とを間引く（ステップＳ６２）。この間引き処理の結果、分割データ７０が、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ偶数行７１，２ＬＨ偶数行７２，２ＨＨ偶数行７３，１ＨＬ偶数列７４，１ＬＨ偶数列７５，１ＨＨ偶数列７６のみの配列となったことになる。図示しないが、図１１（Ｂ）の配列において、後ろ３つの係数グループ７１′，７２′，７３′，７４′，７５′，７６′がない状態の配列となる。これを全画像に対して行い（ステップＳ６３）、処理を終了する。この画像データの係数を符号化して転送すればよい。
【００６６】
なお、図１３の画像符号化装置８０における間引き処理の例として図９，図１１を再度参照して説明したように、図３，図５，図７を再度参照することで同様の説明が可能となる。
【００６７】
本発明の他の実施形態として、係数間引手段８１において、コンポーネントごとに間引く係数のロケーションが異なるよう係数を間引くようにしてもよい。本実施形態によれば、コンポーネントごとに間引く位置を異ならせることで、同じときよりも画質を保つことが可能となる。また、係数間引手段８１において、コンポーネントごとに間引く係数の個数の比率が異なるよう係数を間引くようにしてもよく、圧縮率をあげつつ画質を保つことが可能となる。さらに、係数間引き手段８１において、色差Ｃｂ成分と色差Ｃｒ成分との間で、間引く係数のロケーションを異ならせるよう係数を間引くようにすることにより、位置が同じときよりも画質を良くすることが可能となる。
【００６８】
他の実施形態として、コンポーネントは、輝度Ｙ成分，色差Ｃｂ成分，色差Ｃｒ成分、又は、輝度Ｙ成分，色差Ｖ成分，色差Ｕ成分の組み合わせからなるものとし、比率としては、輝度Ｙ成分に比べ、他の２成分の方が大きいようにしてもよい。本実施形態によれば、それぞれの成分特性に合わせて、量を異ならせることで、レートコントロールを簡易にしつつ、または圧縮率を上げつつ、画質を保つことが可能となる。上述したように、人間の目がＹＣｂＣｒ成分，ＹＵＶ成分について輝度Ｙ成分の方が他の成分より敏感である。
【００６９】
以上、本発明に係る画像符号化装置に関し、説明してきたが、本発明は、上述した各実施形態に係る画像符号化装置によって符号化された符号を、復号化する手段を有する画像復号化装置としても形態も挙げられる。伸長する際に、例えば破棄或いは間引きされた部分に０を埋めて行えばよい。特に、図１で説明したような係数破棄手段がない画像符号化装置１０に対し、その画像符号化装置１０で符号化された符号から、その符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する符号破棄手段２１を設け、破棄後の符号を符号復号化手段２２で復号するような画像復号化装置２０とすればよい。
【００７０】
ここで上述した各実施形態に適用可能な装置の構成を説明する。
図１６は、本発明に係る画像符号化・復号化装置の構成例を示す図である。
ここで説明する画像符号化・復号化装置は、データバス９３を介して、ＰＣ内のＲＡＭ９１，ＰＣ内のＣＰＵ９２，ＨＤＤ９４，プリンタ９５が接続された構成となっている。オリジナル画像のプリントアウトに際し、画像の圧縮がなされ、圧縮後のデータがプリンタ９５に送信される。プリンタ９５への送信データ量が低減されるため、送信時間が短縮され、圧縮・伸張に要する時間を加味しても、高速なプリントが可能になる。
【００７１】
ＨＤＤ９４上に記録されたオリジナル画像は、ＣＰＵ９２からの命令によってＲＡＭ９１上に読み込まれる（i）。次に、圧縮ステップとして、ＣＰＵ９２は、ＲＡＭ９１上の画像を読み込み圧縮を行う（ii）。ＣＰＵ９２は、圧縮後のデータをＲＡＭ９１上の別の領域に書き込む（iii）。ＣＰＵ９２からの命令によって、圧縮後のデータがプリンタ９５内のＲＡＭ９７上に記録される（iv）。伸張ステップとして、プリンタ９５内のＣＰＵ９６は、圧縮後のデータを読み込み、復号値を得て、画像の伸張を行う（v）。ＣＰＵ９６は、伸張後のデータをＲＡＭ９７上に書き込む（vi）。その後プリンタ９５は、伸張されたデータを所定の手順［変倍がかかる］でプリントアウトする。
【００７２】
以上、本発明の画像符号化装置及び画像復号化装置を中心に各実施形態を説明してきたが、本発明は、それら装置における処理の手順を実行する画像符号化方法や画像復号化方法としての形態も採りうる。その一例のみを説明するが上述した各実施形態の画像符号化（復号化）装置における処理を実行する方法のすべてが形態として採りうる。
【００７３】
ここで説明する画像符号化方法は、周波数領域に変換された画像データの係数を符号化する方法であって、同一種類の係数又は同一種類の量子化された係数のうちの少なくとも１種類を２つ以上の係数グループに分類し、画像データの係数を、分類された係数グループの種類ごとに配列し、配列された係数を符号化し、生成された符号から、その符号の量が所定以下となるように、少なくとも１つの係数グループに対応する符号を破棄する。係数をうまく並べ、分類単位で破棄することによって、レートコントロールをより簡易にできる。
【００７４】
また、他の画像符号化方法として、サブバンド分割により周波数領域に変換された画像データの係数に対し、レゾリューションごとに間引く係数の個数の比率が異なるよう間引き処理を施し、間引き処理を施された後の画像データの係数を符号化するようにしてもよい。レゾリューションごとに間引く量を異ならせることで、圧縮率をあげつつ画質を保つことが可能となる。
【００７５】
さらに、他の画像符号化方法としては、周波数領域に変換された画像データの係数に対し、コンポーネントごとに間引く係数の個数の比率が異なるよう間引き処理を施し、間引き処理を施された後の画像データの係数を符号化するようにしてもよい。コンポーネントごとに間引く量を異ならせることで、圧縮率をあげつつ画質を保つことが可能となる。
また、これらの画像符号化方法で符号化され、生成された符号を復号化する画像復号化方法としての形態も採りうる。
【００７６】
以上、本発明の画像符号化装置及び画像復号化装置及びそれら方法を中心に各実施形態を説明してきたが、コンピュータをそれら装置として又はそれらの装置の各手段として機能させるための、或いはコンピュータにそれら方法を実行させるためのプログラム（それらの処理内容が実装されているコンピュータプログラム）としても、或いは、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（それらの処理内容が記録されているコンピュータ読み取り可能な情報記録媒体）としての形態も可能である。このプログラムにより、上述の各実施形態に対応した処理によって、レートコントロールを簡易にする、または圧縮率を上げることが可能なシステムを提供することが可能となる。また、この記録媒体により、上述の各実施形態に対応した構成で、レートコントロールを簡易にする、または圧縮率を上げることが可能なシステムを提供することが可能となる。
【００７７】
本発明による画像符号化・復号化の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態を説明する。記録媒体としては、具体的には、ＣＤ−ＲＯＭ、光磁気ディスク、ＤＶＤ−ＲＯＭ、ＦＤ、フラッシュメモリ、及びその他各種ＲＯＭやＲＡＭ等が想定でき、これら記録媒体に上述した本発明の各実施形態に係る機能をコンピュータに実行させ、画像符号化・復号化の機能を実現するためのプログラムを記録して流通させることにより、当該機能の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出すか、若しくは情報処理装置が備えている記憶媒体に当該プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に関わる画像符号化・復号化の機能を実行することができる。
【００７８】
【発明の効果】
本発明によれば、量子化と符号化を繰り返すことなく、また、画質への影響を最小限に抑えながらレートコントロールを簡易に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像符号化装置の構成を説明するための図である。
【図２】本発明の他の実施形態に係る画像符号化装置の構成を説明するための図である。
【図３】本発明の他の実施形態に係る画像符号化装置における処理を説明するための図である。
【図４】図３の処理を説明するためのフロー図である。
【図５】本発明の他の実施形態に係る画像符号化装置における処理を説明するための図である。
【図６】図５の処理を説明するためのフロー図である。
【図７】本発明の他の実施形態に係る画像符号化装置における処理を説明するための図である。
【図８】図７の処理を説明するためのフロー図である。
【図９】本発明の他の実施形態に係る画像符号化装置における処理を説明するための図である。
【図１０】図９の処理を説明するためのフロー図である。
【図１１】本発明の他の実施形態に係る画像符号化装置における処理を説明するための図である。
【図１２】図１１の処理を説明するためのフロー図である。
【図１３】本発明の他の実施形態に係る画像符号化装置の構成を説明するための図である。
【図１４】本発明の他の実施形態に係る画像符号化装置における間引き処理を説明するためのフロー図である。
【図１５】本発明の他の実施形態に係る画像符号化装置における間引き処理を説明するためのフロー図である。
【図１６】本発明に係る画像符号化・復号化装置の構成例を示す図である。
【図１７】サブバンドを説明するための図である。
【符号の説明】
１０，１０′，８０…画像符号化装置、１１…係数分類手段、１２…係数配列手段、１３，８２…係数符号化手段、１４，２１…符号破棄手段、２０…画像復号化装置、２２…符号復号化手段。[0001]
BACKGROUND OF THE INVENTION
  The present inventionImage encoding apparatus, image encoding method, program, and recording mediumMore specifically, rate control is performed by coefficient thinning, which can be applied to application programs, device drivers such as printer drivers, and other devices that handle images.Image encoding apparatus, image encoding method, program, and recording mediumAbout.
[0002]
[Prior art]
In general, an image is encoded by a procedure of color conversion → conversion to a frequency domain coefficient → coefficient quantization → entropy encoding. However, when the same quantization is performed on various images, there arises a problem that the compression rate is not constant for each image. For this reason, it is necessary to maintain a certain compression rate when guaranteeing the number of sheets for the memory of the digital camera or storing a certain moving image in a storage medium having a certain storage capacity such as a DVD. In order to maintain a constant compression rate, it is necessary to perform so-called rate control in which the encoded code amount is adjusted to a predetermined size.
[0003]
Conventionally, in JPEG quantization, rate control is performed by changing the denominator of the quantization many times until the code amount reaches a predetermined size. As a result, there is a problem that quantization and encoding must be repeated when performing rate control.
[0004]
Therefore, for example, it is conceivable to classify the coefficients in order of importance, encode each class, and discard the unimportant coefficients after encoding. With such a configuration, rate control can be easily performed without repeating quantization and encoding.
[0005]
However, the above classification needs to be performed in consideration of the influence on the image quality. Subband coding typified by wavelet coding transforms an image into subbands for each frequency. However, since the frequency and image quality are closely related, the use of subbands and other factors should be considered in classification. This is one method.
[0006]
FIG. 17 is a diagram for explaining subbands. FIG. 17A shows coefficients obtained by three subband divisions, and FIG. 17B shows a code stream thereof. For example, when the sub-band division is performed three times, the sub-bands are 3LL, 3LH, 3HL, 3HH, 2LH, 2HL, 2HH, 1LH obtained by the respective divisions as shown in FIG. 1HL, 1HH. When subband division is performed three times, 3LL, 3LH, 3HL, 3HH, 2LH, 2HL, 2HH, 1LH, 1HL, and 1HH are grouped in the same group, and in order of importance (3LL, 3LH, 3HL, 3HH, 2LH, 2HL, 2HH, 1LH, 1HL, 1HH) and sequentially encoding. When rate control is performed, there may be a method of discarding the entire subband coefficients from the least important (in the last column) in order.
[0007]
Japanese Patent Application Laid-Open No. 2000-323992 describes an image data processing apparatus and an image data processing method that divide image data by wavelet transform and thin out the divided subbands in the horizontal or vertical direction. However, there is a problem that this thinning cannot be dealt with depending on each case, such as increasing the compression rate or improving the image quality.
[0008]
[Problems to be solved by the invention]
  The present invention has been made in view of the actual situation as described above, and it is possible to easily perform rate control without repeating the quantization and encoding and minimizing the influence on the image quality.Image encoding apparatus, image encoding method, program, and recording mediumThe purpose is to provide.
[0009]
  In order to achieve this object, the present invention has the following features.
An image encoding apparatus according to the present invention includes:
An image encoding device that encodes coefficients of image data converted into a frequency domain,
Coefficient classifying means for classifying at least one of the same type of coefficients into two or more coefficient groups;
Coefficient arrangement means for arranging the coefficients of the image data for each type of coefficient group classified by the coefficient classification means;
Coefficient encoding means for encoding the coefficients arranged by the coefficient arrangement means;
Code discarding means for discarding a code corresponding to at least one coefficient group from the code generated by the coefficient encoding means so that the amount of the code is equal to or less than a predetermined value;
The coefficient classification means includes
When the transform is a transform by subband division, the coefficients are classified into coefficient groups having different locations from other subbands for at least one subband.
[0010]
An image encoding apparatus according to the present invention includes:
An image encoding device that encodes coefficients of image data converted into a frequency domain,
Coefficient quantization means for quantizing the coefficient of the image data;
Coefficient classifying means for classifying at least one of the same type of quantized coefficients into two or more coefficient groups for the quantized coefficient that is quantized by the coefficient quantizing means;
Coefficient arrangement means for arranging the quantized coefficients for each type of coefficient group classified by the coefficient classification means;
Coefficient encoding means for encoding the quantized coefficients arranged by the coefficient arrangement means;
Code discarding means for discarding a code corresponding to at least one coefficient group from the code generated by the coefficient encoding means so that the amount of the code is equal to or less than a predetermined value;
The coefficient classification means includes
When the transform is a transform by subband division, the quantized coefficients are classified into coefficient groups having different locations from other subbands for at least one subband.
[0011]
  An image encoding method according to the present invention includes:
An image encoding method for encoding a coefficient of image data converted into a frequency domain,
A coefficient classification step of classifying at least one of the same type of coefficients into two or more coefficient groups;
A coefficient arrangement step of arranging the coefficients of the image data for each type of coefficient group classified in the coefficient classification step;
A coefficient encoding step for encoding the coefficients arranged in the coefficient arrangement step;
A code discarding step of discarding a code corresponding to at least one coefficient group from the code generated by the coefficient encoding step so that the amount of the code is equal to or less than a predetermined amount,
The coefficient classification step includes
When the transform is a transform by subband division, the coefficients are classified into coefficient groups having different locations from other subbands for at least one subband.
[0012]
  An image encoding method according to the present invention includes:
An image encoding method for encoding a coefficient of image data converted into a frequency domain,
A coefficient quantization step for quantizing the coefficients of the image data;
A coefficient classification step of classifying at least one of the same types of quantized coefficients into two or more coefficient groups for the quantized coefficients that are quantized in the coefficient quantization step;
A coefficient arrangement step of arranging the quantized coefficients for each type of coefficient group classified in the coefficient classification step;
A coefficient encoding step for encoding the quantized coefficients arranged in the coefficient arrangement step;
A code discarding step of discarding a code corresponding to at least one coefficient group from the code generated by the coefficient encoding step so that the amount of the code is equal to or less than a predetermined amount,
The coefficient classification step includes
When the transform is a transform by subband division, the quantized coefficients are classified into coefficient groups having different locations from other subbands for at least one subband.
[0013]
  The program according to the present invention is:
It is a program for causing a computer to execute the image coding method described above.
[0014]
  The recording medium according to the present invention is
It is a computer-readable recording medium on which the program described above is recorded.
[0039]
DETAILED DESCRIPTION OF THE INVENTION
The present invention considers the influence of the coefficients on the image quality in order of importance when encoding the coefficients of the image data converted to the frequency domain in order to easily perform rate control without repeating quantization and encoding. Classification, encoding for each classification, and discarding unimportant coefficients after encoding. As an outline, subband coding typified by wavelet coding will be described as an example. Rather than discarding all the subband coefficients of low importance, for example, 1HL, 1LH, and 1HH are odd rows and even numbers, respectively. It is classified into rows and arranged in 3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, and 1HL odd rows, 1LH odd rows, 1HH odd rows, 1HL even rows, 1LH even rows, and 1HH even rows. When the rate control is performed in a row, the influence on the image quality is less than when the entire subbands with lower importance are discarded in sequence.
[0040]
FIG. 1 is a diagram for explaining the configuration of an image encoding device according to an embodiment of the present invention.
An image encoding device 10 according to the present embodiment is an image encoding device that encodes coefficients of image data converted into a frequency domain, and includes a coefficient classification unit 11, a coefficient arrangement unit 12, and a coefficient encoding unit 13. And
[0041]
The coefficient classification means 11 classifies at least one of the same types of coefficients into two or more coefficient groups. An example of classification into coefficient groups will be described later. The coefficient arrangement unit 12 arranges the coefficients of the image data for each type of coefficient group (classification type) classified by the coefficient classification unit 11. The coefficient encoding unit 13 encodes the coefficients arranged by the coefficient arrangement unit 12. What is necessary is just to classify | categorize into the coefficient group which discards many coefficients with low importance. According to the present embodiment, it is possible to simplify rate control by arranging the coefficients well.
[0042]
As another embodiment of the present invention, coefficient quantization means may be provided in the above-described embodiment. However, the coefficient quantization means in this embodiment is a means that should be provided before the coefficient classification means 11 in FIG. 1, and quantizes the coefficients of the image data converted to the frequency domain. Then, the coefficient classifying unit 11 classifies at least one of the same type of quantized coefficients into two or more coefficient groups with respect to the quantized coefficient which is the coefficient quantized by the coefficient quantizing unit. The coefficient arrangement means 12 arranges the quantized coefficients for each type of coefficient group classified by the coefficient classification means 11, and the coefficient encoding means 13 encodes the quantized coefficients arranged by the coefficient arrangement means 12. . According to the present embodiment, by appropriately quantizing the image data once at the beginning, it is possible to increase the compression rate while suppressing a significant deterioration in image quality during truncation.
[0043]
FIG. 2 is a diagram for explaining the configuration of an image encoding device according to another embodiment of the present invention.
The image encoding apparatus according to the present embodiment is assumed to further include code discarding means 14 in the image encoding apparatus 10 described in FIG. The code discarding unit 14 discards a code corresponding to at least one coefficient group from the code generated by the coefficient encoding unit 13 so that the amount of the code is equal to or less than a predetermined value. According to the present embodiment, rate control can be simplified by arranging the coefficients well and discarding them in units of classification groups.
[0044]
As another embodiment of the present invention, the conversion in the image encoding device may be conversion by subband division. Further, the coefficient classifying unit 11 classifies the coefficients into coefficient groups according to the location of the coefficients for each subband. In this specification, the location refers to the spatial position of the coefficient corresponding to the actual spatial position of the image. According to the present embodiment, rate control can be simplified by grouping coefficients for each subband and for each location.
[0045]
FIG. 3 is a diagram for explaining processing in an image encoding device according to another embodiment of the present invention, and FIG. 3A is a diagram for explaining an example of coefficient groups classified after subband division. FIG. 3B is a diagram showing a state in which the coefficients are arranged based on the coefficient group. FIG. 4 is a flowchart for explaining the processing of FIG.
As another embodiment of the present invention, the coefficient classifying unit 11 may classify the coefficients into coefficient groups having the same location for all subbands, and the positions are the same in all subbands. This makes it possible to simplify rate control. 3 and 4 show examples thereof.
[0046]
In this example, the image data is divided into three subbands 3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL, 1LH, and 1HH to create subband division data 30 (step S1). Next, 1HL, 1LH, and 1HH which are the outermost circumferences are classified into coefficient groups of odd columns and even columns each having the same location (step S2). As a result of this classification, the 1HL coefficient is classified into the odd number column 31 and the even number column 31 ′, the 1LH coefficient is classified into the odd number column 32 and the even number column 32 ′, and the 1HH coefficient is classified into the odd number column 33 and the even number column 33 ′. Become. That is, the divided data 30 includes a coefficient group including 3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL odd number column 31, 1LH odd number column 32, 1HH odd number column 33, and other coefficients 31 ′, 32 ′, It can be said that it was classified into a coefficient group consisting of 33 '. By arranging the coefficients of the image data (quantized coefficients when the embodiment of FIG. 2 is applied, but not described below) for each type of the classified coefficient group (step S3). 3B, the coefficient array (3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL odd column 31, 1LH odd column 32, 1HH odd column 33, 1HL even column 31 ', 1LH even column 32' , 1HH even column 33 ′). This is performed for all images (step S4), and the process is terminated. The coefficients of the image data may be encoded and transferred. When classifying within the outermost subband with the lowest importance, each location is classified in the same way for each column or row, and arranged in order of importance. As a result, rate control can be simplified.
[0047]
FIG. 5 is a diagram for explaining processing in an image encoding device according to another embodiment of the present invention, and FIG. 5A is a diagram for explaining an example of coefficient groups classified after subband division. FIG. 5B is a diagram illustrating a state in which the coefficients are arranged based on the coefficient group. FIG. 6 is a flowchart for explaining the processing of FIG.
As another embodiment of the present invention, the coefficient classifying unit 11 may classify the coefficients into at least one subband into coefficient groups having different locations from other subbands. According to the present embodiment, it is possible to easily maintain the image quality, rather than making the same in all subbands.
[0048]
In this example, the image data is divided into three subbands 3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL, 1LH, and 1HH to create subband division data 40 (step S11). Next, the outermost 1HL and 1HH are classified into odd-numbered and even-numbered coefficient groups, respectively, and 1LH is classified into odd-numbered and even-numbered coefficient groups having different locations (step S12). As a result of this classification, 1HL coefficients are classified into odd-numbered rows 41 and even-numbered rows 41 ', 1LH coefficients are classified into odd-numbered columns 42 and even-numbered columns 42', and 1HH coefficients are classified into odd-numbered rows 43 and even-numbered rows 43 ', respectively. Become. That is, the divided data 40 includes a coefficient group including 3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL odd rows 41, 1LH odd columns 42, 1HH odd rows 43 and other coefficients 41 ', 42', It can be said that it was classified into a coefficient group consisting of 43 '. By arranging the coefficients of the image data for each type of the classified coefficient groups (step S13), the coefficient arrangement (3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL odd number) of FIG. Row 41, 1LH odd column 42, 1HH odd row 43, 1HL even row 41 ', 1LH even column 42', 1HH even row 43 '). This is performed for all images (step S14), and the process is terminated. The coefficients of the image data may be encoded and transferred.
[0049]
FIG. 7 is a diagram for explaining processing in an image encoding device according to another embodiment of the present invention, and FIG. 7A is a diagram for explaining an example of coefficient groups classified after subband division. FIG. 7B is a diagram showing a state in which the coefficients are arranged based on the coefficient group. FIG. 8 is a flowchart for explaining the processing of FIG.
As another embodiment of the present invention, the coefficient classification unit 11 may perform classification based on any one of the horizontal direction, the vertical direction, and the checkered pattern. 7 and 8, the location for each horizontal and vertical direction has already been described, and the classification based on the checkered location will be described as a representative. According to the present embodiment, it is possible to easily maintain the image quality while arranging the coefficients in a simple manner. In addition, as described with reference to FIG. 5, in the case where all the subbands do not have the same location, any one of the horizontal direction, the vertical direction, and the checkered pattern is selected for any one of the subbands. You may classify | categorize based on a location. According to the present embodiment, it is possible to increase the number of times when the image quality is good, rather than making the same in all subbands.
[0050]
In this example, the image data is divided into three subbands 3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL, 1LH, and 1HH, and subband division data 50 is created (step S21). Next, 1HL, 1LH, and 1HH which are the outermost circumferences are classified into coefficient groups corresponding to checkered black portions and white portions having the same location (step S22). As a result of this classification, the 1HL coefficient is classified into white 51 and black 51 ', the 1LH coefficient is classified into white 52 and black 52', and the 1HH coefficient is classified into white 3 and black 3 '. That is, the divided data 50 is white of 3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL (indicated as 1HLa in the figure) 51, white of 1LH (indicated as 1LHa in the figure) 52, white of 1HH (in FIG. Is a coefficient group consisting of 53, and other coefficient 1HL black (denoted by 1HLb) 51 ', 1HL black (denoted by 1LHb) 52', 1HH black (denoted by 1HHb) 53 ' It can be said that it was classified into groups. By arranging the coefficients of the image data (quantized coefficients when the embodiment of FIG. 2 is applied, but not described below) for each type of the classified coefficient group (step S23). 7B is a coefficient array (3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HLa51, 1LHa52, 1HHa53, 1HLb51 ′, 1HLb52 ′, 1HHb53 ′). This is performed for all images (step S24), and the process is terminated. The coefficients of the image data may be encoded and transferred.
[0051]
FIG. 9 is a diagram for explaining processing in an image encoding device according to another embodiment of the present invention, and FIG. 9A is a diagram for explaining an example of coefficient groups classified after subband division; FIG. 9B shows a state in which the coefficients are arranged based on the coefficient group. FIG. 10 is a flowchart for explaining the processing of FIG.
As another embodiment of the present invention, the transform is a transform by subband division, and the coefficient classification means 11 classifies the coefficients so that the ratio of the number of coefficients included in the coefficient group is different for each subband. May be. According to the present embodiment, it is possible to maintain the image quality while simplifying the rate control by changing the ratio for each subband. As the ratio, by making the HL coefficient and the LH coefficient smaller than the HH coefficient, it is possible to maintain the image quality while simplifying the rate control or increasing the compression rate.
[0052]
In this example, the image data is divided into three subbands 3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL, 1LH, and 1HH to create subband division data 60 (step S31). Next, the outermost 1HL is classified into odd-numbered and even-numbered coefficient groups, and the outermost 1LH is classified into odd-numbered and even-numbered coefficient groups, respectively (step S32). As a result of this classification, the 1HL coefficients are classified into odd-numbered rows 61 and even-numbered rows 61 ', and the 1LH coefficients are classified into odd-numbered columns 62 and even-numbered columns 62', respectively. That is, the divided data 40 includes a coefficient group including 3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL odd rows 61, 1LH odd columns 62, and coefficients including other coefficients 61 ', 62', 63 '. It can be said that it was classified into groups. In this example, the coefficient for changing the ratio is 1HH, and 1HH63 ′ is the only group that is eventually discarded. By arranging the coefficients of the image data for each type of the classified coefficient group (step S33), the coefficient array (3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL odd number) of FIG. Row 61, 1LH odd column 62, 1HL even row 61 ', 1LH even column 62', 1HH 63 '). This is performed for all images (step S34), and the process is terminated. The coefficients of the image data may be encoded and transferred. Generally, it is known that HH is less affected by image quality than LH and HL, and by maintaining the image quality while making rate control easier by making the coefficient classification different between the outermost subbands. Can do.
[0053]
FIG. 11 is a diagram for explaining processing in an image encoding device according to another embodiment of the present invention, and FIG. 11 (A) is a diagram for explaining an example of coefficient groups classified after subband division; FIG. 11B is a diagram illustrating a state in which the coefficients are arranged based on the coefficient group. FIG. 12 is a flowchart for explaining the processing of FIG.
As another embodiment of the present invention, the transform is a transform by subband division, and the coefficient classification means 11 classifies the coefficients into coefficient groups according to the locations of the coefficients different for each resolution level. May be. Here, the resolution level is a resolution level when subband division is performed. For example, when subband division is performed three times, resolution level 0 is 3LL, resolution level 1 is 3HL, 3LH, 3HH, resolution level 2 is 2HL, 2LH, 2HH, and resolution level 3 is It is defined as 1HL, 1LH, 1HH. According to the present embodiment, it is possible to improve the image quality compared to the same time by changing the position for each resolution. This is because the resolution changes depending on the resolution level.
[0054]
In this example, the image data is divided into three subbands 3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL, 1LH, and 1HH, and subband division data 70 is created (step S41). Next, 1HL, 1LH, and 1HH, which are the outermost circumferences, are classified into odd-numbered and even-numbered coefficient groups, and 2HL, 2LH, and 2HH, which are the outermost circumferences following the outermost circumference, are classified into odd-numbered and even-numbered coefficient groups, respectively. Step S42). As a result of this classification, 2HL coefficients are in odd rows 71 'and even rows 71, 2LH coefficients are in odd rows 72' and even rows 72, 2HH coefficients are in odd rows 73 'and even rows 73, and 1HL coefficients are in odd columns 74. The 1LH coefficient is classified into the odd number column 75 'and the even number column 75, and the 1HH coefficient is classified into the odd number column 76' and the even number column 76, respectively. That is, the divided data 70 is a coefficient group including 3LL, 3HL, 3LH, 3HH, 2HL even rows 71, 2LH even rows 72, 2HH even rows 73, 1HL even columns 74, 1LH even columns 75, 1HH even columns 76; It can be said that the other coefficients 71 ', 72', 73 ', 74', 75 ', and 76' are classified into coefficient groups. By arranging the coefficients of the image data for each type of the classified coefficient group (step S43), the coefficient array (3LL, 3HL, 3LH, 3HH, 2HL even rows 71, 2LH even rows in FIG. 72, 2HH even row 73, 1HL even column 74, 1LH even column 75, 1HH even column 76, 2HL odd row 71 ', 2LH odd row 72', 2HH odd row 73 ', 1HL odd column 74', 1LH odd column 75 ', In the order of 1HH odd row 76'). This is performed for all images (step S44), and the process is terminated. The coefficients of the image data may be encoded and transferred.
[0055]
In another embodiment of the present invention, the transform is a transform by subband division, and the coefficient classifying unit 11 classifies the coefficients so that the ratio of the number of coefficients included in the coefficient group is different for each resolution. May be. According to the present embodiment, it is possible to maintain the image quality while simplifying the rate control by changing the amount for each resolution. As the ratio, the higher the resolution level is, the more it increases, that is, by classifying the coefficient group into a coefficient group that discards many less important coefficients, while making the rate control easier, the compression rate The image quality can be maintained while increasing the image quality.
[0056]
As another embodiment of the present invention, the coefficient classifying unit 11 may classify the coefficients into coefficient groups according to the different locations of the coefficients for each component. That is, each component is classified into a group for each location, and these locations are made different. According to the present embodiment, it is possible to improve the image quality compared to the same time by changing the position for each component. Further, the coefficients may be classified so that the location of the coefficient to be discarded later differs between the color difference Cb component and the color difference Cr component. According to the present embodiment, it is possible to improve the image quality as compared with when the position is the same.
[0057]
Here, the components are a lightness signal and a color difference signal, and the following color conversion widely used in JPEG is known as a conversion method from RGB data, for example.
Luminance Y component = 0.29R + 0.587G + 0.114B
Color difference Cr component = −0.1687R−0.3313G + 0.5B
Color difference Cb component = 0.5R-0.4187G-0.01813B
[0058]
Further, the following color conversion used in the reversible mode of JPEG2000 is also known.
Luminance Y component = 0.25R + 0.5G + 0.25B
Color difference U component = R-G
Color difference V component = B-G
[0059]
As another embodiment, the coefficient classification unit 11 may classify the coefficients so that the ratio of the number of coefficients included in the coefficient group is different for each component. According to the present embodiment, it is possible to maintain the image quality while simplifying the rate control by varying the amount for each component. Further, the component is composed of a luminance Y component, a color difference Cb component, a color difference Cr component, or a combination of a luminance Y component, a color difference V component, and a color difference U component, and the ratio of the other two components compared to the luminance Y component. You may make it bigger. According to the present embodiment, it is possible to maintain the image quality while simplifying the rate control or increasing the compression rate by varying the amounts according to the component characteristics. This is because the human eye is more sensitive to the luminance Y component than the color differences Cb and Cr components for the YCbCr component, and more sensitive to the luminance Y component than the color difference V component and the color difference U component for the YUV component.
[0060]
As described above, an embodiment of the present invention is centered on an image encoding apparatus that has coefficient arraying means, can encode coefficients after arranging the coefficients, and then discard coefficient groups that discard a large number of less important coefficients. As described above, the present invention also relates to the thinning process described below. Here, when compressing the image, as a simple method, the coefficient of the image data converted into the frequency domain is thinned out.
[0061]
FIG. 13 is a diagram for explaining a configuration of an image encoding device according to another embodiment of the present invention.
The image encoding device 80 according to this embodiment is an image encoding device that encodes coefficients of image data converted into a frequency domain, and includes a coefficient thinning unit 81 and a coefficient encoding unit 82. The coefficient thinning unit 81 performs a thinning process on the coefficient of the image data converted into the frequency domain. The coefficient encoding unit 82 encodes the coefficient of the image data after the thinning process is performed by the coefficient thinning unit 81. Note that the coefficient thinning unit 81 actually requires an extraction process similar to the process of classifying into coefficient groups by the coefficient classification unit in each of the above-described embodiments. By changing the thinning location and the thinning amount (ratio) between resolutions and components, the compression rate can be increased while maintaining the image quality.
[0062]
First, the case where the coefficient to be handled is the coefficient of the image data converted into the frequency domain by subband division will be described.
FIG. 14 is a flowchart for explaining thinning-out processing in an image encoding device according to another embodiment of the present invention.
The coefficient thinning means 81 may thin the coefficients so that the ratio of the number of coefficients to be thinned is different for each subband. According to the present embodiment, it is possible to maintain the image quality while increasing the compression rate by varying the thinning amount for each subband. As the ratio, by making the HL coefficient and the LH coefficient smaller than the HH coefficient, by increasing the HH, it is possible to maintain the image quality while simplifying the rate control or increasing the compression ratio. It becomes possible.
[0063]
Here, it is assumed that subband division is performed three times and only resolution level 3 is thinned out. Referring to FIG. 9 as well, in this example, the image data is divided into three subbands 3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL, 1LH, and 1HH, and subband divided data. 60 is created (step S51). Next, the coefficient group of even-numbered rows of 1HL which is the outermost periphery, the coefficient group of even-numbered columns of 1LH which is also the outermost periphery, and all portions of the coefficients of 1HH which are also the outermost periphery are thinned out (step S52). As a result of this thinning process, the divided data 60 is an array of only 3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL odd rows 61, 1LH odd columns 62. Although not shown, in the arrangement of FIG. 9B, the arrangement is such that there are no rear three coefficient groups 61 ', 62', 63 '. This is performed for all images (step S53), and the process is terminated. The coefficients of the image data may be encoded and transferred. Generally, it is known that HH is less affected by image quality than LH and HL, and by maintaining the image quality while making rate control easier by making the coefficient classification different between the outermost subbands. Can do.
[0064]
FIG. 15 is a flowchart for explaining the thinning-out process in the image encoding device according to another embodiment of the present invention.
In another embodiment of the present invention, the coefficient thinning unit 81 may thin the coefficients so that the locations of the thinned coefficients differ for each resolution. According to the present embodiment, it is possible to maintain higher image quality by changing the thinning position for each resolution. Further, the coefficient thinning unit 81 may thin out the coefficients so that the ratio of the number of coefficients to be thinned out for each resolution (here, the number may be sufficient) is different. According to the present embodiment, it is possible to maintain the image quality while increasing the compression rate by changing the amount to be thinned out for each resolution.
The ratio may be increased as the resolution level increases.
[0065]
Here, it is assumed that the subband division is performed three times, and the resolution levels 1 and 2 are thinned out. Referring to FIG. 11 as well, in this example, the image data is divided into three subbands 3LL, 3HL, 3LH, 3HH, 2HL, 2LH, 2HH, 1HL, 1LH, and 1HH, and subband divided data. 70 is created (step S61). Next, the odd-numbered columns of 1HL, 1LH, and 1HH that are the outermost periphery and the odd-numbered rows of 2HL, 2LH, and 2HH are thinned out (step S62). As a result of this decimation processing, the divided data 70 is only 3LL, 3HL, 3LH, 3HH, 2HL even rows 71, 2LH even rows 72, 2HH even rows 73, 1HL even columns 74, 1LH even columns 75, 1HH even columns 76 only. It became an array. Although not shown, in the arrangement of FIG. 11 (B), there is no rear three coefficient groups 71 ′, 72 ′, 73 ′, 74 ′, 75 ′, 76 ′. This is performed for all images (step S63), and the process is terminated. The coefficients of the image data may be encoded and transferred.
[0066]
In addition, as described with reference to FIGS. 9 and 11 again as an example of the thinning process in the image encoding device 80 in FIG. 13, the same description can be made by referring again to FIGS. It becomes.
[0067]
As another embodiment of the present invention, the coefficient thinning unit 81 may thin the coefficient so that the location of the coefficient to be thinned is different for each component. According to the present embodiment, it is possible to maintain higher image quality than the same time by changing the thinning position for each component. Further, the coefficient thinning unit 81 may thin the coefficients so that the ratio of the number of coefficients to be thinned is different for each component, and the image quality can be maintained while increasing the compression rate. Further, in the coefficient thinning means 81, it is possible to improve the image quality than when the positions are the same by thinning the coefficients so that the locations of the thinned coefficients are different between the color difference Cb component and the color difference Cr component. It becomes.
[0068]
As another embodiment, the component is composed of a luminance Y component, a color difference Cb component, a color difference Cr component, or a combination of a luminance Y component, a color difference V component, and a color difference U component. The other two components may be larger. According to the present embodiment, it is possible to maintain the image quality while simplifying the rate control or increasing the compression rate by varying the amounts according to the component characteristics. As described above, the human eye is more sensitive to the YCbCr component and the YUV component in the luminance Y component than in the other components.
[0069]
The image encoding apparatus according to the present invention has been described above, but the present invention is an image decoding apparatus having means for decoding the code encoded by the image encoding apparatus according to each embodiment described above. As well as the form. When decompressing, for example, the discarded or thinned portion may be filled with 0. In particular, with respect to the image coding apparatus 10 without the coefficient discarding unit as described with reference to FIG. 1, at least 1 so that the amount of the code is less than or equal to a predetermined value from the codes encoded by the image coding apparatus 10. A code discard unit 21 for discarding codes corresponding to one coefficient group may be provided, and the code decoding unit 22 may decode the discarded code.
[0070]
Here, a configuration of an apparatus applicable to each of the above-described embodiments will be described.
FIG. 16 is a diagram illustrating a configuration example of an image encoding / decoding device according to the present invention.
The image encoding / decoding apparatus described here has a configuration in which a RAM 91 in a PC, a CPU 92, an HDD 94, and a printer 95 in a PC are connected via a data bus 93. When the original image is printed out, the image is compressed, and the compressed data is transmitted to the printer 95. Since the amount of data transmitted to the printer 95 is reduced, the transmission time is shortened, and high-speed printing is possible even when the time required for compression / expansion is taken into account.
[0071]
The original image recorded on the HDD 94 is read onto the RAM 91 by a command from the CPU 92 (i). Next, as a compression step, the CPU 92 reads and compresses the image on the RAM 91 (ii). The CPU 92 writes the compressed data in another area on the RAM 91 (iii). In accordance with a command from the CPU 92, the compressed data is recorded on the RAM 97 in the printer 95 (iv). As an expansion step, the CPU 96 in the printer 95 reads the compressed data, obtains a decoded value, and expands the image (v). The CPU 96 writes the decompressed data on the RAM 97 (vi). Thereafter, the printer 95 prints out the decompressed data according to a predetermined procedure [magnification is required].
[0072]
As mentioned above, although each embodiment was described centering on the image coding apparatus and image decoding apparatus of this invention, this invention is as an image coding method and an image decoding method which perform the procedure of the process in those apparatuses. Forms can also be taken. Although only an example will be described, all the methods for executing the processing in the image encoding (decoding) apparatus of each embodiment described above can be adopted as forms.
[0073]
The image encoding method described here is a method of encoding coefficients of image data converted into a frequency domain, and at least one of the same type of coefficients or the same type of quantized coefficients is 2. It classifies into one or more coefficient groups, arranges the coefficients of the image data for each type of the classified coefficient group, encodes the arranged coefficients, and the amount of the code is less than a predetermined value from the generated code Thus, the code corresponding to at least one coefficient group is discarded. By arranging the coefficients well and discarding them by classification unit, rate control can be made easier.
[0074]
As another image encoding method, a thinning process is performed on the coefficients of the image data converted into the frequency domain by subband division so that the ratio of the number of coefficients to be thinned is different for each resolution. The coefficients of the image data after being processed may be encoded. By varying the thinning amount for each resolution, it is possible to maintain the image quality while increasing the compression rate.
[0075]
Further, as another image encoding method, the image data after the thinning process is performed by performing the thinning process on the coefficient of the image data converted into the frequency domain so that the ratio of the number of coefficients to be thinned is different for each component. Data coefficients may be encoded. By varying the thinning amount for each component, it is possible to maintain the image quality while increasing the compression rate.
Further, it is possible to adopt a form as an image decoding method for decoding a generated code encoded by these image encoding methods.
[0076]
As described above, the embodiments have been described focusing on the image encoding device, the image decoding device, and the method thereof according to the present invention. However, the computer is caused to function as the device or each unit of the device, or to the computer. Either as a program for executing these methods (computer program in which the processing content is implemented) or a computer-readable recording medium in which the program is recorded (computer-readable in which the processing content is recorded) (Information recording medium) is also possible. With this program, it is possible to provide a system that can simplify rate control or increase the compression rate by processing corresponding to each of the above-described embodiments. Also, with this recording medium, it is possible to provide a system that can simplify rate control or increase the compression rate with a configuration corresponding to each of the above-described embodiments.
[0077]
An embodiment of a recording medium storing a program and data for realizing an image encoding / decoding function according to the present invention will be described. As the recording medium, specifically, a CD-ROM, a magneto-optical disk, a DVD-ROM, an FD, a flash memory, and various other ROMs and RAMs can be assumed. By causing a computer to execute the function according to the above and recording and distributing a program for realizing the image encoding / decoding function, the function can be easily realized. Then, the recording medium as described above is mounted on an information processing apparatus such as a computer and the program is read by the information processing apparatus, or the program is stored in a storage medium provided in the information processing apparatus. By reading out, the image encoding / decoding functions according to the present invention can be executed.
[0078]
【The invention's effect】
According to the present invention, it is possible to easily perform rate control without repeating quantization and encoding and minimizing the influence on image quality.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a configuration of an image encoding device according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining a configuration of an image encoding device according to another embodiment of the present invention.
FIG. 3 is a diagram for explaining processing in an image encoding device according to another embodiment of the present invention.
4 is a flowchart for explaining the processing of FIG. 3; FIG.
FIG. 5 is a diagram for explaining processing in an image encoding device according to another embodiment of the present invention.
FIG. 6 is a flowchart for explaining the processing of FIG. 5;
FIG. 7 is a diagram for explaining processing in an image encoding device according to another embodiment of the present invention.
FIG. 8 is a flowchart for explaining the processing of FIG. 7;
FIG. 9 is a diagram for explaining processing in an image encoding device according to another embodiment of the present invention.
FIG. 10 is a flowchart for explaining the process of FIG. 9;
FIG. 11 is a diagram for explaining processing in an image encoding device according to another embodiment of the present invention.
FIG. 12 is a flowchart for explaining the processing of FIG. 11;
FIG. 13 is a diagram for explaining a configuration of an image encoding device according to another embodiment of the present invention.
FIG. 14 is a flowchart for explaining thinning-out processing in an image encoding device according to another embodiment of the present invention.
FIG. 15 is a flowchart for explaining thinning-out processing in an image encoding device according to another embodiment of the present invention.
FIG. 16 is a diagram illustrating a configuration example of an image encoding / decoding device according to the present invention.
FIG. 17 is a diagram for explaining subbands;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10,10 ', 80 ... Image coding apparatus, 11 ... Coefficient classification means, 12 ... Coefficient arrangement means, 13, 82 ... Coefficient coding means, 14, 21 ... Code discarding means, 20 ... Image decoding apparatus, 22 ... Code decoding means.

Claims

An image encoding device that encodes coefficients of image data converted into a frequency domain ,
Coefficient classifying means for classifying at least one of the same type of coefficients into two or more coefficient groups ;
A coefficient array means to arrange the coefficients of the image data, for each type of classified coefficient group by the coefficient classifying means,
A coefficient encoding means for encoding the coefficients which are arranged in the coefficient array means,
Code discarding means for discarding a code corresponding to at least one coefficient group from the code generated by the coefficient encoding means so that the amount of the code is equal to or less than a predetermined value;
The coefficient classification means includes
When the transform is a transform by subband division, the coefficient is classified into a coefficient group having a location different from other subbands for at least one subband.

An image encoding device that encodes coefficients of image data converted into a frequency domain ,
Coefficient quantization means for quantizing the coefficient of the image data ;
Relative to the coefficient by the quantization means is quantized coefficients quantized coefficients, a coefficient classifying means for classifying into two or more coefficient group at least one of the same type of quantized coefficient,
A coefficient array means to arrange the quantized coefficients for each type of classified coefficient group by the coefficient classifying means,
A coefficient encoding means for encoding the quantized coefficients arranged in the coefficient array means,
Code discarding means for discarding a code corresponding to at least one coefficient group from the code generated by the coefficient encoding means so that the amount of the code is equal to or less than a predetermined value;
The coefficient classification means includes
When the transform is a transform by subband division, the quantized coefficients are classified into coefficient groups having different locations from other subbands for at least one subband.

3. The image encoding according to claim 1, wherein the coefficient classifying unit classifies at least one subband based on any one of a horizontal direction, a vertical direction, and a checkered pattern. apparatus.

The coefficient classification unit, the image encoding device according to claim 1, the ratio of the number of coefficients contained in the coefficient group which is characterized in that for classifying the coefficients differently for each of the subbands in any one of 3 .

An image encoding method for encoding a coefficient of image data converted into a frequency domain ,
A coefficient classification step of classifying at least one of the same type of coefficients into two or more coefficient groups ;
A coefficient sequence step for arranging the coefficients of the image data, for each type of classified coefficient group by the coefficient classification step,
A coefficient encoding step for encoding the coefficients arranged in the coefficient arrangement step ;
A code discarding step of discarding a code corresponding to at least one coefficient group from the code generated by the coefficient encoding step so that the amount of the code is equal to or less than a predetermined amount ,
The coefficient classification step includes
When the transform is a transform by subband division, the coefficient is classified into a coefficient group having a location different from that of other subbands for at least one subband.

An image encoding method for encoding a coefficient of image data converted into a frequency domain,
  A coefficient quantization step for quantizing the coefficients of the image data;
  A coefficient classification step of classifying at least one of the same type of quantized coefficients into two or more coefficient groups with respect to the quantized coefficient that is quantized in the coefficient quantization step;
  A coefficient arrangement step of arranging the quantized coefficients for each type of coefficient group classified in the coefficient classification step;
  A coefficient encoding step for encoding the quantized coefficients arranged in the coefficient arrangement step;
  A code discarding step of discarding a code corresponding to at least one coefficient group from the code generated by the coefficient encoding step so that the amount of the code is equal to or less than a predetermined amount,
  The coefficient classification step includes
  An image coding method, wherein, when the transform is a transform by subband division, the quantized coefficients are classified into coefficient groups having different locations from other subbands for at least one subband.

A program for causing a computer to execute the image encoding method according to claim 5 or 6 .

A computer-readable recording medium on which the program according to claim 7 is recorded.