JP4410989B2 - 画像処理装置及び画像復号処理装置 - Google Patents
画像処理装置及び画像復号処理装置 Download PDFInfo
- Publication number
- JP4410989B2 JP4410989B2 JP2002361356A JP2002361356A JP4410989B2 JP 4410989 B2 JP4410989 B2 JP 4410989B2 JP 2002361356 A JP2002361356 A JP 2002361356A JP 2002361356 A JP2002361356 A JP 2002361356A JP 4410989 B2 JP4410989 B2 JP 4410989B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- processing
- image
- illuminance
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/007—Transform coding, e.g. discrete cosine transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Discrete Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Picture Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像信号を周波数帯域に変換して圧縮符号化する画像処理装置及び画像復号処理装置に関する。
【０００２】
【従来の技術】
近年のデジタルビデオカメラやデジタルスチルカメラは、撮像素子の感度も高く、デジタル変換時のＡＧＣの最高ゲインを非常に高く設定することが可能になっている。
【０００３】
このようなシステムでは、被写体の色温度が予め設定された撮像素子色温度からわずかにずれた場合でも、被写体の照度によるゲインの設定の高低で、色バランスの崩れが顕著に現れる可能性が大きい。結果として、低照度の画像でノイズ成分による不自然な色つきが発生する。また逆に、高輝度の画像では、本来白い色の部分が、青みがかったり赤みがかったりする様な現象がおきる。そこで、従来のカメラでは、色信号処理系に対して色抑圧処理を施し、不自然な色つき現象を回避している。
【０００４】
図１６を参照して、これらの動作を説明する。図１６において、カメラ処理部１は増幅部１０、前処理部２０、画像処理部３０、後処理部４０から構成される。具体的な動作として、被写体は、図示しないレンズ光学系で集光され撮像部１１で電気信号に変換される。撮像部１１から出力される電気信号を、相関二重サンプル（ＣＤＳ）装置１２で、撮像素子のリセットノイズやアンプノイズ等の同相ノイズを除去して、増幅する。増幅された電気信号は画像信号として、Ａ／Ｄ変換器２１に入力され、信号レベルが所定の大きさになるように自動電圧利得調整（ＡＧＣ）され、デジタルデータに変換される。ここで、ＡＧＣは、主に画像の明るさを示す図示しない信号に基づいて制御される。つまり、取り込まれた被写体画像の照度が低い場合は、信号が所定の大きさになるように高いゲインが設定され、逆に照度が高い場合は、小さなゲインが設定される。このような動作は、ＡＤ変換のダイナミックレンジを有効に利用することを可能にする。
【０００５】
成分変換装置２２は、Ａ／Ｄ変換器２１からの画像データを輝度系データと色系データに分解する。色系データは、先に説明した照度による色抑圧処理を非線形色信号処理装置３４で施した後に、ガンマ補正装置３５で表示系特性に適したデータに補正される。非線形色信号処理装置３４の詳細については、後述する。一方、輝度系データについては、色データの色抑圧処理による輝度系データの補正が輝度信号色差補正装置３１により施される。ここでは、色系データの補正による色バランスの崩れを吸収する処理となる。色差補正された輝度データは、さらに、輪郭補正装置３２で表示に適したエッジ強調処理が行なわれ、ガンマ補正装置３３で表示に適したデータに補正される。なお、このようなカメラの構成は、例えば【特許文献１】に開示されている。
【０００６】
以上のように処理された輝度系データと色系データは、伝送変換部４１でデジタル伝送規格等にのっとって多重化され、圧縮符号化処理装置２に転送される。
【０００７】
ここで、非線形色処理装置３４の詳細を図１７に示す。輝度系信号に対して、ローパスフィルタ３４１で低域成分を抽出する。抽出された低域成分から照度検出装置３４２で画像の照度を検出する。輝度系データには、画面の一部が明るいような明るさの変化が激しい部分を示すデータと、画面全体的の明るさを示すデータが含まれている。前者のデータは高域成分に多く含まれ、後者のデータは低域成分に多く含まれる。従って、前述したように、画面の照度は、輝度系データの低域成分を抽出し、所定値と比較することで検出できる。
【０００８】
図１８（ａ）〜（ｃ）は、輝度データの周波数分布の模式図を示す。図１８（ｂ）は、通常の画像で、図１８（ａ）は照度が高い画像、図１８（ｃ）は照度が低い画像をそれぞれ示している。一般に、照度が下がっても、高域部分のデータ（明暗の変化が激しい部分）は、低域ほど変化しない様子も表現している。この図からも、低域データ（図中の斜線部分）で照度を検出することが有効であることが分かる。
【０００９】
ここで、図１８（ｃ）の低照度の場合の動作を図１７を用いて説明する。照度検出装置３４２は、輝度系データの低域成分が所定値より小さい場合、低照度と検出し、色系データのゲイン補正装置３４３を、図１９に示すように、照度が所定値以下の領域では、色成分の影響を小さくする（ゲインを小さくする）ように制御する。この処理により、色データを特定の色（通常は、無彩色）に制限している。補正信号生成装置３４４は、この特定の色が無彩色になるような色バランスを実現するための輝度系データの補正信号を生成し、輝度系処理の輝度色差補正装置３１に供給する。
【００１０】
先に述べたように、低照度の画像に対して、ＡＧＣ等で高いゲインが設定されるので、ノイズ成分も増幅してしまう。そのノイズ成分が色系データにのっていると、被写体に本来存在しない不自然な色むらが発生する。しかしながら、上記処理により、所定値以下の照度に対して色系レベルを一様に制限する非線形処理を施してしまえば、不自然な色むらが発生せず、輝度系データの明暗だけの画像になるので、視覚的には良好な画像データが得られる。
【００１１】
次に、図１８（ａ）に示す高照度の場合の動作を図１７を用いて説明する。照度検出装置３４２は、輝度系データの低域成分が所定値より大きい場合、高照度と検出し、色系データのゲイン補正装置３４３を、図１９に示すように、照度が所定値以上の領域では、色成分の影響を小さくする（ゲインを小さくする）ように制御する。この処理により、色データを特定の色（通常は白色）に制限している。補正信号生成装置３４４は、この特定の色が白色になるような色バランスを実現するための輝度系データの補正信号を生成し、輝度系処理の輝度色差補正装置３１に供給する。
【００１２】
先に述べたように、高照度の画像に対しては、ＡＧＣ等で低いゲインが設定されるが、色系データのレベルそのものが大きいので、色温度の変化によるわずかなホワイトバランスの狂いが増長され、青みがかったり、赤みがかったりして、変な色ずれが発生する。しかし、以上の処理により、所定値以上の照度に対して、色系レベルを一様に制限（抑圧）する非線形処理を施してしまえば、不自然な色つきは発生せず、輝度系データの明暗だけの画像になるので、視覚的には良好な画像データが得られる。
【００１３】
次に、図１６に戻って、後段の画像データの圧縮符号化処理装置２について説明する。圧縮方式としては、帯域分割変換を用いた圧縮方式であるＪＰＥＧ２０００を例にとって説明する。
【００１４】
成分変換装置５１は、カメラ処理部１から送られた画像データを受け、画像圧縮処理の成分（Ｙ，Ｃｂ，Ｃｒ）に変換する。図２０は、各成分Ｙ，Ｃｂ，Ｃｒのフレーム内の構成とタイル分割の様子を示す。輝度成分（Ｙ）に対して、タイル分割装置５２ａは、１フレーム画像を所定の大きさの小領域（タイル）に分割する（図２０（ｂ））。帯域分割装置５３ａは、各タイル単位で、画像データを周波数帯域成分に分割する（図２０（ｄ））。後述するように、ＪＰＥＧ２０００では、高域と低域の帯域分割とダウンサンプルを同時に処理する離散ウェーブレット変換を利用しており、低域データに対しては再起的に同処理を繰り返し行うので、低い周波数帯域のデータ（３ＬＬ）から高い周波数のデータ（１ＨＨ）まで、図２０（ｄ）に示すような変換係数の並びになる。
【００１５】
図２１を参照して、ウェーブレット変換の動作を説明する。タイル単位の画素データが入力端子５３０に入力されると、まず、水平サブバンド分割装置５３１が水平画素方向にフィルタ分割する。図２２は、フィルタ分割の様子を模式的に示す。水平方向画素の周波数分布を図２２（ａ）に実線で示す。このような分布の画素に対して、破線で示す低域フィルタと高域フィルタを乗ずると、低域成分（図２２（ｂ））と高域成分（図２２（ｃ））が抽出される。これらの抽出作業と同時に、ダウンサンプル処理を行うことが可能なリフティング演算で、ウェーブレット変換は実現されており、水平サブバンド分割装置５３１による水平サブバンド分割の後、画像データは、水平方向の低域係数（Ｌ）と高域係数（Ｈ）に分割される。さらに、これらの係数データに対して、垂直方向に同じ処理を行うことにより、一階層分のウェーブレット変換処理が終了する。
【００１６】
図２１において、水平サブバンド分割装置５３１で生成された水平方向の高域係数（Ｈ）は、垂直サブバンド分割装置５３２により、低域係数（１ＨＬ）と高域係数（１ＨＨ）に変換される。水平サブバンド分割装置５３１で生成された水平方向の低域成分（Ｌ）は、垂直サブバンド分割装置５３３により低域係数（Ｌ）と高域係数（１ＬＨ）に変換される。さらに、垂直サブバンド分割装置５３３で生成された低域成分（Ｌ）は、水平サブバンド分割装置５３４により、水平方向の低域係数（Ｌ）と高域係数（Ｈ）に分割される。以上の各係数は、垂直サブバンド分割装置５３６，５３５により、垂直方向の低域係数（Ｌ）と高域係数（Ｈ）に分割されて、２ＨＨ、２ＨＬ、２ＬＨ及び２ＬＬの各係数に変換される。２ＬＬの係数に対して、図２１では不図示としたが、更に水平・垂直方向にウェーブレット変換を施すと、３ＨＨ、３ＨＬ、３ＬＨ及び３ＬＬの係数に変換できる。この結果として、変換された係数は図２０（ｄ）のようになる。
【００１７】
図１６に戻り、帯域分割装置５３ａで変換されたデータ（ウェーブレット係数）は、量子化装置５４ａで量子化され、所定ビット長のデジタルデータに変換される。係数量子化は、図２３に示すように、所定の量子化ステップ幅Δで、図２３（ａ）に示す変換係数を、図２３（ｂ）に示すように量子化する。このようにして、図２４（ａ）の如きサブバンドを量子化して得られたデータは、図２４（ｂ）に示すような所定数（例えば、１６×１６）の画素でまとめられたコードブロックといわれる処理単位（図２４（ｃ））で、エントロピー符号化装置５５ａで処理される。エントロピー符号化装置５５ａは、後述するように、各コードブロックをビットプレーン単位で算術符号化し、データ圧縮を実現する。
【００１８】
以上の輝度成分（Ｙ）に対して行った処理と同様の処理を、色差成分（Ｃｒ、Ｃｂ）に対しても装置５２ｂ〜５５ｂにより実行する。処理内容は同じなので、説明は省略する。
【００１９】
ストリーム形成装置５６は、以上のように成分毎に符号化されたデータを所定のパケット単位でまとめ、並び替えた後、ヘッダ情報等を付加し、データストリームを形成する。生成されたデータストリームは、記録処理装置３へ送られる。記録処理装置３では、書込み前処理装置６１が、データストリームを書込みメディアに適した形に変換する前処理を行い、書込み処理装置６２が、テープ、ディスクメディア又はメモリーカード等の記録媒体にデータを書き込む。
【００２０】
図２６を参照して、エントロピー符号化処理装置５５とストリーム形成処理装置５６の作用を説明する。
【００２１】
先に述べたように、エントロピー符号化は、図２５（ａ）に示すように、コードブロック単位の画像データを同一ビット深さ平面単位で、上位ビットから下位ビットへと処理していく。各ビット平面では、図２５（ａ）に矢印で示すように、垂直４画素単位に横にスキャンする。符号化モデル装置５５１ａは、１ビットにつき３回、行われる上記スキャンで、それぞれのビットを１９のモデルに分類し、二値化データに変換する。算術符号化装置５５２ａは、装置５５１ａからの二値化データを高能率算術符号化でデータ圧縮する。
【００２２】
装置５５２ａにより得られた符号化データは、上位ビットから下位ビットに符号化されているので、画質に与える影響度の大きい順に、符号化していることになる。そこで、図２５（ｂ）に示すように、この影響度を所定値で区切ってグループすることが可能となる。
【００２３】
ΔＲ／ΔＤ算出部５６１は、コードブロックの符号化されたビットプレーン単位で画質への影響度を算出し、レイヤ判定装置５６２は、所定値（Ｔｈ１〜Ｔｈ８）と比較することでどのレイヤのデータであるかを判定し、コードブロックの符号化されたビットプレーン単位のデータとともにワークメモリ５６３に記憶する。符号化されたデータは、同じレイヤ単位に、ワークメモリ５６３からコードブロックの符号化されたデータ単位で読み出され、パケット生成装置５６４により、ヘッダ情報が付加されてパケット化される。
【００２４】
このように、パケットデータは、同一の画質（レイヤ）と画素数（サブバンド）をまとめているので、パケットデータの抽出方法によって、所定の画質で所定の画素数となる画像データを復号することが可能となる。
【００２５】
以上、ＪＰＥＧ２０００圧縮符号化例にとったカメラシステムで説明してきたが、一般のデジタルカメラシステムでは、被写体の照度により画質補正を一様にかけるような非線形処理を色系データに施すことにより、低照度又は高照度の画像でも、不自然な色むらや色写りが発生しないようにしている。
【００２６】
【特許文献１】
特開平１１−３１３３３８号公報
【００２７】
【発明が解決しようとする課題】
しかし、低照度時の色むらは、低域の信号レベルに対して高域のノイズ成分が大きくなるために発生する問題である。この対策として、高域のノイズ成分による変動を相殺するために、全帯域の信号レベルを一様に限定してしまっている。その結果、本来、低照度でも色があるべき被写体に対しても、無彩色の画像補正をかけてしまっていることになる。
【００２８】
また、高照度時の色写りは、低域の信号レベルの絶対値が大きいので、わずかな色のずれが過大に影響を受けてしまって発生している問題である。この対策として、低域信号レベルを抑圧するために、全体帯域の信号レベルを一様に限定してしまっている。その結果、本来、高照度時でも色変化があるべき被写体に対しても、無彩色の画像補正をかけてしまっていることになる。
【００２９】
つまり、従来の方法は、被写体が本来持っている情報を、視覚的効果のために削除していることになる。
【００３０】
さらに、上記のように圧縮符号化を前提とするビデオカメラシステムについて考えてみると、圧縮符号化のために周波数帯域等の変換操作をしている場合が多い。このようなシステムでは、変換係数の操作等により、容易に周波数帯域成分に分けてデータを加工することが可能であるのに、その利点を生かしていない。
【００３１】
逆に、従来の方法では、カメラ処理ブロック内で周波数帯域に対して一様な抑制処理を施しているので、被写体として本来もつべき画像情報を、圧縮符号化の段階では復元することができない構成になっている。
【００３２】
本発明は、このような不都合を解消した画像処理装置及び画像復号処理装置を提示することを目的とする。
【００３３】
【課題を解決するための手段】
以上の問題を解決するために、本発明に係る画像処理装置は、画像データを取り込み、前記画像データを周波数帯域に関する変換符号化処理を含んで画像圧縮する画像処理装置であって、前記画像データに含まれる輝度データと色データをそれぞれ周波数帯域で表わされる周波数データに変換する周波数変換手段と、前記周波数変換手段によって変換された周波数データに対して、周波数帯域別に異なる処理を実行可能なデータ処理手段と、取り込んだ前記画像データから照度を検出する照度検出手段とを備え、前記照度検出手段によって検出された照度の値が所定値よりも低い低照度の場合、前記データ処理手段は、前記色データから変換された周波数データの高周波帯域のデータを抑圧するよう処理することを特徴とする。
本発明に係る画像処理装置は、画像データを取り込み、前記画像データを周波数帯域に関する変換符号化処理を含んで画像圧縮する画像処理装置であって、前記画像データに含まれる輝度データと色データをそれぞれ周波数帯域で表わされる周波数データに変換する周波数変換手段と、前記周波数変換手段によって変換された周波数データに対して、周波数帯域別に異なる処理を実行可能なデータ処理手段と、取り込んだ前記画像データから照度を検出する照度検出手段とを備え、前記照度検出手段によって検出された照度の値が所定値よりも高い高照度の場合、前記データ処理手段は、前記色データから変換された周波数データの低周波帯域のデータを抑圧するよう処理することを特徴とする。
本発明に係る画像復号処理装置は、周波数帯域に関する変換符号化処理を含んで画像圧縮された符号化画像データを復号する画像復号処理装置であって、前記符号化画像データから復元された輝度データ及び色データに係る周波数データに対して、周波数帯域別に異なる処理を実行可能なデータ処理手段と、前記符号化画像データから照度を検出する照度検出手段とを備え、前記照度検出手段によって検出された照度の値が所定値よりも低い低照度の場合、前記データ処理手段は、前記色データに係る周波数データの高周波帯域のデータを抑圧するよう処理することを特徴とする。
本発明に係る画像復号処理装置は、周波数帯域に関する変換符号化処理を含んで画像圧縮された符号化画像データを復号する画像復号処理装置であって、前記符号化画像データから復元された輝度データ及び色データに係る周波数データに対して、周波数帯域別に異なる処理を実行可能なデータ処理手段と、前記符号化画像データから照度を検出する照度検出手段とを備え、前記照度検出手段によって検出された照度の値が所定値よりも高い高照度の場合、前記データ処理手段は、前記色データに係る周波数データの低周波帯域のデータを抑圧するよう処理することを特徴とする。
【００３４】
【発明の実施の形態】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【００３５】
（第１実施例）
図１は、本発明の第１実施例であるビデオカメラの概略構成ブロック図である。従来例と同じ部分のブロックには同じ符号を付してあり、その詳細な説明は省略する。４はカメラ処理装置である。７０はカメラ処理における画像処理装置、７１は表示系の輪郭を補正する輝度系の輪郭補正装置、７２は表示系の非線形性を補正する輝度系のガンマ補正装置、７３は表示系の非線形性を補正する色系のガンマ補正装置である。５は圧縮符号化処理装置、５７は非線形色信号処理装置である。
【００３６】
従来例と異なるのは、非線形色信号処理を、カメラ処理から圧縮符号化処理に移していることであり、カメラ処理装置４の画像処理装置７０から非線形色信号処理と輝度色差補正処理が削除され、圧縮符号化処理装置５に非線形色信号処理装置５７が追加されている。
【００３７】
まず、通常時における被写体の画像データの処理を説明する。
【００３８】
被写体から集光された光は、撮像装置１１により電気信号に変換され、相関二重サンプル装置１２で読み出される。読み出された信号は、Ａ／Ｄ変換器２１において、ＡＧＣにより適度なレベル調整された後、ＡＤ変換される。成分変換装置２２は、Ａ／Ｃ変換器２１の出力デジタルデータを輝度系データと色系データに変換する。輝度系データは、表示系に適した輪郭強調を輪郭補正装置７１で施され、表示系の非線形性の逆補正をガンマ補正装置７２で施される。また、色系データは、表示系の非線形性の逆補正をガンマ補正装置７３で施される。以上の画像処理を施された画像データは、伝送変換装置４１で多重化され、圧縮符号化処理装置５へ送られる。
【００３９】
圧縮符号化処理装置５では、まず、成分変換装置５１が、多重化されたデータを輝度（Ｙ）及び２つの色差（Ｃｒ，Ｃｂ）の３成分に変換する。変換されたデータは、タイル分割装置５２ａ，５２ｂにより１フレームを小領域（タイル）に分割され、帯域分割装置５３ａ，５３ｂにより、周波数帯域に分割される。帯域分割され変換された係数（１ＨＨ、１ＨＬ、１ＬＨ、２ＨＨ、２ＨＬ、２ＬＨ、３ＨＨ、３ＨＬ、３ＬＨ、３ＬＬ）は、量子化装置５４ａ，５４ｂにより、所定のステップ幅で量子化される。量子化されたデータは、エントロピー符号化装置５５ａ，５５ｂによりデータ圧縮される。符号化されたデータは、ストリーム形成装置５６によりパケット単位のストリーム形式に変換され、記録処理装置３に印加される。
【００４０】
記録処理装置３では、書込み前処理装置６１が、各種記録メディアへの書込みのための前処理を行い、その出力である符号化データが、書込み処理装置６２により不図示の記録メディアに記憶又は記録される。
【００４１】
次に、以上の処理で記録された符号化画像データを読み出す動作を説明する。図７は、再生系の概略構成ブロック図を示す。８はデータを読出す再生処理装置、９は読出されたデータを復号する伸長復号処理装置である。８２は記録メディア等からデータを読出す読出し処理装置、８１は読出されたデータから符号化データを抽出する後処理装置である。
【００４２】
９１は符号化データのヘッダ情報等から輝度データと色データを抽出するストリーム解析装置である。９２ａは符号化された輝度データを伸長復号するエントロピー復号装置、９３ａは伸長された量子化データからウェーブレット係数を復元する逆量子化装置、９４ａは復元されたウェーブレット係数に逆変換を施し、画像データを復元する帯域合成装置、９５ａはタイル毎に復元された画像データを一枚のフレーム画像に復元するタイル合成装置である。９２ｂ〜９５ｂは、色データに対して、輝度データの処理装置９２ａ〜９５ａに対応する処理を行う装置である。９６は、復元された輝度と色のフレーム画像合成し、図示しない表示手段に適した信号に変換する成分変換装置である。
【００４３】
以上の構成において、符号化されたデータを復元する動作を説明する。図示しない各種メディアより符号化データを読出し処理装置８２で読出し、所定フォーマットで読み出されたデータから符号化データを読出し後処理装置８１で抽出する。抽出された符号化データは、伸長復号処理装置９へ供給される。
【００４４】
伸長復号処理装置９では、ストリーム解析装置９１が、符号化データのヘッダ情報を解析して、復号に必要な符号化データを読出す。符号化データは、輝度系データと色系データに分けて読出される。
【００４５】
輝度系データ（Ｙ）については、エントロピー復号装置９２ａが、算術符号化された符号化データを伸長復号化する。復号化された輝度系データは、逆量子化装置９３ａで逆量子化され、帯域分割した変換係数（ウェーブレット係数）の値に復元される。復元された変換係数は、帯域毎の係数であるので、帯域合成装置９４ａが、各周波数帯の変換係数を合成（逆ウェーブレット変換）する。合成された変換係数、すなわち、復元された画像データは、１フレームの小領域（タイル）毎に処理されて復元されるので、タイル合成装置９５ａが、タイル単位で復元された画像データを１フレーム画像に合成する。
【００４６】
同様に、色系データ（Ｃｂ、Ｃｒ）も、輝度系データ（Ｙ）と同様に、処理装置９２ｂ〜９５ｂで処理され、１フレームの画像として復元される。
【００４７】
復元された輝度系データと色系データは、成分変換装置９６で合成され、図示しない表示手段に適合した伝送フォーマットに変換され、伸長復号処理装置９から表示手段に出力される。
【００４８】
このように、カメラにより取り込まれた通常の被写体データは、カメラ処理装置で適宜画像処理が行われた上で、符号化処理装置でデータ圧縮され、記録処理装置でメディアに書き込まれる。書き込まれたデータは、再生処理装置で読み出され、データ伸長され、表示手段に出力される。
【００４９】
次に、図２及び図３を参照して、本実施例の特徴となる照度による画像処理を説明する。図２は、非線形色処理装置５７の概略構成ブロック図を示す。５７１は輝度（Ｙ）成分のＬＬ係数を抽出するＬＬ抽出装置、５７２は照度検出装置、５７３は、色差データ（Ｃｂ，Ｃｒ）の変換係数の量子化ステップを周波数帯域別に設定する量子化ステップ調整装置、５７４は輝度データ（Ｙ）の変換係数の周波数別の量子化ステップを、所定量子化ステップの操作量に応じて決定する補正ステップ生成装置である。
【００５０】
図６に示すフローチャートを参照して、低照度時の動作を説明する。
【００５１】
ＬＬ抽出装置５７１は、輝度（Ｙ）成分の低域サブバンド係数ＬＬデータ（図３（ａ）の斜線部分）を抽出する（ステップ２０１０）。照度検出装置５７２は、抽出された係数の平均値Ｙａｖｅを算出し（ステップ２０２０）、所定値Ｙｌと比較する（ステップ２０３０）。ここで、従来例でも述べたように、低照度時は、輝度データの低域成分が小さいので、平均値Ｙａｖｅが所定値Ｙｌと比較して小さければ、低照度と判断することができる。このようなアルゴリズムの判断が照度検出装置５７２でなされたら、量子化ステップ調整装置５７３が、色差データ（Ｃｂ、Ｃｒ）成分の高域側変換係数の量子化ステップ幅Δｈを決定する。通常の量子化ステップは、低域側変換係数Δｌに設定しているΔ（図４）であるが、低照度時には、高域の量子化ステップ幅ΔｈにΔより大きなΔ′を設定する（ステップ２０６０）。ただし、Δ′の情報は、符号化データのヘッダ情報には含めず、符号化側だけの処理となる。そして、色データにおける高域成分の量子化ステップの変更による色バランスのずれを補正するために、補正ステップ生成装置５７４が、輝度データにおける高域成分の量子化ステップの補正量を生成する（ステップ２０７０）。
【００５２】
このように、高域側変換係数を標準より大きな量子化ステップで量子化した場合において、上述した通常の符号化操作を行うケースを、図８及び図９を参照して説明する。復号時の逆量子化処理（図７の逆量子化装置９３ｂ）では、高域側変換係数の逆量子化ステップΔｈも低域側変換係数の逆量子化ステップΔｌと同じく、通常のΔのステップ幅で逆量子化している。つまり、高域側変換係数に対しては、符号化時（Δ′）より復号時の方（Δ）が小さな量子化ステップで逆量子化するので、図８に示すように、逆量子化したときに復元されるレベルが小さくなる。これは、図９（ｃ）に示すように、高域データだけが抑圧された状態で復元されることを意味する。
【００５３】
これにより、低照度時に、色の低域成分は残し、色むらの主要な原因となる高域のノイズ成分のみを抑圧（限定）しているので、不自然な色むらの発生を抑えることができる。
【００５４】
また、本実施例では、色むら除去を高域成分にのみ施しているので、低域の色情報は残っており、低照度でも被写体の色情報を正確に残すことができる。特に、これは、動画から一枚の画像を抜き出して印刷する場合を想定すると、従来のように低照度部分が無彩色化していると視覚的に目立つが、帯域を限定して無彩色処理を行う本実施例では、色の情報が低域係数で残っているので、鑑賞に堪えうる画質の静止画を提供できることになる。
【００５５】
さらに、本実施例では、低照度時にあまり重要でない高域側データを符号化時に粗い量子化ステップ（Δ′）で処理しているので、カメラ側で画像処理したデータを一様な量子化ステップ（Δ）で処理する従来の方法より、符号化効率が向上する。
【００５６】
また、本実施例では、照度検出に符号化時の帯域分割時に生成されるＬＬ画像を利用している点で、従来のカメラ側で処理するとき従来、設けていた専用の検出フィルタが不要になり、低コストになる。
【００５７】
次に、図６を参照して、高照度時の動作を説明する。低照度時と同じように、ＬＬ抽出装置５７１が、輝度（Ｙ）成分の低域サブバンド係数ＬＬデータ（図３（ａ）の斜線部分）を抽出し（ステップ２０１０）、照度検出装置５７２が、抽出された係数の平均値Ｙａｖｅを算出する（ステップ２０２０）。ここで、平均値Ｙａｖｅと所定値Ｙｌと比較し（ステップ２０３０）、大きければ所定値Ｙｈと比較する（ステップ２０４０）。高照度時には、輝度データの低域成分が大きいので、平均値Ｙａｖｅが所定値Ｙｈと比較して大きければ、高照度と判断できる。このようなアルゴリズムの判断が、照度検出装置５７２でなされたら、量子化ステップ調整装置５７３は、色差データ（Ｃｂ、Ｃｒ）成分の低域側変換係数の量子化ステップ幅Δｌを決定する。通常の量子化ステップは、高域側変換係数Δｈに設定しているΔ（図４）であるが、高照度時には、低域の量子化ステップ幅ΔｌにΔより大きなΔ′を設定する（ステップ２０８０）。ただし、Δ′の情報は符号化データのヘッダ情報には含めず、符号化側だけの処理となる。そして、色データにおける低域成分の量子化ステップの変更による色バランスのずれを補正するために、輝度データにおける低域成分の量子化ステップの補正量を、補正ステップ生成装置５７４で生成する（ステップ２０９０）。
【００５８】
このように低域側変換係数を標準より大きな量子化ステップで量子化した場合に、上述した通常の符号化操作を行うケースを、図８及び図９を参照して説明する。復号時の逆量子化処理（図７の逆量子化装置９３ｂ）では、低域側変換係数の逆量子化ステップΔｌも、高域側変換係数の逆量子化ステップΔｈと同じ通常のΔのステップ幅で逆量子化している。つまり、低域側変換係数に対しては、符号化時（Δ′）より復号時の方（Δ）が小さな量子化ステップで逆量子化するので、図８に示すように、逆量子化したときに復元されるレベルが小さくなる。これは、図９（ａ）に示すように、低域データだけが抑圧された状態で復元されることを意味する。
【００５９】
これにより、高照度時には、色の高域成分を残し、色温度の微妙なずれで発生する色うつりの主要な原因となる低域のレベルのみを抑圧（限定）しているので、不自然な色うつりの発生を抑えることができる。
【００６０】
本実施例においては、色うつりの抑圧を低域成分にのみ施しているので、高域の色情報は残っており、高照度でも被写体の色変化の情報を正確に残すことができる。特に、これは、動画から一枚の画像を抜き出して印刷する場合、従来のように高い照度部分を一様に無彩色化してしまうと色の連続性が無くなり、その部分が視覚的に目立つが、帯域を限定して無彩色処理を行う本実施例では、色の変化の情報が高域係数で残っているので、鑑賞に堪えうる画質の静止画を提供できることになる。
【００６１】
さらに、本実施例では、高照度時にあまり変化のない低域側データを、符号化時に粗い量子化ステップ（Δ′）で処理しているので、カメラ側で画像処理したデータを一様な量子化ステップ（Δ）で処理する従来の方法より、符号化効率が向上する。
【００６２】
また、本実施例では、照度検出に符号化時の帯域分割時に生成されるＬＬ画像を利用している点で、カメラ側で処理するときに従来、設けていた専用の検出フィルタが不要になり、低コストになる。
【００６３】
（第２実施例）
図１０は、本発明の第２実施例の概略構成ブロック図を示し、図１１は、図１０に対応する再生系の概略構成ブロック図を示す。この第２実施例では、第１の実施例の圧縮符号化処理装置で行っていた非線形色処理を、伸長復号処理装置で行うようにした。図１０において、従来例（図１６）および第１実施例（図１）と同じ部分のブロックには同じ符号を付してあり、これらの作用の説明は省略する。また、図１１において、第１実施例（図７）と同じ部分のブロックには同じ符号を付してあり、これらの作用の説明は省略する。
【００６４】
１００は非線形色処理を有する伸長復号処理装置、１０１は符号化データのヘッダ情報等から輝度データと色データを抽出するストリーム解析装置、１０２ａは符号化された輝度データを伸長復号するエントロピー復号装置、１０３ａは伸長された量子化データからウェーブレット係数を復元する逆量子化装置、１０４ａは復元されたウェーブレット係数に逆変換を施し、画像データを復元する帯域合成装置、１０５ａはタイル毎に復元された画像データを一枚のフレーム画像に復元するタイル合成装置である。１０２ｂ〜１０５ｂは、色データに対して、輝度データの処理装置９２ａ〜９５ａと同様の処理を施す処理装置である。１０６は、復元された輝度と色の画像データをフレーム画像に合成し、図示しない表示手段に適した信号に変換する成分変換装置である。１０７は非線形色信号処理装置である。
【００６５】
図１０の符号化動作を説明する。従来例と異なるのは、本実施例では、符号化時に色非線形処理を行わないということである。
【００６６】
被写体から集光された光は、撮像装置１１で電気信号に変換され、相関二重サンプル装置１２で読み出される。読み出された信号は、Ａ／Ｄ変換器２１において、ＡＧＣで適度なレベル調整され、Ａ／Ｄ変換される。成分変換装置２２は、Ａ／Ｄ変換器２１から出力されるデジタルデータを輝度系データと色系データに変換する。輝度系データは、表示系に適した輪郭強調が輪郭補正装置７１により施され、表示系の非線形性の逆補正がガンマ補正装置７２で施される。また、色系データは、表示系の非線形性の逆補正がガンマ補正装置７３で施される。以上の画像処理された画像データは、伝送変換装置４１で多重化され、圧縮符号化処理装置２へ送られる。
【００６７】
圧縮符号化処理装置２では、まず、成分変換装置５１が、多重化されたデータを輝度（Ｙ）、色差（Ｃｒ，Ｃｂ）の３つの成分に変換する。変換されたデータは、タイル分割装置５３により１フレームを小領域（タイル）に分割され、帯域分割装置５３により、周波数帯域に分割される。帯域分割され、変換された係数（１ＨＨ、１ＨＬ、１ＬＨ、２ＨＨ、２ＨＬ、２ＬＨ、３ＨＨ、３ＨＬ、３ＬＨ、３ＬＬ）は、量子化装置５４により、所定のステップ幅で量子化される。量子化されたデータは、エントロピー符号化装置５５によりデータ圧縮され、ストリーム形成装置５６は、符号化されたデータをパケット単位のストリーム形式に変換し、記録処理装置３に出力する。記録処理装置３では、書込み前処理装置６１が、各種記録メディアへの書込みのための前処理を行い、書込み処理装置６２が符号化データを不図示の記録メディアへ記憶又は記録する。
【００６８】
次に、図１１を参照して、以上の処理で記録された符号化画像データを読み出す動作を説明する。
【００６９】
読出し処理装置８２が、図示しない各種メディアから符号化データを読出し、読出し後処理装置８１が、所定フォーマットで読み出されたデータから符号化データを抽出する。抽出された符号化データは、伸長復号処理装置１０へと送られる。
【００７０】
伸長復号処理装置１０では、ストリーム解析装置１０１が、符号化データのヘッダ情報を解析して復号に必要な符号化データを読出す。符号化データは、輝度系データと色系データに分けて読出される。
【００７１】
輝度系データ（Ｙ）については、エントロピー復号装置１０２ａが、算術符号化された符号化データを伸長復号化する。復号化された輝度系データは、逆量子化装置１０３ａにより逆量子化され、帯域分割した変換係数（ウェブレット係数）の値に復元される。復元された変換係数は、帯域毎の係数であるので、帯域合成装置１０４ａが、各周波数帯の変換係数を合成（逆ウェーブレット変換）する。合成された変換係数、すなわち、復元された画像データは、１フレームの小領域（タイル）毎に処理されて復元されるので、タイル合成装置１０５ａが、前記処理単位で復元された画像データを１フレーム画像に合成する。
【００７２】
色系データ（Ｃｂ、Ｃｒ）も、輝度系データ（Ｙ）と同様な処理で、処理装置１０２ｂ〜１０５ｂにより処理され、１フレームの画像として復元される。
【００７３】
ただし、逆量子化装置１０３ａ、１０３ｂは、非線形色処理装置１０７により後述するように制御される。
【００７４】
復元された輝度系データと色系データは、成分変換装置１０６で合成され、図示しない表示手段に適合した伝送フォーマットに変換され、伸長復号処理装置１００から表示手段に出力される。
【００７５】
次に、図１２，図１３及び図１４を参照して、本実施例の特徴となる照度による画像処理を説明する。図１２において、１０７１は輝度（Ｙ）成分のＬＬデータを抽出するＬＬ抽出装置、１０７２は照度検出装置、１０７３は、色差データ（Ｃｂ，Ｃｒ）の変換データの逆量子化ステップを周波数帯域別に設定する量子化ステップ調整装置、１０７４は輝度データ（Ｙ）の変換データの周波数別の逆量子化ステップを、所定量子化ステップの操作量に応じて決定する補正ステップ生成装置である。
【００７６】
図１５に示すフローチャートを参照して、低照度時の動作を説明する。ＬＬ抽出装置１０７１が、輝度（Ｙ）成分の低域サブバンドＬＬデータを抽出する（ステップ３０１０）。照度検出装置１０７２が抽出された係数の平均値Ｙａｖｅを算出し（ステップ３０２０）、所定値Ｙｌと比較する（ステップ３０３０）。ここで、低照度時には輝度データの低域成分が小さいので、照度検出装置１０７２でＹｌより小さいと判断されたら、量子化ステップ調整装置１０７３が、色差データ（Ｃｂ、Ｃｒ）成分の高域側変換係数の量子化ステップ幅Δｈを決定する。通常の量子化ステップは、低域側変換係数Δｌに設定しているΔ（図１４）であるが、低照度時には、高域の量子化ステップ幅Δｈに、Δより小さなΔ″を設定する（ステップ３０６０）。そして、色データにおける高域成分の量子化ステップの変更による色バランスのずれを補正するために、輝度データにおける高域成分の量子化ステップの補正量を、補正ステップ生成装置１０７４で生成する（ステップ３０７０）。
【００７７】
このように高域側変換データを標準（Δ）より小さな量子化ステップ（Δ″）で逆量子化した場合に、上述した通常の符号化操作を行うケースを、図１３を参照して説明する。
【００７８】
符号化時の量子化処理（図１０の量子化装置５４ｂ）では、高域側変換係数の逆量子化ステップΔｈも、低域側変換係数の逆量子化ステップΔｌと同じ、通常のΔのステップ幅で量子化している。これを、復号時の逆量子化処理（図１１の逆量子化装置１０３ｂ）では、高域変換データに対しては、符号化時（Δ）より小さな量子化ステップ（Δ″）で逆量子化するので、図１４に示すように、逆量子化したときに復元されるレベルが小さくなる。これは、図１３（ｄ）に示すように、高域データだけが抑圧された状態で復元されることを意味する。
【００７９】
これにより、低照度時には、色の低域成分は残し、色むらの主要な原因となる高域のノイズ成分のみを抑圧（限定）しているので、不自然な色むらの発生を抑えることができる。
【００８０】
また、第２実施例では、第１実施例と同様に、色むら除去を高域成分にのみ施しているので、低域の色情報は残っており、低照度でも被写体の色情報を正確に残すことができる。特に、これは、動画から一枚の画像を抜き出して印刷する場合を想定すると、従来のように低照度部分が無彩色化していると視覚的に目立つが、帯域を限定して無彩色処理を行う本実施例では、色の情報が低域係数で残っているので、鑑賞に堪えうる画質の静止画を提供できることになる。
【００８１】
さらに、本実施例では、照度検出に復号時の帯域合成に必要とされるＬＬデータを利用している点で、カメラ側で処理するときに従来必要であった専用の検出フィルタを省略でき、低コストになる。
【００８２】
次に、図１５を参照して、高照度時の動作を説明する。
【００８３】
低照度時と同じように、ＬＬ抽出装置７０１が、輝度（Ｙ）成分の低域サブバンドＬＬデータを抽出し（ステップ３０１０）、照度検出装置１０７２が、抽出された係数の平均値Ｙａｖｅを算出する（ステップ３０２０）。平均値Ｙａｖｅと所定値Ｙｌを比較し（ステップ３０３０）、大きければ、所定値Ｙｈと比較する（ステップ３０４０）。ここで、高照度時には、輝度データの低域成分が大きいので、平均値Ｙａｖｅが所定値Ｙｈと比較して大きければ、高照度と判断され、量子化ステップ調整装置１０７３は、色差データ（Ｃｂ、Ｃｒ）成分の低域変換データの逆量子化ステップ幅Δｌを決定する。通常の量子化ステップは、高域変換データΔｈに設定しているΔ（図１４）であるが、高照度時には、低域の量子化ステップ幅ΔｌにΔより小さなΔ″を逆量子化ステップに設定する（ステップ３０８０）。そして、色データにおける低域成分の逆量子化ステップの変更による色バランスのずれを補正するために、輝度データにおける低域成分の逆量子化ステップの補正量を、補正ステップ生成装置１０７４で生成する（ステップ３０９０）。
【００８４】
このように、低域変換データを標準（Δ）より小さな量子化ステップ（Δ″）で逆量子化した場合を説明する。
【００８５】
符号化時の量子化処理（図１０の量子化装置５４ｂ）では、低域変換係数の量子化ステップΔｌも、高域変換係数の量子化ステップΔｈと同じ、通常のΔのステップ幅で量子化している。復号時には、低域変換データに対しては符号化時（Δ）より小さな逆量子化ステップ（Δ″）で逆量子化するので、図１４に示すように、逆量子化したときに復元されるレベルが小さくなる。これは、図１３（ａ）に示すように、低域データだけが抑圧された状態で復元されることを意味する。
【００８６】
これにより、高照度時に、色の高域成分を残し、色温度の微妙なずれで発生する色うつりの主要な原因となる低域のレベルのみを抑圧（限定）しているので、不自然な色うつりの発生を抑えることができる。
【００８７】
第２実施例では、第１実施例と同様に、色うつりの抑圧を低域成分にのみ施しているので、高域の色情報は残っており、高照度でも被写体の色変化の情報を正確に残すことができる。特に、これは、動画から一枚の画像を抜き出して印刷する場合を想定すると、従来では、高照度部分を一様に無彩色化して色の連続性が無くなり、その部分が逆に視覚的に目立ってしまうものを、本実施例では、帯域を限定して無彩色処理を行うので、色の変化の情報が高域係数で残っており、その結果、鑑賞に堪えうる画質の静止画を提供できることになる。
【００８８】
また、本実施例では、照度検出に復号時の帯域合成に必要とされるＬＬデータを利用している点で、カメラ側で処理するときに従来例では必要であった専用の検出フィルタを省略でき、コストを低減できる。
【００８９】
以上、これまでに説明した２つの実施例では、照度検出をＬＬ画像又はデータと限っているが、低域データに対して帯域分割を再起的に行って生成されるもっとも深いレベルＬＬ画像又はデータ（図２０（ｄ）の３ＬＬ）及び、その中間で生成される画像又はデータ（２ＬＬ等）のいずれを利用しても、同様の効果が得られるので、その構成も本発明の実施例となる。
【００９０】
さらに、上記２つの実施例では、帯域別のレベル制御を符号化時と復号時に異なる量子化ステップを適応することで実現しているが、単純に変換係数に重みを乗算する回路を設けても、同様の効果が得られるので、その構成も本発明の実施例となる。
【００９１】
さらに、上記２つの実施例では、帯域分割の符号化方式に適応しているが、本発明はこれに限らず、変換操作時に周波数変換されるような符号化方式でも同等の効果が得られ、具体的にはＤＣＴ変換方式による符号化方式を適応した構成も、本発明の実施例となる。
【００９２】
（好ましい実施態様）
以下、本発明の好ましい実施態様を列挙する。
【００９３】
【実施態様１】
画像データを取り込む画像取り込み手段と、
前記画像データを周波数帯域の周波数データに変換する周波数変換手段と、
前記周波数変換手段による周波数データに対して所定の処理を行うデータ処理手段と、
取り込んだ画像の照度を検出する照度検出手段と、
前記照度検出手段の出力に応じて、所定の周波数データに対する前記データ処理手段を変更する手段
とを有することを特徴とする画像圧縮処理装置。
【００９４】
【実施態様２】
前記照度検出手段は、第一の照度より低いことを検出した場合、第一の出力信号を出力し、前記第一の出力信号を受信したデータ処理手段は、周波数の高域データに対して処理を行うことを特徴とする実施態様１に記載の画像圧縮処理装置。
【００９５】
【実施態様３】
前記データ処理手段は、変換データの量子化手段であって、前記第一の出力信号を受信した時には、量子化ステップを変更することを特徴とする実施態様２に記載の画像圧縮処理装置。
【００９６】
【実施態様４】
前記データ処理手段は、変換データの乗算手段であって、前記第一の出力信号を受信した時、通常時より小さな値を乗算することを特徴とする実施態様２に記載の画像圧縮処理装置。
【００９７】
【実施態様５】
前記照度検出手段は、第二の照度より高いことを検出した場合、第二の出力信号を出力し、前記第二の出力信号を受信したデータ処理手段は、周波数の低域データに対して処理を行うことを特徴とする実施態様１に記載の画像圧縮処理装置。
【００９８】
【実施態様６】
前記データ処理手段は、変換データの量子化手段であって、前記第二の出力信号を受信した時には、量子化ステップを変更することを特徴とする実施態様５に記載の画像圧縮処理装置。
【００９９】
【実施態様７】
前記データ処理手段は、変換データの乗算手段であって、前記第二の出力信号を受信した時、通常時より小さな値を乗算することを特徴とする実施態様５に記載の画像圧縮処理装置。
【０１００】
【実施態様８】
前記画像圧縮手段に含まれる周波数帯域に関する変換符号化は、帯域分割符号化、あるいは、ウェーブレット変換符号化であることを特徴とする実施態様１に記載の画像圧縮処理装置。
【０１０１】
【実施態様９】
請求項１において、前記画像圧縮手段に含まれる周波数帯域に関する変換符号化は、離散コサイン変換、あるいは、修正された離散コサイン変換であることを特徴とする実施態様１に記載の画像圧縮処理装置。
【０１０２】
【実施態様１０】
前記照度検出手段は、前記帯域分割符号化時に生成される低域画像データを抽出する手段と、前記データの平均値を算出し第一あるいは第二の所定値と比較する手段を有することを特徴とする実施態様８に記載の画像圧縮処理装置。
【０１０３】
【実施態様１１】
画像データを取り込み、前記画像データを周波数帯域に関する変換符号化処理を含んで画像圧縮し、前記圧縮符号化されたデータを復号する画像複号処理装置であって、
前記変換された周波数データに対して所定の処理を行うデータ処理手段と、
復号化された画像データの照度を検出する照度検出手段と、
前記照度検出手段の出力に応じて、所定の周波数データに対する前記データ処理手段を変更する手段
とを有することを特徴とする画像復号処理装置。
【０１０４】
【実施態様１２】
前期照度検出手段は、第一の照度より低いことを検出した場合、第一の出力信号を出力し、前記第一の出力信号を受信したデータ処理手段は、周波数の高域データに対して処理を行うことを特徴とする実施態様１１に記載の画像復号処理装置。
【０１０５】
【実施態様１３】
前記データ処理手段は、変換データの逆量子化手段であって、第一の出力信号を受信した時、符号化時より小さな量子化ステップで逆量子化することを特徴とする実施態様１２に記載の画像復号処理装置。
【０１０６】
【実施態様１４】
前記データ処理手段は、変換データの乗算手段であって、第一の出力信号を受信した時、通常時より小さな値を乗算することを特徴とする実施態様１２に記載の画像復号処理装置。
【０１０７】
【実施態様１５】
前期照度検出手段は、第二の照度より高いことを検出した場合、第二の出力信号を出力し、前記第二の出力信号を受信したデータ処理手段は、周波数の低域データに対して処理を行うことを特徴とする実施態様１１に記載の画像復号処理装置。
【０１０８】
【実施態様１６】
前記データ処理手段は、変換データの逆量子化手段であって、第二の出力信号を受信した時、符号化時より小さな量子化ステップで逆量子化することを特徴とする実施態様１５に記載の画像復号処理装置。
【０１０９】
【実施態様１７】
前記データ処理手段は、変換データの乗算手段であって、第二の出力信号を受信した時、通常時より小さな値を乗算することを特徴とする実施態様１５に記載の画像復号処理装置。
【０１１０】
【実施態様１８】
前記画像復号手段に含まれる周波数帯域に関する変換符号化は、帯域分割符号化、あるいは、ウェーブレット変換符号化であることを実施態様１１に記載の特徴とする画像復号処理装置。
【０１１１】
【実施態様１９】
前記画像復号手段に含まれる周波数帯域に関する変換符号化は、離散コサイン変換、あるいは、修正された離散コサイン変換であることを特徴とする実施態様１１に記載の画像復号処理装置。
【０１１２】
【実施態様２０】
前記照度検出手段は、前記帯域合成処理に必要な低域画像データを抽出する手段と、前記データの平均値を算出し第一あるいは第二の所定値と比較する手段を有することを特徴とする実施態様１８に記載の画像圧縮処理装置。
【０１１３】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、低照度又は高照度のときに、不自然な色むら又は色写りが発生しない。また、符号化効率が向上する。
【図面の簡単な説明】
【図１】 本発明の第１実施例の符号化記録系の概略構成ブロック図である。
【図２】 非線形処理装置５７の概略構成ブロック図である。
【図３】 照度の異なる画像の周波数分布例である。
【図４】 第１実施例での量子化ステップ幅の説明図である。
【図５】 第１実施例の量子化の説明例である。
【図６】 第１実施例の非線形処理のフローチャートである。
【図７】 図１に対応する再生伸長系の概略構成ブロック図である。
【図８】 復号時の逆量子化の説明図である。
【図９】 復号時の逆量子化処理の説明例である。
【図１０】 第２実施例の符号化記録系の概略構成ブロック図である。
【図１１】 図１０に対応する再生伸長系の概略構成ブロック図である。
【図１２】 非線形色処理装置１０７の概略構成ブロック図である。
【図１３】 非線形色処理の説明例である。
【図１４】 量子化の説明図である。
【図１５】 第２実施例の復号時の非線形色処理のフローチャートである。
【図１６】 従来の符号化記録系の概略構成ブロック図である。
【図１７】 非線形色処理装置３４の概略構成ブロック図である。
【図１８】 従来例での非線形処理の説明例である。
【図１９】 従来の非線形処理特性の例である。
【図２０】 従来の符号化処理の画像データ処理の概念図である。
【図２１】 従来の符号化処理のサブバンド分割の概念図である。
【図２２】 従来の符号化処理の分析フィルタの概念図である。
【図２３】 従来の符号化処理の量子化処理の概念図である。
【図２４】 従来の符号化処理のエントロピー符号化単位の概念図である。
【図２５】 従来の符号化処理のビットプレーン処理の概念図である。
【図２６】 エントロピー符号化処理装置５５ａ及びストリーム形成装置５６の概略構成ブロック図である。
【符号の説明】
１：カメラ処理部
２：圧縮符号化処理装置
３：記録処理装置
４：カメラ処理装置
５：圧縮符号化処理装置
８：再生処理装置
９：伸長復号処理装置
１０：伸長復号処理装置
１１：撮像部
１２：相関二重サンプル（ＣＤＳ）装置
２１：Ａ／Ｄ変換器
２２：成分変換装置
３４：非線形色信号処理装置
３５：ガンマ補正装置
３１：輝度信号色差補正装置
３２：輪郭補正装置
３３：ガンマ補正装置
４１：伝送変換部
５１：成分変換装置
５２ａ，５２ｂ：タイル分割装置
５３ａ，５３ｂ：帯域分割装置
５４ａ：輝度系量子化装置
５４ｂ：色系量子化装置
５５ａ，５５ｂ：エントロピー符号化装置
５６：ストリーム形成装置
５７：非線形色信号処理装置
６１：書込み前処理装置
６２：書込み処理装置
７０：画像処理装置
７１：輝度系の輪郭補正装置
７２：輝度系のガンマ補正装置
７３：色系のガンマ補正装置
８１：後処理装置
８２：読出し処理装置
９１：ストリーム解析装置
９２ａ，９２ｂ：エントロピー復号装置
９３ａ，９３ｂ：逆量子化装置
９４ａ，９４ｂ：帯域合成装置
９５ａ，９５ｂ：タイル合成装置
９６：成分変換装置
１００：伸長復号処理装置
１０１：ストリーム解析装置
１０２ａ，１０２ｂ：エントロピー復号装置
１０３ａ，１０３ｂ：逆量子化装置
１０４ａ，１０４ｂ：帯域合成装置
１０５ａ，１０５ｂ：タイル合成装置
１０６：成分変換装置
１０７：非線形色信号処理装置
３４１：ローパスフィルタ
３４２：照度検出装置
３４３：ゲイン補正装置
３４４：補正信号生成装置
５３０：入力端子
５３１：水平サブバンド分割装置
５３２：垂直サブバンド分割装置
５３３：垂直サブバンド分割装置
５３４：水平サブバンド分割装置
５３５，５３６：垂直サブバンド分割装置
５５１ａ：符号化モデル装置
５５２ａ：算術符号化装置
５６１：ΔＲ／ΔＤ算出部
５６２：レイヤ判定装置
５６３：ワークメモリ
５６４：パケット生成装置
５７１：輝度系ＬＬデータ抽出装置
５７２：照度検出装置
５７３：量子化ステップ調整装置
５７４：補正ステップ生成装置
１０７１：ＬＬ抽出装置
１０７２：照度検出装置
１０７３：量子化ステップ調整装置
１０７４：補正ステップ生成装置
【発明の属する技術分野】
本発明は、画像信号を周波数帯域に変換して圧縮符号化する画像処理装置及び画像復号処理装置に関する。
【０００２】
【従来の技術】
近年のデジタルビデオカメラやデジタルスチルカメラは、撮像素子の感度も高く、デジタル変換時のＡＧＣの最高ゲインを非常に高く設定することが可能になっている。
【０００３】
このようなシステムでは、被写体の色温度が予め設定された撮像素子色温度からわずかにずれた場合でも、被写体の照度によるゲインの設定の高低で、色バランスの崩れが顕著に現れる可能性が大きい。結果として、低照度の画像でノイズ成分による不自然な色つきが発生する。また逆に、高輝度の画像では、本来白い色の部分が、青みがかったり赤みがかったりする様な現象がおきる。そこで、従来のカメラでは、色信号処理系に対して色抑圧処理を施し、不自然な色つき現象を回避している。
【０００４】
図１６を参照して、これらの動作を説明する。図１６において、カメラ処理部１は増幅部１０、前処理部２０、画像処理部３０、後処理部４０から構成される。具体的な動作として、被写体は、図示しないレンズ光学系で集光され撮像部１１で電気信号に変換される。撮像部１１から出力される電気信号を、相関二重サンプル（ＣＤＳ）装置１２で、撮像素子のリセットノイズやアンプノイズ等の同相ノイズを除去して、増幅する。増幅された電気信号は画像信号として、Ａ／Ｄ変換器２１に入力され、信号レベルが所定の大きさになるように自動電圧利得調整（ＡＧＣ）され、デジタルデータに変換される。ここで、ＡＧＣは、主に画像の明るさを示す図示しない信号に基づいて制御される。つまり、取り込まれた被写体画像の照度が低い場合は、信号が所定の大きさになるように高いゲインが設定され、逆に照度が高い場合は、小さなゲインが設定される。このような動作は、ＡＤ変換のダイナミックレンジを有効に利用することを可能にする。
【０００５】
成分変換装置２２は、Ａ／Ｄ変換器２１からの画像データを輝度系データと色系データに分解する。色系データは、先に説明した照度による色抑圧処理を非線形色信号処理装置３４で施した後に、ガンマ補正装置３５で表示系特性に適したデータに補正される。非線形色信号処理装置３４の詳細については、後述する。一方、輝度系データについては、色データの色抑圧処理による輝度系データの補正が輝度信号色差補正装置３１により施される。ここでは、色系データの補正による色バランスの崩れを吸収する処理となる。色差補正された輝度データは、さらに、輪郭補正装置３２で表示に適したエッジ強調処理が行なわれ、ガンマ補正装置３３で表示に適したデータに補正される。なお、このようなカメラの構成は、例えば【特許文献１】に開示されている。
【０００６】
以上のように処理された輝度系データと色系データは、伝送変換部４１でデジタル伝送規格等にのっとって多重化され、圧縮符号化処理装置２に転送される。
【０００７】
ここで、非線形色処理装置３４の詳細を図１７に示す。輝度系信号に対して、ローパスフィルタ３４１で低域成分を抽出する。抽出された低域成分から照度検出装置３４２で画像の照度を検出する。輝度系データには、画面の一部が明るいような明るさの変化が激しい部分を示すデータと、画面全体的の明るさを示すデータが含まれている。前者のデータは高域成分に多く含まれ、後者のデータは低域成分に多く含まれる。従って、前述したように、画面の照度は、輝度系データの低域成分を抽出し、所定値と比較することで検出できる。
【０００８】
図１８（ａ）〜（ｃ）は、輝度データの周波数分布の模式図を示す。図１８（ｂ）は、通常の画像で、図１８（ａ）は照度が高い画像、図１８（ｃ）は照度が低い画像をそれぞれ示している。一般に、照度が下がっても、高域部分のデータ（明暗の変化が激しい部分）は、低域ほど変化しない様子も表現している。この図からも、低域データ（図中の斜線部分）で照度を検出することが有効であることが分かる。
【０００９】
ここで、図１８（ｃ）の低照度の場合の動作を図１７を用いて説明する。照度検出装置３４２は、輝度系データの低域成分が所定値より小さい場合、低照度と検出し、色系データのゲイン補正装置３４３を、図１９に示すように、照度が所定値以下の領域では、色成分の影響を小さくする（ゲインを小さくする）ように制御する。この処理により、色データを特定の色（通常は、無彩色）に制限している。補正信号生成装置３４４は、この特定の色が無彩色になるような色バランスを実現するための輝度系データの補正信号を生成し、輝度系処理の輝度色差補正装置３１に供給する。
【００１０】
先に述べたように、低照度の画像に対して、ＡＧＣ等で高いゲインが設定されるので、ノイズ成分も増幅してしまう。そのノイズ成分が色系データにのっていると、被写体に本来存在しない不自然な色むらが発生する。しかしながら、上記処理により、所定値以下の照度に対して色系レベルを一様に制限する非線形処理を施してしまえば、不自然な色むらが発生せず、輝度系データの明暗だけの画像になるので、視覚的には良好な画像データが得られる。
【００１１】
次に、図１８（ａ）に示す高照度の場合の動作を図１７を用いて説明する。照度検出装置３４２は、輝度系データの低域成分が所定値より大きい場合、高照度と検出し、色系データのゲイン補正装置３４３を、図１９に示すように、照度が所定値以上の領域では、色成分の影響を小さくする（ゲインを小さくする）ように制御する。この処理により、色データを特定の色（通常は白色）に制限している。補正信号生成装置３４４は、この特定の色が白色になるような色バランスを実現するための輝度系データの補正信号を生成し、輝度系処理の輝度色差補正装置３１に供給する。
【００１２】
先に述べたように、高照度の画像に対しては、ＡＧＣ等で低いゲインが設定されるが、色系データのレベルそのものが大きいので、色温度の変化によるわずかなホワイトバランスの狂いが増長され、青みがかったり、赤みがかったりして、変な色ずれが発生する。しかし、以上の処理により、所定値以上の照度に対して、色系レベルを一様に制限（抑圧）する非線形処理を施してしまえば、不自然な色つきは発生せず、輝度系データの明暗だけの画像になるので、視覚的には良好な画像データが得られる。
【００１３】
次に、図１６に戻って、後段の画像データの圧縮符号化処理装置２について説明する。圧縮方式としては、帯域分割変換を用いた圧縮方式であるＪＰＥＧ２０００を例にとって説明する。
【００１４】
成分変換装置５１は、カメラ処理部１から送られた画像データを受け、画像圧縮処理の成分（Ｙ，Ｃｂ，Ｃｒ）に変換する。図２０は、各成分Ｙ，Ｃｂ，Ｃｒのフレーム内の構成とタイル分割の様子を示す。輝度成分（Ｙ）に対して、タイル分割装置５２ａは、１フレーム画像を所定の大きさの小領域（タイル）に分割する（図２０（ｂ））。帯域分割装置５３ａは、各タイル単位で、画像データを周波数帯域成分に分割する（図２０（ｄ））。後述するように、ＪＰＥＧ２０００では、高域と低域の帯域分割とダウンサンプルを同時に処理する離散ウェーブレット変換を利用しており、低域データに対しては再起的に同処理を繰り返し行うので、低い周波数帯域のデータ（３ＬＬ）から高い周波数のデータ（１ＨＨ）まで、図２０（ｄ）に示すような変換係数の並びになる。
【００１５】
図２１を参照して、ウェーブレット変換の動作を説明する。タイル単位の画素データが入力端子５３０に入力されると、まず、水平サブバンド分割装置５３１が水平画素方向にフィルタ分割する。図２２は、フィルタ分割の様子を模式的に示す。水平方向画素の周波数分布を図２２（ａ）に実線で示す。このような分布の画素に対して、破線で示す低域フィルタと高域フィルタを乗ずると、低域成分（図２２（ｂ））と高域成分（図２２（ｃ））が抽出される。これらの抽出作業と同時に、ダウンサンプル処理を行うことが可能なリフティング演算で、ウェーブレット変換は実現されており、水平サブバンド分割装置５３１による水平サブバンド分割の後、画像データは、水平方向の低域係数（Ｌ）と高域係数（Ｈ）に分割される。さらに、これらの係数データに対して、垂直方向に同じ処理を行うことにより、一階層分のウェーブレット変換処理が終了する。
【００１６】
図２１において、水平サブバンド分割装置５３１で生成された水平方向の高域係数（Ｈ）は、垂直サブバンド分割装置５３２により、低域係数（１ＨＬ）と高域係数（１ＨＨ）に変換される。水平サブバンド分割装置５３１で生成された水平方向の低域成分（Ｌ）は、垂直サブバンド分割装置５３３により低域係数（Ｌ）と高域係数（１ＬＨ）に変換される。さらに、垂直サブバンド分割装置５３３で生成された低域成分（Ｌ）は、水平サブバンド分割装置５３４により、水平方向の低域係数（Ｌ）と高域係数（Ｈ）に分割される。以上の各係数は、垂直サブバンド分割装置５３６，５３５により、垂直方向の低域係数（Ｌ）と高域係数（Ｈ）に分割されて、２ＨＨ、２ＨＬ、２ＬＨ及び２ＬＬの各係数に変換される。２ＬＬの係数に対して、図２１では不図示としたが、更に水平・垂直方向にウェーブレット変換を施すと、３ＨＨ、３ＨＬ、３ＬＨ及び３ＬＬの係数に変換できる。この結果として、変換された係数は図２０（ｄ）のようになる。
【００１７】
図１６に戻り、帯域分割装置５３ａで変換されたデータ（ウェーブレット係数）は、量子化装置５４ａで量子化され、所定ビット長のデジタルデータに変換される。係数量子化は、図２３に示すように、所定の量子化ステップ幅Δで、図２３（ａ）に示す変換係数を、図２３（ｂ）に示すように量子化する。このようにして、図２４（ａ）の如きサブバンドを量子化して得られたデータは、図２４（ｂ）に示すような所定数（例えば、１６×１６）の画素でまとめられたコードブロックといわれる処理単位（図２４（ｃ））で、エントロピー符号化装置５５ａで処理される。エントロピー符号化装置５５ａは、後述するように、各コードブロックをビットプレーン単位で算術符号化し、データ圧縮を実現する。
【００１８】
以上の輝度成分（Ｙ）に対して行った処理と同様の処理を、色差成分（Ｃｒ、Ｃｂ）に対しても装置５２ｂ〜５５ｂにより実行する。処理内容は同じなので、説明は省略する。
【００１９】
ストリーム形成装置５６は、以上のように成分毎に符号化されたデータを所定のパケット単位でまとめ、並び替えた後、ヘッダ情報等を付加し、データストリームを形成する。生成されたデータストリームは、記録処理装置３へ送られる。記録処理装置３では、書込み前処理装置６１が、データストリームを書込みメディアに適した形に変換する前処理を行い、書込み処理装置６２が、テープ、ディスクメディア又はメモリーカード等の記録媒体にデータを書き込む。
【００２０】
図２６を参照して、エントロピー符号化処理装置５５とストリーム形成処理装置５６の作用を説明する。
【００２１】
先に述べたように、エントロピー符号化は、図２５（ａ）に示すように、コードブロック単位の画像データを同一ビット深さ平面単位で、上位ビットから下位ビットへと処理していく。各ビット平面では、図２５（ａ）に矢印で示すように、垂直４画素単位に横にスキャンする。符号化モデル装置５５１ａは、１ビットにつき３回、行われる上記スキャンで、それぞれのビットを１９のモデルに分類し、二値化データに変換する。算術符号化装置５５２ａは、装置５５１ａからの二値化データを高能率算術符号化でデータ圧縮する。
【００２２】
装置５５２ａにより得られた符号化データは、上位ビットから下位ビットに符号化されているので、画質に与える影響度の大きい順に、符号化していることになる。そこで、図２５（ｂ）に示すように、この影響度を所定値で区切ってグループすることが可能となる。
【００２３】
ΔＲ／ΔＤ算出部５６１は、コードブロックの符号化されたビットプレーン単位で画質への影響度を算出し、レイヤ判定装置５６２は、所定値（Ｔｈ１〜Ｔｈ８）と比較することでどのレイヤのデータであるかを判定し、コードブロックの符号化されたビットプレーン単位のデータとともにワークメモリ５６３に記憶する。符号化されたデータは、同じレイヤ単位に、ワークメモリ５６３からコードブロックの符号化されたデータ単位で読み出され、パケット生成装置５６４により、ヘッダ情報が付加されてパケット化される。
【００２４】
このように、パケットデータは、同一の画質（レイヤ）と画素数（サブバンド）をまとめているので、パケットデータの抽出方法によって、所定の画質で所定の画素数となる画像データを復号することが可能となる。
【００２５】
以上、ＪＰＥＧ２０００圧縮符号化例にとったカメラシステムで説明してきたが、一般のデジタルカメラシステムでは、被写体の照度により画質補正を一様にかけるような非線形処理を色系データに施すことにより、低照度又は高照度の画像でも、不自然な色むらや色写りが発生しないようにしている。
【００２６】
【特許文献１】
特開平１１−３１３３３８号公報
【００２７】
【発明が解決しようとする課題】
しかし、低照度時の色むらは、低域の信号レベルに対して高域のノイズ成分が大きくなるために発生する問題である。この対策として、高域のノイズ成分による変動を相殺するために、全帯域の信号レベルを一様に限定してしまっている。その結果、本来、低照度でも色があるべき被写体に対しても、無彩色の画像補正をかけてしまっていることになる。
【００２８】
また、高照度時の色写りは、低域の信号レベルの絶対値が大きいので、わずかな色のずれが過大に影響を受けてしまって発生している問題である。この対策として、低域信号レベルを抑圧するために、全体帯域の信号レベルを一様に限定してしまっている。その結果、本来、高照度時でも色変化があるべき被写体に対しても、無彩色の画像補正をかけてしまっていることになる。
【００２９】
つまり、従来の方法は、被写体が本来持っている情報を、視覚的効果のために削除していることになる。
【００３０】
さらに、上記のように圧縮符号化を前提とするビデオカメラシステムについて考えてみると、圧縮符号化のために周波数帯域等の変換操作をしている場合が多い。このようなシステムでは、変換係数の操作等により、容易に周波数帯域成分に分けてデータを加工することが可能であるのに、その利点を生かしていない。
【００３１】
逆に、従来の方法では、カメラ処理ブロック内で周波数帯域に対して一様な抑制処理を施しているので、被写体として本来もつべき画像情報を、圧縮符号化の段階では復元することができない構成になっている。
【００３２】
本発明は、このような不都合を解消した画像処理装置及び画像復号処理装置を提示することを目的とする。
【００３３】
【課題を解決するための手段】
以上の問題を解決するために、本発明に係る画像処理装置は、画像データを取り込み、前記画像データを周波数帯域に関する変換符号化処理を含んで画像圧縮する画像処理装置であって、前記画像データに含まれる輝度データと色データをそれぞれ周波数帯域で表わされる周波数データに変換する周波数変換手段と、前記周波数変換手段によって変換された周波数データに対して、周波数帯域別に異なる処理を実行可能なデータ処理手段と、取り込んだ前記画像データから照度を検出する照度検出手段とを備え、前記照度検出手段によって検出された照度の値が所定値よりも低い低照度の場合、前記データ処理手段は、前記色データから変換された周波数データの高周波帯域のデータを抑圧するよう処理することを特徴とする。
本発明に係る画像処理装置は、画像データを取り込み、前記画像データを周波数帯域に関する変換符号化処理を含んで画像圧縮する画像処理装置であって、前記画像データに含まれる輝度データと色データをそれぞれ周波数帯域で表わされる周波数データに変換する周波数変換手段と、前記周波数変換手段によって変換された周波数データに対して、周波数帯域別に異なる処理を実行可能なデータ処理手段と、取り込んだ前記画像データから照度を検出する照度検出手段とを備え、前記照度検出手段によって検出された照度の値が所定値よりも高い高照度の場合、前記データ処理手段は、前記色データから変換された周波数データの低周波帯域のデータを抑圧するよう処理することを特徴とする。
本発明に係る画像復号処理装置は、周波数帯域に関する変換符号化処理を含んで画像圧縮された符号化画像データを復号する画像復号処理装置であって、前記符号化画像データから復元された輝度データ及び色データに係る周波数データに対して、周波数帯域別に異なる処理を実行可能なデータ処理手段と、前記符号化画像データから照度を検出する照度検出手段とを備え、前記照度検出手段によって検出された照度の値が所定値よりも低い低照度の場合、前記データ処理手段は、前記色データに係る周波数データの高周波帯域のデータを抑圧するよう処理することを特徴とする。
本発明に係る画像復号処理装置は、周波数帯域に関する変換符号化処理を含んで画像圧縮された符号化画像データを復号する画像復号処理装置であって、前記符号化画像データから復元された輝度データ及び色データに係る周波数データに対して、周波数帯域別に異なる処理を実行可能なデータ処理手段と、前記符号化画像データから照度を検出する照度検出手段とを備え、前記照度検出手段によって検出された照度の値が所定値よりも高い高照度の場合、前記データ処理手段は、前記色データに係る周波数データの低周波帯域のデータを抑圧するよう処理することを特徴とする。
【００３４】
【発明の実施の形態】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【００３５】
（第１実施例）
図１は、本発明の第１実施例であるビデオカメラの概略構成ブロック図である。従来例と同じ部分のブロックには同じ符号を付してあり、その詳細な説明は省略する。４はカメラ処理装置である。７０はカメラ処理における画像処理装置、７１は表示系の輪郭を補正する輝度系の輪郭補正装置、７２は表示系の非線形性を補正する輝度系のガンマ補正装置、７３は表示系の非線形性を補正する色系のガンマ補正装置である。５は圧縮符号化処理装置、５７は非線形色信号処理装置である。
【００３６】
従来例と異なるのは、非線形色信号処理を、カメラ処理から圧縮符号化処理に移していることであり、カメラ処理装置４の画像処理装置７０から非線形色信号処理と輝度色差補正処理が削除され、圧縮符号化処理装置５に非線形色信号処理装置５７が追加されている。
【００３７】
まず、通常時における被写体の画像データの処理を説明する。
【００３８】
被写体から集光された光は、撮像装置１１により電気信号に変換され、相関二重サンプル装置１２で読み出される。読み出された信号は、Ａ／Ｄ変換器２１において、ＡＧＣにより適度なレベル調整された後、ＡＤ変換される。成分変換装置２２は、Ａ／Ｃ変換器２１の出力デジタルデータを輝度系データと色系データに変換する。輝度系データは、表示系に適した輪郭強調を輪郭補正装置７１で施され、表示系の非線形性の逆補正をガンマ補正装置７２で施される。また、色系データは、表示系の非線形性の逆補正をガンマ補正装置７３で施される。以上の画像処理を施された画像データは、伝送変換装置４１で多重化され、圧縮符号化処理装置５へ送られる。
【００３９】
圧縮符号化処理装置５では、まず、成分変換装置５１が、多重化されたデータを輝度（Ｙ）及び２つの色差（Ｃｒ，Ｃｂ）の３成分に変換する。変換されたデータは、タイル分割装置５２ａ，５２ｂにより１フレームを小領域（タイル）に分割され、帯域分割装置５３ａ，５３ｂにより、周波数帯域に分割される。帯域分割され変換された係数（１ＨＨ、１ＨＬ、１ＬＨ、２ＨＨ、２ＨＬ、２ＬＨ、３ＨＨ、３ＨＬ、３ＬＨ、３ＬＬ）は、量子化装置５４ａ，５４ｂにより、所定のステップ幅で量子化される。量子化されたデータは、エントロピー符号化装置５５ａ，５５ｂによりデータ圧縮される。符号化されたデータは、ストリーム形成装置５６によりパケット単位のストリーム形式に変換され、記録処理装置３に印加される。
【００４０】
記録処理装置３では、書込み前処理装置６１が、各種記録メディアへの書込みのための前処理を行い、その出力である符号化データが、書込み処理装置６２により不図示の記録メディアに記憶又は記録される。
【００４１】
次に、以上の処理で記録された符号化画像データを読み出す動作を説明する。図７は、再生系の概略構成ブロック図を示す。８はデータを読出す再生処理装置、９は読出されたデータを復号する伸長復号処理装置である。８２は記録メディア等からデータを読出す読出し処理装置、８１は読出されたデータから符号化データを抽出する後処理装置である。
【００４２】
９１は符号化データのヘッダ情報等から輝度データと色データを抽出するストリーム解析装置である。９２ａは符号化された輝度データを伸長復号するエントロピー復号装置、９３ａは伸長された量子化データからウェーブレット係数を復元する逆量子化装置、９４ａは復元されたウェーブレット係数に逆変換を施し、画像データを復元する帯域合成装置、９５ａはタイル毎に復元された画像データを一枚のフレーム画像に復元するタイル合成装置である。９２ｂ〜９５ｂは、色データに対して、輝度データの処理装置９２ａ〜９５ａに対応する処理を行う装置である。９６は、復元された輝度と色のフレーム画像合成し、図示しない表示手段に適した信号に変換する成分変換装置である。
【００４３】
以上の構成において、符号化されたデータを復元する動作を説明する。図示しない各種メディアより符号化データを読出し処理装置８２で読出し、所定フォーマットで読み出されたデータから符号化データを読出し後処理装置８１で抽出する。抽出された符号化データは、伸長復号処理装置９へ供給される。
【００４４】
伸長復号処理装置９では、ストリーム解析装置９１が、符号化データのヘッダ情報を解析して、復号に必要な符号化データを読出す。符号化データは、輝度系データと色系データに分けて読出される。
【００４５】
輝度系データ（Ｙ）については、エントロピー復号装置９２ａが、算術符号化された符号化データを伸長復号化する。復号化された輝度系データは、逆量子化装置９３ａで逆量子化され、帯域分割した変換係数（ウェーブレット係数）の値に復元される。復元された変換係数は、帯域毎の係数であるので、帯域合成装置９４ａが、各周波数帯の変換係数を合成（逆ウェーブレット変換）する。合成された変換係数、すなわち、復元された画像データは、１フレームの小領域（タイル）毎に処理されて復元されるので、タイル合成装置９５ａが、タイル単位で復元された画像データを１フレーム画像に合成する。
【００４６】
同様に、色系データ（Ｃｂ、Ｃｒ）も、輝度系データ（Ｙ）と同様に、処理装置９２ｂ〜９５ｂで処理され、１フレームの画像として復元される。
【００４７】
復元された輝度系データと色系データは、成分変換装置９６で合成され、図示しない表示手段に適合した伝送フォーマットに変換され、伸長復号処理装置９から表示手段に出力される。
【００４８】
このように、カメラにより取り込まれた通常の被写体データは、カメラ処理装置で適宜画像処理が行われた上で、符号化処理装置でデータ圧縮され、記録処理装置でメディアに書き込まれる。書き込まれたデータは、再生処理装置で読み出され、データ伸長され、表示手段に出力される。
【００４９】
次に、図２及び図３を参照して、本実施例の特徴となる照度による画像処理を説明する。図２は、非線形色処理装置５７の概略構成ブロック図を示す。５７１は輝度（Ｙ）成分のＬＬ係数を抽出するＬＬ抽出装置、５７２は照度検出装置、５７３は、色差データ（Ｃｂ，Ｃｒ）の変換係数の量子化ステップを周波数帯域別に設定する量子化ステップ調整装置、５７４は輝度データ（Ｙ）の変換係数の周波数別の量子化ステップを、所定量子化ステップの操作量に応じて決定する補正ステップ生成装置である。
【００５０】
図６に示すフローチャートを参照して、低照度時の動作を説明する。
【００５１】
ＬＬ抽出装置５７１は、輝度（Ｙ）成分の低域サブバンド係数ＬＬデータ（図３（ａ）の斜線部分）を抽出する（ステップ２０１０）。照度検出装置５７２は、抽出された係数の平均値Ｙａｖｅを算出し（ステップ２０２０）、所定値Ｙｌと比較する（ステップ２０３０）。ここで、従来例でも述べたように、低照度時は、輝度データの低域成分が小さいので、平均値Ｙａｖｅが所定値Ｙｌと比較して小さければ、低照度と判断することができる。このようなアルゴリズムの判断が照度検出装置５７２でなされたら、量子化ステップ調整装置５７３が、色差データ（Ｃｂ、Ｃｒ）成分の高域側変換係数の量子化ステップ幅Δｈを決定する。通常の量子化ステップは、低域側変換係数Δｌに設定しているΔ（図４）であるが、低照度時には、高域の量子化ステップ幅ΔｈにΔより大きなΔ′を設定する（ステップ２０６０）。ただし、Δ′の情報は、符号化データのヘッダ情報には含めず、符号化側だけの処理となる。そして、色データにおける高域成分の量子化ステップの変更による色バランスのずれを補正するために、補正ステップ生成装置５７４が、輝度データにおける高域成分の量子化ステップの補正量を生成する（ステップ２０７０）。
【００５２】
このように、高域側変換係数を標準より大きな量子化ステップで量子化した場合において、上述した通常の符号化操作を行うケースを、図８及び図９を参照して説明する。復号時の逆量子化処理（図７の逆量子化装置９３ｂ）では、高域側変換係数の逆量子化ステップΔｈも低域側変換係数の逆量子化ステップΔｌと同じく、通常のΔのステップ幅で逆量子化している。つまり、高域側変換係数に対しては、符号化時（Δ′）より復号時の方（Δ）が小さな量子化ステップで逆量子化するので、図８に示すように、逆量子化したときに復元されるレベルが小さくなる。これは、図９（ｃ）に示すように、高域データだけが抑圧された状態で復元されることを意味する。
【００５３】
これにより、低照度時に、色の低域成分は残し、色むらの主要な原因となる高域のノイズ成分のみを抑圧（限定）しているので、不自然な色むらの発生を抑えることができる。
【００５４】
また、本実施例では、色むら除去を高域成分にのみ施しているので、低域の色情報は残っており、低照度でも被写体の色情報を正確に残すことができる。特に、これは、動画から一枚の画像を抜き出して印刷する場合を想定すると、従来のように低照度部分が無彩色化していると視覚的に目立つが、帯域を限定して無彩色処理を行う本実施例では、色の情報が低域係数で残っているので、鑑賞に堪えうる画質の静止画を提供できることになる。
【００５５】
さらに、本実施例では、低照度時にあまり重要でない高域側データを符号化時に粗い量子化ステップ（Δ′）で処理しているので、カメラ側で画像処理したデータを一様な量子化ステップ（Δ）で処理する従来の方法より、符号化効率が向上する。
【００５６】
また、本実施例では、照度検出に符号化時の帯域分割時に生成されるＬＬ画像を利用している点で、従来のカメラ側で処理するとき従来、設けていた専用の検出フィルタが不要になり、低コストになる。
【００５７】
次に、図６を参照して、高照度時の動作を説明する。低照度時と同じように、ＬＬ抽出装置５７１が、輝度（Ｙ）成分の低域サブバンド係数ＬＬデータ（図３（ａ）の斜線部分）を抽出し（ステップ２０１０）、照度検出装置５７２が、抽出された係数の平均値Ｙａｖｅを算出する（ステップ２０２０）。ここで、平均値Ｙａｖｅと所定値Ｙｌと比較し（ステップ２０３０）、大きければ所定値Ｙｈと比較する（ステップ２０４０）。高照度時には、輝度データの低域成分が大きいので、平均値Ｙａｖｅが所定値Ｙｈと比較して大きければ、高照度と判断できる。このようなアルゴリズムの判断が、照度検出装置５７２でなされたら、量子化ステップ調整装置５７３は、色差データ（Ｃｂ、Ｃｒ）成分の低域側変換係数の量子化ステップ幅Δｌを決定する。通常の量子化ステップは、高域側変換係数Δｈに設定しているΔ（図４）であるが、高照度時には、低域の量子化ステップ幅ΔｌにΔより大きなΔ′を設定する（ステップ２０８０）。ただし、Δ′の情報は符号化データのヘッダ情報には含めず、符号化側だけの処理となる。そして、色データにおける低域成分の量子化ステップの変更による色バランスのずれを補正するために、輝度データにおける低域成分の量子化ステップの補正量を、補正ステップ生成装置５７４で生成する（ステップ２０９０）。
【００５８】
このように低域側変換係数を標準より大きな量子化ステップで量子化した場合に、上述した通常の符号化操作を行うケースを、図８及び図９を参照して説明する。復号時の逆量子化処理（図７の逆量子化装置９３ｂ）では、低域側変換係数の逆量子化ステップΔｌも、高域側変換係数の逆量子化ステップΔｈと同じ通常のΔのステップ幅で逆量子化している。つまり、低域側変換係数に対しては、符号化時（Δ′）より復号時の方（Δ）が小さな量子化ステップで逆量子化するので、図８に示すように、逆量子化したときに復元されるレベルが小さくなる。これは、図９（ａ）に示すように、低域データだけが抑圧された状態で復元されることを意味する。
【００５９】
これにより、高照度時には、色の高域成分を残し、色温度の微妙なずれで発生する色うつりの主要な原因となる低域のレベルのみを抑圧（限定）しているので、不自然な色うつりの発生を抑えることができる。
【００６０】
本実施例においては、色うつりの抑圧を低域成分にのみ施しているので、高域の色情報は残っており、高照度でも被写体の色変化の情報を正確に残すことができる。特に、これは、動画から一枚の画像を抜き出して印刷する場合、従来のように高い照度部分を一様に無彩色化してしまうと色の連続性が無くなり、その部分が視覚的に目立つが、帯域を限定して無彩色処理を行う本実施例では、色の変化の情報が高域係数で残っているので、鑑賞に堪えうる画質の静止画を提供できることになる。
【００６１】
さらに、本実施例では、高照度時にあまり変化のない低域側データを、符号化時に粗い量子化ステップ（Δ′）で処理しているので、カメラ側で画像処理したデータを一様な量子化ステップ（Δ）で処理する従来の方法より、符号化効率が向上する。
【００６２】
また、本実施例では、照度検出に符号化時の帯域分割時に生成されるＬＬ画像を利用している点で、カメラ側で処理するときに従来、設けていた専用の検出フィルタが不要になり、低コストになる。
【００６３】
（第２実施例）
図１０は、本発明の第２実施例の概略構成ブロック図を示し、図１１は、図１０に対応する再生系の概略構成ブロック図を示す。この第２実施例では、第１の実施例の圧縮符号化処理装置で行っていた非線形色処理を、伸長復号処理装置で行うようにした。図１０において、従来例（図１６）および第１実施例（図１）と同じ部分のブロックには同じ符号を付してあり、これらの作用の説明は省略する。また、図１１において、第１実施例（図７）と同じ部分のブロックには同じ符号を付してあり、これらの作用の説明は省略する。
【００６４】
１００は非線形色処理を有する伸長復号処理装置、１０１は符号化データのヘッダ情報等から輝度データと色データを抽出するストリーム解析装置、１０２ａは符号化された輝度データを伸長復号するエントロピー復号装置、１０３ａは伸長された量子化データからウェーブレット係数を復元する逆量子化装置、１０４ａは復元されたウェーブレット係数に逆変換を施し、画像データを復元する帯域合成装置、１０５ａはタイル毎に復元された画像データを一枚のフレーム画像に復元するタイル合成装置である。１０２ｂ〜１０５ｂは、色データに対して、輝度データの処理装置９２ａ〜９５ａと同様の処理を施す処理装置である。１０６は、復元された輝度と色の画像データをフレーム画像に合成し、図示しない表示手段に適した信号に変換する成分変換装置である。１０７は非線形色信号処理装置である。
【００６５】
図１０の符号化動作を説明する。従来例と異なるのは、本実施例では、符号化時に色非線形処理を行わないということである。
【００６６】
被写体から集光された光は、撮像装置１１で電気信号に変換され、相関二重サンプル装置１２で読み出される。読み出された信号は、Ａ／Ｄ変換器２１において、ＡＧＣで適度なレベル調整され、Ａ／Ｄ変換される。成分変換装置２２は、Ａ／Ｄ変換器２１から出力されるデジタルデータを輝度系データと色系データに変換する。輝度系データは、表示系に適した輪郭強調が輪郭補正装置７１により施され、表示系の非線形性の逆補正がガンマ補正装置７２で施される。また、色系データは、表示系の非線形性の逆補正がガンマ補正装置７３で施される。以上の画像処理された画像データは、伝送変換装置４１で多重化され、圧縮符号化処理装置２へ送られる。
【００６７】
圧縮符号化処理装置２では、まず、成分変換装置５１が、多重化されたデータを輝度（Ｙ）、色差（Ｃｒ，Ｃｂ）の３つの成分に変換する。変換されたデータは、タイル分割装置５３により１フレームを小領域（タイル）に分割され、帯域分割装置５３により、周波数帯域に分割される。帯域分割され、変換された係数（１ＨＨ、１ＨＬ、１ＬＨ、２ＨＨ、２ＨＬ、２ＬＨ、３ＨＨ、３ＨＬ、３ＬＨ、３ＬＬ）は、量子化装置５４により、所定のステップ幅で量子化される。量子化されたデータは、エントロピー符号化装置５５によりデータ圧縮され、ストリーム形成装置５６は、符号化されたデータをパケット単位のストリーム形式に変換し、記録処理装置３に出力する。記録処理装置３では、書込み前処理装置６１が、各種記録メディアへの書込みのための前処理を行い、書込み処理装置６２が符号化データを不図示の記録メディアへ記憶又は記録する。
【００６８】
次に、図１１を参照して、以上の処理で記録された符号化画像データを読み出す動作を説明する。
【００６９】
読出し処理装置８２が、図示しない各種メディアから符号化データを読出し、読出し後処理装置８１が、所定フォーマットで読み出されたデータから符号化データを抽出する。抽出された符号化データは、伸長復号処理装置１０へと送られる。
【００７０】
伸長復号処理装置１０では、ストリーム解析装置１０１が、符号化データのヘッダ情報を解析して復号に必要な符号化データを読出す。符号化データは、輝度系データと色系データに分けて読出される。
【００７１】
輝度系データ（Ｙ）については、エントロピー復号装置１０２ａが、算術符号化された符号化データを伸長復号化する。復号化された輝度系データは、逆量子化装置１０３ａにより逆量子化され、帯域分割した変換係数（ウェブレット係数）の値に復元される。復元された変換係数は、帯域毎の係数であるので、帯域合成装置１０４ａが、各周波数帯の変換係数を合成（逆ウェーブレット変換）する。合成された変換係数、すなわち、復元された画像データは、１フレームの小領域（タイル）毎に処理されて復元されるので、タイル合成装置１０５ａが、前記処理単位で復元された画像データを１フレーム画像に合成する。
【００７２】
色系データ（Ｃｂ、Ｃｒ）も、輝度系データ（Ｙ）と同様な処理で、処理装置１０２ｂ〜１０５ｂにより処理され、１フレームの画像として復元される。
【００７３】
ただし、逆量子化装置１０３ａ、１０３ｂは、非線形色処理装置１０７により後述するように制御される。
【００７４】
復元された輝度系データと色系データは、成分変換装置１０６で合成され、図示しない表示手段に適合した伝送フォーマットに変換され、伸長復号処理装置１００から表示手段に出力される。
【００７５】
次に、図１２，図１３及び図１４を参照して、本実施例の特徴となる照度による画像処理を説明する。図１２において、１０７１は輝度（Ｙ）成分のＬＬデータを抽出するＬＬ抽出装置、１０７２は照度検出装置、１０７３は、色差データ（Ｃｂ，Ｃｒ）の変換データの逆量子化ステップを周波数帯域別に設定する量子化ステップ調整装置、１０７４は輝度データ（Ｙ）の変換データの周波数別の逆量子化ステップを、所定量子化ステップの操作量に応じて決定する補正ステップ生成装置である。
【００７６】
図１５に示すフローチャートを参照して、低照度時の動作を説明する。ＬＬ抽出装置１０７１が、輝度（Ｙ）成分の低域サブバンドＬＬデータを抽出する（ステップ３０１０）。照度検出装置１０７２が抽出された係数の平均値Ｙａｖｅを算出し（ステップ３０２０）、所定値Ｙｌと比較する（ステップ３０３０）。ここで、低照度時には輝度データの低域成分が小さいので、照度検出装置１０７２でＹｌより小さいと判断されたら、量子化ステップ調整装置１０７３が、色差データ（Ｃｂ、Ｃｒ）成分の高域側変換係数の量子化ステップ幅Δｈを決定する。通常の量子化ステップは、低域側変換係数Δｌに設定しているΔ（図１４）であるが、低照度時には、高域の量子化ステップ幅Δｈに、Δより小さなΔ″を設定する（ステップ３０６０）。そして、色データにおける高域成分の量子化ステップの変更による色バランスのずれを補正するために、輝度データにおける高域成分の量子化ステップの補正量を、補正ステップ生成装置１０７４で生成する（ステップ３０７０）。
【００７７】
このように高域側変換データを標準（Δ）より小さな量子化ステップ（Δ″）で逆量子化した場合に、上述した通常の符号化操作を行うケースを、図１３を参照して説明する。
【００７８】
符号化時の量子化処理（図１０の量子化装置５４ｂ）では、高域側変換係数の逆量子化ステップΔｈも、低域側変換係数の逆量子化ステップΔｌと同じ、通常のΔのステップ幅で量子化している。これを、復号時の逆量子化処理（図１１の逆量子化装置１０３ｂ）では、高域変換データに対しては、符号化時（Δ）より小さな量子化ステップ（Δ″）で逆量子化するので、図１４に示すように、逆量子化したときに復元されるレベルが小さくなる。これは、図１３（ｄ）に示すように、高域データだけが抑圧された状態で復元されることを意味する。
【００７９】
これにより、低照度時には、色の低域成分は残し、色むらの主要な原因となる高域のノイズ成分のみを抑圧（限定）しているので、不自然な色むらの発生を抑えることができる。
【００８０】
また、第２実施例では、第１実施例と同様に、色むら除去を高域成分にのみ施しているので、低域の色情報は残っており、低照度でも被写体の色情報を正確に残すことができる。特に、これは、動画から一枚の画像を抜き出して印刷する場合を想定すると、従来のように低照度部分が無彩色化していると視覚的に目立つが、帯域を限定して無彩色処理を行う本実施例では、色の情報が低域係数で残っているので、鑑賞に堪えうる画質の静止画を提供できることになる。
【００８１】
さらに、本実施例では、照度検出に復号時の帯域合成に必要とされるＬＬデータを利用している点で、カメラ側で処理するときに従来必要であった専用の検出フィルタを省略でき、低コストになる。
【００８２】
次に、図１５を参照して、高照度時の動作を説明する。
【００８３】
低照度時と同じように、ＬＬ抽出装置７０１が、輝度（Ｙ）成分の低域サブバンドＬＬデータを抽出し（ステップ３０１０）、照度検出装置１０７２が、抽出された係数の平均値Ｙａｖｅを算出する（ステップ３０２０）。平均値Ｙａｖｅと所定値Ｙｌを比較し（ステップ３０３０）、大きければ、所定値Ｙｈと比較する（ステップ３０４０）。ここで、高照度時には、輝度データの低域成分が大きいので、平均値Ｙａｖｅが所定値Ｙｈと比較して大きければ、高照度と判断され、量子化ステップ調整装置１０７３は、色差データ（Ｃｂ、Ｃｒ）成分の低域変換データの逆量子化ステップ幅Δｌを決定する。通常の量子化ステップは、高域変換データΔｈに設定しているΔ（図１４）であるが、高照度時には、低域の量子化ステップ幅ΔｌにΔより小さなΔ″を逆量子化ステップに設定する（ステップ３０８０）。そして、色データにおける低域成分の逆量子化ステップの変更による色バランスのずれを補正するために、輝度データにおける低域成分の逆量子化ステップの補正量を、補正ステップ生成装置１０７４で生成する（ステップ３０９０）。
【００８４】
このように、低域変換データを標準（Δ）より小さな量子化ステップ（Δ″）で逆量子化した場合を説明する。
【００８５】
符号化時の量子化処理（図１０の量子化装置５４ｂ）では、低域変換係数の量子化ステップΔｌも、高域変換係数の量子化ステップΔｈと同じ、通常のΔのステップ幅で量子化している。復号時には、低域変換データに対しては符号化時（Δ）より小さな逆量子化ステップ（Δ″）で逆量子化するので、図１４に示すように、逆量子化したときに復元されるレベルが小さくなる。これは、図１３（ａ）に示すように、低域データだけが抑圧された状態で復元されることを意味する。
【００８６】
これにより、高照度時に、色の高域成分を残し、色温度の微妙なずれで発生する色うつりの主要な原因となる低域のレベルのみを抑圧（限定）しているので、不自然な色うつりの発生を抑えることができる。
【００８７】
第２実施例では、第１実施例と同様に、色うつりの抑圧を低域成分にのみ施しているので、高域の色情報は残っており、高照度でも被写体の色変化の情報を正確に残すことができる。特に、これは、動画から一枚の画像を抜き出して印刷する場合を想定すると、従来では、高照度部分を一様に無彩色化して色の連続性が無くなり、その部分が逆に視覚的に目立ってしまうものを、本実施例では、帯域を限定して無彩色処理を行うので、色の変化の情報が高域係数で残っており、その結果、鑑賞に堪えうる画質の静止画を提供できることになる。
【００８８】
また、本実施例では、照度検出に復号時の帯域合成に必要とされるＬＬデータを利用している点で、カメラ側で処理するときに従来例では必要であった専用の検出フィルタを省略でき、コストを低減できる。
【００８９】
以上、これまでに説明した２つの実施例では、照度検出をＬＬ画像又はデータと限っているが、低域データに対して帯域分割を再起的に行って生成されるもっとも深いレベルＬＬ画像又はデータ（図２０（ｄ）の３ＬＬ）及び、その中間で生成される画像又はデータ（２ＬＬ等）のいずれを利用しても、同様の効果が得られるので、その構成も本発明の実施例となる。
【００９０】
さらに、上記２つの実施例では、帯域別のレベル制御を符号化時と復号時に異なる量子化ステップを適応することで実現しているが、単純に変換係数に重みを乗算する回路を設けても、同様の効果が得られるので、その構成も本発明の実施例となる。
【００９１】
さらに、上記２つの実施例では、帯域分割の符号化方式に適応しているが、本発明はこれに限らず、変換操作時に周波数変換されるような符号化方式でも同等の効果が得られ、具体的にはＤＣＴ変換方式による符号化方式を適応した構成も、本発明の実施例となる。
【００９２】
（好ましい実施態様）
以下、本発明の好ましい実施態様を列挙する。
【００９３】
【実施態様１】
画像データを取り込む画像取り込み手段と、
前記画像データを周波数帯域の周波数データに変換する周波数変換手段と、
前記周波数変換手段による周波数データに対して所定の処理を行うデータ処理手段と、
取り込んだ画像の照度を検出する照度検出手段と、
前記照度検出手段の出力に応じて、所定の周波数データに対する前記データ処理手段を変更する手段
とを有することを特徴とする画像圧縮処理装置。
【００９４】
【実施態様２】
前記照度検出手段は、第一の照度より低いことを検出した場合、第一の出力信号を出力し、前記第一の出力信号を受信したデータ処理手段は、周波数の高域データに対して処理を行うことを特徴とする実施態様１に記載の画像圧縮処理装置。
【００９５】
【実施態様３】
前記データ処理手段は、変換データの量子化手段であって、前記第一の出力信号を受信した時には、量子化ステップを変更することを特徴とする実施態様２に記載の画像圧縮処理装置。
【００９６】
【実施態様４】
前記データ処理手段は、変換データの乗算手段であって、前記第一の出力信号を受信した時、通常時より小さな値を乗算することを特徴とする実施態様２に記載の画像圧縮処理装置。
【００９７】
【実施態様５】
前記照度検出手段は、第二の照度より高いことを検出した場合、第二の出力信号を出力し、前記第二の出力信号を受信したデータ処理手段は、周波数の低域データに対して処理を行うことを特徴とする実施態様１に記載の画像圧縮処理装置。
【００９８】
【実施態様６】
前記データ処理手段は、変換データの量子化手段であって、前記第二の出力信号を受信した時には、量子化ステップを変更することを特徴とする実施態様５に記載の画像圧縮処理装置。
【００９９】
【実施態様７】
前記データ処理手段は、変換データの乗算手段であって、前記第二の出力信号を受信した時、通常時より小さな値を乗算することを特徴とする実施態様５に記載の画像圧縮処理装置。
【０１００】
【実施態様８】
前記画像圧縮手段に含まれる周波数帯域に関する変換符号化は、帯域分割符号化、あるいは、ウェーブレット変換符号化であることを特徴とする実施態様１に記載の画像圧縮処理装置。
【０１０１】
【実施態様９】
請求項１において、前記画像圧縮手段に含まれる周波数帯域に関する変換符号化は、離散コサイン変換、あるいは、修正された離散コサイン変換であることを特徴とする実施態様１に記載の画像圧縮処理装置。
【０１０２】
【実施態様１０】
前記照度検出手段は、前記帯域分割符号化時に生成される低域画像データを抽出する手段と、前記データの平均値を算出し第一あるいは第二の所定値と比較する手段を有することを特徴とする実施態様８に記載の画像圧縮処理装置。
【０１０３】
【実施態様１１】
画像データを取り込み、前記画像データを周波数帯域に関する変換符号化処理を含んで画像圧縮し、前記圧縮符号化されたデータを復号する画像複号処理装置であって、
前記変換された周波数データに対して所定の処理を行うデータ処理手段と、
復号化された画像データの照度を検出する照度検出手段と、
前記照度検出手段の出力に応じて、所定の周波数データに対する前記データ処理手段を変更する手段
とを有することを特徴とする画像復号処理装置。
【０１０４】
【実施態様１２】
前期照度検出手段は、第一の照度より低いことを検出した場合、第一の出力信号を出力し、前記第一の出力信号を受信したデータ処理手段は、周波数の高域データに対して処理を行うことを特徴とする実施態様１１に記載の画像復号処理装置。
【０１０５】
【実施態様１３】
前記データ処理手段は、変換データの逆量子化手段であって、第一の出力信号を受信した時、符号化時より小さな量子化ステップで逆量子化することを特徴とする実施態様１２に記載の画像復号処理装置。
【０１０６】
【実施態様１４】
前記データ処理手段は、変換データの乗算手段であって、第一の出力信号を受信した時、通常時より小さな値を乗算することを特徴とする実施態様１２に記載の画像復号処理装置。
【０１０７】
【実施態様１５】
前期照度検出手段は、第二の照度より高いことを検出した場合、第二の出力信号を出力し、前記第二の出力信号を受信したデータ処理手段は、周波数の低域データに対して処理を行うことを特徴とする実施態様１１に記載の画像復号処理装置。
【０１０８】
【実施態様１６】
前記データ処理手段は、変換データの逆量子化手段であって、第二の出力信号を受信した時、符号化時より小さな量子化ステップで逆量子化することを特徴とする実施態様１５に記載の画像復号処理装置。
【０１０９】
【実施態様１７】
前記データ処理手段は、変換データの乗算手段であって、第二の出力信号を受信した時、通常時より小さな値を乗算することを特徴とする実施態様１５に記載の画像復号処理装置。
【０１１０】
【実施態様１８】
前記画像復号手段に含まれる周波数帯域に関する変換符号化は、帯域分割符号化、あるいは、ウェーブレット変換符号化であることを実施態様１１に記載の特徴とする画像復号処理装置。
【０１１１】
【実施態様１９】
前記画像復号手段に含まれる周波数帯域に関する変換符号化は、離散コサイン変換、あるいは、修正された離散コサイン変換であることを特徴とする実施態様１１に記載の画像復号処理装置。
【０１１２】
【実施態様２０】
前記照度検出手段は、前記帯域合成処理に必要な低域画像データを抽出する手段と、前記データの平均値を算出し第一あるいは第二の所定値と比較する手段を有することを特徴とする実施態様１８に記載の画像圧縮処理装置。
【０１１３】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、低照度又は高照度のときに、不自然な色むら又は色写りが発生しない。また、符号化効率が向上する。
【図面の簡単な説明】
【図１】 本発明の第１実施例の符号化記録系の概略構成ブロック図である。
【図２】 非線形処理装置５７の概略構成ブロック図である。
【図３】 照度の異なる画像の周波数分布例である。
【図４】 第１実施例での量子化ステップ幅の説明図である。
【図５】 第１実施例の量子化の説明例である。
【図６】 第１実施例の非線形処理のフローチャートである。
【図７】 図１に対応する再生伸長系の概略構成ブロック図である。
【図８】 復号時の逆量子化の説明図である。
【図９】 復号時の逆量子化処理の説明例である。
【図１０】 第２実施例の符号化記録系の概略構成ブロック図である。
【図１１】 図１０に対応する再生伸長系の概略構成ブロック図である。
【図１２】 非線形色処理装置１０７の概略構成ブロック図である。
【図１３】 非線形色処理の説明例である。
【図１４】 量子化の説明図である。
【図１５】 第２実施例の復号時の非線形色処理のフローチャートである。
【図１６】 従来の符号化記録系の概略構成ブロック図である。
【図１７】 非線形色処理装置３４の概略構成ブロック図である。
【図１８】 従来例での非線形処理の説明例である。
【図１９】 従来の非線形処理特性の例である。
【図２０】 従来の符号化処理の画像データ処理の概念図である。
【図２１】 従来の符号化処理のサブバンド分割の概念図である。
【図２２】 従来の符号化処理の分析フィルタの概念図である。
【図２３】 従来の符号化処理の量子化処理の概念図である。
【図２４】 従来の符号化処理のエントロピー符号化単位の概念図である。
【図２５】 従来の符号化処理のビットプレーン処理の概念図である。
【図２６】 エントロピー符号化処理装置５５ａ及びストリーム形成装置５６の概略構成ブロック図である。
【符号の説明】
１：カメラ処理部
２：圧縮符号化処理装置
３：記録処理装置
４：カメラ処理装置
５：圧縮符号化処理装置
８：再生処理装置
９：伸長復号処理装置
１０：伸長復号処理装置
１１：撮像部
１２：相関二重サンプル（ＣＤＳ）装置
２１：Ａ／Ｄ変換器
２２：成分変換装置
３４：非線形色信号処理装置
３５：ガンマ補正装置
３１：輝度信号色差補正装置
３２：輪郭補正装置
３３：ガンマ補正装置
４１：伝送変換部
５１：成分変換装置
５２ａ，５２ｂ：タイル分割装置
５３ａ，５３ｂ：帯域分割装置
５４ａ：輝度系量子化装置
５４ｂ：色系量子化装置
５５ａ，５５ｂ：エントロピー符号化装置
５６：ストリーム形成装置
５７：非線形色信号処理装置
６１：書込み前処理装置
６２：書込み処理装置
７０：画像処理装置
７１：輝度系の輪郭補正装置
７２：輝度系のガンマ補正装置
７３：色系のガンマ補正装置
８１：後処理装置
８２：読出し処理装置
９１：ストリーム解析装置
９２ａ，９２ｂ：エントロピー復号装置
９３ａ，９３ｂ：逆量子化装置
９４ａ，９４ｂ：帯域合成装置
９５ａ，９５ｂ：タイル合成装置
９６：成分変換装置
１００：伸長復号処理装置
１０１：ストリーム解析装置
１０２ａ，１０２ｂ：エントロピー復号装置
１０３ａ，１０３ｂ：逆量子化装置
１０４ａ，１０４ｂ：帯域合成装置
１０５ａ，１０５ｂ：タイル合成装置
１０６：成分変換装置
１０７：非線形色信号処理装置
３４１：ローパスフィルタ
３４２：照度検出装置
３４３：ゲイン補正装置
３４４：補正信号生成装置
５３０：入力端子
５３１：水平サブバンド分割装置
５３２：垂直サブバンド分割装置
５３３：垂直サブバンド分割装置
５３４：水平サブバンド分割装置
５３５，５３６：垂直サブバンド分割装置
５５１ａ：符号化モデル装置
５５２ａ：算術符号化装置
５６１：ΔＲ／ΔＤ算出部
５６２：レイヤ判定装置
５６３：ワークメモリ
５６４：パケット生成装置
５７１：輝度系ＬＬデータ抽出装置
５７２：照度検出装置
５７３：量子化ステップ調整装置
５７４：補正ステップ生成装置
１０７１：ＬＬ抽出装置
１０７２：照度検出装置
１０７３：量子化ステップ調整装置
１０７４：補正ステップ生成装置
Claims (16)
- 画像データを取り込み、前記画像データを周波数帯域に関する変換符号化処理を含んで画像圧縮する画像処理装置であって、
前記画像データに含まれる輝度データと色データをそれぞれ周波数帯域で表わされる周波数データに変換する周波数変換手段と、
前記周波数変換手段によって変換された周波数データに対して、周波数帯域別に異なる処理を実行可能なデータ処理手段と、
取り込んだ前記画像データから照度を検出する照度検出手段とを備え、
前記照度検出手段によって検出された照度の値が所定値よりも低い低照度の場合、前記データ処理手段は、前記色データから変換された周波数データの高周波帯域のデータを抑圧するよう処理することを特徴とする画像処理装置。 - 前記データ処理手段は、前記色データに係る高周波帯域のデータを抑圧する処理を行う場合、前記輝度データに係る高周波帯域のデータに対して色バランスのずれを補正する処理を行うことを特徴とする請求項１に記載の画像処理装置。
- 前記データ処理手段は量子化手段を含み、前記低照度の場合、前記量子化手段が、前記色データに係る高周波帯域のデータの量子化ステップを通常時よりも大きくすることを特徴とする請求項１または２に記載の画像処理装置。
- 前記データ処理手段は乗算手段を含み、前記低照度の場合、前記乗算手段が、前記色データに係る高周波帯域のデータに対して通常時より小さな値を乗算することを特徴とする請求項１または２に記載の画像処理装置。
- 画像データを取り込み、前記画像データを周波数帯域に関する変換符号化処理を含んで画像圧縮する画像処理装置であって、
前記画像データに含まれる輝度データと色データをそれぞれ周波数帯域で表わされる周波数データに変換する周波数変換手段と、
前記周波数変換手段によって変換された周波数データに対して、周波数帯域別に異なる処理を実行可能なデータ処理手段と、
取り込んだ前記画像データから照度を検出する照度検出手段とを備え、
前記照度検出手段によって検出された照度の値が所定値よりも高い高照度の場合、前記データ処理手段は、前記色データから変換された周波数データの低周波帯域のデータを抑圧するよう処理することを特徴とする画像処理装置。 - 前記データ処理手段は、前記色データに係る低周波帯域のデータを抑圧する処理を行う場合、前記輝度データに係る低周波帯域のデータに対して色バランスのずれを補正する処理を行うことを特徴とする請求項５に記載の画像処理装置。
- 前記データ処理手段は量子化手段を含み、前記高照度の場合、前記量子化手段が、前記色データに係る低周波帯域のデータの量子化ステップを通常時よりも大きくすることを特徴とする請求項５または６に記載の画像処理装置。
- 前記データ処理手段は乗算手段を含み、前記高照度の場合、前記乗算手段が、前記色データに係る低周波帯域のデータに対して通常時より小さな値を乗算することを特徴とする請求項５または６に記載の画像処理装置。
- 周波数帯域に関する変換符号化処理を含んで画像圧縮された符号化画像データを復号する画像復号処理装置であって、
前記符号化画像データから復元された輝度データ及び色データに係る周波数データに対して、周波数帯域別に異なる処理を実行可能なデータ処理手段と、
前記符号化画像データから照度を検出する照度検出手段とを備え、
前記照度検出手段によって検出された照度の値が所定値よりも低い低照度の場合、前記データ処理手段は、前記色データに係る周波数データの高周波帯域のデータを抑圧するよう処理することを特徴とする画像復号処理装置。 - 前記データ処理手段は、前記色データに係る高周波帯域のデータを抑圧する処理を行う場合、前記輝度データに係る高周波帯域のデータに対して色バランスのずれを補正する処理を行うことを特徴とする請求項９に記載の画像復号処理装置。
- 前記データ処理手段は逆量子化手段を含み、前記低照度の場合、前記逆量子化手段が、前記色データに係る高周波帯域のデータを符号化時より小さな量子化ステップで逆量子化することを特徴とする請求項９または１０に記載の画像復号処理装置。
- 前記データ処理手段は乗算手段を含み、前記低照度の場合、前記乗算手段が、前記色データに係る高周波帯域のデータに対して通常時より小さな値を乗算することを特徴とする請求項９または１０に記載の画像復号処理装置。
- 周波数帯域に関する変換符号化処理を含んで画像圧縮された符号化画像データを復号する画像復号処理装置であって、
前記符号化画像データから復元された輝度データ及び色データに係る周波数データに対して、周波数帯域別に異なる処理を実行可能なデータ処理手段と、
前記符号化画像データから照度を検出する照度検出手段とを備え、
前記照度検出手段によって検出された照度の値が所定値よりも高い高照度の場合、前記データ処理手段は、前記色データに係る周波数データの低周波帯域のデータを抑圧するよう処理することを特徴とする画像復号処理装置。 - 前記データ処理手段は、前記色データに係る低周波帯域のデータを抑圧する処理を行う場合、前記輝度データに係る低周波帯域のデータに対して色バランスのずれを補正する処理を行うことを特徴とする請求項１３に記載の画像復号処理装置。
- 前記データ処理手段は逆量子化手段を含み、前記高照度の場合、前記逆量子化手段が、前記色データに係る低周波帯域のデータを符号化時より小さな量子化ステップで逆量子化することを特徴とする請求項１３または１４に記載の画像復号処理装置。
- 前記データ処理手段は乗算手段を含み、前記高照度の場合、前記乗算手段が、前記色データに係る低周波帯域のデータに対して通常時より小さな値を乗算することを特徴とする請求項１３または１４に記載の画像復号処理装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002361356A JP4410989B2 (ja) | 2002-12-12 | 2002-12-12 | 画像処理装置及び画像復号処理装置 |
| US10/731,124 US7373006B2 (en) | 2002-12-12 | 2003-12-10 | Image processing apparatus |
| CNB2003101213064A CN1263279C (zh) | 2002-12-12 | 2003-12-11 | 图像处理装置 |
| US11/970,213 US7444031B2 (en) | 2002-12-12 | 2008-01-07 | Image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002361356A JP4410989B2 (ja) | 2002-12-12 | 2002-12-12 | 画像処理装置及び画像復号処理装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004194121A JP2004194121A (ja) | 2004-07-08 |
| JP2004194121A5 JP2004194121A5 (ja) | 2006-01-12 |
| JP4410989B2 true JP4410989B2 (ja) | 2010-02-10 |
Family
ID=32501041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002361356A Expired - Fee Related JP4410989B2 (ja) | 2002-12-12 | 2002-12-12 | 画像処理装置及び画像復号処理装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US7373006B2 (ja) |
| JP (1) | JP4410989B2 (ja) |
| CN (1) | CN1263279C (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1890120A4 (en) * | 2005-06-06 | 2014-07-09 | Tokyo Inst Tech | PICTURE CONVERTING DEVICE AND PICTURE CONVERTING PROGRAM |
| JP5006633B2 (ja) * | 2006-03-10 | 2012-08-22 | キヤノン株式会社 | 画像符号化装置、画像符号化方法、プログラム及び記憶媒体 |
| JP5142120B2 (ja) * | 2006-12-22 | 2013-02-13 | 三星電子株式会社 | 映像信号処理装置、映像信号処理方法 |
| KR20080076004A (ko) * | 2007-02-14 | 2008-08-20 | 삼성전자주식회사 | 촬상장치 및 그 다이나믹 레인지 확장방법 |
| WO2010024907A1 (en) * | 2008-08-29 | 2010-03-04 | Angel Decegama | Systems and methods for compression transmission and decompression of video codecs |
| US8031782B2 (en) * | 2008-08-29 | 2011-10-04 | ADC2 Technologies LLC | Systems and methods for compression, transmission and decompression of video codecs |
| JP4589463B2 (ja) * | 2008-10-17 | 2010-12-01 | オリンパス株式会社 | 撮像装置 |
| KR101574733B1 (ko) | 2008-11-19 | 2015-12-04 | 삼성전자 주식회사 | 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법 |
| JP4941482B2 (ja) * | 2009-02-17 | 2012-05-30 | 株式会社豊田中央研究所 | 擬似カラー画像生成装置、及びプログラム |
| US20100309380A1 (en) * | 2009-06-05 | 2010-12-09 | Macrovision Corporation | Method and apparatus for providing and reducing dynamic chroma copy protection effects by modifying luminance copy protection signals |
| JP5596948B2 (ja) * | 2009-09-18 | 2014-09-24 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US8462240B2 (en) * | 2010-09-15 | 2013-06-11 | Aptina Imaging Corporation | Imaging systems with column randomizing circuits |
| JP5594011B2 (ja) * | 2010-09-16 | 2014-09-24 | 株式会社リコー | 符号化装置、符号化方法、プログラム及び情報記録媒体 |
| JP5570373B2 (ja) * | 2010-09-29 | 2014-08-13 | 富士フイルム株式会社 | 内視鏡システム |
| JP5244164B2 (ja) * | 2010-10-18 | 2013-07-24 | 富士フイルム株式会社 | 内視鏡装置 |
| JP6512928B2 (ja) | 2015-04-28 | 2019-05-15 | キヤノン株式会社 | 画像符号化装置、画像処理装置、画像符号化方法 |
| JP6502739B2 (ja) * | 2015-04-28 | 2019-04-17 | キヤノン株式会社 | 画像符号化装置、画像処理装置、画像符号化方法 |
| JP6502753B2 (ja) * | 2015-06-08 | 2019-04-17 | キヤノン株式会社 | 画像符号化装置、画像処理装置、画像符号化方法 |
| JP6700798B2 (ja) * | 2016-01-13 | 2020-05-27 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| CN113055671B (zh) | 2019-01-10 | 2022-09-02 | Oppo广东移动通信有限公司 | 图像解码方法、解码器及计算机存储介质 |
| CN111435990B (zh) * | 2019-01-15 | 2022-09-09 | 华为技术有限公司 | 颜色空间编码方法及设备 |
| JP7549463B2 (ja) | 2020-05-19 | 2024-09-11 | キヤノン株式会社 | 符号化装置及び方法、プログラム、記憶媒体 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5563661A (en) * | 1993-04-05 | 1996-10-08 | Canon Kabushiki Kaisha | Image processing apparatus |
| JP2804258B2 (ja) * | 1995-12-12 | 1998-09-24 | 松下電器産業株式会社 | ディジタル通信装置 |
| JP4040171B2 (ja) | 1998-04-24 | 2008-01-30 | キヤノン株式会社 | 信号処理装置 |
| JP2001298746A (ja) * | 2000-03-09 | 2001-10-26 | Samsung Techwin Co Ltd | デジタル記録システムのデータ圧縮装置及びその制御方法 |
-
2002
- 2002-12-12 JP JP2002361356A patent/JP4410989B2/ja not_active Expired - Fee Related
-
2003
- 2003-12-10 US US10/731,124 patent/US7373006B2/en active Active
- 2003-12-11 CN CNB2003101213064A patent/CN1263279C/zh not_active Expired - Fee Related
-
2008
- 2008-01-07 US US11/970,213 patent/US7444031B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7444031B2 (en) | 2008-10-28 |
| US20040114821A1 (en) | 2004-06-17 |
| US20080123971A1 (en) | 2008-05-29 |
| JP2004194121A (ja) | 2004-07-08 |
| CN1263279C (zh) | 2006-07-05 |
| CN1507264A (zh) | 2004-06-23 |
| US7373006B2 (en) | 2008-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4410989B2 (ja) | 画像処理装置及び画像復号処理装置 | |
| JPH0970044A (ja) | 画像信号処理装置および方法 | |
| JPH04502996A (ja) | 単一センサカラー画像化システムのための圧縮方法及び装置 | |
| WO1996027262A1 (en) | Image data compression method and apparatus with pre-processing to compensate for the blocky effect | |
| US7881543B2 (en) | Image compression processing device, image compression processing method, and image compression processing program | |
| US7750972B2 (en) | Digital camera | |
| JP2002314999A (ja) | 画像圧縮装置、画像圧縮プログラムおよび電子カメラ | |
| JP6700798B2 (ja) | 撮像装置及びその制御方法 | |
| JPH08126009A (ja) | 画像処理装置 | |
| JP4975223B2 (ja) | 圧縮画像処理方法 | |
| TWI390959B (zh) | 視頻訊號處理裝置，視頻訊號處理方法及視頻訊號處理程式 | |
| JP3966460B2 (ja) | 撮像装置、手振れ検出方法、画像処理方法、プログラム及び記録媒体 | |
| CN110896432A (zh) | 图像处理方法和系统 | |
| JP2900808B2 (ja) | 画像データの復号化時に生じるモスキートノイズの低減方法及び画像データの復号化装置 | |
| JP2003224868A (ja) | 画像圧縮装置、画像圧縮方法、画像圧縮プログラム、および画像伸張プログラム | |
| JP2004187036A (ja) | 輪郭補正システム | |
| JP2004200760A (ja) | 画像処理方法および装置 | |
| JP3888622B2 (ja) | 画像記録装置、画像記録方法、プログラム及び情報記録媒体 | |
| JP2900815B2 (ja) | 適応コアリング方法及び適応コアリング装置 | |
| JP2018006999A (ja) | 画像符号化装置及びその制御方法 | |
| JP3845913B2 (ja) | 量子化制御方法および量子化制御装置 | |
| JPH11298762A (ja) | 暗電流ノイズ除去装置 | |
| JP2008072254A (ja) | カラー画像の圧縮符号化方法、復号化方法、カラー画像の圧縮符号化装置および復号化装置 | |
| JPH08205157A (ja) | 画像信号復号方法及び画像信号復号装置 | |
| KR100261109B1 (ko) | 화질 향상이 가능한 휘도 신호 압축 부호화 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051121 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091110 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091116 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4410989 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131120 Year of fee payment: 4 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |
|
| LAPS | Cancellation because of no payment of annual fees |