JP2005277908A - 画像処理装置、その画像処理方法およびカメラつき携帯電話 - Google Patents

Abstract

【課題】撮影から記録完了までの待ち時間（処理時間）を短くすると共に、装置の消費電力を抑制できる画像処理装置を提供する。
【解決手段】静止画像として入力する非圧縮画像データをＪＰＥＧ（形式で圧縮して記憶媒体にファイル化して記録再生する画像処理装置において、入力された主画像の画素数をサイズ変換して所定画素数とするサイズ変換手段１１０と、このサイズ変換手段の出力または前記ＪＰＥＧ圧縮過程で形成される縮小画像を記憶する縮小画像データメモリ１１１とを備え、前記主画像および前記縮小画像を、ＤＣＴ部１０１、量子化部１０２、ハフマン符号化部１０３、結合部１０４によりＪＰＥＧ形式で圧縮し同時に出力することを特徴とする。
【選択図】 図１

Description

本発明は、画像処理装置及びその画像処理方法に関し、特に主画像と縮小画像を含む画像処理装置及びその画像処理方法に関する。

デジタルカメラやカメラつき携帯電話機などは、１００万画素を超えるような撮像素子の使用が一般化している。このように画素数の多い画像では、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式で圧縮して記録されることが多い。このＪＰＥＧ形式による記録は、その格納エリアを小さくできる利点はあるが、符号化復号化には多くの演算が必要である。そのためＪＰＥＧ形式による記録は、ソフトウェアでもハードウェアでも多くなり、その処理時間がかかる難点がある。このため記録ファイルの形態としてＤＣＦ（ Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ ）形式などが広く使用されている。この記録ファイルの形態は、検索閲覧時など記録後のブラウズの高速化のため、主画像のデータと共に主画像の縮小版の圧縮データを格納している。

図５（ａ）（ｂ）は通常のＪＰＥＧ形式の符号化・復号化過程の全ブロック図である。この図の場合、符号化部は、図５（ａ）に示すように、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）部１０１、量子化部１０２、ハフマン符号化部１０３から構成される。また、復号化部は、図５（ｂ）に示すように、ハフマン復号化部１５０、逆量子化部１５３、Ｉ（Ｉｎｖｅｒｓｅ）ＤＣＴ部１５４から構成される。
符号化部では、入力端子１１ａからの未圧縮画像データが、ＤＣＴ部１０１によりＤＣＴ変換し圧縮符号化される。この圧縮符号化された画像データは、量子化部１０２で量子化され、ハフマン符号化部１０３でＪＰＥＧ復号化される。この符号化信号は、ＪＰＥＧデータとして出力端子１２ａから出力される（例えば、特許文献１，２参照）。

この場合の動作は、原画像データがＭ×Ｎ画素からなるとすると、まず原画像データは、所定画素数（通常、８×８画素）の単位ブロックに分割される。分割された各ブロック毎の画像データは、ＤＣＴ部１０１で、ＤＣＴ係数と呼ばれる水平方向８成分×垂直方向８成分の６４個の周波数成分に変換される。このＤＣＴ係数の内、ＤＣ成分（６４個の係数中の１個）は、そのＤＣ成分が量子化部１０２で量子化され、ハフマン符号化部１０３で符号化処理される。一方、ＤＣＴ係数の内、ＡＣ成分（６４−１個）は、量子化部１０で量子化され、更にＡＣ成分が符号化部１０３でハフマン符号化処理される。

ハフマン符号化されたＤＣ成分とＡＣ成分、及び符号化に至る処理に使用された量子化テーブルや符号化テーブル等の情報、更に原画像の画素サイズの情報及びファイルを構成するための付加情報などは多重化して、ＪＰＥＧ画像データとして出力される。なお、ＤＣ成分とＡＣ成分とで符号化の処理が異なるのは、ＤＣ成分は８×８画素のブロックの平均値に相当し、隣のブロックとの間で平均値が大きく変化することはあまり無いという特性を有するために、ＤＣ成分の符号化においては、直線をなすブロック間においてＤＣ係数の差分を符号化するためである。
また、復号化部では、図５（ｂ）に示すように、入力端子１３ａから入力したＪＰＥＧデータが、ハフマン復号化部１５０でＪＰＥＧ復号化される。この復号化されたデータは，逆量子化部１５３で逆量子化され、ＩＤＣＴ部１５４により逆ＤＣＴ変換されて伸張化される。この伸張化された画像データは、伸張済み画像データとして出力端子１２から出力される。

すなわち、ＪＰＥＧ画像データは、ハフマン符号化されたＡＣ成分とＤＣ成分に分離される。分離されたＤＣ成分は、復号部１５０で復号され、逆量子化部１５３で逆量子化された後、逆ＤＣＴ部１５４に至る。また、ＡＣ成分は、復号部１５０で復号され、逆量子化部１５３で逆量子化された後、逆ＤＣＴ部１５４に至る。逆ＤＣＴ部１５４における逆ＤＣＴ変換後の出力は、ブロック復元され、復元画像データとして得られる。

これらのブロック構成では、画像データは、画素数に比例して圧縮・伸張される処理量を必要とするため、多くの処理量と処理時間とを必要とすることになる。

また、デジタルカメラやカメラつき携帯電話では、画像サイズをユーザが選択して撮影、記録することができるようになっている。また、特定の画像サイズに対しては高速処理をする手法が提案されている。この場合、特定のサイズにとらわれない画像サイズが複数ある場合として、図６のブロック図に示すような構成がある。

図６において、符号化部は、サンプリング比変換部１００、ＤＣＴ部１０１、量子化部１０２、結合部１０４から構成される。また、復号化部は、ハフマン復号化部１５０ａ、ＩＤＣＴ部１５４、リサイザ、サンプリング比変換部１６０から構成される。

画像生成装置からの未圧縮画像データが入力端子１１から供給され、サンプリング比変換部１００に入力されサンプリング比変換される。サンプリング比変換された画像データが、ＤＣＴ部１０１に供給されＤＣＴ変換される。ＤＣＴ変換された画像データが、量子化部１０２に供給され量子化される。量子化された画像データが、ハフマン符号化部１０３で、ハフマン符号化され、結合部１０４に供給される。

一方、ハフマン符号化された画像データは、ハフマン復号化部１５０ａで復号化され、逆量子化部１５３で逆量子化され、ＩＤＣＴ部１５４で、逆ＤＣＴ変換される。逆ＤＣＴ変換された画像データは、リサイザ、サンプリング比変換部１６０でサンプリング比変換され、ＤＣＴ部１０１に供給される。

図６においては、一度圧縮した主画像をすべて復号し、リサイザ、サンプリング比変換部１６０で、リサイズ・サンプリング変換したもの圧縮して縮小版の圧縮データを得ることになる。

特開２０００−０３２４６２号公報 特開２０００−０５９６１２号公報

上述したように、図５に示す従来技術では、符号化・復号化過程の全ブロックが、画素数に比例する処理量を必要とするため、多くの処理量を必要とすることになる。さらに、図６におけるリサイズ・サンプリング比変換部１６０も同様であるため、撮影から記録完了までの待ち時間が長くなるという欠点がある。

また、撮像素子の画素数が上昇する中、部分的高速化などの提案はされているが、並列処理が考慮されていなかったり、画一的な手法がほとんどであり、様々な画素数に対して適応した提案がなされておらず、いたずらにハードウエアの肥大化を招いたり、処理時間をかけるような構成をとっていた。

本発明の主な目的は、撮影から記録完了までの待ち時間を短くすると共に、装置の消費電力が抑制できる画像処理装置およびその画像処理方法を提供することにある。

本発明の構成は、静止画像として入力する非圧縮画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式で圧縮して記憶媒体にファイル化して記録再生する画像処理装置において、入力された主画像の画素数をサイズ変換して所定画素数とするサイズ変換手段と、このサイズ変換手段の出力または前記ＪＰＥＧ圧縮過程で形成される縮小画像を記憶する縮小画像記憶手段とを備え、前記主画像および前記縮小画像をＪＰＥＧ形式で圧縮し同時に出力することを特徴とする。

本発明の画像処理装置において、入力した非圧縮画像データを主画像として離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）による演算をするＤＣＴ部と、このＤＣＴ部の出力を量子化する量子化部と、この量子化部の出力をハフマン符号化するハフマン符号化部と、このハフマン符号化部からの出力される複数の画像出力を結合して出力する結合部とを備え、縮小画像データメモリ（記憶手段）は、分岐出力した前記ＤＣＴ部のＤＣ成分を格納して、所定画素数の画像データを縮小画像とし、サイズ変換手段は、その出力を前記ＤＣＴ部に入力し量子化・ハフマン符号化して縮小画像出力とし、この縮小画像出力と前記ハフマン符号化部からの主画像出力とを前記結合部で結合してＪＰＥＧ形式で同時に出力することができ、また、入力した非圧縮画像データを主画像としてＪＰＥＧ化するに適した色空間、サンプリング比のデータに変換する入力変換手段を付加できる。

また、本発明の画像処理装置において、サイズ変換手段が、入力画像を拡大または縮小して所定のサイズにするリサイザからなることができ、また、サイズ変換手段が、ＤＣＴ部から出力されるＤＣ成分の輝度・色相サンプリング比を所定のサンプリング比に変換するサンプリング変換手段からなることができ、また、サイズ変換手段が、主画像の画素数が所望の縦横画素数比でないときには、画素のない領域に所定パターンの画素で埋め込み、または前記主画像の画素数の不要画素領域を切り取るフィラー手段からなることができる。 また、本発明の画像処理装置において、主画像の縦横比が同じでその画素数が所定画素数より小さい場合、ＤＣＴ部のＤＣ成分を分岐出力はせず、前記主画像を前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力し、また前記主画像をサイズ変換手段によりリサイズまたはサンプリング変換して所定縮小画像とし縮小画像データメモリに記憶し、記憶した前記縮小画像を前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力することができる。

また、主画像の縦横比が同じでその画素数が所定画素数よりやや小さい場合は、ＤＣＴ部のＤＣ成分を分岐出力しこれを縮小画像データメモリに格納し、前記主画像を前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力し、また前記縮小画像データメモリの画像をサイズ変換手段により拡大リサイズして所定画素数とし、これを前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力することができる。

さらに、主画像の縦横比が同じでその画素数が所定画素数と同じか、所定画素数より大きい場合は、ＤＣＴ部のＤＣ成分を分岐出力しこれを縮小画像データメモリに格納し、前記主画像を前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力し、またサイズ変換手段を使わずに前記主画像を前記縮小画像データメモリに入力し、前記縮小画像データメモリからの画像を、前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力することができる。

さらに、本発明の画像処理装置において、表示手段が付加され、この表示手段により、縮小画像データメモリの出力、またはその出力をサイズ変換した出力、または入力した非圧縮画像データをリサイザによりリサイズした出力を、切り替えて表示することができ、また、表示手段の入力側に、画像データの減色処理をする減色処理手段が付加されることができ、また、減色処理手段が、単純減色、ディサ、またはカラ−パレットに対応することができる。

さらに、本発明の画像処理装置において、ＪＰＥＧ圧縮画像を外部から書き込み可能とするＪＰＥＧ入力端子と、このＪＰＥＧ入力端子からの圧縮画像を復号化する復号手段とを設けることができ、また、復号手段が、ＪＰＥＧ圧縮画像をハフマン復号化し、選択的逆量子化して、その出力をサイズ変換手段に入力することができ、また、復号手段が、ＪＰＥＧ圧縮画像をハフマン復号化し、逆量子化し、さらに逆ＤＣＴし、この逆ＤＣＴされた復号画像を、リサイザに入力することができる。

本発明の他の構成は、静止画像として入力する非圧縮画像データをＪＰＥＧ形式で圧縮して記憶媒体にファイル化して記録再生する画像処理方法において、入力された主画像の画素数をサイズ変換して所定画素数とし、このサイズ変換した出力または前記ＪＰＥＧ圧縮過程で形成される縮小画像を縮小画像データメモリに記憶し、前記主画像および前記縮小画像をＪＰＥＧ形式で圧縮しを同時に出力することを特徴とする。

また、本発明の画像処理方法において、入力した非圧縮画像データを主画像として離散コサイン変換（ＤＣＴ）による演算をＤＣＴ部でし、このＤＣＴ部出力を量子化し、この量子化出力をハフマン符号化して主画像出力とし、前記ＤＣＴ部出力のＤＣ成分を縮小画像データメモリに格納し、サイズ変換した所定画素数の画像データを縮小画像出力とし、この出力を前記ＤＣＴ部に入力し量子化・ハフマン符号化して縮小画像出力とし、この縮小画像出力と前記主画像出力とを結合してＪＰＥＧ形式で同時に出力することができる。

本発明のカメラ付き携帯電話の構成は、上述した画像処理装置を含むもので構成される
ことを特徴とする。

以上説明したように、本発明によれば、画像の画素数をサイズ変換して所定画素数としているので、デジタルカメラやカメラつき携帯電話機における画像撮影で、ユーザが選択した画像サイズによらず、高速に記録処理ができる。従って、次の撮影まで待たされる時間が短くなり、快適に操作できるようになると共に消費電力の抑制が期待できる。

次に図面により本発明の実施形態を説明する。本発明の一実施形態のブロック図である。この図１は、縮小画像データを持たない非圧縮画像データが提供された時のファイル化手段を示している。図１では、ブロック間の破線や一点鎖線は、処理のバイパスなどの選択的に処理が行われる場合の処理パスを示し、ブロック内の破線は、同じブロックが使用されるときの出力経路などを分かりやすくするため付加している。

本実施形態における復号化では、主画像の画素数に応じて、縮小画像を効率よく作成する複数の手段を実現できるように、各手段の構成要素と、それらのバイパスを含めて適切に選択して使用できるようにすることにより、操作者が意図した画像サイズ毎に最適な処理が行われるようにする。

この図１に示すように、本実施形態は、図６の従来例に対して、縮小画像データメモリ（記憶手段）１１１が付加され、また、リサイザ、サンプリング比変換部１６０がリサイザ、サンプリング比変換、フィラー部（レベル変換手段）１１０となっている。すなわち、この画像処理装置は、図６と同様に、色空間、サンプリング比変換部１００，ＤＣＴ部１０１，量子化部１０２，ハフマン符号化部１０３，結合部１０４が含まれる。ここでは、縮小画像データメモリ１１１があるため、ハフマン復号化部１５０、逆量子化部１５３、ＩＤＣＴ部１５４が、不要となる。

まず、それぞれのブロック機能について簡単に説明する。色空間、サンプリング比変換部（入力変換手段）１００は、撮像素子からの未圧縮画像データをＪＰＥＧ化するために適した色空間、サンプリング比に変換するブロックである。撮像素子は一般にＲＧＢの原色系フィルタないしは補色系フィルタによる色空間の信号を最初に作り出す。

しかし、ＪＰＥＧでは、Ｙ−Ｃｂ−Ｃｒと呼ばれる輝度と色相による色空間表現の要素毎に圧縮処理をしている。このため、撮像素子およびそれに内蔵される制御回路により、色空間変換が行われない場合にはこのブロックで色空間変換を行うものである。また、ＪＰＥＧでは、４画素の輝度信号に対してＣｂ，Ｃｒ各色相信号の数を減らしてから圧縮することが多い。この元画像情報の情報要素毎に取り出す数量比率をサンプリング比と呼び、ＤＣＦ規格での縮小画像にはサンプリング比４：２：２が指定されている。なお、このＤＣＦ規格は、ＪＥＩＤＡ規格に含まれるカメラファイルシステム規格である。

一般に、画像データの主画像には輝度に対して水平垂直方向ともに色相が１／２になるサンプリング比を用いることが多い。このため、撮像素子側で色空間変換が行われていても所望のサンプリング比でない場合には、このブロック１００でサンプリング変換を行うものである。画像処理装置によっては、複数の異なる撮像素子を実装することもあり、図１には明示されていないが、色空間変換、サンプリング比変換機能のそれぞれを独立に制御あるいはバイパスできるように構成する。

ＤＣＴ部１０１からハフマン符号化部１０３は、図５に示すＪＰＥＧ符号化の一般的な構成と同様のブロックである。ここでＪＰＥＧ符号化され、ＪＰＥＧ変換したデータは結合部１０４に送られ、記録ファイル化が行われる。ＤＣＴ部１０１は、ＪＰＥＧでは、一般的な８×８ＤＣＴ演算を実施する機能に加え、８×８ＤＣＴ演算結果におけるＤＣ成分と呼ばれる要素を抽出し、縮小画像データメモリ１１１に格納するように構成する。この時抽出される要素をＤＣＴ−ＤＣ成分と呼ぶこととし、この機能をＤＣＴ−ＤＣ抽出と呼ぶこととする。
なお、８×８ＤＣＴ演算はＪＰＥＧ規格で採用されている演算であり、縦横８×８画素の領域の離散コサイン変換を行うものである。この結果も８×８の直交行列になるが、第１項はＤＣ成分と呼ばれ、変換前要素の平均値となる性質がある。

ＤＣＴ部１０１〜ハフマン符号化部１０３は、縮小画像のＪＰＥＧ圧縮時も使用されるが、ＤＣＴ部１０１におけるＤＣＴ−ＤＣ抽出機能は動作させる必要はない。このとき、縮小画像データメモリ１１１に格納されるデータ、ＤＣＴ部１０１におけるＤＣＴ−ＤＣ抽出機能により抽出されたＤＣＴ−ＤＣ成分はＤＣＴ演算の性質により、元画像データを縦横１／８に縮小した画像データとなる。

リサイザ、サンプリング比変換、フィラー部１１０は、色空間、サンプリング比変換部１００の出力または縮小画像データメモリ１１１の格納データをリサイズ、サンプリング変換、フィラーの挿入を行うブロックである。このブロック１１０は、必要に応じてそれぞれの機能が実行されるように構成され、いずれも実行する必要のない場合は一点鎖線で示すようにバイパスされる。

このブロック１１０のリサイズ機能は、ＤＣＦ形式では縮小画像が１６０×１２０画素に限定され、また、装置により縮小画像サイズは統一するのが一般的である。このため、データメモリ１１１に格納されたデータが所望サイズでない場合または点線で示されるブロック１１０からのデータを所望サイズとするために具備される。

また、ブロック１１０のサンプリング変換機能は、前述の通り主画像と縮小画像で輝度色相サンプリング比が同じとは限らないため、所望サンプリング比に変換するために具備される。ブロック１１０が、リサイズとサンプリング比変換の両方を行う場合は、輝度と色相で異なる倍率比でリサイズを行うことにより、等価的にサンプリング変換を行うことができる。

また、ブロック１１０のフィラーは、主画像と縮小画像の縦横画素数比が異なる場合で、縦横の縮尺比を維持しながら欠落領域をなくそうとした場合にもちいられる。この場合には、縮小画像の縦方向か横方向にデータ不足が生ずるので、その部分を適切なデータで埋めるための機能である。従って、主画像と縮小画像の縦横画素数比が同じである場合や縮小画像での欠落領域が発生することを許容する場合や縦横の縮尺比の維持を重視しない場合には必要はない。

また、結合部１０４はＪＰＥＧ圧縮された主画像とＪＰＥＧ圧縮された縮小画像を結合し、ファイル化のために必要な情報を付加するブロックである。なお、これらブロック１０１〜１０４はそれぞれ代表的なものとして、画素数、サンプリング比、量子化テーブル、ハフマンテーブル、撮影情報などを設定する必要があるが、通常の回路と同等なので説明を省略する。
本実施形態では、ブロック１００に入力される未圧縮画像データの画素数により適応的に効率的な手段を選択して縮小画像の圧縮データを生成しファイル化できるように構成している。

従って、本実施形態によれば、デジタルカメラやカメラつき携帯電話機などにおける画像処理で、ユーザが選択した画像サイズによらず、高速に記録完了できるので、次の撮影まで待たされる時間が短くなり、快適に操作できるようになると共に消費電力の抑制が期待できる。

図１の本発明の一実施形態を第１の実施例として説明する。本実施形態では、ブロック１００に入力される未圧縮画像データの画素数により適応的に効率的な手段を選択して縮小画像の圧縮データを生成しファイル化できるように構成している。この未圧縮データの画素数は、ファイル化を行う際には具体的数値が分かっているので、所望の縮小画像の画素に対して、縦横が８倍であるものを基準にして、その数値範囲により以下のように動作を分けられる。

縮小画像の画素数をＤＣＦ形式の１６０×１２０画素とする場合を具体例として、その数値を使って動作を説明する。この１６０×１２０画素の縦横８倍は１２８０×９６０である。

（場合１）縦横比が同じで、１２８０×９６０よりかなり小さい（例えば、ＶＧＡ［Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｄａｐｔｅｒ］＝６４０×４８０）場合：ＤＣＴ部１０１のＤＣＴ−ＤＣ抽出機能は使用しない。ＤＣＴ部１０１〜ハフマン符号化部１０３で主画像をＪＰＥＧ圧縮し、結合部１０４に与える。

その間、色空間、サンプリング比変換部１００からリサイザ、サンプリング比変換、フィラー部１１０に並行してデータを渡し、そのリサイザ部１１０で、１６０×１２０に縮小リサイズする。なお、ＶＧＡの場合は１／４となる。 ここで、必要であればサンプリング変換を行いデータメモリ１１１に格納する。これは、図１の破線の経路となる。データメモリ１１１に格納された画像データをＤＣＴ部１０１〜ハフマン符号化部１０３でＪＰＥＧ圧縮し結合部１０４に与える。この結合部１０４では記録に適したファイル化を行う。

（場合２）縦横比が同じで、１２８０×９６０よりやや小さい（たとえば１０２４×７６８）場合：ＤＣＴ部１０１のＤＣＴ−ＤＣ抽出機能を使用する。破線の経路は使用しない。ＤＣＴ部１０１〜ハフマン符号化部１０３で主画像をＪＰＥＧ圧縮し、結合部１０４に与える。

その間、ＤＣＴ部１０１でＤＣＴ−ＤＣ抽出を行い、データメモリ１１１に格納する（１０２４×７６８の場合、１２８×９６の画素数になる）。データメモリ１１１に格納された画像データをリサイザ、サンプリング比変換、フィラー部１１０で１６０×１２０に拡大リサイズする。また、１０２４×７６８の場合は１．２５倍となる。なお、必要であればサンプリング変換を行いながらＤＣＴ部１０１に与える。そしてＤＣＴ部１０１〜ハフマン符号化部１０３でＪＰＥＧ圧縮し、結合部１０４に与える。結合部１０４では、記録に適したファイル化を行う。

（場合３）縦横比が同じで、ちょうど１２８０×９６０の場合。
場合２と同様であるが、リサイザ、サンプリング比変換、フィラー部１１０で、でリサイズを行わず、サンプリング変換も不要であれば、リサイザ、サンプリング比変換、フィラー部１１０をバイパスする。

（場合４）縦横比が同じで、１２８０×９６０より大きい場合。
場合２と同様であるが、リサイザ、サンプリング比変換、フィラー部１１０でリサイズを行わず、サンプリング変換も不要であれば、このブロック１１０をバイパスする。ただし、１２８０×９６０より微妙に大きい場合で、周辺の画素が縮小画像に含まれなくてもよいと判断したシステムでは、場合３と同じ処理とする。

（場合５）縦横比が異なる場合。
縦横比が同じ場合に対して、１０２４×９６０に対して、大きいか小さいかにより、場合１、２、４と同様の手順を取るが、ブロック１１０の機能説明にあるとおり、フィラー機能を有効とするか、縦方向や横方向の周辺部の切り捨てが許容されれば、倍率値を適切に調整してフィラー機能を使わないことも選択できる。

このように本実施例は、入力される画像の画素数がいずれの場合でも、内部回路の切替や設定により対応することができる。具体的には、入力される画像の画素数が分かった段階で、画像処理装置の回路の切替操作、および画素数の変換比率を設定するだけで、異なる画素数の画像入力が可能となる。

なお、本実施例の画像処理装置として、次のものがある。この画像処理装置は、デジタルカメラなどの画像入力する際、主画像の画素数が複数選択可能なもので、この主画像を電子記憶は、メモリや媒体にファイル化して記録できるものである。なお、電子記憶はＪＰＥＧ形式で主画像と縮小画像とを記録するもので、例えばＥｘｉｆ（映像処理ソフト）のＤＣＦ仕様部分がある。

また、主画像圧縮過程では、ＤＣＴのＤＣ成分を分岐出力保管し、そのＤＣＴ−ＤＣ成分を必要に応じてリサイズしたり、そのＤＣＴ−ＤＣ成分の輝度・色相サンプリング比を必要に応じてサンプリング変換したり、所望の縦横画素数比でないときにはフィラーを付加したり、切り取りを行うことができる。また、所望画素数になった画像データは、ＪＰＥＧ圧縮されるが、圧縮した主画像と縮小画像にファイル化規格に適合した付加情報とともにファイル化できる。

また、主画像の画素数は、カメラなど入力画像生成側を制御することで、その変更が可能であり、その画素数の変更は、入力段にリサイズエンジンをもつものでできる（ハード・ソフトいずれもありうる）。その画素数のリサイズは、入力画像の拡大・縮小によるもの、または部分切り取りによるもののいずれかまたは両方を有するものがある。

主画像の画素数が大きくない場合は、ＤＣＴ前のデータを従来技術（例えば、間引き）により縮小して縮小画像とする。この縮小は、ＤＣＴ前のデータを全て記録し縮小するか、データ取得と並行して実施するかいずれかで行うが、圧縮後のＪＰＥＧ画像を復元し、従来技術で縮小して縮小画像とすることも出来る。

以上説明したように、本実施例によれば、画像の画素数をサイズ変換して所定画素数としているので、デジタルカメラやカメラつき携帯電話機における画像撮影で、ユーザが選択した画像サイズによらず、高速に記録完了できる。従って、次の撮影まで待たされる時間が短くなり、快適に操作できるようになると共に消費電力の抑制が期待できる。

図２および図３は本発明の第２、第３の実施例の画像表示素子との連携を含めた画像処理装置のブロック図である。図２、図３において、符号１００〜１０４，１１０，１１１は、図１の同じ符号と同等のブロックであるので説明を省略する。図２において、図１に対して、セレクタ１２０，１４０、色空間変換部１２１、リサイザ１３０、減色部１３１が付加されている。

図２のブロック１００ 〜１１１では、ＲＧＢ各色８ビット相当の色分解能を持っている。また、表示素子の多くは、ＲＧＢ５６５やＲＧＢ６６６など各色５〜６ビット程度の色分解能があるので、画素あたりの表現ビット数を減らす処理が必要となる。この機能を減色と呼び、減色部１３１はそのために具備される。この減色は、下位ビットの単純切捨てやディザと呼ばれる誤差拡散処理により実現される。この減色部１３１で減色された画像データが表示素子に渡される。

色空間変換部１２１は、Ｙ−Ｃｂ−Ｃｒ空間からＲＧＢ空間に変換する色空間変換ブロックである。ブロック１００ 〜１１１では、Ｙ−Ｃｂ−Ｃｒ空間で色表現しているが、通常の画像表示素子はＲＧＢ空間で色表現するため、その変換のため設置する。色空間変換されたデータはセレクタ１４０を介して減色部１３１に渡される。

リサイザ１３０は、画像生成素子からの画像データサンプリング比変換部１００を介してまたはバイパスして受け取り、画像表示に適した画素数にリサイズし、サンプリング比変換部１００を介して表示素子に渡すためのものである。この存在により、プレビュー状態ではブロック１０１〜１２０を稼動させずに取得中の画像を表示できる。

撮像素子の出力する画像データの色空間がＹ−Ｃｂ−Ｃｒであれば、サンプリング比変換部１００はバイパスできる。また、撮像素子の出力する画像データの色空間がＲＧＢである場合は、サンプリング比変換部１００と色空間変換部１２１とをバイパスするように構成する（破線にて図示）。

セレクタ１２０，１４０は画像データのセレクタで、表示画像を色空間変換部１２１の格納データとするか、セレクタ１２０の出力とするか、リサイザ１３０の出力とするかを選択するものである。

図２の実施例での画像ファイル作成は、図１の実施例と同様である。本実施例では、画像記録に先立つプレビュー中の表示画像データの生成と記録動作後の表示データを合理的に提供できることを特徴とする。

プレビュー中は、撮像素子からの画像データがリサイザ１３０を介してリサイズされた画像データを表示するようにセレクタ２４０を設定する。画像を取得し記録した時は、メモリ１１１に格納されたデータか１１０でさらにリサイズされたデータを表示データとするようにセレクタ１２０，１４０を設定する。

図１の実施例の例示値を適用すると、メモリ１１１の画像画素数は撮像素子からの画素数に比例し、縮小画像作成中の１１０出力は１６０×１２０になるので、セレクタ１２０の設定は、表示素子の画素数との関係で好ましいものが選ばれるように選択する。

また、いずれの画素数でも小さすぎる場合には、縮小画像生成後に１１０のリサイザ設定を適切な拡大値に変更したのち、セレクタ１２０，１４０でその画像データが表示素子に供給されるように設定する。

本実施例における画像記録前後の操作であるプレビュー状態では、画像生成素子からの画像や記録される縮小画像のデータと同じ処理をされた画像を、撮影直後には記録される縮小画像のデータを表示できるようにすることで、記録される品位が確認できるように処理ブロックを適宜選択結線して処理されるように構成する。

また、記録済みデータの表示では、縮小画像が含まれない場合には、効率のよい手段により縮小画像を作成して付加することができるよう、符号化同様に、効率よく作成する複数の手段を実現できるように、各手段の構成要素と、それらのバイパスを含めて適切に選択して使用できるようにすることにより、操作者が意図した画像サイズ毎に最適な処理が行われるようにする。

なお、本実施例の画像処理装置として、次のものがある。この画像処理装置は、第１の実施例に対して表示手段（デバイス）をもつ装置であり、また、入力画像を必要に応じてリサイズして表示デバイスに送ることができ（表示データＡ）、さらに必要に応じて減色処理が行えるもおのである。この減色処理としては、単純減色、ディザ、カラーパレットなどに対応でき、または１または複数の選択的実装・実行ができるものである。

さらに、表示デバイスは、ＤＣＴ−ＤＣ成分をリサイズありまたは無しで表示することができる（表示データＢ）。この場合、表示データＡの系しかもたないもの、表示データＢの系しかもたないもの、また表示データＡの系とＢの系を備え、適応的に切り替えることができるものもある。なお、適応切替の例として、プレビュー中は表示データＡの系で、撮像記録時に表示データＢの系に切り替えることもできる。

また、主画像の画素数が大きくない場合は、ＤＣＴ前のデータを従来技術により縮小して縮小画像とする。ＤＣＴ前のデータを全て記録し縮小するか、データ取得と並行して実施するかでき、さらに、圧縮後のＪＰＥＧ画像を復元し、従来技術で縮小して縮小画像とすることもできる。また、表示用データを縮小画像の画素数と一致させるようにし、これを圧縮縮小画像の元データとすることもできる。

なお、ＪＰＥＧ圧縮は、ＹＣｂＣｒ（またはＹＵＶ と表記される輝度色相による色表現空間を扱うが、表示素子はＲＧＢ３原色により駆動されるものが殆どである。この入力画像は、ＲＧＢである場合も、ＹＵＶである場合もある。また、表示デバイスを持つ装置においては、適切な位置に色空間変換を配置するが、入力端からの色空間変換は必要な場合と不要な場合があるので、必要に応じて選択する。ＲＧＢ−ＹＵＶ変換では色相のサンプリング比の変更を選択可能とする。
本実施例２による構成をとることで、外部より入手した縮小画像を含まない画像データに対しても短時間で縮小画像を作成・付加するため、画像閲覧時間がファイルにより変動することを抑えられる。また、一般的には閲覧時には縮小画像を用いるが、縮小画像を含まない画像データに対する表示用データ作成が一度きりになるので、消費電力を抑制することができる。

図３において、ブロック１２０〜１４０は、図２のブロックと同様であるが、図２に対して表示用メモリ１４１が付加されている。この表示用メモリ１４１は、表示データを格納するため、また、本実施例では表示データを縮小画像データの元データ路とするために備えられる。表示素子が画像メモリを有さない場合に備えられる場合が多いものである。図３の実施例では、図２に対して追加された表示用メモリ１４１を縮小画像の画像ソースとすることが選択できるようにしている。

この追加機能を使用しない場合は図２と同様であるが、追加した機能を選択する場合は、図１における縮小データ作成プロセスを一切使わず、それらに対応するソフトウェアやＨＷを起動しないことにより、時間短縮と消費電力低減を行う。この低消費電力モードや電池残量減少時にこの追加機能を使用することで、画像記録機能を著しく損なうことなく稼動可能時間を延長することを可能とする。

なお、ブロック１１０〜１２１，１４１及びブロック１０１のＤＣＴ−ＤＣ抽出機能を一切具備させずに、本実施例で追加された部分だけで構成することができる。

図４は本発明の第４の実施例の画像処理装置のブロック図である。図１〜図３に画像ファイルの復号処理と必要に応じた縮小画像の作成との連携を含めた実施例である。図４のブロック１００〜１４１は、図３と同等のブロックであるので説明を省略する。また、ブロック１５０，１５３，１５４は、図５に示すＪＰＥＧ復号化の一般的な構成と同様のブロックであり、ＪＰＥＧデータを伸長し表示データにするものである。ただし，ブロック１５０ではハフマンデコードしたＤＣＴ行列からＤＣ成分を抽出し、１５１に渡す機能を有するように構成する。

選択的逆量子化部１５１は、逆量子化部１５３で行われる逆量子化過程のＤＣ成分対応の係数のみにより逆量子化を行うブロックである。逆量子化部１５３では８ ８個の量子化値テーブルを使用するが、選択的逆量子化部１５１ではそのうちＤＣ成分に対応する値１つのみを使用する。量子化テーブルはＹ成分とＣｒ，Ｃｂ成分と別々のものが使用されるので、１５１で使用する値は最大３種類になる。

本実施例では、画像復号化の手段を追加し、記録済み画像データの表示、外部作成データが縮小画像を含まない場合の生成と追加を行えるように構成している。画像の撮影・記録およびその前後の画像表示に関しては、図３までの実施例と同様であるので省略する。

記録済みデータを表示する場合、表示素子の画素数が充分大きい場合には、表示画像選択フェーズで、記録ファイルに含まれる縮小画像を１５０，１５３，１５４で復号し、必要に応じて１３０でリサイズし、表示用メモリ１４１に送ることで表示せしめる。画像選択行為が行われた場合、主画像を同様に復号化して表示せしめるのが一般的である。表示画素数がそれほど大きくない場合や、アプリケーションによっては、縮小画像のみでとどまるインプリメントや主画像のみを扱うインプリメントがあり得る。

ここで、縮小画像データを含まない画像データが外部から提供された場合、縮小画像を扱うプロセスが機能できないため、従来は主画像を直接デコードすることになるが、その画素数が大きい場合は多くの処理時間が必要となる。

このような場合、本実施例では、表示データ作成にブロック１５０，１５３，１５４の経路でなく，ブロック１５０，１５１，１１０，１２０，１２１，１４０，１３１，１４１の処理経路が用いられる。これにより、処理規模が画素数に比例してしまうブロック１５３，１５４の逆量子化及び逆ＤＣＴ演算を行うことなく、に表示データを作成することが出来る。ここで、ブロック１２１に至る経路はブロック１１０，１２１でなくブロック１３０のみとすることもできる。

さらに、１５０処理も対象画素数比例の処理であるため、必ずしも高速に実施することは難しいため、上記で１１０に到達した画像データを１０１〜１０３を通すことで縮小画像のＪＰＥＧ圧縮データを作成すると共に１５０に入力された画像データと１０４で合成することにより縮小画像つきファイルを作成する。

なお、図中に処理経路を示していないが、主画像が縮小画像の縦横８倍に比べてあまり大きくない場合には、縮小画像の作成は１５１でなく１５４，１５３の経路から作成するように選択されることが好ましく。さらに主画像が著しく小さい場合には縮小画像を作成しないと言う選択肢がある。

なお、本実施例の画像処理装置として、次のものがある。この画像処理装置は、第２の実施例に加えて、電子記憶に格納される圧縮画像が、外部より書き込み可能なようにした、もので、その書き込みは通信手段によるもの、取り外し可能な媒体への外部装置による記録できるものがある。

電子記憶に格納される圧縮画像の読み出し（ファイル内容確認を含む）において、縮小画像が含まれない場合に、ハフマン復号した後、逆量子化する前に、ＤＣＴ−ＤＣのみを抽出し、それだけを逆量子化することができ、また、逆量子化したものは縮小画像となるので、ＤＣＴ−ＤＣと同じ処理で圧縮縮小画像を作成することができる。また、作成した縮小画像と元の画像とは、第１の実施例と同様のファイル化を行う。なお、元画像の画素数が大きくない場合は、その処理を行わない。また、元画像の画素数が大きくない場合でその記処理を行わない時は、画像復元を行い、従来技術で縮小したものを縮小画像として圧縮し縮小圧縮画像とする。

さらに、これら第１から第３の実施例の画像処理装置は、カメラ付き携帯電話に適用することができる。このカメラ付き携帯電話の場合には、各種画像入力をすぐに表示できるので、携帯電話のさらなる多機能化が図られる。

本発明は、デジタルカメラやカメラ付き携帯電話など、撮像し記録することを主機能あるいは副機能として有する装置で、画像記録情報内に縮小画像を有するものに適用できる。また、縮小画像を含めることにより記録した画像の閲覧行為に利便性を持たせようとするものにも適用できる。

本発明の第１の実施形態を説明する画像処理装置のブロック図である。 本発明の第２の実施例を説明する画像処理装置のブロック図である。 本発明の第３の実施例を説明する画像処理装置のブロック図である。 本発明の第４の実施例を説明する画像処理装置のブロック図である。 （ａ）（ｂ）は従来例の画像処理装置の符号化および復号化部分のブロック図である。 他の従来例の画像処理装置のブロック図である。

符号の説明

１１，１１ａ 未圧縮画像データ入力端子
１２，１２ａ ＪＰＥＧ画像データ出力端子
１３，１３ａ ＪＰＥＧデータ入力端子
１４，１４ａ 表示画像データ出力端子
１００ サンプリング比変換部
１０１ ＤＣＴ部
１０２ 量子化部
１０３ ハフマン符号化部
１０４ 結合部
１１０ リサイザ，サンプリング比変換、フィラー部
１１１ 画像データメモリ
１２０，１４０ セレクタ
１２１ 色空間変換部
１３０ リサイザ
１３１ 減色部
１４１ 表示用メモリ
１５１ 選択的逆量子化部
１５２ ハフマン復号化部
１５３ 逆量子化部
１５４ ＩＤＣＴ部
１６０ リサイザ、サンプリング比変換部

Claims (21)

1. 静止画像として入力する非圧縮画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式で圧縮して記憶媒体にファイル化して記録再生する画像処理装置において、入力された主画像の画素数をサイズ変換して所定画素数とするサイズ変換手段と、このサイズ変換手段の出力または前記ＪＰＥＧ圧縮過程で形成される縮小画像を記憶する縮小画像記憶手段とを備え、前記主画像および前記縮小画像をＪＰＥＧ形式で圧縮し同時に出力することを特徴とする画像処理装置。
2. 入力した非圧縮画像データを主画像として離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）による演算をするＤＣＴ部と、このＤＣＴ部の出力を量子化する量子化部と、この量子化部の出力をハフマン符号化するハフマン符号化部と、このハフマン符号化部からの出力される複数の画像出力を結合して出力する結合部とを備え、縮小画像記憶手段は、分岐出力した前記ＤＣＴ部のＤＣ成分を格納して、所定画素数の画像データを縮小画像とし、サイズ変換手段は、その出力を前記ＤＣＴ部に入力し量子化・ハフマン符号化して縮小画像出力とし、この縮小画像出力と前記ハフマン符号化部からの主画像出力とを前記結合部で結合してＪＰＥＧ形式で同時に出力した請求項１記載の画像処理装置。
3. 入力した非圧縮画像データを主画像としてＪＰＥＧ化するに適した色空間、サンプリング比のデータに変換する入力変換手段が付加された請求項２記載の画像処理装置。
4. サイズ変換手段が、入力画像を拡大または縮小して所定のサイズにするリサイザからなる請求項２記載の画像処理装置。
5. サイズ変換手段が、ＤＣＴ部から出力されるＤＣ成分の輝度・色相サンプリング比を所定のサンプリング比に変換するサンプリング変換手段からなる請求項２記載の画像処理装置。
6. サイズ変換手段が、主画像の画素数が所望の縦横画素数比でないときには、画素のない領域に所定パターンの画素で埋め込み、または前記主画像の画素数の不要画素領域を切り取るフィラー手段からなる請求項２記載の画像処理装置。
7. 主画像の縦横比が同じでその画素数が所定画素数より小さい場合、ＤＣＴ部のＤＣ成分を分岐出力はせず、前記主画像を前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力し、また前記主画像をサイズ変換手段によりリサイズまたはサンプリング変換して所定縮小画像とし縮小画像記憶手段に記憶し、記憶した前記縮小画像を前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力する請求項２，４または５記載の画像処理装置。
8. 主画像の縦横比が同じでその画素数が所定画素数よりやや小さい場合は、ＤＣＴ部のＤＣ成分を分岐出力しこれを縮小画像記憶手段に格納し、前記主画像を前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力し、また前記縮小画像記憶手段の画像をサイズ変換手段により拡大リサイズして所定画素数とし、これを前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力する請求項２，４または５記載の画像処理装置。
9. 主画像の縦横比が同じでその画素数が所定画素数と同じか、所定画素数より大きい場合は、ＤＣＴ部のＤＣ成分を分岐出力しこれを縮小画像記憶手段に格納し、前記主画像を前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力し、またサイズ変換手段を使わずに前記主画像を前記縮小画像記憶手段に入力し、前記縮小画像記憶手段からの画像を、前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力する請求項２，４または５記載の画像処理装置。
10. 表示手段が付加され、この表示手段により、縮小画像記憶手段の出力、またはその出力をサイズ変換した出力、または入力した非圧縮画像データをリサイザによりリサイズした出力を、切り替えて表示する請求項２記載の画像処理装置。
11. 表示手段の入力側に、画像データの減色処理をする減色処理手段が付加された請求項１０記載の画像処理装置。
12. 減色処理手段が、単純減色、ディサ、またはカラ−パレットに対応する請求項９記載の画像処理装置。
13. ＪＰＥＧ圧縮画像を外部から書き込み可能とするＪＰＥＧ入力端子と、このＪＰＥＧ入力端子からの圧縮画像を復号化する復号手段とを設けた請求項１０、１１または１２記載の画像処理装置。
14. 復号手段が、ＪＰＥＧ圧縮画像をハフマン復号化し、選択的逆量子化して、その出力をサイズ変換手段に入力する請求項１３記載の画像処理装置。
15. 復号手段が、ＪＰＥＧ圧縮画像をハフマン復号化し、逆量子化し、さらに逆ＤＣＴし、この逆ＤＣＴされた復号画像を、リサイザに入力する請求項１３記載の画像処理装置。
16. 請求項１乃至１５のうちの１項に記載の画像処理装置を含むことを特徴とするカメラ付き携帯電話。
17. 静止画像として入力する非圧縮画像データをＪＰＥＧ形式で圧縮して記憶媒体にファイル化して記録再生する画像処理方法において、入力された主画像の画素数をサイズ変換して所定画素数とし、このサイズ変換した出力または前記ＪＰＥＧ圧縮過程で形成される縮小画像を縮小画像記憶手段に記憶し、前記主画像および前記縮小画像をＪＰＥＧ形式で圧縮しを同時に出力することを特徴とする画像処理方法。
18. 入力した非圧縮画像データを主画像として離散コサイン変換（ＤＣＴ）による演算をＤＣＴ部でし、このＤＣＴ部出力を量子化し、この量子化出力をハフマン符号化して主画像出力とし、前記ＤＣＴ部出力のＤＣ成分を縮小画像データメモリに格納し、サイズ変換した所定画素数の画像データを縮小画像出力とし、この出力を前記ＤＣＴ部に入力し量子化・ハフマン符号化して縮小画像出力とし、この縮小画像出力と前記主画像出力とを結合してＪＰＥＧ形式で同時に出力する請求項１７記載の画像処理方法。
19. 主画像の縦横比が同じでその画素数が所定画素数より小さい場合、ＤＣＴ部のＤＣ成分を分岐出力はせず、前記主画像を前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力し、また前記主画像をサイズ変換手段によりリサイズまたはサンプリング変換して所定縮小画像とし縮小画像記憶手段に記憶し、記憶した前記縮小画像を前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力する請求項１８記載の画像処理方法。
20. 主画像の縦横比が同じでその画素数が所定画素数よりやや小さい場合は、ＤＣＴ部のＤＣ成分を分岐出力をしこれを縮小画像記憶手段に格納し、前記主画像を前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力し、また前記縮小画像記憶手段の画像をサイズ変換手段により拡大リサイズして所定画素数とし、これを前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力する請求項１８記載の画像処理方法。
21. 主画像の縦横比が同じでその画素数が所定画素数と同じか、所定画素数より大きい場合は、ＤＣＴ部のＤＣ成分を分岐出力しこれを縮小画像データメモリに格納し、前記主画像を前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力し、またサイズ変換手段を使わずに前記主画像を前記縮小画像記憶手段に入力し、前記縮小画像記憶手段からの画像を、前記ＤＣＴ部に入力し量子化・ハフマン符号化しＪＰＥＧ圧縮して出力する請求項１８記載の画像処理方法。
    

Images