JP4504412B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、電子的な撮像ユニットを介して撮像された被写体像の画像処理装置及び画像処理方法に関し、特に、単板式のカラーフィルタを有する撮像素子を介して出力されて画素毎に、単一色の輝度情報のみを有するモザイク画像から画素毎に複数色の輝度情報を有するカラー画像を生成すると共に画像変形処理を施す撮像装置に関する。

従来、デジタルカメラなどの撮像装置において、レンズを介して撮像素子に被写体像を結像し、この撮像素子によって被写体像を光電変換して画像信号を生成する画像処理装置及び画像処理方法が知られている。

また、単板式の撮像素子として、マトリクス状に複数の光電変換素子が構成されると共に、その前面に光電変換素子に対応付けてＲ（赤）Ｇ（緑）Ｂ（青）の各カラーフィルタが備えられ、このカラーフィルタを介して出力した単一色の画像信号に信号処理を加えてカラー画像を生成する画像処理装置及び画像処理方法がある。

つまり、単板式の撮像素子を介して出力された画像では、各画素が単一色の色情報しか持たない色モザイク画像であって、カラー画像を生成するために、各画素に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）等の複数の色情報を備える必要がある。

このため単板式撮像素子を用いた画像処理では、各画素がＲ、Ｇ、Ｂ成分のうちの何れかのみの色情報を有する色モザイク画像にもとづいて、いわゆるデモザイク処理（色補間処理ともいう）を行っている。ここで、デモザイク処理とは、色モザイク画像の各画素において不足する他の色情報を、その画素周辺の他の画素の色情報を用いて補間演算することにより、各画素が夫々Ｒ、Ｇ、Ｂ成分の全ての色情報を有するカラー画像を生成する処理である（所謂、色補間処理である）。

また、単板式撮像素子を用いた画像処理では、前述のように色モザイク画像からデモザイク処理を行った後に、画像のブレや歪等を補正したり所望に応じて画像を拡縮したりする画像変形処理が行われているものがある。

つまり、デジタルカメラ等の撮像装置では、前述の被写体を撮影する際に、デジタルカメラがユーザの意思に反して動いてしまうことによる画像の乱れ、所謂ブレや撮像レンズに起因する歪が問題となる。そこで、カメラの動きをジャイロや画像のデジタル信号処理によって検出し、レンズの光軸を光学的に動かしたり、画像信号を電子的に動かしたりする（つまり、画素位置を補正する）ことによって、ブレや歪を補正する技術が知られている。

また、この際、より高品位の画質を得るためには、平行移動のみならず回転やアオリといった画像変形や、サブピクセル単位での位置補正が行われている。

例えば、図９（ａ）に表したようにイメージセンサの出力画像から若干の回転や拡縮を行った変形後の画像を切り出して出力する際、一般に、イメージセンサからラスタスキャンによって読み出され、変形後の画像もラスタスキャンによって後段に出力することが求められることが多い。ここで、画像変形後の第一ラインを出力する際には、イメージセンサ出力画像の所定領域（ハッチング領域）が参照可能にバッファリングされている必要がある。さらに、９０度の回転や上下反転などの画像変形を行う際には、この所定領域が１画面分になる。また、実装上では、書き込み対象のフレームと読み出し対象のフレームとを別々とするダブルバッファの構成となるため、２フレーム分の画像バッファが必要とされる（例えば、特許文献１、２参照）。

詳しくは、図９（ｂ）に表したように、「５Ｍピクセルの単板式カラーイメージセンサからＨＤ動画を出力する」カムコーダを例にとると、従来のデモザイク処理では、ベイヤー配列の各画素に出力画像の各画素に対応付けてカラー画像を生成するために、まず、イメージゼンサから出力される５Ｍピクセルの色モザイク画像から５ＭのＲＧＢカラー画像（画素毎に複数の色情報を備えたカラー画像である）を生成し、次いで、このＲＧＢカラー画像に対して手ぶれ補正や画像サイズの変更といった画像変形を行い、２Ｍのカラー画像を出力する。

この際、画像変形の対象となる５ＭのＲＧＢカラー画像をバッファリングする必要があるので、ＲＧＢデータを２４ｂｉｔ／ｐｉｘとし、動画処理のためにダブルバッファにすると、バッファメモリに必要な記憶容量が２４０Ｍｂｉｔ（２×５Ｍ×２４）となる。

また、６０ｆｐｓの処理速度を考慮すると、このバッファメモリに必要な帯域は、各画素を一度ずつ参照するとしても、１４．４Ｇｂｐｓ（２（書き込みと読み出し分）×５Ｍ×２４×６０）となる。また、バッファメモリに必要な帯域は、実際には複数回参照されることがあるため、これ以上になる。

また、カラー画像の圧縮技術として、単板式カラーイメージセンサの出力に対して、色補間処理を行うことなく直接圧縮を行ってハードウェアを小さくした技術も知られている（例えば、特許文献３参照）。
特開２００７−２２８５１５号公報 特開２００７−２２８５１４号公報 特開２００５−２１７８９６号公報

しかしながら、単板式イメージセンサを用いた画像処理装置において、従来、画像変形をカラー画像（３ｐａｒｍ／ｐｉｘ）に対して行っているので、大きな容量と帯域がバッファに必要とされ、消費電力の増大やコストＵＰが生じる虞があった。また、特許文献３の技術には、ハードウェアの小型化を図るために、カラー画像を生成する前のモザイク画像に対して圧縮を行う技術が開示されているが、それを用いて有効に画像変形及びカラー画像を生成する際の技術が開示されておらず、さらに画像変形と色生成を含めて、発明の余地があった。

そこで、本発明は、カラーフィルタを有する単板式撮像素子から出力された色モザイク画像から、画素毎に複数色の輝度情報を有するカラー画像を生成すると共に画像変形処理を行う際に、バッファの記憶容量や帯域を節減して、低消費電力化及び低コスト化を実現できる画像処理装置及び画像処理方法を提供することを目的とする。

かかる目的を達成するためになされた請求項１に記載の発明は、異なる複数の色光を光電変換する画素を有する単板式の撮像素子によって得られた、各画素が単色の輝度情報を有した色モザイク画像から、各画素に複数色の輝度情報を生成すると共に所定の画像変形を施してカラー画像を生成する画像処理装置であって、前記色モザイク画像を、同一の色光の輝度情報だけを含む複数の色プレーンに分解する色プレーン分解部と、前記色プレーン分解部で分解された色モザイク画像を、前記複数の色プレーンの夫々毎に記憶するバッファメモリと、前記バッファメモリに記憶された色モザイク画像から前記カラー画像を生成するデモザイク部と、を備え、前記デモザイク部が、前記バッファメモリに記憶された前記色モザイク画像の複数の色プレーンの夫々毎に、前記画像変形が施された場合の前記カラー画像の画素位置に対応する前記色モザイク画像上のサンプリング座標を算出する座標変換部と、前記バッファメモリに記憶された前記色モザイク画像の複数の色プレーンの夫々毎に、前記色モザイク画像上のサンプリング座標における各色の画素値を、前記色プレーン内に含まれる同一の色光の画素値から補間生成する補間部と、前記補間部で補間生成されたサンプリング座標における各色の画素値を合成して前記カラー画像を生成する色生成部と、を備えていることを特徴とする。

請求項１に記載の画像処理装置によれば、色モザイク画像を同一の色光の輝度情報だけを含む複数の色プレーンに分解する色プレーン分解部と、色プレーン分解部で分解された色モザイク画像を複数の色プレーンの夫々毎に記憶するバッファメモリと、バッファメモリに記憶された色モザイク画像からカラー画像を生成するデモザイク部と、を備え、デモザイク部が、バッファメモリに記憶された色モザイク画像の複数の色プレーンの夫々毎に、画像変形が施された場合のカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標を算出する座標変換部と、バッファメモリに記憶された色モザイク画像の複数の色プレーンの夫々毎に、色モザイク画像上のサンプリング座標における各色の画素値を色プレーン内に含まれる同一の色光の画素値から補間生成する補間部と、補間部で補間生成されたサンプリング座標における各色の画素値を合成してカラー画像を生成する色生成部とを備えているので、単板式撮像素子から出力された色モザイク画像から、画素毎に複数色の輝度情報を有するカラー画像を生成すると共に画像変形処理を行う際に、画像変形をカラー画像に対して行うよりも、バッファの記憶容量や帯域を節減して、低消費電力化及び低コスト化を実現できる。つまり、カラー画像をバッファに記憶する構成によれば１画素あたりＲＧＢに対応付けられた３つの変数が必要となるが、本発明のように色モザイク画像をバッファメモリに記憶することにより、１画素当たりの変数を１つにできて、バッファメモリに必要な容量や帯域を節減して低消費電力化と低コスト化を実現し、画像変形を備えた撮像装置を提供できる。また、請求項１に記載の画像処理装置は、カラー画像の画素位置に対応付けて算出された色プレーン毎の色モザイク画像上のサンプリング座標には、デモザイク（カラー画像の生成）と共に画像変形が反映されているので、デモザイク処理と画像変形処理とを別々に行うよりも処理負荷を軽減できる。

例えば、図３に表したように、「５Ｍピクセルの単板式カラーイメージセンサからＨＤ動画を出力する」カムコーダを例にとり、この際、色モザイク画像でバッファリングし、色モザイク画像に対して画像変形及びデモザイク処理を行うものとする。この際、色モザイク画像が１２ｂｉｔ／ｐｉｘとし、動画処理のためにダブルバッファにすると、バッファメモリに必要な記憶容量が１２０Ｍｂｉｔ（２×５Ｍ×１２）となり、図９に表した従来例に較べて記憶容量を半減できる。

また、請求項１に記載の画像処理装置は、請求項２に記載の発明のように、前記色モザイク画像を圧縮する圧縮部と、前記圧縮部で圧縮された前記色モザイク画像を伸長する伸長部とを備え、前記圧縮部が、前記複数の色プレーンの夫々毎に複数のブロックに分割して、該分割されたブロック毎に所定のサイズ以下に圧縮し、前記バッファメモリが、前記圧縮部で圧縮されたブロック毎の色モザイク画像を記憶し、前記伸長部が、前記バッファメモリに記憶されたブロック毎に、圧縮された色モザイク画像を伸長し、前記デモザイク部が、前記伸長部で伸長された色モザイク画像から前記カラー画像を生成するように構成されていることにより、さらに、バッファメモリの記憶容量を削減できる。また、単板式カラーイメージセンサから出力される色モザイク画像を各色に対応付けて容易に圧縮でき、さらには、圧縮された色モザイク画像を伸長してカラー画像を生成できる。

また、請求項２に記載の画像処理装置は、前記圧縮部が、前記輝度の階調に対応付けられた階調圧縮であることが好ましい。

また、請求項１または請求項２に記載の画像処理装置は、前記色モザイク画像の画素値を記憶するキャッシュメモリを備え、前記デモザイク部が、前記バッファメモリを介さずに、前記キャッシュメモリから前記画素値を得ることができるように構成されていることが好ましい。つまり、デモザイク処理において、カラー画像の１画素を生成する際に、色モザイク画像における複数の色の画素値を参照するが、カラー画像の隣接する画素を生成するときに、色モザイク画像の同一画素が参照（アクセス）されることが多い。そこで、直前に参照した画素をキャッシュメモリに記憶させることにより、バッファメモリの読み出し帯域を削減できて、さらなる消費電力の削減ができる。

また、前記キャッシュメモリが、最近アクセスされた、画素の画素値又は前記ブロック内の画素値群を記憶するように構成されていることが好ましい。

次に、請求項３に記載の発明は、異なる複数の色光を光電変換する画素を有する単板式の撮像素子によって得られた、各画素が単色の輝度情報を有した色モザイク画像から、各画素に複数色の輝度情報を生成すると共に所定の画像変形を施してカラー画像を生成する画像処理方法であって、前記色モザイク画像を、同一の色光の輝度情報だけを含む複数の色プレーンに分解する色プレーン分解ステップと、前記色プレーン分解ステップで分解された色モザイク画像を、複数の色プレーンの夫々毎にバッファメモリに記憶する色プレーン記憶ステップと、前記バッファメモリに記憶された色モザイク画像から前記カラー画像を生成するデモザイクステップと、を用い、前記デモザイクステップにおいて、前記バッファメモリに記憶された前記色モザイク画像の複数の色プレーンの夫々毎に、前記画像変形が施された場合の前記カラー画像の画素位置に対応する前記色モザイク画像上のサンプリング座標を算出する座標変換ステップと、前記バッファメモリに記憶された前記色モザイク画像の複数の色プレーンの夫々毎に、前記色モザイク画像上のサンプリング座標における各色の画素値を、前記色プレーン内に含まれる同一の色光の画素値から補間生成する補間ステップと、前記補間ステップで補間生成されたサンプリング座標における各色の画素値を合成して前記カラー画像を生成する色生成ステップと、を用いることを特徴とする。

請求項３に記載の画像処理方法によれば、色モザイク画像を同一の色光の輝度情報だけを含む複数の色プレーンに分解する色プレーン分解ステップと、色プレーン分解ステップで分解された色モザイク画像を複数の色プレーンの夫々毎にバッファメモリに記憶する色プレーン記憶ステップと、バッファメモリに記憶された色モザイク画像からカラー画像を生成するデモザイクステップと、を用い、デモザイクステップにおいて、バッファメモリに記憶された色モザイク画像の複数の色プレーンの夫々毎に、画像変形が施された場合のカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標を算出する座標変換ステップと、バッファメモリに記憶された色モザイク画像の複数の色プレーンの夫々毎に、色モザイク画像上のサンプリング座標における各色の画素値を、色プレーン内に含まれる同一の色光の画素値から補間生成する補間ステップと、補間ステップで補間生成されたサンプリング座標における各色の画素値を合成してカラー画像を生成する色生成ステップと、を用いることにより、請求項１に記載の発明と同様に、画像変形をカラー画像に対して行うよりも、バッファの記憶容量や帯域を節減して、低消費電力化及び低コスト化を実現できる。また、請求項３に記載の画像処理方法は、カラー画像の画素位置に対応付けて算出された色プレーン毎の色モザイク画像上のサンプリング座標には、デモザイク（カラー画像の生成）と共に画像変形が反映されているので、デモザイク処理と画像変形処理とを別々に行うよりも処理負荷を軽減できる。

また、請求項３に記載の画像処理方法は、請求項４に記載の発明のように、前記色モザイク画像を圧縮する圧縮ステップと、前記圧縮ステップで圧縮された前記色モザイク画像を伸長する伸長ステップと、を用い、前記圧縮ステップにおいて、前記複数の色プレーンの夫々毎に複数のブロックに分割して、該分割されたブロック毎に所定のサイズ以下に圧縮し、前記色プレーン記憶ステップにおいて、前記圧縮ステップで圧縮されたブロック毎の色モザイク画像を前記バッファメモリに記憶し、前記伸長ステップにおいて、前記バッファメモリに記憶されたブロック毎に、圧縮された色モザイク画像を伸長し、前記デモザイクステップにおいて、前記伸長ステップで伸長された色モザイク画像から前記カラー画像を生成することにより、請求項２に記載の発明と同様に、さらに、バッファメモリの記憶容量を削減できる。また、単板式カラーイメージセンサから出力される色モザイク画像を各色に対応付けて容易に圧縮でき、さらには、圧縮された色モザイク画像を伸長してカラー画像を生成できる。

また、請求項４に記載の画像処理方法は、前記圧縮ステップが、前記輝度の階調に対応付けられた階調圧縮であることが好ましい。

また、請求項３または請求項４に記載の画像処理方法は、前記色モザイク画像の画素値を記憶するキャッシュメモリを用い、前記デモザイクステップが、前記バッファメモリを介さずに、前記キャッシュメモリから前記画素値を得ることができるように構成されていることが好ましい。つまり、デモザイク処理において、カラー画像の１画素を生成する際に、色モザイク画像における複数の色の画素値を参照するが、カラー画像の隣接する画素を生成するときに、色モザイク画像の同一画素が参照（アクセス）されることが多い。そこで、直前に参照した画素をキャッシュメモリに記憶させることにより、バッファメモリの読み出し帯域を削減できて、さらなる消費電力の削減ができる。

また、前記キャッシュメモリが、最近アクセスされた、画素の画素値又は前記ブロック内の画素値群を記憶するように構成されていることが好ましい。

本発明の画像処理装置及び画像処理方法は、色モザイク画像を同一の色光の輝度情報だけを含む複数の色プレーンに分解して色モザイク画像を複数の色プレーンの夫々毎にバッファメモリに記憶し、次いで、バッファメモリに記憶された色モザイク画像の複数の色プレーンの夫々毎に、画像変形が施された場合のカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標を算出し、次いで、バッファメモリに記憶された色モザイク画像の複数の色プレーンの夫々毎に、色モザイク画像上のサンプリング座標における各色の画素値を、色プレーン内に含まれる同一の色光の画素値から補間生成し、次いで、補間生成されたサンプリング座標における各色の画素値を合成してカラー画像を生成することにより、単板式撮像素子から出力された色モザイク画像から、画素毎に複数色の輝度情報を有するカラー画像を生成すると共に画像変形処理を行う際に、画像変形をカラー画像に対して行うよりも、バッファの記憶容量や帯域を節減して、低消費電力化及び低コスト化を実現できる。つまり、カラー画像をバッファに記憶する構成によれば１画素あたりＲＧＢに対応付けられた３つの変数が必要となるが、本発明のように色モザイク画像をバッファメモリに記憶することにより、１画素当たりの変数を１つにできて、バッファメモリに必要な容量や帯域を節減して低消費電力化と低コスト化を実現し、画像変形を備えた撮像装置を提供できる。また、カラー画像の画素位置に対応付けて算出された色プレーン毎の色モザイク画像上のサンプリング座標には、デモザイク（カラー画像の生成）と共に画像変形が反映されているので、デモザイク処理と画像変形処理とを別々に行うよりも処理負荷を軽減できる。

また、本発明の画像処理装置及び画像処理方法は、複数の色プレーンの夫々毎に複数のブロックに分割して、該分割されたブロック毎に所定のサイズ以下に圧縮し、次いで、バッファメモリに圧縮されたブロック毎の色モザイク画像を記憶し、次いで、バッファメモリに記憶されたブロック毎に圧縮された色モザイク画像を伸長し、伸長された色モザイク画像からカラー画像を生成することにより、さらに、バッファメモリの記憶容量を削減できる。また、単板式カラーイメージセンサから出力される色モザイク画像を各色に対応付けて容易に圧縮でき、さらには、圧縮された色モザイク画像を伸長してカラー画像を生成できる。

(第１の実施形態)
次に、本発明の画像処理装置及び画像処理方の第１の実施形態を、図面にもとづいて説明する。

図１は、本発明の画像処理装置及び画像処理方法が適用された第１の実施形態の撮像装置１の構成を表したブロック図、図２は、同第１の実施形態における色プレーン分解部と色生成部の機能説明図であって、（ａ）が撮像ユニット２から出力されるベイヤー配列の色モザイク画像を表した図、（ｂ）、（ｃ）、（ｄ）、（ｅ）が、夫々、色プレーン分解部で生成されたＲプレーン、Ｇｒプレーン、Ｇｂプレーン、Ｂプレーンの配置を表した図、（ｆ）がサンプリング座標における画素値を補間算出する際の説明図である。

また、図３は、同第１の実施形態における、色モザイク画像から画像変形及びカラー画像を生成するデモザイク処理の説明図、図４は、同第１の実施形態の画像処理及び画像処理プログラムにおけるカラー画像生成の手順を表したフローチャートである。

撮像装置１は、例えば携帯電話などのモバイル機器に搭載されたカメラモジュールであって、図１に表したように、被写体像Ｐを撮像素子５に導いてデジタル画像信号（モザイク状の画像信号である）として出力する撮像ユニット２と、撮像ユニット２を介して出力されたデジタル画像信号に基づいて、被写体に対する撮像ユニット２のブレ補正や所定の画像変形を行うと共に画素毎に複数の色情報を備えたカラー画像を生成する画像処理装置１００とによって構成されている。また、本実施例の撮像装置１は、図３に表したように、画像処理装置１００において、撮像ユニット２から出力された色モザイク画像を後述のバッファメモリ２１に記憶し、バッファメモリ２１にアクセスして画像変形やデモザイク処理を行うように構成されている。

次に、図１に表したように、撮像ユニット２は、被写体像Ｐを撮像素子５に導く撮像レンズ３、受光した撮像光を電気量に変換して出力する撮像素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）５、撮像素子５から出力されるアナログ画像信号をデジタル画像信号Ｃに変換して出力するＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）６、撮像素子５及びＡＦＥ６を所定の周期で制御するＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１３、被写体に対する撮像装置１のブレを検知し、そのブレ量に応じた電気信号を出力する角速度センサ１５等が備えられている。

撮像素子５は、単板式撮像素子であって、複数の光電変換素子がマトリクス状に配置され、その前面には光電変換素子に対応付けてＲ（赤）Ｇ（緑）Ｂ（青）３原色のベイヤー（Ｂａｙｅｒ）配列からなるカラーフィルタ５ａを備え、各色のフィルタ部を通過した単一色の光量をアナログ電気信号に変換するように構成されている。また、撮像素子５から、アナログ電気信号がラスター順次で出力される。

前述の原色ベイヤー配列は、図２（ａ）に表したように、Ｇ色のフィルタが市松模様で配置され、Ｇ色フィルタとＲ色フィルタが交互に配置された列とＧフィルタとＢフィルタが配置された列とが交互に構成されている。また、本実施例では、図２（ａ）において、Ｒに並んで一方向に配置されたＧ色をＧｒと表し、Ｂに並んで一方向に配置されたＧ色をＧｂと表す。

ＡＦＥ６は、撮像素子５を介して出力されたアナログ画像信号に対してノイズを除去する相関二重サンプリング回路（ＣＤＳ：Ｃｏｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）７、相関二重サンプリング回路７で相関二重サンプリングされた画像信号を増幅する可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）８、可変利得増幅器８を介して入力されたアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器９、等によって構成され、撮像素子５から出力された画像信号を、デジタル画像信号Ｃに変換して画像処理装置１００に出力する。

なお、撮像ユニット２において、撮像素子５、相関二重サンプリング回路７、可変利得増幅器８、Ａ／Ｄ変換器９等に代えて、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを用いてもよい。撮像素子５から出力される画素毎の信号が単一色の情報しかもたないので、撮像ユニット２から画像処理装置１００に、モザイク状の画像信号が出力される。なお、ＡＤ変換された直後の色モザイク画像は、ＲＡＷデータとも呼ばれる。

角速度センサ１５は、例えば公知の振動ジャイロによって構成され、当該撮像ユニット２の、被写体に向かって前後方向のブレ、左右方向のブレ、上下方向のブレ、前後方向を回転軸とする回転ブレ、左右方向を回転軸とする回転ブレ、上下方向を回転軸とする回転ブレ等に応じた電気信号（以下、ブレ信号という）を生成して画像処理装置１００に出力する。なお、角速度センサ１５に代えて、ピエゾ型の３軸加速度センサを用いたり、互いに直交する３軸方向に対応付けて複数の加速度センサを用いたりしてもよい。さらに、ブレを検出する際に、前述のセンサによるブレ検出の代わりに、画像処理装置１００において、所定時間内において撮影される複数の画像間の画像信号の差分を検出して、これらの差分にもとづいて前述のブレを検出してもよい。

次に、画像処理装置１００は、撮像ユニット２から出力されたモザイク画像を格納（記憶）するバッファメモリ２１、バッファメモリ２１から出力された色モザイク画像に対して所定の画像変形を施したカラー画像を生成するデモザイク部２８、色生成部３３から出力されたカラー画像信号に対して色画像の見栄えを良くするために公知のガンマ補正や彩度補正、エッジ強調等を行う視覚補正部３４、視覚補正部３４を介して出力されたカラー画像を例えばＪＰＥＧ等の方法で圧縮する圧縮部３５、圧縮部３５を介して出力されたカラー画像を例えばフラッシュメモリ等の記録媒体に記録する記録部３６、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１８、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１９等によって構成され、ＣＰＵ１８がＲＯＭ１９に格納された制御用プログラムに従って、当該撮像装置１及び画像処理装置１００の各処理を制御する。

また、画像処理装置１００は、撮像レンズ３のレンズステートに対応付けて撮像ユニット２の歪曲収差を補正するための歪曲収差係数を記録した収差係数テーブル３８、角速度センサ１５から出力されたブレ信号に基づいて、撮像ユニット２から入力された色モザイク画像に対するブレの補正値を算出するブレ検出部４０、等を備えている。

バッファメモリ２１は、ＤＲＡＭ等で実現され、ベイヤー配列に対応付けられて、Ｒの画素信号を記憶するＲプレーンメモリ２２と、Ｇｒの画素信号を記憶するＧｒプレーンメモリ２３ａと、Ｇｂの画素信号を記憶するＧｂプレーンメモリ２３ｂと、Ｂの画素信号を記憶するＢプレーンメモリ２４と、によって構成され、Ｒ画素、Ｇｒ画素、Ｇｂ画素、Ｂ画素を各々ラスター順次でシーケンシャルに格納し、ＣＰＵ１８からの指令に基づき、これらの画素信号（以下、画素値という）を、デモザイク部２８におけるサンプリング部３１に出力する。本発明における色プレーン分解部は、バッファメモリ２１によってその機能が発現される。

収差係数テーブル３８には、撮像レンズ３に起因する収差を示す収差係数が格納されている。この収差係数は、デモザイク部２８における座標変換部３０に出力される。

ブレ検出部４０は、角度センサ１５から出力されたブレの電気信号に基づいて、被写体に対する撮像ユニット２のブレを検出して、ブレを補正するためのブレ補正パラメータ（ｚ、ｄｘ、ｄｙ、θ、ψｙ、ψｘ等）を、デモザイク部２８における座標変換部３０に出力する。

ブレ補正パラメータ（以下、ブレ補正値ともいう）において、被写体に対して、ｚが撮像ユニット２の前後方向のブレに伴う被写体像の大きさの補正値、ｄｘが左右方向あるいはヨー軸のブレに伴う被写体像の左右位置の補正値、ｄｙが上下方向あるいはピッチ軸のブレに伴う被写体像の上下位置の補正値、θが前後方向を回転軸とするブレに伴う被写体像の回転の補正値、ψｙが上下方向あるいはピッチ軸のブレに伴う被写体像の上下方向のアオリの補正値、ψｘが左右方向あるいはヨー軸のブレに伴う被写体像の左右方向のアオリの補正値である。また、ブレ補正パラメータｚには、撮像装置１のズーム倍率を含めてもよい。

次に、デモザイク部２８は、各種の収差補正や手ぶれ補正、画像の拡縮といった画像変形が統合されており、出力するカラー画像の画素座標を走査する出力画素走査部２９、出力画素走査部２９から出力された画素座標を表す信号と、ブレ検出部４０と収差係数テーブル３８から出力された信号にもとづいて、出力するカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標を計算する座標変換部３０、座標変換部３０で算出されたサンプリング座標に近傍する色モザイク画像上の色毎の画素の画素値をバッファメモリ２１から読む込むサンプリング部３１、Ｒ、Ｇｒ、Ｇｂ、Ｂの色プレーン毎に、サンプリング部３１を介して得られた画素値からサンプリング座標における画素値を補間生成する補間部３２、補間部３２で得られたサンプリング座標における各色の画素値を合成して画素毎に複数の色成分を備えた色データを生成する色生成部３３等を備えている。

また、前述の画像変形を行うと、色モザイク画像と出力カラー画像の画素位置は単純には対応しないので、本デモザイク部２８における座標変換部３０を介してその対応付けがなされる。次に、デモザイク部２８処理の詳細を説明する。

出力画素走査部２９において、出力するカラー画像の全ての画素をラスター順次で走査し、各画素の座標（ｕ_ｄ，ｖ_ｄ）を座標変換部３０に出力する。

次に、座標変換部３０は、ブレ検出部４０から出力されたブレ補正パラメータ及び収差係数テーブル３８に格納された収差係数に基づき、歪曲収差補正や手ぶれ補正、デジタルズームといった画像変形を含めて、出力するカラー画像の画素位置（ｕ_ｄ，ｖ_ｄ）に対応する色モザイク画像上のサンプリング座標を計算する。なお、本発明における画像変形は、座標変換部３０によってその機能が発現される。

まず、座標系として、画素位置に対応つけられた座標系をｕｖで表し、補正計算で用いる便宜上の座標系をｘｙで表す。また、添え字ｓは色モザイク画像上での座標を示し、添え字ｄは出力カラー画像上での座標を示す。

また、カラー画像の双方に対して、正規化されたｘｙ座標系を導入する。また、ｘｙ座標系では画像中心を原点とし、その画像対角長を２とする。

すなわち、カラー画像のサイズを１９２０×１０８０画素とすれば、出力するカラー画像の画素位置（ｕ_ｄ，ｖ_ｄ）のｘｙ座標系による表現は（式１）となる。つまり、カラー画像のサイズが１９２０×１０８０の等間隔からなる画素配列で構成されている際には、√（１９２０ ^２ ＋１０８０ ^２ ）／２≒１１００を算出し、画像中心（ｕ_ｄ，ｖ_ｄ）＝（９６０，５４０）が原点（ｘ_ｄ，ｙ_ｄ）＝（０，０）となるようにオフセット（ｘ，ｙ）＝（９６０／１１００，５４０／１１００）＝（０．８７，０．４９）を与え、（式１）となる。

次に、前述のブレ補正のパラメータ（ｚ、θ、ｄｘ、ｄｙ、ψｘ、ψｙ）を適用し、ブレ補正後の座標（ｘ_ｓ，ｙ_ｓ）を（式２）によって算出する。なお、（式２）において、ｘ_ｓ＝ｗｘ_ｓ／ｗ、ｙ_ｓ＝ｗｙ_ｓ／ｗ、とする。

ブレ検出部４０は、ブレ補正パラメータ（ｚ、ｄｘ、ｄｙ、θ、ψｙ、ψｘ等）を座標変換部３０に出力する代わりに、このブレ補正パラメータを含む（式２）の行列自体を、座標変換部３０に出力してもよい。そして、座標変換部３０は、その行列自体をそのまま適用して、ブレ補正後の座標（ｘ_ｓ，ｙ_ｓ）を算出すればよい。

さらに、ブレ補正後の座標に対して収差係数テーブル３８に格納された歪曲収差補正の係数ｋ_１、ｋ_２、ｐ_１、ｐ_２を適用し、バッファメモリ２１に格納されたＧｒプレーン及びＧｂプレーンにおけるサンプリング座標ｘ_sＧ、ｙ_sＧを、ｘ_sＧ＝ｘ´（１＋ｋ_１ｒ´^２＋ｋ_２ｒ´^４）＋２ｐ_１ｘ´ｙ´＋ｐ_２（ｒ´^２＋２ｘ´^２）、ｙ_sＧ＝ｙ´（１＋ｋ_１ｒ´^２＋ｋ_２ｒ´^４）＋２ｐ_２ｘ´ｙ´＋ｐ_１（ｒ´^２＋２ｙ´^２）の演算式で算出する。この際、ｒ´^２≡ｘ´^２＋ｙ´^２とする。

ｋ_１、ｋ_２、ｐ_１、ｐ_２は、撮像レンズ３の歪曲収差を示す係数であって、ｋ_１、ｋ_２が放射線方向の歪み、ｐ_１、ｐ_２が接線方向の歪を示している。

さらに、収差係数テーブル３８に格納された色収差係数ｋ_Ｒ、ｋ_Ｂ、ｄ_Ｒｘ、ｄ_Ｒｙ、ｄ_Ｂｘ、ｄ_Ｂｙを適用し、撮像レンズ３の色収差を考慮してＲプレーン、Ｂプレーンにおけるサンプリング座標（ｘ_ｓＲ，ｙ_ｓＲ）（ｘ_ｓＢ，ｙ_ｓＢ）を（式３）、（式４）によって算出する。

ここで、ｋ_Ｒ、ｋ_Ｂは、Ｇｒプレーン及びＧｂプレーンを基準にした際のＲ、Ｂプレーンの倍率、ｄ_Ｒｘ、ｄ_Ｒｙは、Ｇｒプレーン及びＧｂプレーンを基準にした際のＲプレーンの平行ズレ量、ｄ_Ｂｘ、ｄ_Ｂｙは、Ｇｒプレーン及びＧｂプレーンを基準にした際のＢプレーンの平行ズレ量である。

そして、色モザイク画像のサイズを２５６０×１９２０画素とすれば、対応する色モザイク画像の画素位置（ｕ_ｓ，ｖ_ｓ）のｘｙ座標系による表現は（式５）、（式６）、（式７）となる。つまり、色モザイク画像が２５６０×１９２０の等間隔からなる画素配列で構成されている際には、√（２５６０ ^２ ＋１９２０ ^２ ）／２＝１６００を算出し、画像中心（ｕ_ｓ，ｖ_ｓ）＝（１２８０，９６０）が原点（ｘ_ｓ，ｙ_ｓ）＝（０，０）となるようにオフセット（ｕ，ｖ）＝（１２８０，９６０）を与え、（式５）、（式６）、（式７）となる。

なお、画素は（ｕ，ｖ）の整数格子に存在するが、（式５）、（式６）、（式７）で算出されるサンプリング座標の値は、整数と限らず、小数点以下を含む実数となる。

次に、図２に表したように、サンプリング部３１は、バッファメモリ２１で記憶された色モザイク画像から、Ｒ画素群、Ｇｒ画素群、Ｇｂ画素群、Ｂ画素群毎に、座標変換部３０で算出したサンプリング座標の周囲に位置する画素の値を出力する。

詳しくは、Ｒ画素群からは（ｕ_ｓＲ，ｖ_ｓＲ）の周囲、Ｇｒ画素群からは（ｕ_ｓＧ，ｖ_ｓＧ）の周囲、Ｇｂ画素群からは（ｕ_ｓＧ，ｖ_ｓＧ）の周囲、Ｂ画素群からは（ｕ_ｓＢ，ｖ_ｓＢ）の周囲に位置する画素の値を出力する。

そして、前述のように、サンプリング位置（ｕ_ｓ，ｖ_ｓ）が整数座標とは限らないので、（ｕ_ｓ，ｖ_ｓ）を囲む４つの有値画素の値を読み込む。

図２に表したように、Ｒプレーン、Ｇｒプレーン、Ｇｂプレーン、Ｂプレーンのどのプレーンも、縦横の格子点状に４つの有値画素を持つため、サンプリング座標４０１、４０２、４０３、４０４を囲む４つの有値画素は、当該サンプリング座標ｕ_ｓＲが（１００．８，１０１．４）であれば、これを囲む４つの画素（ｕ，ｖ）が、（１００，１００）、（１００，１０２）、（１０２，１００）、（１０２，１０２）となり、これら４つの画素の値をバッファメモリ２１から読み取る。

次に、補間部３２は、図２（ｆ）に表したように、サンプリング座標を介して対向する有値画素間の距離の比（ここでは、ｘ方向が０．４：０．６、ｙ方向が０．７：０．３である）を求め、４つの有値画素の画素値を用いて、サンプリング位置（１００．８，１０１．４）におけるＲの画素値を補間によって算出する。

例えば、Ｒプレーンに対して、４つの有値画素の画素値をＲ（１００，１００）、Ｒ（１００，１０２）、Ｒ（１０２，１００）、Ｒ（１０２，１０２）で表し、サンプリング位置（１００．８，１０１．４）のＲの画素値をＲ（１００．８，１０１．４）で表すと、Ｒプレーン上でのサンプリング座標４０１の画素値（１００．８，１０１．４）を、Ｒ（１００．８，１０１．４）＝０．６＊０．３＊Ｒ（１００，１００）＋０．６＊０．７＊Ｒ（１００，１０２）＋０．４＊０．３＊Ｒ（１０２，１００）＋０．４＊０．７＊Ｒ（１０２，１０２）によって算出し、Ｒのサンプリング値Ｒ_{ｓａｍｐｌｅ}（ｕ_ｓＲ，ｖ_ｓＲ）とする。

また、Ｇｒ画素群、Ｇｂ画素群、Ｂ画素群からも同様にサンプリング座標における画素値を補間によって算出し、夫々、Ｇｒ_{ｓａｍｐｌｅ}（ｕ_ｓＧ，ｖ_ｓＧ）、Ｇｂ_{ｓａｍｐｌｅ}（ｕ_ｓＧ，ｖ_ｓＧ）、Ｂ_{ｓａｍｐｌｅ}（ｕ_ｓＢ，ｖ_ｓＢ）とする。

次に、色生成部３３は、補間部３２で得られた色毎のサンプリング値Ｒ_{ｓａｍｐｌｅ}（ｕ_ｓＲ，ｖ_ｓＲ）、Ｇｒ_{ｓａｍｐｌｅ}（ｕ_ｓＧ，ｖ_ｓＧ）、Ｇｂ_{ｓａｍｐｌｅ}（ｕ_ｓＧ，ｖ_ｓＧ）、Ｂ_{ｓａｍｐｌｅ}（ｕ_ｓＢ，ｖ_ｓＢ）から画素毎の色情報（ＲＧＢ成分）Ｒ_{（ｕｄ，ｖｄ）}、Ｇ_{（ｕｄ，ｖｄ）}、Ｂ_{（ｕｄ，ｖｄ）}を生成する。

この際、単純には、Ｒ_{（ｕｄ，ｖｄ）}＝Ｒ_{ｓａｍｐｌｅ}（ｕ_ｓＲ，ｖ_ｓＲ）、Ｂ_{（ｕｄ，ｖｄ）}＝Ｂ_{ｓａｍｐｌｅ}（ｕ_ｓＢ，ｖ_ｓＢ）、Ｇ_{（ｕｄ，ｖｄ）}＝（Ｇｒ_{ｓａｍｐｌｅ}（ｕ_ｓＧ，ｖ_ｓＧ）＋Ｇｂ_{ｓａｍｐｌｅ}（ｕ_ｓＧ，ｖ_ｓＧ））／２とする。

また、色生成部３３では、さらに偽色抑制を行う。偽色抑制の一例としては、撮像素子５によって構成されるベイヤー配列のカラーイメージセンサでは、ナイキスト周周波付近の高周波に赤や青の偽色が発生し易いので、ＧｒとＧｂの差分をとることでこれらの縞模様を検出することができ、偽色を抑制できる。

詳しくは、まず、高周波成分Ｋ＝Ｇｒ_{ｓａｍｐｌｅ}（ｕ_ｓＧ，ｖ_ｓＧ）−Ｇｂ_{ｓａｍｐｌｅ}（ｕ_ｓＧ，ｖ_ｓＧ）を算出する。

次に、ＳｕｍＲＢ＝Ｒ_{ｓａｍｐｌｅ}（ｕ_ｓＲ，ｖ_ｓＲ）＋Ｂ_{ｓａｍｐｌｅ}（ｕ_ｓＢ，ｖ_ｓＢ）、ＤｉｆｆＲＢ＝Ｒ_{ｓａｍｐｌｅ}（ｕ_ｓＲ，ｖ_ｓＲ）−Ｂ_{ｓａｍｐｌｅ}（ｕ_ｓＢ，ｖ_ｓＢ）として、ＤｉｆｆＲＢ´＝ｓｉｇｎ（ＤｉｆｆＲＢ）ｍａｘ（０，ａｂｓ（ＤｉｆｆＲＢ）−ａｂｓ（Ｋ））の演算式を用いて、ａｂｓ（ＤｉｆｆＲＢ）からａｂｓ（Ｋ）を、０を跨がないように減じ、ＤｉｆｆＲＢ´を算出する。なお、Ｓｉｇｎは符号を＋１／０／−１で、ａｂｓは絶対値を求める演算子である。

次に、Ｒ（ｕ_ｄ，ｖ_ｄ）＝（ＳｕｍＲＢ＋ＤｉｆｆＲＢ´）／２、Ｇ（ｕ_ｄ，ｖ_ｄ）＝（Ｇｒ_{ｓａｍｐｌｅ}（ｕ_ｓＧ，ｖ_ｓＧ）＋Ｇｂ_{ｓａｍｐｌｅ}（ｕ_ｓＧ，ｖ_ｓＧ））／２、Ｂ（ｕ_ｄ，ｖ_ｄ）＝（ＳｕｍＲＢ−ＤｉｆｆＲＢ´）／２の演算式を用いて、カラー画像における各画素の色成分を再生成する。これにより、高周波部に発生する赤と青の偽色を抑制した色生成ができる。

次に、視覚補正部３４でトーンカーブ（ガンマ）補正、彩度強調、エッジ強調といった画像補正を行い、その後、圧縮部３５でカラー画像のデジタル画像信号をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の方法で圧縮し、記録部３６で、圧縮されたデジタル画像信号を記録媒体に記憶する。

次に、図４に基づいて、撮像ユニット２を介して入力した色モザイク画像（入力画像）からブレ補正及び歪曲収差等の画像変形を行い、カラー画像（出力画像）を生成する際の手順を説明する。この手順は、ＣＰＵ１８がＲＯＭ１９に格納されたプログラムに基づいて、各機能部に指令信号を与えて実行する。また、図４におけるＳはステップを表している。また、本発明のデモザイクステップがＳ１８０〜Ｓ２１０によってその機能が発現され、本発明の画像変形がＳ１８０によってその機能が発現される。

まず、この手順は、オペレータによって画像処理装置１００に起動信号が入力された際にスタートする。

次いで、Ｓ１１０において、撮像ユニット２を介して色モザイク画像を取得し、その後Ｓ１２０に移る。

次いで、Ｓ１２０において、色モザイク画像をバッファメモリ２１に読み込み、ベイヤー配列に対応付けて、Ｒの画素信号、Ｇｒの画素信号、Ｇｂの画素信号、Ｂの画素信号毎に記憶し、その後、Ｓ１９０に移る。なお、本発明における色プレーン分解ステップ及び色プレーン記憶ステップは、Ｓ１２０によってその機能が発現される。

一方、Ｓ１３０において、出力画素走査部２９を用いて、出力画像（カラー画像）を走査して処理対象画素（ｕ_ｄ，ｖ_ｄ）を順次取得し、その後、Ｓ１８０に移る。

また、Ｓ１４０において、レンズステート検出部３７を用いて、焦点距離や被写体距離に対応付けられたレンズステートを検出し、その後、Ｓ１５０において、レンズステートに対応付けられて格納された収差係数やズーム倍率等を収差係数テーブル３８から取得し、その後、Ｓ１８０に移る。

また、Ｓ１６０において、角速度センサ１５及びブレ検出部４０を用いて、撮像装置１Ａのブレ量を検出し、その後、Ｓ１７０に移り、Ｓ１７０でブレ量補正のためのパラメータを取得し、その後、Ｓ１８０に移る。

次いで、Ｓ１８０において、座標変換部３０を用い、Ｓ１５０で取得した収差係数、Ｓ１７０で取得したブレ補正パラメータ等を用い、Ｓ１３０で取得した出力画像（カラー画像）の処理対象における画素位置に対して、歪曲収差や手ぶれ、ズーム倍率などの画像変形処理を加えた座標（ｕ_ｓ，ｖ_ｓ）を算出し、その後、Ｓ１９０に移る。なお、本発明における座標変換ステップは、Ｓ１８０によってその機能が発現される。

次いで、Ｓ１９０において、サンプリング部３１を用い、バッファメモリ２１から、座標変換部３０で算出したサンプリング座標の周囲に位置する、Ｒ、Ｇｒ、Ｇｂ，Ｂ毎の画素値を取得し、その後、Ｓ２００に移る。

次いで、Ｓ２００において、補間部３２を用い、Ｒ、Ｇｒ、Ｇｂ，Ｂ毎に、サンプリング座標の周囲に位置する画素の画素値からサンプリング座標に位置する画素値Ｒ_{ｓａｍｐｌｅ}（ｕ_ｓＲ，ｖ_ｓＲ）、Ｇｒ_{ｓａｍｐｌｅ}（ｕ_ｓＧ，ｖ_ｓＧ）、Ｇｂ_{ｓａｍｐｌｅ}（ｕ_ｓＧ，ｖ_ｓＧ）、Ｂ_{ｓａｍｐｌｅ}（ｕ_ｓＢ，ｖ_ｓＢ）を補間生成し、その後、Ｓ２１０に移る。なお、本発明における補間ステップは、Ｓ２００によってその機能が発現される。

次いで、Ｓ２１０において、色生成部３３を用い、サンプリング部３１で算出された各色のサンプリング値を合成することにより、処理対象画素毎に複数色の色情報Ｒ（ｕ_ｄ，ｖ_ｄ）、Ｇ（ｕ_ｄ，ｖ_ｄ）、Ｂ（ｕ_ｄ，ｖ_ｄ）を生成し、その後、Ｓ２２０に移る。なお、本発明における色生成ステップは、Ｓ２１０によってその機能が発現される。

次いで、Ｓ２２０において、出力画像内における次の走査画素の有無を判定し、画素無し（Ｎｏ）と判定された際にはＳ２３０に移り、画素有り（Ｙｅｓ）と判定された際にはＳ１８０〜Ｓ２２０を繰り返し、Ｓ２２０で画素無し（Ｎｏ）に至った際にＳ２３０に移る。

次いで、Ｓ２３０において、視覚補正部３４を用いて、色生成部３３で生成されたカラー画像に対して、トーンカーブ（ガンマ）補正、彩度強調、エッジ強調といった画像補正を行い、その後、Ｓ２４０に移る。

次いで、Ｓ２４０において、圧縮部３５を用いて、視覚補正部３４を介して出力されたカラー画像のデジタル画像信号をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の方法で圧縮し、記録時の画像データのサイズを小さくし、その後、Ｓ２５０に移る。

次いで、Ｓ２５０において、記録部３６を用いて、圧縮されたデジタル画像信号をフラッシュメモリ等の記録媒体に記憶し、その後、本画像処理プログラムを終了する。

以上のように、第１の実施形態に記載の画像処理装置１００及び画像処理方法は、画像変形を行う際に必要な画像データのバッファリングを色モザイク画像で行うことにより、バッファメモリ２１の容量を、１画素あたり１変数に抑えることができて、バッファメモリ２１の記憶容量や帯域を節減し、低コスト及び低消費電力で色モザイク及び画像変形を備えた撮像装置１を実現できる。

（第２の実施形態）
次に、図５〜図８を用いて、本発明の第２の実施形態を説明する。図５は、本発明の画像処理装置及び画像処理方法が適用された第２の実施形態の撮像装置１Ａの構成を表したブロック図、図６は、同第２の実施形態の画像処理装置及び画像処理方法におけるカラー画像生成の手順を表したフローチャート、図７は、図６中の圧縮及びキャッシュコントローラの手順の詳細を表すフローチャートである。

尚、第２の実施形態における撮像装置１Ａは、基本的に第１の実施形態で表した撮像装置１と同じ構成なので、共通と成る構成部分については同一の符号を付与して詳細な説明を省き、特徴と成る部分について以下に説明する。

撮像装置１Ａにおける画像処理装置１００Ａには、撮像ユニット２から出力されたデモザイク画像を圧縮する圧縮部２０、圧縮されてバッファメモリ２１に格納されたデモザイク画像を読み込んで伸長する伸長部２５、デモザイク部２８からの要求に応じてキャッシュメモリ２７又は伸長部２５から画素データをサンプリング部３１に出力するキャッシュコントローラ２６、キャッシュコントローラ２６で取得した最新の画素群を記憶するキャッシュメモリ２７、等が備えられている。

まず、撮影された色モザイク画像が、撮像素子５からラスター順次で各画素の露光量に応じたアナログ信号としてＡ／Ｄ変換器９に出力される。

次に、Ａ／Ｄ変換器９は、このアナログ信号を１２ｂｉｔのデジタル信号（以下、画素値という）に変換して、この画素値を圧縮部２０に出力する。

次に、圧縮部２０は、Ａ／Ｄ変換器９から順次入力される画素値群を、色画素毎に水平８画素のブロック単位で蓄積し、蓄積されたブロックデータを１２×８＝９６ｂｉｔから６４ｂｉｔに圧縮し、バッファメモリ２１に出力する。なお、本発明における色プレーン分解部は、圧縮部２０によってその機能が発現される。また、本発明における圧縮部の機能が圧縮部２０によって発現され、本発明における伸長部の機能が伸長部２５によって発現される。

一方、デモザイク部２８は、カラー画像をラスター順次で生成する。この際、画像変形を行うので、キャッシュコントローラ２６を介して、色モザイク画像に対し、非ラスター順次のサンプリングを要求する。

次に、キャッシュコントローラ２６は、このサンプリング要求を受けて、要求された画素の画素値がキャッシュメモリ２７に格納されていれば、バッファメモリ２１にアクセスすることなしにキャッシュメモリ２７からその画素値を読み込み、サンプリング部３１に出力する。

また、キャッシュコントローラ２６は、要求された画素の画素値がキャッシュメモリ２７に格納されていなければ、バッファメモリ２１に対して該画素を含むブロックデータをアクセスする。

次に、バッファメモリ２１は、キャッシュコントローラ２６からアクセスされたブロックデータを伸長部２５に出力する。

次に、伸長部２５は、バッファメモリ２１から入力されたブロックデータを伸長して、８つの１２ｂｉｔの画素値を再生する。

次に、キャッシュコントローラ２６は、伸長部２５から、再生された８つの１２ｂｉｔの画素値を受けてデモザイク部２８のサンプリング部３１に出力すると同時に、この８つの１２ｂｉｔの画素値をキャッシュメモリ２７に格納する。なお、キャッシュコントローラ２６は、キャッシュメモリ２７が満杯であれば、ＬＲＵ（Ｌｅａｓｔ−Ｒｅｃｅｎｔｌｙ−Ｕｓｅｄ）法等の既知のキャッシュ制御法で更新する。

キャシュメモリ２７は、キャッシュコントローラ２６及びデモザイク部２８と同一の半導体集積回路上にＳＲＡＭとして集積され、バッファメモリ２１に比べて小容量・高速のメモリとなって実装されている。また、本実施例のキャッシュメモリ２７は、リードキャッシュとして動作する。また、キャシュメモリ２７のラインサイズは、１ブロックの画素値群を格納できるように構成されている。

次に、デモザイク部２８は、第１の実施形態と同じように、キャッシュコントローラ２６を介して入力された色モザイク画像の各画素データを用い、サンプリング部３１において、座標変換部３０で算出したサンプリング座標の周囲に位置する、Ｒ、Ｇｒ、Ｇｂ，Ｂ毎の画素値を取得し、その後、補間部３２において、Ｒ、Ｇｒ、Ｇｂ，Ｂ毎に、サンプリング座標の周囲に位置する画素の画素値からサンプリング座標に位置する画素値Ｒ_{ｓａｍｐｌｅ}（ｕ_ｓＲ，ｖ_ｓＲ）、Ｇｒ_{ｓａｍｐｌｅ}（ｕ_ｓＧ，ｖ_ｓＧ）、Ｇｂ_{ｓａｍｐｌｅ}（ｕ_ｓＧ，ｖ_ｓＧ）、Ｂ_{ｓａｍｐｌｅ}（ｕ_ｓＢ，ｖ_ｓＢ）を補間生成し、その後、色生成部３３において、処理対象画素毎に複数色の色情報Ｒ（ｕ_ｄ，ｖ_ｄ）、Ｇ（ｕ_ｄ，ｖ_ｄ）、Ｂ（ｕ_ｄ，ｖ_ｄ）を生成する。

次に、図６、図７に基づいて、撮像ユニット２を介して入力した色モザイク画像（入力画像）からブレ補正及び歪曲収差等の画像変形を行い、カラー画像（出力画像）を生成する際の手順を説明する。この手順は、ＣＰＵ１８がＲＯＭ１９に格納されたプログラムに基づいて、各機能部に指令信号を与えて実行する。また、本フローチャートにおいて第１の形態で表したフローチャートと共通するステップについては、同一の番号を付与し、その詳細な説明を省く。なお、本発明における圧縮ステップがＳ３００によってその機能が発現され、本発明の伸長ステップがＳ５００によってその機能が発現される。

まず、この手順は、オペレータによって画像処理装置１００Ａに起動信号が入力された際にスタートする。

次いで、Ｓ１１０において、撮像ユニット２を介して色モザイク画像を取得し、その後Ｓ３００の圧縮ステップに移る。

次いで、Ｓ３００では、図７（ａ）に表したように、まず、Ｓ３１０のブロック分割ステップにおいて色モザイク画像データをブロックごとに分割し、その後、Ｓ３２０に移る。この際、ベイヤー配列のＲ、Ｇｒ、Ｇｂ、Ｂの画素毎に、垂直１画素×水平８画素をブロック単位とし、これら８つの１２ｂｉｔ画素値（ｘ（ｎ），ｎ＝１…８）を画素値群とし、次のＳ３２０〜Ｓ３５０の処理を行う。なお、本発明における色プレーン分解ステップがＳ３１０によってその機能が発現される。

次いで、Ｓ３２０において、画素値群内のｘ（ｎ）の最小値Ｍｉｎ及びレンジＲ（＝最大値−最小値）を求め、その後、Ｓ３３０に移る。

次いで、Ｓ３３０において、Ｓ３２０で求めたレンジＲを用い、共通指数ＥをＥ＝ｌｏｇ_２（Ｒ×１２８／１２７）−６の演算式で算出し、その後、Ｓ３４０に移る。この際、Ｅが非整数であればＥを切り上げ、Ｅが負であれば０としてＥを非負整数とする。

次いで、Ｓ３４０において、仮数Ｍ（ｎ）をＭ（ｎ）＝（ｘ（ｎ）−Ｍｉｎ）／２^Ｅの演算式を用いて算出する。この際、仮数Ｍ（ｎ）が非整数であれば、仮数Ｍ（ｎ）を四捨五入して整数とし、その後、Ｓ３５０に移る。

これにより、Ｍｉｎが１２ｂｉｔ、Ｅが０〜７の整数値を取り得るので３ｂｉｔで表され、Ｍ（ｎ）が０〜６３の整数値を取り得るので６ｂｉｔで表される。また、Ｓ３３０のＥを求める演算式では、Ｒに（１２８／１２７）を乗じることによって、Ｓ３４０の仮数算出ステップにおける四捨五入によるオーバーフローに備えている。これらのデータを並べると６３ｂｉｔ（１２＋３＋６×８＝６３）となる。

次いで、Ｓ３５０において、これらのデータ６３ｂｉｔ（１２＋３＋６×８＝６３）を
一纏めにして８つの画素群を圧縮データとし、その後、図６のＳ４００に移る。なお、Ｓ３１０〜Ｓ３５０によって、本発明の階調圧縮が実現される。

次いで、Ｓ４００において、Ｓ３５０で圧縮されたデータをバッファメモリ２１に格納し、その後、Ｓ５００に移る。なお、バッファメモリ２１として汎用ＤＲＡＭを用いる場合、これらの多くは８×２^ｎｂｉｔをアクセス単位としているため、１ｂｉｔ追加し、６４ｂｉｔバウンダリで格納するのが効率的である。

次いで、Ｓ５００において、伸長部２５を用い、バッファメモリ２１から６３ｂｉｔの圧縮データを読み込み、該圧縮データを８つの１２ｂｉｔ画素値ｘ´（ｎ）に伸長し、その後、Ｓ６００に移る。この際、Ｓ５００では、バッファメモリ２１から所望の画素データが含まれる６３（又は６４）ｂｉｔのカプセル化したデータを読み込み、１２ｂｉｔをＭｉｎ、３ｂｉｔをＥ、８つの６ｂｉｔデータをＭ（ｎ）に分解し、これらの分解されたデータから、ｘ´（ｎ）＝Ｍ（ｎ）×２^Ｅ＋Ｍｉｎとし、画素値群を再現する。

また、Ｓ３５０のカプセル化ステップでは、可逆圧縮部の機能を備えてもよい。また圧縮部２０では、６３ｂｉｔのデータに可逆圧縮を試み、６３ｂｉｔ以下に圧縮できなければ、可逆圧縮使用フラグ１ｂｉｔをｆａｌｓｅにセットして付与し、６４ｂｉｔのデータとしてバッファメモリ２１に格納する。

また、６３ｂｉｔ以下に圧縮できる場合、可逆圧縮使用フラグ１ｂｉｔをｔｒｕｅにセットして付与し、その後に、圧縮されたデータを続けてバッファメモリ２１に格納する。これにより、バッファメモリ２１の書き換え量を削減できて、更なる省電力化が実現できる。また、可逆圧縮としては、ラングレス圧縮やエントロピー符号化を用いることができる。

一方、Ｓ５００の伸長ステップでは、バッファメモリ２１から６４ｂｉｔの圧縮データを読み込み、まず可逆圧縮使用フラグを確認し、可逆圧縮使用フラグがｆａｌｓｅであれば、続く６３ｂｉｔから１２ｂｉｔで表された８つの画素値ｘ´（ｎ）を出力する。また、可逆圧縮使用フラグがｔｒｕｅであれば、続くデータを可逆伸長した後に１２ｂｉｔで表された８つの画素値ｘ´（ｎ）を出力する。

次いで、Ｓ６００のキャッシュコントローラステップは、図７（ｂ）に表したように、デモザイク部２８からのアクセス要求に応じ、Ｓ６１０において、デモザイク部２８から要求された画素データがキャッシュメモリ２７に有るか否かを判定し、画素データが有ると判定（ｙｅｓ）された際にはＳ６２０に移り、画素データが無い（Ｎｏ）と判定された際にはＳ６１１に移る。

次いで、Ｓ６１１において、要求画素を含む圧縮データを読み込み、その後、Ｓ６１２に移る。

次いで、Ｓ６１２において、伸長部２５を用い、圧縮データを伸長して要求された画素値を含む画素値群を取得し、その後、Ｓ６１３において、伸長された画素値群をキャッシュメモリ２７に格納すると同時に、Ｓ６３０に移る。

一方、Ｓ６１０で画素データが有る（ｙｅｓ）際には、Ｓ６２０において、キャッシュメモリ２７から該画素値を読み出し、その後、Ｓ６３０に移る。

次いで、Ｓ６３０において、デモザイク部２８から要求された画素値をデモザイク部２８に出力し、その後、図６のＳ１９０に移る。

次いで、第１の実施形態と同じように、Ｓ１８０〜Ｓ２１０において画像変形及びデモザイク処理が行われ、その後、Ｓ２３０の視覚補正ステップ、Ｓ２４０の圧縮ステップを行った後に、本処理を終了する。

以上のように、第２の実施形態に記載の画像処理装置１００Ａ及び画像処理方法は、バッファメモリ２１に格納する色モザイク画像データを、圧縮部２０を用いて圧縮することにより、必要となるバッファメモリの記憶容量を削減でき、また、ｂｉｔ深度が８の倍数になっていない色モザイク画像に対しても、圧縮率を適切に設定することにより、汎用の８×２^ｎ幅のＤＲＡＭを効率よく利用できる。

また、デモザイク部２８において、カラー画像の１画素を生成するために色モザイク画像における複数の画素の画素値を参照するが、カラー画像の隣接する画素を生成する場合には、色モザイク画像における同一画素を参照（アクセス）することが多い。これに応じ、第２の実施形態に記載の画像処理装置１００Ａ及び画像処理方法は、キャッシュメモリ２７を導入しているので、バッファメモリ２１の読み出し帯域を削減でき、さらなる消費電力の削減ができる。

（変形例）
以上、本発明の一実施例について説明したが、本発明は、前記実施例に限定されるものでなく、種々の態様を取ることができる。

例えば、キャッシュメモリをさらに有効に用いるために、出力画素走査部２９における走査順序を構成してもよい。つまり、カラー画像の全ての画素を走査する際に、ローカリティの高い走査を行う。このような走査の例として、ヒルベルト曲線の活用が挙げられる。例えば、図８に表したように、出力カラー画像を８×８のブロックに分割し、各ブロック内をヒルベルト曲線に沿って走査し、各画素の座標を座標変換部３０に出力するように構成してもよい。また、１つのブロック内の画素走査が終われば、ラスター順次に次のブロックを走査する。

また、圧縮部２０は、ＭｏｔｉｏｎＪＰＥＧやＭＰＥＧのように、縦８画素のブロックベースの圧縮方式を利用することにより、ラスター入力で必要なラスターブロック変換を不要にできる。

また、本実施例の撮像装置１、１Ａにおいて、さらに、撮像レンズ３を光軸方向にスライドさせるスライド機構と撮像レンズ３の位置を検出する検出部を備え、座標変換部３０において、撮像レンズ３のレンズステートに対応付け、撮像ユニット２の収差係数テーブル３８に格納されている収差係数を補正するように座標変換をおこなってもよい。

本発明の画像処理装置及び画像処理方法が適用された、第１の実施形態の撮像装置１の構成を表したブロック図である。 同第１の実施形態における色プレーン分解部と色生成部の機能説明図であって、（ａ）が撮像ユニット２から出力されるベイヤー配列の色モザイク画像を表した図、（ｂ）、（ｃ）、（ｄ）、（ｅ）が、夫々、色プレーン分解部で生成されたＲプレーン、Ｇｒプレーン、Ｇｂプレーン、Ｂプレーンの配置を表した図、（ｆ）がサンプリング座標における画素値を補間算出する際の説明図である。 同第１の実施形態における、色モザイク画像から画像変形及びカラー画像を生成するデモザイク処理の説明図である。 同第１の実施形態の画像処理装置及び画像処理方法におけるカラー画像生成の手順を表したフローチャートである。 本発明の画像処理装置及び画像処理方法が適用された、第２の実施形態の撮像装置１Ａの構成を表したブロック図である。 同第２の実施形態の画像処理装置及び画像処理方法におけるカラー画像生成の手順を表したフローチャートである。 図６中の圧縮及びキャッシュコントローラの手順の詳細を表すフローチャートである。 変形例における、キャッシュメモリからブロック毎に画素値を出力する際の走査例を表した図である。 従来のデモザイク処理及び画像変形処理の説明図である。

符号の説明

１，１Ａ…撮像装置、２…撮像ユニット、３…撮像レンズ、５…撮像素子、５ａ…ベイヤー配列のカラーフィルタ、６…ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）、７…相関二重サンプリング回路、８…可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、９…Ａ／Ｄ変換器、１３…ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）、１５…角速度センサ、１８…ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、１９…ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、２０…圧縮部、２１…バッファメモリ、２２…Ｒプレ−ンメモリ、２３ａ…Ｇｒプレーンメモリ、２３ｂ…Ｇｂプレーンメモリ、２４…Ｂプレーンメモリ、２５…伸長部、２６…キャッシュコントローラ、２７…キャッシュメモリ、２８…デモザイク部、２９…出力画素走査部、３０…座標変換部、３１…サンプリング部、３２…補間部、３３…色生成部、３４…視覚補正部、３５…圧縮部、３６…記録部、３８…収差係数テーブル、４０…ブレ検出部、１００，１００Ａ…画像処理装置。

Claims (4)

1. 異なる複数の色光を光電変換する画素を有する単板式の撮像素子によって得られた、各画素が単色の輝度情報を有した色モザイク画像から、各画素に複数色の輝度情報を生成すると共に所定の画像変形を施してカラー画像を生成する画像処理装置であって、
   前記色モザイク画像を、同一の色光の輝度情報だけを含む複数の色プレーンに分解する色プレーン分解部と、
   前記色プレーン分解部で分解された色モザイク画像を、前記複数の色プレーンの夫々毎に記憶するバッファメモリと、
   前記バッファメモリに記憶された色モザイク画像から前記カラー画像を生成するデモザイク部と、
   を備え、
   前記デモザイク部が、
   前記バッファメモリに記憶された前記色モザイク画像の複数の色プレーンの夫々毎に、前記画像変形が施された場合の前記カラー画像の画素位置に対応する前記色モザイク画像上のサンプリング座標を算出する座標変換部と、
   前記バッファメモリに記憶された前記色モザイク画像の複数の色プレーンの夫々毎に、前記色モザイク画像上のサンプリング座標における各色の画素値を、前記色プレーン内に含まれる同一の色光の画素値から補間生成する補間部と、
   前記補間部で補間生成されたサンプリング座標における各色の画素値を合成して前記カラー画像を生成する色生成部と、
   を備えていることを特徴とする画像処理装置。
2. 前記色モザイク画像を圧縮する圧縮部と、
   前記圧縮部で圧縮された前記色モザイク画像を伸長する伸長部と、
   を備え、
   前記圧縮部が、前記複数の色プレーンの夫々毎に複数のブロックに分割して、該分割されたブロック毎に所定のサイズ以下に圧縮し、
   前記バッファメモリが、前記圧縮部で圧縮されたブロック毎の色モザイク画像を記憶し、
   前記伸長部が、前記バッファメモリに記憶されたブロック毎に、圧縮された色モザイク
   画像を伸長し、
   前記デモザイク部が、前記伸長部で伸長された色モザイク画像から前記カラー画像を生成する、
   ように構成されていることを特徴とする請求項１に記載の画像処理装置。
3. 異なる複数の色光を光電変換する画素を有する単板式の撮像素子によって得られた、各画素が単色の輝度情報を有した色モザイク画像から、各画素に複数色の輝度情報を生成すると共に所定の画像変形を施してカラー画像を生成する画像処理方法であって、
   前記色モザイク画像を、同一の色光の輝度情報だけを含む複数の色プレーンに分解する色プレーン分解ステップと、
   前記色プレーン分解ステップで分解された色モザイク画像を、複数の色プレーンの夫々毎にバッファメモリに記憶する色プレーン記憶ステップと、
   前記バッファメモリに記憶された色モザイク画像から前記カラー画像を生成するデモザイクステップと、
   を用い、
   前記デモザイクステップにおいて、
   前記バッファメモリに記憶された前記色モザイク画像の複数の色プレーンの夫々毎に、前記画像変形が施された場合の前記カラー画像の画素位置に対応する前記色モザイク画像上のサンプリング座標を算出する座標変換ステップと、
   前記バッファメモリに記憶された前記色モザイク画像の複数の色プレーンの夫々毎に、前記色モザイク画像上のサンプリング座標における各色の画素値を、前記色プレーン内に含まれる同一の色光の画素値から補間生成する補間ステップと、
   前記補間ステップで補間生成されたサンプリング座標における各色の画素値を合成して前記カラー画像を生成する色生成ステップと、
   を用いることを特徴とする画像処理方法。
4. 前記色モザイク画像を圧縮する圧縮ステップと、
   前記圧縮ステップで圧縮された前記色モザイク画像を伸長する伸長ステップと、
   を用い、
   前記圧縮ステップにおいて、前記複数の色プレーンの夫々毎に複数のブロックに分割して、該分割されたブロック毎に所定のサイズ以下に圧縮し、
   前記色プレーン記憶ステップにおいて、前記圧縮ステップで圧縮されたブロック毎の色モザイク画像を前記バッファメモリに記憶し、
   前記伸長ステップにおいて、前記バッファメモリに記憶されたブロック毎に、圧縮され
   た色モザイク画像を伸長し、
   前記デモザイクステップにおいて、前記伸長ステップで伸長された色モザイク画像から
   前記カラー画像を生成する、
   ことを特徴とする請求項３に記載の画像処理方法。