JP5272581B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置に関し、特に、画像について復元処理を行う画像処理装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

従来、画像処理技術として、劣化画像を復元する劣化画像復元処理が広く知られている。この劣化画像復元処理は、例えば、画像の劣化モデルと観測画像とが既知である場合に、劣化が含まれた観測画像から被写体像を復元する処理である。例えば、式１に示す観測画像ｇ、劣化行列ｈおよびノイズｎのモデルが既知であると想定した場合には、式１に示す被写体画像ｆを求めることができる。

この問題の解法の１つとして、観測画像ｇと推定被写体画像ｆ＾に劣化行列ｈを畳み込んだ、推定劣化画像の誤差（式２に示す）を最小化する問題として解く方法がある。

また、この最小化問題の反復解法として、式３に示すＢａｃｋ−ｐｒｏｊｅｃｔｉｏｎ法（例えば、非特許文献１参照（非特許文献１では「Ｌａｎｄｗｅｂｅｒ」）。）や、式４に示すＬｕｃｙ Ｒｉｃｈａｒｄｓｏｎ法（例えば、非特許文献１参照。）が挙げられる。これらは、観測画像および推定劣化画像を減算または除算により比較し、得られた誤差や比の値を復元画像にフィードバックするものである。このフィードバックの際には、それぞれボケ行列や定数λによる積の項があるが、これらを任意の行列ａまたはｂとする方法（式５および式６に示す）も存在する。
Patrizio Campisi, Karen Egiazarian:"Blind Image Deconvolution - Theory and Application", CRC Press, pp288-289（（7.34）および（7.35）等参照）

上述の従来技術として示す反復解法は、１枚の観測画像について複数回の反復処理を行うか、複数枚の観測画像について反復処理を行うものである。これらの反復解法を用いて、観測画像を復元する際の精度を高めるためは、例えば、反復回数を多くする、または、観測画像の枚数を多くする必要がある。

しかしながら、例えば、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置により撮像される画像を復元処理する場合には、この復元処理を迅速に行うとともに、この復元処理の精度を高めることが重要となる。このように、各態様において、画像を復元する際の精度を高めることが重要となる。

本発明はこのような状況に鑑みてなされたものであり、画像を復元する際の精度を高めることを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、複数のチャネルから構成される対象画像の劣化を想定した画像である想定劣化画像の画素値を想定劣化画像画素値として上記チャネル毎に算出する想定劣化画像画素値算出部と、上記想定劣化画像の画素に対応する上記対象画像の画素である注目画素について上記注目画素の画素値とその近傍の画素の各画素値とに基づいて上記チャネル毎に推定される画素値を擬似対象画像画素値として上記チャネル毎に算出する擬似対象画像画素値算出部と、上記算出された想定劣化画像画素値と上記算出された擬似対象画像画素値とに基づいて上記対象画像を復元した復元画像を作成する復元画像作成部とを具備し、上記擬似対象画像画素値算出部は、上記注目画素のチャネルと同一のチャネルである第一チャネルについて上記擬似対象画像画素値を算出する場合には上記注目画素の画素値を上記擬似対象画像画素値とし、上記注目画素のチャネルと異なるチャネルである第二チャネルについて上記擬似対象画像画素値を算出する場合には、上記注目画素およびその近傍の各画素のうち上記第一チャネルの各画素の空間的高周波成分を計算し、上記注目画素およびその近傍の各画素のうち上記第一チャネルの各画素の空間的低周波成分を計算し、上記注目画素の近傍の各画素のうち上記第二チャネルの各画素の空間的低周波成分を計算し、上記第二チャネルに係る空間的低周波成分と上記第一チャネルに係る空間的低周波成分とに基づいて上記空間的高周波成分のスケーリング係数を算出し、上記第二チャネルに係る空間的低周波成分と上記第一チャネルに係る空間的高周波成分と上記スケーリング係数とに基づいて上記擬似対象画像画素値を計算し、上記復元画像作成部は、上記復元画像および上記対象画像に関する動き情報に基づいて位置合わせが行われた当該復元画像について算出された上記想定劣化画像画素値と当該位置合わせが行われた当該対象画像について算出された上記擬似対象画像画素値とを用いて新たな上記復元画像を作成する画像処理装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、想定劣化画像画素値および擬似対象画像画素値をチャネル毎に算出し、この算出された想定劣化画像画素値および擬似対象画像画素値に基づいて復元画像を作成するという作用をもたらす。

また、この第１の側面において、上記擬似対象画像画素値算出部は、上記第一チャネルに係る空間的高周波成分を計算する空間的高周波成分計算部と、上記第一チャネルに係る空間的低周波成分を計算する空間的低周波成分計算部と、上記第二チャネルに係る空間的低周波成分を計算する第二チャネル空間的低周波成分計算部と、上記スケーリング係数を算出する空間的高周波成分スケーリング係数計算部と、上記擬似対象画像画素値を計算する擬似対象画像画素値計算部とを備えるようにしてもよい。これにより、第一チャネルの各画素の空間的高周波成分および空間的低周波成分を計算し、第二チャネルの各画素の空間的低周波成分を計算し、第二チャネルに係る空間的低周波成分と第一チャネルに係る空間的低周波成分とに基づいてスケーリング係数を算出し、第二チャネルに係る空間的低周波成分と第一チャネルに係る空間的高周波成分とスケーリング係数とに基づいて第二チャネルの擬似対象画像画素値を計算するという作用をもたらす。

また、この第１の側面において、上記想定劣化画像画素値算出部は、上記復元画像作成部により直前に作成された上記復元画像を構成する画素であって上記注目画素に対応する画素およびその近傍の画素の各画素値について上記チャネル毎のボケ関数を用いて上記想定劣化画像の画素値を算出するようにしてもよい。これにより、直前に作成された復元画像における注目画素に対応する画素およびその近傍の画素の各画素値について、チャネル毎のボケ関数を用いて想定劣化画像の画素値を算出するという作用をもたらす。

また、この第１の側面において、上記算出された想定劣化画像画素値と上記算出された擬似対象画像画素値との差分値を算出して当該差分値に基づいて上記復元画像を作成するための更新信号を算出する更新信号算出部をさらに具備し、上記復元画像作成部は、上記算出された更新信号に基づいて上記復元画像を作成するようにしてもよい。これにより、想定劣化画像画素値および擬似対象画像画素値の差分値を算出して更新信号を算出し、この更新信号に基づいて復元画像を作成するという作用をもたらす。

また、本発明の第２の側面は、被写体を撮像して複数のチャネルから構成される撮像画像を生成する撮像部と、上記撮像画像の劣化を想定した画像である想定劣化画像の画素値を想定劣化画像画素値として上記チャネル毎に算出する想定劣化画像画素値算出部と、上記想定劣化画像の画素に対応する上記撮像画像の画素である注目画素について上記注目画素の画素値とその近傍の画素の各画素値とに基づいて上記チャネル毎に推定される画素値を擬似対象画像画素値として上記チャネル毎に算出する擬似対象画像画素値算出部と、上記算出された想定劣化画像画素値と上記算出された擬似対象画像画素値とに基づいて上記撮像画像を復元した復元画像を作成する復元画像作成部とを具備し、上記擬似対象画像画素値算出部は、上記注目画素のチャネルと同一のチャネルである第一チャネルについて上記擬似対象画像画素値を算出する場合には上記注目画素の画素値を上記擬似対象画像画素値とし、上記注目画素のチャネルと異なるチャネルである第二チャネルについて上記擬似対象画像画素値を算出する場合には、上記注目画素およびその近傍の各画素のうち上記第一チャネルの各画素の空間的高周波成分を計算し、上記注目画素およびその近傍の各画素のうち上記第一チャネルの各画素の空間的低周波成分を計算し、上記注目画素の近傍の各画素のうち上記第二チャネルの各画素の空間的低周波成分を計算し、上記第二チャネルに係る空間的低周波成分と上記第一チャネルに係る空間的低周波成分とに基づいて上記空間的高周波成分のスケーリング係数を算出し、上記第二チャネルに係る空間的低周波成分と上記第一チャネルに係る空間的高周波成分と上記スケーリング係数とに基づいて上記擬似対象画像画素値を計算し、上記復元画像作成部は、上記復元画像および上記撮像画像に関する動き情報に基づいて位置合わせが行われた当該復元画像について算出された上記想定劣化画像画素値と当該位置合わせが行われた当該撮像画像について算出された上記擬似対象画像画素値とを用いて新たな上記復元画像を作成する撮像装置およびこれにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、想定劣化画像画素値および擬似対象画像画素値をチャネル毎に算出し、この算出された想定劣化画像画素値および擬似対象画像画素値に基づいて復元画像を作成するという作用をもたらす。

本発明によれば、画像を復元する際の精度を高めることができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における撮像装置１０の内部構成例を示すブロック図である。撮像装置１０は、レンズ１１と、絞り１２と、撮像素子１３と、サンプリング回路２１と、Ａ／Ｄ（Analog/Digital）変換回路２２と、画像処理回路２３と、符号化／復号器３１と、メモリ３２とを備える。また、撮像装置１０は、表示ドライバ４１と、表示部４２と、タイミング生成器５１と、操作受付部５２と、制御部５３と、バス５９とを備える。なお、画像処理回路２３と、符号化／復号器３１と、メモリ３２と、表示ドライバ４１と、タイミング生成器５１と、操作受付部５２と、制御部５３とは、バス５９を介して相互に接続されている。撮像装置１０は、例えば、被写体を撮像して静止画または動画を生成するデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）により実現することができる。

レンズ１１は、被写体からの光を集光するためのレンズである。絞り１２は、レンズ１１により集光された光の光量を調整するものである。すなわち、レンズ１１により集光され、絞り１２により光量が調整された被写体からの光が、撮像素子１３に供給される。

撮像素子１３は、タイミング生成器５１により駆動され、レンズ１１および絞り１２を介して入射された被写体からの光を光電変換により電気信号（画像信号）に変換する画像センサであり、この変換された電気信号をサンプリング回路２１に出力する。すなわち、レンズ１１および絞り１２を介して入射された被写体からの光が、撮像素子１３のセンサ撮像面上の各受光素子に到達すると、これらの受光素子により光電変換が行われ、電気信号が生成される。なお、撮像素子１３は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等により実現される。

サンプリング回路２１は、タイミング生成器５１により駆動され、撮像素子１３から供給された電気信号をサンプリングしてノイズ成分を除去する等のアナログ処理を施すものであり、これらの処理が施されたアナログ信号をＡ／Ｄ変換回路２２に供給する。サンプリング回路２１により、撮像素子１３で発生するノイズを軽減させることができる。なお、サンプリング回路２１は、例えば、相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）により実現される。

Ａ／Ｄ変換回路２２は、タイミング生成器５１により駆動され、サンプリング回路２１から供給されたアナログ信号をデジタル信号に変換するものであり、この変換されたデジタル信号を画像処理回路２３に供給する。なお、撮像素子１３、サンプリング回路２１およびＡ／Ｄ変換回路２２は、特許請求の範囲に記載の撮像部の一例である。

画像処理回路２３は、Ａ／Ｄ変換回路２２から供給されたデジタル信号（画像データ）に所定の画像処理を施すものであり、この画像処理が施された画像データを表示ドライバ４１および符号化／復号器３１に供給する。具体的には、画像処理回路２３に供給されたデジタル信号は、画像処理回路２３中の画像メモリ（画像用ＲＡＭ（Random Access Memory））に一時格納される。そして、画像処理回路２３の信号処理用プロセッサが画像メモリに格納されたデジタル信号に対して予めプログラムされた画像処理を施す。なお、画像処理回路２３は、例えば、ＤＳＰ（Digital Signal Processor）により実現される。また、画像処理回路２３により実行される処理の詳細については、図２乃至図１４等を参照して詳細に説明する。

符号化／復号器３１は、画像処理回路２３から供給された画像データを符号化し、符号化された画像データをメモリ３２に供給して記録させるものである。また、符号化／復号器３１は、メモリ３２から画像データを読み出して復号し、画像処理回路２３に供給する。

メモリ３２は、符号化／復号器３１により符号化された画像データを記憶するメモリである。また、メモリ３２は、記憶されている画像データを符号化／復号器３１に供給する。なお、メモリ３２は、例えば、半導体メモリ、磁気記録媒体、光磁気記録媒体、光記録媒体等を用いた記録装置により実現される。

表示ドライバ４１は、画像処理回路２３から供給されたデジタル信号をアナログ信号に変換し、この変換されたアナログ信号に対応する画像を表示部４２に表示させるものである。

表示部４２は、表示ドライバ４１により変換されたアナログ信号に対応する画像を表示するものである。なお、通常の状態では、タイミング生成器５１の制御により、画像処理回路２３に内蔵されている画像メモリには、一定のフレームレートで絶えずデジタル信号（一定のフレームレートでの画素のストリーム）が上書きされる。そして、画像処理回路２３に内蔵されている画像メモリの画像データが、表示ドライバ４１を介して表示部４２に出力され、その画像データに対応する画像が表示部４２に表示される。表示部４２は、例えば、ＬＣＤ（Liquid Crystal Display）等により実現され、ファインダとしての機能も有する。

タイミング生成器５１は、信号処理系（撮像素子１３、サンプリング回路２１、Ａ／Ｄ変換回路２２、および、画像処理回路２３）の動作タイミングを制御するタイミング生成器（タイミングジェネレータ）である。例えば、撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するように、タイミング生成器５１が信号処理系を制御する。

操作受付部５２は、ユーザによるシャッタ操作やその他のコマンド入力等の操作入力を受け付ける操作受付部であり、受け付けられた操作入力の内容を制御部５３に供給する。例えば、操作受付部５２には、撮像装置１０本体にあるシャッタボタン等の操作ボタン類が備えられている。

制御部５３は、撮像装置１０全体を制御する制御部であり、ドライバ（図示せず）に記憶されている制御用プログラムを読み出し、この制御用プログラムや操作受付部５２から受け付けられたユーザからのコマンド等に基づいて各種の制御を行う。制御部５３は、例えば、ＣＰＵ（Central Processing Unit）により実現される。

次に、画像処理回路２３により行われる信号処理について図面を参照して詳細に説明する。本発明の実施の形態で示す信号処理は、画像処理回路２３に入力されたデジタル信号（画像信号）のストリームに対して、画像処理回路２３内部の演算ユニットが所定のプログラムコードに記述された演算を実行することにより実現される。そこで、以下では、そのプログラム中の各処理単位を機能ブロックとして説明し、各処理により実行される順序をフローチャートで説明する。なお、本発明の実施の形態で説明するプログラムによる実施形態以外にも、以下で示す機能ブロックと同等の処理を実現するハードウェア回路を実装する構成としてもよい。

図２は、本発明の実施の形態における画像処理回路２３の機能構成例を示すブロック図である。なお、図２では、画像処理回路２３により行われる信号処理全体の構成を示す。画像処理回路２３は、復元処理部１００と、ホワイトバランス処理部２１０と、デモザイク処理部２２０と、ガンマ補正処理部２３０と、ＹＣ変換処理部２４０とを備える。画像処理回路２３には、Ａ／Ｄ変換回路２２によりデジタイズされたモザイク画像Ｍが入力画像として入力される。そして、入力されたモザイク画像Ｍに対して、画像処理回路２３が各種の画像処理を施す。このモザイク画像Ｍは、各画素にＲ（Red：赤）、Ｇ（Green：緑）、Ｂ（Blue：青）の何れかの色に対応する強度信号が格納されたものであり、その色配列は、例えば、図３に示すベイヤー（Bayer）配列である。

復元処理部１００は、モザイク画像Ｍに対して光学劣化およびセンサ劣化を復元処理するものである。そして、この復元処理が施されたモザイク画像Ｍ_ｒｅｐは、ホワイトバランス処理部２１０に供給される。なお、復元処理部１００については、図５乃至図１４等を参照して詳細に説明する。

ホワイトバランス処理部２１０は、復元処理が施されたモザイク画像Ｍ_ｒｅｐに対してホワイトバランス処理を施すものである。このホワイトバランス処理は、モザイク画像Ｍ_ｒｅｐに対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理である。このホワイトバランス処理が施されたモザイク画像Ｍ_ｗは、デモザイク処理部２２０に供給される。

デモザイク処理部２２０は、ホワイトバランス処理が施されたモザイク画像Ｍ_ｗの各画素位置にＲ、Ｇ、Ｂの全てのチャネルの強度が揃うようにデモザイク処理（補間処理）を行うものである。このデモザイク処理が施されたＲＧＢ画像（［Ｒ_ｗ，Ｇ_ｗ，Ｂ_ｗ］^Ｔ）は、ガンマ補正処理部２３０に供給される。なお、このデモザイク処理が施されたＲＧＢ画像（［Ｒ_ｗ，Ｇ_ｗ，Ｂ_ｗ］^Ｔ）は、Ｒ、Ｇ、Ｂの３つの色に対応する画像である。また、行列Ａ^Ｔは、行列Ａの転置行列を意味する。

ガンマ補正処理部２３０は、ＲＧＢ画像（［Ｒ_ｍ，Ｇ_ｍ，Ｂ_ｍ］^Ｔ）に対してガンマ補正を施すものである。このガンマ補正が施されたＲＧＢ画像（［Ｒ_ｕ ^γ，Ｇ_ｕ ^γ，Ｂ_ｕ ^γ］^Ｔ）は、ＹＣ変換処理部２４０に供給される。

ＹＣ変換処理部２４０は、ガンマ補正が施されたＲＧＢ画像（［Ｒ_ｕ ^γ，Ｇ_ｕ ^γ，Ｂ_ｕ ^γ］^Ｔ）にＹＣマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、輝度信号（Ｙ）および色差信号（Ｃｒ，Ｃｂ）を生成するものである。この輝度信号（Ｙ画像）および色差信号（Ｃ画像）は、符号化／復号器３１または表示ドライバ４１に供給される。

図３は、本発明の実施の形態における撮像素子１３の受光面に配されるカラーフィルタの一例としてのベイヤー配列を示す図である。このベイヤー配列では、Ｇの色の画素が市松状に配置され、Ｇ以外の画素位置ではＲの色の画素が水平方向および垂直方向に１画素おきの正方格子状に配置され、残りの画素位置にＢの色の画素が水平方向および垂直方向に１画素おきの正方格子状に配置されている。なお、本発明の実施の形態では、Ｒ画素を含む行に存在するＧ画素をＧｒで示し、Ｂ画素を含む行に存在するＧ画素をＧｂで示す。

図４は、本発明の実施の形態における復元処理部１００の復元処理の対象となるモザイク画像と、復元処理部１００により復元処理が行われたモザイク画像とを模式的に示す図である。これらのモザイク画像は、図３に示すベイヤー配列に対応して各画素が配置されている。ここで、本発明の実施の形態では、復元処理の対象となるモザイク画像を復元処理部１００が観測画像として入力し、復元処理が行われたモザイク画像を復元処理部１００が復元画像として出力する例について説明する。

図４（ａ）には、復元処理部１００の復元処理の対象となる観測画像３００を示し、図４（ｂ）には、復元処理部１００により復元処理が行われた復元画像３１０を示す。図４（ａ）および（ｂ）では、各画像の一部を破線の矩形で囲んで示し、各矩形内に含まれる画素を丸で示し、各画素のチャネルを示す文字を丸内に付す。ここで、図４（ｂ）に示す復元画像３１０は、図４（ａ）に示す観測画像３００の解像度が、縦横それぞれ３倍となるように変換された高解像度画像である。このように、復元処理の対象となる観測画像３００と、復元処理が行われた後の復元画像３１０とは解像度が異なる。そこで、図４（ａ）および（ｂ）では、観測画像３００および復元画像３１０を比較可能とするため、観測画像３００および復元画像３１０に共通して存在する画素を示す丸を太線で示す。すなわち、観測画像３００および復元画像３１０に共通して存在する画素は、観測画像３００における画素３０１乃至３０９と、復元画像３１０における画素３１１乃至３１９とである。また、図４（ａ）に示す観測画像３００において、復元画像３１０を構成する各画素の画素位置に対応する位置のうち、画素が存在しない位置を破線の丸で示す。すなわち、観測画像３００は、復元画像３１０との比較では低解像度画像となるため、画素３０１乃至３０９の画素位置以外の位置では画素が存在しない。

図５は、本発明の実施の形態における復元処理部１００の機能構成例を示すブロック図である。復元処理部１００は、想定劣化画像画素値算出部１１０と、擬似観測画像画素値算出部１２０と、更新信号算出部１３０と、復元画像作成部１４０とを備える。なお、本発明の実施の形態では、光学系による劣化をＰＳＦ（Point Spread Function）により定義する。

想定劣化画像画素値算出部１１０は、復元画像作成部１４０から出力されたフレーム（復元画像）に基づいて、更新信号作成の際に用いられる想定劣化画像画素値を算出するものであり、算出された想定劣化画像画素値を更新信号算出部１３０に出力する。この想定劣化画像画素値算出部１１０は、想定劣化画像画素値を算出する際にチャネル別のボケ関数（例えば、図６に示すＰＳＦ）を用いる。なお、想定劣化画像画素値算出部１１０については、図８を参照して詳細に説明する。

擬似観測画像画素値算出部１２０は、Ａ／Ｄ変換回路２２から出力されたフレーム（観測画像）に基づいて、更新信号作成の際に用いられる擬似観測画像画素値を算出するものであり、算出された擬似観測画像画素値を更新信号算出部１３０に出力する。なお、擬似観測画像画素値算出部１２０については、図１０を参照して詳細に説明する。また、擬似観測画像画素値算出部１２０は、特許請求の範囲に記載の擬似対象画像画素値算出部の一例である。

更新信号算出部１３０は、想定劣化画像画素値算出部１１０から出力された想定劣化画像画素値と、擬似観測画像画素値算出部１２０から出力された擬似観測画像画素値とに基づいて、復元画像を作成するための更新信号を算出するものである。そして、算出された更新信号を復元画像作成部１４０に出力する。なお、更新信号算出部１３０については、図１３を参照して詳細に説明する。

復元画像作成部１４０は、更新信号算出部１３０から出力された更新信号に基づいて、直前に作成された復元画像を更新して、新たな復元画像を作成するものである。そして、新たに作成された復元画像をホワイトバランス処理部２１０に出力するとともに、その復元画像を次のフレーム（観測画像）について復元画像を作成する際に用いる。なお、復元画像作成部１４０については、図１４を参照して詳細に説明する。

図６は、本発明の実施の形態における想定劣化画像画素値算出部１１０が想定劣化画像画素値を算出する際に用いるチャネル別のボケ関数の一例であるＰＳＦの値を表すグラフを示す図である。図６（ａ）には、２次元ＰＳＦの値を表すグラフを示し、図６（ｂ）には、３次元ＰＳＦの値を表すグラフを示す。なお、図６（ａ）に示すグラフにおいて、ｘ軸は画像上における画素の位置（画素位置）を示す軸であり、ｙ軸は画素位置に対する応答の値を示す軸である。また、図６（ｂ）に示すグラフにおいて、ｘ軸およびｚ軸は画像上における画素位置を示す軸であり、ｙ軸は画素位置に対する応答の値を示す軸である。ここで、図６（ａ）および（ｂ）に示すｙ軸の値（画素位置に対する応答の値）は、入力である画素位置に対する出力が、どれだけボケた像として現れるかを示す値である。また、図６（ａ）および（ｂ）に示すｙ軸の値は正規分布に従って正規化された値とする。なお、図６（ａ）および図６（ｂ）に示すＰＳＦは、特許請求の範囲に記載のボケ関数の一例である。

図７は、本発明の実施の形態における想定劣化画像画素値算出部１１０の処理対象となる復元画像３１０と、想定劣化画像画素値算出部１１０により算出される想定劣化画像画素値により構成される想定劣化画像３２１乃至３２４とを模式的に示す図である。なお、図７（ａ）に示す復元画像３１０は、図４（ｂ）に示す復元画像３１０と同様であるため、ここでの詳細な説明を省略する。図７（ｂ）には、チャネル毎に算出された想定劣化画像画素値により構成される想定劣化画像の一例である想定劣化画像３２１乃至３２４を示す。この想定劣化画像については、図８を参照して詳細に説明する。

図８は、本発明の実施の形態における想定劣化画像画素値算出部１１０の機能構成例を示すブロック図である。想定劣化画像画素値算出部１１０は、チャネル別ボケ行列保持部１１１と、積和部１１２と、リサンプリング部１１３とを備える。

チャネル別ボケ行列保持部１１１は、光学劣化を想定したボケ行列をチャネル毎に保持するものであり、保持されているチャネル別ボケ行列を積和部１１２に供給する。チャネル別ボケ行列として、例えば、図６（ａ）および（ｂ）に示すＰＳＦを用いることができる

積和部１１２は、復元画像作成部１４０から出力された復元画像における各画素について、チャネル別ボケ行列保持部１１１に保持されているチャネル別ボケ行列を用いて、想定劣化画像の画素値（想定劣化画像画素値）を計算するものである。そして、計算して求められた想定劣化画像画素値をリサンプリング部１１３に出力する。

ここで、本発明の実施の形態では、復元画像における各画素のうち、想定劣化画像画素値の算出の際に基準となる画素の位置を注目画素位置と称して説明する。また、この注目画素位置に存在する画素を注目画素と称する。この例では、観測画像を構成する各画素の画素位置に対応する復元画像の位置を注目画素位置とし、この注目画素位置に存在する画素を注目画素とする場合について説明する。例えば、図７（ａ）に示す例では、復元画像３１０の画素３１１乃至３１９が注目画素であり、画素３１１乃至３１９の位置が注目画素位置である。また、観測画像における各画素についても、同様に、注目画素位置および注目画素を用いて説明する。

具体的には、積和部１１２は、復元画像における注目画素と、この注目画素の近傍に存在する画素とのうち、同じチャネルの画素値と、そのチャネルに対応してチャネル別ボケ行列保持部１１１に保持されているチャネル別ボケ行列とを積和する。そして、その注目画素位置における想定劣化画像画素値を計算する。なお、注目画素の近傍に存在する画素として、例えば、注目画素を中心とした７画素×７画素の範囲に存在する画素を用いることができる。例えば、図７（ａ）に示す画素３１５を注目画素とし、その注目画素位置について想定劣化画像画素値を計算する場合には、画素３１５を中心とした７画素×７画素の範囲（復元画像３１０の範囲）が計算対象となる。すなわち、図７（ａ）に示す画素３１５の位置を注目画素位置として想定劣化画像画素値を計算する場合には、復元画像３１０の範囲に含まれる各画素の画素値を用いて、チャネル毎に想定劣化画像画素値を計算する。

ここで、想定劣化画像画素値の計算対象となるチャネルを対象チャネルと称して説明する。例えば、図７（ａ）に示す画素３１５の位置を注目画素位置とし、対象チャネルＧｒについて想定劣化画像画素値を計算する場合には、復元画像３１０の範囲に含まれるチャネルＧｒの画素値（１６個）と、チャネルＧｒのボケ行列とを用いて積算処理が行われる。この積算結果である積算値を順次加算することにより、チャネルＧｒについての想定劣化画像画素値が求められる。また、例えば、図７（ａ）に示す画素３１５の位置を注目画素位置とし、対象チャネルＲについて想定劣化画像画素値を計算する場合には、復元画像３１０の範囲に含まれるチャネルＲの画素値（１２個）と、チャネルＲのボケ行列とを用いて積算処理が行われる。この積算結果である積算値を順次加算することにより、チャネルＲについての想定劣化画像画素値が求められる。同様に、図７（ａ）に示す画素３１５の位置を注目画素位置とし、対象チャネルＢ、Ｇｒのそれぞれについて、復元画像３１０の範囲に含まれる対象チャネルを用いて、想定劣化画像画素値が計算される。また、他の注目画素位置についても同様に計算される。すなわち、１つの注目画素位置について、４つの想定劣化画像画素値が算出される。この想定劣化画像画素値の算出は、例えば、注目画素位置をラスタ順に移動させながら行われる。すなわち、図７（ａ）に示す復元画像３１０では、画素３１１→画素３１２→画素３１３→…→画素３１４→画素３１５→画素３１６→…→画素３１７→画素３１８→画素３１９→…の順序で行われる。

リサンプリング部１１３は、積和部１１２により求められた想定劣化画像画素値を注目画素位置に配置する（リサンプリングする）ものであり、このように配置された想定劣化画像画素値を更新信号算出部１３０に出力する。例えば、図７（ａ）に示す画素３１５の位置を注目画素位置とし、対象チャネルＧｒについて求められた想定劣化画像画素値をリサンプリングする場合には、図７（ｂ）に示す想定劣化画像（対象チャネルＧｒ）３２１の画素３３１の位置にリサンプリングされる。また、例えば、図７（ａ）に示す画素３１５の位置を注目画素位置とし、対象チャネルＲについて求められた想定劣化画像画素値をリサンプリングする場合には、図７（ｂ）に示す想定劣化画像（対象チャネルＲ）３２２の画素３３２の位置にリサンプリングされる。同様に、図７（ａ）に示す画素３１５の位置を注目画素位置とし、対象チャネルＢ、Ｇｒのそれぞれについて求められた想定劣化画像画素値をリサンプリングする場合についても同様に、リサンプリングが行われる。すなわち、対象チャネルＢについて求められた想定劣化画像画素値が、図７（ｂ）に示す想定劣化画像（対象チャネルＢ）３２３の画素３３３の位置にリサンプリングされる。また、対象チャネルＧｒについて求められた想定劣化画像画素値が、図７（ｂ）に示す想定劣化画像（対象チャネルＧｒ）３２４の画素３３４の位置にリサンプリングされる。このようにリサンプリングが行われることにより、１つの復元画像３１０について、４つのチャネルに応じた想定劣化画像３２１乃至３２４が求められる。

なお、想定劣化画像画素値算出部１１０によるリサンプリング処理は、撮像素子１３による劣化を想定しない場合には、解像度変換を伴わない画素位置のリサンプリング処理のみが行われる。すなわち、観測画像と同一の解像度の４つの想定劣化画像が作成される。また、観測画像がベイヤー配列でない場合には、リサンプリング処理を省略することができる。観測画像がベイヤー配列でない場合とは、例えば、デモザイク処理が行われた画像を観測画像とする場合である。

図９は、本発明の実施の形態における擬似観測画像画素値算出部１２０の処理対象となる観測画像３００と、擬似観測画像画素値算出部１２０により算出される擬似観測画像画素値により構成される擬似観測画像３４１乃至３４４とを模式的に示す図である。なお、図９（ａ）に示す観測画像３００は、図４（ａ）に示す観測画像３００と同様であるため、ここでの詳細な説明を省略する。図９（ｂ）には、チャネル毎に算出された擬似観測画像画素値により構成される擬似観測画像の一例である擬似観測画像３４１乃至３４４を示す。この擬似観測画像については、図１０を参照して詳細に説明する。

図１０は、本発明の実施の形態における擬似観測画像画素値算出部１２０の機能構成例を示すブロック図である。擬似観測画像画素値算出部１２０は、チャネル判定部１２１および観測画像画素変換部１２２を備える。ここで、擬似観測画像画素値算出部１２０は、観測画像を構成する各画素を擬似的に同一のチャネルの画素とした擬似観測画像の各画素値をチャネル毎に算出する。この擬似観測画像の画素値（擬似観測画像画素値）は、チャネルが異なる場合でも画素の高周波成分はほぼ同じ値となるが、画素の低周波成分はチャネルの種類に応じて異なる値となるという性質を利用して算出される。なお、想定劣化画像画素値算出部１１０について説明した場合と同様に、計算対象となるチャネルを対象チャネルと称して説明する。また、擬似観測画像画素値算出部１２０は、想定劣化画像画素値算出部１１０と同様に、１つの注目画素位置について、４つの擬似観測画像画素値を算出する。すなわち、４つの対象チャネル毎に擬似観測画像画素値が求められる。

チャネル判定部１２１は、Ａ／Ｄ変換回路２２から出力された観測画像における注目画素と、この注目画素の近傍の各画素との画素値を入力し、その注目画素のチャネルと対象チャネルとが同一であるか否かを判定するものである。そして、チャネル判定部１２１は、その注目画素のチャネルと対象チャネルとが同一であると判定した場合には、その注目画素の画素値を擬似観測画像画素値として更新信号算出部１３０に出力する。

一方、チャネル判定部１２１は、その注目画素のチャネルと対象チャネルとが同一でないと判定した場合には、その注目画素およびその近傍の各画素のうち、対象チャネルの画素値を空間的低周波成分計算部１２３および１２７に出力する。また、その注目画素およびその近傍の各画素のうち、注目画素のチャネル（参照チャネル）の画素値を空間的高周波成分計算部１２４および空間的低周波成分計算部１２６に出力する。

ここで、参照チャネルは、その注目画素のチャネルと対象チャネルとが同一でない場合に、擬似観測画像画素値を算出する際に用いられるチャネルであり、注目画素のチャネルと同一のチャネルである。例えば、図９（ａ）に示す画素３０１、３０３、３０７、３０９の位置を注目画素位置とし、対象チャネルＧｒについて擬似観測画像画素値を計算する場合には、注目画素（画素３０１、３０３、３０７、３０９）のチャネルＧｒと対象チャネルＧｒとが同一である。このため、注目画素（画素３０１、３０３、３０７、３０９）の画素値が、擬似観測画像画素値として出力される。すなわち、図９（ｂ）に示す擬似観測画像（対象チャネルＧｒ）３４１の画素３５１、３５３、３５７、３５９の擬似観測画像画素値として出力される。一方、例えば、図９（ａ）に示す画素３０２の位置を注目画素位置とし、対象チャネルＧｒについて擬似観測画像画素値を計算する場合には、注目画素（画素３０２）のチャネルＲと対象チャネルＧｒとが同一でない。このため、画素３０２およびその近傍の各画素のうち、注目画素（画素３０２）のチャネル（参照チャネル）Ｒと、対象チャネルＧｒとを用いて、擬似観測画像画素値が計算される。この擬似観測画像画素値は、図９（ｂ）に示す擬似観測画像（対象チャネルＧｒ）３４１の画素３５２の擬似観測画像画素値として出力される。同様に、図９（ａ）に示す画素３０４乃至３０６、３０８の位置を注目画素位置とし、対象チャネルＧｒについて擬似観測画像画素値を計算する場合には、注目画素のチャネルと対象チャネルＧｒとが同一でない。このため、注目画素およびその近傍の各画素のうち、注目画素のチャネル（参照チャネル）と、対象チャネルＧｒとを用いて、擬似観測画像画素値が計算される。

図９（ｂ）に示す擬似観測画像３４１乃至３４４において、観測画像３００の注目画素の画素値が、擬似観測画像画素値として出力される画素位置を太丸で示す。また、図９（ｂ）に示す擬似観測画像３４１乃至３４４において、注目画素のチャネル（参照チャネル）と、対象チャネルとを用いて、擬似観測画像画素値が計算される画素位置を二重丸で示す。このように、１つの注目画素位置について、４つの擬似観測画像画素値が求められる。なお、参照チャネルおよび対象チャネルを用いた擬似観測画像画素値の計算は、観測画像画素変換部１２２により行われる。

観測画像画素変換部１２２は、注目画素位置における対象チャネルの画素値を推定するものである。この観測画像画素変換部１２２は、空間的低周波成分計算部１２３と、空間的高周波成分計算部１２４と、空間的高周波成分スケーリング係数計算部１２５と、擬似観測画像画素値計算部１２９とを備える。また、空間的高周波成分スケーリング係数計算部１２５は、参照チャネルの空間的高周波成分のスケーリング係数を計算するものであり、空間的低周波成分計算部１２６および１２７と、除算器１２８とを備える。この例では、チャネル間の画素値変化に相関があることに着目し、このチャネル間の画素値変化の相関に基づいて、注目画素位置における対象チャネルの画素値を推定する。すなわち、注目画素のチャネル（参照チャネル）の変化量（参照チャネルの空間的高周波成分）にスケーリングを施し、注目画素位置における対象チャネルの直流成分（対象チャネルの空間的低周波成分）に加算する。これにより、注目画素位置における対象チャネルの画素値を推定する。

空間的低周波成分計算部１２３は、注目画素の近傍の各画素のチャネル（対象チャネル）の画素値に低域通過フィルタ（ローパスフィルタ）をかけ、注目画素位置における対象チャネルの空間的低周波成分を計算するものである。そして、計算結果である空間的低周波成分Ｉ_{ＬｏｗＦｒｅｑ}を擬似観測画像画素値計算部１２９に出力する。なお、空間的低周波成分計算部１２３は、特許請求の範囲に記載の第二チャネル空間的低周波成分計算部の一例である。

空間的高周波成分計算部１２４は、注目画素位置における参照チャネルの空間的高周波成分を計算するものである。そして、計算結果である空間的高周波成分Ｉ'_{ＨｉｇｈＦｒｅｑ}を擬似観測画像画素値計算部１２９に出力する。具体的には、空間的高周波成分計算部１２４は、式７に示すように、注目画素の画素値Ｉ'と、空間的低周波成分計算部１２６により計算された注目画素位置における参照チャネルの空間的低周波成分Ｉ'_{ＬｏｗＦｒｅｑ}との差分値を計算する。そして、この差分値（空間的高周波成分Ｉ'_{ＨｉｇｈＦｒｅｑ}）が、注目画素位置における参照チャネルの空間的高周波成分として擬似観測画像画素値計算部１２９に出力される。なお、高域通過フィルタ（ハイパスフィルタ）を用いて、注目画素位置における参照チャネルの空間的高周波成分を計算するようにしてもよい。

空間的低周波成分計算部１２６は、注目画素およびその近傍の各画素の参照チャネルの各画素値に低域通過フィルタをかけ、注目画素位置における参照チャネルの空間的低周波成分を計算するものである。そして、計算結果である空間的低周波成分Ｉ'_{ＬｏｗＦｒｅｑｑ}を空間的高周波成分計算部１２４および除算器１２８に出力する。

空間的低周波成分計算部１２７は、注目画素およびその近傍の各画素の対象チャネルの各画素値に低域通過フィルタをかけ、注目画素位置における対象チャネルの空間的低周波成分を計算するものである。そして、計算結果である空間的低周波成分Ｉ_{ＬｏｗＦｒｅｑ}を除算器１２８に出力する。なお、空間的低周波成分計算部１２７は、空間的低周波成分計算部１２３と兼用するようにしてもよい。また、空間的低周波成分計算部１２７は、特許請求の範囲に記載の第二チャネル空間的低周波成分計算部の一例である。

除算器１２８は、空間的低周波成分計算部１２７からの対象チャネルの空間的低周波成分と、空間的低周波成分計算部１２６からの参照チャネルの空間的低周波成分とに基づいて、参照チャネルの空間的高周波成分のスケーリング係数を計算するものである。このスケーリング係数は、参照チャネルの空間的高周波成分の大きさを調整する係数であり、参照チャネルの空間的高周波成分を正規化するものである。例えば、除算器１２８は、式８に示すように、空間的低周波成分Ｉ_{ＬｏｗＦｒｅｑ}と、空間的低周波成分Ｉ'_{ＬｏｗＦｒｅｑｑ}とを除算し、スケーリング係数ｋを計算する。なお、式９に示すように、注目画素およびその近傍の各画素の対象チャネルの画素値の分散σ_Ｉ，Ｉと、注目画素およびその近傍の各画素の対象チャネルおよび参照チャネルの共分散σ_Ｉ，Ｉ'との比を用いて、スケーリング係数ｋを計算するようにしてもよい。

擬似観測画像画素値計算部１２９は、空間的低周波成分計算部１２３からの空間的低周波成分と空間的高周波成分計算部１２４からの空間的高周波成分と除算器１２８からのスケーリング係数とに基づいて注目画素位置の擬似観測画像画素値を計算するものである。そして、注目画素位置の擬似観測画像画素値を更新信号算出部１３０に出力する。例えば、擬似観測画像画素値計算部１２９は、式１０に示すように、空間的低周波成分Ｉ_{ＬｏｗＦｒｅｑ}と、空間的高周波成分Ｉ'_{ＨｉｇｈＦｒｅｑ}と、スケーリング係数ｋとを用いて、注目画素位置の擬似観測画像画素値Ｉ_{ｐｓｅｕｄｏ}を計算する。なお、擬似観測画像画素値計算部１２９は、特許請求の範囲に記載の擬似対象画像画素値計算部の一例である。

図１１および図１２は、本発明の実施の形態における擬似観測画像画素値算出部１２０に入力される観測画像を模式的に示す図である。なお、図１１および図１２に示す観測画像では、復元画像の画素位置に対応する破線の丸（図４、図７および図８に示す）は省略する。また、図１１および図１２に示す観測画像では、注目画素を太丸で示し、対象チャネルの画素を斜線を付した丸で示す。図１１には、注目画素（復元画像における注目画素位置に相当する位置に存在する画素）３６１と、注目画素３６１の近傍の各画素とにより構成される観測画像３６０を示す。また、図１１では、注目画素３６１のチャネル（参照チャネル）をＲチャネルとし、対象チャネルをＧｒとした場合を例にして示す。

図１１に示す例では、注目画素３６１のチャネルＲと、対象チャネルＧｒとが同一でない。このため、注目画素３６１の近傍の各画素のうち、対象チャネルＧｒの画素値が空間的低周波成分計算部１２３および１２７に出力される。また、注目画素３６１およびその近傍の各画素のうち、参照チャネルＲの画素値が空間的高周波成分計算部１２４および空間的低周波成分計算部１２６に出力される。

続いて、空間的低周波成分計算部１２３および１２７が、対象チャネル空間的低周波成分計算範囲３６２（実線の矩形で示す範囲）に含まれる対象チャネルＧｒの各画素値に低域通過フィルタ（例えば、４×５）をかける。そして、注目画素３６１の位置における対象チャネルＧｒの空間的低周波成分を計算する。この場合に、例えば、偶数タップの低域通過フィルタを用いて、注目画素３６１の位置の位相の空間的低周波成分を直接求めることができる。また、奇数タップの低域通過フィルタを用いて、対象チャネルＧｒの位置の空間的低周波成分を求めておき、これらの補間により注目画素３６１の位置の空間的低周波成分を求めるようにしてもよい。

続いて、空間的低周波成分計算部１２６が、参照チャネル空間的低周波および高周波成分計算範囲３６３（破線の矩形で示す範囲）に含まれる参照チャネルＲの各画素値に低域通過フィルタ（例えば、５×５）をかける。そして、注目画素３６１の位置における参照チャネルＲの空間的低周波成分を計算する。

続いて、除算器１２８が、注目画素３６１の位置における対象チャネルＧｒの空間的低周波成分と、注目画素３６１の位置における参照チャネルＲの空間的低周波成分とに基づいて、参照チャネルＲの空間的高周波成分のスケーリング係数を計算する。この計算は、例えば、式８に従って行われる。

続いて、空間的高周波成分計算部１２４が、注目画素３６１の位置における参照チャネルＲの空間的低周波成分と、注目画素３６１の参照チャネルＲの画素値との差分値を計算する。そして、注目画素３６１の位置における参照チャネルＲの空間的高周波成分を計算する。

続いて、擬似観測画像画素値計算部１２９が、注目画素３６１の位置における擬似観測画像画素値を計算する。すなわち、式１０に従って、注目画素３６１の位置における対象チャネルＧｒの空間的低周波成分と、参照チャネルＲの空間的高周波成分と、参照チャネルＲの空間的高周波成分のスケーリング係数とを用いて、その位置における擬似観測画像画素値が計算される。そして、注目画素３６１の位置における擬似観測画像画素値が更新信号算出部１３０に出力される。

図１２には、注目画素３７１と、注目画素３７１の近傍の各画素とにより構成される観測画像３７０を示す。また、図１２では、注目画素３７１のチャネル（参照チャネル）をＧｂチャネルとし、対象チャネルをＧｒとした場合を例にして示す。なお、この例は、図１１の変形例であり、空間的低周波成分を計算する際に用いられる低域通過フィルタが異なる。そこで、以下では、図１１と共通する部分についての説明を省略し、図１１と異なる部分を中心にして説明する。

図１２に示す例では、注目画素３７１のチャネル（参照チャネル）Ｇｂと、対象チャネルＧｒとが同一でない。このため、注目画素３７１の近傍の各画素のうち、対象チャネルＧｒの画素値が空間的低周波成分計算部１２３および１２７に出力される。また、注目画素３７１およびその近傍の各画素のうち、参照チャネルＧｂの画素値が空間的高周波成分計算部１２４および空間的低周波成分計算部１２６に出力される。

続いて、空間的低周波成分計算部１２３および１２７が、対象チャネル空間的低周波成分計算範囲３７２（実線の矩形で示す範囲）に含まれる対象チャネルＧｒの各画素値に低域通過フィルタ（例えば、４×４）をかける。そして、注目画素３７１の位置における対象チャネルＧｒの空間的低周波成分を計算する。

続いて、空間的低周波成分計算部１２６が、参照チャネル空間的低周波および高周波成分計算範囲３７３（破線の矩形で示す範囲）に含まれる参照チャネルＧｂの各画素値に低域通過フィルタ（例えば、５×５）をかける。そして、注目画素３７１の位置における参照チャネルＧｂの空間的低周波成分を計算する。以下、図１１と同様に計算が行われ、注目画素３７１の位置における擬似観測画像画素値が計算される。そして、注目画素３７１の位置における擬似観測画像画素値が更新信号算出部１３０に出力される。

図１３は、本発明の実施の形態における更新信号算出部１３０の機能構成例を示すブロック図である。更新信号算出部１３０は、減算器１３１と、リサンプリング部１３２とを備える。

減算器１３１は、擬似観測画像画素値算出部１２０から出力された擬似観測画像画素値から、想定劣化画像画素値算出部１１０から出力された想定劣化画像画素値を減算するものであり、減算結果である差分値をリサンプリング部１３２に出力する。上述したように、１つの注目画素位置について、４つの対象チャネル（Ｇｒ、Ｒ、Ｂ、Ｇｂ）の擬似観測画像画素値および想定劣化画像画素値が作成される。このため、減算器１３１には、１つの注目画素位置について作成された４つの擬似観測画像画素値および想定劣化画像画素値が順次入力される。そして、入力された４つの擬似観測画像画素値および想定劣化画像画素値について、対象チャネル毎に順次減算処理が行われる。

リサンプリング部１３２は、減算器１３１から出力された差分値を、注目画素位置から復元画像の各画素位置にリサンプリングするものであり、リサンプリングされた差分値を更新信号として復元画像作成部１４０に出力する。すなわち、１つの注目画素位置（観測画像の画素位置に相当する位置）について対象チャネル毎に算出された４つの差分値が、観測画像の３倍の解像度を有する復元画像の各画素位置にアップサンプリングされる。そして、復元画像の画素位置毎に、リサンプリングされた差分値が更新信号として出力される。

図１４は、本発明の実施の形態における復元画像作成部１４０の機能構成例を示すブロック図である。復元画像作成部１４０は、行列演算部１４１と、加算器１４２とを備える。なお、復元画像作成部１４０は、例えば、式３および式５に示すＢａｃｋ−ｐｒｏｊｅｃｔｉｏｎ法およびその簡易型により復元画像を作成するものである。

行列演算部１４１は、リサンプリング部１３２から出力された更新信号（擬似観測画像画素値および想定劣化画像画素値の差分値）に所定の行列をかける演算を行うものであり、演算結果を加算器１４２に出力する。ここで、所定の行列は、例えば、式３および式５に示す行列（例えば、行列λｈ^Ｔまたは行列ａ）である。

加算器１４２は、行列演算部１４１から出力された演算結果の値と、直前に作成された復元画像を構成する各画素位置の画素値（復元画像信号）とを加算するものである。そして、加算結果である加算値が復元画像信号としてホワイトバランス処理部２１０に出力される。また、この復元画像信号が、次の復元画像信号の作成に用いられる。すなわち、復元画像作成部１４０により、直前に作成された復元画像が更新され、新たな復元画像が作成される。なお、最初の復元画像としては、例えば、最初に復元処理部１００に入力された観測画像を解像度変換した画像を用いることができる。

次に本発明の実施の形態における撮像装置１０の動作について図面を参照して説明する。

図１５は、本発明の実施の形態における画像処理回路２３の処理手順を示すフローチャートである。

ループＬ９０１では、Ａ／Ｄ変換回路２２から順次出力されるフレーム（モザイク画像）について、後続のフレームがなくなるまで、１フレームずつステップＳ９０２乃至Ｓ９０７、Ｓ９１０の処理を繰り返す。

最初に、画像処理回路２３が、内部の画像メモリに記憶されている１フレーム（モザイク画像）を読み出す（ステップＳ９０２）。

次に、復元処理部１００が、読み出されたモザイク画像の光学劣化およびセンサ劣化を復元する復元処理を行う（ステップＳ９１０）。なお、この復元処理については、図１６を参照して詳細に説明する。

次に、ホワイトバランス処理部２１０が、復元処理が施されたモザイク画像についてホワイトバランス処理を行う（ステップＳ９０３）。次に、デモザイク処理部２２０が、ホワイトバランス処理が施されたモザイク画像について、各画素位置にＲ、Ｇ、Ｂの全ての情報が揃ったＲＧＢ画像を生成するデモザイク処理を行う（ステップＳ９０４）。次に、ガンマ補正処理部２３０が、ＲＧＢ画像についてガンマ補正処理を行う（ステップＳ９０５）。次に、ＹＣ変換処理部２４０が、ガンマ補正されたＲＧＢ画像をＹ画像およびＣ画像に変換する（ステップＳ９０５）。次に、表示部４２への表示またはメモリ３２への記録のため、Ｙ画像およびＣ画像が出力される（ステップＳ９０７）。そして、後続のフレームの入力がなければ、画像処理回路２３の動作を終了する。

図１６は、本発明の実施の形態における復元処理部１００による復元処理（図１５のステップＳ９１０）の処理手順を示すフローチャートである。なお、この例では、画素単位に一連の復元処理を行う例を示す。

最初に、復元処理部１００が、画像処理回路２３内部の画像メモリから読み出されたモザイク画像（観測画像）と、復元画像作成部１４０から出力されたモザイク画像（復元画像）とを入力する（ステップＳ９１１）。

続いて、ループＬ９１２では、観測画像および復元画像（２つのモザイク画像）の各注目画素について、ステップＳ９１３、Ｓ９１５、Ｓ９６０、Ｓ９７０、ループＬ９１４の各処理を行う。また、ループＬ９１３では、観測画像および復元画像（２つのモザイク画像）の各注目画素について、４つの対象チャネル毎にステップＳ９３０およびＳ９４０の各処理を行う。

ループＬ９１３では、最初に、想定劣化画像画素値算出部１１０が、復元画像の注目画素について想定劣化画像画素値を算出する想定劣化画像画素値算出処理を行う（ステップＳ９３０）。この想定劣化画像画素値算出処理については、図１７を参照して詳細に説明する。なお、ステップＳ９３０は、特許請求の範囲に記載の想定劣化画像画素値算出手順の一例である。

続いて、擬似観測画像画素値算出部１２０が、観測画像の注目画素について擬似観測画像画素値を算出する擬似観測画像画素値算出処理を行う（ステップＳ９４０）。この擬似観測画像画素値算出処理については、図１８を参照して詳細に説明する。なお、ステップＳ９４０は、特許請求の範囲に記載の擬似対象画像画素値算出手順の一例である。ループＬ９１３では、４つの対象チャネルについて、想定劣化画像画素値および擬似観測画像画素値の算出が終了するまで繰り返す。４つの対象チャネルについて、想定劣化画像画素値および擬似観測画像画素値の算出が終了した場合には、ループＬ９１３は終了して、ステップＳ９６０に移行する。

続いて、更新信号算出部１３０が、想定劣化画像画素値および擬似観測画像画素値に基づいて、更新信号を算出する更新信号算出処理を行う（ステップＳ９６０）。この更新信号算出処理については、図２０を参照して詳細に説明する。

続いて、復元画像作成部１４０が、復元画像信号および更新信号に基づいて、復元画像を更新して新たな復元画像を作成する復元画像作成処理を行う（ステップＳ９７０）。この復元画像作成処理については、図２１を参照して詳細に説明する。なお、ステップＳ９７０は、特許請求の範囲に記載の復元画像作成手順の一例である。

ループＬ９１２では、各注目画素について、復元画像作成処理が終了するまで繰り返す。そして、各注目画素について、復元画像作成処理が終了した場合には、ループＬ９１２は終了して、ステップＳ９１４に移行する。

続いて、復元処理部１００が、新たな復元画像をホワイトバランス処理部２１０に出力する（ステップＳ９１４）。なお、この例では、画素単位で一連の復元処理を行う例を示したが、フレーム単位で各復元処理を行うようにしてもよい。

図１７は、本発明の実施の形態における想定劣化画像画素値算出部１１０による想定劣化画像画素値算出処理（図１６のステップＳ９３０）の処理手順を示すフローチャートである。

最初に、積和部１１２が、復元画像作成部１４０から出力された復元画像における注目画素およびその近傍の各画素の画素値を入力する（ステップＳ９３１）。

続いて、積和部１１２が、復元画像における注目画素およびその近傍の各画素のうち、対象チャネルと同じチャネルの画素値を、対象チャネルのボケ行列を用いて積和して、その注目画素位置における想定劣化画像画素値を計算する（ステップＳ９３２）。

続いて、リサンプリング部１１３が、想定劣化画像画素値を注目画素位置にリサンプリングし（ステップＳ９３３）、リサンプリングされた想定劣化画像画素値を更新信号算出部１３０に出力する（ステップＳ９３４）。

図１８は、本発明の実施の形態における擬似観測画像画素値算出部１２０による擬似観測画像画素値算出処理（図１６のステップＳ９４０）の処理手順を示すフローチャートである。

最初に、チャネル判定部１２１が、画像処理回路２３内部の画像メモリから読み出された観測画像における注目画素およびその近傍の画素の各画素値を入力する（ステップＳ９４１）。

続いて、チャネル判定部１２１が、観測画像における注目画素のチャネルと対象チャネルとが同一であるか否かを判定する（ステップＳ９４２）。そして、観測画像における注目画素のチャネルと対象チャネルとが同一であると判定された場合には（ステップＳ９４２）、観測画像における注目画素の画素値を擬似観測画像画素値として更新信号算出部１３０に出力する（ステップＳ９４３）。一方、観測画像における注目画素のチャネルと対象チャネルとが同一でないと判定された場合には（ステップＳ９４２）、観測画像画素変換部１２２が、その注目画素の画素値を擬似観測画像画素値に変換する観測画像画素変換処理を行う（ステップＳ９５０）。この観測画像画素変換処理については、図１９を参照して詳細に説明する。続いて、求められた擬似観測画像画素値が更新信号算出部１３０に出力される（ステップＳ９４４）。

図１９は、本発明の実施の形態における観測画像画素変換部１２２による観測画像画素変換処理（図１８のステップＳ９５０）の処理手順を示すフローチャートである。

最初に、観測画像画素変換部１２２が、チャネル判定部１２１から出力された観測画像における注目画素およびその近傍の各画素の画素値を入力する（ステップＳ９５１）。

続いて、空間的低周波成分計算部１２３および１２７が、計算範囲に含まれる対象チャネルの各画素値に低域通過フィルタ（ＬＰＦ）をかけ、注目画素位置における対象チャネルの空間的低周波成分を計算する（ステップＳ９５２）。

続いて、空間的低周波成分計算部１２６が、計算範囲に含まれる参照チャネルの各画素値に低域通過フィルタをかけ、注目画素位置における参照チャネルの空間的低周波成分を計算する（ステップＳ９５３）。

続いて、除算器１２８が、注目画素位置における対象チャネルの空間的低周波成分を、注目画素位置における参照チャネルの空間的低周波成分で除算して、参照チャネルの空間的高周波成分のスケーリング係数を計算する（ステップＳ９５４）。

続いて、空間的高周波成分計算部１２４が、注目画素位置における参照チャネルの空間的低周波成分と、注目画素の参照チャネルの画素値との差分値を計算し、注目画素位置における参照チャネルの空間的高周波成分を計算する（ステップＳ９５５）。

続いて、擬似観測画像画素値計算部１２９が、注目画素位置における擬似観測画像画素値を計算する（ステップＳ９５６）。すなわち、注目画素位置における対象チャネルの空間的低周波成分と、参照チャネルの空間的高周波成分と、参照チャネルの空間的高周波成分のスケーリング係数とを用いて、その位置における擬似観測画像画素値が計算される。

続いて、擬似観測画像画素値計算部１２９が、求められた擬似観測画像画素値を更新信号算出部１３０に出力する（ステップＳ９５７）。

図２０は、本発明の実施の形態における更新信号算出部１３０による更新信号算出処理（図１６のステップＳ９６０）の処理手順を示すフローチャートである。

最初に、減算器１３１が、注目画素位置について算出された想定劣化画像画素値および擬似観測画像画素値を入力する（ステップＳ９６１）。続いて、減算器１３１が、擬似観測画像画素値から想定劣化画像画素値を対象チャネル毎に減算して対象チャネル毎の差分値を計算する（ステップＳ９６２）。すなわち、１つの注目画素位置について４つの対象チャネル毎に算出された想定劣化画像画素値および擬似観測画像画素値について、対象チャネル毎の差分値が計算される。

続いて、リサンプリング部１３２が、対象チャネル毎に求められた差分値を、注目画素位置から復元画像の各画素位置にリサンプリングする（ステップＳ９６３）。続いて、リサンプリング部１３２が、復元画像の各画素位置にリサンプリングされた差分値を更新信号として復元画像作成部１４０に出力する（ステップＳ９６４）。

図２１は、本発明の実施の形態における復元画像作成部１４０による復元画像作成処理（図１６のステップＳ９７０）の処理手順を示すフローチャートである。

最初に、行列演算部１４１が、リサンプリング部１３２から出力された更新信号を入力し（ステップＳ９７１）、更新信号に所定の行列をかける演算を行う（ステップＳ９７２）。

続いて、加算器１４２が、行列演算部１４１から出力された演算結果の値と、直前に作成された復元画像の復元画像信号とを加算する（ステップＳ９７３）。続いて、加算器１４２が、加算結果である加算値を復元画像信号としてホワイトバランス処理部２１０に出力する（ステップＳ９７４）。

以上では、チャネル間の画素値変化に相関があることに着目し、このチャネル間の画素値変化の相関に基づいて、注目画素位置における対象チャネルの画素値を推定する例について説明した。以下では、チャネル間の画素値変化に相関があることに着目し、このチャネル間の相関を直線近似した後に、注目画素位置における参照チャネルの画素値から対象チャネルの画素値を推定する例について説明する。

図２２は、注目画素およびその近傍の各画素に関する参照チャネルと、対象チャネルとの画素値分布を表す画素値分布グラフの一例を示す図である。図２２に示す画素値分布グラフでは、横軸が対象チャネルの画素値を示し、縦軸が参照チャネルの画素値を示す。また、注目画素およびその近傍の画素の各画素について、対象チャネルと参照チャネルとの隣接する２つの画素の画素値の対応位置を黒丸で示す。なお、図２２については、図２３を参照して詳細に説明する。

図２３は、本発明の実施の形態における擬似観測画像画素値算出部４００の機能構成例を示すブロック図である。擬似観測画像画素値算出部４００は、擬似観測画像画素値算出部１２０の代わりに、図５に示す復元処理部１００に備えられるものであり、擬似観測画像画素値算出部１２０の変形例である。なお、復元処理部１００における他の構成の変更はないため、ここでは、擬似観測画像画素値算出部４００についてのみ説明し、復元処理部１００の他の構成の説明を省略する。また、擬似観測画像画素値算出部４００は、特許請求の範囲に記載の擬似対象画像画素値算出部の一例である。

擬似観測画像画素値算出部４００は、チャネル判定部４０１と、観測画像画素変換部４０２を備える。なお、チャネル判定部４０１は、図１０に示すチャネル判定部１２１とほぼ同様であるため、チャネル判定部１２１と異なる点を中心にして説明し、共通する点についての説明を省略する。

チャネル判定部４０１は、注目画素のチャネルと対象チャネルとが同一であるか否かを判定するものである。そして、その注目画素のチャネルと対象チャネルとが同一であると判定した場合には、その注目画素の画素値を擬似観測画像画素値として更新信号算出部１３０に出力する。一方、チャネル判定部４０１は、その注目画素のチャネルと対象チャネルとが同一でないと判定した場合には、その注目画素およびその近傍の各画素のうち、対象チャネルの画素値を画素分布線形近似部４０３に出力する。また、その注目画素およびその近傍の各画素のうち、注目画素のチャネル（参照チャネル）の画素値を画素分布線形近似部４０３および画素値推定部４０４に出力する。

観測画像画素変換部４０２は、画素分布線形近似部４０３と、画素値推定部４０４とを備える。

画素分布線形近似部４０３は、注目画素およびその近傍の画素の各画素値について、対象チャネルと、参照チャネルとの画素値分布を作成し、この画素値分布に基づいて線形近似直線の式を計算するものである。具体的には、注目画素およびその近傍の画素の各画素について、対象チャネルと参照チャネルとの隣接する２つの画素を順次プロットし、図２２に示すように、この２つの画素の画素値の対応位置を示す画素値分布を順次作成する。そして、作成された画素値分布に基づいて、近似直線を計算する。例えば、図２２に示すように、画素値が分布している場合には、近似直線４１０が計算により求められる。

画素値推定部４０４は、画素分布線形近似部４０３により計算して求められた近似直線の式に、観測画像における注目画素の画素値（参照チャネルの画素値）を代入し、対応する対象チャネルの画素値を計算するものである。そして、近似直線の式により求められた対象チャネルの画素値を、注目画素位置の擬似観測画像画素値として更新信号算出部１３０に出力する。例えば、注目画素の画素値が、図２２に示すＩ'（ｐ）である場合には、対象チャネルの画素値として、Ｉ'（ｐ）の値が計算して求められる。

図２４および図２５は、本発明の実施の形態における擬似観測画像画素値算出部４００に入力される観測画像を模式的に示す図である。なお、図２４および図２５に示す画素の配列は、図１１および図１２に示す観測画像と同様である。また、図１１および図１２に示す観測画像と同様に、注目画素を太丸で示し、対象チャネルの画素を斜線を付した丸で示す。図２４には、注目画素４２１と、注目画素４２１の近傍の各画素とにより構成される観測画像４２０を示す。また、図２４では、注目画素４２１のチャネル（参照チャネル）をＲチャネルとし、対象チャネルをＧｒとした場合を例にして示す。

図２４に示す例では、注目画素４２１のチャネルＲと、対象チャネルＧｒとが同一でない。このため、注目画素４２１の近傍の各画素のうち、対象チャネルＧｒの画素値が画素分布線形近似部４０３に出力される。また、注目画素４２１およびその近傍の各画素のうち、参照チャネルＲの画素値が画素分布線形近似部４０３および画素値推定部４０４に出力される。

続いて、画素分布線形近似部４０３が、画素値分布近似直線計算範囲４２２（実線の矩形で示す範囲）に含まれる対象チャネルＧｒの画素と、参照チャネルＲの画素との組をプロットする。例えば、図２４に示すように、互いに隣接する対象チャネルＧｒと参照チャネルＲとの２画素の組をプロットする。なお、図２４では、このプロットされた２画素を矩形の破線で囲んで示す。なお、計算範囲４２２に含まれる対象チャネルＧｒの画素と、参照チャネルＲの画素との何れかを、もう一方の画素位置に補間し、この画素位置において画素値の組を作成するようにしてもよい。続いて、画素分布線形近似部４０３が、プロットされた各２画素について、対象チャネルと、参照チャネルとの画素値分布を作成し、この画素値分布に基づいて線形近似直線の式を計算するものである。

続いて、画素値推定部４０４が、画素分布線形近似部４０３により計算して求められた近似直線の式に、注目画素４２１の画素値（参照チャネルＲの画素値）を代入し、対象チャネルＧｒの画素値を計算する。そして、注目画素４２１の位置における擬似観測画像画素値を更新信号算出部１３０に出力する。

図２５には、注目画素４３１と、注目画素４３１の近傍の各画素とにより構成される観測画像４３０を示す。また、図２５では、注目画素４３１のチャネル（参照チャネル）をＧｂチャネルとし、対象チャネルをＧｒとした場合を例にして示す。なお、この例は、図２４の変形例であり、プロットされる２画素の組が異なる。そこで、以下では、図２４と共通する部分についての説明を省略し、図２４と異なる部分を中心にして説明する。

図２５に示す例では、注目画素４３１のチャネルＧｂと、対象チャネルＧｒとが同一でない。このため、注目画素４３１の近傍の各画素のうち、対象チャネルＧｒの画素値が画素分布線形近似部４０３に出力される。また、注目画素４３１およびその近傍の各画素のうち、参照チャネルＧｂの画素値が画素分布線形近似部４０３および画素値推定部４０４に出力される。

続いて、画素分布線形近似部４０３が、画素値分布近似直線計算範囲４３２（実線の矩形で示す範囲）に含まれる対象チャネルＧｒの画素と、参照チャネルＧｂの画素との組をプロットする。例えば、図２５に示すように、互いに隣接する対象チャネルＧｒと参照チャネルＧｂとの２画素の組をプロットする。なお、図２５では、このプロットされた２画素を矩形の破線で囲んで示す。なお、計算範囲４３２に含まれる対象チャネルＧｒの画素と、参照チャネルＧｂの画素との何れかを、もう一方の画素位置に補間し、この画素位置において画素値の組を作成するようにしてもよい。続いて、画素分布線形近似部４０３が、プロットされた各２画素について、対象チャネルと、参照チャネルとの画素値分布を作成し、この画素値分布に基づいて線形近似直線の式を計算する。そして、図２４と同様に、画素値推定部４０４が、画素分布線形近似部４０３により計算して求められた近似直線の式に、注目画素４３１の画素値（参照チャネルＧｂの画素値）を代入し、対象チャネルＧｒの画素値を計算する。そして、注目画素４３１の位置における擬似観測画像画素値を更新信号算出部１３０に出力する。

図２６は、本発明の実施の形態における観測画像画素変換部４０２による観測画像画素変換処理の処理手順を示すフローチャートである。この観測画像画素変換処理は、図１８に示すステップＳ９５０の代わりに行われる処理であり、図１８に示す他の処理についての説明は省略する。

最初に、観測画像画素変換部４０２が、チャネル判定部４０１から出力された観測画像における注目画素およびその近傍の各画素の画素値を入力する（ステップＳ９８１）。

続いて、画素分布線形近似部４０３が、計算範囲に含まれる対象チャネルの画素と、参照チャネルの画素との組をプロットし、これらの画素の組に基づいて画素値分布を作成し、この画素値分布に基づいて線形近似直線の式を計算する（ステップＳ９８２）。

続いて、画素値推定部４０４が、求められた線形近似直線の式に、注目画素の画素値を代入し、注目画素位置における対象チャネルの画素値を計算する（ステップＳ９８３）。続いて、画素値推定部４０４が、求められた注目画素位置における対象チャネルの画素値を擬似観測画像画素値として更新信号算出部１３０に出力する（ステップＳ９８４）。

図２３乃至図２６では、チャネル間の画素値変化に相関があることに着目し、このチャネル間の相関を直線近似した後に、注目画素位置における参照チャネルの画素値から対象チャネルの画素値を推定する例について説明した。以下では、クロスバイラテラルフィルタを用いて、注目画素位置における対象チャネルの画素値を推定する例について説明する。

図２７は、画素値軸重み関数ＬＵＴ（Look up Table）および空間軸重み関数ＬＵＴの例を示す図である。図２７（ａ）には、画素値軸重み関数ＬＵＴの一例を示し、図２７（ｂ）には、空間軸重み関数ＬＵＴの一例を示す。

画素値軸重み関数ＬＵＴは、観測画像における異なる２つの画素の画素値の差分値と、この差分値に対する重みφとの関係を示すＬＵＴである。空間軸重み関数ＬＵＴは、観測画像における２つの画素の画素間の距離と、この距離に対する重みωとの関係を示すＬＵＴである。ここで、重みφ、ωを求める関数は、引数が小さな場合には大きな値を返す単調減少の特性を有する関数を用いることが好ましい。なお、図２７に示す各関数については、図２８を参照して詳細に説明する。

図２８は、本発明の実施の形態における擬似観測画像画素値算出部５００の機能構成例を示すブロック図である。擬似観測画像画素値算出部５００は、擬似観測画像画素値算出部１２０の代わりに、図５に示す復元処理部１００に備えられるものであり、擬似観測画像画素値算出部１２０の変形例である。なお、復元処理部１００における他の構成の変更はないため、ここでは、擬似観測画像画素値算出部５００についてのみ説明し、復元処理部１００の他の構成の説明を省略する。また、擬似観測画像画素値算出部５００は、特許請求の範囲に記載の擬似対象画像画素値算出部の一例である。

擬似観測画像画素値算出部５００は、チャネル判定部５０１と、観測画像画素変換部５０２を備える。なお、チャネル判定部５０１は、図１０に示すチャネル判定部１２１とほぼ同様であるため、チャネル判定部１２１と異なる点を中心にして説明し、共通する点についての説明を省略する。

チャネル判定部５０１は、注目画素のチャネルと対象チャネルとが同一であるか否かを判定するものである。そして、その注目画素のチャネルと対象チャネルとが同一であると判定した場合には、その注目画素の画素値を擬似観測画像画素値として更新信号算出部１３０に出力する。一方、チャネル判定部５０１は、その注目画素のチャネルと対象チャネルとが同一でないと判定した場合には、その注目画素およびその近傍の各画素のうち、対象チャネルの画素値を補間部５０８に出力する。また、注目画素の位置と、近傍の参照チャネルの画素の位置とを減算器５０５に出力する。さらに、注目画素の画素位置と、近傍の参照チャネルの画素の画素値とを減算器５０６に出力する。

観測画像画素変換部５０２は、画素値軸重み関数ＬＵＴ保持部５０３と、空間軸重み関数ＬＵＴ保持部５０４と、減算器５０５および５０６と、積和部５０７および５０９と、補間部５０８と、除算器５１０とを備える。

画素値軸重み関数ＬＵＴ保持部５０３は、積和部５０７および５０９による積和処理に用いられる画素値軸重み関数ＬＵＴを保持するものであり、保持されている画素値軸重み関数ＬＵＴを積和部５０７および５０９に供給する。例えば、図２７（ａ）に示す画素値軸重み関数ＬＵＴが保持される。

空間軸重み関数ＬＵＴ保持部５０４は、積和部５０７および５０９による積和処理に用いられる空間軸重み関数ＬＵＴを保持するものであり、保持されている空間軸重み関数ＬＵＴを積和部５０７および５０９に供給する。例えば、図２７（ｂ）に示す空間軸重み関数ＬＵＴが保持される。

減算器５０５は、注目画素の位置と、近傍の参照チャネルの画素の位置との減算処理を行い、注目画素の位置と近傍の参照チャネルの画素の位置との距離を計算するものであり、この距離を積和部５０７および５０９に出力する。

減算器５０６は、注目画素の画素値と、近傍の参照チャネルの画素値との減算処理を行い、注目画素の画素値とその近傍の参照チャネルの画素の画素値との差分値を計算するものであり、この差分値を積和部５０７および５０９に出力する。

積和部５０７は、減算器５０６から出力された差分値と、減算器５０５から出力された距離とについて積和処理を行うものであり、積和結果である積和値を除算器５１０に出力する。具体的には、注目画素の近傍の参照チャネルの各画素について、積和部５０７は、画素値軸重み関数ＬＵＴ保持部５０３に保持されている画素値軸重み関数ＬＵＴを用いて、減算器５０６から出力された差分値に対応する重みφを求める。また、空間軸重み関数ＬＵＴ保持部５０４に保持されている空間軸重み関数ＬＵＴを用いて、減算器５０５から出力された距離に対応する重みωを求める。そして、注目画素の近傍の参照チャネルの各画素に対応する重みφおよび重みωを積和する。なお、積和部５０７は、特許請求の範囲に記載の第二積和部の一例である。

補間部５０８は、注目画素の近傍の参照チャネルの各画素の位置で、対象チャネルの２つの画素の画素値を補間処理するものであり、補間処理の結果である補間値を除算器５１０に出力する。この補間処理は、注目画素の近傍の参照チャネルの各画素に隣接する対象チャネルの２つの画素の画素値を加算して平均値を計算する処理である。

積和部５０９は、減算器５０６から出力された差分値と、減算器５０５から出力された距離と、補間部５０８から出力された補間値とについて積和処理を行うものであり、積和結果である積和値を除算器５１０に出力する。具体的には、積和部５０７と同様に、注目画素の近傍の参照チャネルの各画素に対応する重みφおよび重みωを求める。そして、そして、注目画素の近傍の参照チャネルの各画素に対応する重みφおよび重みωと、補間部５０８から出力された補間値との積和を計算する。なお、積和部５０９は、特許請求の範囲に記載の第一積和部の一例である。

除算器５１０は、積和部５０９から出力された積和値を積和部５０７から出力された積和値で除算するものであり、除算結果である除算値を擬似観測画像画素値として更新信号算出部１３０に出力する。なお、除算器５１０は、特許請求の範囲に記載の擬似対象画像画素値計算部の一例である。

以上で示したように、観測画像画素変換部５０２は、式１１に示すクロスバイラテラルフィルタを用いて、注目画素の近傍の参照チャネルの画素値Ｉ'（ｐ）から、注目画素の対象チャネルの画素値Ｉ_{ｐｓｅｕｄｏ}（ｐ_ｃ）を推定するものである。なお、式１１では、注目画素の近傍の計算範囲を計算範囲Ωとし、計算範囲Ωに含まれる参照チャネルの各画素の位置を位置ｐとし、注目画素の位置を位置ｐ_ｃとする。また、注目画素と計算範囲Ωに含まれる参照チャネルの各画素との画素値の差分を引数とする重み関数をφとし、計算範囲Ωに含まれる参照チャネルの各画素の位置ｐと注目画素位置ｐ_ｃとの距離を引数とする重み関数をωとする。

図２９および図３０は、本発明の実施の形態における擬似観測画像画素値算出部５００に入力される観測画像を模式的に示す図である。なお、図２９および図３０に示す画素の配列は、図１１および図１２に示す観測画像と同様である。また、図１１および図１２に示す観測画像と同様に、注目画素を太丸で示し、対象チャネルの画素を斜線を付した丸で示す。図２９には、注目画素５２１（二重丸で示す）と、注目画素５２１の近傍の各画素とにより構成される観測画像５２０を示す。また、図２９では、注目画素５２１のチャネル（参照チャネル）をＲチャネルとし、対象チャネルをＧｒとした場合を例にして示す。

図２９に示す例では、注目画素５２１のチャネルＲと、対象チャネルＧｒとが同一でない。このため、注目画素５２１の近傍の各画素のうち、対象チャネルＧｒの画素値が補間部５０８に出力される。また、注目画素５２１の位置と、近傍の参照チャネルＲの画素の位置とが減算器５０５に出力される。さらに、注目画素５２１の画素位置と、近傍の参照チャネルＧｒの画素の画素値とが減算器５０６に出力される。

続いて、減算器５０５が、注目画素５２１の画素値と、計算範囲５３０（実線の矩形で示す範囲）に含まれる参照チャネルＲの画素のうちの１つの画素５２３の画素値との差分値を計算する。続いて、積和部５０７および５０９が、画素値軸重み関数ＬＵＴ保持部５０３に保持されている画素値軸重み関数ＬＵＴを用いて、注目画素５２１の画素値と画素５２３の画素値との差分値に対応する重みφを求める。

続いて、減算器５０６が、注目画素５２１の位置と、計算範囲５３０に含まれる参照チャネルＲの画素のうちの１つの画素５２３の位置との距離を計算する。続いて、積和部５０７および５０９が、空間軸重み関数ＬＵＴ保持部５０４に保持されている空間軸重み関数ＬＵＴを用いて、注目画素５２１の位置と画素５２３の位置との距離に対応する重みωを求める。

続いて、補間部５０８が、計算対象となった画素５２３の位置で、対象チャネルＧｒの２つの画素５２２および５２５の画素値を補間処理する。この補間処理は、計算対象となった画素５２３に隣接する対象チャネルＧｒの２つの画素５２２および５２５を用いて、画素５２２および５２５の画素値を加算して平均値を計算する処理である。

続いて、積和部５０９が、注目画素５２１および画素５２３の画素の差分値に対応する重みφと、注目画素５２１および画素５２３間の距離に対応する重みωと、補間処理により求められた補間値との積和を計算する。続いて、積和部５０７が、注目画素５２１および画素５２３の画素の差分値に対応する重みφと、注目画素５２１および画素５２３間の距離に対応する重みωとの積和を計算する。以上で示したように、積和部５０７および５０９の積和処理が、計算範囲５３０に含まれる参照チャネルＲの各画素について順次行われる。この順序として、例えば、図２９に示す矢印５２４のように、画素５２３、５２６、５２８、５３０、５３２…の順序（ラスタ順）で行うことができる。

続いて、除算器５１０が、積和部５０９から出力された積和値を積和部５０７から出力された積和値で除算する。そして、除算結果である除算値が、注目画素５２１の位置における擬似観測画像画素値として更新信号算出部１３０に出力される。

図３０には、注目画素５５１（二重丸で示す）と、注目画素５５１の近傍の各画素とにより構成される観測画像５５０を示す。また、図３０では、注目画素５５１のチャネル（参照チャネル）をＧｂチャネルとし、対象チャネルをＧｒとした場合を例にして示す。なお、この例は、図２９の変形例であり、参照チャネルが異なる。そこで、以下では、図２９と共通する部分についての説明を省略し、図２９と異なる部分を中心にして説明する。

図３０に示す例では、注目画素５５１のチャネルＧｂと、対象チャネルＧｒとが同一でない。このため、注目画素５５１の近傍の各画素のうち、対象チャネルＧｒの画素値が補間部５０８に出力される。また、注目画素５５１の位置と、近傍の参照チャネルＧｂの画素の位置とが減算器５０５に出力される。さらに、注目画素５５１の画素位置と、近傍の参照チャネルＧｒの画素の画素値とが減算器５０６に出力される。

そして、図２９と同様に、積和部５０７および５０９の積和処理が、計算範囲５７０に含まれる参照チャネルＧｂの各画素について順次行われる。この順序として、例えば、図３０に示す矢印５５４のように、画素５５３、５５６、５５８、５６０、５６２…の順序（ラスタ順）で行うことができる。そして、除算器５１０は、積和部５０９から出力された積和値を積和部５０７から出力された積和値で除算する。そして、除算結果である除算値が、注目画素５５１の位置における擬似観測画像画素値として更新信号算出部１３０に出力される。

図３１は、本発明の実施の形態における観測画像画素変換部５０２による観測画像画素変換処理の処理手順を示すフローチャートである。この観測画像画素変換処理は、図１８に示すステップＳ９５０の代わりに行われる処理であり、図１８に示す他の処理についての説明は省略する。

最初に、観測画像画素変換部５０２が、チャネル判定部５０１から出力された観測画像における注目画素およびその近傍の各画素の画素値を入力する（ステップＳ１００１）。

続いて、ループＬ１００２では、注目画素の近傍の参照チャネルの各画素について、ステップＳ１００３乃至Ｓ１００９の各処理を行う。

最初に、減算器５０５が、注目画素の画素値と、注目画素の近傍の参照チャネルの画素値との差分値を計算する（ステップＳ１００３）。続いて、積和部５０７および５０９が、画素値軸重み関数ＬＵＴ保持部５０３に保持されている画素値軸重み関数ＬＵＴを用いて、注目画素およびその近傍の参照チャネルの画素の画素差分値に対応する重みφを求める（ステップＳ１００４）。

続いて、減算器５０６が、注目画素の位置と、注目画素の近傍の参照チャネルの画素の位置との距離を計算する（ステップＳ１００５）。続いて、積和部５０７および５０９が、空間軸重み関数ＬＵＴ保持部５０４に保持されている空間軸重み関数ＬＵＴを用いて、注目画素およびその近傍の参照チャネルの画素の距離に対応する重みωを求める（ステップＳ１００６）。続いて、補間部５０８が、計算対象となった参照チャネルの画素の位置で、対象チャネルの２つの画素の画素値を補間処理する（ステップＳ１００７）。

続いて、積和部５０９が、画素差分値に対応する重みφと、画素間の距離に対応する重みωと、補間処理により求められた補間値との積和を計算する（ステップＳ１００８）。続いて、積和部５０７が、画素差分値に対応する重みφと、画素間の距離に対応する重みωとの積和を計算する（ステップＳ１００９）。

ループＬ１００２では、注目画素の近傍の参照チャネルの各画素について、積和部５０７および５０９の積和処理が終了するまで繰り返す。注目画素の近傍の参照チャネルの各画素について、積和部５０７および５０９の積和処理が終了した場合には、ループＬ１００２は終了して、ステップＳ１０１０に移行する。

続いて、除算器５１０が、積和部５０９から出力された積和値を積和部５０７から出力された積和値で除算する（ステップＳ１０１０）。続いて、除算器５１０が、求められた注目画素位置における除算値を擬似観測画像画素値として更新信号算出部１３０に出力する（ステップＳ１０１１）。

ここで、図８に示す例では、光学系劣化の再現であるボケ行列の積和と、撮像素子１３による劣化の再現であるリサンプリングとをカスケードに行う例について説明した。以下では、リサンプリングされる位置に対応するボケ行列を積和することにより、積和とリサンプリングとを同時に行う例について説明する。

図３２は、本発明の実施の形態における想定劣化画像画素値算出部６００の機能構成例を示すブロック図である。想定劣化画像画素値算出部６００は、チャネル別空間位相別ボケ行列保持部６０１と、積和・リサンプリング部６０２とを備える。なお、想定劣化画像画素値算出部６００は、図８に示す想定劣化画像画素値算出部１１０の変形例である。

チャネル別空間位相別ボケ行列保持部６０１は、観測画像における注目画素位置であるリサンプリング位置の位相に対応する空間位相別ボケ行列を保持するものであり、保持されている空間位相別ボケ行列を積和・リサンプリング部６０２に供給する。

積和・リサンプリング部６０２は、復元画像における注目画素と、その近傍に存在する画素とのうち、同じチャネルの画素値と、リサンプリング位置の位相に対応してチャネル別空間位相別ボケ行列保持部６０１に保持されている空間位相別ボケ行列とを積和する。この積和により、その注目画素位置にリサンプリングされた想定劣化画像画素値を計算する。そして、リサンプリングされた想定劣化画像画素値を更新信号算出部１３０に出力する。

図３３は、本発明の実施の形態における想定劣化画像画素値算出部６００による想定劣化画像画素値算出処理の処理手順を示すフローチャートである。この想定劣化画像画素値算出処理は、図１６に示すステップＳ９３０の代わりに行われる処理であり、図１６に示す他の処理についての説明は省略する。

最初に、積和・リサンプリング部６０２が、復元画像作成部１４０から出力された復元画像における注目画素およびその近傍の各画素の画素値を入力する（ステップＳ１０２１）。

続いて、積和・リサンプリング部６０２が、復元画像における注目画素と、その近傍に存在する画素とのうち、対象チャネルと同じチャネルの画素値と、リサンプリング位置の位相に対応する空間位相別ボケ行列とを積和する（ステップＳ１０２２）。続いて、積和・リサンプリング部６０２が、リサンプリングされた想定劣化画像画素値を更新信号算出部１３０に出力する（ステップＳ１０２３）。

次に、図１３に示す更新信号算出部１３０の変形例について図面を参照して詳細に説明する。

図３４は、本発明の実施の形態における更新信号算出部６１０の機能構成例を示すブロック図である。更新信号算出部６１０は、減算器６１１と、リサンプリング部６１２と、バンドパスフィルタリング部６１３と、スケーリング部６１４とを備える。なお、減算器６１１およびリサンプリング部６１２については、図１３に示す減算器１３１およびリサンプリング部１３２と同様であるため、ここでの説明を省略する。

バンドパスフィルタリング部６１３は、リサンプリングされた差分値信号についてバンドパスフィルタ処理を行い、更新信号の周波数特性を調整するものであり、この周波数特性が調整された信号をスケーリング部６１４に出力する。

スケーリング部６１４は、周波数特性が調整された信号について任意の定数を積算するスケーリング処理を行うものであり、スケーリング処理された信号を更新信号として復元画像作成部１４０に出力する。

ここで、更新信号算出部６１０および更新信号算出部１３０を比較した場合に、更新信号算出部６１０は、擬似観測画像画素値と想定劣化画像画素値との差分値について、バンドパスフィルタ処理およびスケーリング処理を追加して行う点が異なる。例えば、バンドパスフィルタを用いることにより、更新信号の周波数特性を調整することができる。例えば、撮像素子１３のノイズの空間周波数帯域に特徴があれば、その周波数帯域のゲインを落とすことによりノイズの強調を抑えることができる。また、低周波成分を抑えることにより、輪郭部のオーバーシュートやアンダーシュート等の劣化を削減することができる。また、スケーリング処理を行うことにより、復元信号の強度を調節することができる。例えば、大きな値を設定すれば、復元効果を高めることができるが、大きくしすぎた場合には、各処理で生じた何らかの劣化を強調することがあるため、強度は主観画質で調整する必要がある。

なお、この例では、リサンプリング処理、バンドパスフィルタ処理、スケーリング処理の順番で行う例を示すが、この順番を変更して行うようにしてもよい。例えば、解像度変換を伴う場合に、リサンプリング処理の前にバンドパスフィルタ処理を行うと、処理量は少なくなるが、復元処理により劣化が生じた場合には、劣化の空間的伝播が大きくなる場合が想定される。このため、処理内容に応じて、リサンプリング処理、バンドパスフィルタ処理、スケーリング処理の順番を適切に設定することが重要である。また、更新信号算出部６１０において、バンドパスフィルタ処理およびスケーリング処理のうち、何れか一方を適用するようにしてもよい。

図３５は、本発明の実施の形態における更新信号算出部６１０による更新信号算出処理の処理手順を示すフローチャートである。この更新信号算出処理は、図１６に示すステップＳ９６０の代わりに行われる処理であり、図１６に示す他の処理についての説明は省略する。また、ステップＳ１０３１乃至Ｓ１０３３については、図２０に示すステップＳ９６１乃至Ｓ９６３と同様であるため、ここでの説明を省略する。

バンドパスフィルタリング部６１３が、リサンプリング部６１２により復元画像の各画素位置にリサンプリングされた差分値信号についてバンドパスフィルタ処理を行い、更新信号の周波数特性を調整する（ステップＳ１０３４）。

続いて、スケーリング部６１４が、周波数特性が調整された信号について任意の定数を積算するスケーリング処理を行う（ステップＳ１０３５）。続いて、スケーリング部６１４が、スケーリング処理された信号を更新信号として復元画像作成部１４０に出力する（ステップＳ１０３６）。

図３６は、本発明の実施の形態における更新信号算出部６２０の機能構成例を示すブロック図である。更新信号算出部６２０は、除算器６２１と、リサンプリング部６２２とを備える。なお、リサンプリング部６２２については、図１３に示すリサンプリング部１３２と同様であるため、ここでの説明を省略する。また、更新信号算出部６２０は、例えば、図４０に示す復元画像作成部６４０と組み合わせて用いられる。

除算器６２１は、擬似観測画像画素値算出部１２０から出力された擬似観測画像画素値を、想定劣化画像画素値算出部１１０から出力された想定劣化画像画素値で除算するものであり、除算結果である除算値をリサンプリング部６２２に出力する。

図３７は、本発明の実施の形態における更新信号算出部６２０による更新信号算出処理の処理手順を示すフローチャートである。この更新信号算出処理は、図１６に示すステップＳ９６０の代わりに行われる処理であり、図１６に示す他の処理についての説明は省略する。

最初に、除算器６２１が、注目画素位置について算出された想定劣化画像画素値および擬似観測画像画素値を入力する（ステップＳ１０４１）。続いて、除算器６２１が、擬似観測画像画素値を想定劣化画像画素値で対象チャネル毎に除算して対象チャネル毎の除算値を計算する（ステップＳ１０４２）。すなわち、１つの注目画素位置について４つの対象チャネル毎に算出された想定劣化画像画素値および擬似観測画像画素値について、対象チャネル毎の除算値が計算される。

続いて、リサンプリング部１３２が、対象チャネル毎に求められた除算値を、注目画素位置から復元画像の各画素位置にリサンプリングする（ステップＳ１０４３）。続いて、リサンプリング部１３２が、復元画像の各画素位置にリサンプリングされた除算値を更新信号として復元画像作成部１４０に出力する（ステップＳ１０４４）。

図３８は、本発明の実施の形態における更新信号算出部６３０の機能構成例を示すブロック図である。更新信号算出部６３０は、除算器６３１と、リサンプリング部６３２と、バンドパスフィルタリング部６３３と、スケーリング部６３４とを備える。なお、除算器６３１は、図３６に示す除算器６２１と同様であるため、ここでの説明を省略する。また、リサンプリング部６３２、バンドパスフィルタリング部６３３およびスケーリング部６３４については、図３４に示すリサンプリング部６１２、バンドパスフィルタリング部６１３およびスケーリング部６１４と同様であるため、ここでの説明を省略する。また、この例では、図３４に示す例と同様に、リサンプリング処理、バンドパスフィルタ処理、スケーリング処理の順番で行う例を示すが、この順番を変更して行うようにしてもよい。また、更新信号算出部６３０において、バンドパスフィルタ処理およびスケーリング処理のうち、何れか一方を適用するようにしてもよい。なお、更新信号算出部６３０は、例えば、図４０に示す復元画像作成部６４０と組み合わせて用いられる。

図３９は、本発明の実施の形態における更新信号算出部６３０による更新信号算出処理の処理手順を示すフローチャートである。この更新信号算出処理は、図１６に示すステップＳ９６０の代わりに行われる処理であり、図１６に示す他の処理についての説明は省略する。また、ステップＳ１０５１乃至Ｓ１０５３については、図３７に示すステップＳ１０４１乃至Ｓ１０４３と同様であるため、ここでの説明を省略する。

バンドパスフィルタリング部６３３が、リサンプリング部６３２により復元画像の各画素位置にリサンプリングされた除算値信号についてバンドパスフィルタ処理を行い、更新信号の周波数特性を調整する（ステップＳ１０５４）。

続いて、スケーリング部６３４が、周波数特性が調整された信号について任意の定数を積算するスケーリング処理を行う（ステップＳ１０５５）。続いて、スケーリング部６３４が、スケーリング処理された信号を更新信号として復元画像作成部１４０に出力する（ステップＳ１０５６）。

次に、図１４に示す復元画像作成部１４０の変形例について図面を参照して詳細に説明する。

図４０は、本発明の実施の形態における復元画像作成部６４０の機能構成例を示すブロック図である。復元画像作成部６４０は、行列演算部６４１と、積算器６４２とを備える。なお、復元画像作成部６４０は、例えば、式４および式６に示すＬｕｃｙ Ｒｉｃｈａｒｄｓｏｎ法およびその簡易型により復元画像を作成するものである。

行列演算部６４１は、リサンプリング部１３２から出力された更新信号（擬似観測画像画素値および想定劣化画像画素値の差分値）に所定の行列をかける演算を行うものであり、演算結果を積算器６４２に出力する。ここで、所定の行列は、例えば、式４および式６に示す行列（例えば、行列ｈまたは行列ｂ）である。

積算器６４２は、行列演算部６４１から出力された演算結果の値と、直前に作成された復元画像を構成する各画素位置の画素値（復元画像信号）とを積算するものである。そして、積算結果である積算値が復元画像信号としてホワイトバランス処理部２１０に出力される。また、この復元画像信号が、次の復元画像信号の作成に用いられる。すなわち、復元画像作成部６４０により、直前に作成された復元画像が更新され、新たな復元画像が作成される。

図４１は、本発明の実施の形態における復元画像作成部６４０による復元画像作成処理の処理手順を示すフローチャートである。この更新信号算出処理は、図１６に示すステップＳ９７０の代わりに行われる処理であり、図１６に示す他の処理についての説明は省略する。

最初に、行列演算部６４１が、リサンプリング部１３２から出力された更新信号を入力し（ステップＳ１０６１）、更新信号に所定の行列をかける演算を行う（ステップＳ１０６２）。

続いて、積算器６４２が、行列演算部６４１から出力された演算結果の値と、直前に作成された復元画像の復元画像信号とを積算する（ステップＳ１０６３）。続いて、積算器６４２が、積算結果である積算値を復元画像信号としてホワイトバランス処理部２１０に出力する（ステップＳ１０６４）。

以上では、１枚の観測画像から一度のフィードバックを行うことにより復元画像を更新し、この更新された復元画像を出力する復元処理について説明した。ここで、例えば、観測画像を基準として１フレーム前の復元画像の位置合わせを行った後に復元処理を行うことにより、更新された復元画像の時間位相を観測画像に合わせることができる。これにより、撮像装置１０により動画の撮像動作を行う場合でも、さらに精度の高い復元画像を作成することができる。以下では、復元画像について動き補償処理および動被写体隠蔽処理を行うことにより、復元画像の時間位相を観測画像に合わせる例について図面を参照して詳細に説明する。

図４２は、本発明の実施の形態における復元処理部７００の機能構成例を示すブロック図である。復元処理部７００は、動き検出部７１０と、動き補償部７２０と、動被写体検出部７３０と、動被写体隠蔽部７４０と、想定劣化画像画素値算出部７５０と、擬似観測画像画素値算出部７６０と、更新信号算出部７７０と、復元画像作成部７８０とを備える。なお、復元処理部７００は、図５に示す復元処理部１００の変形例であり、復元処理部１００において、動き検出部７１０、動き補償部７２０、動被写体検出部７３０および動被写体隠蔽部７４０を追加して設けたものである。また、想定劣化画像画素値算出部７５０、擬似観測画像画素値算出部７６０、更新信号算出部７７０および復元画像作成部７８０については、図５に示すものとほぼ同様であるため、異なる点を中心に説明し、他の説明を省略する。

動き検出部７１０は、復元画像作成部７８０から出力されたフレーム（復元画像）と、Ａ／Ｄ変換回路２２から出力されたフレーム（観測画像）とに基づいて動き情報を検出するものであり、検出された動き情報を動き補償部７２０に出力する。この動き情報は、２つのフレーム間の動きに関する情報であり、例えば、一画面（１フレーム）について１つの動きパラメータの組（Global Motion）が検出される。この動き情報として、復元の効果を向上させるため、並進成分、回転成分が含まれることが好ましく、さらに拡大縮小成分や台形歪み成分が含まれることが好ましい。この動き情報として、例えば、アフィン行列を用いることができる。なお、動き検出については、１フレームの１画面上において任意サイズのブロック毎に行うことも可能である。ただし、画像上のブロック間の不連続性や画像の折り返りの影響を考慮すると、１フレームの１画面毎に行うことが好ましく、復元精度を向上させることができる。なお、復元処理部７００の前工程で動き情報の検出を行い、この検出結果を動き補償部７２０に供給するようにしてもよい。

ここで、動き情報の検出方法の一例としてアフィン行列の検出方法について説明する。

例えば、復元画像作成部７８０から出力された復元画像と、Ａ／Ｄ変換回路２２から出力された観測画像とにおける特徴点の抽出が行われる。例えば、エッジ検出技術を用いて、縦方向または横方向にエッジの勾配が強い点（例えば、コーナー点）を特徴点として抽出することができる。また、画像間の対応点探査を行うことが可能な特徴点を抽出する他の特徴点抽出処理を用いることができる。

続いて、復元画像において抽出された特徴点と、観測画像において抽出された特徴点との対応付けが行われる。この特徴点の対応付けは、復元画像および観測画像について、同じ被写体とみなされる特徴点の対を抽出することである。この特徴点の対応付け方法として、例えば、特徴点の周囲の矩形画像同士の正規化相関等の指標に基づいて、類似する特徴点を対にする手法を用いることができる。また、カメラ運動行列を正しく計算することが可能な他の対応点付け方法を用いることができる。

続いて、抽出された対応点対（対応付けされた特徴点の対）を用いてアフィン行列が算出される。このアフィン行列算出方法として、例えば、ＲＡＮＳＡＣ（RANdom SAmple Consensus）を用いたアフィン行列算出方法を用いることができる。具体的には、抽出された対応点対の中からランダムに対応点対を選択し、この選択された対応点対を用いてアフィン行列を最小２乗推定する操作を繰り返す。そして、算出されたアフィン行列により説明できない対応点対がなるべく少なくなるものを推定結果として選択する。また、アフィン行列算出方法として、例えば、勾配法やブロックマッチング方法等のアフィン行列算出方法を用いるようにしてもよい。

動き補償部７２０は、動き検出部７１０により検出された動き情報に基づいて、復元画像の動き補償を行うものである。具体的には、復元画像における各画素位置について、動き検出部７１０により検出された動き情報に対応する動きの分だけずらした位置に移動させる処理が行われる。

動被写体検出部７３０は、動き補償部７２０から出力された動き補償処理が施された復元画像と、Ａ／Ｄ変換回路２２から出力された観測画像との画素値を比較し、復元画像に含まれる動被写体を検出するものであり、検出結果を動被写体隠蔽部７４０に出力する。なお、動被写体検出部７３０については、図４３を参照して詳細に説明する。

動被写体隠蔽部７４０は、動被写体検出部７３０から出力された動被写体の検出結果に基づいて、動き補償部７２０から出力された動き補償処理が施された復元画像に含まれる動被写体を隠蔽するものである。そして、動被写体が隠蔽された復元画像を想定劣化画像画素値算出部７５０および復元画像作成部７８０に出力する。なお、動被写体隠蔽部７４０については、図４６を参照して詳細に説明する。

図４３は、本発明の実施の形態における動被写体検出部７３０の機能構成例を示すブロック図である。図４４は、本発明の実施の形態における撮像素子１３のノイズモデルの一例を示す図である。図４５は、本発明の実施の形態における動被写体判定モデルの一例を示す図である。なお、図４４および図４５については、図４３を参照して説明する。動被写体検出部７３０は、減算器７３１と、絶対値計算器７３２と、ノイズ量推定部７３３と、動被写体判定値計算部７３４とを備える。

減算器７３１は、Ａ／Ｄ変換回路２２から出力された観測画像の画素値と、動き補償部７２０から出力された復元画像の画素値との差分を計算するものであり、計算結果である差分値を絶対値計算器７３２に出力する。

絶対値計算器７３２は、減算器７３１から出力された差分値の絶対値を計算するものであり、計算結果である画素値の絶対差分値（pix_diff）を動被写体判定値計算部７３４に出力する。

ノイズ量推定部７３３は、撮像時のデジタルゲイン情報（ゲイン量（ＩＳＯ感度）、フレーム毎のデシベル等）とノイズモデルとに基づいて、画素値に対応する画素のノイズ量を推定するものであり、推定されたノイズ量を動被写体判定値計算部７３４に出力する。なお、撮像時のデジタルゲイン情報は、制御部５３から供給される。ここで、一般的なノイズモデルとして、ＲＡＷデータの画素値ｐと、ノイズの分散値σ^２との関係は、傾きがゲインの関数で表すことができる。例えば、図４４に示すグラフで表されることが知られている。そこで、例えば、図４４に示すグラフを用いて、ノイズの分散値σ^２を推定することができる。

動被写体判定値計算部７３４は、絶対値計算器７３２から出力された画素値の絶対差分値（pix_diff）と、ノイズの標準偏差σとに基づいて、動被写体判定値α（０≦α≦１）を計算するものであり、動被写体判定値αを動被写体隠蔽部７４０に出力する。ここで、図４５には、絶対差分値（pix_diff）と、ノイズの標準偏差σとの換算モデルの一例を示す。なお、図４５に示すｔｈ１（σ）およびｔｈ２（σ）は、ノイズ標準偏差σに応じて決定される閾値である。

図４６は、本発明の実施の形態における動被写体隠蔽部７４０の機能構成例を示すブロック図である。動被写体隠蔽部７４０は、積算器７４１乃至７４３と、減算器７４４と、加算器７４５とを備え、基準画像（観測画像）の画素値と、被判定画像（復元画像）の画素値との内分画素値を計算し、この計算結果値を動被写体隠蔽処理画素値として出力するものである。

積算器７４１は、動被写体判定値計算部７３４から出力された動被写体判定値αに、調整用ゲインＧを掛けるものであり、この積算結果Ｇαを積算器７４３および減算器７４４に出力する。なお、調整用ゲインＧは、制御部５３から供給される。

減算器７４４は、１から、積算器７４１から出力された積算結果値Ｇαを減算するものであり、減算結果（１−Ｇα）を積算器７４２に出力する。

積算器７４２は、Ａ／Ｄ変換回路２２から出力された観測画像の画素値Ａと、減算器７４４から出力された積算結果値（１−Ｇα）とを積算するものであり、積算結果Ａ（１−Ｇα）を加算器７４５に出力する。

積算器７４３は、動き補償部７２０から出力された復元画像の画素値Ｂと、積算器７４１から出力された積算結果値Ｇαとを積算するものであり、積算結果ＢＧαを加算器７４５に出力する。

加算器７４５は、積算器７４２から出力された積算結果Ａ（１−Ｇα）と、積算器７４３から出力された積算結果ＢＧαとを加算するものである。そして、加算結果（Ａ（１−Ｇα）＋ＢＧα）を動被写体隠蔽処理画素値として想定劣化画像画素値算出部７５０および復元画像作成部７８０に出力する。

このように、動被写体検出部７３０により観測画像と、動き補償処理が行われた復元画像との画素値が比較され、動被写体判定値が算出される。この動被写体判定値に応じて、動被写体隠蔽部７４０により、観測画像の画素値と、復元画像の画素値との加重平均が計算される。すなわち、動被写体度の高い程、観測画像の割合が大きくなるように動被写体の隠蔽処理が行われる。なお、観測画像および復元画像間で解像度変換を伴う場合には、観測画像および復元画像の何れかの解像度に合わせた後に、動き補償処理および動被写体隠蔽処理を行う。

このように、位置合わせ後の画像と注目画素間の動被写体を検出し、その領域のフィードバックの制限を行うことにより、同被写体領域での復元処理による劣化を抑制することができる。これにより、復元処理の精度を向上させることができる。

図４７は、本発明の実施の形態における復元処理部７００による復元処理の処理手順を示すフローチャートである。この復元処理は、図１５に示すステップＳ９１０の代わりに行われる処理であり、図１５に示す他の処理についての説明は省略する。

最初に、復元処理部７００が、画像処理回路２３内部の画像メモリから読み出されたモザイク画像（観測画像）と、復元画像作成部１４０から出力されたモザイク画像（復元画像）とを入力する（ステップＳ１１０１）。

続いて、動き検出部７１０が、入力された観測画像および復元画像間の動き情報を検出する（ステップＳ１１０２）。

続いて、ループＬ１１０３では、観測画像および復元画像（２つのモザイク画像）の各注目画素について、ステップＳ１１０４乃至Ｓ１１０７、ループＬ９１３、Ｓ９６０、Ｓ９７０、Ｓ９１４の各処理を行う。なお、ループＬ９１３、Ｓ９６０、Ｓ９７０、Ｓ９１４の各処理については、図１６に示す各処理と同じであるため、ここでの説明を省略する。

ループＬ１１０３では、最初に、動き補償部７２０が、観測画像および復元画像の各注目画素の画素値を入力する（ステップＳ１１０１）。続いて、動き補償部７２０が、動き検出部７１０により検出された動き情報に基づいて復元画像の動き補償処理を行う（ステップＳ１１０５）。続いて、動被写体検出部７３０が、動き補償が行われた復元画像について動被写体の検出処理を行う（ステップＳ１１０６）。続いて、動被写体隠蔽部７４０が、動被写体検出部７３０により検出された動被写体について隠蔽処理を行う（ステップＳ１１０７）。なお、この例では、画素単位で一連の復元処理を行う例を示したが、フレーム単位で各復元処理を行うようにしてもよい。

ここで、例えば、静止画像を出力する復元処理を行う場合には、復元処理を行うフレームの復元画像を基準として、観測画像の位置合わせをして復元処理を行うことにより、任意フレームの復元画像を得ることができる。このように、静止画を出力する復元処理を行う場合には、動き補償処理および動被写体隠蔽処理を観測画像について行うようにする。この場合の機能構成例を図４８に示す。

図４８は、本発明の実施の形態における復元処理部８００の機能構成例を示すブロック図である。なお、復元処理部８００は、図４２に示す復元処理部７００の変形例であり、動き補償処理および動被写体隠蔽処理を観測画像について行う点が復元処理部７００とは異なる。その他の構成については、復元処理部７００と同様であるため、同一の機能を備える部分については、図４２と同一の符号を付して、ここでの説明を省略する。

このように、１枚の観測画像で複数回の反復処理を行う場合や複数枚の観測画像を入力する場合には、注目画素について観測画像または復元画像の動き検出および動き補償を行う。そして、動き検出および動き補償の後に、異チャネル間のフィードバックを行うことにより、復元効果をさらに向上させることができる。

また、以上では、図４２に示す復元処理部７００と、図４８に示す復元処理部８００とについては、動被写体隠蔽処理を行う例を示したが、例えば、動被写体隠蔽処理を行わないようにしてもよい。これにより、比較的簡易的な構成とすることができる。例えば、動被写体隠蔽処理を行わずに、動画を出力する復元処理を行う場合における機能構成例を図４９に示す。また、例えば、動被写体隠蔽処理を行わずに、静止画像を出力する復元処理を行う場合における機能構成例を図５０に示す。

図４９は、本発明の実施の形態における復元処理部８１０の機能構成例を示すブロック図である。また、図５０は、本発明の実施の形態における復元処理部８２０の機能構成例を示すブロック図である。なお、復元処理部８１０は、図４２に示す復元処理部７００の変形例であり、動被写体隠蔽処理を行わない点が復元処理部７００とは異なる。また、復元処理部８２０は、図４８に示す復元処理部８００の変形例であり、動被写体隠蔽処理を行わない点が復元処理部８００とは異なる。その他の構成については、復元処理部７００または８００と同様であるため、同一の機能を備える部分については、図４２または図４８と同一の符号を付して、ここでの説明を省略する。

また、以上では、擬似観測画像画素値を算出する場合において、注目画素のチャネル（参照チャネル）と、対象チャネルとが異なる場合には、参照チャネルと近傍の対象チャネルとの画素値を用いて算出する例について説明した。しかしながら、例えば、観測画像のチャネル間の相関性やチャネルの周波数特性に応じて、対象チャネルと参照チャネルとの組み合わせを選択するようにしてもよい。これにより、復元効果を向上させることができる。

図５１は、本発明の実施の形態における擬似観測画像画素値算出処理に用いられる参照チャネルと対象チャネルとの関係を示す図である。図５１に示す例では、チャネル間の相関が高いが、Ｒ、Ｂチャネルの周波数特性が、Ｇｒ、Ｇｂチャネルよりも劣る場合を想定した組み合わせ例を示す。例えば、対象チャネルが、ＲまたはＢである場合には、Ｒ、Ｂ、ＧｒおよびＧｂの全てが参照チャネルとして採用される。一方、対象チャネルが、ＧｒまたはＧｂである場合には、ＧｒおよびＧｂが参照チャネルとして採用される。すなわち、対象チャネルがＧｒまたはＧｂである場合には、参照チャネルとして注目画素以外のチャネルを用いて擬似観測画像画素値算出処理を行うようにすることができる。

ここで、例えば、従来は、観測画像または復元画像に劣化フィルタを施して作成された想定劣化画像から更新信号を算出して画像復元を行う場合には、複数のチャネルから構成されている画像でも一般的にチャネル別に同一チャネル内でフィードバック処理を行う。これに対して、本発明の実施の形態では、同チャネルからのフィードバックに加え、観測画像の異なるチャネルから擬似的に作成した擬似観測画像と想定劣化画像との間で復元処理を行い、チャネル間のフィードバック処理を行う。これにより、復元効果を向上させることができる。言い換えると、劣化画像の復元処理において、画像間のフィードバックに加え、画像内のチャネル間でフィードバックを行うことにより、フィードバックの効果をさらに向上させることができる。

すなわち、本発明の実施の形態では、複数のチャネルからなる観測画像の復元処理を行う場合に、想定劣化画像画素値および擬似観測画像画素値をチャネル毎に算出する。そして、チャネル毎の差分値または除算値に基づいて更新信号を作成し、この更新信号を用いて復元画像を作成する。これにより、想定劣化画像画素値のみを用いて復元処理を行う場合と比較して、復元処理の精度を向上させることができる。また、想定劣化画像画素値については、対象チャネルと同チャネルの画素値を用いて算出し、擬似観測画像画素値については、対象チャネルおよび参照チャネルの画素値を用いて算出する。これにより、対象チャネルと同チャネルの画素値を用いて算出された想定劣化画像画素値のみを用いて復元処理を行う場合と比較して、復元処理の精度を向上させることができる。すなわち、チャネル間の画素値の相関に基づいて擬似観測画像画素値を算出し、これを用いて復元処理を行うため、復元処理の精度を向上させることができる。

また、本発明の実施の形態では、擬似観測画像と想定劣化画像との差分値または除算値を、センサ劣化に応じたリサンプリングを行い復元画像にフィードバックさせて、復元画像を更新する。このフィードバックを異なる組み合わせのチャネル間で行うことにより、同チャネル間のフィードバックのみの場合と比較して高い復元効果を得ることができる。

なお、本発明の実施の形態では、画像処理回路２３において、復元処理部１００がホワイトバランス処理部２１０の前となる構成例を示したが、復元処理部１００の位置は画像処理回路２３の他の位置となるように構成するようにしてもよい。

また、デジタルビデオカメラ、デジタルスチルカメラ等の撮像装置またはプリンタやディスプレイ等の画像処理装置内の信号処理として本発明の実施の形態を適用することができる。また、画像加工・編集用の画像処理装置またはコンピュータプログラム等に本発明の実施の形態を適用することができる。

また、本発明の実施の形態では、撮像素子による劣化を想定した解像度変換として、３倍の例を示したが、任意の倍率を想定することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

本発明の実施の形態における撮像装置１０の内部構成例を示すブロック図である。 本発明の実施の形態における画像処理回路２３の機能構成例を示すブロック図である。 本発明の実施の形態における撮像素子１３の受光面に配されるカラーフィルタの一例としてのベイヤー配列を示す図である。 本発明の実施の形態における復元処理部１００の復元処理の対象となるモザイク画像と、復元処理部１００により復元処理が行われたモザイク画像とを模式的に示す図である。 本発明の実施の形態における復元処理部１００の機能構成例を示すブロック図である。 本発明の実施の形態における想定劣化画像画素値算出部１１０が想定劣化画像画素値を算出する際に用いるチャネル別のボケ行列の一例であるＰＳＦの値を表すグラフを示す図である。 本発明の実施の形態における想定劣化画像画素値算出部１１０の処理対象となる復元画像３１０と、想定劣化画像画素値算出部１１０により算出される想定劣化画像画素値により構成される想定劣化画像３２１乃至３２４とを模式的に示す図である。 本発明の実施の形態における想定劣化画像画素値算出部１１０の機能構成例を示すブロック図である。 本発明の実施の形態における擬似観測画像画素値算出部１２０の処理対象となる観測画像３００と、擬似観測画像画素値算出部１２０により算出される擬似観測画像画素値により構成される擬似観測画像３４１乃至３４４とを模式的に示す図である。 本発明の実施の形態における擬似観測画像画素値算出部１２０の機能構成例を示すブロック図である。 本発明の実施の形態における擬似観測画像画素値算出部１２０に入力される観測画像を模式的に示す図である。 本発明の実施の形態における擬似観測画像画素値算出部１２０に入力される観測画像を模式的に示す図である。 本発明の実施の形態における更新信号算出部１３０の機能構成例を示すブロック図である。 本発明の実施の形態における復元画像作成部１４０の機能構成例を示すブロック図である。 本発明の実施の形態における画像処理回路２３の処理手順を示すフローチャートである。 本発明の実施の形態における復元処理部１００による復元処理の処理手順を示すフローチャートである。 本発明の実施の形態における想定劣化画像画素値算出部１１０による想定劣化画像画素値算出処理の処理手順を示すフローチャートである。 本発明の実施の形態における擬似観測画像画素値算出部１２０による擬似観測画像画素値算出処理の処理手順を示すフローチャートである。 本発明の実施の形態における観測画像画素変換部１２２による観測画像画素変換処理の処理手順を示すフローチャートである。 本発明の実施の形態における更新信号算出部１３０による更新信号算出処理の処理手順を示すフローチャートである。 本発明の実施の形態における復元画像作成部１４０による復元画像作成処理の処理手順を示すフローチャートである。 注目画素およびその近傍の各画素に関する参照チャネルと、対象チャネルとの画素値分布を表す画素値分布グラフの一例を示す図である。 本発明の実施の形態における擬似観測画像画素値算出部４００の機能構成例を示すブロック図である。 本発明の実施の形態における擬似観測画像画素値算出部４００に入力される観測画像を模式的に示す図である。 本発明の実施の形態における擬似観測画像画素値算出部４００に入力される観測画像を模式的に示す図である。 本発明の実施の形態における観測画像画素変換部４０２による観測画像画素変換処理の処理手順を示すフローチャートである。 画素値軸重み関数ＬＵＴおよび空間軸重み関数ＬＵＴの例を示す図である。 本発明の実施の形態における擬似観測画像画素値算出部５００の機能構成例を示すブロック図である。 本発明の実施の形態における擬似観測画像画素値算出部５００に入力される観測画像を模式的に示す図である。 本発明の実施の形態における擬似観測画像画素値算出部５００に入力される観測画像を模式的に示す図である。 本発明の実施の形態における観測画像画素変換部５０２による観測画像画素変換処理の処理手順を示すフローチャートである。 本発明の実施の形態における想定劣化画像画素値算出部６００の機能構成例を示すブロック図である。 本発明の実施の形態における想定劣化画像画素値算出部６００による想定劣化画像画素値算出処理の処理手順を示すフローチャートである。 本発明の実施の形態における更新信号算出部６１０の機能構成例を示すブロック図である。 本発明の実施の形態における更新信号算出部６１０による更新信号算出処理の処理手順を示すフローチャートである。 本発明の実施の形態における更新信号算出部６２０の機能構成例を示すブロック図である。 本発明の実施の形態における更新信号算出部６２０による更新信号算出処理の処理手順を示すフローチャートである。 本発明の実施の形態における更新信号算出部６３０の機能構成例を示すブロック図である。 本発明の実施の形態における更新信号算出部６３０による更新信号算出処理の処理手順を示すフローチャートである。 本発明の実施の形態における復元画像作成部６４０の機能構成例を示すブロック図である。 本発明の実施の形態における復元画像作成部６４０による復元画像作成処理の処理手順を示すフローチャートである。 本発明の実施の形態における復元処理部７００の機能構成例を示すブロック図である。 本発明の実施の形態における動被写体検出部７３０の機能構成例を示すブロック図である。 本発明の実施の形態における撮像素子１３のノイズモデルの一例を示す図である。 本発明の実施の形態における動被写体判定モデルの一例を示す図である。 本発明の実施の形態における動被写体隠蔽部７４０の機能構成例を示すブロック図である。 本発明の実施の形態における復元処理部７００による復元処理の処理手順を示すフローチャートである。 本発明の実施の形態における復元処理部８００の機能構成例を示すブロック図である。 本発明の実施の形態における復元処理部８１０の機能構成例を示すブロック図である。 本発明の実施の形態における復元処理部８２０の機能構成例を示すブロック図である。 本発明の実施の形態における擬似観測画像画素値算出処理に用いられる参照チャネルと対象チャネルとの関係を示す図である。

符号の説明

１０ 撮像装置
１１ レンズ
１２ 絞り
１３ 撮像素子
２１ サンプリング回路
２２ Ａ／Ｄ変換回路
２３ 画像処理回路
３１ 符号化／復号器
３２ メモリ
４１ 表示ドライバ
４２ 表示部
５１ タイミング生成器
５２ 操作受付部
５３ 制御部
５９ バス
１００ 復元処理部
１１０ 想定劣化画像画素値算出部
１１１ チャネル別ボケ行列保持部
１１２ 積和部
１１３ リサンプリング部
１２０ 擬似観測画像画素値算出部
１２１ チャネル判定部
１２２ 観測画像画素変換部
１２３ 空間的低周波成分計算部
１２４ 空間的高周波成分計算部
１２５ 空間的高周波成分スケーリング係数計算部
１２６ 空間的低周波成分計算部
１２７ 空間的低周波成分計算部
１２８ 除算器
１２９ 擬似観測画像画素値計算部
１３０ 更新信号算出部
１３１ 減算器
１３２ リサンプリング部
１４０ 復元画像作成部
１４１ 行列演算部
１４２ 加算器
２１０ ホワイトバランス処理部
２２０ デモザイク処理部
２３０ ガンマ補正処理部
２４０ ＹＣ変換処理部
４００ 擬似観測画像画素値算出部
４０１ チャネル判定部
４０２ 観測画像画素変換部
４０３ 画素分布線形近似部
４０４ 画素値推定部
５００ 擬似観測画像画素値算出部
５０１ チャネル判定部
５０２ 観測画像画素変換部
５０３ 画素値軸重み関数ＬＵＴ保持部
５０４ 空間軸重み関数ＬＵＴ保持部
５０５ 減算器
５０６ 減算器
５０７ 積和部
５０８ 補間部
５０９ 積和部
５１０ 除算器
６００ 想定劣化画像画素値算出部
６０１ チャネル別空間位相別ボケ行列保持部
６０２ 積和・リサンプリング部
６１０ 更新信号算出部
６１１ 減算器
６１２ リサンプリング部
６１３ バンドパスフィルタリング部
６１４ スケーリング部
６２０ 更新信号算出部
６２１ 除算器
６２２ リサンプリング部
６３０ 更新信号算出部
６３１ 除算器
６３２ リサンプリング部
６３３ バンドパスフィルタリング部
６３４ スケーリング部
６４０ 復元画像作成部
６４１ 行列演算部
６４２ 積算器
７００ 復元処理部
７１０ 動き検出部
７２０ 動き補償部
７３０ 動被写体検出部
７３１ 減算器
７３２ 絶対値計算器
７３３ ノイズ量推定部
７３４ 動被写体判定値計算部
７４０ 動被写体隠蔽部
７４１、７４２、７４３ 積算器
７４４ 減算器
７４５ 加算器
７５０ 想定劣化画像画素値算出部
７６０ 擬似観測画像画素値算出部
７７０ 更新信号算出部
７８０ 復元画像作成部
８００、８１０、８２０ 復元処理部

Claims (7)

1. 複数のチャネルから構成される対象画像の劣化を想定した画像である想定劣化画像の画素値を想定劣化画像画素値として前記チャネル毎に算出する想定劣化画像画素値算出部と、
   前記想定劣化画像の画素に対応する前記対象画像の画素である注目画素について前記注目画素の画素値とその近傍の画素の各画素値とに基づいて前記チャネル毎に推定される画素値を擬似対象画像画素値として前記チャネル毎に算出する擬似対象画像画素値算出部と、
   前記算出された想定劣化画像画素値と前記算出された擬似対象画像画素値とに基づいて前記対象画像を復元した復元画像を作成する復元画像作成部とを具備し、
   前記擬似対象画像画素値算出部は、前記注目画素のチャネルと同一のチャネルである第一チャネルについて前記擬似対象画像画素値を算出する場合には前記注目画素の画素値を前記擬似対象画像画素値とし、前記注目画素のチャネルと異なるチャネルである第二チャネルについて前記擬似対象画像画素値を算出する場合には、前記注目画素およびその近傍の各画素のうち前記第一チャネルの各画素の空間的高周波成分を計算し、前記注目画素およびその近傍の各画素のうち前記第一チャネルの各画素の空間的低周波成分を計算し、前記注目画素の近傍の各画素のうち前記第二チャネルの各画素の空間的低周波成分を計算し、前記第二チャネルに係る空間的低周波成分と前記第一チャネルに係る空間的低周波成分とに基づいて前記空間的高周波成分のスケーリング係数を算出し、前記第二チャネルに係る空間的低周波成分と前記第一チャネルに係る空間的高周波成分と前記スケーリング係数とに基づいて前記擬似対象画像画素値を計算し、
   前記復元画像作成部は、前記復元画像および前記対象画像に関する動き情報に基づいて位置合わせが行われた当該復元画像について算出された前記想定劣化画像画素値と当該位置合わせが行われた当該対象画像について算出された前記擬似対象画像画素値とを用いて新たな前記復元画像を作成する
   画像処理装置。
2. 前記擬似対象画像画素値算出部は、
   前記第一チャネルに係る空間的高周波成分を計算する空間的高周波成分計算部と、
   前記第一チャネルに係る空間的低周波成分を計算する空間的低周波成分計算部と、
   前記第二チャネルに係る空間的低周波成分を計算する第二チャネル空間的低周波成分計算部と、
   前記スケーリング係数を算出する空間的高周波成分スケーリング係数計算部と、
   前記擬似対象画像画素値を計算する擬似対象画像画素値計算部とを備える
   請求項１記載の画像処理装置。
3. 前記想定劣化画像画素値算出部は、前記復元画像作成部により直前に作成された前記復元画像を構成する画素であって前記注目画素に対応する画素およびその近傍の画素の各画素値について前記チャネル毎のボケ関数を用いて前記想定劣化画像の画素値を算出する請求項１記載の画像処理装置。
4. 前記算出された想定劣化画像画素値と前記算出された擬似対象画像画素値との差分値を算出して当該差分値に基づいて前記復元画像を作成するための更新信号を算出する更新信号算出部をさらに具備し、
   前記復元画像作成部は、前記算出された更新信号に基づいて前記復元画像を作成する
   請求項１記載の画像処理装置。
5. 被写体を撮像して複数のチャネルから構成される撮像画像を生成する撮像部と、
   前記撮像画像の劣化を想定した画像である想定劣化画像の画素値を想定劣化画像画素値として前記チャネル毎に算出する想定劣化画像画素値算出部と、
   前記想定劣化画像の画素に対応する前記撮像画像の画素である注目画素について前記注目画素の画素値とその近傍の画素の各画素値とに基づいて前記チャネル毎に推定される画素値を擬似対象画像画素値として前記チャネル毎に算出する擬似対象画像画素値算出部と、
   前記算出された想定劣化画像画素値と前記算出された擬似対象画像画素値とに基づいて前記撮像画像を復元した復元画像を作成する復元画像作成部とを具備し、
   前記擬似対象画像画素値算出部は、前記注目画素のチャネルと同一のチャネルである第一チャネルについて前記擬似対象画像画素値を算出する場合には前記注目画素の画素値を前記擬似対象画像画素値とし、前記注目画素のチャネルと異なるチャネルである第二チャネルについて前記擬似対象画像画素値を算出する場合には、前記注目画素およびその近傍の各画素のうち前記第一チャネルの各画素の空間的高周波成分を計算し、前記注目画素およびその近傍の各画素のうち前記第一チャネルの各画素の空間的低周波成分を計算し、前記注目画素の近傍の各画素のうち前記第二チャネルの各画素の空間的低周波成分を計算し、前記第二チャネルに係る空間的低周波成分と前記第一チャネルに係る空間的低周波成分とに基づいて前記空間的高周波成分のスケーリング係数を算出し、前記第二チャネルに係る空間的低周波成分と前記第一チャネルに係る空間的高周波成分と前記スケーリング係数とに基づいて前記擬似対象画像画素値を計算し、
   前記復元画像作成部は、前記復元画像および前記撮像画像に関する動き情報に基づいて位置合わせが行われた当該復元画像について算出された前記想定劣化画像画素値と当該位置合わせが行われた当該撮像画像について算出された前記擬似対象画像画素値とを用いて新たな前記復元画像を作成する
   撮像装置。
6. 複数のチャネルから構成される対象画像の劣化を想定した画像である想定劣化画像の画素値を想定劣化画像画素値として前記チャネル毎に算出する想定劣化画像画素値算出手順と、
   前記想定劣化画像の画素に対応する前記対象画像の画素である注目画素について前記注目画素の画素値とその近傍の画素の各画素値とに基づいて前記チャネル毎に推定される画素値を擬似対象画像画素値として前記チャネル毎に算出する擬似対象画像画素値算出手順と、
   前記算出された想定劣化画像画素値と前記算出された擬似対象画像画素値とに基づいて前記対象画像を復元した復元画像を作成する復元画像作成手順とを具備し、
   前記擬似対象画像画素値算出手順は、前記注目画素のチャネルと同一のチャネルである第一チャネルについて前記擬似対象画像画素値を算出する場合には前記注目画素の画素値を前記擬似対象画像画素値とし、前記注目画素のチャネルと異なるチャネルである第二チャネルについて前記擬似対象画像画素値を算出する場合には、前記注目画素およびその近傍の各画素のうち前記第一チャネルの各画素の空間的高周波成分を計算し、前記注目画素およびその近傍の各画素のうち前記第一チャネルの各画素の空間的低周波成分を計算し、前記注目画素の近傍の各画素のうち前記第二チャネルの各画素の空間的低周波成分を計算し、前記第二チャネルに係る空間的低周波成分と前記第一チャネルに係る空間的低周波成分とに基づいて前記空間的高周波成分のスケーリング係数を算出し、前記第二チャネルに係る空間的低周波成分と前記第一チャネルに係る空間的高周波成分と前記スケーリング係数とに基づいて前記擬似対象画像画素値を計算し、
   前記復元画像作成手順は、前記復元画像および前記対象画像に関する動き情報に基づいて位置合わせが行われた当該復元画像について算出された前記想定劣化画像画素値と当該位置合わせが行われた当該対象画像について算出された前記擬似対象画像画素値とを用いて新たな前記復元画像を作成する
   画像処理方法。
7. 複数のチャネルから構成される対象画像の劣化を想定した画像である想定劣化画像の画素値を想定劣化画像画素値として前記チャネル毎に算出する想定劣化画像画素値算出手順と、
   前記想定劣化画像の画素に対応する前記対象画像の画素である注目画素について前記注目画素の画素値とその近傍の画素の各画素値とに基づいて前記チャネル毎に推定される画素値を擬似対象画像画素値として前記チャネル毎に算出する擬似対象画像画素値算出手順と、
   前記算出された想定劣化画像画素値と前記算出された擬似対象画像画素値とに基づいて前記対象画像を復元した復元画像を作成する復元画像作成手順とをコンピュータに実行させるプログラムであって、
   前記擬似対象画像画素値算出手順は、前記注目画素のチャネルと同一のチャネルである第一チャネルについて前記擬似対象画像画素値を算出する場合には前記注目画素の画素値を前記擬似対象画像画素値とし、前記注目画素のチャネルと異なるチャネルである第二チャネルについて前記擬似対象画像画素値を算出する場合には、前記注目画素およびその近傍の各画素のうち前記第一チャネルの各画素の空間的高周波成分を計算し、前記注目画素およびその近傍の各画素のうち前記第一チャネルの各画素の空間的低周波成分を計算し、前記注目画素の近傍の各画素のうち前記第二チャネルの各画素の空間的低周波成分を計算し、前記第二チャネルに係る空間的低周波成分と前記第一チャネルに係る空間的低周波成分とに基づいて前記空間的高周波成分のスケーリング係数を算出し、前記第二チャネルに係る空間的低周波成分と前記第一チャネルに係る空間的高周波成分と前記スケーリング係数とに基づいて前記擬似対象画像画素値を計算し、
   前記復元画像作成手順は、前記復元画像および前記対象画像に関する動き情報に基づいて位置合わせが行われた当該復元画像について算出された前記想定劣化画像画素値と当該位置合わせが行われた当該対象画像について算出された前記擬似対象画像画素値とを用いて新たな前記復元画像を作成する
   プログラム。

Images