JP6019568B2 - 画像処理装置および方法、記録媒体、並びに、プログラム - Google Patents

Description

本開示は、画像処理装置および方法、記録媒体、並びに、プログラムに関し、特に、多視点画像の立体感を制御することができるようにした画像処理装置および方法、記録媒体、並びに、プログラムに関する。

従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。

例えば、「Light Field Photography」と呼ばれる手法を用いた撮像装置（ライトフィールドカメラ）が提案されている（例えば特許文献１参照）。この撮像装置は、撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部とから構成され、撮像レンズには中央部に単一の開口を有する開口絞りが設けられている。このような構成により、撮像素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。そして画像処理部において、任意の視野や焦点での観察画像を再構築できるようになっている。

つまり、上記マイクロレンズアレイには、複数のマイクロレンズが設けられており、各マイクロレンズに対して撮像素子の複数の画素が割り当てられる。したがって、例えば、それぞれのマイクロレンズに対して互いに同じ位置の画素の画素値を集めることにより、互いに同一方向からの入射光を光電変換して得られる画像データ（つまり、ある１方向の画像）が得られる。同様にして、各画素値をその位置に応じてまとめることにより、互いに異なる視点の複数の画像（すなわち多視点画像）が得られる。

特開２００９−１６５１１５号公報

しかしながら、この場合、多視点画像の視差量は、撮像レンズの絞りの開口、マイクロレンズに割り振られた撮像素子の画素数に依存する。したがって、撮像レンズのサイズ制限や解像度の低減を抑制するために、一般的に、このような撮像装置を用いて得られる多視点画像は、視差量が不足し、視覚的効果の立体感（奥行き感）を十分に大きくすることが困難であった。

本開示は、このような状況に鑑みてなされたものであり、多視点画像の立体感を制御することができるようにし、より適切な程度の立体感を得ることができるようにすることを目的とする。

本開示の一側面の画像処理装置は、各画素の位置および画素値によって、多視点の画像を含む多視点画像データを、前記視点毎の複数の単視点画像データに分離する視点分離部と、前記視点分離部により視点毎に分離されて得られた複数の単視点画像データのうち、１の単視点画像データのノイズリダクション処理に対し、処理前後の画像で動きベクトルを検出する１の動き検出部と、前記複数の前記単視点画像データのそれぞれに対し、前記１の動き検出部により検出された動きベクトルを用いて、ノイズを低減させる前記ノイズリダクション処理を行う複数のノイズリダクション処理部とを備える。

前記視点分離部により視点毎に分離されて得られた複数の前記単視点画像データのそれぞれに対して画像を高解像度化する超解像処理を行う超解像処理部をさらに備え、前記複数のノイズリダクション処理部は、前記超解像処理部により高解像度化された複数の前記単視点画像データのそれぞれに対し、前記ノイズリダクション処理を行うことができる。

前記複数のノイズリダクション処理部によりノイズが低減された複数の前記単視点画像データ同士の視差量を制御する視差制御部をさらに備えることができる。

前記超解像処理部は、各視点間について、視差量を示すディスパリティを検出し、検出したディスパリティを用いて、各単視点画像データの超解像処理を行うことができる。

前記視差制御部は、前記超解像処理部により検出された前記ディスパリティを用いて前記視差量を制御することができる。

前記ノイズリダクション処理部は、前記１の動き検出部により検出された動きベクトルを用いて、処理後の画像の動き補償を行い、その動き補償された処理後の画像と、処理前の画像とで加算平均を算出することができる。
前記ノイズリダクション処理部によりノイズが低減された前記単視点画像データを用いて、複数の前記単視点画像データを生成する画像生成部をさらに備え、前記視差制御部は、前記画像生成部により生成された複数の前記単視点画像データ同士の視差量を制御することができる。

処理対象である注目フレームの画像と、前記注目フレームより前に処理される過去フレームの画像を用いて初期画像を生成する初期画像生成部をさらに備え、前記超解像処理部は、前記初期画像生成部により生成された前記初期画像を用いて前記超解像処理を行う。

本開示の一側面の画像処理方法は、視点分離部が、各画素の位置および画素値によって、多視点の画像を含む多視点画像データを、前記視点毎の複数の単視点画像データに分離し、１の動き検出部が、前記視点分離部により視点毎に分離されて得られた複数の単視点画像データのうち、１の単視点画像データのノイズリダクション処理に対し、処理前後の画像で動きベクトルを検出し、複数のノイズリダクション部が、前記複数の前記単視点画像データのそれぞれに対し、前記１の動き検出部により検出された動きベクトルを用いて、ノイズを低減させる前記ノイズリダクション処理を行う。

本開示の一側面のプログラムまたは記録媒体に記録されているプロクラムは、各画素の位置および画素値によって、多視点の画像を含む多視点画像データを、前記視点毎の複数の単視点画像データに分離する視点分離部と、前記視点分離部により視点毎に分離されて得られた複数の単視点画像データのうち、１の単視点画像データのノイズリダクション処理に対し、処理前後の画像で動きベクトルを検出する１の動き検出部と、前記複数の前記単視点画像データのそれぞれに対し、前記１の動き検出部により検出された動きベクトルを用いて、ノイズを低減させる前記ノイズリダクション処理を行う複数のノイズリダクション処理部として、コンピュータを機能させる。

本開示の一側面においては、視点分離部により、各画素の位置および画素値によって、多視点の画像を含む多視点画像データが、前記視点毎の複数の単視点画像データに分離される。１の動き検出部により、前記視点分離部により視点毎に分離されて得られた複数の単視点画像データのうち、１の単視点画像データのノイズリダクション処理に対し、処理前後の画像で動きベクトルが検出され、複数のノイズリダクション部により、前記複数の前記単視点画像データのそれぞれに対し、前記１の動き検出部により検出された動きベクトルを用いて、ノイズを低減させる前記ノイズリダクション処理が行われる。

本開示の他の側面においては、視点分離部により、各画像の位置および画素値によって多視点の画像を含む多視点画像データが、前記視点毎の複数の単視点画像データに分離され、SR・NR処理部により、前記視点分離部により視点毎に分離されて得られた複数の前記単視点画像データのそれぞれに対して、画像が高解像度化される超解像処理と、ノイズを低減させるノイズリダクション処理とが行われる。そして、視差制御部により、前記SR・NR処理部により高解像度化されてノイズが低減された複数の前記単視点画像データ同士の視差量が制御され、前記SR・NR処理部により、各視点について、視差量を示すディスパリティが検出され、検出したディスパリティを用いて、各単視点画像データの超解像処理またはノイズリダクション処理が行われ、前記視差制御部により、前記SR・NR処理部により検出された前記ディスパリティを用いて前記視差量が制御される。

本開示によれば、画像を処理することができる。特に、多視点画像の立体感を制御することができる。

ライトフィールドカメラの構成例を説明する図である。 多視点画像生成の様子の例を説明する図である。 画像処理装置の主な構成例を示すブロック図である。 SR部の主な構成例を示すブロック図である。 超解像処理部の主な構成例を示すブロック図である。 超解像処理部の主な構成例を示すブロック図である。 高域推定部の主な構成例を示すブロック図である。 画質制御部の主な構成例を示すブロック図である。 NR部の主な構成例を示すブロック図である。 ノイズリダクション処理の流れの例を説明するフローチャートである。 ノイズリダクション処理の様子の例を説明する図である。 画像処理装置の主な構成例を示すブロック図である。 視差強調の例を説明する図である。 視差強調の例を説明する図である。 視差強調部の主な構成例を示すブロック図である。 視差強調の例を説明する図である。 視差強調の例を説明する図である。 画像処理の流れの例を説明するフローチャートである。 視差強調処理の流れの例を説明するフローチャートである。 SR部の主な構成例を示すブロック図である。 超解像処理の流れの例を説明するフローチャートである。 画像処理装置の主な構成例を示すブロック図である。 画像処理の流れの例を説明するフローチャートである。 画像処理装置の主な構成例を示すブロック図である。 画像処理の流れの例を説明するフローチャートである。 画像処理装置の主な構成例を示すブロック図である。 画像処理の流れの例を説明するフローチャートである。 画像処理装置の主な構成例を示すブロック図である。 画像処理の流れの例を説明するフローチャートである。 画像処理装置の主な構成例を示すブロック図である。 SR・NR部の主な構成例を示すブロック図である。 画像処理の流れの例を説明するフローチャートである。 SRNR処理の流れの例を説明するフローチャートである。 画像処理装置の主な構成例を示すブロック図である。 画像処理の流れの例を説明するフローチャートである。 画像処理装置の主な構成例を示すブロック図である。 画像処理の流れの例を説明するフローチャートである。 画像処理装置の主な構成例を示すブロック図である。 画像処理の流れの例を説明するフローチャートである。 画像処理装置の主な構成例を示すブロック図である。 画像処理の流れの例を説明するフローチャートである。 画像処理装置の主な構成例を示すブロック図である。 画像処理の流れの例を説明するフローチャートである。 撮像装置の主な構成例を示すブロック図である。 パーソナルコンピュータの主な構成例を示すブロック図である。

以下、本開示を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画像処理装置）
２．第２の実施の形態（撮像装置）
３．第３の実施の形態（パーソナルコンピュータ）

＜１．第１の実施の形態＞
［ライトフィールドカメラ］
最初に、ライトフィールドカメラについて説明する。ライトフィールドカメラは、例えば、特許文献１に示されるような、ライトフィールドフォトグラフィ（Light Field Photography）と呼ばれる手法を用いた撮像装置である。

例えば、ライトフィールドカメラは、図１に示されるように、メインレンズ１１と、マイクロレンズアレイ１２と、メインレンズ１１およびマイクロレンズアレイ１２を介して入射される光を受光して光電変換するイメージセンサ１３を有する。図１に示されるように、マイクロレンズアレイ１２は、メインレンズ１１の焦点位置に設けられ、イメージセンサ１３は、マイクロレンズアレイ１２の焦点位置に設けられる。

マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３の複数画素に対して１つずつ設けられる。図２の上側に、イメージセンサ１３の画素群とマイクロレンズアレイ１２との関係の例を示す。

図２において、各四角はイメージセンサ１３の画素を表し、丸はマイクロレンズアレイ１２の各マイクロレンズを表している。例えば、斜線模様の画素２１は青色フィルタが設けられた青色画素（Ｂ）を示し、灰色の画素２２は、緑色フィルタが設けられた緑色画素（Ｇ）を示し、白色の画素２３は、赤色フィルタが設けられた赤色画素（Ｒ）を示す。また、図２においては、イメージセンサ１３が、縦９画素×横１２画素であり、マイクロレンズアレイ１２は、縦３個×横４個のマイクロレンズよりなる。もちろん、マイクロレンズアレイ１２が有するマイクロレンズの数、イメージセンサ１３の画素数、およびカラーフィルタの配置は任意である。

図２の上側に示される例の場合、イメージセンサ１３の３×３画素（９画素）毎に１つのマイクロレンズが割り当てられている。１つのマイクロレンズに対応する各画素、すなわち、図２の例において、１つの丸が重畳されている３×３画素は、そのマイクロレンズによって、互いに異なる方向からの入射光を受光する。つまり、図２の例の場合、この９画素によって９方向からの光が受光される。他のマイクロレンズに対応する画素も同様である。

このような構成により、イメージセンサ１３により得られる画像データの画像には、９視点の画像が含まれる。例えば図２の矢印３１乃至矢印３４に示されるように、それぞれのマイクロレンズに対して互いに同じ位置の画素の画素値を集めることにより、互いに同一方向からの入射光を光電変換して得られる画像データ（つまり、ある１方向の画像）が得られる。

図２の例の場合、このような画像処理（視点分離）により、図２の下側に示されるように、互いに視点が異なる９つの画像が得られる。なお、１つのマイクロレンズに対応するイメージセンサ１３の画素数は任意である。つまり、イメージセンサ１３においては、１つのマイクロレンズに対応する画素数分の視点の画像が得られる。

ライトフィールドカメラは、このように多視点の画像を含み、任意のタイミングにおいて視点毎の画像分離や所望の視点の画像の抽出が可能な撮像画像を容易に得ることができる。

［画像処理装置］
以下に、このようなライトフィールドカメラにより得られる撮像画像（多視点画像）から、３次元表示可能な画像（右眼用画像および左眼用画像）を生成する画像処理について説明する。

図３は、画像処理装置の主な構成例を示すブロック図である。

図３に示される画像処理装置５０は、図１や図２を参照して説明したようなライトフィールドカメラにより撮像されて得られた撮像画像（多視点画像）に対して画像処理を行い、立体表示（所謂３Ｄ表示）用の画像（右眼用画像および左眼用画像）を生成する。

図３に示されるように、画像処理装置５０は、視点分離部５１、現像部５２−１および現像部５２−２、補正部５３−１および補正部５３−２、SR（Super Resolution）部５４、並びに、NR（Noise Reduction）部５５−１およびNR部５５−２を有する。

以下において、現像部５２−１および現像部５２−２を互いに区別して説明する必要が無い場合、単に現像部５２と称する。また、以下において、補正部５３−１および補正部５３−２を互いに区別して説明する必要が無い場合、単に補正部５３と称する。さらに、以下において、NR部５５−１およびNR部５５−２を互いに区別して説明する必要が無い場合、単にNR部５５と称する。

視点分離部５１には、上述したようなライトフィールドカメラにより得られた多視点の撮像画像が入力される。例えば、ライトフィールドカメラにおいて動画像撮影が行われ、その動画像の各フレーム画像が、順次、視点分離部５１に入力される。視点分離部５１は、その入力画像より、立体表示用の右眼用画像および左眼用画像を生成する。例えば、ライトフィールドカメラにおいて、図２の例のように、各マイクロレンズに対して縦３画素×横３画素が割り当てられており、入力画像も縦３画素×横３画素を１組として、各組が互いに異なる９視点の画像により構成されているとする。この場合、視点分離部５１は、例えば、各組の３画素×３画素の中段の左右の画素をそれぞれ抽出して集めることにより、立体表示用の右眼用画像（視点Ｒ画像）および左眼用画像（視点Ｌ画像）を生成する。視点分離部５１は、生成した視点Ｒ画像を現像部５２−１に供給し、視点Ｌ画像を現像部５２−２に供給する。入力画像が動画像（の各フレーム画像）である場合、視点分離部５１は、以上のような処理を各フレーム画像に対して行う。

現像部５２は、視点分離部５１から供給された画像データ（RAWデータ）を所定の規格のフォーマットに変換する現像処理を行う。現像部５２−１は、視点Ｒ画像のデータを現像し、補正部５３−１に供給する。現像部５２−２は、視点L画像のデータを現像し、補正部５３−２に供給する。入力画像が動画像（の各フレーム画像）である場合、現像部５２は、以上のような現像処理を各フレーム画像に対して行う。

補正部５３は、現像された画像データに対して、例えば、露出、輝度、コントラスト、彩度、シャープネス等、任意の画像補正を行う。補正部５３−１は、視点Ｒ画像のデータを補正し、SR部５４に供給する。補正部５３−２は、視点Ｌ画像のデータを補正し、SR部５４に供給する。入力画像が動画像（の各フレーム画像）である場合、補正部５３は、以上のような補正処理を各フレーム画像に対して行う。

図２の例に示されるように、視点分離された各画像は、撮像時より解像度が低減する。つまり、視点Ｒ画像や視点Ｌ画像は、低解像度画像である。そこで、SR部５４は、供給された視点Ｒ画像および視点Ｌ画像を高解像度化する超解像処理を行う。SR部５４は、例えば、複数フレームの画像を用いたり、複数視点の画像を用いたりして（すなわち複数の画像を用いて）、視点Ｒ画像および視点Ｌ画像を高解像度化する。SR部５４は、高解像度化した視点Ｒ画像のデータをNR部５５−１に供給する。また、SR部５４は、高解像度化した視点L画像のデータをNR部５５−２に供給する。SR部５４は、以上のような超解像処理を各フレーム画像に対して行う。

ライトフィールドカメラの場合、マイクロレンズを介した光が各画素に入射されるので、光が十分に当たらない画素が生じることがある。したがってライトフィールドカメラにより得られる撮像画像は、ノイズ量（不要な雑音成分の量）が多くなりやすい。そこで、NR部５５は、高解像度化された画像に対してノイズリダクション処理を行い、ノイズを低減させる。NR部５５−１は、視点Ｒ画像のデータに対してノイズリダクション処理を行い、その処理結果（ノイズリダクション処理された視点Ｒ画像のデータ）を出力する。NR部５５−２は、視点Ｌ画像のデータに対してノイズリダクション処理を行い、その処理結果（ノイズリダクション処理された視点Ｌ画像のデータ）を出力する。入力画像が動画像（の各フレーム画像）である場合、NR部５５は、以上のようなノイズリダクション処理を各フレーム画像に対して行う。

［SR部］
次に、SR部５４について説明する。図４は、SR部５４の主な構成例を示すブロック図である。図４に示されるように、SR部５４は、視点Ｒ画像のデータを超解像処理する視点Ｒ超解像処理部６０−１と、視点Ｌ画像のデータを超解像処理する視点Ｌ超解像処理部６０−２とを有する。以下において、視点Ｒ超解像処理部６０−１と視点Ｌ超解像処理部６０−２とを互いに区別して説明する必要が無い場合、単に超解像処理部６０と称する。

図４に示されるように、SR部５４は、入力された視点Ｒ画像と視点Ｌ画像とをそれぞれ超解像処理し、それぞれの処理結果（視点Ｒ処理結果と視点Ｌ処理結果）を出力する。互いの処理は基本的に同様であるが、視点Ｒ超解像処理部６０−１は、視点Ｒ画像を初期画像（基準画像）として超解像処理を行い、視点Ｌ超解像処理部６０−２は、視点Ｌ画像を初期画像（基準画像）として超解像処理を行う。

［超解像処理部］
図５は、図４の超解像処理部６０の主な構成例を示すブロック図である。図５に示されるように、超解像処理部６０は、（すなわち、視点Ｒ超解像処理部６０−１および視点Ｌ超解像処理部６０−２は、それぞれ、）初期画像生成部６１、スイッチ６２、超解像処理部６３、および収束判定部６４を有する。

超解像処理部６０は、複数枚の低解像度画像（g1, g2… gn）を入力し、高解像度画像を１枚出力する。この複数枚の低解像度画像（g1, g2… gn）は、例えば、処理対象である注目視点の、現在のフレーム（注目フレーム）とそれより過去のフレーム（過去フレーム）よりなる複数フレームの画像であってもよいし、注目フレームの、注目視点を含む複数視点の画像であってもよい。低解像度画像g1が、注目フレームの注目視点の画像である。

初期画像生成部６１は、低解像度画像g1を、超解像処理結果の初期値（初期画像）として設定し記憶する。

スイッチ６２は、超解像処理部６３に供給する画像の供給元を切り替える。超解像処理部６３においては、同じ処理が繰り返し実行されるが、スイッチ６２は、その初回実行時のみ初期画像生成部６１の出力を超解像処理部６３に接続し、それ以外の回は、収束判定部６４の出力を超解像処理部６３に接続する。つまり、超解像処理部６３の繰り返し処理の初回のみ、初期画像生成部６１において設定された初期画像（つまり低解像度画像g1）が超解像処理部６３に供給され、２回目以降は、前回の処理結果が超解像処理部６３に供給される。

超解像処理部６３は、n枚の低解像度画像g1, g2, g3 … gn、並びに、ユーザ設定値αを用いて、スイッチ６２から供給される画像の超解像処理を行い、その処理結果（高解像度画像）を収束判定部６４に供給する。

収束判定部６４は、超解像処理部６３から供給された超解像処理結果（高解像度画像）に対して、十分な収束が行われたか否かの判定を行う。超解像処理結果が十分な収束が行われたと判断した場合、収束判定部６４は、超解像処理結果（高解像度画像）を外部に出力し、処理を停止する。また、収束が不十分だと判断した場合、収束判定部６４は、超解像処理結果（高解像度画像）をスイッチ６２に供給する。この場合、超解像処理部６３により超解像処理が、前回の処理結果（高解像度画像）に対して実行される。

［超解像処理部］
図６は、図５の超解像処理部６３の主な構成例を示すブロック図である。図６に示されるように、超解像処理部６３は、高域推定部７１−１乃至高域推定部７１−ｎ、加算部７２、画質制御部７３、乗算部７４、加算部７５、スケール計算部７６、乗算部７７、および減算部７８を有する。

以下において、高域推定部７１−１乃至高域推定部７１−ｎを互いに区別して説明する必要が無い場合、単に高域推定部７１と称する。

高域推定部７１−１乃至高域推定部７１−ｎは、それぞれ、低解像度画像g1乃至gnの中の自身に対応する画像と、スイッチ６２から供給される再構成途中結果の画像（初期画像を含む）とを用いて、画像の高域を復元するための、補正値の計算を行う。例えば、高域推定部７１−１は、再構成途中結果の画像（初期画像を含む）と低解像度画像g1を用いて補正値の計算を行う。高域推定部７１−２は、再構成途中結果の画像（初期画像を含む）と低解像度画像g2を用いて補正値の計算を行う。高域推定部７１−ｎは、再構成途中結果の画像（初期画像を含む）と低解像度画像gnを用いて補正値の計算を行う。高域推定部７１−１乃至高域推定部７１−ｎは、それぞれの処理結果を、加算部７２に供給する。

加算部７２は、高域推定部７１−１乃至高域推定部７１−ｎの処理結果を加算し、加算部７５に供給する。

画質制御部７３は、スイッチ６２から供給される再構成途中結果の画像（初期画像を含む）を用いて、画像の事前確率モデルに基づいた理想的な画像とするための、画素値の制御値を計算する。画質制御部７３は、処理結果を乗算部７４に供給する。

乗算部７４は、画質制御部７３の出力をユーザ設定値αで乗算する。ユーザ設定値αを乗算することにより、ユーザが任意に最終的な画像の画質をコントロールすることができる。なお、ユーザ設定値αの代わりに所定の固定値を乗算するようにしてもよいし、乗算を省略するようにしてもよい。乗算部７４は、乗算結果を加算部７５に供給する。

加算部７５は、加算部７２から供給される加算結果に、乗算部７４から供給される乗算結果を加算する。加算部７５は、その加算結果を、スケール計算部７６及び乗算部７７に供給する。

スケール計算部７６は、スイッチ６２から供給される再構成途中結果の画像（初期画像を含む）と、加算部７５から供給される画素値制御信号（制御値）とを用いて、最終的な制御値へのスケール値を決定する。スケール計算部７６は、決定したスケール値を乗算部７７に供給する。

乗算部７７は、加算部７５から供給される画素値制御信号（制御値）と、スケール計算部７６から供給されるスケール値とを乗算し、その乗算結果を減算部７８に供給する。

減算部７８は、スイッチ６２から供給される再構成途中結果の画像（初期画像を含む）から、乗算部７７から供給される乗算結果を減算し、その減算結果を収束判定部６４へ供給する。

［高域推定部］
収束判定部６４（図５）は、例えば以下の式（１）に示される超解像収束式が成立するか否かを判定する。すなわち、超解像処理部６３（図５）は、以下の式（１）の右辺を算出する。

・・・（１）

各高域推定部７１は、式（１）の右辺のΣの内側の部分に相当する処理を行う。

図７は、図６の高域推定部７１の主な構成例を示すブロック図である。図７に示されるように、高域推定部７１は、動き検出部８０、動き補償部８１、空間フィルタ８２、ダウンサンプリング部８３、減算部８４、アップサンプリング部８５、逆空間フィルタ８６、逆動き補償部８７、および解像度変換部８８を有する。

動き検出部８０は、スイッチ６２から供給される高解像度画像と、低解像度画像gk（１≦ｋ≦ｎ）との間の動き（動きベクトル）を検出する。低解像度画像gkは、補正部５３、若しくは、補正部５３から供給された低解像度画像を保持するバッファ（図示せず）から供給される。これらの画像は、解像度が互いに異なる。そのため、便宜上、低解像度画像gkは、解像度変換部８８によって、スイッチ６２から供給される高解像度画像の解像度までアップサンプリングされてから動き検出部８０に供給される。動き検出部８０は、検出した動きベクトルを動き補償部８１および逆動き補償部８７に供給する。

動き補償部８１は、動き検出部８０から供給された動きベクトルを用いて、スイッチ６２から供給された高解像度画像の動き補償を行う。この処理は、上述した式（１）のW_kの演算に相当する。動き補償部８１は、その動き補償結果（位置合わせを行った高解像度画像）を空間フィルタ８２に供給する。

空間フィルタ８２は、動き補償部８１から供給された高解像度画像に対して、空間解像度の劣化をシミュレーションする処理を行う。ここでは、あらかじめ測定しておいた点広がり関数（Point Spread Function）をフィルタとして画像へ畳み込みを行う。この処理は、上述した式（１）のHの演算に相当する。空間フィルタ８２は、フィルタ処理された高解像度画像をダウンサンプリング部８３に供給する。

ダウンサンプリング部８３は、空間フィルタ８２から供給された高解像度画像を、入力画像（低解像度画像gk）の解像度までダウンサンプリングする。この処理は、上述した式（１）のDの演算に相当する。ダウンサンプリング部８３は、低解像度化された高解像度画像（すなわち低解像度画像）を減算部８４に供給する。

減算部８４は、ダウンサンプリング部８３から供給された低解像度画像から、低解像度画像gkを減算し、その減算結果（差分画像）をアップサンプリング部８５に供給する。

アップサンプリング部８５は、減算部８４から供給された差分画像を、ダウンサンプリング部８３によるダウンサンプリングに対応するようにアップサンプリングする。つまり、差分画像は、スイッチ６２から供給される高解像度画像の解像度まで高解像度化される。この処理は、上述した式（１）のD^tに相当し、0挿入のアップサンプル処理となる。アップサンプリング部８５は、その高解像度化された差分画像を逆空間フィルタ８６に供給する。

逆空間フィルタ８６は、アップサンプリング部８５から供給された高解像度の差分画像に対して、空間フィルタ８２で用いた点広がり関数PSFとの相関の計算を行う。この処理は、上述した式（１）のH^Tに相当する。逆空間フィルタ８６は、逆空間フィルタ処理された高解像度の差分画像を、逆動き補償部８７に供給する。

逆動き補償部８７は、動き検出部８０から供給される動きベクトルを用いて、逆空間フィルタ８６から供給される差分画像に対して、動き補償部８１の動き補償と逆方向に位置合わせ（逆動き補償）を行う。つまり、この逆動き補償により、動き補償部８１による位置合わせが相殺される。逆動き補償部８７は、その逆動き補償された差分画像を、加算部７２に供給する。

解像度変換部８８は、供給された低解像度画像gkを、スイッチ６２から供給される高解像度画像の解像度までアップサンプリングする。解像度変換部８８は、そのアップサンプリングした低解像度画像gkを動き検出部８０に供給する。

［画質制御部］
画質制御部７３は、上述した式（１）の右辺第２項のL^TLf_mの部分に相当する処理を行う。

図８は、図６の画質制御部７３の主な構成例を示すブロック図である。図８に示されるように、画質制御部７３は、ラプラシアンオペレータ８９−１およびラプラシアンオペレータ８９−２を有する。以下において、ラプラシアンオペレータ８９−１およびラプラシアンオペレータ８９−２を互いに区別して説明する必要が無い場合、単に、ラプラシアンオペレータ８９と称する。

直列に接続されるラプラシアンオペレータ８９−１およびラプラシアンオペレータ８９−２は、互いに同様の処理部であり、同様の処理を行う。つまり、ラプラシアンオペレータ８９は、スイッチ６２から供給された高解像度画像に対して、ラプラシアンオペレーションを２回実行する。２回処理を行ったラプラシアンオペレータ８９は、その処理結果を乗算部７４に供給する。

［NR部］
次に、NR部５５について説明する。図９は、図３のNR部５５の主な構成例を示すブロック図である。図９に示されるように、NR部５５は、フレームメモリ９１、動き予測処理部９２、動き補償処理部９３、加算判定部９４、および加算処理部９５を有する。

フレームメモリ９１は、SR部５４から供給される超解像処理された入力画像と、加算処理部９５から供給されるノイズリダクション処理された画像（NR画像）とを記憶する。フレームメモリ９１は、所定のタイミングにおいて、若しくは、他からの要求に基づいて、記憶しているNR画像を、基準画像として、動き予測処理部９２、加算判定部９４、および加算処理部９５に供給する。また、フレームメモリ９１は、所定のタイミングにおいて、若しくは、他からの要求に基づいて、記憶している入力画像を、参照画像として動き予測処理部９２に供給する。

動き予測処理部９２は、フレームメモリ９１から供給された基準画像と参照画像を用いて動き予測を行い、両画像間の動きベクトルを検出する。動き予測処理部９２は、検出した動きベクトル（MV）と参照画像を、動き補償処理部９３に供給する。

動き補償処理部９３は、動き予測処理部９２から供給された動きベクトルを用いて、動き予測処理部９２から供給された参照画像の動き補償を行い、動き補償画像（MC画）を生成する。動き補償処理部９３は、その動き補償画像を加算判定部９４および加算処理部９５に供給する。

加算判定部９４は、NR部５５の外部から、処理対象の画像についての、撮影条件等の画像情報を取得する。加算判定部９４は、その画像情報に基づいて、フレームメモリ９１から供給される基準画像と、動き補償処理部９３から供給される動き補償画像とを加算する画素を判定する加算判定処理を行う。加算判定部９４は、その加算判定結果を加算判定マップとして加算処理部９５に供給する。

加算処理部９５は、加算判定部９４から供給された加算判定マップに従って、フレームメモリ９１から供給される基準画像と、動き補償処理部９３から供給される動き補償画像とを加算する。加算処理部９５は、その加算処理結果（NR処理結果、すなわち、NR画像）を出力するとともに、フレームメモリ９１に供給し、記憶させる。

［ノイズリダクション処理の流れ］
図１０は、このNR部５５により実行されるノイズリダクション処理の流れの例を説明するフローチャートである。

ノイズリダクション処理が開始されると、ステップＳ１１において、動き予測処理部９２は、基準画像と参照画像とを用いて動き予測処理を行う。動き補償処理部９３は、検出された動きベクトルを用いて参照画像の動き補償を行い、動き補償画像を生成する。

ステップＳ１２において、加算判定部９４は、基準画像と動き補償画像とに基づいて加算判定処理を行い、加算判定マップを生成する。

ステップＳ１３において、加算処理部９５は、ステップＳ１２において生成された加算判定マップに従って、基準画像と動き補償画像とを加算する。

ステップＳ１４において、加算処理部９５は、次の時刻の参照画像が存在するか否かを判定し、存在すると判定した場合、処理をステップＳ１１に戻し、それ以降の処理を繰り返す。つまり、NR部５５は、ステップＳ１１乃至ステップＳ１３の各処理を、各フレーム画像に対して実行し、各フレーム画像に対してノイズリダクション処理を行う。

ステップＳ１４において、次の時刻の参照画像が存在しない（すなわち、新たな入力画像が入力されない）と判定された場合、ノイズリダクション処理を終了する。

より具体的な例を、図１１を参照して説明する。

例えば１つ前のフレームのNR画像を基準画像aとし、注目フレームの入力画像を参照画像Ａとし、動き予測および動き補償が行われる（ステップＳ１１−１）。これにより動き補償画像９６−１が生成される。そして、基準画像ａとその動き補償画像９６−１を用いて、加算判定処理が行われる（ステップＳ１２−１）。これにより、加算判定マップ９７−１が生成される。次に、その加算判定マップ９７−１に従って、基準画像ａと動き補償画像９６−１との加算平均が算出される（ステップＳ１３−１）。これにより、NR画像９８−１が生成され、出力される。このNR画像９８−１は、基準画像ｂとして、次のフレームに対するNR処理に利用される。

注目フレームが次のフレームに遷移すると、注目フレームの入力画像を参照画像Ｂとし、その参照画像Ｂと基準画像ｂとを用いて動き予測および動き補償が行われる（ステップＳ１１−２）。これにより動き補償画像９６−２が生成される。そして、基準画像ｂとその動き補償画像９６−２を用いて、加算判定処理が行われる（ステップＳ１２−２）。これにより、加算判定マップ９７−２が生成される。次に、その加算判定マップ９７−２に従って、基準画像ｂと動き補償画像９６−２との加算平均が算出される（ステップＳ１３−２）。これにより、NR画像９８−２が生成され、出力される。このNR画像９８−２は、基準画像ｃとして、次のフレームに対するNR処理に利用される。

注目フレームが次のフレームに遷移すると、注目フレームの入力画像を参照画像Ｃとし、その参照画像Ｃと基準画像ｃとを用いて動き予測および動き補償が行われる（ステップＳ１１−３）。これにより動き補償画像９６−３が生成される。そして、基準画像ｃとその動き補償画像９６−３を用いて、加算判定処理が行われる（ステップＳ１２−３）。これにより、加算判定マップ９７−３が生成される。次に、その加算判定マップ９７−３に従って、基準画像ｃと動き補償画像９６−３との加算平均が算出される（ステップＳ１３−３）。これにより、NR画像９８−３が生成され、出力される。

以上のようにノイズリダクション処理がフレーム毎に繰り返される。

しかしながら、この場合、多視点画像の視差量は、撮像レンズの絞りの開口、マイクロレンズに割り振られた撮像素子の画素数に依存する。したがって、撮像レンズのサイズ制限や解像度の低減を抑制するために、一般的に、このような撮像装置を用いて得られる多視点画像は、視差量が不足し、視覚的効果の立体感（奥行き感）を十分に大きくすることが困難であった。

［画像処理装置］
図１２は、画像処理装置の主な構成例を示すブロック図である。図１２に示される画像処理装置１００は、画像処理装置５０と同様に、ライトフィールドカメラにより撮像されて得られた撮像画像（多視点画像）に対して画像処理を行い、立体表示（所謂３Ｄ表示）用の画像（右眼用画像および左眼用画像）を生成する。

ただし、画像処理装置１００は、多視点画像の立体感を制御することができる。つまり、画像処理装置１００は、生成する右眼用画像および左眼用画像の視差量を制御することにより、立体表示の立体感（奥行き感）を、より適切な程度得ることができる。

図１２に示されるように、画像処理装置１００は、視点分離部１０１、現像部１０２−１乃至現像部１０２−４、補正部１０３−１乃至補正部１０３−４、SR部１０４、NR部１０５−１およびNR部１０５−２、並びに、視差強調部１０６を有する。

なお、以下において、現像部１０２−１乃至現像部１０２−４を互いに区別して説明する必要が無い場合、単に、現像部１０２と称する。また、以下において、補正部１０３−１乃至補正部１０３−４を互いに区別して説明する必要が無い場合、単に、補正部１０３と称する。さらに、NR部１０５−１およびNR部１０５−２を互いに区別して説明する必要が無い場合、単に、NR部１０５と称する。

視点分離部１０１は、視点分離部５１と基本的に同様の処理部であるが、入力画像を視点毎に分離し、全ての視点の画像を生成する。つまり、視点分離部１０１は、各画素の位置および画素値によって、光の強度分布、および、その光の進行方向を表し、多視点の画像を含む多視点画像データを、視点毎に分離し、複数の単視点画像データを生成する。図１２の例の場合、視点分離部１０１は、撮像画像を４視点の画像に分離している。

視点分離部１０１は、分離した各視点の画像（単視点画像データ）を、それぞれに対応する現像部１０２に供給する。図１２の例の場合、視点分離部１０１は、４視点の画像を、現像部１０２−１乃至現像部１０２−４に供給する。

現像部１０２は、現像部５２と基本的に同様の処理部であり、供給されたRAW画像（単視点画像データ）に対して現像処理を行い、処理結果を、自身に対応する補正部１０３に供給する。補正部１０３は、補正部５３と基本的に同様の処理部であり、供給された画像（単視点画像データ）に対して補正処理を行い、処理結果を、SR部１０４に供給する。

なお、説明の便宜上、図１２においては、現像部１０２および補正部１０３を４つずつ示しているが、現像部１０２および補正部１０３は、全ての視点について設けられる。例えば、図２の例の場合、撮像画像は９視点の画像を含む。この場合、現像部１０２および補正部１０３は、９つずつ設けられる。視点分離部１０１は、撮像画像を視点毎に分離して９つの画像を生成し、９つの現像部１０２および補正部１０３は、それぞれ、互いに異なる視点の画像を処理する。

SR部１０４は、基本的にSR部５４と同様の構成を有し、同様の超解像処理を行う。つまり、SR部１０４は、供給された単視点画像データの画像を高解像度化する超解像処理を行う。ただし、SR部１０４は、供給される全ての視点の画像を低解像度画像 g1, g2, g3 … gnとして用いて超解像処理を行い、２視点の高解像度画像（視点Ｒ画像および視点Ｌ画像）を生成する。SR部１０４は、生成した高解像度の視点Ｒ画像をNR部１０５−１に供給し、高解像度の視点Ｌ画像をNR部１０５−２に供給する。

NR部１０５は、NR部５５と基本的に同様の処理部であり、同様のノイズリダクション処理を行う。つまり、NR部１０５は、複数の単視点画像データのそれぞれに対して、ノイズを低減させるノイズリダクション処理を行う。NR部１０５は、処理結果であるNR画像を視差強調部１０６に供給する。

視差強調部１０６は、供給された視点Ｒ画像および視点Ｌ画像の視差量を補正し、視差を強調したり、低減させたりする。つまり、視差強調部１０６は、複数の単視点画像データ同士の視差量を制御する。視差強調部１０６は、視差量補正した各視点の画像を出力する。

［視差強調］
次に、視差強調の方法について説明する。そもそもユーザが感じる立体感は、主に右眼で見る右眼用画像（視点Ｒ画像）と、主に左眼で見る左眼用画像（視点Ｌ画像）とで、物体の位置が互いに異なることにより生じる。この両画像における共通の物体の位置の差が視差である。この視差が大きいほど、立体表示された画像を見るユーザが感じる立体感（奥行き感）が大きくなる。例えば、共通の物体の、視点Ｒ画像における位置をより右にし、視点Ｌ画像における位置をより左にすることにより、ユーザが感じるその物体の位置（知覚画像の位置）は、より奥（遠く）になる。逆に、共通の物体の、視点Ｒ画像における位置をより左にし、視点Ｌ画像における位置をより右にすることにより、ユーザが感じるその物体の位置（知覚画像の位置）は、より手前（近く）になる。視点Ｒ画像における位置が、視点Ｌ画像における位置よりも左になると、その物体の位置（知覚画像の位置）は、平面表示された場合（視差ゼロの場合）の位置よりも手前になる。

したがって、視差強調部１０６は、物体の知覚画像をより奥に表示させる場合、図１３の上の段に示されるように、視点Ｒ画像におけるその物体の画像をより右に移動させ、視点Ｌ画像におけるその物体の画像をより左に移動させる。逆に、物体の知覚画像をより手前に表示させる場合、視差強調部１０６は、図１３の下の段に示されるように、視点Ｒ画像におけるその物体の画像をより左に移動させ、視点Ｌ画像におけるその物体の画像をより右に移動させる。

このようにすることにより、図１４に示されるように、物体の知覚画像が、表示面より手前に移動したり、奥に移動したりする。つまり、視差強調部１０６は、視差量を制御することにより、立体表示される画像の立体感（奥行き感）を制御することができる。

このように視差強調部１０６により画像の立体感が制御されるので、画像処理装置１００は、所望の立体感が得られる立体表示用画像（十分な視差量を有する視点Ｒ画像および視点Ｌ画像）を得ることができる。

［視差強調部］
図１５は、図１２の視差強調部１０６の主な構成例を示すブロック図である。図１５に示されるように、視差強調部１０６は、ディスパリティ検出部１１１、距離情報生成部１１２、微分信号生成部１１３、補正部１１４、セレクタ１１５、加算部１１６、減算部１１７、およびセレクタ１１８を有する。

ディスパリティ検出部１１１は、NR部１０５−１から供給される視点Ｒ画像と、NR部１０５−２から供給される視点Ｌ画像との視差量を直接的若しくは間接的に示すパラメータであるディスパリティを検出する。ディスパリティ検出部１１１は、検出したディスパリティを距離情報生成部１１２に供給する。

距離情報生成部１１２は、ディスパリティ検出部１１１から供給される両画像間のディスパリティに基づいて、ユーザから補正対象となる物体の知覚画像までの現在の距離を特定し、その現在の距離と目標位置とに基づいて、微分信号の補正量を求める。距離情報生成部１１２は、求めた距離情報を補正部１１４に供給する。

微分信号生成部１１３は、視点Ｒ画像（若しくは視点Ｌ画像でも良い）を微分し、微分信号を生成する。微分信号生成部１１３は、生成した微分信号を補正部１１４に供給する。

補正部１１４は、微分信号生成部１１３から供給された微分信号を、距離情報生成部１１２から供給される補正量を用いて補正する。この微分信号の補正により、視点Ｒ画像および視点Ｌ画像における物体の視差強調のための移動量が補正される。補正部１１４は、補正後の微分信号を、加算部１１６および減算部１１７に供給する。

セレクタ１１５およびセレクタ１１８は、入出力される視点Ｒ画像を加算部１１６に供給するか、若しくは、減算部１１７に供給するかを制御する。つまり、この入出力の切り替えにより、視点Ｒ画像および視点Ｌ画像のそれぞれに補正後の微分信号が加算されるか減算されるかが制御される。

加算部１１６は、セレクタ１１５を介して入力された視点Ｒ画像若しくは視点Ｌ画像に、補正部１１４から供給される補正後微分信号を加算することにより、視点Ｒ画像若しくは視点Ｌ画像を補正する。加算部１１６は、補正後の画像を、セレクタ１１８を介して、視点Ｒ画像若しくは視点Ｌ画像として、視差強調部１０６の外部に出力する。

減算部１１７は、セレクタ１１５を介して入力された視点Ｒ画像若しくは視点Ｌ画像から、補正部１１４から供給される補正後微分信号を減算する。これにより、視点Ｒ画像若しくは視点Ｌ画像が補正される。つまり、減算部１１７は、補正後の画像を、セレクタ１１８を介して、視点Ｒ画像若しくは視点Ｌ画像として、視差強調部１０６の外部に出力する。

図１６を参照して補正の様子の例を説明する。例えば、視差強調部１０６に、視点Ｒ画像および視点Ｌ画像として、図１６の１番上の段の波形のような画像（視差ゼロ）が入力されるとする。微分信号生成部１１３は、この信号を微分して、図１６の上から２段目の波形のような微分信号を生成する。この場合、微分信号は、入力信号が立ち上がる部分（区間Ａ）において正の値をとり、入力信号が立ち下がる部分（区間Ｂ）において負の値をとる。

加算部１１６は、この微分信号と入力信号とを加算することにより、図１６の一番下の段に示されるような左眼用画像信号を生成する。この場合、左眼用画像信号は、入力信号と比較して、高輝度領域の位置が左にシフトしている。

減算部１１７は、この入力信号から微分信号を減算することにより、図１６の上から３段目に示されるような右眼用画像信号を生成する。この場合、右眼用画像信号は、入力信号と比較して、高輝度領域の位置が右にシフトしている。

以上のように、視差強調部１０６は、入力画像に対して微分信号を加算若しくは減算することにより、高輝度領域の位置、すなわち、物体の位置、つまり、視差量を容易に制御することができる。

なお、補正部１１４は、微分信号に補正量を乗算することにより、視差量を制御する。つまり、この補正量は、微分信号の非ゼロの部分の幅（ＡおよびＢ）を制御するものである。

微分信号生成部１１３は、図１７に示されるように、各フレームに対して微分信号を生成する。つまり、微分信号生成部１１３によって各フレームの入力画像が微分される。また、加算部１１６および減算部１１７は、各フレームに対して右眼用画像と左眼用画像とを生成する。

［画像処理の流れ］
図１８のフローチャートを参照して、図１２の画像処理装置１００により実行される画像処理の流れの例を説明する。

画像処理が開始されると、ステップＳ１０１において、視点分離部１０１は、入力画像を視点毎に分離する。ステップＳ１０２において、現像部１０２は、ステップＳ１０１において生成された各視点の画像を現像する。ステップＳ１０３において、補正部１０３は、ステップＳ１０２の処理により現像された各視点の画像を補正する。

ステップＳ１０４において、SR部１０４は、ステップＳ１０３の処理により補正された各視点の画像を用いて超解像処理を行う。ステップＳ１０５において、NR部１０５は、視点Ｒ画像および視点Ｌ画像のそれぞれについて、ノイズリダクション処理を実行する。

ステップＳ１０６において、視差強調部１０６は、ステップＳ１０５の処理によりノイズリダクションされた画像に対して視差強調を行う。視差強調が完了すると、視差強調部１０６は、画像処理を終了する。

次に、図１９のフローチャートを参照して、図１８のステップＳ１０６において実行される視差強調処理の流れの例を説明する。

視差強調処理が開始されると、ステップＳ１２１において、ディスパリティ検出部１１１は、視点Ｒ画像および視点Ｌ画像の間のディスパリティを検出する。

ステップＳ１２２において、距離情報生成部１１２は、ステップＳ１２１において検出されたディスパリティの大きさに基づいて微分信号の補正量を決定する。

ステップＳ１２３において、微分信号生成部１１３は、入力画像（視点Ｒ画像および視点Ｌ画像）から微分信号を生成し、補正部１１４は、その微分信号を、ステップＳ１２２において決定された補正量で補正する。

ステップＳ１２４において、セレクタ１１５およびセレクタ１１８は、加算部１１６および減算部１１７の入出力の接続を適宜切り替え、各視点の入力信号に対する微分信号の加減算を選択する。

図１３および図１４を参照して説明したように、立体表示された画像を見るユーザが感じる画像上の物体の奥行き方向の位置（知覚画像の位置）を手前に移動させるか、奥に移動させるかによって、各視点の画像における、その物体の移動させるべき方向が変わる。また、図１６を参照して説明したように、画像に対して微分信号を加算する場合と減算する場合とで物体の移動方向が変わる。したがって、その物体の移動させたい方向（つまり、視差量を増大させるか減少させるか）によって、微分信号を加算させるか減算させるかが決定される。

ステップＳ１２５において、加算部１１６は、ステップＳ１２４において選択された視点の入力信号（視点Ｒ画像若しくは視点Ｌ画像）に、ステップＳ１２３において補正された微分信号を加算する。

ステップＳ１２６において、減算部１１７は、ステップＳ１２４において選択された視点の入力信号（視点Ｒ画像若しくは視点Ｌ画像）に、ステップＳ１２３において補正された微分信号を減算する。

ステップＳ１２７において、セレクタ１１８は、ステップＳ１２４の処理による選択に従って、ステップＳ１２５の処理により得られた加算結果と、ステップＳ１２６の処理により得られた減算結果とを、それぞれ、各視点の補正結果として出力する。

つまり、視点Ｒ画像に微分信号を加算し、視点Ｌ画像から微分信号を減算した場合であっても、視点Ｒ画像から微分信号を減算し、視点Ｌ画像に微分信号を加算した場合であっても、セレクタ１１８は、視点Ｒ画像の演算結果を視点Ｒ画像（の補正結果）として出力し、視点Ｌ画像の演算結果を視点Ｌ画像（の補正結果）として出力する。

ステップＳ１２７の処理が終了すると、セレクタ１１８は、視差強調処理を終了し、処理を図１８に戻す。

以上のように各処理を実行することにより、画像処理装置１００は、所望の立体感が得られる立体表示用画像（十分な視差量を有する視点Ｒ画像および視点Ｌ画像）を得ることができる。

また、上述したように、画像処理装置１００のSR部１０４は、全ての視点の画像を低解像度画像 g1, g2, g3 … gnとして用いて超解像処理を行う。したがって、ライトフィールドカメラにより得られた処理対象の画像の視点数が３以上である場合、SR部１０４は、図５等を参照して上述したSR部５４の場合よりも多くの低解像度画像数を用いて超解像処理を行うことができるので、超解像処理結果の画像の画質を向上させることができる。つまり、SR部１０４は、画像処理装置５０においては単に破棄されていた、立体表示用の２視点以外の画像（視点Ｒ画像および視点Ｌ画像以外の画像）も利用して超解像処理を行うことにより、すなわち、画像データの利用効率を向上させることにより、処理結果の画像の画質を向上させることができる。

なお、時間方向の複数の画像数を増やすことにより、低解像度画像 g1, g2, g3 … gnの数を増やすことも可能であるが、その場合、画像を保持しておく必要があり、その分必要なバッファ量が増大し（ハードウェアリソースへの負荷が増大し）、コストや回路規模が増大してしまう可能性ある。SR部１０４は、注目フレームの画像のみで低解像度画像 g1, g2, g3 … gnの数を増やすことができる。

なお、以上においては、現像部１０２および補正部１０３が全ての視点の画像に対して設けられるように説明したが、これに限らず、一部の視点の画像のみが現像処理および補正処理されるようにしてもよい。例えば、図１２の例において、撮像画像が９視点の画像を含み、視点分離部１０１が、その中から４視点の画像を生成し、現像部１０２−１乃至現像部１０２−４に供給するものとしてもよい。その場合、SR部１０４において使用される低解像度画像 g1, g2, g3 … gnが、全ての視点の画像を用いる場合よりは低減するが、２視点の画像のみを用いる場合よりは、画質を向上させることができる。

［処理の共通化］
以上のように、視差強調部１０６を設けることにより、画像処理装置１００は、立体感を制御することができるが、その分、画像処理の負荷は増大してしまう。つまり、ハードウェアリソースへの負荷が増大し、コスト、回路規模、および処理時間等が増大してしまう可能性ある。

そこで、できるだけ画像処理の負荷を低減させるために、各処理部が行う同様の処理を共通化し、その処理結果を複数の処理部で共有するようにしてもよい。

［SR部］
例えば、SR部１０４においては、図４を参照して説明したように、視点Ｒ画像と視点Ｌ画像とのそれぞれについて超解像処理を行い、それぞれの超解像処理において、両画像間のディスパリティの検出が行われる。そこで、このディスパリティの検出を視点毎の超解像処理において共通化するようにしてもよい。

図２０は、その場合のSR部１０４の主な構成例を示すブロック図である。

図２０に示されるように、この場合のSR部１０４は、ディスパリティ検出部１５１、視点Ｒ超解像処理部１５２−１、および、視点Ｌ超解像処理部１５２−２を有する。以下において、視点Ｒ超解像処理部１５２−１と視点Ｌ超解像処理部１５２−２を互いに区別して説明する必要が無い場合、単に超解像処理部１５２と称する。

ディスパリティ検出部１５１は、視点間のディスパリティを超解像処理とは独立して、各視点の画像を用いて検出し、検出したディスパリティを、視点Ｒ超解像処理部１５２−１および視点Ｌ超解像処理部１５２−２に供給する。

視点Ｒ超解像処理部１５２−１は、ディスパリティ検出部１５１から供給されたディスパリティを用いて、視点Ｒ画像についての超解像処理を行う。視点Ｌ超解像処理部１５２−２は、ディスパリティ検出部１５１から供給されたディスパリティを用いて、視点Ｌ画像についての超解像処理を行う。

超解像処理部１５２は、基本的に、超解像処理部６０と同様の構成を有し、同様の処理を行う。ただし、超解像処理部１５２は、超解像処理部６０の場合と異なり、全ての視点の画像を低解像度画像 g1, g2, g3 … gnとして用いて超解像処理を行う。また、超解像処理部６０が、各低解像度画像 gkと、初期画像若しくは超解像処理の途中結果との間で動き検出を行い、その動きベクトルを用いて超解像処理を行うのに対し、超解像処理部１５２は、ディスパリティ検出部１５１から供給された各視点間のディスパリティを用いて、超解像処理を行う。

つまり、ディスパリティ検出部１５１の処理は、SR部５４の場合の動き検出部８０（図７）の処理に相当する。つまり、SR部５４の場合、視点毎に行われていた処理（重複して行われていた処理）が、図２０の例のSR部１０４の場合、共通化されており、視点Ｒ画像に対する超解像処理と、視点Ｌ画像に対する超解像処理の両方に利用される。したがって、この場合のSR部１０４は、超解像処理の負荷を低減させることができる。つまり、画像処理装置１００は、画像処理の負荷を低減させることができる。そのため、画像処理装置１００は、ハードウェアリソースをより効率よく利用して画像処理を行うことができ、コストの増大、回路規模の増大、および処理時間の増大を抑制することができる。

［超解像処理の流れ］
図２１のフローチャートを参照して、このSR部１０４により、図１８のステップＳ１０４において実行される超解像処理の流れの例を説明する。

超解像処理が開始されると、ステップＳ１５１において、ディスパリティ検出部１５１は、全ての視点間のディスパリティを検出する。ステップＳ１５２において、視点Ｒ超解像処理部１５２−１は、全ての視点の画像と、ステップＳ１５１において検出されたディスパリティとを用いて、視点Ｒの超解像処理を行う。ステップＳ１５３において、視点Ｌ超解像処理部１５２−２は、全ての視点の画像と、ステップＳ１５１において検出されたディスパリティとを用いて、視点Ｌの超解像処理を行う。

ステップＳ１５３の処理が終了すると、視点Ｌ超解像処理部１５２−２は、超解像処理を終了し、処理を図１８に戻す。

このように処理を行うことにより、SR部１０４は、超解像処理の負荷を低減させることができる。

［画像処理装置］
以上においては、立体表示用の視点Ｒと視点Ｌの２視点の画像のみ超解像処理を行い、さらにノイズリダクション処理や視差強調を行って、出力するように説明したが、出力すする画像の視点数は、任意である。例えば、全ての視点の画像を出力するようにしてもよい。その場合、超解像処理、ノイズリダクション処理、および視差強調処理は、それぞれ、全ての視点の画像に対して行われる。

図２２は、画像処理装置の主な構成例を示すブロック図である。図２２に示される画像処理装置１６０は、基本的に画像処理装置１００と同様の装置であるが、画像処理装置１００とハ異なり、全ての画像を、超解像処理、ノイズリダクション処理、および視差強調処理し、出力する。

図２２に示されるように、画像処理装置１６０は、基本的に画像処理装置１００と同様の構成を有するが、SR部１０４の代わりにSR部１６４を有し、視差強調部１０６の代わりに視差強調部１６６を有する。

SR部１６４は、全ての視点の画像に対して超解像処理を行う。つまり、SR部１６４は、超解像処理部６０を全ての視点についてそれぞれ有する。なお、ここで図２０を参照して説明したように、ディスパリティ検出を全ての視点の画像に対する超解像処理において共通化するようにしてもよい。つまり、SR部１６４が、ディスパリティ検出部１５１を有し、さらに、超解像処理部１５２を全ての視点についてそれぞれ有するようにしてもよい。

視差強調部１６６は、全ての視点について、各視点間の視差を強調する。つまり、視差強調部１６６は、全ての２視点の組み合わせ（視点対）に対して、図１５に示されるような構成を有する。各視点対に対する視差強調は、それぞれ独立に行われるようにしてもよいし、互いに調整しながら行われるようにしてもよい。

また、画像処理装置１６０は、NR部１０５を視点毎に有する（NR部１０５−１乃至NR部１０５−４）。図２２の例の場合、図１２の例の場合と同様に４視点分の構成のみ示されているが、現像部１０２、補正部１０３、およびNR部１０５は、全ての視点の画像に対して設けられる。例えば、図２の例のように視点数が９の場合、現像部１０２、補正部１０３、およびNR部１０５は、それぞれ、９つずつ設けられる。

このようにすることにより、画像処理装置１６０は、全ての視点の画像を高解像度化して出力することができる。したがって、その出力画像を用いて処理を行う後段の処理部において、任意の視点の画像を利用することができる。つまり、画像処理装置１６０は、画像処理の処理対象である画像データ（多視点画像データ）の利用効率を向上させることができる。

［画像処理の流れ］
この場合の画像処理の流れの例を図２３のフローチャートを参照して説明する。

ステップＳ１６１乃至ステップＳ１６３の各処理は、図１８のステップＳ１０１乃至ステップＳ１０３の各処理と同様に実行される。

ステップＳ１６４において、SR部１６４は、各視点の画像に対して超解像処理を行う。ステップＳ１６５において、NR部１０５は、各視点の画像に対してノイズリダクション処理を行う。ステップＳ１６６において、視差強調部１６６は、全ての視点間の視差を強調する。

ステップＳ１６６の処理を終了すると、視差強調部１６６は、画像処理を終了する。

このように処理を行うことにより、画像処理装置１６０は、全ての視点の画像を高解像度化して出力することができる。

［画像処理装置］
さらに、視差強調された全ての視点の画像から、所望の視点の画像を選択して出力することができるようにしてもよい。

図２４は、画像処理装置の主な構成例を示すブロック図である。図２４に示される画像処理装置１７０は、基本的に、画像処理装置１６０と同様の装置である。画像処理装置１７０は、画像処理装置１６０の構成に加え、セレクタ１７７を有する。

セレクタ１７７は、視差強調部１６６から出力される、高解像度化された全ての視点の画像を取得し、その中から（例えばユーザが）所望の視点の画像を選択し、出力する。図２４においては、セレクタ１７７が、４視点の画像を入力し、その中から２視点の画像を選択して出力するように示されているが、セレクタ１７７に入出力される画像数（視点数）は（出力数が入力数以下であれば）任意である。

このようにすることにより、画像処理装置１７０は、所望の視点の画像を出力させることができる。なお、セレクタ１７７の代わりに、入力された複数視点の画像を用いて、新たな視点の画像を生成する合成処理部を設けるようにしてもよい。その場合、合成処理部は、新たな視点の画像を出力することができるだけでなく、入力された画像数（視点数）よりも多くの視点の画像を出力することもできる。

このように、視差強調部１６６の後段には、任意の処理部を設けることができる。

［画像処理の流れ］
図２５のフローチャートを参照して、この場合の画像処理の流れの例を説明する。

ステップＳ１７１乃至ステップＳ１７６の各処理は、ステップＳ１６１乃至ステップＳ１６６の各処理と同様に実行される。ステップＳ１７７において、セレクタ１７７は、出力する視点の画像を選択する。ステップＳ１７７の処理が終了すると、セレクタ１７７は、画像処理を終了する。

このように処理を行うことにより、画像処理装置１７０は、所望の視点の画像を出力させることができる。

［画像処理装置］
例えば図２０を参照して、SR部においてディスパリティが検出されるように説明したが、その検出されたディスパリティを視差強調部において使用することができるようにしてもよい。

図２６は、画像処理装置の主な構成例を示すブロック図である。図２６に示される画像処理装置２００は、画像処理装置１００と基本的に同様の装置であり、基本的に同様の構成を有し、同様の処理を行う。ただし、画像処理装置２００は、SR部１０４の代わりにSR部２０４を有する。また、視差強調部１０６の代わりに視差強調部２０６を有する。

SR部２０４は、基本的にSR部１０４と同様の構成を有し、同様の処理を行う。SR部２０４は、全ての視点間のディスパリティを検出するディスパリティ検出部２１１を有する。つまり、ディスパリティ検出部２１１は、図２０のディスパリティ検出部１５１と同様の処理部である。つまり、SR部２０４は、基本的に図２０のSR部１０４と同様の構成を有する。つまり、ディスパリティ検出部２１１において検出されたディスパリティは、SR部２０４による各視点の画像に対する超解像処理に用いられる。

ただし、画像処理装置２００の場合、ディスパリティ検出部２１１において検出されたディスパリティは、さらに、視差強調部２０６に供給される。

視差強調部２０６は、基本的に視差強調部１０６と同様の処理部であり、同様の構成を有し、同様の処理を行う。ただし、視差強調部２０６は、ディスパリティ検出部２１１から供給される全ての視点間のディスパリティを用いて視差強調処理を行う。つまり、視差強調部２０６は、例えば、図１５に示される例の構成を有するが、その構成の内、ディスパリティ検出部１１１が省略される。距離情報生成部１１２は、ディスパリティ検出部２１１から供給される全ての視点間のディスパリティの中から処理対象の視点間のディスパリティを特定し、そのディスパリティを用いて微分信号の補正量を決定する。

このようにすることにより、画像処理装置２００は、ディスパリティ検出処理を共通化することにより、視差強調処理におけるディスパリティ検出処理を省略することができる。つまり、画像処理装置２００は、視差強調処理の負荷を低減させることができる。つまり、画像処理装置２００は、画像処理の負荷を低減させることができる。そのため、画像処理装置２００は、ハードウェアリソースをより効率よく利用して画像処理を行うことができ、コストの増大、回路規模の増大、および処理時間の増大を抑制することができる。

［画像処理の流れ］
図２７のフローチャートを参照して、この場合の画像処理の流れの例を説明する。

ステップＳ２０１乃至ステップＳ２０３の各処理は、ステップＳ１０１乃至ステップＳ１０３の各処理と同様に行われる。

ステップＳ２０４において、SR部２０４は、ディスパリティ検出部２１１を用いて、全ての視点間のディスパリティを検出し、そのディスパリティを用いて超解像処理を行う。

ステップＳ２０５の処理は、ステップＳ１０５の処理と同様に実行される。

ステップＳ２０６において、視差強調部２０６は、ステップＳ２０４の超解像処理の際に検出されたディスパリティを用いて視点Ｒ画像および視点Ｌ画像の間の視差を強調する。

ステップＳ２０６の処理が終了すると、視差強調部２０６は、画像処理を終了する。

このように処理を行うことにより、画像処理装置２００は、視差強調処理におけるディスパリティ検出処理を省略することができ、視差強調処理の負荷を低減させることができる。

［画像処理装置］
以上においてはディスパリティ検出処理を共通化するように説明したが、それ以外にも、例えば、ノイズリダクション処理において行われる動き検出処理を共通化するようにしてもよい。上述したように、ノイズリダクション処理は、各視点の画像に対してそれぞれ行われる。つまり、多視点画像を処理対象とする場合、ノイズリダクション処理は複数回繰り返される。その場合、ノイズリダクション処理において行われる動き検出が、複数回行われることになり、冗長である。したがって、この動き検出を、各視点共通の処理とすることにより、負荷の増大を抑制することができる。

図２８は、この場合の画像処理装置の主な構成例を示すブロック図である。図２８に示される画像処理装置２５０は、基本的に画像処理装置１００と同様の構成を有するが、NR部１０５−１の代わりにNR部２５５−１を有し、NR部１０５−２の代わりにNR部２５５−２を有する。また、画像処理装置２５０は、動き検出部２５１を有する。以下において、NR部２５５−１およびNR部２５５−２を互いに区別する必要が無い場合、単にNR部２５５と称する。

動き検出部２５１は、視点Ｒの超解像処理結果の画像（高解像度化された画像）と、NR部２５５−１による視点Ｒのノイズリダクション処理結果（ノイズが低減された画像）の画像との間の動き検出を行い、その動きベクトルを生成する。この動きベクトルは、NR部２５５−１およびNR部２５５−２に供給される。

NR部２５５−１は、視点Ｒ画像に対してノイズリダクション処理を行う。NR部２５５−１は、基本的にNR部５５と同様の構成（図９）を有するが、動き予測処理部９２は省略される。その代わり、NR部２５５−１には、動き検出部２５１の出力（動きベクトル）が供給される。NR部２５５−１は、この動きベクトルを用いて参照画像の動き補償を行い、その動き補償結果を用いて加算判定や加算処理を行う。

NR部２５５−２は、視点Ｌ画像に対してノイズリダクション処理を行う。このNR部２５５−２にも、動き検出部２５１の出力（動きベクトル）が供給される。つまりNR部２５５−２も、この動きベクトルを用いて参照画像の動き補償を行い、その動き補償結果を用いて加算判定や加算処理を行う。

一般的に動き検出処理は、負荷が大きいので、このように、各視点の画像に対するノイズリダクション処理の動き検出処理を共通化することにより、画像処理装置２５０は、ノイズリダクション処理の負荷を低減させることができる。つまり、画像処理装置２５０は、画像処理の負荷を低減させることができる。そのため、画像処理装置２５０は、ハードウェアリソースをより効率よく利用して画像処理を行うことができ、コストの増大、回路規模の増大、および処理時間の増大を抑制することができる。

なお以上においては、動き検出部２５１が視点Ｒの画像を用いて動き検出を行うように説明したが、動き検出に利用する画像の視点は任意である。例えば、動き検出部２５１が、視点Ｌの画像を用いて動き検出を行うようにしてもよい。

［画像処理の流れ］
図２９のフローチャートを参照して、この場合の画像処理の流れの例を説明する。ステップＳ２５１乃至ステップＳ２５４の各処理は、図１８のステップＳ１０１乃至ステップＳ１０４の各処理と同様に実行される。

ステップＳ２５５において、動き検出部２５１は、所定の視点のノイズリダクション処理前後の画像を用いて動き検出を行う。

ステップＳ２５６において、NR部２５５は、ステップＳ２５４の処理により検出された動きベクトルを用いて、出力する各視点の画像に対してノイズリダクション処理を行う。

ステップＳ２５７において、視差強調部１０６は、出力する視点間（視点Ｒおよび視点Ｌの間）の視差量を制御する視差強調を行う。

ステップＳ２５７の処理が終了すると、視差強調部１０６は、画像処理を終了する。

このように処理を行うことにより、画像処理装置２５０は、動き検出処理を各視点間で共通化することができ、ノイズリダクション処理の負荷を低減させることができる。

［画像処理装置］
以上においては、超解像処理とノイズリダクション処理とが行われるように説明したが、これらの処理を統合し、超解像処理とノイズリダクション処理をまとめて行うようにしてもよい。

図３０は、その場合の画像処理装置の主な構成例を示すブロック図である。図３０に示される画像処理装置３００は、基本的に画像処理装置２００と同様の構成を有し、同様の処理を行うが、SR部２０４およびNR部１０５の代わりに、SR・NR部３０４を有する。

SR・NR部３０４は、超解像処理とノイズリダクション処理の両方を行う。その際、SR・NR部３０４は、超解像処理とノイズリダクション処理をまとめて行う。SR・NR部３０４は、このような処理を出力する各視点の画像（視点Ｒ画像および視点Ｌ画像のそれぞれ）について行う。また、SR・NR部３０４は、ディスパリティ検出部３１１を有する。

ディスパリティ検出部３１１は、ディスパリティ検出部２１１と同様の処理部であり、出力する視点の画像間（視点Ｒ画像および視点Ｌ画像の間）のディスパリティを検出する。SR・NR部３０４は、その検出されたディスパリティを用いて超解像処理を行う。また、ディスパリティ検出部３１１により検出されたディスパリティは、視差強調部２０６に供給され、視差強調処理に使用される。

［SR・NR部］
図３１は、SR・NR部の主な構成例を示すブロック図である。図３１に示されるように、SR・NR部３０４は、ディスパリティ検出部３１１、入力画像バッファ３２１、SR部３２２、SR処理画像バッファ３２３、NR部３２４、NRSR処理画像バッファ３２５、および初期画像バッファ３２６を有する。

入力画像バッファ３２１は、補正部１０３から供給される各視点の画像を取得し、記憶する。入力画像バッファ３２１は、所定のタイミングにおいて、若しくは、他からの要求に従って、任意の１視点を注目視点に選択し、記憶している注目視点の画像をSR部３２２に供給する。また、入力画像バッファ３２１は、全ての視点の画像をディスパリティ検出部３１１に供給する。

ディスパリティ検出部３１１は、入力画像バッファ３２１から読み出された全ての視点の画像を用いて全ての視点間のディスパリティを検出する。ディスパリティ検出部３１１は、検出したディスパリティをSR部３２２に供給する。なお、上述したように、ディスパリティ検出部３１１は、検出したディスパリティを視差強調部２０６にも供給する。

SR部３２２は、入力画像バッファ３２１から供給される入力画像、初期画像バッファ３２６から供給される初期画像、および、ディスパリティ検出部３１１から供給されるディスパリティを用いて、超解像処理を行う。SR部３２２は、超解像処理結果であるSR処理画像をSR処理画像バッファ３２３に供給し、記憶させる。

SR処理画像バッファ３２３は、供給されたSR処理画像を記憶する。また、SR処理画像バッファ３２３は、所定のタイミングにおいて、若しくは、他からの要求に従って、自身が記憶しているSR処理画像をNR部３２４に供給する。

NR部３２４は、SR処理画像バッファ３２３から供給されるSR処理画像と、初期画像バッファ３２６から供給される初期画像とを用いてノイズリダクション処理を行う。NR部３２４は、その処理結果（NRSR処理画像）をNRSR処理画像バッファ３２５に供給し、記憶させる。

NRSR処理画像バッファ３２５は、供給されたNRSR処理画像を記憶する。また、NRSR処理画像バッファ３２５は、所定のタイミングにおいて、若しくは、他からの要求に従って、自身が記憶しているNRSR処理画像を出力する。また、NRSR処理画像バッファ３２５は、所定のタイミングにおいて、若しくは、他からの要求に従って、自身が記憶しているNRSR処理画像を初期画像として初期画像バッファ３２６に供給し、記憶させる。

初期画像バッファ３２６は、入力画像バッファ３２１から供給された入力画像、若しくは、NRSR処理画像バッファ３２５から供給されたNRSR処理画像を、記憶する。また、初期画像バッファ３２６は、所定のタイミングにおいて、若しくは、他からの要求に従って、自身が記憶している初期画像をSR部３２２およびNR部３２４に供給する。

例えば、SR部１０４による超解像処理は、以下の式（２）のように表すことができる。

・・・（２）

また、例えば、NR部１０５によるノイズリダクション処理は、以下の式（３）のように表すことができる。

・・・（３）

これに対して、SR・NR部３０４は、超解像処理とノイズリダクション処理をまとめて行う。つまり、SR・NR部３０４は、上述した式（２）と式（３）とをまとめた、以下の式（４）のように表すことができる処理を行う。

・・・（４）

したがって、SR・NR部３０４は、超解像処理とノイズリダクション処理とをそれぞれ個別に行う場合よりも容易に、超解像処理およびノイズリダクション処理の両方が行われた処理結果の画像を得ることができる。

SR・NR部３０４は、以上のような処理を、出力する各視点（視点Ｒおよび視点Ｌ）に対して行う。なお、SR・NR部３０４は、図３１に示されるような構成を複数有し、複数の視点のそれぞれの画像対する処理を互いに並行して実行することができるようにしてもよい。
［画像処理の流れ］
図３２のフローチャートを参照して、この画像処理装置３００により実行される画像処理の流れの例を説明する。

ステップＳ３０１乃至ステップＳ３０３の各処理は、図２７のステップＳ２０１乃至ステップＳ２０３の各処理と同様に行われる。

ステップＳ３０４において、SR・NR部３０４は、全ての視点間のディスパリティを検出し、超解像処理とノイズリダクション処理を行う。

ステップＳ３０５の処理は、図２７のステップＳ２０６の処理と同様に行われる。ステップＳ３０５の処理が終了すると、視差強調部２０６は、画像処理を終了する。

［SRNR処理の流れ］
次に、図３２のステップＳ３０４において実行されるSRNR処理の流れの例を説明する。

SRNR処理が開始されると、ステップＳ３２１において、入力画像バッファ３２１は、全ての視点の画像を記憶する。

ステップＳ３２２において、ディスパリティ検出部３１１は、ステップＳ３１１において記憶された全ての視点の画像を用いて、全ての視点間のディスパリティを検出する。

ステップＳ３２３において、SR部３２２は、処理対象とする注目視点を選択する。

ステップＳ３２４において、初期画像バッファ３２６は、注目視点の画像を初期画像とする。

ステップＳ３２５において、SR部３２２は、任意の１視点を選択し、その視点の画像を入力画像バッファ３２１から取得する。

ステップＳ３２６において、SR部３２２は、ステップＳ３２２の処理により検出されたディスパリティと、初期画像と、ステップＳ３２５において選択した視点の画像とを用いて、注目視点の超解像処理を行う。

ステップＳ３２７において、SR処理画像バッファ３２３は、ステップＳ３２６の処理により生成された注目視点のSR処理画像を記憶する。

ステップＳ３２８において、NR部３２４は、ステップＳ３２７において記憶された注目視点のSR処理画像を、SR処理画像バッファ３２３から読み出し、その注目視点のSR処理画像と、初期画像バッファ３２６から読み出した初期画像とを用いてノイズリダクション処理を行う。

ステップＳ３２９において、NRSR処理画像バッファ３２５は、ステップＳ３２８の処理により生成されたNRSR処理画像を記憶する。

ステップＳ３３０において、NRSR処理画像バッファ３２５は、注目視点の超解像処理が終了したか否かを判定し、終了していないと判定された場合、処理をステップＳ３３１に進める。

ステップＳ３３１において、初期画像バッファ３２６は、ステップＳ３２９の処理により記憶されたNRSR処理画像を読み出し、初期画像として記憶する。ステップＳ３３１の処理が終了すると、初期画像バッファ３２６は、処理をステップＳ３２５に戻し、それ以降の処理を繰り返す。ステップＳ３２５においては、未処理の視点の中から１視点が新たに選択される。

ステップＳ３２５乃至ステップＳ３３１の各処理を繰り返し実行し、ステップＳ３３０において、注目視点の超解像処理が終了したと判定した場合、NRSR処理画像バッファ３２５は、処理をステップＳ３３２に進める。

ステップＳ３３２において、NRSR処理画像バッファ３２５は、所望の視点（出力する全ての視点）のNRSR処理画像を全て処理したか否かを判定する。未処理の画像が存在すると判定された場合、NRSR処理画像バッファ３２５は、処理をステップＳ３２３に戻し、それ以降の処理を繰り返す。ステップＳ３２３においては、未処理の視点の中から１視点が新たに選択される。

ステップＳ３２３乃至ステップＳ３３２の処理を繰り返し実行し、ステップＳ３３２において、所望の視点（出力する全ての視点）のNRSR処理画像を全て処理したと判定した場合、NRSR処理画像バッファ３２５は、処理をステップＳ３３３に進め、NRSR処理画像を出力する。ステップＳ３３３の処理が終了すると、NRSR処理画像バッファ３２５は、SRNR処理を終了し、処理を図３２に戻す。

以上のように各処理を行うことにより、SR・NR部３０４は、超解像処理とノイズリダクション処理とをそれぞれ個別に行う場合よりも容易に、超解像処理およびノイズリダクション処理の両方が行われた処理結果の画像を得ることができる。つまり、画像処理装置３００は、画像処理の負荷を低減させることができる。

［画像処理装置］
以上においては、画像処理装置３００が、注目フレームの他視点の画像を初期画像に用いるように説明したが、これに限らず、例えば、前フレームの画像を初期画像に利用するようにしてもよい。

図３４は、画像処理装置の主な構成例を示すブロック図である。図３４に示される画像処理装置４００は、基本的に画像処理装置３００と同様の装置であり、同様の構成を有し、同様の処理を行う。ただし、画像処理装置４００は、SR・NR部３０４の代わりに、SR・NR部４０４、動き検出部４１１、並びに、初期画像生成部４１２−１および初期画像生成部４１２−２を有する。

以下において、初期画像生成部４１２−１および初期画像生成部４１２−２を互いに区別して説明する必要が無い場合、単に、初期画像生成部４１２と称する。

図３４に示される画像処理装置４００において、SR・NR部４０４は、注目フレームの画像と、注目フレームより時間的に前の過去フレームの画像とを用いて生成される初期画像を用いて、超解像処理およびノイズリダクション処理を行う。

つまり、SR・NR部４０４は、例えば、図３１を参照して説明した構成例の初期画像バッファ３２６が省略され、その代わりに、初期画像生成部４１２から供給される初期画像がSR部３２２およびNR部３２４に供給されるような構成を有する。

動き検出部４１１は、初期画像生成に用いられる注目フレームの画像と過去フレームの画像とのフレーム間の動き（動きベクトル）を検出する。動き検出部４１１は、検出した動きベクトルを初期画像生成部４１２−１および初期画像生成部４１２−２に供給する。

初期画像生成部４１２−１は、出力する１視点（例えば視点Ｒ）についての初期画像を生成する。初期画像生成部４１２−１は、動き検出部４１１から供給される動きベクトルを用いて過去フレームの視点Ｒ画像の動き補償を行い、その動き補償結果と注目フレームの視点Ｒ画像を用いて初期画像を生成する。つまり、初期画像生成部４１２−１は、過去フレームの画像を注目フレームの画像に位置合わせしてから両画像を用いて初期画像を生成する。

初期画像生成部４１２−２は、出力する１視点（例えば視点Ｌ）についての初期画像を生成する。初期画像生成部４１２−２は、動き検出部４１１から供給される動きベクトルを用いて過去フレームの視点Ｌ画像の動き補償を行い、その動き補償結果と注目フレームの視点Ｌ画像を用いて初期画像を生成する。つまり、初期画像生成部４１２−２は、過去フレームの画像を注目フレームの画像に位置合わせしてから両画像を用いて初期画像を生成する。

つまり、初期画像生成部４１２は、出力する各視点についての初期画像を生成する。その際、初期画像生成部４１２は、過去フレームの画像を注目フレームの画像に位置合わせしてから両画像を用いて初期画像を生成する。初期画像生成部４１２は、生成した初期画像をSR・NR部４０４に供給する。

このように、超解像処理やノイズリダクション処理に用いられる初期画像を、過去フレームの画像を用いて生成するようにすることにより、画像処理装置４００は、生成されるNRSR画像の画質をより向上させることができる。

［画像処理の流れ］
この場合の画像処理の流れの例を図３５のフローチャートを参照して説明する。ステップＳ４０１乃至ステップＳ４０３の各処理は、図３２のステップＳ３０１乃至ステップＳ３０３の各処理と同様に実行される。

ステップＳ４０４において、動き検出部４１１は、入力画像とNRSR処理画像とを用いて動き検出を行う。

ステップＳ４０５において、初期画像生成部４１２は、ステップＳ４０４の処理により検出された動きベクトルを用いて、NRSR処理画像の動き補償を行い、初期画像を生成する。

ステップＳ４０６において、SR・NR部４０４は、全ての視点間のディスパリティを検出し、ステップＳ４０５の処理により生成された初期画像を用いて、超解像処理とノイズリダクション処理を行う。

ステップＳ４０７において、視差強調部２０６は、ステップＳ４０６の超解像処理の際に検出されたディスパリティを用いて視差強調する。

ステップＳ４０７の処理が終了すると、視差強調部２０６は、画像処理を終了する。

以上のように処理を行うことにより、画像処理装置４００は、生成されるNRSR画像の画質をより向上させることができる。

［画像処理装置］
さらに、過去フレームの画像として、注目視点の画像だけでなく、他視点の画像も用いて初期画像を生成するようにしてもよい。

図３６は、画像処理装置の主な構成例を示すブロック図である。図３６に示される画像処理装置４５０は、基本的に画像処理装置４００と同様の装置であり、同様の構成を有し、同様の処理を行う。ただし、画像処理装置４５０は、画像処理装置４００の構成に加え、フレームバッファ４５１−１およびフレームバッファ４５１−２をさらに有する。また、画像処理装置４５０は、初期画像生成部４１２−１および初期画像生成部４１２−２の代わりに、初期画像生成部４５２−１および初期画像生成部４５２−２を有する。

以下において、フレームバッファ４５１−１およびフレームバッファ４５１−２を互いに区別して説明する必要が無い場合、単に、フレームバッファ４５１と称する。また、初期画像生成部４５２−１および初期画像生成部４５２−２を互いに区別して説明する必要が無い場合、単に初期画像生成部４５２と称する。

SR・NR部４０４から出力された視点ＲのNRSR処理画像は、フレームバッファ４５１−１に供給され、記憶される。フレームバッファ４５１−１は、所定のタイミングにおいて、若しくは、他からの要求に基づいて、自身が記憶している視点ＲのNRSR処理画像を、過去フレームの画像として、動き検出部４１１、および初期画像生成部４５２−１に供給する。そしてフレームバッファ４５１−１は、さらに、その視点ＲのNRSR処理画像を、視点Ｌに対する初期画像生成部４５２−２にも供給する。

同様に、SR・NR部４０４から出力された視点ＬのNRSR処理画像は、フレームバッファ４５１−２に供給され、記憶される。フレームバッファ４５１−２は、所定のタイミングにおいて、若しくは、他からの要求に基づいて、自身が記憶している視点ＬのNRSR処理画像を、過去フレームの画像として、初期画像生成部４５２−２に供給する。そしてフレームバッファ４５１−２は、さらに、その視点ＬのNRSR処理画像を、視点Ｒに対する初期画像生成部４５２−１にも供給する。

初期画像生成部４５２−１は、注目フレームの視点Ｒ画像、過去フレームの視点Ｒ画像および視点Ｌ画像、並びに、動き検出部４１１により検出された動きベクトルを用いて、視点Ｒの初期画像を生成する。

初期画像生成部４５２−２は、注目フレームの視点Ｌ画像、過去フレームの視点Ｒ画像および視点Ｌ画像、並びに、動き検出部４１１により検出された動きベクトルを用いて、視点Ｌの初期画像を生成する。

すなわち、初期画像生成部４５２は、注目フレームの注目視点の画像、過去フレームの注目視点の画像および注目視点以外の視点の画像、並びに、動き検出部４１１により検出された動きベクトルを用いて、注目視点の初期画像を生成する。

このようにすることにより、初期画像生成部４５２は、より高画質な初期画像を生成することができる。したがって、SR・NR部４０４は、より高画質なNRSR処理画像を得ることができる。つまり、画像処理装置４５０は、生成されるNRSR画像の画質をより向上させることができる。

［画像処理の流れ］
図３７のフローチャートを参照して、画像処理装置４５０により実行される画像処理の流れの例を説明する。

ステップＳ４５１乃至ステップＳ４５４の各処理は、図３５のステップＳ４０１乃至ステップＳ４０４の各処理と同様に実行される。

ステップＳ４５５において、初期画像生成部４５２は、ステップＳ４５４の処理により検出された動きベクトル、注目視点の注目フレームの画像、注目視点の過去フレームの画像、および他視点の過去フレームの画像を用いて初期画像を生成する。

ステップＳ４５６およびステップＳ４５７の各処理は、図３５のステップＳ４０６およびステップＳ４０７の各処理と同様に実行される。

このように処理を実行することにより、画像処理装置４５０は、生成されるNRSR画像の画質をより向上させることができる。

［画像処理装置］
以上においては、SR部とNR部とが複数視点のNRSR処理画像を生成するように説明したが、SR部とNR部とが単視点（例えば中央視点）のNRSR処理画像を生成し、その単視点の画像から複数視点（例えば視点Ｒおよび視点Ｌ）の画像を生成するようにしてもよい。

図３８は、画像処理装置の主な構成例を示すブロック図である。図３８に示される画像処理装置５００は、基本的に図１２の画像処理装置１００と同様の装置であり、同様の構成を有し、同様の処理を行う。ただし、画像処理装置５００は、SR部１０４の代わりにSR部５０４を有し、NR部１０５の代わりにNR部５０５を有し、さらに、視点Ｒ画像生成部５０６−１および視点Ｌ画像生成部５０６−２を有する。

以下において、視点Ｒ画像生成部５０６−１および視点Ｌ画像生成部５０６−２を互いに区別して説明する必要が無い場合、単に、画像生成部５０６と称する。

SR部５０４は、図２０に示される例のSR部１０４のように超解像処理部１５２を複数有しておらず、１つのディスパリティ検出部１５１と１つの超解像処理部１５２を有する。その１つの超解像処理部１５２は、所定の１視点（例えば中央視点）の画像に対する超解像処理を行う。したがって、SR部５０４は、その所定の１視点（例えば中央視点）の超解像処理結果画像（SR処理画像）を出力し、NR部５０５に供給する。

なお、SR部５０４は、ディスパリティ検出部１５１において検出されたディスパリティを用いて、各画素の奥行き方向の位置を示すマップ情報であるデプスマップ（Depth Map）を生成するデプスマップ生成部（図示せず）を有する。このデプスマップは、表現方法が異なるだけで、ディスパリティと事実上等価である。SR部５０４は、このデプスマップを視点Ｒ画像生成部５０６−１および視点Ｌ画像生成部５０６−２にそれぞれ供給する。

NR部５０５は、単視点の画像を処理すること以外、NR部１０５と同様の処理部である。つまり、NR部５０５は、図９に示されるような構成を有し、SR部５０４から供給された所定の１視点（例えば中央視点）のSR処理画像に対してノイズリダクション処理を行い、その１視点（例えば中央視点）のNRSR処理画像を生成し、視点Ｒ画像生成部５０６−１および視点Ｌ画像生成部５０６−２にそれぞれ供給する。

視点Ｒ画像生成部５０６−１は、供給されたデプスマップを用いて、供給されたNRSR処理画像から視点Ｒ画像を生成し、生成した視点Ｒ画像を視差強調部１０６に供給する。

視点Ｌ画像生成部５０６−２は、供給されたデプスマップを用いて、供給されたNRSR処理画像から視点Ｌ画像を生成し、生成した視点Ｌ画像を視差強調部１０６に供給する。

つまり、画像生成部５０６は、SR部５０４から供給されるデプスマップを用いて、NR部５０５から供給されるNRSR処理画像から複数視点の画像を生成する。視差強調部１０６は、このように生成された複数視点の画像の視差量を制御する。

このようにすることにより、負荷の大きな超解像処理およびノイズリダクション処理を単視点の画像についてのみ行えばよいので、画像処理装置５００は、画像処理の負荷を低減させることができる。つまり、画像処理装置５００は、ハードウェアリソースをより効率よく利用して画像処理を行うことができ、コストの増大、回路規模の増大、および処理時間の増大を抑制することができる。

［画像処理の流れ］
図３９のフローチャートを参照してこの場合の画像処理の流れの例を説明する。なお、以下においては、SR部５０４およびNR部５０５が中央視点について処理を行う場合を例に説明する。

ステップＳ５０１乃至ステップＳ５０３の各処理は、図１８のステップＳ１０１乃至ステップＳ１０３の各処理と同様に実行される。

ステップＳ５０４において、SR部５０４は、多視点画像の内、中央視点の画像について超解像処理を行い、中央視点のSR処理画像を生成する。また、SR部５０４は、この多視点画像についてのデプスマップを生成する。

ステップＳ５０５において、NR部５０５は、ステップＳ５０４の処理により生成された中央視点のSR処理画像に対してノイズリダクション処理を行う。

ステップＳ５０６において、画像生成部５０６は、ステップＳ５０４の処理により生成されたデプスマップを用いて、ステップＳ５０５の処理により生成された中央視点のNRSR処理画像から、出力する各視点の画像を生成する。

ステップＳ５０７において、視差強調部１０６は、ステップＳ５０６の処理により生成された各視点の画像間の視差を強調する（制御する）。

ステップＳ５０７の処理が終了すると、視差強調部１０６は、画像処理を終了する。

以上のように処理を行うことにより、画像処理装置５００は、画像処理の負荷を低減させることができる。

［画像処理装置］
さらに、図３４の場合と同様に、過去フレームの画像を利用して初期画像を生成するようにしてもよい。図４０は、画像処理装置の主な構成例を示すブロック図である。図４０に示される画像処理装置５５０は、図３８の画像処理装置５００と基本的に同様の装置であり、同様の構成を有し、同様の処理を行う。ただし、画像処理装置５５０は、画像処理装置５００の構成に加え、さらに初期画像生成部５５２を有する。

初期画像生成部５５２は、図３４の初期画像生成部４１２と同様に、注目フレームの画像と過去フレームの画像とを用いて超解像処理の初期画像を生成する。つまり、初期画像生成部５５２は、生成した初期画像をSR部５０４に供給する。

SR部５０４は、この初期画像を用いて超解像処理を行う。

このようにすることにより、画像処理装置５５０は、SR処理画像の画質を向上させることができる。これにより、画像処理装置５５０は、出力する多視点画像の画質を向上させることができる。

［画像処理の流れ］
図４１のフローチャートを参照して、この画像処理装置５５０により実行される画像処理の流れの例を説明する。

ステップＳ５５１乃至ステップＳ５５３の各処理は、図３９のステップＳ５０１乃至ステップＳ５０３の各処理と同様に実行される。

ステップＳ５５４において、初期画像生成部５５２は、注目フレームの画像と過去フレームの画像を用いて初期画像を生成する。

ステップＳ５５５において、SR部５０４は、ステップＳ５５４の処理により生成された初期画像を用いて超解像処理を行い、中央視点のSR画像を生成する。

ステップＳ５５６乃至ステップＳ５５８の各処理は、図３９のステップＳ５０５乃至ステップＳ５０７の各処理と同様に実行される。

ステップＳ５５８の処理が終了すると、視差強調部１０６は、画像処理を終了する。

このように処理を行うことにより、画像処理装置５５０は、出力する多視点画像の画質を向上させることができる。

［画像処理装置］
また、以上においては、多視点画像の画像処理を行う場合、多視点画像の各視点の画像に対する処理が並列に行われるように説明したが、各視点の画像に対する画像処理を、順次行うようにしてもよい。

図４２は、画像処理装置の主な構成例を示すブロック図である。図４２に示される画像処理装置６００は、多視点画像の各視点の画像に対する現像、補正、超解像処理、およびノイズリダクション処理を、視点毎に順次行う。

そのため、画像処理装置６００は、視点分離部１０１、現像部１０２、補正部１０３、SR部１０４、NR部１０５、および視差強調部１０６を、それぞれ１つずつ有する。

また、画像処理装置６００は、各視点の画像を順次処理するために、バッファ６０１、視点順次読み出し部６０２、およびバッファ６０３を有する。

視点分離部１０１は、多視点画像をその視点毎に分離し、バッファ６０１に供給し、記憶させる。

バッファ６０１は、視点分離部１０１から供給される各視点の画像を記憶する。

視点順次読み出し部６０２は、処理対象とする注目視点を多視点の中から１つずつ順次選択し、その注目視点の画像をバッファ６０１から読み出す。視点順次読み出し部６０２は、読み出した注目視点の画像を現像部１０２に供給する。

現像部１０２は、供給された注目視点の画像を現像し、補正部１０３に供給する。補正部１０３は、供給された注目視点の画像を補正し、SR部１０４に供給する。SR部１０４は、供給された注目視点の画像に対して超解像処理を行い、高解像度化してNR部１０５に供給する。NR部１０５は、供給された注目視点の高解像度画像に対してノイズリダクション処理を行い、ノイズが低減された注目視点の画像をバッファ６０３に供給し、記憶させる。

注目視点の画像に対するこれらの処理が終了すると、視点順次読み出し部６０２は、注目視点を次の視点に切り替え、その新たな注目視点の画像をバッファ６０１から読み出し、現像部１０２に供給する。すなわち、その新たな注目視点の画像に対して、現像部１０２乃至NR部１０５の各部がそれぞれの処理を行う。このような処理を繰り返すことにより、多視点画像の全ての視点の画像が処理され、バッファ６０３に記憶される。

バッファ６０３は、全ての視点の画像を記憶すると、その全ての視点の画像を視差強調部１０６に供給する。視差強調部１０６は、供給される多視点画像の視差（立体感）を制御する。視差強調部１０６は、視差量を制御した多視点画像を出力する。

なお、この場合、SR部１０４は、１視点ずつ処理を行うので、過去フレームの画像を参照して初期画像を生成するようにするのが望ましい。

このような画像処理により、図４２の下側に示されるように、入力された多視点画像（L，R）の各フレーム（０，１，２，・・・）の画像は、１列に整列されて（L₀，R₀，L₁，R₁，L₂，R₂，・・・）、１枚ずつ、現像乃至NRの各処理が行われる。処理後の画像は、バッファ６０３に記憶された後、多視点画像（L，R）として、フレーム毎に出力される。

以上のように、画像処理装置６００は、少ない構成で多視点の画像を処理することができる。つまり、画像処理装置６００は、ハードウェアリソースをより効率よく利用して画像処理を行うことができ、コストの増大や回路規模の増大を抑制することができる。

［画像処理の流れ］
図４３のフローチャートを参照して、画像処理装置６００により実行される画像処理の流れの例を説明する。

ステップＳ６０１において、視点分離部１０１は、入力された多視点画像を視点毎に分離する。

ステップＳ６０２において、バッファ６０１は、各視点の画像を記憶する。

ステップＳ６０３において、視点順次読み出し部６０２は、注目視点を選択し、ステップＳ６０２において記憶された、その注目視点の画像をバッファ６０１から読み出す。

ステップＳ６０４において、現像部１０２は、ステップＳ６０３の処理により読み出された注目視点の画像を現像する。

ステップＳ６０５において、補正部１０３は、ステップＳ６０４の処理により現像された注目視点の画像を補正する。

ステップＳ６０６において、SR部１０４は、ステップＳ６０５の処理により補正された注目視点の画像に対して超解像処理を行う。

ステップＳ６０７において、NR部１０５は、ステップＳ６０６の処理により高解像度化された注目視点の画像（SR処理画像）に対して、ノイズリダクション処理を行う。

ステップＳ６０８において、バッファ６０３は、ステップＳ６０７の処理によりノイズが低減された注目視点の画像を記憶する。

ステップＳ６０９において、視点順次読み出し部６０２は、出力する全ての視点の画像を処理したか否かを判定し、未処理の視点が存在すると判定した場合、処理をステップＳ６０３に戻し、新たな未処理の視点を注目視点として選択し、それ以降の処理を実行させる。

このようにステップＳ６０３乃至ステップＳ６０９の各処理が繰り返し実行されることにより、出力する全ての視点の画像が処理される。

ステップＳ６０９において、出力する全ての視点の画像が処理されたと判定した場合、視点順次読み出し部６０２は、処理をステップＳ６１０に進める。

ステップＳ６１０において、視差強調部１０６は、バッファ６０３に格納された互いに異なる視点の複数の画像を用いて視差強調を行い、各視点間の視差量を制御する。

ステップＳ６１０の処理が終了すると、視差強調部１０６は、画像処理を終了する。

このように処理を行うことにより、画像処理装置６００は、ハードウェアリソースをより効率よく利用することができ、コストの増大や回路規模の増大を抑制することができる。

＜２．第２の実施の形態＞
［撮像装置］
以上に説明した画像処理装置は、他の装置の一部として構成されるようにしてもよい。例えば、撮像装置に内蔵される画像処理部としてもよい。

図４４は、本技術を適用した撮像装置の主な構成例を示すブロック図である。

図４４に示されるように、撮像装置７００は、ライトフィールドフォトグラフィ（Light Field photography）と呼ばれる手法を用いた撮像装置（所謂ライトフィールドカメラ）である。撮像装置７００は、光学部７１１、イメージセンサ７１２、A/D（Analog to Digital）変換器７１３、操作部７１４、制御部７１５、画像処理部７１６、表示部７１７、コーデック処理部７１８、および記録部７１９を有する。

光学部７１１は、メインレンズや絞り等よりなり、被写体までの焦点を調整し、焦点が合った位置からの光を集光し、イメージセンサ７１２に供給する。

イメージセンサ７１２は、例えばCCD（Charge Coupled Device）イメージセンサやCMOS（Complementary Metal Oxide Semiconductor）イメージセンサ等の任意の撮像素子である。イメージセンサ７１２は、光学部７１１を介して入射される光（入射光）を受光し、これを光電変換して光の強度に応じた信号（画像信号）を得る。イメージセンサ７１２の受光面には、複数の画素毎に１つずつマイクロレンズが設けられている。つまり、イメージセンサ７１２の各画素は、いずれかのマイクロレンズを介して入射される光を受光する。したがって、イメージセンサ７１２の各画素は、自身の、マイクロレンズに対する位置に応じた方向から入射される光を光電変換する。イメージセンサ７１２は、このようにして得られる各視点の画像の画像信号を、単一の撮像画像の画像信号として、A/D変換器７１３に供給する。

A/D変換器７１３は、イメージセンサ７１２から、所定のタイミングで供給された画像信号を、デジタルの画像信号（以下、適宜、画素信号ともいう）に変換し、所定のタイミングで順次、画像処理部７１６に供給する。

操作部７１４は、例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等により構成され、ユーザによる操作入力を受け、その操作入力に対応する信号を制御部７１５に供給する。

制御部７１５は、操作部７１４により入力されたユーザの操作入力に対応する信号に基づいて、光学部７１１、イメージセンサ７１２、A/D変換器７１３、画像処理部７１６、表示部７１７、コーデック処理部７１８、および記録部７１９を制御する。

画像処理部７１６は、A/D変換器７１３から供給された画像信号に対して、例えば、視点分離、超解像処理、ノイズリダクション処理、視差強調、ホワイトバランス調整、デモザイク処理、およびガンマ補正等の任意の画像処理を施す。画像処理部７１６は、処理後の画像信号を表示部７１７およびコーデック処理部７１８に供給する。

表示部７１７は、例えば、液晶ディスプレイ等として構成され、画像処理部７１６からの画像信号に基づいて、撮像画像を表示する。

コーデック処理部７１８は、画像処理部７１６からの画像信号に対して、所定の方式の符号化処理を施し、符号化処理の結果得られた画像データを記録部７１９に供給する。

記録部７１９は、コーデック処理部７１８からの画像データを記録する。記録部７１９に記録された画像データは、必要に応じて画像処理部７１６に読み出されることで、復号されて表示部７１７に供給され、対応する画像が表示される。

このような、多視点画像の撮像画像を得る撮像装置７００において、画像処理部７１６に、本開示の技術を適用し、第１の実施の形態において説明した画像処理装置の各例の構成（機能）が含まれるようにすることができる。

この画像処理部７１６に本技術を適用することにより、画像処理部７１６は、多視点画像の立体感を制御することができ、第１の実施の形態の場合と同様に、より適切な程度の立体感を得ることができる。すなわち、撮像装置７００は、より適切な立体感を有する多視点画像データを生成することができる。

なお、本技術は、撮像画像として多視点画像を生成する撮像装置であれば、上述した構成の撮像装置に限らず、任意の構成の撮像装置に適用することができる。

＜３．第３の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、一連の処理は図４５に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図４５において、パーソナルコンピュータ８００のCPU（Central Processing Unit）８０１は、ROM（Read Only Memory）８０２に記憶されているプログラム、または記憶部８１３からRAM（Random Access Memory）８０３にロードされたプログラムに従って各種の処理を実行する。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU８０１、ROM８０２、およびRAM８０３は、バス８０４を介して相互に接続されている。このバス８０４にはまた、入出力インタフェース８１０も接続されている。

入出力インタフェース８１０には、キーボードやマウス等の任意の入力デバイスや入力端子等よりなる入力部８１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカ等の任意の出力デバイスや出力端子等よりなる出力部８１２、ハードディスクやフラッシュメモリ等の任意の記憶媒体やその記憶媒体の入出力を制御する制御部等により構成される記憶部８１３、モデムやLANインタフェース等の任意の通信デバイスよりなる通信部８１４が接続されている。通信部８１４は、例えばインターネットを含むネットワークを介して他の通信デバイスとの通信処理を行う。

入出力インタフェース８１０にはまた、必要に応じてドライブ８１５が接続される。そのドライブ８１５には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８２１が適宜装着される。ドライブ８１５は、例えばCPU８０１の制御に従って、自身に装着されたリムーバブルメディア８２１からコンピュータプログラムやデータ等を読み出す。その読み出されたデータやコンピュータプログラムは、例えば、RAM８０３に供給される。また、リムーバブルメディア８２１から読み出されたコンピュータプログラムは、必要に応じて記憶部８１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図４５に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア８２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM８０２や、記憶部８１３に含まれるハードディスクなどで構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。
（１） 各画素の位置および画素値によって、光の強度分布、および、前記光の進行方向を表し、多視点の画像を含む多視点画像データを、前記視点毎の複数の単視点画像データに分離する視点分離部と、
前記視点分離部により視点毎に分離されて得られた複数の前記単視点画像データ同士の視差量を制御する視差制御部と
を備える画像処理装置。
（２） 前記視差制御部は、前記単視点画像データを微分した微分信号を、各単視点画像データに加算若しくは減算することにより、前記視差量を制御する
前記（１）に記載の画像処理装置。
（３） 前記視差制御部は、制御対象の視差量を示すディスパリティを検出し、検出したディスパリティに基づいて、前記微分信号を補正し、補正後の微分信号を各単視点画像データに加算若しくは減算することにより、前記視差量を制御する
前記（２）に記載の画像処理装置。
（４） 前記視点分離部により視点毎に分離されて得られた複数の前記単視点画像データのそれぞれに対して画像を高解像度化する超解像処理を行う超解像処理部をさらに備え、
前記視差制御部は、前記超解像処理部により高解像度化された複数の前記単視点画像データ同士の視差量を制御する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５） 前記超解像処理部は、各視点間について、視差量を示すディスパリティを検出し、検出したディスパリティを用いて、各単視点画像データの超解像処理を行う
前記（４）に記載の画像処理装置。
（６） 前記視差制御部は、前記超解像処理部により検出された前記ディスパリティを用いて前記視差量を制御する
前記（５）に記載の画像処理装置。
（７） 前記超解像処理部により高解像度化された複数の前記単視点画像データのそれぞれに対して、ノイズを低減させるノイズリダクション処理を行うノイズリダクション処理部をさらに備え、
前記視差制御部は、前記ノイズリダクション処理部によりノイズが低減された複数の前記単視点画像データ同士の視差量を制御する
前記（４）乃至（６）のいずれかに記載の画像処理装置。
（８） 前記ノイズリダクション処理部は、処理前後の画像で動き検出を行い、検出した動きベクトルを用いて、処理後の画像の動き補償を行い、その動き補償された処理後の画像と、処理前の画像とで加算平均を算出する
前記（７）に記載の画像処理装置。
（９） 前記ノイズリダクション処理部は、検出した前記動きベクトルを用いて、複数の前記単視点画像データのそれぞれに対する前記ノイズリダクション処理を行う
前記（８）に記載の画像処理装置。
（１０） 前記視点分離部により視点毎に分離されて得られた複数の前記単視点画像データのそれぞれに対して、画像を高解像度化する超解像処理と、ノイズを低減させるノイズリダクション処理とを行うSR・NR処理部をさらに備え、
前記視差制御部は、前記SR・NR処理部により高解像度化されてノイズが低減された複数の前記単視点画像データ同士の視差量を制御する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（１１） 前記SR・NR処理部は、
複数の前記単視点画像データのそれぞれの前記超解像処理結果に対して前記ノイズリダクション処理を行い、
前記ノイズリダクション処理結果を用いて前記超解像処理を行う
前記（１０）に記載の画像処理装置。
（１２） 処理対象である注目フレームの画像と、前記注目フレームより前に処理される過去フレームの画像を用いて初期画像を生成する初期画像生成部をさらに備え、
前記SR・NR処理部は、前記初期画像生成部により生成された前記初期画像を用いて前記超解像処理を行う
前記（１０）または（１１）に記載の画像処理装置。
（１３） 前記初期画像生成部は、前記注目フレームの画像と、前記過去フレームの画像との間の動きを検出し、検出された動きベクトルを用いて前記過去フレームの画像の動き補償を行い、動き補償した前記過去フレームの画像と前記注目フレームの画像とを用いて前記初期画像を生成する
前記（１２）に記載の画像処理装置。
（１４） 前記初期画像生成部は、前記注目フレームの、処理対象である注目視点の画像と、前記過去フレームの前記注目視点の画像と、前記過去フレームの前記注目視点ではない他の視点の画像とを用いて、前記初期画像を生成する
前記（１２）に記載の画像処理装置。
（１５） 前記単視点画像データに対して画像を高解像度化する超解像処理を行う超解像処理部と、
前記超解像処理部により高解像度化された前記単視点画像データに対して、ノイズを低減させるノイズリダクション処理を行うノイズリダクション処理部と、
前記ノイズリダクション処理部によりノイズが低減された前記単視点画像データを用いて、複数の前記単視点画像データを生成する画像生成部と
をさらに備え、
前記視差制御部は、前記画像生成部により生成された複数の前記単視点画像データ同士の視差量を制御する
前記（１）に記載の画像処理装置。
（１６） 処理対象である注目フレームの画像と、前記注目フレームより前に処理される過去フレームの画像を用いて初期画像を生成する初期画像生成部をさらに備え、
前記超解像処理部は、前記初期画像生成部により生成された前記初期画像を用いて前記超解像処理を行う
前記（１５）に記載の画像処理装置。
（１７） 前記視点分離部により視点毎に分離されて得られた複数の前記単視点画像データを記憶する第１の記憶部と、
前記第１の記憶部に記憶されている複数の前記単視点画像データを、視点毎に１つずつ読み出す視点順次読み出し部と、
前記視点順次読み出し部により読み出された前記単視点画像データに対して画像を高解像度化する超解像処理を行う超解像処理部と、
前記超解像処理部により高解像度化された前記単視点画像データに対して、ノイズを低減させるノイズリダクション処理を行うノイズリダクション処理部と、
前記ノイズリダクション処理部によりノイズが低減された前記単視点画像データを記憶する第２の記憶部と
をさらに備え、
前記視差制御部は、前記第２の記憶部に記憶された複数の前記単視点画像データ同士の視差量を制御する
前記（１）に記載の画像処理装置。
（１８） 画像処理装置の画像処理方法であって、
視点分離部が、各画素の位置および画素値によって、光の強度分布、および、前記光の進行方向を表し、多視点の画像を含む多視点画像データを、前記視点毎の複数の単視点画像データに分離し、
視差制御部が、視点毎に分離されて得られた複数の前記単視点画像データ同士の視差量を制御する
画像処理方法。
（１９） コンピュータを、
各画素の位置および画素値によって、光の強度分布、および、前記光の進行方向を表し、多視点の画像を含む多視点画像データを、前記視点毎の複数の単視点画像データに分離する視点分離部、
前記視点分離部により視点毎に分離されて得られた複数の前記単視点画像データ同士の視差量を制御する視差制御部
として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
（２０） コンピュータを、
各画素の位置および画素値によって、光の強度分布、および、前記光の進行方向を表し、多視点の画像を含む多視点画像データを、前記視点毎の複数の単視点画像データに分離する視点分離部、
前記視点分離部により視点毎に分離されて得られた複数の前記単視点画像データ同士の視差量を制御する視差制御部
として機能させるためのプログラム。

１００ 画像処理装置， １０１ 視点分離部， １０２ 現像部， １０３ 補正部， １０４ SR部， １０５ NR部， １０６ 視差強調部， １１１ ディスパリティ検出部， １１２ 距離情報生成部， １１３ 微分信号生成部， １１４ 補正部， １１５ セレクタ， １１６ 加算部， １１７ 減算部， １１８ セレクタ， １５１ ディスパリティ検出部， １５２ 超解像処理部， １６０ 画像処理装置， １６４ SR部， １６６ 視差強調部， １７０ 画像処理装置， １７７ セレクタ， ２００ 画像処理装置， ２０４ SR部， ２０６ 視差強調部， ２１１ ディスパリティ検出部， ２５０ 画像処理装置， ２５１ 動き検出部， ２５５ NR部， ３００ 画像処理装置， ３０４ SR・NR部， ３１１ ディスパリティ検出部， ３２１ 入力画像バッファ， ３２２ SR部， ３２３ SR処理画像バッファ， ３２４ NR部， ３２５ NRSR処理画像バッファ， ３２６ 初期画像バッファ， ４００ 画像処理装置， ４０４ SR・NR部， ４１１ 動き検出部， ４１２ 初期画像生成部， ４５０ 画像処理装置， ４５１ フレームバッファ， ４５２ 初期画像生成部， ５００ 画像処理装置， ５０４ SR部， ５０５ NR部， ５０６ 画像生成部， ５５０ 画像処理装置， ５５２ 初期画像生成部， ６００ 画像処理装置， ６０１ バッファ， ６０２ 視点順次読み出し部， ６０３ バッファ， ７００ 撮像装置， ７１１ 光学部， ７１２ イメージセンサ， ７１３ A/D変換部， ７１４ 操作部， ７１５ 制御部， ７１６ 画像処理部， ７１７ 表示部， ７１８ コーデック処理部， ７１９ 記録部， ８００ パーソナルコンピュータ

Claims (11)

1. 各画素の位置および画素値によって、多視点の画像を含む多視点画像データを、前記視点毎の複数の単視点画像データに分離する視点分離部と、
   前記視点分離部により視点毎に分離されて得られた複数の単視点画像データのうち、１の単視点画像データのノイズリダクション処理に対し、処理前後の画像で動きベクトルを検出する１の動き検出部と、
   前記複数の前記単視点画像データのそれぞれに対し、前記１の動き検出部により検出された動きベクトルを用いて、ノイズを低減させる前記ノイズリダクション処理を行う複数のノイズリダクション処理部と
   を備える画像処理装置。
2. 前記視点分離部により視点毎に分離されて得られた複数の前記単視点画像データのそれぞれに対して画像を高解像度化する超解像処理を行う超解像処理部をさらに備え、
   前記複数のノイズリダクション処理部は、前記超解像処理部により高解像度化された複数の前記単視点画像データのそれぞれに対し、前記ノイズリダクション処理を行う
   請求項１に記載の画像処理装置。
3. 前記複数のノイズリダクション処理部によりノイズが低減された複数の前記単視点画像データ同士の視差量を制御する視差制御部を
   さらに備える請求項２の記載の画像処理装置。
4. 前記超解像処理部は、各視点間について、視差量を示すディスパリティを検出し、検出したディスパリティを用いて、各単視点画像データの超解像処理を行う
   請求項３に記載の画像処理装置。
5. 前記視差制御部は、前記超解像処理部により検出された前記ディスパリティを用いて前記視差量を制御する
   請求項４に記載の画像処理装置。
6. 前記ノイズリダクション処理部は、前記１の動き検出部により検出された動きベクトルを用いて、処理後の画像の動き補償を行い、その動き補償された処理後の画像と、処理前の画像とで加算平均を算出する
   請求項１に記載の画像処理装置。
7. 前記ノイズリダクション処理部によりノイズが低減された前記単視点画像データを用いて、複数の前記単視点画像データを生成する画像生成部
   をさらに備え、
   前記視差制御部は、前記画像生成部により生成された複数の前記単視点画像データ同士の視差量を制御する
   請求項３に記載の画像処理装置。
8. 処理対象である注目フレームの画像と、前記注目フレームより前に処理される過去フレームの画像を用いて初期画像を生成する初期画像生成部をさらに備え、
   前記超解像処理部は、前記初期画像生成部により生成された前記初期画像を用いて前記超解像処理を行う
   請求項７に記載の画像処理装置。
9. 視点分離部が、各画素の位置および画素値によって、多視点の画像を含む多視点画像データを、前記視点毎の複数の単視点画像データに分離し、
   １の動き検出部が、前記視点分離部により視点毎に分離されて得られた複数の単視点画像データのうち、１の単視点画像データのノイズリダクション処理に対し、処理前後の画像で動きベクトルを検出し、
   複数のノイズリダクション部が、前記複数の前記単視点画像データのそれぞれに対し、前記１の動き検出部により検出された動きベクトルを用いて、ノイズを低減させる前記ノイズリダクション処理を行う
   画像処理方法。
10. 各画素の位置および画素値によって、多視点の画像を含む多視点画像データを、前記視点毎の複数の単視点画像データに分離する視点分離部と、
    前記視点分離部により視点毎に分離されて得られた複数の単視点画像データのうち、１の単視点画像データのノイズリダクション処理に対し、処理前後の画像で動きベクトルを検出する１の動き検出部と、
    前記複数の前記単視点画像データのそれぞれに対し、前記１の動き検出部により検出された動きベクトルを用いて、ノイズを低減させる前記ノイズリダクション処理を行う複数のノイズリダクション処理部と
    して、コンピュータを機能させるプログラム。
11. 請求項１０に記載のプログラムが記録されている記録媒体。

Images