JP2014220639A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】簡単に高解像度化画像、ハイパースペクトル画像、立体化画像、およびリフォーカス画像を取得できる撮像装置および撮像方法を提供する。【解決手段】対物レンズと第１の解像度を有する撮像素子との光学的距離（フォーカス）が予め定められた量だけ異なる２つの画像を撮像する撮像部と、撮像した前記画像を送信する送信部とを具備する。【選択図】図１

Description

本技術は、フォーカスが異なる２つの画像に基づき、画像を高解像度化、ハイパースペクトル画像化、立体画像化、およびリフォーカスする撮像装置および撮像方法に関する。

従来、画像を高解像度化するためには、元画像をアップサンプリングして拡大し、拡大により発生したジャギー（画像のギザギザ）を適切なフィルタを用いて滑らかにする拡大技術がある。

また、映像のフレーム間で不足する情報を補間したり、経験則データベースを用いて擬似的なピクセルを補間したり、その他、インテリジェントな手法を用いて画像情報を増やすことで人間工学的に画像をきれいに見せる超解像技術がある。（例えば、特許文献１参照。）。

また、ある解像度の撮像素子を用いて、その解像度を超える解像度の画像を撮影する高解像度化の技術として、画素ずらしの手法がある。（例えば、特許文献２参照。）

また、ハイパースペクトルカメラでは、可視光から近赤外光までの数多くの周波数帯のスペクトルを含む画像を撮影することが出来る。（例えば、特許文献３参照。）

また、ステレオ３Ｄ方式のカメラの次のステップとして、上下左右に視点移動できるインテグラル・イメージング方式のカメラが開発されている。（例えば、特許文献４参照。）

また、画像の撮影後に、自由に焦点位置を変えた（リフォーカスした）画像を生成できるライト・フィールド・カメラが開発されている。（例えば、特許文献５参照。）なお、以下では、自由に焦点位置を変えた画像を「リフォーカス画像」と呼ぶ。

特開２００９−１８１５０８号公報 特開２０１３−１２１１２号公報 特表２００１−５２１７７２号公報 特開２００８−２１９７８８号公報 特開２００９−２２４９８２号公報

カメラは、光の３原色をベースにした３色モノクロ撮影が基本であり、例えば同じ赤の帯域であれば、１０ｎｍ程度の異なるスペクトルの違いまでは区別できない。これは、Ｒチャンネルの輝度値の総和が同じ輝度レベルになれば、１つの同じＲチャンネルに丸め込まれるからである。

この丸め込みにより、通常のカメラを、メディカル用途など、僅かな色の違いの解析が必要なケースでの画像解析に利用することは困難であった。

また、このような情報を観測するカメラとして、ハイパースペクトルカメラやマルチスペクトルカメラが実用化されているが、一度に１次元しか撮像できなかったり、特定のスペクトルに限定して撮像する必要があったりして、いずれもカメラとしては使い難いものであった。

インテグラル・イメージング方式では、レンズアレイを用いるので、撮像できる画像の解像度は悪く、また撮像した画像データが膨大な情報量になる問題があった。

このように、従来の方法では、簡単に高解像度化画像や、ハイパースペクトル画像、立体化画像、リフォーカス画像を取得することは困難であった。

以上のような事情に鑑み、本技術の目的は、簡単に高解像度化画像、ハイパースペクトル画像、立体化画像、およびリフォーカス画像を取得できる撮像装置および撮像方法を提供することにある。

上記目的を達成するため、本技術の一形態に係る撮像装置は、対物レンズと第１の解像度を有する撮像素子との光学的距離（フォーカス）が予め定められた量だけ異なる２つの画像を撮像する撮像部と、撮像した前記画像を送信する送信部とを具備する。

本技術では、撮像装置において、フォーカスが予め定められた量だけ異なる、第１の解像度を有する２つの画像を取得し、現像装置に送る。

高解像度化の現像を行う現像装置は、２つの画像の画角を揃え、２つの画像のうち、一方を第１フォーカスの画像、もう一方を第２フォーカスの画像として、第１フォーカスの画像を拡散させ、かつ第１の解像度よりも高い第２の解像度に拡大させた画像をデジタル・デフォーカス画像として生成する。また、第２フォーカスの画像を第２の解像度にアップサンプリングした画像を拡大デフォーカス画像として生成する。そして、デジタル・デフォーカス画像と拡大デフォーカス画像との画素毎の差分を干渉画像として生成する。学習型パターン変換回路により、干渉画像から第２の解像度の高周波成分を生成し、第１フォーカスの画像を低周波成分と見なして、成分合成処理を行い、第２の解像度の画像を現像する。

ハイパースペクトルとしての現像を行う現像装置は、２つの画像の画角を揃え、２つの画像のうち、一方を第１フォーカスの画像、もう一方を第２フォーカスの画像として、第１フォーカスの画像を拡散させた画像をデジタル・デフォーカス画像として生成する。そして、デジタル・デフォーカス画像と第２フォーカスの画像との画素毎の差分を干渉画像として生成する。学習型パターン変換回路により倍率色収差を強調する処理により、干渉画像からスペクトル情報を含む高周波成分を生成し、第１フォーカスの画像と高周波成分との成分合成処理を行い、ハイパースペクトル画像を現像する。

立体視用の画像を現像する現像装置は、２つの画像の画角を揃え、２つの画像のうち、一方を第１フォーカスの画像、もう一方を第２フォーカスの画像として、第１の関数により拡散させた画像を第１のデジタル・デフォーカス画像として生成し、かつ第１の関数と線対称である第２の関数により拡散させた画像を第２のデジタル・デフォーカス画像として生成する。そして、第１のデジタル・デフォーカス画像と第２フォーカスの画像との画素毎の差分を第１のマスク情報として生成し、かつ第２のデジタル・デフォーカス画像と前記第２フォーカスの画像との画素毎の差分を第２のマスク情報として生成する。第１フォーカスの画像と第１のマスク情報から立体視用の第１の画像を現像し、第１フォーカスの画像と第２のマスク情報から立体視用の第２の画像を現像する。

リフォーカス画像を現像する現像装置は、第１フォーカスの画像と第２フォーカスの画像を取り込み、２つの画像の画素毎の差分を干渉画像として生成する。学習型パターン変換回路により、干渉画像の輝度情報とスペクトル情報から高周波成分を生成し、第１フォーカスの画像と高周波成分との成分合成処理を行い、リフォーカス画像を現像する。

以上の処理により、本技術では、簡単に高解像度化画像、ハイパースペクトル画像、立体化画像、およびリフォーカス画像を取得できる。

上記目的を達成するため、本技術の一形態に係る撮像装置では、前記撮像部は、前記対物レンズを透過した光が合焦した結像画像を撮像する結像撮像素子と、前記光が前記予め定められた量に基づきデフォーカスされたデフォーカス画像を撮像するデフォーカス撮像素子とを有している構成でもよい。

上記目的を達成するため、本技術の一形態に係る撮像装置は、前記２つの画像の画角を揃える画角調整部と、前記２つの画像のうち、一方を第１フォーカスの画像、もう一方を第２フォーカスの画像として、前記第１フォーカスの画像を拡散させ、かつ前記第１の解像度よりも高い第２の解像度に拡大させた画像をデジタル・デフォーカス画像として生成する拡散部と、前記第２フォーカスの画像を前記第２の解像度にアップサンプリングした画像を拡大デフォーカス画像として生成するアップサンプリング部と、前記デジタル・デフォーカス画像と前記拡大デフォーカス画像との画素毎の差分を干渉画像として生成する差分算出部とを更に具備し、前記送信部は、前記第１フォーカスの画像および前記干渉画像を送信する構成でもよい。

上記目的を達成するため、本技術の一形態に係る撮像装置では、前記第１フォーカスの画像は、合焦した結像画像であり、前記第２フォーカスの画像は、前記合焦した位置から所定量デフォーカスしたデフォーカス画像である構成でもよい。

上記目的を達成するため、本技術の一形態に係る撮像装置では、前記拡散部は、点像分布関数により、前記結像画像を拡散させる構成でもよい。

上記目的を達成するため、本技術の一形態に係る撮像装置は、前記２つの画像の画角を揃える画角調整部と、前記２つの画像のうち、一方を第１フォーカスの画像、もう一方を第２フォーカスの画像として、前記第１フォーカスの画像を拡散させた画像をデジタル・デフォーカス画像として生成する拡散部と、前記デジタル・デフォーカス画像と前記第２フォーカスの画像との画素毎の差分を干渉画像として生成する差分算出部とを更に具備し、前記送信部は、前記第１フォーカスの画像および前記干渉画像を送信する構成でもよい。

上記目的を達成するため、本技術の一形態に係る撮像装置は、前記２つの画像の画角を揃える画角調整部と、前記２つの画像のうち、一方を第１フォーカスの画像、もう一方を第２フォーカスの画像として、前記第１フォーカスの画像を、第１の関数により拡散させた画像を第１のデジタル・デフォーカス画像として生成し、かつ前記第１の関数と線対称である第２の関数により拡散させた画像を第２のデジタル・デフォーカス画像として生成する拡散部と、前記第１のデジタル・デフォーカス画像と前記第２フォーカスの画像との画素毎の差分を第１のマスク情報として生成し、かつ前記第２のデジタル・デフォーカス画像と前記第２フォーカスの画像との画素毎の差分を第２のマスク情報として生成する差分算出部とを更に具備し、前記送信部は、前記第１フォーカスの画像、前記第１のマスク情報、および前記第２のマスク情報を送信する構成でもよい。

上記目的を達成するため、本技術の一形態に係る撮像装置は、前記２つの画像の画角を揃える画角調整部と、前記２つの画像のうち、一方を第１フォーカスの画像、もう一方を第２フォーカスの画像として、前記第１フォーカスの画像と前記第２フォーカスの画像との画素毎の差分を干渉画像として生成する差分算出部とを更に具備し、前記送信部は、前記第１フォーカスの画像、前記第２フォーカスの画像、および前記干渉画像を送信する構成でもよい。

上記目的を達成するため、本技術の一形態に係る撮像装置は、画像を撮像する撮像部と、前記画像に収差補正およびデジタル光学補正の少なくとも一方を行い、補正画像を生成する補正部と、前記画像と前記補正画像との画素毎の差分を干渉画像として生成する差分算出部と、前記画像に含まれる座標情報と、前記干渉画像と、前記補正画像とを送信する送信部とを具備する。

上記目的を達成するため、本技術の一形態に係る撮像方法は、対物レンズと撮像素子との光学的距離（フォーカス）が予め定められた量だけ異なる２つの画像を撮像し、撮像した前記画像を送信する。

以上のように、本技術によれば、簡単に高解像度化画像、ハイパースペクトル画像、立体化画像、およびリフォーカス画像を取得できる。

本技術に係る撮像装置１００と現像装置２００の全体構成を示す構成図である。 本技術に係る撮像装置１０１と現像装置２０１の全体構成を示す構成図である。 高解像度化現像のイメージについて説明するための図である。 本技術による高解像度化現像がどのような結果をもたらすかを示す図である。 デフォーカス画像から逆算して高解像度の画像を生成するイメージについて説明する図である。 デフォーカス量を示す図である。 デフォーカス方法の具体例について説明する図である。 成分分離処理と成分合成処理について示す図である。 撮像装置の実装例について示す図である。 リファレンスとする４Ｋ画像Ａから、第１フォーカスの画像Ｂと第２フォーカスの画像Ｃを作成し、第１フォーカスの画像Ｂと第２フォーカスの画像Ｃを高解像度化現像により、干渉画像Ｄおよび高周波成分Ｅを経て現像画像Ｆにする様子を示す図である。 図１０に示した画像の黒目の部分を拡大した画像である。 リファレンスとする８Ｋ画像Ａから、第１フォーカスの画像Ｂと第２フォーカスの画像Ｃを作成し、第１フォーカスの画像Ｂと第２フォーカスの画像Ｃを高解像度化現像により、干渉画像Ｄおよび高周波成分Ｅを経て現像画像Ｆにする様子を示す図である。 Δ量に関する情報を干渉画像の中からアルゴリズムにより分離し、ΔＹにより高解像度化画像、Δωによりハイパースペクトル画像、Δφにより立体化画像を現像できる様子を示す図である。 本技術に係る撮像装置１００と現像装置２０２の全体構成を示す構成図である。 本技術に係る撮像装置１０２と現像装置２０３の全体構成を示す構成図である。 ハイパースペクトル現像について説明するための図である。 ハイパースペクトル現像の具体例を示す図である。 本技術に係る撮像装置１００と現像装置２０４の全体構成を示す構成図である。 本技術に係る撮像装置１０３と現像装置２０５の全体構成を示す構成図である。 立体化現像の処理の流れについて示す図である。 立体化現像について説明するための図である。 本技術に係る撮像装置１００と現像装置２０６の全体構成を示す構成図である。 本技術に係る撮像装置１０４と現像装置２０７の全体構成を示す構成図である。 リフォーカス現像の原理について説明するための図である。 輝度情報のみでは光路推定が出来ない様子を示す図である。 輝度情報とスペクトル情報を用いると光路推定が出来る様子を示す図である。 合焦位置の前後により、倍率色収差の状態が異なる様子を示す図である。 干渉画像の中のスペクトル情報の例と、それぞれの例に対し拡散・収束いずれの方向で点像分布関数を作用させるかを示す図である。 人形より後方の背景に合焦した画像の例である。 人形より手前に合焦した画像の例である。 図２９および図３０に示した画像からリフォーカス現像を行い、人形に合焦させて現像したリフォーカス画像の例である。 図２９および図３０に示した画像からリフォーカス現像を行い、人形および背景の両方に合焦させて現像したパンフォーカス画像の例である。 本技術に係る撮像装置１０５と現像装置２０８の全体構成を示す構成図である。 リファレンスとする４Ｋ画像Ａから、第１フォーカスの画像Ｂを作成し、第１フォーカスの画像Ｂを高解像度化現像により、現像画像Ｃにする様子を示す図である。 通常の１／６０秒シャッターと、その１／Ｎのシャッタースピードで撮像する画像と、１／６０秒から１／６０Ｎ秒だけ除いた（Ｎ−１）／６０Ｎ秒のシャッタースピードで撮像する画像との関係を示す図である。 ハイフレームレート現像の原理を説明するための図である。 撮像装置５００の構成を示す機能ブロック図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞

最初に全体構成について説明し、次に本技術により画像を高解像度化する技術（以下、高解像度化現像と呼ぶ）の概要について説明し、最後に具体的な実例について説明する。

なお、本技術に係る高解像度化現像は、同じ光軸上で焦点をずらした２つの画像から光の干渉情報を収集し、この干渉情報を基に撮像素子の解像度を上回る解像度の画像を現像するものである。

［全体構成］
最初に、本技術の実施形態である撮像装置と現像装置の全体構成について説明する。図１は、本技術に係る撮像装置１００と現像装置２００の全体構成を示す構成図である。なお、以下で用いる「第１フォーカス」および「第２フォーカス」とは、典型的には、合焦状態となるフォーカスおよびその合焦状態となるフォーカスから所定量だけデフォーカスさせたフォーカスである。その場合、「第１フォーカスの画像」を「結像画像」に、「第２フォーカスの画像」を「デフォーカス画像」と読み替えることが出来る。

但し、「第１フォーカス」および「第２フォーカス」が示すフォーカスはこれらに限らず、合焦状態のフォーカスから所定量だけ被写体側にデフォーカスさせたフォーカスを「第１フォーカス」、合焦状態のフォーカスから所定量だけ像面側にデフォーカスさせたフォーカスを「第２フォーカス」としてもよい。

撮像装置１００は、対物レンズ１、ハーフミラー２、撮像素子（第１フォーカスの撮像素子、結像撮像素子）３、第１フォーカスの画像撮像制御部（撮像部）４、光路長変更フィルタ５、撮像素子（第２フォーカスの撮像素子、デフォーカス撮像素子）６、第２フォーカスの画像撮像制御部（撮像部）７、および送信部８を具備している。

対物レンズ１は、一般的なデジタルカメラと同じく、被写体を撮像するために、撮像素子上に被写体の像を結像させるための光学系である。

ハーフミラー２は、光学レンズ１を透過した光を、撮像素子３と撮像素子６により受光するために分割する。

撮像素子３は、光学レンズ１の第１フォーカスにより撮像面に結像した像を撮像する。

第１フォーカスの画像撮像制御部４は、撮像素子３により撮像された画像を取得する。なお、以下では、撮像素子３および第１フォーカスの画像撮像制御部４により取得された画像を第１フォーカスの画像と呼ぶ。第１フォーカスの画像には、撮像素子３の１画素では捕らえられない、被写体の高周波成分は、１画素中に丸め込まれている。

光路長変更フィルタ５は、対物レンズ１から撮像素子６までの光路長を正確に調整するためのフィルタである。なお、本実施例では、光路長を調整するために光路長変更フィルタ５を用いたが、これ以外に、例えば、撮像素子６の位置を調整することにより光路長を調整する構成でもよい。

撮像素子６は、光路長変更フィルタ５により第２フォーカスでデフォーカスされた（ぼかされた）像を撮像する。

第２フォーカスの画像撮像制御部７は、撮像素子６により撮像された画像を取得する。なお、以下では、撮像素子６および第２フォーカスの画像撮像制御部７により取得された画像を第２フォーカスの画像と呼ぶ。第２フォーカスの画像には、撮像素子６の１画素では捕らえられない、被写体の高周波成分は、ぼかした形で複数の画素に拡散されて写り込んでいる。

なお、第１フォーカスの画像撮像制御部４と第２フォーカスの画像撮像制御部７が一つの撮像制御部にまとまった構成でもよい。

送信部８は、第１フォーカスの画像撮像制御部４から供給された第１フォーカスの画像と、第２フォーカスの画像撮像制御部７から供給された第２フォーカスの画像とを現像装置２００に送信する。

なお、上記の構成では、第１フォーカスの画像と第２フォーカスの画像を同時に取得するために、ハーフミラー２と、２つの撮像素子３および６を用いた。しかし、同時に取得する必要が無い場合は、光路長変更フィルタ５を光路に入れたり外したりする機構を設けることにより、ハーフミラー２を省き、１つの撮像素子のみで、第１フォーカスの画像と第２フォーカスの画像を取得する構成でもよい。

次に、現像装置２００の構成について説明する。

現像装置２００は、受信部９、画角調整部１０、拡散処理部（拡散部）１１、アップサンプリング処理部（アップサンプリング部）１２、差分算出部１３、デブラ処理部１４、および成分合成処理部１５を具備している。

受信部９は、撮像装置１００の送信部８から送られてきた第１フォーカスの画像および第２フォーカスの画像を受信する。受信した両方の画像は、画角調整部１０に供給される。

画角調整部１０は、フォーカスを異ならせることにより画角がわずかに異なっている第１フォーカスの画像および第２フォーカスの画像の画角を調整し、以下に示す画素毎の処理が適切に行えるようにする。なお、画角調整は、第１フォーカスの画像および第２フォーカスの画像のいずれか一方に対してのみ行ってもよい。

拡散処理部１１は、点像分布関数を用いて、第１フォーカスの画像を計算処理によりデフォーカスされた状態の画像にする。この画像を以下ではデジタル・デフォーカス画像と呼ぶ。この処理により、第１フォーカスの画像がデジタル的にぼかされた画像になると共に、元の第１フォーカスの画像がＨＤ（High Definition）サイズの画像の場合、デジタル・デフォーカス画像は、例えば現像する画像が４Ｋ解像度の場合、４Ｋサイズの画像に拡大される。なお、現像する画像が８Ｋサイズの場合、拡散処理部１１は、８Ｋサイズ画像へのデフォーカスを行う。

アップサンプリング処理部１２は、第２フォーカスの画像をアップサンプリングする。例えば、第２フォーカスの画像がＨＤサイズであり、現像する画像が４Ｋ解像度の場合、画素数を縦横それぞれ２倍に拡大し、４Ｋサイズとする。アップサンプリングにより得られた画像を、以下では拡大デフォーカス画像と呼ぶ。なお、現像する画像が８Ｋサイズの場合、アップサンプリング処理部１２は、８Ｋサイズ画像へのアップサンプリングを行う。

差分算出部１３は、拡散処理部１１により生成されたデジタル・デフォーカス画像と、アップサンプリング処理部１２により生成された拡大デフォーカス画像との、画素毎の差分値を計算する。計算結果を以下では干渉画像と呼ぶ。

デブラ処理部１４は、学習型パターン変換回路により構成され、差分算出部１３から供給された干渉画像をデブラ（de-blur）処理して高周波成分を生成する。デブラ処理部１４は、この干渉画像をデフォーカスされた画像と見立てて、デフォーカス前の元画像を逆算する方法により、第１フォーカスの画像より高解像度の画像の高周波成分を生成する。

成分合成処理部１５は、デブラ処理部１４により生成された高周波成分と、受信部９から供給された低周波成分（第１フォーカスの画像）とを成分合成処理により１つの画像に合成する。以下では、ここで合成された画像を現像画像と呼ぶ。
以上、全体構成について説明した。

［全体構成の変形例について］
次に、上述した構成とは異なる構成を持つ撮像装置１０１と現像装置２０１について説明する。図２は、本技術に係る撮像装置１０１と現像装置２０１の全体構成を示す構成図である。

上述した構成との大きな違いは、現像装置２００が具備していた、画角調整部１０、拡散処理部１１、アップサンプリング処理部１２、および差分算出部１３が、撮像装置１０１側に移ったことである。なお、上記の構成要素と同じ機能を持つ構成要素については、同じ部材番号を付し説明を省略する。

撮像装置１０１は、対物レンズ１、ハーフミラー２、撮像素子３、第１フォーカスの画像撮像制御部４、光路長変更フィルタ５、撮像素子６、第２フォーカスの画像撮像制御部７、画角調整部１０、拡散処理部１１、アップサンプリング処理部１２、差分算出部１３、および送信部８Ｂを具備している。

送信部８Ｂは、差分算出部１３により生成された干渉画像と、第１フォーカスの画像撮像制御部４から供給された低周波成分（第１フォーカスの画像）とを、現像装置２０１に送信する。

現像装置２０１は、受信部９Ｂ、デブラ処理部１４、および成分合成処理部１５を具備している。

受信部９Ｂは、撮像装置１０１の送信部８Ｂから送られてきた干渉画像および低周波成分を受信する。受信した干渉画像はデブラ処理部１４に供給され、受信した低周波成分は成分合成処理部１５に供給される。
以上、全体構成の変形例について説明した。

［高解像度化現像のイメージ］
次に、高解像度化現像のイメージについて説明する。図３は、高解像度化現像のイメージについて説明するための図である。

撮像素子の１画素をブラックボックスとみなし、そこに懐中電灯で横から光を当てることにより、その１画素の外に影を作る。その影は、隣の画素に漏れ出る、１画素より細かな信号となる。

１画素より小さい信号は、通常観測することが出来ないが横から懐中電灯の光を当てるとその小さい信号の影が周辺の画素に写る。本技術による高解像度化現像では、この影と同様に、フォーカスをずらした場合に1画素より小さい信号の痕跡が周辺画素に漏れ出すことを利用し、この痕跡から、1画素より小さい情報を現像する。

次に、別の角度から、本技術による高解像度化現像を説明する。図４は、本技術による高解像度化現像がどのような結果をもたらすかを示す図である。

左側は、被写体の大きさを示している。４Ｋ解像度で１ピクセル分しかない被写体Ａと、４ピクセル分ある被写体Ｂである。中央は、それぞれの被写体が撮像された大きさを示している。ＨＤカメラによりそれらの被写体を撮像すると、像Ａも像ＢもＨＤ解像度１ピクセル分の大きさとして表現されてしまっている。右側は、高解像度化現像により光の痕跡（影）を基に４Ｋサイズでの現像を行って、被写体Ａの像は４Ｋ解像度の１ピクセル分に戻っていることを示している。

次に、デフォーカス画像から逆算して高解像度の画像を生成するイメージについて説明する。図５は、デフォーカス画像から逆算して高解像度の画像を生成するイメージについて説明する図である。

図の左側は、被写体が結像面Ａで結像した際には、１画素分の面積を占めるが、結像面Ａをずらしてデフォーカスさせたぼけ面Ｂでは、ぼけた像が隣の画素にはみ出し、３画素分の大きさで撮像されている。すなわち撮像素子の１画素では観測出来なかった１画素より細かい高周波成分がぼけた情報として観測されることを示している。図の右側は、干渉画像から逆算することにより、仮想結像面Ｃにおいて元の撮像素子の解像度よりも高解像度化された画像が現像されることを示している。
以上、高解像度化現像のイメージについて説明した。

［高解像度化の仕組み］
通常、撮像素子は撮像画素よりも小さい情報までは撮像できず、たとえ被写体が複雑な情報を持っていても、撮像画素よりも小さい情報は撮像素子１画素の情報として丸め込まれる。一方、焦点を動かすと、被写体の像は周辺の撮像画素にまたがるように拡散し、撮像画素１画素では捉えられなかった情報が周辺の撮像画素にも写り込むことになる。

本技術では、結像画像を所定のボケ量が得られるように点像分布関数により拡散させたデジタル・デフォーカス画像と、実際のデフォーカス画像の差分をとる。すると、差分により得られた干渉画像の中には、１撮像画素では撮像できなかった高周波成分の情報が、像が拡散した形で残留することになる。この情報を仮想結像面へ逆算することで、１撮像画素では撮像できなかった細かな高周波成分を算出し、撮像素子の解像度よりも細かな画像情報を現像するものである。

［仮想結像面への逆算方法について］
得られる干渉画像と、実際の高周波成分の間には幾何学的な相関性があり、学習型パターン変換回路において入力信号と最終的に取得したい教育信号とを与えて強化学習させることにより逆算モジュール（デブラ処理部１４）を構築した。この逆算モジュールにより撮像素子の解像度を上回る高解像度の画像が得られることが確認できた。

［デフォーカス量について］
次に、デフォーカスされた画像を撮像する際のデフォーカス量について説明する。図６は、デフォーカス量を示す図である。

図に示す矩形一つ一つが、撮像素子の画素を表している。そして最も内側の円が、撮像装置１００または１０１における光学系の最小錯乱円である。

例えば、撮像素子がＨＤ解像度であり、現像する画像が４Ｋ解像度である場合、錯乱円の大きさが、図中「２Ｋ〜６Ｋ」で示す円の大きさになるまで、デフォーカスを行う。

また、例えば、撮像素子がＨＤ解像度であり、現像する画像が８Ｋ解像度である場合、錯乱円の大きさが、図中「６Ｋ〜１０Ｋ」で示す円の大きさになるまで、デフォーカスを行う。

なお、上記の例では、ＨＤ、４Ｋ、および８Ｋの解像度を例に出したか、これら以外の解像度の場合も、ＨＤ、４Ｋ、および８Ｋの解像度と同様な比率でデフォーカスを行えばよい。
以上、デフォーカス量について説明した。

［デフォーカス方法］
次に、デフォーカス方法の具体例について説明する。図７は、デフォーカス方法の具体例について説明する図である。

既に全体構成の項で、光路長変更フィルタ５について述べたが、上記デフォーカス量の説明でも述べたとおり、デフォーカス量は、現像する画像の解像度によって調整しなければならない。デフォーカス量を調整する具体例の一つとして、フィルタディスクが挙げられる。

フィルタディスクには、図に示すように、例えば、３．２Ｋ、４Ｋ、および８Ｋ解像度の画像を現像するための光路長変更フィルタ５が嵌まっている。撮像装置１００または１０１は、現像する画像の解像度に応じ、フィルタディスクを回転させ、適切な光路長変更フィルタ５を用いることにより、目的の解像度に応じた高解像度現像が行われる。
以上、デフォーカス方法の具体例について説明した。

［成分合成処理について］
次に、成分合成処理について、成分分離処理とまとめて説明する。図８は、成分分離処理と成分合成処理について示す図である。

まず、成分分離処理について説明する。高解像度画像Ａには４つの画素Ｄ１、Ｄ２、Ｄ３、Ｄ４があるとする。成分分離処理では、以下の式により、低周波成分Ｃと高周波成分Ｂを生成する。

低周波成分Ｃ＝画素平均値Ｄｍ＝（Ｄ１＋Ｄ２＋Ｄ３＋Ｄ４）／４であり、
高周波成分Ｂは画素値Ｄ１’、Ｄ２’、Ｄ３’、Ｄ４’からなっており、
Ｄ１’＝Ｄ１−Ｄｍ
Ｄ２’＝Ｄ２−Ｄｍ
Ｄ３’＝Ｄ３−Ｄｍ
Ｄ４’＝Ｄ４−Ｄｍ
である。

成分合成処理は、成分分離処理の逆変換である。求める高解像度画像Ｄの各画素値Ｄ１からＤ４は、以下の式
Ｄ１＝Ｄ１’＋Ｄｍ
Ｄ２＝Ｄ２’＋Ｄｍ
Ｄ３＝Ｄ３’＋Ｄｍ
Ｄ４＝Ｄ４’＋Ｄｍ
で求めることが出来る。ここで、第１フォーカスの画像（ＨＤサイズ）を低周波成分とし、デブラ処理部１４の処理結果を高周波成分として、成分合成処理を行うことにより、高解像度化画像（４Ｋサイズ）を現像画像として得ることが出来る。
以上、成分合成処理について説明した。

［撮像装置の実装例について］
次に、撮像装置の実装例について説明する。図９は、撮像装置の実装例について示す図である。

図左上の「内蔵型大判デュアルセンサタイプカメラ」は、図１および図２の全体構成の図で示した構成に最も近いものである。

図右上の「ハーフミラーＲｉｇ方式ステレオカメラ」は、ビームスプリッター３０１内のハーフミラー２の後ろ側にそれぞれ対物レンズ１およびカメラ３００を配置し、リグ３０２で固定した構成である。

図右下の「大型レンズ内分光型ステレオカメラ」は、大型レンズ３０３の内部にハーフミラー２を配置した構成である。

図左下の「平行方式ステレオカメラ」は、左右の対物レンズ１で撮像される画像の一方をデフォーカスするものであり、視点は左右でずれるため高解像度化に限界はあるが、ある程度の効果は発揮するものである。

なお、これらの実装例は、第１の実施形態に加えて、以下に述べる実施形態でも同様である。
以上、撮像装置の実装例について説明した。

［具体的な実例について］
次に、本技術にかかる高解像度化現像技術を用いて、高解像度現像を行った例を示す。

図１０は、リファレンスとする４Ｋ画像Ａから、第１フォーカスの画像Ｂと第２フォーカスの画像Ｃを作成し、第１フォーカスの画像Ｂと第２フォーカスの画像Ｃに対して高解像度化現像を行う事により、干渉画像Ｄおよび高周波成分Ｅを経て現像画像Ｆを生成したものである。リファレンス画像Ａと現像画像Ｆを比較すると、大差がないことが分かる。但し、ここで行った高解像度化現像では、学習型パターン変換回路において、特定のパターンの集中学習を行っている。

図１１は、図１０に示した画像の黒目の部分を拡大した画像である。リファレンス画像Ａと現像画像Ｃとを比べると、現像画像Ｃは、リファレンス画像Ａに対して９割程度の現像精度であることが分かる。

図１２は、リファレンスとする８Ｋ画像Ａから、第１フォーカスの画像Ｂと第２フォーカスの画像Ｃを作成し、第１フォーカスの画像Ｂと第２フォーカスの画像Ｃを高解像度化現像により、干渉画像Ｄおよび高周波成分Ｅを経て現像画像Ｆにしたものである。リファレンス画像Ａと現像画像Ｆを比較すると、大差がないことが分かる。但し、ここで行った高解像度化現像では、学習型パターン変換回路において、特定のパターンの集中学習を行っている。

以上、第１の実施形態について説明した。

＜第２の実施形態＞
第１の実施形態では、干渉画像から高周波成分を得ることにより、画像の高解像度化を実現した。ここでは、まず、干渉画像から得られる情報について整理しておく。

一般に波動はY*sin(ωt+φ)の数式で表され、画像情報としてとらえた場合、Yは輝度、ωはＲＧＢのスペクトル情報、φは立体情報に解釈される。

従来の一般的なカメラでは、人間工学的な光の3原色ＲＧＢの情報に分解した輝度情報しか現像できていなかった。

第１フォーカスの画像（結像画像）と第２フォーカスの画像（デフォーカス画像）の２つの画像から得られる干渉画像の中には、第１フォーカスの画像を参照画像として、この参照画像のY、ω、φの変化量に関する情報が含まれている。本技術の発明者は、これらの変化量に関する情報を干渉画像の中からアルゴリズムにより分離し、ΔＹにより高解像度化画像、Δωによりハイパースペクトル画像、Δφにより立体化画像やリフォーカス画像を現像できることを発見した（図１３参照）。

第１の実施形態で説明した高解像度化現像技術では、ΔYの情報を参照画像に付加することにより、撮像素子の解像度を上回る解像度を実現している。

第２の実施形態では、Δωを用いたハイパースペクトル現像について説明し、第３の実施形態では、Δφを用いた立体化現像について説明し、第４の実施形態では、同じくΔφを用いたリフォーカス現像について説明する。なお、ここでは、これら現像技術を総称してホログラフィック現像と呼ぶ。

［全体構成］
最初に、本技術の実施形態である撮像装置と現像装置の全体構成について説明する。図１４は、本技術に係る撮像装置１００と現像装置２０２の全体構成を示す構成図である。

第２の実施形態で用いる撮像装置１００の構成は、第１の実施形態のものと同じであるので、説明を省略する。

現像装置に関する第１の実施形態との大きな違いは、現像装置２００が撮像装置２０２となってアップサンプリング処理部１２が無くなり、拡散処理部１１、差分算出部１３、およびデブラ処理部１４の機能が変更され、それぞれ、拡散処理部１１Ｂ、差分算出部１３Ｂ、およびデブラ処理部１４Ｂとなった点である。以下では、第１の実施形態と同じ機能を持つ構成要素については、同じ部材番号を付し説明を省略する。

現像装置２０２は、受信部９、画角調整部１０、拡散処理部１１Ｂ、差分算出部１３Ｂ、デブラ処理部１４Ｂ、および成分合成処理部１５を具備している。

拡散処理部１１Ｂは、点像分布関数を用いて、第１フォーカスの画像を計算処理によりデフォーカスされた状態のデジタル・デフォーカス画像にする。この処理により、第１フォーカスの画像がデジタル的にぼかされた画像になる。但し、第１の実施形態の拡散処理部１１とは異なり、元の第１フォーカスの画像の拡大、例えばＨＤ解像度から４Ｋ解像度や８Ｋ解像度への変更は行わない。

差分算出部１３Ｂは、拡散処理部１１Ｂにより生成されたデジタル・デフォーカス画像と、画角調整部１０から供給された第２フォーカスの画像との、画素毎の差分値を計算し、干渉画像を生成する。

デブラ処理部１４Ｂは、学習型パターン変換回路により構成され、差分算出部１３Ｂから供給された干渉画像をデブラ（de-blur）処理して高周波成分を生成する。デブラ処理部１４は、この干渉画像をデフォーカスされた画像と見立てて、デフォーカス前の元画像を逆算する方法により、結像画像の解像度よりも高い解像度の画像に対する高周波成分を生成する。但し、デブラ処理部１４Ｂでは、第１の実施形態のデブラ処理部１４が行うデブラ処理に比べて、更にコントラストを強調する様に、学習型パターン変換回路の学習が行われている。
以上、全体構成について説明した。

［全体構成の変形例について］
次に、上述した構成とは異なる構成を持つ撮像装置１０２と現像装置２０３について説明する。図１５は、本技術に係る撮像装置１０２と現像装置２０３の全体構成を示す構成図である。

上述した構成との大きな違いは、現像装置２０２が具備していた、画角調整部１０、拡散処理部１１Ｂ、および差分算出部１３Ｂが、撮像装置１０２側に移ったことである。なお、上記の構成要素と同じ機能を持つ構成要素については、同じ部材番号を付し説明を省略する。

撮像装置１０２は、対物レンズ１、ハーフミラー２、撮像素子３、第１フォーカスの画像撮像制御部４、光路長変更フィルタ５、撮像素子６、第２フォーカスの画像撮像制御部７、画角調整部１０、拡散処理部１１Ｂ、差分算出部１３Ｂ、および送信部８Ｂを具備している。

現像装置２０３は、受信部９Ｂ、デブラ処理部１４Ｂ、および成分合成処理部１５を具備している。
以上、全体構成の変形例について説明した。

［ハイパースペクトル現像について］
従来のカラーカメラは、入射光を光の３原色ＲＧＢのチャンネルに分解して、それぞれモノクロ撮影する方法によりフルカラーの画像を撮像している。この方法では、同じチャンネルの中の異なる色までは解析できない。一方、ハイパースペクトル現像では、フォーカスをずらすことにより、倍率色収差に由来するプリズム分光を発生させ、干渉模様の中にスペクトル情報を載せている。

通常のカメラでは、単調な白い被写体を撮像した画像は白であり、たとえ倍率色収差が生じても、周辺の画素の倍率色収差と混ざり合い、画像の色は、やはり白のままである。そのため、白い画像からは何も観測することはできない。

一方、第１フォーカスの画像と第２フォーカスの画像、または結像画像とデフォーカス画像、これら２つの画像の差分を見た場合、被写体の光反射面の微妙なスペクトル特性の変化により、僅かながら干渉画像内の干渉模様に倍率色収差の痕跡が収差情報として観測できるようになる。フォーカスを動かすと、倍率色収差の度合いに変化が生じる為である。この収差情報を、コントラストを強調するように学習させた学習型パターン変換回路で強調させることにより、従来のカメラでは撮像できなかった、被写体表面の微妙な変化を捉えることが出来るようになる（図１６参照）。

［ハイパースペクトル現像の具体例］
次に、ハイパースペクトル現像の具体例について説明する。図１７は、ハイパースペクトル現像の具体例を示す図である。

画像Ａが、ハイパースペクトル現像を行う前の第１フォーカスの画像である。画像Ｂが、干渉画像である。この干渉画像では、フォーカスをずらした際の僅かな分光特性の違いから、干渉模様を観測することが出来る。画像Ｃが、２次元ハイパースペクトル現像を行った現像画像である。現像画像では、僅かな干渉模様のコントラストが強調されており、画像に写ったクラックの周辺において経年変化が起こっている様子を詳細に観察することが出来る。この様子は、通常のカメラにより撮影した画像では観察できないものである。
以上、第２の実施形態について説明した。

＜第３の実施形態＞
第３の実施形態では、上述のとおり、Δφを用いた立体化現像技術について説明する。

［全体構成］
最初に、本技術の実施形態である撮像装置と現像装置の全体構成について説明する。図１８は、本技術に係る撮像装置１００と現像装置２０４の全体構成を示す構成図である。

第３の実施形態で用いる撮像装置１００の構成は、第１の実施形態および第２の実施形態のものと同じであるので、説明を省略する。

現像装置に関する第２の実施形態との大きな違いは、現像装置２０２が現像装置２０４となってデブラ処理部１４が無くなり、拡散処理部１１Ｂ、差分算出部１３Ｂ、および成分合成処理部１５の機能が変更され、それぞれ、拡散処理部１１Ｃ、差分算出部１３Ｃ、および成分合成処理部１５Ｂとなった点である。以下では、上記の実施形態と同じ機能を持つ構成要素については、同じ部材番号を付し説明を省略する。

現像装置２０４は、受信部９、画角調整部１０、拡散処理部１１Ｃ、差分算出部１３Ｃ、および成分合成処理部１５Ｂを具備している。

拡散処理部１１Ｃは、点像分布関数を用いて、第１フォーカスの画像を計算処理によりデフォーカスされた状態のデジタル・デフォーカス画像にする。但し、上記の実施形態とは異なり、拡散処理部１１Ｃは、第１フォーカスの画像に対して、右方向および左方向に線対称に偏った２つの点像分布関数を用いて拡散を行い、右画像用および左画像用の２つのデジタル・デフォーカス画像を生成する。

なお、上記の説明では、拡散処理部１１Ｃは、右画像用および左画像用の２つのデジタル・デフォーカス画像を生成したが、生成する画像は、右と左には限らない。上と下でもよい。上画像用と下画像用のデジタル・デフォーカス画像を生成することにより、最終的に現像された立体視用画像は、９０度回転させた状態で立体視を行うことが出来る。

差分算出部１３Ｃは、拡散処理部１１Ｃにより生成された、右画像用および左画像用の２つのデジタル・デフォーカス画像と、画角調整部１０から供給された第２フォーカスの画像との、画素毎の差分値を計算し、右画像用および左画像用の２つのマスク情報を生成する。

成分合成処理部１５Ｂは、差分算出部１３Ｃにより生成された右画像用および左画像用の２つのマスク情報と、受信部９から供給された結像画像とに基づき、立体視用に右画像用および左画像用の２つの現像画像を合成する。
以上、全体構成について説明した。

［全体構成の変形例について］
次に、上述した構成とは異なる構成を持つ撮像装置１０３と現像装置２０５について説明する。図１９は、本技術に係る撮像装置１０３と現像装置２０５の全体構成を示す構成図である。

上述した構成との大きな違いは、現像装置２０４が具備していた、画角調整部１０、拡散処理部１１Ｃ、および差分算出部１３Ｃが、撮像装置１０３側に移ったことである。なお、上記の構成要素と同じ機能を持つ構成要素については、説明を省略する。

撮像装置１０３は、対物レンズ１、ハーフミラー２、撮像素子３、第１フォーカスの画像撮像制御部４、光路長変更フィルタ５、撮像素子６、第２フォーカスの画像撮像制御部７、画角調整部１０、拡散処理部１１Ｃ、差分算出部１３Ｃ、および送信部８Ｃを具備している。

送信部８Ｃは、差分算出部１３Ｃにより生成された右画像用および左画像用の２つのマスク情報と、第１フォーカスの画像撮像制御部４から供給された第１フォーカスの画像とを、現像装置２０５に送信する。

現像装置２０５は、受信部９Ｃおよび成分合成処理部１５Ｂを具備している。

受信部９Ｃは、撮像装置１０３の送信部８Ｃから送られてきた右画像用および左画像用の２つのマスク情報と第１フォーカスの画像とを受信する。受信したマスク情報と第１フォーカスの画像とは、成分合成処理部１５Ｂに供給される。
以上、全体構成の変形例について説明した。

［処理の流れについて］
次に、立体化現像の処理の流れについて説明する。図２０は、立体化現像の処理の流れについて示す図である。

ここでは、処理の流れとして、画角調整部１０の処理が終わった時点からの説明を行う。また、立体視用画像を生成する処理では、左目用画像と右目用画像を生成する過程において、左右の処理が逆になっている以外、違いは無いので、以下では左目用画像についての処理のみを説明する。なお、左用点像分布関数と右用点像分布関数とは、線対称になっている。

まず、拡散処理部１１Ｃが、第１フォーカスの画像に対して、分布が左側に偏った左用点像分布関数を用いて、左用デジタル・デフォーカス画像を生成する。

次に、差分算出部１３Ｃが、左用デジタル・デフォーカス画像と第２フォーカスの画像との画素毎の差分値を取得し、右信号マスク情報を生成する。

次に、成分合成処理部１５Ｂが第１フォーカスの画像と右信号マスク情報とを合成して、左目用画像を現像する。
以上が、立体化現像の処理の流れである。

［立体化現像について］
デフォーカス画像は、複数の方向から入射した光の情報を位相情報として含んでいる。結像画像を用いて、立体視に不要な方向から入射した光をマスクすることにより、立体視に用いる光を分離することが出来る。この分離により、上下左右方向に、任意の輻輳角（立体感）を持った立体画像を得ることが出来る（図２１参照）。

但し、実際に得られる輻輳角は、対物レンズ１の口径や焦点距離に依存し、本技術に係る立体化現像技術により得られる立体感は、単眼スプリッタ方式ステレオカメラにより得られる立体感と同程度である。
以上、第３の実施形態について説明した。

＜第４の実施形態＞
第４の実施形態では、上述のとおり、Δφを用いたリフォーカス現像技術について説明する。

［全体構成］
最初に、本技術の実施形態である撮像装置と現像装置の全体構成について説明する。図２２は、本技術に係る撮像装置１００と現像装置２０６の全体構成を示す構成図である。

第４の実施形態で用いる撮像装置１００の構成は、上記の実施形態のものと同じであるので、説明を省略する。

現像装置２０６に関する上記各実施形態との大きな違いは、拡散処理部１１およびアップサンプリング部１２が無くなり、ブラー・デブラ処理部１４Ｃおよび成分合成処理部１５Ｃの機能が後述するものになり、入力部１８が追加された点である。以下では、上記の実施形態と同じ機能を持つ構成要素については、同じ部材番号を付し説明を省略する。

現像装置２０６は、受信部９、画角調整部１０、差分算出部１３、ブラー・デブラ処理部１４Ｃ、成分合成処理部１５Ｃ、および入力部１８を具備している。

入力部１８は、ユーザから指定された合焦位置を受け付ける。例えば、ユーザが画像後方の背景に合焦させた画像を現像したい場合は「後方」が入力され、画像中程の対象物に合焦させた画像を現像したい場合は「中央」が入力される。画像前方の前景に合焦させた画像を現像したい場合は「前方」が入力され、全ての領域に合焦した画像を現像したい場合は「パンフォーカス」が入力される。

ブラー・デブラ処理部１４Ｃは、予め学習型パターン変換回路に学習させた対物レンズ１のレンズ特性を用いると共に、差分算出部１３から供給された干渉画像の輝度情報とスペクトル情報、入力部１８から供給されたリフォーカスすべき位置（合焦位置）に基づき、フォーカス面に像を形成する光の光路を推定する。そして、スペクトル情報、より具体的には、倍率色収差に基づき、点像分布関数を、像を拡散させる方向、または像を収束させる方向に作用させて、リフォーカス現像に必要な、低周波成分の画像と目標とするリフォーカス画像との差分情報を生成する。なお、デブラ処理部１４Ｃが分担するリフォーカス現像のための処理については後述する。

成分合成処理部１５Ｃは、ブラー・デブラ処理部１４Ｃから供給された差分情報と、受信部９から供給された第１フォーカスの画像（第１の低周波成分）および第２フォーカスの画像（第２の低周波成分）のいずれか一方を用いてリフォーカス画像を合成する。なお、成分合成処理部１５Ｃが分担するリフォーカス現像のための処理については後述する。
以上、全体構成について説明した。

［全体構成の変形例について］
次に、上述した構成とは異なる構成を持つ撮像装置１０４と現像装置２０７について説明する。図２３は、本技術に係る撮像装置１０４と現像装置２０７の全体構成を示す構成図である。

上述した構成との大きな違いは、現像装置２０６が具備していた、画角調整部１０および差分算出部１３が、撮像装置１０４側に移ったことである。なお、上記の構成要素と同じ機能を持つ構成要素については、説明を省略する。

撮像装置１０４は、対物レンズ１、ハーフミラー２、撮像素子３、第１フォーカスの画像撮像制御部４、光路長変更フィルタ５、撮像素子６、第２フォーカスの画像撮像制御部７、画角調整部１０、差分算出部１３、および送信部８Ｄを具備している。

送信部８Ｄは、差分算出部１３により生成された干渉画像と、第１フォーカスの画像撮像制御部４から供給された第１フォーカスの画像と、第２フォーカスの画像撮像制御部４から供給された第２フォーカスの画像とを、現像装置２０７に送信する。

現像装置２０７は、受信部９Ｄ、ブラー・デブラ処理部１４Ｃ、成分合成処理部１５Ｃ、および入力部１８を具備している。

受信部９Ｄは、撮像装置１０４の送信部８Ｄから送られてきた干渉画像と第１フォーカスの画像と第２フォーカスの画像とを受信する。受信した干渉画像はブラー・デブラ処理部１４Ｃに供給され、第１フォーカスの画像および第２フォーカスの画像は、成分合成処理部１５Ｃに供給される。
以上、全体構成の変形例について説明した。

［リフォーカス現像の原理について］
次に、リフォーカス現像の原理について説明する。リフォーカス現像では、フォーカスの異なる２つの画像から得られる干渉画像に基づいて、撮像された像が対物レンズ１を透過後辿った光路を逆算し、任意のフォーカス位置において画像を現像することを可能にする。発明者は、リフォーカス現像により、画像撮影後にリフォーカスを行ったり、画像全体に合焦したパンフォーカス画像を生成したりするなど、特性の異なるレンズにより撮像された画像と同等の画像を擬似的に現像出来ることを実験により検証した。

図２４は、リフォーカス現像の原理について説明する図である。第１フォーカスの画像Ａには、被写体の像ＩＭＧ１ＡとＩＭＧ２Ａが写っている。また、第２フォーカスの画像Ｂには、被写体の像ＩＭＧ１ＢとＩＭＧ２Ｂが写っている。

例えば、像ＩＭＧ１Ａと像ＩＧＭ１Ｂは、同じ被写体を異なるフォーカスで撮影したものであるから、それらの輪郭を結ぶことにより、光路１を推定することが出来る。

そして、リフォーカスを行いたい焦点位置にあるリフォーカス面Ｃを指定すれば、光路１とリフォーカス面Ｃとが交わった面として、リフォーカス後の像ＩＭＧ１Ｃを求めることが出来る。同様に、像ＩＭＧ２Ａと像ＩＭＧ２Ｂからも、光路２を推定できるので、リフォーカス面Ｃでの像ＩＭＧ２Ｃを求めることが出来る。
以上、リフォーカス現像の原理について説明した。

［干渉画像のスペクトル情報を用いた光路の推定方法について］
次に、ブラー・デブラ処理部１４Ｃにおいて、干渉画像に基づいて光路を推定する方法について説明する。ここでは、光路を推定する為には、干渉画像に含まれる輝度情報に加えて、同じく干渉画像に含まれるスペクトル情報も用いなければならない点を説明する。

最初に、干渉画像に含まれる輝度情報だけでは光路の推定が行えない点について説明する。図２５は、輝度情報のみでは光路推定が出来ない様子を示す図である。

図には、リフォーカス現像の原理の項において説明に用いた図と同様に、第１フォーカスの画像Ａにおける像ＩＭＧ１Ａと、第２フォーカスの画像Ｂにおける像ＩＭＧ１Ｂとが描かれている。これら像ＩＭＧ１ＡおよびＩＭＧ１Ｂの大きさは、干渉画像の輝度情報から求めることが出来る。しかし、これら２つの像の大きさからは、光路が図上側のような第１フォーカスと第２フォーカスの間に合焦面がある光路１Ｘであるか、第１フォーカスと第２フォーカスの間には合焦面が無い光路１Ｙであるかの判断を行うことが出来ない。それ故、図の上下に示すように、光路１Ｘと光路１Ｙとでは、リフォーカス面Ｃで得られる像ＩＭＧ１Ｃの大きさを一意に決めることが出来ない。

次に、干渉画像に含まれるスペクトル情報も利用すれば、光路の推定が行える点について説明する。図２６は、輝度情報とスペクトル情報を用いると光路推定が出来る様子を示す図である。

この図には、前図と同じく、第１フォーカスの画像Ａにおける像ＩＭＧ１Ａと、第２フォーカスの画像Ｂにおける像ＩＭＧ１Ｂと、光路１Ｘと、光路１Ｙとが描かれている。前図と異なる点は、像ＩＭＧ１ＡおよびＩＭＧ１Ｂの輪郭線近傍では、倍率色収差により光線の通る位置が波長により異なっている点である。この図では、分かりやすいように、例として、赤色、緑色、青色の光（図中、それぞれＲ、Ｇ、Ｂで示している）を描いてある。

像ＩＭＧ１Ａの周囲では、輪郭線近傍の色が、内側から順にＲ、Ｇ、Ｂの順で並んでいる。それに対し、像ＩＭＧ１Ｂの周囲では、輪郭線近傍の色が、図上側のような第１フォーカスと第２フォーカスの間に合焦面がある光路１Ｘでは内側から順にＢ、Ｇ、Ｒの順で並んでおり、逆に図下側の光路１Ｙでは、内側から順にＲ、Ｇ、Ｂの順である。

このように、倍率色収差により発生する、像の輪郭部における色のにじみを見ることにより、どちらの光路であるかを推定することが出来る。
以上、干渉画像のスペクトル情報を用いた光路の推定方法について説明した。

［合焦位置と倍率色収差の実例について］
次に、画像を撮像する際の、合焦位置と発生する倍率色収差との関係について、実例を用いて説明する。図２７は、合焦位置の前後により、倍率色収差の状態が異なる様子を示す図である。

画像Ａは、中央に写っている人形よりも後方の背景に合焦している画像である。画像Ｂは、中央に写っている人形に合焦している画像である。画像Ｃは、中央に写っている人形よりも手前に合焦している画像である。また、画像Ａ１、Ｂ１、Ｃ１は、それぞれ、画像Ａ、Ｂ、およびＣの中央に写っている人形の目の部分を拡大したものである。

画像Ｂ１では、人形に合焦しており、目の部分には倍率色収差による色のにじみは認められない。それに対し、画像Ａ１では、人形より後方に合焦しており、目の部分、特に上瞼の輪郭線には、青色のにじみが発生している。また、画像Ｃ１では、人形より前方に合焦しており、目の部分、特に上瞼の輪郭線には、黄色のにじみが発生している。

このように、画像Ａ１と画像Ｃ１とでは、画像Ｂ１からのデフォーカスの程度は同様であるが、倍率色収差による色のにじみ方が異なる。そのため、同じぼけ方であっても、色のにじみ方により、合焦位置が、像の後方にあるのか、前方にあるのかを判別することが出来る。
以上、画像を撮像する際の、合焦位置と発生する倍率色収差との関係を示す実例について説明した。

［干渉画像に含まれるスペクトル情報の例と点像分布関数の利用について］
次に、干渉画像に含まれるスペクトル情報の例を示し、それぞれの例でどの様に（像を拡散させる方向または収束させる方向に）点像分布関数を作用させるかを示す。図２８は、干渉画像の中のスペクトル情報の例と、それぞれの例に対し拡散・収束いずれの方向で点像分布関数を作用させるかを示す図である。

図中、領域Ａ１に写った像では、倍率色収差により青色のにじみが認められる。この青色のにじみが観測される像に対しては、点像分布関数を、像を拡散させる、すなわちデフォーカスする方向に作用させる。

また、領域Ａ２に写った像では、倍率色収差により黄色のにじみが認められる。この黄色のにじみが観測される像に対しては、点像分布関数を、像を収束させる、すなわち合焦する方向に作用させる。

このように、干渉画像では、倍率色収差による色の違いが判別可能であり、この違いに関する情報を、ブラー・デブラ処理部１４Ｃの学習型パターン変換回路に学習させることにより、干渉画像中の像を、拡散方向または収束方向のいずれの方向に現像すべきかが判定可能となる。

このことにより、フォーカスの異なる２つの画像に基づき、任意のフォーカス位置にリフォーカスさせた画像を現像することが出来る。
以上、干渉画像に含まれるスペクトル情報の例と点像分布関数の利用について説明した。

［リフォーカス現像の実例について］
次に、リフォーカス現像の実例について説明する。図２９は、人形より後方の背景に合焦した画像の例である。この画像は、リフォーカス現像に用いる１枚目の画像であり、第１フォーカスの画像に相当する。この画像では、中央に写っている人形よりも後方の背景に合焦している。

図３０は、人形より手前に合焦した画像の例である。この画像は、リフォーカス現像に用いる２枚目の画像であり、第２フォーカスの画像に相当する。この画像では、中央に写っている人形よりも前方に合焦しており、画像全体がデフォーカスされた状態になっている。

図３１は、図２９および図３０に示した画像からリフォーカス現像を行い、人形に合焦させて現像したリフォーカス画像の例である。このように、背景をぼかして、中央の人形に合焦した画像を現像することが出来た。

図３２は、図２９および図３０に示した画像からリフォーカス現像を行い、人形および背景の両方に合焦させて現像したパンフォーカス画像の例である。このように、リフォーカス現像を用いると、異なる複数の距離にある被写体に対して合焦させたパンフォーカス画像も現像することが出来た。
以上、リフォーカス現像の実例について説明した。

＜第５の実施形態＞
次に、デフォーカス機構を省いて高解像度化現像を行う実施形態について説明する。本実施形態では、デフォーカス処理の代用として、倍率色収差補正処理を用いる。倍率色収差補正処理を行う為の仕組みは既に実用化され製品にも多く組み込まれているので、既存の製品に僅かな修正を行うだけで、高解像度化現像を実装することが出来る。

［全体構成］
最初に、本技術の実施形態である撮像装置と現像装置の全体構成について説明する。図３３は、本技術に係る撮像装置１０５と現像装置２０８の全体構成を示す構成図である。なお、上記の構成要素と同じ機能を持つ構成要素については、同じ部材番号を付し説明を省略する。

撮像装置１０５は、対物レンズ１、撮像素子３、第１フォーカスの画像撮像制御部（撮像部）４、収差補正部（補正部）１６、差分算出部１３Ｄ、高周波成分抽出部１７、および送信部８Ｅを具備している。

収差補正部１６は、対物レンズ１の、フォーカスやズームなどのレンズ情報を取得し、取得したレンズ情報に基づき、一般的に知られている倍率色収差補正方法により、結像画像に対して倍率色収差の補正を行う。

具体的には、デジタル処理により、ＲチャネルとＧチャネル間のずれ、およびＢチャネルとＧチャネル間のずれを補正する。このずれの補正工程が、デフォーカスを行う工程とほぼ同じ効果を発生させるため、倍率色収差の補正を行うことにより、デフォーカス処理を用いなくても高解像度化現像を行うことが出来る。なお、ここでは倍率色収差について説明しているが、これに限らず、球面収差やコマ収差などの補正でもよい。また、デジタル的なデブラ処理などのデジタル光学補正が行われた画像であってもよい。ここで生成される画像は、収差補正およびデジタル光学補正のうち少なくとも一方が行われた画像である。

なお、倍率色収差の補正を行った画像を、以下では補正画像と呼ぶ。補正画像は、干渉画像を生成するために差分算出部１３Ｄへ出力され、高周波成分を抽出するために高周波成分抽出部１７に出力され、現像装置２０８で成分合成処理に用いるために送信部８Ｅへ出力される。

差分算出部１３Ｄは、入力された第１フォーカスの画像および補正画像に対して、画素ごとの差分をとり、干渉画像を生成し、送信部８Ｅに出力する。

高周波成分抽出部１７は、ウェーブレット変換などにより、補正画像から高周波成分のみを抽出する。抽出方法はウェーブレット変換に限定されず、高周波成分が抽出できる方法であればどのような方法でもよい。抽出した補正画像の高周波成分は、現像装置２０８のデブラ処理部１４Ｄで利用するために、送信部８Ｅに出力される。

送信部８Ｄは、第１フォーカスの画像に含まれる座標情報と、干渉画像と、補正画像の高周波成分と、補正画像とを、現像装置２０８に送信する。なお、ここで言う座標情報とは、第１フォーカスの画像のＸＹ座標情報をこの画像の中央の画像を中心とする極座標系（ｒ−θ）に置き換えたものである。極座標系を用いるのは、倍率色収差が、画像の中央から同心円状に発生する収差である為である。この情報は、デブラ処理部１４Ｄの学習型パターン変換回路における学習を収束させるために用いられる。

現像装置２０８は、受信部９Ｅ、デブラ処理部１４Ｄ、および成分合成処理部１５を具備している。

受信部９Ｅは、撮像装置１０５の送信部８Ｅから、座標情報と、干渉画像と、補正画像の高周波成分と、補正画像とを受信し、座標情報、干渉画像、および補正画像の高周波成分をデブラ処理部１４Ｄに出力し、補正画像を成分合成処理部１５に出力する。

デブラ処理部１４Ｄは、座標情報、干渉画像、および補正画像の高周波成分を入力として、現像する画像の高周波成分を逆算するように、学習型パターン変換回路の学習が行われている。例えば、第１フォーカスの画像がＨＤサイズの場合、デブラ処理により、４Ｋサイズの高周波成分が生成される。第１フォーカスの画像が４Ｋサイズの場合は、８Ｋサイズの高周波成分が生成される。生成された現像画像の高周波成分は、成分合成処理部１５に出力される。なお、学習型パターン変換回路には、干渉画像に含まれる倍率色収差の収差差分情報と、補正画像の高周波成分とを、１画素分ずつ入力し処理を行う。

以上、全体構成について説明した。なお、上記の構成では、収差補正部１６、差分算出部１３Ｄ、高周波成分抽出部１７が撮像装置１０５にある構成とした。しかし、これら全てが現像装置２０８側にある構成でもよいし、収差補正部１６が撮像装置１０５側にある構成でもよいし、収差補正部１６および差分算出部１３Ｄが撮像装置１０５側にある構成でもよい。

［具体的な実例について］
次に、本実施形態にかかる高解像度化現像技術を用いて、高解像度現像を行った例を示す。

図３４は、リファレンスとする４Ｋ画像Ａから、第１フォーカスの画像Ｂを作成し、第１フォーカスの画像Ｂを高解像度化現像により、現像画像Ｃにしたものである。リファレンス画像Ａと現像画像Ｃを比較すると、大差がないことが分かる。

＜第６の実施形態＞
上記、第１の実施形態および第５の実施形態では、第１フォーカスの画像（結像画像）と、第２フォーカスの画像（デフォーカス画像）とから生成した干渉画像を用いて、空間方向の高解像度化を実現するホログラフィック現像について説明した。

本実施形態では、これに対し、このホログラフィック現像の理論を時間方向に拡張し、撮影された動画をハイフレームレート化するハイフレームレート現像技術について説明する。

ハイフレームレート現像では、図３５に示すように、通常の１／６０秒のシャッタースピードからみて、さらにその１／Ｎのシャッタースピード（Ｎは正数）である１／６０Ｎ秒のシャッタースピードにより撮像した画像を用いる。この画像をここでは１／Ｎシャッター画像と呼ぶ。

そして、１／６０秒から１／６０Ｎ秒だけ除いた残りの時間である、（Ｎ−１）／６０Ｎ秒のシャッタースピードにより撮像した画像も用いる。この画像をここでは（Ｎ−１）／Ｎシャッター画像と呼ぶ。これら２つの画像を、ハイフレームレート現像することにより、Ｎ倍速、すなわち１／６０Ｎ秒の高速なシャッタースピードで撮影した映像と同等のハイフレームレート映像を現像する。

この技術の利点は、ハイフレームレート専用のカメラを用いなくても、シャッター制御により、１／６０Ｎ秒のシャッタースピードで撮像したＨＤ解像度の画像と、（Ｎ−１）／６０Ｎ秒のシャッタースピードで撮像したＨＤ解像度の画像、計２枚分の画像データを１／６０秒間に処理できるカメラであれば、ハイフレームレート映像を生成できる点である。

但し、この技術では、フレームレートを上げすぎるとブロックノイズが増えすぎるので、現像するフレームレートには限度がある。また、生成される映像の解像度も、撮像素子のダイナミックレンジの影響がある。

［ハイフレームレート現像の原理について］
次に、ハイフレームレート現像の原理について説明する。ここではＮ＝３の場合を例に説明する。図３６は、ハイフレームレート現像の原理を説明するための図である。ここでは、１／６０秒間に撮像される２種類の画像を、１／３シャッター画像および２／３シャッター画像と呼ぶ。

撮像される画像のフレームを、現像される３倍速画像のフレーム番号を基準として、便宜上以下の様に呼ぶ。まず、１／３シャッターの第１フレーム（フレーム＃１）が撮像され、次に、２／３シャッターの第２−３フレーム（３倍速画像の第２および第３フレームに相当。フレーム＃２−３。）が撮像される。次に、１／３シャッターの第４フレーム（フレーム＃４）が撮像され、次に、２／３シャッターの第５−６フレームが撮像されるという順序とする。

（疑似的な補間フレームの生成）
１／３シャッター画像および２／３シャッター画像から、３倍速の画像を現像する場合、まず、１／３シャッターの第１フレームと第４フレーム間の動き量を解析する。

そして、第１フレームまたは第４フレームのどちらか一方の画像をフレーム間の移動量に基づいて、パターンマッチングによる線形補間を用いて、単純に動きの方向に移動させる。この線形補間により、３倍速画像の第２フレーム（フレーム＃２）と第３フレーム(フレーム＃３)に相当する擬似的な補間フレームが生成される。

（補間誤差の算出）
この２つの補間フレームでは、単純な直線移動により補間が行われている為、被写体の回転運動や加速的な運動、画面の奥行き方向への移動などは正確に補間できない。そのため、補間されたフレームの画像では、エッジ部分に多くの補間誤差が生じる。

もしこれら２つの疑似的な補間フレームが理想的に補間できた場合は、これら２つの補間フレームの合算値は、２／３シャッターの第２−３フレームの画像と等しくなるはずである。

しかし、補間が理想的にはいかないことから、これら２つの補間フレームの合算値と２／３シャッターの第２−３フレームの画像との差分が発生する。そこで、この差分をとり、疑似的な補間フレーム２枚分の誤差の累計値を取得する。この誤差の累計値が、干渉画像となる。

（学習型パターン変換回路への学習）
疑似的な補間フレームとして生成した第２フレームおよび第３フレームは、第１フレームまたは第４フレームのどちらか一方の画像をフレーム間の移動量に基づいて、線形補間により単純に動きの方向に移動させて生成したものである。

そのため、これら疑似的な第２フレームおよび第３フレームと、実際に３倍速のハイフレームレートのカメラで撮像した第２フレームおよび第３フレームとでは、誤差の関係に相関性がある。

実際、同じフレームの同じ座標では、同じ傾向の誤差が発生し、移動量が大きいほど誤差が広がる傾向が観測できる。

学習型パターン変換回路に、疑似的な補間フレームにおける誤差発生の傾向と、誤差の累計値である干渉画像との関係を予め学習させておくことにより、各補間フレームにおける誤差量を補正することが出来る。

（誤差修正量の割り振り）
疑似的な補間フレームである第２フレームおよび第３フレームに対する誤差修正量の割り振りは、これら２枚のフレームにおける誤差の発生に一定の傾向がある事から、行う事が可能になる。

この誤差修正量の割り振りは、疑似的な補間フレームを、１枚の１／３シャッターのフレーム（第１フレームまたは第４フレーム）を単純に平行移動させて生成することから実現可能となっている。もし、第１フレームおよび第４フレームの２枚のフレームから平均をとって補間を行った場合、誤差の発生には一定の傾向が無くなり、適切に誤差量の割り振りを行うことは出来なくなる。

（補正のポイント）
ハイフレームレート現像における補正のポイントは、疑似的な補間フレームを生成する段階では、高品質な補間フレームを得ることよりも、同じ傾向の誤差が出る様に補間することを優先する点である。高品質な補間フレームを得るための誤差修正は、ハイフレームレート現像の最後で干渉画像を用いて改めて行う。

［撮像装置の構成］
次に、ハイフレームレート現像を行うための撮像装置の構成について説明する。図３７は、撮像装置５００の構成を示す機能ブロック図である。

撮像装置５００は、撮像部５０１、撮像制御部５０２、疑似補間画像生成部５０３、加算処理部５０４、干渉画像生成部５０５、パターン変換部５０６、および誤差修正部５０７を含んで構成される。

撮像部５０１は、１／６０秒ごとに、１／６０Ｎ秒シャッターによる画像と、（Ｎ−１）／６０Ｎ秒シャッターによる画像とを撮像する。

撮像制御部５０２は、撮像部５０１が所定のシャッタースピードにより撮像するように制御するとともに、パターン変換部５０６に対して、撮像された画像（フレーム）のフレーム番号を通知する。パターン変換部５０６では、フレームごとに異なった誤差の割り振りを行うので、フレーム番号が必要となるからである。

疑似補間画像生成部５０３は、１／Ｎシャッターで撮像した画像２枚、すなわち、時刻ｔのものと、時刻ｔ−１／６０のもの（例えば、Ｎ＝３の場合は、第１フレームと第４フレーム）が入力され、これら２枚を用いて動き解析を行う。なお、撮像装置５００は、時刻ｔの画像に加えて時刻ｔ−１／６０の画像を保持するためのフレームメモリを備えている。

そして、疑似補間画像生成部５０３は、線形補間により、疑似的な補間画像Ｎ−１枚を生成する。疑似補間画像生成部５０３は、生成した疑似補間画像を、加算処理部５０４および誤差修正部５０７に供給する。

加算処理部５０４は、疑似補間画像生成部５０３から供給されたＮ−１枚の疑似補間画像を加算し、１枚の加算画像にまとめる。そして、加算処理部５０４は、まとめた加算画像を干渉画像生成部５０５に供給する。

干渉画像生成部５０５は、加算画像と（Ｎ−１）／Ｎシャッター画像とを入力とし、これら２つの画像の差分をとる。差分は、干渉画像（誤差累計値）としてパターン変換部５０６に供給する。

パターン変換部５０６は、学習型パターン変換回路を備えている。この学習型パターン変換回路には、上述のとおり、疑似的な補間フレームにおける誤差発生の傾向と、誤差の累計値である干渉画像との関係が予め学習されている。パターン変換部５０６は、干渉画像生成部５０５から供給された干渉画像と、撮像制御部５０２から供給されたフレーム番号とを用いて、各フレームの誤差補正量を生成する。パターン変換部５０６は、生成した誤差補正量を誤差修正部５０７に供給する。

誤差修正部５０７は、疑似補間画像生成部５０３から供給された疑似補間画像に、パターン変換部５０６から供給された誤差補正量を適用して誤差を修正し、Ｎ倍速画像を構成するＮ−１個のフレームを生成する。そして、誤差修正部５０７は、撮像部５０１から取得した１／Ｎシャッター画像とともに、完全なＮ個のフレームを構成し、画像を出力する。
以上、撮像装置５００の構成について説明した。

［本技術の別の構成］
なお、本技術は以下のような構成も採ることができる。
（１）
対物レンズと第１の解像度を有する撮像素子との光学的距離（フォーカス）が予め定められた量だけ異なる２つの画像を撮像する撮像部と、
撮像した前記画像を送信する送信部と
を具備した撮像装置。
（２）
前記（１）に記載の撮像装置であって、
前記撮像部は、
前記対物レンズを透過した光が合焦した結像画像を撮像する結像撮像素子と、
前記光が前記予め定められた量に基づきデフォーカスされたデフォーカス画像を撮像するデフォーカス撮像素子と
を有している撮像装置。
（３）
前記（１）に記載の撮像装置であって、
前記２つの画像の画角を揃える画角調整部と、
前記２つの画像のうち、一方を第１フォーカスの画像、もう一方を第２フォーカスの画像として、
前記第１フォーカスの画像を拡散させ、かつ前記第１の解像度よりも高い第２の解像度に拡大させた画像をデジタル・デフォーカス画像として生成する拡散部と、
前記第２フォーカスの画像を前記第２の解像度にアップサンプリングした画像を拡大デフォーカス画像として生成するアップサンプリング部と、
前記デジタル・デフォーカス画像と前記拡大デフォーカス画像との画素毎の差分を干渉画像として生成する差分算出部と
を更に具備し、
前記送信部は、前記第１フォーカスの画像および前記干渉画像を送信する
撮像装置。
（４）
前記（１）に記載の撮像装置であって、
前記２つの画像の画角を揃える画角調整部と、
前記２つの画像のうち、一方を第１フォーカスの画像、もう一方を第２フォーカスの画像として、
前記第１フォーカスの画像を拡散させた画像をデジタル・デフォーカス画像として生成する拡散部と、
前記デジタル・デフォーカス画像と前記第２フォーカスの画像との画素毎の差分を干渉画像として生成する差分算出部と
を更に具備し、
前記送信部は、前記第１フォーカスの画像および前記干渉画像を送信する
撮像装置。
（５）
前記（３）または（４）に記載の撮像装置であって、
前記拡散部は、
点像分布関数により、前記結像画像を拡散させる
撮像装置。
（６）
前記（１）に記載の撮像装置であって、
前記２つの画像の画角を揃える画角調整部と、
前記２つの画像のうち、一方を第１フォーカスの画像、もう一方を第２フォーカスの画像として、
前記第１フォーカスの画像を、第１の関数により拡散させた画像を第１のデジタル・デフォーカス画像として生成し、かつ前記第１の関数と線対称である第２の関数により拡散させた画像を第２のデジタル・デフォーカス画像として生成する拡散部と、
前記第１のデジタル・デフォーカス画像と前記第２フォーカスの画像との画素毎の差分を第１のマスク情報として生成し、かつ前記第２のデジタル・デフォーカス画像と前記第２フォーカスの画像との画素毎の差分を第２のマスク情報として生成する差分算出部と
を更に具備し、
前記送信部は、前記第１フォーカスの画像、前記第１のマスク情報、および前記第２のマスク情報を送信する
撮像装置。
（７）
前記（１）に記載の撮像装置であって、
前記２つの画像の画角を揃える画角調整部と、
前記２つの画像のうち、一方を第１フォーカスの画像、もう一方を第２フォーカスの画像として、
前記第１フォーカスの画像と前記第２フォーカスの画像との画素毎の差分を干渉画像として生成する差分算出部と
を更に具備し、
前記送信部は、前記第１フォーカスの画像、前記第２フォーカスの画像、および前記干渉画像を送信する
撮像装置。
（８）
前記（３）から（７）のうちいずれか１つに記載の撮像装置であって、
前記第１フォーカスの画像は、合焦した結像画像であり、
前記第２フォーカスの画像は、前記合焦した位置から所定量デフォーカスしたデフォーカス画像である
撮像装置。
（９）
画像を撮像する撮像部と、
前記画像に収差補正およびデジタル光学補正の少なくとも一方を行い、補正画像を生成する補正部と、
前記画像と前記補正画像との画素毎の差分を干渉画像として生成する差分算出部と、
前記画像に含まれる座標情報と、前記干渉画像と、前記補正画像とを送信する送信部と
を具備した撮像装置。
（１０）
対物レンズと撮像素子との光学的距離（フォーカス）が予め定められた量だけ異なる２つの画像を撮像し、
撮像した前記画像を送信する
撮像方法。

［補足事項］
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１ …対物レンズ
２ …ハーフミラー
３ …撮像素子
４ …結像画像撮像制御部
５ …光路長変更フィルタ
６ …撮像素子
７ …デフォーカス画像撮像制御部
８〜８Ｅ…送信部
９〜９Ｅ…受信部
１０…画角調整部
１１〜１１Ｃ…拡散処理部
１２…アップサンプリング処理部
１３〜１３Ｄ…差分算出部
１４、１４Ｂ、１４Ｄ…デブラ処理部
１４Ｃ…ブラー・デブラ処理部
１５〜１５Ｃ…成分合成処理部
１６…収差補正部
１７…高周波成分抽出部
１８…入力部
１００〜１０４…撮像装置
２００〜２０６…現像装置
３００…カメラ
３０１…ビームスプリッター
３０２…リグ
３０３…大型レンズ
５００…撮像装置
５０１…撮像部
５０２…撮像制御部
５０３…疑似補間画像生成部
５０４…加算処理部
５０５…干渉画像生成部
５０６…パターン変換部
５０７…誤差修正部

Claims (10)

1. 対物レンズと第１の解像度を有する撮像素子との光学的距離（フォーカス）が予め定められた量だけ異なる２つの画像を撮像する撮像部と、
   撮像した前記画像を送信する送信部と
   を具備した撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記撮像部は、
   前記対物レンズを透過した光が合焦した結像画像を撮像する結像撮像素子と、
   前記光が前記予め定められた量に基づきデフォーカスされたデフォーカス画像を撮像するデフォーカス撮像素子と
   を有している撮像装置。
3. 請求項１に記載の撮像装置であって、
   前記２つの画像の画角を揃える画角調整部と、
   前記２つの画像のうち、一方を第１フォーカスの画像、もう一方を第２フォーカスの画像として、
   前記第１フォーカスの画像を拡散させ、かつ前記第１の解像度よりも高い第２の解像度に拡大させた画像をデジタル・デフォーカス画像として生成する拡散部と、
   前記第２フォーカスの画像を前記第２の解像度にアップサンプリングした画像を拡大デフォーカス画像として生成するアップサンプリング部と、
   前記デジタル・デフォーカス画像と前記拡大デフォーカス画像との画素毎の差分を干渉画像として生成する差分算出部と
   を更に具備し、
   前記送信部は、前記第１フォーカスの画像および前記干渉画像を送信する
   撮像装置。
4. 請求項３に記載の撮像装置であって、
   前記第１フォーカスの画像は、合焦した結像画像であり、
   前記第２フォーカスの画像は、前記合焦した位置から所定量デフォーカスしたデフォーカス画像である
   撮像装置。
5. 請求項４に記載の撮像装置であって、
   前記拡散部は、
   点像分布関数により、前記結像画像を拡散させる
   撮像装置。
6. 請求項１に記載の撮像装置であって、
   前記２つの画像の画角を揃える画角調整部と、
   前記２つの画像のうち、一方を第１フォーカスの画像、もう一方を第２フォーカスの画像として、
   前記第１フォーカスの画像を拡散させた画像をデジタル・デフォーカス画像として生成する拡散部と、
   前記デジタル・デフォーカス画像と前記第２フォーカスの画像との画素毎の差分を干渉画像として生成する差分算出部と
   を更に具備し、
   前記送信部は、前記第１フォーカスの画像および前記干渉画像を送信する
   撮像装置。
7. 請求項１に記載の撮像装置であって、
   前記２つの画像の画角を揃える画角調整部と、
   前記２つの画像のうち、一方を第１フォーカスの画像、もう一方を第２フォーカスの画像として、
   前記第１フォーカスの画像を、第１の関数により拡散させた画像を第１のデジタル・デフォーカス画像として生成し、かつ前記第１の関数と線対称である第２の関数により拡散させた画像を第２のデジタル・デフォーカス画像として生成する拡散部と、
   前記第１のデジタル・デフォーカス画像と前記第２フォーカスの画像との画素毎の差分を第１のマスク情報として生成し、かつ前記第２のデジタル・デフォーカス画像と前記第２フォーカスの画像との画素毎の差分を第２のマスク情報として生成する差分算出部と
   を更に具備し、
   前記送信部は、前記第１フォーカスの画像、前記第１のマスク情報、および前記第２のマスク情報を送信する
   撮像装置。
8. 請求項１に記載の撮像装置であって、
   前記２つの画像の画角を揃える画角調整部と、
   前記２つの画像のうち、一方を第１フォーカスの画像、もう一方を第２フォーカスの画像として、
   前記第１フォーカスの画像と前記第２フォーカスの画像との画素毎の差分を干渉画像として生成する差分算出部と
   を更に具備し、
   前記送信部は、前記第１フォーカスの画像、前記第２フォーカスの画像、および前記干渉画像を送信する
   撮像装置。
9. 画像を撮像する撮像部と、
   前記画像に収差補正およびデジタル光学補正の少なくとも一方を行い、補正画像を生成する補正部と、
   前記画像と前記補正画像との画素毎の差分を干渉画像として生成する差分算出部と、
   前記画像に含まれる座標情報と、前記干渉画像と、前記補正画像とを送信する送信部と
   を具備した撮像装置。
10. 対物レンズと撮像素子との光学的距離（フォーカス）が予め定められた量だけ異なる２つの画像を撮像し、
    撮像した前記画像を送信する
    撮像方法。