JP7180609B2 - 情報処理装置と情報処理方法および撮像装置とプログラム - Google Patents

Description

本開示は、情報処理装置と情報処理方法および撮像装置とプログラムに関し、撮像レンズ及びピンホールのいずれも介さず入射する被写体光に応じて生成された画素出力情報のデータ量を削減する。

撮像装置の構成は、撮像レンズと撮像素子とが組み合わされた構成と、ピンホールと撮像素子とが組み合わされた構成が一般的によく知られている。

撮像レンズと撮像素子とが組み合わされた構成は、現在の大半の撮像装置に採用されており、撮像レンズにより被写体からの光が集光されて撮像素子の撮像面に被写体光学像が結像されて、撮像素子は光電変換によって被写体光学像に応じた画像信号を生成する。このように、撮像レンズと撮像素子とを組み合わせた構成の撮像装置では、撮像レンズの収差による影響が生じると共に、撮像レンズが必須構成となるため撮像装置の小型化には限界がある。

一方、ピンホールと撮像素子とが組み合わされた構成は、被写体からの光を集光する撮像レンズを用いないために撮像素子の撮像面に到達する光量が少なく、露光時間を長くする、またはゲインを上げるといった処理が必要となり、一般の使用には耐えるものではなく、特に、高速撮像に適さない。

そこで、例えば特許文献１では、回折格子からなるフィルタと撮像素子とを組み合わせた構成により、被写体からの光を、回折格子からなるフィルタを介して得られるパターンとして撮像して、撮像結果となるパターンを用いた演算処理により被写体画像を再現する撮像装置が提案されている。また、撮像レンズを用いない撮像素子は、特許文献２や非特許文献１でも提案されている。

国際公開第２０１６／１２３５２９号 特表２０１６-５１０９１０号公報

M. Salman Asif、他４名、"Flatcam: Replacing lenses with masks and computation"、"2015 IEEE International Conference on Computer Vision Workshop (ICCVW)"、2015年、663-666ページ

ところで、撮像レンズを用いていない上述のような撮像装置は、撮像面に結像された被写体光学像を光電変換することによって画像信号を生成するものではなく、撮像レンズと撮像素子とが組み合わされた撮像装置とは生成される情報が異なる。

そこで、この技術では、撮像レンズ及びピンホールのいずれも介さず入射する被写体光に応じて生成された画素出力情報のデータ量を削減できる情報処理装置と情報処理方法および撮像装置とプログラムを提供することを目的とする。

この技術の第１の側面は、
撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理を行う情報圧縮部
を備える情報処理装置。

この技術において、情報圧縮部は、撮像素子から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理を行う。撮像素子は、撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされている。

情報圧縮部は、例えば入射角指向性に基づいて複数の画素出力それぞれを複数の分類のいずれかに分類して、分類毎に圧縮処理を行う。情報圧縮部は、圧縮処理として基準値情報と画素出力との差分を算出する。基準値情報は画素出力に基づいて設定してもよく、直前の画素出力を基準値情報として設定してもよい。また、情報圧縮部は、画素出力に基づいて設定した演算パラメータと画素出力の線形演算を行うことで画素出力情報の語長を削減してもよく、圧縮処理後の画素出力情報の圧縮語長を判別して、判別した圧縮語長に基づき露出を制御する。また、情報圧縮部は、色成分毎に前記圧縮処理を行う。

また、情報圧縮部で圧縮処理された画素出力情報または圧縮処理された画素出力情報の伸張処理後の画素出力情報あるいは圧縮処理前の画素出力情報を用いて、被写体の視認が可能な復元画像を生成する画像変換部をさらに備えてもよい。また、情報圧縮部は、例えば画素出力情報の語長を判別して、判別結果に基づき画素出力情報の生成を制御して、生成される画素出力情報を所望の語長として、画像変換部は、情報圧縮部で所望の語長とされた画素出力情報を用いて、被写体の視認が可能な復元画像の生成を行い、語長復元部は、画像変換部で生成された復元画像を圧縮前の語長の画像に復元する。

また、撮像素子は、複数の画素出力単位のうち、少なくとも２つの画素出力単位は、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なるようにする。例えば、複数の画素出力単位のそれぞれは、１つのフォトダイオードで構成されて、少なくとも２つの画素出力単位は、フォトダイオードへの被写体光の入射を遮る遮光膜をそれぞれ有し、被写体光を遮光膜によって遮る範囲が、少なくとも２つの画素出力単位で互いに異なるようにする。また、少なくとも２つの画素出力単位のそれぞれは、複数のフォトダイオードで構成され、前記複数のフォトダイオードは、前記出力画素値に寄与する度合いが互いに異なるようにしてもよい。また、複数の画素出力単位は、それぞれ被写体光に対する入射指向性を独立に設定可能な構成を有してもよい。

この技術の第２の側面は、
撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理を行うこと
を含む情報処理方法にある。

この技術の第３の側面は、
撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力からなる画素出力情報の圧縮情報を用いて、復元画像を生成する画像変換部
を備える情報処理装置にある。

この技術の第４の側面は、
撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子を備える撮像部と
前記撮像部から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理を行う情報圧縮部と
を備える撮像装置にある。

この技術の第５の側面は、
画像処理をコンピュータで実行させるプログラムであって、
撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力からなる画素出力情報のデータ量を削減する手順
を前記コンピュータで実行させるプログラムにある。

この技術によれば、撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、複数の画素出力単位のうち、少なくとも２つの画素出力単位の画素出力が、被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理が情報圧縮部で行われる。したがって、撮像レンズフリーの撮像素子等を用いた場合のデータ量を削減できるので、長時間または多枚数の撮影を行った際の保存や送信にかかる負荷を軽減することが可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

撮像レンズを用いた場合の撮像の原理を説明するための図である。 ピンホールを用いた場合の撮像の原理を説明するための図である。 撮像レンズやピンホールを設けていない場合を説明するための図である。 撮像部の構成を例示した図である。 撮像部１２１の構成例を示した図である。 撮像部１２１の第２の構成例を示す図である。 入射角指向性を説明するための図である。 撮像部の他の構成を示した図である。 白黒パターンマスクを用いた場合を示す図である。 光干渉マスクを用いた場合を示す図である。 撮像素子の変形例を示す図である。 各画素出力単位における入射光に応じた検出値と画素値の算出を説明するための図である。 情報処理システムの構成を示した図である。 情報圧縮部の第１の実施の形態の構成を例示した図である。 第１の動作を説明するための図である。 第１の動作を示すフローチャートである。 第２の動作を説明するための図である。 第２の動作を示すフローチャートである。 第３の動作を説明するための図である。 第４の動作を説明するための図である。 情報圧縮部の第２の実施の形態の構成を例示した図である。 情報圧縮部の第２の実施の形態の動作を例示した図である。 情報圧縮部の第２の実施の形態の動作の他の例を示した図である。 情報圧縮部の第２の実施の形態の動作の他の例を示した図である。 情報圧縮部の第２の実施の形態の動作を示すフローチャートである。 情報圧縮部の第３の実施の形態の構成を例示した図である。 情報圧縮部の第３の実施の形態の動作を例示した図である。 検出値の変化分のビット拡張動作を例示した図である。 色成分画素毎の画素出力からカラー画像信号を生成する場合の構成例示した図である。 情報処理システムの他の構成を例示した図である。 撮像装置の構成を例示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像の概要
２．撮像部の構成
３．撮像部の他の構成
４．光源と画素出力情報の関係
５．情報処理システムの構成と動作
６．情報圧縮部の第１の実施の形態の構成と動作
６－１．第１の実施の形態における第１の動作
６－２．第１の実施の形態における第２の動作
６－３．第１の実施の形態における第３および第４の動作
７．情報圧縮部の第２の実施の形態の構成と動作
８．情報圧縮部の第３の実施の形態の構成と動作
９．情報圧縮部の他の動作
１０．情報処理システムの他の構成と動作
１１．情報処理システムを用いた撮像装置の構成と動作

＜１．撮像の概要＞
全ての被写体は点光源の集合であると考えることができ、あらゆる方向に光が出射されている。したがって、点光源より発する光をどのように撮像するのかについて考えることで、撮像の原理を説明することができる。

図１は、撮像レンズを用いた場合の撮像の原理を説明するための図である。図１の（ａ）に示すように、被写体面ＯＰにおける被写体は、例えば点光源ＰＡ，ＰＢ，ＰＣとする。点光源ＰＡから出射された光線は撮像レンズＬＮＺによって撮像面ＩＰにおける位置Ｐａに集光される。なお、撮像レンズＬＮＺは、同じ方向から入射した被写体光を互いに隣接する画素の双方へ入射させるための集光機能を有するレンズである。同様に、点光源ＰＢ（ＰＣ）から出射された光線は撮像レンズＬＮＺによって撮像面ＩＰにおける位置Ｐｂ（Ｐｃ）に集光される。位置Ｐａの素子では、点光源ＰＡからの光線の強度に応じた画素出力が得られる。同様に、位置Ｐｂ（Ｐｃ）の素子では、点光源ＰＢ（ＰＣ）からの光線の強度に応じた画素出力が得られる。したがって、各画素の画素出力を用いて被写体面ＯＰの点光源ＰＡ，ＰＢ，ＰＣを示す撮像画の画像信号を生成できる。なお、図１の（ｂ）では、縦軸が撮像面ＩＰにおける位置を表し、横軸が各位置の撮像素子における光強度に基づいた検出値である。例えば、位置Ｐａでは検出値ＳＤza、位置Ｐｂでは検出値ＳＤzb、位置Ｐｃでは検出値ＳＤzcであり、「ＳＤzb＞ＳＤza＞ＳＤzc」の場合を例示している。

図２は、ピンホールを用いた場合の撮像の原理を説明するための図である。ピンホールでは各画素の位置と光の入射角度の関係が一意に決まる。図２の（ａ）に示すように、被写体面ＯＰにおける被写体は例えば点光源ＰＡ，ＰＢ，ＰＣとする。点光源ＰＡから出射された光線は遮光壁ＷＰの穴部ＢＫＨと透過して、撮像面ＩＰにおける位置Ｐａに照射される。同様に、点光源ＰＢ（ＰＣ）から出射された光線は穴部ＢＫＨと透過して、撮像面ＩＰにおける位置Ｐｂ（Ｐｃ）に照射される。位置Ｐａの素子では、穴部ＢＫＨを透過した点光源ＰＡからの光線の強度に応じた画素出力が得られる。同様に、位置Ｐｂ（Ｐｃ）の素子では、穴部ＢＫＨを透過した点光源ＰＢ（ＰＣ）からの光線の強度に応じた画素出力が得られる。したがって、各画素の画素出力を用いて被写体面ＯＰの点光源ＰＡ，ＰＢ，ＰＣを示す撮像画の画像信号を生成できる。なお、図２の（ｂ）では、縦軸が撮像面ＩＰにおける位置を表し、横軸が各位置の撮像素子における光強度に基づいた検出値である。例えば、位置Ｐａでは検出値ＳＤpa、位置Ｐｂでは検出値ＳＤpb、位置Ｐｃでは検出値ＳＤpcであり、「ＳＤpb＞ＳＤpa＞ＳＤpc」の場合を例示している。また、穴部ＢＫＨと透過した光線のみで画素出力が生成されることから、検出値は撮像レンズを用いた場合よりも小さくなる。すなわち「ＳＤza＞ＳＤpa，ＳＤzb＞ＳＤpb，ＳＤzc＞ＳＤpc」となる。なお、ピンホールを用いた構成の場合、撮像素子内の各画素の位置と入射する被写体光の入射角の関係は一位に定まる。したがって、ピンホールと従来の撮像素子を用いた構成の場合や先行技術文献で示された他社の方式は、画素出力単位毎に独立して指向性を設定できない。さらに、ピンホールと撮像素子との構成からなる撮像装置は、撮像レンズを設ける必要がないので、撮像レンズと撮像素子との構成からなる撮像装置よりも装置構成を小さくすることができる可能性があるが、撮像される画像の明るさが十分でないため、ある程度の明るさの画像を撮像できるように露光時間を長くする、または、ゲインを上げる等が必須となり、高速な被写体の撮像においてはボケが生じ易くなる、または、自然な色表現ではなくなる恐れがある。

図３は、撮像レンズやピンホールを設けていないレンズレスの構成で、通常の撮像素子を用いた場合を説明するための図である。図３の（ａ）に示すように、点光源ＰＡ，ＰＢ，ＰＣから出射された光線は、位置Ｑａ，Ｑｂ，Ｑｃのそれぞれに入射することになる。また、図３の（ｂ）では、縦軸が撮像面ＩＰにおける位置を表し、横軸が各位置の画素における光強度に基づいた検出値であり、位置Ｑａ，Ｑｂ，Ｑｃの各素子の画素出力は、点光源ＰＡ，ＰＢ，ＰＣからの光線の強度に応じた画素出力となる。例えば、位置Ｑａでは検出値ＳＤsa、位置Ｑｂでは検出値ＳＤsb、位置Ｑｃでは検出値ＳＤscであり、「ＳＤsa≒ＳＤsb≒ＳＤsc」となる。したがって、各画素の画素出力を用いて被写体面ＯＰの点光源ＰＡ，ＰＢ，ＰＣを示す撮像画の画像信号を生成することができない。

そこで、本技術の撮像部では、撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、複数の画素出力単位のうち、少なくとも２つの画素出力単位の画素出力が、被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子を用いる構成とする。ここでいう被写体光に対する入射角指向性が異なる特性とは、画素出力単位に対する入射光の入射角度に応じた受光感度特性が異なることである。なお、画素出力単位がどのような単位であるか、後述の説明で明らかにする。

＜２．撮像部の構成＞
次に、本技術の情報処理装置で処理する画素出力情報の生成を行う撮像部について説明する。撮像部は、撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、複数の画素出力単位のうち、少なくとも２つの画素出力単位の出力画素は、被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子を用いて構成する。撮像素子は、各画素出力単位の位置の画素出力からなる１画像の画素出力を取得する。言い換えれば、撮像部は、同じ方向から入射した被写体光を互いに隣接する画素出力単位の双方へ入射させるための集光機能を介さずに入射された被写体光に対して、複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値（画素出力）の持つ入射角指向性が異なり、画素出力単位毎に画素出力を生成する。すなわち、撮像部は撮像レンズフリーの撮像素子によって画素出力単位毎に画素出力を生成する。以下、撮像部は、被写体光に応じた画素出力情報を生成する場合について説明する。

図４は、本技術の情報処理装置の処理対象である画素出力情報を生成する撮像部の構成を例示している。なお、図４では、撮像部の一部領域例えば水平方向×垂直方向のそれぞれの画素数が６画素×６画素の領域を示している。

撮像部１２１は、撮像素子の画素（画素出力単位）１２１ａ毎に、フォトダイオードの受光領域の一部であって、画素１２１ａ毎に変調素子である遮光膜１２１ｂが異なる範囲として設けられており、各画素１２１ａに入射する入射光が、入射角度に応じて光学的に変調される。すなわち、撮像部１２１は、画素（画素出力単位）毎の入射光の入射角度に応じた受光感度を異なる感度とすることが可能な構成であり、入射方向に対する指向性すなわち入射角指向性を有することになる。したがって、画素１２１ａ毎に異なる範囲に遮光膜１２１ｂを設けることにより、画素１２１ａ毎に入射光の入射角度に対する受光感度が異なるものとなり、各画素１２１ａが異なる入射角指向性を有するようになる。

例えば画素１２１ａ-1と画素１２１ａ-2とでは、設けられている遮光膜１２１ｂ-1と遮光膜１２１ｂ-2との画素内を遮光する範囲が異なる（遮光する領域（位置）、および遮光する面積の少なくともいずれかが異なる）。すなわち、画素１２１ａ-1においては、フォトダイオードの受光領域における左側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ-1が設けられており、画素１２１ａ-2においては、受光領域における右側の一部を、遮光膜１２１ｂ-1よりも水平方向に広い幅だけ遮光するように遮光膜１２１ｂ-2が設けられている。また、その他の画素１２１ａにおいても、同様に、遮光膜１２１ｂが、画素毎に受光領域内における異なる範囲が遮光されるように設けられており、画素アレイ内でランダムに配置されている。この撮像素子は、画素１２１a単位で遮光膜の幅や位置を独立して設定（設計）することが可能な構成であるため、画素１２１a単位で独立して入射角指向性を設定可能な構成となり、出力画素値としても、各画素１２１a毎に独立して入射角指向性を設定可能な構成を有することになる。

なお、遮光膜１２１ｂの範囲は、各画素の受光領域を覆い隠す割合が大きくなるほど、受光できる光量が少ない状態となるため、所定の光量が確保できる程度の面積とすることが望ましい。また、撮像素子の全ての画素１２１aについて遮光膜を設けなくてもよい。

次に、撮像部の構成について説明する。図５は、撮像部１２１の構成例を示しており、図５の（ａ）は、撮像部１２１の側面断面図であり、図５の（ｂ）は、撮像部１２１の構成例における上面図である。なお、図５の（ａ）の側面断面図は、図５の（ｂ）におけるＡＢ断面である。

撮像部１２１においては、図の上方から下方に向けて入射光Ｌが入射する。隣接する画素１２１ａ-15，１２１ａ-16は、それぞれ図中の最下層に配線層Ｚ12が設けられており、その上に光電変換層Ｚ11が設けられて、いわゆる裏面照射型の構成となっている。

なお、画素１２１ａ-15，１２１ａ-16を区別する必要がない場合、単に、画素１２１ａと称し、他の構成についても、同様に称する。また、図５においては、撮像部１２１の画素アレイを構成する２画素分の側面図および上面図となっているが、いうまでもなく、これ以上の数の画素１２１ａが配置されているが、図では省略している。

さらに、画素１２１ａ-15，１２１ａ-16は、それぞれ光電変換層Ｚ11にフォトダイオード１２１ｅ-15，１２１ｅ-16を備えている。また、フォトダイオード１２１ｅ-15，１２１ｅ-16の上には、それぞれ上からオンチップレンズ１２１ｃ-15，１２１ｃ-16、およびカラーフィルタ１２１ｄ-15，１２１ｄ-16が構成されている。

オンチップレンズは、画素出力単位毎に設けられ、自身に入射する被写体光を対応する画素出力単位のみに集光する機能を有するレンズである。例えば、オンチップレンズ１２１ｃ-15，１２１ｃ-16は、入射光をフォトダイオード１２１ｅ-15，１２１ｅ-16上に集光させる。

カラーフィルタ１２１ｄ-15，１２１ｄ-16は、例えば、赤色、緑色、青色、赤外等のいずれか特定波長の光を透過させるフィルタである。また、カラーフィルタ１２１ｄ-15，１２１ｄ-16は透明であってもよく、カラーフィルタを用いない構成としてもよい。

画素１２１ａ-15，１２１ａ-16の光電変換層Ｚ11における、それぞれ画素間の境界には、遮光膜１２１ｂ-15，１２１ｂ-16と素子分離膜１２１ｓが形成されている。遮光膜１２１ｂ-15，１２１ｂ-16は、図５の（ａ）で示されるように、側面から見てＬ字型に構成されており、フィルタ面側に設けられた入射光遮光部１２１ｂ-15ａ，１２１ｂ-16ａと、フィルタ面に対して鉛直方向に形成された分離部１２１ｂ-15b，１２１ｂ-16bを有している。また、図５の（ｂ）で示されるように、上面から見て遮光膜１２１ｂ-15，１２１ｂ-16の入射光遮光部が受光面Ｓを遮光している。画素１２１ａ-15，１２１ａ-16におけるフォトダイオード１２１ｅ-15，１２１ｅ-16の受光面Ｓにおいては、遮光膜１２１ｂ-15，１２１ｂ-16の入射光遮光部１２１ｂ-15ａ，１２１ｂ-16ａにより、それぞれ異なる範囲が遮光されており、これにより画素（画素出力単位）毎に異なる入射角指向性が設定される。ただし、遮光される範囲は、撮像部１２１の全画素１２１ａのそれぞれにおいて異なることが場合に限らず、一部で同一の範囲が遮光される画素１２１ａが存在していてもよい。

また、素子分離膜１２１ｂ-17は、遮光膜１２１ｂ-15，１２１ｂ-16の分離部１２１ｂ-15b，１２１ｂ-16bと対向して設けられており、遮光膜１２１ｂ-15，１２１ｂ-16の分離部や素子分離膜１２１ｂ-17によって、隣接する画素間のクロストーク、例えば、図５の（ａ）における入射光Ｌについて、隣接する画素間のクロストークが抑制される。

遮光膜１２１ｂ-15，１２１ｂ-16および乃至素子分離膜１２１ｂ-17は、金属により構成されており、例えば、タングステン（W）、アルミニウム（Al）、またはアルミニウム（Al）と銅（Cu）との合金より構成される。また、遮光膜１２１ｂ-15，１２１ｂ-16および乃至素子分離膜１２１ｂ-17は、半導体プロセスにおける配線が形成されるプロセスと同一のプロセスで、配線と同一の金属により同時に形成されるようにしてもよい。さらに、遮光膜１２１ｂ-15，１２１ｂ-16および乃至素子分離膜１２１ｂ-17の膜厚は、位置に応じて同一の厚さにしなくてもよい。なお、図４，５の例では、１つの画素が１つの画素出力単位に相当する。

図６は、撮像部１２１の第２の構成例を示す図である。図６の（ａ）は、第２の構成例である撮像部１２１の画素１２１ａの側面断面図を示しており、図６（ｂ）は、撮像部１２１の上面図を示している。また、図６の（ａ）に示す側面断面図は、図６の（ｂ）におけるＡＢ断面となる。

図６に示すように、撮像部１２１は、画素１２１ａにおいて、４つのフォトダイオード１２１ｆ-1乃至１２１ｆ-4が形成されて、素子分離膜１２１ｂが、フォトダイオード１２１ｆ-1乃至１２１ｆ-4同士を分離する領域に形成されている点で、図５の撮像部１２１と異なる構成となっている。すなわち、図６の撮像部１２１では、上面から見て素子分離膜１２１ｂが「＋」形状に形成されている。「＋」形状の交点位置は、４つのフォトダイオードの受光面のサイズが等しくなるように、図６に示すように画素１２１ａの中央位置としてもよく、交点位置を画素１２１ａの中央位置から移動して、画素１２１ａは受光面のサイズが異なるフォトダイオードを有する構成、すなわち、交点位置を移動したものと移動しないものとで異なる特性の画素出力単位を有した構成としてもよい。なお、それらの共通の構成については同一の符号を付し、詳細な説明は省略する。

図６のように構成された撮像部１２１では、素子分離膜１２１ｂによりフォトダイオード１２１ｆ-1乃至１２１ｆ-4に分離することによって、フォトダイオード１２１ｆ-1乃至１２１ｆ-4間の電気的および光学的なクロストークを防止することができる。

すなわち、図５の撮像部では、１つの画素出力単位に対して１つのフォトダイオードを設けて、各画素（画素出力単位）の遮光膜１２１ｂによる遮光の状態を画素単位で異なるものとすることで、画素毎の入射角指向性が異なるように構成している。なお、図５の撮像部では、１つの画素が画素出力単位に相当する。また、図６の撮像部では、１つの画素出力単位に対して４つのフォトダイオードを設けて、４つのフォトダイオードのうち、画素出力単位に寄与するフォトダイオードを画素出力単位毎に異なるものとすることで、画素出力単位毎に独立して異なる入射角指向性を持たせる（設定する）ことができる。例えば、フォトダイオード１２１ｆ－１とフォトダイオード１２１ｆ－２で得られる信号を加算して出力画素情報を生成すれば、出力画素情報は横方向の入射角指向性を持つ情報となり、フォトダイオード１２１ｆ－１とフォトダイオード１２１ｆ－３で得られる信号を加算して出力画素情報を生成すれば、出力画素情報は縦方向の入射角指向性を持つ情報となる。

なお、寄与の有無は、各フォトダイオードの検出値をフローティングディフュージョンに読み出すか否かや、電子シャッター機能を用いてフローティングディフュージョンへの読み出しの前にフォトダイオードに蓄積された検出値（電荷）をリセットすること等で実現することができる。また、電子シャッター機能を用いる場合、フォトダイオード１２１ｆで生成した電荷のフローティングディフュージョンへの読み出しの直前にリセットをすれば、そのフォトダイオード１２１ｆは画素出力単位への寄与がない状態とすることができ、リセットとフローティングディフュージョンへの読み出しの間の時間を持たせれば、部分的に寄与をさせることもできる。なお、図６の撮像部では、４つのフォトダイオードから１つの出力画素値が得られるので、４つのフォトダイオードで１つの画素出力単位を構成することになる。

次に、入射角指向性について説明する。図７は撮像部１２１における画素出力単位の入射角指向性を説明するための図である。図７の（ａ）（ｂ）において、上方の入射方向より入射光を集光するオンチップレンズ１２１ｃ-11（１２１ｃ-12）、所定の波長の光を透過させるカラーフィルタ１２１ｄ-11（１２１ｄ-12）、および光電変換により画素信号を生成するフォトダイオード１２１ｅ-11（１２１ｅ-12）の順に積層されている。

なお、オンチップレンズ１２１ｃ-11，１２１ｃ-12、カラーフィルタ１２１ｄ-11，１２１ｄ-12、およびフォトダイオード１２１ｅ-11，１２１ｅ-12の、それぞれを区別する必要がない場合、単に、オンチップレンズ１２１ｃ、カラーフィルタ１２１ｄ、およびフォトダイオード１２１ｅと称するものとする。

撮像部１２１では、入射光を受光する領域の一部を遮光する、例えば、メタル配線などより構成される遮光膜１２１ｂ-11（１２１ｂ-12）が設けられている。

図７の（ａ）で示すように、フォトダイオード１２１ｅ-11の右側半分を遮光するような遮光膜１２１ｂ-11が設けられている場合、フォトダイオード１２１ｅ-11の検出値は、図７の（ｃ）における実線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ-11の検出値が変化する。なお、図７の（ｃ）においては、横軸が入射角度θであり、縦軸がフォトダイオード１２１ｅにおける検出値を示している。

すなわち、入射角度θが大きいほど（入射方向が図中の右側に寄っているほど）、遮光膜１２１ｂ-11が設けられていない範囲に光が入射することで、フォトダイオード１２１ｅ-11の検出値が大きくなる。逆に、入射角度θが小さいほど（入射方向が図中の左側に寄っているほど）、遮光膜１２１ｂ-11が設けられている範囲に光が入射することで、フォトダイオード１２１ｅ-11の検出値が小さくなる。

また、図７の（ｂ）で示すように、フォトダイオード１２１ｅ-12の左側半分を遮光するような遮光膜１２１ｂ-12が設けられている場合、図７の（ｃ）における点線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ-12の検出値が変化する。

すなわち、入射角度θが大きいほど（入射方向が図中の右側に寄っているほど）、遮光膜１２１ｂ-12が設けられている範囲に光が入射することで、フォトダイオード１２１ｅ-12の検出値が小さくなる。逆に、入射角度θが小さいほど（入射方向が図中の左側に寄っているほど）、遮光膜１２１ｂ-12が設けられていない範囲に光が入射することで、フォトダイオード１２１ｅ-12の検出値が大きくなる。

図７の（ｃ）に示される入射角度θに応じた検出値の変化を示す実線および点線で示される波形は、遮光膜１２１ｂ-11，１２１ｂ-12の範囲に応じて変化させることができるので、これにより画素出力単位で相互に異なる入射角指向性を持たせることが可能となる。ここでいう入射角指向性とは、入射角度θに応じた各画素出力単位の検出値の変化の特性であるが、これは入射角度θに応じた遮光レベルの変化の特性であるとも言える。すなわち、遮光膜１２１ｂ-11，１２１ｂ-12は、特定の方向の入射光は高いレベルで遮光するが、特定方向以外の方向からの入射光は十分に遮光できない。すなわち、入射光が入射角度に応じて光学的に変調されて、遮光できるレベルの変化が、図７の(ａ)で示されるような入射角度θに応じた検出値の変化を生じさせる。したがって、画素出力単位毎に異なる入射角指向性を持たせることができる。

また、撮像部の第２の構成例のように１個のオンチップレンズ１２１ｃに４つのフォトダイオードを設けるようにした場合も同様に、４つのフォトダイオードのうち、画素出力に寄与するフォトダイオードを画素出力単位毎に異なるものとすることで、画素出力単位毎に異なる入射角指向性を持たせることができる。

なお、上述の撮像部１２１は、オンチップレンズが設けられている場合を例示したが、オンチップレンズを用いることなく上述のような構成としても、画素出力単位毎に異なる入射角指向性を持たせることができる。

＜３．撮像部の他の構成＞
ところで撮像部は、画素出力単位毎に独立して設定可能な遮光膜を用いたり、寄与するフォトダイオードの数を変更したり、複数のフォトダイオードの交点位置を変更することで画素出力単位毎に異なる入射角指向性を持たせる構成に限られない。例えば、撮像部は入射角指向性を互いに異なる特性とするための素子としてランダムな白黒パターンマスクまたは光干渉マスクを用いてもよい。

図８は、撮像部の他の構成を示している。撮像部２２１は、撮像素子２２２の撮像面ＩＰに対して所定間隔を有するように変調素子であるマスク２２３が撮像素子２２２に固定されており、被写体面ＯＰからの光は、マスク２２３を介して撮像素子２２２の撮像面ＩＰに入射するように構成されている。

図９は、白黒パターンマスクを用いた場合を示している。図９の（ａ）は、白黒パターンマスクを例示している。白黒パターンマスク２２３BWは、光を透過する白パターン部と光を遮光する黒パターン部をランダムに配置した構成であり、パターンサイズは撮像素子２２２の画素サイズと独立に設定されている。図９の（ｂ）は点光源ＰＡから出射された光と点光源ＰＢから出射された光について、撮像面ＩＰに対する照射状態を模式的に示している。また、図９の（ｃ）は、白黒パターンマスク２２３BWを用いた場合の撮像素子の応答を、点光源ＰＡから出射された光と点光源ＰＢから出射された光について個々に模式的に示している。被写体面ＯＰからの光は、白黒パターンマスク２２３BWを介して撮像素子２２２の撮像面ＩＰに入射する。したがって、被写体面ＯＰの点光源ＰＡから出射された光に対応する撮像素子の応答はＳｂｗaとなる。また、被写体面ＯＰの点光源ＰＢから出射された光に対応する撮像素子の応答はＳｂｗbとなる。したがって、撮像素子２２２から出力される画素出力情報は、画素出力単位毎に各点光源の応答を合成した１画像の情報となる。この構成の場合、画素出力単位毎に独立して入射角指向性を設定することができず、近い位置の画素出力単位においては互いに近い入射角指向性を有することになる。

図１０は、光干渉マスクを用いた場合を示している。図１０の（ａ）に示すように、被写体面ＯＰの点光源ＰＡ，ＰＢから出射された光は、光干渉マスク２２３LFを介して撮像素子２２２の撮像面ＩＰに照射される。光干渉マスク２２３LFの例えば光入射面には、図１０の（ｂ）に示すように光の波長程度の凹凸が設けられている。また、光干渉マスク２２３LFは、鉛直方向から照射された特定波長の光の透過が最大となる。被写体面ＯＰの点光源ＰＡ，ＰＢから出射された特定波長の光の光干渉マスク２２３LFに対する入射角の変化（鉛直方向に対する傾き）が大きくなると光路長が変化する。ここで、光路長が半波長の奇数倍であるときは光が弱めあい、半波長の偶数倍であるときは光が強めあう。すなわち、点光源ＰＡ，ＰＢから出射されて光干渉マスク２２３LFを透過した特定波長の透過光の強度は、図１０の（ｃ）に示すように、光干渉マスク２２３LFに対する入射角に応じた入射角指向性で撮像素子２２２の撮像面ＩＰに入射する。したがって、撮像素子８２２の各画素出力単位から出力される画素出力情報は、光干渉マスク２２３LFを透過した各点光源の変調後の光強度を合成した情報となる。この構成の場合、画素出力単位毎に独立して入射角指向性を設定することができず、近い位置の画素出力単位においては互いに近い入射角指向性を有することになる。

なお、光学フィルタ２２３BWの代わりに、図１１の光学フィルタ２２３HWを用いるようにしてもよい。光学フィルタ２２３HWは、偏光方向が等しい直線偏光素子２３１Aと直線偏光素子２３１B、及び、λ／２波長板２３２を備え、λ／２波長板２３２は、直線偏光素子２３１Aと直線偏光素子８３１Bの間に挟まれている。λ／２波長板２３２には、光学フィルタ２２３BWの黒パターン部の代わりに、斜線で示される偏光部が設けられ、白パターン部と偏光部がランダムに配置されている。

直線偏光素子２３１Aは、点光源ＰＡから出射されたほぼ無偏光の光のうち、所定の偏光方向の光のみを透過する。以下、直線偏光素子２３１Aが、偏光方向が図面に平行な光のみを透過するものとする。直線偏光素子２３１Aを透過した偏光光のうち、λ／２波長板２３２の偏光部を透過した偏光光は、偏光面が回転されることにより、偏光方向が図面に垂直な方向に変化する。一方、直線偏光素子２３１Aを透過した偏光光のうち、λ／２波長板２３２の白パターン部を透過した偏光光は、偏光方向が図面に平行な方向のまま変化しない。そして、直線偏光素子２３１Bは、白パターン部を透過した偏光光を透過し、偏光部を透過した偏光光をほとんど透過しない。従って、偏光部を透過した偏光光は、白パターン部を透過した偏光光より光量が減少する。これにより、光学フィルタ２２３BWを用いた場合とほぼ同様の濃淡のパターンを、撮像素子２２２の受光面（撮像面）ＩＰ上に生じさせることができる。

＜４．光源と画素出力情報の関係＞
被写体面を構成する光源が点光源であることを前提とした場合、撮像部においては、同一の点光源より発せられた光線が入射角指向性を互いに異なる特性とするための素子を介して撮像面ＩＰに入射されて、撮像面ＩＰの各画素出力単位では、それぞれ異なる入射角指向性の光（例えば入射角度の違いやマスクに応じた光強度の光）が入射されることになる。すなわち、同一の光強度の光線であっても、各画素出力単位で異なる感度で検出されて、画素出力単位毎に異なる検出値として検出される。ここで、入射角指向性の違いを係数で表現した場合、各画素出力単位における入射光に応じた検出値は、入射光の光強度に対して、入射角指向性に応じた係数を乗じることで求められるものとなる。

図１２は、各画素出力単位における入射光に応じた検出値と画素値の算出を説明するための図である。例えば、図１２（ａ）に示すように、撮像部１２１は、被写体面ＯＰの点光源ＰＡ，ＰＢ，ＰＣを撮像する。図１２の（ｂ）は撮像面上の位置と検出値の関係を例示している。ここで、位置Ｑａ，Ｑｂ，Ｑｃにおける検出値ＳＤＡ，ＳＤＢ，ＳＤＣは、それぞれ以下の式（１）乃至式（３）で表される。
ＳＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ ・・・（１）
ＳＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ ・・・（２）
ＳＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ ・・・（３）

ここで、α１は、撮像面ＩＰの位置Ｑａにおける点光源ＰＡからの光線の入射角度に応じた入射角指向性を表現しており光強度ａに対する係数である。

同様に、β１は、撮像面ＩＰの位置Ｑａにおいて、復元する被写体面ＯＰの点光源ＰＢからの光線の入射角度に応じた入射角指向性を表現しており光強度ｂに対する係数であり、γ１は、撮像面ＩＰの位置Ｑａにおける復元する被写体面ＯＰの点光源ＰＣからの光線の入射角度に応じた入射角指向性を表現しており光強度ｃに対する係数である。

従って、検出値ＳＤＡのうちの（α１×ａ）は、位置Ｑａにおける点光源ＰＡからの光線による検出値を示したものであり、位置Ｑａにおける点光源ＰＡからの光線の光強度ａに、その入射角度に応じた入射角指向性を示す係数α１が乗じられたものである。

また、検出値ＳＤＡのうちの（β１×ｂ）は、位置Ｑａにおける点光源ＰＢからの光線による検出値を示したものであり、位置Ｑａにおける点光源ＰＢからの光線の光強度ｂに、その入射角度に応じた入射角指向性を示す係数β１が乗じられたものである。

さらに、検出値ＳＤＡのうちの（γ１×ｃ）は、位置Ｑａにおける点光源ＰＣからの光線による検出値を示したものであり、位置Ｑａにおける点光源ＰＣからの光線の光強度ｃに、その入射角度に応じた入射角指向性を示す係数γ１が乗じられたものである。

従って、検出値ＳＤＡは、位置Ｑａにおける点光源ＰＡ，ＰＢ，ＰＣからの光線のそれぞれの光強度ａ，ｂ，ｃと、係数α１，β１，γ１との積和として表現される。なお、１つの検出値の算出に用いる係数のセット例えば係数α１，β１，γ１を係数セットとする。位置Ｑｂにおける検出値ＳＤＢについて、係数セット「α２，β２，γ２」は、それぞれ点光源ＰＡにおける検出値ＳＤＡについての係数セット「α１，β１，γ１」に対応するものである。また、位置Ｑｃにおける検出値ＳＤＣについて、係数セット「α３，β３，γ３」は、それぞれ点光源ＰＡにおける検出値ＳＤＡについての係数セット「α１，β１，γ１」に対応するものである。

また、位置Ｑａ，Ｑｂ，Ｑｃの検出値については、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃと係数との積和により表現される値である。このため、これらの検出値は、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じったものとなるので、被写体の像が結像されたものとは異なる。また、位置Ｑａ，Ｑｂ，Ｑｃの検出値は、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じったものとなるので、各画素出力単位間の検出値の差は撮像レンズを用いた場合に比べて小さく、画面全体で比較的均一な信号レベルとなる。

位置Ｑａ，Ｑｂ，Ｑｃにおける画素出力単位の検出値は、上述のように点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃと係数との積和により表現される値である。したがって、この係数α１，β１，γ１，α２，β２，γ２，α３，β３，γ３と、検出値ＳＤＡ，ＳＤＢ，ＳＤＣを用いた連立方程式を構成して光強度ａ，ｂ，ｃを解く、すなわち検出値と係数を用いた復元演算を行うことで、図１２の（ｃ）に示すように、各位置Ｑａ，Ｑｂ，Ｑｃの画素値ＧＰqａ，ＧＰqｂ，ＧＰqｃを求めることができる。また、撮像部１２１を用いた場合に限らず、撮像部２２１を用いた場合にも同様な処理を行うことで、位置Ｑａ，Ｑｂ，Ｑｃの検出値と係数を用いた復元演算を行い、各位置Ｑａ，Ｑｂ，Ｑｃの画素値ＧＰqａ，ＧＰqｂ，ＧＰqｃを求めることができる。なお、復元演算に用いる複数の係数セット「α１，β１，γ１」「α２，β２，γ２」「α３，β３，γ３」を係数セット群とする。

すなわち、係数α１，β１，γ１，α２，β２，γ２，α３，β３，γ３は、画素出力から被写体面上の点光源の光強度を算出するための係数セット群であり、被写体距離毎に係数セット群を予め記憶しておき、画素出力と所望の被写体距離に対応する係数セット群を用いて復元演算を行うことで、撮像レンズを用いていない撮像レンズフリーの撮像部１２１（２２１）を用いても、所望の被写体距離にフォーカスがあって被写体を視認できる撮像画を取得できる。また、撮像レンズや光学フィルタ，ピンホール等が必須構成とならないので、撮像装置の低背化、すなわち入射方向に対する厚さを薄くすることが可能になる。

＜５．情報処理システムの構成と動作＞
次に、撮像レンズフリーの撮像装置で生成された画素出力情報の処理を行う情報処理システムの構成について説明する。

図１３は、情報処理システムの構成を示している。情報処理システム３００は、情報圧縮部３１１、記録部３１２、再生部３２０、情報伸張部３２１、画像変換部３２２、係数記憶部３２３を有している。なお、情報処理システム３００の構成は、図１３に示す構成に限られず情報処理システム３００で行われる動作に応じて、一部のブロックのみを用いて構成されてもよい。例えば、情報処理システム３００からデータ量を削減した画素出力情報を外部機器に出力する処理や記録媒体に記録する処理のみを行う場合は、再生部３２０、情報伸張部３２１、画像変換部３２２、係数記憶部３２３を用いていなくともよい。また、外部機器から供給されたまたは記録媒体に記録されているデータ量の削減されている画素出力情報の再生処理のみを行う場合は情報圧縮部３１１や記録部３１２を用いていなくともよい。

上述したように、撮像部１２１（２２１）は、入射角指向性に応じた画素出力情報を生成する。撮像部は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子と同様のものであるが、入射角指向性を互いに異なる特性とするための素子を用いる点で、従来の撮像レンズを用いる撮像部と構成が異なる。

情報圧縮部３１１は、撮像部１２１（２２１）から出力された画素出力情報に対して、データ量圧縮処理を行い、圧縮処理後の画素出力情報（以下「圧縮情報」という）を記録部３１２や伝送路を解して外部機器へ出力する。

記録部３１２は、情報圧縮部３１１で生成された圧縮情報を記録媒体に記録する。なお、記録媒体は着脱可能であってもよく、記録部３１２と再生部３２０が一体化されている装置に固定して設けてもよい。

再生部３２０は、記録媒体に記録されている圧縮情報を読み出して情報伸張部３２１へ出力する。

情報伸張部３２１は、再生部３２０または外部機器から取得した圧縮情報に対して伸張処理を行い、圧縮処理前の画素出力情報を生成する。情報伸張部３２１は、伸張処理において、基準値情報と圧縮情報を加算して、圧縮処理前の画素出力情報を生成する。情報伸張部３２１は、生成した画素出力情報を画像変換部３２２へ出力する。

画像変換部３２２は、情報伸張部３２１から供給された画素出力情報と係数記憶部３２３に記憶されている係数セット群を用いて復元演算を行い、各画素出力単位において被写体光学像における対応する位置の画像に応じた画素信号を生成する。すなわち、撮像部１２１（２２１）で生成された画素出力情報は、上述したように入射角指向性に応じた画素信号となるので、目視により被写体を認識することができない視認不可能な情報である。したがって、画像変換部は、係数記憶部３２３に記憶されている係数セット群を用いて復元演算を行い、視認可能な情報すなわち被写体の視認が可能な撮像画の画像信号を生成する。画像変換部３２２は、生成した画像信号を表示部や外部機器へ出力する。

係数記憶部３２３は、画素出力情報から撮像画を示す画像信号を復元するための演算に用いる係数セット群を記憶している。上述の式（１）で示すように、例えばα１は、位置Ｑａにおける点光源ＰＡからの光線の入射角度に応じた入射角指向性を示す係数である。また、β１は、位置Ｑａにおける点光源ＰＢからの光線の入射角度に応じた入射角指向性を示す係数である。このような点光源ＰＡに関する係数α１、点光源ＰＢに関する係数β１、他の点光源に関する係数が予め撮像部１２１（２２１）に応じて予め算出されており、位置毎に算出された係数セットからなる係数セット群が係数記憶部３２３に記憶されている。

＜６．情報圧縮部の第１の実施の形態の構成と動作＞
図１４は、情報圧縮部の第１の実施の形態の構成を例示している。上述したように、画素出力情報は、撮像レンズを用いた場合に比べて画素出力単位間の光強度の検出値の差が小さい。したがって、情報圧縮部３１１-1は差分圧縮を行い、撮像部１２１（２２１）から出力された画素出力情報のデータ量を削減して、画素出力情報の保存や送信にかかる負荷を軽減できるようにする。情報圧縮部３１１-1は、例えば基準設定部３１１１と差分演算部３１１２を有している。基準設定部３１１１は基準値情報を設定する。差分演算部３１１２は、基準設定部３１１１で設定された基準値情報と画素出力単位毎の画素出力情報との差分を算出することで画素出力情報よりもデータ量の小さい圧縮情報を生成する。

＜６－１．第１の実施の形態における第１の動作＞
次に、情報圧縮部の第１の実施の形態における第１の動作について説明する。図１５は、第１の動作を説明するための図である。基準設定部３１１１は、予め設定した値または画素出力情報の平均値を基準値情報ＤＣとして設定する。

図１５では、ビット幅（ビット深度）が８ビットの画素出力情報を処理する場合の例であり、画素出力情報すなわち全画素出力単位の画素値における最大値が例えば画素位置（画素出力単位の位置（以下「画素位置」という）Ｇ１の画素値「ＳＤ1＝２５５」であり、全画素出力単位の画素値の最小値が例えば画素位置Ｇ３の画素値「ＳＤ3＝１２８」である。また、全画素出力単位の画素値の平均値が例えば「１９２」である場合を例示している。なお、全画素出力単位とは、例えば記録直前の画像の全画素出力単位であってもよく、ライブビュー画像の所望のタイミングの画像の全画素出力単位等であってもよく、撮像部１２１（２２１）から出力された画素出力情報をオフライン処理する場合は、圧縮処理を行う画像の全画素出力単位とする。

差分演算部３１１２は、基準値情報ＤＣと画素位置Ｇ0の画素出力ＳＤ0との差分ｄＤ0を算出する。また、差分演算部３１１２は、基準値情報ＤＣと画素位置Ｇ1の画素出力ＳＤ1との差分ｄＤ1を算出する。以下同様に、差分演算部３１１２は、基準値情報ＤＣと画素位置Ｇnの画素出力ＳＤnとの差分ｄＤnを算出して、基準値情報ＤＣと各画素出力単位で算出した差分ｄＤ0・・・ｄＤnを示す圧縮情報を生成する。

図１５の（ａ）は基準値情報ＤＣとして全画素出力単位の画素値の平均値を用いた場合を例示している。この場合、平均値に対して差分値ｄＤ0～ｄＤnの最小値は「１２８－１９２＝－６４」となり、最大値は「２５５－１９２＝６３」となる。すなわち、差分値ｄＤ0～ｄＤnの保存に必要なビット幅は７ビットである。したがって、図１５の（ｅ）に示す圧縮情報では、圧縮前のデータ量「８ビット×（ｎ＋１）画素出力単位」を、データ量「８ビット（基準値情報ＤＣのデータ量）＋７ビット×（ｎ＋１）画素出力単位」に削減できる。

図１５の（ｂ）は、基準値情報ＤＣとして全画素出力単位の画素値の最大値を用いた場合を例示している。この場合、最大値に対して差分値ｄＤ0～ｄＤnの最小値は「１２８－２５５＝－１２７」となる。すなわち、差分値ｄＤ0～ｄＤnの保存に必要なビット幅は７ビットである。したがって、図１５の（ｅ）に示す圧縮情報では、圧縮前のデータ量「８ビット×（ｎ＋１）画素出力単位」を、データ量「８ビット（基準値情報ＤＣのデータ量）＋７ビット×（ｎ＋１）画素出力単位」に削減できる。

図１５の（ｃ）は、基準値情報ＤＣとして全画素出力単位の画素値の最小値を用いた場合を例示している。この場合、最小値に対して差分値ｄＤ0～ｄＤnの最大値は「２５５－１２８＝１２７」となる。すなわち、差分値ｄＤ0～ｄＤnの保存に必要なビット幅は７ビットである。したがって、図１５の（ｅ）に示す圧縮情報では、圧縮前のデータ量「８ビット×（ｎ＋１）画素出力単位」を、データ量「８ビット（基準値情報ＤＣのデータ量）＋７ビット×（ｎ＋１）画素出力単位」に削減できる。

図１５の（ｄ）は、基準値情報ＤＣとして固定値（例えば「１９２」）を用いた場合を例示している。この場合、固定値に対して差分値ｄＤ0～ｄＤnの最小値は「１２８－１９２＝－６４」となり、最大値は「２５５－１９２＝６３」となる。すなわち、差分値ｄＤ0～ｄＤnの保存に必要なビット幅は７ビットである。したがって、図１５の（ｅ）に示す圧縮情報では、圧縮前のデータ量「８ビット×（ｎ＋１）画素出力単位」を、データ量「８ビット（基準値情報ＤＣのデータ量）＋７ビット×（ｎ＋１）画素出力単位」に削減できる。

図１６は、第１の動作を示すフローチャートである。ステップＳＴ１で情報圧縮部は画素出力を取得する。情報圧縮部は撮像部で生成された画素出力を取得してステップＳＴ２に進む。

ステップＳＴ２で情報圧縮部は基準値情報を設定する。情報圧縮部は、全画素出力単位の画素値の平均値，最小値，最大値または固定値を基準値情報として設定してステップＳＴ３に進む。

ステップＳＴ３で情報圧縮部は画素出力と基準値情報との差分を算出する。情報圧縮部は、画素出力とステップＳＴ２で設定された基準値情報との差分を算出して、算出結果を圧縮情報としてステップＳＴ４に進む。

ステップＳＴ４で情報圧縮部は全画素終了であるか判別する。情報圧縮部は、全画素出力単位の圧縮情報の生成が完了していない場合はステップＳＴ３に戻り、新たな画素出力単位の画素出力と基準値情報との差分を算出する。情報圧縮部は、全画素出力単位の圧縮情報の生成が完了している場合、１画面の画像圧縮処理を終了する。また、情報圧縮部は、動画の圧縮処理を行う場合、画像毎に図１６に示す処理を行ってもよく、ステップＳＴ２の処理は最初の画像で行い、その後の圧縮処理では、最初の画像で設定された基準値情報を用いてもよい。

なお、第１の動作で生成された圧縮情報の伸張処理を行う場合、情報伸張部３２１は基準値情報と各画素出力単位の差分を加算することで、圧縮処理前の画素出力情報を復元する。

＜６－２．第１の実施の形態における第２の動作＞
次に、情報圧縮部の第１の実施の形態における第２の動作について説明する。図１７は第２の動作を説明するための図である。第２の動作において、基準設定部３１１１は基準値情報の設定と更新を行い、差分演算部３１１２は、順次更新される基準値情報と圧縮処理対象の画素出力単位の画素出力との差分を算出する。

図１７では、先頭画素出力単位の画素値例えば画素位置Ｇ0の画素値「ＳＤ0＝２２４」である。また、隣接する画素出力単位間の画素値の差分最大値が例えば「３１」であり、隣接する画素出力単位間の画素値の差分最小値が例えば「－３２」である。また、全画素出力単位の画素値の最大値が「２５５」であることから、画素値の保存に必要なビット幅が８ビットである。

例えば、図１７の（ａ）に示すように、基準設定部３１１１は画素位置Ｇ0の画素出力ＳＤ0を基準値情報として、差分演算部３１１２は基準値情報である画素出力ＳＤ0と画素位置Ｇ1の画素出力ＳＤ1との差分ｄＤ0,1を算出する。また、基準設定部３１１１は画素位置Ｇ1の画素出力ＳＤ1を基準値情報として、差分演算部３１１２は基準値情報である画素出力ＳＤ1と画素位置Ｇ2の画素出力ＳＤ2との差分ｄＤ1,2を算出する。以下同様に、基準設定部３１１１は順次基準値情報を更新して、差分演算部３１１２は更新後の基準値情報である画素出力ＳＤn-1と画素位置Ｇnの画素出力ＳＤnとの差分ｄＤn-1,nを算出して、先頭画素の画素値ＳＤ0と各画素で算出した差分ｄＤ0,1・・・ｄＤn-1,nを示す圧縮情報を生成する。

この場合、差分値ｄＤ0,1～ｄＤn-1,nの最大値は「３１」で最小値は「－３２」であることから、差分値ｄＤ0,1～ｄＤn-1,nの保存に必要なビット幅は６ビットである。したがって、図１７の（ｂ）に示す圧縮情報では、圧縮前のデータ量「８ビット×（ｎ＋１）画素出力単位」を、データ量「８ビット（先頭画素出力単位の画素値のデータ量）＋６ビット×ｎ画素出力単位」に削減できる。

図１８は、第２の動作を示すフローチャートである。ステップＳＴ１１で情報圧縮部は画素出力を取得する。情報圧縮部は撮像部で生成された画素出力を取得してステップＳＴ１２に進む。

ステップＳＴ１２で情報圧縮部は基準値情報の設定または更新を行う。情報圧縮部は、最初の画素出力単位の画素出力を基準値情報として設定してステップＳＴ１３に進む。
また、基準値情報が設定されている場合は、直前に圧縮処理を行った画素出力単位の画素出力を新たな基準値情報としてステップＳＴ１３に進む。

ステップＳＴ１３で情報圧縮部は画素出力と基準値情報との差分を算出する。情報圧縮部は、画素出力とステップＳＴ１２で設定または更新された基準値情報との差分を算出して、算出結果を圧縮情報としてステップＳＴ１４に進む。

ステップＳＴ１４で情報圧縮部は、全画素終了である判別する。情報圧縮部は、全画素出力単位の圧縮情報の生成が完了していない場合はステップＳＴ１２に戻り、全画素出力単位の圧縮情報の生成が完了している場合、１画面の画像圧縮処理を終了する。また、情報圧縮部は、動画の圧縮処理を行う場合、画像毎に図１８に示す処理を行う。

なお、第２の動作で生成された圧縮情報の伸張処理を行う場合、情報伸張部３２１は、基準値情報と差分を加算して差分に対応する画素出力単位の画素出力を算出して、画素出力を新たな基準値情報として差分を加算して差分に対応する画素出力単位の画素出力を算出する。情報伸張部３２１は、このような処理を繰り返すことで、圧縮処理前の画素出力情報を復元する。

＜６－３．第１の実施の形態における第３および第４の動作＞
次に、情報圧縮部の第１の実施の形態における第３の動作について説明する。図１９は第３の動作を説明するための図である。情報圧縮部で圧縮処理を行う画素出力情報は、上述の撮像部１２１で生成された画素出力情報とする。また、撮像部１２１は、画素の受光領域である開口部分の面積の違いによって入射角指向性が異なるように構成されている。

情報圧縮部３１１-1は、開口面積に基づきグループ分けを行い、グループ毎に圧縮処理を行う。なお、情報圧縮部３１１-1では、開口面積の異なる画素が撮像部１２１でどのように配置されているか予め認識されている。

図１９の（ａ）は、画素の開口面積の違いを例示している。なお、図では、開口部分を白色領域で示している。例えば撮像部１２１では、開口面積ＡＲSの画素ＰＸSと開口面積が画素ＰＸSよりも大きい開口面積ＡＲMである画素ＰＸM、および開口面積が画素ＰＸMよりも大きい開口面積ＡＲLである画素ＰＸLが設けられている。

図１９の（ｂ）は、画素の開口と入射角指向性の関係を示す概略図である。なお、図１９の（ｂ）では、開口面積ＡＲSであるときの開口幅を幅ＡＲS－ｗ、開口面積ＡＲMであるときの開口幅を幅ＡＲM－ｗ、開口面積ＡＲLであるときの開口幅を幅ＡＲL－ｗとする。また、説明を簡単とするため、フォトダイオードＰＤの端部よりも外側からの光線（一点鎖線の位置よりも左側からの光線）の入射は無いとする。この場合、開口面積ＡＲSであるとき、入射角度が「０～θS」の範囲である光線がフォトダイオードＰＤに入射される。また、開口面積ＡＲMであるとき、入射角度が「０～θM」の範囲である光線がフォトダイオードＰＤに入射されて、開口面積ＡＲLであるとき、入射角度が「０～θL」の範囲である光線がフォトダイオードＰＤに入射される。すなわち、撮像部１２１は、開口部分の面積の違いによって入射角指向性が異なる。

情報圧縮部３１１-1は、開口面積ＡＲSの画素グループと開口面積ＡＲMの画素グループと開口面積ＡＲLの画素グループにグループ分けして、グループ毎に上述の第１の動作または第２の動作を行う。図１９の（ｃ）は、開口面積ＡＲSの画素グループと開口面積ＡＲMの画素グループと開口面積ＡＲLの画素グループのそれぞれに対して上述の第１の動作を行って圧縮情報を生成した場合を例示している。なお、図１９の（ｃ）では上から順に開口面積ＡＲSの画素グループと開口面積ＡＲMの画素グループと開口面積ＡＲLの画素グループの圧縮情報を示している。

次に、情報圧縮部の第１の実施の形態における第４の動作について説明する。図２０は、第４の動作を説明するための図である。情報圧縮部で圧縮処理を行う画素出力情報は、上述の撮像部１２１で生成された画素出力情報とする。また、撮像部１２１は、画素の受光領域である開口部分の方向の違いによって入射角指向性が異なるように構成されている。

情報圧縮部３１１-1は、開口方向に基づきグループ分けを行い、グループ毎に圧縮処理を行う。なお、情報圧縮部３１１-1では、開口方向の異なる画素が撮像部１２１でどのように配置されているか予め認識されている。

図２０の（ａ）は、画素の開口方向の違いを例示している。なお、図では、開口部分を白色領域で示している。例えば撮像部１２１では、開口部分を左上側に設けた画素ＰＸFA、開口部分を上側に設けた画素ＰＸFB、開口部分を右上側に設けた画素ＰＸFC、開口部分を左側に設けた画素ＰＸFD、開口部分を中央に設けた画素ＰＸFE、開口部分を右側に設けた画素ＰＸFF、開口部分を左下側に設けた画素ＰＸFG、開口部分を下側に設けた画素ＰＸFH、開口部分を右下側に設けた画素ＰＸFIが設けられている。

情報圧縮部３１１-1は、開口方向毎にグループ分けして、グループ毎に上述の第１の動作または第２の動作を行う。図２０の（ｂ）は、開口方向毎の画素グループのそれぞれに対して上述の第１の動作を行って圧縮情報を生成した場合を例示している。なお、図２０の（ｂ）では上から順に画素ＰＸFAのグループ、画素ＰＸFBのグループ・・・画素ＰＸFIのグループの圧縮情報を示している。

第３および第４の動作では、上述のようにグループ毎に圧縮処理を行うことから、圧縮情報の伸張処理を行う場合に、情報伸張部で開口面積の異なる画素の配列や開口方向が異なる画素の配列を再現する必要がある。したがって、グループ毎に圧縮処理を行う場合、開口面積の異なる画素や開口方向が異なる画素の配列順序を示す配列情報を圧縮情報に関連付けて、情報伸張部３２１は、開口面積や開口方向が異なる画素グループ毎に伸張処理を行うことで圧縮前に戻された画素出力情報を、配列情報に基づき圧縮処理前の配列に戻すようにする。

このような第１乃至第４の動作のいずれかを行うようにすれば、撮像部１２１（２２１）で生成された画素出力情報のデータ量を削減して、長時間または多枚数の撮影を行った際の画素出力情報の保存や送信にかかる負荷を軽減できるようになる。また、撮像部１２１（２２１）で生成された画素出力情報は画面全体で比較的均一な信号レベルとなることを利用して差分圧縮を行うことから、容易かつ効果的に画素出力情報のデータ量を削減できる。

＜７．情報圧縮部の第２の実施の形態の構成と動作＞
図２１は、情報圧縮部の第２の実施の形態の構成を例示している。上述したように、画素出力情報は、撮像レンズを用いた場合に比べて画素出力単位間の光強度の検出値の差が小さい。したがって、情報圧縮部３１１-2は線形演算を行い、撮像部１２１（２２１）から出力された画素出力の語長を削減することで、データ量を少なくする。情報圧縮部３１１-2は、例えば演算パラメータ設定部３１１３と線形演算部３１１４を有している。演算パラメータ設定部３１１３は線形演算によって語長を削減するための演算パラメータを設定する。線形演算部３１１４は、演算パラメータ設定部３１１３で設定された演算パラメータと基準値情報の線形演算を行い、画素出力情報よりもデータ量の小さい圧縮情報を生成する。

次に、第２の実施の形態における情報圧縮部の動作について説明する。演算パラメータ設定部３１１３は、撮像時における光量や露出制御値（例えば露光期間や撮像部１２１（２２１）で画素出力を生成する際の画素出力に対する信号処理による利得調整のゲイン）等に基づき画素出力が取り得る値の範囲を狭める演算パラメータを設定する。具体的には、絞り値や露光期間、ゲイン等に応じて、画素出力が取り得る値の範囲となるように演算パラメータＤＰａを設定する。

また、演算パラメータ設定部３１１３は、画素出力に割り当てる語長を削減する演算パラメータＤＰｂを設定してもよい。演算パラメータ設定部３１１３は、撮像部１２１の画素出力から、削減後の語長（目標ビット幅という）に応じた減算値または除算値を演算パラメータＤＰｂとして設定する。

例えば、線形演算部３１１４で減算を行う場合、画像出力情報の最大値が大きくなるに伴い演算パラメータの値を大きくして、線形演算部３１１４は画素出力から演算パラメータＤＰｂを減算して、画素出力情報を目標ビット幅の圧縮情報とする。

図２２は情報圧縮部の第２の実施の形態の動作を例示した図である。図２２の（ａ）は圧縮前の画素出力情報を例示しており、全画素出力単位の画素値の最大値が例えば画素位置Ｇ１の画素値「ＳＤ1＝２５５」であり、全画素出力単位の画素値の最小値が例えば画素位置Ｇｎの画素値「ＳＤn＝１００」である。この場合、最大値が「２５５」であることから、画素値の保存に必要なビット幅が８ビットである。

演算パラメータ設定部３１１３は、線形演算前の画素出力情報の最大値（例えばＳＤ1）と目標ビット幅（ＴＢmax）との差分を演算パラメータＤＰｂとする。線形演算部３１１４は、画素出力情報から演算パラメータを減算することで、画素出力情報を目標ビット幅の圧縮情報とする。例えば、目標ビット幅（ＴＢmax）を７ビットとした場合、画素出力情報の最大値が「２５５」であり、７ビット範囲内の最大値が１２７であることから、演算パラメータＤＰｂを「２５５－１２７＝１２８」に設定する。

線形演算部３１１４は、画素位置Ｇ0の画素出力ＳＤ0から演算パラメータＤＰｂを減算して演算値ＦＤ0を算出する。また、線形演算部３１１４は、画素位置Ｇ1の画素出力ＳＤ1から演算パラメータＤＰｂを減算して演算値ＦＤ1を算出する。以下同様に、線形演算部３１１４は、画素位置Ｇnの画素出力ＳＤnから演算パラメータＤＰｂを減算して演算値ＦＤnを算出して、各画素で算出した演算値ＦＤ0，ＦＤ1・・・ＦＤnを示す圧縮情報を生成する。なお、減算結果がマイナスの値となる場合は画素出力を「０」とする。このように、画素出力情報から演算パラメータを減算することで、図２２の（ｂ）に示す圧縮後の画素出力情報（圧縮情報に相当）が生成される。したがって、図２２の（ｂ）に示す圧縮情報では、圧縮前のデータ量「８ビット×（ｎ＋１）画素出力単位」をデータ量「７ビット×（ｎ＋１）画素出力単位」に削減できる。

図２３は情報圧縮部の第２の実施の形態の他の例を示した図である。図２３の（ａ）は圧縮前の画素出力情報を例示しており、全画素出力単位の画素値の最大値が例えば画素位置Ｇ１の画素値「ＳＤ1＝２５５」であり、全画素出力単位の画素値の最小値が例えば画素位置Ｇｎの画素値「ＳＤn＝１００」である。この場合、最大値が「２５５」であることから、画素値の保存に必要なビット幅が８ビットである。

演算パラメータ設定部３１１３は、線形演算前の画素出力情報の最小値（例えばＳＤｎ）を目標ビット幅（ＴＢmax）の最小値とする値を演算パラメータＤＰｂとする。線形演算部３１１４は、画素出力情報から演算パラメータを減算することで、画素出力情報を目標ビット幅の圧縮情報とする。例えば、目標ビット幅（ＴＢmax）を７ビットとした場合、画素出力情報の最小値が「１００」であり、７ビット範囲の最小値が０であることから、演算パラメータＤＰｂを「１００－０＝１００」に設定する。

線形演算部３１１４は、画素位置Ｇ0の画素出力ＳＤ0から演算パラメータＤＰｂを減算して演算値ＦＤ0を算出する。また、線形演算部３１１４は、画素位置Ｇ1の画素出力ＳＤ1から演算パラメータＤＰｂを減算して演算値ＦＤ1を算出する。以下同様に、線形演算部３１１４は、画素位置Ｇnの画素出力ＳＤnから演算パラメータＤＰｂを減算して演算値ＦＤnを算出して、各画素で算出した演算値ＦＤ0，ＦＤ1・・・ＦＤnを示す圧縮情報を生成する。なお、減算結果が７ビット範囲の最大値「１２７」を超える場合は画素出力を「１２７」とする。このように、画素出力情報から演算パラメータを減算することで、図２３の（ｂ）に示す圧縮後の画素出力情報（圧縮情報に相当）が生成される。したがって、図２３の（ｂ）に示す圧縮情報では、圧縮前のデータ量「８ビット×（ｎ＋１）画素出力単位」をデータ量「７ビット×（ｎ＋１）画素出力単位」に削減できる。

また、図２２，２３に示す動作では、画素出力ＳＤnから演算パラメータＤＰｂを減算して演算値ＦＤnを算出する線形演算を行う場合について説明したが、線形演算は画素出力ＳＤnから演算パラメータＤＰｂを減算する場合に限られない。例えば画素出力ＳＤnを演算パラメータＤＰｂで除算して演算値を算出してもよい。この場合、演算パラメータＤＰｂは、目標ビット幅の最大値に対する圧縮前の画素出力情報の最大値の比を演算パラメータＤＰｂとする。また、演算パラメータＤＰｂを例えば目標ビット幅の最大値に対する圧縮前の画素出力情報の最大値の比よりも大きい２の累乗とすれは線形演算が容易となる。

図２４は情報圧縮部の第２の実施の形態の他の例を示した図である。図２４の（ａ）は圧縮前の画素出力情報を例示しており、全画素出力単位の画素値の最大値が例えば画素位置Ｇ１の画素値「ＳＤ1＝２４０」である。この場合、最大値が「２４０」であることから、画素値の保存に必要なビット幅が８ビットである。

演算パラメータ設定部３１１３は、目標ビット幅の最大値に対する圧縮前の画素出力情報の最大値の比よりも大きい２の累乗値を、画素出力ＳＤnの除算に用いる演算パラメータＤＰｂとする。線形演算部３１１４は、画素出力情報を演算パラメータで除算することで、画素出力情報を目標ビット幅の圧縮情報とする。例えば、目標ビット幅（ＴＢmax）を６ビットとした場合、画素出力情報の最大値が「２４０」であり、６ビット範囲の最大値が６３であることから、演算パラメータＤＰｂを「４」に設定する。

線形演算部３１１４は、画素位置Ｇ0の画素出力ＳＤ0を演算パラメータＤＰｂで除算して演算値ＦＤ0を算出する。また、線形演算部３１１４は、画素位置Ｇ1の画素出力ＳＤ1を演算パラメータＤＰｂで除算して演算値ＦＤ1を算出する。以下同様に、線形演算部３１１４は、画素位置Ｇnの画素出力ＳＤnを演算パラメータＤＰｂで除算して演算値ＦＤnを算出して、各画素で算出した演算値ＦＤ0，ＦＤ1・・・ＦＤnを示す圧縮情報を生成する。このように、画素出力情報を演算パラメータで除算することで、図２４の（ｂ）に示す圧縮後の画素出力情報（圧縮情報に相当）が生成される。したがって、図２４の（ｂ）に示す圧縮情報では、圧縮前のデータ量「８ビット×（ｎ＋１）画素出力単位」をデータ量「６ビット×（ｎ＋１）画素出力単位」に削減できる。

さらに、演算パラメータ設定部３１１３は、撮像時における光量や露出制御値等に基づき画素出力が取り得る値の範囲を狭める演算パラメータＤＰａと、画素出力に割り当てるビット幅を削減する演算パラメータＤＰｂを設定してもよい。演算パラメータ設定部３１１３は、例えば基準とする露出設定おいて、画素出力が取り得る値の範囲となるように演算パラメータＤＰａを設定する。また、画素出力が取り得る値の範囲の画像出力の最大値を目標ビット幅とする。ここで、基準とする露出設定に対して露光時間やゲインが変更されて、画像出力の最大値が目標ビット幅を超えて大きくなることを回避するため、露光時間やゲインに応じて、画素出力を目標ビット幅とする演算パラメータＤＰｂを設定する。例えば、基準とする露出設定が、シャッタースピード「（１／１２８）秒」でゲイン「１倍」である場合、ゲインが「２倍」とされた場合は、演算パラメータＤＰｂを除算値「２」とする。また、シャッタースピード「（１／６４）秒」，ゲイン「２倍」とされた場合は、演算パラメータＤＰｂを除算値「４」とする。

このように、演算パラメータＤＰａ，ＤＰｂの一方または両方を用いて線形演算を行うようにすればデータ量を削減できる。なお、線形演算が予め規定されている場合、圧縮情報に演算パラメータを含めてもよく、圧縮情報の管理等を行うために圧縮情報に関連付けて設けられた管理データに演算パラメータを含めてもよい。また、線形演算が規定されていない場合、圧縮情報に線形演算部３１１４でどのような線形演算を行い語長を削減したかを示す演算情報を含めるようにする。なお、演算パラメータは、情報伸張時に設定可能であれば圧縮情報に含める必要がない。例えば圧縮情報が動画であれば、最初のフレームについては演算パラメータを含めて、その後のフレームでは前フレームの情報から演算パラメータを算出すればよい。また、圧縮情報のタグ情報に露出制御値等を含めるようにして、情報伸張時には露出制御値等に基づき演算パラメータを設定できるようにしてもよい。

図２５は、情報圧縮部の第２の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で情報圧縮部は画素出力を取得する。情報圧縮部は撮像部で生成された画素出力を取得してステップＳＴ２２に進む。

ステップＳＴ２２で情報圧縮部は演算パラメータを設定する。情報圧縮部は、撮像時における光量や露出制御値に基づき演算パラメータを設定してステップＳＴ２３に進む。

ステップＳＴ２３で情報圧縮部は線形演算処理を行う。情報圧縮部は画素出力とステップＳＴ２２で設定された演算パラメータを用いて線形演算を行い画素出力の語長を削減する。情報圧縮部は、演算結果を圧縮情報としてステップＳＴ２４に進む。

ステップＳＴ２４で情報圧縮部は、全画素終了であるか判別する。情報圧縮部は、全画素出力単位の圧縮情報の生成が完了していない場合はステップＳＴ２３に戻り、新たな画素出力単位の画素出力と演算パラメータとの線形演算を行う。情報圧縮部は、全画素出力単位の圧縮情報の生成が完了している場合、１画面の画像圧縮処理を終了する。また、情報圧縮部は、動画の圧縮処理を行う場合、画像毎に図２５に示す処理を行ってもよく、ステップＳＴ２２の処理は最初の画像で行い、その後の圧縮処理では、最初の画像で設定された演算パラメータを用いてもよい。

なお、第２の実施の形態で生成された圧縮情報の伸張処理を行う場合、情報伸張部３２１は、画素出力情報と演算パラメータを用いて、線形演算部３１１４の演算とは逆の演算を行うことで、圧縮処理前の画素出力情報を生成する。

＜８．情報圧縮部の第３の実施の形態の構成と動作＞
図２６は、情報圧縮部の第３の実施の形態の構成を例示している。上述したように、画素出力情報は、撮像レンズを用いた場合に比べて画素間の光強度の検出値の差が小さい。したがって、情報圧縮部３１１-3は、撮像部１２１（２２１）から出力された画素出力情報が所定の語長範囲内の情報となるように撮像部１２１（２２１）を制御する。

情報圧縮部３１１-3は、例えば語長判別部３１１５と撮像制御部３１１６を有している。語長判別部３１１５は、撮像部１２１（２２１）から出力された画素出力情報に基づき語長を判別する。語長判別部３１１５は、例えば１フレーム目の画素出力情報から最大画素値を判別して最大画素値の語長を判別してもよく、上述のように検出値の差が小さいことから最初の画素出力単位の画素出力に基づいて、画像全体を示す画素出力情報に対する語長を判別してもよい。語長判別部３１１５は、語長判別結果を撮像制御部３１１６へ出力する。撮像制御部３１１６は、語長判別結果に基づき、撮像部１２１（２２１）から出力される画素出力が所望の語長に収まるように露出制御を行う制御情報を生成して撮像部１２１（２２１）へ出力する。撮像部１２１（２２１）は、制御情報に基づき例えば露光期間や撮像部１２１（２２１）で画素出力情報を生成する際のゲイン等を調整して、所望の語長の範囲内とされた画素出力情報である圧縮情報を出力する。

図２７は、情報圧縮部の第３の実施の形態の動作を例示した図である。図２７の（ａ）は圧縮前の画素出力情報を例示しており、全画素出力単位の画素値の最大値が例えば画素位置Ｇ１の画素値「ＳＤ1＝２４０」である。この場合、最大値が「２４０」であることから、画素値の保存に必要なビット幅が８ビットである。

例えば、語長判別部３１１５は、画素位置Ｇ0の画素出力ＳＤ0または画素位置Ｇ0の画素出力ＳＤ0乃至画素位置Ｇnの画素出力ＳＤnに基づき、画素出力の語長を判別して撮像制御部３１１６へ出力する。撮像制御部３１１６は、撮像部１２１（２２１）から出力される画素出力が所望の語長に収まるように制御情報を生成して撮像部１２１（２２１）へ出力する。撮像部１２１（２２１）は、撮像制御部３１１６から供給された制御情報に基づき露出制御を行う。

図２７の（ｂ）は、撮像制御部３１１６から供給された制御情報に基づき、画素値を１／４場合とする制御、例えばシャッター速度を４倍、またはゲインを１／４倍とする制御等が行われた場合を例示している。この場合、画素値を１／４場合とする制御が行われていることから画素出力情報（画素出力ＳＤ0～ＳＤn）は６ビット範囲内の値となる。したがって、図２７の（ｂ）に示す圧縮情報では、圧縮前のデータ量「８ビット×（ｎ＋１）画素出力単位」をデータ量「６ビット×（ｎ＋１）画素出力単位」に削減できる。

また、語長判別結果に応じて露出制御を行えば、例えば画素出力の画素値が所望の語長の範囲よりも小さすぎて十分な精度が得られないような場合が生じても、所望の語長の範囲内であり画素値が小さすぎていない画素出力情報を生成できるようになる。

また、撮像制御部３１１６は、露光期間やアナログゲインを制御する場合に限られない。例えば撮像制御部３１１６は、制御情報によって、撮像部１２１（２２１）でデジタル信号への変換を行うアナログ検出値の範囲を調整して検出値の変化分のビット拡張を行い、所定値（例えば最小検出値等）に対する検出値の変化量が所望の語長範囲内となるように画素出力情報を出力するようにしてもよい。このように、所定値に対する検出値の変化量を所望の語長とすることで、検出値を所望の語長とする場合に比べて高精度に画素出力情報を生成できる。

図２８は、画素値の変化分のビット拡張動作を例示した図であり、図２８の（ａ）はビット拡張前、図２８の（ｂ）はビット拡張後の画素出力情報を例示している。例えば、語長判別部３１１５は、画素位置Ｇ0の画素出力ＳＤ0乃至画素位置Ｇnの画素出力ＳＤnに基づき、最大画素値と最小画素値の語長を判別して撮像制御部３１１６へ出力する。撮像制御部３１１６は、撮像部１２１（２２１）から出力される画素出力情報における画素値の変化量が所望の語長に収まるように制御情報を生成して撮像部１２１（２２１）へ出力する。撮像部１２１（２２１）は、撮像制御部３１１６から供給された制御情報に基づき露出制御を行うことで図２８の（ｂ）に示すように、画素値の変化量を所望の語長の範囲内とした圧縮情報を生成できる。

なお、第３の実施の形態で生成された圧縮情報の伸張処理を行う場合、情報伸張部３２１は、制御情報に基づき画素出力情報の語長を拡張して圧縮処理前の画素出力情報を生成する。

＜９．情報圧縮部の他の動作＞
ところで、上述の実施の形態では、撮像部１２１（２２１）が白黒センサである場合について説明したが、撮像部１２１（２２１）はカラーセンサであってもよい。例えば、撮像部１２１（２２１）が赤色成分画素（Ｒ）と緑色成分画素（Ｇｒ，Ｇｂ）と青色成分画素（Ｂ）をベイヤー配列として設けたカラーセンサとする。なお、緑色成分画素（Ｇｒ）は赤色成分画素の行に位置する緑色成分画素、緑色成分画素（Ｇｂ）は青色成分画素の行に位置する緑色成分画素とする。この場合、情報圧縮部は色成分毎に画素出力情報のデータ量を削減する。また、情報圧縮部は、補色画素を用いる場合や色配列がベイヤー配列と異なる配列であっても、色成分毎に画素出力情報の圧縮処理を行う。

なお、色成分画素毎に画素出力情報の圧縮処理が行われている場合、色成分毎に画像変換処理を行い、変換後の色成分毎の画像信号からカラー画像信号を生成してもよい。図２９は、色成分毎の画素出力情報からカラー画像信号を生成する場合の構成を例示している。画像変換部３２２は、色成分画像変換部３２２１と結合部３２２２を有している。

色成分画像変換部３２２１は赤色成分の画素出力情報ＳＤｒと係数記憶部３２３に記憶されている赤色成分用の係数を用いて復元演算を行い、撮像面ＩＰ上の画素位置毎の画素値ＧＰｒを算出して赤色成分画素信号ＧＤｒを生成する。また、色成分画像変換部３２２１は緑色成分の画素出力情報ＳＤgr，ＳＤgbと係数記憶部３２３に記憶されている緑色成分用の係数を用いて復元演算を行い、撮像面ＩＰ上の画素位置毎の画素値ＧＰｇを算出して緑色成分画素信号ＧＤｇを生成する。さらに、色成分画像変換部３２２１は青色成分の画素出力情報ＳＤｂと係数記憶部３２３に記憶されている青色成分用の係数を用いて復元演算を行い、撮像面ＩＰ上の画素位置毎の画素値ＧＰｂを算出して青色成分画素信号ＧＤｂを生成する。

結合部３２２２は、赤色成分画素信号ＧＤｒと緑色成分画素信号ＧＤｇと青色成分画素信号ＧＤｂを用いて三原色のカラー画像信号ＧＤrgbを生成する。

＜１０．情報処理システムの他の構成と動作＞
次に、情報処理システムの他の構成について説明する。情報処理システムの他の構成では、情報圧縮部で画素出力情報の語長を削減した場合、語長が削減されている画素出力情報を用いて画像変換を行い、画像変換で得られた画像に対して語長復元処理を行う場合を示している。

図３０は、情報処理システムの他の構成を例示している。情報処理システム３００ａは、情報圧縮部３１１-2（３１１-3）、記録部３１２、再生部３２０、画像変換部３２２、係数記憶部３２３、語長復元部３２４を有している。なお、情報処理システム３００ａの構成は、情報処理システム３００と同様に、情報処理システム３００ａで行われる動作に応じて、一部のブロックのみを用いて構成されてもよい。

撮像部１２１（２２１）は、上述したように入射角指向性に応じた画素値の画素出力情報を生成する。

情報圧縮部３１１-2（３１１-3)は、上述のように、撮像部１２１（２２１）から出力された画素出力情報の語長を削減してデータ量圧縮処理を行い、圧縮情報を記録部３１２や伝送路を解して外部機器へ出力する。

記録部３１２は、情報圧縮部３１１-2（３１１-3)で生成された圧縮情報を記録媒体に記録する。なお、記録媒体は着脱可能であってもよく、記録部３１２と再生部３２０が一体化されている装置に固定して設けてもよい。

再生部３２０は、記録媒体に記録されている圧縮情報を読み出して画像変換部３２２へ出力する。

画像変換部３２２は、情報圧縮部３１１-2（３１１-3)または再生部３２０から供給された圧縮情報と係数記憶部３２３に記憶されている係数セット群を用いて復元演算を行い、各画素出力単位において被写体光学像における対応する位置の画素信号を生成する。すなわち、圧縮情報は、上述したように入射角指向性に応じた画素値を語長削減した情報である。したがって、画像変換部３２２は、係数記憶部３２３に記憶されている係数セット群を用いて復元演算を行い、被写体の視認が可能な撮像画の画像信号を生成して語長復元部３２４へ出力する。

語長復元部３２４は、画素出力情報から圧縮情報を生成する際の処理に対応した語長復元処理を行う。語長復元部３２４は、語長削減の影響を受けている画像信号を、演算パラメータまたは制御情報に基づいて語長削減の影響を受けていない圧縮前の画像信号に復元する処理を行う。例えば、語長復元部３２４は、演算パラメータを用いた差分によって圧縮情報が生成された場合、画像変換部３２２から出力された画像信号に対して演算パラメータを加算する処理を行う。また、語長復元部３２４は、演算パラメータを用いた除算によって圧縮情報が生成された場合、画像変換部３２２から出力された画像信号に対して演算パラメータを乗算する処理を行う。また、語長復元部３２４は、ゲインを下げて圧縮情報が生成された場合、画像変換部３２２から出力された画像信号に対して下げられている分だけゲインを上げる。語長復元部３２４は、このような語長復元処理を行い、撮像部１２１（２２１）で撮像された被写体が所望の明るさである撮像画の画像信号に復元して、語長復元後の画像信号を表示部や外部機器へ出力する。

係数記憶部３２３は、上述のように、画素出力情報から撮像画を示す画像信号を復元するための演算に用いる係数セット群を予め記憶している。

このような情報処理システム３００ａを用いても、画素出力情報のデータ量の削減およびデータ量の削減された画素出力情報から被写体の視認が可能な撮像画の画像信号を生成できる。また、長時間または多枚数の撮影を行った際の画素出力情報の保存や送信にかかる負荷を軽減することが可能となる。

なお、撮像部１２１（２２１）としてカラーセンサが用いられている場合、画像変換部３２２と語長復元部３２４は、色成分毎に処理を行い、語長復元部３２４で生成された色成分毎の画素信号を用いてカラー撮像画の画像信号を生成すればよい。

＜１１．情報処理システムを用いた撮像装置の構成と動作＞
次に、情報処理システムを用いた撮像装置の構成と動作について説明する。図３１は、撮像装置の構成を例示しており、情報処理システム３００を適用した場合に相当する。

撮像装置５０は、撮像部１２１（２２１）、情報圧縮部３１１、記録再生部３１５、情報伸張部３２１、画像変換部３２２、係数記憶部３２３、カメラ信号処理部５０１、表示部５０２、出力部５０３、ユーザインタフェース（Ｉ／Ｆ）部５０４、制御部５０５を有している。

撮像部１２１（２２１）は、上述のように、入射角指向性に応じた画素出力情報を生成して、情報圧縮部３１１や出力部５０３へ出力する。また、撮像部１２１（２２１）は、制御部５０５からの制御信号に基づき、撮像動作や露出制御を行う。

情報圧縮部３１１は、上述のように、撮像部１２１（２２１）から出力された画素出力情報のデータ量圧縮処理を行い、圧縮情報を生成する。情報圧縮部３１１は、生成した圧縮情報を記録再生部３１５と出力部５０３へ出力する。

記録再生部３１５は、情報圧縮部３１１で生成された圧縮情報や後述するカメラ信号処理部５０１で処理された画像信号を記録媒体に記録する。また、記録再生部３１５は、記録媒体に記録されている圧縮情報を読み出して画像変換部３２２または出力部５０３へ出力する。また、記録再生部３１５は、記録媒体に記録されている画像信号を読み出して表示部５０２または出力部５０３へ出力する。なお、記録媒体は着脱可能であってもよく、記録再生部３１５に固定して設けてもよい。

情報伸張部３２１は、記録再生部３１５から供給された圧縮情報に対して伸張処理を行い、圧縮処理前の画素出力情報を生成して画像変換部３２２へ出力する。

画像変換部３２２は、撮像部１２１（２２１）または情報伸張部３２１から供給された画素出力情報と係数記憶部３２３に記憶されている係数セット群を用いて復元演算を行い、各画素において被写体光学像における対応する画素位置の画像に応じた画素信号を生成してカメラ信号処理部５０１へ出力する。

係数記憶部３２３は、画素出力情報から被写体の視認が可能な撮像画の画像信号を生成するための演算に用いる係数セット群を予め記憶している。

カメラ信号処理部５０１は、撮像部１２１（２２１）として色成分毎の画素で構成されたカラーセンサが用いられている場合、色成分毎の画像信号を生成する。また、カメラ信号処理部５０１は、ガンマ補正やホワイトバランス調整等を行う。カメラ信号処理部５０１は、処理後の画像信号を記録再生部３１５や表示部５０２、出力部５０３へ出力する。

表示部５０２は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されており、カメラ信号処理部５０１から出力された画像信号に基づき、撮像部１２１（２２１）で撮像された被写体を示す画像を表示する。また、表示部５０２は、撮像装置５０のメニュー表示や設定状態や動作状態を示す表示を行うようにしてもよい。

出力部５０３は、撮像部１２１（２２１）で生成された画素出力情報、情報圧縮部３１１で生成された圧縮情報、カメラ信号処理部５０１で処理された画像信号、記録再生部３１５で記録媒体から読み出した圧縮情報または画像信号のいずれかを選択して外部へ出力する。なお、出力部５０３は、画像信号を出力する場合、例えばJPEG（Joint Photographic Experts Group）やGIF（Graphics Interchange Format）等の所定の圧縮形式で画像信号を圧縮してから外部へ出力してもよい。

ユーザインタフェース（Ｉ／Ｆ）部５０４は、操作ボタンや操作スイッチ等で構成されており、ユーザ操作に応じた操作信号を生成して制御部５０５へ出力する。

制御部５０５は、ユーザインタフェース部５０４からの操作信号に基づき、撮像装置５０の動作がユーザ操作に応じた動作となるように各部を制御する。例えば制御部５０５は、係数記憶部３２３に記憶されている係数セット群からユーザが設定した被写体距離に対応する係数セット群を画像変換部３２２で用いて、被写体距離の結像画像が表示部５０２で表示されるように各部を制御する。また、画像変換部３２２で生成される画像信号において所望の被写体のコントラストが最大となるように被写体距離を調整することで、いわゆるオートフォーカスとしての機能を実現することができる。なお、上述の情報圧縮部の第３の実施の形態で示したように、撮像部１２１（２２１）の露出制御を行う場合、制御部５０５に撮像制御部３１１６の機能を持たせて、制御部５０５から撮像部１２１（２２１）の露出制御を行うようにしてもよい。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の情報処理装置は以下のような構成も取ることができる。
（１） 撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する前記複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理を行う情報圧縮部を備える情報処理装置。
（２） 前記情報圧縮部は、前記圧縮処理として基準値情報と前記画素出力との差分を算出する（１）に記載の情報処理装置。
（３） 前記情報圧縮部は、前記画素出力に基づいて前記基準値情報を設定する（２）に記載の情報処理装置。
（４） 前記情報圧縮部は、前記画素出力のうち、直前に前記圧縮処理を行った画素出力を前記基準値情報として設定する（２）に記載の情報処理装置。
（５） 前記情報圧縮部は、前記入射角指向性に基づいて前記複数の画素出力のそれぞれを複数の分類のいずれかに分類し、分類毎に前記圧縮処理を行う（１）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記情報圧縮部は、前記画素出力に基づいて設定された演算パラメータと前記画素出力の線形演算を行うことで、前記画素出力の語長を削減する（１）に記載の情報処理装置。
（７） 前記情報圧縮部は、前記画素出力情報の圧縮処理後の語長を示す圧縮語長を判別し、前記圧縮語長に基づき露出を制御する（１）に記載の情報処理装置。
（８） 前記情報圧縮部は、前記画素出力の最大値と最小値の差分を前記圧縮語長とする（７）に記載の情報処理装置。
（９） 前記情報圧縮部は、色成分毎に前記圧縮処理を行う（１）乃至（８）のいずれかに記載の情報処理装置。
（１０） 前記情報圧縮部で圧縮処理された画素出力情報または前記圧縮処理された画素出力情報の伸張処理後の画素出力情報あるいは前記圧縮処理前の画素出力情報を用いて、復元画像を生成する画像変換部をさらに備える（１）乃至（９）のいずれかに記載の情報処理装置。
（１１） 前記復元画像の語長を復元する語長復元部をさらに備え、
前記情報圧縮部は、前記画素出力情報の圧縮語長を判別して、判別結果に基づき前記画素出力の生成を制御し、生成される前記画素出力情報を前記圧縮語長として、
前記画像変換部は、前記情報圧縮部で前記圧縮語長とされた画素出力を用いて復元画像の生成を行い、
前記語長復元部は、前記画像変換部で生成された復元画像を圧縮前の語長の画像に復元する（１０）に記載の情報処理装置。
（１２） 前記撮像素子は、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位は、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３） 前記複数の画素出力単位のそれぞれは、１つのフォトダイオードで構成され、
前記少なくとも２つの画素出力単位は、前記フォトダイオードへの前記被写体光の入射を遮る遮光膜をそれぞれ有し、
前記被写体光を前記遮光膜によって遮る範囲が、前記少なくとも２つの画素出力単位で互いに異なる（１２）に記載の情報処理装置。
（１４） 前記少なくとも２つの画素出力単位のそれぞれは、複数のフォトダイオードで構成され、前記複数のフォトダイオードは、前記出力画素値に寄与する度合いが互いに異なる（１２）に記載の情報処理装置。
（１５） 前記複数の画素出力単位は、それぞれ前記被写体光に対する入射指向性を独立に設定可能な構成を有する（１）乃至（１４）のいずれかに記載の情報処理装置。

この技術の情報処理装置と情報処理方法および撮像装置とプログラムによれば、撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、複数の画素出力単位のうち、少なくとも２つの画素出力単位の画素出力が、被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理が情報圧縮部で行われる。このため、撮像レンズフリーの撮像素子を用いた場合のデータ量を削減できる。したがって、撮像するための構成の設計自由度の向上と、撮像時のデータ量の削減が可能となる。

５０・・・撮像装置
１２１，２２１・・・撮像部
２２２・・・撮像素子
２２３・・・マスク
２２３BW・・・白黒パターンマスク
２２３LF・・・光干渉マスク
３００，３００ａ・・・情報処理システム
３１１，３１１-1，３１１-2，３１１-3・・・情報圧縮部
３１２・・・記録部
３１５・・・記録再生部
３２０・・・再生部
３２１・・・情報伸張部
３２２・・・画像変換部
３２３・・・係数記憶部
３２４・・・語長復元部
５０１・・・カメラ信号処理部
５０２・・・表示部
５０３・・・出力部
５０４・・・ユーザインタフェース（Ｉ／Ｆ）部
５０５・・・制御部
３１１１・・・基準設定部
３１１２・・・差分演算部
３１１３・・・演算パラメータ設定部
３１１４・・・線形演算部
３１１５・・・語長判別部
３１１６・・・撮像制御部
３２２１・・・色成分画像変換部
３２２２・・・結合部

Claims (21)

1. 撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理を行う情報圧縮部を備え、
   前記情報圧縮部は、前記入射角指向性に基づいて前記複数の画素出力のそれぞれを複数の分類のいずれかに分類し、分類毎に前記圧縮処理を行う、
   を備える情報処理装置。
2. 撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理を行う情報圧縮部を備え、
   前記情報圧縮部は、前記画素出力情報の圧縮処理後の語長を示す圧縮語長を判別し、前記圧縮語長に基づき露出を制御する、
   を備える情報処理装置。
3. 撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理を行う情報圧縮部と、
   前記情報圧縮部で圧縮処理された画素出力情報または前記圧縮処理された画素出力情報の伸張処理後の画素出力情報あるいは前記圧縮処理前の画素出力情報を用いて、復元画像を生成する画像変換部と、
   前記復元画像の語長を復元する語長復元部を備え、
   前記情報圧縮部は、前記画素出力情報の圧縮語長を判別して、判別結果に基づき前記画素出力の生成を制御し、生成される前記画素出力情報を前記圧縮語長として、
   前記画像変換部は、前記情報圧縮部で前記圧縮語長とされた画素出力を用いて復元画像の生成を行い、
   前記語長復元部は、前記画像変換部で生成された復元画像を圧縮前の語長の画像に復元する
   情報処理装置。
4. 撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理を行う情報圧縮部を備え、
   前記複数の画素出力単位は、それぞれ前記被写体光に対する入射指向性を独立に設定可能な構成を有する
   情報処理装置。
5. 前記情報圧縮部は、前記圧縮処理として基準値情報と前記画素出力との差分を算出する
   請求項１乃至４のいずれか１つに記載の情報処理装置。
6. 前記情報圧縮部は、前記画素出力に基づいて前記基準値情報を設定する
   請求項５に記載の情報処理装置。
7. 前記情報圧縮部は、前記画素出力のうち、直前に前記圧縮処理を行った画素出力を前記基準値情報として設定する
   請求項５に記載の情報処理装置。
8. 前記情報圧縮部は、前記画素出力に基づいて設定された演算パラメータと前記画素出力の線形演算を行うことで、前記画素出力の語長を削減する
   請求項１乃至４のいずれか１つに記載の情報処理装置。
9. 前記情報圧縮部は、前記画素出力の最大値と最小値の差分を前記圧縮語長とする
   請求項２に記載の情報処理装置。
10. 前記情報圧縮部は、色成分毎に前記圧縮処理を行う
    請求項１乃至９のいずれか１つに記載の情報処理装置。
11. 前記複数の画素出力単位のそれぞれは、１つのフォトダイオードで構成され、
    前記少なくとも２つの画素出力単位は、前記フォトダイオードへの前記被写体光の入射を遮る遮光膜をそれぞれ有し、
    前記被写体光を前記遮光膜によって遮る範囲が、前記少なくとも２つの画素出力単位で互いに異なる
    請求項４に記載の情報処理装置。
12. 前記少なくとも２つの画素出力単位のそれぞれは、複数のフォトダイオードで構成され、前記複数のフォトダイオードは、出力画素値に寄与する度合いが互いに異なる
    請求項４に記載の情報処理装置。
13. 撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理を行う情報圧縮ステップを含み、
    前記情報圧縮ステップでは、前記入射角指向性に基づいて前記複数の画素出力のそれぞれを複数の分類のいずれかに分類し、分類毎に前記圧縮処理を行う、
    情報処理方法。
14. 撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理を行った圧縮情報を用いて、復元画像を生成する画像変換部を備え、
    前記圧縮処理を、前記入射角指向性に基づいて前記複数の画素出力のそれぞれを複数の分類のいずれかに分類し、分類毎に行う、
    情報処理装置。
15. 撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理を行った圧縮情報を用いて、復元画像を生成する画像変換部を備え、
    前記画素出力情報の圧縮処理後の語長を示す圧縮語長を判別し、前記圧縮語長に基づき露出を制御する、
    情報処理装置。
16. 撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理を行った圧縮情報を用いて、復元画像を生成する画像変換部と、
    前記復元画像の語長を復元する語長復元部を備え、
    前記圧縮処理では、前記画素出力情報の圧縮語長を判別して、判別結果に基づき前記画素出力の生成を制御し、生成される前記画素出力情報を前記圧縮語長として、
    前記画像変換部は、前記圧縮処理で前記圧縮語長とされた画素出力を用いて復元画像の生成を行い、
    前記語長復元部は、前記画像変換部で生成された復元画像を圧縮前の語長の画像に復元する
    情報処理装置。
17. 撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理を行った圧縮情報を用いて、復元画像を生成する画像変換部を備え、
    前記複数の画素出力単位は、それぞれ前記被写体光に対する入射指向性を独立に設定可能な構成を有する
    情報処理装置。
18. 前記画像変換部で生成された復元画像を圧縮前の語長の画像に復元する語長復元部をさらに備える
    請求項１５乃至１７のいずれか１つに記載の情報処理装置。
19. 撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子を備える撮像部と
    前記撮像部から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理を行う情報圧縮部と
    を備え、
    前記情報圧縮部は、前記入射角指向性に基づいて前記複数の画素出力のそれぞれを複数の分類のいずれかに分類し、分類毎に前記圧縮処理を行う
    撮像装置。
20. 撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子を備える撮像部と
    前記撮像部から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理を行う情報圧縮部と
    前記画素出力情報の圧縮処理後の画素出力情報の語長を示す圧縮語長を判別し、前記圧縮語長に基づき前記撮像部の露出を制御する制御部と
    を備える撮像装置。
21. 画像処理をコンピュータで実行させるプログラムであって、
    撮像レンズ及びピンホールのいずれも介さず入射する被写体光を受光する複数の画素出力単位を備え、前記複数の画素出力単位のうち、少なくとも２つの前記画素出力単位の画素出力が、前記被写体光の入射角に応じて入射角指向性が変調されて異なる入射角指向性とされた撮像素子から出力される複数の画素出力からなる画素出力情報のデータ量を削減する圧縮処理を前記コンピュータで実行させ、
    前記圧縮処理では、前記入射角指向性に基づいて前記複数の画素出力のそれぞれを複数の分類のいずれかに分類し、分類毎に前記圧縮処理を行う、
    プログラム。

Images