JP7024737B2 - 情報処理装置と情報処理方法とプログラムおよび撮像装置 - Google Patents

Description

この技術は、情報処理装置と情報処理方法とプログラムおよび撮像装置に関し、偏光画像から偏光情報を精度よく取得できるようにする。

従来、偏光情報を取得可能な撮像装置を用いて物体の形状や状態の識別等が行われている。また、偏光情報を用いた処理を精度よく行うことができるように、偏光情報からノイズを除去することが行われている。例えば特許文献１では、垂直偏光画像と水平偏光画像の偏光比強度の算出を行い、偏光比強度が算出される毎に偏光比強度の時系列データにおける所定期間の平均に対応する移動平均強度の演算によってノイズ除去が行われている。また、車両の走行速度応じて所定期間を調整して、ノイズ除去後の移動平均強度に基づき路面状態の判別が行われている。特許文献２では、特定した路面状態に対応するノイズ除去用パラメータを用いて、撮像装置で取得された偏光情報（偏光画像）のノイズ除去が行われている。

特開２００４－２９９４４３号公報 特開２０１１－１５４６９５号公報

ところで、所定期間の平均に対応する移動平均強度の演算によってノイズ除去を行う場合には時系列データが必要となり、例えば取得されている偏光情報が一時点のみの情報である場合はノイズを除去することができない。また、路面状態に対応するノイズ除去用パラメータを用いてノイズ除去を行う場合、路面状態が正しく特定されないとノイズを除去できない。

そこで、この技術では偏光画像から偏光情報を精度よく取得できる情報処理装置と情報処理方法とプログラムおよび撮像装置を提供することを目的とする。

この技術の第１の側面は、
複数偏光方向の偏光画素が所定の配列で設けられている撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした前記画素信号のフィルタ処理により偏光成分を抽出するフィルタ処理部を備える情報処理装置にある。

この技術においては、複数偏光方向の偏光画素が所定の配列で設けられている撮像装置で生成された偏光画像の画素信号を、再配列部で例えば水平方向または垂直方向が所定回転方向の偏光順となる配列に並び替える。フィルタ処理部は並び替えられた画素信号から偏光周期の信号成分を偏光成分として抽出するフィルタ処理を行う。配列復元部はフィルタ処理された画素信号すなわち偏光成分を示す画素信号を、再配列部で並び替えが行われる前の配列に復元する。

また、再配列部は、撮像装置で生成された偏光画像の画素信号を、水平方向または垂直方向の一方の方向が所定回転方向の偏光順となる配列への並び替えと、フィルタ処理部でフィルタ処理された画素信号を、他方の方向が所定回転方向の偏光順となる配列への並び替えを行う。フィルタ処理部は、再配列部で前記一方の方向の並び替えが行われた画素信号を用いたフィルタ処理と他方の方向の並び替えが行われた画素信号を用いたフィルタ処理を行う。

また、撮像装置において、複数偏光方向の偏光画素を含む画素ブロックを繰り返し設けることで、複数偏光方向の偏光画素が所定の配列とされている場合、再配列部は、画素ブロック内の画素信号を水平方向または垂直方向が所定回転方向の偏光順となる配列に並び替える。また、撮像装置が複数偏光方向の偏光画素と無偏光画素を有している場合、再配列部は、無偏光画素の画素信号を除いて偏光画素の画素信号を水平方向または垂直方向が所定回転方向の偏光順となる配列に並び替える。

さらに、撮像装置において、偏光方向が４方向であって偏光方向の角度差が等しい偏光画素を所定の配列として設けている場合、再配列部は、撮像装置で生成された偏光画像の画素信号を、水平方向または垂直方向が所定回転方向の偏光順となる配列へ並び替えたのち画素毎に交互に振り分けて２つの画素信号群を生成して、フィルタ処理部は、再配列部で生成された画素信号群毎にフィルタ処理を行う。

この技術の第２の側面は、
複数偏光方向の偏光画素が所定の配列で設けられている撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした前記画素信号のフィルタ処理をフィルタ処理部で行い偏光成分を抽出すること
を含む情報処理方法にある。

この技術の第３の側面は、
複数偏光方向の偏光画素が所定の配列で設けられている撮像装置で生成された偏光画像の画素信号の信号処理をコンピュータで実行させるプログラムであって、
所定回転方向の偏光順とした前記画素信号のフィルタ処理により偏光成分を抽出する手順を
前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術の第４の側面は、
複数偏光方向の偏光画素を、水平方向または垂直方向の少なくとも一方で所定回転方向の偏光順として設けた撮像装置にある。

この技術においては、複数偏光方向の偏光画素が、水平方向または垂直方向の少なくとも一方で所定回転方向の偏光順として設けられて、例えば偏光順とした偏光画素間の偏光角度差が等しく設定されている。また、撮像装置では、水平方向または垂直方向に所定回転方向の偏光順に並ぶ偏光画素群に対して隣接する偏光画素群は、所定回転方向に対して逆回転方向の偏光順に設けられてもよい。

この技術によれば、複数偏光方向の偏光画素が所定の配列で繰り返し設けられている撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした画像信号のフィルタ処理が行われて偏光成分が抽出される。このため、偏光周期に応じて変化する偏光成分を示す偏光情報を偏光画像から精度よく取得できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

偏光情報を取得する場合の動作を説明するための図である。 輝度と偏光角の関係を例示した図である。 情報処理装置と撮像装置を用いた偏光情報取得システムの構成を例示した図である。 撮像部の構成を例示した図である。 第１の実施の形態における撮像部の画素配列を例示した図である。 第１の実施の形態におけるフィルタ部の機能構成を例示した図である。 水平方向再配列動作を説明するための図である。 水平方向再配列後の画素信号を例示した図である。 ノイズが重畳した場合の画素信号を例示した図である。 フィルタ処理後の画素信号を例示した図である。 垂直方向再配列動作を説明するための図である。 第１の実施の形態におけるフィルタ部の動作を例示したフローチャートである。 第２の実施の形態における撮像部の画素配列（偏光方向が３方向である場合）を例示した図である。 第２の実施の形態における撮像部の他の画素配列（偏光方向が２方向である場合）を例示している。 第３の実施の形態における撮像部の画素配列を例示した図である。 第３の実施の形態におけるフィルタ部の動作を例示したフローチャートである。 第３の実施の形態における撮像部の他の画素配列を例示した図である。 第４の実施の形態における撮像部の画素配列を例示した図である。 フィルタ係数を例示した図である。 第５の実施の形態における再配列部の動作（その１）を説明するための図である。 第５の実施の形態における再配列部の動作（その２）を説明するための図である。 ＷＹ画素信号群およびＸＺ画素信号群のバンドパスフィルタ処理に用いるフィルタ係数を例示した図である。 第５の実施の形態におけるフィルタ部の動作を例示したフローチャートである。 水平方向再配列動作の他の例を説明するための図である。 垂直方向再配列動作の他の例を説明するための図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．偏光情報について
２．偏光情報取得システムの構成
３．第１の実施の形態
４．第２の実施の形態
５．第３の実施の形態
６．第４の実施の形態
７．第５の実施の形態
８．他の実施の形態
９．応用例

＜１．偏光情報について＞
図１は偏光情報を取得する場合の動作を説明するための図である。図１に示すように、光源（無偏光光源）ＬＴを用いて被写体ＯＢの照明を行い、偏光板ＰＬを介して被写体ＯＢを撮像部ＣＭで撮像する。この場合、撮像部ＣＭで生成される偏光画像は、偏光板ＰＬの回転に応じて被写体ＯＢの輝度が変化することが知られている。ここで、偏光板ＰＬを回転させたときの最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面方向としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｘｙ平面上の角度を偏光角υとする。偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。ここで、最大輝度Ｉmaxが観測されたときの偏光角υを方位角φとすると、偏光板ＰＬを回転させたときに観測される輝度Ｉは式（１）のように表すことができる。また、輝度と偏光角の関係は例えば図２に示すようになり、鏡面反射成分は偏光周期に応じたコサイン則の変化を生じる。

したがって、本技術の情報処理装置では、鏡面反射成分はコサイン則の変化が式（１）に示す特性となることを利用してフィルタ処理を行い、偏光画像にノイズや画素欠陥が生じても、精度よく鏡面反射成分を示す偏光情報を取得する。

＜２．偏光情報取得システムの構成＞
図３は、本技術の情報処理装置と撮像装置を用いた偏光情報取得システムの構成を例示している。偏光情報取得システム１０は、偏光カメラ２０と情報処理装置３０が別個に構成されていてもよく、一体に構成されてもよい。また、偏光カメラ２０と情報処理装置３０は、伝送路に限らず記録媒体等を介して情報処理装置３０に偏光カメラ２０で生成された偏光画像を供給するように構成されてもよい。

偏光カメラ２０は、撮像光学系２１と本技術の撮像装置に相当する撮像部２２を有している。撮像光学系２１は、被写体光を撮像部２２の撮像面に入射する。撮像部２２は、複数偏光方向（偏光角）の偏光画素が所定の配列として設けられており偏光画像を生成する。図４は、撮像部の構成を例示している。図４の（ａ）に示すように、撮像部２２では、イメージセンサＩＭＳの入射面に偏光フィルタＰＬＦが配置されて、イメージセンサＩＭＳの画素は、複数偏光方向の偏光画素を所定の配列に設けた構成とされている。また、図４の（ｂ）に示すように、イメージセンサＩＭＳの入射面に偏光フィルタＰＬＦとカラーモザイクフィルタＣＦＬを配置して、イメージセンサＩＭＳの画素が色成分毎の偏光画素となるように構成されてもよい。偏光カメラ２０は、撮像部２２で生成した偏光画像の画素信号を情報記録再生装置２５や情報処理装置３０へ出力する。

情報記録再生装置２５は、記録媒体を用いて構成されており、偏光カメラ２０で生成された偏光画像を記録媒体に記録する。また、情報記録再生装置２５は、記録媒体に記録されている偏光画像を読み出して情報処理装置３０へ出力する。なお、記録媒体は、情報記録再生装置２５に固定して設けられてもよく、着脱可能に設けられてもよい。

情報処理装置３０は、フィルタ部３２、メモリ部３３、フィルタ係数記憶部３４を有している。また、情報処理装置３０は、受信バッファ３１や送信バッファ３５を有する構成であってもよい。

情報処理装置３０の受信バッファ３１は、偏光カメラ２０または情報記録再生装置２５から出力された偏光画像を一時記憶する。受信バッファ３１は、偏光画像を一時記憶することで、偏光カメラ２０や情報記録再生装置２５からの偏光画像の取得に比べて情報処理装置３０における処理に時間を要する場合や偏光画像の画素順とは異なる順序で偏光画像の画素信号を用いて処理を行う場合でも、偏光画像のフィルタ処理を行えるようにする。

フィルタ部３２は、受信バッファ３１に記憶されている偏光画像の画素信号を用いて、所定回転方向の偏光順とした画素信号のフィルタ処理を行い偏光成分を抽出する。すなわち、フィルタ部３２は、所定回転方向の偏光順とした画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いて、偏光周期に応じて変化する信号成分すなわち偏光周期に応じたコサイン則の変化を生じる信号成分を抽出するフィルタ演算を行う。フィルタ部３２は、このようなフィルタ処理を行うことで、偏光画像にノイズや画素欠陥等が生じても精度よく偏光成分を抽出する。フィルタ部３２は、フィルタ処理を行うことにより抽出した偏光成分を示す偏光情報を送信バッファ３５へ出力する。なお、フィルタ部３２は、メモリ部３３を利用してフィルタ演算処理や画素信号の並び替えを行う。

情報処理装置３０の送信バッファ３５は、フィルタ部３２から出力された偏光情報を一時記憶する。送信バッファ３５は、フィルタ処理後の偏光情報を一時記憶することで、情報処理装置３０におけるフィルタ処理に比べて偏光情報利用部５０や情報記録再生装置６０での処理に時間を要する場合やフィルタ処理後の画素毎の偏光情報が所定の配列と異なる場合であっても、偏光情報を所定の配列の順で利用または記録できるようにする。

＜３．第１の実施の形態＞
次に第１の実施の形態について説明する。図５は第１の実施の形態における撮像部の画素配列を例示している。撮像部２２-1は、複数偏光方向の偏光画素を含む画素ブロックを繰り返し設けることで、複数偏光方向の偏光画素が所定の配列とされている。例えば偏光画素は、４つの異なる偏光方向とされており、２×２画素の画素ブロック内は偏光方向が互いに異なる偏光画素とされて、画素ブロックが繰り返し設けられている。また、例えば４つの偏光方向は角度差が等しい角度（４５度）とされており、偏光画素Ｗの偏光方向は０度，偏光画素Ｘの偏光方向は４５度，偏光画素Ｙの偏光方向は９０度，偏光画素Ｚの偏光方向は１３５度である。なお、説明を簡単するため、本明細書の実施の形態では、撮像部における画素領域の一部である６×６画素の画素領域を図示して説明を行う。

第１の実施の形態における情報処理装置３０のフィルタ部３２-1は、撮像部２２-1で生成された偏光画像の画素信号に対して、画素ブロック内の偏光画素の画素信号を所定回転方向の偏光順としてフィルタ処理を行い、鏡面反射成分を示す偏光情報を生成する。

図６は、第１の実施の形態におけるフィルタ部の機能構成を例示している。フィルタ部３２-1は、再配列部３２１とフィルタ処理部３２２と配列復元部３２３を有している。

再配列部３２１は、画素ブロック内の画素信号を水平方向または垂直方向が所定回転方向の偏光順となる配列に並び替える。

フィルタ処理部３２２は、再配列部３２１で所定回転方向の偏光順とされた画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。

配列復元部３２３は、フィルタ処理部３２２でフィルタ処理された画素信号を、再配列部３２１で並び替えが行われる前の配列に戻す配列復元処理を行う。なお、配列復元部３２３の機能は、送信バッファ３５に設けて、並び替えが行われる前の配列の順にフィルタ処理後の画素信号を出力してもよい。

次に、フィルタ部３２-1の動作について説明する。図７は、水平方向の再配列動作を説明するための図である。再配列部３２１は、図７の（ａ）に示す２×２画素の画素ブロックの画素信号を水平方向に再配列する。再配列部３２１は、水平方向の再配列において、図７の（ｂ）に示すように、所定回転方向の偏光順（例えば偏光角が増加する回転方向の偏光順）である１×４画素の画素ブロックの画素信号に再配列する。具体的には、偏光画素Ｗ1，Ｘ1，Ｙ1，Ｚ1からなる２×２画素の画素ブロックの画素信号を偏光画素Ｗ1，Ｘ1，Ｙ1，Ｚ1の順序とされた１×４画素の画素ブロックの画素信号に再配列する。また、偏光画素Ｗ2，Ｘ2，Ｙ2，Ｚ2からなる２×２画素の画素ブロックの画素信号を、偏光画素Ｗ2，Ｘ2，Ｙ2，Ｚ2の順序とされた１×４画素の画素ブロックの画素信号に再配列する。以下同様に、２×２画素の画素ブロックの画素信号を所定回転方向の偏光順である１×４画素の画素ブロックの画素信号に再配列する。

フィルタ処理部３２２は、再配列部３２１で水平方向の再配列が行われた画素信号のバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。具体的には、フィルタ処理部３２２は、再配列部３２１で水平方向の再配列が行われた画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてフィルタ演算を行い、コサイン則の変化を生じている信号成分を抽出する。

図８は、水平方向の再配列後の画素信号を例示している。撮像部２２-1で生成された画素信号を、所定回転方向の偏光順である１×４画素の画素ブロックの画素信号に再配列すると、水平方向の再配列後の画素信号は、図１および図２を用いて説明した場合のように式（１）で近似可能な特性を有する。

図９は、ノイズが重畳した場合の画素信号を例示している。なお、図９では偏光画素Ｗ3の画素信号にノイズが重畳した場合を示している。水平方向の再配列後の画素信号において、ノイズが重畳した画素信号は、式（１）で近似可能な特性から信号レベルが外れた状態となる。したがって、フィルタ処理部３２２は、バンドパスフィルタ処理を行い、コサイン則の変化を生じている信号成分を抽出する。

図１０は、フィルタ処理後の画素信号を例示している。フィルタ処理部３２２は、バンドパスフィルタ処理によって、水平方向の再配列後の画素信号からコサイン則の変化を生じている信号成分を抽出する。

なお、図９ではノイズが重畳した場合を例示したが、画素欠陥等によって偏光成分に応じた画素信号が生成されていない場合も同様なバンドパスフィルタ処理を行うことで、図１０に示すようなコサイン則の変化を生じている信号成分を抽出できる。

次に、再配列部３２１は、フィルタ処理後の画素信号を垂直方向に再配列する。図１１は、垂直方向の再配列動作を説明するための図である。再配列部３２１は、水平方向のフィルタ処理が行われている図１１の（ａ）に示す２×２画素の画素ブロックの画素信号を垂直方向に再配列する。再配列部３２１は、垂直方向の再配列において、図１１の（ｂ）に示すように、所定回転方向の偏光順（例えば偏光角が増加する回転方向の偏光順）である４×１画素の画素ブロックの画素信号に再配列する。具体的には、偏光画素Ｗ1，Ｘ1，Ｙ1，Ｚ1からなる２×２画素の画素ブロックの画素信号を、偏光画素Ｗ1，Ｘ1，Ｙ1，Ｚ1の順序とされた４×１画素の画素ブロックの画素信号に再配列する。また、偏光画素Ｗ2，Ｘ2，Ｙ2，Ｚ2からなる２×２画素の画素ブロックを、偏光画素Ｗ2，Ｘ2，Ｙ2，Ｚ2の順序とされた４×１画素の画素ブロックの画素信号に再配列する。以下同様に、２×２画素の画素ブロックの画素信号を所定回転方向の偏光順である４×1画素の画素ブロックの画素信号に再配列する。なお、図１１では、フィルタ処理後の画素信号に対して配列復元処理が行われた２×２画素の画素ブロックの画素信号を４×１画素の画素ブロックの画素信号に再配列した場合を例示しているが、フィルタ部３２-1は、フィルタ処理後の図７の（ｂ）に示す画素信号を図１１の（ｂ）の画素信号に再配列してもよい。

フィルタ処理部３２２は、再配列部３２１で垂直方向の再配列が行われたフィルタ処理後の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いて上述のバンドパスフィルタ処理を行い、コサイン則の変化を生じている信号成分を抽出する。

配列復元部３２３は、フィルタ処理部３２２から出力される画素信号を撮像部２２-1で生成された画素信号と等しい配列となるように配列の復元処理を行う。

フィルタ部３２-1は、撮像部２２-1で生成された撮像画像に対して、上述のように水平方向および垂直方向の偏光順とした画素信号に対してバンドパスフィルタ処理を行い、撮像画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を抽出する。

図１２は、第１の実施の形態におけるフィルタ部の動作を例示したフローチャートである。ステップＳＴ１でフィルタ部は水平方向再配列処理を行う。フィルタ部３２-1の再配列部３２１は、撮像部２２-1で生成された画素信号を、水平方向が所定回転方向の偏光順である画素信号に並び替えてステップＳＴ２に進む。

ステップＳＴ２でフィルタ部は水平方向フィルタ処理を行う。フィルタ部３２-1のフィルタ処理部３２２は、ステップＳＴ１で並び替えられた画素信号を水平方向の順に用いてバンドパスフィルタ処理を行い、偏光成分を抽出してステップＳＴ３に進む。

ステップＳＴ３でフィルタ部は垂直方向再配列処理を行う。フィルタ部３２-1の再配列部３２１は、ステップＳＴ２でフィルタ処理された画素信号を、垂直方向が所定回転方向の偏光順である画素信号に並び替えてステップＳＴ４に進む。

ステップＳＴ４でフィルタ部は垂直方向フィルタ処理を行う。フィルタ部３２-1のフィルタ処理部３２２は、ステップＳＴ３で並び替えられた画素信号を垂直方向の順に用いてバンドパスフィルタ処理を行い、偏光成分を抽出してステップＳＴ５に進む。

ステップＳＴ５でフィルタ部は配列復元処理を行う。フィルタ部３２-1の配列復元部３２３は、ステップＳＴ４でフィルタ処理された画素信号を、撮像部２２-1で生成された画素信号と等しい配列に復元する。

このような第１の実施の形態によれば、複数偏光方向の偏光画素を所定の配列で繰り返し設けた撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした画素信号から偏光周期に応じて変化する信号成分を抽出するフィルタ処理が水平方向と垂直方向に対して行われる。したがって、偏光画像に含まれたノイズ等の影響を受けることなく、鏡面反射成分を示す偏光情報を精度よく取得できるようになる。

＜４．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態では、偏光方向が４方向よりも少なく２方向以上である場合について説明する。図１３は第２の実施の形態における撮像部の画素配列（偏光方向が３方向である場合）を例示している。撮像部２２-2aは、図１３の（ａ）に示すように、２×２画素の画素ブロックの３画素が異なる偏光方向の偏光画素で、残りの１画素が無偏光画素（偏光フィルタが設けられていない画素）とされており、画素ブロックが繰り返し設けられている。また、例えば３つの偏光方向は角度差が等しい角度（６０度）とされており、偏光画素Ｘの偏光方向は０度，偏光画素Ｙの偏光方向は６０度，偏光画素Ｚの偏光方向は１２０度である。

第２の実施の形態における情報処理装置３０のフィルタ部３２-2は、第１の実施の形態のフィルタ部３２-1と同様に構成されている。フィルタ部３２-2は、撮像部２２-2aで生成された偏光画像の画素信号に対して、画素ブロック内の偏光画素の画素信号を所定回転方向の偏光順としてフィルタ処理を行い、鏡面反射成分を示す偏光情報を生成する。

フィルタ部３２-2の再配列部３２１は、図１３の（ａ）に示す２×２画素の画素ブロックの偏光画素の画素信号を水平方向に再配列する。水平方向の再配列では、図１３の（ｂ）に示すように、所定回転方向の偏光順（例えば偏光角が増加する回転方向の偏光順）である１×３画素の画素ブロックの画素信号に再配列する。具体的には、２×２画素の画素ブロックにおける偏光画素Ｘ1，Ｙ1，Ｚ1の画素信号を偏光画素Ｘ1，Ｙ1，Ｚ1の順序とされた１×３画素の画素ブロックの画素信号に再配列する。また、右側に隣接する２×２画素の画素ブロックにおける偏光画素Ｘ2，Ｙ2，Ｚ2の画素信号を、偏光画素Ｘ2，Ｙ2，Ｚ2の順序とされた１×３画素の画素ブロックの画素信号に再配列する。以下同様に、２×２画素の画素ブロックにおける偏光画素の画素信号を所定回転方向の偏光順である１×３画素の画素ブロックの画素信号に再配列する。

フィルタ処理部３２２は、再配列部３２１で水平方向の再配列が行われた画素信号のバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。具体的には、フィルタ処理部３２２は、再配列部３２１で水平方向の再配列が行われた画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてフィルタ演算を行い、コサイン則の変化を生じている信号成分を抽出する。

また、再配列部３２１は、フィルタ処理後の画素信号を垂直方向に再配列する。再配列部３２１は、水平方向のフィルタ処理が行われている画素信号を垂直方向に再配列する。垂直方向の再配列では、図１３の（ｃ）に示すように、所定回転方向の偏光順（例えば偏光角が増加する回転方向の偏光順）である３×１画素の画素ブロックの画素信号に再配列する。具体的には、２×２画素の画素ブロック内における偏光画素Ｘ1，Ｙ1，Ｚ1の画素信号を偏光画素Ｘ1，Ｙ1，Ｚ1の順序とされた３×１画素の画素ブロックの画素信号に再配列する。また、２×２画素の画素ブロック内における偏光画素Ｘ2，Ｙ2，Ｚ2の画素信号を、偏光画素Ｘ2，Ｙ2，Ｚ2の順序とされた３×１画素の画素ブロックの画素信号に再配列する。以下同様に、２×２画素の画素ブロックの偏光画素の画素信号を所定回転方向の偏光順である３×1画素の画素ブロックの画素信号に再配列する。なお、図１３では、フィルタ処理後の画素信号に対して配列復元処理が行われた２×２画素の画素ブロックの画素信号を３×１画素の画素ブロックの画素信号に再配列した場合を例示しているが、フィルタ部３２-2は、フィルタ処理後の図１３の（ｂ）に示す画素信号を図１３の（ｃ）の画素信号に再配列してもよい。

フィルタ処理部３２２は、再配列部３２１で垂直方向の再配列が行われたフィルタ処理後の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いて上述のバンドパスフィルタ処理を行い、コサイン則の変化を生じている信号成分を抽出する。

配列復元部３２３は、フィルタ処理部３２２から出力される画素信号を撮像部２２-2aで生成された画素信号と等しい配列となるように配列の復元処理を行う。

フィルタ部３２-2は、撮像部２２-2aで生成された撮像画像に対して、上述のように水平方向および垂直方向の偏光順とした画素信号に対してバンドパスフィルタ処理を行い、撮像画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を抽出する。

図１４は第２の実施の形態における撮像部の他の画素配列（偏光方向が２方向である場合）を例示している。撮像部２２-2bは、図１４の（ａ）に示すように、２×２画素の画素ブロックの２画素が異なる偏光方向の偏光画素で、残りの２画素が無偏光画素（偏光フィルタが設けられていない画素）とされており、画素ブロックが繰り返し設けられている。また、例えば２つの偏光方向は角度差が等しい角度（９０度）とされており、偏光画素Ｘの偏光方向は０度，偏光画素Ｙの偏光方向は９０度である。

情報処理装置３０のフィルタ部３２-2は、撮像部２２-2bで生成された偏光画像の画素信号に対して、画素ブロック内の偏光画素の画素信号を所定回転方向の偏光順としてフィルタ処理を行い、鏡面反射成分を示す偏光情報を生成する。

フィルタ部３２-2の再配列部３２１は、図１４の（ａ）に示す２×２画素の画素ブロックの偏光画素の画素信号を水平方向に再配列する。水平方向の再配列では、図１４の（ｂ）に示すように、所定回転方向の偏光順（例えば偏光角が増加する回転方向の偏光順）である１×２画素の画素ブロックの画素信号に再配列する。具体的には、２×２画素の画素ブロックにおける偏光画素Ｘ1，Ｙ1の画素信号を偏光画素Ｘ1，Ｙ1の順序とされた１×２画素の画素ブロックの画素信号に再配列する。また、右側に隣接する２×２画素の画素ブロックにおける偏光画素Ｘ2，Ｙ2の画素信号を、偏光画素Ｘ2，Ｙ2の順序とされた１×２画素の画素ブロックの画素信号に再配列する。以下同様に、２×２画素の画素ブロックにおける偏光画素の画素信号を所定回転方向の偏光順である１×２画素の画素ブロックの画素信号に再配列する。

フィルタ処理部３２２は、再配列部３２１で水平方向の再配列が行われた画素信号のバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。具体的には、フィルタ処理部３２２は、再配列部３２１で水平方向の再配列が行われた画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてフィルタ演算を行い、コサイン則の変化を生じている信号成分を抽出する。

また、再配列部３２１は、フィルタ処理後の画素信号を垂直方向に再配列する。再配列部３２１は、水平方向のフィルタ処理が行われている画素信号を垂直方向に再配列する。垂直方向の再配列では、図１４の（ｃ）に示すように、所定回転方向の偏光順（例えば偏光角が増加する回転方向の偏光順）である２×１画素の画素ブロックの画素信号に再配列する。具体的には、２×２画素の画素ブロック内における偏光画素Ｘ1，Ｙ1の画素信号を偏光画素Ｘ1，Ｙ1の順序とされた２×１画素の画素ブロックの画素信号に再配列する。また、２×２画素の画素ブロック内における偏光画素Ｘ2，Ｙ2の画素信号を、偏光画素Ｘ2，Ｙ2の順序とされた２×１画素の画素ブロックの画素信号に再配列する。以下同様に、２×２画素の画素ブロックの偏光画素の画素信号を所定回転方向の偏光順である２×１画素の画素ブロックの画素信号に再配列する。なお、図１４では、フィルタ処理後の画素信号に対して配列復元処理が行われた２×２画素の画素ブロックの画素信号を２×１画素の画素ブロックの画素信号に再配列した場合を例示しているが、フィルタ部３２-2は、フィルタ処理後の図１４の（ｂ）に示す画素信号を図１４の（ｃ）の画素信号に再配列してもよい。

フィルタ処理部３２２は、再配列部３２１で垂直方向の再配列が行われたフィルタ処理後の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いて上述のバンドパスフィルタ処理を行い、コサイン則の変化を生じている信号成分を抽出する。

配列復元部３２３は、フィルタ処理部３２２から出力される画素信号を撮像部２２-2aで生成された画素信号と等しい配列となるように配列の復元処理を行う。

フィルタ部３２-2は、撮像部２２-2bで生成された撮像画像に対して、上述のように水平方向および垂直方向の偏光順とした画素信号に対してバンドパスフィルタ処理を行い、撮像画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を抽出する。

このような第２の実施の形態によれば、第１の実施の形態と同様に、複数偏光方向の偏光画素を所定の配列で繰り返し設けた撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした画素信号から偏光周期に応じて変化する信号成分を抽出するフィルタ処理が水平方向と垂直方向に対して行われる。したがって、偏光画像に含まれたノイズ等の影響を受けることなく、鏡面反射成分を示す偏光情報を精度よく取得できるようになる。また、撮像部における２×２画素の画素ブロック内の偏光画素が４方向である場合に限らず、３方向や２方向である場合にも、偏光画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を示す偏光情報を取得できるようになる。さらに、２×２画素の画素ブロック内に無偏光画素が設けられていることから、偏光画像と無偏光画像を同時に生成する場合でも、鏡面反射成分を示す偏光情報を精度よく生成できる。

＜５．第３の実施の形態＞
次に、第３の実施の形態について説明する。第１および第２の実施の形態では、水平方向および垂直方向の再配列を行う場合について説明したが、第３の実施の形態では、再配列を行う必要がない構成について説明する。

図１５は第３の実施の形態における撮像部の画素配列を例示している。撮像部２２-3aは、各画素が４つの異なる偏光方向のいずれかの偏光方向の偏光画素であり、偏光画素の配列が水平方向および垂直方向で所定回転方向の偏光順に配置されている。例えば、４つの偏光方向は角度差が等しい角度（４５度）とされており、偏光画素Ｗの偏光方向は０度，偏光画素Ｘの偏光方向は４５度，偏光画素Ｙの偏光方向は９０度，偏光画素Ｚの偏光方向は１３５度である。また、偏光画素は例えば水平方向および垂直方向に偏光画素Ｗ，Ｘ，Ｙ，Ｚの順に配置されている。

第３の実施の形態における情報処理装置３０のフィルタ部３２-3は、撮像部２２-3aの偏光画素が所定の偏光回転方向の順に配置されていることから、画素信号の再配列を行うことなくフィルタ処理を行う。このため、フィルタ部３２-3では、第１の実施の形態のフィルタ部３２-1の再配列部３２１と配列復元部３２３を設ける必要がない。

フィルタ部３２-3のフィルタ処理部３２２は、撮像部２２-3aで生成された偏光画像の水平方向順の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。具体的には、フィルタ処理部３２２は、偏光画像の水平方向順の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてフィルタ演算を行い、コサイン則の変化を生じている信号成分を抽出する。さらに、フィルタ処理部３２２は、水平方向のフィルタ処理後の画素信号を垂直方向の順に用いて、画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。

フィルタ部３２-3は、撮像部２２-3aで生成された撮像画像の画素信号を上述のように水平方向および垂直方向の順に用いてバンドパスフィルタ処理を行い、撮像画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を抽出する。

図１６は、第３の実施の形態におけるフィルタ部の動作を例示したフローチャートである。ステップＳＴ１１でフィルタ部は水平方向フィルタ処理を行う。フィルタ部３２-3は、撮像部２２-3aで生成された画素信号を水平方向順に用いてバンドパスフィルタ処理を行い、偏光成分の画素信号を抽出してステップＳＴ１２に進む。

ステップＳＴ１２でフィルタ部は垂直方向フィルタ処理を行う。フィルタ部３２-3は、ステップＳＴ２でフィルタ処理された画素信号を、垂直方向順に用いてバンドパスフィルタ処理を行いノイズが除去された偏光成分画素信号を生成する。

また、撮像部における偏光方向は４方向に限らず３方向や２方向であってもよい。図１７は第３の実施の形態における撮像部の他の画素配列を例示している。図１７の（ａ）に示す撮像部２２-3bは、各画素が３つの異なる偏光方向のいずれかの偏光方向の偏光画素であり、偏光画素の配列が水平方向および垂直方向で所定回転方向の偏光順に配置されている。例えば、３つの偏光方向は角度差が等しい角度（６０度）とされており、偏光画素Ｘの偏光方向は０度，偏光画素Ｙの偏光方向は６０度，偏光画素Ｚの偏光方向は１２０度である。また、偏光画素は例えば水平方向および垂直方向に偏光画素Ｘ，Ｙ，Ｚの順に配置されている。また、図１７の（ｂ）に示す撮像部２２-3cは、各画素が２つの異なる偏光方向のいずれかの偏光方向の偏光画素であり、偏光画素の配列が水平方向および垂直方向で所定回転方向の偏光順に配置されている。例えば、２つの偏光方向は角度差が等しい角度（９０度）とされており、偏光画素Ｘの偏光方向は０度，偏光画素Ｙの偏光方向は９０度である。また、偏光画素は例えば水平方向および垂直方向に偏光画素Ｘ，Ｙの順に配置されている。

フィルタ部３２-3のフィルタ処理部３２２は、撮像部２２-3b（２２-3c）で生成された偏光画像の水平方向順の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。具体的には、フィルタ処理部３２２は、偏光画像の水平方向順の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてフィルタ演算を行い、コサイン則の変化を生じている信号成分を抽出する。さらに、フィルタ処理部３２２は、水平方向のフィルタ処理後の画素信号を垂直方向の順に用いて、画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。

フィルタ部３２-3は、撮像部２２-3b（２２-3c）で生成された撮像画像の画素信号を上述のように水平方向および垂直方向の順に用いてバンドパスフィルタ処理を行い、撮像画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を抽出する。

このような第３の実施の形態によれば、第１の実施の形態と同様に、複数偏光方向の偏光画素を所定の配列で繰り返し設けた撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした画素信号から偏光周期に応じて変化する信号成分を抽出するフィルタ処理が水平方向と垂直方向に対して行われる。したがって、偏光画像に含まれたノイズ等の影響を受けることなく、鏡面反射成分を示す偏光情報を精度よく取得できるようになる。また、撮像部は、偏光画素の配列が水平方向および垂直方向で所定回転方向の偏光順とされているので、フィルタ部で画素信号の再配列を行う必要がないことから、第１の実施の形態や第２の実施の形態に比べて情報処理装置の構成を簡単にできる。

＜６．第４の実施の形態＞
ところで、鏡面反射成分はコサイン則の変化を生じることから、画素信号は所定回転方向の偏光順に限らず、所定回転方向とは逆回転方向の偏光順であっても、同様なフィルタ処理を行うことで、偏光周期に応じて変化する信号成分を抽出できる。したがって、偏光画素の配列は、水平方向および垂直方向が所定回転方向の偏光順の画素群と所定回転方向とは逆回転方向の偏光順の画素群を含む構成としてもよい。

図１８は第４の実施の形態における撮像部の画素配列を例示している。撮像部２２-4は、各画素が４つの異なる偏光方向のいずれかの偏光方向の偏光画素であり、例えば４つの偏光方向は角度差が等しい角度（４５度）とされており、偏光画素Ｗの偏光方向は０度，偏光画素Ｘの偏光方向は４５度，偏光画素Ｙの偏光方向は９０度，偏光画素Ｚの偏光方向は１３５度である。また、偏光画素の配列は、水平方向および垂直方向で所定回転方向の偏光順と逆方向の偏光順の画素群を交互に設けた配列とする。例えば水平方向が偏光画素Ｗ，Ｘ，Ｙ，Ｚの順に配置されている画素群に対して垂直方向に隣接する画素群は偏光画素Ｚ，Ｙ，Ｘ，Ｗの順に配置する。また、水平方向が偏光画素Ｚ，Ｙ，Ｘ，Ｗの順に配置されている画素群に対して垂直方向に隣接する画素群は偏光画素Ｗ，Ｘ，Ｙ，Ｚの順に配置する。また、垂直方向に対しても同様に構成する。さらに、２×２画素の画像ブロック内では４つの偏光方向の偏光画素Ｗ，Ｘ，Ｙ，Ｚが含まれるように構成する。

第４の実施の形態における情報処理装置３０のフィルタ部３２-4は、偏光画素が所定回転方向または逆方向の順に配置されており、２×２画素の画像ブロック内では４つの偏光方向の偏光画素が含まれることから、第１の実施の形態のフィルタ部３２-1と第３の実施の形態のフィルタ部３２-3の何れかと等しい構成とする。

フィルタ部３２-4をフィルタ部３２-1と等しい構成とした場合、再配列部３２１は、２×２画素の画素ブロックの画素信号を水平方向に再配列して、例えば所定回転方向の偏光順である１×４画素の画素ブロックの画素信号に再配列する。フィルタ処理部３２２は、再配列部３２１で水平方向の再配列が行われた画素信号のバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。具体的には、フィルタ処理部３２２は、再配列部３２１で水平方向の再配列が行われた画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてフィルタ演算を行い、コサイン則の変化を生じている信号成分を抽出する。

次に、再配列部３２１は、フィルタ処理後の画素信号を垂直方向に再配列する。再配列部３２１は、水平方向のフィルタ処理が行われている２×２画素の画素ブロックの画素信号を垂直方向に再配列して、例えば所定回転方向の偏光順である４×１画素の画素ブロックの画素信号に再配列する。フィルタ処理部３２２は、再配列部３２１で垂直方向の再配列が行われたフィルタ処理後の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いて上述のバンドパスフィルタ処理を行い、コサイン則の変化を生じている信号成分を抽出する。

配列復元部３２３は、フィルタ処理部３２２から出力される画素信号を撮像部２２-4で生成された画素信号と等しい配列となるように配列の復元処理を行う。

フィルタ部３２-4は、撮像部２２-4で生成された撮像画像に対して、上述のように２×２画素の画素ブロックの画素信号を水平方向および垂直方向の偏光順としてバンドパスフィルタ処理を行い、撮像画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を抽出する。

フィルタ部３２-4をフィルタ部３２-3と等しい構成とした場合、フィルタ部３２-4のフィルタ処理部３２２は、撮像部２２-4で生成された偏光画像の水平方向順の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。具体的には、フィルタ処理部３２２は、偏光画像の水平方向順の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてフィルタ演算を行い、コサイン則の変化を生じている信号成分を抽出する。さらに、フィルタ処理部３２２は、水平方向のフィルタ処理後の画素信号を垂直方向の順に用いて、画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いてバンドパスフィルタ処理を行い、偏光周期に応じて変化する信号成分を抽出する。

フィルタ部３２-4は、撮像部２２-4で生成された撮像画像の画素信号を上述のように水平方向および垂直方向の順に用いてバンドパスフィルタ処理を行い、撮像画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を抽出する。

さらに、第４の実施の形態における情報処理装置３０のフィルタ部３２-4は、フィルタ部３２-1の動作とフィルタ部３２-3の動作を選択的に行えるようにしてもよい。例えばフィルタ部３２-1の動作では２×２画素のブロック毎に画素の再配列を行ってフィルタ処理を行うことから、撮像部２２-4で生成された画素信号を水平方向や垂直方向の順に用いてフィルタ処理を行うフィルタ部３２-3の動作に比べて、タップに用いる画素範囲の長さを短くできる。したがって、情報処理装置３０は、例えば水平方向や垂直方向に長い被写体等ではフィルタ部３２-3の動作を行うようにして、撮像画面内での被写体のサイズが小さい場合は、フィルタ部３２-1の動作を行うようにすれば、撮像部２２-4で撮像される被写体に適したフィルタ処理を行える。

このような第４の実施の形態によれば、第１の実施の形態と同様に、複数偏光方向の偏光画素を所定の配列で繰り返し設けた撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした画素信号から偏光周期に応じて変化する信号成分を抽出するフィルタ処理が水平方向と垂直方向に対して行われる。したがって、偏光画像に含まれたノイズ等の影響を受けることなく、鏡面反射成分を示す偏光情報を精度よく取得できるようになる。また、第１の実施の形態または第３の実施の形態のフィルタ動作を行うことが可能であることから、被写体に応じたフィルタ処理を行うことができる。

＜７．第５の実施の形態＞
次に、第５の実施の形態について説明する。情報処理装置３０のフィルタ部３２では、フィルタ係数記憶部３４に記憶されているフィルタ係数を用いてバンドパスフィルタ処理が行われる。図１９はフィルタ係数を例示している。撮像部は、例えば図５に示すように、４つの偏光方向の偏光画素からなる画素ブロックを繰り返し設けた配列で、偏光方向は角度差が等しい角度（４５度）とされており、偏光画素Ｗの偏光方向は０度，偏光画素Ｘの偏光方向は４５度，偏光画素Ｙの偏光方向は９０度，偏光画素Ｚの偏光方向は１３５度である。この撮像部で生成された偏光画像をフィルタ部で例えばＦＩＲ(Finite Impulse Response)フィルタ処理を行う場合、フィルタ部を３５タップとしたときのフィルタ係数は、図のように１タップおきに「０」となる。すなわち係数が「０」の場合はフィルタ演算結果に寄与しない。したがって、偏光画素をフィルタ処理する際にフィルタ係数が「０」となる偏光方向の画素をフィルタ処理対象の偏光画素とは異なる画素信号群に振り分けて、画素信号群毎にフィルタ処理を行うようにして、フィルタ処理部３２２の規模を削減する。

第５の実施の形態におけるフィルタ部３２-5は第１の実施の形態のフィルタ部３２-1と同様に、再配列部３２１とフィルタ処理部３２２と配列復元部３２３を有している。

再配列部３２１は、画素ブロック内の画素信号を水平方向または垂直方向が所定回転方向の偏光順となる配列に並び替える。さらに、再配列部３２１は、再配列後の画素信号を画素毎に振り分けて２つの画素信号群を生成する。

図２０および図２１は、第５の実施の形態における再配列部の動作を説明するための図である。再配列部３２１は、図２０の（ａ）に示す２×２画素の画素ブロックの画素信号を水平方向に再配列する。水平方向の再配列では、所定回転方向の偏光順（例えば偏光角が増加する回転方向の偏光順）に再配列する。さらに、再配列部３２１は、再配列後の画素信号を画素毎に振り分けて、偏光画素Ｗと偏光画素Ｙの画素信号からなる図２０の（ｂ）に示すＷＹ画素信号群と、偏光画素Ｘと偏光画素Ｚの画素信号からなる図２０の（ｃ）に示すＸＺ画素信号群を生成する。

フィルタ処理部３２２は、振り分けが行われたＷＹ画素信号群の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いたバンドパスフィルタ処理を行う。また、フィルタ処理部３２２は、フィル分けが行われたＸＺ画素信号群の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いたバンドパスフィルタ処理を行う。なお、図２２は、ＷＹ画素信号群およびＸＺ画素信号群のバンドパスフィルタ処理に用いるフィルタ係数を例示している。このように、ＷＹ画素信号群とＸＺ画素信号群に分けてバンドパスフィルタ処理を行うようにすれば、ＦＩＲ(Finite Impulse Response)フィルタ処理は１６タップで行えるようになり、フィルタ処理部３２２の規模を削減できる。

次に、再配列部３２１は、フィルタ処理後の画素信号を垂直方向に再配列して、再配列後の画素信号を画素毎に振り分けて２つの画素信号群を生成する。再配列部３２１は、図２１の（ａ）に示す２×２画素の画素ブロックの画素信号を垂直方向に再配列する。垂直方向の再配列では、所定回転方向の偏光順（例えば偏光角が増加する回転方向の偏光順）に再配列する。さらに、再配列部３２１は、再配列後の画素信号を画素毎に振り分けて、偏光画素Ｗと偏光画素Ｙの画素信号からなる図２１の（ｂ）に示すＷＹ画素信号群と、偏光画素Ｘと偏光画素Ｚの画素信号からなる図２１の（ｃ）に示すＸＺ画素信号群を生成する。

フィルタ処理部３２２は、振り分けが行われたＷＹ画素信号群の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いたバンドパスフィルタ処理と、フィル分けが行われたＸＺ画素信号群の画素信号とフィルタ係数記憶部３４に記憶されているフィルタ係数を用いたバンドパスフィルタ処理を行う。

配列復元部３２３は、フィルタ処理部３２２から出力される画素信号を撮像部２２で生成された画素信号と等しい配列となるように配列の復元処理を行う。

フィルタ部３２-5は、撮像部２２で生成された撮像画像に対して、上述のように水平方向および垂直方向の偏光順とした複数の画素信号群毎にバンドパスフィルタ処理を行い、撮像画像に含まれたノイズ等の影響を受けることなく鏡面反射成分を抽出する。

図２３は、第５の実施の形態におけるフィルタ部の動作を例示したフローチャートである。ステップＳＴ２１でフィルタ部は水平方向再配列処理を行う。フィルタ部３２-5の再配列部３２１は、撮像部２２-1で生成された画素信号を、水平方向が所定回転方向の偏光順である画素信号に並び替える。さらに、再配列部３２１は、所定回転方向の偏光順の画素信号を画素毎に振り分けてＷＹ画素信号群とＷＹ画素信号群の画素信号としてステップＳＴ２２に進む。

ステップＳＴ２２でフィルタ部はＷＹ画素信号群水平方向フィルタ処理を行う。フィルタ部３２-5のフィルタ処理部３２２は、ステップＳＴ２１で生成されたＷＹ画素信号群の画素信号を水平方向の順に用いてバンドパスフィルタ処理を行いステップＳＴ２３に進む。

ステップＳＴ２３でフィルタ部はＸＺ画素信号群水平方向フィルタ処理を行う。フィルタ部３２-5のフィルタ処理部３２２は、ステップＳＴ２１で生成されたＸＺ画素信号群の画素信号を水平方向の順に用いてバンドパスフィルタ処理を行いステップＳＴ２４に進む。

ステップＳＴ２４でフィルタ部は垂直方向再配列処理を行う。フィルタ部３２-5の再配列部３２１は、ステップＳＴ２２，２３でフィルタ処理された画素信号を、垂直方向が所定回転方向の偏光順である画素信号に並び替える。さらに、再配列部３２１は、所定回転方向の偏光順の画素信号を画素毎に振り分けてＷＹ画素信号群とＸＺ画素信号群の画素信号としてステップＳＴ２５に進む。

ステップＳＴ２５でフィルタ部はＷＹ画素信号群垂直方向フィルタ処理を行う。フィルタ部３２-5のフィルタ処理部３２２は、ステップＳＴ２４で生成されたＷＹ画素信号群の画素信号を垂直方向の順に用いてバンドパスフィルタ処理を行いステップＳＴ２６に進む。

ステップＳＴ２６でフィルタ部はＸＺ画素信号群垂直方向フィルタ処理を行う。フィルタ部３２-5のフィルタ処理部３２２は、ステップＳＴ２４で生成されたＸＺ画素信号群の画素信号を垂直方向の順に用いてバンドパスフィルタ処理を行いステップＳＴ２７に進む。

ステップＳＴ２７でフィルタ部は配列復元処理を行う。フィルタ部３２-5の配列復元部３２３は、ステップＳＴ２５とステップＳＴ２６でフィルタ処理された画素信号を、撮像部２２で生成された画素信号と等しい配列に復元する。

なお、第５の実施の形態では、撮像部２２で４つの異なる偏光方向の偏光画素（Ｗ＝０度，Ｘ＝４５度，Ｙ＝９０度，Ｚ＝１３５度）である場合を例示したが、撮像部は、偏光画素をフィルタ処理する際にフィルタ係数が「０」となる偏光方向の画素を他の画素信号群に振り分けて画素信号群毎にフィルタ処理を行える偏光画素構成であればよく、偏光方向の数や偏光角が例示した撮像部と異なっていてもよい。

このように第５の実施の形態によれば、第１の実施の形態と同様に、複数偏光方向の偏光画素を所定の配列で繰り返し設けた撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした画素信号から偏光周期に応じて変化する信号成分を抽出するフィルタ処理が水平方向と垂直方向に対して行われる。したがって、偏光画像に含まれたノイズ等の影響を受けることなく、鏡面反射成分を示す偏光情報を精度よく取得できるようになる。また、画素信号の振り分けを行い画素信号群毎にフィルタ処理を行うことから、フィルタ処理部３２２のタップ数を削減することが可能となり、第１の実施の形態等に比べてフィルタ処理部を簡単な構成にできる。

＜８．他の実施の形態＞
上述の実施の形態では、水平方向と垂直方向のそれぞれについてフィルタ処理を行う場合を例示しているが、フィルタ部は水平方向についてのみフィルタ処理を行い、鏡面反射成分を示す偏光情報を取得してもよい。例えば、撮像部を第３の実施の形態で示した構成とすれば、撮像部で生成された画素信号を順にフィルタ処理して偏光情報を取得できるため、リアルタイムで偏光情報が必要とされる分野で情報処理装置を用いる場合に適している。

また、水平方向の再配列動作や垂直方向の再配列動作は、図７，図１１に示す順序に限らず、空間的順序を保つように再配列してもよい。図２４は水平方向再配列動作の他の例を示しており、図２５は垂直方向再配列動作の他の例を示している。再配列部３２１は、図２４の（ａ）に示す２×２画素の画素ブロックの画素信号を水平方向に再配列する。再配列部３２１は、水平方向の再配列において、図２４の（ｂ）に示すように、所定回転方向の偏光順であって空間的順序を保つように、２×２画素の画素ブロックの画素信号を１×４画素の画素ブロックの画素信号に再配列する。具体的には、偏光画素Ｗ1，Ｘ1，Ｙ1，Ｚ1からなる２×２画素の画素ブロックの画素信号を偏光画素Ｚ1，Ｙ1，Ｘ1，Ｗ1の順序とされた１×４画素の画素ブロックの画素信号に再配列する。また、偏光画素Ｗ2，Ｘ2，Ｙ2，Ｚ2からなる２×２画素の画素ブロックの画素信号を、偏光画素Ｚ２，Ｙ2，Ｘ2，Ｗ2の順序とされた１×４画素の画素ブロックの画素信号に再配列する。以下同様に、２×２画素の画素ブロックの画素信号を所定回転方向の偏光順で空間的順序が保たれた１×４画素の画素ブロックの画素信号に再配列する。このように再配列を行えば、２×２画素の画素ブロックの画素信号を水平方向に並べたとき、画素信号の順序は画素Ｚが画素Ｗよりも右側で画素Ｙが画素Ｘよりも右側となり、水平方向の空間的順序を保つことができる。なお、図７の（ｂ）の場合は、画素Ｗと画素Ｘが画素Ｙと画素Ｚよりも右側となり空間的順序が逆順となっている。したがって、図２４の（ｂ）に示す水平方向の再配列動作を行えば、水平方向の空間的順序を保った状態でフィルタ処理を行えるようになる。

また、再配列部３２１は、垂直方向についても水平方向と同様に、空間的順序を保つように再配列を行う。再配列部３２１は、図２５の（ａ）に示す２×２画素の画素ブロックの画素信号を、図２５の（ｂ）に示すように、所定の回転方向の偏光順であって空間的順序を保つように、２×２画素の画素ブロックの画素信号を４×１画素の画素ブロックの画素信号に再配列する。このように再配列を行えば、２×２画素の画素ブロックの画素信号を垂直方向に並べたとき、画素Ｚが画素Ｙよりも上側で画素Ｗが画素Ｘよりも上側となり垂直方向の空間的順序を保つことができる。なお、図１１の（ｂ）の場合は、画素Ｙの画素が画素Ｚよりも上側となり空間的順序が逆順となっている。したがって、図２５の（ｂ）に示すように垂直方向の再配列動作を行えば、垂直方向の空間的順序を保った状態でフィルタ処理を行えるようになる。

なお、偏光画素Ｗ，Ｘ，Ｙ，Ｚからなる２×２画素の画素ブロックの画素信号を水平方向に偏光画素Ｙ，Ｚ，Ｗ，Ｘの順序とすれば、図２５の（ｂ）の場合と同様に偏光角が増加する回転方向の偏光順で空間的順序を保つことができる。また、偏光画素Ｗ，Ｘ，Ｙ，Ｚからなる２×２画素の画素ブロックの画素信号を垂直方向に偏光画素Ｗ，Ｚ，Ｙ，Ｘの順序とすれば、図２４の（ｂ）の場合と同様に偏光角が減少する回転方向の偏光順で空間的順序を保つことができる。

また、上述の偏光方向は例示であって、偏光方向は上述の実施の形態と異なる方向であってもよい。さらに、撮像部でカラーモザイクフィルタを用いて例えば２×２画素の画素ブロックを色単位とすれば、情報処理装置３０は画素ブロック内の無偏光画素の画素信号を用いたデモザイク処理によってカラー撮像画像を生成できる。また、情報処理装置３０は色毎に偏光情報を取得できる。

＜９．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、情報処理端末に限らず、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２６に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２６では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図２７は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２７には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図２６に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２６の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図２６に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

車両制御システム７０００における撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８において、偏光情報の取得範囲を撮像する撮像部は、上述の実施の形態の撮像部を用いた構成とする。また、情報処理装置３０は、図２６に示した応用例の統合制御ユニット７６００に設けてもよく、撮像部と一体に設けてもよい。このような構成とすれば、偏光情報の取得範囲を撮像する撮像部で生成された撮像画像からノイズ等が除去された偏光情報を取得できるので、取得した偏光情報を運転支援や運転制御等に利用できる。なお、情報処理装置３０は、図２６に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。また、車両制御システム７０００の構成は一例であって、図２６に示すブロックの一部を備えていない構成であってもよく、図２６に示されていないブロックを有する構成であってもよい。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の情報処理装置は以下のような構成も取ることができる。
（１） 複数偏光方向の偏光画素が所定の配列で設けられている撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした前記画素信号のフィルタ処理により偏光成分を抽出するフィルタ処理部
を備える情報処理装置。
（２） 前記画素信号を水平方向または垂直方向が前記所定回転方向の偏光順となる配列に並び替える再配列部をさらに備え、
前記フィルタ処理部は、前記再配列部で並び替えられた前記画素信号を用いて前記フィルタ処理を行う（１）に記載の情報処理装置。
（３） 前記再配列部は、前記撮像装置で生成された偏光画像の画素信号を、水平方向または垂直方向の一方の方向が前記所定回転方向の偏光順となる配列への並び替えと、前記フィルタ処理部で前記フィルタ処理された画素信号を、他方の方向が前記所定回転方向の偏光順となる配列への並び替えを行い、
前記フィルタ処理部は、前記再配列部で前記一方の方向の並び替えが行われた前記画素信号の前記フィルタ処理と前記他方の方向の並び替えが行われた前記フィルタ処理後の画素信号の前記フィルタ処理を行う（２）に記載の情報処理装置。
（４） 前記撮像装置は、前記複数偏光方向の偏光画素を含む画素ブロックを繰り返し設けることで、前記複数偏光方向の偏光画素が前記所定の配列とされており、
前記再配列部は、前記画素ブロック内の画素信号を水平方向または垂直方向が前記所定回転方向の偏光順となる配列に並び替える（２）または（３）に記載の情報処理装置。
（５） 前記撮像装置は前記複数偏光方向の偏光画素と無偏光画素を有しており、
前記再配列部は、前記無偏光画素の画素信号を除いて前記偏光画素の画素信号を水平方向または垂直方向が前記所定回転方向の偏光順となる配列に並び替える（２）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記撮像装置は、偏光方向が４方向であって偏光方向の角度差が等しい偏光画素を前記所定の配列として設けられており、
前記再配列部は、前記撮像装置で生成された偏光画像の画素信号を、水平方向または垂直方向が前記所定回転方向の偏光順となる配列へ並び替えたのち画素毎に交互に振り分けて２つの画素信号群を生成し、
前記フィルタ処理部は、前記再配列部で生成された画素信号群毎に前記フィルタ処理を行う（２）乃至（５）のいずれかに記載の情報処理装置。
（７） 前記フィルタ処理部で前記フィルタ処理された画素信号を、前記再配列部で並び替えが行われる前の配列に戻す配列復元部をさらに備える（２）乃至（６）のいずれかに記載の情報処理装置。
（８） 前記フィルタ処理部は、前記所定回転方向の偏光順とした画素信号から偏光周期に応じて変化する信号成分を前記偏光成分として抽出する（１）乃至（７）のいずれかに記載の情報処理装置。

また、本技術の撮像装置は以下のような構成も取ることができる。
（１） 複数偏光方向の偏光画素を、水平方向または垂直方向の少なくとも一方で所定回転方向の偏光順として設けた撮像装置。
（２） 前記水平方向または垂直方向に前記所定回転方向の偏光順に並ぶ偏光画素群に対して隣接する偏光画素群は前記所定回転方向に対して逆回転方向の偏光順とした（１）に記載の撮像装置。
（３） 前記偏光画素は、前記所定回転方向の偏光順とした偏光画素間の偏光方向の角度差を等しくした（１）または（２）に記載の撮像装置。

この技術の情報処理装置と情報処理方法およびプログラムによれば、複数偏光方向の偏光画素が所定の配列で繰り返し設けられている撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした画像信号のフィルタ処理が行われて偏光成分が抽出される。また、この技術の撮像装置によれば、複数偏光方向の偏光画素が水平方向または垂直方向の少なくとも一方で所定回転方向の偏光順として設けられる。このため、偏光周期に応じて変化する偏光成分を示す偏光情報を偏光画像から精度よく取得できる。したがって、偏光画像を用いて反射除去や形状推定等を行う機器に適している。

１０・・・偏光情報取得システム
２０・・・偏光カメラ
２１・・・撮像光学系
２２，２２-1，２２-2a，２２-2b，２２-3a，２２-3b，２２-3c，２２-4・・・ 撮像部
２５，６０・・・情報記録再生装置
３０・・・情報処理装置
３１・・・受信バッファ
３２，３２-1，３２-2，３２-3，３２-4，３２-5・・・フィルタ部
３３・・・メモリ部
３４・・・フィルタ係数記憶部
３５・・・送信バッファ
５０・・・偏光情報利用部
３２１・・・再配列部
３２２・・・フィルタ処理部
３２３・・・配列復元部

Claims (10)

1. 複数偏光方向の偏光画素が所定の配列で設けられている撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした前記画素信号のフィルタ処理により偏光成分を抽出するフィルタ処理部
   を備える情報処理装置。
2. 前記画素信号を水平方向または垂直方向が前記所定回転方向の偏光順となる配列に並び替える再配列部をさらに備え、
   前記フィルタ処理部は、前記再配列部で並び替えられた前記画素信号を用いて前記フィルタ処理を行う
   請求項１に記載の情報処理装置。
3. 前記再配列部は、前記撮像装置で生成された偏光画像の画素信号を、水平方向または垂直方向の一方の方向が前記所定回転方向の偏光順となる配列への並び替えと、前記フィルタ処理部で前記フィルタ処理された画素信号を、他方の方向が前記所定回転方向の偏光順となる配列への並び替えを行い、
   前記フィルタ処理部は、前記再配列部で前記一方の方向の並び替えが行われた前記画素信号の前記フィルタ処理と前記他方の方向の並び替えが行われた前記フィルタ処理後の画素信号の前記フィルタ処理を行う
   請求項２に記載の情報処理装置。
4. 前記撮像装置は、前記複数偏光方向の偏光画素を含む画素ブロックを繰り返し設けることで、前記複数偏光方向の偏光画素が前記所定の配列とされており、
   前記再配列部は、前記画素ブロック内の画素信号を水平方向または垂直方向が前記所定回転方向の偏光順となる配列に並び替える
   請求項２に記載の情報処理装置。
5. 前記撮像装置は前記複数偏光方向の偏光画素と無偏光画素を有しており、
   前記再配列部は、前記無偏光画素の画素信号を除いて前記偏光画素の画素信号を水平方向または垂直方向が前記所定回転方向の偏光順となる配列に並び替える
   請求項２に記載の情報処理装置。
6. 前記撮像装置は、偏光方向が４方向であって偏光方向の角度差が等しい偏光画素を前記所定の配列として設けられており、
   前記再配列部は、前記撮像装置で生成された偏光画像の画素信号を、水平方向または垂直方向が前記所定回転方向の偏光順となる配列へ並び替えたのち画素毎に交互に振り分けて２つの画素信号群を生成し、
   前記フィルタ処理部は、前記再配列部で生成された画素信号群毎に前記フィルタ処理を行う
   請求項２に記載の情報処理装置。
7. 前記フィルタ処理部で前記フィルタ処理された画素信号を、前記再配列部で並び替えが行われる前の配列に戻す配列復元部をさらに備える
   請求項２に記載の情報処理装置。
8. 前記フィルタ処理部は、前記所定回転方向の偏光順とした画素信号から偏光周期に応じて変化する信号成分を前記偏光成分として抽出する
   請求項１に記載の情報処理装置。
9. 複数偏光方向の偏光画素が所定の配列で設けられている撮像装置で生成された偏光画像の画素信号を用いて、所定回転方向の偏光順とした前記画素信号のフィルタ処理をフィルタ処理部で行い偏光成分を抽出すること
   を含む情報処理方法。
10. 複数偏光方向の偏光画素が所定の配列で設けられている撮像装置で生成された偏光画像の画素信号の信号処理をコンピュータで実行させるプログラムであって、
    所定回転方向の偏光順とした前記画素信号のフィルタ処理により偏光成分を抽出する手順を
    前記コンピュータで実行させるプログラム。

Images