JP7030592B2 - 測距装置、撮像装置、移動装置、ロボット装置、プログラム - Google Patents

Description

本発明は、撮像面位相差方式による距離測定技術に関する。

測距装置は、車両、ドローン、ロボット等の移動体に搭載され、行動支援のために移動体と周辺物または障害物との距離を測定する。特に、障害物への衝突回避や、指定された物体への追従を目的とする行動支援のためには、画像を用いた認識処理が必要となり、距離測定を行うために撮像装置が使用される。

特許文献１には、認識処理に用いる画像だけではなく距離をも取得できる撮像面位相差方式の撮像装置が開示されている。撮像面位相差測距方式では、撮像光学系の異なる瞳領域をそれぞれ通過した光束により生成される光学像に基づく２つの画像データが取得される。画像間の相対的な位置ずれ量（いわゆる視差量）を、ステレオ撮像装置での視差量検出方法と類似の方法で検出し、所定の変換係数を用いてデフォーカス量に変換することができる。デフォーカス量は、撮像光学系の結像関係を用いて被写体までの距離情報に変換することができる。被写体の撮像画像は、２つの画像の合成画像、またはいずれか一方の画像として取得できる。移動体の行動支援においては、撮像面位相差方式により取得された画像情報と距離情報を用いて、周囲環境の認識が可能である。

特許第５９１７２０７号公報

撮像面位相差測距方式によって取得される距離情報の誤差要因の１つには、視差量の算出に用いる画像に含まれるノイズの影響がある。ノイズの影響により同じ距離の被写体であっても、取得タイミングによって距離情報にばらつきが発生する。撮像素子の各画素部を構成する光電変換部の受光量が少ない場合にノイズの影響が大きくなり、距離情報の再現性が低下する可能性がある。距離情報の再現性を高めるには、撮像素子の各画素部が広い波長帯域の光を受光できることが望ましい。

また、距離情報の誤差に関する別の要因として、撮像装置が備える撮像光学系の色収差がある。撮像光学系は撮像素子上に被写体の光学像を形成するので、撮像光学系の軸上色収差による誤差が距離情報に影響を及ぼす。撮像素子の各画素部に係る波長帯域が広い場合には、撮像光学系の色収差によって距離情報に誤差が発生する可能性がある。

測距装置を用いて周囲環境を簡便な処理で、より高精度に認識するためには、認識処理に用いる画像の色再現性が高く、距離情報の誤差が小さいことを要する。色再現性が低い場合には、周囲環境の誤認識や画像の視認性の低下が懸念される。その為、撮像素子にて可視波長帯域の光を受光することが望ましい。
本発明の目的は、測距装置によって色再現性が高い画像を取得し、且つ距離情報の誤差を低減することである。

本発明の一実施形態の測距装置は、分光透過特性が異なる複数の領域を有する光学フィルタと、撮像素子を構成する第１の画素部が備える第１の光電変換部並びに前記撮像素子を構成する第２の画素部が備える第２および第３の光電変換部と、前記第２および第３の光電変換部がそれぞれ出力する信号に基づく画像データの視差に対応する距離情報を取得する取得手段と、を備える。前記光学フィルタは、第１の分光透過特性を有する第１の領域と、前記第１の分光透過特性に比べて波長の長い光を透過する第２の分光透過特性を有する第２および第３の領域と、を有し、前記第１の光電変換部は、前記第１の領域を通過した光を受光して光電変換を行い、前記第２および第３の光電変換部は、前記第２および第３の領域をそれぞれ通過した光を受光して光電変換を行う。前記第１の領域は、第１の波長から第２の波長までの光を透過する前記第１の分光透過特性を有し、前記第２および第３の領域は、第３の波長から第４の波長までの光を透過する前記第２の分光透過特性を有しており、前記第１の波長は前記第３の波長よりも短く、前記第２の波長は前記第４の波長よりも短い。

本発明の測距装置によれば、色再現性が高い画像を取得し、且つ距離情報の誤差を低減することができる。

第１実施形態の測距装置の説明図である。 第１実施形態の光学フィルタの説明図である。 第１実施形態の光学フィルタと撮像素子との関係を説明する図である。 第１実施形態における光束と視差量との関係を説明する図である。 第１実施形態における視差量検出方法の説明図である。 第１実施形態における光学フィルタの領域を示す図である。 第１実施形態の変形例における光学フィルタの説明図である。 第１実施形態の変形例における画素部の構成を示す説明図である。 第１実施形態の変形例におけるカラーフィルタの説明図である。 第１実施形態の変形例の光学フィルタと撮像素子の説明図である。 第１実施形態の変形例における画素部の構成の別例を示す図である。 第１実施形態の変形例におけるカラーフィルタの別例を示す図である。 第１実施形態の測距装置を搭載した車両への適用例を示す図である。 第２実施形態の測距装置の説明図である。 第２実施形態の測距装置を備えるロボット装置を示す図である。

以下に本発明の実施形態について、図面を参照して詳細に説明する。本発明は、撮像面位相差方式により色再現性が高い画像および高精度な距離情報を取得可能な測距装置、撮像装置、移動装置、ロボット装置等に適用可能である。なお、各実施形態に記載されている構成要素は、あくまで例示に過ぎず、本発明の範囲は以下の実施形態に記載されている構成要素に限定されることはない。

［第１実施形態］
図１は、本発明の第１実施形態に係る測距装置の構成を概略的に示す図である。図１（Ａ）は、測距装置１００の主要な構成要素である撮像部１０１、距離情報取得部１０５、画像処理部１０６を示す模式図である。撮像部１０１は、撮像光学系１０２および多数の画素部が配列された撮像素子１０３を備える。撮像光学系１０２は複数のレンズを備える。例えば、光軸に沿って配置されたレンズ１０２ａと１０２ｂによって、被写体から反射光が撮像素子１０３上に結像する。撮像光学系１０２は、レンズ１０２ａと１０２ｂとの間の絞り位置に光学フィルタ１０４を備える。

図１（Ｂ）は、撮像素子１０３の画素配列を示す模式図である。撮像素子１０３が有する多数の画素部は第１の画素部および第２の画素部からなる。第１の画素部は撮像用画素部１０３ａであり、第２の画素部は測距用画素部１０３ｂである。図１（Ｂ）では煩雑さを回避するため、左上側の各画素配列を部分的に示している。撮像用画素部１０３ａと測距用画素部１０３ｂは各々、光電変換部を有する。光電変換素子であるフォトダイオードは、Ｓｉ（珪素）や光吸収特性を有する薄膜で形成された光電変換膜等で構成される。例えば、ベイヤー配列に従い、２行×２列の４画素のうち、対角位置に緑色（Ｇ）の分光感度を有する撮像用画素部１０３ａが配置され、他の位置に赤色（Ｒ）と青色（Ｂ）の分光感度を有する撮像用画素部１０３ａが１つずつ配置される。

撮像用画素部１０３ａが有する特定色の分光感度は、原色系のカラーフィルタによって付与される。また撮像素子１０３では、一部の２行×２列の画素部において、対角の２つの緑色の分光感度を有する撮像用画素部１０３ａをそのまま残し、赤色と青色の分光感度を有する撮像用画素部１０３ａが測距用画素部１０３ｂに置き換えられる。測距用画素部１０３ｂは、撮像用画素部１０３ａとは異なるカラーフィルタを備えている。測距用画素部１０３ｂが備えるカラーフィルタには、測距用画素部１０３ｂの光電変換部が受光可能な波長帯域にて透明な材料が用いられる。

図１（Ｃ）は、光学フィルタ１０４を光軸方向から見た場合の概略図である。光学フィルタ１０４は、３つの領域に区分されており、第１の方向に沿って配置されている。図１（Ｃ）の左側から、第２の領域１０４ｂ、第１の領域１０４ａ、第３の領域１０４ｃを示す。

光学フィルタ１０４は撮像光学系１０２の絞り位置に配置され、光学フィルタ１０４内の３つの領域１０４ａ～ｃは、撮像光学系１０２の射出瞳の瞳部分領域を構成している。第１の領域１０４ａは第１の分光透過特性を有する。第２の領域１０４ｂと第３の領域１０４ｃは、第１の分光透過特性とは異なる第２の分光透過特性を有する。光学フィルタ１０４の分光透過特性について、図２を参照して説明する。

図２は、横軸に光の波長をとり、縦軸に透過率をとって示したグラフである。図２（Ａ）に実線で示すグラフ曲線４０１は、第１の分光透過率の、波長による変化を示す。図２（Ｂ）に実線で示すグラフ曲線４０２は、第２の分光透過率の、波長による変化を示す。横軸の左側を短波長側とし、右側を長波長側とする。グラフ曲線４０１により示される第１の分光透過率は、点線４１０で示す波長λ１から、点線４２０で示す波長λ２までの範囲で高くなっている。また、グラフ曲線４０２により示される第２の分光透過率は、点線４３０で示す波長λ３から、点線４４０で示す波長λ４までの範囲で高くなっている。図２では「λ１＜λ３＜λ２＜λ４」の関係が成り立つ。すなわち、λ１はλ３よりも短波長であり、λ２はλ４よりも短波長である。第２の分光透過率は、第１の分光透過率との相対的な関係において、長波長側の範囲において高い。

撮像用画素部１０３ａは１つの光電変換部を有しており、光学フィルタ１０４の第１の領域１０４ａを通過する光束に基づく光学像の画素信号を取得する。また、測距用画素部１０３ｂは２つの光電変換部を有しており、光学フィルタ１０４の第２の領域１０４ｂと第３の領域１０４ｃをそれぞれ通過する光束に基づく一対の光学像の画素信号を取得する。各光電変換部は光電変換により、受光量に応じた画像信号を出力する。

距離情報取得部１０５は、複数の測距用画素部１０３ｂによって取得される画素信号から生成される画像信号に基づいて、一対の光学像の視差を算出する。距離情報取得部１０５は算出した視差に基づき、撮像部から被写体までの距離（被写体距離）を算出する。すなわち、測距装置は撮像面位相差方式によって被写体距離を測定する。

画像処理部１０６は、複数の撮像用画素部１０３ａによって取得される画素信号に対して所定の画像処理を施す。所定の画像処理はデモザイキングやノイズ低減処理等であり、赤色（Ｒ）・緑色（Ｇ）・青色（Ｂ）の色成分に対応する３チャンネルのカラー画像データを取得することができる。複数の撮像用画素部１０３ａが受光する第１の領域１０４ａを通過した光に基づきカラー画像データが取得されることを考慮し、図２（Ａ）に示す波長λ１から波長λ２までの帯域を、青色から赤色までの可視波長帯域とすることが望ましい。例えば、波長λ１を４００ｎｍ（ナノメートル）とし、波長λ２を７００ｎｍとすることができる。

本実施形態では、図１（Ａ）に示す撮像部１０１において、撮像光学系１０２のレンズ１０２ａと１０２ｂは固定されており、いわゆるオートフォーカス（ＡＦ）機能を実現するための構成は省略されている。すなわち、撮像部１０１では焦点が固定されている。このような例に限らず、撮像部１０１がＡＦ機能を有していてもよい。この場合、焦点調節制御部は、距離情報取得部１０５が算出した被写体までの距離情報またはデフォーカス量に基づいてＡＦ制御を行う。

図３は、撮像素子１０３が備える撮像用画素部１０３ａと測距用画素部１０３ｂの受光の様子を説明する図である。図３（Ａ）は、光学フィルタ１０４と撮像用画素部１０３ａを側方から見た場合の概略図である。図３（Ｂ）は、光学フィルタ１０４と測距用画素部１０３ｂを側方から見た場合の概略図である。図３（Ｃ）は、図３（Ａ）に対応する、撮像用画素部１０３ａの光電変換部２１１を示し、図３（Ｄ）は、図３（Ｂ）に対応する、測距用画素部１０３ｂの光電変換部２１２，２１３を示す模式図である。

図３（Ａ）において、マイクロレンズ２２１は、撮像光学系１０２の像面近傍に配置され、光学フィルタ１０４の第１の領域１０４ａを通過した光を第１の光電変換部２１１に集光する。撮像光学系１０２とマイクロレンズ２２１は、撮像光学系１０２の射出瞳と第１の光電変換部２１１とが光学的に共役になるように構成される。従って、マイクロレンズ２２１によって第１の光電変換部２１１の形状が撮像光学系１０２の射出瞳に投影される。第１の光電変換部２１１の配置（位置、大きさ）を適切に設定することで、第１の光電変換部２１１は、第１の領域１０４ａを通過した光を受光するように形成される。

図３（Ｂ）において、マイクロレンズ２２１は、撮像光学系１０２の像面近傍に配置され、光学フィルタ１０４の第２の領域１０４ｂと第３の領域１０４ｃを通過した光を各々、第２の光電変換部２１２と第３の光電変換部２１３に集光する。撮像光学系１０２とマイクロレンズ２２１は、撮像光学系１０２の射出瞳が第２の光電変換部２１２および第３の光電変換部２１３と光学的に共役になるように構成される。従って、マイクロレンズ２２１によって第２の光電変換部２１２と第３の光電変換部２１３の形状が撮像光学系１０２の射出瞳に投影される。第２の光電変換部２１２の配置（位置、大きさ）を適切に設定することで、第２の光電変換部２１２は、第２の領域１０４ｂを通過した光を受光するように形成される。同様に第３の光電変換部２１３の配置（位置、大きさ）を適切に設定することで、第３の光電変換部２１３は、第３の領域１０４ｃを通過した光を受光するように形成される。

光学フィルタ１０４は撮像光学系１０２の絞り位置に配置されているので、第１の領域１０４ａと第２の領域１０４ｂと第３の領域１０４ｃは、各々が撮像光学系１０２の射出瞳の部分的な領域を構成している。すなわち、第１の光電変換部２１１と第２の光電変換部２１２と第３の光電変換部２１３は、撮像光学系１０２の射出瞳の部分的な領域をそれぞれ通過した光を受光する。第２の光電変換部２１２は第２の領域１０４ｂを通過した光を受光して光電変換を行い、第３の光電変換部２１３は第３の領域１０４ｃを通過した光を受光して光電変換を行う。これにより、被写体までの距離に応じた視差を有する一対の光学像が得られる。一対の光学像に基づく一対の画像信号に対して、視差量検出の演算処理が実行され、視差が算出される。一対の画像信号は互いに視点の異なる視点画像信号である。視差の算出処理の詳細については、図５を用いて後述する。

図４を参照して、三角測量の原理に基づき、視差からデフォーカス量を算出する処理について説明する。図４（Ａ）から（Ｃ）は、撮像光学系１０２、光学フィルタ１０４、撮像素子１０３の位置関係と、第２の光電変換部２１２および第３の光電変換部２１３がそれぞれ光電変換を行う対象である光束を概略的に示す図である。光束３０２は、光学フィルタ１０４の第２の領域１０４ｂを通過する光束を示し、第２の光電変換部２１２が光電変換を行う。光束３０３は、光学フィルタ１０４の第３の領域１０４ｃを通過する光束を示し、第３の光電変換部２１３が光電変換を行う。なお、第２の領域１０４ｂと第３の領域１０４ｃの分光透過率はいずれも、図２（Ｂ）に示す第２の分光透過特性である。すなわち、光束３０２と光束３０３の波長帯域のいずれも、波長λ３から波長λ４までの範囲に相当する帯域である。

図４（Ａ）は、所定の被写体に焦点が合っている合焦状態を示し、光束３０２と光束３０３が撮像素子１０３上で収束している。この場合、一対の光学像の視差はゼロである。図４（Ｂ）および図４（Ｃ）は非合焦状態を示す。図４（Ｂ）は、撮像素子１０３よりも被写体側（図の左側）で光が結像する場合のデフォーカス状態を示している。この場合、光束３０２と光束３０３は、撮像素子１０３よりも撮像光学系１０２の側で収束し、一対の光学像の視差は負値となる。図４（Ｃ）は、撮像素子１０３よりも右側、つまり撮像光学系１０２とは反対側で光が結像する場合のデフォーカス状態を示している。この場合、光束３０２と光束３０３は、撮像光学系１０２と撮像素子１０３との間では収束せず、撮像素子１０３の後方（図の右方）で収束する。この場合、一対の光学像の視差は正値となる。図４（Ｂ）と図４（Ｃ）との比較から、デフォーカス量の正負に応じて視差の正負が入れ替わることが分かる。またデフォーカス量に応じて、撮像光学系１０２の結像関係に対応する視差が生じることが分かる。デフォーカス量は、撮像光学系１０２の焦点距離と主点位置に基づく変換係数を用いて、撮像部１０１から被写体までの距離に変換することができる。

次に、図５を参照して、視差量検出の演算処理について説明する。図５（Ａ）は、距離情報取得部１０５が行う処理を説明するフローチャートである。まず、Ｓ１では、撮像素子１０３の測距用画素部１０３ｂの出力から一対の画像データを取得する処理が行われる。一対の画像データは互いに視点の異なる視点画像データである。

Ｓ２では、一対の画像間での光量バランスの補正処理が行われる。光量バランスの補正処理では、撮像光学系１０２の口径蝕等により、特に周辺像高にて生じる一対の画像間での光量差が補正される。この補正方法は公知であり、例えば、予め均一な面光源を撮影した画像データを取得して保存しておき、当該画像データを用いて光量バランスを補正する為の光量バランス補正係数を算出することができる。Ｓ２では、光量バランス補正係数を用いて、一対の画像の光量バランスが補正される。

Ｓ３では、一対の画像間の視差量が検出される。視差量の検出方法について、図５（Ｂ）を参照して説明する。図５（Ｂ）にて、一対の画像のうち、第１の画像５０１を上側に示し、第２の画像５０２を下側に示す。Ｘ軸を第１の方向（図１（Ｃ）、図３参照）と平行な軸とし、Ｙ軸をＸ軸と垂直な軸と定義する。視差量検出の演算処理では、まず基準となる画像として画像５０１が選択され、画像内に照合領域５２０が設定される。照合領域とは、注目点５１０を中心とする局所領域である。照合領域のサイズが小さい場合には、局所演算に起因する視差量の算出誤差が生じる可能性がある。そのため、照合領域は９×９画素程度のサイズに設定される。

次に参照先の画像として画像５０２が選択され、画像５０２上に照合領域５２１が設定される。照合領域５２１は、参照点５１１を中心とする局所領域である。Ｘ軸に沿って参照点５１１を移動させながら、照合領域５２０内の画像データと照合領域５２１内の画像データとの間の相関度が算出される。これらの照合領域について最も相関が高い参照点が対応点として決定される。注目点と対応点との間の相対的な位置ずれ量が視差量として算出される。以上の処理を、注目点５１０を順次移動させながら行うことで、画像５０１内の各画素位置における視差量を算出することができる。なお、相関度の算出方法としては、例えば、画素値同士の差の二乗和を評価値とするＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）と呼ばれる方法がある。

視差量検出の演算処理では、一対の画像間で、局所領域内の画像の類似度（相関度）を評価することにより視差量が算出される。従って、画像に含まれるノイズが多い場合には、類似度を正確に評価することができず、視差量の算出誤差が生じる可能性がある。画像に含まれるノイズの発生要因は様々であるが、フォトダイオードで生じる光ショットノイズが支配的である。光ショットノイズの影響による視差量の算出誤差を低減するためには、測距用画素部１０３ｂの受光量を多くする必要がある。撮像光学系１０２への入射光は限られるため、できるだけ広い波長帯域の光を光電変換部が受光することで、測距用画素部１０３ｂの受光量を増やすことができる。すなわち、測距用画素部１０３ｂが備える第２の光電変換部２１２と第３の光電変換部２１３が、より広い波長帯域の光を受光することで、光ショットノイズの影響による視差量の算出誤差を低減できる。

一方で、撮像光学系１０２は、レンズ１０２ａとレンズ１０２ｂを構成する硝材の分散により、波長に応じて合焦位置が変わり、色収差を有する。撮像面位相差方式では、デフォーカス量を被写体までの距離に変換する際、色収差に起因する、被写体の色に応じた測距誤差が生じる。可視波長帯域で透明な硝材の多くは、波長が短くなるほど屈折率が大きくなる正常分散が起こる。さらに、単位波長あたりの屈折率変化は波長が短くなるほど大きくなる。その為、撮像光学系１０２は波長が短くなるに従い、色収差が大きくなる。従って、複数の測距用画素部１０３ｂが備える第２の光電変換部２１２と第３の光電変換部２１３によって受光される光成分のうち、短波長側の成分を除くことで、撮像光学系１０２の色収差に起因する測距誤差を低減することができる。

撮像部１０１の周囲環境を、例えば、機械学習等を用いて認識する際には、複数の撮像用画素部１０３ａの出力する画像信号を画像処理して得られるカラー画像の色再現性が高いことが望ましい。例えば、撮像用画素部１０３ａが備える第１の光電変換部２１１によって受光される光に、青色の波長域に相当する成分が含まれていない場合には、青色の被写体と黒色の被写体の判別が難しくなる。また第１の光電変換部２１１によって受光される光に、近赤外の波長域に相当する成分が含まれる場合には、赤色・緑色・青色の分光感度を有する各画素が近赤外波長域にも感度を有する様になる。その為、近赤外波長域の分光反射率が高い被写体等は、可視波長域では黒色であっても、白色と認識される可能性がある。このようなカラー画像を視認する際には、視認性が低下してしまう。従って、撮像用画素部１０３ａが備える第１の光電変換部２１１によって受光される光は、可視波長域をカバーしつつ、可視波長域から外れた波長域の光を含まないことが望ましい。

本実施形態の測距装置が備える撮像部１０１は、撮像光学系１０２の絞り位置に配置された光学フィルタ１０４における第１の領域１０４ａの分光透過率が、青色から赤色までの可視波長域となるように構成されている。複数の撮像用画素部１０３ａによる出力画像信号を画像処理して得られるカラー画像は、可視波長域の光を用いて取得された画像となり、色再現性の高い画像となる。また、撮像光学系１０２の絞り位置に配置された光学フィルタ１０４における第２の領域１０４ｂと第３の領域１０４ｃの分光透過率は、図２（Ｂ）に示すように、波長λ３から波長λ４までの光を透過する特性である。波長λ１よりも波長λ３を長い波長とすることで、測距用画素部１０３ｂが備える２つの光電変換部は、撮像光学系１０２の色収差が小さい波長帯域の光を受光する。また、波長λ４を波長λ２よりも長い波長とすることで、測距用画素部１０３ｂが備える２つの光電変換部は、より広い波長帯域の光を受光する。すなわち、撮像光学系１０２の色収差に起因する測距誤差を低減しつつ、測距用画素部１０３ｂが備える２つの光電変換部が受光する光量を増やすことでノイズの影響による測距誤差を低減できる。

このように本実施形態の測距装置１００は、高い色再現性を有するカラー画像と、高精度な距離情報を同時に取得することができる。本実施形態では、撮像用画素部１０３ａが受光面に１つの光電変換部を備え、測距用画素部１０３ｂが２つの光電変換部を備える構成例を示す。図３（Ｃ）に示すように、撮像用画素部１０３ａは１つの光電変換部２１１を備える。図３（Ｄ）に示すように、測距用画素部１０３ｂは、２つの光電変換部２１２，２１３を備える。

このような構成とは異なる構成であっても構わない。例えば、図３（Ｅ）に示すように、撮像用画素部１０３ａと測距用画素部１０３ｂがいずれも、３つの光電変換部２１１，２１２，２１３を備える。撮像用画素部１０３ａについては、光電変換部２１２と光電変換部２１３の出力信号を用いずに、カラー画像データの生成が行われる。あるいは、光電変換部２１２と光電変換部２１３の各信号を出力しないように撮像素子１０３が配線される。一方、測距用画素部１０３ｂについては、光電変換部２１１の出力信号を用いずに、光電変換部２１２，２１３の出力信号を用いて視点画像データから距離情報の生成が行われる。あるいは、光電変換部２１１の信号を出力しないように撮像素子１０３が配線される。撮像用画素部１０３ａと測距用画素部１０３ｂについて受光面での構造を共通にすることで、撮像素子１０３をより簡便に製造できる。

図２（Ｂ）にグラフ曲線４０２で示す第２の分光透過率において、波長λ３は、撮像光学系１０２の色収差と測距装置に要求される測距精度を考慮して決めることができる。一般的なガラス材料が、４５０ｎｍ以下の波長帯域において単位波長あたりの屈折率変化が急激に大きくなることを考慮すると、第２の分光透過率における波長λ３は４５０ｎｍ以上とすることが好ましい。望ましくは、波長λ３をさらに４５０ｎｍよりも長い波長とすることで、撮像光学系１０２の色収差が多少残存している場合でも、高精度な測距を行える。最も単純な色消しレンズの例として、２枚のレンズを用いる場合を説明する。撮像光学系１０２を構成するレンズのガラス材料として一般的に用いられる、第１のガラス材料（屈折率１．５２、アッベ数６４）と、第２のガラス材料（屈折率１．７０、アッベ数３０）を例示する。焦点距離４０ｍｍにおいて、距離２ｍの位置にいる被写体の測距誤差を１５％未満とするためには、波長λ３を４７０ｎｍとする。より高精度に測距を行う必要がある場合には、波長λ３を４９０ｎｍとすることで、距離２ｍの位置にいる被写体の測距誤差を１０％未満にすることができる。

撮像素子１０３の光電変換素子にて一般的に用いられるＳｉは、バンドギャップが１．１ｅＶである。このことを考慮すると、吸収可能な波長の上限は１１００ｎｍとなる。従って、第２の分光透過率において、波長λ４は１１００ｎｍ以下であることが好ましい。望ましくは、長波長側ほどＳｉの吸収係数が小さく、隣接画素間のクロストークが大きくなることを考慮し、波長λ４は１０００ｎｍよりも短く設定される。

光学フィルタ１０４は、撮像光学系１０２内に配置されることを考慮すると、分光透過率を吸収型の特性で付与することが望ましい。例えば、ガラス基板に光学特性の異なる光学薄膜を、区分した領域ごとに成膜して形成することができる。また光学フィルタ１０４内の３つの領域は、各領域を通過した光が、それぞれ対応した光電変換部に入射するように構成されていればよい。図６（Ａ）に光学フィルタ１０４の構成例を示す。

図６（Ａ）において、光学フィルタ１０４内の、第１の領域１０４ａ、第２の領域１０４ｂ、第３の領域１０４ｃ以外の領域は、波長λ１から波長λ４までの光を遮光するように構成された領域である。撮像部１０１が取得するカラー画像におけるデフォーカス状態の画像領域では、光学フィルタ１０４の第１の領域１０４ａの形状を反映したボケ形状となる。図６（Ｂ）に示すように、ボケ形状をより丸形に近づけることで、観賞画像としての質を向上させることができる。

また、図６（Ｃ）に示すように絞り６０１を備える構成において、絞り６０１を上下に移動させることで、第１の領域１０４ａの絞り値を変更してもよい。光学フィルタ１０４内の３つの領域の面積比は、複数の撮像用画素部１０３ａの出力信号に要求されるＳ／Ｎ比（信号対雑音比）と、複数の測距用画素部１０３ｂの出力信号に要求されるＳ／Ｎ比と、測距範囲に基づいて設定される。第１の領域１０４ａについては、面積比を大きくすることで、撮像用画素部１０３ａの受光量が増加するので、出力信号のＳ／Ｎ比が向上する。一方、第２の領域１０４ｂと第３の領域１０４ｃについては、面積比を大きくすると、測距用画素部１０３ｂの受光量が増加して出力信号のＳ／Ｎ比は向上するが、デフォーカス時のボケのサイズが大きくなる。そのため、デフォーカス状態の画像領域でのコントラストが低下して測距精度が低下する。従って、測距装置に要求される測距範囲および最低被写体照度に基づいて、光学フィルタ１０４内の３つの領域の面積比を設定する必要がある。

図２（Ｂ）を用いて、光学フィルタ１０４における第２の領域１０４ｂと第３の領域１０４ｃの分光透過特性について説明したが、別例を図７に示す。図７（Ａ）は図２（Ａ）と同じである。図７（Ｂ）にて実線で示すグラフ線７０２は第２の分光透過率を示しており、点線７３０で示す波長λ５から、点線７４０で示す波長λ６までの帯域において透過率が高くなっている。波長λ５は波長λ２よりも長い。すなわち、測距用画素部１０３ｂによって領域１０４ｂと領域１０４ｃでそれぞれ受光される光は、撮像用画素部１０３ａによって受光される光よりも長波長側の波長帯域の光である。第２の分光透過率を図７（Ｂ）に示す分光透過特性とすることで、撮像光学系１０２の色収差に起因する測距誤差をより低減できる。

本実施形態の測距装置は画質と測距精度とを両立させるため、撮像用画素部が備える光電変換部により受光される光の第１の波長帯域と、測距用画素部が備える２つの光電変換部により受光される光の第２の波長帯域とが異なる。第１の波長帯域は、撮像用画素部が備える光電変換部によって光電変換される第１の光束（以降、撮像用光束という）の波長帯域である。第２の波長帯域は、測距用画素部が備える２つの光電変換部によってそれぞれ光電変換される一対の光束（以降、測距用光束という）の波長帯域である。光学フィルタ１０４において、撮像用光束が通過する第１の領域と、測距用光束が通過する第２の領域および第３の領域とで、分光透過特性が異なるので、撮像用光束と測距用光束の各波長帯域が異なる。

［第１実施形態の変形例１］
図８を参照して、第１実施形態の変形例１について説明する。本変形例は、撮像素子１０３の備える撮像用画素部１０３ａと測距用画素部１０３ｂの構成が前記した構成とは異なる。本変形例の光学フィルタ１０４は、第２の領域１０４ｂと第３の領域１０４ｃが、図７（Ｂ）に示す分光透過特性を有する。以下では第１実施形態と同様の事項については既に使用した符号または記号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。このような説明の省略については、後述の変形例や実施形態等でも同じである。

図８（Ａ）は、本変形例の撮像素子１０３が備える撮像用画素部８０３ａの受光面を被写体側から見た場合の図である。撮像用画素部８０３ａは、２つの光電変換部８１１ａと光電変換部８１２ａを備える。図８（Ｂ）は、本変形例の撮像素子１０３が備える測距用画素部８０３ｂの受光面を被写体側から見た場合の図である。測距用画素部８０３ｂは、２つの光電変換部８１１ｂと光電変換部８１２ｂを備える。このように、撮像用画素部８０３ａと測距用画素部８０３ｂは、受光面が同様の構成である。

図８（Ｃ）は、撮像用画素部８０３ａを側方から見た場合の模式図である。撮像用画素部８０３ａは、原色系の分光透過率を備えるカラーフィルタ８２０ａを備える。カラーフィルタ８２０ａの分光透過率に応じて、撮像用画素部８０３ａは青色（Ｂ）・緑色（Ｇ）・赤色（Ｒ）の分光感度が付与される。図８（Ｄ）は、測距用画素部８０３ｂを側方から見た場合の模式図である。測距用画素部８０３ｂは、カラーフィルタ８２０ｂを備える。

図９（Ａ）は、撮像用画素部８０３ａの各色に対応したカラーフィルタ８２０ａの分光透過特性を示す。横軸は波長を表し、縦軸はカラーフィルタの透過率を表す。青色（Ｂ）・緑色（Ｇ）・赤色（Ｒ）にそれぞれ対応する分光透過率を、実線のグラフ線８２１Ｂ、８２１Ｇ、８２１Ｒで示している。可視波長帯域において、グラフ線８２１Ｂは青色に対応した波長帯域の透過率が高く、グラフ線８２１Ｇは緑色に対応した波長帯域の透過率が高く、グラフ線８２１Ｒは赤色に対応した波長帯域の透過率が高い。

図９（Ｂ）は、測距用画素部８０３ｂのカラーフィルタ８２０ｂの透過率を、実線のグラフ線８２２で示す。横軸および縦軸の設定は図９（Ａ）と同じである。カラーフィルタ８２０ｂでは、点線８３０で示す波長λ７から、点線８４０で示す波長λ８までの透過率が高くなっている。波長λ７は図７（Ｂ）中の波長λ５と略等しく、波長λ８は図７（Ｂ）中の波長λ６と略等しい。すなわち、光学フィルタ１０４内の第２の領域１０４ｂおよび第３の領域１０４ｃと、カラーフィルタ８２０ｂは、分光透過率が高い波長帯域が略一致している。

撮像用画素部８０３ａと測距用画素部８０３ｂは、各々が備えるカラーフィルタの分光透過率と光学フィルタ１０４の各領域の分光透過率とが略一致した領域を透過した光を受光する。図１０を用いて、光学フィルタ１０４の各領域と、撮像用画素部８０３ａおよび測距用画素部８０３ｂとの関係を説明する。

図１０（Ａ）は、光学フィルタ１０４の第１の領域１０４ａと撮像用画素部８０３ａとの光学的な関係を示す模式図である。撮像用画素部８０３ａの光電変換部８１１ａと光電変換部８１２ａからの出力信号を合成した信号は、第１の領域１０４ａを通過した光を受光したことによる信号と等価となる。

図１０（Ｂ）は、光学フィルタ１０４の第２の領域１０４ｂおよび第３の領域１０４ｃと、測距用画素部８０３ｂとの光学的な関係を示す模式図である。測距用画素部８０３ｂの光電変換部８１２ｂは、第２の領域１０４ｂを通過した光を受光する。測距用画素部８０３ｂの光電変換部８１１ｂは、第３の領域１０４ｃを通過した光を受光する。すなわち、測距用画素部８０３ｂは、第２の領域１０４ｂと第３の領域１０４ｃをそれぞれ通過した一対の光を受光する。このときの光学像は、被写体までの距離に応じた視差を有する一対の光学像である。

本変形例では、撮像用画素部８０３ａが可視波長域の光を、その分光感度に応じて受光するので、複数の撮像用画素部８０３ａから取得される画像は高い色再現性を保つ。さらに、測距用画素部８０３ｂは、図７（Ｂ）のλ５からλ６までの波長帯域の光に基づく一対の光学像を形成する光を受光するので、撮像光学系１０２の色収差に起因する測距誤差の影響を低減できる。

［第１実施形態の変形例２］
図１１を用いて、第１実施形態の変形例２について、撮像用光束と測距用光束の各波長帯域を異ならせる方法を説明する。本変形例の撮像光学系は、撮像光学系１０２から光学フィルタ１０４を除いた構成である。

図１１（Ａ）は、本変形例の撮像用画素部を説明する模式図であり、撮像用画素部１３０１ａを側方から見た場合の図である。撮像用画素部１３０１ａは、マイクロレンズ２２１と光電変換部２１１を備える。撮像用画素部１３０１ａは撮像用カラーフィルタ１３２０ａを備え、その分光透過率に応じて、青色・緑色・赤色の分光感度が付与される。

図１１（Ｂ）は、本変形例の測距用画素部を説明する模式図であり、測距用画素部１３０１ｂを側方から見た場合の図である。測距用画素部１３０１ｂは、マイクロレンズ２２１と、２つの光電変換部２１２，２１３を備える。測距用画素部１３０１ｂは測距用カラーフィルタ１３２０ｂを備える。

撮像用カラーフィルタ１３２０ａと測距用カラーフィルタ１３２０ｂは、例えば、誘電体多層膜を用いて形成することができる。画素部ごとに誘電体多層膜の厚みを異ならせることで、図１２に示す分光透過特性を付与することができる。あるいは、吸収材料の上に誘電体多層膜を形成してもよい。吸収材料のみでは十分に光を吸収できない波長帯域を誘電体層膜で補うことで、所望の分光透過率を付与できる。

図１２（Ａ）は、撮像用画素部１３０１ａの各色に対応した撮像用カラーフィルタ１３２０ａの分光透過特性を示す。横軸は波長を表し、縦軸は透過率を表す。青色（Ｂ）・緑色（Ｇ）・赤色（Ｒ）の光にそれぞれ対応する分光透過率を、実線のグラフ線１３２１Ｂ、１３２１Ｇ、１３２１Ｒで示す。グラフ線１３２１Ｂは青色に対応した波長帯域の透過率が高く、グラフ線１３２１Ｇは緑色に対応した波長帯域の透過率が高く、グラフ線１３２１Ｒは赤色に対応した波長帯域の透過率が高い。各色に対応した分光透過率を合成することで、図２（Ａ）にグラフ曲線４０１で示す第１の分光透過特性と略等しくなるように構成される。

図１２（Ｂ）は、測距用画素部１３０１ｂが備える測距用カラーフィルタ１３２０ｂの透過率を、グラフ曲線１３２２で示す。横軸および縦軸の設定は図１２（Ａ）と同じである。測距用カラーフィルタ１３２０ｂの透過率は、点線１３３０で示す波長λ９から、点線１３４０で示す波長λ１０までの範囲で高くなっている。λ９は図２（Ｂ）中のλ３と略等しく、波長λ１０は図２（Ｂ）中のλ４と略等しい。すなわち、測距用カラーフィルタ１３２０ｂは第２の分光透過特性を有する。

撮像用画素部１３０１ａの光電変換部２１１は、撮像光学系１０２の射出瞳にて、マイクロレンズ２２１と撮像光学系１０２を介して射影される光電変換部２１１の像に対応する瞳領域を通過した光を受光し、撮像用光束の光電変換を行う。

測距用画素部１３０１ｂの光電変換部２１２，２１３は、撮像光学系１０２の射出瞳にて、マイクロレンズ２２１と撮像光学系１０２を介してそれぞれ射影される光電変換部２１２，２１３の像に対応する瞳部分領域を通過した一対の光を受光する。光電変換部２１２，２１３により、測距用光束の光電変換が行われる。撮像用カラーフィルタ１３２０ａは第１の分光透過特性を有し、撮像用光束の波長帯域は図１２（Ａ）に示すλ１からλ２までの範囲である。測距用カラーフィルタ１３２０ｂは第２の分光透過特性を有し、測距用光束の波長帯域は図１２（Ｂ）に示すλ９からλ１０までの範囲である。

撮像用画素部１３０１ａの光電変換部２１１は可視波長域の光を受光するので、取得される画像についての高い色再現性を保つことができる。測距用画素部１３０１ｂの光電変換部２１２，２１３は、可視波長域に対して波長の長い帯域の光を受光するので、ノイズおよび撮像光学系１０２の色収差に起因する測距誤差を低減できる。

［第１実施形態の変形例３］
本変形例では、図１１に示す例と同様、撮像素子を構成する撮像用画素部１３０１ａが第１の光電変換部２１１を備える。また、撮像素子を構成する測距用画素部１３０１ｂが第２の光電変換部２１２および第３の光電変換部２１３を備える。

光電変換部２１１は、撮像光学系１０２の射出瞳における第１の領域を通過した光を受光して光電変換を行う。光電変換部２１２および２１３は、撮像光学系１０２の射出瞳における第２および第３の領域をそれぞれ通過した光を受光して光電変換を行う。

撮像用画素部１３０１ａは、第１の波長λ１から第２の波長λ２までの帯域において相対的に高い分光感度を有する。すなわち撮像用光束がλ１からλ２まで高い分光輝度となるように撮像用画素部１３０１ａの分光感度が設定されている。また、測距用画素部１３０１ｂは、波長λ１よりも長い第３の波長λ３から波長λ２よりも長い第４の波長λ４までの帯域において相対的に高い分光感度を有する。すなわち測距用光束がλ３からλ４まで高い分光輝度となるように測距用画素部１３０１ｂが設定されている。なお、分光感度の設定または補正については公知の技術が用いられる。

距離情報取得部１０５は、第２の光電変換部２１２および第３の光電変換部２１３がそれぞれ出力する信号に基づく複数の視点画像データを取得する。複数の視点画像データは互いに視差を有し、視差に対応する距離情報またはデフォーカス量もしくは像ずれ量を取得することができる。例えば、撮像装置への適用において、制御部は距離情報またはデフォーカス量を用いて撮像光学系の焦点調節の制御を行う。つまり、測距用光束に基づく複数の画像間の相対的な位置ずれ量に基づき、撮像面位相差方式のＡＦ制御が行われる。あるいは撮像装置内の画像処理部は、取得された複数の視点画像データを用いて距離マップ、像ずれ量マップ、デフォーカスマップ等のデータを生成する。これらのデータは撮像画像における奥行き方向の深度情報であり、例えば被写体領域の認識処理、視点変更処理、ボケ補正処理等で使用可能である。また撮像装置内の画像処理部は取得された複数の視点画像データを用いて３次元表示（立体視表示）用の画像データを生成し、表示部や記録部に出力する。

［測距装置の適用例］
本実施形態の測距装置は、例えば移動装置の外界を認識するための情報取得手段として用いることができる。図１３を参照して、測距装置を移動装置に搭載した例を説明する。駆動部により移動する移動装置としては、自動車、船舶、航空機、ドローンあるいは産業用ロボット等への適用が可能である。以下では、自動車への適用例を説明する。

図１３（Ａ）は自動車の構成の主要部を説明する概略図である。車両１２００には、測距装置１００、外界認識装置１２１０、警報装置１２２０、制御装置１２３０、車両情報取得装置１２４０が搭載される。外界認識装置１２１０は、測距装置１００が取得した距離情報と画像に基づき、外界の認識を行う。例えば、測距装置１００は車両１２００のフロント（またはリア）ウィンドシールドに近接した車内の所定位置に設置され、車両１２００の前方視野（または後方視野）の撮像を行う。外界認識装置１２１０は、測距装置１００の撮像素子１０３が備える複数の撮像用画素部１０３ａによって取得した画像から、前走車の存在を認識可能である。さらには、前走車までの距離情報に基づいて車両１２００を基準とする前走車の位置を認識することができる。

外界認識装置１２１０は、警報装置１２２０、制御装置１２３０、車両情報取得装置１２４０と接続される。外界認識装置１２１０は、車両情報取得装置１２４０から車速度、ヨーレート、および舵角等のうち、１つ以上の車両情報を移動装置の情報として取得する。

制御装置１２３０は、外界認識装置１２１０の認識結果に基づいて車両１２００の駆動部を制御する。警報装置１２２０は、外界認識装置１２１０の認識結果に基づいて警報を発する。例えば、外界認識装置１２１０の認識結果として、前走車との衝突の可能性が高い場合を想定する。制御装置１２３０は、車両１２００のブレーキをかける、アクセルを戻す、エンジン出力を抑制する等の制御を行い、前走車との衝突を回避し、または被害を軽減するために車両制御を行う。また、警報装置１２２０は警報音等を発生させる処理や、カーナビゲーション装置等の表示画面やヘッドアップディスプレイ等に警告情報を表示させる処理を行う。あるいは、警報装置１２２０はシートベルトやステアリングホィールに振動を与えること等により、車両１２００の運転者に警告を行う。

図１３（Ｂ）は、車両１２００の運転支援システムの動作例としての衝突回避処理を説明するフローチャートである。Ｓ１２０１で外界認識装置１２１０は、測距装置１００から画像を取得する。次にＳ１２０２で外界認識装置１２１０は、車両情報取得装置１２４０から車両情報を取得する。Ｓ１２０３で外界認識装置１２１０は取得された画像に対して、特徴解析を含む画像認識処理を行う。具体的には、画像におけるエッジの量や方向、濃度値、色、輝度値等の特徴量の解析処理が行われることにより、対象物が認識される。検知対象は、自動車、歩行者、自転車、車線、ガードレール、車両のブレーキランプ、標識等である。本実施形態の測距装置を適用することにより、色再現性の高いカラー画像を取得することができる。従って、車両のブレーキランプや標識といった、重要度の高い被写体を高精度に認識できる。

続くＳ１２０４では、測距装置１００が距離情報を生成する。撮像された画像内（撮像画角内）に存在する対象物の距離情報が取得される。対象物の距離情報は、測距装置１００から検知対象物までの距離に対応する、画像内の対象物（被写体）に係る深度情報である。Ｓ１２０５で外界認識装置１２１０は対象物の距離情報を取得し、予め定められた距離範囲の情報と比較する。対象物の距離情報に基づき、予め定められた距離範囲内に障害物が存在するか否かについて判定処理が行われる。具体的には、車両１２００の前方または後方の衝突可能性の判定処理が行われる。設定距離内に障害物が存在する場合、衝突の可能性が有ると判定されて、Ｓ１２０６の処理に進む。設定距離内に障害物が存在しない場合には、衝突の可能性が無いと判定され、処理を終了する。

Ｓ１２０６にて制御装置１２３０は、車両１２００の移動方向および移動速度の少なくとも１つを制御し、回避動作が行われる。例えば、制御装置１２３０は車両１２００の各駆動輪に制動力を発生させる制御信号を生成して車両制御部に出力する。エンジンの出力等を抑制する制御が行われて、車両１２００と前走車との衝突が回避され、または衝突可能性が低減される。警報装置１２２０は、音や映像、振動等で運転者等に警報する。その後、本処理を終了する。

図１３（Ｂ）の処理によって、障害物の検知を効果的に行うことができる。つまり、障害物を正確に検知して衝突の回避および被害の軽減のための車両制御を行うことが可能となる。車両１２００の運転支援システムは、測距装置１００によって取得される距離情報と画像に基づき外界を認識し、車両１２００の制御を行う。測距装置１００は、色再現性の高いカラー画像、およびノイズの影響と光学系の色収差の影響が低減された高精度な距離情報を同時に取得できる。従って、夜間走行時や、都市部にて様々な色の被写体（自動車、歩行者、標識、車両のテールランプ等）が存在する状況であっても、高精度に外界を認識することができる。外界の環境変化に対してロバストに認識を行うことで、衝突の回避および被害の低減のための車両制御を安定して行うことが可能となる。

以上に説明した測距装置によれば、撮像面位相差方式による高い色再現性を有するカラー画像と高精度な距離情報を同時に取得することができる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。図１４（Ａ）は、本実施形態に係る測距装置１０００の構成を概略的に示すブロック図である。測距装置１０００は撮像部１０１と、距離情報取得部１０５と、画像処理部１０６と、パターン投光部１００１と、投光制御部１００２を備える。

撮像部１０１は第１実施形態と同様の構成であり、撮像光学系１０２と撮像素子１０３とを備え、撮像光学系１０２の絞り位置に光学フィルタ１０４を備える。光学フィルタ１０４内の第１の領域１０４ａは、図７（Ａ）に示す第１の分光透過特性を有し、第２の領域１０４ｂと第３の領域１０４ｃは、図７（Ｂ）に示す第２の分光透過特性を有する。

パターン投光部１００１は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源と、投影光学系と、パターン形成部を備える。パターン投光部１００１の光源は、第１の波長の光を放射し、パターン形成部を介して空間的な明暗分布をもつパターンを被写体に向けて照射する。パターン形成部は、例えば、すりガラスや金属板等にパターンを形成したパターンマスクによって所定形状のパターンを形成する。投影光学系によって投影されるパターンの一例を図１４（Ｂ）に示す。

図１４（Ｂ）は、ライン状のパターン１０１０を示す。パターン投光部１００１により照射される光の波長帯域が、第２の分光透過率（図７（Ｂ）：７０２参照）の高い波長帯域と略一致するように構成される。すなわち、照射光の波長帯域はλ２よりも長く、λ６よりも短い帯域、好ましくはλ５よりも長く、λ６よりも短い帯域である。

投光制御部１００２は、空間的な明暗分布をもつパターンを、撮像部１０１の撮像と同期して照射するようにパターン投光部１００１を制御する。すなわち、本実施形態の測距装置１０００は、被写体にパターン光を投影している状態で撮像された画像を取得する。パターン投光部１００１から第１の波長のパターン光が投影された被写体からの反射光は、撮像光学系１０２を介して撮像素子１０３が受光して画像信号に光電変換する。

撮像素子１０３における複数の撮像用画素部１０３ａは、光学フィルタ１０４内の第１の領域１０４ａを通過した光を受光する。この光はλ１からλ２の波長帯域内の撮像用光束に相当する。光源が放射する光の波長、つまり第１の波長は、λ２よりも長波長であるので、パターン投光部１００１から照射されるパターン光が、複数の撮像用画素部１０３ａにより取得される画像に及ぼす影響は小さい。

一方、測距用画素部１０３ｂが備える２つの光電変換部は、光学フィルタ１０４内の第２の領域１０４ｂと第３の領域１０４ｃを通過した光をそれぞれ受光する。この光はλ５からλ６の波長帯域内の、一対の測距用光束に相当する。光源が放射する光の波長（第１の波長）は、例えばλ５からλ６までの波長帯域内であり、複数の測距用画素部１０３ｂは、被写体にパターン光が投影された場合の一対の画像を取得する。

複数の測距用画素部１０３ｂによって取得される一対の画像中に、第１の方向に沿った輝度変化の小さい領域があると、測距誤差の原因となり得る。これは、図５（Ａ）のＳ３に示す視差量の検出処理時に対応点を精度よく検出できなくなるからである。本実施形態では、パターン投光部１００１が投光するパターン光の波長を第１の波長とすることで、パターン光が投影された被写体の画像を、複数の測距用画素部１０３ｂによって取得できる。その結果、第１の方向に沿う輝度変化が小さくなる領域を低減することにより、測距誤差を低減できる。

撮像部１０１の周囲環境を、機械学習等を用いて認識する際には、取得画像内の空間的な輝度変化が被写体の反射率に起因していることが望ましい。すなわち、空間的に均一な照明光が被写体に照射された場合の画像を取得することで認識精度が高まる。本実施形態の測距装置は、パターン投光部１００１が第１の波長のパターン光を照射しており、さらに光学フィルタ１０４内の第１の領域１０４ａにおける第１の波長の透過率が低い。その結果、複数の撮像用画素部１０３ａにより取得される画像に関して、パターン投光部１００１によるパターン光の影響が低減される。よって、被写体の輝度や色を忠実に再現可能な画像と、被写体の輝度変化に依存しない高精度な距離情報を同時に取得することができる。

図１４（Ｂ）に示すライン状のパターン１０１０は、パターン投光部１００１が形成する明暗パターンの一例であり、これとは異なる明暗パターンであっても構わない。投影されるパターンは、第１の方向と垂直な方向に明領域と暗領域が延びるライン状のパターンであることが好ましい。その理由は、投影パターンが第１の方向と垂直な方向に対して傾くと、距離情報の取得に用いる一対の画像中に含まれる第１の方向の空間周波数成分が減少して、視差量の算出精度が低下するからである。第１の方向と投影パターンの明領域が延びる方向とが成す角度は６０度以上、さらには８０度以上であることが好ましい。

パターン投光部１００１が投光する光は、第１の波長を中心とした所定の波長幅を有していてもよい。その場合、光の波長幅の下限と上限が、λ５からλ６の範囲内に収まることが望ましい。なお、本実施形態の光学フィルタ１０４における第２の分光透過率が、図２（Ｂ）に示す分光透過特性を有する場合には、パターン投光部１００１が投光する光の波長である第１の波長は、λ２からλ４の波長帯域内であればよい。

［第２実施形態の適用例］
本実施形態の測距装置は、生産作業用のロボット装置に適用可能である。図１５は、本実施形態の測距装置を備えたロボット装置の説明図である。ロボット装置１１００は、架台１１０１とロボットアーム１１０２を備える多関節型ロボットである。ロボットアーム１１０２の先端部にはロボットハンド１１０３が取り付けられている。ロボットハンド１１０３は、ワーク１１０４を把持して他の部品に取り付ける作業を行うための末端効果器である。

本実施形態の測距装置１０００は、ロボットアーム１１０２の先端部近傍の位置にて、ワーク１１０４が撮影画角内に収まるように固定されている。制御装置１１０５は、測距装置１０００、ロボットアーム１１０２、ロボットハンド１１０３等を制御する。制御装置１１０５はコンピュータとハードウェアおよび回路により構成され、ソフトウェア処理を実行する。制御装置１１０５は演算部および制御部を有する。演算部は、測距装置１０００が取得した距離情報および画像に基づき、ワーク１１０４の位置姿勢の推定や、ロボットアーム１１０２およびロボットハンド１１０３の駆動量の算出を行う。制御部は、測距装置１０００に対する計測指令を送信するタイミングや、演算部による演算結果に基づいてロボットアーム１１０２およびロボットハンド１１０３の駆動制御を行う。

ロボット装置１１００を用いた生産工程では、架台１１０１上に配置されたワーク１１０４をロボットハンド１１０３で把持するために、ロボットアーム１１０２に対して制御装置１１０５が通信路を介して移動指令を送信する。ワーク１１０４の付近にロボットハンド１１０３を移動させる制御が行われる。このとき、ワーク１１０４の位置姿勢は不定であるため、ロボットハンド１１０３でワーク１１０４を把持する前に、測距装置１０００はワーク１１０４を撮影し、画像と距離情報を取得する。

制御装置１１０５内の演算部は測距装置１０００から取得した画像と距離情報に基づき、ワーク１１０４の位置姿勢の演算を行う。演算部は更にワーク１１０４の位置姿勢情報に基づいて、ロボットアーム１１０２の移動量を演算する。制御装置１１０５内の制御部は演算後の移動量のデータを取得し、ロボットアーム１１０２に対して、演算後の移動量に対応する移動指令を送信する。これにより、ロボットアーム１１０２はワーク１１０４の把持に適した位置に移動する。ロボットアーム１１０２の移動の完了後に制御部は、ロボットハンド１１０３に対して手指部（把持部）を閉じるように指令を送信する。ロボットハンド１１０３は指令にしたがってワーク１１０４を把持する。制御部は、ロボットハンド１１０３が把持したワーク１１０４を、不図示の部品に組み付けるために、ロボットアーム１１０２を所定の位置に移動させ、移動後にロボットハンド１１０３の手指部を開く指令を送信する。これらの作業を繰り返し行うことで、ロボット装置１１００による組み付け作業が行われる。

一般的なワーク１１０４は表面に模様が無いことが多い。本実施形態では、パターン投光部１００１がパターン光を投影してワーク１１０４の表面に明暗の縞模様の投影光を重畳した状態で撮影を行うことで、高精度な測距が可能となる。さらに、本実施形態では、撮像光学系１０２の色収差の影響を低減することで、ワーク１１０４の色によらず高精度な測距が可能となる。

本実施形態の測距装置１０００は、ワーク１１０４に投影されるパターン光の影響を低減した画像を取得することができる。その結果、１回の撮影で、画像から検出したワーク１１０４の端部の画像とワーク１１０４の距離情報を取得できる。取得された画像と距離情報を、制御装置１１０５内に格納されているワークの形状情報と照合することで、ワーク１１０４の位置姿勢を高精度で、且つ少ない工数で算出できる。

本実施形態ではパターン投光部１００１の光源としてＬＥＤを例示したが、これに限定されることなく、ＬＤ（Ｌａｓｅｒ Ｄｉｏｄｅ）を用いてもよい。また、パターン形成部に反射型もしくは透過型のＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）、またはＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）を用いてもよい。被写体の大きさや距離に応じて投影パターンの周期を適時に変更することができ、状況に応じてより高精度な測距が可能となる。

本発明の技術的範囲は、前記測距装置の構成要素を任意に組み合わせた実施例を包含し、また測距装置の他に、コンピュータプログラムを包含する。コンピュータプログラムは、距離または視差量の算出のために、コンピュータに所定の処理を実行させる。例えば、コンピュータプログラムは、測距装置またはそれを備えるデジタルカメラ等の撮像装置にインストールされ、コンピュータが実行することで上記の機能を実現し、より高速で高精度な距離測定を可能にする。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮像部
１０２ 撮像光学系
１０３ 撮像素子
１０４ 光学フィルタ
１０５ 距離情報取得部
１０６ 画像処理部

Claims (15)

1. 分光透過特性が異なる複数の領域を有する光学フィルタと、
   撮像素子を構成する第１の画素部が備える第１の光電変換部並びに前記撮像素子を構成する第２の画素部が備える第２および第３の光電変換部と、
   前記第２および第３の光電変換部がそれぞれ出力する信号に基づく画像データの視差に対応する距離情報を取得する取得手段と、を備え、
   前記光学フィルタは、第１の分光透過特性を有する第１の領域と、前記第１の分光透過特性に比べて波長の長い光を透過する第２の分光透過特性を有する第２および第３の領域と、を有し、
   前記第１の光電変換部は、前記第１の領域を通過した光を受光して光電変換を行い、前記第２および第３の光電変換部は、前記第２および第３の領域をそれぞれ通過した光を受光して光電変換を行い、
   前記第１の領域は、第１の波長から第２の波長までの光を透過する前記第１の分光透過特性を有し、前記第２および第３の領域は、第３の波長から第４の波長までの光を透過する前記第２の分光透過特性を有しており、前記第１の波長は前記第３の波長よりも短く、前記第２の波長は前記第４の波長よりも短い
   ことを特徴とする測距装置。
2. 分光透過特性が異なる複数の領域を有する光学フィルタと、
   撮像素子を構成する画素部が備える第１、第２、第３の光電変換部と、
   前記第２および第３の光電変換部がそれぞれ出力する信号に基づく画像データの視差に対応する距離情報を取得する取得手段と、を備え、
   前記光学フィルタは、第１の分光透過特性を有する第１の領域と、前記第１の分光透過特性に比べて波長の長い光を透過する第２の分光透過特性を有する第２および第３の領域と、を有し、
   前記第１の光電変換部は、前記第１の領域を通過した光を受光して光電変換を行い、前記第２および第３の光電変換部は、前記第２および第３の領域をそれぞれ通過した光を受光して光電変換を行い、
   前記第１の領域は、第１の波長から第２の波長までの光を透過する前記第１の分光透過特性を有し、前記第２および第３の領域は、第３の波長から第４の波長までの光を透過する前記第２の分光透過特性を有しており、前記第１の波長は前記第３の波長よりも短く、前記第２の波長は前記第４の波長よりも短い
   ことを特徴とする測距装置。
3. 分光透過特性が異なる複数の領域を有する光学フィルタと、
   撮像素子を構成する第１の画素部が備える第１の光電変換部並びに前記撮像素子を構成する第２の画素部が備える第２および第３の光電変換部と、
   前記第２および第３の光電変換部がそれぞれ出力する信号に基づく画像データの視差に対応する距離情報を取得する取得手段と、を備え、
   前記光学フィルタは、第１の分光透過特性を有する第１の領域と、前記第１の分光透過特性に比べて波長の長い光を透過する第２の分光透過特性を有する第２および第３の領域と、を有し、
   前記第１の光電変換部は、前記第１の領域を通過した光を受光して光電変換を行い、前記第２および第３の光電変換部は、前記第２および第３の領域をそれぞれ通過した光を受光して光電変換を行い、
   前記第１の領域は、第１の波長から第２の波長までの光を透過する前記第１の分光透過特性を有し、前記第２および第３の領域は、第３の波長から第４の波長までの光を透過する前記第２の分光透過特性を有しており、前記第２の波長は前記第３の波長よりも短い
   ことを特徴とする測距装置。
4. 分光透過特性が異なる複数の領域を有する光学フィルタと、
   撮像素子を構成する画素部が備える第１、第２、第３の光電変換部と、
   前記第２および第３の光電変換部がそれぞれ出力する信号に基づく画像データの視差に対応する距離情報を取得する取得手段と、を備え、
   前記光学フィルタは、第１の分光透過特性を有する第１の領域と、前記第１の分光透過特性に比べて波長の長い光を透過する第２の分光透過特性を有する第２および第３の領域と、を有し、
   前記第１の光電変換部は、前記第１の領域を通過した光を受光して光電変換を行い、前記第２および第３の光電変換部は、前記第２および第３の領域をそれぞれ通過した光を受光して光電変換を行い、
   前記第１の領域は、第１の波長から第２の波長までの光を透過する前記第１の分光透過特性を有し、前記第２および第３の領域は、第３の波長から第４の波長までの光を透過する前記第２の分光透過特性を有しており、前記第２の波長は前記第３の波長よりも短い
   ことを特徴とする測距装置。
5. 前記第３の波長は４５０ｎｍ以上であり、または前記第４の波長は１１００ｎｍ以下である
   ことを特徴とする請求項１乃至４のいずれか１項に記載の測距装置。
6. 前記光学フィルタは、撮像光学系を構成する第１のレンズと第２のレンズとの間の絞り位置に配置される
   ことを特徴とする請求項１乃至５のいずれか１項に記載の測距装置。
7. 前記第１の光電変換部の出力から撮像用の第１の画像データを生成し、前記第２および第３の光電変換部の出力から第２および第３の画像データをそれぞれ生成する生成手段を備え、
   前記取得手段は、前記第２の画像データと前記第３の画像データとの視差に対応する距離情報を取得する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の測距装置。
8. 分光透過特性が異なる複数の領域を有する光学フィルタと、
   撮像素子を構成する第１の画素部が備える第１のカラーフィルタ並びに第１および第２の光電変換部と、
   撮像素子を構成する第２の画素部が備える第２のカラーフィルタ並びに第３および第４の光電変換部と、
   前記第３および第４の光電変換部がそれぞれ出力する信号に基づく画像データの視差に対応する距離情報を取得する取得手段と、を備え、
   前記光学フィルタは、第１の波長から第２の波長までの光を透過する第１の分光透過特性を有する第１の領域と、前記第１の波長よりも長い第３の波長から前記第２の波長よりも長い第４の波長までの光を透過する第２の分光透過特性を有する第２および第３の領域と、を有し、
   前記第１のカラーフィルタは当該カラーフィルタの色に対応する分光透過特性を有し、前記第２のカラーフィルタは、前記第３の波長から前記第４の波長までの光を透過する分光透過特性を有しており、
   前記第１および第２の光電変換部は、前記第１の領域および第１のカラーフィルタを通過した光を受光して光電変換を行い、前記第３の光電変換部は、前記第２の領域および第２のカラーフィルタを通過した光を受光して光電変換を行い、前記第４の光電変換部は、前記第３の領域および第２のカラーフィルタを通過した光を受光して光電変換を行う
   ことを特徴とする測距装置。
9. 撮像素子を構成する第１の画素部が備える第１のカラーフィルタおよび第１の光電変換部と、
   撮像素子を構成する第２の画素部が備える第２のカラーフィルタ並びに第２および第３の光電変換部と、
   前記第２および第３の光電変換部がそれぞれ出力する信号に基づく画像データの視差に対応する距離情報を取得する取得手段と、を備え、
   前記第１のカラーフィルタは当該カラーフィルタの色に対応する第１の分光透過特性を有し、前記第２のカラーフィルタは、前記第１の分光透過特性に比べて波長の長い光を透過する第２の分光透過特性を有し、
   前記第１の光電変換部は、前記第１のカラーフィルタを通過した光を受光して光電変換を行い、前記第２および第３の光電変換部は、前記第２のカラーフィルタを通過した光を受光して光電変換を行い、
   前記第１のカラーフィルタは、第１の波長から第２の波長までの光を透過する前記第１の分光透過特性を有し、前記第２のカラーフィルタは、第３の波長から第４の波長までの光を透過する前記第２の分光透過特性を有しており、前記第１の波長は前記第３の波長よりも短く、前記第２の波長は前記第４の波長よりも短い
   ことを特徴とする測距装置。
10. 撮像素子を構成する第１の画素部が備える第１の光電変換部と、
    撮像素子を構成する第２の画素部が備える第２および第３の光電変換部と、
    前記第２および第３の光電変換部がそれぞれ出力する信号に基づく画像データの視差に対応する距離情報を取得する取得手段と、を備え、
    前記第１の光電変換部は、撮像光学系の射出瞳における第１の領域を通過した光を受光して光電変換を行い、前記第２および第３の光電変換部は、前記撮像光学系の射出瞳における第２および第３の領域をそれぞれ通過した光を受光して光電変換を行い、
    前記第１の画素部は、第１の波長から第２の波長までの帯域にて高い分光感度を有し、前記第２および第３の画素部は、前記第１の波長よりも長い第３の波長から前記第２の波長よりも長い第４の波長までの帯域にて高い分光感度を有し、
    前記第１の領域は、前記第１の波長から前記第２の波長までの光を透過する第１の分光透過特性を有し、前記第２および第３の領域は、前記第３の波長から前記第４の波長までの光を透過する第２の分光透過特性を有しており、前記第１の波長は前記第３の波長よりも短く、前記第２の波長は前記第４の波長よりも短い
    ことを特徴とする測距装置。
11. 空間的な明暗分布を有するパターンの光を被写体に照射する投光手段をさらに備え、
    前記投光手段が照射する光の波長は、前記第２の波長よりも長く前記第４の波長よりも短い
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の測距装置。
12. 請求項１乃至１１のいずれか１項に記載の測距装置と、
    前記取得手段により取得される前記距離情報またはデフォーカス量を用いて撮像光学系の焦点調節の制御を行う制御手段と、を備える
    ことを特徴とする撮像装置。
13. 請求項１乃至１１のいずれか１項に記載の測距装置と、
    前記測距装置により取得された画像および前記距離情報により移動装置の駆動部を制御する制御装置と、を備える
    ことを特徴とする移動装置。
14. 請求項１乃至１１のいずれか１項に記載の測距装置と、
    ロボットアーム、ロボットハンド、制御装置を備え、
    前記制御装置は、前記測距装置により取得された画像および前記距離情報を用いて対象物の位置姿勢を算出して前記ロボットアームまたはロボットハンドを制御する
    ことを特徴とするロボット装置。
15. コンピュータを、請求項１乃至１４のいずれか１項に記載の前記取得手段として機能させることを特徴とするプログラム。
    

Images