JP7132501B2 - 測距カメラ - Google Patents

Description

本発明は、一般に、被写体までの距離を測定するための測距カメラに関し、より具体的には、被写体までの距離に応じた被写体像の倍率の変化が互いに異なる少なくとも２つの光学系によって形成された少なくとも２つの被写体像間の像倍比に基づいて、被写体までの距離を測定する測距カメラに関する。

従来より、被写体を撮像することにより、被写体までの距離を測定する測距カメラが提案されている。このような測距カメラとしては、被写体からの光を集光し、被写体像を形成するための光学系と、該光学系によって形成された被写体像を画像に変換するための撮像素子とを少なくとも２対備えるステレオカメラ方式の測距カメラが知られている（例えば、特許文献１参照）。

特許文献１が開示するようなステレオカメラ方式の測距カメラは、光軸方向に対して垂直な方向に互いにシフトして配置された２つの光学系によって形成された２つの被写体像間の並進視差（光軸方向に対して垂直な方向の視差）を算出し、この並進視差の値に基づいて、被写体までの距離を算出することができる。

このようなステレオカメラ方式の測距カメラでは、被写体像間の並進視差が小さいと、被写体までの距離を正確に算出することができない。よって、被写体像間の並進視差を十分に大きくするために、２つの光学系を光軸方向に対して垂直な方向に大きく離間して配置する必要がある。このことは、測距カメラのサイズを小さくすることを困難としている。

また、被写体が近距離に位置していると、得られる画像の視野の関係から、並進視差を算出するための被写体像の特徴点が一方の画像内には写っているが、他方の画像内では写っていないという状況が発生してしまう。この状況を避けるためには、２つの光学系を近接して配置する必要がある。しかしながら、２つの光学系を近接して配置すると被写体像間の並進視差が小さくなってしまい、測距の精度が低下する。そのため、被写体像間の並進視差に基づく測距を用いて、近距離に位置する被写体までの距離を正確に算出することは困難である。

このような問題に対し、本発明者らによって、２つの被写体像間の像倍比（倍率の比）に基づいて、被写体までの距離を算出する像倍比方式の測距カメラが提案されている。像倍比方式の測距カメラでは、被写体までの距離に応じた被写体像の倍率の変化が互いに異なる２つの光学系が用いられ、該２つの光学系によって形成された２つの被写体像間の像倍比（倍率の比）に基づいて、被写体までの距離が算出される（特許文献２参照）。

このような像倍比方式の測距カメラでは、被写体までの距離を算出するために被写体像間の並進視差が利用されないため、２つの光学系を近接して配置しても、被写体までの距離を正確に算出することができる。そのため、測距カメラのサイズを小さくすることができる。また、被写体像間の像倍比は、被写体が近距離に位置する場合であっても正確に取得することが可能なので、像倍比方式の測距カメラは、近距離に位置する被写体までの距離を正確に算出することができる。

被写体像間の像倍比は、２つの被写体像のサイズの比から算出される。被写体像のサイズを取得するためには、被写体像を撮像することによって得られた画像中の被写体像の複数の特徴点（例えば、測距対象の高さ方向または幅方向の両端部）を検出し、画像中の該特徴点間の距離を測定することにより取得される。また、被写体像間の像倍比を取得するためには、２つの被写体像の同じ部分のサイズを取得する必要がある。そのため、一方の被写体像の複数の特徴点を検出した後、検出された一方の被写体像の複数の特徴点にそれぞれ対応する他方の被写体像の複数の特徴点を検出するための対応特徴点検出処理を実行する必要がある。

このような対応特徴点検出処理は、他方の被写体像を撮像することによって取得された画像の全領域を探索することにより実行されるのが一般的である。しかしながら、画像の全領域の探索は、多くの処理時間を要する作業であり、対応特徴点検出処理に要する処理時間が長くなってしまう。その結果、被写体像間の像倍比に基づいて被写体までの距離を算出するための処理時間が、長くなってしまうという問題があった。

特開２０１２－２６８４１号公報 特願２０１７－２４１８９６号

本発明は、上記従来の問題点を鑑みたものであり、その目的は、被写体像間の像倍比に基づいて被写体までの距離を算出するための処理時間を短縮可能な測距カメラを提供することにある。

このような目的は、以下の（１）～（６）の本発明により達成される。
（１）被写体からの光を集光し、第１の被写体像を形成するための第１の光学系と、前記第１の被写体像を撮像することにより、前記第１の被写体像を含む第１の画像を取得するための第１の撮像素子とを有する第１の撮像系と、
前記第１の光学系に対して、前記第１の光学系の光軸方向に対して垂直な方向にシフトして配置され、前記被写体からの前記光を集光し、第２の被写体像を形成するための第２の光学系と、前記第２の被写体像を撮像することにより、前記第２の被写体像を含む第２の画像を取得するための第２の撮像素子とを有する第２の撮像系と、
前記第１の画像中の前記第１の被写体像の複数の特徴点を検出し、前記第１の被写体像の前記複数の特徴点間の距離を測定することにより、前記第１の被写体像のサイズを取得し、さらに、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の前記第２の被写体像の複数の特徴点を検出し、前記第２の被写体像の前記複数の特徴点間の距離を測定することにより、前記第２の被写体像のサイズを取得するためのサイズ取得部と、
前記サイズ取得部によって取得された前記第１の被写体像の前記サイズと前記第２の被写体像の前記サイズとの比として得られる前記第１の被写体像の倍率と前記第２の被写体像の倍率との像倍比に基づいて、前記被写体までの距離を算出するための距離算出部と、を備え、
前記サイズ取得部は、前記第１の画像に対応する第１の撮影領域と前記第２の画像に対応する第２の撮影領域とが重複し得る前記第２の画像の探索領域中においてのみ、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する複数のエピポーラ線上を探索することにより、前記第２の画像中の前記第２の被写体像の前記複数の特徴点を検出することを特徴とする測距カメラ。

（２）前記第１の撮像系および前記第２の撮像系は、前記第１の撮像系および前記第２の撮像系の配置および特性から定まる測距開始距離と等しいまたはそれより離れた距離に位置する前記被写体を撮影したとき、前記第１の画像に対応する前記第１の撮影領域の全てが前記第２の画像に対応する前記第２の撮影領域内に収まるよう、構成されている上記（１）に記載の測距カメラ。

（３）前記第１の光学系の焦点距離は、前記第２の光学系の焦点距離より長い上記（２）に記載の測距カメラ。

（４）前記サイズ取得部は、前記第１の撮像系および前記第２の撮像系の前記配置および前記特性に基づいて、前記第１の画像に対応する前記第１の撮影領域と前記第２の画像に対応する前記第２の撮影領域とが重複し得る前記第２の画像の前記探索領域を特定するよう構成されている上記（２）または（３）に記載の測距カメラ。

（５）前記サイズ取得部は、前記第１の被写体像の前記複数の特徴点のそれぞれの前記第１の画像中の位置を特定し、さらに、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の前記第２の被写体像の前記複数の特徴点を検出する際に、前記第１の被写体像の前記複数の特徴点のそれぞれの前記第１の画像中の前記位置に基づいて、前記第２の画像の前記探索領域を限定するよう構成されている上記（１）ないし（４）のいずれかに記載の測距カメラ。

（６）前記サイズ取得部は、前記第１の被写体像の前記複数の特徴点のそれぞれが前記第１の画像の中央より左側領域に位置しているか、前記第１の画像の前記中央より右側領域に位置しているかを特定し、さらに、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の前記第２の被写体像の前記複数の特徴点を検出する際に、前記第１の被写体像の前記複数の特徴点のそれぞれが前記第１の画像の前記左側領域に位置しているか、前記第１の画像の前記右側領域に位置しているかに基づいて、前記第２の画像の前記探索領域を限定するよう構成されている上記（５）に記載の測距カメラ。

本発明の測距カメラにおいては、第１の撮像系によって取得された第１の画像中の第１の被写体像の複数の特徴点にそれぞれ対応する第２の撮像系によって取得された第２の画像中の第２の被写体像の複数の特徴点を検出するための対応特徴点検出処理において、エピポーラ幾何に基づくエピポーラ線を利用した特徴点の探索が実行される。そのため、被写体像間の像倍比に基づいて被写体までの距離を算出するための処理時間を短縮することができる。

さらに、本発明の測距カメラにおいては、対応特徴点検出処理において、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る第２の画像中の探索領域においてのみ、エピポーラ線上の探索が実行される。そのため、本発明の測距カメラにおいては、第２の画像の領域全てにおいて、エピポーラ線上の探索が実行される場合と比較して、第２の画像中の探索領域が限定されている。このような処理により、被写体像間の像倍比に基づいて被写体までの距離を算出するための処理時間をさらに短縮することができる。

本発明の第１実施形態に係る測距カメラを概略的に示すブロック図である。 図１に示す測距カメラによって導出される第２の画像中のエピポーラ線の一例を示す概略図である。 図１に示す測距カメラの第１の撮像系と第２の撮像系の配置の１例と、被写体までの距離に応じた、第１の画像中の特徴点に対応する第２の画像中の特徴点の位置の変化を説明するための図である。 図３に示す第１の撮像系と第２の撮像系の配置の例において、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る範囲を説明するための図である。 図１に示す測距カメラの第１の撮像系と第２の撮像系の配置の別の１例と、被写体までの距離に応じた、第１の画像中の特徴点に対応する第２の画像中の特徴点の位置の変化を説明するための図である。 図５に示す第１の撮像系と第２の撮像系の配置の例において、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る範囲を説明するための図である。 本発明の第１実施形態に係る測距カメラによって実行される測距方法を説明するためのフローチャートである。 図７の測距方法における対応特徴点検出処理の詳細を示すフローチャートである。 本発明の第２実施形態にかかる測距カメラの第１の撮像系と第２の撮像系の配置の１例と、被写体までの距離に応じた、第１の画像中の特徴点に対応する第２の画像中の特徴点の位置の変化を説明するための図である。 図９に示す第１の撮像系と第２の撮像系の配置の例において、第１の画像に対応する第１の撮影領域の左側領域と第２の画像に対応する第２の撮影領域とが重複し得る範囲を説明するための図である。 図９に示す第１の撮像系と第２の撮像系の配置の例において、被写体までの距離に応じた、第１の画像中の特徴点に対応する第２の画像中の特徴点の位置の変化を説明するための別の図である。 図９に示す第１の撮像系と第２の撮像系の配置の例において、第１の画像に対応する第１の撮影領域の右側領域と第２の画像に対応する第２の撮影領域とが重複し得る範囲を説明するための図である。 第１の撮像系と第２の撮像系の配置の別の例において、第１の画像に対応する第１の撮影領域の左側領域と第２の画像に対応する第２の撮影領域とが重複し得る範囲を説明するための図である。 第１の撮像系と第２の撮像系の配置の別の例において、第１の画像に対応する第１の撮影領域の右側領域と第２の画像に対応する第２の撮影領域とが重複し得る範囲を説明するための図である。

＜第１実施形態＞
最初に、図１～図６を参照して、本発明の第１実施形態に係る測距カメラを詳述する。図１は、本発明の第１実施形態に係る測距カメラを概略的に示すブロック図である。図２は、図１に示す測距カメラによって導出される第２の画像中のエピポーラ線の一例を示す概略図である。図３は、図１に示す測距カメラの第１の撮像系と第２の撮像系の配置の１例と、被写体までの距離に応じた、第１の画像中の特徴点に対応する第２の画像中の特徴点の位置の変化を説明するための図である。図４は、図３に示す第１の撮像系と第２の撮像系の配置の例において、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る範囲を説明するための図である。図５は、図１に示す測距カメラの第１の撮像系と第２の撮像系の配置の別の１例と、被写体までの距離に応じた、第１の画像中の特徴点に対応する第２の画像中の特徴点の位置の変化を説明するための図である。図６は、図５に示す第１の撮像系と第２の撮像系の配置の例において、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る範囲を説明するための図である。

図１に示す本発明の第１実施形態に係る測距カメラ１は、被写体１００を撮像することによって、測距カメラ１から被写体１００までの距離（被写体距離）を測定する機能を有している。より具体的には、測距カメラ１は、被写体１００までの距離に応じた被写体像の倍率の変化が互いに異なる少なくとも２つの光学系によって形成された少なくとも２つの被写体像の像倍比ＭＲに基づいて、測距カメラ１から被写体１００までの距離を測定する機能を有している。なお、測距カメラ１は、被写体１００までの距離に応じた被写体像の倍率の変化が互いに異なる少なくとも２つの光学系を備えているが、説明の簡略化のため、測距カメラ１は、被写体１００までの距離に応じた被写体像の倍率の変化が互いに異なる第１の撮像系ＩＳ１の第１の光学系ＯＳ１と、第２の撮像系ＩＳ２の第２の光学系ＯＳ２と、を備えているものとして以下に詳述される。

図１に示す測距カメラ１は、測距カメラ１の制御を行う制御部２と、被写体１００からの光を集光し、第１の被写体像を形成するための第１の光学系ＯＳ１と、第１の被写体像を撮像し、第１の被写体像を含む第１の画像を取得するための第１の撮像素子Ｓ１とを有する第１の撮像系ＩＳ１と、第１の光学系ＯＳ１に対して、第１の光学系ＯＳ１の光軸方向に対して垂直な方向に距離Ｐだけシフトして配置され、被写体１００からの光を集光し、第２の被写体像を形成するための第２の光学系ＯＳ２と、第２の被写体像を撮像し、第２の被写体像を含む第２の画像を取得するための第２の撮像素子Ｓ２とを有する第２の撮像系ＩＳ２と、第１の被写体像のサイズおよび第２の被写体像のサイズを取得するためのサイズ取得部３と、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲと、被写体１００までの距離とを関連付ける関連付情報を記憶している関連付情報記憶部４と、サイズ取得部３によって取得された第１の被写体像のサイズおよび第２の被写体像のサイズの比として得られる第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲに基づいて、被写体１００までの距離を算出するための距離算出部５と、第１の撮像素子Ｓ１によって取得された第１の画像または第２の撮像素子Ｓ２によって取得された第２の画像と、距離算出部５によって算出された被写体１００までの距離とに基づいて、被写体１００の３次元画像を生成するための３次元画像生成部６と、液晶パネル等の任意の情報を表示するための表示部７と、使用者による操作を入力するための操作部８と、外部デバイスとの通信を実行するための通信部９と、測距カメラ１の各コンポーネント間のデータの授受を実行するためのデータバス１０と、を備えている。

本発明の測距カメラ１において、第１の撮像系ＩＳ１の第１の光学系ＯＳ１および第２の撮像系ＩＳ２の第２の光学系ＯＳ２は、被写体１００を第１の撮像系ＩＳ１によって撮像することによって取得される第１の画像に含まれる第１の被写体像の被写体１００までの距離に応じた倍率ｍ_１の変化が、被写体１００を第２の撮像系ＩＳ２によって撮像することによって取得される第２の画像に含まれる第２の被写体像の被写体１００までの距離に応じた倍率ｍ_２の変化と異なるように、構成および配置されている。

被写体１００までの距離に応じた第１の被写体像の倍率ｍ_１の変化と、被写体１００までの距離に応じた第２の被写体像の倍率ｍ_２の変化が異なるようになる条件は、第１の光学系ＯＳ１および第２の光学系ＯＳ２が、以下の３つの条件の少なくとも１つを満たされるよう、構成および配置されていることである。

（第１の条件）第１の光学系ＯＳ１の焦点距離ｆ_１と、第２の光学系ＯＳ２の焦点距離ｆ_２とが、互いに異なる（ｆ_１≠ｆ_２）
（第２の条件）第１の光学系ＯＳ１の射出瞳から、被写体１００が無限遠にある場合の第１の被写体像の結像位置までの距離ＥＰ_１と、第２の光学系ＯＳ２の射出瞳から、被写体１００が無限遠にある場合の第２の被写体像の結像位置までの距離ＥＰ_２とが、互いに異なる（ＥＰ_１≠ＥＰ_２）
（第３の条件）第１の光学系ＯＳ１の前側主点と、第２の光学系ＯＳ２の前側主点との間に奥行方向（光軸方向）の差（奥行視差）Ｄが存在する（Ｄ≠０）

加えて、上記第１～第３の条件の少なくとも１つを満たしていたとしても、ｆ_１≠ｆ_２、ＥＰ_１≠ＥＰ_２、Ｄ＝０、ｆ_１＝ＥＰ_１かつｆ_２＝ＥＰ_２という条件を満たす特別な場合には、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２の比である像倍比ＭＲが被写体１００までの距離の関数として成立しない。そのため、第１の光学系ＯＳ１および第２の光学系ＯＳ２は、像倍比ＭＲが被写体１００までの距離の関数として成立しているという第４の条件をさらに満たすよう構成されている。

第１の光学系ＯＳ１および第２の光学系ＯＳ２が上述の条件を満たす場合に、被写体１００までの距離に応じた第１の被写体像の倍率ｍ_１の変化と、被写体１００までの距離に応じた第２の被写体像の倍率ｍ_２の変化が異なるようになる原理、および、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２の比である像倍比ＭＲに基づいて被写体１００までの距離を算出するための原理については、本発明者らによって既に出願されている上述の特許文献２（特願２０１７－２４１８９６号）に詳述されているので、説明を省略する。該特許文献２の開示内容の全てが参照によりここに援用される。

本発明の測距カメラ１において、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２は、さらに、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の配置および特性から定まる測距開始（ＭＳ：Measurement Start）距離と等しいまたはそれより離れた距離に位置する被写体１００を撮影したとき、第１の画像に対応する第１の撮影領域の全てが第２の画像に対応する第２の撮影領域内に収まるよう、構成および配置されている。

具体的には、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２は、第１の撮像系ＩＳ１から測距開始距離と等しいまたはそれより離れた距離に位置する被写体１００を、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２を用いて撮像した場合に、第１の撮像系ＩＳ１によって取得される第１の画像に対応する第１の撮影領域の全てが、第２の撮像系ＩＳ２によって取得される第２の画像に対応する第２の撮影領域内に包含されるよう、構成および配置されている。

例えば、図２には、第１の画像と第２の画像の例が示されている。図２において、第１の画像に対応する第１の撮影領域の全てが、第２の画像に対応する第２の撮影領域に包含されている。ここで、「第１の画像に対応する第１の撮影領域」との文言は、第１の撮像系ＩＳ１によって実世界を撮影し、第１の画像を取得した際に、第１の画像の全領域に対応する実世界の領域を意味している。同様に、「第２の画像に対応する第２の撮影領域」との文言は、第２の撮像系ＩＳ２によって実世界を撮影し、第２の画像を取得した際に、第２の画像の全領域に対応する実世界の領域を意味している。例えば、図２の例では、第１の画像に対応する第１の撮影領域とは、第１の画像によって表される黒丸、黒四角、黒三角を含む一定の領域に対応する実世界の領域をいう。同様に、図２の例では、第２の画像に対応する第２の撮影領域とは、第２の画像によって表される領域に対応する実世界の領域をいう。図２の例では、第１の撮影領域は、第２の撮影領域よりも狭く、第１の撮影領域の全てが第２の撮影領域に包含されている。

図２に示す第１の画像と第２の画像の１例では、第１の画像に対応する第１の撮影領域が第２の画像に対応する第２の撮影領域よりも狭い。すなわち、第１の画像を取得するために用いられた第１の撮像系ＩＳ１の画角は、第２の画像を取得するために用いられた第２の撮像系ＩＳ２の画角よりも、狭い。さらに、第１の撮像系ＩＳ１の撮影倍率は、第２の撮像系ＩＳ２の撮影倍率よりも大きい。

第１の撮像系ＩＳ１から測距開始距離と等しいまたはそれより離れた距離に位置する被写体１００を、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２を用いて撮像した場合に、第１の撮像系ＩＳ１によって取得される第１の画像に対応する第１の撮影領域の全てが、第２の撮像系ＩＳ２によって取得される第１の画像に対応する第２の撮影領域内に包含されるという要件は、第１の撮像系ＩＳ１の第１の撮像素子Ｓ１のサイズと第２の撮像系ＩＳ２の第２の撮像素子Ｓ２のサイズとが等しい場合、第１の光学系ＯＳ１および第２の光学系ＯＳ２を以下の条件を満たすように構成することにより実現される。

（第５の条件）第１の光学系ＯＳ１の焦点距離ｆ_１が第２の光学系ＯＳ２の焦点距離ｆ_２よりも長い（ｆ_１＞ｆ_２）

第１の撮像系ＩＳ１の第１の撮像素子Ｓ１のサイズと第２の撮像系ＩＳ２の第２の撮像素子Ｓ２のサイズとが等しく、上述の第５の条件が満たされる場合、第１の撮像系ＩＳ１の画角が、第２の撮像系ＩＳ２の画角よりも狭くなる。さらに、第１の撮像系ＩＳ１の撮影倍率は、第２の撮像系ＩＳ２の撮影倍率よりも大きくなる。そのため、上述の第５の条件を満たすよう、第１の光学系ＯＳ１および第２の光学系ＯＳ２を構成することにより、第１の撮像系ＩＳ１から測距開始距離と等しいまたはそれより離れた距離に位置する被写体１００を、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２を用いて撮像した場合に、第１の撮像系ＩＳ１によって取得される第１の画像に対応する第１の撮影領域の全てが、第２の撮像系ＩＳ２によって取得される第２の画像に対応する第２の撮影領域内に包含されるという要件が満たされることになる。

したがって、本発明の測距カメラ１において、第１の光学系ＯＳ１および第２の光学系ＯＳ２は、上述した第１～第３の条件の少なくとも１つ、第４の条件、および第５の条件を満たすよう、構成および配置されている。

次に、図３および図５を参照して、「測距開始距離」について説明する。本明細書において「測距開始距離」とは、本発明の測距カメラ１による被写体１００までの距離の測定が可能となる、第１の撮像系ＩＳ１から被写体１００までの距離をいう。

図３の上側には、第１の撮像系ＩＳ１と第２の撮像系ＩＳ２の配置の１例が示されている。図５の上側には、第１の撮像系ＩＳ１と第２の撮像系ＩＳ２の配置の別の１例が示されている。図３および図５の上側において、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２のそれぞれから図中のＹ軸方向に向かって放射状に延びる２本の線は、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２のそれぞれの画角を表している。

図３および図５に示すように、第１の撮像系ＩＳ１によって取得される第１の画像に対応する第１の撮影領域（第１の撮像系ＩＳ１の画角がカバーする領域）の全てが、第２の撮像系ＩＳ２によって取得される第２の画像に対応する第２の撮影領域（第２の撮像系ＩＳ２の画角がカバーする領域）に包含されるようになる第１の撮像系ＩＳ１から被写体１００までの距離を「測距開始距離」という。

第１の撮像系ＩＳ１から測距開始距離よりも近い距離に位置している被写体１００を第１の撮像系ＩＳ１および第２の撮像系ＩＳ２で撮像した場合、第１の撮像系ＩＳ１によって取得された第１の画像に含まれる被写体１００の特徴点が、第２の撮像系ＩＳ２によって取得された第２の画像内に含まれない場合がある。この場合、後述するような第１の画像に含まれる第１の被写体像の特徴点に対応する、第２の画像に含まれる第２の被写体像の特徴点を検出することができず、測距カメラ１による被写体１００までの距離の測定ができない。そこで、本発明の測距カメラ１は、第１の撮像系ＩＳ１から測距開始距離と等しいまたはそれより離れて位置する被写体１００を測距対象としている。

図３に示す第１の撮像系ＩＳ１と第２の撮像系ＩＳ２の配置の１例では、第１の撮像系ＩＳ１から第２の撮像系ＩＳ２までの図中のｘ軸方向の並進視差Ｐ_ｘが正の値となっている（Ｐ_ｘ＞０）。換言すれば、図３に示す例において、第２の撮像系ＩＳ２が第１の撮像系ＩＳ１よりも図中の右側に位置している。この場合、第１の撮像系ＩＳ１の画角を示す左側の線と、第２の撮像系ＩＳ２の画角を示す左側の線との交点を含み、かつ、第１の撮像系ＩＳ１の第１の光学系ＯＳ１の光軸と垂直に交差する平面までの第１の撮像系ＩＳ１からの距離が、測距開始距離である。

図５に示す第１の撮像系ＩＳ１と第２の撮像系ＩＳ２の配置の別の１例では、第１の撮像系ＩＳ１から第２の撮像系ＩＳ２までの図中のｘ軸方向の並進視差Ｐ_ｘが負の値となっている（Ｐ_ｘ＜０）。換言すれば、図５に示す例において、第２の撮像系ＩＳ２が第１の撮像系ＩＳ１よりも図中の左側に位置している。この場合、第１の撮像系ＩＳ１の画角を示す右側の線と、第２の撮像系ＩＳ２の画角を示す右側の線との交点を含み、かつ、第１の撮像系ＩＳ１の第１の光学系ＯＳ１の光軸と垂直に交差する平面までの第１の撮像系ＩＳ１からの距離が、測距開始距離となる。

図３および図５に示す例において、被写体１００が、第１の撮像系ＩＳ１から測距開始距離と等しいまたはそれより離れた距離に位置している場合、第１の撮像系ＩＳ１によって取得される第１の画像に対応する第１の撮影領域の全てが、第２の撮像系ＩＳ２によって取得される第２の画像に対応する第２の撮影領域に包含される。

本発明の測距カメラ１では、上述のような第１の撮像系ＩＳ１および第２の撮像系ＩＳ２を用いることにより、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との比である像倍比ＭＲに基づいて被写体１００までの距離を算出すること、および、被写体１００までの距離を算出するために要する処理時間を短縮することが可能となっている。

以下、図１に戻り、測距カメラ１の各コンポーネントについて詳述する。制御部２は、データバス１０を介して、各コンポーネントとの間の各種データや各種指示の授受を行い、測距カメラ１の制御を実行する。制御部２は、演算処理を実行するためのプロセッサーと、測距カメラ１の制御を行うために必要なデータ、プログラム、モジュール等を保存しているメモリーとを備えており、制御部２のプロセッサーは、メモリー内に保存されているデータ、プログラム、モジュール等を用いることにより、測距カメラ１の制御を実行する。また、制御部２のプロセッサーは、測距カメラ１の各コンポーネントを用いることにより、所望の機能を提供することができる。例えば、制御部２のプロセッサーは、距離算出部５を用いることにより、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲに基づいて、被写体１００までの距離を算出するための処理を実行することができる。

制御部２のプロセッサーは、例えば、１つ以上のマイクロプロセッサー、マイクロコンピューター、マイクロコントローラー、デジタル信号プロセッサー（ＤＳＰ）、中央演算処理装置（ＣＰＵ）、メモリーコントロールユニット（ＭＣＵ）、画像処理用演算処理装置（ＧＰＵ）、状態機械、論理回路、特定用途向け集積回路（ＡＳＩＣ）、またはこれらの組み合わせ等のコンピューター可読命令に基づいて信号操作等の演算処理を実行する演算ユニットである。特に、制御部２のプロセッサーは、制御部２のメモリー内に保存されているコンピューター可読命令（例えば、データ、プログラム、モジュール等）をフェッチし、演算、信号操作および制御を実行するよう構成されている。

制御部２のメモリーは、揮発性記憶媒体（例えば、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ）、不揮発性記憶媒体（例えば、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリー、ハードディスク、光ディスク、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク（ＢＤ）、磁気カセット、磁気テープ、磁気ディスク）、またはこれらの組み合わせを含む着脱式または非着脱式のコンピューター可読媒体である。

また、制御部２のメモリー内には、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の構成および配置に関するパラメーターが保存されている。制御部２のメモリー内に保存されたパラメーターは、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の構成および配置に関するパラメーター、第１の撮像系ＩＳ１の第１の光学系ＯＳ１の焦点距離ｆ_１、第２の撮像系ＩＳ２の第２の光学系ＯＳ２の焦点距離ｆ_２、第１の光学系ＯＳ１の射出瞳から、被写体１００が無限遠にある場合の第１の被写体像の結像位置までの距離ＥＰ_１、第２の光学系ＯＳ２の射出瞳から、被写体１００が無限遠にある場合の第２の被写体像の結像位置までの距離ＥＰ_２、第１の光学系ＯＳ１と第２の光学系ＯＳ２のｘ軸方向の並進視差Ｐ_ｘおよびｙ軸方向の並進視差Ｐ_ｙ、並びに、奥行視差Ｄ、第１の撮像素子Ｓ１の撮像面で第１の被写体像がベストピントとなる場合の第１の光学系ＯＳ１の前側主点から被写体１００までの距離ａ_ＦＤ１、第２の撮像素子Ｓ２の撮像面で第２の被写体像がベストピントとなる場合の第２の光学系ＯＳ２の前側主点から被写体１００までの距離ａ_ＦＤ２を含む。

これらパラメーターは、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の構成および配置の際に決定される固定値であり、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲに基づく被写体１００までの距離の測定の際に、制御部２のプロセッサーによって参照される。

第１の撮像系ＩＳ１は、第１の光学系ＯＳ１と、第１の撮像素子Ｓ１とを有している。第１の光学系ＯＳ１は、被写体１００からの光を集光し、第１の撮像素子Ｓ１の撮像面上に第１の被写体像を形成する機能を有する。第１の撮像素子Ｓ１は、撮像面上に形成された第１の被写体像を撮像し、第１の被写体像を含む第１の画像を取得する機能を有している。第２の撮像系ＩＳ２は、第２の光学系ＯＳ２と、第２の撮像素子Ｓ２とを有している。第２の光学系ＯＳ２は、被写体１００からの光を集光し、第２の撮像素子Ｓ２の撮像面上に第２の被写体像を形成する機能を有する。第２の撮像素子Ｓ２は、撮像面上に形成された第２の被写体像を撮像し、第２の被写体像を含む第２の画像を取得する機能を有している。

上述のように、第１の光学系ＯＳ１および第２の光学系ＯＳ２は、上述した第１～第３の条件の少なくとも１つ、および、第４の条件を満たすよう、構成および配置されている。そのため、本発明の測距カメラ１において、第１の光学系ＯＳ１によって形成される第１の被写体像の倍率ｍ_１の被写体１００までの距離に応じた変化が、第２の光学系ＯＳ２によって形成される第２の被写体像の倍率ｍ_２の被写体１００までの距離に応じた変化と異なるようになっている。このような第１の光学系ＯＳ１および第２の光学系ＯＳ２によって得られる第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との比である像倍比ＭＲは、被写体１００までの距離を算出するために用いられる。

また、図示のように、第１の光学系ＯＳ１の光軸と、第２の光学系ＯＳ２の光軸は、平行であるが、一致していない。さらに、第２の光学系ＯＳ２は、第１の光学系ＯＳ１の光軸方向に対して垂直な方向に距離Ｐ＝（Ｐ_ｘ ^２＋Ｐ_ｙ ^２）^１／２だけシフトして配置されている。ここで、Ｐ_ｘは、第１の光学系ＯＳ１および第２の光学系ＯＳ２の光軸をｚ軸としたときのｘ軸方向の第１の光学系ＯＳ１および第２の光学系ＯＳ２の間の並進視差である。同様に、Ｐ_ｙは、第１の光学系ＯＳ１および第２の光学系ＯＳ２の光軸をｚ軸としたときのｙ軸方向の第１の光学系ＯＳ１および第２の光学系ＯＳ２の間の並進視差である。

さらに、第１の撮像系ＩＳ１の第１の撮像素子Ｓ１のサイズと第２の撮像系ＩＳ２の第２の撮像素子Ｓ２のサイズは等しく、かつ、第１の光学系ＯＳ１および第２の光学系ＯＳ２は、上述した第５の条件（ｆ_１＞ｆ_２）を満たすよう構成されている。そのため、第１の撮像系ＩＳ１から測距開始距離と等しいまたはそれより離れた距離に位置する被写体１００を、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２を用いて撮像した場合に、第１の撮像系ＩＳ１によって取得される第１の画像に対応する第１の撮影領域の全てが、第２の撮像系ＩＳ２によって取得される第１の画像に対応する第２の撮影領域内に包含される。

なお、図示の形態では、第１の撮像系ＩＳ１を構成する第１の撮像素子Ｓ１および第１の光学系ＯＳ１が、同一の筐体内に設けられており、第２の撮像系ＩＳ２を構成する第２の撮像素子Ｓ２および第２の光学系ＯＳ２が、別の同一の筐体内に設けられているが、本発明はこれに限られない。第１の光学系ＯＳ１、第２の光学系ＯＳ２、第１の撮像素子Ｓ１、および第２の撮像素子Ｓ２がすべて同一の筐体内に設けられているような様態も、本発明の範囲内である。

第１の撮像素子Ｓ１および第２の撮像素子Ｓ２のそれぞれは、ベイヤー配列等の任意のパターンで配列されたＲＧＢ原色系カラーフィルターやＣＭＹ補色系カラーフィルターのようなカラーフィルターを有するＣＭＯＳ画像センサーやＣＣＤ画像センサー等のカラー撮像素子であってもよいし、そのようなカラーフィルターを有さない白黒撮像素子であってもよい。この場合、第１の撮像素子Ｓ１によって得られる第１の画像および第２の撮像素子Ｓ２によって得られる第２の画像は、被写体１００のカラーまたは白黒の輝度情報である。

また、第１の撮像素子Ｓ１および第２の撮像素子Ｓ２のそれぞれは、被写体１００の位相情報を取得する位相センサーであってもよい。この場合、第１の撮像素子Ｓ１によって得られる第１の画像および第２の撮像素子Ｓ２によって得られる第２の画像は、被写体１００の位相情報である。

第１の光学系ＯＳ１によって、第１の撮像素子Ｓ１の撮像面上に第１の被写体像が形成され、第１の撮像素子Ｓ１によって第１の被写体像を含む第１の画像が取得される。取得された第１の画像は、データバス１０を介して、制御部２およびサイズ取得部３に送られる。同様に、第２の光学系ＯＳ２によって、第２の撮像素子Ｓ２の撮像面上に第２の被写体像が形成され、第２の撮像素子Ｓ２によって第２の被写体像を含む第２の画像が取得される。取得された第２の画像は、データバス１０を介して、制御部２およびサイズ取得部３に送られる。

サイズ取得部３に送られた第１の画像および第２の画像は、第１の被写体のサイズおよび第２の被写体のサイズを取得するために用いられる。一方、制御部２に送られた第１の画像および第２の画像は、表示部７による画像表示や通信部９による画像信号の通信のために用いられる。

サイズ取得部３は、第１の被写体像を含む第１の画像および第２の被写体像を含む第２の画像から、第１の被写体のサイズおよび第２の被写体のサイズを取得する機能を有している。具体的には、サイズ取得部３は、第１の画像中の第１の被写体像の複数の特徴点を検出し、検出された第１の被写体像の複数の特徴点間の距離を測定することにより、第１の被写体像のサイズを取得する。さらに、サイズ取得部３は、検出された第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の複数の特徴点を検出し、検出された第２の被写体像の複数の特徴点間の距離を測定することにより、第２の被写体像のサイズを取得する。

１つの例において、サイズ取得部３は、第１の画像に対し、Ｃａｎｎｙのようなフィルター処理を施し、第１の画像内における第１の被写体像のエッジ部を抽出する。その後、サイズ取得部３は、抽出した第１の被写体像のエッジ部の任意のいくつかを第１の被写体像の複数の特徴点として検出し、該複数の特徴点間の離間距離を測定することにより第１の被写体像のサイズを取得する。この場合、サイズ取得部３は、第１の被写体像の高さ方向の両端部に相当するエッジ部を第１の被写体像の複数の特徴点として検出し、該特徴点間の離間距離を第１の被写体像のサイズ（像高）としてもよいし、第１の被写体像の幅方向の両端部に相当するエッジ部を第１の被写体像の複数の特徴点として検出し、該特徴点間の離間距離を第１の被写体像のサイズ（像幅）としてもよい。

第１の被写体像のサイズを取得した後、サイズ取得部３は、検出された第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の複数の特徴点を検出するための対応特徴点検出処理を実行する。サイズ取得部３は、対応特徴点検出処理において、エピポーラ幾何に基づくエピポーラ線を利用する。

よく知られているように、エピポーラ幾何によれば、一方の撮像系によって取得された第１の画像内の特徴点に対応する他方の撮像系によって取得された第２の画像内の特徴点は、２つの撮像系の特性（焦点距離、射出瞳位置等）および配置、並びに、第１の画像内の特徴点の位置に基づいて導出される第２の画像中のエピポーラ線上に必ず存在することになる。そのため、対応特徴点検出処理において、第２の画像の全ての領域を探索せずとも、第２の画像中の算出されたエピポーラ線上を探索すれば、第１の画像内の特徴点に対応する第２の画像内の特徴点を検出できる。

具体的には、サイズ取得部３は、第１の撮像素子Ｓ１から第１の画像を受信し、さらに、第２の撮像素子Ｓ２から第２の画像を受信する。その後、サイズ取得部３は、第１の画像中における第１の被写体像の任意の複数の特徴点を検出する。サイズ取得部３が第１の画像中における第１の被写体像の任意の複数の特徴点を検出する方法は特に限定されず、サイズ取得部３は、本分野において既知の種々の方法を用いて、第１の画像中における第１の被写体像の任意の複数の特徴点を検出することができる。サイズ取得部３によって検出された複数の特徴点のそれぞれの座標（ｘ_１，ｙ_１）は、制御部２のメモリー内に一時保存される。

その後、サイズ取得部３は、制御部２のメモリー内に保存されているパラメーターを参照して、選択された第１の被写体像の特徴点に対応するエピポーラ線を導出する。なお、サイズ取得部３が、第１の撮像系ＩＳおよび第２の撮像系ＩＳ２の特性および配置、並びに、選択された第１の被写体の特徴点の第１の画像中の座標（ｘ_１，ｙ_１）に基づいてエピポーラ線を導出するため方法は、特に限定されない。サイズ取得部３は、エピポーラ幾何の分野において既知の任意の方法を用いて、第２の画像中のエピポーラ線を導出することができる。

図２には、導出された第２の画像中のエピポーラ線の例が示されている。図２に示されているように、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の特性および配置、並びに、選択された第１の被写体像の第１の画像中の位置（座標）に基づいて、選択された第１の被写体像の特徴点に対応する第２の画像中のエピポーラ線が導出される。

サイズ取得部３は、第２の画像中において、導出されたエピポーラ線上を探索することにより、選択された第１の被写体像の特徴点に対応する第２の画像中の第２の被写体像の特徴点を検出する。このように、サイズ取得部３は、対応特徴点検出処理において、エピポーラ幾何に基づくエピポーラ線を利用し、選択された第１の被写体像の特徴点に対応する第２の画像中の第２の被写体像の特徴点の探索を実行する。そのため、サイズ取得部３は、第２の画像の全領域を探索せずとも、算出されたエピポーラ線上を探索することにより、第１の画像内の選択された第１の被写体像の特徴点に対応する第２の画像内の第２の被写体像の特徴点を検出できる。このような構成により、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との間の像倍比ＭＲに基づいて被写体１００までの距離を算出するための処理時間を短縮させることができる。

サイズ取得部３は、このようなエピポーラ幾何に基づくエピポーラ線の利用に加えて、対応特徴点検出処理において探索すべき第２の画像中の領域を限定することにより、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との間の像倍比ＭＲに基づいて被写体１００までの距離を算出するための処理時間をさらに短縮させている。

対応特徴点検出処理において探索すべき第２の画像中の領域の限定について、図３～図６を参照して詳述する。本発明者は、第１の撮像系ＩＳ１によって取得された第１の画像に対応する第１の撮影領域と、第２の撮像系ＩＳ２によって取得された第２の画像に対応する第２の撮影領域とが重複し得る領域が、第２の画像の全領域ではなく、第２の画像の一部の領域に限定されるという現象を発見し、そのような現象に基づいて、第１の画像に対応する第１の撮影領域と、第２の撮像系ＩＳ２によって取得された第２の画像に対応する第２の撮影領域とが重複し得る領域でのみ、エピポーラ線上の探索を実行するとの着想を得、本発明を完成させるに至った。以下、第１の撮像系ＩＳ１によって取得された第１の画像に対応する第１の撮影領域と、第２の撮像系ＩＳ２によって取得された第２の画像に対応する第２の撮影領域とが重複し得る領域が、第２の画像の全領域ではなく、第２の画像の一部の領域に限定されるという現象について説明する。

上述のように、本発明の測距カメラ１において、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２は、第１の撮像系ＩＳ１から測距開始距離と等しいまたはそれより離れた距離に位置する被写体１００を、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２を用いて撮像した場合に、第１の撮像系ＩＳ１によって取得される第１の画像に対応する第１の撮影領域の全てが、第２の撮像系ＩＳ２によって取得される第２の画像に対応する第２の撮影領域内に包含されるよう構成されている。

図３に示す第１の撮像系ＩＳ１と第２の撮像系ＩＳ２の配置の１例では、第２の撮像系ＩＳ２が第１の撮像系ＩＳ１よりも右側に位置している。被写体１００が第１の撮像系ＩＳ１から測距開始距離と等しい距離だけ離れて位置している場合（被写体距離＝測距開始距離）、図３中の（ａ）に示されているように、第１の画像の左端に存在する特徴点に対応する第２の画像中の特徴点（図３中の（ａ）の丸点）は、第２の画像の左端に存在する。

被写体１００が第１の撮像系ＩＳ１から測距開始距離より離れた任意の距離に位置している場合（被写体距離＝任意の距離）、図３中の（ｂ）に示されているように、第１の画像の左端に存在する特徴点に対応する第２の画像中の特徴点（図３中の（ｂ）の丸点）は、第２の画像の左端から右側にシフトした位置に存在する。

さらに、被写体１００が無限遠に位置している場合（被写体距離＝無限遠）、図３中の（ｃ）に示されているように、第１の画像の左端に存在する特徴点に対応する第２の画像中の特徴点（図３中の（ｃ）の丸点）は、図３中の（ｂ）に示されている位置から、右側にさらにシフトした位置に存在する。

このように、第１の画像の左端に存在する特徴点に対応する第２の画像中の特徴点は、第１の撮像系ＩＳ１から被写体１００までの距離に応じて、ｘ軸方向において、図３中の（ａ）に示されている位置から、図３中の（ｃ）に示されている位置までシフトする。

同様に、被写体１００が第１の撮像系ＩＳ１から測距開始距離と等しい距離だけ離れて位置している場合（被写体距離＝測距開始距離）、図３中の（ｄ）に示されているように、第１の画像の右端に存在する特徴点に対応する第２の画像中の特徴点（図３中の（ｄ）の四角点）は、第２の画像の左端から右側にシフトした位置に存在する。

被写体１００が第１の撮像系ＩＳ１から測距開始距離より離れた任意の距離に位置している場合（被写体距離＝任意の距離）、図３中の（ｅ）に示されているように、第１の画像の右端に存在する特徴点に対応する第２の画像中の特徴点（図３中の（ｅ）の四角点）は、図３中の（ｄ）に示されている位置から、右側にさらにシフトした位置に存在する。

さらに、被写体１００が無限遠に位置している場合（被写体距離＝無限遠）、図３中の（ｆ）に示されているように、第１の画像の右端に存在する特徴点に対応する第２の画像中の特徴点（図３中の（ｆ）の四角点）は、図３中の（ｅ）に示されている位置から、右側にさらにシフトした位置に存在する。

このように、第１の画像の右端に存在する特徴点に対応する第２の画像中の特徴点は、第１の撮像系ＩＳ１から被写体１００までの距離に応じて、ｘ軸方向において、図３中の（ｄ）に示されている左端から、図３中の（ｆ）に示されている位置までシフトする。

第１の画像中の任意の特徴点は、ｘ軸方向において、第１の画像の左端から右端の間の任意の位置に存在するのだから、第１の画像中の任意の特徴点に対応する第２の画像中の特徴点の第２の画像中におけるｘ軸方向の位置は、図３中の（ａ）に示す位置と図３中の（ｆ）に示す位置との間に限定されることになる。

したがって、第１の画像中の任意の特徴点に対応する第２の画像中の特徴点が位置し得る領域、すなわち、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る領域は、第２の画像の全領域ではなく、第２の画像の限定された領域となる。

図４には、図３に示す第１の撮像系ＩＳ１と第２の撮像系ＩＳ２の配置の１例において、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る領域が示されている。

ｘ軸方向において、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る領域は、図３中の（ａ）に示す被写体１００までの距離が測距開始距離のときの第１の画像の左端の特徴点に対応する第２の画像中の特徴点の位置と、図３中の（ｆ）に示す被写体１００までの距離が無限遠のときの第１の画像の右端の特徴点に対応する第２の画像中の特徴点の位置との間の領域である。

第１の撮像系ＩＳ１から被写体１００までの距離が測距開始距離から無限遠の範囲にある場合、第１の画像中の特徴点は、ｘ軸方向において、必ず、図４に示すような、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る領域内に存在することになる。そのため、対応特徴点検出処理において、導出された第２の画像中のエピポーラ線上を探索する際に、第２の画像中の全領域のエピポーラ線上を探索する必要はなく、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る第２の画像の探索範囲内においてのみ、エピポーラ線上を探索すればよい。

図５に示す第１の撮像系ＩＳ１と第２の撮像系ＩＳ２の配置の別の１例では、第２の撮像系ＩＳ２が第１の撮像系ＩＳ１よりも左側に位置している。被写体１００が第１の撮像系ＩＳ１から測距開始距離と等しい距離だけ離れて位置している場合（被写体距離＝測距開始距離）、図５中の（ａ）に示されているように、第１の画像の左端に存在する特徴点に対応する第２の画像中の特徴点（図５中の（ａ）の丸点）は、第２の画像の右端から左側にシフトした位置に存在する。

被写体１００が第１の撮像系ＩＳ１から測距開始距離より離れた任意の距離に位置している場合（被写体距離＝任意の距離）、図５中の（ｂ）に示されているように、第１の画像の左端に存在する特徴点に対応する第２の画像中の特徴点（図５中の（ｂ）の丸点）は、図５中の（ａ）に示されている位置から、左側にさらにシフトした位置に存在する。

さらに、被写体１００が無限遠に位置している場合（被写体距離＝無限遠）、図５中の（ｃ）に示されているように、第１の画像の左端に存在する特徴点に対応する第２の画像中の特徴点（図５中の（ｃ）の丸点）は、図５中の（ｂ）に示されている位置から、左側にさらにシフトした位置に存在する。

このように、第１の画像中において左端に存在する特徴点に対応する第２の画像中の特徴点は、第１の撮像系ＩＳ１から被写体１００までの距離に応じて、ｘ軸方向において、図５中の（ａ）に示されている位置から、図５中の（ｃ）に示されている位置までシフトする。

同様に、被写体１００が第１の撮像系ＩＳ１から測距開始距離と等しい距離だけ離れて位置している場合（被写体距離＝測距開始距離）、図５中の（ｄ）に示されているように、第１の画像の右端に存在する特徴点に対応する第２の画像中の特徴点（図５中の（ｄ）の四角点）は、第２の画像の右端に存在する。

被写体１００が第１の撮像系ＩＳ１から測距開始距離より離れた任意の距離に位置している場合（被写体距離＝任意の距離）、図５中の（ｅ）に示されているように、第１の画像の右端に存在する特徴点に対応する第２の画像中の特徴点（図５中の（ｅ）の四角点）は、図５中の（ｄ）に示されている位置から、左側にシフトした位置に存在する。

さらに、被写体１００が無限遠に位置している場合（被写体距離＝無限遠）、図５中の（ｆ）に示されているように、第１の画像の右端に存在する特徴点に対応する第２の画像中の特徴点（図５中の（ｆ）の四角点）は、図５中の（ｅ）に示されている位置から、左側にさらにシフトした位置に存在する。

このように、第１の画像中において右端に存在する特徴点に対応する第２の画像中の特徴点は、第１の撮像系ＩＳ１から被写体１００までの距離に応じて、ｘ軸方向において、図５中の（ｄ）に示されている右端から、図５中の（ｆ）に示されている位置までシフトする。

第１の画像中の任意の特徴点は、ｘ軸方向において、第１の画像の左端から右端の間の任意の位置に存在するのだから、第１の画像中の任意の特徴点に対応する第２の画像中の特徴点の第２の画像中における位置は、図５中の（ｃ）に示す位置と図５中の（ｄ）に示す位置との間に限定されることになる。

したがって、第１の画像中の任意の特徴点に対応する第２の画像中の特徴点が位置し得る領域、すなわち、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る領域は、第２の画像の全領域ではなく、第２の画像の限定された領域となる。

図６には、図５に示す第１の撮像系ＩＳ１と第２の撮像系ＩＳ２の配置の別の１例において、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る領域が示されている。

ｘ軸方向において、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る領域は、図５中の（ｃ）に示す被写体１００までの距離が無限遠のときの第１の画像の左端の特徴点に対応する第２の画像中の特徴点の位置と、図５中の（ｄ）に示す被写体１００までの距離が測距開始距離のときの第１の画像の右端の特徴点に対応する第２の画像中の特徴点の位置との間の領域である。

このように、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る範囲が第２の画像の全領域ではなく、第２の画像の限定された領域になるとの現象に基づき、サイズ取得部３は、対応特徴点検出処理においてエポピーラ線上の探索が実行される第２の画像の領域を限定する。

図４および図６に示す第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る領域（以下、第２の画像の探索領域という）は、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の特性および配置（より具体的には、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の画角、並びに、第１の撮像系ＩＳ１と第２の撮像系ＩＳ２との間の並進視差Ｐ_ｘ、Ｐ_ｙ、および奥行視差Ｄ）から、幾何光学に基づいて特定することができる。第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の特性および配置は、測距カメラ１の構成時に決定されるので、サイズ取得部３は、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の特性および配置に基づいて、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る第２の画像の領域（第２の画像の探索領域）を特定することができる。

サイズ取得部３は、対応特徴点検出処理において、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の特性および配置に基づいて、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る第２の画像の探索領域を特定し、第２の画像の探索領域中においてのみ、導出されたエピポーラ線上の探索を実行することにより、第１の画像に含まれる第１の被写体像の特徴点に対応する第２の画像に含まれる第２の被写体像の特徴点を検出する。

このように、サイズ取得部３によって実行される対応特徴点検出処理において、エピポーラ線上の探索が実行される第２の画像中の領域が、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る第２の画像の探索領域に限定される。したがって、本発明の測距カメラ１においては、第２の画像の全領域においてエピポーラ線上の探索が実行される場合と比較して、探索すべき領域が限定されているので、対応特徴点検出処理に要する時間を短縮することができる。その結果、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２の像倍比ＭＲに基づいて被写体１００までの距離を算出するための処理時間をさらに短縮することができる。

上述のように、サイズ取得部３は、第２の画像中の探索領域においてのみ、導出されたエピポーラ線上の探索を実行する。具体的には、サイズ取得部３は、最初に、制御部２のメモリー内に保存されている第１の被写体像の複数の特徴点の座標（ｘ_１，ｙ_１）を参照し、検出された第１の被写体像の複数の特徴点のいずれか１つを選択する。その後、サイズ取得部３は、第１の画像中の選択された特徴点を中心とする所定のサイズの領域（例えば、選択された特徴点を中心とする５×５ピクセルの領域、７×７ピクセルの領域等）を切り出し、選択された特徴点用の探索ブロックを取得する。この探索ブロックは、選択された第１の被写体の特徴点に対応する第２の画像中の第２の被写体像の特徴点を探索するために用いられる。取得された探索ブロックは、制御部２のメモリー内に一時保存される。

その後、サイズ取得部３は、制御部２のメモリー内に保存されているパラメーターを用いて、選択された第１の被写体像の特徴点に対応するエピポーラ線を導出する。その後、サイズ取得部３は、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の特性および配置に基づいて、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る第２の画像の探索領域を特定する。

サイズ取得部３は、第２の画像中のエピポーラ線を導出し、さらに、第２の画像の探索領域を特定すると、第２の画像の探索領域において、導出されたエピポーラ線上を探索する。このような処理により、サイズ取得部３は、選択された第１の被写体像の特徴点に対応する第２の画像中の第２の被写体像の特徴点を検出する。

具体的には、サイズ取得部３は、制御部２のメモリー内に保存されている選択された第１の被写体像の特徴点用の探索ブロックと、第２の画像の探索領域中のエピポーラ線上の画素を中心とし、探索ブロックと同じサイズを有するエピポーラ線周辺領域との間のコンボリューション演算（畳み込み積分）を実行し、探索ブロックとエピポーラ線周辺領域との間の相関値を算出する。この相関値の算出は、第２の画像中の導出されたエピポーラ線に沿って実行される。サイズ取得部３は、相関値が最も高かったエピポーラ線周辺領域の中心画素（すなわち、エピポーラ線上の画素）を、選択された第１の被写体像の特徴点に対応する第２の画像中の第２の被写体像の特徴点として検出する。算出された第２の被写体像の特徴点の座標（ｘ_２，ｙ_２）は、制御部２のメモリー内に一時保存される。

なお、探索ブロックとエピポーラ線周辺領域とのコンボリューション演算を実行する際に、探索ブロックまたは第２の画像に対する画素の補間が実行されてもよい。このような２つの領域間の相関値を正確に取得するために本分野において既知の任意の手法が、対応特徴点検出処理において用いられてもよい。

このような処理は、検出された第１の被写体像の特徴点の全てに対応する第２の画像中の第２の被写体像の特徴点が検出されるまで、選択された第１の被写体像の特徴点を変更して、繰り返し実行される。したがって、サイズ取得部３は、検出された第１の被写体像の複数の特徴点にそれぞれ対応する複数のエピポーラ線を導出し、第２の画像の探索領域において、導出された複数のエピポーラ線のそれぞれ上を上述のように探索することにより、検出された第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の複数の特徴点を検出する。検出された第１の被写体像の特徴点の全てに対応する第２の画像中の第２の被写体像の特徴点が検出されると、サイズ取得部３による対応特徴点検出処理が終了する。

対応特徴点検出処理を実行した後、サイズ取得部３は、制御部２のメモリー内に一時保存されている第２の被写体像の複数の特徴点の座標（ｘ_２，ｙ_２）から、検出された第２の被写体像の複数の特徴点間の離間距離を測定することにより、第２の被写体像のサイズを取得する。

サイズ取得部３によって取得された第１の被写体像のサイズと第２の被写体像のサイズの比は、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲ（ｍ_２／ｍ_１）に対応する。そのため、サイズ取得部３によって取得された第１の被写体像のサイズと第２の被写体像のサイズの比が、被写体１００までの距離を算出するための像倍比ＭＲとして用いられる。

関連付情報記憶部４は、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲと、第１の光学系ＯＳ１の前側主点から被写体１００までの距離（被写体距離）とを関連付ける関連付情報を記憶するための任意の不揮発性記録媒体（例えば、ハードディスク、フラッシュメモリー）である。関連付情報記憶部４に保存されている関連付情報は、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲから、被写体１００までの距離を算出するための情報である。

典型的には、関連付情報記憶部４に保存されている関連付情報は、像倍比ＭＲに基づいて被写体１００までの距離を算出するための以下の式（１）である。

ここで、ａは被写体１００から第１の撮像系ＩＳ１の第１の光学系ＯＳ１の前側主点までの距離、ｆ_１は第１の光学系ＯＳ１の焦点距離、ｆ_２は第２の光学系ＯＳ２の焦点距離、ＥＰ_１は第１の光学系ＯＳ１の射出瞳から、被写体１００が無限遠にある場合の第１の被写体像の結像位置までの距離、ＥＰ_２は第２の光学系ＯＳ２の射出瞳から、被写体１００が無限遠にある場合の第２の被写体像の結像位置までの距離、Ｄは第１の光学系ＯＳ１の前側主点と、第２の光学系ＯＳ２の前側主点との間の奥行視差である。

さらに、上記式（１）中のＫは、以下の式（２）で表される係数であり、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の構成および配置により決定される固定値である。

ここで、ａ_ＦＤ１は、第１の撮像素子Ｓ１の撮像面で第１の被写体像がベストピントとなる場合の第１の光学系ＯＳ１の前側主点から被写体１００までの距離であり、ａ_ＦＤ２は、第２の撮像素子Ｓ２の撮像面で第２の被写体像がベストピントとなる場合の第２の光学系ＯＳ２の前側主点から被写体１００までの距離である。

上記式（１）中において、ｆ_１、ｆ_２、ＥＰ_１、ＥＰ_２、ＤおよびＫは、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の構成および配置により決定される固定値なので、サイズ取得部３によって取得された第１の被写体像のサイズと第２の被写体像のサイズの比から得られる第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲに基づいて、被写体１００から第１の光学系ＯＳ１の前側主点までの距離を算出することができる。

像倍比ＭＲに基づいて被写体１００までの距離を算出するための上記式（１）の導出については、本発明者らによって既に出願されている上述の特許文献２（特願２０１７－２４１８９６号）に詳述されているので、説明を省略する。

代替的に、関連付情報記憶部４に保存されている関連付情報は、像倍比ＭＲと被写体１００までの距離とを一意に対応づけたルックアップテーブルであってもよい。関連付情報記憶部４に保存されているこのような関連付情報を参照することにより、像倍比ＭＲに基づいて被写体１００までの距離を算出することが可能となる。なお、関連付情報が被写体１００までの距離を算出するための前述の式である場合には、関連付情報に加え、制御部２のメモリー内に保存されているパラメーターも参照され、被写体１００までの距離が算出される。

距離算出部５は、サイズ取得部３によって取得された第１の被写体像のサイズと第２の被写体像のサイズとの比として得られる第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲに基づいて、被写体１００までの距離を算出する機能を有している。具体的には、距離算出部５は、サイズ取得部３によって取得された第１の被写体像のサイズおよび第２の被写体像のサイズの比を、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲを算出する。その後、距離算出部５は、関連付情報記憶部４に保存されている関連付情報を参照し（関連付情報が被写体１００までの距離を算出するための前述の式である場合には、制御部２のメモリー内に保存されているパラメーターも参照される）、像倍比ＭＲに基づいて、被写体１００までの距離を算出（特定）する。

３次元画像生成部６は、距離算出部５によって算出された被写体１００までの距離および第１の撮像系ＩＳ１または第２の撮像系ＩＳ２が取得した被写体１００のカラーまたは白黒の輝度情報（第１の画像または第２の画像）に基づいて、被写体１００の３次元画像を生成する機能を有している。ここで言う「被写体１００の３次元画像」とは、通常の被写体１００のカラーまたは白黒の輝度情報を表す２次元画像の各ピクセルに対して、算出された被写体１００までの距離が関連付けられているデータを意味する。なお、第１の撮像系ＩＳ１の第１の撮像素子Ｓ１および第２の撮像系ＩＳ２の第２の撮像素子Ｓ２が、被写体１００の位相情報を取得する位相センサーである場合には、３次元画像生成部６は省略される。

表示部７は、液晶表示部等のパネル型表示部であり、制御部２のプロセッサーからの信号に応じて、第１の撮像系ＩＳ１または第２の撮像系ＩＳ２によって取得された被写体１００のカラーまたは白黒の輝度情報または被写体１００の位相情報（第１の画像または第２の画像）、距離算出部５によって算出された被写体１００までの距離、３次元画像生成部６によって生成された被写体１００の３次元画像、測距カメラ１を操作するための情報等が文字または画像の形態で表示部７に表示される。

操作部８は、測距カメラ１の使用者が操作を実行するために用いられる。操作部８は、測距カメラ１の使用者が操作を実行することができれば特に限定されず、例えば、マウス、キーボード、テンキー、ボタン、ダイヤル、レバー、タッチパネル等を操作部８として用いることができる。操作部８は、測距カメラ１の使用者による操作に応じた信号を制御部２のプロセッサーに送信する。

通信部９は、測距カメラ１に対するデータの入力または測距カメラ１から外部デバイスへのデータの出力を行う機能を有している。通信部９は、インターネットのようなネットワークに接続可能に構成されていてもよい。この場合、測距カメラ１は、通信部９を用いることにより、外部に設けられたウェブサーバーやデータサーバーのような外部デバイスと通信を行うことができる。

このように、本発明の測距カメラ１では、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２が、被写体１００までの距離に対する第１の被写体像の倍率ｍ_１の変化と、被写体１００までの距離に対する第２の被写体像の倍率ｍ_２の変化とが、互いに異なるように構成および配置されている。そのため、本発明の測距カメラ１は、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との像倍比ＭＲ（ｍ_２／ｍ_１）に基づいて、被写体１００までの距離を一意に算出することができる。

また、本実施形態の測距カメラ１では、サイズ取得部３によって実行される対応特徴点検出処理において、エピポーラ幾何に基づくエピポーラ線が利用されている。そのため、対応特徴点検出処理に必要な処理時間を大幅に短縮することができ、被写体１００までの距離を算出するために必要な処理時間を大幅に短縮することができる。

さらに、本実施形態の測距カメラ１では、サイズ取得部３によって実行される対応特徴点検出処理において、エピポーラ線上の探索が実行される第２の画像中の領域が、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る第２の画像の探索領域に限定される。したがって、本発明の測距カメラ１においては、第２の画像の全領域においてエピポーラ線上の探索が実行される場合と比較して、探索すべき第２の画像の領域が限定されているので、対応特徴点検出処理に要する時間を短縮することができる。その結果、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２の像倍比ＭＲに基づいて被写体１００までの距離を算出するための処理時間をさらに短縮することができる。

（測距方法）
次に、図７および図８を参照して、上述の測距カメラ１によって実行される測距方法を詳述する。図７は、本発明の第１実施形態に係る測距カメラによって実行される測距方法を説明するためのフローチャートである。図８は、図７の測距方法における対応特徴点検出処理の詳細を示すフローチャートである。

なお、以下に詳述する測距方法は、上述の測距カメラ１および測距カメラ１と同等の機能を有する任意の装置を用いて実行することができるが、第１実施形態に係る測距カメラ１を用いて実行されるものとして説明する。

図７に示す測距方法Ｓ１００は、測距カメラ１の使用者が操作部８を用いて、被写体１００までの距離を測定するための操作を実行することにより開始される。工程Ｓ１１０において、第１の撮像系ＩＳ１の第１の撮像素子Ｓ１によって、第１の光学系ＯＳ１によって形成された第１の被写体像が撮像され、第１の被写体像を含む第１の画像が取得される。第１の画像は、データバス１０を介して、制御部２およびサイズ取得部３に送られる。同様に、工程Ｓ１２０において、第２の撮像系ＩＳ２の第２の撮像素子Ｓ２によって、第２の光学系ＯＳ２によって形成された第２の被写体像が撮像され、第２の被写体像を含む第２の画像が取得される。第２の画像は、データバス１０を介して、制御部２およびサイズ取得部３に送られる。Ｓ１１０における第１の画像の取得と、Ｓ１２０における第２の画像の取得は、同時に実行されてもよいし、別々に実行されてもよい。

工程Ｓ１１０における第１の画像の取得および工程Ｓ１２０における第２の画像の取得の後、測距方法Ｓ１００は、工程Ｓ１３０に移行する。工程Ｓ１３０において、サイズ取得部３は、第１の画像中の第１の被写体像の任意の複数の特徴点を検出する。工程Ｓ１３０においてサイズ取得部３によって検出される第１の被写体像の任意の複数の特徴点は、例えば、第１の被写体像の高さ方向の両端部または第１の被写体像の幅方向の両端部である。サイズ取得部３によって検出された第１の被写体像の複数の特徴点のそれぞれの座標（ｘ_１，ｙ_１）は、制御部２のメモリー内に一時保存される。

工程Ｓ１４０において、サイズ取得部３は、制御部２のメモリー内に一時保存されている第１の被写体像の複数の特徴点のそれぞれの座標（ｘ_１，ｙ_１）を参照し、検出された第１の被写体像の複数の特徴点間の距離を測定することにより、第１の被写体像のサイズを取得する。工程Ｓ１４０において取得された第１の被写体像のサイズは、制御部２のメモリー内に一時保存される。

その後、工程Ｓ１５０において、サイズ取得部３は、工程Ｓ１３０において検出された第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の複数の特徴点を検出するための対応特徴点検出処理を実行する。図８には、工程Ｓ１５０において実行される対応特徴点検出処理の詳細を示すフローチャートが示されている。

工程Ｓ１５１において、サイズ取得部３は、制御部２のメモリー内に保存されている第１の被写体像の複数の特徴点のそれぞれの座標（ｘ_１，ｙ_１）を参照し、検出された第１の被写体像の複数の特徴点のいずれか１つを選択する。次に、工程Ｓ１５２において、サイズ取得部３は、第１の画像中の選択された第１の被写体像の特徴点を中心とする所定のサイズの領域（例えば、特徴点を中心とする５×５ピクセルの領域、７×７ピクセルの領域等）を切り出し、選択された特徴点用の探索ブロックを取得する。取得された探索ブロックは、制御部２のメモリー内に一時保存される。

次に、工程Ｓ１５３において、サイズ取得部３は、制御部２のメモリー内に保存されているパラメーターを用いて、工程Ｓ１５１において選択された第１の被写体像の特徴点に対応する第２の画像中のエピポーラ線を導出する。工程Ｓ１５３における第２の画像中のエピポーラ線の導出は、エピポーラ幾何の分野において既知の任意の方法を用いて実行される。

その後、工程Ｓ１５４において、サイズ取得部３は、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の特性および配置に基づいて、第１の画像に対応する第１の撮影領域と第２の画像に対応する第２の撮影領域とが重複し得る第２の画像の探索領域を特定する。具体的には、サイズ取得部３は、制御部２のメモリー内に保存されている第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の視野、並びに、第１の撮像系ＩＳ１と第２の撮像系ＩＳ２との間の並進視差Ｐ_ｘ、Ｐ_ｙ、および奥行視差Ｄから、第２の画像の探索領域を特定する。

その後、工程Ｓ１５５において、サイズ取得部３は、特定された第２の画像の探索領域において、制御部２のメモリー内に保存されている選択された第１の被写体像の特徴点用の探索ブロックと、導出されたエピポーラ線上の画素を中心とし、探索ブロックと同じサイズを有するエピポーラ線周辺領域との間のコンボリューション演算（畳み込み積分）を実行し、探索ブロックとエピポーラ線周辺領域との間の相関値を算出する。算出された相関値は、制御部２のメモリー内に一時保存される。この相関値の算出は、ブロックマッチングとも称され、第２の画像の探索領域中の導出されたエピポーラ線に沿って実行される。

第２の画像の探索領域におけるエピポーラ線に沿った相関値の算出が終了すると、工程Ｓ１５０の処理は、工程Ｓ１５６に移行する。工程Ｓ１５６において、サイズ取得部３は、第２の画像の探索領域において相関値が最も高かったエピポーラ線周辺領域の中心画素（すなわち、エピポーラ線上の画素）を、選択された第１の被写体像の特徴点に対応する第２の画像中の第２の被写体像の特徴点として検出する。算出された第２の被写体像の特徴点の座標（ｘ_２，ｙ_２）は、制御部２のメモリー内に一時保存される。

その後、工程Ｓ１５７において、工程Ｓ１３０において検出された第１の被写体像の複数の特徴点の全てが、工程Ｓ１５１において選択済みか否かが判別される。工程Ｓ１３０において検出された第１の被写体像の複数の特徴点の全てが、工程Ｓ１５１において選択済みではない場合（工程Ｓ１５７＝Ｎｏ）、工程Ｓ１５０の処理は、工程Ｓ１５１に戻る。工程Ｓ１５１において、第１の被写体像の複数の特徴点のうち、未選択の１つが新たに選択され、選択された第１の被写体像の特徴点が変更される。工程Ｓ１５１～工程Ｓ１５７の処理は、検出された第１の被写体像の特徴点の全てに対応する第２の画像中の第２の被写体像の特徴点が検出されるまで、選択された第１の被写体像の特徴点を変更して、繰り返し実行される。

工程Ｓ１３０において検出された第１の被写体像の複数の特徴点の全てが、工程Ｓ１５１において選択済みである場合（工程Ｓ１５７＝Ｙｅｓ）、工程Ｓ１５０の処理は終了する。工程Ｓ１５０の処理が終了すると、測距方法Ｓ１００は、工程Ｓ１６０に移行する。

図７に戻り、工程Ｓ１６０において、サイズ取得部３は、検出された第２の被写体像の複数の特徴点間の距離を測定することにより、第２の被写体像のサイズを取得する。工程Ｓ１６０において取得された第２の被写体像のサイズは、制御部２のメモリー内に一時保存される。

サイズ取得部３によって第１の被写体像のサイズおよび第２の被写体像のサイズが取得されると、測距方法Ｓ１００は、工程Ｓ１７０に移行する。工程Ｓ１７０において、距離算出部５は、制御部２のメモリー内に一時保存されている第１の被写体像のサイズおよび第２の被写体像のサイズの比から、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２との比である像倍比ＭＲを算出する。次に、工程Ｓ１８０において、距離算出部５は、関連付情報記憶部４に保存されている関連付情報を参照し、算出した像倍比ＭＲに基づいて、被写体１００までの距離を算出する。なお、関連付情報が被写体１００までの距離を算出するための上記式（１）である場合には、距離算出部５は、関連付情報に加え、制御部２のメモリー内に保存されているパラメーターも参照し、被写体１００までの距離を算出する。

工程Ｓ１８０において、距離算出部５が、被写体１００までの距離を算出すると、測距方法Ｓ１００は、工程Ｓ１９０に移行する。工程Ｓ１９０において、３次元画像生成部６が、距離算出部５によって算出された被写体１００までの距離および第１の撮像系ＩＳ１または第２の撮像系ＩＳ２が取得した被写体１００のカラーまたは白黒の輝度情報（第１の画像または第２の画像）に基づいて、被写体１００の３次元画像を生成する。なお、第１の撮像系ＩＳ１の第１の撮像素子Ｓ１および第２の撮像系ＩＳ２の第２の撮像素子Ｓ２が、被写体１００の位相情報を取得する位相センサーである場合には、工程Ｓ１９０は省略される。

その後、ここまでの工程において取得された被写体１００のカラー若しくは白黒の輝度情報または位相情報（第１の画像および／または第２の画像）、被写体１００までの距離、および／または被写体１００の３次元画像が、表示部７に表示され、または通信部９によって外部デバイスに送信され、測距方法Ｓ１００は終了する。

＜第２実施形態＞
次に、図９～図１４を参照して、本発明の第２実施形態に係る測距カメラを詳述する。図９は、本発明の第２実施形態にかかる測距カメラの第１の撮像系と第２の撮像系の配置の１例と、被写体までの距離に応じた、第１の画像中の特徴点に対応する第２の画像中の特徴点の位置の変化を説明するための図である。図１０は、図９に示す第１の撮像系と第２の撮像系の配置の例において、第１の画像に対応する第１の撮影領域の左側領域と第２の画像に対応する第２の撮影領域とが重複し得る範囲を説明するための図である。図１１は、図９に示す第１の撮像系と第２の撮像系の配置の例において、被写体までの距離に応じた、第１の画像中の特徴点に対応する第２の画像中の特徴点の位置の変化を説明するための別の図である。図１２は、図９に示す第１の撮像系と第２の撮像系の配置の例において、第１の画像に対応する第１の撮影領域の右側領域と第２の画像に対応する第２の撮影領域とが重複し得る範囲を説明するための図である。図１３は、第１の撮像系と第２の撮像系の配置の別の例において、第１の画像に対応する第１の撮影領域の左側領域と第２の画像に対応する第２の撮影領域とが重複し得る範囲を説明するための図である。図１４は、第１の撮像系と第２の撮像系の配置の別の例において、第１の画像に対応する第１の撮影領域の右側領域と第２の画像に対応する第２の撮影領域とが重複し得る範囲を説明するための図である。

以下、第２実施形態の測距カメラ１について、第１実施形態の測距カメラ１との相違点を中心に説明し、同様の事項については、その説明を省略する。本実施形態の測距カメラ１は、対応特徴点検出処理において、サイズ取得部３が、第１の画像中の第１の被写体の複数の特徴点のそれぞれの位置を特定し、第２の画像中の探索領域を限定するよう構成されている点を除き、第１実施形態の測距カメラ１と同様である。

本実施形態においては、サイズ取得部３は、第１の被写体像の複数の特徴点のそれぞれの第１の画像中の位置を特定し、さらに、第１の被写体像の複数の特徴点にそれぞれ対応する第２の画像中の第２の被写体像の複数の特徴点を検出する際に、第１の被写体像の複数の特徴点のそれぞれの第１の画像中の位置に基づいて、第２の画像の探索領域を限定するよう構成されている。

以下、本実施形態における第２の画像の探索領域の限定について詳述する。図９の上側に示す第１の撮像系ＩＳ１と第２の撮像系ＩＳ２の配置の１例では、第１の撮像系ＩＳ１から第２の撮像系ＩＳ２までの図中のｘ軸方向の並進視差Ｐ_ｘが正の値となっている（Ｐ_ｘ＞０）。換言すれば、図９に示す例において、第２の撮像系ＩＳ２は、第１の撮像系ＩＳ１よりも右側に位置している。

図９および図１０を参照して、第１の画像中の特徴点が、第１の画像の左側領域に存在するケースを考える。図９および図１０を参照して説明するケースでは、第１の画像は、ｘ軸方向の中央を境界とし、左側領域および右側領域に分けられるものとする。

図３を参照して説明した第１実施形態と同様に、図９中の（ａ）～（ｃ）に示されているように、第１の画像中において左端に存在する特徴点に対応する第２の画像中の特徴点は、第１の撮像系ＩＳ１から被写体１００までの距離に応じて、ｘ軸方向において、図９中の（ａ）に示されている位置から、図９中の（ｃ）に示されている位置までシフトする。

一方、第１の画像中においてｘ軸方向の中心に存在する特徴点は、被写体１００が第１の撮像系ＩＳ１から測距開始距離と等しい距離だけ離れて位置している場合（被写体距離＝測距開始距離）、図９中の（ｄ）に示されているように、第１の画像中のｘ軸方向の中心に存在する特徴点に対応する第２の画像中の特徴点（図９中の（ｄ）の四角点）は、第２の画像の左端から右側にシフトした位置に存在する。

被写体１００が第１の撮像系ＩＳ１から測距開始距離より離れた任意の距離に位置している場合（被写体距離＝任意の距離）、図９中の（ｅ）に示されているように、第１の画像中のｘ軸方向の中心に存在する特徴点に対応する第２の画像中の特徴点（図９中の（ｅ）の四角点）は、図９中の（ｄ）に示されている位置から、右側にさらにシフトした位置に存在する。

さらに、被写体１００が無限遠に位置している場合（被写体距離＝無限遠）、図９中の（ｆ）に示されているように、第１の画像中のｘ軸方向の中心に存在する特徴点に対応する第２の画像中の特徴点（図９中の（ｆ）の四角点）は、図９中の（ｅ）に示されている位置から、右側にさらにシフトした位置に存在する。

このように、第１の画像中においてｘ軸方向の中心に存在する特徴点に対応する第２の画像中の特徴点は、第１の撮像系ＩＳ１から被写体１００までの距離に応じて、ｘ軸方向において、図９中の（ｄ）に示されている位置から、図９中の（ｆ）に示されている位置までシフトする。

第１の画像中の任意の特徴点が第１の画像の左側領域に存在する場合、第１の画像中の任意の特徴点は、ｘ軸方向において、第１の画像の左端からｘ軸方向の中心までの間の任意の位置に存在するのだから、第１の画像の左側領域中の任意の特徴点に対応する第２の画像中の特徴点の第２の画像中における位置は、図９中の（ａ）に示す位置と図９中の（ｆ）に示す位置との間に限定されることになる。

したがって、第１の画像中の任意の特徴点が第１の画像の左側領域に存在する場合、第１の画像の左側領域中の任意の特徴点に対応する第２の画像中の特徴点が位置し得る領域、すなわち、第１の画像に対応する第１の撮影領域の左側領域と第２の画像に対応する第２の撮影領域とが重複し得る領域は、第２の画像の全領域ではなく、第２の画像中の限定された領域となる。

図１０には、図９に示す第１の撮像系ＩＳ１と第２の撮像系ＩＳ２の配置の１例において、第１の画像に対応する第１の撮影領域の左側領域と第２の画像に対応する第２の撮影領域とが重複し得る領域が示されている。

ｘ軸方向において、第１の画像に対応する第１の撮影領域の左側領域と第２の画像に対応する第２の撮影領域とが重複し得る領域は、図９中の（ａ）に示す被写体１００までの距離が測距開始距離のときの第１の画像の左端の特徴点に対応する第２の画像中の特徴点の位置と、図９中の（ｆ）に示す被写体１００までの距離が無限遠のときの第１の画像中のｘ軸方向の中央に存在する特徴点に対応する第２の画像中の特徴点の位置との間の領域である。

第１の撮像系ＩＳ１から被写体１００までの距離が測距開始距離から無限遠の範囲にある場合、第１の画像の左側領域に存在する特徴点は、必ず、図１０に示すような、第１の画像に対応する第１の撮影領域の左側領域と第２の画像に対応する第２の撮影領域とが重複し得る領域内に存在することになる。

次に、図１１および図１２を参照して、第１の画像中の特徴点が、第１の画像の右側領域に存在するケースを考える。図３を参照して説明した第１実施形態と同様に、図１１中の（ａ）～（ｃ）に示されているように、第１の画像中において右端に存在する特徴点に対応する第２の画像中の特徴点は、第１の撮像系ＩＳ１から被写体１００までの距離に応じて、ｘ軸方向において、図１１中の（ａ）に示されている位置から、図１１中の（ｃ）に示されている位置までシフトする。

一方、第１の画像中においてｘ軸方向の中心に存在する特徴点は、被写体１００が第１の撮像系ＩＳ１から測距開始距離と等しい距離だけ離れて位置している場合（被写体距離＝測距開始距離）、図１１中の（ｄ）に示されているように、第１の画像中のｘ軸方向の中心に存在する特徴点に対応する第２の画像中の特徴点（図１１中の（ｄ）の四角点）は、第２の画像の左端から右側にシフトした位置に存在する。

被写体１００が第１の撮像系ＩＳ１から測距開始距離より離れた任意の距離に位置している場合（被写体距離＝任意の距離）、図１１中の（ｅ）に示されているように、第１の画像中のｘ軸方向の中心に存在する特徴点に対応する第２の画像中の特徴点（図１１中の（ｅ）の四角点）は、図１１中の（ｄ）に示されている位置から、右側にさらにシフトした位置に存在する。

さらに、被写体１００が無限遠に位置している場合（被写体距離＝無限遠）、図１１中の（ｆ）に示されているように、第１の画像中のｘ軸方向の中心に存在する特徴点に対応する第２の画像中の特徴点（図１１中の（ｆ）の四角点）は、図１１中の（ｅ）に示されている位置から、右側にさらにシフトした位置に存在する。

このように、第１の画像中においてｘ軸方向の中心に存在する特徴点に対応する第２の画像中の特徴点は、第１の撮像系ＩＳ１から被写体１００までの距離に応じて、ｘ軸方向において、図１１中の（ｄ）に示されている左端から、図１１中の（ｆ）に示されている位置までシフトする。

第１の画像中の任意の特徴点が第１の画像の右側領域に存在する場合は、第１の画像中の任意の特徴点は、ｘ軸方向において、第１の画像の右端からｘ軸方向の中心の間の任意の位置に存在するのだから、第１の画像中の任意の特徴点に対応する第２の画像中の特徴点の第２の画像中における位置は、図１１中の（ｃ）に示す位置と図１１中の（ｄ）に示す位置との間に限定されることになる。

図１２には、図１１に示す第１の撮像系ＩＳ１と第２の撮像系ＩＳ２の配置の１例において、第１の画像に対応する第１の撮影領域の右側領域と第２の画像に対応する第２の撮影領域とが重複し得る領域が示されている。

ｘ軸方向において、第１の画像に対応する第１の撮影領域の右側領域と第２の画像に対応する第２の撮影領域とが重複し得る領域は、図１１中の（ｄ）に示す被写体１００までの距離が測距開始距離のときの第１の画像の右端の特徴点に対応する第２の画像中の特徴点の位置と、図１１中の（ｃ）に示す被写体１００までの距離が無限遠であるのときの第１の画像中のｘ軸方向の中央に存在する特徴点に対応する第２の画像中の特徴点の位置との間の領域である。

第１の撮像系ＩＳ１から被写体１００までの距離が測距開始距離から無限遠の範囲にある場合、第１の画像の右側領域に存在する特徴点は、必ず、図１２に示すような、第１の画像に対応する第１の撮影領域の右側領域と第２の画像に対応する第２の撮影領域とが重複し得る領域内に存在することになる。

このような考え方は、図５に示すような第２の撮像系ＩＳ２が第１の撮像系ＩＳ１の左側に位置するような場合（Ｐ_ｘ＜０）であっても適用可能である。図１３には、第２の撮像系ＩＳ２が第１の撮像系ＩＳ１の左側に位置するケースにおいて、第１の画像に対応する第１の撮影領域の左側領域と第２の画像に対応する第２の撮影領域とが重複し得る領域を示している。図１４は、第２の撮像系ＩＳ２が第１の撮像系ＩＳ１の左側に位置するケースにおいて、第１の画像に対応する第１の撮影領域の右側領域と第２の画像に対応する第２の撮影領域とが重複し得る領域を示している。

図１３および図１４から明らかなように、第２の撮像系ＩＳ２が第１の撮像系ＩＳ１よりも左側に位置するケース（Ｐ_ｘ＜０）において、図１３に示されている第１の画像に対応する第１の撮影領域の左側領域と第２の画像に対応する第２の撮影領域とが重複し得る範囲と、図１４に示されている第１の画像に対応する第１の撮影領域の右側領域と第２の画像に対応する第２の撮影領域とが重複し得る範囲は異なったものとなる。

サイズ取得部３は、上で説明した原理を利用し、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の配置（すなわち、第２の撮像系ＩＳ２が、第１の撮像系ＩＳ１の右側に位置するか、左側に位置するかの情報）、および、検出された第１の被写体像の特徴点が、第１の画像の左側領域に存在するか、右側領域に存在するかの情報に基づいて、第２の画像の探索領域を限定することができる。

本実施形態では、サイズ取得部３は、上述の測距方法Ｓ１００の工程Ｓ１３０において、第１の画像に含まれる第１の被写体像の複数の特徴点を検出した際に、検出された第１の被写体像の複数の特徴点のそれぞれが、第１の画像の左側領域に存在するか、右側領域に存在するかを特定するよう構成されている。さらに、サイズ取得部３は、上述の測距方法Ｓ１００の工程Ｓ１５４において、第２の画像の探索領域の特定の際に、第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の配置（すなわち、第２の撮像系ＩＳ２が第１の撮像系ＩＳ１の右側に位置するか、左側に位置するかの情報）、および、検出された第１の被写体像の特徴点が、第１の画像の左側領域に存在するか、右側領域に存在するかの情報に基づいて、図９～図１４を参照して説明した原理に基づき、第２の画像の探索領域を限定するよう構成されている。

したがって、本発明の測距カメラ１においては、第１実施形態の測距カメラ１と比較して、対応特徴点検出処理において探索すべき第２の画像の探索領域が限定されているので、対応特徴点検出処理に要する時間をさらに短縮することができる。その結果、第１の被写体像の倍率ｍ_１と第２の被写体像の倍率ｍ_２の像倍比ＭＲに基づいて被写体１００までの距離を算出するための処理時間をさらに短縮することができる。

以上、本発明の測距カメラを図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではない。本発明の各構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、本発明の各構成に任意の構成のものを付加することができる。

本発明の属する分野および技術における当業者であれば、本発明の原理、考え方、および範囲から有意に逸脱することなく、記述された本発明の測距カメラの構成の変更を実行可能であろうし、変更された構成を有する測距カメラもまた、本発明の範囲内である。

また、図１に示された測距カメラのコンポーネントの数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意のコンポーネントが追加若しくは組み合わされ、または任意のコンポーネントが削除された態様も、本発明の範囲内である。また、測距カメラの各コンポーネントは、ハードウェア的に実現されていてもよいし、ソフトウェア的に実現されていてもよいし、これらの組み合わせによって実現されていてもよい。

また、図７および図８に示された測距方法Ｓ１００の工程の数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意の工程が、任意の目的で追加若しくは組み合され、または、任意の工程が削除される態様も、本発明の範囲内である。

また、図９～図１４を参照して説明した第２実施形態では、サイズ取得部３は、第１の画像中の第１の被写体像の複数の特徴点のそれぞれが第１の画像の左側領域に位置しているか、第１の画像の右側領域に位置しているかを特定し、さらに、第１の被写体像の複数の特徴点にそれぞれ対応する第２の被写体像の複数の特徴点を検出する際に、第１の被写体像の複数の特徴点のそれぞれが第１の画像の左側領域に位置しているか、第１の画像の右側領域に位置しているかに応じて、第２の画像の探索領域を限定しているが、サイズ取得部３による第１の画像中の第１の被写体像の特徴点の位置に基づく第２の画像の探索領域の限定は、これに限られない。

例えば、第１の画像をｘ軸方向に沿った３つの領域、すなわち、左側領域、中央領域、および右側領域に分けて考え、サイズ取得部３が、第１の画像中の第１の被写体像の複数の特徴点のそれぞれが第１の画像の左側領域、中央領域、および右側領域のいずれに存在するかを特定し、特定結果に基づいて第２の画像の探索領域を限定するよう構成されていてもよい。

サイズ取得部３が実行する対応特徴点検出処理における第１の画像の領域の分け方（例えば、第２実施形態のような左側領域および右側領域のような分け方）は、任意に設定することができる。本分野における当業者であれば、第１の画像および第２の画像の画素数や第１の撮像系ＩＳ１および第２の撮像系ＩＳ２の特性および配置に応じて、対応特徴点検出処理における第１の画像の領域の分け方を適切に設定することができるであろうし、そのような態様もまた、本発明の範囲内である。

１…測距カメラ ２…制御部 ３…サイズ取得部 ４…関連付情報記憶部 ５…距離算出部 ６…３次元画像生成部 ７…表示部 ８…操作部 ９…通信部 １０…データバス １００…被写体 Ｄ…第１の光学系と第２の光学系との間の光軸方向の奥行視差 Ｐ…並進視差 Ｐ_ｘ…ｘ軸方向の並進視差 Ｐ_ｙ…ｙ軸方向の並進視差 ＩＳ１…第１の撮像系 ＩＳ２…第２の撮像系 ＯＳ１…第１の光学系 ＯＳ２…第２の光学系 Ｓ１…第１の撮像素子 Ｓ２…第２の撮像素子 Ｓ１００…測距方法 Ｓ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０、Ｓ１５０、Ｓ１６０、Ｓ１７０、Ｓ１８０、Ｓ１９０…工程 Ｓ１５１～Ｓ１５７…工程

Claims (6)

1. 被写体からの光を集光し、第１の被写体像を形成するための第１の光学系と、前記第１の被写体像を撮像することにより、前記第１の被写体像を含む第１の画像を取得するための第１の撮像素子とを有する第１の撮像系と、
   前記第１の光学系に対して、前記第１の光学系の光軸方向に対して垂直な方向にシフトして配置され、前記被写体からの前記光を集光し、第２の被写体像を形成するための第２の光学系と、前記第２の被写体像を撮像することにより、前記第２の被写体像を含む第２の画像を取得するための第２の撮像素子とを有する第２の撮像系と、
   前記第１の画像中の前記第１の被写体像の複数の特徴点を検出し、前記第１の被写体像の前記複数の特徴点間の距離を測定することにより、前記第１の被写体像のサイズを取得し、さらに、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の前記第２の被写体像の複数の特徴点を検出し、前記第２の被写体像の前記複数の特徴点間の距離を測定することにより、前記第２の被写体像のサイズを取得するためのサイズ取得部と、
   前記サイズ取得部によって取得された前記第１の被写体像の前記サイズと前記第２の被写体像の前記サイズとの比として得られる前記第１の被写体像の倍率と前記第２の被写体像の倍率との像倍比に基づいて、前記被写体までの距離を算出するための距離算出部と、を備え、
   前記サイズ取得部は、前記第１の画像に対応する第１の撮影領域と前記第２の画像に対応する第２の撮影領域とが重複し得る前記第２の画像の探索領域中においてのみ、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する複数のエピポーラ線上を探索することにより、前記第２の画像中の前記第２の被写体像の前記複数の特徴点を検出することを特徴とする測距カメラ。
2. 前記第１の撮像系および前記第２の撮像系は、前記第１の撮像系および前記第２の撮像系の配置および特性から定まる測距開始距離と等しいまたはそれより離れた距離に位置する前記被写体を撮影したとき、前記第１の画像に対応する前記第１の撮影領域の全てが前記第２の画像に対応する前記第２の撮影領域内に収まるよう、構成されている請求項１に記載の測距カメラ。
3. 前記第１の光学系の焦点距離は、前記第２の光学系の焦点距離より長い請求項２に記載の測距カメラ。
4. 前記サイズ取得部は、前記第１の撮像系および前記第２の撮像系の前記配置および前記特性に基づいて、前記第１の画像に対応する前記第１の撮影領域と前記第２の画像に対応する前記第２の撮影領域とが重複し得る前記第２の画像の前記探索領域を特定するよう構成されている請求項２または３に記載の測距カメラ。
5. 前記サイズ取得部は、前記第１の被写体像の前記複数の特徴点のそれぞれの前記第１の画像中の位置を特定し、さらに、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の前記第２の被写体像の前記複数の特徴点を検出する際に、前記第１の被写体像の前記複数の特徴点のそれぞれの前記第１の画像中の前記位置に基づいて、前記第２の画像の前記探索領域を限定するよう構成されている請求項１ないし４のいずれかに記載の測距カメラ。
6. 前記サイズ取得部は、前記第１の被写体像の前記複数の特徴点のそれぞれが前記第１の画像の中央より左側領域に位置しているか、前記第１の画像の前記中央より右側領域に位置しているかを特定し、さらに、前記第１の被写体像の前記複数の特徴点にそれぞれ対応する前記第２の画像中の前記第２の被写体像の前記複数の特徴点を検出する際に、前記第１の被写体像の前記複数の特徴点のそれぞれが前記第１の画像の前記左側領域に位置しているか、前記第１の画像の前記右側領域に位置しているかに基づいて、前記第２の画像の前記探索領域を限定するよう構成されている請求項５に記載の測距カメラ。

Images