JP4858263B2 - ３次元計測装置 - Google Patents

Description

本発明は、ステレオ撮像手段とステレオ画像処理手段を備える3次元計測装置に関する。

本技術分野の背景技術として、例えば、特開２００４−３７２７０号公報（特許文献１）がある。該公報には、「光学条件を変化させて撮影するカメラに対して、レンズディストーションの影響を除去するキャリブレーション用データの測定装置を提供する」ことを目的とし、解決手段として、「マークが配置されたキャリブレーション用チャート１を、光学条件を変化させて撮影するカメラ２で撮影した、複数のチャート撮影画像を用いてカメラ２のキャリブレーション用データを求めるキャリブレーション用データ測定装置であって、前記チャート撮影画像からマークを抽出するマーク抽出部１３１と、抽出されたマークのマーク位置から、撮影された光学条件でのキャリブレーション用データを演算する内部パラメータ演算部１３４と、キャリブレーション用データと、前記チャート撮影画像の撮影された複数の光学条件とを用いて、カメラ２の変化する撮影光学条件に対応するキャリブレーション用データを算出する内部パラメータ関数演算部１６０とを備える」という技術が開示されている。

特開２００４−３７２７０号公報

複数の撮像部を持つステレオカメラ乃至マルチカメラにおいて、各々の撮像画像における被写体の画像情報を比較することで、被写体の3次元情報を計測することが可能である。その際に精度の良い３次元計測を行うためには、ズームレンズやフォーカスレンズの光学的な特性に起因する画像歪みの影響を除去することと、カメラパラメータと呼ばれる、カメラの焦点距離や画像中心やせん断（以下内部パラメータと記す）、及びカメラの空間中における位置・方位（以下外部パラメータと記す）などの幾何的な情報を正確に把握しておくことが必要となる。

上記特許文献１では、撮影光学条件としてズームの焦点距離やピントの位置が変化した場合の内部パラメータの変化を示す内部パラメータ関数をキャリブレーション時に作成し、運用時には測定したカメラの焦点距離を元に内部パラメータ関数から他の内部パラメータを算出し、それを初期値としてバンドル調整を行うことで最適な内部パラメータの取得を行っている。しかし、バンドル調整を行うためビデオカメラなどを用いた実時間での運用には適しておらず、また、一般のズーム可変なカメラにおいては、ズーム後にピントを合わせるためフォーカス位置を変えるなど、ズームとフォーカスを連携して動かす必要があるため、ズームまたはフォーカスの一方の変化のみに対応した内部パラメータの組を持つだけでは十分に精度の良いパラメータは取得できない。

また、上記特許文献１では単眼カメラについてのレンズ歪み補正情報と内部パラメータの変化を示す内部パラメータ関数のみしか記憶しないため、ステレオ画像処理を行う際には外部パラメータを都度算出しなくてはならないという問題がある。

そこで、本発明では二つ以上の撮像部からなるステレオカメラにおいて、各撮像部のレンズ歪みと内部パラメータに関する情報についてはズームとフォーカスの組み合わせに対応した複数の情報を、撮像部間の外部パラメータに関する情報についてはズームとフォーカスによらず共通の情報をそれぞれテーブルとして格納することで、ズーミングやフォーカシングを行った場合でも、適切なレンズ歪み情報やカメラパラメータを用いて高精度に3次元計測を行うことを目的とする。

上記目的は特許請求の範囲に記載の発明により達成される。

本発明によれば、ズーム及びフォーカスが可変なステレオカメラによる３次元計測装置において、ズーミングやフォーカシングを行った場合でも、適切なレンズ歪み情報やカメラパラメータを用いて高精度な３次元計測を行うことが可能となる。

以下、図面を用いて本発明の実施例を説明する。

図１は、本発明の第1実施例に係る3次元計測装置を示す模式図である。図1において０１０１＿１は第一の撮像部、０１０１＿２は第二の撮像部、０１０２はズーム・フォーカス制御部、０１０３はステレオ画像処理部、０１０４はカメラ情報格納部である。０１１０はステレオカメラ部である。

図１に示した3次元計測装置において、第一の撮像部０１０１＿１及び第二の撮像部０１０１＿２はそれぞれズーム及びフォーカスが可変な撮像部であり、ズームレンズ及びフォーカスレンズを含むレンズ群とシャッタや撮像素子やAGCやADやカメラ信号処理DSPやタイミングジェネレータ等から構成され、光電変換による撮像を行い、画像データを出力する。ステレオ画像処理を高精度に行うためには、第一の撮像部０１０１＿１の撮像画像と第二の撮像部０１０１＿２の撮像画像は同時露光で撮像されていることが好ましい。ズーム・フォーカス制御部０１０２は、不図示のユーザ入力部より入力したユーザ入力や、不図示の画像認識部から取得した画像認識結果などの入力をもとに第一の撮像部０１０１＿１または第二の撮像部０１０１＿２のズーム倍率やフォーカス位置を制御する。ステレオ画像処理を高精度に行うためには、なるべく撮像部間のズーム倍率やフォーカスを一致していることが好ましい。ただし、本構成を用いる上で、必ずしも撮像部間のズーム倍率やフォーカスが一致している必要はない。第一の撮像部０１０１＿１または第二の撮像部０１０１＿２のズーム倍率やフォーカス位置を決定するものとしては例えば、ズームレンズを動作させるステッピングモータのステップ位置や、フォーカスレンズを動作させるステッピングモータのステップ位置が一般的であり、ズーム・フォーカス制御部０１０２はシリアル通信などによりステッピングモータの現在のステップ位置からの移動量を制御することで、ズーム倍率やフォーカス位置を制御することが可能である。ステレオ画像処理部０１０３は第一の撮像部０１０１＿１と第二の撮像部０１０１＿２の出力する画像データを、ステレオ画像として取得する。また、ズーム・フォーカス制御部０１０２から第一の撮像部０１０１＿１と第二の撮像部０１０１＿２のズーム及びフォーカスの情報を取得し、カメラ情報格納部０１０４からズーム及びフォーカスの情報に応じたカメラ情報を取得する。ステレオ画像処理部０１０３は、このカメラ情報を用いてステレオ画像をステレオ画像処理し、被写体の3次元計測を行って、視差情報や距離情報や3次元位置情報や3次元計測の信頼性を示す評価値などを3次元情報として出力する。ステレオ画像処理には、レンズ歪み補正処理や平行化処理やノイズ除去を行うためのローパスフィルタ処理等の前処理や、エッジ検出等の特徴量演算処理、正規化相互相関や差分絶対値和等のブロックマッチングやspace-sweep法等の各種の相関演算処理を用いてステレオ画像間の対応点検索を行い視差情報を取得するステレオマッチング処理、ランクフィルタ処理やラベリング等により特異点の除去を行う後処理、視差情報を用いて距離情報を演算する距離計算処理などがあり、処理の途中で得られる情報、すなわち例えばステレオマッチング処理で対応点検索を行った場合の対応点の画像上の座標などを出力することもできる。カメラ情報格納部０１０４は、EEPROMやフラッシュメモリなどの記憶装置であり、第一の撮像部０１０１＿１と第二の撮像部０１０１＿２の出力する画像データを用いてステレオ画像処理を行う場合に必要な情報をカメラ情報として格納している。カメラ情報としては、例えば、第一の撮像部０１０１＿１及び第二の撮像部０１０１＿２の各撮像部についてのレンズ歪み補正情報や内部パラメータ、撮像部間についての外部パラメータなどがある。このうち、第一の撮像部０１０１＿１及び第二の撮像部０１０１＿２のズーム倍率やフォーカス位置に依存して変化する、レンズ歪み補正情報または内部パラメータを格納する場合には、ズーム倍率とフォーカス位置の組み合わせに対応した複数のレンズ歪み補正情報または内部パラメータを格納する。カメラ情報の格納法については後に詳細を記す。カメラ情報は事前にカメラキャリブレーション処理を行うことで取得可能であり、例えば工場出荷時や設置後の初期調整時に校正パターンなどを用いた既存のカメラキャリブレーション手、例えばZhangの用いた手法などで計測し、カメラ情報格納部に格納すればよい。ステレオカメラ部０１１０は前記の第一の撮像部０１０１＿１、第二の撮像部０１０１＿２、ズーム・フォーカス制御部０１０２、ステレオ画像処理部０１０３、カメラ情報格納部０１０４を含んだ構成により一台のステレオカメラを構築していることを示している。このとき、第一の撮像部０１０１＿１と第二の撮像部０１０１＿２は1つの筐体として固定されていると、撮像部間の外部パラメータが変化しにくく、経年変化に対する耐性が高くなるため好ましい。ただし、撮像部間の位置関係が既知で固定されている、あるいは、パンやチルトや平行移動を行うが、その移動量や移動後の撮像部間の位置関係が何らかの方法によって取得可能である場合には、必ずしも2つの撮像部が1つの筐体として固定されている必要はない。なお、ズーム・フォーカス制御部０１０２の行う撮像制御処理や、ステレオ画像処理部０１０３の行うステレオ画像処理は、通常はカメラ内のマイコンやDSPや画像処理LSIなどによって行われる。また、ズーム・フォーカス制御部０１０２やステレオ画像処理部０１０３がステレオカメラ部０１１０の外側にあり、PCに該当して撮像制御処理やステレオ画像処理を行う形態としても良い。

ここでは構成として２つの撮像部を用いた場合を示したが、撮像部は２つに限る必要はなく、異なる位置に設置した３つ以上の複数の撮像部であってもよい。また、ステレオ撮像部０２０１がミラーやプリズムを用いて構成され、１つの撮像素子から構成される１つの撮像部を持つ形態としても良い。また、２つの撮像部のうち一方がズームレンズ及びフォーかスレンズを持たない固定焦点の撮像部としても良い。

図２は本発明の第１実施例に係るカメラ情報格納部におけるカメラ情報の格納方法の一例を示す図である。図2において、横軸はズーム倍率、縦軸はフォーカス位置を示し、カメラ情報（１，１）はズーム倍率が第一のズーム倍率でフォーカス位置が第一のフォーカス位置にある場合のカメラ情報、カメラ情報（２，１）はズーム倍率が第一のズーム倍率でフォーカス位置が第二のフォーカス位置にある場合のカメラ情報、を指し、以下同様にズーム倍率とフォーカス位置の組み合わせ毎にカメラ情報が存在する。よってカメラ情報格納部０１０４は、ズーム倍率とフォーカス位置の組み合わせに応じた複数のカメラ情報を格納することになる。ここで、カメラ情報格納部０１０４が格納する複数のカメラ情報は、撮像部のズーム倍率やフォーカス位置に依存して変化するレンズ歪み補正情報または内部パラメータを指し、これらは撮像部毎に異なる値となりうるためそれぞれの撮像部について複数のカメラ情報を格納する必要がある。なお、撮像部間の外部パラメータについては、各撮像部のズーム倍率やフォーカス位置に依存せず不変なため、複数のカメラ情報として格納する必要はない。このように、撮像部のズーム倍率やフォーカス位置に依存して変化するレンズ歪み補正情報または内部パラメータを、ズーム倍率とフォーカス位置の組み合わせに応じて複数格納しておくことで、ズーム及びフォーカスが可変な撮像部を用いてステレオカメラを構築した場合でも、そのときのズーム倍率やフォーカス位置に適した最適なカメラ情報を用いて、ステレオ画像処理による3次元計測を行うことが可能である。

図３は本発明の第１実施例に係るズームレンズとフォーカスレンズの関係を考慮したカメラ情報の格納方法の一例を示す図である。図3において、横軸はズームレンズを動作させるステッピングモータのステップ位置（以下ズーム制御位置と記す）、縦軸はフォーカスレンズを動作させるステッピングモータのステップ位置（以下フォーカス制御位置と記す）、W端は光学ワイド端、T端は光学テレ端、F端はファー側メカ端、N端はニア側メカ端をそれぞれ示している。図中の実線で示した曲線は、合焦点位置が無限遠の場合のズーム制御位置とフォーカス制御位置の関係を示しており、点線で示した曲線は、合焦点位置が仕様の範囲内において最も近い位置（図中ではｘｍ）の場合のズーム制御位置とフォーカス制御位置の関係を示している。よって、実際のフォーカス制御が可能な実効範囲は図中の斜線で示した部分となり、フォーカス制御が可能な実効範囲はズーム制御位置によって変化する。例えば図３の例ではフォーカス制御が可能な実効範囲は被写界深度の深いＷ端側ほど狭く、また、ズーム制御位置が被写界深度の浅いＴ端に近いほど広くなる。よってカメラ情報格納部０１０４は、実際にはズーム制御位置がＷ端に近い場合はカメラ情報を少ないサンプル数で、ズーム制御位置がＴ端に近い場合はカメラ情報を多いサンプル数で格納すればよい。合焦点位置が最も近い位置の仕様値は、3次元計測を適用するアプリターゲットの要求仕様を充たすカメラの仕様値を参照すればよい。また、市販のディジタルカメラなどでは、マクロモードと呼ばれ、接写した被写体に焦点を合わすためフォーカス制御位置を図中の点線で示した曲線より、Ｎ端側で可動にする機能がある場合がある。そのためマクロモードでもステレオ画像処理を行いたい場合には、図中に点線で示した曲線とＮ端との間の範囲のカメラ情報も格納すればよい。ただし、接写時には撮像部間で被写体の見え方が大きく異なるため、ステレオ画像処理による3次元計測を行うには適していない。以上のように、ズーム制御位置とフォーカス制御位置に応じてカメラ情報の格納数を変えることで、カメラ情報の格納数を最適化し、メモリ量の削減を図ることができる。

図４は本発明の第１実施例に係るカメラ情報を格納するズーム制御位置とフォーカス制御位置を決定する方法の一例を示す第一の図である。図4において、（ａ）は第一の撮像部、（ｂ）は第二の撮像部についての図であり、図中において横軸はズーム制御位置、縦軸はフォーカス制御位置であり、ａは第一の撮像部におけるＷ端のズーム制御位置、ｂは第一の撮像部におけるＴ端のズーム制御位置、ａ’は第二の撮像部におけるＷ端のズーム制御位置、ｂ’は第二の撮像部におけるＴ端のズーム制御位置である。このとき、カメラ情報を格納するズーム制御位置をＷ端のズーム制御位置から同量のステップ位置αだけ移動した位置、すなわち第一の撮像部ではズーム制御位置ａ＋α、第二の撮像部ではズーム制御位置ａ’＋αから決定する。Ｗ端のズーム制御位置やＷ端とＴ端の間のステップ数はカメラ毎に個体差があるが、このようにＷ端からの相対的なステップ位置を用いることで、撮像部間のズーム倍率の差が小さいときのカメラ情報を格納することができるため、ステレオ画像処理を精度良く行うことができるようになる。カメラ情報を格納するズーム制御位置を決定するαは、ズーム倍率やズーム制御位置などを基準に決めればよい。例えばあらかじめズームを所定の倍率のみで使う、つまりプリセット値を使用する場合は、そのズーム倍率になるときのズーム制御位置を定めてαを決定すればよい。また、任意のズーム倍率でも用いたい場合には、レンズ歪み情報や内部パラメータがズーム制御位置の変化に対し連続的に変化することを考慮し、ズーム制御位置に対して一定の間隔になるようにαを決定しても良い。また、ここではW端のズーム制御位置ａ及びａ’を基準に考えているが、ステレオ画像処理を行うには厳密に撮像部間の焦点距離が等しいことが好ましく、ａ、ａ’の近傍で第一の撮像部と第二の撮像部の焦点距離が一致するズーム制御位置がそれぞれ検出できる場合は、そのズーム制御位置を基準位置としてａ、ａ’のかわりに用いても良い。同様にフォーカス制御位置については、図中のｃ、ｃ’がそれぞれズーム制御位置ａ＋α、ａ＋α’における合焦点位置が無限遠の場合のフォーカス制御位置であり、カメラ情報を格納するフォーカス制御位置はｃ、ｃ’からそれぞれ同量のステップ位置βだけ移動した位置、すなわち第一の撮像部ではフォーカス制御位置ｃ＋β、第二の撮像部ではフォーカス制御位置ｃ’＋βで決定すれば良い。カメラ情報を格納するフォーカス制御位置を決定するβは、フォーカス位置やフォーカス制御位置などを基準に決めればよい。例えばあらかじめフォーカスを所定の合焦点位置のみで使う、つまりプリセット値を使用する場合は、そのフォーカスになるときのフォーカス制御位置を定めてβを決定すればよい。また、任意のフォーカスでも用いたい場合には、レンズ歪み情報や内部パラメータがフォーカス制御位置の変化に対し連続的に変化することを考慮し、フォーカス制御位置に対して一定の間隔になるようにβを決定しても良い。図５は本発明の第１実施例に係るカメラ情報を格納するズーム制御位置とフォーカス制御位置を決定する方法の一例を示す第二の図である。図５では図４と同様にカメラ情報を格納するズーム制御位置とフォーカス制御位置をある基準位置からの相対位置として決定するが、ここではカメラ情報を格納するズーム制御位置をＷ端のズーム制御位置とＴ端のズーム制御位置との間隔に係数γをかけることで決定している。同様にカメラ情報を格納するフォーカス制御位置を合焦点位置が無限遠の場合のフォーカス制御位置と合焦点位置が仕様の中で最も近い位置の場合のフォーカス制御位置との間隔に係数δをかけることで決定している。このように、ズーム制御位置とフォーカス制御位置を２つの基準位置から定まる相対位置で決定しても良い。かように、カメラ情報を格納するズーム制御位置とフォーカス制御位置をある基準位置からの相対位置として決定することで、撮像部間のズームやフォーカスがなるべく近いときの各々の撮像部のカメラ情報を格納することができるため、精度の良いステレオ画像処理が可能になる。

図６は本発明の第１実施例に係るカメラ情報を用いたステレオ画像処理シーケンスの一例を示す図である。図６のステレオ画像処理シーケンスはステレオ画像処理部０１０３で実行される。

図6のステレオ画像処理シーケンスにおいて、ＳＴ０６０１では、第一の撮像部０１０１＿１及び第二の撮像部０１０１＿２から撮像画像を取得する。ＳＴ０６０２では、ズーム・フォーカス制御部０１０２から、第一の撮像部０１０１＿１のズーム制御位置及びフォーカス制御位置と第二の撮像部０１０１＿２のズーム制御位置及びフォーカス制御位置を取得する。ＳＴ０６０３では、第一の撮像部０１０１＿１のズーム制御位置及びフォーカス制御位置に対応するカメラ情報と、第二の撮像部０１０１＿２のズーム制御位置及びフォーカス制御位置に対応するカメラ情報と、ズームやフォーカスに依存しないカメラ情報、すなわち外部パラメータを取得する。このとき、各撮像部について、ズーム制御位置とフォーカス制御位置に対応するカメラ情報が存在する場合には、そのカメラ情報をそのまま取得すればよいが、対応するカメラ情報が存在しない場合には、近傍のズーム制御情報及びフォーカス制御情報で、対応するカメラ情報が存在する場合にそのカメラ情報で代用する。または、近傍の対応するカメラ情報が存在する複数のズーム制御情報及びフォーカス制御情報を参照し、実際のズーム制御情報及びフォーカス制御情報との関係から重みを付けてカメラ情報を線形に補間することで精度の良いカメラ情報を取得する形にしても良い。ＳＴ０６０４では、取得したカメラ情報を用いてレンズ歪み補正や倍率補正や平行化処理などの補正処理を行う。ＳＴ０６０５ではノイズ除去を行うためのローパスフィルタ処理等の前処理や、エッジ検出等の特徴量演算処理、正規化相互相関や差分絶対値和等のブロックマッチングやspace-sweep法等の各種の相関演算処理を用いてステレオ画像間の対応点検索を行い視差情報を取得するステレオマッチング処理、ランクフィルタ処理やラベリング等により特異点の除去を行う後処理などを行い、最終的に取得した視差情報からカメラ情報を用いて被写体の3次元情報を計測する。このようにズーム制御情報及びフォーカス制御情報を各撮像部から取得し、対応するカメラ情報をカメラ情報格納部０１０４から取得して用いることで、ステレオ画像処理部０１０３は各撮像部のズームやフォーカスが変わった場合でも高精度な3次元計測を行うことができる。なお、ＳＴ０６０４で示した補正処理及びＳＴ０６０５で示した3次元計測処理については、最終的なステレオ画像処理の出力結果を用いるアプリケーションの要求仕様に応じて必要な処理のみを行えばよい。よって、アプリケーションの要求仕様に応じて必要なカメラ情報の内容も異なる。例えば、被写体の分離に3次元情報を用いたい場合には、被写体の3次元形状を絶対位置として取得する必要は無く、被写体の相対視差が分かれば良いだけなので、3次元情報を計測するためのカメラ情報は必要なく、単にレンズ歪みを補正するためのレンズ歪み情報を持つだけで十分である。また、3次元形状測定装置のように、被写体の高精度な3次元形状を計測したい場合には、カメラ情報としてレンズ歪み補正情報のほかに、内部パラメータ及び外部パラメータを全て持つ必要がある。また、不図示のオンラインキャリブレーション装置などがあり、動画上からカメラ情報のいくつかが測定できる場合には、その情報についてはカメラ情報格納部０１０４から取得する必要はない。このようにアプリケーションの使用環境に応じてカメラ情報格納部０１０４が格納するカメラ情報の内容を決定することができる。

次に、カメラ情報格納部０１０４が格納する各カメラ情報の持ち方について示す。カメラ情報格納部０１０４が格納するカメラ情報は、図６に示したステレオ画像処理シーケンスにおいて、ＳＴ０６０４の各種の補正処理における補正前座標と補正後座標の対応付け
と、ＳＴ０６０５の3次元情報の計測処理における演算の係数にそれぞれ用いられる。このとき、補正処理に用いられるカメラ情報は補正前座標と補正後座標を対応付ける対応表として格納しておくことで、補正処理時の高速化を図ることができる。また、補正前座標から対応する補正後座標を、あるいは補正後座標から対応する補正前座標を演算するための演算式の係数という形で持っていてもよく、この場合は、補正時に逐次演算処理を行う必要があるが、格納するデータ量の低減を図ることができ、また複数の補正を組み合わせて一度の補正処理で行うことができ、補正の繰り返しによる画質低下を避けることができる。このような補正前座標と補正後座標を対応付ける演算式の係数としては、例えばWengのレンズ歪みモデルにおける、radial方向のレンズ歪み係数やtangential方向のレンズ歪み係数が有名である。また、3次元情報の計測処理において演算の係数として用いるカメラ情報は係数の値をそのまま格納すればよい。

図７は本発明の第１実施例に係る対応表を用いたレンズ歪み補正処理の一例を示す図である。図７における対応表を用いたレンズ歪み補正処理は、図6に示したステレオ画像処理シーケンスにおいてＳＴ０６０４で実行される。

図７において、（ａ）は第一の撮像部または第二の撮像部が出力する画像データでレンズ歪み補正前の撮像画像、（ｂ）はカメラ情報格納部０１０４からレンズ歪み補正情報として補正前座標と補正後座標の対応表を取得し、撮像画像（ａ）を対応表に従って補正した補正後画像、（ｃ）は補正に用いた対応画像である。補正前画像（ａ）及び補正後画像（ｂ）に示した点線は実際に画像中に映った被写体ではなく、歪みの形状を示すための補助線である。補正前画像（ａ）は代表的な歪みの形状であるたる型歪みが発生した結果、画像の中心から周辺に向けて放射状に歪んでいる。ステレオ画像処理部０１０２は、対応表を参照して、生成したい補正後画像の各画素に対応した補正前座標の位置を決定し、補正前座標に格納されている輝度データあるいは色データを補正後画像の座標に保存する。この例では、対応表に置いて補正後座標がピクセル精度で記載されているのに対し、補正前座標はサブピクセル精度で記載されているため、補正前座標の輝度データまたは色データは周辺のピクセル精度の座標から再近隣補間法や共線形補間法などによる補間処理を行うことで精度の良い補正処理を行うことができる。対応表に予め複数の補間先の座標を記すことで、データ量が増大するが補間時の演算処理の低減を図ることも可能である。このようにカメラ情報として補正処理時の補正前座標と補正後座標の対応表を格納しておくことで、補正処理の高速化を図ることができる。

また、図７では、対応表を用いた補正処理の例としてレンズ歪み補正処理を示したが、同様に撮像部間の倍率補正処理や平行化処理を行うことも可能である。撮像部間の倍率補正処理は撮像部毎の焦点距離値の相対比から補正前座標と補正後座標の対応をとることで行うことが可能である。また撮像部間で画像上の対応する点が同一の水平ラインに並ぶように補正する平行化処理は、例えば文献「徐剛、辻三郎、”3次元ビジョン”、共立出版（１９９８）」に書かれた方法を用い、撮像部毎の内部パラメータと撮像部間の外部パラメータと、それらのパラメータから算出可能な基礎行列を用いて、補正前座標と補正後座標の対応をとることで行うことが可能である。このように、各補正処理を順次行うのではなく、各補正処理を行った場合の最終的な補正後座標と補正前座標との対応をとることで、実際の画像補正処理を一度に行い、画像補正に伴う画質劣化の影響を低減しても良い。

図８は本発明の第１実施例に係る対応表を用いたレンズ歪み及び倍率補正処理の一例を示す図である。図８における対応表を用いたレンズ歪み及び倍率補正補正処理は、図6に示したステレオ画像処理シーケンスにおいてＳＴ０６０４で実行される。

図８において、（ａ）は第一の撮像部が出力する画像データでレンズ歪み補正前の撮像画像、（ｂ）はカメラ情報格納部０１０４からレンズ歪み補正情報として補正前座標と補正後座標の対応表を取得し、撮像画像（ａ）を対応表に従って補正した補正後画像、（ｃ）は
カメラ情報格納部０１０４からレンズ歪み補正と、第一の撮像部と第二の撮像部との間の倍率を補正する倍率補正を行う対応表を取得し、撮像画像（ａ）を対応表に従って補正した補正後画像、（ｄ）は第二の撮像部が出力する画像データを（ｂ）と同様に補正した補正後画像である。第一の撮像部の補正前画像（ａ）及び第一の撮像部のレンズ歪み補正後画像（ｂ）及び第一の撮像部の倍率補正後画像（ｃ）及び第二の撮像部のレンズ歪み補正後画像（ｄ）に示した点線は実際に画像中に映った被写体ではなく、歪みの形状や撮像部間の倍率差を明示するための補助線である。ここでは、補正処理としてレンズ歪み補正と撮像部間の倍率補正を行っているが、補正前画像（ａ）からレンズ歪み補正後画像（ｂ）を作成し、レンズ歪み補正後画像（ｂ）から倍率補正後画像（ｃ）を作成するのではなく、1つの対応表を用いて直接補正前画像（ａ）から倍率補正後画像（ｃ）を作成することで画像補正による画質劣化を低減することを実現している。同様にカメラ間の平行化処理を一度に行うことも可能である。このように２つの撮像部におけるカメラ情報が、それぞれの撮像部のズーム制御位置とフォーカス制御位置から特定できるため、撮像部毎のレンズ歪みを補正するだけでなく、撮像部間のカメラ情報を用いてステレオ画像処理を最適に行うための補正処理を一度の補正処理として行うことが可能である。

かように本実施例に拠れば、ズーミング及びフォーカシング昨日を有するステレオカメラにおいて、ズームやフォーカスの状態に依存して変化するカメラ情報については、ズームとフォーカスの組み合わせに応じた複数のカメラ情報を格納しておきステレオ画像処理に用いることで、ズーミングやフォーカシングを行った場合でも適切なカメラ情報を用いて高精度な３次元計測が行えるようになる。

図９は本発明の第２実施例に係る3次元計測装置を示す第一の模式図である。図９において０１０１＿１は第一の撮像部、０１０１＿２は第二の撮像部、０１０２はズーム・フォーカス制御部、０１０３はステレオ画像処理部、０１０４はカメラ情報格納部、０１１０はステレオカメラ部、０９１１はパンチルト制御部である。

図９に示した3次元計測装置において、ステレオカメラ部０１１０は図１で示したステレオカメラ部と同等の構成を持っており、パン方向またはチルト方向の回転が可能な回転台に取り付けされている。パンチルト制御部０９１１は、不図示のユーザ入力部より入力したユーザ入力や、不図示の画像認識部から取得した画像認識結果などの入力をもとに回転台を制御することで、ステレオカメラ部０１１０をパン方向またはチルト方向に動作させる。ステレオカメラ部０１１０はズーム機能及びフォーカス機能を有する撮像部を含むため、全体で監視向けドームカメラのようなパンチルトズーム機能を有するステレオカメラを構成している。図１０はパンチルトズーム機能を有するステレオカメラの一例を示す概観図である。図１０において、１０１０はズーム・フォーカス機能付きステレオカメラであり、ステレオカメラ部０１１０と同等の構成を持つ。１０１２は回転台であり、ズーム・フォーカス機能付きステレオカメラ１０１０のパン方向及びチルト方向に動作させることが可能である。

図１１は本発明の第２実施例に係るパンチルトが可能な3次元計測装置の動作の様子の一例を示す図である。

図１１において、１０１０はズーム・フォーカス機能付きステレオカメラ、１０１２は回転台、１０１３は被写体である。ズーム・フォーカス機能付きステレオカメラ１０１０は回転台１０１２に固定されて天井から下向きに設置されており、例えば屋内や庭先などの映像を取得することが可能である。図中の記号θは、ズーム・フォーカス機能付きステレオカメラ１０１０がチルト方向の動作をしたときの天井からの俯角であり、図１０においては１台のズーム・フォーカス機能付きステレオカメラ１０１０が天井からの俯角がそれぞれ４５度、９０度、１３５度となった場合の様子を示している。このようにステレオカメラが異なる俯角を持って静止した状態においては、等量のズーミングまたはフォーカシング動作を行った場合でも、レンズ歪みや内部パラメータの変化の仕方が変わってくるおそれがある。そのため、カメラ情報格納部０１０４は、パンチルトズーム機能付きステレオカメラ１００５の姿勢に応じたカメラ情報の変化量を事前に検出して補正情報として格納しておき、ステレオ画像処理０１１０がパンチルト制御部０９１１からズーム・フォーカス機能付きステレオカメラ１０１０の姿勢情報を取得し、対応する補正情報をカメラ情報格納部０１０４からカメラ情報と一緒に取得することで、このような姿勢差によるカメラ情報の変化を補正することができ、高精度な３次元計測処理を行うことができる。なお、ここでは、カメラ情報格納部０１０４に姿勢差に応じたカメラ情報の補正量を格納することを示したが、姿勢ごとのカメラ情報をそれぞれ事前に検出して格納しても良い。この場合格納するデータ量が増えるが、補正演算処理を行う必要が無いため、処理量の低減を図ることができる。また、俯角が０度から９０度の範囲である場合と９０度から１８０度の範囲である場合では、撮像の上下が反転する。このような場合のため、例えば第一の撮像部０１０１＿１及び第二の撮像部０１０１＿２が反転した映像を出力する、または、ステレオ画像処理部０１０３がステレオ画像処理を縦軸方向の座標を反転して行う機能を有する場合があるが、ステレオ画像処理に用いる画像の縦軸方向が反転することで、カメラ情報のうち例えばレンズ歪み補正情報や画像中心の情報なども画像の反転に応じた情報に対補正する必要がある。このような画像の反転に基づく補正情報をカメラ情報格納部０１０４に格納していても良い。

図１２は本発明の第２実施例に係る3次元計測装置を示す第二の模式図である。図１２において０１０１＿１は第一の撮像部、０１０１＿２は第二の撮像部、０１０２はズーム・フォーカス制御部、０１０３はステレオ画像処理部、０１０４はカメラ情報格納部、０１１０はステレオカメラ部、１２０５は温度検出部である。

図１１に示した3次元計測装置において、ステレオカメラ部０１１０は図１で示したステレオカメラ部と同等の構成を持っている。温度検出部１２０５は、ステレオカメラ部０１１０の第一の撮像部０１０１＿１及び第二の撮像部０１０１＿２の筐体の温度を絶対温度または、ある基準温度からの相対温度として計測することができる。ステレオカメラ部０１１０の姿勢差と同様に撮像時の温度によっても、レンズの膨張収縮や構造の変形などにより、ズーミングまたはフォーカシング動作を行った場合のレンズ歪みや内部パラメータの変化の仕方が変わってくるおそれがある。そのため、カメラ情報格納部０１０４は、第一の撮像部０１０１＿１及び第二の撮像部０１０１＿２の温度に応じたカメラ情報の変化量を事前に検出して補正情報として格納しておき、ステレオ画像処理０１１０が温度検出部１２０５から第一の撮像部０１０１＿１及び第二の撮像部０１０１＿２の温度情報を取得し、対応する補正情報をカメラ情報格納部０１０４からカメラ情報と一緒に取得することで、このような温度差によるカメラ情報の変化を補正することができ、高精度な３次元計測処理を行うことができる。なお、ここでは、カメラ情報格納部０１０４に温度に応じたカメラ情報の補正量を格納することを示したが、温度ごとのカメラ情報をそれぞれ事前に検出して格納しても良い。この場合格納するデータ量が増えるが、補正演算処理を行う必要が無いため、処理量の低減を図ることができる。

また、上記のようなステレオカメラの姿勢差や温度のほかに、各撮像部について、ズーミング時のズームレンズの移動方向や、フォーカシング時のフォーカスレンズの移動方向によっても、等量のズーム倍率及びフォーカス位置におけるカメラ情報が異なる可能性がある。このような場合には、例えばズーミング時に一度ズーム制御位置をＷ端に合わせて、Ｗ端方向からＴ端方向にズーミングを行うなどズームレンズの移動方向が常に一定となるようにすればよい。同様に、フォーカシング時にフォーカス制御位置を合焦点位置が無限遠の場合のフォーカス制御位置に合わせて、ファー側からニア側にフォーカシングを行うように、フォーカスレンズの移動方向が常に一定となるように制御すればよい。このようにズームレンズ及びフォーカスレンズの移動方向を一定になるように制御することで、ズーミング及びフォーカシングに伴うカメラ情報の再現性の向上を図ることができる。

かように本実施例によれば、ステレオカメラの姿勢差や使用時の温度に基づくカメラ情報の補正やズーミング及びフォーカシングの移動方向の制御を行うことで、再現性の高いカメラ情報を用いて高精度なステレオ画像処理による３次元計測を行うことができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

本発明は監視カメラや車載カメラや立体視カメラに利用可能である。

本発明の第1実施例に係る3次元計測装置を示す模式図である。 本発明の第1実施例に係るカメラ情報格納部におけるカメラ情報の格納方法の一例を示す図である。 本発明の第１実施例に係るズームレンズとフォーカスレンズの関係を考慮したカメラ情報の格納方法の一例を示す図である。 本発明の第１実施例に係るカメラ情報を格納するズーム制御位置とフォーカス制御位置を決定する方法の一例を示す第一の図である。 本発明の第１実施例に係るカメラ情報を格納するズーム制御位置とフォーカス制御位置を決定する方法の一例を示す第二の図である。 本発明の第１実施例に係るカメラ情報を用いたステレオ画像処理シーケンスの一例を示す図である。 本発明の第１実施例に係る対応表を用いたレンズ歪み補正処理の一例を示す図である。 本発明の第１実施例に係る対応表を用いたレンズ歪み及び倍率補正処理の一例を示すである。 本発明の第２実施例に係るパンチルトズーム機能を有するステレオカメラの一例を示す概観図である。 本発明の第２実施例に係る3次元計測装置を示す第一の模式図である。 本発明の第２実施例に係るパンチルトが可能な3次元計測装置の動作の様子の一例を示す図である。 本発明の第２実施例に係る3次元計測装置を示す第二の模式図である。

符号の説明

０１０１＿１ 第一の撮像部
０１０１＿２ 第二の撮像部
０１０２ ズーム・フォーカス制御部
０１０３ ステレオ画像処理部
０１０４ カメラ情報格納部
０１１０ ステレオカメラ部
０９１１ パンチルト制御部
１０１０ ズーム・フォーカス機能付きステレオカメラ
１０１２ 回転台
１１１３ 被写体
１２０５ 温度検出部

Claims (13)

1. ズーム及びフォーカスが可変な撮像手段を1つ以上含む複数の撮像手段と、
   該ズーム及びフォーカスが可変な撮像手段のズーミング及びフォーカシングを制御するズーム・フォーカス制御手段と、
   該複数の撮像手段が出力した撮像画像をステレオ画像処理し３次元情報を計測するステレオ画像処理手段と、
   該ステレオ画像処理手段がステレオ画像処理を行うために必要なカメラ情報を格納するカメラ情報格納手段と、
   を備え、
   該カメラ情報格納部が格納するカメラ情報のうち、該ズーム及びフォーカスが可変な撮像手段のズームの状態またはフォーカスの状態に依存して変わるカメラ情報については、ズームの状態とフォーカスの状態が特定の組み合わせである場合に、その状態に応じた複数のカメラ情報を格納し、
   該ステレオ画像処理手段が、該ズーム・フォーカス制御手段から該ズーム及びフォーカスが可変な撮像手段のズームの状態及びフォーカスの状態を取得して、該ステレオカメラ情報格納手段から対応するカメラ情報を取得し、ステレオ画像処理に用いること、
   を特徴とする3次元計測装置。
2. 請求項１に記載の3次元計測装置において、
   記ステレオ画像処理手段が、該ズーム・フォーカス制御手段から該ズーム及びフォーカスが可変な撮像手段のズームの状態及びフォーカスの状態を取得して、該ステレオカメラ情報格納手段から対応するカメラ情報を取得する際に、カメラ情報を格納した対応するズームの状態とフォーカスの状態の組み合わせが存在しない場合は，最も近いズームの状態とフォーカスの状態の組み合わせのカメラ情報を取得し，ステレオ画像処理に用いること、
   を特徴とする３次元計測装置。
3. 請求項１に記載の3次元計測装置において、
   前記ステレオ画像処理手段が、該ズーム・フォーカス制御手段から該ズーム及びフォーカスが可変な撮像手段のズームの状態及びフォーカスの状態を取得して、該ステレオカメラ情報格納手段から対応するカメラ情報を取得する際に、カメラ情報を格納した対応するズームの状態とフォーカスの状態の組み合わせが存在しない場合は，近傍の複数のズームの状態とフォーカスの状態の組み合わせのカメラ情報から補間して，ステレオ画像処理に用いること、
   を特徴とする３次元計測装置。
4. 請求項１に記載の3次元計測装置において、
   該カメラ情報格納部がズームの状態とフォーカスの状態の組み合わせに応じて複数のカメラ情報を持つ際に，ズームの状態に応じて格納するカメラ情報のサンプル数を異ならせること，
   を特徴とする３次元計測装置。
5. 請求項１に記載の3次元計測装置において、
   前記ズーム及びフォーカスが可変な撮像手段のズームの状態及びフォーカスの状態を示す情報として、ズームレンズを制御するステッピングモータのステップ情報と、フォーカスレンズを制御するステッピングモータのステップ情報をそれぞれ用いること、
   を特徴とする3次元計測装置。
6. 請求項１に記載の3次元計測装置において、
   前記カメラ情報格納手段が格納するカメラ情報のうち、前記ズーム及びフォーカスが可変な撮像手段のズームの状態またはフォーカスの状態に依存して変わるカメラ情報としては撮像手段毎のレンズ歪みまたは焦点距離または画像中心またはせん断に関する情報を、前記ズーム及びフォーカスが可変な撮像手段のズームの状態またはフォーカスの状態に依存しないカメラ情報としては撮像手段間の回転または並進に関する情報を含み、前記カメラ情報格納手段がカメラ情報としてこのうち１種類以上の情報を持つこと、
   を特徴とする3次元計測装置。
7. 請求項１に記載の3次元計測装置において、
   前記ステレオ画像処理手段が、ステレオ画像処理の前処理としてレンズ歪みを補正する際に、前記複数の撮像手段の間のズームの状態及びフォーカスの状態の相対差を前記カメラ情報格納手段の格納するカメラ情報を用いて同時に補正すること、
   を特徴とする3次元計測装置。
8. 請求項１に記載の3次元計測装置において、
   前記撮像制御装置が前記ズーム及びフォーカスが可変な撮像手段のズーミングまたはフォーカシングを制御するときに、ズームレンズの移動方向及びフォーカスレンズの移動方向が常に一定になるように制御すること、
   を特徴とする3次元計測装置。
9. ズーム及びフォーカスが可変な撮像手段を1つ以上含む複数の撮像手段と、
   該ズーム及びフォーカスが可変な撮像手段を制御するズーム・フォーカス制御手段と、
   該複数の撮像手段が出力した撮像画像をステレオ画像処理し３次元情報を計測するステレオ画像処理手段と、
   該ステレオ画像処理手段がステレオ画像処理を行うために必要なカメラ情報を格納するカメラ情報格納手段と、
   該複数の撮像手段が撮像する際の撮像環境を検出する撮像環境検出手段と、
   該複数の撮像手段のパン方向及びチルト方向の移動を制御するパンチルト制御手段と
   を備え、
   該カメラ情報格納手段が格納するカメラ情報のうち、該ズーム及びフォーカスが可変な撮像手段のズームの状態またはフォーカスの状態に依存して変わるカメラ情報については、その状態に応じた複数のカメラ情報を持ち、
   該ステレオ画像処理手段が、該ズーム・フォーカス制御手段から該ズーム及びフォーカスが可変な撮像手段のズームの状態及びフォーカスの状態を取得して、該ステレオカメラ情報格納手段から対応するカメラ情報を取得し、ステレオ画像処理に用いること、
   を特徴とする３次元計測装置。
10. 請求項９記載の3次元計測装置において、
    前記カメラ情報格納手段が前記複数の撮像手段のパンチルトの姿勢に応じたカメラ情報の補正データを格納しており、
    前記ステレオ画像処理手段がパンチルトの姿勢に応じて補正したカメラ情報を用いてステレオ画像処理を行うこと、
    を特徴とする3次元計測装置。
11. 請求項９記載の3次元計測装置において、
    前記カメラ情報格納手段が前記複数の撮像手段のズーム状態及びフォーカスの状態及びパンチルトの姿勢に応じた複数のカメラ情報を格納しており、
    前記ステレオ画像処理手段が前記複数の撮像手段のズーム状態及びフォーカスの状態及びパンチルトの姿勢に応じて補正したカメラ情報を用いてステレオ画像処理を行うこと、
    を特徴とする3次元計測装置。
12. ズーム及びフォーカスが可変な撮像手段を1つ以上含む複数の撮像手段と、
    該ズーム及びフォーカスが可変な撮像手段を制御するズーム・フォーカス制御手段と、
    該複数の撮像手段が出力した撮像画像をステレオ画像処理し３次元情報を計測するステレオ画像処理手段と、
    該ステレオ画像処理手段がステレオ画像処理を行うために必要なカメラ情報を格納するカメラ情報格納手段と、
    該複数の撮像手段が撮像する際の撮像環境を検出する撮像環境検出手段と、
    該複数の撮像手段の温度測定を行う温度検出部と、
    を備え、
    前記カメラ情報格納手段が前記複数の撮像手段の温度に応じたカメラ情報の補正データを格納しており、
    前記ステレオ画像処理手段が前記温度検出手段により取得した撮像時の温度に応じてカメラ情報を補正し、補正したカメラ情報を用いてステレオ画像処理を行うこと、
    を特徴とする３次元計測装置。
13. ズーム及びフォーカスが可変な撮像手段を1つ以上含む複数の撮像手段と、
    該ズーム及びフォーカスが可変な撮像手段を制御するズーム・フォーカス制御手段と、
    該複数の撮像手段が出力した撮像画像をステレオ画像処理し３次元情報を計測するステレオ画像処理手段と、
    該ステレオ画像処理手段がステレオ画像処理を行うために必要なカメラ情報を格納するカメラ情報格納手段と、
    該複数の撮像手段が撮像する際の撮像環境を検出する撮像環境検出手段と、
    該複数の撮像手段の温度測定を行う温度検出部と、
    を備え、
    前記カメラ情報格納手段が前記複数の撮像手段のズーム状態及びフォーカスの状態及び温度に応じた複数のカメラ情報を格納しており、
    前記ステレオ画像処理手段が前記複数の撮像手段のズーム状態及びフォーカスの状態及び温度に応じて補正したカメラ情報を用いてステレオ画像処理を行うこと、
    を特徴とする3次元計測装置。

Images