JP3924576B2 - 写真測量による３次元計測方法及び装置 - Google Patents

Description

本発明は、２枚以上のステレオ画像を用いて写真解析における計測点の対応付けを行うためのものであり、特にデジタル写真画像を用いてコンピュータ解析による三次元立体計測を行う方法及び装置に関する。

従来からステレオ画像の解析、特にデジタル画像を用いて当該画像に写されている被写体をコンピュータ解析する技術は、写真測量の分野などで用いられており、特に地形図作成のために利用されている。

このステレオ画像のコンピュータ解析には、少なくとも２台のカメラの位置関係を導き出し、当該２台のカメラにおいて撮影された写真画像にそれぞれ写し込まれている計測点を対応付ける必要がある。具体的には、一つの写真画像に写し込まれている計測点を他の写真画像において指定し、複数の写真画像上での２次元座標及びカメラの三次元座標やその向きを利用して、計測点の三次元座標を導く。

写真から対象物の３次元を復元する写真測量においては、視差のある２枚以上の写真のうち、被写体の同じ点（対応点）を指定する。この対応点をいかに正確に対応付けるかによって、より精度の高い三次元座標を算出するかが課題となっている。

被写体中の任意の点である計測点を複数の写真において、当該写真上の座標位置に対応付ける作業は、目視によるマニュアル操作では正確に対応付けることが困難である。よって、特許第３３１６６８２号公報（特許文献１）には、コンピュータを利用したパターンマッチングなどの相関処理により行う技術が開示されている。
特許第３３１６６８２号公報

しかし、写真測量の対象となる被写体はさまざまであり、崖の地滑りの調査などに用いる場合は、被写体に近づいて撮影することが困難である。また、広い領域にわたって写真撮影を行う必要がある場合、次の方法が考えられるが、いずれも以下の問題があった。

まず、第１に、撮影位置から遠い距離にある被写体を広い領域で撮影するために、焦点距離の短いカメラで撮影した広角写真を用いて、複数枚の視差のある広角画像を撮影し、これを用いて三次元測量を行う方法がある。この場合は、焦点距離の短いカメラで撮影した広角画像を用いているので、被写体の単位面積あたりに相当する写真の画素数が少なくなるため、写真画像の一画素あたりに相当する被写体の領域が大きくなり、その結果、画像に写っている特徴がぼやけてしまう。この現象は、特に写真画像を拡大表示した時に顕著となる。このため、視差のある２つの写真画像を用いて指定した対応点は、被写体の位置を正確に特定しにくく、写真を精度よく対応付けすることが困難であった。

第２に、焦点距離の長いカメラで撮影した望遠画像を用い、同じ撮影位置から撮影範囲の一部がオーバーラップするように複数枚の写真を撮影し、これを複数枚つなぎ合わせて一枚の大きな連結画像とし、当該合成画像を用いて三次元測量を行う方法がある。この場合は、被写体の単位面積あたりに写っている写真の画素数が多くなり、一画素あたりに投影されている被写体の領域が狭いため、写真に写っている特徴は明確となり、上記の問題点は解消する。

しかし、連結画像を作成する作業過程において、隣り合う望遠画像をつなぎ合わせていく場合、写真の光軸が異なる複数枚の写真をつなぎ合わせるため、写真画像のつなぎ合わせの段階で、２枚の写真の間にわずかに誤差が生じてしまう。特に写真画像においては、画像の端部領域においてはレンズの収差に基づく被写体像のゆがみが大きく、複数枚の写真を互いの端部に被写体が共通するようにして撮影し、当該複数枚をつなぎ合わせる場合において、ずれが大きくなりやすい。これを被写体全体が撮影されている連結画像ができるまで、繰り返しつなぎ合わせていくと最後に連結された画像は、本来の画像の位置からのずれが累積的に大きくなってしまい、精度の高い連結画像を得ることが困難であった。すなわち、連結画像自体が被写体の真の像から誤差を有するものであるため、正確に対応点を指定した場合であっても、得られた測量結果は誤差を含むものであった。

したがって、本発明が解決しようとする技術的課題は、写真測量における計測点の対応付けにおいて、より高精度に対応付けを行うことができる計測点の対応付け方法及び装置を提供することである。

本発明は、上記技術的課題を解決するために、以下の３次元計測方法を提供する。

本発明の第１態様によれば、基準位置に配置されたカメラ及び前記基準位置と異なる検査位置に配置されたカメラによってそれぞれ被写体を撮影した複数枚の写真画像を用い、前記複数枚の写真画像に共通して写っている基準点の前記写真画像中の座標値に基づいて前記基準位置及び検査位置の撮影位置関係を演算し、当該撮影位置関係の情報に基づいて前記写真画像中の任意の計測点の座標値から前記計測点の被写体空間中の三次元位置情報を計測する３次元計測方法であって、
前記基準位置及び前記検査位置からそれぞれ撮影された前記写真画像として、焦点距離が短い状態で撮影された広角画像と、前記広角画像と同じ撮影位置から撮影領域の一部を撮影した焦点距離がより長い状態で撮影された少なくとも１枚の望遠画像を用いて、前記望遠画像を同じ撮影位置から撮影された前記広角画像中に合成表示した合成写真画像を前記撮影位置ごとに作成して、前記複数枚の合成写真画像とし、
前記撮影位置ごとに作成された前記合成写真画像において、撮影領域内に共通して写っている基準点を選択し、
前記基準点の前記複数の合成写真画像中の座標値に基づいて、前記基準位置及び検査位置の撮影位置関係を演算する３次元計測方法を提供する。

本発明の第２態様によれば、前記合成写真画像は、前記同じ撮影位置から撮影された前記広角画像と望遠画像とに共通して写っている基準点を４点以上選択し、
前記広角画像と望遠画像中における前記基準点の座標値に基づいて、射影変換式を算出し、当該射影変換式により前記望遠画像を広角画像中に合成表示することにより作成する第１態様の３次元計測方法を提供する。

本発明の第３態様によれば、前記合成画像は、前記変換式に基づいて前記望遠画像を前記広角画像中に射影変換した変換領域に外接する外接枠のＸ軸方向寸法及びＹ軸方向寸法の前記望遠画像のＸ軸方向寸法及びＹ軸方向寸法に対する割合としてそれぞれ導かれるＸ軸スケール及びＹ軸スケール、及び射影変換式に基づいて、当該変換望遠画像を前記広角画像中に合成表示することにより作成される第２態様の３次元計測方法を提供する。

本発明の第４態様によれば、前記変換望遠画像は、前記望遠画像の各点を下記式により変換することによって作成される第３態様の３次元計測方法を提供する。

上記式において、ｘは望遠画像中の任意の点のＸ座標、ｙは望遠画像中の任意の点のＹ座標、ｘ_１６は変換望遠画像のＸ座標、ｙ_１６は変換望遠画像のＹ座標、ＳｘはＸ軸スケール、ＳｙはＹ軸スケール、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，ａ，ｂ，ｃはそれぞれ射影変換式の定数を示す。

本発明の第５態様によれば、基準位置に配置されたカメラ及び前記基準位置と異なる検査位置に配置されたカメラによってそれぞれ被写体を撮影した複数枚の写真画像を用い、前記複数枚の写真画像に共通して写っている基準点の前記写真画像中の座標値に基づいて前記基準位置及び検査位置の撮影位置関係を演算し、当該撮影位置関係の情報に基づいて前記写真画像中の任意の計測点の座標値から前記計測点の被写体空間中の三次元位置情報を計測する３次元計測装置であって、
前記基準位置及び前記検査位置からそれぞれ撮影された前記写真画像として、焦点距離が短い状態で撮影された広角画像と、前記広角画像と同じ撮影位置から撮影領域の一部を撮影した焦点距離がより長い状態で撮影された少なくとも１枚の望遠画像との写真画像データを入力する画像入力手段と、
前記画像入力手段により入力された写真画像の任意の点について当該写真画像上における座標値を入力する座標入力手段と、
前記画像入力手段により入力された写真画像データのうち、前記望遠画像を同じ撮影位置から撮影された前記広角画像中に合成した合成写真画像を前記撮影位置ごとに作成する画像合成手段と、
前記撮影位置ごとに作成された前記合成写真画像において、撮影領域内に共通して写っている被写体の同じ位置についての前記座標入力手段により入力された座標値を、前記基準点の座標値とし、当該座標値に基づいて、当該写真画像の撮影位置関係を演算する位置関係演算手段と、
前記合成写真画像に写っている前記被写体の測定位置について、前記座標入力手段により入力された座標値を計測点の座標値とし、前記位置関係演算手段により演算された前記撮影位置関係の情報に基づいて前記合成写真画像に写っている前記計測点の前記被写体中の３次元座標を演算する計測点演算手段とを備える３次元計測装置を提供する。

本発明の第１態様によれば、望遠画像と広角画像とを用い、望遠画像中の被写体像を広角画像中の被写体像に一致させるように、望遠画像と広角画像とを見かけ上合成する。すなわち、合成画像は、当該合成写真画像の表示においては、当該一致する被写体像については、望遠画像を表示する。すなわち、合成写真画像は、その一部の領域については、望遠画像の精細な情報が用いられているので、当該領域については、精細な画像情報を有している。そして、当該望遠画像を合成した撮影領域について基準点の選択を行うことにより、被写体の同じ点を精度良く選択することができ、高精度に位置情報の演算及び計測点の被写体空間中の３次元位置情報を計測することができる。

本発明の第２態様によれば、合成写真画像の作成時において、広角画像と望遠画像の光軸中心にずれが生じるような場合であっても、当該望遠画像を射影変換することにより、望遠画像を広角画像の光軸から撮影したように変形して両写真画像の被写体像を一致させることができる。したがって、合成写真画像の作成時において、当該被写体像のずれの誤差を少なくし、被写体にきわめて近い被写体像を有する合成写真画像を作成することができる。

本発明の第３、４態様によれば、射影変換により縮小される望遠画像の変換領域に外接する外接枠を用いて変換前後の望遠画像の倍率としてのＸ軸スケール及びＹ軸スケールを求めることにより、射影変換時に望遠画像を縮小することなく射影変換することができる。したがって、縮小による望遠画像の画素数の減少をなくすことができ、高精細な画像を広角画像上に重ね合わせて表示することができる。

以下、本発明の一実施形態に係る３次元計測装置について、図面を参照しながら説明する。

本実施形態にかかる３次元計測装置は、２箇所以上から撮影された被写体中に存在する任意の計測点の三次元座標を計測するものである。３次元計測装置は、写真画像上の座標を元に、バンドル法により三次元座標を算出する方法であって、写真画像座標の計測（写真画像における被写体上の所要の基準点の座標の計測）を行った後、写真画像の精密解析（標定要素及び基準計測点の三次元座標についての近似値に基づく写真画像の精密解析による標定要素及び基準点の三次元座標の算出、並びに必要な任意の計測点の三次元座標）により行われる。

標定要素としては、写真主点位置の二次元座標及び画面距離等の内部標定要素、写真画像の歪み係数、並びに、被写体空間における適宜の座標系における写真撮影時のカメラの位置及び傾きに関する３つの移動量及び３つの回転量等の外部標定要素を例として挙げることができる。内部標定要素が既知であれば、それ以外の標定要素を求めることとなる。

本装置は、写真画像を入力し、解析演算するためのコンピュータで構成される。写真画像はデジタルカメラによって撮影されたものが好ましいが、フィルムカメラによって撮られた写真をスキャナなどでデジタル化したものであってもよい。カメラは、内部標定がなされている写真計測用のものでもよいし、内部標定がなされていない汎用のデジタルカメラであってもよい。コンピュータは、汎用のものを用いることができ、コンピュータに後述するような処理を行わせるプログラムを、当該プログラムが記憶された記憶媒体を用いてコンピュータにインストールすることにより駆動する。

本装置において用いられる写真画像は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等を撮像素子とするデジタルスチルカメラやデジタルビデオカメラを用いて撮影等により得られるデジタル情報であることが最も望ましいが、例えばアナログスチルカメラやアナログビデオカメラを用いた撮影等により得られるアナログ情報をデジタル情報に変換したものを用いることもできる。デジタル情報として得た写真画像は、コンピュータで直接取り扱うことができる。なお、計測精度等の必要に応じ、前記デジタルカメラ等の撮影機の解像度、撮影距離、撮影角度及び基準計測点を撮影する数等を任意に選択することができる。また、紙やプラスチックフィルム等に形成した写真画像のハードコピーを直接用いることもでき、そのようなハードコピーを画像スキャナ等によりデジタル情報化して用いることもできる。

図１に本発明の実施形態に係る写真測量装置のブロック図を示す。本写真測量装置１は、カメラ７及びキーボードやマウスなどの入力装置８と接続するためのインターフェース部２、装置全体の制御を司る制御演算部３、写真画像などを表示する表示部４、解析される写真やデータなどの蓄積領域及び演算領域として機能する記憶部５、及び上記プログラムがインストールされることによってシステムプログラムとして機能するシステムプログラム記憶部６を備えている。

制御演算部３には、後述するように、システムプログラムにより駆動され写真測量を実行するためのブロック３ａ〜３ｄが設けられている。これらの各ブロックは、それぞれ単独で、または装置内の他のブロックと協働して、以下に示す処理を行う機能ブロックとして機能する。

次に、図１の写真測量装置を用いて写真測量を行う場合の処理の流れについて説明する。図２は、図１の写真測量装置を用いて写真測量を行う場合の処理の流れを示すフロー図である。本装置１を用いて写真測量を行う場合には、以下に示す各ステップの処理は、主に装置の制御演算部３の各ブロック３ａ〜３ｃが処理を司る。

まず、ステレオ画像を撮影し当該写真画像を装置１に送信して、画像記憶部５に記憶させ、操作時に表示部４に当該画像を表示させる（＃１）。ステレオ画像は、カメラ７を用いて同じ被写体を異なる位置から撮影した２枚以上の写真画像である。以下、本実施形態では、同じ位置から撮影した広角画像と望遠画像を一組とし、それとは異なる位置から撮影したもう一組の広角画像と望遠画像の、合計４枚の写真画像を用いた場合について説明する。写真画像は、一方の位置から撮影した広角画像と望遠画像の１組の画像を基準画像、他の１組を検査画像として区別する。２つの撮影場所から撮影した写真画像のうち、どちらの組の写真画像を基準画像とするかは自由であり、任意の１組を選択することができる。

本実施形態においては、上述のように、ステレオ画像の撮影において、それぞれの撮影位置において、カメラの焦点距離が異なる複数の写真を撮影する。すなわち、被写体を焦点距離が短く広角で撮影した広角画像と、同じ撮影位置から当該被写体（広角画像に撮影された被写体の一部分）を、焦点距離がより長いカメラを用いた望遠画像を撮影する。なお、望遠画像は、広角画像中の一部分を撮影したものであり、２枚以上であってもよい。さらに、望遠画像は、広角画像と同一場所からの撮影であれば、カメラの光軸の方向を変えて撮影した画像であってもよい。本実施形態では、理解の便宜のため、望遠画像は、それぞれの撮影位置に置いて１枚ずつ撮影したものとして説明を進める。後述するように、望遠画像は、基準点及び計測点の入力時において、その座標計測のために用いられるものであり、広角画像中の基準点及び計測点として適当な部分を撮影するようにすることが好ましい。また、本実施形態において用いる広角画像や望遠画像は、予めレンズの歪みを補正しておくことが望ましいが、絶対条件ではない。

図３は、写真測量を行う場合についての座標系を示す図である。２つのカメラＡ、カメラＢによってそれぞれ撮影された写真画像１１０、２１０は、それぞれの光軸中心１００ａ，２００ａに対して、それぞれカメラの光軸方向をＺ軸とし、写真画像の長手方向をＸ軸、短手方向をＹ軸とする。原点は、以下に示す各写真上における座標系において各写真の左上コーナー部とする。したがって、カメラの傾きに応じてＸ軸は地表Ｅに平行となるとは限らない。本実施形態においては、基準画像を撮影したカメラを基準に３次元座標を特定する。すなわち、カメラＡにより撮影された写真画像１１０を基準画像とした場合は、Ｘ１，Ｙ１，Ｚ１軸を基準座標系として採用する。以下、カメラＡを基準カメラとし、カメラＡにより撮影された写真画像を基準画像とした場合について説明を進める。

本実施形態において、写真測量に用いられる写真画像は、例えば、次の図４Ａ，図４Ｂ，図５Ａ，図５Ｂに示すようなものである。すなわち、図４Ａは、カメラＡにより撮影された広角画像（基準画像）、図４ＢはカメラＢにより撮影された広角画像（検査画像）である。図５Ａは、カメラＡにより撮影された望遠画像の１つ、図５ＢはカメラＢにより撮影された望遠画像の１つを示している。これらの写真画像は、当該写真画像単位でＸＹ座標系を用いて画像中の任意の点を２次元的に表すことができる。

次に広角画像に望遠画像を合成し（＃２）、望遠画像を広角画像の位置に対応づけて表示部４に表示する。当該合成処理は、主に写真測量装置の画像合成部３ｃが司る。図６に広角画像と望遠画像の合成処理についての詳細なフロー図を示す。なお、本実施形態において合成画像は、望遠画像と合成画像が完全に融合し１つの画像とすることで望遠画像の精細さが失われるものではなく、望遠画像の精細さを維持しつつ、装置の表示部４上で表示される時に、どのように重ね合わせるかに用いられる演算処理を意味するものである。

まず、同じ位置から撮影した広角画像と望遠画像について、被写体の同じ箇所が撮影されている広角画像と望遠画像上の座標位置を合成基準点として４点以上（本実施形態では４点）指定する（＃２１）。具体的に、図７を用いて説明する。図７は、撮影点１００ａ（図３参照）から撮影した広角画像と望遠画像である。図７に示すように、広角画像と望遠画像について、被写体の同じ点を示す合成基準点１１ａ〜１１ｄ、１２ａ〜１２ｄを４点ずつ指定する。当該合成基準点１１ａ〜１１ｄ、１２ａ〜１２ｄの指定は、表示部４に表示されている広角画像と望遠画像を参照しながら入力装置８を操作して入力する。当該入力された点は基準点指定部３ａにより合成基準点１１ａ〜１１ｄ、１２ａ〜１２ｄとして認識される。このとき、被写体に写っている物体の端部分など被写体の特徴部分を合成基準点として指定すると、広角画像と望遠画像について同じ点を指定しやすい。この合成基準点の広角画像上の座標をそれぞれ１１ａ（ｘ_１１ａ，ｙ_１１ａ）、１１ｂ（ｘ_１１ｂ，ｙ_１１ｂ）、１１ｃ（ｘ_１１ｃ，ｙ_１１ｃ）、１１ｄ（ｘ_１１ｄ，ｙ_１１ｄ）とし、望遠画像上の座標をそれぞれ、１２ａ（ｘ_１２ａ，ｙ_１２ａ）、１２ｂ（ｘ_１２ｂ，ｙ_１２ｂ）、１２ｃ（ｘ_１２ｃ，ｙ_１２ｃ）、１２ｄ（ｘ_１２ｄ，ｙ_１２ｄ）とする。この時、指定される一組の座標を取得するには、パターンマッチングを利用して、自動化を図ることもできる。

４点以上の対応付けをして得られた４組の合成基準点の座標を式（１）で示される射影変換式に代入することにより、式（１）の９個の定数（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，ａ，ｂ，ｃ）を算出する（＃２２）。

式（１）において、ｘ_１２、ｙ_１２は望遠画像側の合成基準点の座標１２ａ〜１２ｄで、ｘ_１１、ｙ_１１は広角画像側の合成基準点の座標１１ａ〜１１ｄを示す。

この４組以上の合成基準点の入力により、望遠画像を広角画像に重ねるための定数（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，ａ，ｂ，ｃ）を求めることができ、合成画像を作成することが可能である。しかし、この定数をそのまま適用し、望遠画像１２０を広角画像１１０に合成すると、望遠画像１２０が縮小され、画素数が減るため、画像の精細さが失われてしまう。また、合成画像を表示する際に望遠画像を元画像として上記各定数が求められた式（１）より変形しながら、表示する方法が考えられるが、当該合成画像を表示する装置に過度の演算を課すことになり、合成画像の表示スピードが遅くなる。そのため、以下の処理を行う。

具体的には、図８に示すように、望遠画像１２０の外枠の座標を上記各定数が求められた式（１）を用いて変換する。具体的には、望遠画像１２０の４つのコーナー部１３ａ〜１３ｄの座標を、式（１）により変換すればよい。当該望遠画像１２０の４つのコーナー部１３ａ〜１３ｄが式（１）により変換された点を外枠変換点１４ａ〜１４ｄとする。ここで、その座標を１４ａ（Ｘ_１４ａ，Ｙ_１４ａ）、１４ｂ（Ｘ_１４ｂ，Ｙ_１４ｂ）、１４ｃ（Ｘ_１４ｃ，Ｙ_１４ｃ）、１４ｄ（Ｘ_１４ｄ，Ｙ_１４ｄ）とする（＃２３）。

次に図９に示すように、外枠変換点の座標１４ａ〜１４ｄより、当該外枠変換点を結ぶ領域に外接し、かつ横方向がＸ軸に沿いかつ横方向がＹ軸に沿う矩形の外接枠１５を演算する（＃２４）。具体的には、外枠変換点の座標１４ａ〜１４ｄのうち、Ｘ座標の最大値と最小値、Ｙ座標の最大値と最小値とを検索し、それぞれ１５ａ（Ｘ最大、Ｙ最小）、１５ｂ（Ｘ最大、Ｙ最大）、１５ｃ（Ｘ最小、Ｙ最大）、１５ｄ（Ｘ最小、Ｙ最小）の組み合わせにより４点の座標を決定し、当該座標が示す点で囲まれた範囲を外接枠１５とすればよい。また、外接枠１５のＸ軸方向の大きさＸｏ（１５ａと１５ｄとの差）及び外接枠１５のＹ軸方向の大きさＹｏ（１５ｃと１５ｄとの差）を求め、望遠画像１２０全体のＸ軸方向の大きさＸａ（１３ａと１３ｄとの差）および望遠画像１２０全体のＹ軸方向の大きさＹａ（１３ｃと１３ｄとの差）の情報と比較し、式（２）に基づいて、Ｘ軸スケールＳｘ、及びＹ軸スケールＳｙを求める（＃２６）。ここで、Ｘ軸スケールＳｘ、及びＹ軸スケールＳｙは望遠画像の精細さを失わないようにするためのスケールである。

式（２）において、ＳｘはＸ軸スケール、ＳｙはＹ軸スケール、Ｘａは望遠画像全体のＸ軸方向の大きさ、Ｘｏは外接枠のＸ軸方向の大きさ、Ｙａは望遠画像全体のＹ軸方向の大きさ、Ｙｏは外接枠のＹ軸方向の大きさを示す。

上記において求められたＸ軸スケールＳｘ、及びＹ軸スケールＳｙに基づいて、式（３）に外枠変換点の座標１４ａ〜１４ｄを入力することで、変換望遠画像枠を算出することができる。具体的には、図１０に示すように、外枠変換点の座標１４ａ〜１４ｄを式（３）に入力すれば、それぞれ対応する変換望遠画像枠のコーナー部の座標１６ａ（ｘ_１６ａ，ｙ_１６ａ），１６ｂ（ｘ_１６ｂ，ｙ_１６ｂ），１６ｃ（ｘ_１６ｃ，ｙ_１６ｃ），１６ｄ（ｘ_１６ｄ，ｙ_１６ｄ）を算出することができる。

上述のように、望遠画像の各座標と外枠変換点の座標１４ａ〜１４ｄとは、式（１）に示す関係があるから、Ｘ軸スケールＳｘ及びＹ軸スケールＳｙにより、望遠画像の精細さを損なうことなく、変換望遠画像に変換することができる。すなわち、望遠画像中の任意の点の座標と変換望遠画像中の各点の座標との間には式（１）と式（３）から導かれる式（４）に示す関係を有する。

式（４）において、ｘは望遠画像中の任意の点のＸ座標、ｙは望遠画像中の任意の点のＹ座標、ｘ_１６は変換望遠画像のＸ座標、ｙ_１６は変換望遠画像のＹ座標、ＳｘはＸ軸スケール、ＳｙはＹ軸スケールを示す。

したがって、図１１に示すように、式（４）に基づいて、望遠画像１２０を変換望遠画像１６に変換する（＃２７）。この処理によって、望遠画像１２０を広角画像中に貼り合わせる場合に用いられる画像の射影変換を、画像の精細さを損なうことなく行うことができる。

なお、広角画像と望遠画像の貼り合わせにおいては、変換望遠画像を適宜縮小または拡大して表示する。この場合であっても変換望遠画像のデータ（画素数）は、実際には減少するものではなく、望遠画像と同じ精細さで表示される。

また、カメラＢによって撮影された広角画像と望遠画像についても同様に合成処理を行い、この処理が終了すると広角画像と望遠画像の合成処理が終了する。

上記広角画像と望遠画像の合成処理が終了すると、次いで、写真画像座標の計測［写真画像における被写体上の所要の基準点の座標（二次元座標）の計測］を行う。

具体的には、図２に示すように、広角画像と望遠画像とが合成された画像中において基準点を指定する（＃３）。当該基準点の指定は、広角画像上に貼り合わされて表示されている変換望遠画像の領域において行うことが好ましい。

基準点としては、合成画像中の望遠画像との合成箇所において、被写体のコーナーなど、外観上判別しやすい位置を選択する。もちろん、被写体に予め基準点として用いるためのターゲットを設置した被写体を撮影してもよい。基準点の指定は、２つの撮影箇所から撮影された２枚の合成画像において、望遠画像が貼り合わされて表示されている領域に共通して写っている被写体の部分を、マウスなどの入力装置８の操作により入力する。当該入力された点は座標点指定部３ａにより基準点として認識される。

これらの処理を繰り返し、両画像において基準点を５箇所以上選択し、各基準点の当該写真画像上の座標値を利用してカメラＡ１００、カメラＢ２００の位置関係を算出する（＃４）。本実施形態は、写真測量法では外部標定と呼ばれるもので、位置関係として、カメラＡ１００（基準カメラ）の光軸中心を原点とする基準座標系において、カメラＢ２００（検査カメラ）の光軸中心がどこに位置するかを表す座標値及びカメラＢ２００の光軸がどの方向を向いているかを示す角度を導く。

当該撮影位置関係の演算は、装置１の位置演算部３ｂが司る。本実施形態では、撮影位置関係として、撮影位置Ａのカメラ（以下、カメラＡと略記する。）を基準とする座標系から見て、他のカメラ、すなわち、撮影位置Ｂのカメラ（以下、カメラＢと略記する。）がどこに位置するかを表す座標及びカメラＢがどの方向を向いているかを示す角度を用いる。

なお、撮影位置関係の演算において、基準点の座標は、望遠画像において精細になされた座標値を用いて行う。すなわち、合成画像中の望遠画像は広角画像に比べて精細な画像情報が含まれているため、当該望遠画像によって特定される座標値を用いることにより、より精度の高い位置情報を特定することができ、カメラの撮影位置関係の算出の精度を向上させることができる。このとき、変換望遠画像中の任意の座標値は、広角画像上の座標値に以下の式により変換される。当該変換された広角画像上の座標値は、写真測量装置の制御演算部３に格納されている浮動小数点の機能を用い、小数点以下の値として演算される（図１２参照）。

式（５）において、ｘ₁₀は広角画像中のＸ座標、ｙ₁₀は広角画像中のＹ座標、ｘ_１６は変換望遠画像のＸ座標、ｙ_１６は変換望遠画像のＹ座標、ＳｘはＸ軸スケール、ＳｙはＹ軸スケール、ｘ_０は変換望遠画像の原点のＸ座標が広角画像中に対応する点のＸ座標、ｙ_０は変換望遠画像の原点のＹ座標が広角画像中に対応する点のＹ座標を示す。

カメラの撮影位置関係が特定されると、次に、計測対象としての被写体中の計測点を指定する。当該計測点の指定は、広角画像上に貼り合わされて表示されている変換望遠画像の領域において行うことが好ましい。

計測点の指定は、基準画像において、望遠画像が貼り合わされて表示されている領域に共通して写っている被写体の部分を、マウスなどの入力装置８の操作により入力する。当該入力された点は座標点指定部３ａにより計測点として認識される。

計測点の入力が終了すると、位置演算部３ｂにより、計測点の被写体三次元系中の３次元座標が解析される。計測点の位置解析は、バンドル法を利用して最小二乗法により行うのが好適である。その際、必要な繰り返し計算を行う。また、バンドル法を利用して最小二乗法により解析するにあたっては、上述のように、計測点の位置解析に用いられる写真中の座標値は、望遠画像において精細になされた座標値を用いて行う。すなわち、合成画像中の望遠画像は広角画像に比べて精細な画像情報が含まれているため、当該望遠画像によって特定される座標値を用いることにより、より精度の高い位置情報を特定することができる。

計測作業の容易化及び解析精度の向上はセルフキャリブレーション（ｓｅｌｆ ｃａｌｉｂｒａｔｉｏｎ）法を使用すれば、内部標定要素を算出することができるので、様々な現場における内部標定要素が未知の又は十分に検定されていないカメラを用いた計測作業を容易にすることができる。

以上説明したように、本実施形態にかかる３次元計測装置によれば、望遠画像と広角画像とを用い、望遠画像中の被写体像を広角画像中の被写体像に一致させるように望遠画像と広角画像とを合成するとともに、当該合成写真画像の表示においては、当該一致する被写体像については、画像の精細さを失わずに望遠画像を表示する合成画像を用い、該望遠画像を合成した撮影領域について基準点の選択を行うことにより、被写体の同じ点を精度良く選択することができるため、高精度に位置情報の演算及び計測点の被写体空間中の３次元位置情報を計測することができる。

また、広角画像と望遠画像との合成については、射影変換を用いて行うようにしているため、例えば、望遠画像が広角画像の端部の領域に存在する場合など、両者の光軸が大きくずれている場合であっても、望遠画像を広角画像の光軸から撮影したように変換して、両写真画像の被写体像を一致させることができるため、被写体像のずれが生じることなく合成写真画像を作成することができる。また、Ｘ軸スケール及びＹ軸スケールを用いて、射影変換時に生じる望遠画像の縮小をなくし、広角画像中に表示される望遠画像の画素数の減少をなくし、高精細な合成写真画像を得ることができる。

なお、本発明は上記実施形態に限定されるものではなく、その他種々の態様で実施可能である。

望遠画像は広角画像ごとに１枚とする必要はなく、広角画像の複数の領域を撮影した複数枚の画像で構成してもよい。この場合、望遠画像の射影変換を繰り返し行い、すべての望遠画像を合成表示した合成写真画像を作成した後に、基準点の指定の処理を行うことが好ましい。

本発明の実施形態に係る写真測量装置のブロック図である。 図１の写真測量装置を用いて写真測量を行う場合の全体的な処理の流れを示すフロー図である。 写真測量を行う場合についての座標系を示す図である。 カメラＡにより撮影された広角画像の例である。 カメラＢにより撮影された広角画像の例である。 カメラＡにより撮影された望遠画像の例である。 カメラＢにより撮影された望遠画像の例である。 撮影された広角画像及び望遠画像について射影変換により合成する処理の詳細フロー図である。 合成される２枚の画像の合成基準点の選択における処理の説明図である。 望遠画像の外枠を射影変換し外枠変換点を作成する処理の説明図である。 外枠変換点に外接する外接枠に基づいてＸ軸スケール及びＹ軸スケールを算出する処理の説明図である。 変換望遠画像についての概念図である。 望遠画像から変換望遠画像を作成する処理についての説明図である。 変換望遠画像中の任意の座標と、広角画像との任意の画像との座標値の変換を説明する図である。

符号の説明

１ 写真測量装置
２ インターフェース部
３ 制御演算部
４ 表示部
５ 画像記憶部
６ システムプログラム
７ デジタルカメラ
８ 入力装置
１１ａ〜１１ｄ 広角側合成基準点
１２ａ〜１２ｄ 望遠側合成基準点
１３ 望遠画像のコーナー部
１４ 外枠
１４ａ〜１４ｄ 外枠変換点の座標
１５ 外接枠
１５ａ〜１５ｄ 外接枠のコーナー部の座標
１６ 変換望遠画像
１００ カメラＡ（基準カメラ）
１００ａ カメラＡの光学中心
１１０ カメラＡで撮影された広角画像
１２０ カメラＡで撮影された望遠画像
２００ カメラＢ（検査カメラ）
２００ａ カメラＢの光学中心
２１０ カメラＢで撮影された広角画像
２２０ カメラＢで撮影された望遠画像

Claims (5)

1. 基準位置に配置されたカメラ及び前記基準位置と異なる検査位置に配置されたカメラによってそれぞれ被写体を撮影した複数枚の写真画像を用い、前記複数枚の写真画像に共通して写っている基準点の前記写真画像中の座標値に基づいて前記基準位置及び検査位置の撮影位置関係を演算し、当該撮影位置関係の情報に基づいて前記写真画像中の任意の計測点の座標値から前記計測点の被写体空間中の３次元位置情報を計測する３次元計測方法であって、
   前記基準位置及び前記検査位置からそれぞれ撮影された前記写真画像として、焦点距離が短い状態で撮影された広角画像と、前記広角画像と同じ撮影位置から撮影領域の一部を撮影した焦点距離がより長い状態で撮影された少なくとも１枚の望遠画像を用いて、前記望遠画像を同じ撮影位置から撮影された前記広角画像中に合成表示した合成写真画像を前記撮影位置ごとに作成して、前記複数枚の合成写真画像とし、
   前記撮影位置ごとに作成された前記合成写真画像の撮影領域内に共通して写っている基準点を選択し、
   前記基準点の前記複数の合成写真画像中の座標値に基づいて、前記基準位置及び検査位置の撮影位置関係を演算することを特徴とする、３次元計測方法。
2. 前記合成写真画像は、前記同じ撮影位置から撮影された前記広角画像と望遠画像とに共通して写っている基準点を４点以上選択し、
   前記広角画像と望遠画像中における前記基準点の座標値に基づいて、射影変換式を算出し、当該射影変換式により前記望遠画像を広角画像中に合成表示することにより作成することを特徴とする、請求項１に記載の３次元計測方法。
3. 前記合成画像は、前記変換式に基づいて前記望遠画像を前記広角画像中に射影変換した変換領域に外接する外接枠のＸ軸方向寸法及びＹ軸方向寸法の前記望遠画像のＸ軸方向寸法及びＹ軸方向寸法に対する割合としてそれぞれ導かれるＸ軸スケール及びＹ軸スケール、及び射影変換式に基づいて、当該変換望遠画像を前記広角画像中に合成表示することにより作成されることを特徴とする請求項２に記載の３次元計測方法。
4. 前記変換望遠画像は、前記望遠画像の各点を下記式により変換することによって作成されることを特徴とする請求項３に記載の３次元計測方法。
   

   

   上記式において、ｘは望遠画像中の任意の点のＸ座標、ｙは望遠画像中の任意の点のＹ座標、ｘ_１６は変換望遠画像のＸ座標、ｙ_１６は変換望遠画像のＹ座標、ＳｘはＸ軸スケール、ＳｙはＹ軸スケール、Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，ａ，ｂ，ｃはそれぞれ射影変換式の定数を示す。
5. 基準位置に配置されたカメラ及び前記基準位置と異なる検査位置に配置されたカメラによってそれぞれ被写体を撮影した複数枚の写真画像を用い、前記複数枚の写真画像に共通して写っている基準点の前記写真画像中の座標値に基づいて前記基準位置及び検査位置の撮影位置関係を演算し、当該撮影位置関係の情報に基づいて前記写真画像中の任意の計測点の座標値から前記計測点の被写体空間中の３次元位置情報を計測する３次元計測装置であって、
   前記基準位置及び前記検査位置からそれぞれ撮影された前記写真画像として、焦点距離が短い状態で撮影された広角画像と、前記広角画像と同じ撮影位置から撮影領域の一部を撮影した焦点距離がより長い状態で撮影された少なくとも１枚の望遠画像との写真画像データを入力する画像入力手段と、
   前記画像入力手段により入力された写真画像の任意の点について当該写真画像上における座標値を入力する座標入力手段と、
   前記画像入力手段により入力された写真画像データのうち、前記望遠画像を同じ撮影位置から撮影された前記広角画像中に合成した合成写真画像を前記撮影位置ごとに作成する画像合成手段と、
   前記撮影位置ごとに作成された前記合成写真画像の撮影領域内に共通して写っている被写体の同じ位置についての前記座標入力手段により入力された座標値を、前記基準点の座標値とし、当該座標値に基づいて、当該写真画像の撮影位置関係を演算する位置関係演算手段と、
   前記合成写真画像に写っている前記被写体の測定位置について、前記座標入力手段により入力された座標値を計測点の座標値とし、前記位置関係演算手段により演算された前記撮影位置関係の情報に基づいて前記合成写真画像に写っている前記計測点の前記被写体中の３次元座標を演算する計測点演算手段とを備えることを特徴とする、３次元計測装置。

Images