JP3842988B2 - 両眼立体視によって物体の3次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 - Google Patents
両眼立体視によって物体の3次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3842988B2 JP3842988B2 JP2001214813A JP2001214813A JP3842988B2 JP 3842988 B2 JP3842988 B2 JP 3842988B2 JP 2001214813 A JP2001214813 A JP 2001214813A JP 2001214813 A JP2001214813 A JP 2001214813A JP 3842988 B2 JP3842988 B2 JP 3842988B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pair
- point
- images
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000005259 measurement Methods 0.000 claims description 57
- 238000003384 imaging method Methods 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、計測対象の物体を異なる2方向から撮影し、この2方向からの一対の画像に基づいてその物体の三次元情報を求める3次元情報計測処理システムおよびその方法に関する。
【0002】
【従来の技術】
従来、3次元物体の撮影画像からその物体の位置(距離)や形状など3次元情報を求める方法の一つとして、両眼立体視(ステレオ)が知られている。両眼立体視では、まず、物体を異なる2方向から撮影し、2枚の物体画像を得る。そして、異なる方向から見た2枚の画像から、物体の同一部分の像である対応点を検出する。対応点が検出されると、2台のカメラ間距離と対応点から三角測量の原理に基づいて対象物の3次元位置が求められる。両眼立体視は、例えば、写真測量の分野においても利用されており、航空写真や交通事故の事故現場の測量図作成において両眼立体視により3次元情報が計測される。
【0003】
両眼立体視において一対の画像から対応点を検出する場合、物体のある特定点の像、すなわち対応点が一対の画像の中でどの位置にあるのか誤りなく検出しなければならない。この対応点決定問題は、両眼立体視において従来から重要な技術的課題であり、様々な手法が提案されている。
【0004】
その一つして、物体の特徴的な部分の像を対応点として検出する方法があり、物体が直方体であれば、エッジや稜線などの2枚の画像から同一点の像と認識できる物体の特徴部分の像を対応点として検出する。しかしながら、対象物が円柱など表面が曲面形状を有する物体であると、エッジや稜線に対応するような特徴部が画像に存在しないため、対応付けに誤りが生じる。
【0005】
曲面形状の物体に対しても対応点を検出できる方法として、例えば、円柱形状の物体である場合、2枚の画像に映し出される物体画像の上面の輪郭線を楕円関数として算出し、その輪郭線から物体上面の中心を対応点として検出する方法がある(特公平6−29695参照)。これによれば、円柱のような曲面形状の物体に対しても、三次元位置(距離)を求めることが可能である。
【0006】
【発明が解決しようとする課題】
しかしながら、上記の方法では、得られる2枚の画像の中で円柱の上面(もしくは底面)が写し出されていないと、上面の輪郭線を求めることができない。したがって、例えばパイプなど側面部分が長く続いている物体に対しては、物体の3次元位置を計測することができない。また、円柱以外の曲面形状の物体に対して適用するのが難しい。
【0007】
そこで、本発明では、曲面形状の物体像が写された一対の画像から3次元情報を求める両眼立体視において、一対の画像から誤りなく対応点を検出し、正確な物体の3次元情報を得ることを目的とする。
【0008】
【課題を解決するための手段】
本発明の画像処理装置は、中心軸周りに回転曲面が形成された回転体である物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる2方向から撮影して両眼立体視により物体の三次元位置を求める装置であり、この画像処理装置は、撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、一対の画像を読み出す画像読み出し手段と、物体の求めるべき3次元位置を表す少なくとも1つの測定点の像であって一対の画像から一意に決まる少なくとも1つの対応点を、物体の中心軸の投影像に応じた一対の二等分線上において検出する対応点検出手段と、少なくとも1つの対応点に基づき、三角測量の原理を適用することによって物体の中心軸上にある少なくとも1つの測定点の三次元位置を算出する三次元情報算出手段とを備えたことを特徴とする。
【0009】
計測対象である物体が回転体である場合、すなわち中心軸周りに回転曲面が形成され、回転対称な物体である場合、物体の中心軸の仮想的な像は、一対の画像それぞれにおいて物体像を二等分する線となる。したがって、物体の3次元位置を代表して表す点として物体の中心軸上の点を測定点を定め、その測定点の仮想的な像である対応点を中心軸の像に応じた一対の二等分線上において検出することにより、同一点からの像である対応点を検出することができる。このように二等分線上において対応点を検出することにより、表面が曲面である物体に対しても両眼立体視を適用することができ、物体の三次元位置を誤りなく正確に計測できる。また、一対の二等分線上において対応点を検出するため、細長いパイプのような上面や底面を写すことができない回転体に対しても、一対の遮蔽輪郭が写っていれば対応点を検出することができる。物体は、例えば、円柱あるいは直円錐台である。
【0010】
写真測量の場合、始めに物体をカメラで撮像してから画像処理装置において物体の3次元位置を算出するため、画像記録可能な記録媒体は、携帯可能であってカメラに着脱可能に装着される補助記憶装置であるとともに、撮像素子に形成される一対の画像が補助記憶装置にデジタルの静止画像データとして記録されることが望ましい。この場合、画像読み出し手段は、補助記憶装置から一対の画像をデータとして読み出す。
【0011】
画像処理装置は、画像読み出し手段によって読み出された一対の画像を少なくとも1つの対応点が同一座標となるようにアフィン変換する平行ステレオ修正手段をさらに有していることが望ましく、2方向から物体をカメラで撮像する時にカメラの光軸方向が互いに平行とならない場合でも三角測量の原理を適用して物体の三次元位置を求めることができる。この場合、対応点検出手段は、アフィン変換された一対の画像から少なくとも1つの対応点を検出する。
【0012】
一対の画像を第1の画像および第2の画像とし、一対の二等分線を第1の画像にある第1の二等分線と第2の画像にある第2の二等分線とし、また、少なくとも1つの対応点を第1の画像にある少なくとも1つの第1像点と第2の画像にある少なくとも1つの第2像点と定めた場合、対応点検出手段は、例えば、少なくとも1つの第1像点に応じた少なくとも一本のエピポーララインを第2の画像において設定し、少なくとも一本のエピポーララインと第2の二等分線との交点となる少なくとも1つのエピポーラ交点を求め、該少なくとも1つのエピポーラ交点を少なくとも1つの第2像点と定める。
【0013】
対応点を検出するのにオペレータの操作を伴う場合、画像処理装置に映像を表示する表示装置を接続し、画像処理装置は、画像画像読み出し手段に従って読み出された一対の画像を表示装置に表示する表示手段と、表示装置に表示される一対の画像それぞれに対し、入力操作に従って一対の遮蔽輪郭それぞれの線上に指定される二対の点を指定点として定める指定点設定手段とをさらに有することが望ましい。この場合、対応点検出手段は、一対の画像それぞれの二対の指定点に基づいて少なくとも1つの対応点の位置を表示装置のスクリーン座標で検出する。
【0014】
対応点検出手段は、二対の指定点に基づいて対応点を検出する場合、例えば、一対の画像それぞれの二対の指定点に基づいて一対の二等分線を算出し、第1の画像における第1の二等分線と二対の指定点を通る2本の直線との2つの交点を求め、該2つの交点のうち少なくとも1つの交点を少なくとも1つの第1の像点と定める。
【0015】
表示装置に表示された一対の画像において対応点をスクリーン座標で検出した場合、三次元情報算出手段は、少なくとも1つの対応点の座標を表示装置のスクリーン座標から撮像素子の撮像素子座標に変換するとともに、第1の画像に応じた撮影方向でのカメラの中心を原点とした3次元座標を規定して、少なくとも1つの対応点に基づき、三角測量の原理を適用して少なくとも1つの測定点の3次元座標を算出することが望ましい。
【0016】
さらに、求められた物体の三次元位置から物体の径の長さを算出するため、画像処理装置は、物体の径の長さを算出する径算出手段をさらに有することが望ましい。この場合、対応点検出手段が2つの対応点を検出し、三次元情報算出手段が2つの測定点を算出する。径算出手段は、一対の画像の一方に画像に応じた撮影方向におけるカメラの中心を通り物体の中心軸に垂直なベクトルを法線ベクトルとする平面であって物体の中心軸が載る径算出用平面を2つの測定点に基いて算出し、径算出用平面と物体の表面上にあるとともに2つの測定点のいずれかの点と中心軸に沿った位置が一致する端点を、法線ベクトルに応じた一対の画像の一方にある一対の遮蔽輪郭上にある像であって端点の像である像点に基いて算出し、物体の径の長さを2つの測定点の一方と端点に基づいて算出する。物体と撮影地点との距離が物体の径の長さに比べて十分長い場合、一対の輪郭線上にある少なくとも1つの端点と一つの撮影地点におけるカメラの中心とを結ぶ直線は、径算出用平面と物体との交線上にあり、かつ物体の表面上にある接点と交わる。この交点と求められた少なくとも1つの測定点から、物体の径の長さを算出することができる。
【0017】
本発明の3次元情報計測方法は、中心軸周りに回転曲面が形成された回転体である物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる2方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、一対の画像を読み出す画像読み出すステップと、物体の求めるべき3次元位置を表す少なくとも1つの測定点の像であって一対の画像から一意に決まる少なくとも1つの対応点を、物体の中心軸の投影像に応じた一対の二等分線上において検出するステップと、少なくとも1つの対応点に基づき、三角測量の原理を適用することによって物体の中心軸上にある少なくとも1つの測定点の三次元位置を算出するステップとを備えたことを特徴とする。
【0018】
本発明の中心軸周りに回転曲面が形成された回転体である物体の3次元情報を計測するプログラムは、物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる2方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、一対の画像を読み出す画像読み出し、物体の求めるべき3次元位置を表す少なくとも1つの測定点の像であって一対の画像から一意に決まる少なくとも1つの対応点を、物体の中心軸の投影像に応じた一対の二等分線上において検出し、少なくとも1つの対応点に基づき、三角測量の原理を適用することによって物体の中心軸上にある少なくとも1つの測定点の三次元位置を算出することを特徴とする。このプログラムはプログラム作成に関わったコンピュータのメモリに格納されるか、あるいはCD−ROMなどの記録媒体に格納可能である。また、このプログラムをインターネットなどのネットワークによって他のコンピュータに送受信することも可能である。
【0019】
【発明の実施の形態】
以下では、図面を参照して、本発明の実施形態である写真測量システムおよび曲面形状を有する物体の三次元情報計測処理方法について説明する。
【0020】
図1は、本発明の実施形態である写真測量用のカメラと3次元情報を算出する画像処理装置およびその周辺機器を概略的に示した図である。
【0021】
まず、計測対象である物体Sをカメラ42によって異なる2方向から撮像する。このとき、物体Sの輪郭像となる遮蔽輪郭が写るように、第1撮影地点PAおよび第2撮影地点PBから物体Sが撮像される。本実施形態では、物体Sは円柱である。なお、第1および第2撮影地点PA、PBは、カメラ42の中心(レンズ中心)が位置する場所である。
【0022】
カメラ42は撮像素子の1つであるCCD41を備えたデジタルスチルカメラであり、物体Sの像はカメラ42の撮影光学系(図示せず)を介してCCD41に結像される。CCD41から物体Sの像に応じた画像信号が読み出されると、第1および第2撮影地点PA、PBにおける物体Sの画像はデジタルの静止画像データとしてメモリカード36に記録される。メモリカード36は、必要に応じてカメラ42に装着され、あるいはカメラ42から取り外される携帯可能な補助記憶装置あり、ここではフラッシュメモリなどのICカードが使用される。
【0023】
撮影が終了すると、物体Sの像が記録されたメモリカード36がカメラ42から取り出され、物体Sの像が写し出された一対の画像から物体Sの3次元情報を算出するために画像処理装置10が使用される。
【0024】
画像処理装置10には、モニタ30、キーボード32、マウス34が接続されており、メモリカード36などの画像データを記録可能な記録媒体を取り入れるカードスロット11を正面のパネルに備えている。すなわち、画像処理装置10は、パーソナルコンピュータの本体に相当する装置である。一対の画像が記録されたメモリカード36は、PCカード規格などに基づいたインターフェイスを介してカードスロット11に装着され、これにより物体Sの静止画像データが読み出される。なお、撮影時において、第1および第2撮影地点PA、PBの距離などの撮影データがあらかじめ静止画像データとともにメモリカード36に記憶されており、これら撮影データも静止画像データとともに読み出される。
【0025】
オペレータがキーボード32を操作することにより、第1および第2撮影地点PA、PBに応じた一対の物体Sの画像がモニタ30に表示される。そして、オペレータによってマウス34の操作など所定の操作が実行されると、物体Sの3次元位置情報が算出される。
【0026】
図2は、画像処理装置10およびキーボード32などの周辺機器のブロック図である。ただし、図2では、3次元情報計測に必要な構成要素のみ示す。
【0027】
システムコントロール回路12内のCPU12Aは、画像処理装置10全体を制御しており、物体Sの三次元情報を算出する処理を実行する。ROM14には、その三次元情報計測処理のためのプログラムがあらかじめ格納されている。キーボード32、マウス34、モニタ30およびカードスロット11に装着されたメモリカード36とシステムコントロール回路12との間の信号伝達は、画像処理装置10内の入出力制御部16を介して行われる。
【0028】
メモリカード36がカードスロット11に装着されると、物体Sの一対の画像データおよび撮影データがメモリカード36から読み出され、入出力制御部16、システムコントロール回路12を介してRAM18に一時的に格納される。
【0029】
モニタ30に物体Sの画像を表示するためのキーボード32の操作が行われると、RAM18に一時的に格納された静止画像データがCPU12Aによって読み出され、所定の処理が施される。そして、処理された一対の画像データが入出力制御部16を介してモニタ30に送られると、第1および第2撮影地点PA、PBから撮影された一対の画像がモニタ30に表示される。物体Sの3次元位置などの3次元情報を計測するための処理がCPU12Aによって実行され、物体Sの3次元情報が算出されると、その3次元情報はモニタ30に表示されるとともにRAM18に一時的に格納される。
【0030】
図3は、物体Sをカメラ42で撮像することによって得られる一対の画像を示した図である。図3を用いて、円柱である物体Sを計測対象としたときの対応点の検出について説明する。
【0031】
従来知られているように、両眼立体視(ステレオ)においては、物体Sの同一点からの像であって一対の画像から一意に決まる対応点を決定する必要があるが、計測対象である物体Sの表面が曲面である場合、一対の画像から対応点を誤りなく検出することが難しい。
【0032】
第1の撮影地点PAの撮像によって得られる画像を画像π1、第2の撮影地点PBにおける画像を画像π2とすると、例えば、物体Sの上面UAの周上にある点JAの像JA’は画像π1において中心軸SUに沿った輪郭像となる遮蔽輪郭MA2の線上にあり、一方、同じ上面UAの周上にある点JBの像JB’は第2の画像π2において遮蔽輪郭MB2の線上にある。物体Sにおいて点JAと点JBが同一点ではないにも関わらず、画像π1と画像π2において像JA’と像JB’はともに遮蔽輪郭MA2およびMB2の線上にある。したがって、像JA’およびJB’を対応点に決定すると、誤った物体Sの3次元情報が算出される。
【0033】
ところで、円柱である物体Sは、中心軸SUに関して回転対称な形状を有する物体である。したがって、物体Sの投影像および中心軸SUの仮想的な投影像を、画像面π1においてS1、SU1、画像π2においてS2、SU2とすると、物体像S1、S2は、中心軸の像SU1、SU2に関して線対称な像となる。具体的に画像π1を取り上げると、物体像S1において対である遮蔽輪郭MA1、MA2は中心軸の像SU1に関して線対称であり、物体像S1は中心軸の像SU1によって二等分される。
【0034】
このことは、画像π2においても同じであり、さらには円柱である物体Sをどの方向から撮影しても同じである。すなわち、任意の位置から撮影した画像に関し、中心軸SUの投影像は物体の投影像を常に2等分し、また、輪郭像である一対の遮蔽輪郭はその中心軸の像に関して線対称となる。したがって、図3に示すように、物体Sの中心軸SU上にある任意の点Cの仮想的な像C1、C2は、画像π1および画像π2においてともに中心軸の像SU1、SU2の線上にある。
【0035】
そこで、本実施形態では、この物体Sの中心軸SU上にある任意の点を対応点検出のための点とし、この点の像であって、画像π1および画像π2において中心軸の像SU1、SU2の線上にある対応点を一対の画像から一意に検出する。
【0036】
図4は、3次元情報算出処理動作を示すフローチャートである。三次元情報算出処理動作は、オペレータがキーボード32に対して所定の操作を施すことによって開始される。
【0037】
ステップ101では、メモリカード36から一対の画像データが順次読み出され、一時的にRAM18に格納される。そして、ステップ102では、撮影時において画像データとともにあらかじめ記録されたカメラ42のカメラ位置、カメラ姿勢(光軸方向)に関する撮影データが読み出される。
【0038】
ステップ103では、読み出された一対の画像データに対して、ディストーション補正および平行ステレオ修正が施される。ディストーション補正は、カメラ42の撮影光学系によって生じる歪曲収差等を考慮した画像補正である。また、平行ステレオ修正では、図3に示すような平行関係にない画像π1、π2が平行ステレオな関係となるようにアフィン変換が実行される。平行ステレオ修正が実行されると、記録された一対の画像は、第1および第2撮影地点PA、PBにおけるカメラ42が平行ステレオ関係、すなわち、第1および第2撮影地点PA、PBを結ぶベクトル(移動ベクトル)が第1および第2撮影地点PA、PBそれぞれの3次元座標のX軸方向のベクトルが一致する関係(図5参照)である時に得られる画像に変換される。ただし、この時のアフィン変換は回転のみの変換である。このようなアフィン変換により、すべての対応点は同一座標上に位置することになる。なお、ディストーション補正および平行ステレオ修正は従来公知である。
【0039】
ステップ104では、RAM18に一時的に記録された画像データに基づいて、図6に示すように、一対の画像IA、IBがモニタ30に表示される。なお、以下では、第1撮影地点PAにより記録された画像π1に対応し、モニタ30に表示される画像を第1の画像IA、第2撮影地点PBにより記録された画像π2に対応し、モニタ30に表示される画像を第2の画像IBと定める。第2の画像IBは第2撮影地点PBによる撮像画像である。モニタ30に表示される一対の画像IA、IBは、平行ステレオ修正された画像である。
【0040】
一対の画像IA、IBが表示されると、オペレータがマウス34を操作することによって、指示点Pa1〜Pd1およびPa2〜Pd2が入力される。第1の画像IAに対しては、物体Sの輪郭像となる一対の遮蔽輪郭MA1、MA2にそれぞれ任意の位置にある指示点Pa1,Pb1、Pc1、Pd1が入力され、画像IBに対しては、輪郭線である一対の遮蔽輪郭MB1、MB2にそれぞれ指示点Pa2、Pb2、Pc2、Pd2が入力される。ただし、指示点Pa1,Pc1およびPb1、Pd1はそれぞれ対になっており、指示点Pa2、Pc2およびPb2、Pd2も同様にそれぞれ対である。
【0041】
ステップ105では、後述するように、入力された指示点Pa1〜Pd1およびPa2〜Pd2に基づいて、物体Sの三次元座標位置が算出される。そして、ステップ106では、後述するように、ステップ105において算出された物体Sの三次元位置と基づいて、物体Sの半径が算出される。
【0042】
図7は、図4のステップ105のサブルーチンである。図7とともに図8、図9、図10を用いて、物体Sの三次元位置座標の算出処理について説明する。
【0043】
ステップ201では、画像IAにおいて、物体像S1の指示点Pa1、Pb1を通る直線La1が算出される(図8参照)。この直線La1は、一対の遮蔽輪郭MA1、MA2のうち輪郭線MA1を通る直線である。同じように、ステップ202では、物体像S2の指示点Pc1、Pd1を通る、すなわち輪郭線MA2を通る直線Lb1が算出される。なお、一対の画像IA、IBそれぞれにおいて、画像領域の左上隅を原点とし、X方向、Y方向の画素数がそれぞれ「W」、「H」であるスクリーン座標(X、Y)を定めており、直線La1などはスクリーン座標(X、Y)に従って算出される。ステップ202が実行されると、ステップ203に進む。
【0044】
ステップ203では、指示点Pa1と指示点Pc1とを結ぶ直線Q1が算出される(図8参照)。同様に、ステップ204では、指示点Pb1と指示点Pd1とを結ぶ直線Q2が算出される。ステップ204が実行されると、ステップ205に進む。
【0045】
ステップ205では、直線La1と直線Lb1に基づいて二等分線Le1が求められる。二等分線Le1は、物体像S1を二等分する線であり、図3に示した物体Sの中心軸SUの投影像に対応する。直線La1と直線Lb1は、二等分線Le1に平行であるとともに、二等分線Le1に関して線対称な関係にある。ステップ205が実行されると、ステップ206に進む。
【0046】
ステップ206では、図9に示すように、画像IBにおいて指示点Pa2、Pb2を通る直線La2が算出され、ステップ207では、指示点Pc2、Pd2を通る直線Lb2が算出される。直線La2、Lb2は、画像IBにおいて物体像S2の一対の遮蔽輪郭MB1、MB2を通る直線である。そして、ステップ208では、直線La2と直線Lb2に基づいて物体像S2を二等分する二等分線Le2が求められる。二等分線Le2も、二等分線Le1と同じように物体Sの中心軸SUの投影像に相当する。ステップ208が実行されると、ステップ209に進む。
【0047】
ステップ209では、図10に示すように、第1の画像IAにおいて直線Le1と直線Q1との交点Pe1の座標(Xa1、Ya1)が求められる。また、ステップ210では、直線Le1と直線Q2との交点Pf1(Xb1、Yb1)が求められる。そして、ステップ211では、第2の画像IBにおいて交点Pe1に応じたエピポーララインEP1が設定され、エピポーララインEP1と二等分線Le2との交点Pe2の座標(Xa2、Ya2)が求められる。交点Pe2は、算出された交点Pe1とともに対応点を構成する点であり、交点Pe1、Pe2は同一点の像である。なお、モニタ30に表示される一対の画像IA、IBが平行ステレオ修正された画像であることから、エピポーララインEP1はX軸に平行で交点Pe1のY座標「Ya1」を通る直線となる。
【0048】
同様に、ステップ212では、画像IA内の交点Pf1のY座標「Yb1」とY座標が等しいエピポーララインEP2が画像IBにおいて設定され、二等分線Le2とエピポーララインEP2との交点Pf2の位置座標(Xb2、Yb2)が算出される。交点Pf1、Pf2は、交点Pe1、Pe2と異なるもう1つの対応点である。対応点Pe1、Pe2および対応点Pf1、Pf2が一対の画像IA、IBからそれぞれ算出されると、ステップ213に進む。
【0049】
ステップ213では、三角測量の原理を適用して物体Sの3次元位置を求めるために座標変換が施される。具体的には、まず、モニタ30のスクリーン座標(X、Y)からカメラ42の第1および第2撮影地点PA、PBそれぞれのCCD41の画像形成面において規定されるCCD座標(u、v)に変換される。この変換では、原点位置合わせのための平行移動や縦横のスケール変換処理が施され、これにより、対応点Pe1、Pe2および対応点Pf1、Pf2は、モニタ30における画素単位のスクリーン座標(Xa1、Ya1)(Xa2、Ya2)および(Xb1、Yb1)(Xb2、Yb2)からCCD41の画像形成面における位置座標(ua1、va1)(ua2、va2)および(ub1、vb1)(ub2、vb2)で表される。CCD座標への変換は次式によって行われる。
【0050】
【数式1】
【0051】
(1)式において、「PitchX」は、CCD41の横方向サイズと画像IA(IB)の画素単位の横方向サイズ(=W)との比を表し、「PitchY」は、CCD41の縦方向サイズと画像IA(IB)の画素単位の縦方向サイズ(=H)との比を表す。また、「F」は、カメラ42の焦点距離を示す。CCD座標(u,v)は、カメラ42の撮影光学系の光軸とCCD41の画像形成面の中心を原点とする座標系であり、mm単位で表される座標系であるが、(1)式で示すようにカメラ42の焦点距離F(mm)に関する奥行き方向の座標も考慮されている。他方の対応点Pf1、Pf2についても、(1)式により座標変換が施される。
【0052】
ステップ214では、ステップ213で求められた対応点Pe1、Pe2のCCD座標(ua1、va1)(ua2、va2)と、第1および第2撮影地点PA、PB間の距離とに基づき、物体Sの中心軸U上の点であってその像が対応点となる測定点P1の位置が(2)式により算出される。ただし、(2)式において、「C」は第1および第2撮影地点PA、PB間の距離を表し、撮影データとしてメモリカード36にあらかじめ記録されている。
【0053】
【数式2】
【0054】
(2)式は、いわゆる三角測量の原理に基づく式であり、第1撮影地点PAでのカメラ42の中心を原点とするカメラ座標系を3次元座標(x、y、z)として定めると、測定点P1の位置(x1、y1、z1)がその3次元座標で算出される。測定点P1のz座標は、第1および第2撮影地点PA、PBから物体Sまでの奥行きを表す。同様に、ステップ215では、対応点Pe2、Pf2に応じた物体Sの中心軸SU上にある測定点P2の位置(x2、y2、z2)が(2)式により求められる。測定点P1、P2の3次元座標は、モニタ30に表示されるとともに、RAM18に一時的にデータとして格納される。ステップ215が実行されると、このサブルーチンは終了し、図4のメインルーチンに戻る。
【0055】
なお、ステップ201〜215の実行において、算出された点や直線などのデータは算出される度にRAM18に格納され、必要に応じて読み出される。
【0056】
図11は、図4のステップ106のサブルーチンである。図11とともに図12〜15を用いて、円柱Sの半径の算出処理について説明する。
【0057】
ステップ301では、図7のステップ214、215で求められ、RAM18に格納された物体Sの中心軸SU上にある測定点P1、P2の座標(x1、y1、z1)、(x2、y2、z2)に基づいて、中心軸SUを3次元座標で表した直線lが算出される。直線lの方程式は、次の(3)式で表される。
【0058】
【数式3】
【0059】
そして、図12に示すように、測定点P1、P2および直線lに基づき、第1撮影地点PAにおけるカメラ42の中心、すなわち3次元座標の原点Oから直線lへ垂直に延ばした線のベクトルV(e、f、g)が求められる。ただし、ベクトルVは、(3)式および直線lとベクトルVとの直交関係を示す次の(4)式に基づいて算出される。ベクトルVが求められると、ステップ302へ進む。
【0060】
【数式4】
【0061】
ステップ302では、直線l(中心軸SU)を通り、ベクトルV(e、f、g)を法線ベクトルとする平面Rが算出される(図12参照)。次の(5)式は、平面Rを表した式である。
【数式5】
平面Rが算出されると、ステップ303に移る。
【0062】
ここで、図13を用いて、平面Rと交差する物体Sの表面上にある点と、第1撮影地点PAにおける物体像S1の一対の輪郭MA1、MA2上にある点との関係について説明する。ただし、ここでは、法線ベクトルVの向きは第1撮影地点PAにおけるカメラ42の中心を3次元座標の原点Oとしたときのz方向と一致するものとする。また、モニタ30に表示される画像IAにおいて輪郭線MA1上の点を境界点T1と定め、CCD41の画像形成面において境界点T1に応じた位置にある像点T1’と原点Oを通る直線Nを設定する。ただし、第1および第2撮影地点PA、PBから物体Sまでの距離が物体Sの径の大きさ(奥行き方向の長さ)に比べて十分長いものとする。
【0063】
CCD41の画像形成面に形成される画像に関しては、原点Oと円柱Sとの距離Mが円柱Sの径の大きさに比べて十分長い場合、いわゆる弱中心射影を適用することができる。弱中心射影は正射影と中心射影を組み合わせた射影であり、物体Sは、平面τに正射影された後原点Oに向けて中心射影される。平面τへの正射影は、第1撮影地点PAにおけるカメラ42の光軸方向、すなわち法線ベクトルV方向に沿って射影されるため、平面Rと平面τは平行関係にある。
【0064】
物体Sの表面と平面Rとの交差する直線上にある点を端点Tと定め、端点Tの平面τにおける像をT’とすると、直線Nは平面τの像T’を通る。弱中心射影が適用されていることを考慮すれば、直線Nは物体Sの端点Tを通る直線とみなすことができる(直線N’参照)。したがって、物体Sの端点Tの中心軸SU方向(3次元座標のy方向)に沿った位置座標が測定点P1あるいはP2の位置と等しければ、直線Nを算出し、端点Tの3次元位置座標を算出することによって円柱Sの半径が求められる。
【0065】
そこでまず、ステップ303では、図14に示すように、画像IAにおいて二等分線Le1と垂直で交点Pe1を通る直線Lg1が算出され、ステップ304では、直線Le1と垂直で点Pf1を通る直線Lh1が算出される。そして、ステップ305では、直線Lg1と直線La1との交点が境界点Pg1として求められ、ステップ306では、直線Lh1と直線La1との交点が境界点Ph1とし求められる。
【0066】
ステップ307では、交点Pg1、Ph1に対して座標変換が施される。すなわち、図7のステップ213と同じように、スクリーン座標(X、Y)からCCD座標(u、v、F)に変換される。ステップ308では、CCD41の画像形成面にある境界点Pg1に応じた像点P’g1と原点Oとを通る直線LAが3次元座標に基づいて算出される。同様に、ステップ309では、CCD41の画像形成面にある境界点Ph1に応じた像点P’h1と中心Oとを通る直線LBが算出される。直線LA、直線LBは、図13の直線N(N’)に相当する。直線LA、LBが求められると、ステップ310に進む。
【0067】
ステップ310では、直線LAと物体Sとの交点であって平面R上にある端点PCの3次元座標が算出される。ただし、端点PCは、平面Rを示す(5)式と直線LAの式に基づいて算出される。同様に、ステップ311では、(5)式と直線LBに基づいて直線LBと平面Rとの交点である端点PDが算出される。端点PC、PDは、図13の端点Tに相当し、中心軸SU上に沿ったy方向の位置座標は、測定点P1およびP2に等しい。
【0068】
ステップ312では、端点PCと先に求められた中心軸SU(直線l)上にある測定点P1との距離r1が算出される。この距離r1が物体Sの半径となる。同じように、ステップ313では、端点PDと測定点PBとの距離r2が算出される。物体Sが円柱であるため、距離r1と距離r2は等しい。ステップ313が実行されると、このサブルーチンは終了する。
【0069】
このように本実施形態によれば、カメラ42によって第1および第2撮影地点PA、PBから円柱である物体Sを撮影することにより、異なるから撮影された一対の画像がメモリカード36に記録され、その後画像処理装置10において読み出される。読み出されたモニタ30に表示された一対の画像IA、IBに対してオペレータが操作することにより、一対の画像IA、IBそれぞれの一対の遮蔽輪郭MA1、MA2およびMB1、MB2の上に指示点Pa1〜Pd1およびPa2〜Pd2が設定される。そして、この設定された指示点Pa1〜Pd1およびPa2〜Pd2に基づいて、2つの対応点Pe1、Pe2およびPf1、Pf2を一対の二等分線Le1、Le2の線上において検出する。
【0070】
表面が曲面である物体Sの中心軸SUの投影像が一対の画像IA、IBにおいて物体Sの投影像S1、S2を2等分する一対の二等分線Le1、Le2に対応するため、一対の二等分線Le1、Le2上において検出される対応点は、物体Sの中心軸SU上にある同一点からの像となる。このように、本来写らない中心軸SUの像を考慮することにより、正確に物体Sの3次元位置を求めることができる。
【0071】
このような対応点検出処理によれば、図15に示すように、円柱Sの上面、底面の輪郭が一対の画像IA、IBに写っていなくても3次元位置を測定することができ、長さのある円柱形状の物体でも両眼立体視できる。
【0072】
物体Sと第1および第2撮影地点PA、PBとの距離が物体Sの径(半径r)に比べて十分長い場合には弱中心射影モデルが適用できることから、物体Sの測定点P1、P2と、平面Rと物体Sの表面の交線上にある端点PC、PDに基づいて物体Sの半径rが算出される。
【0073】
なお、物体Sの半径rを求めず、物体Sの3次元位置のみ測定する場合、1つの対応点Pe1、Pe2(あるいはPf1、Pf2)のみ算出し、測定点P1(あるいはP2)の3次元位置のみ算出すればよい。また、物体Sの半径r1(あるいはr2)のみ算出する場合、境界点Pg1(あるいはPh1)に応じた端点PC(あるいはPD)のみ求めればよい。また、一対の画像IA、IBから対応点Pe1、Pe2を検出する場合、エピポーララインを画像IBに設定せず、スクリーン座標(X、Y)でY座標が交点Pe1と等しい二等分線Le2上の点を交点Pe2としてもよい。
【0074】
物体Sの半径rを算出する時に弱中心射影モデルを適用しているが、擬似中心射影モデルを適用して半径rを算出してもよい。
【0075】
本実施形態では、表面に曲面が形成されている物体として円柱である物体Sが適用されているが、円柱以外の曲面形状の物体に対しても両眼立体視により3次元位置を測定することができる。例えば、図16に示すように、中心軸ES周りに回転対称な直円錐台Eが計測対象であってもよい。この場合、直線Q1、Q2において指定点Pa1、Pc1の中点と指定点Pb1、Pd1の中点とを通る直線を二等分線Le1とし、交点Pe1を算出すればよい。画像IBにおいても、指定点Pa2、Pc2の中点と指定点Pb2、Pd2の中点とを通る直線を二等分線Le2を求めればよい。また、平行ステレオ修正をせずに対応点を求めてもよい。
【0076】
さらに、図17に示すように、物体Sは、円柱、直円錐台だけでなく直円錐、球体などを含む、中心軸RS周りに回転曲面が形成された回転体ROであればよい。ただし、回転体ROは、中心軸RS周りに回転対称な物体であり、中心軸RSに垂直な任意の断面は円になる。回転体ROの場合でも、直線Q1、Q2において指定点Pa1、Pc1の中点と指定点Pb1、Pd1の中点とを通る直線を二等分線Le1とし、指定点Pa2、Pc2の中点と指定点Pb2、Pd2の中点とを通る直線を二等分線Le2とする。これにより、対応点Pe1、Pe2およびPf1、Pf2が算出される。
【0077】
本実施形態では、写真測量において両眼立体視を利用しているが、それ以外の分野、例えばコンピュータビジョンなどの自動形状復元処理においても利用可能である。この場合、画像処理装置10に2台のカメラを接続して異なる方向から同時撮影し、一度メモリに記録された一対の画像データから物体の3次元位置を測定する処理システムを構成する。また、オペレータの操作を伴わないで自動的に画像処理装置10が交点Pe1、Pe2を検出する処理システムを構成してもよい。この場合、一対の画像IA、IBはモニタ30に表示されることなく、自動的に一対の遮蔽輪郭MA1、MA2およびMB1、MB2がエッジ追跡などの線検出処理によって検出され、対応点Pe1、Pe2が求められる。
【0078】
【発明の効果】
以上のように本発明によれば、曲面形状の物体像が写された一対の画像から3次元情報を求める両眼立体視において、一対の画像から誤りなく対応点を検出し、正確な物体の3次元情報を得ることができる。
【図面の簡単な説明】
【図1】写真測量用のカメラと本実施形態である画像処理装置およびその周辺機器を示した図である。
【図2】画像処置装置のブロック図である。
【図3】円柱である物体の2方向からの投影像を示した図である。
【図4】3次元情報算出処理動作を示したフローチャートである。
【図5】平行ステレオ関係を示した図である。
【図6】モニタに表示される一対の画像を示した図である。
【図7】物体の3次元位置算出処理動作を示した図4のステップ105のサブルーチンである。
【図8】二等分線を求める時の一対の画像のうちの一方の画像を示した図である。
【図9】二等分線を求める時の一対の画像のうちの他方の画像を示した図である。
【図10】対応点を求める際の一対の画像を示した図である。
【図11】物体の半径を求める径算出処理動作を示した図4のステップ106のサブルーチンである。
【図12】物体と原点を通るベクトルを法線ベクトルとする平面とを示した図である。
【図13】弱中心射影モデルにおける物体の投影像を示した図である。
【図14】一対の画像のうちの一方の画像を示した図である。
【図15】一対の遮蔽輪郭のみ写る一対の画像を示した図である。
【図16】直円錐台およびその投影像となる一対の画像を示した図である。
【図17】回転体およびその投影像となる一対の画像を示した図である。
【符号の説明】
10 画像処理装置
12A CPU
14 ROM(記録媒体)
18 RAM(画像記録可能な記録媒体)
30 モニタ(表示装置)
36 メモリカード(補助記憶装置、画像記録可能な記録媒体)
41 CCD(撮像素子)
42 カメラ
IA,IB 一対の画像
IA 第1の画像
π1 第1の画像
IB 第2の画像
π2 第2の画像
Le1,Le2 二等分線(一対の二等分線)
Le1 二等分線(第1の二等分線)
Le2 二等分線(第2の二等分線)
MA1,MA2 一対の遮蔽輪郭
MB1,MB2 一対の遮蔽輪郭
Pe1,Pe2 対応点(少なくとも1つの対応点)
Pe1 交点(少なくとも1つの第1の像点)
Pe2 交点(少なくとも1つの第2の像点)
Pf1,Pf2 対応点(少なくとも1つの対応点)
Pf1 交点(少なくとも1つの第1の像点)
Pf2 交点(少なくとも1つの第2の像点)
EP1 エピポーラライン(少なくとも一本のエピポーラライン)
EP2 エピポーラライン(少なくとも一本のエピポーラライン)
Pa1,Pc1、Pb1,Pd1 指定点(二対の指定点)
Pa2,Pc2、Pb2,Pd2 指定点(二対の指定点)
PA 第1撮影地点
PB 第2撮影地点
PC 端点(少なくとも1つの端点)
PD 端点(少なくとも1つの端点)
R 平面(径算出用平面)
r 半径(径の長さ)
S 物体
SU 中心軸
V 法線ベクトル
Claims (17)
- 中心軸周りに回転曲面が形成され、円柱、直円錐台、直円錐のいずれかである回転体である物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる2方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、第1の画像および第2の画像からなる前記一対の画像を読み出す画像読み出し手段と、
前記物体の求めるべき3次元位置を表す少なくとも1つの測定点の像であって前記一対の画像から一意に決まる少なくとも1つの対応点を、前記一対の画像それぞれにおける前記一対の遮蔽輪郭によって規定されるとともに前記物体の中心軸の投影像に応じた一対の二等分線上において、検出する対応点検出手段と、
前記少なくとも1つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも1つの測定点の三次元位置を算出する三次元情報算出手段とを備え、
前記対応点検出手段が、前記少なくとも1つの対応点の一方の像として前記第1の画像の二等分線上に定められる少なくとも1つの第1の像点に従い、前記少なくとも1つの像点に応じた少なくとも一本のエピポーララインを前記第2の画像に設定し、前記少なくとも一本のエピポーララインと前記第2の画像における二等分線との交点を、前記少なくとも1つの対応点の他方の像である少なくとも1つの第2の像点として定めることを特徴とする画像処理装置。 - 前記物体が、円柱、直円錐台のいずれかであることを特徴とする請求項1に記載の画像処理装置。
- 前記画像記録可能な記録媒体が携帯可能であって前記カメラに着脱可能に装着される補助記憶装置であるとともに、前記撮像素子に形成される前記一対の画像が前記補助記憶装置にデジタルの静止画像データとして記録され、
前記画像読み出し手段が、前記補助記憶装置から前記一対の画像を読み出すことを特徴とする請求項1に記載の画像処理装置。 - 前記画像読み出し手段によって読み出された前記一対の画像を前記少なくとも1つの対応点が同一座標となるようにアフィン変換する平行ステレオ修正手段をさらに有し、
前記対応点検出手段が、アフィン変換された前記一対の画像から前記少なくとも1つの対応点を検出することを特徴とする請求項1に記載の画像処理装置。 - 映像を表示する表示装置が接続されるとともに、
前記画像読み出し手段に従って読み出された前記一対の画像を前記表示装置に表示する表示手段と、
前記表示装置に表示される前記一対の画像それぞれに対し、入力操作に従って前記一対の遮蔽輪郭それぞれの線上に指定される二対の点を指定点として定める指定点設定手段とをさらに有し、
前記対応点検出手段が、前記一対の画像それぞれの前記二対の指定点に基づいて前記少なくとも1つの対応点の位置を前記表示装置のスクリーン座標で検出することを特徴とする請求項1に記載の画像処理装置。 - 前記対応点検出手段が、前記一対の画像それぞれの前記二対の指定点に基づいて前記一対の二等分線を算出し、前記第1の画像における前記第1の二等分線と前記二対の指定点を通る2本の直線との2つの交点を求め、該2つの交点のうち少なくとも1つの交点を前記少なくとも1つの第1の像点と定めることを特徴とする請求項5に記載の画像処理装置。
- 前記三次元情報算出手段が、前記少なくとも1つの対応点の座標を前記表示装置のスクリーン座標から前記撮像素子の撮像素子座標に変換するとともに、前記第1の画像に応じた撮影方向での前記カメラの中心を原点とした3次元座標を規定して、前記少なくとも1つの対応点に基づき、三角測量の原理を適用して前記少なくとも1つの測定点の3次元座標を算出することを特徴とする請求項5に記載の画像処理装置。
- 前記物体の径の長さを算出する径算出手段をさらに有し、
前記対応点検出手段が、2つの対応点を検出し、
前記三次元情報算出手段が、2つの測定点を算出し、
前記径算出手段が、
前記一対の画像の一方に応じた撮影方向における前記カメラの中心を通り前記物体の中心軸に垂直なベクトルを法線ベクトルとする平面であって前記物体の中心軸が載る径算出用平面を前記2つの測定点に基いて算出し、
前記径算出用平面と前記物体の表面上にあるとともに前記2つの測定点のいずれかの点と中心軸に沿った位置が一致する端点を、該一対の画像の一方にある前記一対の遮蔽輪郭上にある像であって前記端点の像である像点に基いて算出し、
前記物体の径の長さを前記2つの測定点の一方と前記端点に基づいて算出することを特徴とする請求項1に記載の画像処理装置。 - 中心軸周りに回転曲面が形成され、円柱、直円錐台、直円錐のいずれかである回転体である物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる2方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、第1の画像および第2の画像からなる前記一対の画像を読み出し、
前記物体の求めるべき3次元位置を表す少なくとも1つの測定点の像であって前記一対の画像から一意に決まる少なくとも1つの対応点を、前記一対の画像それぞれにおける前記一対の遮蔽輪郭によって規定されるとともに前記物体の中心軸の投影像に応じた一対の二等分線上において、検出し、
前記少なくとも1つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも1つの測定点の三次元位置を算出し、
前記少なくとも1つの対応点の一方の像として前記第1の画像の二等分線上に定められる少なくとも1つの第1の像点に従い、前記少なくとも1つの像点に応じた少なくとも一本のエピポーララインを前記第2の画像に設定し、前記少なくとも一本のエピポーララインと前記第2の画像における二等分線との交点を、前記少なくとも1つの対応点の他方の像である少なくとも1つの第2の像点として定めることを特徴とする3次元情報計測方法。 - 中心軸周りに回転曲面が形成され、円柱、直円錐台、直円錐のいずれかである回転体である物体の3次元情報を計測するプログラムを格納した記録媒体であって、
前記物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる2方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、第1の画像および第2の画像からなる前記一対の画像を読み出し、
前記物体の求めるべき3次元位置を表す少なくとも1つの測定点の像であって前記一対の画像から一意に決まる少なくとも1つの対応点を、前記一対の画像それぞれにおける前記一対の遮蔽輪郭によって規定されるとともに前記物体の中心軸の投影像に応じた一対の二等分線上において、検出し、
前記少なくとも1つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも1つの測定点の三次元位置を算出し、
前記少なくとも1つの対応点の一方の像として前記第1の画像の二等分線上に定められる少なくとも1つの第1の像点に従い、前記少なくとも1つの像点に応じた少なくとも一本のエピポーララインを前記第2の画像に設定し、前記少なくとも一本のエピポーララインと前記第2の画像における二等分線との交点を、前記少なくとも1つの対応点の他方の像である少なくとも1つの第2の像点として定めることを特徴とする3次元情報計測処理のプログラムを格納したコンピュータ読み取り可能な記録媒体。 - 中心軸周りに回転曲面が形成された回転体である物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる2方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、前記一対の画像を読み出す画像読み出し手段と、
前記物体の求めるべき3次元位置を表す少なくとも1つの測定点の像であって前記一対の画像から一意に決まる少なくとも1つの対応点を、前記物体の中心軸の投影像に応じた一対の二等分線上において検出する対応点検出手段と、
前記少なくとも1つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも1つの測定点の三次元位置を算出する三次元情報算出手段とを備え、
前記一対の画像が第1の画像および第2の画像とからなり、前記一対の二等分線が前記第1の画像にある第1の二等分線と前記第2の画像にある第2の二等分線とからなり、また、前記少なくとも1つの対応点が前記第1の画像にある少なくとも1つの第1の像点と前記第2の画像にある少なくとも1つの第2の像点とからなり、
前記対応点検出手段が、前記少なくとも1つの第1像点に応じた少なくとも一本のエピポーララインを前記第2の画像において設定し、前記少なくとも一本のエピポーララインと前記第2の二等分線との交点となる少なくとも1つのエピポーラ交点を求め、該少なくとも1つのエピポーラ交点を前記少なくとも1つの第2の像点と定め、
映像を表示する表示装置が接続されるとともに、
前記画像読み出し手段に従って読み出された前記一対の画像を前記表示装置に表示する表示手段と、
前記表示装置に表示される前記一対の画像それぞれに対し、入力操作に従って前記一対の遮蔽輪郭それぞれの線上に指定される二対の点を指定点として定める指定点設定手段とをさらに有し、
前記対応点検出手段が、前記一対の画像それぞれの前記二対の指定点に基づいて前記少なくとも1つの対応点の位置を前記表示装置のスクリーン座標で検出することを特徴とする画像処理装置。 - 前記画像読み出し手段によって読み出された前記一対の画像を前記少なくとも1つの対応点が同一座標となるようにアフィン変換する平行ステレオ修正手段をさらに有し、
前記対応点検出手段が、アフィン変換された前記一対の画像から前記少なくとも1つの対応点を検出することを特徴とする請求項11に記載の画像処理装置。 - 前記対応点検出手段が、前記一対の画像それぞれの前記二対の指定点に基づいて前記一対の二等分線を算出し、前記第1の画像における前記第1の二等分線と前記二対の指定点を通る2本の直線との2つの交点を求め、該2つの交点のうち少なくとも1つの交点を前記少なくとも1つの第1の像点と定めることを特徴とする請求項11に記載の画像処理装置。
- 前記三次元情報算出手段が、前記少なくとも1つの対応点の座標を前記表示装置のスクリーン座標から前記撮像素子の撮像素子座標に変換するとともに、前記第1の画像に応じた撮影方向での前記カメラの中心を原点とした3次元座標を規定して、前記少なくとも1つの対応点に基づき、三角測量の原理を適用して前記少なくとも1つの測定点の3次元座標を算出することを特徴とする請求項11に記載の画像処理装置。
- 前記物体の径の長さを算出する径算出手段をさらに有し、
前記対応点検出手段が、2つの対応点を検出し、
前記三次元情報算出手段が、2つの測定点を算出し、
前記径算出手段が、
前記一対の画像の一方に応じた撮影方向における前記カメラの中心を通り前記物体の中心軸に垂直なベクトルを法線ベクトルとする平面であって前記物体の中心軸が載る径算出用平面を前記2つの測定点に基いて算出し、
前記径算出用平面と前記物体の表面上にあるとともに前記2つの測定点のいずれかの点と中心軸に沿った位置が一致する端点を、該一対の画像の一方にある前記一対の遮蔽輪郭上にある像であって前記端点の像である像点に基いて算出し、
前記物体の径の長さを前記2つの測定点の一方と前記端点に基づいて算出することを特徴とする請求項11に記載の画像処理装置。 - 中心軸周りに回転曲面が形成された回転体である物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる2方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、前記一対の画像を読み出し、
前記物体の求めるべき3次元位置を表す少なくとも1つの測定点の像であって前記一対の画像から一意に決まる少なくとも1つの対応点を、前記物体の中心軸の投影像に応じた一対の二等分線上において検出し、
前記少なくとも1つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも1つの測定点の三次元位置を算出する3次元情報計測方法であって、
前記一対の画像が第1の画像および第2の画像とからなり、前記一対の二等分線が前記第1の画像にある第1の二等分線と前記第2の画像にある第2の二等分線とからなり、また、前記少なくとも1つの対応点が前記第1の画像にある少なくとも1つの第1の像点と前記第2の画像にある少なくとも1つの第2の像点とからなり、
前記少なくとも1つの第1像点に応じた少なくとも一本のエピポーララインを前記第2の画像において設定し、前記少なくとも一本のエピポーララインと前記第2の二等分線との交点となる少なくとも1つのエピポーラ交点を求め、該少なくとも1つのエピポーラ交点を前記少なくとも1つの第2の像点と定め、
読み出された前記一対の画像を表示装置に表示し、
前記表示装置に表示される前記一対の画像それぞれに対し、入力操作に従って前記一対の遮蔽輪郭それぞれの線上に指定される二対の点を指定点として定め、
前記一対の画像それぞれの前記二対の指定点に基づいて前記少なくとも1つの対応点の位置を前記表示装置のスクリーン座標で検出することを備えたことを特徴とする3次元情報計測方法。 - 中心軸周りに回転曲面が形成された回転体である物体の3次元情報を計測するプログラムを格納した記録媒体であって、
前記物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる2方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、前記一対の画像を読み出し、
前記物体の求めるべき3次元位置を表す少なくとも1つの測定点の像であって前記一対の画像から一意に決まる少なくとも1つの対応点を、前記物体の中心軸の投影像に応じた一対の二等分線上において検出し、
前記少なくとも1つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも1つの測定点の三次元位置を算出する3次元情報計測処理のプログラムを格納した記録媒体であって、
前記一対の画像が第1の画像および第2の画像とからなり、前記一対の二等分線が前記第1の画像にある第1の二等分線と前記第2の画像にある第2の二等分線とからなり、また、前記少なくとも1つの対応点が前記第1の画像にある少なくとも1つの第1の像点と前記第2の画像にある少なくとも1つの第2の像点とからなり、
前記少なくとも1つの第1像点に応じた少なくとも一本のエピポーララインを前記第2の画像において設定し、前記少なくとも一本のエピポーララインと前記第2の二等分線との交点となる少なくとも1つのエピポーラ交点を求め、該少なくとも1つのエピポーラ交点を前記少なくとも1つの第2の像点と定め、
読み出された前記一対の画像を表示装置に表示し、
前記表示装置に表示される前記一対の画像それぞれに対し、入力操作に従って前記一対の遮蔽輪郭それぞれの線上に指定される二対の点を指定点として定め、
前記一対の画像それぞれの前記二対の指定点に基づいて前記少なくとも1つの対応点の位置を前記表示装置のスクリーン座標で検出することを特徴とする3次元情報計測処理のプログラムを格納したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001214813A JP3842988B2 (ja) | 2000-07-19 | 2001-07-16 | 両眼立体視によって物体の3次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000218608 | 2000-07-19 | ||
JP2000-218608 | 2000-07-19 | ||
JP2001214813A JP3842988B2 (ja) | 2000-07-19 | 2001-07-16 | 両眼立体視によって物体の3次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002099902A JP2002099902A (ja) | 2002-04-05 |
JP3842988B2 true JP3842988B2 (ja) | 2006-11-08 |
Family
ID=26596292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001214813A Expired - Fee Related JP3842988B2 (ja) | 2000-07-19 | 2001-07-16 | 両眼立体視によって物体の3次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3842988B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100785594B1 (ko) | 2005-06-17 | 2007-12-13 | 오므론 가부시키가이샤 | 화상 처리 장치 |
JP4774824B2 (ja) | 2005-06-17 | 2011-09-14 | オムロン株式会社 | 3次元計測処理の計測対象範囲の確認方法および計測対象範囲の設定方法ならびに各方法を実施する装置 |
JP4788475B2 (ja) * | 2005-06-17 | 2011-10-05 | オムロン株式会社 | 画像処理装置および画像処理方法 |
CN100417914C (zh) * | 2005-06-17 | 2008-09-10 | 欧姆龙株式会社 | 图像处理装置以及图像处理方法 |
JP5311465B2 (ja) * | 2008-11-25 | 2013-10-09 | Necシステムテクノロジー株式会社 | ステレオマッチング処理システム、ステレオマッチング処理方法、及びプログラム |
US8571303B2 (en) | 2008-11-25 | 2013-10-29 | Nec System Technologies, Ltd. | Stereo matching processing system, stereo matching processing method and recording medium |
JP5416489B2 (ja) * | 2009-06-17 | 2014-02-12 | 日本電信電話株式会社 | 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム |
KR101658578B1 (ko) * | 2010-01-27 | 2016-09-22 | 삼성전자주식회사 | 복합 센서의 캘리브레이션 장치 및 방법 |
JP5480669B2 (ja) * | 2010-03-01 | 2014-04-23 | 協和界面科学株式会社 | 接触角計用画像処理装置および液滴の平面視輪郭形状導出方法 |
JP6062217B2 (ja) * | 2012-11-11 | 2017-01-18 | 鹿島建設株式会社 | 堆積粒状材の粒径計測方法及びシステム並びにプログラム |
JP6065670B2 (ja) * | 2013-03-13 | 2017-01-25 | 株式会社リコー | 3次元計測システム、プログラム及び方法。 |
JP7264747B2 (ja) * | 2019-06-27 | 2023-04-25 | 株式会社クボタ | 屈曲角の算出方法および算出装置 |
CN113074633B (zh) * | 2021-03-22 | 2023-01-31 | 西安工业大学 | 一种物料外形尺寸的自动检测系统及其检测方法 |
-
2001
- 2001-07-16 JP JP2001214813A patent/JP3842988B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002099902A (ja) | 2002-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10825198B2 (en) | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images | |
JP5027747B2 (ja) | 位置測定方法、位置測定装置、およびプログラム | |
JP4889351B2 (ja) | 画像処理装置及びその処理方法 | |
US6539330B2 (en) | Method and apparatus for measuring 3-D information | |
JP5832341B2 (ja) | 動画処理装置、動画処理方法および動画処理用のプログラム | |
JP4095491B2 (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
JP5027746B2 (ja) | 位置測定方法、位置測定装置、およびプログラム | |
JP5362189B2 (ja) | 画像処理装置及びその処理方法 | |
JP4961628B2 (ja) | 投射映像補正システム及びその方法 | |
JP5715735B2 (ja) | 3次元測定方法、装置、及びシステム、並びに画像処理装置 | |
JP3859574B2 (ja) | 3次元視覚センサ | |
EP3067861A2 (en) | Determination of a coordinate conversion parameter | |
WO2010001940A1 (ja) | 位置測定方法、位置測定装置、およびプログラム | |
US20110249117A1 (en) | Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program | |
JP4619962B2 (ja) | 路面標示計測システム、白線モデル計測システムおよび白線モデル計測装置 | |
JP3842988B2 (ja) | 両眼立体視によって物体の3次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
JP2009017480A (ja) | カメラキャリブレーション装置およびそのプログラム | |
KR102129206B1 (ko) | 사진 이미지를 이용한 3차원 좌표 계산 방법 및 3차원 좌표 계산 장치 | |
JP2008309595A (ja) | オブジェクト認識装置及びそれに用いられるプログラム | |
KR102498028B1 (ko) | 감시 카메라 시스템 및 그 시스템 사용 방법 | |
JP3696336B2 (ja) | カメラのキャリブレーション方法 | |
JP3221384B2 (ja) | 三次元座標計測装置 | |
JP2024072284A (ja) | マルチビュー位相移動プロファイロメトリのための3次元キャリブレーション方法および装置 | |
JP3912638B2 (ja) | 3次元画像処理装置 | |
CN115601438A (zh) | 外参标定方法、装置以及自主移动设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060811 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |