JP2012078105A - 姿勢制御装置、制御方法及びプログラム - Google Patents
姿勢制御装置、制御方法及びプログラム Download PDFInfo
- Publication number
- JP2012078105A JP2012078105A JP2010220825A JP2010220825A JP2012078105A JP 2012078105 A JP2012078105 A JP 2012078105A JP 2010220825 A JP2010220825 A JP 2010220825A JP 2010220825 A JP2010220825 A JP 2010220825A JP 2012078105 A JP2012078105 A JP 2012078105A
- Authority
- JP
- Japan
- Prior art keywords
- imaging device
- viewpoint position
- control information
- posture
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 240
- 238000004364 calculation method Methods 0.000 claims abstract description 63
- 238000000605 extraction Methods 0.000 claims abstract description 50
- 239000000284 extract Substances 0.000 claims abstract description 13
- 230000036544 posture Effects 0.000 claims description 227
- 238000007689 inspection Methods 0.000 claims description 135
- 238000013500 data storage Methods 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 18
- 230000007547 defect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000009434 installation Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
【課題】検査対象と撮像装置との相対的な位置関係である視点位置が基準視点位置と同じになるように、撮像装置の姿勢を制御する。
【解決手段】特徴線抽出部105は、撮像装置が所定の姿勢で検査対象を撮像した画像データから検査対象の特徴線を抽出する。次に、移動量算出部109は、当該特徴線の位置と基準特徴線の位置とに基づいて、現在の視点位置から基準視点位置までの移動量を算出する。そして、反映部110は、当該移動量を姿勢制御情報に反映させる。
【選択図】図2
【解決手段】特徴線抽出部105は、撮像装置が所定の姿勢で検査対象を撮像した画像データから検査対象の特徴線を抽出する。次に、移動量算出部109は、当該特徴線の位置と基準特徴線の位置とに基づいて、現在の視点位置から基準視点位置までの移動量を算出する。そして、反映部110は、当該移動量を姿勢制御情報に反映させる。
【選択図】図2
Description
本発明は、検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御する姿勢制御装置、制御方法及びプログラムに関する。
ガスタービンに用いるタービンブレードは、運用中に、損傷などの欠陥が生じることがある。従来、このようなタービンブレード等の検査対象の欠陥を検査するために、カメラと照明とを備える撮像装置によって予め定められた視点位置から検査対象の表面を撮影し、得られる画像を解析することで、検査対象の欠陥の有無を判定している(例えば、特許文献1〜3を参照)。
なお、タービンブレードなどの複雑な形状を有する検査対象の欠陥を検査する場合、予め基準となる検査対象の画像と撮像装置が撮像した画像との差分を用いて欠陥の有無を判定する。この場合、基準となる画像に含まれる検査対象の位置と撮像装置が撮像した画像に含まれる検査対象の位置とを一致させる必要がある。
しかしながら、タービンブレード等の検査対象を設置治具に設置する際、基準となる設置位置と全く同じ位置に設置することは困難であり、設置作業に時間が掛かってしまうという問題があった。
本発明は、上記の問題に鑑みてなされたものであり、検査対象と撮像装置との相対的な位置関係である視点位置が基準となる視点位置と同じになるように、撮像装置の姿勢を制御する姿勢制御装置、制御方法及びプログラムを提供することを課題とする。
本発明は、上記の問題に鑑みてなされたものであり、検査対象と撮像装置との相対的な位置関係である視点位置が基準となる視点位置と同じになるように、撮像装置の姿勢を制御する姿勢制御装置、制御方法及びプログラムを提供することを課題とする。
本発明は上記の課題を解決するためになされたものであり、検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御する姿勢制御装置であって、前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、前記検査対象を特徴付ける部分を示す複数の特徴部同士の位置関係を示す3次元データを記憶する3次元データ記憶手段と、前記撮像装置が所定の姿勢で前記検査対象を撮像した画像データを取得する画像取得手段と、前記画像取得手段が取得した画像データから前記検査対象の特徴部を抽出する特徴部抽出手段と、前記3次元データ記憶手段が記憶する3次元データを透視投影したときに前記3次元データの特徴部の位置と前記特徴部抽出手段が抽出した特徴部の位置とが一致する視点位置を特定する視点特定手段と、前記視点特定手段が特定した視点位置から予め定められた所定の視点位置である基準視点位置までの移動量を算出する移動量算出手段と、前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる反映手段とを備えることを特徴とする。
また、本発明においては、前記制御情報記憶手段は、前記検査対象を撮像する際の前記撮像装置の複数の姿勢の識別情報に対応付けて前記撮像装置の姿勢を制御する姿勢制御情報を記憶し、前記反映手段は、前記制御情報記憶手段が記憶する姿勢制御情報の各々に前記移動量算出手段が算出した移動量を反映させることが好ましい。
また、本発明においては、前記検査対象と同じ型の物体であって基準となる形状を有する物体を前記基準視点位置から撮像したときに得られる基準画像データを記憶する基準記憶手段と、前記基準視点位置で前記検査対象を撮像することで得られる補正後画像データと前記基準記憶手段が記憶する基準画像データとの間における前記特徴部以外の部分の変形量を算出する変形量算出手段と、を備え、前記反映手段は、前記撮像装置が前記検査対象の特徴部以外の部分を撮像する際の姿勢の識別情報に関連付けられた姿勢制御情報に、前記変形量算出手段が算出した変形量を反映させることが好ましい。
また、本発明においては、前記制御情報記憶手段は、前記撮像装置の複数の姿勢の識別情報に対応付けて当該姿勢で撮像する際に撮像装置に入射させる光量を制御する光量制御情報をさらに記憶し、前記制御情報記憶手段が記憶する姿勢で前記撮像装置が撮像した画像データの所定の領域の平均明度が予め定められた基準明度になるように、前記姿勢の識別情報に関連付けられた光量制御情報を補正する光量補正手段とを備えることが好ましい。
また、本発明は、検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御する姿勢制御装置であって、前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、検査対象を撮像する撮像装置が予め定められた所定の視点位置である基準視点位置から撮像した画像データに含まれる、前記検査対象を特徴付ける部分を示す複数の特徴部の位置を記憶する特徴部記憶手段と、前記撮像装置が前記所定の姿勢で撮像した画像データを取得する画像取得手段と、前記特徴部記憶手段が記憶する特徴部の位置と前記画像取得手段が取得した画像データの特徴部の位置とを用いて、前記撮像装置の視点位置から前記基準視点位置までの移動量を算出する移動量算出手段と、前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる反映手段とを備えることを特徴とする。
また、本発明においては、前記特徴部記憶手段は、複数の視点位置を示す視点位置情報それぞれに関連付けて前記特徴部の位置を記憶し、前記画像取得手段は、前記撮像装置が、前記初期位置記憶手段が記憶する視点位置情報が示すそれぞれの視点位置から撮像した画像データを取得し、前記移動量算出手段は、前記位置記憶手段が記憶する視点位置情報毎に、前記特徴量の位置と前記画像取得手段が取得した画像データの特徴量の位置とを用いて、前記撮像装置の視点位置から前記視点位置情報が示す視点位置までの移動量を算出することが好ましい。
また、本発明においては、前記撮像装置の光軸方向に直交する軸を基準に傾斜させた前記検査対象を前記撮像装置が撮像した画像データを、前記検査対象の傾斜角に関連付けて記憶する傾斜情報記憶手段と、前記画像取得手段が取得した画像データと前記傾斜情報記憶手段が記憶する画像データとを比較し、最も近似する画像データに関連付けられた傾斜角を読み出す傾斜情報読出手段とを備え、前記移動量作成手段は、前記特徴部記憶手段が記憶する特徴部の位置と前記画像取得手段が取得した画像データの特徴部の位置と、前記傾斜情報読出手段が読み出した傾斜情報とを用いて、前記撮像装置の視点位置から前記視点位置情報が示す視点位置までの移動量を算出することが好ましい。
また、本発明は、検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御し、前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、前記検査対象を特徴付ける部分を示す複数の特徴部同士の位置関係を示す3次元データを記憶する3次元データ記憶手段と、を備える姿勢制御装置の制御方法であって、画像取得手段は、前記撮像装置が所定の姿勢で前記検査対象を撮像した画像データを取得し、特徴部抽出手段は、前記画像取得手段が取得した画像データから前記検査対象の特徴部を抽出し、視点特定手段は、前記3次元データ記憶手段が記憶する3次元データを透視投影したときに前記3次元データの特徴部の位置と前記特徴部抽出手段が抽出した特徴部の位置とが一致する視点位置を特定し、移動量算出手段は、前記視点特定手段が特定した視点位置から予め定められた所定の視点位置である基準視点位置までの移動量を算出し、反映手段は、前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させることを特徴とする。
また、本発明は、検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御し、前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、検査対象を撮像する撮像装置が予め定められた所定の視点位置である基準視点位置から撮像した画像データに含まれる、前記検査対象を特徴付ける部分を示す複数の特徴部の位置を記憶する特徴部記憶手段とを備える姿勢制御装置であって、画像取得手段は、前記撮像装置が前記所定の姿勢で撮像した画像データを取得し、移動量算出手段は、前記特徴部記憶手段が記憶する特徴部の位置と前記画像取得手段が取得した画像データの特徴部の位置とを用いて、前記撮像装置の視点位置から前記基準視点位置までの移動量を算出し、反映手段は、前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させることを特徴とする。
また、本発明は、検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御し、前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、前記検査対象を特徴付ける部分を示す複数の特徴部同士の位置関係を示す3次元データを記憶する3次元データ記憶手段とを備える姿勢制御装置を、前記撮像装置が所定の姿勢で前記検査対象を撮像した画像データを取得する画像取得手段、前記画像取得手段が取得した画像データから前記検査対象の特徴部を抽出する特徴部抽出手段、前記3次元データ記憶手段が記憶する3次元データを透視投影したときに前記3次元データの特徴部の位置と前記特徴部抽出手段が抽出した特徴部の位置とが一致する視点位置を特定する視点特定手段、前記視点特定手段が特定した視点位置から予め定められた所定の視点位置である基準視点位置までの移動量を算出する移動量算出手段、前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる反映手段として機能させるためのプログラムである。
また、本発明は、検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御し、前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、検査対象を撮像する撮像装置が予め定められた所定の視点位置である基準視点位置から撮像した画像データに含まれる、前記検査対象を特徴付ける部分を示す複数の特徴部の位置を記憶する特徴部記憶手段と、を備える姿勢制御装置を、前記撮像装置が前記所定の姿勢で撮像した画像データを取得する画像取得手段、前記特徴部記憶手段が記憶する特徴部の位置と前記画像取得手段が取得した画像データの特徴部の位置とを用いて、前記撮像装置の視点位置から前記基準視点位置までの移動量を算出する移動量算出手段、前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる反映手段として機能させるためのプログラムである。
本発明によれば、姿勢制御装置は、撮像装置が所定の姿勢で検査対象を撮像した画像データから検査対象の特徴部を抽出し、当該特徴部の位置と基準となる特徴部の位置とに基づいて、現在の視点位置から基準となる視点位置までの移動量を算出する。そして、姿勢制御装置は、当該移動量を、検査対象を撮像する際の撮像装置の姿勢を制御する姿勢制御情報に反映させる。これにより、反映後の姿勢制御情報を用いて撮像装置の姿勢を制御することで、検査対象と撮像装置との相対的な位置関係である視点位置が基準となる視点位置と同じになるように、撮像装置の姿勢を制御することができる。
《第1の実施形態》
以下、図面を参照しながら本発明の第1の実施形態について詳しく説明する。
図1は、本発明の一実施形態による姿勢制御装置2を含む欠陥判定システムの構成を示す図である。
欠陥判定システムは、検査対象3に含まれるクラックなどの欠陥の有無を測定するシステムであり、撮像装置1及び姿勢制御装置2を備える。
撮像装置1は、検査対象3を撮像する撮像部11と、撮像部11の位置及び視線方向を固定するアーム12と、姿勢制御装置2から制御信号を受信し、当該制御信号に従って撮像装置1の姿勢を制御する制御部とを備える。
姿勢制御装置2は、撮像装置1の姿勢を制御する制御信号を撮像装置1に出力することで、撮像装置1が所定の視点位置で検査対象3を撮像できるように制御する。なお、視点位置とは、検査対象3と撮像装置1との相対的な位置関係のことである。
以下、図面を参照しながら本発明の第1の実施形態について詳しく説明する。
図1は、本発明の一実施形態による姿勢制御装置2を含む欠陥判定システムの構成を示す図である。
欠陥判定システムは、検査対象3に含まれるクラックなどの欠陥の有無を測定するシステムであり、撮像装置1及び姿勢制御装置2を備える。
撮像装置1は、検査対象3を撮像する撮像部11と、撮像部11の位置及び視線方向を固定するアーム12と、姿勢制御装置2から制御信号を受信し、当該制御信号に従って撮像装置1の姿勢を制御する制御部とを備える。
姿勢制御装置2は、撮像装置1の姿勢を制御する制御信号を撮像装置1に出力することで、撮像装置1が所定の視点位置で検査対象3を撮像できるように制御する。なお、視点位置とは、検査対象3と撮像装置1との相対的な位置関係のことである。
図2は、本発明の一実施形態による姿勢制御装置2の構成を示す概略ブロック図である。
姿勢制御装置2は、制御情報記憶部101(制御情報記憶手段)、姿勢制御部102、画像取得部103(画像取得手段)、3次元データ記憶部104(3次元データ記憶手段)、特徴線抽出部105(特徴部抽出手段)、入力部106(入力手段)、視点特定部107(視点特定手段)、基準特徴線記憶部108、移動量算出部109(移動量算出手段)、反映部110(反映手段)、基準画像記憶部111(基準記憶手段)、変形量算出部112(変形量算出手段)、3次元データ生成部113を備える。
姿勢制御装置2は、制御情報記憶部101(制御情報記憶手段)、姿勢制御部102、画像取得部103(画像取得手段)、3次元データ記憶部104(3次元データ記憶手段)、特徴線抽出部105(特徴部抽出手段)、入力部106(入力手段)、視点特定部107(視点特定手段)、基準特徴線記憶部108、移動量算出部109(移動量算出手段)、反映部110(反映手段)、基準画像記憶部111(基準記憶手段)、変形量算出部112(変形量算出手段)、3次元データ生成部113を備える。
制御情報記憶部101は、検査対象3を撮像する際の撮像装置1の姿勢を示す識別情報に関連付けて、当該姿勢を制御する姿勢制御情報を記憶する。なお、制御情報記憶部101は、少なくとも検査対象3の全体を撮像できる姿勢である基準姿勢の姿勢制御情報を記憶している。また、「撮像装置1の姿勢」とは、撮像装置1の撮像部11の位置及び視線方向のことを言い、アーム12の角度によって決定される。
姿勢制御部102は、制御情報記憶部101が記憶する姿勢制御情報に基づいて撮像装置1の姿勢を制御する。
画像取得部103は、姿勢制御部102が制御した姿勢で撮像装置1が撮像した画像データを取得する。
姿勢制御部102は、制御情報記憶部101が記憶する姿勢制御情報に基づいて撮像装置1の姿勢を制御する。
画像取得部103は、姿勢制御部102が制御した姿勢で撮像装置1が撮像した画像データを取得する。
3次元データ記憶部104は、3次元データ生成部113が生成した3次元データを記憶する。ここで、3次元データとは、検査対象3のエッジ部分を示す複数の特徴線(特徴部)を表すデータである。具体的には、3次元データ記憶部104は、検査対象3の特徴線の位置を示す方程式を、3次元データとして記憶する。また、3次元データが格納する各特徴線の情報には、当該特徴線の関数及び当該特徴線を識別する識別情報が含まれる。
特徴線抽出部105は、画像取得部103が取得した画像データから検査対象3の特徴線を抽出する。具体的には、特徴線抽出部105は、画像取得部103が取得したそれぞれの画像データからエッジ部分を特徴線として抽出する。エッジ部分の抽出方法としては、例えば画像データにHough変換処理を実行する方法や入力部106を介してユーザから直線の始点と終点の入力を受け付ける方法などが挙げられる。
入力部106は、特徴線抽出部105が抽出した特徴線を識別する識別情報の入力を受け付ける。
特徴線抽出部105は、画像取得部103が取得した画像データから検査対象3の特徴線を抽出する。具体的には、特徴線抽出部105は、画像取得部103が取得したそれぞれの画像データからエッジ部分を特徴線として抽出する。エッジ部分の抽出方法としては、例えば画像データにHough変換処理を実行する方法や入力部106を介してユーザから直線の始点と終点の入力を受け付ける方法などが挙げられる。
入力部106は、特徴線抽出部105が抽出した特徴線を識別する識別情報の入力を受け付ける。
視点特定部107は、3次元データ記憶部104が記憶する3次元データを透視投影したときに、3次元データが示す特徴線の位置と特徴線抽出部105が抽出した特徴線の位置とが一致するような視点位置を特定する。また、視点特定部107は、特定した視点位置を基準としたときの各特徴線を示す方程式を生成する。
基準特徴線記憶部108は、撮像装置1が検査対象3の全体を撮像することができる所定の視点位置である基準視点位置を基準としたときの各特徴線を示す方程式を記憶する。
基準特徴線記憶部108は、撮像装置1が検査対象3の全体を撮像することができる所定の視点位置である基準視点位置を基準としたときの各特徴線を示す方程式を記憶する。
移動量算出部109は、視点特定部107が生成したデータと基準特徴線記憶部108が記憶するデータを用いて、基準姿勢における撮像装置1の視点位置から基準視点位置までの移動量を算出する。
反映部110は、移動量算出部109が算出した移動量を、制御情報記憶部101が記憶するそれぞれの姿勢制御情報に反映させる。また、反映部110は、変形量算出部112から検査対象3の特徴線以外の部分の変形量を入力し、撮像装置1が検査対象3の特徴線以外の部分を撮像する際の姿勢の識別情報に関連付けられた姿勢制御情報に当該変形量を反映させる。
反映部110は、移動量算出部109が算出した移動量を、制御情報記憶部101が記憶するそれぞれの姿勢制御情報に反映させる。また、反映部110は、変形量算出部112から検査対象3の特徴線以外の部分の変形量を入力し、撮像装置1が検査対象3の特徴線以外の部分を撮像する際の姿勢の識別情報に関連付けられた姿勢制御情報に当該変形量を反映させる。
基準画像記憶部111は、検査対象3と同じ型の物体であって基準となる形状を有する物体(例えば、未使用のタービンブレードなど)を基準視点位置から撮像したときに得られる基準画像データを記憶する。なお、基準画像データは、実際に撮像装置1が基準視点位置から撮像した画像データであっても良く、検査対象3の3Dデータを基準視点位置を視点としてモデリングすることで得られる画像データであっても良い。
変形量算出部112は、反映部110によって移動量が反映された姿勢制御情報に基づいて姿勢制御部102が制御した姿勢で、撮像装置1が撮像した画像データ(補正後画像データ)を画像取得部103から取得する。また、変形量算出部112は、当該画像データと基準画像記憶部111が記憶する基準画像データとの間における特徴線以外の部分の変形量を算出する。
変形量算出部112は、反映部110によって移動量が反映された姿勢制御情報に基づいて姿勢制御部102が制御した姿勢で、撮像装置1が撮像した画像データ(補正後画像データ)を画像取得部103から取得する。また、変形量算出部112は、当該画像データと基準画像記憶部111が記憶する基準画像データとの間における特徴線以外の部分の変形量を算出する。
3次元データ生成部113は、姿勢制御部102から入力した姿勢制御情報と、特徴線抽出部105が抽出した特徴線とを用いて3次元データを生成し、3次元データ記憶部104に当該3次元データを記録する。
ここで、3次元データ記憶部104が記憶する3次元データの生成方法を説明する。
まず、姿勢制御部102は、撮像装置1の姿勢を、検査対象3の全体を撮像できる姿勢に制御し、画像取得部103は当該姿勢で撮像した画像データを取得する。同様の処理を複数回実行することで、画像取得部103は、異なる視点位置から検査対象3の全体を撮像した画像データを取得する。このとき、姿勢制御部102は、撮像装置1を制御した姿勢を示す姿勢制御情報を3次元データ生成部113に出力する。
ここで、3次元データ記憶部104が記憶する3次元データの生成方法を説明する。
まず、姿勢制御部102は、撮像装置1の姿勢を、検査対象3の全体を撮像できる姿勢に制御し、画像取得部103は当該姿勢で撮像した画像データを取得する。同様の処理を複数回実行することで、画像取得部103は、異なる視点位置から検査対象3の全体を撮像した画像データを取得する。このとき、姿勢制御部102は、撮像装置1を制御した姿勢を示す姿勢制御情報を3次元データ生成部113に出力する。
図3は、複数の画像データから抽出した特徴線を用いて3次元空間における特徴線を示す方程式を導出する方法を示す図である。
次に、特徴線抽出部105は、画像取得部103が取得したそれぞれの画像データからエッジ部分を特徴線として抽出する。タービンブレードのプラットホームはエッジを有するため、画像データに当該エッジが直線として表れることとなる。
次に、ユーザは、当該抽出した特徴線のそれぞれに一意な識別情報を付与する。入力部106は、ユーザから当該識別情報の入力を受け付ける。同様の処理を、全ての画像データに対して実行する。図3(A)に示す例では、それぞれの特徴線にl1 (n)、l2 (n)、l3 (n)という識別情報を付与している。ここで、添字「1」、「2」、「3」は、特徴線に一意な識別番号を示し、添字「(n)」は、画像データの識別番号を示す。このとき、ユーザは、検査対象3の同一の部分を示す特徴線に対して同じ識別番号を付与する。
次に、特徴線抽出部105は、画像取得部103が取得したそれぞれの画像データからエッジ部分を特徴線として抽出する。タービンブレードのプラットホームはエッジを有するため、画像データに当該エッジが直線として表れることとなる。
次に、ユーザは、当該抽出した特徴線のそれぞれに一意な識別情報を付与する。入力部106は、ユーザから当該識別情報の入力を受け付ける。同様の処理を、全ての画像データに対して実行する。図3(A)に示す例では、それぞれの特徴線にl1 (n)、l2 (n)、l3 (n)という識別情報を付与している。ここで、添字「1」、「2」、「3」は、特徴線に一意な識別番号を示し、添字「(n)」は、画像データの識別番号を示す。このとき、ユーザは、検査対象3の同一の部分を示す特徴線に対して同じ識別番号を付与する。
特徴線抽出部105は、入力部106から識別情報と特徴線との対応関係を示す情報を3次元データ生成部113に出力する。また、3次元データ生成部113は、姿勢制御部102から入力した姿勢制御情報と特徴線抽出部105が抽出した特徴線の情報から、それぞれの画像データが示す特徴線を3次元空間に投影したときの平面を示す平面方程式を導出する。次に、3次元データ生成部113は、導出した複数の平面方程式から3次元空間における特徴線を示す方程式を導出する。
図3(B)に示す例では、3次元データ生成部113は、撮像装置1が第1の画像データを撮像したときの座標系から、特徴線l1 (1)を示す平面方程式g(l1 (1))及び撮像装置1が第nの画像データを撮像したときの座標系から、特徴線l1 (n)を示す平面方程式g(l1 (n))を導出する。そして、3次元データ生成部113は、導出した平面方程式g(l1 (1))及びg(l1 (n))から直線L1を示す方程式g(l1 (1))×g(l1 (n))を導出する。
上記手順を特徴線毎に繰り返すことで、それぞれの特徴線を示す方程式を導出することができる。そして、3次元データ生成部113は、導出したそれぞれの方程式を特徴線の識別情報に関連付けて、3次元データとして3次元データ記憶部104に記録する。
図3(B)に示す例では、3次元データ生成部113は、撮像装置1が第1の画像データを撮像したときの座標系から、特徴線l1 (1)を示す平面方程式g(l1 (1))及び撮像装置1が第nの画像データを撮像したときの座標系から、特徴線l1 (n)を示す平面方程式g(l1 (n))を導出する。そして、3次元データ生成部113は、導出した平面方程式g(l1 (1))及びg(l1 (n))から直線L1を示す方程式g(l1 (1))×g(l1 (n))を導出する。
上記手順を特徴線毎に繰り返すことで、それぞれの特徴線を示す方程式を導出することができる。そして、3次元データ生成部113は、導出したそれぞれの方程式を特徴線の識別情報に関連付けて、3次元データとして3次元データ記憶部104に記録する。
上記構成を備えることで、姿勢制御装置2は、以下に示す動作を行う。
画像取得部103は、撮像装置1が所定の姿勢で検査対象3を撮像した画像データを取得する。特徴線抽出部105は、画像取得部103が取得した画像データから検査対象3の特徴線を抽出する。視点特定部107は、3次元データ記憶部104が記憶する3次元データを透視投影したときに3次元データの特徴線の位置と特徴線抽出部105が抽出した特徴線の位置とが一致する視点位置を特定する。移動量算出部109は、視点特定部107が特定した視点位置から予め定められた所定の視点位置である基準視点位置までの移動量を算出する。反映部110は、移動量算出部109が算出した移動量を制御情報記憶部101が記憶する姿勢制御情報に反映させる。
これにより、姿勢制御装置2は、当該姿勢制御情報を用いて撮像装置1を制御することで、撮像装置1の視点位置が基準視点位置と同じになるように撮像装置1の姿勢を制御することができる。
画像取得部103は、撮像装置1が所定の姿勢で検査対象3を撮像した画像データを取得する。特徴線抽出部105は、画像取得部103が取得した画像データから検査対象3の特徴線を抽出する。視点特定部107は、3次元データ記憶部104が記憶する3次元データを透視投影したときに3次元データの特徴線の位置と特徴線抽出部105が抽出した特徴線の位置とが一致する視点位置を特定する。移動量算出部109は、視点特定部107が特定した視点位置から予め定められた所定の視点位置である基準視点位置までの移動量を算出する。反映部110は、移動量算出部109が算出した移動量を制御情報記憶部101が記憶する姿勢制御情報に反映させる。
これにより、姿勢制御装置2は、当該姿勢制御情報を用いて撮像装置1を制御することで、撮像装置1の視点位置が基準視点位置と同じになるように撮像装置1の姿勢を制御することができる。
次に、本実施形態による姿勢制御装置2の動作を説明する。
図4は、第1の実施形態による姿勢制御装置2の動作を示すフローチャートである。
まず、姿勢制御部102は、制御情報記憶部101から基準姿勢の姿勢制御情報を読み出し、当該姿勢制御情報に基づいて撮像装置1の姿勢を基準姿勢に制御する(ステップS1)。これにより、撮像装置1は、基準姿勢で検査対象3を撮像する。
次に、画像取得部103は、撮像装置1から撮像装置1が撮像した画像データを取得する(ステップS2)。次に、特徴線抽出部105は、画像取得部103が取得した画像データから特徴線を抽出する(ステップS3)。
図4は、第1の実施形態による姿勢制御装置2の動作を示すフローチャートである。
まず、姿勢制御部102は、制御情報記憶部101から基準姿勢の姿勢制御情報を読み出し、当該姿勢制御情報に基づいて撮像装置1の姿勢を基準姿勢に制御する(ステップS1)。これにより、撮像装置1は、基準姿勢で検査対象3を撮像する。
次に、画像取得部103は、撮像装置1から撮像装置1が撮像した画像データを取得する(ステップS2)。次に、特徴線抽出部105は、画像取得部103が取得した画像データから特徴線を抽出する(ステップS3)。
次に、入力部106は、ユーザから特徴線抽出部105が抽出した特徴線の識別情報の入力を受け付ける(ステップS4)。このとき、ユーザは3次元データ記憶部104が記憶する特徴線に対応する特徴線に対して識別情報を入力する。次に、特徴線抽出部105は、入力部106が入力を受け付けた識別番号を、抽出した特徴線のそれぞれに関連付けて、視点特定部107に出力する。
次に、視点特定部107は、特徴線抽出部105から入力した特徴線(2次元平面上の特徴線)と3次元データ記憶部104が記憶する3次元データが示す特徴線(3次元空間上の特徴線)とを用いて、基準姿勢の撮像装置1の位置を基準としたときの各特徴線の位置関係を示す方程式を導出する(ステップS5)。つまり、視点特定部107は、3次元データ記憶部104が記憶する3次元データを透視投影したときに3次元データの特徴線の位置と特徴線抽出部105が抽出した特徴線の位置とが一致する視点位置を特定し、当該視点位置を基準とした各特徴線の方程式を導出する。ここで「一致する」とは、完全に一致することのみを示すものではなく、同一の識別情報が示す特徴線同士のずれ量の総和が最小となることを言う。
次に、視点特定部107は、特徴線抽出部105から入力した特徴線(2次元平面上の特徴線)と3次元データ記憶部104が記憶する3次元データが示す特徴線(3次元空間上の特徴線)とを用いて、基準姿勢の撮像装置1の位置を基準としたときの各特徴線の位置関係を示す方程式を導出する(ステップS5)。つまり、視点特定部107は、3次元データ記憶部104が記憶する3次元データを透視投影したときに3次元データの特徴線の位置と特徴線抽出部105が抽出した特徴線の位置とが一致する視点位置を特定し、当該視点位置を基準とした各特徴線の方程式を導出する。ここで「一致する」とは、完全に一致することのみを示すものではなく、同一の識別情報が示す特徴線同士のずれ量の総和が最小となることを言う。
視点特定部107が、基準姿勢の撮像装置1の視点位置を基準とした特徴線の方程式を導出すると、移動量算出部109は、当該特徴線の方程式と、基準特徴線記憶部108が記憶する特徴線の方程式とを用いて、撮像装置1の視点位置から基準視点位置までの移動量を算出する(ステップS6)。具体的には、視点特定部107が導出した特徴線と基準特徴線記憶部108が記憶する特徴線とが一致するときの平行移動距離及び回転角を、基準姿勢における撮像装置1の視点位置から基準視点位置までの移動量として数値解析手法で算出する。
次に、反映部110は、移動量算出部109が算出した移動量を制御情報記憶部101が記憶する各姿勢制御情報に反映させる(ステップS7)。例えば、反映部110は、移動量算出部109が算出したx軸方向の移動量を、姿勢制御情報のうち撮像装置1のアーム12の左右方向(左右方向がx軸に対応する場合)の移動量に加算する。同様の処理を、y軸方向の移動量、z軸方向の移動量、x軸方向の回転角、y軸方向の回転角、z軸方向の回転角に対してそれぞれ実行する。
次に、姿勢制御部102は、制御情報記憶部101から基準姿勢の姿勢制御情報を読み出し、当該姿勢制御情報に基づいて撮像装置1の姿勢を基準姿勢に制御する(ステップS8)。これにより、撮像装置1は、移動量算出部109が算出した移動量を反映した基準姿勢で検査対象3を撮像する。
次に、画像取得部103は、撮像装置1から撮像装置1が撮像した画像データを取得し(ステップS9)、変形量算出部112に出力する。
次に、画像取得部103は、撮像装置1から撮像装置1が撮像した画像データを取得し(ステップS9)、変形量算出部112に出力する。
次に、変形量算出部112は、基準画像記憶部111が記憶する基準画像データを読み出す(ステップS10)。基準画像データは、上述したように検査対象3と同じ型の物体であって基準となる形状を有する物体を基準視点位置から撮像したときに得られる画像を示すデータである。また、ステップS9で画像取得部103が取得した画像データは、移動量算出部109が算出した移動量を反映した基準姿勢で検査対象3を撮像した画像を示すデータである。したがって、画像取得部103が取得した画像データと基準画像記憶部111が記憶する基準画像データは、少なくとも特徴線の位置が一致することとなる。
次に、変形量算出部112は、画像取得部103から入力した画像データと基準画像記憶部111が記憶する基準画像データとの間における特徴部以外の部分の変形量を算出する(ステップS11)。例えば、変形量算出部112は、テンプレートマッチング法などを用いることで、変形量を算出すると良い。
図5は、タービンブレードの変形の例を示す図である。
検査対象3がタービンブレードである場合、タービンブレードは、ガスタービンでの運用により羽根部分が変形することが多い。例えば、図5に示す例では、基準画像データと画像取得部103が取得した画像データとを比較すると、特徴線が含まれるプラットホーム部分は一致するが、特徴部以外の部分である羽根部分に変形が生じていることが分かる。
そこで、変形量算出部112は、画像取得部103が取得した画像データの特徴線以外の部分と基準画像データの特徴線以外の部分とをテンプレートマッチング処理し、変形量である平行移動距離及び回転角を算出する。
検査対象3がタービンブレードである場合、タービンブレードは、ガスタービンでの運用により羽根部分が変形することが多い。例えば、図5に示す例では、基準画像データと画像取得部103が取得した画像データとを比較すると、特徴線が含まれるプラットホーム部分は一致するが、特徴部以外の部分である羽根部分に変形が生じていることが分かる。
そこで、変形量算出部112は、画像取得部103が取得した画像データの特徴線以外の部分と基準画像データの特徴線以外の部分とをテンプレートマッチング処理し、変形量である平行移動距離及び回転角を算出する。
次に、反映部110は、変形量算出部112が算出した変形量を、制御情報記憶部101が記憶する姿勢制御情報のうち、撮像装置1が検査対象3の特徴線以外の部分を撮像する際の姿勢の識別情報に関連付けられた姿勢制御情報に当該変形量を反映させる(ステップS12)。
このように、本実施形態によれば、特徴線抽出部105は、撮像装置1が所定の姿勢で検査対象3を撮像した画像データから検査対象3の特徴線を抽出する。次に、移動量算出部109は、当該特徴線の位置と基準特徴線の位置とに基づいて、現在の視点位置から基準視点位置までの移動量を算出する。そして、反映部110は、当該移動量を姿勢制御情報に反映させる。これにより、姿勢制御部102が反映後の姿勢制御情報を用いて撮像装置1の姿勢を制御することで、検査対象3と撮像装置1との相対的な位置関係である視点位置が基準視点位置と同じになるように、撮像装置1の姿勢を制御することができる。
また、本実施形態によれば、変形量算出部112は、特徴線の位置を一致させた後の画像データと、検査対象3と同じ型の基準となる物体との間の変形量を算出する。そして、反映部110は、当該移動量を姿勢制御情報のうち、特徴線以外の部分を撮像する姿勢を示す姿勢制御情報に反映させる。これにより、姿勢制御部102が反映後の姿勢制御情報を用いて撮像装置1の姿勢を制御することで、変形部分を撮像する際の検査対象3と撮像装置1との相対的な位置関係である視点位置が基準視点位置と同じになるように、撮像装置1の姿勢を制御することができる。
《第2の実施形態》
以下、図面を参照しながら本発明の第2の実施形態について詳しく説明する。
図6は、第2の実施形態による姿勢制御装置2の構成を示す概略ブロック図である。
本発明の第2の実施形態による姿勢制御装置2は、第1の実施形態による姿勢制御装置2の3次元データ記憶部104、視点特定部107、移動量算出部109、及び変形量算出部112の代わりに、記憶しているデータ及び動作が異なる3次元データ記憶部201、視点特定部202、移動量算出部203、及び変形量算出部204を備える。また、本発明の第2の実施形態による姿勢制御装置2は、第1の実施形態による姿勢制御装置2の基準特徴線記憶部108及び基準画像記憶部111を備えず、代わりに基準視点位置記憶部205を備える。また、本発明の第2の実施形態による姿勢制御装置2は、第1の実施形態による姿勢制御装置2が備える3次元データ生成部113を備えない。
なお、第2の実施形態において、第1の実施形態と同様の構成要素については、同一の符号を付して詳細な説明を省略する。
以下、図面を参照しながら本発明の第2の実施形態について詳しく説明する。
図6は、第2の実施形態による姿勢制御装置2の構成を示す概略ブロック図である。
本発明の第2の実施形態による姿勢制御装置2は、第1の実施形態による姿勢制御装置2の3次元データ記憶部104、視点特定部107、移動量算出部109、及び変形量算出部112の代わりに、記憶しているデータ及び動作が異なる3次元データ記憶部201、視点特定部202、移動量算出部203、及び変形量算出部204を備える。また、本発明の第2の実施形態による姿勢制御装置2は、第1の実施形態による姿勢制御装置2の基準特徴線記憶部108及び基準画像記憶部111を備えず、代わりに基準視点位置記憶部205を備える。また、本発明の第2の実施形態による姿勢制御装置2は、第1の実施形態による姿勢制御装置2が備える3次元データ生成部113を備えない。
なお、第2の実施形態において、第1の実施形態と同様の構成要素については、同一の符号を付して詳細な説明を省略する。
3次元データ記憶部201は、検査対象3の外観を表す3次元モデルを示す、3次元データを記憶する。
視点特定部202は、3次元データ記憶部201から3次元データを読み出し、当該3次元データが示す3次元モデルを透視投影したときに、3次元モデルの特徴線の位置と特徴線抽出部105が抽出した特徴線の位置とが一致するような視点位置を特定する。
基準視点位置記憶部205は、基準視点位置を記憶する。
移動量算出部203は、視点特定部202が特定した視点位置から基準視点位置記憶部205が記憶する基準視点位置までの移動量を算出する。
視点特定部202は、3次元データ記憶部201から3次元データを読み出し、当該3次元データが示す3次元モデルを透視投影したときに、3次元モデルの特徴線の位置と特徴線抽出部105が抽出した特徴線の位置とが一致するような視点位置を特定する。
基準視点位置記憶部205は、基準視点位置を記憶する。
移動量算出部203は、視点特定部202が特定した視点位置から基準視点位置記憶部205が記憶する基準視点位置までの移動量を算出する。
変形量算出部204は、基準視点位置記憶部205が記憶する基準視点位置を用いて3次元データ記憶部201が記憶する3次元データが示す3次元モデルをレンダリングする。また、変形量算出部204は、レンダリングにより得られた画像データ(基準画像データ)と、反映部110によって移動量が反映された姿勢制御情報に基づいて姿勢制御部102が制御した姿勢で、撮像装置1が撮像した画像データ(補正後画像データ)との間における特徴部以外の部分の変形量を算出する。
このように、本実施形態によれば、異なる視点位置から検査対象3の全体を撮像した画像データを用いて生成した3次元データではなく、検査対象3の外観を示す3次元モデルを示す3次元データを用いて、姿勢の制御を行うことができる。
《第3の実施形態》
以下、図面を参照しながら本発明の第3の実施形態について詳しく説明する。
図7は、第3の実施形態による姿勢制御装置2の構成を示す概略ブロック図である。
本発明の第3の実施形態による姿勢制御装置2は、第1の実施形態による姿勢制御装置2の制御情報記憶部101の代わりに、記憶しているデータが異なる制御情報記憶部301を備える。また、本発明の第2の実施形態による姿勢制御装置2は、第1の実施形態による姿勢制御装置2に加え、更に光量補正部302を備える。
なお、第3の実施形態において、第1の実施形態と同様の構成要素については、同一の符号を付して詳細な説明を省略する。
以下、図面を参照しながら本発明の第3の実施形態について詳しく説明する。
図7は、第3の実施形態による姿勢制御装置2の構成を示す概略ブロック図である。
本発明の第3の実施形態による姿勢制御装置2は、第1の実施形態による姿勢制御装置2の制御情報記憶部101の代わりに、記憶しているデータが異なる制御情報記憶部301を備える。また、本発明の第2の実施形態による姿勢制御装置2は、第1の実施形態による姿勢制御装置2に加え、更に光量補正部302を備える。
なお、第3の実施形態において、第1の実施形態と同様の構成要素については、同一の符号を付して詳細な説明を省略する。
制御情報記憶部301は、検査対象3を撮像する際の撮像装置1の姿勢を示す識別情報に関連付けて、当該姿勢を制御する姿勢制御情報と、当該姿勢で撮像する際に撮像装置1に入射させる光量を制御する光量制御情報とを記憶する。なお、光量制御情報は、照明の光量、絞り、シャッター速度などの情報を示す。
光量補正部302は、制御情報記憶部101が記憶する姿勢で、撮像装置1が撮像した画像データの所定の領域の平均明度が予め定められた基準明度になるように、姿勢の識別情報に関連付けられた光量制御情報を補正する。例えば検査対象3がタービンブレードである場合、羽根部分の中央付近を撮像し、欠陥部分が明瞭に画像データに現れるように光量を制御したときの画像データの中央付近の領域の明度値の平均を、基準明度とすると良い。
光量補正部302は、制御情報記憶部101が記憶する姿勢で、撮像装置1が撮像した画像データの所定の領域の平均明度が予め定められた基準明度になるように、姿勢の識別情報に関連付けられた光量制御情報を補正する。例えば検査対象3がタービンブレードである場合、羽根部分の中央付近を撮像し、欠陥部分が明瞭に画像データに現れるように光量を制御したときの画像データの中央付近の領域の明度値の平均を、基準明度とすると良い。
以下に、本実施形態による姿勢制御装置2の動作を説明する。
図8は、第3の実施形態による姿勢制御装置2の動作を示すフローチャートである。
なお、上記ステップS1〜ステップS12の動作は、第1の実施形態と同じであるため、ここでは説明を省略する。
上記ステップS12によって反映部110が姿勢制御情報に当該変形量を反映させると、姿勢制御部102は、制御情報記憶部301からある識別情報に関連付けられた姿勢制御情報及び光量制御情報を読み出し、当該姿勢制御情報に基づいて撮像装置1の姿勢を基準姿勢に制御する(ステップS13)。撮像装置1は当該姿勢で検査対象3を撮像する。
次に、画像取得部103は、撮像装置1から撮像装置1が撮像した画像データを取得する(ステップS14)。
図8は、第3の実施形態による姿勢制御装置2の動作を示すフローチャートである。
なお、上記ステップS1〜ステップS12の動作は、第1の実施形態と同じであるため、ここでは説明を省略する。
上記ステップS12によって反映部110が姿勢制御情報に当該変形量を反映させると、姿勢制御部102は、制御情報記憶部301からある識別情報に関連付けられた姿勢制御情報及び光量制御情報を読み出し、当該姿勢制御情報に基づいて撮像装置1の姿勢を基準姿勢に制御する(ステップS13)。撮像装置1は当該姿勢で検査対象3を撮像する。
次に、画像取得部103は、撮像装置1から撮像装置1が撮像した画像データを取得する(ステップS14)。
次に、光量補正部302は、画像取得部103が取得した画像データの中央付近の領域の明度値の平均を算出する(ステップS15)。そして、光量補正部302は、当該明度値の平均と基準明度との差が所定の閾値以内であるか否かを判定する(ステップS16)。
光量補正部302は、明度の差が所定の閾値以内でないと判定した場合(ステップS16:NO)、画像データの明度値の平均と基準明度との差異が小さくなるように補正する補正情報を生成する(ステップS17)。すなわち、明度値の平均が低い場合には、より多くの光量を撮像装置1に取り入れられるよう、照明の光量を増加させ、絞りの開口を大きくし、またはシャッター速度を遅くすることを示す補正情報を生成する。他方、明度値の平均が高い場合には、撮像装置1に取り入れられる光量を減らすよう、照明の光量を減少させ、絞りの開口を小さくし、またはシャッター速度を速くすることを示す補正情報を生成する。
光量補正部302は、明度の差が所定の閾値以内でないと判定した場合(ステップS16:NO)、画像データの明度値の平均と基準明度との差異が小さくなるように補正する補正情報を生成する(ステップS17)。すなわち、明度値の平均が低い場合には、より多くの光量を撮像装置1に取り入れられるよう、照明の光量を増加させ、絞りの開口を大きくし、またはシャッター速度を遅くすることを示す補正情報を生成する。他方、明度値の平均が高い場合には、撮像装置1に取り入れられる光量を減らすよう、照明の光量を減少させ、絞りの開口を小さくし、またはシャッター速度を速くすることを示す補正情報を生成する。
そして、光量補正部302は、生成した補正情報を、姿勢制御部102が読み出した姿勢制御情報と同じ識別情報に関連付けられた光量制御情報に反映させる(ステップS18)。
次に、姿勢制御部102は、制御情報記憶部301から、ステップS13で読み出した姿勢制御情報と同じ識別情報に関連付けられた光量制御情報を読み出し、当該光量制御情報を用いて撮像装置1を制御する(ステップS19)。撮像装置1が、補正された光量制御情報が示す条件で検査対象3を撮像すると、ステップS14に戻り、明度の調整処理を行う。
次に、姿勢制御部102は、制御情報記憶部301から、ステップS13で読み出した姿勢制御情報と同じ識別情報に関連付けられた光量制御情報を読み出し、当該光量制御情報を用いて撮像装置1を制御する(ステップS19)。撮像装置1が、補正された光量制御情報が示す条件で検査対象3を撮像すると、ステップS14に戻り、明度の調整処理を行う。
他方、ステップS16で、光量補正部302が、明度の差が所定の閾値以内であると判定した場合(ステップS16:YES)、姿勢制御部102は、制御情報記憶部301が記憶する全ての姿勢に対して光量制御情報が補正されたか否かを判定する(ステップS20)。補正されていない光量制御情報があると判定した場合(ステップS20:NO)、ステップS13に戻り、まだ読み出していない姿勢制御情報に基づいて撮像装置1を制御する。他方、全ての光量制御情報が補正されていると判定した場合(ステップS20:YES)、処理を終了する。
これにより、本実施形態による姿勢制御装置2は、姿勢制御部102が反映後の光量制御情報を用いて撮像装置1を制御することで、各姿勢で撮像する画像データの明度を一定にすることができる。
これにより、本実施形態による姿勢制御装置2は、姿勢制御部102が反映後の光量制御情報を用いて撮像装置1を制御することで、各姿勢で撮像する画像データの明度を一定にすることができる。
《第4の実施形態》
以下、図面を参照しながら本発明の第4の実施形態について詳しく説明する。
図9は、第4の実施形態による姿勢制御装置2の構成を示す概略ブロック図である。
姿勢制御装置2は、制御情報記憶部401(制御情報記憶手段)、姿勢制御部402、画像取得部403(画像取得手段)、基準画像記憶部404(特徴部記憶手段)、特徴点抽出部405(特徴部抽出手段)、移動量算出部406(移動量算出手段)、反映部407(反映手段)を備える。
以下、図面を参照しながら本発明の第4の実施形態について詳しく説明する。
図9は、第4の実施形態による姿勢制御装置2の構成を示す概略ブロック図である。
姿勢制御装置2は、制御情報記憶部401(制御情報記憶手段)、姿勢制御部402、画像取得部403(画像取得手段)、基準画像記憶部404(特徴部記憶手段)、特徴点抽出部405(特徴部抽出手段)、移動量算出部406(移動量算出手段)、反映部407(反映手段)を備える。
制御情報記憶部401は、検査対象3を撮像する際の撮像装置1の姿勢を示す識別情報に関連付けて、当該姿勢を制御する姿勢制御情報を記憶する。なお、制御情報記憶部401は、少なくとも検査対象3を特徴付ける部分を示す特徴点(特徴部)を撮像できる姿勢である基準姿勢の姿勢制御情報を、異なる特徴点毎に記憶している。なお、それぞれの特徴点を撮像するための基準姿勢は、撮像部11の視線方向が鉛直方向であり、かつ特徴点から撮像部11までの高さ(カメラ座標系における特長点のz軸方向の値)が等しくなる姿勢を示す。
姿勢制御部402は、制御情報記憶部401が記憶する姿勢制御情報に基づいて撮像装置1の姿勢を制御する。
画像取得部403は、姿勢制御部402が制御した姿勢で撮像装置1が撮像した画像データを取得する。
基準画像記憶部404は、撮像装置1が所定の基準視点位置から撮像した画像データである基準画像データと当該基準画像データに含まれる特徴点の座標とを関連付けた情報を複数記憶する。なお、基準画像記憶部404が記憶する複数の基準画像データは、それぞれ異なる基準視点位置から撮像したものであり、それぞれに異なる特徴点が含まれる。
画像取得部403は、姿勢制御部402が制御した姿勢で撮像装置1が撮像した画像データを取得する。
基準画像記憶部404は、撮像装置1が所定の基準視点位置から撮像した画像データである基準画像データと当該基準画像データに含まれる特徴点の座標とを関連付けた情報を複数記憶する。なお、基準画像記憶部404が記憶する複数の基準画像データは、それぞれ異なる基準視点位置から撮像したものであり、それぞれに異なる特徴点が含まれる。
図10は、特徴点抽出部405による特徴点の抽出方法を示す図である。
特徴点抽出部405は、画像取得部403が取得した画像データから検査対象3の特徴点を抽出する。
ここで、特徴点抽出部405による特徴点の抽出方法を説明する。
例えば、図10(A)に示すように、検査対象3の設置位置が所定の位置からずれて設置されると、画像取得部103は、図10(C)に示すような画像データを取得する。他方、基準画像データは、図10(B)に示すような画像であり、基準画像記憶部404には、当該基準画像データに関連付けて特徴点の座標が記憶されている。ここで、特徴点抽出部405は、図10(D)に示すように、画像取得部403が取得した画像データと基準画像記憶部111が記憶する基準画像データとをテンプレートマッチング処理し、基準画像データの特徴点に対応する座標を、画像取得部403が取得した画像データの座標として抽出する。
特徴点抽出部405は、画像取得部403が取得した画像データから検査対象3の特徴点を抽出する。
ここで、特徴点抽出部405による特徴点の抽出方法を説明する。
例えば、図10(A)に示すように、検査対象3の設置位置が所定の位置からずれて設置されると、画像取得部103は、図10(C)に示すような画像データを取得する。他方、基準画像データは、図10(B)に示すような画像であり、基準画像記憶部404には、当該基準画像データに関連付けて特徴点の座標が記憶されている。ここで、特徴点抽出部405は、図10(D)に示すように、画像取得部403が取得した画像データと基準画像記憶部111が記憶する基準画像データとをテンプレートマッチング処理し、基準画像データの特徴点に対応する座標を、画像取得部403が取得した画像データの座標として抽出する。
移動量算出部406は、特徴点抽出部405が抽出した特徴点の座標と基準画像記憶部111が記憶する特徴点の座標とを用いて、撮像装置1の視点位置から基準視点位置までの移動量を算出する。
反映部407は、移動量算出部406が算出した移動量を制御情報記憶部401が記憶する姿勢制御情報に反映させる。
反映部407は、移動量算出部406が算出した移動量を制御情報記憶部401が記憶する姿勢制御情報に反映させる。
上記構成を備えることで、姿勢制御装置2は、以下に示す動作を行う。
画像取得部403は、撮像装置1が所定の姿勢で撮像した画像データを取得する。移動量算出部406は、基準画像記憶部404が記憶する特徴点の位置と画像取得部403が取得した画像データの特徴点の位置とを用いて、撮像装置1の視点位置から基準視点位置までの移動量を算出する。反映部407は、移動量算出部406が算出した移動量を制御情報記憶部401が記憶する姿勢制御情報に反映させる。
これにより、姿勢制御装置2は、当該姿勢制御情報を用いて撮像装置1を制御することで、撮像装置1の視点位置が基準視点位置と同じになるように撮像装置1の姿勢を制御することができる。
画像取得部403は、撮像装置1が所定の姿勢で撮像した画像データを取得する。移動量算出部406は、基準画像記憶部404が記憶する特徴点の位置と画像取得部403が取得した画像データの特徴点の位置とを用いて、撮像装置1の視点位置から基準視点位置までの移動量を算出する。反映部407は、移動量算出部406が算出した移動量を制御情報記憶部401が記憶する姿勢制御情報に反映させる。
これにより、姿勢制御装置2は、当該姿勢制御情報を用いて撮像装置1を制御することで、撮像装置1の視点位置が基準視点位置と同じになるように撮像装置1の姿勢を制御することができる。
次に、本実施形態による姿勢制御装置2の動作を説明する。
図11は、第4の実施形態による姿勢制御装置2の動作を示すフローチャートである。
まず、姿勢制御部402は、制御情報記憶部401から基準姿勢の姿勢制御情報を1つ読み出し、当該姿勢制御情報に基づいて撮像装置1の姿勢を基準姿勢に制御する(ステップS21)。これにより、撮像装置1は、基準姿勢で検査対象3を撮像する。
次に、画像取得部403は、撮像装置1から撮像装置1が撮像した画像データを取得する(ステップS22)。次に、特徴点抽出部405は、画像取得部403が取得した画像データから特徴点を抽出する(ステップS23)。
図11は、第4の実施形態による姿勢制御装置2の動作を示すフローチャートである。
まず、姿勢制御部402は、制御情報記憶部401から基準姿勢の姿勢制御情報を1つ読み出し、当該姿勢制御情報に基づいて撮像装置1の姿勢を基準姿勢に制御する(ステップS21)。これにより、撮像装置1は、基準姿勢で検査対象3を撮像する。
次に、画像取得部403は、撮像装置1から撮像装置1が撮像した画像データを取得する(ステップS22)。次に、特徴点抽出部405は、画像取得部403が取得した画像データから特徴点を抽出する(ステップS23)。
次に、姿勢制御部402は、制御情報記憶部101が記憶する全ての基準姿勢で撮像装置1を制御したか否かを判定する(ステップS24)。姿勢制御部402は、撮像装置1の制御に用いていない基準姿勢があると判定した場合(ステップS24:NO)、ステップS21に戻り、別の基準姿勢の姿勢制御情報で撮像装置1を制御する。
他方、姿勢制御部402が、制御情報記憶部101が記憶する全ての基準姿勢で撮像装置1を制御したと判定した場合(ステップS24:YES)、移動量算出部406は、特徴点抽出部が抽出したそれぞれの基準姿勢における特徴点の座標と、基準画像記憶部111が記憶する特徴点の座標とを、それぞれ撮像部11のカメラ座標系の座標に変換する(ステップS25)。ここで、カメラ座標系とは、実空間における撮像部11の位置と姿勢を示す直交する座標軸で表される座標系のことを示す。
他方、姿勢制御部402が、制御情報記憶部101が記憶する全ての基準姿勢で撮像装置1を制御したと判定した場合(ステップS24:YES)、移動量算出部406は、特徴点抽出部が抽出したそれぞれの基準姿勢における特徴点の座標と、基準画像記憶部111が記憶する特徴点の座標とを、それぞれ撮像部11のカメラ座標系の座標に変換する(ステップS25)。ここで、カメラ座標系とは、実空間における撮像部11の位置と姿勢を示す直交する座標軸で表される座標系のことを示す。
以下に、具体的な座標の変換方法を説明する。
一般に、カメラ座標系の座標(x,y,z)と画像座標(X,Y)の関係は、式(1)に示すとおりである。
一般に、カメラ座標系の座標(x,y,z)と画像座標(X,Y)の関係は、式(1)に示すとおりである。
なお、fは、撮像部11の焦点距離を撮像素子のサイズで除算した値であり、撮像部11の設計によって決まる定数である。また、Cxは、画像データの中心のX座標である。また、Cyは、画像データの中心のY座標である。
本実施例では、カメラ座標系において特徴点から撮像部11までの高さはすべて同じhである。したがって、特徴点抽出部405が抽出したそれぞれの基準姿勢における特徴点の座標(Xs,Ys)を実空間における座標(xs、ys)に変換する式は、式(2)に示すとおりである。
本実施例では、カメラ座標系において特徴点から撮像部11までの高さはすべて同じhである。したがって、特徴点抽出部405が抽出したそれぞれの基準姿勢における特徴点の座標(Xs,Ys)を実空間における座標(xs、ys)に変換する式は、式(2)に示すとおりである。
但し、xc、ycは、制御情報記憶部401が記憶する姿勢制御情報が示す実空間における撮像部11のx座標の値及びy座標の値である。
同様に、基準画像記憶部404が記憶する特徴点の座標(Xe,Ye)を実空間における座標(xe、ye)に変換する式は、式(3)に示すとおりとなる。
同様に、基準画像記憶部404が記憶する特徴点の座標(Xe,Ye)を実空間における座標(xe、ye)に変換する式は、式(3)に示すとおりとなる。
移動量算出部406は、特徴点の座標を画像座標系からカメラ座標系に変換すると、変換したそれぞれの座標の情報を用いて、基準姿勢における撮像装置1の視点位置から基準視点位置までの移動量を算出する(ステップS26)。
具体的には、移動量算出部406は、以下に示す式(4)を用い、最小二乗法によって移動量の算出を行う。
具体的には、移動量算出部406は、以下に示す式(4)を用い、最小二乗法によって移動量の算出を行う。
但し、xsnは、特徴点抽出部405が抽出したn番目の基準姿勢における特徴点のx座標を実空間における座標に変換した座標を示す。また、ysnは、特徴点抽出部405が抽出したn番目の基準姿勢における特徴点のy座標を実空間における座標に変換した座標を示す。また、xenは、基準画像記憶部404が記憶するn番目の基準画像データに関連付けられた特徴点のx座標を実空間における座標に変換した座標を示す。また、yenは、基準画像記憶部404が記憶するn番目の基準画像データに関連付けられた特徴点のy座標を実空間における座標に変換した座標を示す。
また、dxは、実空間における座標撮像装置1のx軸方向の平行移動量を示す。また、dyは、実空間における座標撮像装置1のy軸方向の平行移動量を示す。また、a、bは、撮像装置1の拡大率及び回転角を示すパラメータであり、下記式(5)を満たす。
なお、式(4)の行列の右上の添え字「+」は、当該行列の擬似逆行列を示す。
また、dxは、実空間における座標撮像装置1のx軸方向の平行移動量を示す。また、dyは、実空間における座標撮像装置1のy軸方向の平行移動量を示す。また、a、bは、撮像装置1の拡大率及び回転角を示すパラメータであり、下記式(5)を満たす。
なお、式(4)の行列の右上の添え字「+」は、当該行列の擬似逆行列を示す。
なお、kは撮像装置1の拡大率を示し、θは撮像装置1の回転角を示す。
これにより、移動量算出部406は、ステップS26で、基準姿勢における撮像装置1の視点位置から基準視点位置までの移動量(dx、dy、k、θ)を算出する。
そして、反映部407は、移動量算出部406が算出した移動量を制御情報記憶部401が記憶する姿勢制御情報に反映させる(ステップS27)。
これにより、移動量算出部406は、ステップS26で、基準姿勢における撮像装置1の視点位置から基準視点位置までの移動量(dx、dy、k、θ)を算出する。
そして、反映部407は、移動量算出部406が算出した移動量を制御情報記憶部401が記憶する姿勢制御情報に反映させる(ステップS27)。
以降、姿勢制御装置2の姿勢制御部402は、制御情報記憶部401が記憶する姿勢制御情報を用いて撮像装置1の姿勢を制御し、その位置で撮像処理を行う。このとき、撮像装置1の姿勢が変わることで、移動量を反映させた後であっても位置ずれが生じる可能性がある。その場合は、上記ステップS21〜ステップS27と同様の処理を行い、当該ずれの量が小さくなるように姿勢を補正することが望ましい。
このように、本実施形態によれば、特徴点抽出部405は、撮像装置1が所定の姿勢で検査対象3を撮像した画像データから検査対象3の特徴点を抽出する。次に、移動量算出部406は、当該特徴点の位置と基準特徴点の位置とに基づいて、現在の視点位置から基準視点位置までの移動量を算出する。そして、反映部407は、当該移動量を姿勢制御情報に反映させる。これにより、姿勢制御部402が反映後の姿勢制御情報を用いて撮像装置1の姿勢を制御することで、検査対象3と撮像装置1との相対的な位置関係である視点位置が基準視点位置と同じになるように、撮像装置1の姿勢を制御することができる。
《第5の実施形態》
以下、図面を参照しながら本発明の第5の実施形態について詳しく説明する。
図12は、第5の実施形態による姿勢制御装置2の構成を示す概略ブロック図である。
本発明の第5の実施形態による姿勢制御装置2は、第4の実施形態による姿勢制御装置2の制御情報記憶部401及び基準画像記憶部404の代わりに、記憶しているデータが異なる制御情報記憶部501及び基準画像記憶部502を備える。
なお、第5の実施形態において、第4の実施形態と同様の構成要素については、同一の符号を付して詳細な説明を省略する。
以下、図面を参照しながら本発明の第5の実施形態について詳しく説明する。
図12は、第5の実施形態による姿勢制御装置2の構成を示す概略ブロック図である。
本発明の第5の実施形態による姿勢制御装置2は、第4の実施形態による姿勢制御装置2の制御情報記憶部401及び基準画像記憶部404の代わりに、記憶しているデータが異なる制御情報記憶部501及び基準画像記憶部502を備える。
なお、第5の実施形態において、第4の実施形態と同様の構成要素については、同一の符号を付して詳細な説明を省略する。
制御情報記憶部501は、検査対象3を撮像する際の撮像装置1の姿勢を示す識別情報に関連付けて、当該姿勢を制御する姿勢制御情報を記憶する。なお、制御情報記憶部501は、少なくとも検査対象3を特徴付ける部分を示す特徴点を撮像できる姿勢である基準姿勢の姿勢制御情報を異なる特徴点毎に、撮像面を示す撮像面情報(始点位置情報)に関連付けて記憶している。
図13は、第5の実施形態による制御情報記憶部501が記憶する基準姿勢を示す図である。
制御情報記憶部501は、図13(A)に示すように撮像装置1の視線方向が鉛直方向(z軸方向)であり、かつ撮像装置1のz軸方向の値が等しい姿勢を示す姿勢制御情報を、「xy面」を示す撮像面情報に関連付けて記憶する。また、制御情報記憶部501は、図13(B)に示すように撮像装置1の視線方向がz軸方向に直交する方向(x軸方向)であり、かつ撮像装置1のx軸方向の値が等しい姿勢を示す姿勢制御情報を、「yz面」を示す撮像面情報に関連付けて記憶する。また、制御情報記憶部501は、図13(C)に示すように撮像装置1の視線方向がz軸方向及びx軸方向に直交する方向(y軸方向)であり、かつ撮像装置1のy軸方向の値が等しい姿勢を示す姿勢制御情報を、「xz面」を示す撮像面情報に関連付けて記憶する。
制御情報記憶部501は、図13(A)に示すように撮像装置1の視線方向が鉛直方向(z軸方向)であり、かつ撮像装置1のz軸方向の値が等しい姿勢を示す姿勢制御情報を、「xy面」を示す撮像面情報に関連付けて記憶する。また、制御情報記憶部501は、図13(B)に示すように撮像装置1の視線方向がz軸方向に直交する方向(x軸方向)であり、かつ撮像装置1のx軸方向の値が等しい姿勢を示す姿勢制御情報を、「yz面」を示す撮像面情報に関連付けて記憶する。また、制御情報記憶部501は、図13(C)に示すように撮像装置1の視線方向がz軸方向及びx軸方向に直交する方向(y軸方向)であり、かつ撮像装置1のy軸方向の値が等しい姿勢を示す姿勢制御情報を、「xz面」を示す撮像面情報に関連付けて記憶する。
基準画像記憶部502は、撮像装置1が基準視点位置から撮像した画像データである基準画像データと当該基準画像データに含まれる特徴点の座標とを関連付けた情報を複数記憶する。なお、基準画像記憶部502が記憶する複数の基準画像データは、それぞれ制御情報記憶部501が記憶する基準姿勢に対応する基準視点位置から撮像したものである。
そして、移動量算出部406は、基準画像記憶部502が記憶する視点位置情報毎に、基準画像記憶部502が記憶する特徴点の座標と画像取得部403が取得した画像データの特徴量の座標とを用いて、各撮像面毎の移動量を算出する。これにより、本実施形態による姿勢制御装置2は、検査対象3の設置位置が3次元的にずれている場合にも、視点位置が基準視点位置と同じになるように、撮像装置1の姿勢を制御することができる。
《第6の実施形態》
以下、図面を参照しながら本発明の第6の実施形態について詳しく説明する。
図14は、第6の実施形態による姿勢制御装置2の構成を示す概略ブロック図である。
本発明の第6の実施形態による姿勢制御装置2は、第4の実施形態による姿勢制御装置2に、さらに傾斜画像記憶部601(傾斜情報記憶手段)と傾斜情報読出部602(傾斜情報読出手段)を備える。また、第6の実施形態による姿勢制御装置2は、第4の実施形態による姿勢制御装置2の移動量算出部406に代えて、動作が異なる移動量算出部603を備える。
なお、第6の実施形態において、第4の実施形態と同様の構成要素については、同一の符号を付して詳細な説明を省略する。
以下、図面を参照しながら本発明の第6の実施形態について詳しく説明する。
図14は、第6の実施形態による姿勢制御装置2の構成を示す概略ブロック図である。
本発明の第6の実施形態による姿勢制御装置2は、第4の実施形態による姿勢制御装置2に、さらに傾斜画像記憶部601(傾斜情報記憶手段)と傾斜情報読出部602(傾斜情報読出手段)を備える。また、第6の実施形態による姿勢制御装置2は、第4の実施形態による姿勢制御装置2の移動量算出部406に代えて、動作が異なる移動量算出部603を備える。
なお、第6の実施形態において、第4の実施形態と同様の構成要素については、同一の符号を付して詳細な説明を省略する。
傾斜画像記憶部601は、基準画像記憶部404が記憶する基準画像データを撮像した基準視点位置から、撮像装置1のx軸及びy軸を基準に傾斜させた検査対象3を撮像装置1が撮像した画像データを、傾斜角に関連付けて記憶する。
傾斜情報読出部602は、画像取得部103が取得した画像データと傾斜画像記憶部601が記憶する画像データとを比較し、最も近似する画像データに関連付けられた傾斜角を読み出す。
移動量算出部603は、特徴点抽出部405が抽出した特徴点の座標と基準画像記憶部111が記憶する特徴点の座標とに加え、さらに傾斜情報読出部602が読み出した傾斜情報を用いて、撮像装置1の視点位置から基準視点位置までの移動量を算出する。
傾斜情報読出部602は、画像取得部103が取得した画像データと傾斜画像記憶部601が記憶する画像データとを比較し、最も近似する画像データに関連付けられた傾斜角を読み出す。
移動量算出部603は、特徴点抽出部405が抽出した特徴点の座標と基準画像記憶部111が記憶する特徴点の座標とに加え、さらに傾斜情報読出部602が読み出した傾斜情報を用いて、撮像装置1の視点位置から基準視点位置までの移動量を算出する。
図15は、第6の実施形態の動作を示す図である。
検査対象3の設置位置が図15(A)に示すように仰角方向に傾斜している場合、撮像装置1が撮像した画像データは、図15(B)に示すように反射が不均一となる。そこで、傾斜情報読出部602は、図15(C)に示すような傾斜画像記憶部601が記憶する画像データと、画像取得部103が取得した画像データとを比較する。そして、最も近似する画像データに関連付けられた傾斜角を読み出すことで、検査対象3の仰角方向の傾斜度合いを推定することができる。図15に示す例では、検査対象3はx軸方向周りにθだけ傾斜していることが推定できる。
検査対象3の設置位置が図15(A)に示すように仰角方向に傾斜している場合、撮像装置1が撮像した画像データは、図15(B)に示すように反射が不均一となる。そこで、傾斜情報読出部602は、図15(C)に示すような傾斜画像記憶部601が記憶する画像データと、画像取得部103が取得した画像データとを比較する。そして、最も近似する画像データに関連付けられた傾斜角を読み出すことで、検査対象3の仰角方向の傾斜度合いを推定することができる。図15に示す例では、検査対象3はx軸方向周りにθだけ傾斜していることが推定できる。
このように、検査対象3の仰角方向の傾斜角を推定し、撮像装置1の視点位置から基準視点位置までの移動量を算出することで、検査対象3の設置位置が3次元的にずれている場合にも、視点位置が基準視点位置と同じになるように、撮像装置1の姿勢を制御することができる。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
上述の姿勢制御装置2は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
1…撮像装置 2…姿勢制御装置 3…検査対象 11…撮像部 12…アーム 101、301、401、501…制御情報記憶部 102、402…姿勢制御部 103、403…画像取得部 104、201…3次元データ記憶部 105…特徴線抽出部 106…入力部 107、202…視点特定部 108…基準特徴線記憶部 109、203、406、603…移動量算出部 110、407…反映部 111、404、502…基準画像記憶部 112、204…変形量算出部 205…基準視点位置記憶部 302…光量補正部 405…特徴点抽出部 601…傾斜画像記憶部 602…傾斜情報読出部
Claims (11)
- 検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御する姿勢制御装置であって、
前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、
前記検査対象を特徴付ける部分を示す複数の特徴部同士の位置関係を示す3次元データを記憶する3次元データ記憶手段と、
前記撮像装置が所定の姿勢で前記検査対象を撮像した画像データを取得する画像取得手段と、
前記画像取得手段が取得した画像データから前記検査対象の特徴部を抽出する特徴部抽出手段と、
前記3次元データ記憶手段が記憶する3次元データを透視投影したときに前記3次元データの特徴部の位置と前記特徴部抽出手段が抽出した特徴部の位置とが一致する視点位置を特定する視点特定手段と、
前記視点特定手段が特定した視点位置から予め定められた所定の視点位置である基準視点位置までの移動量を算出する移動量算出手段と、
前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる反映手段と
を備えることを特徴とする姿勢制御装置。 - 前記制御情報記憶手段は、前記検査対象を撮像する際の前記撮像装置の複数の姿勢の識別情報に対応付けて前記撮像装置の姿勢を制御する姿勢制御情報を記憶し、
前記反映手段は、前記制御情報記憶手段が記憶する姿勢制御情報の各々に前記移動量算出手段が算出した移動量を反映させる
ことを特徴とする請求項1に記載の姿勢制御装置。 - 前記検査対象と同じ型の物体であって基準となる形状を有する物体を前記基準視点位置から撮像したときに得られる基準画像データを記憶する基準記憶手段と、
前記基準視点位置で前記検査対象を撮像することで得られる補正後画像データと前記基準記憶手段が記憶する基準画像データとの間における前記特徴部以外の部分の変形量を算出する変形量算出手段と、
を備え、
前記反映手段は、前記撮像装置が前記検査対象の特徴部以外の部分を撮像する際の姿勢の識別情報に関連付けられた姿勢制御情報に、前記変形量算出手段が算出した変形量を反映させる
ことを特徴とする請求項2に記載の姿勢制御装置。 - 前記制御情報記憶手段は、前記撮像装置の複数の姿勢の識別情報に対応付けて当該姿勢で撮像する際に撮像装置に入射させる光量を制御する光量制御情報をさらに記憶し、
前記制御情報記憶手段が記憶する姿勢で前記撮像装置が撮像した画像データの所定の領域の平均明度が予め定められた基準明度になるように、前記姿勢の識別情報に関連付けられた光量制御情報を補正する光量補正手段と
を備えることを特徴とする請求項2または請求項3に記載の姿勢制御装置。 - 検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御する姿勢制御装置であって、
前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、
検査対象を撮像する撮像装置が予め定められた所定の視点位置である基準視点位置から撮像した画像データに含まれる、前記検査対象を特徴付ける部分を示す複数の特徴部の位置を記憶する特徴部記憶手段と、
前記撮像装置が前記所定の姿勢で撮像した画像データを取得する画像取得手段と、
前記特徴部記憶手段が記憶する特徴部の位置と前記画像取得手段が取得した画像データの特徴部の位置とを用いて、前記撮像装置の視点位置から前記基準視点位置までの移動量を算出する移動量算出手段と、
前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる反映手段と
を備えることを特徴とする姿勢制御装置。 - 前記特徴部記憶手段は、複数の視点位置を示す視点位置情報それぞれに関連付けて前記特徴部の位置を記憶し、
前記画像取得手段は、前記撮像装置が、前記初期位置記憶手段が記憶する視点位置情報が示すそれぞれの視点位置から撮像した画像データを取得し、
前記移動量算出手段は、前記位置記憶手段が記憶する視点位置情報毎に、前記特徴量の位置と前記画像取得手段が取得した画像データの特徴量の位置とを用いて、前記撮像装置の視点位置から前記視点位置情報が示す視点位置までの移動量を算出する
ことを特徴とする請求項5に記載の姿勢制御装置。 - 前記撮像装置の光軸方向に直交する軸を基準に傾斜させた前記検査対象を前記撮像装置が撮像した画像データを、前記検査対象の傾斜角に関連付けて記憶する傾斜情報記憶手段と、
前記画像取得手段が取得した画像データと前記傾斜情報記憶手段が記憶する画像データとを比較し、最も近似する画像データに関連付けられた傾斜角を読み出す傾斜情報読出手段と
を備え、
前記移動量作成手段は、前記特徴部記憶手段が記憶する特徴部の位置と前記画像取得手段が取得した画像データの特徴部の位置と、前記傾斜情報読出手段が読み出した傾斜情報とを用いて、前記撮像装置の視点位置から前記視点位置情報が示す視点位置までの移動量を算出する
ことを特徴とする請求項5または請求項6に記載の姿勢制御装置。 - 検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御し、
前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、
前記検査対象を特徴付ける部分を示す複数の特徴部同士の位置関係を示す3次元データを記憶する3次元データ記憶手段と、
を備える姿勢制御装置の制御方法であって、
画像取得手段は、前記撮像装置が所定の姿勢で前記検査対象を撮像した画像データを取得し、
特徴部抽出手段は、前記画像取得手段が取得した画像データから前記検査対象の特徴部を抽出し、
視点特定手段は、前記3次元データ記憶手段が記憶する3次元データを透視投影したときに前記3次元データの特徴部の位置と前記特徴部抽出手段が抽出した特徴部の位置とが一致する視点位置を特定し、
移動量算出手段は、前記視点特定手段が特定した視点位置から予め定められた所定の視点位置である基準視点位置までの移動量を算出し、
反映手段は、前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる
ことを特徴とする制御方法。 - 検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御し、
前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、
検査対象を撮像する撮像装置が予め定められた所定の視点位置である基準視点位置から撮像した画像データに含まれる、前記検査対象を特徴付ける部分を示す複数の特徴部の位置を記憶する特徴部記憶手段と
を備える姿勢制御装置であって、
画像取得手段は、前記撮像装置が前記所定の姿勢で撮像した画像データを取得し、
移動量算出手段は、前記特徴部記憶手段が記憶する特徴部の位置と前記画像取得手段が取得した画像データの特徴部の位置とを用いて、前記撮像装置の視点位置から前記基準視点位置までの移動量を算出し、
反映手段は、前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる
ことを特徴とする制御方法。 - 検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御し、
前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、
前記検査対象を特徴付ける部分を示す複数の特徴部同士の位置関係を示す3次元データを記憶する3次元データ記憶手段と
を備える姿勢制御装置を、
前記撮像装置が所定の姿勢で前記検査対象を撮像した画像データを取得する画像取得手段、
前記画像取得手段が取得した画像データから前記検査対象の特徴部を抽出する特徴部抽出手段、
前記3次元データ記憶手段が記憶する3次元データを透視投影したときに前記3次元データの特徴部の位置と前記特徴部抽出手段が抽出した特徴部の位置とが一致する視点位置を特定する視点特定手段、
前記視点特定手段が特定した視点位置から予め定められた所定の視点位置である基準視点位置までの移動量を算出する移動量算出手段、
前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる反映手段
として機能させるためのプログラム。 - 検査対象と、当該検査対象を撮像する撮像装置との間の相対位置を示す視点位置が所定の視点位置になるように前記撮像装置の姿勢を制御し、
前記検査対象を撮像する際の前記撮像装置の姿勢を制御する姿勢制御情報を記憶する制御情報記憶手段と、
検査対象を撮像する撮像装置が予め定められた所定の視点位置である基準視点位置から撮像した画像データに含まれる、前記検査対象を特徴付ける部分を示す複数の特徴部の位置を記憶する特徴部記憶手段と、
を備える姿勢制御装置を、
前記撮像装置が前記所定の姿勢で撮像した画像データを取得する画像取得手段、
前記特徴部記憶手段が記憶する特徴部の位置と前記画像取得手段が取得した画像データの特徴部の位置とを用いて、前記撮像装置の視点位置から前記基準視点位置までの移動量を算出する移動量算出手段、
前記移動量算出手段が算出した移動量を前記制御情報記憶手段が記憶する姿勢制御情報に反映させる反映手段
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010220825A JP2012078105A (ja) | 2010-09-30 | 2010-09-30 | 姿勢制御装置、制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010220825A JP2012078105A (ja) | 2010-09-30 | 2010-09-30 | 姿勢制御装置、制御方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012078105A true JP2012078105A (ja) | 2012-04-19 |
Family
ID=46238542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010220825A Withdrawn JP2012078105A (ja) | 2010-09-30 | 2010-09-30 | 姿勢制御装置、制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012078105A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140027868A (ko) * | 2012-08-27 | 2014-03-07 | 더 보잉 컴파니 | 워크피스를 검사하기 위한 방법 및 시스템 |
WO2018143263A1 (ja) * | 2017-02-06 | 2018-08-09 | 富士フイルム株式会社 | 撮影制御装置、撮影制御方法及びプログラム |
JP2019066320A (ja) * | 2017-09-29 | 2019-04-25 | パナソニックIpマネジメント株式会社 | 三次元位置計測システム、移動体、三次元位置計測方法、及びプログラム |
CN111356913A (zh) * | 2017-12-15 | 2020-06-30 | 株式会社堀场制作所 | 表面特性检查装置和表面特性检查程序 |
JP2024514899A (ja) * | 2021-05-17 | 2024-04-03 | ヌオーヴォ・ピニォーネ・テクノロジー・ソチエタ・レスポンサビリタ・リミタータ | 機械部品を自動的に検査する装置及び方法 |
-
2010
- 2010-09-30 JP JP2010220825A patent/JP2012078105A/ja not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140027868A (ko) * | 2012-08-27 | 2014-03-07 | 더 보잉 컴파니 | 워크피스를 검사하기 위한 방법 및 시스템 |
KR102030854B1 (ko) | 2012-08-27 | 2019-10-10 | 더 보잉 컴파니 | 워크피스를 검사하기 위한 방법 및 시스템 |
WO2018143263A1 (ja) * | 2017-02-06 | 2018-08-09 | 富士フイルム株式会社 | 撮影制御装置、撮影制御方法及びプログラム |
JPWO2018143263A1 (ja) * | 2017-02-06 | 2020-01-09 | 富士フイルム株式会社 | 撮影制御装置、撮影制御方法及びプログラム |
JP2019066320A (ja) * | 2017-09-29 | 2019-04-25 | パナソニックIpマネジメント株式会社 | 三次元位置計測システム、移動体、三次元位置計測方法、及びプログラム |
CN111356913A (zh) * | 2017-12-15 | 2020-06-30 | 株式会社堀场制作所 | 表面特性检查装置和表面特性检查程序 |
CN111356913B (zh) * | 2017-12-15 | 2023-08-01 | 株式会社堀场制作所 | 表面特性检查装置和记录介质 |
JP2024514899A (ja) * | 2021-05-17 | 2024-04-03 | ヌオーヴォ・ピニォーネ・テクノロジー・ソチエタ・レスポンサビリタ・リミタータ | 機械部品を自動的に検査する装置及び方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6271953B2 (ja) | 画像処理装置、画像処理方法 | |
JP5469216B2 (ja) | バラ積みされた物品をロボットで取出す装置 | |
CN112161619B (zh) | 位姿检测方法、三维扫描路径规划方法和检测系统 | |
JP5273196B2 (ja) | 画像処理装置 | |
JP4940461B2 (ja) | 3次元物体認識装置及び3次元物体認識方法 | |
CN110926330B (zh) | 图像处理装置和图像处理方法 | |
JP6370038B2 (ja) | 位置姿勢計測装置及び方法 | |
JP6736257B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
US8654193B2 (en) | Method for registering model data for optical recognition processing and optical sensor | |
JP2016103230A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN111879235A (zh) | 弯管的三维扫描检测方法、三维扫描系统和计算机设备 | |
JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
US8781625B2 (en) | Control computer and method of controlling robotic arm | |
JP2017015396A (ja) | 検査方法、検査装置、処理装置、プログラム及び記録媒体 | |
US7711507B2 (en) | Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium | |
JP2012078105A (ja) | 姿勢制御装置、制御方法及びプログラム | |
JP2011238048A (ja) | 位置姿勢計測装置及び位置姿勢計測プログラム | |
JP2012050013A (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
JPH1079029A (ja) | 立体情報検出方法及びその装置 | |
US20220044384A1 (en) | Borescope inspection method and device | |
JP4788475B2 (ja) | 画像処理装置および画像処理方法 | |
CN111526297B (zh) | 曲面屏图像采集方法、装置及终端设备 | |
CN117529651A (zh) | 外观检查装置、外观检查方法、图像生成装置以及图像生成方法 | |
JP2018146347A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP6890422B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20131203 |