[go: up one dir, main page]

JP7252018B2 - 画像測定装置 - Google Patents

画像測定装置 Download PDF

Info

Publication number
JP7252018B2
JP7252018B2 JP2019049700A JP2019049700A JP7252018B2 JP 7252018 B2 JP7252018 B2 JP 7252018B2 JP 2019049700 A JP2019049700 A JP 2019049700A JP 2019049700 A JP2019049700 A JP 2019049700A JP 7252018 B2 JP7252018 B2 JP 7252018B2
Authority
JP
Japan
Prior art keywords
image
imaging
measurement
magnification
workpiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019049700A
Other languages
English (en)
Other versions
JP2020153683A (ja
Inventor
正 橋本
浩史 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2019049700A priority Critical patent/JP7252018B2/ja
Priority to US16/783,186 priority patent/US10846881B2/en
Priority to DE102020203232.7A priority patent/DE102020203232A1/de
Publication of JP2020153683A publication Critical patent/JP2020153683A/ja
Application granted granted Critical
Publication of JP7252018B2 publication Critical patent/JP7252018B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045Correction of measurements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は画像測定装置に関する。
画像測定装置は、ワーク(検査対象物)を撮像してワーク画像を生成し、ワーク画像に基づきワークの寸法などを測定する。特許文献1によれば、低倍率カメラに加え、高倍率カメラを搭載した画像測定装置(画像寸法測定装置)が提案されている。
特許第5679560号公報
ところで、画像測定装置は、設定モードで使用された良品のワークの位置と姿勢に対する、測定モードで測定されるワークの位置と姿勢のずれ量を求め、ずれ量に応じて各測定箇所の座標を補正する。これはパターンサーチと呼ばれる。一般にパターンサーチは、ステージの中央またはステージの角から所定のアルゴリズムにしたがって撮像を繰り返しながら所定のエッジを探索する。そのため、パターンサーチは時間のかかる処理である。ユーザは手でワークを持ってステージ上に載置するため、ワークごとに載置位置は異なる。ユーザによっては治具を製作し、治具にワークを固定することで、ステージに対するワークの位置決めを行うことがある。しかし、ユーザのすべてが治具を容易に製作できるわけではないし、治具にワークを固定する手間も必要となる。
そこで、本発明は、パターンサーチに要する時間を短縮することを目的とする。
本発明は、たとえば、
ワークが載置される載置台と、
前記ワークを撮像してワーク画像を生成する撮像部と、
前記載置台と前記撮像部とがXY方向において相対的に移動するよう前記載置台と前記撮像部とのうちの少なくとも一方を駆動することで前記撮像部の撮像位置を変更する駆動部と、
前記駆動部と前記撮像部を制御し、それぞれ前記ワークの異なる部位についての複数のワーク画像を生成し、前記生成された複数のワーク画像を連結することで連結画像を生成するプロセッサと、
前記連結画像を記憶するメモリと、
前記連結画像を表示する表示装置と、を備え、
前記プロセッサは、設定モードにおいて、
前記連結画像の少なくとも一部または前記連結画像においてユーザにより指定された位置を前記撮像部により撮像することで生成されたパターンサーチの基準画像と、前記駆動部によるXY方向の移動量を管理するための機械座標系における撮像位置であって前記基準画像の撮像位置を示す基準撮像位置情報と、前記連結画像において前記ユーザにより指定された複数の測定箇所を示す測定箇所情報と、を前記メモリに記憶させ、
前記プロセッサは、測定モードにおいて、
前記メモリに記憶された前記基準撮像位置情報にしたがって前記駆動部により前記載置台と前記撮像部とのうちの少なくとも一方を駆動することで前記撮像部の撮像位置を、前記設定モードにおいて前記基準画像を取得した前記機械座標系の撮像位置に移動させ、
前記撮像部を制御し、パターンサーチの対象画像を取得し、
前記メモリに記憶されたパターンサーチの基準画像を用いて、前記パターンサーチの対象画像に対してパターンサーチを実行し、
前記メモリに記憶された各測定箇所に関連付けられた測定箇所情報と前記パターンサーチの結果とに基づいて、各測定箇所を撮像するための複数の撮像位置を特定し、
前記載置台と前記撮像部とのうちの少なくとも一方を前記駆動部に駆動させることで前記撮像部の撮像位置を前記複数の撮像位置のそれぞれに順次設定しつつ、前記複数の撮像位置のそれぞれにおいて前記撮像部に撮像を実行させることで前記ワーク画像を生成させ、
前記複数の撮像位置のそれぞれについての前記ワーク画像において各撮像位置に対応する測定箇所について測定を実行する
ことを特徴とする画像測定装置を提供する。
本発明によれば、パターンサーチに要する時間が短縮される。
画像測定装置の概略を示す図 測定ユニットの断面図 俯瞰カメラの配置を説明する図 コントローラを説明する図 メインの処理を示すフローチャート 設定モードを示すフローチャート 測定モードを示すフローチャート ユーザインタフェースを説明する図 ユーザインタフェースを説明する図 ユーザインタフェースを説明する図 ユーザインタフェースを説明する図 ユーザインタフェースを説明する図 ユーザインタフェースを説明する図 ユーザインタフェースを説明する図 ユーザインタフェースを説明する図 ユーザインタフェースを説明する図 ユーザインタフェースを説明する図 ユーザインタフェースを説明する図 ユーザインタフェースを説明する図 ユーザインタフェースを説明する図 ユーザインタフェースを説明する図 ユーザインタフェースを説明する図 設定作業を説明する図 S710の詳細な例を説明するフローチャート
以下、添付図面を参照して実施形態が詳しく説明される。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一または同様の構成には同一の参照番号が付され、重複した説明は省略される。
<画像測定装置1>
図1は画像測定装置1の一構成例を示した斜視図である。画像測定装置1は、ワークを撮像してワーク画像を生成し、ワーク画像内のワークの寸法を測定する画像測定装置である。図1において、画像測定装置1は、測定ユニット10、制御ユニット20、キーボード31およびポインティングデバイス32を有している。ワークは画像測定装置1により形状や寸法を測定される測定対象物である。
測定ユニット10は、ディスプレイ装置11、可動ステージ12、XY調整つまみ(不図示)、Z調整つまみ14、電源スイッチ15および実行ボタン16を備えている。測定ユニット10は可動ステージ12上に載置されたワークに照明光を照射し、ワークの透過光またはワークからの反射光を受光してワーク画像を生成する。ワークは、可動ステージ12の透光板13の上に載置される。測定ユニット10はワーク画像をディスプレイ装置11の表示画面18に表示する。
ディスプレイ装置11はワーク画像や測定結果、設定UI(ユーザーインターフェース)を表示画面18に表示する表示装置である。ユーザはディスプレイ装置11に表示されたワーク画像を見ながらキーボード31およびポインティングデバイス32を操作することで、パターンサーチのための特徴箇所や寸法測定のための測定箇所などを設定する。可動ステージ12はワークを載置するための載置台である。透光板13は、透光性を有するガラスからなる領域である。可動ステージ12は、カメラの撮像軸に平行なZ軸方向と、撮像軸に垂直なX軸方向およびY軸方向に移動する。
XY調整つまみは、可動ステージ12をX軸方向またはY軸方向に移動させることにより、カメラに対する可動ステージ12の相対的な位置(X軸方向の位置とY軸方向の位置)を調整する。Z調整つまみ14は、可動ステージ12をZ軸方向に移動させることにより、カメラに対する可動ステージ12の相対的な位置(Z軸方向の位置)を調整する。電源スイッチ15は、測定ユニット10および制御ユニット20の主電源をオン状態およびオフ状態間で切り替えるための操作部である。実行ボタン16は寸法測定を開始させるための操作部である。
制御ユニット20は、測定ユニット10による撮像や画面表示を制御し、ワーク画像を解析してワークの寸法を測定するコントローラである。制御ユニット20は、キーボード31およびポインティングデバイス32を接続されており、キーボード31およびポインティングデバイス32を通じてユーザ入力を受け付ける。キーボード31およびポインティングデバイス32は操作部30を形成している。制御ユニット20は、電源スイッチ15がオンに切り替えられると、測定ユニット10を起動する。制御ユニット20は、実行ボタン16が操作されると、予め用意された設定データにしたがって測定ユニット10を制御して、透光板13内でワークを探索し、ワークの寸法を測定する。
<測定ユニット10>
図2は測定ユニット10の構成例を模式的に示した断面図である。ここでは測定ユニット10が撮像軸と平行な垂直面(YZ平面)により切断した場合の切断面が示されている。測定ユニット10は、ディスプレイ装置11、可動ステージ12、筐体100、ステージ駆動部101、鏡筒部102、低倍率カメラ110、高倍率カメラ120、同軸落射照明130および透過照明150を有している。低倍率カメラ110および高倍率カメラ120は寸法測定に使用されるため、測定用カメラと呼ばれてもよい。
鏡筒部102、低倍率カメラ110、高倍率カメラ120、同軸落射照明130および透過照明150は、筐体100内に配置されている。ステージ駆動部101Zは、カメラヘッド103を可動ステージ12に対してZ軸方向に移動させ、低倍率カメラ110、高倍率カメラ120と可動ステージ12との間の距離を調整する。なお、ステージ駆動部101Zは、可動ステージ12をZ軸方向に移動させてもよい。ステージ駆動部101Zは、低倍率カメラ110、高倍率カメラ120のピントをワークなどに合わせるためにカメラヘッド103を移動させてもよい。ステージ駆動部101XYは、可動ステージ12をX軸方向およびY軸方向に移動させる。
低倍率カメラ110は、高倍率カメラ120と比較して、撮像倍率の低い撮像装置である。低倍率カメラ110は、撮像素子111、結像レンズ112、絞り板113および受光レンズ114を有している。結像レンズ112、絞り板113および受光レンズ114は低倍率光学系を形成している。撮像素子111は、照明光を受光してワーク画像を生成する。撮像素子111は、受光面を下方に向けて配置されている。結像レンズ112は、照明光を撮像素子111上に結像させる光学部材である。絞り板113は、照明光の透過光量および被写界深度を制限する光学絞りであり、結像レンズ112と受光レンズ114との間に配置されている。受光レンズ114は、ワークからの照明光を集光する光学部材であり、可動ステージ12に対向させて配置されている。結像レンズ112、絞り板113および受光レンズ114は、上下方向に延びる中心軸を中心として配置されている。
高倍率カメラ120は、低倍率カメラ110と比較して、撮像倍率の高い撮像装置である。高倍率カメラ120は、撮像素子121、結像レンズ122、絞り板123、ハーフミラー124および受光レンズ114を有している。結像レンズ122、絞り板123、ハーフミラー124および受光レンズ114は高倍率光学系を形成している。撮像素子121は、照明光を受光してワーク画像を生成する。撮像素子121は、受光面を水平方向に向けて配置されている。つまり、受光面と水平方向とは直交している。結像レンズ122は、照明光を撮像素子121上に結像させる光学部材である。絞り板123は、照明光の透過光量を制限する光学絞りであり、結像レンズ122及びハーフミラー124間に配置されている。受光レンズ114は、低倍率カメラ110と高倍率カメラ120とより共用される。受光レンズ114を透過した照明光は、ハーフミラー124により水平方向に折り曲げられ、絞り板123および結像レンズ122を介して撮像素子121に結像する。
撮像素子111、121としては、たとえば、CCD(Charge Coupled Devices:電荷結合素子)およびCMOS(Complementary Metal Oxide Semiconductor:相補型金属酸化物半導体)などのイメージセンサが用いられる。受光レンズ114としては、受光レンズ114とワークとの距離が変化しても、ワークの像の大きさを変化させない性質を有するテレセントリックレンズが用いられる。つまり、低倍率光学系と高倍率光学系はそれぞれテレセントリック性を有する。テレセントリック性の光学系で取得されるワーク画像におけるワークの歪は、非テレセントリック性の光学系で取得されるワーク画像におけるワークの歪と比較して、非常に小さい。そのため、精度良くワークが測定される。なお、低倍率光学系と高倍率光学系はテレセントリック性を有しなくてもよい。
同軸落射照明130は可動ステージ12上のワークに照明光を上方から照射する照明装置である。同軸落射照明130に代えてリング照明などの落射照明が採用されてもよい。同軸落射照明130の照射光の光軸は撮像軸に一致している。同軸落射照明130は、水平方向に照明光を出力するように配置された光源131と、光源131から出射された照明光を下方に折り曲げるハーフミラー132とを有している。同軸落射照明130の照明光はワーク表面の凹凸や模様を取得する際に有利である。
また、受光レンズ114の周囲には、リング照明180が設けられている。ステージ駆動部181はリング照明180を上下動させる。これにより、ワークへの照明の照射角度が調整され、エッジの際立たせ方が調整可能となる。
結像レンズ112、122、絞り板113、123、ハーフミラー124、132および受光レンズ114は、鏡筒部102内に配置されている。
透過照明150は、可動ステージ12上のワークに照明光を下方から照射する照明装置である。透過照明150は、光源151、ミラー152および集光レンズ153により構成される。光源151は、水平方向に向けて照明光を出力するように配置されている。光源151から出射された照明光は、ミラー152により反射され、集光レンズ153により集光される。照明光は、可動ステージ12を透過してワークに照射される。照明光の一部はワークにより遮断され、照明光の他の一部は受光レンズ114に入射する。透過照明150の照明光はワークの外形のエッジを取得する際に有利である。
同軸落射照明130および透過照明150の各光源としては、LED(発光ダイオード)やハロゲンランプが用いられる。
俯瞰カメラ17は可動ステージ12の俯瞰画像を取得するために使用される撮像装置である。俯瞰画像は可動ステージ12のほぼ全体を包含する画像である。俯瞰カメラ17の撮像視野は、低倍率カメラ110や高倍率カメラ120の撮像視野よりも広い。そのため、俯瞰カメラ17は、低倍率カメラ110や高倍率カメラ120と比較して、より広い範囲の画像を取得することに向いている。その一方で、俯瞰カメラ17のテレセントリック性は、低倍率カメラ110や高倍率カメラ120のテレセントリック性と比較して低い。そのため、俯瞰カメラ17は非テレセントリックカメラと呼ばれてもよい。俯瞰カメラ17により取得されるワーク画像においてワークの形状は歪むため、低倍率カメラ110や高倍率カメラ120と比較して、俯瞰カメラ17はワークの測定には向いていない。なお、光学系の視野は円形であり、視野内の被写体はイメージサークルとなって撮像素子上に結像する。一方で、撮像素子が撮像できる範囲は矩形である。つまり、撮像領域とは、イメージサークル内の一部の矩形領域である。ここでは、撮像素子の撮像領域に対応する可動ステージ12上における矩形の領域は撮像視野と呼ばれる。
<俯瞰カメラ>
図2が示すように、受光レンズ114は可動ステージ12のかなりの部分を覆っている。そのため、俯瞰カメラ17は受光レンズ114を避けた位置に配置される。俯瞰カメラ17は一つのカメラによって実現されてもよいが、複数のカメラによって実現されてもよい。
図3(A)は測定ユニット10の正面側から俯瞰カメラ17を見たときの俯瞰カメラ17の配置を説明する図である。Wはワークを示している。この例では受光レンズ114の左側に俯瞰カメラ17Lが配置されており、受光レンズ114の右側に俯瞰カメラ17Rが配置されている。R1は低倍率カメラ110の視野範囲を示している。R2Lは俯瞰カメラ17Lの視野範囲を示している。R2Rは俯瞰カメラ17Rの視野範囲を示している。二つの俯瞰カメラ17R、17Lを採用することで可動ステージ12の大半の部分を一度に撮像可能となる。それでもなお、可動ステージ12上には、俯瞰カメラ17Lの視野範囲R2Lと、俯瞰カメラ17Lの視野範囲R2Lによってカバーしきれない死角範囲R3が生じてしまう。
図3(B)は可動ステージ12の中央付近に配置されたワークWを俯瞰カメラ17により撮像する方法を説明する図である。俯瞰カメラ17Rの光軸と可動ステージ12の中心とが一致するように、可動ステージ12を移動することで、可動ステージ12の中央付近に配置されたワークWについての俯瞰画像が得られる。ここでは、俯瞰カメラ17Rが利用されているが、俯瞰カメラ17Lが利用されてもよい。
なお、図3(A)において俯瞰カメラ17Lにより取得された俯瞰画像と、俯瞰カメラ17Rにより取得された俯瞰画像と、図3(B)において俯瞰カメラ17Rにより取得された俯瞰画像とを合成することで可動ステージ12の全体をカバーする合成俯瞰画像が作成されてもよい。リアルタイムで合成俯瞰画像を作成することはできないものの、リアルタイム性が必要無い場合、合成俯瞰画像が作成可能となる。
図3(A)では、二つの俯瞰カメラ17R、17Lの死角範囲R3が生じてしまう例が説明されている。しかし、採用される二つの俯瞰カメラ17R、17Lの画角および設置位置等によっては死角範囲R3がなく、可動ステージ12の全体が一度に撮像可能となるケースもあろう。
<コントローラ>
図4は制御ユニット20に搭載されるコントローラ60の機能を説明する図である。図5は俯瞰画像41を生成する際に必要となるオプションの機能を示している。コントローラ60はプロセッサ(例:CPUなど)により構成され、測定ユニット10を制御する。CPUは中央演算処理装置の略称である。コントローラ60の機能の一部またはすべてはASICやFPGAなどのハードウエアによって実現されてもよい。ASICは特定用途集積回路の略称である。FPGAはフィールドプログラマブルゲートアレイの略称である。照明制御部81は制御ユニット20または測定ユニット10に搭載され、コントローラ60からの制御信号にしたがって照明ユニット84(同軸落射照明130、透過照明150およびリング照明180)を制御する。撮像制御部82は制御ユニット20または測定ユニット10に搭載され、コントローラ60からの制御信号にしたがってカメラユニット85(低倍率カメラ110、高倍率カメラ120および俯瞰カメラ17R、17L)を制御する。記憶装置70はメモリやハードディスクドライブなどを有し、設定データ71、低倍率画像43、俯瞰画像41などを記憶する。
設定部61は、キーボード31などから入力されるユーザ入力にしたがってワークWを測定するための設定データ71を作成する。設定データ71は、たとえば、ワークWのパターンサーチ(位置決め)に関する設定情報や測定箇所に関する設定情報、良品閾値、撮像条件(撮像倍率や露光条件や照明条件)などを含む。
測定制御部62は設定データ71にしたがって照明制御部81を通じていずれかの照明ユニットを点灯させたり、撮像制御部82を通じていずれかのカメラユニットに撮像を実行させたりする。
ワーク判定部63は、連結画像を生成する際に、低倍率カメラ110または高倍率カメラ120により取得された画像からエッジを抽出し、エッジの有無を判定する。ワーク判定部63は、エッジの延出方向を求め、次に撮像を行うべき撮像位置の座標を決定する。画像連結部64は、ワークWのエッジを含む複数の低倍率画像43を連結し、連結画像42を生成する。
サーチ部66は、低倍率カメラ110により取得された対象画像に対して、設定データ71に基づきパターンサーチを実行し、ワークWの位置や姿勢を特定する。たとえば、サーチ部66は、設定データ71に含まれる基準画像と対象画像とを比較し、基準画像に対して対象画像の位置のずれ量と姿勢のずれ量とを求め、位置のずれ量と姿勢のずれ量とから測定箇所の座標の変換式を生成する。この変換式に対して設定データ71に含まれる各測定箇所の座標を入力することで、測定対象であるワークWに対する各測定箇所の座標が決定される。また、サーチ部66は、各測定箇所の座標を、各測定箇所に対応した撮像位置のマシン座標に変換する。サーチ部66は、複数の測定箇所のそれぞれの撮像位置のマシン座標をすべて撮像して回るための最短経路(撮像順番)を求める。測定制御部62は、撮像順番にしたがって各測定箇所のマシン座標をステージ駆動部101XYに設定し、可動ステージ12を駆動する。さらに、撮像制御部82は、各測定箇所ごとの設定データ71に基づく撮像条件(撮像倍率や照明条件)を照明ユニットとカメラユニットに適用して撮像を実行する。たとえば、撮像倍率が低倍率であれば、撮像制御部82は、低倍率カメラ110に測定箇所の撮像を実行させる。撮像倍率が高倍率であれば、撮像制御部82は、高倍率カメラ120に測定箇所の撮像を実行させる。このようにして各測定箇所についてのワーク画像が生成される。
測定部67は設定データ71にしたがってワーク画像からワークWに関する各種の測定を実行する。ワーク画像は、各測定箇所についての複数の低倍率画像または高倍率画像を連結して生成された連結画像42であってもよいし、各測定箇所についての単一の低倍率画像または高倍率画像であってもよい。測定部67は、複数の測定ツールを有している。複数の測定ツールには、ある線と他の線との間の距離を測定する線-線距離測定ツールや、ある点とある線との距離を測定する点―線距離測定ツール、ある線と他の線との直角度を測定する直角度測定ツールなどが含まれてもよい。測定部67は、これらの点や線を画像におけるエッジとして認識し、エッジに基づき測定を実行する。たとえば、測定部67は、ワーク画像に含まれる一つまたは複数のエッジを用いて寸法測定を実行する。測定部67は、第一の低倍率画像に含まれる所定のエッジと、第二の低倍率画像に含まれる所定のエッジとを用いて寸法測定を実行してもよい。測定部67は、第一の高倍率画像に含まれる所定のエッジと、第二の高倍率画像に含まれる所定のエッジとを用いて寸法測定を実行してもよい。測定部67は、低倍率画像に含まれる所定のエッジと、高倍率画像に含まれる所定のエッジとを用いて寸法測定を実行してもよい。測定部67は、測定結果と良品閾値とを比較し、ワークWが良品かどうかを判定(検査)してもよい。位置補正部68は、予め取得された位置補正情報に基づき、低倍率画像から抽出される特徴の位置と高倍率画像から抽出される特徴の位置との関係を補正する。
表示制御部83は、コントローラ60の指示に従って設定データ71を作成するためのUIをディスプレイ装置11に表示したり、各種の画像を表示したり、測定結果(検査結果)を表示したりする。
<フローチャート>
図5は電源スイッチ15がオンに切り替えるとコントローラ60によって実行されるメインの処理を示すフローチャートである。
S500でコントローラ60(位置補正部68)は位置補正情報を取得する。低倍率カメラ110の取付位置と高倍率カメラ120の取付位置とはそれぞれ測定ユニット10ごとの個体差を有している。また、これらは温度依存特性を有しているため、測定ユニット10が設置された環境に依存して変化する。低倍率画像から抽出されるワークWの特徴の位置と、高倍率画像から抽出されるワークWの特徴の位置とは同一であるべきであるが、これらの間にずれが生じてしまう。記憶装置70には、測定ユニット10の組立工程(工場出荷時)においてこれらの位置関係を補正するためのデフォルトの位置補正情報が格納される。電源スイッチ15がオンに切り替えられてコントローラ60が起動すると、コントローラ60(位置補正部68)は、取得処理を実行して位置補正情報を取得し、記憶装置70に記憶されている位置補正情報を更新する。位置補正部68は、低倍率画像に関する座標と高倍率画像に関する座標との少なくとも一方を位置補正情報に基づき補正する。これにより、低倍率画像から抽出されるワークWの特徴の位置と、高倍率画像から抽出されるワークWの特徴の位置とが同一となる。
S501でコントローラ60は操作部30を通じてユーザにより設定モードが選択されたかどうかを判定する。設定モードが選択されていなければ、コントローラ60はS502をスキップしてS503に進む。一方、設定モードが選択されていれば、コントローラ60はS502に進む。
S502でコントローラ60(設定部61)は設定モードを実行する。設定モードの詳細は図6を用いて後述される。
S503でコントローラ60は操作部30を通じてユーザにより測定モードが選択されたかどうかを判定する。測定モードが選択されていなければ、コントローラ60はS501に戻る。一方、測定モードが選択されていれば、コントローラ60はS504に進む。
S504でコントローラ60は実行ボタン16がユーザにより操作されたかどうかを判定する。実行ボタン16がユーザにより操作されると、コントローラ60はS505に進む。
S505でコントローラ60(測定制御部62)は連続測定モードを実行する。連続測定モードの詳細は図7を用いて後述される。
●設定モード
図6は設定モードを示すフローチャートである。
S601でコントローラ60は俯瞰カメラ17を用いて俯瞰画像を生成する。この俯瞰画像は設定モードにおいて利用されてもよいし、測定モードにおいて利用されてもよい。とりわけ、俯瞰画像は、ワークWを可動ステージ12に対して大まかに位置決めする際に役立つであろう。なお、俯瞰画像が使用されない場合は、S601が省略される。
図8は俯瞰画像IM01を表示するユーザインタフェース160aを示している。ここでの俯瞰画像IM01は俯瞰カメラ17Rを用いて生成されたものである。コントローラ60は可動ステージ12の中心が俯瞰カメラ17Rの光軸に一致するように可動ステージ12を移動させ、俯瞰カメラ17Rに撮像を実行させることで、俯瞰画像IM01を生成し、ディスプレイ装置11に表示する。S601で取得された俯瞰画像IM01が設定モードや測定モードで使用される場合、俯瞰画像IM01は記憶装置70に保持される。
S602でコントローラ60(画像連結部64)はワークWの連結画像を生成する。ワークWに対して測定ツールごとの測定箇所を設定するためには、ワークWのほぼ全体を表す画像があるとユーザには便利である。しかし、低倍率カメラ110や高倍率カメラ120を使って可動ステージ12の全体をスキャンしながら連結画像を作成するには膨大な時間が必要となってしまう。通常、可動ステージ12の面積に対してワークWの平面視における面積は小さい。そこで、コントローラ60(ワーク判定部63)は、低倍率カメラ110を用いてワークWのエッジを検出し、ワークWのエッジ(外縁)を辿るように可動ステージ12を移動させながら複数の低倍率画像を生成する。さらに、コントローラ60(画像連結部64)は、複数の低倍率画像を連結することでワークWのほぼ全体を表す連結画像を生成する。各々の低倍率画像は、後述する落射照明と透過照明の両方で撮影される。つまり、落射照明をオンにし、かつ、透過照明をオフにして低倍率画像が取得されるとともに、落射照明をオフにし、かつ、透過照明をオンにして別の低倍率画像が取得される。落射照明を用いて取得された複数の低倍率画像を連結することにより連結画像が生成されるが、この連結画像はワークW表面のテクスチャ情報を有することになる。一方、透過照明を用いて取得された複数の低倍率画像を連結することにより別の連結画像が生成されるが、この別の連結画像ではワークWの輪郭部分のエッジがクリアになる。
図9は連結画像の生成中にディスプレイ装置11に表示されるユーザインタフェース160bを示している。とりわけ、図9は落射照明により撮影された低倍率画像を連結する例を示している。ワーク判定部63はエッジを抽出しながら低倍率画像IM02を生成し、ワーク判定部63または画像連結部64は、生成された低倍率画像IM02を撮像位置に関連付けてユーザインタフェース160b上でマッピングしながら、表示する。この例では20個の低倍率画像IM02が生成されている。
S603でコントローラ60(画像連結部64)はワークWの連結画像をディスプレイ装置11に表示する。
図10は完成した連結画像IM03を表示するためのユーザインタフェース160cを示している。この例では、画像連結部64が21個の低倍率画像IM02を撮像位置に基づき連結することで連結画像IM03を生成している。
S604でコントローラ60(設定部61)は測定箇所の設定を受け付ける。S605でコントローラ60(設定部61)は指定倍率で測定箇所の画像を取得する。S606でコントローラ60(設定部61)は測定ツールの設定を受け付ける。
ワークWの全体を含むように生成された連結画像は、ユーザが測定設定を行うために使用される画像である。
図11は測定箇所の設定を受け付けるためにディスプレイ装置11に表示されるユーザインタフェース160dを示している。設定部61によって生成されるユーザインタフェース160dは連結画像IM03を表示する表示領域を有している。ユーザはポインタ161を操作し、ツール選択部163aから測定ツールを選択し、倍率選択部163bから撮像倍率を選択し、照明選択部163cから照明の種類や明るさなど(照明条件)を選択する。照明制御部81が光量の自動調整を実行する機能を有している場合は、明るさの選択は省略されてもよい。ユーザは連結画像において、抽出したいエッジを選択することで測定箇所162aを指定する。設定部61は、ユーザにより選択された倍率と照明条件で測定箇所162aについて撮像を実行するよう撮像制御部82や照明制御部81を制御する。照明条件としては、落射照明、透過照明、リング照明のうちのいずれか1つを選択可能である。リング照明は上下に可動できる。リング照明が選択された場合は、リング照明の上下位置をユーザが設定できる。なお、照明条件は、ユーザが選択したエッジの鮮明度(コントラスト)に基づいて自動的に設定されてもよい。また、選択された撮像倍率における焦点を自動的に変更しながら、エッジの鮮明度(コントラスト)に基づいて、焦点位置(合焦位置)が自動調整されてもよい。設定部61は、測定箇所162aについて選択された倍率、照明条件、および自動調整された焦点位置で取得された画像を連結画像IM03に重ねて表示する。ユーザは、エッジが適切に抽出されているかどうかを視覚的に確認する。この例では、低倍率と透過照明が選択されているため、測定箇所162aについて取得された画像は、ワークWの外縁のエッジが強調された透過照明画像である。ユーザは、選択した測定ツールにより測定される距離の基準となるエッジ164aを、ポインタ161を操作することで設定する。この例では長さ測定ツールが選択されているため、ある基準点(例:他のエッジや円の中心など)からエッジ164aまでの長さが測定される。図11には示されていないが、設定部61は、基準点となる測定箇所の設定も受け付ける。設定部61は、測定箇所ごとに識別情報を付与し、選択された測定ツールの種類(測定内容)や測定箇所の位置などを関連付けて、設定データを作成する。
図12は測定箇所の設定を受け付けるためにディスプレイ装置11に表示されるユーザインタフェース160dを示している。この例ではユーザがポインタ161を操作して測定箇所162aを選択する。ユーザはツール選択部163aから直角度測定ツールを選択し、倍率選択部163bから高倍率を選択し、照明選択部163cから落射照明を選択している。直角度測定ツールとは、二つのエッジについての直角度を測定するツールである。設定部61は、低倍率に対応した測定箇所162aを高倍率に対応した測定箇所162bに変更し、照明制御部81を通じて同軸落射照明130に照明を実行させ、撮像制御部82を通じて可動ステージ12を測定箇所162bへ移動させ、高倍率カメラ120に撮像を実行させる。設定部61は、測定箇所162bに高倍率画像を表示する。
図13は測定箇所162bの拡大表示を実行するためのユーザインタフェース160eを示している。設定部61は、測定箇所162bがポインタ161によりクリックされたことを検知すると、ユーザインタフェース160eを表示する。測定箇所162bに対応した高倍率画像IM04に対して、ユーザはポインタ161を操作して、測定対象となるエッジ164bを設定する。図13には示されていないが、設定部61は、ユーザの指示にしたがって測定対象となるエッジ164a(図11)を設定する。したがって、この例では図12に示されたエッジ164aと図13に示されたエッジ164bとのについての直角度が測定される。設定部61は、測定箇所ごとに識別情報を付与し、選択された測定ツールの種類(測定内容)や測定箇所の位置などを関連付ける。なお、測定箇所は、複数のエッジ抽出箇所から構成されることもあれば、一つのエッジ抽出箇所から構成されることもある。一つのエッジ抽出箇所から構成される測定箇所としては、たとえば、孔の直径を測定するための測定箇所や孔の真円度を測定するための測定箇所などがある。
S607でコントローラ60(設定部61)はパターンサーチの設定を受け付ける。
図14はパターンサーチの設定を受け付けるユーザインタフェース160fを示している。ワーク判定部63は、連結画像IM03を作成する際に落射照明画像とともに透過照明画像を生成し、複数の透過照明画像を連結して連結画像IM05を生成する。ユーザインタフェース160fは連結画像IM05の表示領域を有している。設定部61は、パターンサーチが実行されるサーチ領域166と、基準画像の登録領域167との設定を受け付ける。サーチ領域166は撮像範囲と呼ばれてもよい。設定部61は、連結画像IM05においてユーザにより指定されたサーチ領域166の座標と登録領域167の座標を設定データ71に保存する。設定部61は、登録領域167に含まれている画像を基準画像として抽出する。基準画像には、パターンサーチで使用されるワークWの形状に関する特徴が含まれている。設定部61は基準画像の座標に対する各測定箇所の座標の相対的な位置関係を示す位置情報を求め、測定箇所情報として記憶装置70のRAMなどに保存する。測定箇所情報は測定モードにおいてワークごとに取得されたワーク画像において測定箇所を決定するために使用される。設定部61は、連結画像IM05におけるサーチ領域166の座標をマシン座標に変換し、基準撮像位置情報の一部として記憶装置70のRAMなどに保存する。
S608でコントローラ60(設定部61)は基準画像、基準撮像位置情報、測定箇所情報、および撮像設定情報などを設定データ71に保存し、設定データ71を記憶装置70に記憶する。
(測定箇所と各撮影条件との関連付けをユースケースのワークを使って説明)
図23(A)は、記憶装置に記憶される設定データの一例を説明するためのワークWの平面視を示す図である。図23(B)は、設定データに対応するワークWの側面視を示す図である。図23(C)は、設定データ中の各測定箇所における倍率、照明条件、焦点位置を示している。測定箇所2301aは貫通していない孔である。透過照明では測定箇所2301aのエッジは抽出できないため、落射照明が設定される。測定箇所2301aが小さい場合は、低倍率では十分な解像度でエッジの抽出を行うことができない。そのため、倍率は高倍率に設定される。合焦位置は自動調整されてZ1に設定される。なお、Z1は可動ステージ12の載置面を基準とした高さ(距離)を示していてもよい。
測定箇所2301bはワークWの輪郭を構成する直線状のエッジであるため、透過照明が設定選択される。また、このような輪郭については低倍率でも十分な精度のエッジが抽出できるため、倍率は低倍率に設定される。測定箇所2301bについての合焦位置は測定箇所2301aと同様にZ1に自動的に設定される。
測定箇所2301cについては低倍率でエッジを抽出可能である。しかし、エッジがR面とつながっているため、スリット光を照射するリング照明が選択され、かつ、リング照明の高さも適切な高さに設定される必要がある。
上述したように、ユーザは、各測定箇所の特性に応じて、倍率、照明条件、および合焦位置を適切に設定する。また、各測定箇所には、パターンサーチ設定で登録された基準画像に対する相対的な位置関係を示す情報が関連付けられている。そのため、パターンサーチが成功すると、各測定箇所を撮影するためのマシン座標(ステージとカメラユニットの相対的な位置情報)が自動的に決定される。なお、図23(A)では予め設定されたパターンンサーチ領域2300も例示されている。
●測定モード
図7は連続測定モードを示すフローチャートである。
S701でコントローラ60(測定制御部62)はユーザによるワークWの載置を補助するための画像をディスプレイ装置11に表示する。
図15(A)および図16はユーザによるワークWの載置を補助または誘導するための誘導情報を含むユーザインタフェース160gを示している。ユーザインタフェース160gは、ライブ画像である俯瞰画像IM01a、IM01bとともに、設定モードにおいて取得された俯瞰画像IM01a、IM01bが重ねて表示されている。この例では、ワークW1は設定モードにおいて取得されたワーク画像を示しており、ワークW2は現在のライブ映像である。つまり、ユーザがワークWを移動させると、ユーザインタフェース160gに表示されているワークW2も移動する。位置合わせフレーム171は、サーチ領域166に対応するフレームである。位置合わせフレーム171は設定モードにおいて取得された俯瞰画像IM01a、IM01bに対して固定されている。ユーザは、位置合わせフレーム171内にワークW2の特徴部分が収まるように、または、ワークW1に対してワークW2が重なるように、可動ステージ12上においてワークW1を位置決めする。測定制御部62は、設定モードにおいて取得された俯瞰画像IM01a、IM01bは半透明表示することで、ワークW2の位置決めを補助してもよい。このように、位置合わせフレーム171やワークW1の画像は、ユーザによるワークWの載置を補助または誘導するための誘導情報の一例である。
S702でコントローラ60(測定制御部62)は測定開始が指示されたかどうかを判定する。たとえば、測定制御部62は実行ボタン16が押されると、測定開始が指示されたと判定する。測定開始が指示されていなければ、コントローラ60はS701に戻る。測定開始が指示されれば、コントローラ60はS703に進む。
S703でコントローラ60(サーチ部66)は設定データ71(基準撮像位置情報)に基づきパターンサーチのための撮像位置に可動ステージ12を移動させる。一般には、可動ステージ12の左上の角や可動ステージ12の中心から所定のシーケンスで低倍率画像を生成し、基準画像と一致する低倍率画像が探索される。そのため、パターンサーチに長時間を要していた。一方で、本発明では、サーチ領域166の撮像位置(マシン座標)が予め設定データ71に保存されているため、サーチ部66は、即座に可動ステージ12をサーチ領域166の撮像位置へ移動させることができる。つまり、サーチ領域166を探すための撮像処理や可動ステージ12の繰り返し移動が不要となる。設定を行ったユーザと測定を行うユーザとが一致している場合、ユーザは、設定モードにおいて可動ステージ12上で良品のワークを載置した所定の位置を覚えている。そのため、ユーザは、自身の記憶に基づき、測定対象となる各ワークを所定の位置に位置決めすることができる。一方で、通常は、設定を行ったユーザと測定を行うユーザとが一致しない。この場合、測定を実行するユーザにとって各ワークを所定位置に位置決めすることは困難であろう。そこで、測定制御部62は、サーチ領域166に対応した位置合わせフレーム171をディスプレイ装置11に表示してもよい。これにより、ユーザは、設定モードにおけるワークWの配置を再現しやすくなる。つまり、設定モードにおいて決定されたサーチ領域166の撮像位置(マシン座標)において、基準画像から抽出された位置決めのための特徴が存在する確率が高い。これにより、パターンサーチが短時間で完了するようになろう。
また、設定モードにおいて取得された俯瞰画像と、現在の俯瞰画像とが同時に半透明表示されてもよい。これにより、パターンサーチが成功するよう、ユーザに対してワークWの載置を誘導することが可能となる。2つの半透明画像が重なると、設定モードにおけるワークWの位置姿勢と現在のワークWの位置姿勢が同じになるため、自動的にサーチ領域にワークの特徴部が含まれることになる。
本実施形態において、ワークWの載置を補助または誘導するための誘導情報とは、上記した位置合わせフレーム171および俯瞰画像の半透明表示などを含む。
(真っ先に探しに行くことについての補足説明)
図15(B)は、ステージ可動範囲1500の全体に対して、ユーザにより設定されたサーチ領域1502の相対的な位置を示す図である。1503は低倍率カメラ110の視野領域を示している。1504は高倍率カメラ120の視野領域を示している。サーチ領域1502は、9枚の低倍率画像を連結して構成される領域である。9枚の低倍率画像に付与された数字は撮影順番を示している。サーチ領域1502を大きく設定すると、ワークWの位置ズレに対してパターンサーチがロバストになるが、撮影される画像の枚数が増える。サーチ領域1502を小さく設定すると、設定モードにて設定されたワークWの位置姿勢とほぼ同じ位置姿勢でないとパターンサーチが成功しない。ただし、撮影される画像の枚数が減少する。
パターンサーチに一度成功すれば、予め設定された測定箇所が特定できる。そのため、各測定箇所が、予め設定された倍率、照明条件、および合焦位置で、順番に撮影され、測定が短時間で完了可能となる。
なお、上記実施例では、一つのサーチ領域1502が設定される例が示されているがが、二つ以上のサーチ領域1502が設定されてもよい。これにより、例えば、ワークWが基準姿勢に対して180度回転した状態でもパターンサーチが成功する。
S704でコントローラ60(サーチ部66)はパターンサーチのための対象画像を取得する。サーチ部66は、設定データ71にしたがって低倍率カメラ110を用いて対象画像を取得する。
図17はパターンサーチの実行中に表示されるユーザインタフェース160hを示している。サーチ部66または測定制御部62により生成されるユーザインタフェース160hは低倍率カメラ110を用いて対象画像として取得された低倍率画像IM06を表示する。サムネイル画像IM06'は設定モードにおいて取得された基準画像のサムネイル画像である。ユーザは、これらの画像を比較することで、パターンサーチが正しく実行されていることを確認できる。
S705でコントローラ60(サーチ部66)は設定データ71に含まれる基準画像を用いて対象画像に対してパターンサーチを実行する。サーチ部66は、基準画像に対する測定対象のワークW2のX方向における位置のずれ量、Y方向における位置のずれ量および姿勢(XY平面における回転角度)を求める。S705とS706との間にはS720とS721とが挿入されてもよい。
S720でコントローラ60(サーチ部66)はパターンサーチの結果に基づきパターンサーチに成功したかどうかを判定する。パターンサーチに成功すると、コントローラ60はS706に進む。パターンサーチに失敗した場合、コントローラ60はS721に進む。
S721でコントローラ60は正しい位置姿勢にワークWを置くようにユーザに促す通知(画面)をディスプレイ装置11に表示する。その後、コントローラ60はS704に戻る。あるいは、コントローラ60は、ワークWを自動的に探索する自動探索モードに遷移してもよい。視野内にワークWが入るまで、コントローラ60は可動ステージ12を規則的に移動させながら撮影を繰り返す。視野内にワークWを捉えると、コントローラ60は、ワークWの輪郭に沿って可動ステージ12を移動しながら撮影を繰り返し、取得された複数の画像を連結することでワークWの連結画像を生成する。コントローラ60はワークWの連結画像上でパターンサーチを実行することにより、測定箇所を特定する。
S706でコントローラ60(測定制御部62)は設定データ71の測定箇所情報とパターンサーチの結果とに基づき各測定箇所の撮像位置を決定する。設定モードにおける良品のワークの位置と測定モードにおける各ワークの位置は一致していないことが多いため、各測定箇所の撮像位置はワークごとに調整される必要がある。測定制御部62は、測定箇所情報に含まれている各測定箇所の座標を、パターンサーチの結果(ワークごとの位置と姿勢)により位置補正し、さらに、位置補正された座標をマシン座標(撮像位置)に変換する。
S707でコントローラ60(測定制御部62)は各測定箇所の撮像位置(マシン座標)に基づき各測定箇所の測定順番を決定する。上述されたように、測定制御部62は最短ルートとなるように各測定箇所の測定順番を決定する。
S708でコントローラ60(測定制御部62)は、決定された測定順番と撮像設定情報とに基づき可動ステージ12とカメラユニットを制御して画像を取得する。撮像設定情報が高倍率を指定していれば、高倍率カメラ120がワークWを撮像する。撮像設定情報が低倍率を指定していれば、低倍率カメラ110がワークWを撮像する。また、測定制御部62は、設定された照明条件にしたがって同軸落射照明130、透過照明150およびリング照明180のいずれかを点灯させる。
すなわち、コントローラ60はパターンサーチの結果に基づいて特定された各測定箇所のマシン座標を撮影できるように可動ステージ12を制御する。高倍率カメラ120と低倍率カメラ110はハーフミラーによる二分岐光学系を有し、同時に高倍率画像と低倍率画像が取得可能である。したがって、可動ステージ12を移動するだけで各測定箇所に関連付けられた倍率の画像が高速に取得される。それぞれ倍率の異なる複数の画像を取得するために、レボルバやズームレンズを用いたような画像測定装置が採用されてもよい。この場合、レボルバやズームレンズによる倍率変更に時間がかかるが、二分岐光学系を用いているため、同時に高倍率画像と低倍率画像が取得可能であり、撮影に要する時間が短くなろう。
図18および図19は撮像処理中に表示されるユーザインタフェース160iを示している。図18において測定制御部62は、各測定箇所で取得された測定箇所の画像IM07を表示する表示領域と、画像IM07の拡大画像IM07'を表示する表示領域とをユーザインタフェース160iに表示してもよい。この例で画像IM07は低倍率画像である。図19において測定制御部62は、各測定箇所で取得された測定箇所の画像IM08を表示する表示領域と、画像IM08の拡大画像IM08'を表示する表示領域とをユーザインタフェース160iに表示してもよい。この例で画像IM08は高倍率画像である。ユーザはユーザインタフェース160iを参照することで、各測定箇所において画像が正確に取得されていることを確認できる。
拡大画像IM07'、IM08'は、設定モードにおいて取得された測定箇所のサムネイル画像であってもよい。ユーザは、画像IM07、IM08とサムネイル画像とを比較することで、正しい測定箇所で画像が取得されていることを確認しやすくなる。
S709でコントローラ60(測定部67)は、各測定箇所について、画像IM07、IM08と測定箇所情報とに基づき寸法測定を実行し、測定結果を記憶装置70に記憶させる。たとえば、測定部67は測定箇所情報にしたがった測定ツールを用いて、各所定箇所からエッジを抽出し、エッジを基準として距離や直径、直角度、真円度などを測定する。測定箇所情報には、良否判定(OK/NG判定)の基準となる公差などの閾値が含まれていてもよい。
S710でコントローラ60(測定部67)は、設定モードにおいて取得された連結画像(または俯瞰画像)とともに測定結果をディスプレイ装置11に表示する。
図20ないし図22は測定結果を表示するためのユーザインタフェース160jを示している。図20においてユーザインタフェース160jは画像表示領域168と結果表示領域169とを有している。画像表示領域168はS708で取得されたワーク画像IM09ないしIM11を表示する領域である。ワーク画像IM09、IM10は低倍率画像である。ワーク画像IM11は高倍率画像である。このように、本発明では、可動ステージ12のうち、測定に必要な位置でだけ画像を取得されるため、測定時間が短縮される。測定部67は、低倍率画像および高倍率画像とともに、測定結果を示す数字情報170と、測定内容を示す内容情報172を表示してもよい。内容情報172は、たとえば、測定された距離の始点と終点とを示す情報を含んでもよい。また、内容情報172は、距離を意味する双方向矢印などを含んでもよい。また、内容情報172は、測定結果を示す単位(例:ミリメートルなど)を含んでもよい。結果表示領域169は、測定箇所の識別情報(例:1、2、...)と、測定内容(例:線-線距離)、測定結果(例:114.368mm)および良否判定結果(例:OK/NG)などを表示する。
図20が示すように、コントローラ60は、高倍率画像から抽出されたエッジと、低倍率画像から抽出されたエッジとの間の寸法を測定することができる。これは、高倍率カメラ120の位置と低倍率カメラ110の位置とを補正するキャリブレーションが存在するからである。
可動ステージ12に設けられた透光板13の裏面に、位置補正の基準となる光学的なマークが付与されている補正部材が設けられてもよい。コントローラ60は、高倍率カメラ120と低倍率カメラ110との両方で当該光学的なマークを撮像し、高倍率カメラ120の位置と低倍率カメラ110の位置とを補正する。なお、位置補正の手法はこれに限定されない。たとえば、高倍率カメラ120と低倍率カメラ110とが、可動ステージ12に載置されたキャリブレーションチャート等の調整用治具を撮像する。コントローラ60は、二つ画像に写っている位置補正マークの位置のずれ量に基づき、高倍率カメラ120の位置と低倍率カメラ110の位置とを補正してもよい。
本発明では、測定箇所の撮影に必要な位置でだけ画像を取得される。そのため、測定時に取得される画像の位置は、設定モードで取得されたワークWの連結画像に対して、離散的な位置となる。設定モードで取得された連結画像の一部についてだけ、測定モードで画像が取得される。仮に、設定モードで取得された連結画像を取得することなく、測定モードで取得された画像だけディスプレイ装置11に表示されたと仮定すると、測定結果の表示画面は図20のようになる。つまり、複数の画像が離散的に配置されてしまうことになり、ユーザは、ワークWの全体の中でどの位置の測定結果が表示されているのかを理解しにくい。そこで、本実施形態では、図21が示すように、画像表示領域168には、設定モードにおいて取得された連結画像IM03に対して、測定モードにおいて取得されたワーク画像IM09~IM11が重ねられて表示される。
設定モードにおいて、連結画像42は、設定データ71とともに記憶装置70に記憶される。連結画像42は設定モードのユーザインタフェースに表示され、各種の測定設定を受け付ける際にディスプレイ装置11に表示される。さらに、連結画像42は測定モードにおいても記憶装置70から読み出され、測定結果が当該連結画像上に重ねて表示される。これにより、ユーザは、測定結果がワークW全体の中でのどの位置で取得されたものであるかを、視覚的に確認しやすくなろう。ここで測定結果とは、良否判定結果や測定値、測定の実行された位置を示す記号などが挙げられる。記号を表示する場合は、連結画像42が表示されている表示領域とは異なる表示領域に測定値が表示されてもよい。
各測定箇所の位置情報は、パターンサーチ用の基準画像に対する相対的な座標位置情報に基づいて決定される。そのため、パターンサーチが成功すると測定結果の表示位置も決定可能となる。
また、本発明では測定モードにおいて、各測定箇所で取得された低倍率画像または高倍率画像が連結画像上に重ねて表示される。これにより、連結画像の中で、測定箇所だけは、測定モードにおいて実際に取得された画像に置換または重畳されて表示される。そのため、所望の測定結果が得られない場合、ユーザは、測定モードで取得された実際の画像を確認することができる。その結果、ユーザは、所望の測定結果が得られなかった原因を視覚的に理解できるようになろう。
図24はS710の詳細なフローチャートである。S709でコントローラ60は測定箇所情報と、取得された画像とに基づき、測定を実行すると、次に、S2401に進む。S2401でコントローラ60は記憶装置70に記憶されている、予め設定モードで取得された連結画像42を読み出す。S2402でコントローラ60は、S705で得られたパターンサーチ結果に基づいて測定結果の表示位置を決定する。S2403でコントローラ60は測定モードで得られた撮像画像と測定結果とを、予め設定モードで得ていた連結画像42に重ねて表示する(例:図21)。
なお、画像表示領域168には、設定モードにおいて取得された連結画像IM03が表示され、測定モードにおいて取得されたワーク画像IM09~IM11は表示されてなくてもよい。
図22が示すように、測定部67は、ユーザにより指定された測定箇所のワーク画像IM11を拡大表示してもよい。測定部67は、ポインタ161により特定の測定箇所がクリックされると、クリックされた測定箇所に対応するワーク画像IM11を画像表示領域168に表示する。これによりユーザは正しいエッジが測定されていることを確認しやすくなろう。
<まとめ>
可動ステージ12はワークが載置される載置台の一例である。カメラユニット85はワークを低倍率で撮像して低倍率画像を生成するための低倍率光学系と、低倍率光学系の光軸と同軸となる光軸を有し、ワークを低倍率よりも高い倍率で撮像して高倍率画像を生成するための高倍率光学系とを有する撮像部の一例である。ステージ駆動部101XYは載置台と撮像部とがXY方向において相対的に移動するよう載置台と撮像部とのうちの少なくとも一方を駆動することで撮像部の撮像位置を変更する駆動部の一例である。コントローラ60は駆動部と撮像部を制御し、それぞれワークの異なる部位についての複数の低倍率画像または高倍率画像を生成し、生成された複数の低倍率画像または高倍率画像を連結することで連結画像を生成するプロセッサとして機能する。記憶装置70は連結画像を記憶するメモリとして機能する。図6などに関連して説明されたように、設定モードにおいて、プロセッサは連結画像の少なくとも一部であるパターンサーチのための基準画像、または連結画像においてユーザにより指定された位置を撮像部により撮像することで生成されたパターンサーチのための基準画像をメモリに記憶させてもよい。ここで、基準画像は撮像部により撮像された画像であれば良いため、連結画像から切り出されてもよいし、連結画像が取得された後に再度撮像されてもよい。プロセッサは、連結画像においてユーザにより指定された複数の測定箇所を示す測定箇所情報をメモリに記憶させてもよい。たとえば、測定箇所情報は、連結画像における基準画像(基準撮像位置)に対する測定箇所の相対的な位置を示す情報を含んでもよい。なお、測定箇所情報に含まれている測定箇所の相対的な位置とパターンサーチとの結果から、測定モードにおいて、撮像位置情報が決定される。つまり、プロセッサは、複数の測定箇所のそれぞれを撮像部で撮像するための撮像部の撮像位置を示す撮像位置情報をメモリに記憶させてもよい。たとえば、撮像位置は可動ステージ12のマシン座標系により表現されてもよい。設定モードにおいて、プロセッサは、各撮像位置を低倍率および高倍率のうちのいずれの倍率で撮像するかを示す撮像設定情報をメモリに記憶させてもよい。図7などに関連して説明されたように、測定モードにおいて、プロセッサは、撮像部を制御し、パターンサーチの対象画像を取得し、メモリに記憶されたパターンサーチの基準画像を用いて、パターンサーチの対象画像に対してパターンサーチを実行する。プロセッサは、メモリに記憶された複数の測定箇所のそれぞれに関連付けられた測定箇所情報とパターンサーチの結果とに基づいて、複数の測定箇所のそれぞれを撮像するための複数の撮像位置を特定する。つまり基準撮像位置に対する測定箇所ごとの相対的な位置情報が絶対的な撮像位置情報に変換される。さらに、プロセッサは、載置台と撮像部とのうちの少なくとも一方を駆動部に駆動させることで撮像部の撮像位置を複数の撮像位置のそれぞれに順次設定しつつ、複数の撮像位置のそれぞれにおいて撮像設定情報にしたがった倍率で撮像部に撮像を実行させることで低倍率画像または高倍率画像を生成させる。測定箇所の設定次第では低倍率画像と高倍率画像との両方が生成されてもよい。プロセッサは複数の撮像位置のそれぞれについて取得された低倍率画像または高倍率画像に基づき各撮像位置に対応する測定箇所について当該測定箇所の寸法を測定する。このように、測定箇所ごとに指定された倍率で撮像が実行されるため、測定モードにおける撮像回数が削減され、効率よく画像測定が実行可能となる。また、測定箇所で撮像が実行され、ワークの全体にわたって撮像が実行されることは必須ではなくなるため、撮像回数が削減される。可動ステージ12にはワークが載置されるごとに寸法測定が実行される。したがって、ワークごとの撮像回数を削減することは、寸法測定の効率化を向上させる。
透過照明150は少なくとも一部に透光性を有する載置台の下方に設けられる。透過照明150は、載置台に載置されたワークに透過照明光を照射する透過照明部として機能する。透過照明光とは載置台の下方から上方に向かう光である。カメラユニット85は透過照明150から出力された透過照明光のうちワークによって遮光されなかった光を受光する。そのため、ワーク画像においてはワークの輪郭(外縁)が強調されることになる。したがって透過照明光はワークの外形に関する寸法測定に有利である。同軸落射照明130やリング照明は、載置台の上方に設けられ、載置台に載置されるワークに落射照明光を照射する落射照明部として機能する。たとえば、設定モードのS606などにおいて、プロセッサは、複数の測定箇所のそれぞれについて透過照明部と落射照明部のいずれを用いるかを示す照明条件をメモリに記憶させてもよい。照明条件は撮像設定情報に含まれてもよい。プロセッサは、測定モードにおいて、複数の測定箇所のそれぞれについて透過照明部と落射照明部とのうちメモリに記憶された照明条件にしたがった照明部を点灯させる。このように測定箇所ごとに照明条件が設定されるため、測定箇所ごとに異なる照明光が適用可能となる。これは寸法の測定精度を向上させよう。
低倍率カメラ110は低倍率光学系を介してワークを撮像する低倍率撮像素子の一例である。高倍率カメラ120は高倍率光学系を介してワークを撮像する高倍率撮像素子の一例である。図2が示すように、低倍率光学系と高倍率光学系は同一の光軸を有する分岐光学系を形成していてもよい。メモリは、低倍率撮像素子により生成された低倍率画像の位置と、高倍率撮像素子により生成された高倍率画像の位置との関係を補正する位置補正情報を記憶していてもよい。プロセッサは、位置補正情報に基づき低倍率画像の位置と高倍率画像の位置との関係を補正する。低倍率カメラ110および高倍率カメラ120には組み付け誤差が存在するため、低倍率画像から抽出されるワークの位置と高倍率画像から抽出されるワークの位置とが一致しないことがある。また、測定ユニット10の設置環境の温度に依存してこれらの位置関係に誤差が生じする。したがって、位置補正を実行することで、寸法測定の精度が向上する。とりわけ、低倍率画像から抽出された特徴(エッジ)から高倍率画像から抽出された特徴(エッジ)までの距離を測定するケースでは位置補正が重要であろう。
ディスプレイ装置11はワークの画像を表示する表示装置の一例である。プロセッサは、測定モードにおいて、ワークの一部を含む画像のうち低倍率画像と高倍率画像とをそれぞれ区別可能に表示装置に表示させてもよい。図20や図21が示すように、測定モードではワークの一部について画像が取得される。また、ユーザは、各測定箇所について設定された倍率で画像が正しく取得されていることを知りたいと希望することもあろう。したがって、低倍率画像と高倍率画像とを区別可能に表示することは有用である。たとえば、コントローラ60は、低倍率画像の縁取りと高倍率画像の縁取りとを異ならしめてもよい。たとえば、低倍率画像の縁取りの色と高倍率画像の縁取りの色とが異なってもよい。低倍率画像の縁取りの太さと高倍率画像の縁取りの太さとが異なってもよい。低倍率画像の縁取りが実線であり、高倍率画像の縁取りが破線であってもよい。このように視覚的に区別可能な表示オブジェクトが採用されれば十分であろう。
図22に関連して説明されたように、プロセッサは、測定モードにおいて、表示装置にワークの全体を含む全体画像を表示し、全体画像における一部の箇所の指定をユーザから受け付け、当該一部の箇所に対応する低倍率画像または高倍率画像を表示装置に表示させてもよい。図21などが示すように、ワークの全体の面積に対して、一つの高倍率画像の面積はかなり小さい。したがって、ユーザはワークの全体画像にマッピングされた高倍率画像からは高倍率画像に写っている特徴を視認しにくくなる。そこで、ユーザにより全体画像における高倍率画像が指定されると、プロセッサは高倍率画像を表示装置に拡大表示してもよい。これにより、ユーザは、高倍率画像に写っている特徴を視認しやすくなる。ここでは、高倍率画像の拡大表示について説明されたが、同様に、プロセッサは低倍率画像の拡大表示を実行してもよい。
S604などに関連して説明されたように、プロセッサは、設定モードにおいて、ワークのうち低倍率光学系を通じて撮像される測定箇所の指定と、ワークのうち高倍率光学系を通じて撮像される測定箇所の指定とを受け付けることで撮像設定情報を作成してもよい。
S602やS603に関連して説明されたように、プロセッサは、設定モードにおいて、ワークの全体をカバーするように低倍率光学系を用いて複数の低倍率画像を生成し、複数の低倍率画像を連結することでワークの全体を示す連結画像(全体画像)を生成してもよい。S604やS605に関連して説明されたように、プロセッサは、連結画像においてユーザに指定された箇所について高倍率光学系を用いて高倍率画像を生成してもよい。このように、ユーザにより指定された箇所でだけ高倍率画像が取得されるため、設定モードにおいても高倍率画像の撮像回数が削減される。つまり、撮像にともなうユーザの待ち時間が削減される。
S607に関連して説明されたように、プロセッサは、設定モードにおいて、パターンサーチの結果、基準撮像位置情報および測定箇所情報に基づき、低倍率画像の撮像位置を示す位置情報と高倍率画像の撮像位置を示す位置情報と含むように撮像位置情報を作成してもよい。可動ステージ12におけるワークの位置はワークごとに異なる。これは、ワークがユーザの手作業で載置されるからである。したがって、各ワークの位置と姿勢に応じて各測定箇所の撮像位置が動的に決定される。各ワークの位置と姿勢は基準画像を用いてパターンサーチより特定される。つまり、基準画像(基準撮像位置)に対する各ワークの位置のずれ量と姿勢のずれ量に応じて測定箇所情報に対応した撮像位置が補正され、各測定箇所の撮像位置が動的に決定される。これによりワークを位置決めするための治具などが不要となり、ユーザは自由にワークを載置できるようになろう。
図6に関連して説明されたように、設定モードにおいて、プロセッサは、パターンサーチの対象画像を取得する際に、透過照明部を消灯して落射照明部を点灯させることでワークについての落射照明画像を生成するかどうかの設定を受け付けてもよい。プロセッサは、測定モードにおいて、落射照明画像を生成することが設定されている場合、透過照明部によりワークに透過照明光を照射することでパターンサーチの対象画像を生成し、かつ、透過照明部を消灯して落射照明部を点灯させることでワークについての落射照明画像を生成する。落射照明画像を生成することが設定されていない場合、プロセッサは、測定モードにおいて、透過照明部によりワークに透過照明光を照射することでパターンサーチの対象画像を生成する。ワークの外形を含む画像が基準画像となるケースでは透過照明光がパターンサーチに有利である。ワークの外形よりも内側にある特徴を含む画像が基準画像となるケースでは落射照明光がパターンサーチに有利である。したがって、ユーザは、パターンサーチの特徴に応じて照明光を選択してもよい。
プロセッサは、設定モードにおいて、低倍率画像または高倍率画像を用いてワークについてのサムネイル画像を生成してもよい。たとえば、それぞれ異なる測定設定が複数の設定データにより保存されることがある。この場合に、各測定設定(設定データ)を象徴するようなサムネイル画像をユーザが視認できれば、ユーザは視覚的に各測定設定(設定データ)を区別しやすくなろう。コントローラ60は、設定データごとにサムネイル画像(測定箇所の設定に使用された低倍率画像や高倍率画像を縮小することで生成された画像)を作成し、設定データに保存してもよい。ユーザが設定データを選択する際に、コントローラ60は、各設定データのサムネイル画像をディスプレイ装置11に表示してもよい。図17ないし図19が示すように、サムネイル画像は測定モードにおいて表示されてもよい。
プロセッサは、測定モードにおいて、低倍率画像から抽出されたエッジと、高倍率画像から抽出されたエッジとを用いてワークの測定を実行してもよい。一般には、低倍率画像から抽出された第一エッジと低倍率画像から抽出された第二エッジとの距離が測定されたり、高倍率画像から抽出された第一エッジと高倍率画像から抽出された第二エッジとの距離が測定されたりする。しかし、低倍率画像から抽出されたエッジと、高倍率画像から抽出されたエッジとを用いてワークの測定を実行可能とすることで、ユーザの多様なニーズを満たすことが可能となろう。
図21が示すように、プロセッサ(測定部67)は、測定モードにおいて、設定モードにおいて取得された連結画像とともに、測定結果を表示してもよい。このように、設定モードにおいて取得された連結画像を流用することで、測定モードにおける処理時間を短縮しつつ、連結画像とともに測定結果を表示することが可能となる。つまり、プロセッサ(測定部67)は、設定モードにおいてメモリに記憶された連結画像を読み出し、読みだされた連結画像上の測定対象箇所に対応する位置に測定結果を表示してもよい。測定結果は、連結画像に重畳されて表示されてもよいし、連結画像の表示領域とは異なる表示領域に表示されてもよい。
図21が示すように、プロセッサ(測定部67)は、測定モードにおいて、連結画像のうち測定箇所を含む画像領域を当該測定箇所に対応する低倍率画像または高倍率画像に置換し、当該連結画像とともに測定箇所の測定結果を表示装置に表示してもよい。測定箇所の画像は測定モードにおいて必ず取得される。したがって、測定箇所の画像が、連結画像に対して合成または重畳されて表示されてもよい。つまり、表示装置は、設定モードにおいて取得された連結画像に対して測定結果を重畳して表示するか、または、設定モードにおいて取得された連結画像に対して測定結果を合成することで生成された合成画像を表示してもよい。測定箇所の画像は、測定箇所の測定ミスや測定箇所の製造上のエラーなどをユーザが目視することに適している。よって、測定箇所の画像は各ワークから個別に取得された画像であることが望ましいだろう。
プロセッサ(測定部67)は、連結画像のうち測定箇所を含む画像領域を当該測定箇所に対応する低倍率画像または高倍率画像に置換し、当該連結画像とともに測定箇所の測定結果を表示装置に表示してもよい。
プロセッサ(コントローラ60)は、連結画像、基準画像、基準撮像位置情報、測定箇所情報、撮像設定情報を設定ファイル(設定データ71)に保存してもよい。さらに、プロセッサは、設定ファイルにより特定される測定の内容を象徴するサムネイル画像を当該設定ファイルに保存してもよい。俯瞰カメラ17R、17Lは載置台の俯瞰画像を取得する俯瞰カメラとして機能する。プロセッサは、俯瞰画像をサムネイル画像として設定ファイルに保存してもよい。一般に俯瞰画像にはワークの全体が写っている。そのため、ユーザは、俯瞰画像のサムネイル画像を参照することで、複数の設定ファイルのなかから所望の設定ファイルを選択しやすくなるであろう。
図20や図21に示されたUIは改良されてもよい。たとえば、表示装置(ディスプレイ装置11)は、測定モードにおいて、第一表示領域と第二表示領域とを含むユーザインタフェースを表示してもよい。第一表示領域はワークの全体を示す連結画像を表示してもよい。第二表示領域は測定箇所で取得された画像やサムネイル画像を表示してもよい。これにより、ユーザは、ワークの全体を確認しつつ、測定箇所を確認することが可能となる。
図21が示すように、表示装置は、ワークの全体を示す連結画像とともに測定箇所を示す情報と、各測定箇所についての測定結果とを表示してもよい。
図20から明らかなように、測定モードにおいて各測定箇所ごとに取得される低倍率画像または高倍率画像の枚数は、設定モードにおいて連結画像を形成するために取得される低倍率画像または高倍率画像の枚数よりも少ない。そのため、測定モードにおける撮像に要する処理時間が短縮される。
S607に関連して説明されたように、プロセッサは、設定モードにおいて、基準画像の撮像位置を示す基準撮像位置情報をメモリに記憶させてもよい。なお、基準画像の撮像位置は、駆動部によるXY方向の移動量を管理するための機械座標系における撮像位置として表現されてもよい。プロセッサは、載置台の現在の位置を機械座標系で管理している。たとえば、載置台の現在の位置が(Xnow, Ynow)で表記され、基準画像の撮像位置が(Xref, Yref)と表記されたと仮定する。この場合、X方向の移動量ΔXはXnowとXrefとの差分であり、Y方向の移動量ΔYはYnowとYrefとの差分である。駆動部は、ΔXだけモータを回転させ、かつ、ΔYだけモータを回転させることで、載置台を撮像位置に移動させる。S703に関連して説明されたように、プロセッサは、測定モードにおいて、メモリに記憶された基準撮像位置情報にしたがって駆動部により載置台と撮像部とのうちの少なくとも一方を駆動することで撮像部の撮像位置を基準画像の撮像位置に移動させる。これにより、パターンサーチの処理時間が短縮される。とりわけ、基準画像を取得するときに使用されたワークの位置と、測定対象のワークの位置とが近ければ近いほど、パターンサーチの時間が短縮されよう。
プロセッサ(コントローラ60)は、測定モードにおいて、パターンサーチに成功すると、各測定箇所を撮像するための複数の撮像位置の特定を実行してもよい。プロセッサは、測定モードにおいて、パターンサーチに失敗すると、表示装置に、載置台におけるワークの位置を調整するよう促す情報を表示してもよい。これにより、ユーザは、設定モードにおいて決定されたワークの載置位置を、測定モードにおいても再現しやすくなろう。
プロセッサ(コントローラ60)は、測定モードが開始されると、まず、メモリに記憶された基準撮像位置情報にしたがって駆動部により載置台と撮像部とのうちの少なくとも一方を駆動することで撮像部の撮像位置を基準画像の撮像位置に移動させてもよい。これにより、即座にパターンサーチが開始可能となろう。
プロセッサ(コントローラ60)は、測定モードにおいて、パターンサーチが完了すると、メモリに記憶された各測定箇所に関連付けられた測定箇所情報とパターンサーチの結果とに基づいて、各測定箇所を撮像するための複数の撮像位置を特定してもよい。プロセッサ(コントローラ60)は、メモリに記憶された各測定箇所に関連付けられた測定箇所情報とパターンサーチの結果とに基づいて、各測定箇所についての測定結果の表示位置を決定し、決定した表示位置に測定結果を表示してもよい。基準画像におけるワークの位置および傾きと測定対象ワーク画像におけるワークの位置および傾きとは異なっていることが多い。そのため、どの程度の位置や傾きがずれているかがパターンサーチによって特定される。測定結果の表示位置は測定箇所情報に紐付されて管理されている。よって、ターンサーチによって特定されたワークの位置や傾きに応じて、測定箇所情報に紐付されている測定結果の表示位置を補正することで、測定モードにおいて取得されたワーク画像上に測定結果を正しく表示することが可能となる。
プロセッサ(コントローラ60)は、設定モードにおいて、ユーザにより指定された基準画像の撮像範囲(例:サーチ領域166)の位置情報をメモリに記憶させてもよい。図15(a)や図16が示すように、プロセッサは、測定モードにおいて、メモリに記憶されている基準画像の撮像範囲の位置情報に基づき、撮像部により取得されたライブ画像とともに、ワークの載置を誘導するための誘導情報を表示装置に表示してもよい。これにより、ユーザは、ワークの位置を適切に調整しやすくなろう。
図16が示すように、誘導情報は、基準画像に含まれるワークの特徴部分が収められるフレーム(例:位置合わせフレーム171)を含んでもよい。載置台におけるワークの位置は、表示装置に表示されたフレームにワークの特徴部分が収まるようにユーザにより調整されてもよい。
プロセッサ(コントローラ60)は、設定モードにおいて、連結画像に対して、基準画像を取得する領域である登録領域167の指定と、基準画像をパターンサーチする領域であるサーチ領域166の指定とを受け付けてもよい。フレームは、サーチ領域の外縁に一致していてもよい。
図16が示すように、ライブ画像は、俯瞰カメラにより生成された俯瞰画像であってもよい。これにより、ユーザは、可動ステージ12に対するワークの位置を理解しやすくなるであろう。俯瞰カメラは、それぞれ撮像範囲が異なる第一カメラ(例:俯瞰カメラ17R)と第二カメラ(例:俯瞰カメラ17L)とを有してもよい。ライブ画像および俯瞰画像は、第一カメラと第二カメラとの両方または一方により取得される画像であってもよい。
図16が示すように、誘導情報は、設定モードにおいて俯瞰カメラより生成された俯瞰画像(例:ワークW1の画像)を含んでもよい。たとえば、図16が示すように、表示装置は、設定モードにおいて俯瞰カメラより生成された俯瞰画像を半透明表示することで、当該俯瞰画像をライブ画像に重畳して表示してもよい。これにより、ユーザは、測定対象のワークW2の画像がワークW1の画像に重なるように、測定対象のワークW2の位置を調整することが可能となろう。
発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

Claims (12)

  1. ワークが載置される載置台と、
    前記ワークを撮像してワーク画像を生成する撮像部と、
    前記載置台と前記撮像部とがXY方向において相対的に移動するよう前記載置台と前記撮像部とのうちの少なくとも一方を駆動することで前記撮像部の撮像位置を変更する駆動部と、
    前記駆動部と前記撮像部を制御し、それぞれ前記ワークの異なる部位についての複数のワーク画像を生成し、前記生成された複数のワーク画像を連結することで連結画像を生成するプロセッサと、
    前記連結画像を記憶するメモリと、
    前記連結画像を表示する表示装置と、を備え、
    前記プロセッサは、設定モードにおいて、
    前記連結画像の少なくとも一部または前記連結画像においてユーザにより指定された位置を前記撮像部により撮像することで生成されたパターンサーチの基準画像と、前記駆動部によるXY方向の移動量を管理するための機械座標系における撮像位置であって前記基準画像の撮像位置を示す基準撮像位置情報と、前記連結画像において前記ユーザにより指定された複数の測定箇所を示す測定箇所情報と、を前記メモリに記憶させ、
    前記プロセッサは、測定モードにおいて、
    前記メモリに記憶された前記基準撮像位置情報にしたがって前記駆動部により前記載置台と前記撮像部とのうちの少なくとも一方を駆動することで前記撮像部の撮像位置を、前記設定モードにおいて前記基準画像を取得した前記機械座標系の撮像位置に移動させ、
    前記撮像部を制御し、パターンサーチの対象画像を取得し、
    前記メモリに記憶されたパターンサーチの基準画像を用いて、前記パターンサーチの対象画像に対してパターンサーチを実行し、
    前記メモリに記憶された各測定箇所に関連付けられた測定箇所情報と前記パターンサーチの結果とに基づいて、各測定箇所を撮像するための複数の撮像位置を特定し、
    前記載置台と前記撮像部とのうちの少なくとも一方を前記駆動部に駆動させることで前記撮像部の撮像位置を前記複数の撮像位置のそれぞれに順次設定しつつ、前記複数の撮像位置のそれぞれにおいて前記撮像部に撮像を実行させることで前記ワーク画像を生成させ、
    前記複数の撮像位置のそれぞれについての前記ワーク画像において各撮像位置に対応する測定箇所について測定を実行する
    ことを特徴とする画像測定装置。
  2. 前記プロセッサは、前記測定モードにおいて、前記パターンサーチに成功すると、各測定箇所を撮像するための複数の撮像位置の特定を実行する、請求項1に記載の画像測定装置。
  3. 前記プロセッサは、前記測定モードにおいて、前記パターンサーチに失敗すると、前記表示装置に、前記載置台における前記ワークの位置を調整するよう促す情報を表示する、請求項1または2に記載の画像測定装置。
  4. 前記プロセッサは、前記測定モードが開始されると、まず、前記メモリに記憶された前記基準撮像位置情報にしたがって前記駆動部により前記載置台と前記撮像部とのうちの少なくとも一方を駆動することで前記撮像部の撮像位置を前記基準画像の撮像位置に移動させる、請求項1ないし3のいずれか一項に記載の画像測定装置。
  5. 前記プロセッサは、前記測定モードにおいて、前記パターンサーチが完了すると、前記メモリに記憶された各測定箇所に関連付けられた測定箇所情報と前記パターンサーチの結果とに基づいて、各測定箇所を撮像するための複数の撮像位置を特定する、請求項1ないし3のいずれか一項に記載の画像測定装置。
  6. 前記プロセッサは、前記設定モードにおいて、前記ユーザにより指定された前記基準画像の撮像範囲の位置情報を前記メモリに記憶させ、
    前記プロセッサは、前記測定モードにおいて、前記メモリに記憶されている前記基準画像の撮像範囲の位置情報に基づき、前記撮像部により取得されたライブ画像とともに、前記ワークの載置を誘導するための誘導情報を前記表示装置に表示する、請求項1ないし5のいずれか一項に記載の画像測定装置。
  7. 前記誘導情報は、前記基準画像に含まれる前記ワークの特徴部分が収められるフレームを含み、
    前記載置台における前記ワークの位置は、前記表示装置に表示された前記フレームに前記ワークの特徴部分が収まるように前記ユーザにより調整される、請求項6に記載の画像測定装置。
  8. 前記プロセッサは、前記設定モードにおいて、前記連結画像に対して、前記基準画像を取得する領域である登録領域の指定と、前記基準画像をパターンサーチする領域であるサーチ領域の指定とを受け付け、
    前記フレームは、前記サーチ領域の外縁に一致している、請求項7に記載の画像測定装置。
  9. 前記撮像部は、前記載置台を俯瞰した俯瞰画像を生成する俯瞰カメラをさらに有し、
    前記ライブ画像は、前記俯瞰カメラにより生成された前記俯瞰画像である、請求項6ないし8のいずれか一項に記載の画像測定装置。
  10. 前記俯瞰カメラは、それぞれ撮像範囲が異なる第一カメラと第二カメラとを有し、
    前記ライブ画像および前記俯瞰画像は、前記第一カメラと前記第二カメラとの両方または一方により取得される画像である、請求項9に記載の画像測定装置。
  11. 前記誘導情報は、前記設定モードにおいて前記俯瞰カメラより生成された前記俯瞰画像を含む、請求項9または10に記載の画像測定装置。
  12. 前記表示装置は、前記設定モードにおいて前記俯瞰カメラより生成された前記俯瞰画像を半透明表示することで、当該俯瞰画像を前記ライブ画像に重畳して表示する、請求項11に記載の画像測定装置。
JP2019049700A 2019-03-18 2019-03-18 画像測定装置 Active JP7252018B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019049700A JP7252018B2 (ja) 2019-03-18 2019-03-18 画像測定装置
US16/783,186 US10846881B2 (en) 2019-03-18 2020-02-06 Image measuring apparatus
DE102020203232.7A DE102020203232A1 (de) 2019-03-18 2020-03-13 Bildmessvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019049700A JP7252018B2 (ja) 2019-03-18 2019-03-18 画像測定装置

Publications (2)

Publication Number Publication Date
JP2020153683A JP2020153683A (ja) 2020-09-24
JP7252018B2 true JP7252018B2 (ja) 2023-04-04

Family

ID=72334405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019049700A Active JP7252018B2 (ja) 2019-03-18 2019-03-18 画像測定装置

Country Status (3)

Country Link
US (1) US10846881B2 (ja)
JP (1) JP7252018B2 (ja)
DE (1) DE102020203232A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580627B2 (en) 2020-01-06 2023-02-14 Assurant, Inc. Systems and methods for automatically grading pre-owned electronic devices
US11244474B1 (en) * 2020-10-01 2022-02-08 Kla Corporation Sample positioning system and method
JP2023167380A (ja) * 2022-05-12 2023-11-24 株式会社キーエンス 画像測定装置
JP2023167388A (ja) 2022-05-12 2023-11-24 株式会社キーエンス 画像測定装置
DE102022001772A1 (de) 2022-05-19 2023-11-23 Twinner Gmbh Fahrzeugoberflächenanalysevorrichtung und Verfahren zur Fahrzeugoberflächenanalyse

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012159409A (ja) 2011-02-01 2012-08-23 Keyence Corp 寸法測定装置、寸法測定方法及び寸法測定装置用のプログラム
JP2018010021A (ja) 2017-10-24 2018-01-18 株式会社キーエンス 画像検査装置
WO2018042580A1 (ja) 2016-08-31 2018-03-08 株式会社ニコン 画像測定方法、画像測定プログラム及び画像測定装置、並びに物品の製造方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3607449B2 (ja) * 1997-03-14 2005-01-05 株式会社東芝 画像処理アライメント装置
JP5095644B2 (ja) 2009-01-23 2012-12-12 株式会社キーエンス 画像計測装置及びコンピュータプログラム
JP5597056B2 (ja) * 2010-08-02 2014-10-01 株式会社キーエンス 画像測定装置、画像測定方法及び画像測定装置用のプログラム
JP6663808B2 (ja) 2016-07-04 2020-03-13 株式会社キーエンス 画像測定装置
JP6663807B2 (ja) 2016-07-04 2020-03-13 株式会社キーエンス 画像測定装置
JP6879168B2 (ja) * 2017-11-01 2021-06-02 オムロン株式会社 3次元測定装置、3次元測定方法及びプログラム
JP6522181B2 (ja) 2018-02-09 2019-05-29 株式会社キーエンス 画像測定器
US11336831B2 (en) * 2018-07-06 2022-05-17 Canon Kabushiki Kaisha Image processing device, control method, and program storage medium
JP7152223B2 (ja) 2018-08-31 2022-10-12 株式会社キーエンス 画像測定装置
JP7154069B2 (ja) 2018-08-31 2022-10-17 株式会社キーエンス 画像検査装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012159409A (ja) 2011-02-01 2012-08-23 Keyence Corp 寸法測定装置、寸法測定方法及び寸法測定装置用のプログラム
WO2018042580A1 (ja) 2016-08-31 2018-03-08 株式会社ニコン 画像測定方法、画像測定プログラム及び画像測定装置、並びに物品の製造方法
JP2018010021A (ja) 2017-10-24 2018-01-18 株式会社キーエンス 画像検査装置

Also Published As

Publication number Publication date
DE102020203232A1 (de) 2020-09-24
US10846881B2 (en) 2020-11-24
US20200302642A1 (en) 2020-09-24
JP2020153683A (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
JP7252018B2 (ja) 画像測定装置
JP5547105B2 (ja) 寸法測定装置、寸法測定方法及び寸法測定装置用のプログラム
JP6663808B2 (ja) 画像測定装置
JP6736423B2 (ja) 三次元測定装置
JP5679560B2 (ja) 寸法測定装置、寸法測定方法及び寸法測定装置用のプログラム
JP7222764B2 (ja) 画像測定装置
JP6663807B2 (ja) 画像測定装置
JP7152223B2 (ja) 画像測定装置
US9772480B2 (en) Image measurement device
US20220316867A1 (en) Three-dimensional shape measuring apparatus
CN109525762A (zh) 大幅面图像获取方法及设备
JP6767843B2 (ja) 画像測定装置
US11423528B2 (en) Image inspection apparatus
JP6552074B2 (ja) 画像測定器
JP7240913B2 (ja) 画像測定装置
JP7161430B2 (ja) 画像測定装置
JP6797638B2 (ja) 画像測定装置
JP2009053485A (ja) オートフォーカス装置、オートフォーカス方法および計測装置
JPH11271033A (ja) 三次元形状物体撮像装置
JP2024064354A (ja) 拡大観察装置、拡大観察方法、拡大観察プログラムおよび記録媒体
JP2018072269A (ja) 画像測定装置
JP2016156745A (ja) 計測方法および計測装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230323

R150 Certificate of patent or registration of utility model

Ref document number: 7252018

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150