JP7509918B2

JP7509918B2 - 画像処理システム及び画像処理方法

Info

Publication number: JP7509918B2
Application number: JP2022568249A
Authority: JP
Inventors: 万峰傅; 勇太並木
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2020-12-10
Filing date: 2021-12-03
Publication date: 2024-07-02
Anticipated expiration: 2041-12-03
Also published as: US20230328372A1; JPWO2022124232A1; CN116472144A; DE112021005353T5; WO2022124232A1; TW202239546A

Description

本発明は、画像処理システム及び画像処理方法に関する。

産業用ロボットその他の産業機械の可動部に視覚センサを搭載し、ワークの外観検査や位置検出などを画像処理により行うように構成されたシステムが知られている（例えば、特許文献１参照）。産業ロボット等の可動部に視覚センサを搭載して、ワークの位置検出等を行うためには、産業用ロボット等に設定した基準座標系に対する視覚センサの座標系の相対位置関係を求めておくこと、すなわち、視覚センサのキャリブレーションを行うことが必要になる。視覚センサのキャリブレーションを行う技術については、当分野において各種手法が知られている（例えば、特許文献２－５）。

上述のようなロボットシステムでは、検査対象位置に対してカメラのピントが合うように調整を行う必要が生じる。このような場合、ユーザがカメラのピント調節リングを回して調整を行ったり、教示操作盤を操作してロボットを動かすことにより対象物とカメラの距離を調節したりするのが一般的である。他方、特許文献５は、「画像処理システムＳＹＳは、特定したワークＷの配置状況に応じて、設定されたワークＷの計測点Ｗｐについての法線Ｖを特定し、特定した法線Ｖと２次元カメラ３１０の光軸とが一致するように２次元カメラ３１０の位置姿勢を変化させる（Ｓ１）。画像処理システムＳＹＳは、特定した法線Ｖと２次元カメラ３１０の光軸とが一致するように、２次元カメラ３１０と計測点Ｗｐとの距離を変化させることで、２次元カメラ３１０のピントを計測点Ｗｐに合わせる。」と記載する（要約書）。

特開２０１８－９１７７４号公報特開２０１４－１２８８４５号公報特開平８－２１０８１６号公報特開２０１８－１９２５６９号公報特開２０１８－１９４５４２号公報

特許文献５は、カメラと特定のワークとの距離を調整することでピント調整を行う構成を記載するものであるが、特許文献５による構成では、ワークの形状を指定するための処理、ワークの配置状態を特定するための処理、ワークの法線を求めるための処理等、複雑な処理やその為の設定が必要になる。また、ワークには様々な形状が有り得るため、ワークの配置情報の取得、法線の取得、合焦度の計算が正しくできない場合も有り得る。

本開示の一態様は、産業機械と、視覚センサと、ワークの検出対象箇所に配置された視覚パターンであって、前記視覚センサと当該視覚パターンとの相対位置関係を特定するための視覚パターンと、前記視覚センサにより前記視覚パターンが撮影された画像から、前記視覚センサと前記視覚パターンとの相対位置関係を決定する画像処理部と、前記視覚センサの視野に前記視覚パターンが写っている状態で、決定された前記相対位置関係に基づいて前記視覚パターンを基準とする所定の方向において前記視覚センサと前記視覚パターンとの相対位置を変更させながら前記視覚センサにより前記視覚パターンを撮像させて前記視覚パターンの合焦度を求めることで、前記視覚センサを前記視覚パターンに合焦させる合焦動作制御部と、を備え、前記視覚センサは前記産業機械の所定の可動部位に搭載され、前記合焦動作制御部は、前記視覚センサの視野に前記視覚パターンが写っている状態で、前記相対位置関係に基づいて前記産業機械により前記視覚センサを前記所定の方向に移動させながら前記視覚センサにより前記視覚パターンを撮像させて前記視覚パターンの合焦度を求めることで、前記視覚センサを前記視覚パターンに合焦する合焦位置に移動させ、前記視覚センサは前記視覚パターンを用いたキャリブレーションを実施済みであり、前記合焦動作制御部は、前記視覚センサを前記視覚パターンを基準とする前記所定の方向に向けるために、前記視覚センサの前記産業機械の所定の基準位置を基準とした位置及び姿勢を表すキャリブレーションデータを用いる、画像処理システムである。

本開示の別の態様は、画像処理システムにおいて実行される画像処理方法であって、ワークの検出対象箇所に配置された視覚パターンを視覚センサで撮像した画像から当該視覚センサと当該視覚パターンとの相対位置関係を決定する手順と、視覚センサの視野に前記視覚パターンが写っている状態で、決定された前記相対位置関係に基づいて前記視覚パターンを基準とする所定の方向において前記視覚センサと前記視覚パターンとの相対位置を変更させながら前記視覚センサにより前記視覚パターンを撮像させて前記視覚パターンの合焦度を求めることで、前記視覚センサを前記視覚パターンに合焦させる手順と、を含み、前記視覚センサは産業機械の所定の可動部位に搭載され、前記視覚センサを前記視覚パターンに合焦させる手順において、前記視覚センサの視野に前記視覚パターンが写っている状態で、前記相対位置関係に基づいて前記産業機械により前記視覚センサを前記所定の方向に移動させながら前記視覚センサにより前記視覚パターンを撮像させて前記視覚パターンの合焦度を求めることで、前記視覚センサを前記視覚パターンに合焦する合焦位置に移動させ、前記視覚センサは前記視覚パターンを用いたキャリブレーションを実施済みであり、前記視覚センサを前記視覚パターンを基準とする前記所定の方向に向けるために、前記視覚センサの前記産業機械の所定の基準位置を基準とした位置及び姿勢を表すキャリブレーションデータを用いる、画像処理方法である。

視覚パターンを検出対象箇所に配置することで、視覚センサを、視覚パターンを配置した箇所に自動的に合焦させることができる。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。

一実施形態に係るロボットシステム（画像処理システム）の機器構成を表す図である。視覚センサ制御装置及びロボット制御装置のハードウェアの概略構成を表す図である。視覚センサ制御装置及びロボット制御装置の機能構成を表す機能ブロック図である。キャリブレーション治具の平面図である。合焦動作を表すフローチャートである。カメラが指標を撮影した画像データの一例を表す図である。

次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。

図１は、一実施形態に係るロボットシステム１００の機器構成を表す図である。図１に示されるように、ロボットシステム１００は、産業機械としての産業用ロボット（以下、ロボットと記す）１０と、ロボット１０を制御するロボット制御装置５０と、視覚センサ７０と、視覚センサ７０を制御する視覚センサ制御装置２０とを備える。ロボットシステム１００は、視覚センサ７０で撮像されたワークの撮影画像に基づいてワークの位置を認識し、ワークの検査、ハンドリング、加工等の所定の作業を実行するためのシステムである。ロボット１０は、図１の例では垂直多関節ロボットであるが、他のタイプのロボットが用いられても良い。

視覚センサ制御装置２０とロボット制御装置５０とは通信インタフェースを介して接続され、各種情報をやり取りすることができる。

ロボット１０のアーム先端部のフランジ１１の先端面には、エンドエフェクタとしてのツール３１が取り付けられている。ツール３１は、例えば、ワークを把持するハンドである。ロボット１０は、ロボット制御装置５０の制御により、ワークのハンドリング等を所定の作業を実行する。視覚センサ７０は、ツール３１の支持部（すなわち、ロボット１０の所定の可動部位）に取り付けられている。

視覚センサ７０は、視覚センサ制御装置２０により制御され、ワーク等の撮像対象物を撮像する。視覚センサ７０としては、一般的な二次元カメラを用いても良く、ステレオカメラ等の三次元センサを用いても良い。視覚センサ７０は、被写体像を受光して光電変換する撮像センサ（ＣＣＤ、ＣＭＯＳ等）、及び、被写体像を撮像センサに集光させる光学レンズ等を有する。視覚センサ７０は、撮像した画像データを視覚センサ制御装置２０に送信する。なお、図１には、図１の状態にある視覚センサ７０がキャリブレーション治具Ｊを撮像した画像Ｍ１を示した。

図２は、視覚センサ制御装置２０及びロボット制御装置５０のハードウェアの概略構成を表す図である。図２に示されるように、視覚センサ制御装置２０は、プロセッサ２１に対して、メモリ（ＲＯＭ、ＲＡＭ、不揮発性メモリ等を含む）２２、外部機器との通信を行うための入出力インタフェース２３等がバスを介して接続される一般的なコンピュータとしての構成を有していても良い。また、ロボット制御装置５０は、プロセッサ５１に対して、メモリ（ＲＯＭ、ＲＡＭ、不揮発性メモリ等を含む）５２、外部機器との通信を行うための入出力インタフェース５３、各種操作スイッチ類を含む操作部５４等がバスを介して接続される一般的なコンピュータとしての構成を有していても良い。なお、ロボット制御装置５０には、ロボット１０の教示を行うための教示装置（教示操作盤等）が更に接続されていても良い。なお、本実施形態では視覚センサ制御装置２０とロボット制御装置５０とを別々の装置とする場合の機器構成としているが、視覚センサ制御装置２０とロボット制御装置５０とは同一の装置として構成することもできる。例えば、ロボット制御装置５０内に視覚センサ制御装置２０の機能を取り込んでも良い。

ロボット１０には、ロボット座標系Ｃ１が設定されている。ロボット座標系Ｃ１は、ロボット１０の各可動要素の動作を制御するための制御座標系であって３次元空間に固定されている。本実施形態では、一例として、ロボット座標系Ｃ１は、その原点がロボット１０のベース部の中心に設定されているものとするが、ロボット座標系Ｃ１はこれとは異なる位置や姿勢となるように設定されても良い。

フランジ１１の先端面には、フランジ座標系Ｃ２が設定されている。フランジ座標系Ｃ２は、ロボット座標系Ｃ１におけるフランジ１１の位置及び姿勢を制御するための制御座標系である。本実施形態では、一例として、フランジ座標系Ｃ２は、その原点がフランジ１１の先端面の中心に配置され、そのｚ軸がフランジ１１の中心軸線に一致するように設定されているものとするが、フランジ座標系Ｃ２はこれとは異なる位置や姿勢となるように設定されても良い。ロボット１０の手首部（ツール３１）を移動させるとき、ロボット制御装置５０（プロセッサ５１）は、ロボット座標系Ｃ１にフランジ座標系Ｃ２を設定し、設定したフランジ座標系Ｃ２によって表される位置及び姿勢にフランジ１１を配置させるように、ロボット１０の各関節部のサーボモータを制御する。このようにして、ロボット制御装置５０は、ロボット座標系Ｃ１における任意の位置及び姿勢にフランジ１１（ツール３１）を位置決めすることができる。

視覚センサ７０には、センサ座標系Ｃ３が設定される。センサ座標系Ｃ３は、視覚センサ７０が撮像した画像データの各画素の座標を規定する座標系であって、その原点が、視覚センサ７０の撮像センサの受光面（又は光学レンズ）の中心に配置され、そのｘ軸及びｙ軸が、撮像センサの横方向及び縦方向と平行に配置され、且つ、そのｚ軸が視覚センサ７０の視線（光軸）と一致するように、視覚センサ７０に対して設定されている。

後に詳細に説明するように、ロボットシステム１００は、視覚センサ７０による検出対象箇所に配置された視覚パターンであって、視覚センサ７０と当該視覚パターンの相対位置関係を特定するための視覚パターンを撮像することで、視覚パターンに対して所定の方向に視覚センサ７０を移動させて合焦動作を行う画像処理システムとして構成されている。本実施形態において、視覚センサ７０による検出対象箇所は、ワークを搭載する台６０の上面であり、視覚パターンはキャリブレーション治具Ｊに形成されている。視覚パターンは、塗料を用いた模様、又は、刻印（凹凸）等、視覚的に認識可能な形態であれば良い。なお、視覚パターンは、検出対象位置（台６０の上面）に直接形成されていても良い。本明細書において、視覚パターンというときには、模様、マーク、指標、識別標識、記号その他の各種の視覚的な表示物を含む。視覚センサ７０との相対位置関係の取得に視覚パターンを用いることで高い精度で相対位置関係を取得することができる。特に上述の特許文献５に記載されているようなカメラと特定のワークとの間の相対位置関係を求めるような構成と比較して精度を高めることができる。

以下では、ロボットシステム１００におけるこのような画像処理システムとしての機能に着目して説明を行う。

図３は、ロボットシステム１００の画像処理システムとしての機能に着目した場合の視覚センサ制御装置２０及びロボット制御装置５０の機能構成を表す機能ブロック図である。図３に示すように、視覚センサ制御装置２０は、視覚センサ７０で撮像された入力画像２０１に対する画像処理を実行する画像処理部２０２と、ロボット１０に設定された基準座標系（ロボット座標系Ｃ１、或いは、フランジ座標系Ｃ２）に対する視覚センサ７０（センサ座標系Ｃ３）の相対的位置を定めるキャリブレーションデータを記憶するキャリブレーションデータ記憶部２０４とを備える。

画像処理部２０２は、ワークのハンドリング等を実現するための機能として、例えばモデルパターンを用いて入力画像からワークを検出し、ワークの位置及び姿勢を検出する機能を有する。更に、本実施形態に係る画像処理部２０２は、撮影画像中に写った対象物の合焦度を算出する合焦度算出部２０３を備える。

キャリブレーションデータ記憶部２０４は、視覚センサ７０のキャリブレーションデータを記憶する。キャリブレーションデータ記憶部２０４は、例えば不揮発性メモリ（ＥＥＰＲＯＭ等）である。視覚センサ７０のキャリブレーションデータは、視覚センサ７０（カメラ）の内部パラメータ及び外部パラメータを含む。内部パラメータは、レンズひずみや焦点距離等の光学的データを含む。外部パラメータは、所定の基準位置（例えばフランジ１１の位置）を基準とした視覚センサ７０の位置である。

キャリブレーションデータを利用することにより、カメラ内部の幾何学的変換特性及び物体が存在する三次元空間と二次元画像平面との幾何学的関係が求まり、さらに、キャリブレーション治具Ｊの特性から視覚センサ７０で撮像したキャリブレーション治具Ｊの画像から、視覚センサ７０とキャリブレーション治具Ｊの三次元空間位置を一意に決定することができる。すなわち、キャリブレーション済みの視覚センサ７０を用いて撮像した撮像画像内のキャリブレーション治具Ｊの情報から、視覚センサ７０の位置を基準としたキャリブレーション治具の位置・姿勢を求めることができる。

図４は、キャリブレーション治具Ｊの平面図である。キャリブレーション治具Ｊとしては、視覚センサ７０で撮影した画像から視覚センサ７０の位置を基準としてキャリブレーション治具の位置及び姿勢を求めることが可能な当分野で知られた各種のキャリブレーション治具を用いることができる。図４のキャリブレーション治具Ｊは、平面上に配置されたドットパターンを視覚センサ７０で撮像することで視覚センサ７０のキャリブレーションに必要な情報を取得することができる治具であり、（１）ドットパターンの格子点間隔が既知であること、（２）一定数以上の格子点が存在すること、（３）各格子点がどの格子点にあたるか一意に特定可能である、の３つの要件を満たしている。キャリブレーション治具Ｊは、図４に示されるような二次元の平面に所定のドットパターン等の特徴が配置されたものに限られず、三次元の立体に特徴が配置されたものでもよく、二次元位置情報（Ｘ方向、Ｙ方向）に加えて高さ方向（図１の矢印９１方向）の位置情報を含めた三次元位置情報が得られるものであればよい。また、このキャリブレーション治具Ｊは、視覚センサ７０のキャリブレーションデータを取得する際に用いたものと同じものでもよく、異なるものであってもよい。なお、視覚センサ７０により撮像したドットパターンから、視覚センサ７０の位置を基準としたドットパターンの位置姿勢を計算するためには、上述のキャリブレーションデータの内部パラメータが使用される。なお、本実施形態では撮像装置からみた対象物の位置姿勢を求めるための対象物として図４のようなドットパターンを有するキャリブレーション治具Ｊを用いているが、これに代えて、撮影装置（視覚センサ７０）からみた対象物の位置姿勢を求め得るあらゆるタイプの対象物を用いることができる。

本実施形態では、キャリブレーション治具Ｊは視覚センサ７０を合焦させる対象の場所（すなわち、台６０の上面）に設置される。

図３に示されるように、ロボット制御装置５０は、動作プログラムにしたがってロボット１０の動作を制御する動作制御部５０１を備える。更に、本実施形態に係るロボット制御装置５０は、合焦度算出部２０３により算出された合焦度に基づいてロボット１０を移動させて視覚センサ７０を合焦位置に移動させる制御を行う合焦動作制御部５０２を備える。

なお、図３に示した視覚センサ制御装置２０或いはロボット制御装置５０の機能ブロックは、視覚センサ制御装置２０或いはロボット制御装置５０のプロセッサ（ＣＰＵ）が、メモリに格納された各種ソフトウェアを実行することで実現されても良く、或いは、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを主体とした構成により実現されても良い。

図５は、合焦動作制御部による合焦動作（画像処理方法）の流れを表すフローチャートである。なお、ここでは、視覚センサ７０のキャリブレーションデータは、予めキャリブレーションデータ記憶部２０４に格納されている場合を想定する。図５の合焦動作は、ロボット制御装置５０のプロセッサ５１による制御の下で実行される。

はじめに、合焦動作制御部５０２は、視覚センサ７０によりキャリブレーション治具Ｊが撮像された画像に基づいて、キャリブレーション治具Ｊと視覚センサ７０の位置関係を計算し取得する。この場合、合焦動作制御部５０２は、キャリブレーションデータ記憶部Ｊに記憶されたキャリブレーションデータを用いる。

ステップＳ１により得らえた視覚センサ７０とキャリブレーション治具Ｊの相対位置関係を用いて、合焦動作制御部５０２は、視覚センサ７０の光軸とキャリブレーション治具Ｊの上面の法線方向（図１において矢印９１方向）とが平行になるように視覚センサ７０を移動させながらキャリブレーション治具Ｊの撮影を行う（ステップＳ２）。このとき、合焦動作制御部５０２は、合焦度算出部２０３に画像に映った対象物（すなわち、キャリブレーション治具Ｊのドット点）の像の合焦度を算出させる（ステップＳ３）。

そして、合焦動作制御部５０２は、合焦度算出部２０３により算出される合焦度を、キャリブレーション治具Ｊのドット点の合焦度が最も高い時の値としての基準値（合焦度基準値）と比較することで、ステップＳ３で取得された合焦度が最も高い合焦度となっているか否かを判定する（ステップＳ４）。ここで用いる基準値（合焦度基準値）は、ロボット制御装置５０（合焦動作制御部５０２）が予め記憶しておいても良く、或いは、合焦動作制御部５０２が例えば所定の移動範囲で視覚センサ７０を移動させて最も高かった合焦度を合焦度基準値として設定する動作を行うようにしても良い。合焦度が最も高いと判定されない場合（Ｓ４：ＮＯ）、合焦動作制御部５０２は、視覚センサ７０を移動させながら合焦度を確認する処理（ステップＳ２－Ｓ４）を継続する。合焦度が最も高くなっていると判定された場合（Ｓ４：ＹＥＳ）、合焦動作制御部５０２は、合焦度が最も高くなっているときの視覚センサ７０の位置（合焦位置）を撮像位置として記録する（ステップＳ５）。

合焦度算出部２０３は、合焦度の算出手法として、位相差検出法やコントラスト検出法など、当分野で知られた各種の算出手法を採用することができる。一例として、合焦度算出部２０３は、特開２０１３－２９８０３号公報に記載されているような、位相差検出法により検出された合焦度の信頼度が低いと判定された場合にコントラスト検出法による検出結果に基づいて位相差検出法を用いる画素範囲を選択し、当該選択された画素範囲の信号を用いて位相差検出法による合焦度の算出を行うような手法を用いても良い。合焦度算出部２０３は、合焦度の算出に用いるデータを視覚センサ７０内の合焦計算のための機能要素から取得することができる。

ステップＳ２からＳ４の処理で視覚センサ７０を移動させる所定の動作範囲は、カメラの焦点距離の調節範囲に基づいて決定しても良い。例えば、視覚センサ７０の焦点調節リングでの焦点調節範囲に基づき決定される撮影距離の範囲内で視覚センサ７０を移動させるようにロボット１０を制御しても良い。ステップＳ１により視覚センサ７０とキャリブレーション治具Ｊとの位置関係が既知となっているので、このような視覚センサ７０の移動制御が可能となっている。

ステップＳ５で記録した撮像位置は、台６０の上面に置かれたワークの外見検査等の所定の作業を実行する場合に視覚センサ７０を位置付けるための撮影位置として用いられる。このように、図５の合焦動作によれば、キャリブレーション治具Ｊを設置した位置に対して焦点が合う位置に自動的に視覚センサ７０を位置付けることができる。すなわち、視覚センサ７０の焦点調節を自動で効率的に実施することができる。

以上では、視覚センサ７０のキャリブレーションが予め実施済みの場合（すなわち、視覚センサ制御装置２０がキャリブレーションデータを予め保有している場合）の例について説明したが、視覚センサ７０のキャリブレーションが未実施の場合（すなわち、視覚センサ制御装置２０がキャリブレーションデータを保有していない場合）には、ロボット制御装置５０及び視覚センサ制御装置２０は、当分野で知られた各種のキャリブレーション手法（例えば、前述の特許文献２－５）を用いてキャリブレーションデータを取得しても良い。

以上のように本実施形態においては図５の合焦制御動作においてキャリブレーション治具Ｊを用いる構成としているため、図５の合焦制御動作を行う際にキャリブレーション治具Ｊを用いてその場でキャリブレーションを行うことも容易である。カメラを校正（キャリブレーション）する方法自体は周知技術であるので説明は省略するが、例えばRoger Y. Tsaiによる「An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision」（CVPR, pp.364-374, 1986 IEEE）に詳述されている。具体的手段としては、図４に示したキャリブレーション治具Ｊのような治具（既知の幾何学的配置でドットが形成されたドットパターンプレート）をカメラの光軸に直交させ、既知の２箇所の位置で計測を行うことによりカメラを校正することができる。

ここでは、ロボット１０に設定した基準座標系（ロボット座標系Ｃ１或いはフランジ座標系Ｃ２）を基準としたセンサ座標系Ｃ３の姿勢を決定するための画像処理手法の例を説明する。合焦動作制御部５０２は、更に、このような機能を司るように構成されていても良い。ここで説明する手法によりロボット１０に設定した基準座標系に対するセンサ座標系Ｃ３の姿勢を既知にすることで、上述の合焦動作において視覚センサ７０の光軸をキャリブレーション治具Ｊに対して所定の方向（例えば、法線方向）に向けることが可能となる。

本例では、視覚センサ７０が撮像した指標ＩＤの画像データに基づいて、基準座標系における視覚センサ７０の姿勢のデータを取得する。図６に、指標ＩＤの一例を示す。指標ＩＤは、検出対象位置（台６０の上面）に設けられており、円線Ｃと、互いに直交する２つの直線Ｄ及びＥから構成されている。指標ＩＤは、例えば、塗料を用いた模様、又は、台６０の上面に形成された刻印（凹凸）等、視覚的に認識可能な形態であれば良い。

ロボット制御装置５０（合焦動作制御部５０２）は、ロボット１０に設定した基準座標系を基準としたセンサ座標系Ｃ３の姿勢を以下のような手順で求める。
（Ａ１）ロボット制御装置５０によって指標ＩＤが視覚センサ７０の視野に入るように視覚センサ７０が初期位置ＰＳ₀及び初期姿勢ＯＲ₀に配置された状態で、指標ＩＤが撮像され、指標ＩＤの画像データＪＤ₀が取得される。図６に示すような画像（ＪＤ_n）が取得されたとする。
（Ａ２）画像処理部２０２は、画像ＪＤ_nに写る指標ＩＤの画像から、交点Ｆの座標（ｘ_n，ｙ_n）を指標ＩＤの位置として取得し、円Ｃの面積を指標ＩＤのサイズＩＳ_n（単位：ｐｉｘｅｌ）として取得する。画像処理部２０２は、予め保存されたデータとして、実空間にける指標ＩＤのサイズＲＳ（単位：ｍｍ）、視覚センサ７０の光学レンズの焦点距離ＦＤ、撮像センサのサイズＳＳ（単位：ｍｍ／ｐｉｘｅｌ）を取得する。

（Ａ３）画像処理部２０２は、取得した座標（ｘｎ，ｙｎ）、サイズＩＳｎ、サイズＲＳ、焦点距離ＦＤ、及びサイズＳＳを用いて、ベクトル（Ｘｎ，Ｙｎ，Ｚｎ）を取得する。ここで、Ｘｎは、Ｘｎ＝ｘｎ×ＩＳｎ×ＳＳ／ＲＳなる式から求めることができる。また、Ｙｎは、Ｙｎ＝ｙｎ×ＩＳｎ×ＳＳ／ＲＳなる式から求めることができる。また、Ｚｎは、Ｚｎ＝ＩＳｎ×ＳＳ×ＦＤ／ＲＳなる式から求めることができる。このベクトル（Ｘｎ，Ｙｎ，Ｚｎ）は、画像データＪＤｎを撮像したときの視覚センサ７０（つまり、センサ座標系Ｃ３の原点）から指標ＩＤ（具体的には、交点Ｆ）までのベクトルであって、視覚センサ７０に対する指標ＩＤの相対位置（又は、センサ座標系Ｃ３の座標）を示すデータである。

（Ａ４）同様に、画像処理部２０２は、視覚センサ７０を初期位置からフランジ座標系のｘ軸方向に所定の距離δｘだけ並進移動させた位置ＰＳ₁及び姿勢ＯＲ₀で指標ＩＤを撮像した画像ＪＤ₁から、画像データＪＤ１を撮像したときの視覚センサ７０から指標ＩＤまでのベクトルを取得する。
（Ａ５）同様に、画像処理部２０２は、視覚センサ７０を初期位置からフランジ座標系のｙ軸方向に所定の距離δｙだけ並進移動させた位置ＰＳ₂及び姿勢ＯＲ₀で指標ＩＤを撮像した画像ＪＤ₂から、画像データＪＤ２を撮像したときの視覚センサ７０から指標ＩＤまでのベクトルを取得する。
（Ａ６）同様に、画像処理部２０２は、視覚センサ７０を初期位置からフランジ座標系のｚ軸方向に所定の距離δｚだけ並進移動させた位置ＰＳ₃及び姿勢ＯＲ₀で指標ＩＤを撮像した画像ＪＤ₃から、画像データＪＤ３を撮像したときの視覚センサ７０から指標ＩＤまでのベクトルを取得する。
（Ａ７）以上のデータから、画像処理部２０２は、フランジ座標系Ｃ２における視覚センサ７０（センサ座標系Ｃ３）の姿勢（Ｗ，Ｐ，Ｒ）を表す回転行列を以下の数式（１）により取得する。

ロボット制御装置５０（合焦動作制御部５０２）は、更に、ロボット１０に設定した基準座標系を基準としたセンサ座標系Ｃ３の位置を求めるように構成されていても良い。この場合の動作手順を以下に示す。
（Ｂ１）ロボット制御装置５０は、まず、初期位置ＰＳ０及び初期姿勢ＯＲ０でのフランジ座標系Ｃ２において、参照座標系Ｃ４を設定する。本実施形態においては、ロボット制御装置５０は、参照座標系Ｃ４を、その原点が、フランジ座標系Ｃ２の原点に配置され、その姿勢（各軸の方向）が、上述の手順で取得した姿勢（Ｗ，Ｐ，Ｒ）に一致するように、フランジ座標系Ｃ２において設定する。したがって、参照座標系Ｃ４のｘ軸、ｙ軸、及びｚ軸の方向は、それぞれ、センサ座標系Ｃ３のｘ軸、ｙ軸、及びｚ軸と平行となる。

（Ｂ２）次いで、ロボット制御装置５０は、ロボット１０を動作させて、視覚センサ７０（つまり、フランジ１１）を、初期位置ＰＳ０及び初期姿勢ＯＲ０から、参照座標系Ｃ４のｚ軸の周りに、姿勢変化量θ１（第１の姿勢変化量）だけ回転させることによって、位置ＰＳ４及び姿勢ＯＲ１に配置させる。
（Ｂ３）画像処理部２０２は、上述の姿勢を求める場合と同様の手法により、視覚センサ７０を動作させて指標ＩＤを撮像し、このときの視覚センサ７０に対する指標ＩＤの相対位置データ（Ｘ４，Ｙ４，Ｚ４）を取得する。

（Ｂ４）次に、ロボット制御装置５０は、ロボット１０を動作させて、視覚センサ７０を、初期位置ＰＳ０及び初期姿勢ＯＲ０から、参照座標系Ｃ４のｘ軸又はｙ軸（すなわち、視線の方向と直交する軸）の周りに、姿勢変化量θ２（第１の姿勢変化量）だけ回転させることによって、位置ＰＳ５及び姿勢ＯＲ２に配置させる。
（Ｂ５）画像処理部２０２は、上述の姿勢を求める場合と同様の手法により、視覚センサ７０を動作させて指標ＩＤを撮像し、このときの視覚センサ７０に対する指標ＩＤの相対位置データ（Ｘ５，Ｙ５，Ｚ５）を取得する。

フランジ座標系Ｃ２における、参照座標系Ｃ４の原点（本実施形態においては、ＭＩＦ座標系Ｃ２の原点）から、位置が未知であるセンサ座標系Ｃ３の原点までのベクトルを(ΔＸ１，ΔＹ１，ΔＺ１)とすると、以下の式（２）、（３）が成立する。

ロボット制御装置５０は、上述の式（２）及び（３）を解くことによって、フランジ座標系Ｃ２における参照座標系Ｃ４の原点から、未知であるセンサ座標系Ｃ３の原点までのベクトル(ΔＸ１，ΔＹ１，ΔＺ１)を推定できる。

以上説明したように、指標ＩＤは、視覚センサ７０と指標ＩＤとの相対位置関係を特定可能な視覚パターンであるため、上述の合焦動作で用いたキャリブレーション治具Ｊに代えて指標ＩＤを用いることも可能である。

以上説明したように本実施形態によれば、視覚パターンを検出対象箇所に配置することで、視覚センサを、視覚パターンを配置した箇所に自動的に合焦させることができる。すなわち、視覚センサの焦点調節を自動で効率的に実施することができる。

以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

上述の実施形態で説明した構成は、可動部位に視覚センサを搭載した各種の産業機械における焦点調節動作に適用することができる。

図１に示した機器構成例では視覚センサをロボットに搭載し、キャリブレーション治具を固定位置に配置した構成例であったが、視覚センサを作業空間に固定した固定カメラとし、キャリブレーション治具（視覚パターン）をロボットのツールに搭載するような構成も有り得る。この場合も、図３で示した機能ブロック構成と同様の機能ブロック構成が適用され得る。この場合、合焦動作制御部５０２は、視覚センサの視野にキャリブレーション治具（視覚パターン）が写っている状態で、決定された相対位置関係に基づいて視覚パターンを視覚センサに対して移動させながら（視覚パターンを基準とする所定の方向において視覚センサと視覚パターンとの相対位置を変更させながら）視覚センサにより視覚パターンを撮像させて視覚パターンの合焦度を求めることで、視覚センサを視覚パターンに合焦させる。

図２に示した機能ブロック図における視覚センサ制御装置２０及びロボット制御装置５０の機能ブロックの配置は例示であり、機能ブロックの配置については様々な変形例が有り得る。例えば、画像処理部２０２としての機能の少なくとも一部をロボット制御装置５０側に配置しても良い。

図５で示した合焦動作においては、合焦度が合焦度基準値と一致するか否かを比較することによって（ステップＳ４）、合焦位置を特定する構成となっているが、このような構成に替えて、所定の動作範囲でカメラを移動させて合焦度のピークが得られる位置を探索することによって合焦位置を得るようにしても良い。

上述した実施形態における合焦動作その他の各種処理を実行するためのプログラムは、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスク）に記録することができる。

１０ロボット
１１フランジ
２０視覚センサ制御装置
２１プロセッサ
２２メモリ
２３入出力インタフェース
３１ツール
５０ロボット制御装置
５１プロセッサ
５２メモリ
５３入出力インタフェース
５４操作部
６０台
７０視覚センサ
１００ロボットシステム
２０１入力画像
２０２画像処理部
２０３合焦度算出部
２０４キャリブレーションデータ記憶部

Claims

産業機械と、
視覚センサと、
ワークの検出対象箇所に配置された視覚パターンであって、前記視覚センサと当該視覚パターンとの相対位置関係を特定するための視覚パターンと、
前記視覚センサにより前記視覚パターンが撮影された画像から、前記視覚センサと前記視覚パターンとの相対位置関係を決定する画像処理部と、
前記視覚センサの視野に前記視覚パターンが写っている状態で、決定された前記相対位置関係に基づいて前記視覚パターンを基準とする所定の方向において前記視覚センサと前記視覚パターンとの相対位置を変更させながら前記視覚センサにより前記視覚パターンを撮像させて前記視覚パターンの合焦度を求めることで、前記視覚センサを前記視覚パターンに合焦させる合焦動作制御部と、を備え、
前記視覚センサは前記産業機械の所定の可動部位に搭載され、
前記合焦動作制御部は、前記視覚センサの視野に前記視覚パターンが写っている状態で、前記相対位置関係に基づいて前記産業機械により前記視覚センサを前記所定の方向に移動させながら前記視覚センサにより前記視覚パターンを撮像させて前記視覚パターンの合焦度を求めることで、前記視覚センサを前記視覚パターンに合焦する合焦位置に移動させ、
前記視覚センサは前記視覚パターンを用いたキャリブレーションを実施済みであり、前記合焦動作制御部は、前記視覚センサを前記視覚パターンを基準とする前記所定の方向に向けるために、前記視覚センサの前記産業機械の所定の基準位置を基準とした位置及び姿勢を表すキャリブレーションデータを用いる、画像処理システム。
前記合焦動作制御部は、前記視覚パターンが形成された面に対して予め定められた方向おいて前記視覚センサと前記視覚パターンとの相対位置を変更する、請求項１に記載の画像処理システム。
前記合焦動作制御部は、前記視覚センサを前記視覚パターンに対して所定の動作範囲内で移動させ、前記視覚パターンの合焦度が最も高いときの合焦度基準値と、前記視覚センサを移動させながら得られる前記合焦度とを比較することで前記視覚センサを前記合焦位置に移動させる、請求項１または２に記載の画像処理システム。
前記産業機械は産業用ロボットである、請求項１から３のいずれか一項に記載の画像処理システム。
画像処理システムにおいて実行される画像処理方法であって、
ワークの検出対象箇所に配置された視覚パターンを視覚センサで撮像した画像から当該視覚センサと当該視覚パターンとの相対位置関係を決定する手順と、
視覚センサの視野に前記視覚パターンが写っている状態で、決定された前記相対位置関係に基づいて前記視覚パターンを基準とする所定の方向において前記視覚センサと前記視覚パターンとの相対位置を変更させながら前記視覚センサにより前記視覚パターンを撮像させて前記視覚パターンの合焦度を求めることで、前記視覚センサを前記視覚パターンに合焦させる手順と、を含み、
前記視覚センサは産業機械の所定の可動部位に搭載され、
前記視覚センサを前記視覚パターンに合焦させる手順において、前記視覚センサの視野に前記視覚パターンが写っている状態で、前記相対位置関係に基づいて前記産業機械により前記視覚センサを前記所定の方向に移動させながら前記視覚センサにより前記視覚パターンを撮像させて前記視覚パターンの合焦度を求めることで、前記視覚センサを前記視覚パターンに合焦する合焦位置に移動させ、
前記視覚センサは前記視覚パターンを用いたキャリブレーションを実施済みであり、
前記視覚センサを前記視覚パターンを基準とする前記所定の方向に向けるために、前記視覚センサの前記産業機械の所定の基準位置を基準とした位置及び姿勢を表すキャリブレーションデータを用いる、画像処理方法。