JP7502343B2 - 画像処理システム - Google Patents

Description

本発明は、画像処理システムに関する。

従来、撮像装置によって取得した二次元の入力画像と、予め設定される基準情報としてのモデルパターンと、の間で特徴量のマッチングを行って合致度が所定のレベルを越えたときに対象物を検出できたと判断する技術が知られている。この種の手法として例えば、一般化ハフ変換等が知られている。入力画像から対象物を検出する画像処理の技術を開示するものとして特許文献１～３がある。

特許文献１は、エピポーラ線に対して交差角度が平行に近いエッジを三次元復元する技術に関するものである。例えば、特許文献１の落００１４には、「上記第１エッジｅ２，ｅ４は、同一平面上に位置するエッジの内、エピポーラ線ＥＰと交差する交差角度が９０°を基準として所定の角度範囲内にあるエッジであり、ステレオ法によって精度良く三次元復元可能なエッジのことである」という記載がある。

特許文献２は、撮像レンズを介して被測定物を撮像する少なくとも３つの撮像手段により、被測定物の所定領域までの距離を測定する技術に関するものである。

特許文献３は、影が落ちる領域に相当する画像領域から抽出される擬似的な画像特徴の影響を軽減し、フィッティング／マッチングの安定性・精度を向上する技術に関するものである。

特開２０１３－１３０５０８号公報 特開２００９－００２７６１号公報 特開２０１２－０４２３９６号公報

ところで、撮像装置として二次元カメラが用いられている場合、検出結果は画像座標系で表現されるので、ロボットが検出した対象物対して作業を行うためには、画像座標系で表現される二次元の検出結果をロボット座標系で表現される三次元の情報に変換する必要がある。三次元の情報に変換する方法としては、検出結果が特定の平面上に存在するという前提のもとで、画像上で見つかった検出結果を、その仮想平面に投影する方法が考えられる。

しかしながら、モデルパターンを教示したときの撮像装置と対象物の位置関係と、検出時の撮像装置と対象物の位置関係が異なると、画像上での対象物のサイズや形状が教示したモデルパターンと異なってしまう。この状態で対象物を検出しても、対象物が検出できなかったり、対象物の検出に時間がかかったりすることになる。これは、ロボットによって撮像装置が移動する場合やロボットによって対象物が移動する場合等に、位置関係が変わるため発生し易くなる。仮に撮像装置が固定されていたとしても、当該撮像装置の移設等で対象物と撮像装置の相対的な位置関係が変われば同様の問題が発生する。従来技術にも、同様の課題があった。

本開示に係る画像処理システムは、ロボットによって対象物との位置関係が変わる撮像装置により撮像された画像から対象物の像を検出する画像処理システムであって、ロボット座標系における前記撮像装置の位置を特定するための前記ロボットの位置情報と、画像座標系における前記対象物の位置を示す位置情報と、に基づいて前記撮像装置と前記対象物の位置関係を取得する制御部と、教示用画像から抽出された特徴点からなるモデルパターンと、前記教示用画像の撮像時の前記撮像装置と前記対象物の位置関係と、に基づいて前記モデルパターンを三次元位置情報の形式で記憶する記憶部と、を備え、前記制御部は、前記対象物を含む検出画像から抽出される特徴点と前記モデルパターンをマッチングした結果に基づいて前記検出画像から前記対象物を検出する検出処理を実行する。

本開示によれば、撮像装置と対象物の位置関係が教示時と検出時で異なっても、正確かつ効率的に対象物を検出できる画像処理システムを提供できる。

画像処理システムの構成を示す図である。 視覚センサ制御装置及びロボット制御装置の構成を示す図である。 制御部によって実行される画像処理に関する機能を模式的に示す機能ブロック図である。 複数の特徴点から構成されるモデルパターンを示す図である。 モデルパターンを作成する手順を示すフローチャートである。 画像にモデルパターン指定領域を指定した様子を示す図である。 モデルパターンの三次元点への変換処理を示すフローチャートである。 撮像装置としての視覚センサの視線と補正平面の関係を示す模式図である。 第１の例のマッチング処理の流れを示すフローチャートである。 第２の例のマッチング処理の流れを示すフローチャートである。

以下、本発明の実施形態の一例について説明する。図１は、本発明の一実施形態に係る画像処理システム１の構成を示す図である。図１に示す画像処理システム１は、ロボット２によって対象物Ｗとの位置関係が変わる撮像装置としての視覚センサ４により撮像された画像から対象物Ｗの像を検出する。なお、以下の説明において、画像座標系とは画像上で定義された座標系（２次元）であり、センサ座標系とは視覚センサ４からみた座標系（３次元）である。ロボット座標系（機械座標系）とはロボット２からみた座標系（３次元）である。

本実施形態の画像処理システム１は、ロボット２と、アーム３と、視覚センサ４と、視覚センサ制御装置５と、ロボット制御装置６と、操作盤７と、を備える。画像処理システム１は、例えば、視覚センサ４で撮像された対象物Ｗの画像に基づいて、対象物Ｗの位置を認識し、対象物Ｗのハンドリング又は加工等の作業を行う。

ロボット２のアーム３の先端部には、ハンド又はツールが取り付けられている。ロボット２は、ロボット制御装置６の制御により、対象物Ｗのハンドリング又は加工等の作業を行う。また、ロボット２のアーム３の先端部には、視覚センサ４が取り付けられている。

視覚センサ４は、視覚センサ制御装置５の制御により、対象物Ｗを撮像する撮像装置である。視覚センサ４は、ＣＣＤ(Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ)イメージセンサで構成される撮像素子と、レンズを含む光学系とを有する二次元カメラが用いられてもよく、三次元計測ができるステレオカメラ等が用いられてもよい。本実施形態では、作業台８に固定された対象物Ｗが視覚センサ４によって撮像される。

ロボット制御装置６は、ロボット２の動作プログラムを実行し、ロボット２の動作を制御する。ロボット制御装置６によってロボット２が動作し、視覚センサ４の対象物Ｗに対する位置関係が変化する。

操作盤７は、ユーザが画像処理システム１の各種の操作を行う受付部である。ユーザは、操作盤７を通じて視覚センサ制御装置５に対し各種指令を入力する。

図２は、視覚センサ制御装置５及びロボット制御装置６の構成を示す図である。図３は、制御部によって実行される画像処理に関する機能を模式的に示す機能ブロック図である。本実施形態の視覚センサ制御装置５は、記憶部５１と、制御部５２と、を備える。

記憶部５１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーションプログラム等を格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、その他の各種情報を格納するハードディスクドライブやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置である。

記憶部５１は、モデルパターン記憶部５１１と、キャリブレーションデータ記憶部５１２と、を備える。

モデルパターン記憶部５１１について説明する。モデルパターン記憶部５１１は、対象物Ｗの像をモデル化したモデルパターンを記憶する。モデルパターンの例については後述する。

キャリブレーションデータ記憶部５１２は、ロボット２の動作制御の基準となるロボット座標系と、視覚センサ４による計測処理の基準となる画像座標系とを互いに関連付けるキャリブレーションデータを記憶する。キャリブレーションデータの形式及びそれを求める方法は、種々の方式が提案されており、いずれの方式を用いてもよい。

制御部５２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサであり、画像処理システム１の各種の制御を実行する画像処理部である。

図３は、制御部５２によって実行される画像処理に関する機能を模式的に示す機能ブロック図である。図３に示すように、制御部５２は、特徴点抽出部５２１と、キャリブレーション部５２２と、判定部５２３と、表示処理部５２４と、を機能部として有する。制御部５２が有するこれらの機能部は、記憶部５１に記憶されたプログラムが実行されることにより、機能する。

特徴点抽出部５２１は、視覚センサ４の撮像によって取得される入力画像から特徴点を抽出する。特徴点の抽出方法としては、種々の方法を用いることができる。本実施形態では、画像中で輝度勾配が大きな点であり、対象物の輪郭形状を取得するために使用できるエッジ点を特徴点として抽出する。一般的に対象物Ｗの輪郭線の像は輝度勾配が大きくなるので、エッジ点を特徴量として用いることで対象物Ｗの輪郭線形状を取得できる。なお、エッジ点の抽出は、ＳｏｂｅｌフィルタやＣａｎｎｙエッジ検出器を利用してもよい。

キャリブレーション部５２２は、視覚センサ４と対象物Ｗの位置関係と、キャリブレーションデータ記憶部５１２に記憶されるキャリブレーションデータと、に基づいて、画像座標系における二次元点と、ロボット座標系における三次元点と、の位置を変換する処理を実行する。例えば、キャリブレーション部５２２は、ロボット座標系における三次元点のデータが与えられた場合は、その三次元点の視覚センサ４で撮像された画像上での像の位置、即ち、画像座標系における二次元点を計算する処理を実行する。また、キャリブレーション部５２２は、画像座標系における二次元点のデータが与えられたときには、ロボット座標系（ワールド座標系）における視線を計算する処理を実行する。ここでいう視線は、注視点と視覚センサ４の焦点を通る三次元直線である。注視点は、対象物Ｗのロボット座標系における三次元点（特徴点の三次元位置情報）である。そして、キャリブレーション部５２２は、計算した視線に基づいて二次元点のデータを三次元の位置を示すデータである三次元点に変換する処理を実行する。

判定部５２３は、撮像装置によって取得された入力画像から抽出された特徴点群（エッジ点群）と、モデルパターン記憶部５１１に記憶されるモデルパターンと、を比較し、合致度に基づいて対象物を検出する。

表示処理部５２４は、判定部５２３の判定結果や、後述する補正平面（仮想平面）の設定を行うための操作画面を操作盤７に表示する処理を実行する。

ロボット制御装置６は、動作制御部６１を備える。動作制御部６１は、視覚センサ制御装置５の指令に基づいてロボット２の動作プログラムを実行し、ロボット２の動作を制御する。

次に、特徴点抽出部５２１による画像座標系のモデルパターンの生成について説明する。図４は、複数の特徴点から構成されるモデルパターンを示す図である。図４に示すように、本実施形態では、複数の特徴点Ｐ_ｉから構成されるモデルパターンが用いられる。図４に示されるように、モデルパターンは複数の特徴点Ｐ＿ｉ（ｉ＝１～ＮＰ）で構成される。この例では、モデルパターンを構成する複数の特徴点Ｐ＿ｉが、モデルパターン記憶部５１１に記憶される。

モデルパターンを構成する特徴点Ｐ＿ｉの位置姿勢はどのような形式で表してもよい。例えば、モデルパターンに座標系を定義し（以下、モデルパターン座標系）、モデルパターンを構成する特徴点Ｐ＿ｉの位置や姿勢をモデルパターン座標系から見た位置ベクトルや方向ベクトル等で表現する方法が挙げられる。

また、モデルパターン座標系の原点Ｏについても、どのように定義してもよい。例えば、モデルパターンを構成する特徴点Ｐ＿ｉから任意の１点を選択して、その点を原点として定義してもよいし、モデルパターンを構成するすべての特徴点Ｐ＿ｉの重心を原点として定義してもよい。

また、モデルパターン座標系の姿勢（軸の方向）もどのように定義してもよい。例えば、モデルパターンの作成を行った画像において画像座標系とモデルパターン座標系が平行になるように定義してもよいし、モデルパターンを構成する特徴点から任意の２点を選択して、その一方から他方に向かう方向がＸ軸方向となるように定義し、当該Ｘ軸方向に直交する方向をＹ軸方向と定義してもよい。また、モデルパターン５０の作成を行った画像において画像座標系とモデルパターン座標系が平行になるように定義することもできる。このように、モデルパターン座標系及び原点Ｏの設定は、事情に応じて適宜変更できる。

次に、モデルパターンの作成例について説明する。図５は、モデルパターンを作成する手順を示すフローチャートである。図６は、画像にモデルパターン指定領域を指定した様子を示す図である。

モデルパターンとして教示したい対象物Ｗを視覚センサ４の視野内に配置して当該対象物Ｗの画像を撮像し、対象物Ｗが含まれる入力画像（教示画像）を取得する（ステップＳ１０１）。このとき、視覚センサ４と対象物Ｗの位置関係は、実際の使用時に対象物Ｗを検出するときの位置関係と同じ位置関係になるように行うことが好ましい。

次に、撮像した画像において、対象物Ｗが映った領域をモデルパターンの領域として指定する（ステップＳ１０２）。以下、このステップＳ１０２で指定した領域をモデルパターン指定領域６０と称する。本実施形態のモデルパターン指定領域６０は、対象物Ｗを囲むように矩形や円形で指定される。このモデルパターン指定領域６０を操作者生成情報としてモデルパターン記憶部５１１に記憶してもよい。

次に、特徴点の抽出を行う（ステップＳ１０３）。特徴点は、上述のようにモデルパターンを構成するものである。モデルパターン指定領域６０から複数の特徴点Ｐ_ｉ（ｉ＝１～ＮＰ）が抽出される。

ステップＳ１０３では、エッジ点の物理量が求められる。エッジ点の物理量は、そのエッジ点の位置、輝度勾配方向、輝度勾配の大きさ等がある。エッジ点の輝度勾配の方向を特徴点の姿勢と定義すると、位置とあわせて特徴点の位置姿勢を定義することができる。特徴点の物理量としてエッジ点の物理量、即ちエッジ点の位置、姿勢（輝度勾配の方向）、輝度勾配の大きさを記憶する。

そして、指定されたモデルパターン指定領域６０内にモデルパターン座標系を定義し、モデルパターン座標系及び原点Ｏに基づいて特徴点Ｐ_ｉの姿勢ベクトルｖ_Ｐｉや位置ベクトルｔ_Ｐｉ等で表現する。

次に、抽出された特徴点Ｐ_ｉの物理量に基づいてモデルパターン５０の生成を行う（ステップＳ１０４）。ステップＳ１０４では、抽出された特徴点Ｐ_ｉの物理量が、モデルパターンを構成する特徴点Ｐ_ｉとして記憶される。これらの複数の特徴点Ｐ_ｉがモデルパターンとなる。本実施形態では、モデルパターン指定領域６０内にモデルパターン座標系を定義し、特徴点Ｐ_ｉの位置や姿勢を、画像座標系（図６参照）で表現された値から、モデルパターン座標系（図４参照）で表現された値で記憶される。

モデルパターン５０を修正する必要がある場合、モデルパターンの修正を行う（ステップＳ１０５）。このステップＳ１０５におけるモデルパターンの修正は、操作者又は画像処理部３２によって行われる。なお、機械学習等を用いて自動で修正してもよい。なお、モデルパターンの修正を行う必要がなければステップＳ１０５を省略してもよい。以上説明した一連の処理により、画像座標系のモデルパターンが作成される。

次に、モデルパターンを三次元点に変換する処理について説明する。三次元点は、モデルパターンを構成する特徴の三次元の位置を特定する三次元位置情報である。図７は、モデルパターンの三次元点への変換処理を示すフローチャートである。図８は、撮像装置としての視覚センサ４の視線と補正平面の関係を示す模式図である。

モデルパターンが存在する平面を補正平面として指定する（ステップＳ２０１）。補正平面は、仮想的な平面である。補正平面の指定方法として種々の方法を用いることができる。例えば、ユーザがロボット座標系又はセンサ座標系から見た補正平面をロボットでタッチアップする等の方法で、操作盤７等を用いてユーザが設定する。なお、補正平面は単一の平面である必要はなく、複数の平面又は曲面で構成されてもよい。

次に、モデルパターンの各特徴点への視線を、視覚センサ４のキャリブレーションデータとロボット２の位置情報に基づいて取得する（ステップＳ２０２）。

図８に示すように、ステップＳ２０１で取得した補正平面とステップＳ２０２で取得した視線の交点Ｐｗを取得し、取得した交点Ｐｗに基づいて特徴点の三次元点を取得する（ステップＳ２０３）。三次元点は、特徴点の三次元位置情報である。モデルパターンを構成する特徴点の三次元位置情報が、マッチング用の情報としてモデルパターン記憶部５１１に記憶される。

以上、説明したように、本実施形態の画像処理システム１は、ロボット座標系における視覚センサ４の位置を特定するためのロボット２の位置情報と、画像座標系における対象物Ｗの位置を示す位置情報と、に基づいて視覚センサ４と対象物Ｗの位置関係を取得する制御部５２と、教示用画像から抽出された特徴点からなるモデルパターンと、前記教示用画像の撮像時の視覚センサ４と対象物Ｗの位置関係と、に基づいて前記モデルパターンを三次元位置情報の形式で記憶する記憶部５１と、を備える。制御部５２は、対象物Ｗを含む検出画像から抽出される特徴点とモデルパターンをマッチングした結果に基づいて検出画像から対象物Ｗを検出する検出処理を実行する。これにより、三次元位置情報の形式で記憶されるモデルパターンに基づいてマッチング処理が行われることになる。従って、視覚センサ４と対象物Ｗの相対的な位置関係が教示時と検出時で異なる事態を回避することができる。対象物Ｗが検出できない又は対象物Ｗの検出に時間がかかったりすることを避けることができ、従来技術に比べ対象物Ｗの検出を正確かつ効率的に行うことができる。

また、本実施形態の画像処理システムでは、記憶部５１に記憶されるモデルパターンの三次元位置情報は、教示用画像から抽出された特徴点が存在すると仮定される仮想平面としての補正平面と、視覚センサ４の対象物Ｗの特徴点に向かう視線と、の交点に基づいて取得される。これにより、仮想平面としての補正平面を利用してモデルパターンの三次元位置情報が取得されることになるので、当該補正平面を利用して検出処理をより一層正確に行うことができる。このように、本実施形態では、対象物Ｗの検出箇所が、ある平面（補正平面）上にあると仮定することにより、モデルパターンを構成する各特徴点（エッジ点）の三次元位置情報を取得するのである。

本実施形態の画像処理システム１は、モデルパターンを構成する各特徴点の三次元位置情報に基づいて検出対象の対象物が含まれる入力画像から当該対象物Ｗの像の検出を行う。モデルパターンを構成する各特徴点の三次元位置情報を利用した対象物Ｗの検出方法は、いくつかの方法を考えることができる。

まず、図９を参照して第１の例におけるマッチング処理について説明する。図９は、第１の例のマッチング処理の流れを示すフローチャートである。

ステップＳ３０１において、制御部５２が視覚センサ４によって撮像された入力画像を取得する。入力画像は、検出したい対象物Ｗを含むマッチング対象の検出画像である。マッチング対象の画像は、モデルパターン生成時の教示画像と別の画像であり、視覚センサ４によって新たに取得されるものである。

ステップＳ３０２において、制御部５２は入力画像から特徴点としてのエッジ点の抽出を行う。エッジ点の抽出は、上述した方法と同じ方法を用いることができる。

ステップＳ３０３において、制御部５２は、撮像時の補正平面と視覚センサ４の位置関係を取得する。補正平面は、上述のモデルパターン生成時に設定したものと同様の仮想平面である。ここでいう視覚センサ４の位置関係は、視覚センサ４と対象物Ｗとの位置関係である。視覚センサ４の位置関係は、キャリブレーションデータ、ロボット２の位置情報、補正平面、画像座標系における対象物Ｗの位置情報等に基づいて取得される。例えば、視覚センサ４が二次元カメラの場合、特徴点（エッジ点）が補正平面に存在すると仮定して、エッジ点への視線と補正平面との交点を取得する。視覚センサ４が三次元センサの場合は、エッジ点が存在する箇所の距離の情報を取得して、三次元位置情報が取得される。

ステップＳ３０４において、マッチング対象の入力画像（検出画像）から抽出した特徴点としてのエッジ点を補正平面に投影し、エッジ点の三次元位置情報である三次元点を取得する。これによってマッチング対象の入力画像から抽出された三次元点群のデータが取得されることになる。

ステップＳ３０５において、マッチング対象の入力画像（検出画像）から抽出された三次元点と、モデルパターンの三次元点と、を比較するマッチング処理を行う。これによって、マッチング対象の入力画像から対象物の像が検出されることになる。

このように、第１の例の検出処理では、検出画像から抽出された特徴点が存在すると仮定される仮想平面としての補正平面と、視覚センサ４から対象物Ｗの特徴点に向かう視線と、の交点に基づいて検出画像の特徴点を三次元位置情報の形式で取得する。そして、三次元位置情報の形式で取得された検出画像の特徴点と、三次元位置情報の形式で記憶されるモデルパターンに基づく特徴点と、を比較するマッチング処理結果に基づいて検出画像から対象物Ｗを検出する。この第１の例により、モデルパターンの三次元位置情報を検出処理により正確に反映することができ、適切な位置関係に基づいて対象物Ｗを検出画像から検出できる。また、マッチング処理において三次元的な回転をモデルパターンに加えることで、三次元的な姿勢変化があっても検出することができ、三次元的な姿勢変化にも対応できる。

次に、図１０を参照して第２の例におけるマッチング処理について説明する。図１０は、第２の例のマッチング処理の流れを示すフローチャートである。

ステップＳ４０１において、制御部５２が視覚センサ４によって撮像された入力画像を取得する。入力画像は、検出したい対象物Ｗを含むマッチング対象の画像である。マッチング対象の画像は、モデルパターン生成時の入力画像と別の画像であり、視覚センサ４によって新たに取得されたものである。

ステップＳ４０２において、入力画像から特徴点の抽出を行う。制御部５２は入力画像から特徴点としてのエッジ点の抽出を行う。エッジ点の抽出は、上述した方法と同じ方法を用いることができる。

ステップＳ４０３において、制御部５２は、撮像時の補正平面と視覚センサ４の位置関係を取得する。

ステップＳ４０４において、制御部５２は、対象物Ｗが補正平面の任意の箇所で検出されると仮定して、モデルパターンの三次元点を補正平面に投影する処理を実行する。

ステップＳ４０５において、制御部５２は、画像座標系にける入力画像の特徴点と投影したモデルパターンの特徴点とのマッチングを行う。即ち、入力画像の特徴点の二次元点と、モデルパターンの三次元点を二次元に変換した特徴点と、をマッチングし、合致度を取得する。なお、合致度の算出は上述のハフ変換等、公知の技術を用いることができる。

ステップＳ４０６において、終了条件が満たされているか否かが判定され、終了条件が満たされるまでステップＳ４０４、ステップＳ４０５の処理が繰り返される。ステップＳ４０６からステップＳ４０４に戻る場合は、前回とは異なる箇所を任意の箇所として仮定し、モデルパターンの三次元点を補正平面に投影した後、ステップＳ４０５の処理が実行される。これにより、複数のマッチング処理結果の中から、合致度の高いマッチング処理結果に基づいて対象物Ｗの像が検出されることになる。なお、終了条件は、例えばマッチングの合致度が高いものが検出された場合や所定時間が経過した場合等、種々の条件を設定できる。

このように、第２の例の前記検出処理では、検出画像から抽出される特徴点が仮想平面のある箇所で検出されると仮定し、当該仮想平面にモデルパターンを投影して画像座標系における特徴点を取得する投影処理と、検出画像から抽出される画像座標系の特徴点と、投影処理で取得されたモデルパターンに基づく画像座標系の特徴点と、を比較するマッチング処理と、を繰り返し実行し、合致度が高かったマッチング処理結果に基づいて検出画像から対象物Ｗを検出する。この第２の例においても、モデルパターンの三次元位置情報を検出処理により正確に反映することができ、適切な位置関係に基づいて対象物Ｗを検出画像から検出できる。また、位置の違いによる見え方の変化には投影処理とマッチング処理を繰り返すことで対応できるので、マッチング処理については二次元の画像座標系で行うことができる。

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

上記実施形態では、ロボット２の動作によって撮像装置としての視覚センサ４と対象物Ｗの位置関係が変わる構成であるが、この構成に限定されない。例えば、撮像装置が固定されるとともに対象物がロボットの動作によって移動する構成にも本発明を適用することができる。即ち、ロボットが対象物を持ち、固定のカメラから撮像するという構成でもよい。この場合、ロボットの動作によって対象物が移動することにより、撮像装置と対象物の位置関係が変わることになる。

上記実施形態では、複数のエッジ点からなるモデルパターンを例として説明したが、モデルパターンがこの形式に限定されるわけではない。例えば、特徴点を画素の単位とし、モデルパターンを画像形式としてもよい。

１ 画像処理システム
２ ロボット
４ 視覚センサ（撮像装置）
５１ 記憶部
５２ 制御部

Claims (3)

1. ロボットが撮像装置又は対象物を移動させる動作によって前記対象物との位置関係が変わる前記撮像装置により撮像された画像から前記対象物の像を検出する画像処理システムであって、
   画像座標系における前記対象物の位置を示す位置情報と、キャリブレーションデータとに基づいて、前記撮像装置と前記対象物との位置関係を取得する制御部と、
   予め前記対象物を撮像した教示用画像から抽出された特徴点からなるモデルパターンと、前記教示用画像の撮像時における前記位置関係と、に基づいて前記モデルパターンを、ロボット座標系における三次元位置情報の形式で記憶する記憶部と、
   を備え、
   前記制御部は、
   前記撮像装置によって撮像された前記対象物を含む検出画像から抽出される特徴点が所定の仮想平面で検出されると仮定し、当該所定の仮想平面に、前記三次元位置情報での前記モデルパターンを投影して前記モデルパターンの画像座標系における特徴点を取得する投影処理と、
   前記検出画像から抽出される前記画像座標系の特徴点と、前記投影処理で取得された前記モデルパターンの前記画像座標系における特徴点と、を比較するマッチング処理と、
   を前記所定の仮想平面を変えて繰り返し実行し、
   最も合致度が高かったマッチング処理結果に基づいて、前記検出画像から前記対象物の像を検出する、
   画像処理システム。
2. ロボットが撮像装置又は対象物を移動させる動作によって前記対象物との位置関係が変わる前記撮像装置により撮像された画像から前記対象物の像を検出する画像処理システムであって、
   画像座標系における前記対象物の位置を示す位置情報と、キャリブレーションデータとに基づいて、前記撮像装置と前記対象物との位置関係を取得する制御部と、
   予め前記対象物を撮像した教示用画像から抽出された特徴点からなるモデルパターンと、前記教示用画像の撮像時における前記位置関係と、に基づいて前記モデルパターンを、ロボット座標系における三次元位置情報の形式で記憶する記憶部と、
   を備え、
   前記制御部は、
   前記撮像装置によって撮像された前記対象物を含む検出画像から抽出される特徴点が存在すると仮定される仮想平面と、
   前記撮像装置から前記対象物の前記特徴点に向かう視線と、
   の交点の三次元位置情報に基づいて、前記検出画像のロボット座標系における特徴点を三次元位置情報の形式で取得し、
   前記三次元位置情報の形式で取得された前記検出画像の前記ロボット座標系における特徴点と、前記三次元位置情報の形式で記憶される前記モデルパターンの前記ロボット座標系における特徴点と、を比較するマッチング処理の結果に基づいて、前記検出画像から前記対象物の像を検出する、
   画像処理システム。
3. 前記記憶部に記憶される前記モデルパターンの三次元位置情報は、
   前記教示用画像から抽出された前記特徴点が存在すると仮定される仮想平面と、
   前記撮像装置から前記対象物の前記特徴点に向かう視線と、
   の交点の三次元位置情報に基づいて取得される請求項１又は２に記載の画像処理システム。

Images