JP3886471B2

JP3886471B2 - 画像処理装置

Info

Publication number: JP3886471B2
Application number: JP2003142395A
Authority: JP
Inventors: 克俊滝澤; 英俊組谷
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2003-05-20
Filing date: 2003-05-20
Publication date: 2007-02-28
Anticipated expiration: 2023-05-20
Also published as: CN1296862C; EP1480169A1; US20040252880A1; TWI253593B; JP2004348266A; US7400760B2; TW200426704A; KR20040100963A; CN1573798A; KR100647750B1

Description

【０００１】
【発明の属する技術分野】
本発明は、視覚センサにより部品等の対象物の認識を行なう際に用いられる画像処理装置に関し、特に、様々な姿勢を取りうる対象物の位置や姿勢を画像により認識するための画像処理装置に関する。
【０００２】
【従来の技術】
正確に位置決めされていない例えば部品等の対象物をロボットなどの自動機械でハンドリングするために対象物を撮像して画像データを取得し、その画像データから対象物の位置姿勢等を認識する手法が各種アプリケーションで採用されている。この手法では、対象物の取り得る姿勢の範囲が広いほど、姿勢の認識が難しくなる。例えば、山積み状態の部品群のように、対象物が３次元的に任意の姿勢で置かれた場合など、姿勢認識は大変困難である。
【０００３】
このような場合の認識方法として、あらかじめ対象物に対して様々な異なる方向からサンプル画像を撮像しておき、姿勢認識時に入力画像とサンプル画像１枚１枚とを比較照合し、サンプル画像の中から入力画像に最も一致度の高い画像を選択し、選択したサンプル画像に対応する撮像方向から対象物の姿勢を割り出す、という方法がある。
【０００４】
この方法では、比較照合の精度をいかに高くするかが最重要の事項である。比較照合の精度が低くなる原因の１つは、実際の認識を行なう際に用いられる入力画像中に存在する不規則な背景画像（対象物以外の画像）である。即ち、サンプル画像は理想的な条件で撮像することで背景を均一画像（一定の色彩、明度）にすることができるが、対象物の認識を実際に行なう現場で取得される入力画像には、しばしば他の物体など、背景に予測不能な邪魔が入る。この邪魔な背景を排除する１つの手法として、全サンプル画像の対象物領域の積集合として窓関数を構成し、この窓関数が表わす窓（積集合）に含まれる画素のみを用いてサンプル画像との比較照合を行なう方法が、下記非特許文献１に記載されている。
【０００５】
【非特許文献１】
H.Murase and K.Nayar，“Detection 3D objects in cluttered scenes using hierarchical eigenspace ” ，Patttern Recognition Letters 18，Vol.14，No.1，pp.375-384. 1997
【０００６】
【発明が解決しようとする課題】
上述したように、サンプル画像との比較照合の精度を落とす原因の１つは、入力画像中に対象物の画像と共存する不規則な背景画像であるから、背景画像の影響を除いた条件で比較照合が行えれば認識の精度は向上することになる。上記非特許文献１に記載されたMurase et. al.の方法は、背景画像を取り除く方法の１つではある。しかし、この方法を適用した場合、しばしば積集合による窓が狭くなり過ぎ、かえって比較照合の精度に悪影響を及ぼす事態が生じるという問題点があった。
【０００７】
【課題を解決するための手段】
本発明は、サンプル画像を元に、適度な広さの窓を持ったマスク画像を作成し、マスキングにより邪魔な背景をある程度消した後に比較照合を行うという考え方を導入して、上記課題を解決するものである。
【０００８】
即ち、本発明は、対象物に対して異なる複数の方向から撮像したサンプル画像の中から、入力画像に含まれる対象物の撮像方向と近い撮像方向に対応する画像を選択する画像処理装置を改良し、サンプル画像を元に適当なマスク画像を作成し、マスキングにより邪魔な背景をある程度消した後に比較照合を行い、比較照合の精度を上げるようにしたものである。本発明は、下記のように、３つの形態をとり得る。
【０００９】
第１の形態では、画像処理装置に、総てのサンプル画像の対象物領域を包含する領域の画素を有効画素、その他の領域の画素を無効画素とした、第１マスク画像を作成する手段と、前記第１マスク画像の有効画素に対応する前記入力画像の画素を用いて、前記サンプル画像との比較照合を行い、前記サンプル画像の中から、前記入力画像と一致度の高い画像を選択する手段が設けられる。
【００１０】
第２の形態では、画像処理装置に、サンプル画像のそれぞれに対して、対象物領域を包含する領域の画素を有効画素、その他の領域の画素を無効画素とした、第２マスク画像を作成する手段と、前記入力画像と前記サンプル画像との比較照合により、前記サンプル画像の中から前記入力画像との一致度の高い画像を仮選択サンプル画像として選択する手段と、前記仮選択サンプル画像に対応する第２マスク画像の有効画素に対応する前記入力画像の画素を用いて、前記サンプル画像との比較照合を行い、前記サンプル画像の中から、前記入力両画像との一致度の高い画像を選択する手段が設けられる。
【００１１】
第３の形態では、画像処理装置に、サンプル画像の総ての対象物領域を包含する領域の画素を有効画素、その他の領域の画素を無効画素とした、第１マスク画像を作成する手段と、前記サンプル画像それぞれに対して、対象物領域を包含する領域の画素を有効画素、その他の領域の画素を無効画素とした、第２マスク画像を作成する手段と、前記第１マスク画像の有効画素に対応する前記人力両画像の画素を用いて、前記サンプル画像との比較照合を行い、前記サンプル画像の中から、前記入力画像との一致度の高い画像を仮選択サンプル画像とする手段と、前記仮選択サンプル画像に対応する第２マスク画像の有効画素に対応する前記入力画像の画素を用いて、前記サンプル画像との比較照合を行い、前記サンプル画像の中から、前記入力画像との一致度の高い画像を選択する手段が設けられる。
【００１２】
これら形態において、前記比較照合は、比較対象となる各画像に直交変換を施した中間的画像同士の比較照合とすることができる。この直交変換は、フーリエ変換であって良く、離散コサイン変換であっても良い。
【００１３】
【発明の実施の形態】
図１は、本発明の実施形態におけるシステム構成の概略について説明する図である。同図において、符号１はロボット（本体機構部）を示し、このロボットのアーム先端部に視覚センサの撮像手段としてカメラ２が装着されている。ロボット１の動作は、同ロボット１に接続されたロボット制御装置１０によって制御される。カメラ２には画像処理装置２０が接続され、画像処理装置２０は更に通信回線を介してロボット制御装置１０にも接続されている。
【００１４】
画像処理装置２０には、ＣＰＵ、メモリ、カメラインターフェイス、通信インターフェイス等を含むハードウェアと、カメラ２、ロボット制御装置１０との指令、画像データ等の授受を行なうソフトウェアの他、後述する態様で画像データの処理を行なうプログラム及び関連パラメータを含むソフトウェアが装備されている。また、画像処理装置２０にはディスプレイ２１が付設され、カメラ２による撮像画像、その処理画像、後述するサンプル画像等を表示できるようになっている。
【００１５】
なお、図示を省略したが、ロボット制御装置１０及び画像処理装置２０には、通常の形態でマニュアル操作手段（教示操作盤、キーボード、マウス等）が付設され、必要に応じて手動によるロボット操作、プログラムの入力／編集、起動／停止、カメラ２による撮像、画像データ取り込み、画像処理のプログラムの入力／編集、起動／停止等を行えるようになっている。
【００１６】
カメラ２は、画像処理装置２０からの撮像／画像データ出力指令を受けて撮像を行ない、対象物（例えば部品）Ｗの像を含む画像の画像データを画像処理装置２０に入力する。画像処理装置２０は、処理プログラムによって後述する態様で画像処理を実行し、画像からの対象物認識を行なう。また、ロボット制御装置１０と画像処理装置２０は、必要に応じて互いに同期をとりながら、下記（１）〜（３）のデータ授受と関連処理を行なう一般的な機能を有している。
【００１７】
（１）ロボット制御装置１０は、ロボット１の現在位置を所定の短周期で画像処理装置２０に通知する。
（２）ロボット制御装置１０は、ロボット１の作業（把持等）に関連したプログラム（あるいはオペレータによりマニュアル入力された指令）に従い、画像処理装置２０に画像撮像指令を出力し、カメラ２に撮像を実行させ、画像データを画像処理装置２０に取得させる。
（３）画像処理装置２０側で決定したロボット１の目標動作位置をロボット制御装置１０へ送信する。
【００１８】
以上の前提の下で、対象物に対して異なる複数の方向から撮像したサンプル画像の中から、入力画像に含まれる対象物の撮像方向と近い撮像方向に対応する画像を選択する手法を改良し、サンプル画像を元に適当なマスク画像を作成し、マスキングにより邪魔な背景をある程度消した後に比較照合を行い、比較照合の精度を上げるようにする手順について順を追って説明する。
【００１９】
先ず、対象物Ｗと同種の物体（以下、サンプル物体と言う）に対して異なる複数の方向から撮像した複数のサンプル画像を用意する。そのために、例えば、サンプル物体を適当な位置・姿勢に置き、ロボットに複数の位置・姿勢をとらせて、カメラ２による撮像を行い、画像処理装置２０のメモリにサンプル画像データを蓄積する。また、各サンプル画像に対応させてロボット位置を画像処理装置２０のメモリに記憶する。ロボットの複数の位置・姿勢への移動は、予め教示した動作によっても良いし、オペレータによる手動操作によっても良い。
【００２０】
サンプル画像取得のための撮像に際しては、サンプル物体の背景には邪魔なものが映らないようにする。例えば、サンプル物体と色、明度の異なる無模様の床面上にサンプル物体を置いて撮像を行なえば良い。ここで、サンプル物体は実際に作業で扱う対象物の内の１つであっても良いし、形状、寸法等が同等のダミー物体であっても良い。
【００２１】
図２の上半部にはこのようにして得られたサンプル画像群の例が示されている。この準備を終えたシステムを用いて、実際に作業を行なう際には、対象物Ｗの少なくとも１つ（一般に複数の同種の対象物が存在）を視野に収められる位置・姿勢をロボット１にとらせ、カメラ２による撮像を行い、少なくとも１つの対象物の画像と背景画像からなる画像（以下、入力画像と言う）を取得し、画像処理装置２に一旦記憶する。入力画像を取得するロボット位置（以下、入力画像取得ロボット位置と言う）は予めプログラム教示しておき、再生運転により、同入力画像取得ロボット位置へロボットを移動させるようにすれば良い。
【００２２】
また、入力画像取得ロボット位置（現在位置）を対応する入力画像を特定するデータと併せて画像処理装置２０内に記憶する。図２の下半部にはこのようにして得られた入力画像の例を示した。入力画像は、既に用意されている複数のサンプル画像と比較対照され、入力画像取得時の撮像方向に最も近い撮像方向から撮像した対象物の画像が映っていると判断されるサンプル画像を選択する処理が行なわれる。図２の例では、破線で取り囲んで示した左から２番目のサンプル画像が、選択されるべきサンプル画像である。
【００２３】
上記判断（撮像方向の一致度の判断）は、サンプル画像群の中から入力画像との「一致度の高い画像」を選択する形で実行される。画像の一致度を判断する手法自体は種々知られている。例えば、画像同士の輝度の相関によるマッチングがある。また、比較対象となる各画像に直交変換を施した中間的画像同士の距離で一致度を測る方法もある。直交変換としては、フーリエ変換、離散コサイン変換の他、サンプル画像にそれぞれ直交変換を施して得られる成分がサンプル画像の主成分となるような直交変換もある。直交変換を行うことにより、画像同士で直接相関計算を行う場合に比べ、データの次元を下げることができるので、類似画像の比較照合の計算量を少なくできる効果がある。なお、これら直交変換及びマッチング法自体は周知なので詳細説明は省略する。
【００２４】
但し、入力画像には、対象物の画像の他に不規則な背景画像が含まれているために、従来の技術の欄に記した通り、図２中に示したように背景画像をそのまま含む入力画像と各サンプル画像の比較照合、あるいは、それらに直交変換を施した中間画像同士の比較照合を上記マッチング法により行なっても、実際に正しい結果が得られないケースが多々ある。
【００２５】
前述したように、本発明では、サンプル画像を元に、適度な広さの窓を持ったマスク画像を作成し、マスキングにより邪魔な背景をある程度消した後に比較照合を行うという考え方を導入する。具体的な画像処理について、マスク画像の作成法に関連して３通りの態様（前述した発明の３形態に対応）が考えられるので、以下、図３〜図５を参照図に加えて要点を説明する。
【００２６】
先ず図３は、本発明の第１の態様で用いる手法について説明する図である。この態様では、入力画像と各サンプル画像との比較照合を行う前に、第１マスク画像を作成する。この第１マスク画像は、サンプル画像総ての対象物領域を包含する領域の画素を有効画素、その他の領域の画素を無効画素として作成する。換言すれば、次のようになる。
【００２７】
各サンプル画像と入力画像に共通の画素番号をＡij（i=1,2,3・・・・・m;j=1,2,3・・・・・n;画素総数m*n）とし、ｓ番目のサンプル画像をＳs （s=1,2,3・・・・・q;qはサンプル画像総数）で表わすことにする。画像処理装置２０内では、各画素Ａijについて、その画素Ａijが少なくとも１つのサンプル画像Ｓs において、対象物の映っている画素領域を含む適当な画素領域内にあれば、その画素Ａijは「有効画素」とし、そうでなければ（すべてのサンプル画像Ｓs で背景の映った画素領域に含まれる適当な画素領域内）「無効画素」と判定する処理を行う。
【００２８】
次に、この処理結果に基づいて入力画像を修正するマスク処理を行なう。即ち、入力画像について、「有効画素」と判定された画素の画像データのみを抽出してマスクト入力画像（以下、第１マスクト入力画像と言う）を作成する。
【００２９】
これにより、入力画像中に含まれる不規則な背景画像のかなりの部分が除去される。そして、この第１マスクト入力画像と各サンプル画像Ｓ1,Ｓ2 ・・・・・Ｓq を順次比較照合して、一致度の最も高いサンプル画像を決定する処理を行なう。比較照合のための具体的な処理としては、上述した周知の手法によれば良い。即ち、例えば画像同士の輝度の相関によるマッチングを適用することができる。また、第１マスクト入力画像と、各サンプル画像に直交変換を施した中間的画像同士の距離で一致度を測る方法を適用しても良い。直交変換としては、フーリエ変換、離散コサイン変換の他、サンプル画像にそれぞれ直交変換を施して得られる成分がサンプル画像の主成分となるような直交変換もある。
【００３０】
以上のようにして、最も一致度の高いサンプル画像（ここでは図２中左から２番目）が選択されると、この選択されたサンプル画像を取得した時のロボット位置と、対象物の特徴部分の映り方から、対象物の位置・姿勢が計算される。なお、対象物の位置・姿勢の計算に必要であれば、異なる２方向以上の撮像方向からの撮像で入力画像（２個以上）を取得し、各入力画像に上記マスキングを施してサンプル画像との照合を行なっても良い。
【００３１】
次に図４は、本発明の第２の態様で用いる手法について説明する図である。この態様では、入力画像と各サンプル画像との比較照合は２段階で行われる。先ず１段階の比較照合は、各画像の総ての画素を用いて行う。この比較照合により、サンプル画像の中から入力画像との一致度の高い画像を、仮選択サンプル画像（Ｓt とする）として選択する。
【００３２】
２回目の比較照合は、この仮選択サンプル画像を元に作成された第２マスク画像を用いて行なう。そのために、前記の第１マスク画像とは若干異なるルールで第２マスク画像を作成する。第２マスク画像は、個々のサンプル画像に対して作成されるもので、ここでは仮選択サンプル画像Ｓt を元に作成する。即ち、仮選択サンプル画像Ｓt について、対象物領域を包含する頓域の画素を有効画素、その他の頒域の画素を無効画素とする。第１の態様の説明用いた定義を使って言えば次のように処理を行なう。
【００３３】
画像処理装置２０内で、仮選択サンプル画像Ｓt の各画素Ａijについて、その画素Ａijがそのサンプル画像Ｓt において対象物の映っている画素領域を含む適当な画素領域内にあれば、その画素Ａijは「有効画素」とし、そうでなければ（そのサンプル画像Ｓt で背景の映った画素領域に含まれる適当な画素領域内）「無効画素」と判定する処理を行う。その結果、仮選択サンプル画像Ｓt について、全画素が「有効画素」と「無効画素」に分類される。
【００３４】
この処理結果に基づいて入力画像を修正するマスク処理を行ない、第２マスクト入力画像を作成する。これにより、入力画像から背景像のかなりの部分が除去される。そして、この第２マスクト入力画像と各サンプル画像Ｓ1,Ｓ2 ・・・Ｓq を順次比較照合し、一致度が最も高いサンプル画像を決定する。もし、仮選択がベストの選択をしていれば仮選択サンプル画像Ｓt が最終的に選択されると予測されるが、そうでない場合も起こり得る。なお、比較照合のための具体的な処理及び最も一致度の高いサンプル画像選択後の事項については、第１の形態と同様なので説明は繰り返さない。
【００３５】
最後に図５は、本発明の第３の態様で用いる手法について説明する図である。この態様では、入力画像と各サンプル画像との比較照合を行う前に、第１マスク画像と第２マスク画像を作成する。第１マスク画像は、前述したように、サンプル画像総ての対象物領域を包含する領域の画素を有効画素、その他の領域の画素を無効画素として作成する。また、第２マスク画像は、サンプル画像それぞれに対して作成し、対象物領域を包含する領域の画素を有効画素、その他の領域の画素を無効画素として作成する。
【００３６】
入力画像と各サンプル画像との比較照合は、２回行われる。１回目の比較照合は、第１マスク画像の有効画素に対応する画素を用いて行う。この比較照合により、サンプル画像の中から入力画像との一致度の高い画像を仮選択サンプル画像（Ｓu とする）として選択する（仮選択サンプル画像（Ｓu とする）。２回目の比較照合は、この仮選択サンプル画像Ｓu に対応する第２マスク画像の有効画素に対応する画素を用いて行う。
【００３７】
即ち、画像処理装置２０内で、仮選択サンプル画像Ｓu の各画素Ａijについて、その画素Ａijがその仮選択サンプル画像Ｓu において対象物の映っている画素領域を含む適当な画素領域内にあれば、その画素Ａijは「有効画素」とし、そうでなければ（そのサンプル画像Ｓu で背景の映った画素領域に含まれる適当な画素領域内）「無効画素」と判定する処理を行う。その結果、仮選択サンプル画像Ｓu について、全画素が「有効画素」と「無効画素」に分類される。
【００３８】
この処理結果に基づいて入力画像を修正するマスク処理を行ない、第２マスクト入力画像を作成する。これにより、入力画像から背景像のかなりの部分が除去される。そして、この第２マスクト入力画像と各サンプル画像Ｓ1,Ｓ2 ・・・Ｓq を順次比較照合し、一致度が最も高いサンプル画像を決定する。もし、第１マスク画像を用いた仮選択がベストの選択をしていれば仮選択サンプル画像Ｓu が最終的に選択されると予測されるが、そうでない場合も起こり得る。なお、比較照合のための具体的な処理及び最も一致度の高いサンプル画像選択後の事項については、第１の形態と同様なので説明は繰り返さない。
【００３９】
【発明の効果】
本発明により、対象物と同種の物体に対して異なる複数の方向から撮像した複数のサンプル画像の中から、入力画像に含まれる対象物の撮像方向と近い撮像方向に対応する画像を選択する画像処理装置において、画像選択の精度と信頼性が向上する。
【図面の簡単な説明】
【図１】図１は、本発明の実施形態におけるシステム構成について説明する図である。
【図２】実施形態で取得されるサンプル画像と入力画像の照合関係について説明する図である。
【図３】本発明の第１の態様で用いる手法について説明する図である。
【図４】本発明の第２の態様で用いる手法について説明する図である。
【図５】本発明の第３の態様で用いる手法について説明する図である。
【符号の説明】
１ロボット（本体機構部）
２カメラ（撮像手段）
１０ロボット制御装置
２０画像処理装置
２１ディスプレイ
Ｗ対象物

Claims

対象物と同種の物体に対して異なる複数の方向から撮像した複数のサンプル画像の中から、入力画像に含まれる対象物の撮像方向と近い撮像方向に対応する画像を選択する画像処理装置において、
前記総てのサンプル画像の対象物領域を包含する領域の画素を有効画素、その他の領域の画素を無効画素とした、第１マスク画像を作成する手段と、
前記第１マスク画像の有効画素に対応する前記入力画像の画素を用いて、前記サンプル画像との比較照合を行い、前記サンプル画像の中から、前記入力画像と一致度の高い画像を選択する手段とを備えることを特徴とする、画像処理装置。
対象物と同種の物体に対して異なる複数の方向から撮像した複数のサンプル画像の中から、入力画像に含まれる対象物の撮像方向と近い撮像方向に対応する画像を選択する画像処理装置において、
前記サンプル画像のそれぞれに対して、対象物領域を包含する領域の画素を有効画素、その他の領域の画素を無効画素とした、第２マスク画像を作成する手段と、
前記入力画像と前記サンプル画像との比較照合により、前記サンプル画像の中から前記入力画像との一致度の高い画像を仮選択サンプル画像として選択する手段と、
前記仮選択サンプル画像に対応する第２マスク画像の有効画素に対応する前記入力画像の画素を用いて、前記サンプル画像との比較照合を行い、前記サンプル画像の中から、前記入力両画像との一致度の高い画像を選択する手段とを備えることを特徴とする、画像処理装置。
対象物と同種の物体に対して異なる複数の方向から撮像した複数のサンプル画像の中から、入力画像に含まれる対象物の撮像方向と近い撮像方向に対応する画像を選択する画像処理装置において、
前記総てのサンプル画像の対象物領域を包含する領域の画素を有効画素、その他の領域の画素を無効画素とした、第１マスク画像を作成する手段と、
前記サンプル画像それぞれに対して、対象物領域を包含する領域の画素を有効画素、その他の領域の画素を無効画素とした、第２マスク画像を作成する手段と、前記第１マスク画像の有効画素に対応する前記人力両画像の画素を用いて、前記サンプル画像との比較照合を行い、前記サンプル画像の中から、前記入力画像との一致度の高い画像を仮選択サンプル画像とする手段と、
前記仮選択サンプル画像に対応する第２マスク画像の有効画素に対応する前記入力画像の画素を用いて、前記サンプル画像との比較照合を行い、前記サンプル画像の中から、前記入力画像との一致度の高い画像を選択する手段とを備えることを特徴とする、画像処理装置。
前記比較照合が、比較対象となる各画像に直交変換を施した中間的画像同士の比較照合である、請求項１乃至請求項３の内、何れか１項に記載の画像処理装置。
前記直交変換がフーリエ変換である、請求項４に記載の画像処理装置。
前記直交変換が離散コサイン変換である、請求項４に記載の画像処理装置。