[go: up one dir, main page]

JP2015176272A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
JP2015176272A
JP2015176272A JP2014051321A JP2014051321A JP2015176272A JP 2015176272 A JP2015176272 A JP 2015176272A JP 2014051321 A JP2014051321 A JP 2014051321A JP 2014051321 A JP2014051321 A JP 2014051321A JP 2015176272 A JP2015176272 A JP 2015176272A
Authority
JP
Japan
Prior art keywords
image
area
image processing
model
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014051321A
Other languages
English (en)
Inventor
善久 湊
Yoshihisa Minato
善久 湊
祐己 赤塚
Yuki Akatsuka
祐己 赤塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2014051321A priority Critical patent/JP2015176272A/ja
Priority to US14/601,524 priority patent/US9600893B2/en
Priority to EP15151901.4A priority patent/EP2919163A3/en
Priority to CN201510077159.8A priority patent/CN104915675A/zh
Publication of JP2015176272A publication Critical patent/JP2015176272A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759Region-based matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】類似したモデル画像が登録されている場合であっても、検査対象物の種別を正確に判別することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することである。【解決手段】画像処理装置100は、互いに異なる種別に属する複数の基準対象物のモデル画像から得られた特徴量を保持するハードウェア114と、各対象物のモデル画像内において他の対象物とは異なる特徴量を示す領域である非共通領域を決定する領域決定モジュール152と、各対象物の特徴量のうち当該対象物の非共通領域に対応する特徴量を用いて、入力画像に含まれる対象物がいずれの種別に属するかを判別する判別モジュール154とを備える。【選択図】図6

Description

本発明は、検査対象物の種別を判別することが可能な画像処理装置、画像処理方法、および画像処理プログラムに関する。
近年、FA(Factory Automation)の分野においては、ワークなどの検査対象物を撮像し、検査対象物の種別を判別するための画像処理技術が開発されている。たとえば、特開2009−116385号公報(特許文献1)は、類似するモデル画像が登録されている場合であっても、正しく識別を行うことが可能な画像識別装置を開示している。当該画像識別装置は、類似するモデル画像間で相関値が低い特徴点の情報を用いて判別を行なう。
特開2009−116385号公報
ところで、検査対象物が、類似する形状を有する複数の品種のいずれに属するかを判別(以下「品種判別」とも称す。)する場合には、検査対象物のいずれの部分を用いて判別処理が行なわれたのかを知ることが重要である。なぜならば、ユーザが、判別処理に用いられた検査対象物の部分を視認することができれば、判別結果が良くない場合などに、その原因を突き止めることができるからである。
ここで、特許文献1が開示する技術は、類似するモデル画像の情報を全て用いて判別処理を行なう。このため、当該技術は、判別に適していないような情報も含んで判別処理を行なう可能性がある。これにより、判別処理の精度が低下する可能性がある。したがって、検査対象物の種別の判別処理に適した部分の情報を用いて判別処理を行なうことが可能な画像処理装置が望まれている。
一実施の形態に従うと、画像処理装置は、互いに異なる種別に属する複数の基準対象物のモデル画像から得られた特徴量を保持する記憶手段と、各対象物のモデル画像内において他の対象物とは異なる特徴量を示す領域である非共通領域を決定する領域決定手段と、各対象物の特徴量のうち当該対象物の非共通領域に対応する特徴量を用いて、入力画像に含まれる対象物がいずれの種別に属するかを判別する判別手段とを備える。
好ましくは、判別手段は、各基準対象物の非共通領域に対応する特徴量を用いて入力画像に対してマッチング処理を行なうとともに、当該マッチング処理の結果得られるスコアが他の基準対象物に比較して高い基準対象物を特定する。
好ましくは、画像処理装置は、複数のモデル画像のうちの少なくとも1つのモデル画像の非共通領域に対して、判別手段の判別処理に用いる領域と、当該判別処理に用いない領域とを設定するための設定手段をさらに備える。
好ましくは、判別手段は、複数のモデル画像の間で特異な非共通領域におけるマッチング処理の結果ほど種別の判別結果に与える影響を大きくする。
好ましくは、判別手段は、モデル画像の非共通領域の部分ごとに入力画像とマッチング処理を行ない、当該非共通領域の各部分のマッチング処理の結果を用いてスコアを算出する。
好ましくは、画像処理装置は、モデル画像のうちのいずれかのモデル画像についての非共通領域に対するマッチング処理の結果を識別可能な態様で表示するための表示手段をさらに備える。
好ましくは、表示手段は、複数のモデル画像のうちのいずれかのモデル画像に重ねて、当該モデル画像の非共通領域に対するマッチング処理の結果を表示する。
好ましくは、表示手段は、入力画像との類似度が相対的に高いマッチング処理の結果と、入力画像との類似度が相対的に低いマッチング処理の結果とを異なる態様で表示する。
好ましくは、表示手段は、複数のモデル画像のうちのいずれかのモデル画像に重ねて、当該モデル画像における非共通領域を識別可能な態様で表示する。
好ましくは、非共通領域は、当該非共通領域において対象物が含まれる対象物領域を含む。表示手段は、複数のモデル画像のうちのいずれかのモデル画像に重ねて、当該モデル画像の非共通領域に含まれる対象物領域を識別可能な態様で表示する。
好ましくは、非共通領域は、当該非共通領域において対象物が含まれない非対象物領域をさらに含む。表示手段は、複数のモデル画像のうちのいずれかのモデル画像に重ねて、当該モデル画像の非共通領域に含まれる対象物領域と、当該モデル画像の非共通領域に含まれる非対象物領域とを異なる態様で表示する。
他の実施の形態に従うと、画像処理方法は、互いに異なる種別に属する複数の基準対象物のモデル画像から得られた特徴量を保持するステップと、各対象物のモデル画像内において他の対象物とは異なる特徴量を示す領域である非共通領域を決定するステップと、各対象物の特徴量のうち当該対象物の非共通領域に対応する特徴量を用いて、入力画像に含まれる対象物がいずれの種別に属するかを判別するステップとを備える。
さらに他の実施の形態に従うと、画像処理プログラムが提供される。画像処理プログラムは、コンピュータに、互いに異なる種別に属する複数の基準対象物のモデル画像から得られた特徴量を保持するステップと、各対象物のモデル画像内において他の対象物とは異なる特徴量を示す領域である非共通領域を決定するステップと、各対象物の特徴量のうち当該対象物の非共通領域に対応する特徴量を用いて、入力画像に含まれる対象物がいずれの種別に属するかを判別するステップとを実行させる。
本発明によれば、類似したモデル画像が登録されている場合であっても、検査対象物の種別を正確に判別することができる。
第1の実施の形態に従う画像処理装置を含むシステムの構成を示す模式図である。 本発明の従来技術およびその課題について説明するための図である。 第1の実施の形態に従う画像処理装置が2つのモデル画像間でワークの形状が異なる領域を抽出している様子を示した概念図である。 第1の実施の形態に従う画像処理装置の判別処理の概要を示した概念図である。 第1の実施の形態に従う画像処理装置のハードウェア構成を示す模式図である。 第1の実施の形態に従う画像処理装置の機能構成を示す模式図である。 モデル画像を登録するための登録画面の一例を示した図である。 モデル画像を登録するための登録画面の一例を示した図である。 被検査対象のワークに対する種別の判別結果を表示する結果表示画面の一例を示した図である。 被検査対象のワークに対する種別の判別結果を表示する結果表示画面の変形例を示した図である。 被検査対象のワークに対する種別の判別結果を表示する結果表示画面の他の変形例を示した図である。 モデル画像の登録処理のフローチャートを示す図である。 モデル画像と入力画像との判別処理のフローチャートを示す図である。 第2の実施の形態に従う画像処理装置が2つのモデル画像間でワークの形状が異なる領域を抽出している様子を示した概念図である。 第2の実施の形態に従う画像処理装置の判別処理の概要を示した概念図である。 第3の実施の形態に従う画像処理装置が2つのモデル画像間でワークの形状が異なる領域を抽出している様子を示した概念図である。 第3の実施の形態に従う画像処理装置の判別処理の概要を示した概念図である。
以下、図面を参照しつつ、本実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態、および/または、各変形例は、選択的に組み合わされてもよい。
<第1の実施の形態>
[A.システムの構成]
本実施の形態の画像処理装置は、各種のアプリケーションへの適用が可能であるが、一例として、検査対象物であるワークが、複数の種別のうちのいずれの種別に属するかを判別するとともに、判別したワークの種別に応じて、ロボットがワークに対して何らかの作用を与えるようなアプリケーションについて説明する。
図1は、本実施の形態の画像処理装置100を含むシステム1の構成を示す模式図である。図1を参照して、システム1は、主として、画像処理装置100と、ロボットコントローラ200と、ロボット300とを含む。システム1は、撮像部8を用いてコンベア10上の一部の領域を撮像するとともに、当該撮像によって得られた画像(以下「入力画像」とも称す。)を処理することで、コンベア10上を搬送される検査対象物であるワークの位置および種別を特定し、特定した位置および種別の情報に基づいて、予め定められた位置でワークを把持して、ワークの種別に応じた位置にワークを移動させる。たとえば、コンベア10には2種類の種別のワーク(すなわち、ワーク2Aおよびワーク2B)が流れており、画像処理装置100は、コンベア10に流れているワークの種別を判別する。ロボット300は、判別されたワークの種別に応じて、ワーク2Aを箱3Aに、ワーク2Bを箱3Bに移動させる。
より具体的には、画像処理装置100は、撮像部8からの入力画像に対して、以下に詳述するような画像処理を実行し、その画像処理の実行結果から得られる位置情報(または、移動指令)および種別情報をロボットコントローラ200へ出力する。ロボットコントローラ200は、画像処理装置100からの情報に従って、駆動指令を与えることで、ロボット300を駆動する。典型的には、ロボット300は、可動軸毎にサーボモータを有しており、ロボットコントローラ200は、軸毎に計算される移動量に相当する数のパルスを含むパルス信号を出力する。
このように、ロボット300がワークを種別ごとに分別することで、たとえば、複数の品種のワークをラインに流したと場合であっても自動で品種を分別することが可能になる。これにより、システム1は、品種ごとの箱詰め作業などを自動化することができる。
図1に示すような、ワークを種別ごとに分別するシステムの他、ワークに対する操作や加工を行なうようなシステムにも応用可能である。例えば、ワークの種別ごとに、切断位置、穴あけ位置、研磨位置、印刷位置、塗装位置などを予め登録しておけば、画像処理装置100は、ワークの種別に応じて、登録されている情報に応じた処理を実行することができる。
[B.従来技術およびその課題]
本実施の形態の画像処理装置および画像処理方法について理解を深めるために、従来技術およびその課題について概略する。
図2は、本発明の従来技術およびその課題について説明するための図である。図2に示すように、品種1(ワーク2A)を被写体として撮影して得られたモデル画像30Aと、品種1に形状が類似する品種2(ワーク2B)を被写体として撮影して得られたモデル画像30Bとが登録されている。そして、品種1を被写体として撮影して得られた入力画像31が入力される。従来技術では、登録されている各モデル画像と入力画像とを用いてマッチング処理を実行する。このとき、従来技術に従う画像処理装置のマッチング処理では、モデル画像30Aの画像情報とモデル画像30Bの画像情報とは、ほとんどの部分で一致しているので、入力画像に対するそれぞれの類似度がほぼ同じになってしまう。このため、類似するモデル画像が登録されている場合には、品種の判別を誤る可能性が高くなる。
また、他の判別手法として、線形判別分析がある。線形判別分析とは、品種ごとに予め用意された多数のモデル画像から特徴量を抽出し、抽出した特徴量を基に、モデル画像を品種ごとに最適に分別できる判別空間を生成する手法である。しかし、この手法には、適切な判別空間を生成するために、新たな品種を登録するたびに十分な数のモデル画像を用意する必要があり実用的ではない。また、線形判別分析では、ユーザが判別に用いられたモデル画像上の領域を把握することができないため、判別結果が得られたとしても、ユーザは、どの部分の画像情報を用いて判別処理が行なわれたのかを理解することができない。
本実施の形態の画像処理装置および画像処理方法は、類似するモデル画像が登録されている場合であっても、モデル画像上の判別に適した部分に対するマッチング結果をユーザにわかりやすい態様で表示する。これにより、ユーザは、モデル画像上のどの部分の情報を用いて判別したのかを一見して確認できるようになる。
[C.概要]
類似する形状を有する複数の品種のいずれに属するかを、判別する場合には、登録されているワーク間で形状が異なる部分のマッチング結果をワークの判別に用いることができる。なぜならば、ワーク間で形状が異なる部分は、ワークの種別を判別するための有力な情報になり得るからである。これは、人が、ワークの種別を判別する場合に、ワーク間の形状が異なる部分を手掛かりにワークの種別を判断することからも明らかである。この点に着目して、本実施の形態に従う画像処理装置100は、ワーク間で形状が異なる部分に対して入力画像とマッチング処理を行なう。
以下、画像処理装置100が実行する画像処理の概要について説明する。画像処理装置100は、モデル画像を登録するための登録モードと、入力画像に含まれる検査対象のワークの種別を判別するための判別モードとを有する。まず、図3を参照して、モデル画像の登録処理について説明する。図3は、画像処理装置100が2つのモデル画像間でワークの形状が異なる領域を抽出している様子を示した概念図である。
ユーザが、品種1(ワーク2A)に属する対象物を被写体とするモデル画像30Aと、品種2(ワーク2B)に属する対象物を被写体とするモデル画像30Bとを登録する操作を行なう。ユーザの操作に基づいて、画像処理装置100は、モデル画像30Aとモデル画像30Bとからそれぞれ特徴量を抽出する。画像処理装置100は、抽出したそれぞれの特徴量に基づいて、品種1に属するワーク2Aと品種2に属するワーク2Bとの間で互いに異なる形状を有する領域(以下、「非共通領域」とも称す。)を決定する。典型的には、画像処理装置100は、モデル画像間でエッジが異なる領域を非共通領域とする。なお、非共通領域は、エッジが異なる領域に限定されるわけではなく、モデル画像間で特徴量が異なる領域であればよい。画像処理装置100は、モデル画像として、モデル画像30Aおよびモデル画像30Bを記憶すると共に、それぞれのモデル画像についての非共通領域を記憶する。
次に、図4を参照して、画像処理装置100の判別処理について説明する。図4は、画像処理装置100の判別処理の概要を示した概念図である。
図4に示すように、画像処理装置100は、モデル画像30Aの非共通領域と、当該非共通領域に対応する入力画像の領域とをマッチングする。また、画像処理装置100は、モデル画像30Bの非共通領域と、当該非共通領域に対応する入力画像の領域とをマッチングする。
マッチング処理の一例として、画像処理装置100は、モデル画像の非共通領域の部分ごとに入力画像とマッチング処理を行なう。より具体的には、画像処理装置100は、モデル画像の非共通領域の部分ごとに、当該部分と類似度の高い入力画像内の領域を探索する。画像処理装置100は、非共通領域の各部分のうち、入力画像との類似度が高い部分については入力画像と一致したとみなす。すなわち、当該部分は、照合できた部分としてみなされる(図4の「●」)。また、画像処理装置100は、非共通領域の各部分のうち、入力画像との類似度が低い部分については入力画像と一致したとみなさない。すなわち、当該部分は、照合できない部分としてみなされる(図4の「×」)。
マッチングが完了すると、画像処理装置100は、各々のモデル画像のマッチング結果を用いて検査対象のワークの種別の判別を行なうとともに、モデル画像の非共通領域における各部分に対するマッチング処理の結果を表示する。典型的には、マッチング処理の結果は、モデル画像に重ねて表示される。より具体的には、画像処理装置100は、非共通領域において、マッチングできた部分とマッチングできなかった部分とを異なる態様で表示する(図4の「●」および「×」)。これにより、類似するモデル画像が登録されている場合であっても、画像処理装置100は、非共通領域についてのマッチング結果を表示することで、種別の判別に適した部分に対するマッチング結果をユーザに提示ことができる。
また、画像処理装置100は、モデル画像の非共通領域の各部分について入力画像とマッチング処理を行ない、当該非共通領域の各部分のマッチング結果を用いて判別結果を出力する。一例として、画像処理装置100は、判別結果として判別スコアを算出する。判別スコアは、非共通領域の各部分のうち入力画像との類似度が高い部分が多いほど高くなる。また、判別スコアの値は、非共通領域の各部分のうち入力画像との類似度が低い部分が少ないほど低くなる。典型的には、判別スコアは、非共通領域に含まれる画素数に対する、マッチングに成功した画素の数の割合で示される。画像処理装置100は、非共通領域におけるマッチング結果を用いて品種の判別を行なうことにより、類似するモデル画像が登録された場合であっても、被測定物のワークの種別を正確に判別ことが可能になる。
なお、非共通「領域」は、複数の点(画素)の集合とみなすこともできる。以下では、説明の便宜上、主として「領域」を決定または特定する処理について説明するが、これに限られることなく、各「点」(すなわち、複数の画素の集合)を特定または検出することが可能である。
[D.画像処理装置100のハードウェア構成]
図5は、本実施の形態の画像処理装置100のハードウェア構成を示す模式図である。図5を参照して、画像処理装置100は、典型的には、汎用的なコンピュータアーキテクチャに従う構造を有しており、予めインストールされたプログラムをプロセッサが実行することで、後述するような各種の画像処理を実現する。
より具体的には、画像処理装置100は、表示部102と、CPU(Central Processing Unit)やMPU(Micro-Processing Unit)などのプロセッサ110と、主メモリ112と、ハードディスク114と、カメラインターフェイス120と、ロボットインターフェイス122と、ネットワークインターフェイス124と、メモリカードインターフェイス126とを含む。これらの各部は、内部バス104を介して互いにデータ通信可能に接続される。
プロセッサ110は、ハードディスク114に格納された画像処理プログラム116を読み出して、主メモリ112に展開して実行することで、本実施の形態の画像処理を実現する。表示部102には、画像処理の実行に伴う各種情報が表示される。また、画像処理の実行結果の一部または全部は、ロボットインターフェイス122を通じて、ロボットコントローラ200へ出力されてもよい。
画像処理プログラム116は、例えば、メモリカード106などに格納された状態で流通する。この場合、メモリカードインターフェイス126を通じてメモリカード106に格納された画像処理プログラム116が読み出されて、ハードディスク114へインストールされる。あるいは、画像処理プログラム116は、ネットワークインターフェイス124を通じて、外部サーバから配信されるように構成してもよい。
汎用的なコンピュータアーキテクチャに従う構造を有する画像処理装置100を利用する場合には、コンピュータの基本的な機能を提供するためのOS(Operating System)がインストールされていてもよい。この場合には、画像処理プログラム116は、OSの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の順序および/またはタイミングで呼出して処理を実行するものであってもよい。すなわち、本実施の形態の画像処理に必要なモジュールのすべてが画像処理プログラム116に含まれていなくともよく、必要なモジュールの一部がOSから提供されるような形態であってもよい。さらに、本実施の形態の画像処理プログラム116は、他のプログラムの一部に組み込まれて提供されるものであってもよい。
カメラインターフェイス120は、撮像部8による撮像によって得られる入力画像を受け付ける。撮像部8は、典型的には、レンズなどの光学系に加えて、CCD(Coupled Charged Device)やCMOS(Complementary Metal Oxide Semiconductor)センサといった撮像素子を含んで構成される。図1には、画像処理装置100とは別に撮像部8が設けられ、撮像部8から画像処理の対象となる入力画像が提供される構成例を示すが、この構成に限られるものではない。例えば、画像処理装置100と撮像部8とを一体的に構成し、撮像によって生成される入力画像に対して直接的に画像処理を実行するようにしてもよい。あるいは、各種の記憶媒体または通信媒体を介して、画像処理の対象となる入力画像を画像処理装置100へ与えるようにしてもよい。
代替的に、画像処理プログラム116の実行により提供される機能の一部または全部を専用のハードウェア回路として実装してもよい。
[E.画像処理装置100の機能構成]
図6は、本実施の形態の画像処理装置100の機能構成を示す模式図である。図6に示す各モジュールは、典型的には、プロセッサ110が画像処理プログラム116(いずれも図5)を実行することで実現される。
図6を参照して、画像処理装置100は、その機能構成として、特徴量抽出モジュール150と、領域決定モジュール152と、判別モジュール154と、表示モジュール156と、設定モジュール158とを含む。但し、設定モジュール158については、オプショナルであり、必要に応じて設けられる。
特徴量抽出モジュール150は、基準対象物を撮像して得られたモデル画像に含まれる特徴量を抽出する。典型的には、特徴量抽出モジュール150は、モデル画像に対してエッジ抽出処理を行なうことで特徴量としてエッジを抽出する。抽出された特徴量の情報は、領域決定モジュール152に出力される。
領域決定モジュール152は、複数のモデル画像から抽出されたそれぞれの特徴量に基づいて、モデル画像に含まれる対象物の形状がモデル画像間で互いに異なる形状を有する領域を決定する。すなわち、複数のモデル画像の各々について、他のモデル画像とは異なる特徴量を示す領域である非共通領域をそれぞれ決定する。より具体的には、領域決定モジュール152は、各モデル画像を比較して、互いにエッジが非共通である領域を非共通領域として決定する。非共通領域は、たとえば、モデル画像上の座標情報として示される。領域決定モジュール152は、決定した非共通領域を表示モジュール156および判別モジュール154に出力する。
判別モジュール154は、各ワークの特徴量のうち当該ワークの非共通領域に対応する特徴量を用いて、入力画像に含まれる検査対象のワークがいずれの種別に属するかを判別する。より具体的には、判別モジュール154は、登録対象の各ワークの非共通領域に対応する特徴量を用いて入力画像に対してマッチング処理を行なうとともに、当該マッチング処理の結果得られる判別スコアが他の登録対象のワークに比較して高い基準対象物を特定する。判別モジュール154が実行するマッチング方法としては、モデル画像の非共通領域および入力画像から抽出した特徴量をマッチングする手法であればいずれであってもよい。たとえば、マッチング手法としては、非共通領域から抽出した特徴量(エッジ、エッジコードなど)を用いて、入力画像と相関が高い領域を探索する方法、テンプレートマッチング、その他のマッチング方法などが挙げられる。
また、判別モジュール154は、モデル画像の非共通領域におけるマッチング結果を用いて、入力画像に含まれるワークが、登録されている複数のワークの種別のいずれに類似するかを判別する。典型的には、判別モジュール154は、モデル画像の非共通領域におけるマッチング結果を用いて、入力画像に含まれるワークがいずれの種別に属するかを判別するための判別スコアを算出し、判別スコアでワークの品種を判別する。判別モジュール154の詳細については後述する。
表示モジュール156は、入力画像に対して行われたマッチング処理の結果をモデル画像の非共通領域に表示する。典型的には、表示モジュール156は、モデル画像に重ねてマッチング結果を表示する。表示モジュール156のマッチング結果の表示方法についての詳細は後述する。
設定モジュール158は、モデル画像の非共通領域に対して、判別モジュール154の判別処理に用いる領域と、当該判別処理に用いない領域とを設定する。設定モジュール158の詳細については後述する。
[F.登録処理の詳細]
(F1.領域決定モジュール152の詳細)
図7を参照して、モデル画像の登録処理の詳細について説明するとともに、領域決定モジュール152が決定した非共通領域の表示態様について説明する。図7は、モデル画像を登録するための登録画面の一例を示した図である。
画像処理装置100は、ユーザがモデル画像を登録する場合に、領域決定モジュール152によって決定された非共通領域を確認できるように、当該非共通領域をユーザが識別できる態様で表示する。ユーザが非共通領域を視認できれば、モデル画像のいずれの領域のマッチング結果を用いてワークの種別を判別しているのかを一見して確認できるようになる。
以下、図7を参照しながら、モデル画像の非共通領域を表示するための処理手順について説明する。画像処理装置100には、モデル画像およびモデル画像30Bが登録されている。ユーザは、モデル登録タグ402(図7の斜線部分)を選択した場合、モデル画像に対する非共通領域を登録または編集することができる。
ユーザが、モデル登録画面400Aの実行ボタン412をマウス操作などで選択すると、領域決定モジュール152は、現在登録されているモデル画像30Aおよびモデル画像30Bを比較して、それぞれのモデル画像について非共通領域を決定する。典型的には、領域決定モジュール152は、画像に含まれるワークのエッジの位置が互いに合うように、モデル画像30Aおよびモデル画像30Bを位置合わせする。領域決定モジュール152は、位置合わせしたモデル画像からエッジ部分が異なる領域(すなわち、非共通領域)を各々のモデル画像について特定する。
また、ユーザが、モデル画像の各々について決定された非共通領域を確認したい場合には、モデル画像一覧425に表示されているモデル画像を選択することで、選択したモデル画像の非共通領域を視覚的に確認することができる。たとえば、モデル画像一覧425に表示されているモデル画像30Aが選択された場合には、表示モジュール156は、モデル画像30Aを表示領域420に表示するとともに、モデル画像30Aの非共通領域を識別可能な態様で表示する(図7の「○」)。表示モジュール156は、ユーザによって選択されたモデル画像に対する非共通領域を表示することにより、ユーザは、モデル画像の非共通領域を適宜切り替えて確認することが可能になる。
また、ユーザがモデル登録画面400Aの登録ボタン413を選択すると、画像処理装置100は、モデル画像と、モデル画像上の非共通領域の位置を示す座標情報とを対応付けて、ハードディスク114などの記憶装置に格納する。
なお、ユーザは、登録条件410に各種の値を設定することで、領域決定モジュール152がエッジと見なす領域を調整することができる。たとえば、エッジと見なす領域の調整方法としては、エッジ強度を数値で指定する方法、スライドバーをスライドさせることでエッジ強度を指定する方法、予め定められた複数のレベルに応じてエッジ強度を指定する方法などが挙げられる。領域決定モジュール152は、モデル画像に対して実行したエッジ抽出処理を行ない、設定されたエッジ強度よりも高い領域をエッジ領域と見なし、設定されたエッジ強度よりも低い領域を非エッジ領域としてみなす。
また、図7の表示領域420には、非共通領域が「○」で示されているが非共通領域の表示態様はこれに限定されるわけではなく、ユーザが非表示領域を識別できる態様であればいずれでもよい。たとえば、非共通領域は、三角形などの他の図形で表示されてもよいし、エッジ上に色を付して表示されてもよい。
さらに、非共通領域は、必ずしも登録処理時において特定される必要は無く、以下で説明する、判別処理時において特定されてもよい。
(F2.設定モジュール158の詳細)
図8を参照して、設定モジュール158の処理の詳細を説明する。図8は、モデル画像を登録するための登録画面の一例を示した図である。
ユーザは、非共通領域に対して、ワークの種別の判別処理に用いる領域と、用いない領域とを設定することができる。これにより、画像処理装置100は、判別処理に適さない領域を除外することができ、判別処理の精度を向上させることができる。
以下では、モデル画像の非共通領域に対して、判別処理に用いる領域と、判別処理に用いない領域とを設定するための処理手順について説明する。ユーザは、モデル登録画面400Aの表示領域420に表示されている非共通領域(図8の「○」)に対して、判別処理に適さない領域を指定することができる。一例として、表示領域420には、モデル画像30Bに対する非共通領域が表示されており、ユーザは、マウスなどでカーソル424を操作することにより、非共通領域に対して領域指定(点線422)を行なう。図8においては、判別処理に用いない領域が「×」で示されている。ユーザが非共通領域に対して領域指定を行なった後に、登録ボタン413が選択されると、画像処理装置100は、モデル画像と、モデル画像上の非共通領域の位置を示す座標情報と、ユーザにより指定された非共通領域上の位置を示す座標情報とを対応付けて、ハードディスク114などの記憶装置に格納する。
なお、上記では、判別処理に用いない領域をカーソルで指定する例を挙げて説明したが、領域の指定方法はこれに限定されるわけではなく、領域の指定方法は、非共通領域に対して領域を設定することが可能な方法であればいずれであってもよい。たとえば、画像処理装置100がタッチパネルとして構成される場合には、タッチパネルに対するユーザの操作で領域を指定できるように構成されてもよいし、非共通領域に含まれる画素を個々に指定できるように構成されてもよい。
また、図8には、判別処理に用いない領域を「×」で示されているが、当該領域の表示態様はこれに限定されるわけではなく、判別処理に用いる領域と用いない領域とを異なる態様で表示されるのであればいずれでもよい。たとえば、画像処理装置100は、判別処理に用いる領域と用いない領域との色を異ならせて表示してもよいし、図形を異ならせて表示してもよい。
[G.判別処理の詳細]
(G1.判別モジュール154および表示モジュール156の詳細)
図9を参照して、判別結果の表示方法を説明するとともに、表示モジュール156および判別モジュール154の処理の詳細について説明する。図9は、被検査対象のワークに対する種別の判別結果を表示する結果表示画面400Bの一例を示した図である。
画像処理装置100は、入力画像とモデル画像とのマッチング処理を完了すると、結果一覧450に、入力画像に対する判別結果を、登録されているモデル画像の各々について判別スコアまたは類似度の順に並べて表示する。ここでいう類似度とは、非共通領域におけるマッチング結果だけでなく他の領域のマッチング結果を総合した結果である。すなわち、類似度は、モデル画像と入力画像との相対的な類似性を示す。登録されているモデル画像の各々についての算出された判別スコアおよび類似度の順に判別結果が表示されることで、ユーザは、検査対象のワークの種別を容易に認識できるようになる。
また、ユーザがチェックボックス440に対するチェックを切り替えることで、画像処理装置100は、判別結果を、判別スコアの順に並べるのか、類似度の順に並べるのかを切り替える。これにより、ユーザは、表示結果の表示順を必要に応じて適宜切り替えることが可能になる。
また、ユーザが、特定の入力画像に対するマッチング結果を詳細に確認したい場合には、ユーザは、結果一覧450に表示されたモデル画像を選択することで、選択したモデル画像の非共通領域におけるマッチング結果を画面上で詳細に確認することができる。
一例として、表示領域430には、ユーザにより選択されたモデル画像30Bに対するマッチング結果が示されている。図9に示すように、表示モジュール156は、モデル画像の非共通領域にマッチング結果を重ねて表示する。より具体的には、表示モジュール156は、入力画像との類似度が相対的に高いマッチング結果と、入力画像との類似度が相対的に低いマッチング結果とを異なる態様で表示する。たとえば、図9に示すように、類似度が相対的に高いと判断された領域が「○」で表示され、類似度が相対的に低いと判断された領域が「×」で表示される。
このように、非共通領域におけるマッチング結果を異なる態様で表示することで、ユーザは、判別結果に用いられた領域を一見して確認できるとともに、非共通領域のいずれの部分の判別結果が悪いのかまたは良いのかを直感的に理解することができる。
なお、図9では、非共通領域においてマッチング結果が良好な領域が「○」で示され、マッチング結果が良好でない領域が「×」で示されているが、当該領域の表示態様はこれに限定されるわけではなく、非共通領域におけるマッチング結果の良否を識別できる態様であればいずれであってもよい。たとえば、画像処理装置100は、マッチング結果が良好な領域と、良好でない領域との色を異ならせて表示してもよいし、図形を異ならせて表示してもよい。
また、マッチング処理は、ラインに流れているワークの判別処理の時だけに実行されるだけでなく、モデル画像の登録処理の時において実行されてもよい。この場合、たとえば、ユーザは、ワークを撮影して得られたテスト画像を画像処理装置100に入力し、画像処理装置100は、入力されたテスト画像とモデル画像とをマッチングする。画像処理装置100は、テスト画像に対してマッチングした結果を図9に示されるような態様で表示領域430に表示する。ユーザは、表示されたマッチング結果を見ながら、判別処理に適していない非共通領域の部分を特定し、上述した方法で、判別処理に用いない領域を設定する。このように、ユーザは、モデル画像とテスト画像とのマッチング結果に応じて判別処理に用いる領域と判別処理に用いない領域との選択を行なうことができるので、判別処理に悪影響を及ぼしている非共通領域のマッチング結果をより確実に除外することができる。
さらに、画像処理装置100は、撮像部8がワークを撮影する度にマッチング処理を行ない、非共通領域におけるマッチング結果を表示領域430に順次表示するように構成されてもよい。さらに、画像処理装置100は、登録されているモデル画像のうち、入力画像に1番類似すると判別されたモデル画像に対する結果を表示領域430に最初に表示してもよい。
さらに、図9においては、マッチング結果を登録画像に重ねて表示する例を挙げて説明したが、表示モジュール156は、マッチング結果を入力画像に重ねて表示してもよい。この場合、表示モジュール156は、非共通領域に対応する入力画像上の領域を特定し、特定した領域上にマッチング結果を表示する。
(G2.マッチング結果の表示方法の変形例1)
図10を参照して、マッチング結果の表態態様の変形例について説明する。図10は、被検査対象のワークに対する種別の判別結果を表示する結果表示画面400Bの変形例を示した図である。表示モジュール156は、ユーザが判別スコアを視覚的に理解しやすいように判別スコアを図形で表示してもよい。たとえば、図10の判別スコア領域432に示すように、表示モジュール156は、判別スコアを算出する式を図形(「○」および「×」)で表示する。
なお、図10では、判別スコア領域432において判別スコアを示すための図形として、「○」および「×」が用いられているが、判別スコアの表示態様はこれに限定されるわけではなく、判別スコアの算出方法が視覚的に理解しやすい態様であればいずれであってもよい。たとえば、画像処理装置100は、マッチング結果が良好な領域と、良好でない領域との色を異ならせる態様で判別スコアを表示してもよい。
(G3.マッチング結果の表示方法の変形例2)
図11を参照して、マッチング結果の表態態様の他の変形例について説明する。図11は、被検査対象のワークに対する種別の判別結果を表示する結果表示画面400Bの他の変形例を示した図である。
画像処理装置100は、品種を判別するためのスコアとして判別スコアを直接用いてよいが、判別スコアに類似度を合わせて算出した混合スコアを、品種を判別するための最終的なスコアとして用いてもよい。たとえば、判別モジュール154は、算出した判別スコアおよび類似度に所定の重み掛けて足し合わせて混合スコアを算出する。一例として、混合スコアは、以下の式(1)で示される。
混合スコア=α×判別スコア+(1−α)×類似度、0≦α≦1・・・式(1)
混合スコアを算出するための重みαは、ユーザ操作により適宜変更することができる。たとえば、ユーザは、スライドバー460を操作することにより重みαを、調整することができる。これにより、画像処理装置100は、最終的な出力値として、品種間の相違点に敏感にするのか、ロバストにするのかをユーザの要望に合わせて決定することが可能になる。
また、算出された混合スコアは、判別スコアおよび類似度に並べて結果一覧450に表示される。混合スコアが並べて表示されることにより、ユーザは、判別スコアと類似度と混合スコアとの関係を一見して確認できるようになる。
また、ユーザがチェックボックス440に対するチェックを切り替えることで、画像処理装置100は、判別結果を、判別スコアの順に並べるのか、類似度の順に並べるのか、混合スコアの順に並べるのかを切り替える。他にも、画像処理装置100は、様々な情報に応じて、判別結果を並び替えられるように構成されてもよい。たとえば、画像処理装置100は、ユーザのモデル画像に付されたID(Identification)の順に判別結果の表示を並び替えられるように構成されてもよい。これにより、ユーザは、表示結果の表示順を必要に応じて適宜切り替えることが可能になる。
なお、図11には、混合スコアの重みを調整するための手段としてスライドバー460が示されているが、重みの調整方法はこれに限定されるわけではない。たとえば、結果表示画面400Bは、混合スコアを算出するための重みをユーザが直接入力できるように構成されてもよいし、予め定められた複数のレベル(「高」、「中」、「低」など)からユーザが重みレベルを選択できるように構成されてもよい。
[H.画像処理装置100の処理手順]
図12および図13を参照して、画像処理装置100の制御構造について説明する。図12および図13に示す各ステップは、典型的には、プロセッサ110が画像処理プログラム116(いずれも図5)を実行することで実現される。基本的には、モデル登録処理の実行後、マッチング処理が実行されるが、この順序は問わない。1回のモデル登録処理でモデル情報を登録しておき、この登録されたモデル情報を共通に用いて、複数の入力画像に対して、マッチング処理をそれぞれ行なってもよい。他の局面において、処理の一部又は全部が、回路素子その他のハードウェアによって実行されてもよい。
(H1.登録処理フロー)
まず、図12を参照しながら、モデル画像の登録処理手順について説明する。図12は、モデル画像の登録処理のフローチャートを示す図である。図12に示される各ステップは、画像処理装置100の処理モードが登録モードの場合に実行される。
図12を参照して、ステップS510において、プロセッサ110は、ワークを被写体として含むモデル画像を取得する。プロセッサ110は、他の装置で撮影して得られた画像を記憶した各種記録媒体からモデル画像を取得してもよい。ステップS512において、プロセッサ110は、特徴量抽出モジュール150として、モデル画像から特徴量を抽出する。典型的には、プロセッサ110は、モデル画像に対してエッジ抽出処理を実行することでモデル画像からエッジを抽出する。
ステップS514において、プロセッサ110は、領域決定モジュール152として、異なる品種に属するワーク間で互いに異なる形状を有する領域(すなわち、非共通領域)を決定する。典型的には、プロセッサ110は、異なる品種を含む各モデル画像を互いに比較して、画像上のエッジが異なる領域を非共通領域とする。ステップS516において、プロセッサ110は、表示モジュール156として、モデル画像に重ねて、ユーザが識別可能な態様で非共通領域を表示する。
ステップS518において、プロセッサ110は、設定モジュール158として、モデル画像の非共通領域に対して、判別処理に用いる領域と、判別処理に用いない領域との設定を受け付ける。典型的には、画像処理装置100は、表示された非共通領域に対して判別処理に用いない領域をユーザによって指定できるように構成され、プロセッサ110は、指定された領域上に対応するモデル画像上の領域の情報を判別処理に用いない領域として設定する。ステップS520において、プロセッサ110は、モデル画像と非共通領域とを対応付けて格納する。なお、プロセッサ110は、マッチング処理に用いる情報として、モデル画像そのものを格納してもよいし、モデル画像から抽出した特徴量を格納してもよい。
(H2.判別処理フロー)
次に、図13を参照しながら、非検査対象のワークに対する種別判別処理の手順について説明する。図13は、モデル画像と入力画像との判別処理のフローチャートを示す図である。図13に示される各ステップは、画像処理装置100の処理モードが判別モードの場合に実行される。
図13を参照して、ステップS530において、プロセッサ110は、撮像部8がコンベアに流れるワークを撮影したか否かを判断する。典型的には、プロセッサ110は、撮像部8から画像信号を受け付けた場合に、ワークが撮影されたと判断する。プロセッサ110は、撮像部8から画像信号が受け付けた場合(ステップS530においてYES)、制御をステップS532に切り替える。そうでない場合には(ステップS530においてNO)、プロセッサ110は、制御をステップS540に切り替える。
ステップS534において、プロセッサ110は、判別モジュール154として、登録されているモデル画像の各々について、当該モデル画像の非共通領域の特徴量を用いて、入力画像とのマッチング処理を実行する。また、プロセッサ110は、モデル画像の非共通領域におけるマッチング結果を用いて入力画像に含まれる被検査対象のワークの種別を判別する。ステップS536において、プロセッサ110は、表示モジュール156として、被検査対象のワークの判別結果を表示する。
ステップS540において、プロセッサ110は、本実施の形態に従う画像処理を終了するか否かを判断する。プロセッサ110は、たとえば、当該画像処理を終了するユーザ操作を受けた場合に、当該画像処理を終了する。プロセッサ110は、本実施の形態に従う画像処理を終了すると判断した場合には(ステップS540においてYES)、当該画像処理を終了する。そうでない場合には(ステップS540においてNO)、プロセッサ110は、ステップS530からステップS540までの処理を再度順に実行する。
[I.結論]
以上のようにして、本実施の形態に従う画像処理装置100は、非共通領域におけるマッチング結果を表示することにより、複数の品種間で異なる部分(すなわち、非共通領域)が、どの程度照合されたのかをユーザに示すことが可能になる。また、品種間の異なる部分のマッチング結果を用いて品種判別を行なうことにより、類似する品種が登録されていたとしても、検査対象物がどの品種に属するのかを正確に判別できるようになる。
<第2の実施の形態>
以下、第2の実施の形態に従う画像処理装置100Aの概要について説明する。本実施の形態に従う画像処理装置100Aは、非共通領域に含まれる、エッジが存在すべき領域のマッチング結果だけでなく、エッジが存在すべきでない領域のマッチング結果をさらに用いて判別処理を行なう点で第1の実施の形態に従う画像処理装置100と異なる。なお、ハードウェア構成については第1の実施の形態に従う画像処理装置100と同じであるので説明を繰り返さない。
図14および図15を参照して、第2の実施の形態に従う画像処理装置100Aの概要について説明する。図14は、画像処理装置100Aが2つのモデル画像間でワークの形状が異なる領域を抽出している様子を示した概念図である。まず、図14を参照しながら、画像処理装置100Aが実行する登録処理について説明する。
画像処理装置100Aに含まれる領域決定モジュール152は、登録されているモデル画像を比較して、互いに異なる領域(すなわち、非共通領域)を決定する。このとき、モデル画像間の非共通領域には、その領域内においてワークが含まれる領域(以下「ワーク領域」とも称す。)と、ワークが含まれない領域(以下「非ワーク領域」とも称す。)とが含まれる。すなわち、ワーク領域とは、非共通領域内の領域においてワークが写っている領域をいう。また、非ワーク領域とは、非共通領域内の領域においてワークが写っていない領域をいう。
一例として、図14には、モデル画像30Aとモデル画像30Bとを比較して決定された、それぞれの画像のワーク領域と非ワーク領域とが示されている。モデル画像30Aには、モデル画像30Aを基準にしたモデル画像30Bに対する非共通領域が示されている。より具体的には、モデル画像30Aには、モデル画像30Aにおいてワークが含まれて、かつ、モデル画像30Bにおいてワークが含まれない領域(すなわち、ワーク領域)が「○」で示されている。また、モデル画像30Aには、モデル画像30Aにおいてワークが含まれて、かつ、モデル画像30Bにおいてワークが含まれない領域(すなわち、非ワーク領域)が「●」で示されている。
同様に、モデル画像30Bには、モデル画像30Bを基準にしたモデル画像30Aに対する非共通領域が示されている。より具体的には、モデル画像30Bには、モデル画像30Bにおいてワーク含まれて、かつ、モデル画像30Aにおいてワークが含まれない領域(すなわち、ワーク領域)が「○」で示されている。また、モデル画像30Bには、モデル画像30Bにおいてワークが含まれずに、かつ、モデル画像30Aにおいてワークが含まれる領域(すなわち、非ワーク領域)が「●」で示されている。
ワーク領域および非ワーク領域とが決定されると、画像処理装置100Aは、モデル画像30Aおよびモデル画像30Bを記憶すると共に、それぞれのモデル画像についてのワーク領域および非ワーク領域を記憶する。
次に、図15を参照して、画像処理装置100Aが実行する判別処理について説明する。図15は、画像処理装置100Aの判別処理の概要を示した概念図である。本実施の形態に従う画像処理装置100Aは、ワーク領域におけるマッチング結果だけでなく、ワーク領域および非ワーク領域の両方におけるマッチング結果を用いて、判別処理を行なう。
具体的な判別処理の手順としては、図15に示すように、画像処理装置100Aは、登録されているモデル画像30Aのワーク領域および非ワーク領域の両方から抽出した特徴量を用いて入力画像とマッチングする。同様に、画像処理装置100Aは、登録されているモデル画像30Bのワーク領域および非ワーク領域の両方から抽出した特徴量を用いて入力画像とマッチングする。
マッチングが完了すると、画像処理装置100Aは、モデル画像のワーク領域と非ワーク領域との両方に対するマッチング結果を表示する。典型的には、画像処理装置100Aは、モデル画像に重ねて、ワーク領域および非ワーク領域におけるマッチング結果を表示し、マッチングできた部分とマッチングできなかった部分とを異なる態様で表示する(図15の「●」および「×」)。このように、類似するモデル画像が登録されている場合であっても、画像処理装置100Aは、ワーク領域および非ワーク領域についてのマッチング結果を表示することで、種別の判別に適した領域に対するマッチング結果をユーザに提示ことができる。
また、画像処理装置100Aは、ワーク領域および非ワーク領域におけるマッチング結果に基づいて、入力画像に含まれるワークがいずれの種別に属するかを判別するための判別スコアを算出する。典型的には、判別スコアは、ワーク領域および非ワーク領域に含まれる画素数に対する、マッチングに成功した画素の数の割合で示される。
なお、図14では、ワーク領域が「○」で示され、非ワーク領域が「●」で示されているが、ワーク領域および非ワーク領域の表示態様はこれに限定されない。たとえば、画像処理装置100Aは、ワーク領域と非ワーク領域とを、色を異ならせる態様で表示してもよいし、図形を異ならせる態様で表示してもよい。また、ワーク領域および非ワーク領域は、モデル画像上のエッジ上の領域であってもよい。
以上のようにして、本実施の形態に従う画像処理装置100Aは、ワーク領域と非ワーク領域との両方のマッチング結果を用いてワークの種別を判別することにより、ワーク領域のみのマッチング結果を用いた場合に比べて、ワークの品種判別の精度をさらに向上させることができる。
<第3の実施の形態>
以下、第3の実施の形態に従う画像処理装置100Bの概要について説明する。本実施の形態に従う画像処理装置100Bは、非共通領域の各々のマッチング結果に重みを付けて判別スコアを算出する点で第1の実施の形態に従う画像処理装置100と異なる。なお、ハードウェア構成については第1の実施の形態に従う画像処理装置100と同じであるので説明を繰り返さない。
図16および図17を参照して、第3の実施の形態に従う画像処理装置100Bの概要について説明する。図16は、画像処理装置100Bが2つのモデル画像間でワークの形状が異なる領域を抽出している様子を示した概念図である。図17は、画像処理装置100Bの判別処理の概要を示した概念図である。まず、図16を参照しながら、画像処理装置100Bが実行する登録処理について説明する。
ユーザが、品種1(ワーク2A)に属する対象物を被写体とするモデル画像30Aと、品種2(ワーク2B)に属する対象物を被写体とするモデル画像30Bと、第3種別(ワーク2C)に属する対象物を被写体とするモデル画像30Cとを登録する操作を行なう。ユーザの登録操作に基づいて、画像処理装置100Bは、モデル画像30Aとモデル画像30Bとモデル画像30Cとからそれぞれ特徴量を抽出する。画像処理装置100Bは、抽出したそれぞれの特徴量に基づいて、品種1に属する対象物と品種2に属する対象物と第3種別に属する対象物との間で互いに異なる形状を有する領域(すなわち、非共通領域)を決定する。典型的には、画像処理装置100Bは、モデル画像間でエッジが異なる領域を非共通領域とする。
図16に示される例においては、モデル画像の非共通領域のエッジとして、1つの画像にのみ存在して残りの2つの画像には存在しないエッジ(図16の「●」)と、2つの画像に存在して残りの1つの画像には存在しないエッジ(図16の「○」)とがある。モデル画像間で特異な非共通領域のマッチング結果ほど、ワークの種別を判別するための情報としては有力であると考えられる。このため、画像処理装置100Bは、特異な非共通領域におけるマッチング結果ほど判別結果に与える影響を大きくする。すなわち、モデル画像間でユニークな非共通領域におけるマッチング結果ほど重みを大きくして判別スコアを算出する。
一例として、図17のモデル画像30Bの非共通領域45と非共通領域47とを例に挙げてマッチング結果の重み付けについて説明する。非共通領域45のエッジは、他のモデル画像(モデル画像30Aおよびモデル画像30C)に存在せず、モデル画像30Bにのみ存在する特異なものである。また、非共通領域47のエッジは、モデル画像30Cには存在しないが、モデル画像30Aの領域41には存在する。このため、モデル画像30Bにおいては、非共通領域47のエッジよりも非共通領域45のエッジの方が、他のモデル画像と区別するための情報としては有力である。したがって、判別モジュール154は、非共通領域47におけるマッチング結果よりも、非共通領域45におけるマッチング結果を重視する。
なお、画像処理装置100Bは、非共通領域に付された重みをユーザが視認できるように、当該重みに応じて非共通領域の表示態様を変えてもよい。たとえば、画像処理装置100Bは、非共通領域に付された重みに応じて、非共通領域の表示の色や濃度を変化させる。より具体的には、画像処理装置100Bは、重みが大きくなるにつれて濃い色で表示し、重みが小さくなるほど薄い色で表示する。また、画像処理装置100Bは、非共通領域の近辺に重みを数値として表示してもよい。
以上のようにして、本実施の形態に従う画像処理装置100Bは、非表示領域に付された重みに応じて、非表示領域の表示態様を変えるので、ユーザは、どの部分の非共通領域がどの程度判別処理に寄与しているのかを直感的に理解できるようになる。また、画像処理装置100Bは、他のモデル画像と区別することが可能な非共通領域について大きな重みを付けて判別スコアを算出することにより、類似するモデル画像が多数登録されている場合であっても、被検査対象のワークの種別を正確に判別することが可能になる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 システム、2A,2B,2C ワーク、3A,3B 箱、8 撮像部、10 コンベア、30A〜30C モデル画像、31 入力画像、41 領域、45,47 非共通領域、100,100A,100B 画像処理装置、102 表示部、104 内部バス、106 メモリカード、110 プロセッサ、112 主メモリ、114 ハードディスク、116 画像処理プログラム、120 カメラインターフェイス、122 ロボットインターフェイス、124 ネットワークインターフェイス、126 メモリカードインターフェイス、150 特徴量抽出モジュール、152 領域決定モジュール、154 判別モジュール、156 表示モジュール、158 設定モジュール、200 ロボットコントローラ、300 ロボット、400A モデル登録画面、400B 結果表示画面、402 モデル登録タグ、410 登録条件、412 実行ボタン、413 登録ボタン、420,430 表示領域、422 点線、424 カーソル、425 モデル画像一覧、432 判別スコア領域、440 チェックボックス、450 結果一覧、460 スライドバー。

Claims (13)

  1. 互いに異なる種別に属する複数の基準対象物のモデル画像から得られた特徴量を保持する記憶手段と、
    各対象物のモデル画像内において他の対象物とは異なる特徴量を示す領域である非共通領域を決定する領域決定手段と、
    各対象物の特徴量のうち当該対象物の非共通領域に対応する特徴量を用いて、入力画像に含まれる対象物がいずれの種別に属するかを判別する判別手段とを備える、画像処理装置。
  2. 前記判別手段は、各基準対象物の非共通領域に対応する特徴量を用いて前記入力画像に対してマッチング処理を行なうとともに、当該マッチング処理の結果得られるスコアが他の基準対象物に比較して高い基準対象物を特定する、請求項1に記載の画像処理装置。
  3. 前記画像処理装置は、複数の前記モデル画像のうちの少なくとも1つのモデル画像の非共通領域に対して、前記判別手段の判別処理に用いる領域と、当該判別処理に用いない領域とを設定するための設定手段をさらに備える、請求項1または2に記載の画像処理装置。
  4. 前記判別手段は、複数の前記モデル画像の間で特異な非共通領域におけるマッチング処理の結果ほど種別の判別結果に与える影響を大きくする、請求項1〜3のいずれか1項に記載の画像処理装置。
  5. 前記判別手段は、前記モデル画像の非共通領域の部分ごとに前記入力画像とマッチング処理を行ない、当該非共通領域の各部分のマッチング処理の結果を用いて前記スコアを算出する、請求項2〜4のいずれか1項に記載の画像処理装置。
  6. 前記画像処理装置は、前記モデル画像のうちのいずれかのモデル画像についての非共通領域に対する前記マッチング処理の結果を識別可能な態様で表示するための表示手段をさらに備える、請求項1〜5のいずれか1項に記載の画像処理装置。
  7. 前記表示手段は、複数の前記モデル画像のうちのいずれかのモデル画像に重ねて、当該モデル画像の非共通領域に対するマッチング処理の結果を表示する、請求項1〜6のいずれか1項に記載の画像処理装置。
  8. 前記表示手段は、前記入力画像との類似度が相対的に高いマッチング処理の結果と、前記入力画像との類似度が相対的に低いマッチング処理の結果とを異なる態様で表示する、請求項1〜7のいずれか1項に記載の画像処理装置。
  9. 前記表示手段は、複数の前記モデル画像のうちのいずれかのモデル画像に重ねて、当該モデル画像における非共通領域を識別可能な態様で表示する、請求項1〜8のいずれか1項に記載の画像処理装置。
  10. 前記非共通領域は、当該非共通領域において対象物が含まれる対象物領域を含み、
    前記表示手段は、複数の前記モデル画像のうちのいずれかのモデル画像に重ねて、当該モデル画像の非共通領域に含まれる前記対象物領域を識別可能な態様で表示する、請求項1〜9のいずれか1項に記載の画像処理装置。
  11. 前記非共通領域は、当該非共通領域において対象物が含まれない非対象物領域をさらに含み、
    前記表示手段は、複数の前記モデル画像のうちのいずれかのモデル画像に重ねて、当該モデル画像の非共通領域に含まれる対象物領域と、当該モデル画像の非共通領域に含まれる非対象物領域とを異なる態様で表示する、請求項10に記載の画像処理装置。
  12. 互いに異なる種別に属する複数の基準対象物のモデル画像から得られた特徴量を保持するステップと、
    各対象物のモデル画像内において他の対象物とは異なる特徴量を示す領域である非共通領域を決定するステップと、
    各対象物の特徴量のうち当該対象物の非共通領域に対応する特徴量を用いて、入力画像に含まれる対象物がいずれの種別に属するかを判別するステップとを備える、画像処理方法。
  13. 画像処理プログラムであって、
    前記画像処理プログラムは、コンピュータに、
    互いに異なる種別に属する複数の基準対象物のモデル画像から得られた特徴量を保持するステップと、
    各対象物のモデル画像内において他の対象物とは異なる特徴量を示す領域である非共通領域を決定するステップと、
    各対象物の特徴量のうち当該対象物の非共通領域に対応する特徴量を用いて、入力画像に含まれる対象物がいずれの種別に属するかを判別するステップとを実行させる、画像処理プログラム。
JP2014051321A 2014-03-14 2014-03-14 画像処理装置、画像処理方法、および画像処理プログラム Pending JP2015176272A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014051321A JP2015176272A (ja) 2014-03-14 2014-03-14 画像処理装置、画像処理方法、および画像処理プログラム
US14/601,524 US9600893B2 (en) 2014-03-14 2015-01-21 Image processing device, method, and medium for discriminating a type of input image using non-common regions
EP15151901.4A EP2919163A3 (en) 2014-03-14 2015-01-21 Image processing device, image processing method, and image processing program
CN201510077159.8A CN104915675A (zh) 2014-03-14 2015-02-13 图像处理装置、图像处理方法以及图像处理程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014051321A JP2015176272A (ja) 2014-03-14 2014-03-14 画像処理装置、画像処理方法、および画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2015176272A true JP2015176272A (ja) 2015-10-05

Family

ID=52391820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014051321A Pending JP2015176272A (ja) 2014-03-14 2014-03-14 画像処理装置、画像処理方法、および画像処理プログラム

Country Status (4)

Country Link
US (1) US9600893B2 (ja)
EP (1) EP2919163A3 (ja)
JP (1) JP2015176272A (ja)
CN (1) CN104915675A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005500A (ja) * 2016-06-30 2018-01-11 オムロン株式会社 画像処理システム、画像処理方法、および画像処理プログラム
WO2022224447A1 (ja) * 2021-04-23 2022-10-27 日本電気株式会社 制御装置、制御方法及び記憶媒体

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9390315B1 (en) * 2015-06-25 2016-07-12 A9.Com, Inc. Image match for featureless objects
US10007867B2 (en) * 2016-04-04 2018-06-26 Google Llc Systems and methods for identifying entities directly from imagery
JP6731370B2 (ja) * 2017-03-27 2020-07-29 株式会社日立ハイテク 画像処理システム及び画像処理を行うためのコンピュータープログラム
CN109348732A (zh) * 2017-05-30 2019-02-15 正凯人工智能私人有限公司 图像处理方法及系统
JP6517298B2 (ja) * 2017-10-10 2019-05-22 株式会社Cygames 対象物取得確認のためのシステム、サーバ、プログラム及び方法
CN109949213B (zh) * 2019-03-15 2023-06-16 百度在线网络技术(北京)有限公司 用于生成图像的方法和装置
CN110909750B (zh) * 2019-11-14 2022-08-19 展讯通信(上海)有限公司 图像差异检测方法及装置、存储介质、终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09245168A (ja) * 1996-03-13 1997-09-19 Tech Res & Dev Inst Of Japan Def Agency 画像認識装置
JP2002133413A (ja) * 2000-10-26 2002-05-10 Kawasaki Heavy Ind Ltd 画像処理を用いる3次元物体の識別方法および装置
JP2006329684A (ja) * 2005-05-23 2006-12-07 Olympus Corp 画像計測装置及び方法
JP2009116385A (ja) * 2007-11-01 2009-05-28 Sony Corp 情報処理装置および情報処理方法、画像識別装置および画像識別方法、並びに、プログラム
JP2011083882A (ja) * 2009-10-19 2011-04-28 Yaskawa Electric Corp ロボットシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2455025A (en) * 2006-09-15 2009-06-03 Nielsen Co Methods and apparatus to identify images in print advertisements
JP2008252862A (ja) * 2007-03-05 2008-10-16 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
US8908903B2 (en) * 2011-08-31 2014-12-09 The Nielsen Company (Us), Llc Image recognition to support shelf auditing for consumer research
CN103489195B (zh) * 2013-10-11 2016-05-18 胡晓彤 金属罐罐身图案方向检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09245168A (ja) * 1996-03-13 1997-09-19 Tech Res & Dev Inst Of Japan Def Agency 画像認識装置
JP2002133413A (ja) * 2000-10-26 2002-05-10 Kawasaki Heavy Ind Ltd 画像処理を用いる3次元物体の識別方法および装置
JP2006329684A (ja) * 2005-05-23 2006-12-07 Olympus Corp 画像計測装置及び方法
JP2009116385A (ja) * 2007-11-01 2009-05-28 Sony Corp 情報処理装置および情報処理方法、画像識別装置および画像識別方法、並びに、プログラム
US20090141984A1 (en) * 2007-11-01 2009-06-04 Akira Nakamura Information Processing Apparatus, Information Processing Method, Image Identifying Apparatus, Image Identifying Method, and Program
JP2011083882A (ja) * 2009-10-19 2011-04-28 Yaskawa Electric Corp ロボットシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"テンプレートマッチングにおける類似物との識別に有効な画素選択手法", 情報処理学会 研究報告 コンピュータビジョンとイメージメディア(CVIM), JPN6017039761, 23 May 2013 (2013-05-23), ISSN: 0003666187 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005500A (ja) * 2016-06-30 2018-01-11 オムロン株式会社 画像処理システム、画像処理方法、および画像処理プログラム
WO2022224447A1 (ja) * 2021-04-23 2022-10-27 日本電気株式会社 制御装置、制御方法及び記憶媒体
JPWO2022224447A1 (ja) * 2021-04-23 2022-10-27
JP7601215B2 (ja) 2021-04-23 2024-12-17 日本電気株式会社 制御装置、制御方法及びプログラム

Also Published As

Publication number Publication date
US20150262370A1 (en) 2015-09-17
EP2919163A2 (en) 2015-09-16
CN104915675A (zh) 2015-09-16
US9600893B2 (en) 2017-03-21
EP2919163A3 (en) 2016-01-06

Similar Documents

Publication Publication Date Title
JP2015176272A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US20060029276A1 (en) Object image detecting apparatus, face image detecting program and face image detecting method
US9177222B2 (en) Edge measurement video tool and interface including automatic parameter set alternatives
KR20110124223A (ko) 얼굴들을 상관시킴으로써 디지털 이미지들을 구조화하기
JP2008108008A (ja) 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体
US11989928B2 (en) Image processing system
CN101454798A (zh) 红眼检测仪器、红眼检测方法和红眼检测程序
JP2015143951A (ja) 物体判別装置、画像センサ、物体判別方法
JPWO2018154709A1 (ja) 動作学習装置、技能判別装置および技能判別システム
JP2017033408A (ja) 画像処理装置、画像処理方法およびプログラム
JP2022009474A (ja) ビジョンシステムでラインを検出するためのシステム及び方法
CN103324654A (zh) 显示与检索对象类似的图像的图像处理装置、以及图像处理方法
JP6425405B2 (ja) 情報処理装置、方法、プログラム
JP2018029270A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
US9053383B2 (en) Recognizing apparatus and method, program, and recording medium
JP2018036901A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2008009938A (ja) 動画像データ処理装置、動画像データ処理方法、動画像データ処理プログラム、およびこれを記録した記録媒体
EP2919166A1 (en) Image processing device, image processing method, and image processing program
US20220392107A1 (en) Image processing apparatus, image processing method, image capturing apparatus, and non-transitory computer-readable storage medium
JP6958020B2 (ja) 画像解析プログラム、画像解析装置、及び画像解析方法
JP2020077397A (ja) 画像処理方法、画像処理装置、生産システム、物品の製造方法、プログラム、および記録媒体
US12277763B2 (en) Load estimation apparatus and method
JP7574642B2 (ja) 位置合わせ装置、位置合わせシステム、位置合わせ方法およびプログラム
EP4292777A1 (en) Assistance system, image processing device, assistance method and program
US20170069138A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171024

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180417