[go: up one dir, main page]

JP2011211678A - 画像処理装置および画像処理プログラム - Google Patents

画像処理装置および画像処理プログラム Download PDF

Info

Publication number
JP2011211678A
JP2011211678A JP2010146544A JP2010146544A JP2011211678A JP 2011211678 A JP2011211678 A JP 2011211678A JP 2010146544 A JP2010146544 A JP 2010146544A JP 2010146544 A JP2010146544 A JP 2010146544A JP 2011211678 A JP2011211678 A JP 2011211678A
Authority
JP
Japan
Prior art keywords
image
imaging
image processing
captured image
delay amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010146544A
Other languages
English (en)
Inventor
Takashi Mitsushio
孝史 満塩
Takeshi Yoshiura
豪 吉浦
Koji Shimada
浩二 嶋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2010146544A priority Critical patent/JP2011211678A/ja
Priority to EP11152486.4A priority patent/EP2367151B1/en
Priority to US13/029,480 priority patent/US8538076B2/en
Publication of JP2011211678A publication Critical patent/JP2011211678A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Facsimiles In General (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】撮像のタイミングを指定するディレイ時間を速やかに決定する。
【解決手段】画像処理装置100は、ワーク2を搬送しながら検査する搬送機構6に設置された撮像装置8から、撮像画像を入力する。画像処理装置100は、一定時間の間隔で、撮像装置8に複数回の撮像を行わせる。一定時間の間隔での撮像により撮像装置8から出力された撮像画像から検出したワーク2の位置とユーザ操作による目標位置との関係に基づき、ワーク2を目標位置付近に位置するタイミングで撮像するのに必要なディレイ時間を導出し、導出したディレイ時間を撮像装置8の撮像タイミングのために設定する。
【選択図】図1

Description

本発明は、検査対象の撮像画像を処理する画像処理装置および画像処理プログラムに関し、特に、撮像のタイミングを制御する画像処理装置および画像処理プログラムに関する。
従来から、製造ラインを流れるワーク(検査対象)を画像センサで検査するためには、画像センサの検査範囲で画像の撮像が行なえるように、トリガ信号のタイミングを調整する必要がある。つまり、外部の汎用センサなどをトリガセンサとして、画像センサにトリガ信号を入力し、画像センサは入力したトリガ信号に応答して撮像を行なう。
このような検査システムにおいて、確実な検査を行なうには、検査対象物の全体画像を生成する必要がある。このため、一般に、検査を開始するのに先立ち、検査対象物が中央に位置した状態の画像データを生成できるようにトリガセンサと画像センサの設置位置関係を調整する。
しかしながら、この種の調整は、実際にラインや検査システムを動かし、得られた画像をモニタで確認しながら行なうため、試行錯誤の繰り返しにより時間がかかる。また、センサとモニタとが離れている場合には、2人がかりの作業となる。また、検査対象物の種類や検査の目的によって、ラインの移動速度が変更されると、センサの位置を再調整しなければならない。
これらの課題を解決するために、出願人により、特許文献1に記載の画像処理装置が提案された。この画像処理装置によれば、移動経路であるラインの所定位置に向けて位置決めされたセンサからの検出信号の入力に応じて撮像装置にトリガ信号を出力する。そして、トリガ信の出力タイミングを制御するための遅延量が設定されるようにしている。特許文献1では、ユーザが画面上の対象物の位置を確認して、その対象物を画面の中央に移動させるための操作をすることにより、遅延量の値が調整される。具体的には、対象物が画面の左寄りに位置する場合には右向きの矢印キーを、右寄りに位置する場合には左向きの矢印キーを、それぞれ操作することにより、遅延量は、一定数だけ増加し、また一定数だけ減少する。
特開2004−253983号公報
特許文献1に開示される方法では、遅延量を推測で入力した後、実際にラインを動かしてその遅延量を用いた撮像を行い、画像を目視で確認するという作業を繰り返す必要があり、遅延量を決定するまでに、手間と時間を費やした。
それゆえにこの発明の目的は、撮像のタイミングを指定する遅延量を速やかに決定することのできる画像処理装置および画像処理プログラムを提供することである。
この発明のある局面に従うと、対象物の搬送経路に向けて位置決めされた撮像装置を駆動し、撮像装置から取得した撮像画像を処理することにより、対象物に対する観測処理を実行する画像処理装置は、搬送経路の所定位置に向けて位置決めされたセンサからの検出信号を入力する検出信号入力手段と、検出信号の入力に応じて撮像装置に撮像指令を出力する指令出力手段と、指令出力手段に撮像指令の出力タイミングを制御するための遅延量を設定する遅延量設定手段と、を備え、遅延量設定手段は、外部からの操作を受付ける入力部と、少なくとも撮像画像と入力部が受付ける操作内容を出力する出力手段と、撮像画像中の目標位置を、入力部で受付ける操作内容から取得する目標位置取得手段と、検出信号入力手段が検出信号を入力したときに取得した撮像画像中の、対象物の位置を検出する位置検出手段と、一定時間の間隔で、撮像装置に複数回の撮像を行わせる撮像制御手段と、を含み、一定時間の間隔での撮像により撮像装置から出力された撮像画像から位置検出手段が検出した対象物の位置と目標位置との関係に基づき、対象物を目標位置付近に位置するタイミングで撮像するのに必要な遅延量を導出し、導出した遅延量を指令出力手段に設定する遅延量として確定する。
好ましくは、目標位置取得手段は、一定時間間隔での複数回の撮像により取得される複数の撮像画像の中から、入力部で受付ける操作内容が指示する撮像画像を選択する選択手段を、有し、選択された撮像画像から対象物の位置を目標位置として検出する。
好ましくは、遅延量設定手段は、複数の撮像画像それぞれについて、取得される順番が検出され、選択された撮像画像について検出された順番の値と一定時間とから遅延量を導出する。
好ましくは、出力手段には、複数の撮像画像は切替えながら表示される。
好ましくは、出力手段には、複数の撮像画像は一覧表示される。
好ましくは、目標位置取得手段は、一定時間間隔での複数回の撮像により取得される複数の撮像画像の中から、入力部で受付ける操作内容が指示する撮像画像を選択する選択手段を、有し、選択された撮像画像の中の対象物の位置を移動させるための、入力部が受付ける操作量から目標位置を検出する。
好ましくは、目標位置取得手段は、一定時間間隔での複数回の撮像により取得される複数の撮像画像の中から、入力部で受付ける操作内容が指示する撮像画像を選択する選択手段を、有し、遅延量設定手段は、選択された撮像画像の中の対象物の位置と、位置検出手段が検出した対象物の位置との間の距離を用いて遅延量を導出する。
好ましくは、目標位置取得手段は、一定時間間隔での複数回の撮像により取得される複数の撮像画像について、連続して取得される2個の撮像画像の組について、撮像画像の中の一方の対象物から他方の対象物に向くベクトルを検出する第1手段と、入力部が受付ける操作内容から、撮像画像の中の一方の対象物を始点とし、終点を目標位置とするベクトルを検出する第2手段と、を有し、遅延量設定手段は、撮像画像の中の一方の対象物の位置と他方の対象物の位置との距離を検出する手段と、検出された距離と、第1手段が検出するベクトルと、第2手段が検出するベクトルとを用いて遅延量を導出する。
この発明の他の局面に従うと、対象物の搬送経路に向けて位置決めされた撮像装置を駆動し、撮像装置から取得した撮像画像を処理することにより、対象物に対する観測処理を実行する画像処理装置は、搬送経路の所定位置に向けて位置決めされたセンサからの検出信号を入力する検出信号入力手段と、撮像装置に撮像指令を出力する指令出力手段と、外部からの操作を受付ける操作入力手段と、表示装置に表示する画像を出力する画像出力手段と、検出信号入力手段が検出信号を入力してから指令出力手段が撮像指令を出力するまでの遅延量を設定する遅延量設定手段と、を備える。
上述の遅延量設定手段は、検出信号入力手段が検出信号を入力した後に指令出力手段に予め定められた時間間隔で撮像指令を複数回出力させ、複数回の撮像指令により得られた複数枚の撮像画像のうち少なくとも1つを前記画像出力手段に出力させ、撮像画像に対応する撮像指令が出力された時間と、操作入力手段が受付ける操作内容とにより、その後の観測処理のための遅延量を導出する。
好ましくは、操作入力手段は、複数枚の撮像画像のうち少なくとも1つの撮像画像を選択する操作を受付ける選択操作入力手段を含み、遅延量設定手段は、複数枚の撮像画像それぞれを、検出信号入力手段が検出信号を入力してから当該撮像画像に対応する撮像指令が出力された時間と対応付けて格納し、出力される少なくとも1つの撮像画像に対応付けられた時間を、選択操作入力手段が受付ける選択する操作により遅延量として選択する。
好ましくは、操作入力手段は、少なくとも1つの撮像画像に対応付けられた時間を増減させる操作を受付ける増減操作入力手段を含み、遅延量設定手段は、選択された時間を増減操作入力手段が受付ける操作が指示する増減量により増減させる。
好ましくは、遅延量設定手段は、画像出力手段に、複数枚の撮像画像を切替えながら出力させる。
好ましくは、遅延量設定手段は、画像出力手段に、複数枚の撮像画像を一覧表示させる。
好ましくは、操作入力手段は、表示された撮像画像に対する外部からのスライド操作を受付けるスライド操作入力手段を含み、遅延量設定手段は、複数枚の撮像画像のうちの1つを出力させた状態で、スライド操作入力手段が受付けるスライド操作に係る変位量と、対象物の移動速度に応じた換算式とから、遅延量を算出する
好ましくは、操作入力手段は、算出された遅延量を増減させる操作を受付ける増減操作入力手段を含み、遅延量設定手段は、算出された遅延量を、増減操作入力手段が受付ける操作が指示する増減量により増減させる
この発明のさらに他の局面に従う画像処理プログラムは、対象物の搬送経路に向けて位置決めされた撮像装置を駆動し、撮像装置から取得した撮像画像を処理することにより、対象物に対する観測処理をする画像処理装置に実行させるプログラムである。画像処理装置は、搬送経路の所定位置に向けて位置決めされたセンサからの検出信号を入力する検出信号入力手段と、撮像装置に撮像指令を出力する指令出力手段と、外部からの操作を受付ける操作入力手段と、表示装置に表示する画像を出力する画像出力手段と、を備える。
画像処理プログラムは、画像処理装置に、検出信号入力手段が検出信号を入力してから指令出力手段が撮像指令を出力するまでの遅延量を設定するステップを実行させる。遅延量を設定するステップは、画像処理装置に、検出信号入力手段が検出信号を入力した後に指令出力手段により予め定められた時間間隔で撮像指令を複数回出力させるステップと、画像処理装置に、複数回の撮像指令により得られた複数枚の撮像画像のうち少なくとも1つを画像出力手段により出力させるステップと、画像処理装置に、撮像画像に対応する撮像指令が出力された時間と、操作入力手段が受付ける操作内容とにより、その後の観測処理のための遅延量を導出させるステップと、を含む。
本発明によれば、ユーザの入力部の繰返し操作もなく遅延量を速やかに決定することができる。
本発明の第1の実施の形態に係る画像処理装置を含む視覚センサシステムの全体構成を示す概略図である。 本発明の第1の実施の形態に係る画像処理装置の概略構成図である。 本発明の第1の実施の形態に係るトリガ信号生成回路の内部構成を示す図である。 本発明の第1の実施の形態に係るトリガ信号生成手順を示すタイミングチャートである。 本発明の第1の実施の形態に係る方法(1)に係る処理の概要を示す図である。 本発明の第1の実施の形態に係る方法(1)の操作手順を模式的に示す図である。 本発明の第1の実施の形態に係る方法(1)の表示画面例を示す図である。 本発明の第1の実施の形態に係る画像データとディレイ時間との関連付けを説明する図である。 本発明の第1の実施の形態に係る方法(1)の画像入力処理のフローチャートである。 第1の実施の形態に係る方法(1)によるディレイ時間決定のための処理フローチャートである。 本発明の第1の実施の形態に係る方法(2)のディレイ時間決定のための構成を模式的に示す図である。 本発明の第1の実施の形態に係る方法(2)の操作手順を模式的に示す図である。 本発明の第1の実施の形態に係る方法(2)の処理フローチャートである。 本発明の第1の実施の形態に係る方法(3)の移動量算出手順を説明するための図である。 本発明の第1の実施の形態に係る方法(3)のディレイ時間の算出手順を説明する図である。 本発明の第1の実施の形態に係る方法(4)のディレイ時間の決定について説明する図である。 本発明の第2の実施の形態に係る画像処理装置を含む視覚センサシステムの全体構成を示す概略図である。 本発明の第2の実施の形態に係る機能ブロック図である。 第2の実施の形態に係る画像処理装置のラインに対する取付態様を説明する図である。 第2の実施の形態に係る複数ラインのそれぞれに画像処理装置を取付けた状態を模式的に示す図である。 第2の実施の形態に係る表示画面例を示す図である。
本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については統一符号を付してその説明は繰り返さない。
ここでは、画像処理システムの異なる構成について2つの実施の形態を説明する。
(第1の実施の形態)
図1は、この発明の実施の形態に従う画像処理装置100を含む視覚センサシステムの全体構成を示す概略図である。
図1を参照して、視覚センサシステム1はFAの生産・製造ラインなどに組み込まれ、被測定の対象物(以下「ワーク」とも称す。)2の撮像画像に基づき、ワーク2上の欠陥や汚れの有無を検査したり、その大きさなどを計測したり、その表面上の文字や図形などを認識したりなどの観測処理を実行する。一例として、本実施の形態においては、ワーク2はベルトコンベヤなどの搬送機構6による搬送経路にて搬送され、撮像装置8によって順次撮像画像が取得される。
撮像装置8は、一例として、レンズなどの光学系に加えて、CCD(Coupled Charged Device)やCMOS(Complementary Metal Oxide Semiconductor)センサといった、複数の画素に区画された撮像素子を含んで構成される。撮像素子は、アレイ状に配列形成された複数の光電変換素子を有し、撮像装置8は、撮像指令が与えられると、応じて光電変換素子から信号電荷を読み出すように駆動される。読み出された信号電荷は1コマ(1フレーム)分の画像を構成する。これにより、撮像装置8からは、撮像指令の入力に応答して画像が読み出される。これを『撮像』という。
撮像装置8による撮像画像(以下「入力画像」とも称す。)は、画像処理装置100へ伝送される。なお、撮像装置8で撮像されるワーク2に対して光を照射する照明機構をさらに設けてもよい。
撮像装置8は、画角(または視野角)を有する。本明細書では、画角(または視野角)は、撮像装置8で撮像される範囲を示したものであり、この範囲はワーク2が位置し得る範囲であり『撮像範囲』と呼ぶ。したがって、撮像装置の設置位置が変更されると、撮像範囲も変更される。本実施の形態では、撮像装置8の搬送機構6に対する設置位置は、固定であると想定する。
視覚センサシステム1において、ワーク2について確実な検査を行なうには、検査対象物のワーク2の全体画像を生成する必要がある。このため、搬送されるワーク2が撮像装置8の撮像範囲の中央に位置した状態で画像データが生成できるように、撮像装置8の撮像のタイミングを調整する。
ワーク2が撮像装置8の撮像範囲に到達したことは、搬送機構6の両端に配置された光電センサ4によって検出される。具体的には、光電センサ4は搬送機構6の搬送経路の所定位置に向けて位置決めされ、且つ、同一の光軸上に配置された受光部4aと投光部4bとを含み、投光部4bから放射される光がワーク2で遮蔽されることを受光部4aで検出することによって、ワーク2の到達を検出する。この光電センサ4の検出信号(以下「トリガ信号」とも称す。)は、PLC(Programmable Logic Controller)5へ出力される。
PLC5は、光電センサ4などからのトリガ信号を受信するとともに、搬送機構6の制御自体を司る。
視覚センサシステム1は、さらに、画像処理装置100と、ディスプレイ102と、キーボード104とを含む。画像処理装置100は、PLC5と、撮像装置8と、ディスプレイ102と、キーボード104と接続される。
画像処理装置100は各種の動作モードを有し、動作モードには、ワーク2に対して検査のための各種の画像処理を実行する測定モード、ならびに、撮像装置8の撮像のタイミングを調整するための調整モードを含む。測定モードにおいて、画像処理装置100は、PLC5を介して光電センサ4からのトリガ信号を受信すると、撮像装置8に対して撮像指令を与える。この撮像指令に応答して、撮像装置8がワーク2を撮像することで得られた入力画像は、画像処理装置100へ伝送される。
測定モードでは、ワーク2の撮像画像を用いて、欠陥や汚れの有無を検査したり、その大きさなどを計測したり、その表面上の文字や図形などを認識する処理が行われるが、その詳細は省略する。
画像処理装置100は、汎用的なアーキテクチャを有しているコンピュータであり、予めインストールされたプログラムを実行することで、後述するような各種機能を提供する。このような汎用的なコンピュータを利用する場合には、本実施の形態に従う機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのOS(Operating System)がインストールされていてもよい。この場合には、本実施の形態に従うプログラムは、OSの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。すなわち、本実施の形態に従うプログラム自体は、上記のようなモジュールを含んでおらず、OSと協働して処理が実行される。本実施の形態に従うプログラムとしては、このような一部のモジュールを含まない形態であってもよい。
さらに、本実施の形態に従うプログラムは、他のプログラムの一部に組み込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組み合わせられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に従うプログラムとしては、このような他のプログラムに組込まれた形態であってもよい。
なお、プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
図2は、この発明の実施の形態に従う画像処理装置100の概略構成図である。図2を参照して、画像処理装置100は、演算処理部であるCPU(Central Processing Unit)110と、記憶部としてのメモリ112およびハードディスク114と、時間を計時し計時データをCPU110に出力するタイマ113と、カメラインターフェイス116と、入力インターフェイス118と、表示コントローラ120と、PLCコントローラ122と、通信インターフェイス124と、データリーダ/ライタ126とを含む。これらの各部は、バス128を介して、互いにデータ通信可能に接続される。
CPU110は、ハードディスク114に格納されたプログラム(コード)をメモリ112に展開して、これらを所定順序で実行することで、各種の演算を実施する。メモリ112は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置であり、ハードディスク114から読み出されたプログラム・データに加えて、撮像装置8によって取得された入力画像や、入力画像の処理結果を示すデータ、およびワークデータなどが格納される。メモリ112には、後述のテーブルTBが格納される。また、ハードディスク114は、不揮発性の磁気記憶装置であり、CPU110で実行されるプログラムに加えて、各種設定値などが予め格納される。このハードディスク114にインストールされるプログラムは、後述するように、メモリカード106などに格納された状態で流通する。なお、ハードディスク114に加えて、あるいは、ハードディスク114に代えて、フラッシュメモリなどの半導体記憶装置を採用してもよい。
カメラインターフェイス116は、CPU110と撮像装置8との間のデータ伝送を仲介する。より具体的には、カメラインターフェイス116は、1つ以上の撮像装置8と接続が可能であり、各撮像装置8からの画像データを一時的に蓄積するための画像バッファ116aと、CPU110から入力する撮像指令303の信号を生成して出力する指令信号生成回路116bを含む。カメラインターフェイス116は、画像バッファ116aに少なくとも1コマ(または1フレーム)分の入力画像のデータが蓄積されると、その蓄積されたデータをメモリ112へ転送する。
メモリ112には、画像データは画像ファイルの単位で格納される。CPU110は、入力画像を処理する場合には、画像ファイルをメモリ112から読み出す。読み出される画像ファイルは、2次元に配列された複数画素からなる画像(多値画像)を指す。
カメラインターフェイス116は、CPU110が発生した内部コマンドに従って、撮像装置8に対して撮像指令を与える。
入力インターフェイス118は、CPU110とキーボード104、マウス103、タッチパネル(図示せず)などの入力装置との間のデータ伝送を仲介する。すなわち、入力インターフェイス118は、ユーザが入力装置を操作することで与えられる操作指令を受付ける。
表示コントローラ120は、表示装置の典型例であるディスプレイ102と接続され、CPU110における画像処理の結果などをユーザに通知する。
PLCコントローラ122は、CPU110とPLC5との間のデータ伝送を仲介する。より具体的には、PLCコントローラ122は、PLC5によって制御される生産ラインの状態に係る情報やワークに係る情報などをCPU110へ伝送する。
通信インターフェイス124は、CPU110と図示しない他のパーソナルコンピュータやサーバ装置などと間のデータ伝送を仲介する。通信インターフェイス124は、典型的には、イーサネット(登録商標)やUSB(Universal Serial Bus)などからなる。なお、後述するように、メモリカード106に格納されたプログラムを画像処理装置100にインストールする形態に代えて、通信インターフェイス124を介して、図示しない配信サーバなどからダウンロードしたプログラムを画像処理装置100にインストールしてもよい。
データリーダ/ライタ126は、CPU110と記録媒体であるメモリカード106との間のデータ伝送を仲介する。すなわち、メモリカード106には、画像処理装置100で実行されるプログラムなどが格納された状態で流通し、データリーダ/ライタ126は、このメモリカード106からプログラムを読み出す。また、データリーダ/ライタ126は、CPU110の内部指令に応答して、撮像装置8によって取得された入力画像および/または画像処理装置100における処理結果などをメモリカード106へ書き込む。なお、メモリカード106は、CF(Compact Flash)、SD(Secure Digital)などの汎用的な半導体記憶デバイスや、フレキシブルディスク(Flexible Disk)などの磁気記憶媒体や、CD−ROM(Compact Disk Read Only Memory)などの光学記憶媒体等からなる。
また、画像処理装置100には、必要に応じて、プリンタなどの他の出力装置が接続されてもよい。
<概要>
本実施の形態では、調整モードおよび測定モードにおいて撮像装置の設置位置は固定であると想定する。
調整モードでは、撮像範囲の目標位置(好ましくは、中央位置)付近で、より好ましくは目標位置にワーク2が位置するときに撮像が行われるように、画像処理装置100にトリガ信号が入力されてから撮像装置8に撮像指令が出力されるまでの所要時間(ディレイ時間(または遅延量)という)を設定する。
測定モードでは、ワーク2を目標位置付近に位置するタイミングで撮像するのに必要なディレイ時間に従って撮像指令の出力タイミングが決定されるので、搬送されるワーク2が撮像範囲の目標位置(好ましくは、中央位置)またはその付近に到達したときに撮像が行われることが保障される。なお、画像処理装置100の動作モードは、ここでは、ユーザが入力装置を操作してCPU110に与える指示によって切替えられると想定する。
<測定モード>
測定モードでは、搬送機構6によりワーク2が順次搬送される状態において、撮像装置8は、与えられる撮像指令に応答して撮像する。これにより、撮像範囲に到達しているワーク2を撮像することができる。測定モードにおいて、画像処理装置100から撮像装置8に撮像指令を出力するための処理を、図3と図4を参照して説明する。
図3には、指令信号生成回路116b内の回路の具体例を示す。指令信号生成回路116bは、周期パルス発生器90、パルスカウンタ91、レジスタ92および比較器93を含む。レジスタ92には、調整モードで決定されたディレイ時間の値nが格納される。レジスタ92の値は、CPU110から供給されて格納されるもので、適宜、書き換えることが可能である。トリガ信号300はパルス信号であって、周期パルス発生器90とパルスカウンタ91に与えられる。
図4は、測定モードにおける指令信号生成回路116bの一連の動作を示すタイミングチャートが示される。図4を参照して、周期パルス発生器90は、周期パルス301を出力する。周期パルス発生器90は、トリガ信号300を入力すると、周期パルス301の出力動作をリセットして新たな周期を開始する。なお、この周期パルス301の周期pwは、撮像装置8の動作周期を決定するクロックの周期を所定倍した値に設定される。
パルスカウンタ91は、トリガ信号300を入力すると、レジスタ92内のディレイ時間の値nを初期値にセットし、以後、トリガ信号300が入力される都度、レジスタ92の設定値をカウントダウン開始する。
比較器93は、パルスカウンタ91の計数値を取り込んで数値0と比較し、この計数値が0を指示すると検出したときに、出力である撮像指令303をオン状態(ハイレベル)にする。この比較器93からの出力する撮像指令303は、撮像装置8に出力される。
図3と図4では、パルスカウンタ91の初期値としてディレイ値nをセットし、計数値が0になった時点で撮像指令303を立ち上げる点までを説明したが、実際の撮像指令303には、撮像装置8側で撮像のトリガとして認識されるのに必要なパルス幅を持たせる必要がある。図3および図4では、説明を簡単にするために、そのための構成は省略されている。
<調整モード>
本実施の形態では、調整モードで、ディレイ時間を決定するための方法(1)〜(4)を示す。
(方法(1))
図5を参照して、本実施の形態に係る方法(1)の処理の概要を説明する。まず、トリガ信号入力から一定時間間隔である調整単位時間ごとに撮像装置8に撮像指令を出力し、N枚(Nは、2以上の整数)の撮像画像の画像ファイルを、メモリ112の所定領域に格納する。図5の例では、調整単位時間を1msecとしている。
メモリ112では、各撮像画像の画像ファイルに対して、撮像された順番(入力順番)に従って番号0,1,2,…,Nと割り当てると、画像ファイルの番号と、タイマ113から入力する時間データに基づくディレイ時間は1対1で対応付けられる。この対応付けから、画像ファイルの番号が決定すれば、その画像ファイルのディレイ時間は一意に決定する。
ディレイ時間の決定に際しては、図5のディスプレイ102の画像を用いて、ユーザに対して、N個の画像のうちから所望の画像を選択させる。選択された画像の画像ファイルの番号に基づき、メモリ112を検索することにより、当該番号に対応付けされたディレイ時間を読み出すことができる。読み出されたディレイ時間は、測定モードのためのディレイ時間として決定される。
図6を参照して、N個の画像ファイルの画像のうちから所望画像を選択させる手順について説明する。
調整単位時間毎に連続して撮像された画像の画像ファイルは、メモリ112から、時間Tの経過に従って読み出される。ここでは、ディスプレイ102には、読み出される1個の画像が表示されると想定する。ユーザは入力装置を介して矢印ボタン21をクリックなどして画面送り操作することにより、直前に撮像された画像ファイルまたは直後に撮像された画像ファイルが読み出されて表示される。
ディスプレイ102には、画像を切換えるための矢印ボタン21と、選択した画像を確定するために操作されるボタン23が画像とともに表示される。左向きの矢印ボタン21を操作することにより、現在表示されている画像の直前に撮像された画像を切換表示され、右向きの矢印ボタン21を操作することにより、次位に(直後に)撮像された画像に切換表示される。
ワーク2が所望の位置に写っている画像が表示されたとき、ユーザはボタン23による確定操作をする。たとえば、図6の左から3番目の画像が表示されたとき、ボタン23が操作されると、図6の下段に示されるように、ディスプレイ102には、当該確定操作がされる画像とともに、当該画像ファイルに対応付けされたディレイ時間がメモリ112から読み出されて(たとえば、2msec)、メッセージ24として表示される。
ユーザは、メッセージ24のディレイ時間を確認し、微調整をする場合には、メッセージ24とともに表示されたボタン25を操作すれば、増減調整できる。メモリ112の当該画像ファイルに対応付けされているディレイ時間は、増減調整後のディレイ時間を上書きすることにより、更新される。
ディスプレイ102が十分な表示領域を有している場合には、N個のサムネイル画像を一覧表示すればよい。その場合には、矢印ボタン21の表示は省略することができる。
また、N個の画像のうちいくつかの連続した画像のサムネイルを並べて表示してもよい。3枚のサムネイル画像27が表示される例を図7に示す。各サムネイル画像27の下にはその画像に対応したディレイ時間が表示される。ユーザは入力装置を介して矢印ボタン21をクリックすることにより、ディレイ時間が短い方向もしくは長い方向に向けてサムネイル画像27を1枚ずつ移動させることができる。ユーザが望みのサムネイル画像27をクリックすると、その画像に対応したディレイ時間がメッセージ24として表示されるとともに、スライドバー28に設定される。この後、ユーザはスライドバー28の左右に設けられた三角ボタンやスライダ29を操作することによりディレイ時間を増減調整することができ、調整後のディレイ時間がメッセージ24として表示される。ユーザがボタン23による確定操作をすると、メッセージ24に表示されたディレイ時間が測定モードのためのディレイ時間として決定される。
図8には、メモリ112におけるテーブルTBの内容例が示される。テーブルTBには、前述した調整時間単位で撮像された画像ファイルのそれぞれについて、当該画像ファイルに割当てされた番号INi(i=1、2、3、…、n)とディレイ時間Ti(i=1、2、3、…、n)が対応付けて格納されている。テーブルTBには、図示されるように光電センサ4からトリガ信号を入力した時点で撮像された画像を基準に、それよりも以前に撮像されたN個の画像とそれ以後に撮像されたN個の画像に対応したデータが格納される。
図9を参照して、トリガ信号入力した時点の前後N個ずつの画像データを入力する処理を説明する。CPU110は、調整時間単位で撮像されて撮像装置8から出力される撮像画像を入力する(ステップS(以下、単にSと略す)1)。入力した撮像画像をメモリ112に、前述した画像ファイル単位で画像番号を付して入力順に従って格納する(S3)。次に、CPU110は、PLCコントローラ122によって、PLC5を経由して光電センサ4からトリガ信号を入力するか否かを判定する(S5)。トリガ信号入力をしていないと判定すると(S5でNO)、後述のS9の処理に移行する。
一方、トリガ信号の入力があったことを判定すると(S5でYES)、トリガ信号入力時の撮像画像を決定する(S7)。つまり、トリガ信号を入力する直前にステップS3で格納された画像ファイルをトリガ信号入力時画像と決定し、当該画像ファイルにトリガ信号入力時画像である識別子を付す。
次に、CPU110は、撮像画像の入力が終了したか否かを判定する(S9)。たとえば、タイマ113の計時データに基づき撮像装置8から画像データを所定時間入力したと判定した場合、入力終了と判定される。または、所定数の画像データを入力した場合、入力終了と判定される。
入力終了と判定されなければ(S9でNO)、S1の処理に戻り、画像データの入力と以降の処理が継続する。
入力終了と判定されると(S9でYES)、トリガ信号入力時の撮像画像と、その前後N個の撮像画像を決定する(S11)。具体的には、前述の識別子が付された画像ファイルの前後N個の入力画像ファイルをメモリ112において検索し、検索した前後N個の画像ファイルに入力順に従って画像番号INiを付す。このとき、テーブルTBには、画像ファイルのそれぞれについて、対応の画像番号INiと、調整時間単位に基づき算出されたディレイ時間Tiが格納される。これにより、画像データの入力処理が終了する。
図10には、方法(1)によるディレイ時間決定のための処理手順が示される。
調整モードにおいて図9の画像データの入力処理が終了すると、ディレイ時間を決定するために図10の処理が実行される。まず、CPU110は、メモリ112から画像ファイルを読み出す(S15)。読み出された画像ファイルはディスプレイ102に表示される(S17)。ここでは、1個ずつ画像ファイルが読み出されて表示されると想定する。図4で説明したように、ユーザは矢印ボタン21を操作することにより画像を切替え表示する。
S17で画像を表示後、CPU110は、ユーザが矢印ボタン21およびボタン23のいずれかを操作するかを判定する(S19)。ボタン23が操作されたことが判定されると、処理は後述するS27に移行する。
一方、矢印ボタン21が操作されたことが判定されると(S19で“切替”)、操作された矢印ボタン21が左向き矢印を指すか、右向き矢印を指すかが判定される(S21)。左向きの矢印ボタン21が操作されたと判定されると(S21で“前”)、CPU110は、現在表示されている画像ファイルの画像番号INiに基づき(INi−1)の画像番号に対応の画像ファイルをメモリ112から検索して読み出し、ディスプレイ102に切替え表示する(S23、S17)。以降、切替え表示された画像に対する処理が同様に行なわれる。
一方、右向きの矢印ボタン21が操作されたと判定されると(S21で“後”)、CPU110は、現在表示されている画像ファイルの画像番号INiに基づき(INi+1)の画像番号に対応の画像ファイルをメモリ112から検索して読み出し、ディスプレイ102に切替え表示する(S25、S17)。以降、切替え表示された画像に対する処理が同様に行なわれる。
このように、ユーザは矢印ボタン21を操作することにより、画像を撮像時間に従って順送りしながら切替え表示することができる。
ワーク2の画像が所望の位置にある画像が表示されたとき、ユーザはボタン23を操作する(S19で“確定”)。
続いて、S27において、CPU110は、確定操作がされたときに表示されている画像ファイルに付された画像番号INiに基づいてテーブルTBを検索し、当該画像番号INiに対応するディレイ時間Tiを読み出し、メッセージ24としてディスプレイ102の画面に表示する(S29)。このようにして決定されたディレイ時間は、前述したレジスタ302にディレイ時間の値nとしてセットされる(S31)。これにより、ディレイ時間の決定処理を終了する。
(方法(2))
図11には、本実施の形態に係る方法(2)によるディレイ時間決定のための概略構成が示され、図12には、操作イメージが模式的に示され、図13には、方法(2)によるディレイ時間算出処理のフローチャートが示される。
図11を参照して、方法(2)では、画像処理装置100に光電センサ4からトリガ信号が入力されると、撮像装置8の撮像素子8aから撮像画像が出力され、画像バッファ116aに画像データ30として格納される。画像バッファ116aに格納された画像データ30は読み出されて、ディスプレイ102に表示される。
CPU110は、表示される画像データ30のワーク2の画像の中心から延びる矢印26を表示する。矢印26は、指のタッチ操作またはマウス103などのポインティングデバイスの入力装置の操作に連動して伸縮自在の画像である。
図12を参照して、ユーザは、ディスプレイ102にワーク2の画像の中心を始点とする矢印26の矢の先端を、たとえばマウス103でドラッグ操作することにより、矢印26を引き伸ばすこともでき、逆に縮めることもできる。画像には、撮像範囲の中心をガイダンスする十字状のラインが合わせて表示されることから、ユーザは撮像範囲の所望位置を特定し易くなる。ユーザは、矢印26の先端を所望位置にスライド操作して移動させるよう操作する。
図13に示すフローチャートに従って、CPU110は、メモリ112を検索し、トリガ信号入力時の画像ファイルを読み出し、ディスプレイ102に画像と矢印26を表示する(S37)。
CPU110は、マウス103の操作に従うユーザによる矢印26のスライド操作量を検出する(S39、S41)。検出した操作量に基づき、ディレイ時間を算出し、算出したディレイ時間を表示する(S43、S45)。そして、CPU110は、算出されたディレイ時間の値nを、測定モードのために、図3のレジスタ302に設定する(S47)。以上で、方法(2)に従うディレイ時間の算出と設定が終了する。
ここで、ディレイ時間の算出について説明する。CPU110は、矢印26のスライド操作による移動量を検出し、検出した移動量から、ディレイ時間を決定(算出)する。スライド操作により移動した矢印26の移動距離を検出し、検出した距離を所定換算式に代入して、ディレイ時間を算出する。具体的には、CPU110は、ユーザのスライド操作による矢印26の矢の先端の移動量(pixel(画素)単位)を検出し、pixelからmsecへの所定の換算式に従い、移動量に基づくディレイ時間を決定(算出)する。算出されるディレイ時間は、メッセージ24によりディスプレイ102に表示される。メッセージ24におけるディレイ時間はスライド操作に連動して更新しながら表示される。
このように、ユーザは、矢印26をスライド操作して移動させることにより、矢印26の移動量に基づきディレイ時間を決定することができる。
(方法(3))
図14と図15を参照して、方法(3)によるディレイ時間の決定について説明する。図14には、方法(3)に係るメモリ112における画像の格納例が模式的に示される。
搬送機構6によりワーク2が搬送される状態において、撮像装置8からは調整単位時間ごとに撮像画像が順次出力される。CPU110は、入力する撮像画像毎に、画像ファイルを入力(撮像)の時系列順にメモリ112に格納する。
このような撮像画像の入力過程において、光電センサ4からトリガ信号を入力する。トリガ信号を入力したときに取得した撮像画像の画像ファイルには、識別子を付してメモリ112に格納する。十分な数の画像ファイルが格納されると、CPU110は、識別子をもとに、トリガ信号入力時の撮像画像の画像ファイルをメモリ112から検索する。そして、識別子が付された画像ファイルを基準にし、基準より以前に格納されたN個の画像ファイル、および基準より以後に格納されたN個の画像ファイルを検索する。
CPU110は、検索されたこれら複数の画像ファイルを用いて、ディレイ時間を決定するために、ワーク2の画像の撮像範囲における移動量および移動方向を検出する。
図15を参照して、方法(3)に係るワーク移動量の算出手順について説明する。ここでは、撮像画像に対応する画像ファイルの画像は、2次元に配列された複数の画素からなる。すなわち画素は、2次元の座標上の座標値として検出される。
CPU110は、メモリ112において上述のように検索された複数個の画像ファイルの画像から、ワーク2の移動画素数を求める。
具体的には、上述のように検索された複数個の画像ファイルの画像は、メモリ112から読み出されてディスプレイ102に表示される。表示される複数個の画像ファイルのうちからユーザが入力装置を介して指定する2個の画像ファイルの画像ごとに、ワーク2の移動画素数を検出する。
ここでは、トリガ信号入力時の撮像画像の画像ファイル(図15の(A)を参照)と、次位の撮像画像の画像ファイル(図15の(B)を参照)とが指定されたと想定する。CPU110は、指定された2個の画像ファイルの画素の座標を検出し、検出した座標に基づき、一方画像ファイルの画像の所定位置の画素の座標(I0x,I0y)と、他方画像ファイルの画像の対応する位置の画素の座標(I1x,I1y)との間の2点間距離dを、(式1)に基づき算出する(図15の(C)を参照)。距離dは移動量を指す。
Figure 2011211678
このような画素の座標位置の検出は、従来から提案されている方法を用いる。たとえば、人の手による座標入力、パターンマッチングによる位置の検出、動画像差分による移動体の検出などである。これらは周知の方法であるので、ここでは詳細説明を略す。
次に、移動量(距離d)に基づきディレイ時間を算出する。
CPU110は、ディレイ時間を算出するために、まず、ワーク2の移動速度S(単位:pixel/msec)を、S=(隣接画像間でのワーク移動量(距離d)/(1画像の取り込みに要する時間T))の式を用いて算出する。ここで、画像処理装置100に1個の撮像画像を取り込むために要する時間Tは、撮像素子8aの設定値と、撮像素子8aとメモリ(バッファ106b)間のデータ転送速度とから一意に算出されるため、時間Tは、既知の値として算出されて、予めメモリ112に格納しておくことができる。したがって、ワーク2の移動速度Sを算出する際に、時間Tは、メモリ112から読み出すことにより取得できる。
この算出式によれば、距離dを移動するのに必要とされる時間は、1/S(msec)と算出されて、これがディレイ時間として算出される。
(方法(4))
図16を参照して、方法(4)によるディレイ時間の決定について説明する。メモリ112には、図14のように複数個の画像ファイルが格納されていると想定する。
ここでは、方法(3)により、時系列に格納される画像ファイルの隣接する、すなわち画像番号INiの値が連続する2個の画像ファイルの画像の組毎に、ディレイ時間(1/S(msec))が算出されて、対応する画像ファイルの組に関連付けてメモリ112に格納されていると想定する。
CPU110は、メモリ112から画像ファイルを順次読み出し、ディスプレイ102に1個ずつ表示する。
ユーザは、表示される画像ファイルのうちから、いずれか所望の画像を選択指定する。選択指定されると、CPU110は、表示画像内のワーク2の画像に、その座標位置(たとえば、画像の中心位置座標)を指すマークMを表示する。
ユーザは、選択した画像に、ディレイ時間を算出するためのベクトルaを、入力装置を操作して入力する。ベクトルaの始点は、マークMの位置に一致し、終点はユーザが所望する移動後のマークMの位置Rを指す。ベクトルaはディスプレイ102の画像に重畳して表示される(図16参照)。図16では、トリガ信号入力時の撮像画像が選択された場合が示される。ベクトルaの方向と長さは、撮像範囲におけるユーザが所望する位置までのワーク2の移動方向と移動距離を指す。ワーク2の全体画像が撮像できるように、所望の位置は典型的には、撮像範囲の中央位置となるであろう。
CPU110は、ベクトルaが入力されると、搬送機構6で搬送されるワーク2の撮像範囲内での実際の移動方向と移動距離を指すベクトルb(図16参照)を用いて、入力ベクトルaにより指示されるディレイ時間を算出するための、補正処理が行われる。なお、図16では、ベクトルaはベクトルax+ベクトルayで指示されて、ベクトルbはベクトルbx+ベクトルbyで指示される。
補正処理のために、ベクトルaとベクトルbの内積を用いた(式2)により、補正に用いる補正量を算出する。なお、θはCPU110が検出するベクトルaとベクトルbのなす角度を指す。
Figure 2011211678
CPU110は、算出された補正量と、ワーク移動量算出式(ディレイ時間(1/S(msec)の算出式)を適用した(式3)によって、ベクトルaによって指示されるディレイ時間を算出する。ディレイ時間=補正量×1/S(msec)…(式3)
このようにユーザは、選択した撮像画像のワーク2の画像に対して、撮像範囲におけるユーザが所望する位置までの移動方向と移動距離を指すベクトルaの入力操作をするだけで、ワーク2が撮像範囲の所望の位置に達したときに撮像が行われるようなディレイ時間を決定することができる。
(第2の実施の形態)
図17〜図21を参照して、第2の実施の形態について説明する。
第1の実施の形態では、画像処理装置100と撮像装置8とは個別・独立としているが、本実施の形態に示すように、両機能は一体的に備えるようにしてもよい。
図17を参照して、第2の実施の形態に係る視覚センサシステムは、撮像機能と画像処理機能とを備える画像処理装置200、画像処理装置200による処理結果を表示する機能とユーザ指示を入力する機能とを備える表示設定部201、および、両者間でデータ・信号をやり取りするために設けられた伝送ケーブル202を備える。また、画像処理装置200は、IOケーブル203によってPLC(Programmable Logic Controller)400と通信可能なように接続される。PLC400は、他の装置からの信号を受信したり、当該他の装置に信号を送信したりすることによって、視覚センサシステムの全体を制御する。
本実施の形態では、画像処理装置200は、第1の実施の形態の撮像装置8の機能と画像処理装置100の機能とを一体的に有する。画像処理装置200と、撮像画像および処理結果などを表示する表示装置に相当の表示設定部201とは別体で設けられる。これにより、ユーザは表示設定部201を携帯して移動しながら撮像画像・処理結果を確認できる。
画像処理装置200は、撮像部212とコントローラ部213を備え、撮像部212は、照明部211と撮像レンズ221を有する。コントローラ部213は、マイクロコンピュータを内蔵する。画像処理装置200の筐体には、画像処理装置200を図示のない支持部材に取り付けるための取付部214が配設される。
表示設定部201は、LCD(Liquid Crystal Display)と、指や専用ペンでLCD画面に触れることで操作の指示を入力するためのタッチパネルとが一体的に構成されたLCDタッチパネル207を有する。表示設定部201は、撮像部212によって撮像された画像データを受信してLCDタッチパネル207に表示するとともに、LCDタッチパネル207から入力したユーザの操作による指示を画像処理装置200のコントローラ部213に送信する。
図18を参照して、画像処理装置200および表示設定部201のブロック構成について説明する。画像処理装置200は、照明部211、ワーク2を撮像するための撮像部212、およびコントローラ部213を含む。撮像部212は、撮像レンズ221およびカメラ222を有する。カメラ222は、撮像装置8に相当する機能を有する。
照明部211は、照明用のレンズ224と光源であるLED(Light Emitting Diode)225を有する照明制御システム223を含む。
コントローラ部213は、図示されないランプなどの表示灯を制御する表示灯制御部227、画像処理装置200を制御するためのCPU226、各部に電力を供給するための電源システム228、伝送ケーブル202に接続される外部機器通信システム229および外部機器と入出力するための入出力システム230を含む。
表示設定部201は、各部に電力を供給するための電源部240、タッチパネルに対応の操作部241、LCD242、LCD242を制御するLCD制御部243、LCD制御部243を介してLCD242における画像の表示を制御する表示画像制御部244、画像を格納するための画像保存部245、画像制御部246および伝送部247を含む。表示設定部201はマイクロコンピュータを有し、マイクロコンピュータは、LCD制御部243、表示画像制御部244、画像制御部246の機能を実現する。
伝送部247は、伝送ケーブル202に接続されており、入力を切換えるためのスイッチ248を含む。本実施の形態では、表示設定部201には、伝送ケーブル202を介して、複数台の画像処理装置200が接続され得る。伝送部247は複数台の画像処理装置200と通信するための複数の入力ポートを有する。スイッチ248がマイクロコンピュータの指令に従って複数の入力ポートのうちの1つを選択することにより、表示設定部201は、選択された入力ポートに接続された画像処理装置200との間で通信可能となる。
本実施の形態では、画像処理装置200は、少なくとも前述した測定モードと調整モードのための処理機能を有し、表示設定部201は簡単なユーザ操作可能な入力部を有しており、これら処理のためのユーザの指示・操作量を入力部から入力し画像処理装置200に送信する機能を有する。また、処理結果の情報(画像、メッセージ24など)は、画像処理装置200から表示設定部201に送信されて、LCDに表示される。
なお、複数の画像処理装置200と表示設定部201は、無線通信により接続されて、ディレイ時間などの情報を相互に送受信するようにしてもよい。
図19には、画像処理装置200の取付態様の一例が示される。図20には、複数の搬送機構6であるベルトコンベヤなどの各搬送ラインに、画像処理装置200が取付けられた状態が、搬送ラインの上方向から見た状態で示される。各ラインに対応した画像処理装置200は、カメラ222の撮像範囲が搬送ライン上に一致するように、取付部214を介して図示されない支持部材に取付けられる。撮像時には、照明光が搬送機構6の搬送ラインに向けて照射されることにより、撮像範囲における照度が確保される。各搬送ラインに設けられた画像処理装置200は、伝送ケーブル202を経由して、ディレイ時間の情報などを相互に送受信する。
図21には、表示設定部201で複数の画像処理装置200を同時にモニタリングする際のLCDタッチパネル207の表示画面例を示す。画面には、各画像処理装置200の撮像画像のサムネイル画像205が並べて表示される。表示設定部201に同時に接続されている画像処理装置200の数が8台の場合の例を図21の(A)に、4台の場合の例を図21の(B)に示す。このように、画像処理装置200の数によってサムネイル画像205の数やサイズを自動的に切り替えてもよい。また、測定モードにおいては、画面には各画像処理装置200の撮像画像だけでなく、画像処理の結果を同時に表示してもよい。
図21の(C)には、調整モードにおいて必要な設定がなされていない画像処理装置200のサムネイル画像205にエクスクラメーションマーク206を表示した例を示す。ユーザは入力装置を介してサムネイル画像205をクリックすることにより、対応する画像処理装置200を設定するための調整モードに移行することができる。また、測定モードにおいては、特定の画像処理装置200による検査の結果、ワーク2の異常が発見された場合に、その画像処理装置200のみの撮像画像や処理結果を表示する画面に自動的に移行するようにしてもよい。
第2の実施の形態によれば、ユーザは、1台の表示設定部201を用いて複数台の画像処理装置200からの撮像画像に基づきディレイ時間を設定することができるので、画像処理装置200それぞれのディレイ時間を1台の表示設定部201の出力情報を参照しながら調整し決定することができる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 視覚センサシステム、2 ワーク、8 撮像装置、100,200 画像処理装置、102 ディスプレイ、201 表示設定部、202 伝送ケーブル部。

Claims (9)

  1. 対象物の搬送経路に向けて位置決めされた撮像装置を駆動し、前記撮像装置から取得した撮像画像を処理することにより、対象物に対する観測処理を実行する画像処理装置であって、
    前記搬送経路の所定位置に向けて位置決めされたセンサからの検出信号を入力する検出信号入力手段と、
    前記検出信号の入力に応じて前記撮像装置に撮像指令を出力する指令出力手段と、
    前記指令出力手段に前記撮像指令の出力タイミングを制御するための遅延量を設定する遅延量設定手段と、を備え、
    前記遅延量設定手段は、
    外部からの操作を受付ける入力部と、
    少なくとも撮像画像と前記入力部が受付ける操作内容を出力する出力手段と、
    撮像画像中の目標位置を、前記入力部で受付ける操作内容から取得する目標位置取得手段と、
    前記検出信号入力手段が前記検出信号を入力したときに取得した撮像画像中の、前記対象物の位置を検出する位置検出手段と、
    一定時間の間隔で、前記撮像装置に複数回の撮像を行わせる撮像制御手段と、を含み、
    前記一定時間の間隔での撮像により前記撮像装置から出力された撮像画像から前記位置検出手段が検出した前記対象物の位置と前記目標位置との関係に基づき、前記対象物を目標位置付近に位置するタイミングで撮像するのに必要な遅延量を導出し、導出した遅延量を前記指令出力手段に設定する遅延量として確定する、画像処理装置。
  2. 前記目標位置取得手段は、
    前記一定時間間隔での複数回の撮像により取得される複数の撮像画像の中から、前記入力部で受付ける操作内容が指示する撮像画像を選択する選択手段を、有し、
    選択された撮像画像から前記対象物の位置を前記目標位置として検出する、請求項1に記載の画像処理装置。
  3. 前記遅延量設定手段は、
    前記複数の撮像画像それぞれについて、取得される順番が検出され、
    選択された撮像画像について検出された前記順番の値と前記一定時間とから前記遅延量を導出する、請求項2に記載の画像処理装置。
  4. 前記出力手段には、前記複数の撮像画像は切替えながら表示される、請求項2または3に記載の画像処理装置。
  5. 前記出力手段には、前記複数の撮像画像は一覧表示される、請求項2または3に記載の画像処理装置。
  6. 前記目標位置取得手段は、
    前記一定時間間隔での複数回の撮像により取得される複数の撮像画像の中から、前記入力部で受付ける操作内容が指示する撮像画像を選択する選択手段を、有し、
    選択された撮像画像の中の前記対象物の位置を移動させるための、前記入力部が受付ける操作量から前記目標位置を検出する、請求項1に記載の画像処理装置。
  7. 前記目標位置取得手段は、
    前記一定時間間隔での複数回の撮像により取得される複数の撮像画像の中から、前記入力部で受付ける操作内容が指示する撮像画像を選択する選択手段を、有し、
    前記遅延量設定手段は、
    選択された撮像画像の中の前記対象物の位置と、前記位置検出手段が検出した前記対象物の位置との間の距離を用いて前記遅延量を導出する、請求項1に記載の画像処理装置。
  8. 前記目標位置取得手段は、
    前記一定時間間隔での複数回の撮像により取得される複数の撮像画像について、連続して取得される2個の撮像画像の組について、撮像画像の中の一方の対象物から他方の対象物に向くベクトルを検出する第1手段と、
    前記入力部が受付ける操作内容から、撮像画像の中の前記一方の対象物を始点とし、終点を前記目標位置とするベクトルを検出する第2手段と、を有し、
    前記遅延量設定手段は、
    撮像画像の中の前記一方の対象物の位置と前記他方の対象物の位置との距離を検出する手段と、
    検出された距離と、前記第1手段が検出するベクトルと、前記第2手段が検出するベクトルとを用いて前記遅延量を導出する、請求項1に記載の画像処理装置。
  9. 対象物の搬送経路に向けて位置決めされた撮像装置を駆動し、前記撮像装置から取得した撮像画像を処理することにより、対象物に対する観測処理をするコンピュータで実行される画像処理プログラムであって、
    前記画像処理プログラムは、前記コンピュータを、
    前記搬送経路の所定位置に向けて位置決めされたセンサからの検出信号を入力する検出信号入力手段と、
    前記検出信号の入力に応じて前記撮像装置に撮像指令を出力する指令出力手段と、
    前記指令出力手段に前記撮像指令の出力タイミングを制御するための遅延量を設定する遅延量設定手段と、して機能させ、
    前記遅延量設定手段は、
    外部からの操作を受付ける入力部と、
    少なくとも撮像画像と前記入力部が受付ける操作内容を出力する出力手段と、
    撮像画像中の目標位置を、前記入力部で受付ける操作内容から取得する目標位置取得手段と、
    前記検出信号入力手段が前記検出信号を入力したときに取得した撮像画像中の、前記対象物の位置を検出する位置検出手段と、
    一定時間の間隔で、前記撮像装置に複数回の撮像を行わせる撮像制御手段と、を含み、
    前記一定時間の間隔での撮像により前記撮像装置から出力された撮像画像から前記位置検出手段が検出した前記対象物の位置と前記目標位置との関係に基づき、前記対象物を目標位置付近に位置するタイミングで撮像するのに必要な遅延量を導出し、導出した遅延量を前記指令出力手段に設定する遅延量として確定する、画像処理プログラム。
JP2010146544A 2010-03-12 2010-06-28 画像処理装置および画像処理プログラム Pending JP2011211678A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010146544A JP2011211678A (ja) 2010-03-12 2010-06-28 画像処理装置および画像処理プログラム
EP11152486.4A EP2367151B1 (en) 2010-03-12 2011-01-28 Image processing device and image processing method
US13/029,480 US8538076B2 (en) 2010-03-12 2011-02-17 Image processing device and image processing program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010056553 2010-03-12
JP2010056553 2010-03-12
JP2010146544A JP2011211678A (ja) 2010-03-12 2010-06-28 画像処理装置および画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2011211678A true JP2011211678A (ja) 2011-10-20

Family

ID=44310096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010146544A Pending JP2011211678A (ja) 2010-03-12 2010-06-28 画像処理装置および画像処理プログラム

Country Status (3)

Country Link
US (1) US8538076B2 (ja)
EP (1) EP2367151B1 (ja)
JP (1) JP2011211678A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015036641A (ja) * 2013-08-12 2015-02-23 株式会社キーエンス 画像処理センサシステム、画像処理センサの制御方法、及び画像処理センサシステムに用いる画像処理センサ
WO2020044924A1 (ja) * 2018-08-31 2020-03-05 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JPWO2020255244A1 (ja) * 2019-06-18 2020-12-24

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112012007253T5 (de) * 2012-12-25 2015-10-08 Mitsubishi Electric Corporation Positioniervorrichtung und Positionierverfahren
TWI598785B (zh) * 2015-01-29 2017-09-11 政美應用股份有限公司 觸控面板之檢測方法及裝置
EP3477248B1 (de) * 2017-10-26 2023-06-07 Heinrich Georg GmbH Maschinenfabrik Inspektionssystem und verfahren zur fehleranalyse
CN112738370B (zh) * 2020-12-24 2022-04-05 凌云光技术股份有限公司 一种单张产品质量检测系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3048352U (ja) * 1997-10-24 1998-05-06 株式会社オートバックスセブン 携帯品のケース
JP2000138861A (ja) * 1998-10-30 2000-05-16 Casio Comput Co Ltd 連続撮像方法および撮像装置
JP2004253983A (ja) * 2003-02-19 2004-09-09 Omron Corp 画像処理装置および画像処理方法
JP2006026184A (ja) * 2004-07-16 2006-02-02 Yamaha Corp 打球挙動測定方法および同測定装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2666142B2 (ja) 1987-02-04 1997-10-22 旭光学工業株式会社 カメラの自動焦点検出装置
JP2862543B2 (ja) 1988-08-15 1999-03-03 日本電信電話株式会社 複合撚合型抗張力体
EP1766364B1 (en) * 2004-06-09 2018-12-19 Cognex Technology and Investment Corporation Method and apparatus for visual detection and inspection of objects
US8243986B2 (en) * 2004-06-09 2012-08-14 Cognex Technology And Investment Corporation Method and apparatus for automatic visual event detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3048352U (ja) * 1997-10-24 1998-05-06 株式会社オートバックスセブン 携帯品のケース
JP2000138861A (ja) * 1998-10-30 2000-05-16 Casio Comput Co Ltd 連続撮像方法および撮像装置
JP2004253983A (ja) * 2003-02-19 2004-09-09 Omron Corp 画像処理装置および画像処理方法
JP2006026184A (ja) * 2004-07-16 2006-02-02 Yamaha Corp 打球挙動測定方法および同測定装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015036641A (ja) * 2013-08-12 2015-02-23 株式会社キーエンス 画像処理センサシステム、画像処理センサの制御方法、及び画像処理センサシステムに用いる画像処理センサ
WO2020044924A1 (ja) * 2018-08-31 2020-03-05 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JPWO2020044924A1 (ja) * 2018-08-31 2021-08-26 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
US11445102B2 (en) 2018-08-31 2022-09-13 Sony Corporation Information processing device and information processing method
JP7524762B2 (ja) 2018-08-31 2024-07-30 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
JPWO2020255244A1 (ja) * 2019-06-18 2020-12-24
WO2020255244A1 (ja) * 2019-06-18 2020-12-24 日本電気株式会社 撮像システム、撮像方法、制御装置、コンピュータプログラム及び記録媒体
CN113966607A (zh) * 2019-06-18 2022-01-21 日本电气株式会社 成像系统、成像方法、控制装置、计算机程序和记录介质
JP7226549B2 (ja) 2019-06-18 2023-02-21 日本電気株式会社 撮像システム、撮像方法、制御装置、コンピュータプログラム及び記録媒体
CN113966607B (zh) * 2019-06-18 2024-02-20 日本电气株式会社 成像系统、成像方法和记录介质
US11997377B2 (en) 2019-06-18 2024-05-28 Nec Corporation Imaging system, imaging method, control apparatus, computer program and recording medium
US12348853B2 (en) 2019-06-18 2025-07-01 Nec Corporation Imaging system, imaging method, control apparatus, computer program and recording medium

Also Published As

Publication number Publication date
US8538076B2 (en) 2013-09-17
EP2367151A2 (en) 2011-09-21
US20110222725A1 (en) 2011-09-15
EP2367151B1 (en) 2019-11-13
EP2367151A3 (en) 2013-08-14

Similar Documents

Publication Publication Date Title
JP2011211678A (ja) 画像処理装置および画像処理プログラム
US8698815B2 (en) Image processing apparatus
TWI432925B (zh) 互動式控制系統、物體的動態偵測方法、主機裝置和其控制方法
JP5561214B2 (ja) 画像処理装置および画像処理プログラム
CN102214066B (zh) 图像处理装置
US10420524B2 (en) Radiographing apparatus, control apparatus, control method, and storage medium
CN107431788A (zh) 视觉系统中的基于图像的托盘对准和管槽定位
US20110043621A1 (en) Image Processing Device And Image Processing Method
JP5156972B2 (ja) 位置測定装置及び位置測定方法
JP2021037736A5 (ja) 検品装置とその制御方法、並びにプログラム
KR101501129B1 (ko) 기판 검사 장치
JP7077807B2 (ja) 画像検査システム及びその制御方法
JP2014109479A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
KR101103058B1 (ko) 컴퓨터 시스템 및 이의 구동방법
JP2014197762A (ja) 画像処理システムおよび画像処理プログラム
JP2013036796A (ja) 画像処理装置
US20120249952A1 (en) Control apparatus, ophthalmologic apparatus, system, control method, and program
JP2011191943A (ja) 画像処理装置および画像処理プログラム
JP6608708B2 (ja) 外観検査装置、外観検査方法及び該外観検査装置に用いるコントローラで実行することが可能なコンピュータプログラム
JP2015507831A5 (ja)
JP5445064B2 (ja) 画像処理装置および画像処理プログラム
JP5826535B2 (ja) 変位センサシステム、センサ用コントローラ及び表示制御プログラム
JP5531071B2 (ja) 画像計測装置及びコンピュータプログラム
JP2009245366A (ja) 入力システム、指示装置および入力システムの制御プログラム
JP5861743B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140819