JP7077807B2 - 画像検査システム及びその制御方法 - Google Patents

Description

本発明は、画像検査システムに関し、特に撮像装置と検査対象物を相対移動しつつ撮像を行う画像検査システムに関する。

ＦＡ（ファクトリー・オートメーション）においては、検査対象物を撮像し、得られた画像を用いて各種の計測や検査を行うシステムが広く利用されている。本明細書では、この種のシステムを総称して「画像検査システム」と呼ぶ。

特許文献１には、ロボットのアーム先端にカメラと照明装置を取り付け、ロボットによりカメラを動かし、ワークを複数の視点から撮影可能なシステムが開示されている。また特許文献１には、カメラと照明装置を壁に固定し、ワークをロボットにより動かすことで、ワークを複数の視点から撮影可能なシステムの例も開示されている。

特開２００７－２４８２４１号公報

生産ラインの検査において意図しない不具合が生じた場合（たとえば、ＮＧ判定が多発するなど）、ラインの担当者は、まず、不具合の原因が生産側にあるのか検査側にあるのかを切り分け、前者の場合は生産工程の問題を探し、後者の場合は検査装置まわりで原因の究明を行うこととなる。このとき、特許文献１のようにカメラとワークを相対移動させながら複数箇所の検査を行うシステムの場合は、カメラとワークの位置関係が固定されているタイプの検査装置に比べて、システムの自由度が高いため、不具合の原因究明が困難になることが予想される。たとえば、ロボットでカメラ又はワークを移動させたときに何らかの原因でカメラの視点（視野）が所望の位置からずれてしまう可能性もあれば、照明が遮られたり逆に外光が差し込むことで照明環境が変化してしまったり、光がワーク面で正反射しハレーションが起きる可能性もある。あるいは、プログラムにバグがあり、ロボットが意図した動作をしていなかった可能性もあるからである。しかしながら、従来のシステムでは、カメラ又はワークがどのような動きをしたのかを後から確認することができないため、不具合の原因を特定することが難しかった。

本発明は、上記実情に鑑みなされたものであって、検査対象物に対する視点の位置を変えながら複数の検査用画像を取得するシステムにおいて、不具合発生時の原因特定を支援するための技術を提供することを目的とする。

本発明の第一側面は、検査対象物を撮影するための撮像手段と、前記検査対象物と前記撮像手段のうち少なくとも一方を移動させることによって、前記検査対象物に対する前記撮像手段の視点の位置を変更する移動手段と、前記検査対象物に対する前記視点の移動ルート、及び、前記移動ルート上において前記検査対象物の撮影を実行する複数の撮影タイミング、を規定するための制御情報を記憶する記憶手段と、前記制御情報にしたがって前記移動手段及び前記撮像手段を制御することによって、前記複数の撮影タイミングそれぞれの視点における複数の検査用画像を取得する制御手段と、前記複数の検査用画像を用いて前記検査対象物の検査を実行する検査手段と、を備え、前記制御手段は、前記移動ルー
ト上において前記複数の撮影タイミングのいずれとも異なるタイミングである複数の記録タイミングで前記撮像手段による撮影を実行する制御を行うことによって、前記複数の記録タイミングそれぞれの視点における複数の記録用画像を取得することを特徴とする画像検査システムを提供する。

この構成によれば、検査用画像の撮影タイミングとは異なるタイミングでも撮影が実行され、検査用画像とは異なる複数の記録用画像が取得される。仮に、検査用画像をｎ箇所で撮影し、記録用画像をｍ箇所で撮影した場合、最終的に（ｎ＋ｍ）箇所の視点における画像が取得されることとなる。それゆえ、これらの画像を検証することにより、検査の過程における視野の変化を確認したり、照明などの環境が適切であったかどうかを確認したりすることが可能になり、不具合の原因特定も容易になると期待できる。

本発明は、検査対象物を固定し撮像手段を移動する構成、撮像手段を固定し検査対象物を移動する構成、検査対象物と撮像手段の両方を移動する構成、のいずれを採用してもよい。「検査用画像」は、検査手段による検査対象物の検査に用いるために取得される画像である。他方、「記録用画像」は、もっぱら視点や視野の記録・動作の検証のために取得される画像であり、検査手段による検査には用いられない。

前記制御情報に基づいて、前記検査用画像の前記撮影タイミングの合間に１つ以上の前記記録タイミングが配置されるように、前記複数の記録タイミングを決定する記録タイミング決定手段を有し、前記制御手段は、前記記録タイミング決定手段によって決定された前記複数の記録タイミングにしたがって、前記複数の記録用画像の取得を行ってもよい。このように検査用画像の撮影タイミングの合間に記録タイミングを配置することで、検査用画像の撮影と記録用画像の撮影を両立することができる。

前記記録タイミング決定手段は、時間軸上で隣接する２つの前記撮影タイミングの間を時間的に等分するポイントに１つ以上の前記記録タイミングを配置してもよい。これにより、２つの撮影タイミングの間の期間に対して、偏りのないデータロギング（視野の記録）を行うことができる。

前記記録タイミング決定手段は、ある撮影タイミングで検査用画像の取得が行われたときに、当該撮影タイミングから次に予定されている撮影タイミングまでの時間差から所定のマージンを差し引いた時間を等分するポイントに１つ以上の前記記録タイミングを配置してもよい。実際に撮影が行われたタイミングを基準に記録タイミングを決定するので、より正確な位置（視野）の画像を取得することができる。

前記記録タイミング決定手段は、前記撮影タイミングと前記記録タイミングとの時間的な間隔が、前記撮像手段による前記検査用画像の取得に要する時間よりも長くなるように、前記記録タイミングを配置してもよい。このような制約条件を満足することで、検査用画像の取得を阻害せずに、記録用画像を取得することが可能となる。

前記記録用画像は、前記検査用画像に比べてデータサイズの小さい画像であってもよい。データサイズを小さくすることで、記録用画像の保管のためのデータ容量を削減することができる。

前記記録用画像は、前記検査用画像に比べて、前記撮像手段による画像の取得に要する時間が短い画像であってもよい。記録用画像の取り込み時間を短縮することにより、検査用画像の取得を阻害しないという制約条件を満たすのが容易となり、記録用画像の記録タイミングの決め方の自由度が上がるからである。

前記複数の検査用画像及び前記複数の記録用画像を時間順に表示する出力手段を有してもよい。これにより、複数の画像をばらばらに観察するのに比べて、視野の異常や照明環境の変化などを容易に発見できるものと期待できる。

前記出力手段は、前記視点の制御、前記撮影タイミング、及び前記記録タイミングを時間軸上に示した制御シーケンス図と、前記複数の検査用画像及び前記複数の記録用画像とを、時間的に対応付けて表示してもよい。これにより、視野の異常や照明環境の変化などを容易に発見できるものと期待できる。

前記出力手段は、前記検査対象物の画像である第１画像と、前記第１画像の撮影時刻において期待される視野の画像である第２画像とを、比較可能に表示してもよい。これにより、視野の異常や照明環境の変化などを容易に発見できるものと期待できる。

前記出力手段は、前記第１画像と前記第２画像の差異が所定の条件を満たす場合に通知を行ってもよい。これにより、視野の異常や照明環境の変化などを容易に発見できるものと期待できる。

本発明によれば、検査対象物に対する視点の位置を変えながら複数の検査用画像を取得するシステムにおいて、不具合発生時の原因特定を支援することができる。

図１は本発明の適用例を示す図である。 図２は本発明の実施形態に係る画像検査システムの構成例を示す図である。 図３は制御装置の構成の一例を示すブロック図である。 図４は画像検査システムによるワークの検査処理の流れの一例を示すフローチャートである。 図５は記録タイミングの決定方法の一例を示す図である。 図６は撮影画像の一例を示す図である。 図７は撮影画像の一例を示す図である。 図８は撮影画像の一例を示す図である。 図９は画像検査システムによるワークの検査処理の流れの一例を示すフローチャートである。 図１０は撮影タイミングの設定値の例である。 図１１は記録タイミングの決定方法の一例を示す図である。 図１２Ａ～図１２Ｃは画像検査システムの他の構成例を示す図である。

＜適用例＞
図１は、本発明の適用例の一つを模式的に示している。図１に示す画像検査システム１は、カメラ（撮像手段）１０でワーク（検査対象物）Ｗの検査部位を撮影することによって得られた画像を用いて、ワークＷの検査を行うシステムである。「検査」は、ワークＷの物理的な状態を調べ又は認識する処理であり、たとえば、異常（キズ、汚れなど）の検出、良／不良（合格／不合格）の判定、品質（優／良／可／不良）の判定などが典型的な処理であるが、これら以外にも、２次元形状や３次元形状の計測、形状の認識、エッジの検出、数の計測、長さの計測、面積の計測、色特徴の取得、ラベリング、セグメンテーション、物体認識、バーコードや２次元コードの読み取り、ＯＣＲ、個体識別などを含んでもよい。このような画像検査システム１は、たとえば、生産ラインにおいて製造物の検査や品質管理などに利用される。

画像検査システム１は、カメラ１０とワークＷのいずれか又は両方をロボット（移動手段）１１によって移動させることで、ワークＷに対するカメラ１０の視点の位置を変更することができる。検査時には、予め設定された移動ルートＲに沿ってカメラ１０の視点を移動させながら、複数の撮影タイミングで画像の取り込みを行い、これらの画像を検査に用いるための検査用画像としてメモリ又はストレージに保存する（図１は３つの撮影タイミングＴ_１～Ｔ_３で３枚の検査用画像を取得する例を示している）。加えて、画像検査システム１は、検査用画像の撮影タイミングのいずれとも異なるタイミング（すなわち、撮影タイミングの合間）にもカメラ１０から画像の取り込みを行い、これらの画像を記録用画像としてメモリ又はストレージに保存する。

記録用画像の記録タイミングは、検査用画像の撮像（露光、データの読み出しなどの処理）を阻害しないタイミングに設定される。ここで、たとえば、時間的に隣接する２つの撮影タイミングの間を時間的に等分するポイントに記録タイミングが配置されていてもよい。好ましくは、全ての撮影タイミングと全ての記録タイミングを時間順に並べた場合に、それらの時間的な間隔が可及的に一定（つまり等間隔）となるように、各記録タイミングが配置されていてもよい。

以上のような構成によれば、検査用画像の撮影タイミングとは異なるタイミング、すなわち、図１に示すように、カメラ１０の視点が撮影タイミングＴ_１から次の撮影タイミングＴ_２へと移動している途中の時点Ｔ_１０、Ｔ_１１、Ｔ_１２や、カメラ１０の視点が撮影タイミングＴ_２から次の撮影タイミングＴ_３へと移動している途中の時点Ｔ_２０、Ｔ_２１においても、カメラ１０の視野が記録される。図１の例では、検査用画像を３箇所で撮影し、記録用画像を５箇所で撮影しているため、最終的に３＋５＝８箇所の視点における画像が取得されることとなる。それゆえ、検査後に何らかの不具合が発覚した場合などには、移動ルートＲ上の８箇所の画像を検証することができるため、検査の過程における視野の変化を確認したり、照明などの環境が適切であったかどうかを確認したりすることが可能になり、不具合の原因特定も容易になると期待できる。

＜システム構成＞
図２は、本発明の実施形態に係る画像検査システム１の構成例を示している。画像検査システム１は、カメラ１０と、ロボット１１と、画像処理装置１２と、制御装置１３と、を備える。

カメラ１０は、検査対象物であるワークＷを撮影し画像データを取得するデバイスであり、レンズなどの光学系と、ＣＣＤやＣＭＯＳなどの撮像素子とを備え構成される。必要に応じて、オートフォーカス機構、パン／チルト／ズーム機構、照明装置などをカメラ１０に設けてもよい。カメラ１０から取り込む画像は、モノクロ画像（グレースケール画像）でもよいしカラー画像でもよい。また、照明装置として、赤外光などの可視光以外の照明を用いることにより、赤外線画像などの特殊な画像を撮影してもよい。

ロボット１１は、たとえば、６軸又は７軸の垂直多関節ロボットである。アームの先端にカメラ１０が固定されている。アームの関節部分にはモーター、エンコーダ、減速機（いずれも不図示）が内蔵されている。制御装置１３によって各関節のモーターを駆動することで、アームを上下左右に動かしたり、伸縮、回転させることで、ワークＷに対するカメラ１０の視点を任意の位置に移動させることができる。

画像処理装置１２は、カメラ１０で撮影されたワークＷの画像（検査用画像）を用いて、画像処理による検査を実行するデバイスである。画像処理装置１２は、たとえば、プロセッサ（ＣＰＵ）、メモリ、ストレージ、通信モジュール、Ｉ／Ｏを有するコンピュータと、液晶ディスプレイなどの表示装置と、マウスやタッチパネルなどの入力装置とを有し
ている。各種のプログラムがストレージに格納されており、画像検査システム１の稼働時には、必要なプログラムがメモリにロードされ、プロセッサによって実行されることにより、画像処理装置１２の処理及び機能が提供される。なお、画像処理装置１２の処理及び機能のうちの少なくとも一部をＡＳＩＣやＦＰＧＡなどの回路で構成したり、分散コンピューティングやクラウドコンピューティングにより構成したりしても構わない。

制御装置１３は、カメラ１０、ロボット１１、及び画像処理装置１２の制御を行うデバイスである。制御装置１３は、たとえば、プロセッサ（ＣＰＵ；制御手段）、メモリ、ストレージ、通信モジュール、Ｉ／Ｏを有するコンピュータと、液晶ディスプレイなどの表示装置と、マウスやタッチパネルなどの入力装置とを有している。各種のプログラムがストレージに格納されており、画像検査システム１の稼働時には、必要なプログラムがメモリにロードされ、プロセッサによって実行されることにより、制御装置１３の処理及び機能が提供される。制御装置１３は、ＰＬＣ（プログラマブル・ロジック・コントローラ）により構成してもよいし、汎用のコンピュータにより構成してもよい。なお、制御装置１３の処理及び機能のうちの少なくとも一部をＡＳＩＣやＦＰＧＡなどの回路で構成したり、分散コンピューティングやクラウドコンピューティングにより構成したりしても構わない。また、画像処理装置１２と制御装置１３を一台のコンピュータにより構成してもよい。

図３は、制御装置１３の構成の一例を示すブロック図である。制御装置１３は、カメラ制御部１３０、ロボット制御部１３１、制御情報記憶部１３２、画像取得部１３３、画像記憶部１３４、記録タイミング決定部１３５、出力部１３６を有する。本実施形態の制御装置１３では、カメラ制御部１３０、ロボット制御部１３１、画像取得部１３３、記録タイミング決定部１３５、及び出力部１３６は、プロセッサ（制御手段）がプログラムを実行することによって提供される機能であり、制御情報記憶部１３２及び画像記憶部１３４は、不揮発性のメモリ又はストレージにより提供される。

制御情報記憶部１３２は、カメラ１０及びロボット１１の動作を規定するための制御情報を記憶する記憶手段である。制御情報は、たとえば、検査用画像の撮影タイミングの設定、ロボット１１のモーションプログラムなどを含む。これらの情報は、たとえばティーチング装置を利用して作成され、予め（検査処理の開始前に）制御装置１３に登録される。カメラ制御部１３０は、制御情報に基づきカメラ１０による撮像を制御する処理を行う。また、ロボット制御部１３１は、制御情報に基づきロボット１１のアームを制御し、所定の移動ルートに沿ってカメラ１０の視点を移動させる処理を行う。

画像取得部１３３は、カメラ１０で取り込まれた画像のデータを画像処理装置１２を介して取得する処理を行う。取得された画像のデータは、画像記憶部１３４に格納される。記録タイミング決定部１３５は、記録用画像の記録タイミングを決定する処理を行う。記録用画像の記録タイミングについては、検査処理の開始前に全ての記録タイミングを決定してもよいし、検査処理の実行中に（たとえば、検査用画像の取り込みが実際に行われたタイミングに合わせて）記録タイミングを動的に決定してもよい。出力部１３６は、制御シーケンス図と検査用画像及び記録用画像とを時間的に対応付けて表示する処理を行う。

＜検査処理＞
図４は、画像検査システム１によるワークＷの検査処理の流れの一例を示すフローチャートである。

まずステップＳ４０において、記録タイミング決定部１３５が、制御情報に基づいて、記録用画像の記録タイミングを決定する。本実施形態では、検査用画像の撮影タイミングの間を時間的に等分するポイントで１枚以上の記録用画像が撮影されるように、記録用画
像の記録タイミングが決められる。

たとえば、図５に示すように、検査開始時刻Ｔ_０と検査終了時刻Ｔ_ｎの間に、検査用画像の撮影タイミングＴ_ｉ（ｉ＝１，…，ｎ－１）が設定されていた場合には、記録タイミング決定部１３５は、記録タイミングＴ_ｉｊを、
Ｔ_ｉｊ＝Ｔ_ｉ＋（Ｔ_ｉ＋１－Ｔ_ｉ）／ｍ_ｉ × ｊ （ｊ＝１，…，ｍ_ｉ－２）
のように求める。

ｍ_ｉは、Ｔ_ｉとＴ_ｉ＋１の間の区間の分割数であり、２以上の整数である。区間ごとに分割数ｍ_ｉは任意に設定してもよい。ただし、記録タイミング決定部１３５は、撮影タイミングとそれに時間的に隣接する記録タイミングとの時間的な間隔が、カメラ１０による検査用画像の取得に要する時間（たとえば露光と画像データの読み出しに要する時間）よりも長くなるように設定する。このような制約条件を満足することで、検査用画像の取得を阻害せずに、記録用画像を取得することが可能となる。

ここで、撮影時間間隔である（Ｔ_{ｉ（ｊ＋１）}－Ｔ_ｉｊ）が検査の全期間において可及的に一定になるように、各区間の分割数ｍ_ｉを決定してもよい。撮影時間間隔を一定にすることで、検査の全期間にわたって同じ頻度で画像を記録することができるため、漏れの少ないデータロギングが実現でき、不具合の発生箇所の探索などに有用である。また、撮影時間間隔が一定であれば、それらの画像群をスライドショーのように一定の時間間隔で切り替え表示することで、検査時と同じ速度（又は比例した速度）での視点の移動を再現することができるので、表示中の画像とワークＷ上の位置との対応を把握しやすいという利点もある。

以上のように決定された記録用画像の記録タイミングＴ_ｉｊの情報は、制御情報として与えられた検査用画像の撮影タイミングＴ_ｉの情報と共に、カメラ制御部１３０に渡される。

次にステップＳ４１において、ロボット制御部１３１が、制御情報記憶部１３２から制御情報（モーションプログラム）を読み込む。そして、ステップＳ４２において検査がスタートすると、ロボット制御部１３１がモーションプログラムを実行してロボット１１の制御を開始すると共に、カメラ制御部１３０がタイマにより検査開始時刻Ｔ_０からの経過時間ｔの監視を開始する。

経過時間ｔが撮影タイミングＴ_ｉに達すると（ステップＳ４３のＹＥＳ）、カメラ制御部１３０がカメラ１０を制御し、検査用画像の撮影を行う（ステップＳ４４）。検査用画像は、画像処理装置１２において必要な処理（たとえばホワイトバランス調整、カラー調整、ノイズ除去、圧縮など）が行われた後、画像取得部１３３により取り込まれ、撮影時刻（タイムスタンプ）やワークＷを特定する情報などとともに画像記憶部１３４に格納される。また、画像処理装置１２は、当該検査用画像を用いた検査処理を実行する（ステップＳ４５）。なお、図４では、図示の便宜からステップＳ４４～Ｓ４７の処理をシリアルな処理として記載しているが、制御装置１３の処理と画像処理装置１２の処理は並列に実行してもよい。

経過時間ｔが記録タイミングＴ_ｉｊに達すると（ステップＳ４６のＹＥＳ）、カメラ制御部１３０がカメラ１０を制御し、記録用画像の撮影を行う（ステップＳ４７）。記録用画像は、画像処理装置１２において必要な処理（たとえばホワイトバランス調整、カラー調整、ノイズ除去、圧縮など）が行われた後、画像取得部１３３により取り込まれ、撮影時刻（タイムスタンプ）やワークＷを特定する情報などとともに画像記憶部１３４に格納される。

記録用画像は、検査用画像と同等のスペックの画像でもよいし、検査用画像と異なるスペックの画像でもよい。記録用画像は計測や検査に用いないので、検査用画像ほどの品質は必要ない。したがって、記録用画像は、検査用画像よりもデータサイズの小さい画像（たとえば、検査用画像よりも解像度の低い画像、検査用画像よりも圧縮率の高い画像、検査用画像よりも視野の小さい画像、検査用画像よりもチャネル数や色数が少ない画像など）でもよい。データサイズを小さくすることで、記録用画像の保管のためのデータ容量を削減することができるという利点がある。あるいは、記録用画像は、検査用画像に比べて、カメラ１０による画像の取得に要する時間が短い画像（たとえば、検査用画像よりも解像度の低い画像、検査用画像よりも露光時間の短い画像など）でもよい。記録用画像の取り込み時間を短縮することにより、検査用画像の取得を阻害しないという制約条件を満たすのが容易となり、記録用画像の記録タイミングの決め方の自由度が上がるからである。また、記録用画像の取り込み時間が短い方が、より多くの枚数の記録用画像の撮影が可能となり、漏れの少ないデータロギングが可能になるという利点もある。

ロボット１１によりカメラ１０の視点を移動させながら、ステップＳ４３～Ｓ４７を繰り返して複数枚の検査用画像及び複数枚の記録用画像を取得する。そして、検査終了時刻Ｔ_ｎに達すると（ステップＳ４８のＹＥＳ）、ロボット１１をホームポジションに戻し、検査処理を終了する。

＜動作の検証＞
図６～図８を参照して、検査処理において蓄積された検査用画像及び記録用画像の表示例と、それを利用した動作の検証方法について説明する。なお、本実施形態では、画像の表示および動作の検証の際は、検査用画像と記録用画像の両者を区別なく用いるため、以後の説明において検査用画像と記録用画像を区別する必要のない文脈では、両者の総称として「撮影画像」という用語を用いる。

図６は、蓄積された撮影画像群を動画像のように再生する方法を示す。具体的には、出力部１３６が、画像記憶部１３４から撮影画像のデータを読み込み、スライドショーのように画像を切り替えながら複数の撮影画像を連続的に表示する。これにより、カメラ１０の視野の時間的な変化をあたかも動画像のように観察することができるので、複数の撮影画像をばらばらに観察するのに比べて、視野の異常や照明環境の変化などを容易に発見できるものと期待できる。このとき、出力部１３６は、（撮影画像が実際に撮影されたときの時間間隔が一定であるか不均一であるかとは無関係に）一定の時間間隔で撮影画像の切り替え表示を行ってもよい。あるいは、出力部１３６は、撮影画像に紐づけられたタイムスタンプを参照し、検査時（実際に撮影されたとき）と同じ速度（又は比例した速度）で画像が切り替えられるように再生制御を行ってもよい。

図７は、制御シーケンス図と撮影画像とを時間的に対応付けて表示する例を示す。制御シーケンス図は、視点の制御、検査用画像の撮影タイミング、及び、記録用画像の記録タイミングを時間軸上に示したものであり、図７の例では、横軸に経過時間ｔ、縦軸にロボット１１の各関節のエンコーダ値をとった２次元座標の上に、エンコーダ値の時間変化を示すグラフ７０、７１（視点の時間変化に相当）と、撮影タイミングＴ_ｉと、記録タイミングＴ_ｉｊとを描画している。また、ユーザ操作により移動可能な時刻カーソル７２を表示するとともに、時刻カーソル７２の時刻に対応する撮影画像７３も表示される。さらにこのとき、撮影画像（第１画像）７３の隣に期待値画像（第２画像）７４を表示し、撮影画像７３と期待値画像７４とを比較観察できるようにしてもよい。期待値画像７４は、撮影画像７３の撮影時刻において期待される視野（つまり正解の視野）の画像であり、たとえば、画像検査システム１の調整時やティーチング時などに、マスターワークを撮影するなどして用意しておくとよい。あるいは、ワークＷの３次元形状データを用いてシミュレ
ーションを行うことにより、コンピュータグラフィックスによる期待値画像７４を生成してもよい。このように制御シーケンス図とともに撮影画像を表示することにより、視野の異常や照明環境の変化などを容易に発見できるものと期待できる。

図８は、撮影画像群８０と期待値画像群８１とを時間的な対応をとりながら時系列に並べて表示した例である。横軸が経過時間ｔを示している。この表示によれば、視野の時間的な変化を概観しながら、各タイミングでの視野の正否をチェックできるため、視点ずれの発生箇所の発見を容易化することができる。また、出力部１３６が、対応する時刻の撮影画像と期待値画像を比較し、２つの画像の差異が所定の条件を満たす場合に通知を行うようにしてもよい。たとえば、２つの画像のピクセルごとの差の合計が所定の閾値より大きい場合に、出力部１３６は「視点ずれの可能性あり」と判断し、図８のように強調表示８２をしたり、警告８３を出力したりすることで、ユーザに注意を促してもよい。このような通知機能により、視点ずれの発見を支援することができる。

以上述べた構成によれば、検査処理の間の視野の時間的な変遷を画像として記録することができるため、視野の異常や照明環境の変化などの発見が容易となり、不具合の原因特定も容易になると期待できる。

＜変形例＞
上述した実施形態では、撮影タイミング及び記録タイミングを検査処理開始からの経過時間を基準に定めている（図４のステップＳ４０）。この方法は、ロボット１１がプログラムどおりの位置取りを実現できれば問題ないが、イナーシャや外乱の影響などによりロボット１１の位置の誤差が無視できない場合には、ロボット１１の動きに合わせて撮影タイミング及び記録タイミングを動的に調整してもよい。

図９及び図１０に、ロボット１１のエンコーダ値を読み取り、その値を基に撮影タイミングや記録タイミングを決定する方法を示す。図９は、検査処理の流れを示すフローチャートであり、図１０は、制御情報記憶部１３２に登録されている撮影タイミングの設定値である。上述した実施形態との違いは、撮影タイミングが、検査処理開始からの経過時間ではなく、カメラ１０の視点の位置（具体的には、ロボット１１の各関節のエンコーダ値）により規定されている点である。なお、記録タイミングの計算に必要となるため、参考値として、各撮影タイミングの予定時刻（ロボット１１が理想的に動作した場合の撮影タイミングに相当する時刻）も設定されている。

ステップＳ９０において、ロボット制御部１３１が、制御情報記憶部１３２から制御情報（モーションプログラム）を読み込む。またステップＳ９１において、カメラ制御部１３０が、制御情報記憶部１３２から制御情報（撮影タイミングの設定値）を読み込む。そして、ステップＳ９２において検査がスタートすると、ロボット制御部１３１がモーションプログラムを実行してロボット１１の制御を開始すると共に、カメラ制御部１３０がロボット１１の各軸のエンコーダ値の監視を開始する。

エンコーダ値が撮影タイミングＴ_ｉの設定値と等しくなると（ステップＳ９３のＹＥＳ）、カメラ制御部１３０がカメラ１０を制御し、検査用画像の撮影を行う（ステップＳ９４）。また、画像処理装置１２が、当該検査用画像を用いた検査処理を実行する（ステップＳ９５）。

ステップＳ９６では、記録タイミング決定部１３５が、ステップＳ９３の撮影が行われた時刻と、制御情報（次回の撮影タイミングの予定時刻）とから、今回の撮影タイミングと次回の撮影タイミングの間に撮影する記録用画像の記録タイミングを計算する。ここでは、図１１に示すように、今回の撮影タイミングＴ_１の実際の時刻から次回の撮影タイミ
ングＴ_２の予定時刻までの時間差から、所定のマージンを差し引いた時間を等分するように、１つ以上の記録タイミングを配置する。なおマージンを設けるのは、次回の撮影タイミングが何らかの要因で予定時刻からずれる可能性を考慮したものである。マージンの幅は、たとえば、今回の撮影タイミングと次回の撮影タイミングの時間間隔の数％程度に設定すればよい。

ステップＳ９３の撮影時刻からの経過時間がステップＳ９６で決定した記録タイミングに達すると（ステップＳ９７のＹＥＳ）、カメラ制御部１３０がカメラ１０を制御し、記録用画像の撮影を行う（ステップＳ９８）。これ以降の処理は上述した実施形態の処理と同様である。

以上述べた方法によれば、検査用画像の撮影タイミング及び記録用画像の記録タイミングをエンコーダ値に基づき決めることで、上述の実施形態の方法よりも画像の視野を厳密に合わせることが可能となる。

＜その他＞
上記実施形態は、本発明の構成を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。たとえば、上記実施形態では、撮影画像の時間間隔ができるだけ一定になるように記録タイミングを決定したが、撮影画像の時間間隔は不均一でも構わない。また、上記実施形態では、画像データを制御装置１３内に保持したが、画像データは画像処理装置１２内に保持してもよいし、外部装置やクラウドサーバなどに格納してもよい。また、上記実施形態では、ワークＷを固定しカメラ１０を移動させたが、ワークＷを移動させてもよいし、ワークＷとカメラ１０の両方を移動させてもよい。図１２Ａ～図１２ＣにワークＷとカメラ１０の相対移動に関する他の構成例を示す。図１２Ａは、ワークＷを固定しカメラ１０を移動させる構成であり、垂直多関節ロボットの代わりに、４軸（ｘ，ｙ，θ１，θ２）の直交ロボットを用いた例である。図１２Ｂは、カメラ１０を固定し、６軸（ｘ，ｙ，ｚ，θ１，θ２，θ３）の垂直多関節ロボット１１によりワークＷを移動させる構成である。また、図１２Ｃは、ワークＷとカメラ１０の両方を移動させる例である。すなわち、１軸（θ３）の回転テーブル１２０上にワークＷを設置することでワークＷの向きを変更可能にするとともに、５軸（ｘ，ｙ，ｚ，θ１，θ２）のロボット１１によりカメラ１０の姿勢を変更可能としている。なお、図２及び図１２Ａ～図１２Ｃに示した構成はあくまで一例であり、ワークＷとカメラ１０のうちの一方又は両方を移動させることが可能であればいかなる構成を採用しても構わない。また、図６～図８はあくまで表示の一例であり、表示項目や表示方法などは、適宜設計すればよい。

＜付記＞
（１） 検査対象物（Ｗ）を撮影するための撮像手段（１０）と、
前記検査対象物（Ｗ）と前記撮像手段（１０）のうち少なくとも一方を移動させることによって、前記検査対象物（Ｗ）に対する前記撮像手段（１０）の視点の位置を変更する移動手段（１１）と、
前記検査対象物（Ｗ）に対する前記視点の移動ルート、及び、前記移動ルート上において前記検査対象物（Ｗ）の撮影を実行する複数の撮影タイミング、を規定するための制御情報を記憶する記憶手段（１３２）と、
前記制御情報にしたがって前記移動手段（１１）及び前記撮像手段（１０）を制御することによって、前記複数の撮影タイミングそれぞれの視点における複数の検査用画像を取得する制御手段（１３０、１３１）と、
前記複数の検査用画像を用いて前記検査対象物（Ｗ）の検査を実行する検査手段（１２）と、を備え、
前記制御手段（１３０、１３１）は、前記移動ルート上において前記複数の撮影タイミ
ングのいずれとも異なるタイミングである複数の記録タイミングで前記撮像手段（１０）による撮影を実行する制御を行うことによって、前記複数の記録タイミングそれぞれの視点における複数の記録用画像を取得する
ことを特徴とする画像検査システム（１）。

１：画像検査システム
１０：カメラ
１１：ロボット
１２：画像処理装置
１３：制御装置
１３０：カメラ制御部
１３１：ロボット制御部
１３２：制御情報記憶部
１３３：画像取得部
１３４：画像記憶部
１３５：記録タイミング決定部
１３６：出力部
Ｗ：ワーク

Claims (13)

1. 検査対象物を撮影するための撮像手段と、
   前記検査対象物と前記撮像手段のうち少なくとも一方を移動させることによって、前記検査対象物に対する前記撮像手段の視点の位置を変更する移動手段と、
   前記検査対象物に対する前記視点の移動ルート、及び、前記移動ルート上において前記検査対象物の撮影を実行する複数の撮影タイミング、を規定するための制御情報を記憶する記憶手段と、
   前記制御情報にしたがって前記移動手段及び前記撮像手段を制御することによって、前記複数の撮影タイミングそれぞれの視点における複数の検査用画像を取得する制御手段と、
   前記複数の検査用画像を用いて前記検査対象物の検査を実行する検査手段と、を備え、
   前記制御手段は、前記複数の検査用画像を取得する際に、前記制御情報に基づいて、前記移動ルート上において前記複数の撮影タイミングのいずれとも異なる、前記複数の撮影タイミングの合間に配置された１つ以上のタイミングを含む複数の記録タイミングで前記撮像手段による撮影を実行する制御を行うことによって、前記複数の記録タイミングそれぞれの視点における複数の記録用画像を取得する
   ことを特徴とする画像検査システム。
2. 前記複数の記録タイミングを決定する記録タイミング決定手段をさらに有する
   ことを特徴とする請求項１に記載の画像検査システム。
3. 前記記録タイミング決定手段は、時間軸上で隣接する２つの前記撮影タイミングの間を時間的に等分するポイントに１つ以上の前記記録タイミングを配置する
   ことを特徴とする請求項２に記載の画像検査システム。
4. 前記記録タイミング決定手段は、ある撮影タイミングで検査用画像の取得が行われたときに、当該撮影タイミングから次に予定されている撮影タイミングまでの時間差から所定のマージンを差し引いた時間を等分するポイントに１つ以上の前記記録タイミングを配置する
   ことを特徴とする請求項２に記載の画像検査システム。
5. 前記記録タイミング決定手段は、前記撮影タイミングと前記記録タイミングとの時間的な間隔が、前記撮像手段による前記検査用画像の取得に要する時間よりも長くなるように、前記記録タイミングを配置する
   ことを特徴とする請求項２～４のいずれか１項に記載の画像検査システム。
6. 前記記録用画像は、前記検査用画像に比べてデータサイズの小さい画像である
   ことを特徴とする請求項１～５のいずれか１項に記載の画像検査システム。
7. 前記記録用画像は、前記検査用画像に比べて、前記撮像手段による画像の取得に要する時間が短い画像である
   ことを特徴とする請求項１～６のいずれか１項に記載の画像検査システム。
8. 前記複数の検査用画像及び前記複数の記録用画像を時間順に表示する出力手段を有することを特徴とする請求項１～７のいずれか１項に記載の画像検査システム。
9. 前記出力手段は、前記視点の制御、前記撮影タイミング、及び前記記録タイミングを時間軸上に示した制御シーケンス図と、前記複数の検査用画像及び前記複数の記録用画像とを、時間的に対応付けて表示する
   ことを特徴とする請求項８に記載の画像検査システム。
10. 前記出力手段は、前記検査対象物の画像である第１画像と、前記第１画像の撮影時刻において期待される視野の画像である第２画像とを、比較可能に表示する
    ことを特徴とする請求項８又は９に記載の画像検査システム。
11. 前記出力手段は、前記第１画像と前記第２画像の差異が所定の条件を満たす場合に通知を行う
    ことを特徴とする請求項１０に記載の画像検査システム。
12. 検査対象物を撮影するための撮像手段と、
    前記検査対象物と前記撮像手段のうち少なくとも一方を移動させることによって、前記検査対象物に対する前記撮像手段の視点の位置を変更する移動手段と、
    前記検査対象物に対する前記視点の移動ルート、及び、前記移動ルート上において前記検査対象物の撮影を実行する複数の撮影タイミング、を規定するための制御情報を記憶する記憶手段と、を有する画像検査システムの制御方法であって、
    前記制御情報にしたがって前記移動手段及び前記撮像手段を制御することによって、前記複数の撮影タイミングそれぞれの視点における複数の検査用画像を取得すると共に、前記複数の検査用画像を取得する際に、前記移動ルート上において前記複数の撮影タイミングのいずれとも異なる、前記複数の撮影タイミングの合間に配置された１つ以上のタイミングを含む複数の記録タイミングで前記撮像手段による撮影を実行する制御を行うことによって、前記複数の記録タイミングそれぞれの視点における複数の記録用画像を取得するステップと、
    前記複数の検査用画像を用いて前記検査対象物の検査を実行するステップと、
    を含むことを特徴とする画像検査システムの制御方法。
13. 請求項１２に記載の画像検査システムの制御方法の各ステップを、前記画像検査システムが有するプロセッサに実行させるためのプログラム。

Images