JP6685776B2 - 撮像システム、計測システム、生産システム、撮像方法、プログラム、記録媒体および計測方法 - Google Patents

Description

本発明は、単眼ステレオ法によりワークを３次元計測するためにワークを撮像するものに関する。

従来、ロボットやベルトコンベアなどの搬送装置を用いてワーク（物体）を搬送するシステムがある。ワークの搬送中、ワークは搬送装置に対して任意の位置又は姿勢である場合が多く、作業位置手前においてワークの位置又は姿勢を計測して、適宜ワークの位置又は姿勢を修正してから作業を開始するのが一般的である。また検査においても、ワークの位置又は姿勢を修正後、検査を専門に行うステーションに送って検査を実施するのが一般的である。

その際、３次元的にワークの位置又は姿勢を修正するため、画像によるワークの３次元の計測が必要となってくる場合がある。３次元計測装置では、一般に２つのカメラによって計測を実施している。しかし、複数のカメラを用いた場合、装置が大型化し、コストもかかるため、単眼ステレオ法を用いて、単眼のカメラと水平移動装置と組み合わせて、より小型でローコストな装置で３次元計測を実施する方法が提案されている（特許文献１）。

特開２００７−３２７８２４号公報

ところで、２つのカメラを用いたステレオ法では、視差が大きいほど、即ち２つのカメラが離れているほど精度が良くなる。単眼ステレオ法の場合、視差が大きい２つの画像を得るためには、できるだけ撮像視野（画角）の辺縁部の互いに離れた位置でワークを撮像する必要がある。しかし、辺縁部においてワークが画角からはみ出す（つまりオーバーランする）と、ワークが写り込んだ画像が得られなくなってしまう。

よって、従来の単眼ステレオ法では、カメラでワークを確実に２回撮像するために、画角内、特に辺縁部で位置精度よくワークを２回停止させる必要があった。また、ワークを撮像する際のワークの振動に対しても注意する必要があった。

即ち、撮像のためにワークを一旦停止させるため、加速・減速・停止およびそれに伴う制振等のため水平移動装置の動作時間が長くなってしまい、ワークの供給から排出までのトータルの時間が長くなっていた。

また、ワークがオーバーランしないように、例えば遮断センサやリニアエンコーダ等の位置検出器を用いてワークの正確な位置を求め、ワークの搬送を止めずに２つの撮像画像を得ることも考えられる。しかし、カメラの画角の辺縁部でワークを２回撮像しようとすると、カメラと位置検出器の位置合わせやトリガ遅延に対する調整など、煩雑な手間が増えてしまう。特にワークが高速に移動する場合や移動速度が一定でないときは、調整が難しく、繰り返し何度も調整を実施する必要があった。

以上を鑑みて本発明の目的は、ワークの搬送を停止することなく単眼ステレオ法に適した２つの撮像画像を得ることにある。

本発明は、搬送方向に搬送中のワークを撮像する撮像システムにおいて、複数の画素を有する画像センサと、前記画像センサを制御する制御部と、を備え、前記制御部は、前記ワークの搬送中、前記複数の画素のうち、前記搬送方向の上流側に位置する第１領域の画素群を選択して撮像させる第１撮像処理と、前記第１領域の画素群から取得した画像に基づき、前記ワーク又は前記ワークを保持する保持体に付与された、前記搬送方向の上流側のマークが撮像されたか否かを判別する第１判別処理と、前記第１判別処理の判別の結果、前記上流側のマークが撮像されたと判別した場合、前記第１領域よりも広域の画素群を選択して前記ワークを撮像させる第１ワーク撮像処理と、前記ワークの搬送中、前記複数の画素のうち、前記搬送方向の下流側に位置する第２領域の画素群を選択して撮像させる第２撮像処理と、前記第２領域の画素群から取得した画像に基づき、前記ワーク又は前記保持体に付与された、前記搬送方向の下流側のマークが撮像されたか否かを判別する第２判別処理と、前記第２判別処理の判別の結果、前記下流側のマークが撮像されたと判別した場合、前記第２領域よりも広域の画素群を選択して前記ワークを撮像させる第２ワーク撮像処理と、を実行することを特徴とする。

本発明によれば、簡単な構成でワークの搬送を停止させることなく単眼ステレオ法に適した２つの撮像画像を得ることができる。

第１実施形態に係る生産システムの概略構成を示す模式図である。 第１実施形態においてロボットハンドのフィンガーにより把持されたワークをカメラ側から見た平面図である。 第１実施形態におけるカメラの内部構成を示したブロック図である。 第１実施形態に係る撮像方法を示すフローチャートである。 （ａ）〜（ｆ）は、第１実施形態に係る撮像方法を説明するための模式図である。 第１実施形態に係る判別回路を示す回路図である。 （ａ）〜（ｄ）は、画像上のマーク像と、選択された画素領域により撮像された画素とを示す模式図である。 （ａ）はステレオカメラを用いる３次元測定法を示す原理図である。（ｂ）は単眼ステレオ法による３次元測定法を示す原理図である。 第２実施形態に係る生産システムの概略構成を示す模式図である。 （ａ）〜（ｄ）は、再帰反射材の一例と原理を示した説明図である。 第２実施形態におけるカメラの内部構成を示したブロック図である。 第２実施形態に係る撮像方法を示すフローチャートである。 （ａ）〜（ｆ）は、第２実施形態に係る撮像方法を説明するための模式図である。 第３実施形態に係る計測方法を示すフローチャートである。 （ａ）及び（ｂ）は、搬送装置の他の例を示す模式図である。 第１及び第２画素領域の他の例を示す模式図である。 マーク部材の他の例を示す模式図である。 （ａ）〜（ｃ）は、判別回路における判別処理を説明するための図である。 制御部をコンピュータで構成した場合の生産システムの制御系の構成を示すブロック図である。

以下、本発明を実施するための形態を、図面を参照しながら詳細に説明する。

［第１実施形態］
図１は、第１実施形態に係る生産システムの概略構成を示す模式図である。生産システム１００は、計測システム２００と、ワークＷを搬送する搬送装置であるロボット１１０と、ロボット制御装置１２０と、上流側装置である供給装置５００と、下流側装置である排出装置６００と、を備えている。計測システム２００は、撮像システム３００と、画像処理装置４００と、を備えている。撮像システム３００は、単眼の撮像装置であるカメラ３３０と、光源３６１と、を備えている。

ロボット１１０は、ワークＷを保持してワークＷを搬送方向Ｘに搬送するものである。ロボット１１０は、搬送体であるロボットアーム１１１（図１ではロボットアーム１１１の先端部分のみ図示）と、ロボットアーム１１１の先端に取り付けられた、保持体であるロボットハンド１１２とを有する。ロボットアーム１１１は、ワークＷを保持したロボットハンド１１２を搬送方向Ｘに移動させることで、ワークＷを搬送方向Ｘに移動させる。

ロボットアーム１１１は、垂直多関節型のロボットアームであり、複数の関節（例えば６つ）を有する。ロボットアーム１１１は、第１実施形態では垂直多関節型であるが、水平多関節型のロボットアーム、パラレルリンク型のロボットアーム、直交ロボット等、いかなるロボットアームであってもよい。

ロボットハンド１１２は、掌部であるハンド本体１１３と、ハンド本体１１３に支持された複数（例えば２つ）のフィンガー１１４_１，１１４_２と、を有している。フィンガー１１４_１，１１４_２は、ハンド本体１１３の不図示の駆動機構により開閉方向（ハンド本体１１３の中心軸に対して離間又は近接する方向）に駆動される。

フィンガー１１４_１，１１４_２を閉方向、つまり近接する方向に移動させることでワークＷを把持することができ、フィンガー１１４_１，１１４_２を開方向、つまり離間する方向に移動させることでワークＷを把持解放することができる。

なお、リング状のワークの場合には、フィンガー１１４_１，１１４_２を開方向に移動させることでワークの内面にフィンガー１１４_１，１１４_２を当接させてワークを把持することができる。また、フィンガー１１４_１，１１４_２を開方向に移動させることでワークを把持解放することができる。

このようにロボットハンド１１２は、複数のフィンガー１１４_１，１１４_２により、ワークＷを把持することができる。なお、ロボットハンド１１２の構成はこれに限定するものではなく、ワークＷを保持できればよく、例えば吸着型であってもよい。また、フィンガーの数は、２つに限定するものではなく、３つ以上であってもよい。

カメラ３３０は、検査計測対象であるワークＷを自動で撮像するデジタルカメラである。画像処理装置４００は、カメラ３３０から順次取得した２つの撮像画像（データ）、及び予め測定しておいた校正情報から、ワークＷの状態を３次元計測するものである。第１実施形態では、画像処理装置４００は、ワークＷの状態として、撮像画像からワークＷの位置（又は姿勢）を求める場合について説明するが、ワークＷの欠陥等を検出する場合であってもよい。

ロボット制御装置１２０は、ロボット１１０の動作を制御するものである。具体的には、ロボット制御装置１２０は、ロボットアーム１１１の各関節の動作、ロボットハンド１１２のフィンガー１１４_１，１１４_２の動作を制御する。ロボット制御装置１２０には、ロボット１１０がワークＷを搬送中、画像センサ３４０のセンサ面と平行な方向にカメラ３３０の撮像視野（画角）内を通過するように、ロボット１１０（ロボットアーム１１１）の軌道データがプログラミングされている。つまり、ハンド本体１１３の掌底面（フィンガー取り付け面）が画像センサ３４０のセンサ面と平行な状態を維持しながら、ロボットアーム１１１を駆動して画像センサ３４０のセンサ面に平行な搬送方向ＸにワークＷを搬送する。このとき、ロボットハンド１１２の２つのフィンガー１１４_１，１１４_２のうち、一方のフィンガー１１４_１が搬送方向Ｘの上流側、他方のフィンガー１１４_２が搬送方向Ｘの下流側となるようにロボットアーム１１１を駆動する。

また、ロボット制御装置１２０は、画像処理装置４００から画像処理結果、つまりロボット１１０に対するワークＷの位置データを取得する。ロボット制御装置１２０は、ワークＷがカメラ３３０の撮像視野内を通過後、位置データに基づきロボット１１０の姿勢を修正する。これにより、ロボット制御装置１２０は、ワークＷの位置を修正して、下流側の排出装置６００にワークＷを排出する。また、ロボット制御装置１２０は、ワークＷを搬送させる動作をロボット１１０に開始させるときに、ワークＷを搬送させる動作を開始させることを示す開始信号をカメラ３３０に出力する。なお、下流側装置が排出装置６００としたが、組み立て装置等、他のロボットであってもよい。

カメラ３３０は、撮像部であるカメラ本体３３１と、カメラ本体３３１に取り付けられたレンズ３３２とを有する。カメラ本体３３１は、画像センサ３４０と、画像センサ３４０を制御する制御部３５０とを有している。カメラ３３０は、不図示の架台等に固定して設置されている。照明装置である光源３６１は、例えば閃光を発する閃光装置（ストロボ）であり、ワークＷを撮像する際にワークＷに光を照射する。画像処理装置４００による処理内容に応じて、明視野、暗視野等を実現する位置に適宜配置される。

ロボットハンド１１２の２つのフィンガー１１４_１，１１４_２のそれぞれの先端には、マークであるマーク部材１５０_１，１５０_２がそれぞれ設置されている。具体的には、マーク部材１５０_１は、ロボットハンド１１２の搬送方向Ｘの上流側のフィンガー１１４_１に付与された、搬送方向Ｘの上流側（搬送元側）の第１マークである。マーク部材１５０_２は、ロボットハンド１１２の搬送方向Ｘの下流側のフィンガー１１４_２に付与された、搬送方向Ｘの下流側（搬送先側）の第２マークである。マーク部材１５０_１，１５０_２は、ワークＷの把持状態にかかわらず、搬送中にカメラ３３０の画角内を通過するときには、カメラ３３０により撮像可能となっている。

なお後述するが、ワークＷを撮像する撮像タイミングの調整は、カメラ３３０内のロジック回路で実施される。したがって、カメラ３３０は、画像処理装置４００やロボット制御装置１２０、その他の上位コントローラからの撮像タイミングを決めるトリガ信号を入力する必要はない。

第１実施形態では、単眼ステレオ法により、１つのカメラ３３０を用いて、搬送中のワークＷを異なるアングルで撮像し、２つの撮像画像を用いて３次元計測を行う。２つの撮像画像を得るそれぞれ異なる撮像タイミングを、画像センサ３４０によるマーク部材１５０_１，１５０_２の検出結果を用いて決定する。

図２は、第１実施形態においてロボットハンドのフィンガーにより把持されたワークをカメラ側から見た平面図である。２つのマーク部材１５０_１，１５０_２は、レンズ３３２を通してカメラ本体３３１の画像センサ３４０から見える、つまり画像センサ３４０の撮像視野（画角）内を通過するようになっている。

また、ワークＷの搬送中、マーク部材１５０_１，１５０_２がワークＷの搬送方向Ｘに平行となるようにロボットハンド１１２が位置制御されている。この結果、マーク部材１５０_２は、ワークＷに対して搬送先側に位置し、マーク部材１５０_１は、ワークＷに対して搬送元側に位置することとなる。

マーク部材１５０_１，１５０_２は、周囲からのコントラストが大きい部材が選ばれる。これにより、カメラ内部の処理で高速にマーク部材１５０_１，１５０_２を検出することが可能となる。マーク部材１５０_１，１５０_２は、平面視で円形状に形成されている。そして、マーク部材１５０_１は、マーク部材１５０_２と同じ大きさに設定されている。

なお、マーク部材１５０_１，１５０_２の形状やマーク部材１５０_１，１５０_２の配置位置は、以上の説明に限定するものではない。例えば、マーク部材１５０_１，１５０_２の形状は、直線帯状としても良いし、十字形状としても良い。また配置に関しても、ワークＷに対して、搬送方向Ｘの上流側と下流側とにマーク部材１５０_１，１５０_２が配置されていれば、フィンガー１１４_１，１１４_２に限定するものではない。例えば、ロボットハンド１１２の掌底面にマーク部材が配置されていてもよい。また、可能であればワークＷ上にマーク部材が配置されていてもよい。また、マークは、マーク部材に限らず、マークとして識別可能なものであれば、どのような形態であってもよい。例えば、フィンガーや掌底面等、ロボットハンド自体に溝や色等のマークを付与してもよい。また、ロボットハンドにマークが付与されている場合に限らず、ワークにマークが付与されている場合であってもよい。

図３は、第１実施形態におけるカメラの内部構成を示したブロック図である。画像センサ３４０は、マトリックス状に配列された複数の画素を有し、所定の時間、露光することで、レンズ３３２を通してセンサ面上に結像した像を撮像画像として電気信号に変換するセンサである。画像センサ３４０は、画素毎に画素データをデジタルデータとして出力する。

主な画像センサとしてＣＣＤ（Charge Coupled Device）イメージセンサと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサとがある。ＣＣＤイメージセンサは、全画素を同時に露光するグローバルシャッタを備えているため、移動体を撮像するのに向いている。これに対してＣＭＯＳイメージセンサは、水平スキャンごとに露光タイミングをずらして画像データを出力するローリングシャッタが一般的である。ローリングシャッタを有するＣＭＯＳイメージセンサで移動体を撮像すると水平方向ごとに露光タイミングが異なるため実際の形状から歪んでしまう。ただしＣＭＯＳイメージセンサでも画素ごとに一時的にデータを保存する仕組みを持ったものがあり、このようなセンサではグローバルシャッタを実現できるので移動体を撮像しても出力画像が歪まない。

第１実施形態では移動体を扱うため、画像センサ３４０として、ＣＣＤイメージセンサ、若しくはグローバルシャッタ付きのＣＭＯＳイメージセンサが望ましい。形状の変化が問題とならない検査であれば、通常のＣＭＯＳイメージセンサを用いることも可能である。なお後述するようにワークを待っている間のフレームレートを高めるために、全画素を出力するのではなく部分領域の画素を選択出力する。つまり、部分的な画素領域のみで撮像を行うことができる。

一般にＣＣＤイメージセンサは、構造上水平方向にしか画素を選択できないのに対してＣＭＯＳイメージセンサは縦横自由に選択できる。以上よりグローバルシャッタ付きのＣＭＯＳイメージセンサが本実施形態に最も適している。

カメラ３３０は、制御部３５０と、記憶部３５５とを有している。記憶部３５５は、書き換え可能な不揮発性メモリ、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）で構成され、設定情報が記憶されている。制御部３５０は、画素整列回路３５１、判別回路３５２、撮像制御回路３５３及び外部出力回路３５４を有して構成される。

画素整列回路３５１は、画像センサ３４０からの画素データを、後段の画像処理装置４００に転送するために、画像センサ３４０から出力される同期信号（ｓｙｎｃ信号）に従って画素順を整列させたり、並列化したりする回路である。整列順は、転送インタフェースの規格により様々な形式が提案されている。

判別回路３５２は、画像センサ３４０中、選択された画素領域内で撮像された画像（データ）中に、マーク部材１５０_１，１５０_２の像（マーク像）が写り込んでいるか否かを判別する。また、判別回路３５２は、撮像条件（撮像に用いる画素領域）の変更や外部出力の有無の切替信号を発生する。

撮像制御回路３５３は、記憶部３５５から読み出した設定情報に応じて、画像センサ３４０及び光源３６１を制御する。具体的には、撮像制御回路３５３は、画像センサ３４０の複数の画素から画素群で構成された画素領域を、記憶部３５５の記憶データに従って選択して、選択した画素領域から画像を取得するように画像センサ３４０を制御する。つまり、撮像制御回路３５３は、選択した画素領域で撮像を行うように画像センサ３４０を制御する。また、撮像制御回路３５３は、光源３６１の点灯を制御する。

外部出力回路３５４は、インタフェースの規格に応じてデジタル信号をパラレルシリアル変換したり、冗長性を付加したりして転送に適した状態にする回路である。第１実施形態では、外部出力回路３５４は、判別回路３５２から入力を受けた切替信号に従い、画像を外部の画像処理装置４００に出力するか否かを選択できるようになっている。

次に、制御部３５０および画像処理装置４００による計測方法、具体的には制御部３５０による撮像方法について説明する。図４は、第１実施形態に係る撮像方法を示すフローチャートである。図５（ａ）〜図５（ｆ）は、第１実施形態に係る撮像方法を説明するための模式図である。

図５（ａ）〜図５（ｆ）中、点線の画素領域が画像センサ３４０の全画素を示し、実線の画素領域が選択される画素領域３４１，３４２，３４６，３４７を示す。撮像制御回路３５３に選択される画素領域３４１，３４２，３４６，３４７の情報は、予め記憶部３５５に記憶されている。撮像制御回路３５３は、ロボット制御装置１２０や判別回路３５２からの信号に応じて、記憶部３５５を参照し、画像センサ３４０の複数の画素の中から、撮像に用いる画素群からなる画素領域を選択する。

まず、撮像制御回路３５３は、ワークＷの移動を開始したことを示す開始信号をロボット制御装置１２０から入力したか否かを判断する（Ｓ１）。

撮像制御回路３５３は、開始信号を入力していない場合（Ｓ１：Ｎｏ）、つまりロボット１１０がワークＷを搬送していない場合、開始信号を入力するまで待機状態となる。ロボット制御装置１２０が開始信号を出力したら、ロボット１１０は、ワークＷを搬送していることになる。

撮像制御回路３５３は、開始信号を入力した場合（Ｓ１：Ｙｅｓ）、つまりワークＷの搬送中、複数の画素のうち、図５（ａ）に示すように、搬送方向Ｘの上流側に位置する第１画素領域３４１を選択する。第１画素領域３４１は、画像センサ３４０の搬送方向Ｘの上流側（搬送元側）の辺縁部であり、画像センサ３４０の全画素のうちの一部分である。そして、撮像制御回路３５３は、第１画素領域３４１で撮像を行わせる（Ｓ２：第１撮像処理、第１撮像工程）。この第１画素領域３４１による撮像動作は、所定の時間間隔（サンプリング間隔）で行われる。画素整列回路３５１は、撮像した画像（データ）として、画像センサ３４０の第１画素領域３４１、つまり搬送方向Ｘの上流側の辺縁部のみの画素データを出力する。これにより、高速にサンプリングすることが可能となり、ワークＷの高速移動にも対応可能となる。なお、第１画素領域３４１は、少数の画素のみでよく、例えば画像センサ３４０の搬送元側の辺縁部における１列の画素で構成されていてもよい。ここで、ステップＳ２において、外部出力回路３５４は、画像処理装置４００への画像の出力を行わないよう、外部出力の設定がオフとなっている。

次に、判別回路３５２は、まず、第１画素領域３４１から取得した画像（データ）に基づき、マーク像が画像に写り込んでいるか否かを判別する（Ｓ３）。ここで、マーク部材１５０_１，１５０_２のうち、搬送方向Ｘの下流側に位置するマーク部材１５０_２が先に第１画素領域３４１の撮像視野に進入する。

判別回路３５２は、ステップＳ３の判別の結果、マーク像が写り込んでいないと判別した場合（Ｓ３：Ｎｏ）、次のタイミングで再び第１画素領域３４１から取得した画像に基づき、マーク像が画像に写り込んでいるか否かを判別する。つまり、判別回路３５２は、第１画素領域３４１でマーク像を検出したか否かを判別する。

そして、判別回路３５２は、ステップＳ３の判別の結果、マーク像が画像に写り込んでいると判別した場合（Ｓ３：Ｙｅｓ）、検出したマーク像はマーク部材１５０_１ではないので、これを無視するスルー動作処理を行う（Ｓ４）。そして、判別回路３５２は、スルー動作処理後、第１画素領域３４１から取得した画像に基づき、マーク像が画像に写り込んでいるか否かを判別する（Ｓ５）。つまり、マーク部材１５０_２が第１画素領域３４１に撮像された段階では、ワークＷは画像センサ３４０の撮像視野（画角）に進入していない。

判別回路３５２は、ステップＳ５の判別の結果、マーク像が画像に写り込んでいないと判別した場合（Ｓ５：Ｎｏ）、次のタイミングで再び第１画素領域３４１から取得した画像に基づき、マーク像が画像に写り込んでいるか否かを判別する。

ワークＷが搬送方向Ｘに移動し、図５（ｂ）のように搬送元側のマーク部材１５０_１が第１画素領域３４１にて撮像されたとき、判別回路３５２は、ステップＳ５の判別の結果、マーク部材１５０_１に対応するマーク像が画像に写り込んでいると判別する。

以上のステップＳ３〜Ｓ５が、第１画素領域３４１から取得した画像に基づきマーク部材１５０_１が撮像されたか否かを判別する第１判別処理（第１判別工程）である。つまり、判別回路３５２は、ステップＳ３〜Ｓ５の第１判別処理において、第１画素領域３４１にて撮像した画像に１回目に写り込んだマーク像を無視（スルー）する（Ｓ３，Ｓ４）。そして、判別回路３５２は、第１画素領域３４１にて撮像した画像に２回目に写り込んだマーク像を、マーク部材１５０_１と判別する（Ｓ５）。

判別回路３５２は、ステップＳ５の判別の結果、マーク部材１５０_１が撮像されたと判別した場合（Ｓ５：Ｙｅｓ）、外部出力回路３５４及び撮像制御回路３５３に切替信号を出力する。撮像制御回路３５３は、判別回路３５２からの信号の入力を受け、図５（ｃ）に示すように、画像センサ３４０中、第１画素領域３４１よりも広域（高解像度）の画素領域３４６を選択する。そして、撮像制御回路３５３は、選択した画素領域３４６でワークＷを撮像させる（Ｓ６：第１ワーク撮像処理、第１ワーク撮像工程）。このとき、撮像制御回路３５３は、ステップＳ６による撮像タイミングに同期して、光源３６１を点灯させる。

ここで、画素領域３４６は、画像センサ３４０中、全ての画素でもよいが、ワークＷが撮像画像に写り込むのに十分な領域であれば、全ての画素である必要はない。第１実施形態では、ワークＷの搬送中、画素領域３４６の撮像後に再度撮像を行うため、ワークＷがオーバーランするのを防ぐために、ワークＷが撮像画像に写り込む最小限の領域に設定するのが好ましい。

また、外部出力回路３５４は、判別回路３５２からの信号の入力を受け、外部出力をオンに設定し、画素領域３４６からの撮像画像（第１撮像画像）のデータの入力を受けたとき、画像処理装置４００に撮像画像のデータを出力する。

ここで、判別回路３５２による判別動作について詳細に説明する。マーク像の明るさと背景の明るさとの間の輝度に相当する輝度閾値と、撮像した画像データにマーク像が写り込んでいる場合の画素数に相当する画素閾値が予め記憶部３５５に記憶されている。

判別回路３５２は、取得した画像データに対して２値化処理を施し、この２値化処理した画像データの画素データ（ピクセル）のうち、輝度閾値以上の明るい画素データ（ピクセル）の個数（画素数）をカウントする。次に、判別回路３５２は、カウントして得られた画素数が、画素閾値以上であるか、即ち画素閾値に達したか否かを判別する。画素数が画素閾値に達していれば、マーク像が画素領域３４１に撮像された画像に写り込んでいることになる。このように、判別回路３５２は、第１画素領域３４１にて撮像した画像にマーク像が写り込んだか否かを、第１画素領域３４１にて撮像した画像中の画素データの輝度に基づき判別する。

ここで、第１実施形態では、マーク部材１５０_１とマーク部材１５０_２の大きさが同じであるため、カウントした画素数のみではいずれのマーク部材のマーク像が検出されたのか判別が困難である。

なお、ワークＷの搬送中、第１画素領域３４１にて検出されるマーク像のうち、１回目に検出されるマーク像がマーク部材１５０_２であり、その後、２回目に検出されるマーク像がマーク部材１５０_１である。そして、第１画素領域３４１の撮像視野からマーク部材１５０_２が抜けるまでは、カウントした画素数は画素閾値を下回らず、第１画素領域３４１の撮像視野からマーク部材１５０_２が抜けると（または抜ける途中で）、画素数が画素閾値を下回る。具体的には、カウント数が極小値（例えば０）になる。そして、再びカウント数が画素閾値に達した場合には、次のマーク部材１５０_１が第１画素領域３４１の撮像視野に進入したことになる。

したがって、第１実施形態では、判別回路３５２は、第１画素領域３４１から取得した画像データ中の画素データの輝度が輝度閾値以上となる画素数をカウントする。判別回路３５２は、カウントした画素数が、最初に画素閾値以上となった場合、１回目に写り込んだマーク像を検出したこととなるので、未だ画角内にワークＷは移動しておらず、カウントした画素数が下限閾値以下となるまで無視するスルー動作処理を行う。

よって、判別回路３５２は、スルー動作処理中は、撮像制御回路３５３及び外部出力回路３５４に切替信号を出力しない。ここで、下限閾値は、予め記憶部３５５に設定情報として記憶されている。この下限閾値は、画素閾値よりも小さい値であり、極小値（例えば０）にしておいてもよい。

判別回路３５２は、カウントした画素数が、再び画素閾値以上となった場合、２回目に写り込んだマーク像を検出したことになるので、マーク部材１５０_２が撮像されたと判別する。

このように、第１実施形態では、カウントした画素数が最初に画素閾値に達しても、マーク部材１５０_２が第１画素領域３４１の撮像視野を抜けて次のマーク部材１５０_１が第１画素領域３４１の撮像視野に進入するまでは、判別動作を継続する。

その後、２回目にマーク像が検出されたときに初めて１回目の外部出力用の撮像画像を得る撮像タイミングとなるため、判別回路３５２は、撮像制御回路３５３及び外部出力回路３５４に切替信号を出力する。

切替信号を受けた撮像制御回路３５３は、ステップＳ６において、画像取得範囲を、図５（ｃ）に示すように、ワークＷ全体が撮像視野に入る範囲、即ち広域（高解像度）の画素領域３４６に切り替え、光源３６１の発光と同期してワークＷの撮像を行う。また、切替信号を受けた外部出力回路３５４は、外部出力をオンに設定し、画像処理装置４００に１つ目の撮像画像を出力する。

このように、第１画素領域３４１を用いてワークＷが画像センサ３４０の撮像視野の搬送元側の辺縁部に到達したことが検出され、瞬時に画素領域３４６に切り替えられてワークＷの撮像が行われる。

１つ目の画像撮像が終了した後、つまり撮像後のワークＷの搬送中、撮像制御回路３５３は、即時、複数の画素のうち、図５（ｄ）に示すように、搬送方向Ｘの下流側に位置する第２画素領域３４２を選択する。第２画素領域３４２は、画像センサ３４０の搬送方向Ｘの下流側（搬送先側）の辺縁部であり、画像センサ３４０の全画素のうちの一部分である。そして、撮像制御回路３５３は、第２画素領域３４２で撮像を行わせる（Ｓ７：第２撮像処理、第２撮像工程）。この第２画素領域３４２による撮像動作は、所定の時間間隔（サンプリング間隔）で行われる。画素整列回路３５１は、撮像した画像データとして、画像センサ３４０の第２画素領域３４２、つまり搬送方向Ｘの下流側の辺縁部のみの画素データを出力する。これにより、高速にサンプリングすることが可能となり、ワークＷの高速移動にも対応可能となる。なお、第２画素領域３４２は、少数の画素のみでよく、例えば画像センサ３４０の搬送先側の辺縁部における１列の画素で構成されていてもよい。ここで、ステップＳ７において、撮像制御回路３５３は、１回目の画像出力後、画像処理装置４００への画像データの出力を行わないよう、外部出力回路３５４の外部出力の設定をオフにする。

次に、判別回路３５２は、第２画素領域３４２から取得した画像に基づき、マーク部材１５０_２が撮像されたか否か（つまり、マーク部材１５０_２を検出したか否か）を判別する（Ｓ８：第２判別処理、第２判別工程）。ここで、マーク部材１５０_１，１５０_２のうち、搬送方向Ｘの下流側に位置するマーク部材１５０_２が先に第２画素領域３４１の撮像視野に進入する。つまり、マーク部材１５０_２が検出された時点でワークＷは画像センサ３４０の撮像視野の辺縁部に到達していることになる。したがって、ステップＳ８では、判別回路３５２は、第２画素領域３４１で撮像を開始してから最初にマーク像を検出したか否かを判別する。

判別回路３５２は、ステップＳ８の判別の結果、マーク部材１５０_２が撮像されていないと判別した場合（Ｓ８：Ｎｏ）、次のタイミングで再び第２画素領域３４２から取得した画像に基づき、マーク部材１５０_２が撮像されたか否かを判別する。

そして、判別回路３５２は、ステップＳ８の判別の結果、マーク部材１５０_２が撮像されたと判別した場合（Ｓ８：Ｙｅｓ）、つまり、図５（ｅ）に示す状態となったとき、外部出力回路３５４および撮像制御回路３５３に切替信号を出力する。撮像制御回路３５３は、判別回路３５２からの信号の入力を受け、図５（ｆ）に示すように、画像センサ３４０中、第２画素領域３４２よりも広域（高解像度）の画素領域３４７を選択する。そして、撮像制御回路３５３は、選択した画素領域３４７でワークＷを撮像させる（Ｓ９：第２ワーク撮像処理、第２ワーク撮像工程）。このとき、撮像制御回路３５３は、ステップＳ９による撮像タイミングに同期して、光源３６１を点灯させる。

ここで、画素領域３４７は、画像センサ３４０中、全ての画素でもよいが、ワークＷが撮像画像に写り込むのに十分な領域であれば、全ての画素である必要はない。

また、外部出力回路３５４は、判別回路３５２からの信号の入力を受け、外部出力をオンに設定し、画素領域３４７からの撮像画像（第２撮像画像）のデータの入力を受けたとき、画像処理装置４００に撮像画像のデータを出力する。

このように、ワークＷの搬送により、マーク部材１５０_２がマーク部材１５０_１に先立って第２画素領域３４２の撮像視野に進入することになる。したがって、第１実施形態では、判別回路３５２は、第２画素領域３４２から取得した画像中の画素データの輝度が輝度閾値以上となる画素数をカウントする。そして、判別回路３５２は、カウントした画素数が、最初に画素閾値以上となった場合、マーク部材１５０_２が撮像されたことになるので、撮像制御回路３５３及び外部出力回路３５４に切替信号を出力する。

切替信号を受けた撮像制御回路３５３は、ステップＳ９において、画像取得範囲を、図５（ｆ）に示すように、ワークＷ全体が撮像視野に入る範囲、即ち広域（高解像度）の画素領域３４７に切り替え、光源３６１の発光と同期してワークＷの撮像を行う。また、切替信号を受けた外部出力回路３５４は、外部出力をオンに設定し、画像処理装置４００に２つ目の撮像画像を出力する。

このように、第２画素領域３４２を用いてワークＷが画像センサ３４０の撮像視野の搬送先側の辺縁部に到達したことが検出され、瞬時に画素領域３４７に切り替えられてワークＷの撮像が行われる。

その後、外部出力回路３５４は、外部出力をオフに設定し（Ｓ１０）、処理を終了する。２つの撮像画像を取得した画像処理装置４００は、前述した撮像方法により得られた２つの撮像画像に基づき、ワークＷを３次元計測する。

以上、ロボット制御装置１２０や画像処理装置４００で撮像タイミング（画素領域の切り替え）を制御することなく、カメラ３３０内部の制御部３５０の処理により、視差が大きい（ほぼ最大となる）２つの撮像画像を自動で取得することができる。このように、簡単な構成でワークの搬送を停止させることなく単眼ステレオ法に適した２つの撮像画像を得ることができる。よって、画像処理装置４００において、単眼ステレオ法によりワークＷの高精度な３次元計測が可能となる。

また、搬送中のワークＷを異なる撮像タイミングで撮像させるために、制御部３５０が画像処理装置４００やロボット制御装置１２０等の外部コントローラと通信する必要がないので、通信時間が削減され、ワークＷの高速移動にも対応することができる。

以上の動作により、単眼ステレオ法に適した相互の撮像位置の違いがほぼ最大の２つの撮像画像が得られることになる。単眼ステレオ法では、この差が基線長に相当し、基線長が大きいほど奥行き方向のデジタル分解能が上がるため、より高精度の計測が可能となる。

ここで、第１実施形態では、判別回路３５２は、画素信号のストリームと同期して高速処理を行うため、ロジック回路（ハードウエア）で構成されていている。図６は、第１実施形態に係る判別回路を示す回路図である。判別回路３５２は、コンパレータ３７１，３７３と、カウンタ３７２，３７４とを有している。コンパレータ３７１は、入力した画素データの輝度が、予め設定された輝度閾値以上であるか否かを判別する。カウンタ３７２は、輝度閾値以上の輝度である画素の数をカウントする。コンパレータ３７３は、カウンタ３７２にてカウントされた画素数が画素閾値以上であるか否かを判別する。カウンタ３７４は、前述したスルー動作処理を行うためのカウンタである。

コンパレータ３７１，３７３及びカウンタ３７２，３７４は、画像センサ３４０から出力される画素データや画像フレームと同期した同期信号によりセットリセットされるため、ソフトウエアによる処理と比較して無駄なく、瞬時に判別を行うことが可能となる。

図７（ａ）〜図７（ｄ）は、画像上のマーク像と、選択された画素領域により撮像された画素とを示す模式図である。図７（ａ）に示すように、マーク部材１５０_１，１５０_２を撮像したマーク像ＭＫＩは、円形状であり、画素領域３４１，３４２により撮像された領域ＳＩは、１列の画素データである。

画像上でマーク像ＭＫＩの直径が領域ＳＩの長さよりも長くなるように、マーク部材１５０_１，１５０_２および画素領域３４１，３４２が設定されている。この場合、画素閾値は、全画素が明画素となる値、つまり画素領域３４１，３４２の１列の画素数と同じ値に設定されている。よって、画素領域３４１，３４２により撮像された画像の全ての画素データにおいて輝度閾値以上となった場合に、マーク像が写り込んだと判別される。

図７（ｂ）には、想定した基準位置をマーク部材が通過した場合に最初に判別条件を満たす画像が図示されている。図７（ｃ）及び図７（ｄ）には、マーク部材の軌道が想定していた基準位置からそれぞれ僅かに下方、上方にずれた場合に最初に判別条件を満たす画像が図示されている。このように、マーク部材１５０_１，１５０_２が目標軌道に対して僅かなずれ量であれば、マークの検出が可能である。なお、図７（ｃ）又は図７（ｄ）よりもさらにずれた場合には、マークは検出されず、ワークＷの撮像が失敗となる。このようにマーク部材１５０_１，１５０_２および画素領域３４１，３４２を設定することにより、ワークＷを撮像する際のワークＷの位置精度を許容範囲内に限定することができる。したがって、２つの撮像画像に基づく３次元計測の精度を高めることができる。また、マーク直径と選択範囲画素数に相当する分、マーク部材の軌道が上下にずれたりマーク部材が斜め方向から撮像視野に進入したりしたとしても、許容範囲内であればワークを撮像できる。このように、ワークＷを搬送するロボット１１０の変動要因による移動中の撮像ミスを防ぐことが可能となる。

ここで、画像処理装置４００で実施される単眼ステレオ法の原理について説明する。図８（ａ）はステレオカメラを用いる３次元測定法を示す原理図である。図８（ｂ）は単眼ステレオ法による３次元測定法を示す原理図である。

ステレオカメラによるステレオ法では、２台のカメラ３３０Ｒ，３３０Ｌを使用して、同じ撮像タイミングで静止したワークＷを撮像した際に生じる視差を利用して、２つの撮像画像ＩＲ，ＩＬにより３次元計測を行う。一方、単眼ステレオ法では、１台のカメラ３３０を使用して、ワークＷを移動させることによって視差のある２つの撮像画像Ｉ１，Ｉ２を取得し、３次元計測を行う。

カメラ３３０のレンズの焦点距離をｆ、ロボットハンドの掌底面等に設定した基準となる面（基準面）での撮像倍率をＡ、２つの撮像画像Ｉ１，Ｉ２間でのワークＷの移動量をＢ、計測する点の画像Ｉ１，Ｉ２上での視差をδとする。基準面からの計測点の光軸方向の位置Ｚは、Ｚ＝Ａ×δ×ｆ／Ｂと表される。即ち、単眼ステレオ法においては、視差１画素あたりの分解能は、ワークＷの移動量に反比例（微細）となる。

第１実施形態によれば、撮像したときのワークＷの２つの位置の差をほぼ最大とできるため、単眼ステレオ法による３次元計測を精度よく行うことが可能となる。また、３次元計測を行うための撮像とマークの位置検出を同一の画像センサ３４０で行うため、位置検出器を用いる方法と比較して、位置合わせやタイミング調整が不要となる。マーク部材の待ち受け時には、ごく少数の画素データのみを画素領域３４１，３４２で取得するため、高速サンプリングが可能である。例えば、１００万画素の画像センサに対して、画素領域３４１，３４２を３０画素程度にすることが可能であり、判別処理も複雑な処理が不要なので、実験的に数十［ｋＨｚ］での高速サンプリングが実現できる。この結果、ワークＷを一旦停止させる必要もなく、ワークＷを高速移動させることができるので、スループットを上げることができる。

また、第１実施形態によれば、カメラ３３０の制御部３５０は、ロボット制御装置１２０からワークＷの位置情報を逐一取得しなくても、ワークを撮像する撮像タイミングを、画像センサ３４０の検出結果に基づき自動的に決めることができる。

また、第１実施形態によれば、フィンガー１１４_１，１１４_２にマーク部材１５０_１，１５０_２を付与したので、ロボットハンド１１２がワークＷを把持した場合、マーク部材１５０_１，１５０_２がワークＷのサイズに応じてフィンガーとともに移動する。これにより、マーク部材１５０_１，１５０_２がワークＷの上下流側の端部に近接するように調整されることになる。したがって、異なるサイズのワークＷを撮像する場合であっても、精度よく、画像センサ３４０の撮像視野の搬送方向上下流の両端部近傍でワークＷを撮像することができる。よって、各種サイズのワークＷに対し、簡単な構成で３次元計測の精度を向上させることができる。

［第２実施形態］
次に、本発明の第２実施形態に係る生産システムについて説明する。図９は、第２実施形態に係る生産システムの概略構成を示す模式図である。図９において、図１と同様の構成については同一符号を付している。

第２実施形態の生産システム１００Ａは、計測システム２００Ａと、ワークＷを搬送する搬送装置であるロボット１１０と、ロボット制御装置１２０と、上流側装置である供給装置５００と、下流側装置である排出装置６００と、を備えている。

ロボットハンド１１２のフィンガー１１４_１，１１４_２には、マークであるマーク部材１５０_１，１５０_２が付与されている。各マーク部材１５０_１，１５０_２は、再帰反射性を有する部材（つまり、再帰反射材）となっている。

計測システム２００Ａは、撮像システム３００Ａと、画像処理装置４００と、を備えている。撮像システム３００Ａは、単眼の撮像装置であるカメラ３３０Ａと、大光源である光源３６１と、小光源である光源３６２と、を備えている。

カメラ３３０Ａは、検査計測対象であるワークＷを自動で撮像するデジタルカメラである。カメラ３３０Ａは、撮像部であるカメラ本体３３１Ａと、カメラ本体３３１Ａに取り付けられたレンズ３３２とを有する。カメラ本体３３１Ａは、画像センサ３４０と、画像センサ３４０を制御する制御部３５０Ａとを有している。カメラ３３０Ａは、不図示の架台等に固定して設置されている。照明装置である光源３６１は、例えば閃光を発する閃光装置（ストロボ）であり、ワークＷを撮像する際にワークＷに光を照射する。

光源３６２は、マーク部材１５０_１，１５０_２に光を照射するものであり、レンズ３３２近傍に配置されており、光源３６１と比較して照度が低く、発光部面積が狭く設定されている。ワークに鏡面または反射率が高い面が存在した場合に照度を低くしても光源から直接カメラに正反射光が入射され、後述する再帰反射によるものと区別がつかなくなる。しかし発光部面積を狭くしておけば後述する再帰反射材からの反射と明領域の面積の差で容易に区別することができる。

図１０（ａ）〜図１０（ｄ）は、再帰反射材の一例と原理を示した説明図である。再帰反射材の一例として、図１０（ａ）に示すように、マイクロビーズと呼ばれるガラス等の高屈折材料１５１と底面に設置した反射材１５２とを用いた方式のものがある。図１０（ｂ）に示すように、高屈折材料１５１に入射した光は、高屈折材料１５１による２度の屈折により元の入射方向に反射する。このように、どの方向から入射した光も元の方向に反射する現象を再帰反射と呼んでいる。高屈折率材（ビーズ）１５１の大きさを小さくして隙間なく敷き詰めれば、マクロ的には面全体で反射していると見做せる。

また、再帰反射材の他の例として、図１０（ｃ）に示すように、互いに所定の角をなし凹状になるように張り合わされた平面鏡１５３からなるコーナーキューブを用いた方式のものがある。この場合も図１０（ｄ）に示すように、入射した光は平面鏡１５３で何回か反射することによって元の方向に反射するという再帰反射性を示す。なお、再帰反射材については、これらの例に限定するものではなく、いかなる再帰反射材であってもよい。

図１１は、第２実施形態におけるカメラの内部構成を示したブロック図である。カメラ３３０Ａは、制御部３５０Ａと、記憶部３５５とを有している。制御部３５０Ａは、画素整列回路３５１、判別回路３５２、撮像制御回路３５３、外部出力回路３５４及び切替回路３５６を有して構成される。切替回路３５６は、撮像制御回路３５３の制御により、照明する光源３６１，３６２を排他的に切り替え、撮像制御回路３５３からの同期信号により、光源３６１又は光源３６２を発光させる。

次に、制御部３５０Ａおよび画像処理装置４００による計測方法、具体的には制御部３５０Ａによる撮像方法について説明する。図１２は、第２実施形態に係る撮像方法を示すフローチャートである。図１３（ａ）〜図１３（ｆ）は、第２実施形態に係る撮像方法を説明するための模式図である。

まず、撮像制御回路３５３は、ワークＷの移動を開始したことを示す開始信号をロボット制御装置１２０から入力したか否かを判断する（Ｓ１１）。

撮像制御回路３５３は、開始信号を入力していない場合（Ｓ１１：Ｎｏ）、つまりロボット１１０がワークＷを搬送していない場合、開始信号を入力するまで待機状態となる。ロボット制御装置１２０が開始信号を出力したら、ロボット１１０は、ワークＷを搬送していることになる。

撮像制御回路３５３は、開始信号を入力した場合（Ｓ１１：Ｙｅｓ）、つまりワークＷの搬送中、複数の画素のうち、図１３（ａ）に示すように、搬送方向Ｘの上流側に位置する第１画素領域３４１を選択する。そして、撮像制御回路３５３は、第１画素領域３４１で撮像を行わせる（Ｓ１２：第１撮像処理、第１撮像工程）。この第１画素領域３４１による撮像動作は、所定の時間間隔（サンプリング間隔）で行われる。画素整列回路３５１は、撮像した画像データとして、画像センサ３４０の第１画素領域３４１、つまり搬送方向Ｘの上流側の辺縁部のみの画素データを出力する。これにより、高速にサンプリングすることが可能となり、ワークＷの高速移動にも対応可能となる。なお、第１画素領域３４１は、少数の画素のみでよく、例えば画像センサ３４０の搬送元側の辺縁部における１列の画素で構成されていてもよい。ここで、ステップＳ１２において、外部出力回路３５４は、画像処理装置４００への画像データの出力を行わないよう、外部出力の設定がオフとなっている。また、切替回路３５６は、撮像制御回路３５３により、光源３６２に切り替えられており、撮像中、光源３６２が点灯するように制御されている。光源３６２は照度が小さく、ワークＷやロボットハンド１１２の構造物などを十分に照らすことができないので、図１３（ａ）の時点では、画角内いたるところでほぼ真っ暗となる。

次に、判別回路３５２は、まず、第１画素領域３４１から取得した画像に基づき、マーク像が画像に写り込んでいるか否か判別する（Ｓ１３）。判別回路３５２は、ステップＳ３の判別の結果、マーク像が写り込んでいないと判別した場合（Ｓ１３：Ｎｏ）、次のタイミングで再び第１画素領域３４１から取得した画像に基づき、マーク像が画像に写り込んでいるか否かを判別する。つまり、判別回路３５２は、第１画素領域３４１でマーク像を検出したか否かを判別する。

そして、判別回路３５２は、ステップＳ１３の判別の結果、マーク像が画像に写り込んでいると判別した場合（Ｓ１３：Ｙｅｓ）、検出したマーク像はマーク部材１５０_１ではないので、これを無視するスルー動作処理を行う（Ｓ１４）。そして、判別回路３５２は、スルー動作処理後、第１画素領域３４１から取得した画像に基づき、マーク像が画像に写り込んでいるか否かを判別する（Ｓ１５）。つまり、マーク部材１５０_２が第１画素領域３４１に撮像された段階では、ワークＷは画像センサ３４０の撮像視野（画角）に進入していない。

判別回路３５２は、ステップＳ１５の判別の結果、マーク像が画像に写り込んでいないと判別した場合（Ｓ１５：Ｎｏ）、次のタイミングで再び第１画素領域３４１から取得した画像に基づき、マーク像が画像に写り込んでいるか否かを判別する。

ワークＷが搬送方向Ｘに移動し、図１３（ｂ）のように搬送元側のマーク部材１５０_１が第１画素領域３４１にて撮像されたとき、判別回路３５２は、ステップＳ１５の判別の結果、マーク部材１５０_１に対応するマーク像が画像に写り込んでいると判別する。

以上のステップＳ１３〜Ｓ１５が、第１画素領域３４１から取得した画像に基づきマーク部材１５０_１が撮像されたか否かを判別する第１判別処理（第１判別工程）である。つまり、判別回路３５２は、ステップＳ１３〜Ｓ１５の第１判別処理において、第１画素領域３４１にて撮像した画像に１回目に写り込んだマーク像を無視（スルー）する（Ｓ１３，Ｓ１４）。そして、判別回路３５２は、第１画素領域３４１にて撮像した画像に２回目に写り込んだマーク像を、マーク部材１５０_１と判別する（Ｓ１５）。

判別回路３５２は、ステップＳ１５の判別の結果、マーク部材１５０_１が撮像されたと判別した場合（Ｓ１５：Ｙｅｓ）、外部出力回路３５４及び撮像制御回路３５３に切替信号を出力する。撮像制御回路３５３は、判別回路３５２からの信号の入力を受け、図１５（ｃ）に示すように、画像センサ３４０中、第１画素領域３４１よりも広域（高解像度）の画素領域３４６を選択する。そして、撮像制御回路３５３は、選択した画素領域３４６でワークＷを撮像させる（Ｓ１６：第１ワーク撮像処理、第１ワーク撮像工程）。このとき、撮像制御回路３５３は、ステップＳ１６による撮像タイミングに同期して、光源３６１を点灯させるよう、切替回路３５６を制御する。

なおワークＷの移動速度が速い場合、カメラ３３０Ａにおいて短いシャッター速度が必要であり、画像処理装置４００における画像処理を可能とする明るさの画像を得るためには、光源３６１の照度を強くしなければならない。単純に強くしてしまうと周囲の画像処理装置に影響を与えるが、シャッターと同期して発光するようにすれば、発光時間が極短時間のため、画像処理装置相互の干渉を防ぐことができる。後述する２回目に画像処理装置４００に出力する画像を撮像する際も同様である。

ここで、画素領域３４６は、画像センサ３４０中、全ての画素でもよいが、ワークＷが撮像画像に写り込むのに十分な領域であれば、全ての画素である必要はない。第２実施形態では、ワークＷの搬送中、画素領域３４６の撮像後に再度撮像を行うため、ワークＷがオーバーランするのを防ぐために、ワークＷが撮像画像に写り込む最小限の領域に設定するのが好ましい。

また、外部出力回路３５４は、判別回路３５２からの信号の入力を受け、外部出力をオンに設定し、画素領域３４６からの撮像画像（第１撮像画像）のデータの入力を受けたとき、画像処理装置４００に撮像画像のデータを出力する。

１つ目の画像撮像が終了した後、つまり撮像後のワークＷの搬送中、撮像制御回路３５３は、即時、複数の画素のうち、図１３（ｄ）に示すように、搬送方向Ｘの下流側に位置する第２画素領域３４２を選択する。第２画素領域３４２は、画像センサ３４０の搬送方向Ｘの下流側（搬送先側）の辺縁部である。そして、撮像制御回路３５３は、第２画素領域３４２で撮像を行わせる（Ｓ１７：第２撮像処理、第２撮像工程）。この第２画素領域３４２による撮像動作は、所定の時間間隔（サンプリング間隔）で行われる。画素整列回路３５１は、撮像した画像データとして、画像センサ３４０の第２画素領域３４２、つまり搬送方向Ｘの下流側の辺縁部のみの画素データを出力する。これにより、高速にサンプリングすることが可能となり、ワークＷの高速移動にも対応可能となる。なお、第２画素領域３４２は、少数の画素のみでよく、例えば画像センサ３４０の搬送先側の辺縁部における１列の画素で構成されていてもよい。ここで、ステップＳ１７において、撮像制御回路３５３は、１回目の画像出力後、画像処理装置４００への画像データの出力を行わないよう、外部出力回路３５４の外部出力の設定をオフにする。また、切替回路３５６は、撮像制御回路３５３により、光源３６２に切り替えられ、撮像中、光源３６２が点灯するように制御されている。

次に、判別回路３５２は、第２画素領域３４２から取得した画像に基づき、マーク部材１５０_２が撮像されたか否か（つまり、マーク部材１５０_２を検出したか否か）を判別する（Ｓ１８：第２判別処理、第２判別工程）。ここで、マーク部材１５０_１，１５０_２のうち、搬送方向Ｘの下流側に位置するマーク部材１５０_２が先に第２画素領域３４１の撮像視野に進入する。つまり、マーク部材１５０_２が検出された時点でワークＷは画像センサ３４０の撮像視野の辺縁部に到達していることになる。したがって、ステップＳ１８では、判別回路３５２は、第２画素領域３４１で撮像を開始してから最初にマーク像を検出したか否かを判別する。

判別回路３５２は、ステップＳ１８の判別の結果、マーク部材１５０_２が撮像されていないと判別した場合（Ｓ１８：Ｎｏ）、次のタイミングで再び第２画素領域３４２から取得した画像に基づき、マーク部材１５０_２が撮像されたか否かを判別する。

そして、判別回路３５２は、ステップＳ１８の判別の結果、マーク部材１５０_２が撮像されたと判別した場合（Ｓ１８：Ｙｅｓ）、つまり、図１３（ｅ）に示す状態となったとき、外部出力回路３５４および撮像制御回路３５３に切替信号を出力する。撮像制御回路３５３は、判別回路３５２からの信号の入力を受け、図１３（ｆ）に示すように、画像センサ３４０中、第２画素領域３４２よりも広域（高解像度）の画素領域３４７を選択する。そして、撮像制御回路３５３は、選択した画素領域３４７でワークＷを撮像させる（Ｓ１９：第２ワーク撮像処理、第２ワーク撮像工程）。このとき、撮像制御回路３５３は、ステップＳ１９による撮像タイミングに同期して、光源３６１を点灯させるよう、切替回路３５６を制御する。

ここで、画素領域３４７は、画像センサ３４０中、全ての画素でもよいが、ワークＷが撮像画像に写り込むのに十分な領域であれば、全ての画素である必要はない。

また、外部出力回路３５４は、判別回路３５２からの信号の入力を受け、外部出力をオンに設定し、画素領域３４７からの撮像画像（第２撮像画像）のデータの入力を受けたとき、画像処理装置４００に２つ目の撮像画像のデータを出力する。

このように、第２画素領域３４２を用いてワークＷが画像センサ３４０の撮像視野の搬送先側の辺縁部に到達したことが検出され、瞬時に画素領域３４７に切り替えられてワークＷの撮像が行われる。

その後、外部出力回路３５４は外部出力がオフ、切替回路３５６は全光源３６１，３６２の点灯をオフ（消灯）し、（Ｓ２０）、処理を終了する。２つの撮像画像を取得した画像処理装置４００は、前述した撮像方法により得られた２つの撮像画像に基づき、第１実施形態と同様の計算処理で、ワークＷを３次元計測する。

第２実施形態では、再帰反射性を有するマーク部材１５０_１，１５０_２が撮像視野に入ると、図１３（ｂ）、図１３（ｄ）及び図１３（ｅ）に示すように、再帰反射性を有するマーク部材１５０_１，１５０_２が周囲よりも明るい像として画像に写り込む。

光源３６２は、カメラ３３０レンズ３３２の近傍に配置されている。このため、マーク部材１５０_１，１５０_２からの再帰反射光は、光源３６２の設置方向、すなわちレンズ３３２の方向に効率よく反射される。これにより、再帰反射材のマーク部材１５０_１，１５０_２のみ、撮像視野中のどこにあっても、明るいマーク像が画像に写り込むこととなり、また背景の明るさはほぼ０となる。したがって、背景とマーク像との間で高いコントラストを得ることができる。

よって、カメラ内のマーク判別アルゴリズムは、静的な２値化および明画素数判別のような簡素なアルゴリズムでマークを検出することが可能となる。以上のアルゴリズムは、ハードロジック実装に向いており、判別回路３５２を、第１実施形態で説明した図６に示すようなロジック回路で構成することが可能となる。よって、画像センサ３４０からの画像出力のストリームを乱さずに判別回路３５２を実装できるため、選択する画素の少なさに加えて、さらに高速かつ安定的にマークを検出することが可能となる。

以上の動作により、単眼ステレオ法に適した視差がほぼ最大となる２つの撮像画像を、ワークの搬送を停止させることなく安定して得られることになる。単眼ステレオ法ではこの差が基線長に相当し、基線長が大きいほど奥行き方向のデジタル分解能が上がるためより高精度の測定が可能となる。特に第２実施形態では、マークのコントラストが高く、検出の精度や高速性が極めて高いため、よりワークの３次元計測の精度が向上する。

［第３実施形態］
次に、本発明の第３実施形態に係る計測システムにおける計測方法について説明する。図１４は、第３実施形態に係る計測方法を示すフローチャートである。計測システムの構成は、第１実施形態又は第２実施形態と同様である。第１、第２実施形態では、画像処理装置４００において、ロボット１１０の撮像間隔での移動量を用いて、３次元計測する場合について説明した。第３実施形態では、２つのマーク部材１５０_１，１５０_２間の距離または直径などのサイズδＭを予め測定しておくことにより、ロボット１１０（ロボット制御装置１２０）からの情報を使用せずに３次元測定を行う。以下、計測方法について具体的に説明する。なお、マーク部材１５０_１，１５０_２間の距離やサイズのほかに、カメラ３３０の焦点距離ｆも予め別手段で測定されているとする。

以下、マーク部材１５０_１，１５０_２間の距離を用いて計測する場合について説明する。

まず、画像処理装置４００は、１枚目の撮像画像から、マーク部材１５０_１，１５０_２間の画素数δｍ１を計測する（Ｓ２１）。

次に、画像処理装置４００は、マーク部材１５０_１，１５０_２間の距離δＭと画素数δｍ１から、マーク部材１５０_１，１５０_２を含む基準面でのカメラ３３０の光学倍率（１画素あたりの距離）Ａ１とワーキングディスタンスＷ１とを求める（Ｓ２２）。

画像処理装置４００は、２枚目の撮像画像からも同様にしてマーク部材１５０_１，１５０_２間の画素数δｍ２を計測し（Ｓ２３）、カメラの光学倍率Ａ２とワーキングディスタンスＷ２とを求める（Ｓ２４）。

画像処理装置４００は、２枚目の撮像画像を１枚目の撮像画像と同じ倍率になるように画像変換を行い、２つの画像間で同じマーク部材の位置の差を求め、これに光学倍率Ａ１を掛ける（Ｓ２５）。この演算により求めた値がワークＷの移動量Ｂに相当する。なお、搬送装置であるロボット１１０が光軸に垂直な面に沿ってワークＷを移動するように調整されている場合は、倍率調整は不要となる。

画像処理装置４００は、２枚目の画像を１枚目の画像と同じ倍率になるように画像変換を行い、２つの画像間で計測したい点の視差δを測定する（Ｓ２６）。

画像処理装置４００は、これまでに求めた、カメラ３３０の焦点距離ｆ、ワークＷの移動量Ｂ、１枚目の光学倍率Ａ１、計測点の視差δを用いて、単眼ステレオ法の計測式Ｚ＝Ａ１×δ×ｆ／Ｂで計測点の光軸方向の位置Ｚを算出する（Ｓ２７）。

第３実施形態によれば、ロボット１１０側の情報を使うことなく、ワークＷの搬送を止めることなく、３次元計測を実施することができる。

なおマーク部材１５０_１，１５０_２のサイズを使用する場合、ステップＳ２１〜Ｓ２４と同様にして、マーク部材１５０_１とマーク部材１５０_２の付近の光学倍率から、１枚目の画像上の基準面、２枚目の画像上の基準面の傾きを求めることができる。このため、ワークＷの搬送方向Ｘが水平方向に対して外れて移動していても、正確に３次元計測が可能となる。

本発明は、以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で多くの変形が可能である。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されない。

上述した実施形態では、ロボットが、６軸のロボットアームと２指のロボットハンドの場合について説明したが、軸数及び指数はこれに限定するものではない。また、搬送装置がロボットである場合について説明したが、これに限定するものではなく、カメラの画角内をワークが通過するようにワークを移動させることができる装置であれば、どのような搬送装置であってもよい。

図１５（ａ）及び図１５（ｂ）は、搬送装置の他の例を示す模式図である。例えば図１５（ａ）に示すように、搬送装置１１０Ａが、搬送体としてベルトコンベア１１１Ａと、保持体としてワークＷが載置されるトレー１１２Ａと、を有する場合であってもよい。マーク部材１５０_１，１５０_２は、ワークＷに近接してワークＷを挟むように、トレー１１２Ａに設置すればよい。

また、搬送装置は常にサーボにより位置制御している必要はない。例えば、図１５（ｂ）に示すように、搬送装置１１０Ｂが、保持体としてワークＷが載置されるトレー１１２Ｂと、トレー１１２Ｂに動力を付与する、例えばソレノイド等の動力付与装置１１１Ｂと、を有する場合であってもよい。この場合、トレー１１２Ｂがカメラ３３０の前を通過するように、レール１１４Ｂを敷設しておくとよい。また、動力付与装置１１１Ｂを用いなくても、保持体であるトレー１１２Ｂを人力で押し出してもよい。

また、上述の実施形態では、第１画素領域３４１及び第２画素領域３４２を、画像センサ３４０の左右端部としたが、これに限定するものではない。ワークの搬送方向と画像センサの姿勢に応じて２つの画素領域を設定すればよい。図１６は、第１及び第２画素領域の他の例を示す模式図である。例えば、ワークＷの搬送方向Ｘが画像センサ３４０に対して上右角から下左角に向かう方向となるように、画像センサ３４０を配置した場合、第１画素領域３４１を画像センサ３４０の上右角、第２画素領域３４２を画像センサ３４０の下左角に設定すればよい。この場合、単眼ステレオ法で使用される２つの撮像画像の視差をより大きくできるため、計測分解能（計測精度）を上げることができる。

また、上述の実施形態では、マーク部材１５０_１，１５０_２の大きさが等しい場合について説明したが、マーク部材１５０_１，１５０_２の大きさが異なってもよい。マーク部材１５０_１とマーク部材１５０_２とが異なる大きさに形成されているため、判別回路３５２は、第１判別処理では、第１画素領域３４１から取得した画像中のマーク像の大きさに基づき、マーク部材１５０_１が撮像されたか否かを判別すればよい。

図１７は、マーク部材の他の例を示す模式図である。図１７に示すように、マーク部材１５０_１が、マーク部材１５０_２よりも大きく形成されているのが好ましい。以下、この場合の判別回路３５２の動作について説明する。図１８（ａ）〜図１８（ｃ）は、判別回路における判別処理を説明するための図である。

判別回路３５２は、第１判別処理（Ｓ３〜Ｓ５、Ｓ１３〜Ｓ１５）では、第１画素領域３４１から取得した画像中の画素データの輝度が輝度閾値以上となる画素数をカウントする。そして、判別回路３５２は、カウントした画素数が、予め設定された第１画素閾値以上となった場合、マーク部材１５０_１が撮像されたと判別する。

また、判別回路３５２は、第２判別処理（Ｓ８、Ｓ１８）では、第２画素領域３４２から取得した画像中の画素データの輝度が輝度閾値以上となる画素数をカウントする。そして、判別回路３５２は、カウントした画素数が、予め設定された第２画素閾値以上となった場合、マーク部材１５０_２が撮像されたと判別する。

ここで、第１画素閾値は、マーク部材１５０_１に合わせた値とし、第２画素閾値は、マーク部材１５０_２に合わせた値とすればよい。即ち、第１画素閾値は、第２画素閾値よりも大きい値に設定されているものとする。したがって、図１８（ａ）に示すようにマーク部材１５０_２が第１画素領域３４１にて撮像されても、画素数の閾値判別により、マーク像はマーク部材１５０_１ではないと判別される。次に、図１８（ｂ）に示すようにマーク部材１５０_１が第１画素領域３４１にて撮像された場合には、画素数の閾値判別により、マーク像がマーク部材１５０_１であると判別される。

これにより、判別回路３５２は、第１判別処理では、画素数の閾値判別により、マーク部材１５０_２のマーク像を無視（スルー）して、マーク部材１５０_１のマーク像を検出することができる。これにより、上述の実施形態で説明したスルー動作処理を省略することができる。

なお、図１８（ｃ）に示すように先に通過するマーク部材１５０_２が第２画素領域３４２にて撮像された場合には、画素数の閾値判別により、マーク像がマーク部材１５０_２であると判別される。

本発明は、演算速度が問題にならない場合には上述の実施形態の１以上の機能を実現する回路を、プログラムを実行するＣＰＵに置き換えてもよい。その際、プログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。

例えば、ワークの移動速度を遅くしても良い場合、あるいはロジック回路と同等以上の速度で処理できるＣＰＵの場合、ソフトウエアによる判別も可能である。この場合、より複雑な画像処理を実施してロバスト性を上げることができるなどのメリットがある。制御部をコンピュータで構成した例を図１９に示す。図１９は、制御部をコンピュータで構成した場合の生産システムの制御系の構成を示すブロック図である。

図１９に示すように、制御部３５０は、ＣＰＵ３８１と、ＥＥＰＲＯＭ３８２と、ＲＡＭ３８３と、外部装置である画像処理装置４００及びロボット制御装置１２０が接続されるインタフェース３８５，３８６と、を有している。ＣＰＵ３８１には、ＥＥＰＲＯＭ３８２、ＲＡＭ３８３、画像センサ３４０、光源３６１，３６２、インタフェース３８５，３８６が、バス３８０を介して接続されている。ＥＥＰＲＯＭ３８２には、前述した撮像方法の各工程をＣＰＵ３８１に実行させるためのプログラム３９０が記録されている。

ＣＰＵ３８１は、ＥＥＰＲＯＭ３８２に記録（格納）されたプログラム３９０に基づいて、画像センサ３４０及び各光源３６１，３６２を制御して撮像方法の各工程を実行する。ＲＡＭ３８３は、ＣＰＵ３８１の演算結果等を一時的に記憶する記憶装置である。

なお、制御部としてＣＰＵ３８１を用いる場合では、コンピュータ読み取り可能な記録媒体がＥＥＰＲＯＭ３８２であり、ＥＥＰＲＯＭ３８２にプログラム３９０が格納されるが、これに限定するものではない。プログラム３９０は、コンピュータ読み取り可能な記録媒体であれば、いかなる記録媒体に記録されていてもよい。例えば、プログラム３９０を供給するための記録媒体としては、不揮発性のメモリや記録ディスク、外部記憶装置等を用いてもよい。具体例を挙げて説明すると、記録媒体として、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、ＲＯＭ、ＵＳＢメモリ等を用いることができる。

１００…生産システム、１１０…ロボット、１１１…ロボットアーム（搬送体）、１１２…ロボットハンド（保持体）、１１４_１…マーク部材（上流側のマーク）、１１４_２…マーク部材（下流側のマーク）、２００…計測システム、３００…撮像システム、３４０…画像センサ、３５０…制御部

Claims (19)

1. 搬送方向に搬送中のワークを撮像する撮像システムにおいて、
   複数の画素を有する画像センサと、
   前記画像センサを制御する制御部と、を備え、
   前記制御部は、
   前記ワークの搬送中、前記複数の画素のうち、前記搬送方向の上流側に位置する第１領域の画素群を選択して撮像させる第１撮像処理と、
   前記第１領域の画素群から取得した画像に基づき、前記ワーク又は前記ワークを保持する保持体に付与された、前記搬送方向の上流側のマークが撮像されたか否かを判別する第１判別処理と、
   前記第１判別処理の判別の結果、前記上流側のマークが撮像されたと判別した場合、前記第１領域よりも広域の画素群を選択して前記ワークを撮像させる第１ワーク撮像処理と、
   前記ワークの搬送中、前記複数の画素のうち、前記搬送方向の下流側に位置する第２領域の画素群を選択して撮像させる第２撮像処理と、
   前記第２領域の画素群から取得した画像に基づき、前記ワーク又は前記保持体に付与された、前記搬送方向の下流側のマークが撮像されたか否かを判別する第２判別処理と、
   前記第２判別処理の判別の結果、前記下流側のマークが撮像されたと判別した場合、前記第２領域よりも広域の画素群を選択して前記ワークを撮像させる第２ワーク撮像処理と、を実行することを特徴とする撮像システム。
2. 前記制御部は、
   前記第１判別処理において、前記第１領域の画素群にて撮像した画像に１回目に写り込んだマーク像を無視して、前記第１領域の画素群にて撮像した画像に２回目に写り込んだマーク像を、前記上流側のマークと判別することを特徴とする請求項１に記載の撮像システム。
3. 前記制御部は、
   前記第１領域の画素群にて撮像した画像にマーク像が写り込んだか否かを、前記第１領域の画素群にて撮像した画像中の画素データの輝度に基づき判別することを特徴とする請求項２に記載の撮像システム。
4. 前記制御部は、
   前記第１判別処理では、前記第１領域の画素群から取得した画像中の画素データの輝度が予め設定された輝度閾値以上となる画素数をカウントし、最初に前記画素数が予め設定された画素閾値以上となった場合、前記画素数が予め設定された前記画素閾値よりも小さい下限閾値以下となるまで無視し、前記画素数が、再び前記画素閾値以上となった場合、前記上流側のマークが撮像されたと判別することを特徴とする請求項３に記載の撮像システム。
5. 前記上流側のマークと前記下流側のマークとが異なる大きさに形成されており、
   前記制御部は、
   前記第１判別処理では、前記第１領域の画素群から取得した画像中のマーク像の大きさに基づき、前記上流側のマークが撮像されたか否かを判別することを特徴とする請求項２に記載の撮像システム。
6. 前記上流側のマークは、前記下流側のマークよりも大きく形成され、
   前記制御部は、
   前記第１判別処理では、前記第１領域の画素群から取得した画像中の画素データの輝度が予め設定された輝度閾値以上となる画素数をカウントし、該画素数が予め設定された第１画素閾値以上となった場合、前記上流側のマークが撮像されたと判別し、
   前記第２判別処理では、前記第２領域の画素群から取得した画像中の画素データの輝度が前記輝度閾値以上となる画素数をカウントし、該画素数が予め設定された第２画素閾値以上となった場合、前記下流側のマークが撮像されたと判別し、
   前記第１画素閾値は、前記第２画素閾値よりも大きい値に設定されていることを特徴とする請求項５に記載の撮像システム。
7. 前記制御部が、前記第１判別処理及び第２判別処理を行うロジック回路を有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像システム。
8. 搬送中の前記ワークに光を照射する光源を更に備え、
   前記制御部は、前記第１ワーク撮像処理および前記第２ワーク撮像処理による撮像タイミングに同期して、前記光源を点灯させることを特徴とする請求項１乃至７のいずれか１項に記載の撮像システム。
9. 前記上流側のマークおよび前記下流側のマークに光を照射する、前記光源よりも発光部面積が狭い小光源を更に備え、
   前記制御部は、前記第１撮像処理および前記第２撮像処理の撮像中、前記小光源を点灯させることを特徴とする請求項８に記載の撮像システム。
10. 請求項１乃至９のいずれか１項に記載の撮像システムと、
    前記制御部から出力された２つの撮像画像に基づき、前記ワークを３次元計測する画像処理装置と、を備えたことを特徴とする計測システム。
11. 請求項１０に記載の計測システムと、
    前記ワークを保持する前記保持体と、
    前記保持体を前記搬送方向に移動させる搬送体と、を備えたことを特徴とする生産システム。
12. 前記搬送体がロボットアームであり、前記保持体が前記ロボットアームに取り付けられ、前記ワークを把持するロボットハンドであることを特徴とする請求項１１に記載の生産システム。
13. 前記上流側のマーク及び前記下流側のマークは、前記保持体に付与されていることを特徴とする請求項１１又は１２に記載の生産システム。
14. 前記上流側のマーク及び前記下流側のマークが再帰反射材で構成されていることを特徴とする請求項１１乃至１３のいずれか１項に記載の生産システム。
15. 前記保持体に前記ワークを供給する上流側装置と、
    前記保持体から前記ワークを受け取る下流側装置と、を更に備えた請求項１１乃至１４のいずれか１項に記載の生産システム。
16. 制御部が、搬送方向に搬送中のワークを、複数の画素を含む画像センサに撮像タイミングを異ならせて撮像させる撮像方法であって、
    前記制御部が、前記ワークの搬送中、前記複数の画素のうち、前記搬送方向の上流側に位置する第１領域の画素群を選択して撮像させる第１撮像工程と、
    前記制御部が、前記第１領域の画素群から取得した画像に基づき、前記ワーク又は前記ワークを保持する保持体に付与された、前記搬送方向の上流側のマークが撮像されたか否かを判別する第１判別工程と、
    前記制御部が、前記第１判別工程の判別の結果、前記上流側のマークが撮像されたと判別した場合、前記第１領域よりも広域の画素群を選択して前記ワークを撮像させる第１ワーク撮像工程と、
    前記制御部が、前記ワークの搬送中、前記複数の画素のうち、前記搬送方向の下流側に位置する第２領域の画素群を選択して撮像させる第２撮像工程と、
    前記制御部が、前記第２領域の画素群から取得した画像に基づき、前記ワーク又は前記保持体に付与された、前記搬送方向の下流側のマークが撮像されたか否かを判別する第２判別工程と、
    前記制御部が、前記第２判別工程の判別の結果、前記下流側のマークが撮像されたと判別した場合、前記第２領域よりも広域の画素群を選択して前記ワークを撮像させる第２ワーク撮像工程と、を備えたことを特徴とする撮像方法。
17. コンピュータに請求項１６に記載の撮像方法の各工程を実行させるためのプログラム。
18. 請求項１７に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。
19. 請求項１６に記載の撮像方法により得られた２つの撮像画像に基づき、前記ワークを３次元計測する計測方法。

Images