JP2011077095A

JP2011077095A - 設備監視システム、設備監視方法および設備監視プログラム

Info

Publication number: JP2011077095A
Application number: JP2009224084A
Authority: JP
Inventors: Yasushi Tomita; 安富田; Masahiko Nagao; 政彦長尾
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2009-09-29
Filing date: 2009-09-29
Publication date: 2011-04-14

Abstract

【課題】製品の不良の確認用に大容量の記録媒体を必要としない設備監視システム、設備監視方法および設備監視プログラムを得ること。
【解決手段】不良検査撮像カメラ１２の検査結果を基にして不良品判別手段１３が不良品を判別したら、工程撮像カメラ１１の出力する画像データのうちから対応するものを画像データ格納手段１４から抽出して表示する。したがって、不良品と判別されなかった製品について工程撮像カメラ１１が撮影した画像データは消去することができるので、大容量の記録媒体を必要としない。
【選択図】図１

Description

本発明は、各種の製品の生産設備で製品の生産あるいは製造を監視する設備監視システム、設備監視方法および設備監視プログラムに関する。本発明は、たとえば、製品の不良発生時における製造設備に関するデータを取得するのに好適な設備監視システム、設備監視方法および設備監視プログラムに関する。

生産あるいは製造ラインで発生する製品の不良については、製品の不良箇所を検出するだけでなく、不良が発生した原因を特定する必要がある。たとえば、プリント基板に電子部品を実装する製造工程について考えてみる。プリント基板の実装については、電子部品をプリント基板に直接ハンダ付けする表面実装技術（ＳＭＴ：Surface Mount Technology）が登場して、基板の小型化と多層基板における配線の自由度が高まっている。

表面実装技術では、ペースト状のハンダを塗布したプリント基板を用意して、専用の射出機（チップマウンタ）で表面実装部品を基板面に装着する。その後、リフロ炉と呼ばれる高温炉を用いて、高温で加熱して表面実装部品をプリント基板上に接着する。

この表面実装技術で電子部品を実装した場合、電子部品の電極がハンダから浮いた状態となる「浮き」と呼ばれる不良や、電子部品の電極の間にハンダが付着して短絡する「ブリッジ」と呼ばれる不良等の各種の不良が発生するおそれがある。そこで、部品が検査対象であることが識別されると状態撮影カメラにより連続画像を取得して保存することが本発明の関連技術として提案されている（たとえば特許文献１参照）。この第１の関連技術では、その後の工程で検査カメラにより検査対象部品の実装後の状態が撮像される。そして、予め認識された良品の画像と比較され、実装不具合が確認されると事前に撮影されていた画像が継続保存されるようになっている。不具合が確認されなかった場合には、部品実装動作時の画像は消去される。

特開２００６−０１３１２０号公報（第００４５段落〜第００４８段落、図４）

しかしながら、この関連技術によれば、不具合があった工程全体の膨大なデータを保存する必要がある。このため、極めて大容量の記憶媒体を必要とする。また、このような大容量の照合画像情報データベースから所望の画像データを検索する作業にも長時間を要することになる。

そこで本発明の目的は、製品の不良の確認用に大容量の記録媒体を必要としない設備監視システム、設備監視方法および設備監視プログラムを提供することにある。

本発明では、（イ）製品の製造工程における前記した製品の外観の特徴を時間的に分解して撮影するカメラとして特定の１つの製造工程に配置された工程撮像カメラと、（ロ）この工程撮像カメラの下流側に位置し、前記した特定の１つの製造工程を経た前記した製品の外観の撮影によって製造の良否を判別するカメラとしての不良検査撮像カメラと、（ハ）この不良検査撮像カメラの撮影した画像を前記した製造工程を経た段階での良否の基準となる画像と対比して前記した製品が不良品であるかを判別する不良品判別手段と、（ニ）前記した工程撮像カメラの出力する画像データを製品と対応させて格納する画像データ格納手段と、（ホ）前記した不良品判別手段で不良品であると判別されたとき、該当する不良品の画像データを前記した画像データ格納手段から抽出する画像データ抽出手段と、（へ）この画像データ抽出手段で抽出された画像データを前記した製造工程における経時変化を示す画像として時間的に分解して表示する画像表示手段とを設備監視システムが具備する。

また、本発明では、（イ）１つの製品の製造工程における外観の特徴を撮影するカメラとして所定数の製造工程にそれぞれ対応して配置された工程撮像カメラと、（ロ）これらすべての工程撮像カメラの下流側に位置し、前記した所定数の製造工程を経た前記した製品の外観の撮影によって製造の良否を判別するカメラとしての不良検査撮像カメラと、（ハ）この不良検査撮像カメラの撮影した画像を前記した製造工程を経た段階での良否の基準となる画像と対比して前記した製品が不良品であるかを判別する不良品判別手段と、（ニ）この不良品判別手段で不良品であると判別されたとき、その画像の特徴を少なくとも用いて不良品の発生した製造工程を特定する製造工程特定手段と、（ホ）前記した工程撮像カメラの出力する画像データを製品と対応させて格納する画像データ格納手段と、（へ）前記した製造工程特定手段で特定した不良品の発生した製造工程に対応する画像データを前記した画像データ格納手段から抽出する画像データ抽出手段とを設備監視システムが具備する。

更に、本発明では、（イ）製品の特定の１つの製造工程で前記した製品の外観の特徴を工程撮像カメラで時間的に分解して撮影する工程撮影ステップと、（ロ）この工程撮影ステップで撮影によって得られた画像データを格納する画像データ格納ステップと、（ハ）前記した工程撮像カメラの下流側に配置された検査用撮影カメラで、製品の外観を検査のために撮影する検査用撮影ステップと、（ニ）この検査用撮影ステップで得られた画像データを用いて製造の良否を判別する不良検査ステップと、（ホ）この不良検査ステップで前記した製品が不良品であると判別されたとき、該当する不良品の画像データを前記した画像データ格納ステップで格納した画像データ格納手段から抽出する画像データ抽出ステップと、（へ）この画像データ抽出ステップで抽出した画像データを前記した製造工程における経時変化を示す画像として時間的に分解して表示する画像表示ステップとを設備監視方法が具備する。

更にまた、本発明では、（イ）１つの製品に関する所定数の製造工程のそれぞれから製品の外観の特徴を撮影した画像データをそれぞれ格納する画像データ格納ステップと、（ロ）前記した所定数の製造工程を経た前記した製品の外観を撮影した画像データを前記した製造工程を経た段階での良否の基準となる画像を表わした画像データと対比して前記した製品が不良品であるかを判別する不良品判別ステップと、（ハ）この不良品判別ステップで不良品であると判別されたとき、その画像の特徴を少なくとも用いて不良品の発生した製造工程を特定する製造工程特定ステップと、（ニ）この製造工程特定ステップで特定した不良品の発生した製造工程に対応する画像データを前記した画像データ格納ステップで格納した画像データの中から抽出する画像データ抽出ステップとを設備監視方法が具備する。

また本発明では、コンピュータに、設備監視プログラムとして、（イ）製品の特定の１つの製造工程で前記した製品の外観の特徴を工程撮像カメラで時間的に分解して撮影する工程撮影処理と、（ロ）この工程撮影処理で撮影によって得られた画像データを格納する画像データ格納処理と、（ハ）前記した工程撮像カメラの下流側に配置された検査用撮影カメラで、製品の外観を検査のために撮影する検査用撮影処理と、（ニ）この検査用撮影処理で得られた画像データを用いて製造の良否を判別する不良検査処理と、（ホ）この不良検査処理で前記した製品が不良品であると判別されたとき、該当する不良品の画像データを前記した画像データ格納ステップで格納した画像データ格納手段から抽出する画像データ抽出処理と、（へ）この画像データ抽出処理で抽出した画像データを前記した製造工程における経時変化を示す画像として時間的に分解して表示させる画像表示処理とを実行させることを特徴とする。

更にまた、本発明では、コンピュータに、設備監視プログラムとして、（イ）１つの製品に関する所定数の製造工程のそれぞれから製品の外観の特徴を撮影した画像データをそれぞれ格納する画像データ格納処理と、（ロ）前記した所定数の製造工程を経た前記した製品の外観を撮影した画像データを前記した製造工程を経た段階での良否の基準となる画像を表わした画像データと対比して前記した製品が不良品であるかを判別する不良品判別処理と、（ハ）この不良品判別処理で不良品であると判別されたとき、その画像の特徴を少なくとも用いて不良品の発生した製造工程を特定する製造工程特定処理と、（ニ）この製造工程特定処理で特定した不良品の発生した製造工程に対応する画像データを前記した画像データ格納処理で格納した画像データの中から抽出する画像データ抽出処理とを実行させることを特徴とする。

以上説明したように、本発明によれば、設備監視システムの管理者あるいは製品の検査者は、発生した不良品についてその不良が発生した時点における画像データを抽出することができ、これにより、画像データ格納手段に格納された膨大な画像データを順次表示するといった時間の掛かる作業を必要とせずに不良品の発生した状況を確認することができ、不良品の発生を防止する対策を早急に検討することができる。

本発明の設備監視システムのクレーム対応図である。本発明の他の設備監視システムのクレーム対応図である。本発明の設備監視方法のクレーム対応図である。本発明の他の設備監視方法のクレーム対応図である。本発明の設備監視プログラムのクレーム対応図である。本発明の他の設備監視プログラムのクレーム対応図である。本発明の第１の実施の形態による設備監視システムの構成の概要を表わしたシステム構成図である。第１の実施の形態における工程撮像カメラの撮影制御の様子を表わした流れ図である。第１の実施の形態における不良検査撮像カメラの撮影制御の様子を表わした流れ図である。第１の実施の形態における画像データを用いて設備モニタリング装置が行う検査および画像データ保存処理の様子を表わした流れ図である。第１の実施の形態の第１の変形例における設備モニタリング装置の要部を表わしたブロック図である。第１の変形例における各工程撮像カメラから送られてきた画像データの格納処理の様子を表わした流れ図である。第１の実施の形態の第２の変形例における各工程撮像カメラから送られてきた画像データの格納処理の様子を表わした流れ図である。本発明の第２の実施の形態による設備監視システムの構成の概要を表わしたシステム構成図である。第２の実施の形態で基板に部品が反転してマウントされた場合の画像状態の説明図である。

図１は、本発明の設備監視システムのクレーム対応図を示したものである。本発明の設備監視システム１０は、工程撮像カメラ１１と、不良検査撮像カメラ１２と、不良品判別手段１３と、画像データ格納手段１４と、画像データ抽出手段１５と、画像表示手段１６を備えている。ここで、工程撮像カメラ１１は、製品の製造工程における前記した製品の外観の特徴を時間的に分解して撮影するカメラとして特定の１つの製造工程に配置されている。不良検査撮像カメラ１２は、この工程撮像カメラ１１の下流側に位置し、前記した特定の１つの製造工程を経た前記した製品の外観の撮影によって製造の良否を判別するカメラである。不良品判別手段１３は、この不良検査撮像カメラ１２の撮影した画像を前記した製造工程を経た段階での良否の基準となる画像と対比して前記した製品が不良品であるかを判別する。画像データ格納手段１４は、工程撮像カメラ１１の出力する画像データを製品と対応させて格納する。画像データ抽出手段１５は、不良品判別手段１３で不良品であると判別されたとき、該当する不良品の画像データを画像データ格納手段１４から抽出する。画像表示手段１６は、この画像データ抽出手段１５で抽出された画像データを前記した製造工程における経時変化を示す画像として時間的に分解して表示する。

図２は、本発明の他の設備監視システムのクレーム対応図を示したものである。本発明の設備監視システム２０は、工程撮像カメラ２１と、不良検査撮像カメラ２２と、不良品判別手段２３と、製造工程特定手段２４と、画像データ格納手段２５と、画像データ抽出手段２６を備えている。ここで、工程撮像カメラ２１は、１つの製品の製造工程における外観の特徴を撮影するカメラとして所定数の製造工程にそれぞれ対応して配置される。不良検査撮像カメラ２２は、すべての工程撮像カメラ２１の下流側に位置し、前記した所定数の製造工程を経た前記した製品の外観の撮影によって製造の良否を判別するカメラである。不良品判別手段２３は、不良検査撮像カメラ２２の撮影した画像を前記した製造工程を経た段階での良否の基準となる画像と対比して前記した製品が不良品であるかを判別する。製造工程特定手段２４は、不良品判別手段２３で不良品であると判別されたとき、その画像の特徴を少なくとも用いて不良品の発生した製造工程を特定する。画像データ格納手段２５は、工程撮像カメラ２１の出力する画像データを製品と対応させて格納する。画像データ抽出手段２６は、製造工程特定手段２４で特定した不良品の発生した製造工程に対応する画像データを画像データ格納手段２５から抽出する。

図３は、本発明の設備監視方法のクレーム対応図を示したものである。本発明の設備監視方法３０は、工程撮影ステップ３１と、画像データ格納ステップ３２と、検査用撮影ステップ３３と、不良検査ステップ３４と、画像データ抽出ステップ３５と、画像表示ステップ３６を備えている。ここで、工程撮影ステップ３１では、製品の特定の１つの製造工程で前記した製品の外観の特徴を工程撮像カメラで時間的に分解して撮影する。画像データ格納ステップ３２では、この工程撮影ステップ３１で撮影によって得られた画像データを格納する。検査用撮影ステップ３３では、前記した工程撮像カメラの下流側に配置された検査用撮影カメラで、製品の外観を検査のために撮影する。不良検査ステップ３４では、この検査用撮影ステップ３３で得られた画像データを用いて製造の良否を判別する。画像データ抽出ステップ３５では、この不良検査ステップ３４で前記した製品が不良品であると判別されたとき、該当する不良品の画像データを前記した画像データ格納ステップで格納した画像データ格納手段から抽出する。画像表示ステップ３６では、この画像データ抽出ステップ３５で抽出した画像データを前記した製造工程における経時変化を示す画像として時間的に分解して表示する。

図４は、本発明の他の設備監視方法のクレーム対応図を示したものである。本発明の設備監視方法４０は、画像データ格納ステップ４１と、不良品判別ステップ４２と、製造工程特定ステップ４３と、画像データ抽出ステップ４４を備えている。ここで、画像データ格納ステップ４１では、１つの製品に関する所定数の製造工程のそれぞれから製品の外観の特徴を撮影した画像データをそれぞれ格納する。不良品判別ステップ４２では、前記した所定数の製造工程を経た前記した製品の外観を撮影した画像データを前記した製造工程を経た段階での良否の基準となる画像を表わした画像データと対比して前記した製品が不良品であるかを判別する。製造工程特定ステップ４３では、不良品判別ステップ４２で不良品であると判別されたとき、その画像の特徴を少なくとも用いて不良品の発生した製造工程を特定する。画像データ抽出ステップ４４では、製造工程特定ステップ４３で特定した不良品の発生した製造工程に対応する画像データを画像データ格納ステップ４１で格納した画像データの中から抽出する。

図５は、本発明の設備監視プログラムのクレーム対応図を示したものである。本発明の設備監視プログラム５０は、コンピュータに、工程撮影処理５１と、画像データ格納処理５２と、検査用撮影処理５３と、不良検査処理５４と、画像データ抽出処理５５と、画像表示処理５６を実行させるようにしている。ここで、工程撮影処理５１では、製品の特定の１つの製造工程で前記した製品の外観の特徴を工程撮像カメラで時間的に分解して撮影する。画像データ格納処理５２では、この工程撮影処理５１で撮影によって得られた画像データを格納する。検査用撮影処理５３では、前記した工程撮像カメラの下流側に配置された検査用撮影カメラで、製品の外観を検査のために撮影する。不良検査処理５４では、この検査用撮影処理５３で得られた画像データを用いて製造の良否を判別する。画像データ抽出処理５５では、この不良検査処理５４で前記した製品が不良品であると判別されたとき、該当する不良品の画像データを前記した画像データ格納ステップで格納した画像データ格納手段から抽出する。画像表示処理５６では、この画像データ抽出処理５５で抽出した画像データを前記した製造工程における経時変化を示す画像として時間的に分解して表示させる。

図６は、本発明の他の設備監視プログラムのクレーム対応図を示したものである。本発明の設備監視プログラム６０は、コンピュータに、画像データ格納処理６１と、不良品判別処理６２と、製造工程特定処理６３と、画像データ抽出処理６４を実行させるようにしている。ここで、画像データ格納処理６１では、１つの製品に関する所定数の製造工程のそれぞれから製品の外観の特徴を撮影した画像データをそれぞれ格納する。不良品判別処理６２では、前記した所定数の製造工程を経た前記した製品の外観を撮影した画像データを前記した製造工程を経た段階での良否の基準となる画像を表わした画像データと対比して前記した製品が不良品であるかを判別する。製造工程特定処理６３では、不良品判別処理６２で不良品であると判別されたとき、その画像の特徴を少なくとも用いて不良品の発生した製造工程を特定する。画像データ抽出処理６４では、製造工程特定処理６３で特定した不良品の発生した製造工程に対応する画像データを画像データ格納処理６１で格納した画像データの中から抽出する。

＜発明の第１の実施の形態＞

次に本発明の第１の実施の形態を説明する。

図７は、本発明の実施の形態による設備監視システムの構成の概要を表わしたものである。この設備監視システム１００は、図示しない製品の製造を行う製品製造部１０１と、製造後の製品を検査する検査部１０２を備えている。製品製造部１０１には、製品の製造時に不良箇所が発生するおそれのある複数の監視箇所Ｐ₁、Ｐ₂、……Ｐ_Nを撮影するために、工程撮像カメラ１０３₁、１０３₂、……１０３_Nが配置されている。検査部１０２には、製品の製造が正常に行われたかを外観でチェックするための不良検査撮像カメラ１０４が配置されている。

図７に示した例では、製品製造部１０１に全部でＮ台（Ｎは２以上正の整数）の工程撮像カメラ１０３₁、１０３₂、……１０３_Nが配置されているが、場合によってはＮが１（単数）である場合もある。また、不良検査撮像カメラ１０４を単数の台数として示しているが、複数台の不良検査撮像カメラを用いることも可能である。工程撮像カメラ１０３₁、１０３₂、……１０３_Nは、静止画を所定枚数撮影するカメラであってもよいし、動画を撮影するカメラであってもよい。それぞれの製造工程で不良品が発生したときに、原因を解明できるようなカメラであることが望ましい。被写体としての製品の撮影時の倍率、照明の当て方、撮影の方向等の撮影条件も、原因を解明しやすい製品の外観を表わした画像を得ることが目的となる。

設備監視システム１００は、設備の監視を行う設備モニタリング装置１０５を備えている。設備モニタリング装置１０５には、モニタリング結果を視覚的に表示する画像表示部１０６と、オペレータが設備モニタリング装置１０５の操作を行うためのキーボード等の操作部１０７が接続されている。

設備モニタリング装置１０５は、たとえばパーソナルコンピュータによって構成することができる。設備モニタリング装置１０５は、ＣＰＵ（Central Processing Unit）１１１と、このＣＰＵ１１１が実行する制御プログラムを格納したＲＯＭ（Read Only Memory）等のメモリ１１２を備えた制御部１１３を有している。また、設備モニタリング装置１０５は、映像を記録する工程撮像カメラ１０３₁、１０３₂、……１０３_Nのそれぞれと接続される撮影開始終了制御部１１４と、製造時の映像データを受信して格納する製造時データ受信格納部１１５を有している。更に、設備モニタリング装置１０５は、不良検査撮像カメラ１０４の画像を入力して一時的に蓄積し、製品の外観から不良品の発生の有無を検査する不良検査部１１６を有している。

工程撮像カメラ１０３₁、１０３₂、……１０３_Nは、それぞれ製造中の製品を監視する場所に応じた機能を有している。たとえば、ある場所の工程撮像カメラ１０３は、吸着によって図示しないカセットから部品をピックアップするマウンタの高速度で動作するノズルの動きを解析可能にするために、画像を高速度で撮影する。また、他の箇所の工程撮像カメラ１０３は、リフロ炉における赤外線領域の撮影を可能にして、加熱部位の状態を観察できるようになっている。同一の観察部位に、機能の異なる複数の工程撮像カメラ１０３が配置されてもよい。

設備モニタリング装置１０５は、更に、製造工程順序データ格納部１１７と、不良画像データ抽出部１１８、不要データ消去部１１９、不良データベース１２０および時刻情報管理部１２１を有している。このうち、製造工程順序データ格納部１１７は、製品の製造工程がどのような順序で行われるかを、各工程撮像カメラ１０３₁、１０３₂、……１０３_Nの監視箇所Ｐ₁、Ｐ₂、……Ｐ_Nとの関係で表わしている。不良画像データ抽出部１１８は、不良検査部１１６が製品の不良の発生したことを検出したとき、製造工程順序データ格納部１１７との関係で、製造のどの段階で発生した不良であるかを特定する。そして、製造の段階に応じて、製造時データ受信格納部１１５から対応する画像データを抽出する。これにより、たとえばＡという製品がｂという工程で不良品となった場合には、その不良品となった監視箇所Ｐの画像データが対応する工程撮像カメラ１０３との関係で、製造時データ受信格納部１１５から抽出されることになる。

不要データ消去部１１９は、不良品が発生せずに製造が終了したり、不良画像データ抽出部１１８が不良品に関するデータの抽出を行った段階で、製造時データ受信格納部１１５に格納している不要となったデータを消去する。したがって、製造時データ受信格納部１１５は、一時的なデータの格納手段として機能し、必ずしも大容量の記憶装置で構成する必要はない。

不良データベース１２０は、不良検査部１１６と接続されており、不良品の有無の検査を行うときに、比較対象とする各種の画像を納めている。不良データベース１２０は、また不良品が発生したときの各監視箇所Ｐ₁、Ｐ₂、……Ｐ_Nの比較すべき画像から、製造工程のいずれが不良品の発生に係わる可能性があるかを示すデータも格納している。

時刻情報管理部１２１は、撮影開始終了制御部１１４、製造時データ受信格納部１１５、不良検査部１１６および不良画像データ抽出部１１８に時刻情報を与えて、撮影時期の管理や必要な画像の抽出を可能にしている。また、時刻情報管理部１２１は不良検査部１１６が不良品を発見したときに、その処理に必要とされた時間を計測する。そして、その所要時間と、工程撮像カメラ１０３₁、１０３₂、……１０３_Nのそれぞれがその不良品を撮影した時刻を求めて不良画像データ抽出部１１８に与えることになる。これにより、不良画像データ抽出部１１８は不良品が発生するその時点における画像データを製造時データ受信格納部１１５から抽出することができる。

工程撮像カメラ１０３₁、１０３₂、……１０３_Nおよび不良検査撮像カメラ１０４は、共に図示しないＣＰＵと、ＣＰＵの実行する制御プログラムを格納する同じく図示しないメモリを有している。そして、外部信号に応じて撮影を開始または終了させる撮影動作制御回路（図示せず）と、撮影によって得られた画像データを設備モニタリング装置１０５に送出する画像データ送出部（図示せず）を備えている。

なお、設備モニタリング装置１０５に、図示しないネットワークを介してパーソナルコンピュータや外部記憶装置が接続している場合、これらを製造時データ受信格納部１１５として代用したり、画像データの保存手段として使用することができる。パーソナルコンピュータは、その図示しないハードディスクやＳＳＤ（Solid State Drive）に画像データを格納することになる。

図８は、工程撮像カメラの撮影制御の様子を表わしたものである。ここでは、図７に示した工程撮像カメラ１０３₁の動作を説明する。他の工程撮像カメラ１０３₂、……１０３_Nも工程撮像カメラ１０３₁と同一の制御を行うが、撮影の開始および終了のタイミングは、独自に定められている。図７と共に説明する。

工程撮像カメラ１０３₁は、設備モニタリング装置１０５内の撮影開始終了制御部１１４から開始トリガを受信するのを待機している。開始トリガを受信すると（ステップＳ２０１：Ｙ）、時刻情報管理部１２１から撮影開始終了制御部１１４を経由して送られてくる時刻情報を付属情報として記録しながら、工程撮像カメラ１０３₁は監視箇所Ｐ₁の撮影を開始する。そして、得られた画像データを設備モニタリング装置１０５内の製造時データ受信格納部１１５における工程撮像カメラ１０３₁に割り当てられた領域に格納する（ステップＳ２０２）。

以上の撮影動作は、撮影開始終了制御部１１４から撮影の終了を示す終了トリガを受信するまで継続する（ステップＳ２０３：Ｎ）。終了トリガを受信した時点で（ステップＳ２０３：Ｙ）、撮影は終了する（エンド）。

ここで、撮影開始終了制御部１１４は、製品製造部１０１の監視箇所Ｐ₁で製品の加工工程が開始する時点で開始トリガを工程撮像カメラ１０３₁に送出する。また、監視箇所Ｐ₁で製品の加工工程が完全に終了する時点あるいはこれから所定の余裕時間を経て、撮影開始終了制御部１１４は、終了トリガを工程撮像カメラ１０３₁に送出する。製品の加工工程が開始する時点は、たとえば該当する製品が製品製造部１０１の該当する場所まで搬送されてきたときに、図示しないセンサでこれを検出することで把握することになる。もちろん、製品製造部１０１の各工程がベルトコンベア等の搬送手段の搬送制御によって撮影開始終了制御部１１４で独自に把握できる場合には、これを基にして開始トリガや終了トリガを発生させるようにしてもよい。

工程撮像カメラ１０３₁は撮影した画像データのみを製造時データ受信格納部１１５に送出し、時刻情報を設備モニタリング装置１０５の受信時に付加するようにしてもよい。本実施の形態では撮影の時点で時刻情報を書き込むようにして、工程撮像カメラ１０３₁の画像処理による画像データ送出までの遅延に伴う時刻情報の誤差の発生を防止している。

図９は、不良検査撮像カメラの撮影制御の様子を表わしたものである。図７と共に説明する。

不良検査撮像カメラ１０４は、たとえば生産設備の検査部１０２が配置されたアンローダ部に設置し、加工工程を完了した状態の検査対象を撮像し、画像データを獲得することができる。この不良検査撮像カメラ１０４は設備モニタリング装置１０５内の不良検査部１１６から検査のための撮影の開始トリガの受信を待機している（ステップＳ２２１）。開始トリガを受信すると（Ｙ）、時刻情報管理部１２１から不良検査部１１６を介して取得した時刻情報を記録して検査部１０２における製品を撮影し、その画像データを設備モニタリング装置１０５に送出して（ステップＳ２２２）、処理を終了する（エンド）。画像データの撮影は、たとえば検査部１０２で該当する製品を回転させて、複数の位置から行ってもよい。また、複数台の不良検査撮像カメラ１０４を用いて、それぞれ異なった撮影範囲や倍率の画像データを撮影するようにしてもよい。

図１０は、この画像データを用いて設備モニタリング装置が行う検査および画像データ保存処理の様子を表わしたものである。図７と共に説明する。

設備モニタリング装置１０５は、不良検査撮像カメラ１０４から検査による画像データが送られてくるのを待機している（ステップＳ２４１）。画像データを受信すると（Ｙ）、受信した画像を、不良データベース１２０を用いて不良画像と比較する（ステップＳ２４２）。たとえば、部品の電極がハンダから浮いている画像や、部品の電極の間にハンダが繋がっている画像、あるいはハンダの面積が多すぎる画像や少なすぎる画像、または特定の部品が実装されていない画像といった不良品についての各種の画像を、受信した画像と比較する。

一連の比較処理が終了したら（ステップＳ２４３：Ｙ）、これらの比較結果を総合して、検査結果が不合格（ＮＧ）であるかの判別が行われる（ステップＳ２４４）。たとえば、予め定めた部品が実装されていないことが判明した場合には、不合格とされる。この一方で、ある画像との比較で不合格とされるものであっても、他の関連する画像との比較で合格とされる場合には合格としてもよい。たとえば、部品の実装位置が規定以上ずれていても、配線パターンが欠落していないことが他の画像で確認されたような場合である。

比較結果が不合格（ＮＧ）とされた場合（ステップＳ２４４：Ｙ）、制御部１１３は、製造工程順序データ格納部１１７に格納されたデータを用いて、不合格とされた画像に対応する１つまたは複数の工程を特定する（ステップＳ２４５）。不良データベース１２０に格納された画像のそれぞれに、障害に関連する工程を付属データとして書き込んでいてもよい。

不良品の発生した工程が特定されたら、時刻情報管理部１２１は、該当する製品がその工程で該当する工程撮像カメラ１０３によって撮影された時刻範囲を算出する（ステップＳ２４６）。この際に、製造工程の順序や不良検査部１１６による検査時間の長短によって、現時点から遡る時間が異なってくる。また、不良品の発生に複数の工程が関与しているおそれがある場合には、それぞれの工程についての画像データの撮影時刻の算出が必要となる。

原因解析のための該当する工程についての画像データの撮影時刻範囲が算出されたら、製造時データ受信格納部１１５から対応する工程の画像データを抽出する（ステップＳ２４７）。そして、不良品を特定する製品の番号と、その不良品について不良検査撮像カメラ１０４から得られた画像データと共に、抽出された画像データが所定のファイル名のファイルとして保存される（ステップＳ２４８）。ファイルの保存は、図示しないハードディスクに対して行われてもよいし、メモリ１１２の空き領域を利用してもよい。もちろん、前記したパーソナルコンピュータへの保存も可能である。これら保存したファイルの内容は、画像表示部１０６で不良品の発生原因の解明のために表示されることになる。

このように検査結果が不合格となった場合に、必要とする画像データの保存が行われたので、不要データ消去部１１９は、製造時データ受信格納部１１５における不要となった画像データについての時刻範囲を算出する（ステップＳ２４９）。そして、不要データ消去部１１９は製造時データ受信格納部１１５からこれら不要になった画像データを消去して（ステップＳ２５０）、再びステップＳ２４１の処理に戻ることになる（リターン）。

ステップＳ２４４で検査結果が不合格とならなかった場合には（Ｎ）、その製品に関して製造時データ受信格納部１１５に格納した画像データが不要になる。そこで、この場合にも、ステップＳ２４９に進んで不要となった画像データについての時刻範囲を算出し、これを基にして不要データ消去部１１９が該当する画像データを消去する（ステップＳ２５０）。この後、ステップＳ２４１の処理に戻ることになる（リターン）。

なお、製造時データ受信格納部１１５からの画像データの消去に関しては、検査部１０２が製品製造部１０１に直結しているような所定の場合、画像データの消去範囲を算出することなく、過去の全データを消去してもよい場合があることはもちろんである。

以上説明したように本発明の第１の実施の形態によれば、不良品が発生した時の生産設備の内部における動作の画像データを抽出したり、別の記憶装置へ保存して、画像解析を行うことができる。これにより、不良発生時の生産設備の動作を把握することができる。

また、不良とならなかった製品に関して撮影した画像データや、不良となった製品に関する処理後の画像データを製造時データ受信格納部１１５から消去することにした。したがって、製造時データ受信格納部１１５として用意した記憶領域を有効活用することができ、また、記憶領域に掛けるコストを低減することができる。

更に本実施の形態によれば、生産設備の内部の動作状態を画像データとして記録すると共に、これと連携して製品の外観検査を行うことにした。このため、外観検査で不良品を検出したとき、対応する生産設備の動作状態を画像データとして再生することができ、比較的少量のデータから効率的に不良発生原因の切り分けおよび特定を行うことができる。

＜第１の実施の形態の第１の変形例＞

図１１は、以上説明した第１の実施の形態の第１の変形例における設備モニタリング装置の要部を表わしたものである。この第１の変形例の設備モニタリング装置１０５Ａで、図７に示した設備モニタリング装置１０５と同一部分には同一の符号を付しており、これらの説明を適宜省略する。

この変形例の設備モニタリング装置１０５Ａは、図７に示した各工程撮像カメラ１０３₁、１０３₂、……１０３_Nから画像データを受信する製造時データ受信部３０１を有している。製造時データ受信部３０１の受信した画像データは、不良検査部１１６Ａの指示により製造時データ格納部３０２と、不良発生時データ格納部３０３のいずれかに振り分けて格納するようになっている。先の実施の形態では、製造時データ受信部３０１と製造時データ格納部３０２が一体となって、図７に示す製造時データ受信格納部１１５となっており、不良発生時データ格納部３０３は存在していない。この変形例の設備モニタリング装置１０５Ａでは、制御部１１３Ａを構成するメモリ１１２Ａに格納する制御プログラムを実施の形態のメモリ１１２に格納する制御プログラムと部分的に異なるものとして、制御内容の違いに対応させている。

第１の変形例でも、製品の製造工程で不良品が検出されるまで、製造時データ受信部３０１の受信した画像データはすべて製造時データ格納部３０２に格納される。したがって、不良品が発生することがなければ、不良発生時データ格納部３０３に画像データが格納されることはない。

ところで、不良品が発生するような場合、製造時データ格納部３０２に、常に良品の画像データが格納される訳ではない。不良検査部１１６Ａが不良品を検出したとすると、これから時間的に遡る所定の時点で製造上の不良が発生しており、その画像データは、すでに製造時データ格納部３０２に格納されているからである。

そこで、この変形例の不良検査部１１６Ａは、不良品が検出されると、製造時データ格納部３０２に格納された該当する画像データを不良発生時データ格納部３０３に保存し直す制御を行う。ここで、不良発生時データ格納部３０３に移動させる画像データは、不良品の製造の原因の可能性がある時間帯のそれぞれの工程撮像カメラ１０３₁、１０３₂、……１０３_Nの画像データであってもよいし、原因の特定された工程撮像カメラ１０３の画像データのみであってもよい。後者の場合には、実施の形態の不良画像データ抽出部１１８が抽出した画像データを不良発生時データ格納部３０３に格納することで、実質的に同一の制御を行うことができるので、この変形例では前者についての制御を説明する。

図１２は、この第１の変形例における各工程撮像カメラから送られてきた画像データの格納処理の様子を表わしたものである。図７および図１１と共に説明する。

設備モニタリング装置１０５Ａは、各工程撮像カメラ１０３₁、１０３₂、……１０３_Nから画像データが受信されるのを待機している（ステップＳ４０１）。画像データが受信されると（Ｙ）、製造時データ格納部３０２における工程撮像カメラ１０３₁、１０３₂、……１０３_Nのそれぞれに対応した記憶領域に画像データを格納する（ステップＳ４０２）。

不良検査部１１６Ａは、画像データを製造時データ格納部３０２に格納している状態で、格納場所の修正を指示する格納修正指示の受信があるか（ステップＳ４０３）と、画像データの受信が終了したか（ステップＳ４０４）の判別を行っている。実施の形態で説明した終了トリガに基づいて画像データの受信が不良品のない状態で終了した場合には（ステップＳ４０３：Ｎ、ステップＳ４０４：Ｙ）、画像データを製造時データ格納部３０２に格納した状態で、一連の画像データの格納処理が終了する（エンド）。すなわち、この場合には、製造時データ格納部３０２に格納した画像データを不良発生時データ格納部３０３に移動する処理は行われない。

一方、不良検査部１１６Ａが不良品を検出した結果として、画像データの格納修正指示が出された場合には（ステップＳ４０３：Ｙ）、不良発生時データ格納部３０３への該当する画像データの移動処理が実行される（ステップＳ４０５）。この場合には、各工程撮像カメラ１０３₁、１０３₂、……１０３_Nからの画像データにおける不良品とされた製品の製造過程に対応したそれぞれの時刻範囲が算出される（図１０ステップＳ２４６参照）。製造時データ受信部３０１は、これらの時刻範囲の画像データを製造時データ格納部３０２から不良発生時データ格納部３０３に移動する。このようにして不良発生時データ格納部３０３に不良品とされた製品の製造過程に対応した画像データが格納されたら、一連の画像データの格納処理が終了する（エンド）。

この変形例では、不良品の解析に必要な画像データは、製造時データ格納部３０２に一時的に存在しても最終的に不良発生時データ格納部３０３に保存される。したがって、製品の不良が検出されなかったり、検出されても該当する画像データが不良発生時データ格納部３０３に格納された後は、製造時データ格納部３０２に格納された画像データを消去することができる。

＜第１の実施の形態の第２の変形例＞

図１３は、図１２に対応するもので、本発明の第１の実施の形態の第２の変形例における各工程撮像カメラから送られてきた画像データの格納処理の様子を表わしたものである。図１３で図１２と同一の処理の部分には、同一のステップ番号を付している。図７、図１１および図１２と共に説明する。

第２の変形例の設備モニタリング装置１０５Ｂは、図１１に示した設備モニタリング装置１０５Ａから不良発生時データ格納部３０３を削除した構成となっている。そこで、図１１の設備モニタリング装置１０５Ａを適宜、設備モニタリング装置１０５Ｂと読み替えて説明を行う。

設備モニタリング装置１０５Ｂは、各工程撮像カメラ１０３₁、１０３₂、……１０３_Nから画像データが受信されるのを待機している（ステップＳ４０１）。画像データが受信されると（Ｙ）、製造時データ格納部３０２における工程撮像カメラ１０３₁、１０３₂、……１０３_Nのそれぞれに対応した記憶領域に画像データを格納する（ステップＳ４０２）。

不良検査部１１６Ａは、画像データを製造時データ格納部３０２に格納している状態で、格納場所の修正を指示する格納修正指示の受信があるか（ステップＳ４０３）と、画像データの受信が終了したか（ステップＳ４０４）の判別を行っている。実施の形態で説明した終了トリガに基づいて画像データの受信が不良品のない状態で終了した場合には（ステップＳ４０３：Ｎ、ステップＳ４０４：Ｙ）、製造時データ格納部３０２に格納した画像データの全部を消去して（ステップＳ５０１）、一連の画像データの格納処理が終了する（エンド）。すなわち、第２の変形例では、製造時データ格納部３０２が第１の変形例の設備モニタリング装置１０５Ａにおける不良発生時データ格納部３０３としての機能も備えていることになる。

一方、不良検査部１１６Ａが不良品を検出して、画像データの格納修正指示が出された場合には（ステップＳ４０３：Ｙ）、第１の変形例で不良発生時データ格納部３０３に移動の対象とされた画像データ以外の画像データが消去される（ステップＳ５０２）。このため、まず、各工程撮像カメラ１０３₁、１０３₂、……１０３_Nからの画像データにおける不良品とされた製品の製造過程に対応したそれぞれの時刻範囲が算出される（図１０ステップＳ２４６参照）。そして、製造時データ受信部３０１は、この時刻範囲以外の画像データを製造時データ格納部３０２から消去する。このようにして製造時データ受信部３０１に不良品とされた製品の製造過程に対応した画像データのみが残ったら、一連の画像データの格納処理が終了する（エンド）。

このように第２の変形例では、不良品の解析に必要な画像データは、最終的に製造時データ格納部３０２に保存される。したがって、不良発生時データ格納部３０３が不要となる。

以上説明した第１の実施の形態についての第１および第２の変形例では、製造時データ格納部３０２および不良発生時データ格納部３０３を設けたが、すでに説明したパーソナルコンピュータ等の他の装置の記憶領域を代用してもよいことは当然である。

また、第１の実施の形態およびこれらの各変形例では、検査部１０２は製品製造部１０１の下流側に存在するものとして説明した。検査部１０２は製品の最終検査に限るものではない。たとえば、製品の製造に大きく分けて複数の工程があり、それぞれの工程に製造を検査する検査部が配置されているものであってもよい。

更に第１の実施の形態およびこれらの各変形例では、各工程撮像カメラ１０３₁、１０３₂、……１０３_Nの撮影した時刻を記録することで、該当する工程の画像データを抽出することにしたが、これに限るものではない。たとえば、各工程撮像カメラ１０３₁、１０３₂、……１０３_Nから得られる画像データにカメラの識別情報が付されていたり、それぞれのカメラが識別可能であれば、これと製品の識別情報を併せることで、必要な画像データを特定することができる。特に、製品ごとに開始トリガと終了トリガで撮影時間帯を区切っている本実施の形態の場合には、それぞれの撮影時間帯と各製品の工程を関連付けることにより、不良品が発生したときの必要な画像データを簡単に取り出すことができる。

更にまた、本実施の形態では不良検査撮像カメラ１０４から得られた画像データによる画像を、不良データベース１２０に格納された画像と比較することで不良品が発生したかを検出することにした。このとき、画像の特徴抽出を行う等の書込データに対する何らかの処理を行った後に不良品であるかを判別してよいことは当然である。

＜発明の第２の実施の形態＞

次に本発明の第２の実施の形態を説明する。

図１４は、本発明の第２の実施の形態における設備監視システムの構成の概要を表わしたものである。この図１４で第１の実施の形態における図７と同一部分には同一の符号を付しており、これらの説明を適宜省略する。

第２の実施の形態における設備監視システム１００Ｂは、製品の製造の際に注目する１つの工程としての特定製造工程６０１を高速度の動画として撮影する高速カメラ６０２を備えている。特定製造工程６０１のすぐ下流側には、不良検査撮像カメラ１０４を備えた検査部１０２が配置されている。

高速カメラ６０２は、設備の監視を行う設備モニタリング装置１０５Ｂ内の撮影開始終了制御部１１４Ｂに接続されており、図示しない製品が特定製造工程６０１で製造のための処理が行われるたびに、その期間だけ、製品を高速度で複数フレーム撮影する。撮影によって得られた各フレームの画像データは、設備モニタリング装置１０５Ｂ内の製造時データ受信格納部１１５Ｂに順次格納されるようになっている。特定製造工程６０１による製品ごとの撮影の開始は、たとえば図示しないベルトコンベアによって搬送されてきた製品を同じく図示しないフォトセンサが検出したタイミング、あるいはこれから所定時間遅延したタイミングに設定することができる。また、特定製造工程６０１による製品ごとの撮影の終了は、たとえば特定製造工程６０１の終了位置に配置された他のフォトセンサがこの製品を検出したタイミングあるいはこれから他の所定時間遅延したタイミングとして設定することができる。もちろん、製品ごとの撮影の開始のタイミングから時刻情報管理部１２１Ｂが管理する所定の時間経過後の時間を、特定製造工程６０１における撮影の終了タイミングとすることも可能である。

高速カメラ６０２は、撮影開始終了制御部１１４Ｂが撮影の開始を指示してから終了を指示するまでの区間の画像データを設備モニタリング装置１０５Ｂに送出し、製造時データ受信格納部１１５Ｂに格納させる。検査部１０２に配置された不良検査撮像カメラ１０４は、特定製造工程６０１で処理が行われた製品の検査用の画像を撮影する。この画像は設備モニタリング装置１０５Ｂ内の不良検査部１１６に送られて、不良データベース１２０Ｂを用いて所定の正常画像あるいは不良画像と比較することで不良品の発生を検出する。

この結果、特定製造工程６０１で不良品が発生したことが検出された場合、不良画像データ抽出部１１８Ｂは時刻情報管理部１２１Ｂにこれを通知する。時刻情報管理部１２１Ｂはこの通知があると、所定の遅延時間だけ過去に遡った時刻情報を不良画像データ抽出部１１８Ｂに与える。不良画像データ抽出部１１８Ｂは、この通知に基づいて製造時データ受信格納部１１５Ｂから不良品とされる製品の複数フレームからなる画像データを抽出する。この抽出された画像データは、動画分解部６１１に送られて、各フレームの画像に分解される。そして、このうちの予め指定された複数のフレームの画像が画像表示部１０６に送られて、画面に同時に並列表示する形態で、あるいは一連の画像を時系列で表示する形態で、画像表示部１０６に表示される。不要データ消去部１１９Ｂは、製造時データ受信格納部１１５Ｂにおける検査後の不要となった画像データを消去する。

設備モニタリング装置１０５Ｂの制御部１１３Ｂには、このような第２の実施の形態における制御の主体となるＣＰＵ１１１と、このＣＰＵ１１１の実行する制御プログラムを格納するメモリ１１２Ｂが配置されている。操作部１０７は、画像表示部１０６と共に設備モニタリング装置１０５Ｂに接続されている。検査担当者は、不良検査部１１６の検査結果とは別に、不良検査撮像カメラ１０４によって得られた画像をチェックして、必要な場合には操作部１０７を使用して高速カメラ６０２の画像を読み出して、必要な分析を行うことができる。これにより、たとえば新たに設けた製造工程で、不良データベース１２０Ｂに格納される画像データの量が不十分な場合であっても、必要な解析が可能になる。

ところで、本実施の形態の高速カメラ６０２は、一例として、特定製造工程６０１における次のような箇所の撮影に使用される。ここでは、表面実装技術を用いて所定の基板上に部品を搭載するマウント工程を行う設備としてのマウンタを例に挙げる。

（１）マウンタ内部のノズルが、搭載する部品をカセットからピックアップする連続動作を観察する箇所。
（２）ピックアップした部品を基板上に載せるときの連続動作を観察する箇所
高速カメラ６０２は、このような箇所を撮影して、画像ファイル群または動作ファイルとして製造時データ受信格納部１１５Ｂに格納される。

一方、不良検査撮像カメラ１０４は、マウント工程が終了した製品基板がアンロードされた位置で、図示しない次の製造工程が開始する前の場所に設置される。そして、たとえばマウント工程が終了した製品としての基板を上から見下ろすような方角から撮影してその画像データを取得する。そして、製品としての基板に搭載されている特定部品の搭載状態の外観を検査する。具体的には、基板に対するその特定部品の搭載位置ズレがあるかとか、その特定部品自体が基板に搭載されているかとか、部品が反転して搭載されていないかといった検査が行われる。

図１５は、一例として基板に部品が反転してマウントされた場合の画像状態を説明するためのものである。同図（Ｂ）は、基板に特定の部品がマウントされる前の状態を表わしたものであり、同図（Ｂ）はマウント後の状態を表わしている。同図（Ａ）の基板６２１には、破線で示す領域６２２に特定の部品がまだ搭載されていない。同図（Ｂ）では、特定の部品６２３が基板６２１の正しい位置に搭載されているものの、表裏が反転している。

このような反転した状態での特定の部品６２３の搭載が、図１４に示した不良検査撮像カメラ１０４によって判別されたら、図示しないマウンタが部品６２３をどのようにして搭載したかを高速カメラ６０２（図１４）の複数フレームの画像で解析すればよい。これにより、部品６２３が反転する瞬間を確認することができ、不良発生原因を確実に突き止めて、再発を防止する措置を採ることができる。特定の部品６２３を基板６２１に搭載する際に位置ずれが生じたような他の検査ミスに対しても、時系列で得られる画像を解析することで、原因の解明を容易に行うことができる。

従来では、一連の工程が完了した後の製品の出来栄えから不良の発生原因を推測するため、原因の特定が困難となる場合が多い。本発明の第２の実施の形態では、チェックすべきそれぞれの製造工程のすぐ後に検査工程を配置しておいて、製品の不良が発生したときにはその工程の時系列な画像を入手するようにした。このため、不良の発生する製造工程を複数の工程から選別する手間を要せず、原因の解析を的確に進めることができる。

なお、第２の実施の形態では一例として高速カメラ６０２を使用して、特定の製造工程における経時変化を示す動画を取得することにしたが、これに限定されるものではない。たとえば、時間間隔を置いて複数の静止画を得るカメラを代わりに使用してもよいし、複数台のカメラを用いて、同様に特定の製造工程における時系列的な画像データを分担して取得するようにしてもよい。

次に、第１の実施の形態に基づく実施例を簡単に説明する。図７と共に説明する。

図７で不良検査撮像カメラ１０４は、製品としての基板を撮影して、その上に１００個の部品が正しい位置に搭載されているかを不良検査部１１６で検査する。このとき不良データベース１２０からはこれらの部品が正しく搭載された画像データが読み出される。この読み出された画像データと、不良検査撮像カメラ１０４から得られた画像を不良検査部１１６で比較して、搭載が行われていない部品があったり、間違った位置に搭載されている部品があった場合に、これらの不良を検出する。このとき、それぞれの工程で部品が正しく搭載された画像あるいはこれらの工程で部品が正しく搭載されなかった画像を順次読み出して、比較を行うようにしてもよい。

ここで、たとえば第５０番目に搭載される部品に不良があることが検出されたとする。この場合には、製造工程順序データ格納部１１７に格納されたデータを参照して、工程撮像カメラ１０３₁、１０３₂、……１０３_Nのうちの第５０番目に搭載される部品に対応するカメラの画像データが製造時データ受信格納部１１５から抽出される。この工程撮像カメラ１０３を工程撮像カメラ１０３₅₀とする。工程撮像カメラ１０３₅₀は、第５０番目に搭載される部品の様子を、各製品ごとに撮影し、これらの画像データを製造時データ受信格納部１１５に一連の画像データとして格納している。したがって、不良検査部１１６で不良品が検出された場合に、その製品が工程撮像カメラ１０３₅₀で撮影された時間に遡って画像データの抽出が行われる。

したがって、設備監視システム１００の管理者あるいは製品の検査者は、発生した不良品についてその不良が発生した時点における画像データを抜き出して、画像表示部１０６に表示することができる。これにより、製造時データ受信格納部１１５に格納された膨大な画像データを順次表示するといった時間の掛かる作業を必要とせずに、不良品の発生した状況を確認することができ、不良品の発生を防止する対策を早急に検討することができる。

以上説明した実施の形態および実施例では、プリント基板の製造工程について説明したが、これに限るものではない。たとえば樹脂を所定の物品の表面に塗布する設備を監視する場合にも、本発明を適用することができる。一例として、部品の表面に樹脂を１ラインずつ所定幅で１００ライン分、隙間なく互いに並行に塗布するものとする。このような樹脂塗布設備の出口側に不良検査撮像カメラ１０４を配置して、不良品の検出を行うものとする。

不良品として、たとえば１０ライン目の塗布に問題があったとする。この場合には、検査が行われた時刻から、該当する製品について１０ライン目の塗布が行われた時刻まで遡って、対応する工程撮像カメラ１０３の画像データを抽出し、画像表示部１０６に表示するようにすればよい。

また、以上説明した実施の形態では、画像データをデータベースと比較して不良発生時の画像を抽出することにしたが、不良検査にて検出された不良の情報（不良発生した位置）と不良が発生した製造設備の製造情報（動作順序、各動作の作業時間、スケジュール）を用いて、不良発生時の加工動作の画像データを抽出するようにしてもよい。

１０、２０、１００、１００Ｂ設備監視システム
１１、１０３工程撮像カメラ
１２、２２、１０４不良検査撮像カメラ
１３、２３不良品判別手段
１４、２５画像データ格納手段
１５、２６画像データ抽出手段
１６画像表示手段
２４製造工程特定手段
３０、４０設備監視方法
３１工程撮影ステップ
３２、４１画像データ格納ステップ
３３検査用撮影ステップ
３４不良検査ステップ
３５、４４画像データ抽出ステップ
３６画像表示ステップ
４２不良品判別ステップ
４３製造工程特定ステップ
５０、６０設備監視プログラム
５２、６１画像データ格納処理
５３検査用撮影処理
５４不良検査処理
５５、６４画像データ抽出処理
５６画像表示処理
６２不良品判別処理
６３製造工程特定処理
１０１製品製造部
１０２検査部
１０５、１０５Ａ、１０５Ｂ設備モニタリング装置
１０６画像表示部
１１１ＣＰＵ
１１２、１１２Ａ、１１２Ｂメモリ
１１３、１１３Ａ、１１３Ｂ制御部
１１５製造時データ受信格納部
１１６、１１６Ｂ不良検査部
１１７製造工程順序データ格納部
１１８不良画像データ抽出部
１１９不要データ消去部
３０１製造時データ受信部
３０２製造時データ格納部
３０３不良発生時データ格納部
６０１特定製造工程
６０２高速カメラ
６１１動画分解部
６２１基板
６２３特定の部品

Claims

製品の製造工程における前記製品の外観の特徴を時間的に分解して撮影するカメラとして特定の１つの製造工程に配置された工程撮像カメラと、
この工程撮像カメラの下流側に位置し、前記特定の１つの製造工程を経た前記製品の外観の撮影によって製造の良否を判別するカメラとしての不良検査撮像カメラと、
この不良検査撮像カメラの撮影した画像を前記製造工程を経た段階での良否の基準となる画像と対比して前記製品が不良品であるかを判別する不良品判別手段と、
前記工程撮像カメラの出力する画像データを製品と対応させて格納する画像データ格納手段と、
前記不良品判別手段で不良品であると判別されたとき、該当する不良品の画像データを前記画像データ格納手段から抽出する画像データ抽出手段と、
この画像データ抽出手段で抽出された画像データを前記製造工程における経時変化を示す画像として時間的に分解して表示する画像表示手段
とを具備することを特徴とする設備監視システム。
１つの製品の製造工程における外観の特徴を撮影するカメラとして所定数の製造工程にそれぞれ対応して配置された工程撮像カメラと、
これらすべての工程撮像カメラの下流側に位置し、前記所定数の製造工程を経た前記製品の外観の撮影によって製造の良否を判別するカメラとしての不良検査撮像カメラと、
この不良検査撮像カメラの撮影した画像を前記製造工程を経た段階での良否の基準となる画像と対比して前記製品が不良品であるかを判別する不良品判別手段と、
この不良品判別手段で不良品であると判別されたとき、その画像の特徴を少なくとも用いて不良品の発生した製造工程を特定する製造工程特定手段と、
前記工程撮像カメラの出力する画像データを製品と対応させて格納する画像データ格納手段と、
前記製造工程特定手段で特定した不良品の発生した製造工程に対応する画像データを前記画像データ格納手段から抽出する画像データ抽出手段
とを具備することを特徴とする設備監視システム。
前記製品の製造工程の順序をデータとして格納した製造工程順序データ格納手段を備え、
前記画像データ抽出手段は、前記製造工程順序データ格納手段に格納された製造工程の順序による時間の経過情報を用いることで不良品の発生した製造工程を特定することを特徴とする請求項２記載の設備監視システム。
前記製品の製造工程ごとに製造の良否を判別する画像データを格納したデータベースを備え、
前記不良品判別手段は、このデータベースの各画像データと類比を判別することで前記製品が不良品であるかを判別する類比判別手段を更に具備することを特徴とする請求項１または請求項２記載の設備監視システム。
前記データベースに格納する画像データは不良品を示す画像データであり、それぞれの画像データには不良品の発生する可能性のある製造工程が示されており、
前記製造工程特定手段は、前記データベースの不良品を示す該当の画像データに示された製造工程を不良品の発生した製造工程であると判別することを特徴とする請求項４記載の設備監視システム。
前記不良品判別手段の判別した不良品についての前記画像データ抽出手段の抽出した画像データ以外の画像データを消去する不要データ消去手段を具備することを特徴とする請求項１または請求項２記載の設備監視システム。
前記工程撮像カメラの少なくとも１つは、１つの製造工程を複数枚の静止画あるいは動画からなる画像データを出力することを特徴とする請求項１または請求項２記載の設備監視システム。
前記不良品判別手段の判別した不良品についての前記画像データ抽出手段の抽出した画像データのみを格納する必要画像データ格納手段を具備することを特徴とする請求項２または請求項７記載の設備監視システム。
製品の特定の１つの製造工程で前記製品の外観の特徴を工程撮像カメラで時間的に分解して撮影する工程撮影ステップと、
この工程撮影ステップで撮影によって得られた画像データを格納する画像データ格納ステップと、
前記工程撮像カメラの下流側に配置された検査用撮影カメラで、製品の外観を検査のために撮影する検査用撮影ステップと、
この検査用撮影ステップで得られた画像データを用いて製造の良否を判別する不良検査ステップと、
この不良検査ステップで前記製品が不良品であると判別されたとき、該当する不良品の画像データを前記画像データ格納ステップで格納した画像データ格納手段から抽出する画像データ抽出ステップと、
この画像データ抽出ステップで抽出した画像データを前記製造工程における経時変化を示す画像として時間的に分解して表示する画像表示ステップ
とを具備することを特徴とする設備監視方法。
１つの製品に関する所定数の製造工程のそれぞれから製品の外観の特徴を撮影した画像データをそれぞれ格納する画像データ格納ステップと、
前記所定数の製造工程を経た前記製品の外観を撮影した画像データを前記製造工程を経た段階での良否の基準となる画像を表わした画像データと対比して前記製品が不良品であるかを判別する不良品判別ステップと、
この不良品判別ステップで不良品であると判別されたとき、その画像の特徴を少なくとも用いて不良品の発生した製造工程を特定する製造工程特定ステップと、
この製造工程特定ステップで特定した不良品の発生した製造工程に対応する画像データを前記画像データ格納ステップで格納した画像データの中から抽出する画像データ抽出ステップ
とを具備することを特徴とする設備監視方法。
前記不良品判別ステップは、前記製品の製造工程ごとに製造の良否を判別する画像データを格納したデータベースの各画像データと類比を判別することで前記製品が不良品であるかを判別する類比判別ステップを更に具備することを特徴とする請求項１０記載の設備監視システム。
コンピュータに、
製品の特定の１つの製造工程で前記製品の外観の特徴を工程撮像カメラで時間的に分解して撮影する工程撮影処理と、
この工程撮影処理で撮影によって得られた画像データを格納する画像データ格納処理と、
前記工程撮像カメラの下流側に配置された検査用撮影カメラで、製品の外観を検査のために撮影する検査用撮影処理と、
この検査用撮影処理で得られた画像データを用いて製造の良否を判別する不良検査処理と、
この不良検査処理で前記製品が不良品であると判別されたとき、該当する不良品の画像データを前記画像データ格納ステップで格納した画像データ格納手段から抽出する画像データ抽出処理と、
この画像データ抽出処理で抽出した画像データを前記製造工程における経時変化を示す画像として時間的に分解して表示させる画像表示処理
とを実行させることを特徴とする設備監視プログラム。
コンピュータに、
１つの製品に関する所定数の製造工程のそれぞれから製品の外観の特徴を撮影した画像データをそれぞれ格納する画像データ格納処理と、
前記所定数の製造工程を経た前記製品の外観を撮影した画像データを前記製造工程を経た段階での良否の基準となる画像を表わした画像データと対比して前記製品が不良品であるかを判別する不良品判別処理と、
この不良品判別処理で不良品であると判別されたとき、その画像の特徴を少なくとも用いて不良品の発生した製造工程を特定する製造工程特定処理と、
この製造工程特定処理で特定した不良品の発生した製造工程に対応する画像データを前記画像データ格納処理で格納した画像データの中から抽出する画像データ抽出処理
とを実行させることを特徴とする設備監視プログラム。
前記不良品判別処理は、前記製品の製造工程ごとに製造の良否を判別する画像データを格納したデータベースの各画像データと類比を判別することで前記製品が不良品であるかを判別する類比判別処理を更に実行させることを特徴とする請求項１３記載の設備監視プログラム。