JP2004125629A

JP2004125629A - 欠陥検出装置

Info

Publication number: JP2004125629A
Application number: JP2002290354A
Authority: JP
Inventors: Shigemi Nakamoto; 中元　茂実; Akira Kazama; 風間　彰; Yasuhiro Matsufuji; 松藤　泰大
Original assignee: JFE Steel Corp
Current assignee: JFE Steel Corp
Priority date: 2002-10-02
Filing date: 2002-10-02
Publication date: 2004-04-22

Abstract

【課題】欠陥種類または欠陥程度の分類およびその形態の複雑さの指標を得ることが可能な欠陥検出装置を提供する。
【解決手段】製品表面の欠陥を光学的に検出し欠陥の判定を行う欠陥検出装置において、画像信号のエッジ抽出又はフィルタリングを行うとともに規格化を行う画像前処理手段と、画像信号の２値化を行う手段と、２値化画像についてフラクタル次元を算出する手段と、この値を欠陥の形態の複雑さの特徴量として用いて欠陥の判定を行う手段と、を備えている欠陥検出装置。残存画素数測定手段により欠陥の形態の複雑さの特徴量として用いて欠陥の判定を行うこと、画像前処理手段はラプラシアンフィルタを用いて走査を行うフィルタリング処理手段であること、２値化前の画像について輝度のエントロピの測定手段を備えていること、あるいは得られた特徴量に最尤決定法を適用して欠陥の判定を行うこともできる。
【選択図】　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、フィルム、紙、鉄鋼の圧延プロセスなど、平板状の製品を作る生産工程における表面検査技術における欠陥検出装置に関するものである。
【０００２】
【従来の技術】
工業製品の表面に生じる欠陥を光学的方法で検出する装置において、撮像によって得られた画像信号に対し、欠陥幅、欠陥部面積、縦横比、最大強度等の各種特徴量による欠陥の分類を行ってきた。
【０００３】
例えば特開平８−８２６０４号公報（特許文献１）には、寸法情報と強度情報に当たる多次元の特徴量を検出することにより、特に油汚れ、白色汚れ等にも高精度の表面欠陥と判別可能とする鋼板表面欠陥検査方法が提案されている。この技術は、鋼板表面に照明光を照射し、該鋼板表面をカメラにより撮像し、捉えられた鋼板表面欠陥幅、欠陥部面積、縦横比及び最大強度の４次元を主要特徴量として検出し、該検出された主要特徴量抽出から欠陥を判定することを特徴としている。欠陥の判定は、複数段の判定ステップにより分岐を繰返すツリー型の論理により構成されている。
【０００４】
しかしながら、欠陥種類または欠陥程度を分類するために重要な因子である欠陥形態の複雑さについては、有効な特徴量を得る手段がなく、分類は不完全であった。
【０００５】
欠陥の複雑さについて、扱うための試みが提案されている。例えば特開平９−１７９９８５号公報（特許文献２）には、欠陥の複雑さの指標としてｘ−ｙ平面を画像面、ｚ軸を輝度にとった３次元図形のフラクタル次元を採用する方法が提案されている。ここでは、感光体や色素を一様に塗布することを目的とする工業製品の製造工程において、例えば、ＣＣＤカメラなどの光学的な手段を用いて一様な被検査物の表面の輝度分布画像を前処理部に入力し、デジタル変換することにより取得した多階調の画像データを解析して被検査物の特異部分（欠陥部分）の検出を行っている。
【０００６】
この従来技術の装置は、欠陥の存在の可能性が高い非定常領域を入力画像から抽出する前処理手段と、その抽出画像領域内のフラクタル次元を算出するフラクタル次元算出手段と、算出されたフラクタル次元を設定変更可能な閾値で２値化可能な手段を持っている。その２値化出力により、抽出領域の欠陥部分と非欠陥部分を判別するとしている。
【０００７】
【特許文献１】
特開平８−８２６０４号公報
【０００８】
【特許文献２】
特開平９−１７９９８５号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、従来技術には次のような問題点があった。まず、特開平８−８２６０４号公報（特許文献１）記載の技術は、欠陥種類または欠陥程度を分類するために重要な因子である欠陥形態の複雑さについては、有効な特徴量を得る手段がなく、分類は不完全であった。
【００１０】
特開平９−１７９９８５号公報（特許文献２）には、欠陥の複雑さの指標として位置と輝度からなる３次元空間におけるフラクタル次元を採用する方法が記載されているが、本来は欠陥種類または欠陥程度の分類について、その形態の複雑さと輝度分布の粗さを独立に評価しなければいけない。すなわち、この文献記載の技術では、フラクタル次元への位置ｘ，ｙと輝度ｚの寄与が分離できず、フラクタル次元の変化が位置又は輝度のいずれの分布によるものか判定できなくなる。
【００１１】
そのため、特許文献２記載の技術では、変位と輝度を３次元化する際、輝度の尺度を大きく設定すれば、場所的分布（欠陥の形態）の影響が十分に反映されなくなり、一方、変位の尺度を大きく設定すれば、輝度の影響が反映されず、欠陥自体を認識することができなくなるという問題がある。しかし、この文献には、変位と輝度の尺度の設定比率（変換比率）について、好ましい範囲等の実施に必要なことが記載されていない。
【００１２】
また、欠陥検出に当たっては、元画像には欠陥信号の下地に輝度の大きなうねりや不要なノイズ成分を含んでいることが多く、これらを除いた上で複雑さの指標を得る必要がある。しかしながら、これらの問題も、従来技術においては十分には解決されていない。
【００１３】
本発明は、これらの問題を解決し、欠陥種類または欠陥程度の分類およびその形態の複雑さの指標を得ることが可能な欠陥検出装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記の課題は次の発明により解決される。その発明は、製品表面の欠陥を光学的に検出し欠陥の判定を行う欠陥検出装置において、画像信号のエッジ抽出又はフィルタリングを行うとともに規格化を行う画像前処理手段と、前処理された画像信号に対して所定の閾値により２値化を施す２値化手段と、得られた２値化画像についてフラクタル図形としてのフラクタル次元を算出するフラクタル次元演算手段と、得られたフラクタル次元を欠陥の形態の複雑さの特徴量として用いて欠陥の判定を行う欠陥判定手段と、を備えていることを特徴とする欠陥検出装置である。
【００１５】
この発明は、画像の前処理手段を用いて２値化前に画像のエッジを強調するとともに、欠陥候補以外の領域が規格化（中心輝度から上下に大きく離れた部分はエッジ強調部分）されているので、安定して２値化画像を得ることができる。すなわち、画像によらず同じ閾値による２値化画像により、欠陥候補を描出することができる。
【００１６】
さらに、２値化された画像についてフラクタル次元演算手段によりフラクタル次元を算出しているので、画像の位置情報を明度情報とは分離して解析することが可能である。従って、得られたフラクタル次元は、明度の影響を受けず、欠陥の形態のみにより決まる指標となる。フラクタル次元としては、通常のボックス次元（ｂｏｘ　ｃｏｕｎｔｉｎｇ　ｄｉｍｅｎｓｉｏｎ）等を用いることができる。
【００１７】
この発明において、さらに、２値化画像について残存画素数を測定する残存画素数測定手段を備え、欠陥判定手段は欠陥の形態の複雑さの特徴量としてこの残存画素数も用いて欠陥の判定を行うことを特徴とする欠陥検出装置とすることもできる。
【００１８】
この発明は、残存画素数を測定することにより欠陥候補の総面積を算出することができる。
【００１９】
これらの発明において、画像前処理手段は、画像信号にシェーディング処理を行うシェーディング処理手段であることを特徴とする欠陥検出装置とすることもできる。
【００２０】
この発明は、画像をシェーディング処理することにより輝度の大きなうねりを除去した後、画像を２値化手段で２値化しているので、不要なノイズ成分を除去することができる。
【００２１】
また、画像前処理手段は、ラプラシアンフィルタを用いて走査を行うフィルタリング処理手段であることを特徴とする欠陥検出装置とすることもできる。
【００２２】
この発明は、ラプラシアンフィルタを用いて、２値化前の元画像に対して走査することによりフィルタリング処理を行い、欠陥部のエッジを強調する。
【００２３】
さらに、これらの発明において、２値化前の画像について輝度のエントロピを測定する輝度エントロピ測定手段を備えていることを特徴とする欠陥検出装置とすることもできる。
【００２４】
この発明は、輝度エントロピ測定手段を用いて２値化前の画像の輝度のエントロピを測定することにより、輝度の分布状態を数値化することができる。
【００２５】
以上に述べた発明において、欠陥判定手段は得られた特徴量に最尤決定法を適用して欠陥の判定を行うことを特徴とする欠陥検出装置とすることもできる。
【００２６】
この発明は、欠陥の判定を最尤決定法を用いて行うので、統計計算により判定が可能である。従って、煩雑なツリー型の論理を組む必要がなく、ソフトウェアが簡素化されるとともにメンテナンス性も向上する。
【００２７】
【発明の実施の形態】
本発明は、画像に適切な前処理を施し、欠陥の形態をフラクタル図形としてその形態の複雑さをボックス（ｂｏｘ　ｃｏｕｎｔｉｎｇ）次元をもちいた特徴量で表し、輝度分布の粗さについては情報のエントロピを用いた特徴量で表し、あらかじめ採取した多数のサンプルについての各特徴量の組から統計計算を行う。その後、ベイズの定理（Ｂａｙｅｓ’　ｔｈｅｏｒｅｍ）に基づいた最尤（ｍａｘｉｍｕｍ　ｌｉｋｅｌｉｈｏｏｄ）決定を行うことにより、煩雑なツリー型の論理の設計をなしに容易に欠陥の分類を行うことを特徴とするものである。
【００２８】
装置は、図１に示すように、概ね撮像系と画像メモリ及び処理系で構成される。例えば光源とカメラ等を用いた撮像系で、検査対象表面の画像を画像メモリに記憶する。
【００２９】
画像メモリに採取された画像データに対して、以下、図２に示すように、エッジ抽出又はフィルタリングを行い、必要に応じて光学系に起因する輝度ムラを除去するためにシェーディング補正を行う。次に適当な閾値で２値化することにより欠陥候補を抽出する。欠陥候補があると、元画像に対してラプラシアンフィルタ処理を施して、画像のエッジ成分を強調する。図３に、ラプラシアンフィルタの例として８近傍ラプラシアンフィルタを示す。
【００３０】
このように前処理された画像について、フラクタル図形と見た場合のボックス次元を求める。すなわち、図４に示すように、１辺ｄの格子を考えて、欠陥部の画像が覆われる格子の数をＮ（ｄ）個とする。このようにして、格子寸法ｄを変化させてＮ（ｄ）を測定する。得られたＮ（ｄ）について、図５に示すように、Ｘ軸にｌｏｇ　ｄ、Ｙ軸に−ｌｏｇＮ（ｄ）をプロットしたときの傾きをボックス次元ｄｉｍＢとする。
【００３１】
また、欠陥種類または欠陥程度の分類について、その形態の複雑さと輝度分布の粗さは独立に評価しなければいけない。そのため別に輝度のエントロピを定義する。まず画像上、欠陥候補の範囲内で、輝度ｎに占める割合をｐ（ｎ）とし、ｎの下限値ｎ＝ｎｍｉｎから上限値ｎ＝ｎｍａｘまでの総和がΣｐ（ｎ）＝１となるように輝度ヒストグラムを正規化する。
【００３２】
次に輝度ｎに占める割合をｐ（ｎ）とし、輝度分布の粗さの特徴量となる輝度のエントロピを、情報理論のエントロピからのアナロジーとして
Ｈ＝−Σｐ（ｎ）ｌｏｇ　ｐ（ｎ）　　　（１）
と定義する。総和Σは輝度ｎの下限値ｎ＝ｎｍｉｎから上限値ｎ＝ｎｍａｘまでとる。輝度のエントロピＨは、輝度分布と対応しており、輝度分布が狭いほど小さい値となる。
【００３３】
このようにして、計算された特徴量、即ち前述のボックス次元ｕ_１＝ｄｉｍＢ、残存画素数ｕ_２とエントロピｕ_３＝Ｈ等を、ｎ次元ベクトルｕ＝（ｕ_１，．．．，ｕ_ｎ）で表しパターンと呼ぶ。またここで分類すべき欠陥種類または欠陥程度をそれぞれカテゴリと呼ぶ。
【００３４】
次に欠陥種類または欠陥程度について、カテゴリとして分類するためにベイズの定理に基づいた最尤決定を行う。この方法については例えば「パターン情報処理」（オーム社）に詳しい。この方法により、パターンｕが与えられたとき、そのカテゴリをｊとする確率をＰ（ｊ｜ｕ）、カテゴリｊがパターンｕを生起する確率をＰ（ｕ｜ｊ）、カテゴリｊの生起確率をＰ（ｊ）、パターンｕの生起確率をＰ（ｕ）とすれば、ベイズの定理により、
Ｐ（ｊ｜ｕ）＝Ｐ（ｕ｜ｊ）Ｐ（ｊ）／Ｐ（ｕ）　　　（２）
となる。
【００３５】
ここでＰ（ｕ｜ｊ）、Ｐ（ｊ）はあらかじめ多数のサンプルを集めて求めておくことができ、またＰ（ｕ）はカテゴリによらない。ｊを変えてＰ（ｊ｜ｕ）が最大となるカテゴリｉを求めればよい。
【００３６】
あらかじめ多数のサンプルからカテゴリｊの生成確率Ｐ（ｊ）とカテゴリｊとなるパターンｖの要素ｖ_１，ｖ_２，．．．，ｖ_ｎのそれぞれの平均ｍ_１，ｍ_２，．．．，ｍ_ｎ、分散σ_１１ ^２，σ_２２ ^２，　．．．，σ_ｎｎ ^２及びｖ_ｋとｖ_ｌの共分散σ_ｋｌ ^２＝σ_ｌｋ ^２を計算しておき、これらを行列要素とする　行列（σ_ｋｌ ^２）　を共分散行列と呼ぶ。パターンｖの平均からなるベクトルをｍ＝（ｍ_１，．．．，ｍ_ｎ）^Ｔ（^Ｔは行ベクトルを示す）、共分散行列（σ_ｋｌ ^２）を（Σｊ）、その行列式ｄｅｔ（Σｊ）を｜Σｊ｜と表せば、ベイズの定理からパターンｕのｎ次元正規分布を仮定して計算することにより、尤度（ｌｉｋｅｌｉｆｏｏｄ）関数は、

となる。ここでｊを変えて、この尤度関数ｇ（ｊ｜ｕ）が最大となるカテゴリｉを探せば、ｊ＝ｉのときＰ（ｊ｜ｕ）も最大となり、カテゴリｉに欠陥種類または欠陥程度を分類することができる。
【００３７】
【実施例】
本発明を、鉄鋼分野の熱間圧延プロセス（以下熱延と呼ぶ）に適用した例（前記図１）について述べる。この熱延装置において、圧延ロール２は７スタンドになっており、入り側最初のスタンドをＮｏ．１、最終スタンドをＮｏ．７スタンドとする。入り側より１３００℃程度の温度のスラブ鋼材１が挿入され、次第に圧延されて、Ｎｏ．７スタンド出口で１ｍｍ程度にまで圧延される。ここでの鋼板移動速度は２０ｍ毎秒程度、鋼板の幅は１０００ｍｍである。
【００３８】
撮像のための光源３としては、例えばメタルハライド２５０Ｗランプの光をバンドルファイバーで線状に形成し、シリンドリカルレンズで集光して鋼板表面を照らす。受光はラインセンサカメラを用いる。カメラ４の画素数は１０２４であり、１０００ｍｍの板幅を見るので、横方向の画素分解能は１ｍｍである。
【００３９】
カメラコントローラ６は、ロールに設けられたロータリエンコーダ５より信号を受け取って、鋼板が１ｍｍ進むごとにカメラにトリガ信号を送る。カメラはトリガ信号が入った時のみ４０９６データまで逐次、１０２４ラインの画像信号を出力するので、鋼板の運転速度が変化しても、画像メモリ内では常に１画素が実際の鋼板での縦横１ｍｍの像に相当している。マイクロコンピュータ９は、ロータリエンコーダからの信号で鋼板の進んだ長さを測定しており、指定された時刻から指定された距離の画像を取り込むよう、画像処理装置８を制御する。
【００４０】
画像処理装置内での信号処理の流れを図２に沿って説明すると、先ず画像データを採取し、次に光学系に起因する輝度ムラを除去するためにシェーディング補正を行う。次に適当な閾値で２値化することにより欠陥候補を抽出する。
【００４１】
欠陥候補があると、図３に示すようなラプラシアンフィルタによってエッジ成分を強調して２値化した後、欠陥候補の範囲に渡ってボックス（ｂｏｘ　ｃｏｕｎｔｉｎｇ）次元ｄｉｍＢを求める。一方、２値化前の画像について欠陥候補の範囲にわたって適当な範囲で輝度を正規化し、ヒストグラムをとり、輝度のエントロピーＨを求める。
【００４２】
その後、前述のベイズの定理に基づき最尤（ｍａｘｉｍｕｍ　ｌｉｋｅｌｉｈｏｏｄ）決定を行う。今回は前述のボックス次元ｄｉｍＢ、残存画素数と輝度のエントロピＨが特徴量であり３次元でかまわないが、欠陥幅、縦横比、最大強度等の従来から使われてきた各種特徴量をも含めて認識してもよいので一般的にｎ次元で説明する。すなわちｕ_１＝ボックス次元ｄｉｍＢ、残存画素数ｕ_２とエントロピｕ_３＝Ｈ、ｕ_４＝欠陥幅、ｕ_５＝縦横比、ｕ_６＝最大強度・・・のようになる。
以下、尤度関数ｇ（ｊ｜ｕ）が最大となるカテゴリｉに欠陥種類または欠陥程度を分類する。
【００４３】
また本発明は欠陥種類または欠陥程度の分類に主眼をおいて書かれているが、同様の原理から生産工程における処理むら等の無害な信号を欠陥候補から除外するために用いてもよい。
【００４４】
【発明の効果】
以上のように本発明によれば検査対象の画像信号の中の欠陥信号について、本発明では欠陥画像をフラクタル図形と見なし、その形態の複雑さをボックス次元と残存画素数をもちいた特徴量で表し、また輝度分布の粗さをエントロピを用いた特徴量で表し、この各特徴量の組からベイズの定理に基づいた最尤（ｍａｘｉｍｕｍ　ｌｉｋｅｌｉｈｏｏｄ）決定により欠陥の分類を行うことにより正確に欠陥種類または欠陥程度の分類を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る欠陥検出装置の熱延装置への適用例を示す図。
【図２】信号処理および演算の流れを示す図。
【図３】８近傍ラプラシアンオペレータを示す図。
【図４】ボックス次元を求めるため画像の分割の例を示す図。
【図５】ボックス次元の求めかたを示す図。
【符号の説明】
１　鋼板
２　ロール
３　光源
４　カメラ
５　ロータリエンコーダ
６　カメラコントローラ
７　画像メモリ
８　画像処理装置
９　マイクロコンピュータ
１０　表示・出力装置

Claims

製品表面の欠陥を光学的に検出し欠陥の判定を行う欠陥検出装置において、画像信号のエッジ抽出又はフィルタリングを行うとともに規格化を行う画像前処理手段と、前処理された画像信号に対して所定の閾値により２値化を施す２値化手段と、得られた２値化画像についてフラクタル図形としてのフラクタル次元を算出するフラクタル次元演算手段と、得られたフラクタル次元を欠陥の形態の複雑さの特徴量として用いて欠陥の判定を行う欠陥判定手段と、を備えていることを特徴とする欠陥検出装置。
２値化画像について残存画素数を測定する残存画素数測定手段を備え、欠陥判定手段は欠陥の形態の複雑さの特徴量としてこの残存画素数も用いて欠陥の判定を行うことを特徴とする請求項１記載の欠陥検出装置。
画像前処理手段は、画像信号にシェーディング処理を行うシェーディング処理手段であることを特徴とする請求項１又は請求項２記載の欠陥検出装置。
画像前処理手段はラプラシアンフィルタを用いて走査を行うフィルタリング処理手段であることを特徴とする請求項１又は請求項２記載の欠陥検出装置。
２値化前の画像について輝度のエントロピを測定する輝度エントロピ測定手段を備えていることを特徴とする請求項１ないし請求項４記載の欠陥検出装置。
欠陥判定手段は得られた特徴量に最尤決定法を適用して欠陥の判定を行うことを特徴とする請求項１ないし請求項５記載の欠陥検出装置。