JP6314798B2 - 表面欠陥検出方法及び表面欠陥検出装置 - Google Patents

Description

本発明は、鋼材等の表面の色合いが均一な検査対象物の表面に形成された凹凸形状の表面欠陥を検出する表面欠陥検出方法及び表面欠陥検出装置に関する。

近年、鉄鋼製品の製造工程では、品質保証及び歩留まり向上の観点から熱間又は冷間での搬送中における鋼材の表面に形成された凹凸形状の表面欠陥を検出することが求められている。なお、本明細書中において、鋼材とは、継目無鋼管、溶接鋼管、熱延鋼板、冷延鋼板、及び厚板等の鋼板や形鋼をはじめとした鉄鋼製品及びこれらの鉄鋼製品が製造される過程で発生するスラブ等の半製品のことを意味する。

一般に、鋼材の形状は柱状であり、鋼材はその長手方向に平行移動させて製造ラインを搬送されことが多く、また鋼材表面の色合いも均一であることが多い。このような鋼材の表面に形成された凹凸形状の表面欠陥を検出する場合、鋼材表面の形状や深さ位置に関する情報は、凹凸形状の表面欠陥の有害度を判定する上で非常に重要な情報であり、凹凸形状の表面欠陥の検出に必要不可欠な情報である。

このため、特許文献１には、凹凸形状の表面欠陥を検出することを目的として検査対象物の３次元形状を計測する方法が提案されている。具体的には、特許文献１には、長手方向に移動する検査対象物にスリット光を照射し、撮像装置を利用してスリット光の照射位置を撮影し、撮影されたスリット光の照射位置の変動から検査対象物の表面の凹凸情報を取得して凹凸形状の表面欠陥の有無を判別する方法が記載されている。

特開２０１２−６８０２１号公報 特開昭６１−７５２１０号公報

しかしながら、特許文献１記載の方法によれば、検査対象物が高速で搬送されている場合、検査エリアに対して高いフレームレートで画像を撮影する必要があり、撮影画像データの伝送速度や処理速度の不足のために表面欠陥を精度よく検出できないことがある。なお、このような問題を解決するために、特許文献２に記載されているようなスペクトルパターンを投影することによって検査対象物表面の３次元形状を広範囲に検出する方法を用いることが考えられる。

ところが、スペクトルパターンを投影する場合には、スペクトルパターンが全検査領域において可能な限り単色であることが必要である。なお、ここで述べる単色とは、光線に含まれる波長が狭帯域となる現象を意味し、そのようなスペクトルパターンを生成する光学系を設計することは現実的には非常に困難であるために実現することは難しい。

本発明は、上記課題に鑑みてなされたものであって、その目的は、色合いが均一な検査対象物の表面に形成された凹凸形状の表面欠陥を精度よく検出可能な表面欠陥検出方法及び表面欠陥検出装置を提供することにある。

本発明に係る表面欠陥検出方法は、搬送される検査対象物の表面に所定方向に沿って色合いが変化する照射パターンを照射する照射ステップと、前記照射パターンが照射された検査対象物の表面の画像を複数撮影する撮影ステップと、前記撮影ステップにおいて撮影された各画像と基準画像とを比較することによって前記検査対象物の表面に形成された凹凸形状の表面欠陥を検出する検出ステップと、を含むことを特徴とする。

本発明に係る表面欠陥検出方法は、上記発明において、前記検出ステップは、前記撮影ステップにおいて撮影された各画像について、輝度を正規化することによって各画像の色合い情報を抽出し、各画像の色合い情報と基準画像の色合い情報とを比較することによって前記検査対象物の表面に形成された凹凸形状の表面欠陥を検出するステップを含むことを特徴とする。

本発明に係る表面欠陥検出方法は、上記発明において、前記検出ステップは、前記撮影ステップにおいて撮影された各画像について、色空間を変換することによって各画像の色合い情報を抽出し、各画像の色合い情報と基準画像の色合い情報とを比較することによって前記検査対象物の表面に形成された凹凸形状の表面欠陥を検出するステップを含むことを特徴とする。

本発明に係る表面欠陥検出方法は、上記発明において、前記検出ステップは、前記撮影ステップにおいて複数の画像を撮影する際に前記照射パターンを照射する光源、前記画像を撮影する撮像装置、及び前記検査対象物の位置関係が変化した場合、画像間で画像中における照射パターンの位置を合わせ込むステップを含むことを特徴とする。

本発明に係る表面欠陥検出装置は、搬送される検査対象物の表面に対して所定方向に沿って色合いが変化する照射パターンを照射する光源と、前記照射パターンが照射された検査対象物の表面の画像を複数撮影する撮像装置と、前記撮像装置によって撮影された各画像と基準画像とを比較することによって前記検査対象物の表面に形成された凹凸形状の表面欠陥を検出する画像処理装置と、を備えることを特徴とする。

本発明に係る表面欠陥検出方法及び表面欠陥検出装置によれば、色合いが均一な検査対象物の表面に形成された凹凸形状の表面欠陥を精度よく検出することができる。

図１は、本発明の一実施形態である表面欠陥検出装置の構成を示す模式図である。 図２は、正規化処理前後の２次元画像の一例を示す図である。 図３は、正規化処理後の全２次元画像の平均画像の一例を示す図である。 図４は、平均画像からのｘ方向の変化量を表す画像の一例を示す図である。 図５は、平均画像の表面（基準面）からの深さ方向の変化量の算出方法を説明するための図である。 図６は、実施例における表面欠陥検出装置の構成を示す模式図である。 図７は、実施例における凹凸形状の表面欠陥の３次元画像及び凹凸プロファイルを示す図である。 図８は、２次元画像及びその輝度プロファイルの一例を示す図である。 図９は、正規化処理後の図８に示す２次元画像及びその輝度プロファイルを示す図である。 図１０は、照射パターンの変化量の算出結果を示す図である。 図１１は、表面形状の復元結果の一例を示す図である。 図１２は、レーザ距離計を利用した表面形状の実測結果を示す図である。

以下、図面を参照して、本発明の一実施形態である表面欠陥検出装置について説明する。

〔表面欠陥検出装置の構成〕
始めに、図１を参照して、本発明の一実施形態である表面欠陥検出装置の構成について説明する。図１は、本発明の一実施形態である表面欠陥検出装置の構成を示す模式図である。

図１に示すように、本発明の一実施形態である表面欠陥検出装置１は、矢印Ｄ方向（＝鋼材Ｓの長手方向）に搬送される色合いが均一な柱状の鋼材Ｓの表面に形成された凹凸形状の表面欠陥を検出する装置であり、光源２、カラーカメラ３、及び画像処理装置４を主な構成要素として備えている。なお、表面の色合いが均一な鋼材とは、表面全体においては反射強度にバラつきがあっても、波長毎の分光反射率比がほぼ同じになる表面を有する鋼材のことを意味する。

光源２は、スリットレーザ光源２ａ、レンズ２ｂ、及びプリズム２ｃを備えている。スリットレーザ光源２ａは、平行スリットレーザ光を射出する。レンズ２ｂは、スリットレーザ光源２ａから射出された平行スリットレーザ光をプリズム２ｃ方向に集光する。プリズム２ｃは、レンズ２ｂからの平行スリットレーザ光を所定の照射パターン５にして鋼材Ｓの表面に照射する。

なお、本実施形態では、所定の照射パターンとは、所定方向に沿って色合いが連続的又は段階的に変化する光のパターン、換言すれば、複数の波長選択フィルタを用いて光を受光した時に各波長選択フィルタの受光量比が所定方向に沿って連続的又は段階的に変化する光のパターンのことを意味する。

本実施形態では、プリズムを利用して所定の照射パターン５を生成したが、回折格子等の分光素子を利用して所定の照射パターン５を生成してもよい。また、所定の照射パターン５の色合いが変化する所定方向はどの方向であっても問題ないが、後述する復元処理を容易にするために鋼材Ｓの長手方向（搬送方向）に対して平行な向きであることが望ましい。

カラーカメラ３は、所定の照射パターン５が照射された鋼材Ｓの表面の画像を所定の制御周期毎に撮影し、撮影された画像のデータを画像処理装置４に出力する。なお、通常の光切断法と同様、画像の撮影範囲及び分解能は、鋼材表面の法線ベクトルに対する光源２やカラーカメラ３の位置関係及びカラーカメラ３の撮像素子面の大きさや解像度に応じて決まる。本実施形態では、鋼材表面の撮影位置に対する光源２及びカラーカメラ３の位置関係が同じになるようにして鋼材Ｓの表面の画像を撮影する。

画像処理装置４は、パーソナルコンピュータ等の情報処理装置によって構成され、情報処理装置内部の演算処理装置がコンピュータプログラムを実行することによって後述する表面欠陥検出処理を実行する。

〔表面欠陥検出処理〕
次に、図２〜図５を参照して、画像処理装置４による表面欠陥検出処理の流れについて説明する。

いまカラーカメラ３を利用して搬送中の鋼材Ｓ表面を鋼材Ｓの長手方向全領域にわたって撮像した２次元画像をＩｍ（Ｉｒ，Ｉｇ，Ｉｂ）と定義する。ここで、ｍは画像番号を示し（１≦ｍ≦Ｍ、Ｍは全画像枚数）、Ｉｒは２次元画像の赤色チャンネル（Ｒ）の輝度を示し、Ｉｇは２次元画像の緑色チャンネル（Ｇ）の輝度を示し、Ｉｂは２次元画像の青色チャンネル（Ｂ）の輝度を示している。

また、２次元画像の大きさを（Ｘ，Ｙ）として、２次元画像中の位置(ｘ，ｙ)（１≦ｘ≦Ｘ、１≦ｙ≦Ｙ）における赤色チャンネル、緑色チャンネル、及び青色チャンネルの輝度をＩｒ(ｘ，ｙ)、Ｉｇ(ｘ，ｙ)、Ｉｂ(ｘ，ｙ)と定義する。また、ｘ方向は鋼材Ｓの搬送方向に平行な方向と定義し、ｘ方向は撮像面内においてｘ方向に直交する方向と定義する。

なお、鋼材Ｓの長手方向端部が撮影されている２次元画像を除き、２次元画像の各色チャンネルの輝度はサチレーションしていないものとする。また、各色チャンネルの輝度比が連続的、且つ、なだらかに変化するように、照射パターン５及びカラーカメラ３の受光波長を調整することが望ましい。例えば連続的に光量が変化するＮＤ（減光）フィルタと赤色光源及び青色光源とを用いて、なだらかに赤色から青色まで変化する照射パターン５とそれに対応するカラーカメラ３の受光波長を用いても良い。また、本実施形態では赤色、緑色、及び青色の３チャンネルを用いたが、別途波長選択フィルタを用いて２以上のチャンネル数の装置構成であってもよい。

本実施形態の表面欠陥検出処理では、始めに、画像処理装置４が、撮影したＭ枚の２次元画像についてそれぞれ反射強度のばらつきの影響を除去し、色合い情報のみを取り出すために２次元画像内の各色チャンネルの輝度に対して以下の数式（１）〜（３）で示す正規化処理を実行する。図２（ａ），（ｂ）はそれぞれ、正規化処理前及び正規化処理後の２次元画像の一例を示す図である。また、図２（ｂ）の下部には、図２（ｂ）に示す線分部分における赤色、緑色、及び青色チャンネルの輝度プロファイルを示す。

なお、本実施形態では、反射強度のばらつきの影響を除去し、色合い情報のみを取り出すために正規化処理を行ったが、ＨＳＬ（Hue, Saturation, Lightness）やＨＬＳ（Hue, Lightness, Saturation）等の別色空間に変換する手法を用いて色合い情報を得る方法や、ＲＧＢの輝度情報から統計的な手法を用いて鋼材表面性状に影響される成分を除外してもよい。

次に、画像処理装置４は、以下に示す数式（４）を用いて正規化処理後の全２次元画像の平均画像を生成する。なお、数式（４）に示すＩ’ｍ（Ｉｒ’，Ｉｇ’，Ｉｂ’）は、２次元画像Ｉｍ（Ｉｒ，Ｉｇ，Ｉｂ）に対して正規化処理を行った画像を表している。図３は、正規化処理後の全２次元画像の平均画像の一例を示す図である。また、図３の下部には、線分部分における赤色、緑色、及び青色チャンネルの輝度プロファイルを示す。

数式（４）に示す正規化処理後の全２次元画像の平均画像における表面形状は、実際には鋼材Ｓ表面に局所的に凹凸形状の表面欠陥があり、表面形状が変形していたとしても、平均化処理によって均一、且つ、滑らかになっている。そこで、次に、画像処理装置４は、数式（４）に示す平均画像とＭ枚の正規化処理後の２次元画像Ｉ’ｍ（Ｉｒ’，Ｉｇ’，Ｉｂ’）とをそれぞれ比較することによって、表面形状の変化に起因して照射パターン５の色合いの変化方向であるｘ方向に沿って照射パターン５がどれだけ変化しているかを計算する。

具体的には、画像処理装置４は、以下に示す数式（５）を用いて、平均画像からのｘ方向の変化量を表す画像Ｉｄ（ｘ，ｙ，ｍ）をＭ枚の正規化処理後の２次元画像Ｉ’ｍ（ｘ，ｙ）毎に算出する。なお、数式（５）に示すｘ_１は、凹凸形状の表面欠陥が形成されていない場合に２次元画像Ｉ’ｍ（ｘ，ｙ）内の位置ｘで受光される光が受光された２次元画像Ｉ’ｍ（ｘ，ｙ）中のｘ座標を示している。図４は、平均画像からのｘ方向の変化量を表す画像の一例を示す図である。また、図４の下部には、線分部分における赤色、緑色、及び青色チャンネルの輝度プロファイルを示す。

次に、画像処理装置４は、三角測量の原理に基づき数式（５）に示す画像Ｉｄ（ｘ，ｙ，ｍ）を利用して、表面形状の変化に起因する平均画像の表面（基準面）からの深さ方向の変化量をＭ枚の正規化処理後の２次元画像Ｉ’ｍ（ｘ，ｙ）毎に算出する。ここで、図５を参照して、一般的な三角測量の原理について説明する。なお、三角測量の詳細については、例えば参考文献（吉澤徹編「光三次元計測」、新技術コミュニケーションズ）を参照のこと。

図５に示すように、スリットレーザ光源２ａの設置角度及びカラーカメラ３の受光角度をそれぞれθ，φ、スリットレーザ光源２ａとカラーカメラ３との間の距離をＬと表すと、鋼材Ｓの基準面の位置とスリットレーザ光源２ａ及びカラーカメラ３との間の距離Ｚは以下に示す数式（６）で表される。

また、カラーカメラ３の画素分解能及び画素ズレから、カラーカメラ３のレンズ３ａと画像素子面３ｂとの間の距離ｌと画像素子面３ｂにおける凹凸形状の表面欠陥に起因するレーザ反射光の受光位置ズレ量Δｘとの比Δｘ／ｌを計算することができる。

従って、以下に示す数式（７）にこの比Δｘ／ｌの値を代入することによって、表面形状の変化に起因するレーザ反射光の受光角度の変化量Δφが算出され、検査位置Ｏにおける基準面Ｐからの深さ方向の移動距離、すなわち鋼材Ｓの凹凸形状を算出することができる。

なお、本実施形態によれば、搬送時に鋼材にばたつきがあり、鋼材の位置や向きが搬送中に変化したとしても画像処理によって後から鋼材の位置や向きを合わせこむことができる。すなわち、正規化処理後の２次元画像Ｉ’_ｍにおける照射パターンの位置及び形状を最初に撮影された２次元画像Ｉ’_１における照射パターンの位置及び形状に合わせこむためには、必要に応じて回転・平行移動・拡大縮小の線形変換のパラメータαをそれぞれ２次元画像Ｉ’_ｍ毎に最適化すればよい。パラメータαは必要に応じて回転・平行移動・拡大縮小等の変換とする。

具体的には、合わせ込み後の２次元画像をＩ” _ｍとすると、以下に示す数式（８）を用いてｍ枚目の２次元画像Ｉ’_ｍのパラメータα_ｍを算出し、数式（９）を用いてｍ枚目の２次元画像Ｉ’_ｍの合わせ込みを実施する。本実施形態では、線形変換を用いて照射パターンの位置合わせを行ったが、ＲＡＮＳＡＣ（Random Sample Consensus）アルゴリズム等の非線形な変形手法を用いて照射パターンの位置合わせを行ってもよい。また、最初に撮影された２次元画像における照射パターンの形状に合わせこむとしたが、合わせ込む２次元画像は何番目の２次元画像でもよく、最も平均画像に近い２次元画像であってもよい。

以上の説明から明らかなように、本発明の一実施形態である表面欠陥検出装置１は、搬送される鋼材Ｓの表面に対して鋼材Ｓの搬送方向に沿って色合いが変化する照射パターン５を照射する光源２と、照射パターン５が照射された鋼材Ｓの表面の画像を複数撮影するカラーカメラ３と、カラーカメラ３によって撮影された各画像と基準画像とを比較することによって鋼材Ｓの表面に形成された凹凸形状の表面欠陥を検出する画像処理装置４と、を備えるので、色合いが均一な検査対象物の表面に形成された凹凸形状の表面欠陥を精度よく検出することができる。

本実施例では、図６に示すようなプリズム２ｃ及びカラーカメラ３の配置位置で図７に示す凹凸形状の表面欠陥を有する鋳片サンプルの表面を検査した。図７（ａ）に示す表面欠陥画像は、レーザ距離計を走査することによって得られた凹凸形状の表面欠陥の３次元画像を示し、図７（ｂ）は図７（ａ）の線分Ｌにおける表面の凹凸プロファイルを示す。

表面欠陥検出処理では、平行移動させた鋳片サンプルに対して光源２から照射パターン５を照射し、カラーカメラ３により４５枚の２次元画像を連続的に撮影し、その平均画像からのｘ方向の変化量を表す画像Ｉｄ（ｘ，ｙ，ｍ）を用いて鋳片サンプル表面の形状復元を行った。また、ＲＧＢの各色チャンネルの輝度がサチレーションせずに同程度となるようホワイトバランスを調整し、解像度：２０４６×１５３６、レンズの焦点距離：１２．５ｍｍ、分解能０．２ｍｍ／ピクセルとした。

具体的には、始めに、２次元画像に対して正規化処理を行い、正規化処理後の２次元画像の平均画像を算出する。正規化処理前後の２次元画像及びその輝度プロファイルをそれぞれ図８，９に示す。図８，９に示すように、正規化処理によって表面の反射強度のばらつきの影響が抑えられ、表面の色合いが滑らかに変動している様子が見て取れる。次に、正規化処理後の２次元画像の平均画像を用いて各２次元画像中における照射パターンの変化量を算出する。なお、鋳片の表面に何らかの凹凸形状が形成されている場合には照射パターンの変化量を算出しなくても、輝度の絶対値の差分を取るだけである程度凹凸形状に由来する輝度信号を検出できる。また、必要に応じてローパスフィルターにより２次元画像から高周波ノイズを除去してもよい。

図１０は、照射パターンの変化量の算出結果を示す図である。図１０に示すように、単純に平均画像と２次元画像との絶対値差分を取るだけで凹凸形状に由来する輝度信号が検出できている様子が見て取れる。簡易化のため、照射パターンの照射角をθとし、カラーカメラ３を鋼片サンプルの移動方向に対して垂直に撮像し、１画素の分解能がdであることから、ｎ画素パターンが移動した場合の奥行きΔＺは以下に示す数式（１０）で表される。

上記数式（１０）を用いて、照射パターンの照射角を３０度、１画素の分解能を０．２ｍｍ／ピクセルとして表面形状を復元した結果を図１１に示す。本実施例では、高周波ノイズが乗っていたため、ローパスフィルターをかけた。また、レーザ距離計を利用した表面形状の実測結果を図１２に示す。図１１と図１２との比較から明らかなように、本実施例によれば、鋳片サンプル表面のおおよその深さ及び形状が復元できている様子が見て取れる。なお、本実施例ではカラーカメラを用いたが２種類以上の波長フィルタであれば問題ない。また、反射率補正のために正規化処理を行ったが、色相情報や色空間を用いてもよい。

また、本実施例では鋼片の欠陥サンプルに対して表面欠陥検出処理を実施したが、柱状で平行搬送される鋼片の製造ラインであれば適用可能である。さらに熱間における赤熱した検査対象物に対しても熱ガラスやホットミラー等で自発光成分を除去すれば適用可能である。また、検査対象物にばたつきや振動があるような搬送ラインに対しても画像毎に照射パターンの位置補正を行うことによって容易に適用可能である。

以上、本発明者らによってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはなく、上述した各構成要素を適宜組み合わせて構成したものも本発明に含まれる。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例及び運用技術等は全て本発明の範疇に含まれる。

１ 表面欠陥検出装置
２ 光源
２ａ スリットレーザ光源
２ｂ レンズ
２ｃ プリズム
３ カラーカメラ
４ 画像処理装置
５ 照射パターン
Ｓ 鋼材

Claims (5)

1. 搬送される検査対象物の表面上に、該検査対象物の所定方向に沿って色合いが変化する照射パターンが形成されるように各色の光を照射する照射ステップと、
   前記照射パターンが照射された検査対象物の表面の画像を複数撮影する撮影ステップと、
   前記撮影ステップにおいて撮影された各画像と基準画像とを比較することによって、各色の光線の照射位置から表面形状を復元することにより、前記検査対象物の表面に形成された凹凸形状の表面欠陥を検出する検出ステップと、
   を含むことを特徴とする表面欠陥検出方法。
2. 前記検出ステップは、前記撮影ステップにおいて撮影された各画像について、輝度を正規化することによって各画像の色合い情報を抽出し、各画像の色合い情報と基準画像の色合い情報とを比較することによって前記検査対象物の表面に形成された凹凸形状の表面欠陥を検出するステップを含むことを特徴とする請求項１に記載の表面欠陥検出方法。
3. 前記検出ステップは、前記撮影ステップにおいて撮影された各画像について、色空間を変換することによって各画像の色合い情報を抽出し、各画像の色合い情報と基準画像の色合い情報とを比較することによって前記検査対象物の表面に形成された凹凸形状の表面欠陥を検出するステップを含むことを特徴とする請求項１に記載の表面欠陥検出方法。
4. 前記検出ステップは、前記撮影ステップにおいて複数の画像を撮影する際に前記照射パターンを照射する光源、前記画像を撮影する撮像装置、及び前記検査対象物の位置関係が変化した場合、画像間で画像中における照射パターンの位置を合わせ込むステップを含むことを特徴とする請求項１〜３のうち、いずれか１項に記載の表面欠陥検出方法。
5. 搬送される検査対象物の表面上に、該検査対象物の所定方向に沿って色合いが変化する照射パターンが形成されるように各色の光を照射する光源と、
   前記照射パターンが照射された検査対象物の表面の画像を複数撮影する撮像装置と、
   前記撮像装置によって撮影された各画像と基準画像とを比較することによって、各色の光線の照射位置から表面形状を復元することにより、前記検査対象物の表面に形成された凹凸形状の表面欠陥を検出する画像処理装置と、
   を備えることを特徴とする表面欠陥検出装置。