JP2007285754A - 欠陥検出方法および欠陥検出装置 - Google Patents

Abstract

【課題】シミなどの表示欠陥を精度良く検出できる欠陥検出方法を提供すること。
【課題手段】欠陥検出方法は、撮像画像に対して２次差分フィルタを適用して欠陥部分を強調処理する欠陥強調処理工程Ｓ４と、撮像画像に対して輝度勾配を検出する輝度勾配検出処理工程Ｓ５と、誤検出判断処理工程Ｓ６とを備える。誤検出判断処理工程Ｓ６は、欠陥強調処理工程Ｓ４で得られた欠陥強調画像を所定の閾値と比較して欠陥領域候補を抽出する欠陥領域候補抽出工程と、抽出された欠陥領域候補内における最大輝度を取得する最大輝度取得工程と、輝度勾配検出処理工程Ｓ５で得られた輝度勾配画像において、欠陥領域候補と同じ領域内における最大輝度勾配を取得する最大輝度勾配取得工程と、最大輝度および最大輝度勾配に基づいて欠陥領域候補が欠陥領域であるか否かを判断する欠陥領域判断工程とを備える。
【選択図】図５

Description

本発明は、液晶パネル等の表示デバイスやその応用製品であるプロジェクタ等の製造における検査工程等の各種製品の検査工程において、シミやムラなどの欠陥を精度よく検出する欠陥検出方法及び装置に関する。

ＴＦＴパネル等のＬＣＤパネル検査においてシミ、ムラ、スジなどの欠陥を画像処理で検出する場合、ＣＣＤカメラ等で対象の画像を取得し、その画像の中から欠陥を検出している。
ＣＣＤカメラで取得した画像には様々なノイズや、照明・レンズに起因するシェーディングが含まれるため、平滑化処理を行ってノイズを除去し、フィルタ処理を行って画像の中の欠陥成分を強調するとともに、シェーディングの影響を除去している。そして、その処理欠陥画像の中からある閾値以上の領域を欠陥として抽出していた。

ところで、前記フィルタ処理において欠陥を強調するフィルタとしては、通常２次差分フィルタ（２次微分フィルタ）を用いていた（例えば特許文献１参照）。

特開２００４−５３４７７号公報

このような２次差分フィルタは欠陥成分を強調し、シェーディングを除去するが、欠陥周囲の欠陥ではない領域に、欠陥成分とは反対成分のデータが生じてしまう（白シミ欠陥なら、黒シミ欠陥の成分）。この部分は信号レベルが低いため、コントラストの高い欠陥を検出対象とするならば、欠陥を抽出する閾値に十分大きな値を設定することで、この部分を結果から除去することが可能である。

しかしながら、コントラストの高い欠陥と、低い欠陥が存在し、両方共に検出しなければならない場合には、閾値での対応は困難であり、前記２次差分フィルタによって欠陥領域の周囲に発生した反対成分の領域を欠陥とする誤検出が発生する。
また、２次差分フィルタは、フィルタのサイズに対して強調できる欠陥のサイズが決まっているため、それ以外のサイズの欠陥は、意図した通りの結果を得ることが出来ない。例えば、大きな欠陥では部分的にしか強調されず，小さな欠陥では検出レベルが実際の欠陥レベルより低くなり、精度の高い検出を目的とする場合、誤検出要因となる。

本発明は、上述のような課題に鑑みてなされたものであり、シミやムラ、スジなどの表示欠陥を精度良く検出できる欠陥検出方法及び装置を提供することを目的とする。

本発明の欠陥検出方法は、撮像画像に対して２次差分フィルタを適用して欠陥部分を強調処理する欠陥強調処理工程と、撮像画像に対して輝度勾配を検出する輝度勾配検出処理工程と、誤検出判断処理工程とを備え、前記誤検出判断処理工程は、前記欠陥強調処理工程で得られた欠陥強調画像を所定の閾値と比較し、前記閾値を超える欠陥領域候補を抽出する欠陥領域候補抽出工程と、前記欠陥領域候補抽出工程で抽出された欠陥領域候補内における最大輝度を取得する最大輝度取得工程と、前記輝度勾配検出処理工程で得られた輝度勾配画像において、前記欠陥領域候補と同じ領域内における最大輝度勾配を取得する最大輝度勾配取得工程と、前記最大輝度および最大輝度勾配に基づいて前記欠陥領域候補が欠陥領域であるか否かを判断する欠陥領域判断工程と、を備えることを特徴とする。

本発明では、シミ・ムラなどの欠陥を検出する際に、従来のような２次差分フィルタを用いた欠陥強調処理工程で得られた欠陥強調画像を所定の閾値と比較して欠陥領域候補を抽出するだけでなく、その欠陥領域候補内の最大輝度および最大輝度勾配を別途取得し、それらの値で実際の欠陥領域であるか、誤検出であるかを判断している。
このため、２次差分フィルタによる欠陥強調結果を閾値と比較して欠陥領域を検出する場合に比べてより正しい欠陥領域を検出することができる。すなわち、２次差分フィルタを適用して欠陥を強調すると、欠陥領域のエッジ部分外側に欠陥成分とは反対成分の信号が発生する。この反対成分の信号強度は必ずしも大きなものではないが、微少な輝度値の欠陥を検出するために小さな閾値を用いた場合には、上記エッジ部分の信号を検出して欠陥領域と誤検出するおそれがある。
これに対し、本発明によれば、最大輝度と最大輝度勾配を参照しているため、前記誤検出部分を容易に判断できる。すなわち、２次差分フィルタによって強調された画像（輝度値）における最大輝度は、その欠陥領域候補内における最も大きな輝度値である。一方、最大輝度勾配は、隣接する画素間の輝度差の最大値であるから、通常、最大輝度以下である。したがって、例えば、最大輝度勾配が最大輝度の１．５倍以上などと大幅に大きい場合には、その部分は実際の欠陥領域ではなく異常値つまり２次差分フィルタ適用によって発生した反対成分の信号領域であることが判断できる。
また、例えば、最大輝度勾配が最大輝度の０．１倍未満などと異常に小さい場合も、実際には存在しない状態であるため、誤検出部分であることが判断できる。
したがって、欠陥領域候補として抽出された部分の最大輝度および最大輝度勾配を参酌することで、その欠陥領域候補が実際の欠陥領域であるか誤検出成分であるかを容易にかつ精度良く判断できる。

本発明において、前記欠陥強調処理工程は、撮像画像を複数段階に縮小して各縮小画像を作成する画像縮小処理工程と、各縮小画像に対して２次差分フィルタを適用して複数段階に縮小された欠陥強調画像を作成する欠陥強調画像作成工程とを備え、前記輝度勾配検出工程は、撮像画像に対してメディアンフィルタを適用してノイズ成分を除去するノイズ除去処理工程と、ノイズ成分が除去された画像に対して輝度勾配検出フィルタを適用して輝度勾配画像を作成する輝度勾配画像作成工程とを備え、前記誤検出判断処理工程は、前記輝度勾配画像を欠陥領域候補が抽出された前記各欠陥強調画像と同じサイズに縮小した画像を少なくとも作成する輝度勾配画像縮小処理工程を備え、欠陥領域候補抽出工程、最大輝度取得工程、最大輝度勾配取得工程、欠陥領域判断工程は、同じサイズの欠陥強調画像および輝度勾配画像を用いて行うことが好ましい。

このような構成によれば、撮像画像を複数段階に縮小しているので、２次差分フィルタのサイズを変更することなく、複数サイズの欠陥を検出することができる。
また、ノイズ除去処理工程では、例えば７×７のメディアンフィルタを２回適用するものなどが利用できる。このようなメディアンフィルタを用いることで、シミ等の欠陥以外のノイズを除去することができ、欠陥をより高精度に検出することができる。

本発明において、前記輝度勾配画像作成工程は、撮像画素において選択された対象画素と、この対象画素の周囲に所定距離だけ離れて配置された各比較画素との輝度勾配をそれぞれ求め、算出された輝度勾配のうち、絶対値が最大のものを対象画素の輝度勾配とする輝度勾配算出工程を備えることが好ましい。

なお、前記所定距離は、通常１〜３画素程度に設定すればよい。距離を１画素に設定するとは、比較画素を対象画素に隣接配置するものであり、最大８方向の輝度勾配を検出でき、かつ輝度が急激に変化するエッジ部の輝度勾配を精度良く検出できる。
また、距離を２画素に配置するとは、比較画素を対象画素に隣接配置された画素の外側に隣接して配置するものであり、最大１２方向や１６方向の輝度勾配を検出でき、かつ、輝度がある程度なだらかに変化するエッジ部の輝度勾配を精度良く検出できる。
このような構成であれば、輝度勾配を容易に算出することができ、輝度勾配検出処理も短時間で実行できる。

本発明において、前記欠陥領域判断工程は、最大輝度取得工程で取得された最大輝度をImax、最大輝度勾配取得工程で取得された最大輝度勾配をDmax、所定の係数をα、β（α＜β）とした場合に、以下の式（１）の条件を満たすか否かを判断し、式（１）の条件を満たす場合にその欠陥領域候補を欠陥領域と判断し、式（１）の条件を満たさない場合にその欠陥領域候補を誤検出成分であると判断することが好ましい。

このような構成によれば、最大輝度Imaxと、最大輝度勾配Dmaxとを前記条件式（１）に代入して比較するだけで誤検出成分であるか否かを判断できるため、コンピュータ装置によって自動的に判断できる。このため、検査員が目視で検査する場合に比べて、欠陥検出処理を効率よく行うことができる。

本発明の欠陥検出装置は、撮像画像に対して２次差分フィルタを適用して欠陥部分を強調処理する欠陥強調処理手段と、撮像画像に対して輝度勾配を検出する輝度勾配検出処理手段と、誤検出判断処理手段とを備え、前記誤検出判断処理手段は、前記欠陥強調処理手段で得られた欠陥強調画像を所定の閾値と比較し、前記閾値を超える欠陥領域候補を抽出する欠陥領域候補抽出手段と、前記欠陥領域候補抽出手段で抽出された欠陥領域候補内における最大輝度を取得する最大輝度取得手段と、前記輝度勾配検出手段で得られた輝度勾配画像において、前記欠陥領域候補と同じ領域内における最大輝度勾配を取得する最大輝度勾配取得手段と、前記最大輝度および最大輝度勾配に基づいて前記欠陥領域候補が欠陥領域であるか否かを判断する欠陥領域判断手段と、を備えることを特徴とする。

このような本発明では、最大輝度と最大勾配を参照しているため、誤検出部分を容易に判断できるなど、前記欠陥検出方法と同じ作用効果を奏することができる。

図１は本発明の実施の形態に係る欠陥を検出する欠陥検出装置の構成を示すブロック図である。なお、本実施形態では、シミ欠陥を検出する場合を例に説明する。
図１において、１は検査対象である液晶パネル（液晶ライトバルブ）、２は画像投影装置であるプロジェクタであり、液晶パネル１を外部からセットできるようになっている。３は液晶パネル１に各種パターンを出力するパターン生成装置であるパターンジェネレータ、４はスクリーン、５はスクリーン４に投影された画像を撮影する撮像手段であるＣＣＤカメラであり、液晶パネル１の解像度以上の解像度を有するＣＣＤを搭載している。６はパターンジェネレータ３及びＣＣＤカメラ５を制御し、液晶パネル１のシミ欠陥を検出する画像処理手段であるコンピュータ装置、７はコンピュータ装置６に接続された表示装置である。

コンピュータ装置６は、画像入力手段６０と、背景画像差分処理手段６１と、表示エリア抽出手段６２と、欠陥強調処理手段６３と、輝度勾配検出処理手段６４と、誤検出判断処理手段６５とを備えている。

また、図２に示すように、欠陥強調処理手段６３は、画像縮小手段６３１と、欠陥強調画像作成手段６３２と、ノイズ除去手段６３３とを備えている。
さらに、図３に示すように、輝度勾配検出処理手段６４は、ノイズ除去手段６４１と、輝度勾配画像作成手段６４２とを備えている。
また、図４に示すように、誤検出判断処理手段６５は、欠陥領域候補抽出手段６５１と、輝度勾配画像縮小手段６５２と、最大輝度取得手段６５３と、最大輝度勾配取得手段６５４と、欠陥領域判断手段６５５とを備えている。

次に、このように構成された欠陥検出装置の動作を説明する。欠陥検出の大まかな手順は以下の通りである。
すなわち、プロジェクタ２に検査対象の液晶パネル１をセットし、コンピュータ装置６によりパターンジェネレータ３を制御して液晶パネル１上に特定の明るさのパターンを表示させ、それをプロジェクタ２によりスクリーン４に投影する。そして、スクリーン４上に投影された画像をＣＣＤカメラ５で撮影し、その撮影データの画像をコンピュータ装置６に出力し、コンピュータ装置６により欠陥検出処理を行い、液晶パネル１のシミ欠陥の検出結果を表示装置７に表示する。

ここで、コンピュータ装置６による欠陥検出の詳細な動作について図５のフローチャートをも参照して説明する。
最初に、コンピュータ装置６の画像入力手段６０によって画像入力工程（撮像工程）が実施される（ステップＳ１）。
画像入力工程Ｓ１では、まず、スクリーン４上に投影された画像をＣＣＤカメラ５で撮影し、その撮影データの画像がコンピュータ装置６の画像入力手段６０に取り込まれる。このとき撮影データは、図示しないＡ／Ｄ変換器により、例えば４０９６階調（１２ビット）のデジタルデータとして、コンピュータ装置６に取り込まれる。なお、撮像データは、４０９６階調のものに限らず、１０２４階調（１０ビット）のデータでもよいし、２５６階調（８ビット）のデータでもよい。階調が大きいほど高精度の処理が可能になるが、その分、高階調のデータ取得が可能な高価なＣＣＤカメラ５が必要となるため、撮像データの階調は欠陥検査対象等に応じて必要な階調に設定すればよい。画像入力手段６０は、取込画像を図示しない記憶手段に記憶する。

次に、背景画像差分処理手段６１は、入力画像と予め作成された背景画像との差を取って、取り込まれた画像データの中から、照明やレンズなど液晶パネル以外のものによって生じる欠陥状の輝度変化を除去するための背景画像差分処理工程を行う（ステップＳ２）。
この背景画像差分処理工程Ｓ２では、背景画像差分処理手段６１は、図６（Ａ）に示す入力画像（投影画像）から図６（Ｂ）に示す背景画像を減算して、図６（Ｃ）に示す背景差分画像を作成する。背景画像は、液晶パネル１を除いた光学系の輝度変化の画像である。投影ランプや投射レンズによる欠陥上の輝度変化は、入力画像および背景画像の両方に生じるため、入力画像から背景画像を減算すれば、背景差分画像においては、投影ランプや投射レンズなど液晶パネル以外のものによって生じる欠陥上の輝度変化成分は除去される。

続いて、表示エリア抽出手段６２は、背景差分画像から被検査部の画面部分だけを抽出する表示エリア抽出処理工程を行う（ステップＳ３）。ＣＣＤカメラ５で検査対象であるＴＦＴパネルを撮像した際に、ＴＦＴパネル全体を撮像するにはパネル周囲も多少写さなければならない。このため撮像画像におけるパネル投影画像の周囲には、パネルとは関係のないデータが存在し、また投影画像も長方形ではなく歪んでいる。このため、表示エリア抽出手段６２は、ＴＦＴパネル投影画像の部分のみを切り出す処理を行い、検査対象画像を作成する。
すなわち、表示エリア抽出処理工程Ｓ３では、表示エリア抽出手段６２は、図７（Ａ）に示す被検査部画像（背景差分画像）の四隅の座標をパターンマッチング処理（画像データの四隅付近の数十画素×数十画素の４つの小領域に対して、それぞれ予め用意した４つの隅基準画像とパターンマッチング処理を行い、四隅の座標を特定する）により検出し、この四隅の座標の位置関係が長方形になるようにアフィン変換することで表示エリアを抽出する。これによって、図７（Ｂ）に示すように、スクリーン４上の周囲の縁部が除去され、且つ正確な長方形とされた画面部分だけが抽出される。
以上により、欠陥検出処理前の準備工程が完了する。

次に、コンピュータ装置６は、欠陥強調処理手段６３を作動し、欠陥強調処理工程Ｓ４、輝度勾配検出処理工程Ｓ５、誤検出判断処理工程Ｓ６を順次実行する。
欠陥強調処理工程Ｓ４が実行されると、図８に示すように、まず、画像縮小手段６３１により、表示エリア抽出手段６２で抽出された画像から縮小画像を作成する画像縮小処理工程が行われる（ステップＳ４１）。
画像縮小処理工程Ｓ４１では、画像縮小手段６３１は、検査対象画像から所定サイズ、例えば１／４サイズに縮小した画像を作成する。具体的には、図９に示すように、１／４サイズの縮小画像を作成する場合には、検査対象画像の４画素の平均値を１画素とすることで１／２サイズの縮小画像を作成し、この１／２の縮小画像の４画素の平均値を１画素とすることで１／４サイズの縮小画像を作成する。そして、この縮小画像を元にして同様の処理を行っていくことで、１／８縮小画像、１／１６縮小画像等を作成する処理を行う。

従って、平坦化処理された原画像が１３００×１０００の１３０万画素とすると、１／２の縮小画像は６５０×５００の３２．５万画素、１／４の縮小画像は３２５×２５０の８万１２５０画素を有することになる。
このように、所定サイズの縮小画像を作成するのは、後述する欠陥強調画像作成手段６３２で使用するトップハットフィルタなどの欠陥強調フィルタは、所定の大きさのシミ欠陥を強調するように設計されており、画像サイズを縮小することで、縮小前の画像サイズのままでは強調できない比較的大きなシミを、画像サイズを縮小することで強調できるようにするためのものである。したがって、縮小画像のサイズは、検出したい欠陥サイズに応じて設定すればよい。なお、小さなシミ欠陥を検出する場合には、画像縮小手段６３１による縮小画像作成工程を実施しなくてもよい。

次に、欠陥強調処理手段６３の欠陥強調画像作成手段６３２は、図８に示すように、作成された縮小画像に対してシミ欠陥を強調した画像を作成する欠陥強調画像作成工程を行う（ステップＳ４２）。欠陥強調画像作成手段６３２は、検出したい欠陥に応じた欠陥強調フィルタ（２次差分フィルタ）を用いて欠陥を強調する。本実施形態では、図１０に示すトップハットフィルタ６３５を用いてシミ欠陥を強調している。
なお、トップハットフィルタ６３５は、欠陥強調対象画素（フィルタ６３５の中心にある画素）に対して２８（４＋３×８）の係数が掛かっているので、欠陥強調画像作成手段６３２は、フィルタ適用時または適用後にフィルタが適用されたすべての画素の強調値（輝度強調値）を「２８」で除算し、元画像の輝度レベルに合わせている。

次に、欠陥強調処理手段６３のノイズ除去手段６３３は、前記欠陥強調画像作成工程Ｓ４２で強調された画像に対して、メディアンフィルタを掛けて、ノイズにより分離している欠陥成分をつなげて平滑化し、シミ欠陥以外のノイズを除去するノイズ除去処理工程を実施する（ステップＳ４３）。
メディアンフィルタとしては、図示しないが、例えば３×３の９画素の各輝度値のメディアン値（中央値）を３×３の中心に位置する対象画素の輝度値とするような一般的なメディアンフィルタを利用すればよい。
また、メディアンフィルタの適用は１回でもよいが、本実施形態では、２回適用して、ノイズ成分を精度良く除去している。
以上により、欠陥強調処理工程Ｓ４が終了し、シミ欠陥が強調されかつノイズが除去された各サイズに縮小された欠陥強調画像が得られる。

次に、コンピュータ装置６は、輝度勾配検出処理手段６４を作動し、輝度勾配検出処理工程Ｓ５を実行する。輝度勾配検出処理工程Ｓ５では、図１１に示すように、まず、輝度勾配検出処理手段６４のノイズ除去手段６４１により、表示エリア抽出手段６２で抽出された画像に対するノイズ除去処理工程が行われる（ステップＳ５１）。
具体的には、ノイズ除去手段６４１は、撮像画像（縮小されていない画像）に対し、図１２に示す特殊な７×７のメディアンフィルタ６４５を２回適用する。

なお、通常のメディアンフィルタでは、７×７の画素内のすべての輝度値からメディアン値を求めるが、今回のメディアンフィルタ６４５は、各角部の３画素、つまり四隅の計１２画素を用いずに、フィルタ６４５において「１」の数字が入っている部分（計３７画素）のみの画素の輝度値を取得し、そのメディアン値を求めている。
すなわち、ほぼ円形に近い画素領域の輝度値を取得してメディアン値を求めている。これは、角部の画素まで含めてしまうと、輝度勾配成分が変化する場合があり、適切なノイズ除去処理を行えなくなるためである。

なお、輝度勾配を求める元画像（縮小されていない１／１の画像）のノイズ除去にメディアンフィルタ６４５を用いているのは、例えば、平滑化フィルタを用いると輝度勾配成分が変化してしまうのに対し、メディアンフィルタを用いれば勾配成分はあまり変化せず、輝度勾配成分を維持したままノイズ除去を行うことができるためである。

次に、輝度勾配検出処理手段６４の輝度勾配画像作成手段６４２は、ノイズ除去処理工程Ｓ５１で処理された画像の全画素から対象画素を１つずつ順次選択する（ステップＳ５２）。
対象画素選択工程Ｓ５２で対象画素が選択されると、輝度勾配画像作成手段６４２は、図１３に示す輝度勾配検出フィルタ６４６を用いて輝度勾配を算出する（ステップＳ５３）。
輝度勾配検出フィルタ６４６は、設定した検出領域の中心画素を対象画素とし、この対象画素の周囲に略円状に配置され、かつ対象画素からおおよそ２画素分離れて配置された画素を比較画素とし、対象画素と各比較画素間の輝度勾配をそれぞれ算出し、その絶対値が最大のものを対象画素における輝度勾配と設定するものである。なお、輝度勾配とは、１画素分の輝度変化率（傾き成分）を意味し、具体的には前記画像の２つの画素間の輝度差を、その画素間の距離で除算したものである。

ここで、輝度勾配算出工程Ｓ５３における輝度勾配の具体的な算出手順を説明する。
輝度勾配検出フィルタ６４６は、対象画素の輝度値から各比較画素の輝度値を引き、その輝度差を対象画素および比較画素間の長さ（距離）で割って、対象画素と各比較画素間の輝度勾配を算出する。
例えば、図１３の輝度勾配検出フィルタ６４６では、対象画素の輝度値を「Ｏ」、比較画素の各輝度値を「Ｓ1〜Ｓ１２」、対象画素および各比較画素の距離をＤ（Ｏ，Ｓ１）〜Ｄ（Ｏ，Ｓ１２）とした際に、以下の式（２）〜（13）を用いて輝度勾配ｇ１〜ｇ１２を算出する。

ｇ１＝(Ｏ−Ｓ１）／Ｄ（Ｏ，Ｓ１） …（２）
ｇ２＝(Ｏ−Ｓ２）／Ｄ（Ｏ，Ｓ２） …（３）
ｇ３＝(Ｏ−Ｓ３）／Ｄ（Ｏ，Ｓ３） …（４）
ｇ４＝(Ｏ−Ｓ４）／Ｄ（Ｏ，Ｓ４） …（５）
ｇ５＝(Ｏ−Ｓ５）／Ｄ（Ｏ，Ｓ５） …（６）
ｇ６＝(Ｏ−Ｓ６）／Ｄ（Ｏ，Ｓ６） …（７）
ｇ７＝(Ｏ−Ｓ７）／Ｄ（Ｏ，Ｓ７） …（８）
ｇ８＝(Ｏ−Ｓ８）／Ｄ（Ｏ，Ｓ８） …（９）
ｇ９＝(Ｏ−Ｓ９）／Ｄ（Ｏ，Ｓ９） …（10）
ｇ10＝(Ｏ−Ｓ10）／Ｄ（Ｏ，Ｓ10） …（11）
ｇ11＝(Ｏ−Ｓ11）／Ｄ（Ｏ，Ｓ11） …（12）
ｇ12＝(Ｏ−Ｓ12）／Ｄ（Ｏ，Ｓ12） …（13）

そして、算出された輝度勾配ｇ１〜ｇ12の中で絶対値が最大となるものを選択し、輝度勾配検出フィルタ６４６で検出された対象画素の輝度勾配とする。
ここで、対象画素および輝度比較画素間の距離は、ＸＹ座標上の２点間の距離を求める式を利用して算出できる。例えば、距離Ｄ（Ｏ，Ｓ１）を求める場合、対象画素の座標を（Ｘ_Ｏ，Ｙ_Ｏ）、比較画素の座標を（Ｘ_１，Ｙ_１）とすると、距離Ｄ（Ｏ，Ｓ１）は式（14）で求められる。

輝度勾配算出工程Ｓ５３が終了すると、輝度勾配画像作成手段６４２は、検査対象画素の選択が終了したか否かを判断する（ステップＳ５４）。ここで、画像全体の画素に対して検査が終了していない場合には、対象画素選択工程Ｓ５２、輝度勾配算出工程Ｓ５３を繰り返し実行する。

一方、画像全体の画素に対して検査が終了している場合には、輝度勾配検出処理工程Ｓ５を終了する。そして、全画素に対して輝度勾配が算出されることで、輝度勾配画像が作成される。したがって、本実施形態では、対象画素選択工程Ｓ５２、輝度勾配算出工程Ｓ５３、検査対象画素選択終了判定工程Ｓ５４によって、輝度勾配画像作成工程が構成されている。

コンピュータ装置６は、輝度勾配検出処理工程Ｓ５が終了すると、誤検出判断処理手段６５を作動し、誤検出判断処理を実行する（ステップＳ６）。
誤検出判断処理工程Ｓ６では、図１４に示すように、まず、誤検出判断処理手段６５の欠陥領域候補抽出手段６５１により、欠陥領域候補抽出工程が実行される（ステップＳ６１）。
欠陥領域候補抽出工程Ｓ６１では、欠陥領域候補抽出手段６５１は、欠陥強調処理工程Ｓ４で得られた各欠陥強調画像（縮小画像）に対して、白シミ欠陥を切り出す閾値と、黒シミ欠陥を切り出す閾値を設定し、各シミ欠陥領域候補を切り出す。すなわち、シミなどの欠陥には、他の画素部分に対して輝度値が高い白シミ欠陥と、輝度値が低い黒シミ欠陥とがある。このため、閾値としては、白シミ欠陥閾値と、黒シミ欠陥閾値とが設定され、白シミ欠陥閾値と比較することで白シミ欠陥領域候補が抽出され、黒シミ欠陥閾値と比較することで黒シミ欠陥領域候補が抽出される。

なお、各閾値は、画像の状況に合わせて最適な値を設定すればよい。例えば、シミ欠陥強調画像（合成画像）のシミ強調値（輝度値）の平均値と、その標準偏差を求め、以下の式で閾値を設定する。
白シミ欠陥閾値 wslevel＝avr＋α1・σ＋β1
黒シミ欠陥閾値 bslevel＝avr＋α2・σ＋β2
ここで、avrは合成画像の平均値、σは合成画像の標準偏差、α1，α2，β1，β2は任意の数で検査対象となる画像の状況で適宜決定される。

次に、輝度勾配画像縮小手段６５２により、輝度勾配検出処理工程Ｓ５で得られた輝度勾配画像を所定のサイズまで縮小する輝度勾配画像縮小処理工程が行われる（ステップＳ６２）。
すなわち、輝度勾配検出処理手段６４で得られた輝度勾配画像は、元の撮像画像と同じサイズ（１／１）であるのに対し、誤検出要因を除去する対象となる欠陥強調画像は欠陥強調処理手段６３で縮小処理を行っているので、サイズが合わず、対比できない。
このため、輝度勾配画像縮小手段６５２は、輝度勾配画像を、欠陥領域候補が抽出された欠陥強調画像と同サイズに縮小する。例えば、欠陥強調画像のうち、１／４縮小画像に欠陥領域候補が見つかり、その欠陥領域候補が実際に欠陥部分であるのかを判断する場合には、輝度勾配画像縮小手段６５２は、輝度勾配画像を１／４サイズまで縮小する。

なお、欠陥強調処理手段６３の画像縮小手段６３１による縮小処理では、縮小前の画像の４画素の輝度平均値を1画素に置き換えていたが、輝度勾配画像縮小手段６５２による縮小処理では、縮小前の画像の４画素の輝度の絶対値が最大となる値を1画素に置き換える。これにより、傾き成分（勾配成分）を維持したまま縮小することができる。

次に、誤検出判断処理手段６５の最大輝度取得手段６５３および最大輝度勾配取得手段６５４は、図１４に示すように、最大輝度取得工程Ｓ６３および最大輝度勾配取得工程Ｓ６４を実行する。
すなわち、最大輝度取得手段６５３は、欠陥強調画像の欠陥領域候補を抽出した縮小画像をベースにして粒子解析処理を行い、各欠陥領域候補（白シミ欠陥領域候補および黒シミ欠陥領域候補）における最大輝度（最大輝度値）Imaxを前記縮小画像毎および各欠陥領域候補毎に取得する。すなわち、１つの縮小画像において、白シミ欠陥領域候補や黒シミ欠陥領域候補が複数存在する場合には、各欠陥領域候補毎に最大輝度Imaxを取得する。
また、最大輝度勾配取得手段６５４は、前記欠陥強調画像と同じサイズに縮小された輝度勾配画像から、前記各欠陥領域候補内の最大輝度勾配Dmaxを取得する。

次に、誤検出判断処理手段６５の欠陥領域判断手段６５５は、下記条件式（15）に基づいて欠陥領域候補が実際の欠陥領域であるのか、あるいは誤検出成分であるのかを判断する（ステップＳ６５）。

ここで、最大輝度勾配Dmaxは欠陥領域候補内において、距離１（１画素分）離れた２つの画素、つまり隣接する２画素の輝度差の最大値であるため、通常は欠陥領域候補内の最大輝度Imax以下になるはずである。但し、トップハットフィルタ６３５などの輝度強調フィルタは、「３」や「４」が設定された中央部分のサイズと欠陥サイズがほぼ等しい場合に最も精度良く強調でき、例えば、欠陥サイズがフィルタ６３５に対して大きすぎる場合や、小さすぎる場合には、強調輝度値が実際の欠陥部分の最大輝度よりも小さくなってしまう場合がある。このため、前記式（15)では、例えばβを「１．４」として、最大輝度Imaxに掛け、その値よりも最大輝度勾配Dmaxが大きくなった場合には誤検出領域であると判断している。

また、最大輝度勾配Dmaxが、最大輝度Imaxの１／１０未満などと非常に小さい場合も、実際にはありえない状態のため、前記式(15)では、例えばαを０．１として、最大輝度Imaxに掛け、その値よりも最大輝度勾配Dmaxが小さい場合も誤検出領域であると判断している。

なお、係数αやβの具体的な数値は、検出画像と検出対象欠陥、および適用するフィルタに合わせて設定を行う。αとβの関係は、α＜βであればよく、αは０近辺、βは１近辺の値で設定すればよい。一例を挙げれば、αは０〜０．２程度に設定され、βは０．９〜１．５程度に設定される。

以上の判断処理によって、２次差分フィルタ（トップハットフィルタ６３５）を用いた欠陥強調画像から、誤検出成分を除去することができる。
なお、前記実施形態では、シミ欠陥を強調検出するフィルタを用いていたが、スジやムラ欠陥を強調検出するフィルタを用いた場合も、別途輝度勾配成分を求め、それらの最大輝度Imaxおよび最大輝度勾配Dmaxを比較することで誤検出成分の除去処理を行うことができる。

誤検出成分を除去した後は、残された欠陥領域候補に対し、例えば、算出された欠陥領域候補の面積、平均輝度およびエッジ勾配により、その画像におけるシミ欠陥のランクを分類するなどの従来から行われている欠陥判定処理を行えばよい。

この実施の形態によれば、次のような効果がある。
（１）２次差分フィルタを用いた欠陥強調処理工程Ｓ４で得られた欠陥強調画像を所定の閾値と比較して欠陥領域候補を抽出する際に、その欠陥領域候補内の最大輝度Imaxおよび最大輝度勾配Dmaxを別途取得し、それらの値で実際の欠陥領域であるか、誤検出であったかを判断しているので、強調処理時に発生する誤検出成分を確実に除去することができる。
このため、従来であれば誤検出成分を検出してしまうために小さくできなかった閾値を小さくすることもできるため、低コントラストの欠陥を精度良く検出できる。
さらに、２次差分フィルタのサイズに対して、欠陥領域が大きすぎたり、小さすぎる場合に、欠陥検出形状の変形や検出レベルが小さくなり、誤検出成分となるが、これについても除去できるので、様々なサイズの欠陥を精度良く検出できる。

（２）また、最大輝度Imaxと最大輝度勾配Dmaxとを式(15）に基づいて比較するだけで誤検出成分であるか否かを判断できるため、コンピュータ装置６によって自動的に判断できる。このため、検査員が目視などで確認する場合に比べて、欠陥検出処理を効率よく行うことができる。
その上、式(15)では、検出画像と検出対象欠陥、および適用するフィルタに合わせて係数αおよびβを設定しているので、より高精度の検出を行うことができる。

（３）撮像画像を複数段階に縮小して２次差分フィルタを適用しているので、様々なサイズの欠陥領域を検出することができる。
また、輝度勾配画像も前記欠陥強調画像のサイズに合わせて縮小しているが、この縮小時には縮小前の４画素の絶対値が最大となる値を1画素に置き換えているので、４画素の平均値に置き換える場合に比べて傾き成分を維持したまま縮小することができ、縮小画像においても輝度勾配を精度良く取得することができる。

（４）輝度勾配を検出する前にノイズ除去のために適用されるメディアンフィルタ６４５として、四隅分を除いて適用しているので、対象画素からほぼ同じ距離にある画素のみを対象に求めることができ、距離が異なる画素の影響を軽減できるので、適切なノイズ除去処理を行うことができる。
また、メディアンフィルタ６４５を適用してノイズ除去を行っているので、平滑化フィルタを用いた場合に比べて輝度勾配成分を維持したままノイズ除去を行うことができる。

（５）対象画素に対して１２方向の輝度勾配を検出できる輝度勾配検出フィルタ６４６を用いているので、輝度勾配を高精度に検出することができる。
また、輝度勾配画像作成手段６４２は、対象画素および比較画素の座標から各画素間の距離を求めているので、輝度勾配をより高精度に検出できる。すなわち、輝度勾配検出フィルタ６４６はマトリックス状に配列されているため、各比較画素の中心座標と対象画素の中心座標との距離には「ばらつき」が生じる。しかし、本実施形態では、各座標間の距離を求め、この距離を用いて輝度勾配を算出するため、輝度勾配も精度の高いものにできる。

なお、本発明は、前記実施形態に限らない。
例えば、前記実施形態の輝度勾配画像作成手段６４２では、１種類の輝度勾配検出フィルタ６４６を用いて輝度勾配を求めていたが、対象画素と比較画素との距離が異なる他の輝度勾配検出フィルタを併用して検出してもよい。例えば、距離１〜３の３種類の輝度勾配検出フィルタを用いた場合、各フィルタの結果を合成することで高周波成分まで含んだ様々な方向のエッジ勾配を精度良く検出することができる。

また、欠陥強調処理手段６３は、トップハットフィルタ６３５を用いたものに限らず、強調したい欠陥種類（シミ、ムラ、スジなど）に応じて適切なフィルタを用いればよい。
さらに、輝度勾配（輝度変化率）の算出方法は、前記実施形態のように、各画素の輝度差を求め、この輝度差を各画素間の距離で除算して求めるものに限らず、他の方法を用いてもよい。

シミ欠陥の検出対象としては、前記のようなＴＦＴ素子を用いた液晶ライトバルブに限られるものではなく、その他のダイオード素子を用いた液晶パネルやプラズマディスプレイ、ＥＬディスプレイ、ＤＭＤ（ダイレクト・ミラー・デバイス）などの表示体部品、ならびにそれらを使用したフロントプロジェクタやリアプロジェクタ等の表示装置・製品の検査に利用することができるものであり、これらに使用した場合でも本発明の範囲から除外されるものでないことはいうまでもない。
さらに、本発明は、各種表示装置の検査に限らず、例えば、印刷物、家電製品のケースや車のボディなどにシミやスジ状等の傷がある場合、これらを撮像してシミ状等の欠陥がある画像が得られればその欠陥を検出できるので、各種製品の表面塗装や印刷物などのシミ検査に応用することもできる。
要するに、本発明は、周囲と輝度差がある欠陥であれば検出できるため、輝度シミ・ムラ欠陥や色シミ・ムラ欠陥の検出に利用できる。

本発明の実施の形態による画面の欠陥検出装置の構成を示すブロック図。 同欠陥検出装置の欠陥強調処理手段の構成を示すブロック図。 同欠陥検出装置の輝度勾配検出処理手段の構成を示すブロック図。 同欠陥検出装置の誤検出判断処理手段の構成を示すブロック図。 同欠陥検出装置の動作を説明するためのフローチャート。 同欠陥検出装置の背景画像差分処理を示す説明図。 同欠陥検出装置の表示エリア抽出処理を示す説明図。 欠陥強調処理工程を説明するためのフローチャート。 画像の縮小処理を示す説明図。 ２次差分フィルタの例であるトップハットフィルタを示す図。 輝度勾配検出処理工程を説明するためのフローチャート。 メディアンフィルタの例を示す図。 輝度勾配検出フィルタの例を示す図。 誤検出判断処理工程を説明するフローチャート。

符号の説明

１…液晶パネル、２…プロジェクタ、３…パターンジェネレータ、４…スクリーン、５…ＣＣＤカメラ、６…コンピュータ装置、７…表示装置、６０…画像入力手段、６１…背景画像差分処理手段、６２…表示エリア抽出手段、６３…欠陥強調処理手段、６４…輝度勾配検出処理手段、６５…誤検出判断処理手段、６３１…画像縮小手段、６３２…欠陥強調画像作成手段、６３３…ノイズ除去手段、６３５…トップハットフィルタ、６４１…ノイズ除去手段、６４２…輝度勾配画像作成手段、６４５…メディアンフィルタ、６４６…輝度勾配検出フィルタ、６５１…欠陥領域候補抽出手段、６５２…輝度勾配画像縮小手段、６５３…輝度取得手段、６５４…輝度勾配取得手段、６５５…欠陥領域判断手段。

Claims (5)

1. 撮像画像に対して２次差分フィルタを適用して欠陥部分を強調処理する欠陥強調処理工程と、
   撮像画像に対して輝度勾配を検出する輝度勾配検出処理工程と、
   誤検出判断処理工程とを備え、
   前記誤検出判断処理工程は、
   前記欠陥強調処理工程で得られた欠陥強調画像を所定の閾値と比較し、前記閾値を超える欠陥領域候補を抽出する欠陥領域候補抽出工程と、
   前記欠陥領域候補抽出工程で抽出された欠陥領域候補内における最大輝度を取得する最大輝度取得工程と、
   前記輝度勾配検出処理工程で得られた輝度勾配画像において、前記欠陥領域候補と同じ領域内における最大輝度勾配を取得する最大輝度勾配取得工程と、
   前記最大輝度および最大輝度勾配に基づいて前記欠陥領域候補が欠陥領域であるか否かを判断する欠陥領域判断工程と、
   を備えることを特徴とする欠陥検出方法。
2. 請求項１に記載の欠陥検出方法において、
   前記欠陥強調処理工程は、撮像画像を複数段階に縮小して各縮小画像を作成する画像縮小処理工程と、各縮小画像に対して２次差分フィルタを適用して複数段階に縮小された欠陥強調画像を作成する欠陥強調画像作成工程とを備え、
   前記輝度勾配検出工程は、撮像画像に対してメディアンフィルタを適用してノイズ成分を除去するノイズ除去処理工程と、ノイズ成分が除去された画像に対して輝度勾配検出フィルタを適用して輝度勾配画像を作成する輝度勾配画像作成工程とを備え、
   前記誤検出判断処理工程は、前記輝度勾配画像を欠陥領域候補が抽出された前記各欠陥強調画像と同じサイズに縮小した画像を少なくとも作成する輝度勾配画像縮小処理工程を備え、
   欠陥領域候補抽出工程、最大輝度取得工程、最大輝度勾配取得工程、欠陥領域判断工程は、同じサイズの欠陥強調画像および輝度勾配画像を用いて行うことを特徴とする欠陥検出方法。
3. 請求項１または請求項２に記載の欠陥検出方法において、
   前記輝度勾配画像作成工程は、撮像画素において選択された対象画素と、この対象画素の周囲に所定距離だけ離れて配置された各比較画素との輝度勾配をそれぞれ求め、算出された輝度勾配のうち、絶対値が最大のものを対象画素の輝度勾配とする輝度勾配算出工程を備えることを特徴とする欠陥検出方法。
4. 前記欠陥領域判断工程は、最大輝度取得工程で取得された最大輝度をImax、最大輝度勾配取得工程で取得された最大輝度勾配をDmax、所定の係数をα、β（α＜β）とした場合に、次の式（１）の条件を満たすか否かを判断し、
   

   

   前記式（１）の条件を満たす場合にその欠陥領域候補を欠陥領域と判断し、式（１）の条件を満たさない場合にその欠陥領域候補を誤検出成分であると判断することを特徴とする欠陥検出方法。
5. 撮像画像に対して２次差分フィルタを適用して欠陥部分を強調処理する欠陥強調処理手段と、
   撮像画像に対して輝度勾配を検出する輝度勾配検出処理手段と、
   誤検出判断処理手段とを備え、
   前記誤検出判断処理手段は、
   前記欠陥強調処理手段で得られた欠陥強調画像を所定の閾値と比較し、前記閾値を超える欠陥領域候補を抽出する欠陥領域候補抽出手段と、
   前記欠陥領域候補抽出手段で抽出された欠陥領域候補内における最大輝度を取得する最大輝度取得手段と、
   前記輝度勾配検出手段で得られた輝度勾配画像において、前記欠陥領域候補と同じ領域内における最大輝度勾配を取得する最大輝度勾配取得手段と、
   前記最大輝度および最大輝度勾配に基づいて前記欠陥領域候補が欠陥領域であるか否かを判断する欠陥領域判断手段と、
   を備えることを特徴とする欠陥検出装置。

Images