JP3675280B2

JP3675280B2 - Point defect detection apparatus and method

Info

Publication number: JP3675280B2
Application number: JP2000036661A
Authority: JP
Inventors: 誠志渥美; 正明野田; 雅夫齋藤
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2000-02-15
Filing date: 2000-02-15
Publication date: 2005-07-27
Anticipated expiration: 2020-02-15
Also published as: JP2001228051A

Description

【０００１】
【発明の属する技術分野】
本発明は、光変調装置の点欠陥を検出する点欠陥検出装置及びその方法に関するものである。
【０００２】
【従来の技術】
従来、光変調装置である液晶パネル上の輝点や黒点などの点欠陥を検出する主な方法としては、検査対象の液晶パネルを液晶プロジェクタにセットし、暗室内において実際に投影し、その投影されたものを検査員の目視検査により検出していた。
その検査方法としては、液晶プロジェクタにセットした液晶パネルにパターンジェネレータを接続し、そのパターンジェネレータから、全白、全黒、中間調、横線、斜線、白黒、黒白等の各種検査パターンを切り替えて出力して、プロジェクタによりその検査パターンを投影し、その投影された検査パターンにより、黒点、輝点、中間調輝点などの欠陥、また、隣接する画素間のショートによる欠陥を検出するものであった。
【０００３】
また、従来検査サンプルの表面の欠陥を検出するものとして、検査対象の液晶パネルをセットしたプロジェクタにより液晶パネル上の表示をスクリーンなどに投影し、その投影された画像をＣＣＤカメラなどにより撮影し、撮影された画像の輝度むらをシェーディング処理によりシェーディング補正し、そのシェーディング補正後の画像を二値化することにより液晶パネル上の点欠陥を分離し検出するものがあった。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の点欠陥の検出では、検査員の目視検査で点欠陥の検出を行うため、検査員による検査レベルのばらつきが生じるという問題点があり、また、ＣＣＤカメラなどにより撮影した画像を処理するものでは微弱な輝点欠陥がノイズなどにより埋もれてしまい二値化により分離することができず、点欠陥を検出することができないという問題点があった。
【０００５】
本発明はこのような問題点を解決するためになされたものであり、光変調装置上の点欠陥を検査員の目視検査ではなく、自動的にかつ正確に検出することができ、微弱な輝点欠陥を検出することのできる点欠陥検出装置及びその方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明に係る点欠陥検出装置は、光変調装置と、光変調装置に表示された画像パターンを撮り込む画像撮り込み装置と、画像撮り込み装置により撮り込まれた画像データを演算する処理装置と、を備えた点欠陥検出装置において、処理装置は、画像撮り込み装置により撮り込まれた画像データに含まれる、画像撮り込み装置のノイズを除去するノイズ除去機能と、ノイズ除去機能によりノイズ除去された画像データに対し、空間フィルタを使用して畳み込み演算処理を行い、光変調装置の点欠陥部を強調する点欠陥強調機能と、点欠陥強調機能により光変調装置の点欠陥部が強調された画像データを二値化し、光変調装置の点欠陥部のみのマスク画像を生成する二値化機能と、二値化機能で生成されたマスク画像を、画像撮り込み装置に撮り込んだ画像データに合成する画像合成機能と、画像合成機能により合成された画像データに基づいて、光変調装置上の点欠陥情報を検出する点欠陥検出機能とを含むものである。
【０００７】
また、本発明に係る点欠陥検出装置は、光変調装置と、光変調装置に出力する信号を生成するパターン生成装置と、光変調装置に表示されたパターンを撮り込む画像撮り込み装置と、画像撮り込み装置により撮り込まれた画像データを演算する処理装置と、を備えた点欠陥検出装置において、処理装置は、画像撮り込み装置により撮り込まれた画像データに含まれる、画像撮り込み装置のノイズを除去するノイズ除去機能と、ノイズ除去機能によりノイズ除去された画像データに対し、空間フィルタを使用して畳み込み演算処理を行い、光変調装置の点欠陥部を強調する点欠陥強調機能と、点欠陥強調機能により光変調装置の点欠陥部が強調された画像データを二値化し、光変調装置の点欠陥部のみのマスク画像を生成する二値化機能と、二値化機能で生成されたマスク画像を、画像撮り込み装置に撮り込んだ画像データに合成する画像合成機能と、画像合成機能により合成された画像データに基づいて、光変調装置上の点欠陥情報を検出する点欠陥検出機能とを含むものである。
【０００８】
また、本発明に係る点欠陥検出装置は、光変調装置と、光変調装置に出力する信号を生成するパターン生成装置と、光変調装置がセットされ、光変調装置の表示に基づいた画像を投影する画像投影装置と、投影されたパターンを撮り込む画像撮り込み装置と、画像撮り込み装置により撮り込まれた画像データを演算する処理装置と、を備えた点欠陥検出装置において、処理装置は、画像撮り込み装置により撮り込まれた画像データに含まれる、画像撮り込み装置のノイズを除去するノイズ除去機能と、ノイズ除去機能によりノイズ除去された画像データに対し、空間フィルタを使用して畳み込み演算処理を行い、光変調装置の点欠陥部を強調する点欠陥強調機能と、点欠陥強調機能により光変調装置の点欠陥部が強調された画像データを二値化し、光変調装置の点欠陥部のみのマスク画像を生成する二値化機能と、二値化機能で生成されたマスク画像を、画像撮り込み装置に撮り込んだ画像データに合成する画像合成機能と、画像合成機能により合成された画像データに基づいて、光変調装置上の点欠陥情報を検出する点欠陥検出機能とを含むものである。
【０００９】
また、本発明に係る点欠陥検出装置は、光変調装置と、光変調装置に光を照射する光源と、光変調装置にパターンを表示させるパターン生成装置と、光源からの光が光変調装置によって変調され、光変調装置から出射する光を撮り込む画像撮り込み装置と、画像撮り込み装置により撮り込まれた画像データを演算する処理装置と、を備えた点欠陥検出装置において、処理装置は、画像撮り込み装置により撮り込まれた画像データに含まれる、画像撮り込み装置のノイズを除去するノイズ除去機能と、ノイズ除去機能によりノイズ除去された画像データに対し、空間フィルタを使用して畳み込み演算処理を行い、光変調装置の点欠陥部を強調する点欠陥強調機能と、点欠陥強調機能により光変調装置の点欠陥部が強調された画像データを二値化し、光変調装置の点欠陥部のみのマスク画像を生成する二値化機能と、二値化機能で生成されたマスク画像を、画像撮り込み装置に撮り込んだ画像データに合成する画像合成機能と、画像合成機能により合成された画像データに基づいて、光変調装置上の点欠陥情報を検出する点欠陥検出機能とを含むものである。
【００１０】
また、本発明に係る点欠陥検出装置の画像撮り込み装置は、光変調装置の表示に基づいた画像を、光を減衰させる減衰手段を介して撮り込むものである。
また、本発明に係る点欠陥検出装置の空間フィルタは、画像データ内の着目する画素の値を、その周囲の画素の値との差が＋方向に強調されるように重み付けするマトリックス状のフィルタである。
【００１１】
また、本発明に係る点欠陥検出装置の処理装置は、さらに、画像撮り込み装置により撮り込まれた画像データから、画像撮り込み装置のノイズ及び光変調装置の点欠陥部を除去し、さらに膨張させた膨張背景画像を生成し、その生成した膨張背景画像を、画像撮り込み装置により撮り込まれた画像データに合成する膨張背景画像生成機能を含むものである。
また、本発明に係る点欠陥検出装置の処理装置は、さらに、画像撮り込み装置により撮り込まれた画像データから、光変調装置の表示領域のみのマスク画像を生成し、その生成した表示領域のみのマスク画像を、点欠陥強調機能により光変調装置の点欠陥部が強調された画像に合成するマスク機能を含むものである。
【００１２】
また、本発明に係る点欠陥検出装置の処理装置は、さらに、画像撮り込み装置により撮り込まれた画像データの輝度むらを補正する機能を含むものである。
また、本発明に係る点欠陥検出装置の輝度むらを補正する機能は、光学的に場所による透過率を変化させたグラディエントフィルタを使用して補正を行うものである。
【００１３】
また、本発明に係る点欠陥検出装置の輝度むらを補正する機能は、空間フィルタを使用した演算処理により補正を行うものである。
また、本発明に係る点欠陥検出装置のノイズ除去機能は、空間フィルタを使用した演算処理により画像撮り込み装置のノイズの除去を行うものである。
また、本発明に係る点欠陥検出装置は、点欠陥検出機能により検出された点欠陥情報を表示する表示装置を備えるものである。
【００１４】
また、本発明に係る点欠陥検出装置の点欠陥検出機能は、輝度情報を含む点欠陥情報を検出するものである。
また、本発明に係る点欠陥検出装置の光変調装置は、液晶パネルである。
【００１５】
また、本発明に係る点欠陥検出方法は、光変調装置の点欠陥検出方法において、光変調装置によって変調された光に基づく画像パターンを撮り込む工程と、撮り込まれた画像データから点欠陥部以外のノイズを除去する工程と、点欠陥以外のノイズが除去された画像データに対し、空間フィルタを使用して畳み込み演算処理を行い、光変調装置の点欠陥部を強調する工程と、点欠陥部が強調された画像データを二値化し、光変調装置の点欠陥部のみのマスク画像を生成する工程と、光変調装置の点欠陥部のみのマスク画像を、撮り込まれた画像データに合成する工程と、合成された画像データに基づいて、光変調装置上の点欠陥情報を検出する工程と、からなる。
【００１６】
また、本発明に係る点欠陥検出方法は、光変調装置の点欠陥検出方法において、光変調装置にパターンを表示させる工程と、光変調装置によって変調された光に基づく画像パターンを撮り込む工程と、撮り込まれた画像データから光変調装置の点欠陥部以外のノイズを除去する工程と、ノイズが除去された画像データに対し、空間フィルタを使用して畳み込み演算処理を行い、光変調装置の点欠陥部を強調する工程と、点欠陥部が強調された画像データを二値化し、光変調装置の点欠陥部のみのマスク画像を生成する工程と、光変調装置の点欠陥部のみのマスク画像を、撮り込まれた画像データに合成する工程と、合成された画像データに基づいて、光変調装置上の点欠陥情報を検出する工程と、からなる。
【００１７】
また、本発明に係る点欠陥検出方法は、光変調装置の点欠陥検出方法において、光変調装置にパターンを表示させる工程と、光変調装置によって変調された光に基づく画像パターンを投影する工程と、投影された画像パターンを撮り込む工程と、撮り込まれた画像データから光変調装置の点欠陥部以外のノイズを除去する工程と、ノイズが除去された画像データに対し、空間フィルタを使用して畳み込み演算処理を行い、光変調装置の点欠陥部を強調する工程と、点欠陥部が強調された画像データを二値化し、光変調装置の点欠陥部のみのマスク画像を生成する工程と、光変調装置の点欠陥部のみのマスク画像を、撮り込まれた画像データに合成する工程と、合成された画像データに基づいて、光変調装置上の点欠陥情報を検出する工程と、からなる。
【００１８】
また、本発明に係る点欠陥検出方法は、光変調装置の点欠陥検出方法において、光変調装置に光を照射する工程と、光変調装置にパターンを表示させる工程と、光変調装置によって変調された光を撮り込む工程と、撮り込まれた光に基づく画像データから光変調装置の点欠陥部以外のノイズを除去する工程と、ノイズが除去された画像データに対し、空間フィルタを使用して畳み込み演算処理を行い、光変調装置の点欠陥部を強調する工程と、点欠陥部が強調された画像データを二値化し、光変調装置の点欠陥部のみのマスク画像を生成する工程と、光変調装置の点欠陥部のみのマスク画像を、撮り込まれた画像データに合成する工程と、合成された画像データに基づいて、光変調装置上の点欠陥情報を検出する工程と、からなる。
【００１９】
また、本発明に係る点欠陥検出方法は、光変調装置によって変調された光を撮り込む際、光を減衰させる減衰手段を介して撮り込むものである。
また、本発明に係る点欠陥検出方法は、空間フィルタは、画像データ内の着目する画素の値を、その周囲の画素の値との差が＋方向に強調されるように重み付けするマトリックス状のフィルタである。
【００２０】
また、本発明に係る点欠陥検出方法は、撮り込まれた画像データから、光変調装置の点欠陥部を含むノイズを除去し、さらに膨張させた膨張背景画像を生成し、その生成した膨張背景画像を、撮り込まれた画像データに合成する工程からなる。
また、本発明に係る点欠陥検出方法は、撮り込まれた画像データから、光変調装置の表示領域のみのマスク画像を生成し、その生成した表示領域のみのマスク画像を、光変調装置の点欠陥部が強調された画像に合成する工程からなる。
【００２１】
また、本発明に係る点欠陥検出方法は、撮り込まれた画像データの輝度むらを補正する工程からなる。
また、本発明に係る点欠陥検出方法の輝度むらを補正する工程は、光学的に場所による透過率を変化させたグラディエントフィルタを使用して補正を行うものである。
【００２２】
また、本発明に係る点欠陥検出方法の輝度むらを補正する工程は、空間フィルタを使用した演算処理により補正を行うものである。
また、本発明に係る点欠陥検出方法は、撮り込まれた画像データから光変調装置の点欠陥部以外のノイズを除去する際、空間フィルタを使用した演算処理によりノイズの除去処理を行うものである。
【００２３】
また、本発明に係る点欠陥検出方法の点欠陥検出工程は、輝度情報を含む点欠陥情報を検出するものである。
また、本発明に係る点欠陥検出方法において、光変調装置は液晶パネルである。
【００２４】
【発明の実施の形態】
図１は本発明の一実施の形態に係る点欠陥検出装置の構成を示す図である。
図において、１は検査対象の光変調装置である液晶パネル、２は画像投影装置であるプロジェクタであり、液晶パネル１を外部からセットできるようになっている。３は液晶パネル１に各種パターンを出力するパターン生成装置であるパターンジェネレータ、４はスクリーン、５はスクリーンに投影された画像を撮影する画像撮り込み装置であるＣＣＤカメラであり、液晶パネル１の解像度以上の解像度を有するＣＣＤを搭載している。６はパターンジェネレータ３及びＣＣＤカメラ５を制御し、液晶パネル１の点欠陥を検出するコンピュータ装置、７はコンピュータ装置６に接続された表示装置である。
【００２５】
次に、この実施の形態の点欠陥検出動作について説明する。
図２はこの実施の形態の点欠陥検出動作を示す説明するための説明図であり、図２に示す動作はコンピュータ装置６上で実行されるプログラムにより実現されているものである。
図３〜図８は点欠陥検出処理途中の処理画像の一例を示す図である。
まず、プロジェクタ２に検査対象の液晶パネル１をセットし、コンピュータ装置６によりパターンジェネレータ３を制御し液晶パネル１上に特定のパターンを表示させ、それをプロジェクタ２によりスクリーン４に投影する。
そして、スクリーン４上に投影された画像をＣＣＤカメラ５で撮影し、その撮影データの画像をコンピュータ装置６に出力し、コンピュータ装置６により点欠陥検出処理を行い液晶パネル１の点欠陥の検出結果を表示装置７などに表示するなどして出力する。
【００２６】
ここで、コンピュータ装置６による点欠陥検出の動作について説明する。
まず、ＣＣＤカメラ５にも素子特性のばらつきなどにより隣接する素子よりも著しく明るい又は暗い画素が存在している。
そして、このようなＣＣＤカメラ５でスクリーン４上に投影された画像を撮影した撮影データの画像としては、図３に示すように、ＣＣＤカメラ５の素子特性のばらつきなどによるＣＣＤノイズ（図３のａ部）と液晶パネル１の輝点の点欠陥による欠陥部（図３のｂ部）の両方が混在した画像となっている（図２のＳ１００）。
なお、ここでは、投影された画像の光学的な輝度むらを、プロジェクタ２にグラデェーションがかけてあるフィルタを用いるか、コンピュータ装置６側でシェーディング処理を施すなどして改善しているものとして説明する。
【００２７】
この図３に示すような画像に基づいて、液晶パネル１の点欠陥の検出を行うと、液晶パネル１の点欠陥による欠陥部の情報だけではなく、ＣＣＤカメラ５の素子特性のばらつきなどによるＣＣＤノイズの情報も液晶パネル１の点欠陥として検出してしまうことになる。
そこで、図３に示すように、ＣＣＤカメラ５のＣＣＤノイズはＣＣＤ素子１画素分として現れ、液晶パネル１の点欠陥は、ＣＣＤカメラ５の解像度を液晶パネル１の解像度以上にしているので、ＣＣＤ素子の数画素分として現れるため、これを利用してＣＣＤカメラ５で撮影した画像に対して空間フィルタを使用しＣＣＤノイズの除去を行っている（図２のＳ１０１）。
【００２８】
この実施の形態では、空間フィルタとして、２×２Ｏｐｅｎ（収縮＋膨張）フィルタを使用してＣＣＤノイズの除去処理を行っている。
２×２Ｏｐｅｎフィルタは、収縮と膨張を実行するフィルタで、暗い背景に明るいオブジェクトのある画像では小さな点を消す作用がある。
この２×２Ｏｐｅｎ（収縮＋膨張）フィルタにより図３に示す画像を処理した結果は、図４に示すように、ＣＣＤカメラ５の素子特性のばらつきなどによるＣＣＤノイズが除去され、液晶パネル１の点欠陥のみの情報を持つ画像となる。
この２×２Ｏｐｅｎフィルタによる処理は、メディアン処理よりも高速に処理できるため、処理時間を短縮させることができる。
【００２９】
また、図４に示すような画像の場合、後述する点欠陥強調演算の際に画像のエッジ部分の演算が正確にできないため、ＣＣＤノイズや点欠陥の欠陥部などのない膨張させた背景画像を作成し、図４に示す画像に合成する処理を行う（図２のＳ１０２〜Ｓ１０４）。
まず、図３に示す画像に、１１×１１のＯｐｅｎフィルタを作用させ、図５に示すような背景画像を作成し（図２のＳ１０２）、さらに、図５に示す画像に１１×１１の膨張処理を２回実施することにより、図６に示すような元画像よりも大きな膨張背景画像を作成する（図２のＳ１０３）。
【００３０】
そして、図４に示すようなＣＣＤノイズが除去された画像と図６に示すような膨張背景画像をｍａｘｉｍｕｍ演算により２枚の画像の明るい方の画像を残すように合成し、図７に示すような画像を作成する（図２のＳ１０４）。
この膨張背景画像を作成し、ＣＣＤノイズが除去された画像と合成することにより、投影された画像の周囲に継ぎ目無く膨張画像を付加することができる。
【００３１】
そして、図７に示すような膨張背景画像が合成された画像では、微少なレベルの輝点欠陥などの検出が難しいため、空間フィルタを使用して欠陥強調演算を行う（図２のＳ１０５）。
この実施の形態では、空間フィルタとして輝点欠陥の強調には７×７Ｔｏｐｈａｔフィルタ、黒点欠陥の強調には７×７Ｗｅｌｌフィルタを使用して、点欠陥の強調処理を行っている。
【００３２】
７×７Ｔｏｐｈａｔフィルタ及び７×７Ｗｅｌｌフィルタは共に、周囲に対して孤立しているかを検出するため、着目する画素の値を、その周囲の画素の値との差がより強調されるされるように重み付けをして畳み込み演算するためのフィルタであり、例えば図１３に示すような空間フィルタである。図１３において、図１３の（ａ）は７×７Ｔｏｐｈａｔフィルタ、図１３の（ｂ）は７×７Ｗｅｌｌフィルタの一例を示している。
【００３３】
ここで、まず、図７に示す輝点欠陥の強調について説明する。
図７に示すような輝点欠陥を有する画像を、図１３の（ａ）に示すような、７×７Ｔｏｐｈａｔフィルタにより強調処理した結果は、図８に示すように輝度の小さい輝点欠陥が強調され点欠陥が検出しやすい画像となっている。
また、図７に示す画像は背景画像が膨張されて合成されているため、強調処理において実際の投影範囲の画像のエッジ部が強調されることがなくエッジ部周辺の欠陥も正確に強調されている。
【００３４】
そして、図８に示すような点欠陥の強調処理後の画像は、背景画像が膨張されて合成された画像を処理した結果のため、実際の投影範囲の画像以外の余分な画像が存在する。
したがって、図３に示す画像を小さなマトリックスのＯｐｅｎ処理などで、微少な欠陥部を消し（図２のＳ１０６）、その画像を二値化するなどして（図２のＳ１０７）、図９に示すような実際の投影範囲のみのマスク画像を生成する（図２のＳ１０８）。
【００３５】
そして、図８に示す画像と図９に示す画像をＡＮＤ演算し（図２のＳ１０９）、図１０に示すような実際の投影範囲のみの強調画像を生成する。
また、７×７Ｔｏｐｈａｔフィルタによる輝点欠陥の強調はリニアリティーが保証された変換ではないので、欠陥部の明るさによりランク分類が必要とされる輝点欠陥においては、その明るさを正確に検出するのは難しいので、図１０に示すような輝点欠陥が強調された強調画像を二値化し、図１１に示すような輝点欠陥のマスク画像を生成し、図１１に示すようなマスク画像と図３に示すような元画像をＡＮＤ演算し、図１２に示すような元画像の内、強調処理で強調された輝点欠陥の範囲のみの結果画像を生成する（図２のＳ１１０）。
そして、図１２に示すような結果画像に基づいて点欠陥の検出を行う（図２のＳ１１１）。
これらの処理により、投影範囲のエッジ部の点欠陥の強調も正確に処理され、点欠陥を容易に検出する事ができ、輝点欠陥による点欠陥の明るさによる分類も正確にできるようになっている。
【００３６】
また、点欠陥が、図１４に示すように黒点欠陥の場合は、黒点欠陥の点欠陥には明るさによる分類はないため、７×７Ｗｅｌｌフィルタにより点欠陥の強調処理を行い、図１５に示すような画像とし、さらに、強調処理後の画像から実際の投影範囲のみのデータを取り出すことにより、図１６に示すように投影範囲のエッジ部の点欠陥の強調も正確に処理され、点欠陥を容易に検出する事ができるようになっている。
なお、点欠陥が黒点欠陥の場合は、７×７Ｗｅｌｌフィルタによる処理において投影画像部のエッジは外側に形成されるため、輝点欠陥のように背景画像を膨張させて合成する必要はなく、図１４に示す画像を７×７Ｗｅｌｌフィルタにより処理した図１５に示す画像と図９に示すマスク画像をＡＮＤ演算することにより図１６に示す結果画像を得ることができる。
【００３７】
この実施の形態によれば、Ｏｐｅｎフィルタにより、ＣＣＤノイズを除去し、Ｏｐｅｎフィルタを使用して背景画像の膨張背景画像を生成し、その画像を元の投影画像に合成し、７×７Ｔｏｐｈａｔフィルタにより液晶パネルの輝点欠陥の点欠陥部を強調し、輝点欠陥が強調された画像を二値化し、元画像と合成するようにしたので、点欠陥の検出に関する計算処理を短くすることができ、投影画像のエッジ部の点欠陥も正確に検出することでき、輝点欠陥の明るさによる分類も行うことが可能となる。
また、７×７Ｔｏｐｈａｔフィルタでは、周囲に対して孤立しているものが強調されているので、液晶パネルの点欠陥のような周囲に対して孤立しているものは強調され、モアレ縞のように周囲に対して孤立していないものなどは強調されない。
従って、モアレ縞などの背景画像にノイズが発生している画像においても、液晶パネルの点欠陥部のみ強調され、その結果画像を二値化などすることにより液晶パネルの点欠陥を正確に検出することが可能となる。
【００３８】
なお、実施の形態では、検査対象の光変調装置である液晶パネル１を透過型の液晶パネルとして説明したが、反射型の液晶パネルでもよく、また、ＤＭＤ（デジタルミラーデバイス）などの検査にも適用することができる。
【００３９】
また、実施の形態では、点欠陥を強調する空間フィルタとして、７×７Ｔｏｐｈａｔフィルタ及び７×７Ｗｅｌｌフィルタを使用したが、図１７に示すような５×５Ｔｏｐｈａｔフィルタ及び５×５Ｗｅｌｌフィルタなどの他のＴｏｐｈａｔフィルタ及びＷｅｌｌフィルタを空間フィルタとして使用してもよい。
図１７において、図１７の（ａ）は５×５Ｔｏｐｈａｔフィルタ、図１７の（ｂ）は５×５Ｗｅｌｌフィルタの一例を示している。
なお、Ｔｏｐｈａｔフィルタ及びＷｅｌｌフィルタによる重み付けは、図１３及び図１７に示すものに限定されるものではなく、他の重み付けを有するＴｏｐｈａｔフィルタ及びＷｅｌｌフィルタを使用してもよい。
【００４０】
また、この実施の形態では、図１に示すように、プロジェクタ２により画像を投影し、その投影された画像をＣＣＤカメラ５で撮影するようになっているが、図１８に示すように、検査対象の液晶パネル１を透過した光を直接ＣＣＤカメラ５で撮り込むようにしてもよい。
図１８において、１は検査対象の液晶パネル、３は液晶パネル１に各種パターンを出力するパターンジェネレータ、５は液晶パネル１を透過した光を撮り込むＣＣＤカメラであり、液晶パネル１の解像度以上の解像度を有するＣＣＤを搭載している。６はパターンジェネレータ３及びＣＣＤカメラ５を制御し、液晶パネル１の点欠陥を検出するコンピュータ装置、７はコンピュータ装置６に接続された表示装置、８は液晶パネル１に光を照射する光源、９は液晶パネル１を透過する光を減衰させる高速シャッターや減光フィルタなどの減衰手段である。
【００４１】
次に、この点欠陥検出装置の動作について説明する。
まず、検査対象の液晶パネル１に光源から光を照射し、コンピュータ装置６によりパターンジェネレータ３を制御し液晶パネル１上に特定のパターンを表示させ、その液晶パネル１を透過した光を減衰手段９を介してＣＣＤカメラ５で撮影し、その撮影データの画像をコンピュータ装置６に出力し、コンピュータ装置６により点欠陥検出処理を行い液晶パネル１の点欠陥の検出結果を表示装置７などに表示するなどして出力する。
コンピュータ装置６による点欠陥検出の動作については、上記の図１に示す点欠陥検出装置と同様であり、コンピュータ装置６により各種空間フィルタを使用して、ＣＣＤカメラ５で撮影した画像を処理し、点欠陥の検出を行う。
【００４２】
また、この実施の形態では、図１及び図１８に示すように、コンピュータ装置６を使用して点欠陥の検出処理を行っているが、これに限らず、上記のような点欠陥検出処理の動作を行うものであれば、ＣＰＵボードや専用ＬＳＩなどを使用してもよい。
この図１に示す点欠陥検出装置の場合、プロジェクタ２内に、パターンジェネレータ３とＣＣＤカメラ５を内蔵させ、さらにＣＰＵボードや専用ＬＳＩなどを組み込み、点欠陥検出処理を行わせることにより、１筐体で点欠陥検出装置を構成すれば、設置場所をとらず、簡単に液晶パネルの点欠陥の検出を行うことが可能となる。
【００４３】
また、図１８に示す点欠陥検出装置の場合、１筐体内にパターンジェネレータ３、ＣＣＤカメラ５、光源８及び減衰手段９を内蔵させ、さらにＣＰＵボードや専用ＬＳＩなどを組み込み、点欠陥検出処理を行わせることにより、１筐体で点欠陥検出装置を構成することができ、設置場所をとらず、また、その筐体を完全密封の状態にすれば、暗室内で作業する必要もなく、作業員のストレスを軽減でき、簡単に液晶パネルの点欠陥の検出を行うことが可能となる。
【００４４】
また、この実施の形態では、投影された画像の光学的な輝度むらを改善しているものとして説明しているが、ここで、この光学的な輝度むらを改善するシェーディング処理について説明する。
まず、ＣＣＤカメラ５で撮影した画像から、液晶パネルの点欠陥やＣＣＤノイズを除去した輝度むらの情報のみの画像を生成する。
そして、元画像から輝度むらの情報のみの画像を減算または除算することにより、輝度むらのない画像を生成する。
ここでは、輝度むらの情報のみの画像を、１１×１１のＯｐｅｎフィルタを作用させた後、１１×１１の膨張処理を施すことにより生成させている。
【００４５】
また、この実施の形態ではＣＣＤカメラ５での画像の撮り込みは、ＣＣＤカメラ５のカメラ絞りやシャッター速度などの調整により、通常の撮り込みを行い１００％輝点でもＣＣＤカメラ５のＣＣＤが飽和しないようにしているが、微弱な輝点欠陥をより検出できるように、ＣＣＤカメラ５のカメラ絞りやシャッター速度などの調整により、１００％付近の輝点は飽和させるようにして、微弱な輝点欠陥をより正確に検出できるようにしてもよい。
この場合、１００％付近の輝点欠陥は、通常の撮り込みで検出し、微弱な輝点欠陥の検出は、１００％付近の輝点を飽和させるようにＣＣＤカメラ５を調整する撮り込みで検出するようにしてもよい。
【００４６】
また、この実施の形態では画像撮り込み装置としてＣＣＤカメラ５で画像を撮り込んでいるが、液晶パネルの表示に基づいた表示画像を撮り込むことのできるものであれば、他の装置などで撮り込むようにしてもよい。
【００４７】
【発明の効果】
以上のように本発明によれば、処理装置のノイズ除去機能により、画像撮り込み装置により撮り込まれた画像データに含まれる、画像撮り込み装置のノイズを除去し、処理装置の点欠陥強調機能により、ノイズ除去機能によりノイズ除去された画像データに対し、空間フィルタを使用して畳み込み演算処理を行い、光変調装置の点欠陥部を強調し、処理装置の二値化機能により、点欠陥強調機能により光変調装置の点欠陥部が強調された画像データを二値化し、光変調装置の点欠陥部のみのマスク画像を生成し、画像合成機能により、二値化機能で生成されたマスク画像を、画像撮り込み装置に撮り込んだ画像データに合成し、処理装置の点欠陥検出機能により、画像合成機能により合成された画像データに基づいて、光変調装置上の点欠陥情報を検出する点欠陥の検出に関する計算処理を短くすることができ、輝点欠陥の明るさによる分類も行うことができるという効果を有する。
【００４８】
また、処理装置の膨張背景画像生成機能により、画像撮り込み装置により撮り込まれた画像データから、画像撮り込み装置のノイズ及び光変調装置の点欠陥部を除去し、さらに膨張させた膨張背景画像を生成し、その生成した膨張背景画像を、画像撮り込み装置により撮り込まれた画像データに合成するようにしたので、液晶パネルエッジ部の点欠陥も正確に検出することができる、また、処理装置のマスク機能により、画像撮り込み装置により撮り込まれた画像データから、光変調装置の表示領域のみのマスク画像を生成し、その生成した表示領域のみのマスク画像を、点欠陥強調機能により光変調装置の点欠陥部が強調された画像に合成するようにしたので、光変調装置の表示領域外のデータが無くなり、正確に点欠陥を検出することができるという効果を有する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る点欠陥検出装置の構成を示す図である。
【図２】実施の形態の点欠陥検出動作を示す説明するための説明図である。
【図３】点欠陥検出処理途中の処理画像の一例を示す図である。
【図４】点欠陥検出処理途中の処理画像の一例を示す図である。
【図５】点欠陥検出処理途中の処理画像の一例を示す図である。
【図６】点欠陥検出処理途中の処理画像の一例を示す図である。
【図７】点欠陥検出処理途中の処理画像の一例を示す図である。
【図８】点欠陥検出処理途中の処理画像の一例を示す図である。
【図９】点欠陥検出処理途中の処理画像の一例を示す図である。
【図１０】点欠陥検出処理途中の処理画像の一例を示す図である。
【図１１】点欠陥検出処理途中の処理画像の一例を示す図である。
【図１２】点欠陥検出処理途中の処理画像の一例を示す図である。
【図１３】７×７Ｔｏｐｈａｔフィルタ及び７×７Ｗｅｌｌフィルタの一例を示す図である。
【図１４】点欠陥検出処理途中の処理画像の一例を示す図である。
【図１５】点欠陥検出処理途中の処理画像の一例を示す図である。
【図１６】点欠陥検出処理途中の処理画像の一例を示す図である。
【図１７】Ｔｏｐｈａｔフィルタ及びＷｅｌｌフィルタの他の例を示す図である。
【図１８】点欠陥検出装置の他の構成を示す図である。
【符号の説明】
１検査対象の液晶パネル
２プロジェクタ
３パターンジェネレータ
４スクリーン
５ＣＣＤカメラ
６コンピュータ装置
７表示装置
８光源
９減衰手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a point defect detection apparatus and method for detecting a point defect in a light modulation device.
[0002]
[Prior art]
Conventionally, as a main method for detecting point defects such as bright spots and black spots on a liquid crystal panel, which is a light modulation device, the liquid crystal panel to be inspected is set in a liquid crystal projector, actually projected in a dark room, and the projection Was detected by visual inspection of inspectors.
As an inspection method, a pattern generator is connected to the liquid crystal panel set in the liquid crystal projector, and various inspection patterns such as all white, all black, halftone, horizontal lines, diagonal lines, black and white, black and white, etc. are switched and output from the pattern generator. Then, the inspection pattern was projected by the projector, and the projected inspection pattern was used to detect defects such as black spots, bright spots, halftone spots, and defects due to shorts between adjacent pixels. .
[0003]
In addition, as a method for detecting defects on the surface of a conventional inspection sample, a display on a liquid crystal panel is projected onto a screen or the like by a projector on which a liquid crystal panel to be inspected is set, and the projected image is taken with a CCD camera or the like, In some cases, the luminance unevenness of a photographed image is subjected to shading correction by shading processing, and the image after shading correction is binarized to separate and detect point defects on the liquid crystal panel.
[0004]
[Problems to be solved by the invention]
However, in conventional point defect detection, since point defects are detected by an inspector's visual inspection, there is a problem that the inspection level varies by the inspector, and an image taken by a CCD camera or the like is processed. However, weak luminescent spot defects are buried by noise and cannot be separated by binarization, and point defects cannot be detected.
[0005]
The present invention has been made to solve such a problem, and can detect a point defect on a light modulation device automatically and accurately, not by a visual inspection of an inspector. An object of the present invention is to provide a point defect detection apparatus and method capable of detecting a point defect.
[0006]
[Means for Solving the Problems]
A point defect detection device according to the present invention includes a light modulation device, an image capture device that captures an image pattern displayed on the light modulation device, and a processing device that calculates image data captured by the image capture device. In the point defect detection device having the above, the processing device is noise-removed by a noise removal function for removing noise of the image capturing device included in the image data captured by the image capturing device, and a noise removal function. The image data is subjected to convolution calculation processing using a spatial filter, and the point defect emphasis function for emphasizing the point defect portion of the light modulation device and the point defect portion of the light modulation device are emphasized by the point defect enhancement function. A binarization function that binarizes image data and generates a mask image of only the point defect portion of the light modulator, and a mask image generated by the binarization function is captured by an image capturing device. An image combining function for combining the image data I, based on the image data synthesized by the image synthesizing function, is intended to include the defect detection function that detects a point defect information on the optical modulator.
[0007]
A point defect detection device according to the present invention includes a light modulation device, a pattern generation device that generates a signal to be output to the light modulation device, an image capturing device that captures a pattern displayed on the light modulation device, and an image. A point defect detection device comprising: a processing device that calculates image data captured by a capturing device; and the processing device includes an image capturing device included in the image data captured by the image capturing device. A noise removal function that removes noise, and a point defect enhancement function that performs a convolution operation processing on the image data that has been subjected to noise removal by the noise removal function, and emphasizes a point defect portion of the light modulation device, A binarization function for binarizing image data in which the point defect portion of the light modulation device is emphasized by the point defect enhancement function, and generating a mask image of only the point defect portion of the light modulation device; The image composition function that synthesizes the mask image generated by the compositing function with the image data captured by the image capturing device, and the point defect information on the light modulation device based on the image data combined by the image combining function And a point defect detection function to detect.
[0008]
In addition, the point defect detection device according to the present invention includes a light modulation device, a pattern generation device that generates a signal to be output to the light modulation device, and a light modulation device, and projects an image based on the display of the light modulation device. In the point defect detection apparatus comprising: an image projecting apparatus, an image capturing apparatus that captures the projected pattern, and a processing apparatus that calculates image data captured by the image capturing apparatus. The noise removal function that removes the noise of the image capture device included in the image data captured by the image capture device, and the convolution operation using the spatial filter for the image data that has been denoised by the noise removal function Binary processing of the point defect enhancement function that performs processing and emphasizes the point defect portion of the light modulation device, and the image data in which the point defect portion of the light modulation device is enhanced by the point defect enhancement function The binarization function for generating only the mask image of the point defect portion of the light modulation device, and the image synthesis function for synthesizing the mask image generated by the binarization function with the image data captured by the image capturing device And a point defect detecting function for detecting point defect information on the light modulation device based on the image data synthesized by the image synthesizing function.
[0009]
Further, the point defect detection device according to the present invention includes a light modulation device, a light source that irradiates light to the light modulation device, a pattern generation device that displays a pattern on the light modulation device, and light from the light source by the light modulation device. In a point defect detection apparatus comprising an image capturing device that captures light that is modulated and emitted from a light modulation device, and a processing device that calculates image data captured by the image capturing device, the processing device includes: The noise removal function that removes the noise of the image capture device included in the image data captured by the image capture device, and the convolution operation using the spatial filter for the image data that has been denoised by the noise removal function Performs processing and binarizes the image data in which the point defect portion of the light modulator is emphasized by the point defect enhancement function that emphasizes the point defect portion of the light modulator and the point defect enhancement function A binarization function for generating only a mask image of a point defect portion of a light modulation device, and an image composition function for synthesizing a mask image generated by the binarization function with image data captured by an image capturing device; And a point defect detecting function for detecting point defect information on the light modulation device based on the image data synthesized by the image synthesizing function.
[0010]
In addition, the image capturing device of the point defect detection device according to the present invention captures an image based on the display of the light modulation device through attenuation means that attenuates light.
In addition, the spatial filter of the point defect detection device according to the present invention is a matrix filter that weights the value of the pixel of interest in the image data so that the difference from the values of surrounding pixels is emphasized in the + direction. It is.
[0011]
Further, the processing device of the point defect detection device according to the present invention further removes noise of the image capturing device and a point defect portion of the light modulation device from the image data captured by the image capturing device, and further expands. It includes an expanded background image generation function that generates the expanded background image that has been generated and synthesizes the generated expanded background image with the image data captured by the image capturing device.
Further, the processing device of the point defect detection device according to the present invention further generates a mask image of only the display region of the light modulation device from the image data captured by the image capturing device, and only the generated display region. This mask image includes a mask function for combining the mask image with an image in which the point defect portion of the light modulation device is enhanced by the point defect enhancement function.
[0012]
In addition, the processing device of the point defect detection device according to the present invention further includes a function of correcting the luminance unevenness of the image data captured by the image capturing device.
The function of correcting the luminance unevenness of the point defect detection apparatus according to the present invention is to perform correction using a gradient filter that optically changes the transmittance depending on the location.
[0013]
Further, the function of correcting the luminance unevenness of the point defect detection apparatus according to the present invention is to perform correction by an arithmetic process using a spatial filter.
Further, the noise removal function of the point defect detection device according to the present invention is to remove noise of the image capturing device by arithmetic processing using a spatial filter.
The point defect detection apparatus according to the present invention includes a display device that displays point defect information detected by the point defect detection function.
[0014]
Moreover, the point defect detection function of the point defect detection apparatus according to the present invention is to detect point defect information including luminance information.
The light modulation device of the point defect detection device according to the present invention is a liquid crystal panel.
[0015]
Further, the point defect detection method according to the present invention includes a step of capturing an image pattern based on light modulated by the light modulation device and a point defect portion from the captured image data in the point defect detection method of the light modulation device. A step of removing noise other than the point, a step of performing convolution operation processing on the image data from which noise other than point defects has been removed using a spatial filter, and emphasizing the point defect portion of the light modulation device, and point defects The image data with the emphasis part binarized to generate a mask image of only the point defect part of the light modulation device, and the mask image of only the point defect part of the light modulation device is combined with the captured image data And a step of detecting point defect information on the light modulation device based on the synthesized image data.
[0016]
Further, the point defect detection method according to the present invention includes a step of displaying a pattern on the light modulation device and a step of capturing an image pattern based on the light modulated by the light modulation device in the point defect detection method of the light modulation device. A step of removing noise other than the point defect portion of the light modulation device from the captured image data, and a convolution calculation process using a spatial filter for the image data from which the noise has been removed. A step of emphasizing a point defect portion, a step of binarizing image data in which the point defect portion is emphasized, generating a mask image of only the point defect portion of the light modulation device, and a mask of only the point defect portion of the light modulation device The method includes a step of combining an image with captured image data, and a step of detecting point defect information on the light modulation device based on the combined image data.
[0017]
The point defect detection method according to the present invention includes a step of displaying a pattern on the light modulation device and a step of projecting an image pattern based on the light modulated by the light modulation device in the point defect detection method of the light modulation device. A spatial filter is used for the process of capturing the projected image pattern, the process of removing noise other than the point defect portion of the light modulator from the captured image data, and the image data from which the noise has been removed. Performing a convolution calculation process and emphasizing the point defect portion of the light modulation device, binarizing the image data with the point defect portion emphasized, and generating a mask image of only the point defect portion of the light modulation device; and , A step of combining a mask image of only a point defect portion of the light modulation device with the captured image data, a step of detecting point defect information on the light modulation device based on the combined image data, Ranaru.
[0018]
Further, the point defect detection method according to the present invention is a point defect detection method for a light modulator, wherein the light modulator is irradiated with light, the pattern is displayed on the light modulator, and the light modulator is modulated. Using a spatial filter on the image data from which the noise is removed, the step of removing noise other than the point defect portion of the light modulator from the image data based on the captured light, and the image data from which the noise has been removed Performing a convolution operation process, emphasizing a point defect portion of the light modulation device, binarizing image data in which the point defect portion is enhanced, and generating a mask image of only the point defect portion of the light modulation device; Composing a mask image of only a point defect portion of the light modulation device with the captured image data, and detecting point defect information on the light modulation device based on the synthesized image data. .
[0019]
In addition, the point defect detection method according to the present invention captures the light modulated by the light modulation device through an attenuation unit that attenuates the light.
In the point defect detection method according to the present invention, the spatial filter weights the value of the pixel of interest in the image data so that the difference from the values of the surrounding pixels is emphasized in the + direction. It is a filter.
[0020]
Further, the point defect detection method according to the present invention removes noise including a point defect portion of the light modulation device from the captured image data, generates an expanded background image, and generates the expanded background. It consists of a step of combining an image with captured image data.
Further, the point defect detection method according to the present invention generates a mask image of only the display area of the light modulation device from the captured image data, and generates a mask image of only the generated display area of the light modulation device. It consists of a step of synthesizing an image in which the defective portion is emphasized.
[0021]
In addition, the point defect detection method according to the present invention includes a step of correcting luminance unevenness of captured image data.
Further, the step of correcting the luminance unevenness of the point defect detection method according to the present invention is performed by using a gradient filter that optically changes the transmittance depending on the place.
[0022]
Further, the step of correcting the luminance unevenness of the point defect detection method according to the present invention is performed by a calculation process using a spatial filter.
The point defect detection method according to the present invention performs noise removal processing by arithmetic processing using a spatial filter when removing noise other than the point defect portion of the light modulation device from the captured image data. is there.
[0023]
Moreover, the point defect detection process of the point defect detection method according to the present invention detects point defect information including luminance information.
In the point defect detection method according to the present invention, the light modulation device is a liquid crystal panel.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a diagram showing a configuration of a point defect detection apparatus according to an embodiment of the present invention.
In the figure, reference numeral 1 denotes a liquid crystal panel that is a light modulation device to be inspected, and 2 denotes a projector that is an image projection device, which can set the liquid crystal panel 1 from the outside. Reference numeral 3 denotes a pattern generator that is a pattern generation device that outputs various patterns to the liquid crystal panel 1, reference numeral 4 denotes a screen, and reference numeral 5 denotes a CCD camera that is an image capturing device that captures an image projected on the screen. A CCD having the above resolution is mounted. Reference numeral 6 denotes a computer device that controls the pattern generator 3 and the CCD camera 5 to detect point defects in the liquid crystal panel 1, and 7 denotes a display device connected to the computer device 6.
[0025]
Next, the point defect detection operation of this embodiment will be described.
FIG. 2 is an explanatory diagram for explaining the point defect detection operation of this embodiment, and the operation shown in FIG. 2 is realized by a program executed on the computer device 6.
3 to 8 are diagrams illustrating examples of processed images during the point defect detection process.
First, the liquid crystal panel 1 to be inspected is set in the projector 2, the pattern generator 3 is controlled by the computer device 6 to display a specific pattern on the liquid crystal panel 1, and it is projected onto the screen 4 by the projector 2.
Then, the image projected on the screen 4 is photographed by the CCD camera 5, the image of the photographed data is output to the computer device 6, the point defect detection processing is performed by the computer device 6, and the point defect detection result of the liquid crystal panel 1. Is displayed on the display device 7 or the like.
[0026]
Here, the operation of point defect detection by the computer device 6 will be described.
First, the CCD camera 5 also has pixels that are significantly brighter or darker than adjacent elements due to variations in element characteristics.
As an image of photographing data obtained by photographing an image projected on the screen 4 by such a CCD camera 5, as shown in FIG. 3, CCD noise (see FIG. 3) due to variations in element characteristics of the CCD camera 5 and the like. The image is a mixture of both a portion a) and a defect portion (b portion in FIG. 3) due to a point defect of the bright spot of the liquid crystal panel 1 (S100 in FIG. 2).
Here, the description will be made assuming that the optical luminance unevenness of the projected image is improved by using a filter in which the projector 2 is graded or by performing a shading process on the computer device 6 side. .
[0027]
When the point defect of the liquid crystal panel 1 is detected based on the image as shown in FIG. 3, not only the information of the defective part due to the point defect of the liquid crystal panel 1, but also the CCD due to the variation in the element characteristics of the CCD camera 5, etc. Noise information is also detected as a point defect of the liquid crystal panel 1.
Therefore, as shown in FIG. 3, the CCD noise of the CCD camera 5 appears as one pixel of the CCD element, and the point defect of the liquid crystal panel 1 makes the resolution of the CCD camera 5 higher than the resolution of the liquid crystal panel 1. Since it appears as several pixels of the element, CCD noise is removed from the image captured by the CCD camera 5 using this using a spatial filter (S101 in FIG. 2).
[0028]
In this embodiment, CCD noise removal processing is performed using a 2 × 2 Open (shrinkage + expansion) filter as a spatial filter.
The 2 × 2 Open filter is a filter that performs contraction and expansion, and has an effect of erasing small dots in an image with a bright object on a dark background.
As a result of processing the image shown in FIG. 3 by the 2 × 2 Open (shrinkage + expansion) filter, as shown in FIG. 4, CCD noise due to variations in the element characteristics of the CCD camera 5 is removed. The image has information only about defects.
Since the processing by the 2 × 2 Open filter can be performed faster than the median processing, the processing time can be shortened.
[0029]
Further, in the case of an image as shown in FIG. 4, since the calculation of the edge portion of the image cannot be performed accurately at the time of point defect emphasis calculation described later, an expanded background image having no CCD noise or point defect defect portion is obtained. A process of creating and synthesizing the image shown in FIG. 4 is performed (S102 to S104 in FIG. 2).
First, an 11 × 11 Open filter is applied to the image shown in FIG. 3 to create a background image as shown in FIG. 5 (S102 in FIG. 2), and further, an 11 × 11 expansion is applied to the image shown in FIG. By executing the process twice, an expanded background image larger than the original image as shown in FIG. 6 is created (S103 in FIG. 2).
[0030]
Then, the image from which the CCD noise is removed as shown in FIG. 4 and the expanded background image as shown in FIG. 6 are synthesized by the maximum operation so that the brighter image of the two images remains, as shown in FIG. A simple image is created (S104 in FIG. 2).
By creating this expanded background image and synthesizing it with the image from which the CCD noise has been removed, the expanded image can be added seamlessly around the projected image.
[0031]
Then, in the image obtained by combining the expanded background image as shown in FIG. 7, it is difficult to detect a minute level of bright spot defect or the like, and therefore, a defect enhancement calculation is performed using a spatial filter (S105 in FIG. 2).
In this embodiment, the point defect enhancement processing is performed by using a 7 × 7 Tophat filter for emphasizing bright spot defects and a 7 × 7 Well filter for emphasizing black spot defects.
[0032]
Both the 7 × 7 Tophat filter and the 7 × 7 Well filter detect whether they are isolated from the surroundings, so that the difference between the pixel value of interest and the surrounding pixel values is more emphasized. This is a filter for weighting and performing a convolution operation, for example, a spatial filter as shown in FIG. In FIG. 13, (a) in FIG. 13 shows an example of a 7 × 7 Tophat filter, and (b) in FIG. 13 shows an example of a 7 × 7 Well filter.
[0033]
First, emphasis on bright spot defects shown in FIG. 7 will be described.
The result of emphasizing an image having a bright spot defect as shown in FIG. 7 using a 7 × 7 Topophat filter as shown in FIG. 13A shows that a bright spot defect with a low brightness is emphasized as shown in FIG. The point defect is easy to detect.
Further, since the background image is expanded and synthesized in the image shown in FIG. 7, the edge portion of the image in the actual projection range is not emphasized in the enhancement processing, and defects around the edge portion are also accurately enhanced. Yes.
[0034]
The image after point defect emphasis processing as shown in FIG. 8 is the result of processing an image obtained by expanding and synthesizing the background image, and therefore there is an extra image other than the image in the actual projection range.
Therefore, the image shown in FIG. 3 is erased by performing a small matrix Open process or the like to erase minute defects (S106 in FIG. 2), binarizing the image (S107 in FIG. 2), and the like as shown in FIG. Such a mask image of only the actual projection range is generated (S108 in FIG. 2).
[0035]
Then, an AND operation is performed on the image shown in FIG. 8 and the image shown in FIG. 9 (S109 in FIG. 2) to generate an emphasized image of only the actual projection range as shown in FIG .
In addition, since highlighting of bright spot defects by the 7 × 7 Topophat filter is not conversion with guaranteed linearity, the brightness of a bright spot defect that requires rank classification according to the brightness of the defective portion is accurately detected. 10 is binarized, the enhanced image in which bright spot defects are emphasized as shown in FIG. 10 is binarized, and a bright spot defect mask image as shown in FIG. 11 is generated. An AND operation is performed on the original image as shown in FIG. 3, and a result image of only the range of the bright spot defect emphasized by the enhancement process is generated from the original image as shown in FIG. 12 ( S110 in FIG. 2).
Then, point defects are detected based on the result image as shown in FIG. 12 ( S111 in FIG. 2).
By these processes, point defects at the edge of the projection range are accurately emphasized, point defects can be detected easily, and point defects can be classified accurately by brightness point defects. ing.
[0036]
Further, when the point defect is a black point defect as shown in FIG. 14, the point defect of the black point defect is not classified by brightness. Therefore, the point defect is emphasized by a 7 × 7 Well filter, and is shown in FIG. Further, by extracting only the data of the actual projection range from the image after the enhancement processing, the point defect enhancement at the edge of the projection range is accurately processed as shown in FIG. It can be easily detected.
Note that when the point defect is a black point defect, the edge of the projected image portion is formed outside in the processing by the 7 × 7 Well filter, so there is no need to synthesize the background image like a bright spot defect. The result image shown in FIG. 16 can be obtained by performing an AND operation on the image shown in FIG. 15 obtained by processing the image shown in FIG. 14 with a 7 × 7 Well filter and the mask image shown in FIG.
[0037]
According to this embodiment, the CCD noise is removed by the Open filter, the expanded background image of the background image is generated by using the Open filter, the image is synthesized with the original projection image, and the 7 × 7 Tophat filter is used. Since the point defect part of the bright spot defect of the liquid crystal panel is emphasized and the image with the bright spot defect is binarized and synthesized with the original image, the calculation process for detecting point defects can be shortened. In addition, it is possible to accurately detect point defects at the edge portion of the projected image, and it is also possible to classify bright spot defects based on brightness.
In addition, in the 7 × 7 Topophat filter, what is isolated with respect to the surroundings is emphasized, so that what is isolated with respect to the surroundings, such as a point defect of a liquid crystal panel, is emphasized, like a moire fringe. Things that are not isolated from the surroundings are not emphasized.
Therefore, even in an image in which noise is generated in a background image such as moire stripes, only the point defect portion of the liquid crystal panel is emphasized, and as a result, the point defect of the liquid crystal panel is accurately detected by binarizing the image. It becomes possible.
[0038]
In the embodiment, the liquid crystal panel 1 which is a light modulation device to be inspected is described as a transmissive liquid crystal panel. However, a reflective liquid crystal panel may be used, and a DMD (digital mirror device) or the like may be inspected. Can be applied.
[0039]
In the embodiment, the 7 × 7 Tophat filter and the 7 × 7 Well filter are used as the spatial filters for emphasizing point defects, but other Topophats such as the 5 × 5 Tophat filter and the 5 × 5 Well filter as shown in FIG. 17 are used. Filters and well filters may be used as spatial filters.
17, (a) of FIG. 17 shows an example of a 5 × 5 Tophat filter, and (b) of FIG. 17 shows an example of a 5 × 5 Well filter.
Note that the weighting by the Tophat filter and the Well filter is not limited to those shown in FIGS. 13 and 17, and Topoff filters and Well filters having other weights may be used.
[0040]
Further, in this embodiment, as shown in FIG. 1, an image is projected by the projector 2, and the projected image is taken by the CCD camera 5. As shown in FIG. The light transmitted through the target liquid crystal panel 1 may be captured directly by the CCD camera 5.
In FIG. 18, 1 is a liquid crystal panel to be inspected, 3 is a pattern generator that outputs various patterns to the liquid crystal panel 1 , and 5 is a CCD camera that captures light transmitted through the liquid crystal panel 1. It has a CCD with resolution. 6 is a computer device that controls the pattern generator 3 and the CCD camera 5 to detect a point defect of the liquid crystal panel 1, 7 is a display device connected to the computer device 6, 8 is a light source that irradiates the liquid crystal panel 1, 9 Is an attenuating means such as a high-speed shutter or a neutral density filter that attenuates light transmitted through the liquid crystal panel 1.
[0041]
Next, the operation of this point defect detection apparatus will be described.
First, the liquid crystal panel 1 to be inspected is irradiated with light from a light source, the computer 6 controls the pattern generator 3 to display a specific pattern on the liquid crystal panel 1, and the light transmitted through the liquid crystal panel 1 is attenuated 9 The image of the photographed data is output to the computer device 6 and the point defect detection processing is performed by the computer device 6 to display the point defect detection result of the liquid crystal panel 1 on the display device 7 or the like. Etc. and output.
The operation of point defect detection by the computer device 6 is the same as that of the point defect detection device shown in FIG. 1 described above, and the image captured by the CCD camera 5 is processed by the computer device 6 using various spatial filters. Point defect detection is performed.
[0042]
In this embodiment, as shown in FIGS. 1 and 18, the point defect detection processing is performed using the computer device 6. However, the present invention is not limited to this, and the point defect detection processing described above is performed. A CPU board, a dedicated LSI, or the like may be used as long as it operates.
In the case of the point defect detection apparatus shown in FIG. 1, a pattern generator 3 and a CCD camera 5 are built in the projector 2, and a CPU board, a dedicated LSI, etc. are further incorporated to perform point defect detection processing. If the point defect detection device is configured with a body, it is possible to easily detect a point defect of the liquid crystal panel without taking up an installation place.
[0043]
In the case of the point defect detection apparatus shown in FIG. 18, the pattern generator 3, the CCD camera 5, the light source 8, and the attenuation means 9 are built in one housing, and a CPU board, a dedicated LSI, etc. are further incorporated to perform point defect detection processing. By doing so, it is possible to configure a point defect detection device with a single case, and it does not take an installation place, and if the case is in a completely sealed state, there is no need to work in a dark room. It is possible to reduce the stress on the operator and easily detect a point defect in the liquid crystal panel.
[0044]
In this embodiment, it is described that the optical luminance unevenness of the projected image is improved. Here, a shading process for improving the optical luminance unevenness will be described.
First, from the image photographed by the CCD camera 5, an image having only luminance unevenness information from which point defects of the liquid crystal panel and CCD noise are removed is generated.
Then, an image having no luminance unevenness is generated by subtracting or dividing an image having only luminance unevenness information from the original image.
Here, an image with only luminance unevenness information is generated by applying an 11 × 11 Open filter and then performing an 11 × 11 expansion process.
[0045]
Further, the incorporation of an image in the CCD camera 5 this embodiment, the adjustment, such as a camera aperture and shutter speed of the CCD camera 5, the CCD of the CCD camera 5 at normal 100% bright spot performs incorporation of saturated In order to detect weak bright spot defects more, the bright spot near 100% is saturated by adjusting the camera aperture and shutter speed of the CCD camera 5 so that the weak bright spot is detected. You may enable it to detect a defect more correctly.
In this case, a bright spot defect near 100% is detected by normal shooting , and a weak bright spot defect is detected by shooting by adjusting the CCD camera 5 so as to saturate a bright spot near 100%. You may make it do.
[0046]
Further, Dale crowded take pictures with the CCD camera 5 as an apparatus incorporation an image in this embodiment is, as long as it can Komu take a display image based on the display of the liquid crystal panel, taken with such other device May be included.
[0047]
【The invention's effect】
As described above, according to the present invention, the noise removal function of the processing device removes the noise of the image capturing device included in the image data captured by the image capturing device, and the point defect enhancement function of the processing device. Thus, the image data denoised by the noise removal function is subjected to a convolution calculation process using a spatial filter, the point defect portion of the light modulation device is emphasized, and the point defect enhancement is performed by the binarization function of the processing device. The image data in which the point defect part of the light modulation device is emphasized by the function is binarized, a mask image of only the point defect part of the light modulation device is generated, and the mask image generated by the binarization function by the image composition function Are combined with the image data captured by the image capturing device, and the point defect on the light modulation device based on the image data combined by the image combining function by the point defect detection function of the processing device. It is possible to shorten the calculation process for the detection of point defect detecting the distribution has the effect that it is possible to perform even classification by the brightness of the luminance point defect.
[0048]
Further, the expanded background image generation function of the processing device removes the noise of the image capturing device and the point defect portion of the light modulation device from the image data captured by the image capturing device, and further expands the expanded background image. Since the generated expanded background image is synthesized with the image data captured by the image capturing device, it is possible to accurately detect point defects on the edge of the liquid crystal panel. By using the mask function of the device, a mask image of only the display area of the light modulation device is generated from the image data captured by the image capturing device, and the mask image of only the generated display region is generated by the point defect enhancement function. Since the point defect portion of the modulation device is combined with the emphasized image, data outside the display area of the light modulation device is lost, and the point defect can be detected accurately. It has the effect that the kill.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a point defect detection apparatus according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram for explaining a point defect detection operation according to the embodiment;
FIG. 3 is a diagram illustrating an example of a processed image in the middle of point defect detection processing;
FIG. 4 is a diagram illustrating an example of a processed image in the middle of a point defect detection process.
FIG. 5 is a diagram illustrating an example of a processed image in the middle of point defect detection processing;
FIG. 6 is a diagram illustrating an example of a processed image in the middle of a point defect detection process.
FIG. 7 is a diagram illustrating an example of a processed image in the middle of a point defect detection process.
FIG. 8 is a diagram illustrating an example of a processed image in the middle of point defect detection processing;
FIG. 9 is a diagram illustrating an example of a processed image in the middle of point defect detection processing;
FIG. 10 is a diagram illustrating an example of a processed image in the middle of a point defect detection process.
FIG. 11 is a diagram illustrating an example of a processed image in the middle of point defect detection processing;
FIG. 12 is a diagram illustrating an example of a processed image in the middle of a point defect detection process.
FIG. 13 is a diagram illustrating an example of a 7 × 7 Tophat filter and a 7 × 7 Well filter.
FIG. 14 is a diagram illustrating an example of a processing image in the middle of point defect detection processing;
FIG. 15 is a diagram illustrating an example of a processed image in the middle of point defect detection processing;
FIG. 16 is a diagram illustrating an example of a processed image in the middle of point defect detection processing;
FIG. 17 is a diagram illustrating another example of a Tophat filter and a Well filter.
FIG. 18 is a diagram showing another configuration of the point defect detection apparatus.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Liquid crystal panel 2 to be examined Projector 3 Pattern generator 4 Screen 5 CCD camera 6 Computer device 7 Display device 8 Light source 9 Attenuating means

Claims

A light modulator;
An image capturing device for capturing an image pattern displayed on the light modulation device;
In a point defect detection device comprising: a processing device that calculates image data captured by the image capturing device;
The processor is
A noise removal function for removing noise of the image capturing device included in the image data captured by the image capturing device;
A point defect enhancement function that performs a convolution calculation process using a spatial filter on the image data from which noise has been removed by the noise removal function, and emphasizes a point defect portion of the light modulation device,
The binarization function for binarizing image data in which the point defect portion of the light modulation device is emphasized by the point defect enhancement function, and generating a mask image of only the point defect portion of the light modulation device, and the binarization function An image synthesizing function for synthesizing the mask image generated in step 1 with the image data captured by the image capturing device;
A point defect detection device comprising: a point defect detection function for detecting point defect information on the light modulation device based on the image data synthesized by the image synthesis function.

A light modulator;
A pattern generation device for generating a signal to be output to the light modulation device;
An image capturing device for capturing a pattern displayed on the light modulation device;
In a point defect detection device comprising: a processing device that calculates image data captured by the image capturing device;
The processor is
A noise removal function for removing noise of the image capturing device included in the image data captured by the image capturing device;
A point defect enhancement function that performs a convolution calculation process using a spatial filter on the image data from which noise has been removed by the noise removal function, and emphasizes a point defect portion of the light modulation device,
The binarization function for binarizing image data in which the point defect portion of the light modulation device is emphasized by the point defect enhancement function, and generating a mask image of only the point defect portion of the light modulation device, and the binarization function An image synthesizing function for synthesizing the mask image generated in step 1 with the image data captured by the image capturing device;
A point defect detection device comprising: a point defect detection function for detecting point defect information on the light modulation device based on the image data synthesized by the image synthesis function.

A light modulator;
A pattern generation device for generating a signal to be output to the light modulation device;
An image projection device that is set with the light modulation device and projects an image based on the display of the light modulation device;
An image capture device for capturing the projected pattern;
In a point defect detection device comprising: a processing device that calculates image data captured by the image capturing device;
The processor is
A noise removal function for removing noise of the image capturing device included in the image data captured by the image capturing device;
A point defect enhancement function that performs a convolution calculation process using a spatial filter on the image data from which noise has been removed by the noise removal function, and emphasizes a point defect portion of the light modulation device,
The binarization function for binarizing image data in which the point defect portion of the light modulation device is emphasized by the point defect enhancement function, and generating a mask image of only the point defect portion of the light modulation device, and the binarization function An image synthesizing function for synthesizing the mask image generated in step 1 with the image data captured by the image capturing device;
A point defect detection device comprising: a point defect detection function for detecting point defect information on the light modulation device based on the image data synthesized by the image synthesis function.

A light modulator;
A light source for irradiating the light modulator with light;
A pattern generation device for displaying a pattern on the light modulation device;
An image capturing device that captures light emitted from the light modulation device, wherein light from the light source is modulated by the light modulation device;
In a point defect detection device comprising: a processing device that calculates image data captured by the image capturing device;
The processor is
A noise removal function for removing noise of the image capturing device included in the image data captured by the image capturing device;
A point defect enhancement function that performs a convolution calculation process using a spatial filter on the image data from which noise has been removed by the noise removal function, and emphasizes a point defect portion of the light modulation device,
The binarization function for binarizing image data in which the point defect portion of the light modulation device is emphasized by the point defect enhancement function, and generating a mask image of only the point defect portion of the light modulation device, and the binarization function An image synthesizing function for synthesizing the mask image generated in step 1 with the image data captured by the image capturing device;
A point defect detection device comprising: a point defect detection function for detecting point defect information on the light modulation device based on the image data synthesized by the image synthesis function.

The point defect detection device according to claim 4, wherein the image capturing device captures an image based on a display of the light modulation device through an attenuation unit that attenuates light.

The spatial filter is a matrix filter that weights a value of a pixel of interest in the image data so that a difference from values of surrounding pixels is emphasized in a positive direction. The point defect detection apparatus in any one of Claim 1-5.

The processor is
Furthermore, the noise of the image capturing device and the point defect portion of the light modulation device are removed from the image data captured by the image capturing device to generate an expanded background image, and the generated expansion The point defect detection device according to claim 1, further comprising an expanded background image generation function for synthesizing a background image with image data captured by the image capturing device.

The processor is
Further, from the image data captured by the image capturing device, a mask image of only the display area of the light modulation device is generated, and the mask image of only the generated display region is optically modulated by the point defect enhancement function. The point defect detection device according to claim 1, further comprising a mask function for synthesizing an image in which a point defect portion of the device is emphasized.

The processor is
The point defect detection device according to claim 1, further comprising a function of correcting luminance unevenness of image data captured by the image capturing device.

The point defect detection device according to claim 9, wherein the function of correcting the luminance unevenness is corrected using a gradient filter optically changing the transmittance depending on a place.

The point defect detection device according to claim 9, wherein the function of correcting the luminance unevenness is corrected by an arithmetic process using a spatial filter.

The point defect detection device according to claim 1, wherein the noise removal function removes noise of the image capturing device by arithmetic processing using a spatial filter.

The point defect detection device according to any one of claims 1 to 12, further comprising a display device that displays point defect information detected by the point defect detection function.

The point defect detection function is
The point defect detection device according to claim 1, wherein point defect information including luminance information is detected.

The point defect detection device according to claim 1, wherein the light modulation device is a liquid crystal panel.

In the point defect detection method of the light modulation device,
Capturing an image pattern based on the light modulated by the light modulation device;
Removing noise other than point defects from the captured image data;
For image data from which noise other than point defects has been removed, performing a convolution calculation process using a spatial filter, and emphasizing the point defect portion of the light modulation device;
Binarizing the image data in which the point defect portion is enhanced, and generating a mask image of only the point defect portion of the light modulation device; and
Combining the mask image of only the point defect portion of the light modulation device with the captured image data;
Detecting point defect information on the light modulation device based on the synthesized image data;
A point defect detection method comprising:

In the point defect detection method of the light modulation device,
Displaying a pattern on the light modulator;
Capturing an image pattern based on the light modulated by the light modulation device;
Removing noise other than the point defect portion of the light modulator from the captured image data;
A process of performing convolution operation processing on the image data from which noise has been removed using a spatial filter, and emphasizing a point defect portion of the light modulation device;
Binarizing the image data in which the point defect portion is enhanced, and generating a mask image of only the point defect portion of the light modulation device; and
Combining the mask image of only the point defect portion of the light modulation device with the captured image data;
Detecting point defect information on the light modulation device based on the synthesized image data;
A point defect detection method comprising:

In the point defect detection method of the light modulation device,
Displaying a pattern on the light modulator;
Projecting an image pattern based on the light modulated by the light modulator;
Capturing the projected image pattern; and
Removing noise other than the point defect portion of the light modulator from the captured image data;
A process of performing convolution operation processing on the image data from which noise has been removed using a spatial filter, and emphasizing a point defect portion of the light modulation device;
Binarizing the image data in which the point defect portion is enhanced, and generating a mask image of only the point defect portion of the light modulation device; and
Combining the mask image of only the point defect portion of the light modulation device with the captured image data;
Detecting point defect information on the light modulation device based on the synthesized image data;
A point defect detection method comprising:

In the point defect detection method of the light modulation device,
Irradiating the light modulator with light;
Displaying a pattern on the light modulator;
Capturing light modulated by the light modulator;
Removing noise other than the point defect portion of the light modulation device from the image data based on the captured light;
A process of performing convolution operation processing on the image data from which noise has been removed using a spatial filter, and emphasizing a point defect portion of the light modulation device;
Binarizing the image data in which the point defect portion is enhanced, and generating a mask image of only the point defect portion of the light modulation device; and
Combining the mask image of only the point defect portion of the light modulation device with the captured image data;
Detecting point defect information on the light modulation device based on the synthesized image data;
A point defect detection method comprising:

20. The point defect detection method according to claim 19, wherein when the light modulated by the light modulation device is photographed, the light is photographed through attenuation means for attenuating the light.

The spatial filter is a matrix filter that weights a value of a pixel of interest in the image data so that a difference from values of surrounding pixels is emphasized in a positive direction. The point defect detection method according to any one of claims 16 to 20.

From the captured image data, noise including a point defect portion of the light modulation device is removed, an expanded background image is generated, and the generated expanded background image is combined with the captured image data. The point defect detection method according to any one of claims 16 to 21, comprising a process.

A mask image of only the display area of the light modulation device is generated from the captured image data, and the mask image of only the generated display region is synthesized with an image in which the point defect portion of the light modulation device is emphasized. The point defect detection method according to any one of claims 16 to 22, comprising a step.

The point defect detection method according to any one of claims 16 to 23, comprising a step of correcting luminance unevenness of captured image data.

25. The point defect detection method according to claim 24, wherein in the step of correcting the luminance unevenness, correction is performed by using a gradient filter optically changing the transmittance depending on the place.

25. The point defect detection method according to claim 24, wherein in the step of correcting the luminance unevenness, correction is performed by an arithmetic process using a spatial filter.

27. The noise removal processing is performed by arithmetic processing using a spatial filter when noise other than the point defect portion of the light modulation device is removed from the captured image data. The point defect detection method according to any one of the above.

The point defect detection method according to any one of claims 16 to 27, wherein the point defect detection step detects point defect information including luminance information.

The point defect detection method according to any one of claims 16 to 28, wherein the light modulation device is a liquid crystal panel.