[go: up one dir, main page]

JP7563665B2 - 検査システム、検査方法及び検査プログラム - Google Patents

検査システム、検査方法及び検査プログラム Download PDF

Info

Publication number
JP7563665B2
JP7563665B2 JP2021010592A JP2021010592A JP7563665B2 JP 7563665 B2 JP7563665 B2 JP 7563665B2 JP 2021010592 A JP2021010592 A JP 2021010592A JP 2021010592 A JP2021010592 A JP 2021010592A JP 7563665 B2 JP7563665 B2 JP 7563665B2
Authority
JP
Japan
Prior art keywords
image
unit
mask
learning
superimposed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021010592A
Other languages
English (en)
Other versions
JP2022114331A (ja
Inventor
洋一 木川
日飛 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nitto Denko Corp
Original Assignee
Nitto Denko Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nitto Denko Corp filed Critical Nitto Denko Corp
Priority to JP2021010592A priority Critical patent/JP7563665B2/ja
Priority to US17/579,971 priority patent/US12099017B2/en
Priority to EP22152408.5A priority patent/EP4033447B1/en
Priority to CN202210073166.0A priority patent/CN114894801B/zh
Publication of JP2022114331A publication Critical patent/JP2022114331A/ja
Application granted granted Critical
Publication of JP7563665B2 publication Critical patent/JP7563665B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Description

本発明は、検査システム、検査方法及び検査プログラムに関する。
従来より、プリント基板等の検査対象物を撮影し、基準画像と比較することで、検査対象物が良品であるか不良品であるかを検査する検査システムが知られている。
当該検査システムでは、例えば、不良品を良品としてしまうことがないように、欠陥候補を過剰に検出しておき、検出した欠陥候補の画像を、最終的に検査員が目視検査することで、欠陥の見逃し防止を実現している。
特開２０１３－０９８２６７号公報 特開２０２０－０５２４７４号公報
しかしながら、上記検査システムの場合、良品の範囲内での製造ばらつき等も、欠陥候補として検出されるため、検査員が目視検査すべき欠陥候補の画像が多くなり、検査員の作業負荷が高いという問題がある。
一つの側面では、検査システムにおける検査員の作業負荷を低減させることを目的としている。
一態様によれば、検査システムは、
検査対象物を撮影した画像のうち、欠陥が含まれていないと判断された第１画像の一部をマスクすることで生成された第１マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像から、マスク前の第１画像が再現されるように学習された画像再現部と、
新たな検査対象物を撮影した第２画像の一部をマスクすることで生成された第２マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像を、前記画像再現部に入力することで再現された再現画像と、前記第２画像とに基づいて、前記第２画像に欠陥が含まれるか否かを判定する判定部とを有する。
検査システムにおける検査員の作業負荷を低減させることができる。
学習フェーズにおける検査システムのシステム構成の一例を示す図である。 学習装置のハードウェア構成の一例を示す図である。 学習装置の学習用データセット生成部による処理の具体例を示す図である。 学習装置の学習部による処理の具体例を示す第１の図である。 検査フェーズにおける検査システムのシステム構成の一例を示す図である。 推論装置のハードウェア構成の一例を示す図である。 推論装置の推論部による処理の具体例を示す第１の図である。 検査システムにおける学習処理の流れを示す第１のフローチャートである。 検査システムにおける検査処理の流れを示す第１のフローチャートである。 学習装置の学習部による処理の具体例を示す第２の図である。 推論装置の推論部による処理の具体例を示す第２の図である。 検査システムにおける学習処理の流れを示す第２のフローチャートである。 検査システムにおける検査処理の流れを示す第２のフローチャートである。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
［第１の実施形態］
＜学習フェーズにおける検査システムのシステム構成＞
はじめに、第１の実施形態に係る検査システムの、学習フェーズにおけるシステム構成について説明する。図１は、学習フェーズにおける検査システムのシステム構成の一例を示す図である。
図１に示すように、学習フェーズにおける検査システム１００は、自動光学検査（ＡＯＩ：Automated Optical Inspection）装置１１０と、学習装置１２０とを有する。
ＡＯＩ装置１１０は、プリント基板１３０の自動外観検査を行う。ＡＯＩ装置１１０は、プリント基板１３０をカメラでスキャンし、種々の検査項目を検査することで、欠陥候補を検出する。ＡＯＩ装置１１０が検査する検査項目には、例えば、回路幅、回路間隔、ミッシングパッド／パッドなし、回路ショート等が含まれる。
ＡＯＩ装置１１０により検出された欠陥候補を含む各領域の画像１４０は、学習装置１２０に送信されるとともに、検査ラインに送信される。検査ラインでは、検査員等の検査員１１１が、欠陥候補を含む各領域の画像１４０を目視検査する。なお、ＡＯＩ装置１１０は、不良品を良品とすることがないように、欠陥候補を含む各領域の画像が過剰に検出されるように設定されているものとする。
検査員１１１は、各領域の画像１４０に欠陥が含まれているか否かを目視検査し、最終的に、プリント基板１３０が良品であるか不良品であるかを判断する。具体的には、欠陥候補を含む各領域の画像１４０のいずれにも欠陥が含まれていない場合には、プリント基板１３０は良品であると判断される。また、欠陥候補を含む各領域の画像１４０のいずれかに欠陥が含まれている場合には、プリント基板１３０は不良品であると判断される。
なお、検査員１１１は、目視検査の結果（各領域の画像１４０に欠陥が含まれているか否かを判断した結果）を、学習装置１２０に通知する。図１の例において、「目視検査結果：ＯＫ」とは、欠陥候補を含む領域の画像に欠陥が含まれていないと判断されたことを示し、「目視検査結果：ＮＧ」とは、欠陥候補を含む領域の画像に欠陥が含まれていると判断されたことを示している。
学習装置１２０には、学習プログラムがインストールされており、学習装置１２０は、当該プログラムを実行することで、学習用データセット生成部１２１、学習部１２２として機能する。
学習用データセット生成部１２１は、ＡＯＩ装置１１０から送信された、欠陥候補を含む各領域の画像１４０の中から、検査員１１１による目視検査の結果、欠陥が含まれていないと判断された画像を抽出する。また、学習用データセット生成部１２１は、抽出した各領域の画像を、目視検査の結果と対応付けて、学習用データセットとして学習用データセット格納部１２３に格納する。
学習部１２２は、学習用データセット格納部１２３に格納された学習用データセットに含まれる各領域の画像を読み出す。また、学習部１２２は、各領域の画像の一部をマスクすることでマスク画像を生成し、生成したマスク画像から、マスク前の画像が再現されるようにモデルに対して学習処理を行う。
なお、学習部１２２によって学習処理が行われるモデルには、例えば、画像の白抜き領域を補完するモデル等が用いられる。当該モデルでは、一部の領域が白抜きされた画像が入力された場合に、白抜きされた領域の周辺領域に基づき白抜きされた領域を補完し、白抜きされる前の元の画像を再現する。以下、当該モデルを、「画像再現部」と称す。
＜学習装置のハードウェア構成＞
次に、学習装置１２０のハードウェア構成について説明する。図２は、学習装置のハードウェア構成の一例を示す図である。図２に示すように、学習装置１２０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、学習装置１２０の各ハードウェアは、バス２０７を介して相互に接続されている。
プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、学習プログラム等）をメモリ２０２上に読み出して実行する。
メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは、例えば上記各機能（学習用データセット生成部１２１、学習部１２２）を実現する。
補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。例えば、学習用データセット格納部１２３は、補助記憶装置２０３において実現される。
Ｉ／Ｆ装置２０４は、外部装置の一例である操作装置２１０、表示装置２１１と、学習装置１２０とを接続する接続デバイスである。Ｉ／Ｆ装置２０４は、学習装置１２０に対する操作（例えば、検査員１１１による目視検査の結果を入力する操作、あるいは、学習装置１２０の管理者（不図示）が学習処理の指示を入力する操作等）を、操作装置２１０を介して受け付ける。また、Ｉ／Ｆ装置２０４は、学習装置１２０による学習処理の結果等を出力し、表示装置２１１を介して、学習装置１２０の管理者に表示する。
通信装置２０５は、他の装置（本実施形態では、ＡＯＩ装置１１０）と通信するための通信デバイスである。
ドライブ装置２０６は記録媒体２１２をセットするためのデバイスである。ここでいう記録媒体２１２には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１２には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２１２がドライブ装置２０６にセットされ、該記録媒体２１２に記録された各種プログラムがドライブ装置２０６により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０５を介してネットワークからダウンロードされることで、インストールされてもよい。
＜学習装置の各部の詳細＞
次に、学習装置１２０の各部（ここでは、学習用データセット生成部１２１、学習部１２２）の詳細について説明する。
（１）学習用データセット生成部による処理の具体例
図３は、学習装置の学習用データセット生成部による処理の具体例を示す図である。図３に示すように、ＡＯＩ装置１１０から、例えば、欠陥候補を含む各領域の画像３０１～３０６が送信されると、学習用データセット生成部１２１では、「目視検査結果：ＯＫ」の画像を抽出する。
図３の例は、各領域の画像３０１～３０６のうち、画像３０１、３０２、３０４、３０５は、「目視検査結果：ＮＧ」の画像であることを示している。このため、学習用データセット生成部１２１では、各領域の画像３０３、３０６（「目視検査結果：ＯＫ」の画像）を抽出して、学習用データセット３１０を生成する。
図３に示すように、学習用データセット３１０は、情報の項目として、"ＩＤ"、"画像"、"目視検査結果"とを有する。
"ＩＤ"には、各領域の画像を識別する識別子が格納される。"画像"には、各領域の画像が格納される。"目視検査結果"には、各領域の画像の目視検査の結果が格納される。なお、学習用データセット３１０には、「目視検査結果：ＯＫ」の画像のみが格納されるため、"目視検査結果"には、「ＯＫ」のみが格納される。
このように、学習用データセット生成部１２１は、
・ＡＯＩ装置１１０により検出された欠陥候補を含む各領域の画像、かつ、
・検査員１１１により、欠陥が含まれていないと判断された画像（「目視検査結果：ＯＫ」の画像）、
を用いて、学習用データセット３１０を生成する。
（２）学習部による処理の具体例
図４は、学習装置の学習部による処理の具体例を示す第１の図である。図４に示すように、学習部１２２は、マスク部４１０、画像再現部４２０、比較／変更部４３０を有する。
マスク部４１０は、学習用データセット格納部１２３に格納された学習用データセット３１０の"画像"に格納された各領域の画像（第１画像の一例。例えば、画像４４０）を読み出す。また、マスク部４１０は、読み出した画像４４０の一部をマスクすることで、マスク画像（第１マスク画像の一例。例えば、マスク画像４４０＿１～４４０＿ｎ）を生成する。また、マスク部４１０は、生成したマスク画像４４０＿１～４４０＿ｎを画像再現部４２０に入力する。なお、マスク部４１０が、読み出した画像４４０に対してマスクする際のマスク位置はランダムであり、例えば、マスク部４１０は、９～１６箇所程度の位置にマスクする。
画像再現部４２０は、マスク画像４４０＿１～４４０＿ｎに基づいて、マスク前の画像４４１＿１～４４１＿ｎを再現し、比較／変更部４３０に出力する。
比較／変更部４３０は、画像再現部４２０により再現された画像４４１＿１～４４１＿ｎと、マスク部４１０により読み出されたマスク前の画像４４０とを比較し、両者が一致するように、画像再現部４２０のモデルパラメータを更新する。
これにより、画像再現部４２０は、マスク部４１０により生成されたマスク画像４４０＿１～４４０＿ｎから、マスク前の画像４４０が再現されるように学習処理が行われることになる。このように、画像再現部４２０を用いる構成とすることで、学習装置１２０によれば、教師なしの学習処理を行うことができる。また、欠陥が含まれていない各領域の画像（「目視検査結果：ＯＫ」の画像）のみを用いて学習処理を行うことができる。これにより、様々な種類の欠陥が含まれている各領域の画像（「目視検査結果：ＮＧ」の画像）を収集して学習処理を行う場合と比較して、学習コストを低減させることができる。
なお、マスク前の画像が再現されるように学習処理が行われた学習済み画像再現部は、後述する検査フェーズにおいて用いられる。
＜検査フェーズにおける検査システムのシステム構成＞
次に、第１の実施形態に係る検査システムの、検査フェーズにおけるシステム構成について説明する。図５は、検査フェーズにおける検査システムのシステム構成の一例を示す図である。
図５に示すように、検査フェーズにおける検査システム５００は、ＡＯＩ装置１１０と、推論装置５１０とを有する。
このうち、ＡＯＩ装置１１０は、学習フェーズにおける検査システム１００のＡＯＩ装置１１０と同じであるため、ここでは説明を省略する。
推論装置５１０には、検査プログラムがインストールされており、当該プログラムが実行されることで、推論装置５１０は、推論部５１１、出力部５１２として機能する。
推論部５１１は、学習フェーズにおいて生成された学習済み画像再現部を有する。推論部５１１は、検査対象物であるプリント基板５３０に対して自動外観検査が行われることでＡＯＩ装置１１０から送信された各領域の画像５４０を取得する。また、推論部５１１は、取得した各領域の画像５４０の一部をマスクすることで、マスク画像を生成したのち、学習済み画像再現部に入力する。また、推論部５１１は、学習済み画像再現部により再現された画像と、マスク前の画像５４０とを比較することで、各領域の画像５４０に欠陥が含まれるか否かを判定する。更に、推論部５１１は、判定結果を出力部５１２に通知する。
出力部５１２は、推論部５１１より通知された判定結果を、検査ラインに出力する。検査ラインでは、検査員１１１が、欠陥候補を含む各領域の画像を目視検査する。ただし、検査フェーズにおいて、検査ラインでは、出力部５１２により出力された判定結果を参照し、欠陥候補を含む各領域の画像５４０のうち、推論装置５１０により欠陥が含まれないと判定された画像を除外する。そして、検査ラインでは、欠陥候補を含む各領域の画像５４０のうち、推論装置５１０により欠陥が含まれると判定された画像５５０を目視検査に割り当てる。つまり、出力部５１２では、欠陥が含まれると判定された画像５５０について目視検査を行うよう画像５５０を出力する。
このように、ＡＯＩ装置１１０においてプリント基板５３０に対して自動外観検査が行われ、欠陥候補を含む各領域の画像が検出された場合、検査ラインでは、推論装置５１０によって、欠陥が含まれると判定された画像を、目視検査に割り当てる。この結果、検査システム５００によれば、目視検査に割り当てる画像の数を減らすことが可能となり、検査員１１１による目視検査の作業負荷を低減させることができる。
＜推論装置のハードウェア構成＞
次に、推論装置５１０のハードウェア構成について説明する。図６は、推論装置のハードウェア構成の一例を示す図である。なお、図６に示すように、推論装置５１０のハードウェア構成は、学習装置１２０のハードウェア構成と概ね同じであることから、ここでは、学習装置１２０のハードウェア構成との相違点を中心に説明する。
プロセッサ６０１は、各種プログラム（例えば、検査プログラム等）をメモリ６０２上に読み出して実行する。プロセッサ６０１が、メモリ６０２上に読み出した各種プログラムを実行することで、プロセッサ６０１とメモリ６０２とにより形成されるコンピュータは、例えば上記各機能（推論部５１１、出力部５１２）を実現する。
＜推論装置の各部の詳細＞
次に、推論装置５１０の各部（ここでは、推論部５１１）の詳細について説明する。図７は、推論装置の推論部による処理の具体例を示す第１の図である。図７に示すように、推論部５１１は、マスク部７１０、学習済み画像再現部７２０、判定部７３０を有する。
マスク部７１０は、ＡＯＩ装置１１０から送信された欠陥候補を含む各領域の画像（第２画像の一例。例えば、画像７４１）を取得し、取得した画像の一部をマスクすることで、マスク画像（第２マスク画像の一例。例えば、マスク画像７４１＿１～７４１＿ｎ）を生成する。また、マスク部７１０は、生成したマスク画像７４１＿１～７４１＿ｎを学習済み画像再現部７２０に入力する。
学習済み画像再現部７２０は、学習フェーズにおいて画像再現部４２０に対して学習処理が行われることで生成された学習済みモデルである。学習済み画像再現部７２０は、マスク画像７４１＿１～７４１＿ｎに基づいて、マスク前の画像（第２再現画像の一例。例えば、画像７５１＿１～７５１＿ｎ）を再現する。
判定部７３０は、学習済み画像再現部７２０により再現された画像７５１＿１～７５１＿ｎと、マスク部７１０により取得されたマスク前の画像７４１とを比較して、欠陥が含まれるか否かを判定する。
具体的には、判定部７３０は、まず、再現された画像７５１＿１とマスク前の画像７４１の各画素の画素値の平均２乗誤差（ＭＳＥ：Mean Square Error）を算出する。続いて、判定部７３０は、再現された画像７５１＿２とマスク前の画像７４１の各画素の画素値の平均２乗誤差（ＭＳＥ）を算出する。以下、同様に、再現された画像７５１＿３とマスク前の画像７４１の各画素の画素値の平均２乗誤差（ＭＳＥ）～再現された画像７５１＿ｎとマスク前の画像７４１の各画素の画素値の平均２乗誤差（ＭＳＥ）を算出する。
続いて、判定部７３０は、算出した各ＭＳＥがいずれも、所定の閾値（Ｔｈ）以下であるか否かを判定する。算出した各ＭＳＥがいずれも、所定の閾値以下であると判定した場合、画像７４１には欠陥が含まれないと判定する（「判定結果：ＯＫ」）。一方、算出した各ＭＳＥのうち、いずれかのＭＳＥが所定の閾値を超えていると判定した場合、画像７４１には欠陥が含まれると判定する（「判定結果：ＮＧ」）。
このように、推論部５１１では、再現された画像と、マスク前の画像とを比較して、欠陥が含まれるか否かを判定する。これにより、例えば、マスク前の画像と基準画像とを比較して欠陥が含まれるか否かを判定する場合と比べて、良品の範囲内での製造ばらつき等に対応した判定結果を出力することが可能となる。
つまり、検査システム５００によれば、欠陥の見逃し防止を実現するように検出された欠陥候補を含む各領域の画像に対して、「目視検査結果：ＯＫ」となるであろう画像（「判定結果：ＯＫ」の画像）を、目視検査の割り当てから適切に除外することができる。この結果、検査システム５００によれば、目視検査に割り当てる画像の数を減らすことが可能となり、検査員の作業負荷を低減させることができる。
＜学習処理の流れ＞
次に、検査システム１００における学習処理の流れについて説明する。図８は、検査システムにおける学習処理の流れを示す第１のフローチャートである。
ステップＳ８０１において、学習装置１２０の学習用データセット生成部１２１は、ＡＯＩ装置１１０より、欠陥候補を含む各領域の画像を取得する。
ステップＳ８０２において、学習装置１２０の学習用データセット生成部１２１は、取得した各領域の画像から、「目視検査結果：ＯＫ」の画像を抽出し、学習用データセットを生成する。
ステップＳ８０３において、学習装置１２０の学習部１２２は、学習用データセットに含まれる各領域の画像の一部をマスクすることでマスク画像を生成し、生成したマスク画像から、マスク前の画像が再現されるように、画像再現部に対して学習処理を行う。
ステップＳ８０４において、学習装置１２０の学習部１２２は、学習処理を終了するか否かを判定する。ステップＳ８０４において、学習処理を継続すると判定した場合には（ステップＳ８０４においてＮｏの場合には）、ステップＳ８０１に戻る。
一方、ステップＳ８０４において、学習処理を終了すると判定した場合には（ステップＳ８０４においてＹｅｓの場合には）、ステップＳ８０５に進む。
ステップＳ８０５において、学習装置１２０の学習部１２２は、学習済み画像再現部を出力して、学習処理を終了する。
＜検査処理の流れ＞
次に、検査システム５００における検査処理の流れについて説明する。図９は、検査システムにおける検査処理の流れを示す第１のフローチャートである。
ステップＳ９０１において、推論装置５１０の推論部５１１は、ＡＯＩ装置１１０より、欠陥候補を含む各領域の画像を取得する。
ステップＳ９０２において、推論装置５１０の推論部５１１は、取得した各領域の画像の一部をマスクすることでマスク画像を生成し、生成したマスク画像を、学習済み画像再現部に入力することで、マスク前の画像を再現する。
ステップＳ９０３において、推論装置５１０の推論部５１１は、再現した画像と、マスク前の画像とを比較し、ＭＳＥを算出することで、マスク前の画像に欠陥が含まれるか否かを判定する。
具体的には、推論装置５１０の推論部５１１では、例えば、取得した画像を縦方向に３分割、横方向に３分割の計９分割にする。続いて、推論装置５１０の推論部５１１では、いずれかの１つの分割領域をマスクすることで生成したマスク画像についてＭＳＥを算出する処理を、マスクする分割領域を順次変えながら９回行う。そして、いずれか１つのマスク画像についてＭＳＥが閾値を超えた場合、推論装置５１０の推論部５１１では、当該取得した画像には、欠陥が含まれると判定する（「判定結果：ＮＧ」）。
ステップＳ９０４において、推論装置５１０の出力部５１２は、判定結果を報知する。これにより、自動外観検査が行われることでＡＯＩ装置１１０にて検出された欠陥候補を含む各領域の画像が、欠陥が含まれないと判定された画像（「判定結果：ＯＫ」の画像）と、欠陥が含まれると判定された画像（「判定結果：ＮＧ」の画像）とに分類される。この結果、欠陥が含まれると判定された画像（「判定結果：ＮＧ」の画像）のみを目視検査に割り当てることが可能となる。
ステップＳ９０５において、推論装置５１０の推論部５１１は、検査処理を終了するか否かを判定する。ステップＳ９０５において、検査処理を継続すると判定した場合には（ステップＳ９０５においてＮｏの場合には）、ステップＳ９０１に戻る。
一方、ステップＳ９０５において、検査処理を終了すると判定した場合には（ステップＳ９０５においてＹｅｓの場合には）、検査処理を終了する。
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る検査システムは、
・プリント基板を撮影した画像のうち、欠陥が含まれていないと判断された画像の一部をマスクすることでマスク画像を生成する。また、生成したマスク画像から、マスク前の画像が再現されるように、画像再現部に対して学習処理を行う。
・新たなプリント基板を撮影した画像の一部をマスクすることでマスク画像を生成する。また、生成したマスク画像を学習済み画像再現部に入力することでマスク前の画像を再現し、再現した画像と、マスク前の画像とを比較することで、マスク前の画像に欠陥が含まれるか否かを判定する。
このように、再現した画像とマスク前の画像とを比較して欠陥が含まれるか否かを判定することで、良品の範囲内での製造ばらつき等に対応した判定結果を出力することが可能となる。
つまり、第１の実施形態によれば、欠陥の見逃し防止を実現するように検出された欠陥候補を含む各領域の画像に対して、「目視検査結果：ＯＫ」となるであろう画像（「判定結果：ＯＫ」の画像）を、目視検査の割り当てから適切に除外することができる。この結果、第１の実施形態によれば、目視検査に割り当てる画像の数を減らすことが可能となり、検査員の作業負荷を低減させることができる。
［第２の実施形態］
上記第１の実施形態では、各領域の画像の一部をマスクすることで生成したマスク画像を、画像再現部に入力するものとして説明した。これに対して、第２の実施形態では、各領域の画像の一部をマスクすることで生成したマスク画像に、ＣＡＤ（Computer-aided design）データを重畳したうえで、画像再現部に入力する場合について説明する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
＜学習部による処理の具体例＞
はじめに、第２の実施形態に係る学習装置１２０の各部のうち、学習部１２２による処理の具体例について説明する。図１０は、学習装置の学習部による処理の具体例を示す第２の図である。
図１０に示すように、第２の実施形態において、学習部１２２が処理を行うにあたり、学習用データセット格納部１２３には、学習用データセット１０１０が格納されているものとする。
学習用データセット１０１０には、情報の項目として、学習用データセット３１０の情報の項目に加えて、"ＣＡＤデータ"が含まれる。"ＣＡＤデータ"には、"画像"に格納された各領域の画像に対応する領域のＣＡＤデータが格納される。図１０の例は、画像１０１２に対応する領域のＣＡＤデータ１０１１が格納されている様子を示している。
また、図１０に示すように、学習部１２２は、マスク部４１０、重畳部１０２０、画像再現部１０３０、比較／変更部１０４０を有する。
マスク部４１０は、図４で説明したマスク部４１０と同様であり、図１０の例は、学習用データセット１０１０の"画像"に格納された画像１０１２を読み出し、一部をマスクすることで、マスク画像１０３１を生成した様子を示している。
重畳部１０２０は、マスク部４１０により生成されたマスク画像のうち、マスクされた領域に、ＣＡＤデータの対応する領域を重畳し、重畳画像を生成する。図１１の例は、マスク画像１１４１のうち、マスクされた領域に、ＣＡＤデータ１０１１の対応する領域を重畳し、重畳画像１０３２を生成した様子を示している。
画像再現部１０３０は、重畳部１０２０にて生成された重畳画像に基づいて、マスク前の画像を再現し、比較／変更部１０４０に出力する。図１０の例は、重畳部１０２０にて生成された重畳画像１０３２に基づいてマスク前の画像１０３３を再現し、比較／変更部１０４０に出力した様子を示している。
比較／変更部１０４０は、画像再現部１０３０により再現された画像１０３３と、マスク部４１０によって読み出されたマスク前の画像１０１２とを比較し、両者が一致するように、画像再現部１０３０のモデルパラメータを更新する。
これにより、画像再現部１０３０は、重畳部１０２０により生成された重畳画像１０３２から、マスク前の画像１０１２が再現されるように学習処理が行われることになる。なお、マスク前の画像が再現されるように学習処理が行われた学習済み画像再現部は、後述する検査フェーズにおいて用いられる。
＜推論装置の各部の処理の具体例＞
次に、推論装置５１０の推論部５１１による処理の具体例について説明する。図１１は、推論装置の推論部による処理の具体例を示す第２の図である。図１１に示すように、推論部５１１は、マスク部７１０、重畳部１１１０、学習済み画像再現部１１２０、判定部１１３０を有する。
マスク部７１０は、図７のマスク部７１０と同様であり、図１１の例は、ＡＯＩ装置１１０から送信された画像１１０１の一部をマスクすることで、マスク画像１１４１を生成した様子を示している。なお、画像１１０１は、回路ショート等の欠陥が含まれている画像である。
重畳部１１１０は、マスク部７１０により生成されたマスク画像のうち、マスクされた領域に、ＣＡＤデータの対応する領域を重畳し、重畳画像を生成する。図１１の例は、マスク画像１１４１のうち、マスクされた領域に、ＣＡＤデータ１１０２の対応する領域を重畳し、重畳画像１１４２を生成した様子を示している。
学習済み画像再現部１１２０は、学習フェーズにおいて画像再現部１０３０に対して学習処理が行われることで生成された学習済みモデルである。学習済み画像再現部１１２０は、重畳部１１１０より通知された重畳画像に基づいて、マスク前の画像を再現する。図１１の例は、重畳部１１１０より通知された重畳画像１１４２に基づいて、マスク前の画像１１４３が再現された様子を示している。
判定部１１３０は、学習済み画像再現部１１２０により再現された画像１１４３と、マスク部７１０により取得されたマスク前の画像１１０１とを比較して、欠陥が含まれるか否かを判定する。図１１の例は、学習済み画像再現部１１２０により再現された画像１１４３と、マスク部７１０により取得されたマスク前の画像１１０１とを比較した結果、ＭＳＥが所定の閾値を超えており、欠陥が含まれると判定された様子（「判定結果：ＮＧ」）を示している。
このように、回路ショート等の欠陥が含まれる画像１１０１の場合、上記第１の実施形態で説明したマスク画像だけでは、「目視検査結果：ＯＫ」の画像を再現するように動作させることは困難である。回路ショート等の欠陥の場合、マスクした領域の周辺に、マスクした領域を補完するのに必要な情報が含まれていないからである。
これに対して、上記のように、マスクされた領域にＣＡＤデータの対応する領域を重畳することで、「目視検査結果：ＯＫ」の画像を再現するように動作させることが可能になる。この結果、再現された画像とマスク前の画像との誤差が大きくなり、回路ショート等の欠陥が含まれることを精度よく判定することが可能となる。
＜学習処理の流れ＞
次に、第２の実施形態に係る検査システム１００における学習処理の流れについて説明する。図１２は、検査システムにおける学習処理の流れを示す第２のフローチャートである。図８に示した第１のフローチャートとの相違点は、ステップＳ１２０１～Ｓ１２０３である。
ステップＳ１２０１において、学習装置１２０の学習用データセット生成部１２１は、ステップＳ８０１において取得された各領域の画像に対応するＣＡＤデータを取得する。
ステップＳ１２０２において、学習装置１２０の学習用データセット生成部１２１は、取得した各領域の画像から、「目視検査結果：ＯＫ」の画像を抽出する。また、学習装置１２０の学習用データセット生成部１２１は、抽出した各領域の画像を、対応する領域のＣＡＤデータと対応付けて学習用データセットを生成する。
ステップＳ１２０３において、学習装置１２０の学習部１２２は、学習用データセットに含まれる各領域の画像の一部をマスクすることでマスク画像を生成したのち、ＣＡＤデータの対応する領域を重畳することで重畳画像を生成する。
以下、ステップＳ８０３～Ｓ８０５は、図８を用いて説明済みであるため、ここでは説明を省略する。
＜検査処理の流れ＞
次に、第２の実施形態に係る検査システム５００における検査処理の流れについて説明する。図１３は、検査システムにおける検査処理の流れを示す第２のフローチャートである。図９に示した第１のフローチャートとの相違点は、ステップＳ１３０１～Ｓ１３０２である。
ステップＳ１３０１において、推論装置５１０の推論部５１１は、ステップＳ９０１において取得された各領域の画像に対応する領域のＣＡＤデータを取得する。
ステップＳ１３０２において、推論装置５１０の推論部５１１は、取得した各領域の画像の一部をマスクすることでマスク画像を生成したうえで、ＣＡＤデータの対応する領域を重畳し、重畳画像を生成する。
以下、ステップＳ９０２～Ｓ９０５は、図９を用いて説明済みであるため、ここでは説明を省略する。
＜まとめ＞
以上の説明から明らかなように、第２の実施形態に係る検査システムは、
・プリント基板を撮影した画像のうち、欠陥が含まれていないと判断された画像の一部をマスクすることでマスク画像を生成したうえで、ＣＡＤデータの対応する領域を重畳し、重畳画像を生成する。また、生成した重畳画像から、マスク前の画像が再現されるように、画像再現部に対して学習処理を行う。
・新たなプリント基板を撮影した画像の一部をマスクすることでマスク画像を生成したうえで、ＣＡＤデータの対応する領域を重畳し、重畳画像を生成する。また、生成した重畳画像を学習済みの画像再現部に入力することでマスク前の画像を再現し、再現した画像と、マスク前の画像とを比較することで、マスク前の画像に欠陥が含まれるか否かを判定する。
このように、重畳画像から「目視検査結果：ＯＫ」の画像が再現できるように学習処理を行う構成とすることで、回路ショート等の欠陥が含まれることを精度よく判定することが可能となる。この結果、第２の実施形態によれば、上記第１の実施形態と同様の効果を享受しつつ、誤判定を回避することが可能になる。
［第３の実施形態］
上記第１の実施形態では、学習フェーズにおいてマスク部４１０が、１個の画像（例えば、画像４４０）に対して複数個のマスク画像（例えば、マスク画像４４０＿１～４４０＿ｎ）を生成するものとして説明した。しかしながら、１個の画像から生成するマスク画像は複数個に限定されず、例えば、１個の画像から１個のマスク画像のみを生成するように構成してもよい。
また、上記第１の実施形態では、学習部１２２による学習処理の具体的な回数について言及しなかったが、例えば、１個の画像から１個のマスク画像を生成する場合にあっては、
・学習用データセット３１０として、１００００個の画像を用意し、
・その中の２０個の画像を選択して、それぞれの画像に対して、ランダムな位置及びランダムなサイズで、１箇所ずつマスクし、
・当該２０個のマスク画像を用いて、画像再現部４２０のモデルパラメータを更新する処理を、５００回（＝１００００個／２０個）行い、
・これらの処理を１セットとして、誤差が収束するまで１００００セット程度繰り返す。
これにより、推論部５１１では、精度の高い判定結果を出力することができる。
上記第２の実施形態では、マスク画像にＣＡＤデータを重畳するものとして説明したが、マスク画像に重畳するデータは、ＣＡＤデータに限定されない。例えば、検査フェーズにおいては、マスク画像に、「目視検査結果：ＯＫ」の画像の対応する領域を重畳するように構成してもよい。
また、上記第１及び第２の実施形態では、検査対象物がプリント基板である場合について説明したが、検査対象物はプリント基板に限定されない。
また、上記第１及び第２の実施形態では、判定結果に基づいて、目視検査に割り当てる画像を決定するものとして説明した。しかしながら、判定結果の利用方法はこれに限定されず、例えば、判定結果を検査員１１１に表示し、目視検査を支援するように構成してもよい。
また、上記第１及び第２の実施形態では、学習装置１２０と推論装置５１０とを別体として構成したが、学習装置１２０と推論装置５１０とは一体として構成してもよい。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
１００ ：検査システム
１１０ ：ＡＯＩ装置
１２０ ：学習装置
１２１ ：学習用データセット生成部
１２２ ：学習部
３１０ ：学習用データセット
４１０ ：マスク部
４２０ ：画像再現部
５００ ：検査システム
５１０ ：推論装置
５１１ ：推論部
５１２ ：出力部
７１０ ：マスク部
７２０ ：学習済み画像再現部
７３０ ：判定部

Claims (6)

  1. 検査対象物を撮影した画像のうち、欠陥が含まれていないと判断された第１画像の一部をマスクすることで生成された第１マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像から、マスク前の第１画像が再現されるように学習された画像再現部と、
    新たな検査対象物を撮影した第２画像の一部をマスクすることで生成された第２マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像を、前記画像再現部に入力することで再現された再現画像と、前記第２画像とに基づいて、前記第２画像に欠陥が含まれるか否かを判定する判定部と
    を有する検査システム。
  2. 前記判定部は、
    前記再現画像と、前記第２画像との各画素の画素値の誤差に基づいて算出される値が、所定の閾値以下である場合、前記第２画像に欠陥が含まれないと判定し、
    前記再現画像と、前記第２画像との各画素の画素値の誤差に基づいて算出される値が、所定の閾値を超えている場合、前記第２画像に欠陥が含まれると判定する、請求項１に記載の検査システム。
  3. 前記判定部により、前記第２画像に欠陥が含まれると判定された場合に、前記第２画像について目視検査を行うよう前記第２画像を出力する出力部を更に有する、請求項２に記載の検査システム。
  4. 検査対象物を撮影した画像のうち、欠陥が含まれていないと判断された第１画像の一部をマスクすることで生成された第１マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像から、マスク前の第１画像が再現されるよう、画像再現部に対して学習処理を行う学習部を更に有する、請求項１に記載の検査システム。
  5. 検査対象物を撮影した画像のうち、欠陥が含まれていないと判断された第１画像の一部をマスクすることで生成された第１マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像から、マスク前の第１画像が再現されるように学習された画像再現部に、新たな検査対象物を撮影した第２画像の一部をマスクすることで生成された第２マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像を入力することで再現された再現画像と、前記第２画像とに基づいて、前記第２画像に欠陥が含まれるか否かを判定する判定工程、
    を有する検査方法。
  6. 検査対象物を撮影した画像のうち、欠陥が含まれていないと判断された第１画像の一部をマスクすることで生成された第１マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像から、マスク前の第１画像が再現されるように学習された画像再現部に、新たな検査対象物を撮影した第２画像の一部をマスクすることで生成された第２マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像を入力することで再現された再現画像と、前記第２画像とに基づいて、前記第２画像に欠陥が含まれるか否かを判定する判定工程、
    をコンピュータに実行させるための検査プログラム。
JP2021010592A 2021-01-26 2021-01-26 検査システム、検査方法及び検査プログラム Active JP7563665B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021010592A JP7563665B2 (ja) 2021-01-26 2021-01-26 検査システム、検査方法及び検査プログラム
US17/579,971 US12099017B2 (en) 2021-01-26 2022-01-20 Inspection system, inspection method, and inspection program
EP22152408.5A EP4033447B1 (en) 2021-01-26 2022-01-20 Inspection system, inspection method, and inspection program
CN202210073166.0A CN114894801B (zh) 2021-01-26 2022-01-21 检查系统、检查方法及检查程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021010592A JP7563665B2 (ja) 2021-01-26 2021-01-26 検査システム、検査方法及び検査プログラム

Publications (2)

Publication Number Publication Date
JP2022114331A JP2022114331A (ja) 2022-08-05
JP7563665B2 true JP7563665B2 (ja) 2024-10-08

Family

ID=80122368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021010592A Active JP7563665B2 (ja) 2021-01-26 2021-01-26 検査システム、検査方法及び検査プログラム

Country Status (4)

Country Link
US (1) US12099017B2 (ja)
EP (1) EP4033447B1 (ja)
JP (1) JP7563665B2 (ja)
CN (1) CN114894801B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024204608A1 (ja) * 2023-03-29 2024-10-03 日東電工株式会社 判定装置、学習装置、判定方法、学習方法、判定プログラム及び学習プログラム
CN120303555A (zh) 2023-03-29 2025-07-11 日东电工株式会社 判定装置、学习装置、判定方法、学习方法、判定程序及学习程序

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100225666A1 (en) 2009-03-04 2010-09-09 VISIONx INC. Digital optical comparator
US20200005448A1 (en) 2018-06-29 2020-01-02 Photogauge, Inc. SYSTEM AND METHOD FOR USING IMAGES FROM A COMMODITY CAMERA FOR OBJECT SCANNING, REVERSE ENGINEERING, METROLOGY, ASSEMBLY, and ANALYSIS
US20200232934A1 (en) 2019-01-17 2020-07-23 Applied Materials Israel, Ltd. Multi-perspective wafer analysis
US20210004945A1 (en) 2019-07-05 2021-01-07 International Business Machines Corporation Image defect identification

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4027002C2 (de) * 1990-08-27 1995-10-05 Jena Engineering Gmbh Verfahren und Anordnung zur Kontrolle des Inhaltes von Bildern
JP2006250845A (ja) * 2005-03-14 2006-09-21 Topcon Corp パターン欠陥検査方法とその装置
JP2006293820A (ja) * 2005-04-13 2006-10-26 Sharp Corp 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
JP2007240860A (ja) * 2006-03-08 2007-09-20 Seiko Epson Corp 画像表示装置
JP4631809B2 (ja) * 2006-06-09 2011-02-16 富士ゼロックス株式会社 欠陥分類システム、画像形成装置および欠陥分類プログラム
JP5681924B2 (ja) * 2009-11-27 2015-03-11 ジーイー センシング アンド インスペクション テクノロジーズ ゲ−エムベーハー サンプルの立体表現を決定するためのコンピュータ断層撮影法、コンピュータソフトウェア、計算装置およびコンピュータ断層撮影システム
CN102109342B (zh) * 2009-12-29 2013-03-20 比亚迪股份有限公司 贴片产品自动检测方法及系统
JP2013098267A (ja) 2011-10-31 2013-05-20 Hitachi High-Technologies Corp 半導体パターン検査装置
US20130215132A1 (en) * 2012-02-22 2013-08-22 Ming Fong System for reproducing virtual objects
JP6654805B2 (ja) * 2015-03-12 2020-02-26 日東電工株式会社 配線回路基板の製造方法および検査方法
US10438340B2 (en) * 2017-03-21 2019-10-08 Test Research, Inc. Automatic optical inspection system and operating method thereof
JP7087397B2 (ja) * 2018-01-17 2022-06-21 東京エレクトロン株式会社 基板の欠陥検査装置、基板の欠陥検査方法及び記憶媒体
JP7042118B2 (ja) * 2018-03-08 2022-03-25 株式会社東芝 検査装置、検査方法、及びプログラム
DE102018207880A1 (de) * 2018-05-18 2019-11-21 Carl Zeiss Smt Gmbh Verfahren und Vorrichtung zum Bewerten einer unbekannten Auswirkung von Defekten eines Elements eines Photolithographieprozesses
JP7120528B2 (ja) 2018-09-21 2022-08-17 株式会社Ｓｃｒｅｅｎホールディングス 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置
US11189021B2 (en) * 2018-11-16 2021-11-30 Align Technology, Inc. Machine based three-dimensional (3D) object defect detection
IT201800011107A1 (it) 2018-12-14 2020-06-14 Sacmi Dispositivo di ispezione ottica di preforme
US11423529B2 (en) * 2020-02-18 2022-08-23 Applied Materials Isreal Ltd. Determination of defect location for examination of a specimen
CN111524100B (zh) * 2020-04-09 2023-04-18 武汉精立电子技术有限公司 一种缺陷图像样本生成方法、装置及面板缺陷检测方法
US11215564B2 (en) * 2020-04-30 2022-01-04 Renesas Electronics Corporation Visual inspections device, method of manufacturing and program the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100225666A1 (en) 2009-03-04 2010-09-09 VISIONx INC. Digital optical comparator
US20200005448A1 (en) 2018-06-29 2020-01-02 Photogauge, Inc. SYSTEM AND METHOD FOR USING IMAGES FROM A COMMODITY CAMERA FOR OBJECT SCANNING, REVERSE ENGINEERING, METROLOGY, ASSEMBLY, and ANALYSIS
US20200232934A1 (en) 2019-01-17 2020-07-23 Applied Materials Israel, Ltd. Multi-perspective wafer analysis
US20210004945A1 (en) 2019-07-05 2021-01-07 International Business Machines Corporation Image defect identification

Also Published As

Publication number Publication date
EP4033447B1 (en) 2024-11-13
JP2022114331A (ja) 2022-08-05
US12099017B2 (en) 2024-09-24
US20220236192A1 (en) 2022-07-28
EP4033447A1 (en) 2022-07-27
CN114894801A (zh) 2022-08-12
CN114894801B (zh) 2025-04-25

Similar Documents

Publication Publication Date Title
JP3834041B2 (ja) 学習型分類装置及び学習型分類方法
JP6204336B2 (ja) ウェーハ用検査工程を生成するための方法及びシステム
US7231079B2 (en) Method and system for inspecting electronic circuit pattern
TWI627397B (zh) 用於晶圓檢測之方法、晶圓檢測工具及非暫態電腦可讀媒體
CZ20024260A3 (cs) Systém zpracování zobrazení pro použití v systému kontroly
JP7563665B2 (ja) 検査システム、検査方法及び検査プログラム
JP2003100826A (ja) 検査データ解析プログラムと検査装置と検査システム
JP4357134B2 (ja) 検査システムと検査装置と半導体デバイスの製造方法及び検査プログラム
JP2023542054A (ja) 電子設計向け形状データを生成する方法及びシステム
JP2022139174A (ja) 欠陥分類装置、方法およびプログラム
US20230402249A1 (en) Defect inspection apparatus
JP7392166B2 (ja) 画像生成装置、画像生成方法およびプログラム
JP5175577B2 (ja) 集積回路パターンの欠陥検査方法、及びその装置
US8300918B2 (en) Defect inspection apparatus, defect inspection program, recording medium storing defect inspection program, figure drawing apparatus and figure drawing system
JP7570575B1 (ja) 判定装置、学習装置、判定方法、学習方法、判定プログラム及び学習プログラム
JP7570574B1 (ja) 判定装置、学習装置、判定方法、学習方法、判定プログラム及び学習プログラム
JP2023007260A (ja) 計算機及び外観検査方法
JP4209156B2 (ja) 検査条件データ管理方法及びシステム並びにプログラム、コンピュータ読取り可能な記録媒体
JP2022182702A (ja) 評価プログラム、評価方法、及び情報処理装置
CN113205110B (zh) 一种面板缺陷分类模型的建立方法及面板缺陷分类方法
TWI887729B (zh) 訓練系統與方法、測試系統與方法、資料篩選系統與方法以及內儲程式之電腦可讀取記錄媒體
WO2024181307A1 (ja) 情報処理システムおよびコンピュータプログラム
JP6123398B2 (ja) 欠陥箇所予測装置、識別モデル生成装置、欠陥箇所予測プログラムおよび欠陥箇所予測方法
TW202342970A (zh) 用於基體缺陷檢測之動態模型化技術
CN119478576A (zh) 训练系统与方法、测试系统与方法、数据筛选系统与方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240910

R150 Certificate of patent or registration of utility model

Ref document number: 7563665

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150