JP7803068B2 - Image inspection method and image inspection device - Google Patents
Image inspection method and image inspection deviceInfo
- Publication number
- JP7803068B2 JP7803068B2 JP2021161192A JP2021161192A JP7803068B2 JP 7803068 B2 JP7803068 B2 JP 7803068B2 JP 2021161192 A JP2021161192 A JP 2021161192A JP 2021161192 A JP2021161192 A JP 2021161192A JP 7803068 B2 JP7803068 B2 JP 7803068B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- defective
- images
- defect
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8874—Taking dimensions of defect into account
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Preparing Plates And Mask In Photomechanical Process (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、検査対象物の画像を検査することで検査対象物の良不良を判定するための画像検査方法、及び画像検査装置に関する。 The present invention relates to an image inspection method and image inspection device for determining whether an object is good or bad by inspecting an image of the object.
従来、実際の製造工程では品質管理のために必要な数の不良画像が得られない場合に、良品画像を基に疑似的な不良画像を作成することが知られている。例えば、初期学習時に必要とする不良画像を擬似的に作成する場合に、自動的且つ大量に作成することが可能な疑似不良画像自動作成装置が公知である。当該疑似不良画像自動作成装置は、ニューラルネットワークの学習データとして、良品画像は良品入力部から入力し、学習する。また、不良画像は不良画像入力部から入力し、学習する。さらに、不良画像抽出部で、良品との差分データを抽出し、疑似データ条件設定部では、乱数発生部の乱数値から不良合成位置等の不良作成条件を幾通りも作成し、この不良作成条件に基づいて疑似不良画像作成部が良品画像に差分データを合成することで、幾通りもの疑似不良画像を作成し、ニューラルネットワークの学習データとして入力する（例えば、特許文献１参照）。 It is known that when the number of defective images required for quality control cannot be obtained in the actual manufacturing process, pseudo-failure images are created based on images of good products. For example, an automatic pseudo-failure image creation device is known that can automatically create large quantities of pseudo-failure images required for initial learning. In this automatic pseudo-failure image creation device, good-product images are input from a good-product input unit as learning data for the neural network and used for learning. Also, defective images are input from a defective image input unit and used for learning. Furthermore, a defective image extraction unit extracts difference data from good products, and a pseudo-data condition setting unit creates multiple defect creation conditions, such as defect combination positions, based on random numbers from a random number generator. Based on these defect creation conditions, the pseudo-failure image creation unit combines the difference data with good-product images to create multiple pseudo-failure images, which are then input as learning data for the neural network (see, for example, Patent Document 1).
また、良品と不良品とを判別するモデルを精度良く学習させることができる学習装置も公知である。当該学習装置は、中間画像生成部と、中間画像表示部と、境界受付部と、教師画像特定部とを備える。中間画像生成部は、良品を表す画像である良品画像と不良品を表す画像である不良品画像とから、複数の中間画像を生成する。中間画像表示部は、良品画像と不良品画像の間に複数の中間画像を配置して表示装置に表示する。境界受付部は、良品画像と不良品画像の境界として、中間画像の境界の指定をユーザから受け付ける。教師画像特定部は、指定された境界に基づいて良品画像および不良品画像の画像を特定する（例えば、特許文献２参照）。また、不良品画像から良品画像を容易に生成することのできる画像処理装置も公知である（例えば、特許文献３参照）。 A learning device capable of accurately training a model for distinguishing between good and defective products is also known. This learning device includes an intermediate image generation unit, an intermediate image display unit, a boundary acceptance unit, and a teacher image identification unit. The intermediate image generation unit generates multiple intermediate images from good product images, which are images representing good products, and defective product images, which are images representing defective products. The intermediate image display unit arranges the multiple intermediate images between the good product images and the defective product images and displays them on the display device. The boundary acceptance unit accepts a user's specification of the boundary of the intermediate images as the boundary between the good product images and the defective product images. The teacher image identification unit identifies good product images and defective product images based on the specified boundary (see, for example, Patent Document 2). An image processing device capable of easily generating good product images from defective product images is also known (see, for example, Patent Document 3).
上記特許文献１において開示されているような発明内容によると、良品画像に係るデータと不良画像に係るデータとに基づいて疑似不良画像を作成し、その疑似不良画像をニューラルネットワークの学習データとして入力することで、疑似不良画像自動作成装置の検査装置としての良否判定の精度を高めることができる。しかし、疑似不良画像やその計測値を、過去から蓄積されている不良画像を用いて効率よく作成できるとは言えなかった。 According to the invention disclosed in Patent Document 1, pseudo-failure images are created based on data relating to images of good products and data relating to images of defective products, and these pseudo-failure images are then input as training data for a neural network, thereby improving the accuracy of pass/fail judgments made by the pseudo-failure image automatic creation device as an inspection device. However, it has not been possible to efficiently create pseudo-failure images and their measurement values using previously accumulated defective images.
また、上記特許文献２において開示されているような発明内容によると、良品画像と不良品画像とに基づいて複数の中間画像を生成する際に、境界受付部において、良品画像と不良品画像の境界として、中間画像の境界の指定をユーザから受け付ける。しかし、中間画像の境界を指定する際に不良品画像が十分に得られなかった場合、良品画像のみに基づいて中間画像の境界を指定しなければならず、経験に頼った指定が必要となる虞がある。この経験に頼った指定は、学習装置による検査品質にばらつきを生じさせる虞があるため、好ましくない。また、過去から蓄積されている不良画像を用いて新たな疑似不良画像を効率よく作成できるとは言えなかった。 Furthermore, according to the invention disclosed in Patent Document 2, when generating multiple intermediate images based on images of good products and images of defective products, a boundary acceptance unit accepts from the user the designation of the boundaries of the intermediate images as the boundaries between the good product images and the defective product images. However, if there are not enough defective product images available when designating the boundaries of the intermediate images, the boundaries of the intermediate images must be designated based only on the good product images, which may require designation based on experience. Designation based on experience is undesirable, as it may cause variations in the inspection quality of the learning device. Furthermore, it has not been possible to efficiently create new pseudo-failure images using previously accumulated defective images.
本発明は、上記のような問題点に鑑みてなされたものであり、過去に取得された不良箇所の画像を、良品画像に転写することで、疑似的な不良箇所の画像を効率よく作成し、品質管理に利用可能とする、画像検査方法及び画像検査装置を提供することを最終的な目的とする。 The present invention was made in consideration of the above-mentioned problems, and its ultimate objective is to provide an image inspection method and image inspection device that efficiently creates images of pseudo-defective areas by transferring previously acquired images of defective areas onto images of good products, making them usable for quality control.
上記の課題を解決するための本発明は、
画像検査装置を用いて検査対象物における良品と不良品の判別を可能とする画像検査方法であって、
前記良品の画像を表示する画像表示ステップと、
前記良品と同種の検査対象物における複数の不良箇所の画像を表示する不良画像表示ステップと、
前記良品の画像における転写先、及び当該転写先に対応して前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を選択する選択ステップと、
前記良品の画像における前記転写先に、前記選択ステップにおいて選択された前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写ステップと、
を有する、画像検査方法である。
To solve the above problems, the present invention provides:
An image inspection method that enables discrimination between good and bad products in an inspection object using an image inspection device, comprising:
an image display step of displaying an image of the non-defective product;
a defect image display step of displaying images of a plurality of defect locations in an inspection object of the same type as the non-defective product;
a selection step of selecting a transfer destination in the image of the non-defective product and one or more images of defective parts from the images of the plurality of defective parts corresponding to the transfer destination;
a transfer step of transferring the image of one or more defective parts from the images of the plurality of defective parts selected in the selection step onto the transfer destination of the image of the non-defective product, thereby generating a transferred image;
The image inspection method includes the steps of:
本発明によれば、転写ステップにおいて、良品の画像における転写先に不良箇所の画像を転写することで、疑似的な不良箇所の画像を効率よく生成することが可能である。この疑似的な不良箇所の画像は、製造工程における良品と不良品の違いの判別するために用いることが可能であり、これによって、良品と不良品の違いを画像検査装置に登録するティーチングという作業が容易に実行しやすくなる。良品と不良品の違いの判別基準として、この転写画像を提供することもできる。また、転写ステップにおいて転写する不良箇所の画像が多いほど、より多くの疑似的な不良箇所の画像が得られる。 According to the present invention, in the transfer step, images of defective areas are transferred onto the transfer destination of images of good products, making it possible to efficiently generate images of pseudo-defective areas. These images of pseudo-defective areas can be used to distinguish between good and defective products in the manufacturing process, thereby facilitating the task of teaching, which registers the differences between good and defective products in an image inspection device. These transferred images can also be provided as a standard for distinguishing between good and defective products. Furthermore, the more images of defective areas that are transferred in the transfer step, the more images of pseudo-defective areas can be obtained.
また、本発明においては、前記転写画像を表示する転写画像表示ステップと、前記転写画像における所定の特徴量を計測する計測ステップと、前記計測ステップにおいて得られた計測結果または、前記計測ステップにおいて得られた計測結果及び他の検査対象物における前記所定の特徴量の計測結果を表示する計測結果表示ステップと、をさらに有する、画像検査方法としてもよい。これによれば、良品と不良品の違いを視覚的及び数値的に判別することが可能であり、判別基準がより明確になるため、ティーチングがより容易に実行しやすくなる。 The present invention may also be an image inspection method further comprising a transfer image display step of displaying the transfer image, a measurement step of measuring a predetermined feature value in the transfer image, and a measurement result display step of displaying the measurement results obtained in the measurement step, or the measurement results obtained in the measurement step and the measurement results of the predetermined feature value in another object to be inspected. This makes it possible to visually and numerically distinguish between good and bad products, and the discrimination criteria become clearer, making teaching easier to perform.
また、本発明においては、前記画像表示ステップ及び前記不良画像表示ステップにおいて、前記良品の画像及び前記複数の不良箇所の画像は、それぞれＸＹＺの三方向からの断層画像として表示されることを特徴とする、画像検査方法としてもよい。これによれば、不良品が立体的である場合、当該不良品における不良箇所を死角によって見落とすリスクを防止することができる。 The present invention may also be an image inspection method characterized in that, in the image display step and the defective image display step, the image of the non-defective product and the images of the multiple defective locations are displayed as cross-sectional images from three directions: X, Y, and Z. This prevents the risk of overlooking defective locations in the defective product due to blind spots when the defective product is three-dimensional.
また、本発明においては、前記転写ステップにおいて、前記転写先のサイズと、前記不良箇所の画像のサイズが異なる場合、それぞれのサイズが同じになるように前記不良箇所の画像のサイズを調整することが可能である、画像検査方法としてもよい。これによれば、転写先のサイズによらず転写することが可能である。 Furthermore, the present invention may also be an image inspection method in which, if the size of the transfer destination and the size of the image of the defective area differ in the transfer step, the size of the image of the defective area can be adjusted so that they are the same size. This makes it possible to transfer regardless of the size of the transfer destination.
また、本発明においては、前記計測結果表示ステップにおいて、前記計測結果はヒストグラムで表示されることを特徴とする、画像検査方法としてもよい。ヒストグラムで表示
されることで、計測値に応じて不良品の頻度が簡単に確認できる。
Furthermore, the present invention may be an image inspection method characterized in that in the measurement result display step, the measurement results are displayed as a histogram. By displaying the measurement results as a histogram, the frequency of defective products can be easily confirmed according to the measurement values.
また、本発明においては、前記検査対象物は、電子素子を搭載した回路基板であり、
前記良品の画像における前記転写先は、前記電子素子と前記回路基板の接続部であり、
前記良品画像における前記接続部のＸＹ方向の境界は、二値化によって自動で判定されることを特徴とする、画像検査方法としてもよい。これによれば、転写先が明確に定まる。
In the present invention, the inspection object is a circuit board on which electronic elements are mounted,
the transfer destination in the image of the non-defective product is a connection portion between the electronic element and the circuit board,
The image inspection method may be characterized in that the boundaries of the connection portions in the non-defective product image in the X and Y directions are automatically determined by binarization, thereby clearly determining the transfer destination.
また、本発明においては、前記接続部のＺ方向の境界は、前記接続部の両端であり、前記接続部の両端の位置を捉えることによって自動で設定されることを特徴とする、画像検査方法としてもよい。これによれば、良品が立体的である場合にも転写先が明確に定まる。 The present invention may also be an image inspection method characterized in that the Z-direction boundaries of the connection are both ends of the connection, and are automatically set by capturing the positions of both ends of the connection. This allows the transfer destination to be clearly determined even when the non-defective product is three-dimensional.
また、本発明においては、上述の画像検査方法における、複数の不良箇所の画像の管理方法であって、過去の検査で取得された前記複数の不良箇所の画像がデータベース化されており、前記複数の不良箇所の画像のそれぞれに対して、前記検査対象物の種類、及び不良の種類、及び不良度合いを表す数値による不良段階が紐付けされており、当該数値による不良段階は、過去に前記計測ステップにおいて計測された計測結果に基づき、あるいは過去に目視によって判定された結果に基づき、決定される数値であることを特徴とする、不良箇所の画像の管理方法としてもよい。これによれば、不良箇所に係るより詳細な情報を把握することが可能である。この不良箇所に係るより詳細な情報を提供することもできる。 The present invention may also provide a method for managing images of a plurality of defective areas in the image inspection method described above, in which images of the plurality of defective areas acquired in past inspections are compiled into a database, and each of the images of the plurality of defective areas is linked to the type of object being inspected, the type of defect, and a numerical defect level representing the degree of defect, and the numerical defect level is determined based on the results of measurements taken in the measurement step in the past or on the results of visual inspection in the past. This makes it possible to grasp more detailed information about the defective areas. It is also possible to provide this more detailed information about the defective areas.
また、本発明においては、
検査対象物における良品と不良品の判別を可能とする画像検査装置であって、
前記良品の画像のデータを蓄積するデータベースと、
前記良品と同種の検査対象物における複数の不良箇所の画像のデータを蓄積する不良データベースと、
前記データベースから取得した前記良品の画像における転写先に、当該転写先に対応して前記不良データベースから取得した前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写部と、
前記データベースから取得した前記良品の画像、及び前記不良データベースから取得した前記複数の不良箇所の画像を表示する表示部と、
を備える、画像検査装置としてもよい。
In addition, in the present invention,
An image inspection device that can distinguish between good and bad products in an inspection object,
a database that stores data on images of the non-defective products;
a defect database that stores image data of a plurality of defect locations in an inspection object of the same type as the non-defective product;
a transfer unit that transfers, to a transfer destination in the image of the non-defective product acquired from the database, one or more images of defective parts among the images of the plurality of defective parts acquired from the defect database corresponding to the transfer destination, thereby generating a transferred image;
a display unit that displays the image of the non-defective product acquired from the database and the images of the plurality of defective locations acquired from the defect database;
The image inspection device may include the following.
本発明によれば、簡単な装置構成で、良品の画像における転写先に不良箇所の画像を転写することが可能である。これによって、良品と不良品の違いを判別することが可能となり、また、良品と不良品の違いを判別することが可能となることで、ティーチングが容易に実行しやすくなる。 This invention makes it possible to transfer an image of a defective part onto the transfer destination of an image of a good product using a simple device configuration. This makes it possible to distinguish between good and defective products, and by being able to distinguish between good and defective products, teaching becomes easier to carry out.
また、本発明においては、前記転写画像における所定の特徴量を計測する計測部、をさらに備え、前記表示部は、前記転写部において得られた前記転写画像、及び前記計測部において得られた計測結果及び他の検査対象物における前記所定の特徴量の計測結果をも表示することを特徴とする、画像検査装置としてもよい。これによれば、良品と不良品の違いを視覚的及び数値的に判別することが可能であり、判別基準がより明確になるため、ティーチングがより容易に実行しやすくなる。 The present invention may also be an image inspection device further comprising a measurement unit that measures predetermined feature quantities in the transferred image, and the display unit displays the transferred image obtained by the transfer unit, the measurement results obtained by the measurement unit, and the measurement results of the predetermined feature quantities in other objects being inspected. This makes it possible to visually and numerically distinguish between good and bad products, and makes the discrimination criteria clearer, making teaching easier to carry out.
また、本発明においては、前記表示部において、前記良品の画像及び前記複数の不良箇所の画像は、それぞれＸＹＺの三方向からの断層画像として表示されることを特徴とする、画像検査装置としてもよい。これによれば、不良品が立体的である場合、当該不良品に
おける不良箇所を死角によって見落とすリスクを防止することができる。表示部は、良品の画像及び複数の不良箇所の画像を、ＸＹ方向及びＹＺ方向及びＸＺ方向の全ての方向からの断層画像として表示できるため、良品及び不良箇所の全体像が把握しやすい。
Furthermore, the present invention may be an image inspection device characterized in that the image of the non-defective product and the images of the plurality of defective locations are displayed on the display unit as cross-sectional images from three directions, X, Y, and Z. This prevents the risk of overlooking defective locations in the defective product due to blind spots when the defective product is three-dimensional. Since the display unit can display the image of the non-defective product and the images of the plurality of defective locations as cross-sectional images from all directions, X, Y, Z, and XZ, it is easy to grasp the overall image of the non-defective product and the defective locations.
また、本発明においては、前記転写部において、前記転写先のサイズと、前記不良箇所の画像のサイズが異なる場合、それぞれのサイズが同じになるように前記不良箇所の画像のサイズを調整することが可能である、画像検査装置としてもよい。これによれば、転写先のサイズによらず転写することが可能である。 Furthermore, in the present invention, the image inspection device may be configured such that, if the size of the transfer destination and the size of the image of the defective area differ, the transfer unit can adjust the size of the image of the defective area so that they are the same size. This makes it possible to transfer regardless of the size of the transfer destination.
また、本発明においては、前記表示部において、前記計測結果はヒストグラムで表示されることを特徴とする、画像検査装置としてもよい。ヒストグラムで表示されることで、計測値に応じて不良品の頻度が簡単に確認できる。また、表示部において転写画像とヒストグラムを同時に表示することができれば、良品と不良品の違いを視覚的及び数値的に判別することがより容易になる。 The present invention may also be an image inspection device characterized in that the measurement results are displayed as a histogram on the display unit. By displaying the results as a histogram, the frequency of defective products can be easily confirmed according to the measurement values. Furthermore, if the transfer image and histogram can be displayed simultaneously on the display unit, it becomes easier to visually and numerically distinguish between good and defective products.
また、本発明においては、前記検査対象物は、電子素子を搭載した回路基板であり、前記良品の画像における前記転写先は、前記電子素子と前記回路基板の接続部であり、前記良品画像における前記接続部のＸＹ方向の境界は、二値化によって自動で判定されることを特徴とする、画像検査装置としてもよい。これによれば、転写先が明確に定まる。 The present invention may also be an image inspection device in which the object to be inspected is a circuit board equipped with electronic elements, the transfer destination in the image of the non-defective product is the connection between the electronic element and the circuit board, and the boundaries in the X and Y directions of the connection in the non-defective product image are automatically determined by binarization. This allows the transfer destination to be clearly determined.
また、本発明においては、前記接続部のＺ方向の境界は、前記接続部の両端であり、前記接続部の両端の位置を捉えることによって自動で設定されることを特徴とする、画像検査装置としてもよい。これによれば、良品が立体的である場合にも転写先が明確に定まる。 The present invention may also be an image inspection device in which the Z-direction boundaries of the connection are both ends of the connection, and are automatically set by capturing the positions of both ends of the connection. This allows the transfer destination to be clearly determined even when the non-defective product is three-dimensional.
また、本発明においては、前記不良データベースにおいて、過去の検査で取得された前記複数の不良箇所の画像がデータベース化されており、前記複数の不良箇所の画像のそれぞれに対して、前記検査対象物の種類、及び不良の種類、及び不良度合いを表す数値による不良段階が紐付けされており、当該数値による不良段階は、過去に前記計測部において計測された計測結果に基づき、あるいは過去に目視によって判定された結果に基づき、決定される数値であることを特徴とする、画像検査装置としてもよい。これによれば、不良箇所に係るより詳細な情報を把握することができる。 The present invention may also be an image inspection device characterized in that the defect database stores images of the plurality of defect locations acquired in past inspections, and each of the images of the plurality of defect locations is associated with the type of object being inspected, the type of defect, and a numerical defect level representing the degree of defect, the numerical defect level being determined based on the results of measurements previously taken by the measurement unit or the results of previous visual inspection. This makes it possible to obtain more detailed information about the defect locations.
なお、上記の課題を解決するための手段は、可能な限り互いに組み合わせて用いることができる。 Note that the means for solving the above problems can be used in combination with each other whenever possible.
本発明によれば、ある部品の不良箇所の画像を、良品画像に転写することで、疑似的な不良箇所の画像を効率よく作成し、品質管理に利用することが可能となる。その結果、疑似的な不良箇所の画像と計測値を生成及び表示し、良品と不良品の違いを視覚的及び数値的に判別することが可能となる。また、充分な不良箇所の画像を確保することができ、ティーチングが容易に実行しやすくなる。 According to the present invention, by transferring an image of a defective part of a component onto an image of a good product, it is possible to efficiently create images of pseudo-defective parts and use them for quality control. As a result, images of pseudo-defective parts and measurement values can be generated and displayed, making it possible to visually and numerically distinguish between good and defective parts. In addition, it is possible to secure sufficient images of defective parts, making teaching easier to carry out.
〔適用例〕
以下に本発明の適用例の概要について一部の図面を用いて説明する。本発明は図１に示すようなＸ線検査装置１に適用することができる。また、本発明はＸ線検査装置１を用いることで、図６のフローチャートに示すような処理に適用することができる。
[Application example]
An outline of an application example of the present invention will be described below with reference to some of the drawings. The present invention can be applied to an X-ray inspection apparatus 1 as shown in Fig. 1. Furthermore, by using the X-ray inspection apparatus 1, the present invention can be applied to processing as shown in the flowchart of Fig. 6.
図１は、本発明が適用可能なＸ線検査装置１の一例を示す機能ブロック図である。図１に示すように、Ｘ線検査装置１は大別して、撮像部１０、及び演算部２０、及び表示部３０を備えて構成される。撮像部１０は、ステージ１１、及び撮像条件記憶部１２、及びＸ線発生器１３、及びＸ線検出器１４を備えて構成される。Ｘ線検査装置１による検査の検査対象物（例えば電子部品がはんだ付けされた回路基板等）はステージ１１上に置かれ、撮像条件記憶部１２にから読み出された撮像条件（例えば撮像距離や輝度等）に基づいて撮像カメラ（図示略）によって撮像される。また、ステージ１１上に置かれた検査対象物は、Ｘ線発生器１３から発生するＸ線によって、立体構造等が解析される。Ｘ線検出器１４は、Ｘ線発生器１３から照射され検査対象物を透過したＸ線の強度を検出する。 Figure 1 is a functional block diagram showing an example of an X-ray inspection device 1 to which the present invention can be applied. As shown in Figure 1, the X-ray inspection device 1 is broadly composed of an imaging unit 10, a calculation unit 20, and a display unit 30. The imaging unit 10 is composed of a stage 11, an imaging condition storage unit 12, an X-ray generator 13, and an X-ray detector 14. An object to be inspected by the X-ray inspection device 1 (e.g., a circuit board with electronic components soldered thereto) is placed on the stage 11 and imaged by an imaging camera (not shown) based on imaging conditions (e.g., imaging distance, brightness, etc.) read from the imaging condition storage unit 12. Furthermore, the three-dimensional structure of the object to be inspected placed on the stage 11 is analyzed using X-rays generated by the X-ray generator 13. The X-ray detector 14 detects the intensity of X-rays irradiated from the X-ray generator 13 and transmitted through the object to be inspected.
演算部２０は、三次元データ作成部２１、及びデータベース２２、及び不良データベース２３、及び転写部２４、及び計測部２５を備えて構成される。三次元データ作成部２１は、撮像カメラによって撮像された検査対象物の画像に基づき、三次元データを作成する。なお、三次元データとは、ＸＹＺの三方向から見た際の断層画像のことである。ここで、検査対象物の製造工程において不良が発生する頻度が低いといった理由により、検査対象物から不良品の三次元データを取得することは困難であることが多い。そのため、検査対象物の三次元データは良品のデータとして作成されることが多い。また、作成された三次元データはデータベース２２に蓄積される。なお、例えば検査対象物が平面構造体である場合や検査対象物の表面のみのデータを取得したい場合等は、演算部２０は三次元データ作成部２１ではなく、二次元データを作成する構成を備えていてもよい。不良データベース２３は、検査対象物と同じ種類の部品における複数の不良箇所の三次元データを蓄積している。なお、不良データベース２３が蓄積しているデータについても、二次元データであってもよい。 The calculation unit 20 is configured with a three-dimensional data creation unit 21, a database 22, a defect database 23, a transfer unit 24, and a measurement unit 25. The three-dimensional data creation unit 21 creates three-dimensional data based on images of the inspection object captured by an imaging camera. Three-dimensional data refers to cross-sectional images viewed from three directions (X, Y, and Z). It is often difficult to obtain three-dimensional data of defective products from inspection objects due to the low frequency of defects in the manufacturing process of the inspection objects. For this reason, the three-dimensional data of the inspection objects is often created as data on non-defective products. The created three-dimensional data is stored in the database 22. For example, if the inspection object is a planar structure or if data on only the surface of the inspection object is to be obtained, the calculation unit 20 may be configured to create two-dimensional data instead of the three-dimensional data creation unit 21. The defect database 23 stores three-dimensional data for multiple defect locations in parts of the same type as the inspection object. The data stored in the defect database 23 may also be two-dimensional data.
表示部３０は、三次元データ作成部２１が作成した三次元データ（以下、不良箇所の三次元データと明確に区別するため、当該三次元データを「良品の画像」という）、及び不良データベース２３が蓄積している不良箇所の三次元データ（以下、「不良箇所の画像」という）を表示する。不良データベース２３には、予め過去の検査で取得された不良箇所の画像がデータベース化されている。表示部３０において、良品の画像の一部の領域、及び不良箇所の画像を選択することで、転写部２４は良品の画像の一部の領域を転写先として、不良箇所の画像を転写する。これによって、良品の画像を更新し、疑似的な不良箇所を含む転写画像を生成する。ここで、転写とは、一般的な画像処理手法（例えば二値化による手法）を組み合わせて、不自然にならないように画像の切り貼りをする処理のことを
意味する（以下の実施例に記載の転写についても同様である）。また、転写先とは、画像の切り貼りをする処理が実行される領域のことを意味する（以下の実施例に記載の転写先についても同様である）。表示部３０は、この転写画像を表示し、計測部２５は表示された転写画像を計測する。計測が終了すると表示部３０は計測結果（図示略）を表示する。この計測結果によって、検査対象物における不良の発生頻度を確認することができる。
The display unit 30 displays the three-dimensional data created by the three-dimensional data creation unit 21 (hereinafter, to clearly distinguish this three-dimensional data from the three-dimensional data of the defective portion, this three-dimensional data will be referred to as the "image of the non-defective product") and the three-dimensional data of the defective portion stored in the defect database 23 (hereinafter, referred to as the "image of the defective portion"). The defect database 23 stores images of the defective portion previously acquired in past inspections in a database. By selecting a partial area of the image of the non-defective product and the image of the defective portion on the display unit 30, the transfer unit 24 transfers the image of the defective portion to the partial area of the image of the non-defective product as the transfer destination. This updates the image of the non-defective product and generates a transferred image including the pseudo-defective portion. Here, "transfer" refers to a process of cutting and pasting an image without creating an unnatural appearance by combining a general image processing method (e.g., a binarization method) (the same applies to the transfer described in the following examples). Furthermore, the "transfer destination" refers to the area where the image cutting and pasting process is performed (the same applies to the transfer destination described in the following examples). The display unit 30 displays this transferred image, and the measurement unit 25 measures the displayed transferred image. When the measurement is completed, the measurement results (not shown) are displayed on the display unit 30. From these measurement results, the frequency of defects occurring in the test object can be confirmed.
なお、上記の演算部２０が実行する演算処理と表示部３０が表示する内容について、詳細は以下の実施例において、図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、図５を用いて説明する。 The calculation process performed by the calculation unit 20 and the content displayed by the display unit 30 will be explained in detail in the following examples using Figures 3A, 3B, 4A, 4B, and 5.
図６は、本発明が適用可能なＸ線検査装置１を用いた画像検査方法の手順を示すフローチャートである。フローについては、本適用例では概要のみ説明し、詳細は以下の実施例で説明する。 Figure 6 is a flowchart showing the steps of an image inspection method using an X-ray inspection device 1 to which the present invention can be applied. Only an overview of the flow will be explained in this application example, and details will be explained in the following examples.
本適用例におけるＸ線検査装置１を用いた画像検査方法においては、上述の通り、まず三次元データ作成部２１が作成した良品の画像を表示部３０に表示し、次に不良データベース２３から取得した不良箇所の画像も表示部３０に表示する。次に表示部３０に表示された良品の画像から転写先として任意の点を選択し、また、表示部３０に表示された複数の不良箇所の画像の中から一以上の不良箇所の画像を選択する。転写先が定められると、その転写先に選択された不良箇所の画像が転写される。これによって、良品の画像を加工し、疑似的な不良箇所を含む転写画像を生成する。次にこの転写画像は表示部３０に表示され、計測部２５において所定の特徴量が計測される。最後に計測結果が表示部３０に表示される。 In the image inspection method using the X-ray inspection device 1 in this application example, as described above, first, an image of a non-defective product created by the three-dimensional data creation unit 21 is displayed on the display unit 30, and then images of defective areas obtained from the defect database 23 are also displayed on the display unit 30. Next, any point is selected as a transfer destination from the image of the non-defective product displayed on the display unit 30, and one or more images of defective areas are selected from the multiple images of defective areas displayed on the display unit 30. Once the transfer destination is determined, the image of the selected defective area is transferred to the transfer destination. In this way, the image of the non-defective product is processed to generate a transferred image including pseudo-defective areas. Next, this transferred image is displayed on the display unit 30, and predetermined feature quantities are measured by the measurement unit 25. Finally, the measurement results are displayed on the display unit 30.
以上のように、本適用例におけるＸ線検査装置１を用いた画像検査方法によれば、検査対象物の製造工程において不良が発生せず、三次元データ作成部２１から検査対象物における不良箇所のデータが取得できなかった場合においても、転写部２４によって疑似的な不良箇所を含む転写画像を生成することができる。さらに、転写画像を計測部２５において計測することで、良品と不良品の違いを視覚的及び数値的に判別することが可能となる。良品と不良品の違いの判別基準として、この転写画像を提供することもできる。 As described above, according to the image inspection method using the X-ray inspection device 1 in this application example, even if no defects occur in the manufacturing process of the object to be inspected and data on the defective part of the object to be inspected cannot be obtained from the three-dimensional data creation unit 21, a transferred image including a pseudo-defective part can be generated by the transfer unit 24. Furthermore, by measuring the transferred image with the measurement unit 25, it becomes possible to visually and numerically distinguish between good and defective products. This transferred image can also be provided as a standard for distinguishing between good and defective products.
〔実施例〕
以下、本発明の実施例に係るＸ線検査装置１を用いた画像検査方法について、図面（上記の適用例で一旦説明した図面も含む）を用いてより詳細に説明する。なお、本発明に係るＸ線検査装置は、以下の構成に限定する趣旨のものではない。また、実施例では、画像検査装置の一例としてＸ線検査装置１を例示するが、これに限定する趣旨のものではなく、他の種類の装置であってもよい。
[Example]
An image inspection method using an X-ray inspection device 1 according to an embodiment of the present invention will be described in more detail below with reference to the drawings (including the drawings that were explained in the application example above). Note that the X-ray inspection device according to the present invention is not intended to be limited to the following configuration. Furthermore, in the embodiment, the X-ray inspection device 1 is illustrated as an example of an image inspection device, but this is not intended to be limiting, and other types of devices may also be used.
＜装置構成＞
ここで、図１の説明に戻る。本実施例に係るＸ線検査装置１は、適用例において説明したＸ線検査装置１と同様の構成を有するため、適用例において説明した内容については、詳細な説明は省略する。また、本明細書では同一の構成要素については同一の符号を用いて説明を行う。
<Device configuration>
Returning now to the explanation of Fig. 1, the X-ray inspection apparatus 1 according to this embodiment has a configuration similar to that of the X-ray inspection apparatus 1 described in the application example, and therefore detailed explanation of the contents described in the application example will be omitted. Furthermore, in this specification, the same components will be described using the same reference numerals.
三次元データ作成部２１は、過去にデータベース２２に蓄積された良品の画像をデータベース２２から取得することができる。そのため、ステージ１１上に検査対象物が置かれていなくても、転写部２４は検査対象物の良品の画像に不良箇所の画像を転写することができる。よって、三次元データ作成部２１は、Ｘ線検査装置１における撮像機能とは独立した機能として転写画像を生成することができる。また、例えば図２に示す通り、不良データベース２３には、予め過去の検査で取得された複数の不良箇所の画像がデータベース化されており、複数の不良箇所の画像のそれぞれに対して、検査対象物の種類、及び不良
の種類、及び不良度合いを表す数値による不良段階が紐付けされている。そして、不良箇所の画像と部品の種類と不良の種類と数値による不良段階の四項目を一つのセットとしてＩＤが付与されている。表示部３０は、当該四項目の情報を表示できるようにしてもよい。また、フィルタ機能やソート機能によって、当該四項目のうちの一項目を検索することが可能である。検査対象物が、例えば電子素子がはんだ付けされた回路基板である場合、不良の種類としては例えば不濡れやボイド等が挙げられる（図２においては、不良箇所の画像として、はんだ付けされた箇所における不良ピン５１（詳細は以下で説明する）の画像を例示する）。数値による不良段階は過去に計測部２５によって計測された計測結果に基づき、あるいは過去に目視によって判定された結果に基づき、決定される数値である。不良箇所の画像に係る詳細な情報として、上記四項目が一つのセットとして管理された情報を提供することもできる。図２に示す管理方法は、本発明における不良箇所の画像の管理方法に相当する。
The three-dimensional data creation unit 21 can retrieve images of non-defective products previously stored in the database 22 from the database 22. Therefore, even if an inspection object is not placed on the stage 11, the transfer unit 24 can transfer images of defective areas onto images of non-defective products of the inspection object. Therefore, the three-dimensional data creation unit 21 can generate transferred images as a function independent of the imaging function of the X-ray inspection device 1. Furthermore, as shown in FIG. 2 , for example, the defect database 23 stores images of multiple defective areas previously acquired in past inspections as a database. Each image of the multiple defective areas is associated with the type of inspection object, the type of defect, and a numerical defect level representing the degree of defect. An ID is assigned to each set of four items: the image of the defective area, the type of component, the type of defect, and the numerical defect level. The display unit 30 may be configured to display information on these four items. Furthermore, it is possible to search for one of the four items using a filter function or a sort function. If the object to be inspected is, for example, a circuit board with soldered electronic elements, types of defects include non-wetting and voids (in FIG. 2, an image of a defective pin 51 (details will be explained below) at a soldered portion is shown as an example of an image of the defective portion). The numerical defect level is determined based on the results of previous measurements taken by the measuring unit 25 or on the results of previous visual judgment. It is also possible to provide information in which the above four items are managed as a set as detailed information related to the image of the defective portion. The management method shown in FIG. 2 corresponds to the method of managing images of defective portions in the present invention.
＜Ｘ線検査装置を用いた画像検査方法＞
以下では、図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、図５に基づいて、本実施例に係るＸ線検査装置１を用いた画像検査方法において、表示部３０が表示する内容の一例の流れを説明する。表示部３０が表示する内容は演算部２０が実行する演算処理に基づく。また、以下では一例として、検査対象物が、回路基板上の電子素子であるチップ４０における複数のピン５０であるとする。
<Image inspection method using an X-ray inspection device>
3A, 3B, 4A, 4B, and 5, an example of the flow of the content displayed by the display unit 30 in the image inspection method using the X-ray inspection apparatus 1 according to this embodiment will be described. The content displayed by the display unit 30 is based on the arithmetic processing executed by the arithmetic unit 20. In the following, as an example, the object to be inspected is a plurality of pins 50 on a chip 40, which is an electronic element on a circuit board.
図３Ａは、三次元データ作成部２１がチップ４０の良品の画像を作成した際に表示部３０が表示する内容の一例である。表示部３０は、一のチップ４０について、それぞれＸＹ方向（平面視における方向）及びＹＺ方向（側面視における方向）及びＸＺ方向（正面視もしくは背面視における方向）から見た際の画像を断層画像として表示する。いずれの方向から見た際の画像であるかを明確にするため、それぞれの画像に「ＸＹ」「ＹＺ」「ＸＺ」といった表記が付されるようにしてもよい。また、良品である場合には、ＸＹ方向から見た際のピン５０は高い真円度を有する円形の形状を有し、ＹＺ方向及びＸＺ方向から見た際のピン５０は楕円の形状を有する。また、表示部３０には「転写設定」「転写実行」「計測」といった、演算部２０に対するコマンドを示すボタンが表示され、ユーザがこのボタンを押下することで演算部２０が演算処理を開始する。 Figure 3A shows an example of the content displayed on the display unit 30 when the three-dimensional data creation unit 21 creates an image of a non-defective chip 40. The display unit 30 displays images of one chip 40 as tomographic images when viewed from the XY directions (directions in a plan view), the YZ directions (directions in a side view), and the XZ directions (directions in a front or rear view). To clarify the direction from which the image is viewed, each image may be labeled "XY," "YZ," or "XZ." Furthermore, in the case of a non-defective chip, the pin 50 has a circular shape with high circularity when viewed from the XY directions, and the pin 50 has an elliptical shape when viewed from the YZ and XZ directions. The display unit 30 also displays buttons indicating commands to the calculation unit 20, such as "Transfer Settings," "Transfer Execution," and "Measurement." When the user presses one of these buttons, the calculation unit 20 begins calculation processing.
図３Ｂは、不良データベース２３から複数の不良箇所（以下、「不良ピン５１」という）の画像を取得した際に表示部３０が表示する内容の一例である。複数の不良ピン５１の画像は、ユーザが「転写設定」ボタンを押下することでリスト化して表示される。不良ピン５１についても、それぞれＸＹ方向、ＹＺ方向、ＸＺ方向から見た際の画像が一つのセットで断層画像として表示される。また、不良ピン５１についても、「ＸＹ」「ＹＺ」「ＸＺ」といった表記が付されるようにしてもよい。なお、本実施例においては、不良ピン５１とは、例えば真円あるいは楕円の形状が崩れたピンのことをいう。 Figure 3B shows an example of the content displayed on the display unit 30 when images of multiple defective locations (hereinafter referred to as "defective pins 51") are obtained from the defect database 23. Images of multiple defective pins 51 are displayed in a list when the user presses the "Transfer Settings" button. For each defective pin 51, images viewed from the XY, YZ, and XZ directions are displayed as a set of cross-sectional images. The defective pins 51 may also be labeled "XY," "YZ," or "XZ." In this embodiment, a defective pin 51 refers to a pin that is not a perfect circle or ellipse, for example.
図４Ａは、転写先となるチップ４０の画像の一部と、転写元となる不良ピン５１の画像を選択する際に表示部３０が表示する内容の一例である。転写先と転写元を定める際には、図３Ａにおいて表示されたチップ４０の画像から任意の一点を選択し、図３Ｂにおいて表示された複数の不良ピン５１の画像から一の不良ピン５１の画像を選択する。それぞれの選択箇所は、例えば図４Ａに示すように黒点等で表示される。また、チップ４０の画像から任意の一点を選択した際には、その一点に基づいて転写先が定まる。転写先のピン５０について具体的には、ＸＹ方向の境界は、二値化によって自動で判定される、または手動で領域設定した上で当該領域内の画像について二値化によって自動で判定される。Ｚ方向の境界は、ピン５０の両端であり、ピン５０の両端の位置を捉えることによって自動で設定される。Ｚ方向の境界が自動で設定されるように、チップ４０の画像は、チップ４０やピン５０の特徴を捉えて画像処理される。これによって、転写先となるチップ４０の画
像の部分と、転写先に対応して転写元となる不良ピン５１の画像がそれぞれ定まる。なお、チップ４０の画像において、ピン５０の画像が複数個含まれるように、領域を選択し、それら複数のピン５０のそれぞれに対応して不良ピン５１の画像を複数選択してもよい。ここで、転写先は、電子素子と回路基板の接続部としてのピン５０に相当する。
FIG. 4A shows an example of the content displayed on the display unit 30 when selecting a portion of the image of the chip 40 to be the transfer destination and an image of the defective pin 51 to be the transfer source. When determining the transfer destination and the transfer source, an arbitrary point is selected from the image of the chip 40 displayed in FIG. 3A, and an image of one defective pin 51 is selected from the images of the multiple defective pins 51 displayed in FIG. 3B. Each selected point is displayed, for example, as shown in FIG. 4A, as a black dot. Furthermore, when an arbitrary point is selected from the image of the chip 40, the transfer destination is determined based on that point. Specifically, for the pin 50 to be the transfer destination, the boundaries in the X and Y directions are automatically determined by binarization, or a region is manually set and then the image within that region is automatically determined by binarization. The boundaries in the Z direction are both ends of the pin 50 and are automatically set by capturing the positions of both ends of the pin 50. To automatically set the boundaries in the Z direction, the image of the chip 40 is processed by capturing the characteristics of the chip 40 and the pin 50. This determines the portion of the image of the chip 40 that will be the transfer destination and the image of the defective pin 51 that will be the transfer source corresponding to the transfer destination. Note that an area may be selected in the image of the chip 40 so that multiple images of the pins 50 are included, and multiple images of the defective pins 51 may be selected corresponding to each of the multiple pins 50. Here, the transfer destination corresponds to the pin 50 that serves as the connection portion between the electronic element and the circuit board.
図４Ｂは、チップ４０の画像の一部に不良ピン５１の画像を転写した際に表示部３０が表示する内容の一例である。ユーザが「転写実行」ボタンを押下することで、転写部２４は、図４Ａにおいて選択した不良ピン５１の画像をチップ４０の画像の一部に転写する。この転写によって、チップ４０におけるピン５０は不良ピン５１に置き換えられ（以下、この転写によって置き換えられたピン５０を「転写ピン５２」という）、転写画像が生成される。転写の際には、転写先の画像と転写元の画像のそれぞれのサイズが異なることが多いため、これらのサイズが同じになるように転写元となる不良ピン５１の画像のサイズを拡大または縮小することによって調整することができる。なお、図４Ａにおいて、例えばＸＹ方向から見た際のチップ４０の画像の一部の領域を選択した場合、その領域はＸＹ方向のみならず、ＹＺ方向及びＸＺ方向にも定められるため、図４Ｂにおいて、転写画像が生成された際にはＸＹ方向及びＹＺ方向及びＸＺ方向の全ての方向において転写ピン５２が表示される（すなわち、ＸＹ方向から見た際の転写ピン５２が表示されると、その転写ピン５２に対応してＹＺ方向及びＸＺ方向から見た際の転写ピン５２も表示される）。転写ピン５２は、例えば図４Ｂに示すように四角で囲って表示される。また、上述の通り、図４Ａにおいてチップ４０の画像の一部を複数箇所において選択し、それら複数箇所のそれぞれに対応して不良ピン５１の画像を複数選択してもよいため、その場合には複数の不良ピン５１を転写してより多くの転写ピン５２の画像（すなわち不良箇所の画像）を得ることができる。 Figure 4B is an example of the content displayed on the display unit 30 when an image of a defective pin 51 is transferred onto a portion of the image of the chip 40. When the user presses the "Transfer" button, the transfer unit 24 transfers the image of the defective pin 51 selected in Figure 4A onto a portion of the image of the chip 40. As a result of this transfer, the pin 50 on the chip 40 is replaced with the defective pin 51 (hereinafter, the pin 50 replaced by this transfer is referred to as the "transfer pin 52"), and a transferred image is generated. During transfer, the sizes of the destination image and the source image often differ, so the size of the source image of the defective pin 51 can be adjusted by enlarging or reducing it so that these sizes are the same. Note that in FIG. 4A , for example, if a partial area of the image of the chip 40 viewed from the XY direction is selected, that area is defined not only in the XY direction but also in the YZ and XZ directions. Therefore, when a transfer image is generated in FIG. 4B , the transfer pins 52 are displayed in all directions, including the XY, YZ, and XZ directions (i.e., when a transfer pin 52 viewed from the XY direction is displayed, the transfer pin 52 viewed from the YZ and XZ directions corresponding to that transfer pin 52 is also displayed). The transfer pins 52 are displayed, for example, surrounded by a square, as shown in FIG. 4B . Also, as described above, multiple portions of the image of the chip 40 may be selected in FIG. 4A , and multiple images of defective pins 51 may be selected corresponding to each of those multiple locations. In this case, multiple defective pins 51 may be transferred to obtain images of more transfer pins 52 (i.e., images of defective locations).
図５は、転写画像を計測した際に表示部３０が表示する内容の一例である。転写画像はピン５０と転写ピン５２を有し、ユーザが「計測」ボタンを押下することで、計測部２５は、転写画像上の全てのピン５０と転写ピン５２、及び転写画像ではない他のチップ４０上の全てのピン５０と転写ピン５２における所定の特徴量を計測する。計測が実行されると表示部３０は計測結果６０を表示する。計測結果６０は、例えば図５に示すように計測値を横軸、頻度を縦軸とするヒストグラムで表示される。この場合、新たに作成された転写画像における所定の特徴量の計測値と、他のチップ４０の画像とから、工程における計測対象物の所定の特徴量の計測値のヒストグラムを表示することもできるし、この時点で表示されている転写画像に係るチップ４０における、全てのピン５０と転写ピン５２の計測値のヒストグラムを表示することもできる。また、所定の特徴量とは、例えばピン５０及び転写ピン５２の表面における真円度や面積であり、ピン５０及び転写ピン５２はこの計測値における所定の閾値に基づいて良品と不良品に大別される。 Figure 5 shows an example of the content displayed on the display unit 30 when a transfer image is measured. The transfer image has pins 50 and transfer pins 52. When the user presses the "Measure" button, the measurement unit 25 measures predetermined feature values for all pins 50 and transfer pins 52 on the transfer image, as well as all pins 50 and transfer pins 52 on other chips 40 that are not part of the transfer image. Once the measurement is performed, the display unit 30 displays the measurement results 60. The measurement results 60 are displayed, for example, as shown in Figure 5, in a histogram with the measurement value on the horizontal axis and the frequency on the vertical axis. In this case, a histogram of the measurement values of predetermined feature values of the object being measured in the process can be displayed based on the measurement values of the predetermined feature values in the newly created transfer image and images of other chips 40, or a histogram of the measurement values of all pins 50 and transfer pins 52 on the chip 40 related to the transfer image currently being displayed can be displayed. Furthermore, the predetermined feature amounts are, for example, the circularity and area of the surfaces of the pins 50 and transfer pins 52, and the pins 50 and transfer pins 52 are roughly classified as non-defective or defective based on predetermined threshold values of these measurement values.
＜フローチャート＞
ここで、図６の説明に戻る。以下、図６を用いて本実施例に係るＸ線検査装置１を用いた画像検査方法の手順について詳細に説明する。本フローチャートでは、まず、三次元データ作成部２１が、ＸＹ方向及びＹＺ方向及びＸＺ方向から見た際のチップ４０の画像を作成し、表示部３０がそのチップ４０の画像を断層画像として表示する（Ｓ１０１）。ここで、Ｓ１０１は、本発明における画像表示ステップ、及び本実施例における図３Ａに相当する。さらに表示部３０は、不良データベース２３から取得したＸＹ方向及びＹＺ方向及びＸＺ方向から見た際の複数の不良ピン５１の画像も、チップ４０の画像と並べて表示する（Ｓ１０２）。ここで、Ｓ１０２は、本発明における不良画像表示ステップ、及び本実施例における図３Ｂに相当する。次に表示部３０に表示されたチップ４０の画像から任意の点を選択し、当該任意の点に対応して複数の不良ピン５１の画像から一以上の不良ピン５１の画像を選択する。チップ４０の画像から任意の点を選択した際、当該任意の点に基づいてＸＹ方向の境界とＺ方向の境界が定められることで転写先が定められる（Ｓ１０
３）。ここで、Ｓ１０３は、本発明における選択ステップ、及び本実施例における図４Ａに相当する。転写先が定められると、その転写先に選択された不良ピン５１の画像が転写される。これによって、チップ４０の画像が加工され、疑似的な不良箇所としての転写ピン５２を含む転写画像が生成される（Ｓ１０４）。ここで、Ｓ１０４は、本発明における転写ステップ、及び本実施例における図４Ｂに相当する。表示部３０は転写画像を表示し（Ｓ１０５）、計測部２５は、転写画像及び転写画像ではない他のチップ４０上のピン５０と転写ピン５２の全てに対して、例えばそれらの表面における真円度や面積を計測する（Ｓ１０６）。ここで、Ｓ１０５は、本発明における転写画像表示ステップ、及び本実施例における図５に相当する。また、Ｓ１０６は、本発明における計測ステップ、及び本実施例における図５に相当する。Ｓ１０６における計測結果６０は、表示部３０に例えばヒストグラムで表示される（Ｓ１０７）。ここで、Ｓ１０７は、本発明における計測結果表示ステップ、及び本実施例における図５に相当する。
<Flowchart>
Returning now to the description of FIG. 6 , the procedure of the image inspection method using the X-ray inspection apparatus 1 according to this embodiment will be described in detail below with reference to FIG. 6 . In this flowchart, first, the three-dimensional data creation unit 21 creates an image of the chip 40 as viewed from the XY, YZ, and XZ directions, and the display unit 30 displays the image of the chip 40 as a tomographic image (S101). Here, S101 corresponds to the image display step in the present invention and to FIG. 3A in this embodiment. Furthermore, the display unit 30 also displays images of a plurality of defective pins 51 as viewed from the XY, YZ, and XZ directions, acquired from the defect database 23, alongside the image of the chip 40 (S102). Here, S102 corresponds to the defective image display step in the present invention and to FIG. 3B in this embodiment. Next, an arbitrary point is selected from the image of the chip 40 displayed on the display unit 30, and one or more images of defective pins 51 corresponding to the arbitrary point are selected from the images of the plurality of defective pins 51. When an arbitrary point is selected from the image of the chip 40, the boundary in the XY direction and the boundary in the Z direction are determined based on the arbitrary point, thereby determining the transfer destination (S10
3). Here, S103 corresponds to the selection step in the present invention and FIG. 4A in this embodiment. Once the transfer destination is determined, the image of the selected defective pin 51 is transferred to the transfer destination. This processes the image of the chip 40, and a transfer image including the transfer pin 52 as a pseudo-defective location is generated (S104). Here, S104 corresponds to the transfer step in the present invention and FIG. 4B in this embodiment. The display unit 30 displays the transfer image (S105), and the measurement unit 25 measures, for example, the roundness and area of the surfaces of all pins 50 and transfer pins 52 on the transferred image and other chips 40 that are not included in the transfer image (S106). Here, S105 corresponds to the transfer image display step in the present invention and FIG. 5 in this embodiment. Furthermore, S106 corresponds to the measurement step in the present invention and FIG. 5 in this embodiment. The measurement result 60 in S106 is displayed on the display unit 30, for example, as a histogram (S107). Here, S107 corresponds to the measurement result display step in the present invention and to FIG. 5 in this embodiment.
＜付記１＞
画像検査装置（１）を用いて検査対象物（４０）における良品（５０）と不良品（５１、５２）の判別を可能とする画像検査方法であって、
前記良品の画像を表示する画像表示ステップ（Ｓ１０１）と、
前記良品と同種の検査対象物における複数の不良箇所（５１）の画像を表示する不良画像表示ステップ（Ｓ１０２）と、
前記良品の画像における転写先、及び当該転写先に対応して前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を選択する選択ステップ（Ｓ１０３）と、
前記良品の画像における前記転写先に、前記選択ステップにおいて選択された前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写ステップ（Ｓ１０４）と、
を有する、画像検査方法。
<Appendix 1>
An image inspection method that enables discrimination between good products (50) and defective products (51, 52) in an inspection object (40) using an image inspection device (1), comprising:
an image display step (S101) of displaying an image of the non-defective product;
A defect image display step (S102) for displaying images of a plurality of defect locations (51) in an inspection object of the same type as the non-defective product;
a selection step (S103) of selecting a transfer destination in the image of the non-defective product and one or more images of defective parts from the images of the plurality of defective parts corresponding to the transfer destination;
a transfer step (S104) of transferring an image of one or more defective parts from the images of the plurality of defective parts selected in the selection step onto the transfer destination of the image of the non-defective product, thereby generating a transferred image;
An imaging inspection method comprising:
＜付記２＞
検査対象物（４０）における良品（５０）と不良品（５１、５２）の判別を可能とする画像検査装置（１）であって、
前記良品の画像のデータを蓄積するデータベース（２２）と、
前記良品と同種の検査対象物における複数の不良箇所（５１）の画像のデータを蓄積する不良データベース（２３）と、
前記データベースから取得した前記良品の画像における転写先に、当該転写先に対応して前記不良データベースから取得した前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写部（２４）と、
前記データベースから取得した前記良品の画像、及び前記不良データベースから取得した前記複数の不良箇所の画像を表示する表示部（３０）と、
を備える、画像検査装置（１）。
<Appendix 2>
An image inspection device (1) that can distinguish between good products (50) and defective products (51, 52) in an inspection object (40),
a database (22) for storing data on images of the non-defective products;
a defect database (23) that stores image data of a plurality of defect locations (51) in an inspection object of the same type as the non-defective product;
a transfer unit (24) that transfers one or more images of defective parts among the images of the plurality of defective parts obtained from the defect database corresponding to the transfer destination onto a transfer destination in the image of the non-defective product obtained from the database, thereby generating a transfer image;
a display unit (30) that displays the image of the non-defective product acquired from the database and the images of the plurality of defective locations acquired from the defect database;
An image inspection device (1) comprising:
１ ：Ｘ線検査装置
１０ ：撮像部
１１ ：ステージ
１２ ：撮像条件記憶部
１３ ：Ｘ線発生器
１４ ：Ｘ線検出器
２０ ：演算部
２１ ：三次元データ作成部
２２ ：データベース
２３ ：不良データベース
２４ ：転写部
２５ ：計測部
３０ ：表示部
４０ ：チップ
５０ ：ピン
５１ ：不良ピン
５２ ：転写ピン
６０ ：計測結果
1: X-ray inspection apparatus 10: Imaging unit 11: Stage 12: Imaging condition storage unit 13: X-ray generator 14: X-ray detector 20: Calculation unit 21: Three-dimensional data creation unit 22: Database 23: Defect database 24: Transfer unit 25: Measurement unit 30: Display unit 40: Chip 50: Pin 51: Defective pin 52: Transfer pin 60: Measurement result
Claims (16)
前記良品の画像を表示する良品検査画像表示領域、及び前記良品と同種の検査対象物における複数の不良箇所の画像であって、前記検査対象物の種類、不良の種類、または不良度合い、のうち少なくとも何れかに基づいて絞り込み或いは整列された前記複数の不良箇所の画像を表示する不良画像表示領域、を同時に示す画面を表示する画像表示ステップと、
前記良品の画像における転写先、及び当該転写先に対応して前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を選択する選択ステップと、
前記良品の画像における前記転写先に、前記選択ステップにおいて選択された前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写ステップと、
を有する、画像検査方法。 An image inspection method that enables discrimination between good and bad products in an inspection object using an image inspection device, comprising:
an image display step of displaying a screen simultaneously showing a non-defective inspection image display area for displaying an image of the non-defective product, and a defective image display area for displaying images of a plurality of defective locations in an inspection object of the same type as the non-defective product, the images of the plurality of defective locations being narrowed down or arranged based on at least one of the type of the inspection object, the type of defect, or the degree of defect;
a selection step of selecting a transfer destination in the image of the non-defective product and one or more images of defective parts from the images of the plurality of defective parts corresponding to the transfer destination;
a transfer step of transferring the image of one or more defective parts from the images of the plurality of defective parts selected in the selection step onto the transfer destination of the image of the non-defective product, thereby generating a transferred image;
An imaging inspection method comprising:
前記転写画像における所定の特徴量を計測する計測ステップと、
前記計測ステップにおいて得られた計測結果または、前記計測ステップにおいて得られた計測結果及び他の検査対象物における前記所定の特徴量の計測結果を表示する計測結果表示ステップと、
をさらに有する、請求項１に記載の画像検査方法。 a transfer image display step of displaying the transfer image;
a measuring step of measuring a predetermined feature amount in the transfer image;
a measurement result display step of displaying the measurement result obtained in the measurement step, or the measurement result obtained in the measurement step and other measurement results of the predetermined feature amount of the inspection object;
The image inspection method of claim 1 , further comprising:
ことが可能である、請求項１から３のいずれか一項に記載の画像検査方法。 4. The image inspection method according to claim 1, wherein, in the transfer step, if a size of the transfer destination and a size of the image of the defective portion are different, it is possible to adjust the size of the image of the defective portion so that the sizes are the same.
前記良品の画像における前記転写先は、前記電子素子と前記回路基板の接続部であり、
前記良品の画像における前記接続部のＸＹ方向の境界は、二値化によって自動で判定されることを特徴とする、請求項１から５のいずれか一項に記載の画像検査方法。 the inspection object is a circuit board on which electronic elements are mounted,
the transfer destination in the image of the non-defective product is a connection portion between the electronic element and the circuit board,
6. The image inspection method according to claim 1, wherein the boundaries of the connection portions in the image of the non-defective product in the X and Y directions are automatically determined by binarization.
前記良品の画像を表示する良品検査画像表示領域、及び前記良品と同種の検査対象物における複数の不良箇所の画像を表示する不良画像表示領域、を同時に示す画面を表示する画像表示ステップと、
前記良品の画像における転写先、及び当該転写先に対応して前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を選択する選択ステップと、
前記良品の画像における前記転写先に、前記選択ステップにおいて選択された前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写ステップと、
を有し、
前記検査対象物は、電子素子を搭載した回路基板であり、
前記良品の画像における前記転写先は、前記電子素子と前記回路基板の接続部であり、
前記良品の画像における前記接続部のＸＹ方向の境界は、二値化によって自動で判定されることを特徴とし、
前記接続部のＺ方向の境界は、前記接続部の両端であり、前記接続部の両端の位置を捉えることによって自動で設定されることを特徴とする、画像検査方法。 An image inspection method that enables discrimination between good and bad products in an inspection object using an image inspection device, comprising:
an image display step of simultaneously displaying a screen showing a non-defective inspection image display area for displaying an image of the non-defective product and a defective image display area for displaying images of a plurality of defective locations in an inspection object of the same type as the non-defective product;
a selection step of selecting a transfer destination in the image of the non-defective product and one or more images of defective parts from the images of the plurality of defective parts corresponding to the transfer destination;
a transfer step of transferring the image of one or more defective parts from the images of the plurality of defective parts selected in the selection step onto the transfer destination of the image of the non-defective product, thereby generating a transferred image;
and
the inspection object is a circuit board on which electronic elements are mounted,
the transfer destination in the image of the non-defective product is a connection portion between the electronic element and the circuit board,
The boundary of the connection portion in the image of the non-defective product in the X and Y directions is automatically determined by binarization,
An image inspection method, characterized in that the Z-direction boundaries of the connection portion are both ends of the connection portion and are automatically set by capturing the positions of both ends of the connection portion.
過去の検査で取得された前記複数の不良箇所の画像がデータベース化されており、
前記複数の不良箇所の画像のそれぞれに対して、前記検査対象物の種類、及び不良の種類、及び不良度合いを表す数値による不良段階が紐付けされており、当該数値による不良段階は、過去に前記計測ステップにおいて計測された計測結果に基づき、あるいは過去に目視によって判定された結果に基づき、決定される数値であることを特徴とする、不良箇所の画像の管理方法。 3. The image inspection method according to claim 2, wherein the image management method for a plurality of defective locations comprises:
Images of the plurality of defective locations acquired in past inspections are stored in a database,
A method for managing images of defective parts, characterized in that each of the images of the plurality of defective parts is linked to a numerical defect level that represents the type of the object to be inspected, the type of defect, and the degree of defect, and the numerical defect level is a value that is determined based on measurement results measured in the measurement step in the past or based on results of visual inspection in the past.
前記良品の画像のデータを蓄積するデータベースと、
前記良品と同種の検査対象物における複数の不良箇所の画像のデータを蓄積する不良データベースと、
前記データベースから取得した前記良品の画像における転写先に、当該転写先に対応して前記不良データベースから取得した前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写部と、
前記データベースから取得した前記良品の画像を示す良品検査画像表示領域、及び前記不良データベースから取得した前記複数の不良箇所の画像であって、前記検査対象物の種類、不良の種類、または不良度合い、のうち少なくとも何れかに基づいて絞り込み或いは整列された前記複数の不良箇所の画像を示す不良画像表示領域、を同時に示す画面を表示する表示部と、
を備える、画像検査装置。 An image inspection device that can distinguish between good and bad products in an inspection object,
a database that stores data on images of the non-defective products;
a defect database that stores image data of a plurality of defect locations in an inspection object of the same type as the non-defective product;
a transfer unit that transfers, to a transfer destination in the image of the non-defective product acquired from the database, one or more images of defective parts among the images of the plurality of defective parts acquired from the defect database corresponding to the transfer destination, thereby generating a transferred image;
a display unit that displays a screen simultaneously showing a non-defective inspection image display area showing the images of the non-defective products acquired from the database , and a defect image display area showing the images of the plurality of defect locations acquired from the defect database, the images being narrowed down or arranged based on at least one of the type of the inspection object , the type of defect, or the degree of defect;
An image inspection device comprising:
前記表示部は、前記転写部において得られた前記転写画像、及び前記計測部において得られた計測結果及び他の検査対象物における前記所定の特徴量の計測結果をも表示することを特徴とする、請求項９に記載の画像検査装置。 a measurement unit that measures a predetermined feature amount in the transfer image,
10. The image inspection device according to claim 9, wherein the display unit also displays the transferred image obtained in the transfer unit, the measurement results obtained in the measurement unit, and the measurement results of the predetermined feature amounts in other inspection objects.
前記良品の画像における前記転写先は、前記電子素子と前記回路基板の接続部であり、
前記良品の画像における前記接続部のＸＹ方向の境界は、二値化によって自動で判定されることを特徴とする、請求項９から１３のいずれか一項に記載の画像検査装置。 the inspection object is a circuit board on which electronic elements are mounted,
the transfer destination in the image of the non-defective product is a connection portion between the electronic element and the circuit board,
14. The image inspection device according to claim 9, wherein the boundaries of the connection portions in the image of the non-defective product in the X and Y directions are automatically determined by binarization.
前記良品の画像のデータを蓄積するデータベースと、
前記良品と同種の検査対象物における複数の不良箇所の画像のデータを蓄積する不良データベースと、
前記データベースから取得した前記良品の画像における転写先に、当該転写先に対応して前記不良データベースから取得した前記複数の不良箇所の画像のうちの一以上の不良箇所の画像を転写し、転写画像を生成する転写部と、
前記データベースから取得した前記良品の画像を示す良品検査画像表示領域、及び前記不良データベースから取得した前記複数の不良箇所の画像を示す不良画像表示領域、を同時に示す画面を表示する表示部と、
を備え、
前記検査対象物は、電子素子を搭載した回路基板であり、
前記良品の画像における前記転写先は、前記電子素子と前記回路基板の接続部であり、
前記良品の画像における前記接続部のＸＹ方向の境界は、二値化によって自動で判定され、
前記接続部のＺ方向の境界は、前記接続部の両端であり、前記接続部の両端の位置を捉えることによって自動で設定されることを特徴とする、画像検査装置。 An image inspection device that can distinguish between good and bad products in an inspection object,
a database that stores data on images of the non-defective products;
a defect database that stores image data of a plurality of defect locations in an inspection object of the same type as the non-defective product;
a transfer unit that transfers, to a transfer destination in the image of the non-defective product acquired from the database, one or more images of defective parts among the images of the plurality of defective parts acquired from the defect database corresponding to the transfer destination, thereby generating a transferred image;
a display unit that displays a screen simultaneously showing a non-defective inspection image display area showing the image of the non-defective product acquired from the database and a defective image display area showing images of the plurality of defective locations acquired from the defective database;
Equipped with
the inspection object is a circuit board on which electronic elements are mounted,
the transfer destination in the image of the non-defective product is a connection portion between the electronic element and the circuit board,
The boundary of the connection portion in the image of the non-defective product in the XY direction is automatically determined by binarization,
An image inspection device characterized in that the Z-direction boundaries of the connection portion are both ends of the connection portion and are automatically set by capturing the positions of both ends of the connection portion.
前記複数の不良箇所の画像のそれぞれに対して、前記検査対象物の種類、及び不良の種類、及び不良度合いを表す数値による不良段階が紐付けされており、当該数値による不良段階は、過去に前記計測部において計測された計測結果に基づき、あるいは過去に目視によって判定された結果に基づき、決定される数値であることを特徴とする、請求項１０に記載の画像検査装置。 In the defect database, images of the plurality of defect locations acquired in past inspections are compiled into a database,
11. The image inspection device according to claim 10, wherein each of the images of the plurality of defective areas is associated with a numerical defect level representing the type of the object to be inspected, the type of defect, and the degree of defect, and the numerical defect level is determined based on measurement results previously measured by the measurement unit or based on results previously determined by visual inspection.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021161192A JP7803068B2 (en) | 2021-09-30 | 2021-09-30 | Image inspection method and image inspection device |
| TW111131778A TWI822269B (en) | 2021-09-30 | 2022-08-24 | Image inspection method, image management method of defective parts, and image inspection device |
| CN202211016830.4A CN115908238B (en) | 2021-09-30 | 2022-08-24 | Image inspection method, method for managing images of defective parts, and image inspection device |
| DE102022208849.2A DE102022208849A1 (en) | 2021-09-30 | 2022-08-26 | IMAGE TESTING METHOD AND IMAGE TESTING DEVICE |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021161192A JP7803068B2 (en) | 2021-09-30 | 2021-09-30 | Image inspection method and image inspection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023050857A JP2023050857A (en) | 2023-04-11 |
| JP7803068B2 true JP7803068B2 (en) | 2026-01-21 |
Family
ID=85477226
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021161192A Active JP7803068B2 (en) | 2021-09-30 | 2021-09-30 | Image inspection method and image inspection device |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP7803068B2 (en) |
| CN (1) | CN115908238B (en) |
| DE (1) | DE102022208849A1 (en) |
| TW (1) | TWI822269B (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005208890A (en) | 2004-01-22 | 2005-08-04 | Fuji Xerox Co Ltd | Inspection device, inspection program, inspection method, control device, control program, and controlling method |
| JP2011191085A (en) | 2010-03-12 | 2011-09-29 | Omron Corp | X-ray inspection device, x-ray inspection method, x-ray inspection program, and x-ray inspection system |
| JP2019028511A (en) | 2017-07-25 | 2019-02-21 | オムロン株式会社 | Image processing system, image processing apparatus, and image processing program |
| JP2019125693A (en) | 2018-01-16 | 2019-07-25 | オムロン株式会社 | Inspection management system, inspection management device, inspection management method |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05149728A (en) * | 1991-10-04 | 1993-06-15 | Omron Corp | Visual recognition device |
| US6456899B1 (en) * | 1999-12-07 | 2002-09-24 | Ut-Battelle, Llc | Context-based automated defect classification system using multiple morphological masks |
| JP2005156334A (en) * | 2003-11-25 | 2005-06-16 | Nec Tohoku Sangyo System Kk | Pseudo defective image automatic creation device and imaging inspection device |
| JP2006162335A (en) * | 2004-12-03 | 2006-06-22 | Nagoya Electric Works Co Ltd | X-ray inspection apparatus, X-ray inspection method, and X-ray inspection program |
| JP2007249366A (en) * | 2006-03-14 | 2007-09-27 | Tatsumi:Kk | Hairstyle selection support apparatus and method |
| US9183624B2 (en) * | 2013-06-19 | 2015-11-10 | Kla-Tencor Corp. | Detecting defects on a wafer with run time use of design data |
| JP2016055525A (en) * | 2014-09-09 | 2016-04-21 | 株式会社リコー | Defect information identification device and defect information identification method |
| JP6464722B2 (en) * | 2014-12-19 | 2019-02-06 | 株式会社リコー | Information processing apparatus, defect transmission method, and program |
| JP6601966B2 (en) * | 2016-09-16 | 2019-11-06 | 富士フイルム株式会社 | Rear image candidate determination device, rear image candidate determination method, and rear image candidate determination program |
| JP6780769B2 (en) | 2017-03-23 | 2020-11-04 | 日本電気株式会社 | Learning equipment, learning methods and learning programs |
| KR102440695B1 (en) * | 2017-08-11 | 2022-09-05 | 삼성전자주식회사 | Wafer map analyzer, Method for analyzing wafer map using the same and Method for manufacturing semiconductor device |
| JP7194348B2 (en) | 2018-07-11 | 2022-12-22 | オムロン株式会社 | Image processing device, image processing method and image processing program |
| US12182983B2 (en) * | 2018-08-15 | 2024-12-31 | Asml Netherlands B.V. | Utilize machine learning in selecting high quality averaged SEM images from raw images automatically |
| JP7315282B2 (en) * | 2019-07-02 | 2023-07-26 | 第一実業ビスウィル株式会社 | Appearance inspection device |
| JP7367408B2 (en) * | 2019-09-06 | 2023-10-24 | 住友ゴム工業株式会社 | Appearance inspection method and apparatus |
| JP2021135903A (en) * | 2020-02-28 | 2021-09-13 | 武蔵精密工業株式会社 | Defective product image generation program and quality determination device |
-
2021
- 2021-09-30 JP JP2021161192A patent/JP7803068B2/en active Active
-
2022
- 2022-08-24 CN CN202211016830.4A patent/CN115908238B/en active Active
- 2022-08-24 TW TW111131778A patent/TWI822269B/en active
- 2022-08-26 DE DE102022208849.2A patent/DE102022208849A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005208890A (en) | 2004-01-22 | 2005-08-04 | Fuji Xerox Co Ltd | Inspection device, inspection program, inspection method, control device, control program, and controlling method |
| JP2011191085A (en) | 2010-03-12 | 2011-09-29 | Omron Corp | X-ray inspection device, x-ray inspection method, x-ray inspection program, and x-ray inspection system |
| JP2019028511A (en) | 2017-07-25 | 2019-02-21 | オムロン株式会社 | Image processing system, image processing apparatus, and image processing program |
| JP2019125693A (en) | 2018-01-16 | 2019-07-25 | オムロン株式会社 | Inspection management system, inspection management device, inspection management method |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102022208849A1 (en) | 2023-03-30 |
| CN115908238A (en) | 2023-04-04 |
| TWI822269B (en) | 2023-11-11 |
| TW202316107A (en) | 2023-04-16 |
| CN115908238B (en) | 2026-01-23 |
| JP2023050857A (en) | 2023-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8660336B2 (en) | Defect inspection system | |
| US7933441B2 (en) | Method of inspection for inner defects of an object and apparatus for same | |
| JP4103921B2 (en) | Method of setting inspection reference data for fillet inspection, and substrate visual inspection apparatus using this method | |
| JP2004294358A (en) | Defect inspection method and apparatus | |
| JP2002008013A (en) | Device and method for preparing appearance inspection program | |
| JP2001156135A (en) | Defect image classification method and apparatus, and semiconductor device manufacturing method using the same | |
| US8111902B2 (en) | Method and apparatus for inspecting defects of circuit patterns | |
| US20080281548A1 (en) | Method and System for Automatic Defect Detection of Articles in Visual Inspection Machines | |
| KR20070077103A (en) | Image blowing method and inspection method and apparatus therefor | |
| CN115427791A (en) | Visual inspection system | |
| JP7803068B2 (en) | Image inspection method and image inspection device | |
| JP3806461B2 (en) | Appearance inspection equipment | |
| WO2010061771A1 (en) | Observation condition determination support device and observation condition determination support method | |
| JPH11258178A (en) | Inspection apparatus and method | |
| JP4333349B2 (en) | Mounting appearance inspection method and mounting appearance inspection apparatus | |
| JP5374225B2 (en) | Wafer inspection condition determination method, wafer inspection condition determination system, and wafer inspection system | |
| JP2023051102A (en) | Image inspection method and image inspection apparatus | |
| JP2023112578A (en) | Inspection system, inspection information processing terminal and program | |
| JP2023050842A (en) | Image inspection method and image inspection apparatus | |
| JP2023050937A (en) | Image inspection method, and image inspection device | |
| JP2023050697A (en) | Image inspection method and image inspection apparatus | |
| JP2000195458A (en) | Electron microscope and inspection method | |
| TWI908419B (en) | Inspection apparatus and inspection method | |
| JPH05152408A (en) | Defective-part inspection method of semiconductor element | |
| JPH0727562B2 (en) | Shape inspection device for the surface of sewing parts |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240711 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20250307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250318 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250423 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20250708 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20251008 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20251209 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20251222 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7803068 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |