CN101074932A

CN101074932A - 图像检查方法以及使用了该方法的图像检查装置

Info

Publication number: CN101074932A
Application number: CNA2007101032940A
Authority: CN
Inventors: 西野裕久; 宇野真彦
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-05-16
Filing date: 2007-05-15
Publication date: 2007-11-21
Anticipated expiration: 2027-05-15
Also published as: NO341245B1; CN100588957C; JP2007309679A; US20070269099A1; EP1857977B1; US7965883B2; NO20072103L; EP1857977A2; EP1857977A3; JP4707605B2

Abstract

本发明提供能够高精度地自动进行与受检物的伤痕、异物混入、裂纹等不良状况的检查的图像检查方法以及使用了该方法的检查装置，该图像检查方法包括：第1步骤，拍摄上述透射图像；第2步骤，对上述透射图像适用二次微分滤波器，将其变换成二次微分滤波器图像；第3步骤，按照预定的阈值把上述二次微分滤波器图像二值化，变换成第1二值化图像；第4步骤，按照其它的预定阈值把上述透射图像二值化，变换成第2二值化图像；第5步骤，对于上述第1二值化图像以及上述第2二值化图像进行二值特征量计测，计算二值特征量；以及第6步骤，从上述二值特征量进行上述受检物是否良好的判定。

Description

图像检查方法以及使用了该方法的图像检查装置

技术领域

本发明涉及检查例如半导体的薄板或者基板的伤痕、异物混入、裂纹等不良状况的图像检查方法以及使用了该方法的图像检查装置。

背景技术

现有的图像检查方法是使用红外线等照明使照明光在受检物中透射或者反射，根据其图像通过目视检查受检物的方法。例如，透射照明光进行检查方法的例子公开在非专利文献1(Optical μ-Crackdetection in combination with stability testing for in-line-inspectionof wafers and cells 20th European Photovoltaic Solar EnergyConference，6-10 June 2005，Barcelona Spain.)中，反射照明光进行检查的例子公开在专利文献1(特许第3220690号公报)中。

发明内容

发明要解决的课题

然而，现有的图像检查方法主要依赖于目视，即使谈到了能够进行自动检查但是并没有记载其方法，极缺乏具体性。

本发明是为了解决上述那样的问题点而产生的，目的在于提供能够高精度地自动进行涉及受检物的伤痕、异物混入、裂纹等不良状况的检查的图像检查方法以及使用了该方法的图像检查装置。

用于解决的课题的方法

本发明的图像检查方法用透射照明单元照明受检物，用摄像单元拍摄透过上述受检物的照明光以作为透射图像，进行上述受检物的检查，所述图像检查方法的特征在于包括：第1步骤，拍摄上述透射图像；第2步骤，对上述透射图像适用二次微分滤波器，将其变换成二次微分滤波器图像；第3步骤，按照预定的阈值把上述二次微分滤波器图像二值化，变换成第1二值化图像；第4步骤，按照其它的预定阈值把上述透射图像二值化，变换成第2二值化图像；第5步骤，对于上述第1二值化图像以及上述第2二值化图像进行二值特征量计测，计算二值特征量；以及第6步骤，从上述二值特征量进行上述受检物是否良好的判定。

另外，本发明的图像检查装置用透射照明单元照明受检物，用摄像单元拍摄透过上述受检物的照明光作为透射图像，进行上述受检物的检查，所述图像检查装置的特征在于包括：图像存储器，存储上述透射图像；图像处理单元，对上述透射图像适用二次微分滤波器，将其变换成二次微分滤波器图像，按照预定的阈值把上述二次微分滤波器图像二值化，变换成第1二值化图像，按照其它的预定阈值把上述透射图像二值化，变换成第2二值化图像，对于上述第1二值化图像以及上述第2二值化图像进行二值特征量计测，计算二值特征量；以及判定单元，从上述二值特征量判定上述受检物是否良好。

发明的效果

本发明所涉及的图像检查方法由于如上述那样构成，因此对于受检物的微细的伤痕、异物、裂纹等缺陷能够稳定、高精度地进行检查。

另外，本发明所涉及的图像检查装置由于如上述那样构成，因此对于受检物的微细的伤痕、异物、裂纹等缺陷能够稳定、高精度地进行检查。

附图说明

图1是表示本发明实施形态1的图像检查方法的顺序的流程图。

图2是表示使用了实施形态1的图像检查方法的图像检查装置的结构的概略图。

图3是在图1的流程图中添加了图像处理过程中的中间图像的例子的流程图。

图4是用于说明本发明实施形态2的亮度的内插方法的说明图。

符号的说明

1：保持台；2：受检物；3：透射照明单元；4：摄像单元；5：图像存储器；6：图像处理单元；7：判定结果

具体实施方式

实施形态1

以下，根据附图说明本发明的实施形态1。图1是表示实施形态1的图像检查方法的流程图，图2是表示使用了图1所示的图像检查方法的图像检查装置的结构的概略图，图3是在图1中同时记载了检查执行过程中的中间图像的流程图。

首先，说明图2所示的图像检查装置。图像检查装置具备：从下方照明保持在保持台1上的受检物2的透射照明单元3、设置在受检物2的上方，拍摄从透射照明单元3发出的照明光透过了受检物2的图像的摄像单元4。

由摄像单元4拍摄的图像存储到图像存储器5中，同时，存储在图像存储器5中的受检物2的图像由图像处理单元6执行图像处理，输出判定结果7。判定结果7由判定受检物2是否良好的未图示的判定单元输出。另外，是否良好的判定也可以由图像处理单元6进行。图像处理单元6执行在图1中表示出的流程的本发明的图像检查方法，关于详细过程在后面叙述。

作为受检物2的例子，可以取出半导体(硅)等薄板或者形成了电路图形的基板等物体等。在检查半导体的情况下，作为透射照明单元3，大多使用发出透过硅的红外线的照明。具体地讲，卤照明等与其相当。由于红外线与其它波长的光源相比较直线传播性高，因此适于作为本发明的透射照明单元3。当然，在受检物2是玻璃基板的情况下，也可以使用红外线以外的可见光照明，例如红或者绿的单色发光二极管(LED)等。

透射照明单元3的选择重要的是具有透过受检物2的光波长的照明以及透射的图像中的微小缺陷都能够映射出这两点。另外，在透射照明单元3中使用发生红外线的照明的情况下，作为摄像单元4，有时把CCD照相机与带红外线透射滤波器的透镜组合起来使用。在这样构成了摄像单元4的情况下，在CCD照相机中去除其它可见光成分，仅拍摄红外光的图像，因此适于检查红外线的透射图像的情况。当然如上所述，根据受检物2，有时也使用可见光。

另外，作为摄像单元4，还可以使用具有与CCD照相机同等功能的线传感器照相或者CMOS照相机、商业计算机照相机等。只要是对于所选择的透射照明单元3发出的光波长具有充分的灵敏度，则摄像单元4就可以用其它的装置代替。

其次，详细地说明图2表示的图像检查装置的动作。首先，用透射照明单元3照明受检物2，用摄像单元4拍摄该透射图像，输入到图像存储器5中。

在图2的结构中，对于图像存储器5的输入成为来自摄像单元4的输入，而例如也可以从媒体读取预先拍摄完毕的图像数据文件输入到图像存储器5中。

输入到图像存储器5中的图像在执行本发明的图像检查方法的图像处理单元6进行图像处理，输出判定结果7。以下，使用图1、图3，说明在图像处理单元6执行的图像检查方法。

首先，在步骤S1中，用摄像单元4拍摄从透射照明单元3发出的照明光透过了受检物2的图像，保存在未图示的第1图像存储器中。图3中以受检物2为多晶硅薄板的情况为例子，示出图像例。

在多晶硅的薄板的情况下，通过其薄板厚度的变动，如图像S1_IMG1～S1_IMG3那样，由摄像单元4得到的图像的亮度发生变化。如果设S1_IMG1是标准的厚度，则在S1_IMG2的情况下图像整体变暗，表示受检物2的厚度厚，照明光难以透过。反之在S1_IMG3的情况下，图像整体变亮，表示受检物2的厚度薄，照明光易于透过。

在多晶硅的情况下，在标准的图像S1_IMG1中，由于多结晶成分分别具有不同的透射率，根据位置，具有亮度不同的随机的图形。

另外，在图像S1_IMG1～S1_IMG3中，拍摄出贯通裂纹和微细裂纹这两种缺陷。图像右上方的细长中空处是贯通裂纹A，由于薄板的正反面贯通裂开，因此照明光直接入射到摄像单元4，是在摄像单元4中明亮地被拍摄的缺陷。

另一方面，图像右下方黑色的树枝形的缺陷的称为微细裂纹，虽然没有贯通裂开但是通过在内部微细地裂开，在内部的破坏面上部分地反射入射光，因此是在摄像单元4中暗淡地拍摄的缺陷。另外，S1_IMG1～S1_IMG3的左边部分C以及上边部分D是空白，意味着方形的受检物2的端面作为图像拍摄，空白的部分由于不存在受检物2，因此是照明光直接入射的部分。

在受检物2的厚度的变动少的情况下，继续进行以下的步骤不存在问题，然而在厚度的变动大的情况下，在步骤S1以后，根据需要适用步骤S11，需要把图像的亮度规格化，把暗淡的图像或者明亮的图像变换成适宜亮度的图像S11_IMG1。关于其作用效果将在实施形态3中详细地说明。

通过步骤S11变换为适宜亮度的图像S11_IMG1以后，根据需要，适用步骤S12。在步骤S12中，通过适用平均值滤波器或者最小值滤波器，起到减轻图像整体的噪声，或者强调缺陷例如微细裂纹B的作用。关于这一点在实施形态4中详细地说明。

接着，在通常的步骤S2中，对于经过了步骤S1(在适用步骤S11、S12情况下也包括这些步骤)的图像，把适用了二次微分滤波器后的图像保存在未图示第2图像存储器中。所谓二次微分滤波器指的是连续两次使用了微分滤波器的情况。如果设f(x，y)是坐标(x，y)的图像的亮度，则X方向的微分f’(x，y)，二次微分f”(x，y)分别表示如下。

f’(x，y)＝f(x+1，y)-f(x，y) (式1)

f”(x，y)＝f’(x，y)-f’(x-1，y)

＝(f(x+1，y)-f(x，y))-(f(x，y)-f(x-1，y))

＝f(x+1，y)+f(x-1，y)-2 f(x，y) (式2)

上述的公式中仅考虑了X方向，若同时考虑X、Y方向，则成为(式3)。

f”(x，y)＝f(x+1，y)+f(x-1，y)+f(x，y+1)+f(x，y-1)-4f(x，y)

(式3)

进而，如果除去X、Y方向以外，还考虑倾斜45度方向，则成为(式4)。

f”(x，y)＝f(x+1，y+1)+f(x+1，y)+f(x+1，y-1)

+f(x，y+1)+f(x，y-1)

+f(x-1，y+1)+f(x-1，y)+f(x-1，y-1)

-8f(x，y) (式4)

通过适用二次微分滤波器，意味着用(式2)或(式3)或(式4)的f”(x，y)置换图像的亮度f(x，y)，生成新的图像。

二次微分滤波器由于具有强调图像亮度变化大的部分(边缘)的功能，因此如果把该滤波器适用于图像S1_IMG1(在适用了步骤S11的情况下是图像S11_IMG1，在适用了步骤S12的情况下是图像S12_IMG1)，则背景的随机图形的亮度几乎恒定，同时，可以得到强调了微细裂纹B的二次微分滤波器图像即图像S2_IMG1。在图像S2_IMG1中，贯通裂纹A仅被强调了其周边部分(边缘部分)。

在步骤S3中，对于图像S2_IMG1，执行例如把大于等于预定的阈值Th1的亮度变换为最大亮度(白)，把小于Th1的亮度变换为最低亮度(黑)的二值化处理，得到第1二值化图形即图像S3_IMG1，保存在未图示的第3图像存储器中。这样，通过生成图像S3_IMG1，能够高精度地检测微细裂纹B。另一方面，关于贯通裂纹A仅能够检测其周边部分。为了高精度地检测贯通裂纹A需要以下的步骤S4的处理。

在步骤S4中，对于保存在未图示的第1图像存储器中的图像S1_IMG1(在适用了步骤S11的情况下是图像S11_IMG1，在适用了步骤S12的情况下是图像S12_IMG1)，进行另外的二值化处理，保存在未图示的第4图像存储器中。例如，执行把大于等于预定的阈值Th2的亮度变换为最低亮度(黑)，把小于Th2的亮度变换为最高亮度(白)的二值化处理，得到第2二值化图像即图像S4_IMG1。在图像S4_IMG1中中空的贯通裂纹A或者不存在受检物2的区域C、D表现为黑的图像。

另外，在上述的步骤S3、S4的说明中叙述了单一阈值的二值化处理，而也可以适用使用了多个阈值的二值化处理。例如，在步骤S3中，也可以使用阈值Th11、Th12(Th11＞Th12)，进行以下处理。

图像的亮度≥Th11→最低亮度变换为黑

Th11＞图像的亮度＞Th12→最高亮度变换为白

图像的亮度≤Th12→最低亮度变换为黑

这是由于在二次微分图像中，极其明亮的部分也可以认为表示缺陷。

同样，在步骤S4中也可以使用2个阈值进行二值化处理。上述的步骤S4的阈值Th2是检测贯通裂纹A的阈值，如果把其作为Th21，另外使用Th22(Th21＞Th22)设置用于检测非常暗淡的微细裂纹B的阈值，则二值化的变换处理可以如下进行。

图像的亮度≥Th21→最低亮度变换为黑

Th21＞图像的亮度＞Th22→最高亮度变换为白

图像的亮度≤Th22→最低亮度变换为黑

对于这样得到的二值化图像S3_IMG1、S4_IMG1，根据需要，进行在步骤S7的检查区域计算以及无需检查的区域的屏蔽(去除检查处理)，例如左边部分C以及上边部分D的去除。关于该处理在实施形态5中详细地说明。

在步骤S5中，对于二值化图像S3_IMG1、S4_IMG1实施二值特征量计测。例如，作为一般所知道的特征量，计算贯通裂纹A或者微细裂纹B的面积、外接四边形的纵横长度、重心位置X，Y、次矩、主轴的图像、沿着主轴的外接四边形的纵横的长度、周长等。通过计算面积，既能够判断缺陷的大小，又能够从沿着主轴的外接四边形的纵横长度了解缺陷的长度或者形状(是细长形还是圆形)。

使用该二值特征量，还可以从原来的浓淡图像S1_IMG1等计算浓淡特征量。例如，由于根据上述二值特征量的重心位置可知缺陷的位置，从外接四边形的纵横长度可知大小，因此能够容易地计算其区域的平均亮度等。在这些浓淡特征量对于希望检测出的缺陷具有更好的相关性的情况下，也可以利用这些浓淡特征量。

另外，在图1以及图3的例子中，在步骤S7或者步骤S5中，使用了把图像S3_IMG1与图像S4_IMG1重叠了(取AND)的图像，而也可以分别执行这些图像的二值特征量计测。如果在这样合成2个图像以后进行二值特征量计测，则具有计测一次完成的优点。在步骤S6中，把在步骤S5中得到的特征量与预先设定的阈值进行比较，进行是否良好的判定。

在上述的说明中，作为例子说明了微细裂纹B以及贯通裂纹A，而由于微细的伤痕等可以按照微细裂纹，异物等可以作为面积比较大的黑色缺陷拍摄，因此对于这些缺陷也能够毫无问题地适用上述检查方法。

这样通过构成各步骤，能够稳定而且高精度地检查受检物2的微细的伤痕、异物、裂纹等缺陷。

实施形态2

其次，说明本发明的实施形态2。在实施形态1中，作为步骤S2的二次微分滤波器使用了一般的滤波器，二次微分以图像亮度的差分计算，其差分的X、Y距离是1个像素，而在实施形态2中，该差分距离不限于1个像素，扩展为任意的值。例如，在除去X、Y方向以外还考虑了倾斜45度方向的情况下，成为(式5)。

f”(x，y)＝(f(x+h，y+h)+f(x+h，y)+f(x+h，y-h)

+f(x，y+h)+f(x，y-h)

+f(x-h，y+h)+f(x-h，y)+f(x-h，y-h)

-8f(x，y)}/(h×h) (式5)

这里，h是差分距离，设h取h＝1，2，3等的整数值。

在该发明中，进而一般化，把h取为实数，如以下那样进行扩展。

即，把h取为0＜h≤1。由于h成为小数，因此内插图像的亮度，计算图像的亮度f(x+h，y+h)。如图4所示，坐标(x+h，y+h)的像素如用虚线所示，对于邻接的4个像素(用虚线表示的正方形表示1个像素)，面积的比例成为h²、h(1-h)、h(1-h)、(1-h)²。使用该事实，按照以下公式定义坐标(x+h，y+h)的亮度f(x+h，y+h)。

f(x+h，y+h)＝f(x，y)×h²+f(x+1，y)×h(1-h)

+f(x，y+1)×h(1-h)+f(x+1，y+1)×(1-h)²

(式6)

如果使用与其相同的考虑，则由于能够分别计算(式5)中图像的亮度，因此能够计算二次微分。在上述的例子中为了说明方便，使0＜h≤1，而使用同样的考虑，当然也能够把h扩展为大于等于1的实数进行计算。

如果这样变更差分距离计算二次微分，则可知图像的边缘强调程度变化，所得到的二次微分图像变化。通过这样变更差分距离进行计算，能够调整受检物的缺陷检测水平。另外，通过求适于受检物的缺陷强调的差分距离，能够实现精度更高的检查。

实施形态3

其次，说明本发明的实施形态3。在实施形态1中，叙述了在受检物2的厚度变动大的情况下，需要在步骤S11中把图像的亮度规格化，把暗淡的图像或者明亮的图像变换为适宜亮度的图像S11_IMG1，但是如S1_IMG1～S1_IMG3那样，如果根据受检物2的厚度图像亮度的变化过大，则即使在以后的步骤中执行检测处理，也不能够期待稳定的检查结果。

实施形态3示出这种情况下的对应方法，添加步骤S11把图像的亮度规格化，把过亮的图像或者过暗的图像变换成适宜亮度的图像。具体的顺序如下。

如果设适宜亮度的图像是图像S1_IMG1，则在预先测定并记录与S1_IMG1的图像整体相关的平均亮度A1的同时，作为新的参数定义变换偏置值E。

如果设图像S1_IMG2的平均亮度是A2，则在把该图像S1_IMG2的亮度规格化的情况下，如以下那样定义与规格化相关的变换式。

Y＝KX+E (式7)

这里，Y是规格化后的亮度，X是规格化前的亮度，E是事先确定的变换偏置值，K是变换增益。

E如果作为参数预先给出，则K能够如以下那样简单地求出。

A1＝K·A2+E→K＝(A1-E)/A2 (式8)

最初的公式是用于使得把平均亮度A2变换为平均亮度A1的制约。

如果使用这样求出的K和预先设定的参数E，则能够使用(式7)变换S1_IMG2的亮度。能够很容易证明像这样把图像S11_IMG2变换了的图像的平均亮度成为A1(＝S1_IMG1的平均亮度)。

特别是，在取E＝0的情况下，如从K＝A1/A2可知，与仅以平均亮度的倍率操作进行规格化等价。另外，在取E＝A1-A2的情况下，如从K＝1可知，与根据亮度的一致移动进行规格化等价。E的决定方法可以根据受检物2的状况自由地选择。

如果这样构成步骤S11，则即使在受检物2的厚度变动的情况下，通过把图像亮度规格化，也能够使图像的亮度保持为恒定，执行以后的步骤，因此能够把检测水平保持为恒定。

实施形态4

其次，说明本发明的实施形态4。在实施形态1中叙述了根据需要适用步骤S12的情况，而该步骤构成实施形态4。在步骤S12中，通过适用平均值滤波器或者最小值滤波器，减轻图像整体的噪声或者强调缺陷，例如细微裂纹B。

作为平均值滤波器，计算对象像素附近的4个像素或者8个像素的亮度和对象像素的亮度的平均值，把该值置换为对象像素的亮度。如果适用该滤波器，则能够以平均处理的效果降低突发性的亮度的噪声。步骤S2的二次微分滤波器由于本质上具有放大噪声成分的倾向，因此根据需要由平均值滤波器降低明显的噪声成分在检查的稳定性方面做出贡献。

作为最小值滤波器，是把对象像素附近的像素的亮度与对象像素的亮度进行比较，按照其最小的亮度置换对象像素的亮度。如果适用该滤波器，则进一步扩大暗淡像素的部分，作为其结果，成为进行看上去暗淡的微细裂纹B的放大和强调处理。另外，如从最小值滤波器的动作可知，还能够抑制明亮的噪声的成分。由此，最小值滤波器在稳定地检测微细裂纹B方面做出贡献。

这样，通过在步骤S12中使用平均值滤波器、最小值滤波器，能够强调图像的噪声去除以及缺陷，能够稳定地进行检查。

实施形态5

其次，说明本发明的实施形态5。在实施形态1中，叙述了根据需要实施在步骤S7的检查区域计算以及无需检查的区域的屏蔽(去除检查处理)的情况，实施形态5是执行其功能的形态。

在图3的图像S1_IMG1～S1_IMG3中，在图像的左边部分C以及上边部分D中没有拍摄到受检物2，这些部分是应该去除检查的部分。这种成为检查除外的区域由于大多在最初的步骤S1中得到的图像上可以知道，因此在步骤S7中，把在步骤S1中得到的图像进行图像处理，计算检查除外区域以及检查区域。

如果以图像S1_IMG1～S1_IMG3为例，则能够判断为在图像的周边直线地空白的部分C、D没有受检物2。因此，对于图像的周边部分，添加空白部分的边缘检测处理，求边缘的点群的坐标位置。如果求出边缘的点群，则通过把这些位置进行线性回归，能够检测受检物2的端面。

如果求出受检物2的端面，则容易把其以外的区域判定为检查除外区域，把其以内的区域判定为检查区域，自动进行这些处理也很容易。

在上述的例子中，示出了从步骤S1得到的图像计算检查除外区域的方法，而当然也可以使用在以后的步骤中生成的中间图像计算检查区域/检查除外区域。

这样，在步骤S7中如果自动计算检查区域以及检查除外区域，则在能够仅检查真正需要的部分的基础上，还具有通过减少检查区域能够高速地进行检查的效果。

Claims

1.一种图像检查方法，用透射照明单元照明受检物，用摄像单元拍摄透过上述受检物的照明光以作为透射图像，进行上述受检物的检查，所述图像检查方法的特征在于包括：

第1步骤，拍摄上述透射图像；

第2步骤，对上述透射图像适用二次微分滤波器，将其变换成二次微分滤波器图像；

第3步骤，按照预定的阈值把上述二次微分滤波器图像二值化，变换成第1二值化图像；

第4步骤，按照其它的预定阈值把上述透射图像二值化，变换成第2二值化图像；

第5步骤，对于上述第1二值化图像以及上述第2二值化图像进行二值特征量计测，计算二值特征量；以及

第6步骤，从上述二值特征量进行上述受检物是否良好的判定。

2.根据权利要求1所述的图像检查方法，其特征在于：

在上述第2步骤中，使差分距离可变，计算二次微分值。

3.根据权利要求1或权利要求2所述的图像检查方法，其特征在于：

在上述第1步骤以后，添加了使用上述透射图像的平均亮度进行把亮度规格化的亮度变换的步骤。

4.根据权利要求1或权利要求2所述的图像检查方法，其特征在于：

在上述第1步骤以后，添加了使用最小值滤波器、平均滤波器或者这两种滤波器，进行上述透射图像的亮度变换的步骤。

5.根据权利要求1或权利要求2所述的图像检查方法，其特征在于：

在上述第5步骤之前，使用上述透射图像，计算上述受检物的检查区域，在第5步骤中，在上述检查区域以外的区域中不进行二值特征量计测。

6.一种图像检查装置，用透射照明单元照明受检物，用摄像单元拍摄透过上述受检物的照明光作为透射图像，进行上述受检物的检查，所述图像检查装置的特征在于包括：

图像存储器，存储上述透射图像；

图像处理单元，对上述透射图像适用二次微分滤波器，将其变换成二次微分滤波器图像，按照预定的阈值把上述二次微分滤波器图像二值化，变换成第1二值化图像，按照其它的预定阈值把上述透射图像二值化，变换成第2二值化图像，对于上述第1二值化图像以及上述第2二值化图像进行二值特征量计测，计算二值特征量；以及

判定单元，从上述二值特征量判定上述受检物是否良好。