[go: up one dir, main page]

CN115631117B - 缺陷检测用的图像增强方法、装置、检测系统及存储介质 - Google Patents

缺陷检测用的图像增强方法、装置、检测系统及存储介质 Download PDF

Info

Publication number
CN115631117B
CN115631117B CN202211645441.8A CN202211645441A CN115631117B CN 115631117 B CN115631117 B CN 115631117B CN 202211645441 A CN202211645441 A CN 202211645441A CN 115631117 B CN115631117 B CN 115631117B
Authority
CN
China
Prior art keywords
image
region
interest
filtering
gray level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211645441.8A
Other languages
English (en)
Other versions
CN115631117A (zh
Inventor
宋梦琦
胡昌欣
张武杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casi Vision Technology Luoyang Co Ltd
Casi Vision Technology Beijing Co Ltd
Original Assignee
Casi Vision Technology Luoyang Co Ltd
Casi Vision Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casi Vision Technology Luoyang Co Ltd, Casi Vision Technology Beijing Co Ltd filed Critical Casi Vision Technology Luoyang Co Ltd
Priority to CN202211645441.8A priority Critical patent/CN115631117B/zh
Publication of CN115631117A publication Critical patent/CN115631117A/zh
Application granted granted Critical
Publication of CN115631117B publication Critical patent/CN115631117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种缺陷检测用的图像增强方法、装置、检测系统及存储介质。该方法包括：对获取到的待检测对象的原始图像进行预处理，确定感兴趣区域；对感兴趣区域进行改进的限制对比度自适应直方图均衡化处理得到第一图像；对第一图像进行降噪处理得到第二图像；对感兴趣区域进行多尺度图像信息增强，得到第三图像；对第二图像和第三图像进行融合，得到融合图像；根据融合图像，以进行缺陷检测。由此，对于一些局部的对比度只有几个灰度差的弱缺陷具有较好的增强效果，并能够提高图像的处理效率，提高缺陷检测的准确性。

Description

缺陷检测用的图像增强方法、装置、检测系统及存储介质
技术领域
本申请涉及图像增强，尤其是涉及到一种缺陷检测用的图像增强方法、装置、检测系统及存储介质。
背景技术
AOI(Automated Optical Inspection)是自动光学检测设备，现在已经普遍应用在各工业领域，比如手机中框、后盖、玻璃、板材、电子行业的电路板组装等的外观检查，并逐渐取代以前的流水线人工检测的方法。它能大大的节约人力，降低人工成本，同时对检测标准做到统一不受外界因素的影响，增加了生产效率。AOI设备在不同的光源照射下利用镜头直接成像，图像采集设备传图到软件后由算法实现缺陷检测。在工业缺陷检测中，由于不同材质不同缺陷成像的难易程度不一样，有些缺陷对光学打光的要求很高，经常会出现微弱成像和背景对比度弱的情况，这时候的缺陷不一定都能在算法端较容易的检测出来，严重的影响了后续的图像处理与缺陷检测方案。为了能更好的检测出这些弱缺陷，需要先很好的改善在视觉成像上的对比度不明显情况，图像增强技术很好的解决了这一难题，只有这样才能使后续的图像分割、目标缺陷检测等有更好的效果。CLAHE（限制对比度自适应直方图均衡化）一直是一个很广为人知的对比度增强技术，同时在增强技术里基于直方图的全局或者局部的修改拉伸等也一直占比很大。
目前国内外对图像增强技术的研究比较成熟，其中CLAHE也较为成熟。但是，在现有方法中，增强过程中噪声被放大了且速度较慢。
发明内容
有鉴于此，本申请提供了一种缺陷检测用的图像增强方法、装置、检测系统及存储介质，以解决现有技术中工业缺陷检测成像的原始图像对比度低，成像不均，成像弱而导致检测到的缺陷不全面的问题，本申请提供的方法，对于一些局部的对比度只有几个灰度差的弱缺陷具有较好的增强效果，同时，提高了图像的处理效率，并能够提高缺陷检测的准确性。
本申请第一方面的实施例，提供了一种缺陷检测用的图像增强方法，该方法包括：对获取到的待检测对象的原始图像进行预处理，确定感兴趣区域；对感兴趣区域进行改进的限制对比度自适应直方图均衡化处理得到第一图像；对第一图像进行降噪处理得到第二图像；对感兴趣区域进行多尺度图像信息增强，得到第三图像；对第二图像和第三图像进行融合，得到融合图像；根据融合图像，以进行缺陷检测；其中，对感兴趣区域进行改进的限制对比度自适应直方图均衡化处理得到第一图像，包括：将感兴趣区域对应的灰度图像分为
Figure 297583DEST_PATH_IMAGE001
个大小均等的小块；计算每个子块的灰度直方图；根据裁剪阈值对每个子块的灰度直方图进行裁剪；将被裁剪的部分直方图的像素分配至预设灰度区间；对分配后的图像进行均衡化处理以得到均衡化图像；对均衡化图像进行线性插值运算，以获得第一图像。
可选地，对获取到的待检测对象的原始图像进行预处理，确定感兴趣区域，包括：将获取到的待检测对象的原始图像转化为对应的灰度图像；对灰度图像进行下采样得到下采样图像；从下采样图像中裁剪感兴趣区域。
可选地，预设灰度区间为
Figure 72641DEST_PATH_IMAGE002
，其中，
Figure 996734DEST_PATH_IMAGE003
，
Figure 490033DEST_PATH_IMAGE004
，
Figure 524985DEST_PATH_IMAGE005
为预设阈值，
Figure 154549DEST_PATH_IMAGE006
为每个子块的灰度直方图中概率密度最大的三个点对应的灰度阈值中的最小值，
Figure 249544DEST_PATH_IMAGE007
为每个子块的灰度直方图中概率密度最大的三个点对应的灰度阈值中的最大值。
可选地，均衡化图像包括第一区域、第二区域和第三区域，第一区域内的每个子块的两组对边均未与其他子块相邻，第二区域内的每个子块的两组对边中的一组与其他两个子块相邻，第三区域内的每个子块的两组对边均分别与其他两个子块相邻；对均衡化图像进行线性插值运算，包括：对第二区域内的像素点，利用与像素点所在的子块的对边相邻的两个子块的图像对映的函数进行线性插值；对第三区域内的像素点，利用与像素点所在的子块的两组对边分别相邻的两对子块的图像对映的函数进行双线性插值。
可选地，从下采样图像中裁剪感兴趣区域，包括：利用下采样图像的灰度阈值，对下采样图像以预设阈值分割方式进行处理，裁剪得到感兴趣区域；其中，预设阈值分割方式包括固定阈值分割方式、动态阈值分割方式或局部阈值分割方式中的一种。
可选地，对感兴趣区域进行多尺度图像信息增强，得到第三图像，包括：运用不同的滤波核函数对感兴趣区域进行滤波得到对应的第一滤波图像；将任一第一滤波图像与其他第一滤波图和/或感兴趣区域的源图像做差，得到细节图；对所有第一滤波图对应的细节图进行融合，得到第三图像。
可选地，根据融合图像，以进行缺陷检测，包括：对融合图像进行上采样，得到增强图像；依据增强图像，进行缺陷检测。
可选地，对第一图像进行降噪处理得到第二图像，包括：利用中值滤波、均值滤波、快速导向滤波中的一种，对第一图像进行降噪处理以得到第二图像。
本申请的第二方面，提供了一种缺陷检测用的图像增强装置，该装置包括：预处理模块，用于对获取到的待检测对象的原始图像进行预处理，确定感兴趣区域；直方图均衡化模块，用于对感兴趣区域进行改进的限制对比度自适应直方图均衡化处理得到第一图像；降噪模块，用于对第一图像进行降噪处理得到第二图像；多尺度增强模块，用于对感兴趣区域进行多尺度图像信息增强，得到第三图像；融合模块，用于对第二图像和第三图像进行融合，得到融合图像；
检测模块，用于根据融合图像，以进行缺陷检测；其中，直方图均衡化模块具体包括：划分单元，用于将感兴趣区域对应的灰度图像分为
Figure 964559DEST_PATH_IMAGE001
个大小均等的小块；计算单元，用于计算每个子块的灰度直方图；裁剪单元，用于根据裁剪阈值对每个子块的灰度直方图进行裁剪；分配单元，用于将被裁剪的部分直方图的像素分配至预设灰度区间；均衡化单元，用于对分配后的图像进行均衡化处理以得到均衡化图像；线性插值单元，用于对均衡化图像进行线性插值运算，以获得第一图像。
可选地，预处理模块包括：灰度处理单元，用于将获取到的待检测对象的原始图像转化为对应的灰度图像；下采样单元，用于对灰度图像进行下采样得到下采样图像；裁剪单元，用于从下采样图像中裁剪感兴趣区域。
可选地，预设灰度区间为
Figure 803202DEST_PATH_IMAGE002
，其中，
Figure 287273DEST_PATH_IMAGE003
，
Figure 553170DEST_PATH_IMAGE004
，
Figure 427585DEST_PATH_IMAGE005
为预设阈值，
Figure 928973DEST_PATH_IMAGE008
为每个子块的灰度直方图中概率密度最大的三个点对应的灰度阈值中的最小值，
Figure 142917DEST_PATH_IMAGE007
为每个子块的灰度直方图中概率密度最大的三个点对应的灰度阈值中的最大值。
可选地，均衡化图像包括第一区域、第二区域和第三区域，第一区域内的每个子块的两组对边均未与其他子块相邻，第二区域内的每个子块的两组对边中的一组与其他两个子块相邻，第三区域内的每个子块的两组对边均分别与其他两个子块相邻；线性插值单元具体用于：对第二区域内的像素点，利用与像素点所在的子块的对边相邻的两个子块的图像对映的函数进行线性插值；对第三区域内的像素点，利用与像素点所在的子块的两组对边分别相邻的两对子块的图像对映的函数进行双线性插值。
可选地，裁剪模块具体用于：利用下采样图像的灰度阈值，对下采样图像以预设阈值分割方式进行处理，裁剪得到感兴趣区域；其中，预设阈值分割方式包括固定阈值分割方式、动态阈值分割方式或局部阈值分割方式中的一种。
可选地，多尺度增强模块包括：滤波单元，用于运用不同的滤波核函数对感兴趣区域进行滤波得到对应的第一滤波图像；做差单元，用于将任一第一滤波图像与其他第一滤波图和/或感兴趣区域的源图像做差，得到细节图；融合单元，用于对所有第一滤波图对应的细节图进行融合，得到第三图像。
可选地，检测模块包括：增强单元，用于对融合图像进行上采样，得到增强图像；检测单元，用于依据增强图像，进行缺陷检测。
可选地，降噪模块具体用于：利用中值滤波、均值滤波、快速导向滤波中的一种，对第一图像进行降噪处理以得到第二图像。
本申请的第三方面，提供了一种检测系统，包括处理器和存储器；存储器，用于存储操作指令；处理器，用于通过调用操作指令，执行上述第一方面中任一项的缺陷检测用的图像增强方法的步骤。
本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项的缺陷检测用的图像增强方法的步骤。
本申请实施例提供的缺陷检测用的图像增强方法、装置、检测系统和存储介质，将获取到的原始图像转换为对应的灰度图像，通过对灰度图像进行下采样，以加快图像的处理速度；通过从下采样图像中裁剪感兴趣区域，能够有针对性地对目标区域图像进行处理，进一步简化图像的处理过程，提高处理速度。通过对感兴趣区域进行改进的限制对比度自适应直方图均衡化（即改进的CLAHE）处理，能够对感兴趣区域的图像进行增强以得到第一图像，通过对第一图像进行降噪处理得到第二图像，能够有效地限制第一图像中不必要区域的噪声被放大的现象，提高了图像的预处理效率；同时，对感兴趣区域进行多尺度图像信息增强，使得得到的第三图像的信息较为全面，避免出现局部对比度不足问题；通过对分别增强处理后的第二图像和第三图像进行融合得到融合图像，使得融合图像的增强效果较为明显，且信息较为全面；通过对融合图像进行上采样得到增强图像，使得增强图像相对于原始图像具有良好的增强效果，对于一些局部的对比度只有几个灰度差的弱缺陷也能够具有较好的增强效果。由此，缺陷检测系统根据增强图像，能够较为快速、全面、准确地实现缺陷检测，且对弱缺陷也能够呈现良好的检测结果，适于推广应用。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。其中：
图1为根据本申请的一个可选实施例的缺陷检测用的图像增强方法的流程图；
图2为根据本申请的一个可选实施例的上采样和下采样的示意图；
图3为根据本申请的一个可选实施例的对均衡化图像进行线性插值运算以获得所述第一图像的示意图；
图4为根据本申请的一个可选实施例的感兴趣区域的一个子块的灰度直方图；
图5为使用本申请提供的方法对图4所示的子块裁剪后的直方图；
图6为根据本申请的一个可选实施例的原始图像；
图7为根据本申请的一个可选实施例使用本方法获得的第一图像；
图8为根据本申请的一个可选实施例使用本方法获得的增强图像；
图9为根据本申请的一个可选实施例的缺陷检测用的图像增强装置的示意框图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本申请更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本申请可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本申请发生混淆，对于本领域公知的一些技术特征未进行描述。
应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本申请的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。
现在，将参照附图更详细地描述根据本申请的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。应当理解的是，提供这些实施例是为了使得本申请的发明彻底且完整，并且将这些示例性实施例的构思充分传达给本领域普通技术人员。
本申请实施例提供一种可能的应用场景，该应用场景包括AOI检测设备，如利用AOI检测设备对工业领域中的如手机中框、后盖、玻璃、板材、电子行业的电路板组装等的外观进行缺陷检查。
作为本申请的实施方式之一，如图1所示，本申请实施例提供缺陷检测用的图像增强方法，包括如下方法步骤。
步骤S101：对获取到的待检测对象的原始图像进行预处理，确定感兴趣区域。
其中，待检测对象可以是移动终端的盖板、半导体晶圆片、车载后视镜等具备油墨区的平面工件，平面工件的材料可以是玻璃、塑料、金属或树脂。
在该实施例中，先获取待检测对象的原始图像，其中，原始图像可以通过检测系统（如AOI检测设备）中的线阵相机或面阵相机图像传感器进行获取。通常情况下，原始图像的对比度低、成像不均、成像弱，由此会导致检测到的缺陷不全面，如有些缺陷无法准确、全面地显示导致不能准确地被检测出来，同时，相关技术中的检测方法对图像的处理时间较长。由此，本申请通过对原始图像进行预处理，以确定感兴趣区域，能够有选择地、有针对性地对目标区域图像进行处理，以对感兴趣区域中存在的缺陷进行检测，有效地减少图像处理过程中的运行时间，提高图像的处理效率。
进一步地，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，上述步骤101可以包括如下方法和步骤。
步骤101-1：将获取到的待检测对象的原始图像转化为对应的灰度图像。
其中，原始图像包括灰度图像或彩色图像，彩色图像如RGB图，以满足缺陷检测系统的相机不同类型的需求，扩大了图像增强方法的使用范围。其中，当原始图像为灰色图像时，可以省略此步骤。当原始图像为彩色图像时，即原始图像为RGB图时，可以将原始图像转换为对应的灰度图像。
具体地，可以利用公式
Figure 704348DEST_PATH_IMAGE009
，将彩色图像转换为灰度图像。
其中，彩色图像RGB转换为灰度图像，较为常用的方法为加权平均值法和算术平均值法，其中，加权平均值法对应的公式为：
Figure 269322DEST_PATH_IMAGE010
，在上式中，
Figure 571471DEST_PATH_IMAGE011
为在
Figure 171080DEST_PATH_IMAGE012
点坐标的红通道灰度值，
Figure 168992DEST_PATH_IMAGE013
为在
Figure 955682DEST_PATH_IMAGE014
点坐标的绿通道灰度值，
Figure 798873DEST_PATH_IMAGE015
为在
Figure 518568DEST_PATH_IMAGE016
点坐标的蓝通道灰度值，其中0.299，0.578和0.114是通过人的亮度感知系统调节出的参数，为广泛使用的标准化参数。
其中，算术平均值法对应的公式为：
Figure 421802DEST_PATH_IMAGE017
。但是，上述两种方法在实际应用过程中，浮点计算速度低，影响图像处理效率。为此，本申请在将彩色图像转换为灰度图像的过程中，使用7位精度计算公式，以提高浮点计算速度。其中，7位精度计算公式为：
Figure 23684DEST_PATH_IMAGE018
。
步骤101-2：对灰度图像进行下采样得到下采样图像。
其中，通过对灰度图像进行下采样处理，使得下采样处理后的图像的尺寸与原始的灰度图像的尺寸相比，大大减小，由此，可以有针对性地对下采样处理图像中的缺陷进行检测，能够减小后续缺陷检测过程中对图像处理的尺寸，进而能够加快图像的处理速度。
具体地，可以通过下述方法和步骤对灰度图像进行下采样得到下采样图像。
将尺寸为
Figure 545933DEST_PATH_IMAGE019
的灰度图像，进行
Figure 651292DEST_PATH_IMAGE020
倍的下采样，得到尺寸为
Figure 928689DEST_PATH_IMAGE021
的下采样图像，其中，
Figure 80185DEST_PATH_IMAGE022
。
具体地，
Figure 140545DEST_PATH_IMAGE023
可以为2、3、4或其他数值。通过对灰度图像进行
Figure 693886DEST_PATH_IMAGE023
倍下采样，能够加快图像的处理速度。
本申请提供的具体示例中，以
Figure 814289DEST_PATH_IMAGE024
为例进行说明。即
Figure 190431DEST_PATH_IMAGE025
，其时间复杂度变为
Figure 54482DEST_PATH_IMAGE026
，进而能够加快图像的处理速度。具体地，直接取值：
Figure 727909DEST_PATH_IMAGE027
，取周围均值：
Figure 19213DEST_PATH_IMAGE028
，实现下采样处理，其中
Figure 879721DEST_PATH_IMAGE029
为下采样后得到的图像在
Figure 547463DEST_PATH_IMAGE016
的值，通过其周围点
Figure 544238DEST_PATH_IMAGE030
，
Figure 272022DEST_PATH_IMAGE031
，
Figure 619827DEST_PATH_IMAGE032
，
Figure 91260DEST_PATH_IMAGE033
获得。其中，图2示出了N=2时的下采样的示意图，举例而言，将尺寸为6×6的图像进行下采样得到尺寸为6×6的图像，其中，图像的尺寸单位为（cm×cm）。
步骤101-3：从下采样图像中裁剪感兴趣区域。
其中，通过从下采样图像中裁剪感兴趣区域，能够有针对性地对目标区域图像进行处理，由此，可以对目标区域内的缺陷进行检测，进一步简化了图像的处理过程，提高图像的处理速度。
具体地，上述步骤S101-3可以包括如下方法和步骤。
利用下采样图像的灰度阈值，对下采样图像以预设阈值分割方式进行处理，裁剪得到感兴趣区域；其中，预设阈值分割方式包括固定阈值分割方式、动态阈值分割方式或局部阈值分割方式中的一种。
在该实施例中，通过对下采样图像进行裁剪得到感兴趣区域，能够有选择地、有针对性地对目标区域图像进行处理，有效地减少图像处理过程中的运行时间，提高图像的处理效率，可以理解的是，在一些实施例中，也可以对下采样图像不进行裁剪，选择直接用整幅图做后续的增强处理操作，也就是说，感兴趣区域的尺寸能够小于或者等于下采样图像的尺寸。
具体地，对下采样图像进行裁剪得到感兴趣区域的过程，用户可以手动点选ROI检测系统，得到一个区域A后，对区域A用固定阈值分割方式、动态阈值分割方式、局部阈值分割方式中的一种，裁剪得到感兴趣区域。
其中，固定阈值分割方式可以为单区间或双区间固定阈值分割，即分割出大于最小阈值
Figure 208120DEST_PATH_IMAGE008
和小于最大阈值
Figure 575648DEST_PATH_IMAGE007
的灰度值符合区域。对于单区间固定阈值分割方式，当
Figure 410749DEST_PATH_IMAGE034
表示为目标灰度值时，则需满足：
Figure 420293DEST_PATH_IMAGE035
。对于双区间固定阈值分割方式中，当
Figure 391660DEST_PATH_IMAGE036
和
Figure 257985DEST_PATH_IMAGE037
表示为目标灰度值时，则需满足：
Figure 190169DEST_PATH_IMAGE038
且
Figure 148546DEST_PATH_IMAGE039
，该情况可用于同时分割出亮和暗的感兴趣区域。
其中，动态阈值分割方式可选择亮区域或者暗区域，它对原图和平滑后的图像逐个像素做比较，当大于或小于灰度偏差区间时才被获取出。以
Figure 849785DEST_PATH_IMAGE040
表征原图像素，
Figure 214908DEST_PATH_IMAGE041
表征通过一定图像预处理（均值滤波、高斯滤波等平滑）得到的平滑后的图像，如均值滤波，M为滤波器窗口大小，
Figure 962284DEST_PATH_IMAGE042
为处理后的图像，
Figure 313631DEST_PATH_IMAGE043
为原始图像，可以理解的是，该处的原图是指下采样图像，则：
Figure 259590DEST_PATH_IMAGE044
，其中，
Figure 936559DEST_PATH_IMAGE045
表征灰度偏差区间，当选择亮区域时：
Figure 967969DEST_PATH_IMAGE046
，当选择暗区域时：
Figure 123007DEST_PATH_IMAGE047
。
其中，局部阈值分割方式是基于灰度图的局部均值和标准偏差的局部自适应阈值，其公式为：
Figure 126735DEST_PATH_IMAGE048
；其中，
Figure 833660DEST_PATH_IMAGE049
为计算出的局部阈值，
Figure 227732DEST_PATH_IMAGE050
是mask窗口内的局部平均值，
Figure 717619DEST_PATH_IMAGE051
表示相应的标准差，
Figure 638170DEST_PATH_IMAGE052
为
Figure 125784DEST_PATH_IMAGE053
的归一化比例因子。
进一步地，对于利用上述不同分割方式裁剪得到感兴趣区域，需要进一步判断是否为空，若判断裁剪得到的感兴趣区域为空，则可以自动处理以选择用整幅图做后续的增强处理操作。
步骤S102：对感兴趣区域进行改进的限制对比度自适应直方图均衡化处理得到第一图像。
在该实施例中，限制对比度自适应直方图均衡化即为CLAHE，通过对感兴趣区域进行改进的限制对比度自适应直方图均衡化（即改进的CLAHE）处理，能够对感兴趣区域的图像进行增强以得到第一图像，使得第一图像中的缺陷特征得以加强，提高了第一图像的对比度，由此，使得成像弱的微小缺陷也能够进行快速且精准的识别，大大提升缺陷检测的可靠性。
进一步地，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，如图1所示，步骤102可以包括如下方法和步骤。
S102-1：将感兴趣区域对应的灰度图像分为
Figure 337978DEST_PATH_IMAGE054
个大小均等的小块；
S102-2：计算每个子块的灰度直方图；
S102-3：根据裁剪阈值对每个子块的灰度直方图进行裁剪；
S102-4：将被裁剪的部分直方图的像素分配至预设灰度区间；
S102-5：对分配后的图像进行均衡化处理以得到均衡化图像；
S102-6：对均衡化图像进行线性插值运算，以获得第一图像。
其中，CLAHE（限制对比度自适应直方图均衡化）主要由两部分组成CL+AHE，其中AHE（自适应直方图均衡）是由HE（直方图均衡）改进得来。AHE图像分为
Figure 631556DEST_PATH_IMAGE055
个子区域，即对应的小块，分别对每个区域进行直方图均衡变换，改进了直方图均衡会使一些区域变的更暗更亮丢失细节信息的缺陷。但是对每个子区域分别直方图均衡会出现拼接感，不连续性，所以，本申请加入了线性插值的处理，以提高各个子方图的连续性。而有时仍会有区域的对比度增强过大导致出现噪声被放大的情况，即增加了ClipLimit（CL），裁减掉超出部分的像素值再均匀分配到预设灰度区间，能够避免背景过噪的情况发生，使得图像颜色较为真实，能够真实反映现实场景，提高图像增强的有效性。其中，图6为本申请的一个可选实施例的待检测对象的原始图像，该原始图像为灰度图像，或者，图6可以理解为对待检测对象的彩色原始图像进行灰度处理后的图像；图7为通过上述方式进行改进的限制对比度自适应直方图均衡化处理得到第一图像，显而易见，第一图像对感兴趣区域的原始图像具有良好的增强效果。
本申请实施例中，通过如下预设好的目标阈值ClipLimit（CL）来对直方图进行裁剪，其中，
Figure 406614DEST_PATH_IMAGE056
为分块大小，256为灰度范围0-255，
Figure 658604DEST_PATH_IMAGE057
，
Figure 558426DEST_PATH_IMAGE058
为子块的宽高：
Figure 593379DEST_PATH_IMAGE059
，
其中：
Figure 488522DEST_PATH_IMAGE060
；
Figure 911413DEST_PATH_IMAGE061
。
在上述实施例中，预设灰度区间为
Figure 298532DEST_PATH_IMAGE002
，其中，
Figure 137175DEST_PATH_IMAGE003
，
Figure 621246DEST_PATH_IMAGE062
，
Figure 887143DEST_PATH_IMAGE005
为预设阈值，
Figure 89454DEST_PATH_IMAGE063
为每个子块的灰度直方图中概率密度最大的三个点对应的灰度阈值中的最小值，
Figure 262946DEST_PATH_IMAGE064
为每个子块的灰度直方图中概率密度最大的三个点对应的灰度阈值中的最大值。
也就是说，本申请实施例中将根据概率密度最大的三个点
Figure 742469DEST_PATH_IMAGE065
，
Figure 303900DEST_PATH_IMAGE066
，
Figure 868874DEST_PATH_IMAGE067
，找出在其附近分配的阈值区间
Figure 374286DEST_PATH_IMAGE068
和
Figure 505053DEST_PATH_IMAGE069
，
Figure 440648DEST_PATH_IMAGE070
为三个概率密度对应的灰度阈值中的最小值
Figure 617551DEST_PATH_IMAGE071
减去n个灰度值，
Figure 601688DEST_PATH_IMAGE072
为三个概率密度对应的灰度阈值中的最大值
Figure 180437DEST_PATH_IMAGE073
加上
Figure 959037DEST_PATH_IMAGE005
个灰度值，即
Figure 357657DEST_PATH_IMAGE074
，
Figure 145485DEST_PATH_IMAGE075
，
Figure 578740DEST_PATH_IMAGE076
为用户预设好的预设阈值。其中
Figure 262662DEST_PATH_IMAGE077
，
Figure 679737DEST_PATH_IMAGE078
为图像中出现
Figure 740097DEST_PATH_IMAGE079
级灰度的像素数，
Figure 27859DEST_PATH_IMAGE080
是图像像素总数。
由于传统的CLAHE处理过程中，会将被裁剪的部分直方图的像素均匀分配至整个区间内，导致将周围不想增强的地方过渡增强导致背景过噪。而本申请实施例中，利用上述分配方法将被裁剪的部分直方图的像素分配至预设灰度区间内，会弱化周围不想增强的地方，避免背景过噪的情况发生，使得图像颜色较为真实，能够真实反映现实场景，提高图像增强的有效性，并能够提高处理效率，确保良好的增强效果。其中，图4为本申请的一个可选实施例的感兴趣区域的一个子块的灰度直方图，图5为利用上述方法对图4中的子块进行裁剪后的直方图。
其中，直方图均衡化是通过对原图像进行某种变换，重新分配图像像素值，把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内均匀分布的形式，从而使原始图像的直方图改变成均匀分布的直方图，达到增强图像整体对比度的效果。由此，对分配后的图像进行均衡化处理能够得到均衡化图像，使得均衡化图像具有良好的对比度。
在本申请提供的一些可能实现的实施例中，均衡化图像包括第一区域、第二区域和第三区域，第一区域内的每个子块的两组对边均未与其他子块相邻，即第一区域可以理解为位于整个区域的角部的四个子块，如图3中的灰色区域所示。第二区域内的每个子块的两组对边中的一组与其他两个子块相邻，即第二区域可以理解为位于整个区域的边缘部分并除了角部的四个子块的部分，如图3中的绿色区域所示。第三区域内的每个子块的两组对边均分别与其他两个子块相邻，即第三区域可以理解为位于整个区域的中间部分，即除了第一区域和第二区域的部分，如图3中的蓝色区域所示。也就是说，整个区域由第一区域、第二区域、第三区域组成。
其中，上述步骤S102-6，也即对均衡化图像进行线性插值运算，以获得第一图像，可以包括如下方法和步骤。
对第二区域内的像素点，利用与像素点所在的子块的对边相邻的两个子块的图像对映的函数进行线性插值；
对第三区域内的像素点，利用与像素点所在的子块的两组对边分别相邻的两对子块的图像对映的函数进行双线性插值。
也就是说，如图3所示，对于线性插值的处理，对位于第一区域（即四个角部的子块）内的像素点不进行插值处理，对于第二区域（即边缘绿色区域）内的像素点是通过与该像素点所在的子块的对边相邻的两个子块的图像变换函数进行线性插值得到，对于第三区域（即中间蓝色区域）内的像素点是通过与该像素点所在的子块的两组对边分别相邻的两对子块的图像对映的函数进行双线性插值得到的，其中，双线性插值为两个方向分别进行一次线性插值，如附图3所示。其中，
Figure 413841DEST_PATH_IMAGE081
可以表示为：
Figure 789983DEST_PATH_IMAGE082
其中，
Figure 981930DEST_PATH_IMAGE083
，
Figure 265144DEST_PATH_IMAGE084
，
Figure 681082DEST_PATH_IMAGE085
，
Figure 416956DEST_PATH_IMAGE086
别表示在该点的灰度值。
其中，使用双线性插值处理后，对小图映射到大图后的边界有很好的过渡效果，不会使拼接缝过于明显，提高了拼接后的大图的光滑性。
步骤S103：对第一图像进行降噪处理得到第二图像。
在该实施例中，通过对第一图像进行降噪处理得到第二图像，能够有效地限制第一图像中不必要区域的噪声被放大的现象，使得降噪后的第二图像噪声小，对比度明显，能够较好的反映弱缺陷，进而能够实现对弱缺陷的检测，提高检测的准确性。
进一步地，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，步骤103，也即对第一图像进行降噪处理得到第二图像，具体包括如下方法和步骤。
利用中值滤波、均值滤波、快速导向滤波中的一种，对第一图像进行降噪处理以得到第二图像。
在该实施例中，可以通过中值滤波、均值滤波或快速导向滤波等进行小窗口图像滤波去噪。
其中，均值滤波为邻域平均法，M为滤波器窗口大小，
Figure 474911DEST_PATH_IMAGE087
为处理后的图像，
Figure 612631DEST_PATH_IMAGE088
为原始图像，该原始图像表示第一图像，则：
Figure 199471DEST_PATH_IMAGE089
；
小窗口中值滤波计算公式如下：
Figure 422642DEST_PATH_IMAGE090
快速导向滤波相比普通的导向滤波的不同在于其对导向图与待处理图在做滤波前进行了2×2下采样处理，计算好后再做上采样。
步骤S104：对感兴趣区域进行多尺度图像信息增强，得到第三图像。
在该实施例中，通过对感兴趣区域进行多尺度图像信息增强，使得得到的第三图像中的缺陷特征的信息较为全面，进而能够较为全面地体现感兴趣区域的缺陷特征，避免出现缺陷特征局部对比度不足问题，进而有利于提高缺陷检测的全面性，提高缺陷检测的准确性。
进一步地，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，步骤104可以包括如下方法和步骤。
S104-1：运用不同的滤波核函数对感兴趣区域进行滤波得到对应的第一滤波图像；
S104-2：将任一第一滤波图像与其他第一滤波图和/或感兴趣区域的源图像做差，得到细节图；
S104-3：对所有第一滤波图对应的细节图进行融合，得到第三图像。
在该实施例中，不同的滤波核函数可以为均值滤波，高斯滤波，双边滤波和分离高斯滤波对应函数中的至少两种。如可以选择三个（或其他数量）尺度的滤波，利用三个尺度的不同滤波核函数对感兴趣区域进行滤波得到对应的第一滤波图，然后将三个第一滤波图相互做差、或者，三个第一滤波图分别与感兴趣区域的源图像做差，或者，三个第一滤波图相互做差后再分别与感兴趣区域的源图像做差得到不同程度的细节图，然后后将做差得到的三幅细节图融合可以将局部细节增强。由此，使得第三图像，噪声小，对比度明显，能够较好的反映弱缺陷。
具体地，以
Figure 956391DEST_PATH_IMAGE091
表征滤波后得到的第一图像，
Figure 73252DEST_PATH_IMAGE092
为感兴趣区域的源图像，
Figure 971938DEST_PATH_IMAGE093
为滤波，且
Figure 807038DEST_PATH_IMAGE094
为例进行说明，各个不同滤波核函数对感兴趣区域进行滤波得到的第一滤波图像如下：
Figure 551003DEST_PATH_IMAGE095
不同的第一图像做差，类似高斯差分，
Figure 785020DEST_PATH_IMAGE096
为做差后得到的细节图，得到对应的细节图如下：
Figure 589028DEST_PATH_IMAGE097
融合三个细节图得到第三图像如下：
Figure 177004DEST_PATH_IMAGE098
其中，
Figure 724660DEST_PATH_IMAGE099
为阶跃函数。
步骤S105：对第二图像和第三图像进行融合，得到融合图像；
步骤S106：根据融合图像，以进行缺陷检测。
在该实施例中，由于第二图像中的缺陷特征得以加强，且噪音小，对比度强，而第三图像中的缺陷特征的信息较为全面，由此，基于形态学方法，通过对分别增强处理后的第二图像和第三图像进行融合得到融合图像，使得融合图像能够综合第二图像和第三图像中的缺陷特征的优点，即能够使缺陷特征得以加强、噪音小、具有较高的对比度，同时，能够增加缺陷特征的全面性，从而使融合处理后的融合图像能够较明显、较全面的体现缺陷特征，使得通过融合图像提取的缺陷信息更加准确，提高缺陷检测的准确性和全面性，为后续检测和加工提供可靠的数据支持。
进一步地，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，步骤105可以包括如下方法和步骤。
通过如下公式：
Figure 816113DEST_PATH_IMAGE100
，
对第二图像和第三图像进行融合，以得到融合图像，其中，
Figure 791022DEST_PATH_IMAGE101
为第二图像的映射函数，
Figure 600715DEST_PATH_IMAGE102
为第三图像映射的函数，
Figure 952062DEST_PATH_IMAGE103
为0到1的浮点数。
在该实施例中，通过对第二图像和第三图像进行线性融合，以提高融合后的图像的增强效果，使得融合后的图像成为高质量的图像，以提高图像信息的利用率，且图像对比度明显，能够较好的反应弱缺陷。
进一步地，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，步骤106可以包括如下方法和步骤。
利用最近邻插值或双线性插值的方法，对融合图像进行上采样，得到增强图像，对增强图像进行缺陷检测。
在该实施例中，可以利用最近邻插值方法、或双线性插值的方法，对融合图像进行上采样以得到增强图像，使得增强图像的尺寸与原始图像的尺寸相同，且噪音大大减小、颜色对比度明显，能够较好的反应弱缺陷，使得对于一些局部的对比度只有几个灰度差的弱缺陷也具有较好的增强效果，由此，对增强图像进行缺陷检测，能够较明显、较全面地呈现缺陷特征，以提高缺陷检测的准确性和真实性。其中，通过最近邻插值方法得到的增强图像计算量小、速度快，有利于提高图像处理效率。通过双线性插值得到的增强图像较为平滑，有利于真实反映实际场景。
其中，双线性插值方法进行上采样的过程如下所示：
Figure 898021DEST_PATH_IMAGE104
其中，
Figure 637307DEST_PATH_IMAGE105
为变换后目标图像，
Figure 340821DEST_PATH_IMAGE106
和
Figure 558176DEST_PATH_IMAGE107
为融合图像的源图像的宽和高，
Figure 499587DEST_PATH_IMAGE108
和
Figure 878616DEST_PATH_IMAGE109
为变换后图像的宽和高，
Figure 600584DEST_PATH_IMAGE110
为变换后的图像的对应输入图像在点
Figure 90471DEST_PATH_IMAGE111
的坐标，其中缩放因子
Figure 951636DEST_PATH_IMAGE112
即
Figure 829462DEST_PATH_IMAGE113
，上采样时候大于1。
由此，本申请实施例提供的缺陷检测用的图像增强方法，将获取到的原始图像转换为对应的灰度图像，通过对灰度图像进行下采样，以加快图像的处理速度；通过从下采样图像中裁剪感兴趣区域，能够有针对性地对目标区域图像进行处理，进一步简化图像的处理过程，提高图像的处理速度。通过对感兴趣区域进行改进的限制对比度自适应直方图均衡化（即改进的CLAHE）处理，能够对感兴趣区域的图像进行增强以得到第一图像，通过对第一图像进行降噪处理得到第二图像，能够有效地限制第一图像中不必要区域的噪声被放大的现象，提高了图像的预处理效率；同时，对感兴趣区域进行多尺度图像信息增强，使得得到的第三图像的信息较为全面，避免出现局部对比度不足问题；通过对分别增强处理后的第二图像和第三图像进行融合得到融合图像，使得融合图像的增强效果较为明显，且信息较为全面；通过对融合图像进行上采样得到增强图像，使得增强图像相对于原始图像具有良好的增强效果，对于一些局部的对比度只有几个灰度差的弱缺陷也能够具有较好的增强效果。由此，缺陷检测系统根据增强图像，能够较为快速、全面、准确地实现缺陷检测，且对弱缺陷也能够呈现良好的检测结果，适于推广应用。
具体地，缺陷检测系统（包括AOI检测设备）中存储有对应的缺陷算法流程，缺陷检测系统根据增强图像进行缺陷检测，并结合检测系统中对应的算法流程输出的缺陷特征值进行缺陷判断并输出检测结果，如对于检测出的缺陷运用其输出的多个特征值的高低范围值做逻辑与、或逻辑或、或逻辑非等运算，判断是否为真缺陷，输出OK或者NG到软件界面。
举例而言，若输出的缺陷特征值满足预设条件，说明是真的存在缺陷，软件界面的输出检测结果可以为“NG”，若输出的缺陷特征值不满足预设条件，说明不存在缺陷，软件界面的输出检测结果可以为“OK”。
其中，图6为本申请的一个可选实施例的待检测对象的原始图像，该原始图像为灰度图，图7为通过上述方式进行改进的限制对比度自适应直方图均衡化处理得到第一图像，图8为通过上述方法对融合图像进行上采样，得到增强图像，显而易见，增强图像相对于原始图像和第一图像，噪声小，颜色对比度明显，能够较好的反应弱缺陷，对于一些局部的对比度只有几个灰度差的弱缺陷也能有较好的增强效果，解决了现有技术中工业缺陷检测成像带来的不足难以检测到的缺陷的问题，适于推广应用。
作为图1至图8方法的具体实现，如图9所示，本申请的第二方面，提供了一种缺陷检测用的图像增强装置1000，该装置1000包括：预处理模块1100，用于对获取到的待检测对象的原始图像进行预处理，确定感兴趣区域；直方图均衡化模块1200，用于对感兴趣区域进行改进的限制对比度自适应直方图均衡化处理得到第一图像；降噪模块1300，用于对第一图像进行降噪处理得到第二图像；多尺度增强模块1400，用于对感兴趣区域进行多尺度图像信息增强，得到第三图像；融合模块1500，用于对第二图像和第三图像进行融合，得到融合图像；检测模块1600，用于根据融合图像，以进行缺陷检测；其中，直方图均衡化模块1200具体包括：划分单元1210，用于将感兴趣区域对应的灰度图像分为
Figure 710830DEST_PATH_IMAGE114
个大小均等的小块；计算单元1220，用于计算每个子块的灰度直方图；裁剪单元1230，用于根据裁剪阈值对每个子块的灰度直方图进行裁剪；分配单元1240，用于将被裁剪的部分直方图的像素分配至预设灰度区间；均衡化单元1250，用于对分配后的图像进行均衡化处理以得到均衡化图像；线性插值单元1260，用于对均衡化图像进行线性插值运算，以获得第一图像。
关于缺陷检测用的图像增强装置1000的具体限定可以参见上文中对于缺陷检测用的图像增强方法的限定，在此不再一一赘述。
本申请提供的缺陷检测用的图像增强装置1000，通过预处理模块1100将获取到的待检测对象的原始图像进行预处理，确定感兴趣区域，使得原始图像转换为对应的灰度图像并进行下采样、裁剪后，确定感兴趣区域，能够有针对性地对目标区域图像进行处理，进一步简化图像的处理过程，提高处理速度。通过直方图均衡化模块1200对感兴趣区域进行改进的限制对比度自适应直方图均衡化（即改进的CLAHE）处理，能够对感兴趣区域的图像进行增强以得到第一图像，通过降噪模块1300对第一图像进行降噪处理得到第二图像，能够有效地限制第一图像中不必要区域的噪声被放大的现象，提高了图像的预处理效率；同时，多尺度增强模块1400对感兴趣区域进行多尺度图像信息增强，使得得到的第三图像的信息较为全面，避免出现局部对比度不足问题；通过融合模块1500对分别增强处理后的第二图像和第三图像进行融合得到融合图像，使得融合图像的增强效果较为明显，且信息较为全面；通过检测模块1600根据融合图像进行缺陷检测，如对融合图像进行上采样得到增强图像，使得增强图像相对于原始图像具有良好的增强效果，对于一些局部的对比度只有几个灰度差的弱缺陷也能够具有较好的增强效果。由此，缺陷检测系统根据增强图像，能够较为快速、全面、准确地实现缺陷检测，且对弱缺陷也能够呈现良好的检测结果，适于推广应用。
作为一种可选示例，预处理模块1100包括：灰度处理单元，用于将获取到的待检测对象的原始图像转化为对应的灰度图像；下采样单元，用于对灰度图像进行下采样得到下采样图像；裁剪单元，用于从下采样图像中裁剪感兴趣区域。
作为一种可选示例，预设灰度区间为[
Figure 332304DEST_PATH_IMAGE115
]，其中，
Figure 982728DEST_PATH_IMAGE116
=
Figure 31456DEST_PATH_IMAGE117
-n,
Figure 400120DEST_PATH_IMAGE118
=
Figure 762969DEST_PATH_IMAGE119
+n,n为预设阈值，
Figure 330216DEST_PATH_IMAGE120
为每个子块的灰度直方图中概率密度最大的三个点对应的灰度阈值中的最小值，
Figure 284266DEST_PATH_IMAGE121
为每个子块的灰度直方图中概率密度最大的三个点对应的灰度阈值中的最大值。
作为一种可选示例，均衡化图像包括第一区域、第二区域和第三区域，第一区域内的每个子块的两组对边均未与其他子块相邻，第二区域内的每个子块的两组对边中的一组与其他两个子块相邻，第三区域内的每个子块的两组对边均分别与其他两个子块相邻；线性插值单元具体用于：对第二区域内的像素点，利用与像素点所在的子块的对边相邻的两个子块的图像对映的函数进行线性插值；对第三区域内的像素点，利用与像素点所在的子块的两组对边分别相邻的两对子块的图像对映的函数进行双线性插值。
作为一种可选示例，裁剪模块具体用于：利用下采样图像的灰度阈值，对下采样图像以预设阈值分割方式进行处理，裁剪得到感兴趣区域；其中，预设阈值分割方式包括固定阈值分割方式、动态阈值分割方式或局部阈值分割方式中的一种。
作为一种可选示例，多尺度增强模块1400包括：滤波单元，用于运用不同的滤波核函数对感兴趣区域进行滤波得到对应的第一滤波图像；做差单元，用于将任一第一滤波图像与其他第一滤波图和/或感兴趣区域的源图像做差，得到细节图；融合单元，用于对所有第一滤波图对应的细节图进行融合，得到第三图像。
作为一种可选示例，检测模块1600包括：增强单元，用于对融合图像进行上采样，得到增强图像；检测单元，用于依据增强图像，进行缺陷检测。
作为一种可选示例，降噪模块1300具体用于：利用中值滤波、均值滤波、快速导向滤波中的一种，对第一图像进行降噪处理以得到第二图像。
基于上述如图1所示的方法，以及图9所示的装置1000实施例，为了实现上述目的，本申请实施例还提供了一种检测系统，具体地，检测系统可以为AOI检测系统，也可以为其他检测系统。该检测系统包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1所示的缺陷检测用的图像增强方法。
可选地，该检测系统还可以包括用户接口、摄像头、射频（Radio Frequency，RF）电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏（Display）、输入单元比如键盘（Keyboard）等，可选用户接口还可以包括USB接口、读卡器接口等。
本领域技术人员可以理解，本实施例提供的一种检测系统的结构并不构成对该检测系统的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理和保存计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
基于上述如图1所示的方法，相应的，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述如图1所示的缺陷检测用的图像增强方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施场景所述的方法。
基于上述如图1所示方法，相应的，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述如图1所示的缺陷检测用的图像增强方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (18)

1.一种缺陷检测用的图像增强方法，其特征在于，所述方法包括：
对获取到的待检测对象的原始图像进行预处理，确定感兴趣区域；
对所述感兴趣区域进行改进的限制对比度自适应直方图均衡化处理得到第一图像；
对所述第一图像进行降噪处理得到第二图像；
对所述感兴趣区域进行多尺度图像信息增强，得到第三图像；
对所述第二图像和所述第三图像进行融合，得到融合图像；
根据所述融合图像，以进行缺陷检测；
其中，所述对所述感兴趣区域进行改进的限制对比度自适应直方图均衡化处理得到第一图像，包括：
将所述感兴趣区域对应的灰度图像分为
Figure 184829DEST_PATH_IMAGE001
个大小均等的小块；
计算每个子块的灰度直方图；
根据裁剪阈值对每个子块的所述灰度直方图进行裁剪；
将被裁剪的部分所述直方图的像素分配至预设灰度区间；
对分配后的图像进行均衡化处理以得到均衡化图像；
对所述均衡化图像进行线性插值运算，以获得所述第一图像。
2.根据权利要求1所述的方法，其特征在于，所述对获取到的待检测对象的原始图像进行预处理，确定感兴趣区域，包括：
将获取到的所述待检测对象的原始图像转化为对应的灰度图像；
对所述灰度图像进行下采样得到下采样图像；
从所述下采样图像中裁剪感兴趣区域。
3.根据权利要求1所述的方法，其特征在于，
所述预设灰度区间为
Figure 463363DEST_PATH_IMAGE002
，其中，
Figure 814710DEST_PATH_IMAGE003
，
Figure 963932DEST_PATH_IMAGE004
，
Figure 703218DEST_PATH_IMAGE005
为预设阈值，
Figure 406731DEST_PATH_IMAGE006
为每个所述子块的灰度直方图中概率密度最大的三个点对应的灰度阈值中的最小值，
Figure 889665DEST_PATH_IMAGE007
为每个所述子块的灰度直方图中概率密度最大的三个点对应的灰度阈值中的最大值。
4.根据权利要求1所述的方法，其特征在于，
所述均衡化图像包括第一区域、第二区域和第三区域，所述第一区域内的每个所述子块的两组对边均未与其他所述子块相邻，所述第二区域内的每个所述子块的两组对边中的一组与其他两个所述子块相邻，所述第三区域内的每个所述子块的两组对边均分别与其他两个所述子块相邻；
所述对所述均衡化图像进行线性插值运算，包括：
对所述第二区域内的像素点，利用与所述像素点所在的所述子块的对边相邻的两个所述子块的图像对映的函数进行线性插值；
对所述第三区域内的像素点，利用与所述像素点所在的所述子块的两组对边分别相邻的两对所述子块的图像对映的函数进行双线性插值。
5.根据权利要求2所述的方法，其特征在于，所述从所述下采样图像中裁剪感兴趣区域，包括：
利用所述下采样图像的灰度阈值，对所述下采样图像以预设阈值分割方式进行处理，裁剪得到所述感兴趣区域；
其中，所述预设阈值分割方式包括固定阈值分割方式、动态阈值分割方式或局部阈值分割方式中的一种。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述对所述感兴趣区域进行多尺度图像信息增强，得到第三图像，包括：
运用不同的滤波核函数对所述感兴趣区域进行滤波得到对应的第一滤波图像；
将任一所述第一滤波图像与其他所述第一滤波图和/或所述感兴趣区域的源图像做差，得到细节图；
对所有所述第一滤波图对应的所述细节图进行融合，得到所述第三图像。
7.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述融合图像，以进行缺陷检测，包括：
对所述融合图像进行上采样，得到增强图像；
依据所述增强图像，进行缺陷检测。
8.根据权利要求1至5中任一项所述的方法，其特征在于，所述对所述第一图像进行降噪处理得到第二图像，包括：
利用中值滤波、均值滤波、快速导向滤波中的一种，对所述第一图像进行降噪处理以得到所述第二图像。
9.一种缺陷检测用的图像增强装置，其特征在于，所述装置包括：
预处理模块，用于对获取到的待检测对象的原始图像进行预处理，确定感兴趣区域；
直方图均衡化模块，用于对所述感兴趣区域进行改进的限制对比度自适应直方图均衡化处理得到第一图像；
降噪模块，用于对所述第一图像进行降噪处理得到第二图像；
多尺度增强模块，用于对所述感兴趣区域进行多尺度图像信息增强，得到第三图像；
融合模块，用于对所述第二图像和所述第三图像进行融合，得到融合图像；
检测模块，用于根据所述融合图像，以进行缺陷检测；
其中，所述直方图均衡化模块具体包括：
划分单元，用于将所述感兴趣区域对应的灰度图像分为
Figure 955710DEST_PATH_IMAGE001
个大小均等的小块；
计算单元，用于计算每个子块的灰度直方图；
裁剪单元，用于根据裁剪阈值对每个子块的所述灰度直方图进行裁剪；
分配单元，用于将被裁剪的部分所述直方图的像素分配至预设灰度区间；
均衡化单元，用于对分配后的图像进行均衡化处理以得到均衡化图像；
线性插值单元，用于对所述均衡化图像进行线性插值运算，以获得所述第一图像。
10.根据权利要求9所述的装置，其特征在于，所述预处理模块包括：
灰度处理单元，用于将获取到的所述待检测对象的原始图像转化为对应的灰度图像；
下采样单元，用于对所述灰度图像进行下采样得到下采样图像；
区域裁剪单元，用于从所述下采样图像中裁剪感兴趣区域。
11.根据权利要求9所述的装置，其特征在于，
所述预设灰度区间为
Figure 538001DEST_PATH_IMAGE008
，其中，
Figure 56707DEST_PATH_IMAGE003
，
Figure 484278DEST_PATH_IMAGE009
，
Figure 670408DEST_PATH_IMAGE005
为预设阈值，
Figure 423601DEST_PATH_IMAGE010
为每个所述子块的灰度直方图中概率密度最大的三个点对应的灰度阈值中的最小值，
Figure 166953DEST_PATH_IMAGE007
为每个所述子块的灰度直方图中概率密度最大的三个点对应的灰度阈值中的最大值。
12.根据权利要求9所述的装置，其特征在于，
所述均衡化图像包括第一区域、第二区域和第三区域，所述第一区域内的每个所述子块的两组对边均未与其他所述子块相邻，所述第二区域内的每个所述子块的两组对边中的一组与其他两个所述子块相邻，所述第三区域内的每个所述子块的两组对边均分别与其他两个所述子块相邻；
所述线性插值单元具体用于：
对所述第二区域内的像素点，利用与所述像素点所在的所述子块的对边相邻的两个所述子块的图像对映的函数进行线性插值；
对所述第三区域内的像素点，利用与所述像素点所在的所述子块的两组对边分别相邻的两对所述子块的图像对映的函数进行双线性插值。
13.根据权利要求10所述的装置，其特征在于，所述区域裁剪单元具体用于：
利用所述下采样图像的灰度阈值，对所述下采样图像以预设阈值分割方式进行处理，裁剪得到所述感兴趣区域；
其中，所述预设阈值分割方式包括固定阈值分割方式、动态阈值分割方式或局部阈值分割方式中的一种。
14.根据权利要求9至13中任一项所述的装置，其特征在于，所述多尺度增强模块包括：
滤波单元，用于运用不同的滤波核函数对所述感兴趣区域进行滤波得到对应的第一滤波图像；
做差单元，用于将任一所述第一滤波图像与其他所述第一滤波图和/或所述感兴趣区域的源图像做差，得到细节图；
融合单元，用于对所有所述第一滤波图对应的所述细节图进行融合，得到所述第三图像。
15.根据权利要求9至13中任一项所述的装置，其特征在于，所述检测模块包括：
增强单元，用于对所述融合图像进行上采样，得到增强图像；
检测单元，用于依据所述增强图像，进行缺陷检测。
16.根据权利要求9至13中任一项所述的装置，其特征在于，所述降噪模块具体用于：
利用中值滤波、均值滤波、快速导向滤波中的一种，对所述第一图像进行降噪处理以得到所述第二图像。
17.一种检测系统，其特征在于，包括处理器和存储器；
所述存储器，用于存储操作指令；
所述处理器，用于通过调用所述操作指令，执行上述权利要求1至8中任一项所述的缺陷检测用的图像增强方法的步骤。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述权利要求1至8中任一项所述的缺陷检测用的图像增强方法的步骤。
CN202211645441.8A 2022-12-21 2022-12-21 缺陷检测用的图像增强方法、装置、检测系统及存储介质 Active CN115631117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211645441.8A CN115631117B (zh) 2022-12-21 2022-12-21 缺陷检测用的图像增强方法、装置、检测系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211645441.8A CN115631117B (zh) 2022-12-21 2022-12-21 缺陷检测用的图像增强方法、装置、检测系统及存储介质

Publications (2)

Publication Number Publication Date
CN115631117A CN115631117A (zh) 2023-01-20
CN115631117B true CN115631117B (zh) 2023-02-28

Family

ID=84909797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211645441.8A Active CN115631117B (zh) 2022-12-21 2022-12-21 缺陷检测用的图像增强方法、装置、检测系统及存储介质

Country Status (1)

Country Link
CN (1) CN115631117B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116718353B (zh) * 2023-06-01 2024-05-28 信利光电股份有限公司 一种显示模组光学自动检测方法及装置
CN116453029B (zh) * 2023-06-16 2023-08-29 济南东庆软件技术有限公司 基于图像数据的楼宇火灾环境检测方法
CN119444644A (zh) * 2023-08-03 2025-02-14 宁德时代新能源科技股份有限公司 电池图像处理方法、电池检测方法和装置
CN116993723B (zh) * 2023-09-26 2023-12-15 山东弘密新材料科技有限公司 基于图像处理的壁纸质量检测方法
CN117474902B (zh) * 2023-12-25 2024-03-12 山东明佳科技有限公司 一种桶面料包的缺包检测方法、系统、设备和存储介质
CN117522870B (zh) * 2024-01-04 2024-03-19 陕西凯迈航空航天机电设备有限公司 基于机器视觉的航空发动机零部件的缺陷智能检测方法
CN117934417B (zh) * 2024-01-24 2024-11-15 北京首发公路养护工程有限公司 基于神经网络识别道路表观缺陷方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463816A (zh) * 2014-12-02 2015-03-25 苏州大学 一种图像处理方法及装置
CN108460757A (zh) * 2018-02-11 2018-08-28 深圳市鑫信腾科技有限公司 一种手机TFT-LCD屏Mura缺陷在线自动检测方法
CN114298948A (zh) * 2021-12-08 2022-04-08 南京理工大学 基于PSPNet-RCNN的球机监控异常检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7376269B2 (en) * 2004-11-22 2008-05-20 Xerox Corporation Systems and methods for detecting image quality defects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463816A (zh) * 2014-12-02 2015-03-25 苏州大学 一种图像处理方法及装置
CN108460757A (zh) * 2018-02-11 2018-08-28 深圳市鑫信腾科技有限公司 一种手机TFT-LCD屏Mura缺陷在线自动检测方法
CN114298948A (zh) * 2021-12-08 2022-04-08 南京理工大学 基于PSPNet-RCNN的球机监控异常检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘德全,崔涛,杨雅宁.《局部对比度自适应直方图均衡化图像增强的算法研究》.2016,第1-2页. *

Also Published As

Publication number Publication date
CN115631117A (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
CN115631117B (zh) 缺陷检测用的图像增强方法、装置、检测系统及存储介质
CN115908269B (zh) 视觉缺陷检测方法、装置、存储介质和计算机设备
Liu et al. Single image dehazing via large sky region segmentation and multiscale opening dark channel model
US8131084B2 (en) Apparatus for improving sharpness of image
JP2010525486A (ja) 画像分割及び画像強調
JP2003058894A (ja) ピクセル化された画像をセグメント化するための方法および装置
US20190164259A1 (en) Method and apparatus for removing turbid objects in an image
CN114820594B (zh) 基于图像检测板材封边缺陷的方法、相关设备及存储介质
CN114298985B (zh) 缺陷检测方法、装置、设备及存储介质
CN107622504B (zh) 用于处理图片的方法和装置
CN112308797B (zh) 角点检测方法、装置、电子设备及可读存储介质
CN110717865B (zh) 图片检测方法及装置
Deepthi et al. Implementation of mobile platform using Qt and OpenCV for image processing applications
CN117274113B (zh) 基于图像增强的碎硅片清洗效果视觉检测方法
EP3203439A2 (en) Method and device for reducing noise in a component of a picture
CN111815729A (zh) 一种实时美肤方法、装置、设备和计算机存储介质
CN117152016A (zh) 基于改进暗通道先验的图像去雾方法及其系统
CN116128867A (zh) 一种板材封边缺陷检测方法、装置、设备及存储介质
CN110310341B (zh) 颜色算法中默认参数的生成方法、装置、设备和存储介质
CN105405109A (zh) 一种基于带状背景建模的脏点检测方法
CN117746450A (zh) 一种面向设备运维的移动端定值表单识别方法
CN115293996B (zh) 图像调色方法、装置和存储介质
AU2016273984A1 (en) Modifying a perceptual attribute of an image using an inaccurate depth map
CN117078655A (zh) 一种屏幕缺陷检测方法、装置、设备及存储介质
CN115965608A (zh) 缺陷检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant