CN112911174A - 图像坏点簇校正方法、计算机装置及计算机可读存储介质 - Google Patents
图像坏点簇校正方法、计算机装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112911174A CN112911174A CN202110059648.6A CN202110059648A CN112911174A CN 112911174 A CN112911174 A CN 112911174A CN 202110059648 A CN202110059648 A CN 202110059648A CN 112911174 A CN112911174 A CN 112911174A
- Authority
- CN
- China
- Prior art keywords
- pixel
- value
- dead
- detected
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像坏点簇校正方法、计算机装置及计算机可读存储介质,该方法包括获取初始图像,对初始图像中像素点进行坏点检测,如确定像素点为坏点,则对坏点进行校正计算,获得坏点的校正值;对像素点进行坏点检测包括:获取以待检测像素点为中心的第一邻域,提取第一邻域中同一颜色通道的第一像素矩阵,并剔除第一像素矩阵中预设数量的极值像素点后,计算剩余像素点的中值、待检测像素点与中值的绝对差值、待检测像素点与剩余像素点的加权平均值,根据该中值、绝对差值以及加权平均值判断待检测像素点是否为坏点。本发明还提供实现上述方法的计算机装置及计算机可读存储介质。本发明能够准确、高效的对图像中的坏点簇进行检测与校正。
Description
技术领域
本发明涉及图像处理的技术领域,具体地,是一种图像坏点簇校正方法以及实现这种方法的计算机装置、计算机可读存储介质。
背景技术
现有很多智能电子设备具有图像拍摄的功能,例如智能手机、平板电脑、行车记录仪等均设置有摄像装置,摄像装置通常设置有CMOS等图像传感器来获取图像。然而,如果图像传感器出现缺陷,不管是硬件设计上的缺陷或者软件算法上的缺陷,都容易导致图像出现坏点。导致图像出现坏点的主要原因有两个,第一是图像传感器的感光阵列在制造工艺上存在缺陷,使得光信号在转化为电信号的过程中出现错误;第二是图像传感器的增益效果容易导致图像中的错误像素扩大。这两个原因最终使图像出现坏点,严重降低图像的质量。
图像中的坏点分为静态坏点和动态坏点两类,静态坏点又分为“亮坏点”和“暗坏点”两种类型。一般情况下,亮度值是正比于入射光的,而“亮坏点”的亮度明显大于入射光乘以相应的比例,并且随着曝光时间,增益等增加,“亮坏点”的亮度会显著增加,通常表现为最亮或者接近最亮;而“暗坏点”恰恰相反,无论是什么入射光条件下,其亮度值都接近0。静态坏点大多数是由图像传感器工艺缺陷导致,因此一般的图像传感器厂商,出厂就会给出一个已标定静态坏点的坏点表,但由于标定静态坏点需要用到较大的存储空间,不利于硬件实现,因此这种标定方法不常采用。动态坏点指某些像素在一定的像素值范围内表现正常,而超过一定范围,则会表现出比周围的像素要亮。这种类型坏点与图像传感器的温度、增益相关,图像传感器的温度升高或者增益增大,动态坏点就表现的更加明显。
坏点像素在经过插值和滤波等操作后会扩散到周围像素,最终显示为伪彩色。坏点还会导致图像部分像素闪烁的现象,因此必须在插值和滤波之前进行坏点校正。如果图像中存在连续的多个坏点,这些坏点将形成坏点簇,在图像中形成大面积的亮坏点区域或者暗坏点区域,严重影响图像的质量。
现有坏点校正基本方案是基于待检测像素点周围多个像素点的色度值进行检测和校正,利用当前像素点和周围像素点的色度值进行比较,或比较均值,或标准差等条件。若超过一定的阈值,则判定待检测像素点为坏点。对坏点的校正通常也是利用周围像素点的均值、中值进行校正。
例如公开号为CN103475828A的中国专利申请公开了一种图像坏点校正装置,其坏点判断方法为当前中心像素与周围像素亮度差大于一定阈值则判断为坏点。在此之前先判断和校正周围像素的坏点情况,判断方法仅是利用周围像素中相邻像素的亮度差值和设定的阈值作比较。这种判断方法只能对图像的平坦区域以及没有出现坏点簇的情况下有效,对图像中的边缘纹理信息则不能很好的处理。
公开号为US8885077的美国专利公开一种坏点校正方法,利用当前像素和周围相同颜色通道像素的标准差作为坏点的判断条件,当标准差大于一定阈值,则判断为坏点。同时,在校正时考虑到了边缘问题,简单利用四个方向中最小差值做边缘判断,同样地,这种方法无法较好支持图像的边缘纹理保护,也不能够在出现坏点簇的情况下进行校正。
Noha EI-Yamany等人在《Robust Defect Pixel Detection and Correction forBayer Image Systems》论文公开一种坏点的校正方法,在坏点检测上考虑了多坏点的情况,并在坏点校正时考虑了边缘处理问题。但该方法的坏点检测判断条件以周围的最值像素为基础,容易对边缘高频信息误导,且坏点校正时对未考虑多坏点场景的情况。
可见,现有的坏点校正算法要么坏点检测率不高,要么不支持校正坏点簇,要么容易破坏图像的边缘和纹理信息,以至于出现伪彩色、图像模糊的等问题。尤其是针对坏点检测的问题,现有技术并没有提出针对坏点簇情形下如何准确检测坏点的方案,导致坏点检测不够精确,由此影响图像校正的质量。
发明内容
本发明的第一目的是提供一种能够高效校正坏点簇的图像坏点簇校正方法。
本发明的第二目的是提供一种实现上述图像坏点簇校正方法的计算机装置。
本发明的第三目的是提供一种实现上述图像坏点簇校正方法的计算机可读存储介质。
为实现本发明的第一目的,本发明提供的图像坏点簇校正方法包括获取初始图像,对初始图像中每一像素点进行坏点检测,如确定某一像素点为坏点,则对坏点进行校正计算,获得坏点的校正值;其中,对像素点进行坏点检测包括:获取以待检测像素点为中心的第一邻域,提取第一邻域中同一颜色通道的第一像素矩阵,并剔除第一像素矩阵中预设数量的极值像素点后,计算剩余像素点的中值、待检测像素点与中值的绝对差值、待检测像素点与剩余像素点的加权平均值,根据该中值、绝对差值以及加权平均值判断待检测像素点是否为坏点。
由上述方案可见,对坏点进行检测时,首先,通过剔除一定数量的相同颜色通道的极值像素点,这样可以排除坏点簇的对坏点检测的影响。其次,利用剔除后剩余像素点的中值与待检测像素点的差异,以及两者的加权平均作为判断基础条件,能有效、准确的检测出待检测像素点是否为坏点。
一个优选的方案是,根据中值、绝对差值以及加权平均值判断待检测像素点是否为坏点包括:如满足以下条件,确认待检测像素点为亮坏点:待检测像素点的色度值大于中值,且绝对差值大于第一阈值,且绝对差值大于等于第一计算值,第一计算值应用加权平均值计算获得。
由此可见,通过多重条件对亮坏点的情况进行检测,可以提高亮坏点的检测准确性。
进一步的方案是,第一计算值由以下公式计算获得:(1+HotRatio)*|THhot-wavg|,其中,HotRatio为预设的亮坏点检测参数,THhot为亮坏点检测的固定参数,wavg为加权平均值。
更进一步的方案是,根据中值、绝对差值以及加权平均值判断待检测像素点是否为坏点包括:如满足以下条件,确认待检测像素点为暗坏点:待检测像素点的色度值小于中值,待检测像素点的色度值小于预设的绝对阈值,且绝对差值大于第二阈值,且绝对差值大于等于第二计算值,第二计算值应用加权平均值计算获得。
可见,通过多重条件对暗坏点的情况进行检测,可以提高暗坏点的检测准确性。
更优选的,第二计算值由以下公式计算获得:(1+ColdRatio)*|THcold-wavg|,其中,ColdRatio为预设的暗坏点检测参数,THcold为暗坏点检测的固定参数,wavg为加权平均值。
一个优选的方案是,对坏点进行校正后,还执行:对待检测像素点进行边缘保护计算:获取以待检测像素点为中心的第二邻域形成第二像素矩阵,剔除第二像素矩阵与第一像素矩阵中预设数量的极值像素点后,计算第一像素矩阵与第二像素矩阵的第一绝对差之和;以待检测像素点的校正值替换第一像素矩阵与第二像素矩阵中待检测像素点后,形成第三像素矩阵与第四像素矩阵,剔除第三像素矩阵与第四像素矩阵中预设数量的极值像素点后,计算第三像素矩阵与第四像素矩阵的第二绝对差之和;根据第一绝对差之和、第二绝对差之和判断待检测像素点是否为正常坏点。
由此可见,本发明在坏点校正时考虑到边缘和纹理的问题,通过边缘保护计算能够自适应采用方向性和非方向性的替换值作为校正值,能够实时有效地校正图像传感器中的坏点簇,提高图像的质量。
更进一步的方案是,如确认待检测像素点为正常坏点,则使用校正值作为待检测像素点的输出值。
可见,在确认当前的坏点是正常的坏点,则不需要对初始计算的校正值进行调整,直接使用校正值作为输出值,可以确保坏点校正的准确性。
更进一步的方案是,如确认待检测像素点不是正常坏点,则使用校正值作与初始值的加权平均值为待检测像素点的输出值。
由此可见,一旦确认待检测像素点不是正常坏点,表示当前的待检测像素点是边缘或者纹理区域的像素点,则使用校正值作与初始值的加权平均值为待检测像素点的输出值,能够避免对边缘区域的像素点进行错误的校正,避免图像出现伪彩色的情况。
为实现上述的第二目的,本发明提供的计算机装置包括处理器以及存储器,存储器存储有计算机程序,计算机程序被处理器执行时实现上述图像坏点簇校正方法的各个步骤。
为实现上述的第三目的,本发明提供计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述图像坏点簇校正方法的各个步骤。
附图说明
图1是本发明图像坏点簇校正方法实施例的流程图。
图2是本发明图像坏点簇校正方法实施例中坏点检测方法的流程图。
图3是本发明图像坏点簇校正方法实施例中提取第一邻域、第一像素矩阵的示意图。
图4是本发明图像坏点簇校正方法实施例中坏点校正方法的流程图。
图5是本发明图像坏点簇校正方法实施例中水平方向上存在坏点的三种情况示意图。
图6是本发明图像坏点簇校正方法实施例中边缘保护计算的流程图。
图7是本发明图像坏点簇校正方法实施例中提取第三像素矩阵、第四像素矩阵的示意图。
以下结合附图及实施例对本发明作进一步说明。
具体实施方式
本发明的图像坏点簇校正方法应用在智能电子设备上,优选的,智能电子设备设置有摄像装置,如摄像头等,摄像装置具有诸如CMOS等图像传感器,智能电子设备利用摄像装置获取初始图像,本方法就是对图像传感器获取的初始图像存在的坏点进行校正处理方法,尤其是针对坏点簇进行校正。优选的,智能电子设备设置有处理器以及存储器,存储器上存储有计算机程序,处理器通过执行该计算机程序实现上述的图像坏点簇校正方法。
图像坏点簇校正方法实施例:
本实施例主要是针对图像传感器获取的初始图像存在的坏点进行校正的方法,本实施例的方法能够高效校正坏点簇,并且较好保护边缘信息。具体的,本实施例主要包括坏点检测步骤、坏点校正步骤以及边缘保护计算步骤。
参见图1,首先执行步骤S1,获取初始图像,初始图像是通过图像传感器获取的图像,由于图像传感器的原因,初始图像可能存在坏点,甚至存在多个坏点,当多个坏点相邻时将形成坏点簇,本实施例需要对坏点簇进行识别并校正。
然后,执行步骤S2,获取某一个待检测的像素点,并且对待检测的像素点是否为坏点进行检测。例如,初始图像为bayer格式的图像,获取以待检测像素点为中心的第一邻域,第一邻域可以是5×5的像素点区域。然后,从第一邻域范围内获取与待检测像素点点同一颜色通道的第一像素矩阵,第一像素矩阵的大小是3×3。接着,需要剔除掉与待检测像素点同一颜色通道所有像素点中预设数量的一个或者多个极值像素点,并计算剔除后剩余像素点的中值,也就是中位数,并计算待检测像素点与该中值的绝对差值,计算待检测像素点和剩余像素点的加权平均值,然执行步骤S3,根据上述计算的中值、绝对差值、加权平均值及预设的坏点检测阈值,判断待检测像素点是否为坏点,即是否满足“亮坏点”或“暗坏点”的条件。
如果不是坏点,则不需要对待检测像素点进行校正,执行步骤S6,如果是坏点,则执行步骤S4,对待检测像素点进行校正计算。具体的,计算四预先设定的方向上的特征值,根据当前坏点类型计算当前坏点的特征方向。然后,获取坏点的方向性替换值和非方向性替换值,这一步骤中,先获取当前的待检测像素点特征方向上另外两个像素点的均值作为方向性替换值,然后,获取坏点检测步骤中所计算得到的中值作为非方向性替换值。
接着,需要计算坏点的初始校正值,先检测当前坏点特征方向上的另外两个像素是否也是坏点,如判断另外两个像素都判断为坏点,则采用方向性替换值作为初始校正值,如另外两个像素中,其中一个是坏点,另一个判定非坏点像素,则需要进一步判断另外一个检测为非坏点的像素是否满足设定条件,若满足所设定条件,则采用非方向性替换值作为初始校正值;否则,采用方向性替换值作为初始校正值。若判定另外两个像素均为非坏点像素,则采用非方向性替换值作为初始校正值。
在对坏点进行校正计算完毕后,执行步骤S5,对待检测点进行边缘保护计算,具体的,分别抽取以待检测像素点为中心的第二邻域形成第二像素矩阵,并且获取第一像素矩阵,并分别剔除掉预设数量的极值像素点,分别计算第一矩阵像素与第二像素矩阵剔除像素后,剩余像素的绝对差之和,也就是获得第一绝对差之和。然后,用坏点校正步骤所计算得到的初始校正值替换掉当前坏点后,再次计算两个矩阵像素的绝对差之和,也就是获得第二绝对差之和,最后,计算待检测像素点被替换前后的第一绝对差之和、第二绝对差之和,并以此进行判断当前的待检测像素点是否满足边缘保护条件,若满足边缘保护条件,则采用待检测像素点的初始值与计算的校正值的加权平均作为最终校正值,否则采用计算的校正值作为最终校正值。
然后,执行步骤S6,判断是否所有的像素点都检测完毕,如是,则执行步骤S7,输出校正后的图像,否则,执行步骤S8,获取下一个待检测的像素点,并返回执行步骤S2,对新获取的待检测像素点是否为坏点进行检测,直至初始图像中所有像素点均检测完毕。
下面结合图2介绍步骤S2是如何对待检测像素点是否为坏点进行计算的。首先,执行步骤S11,获取以待检测像素点为中心的第一邻域,本实施例中,第一邻域为像素点个数是5×5的区域,如图3所示,本实施例获取的初始图像是Bayer格式的图像,即每一个像素点具有一种色彩值,例如红色R、蓝色B或者蓝色Gr、Gb。假设待检测像素点为图3(a)位于中心位置的像素点,其色彩为R,在获取第一邻域时,获取以该像素点为中心的5×5的区域,即图3(a)所示的区域。当然,待检测像素点刚好位于初始图像的边缘,或者周边的像素点不满足5×5的大小范围时,可以采用镜像模式扩展边缘像素,以完成获取5×5范围的第一邻域。
在获取第一邻域后,提取第一邻域中与待检测像素点相同颜色通道的多个像素点,形成第一像素矩阵。由于图3(a)中,待检测像素点的颜色是红色R,因此第一像素区域是第一邻域中颜色为红色R的所有像素点的集合。提取的第一像素矩阵如图3(b)所示,共有9个像素点,其中像素点P5就是当前待检测的像素点。
然后,执行步骤S12,剔除第一像素矩阵中预设数量的极值像素点,具体的,计算第一像素矩阵中除了待检测像素点P5以外的8个像素点中,剔除掉预设数量为M(M<8)的极值像素点,其中极值像素点可以包含剩余像素点中的最大值或最小值,第二大值或第二小值等。剔除M个极值像素后,剩余的(8-M)个像素点记作nbhd,然后执行步骤S13,计算剩余(8-M)个像素点nbhd的中值mid,中值mid也是(8-M)个像素点nbhd的中位数,记为mid=median(nbhd)。
假设待检测像素点P5为cur,还需要计算待检测像素点cur相对于中值mid的绝对差值diff,例如使用下面的公式计算:
diff=|cur-mid| (式1)
接着,计算待检测像素点和剩余(8-M)个像素点nbhd的加权平均值,该加权平均值记为wavg,其中加权平均系数如下:待检测像素点的系数为M,剩余(8-M)个像素点nbhd的系数均为1,因此,加权平均值记为wavg的计算公式如下:
其中,式2中“>>3”表示计算值向右移位3位。由于计算值是二进制的数值,向右移位三位实际上是执行“除以8”的计算。后续的公式中“>>”也是表示向右移位。
然后,执行步骤S14,根据以上计算得到的数值进行坏点检测,也就是根据上面计算的中值mid、绝对差值diff以及加权平均值wavg来判断当前的待检测像素点是否满足亮坏点或者暗坏点的条件,如果满足,则执行步骤S15,确认坏点的类型,如果不满足,则表示待检测像素点不是坏点,不需要对待检测像素点进行坏点校正的计算。
对于亮坏点(Hot Pixel)而言,其色度值往往比周边的像素亮要大,因此可以设定亮坏点的检测条件,如果同时满足以下条件,则认为当前的待检测像素点是亮坏点:
其中,SlopeTh为预先设定的待检测像素点和剩余四个像素nbhd的中值mid之间的差值的阈值,通过设定该阈值过滤掉大部分正常像素。阈值SlopeTh的数值越大,过滤掉的像素点越多,越难检测到亮坏点。HotRatio为预先设定的可灵活调节的亮坏点检测参数,取值范围[0,1],HotRatio的数值越大,越难检测到亮坏点。通过设定该参数,能够调节检测到的亮坏点的个数。THhot为亮坏点检测的固定参数,该参数与待检测像素点值相关,例如使用下面的公式计算:
THhot=cur+min(N,cur>>3) (式4)
其中,N为与初始图像的像素输入位宽有关的最大限制系数。
可见,如果某一个待检测像素点被认定为亮坏点,需要同时满足下面的条件:待检测像素点的色度值大于中值mid,且绝对差值diff大于第一阈值SlopeTh,且绝对差值diff大于等于第一计算值,该第一计算值应用加权平均值wavg计算获得,具体的,第一计算值是(1+HotRatio)*|THhot-wavg|。
对于暗坏点(Cold Pixel)而言,其色度值往往比周边的像素亮要小,因此可以设定暗坏点的检测条件,如果同时满足以下条件,则认为当前的待检测像素点是暗坏点:
其中,COLD_TH为限制暗坏点检测的绝对阈值,通常暗坏点的色度值通常比较小,因此COLD_TH的数值可以设置接近于0。但动态坏点中的暗坏点的绝对值也会比较大,只是比周围像素点明显暗而已,因此设置该参数,可限制检测暗坏点条件,过滤掉认为绝对不应该确定为暗坏点的像素点。ColdRatio为可灵活调节的暗坏点检测参数,取值范围是[0,1],ColdRatio的数值越大,越难检测到暗坏点。通过设定该参数,能够调节检测到暗坏点的个数。THcold为暗坏点检测的固定参数,该参数与待检测像素点值相关,可以利用下面的公式计算获得:
THcold=mid+min(N,mid>>3) (式6)
可见,确认待检测像素点为暗坏点的条件是:待检测像素点的色度值小于中值min,待检测像素点的色度值小于预设的绝对阈值COLD_TH,且绝对差值diff大于第二阈值SlopeTh,且绝对差值diff大于等于第二计算值,第二计算值应用加权平均值wavg计算获得,具体的,第二计算值由以下公式计算获得:(1+ColdRatio)*|THcold-wavg|。
至此,对待检测像素点是否为坏点的检测完毕,并且根据上述的条件可以确认坏点的类型,即是亮坏点还是暗坏点。如果确定待检测像素点是坏点,则需要对坏点进行校正计算。参见图3,对坏点进行校正时,首先执行步骤S21,获取图像数据以及坏点的类型,例如根据坏点检测步骤的结果来确定坏点的类型,然后,执行步骤S22,计算坏点在多个方向上的方向特征值,例如,计算坏点的水平、垂直、45°以及135°四个方向特征值,具体的,使用下面的公式进行计算:
其中,NBHD是待检测像素点为中心的5×5的领域中,具有相同颜色通道的像素矩阵,如图7(a)所示的像素矩阵;Dh、Dv、D45、D135分别是水平方向、垂直方向、45°以及135°四个方向上的方向特征值,而Fh、Fv、F45、F135分别是预先设定的3×3的方向模板矩阵,具体如下:
接着,执行步骤S23,根据当前坏点类型确定坏点的特征方向,具体的,若当前坏点类型为“亮坏点”,则其特征方向为四个方向特征值中的最大值所对应的方向,即dir=max(Dh,Dv,D45,D135);若当前坏点类型为“暗坏点”,则其特征方向为四个方向特征值中的最小值所对应的方向,即dir=min(Dh,Dv,D45,D135)。
然后,执行步骤S24,根据特征方向计算当前坏点的方向性替换值和非方向性替换值。具体的,首先,根据步骤S22所计算的当前坏点的方向特征值计算方向性替换值,其中方向性替换值计算方法为当前坏点特征方向上另外两个像素点的均值,即使用下面的公式计算:
可以看出,如果特征方向是水平方向,方向性替换值是水平方向上的两个像素点P4、P6的色度值的均值,如果特征方向是垂直方向,方向性替换值是垂直方向上的两个像素点P2、P8的色度值的均值,如果特征方向是45°,方向性替换值是45°方向上的两个像素点P3、P7的色度值的均值,如果特征方向是135°,方向性替换值是135°方向上的两个像素点P1、P9的色度值的均值。
并且,使用步骤S13所计算得到的中值mid作为非方向性替换值。
然后,执行步骤S25,计算坏点的初始校正值。下面以特征方向为水平方向的场景为例描述计算过程,其他方向,例如45°、垂直方向以及135°的场景与水平方向场景所描述的计算方法一致。计算坏点的初始校正值时,首先,检测当前坏点特征方向上的另外两个像素是否也是坏点,特征方向上的另外两个待检测像素的检测方法和坏点检测步骤的方法相同,也就是执行图2的步骤。如图5所示,若特征方向上的另外两个像素点都判断为坏点,例如图5(a)中,待检测像素点P5在特征方向上的两个像素点分别是P4、P6,如果像素点P4、P6均为坏点,则采用方向性替换值作为初始校正值。
如图5(b)和图5(c)所示,若另外两个像素点中,只有其中一个是坏点,另一个不是坏点,则需要进一步判断检测为非坏点的像素点是否满足设定条件,例如:|mid-pixel|<Threshold,其中,mid为步骤S13所计算的中值,pixel为非坏点的像素点的色度值,Threshold是预先设定的阈值,若满足上述条件,则采用非方向性替换值作为初始校正值;否则,采用方向性替换值作为初始校正值。若确认待检测像素点特征方向上的另外两个像素点均为非坏点,则采用非方向性替换值作为初始校正值。
由于图像中出现突然变亮或者突然变暗的像素点,可能是因为处于边缘区域导致的,且图像边缘和纹理属于高频信息,在坏点校正计算中,容易将图像边缘和纹理判断为坏点。因此,本实施例引入了边缘保护计算,如果确认当前的待检测像素点是位于边缘区域,则需要进行边缘保护,避免图像的边缘信息丢失而导致图像的清晰度降低,也保护边缘和纹理信息不被破坏而导致伪彩色。
因此,需要执行步骤S26,进行边缘保护计算,参见图6,首先执行步骤S31,获取图像数据以及坏点的类型、坏点的初始校正值,坏点的类型是指该坏点是亮坏点还是暗坏点,坏点的初始校正值已经在步骤S25中计算获得。
然后,执行步骤S32,获取第一像素矩阵以及第二像素矩阵。参见图7,第一像素矩阵是待检测像素点为中心的5×5的领域中,具有相同颜色通道的像素矩阵,如图7(a)所示,第一像素矩阵是一个3×3的矩阵,包括9个相同颜色的像素点。本实施例中,将第一像素矩阵记为NBHD,也就是式7中的NBHD。第二像素矩阵是以待检测像素点为中心的3×3区域内的像素点,如图7(b)所示,第二像素矩阵的多个像素点是不同颜色通道的像素点。本实施例中,将第二像素矩阵记为NEAREST。
并且,剔除第一像素矩阵与第二像素矩阵中的极值像素点,具体的,如果当前坏点的类型为“亮坏点”,则分别剔除掉第一像素矩阵、第二像素矩阵中的预设数量的最小值像素点。若当前坏点的类型为“暗坏点”,则分别剔除掉第一像素矩阵、第二像素矩阵中的预设数量的最大值像素点。
接着,执行步骤S33,分别计算第一像素矩阵、第二像素矩阵在剔除像素点后剩余像素点的绝对差之和(SAD,Sum of Absolute Difference),该绝对差之和记为第一绝对差之和,例如第一像素矩阵计算的第一绝对差之和为SAD_NBHD_B,第二像素矩阵计算的第一绝对差之和为SAD_NEAREST_B。
绝对差之和可以使用下的公式计算:
其中,Pavg为剩余像素点色度值的算术平均值。
然后,执行步骤S34,用初始校正值分别替换掉第一像素矩阵NBHD和第二像素矩阵NEAREST中的当前中心坏点像素P5,从而形成第三像素矩阵与第四像素矩阵,并剔除第三像素矩阵与第四像素矩阵中预设数量的极值像素点,然后执行步骤S35,计算第三像素矩阵与第四像素矩阵的绝对差之和,该绝对差之和为第二绝对差之和,例如第三像素矩阵计算的第二绝对差之和为SAD_NBHD_A,第四像素矩阵计算的第二绝对差之和为SAD_NEAREST_A。
最后,执行步骤S36,根据以上四个绝对差之和的值,判断当前待检测像素点是否满足正常坏点的判断条件,具体的,判断条件如下:
也就是执行步骤S27,判断是否满足边缘保护的判断条件,如果满足式10的要求,即认为待检测像素点不满足边缘保护的判断条件,认为当前的待检测像素点属于正常坏点,执行步骤S29,使用步骤S25所计算的初始校正值作为最终校正值;否则,认为待检测像素点可能是边缘或纹理信息,也就是步骤S27的判断结果为是,则执行步骤S28,采用待检测像素点的初始值与计算的初始校正值的加权平均作为最终校正值,最终校正值采用如下公式计算:
output=α*replacement+(1-α)*input (式11)
其中,replacement为初始校正值,α为预先设定的加权系数,input为待检测像素点的初始值。通过以上步骤,可以更好的保护图像的边缘和纹理信息。
应用本实施例的方法,能够自适应检测图像的静态坏点和动态坏点,且能较好的支持坏点簇的检测和校正,鲁棒性较高。此外,本实施例还能够解决坏点簇的校正的同时,还能够对图像进行边缘保护,使得图像质量更好。
计算机装置实施例:
本实施例的计算机装置可以是智能电子设备,该计算机装置包括有处理器、存储器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述图像坏点簇校正方法的各个步骤。当然,智能电子设备还包括摄像装置,用于获取初始图像。
例如,计算机程序可以被分割成一个或多个模块,一个或者多个模块被存储在存储器中,并由处理器执行,以完成本发明的各个模块。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在终端设备中的执行过程。
本发明所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是终端设备的控制中心,利用各种接口和线路连接整个终端设备的各个部分。
存储器可用于存储计算机程序和/或模块,处理器通过运行或执行存储在存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现终端设备的各种功能。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
计算机可读存储介质实施例:
上述计算机装置所存储的计算机程序如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述图像坏点簇校正方法的各个步骤。
其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
另外,使用应用时,本发明还可以有更多的变化,例如第一邻域、第二邻域等不一定是5×5的范围,还可以是9×9的范围,并且,坏点校正还可以使用其他的方法实现,例如梯度算子等计算方法,也能达到本发明中的特征方向计算的效果。
最后需要强调的是,本发明不限于上述实施方式,例如特征方向计算方式的变化,或者坏点类型判断方式的变化等,这些改变也应该包括在本发明权利要求的保护范围内。
Claims (10)
1.一种图像坏点簇校正方法,包括:
获取初始图像,对所述初始图像中每一像素点进行坏点检测,如确定某一像素点为坏点,则对所述坏点进行校正计算,获得所述坏点的校正值;
其特征在于:
对像素点进行坏点检测包括:获取以待检测像素点为中心的第一邻域,提取所述第一邻域中同一颜色通道的第一像素矩阵,并剔除所述第一像素矩阵中预设数量的极值像素点后,计算剩余像素点的中值、所述待检测像素点与所述中值的绝对差值、所述待检测像素点与剩余像素点的加权平均值,根据所述中值、所述绝对差值以及所述加权平均值判断所述待检测像素点是否为坏点。
2.根据权利要求1所述的图像坏点簇校正方法,其特征在于:
根据所述中值、所述绝对差值以及所述加权平均值判断所述待检测像素点是否为坏点包括:
如满足以下条件,确认所述待检测像素点为亮坏点:所述待检测像素点的色度值大于所述中值,且所述绝对差值大于第一阈值,且所述绝对差值大于等于第一计算值,所述第一计算值应用所述加权平均值计算获得。
3.根据权利要求2所述的图像坏点簇校正方法,其特征在于:
所述第一计算值由以下公式计算获得:(1+HotRatio)*|THhot-wavg|,其中,HotRatio为预设的亮坏点检测参数,THhot为亮坏点检测的固定参数,wavg为所述加权平均值。
4.根据权利要求1所述的图像坏点簇校正方法,其特征在于:
根据所述中值、所述绝对差值以及所述加权平均值判断所述待检测像素点是否为坏点包括:
如满足以下条件,确认所述待检测像素点为暗坏点:所述待检测像素点的色度值小于所述中值,所述待检测像素点的色度值小于预设的绝对阈值,且所述绝对差值大于第二阈值,所述绝对差值大于等于第二计算值,所述第二计算值应用所述加权平均值计算获得。
5.根据权利要求4所述的图像坏点簇校正方法,其特征在于:
所述第二计算值由以下公式计算获得:(1+ColdRatio)*|THcold-wavg|,其中,ColdRatio为预设的暗坏点检测参数,THcold为暗坏点检测的固定参数,wavg为所述加权平均值。
6.根据权利要求1至5任一项所述的图像坏点簇校正方法,其特征在于:
对所述坏点进行校正后,还执行:
对所述待检测像素点进行边缘保护计算:获取以待检测像素点为中心的第二邻域形成第二像素矩阵,剔除所述第二像素矩阵与所述第一像素矩阵中预设数量的极值像素点后,计算所述第一像素矩阵与所述第二像素矩阵的第一绝对差之和;
以待检测像素点的校正值替换所述第一像素矩阵与所述第二像素矩阵中待检测像素点后,形成第三像素矩阵与第四像素矩阵,剔除所述第三像素矩阵与所述第四像素矩阵中预设数量的极值像素点后,计算所述第三像素矩阵与所述第四像素矩阵的第二绝对差之和;
根据所述第一绝对差之和、所述第二绝对差之和判断所述待检测像素点是否为正常坏点。
7.根据权利要求6所述的图像坏点簇校正方法,其特征在于:
如确认所述待检测像素点为正常坏点,则使用所述校正值作为所述待检测像素点的输出值。
8.根据权利要求6所述的图像坏点簇校正方法,其特征在于:
如确认所述待检测像素点不是正常坏点,则使用所述校正值作与初始值的加权平均值为所述待检测像素点的输出值。
9.计算机装置,其特征在于,包括处理器以及存储器,所述存储器存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任意一项所述的图像坏点簇校正方法的各个步骤。
10.计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1至8中任意一项所述的图像坏点簇校正方法的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110059648.6A CN112911174B (zh) | 2021-01-18 | 2021-01-18 | 图像坏点簇校正方法、计算机装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110059648.6A CN112911174B (zh) | 2021-01-18 | 2021-01-18 | 图像坏点簇校正方法、计算机装置及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112911174A true CN112911174A (zh) | 2021-06-04 |
CN112911174B CN112911174B (zh) | 2024-09-17 |
Family
ID=76114215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110059648.6A Active CN112911174B (zh) | 2021-01-18 | 2021-01-18 | 图像坏点簇校正方法、计算机装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112911174B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114140336A (zh) * | 2021-10-08 | 2022-03-04 | 中国安全生产科学研究院 | 一种基于红外图像的坏点处理方法及装置 |
CN114245043A (zh) * | 2021-12-16 | 2022-03-25 | 广东赛昉科技有限公司 | 图像坏点动态校正及其asic实现方法及系统 |
CN114693656A (zh) * | 2022-04-06 | 2022-07-01 | 厦门大学 | 一种led显示屏显示缺陷的检测方法及相机和滤光片的标定方法 |
CN114827496A (zh) * | 2022-05-20 | 2022-07-29 | 深圳市宏瀚微电子有限公司 | 一种动态坏点的处理方法和装置 |
CN115018936A (zh) * | 2022-05-30 | 2022-09-06 | 卡莱特云科技股份有限公司 | 一种基于正态分布的图像坏点去除方法、装置及校正系统 |
CN115713474A (zh) * | 2022-12-30 | 2023-02-24 | 安徽光智科技有限公司 | 一种红外图像校正方法、系统及电子设备 |
CN115842961A (zh) * | 2022-03-16 | 2023-03-24 | 北京爱芯科技有限公司 | 图像调整方法和装置、电子设备及计算机可读存储介质 |
CN116886894A (zh) * | 2023-08-04 | 2023-10-13 | 上海宇勘科技有限公司 | 一种针对邻域内列式坏点的图片坏点检测及校正方法 |
CN119211759A (zh) * | 2024-11-27 | 2024-12-27 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
CN119485052A (zh) * | 2025-01-10 | 2025-02-18 | 元途人工智能(杭州)有限公司 | 一种基于fpga的图像坏点校正方法 |
CN119545206A (zh) * | 2025-01-23 | 2025-02-28 | 合肥埃科光电科技股份有限公司 | 图像传感器检测方法及图像动态检测方法、矫正方法 |
CN119485052B (zh) * | 2025-01-10 | 2025-04-18 | 元途人工智能(杭州)有限公司 | 一种基于fpga的图像坏点校正方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110102624A1 (en) * | 2009-11-02 | 2011-05-05 | Sony Corporation | Pixel defect correction device, imaging apparatus, pixel defect correction method, and program |
KR20110082428A (ko) * | 2010-01-11 | 2011-07-19 | 삼성테크윈 주식회사 | 불량화소 보정 장치 및 방법 |
US20130141595A1 (en) * | 2011-12-02 | 2013-06-06 | Industrial Technology Research Institute | Method for detecting dead pixels and computer program roduct thereof |
CN103475828A (zh) * | 2013-10-10 | 2013-12-25 | 旗瀚科技有限公司 | 一种图像坏点校正方法及图像传感器 |
CN105306843A (zh) * | 2015-10-20 | 2016-02-03 | 凌云光技术集团有限责任公司 | 一种图像传感器的坏点处理方法及系统 |
CN107016669A (zh) * | 2017-03-27 | 2017-08-04 | 福州瑞芯微电子股份有限公司 | 一种图像坏点检测方法和装置 |
CN110650334A (zh) * | 2019-10-29 | 2020-01-03 | 昆山锐芯微电子有限公司 | 坏点检测、校正方法及装置、存储介质、终端 |
CN111800592A (zh) * | 2020-07-17 | 2020-10-20 | 合肥富煌君达高科信息技术有限公司 | 可以抑制像元波动的坏点校正方法及装置、存储介质 |
-
2021
- 2021-01-18 CN CN202110059648.6A patent/CN112911174B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110102624A1 (en) * | 2009-11-02 | 2011-05-05 | Sony Corporation | Pixel defect correction device, imaging apparatus, pixel defect correction method, and program |
KR20110082428A (ko) * | 2010-01-11 | 2011-07-19 | 삼성테크윈 주식회사 | 불량화소 보정 장치 및 방법 |
US20130141595A1 (en) * | 2011-12-02 | 2013-06-06 | Industrial Technology Research Institute | Method for detecting dead pixels and computer program roduct thereof |
CN103475828A (zh) * | 2013-10-10 | 2013-12-25 | 旗瀚科技有限公司 | 一种图像坏点校正方法及图像传感器 |
CN105306843A (zh) * | 2015-10-20 | 2016-02-03 | 凌云光技术集团有限责任公司 | 一种图像传感器的坏点处理方法及系统 |
CN107016669A (zh) * | 2017-03-27 | 2017-08-04 | 福州瑞芯微电子股份有限公司 | 一种图像坏点检测方法和装置 |
CN110650334A (zh) * | 2019-10-29 | 2020-01-03 | 昆山锐芯微电子有限公司 | 坏点检测、校正方法及装置、存储介质、终端 |
CN111800592A (zh) * | 2020-07-17 | 2020-10-20 | 合肥富煌君达高科信息技术有限公司 | 可以抑制像元波动的坏点校正方法及装置、存储介质 |
Non-Patent Citations (2)
Title |
---|
NOHA EI-YAMANY: "Robust Defect Pixel Detection and Correction for Bayer Imaging Systems", SOCIETY FOR IMAGING SCIENCE AND TECHNOLOGY, 31 December 2017 (2017-12-31), pages 46 - 49 * |
胡云生;胡越黎;燕明;承文龙;王权;: "一种图像坏点检测及修正算法", 上海大学学报(自然科学版), no. 05, 31 October 2018 (2018-10-31) * |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114140336B (zh) * | 2021-10-08 | 2022-09-16 | 中国安全生产科学研究院 | 一种基于红外图像的坏点处理方法及装置 |
CN114140336A (zh) * | 2021-10-08 | 2022-03-04 | 中国安全生产科学研究院 | 一种基于红外图像的坏点处理方法及装置 |
CN114245043A (zh) * | 2021-12-16 | 2022-03-25 | 广东赛昉科技有限公司 | 图像坏点动态校正及其asic实现方法及系统 |
CN115842961B (zh) * | 2022-03-16 | 2023-08-11 | 北京爱芯科技有限公司 | 图像调整方法和装置、电子设备及计算机可读存储介质 |
CN115842961A (zh) * | 2022-03-16 | 2023-03-24 | 北京爱芯科技有限公司 | 图像调整方法和装置、电子设备及计算机可读存储介质 |
CN114693656B (zh) * | 2022-04-06 | 2024-06-04 | 厦门大学 | 一种led显示屏显示缺陷的检测方法及相机和滤光片的标定方法 |
CN114693656A (zh) * | 2022-04-06 | 2022-07-01 | 厦门大学 | 一种led显示屏显示缺陷的检测方法及相机和滤光片的标定方法 |
CN114827496A (zh) * | 2022-05-20 | 2022-07-29 | 深圳市宏瀚微电子有限公司 | 一种动态坏点的处理方法和装置 |
CN115018936A (zh) * | 2022-05-30 | 2022-09-06 | 卡莱特云科技股份有限公司 | 一种基于正态分布的图像坏点去除方法、装置及校正系统 |
CN115713474A (zh) * | 2022-12-30 | 2023-02-24 | 安徽光智科技有限公司 | 一种红外图像校正方法、系统及电子设备 |
CN115713474B (zh) * | 2022-12-30 | 2024-03-08 | 安徽光智科技有限公司 | 一种红外图像校正方法、系统及电子设备 |
CN116886894A (zh) * | 2023-08-04 | 2023-10-13 | 上海宇勘科技有限公司 | 一种针对邻域内列式坏点的图片坏点检测及校正方法 |
CN116886894B (zh) * | 2023-08-04 | 2024-03-15 | 上海宇勘科技有限公司 | 一种针对邻域内列式坏点的图片坏点检测及校正方法 |
CN119211759A (zh) * | 2024-11-27 | 2024-12-27 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
CN119211759B (zh) * | 2024-11-27 | 2025-03-28 | 荣耀终端股份有限公司 | 一种图像处理方法及电子设备 |
CN119485052A (zh) * | 2025-01-10 | 2025-02-18 | 元途人工智能(杭州)有限公司 | 一种基于fpga的图像坏点校正方法 |
CN119485052B (zh) * | 2025-01-10 | 2025-04-18 | 元途人工智能(杭州)有限公司 | 一种基于fpga的图像坏点校正方法 |
CN119545206A (zh) * | 2025-01-23 | 2025-02-28 | 合肥埃科光电科技股份有限公司 | 图像传感器检测方法及图像动态检测方法、矫正方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112911174B (zh) | 2024-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112911174B (zh) | 图像坏点簇校正方法、计算机装置及计算机可读存储介质 | |
EP3025302B1 (en) | System and method of correcting image artifacts | |
USRE44717E1 (en) | Edge detecting method | |
JP3706789B2 (ja) | 信号処理装置及び信号処理方法 | |
JP5060535B2 (ja) | 画像処理装置 | |
US8593546B2 (en) | Image processing apparatus, image processing method, and camera module for detecting and correcting defective pixels based on contrast and illuminance | |
US8837852B2 (en) | Apparatus and method for removing defective pixels | |
CN111161188B (zh) | 降低图像色彩噪声的方法、计算机装置及可读存储介质 | |
US9830690B2 (en) | Wide dynamic range imaging method | |
CN111784603A (zh) | 一种raw域图像去噪方法、计算机装置及计算机可读存储介质 | |
CN112887693A (zh) | 图像紫边消除方法、设备及存储介质 | |
US7889942B2 (en) | Dynamic range compensation-dependent noise reduction | |
CN104869380A (zh) | 图像处理设备和图像处理方法 | |
CN105049679A (zh) | 图像处理装置以及图像处理方法 | |
JP2011205477A (ja) | 画像処理装置および方法,ならびに画像処理プログラム | |
US8165421B2 (en) | Method and apparatus for image processing by using stored image | |
US7986856B2 (en) | Method and apparatus for increasing brightness of image captured in low light | |
CN115804080B (zh) | 弱光条件下捕获的被颜色着色像素的校正 | |
US20160110854A1 (en) | Image processing apparatus, image processing method, and program | |
WO2024179474A1 (zh) | 鱼眼图像处理方法、电子设备和存储介质 | |
US20100091195A1 (en) | De-ringing Device and Method | |
JP5535443B2 (ja) | 画像処理装置 | |
JP2005354585A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
CN111970449B (zh) | 图像处理方法、装置、终端及计算机可读存储介质 | |
US9635330B2 (en) | Image processing device, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |