CN109391783A - 图像处理装置、图像处理方法和存储介质 - Google Patents
图像处理装置、图像处理方法和存储介质 Download PDFInfo
- Publication number
- CN109391783A CN109391783A CN201810909424.8A CN201810909424A CN109391783A CN 109391783 A CN109391783 A CN 109391783A CN 201810909424 A CN201810909424 A CN 201810909424A CN 109391783 A CN109391783 A CN 109391783A
- Authority
- CN
- China
- Prior art keywords
- pixel
- image processing
- value
- absolute value
- weighted average
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 85
- 238000003860 storage Methods 0.000 title claims abstract description 25
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000009499 grossing Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 description 19
- 238000011946 reduction process Methods 0.000 description 15
- 238000011161 development Methods 0.000 description 7
- 230000018109 developmental process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 239000000872 buffer Substances 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000002427 irreversible effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10008—Still image; Photographic image from scanner, fax or copier
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6016—Conversion to subtractive colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
本发明涉及图像处理装置、图像处理方法和存储介质。根据本发明的一个实施例的图像处理装置,包括:绝对值计算单元,其被构造为在包括关注像素和多个周围像素的像素块中,计算关注像素与各个周围像素之间的像素值的差的绝对值;加权平均计算单元,其被构造为根据所计算的绝对值,计算关注像素和各个周围像素的像素值的加权平均;以及平滑化单元,其被构造为对通过加权平均而计算的像素值进行平滑化处理。
Description
技术领域
本发明涉及进行降噪处理的图像处理装置、图像处理方法和存储介质。
背景技术
传统上,已知使用空间滤波器(spatial filter)的平滑化处理作为降低图像中包括的随机噪声的降噪处理。在平滑化处理中,进行图像内的N×N区域的像素值和N×N区域的权重表(即,空间滤波器)的积和运算(product-sum operation)。通过使用高斯分布或平均化的权重表作为权重表,将关注像素的像素值校正为该区域内的像素的像素值的加权平均值,并且对图像中混合的随机噪声进行平滑化处理和减少噪声。
在使用上述高斯分布或平均化的权重表的情况下,出现这样的问题:图像的边缘模糊并且图像的细节丢失,但是作为考虑该问题的降噪处理,使用双边滤波器或ε(epsilon)滤波器进行处理。在使用这些滤波器的平滑化处理中,在通过考虑关注像素的像素值与N×N区域内的各个像素值之间的相似性并根据关注像素的像素值与N×N区域内的各个像素值之间的差改变滤波器的效果而维持边缘的同时进行平滑化。
例如,在使用上述双边滤波器的情况下,在通过将空间滤波器的权重表乘以根据关注像素的像素值与N×N区域内的像素值之间的差的权重来校正权重表之后,进行平滑化处理。通过这样做,通过减小与关注像素的差大的像素的权重并且增加与关注像素的差小的像素的权重,来在维持边缘的同时减少随机噪声。
类似地,在使用上述ε滤波器的情况下,通过计算关注像素的像素值与N×N区域内的各个像素值之间的差,并排除与空间滤波器的权重表的目标的差大于或等于的常数ε的像素,来在维持边缘的同时减少随机噪声。
此外,还公开了一种技术,该技术关注噪声的标准差随着关注像素的像素值变大而增大的事实,并且通过根据像素值改变ε滤波器中的常数ε来抑制过校正和校正不足(参见日本特开2008-124976号公报)。
然而,使用如上所述的滤波器的平滑化处理也存在问题。
在使用双边滤波器的情况下,处理变得复杂,特别是在需要实时特性的情况下,存在不能获得良好性能的担忧。具体地,在使用双边滤波器的情况下,空间滤波器的权重表针对各个像素动态地改变,因此,在求出加权平均值时的除数依据像素动态地改变,特别是在安装硬件电路的情况下,电路变得复杂。也就是说,提高了运算成本。
此外,在使用ε滤波器的情况下,使与关注像素的像素值的差在常数ε的范围内的所有像素平滑化,因此,位于该范围内的小幅度纹理也被平滑化。此外,即使稍微超过常数ε的范围内的纹理也被从平滑化目标中排除,因此,出现图像质量的不连续性。如在日本特开2008-124976号公报中那样,在根据像素值改变常数ε的情况下,这也是一样的。
鉴于这些问题做出了本发明,并且本发明的目的是在以低运算成本维持边缘和小幅度纹理的同时实现减少图像的随机噪声的平滑化处理。
发明内容
根据本发明的一个实施例的图像处理装置,所述图像处理装置包括:绝对值计算单元,其被构造为在包括关注像素和多个周围像素的像素块中,计算所述关注像素与各个周围像素之间的像素值的差的绝对值;加权平均计算单元,其被构造为根据所计算的绝对值,计算关注像素和各个周围像素的像素值的加权平均;以及平滑化单元,其被构造为对通过加权平均而计算的像素值进行平滑化处理。
通过下面参照附图对示例性实施例的描述,本发明的其他特征将变得清楚。
附图说明
图1是示出根据本发明的一个实施例的图像形成装置的概要构造的框图;
图2是根据本发明的一个实施例的图像形成装置的概览图;
图3是根据本发明的一个实施例的降噪处理的流程图;
图4A至图4D是各自示出根据本发明的一个实施例的窗口的关注像素及其周围像素的图;
图5A和图5B是各自示出根据本发明的一个实施例的窗口的关注像素及其周围像素的处理结果的图;
图6是示出根据本发明的一个实施例的降噪处理结果的信号改变的比较的图;
图7是示出根据本发明的一个实施例的UI单元的图。
具体实施方式
在下文中,通过使用附图详细说明用于实施本发明的实施例。多幅图中的相同符号表示相同的事物。
[第一实施例]
[图像形成装置的构造]
图1是示出第一实施例中的图像形成装置的构造的框图。
如图1所示,图像形成装置包括图像读取单元101、图像处理单元102、存储单元103、CPU 104、图像输出单元105、UI(用户界面)单元106和发送/接收单元107。图像形成装置可以经由网络等连接到管理图像数据的服务器、给出进行打印的指令的个人计算机(PC)等。
图像读取单元101读取原稿的图像并输出图像数据。
图像处理单元102将包括从图像读取单元101输出的图像数据和从外部(例如发送/接收单元107)输入的图像数据的打印信息转换为中间信息(在下文中称为对象),并将对象存储在存储单元103的对象缓冲器中。在该存储时,对包括图像数据的那些对象进行诸如JPEG的不可逆压缩处理。此外,图像处理单元102基于缓冲的对象生成位图数据,并将位图数据存储在存储单元103中。此时,进行颜色转换处理、降噪处理等。将在后面描述详情。
存储单元103包括ROM、RAM、硬盘(HD)等。ROM存储由CPU104执行的各种控制程序和图像处理程序。RAM用作CPU 104存储数据和各种信息的参考区域和工作区域。此外,RAM和HD用于存储上述对象缓冲器等。此外,还存储图像处理所需的处理参数。
图像数据被累积在RAM和HD上,页面被分类,具有多个分类页面的原稿被累积,并且多个副本被打印。
图像输出单元105将彩色图像形成并输出到打印介质(例如打印片材)上。
UI单元106进行操作以向装置给出关于图像处理单元102中的图像处理的种类的指令以及调整其级别的指令。例如,UI单元106进行先前描述的降噪处理的调整量的设置等。
发送/接收单元107从图像形成装置的外部接收用于打印的图像数据,并将图像数据保存在存储单元103中,并将图像数据输出到图像输出单元105。此外,发送/接收单元107将累积在存储单元103内的图像数据发送到图像形成装置的外部。
[装置概览]
图2是本实施例中的图像形成装置的概览图。
在图像读取单元101中,在稿台玻璃203和原稿压板202之间,放置从其读取图像的原稿204,并且用灯205的光照射原稿204。来自原稿204的反射光被引导到反射镜206和207,并且通过透镜208在三线传感器210上形成图像。透镜208配设有红外截止滤波器231。通过未示意性示出的电动机,包括反射镜206和灯205的反射镜单元按箭头方向以V的速度移动,并且包括反射镜207的反射镜单元按箭头方向以V/2的速度移动。也就是说,反射镜单元按与三线传感器210的电扫描方向(主扫描方向)垂直的方向(副扫描方向)移动,并且扫描原稿204的整个面。
包括三个线路的CCD的三线传感器210对输入的光信息进行颜色分离,读取全色信息的红色R、绿色G和蓝色B的各个颜色分量,并将颜色分量信号发送到图像处理单元102。构成三线传感器210的各个CCD具有对应于5,000个像素的光接收元件,并且能够在短边(297毫米)方向上以600dpi的分辨率读取A3尺寸的原稿,该尺寸是可以装载在稿台玻璃203上的最大尺寸。
标准白板211用于对由三线传感器210的CCD 210-1至210-3中的各个读取的数据进行校正。标准白板211为对可见光呈现基本均匀的反射特性的白色。
图像处理单元102对从三线传感器210或发送/接收单元107输入的图像信号进行电气处理,并且在进行图像的图像处理(例如噪声去除)之后,生成青色C、品红色M、黄色Y和黑色K的各个颜色分量信号。图像处理单元102将所生成的CMYK的颜色分量信号发送到图像输出单元105。此时输出的图像是进行了半色调处理(例如,抖动)的CMYK的图像。
在图像输出单元105中,从图像读取单元101发送的C、M、Y或K的图像信号被发送到激光驱动器212。激光驱动器212根据输入的图像信号对半导体激光元件213进行调制驱动。从半导体激光元件213输出的激光束经由多面镜214、f-θ镜215和反射镜216扫描感光鼓217,并在感光鼓217上形成静电潜像。
显影计数器包括品红色显影计数器219、青色显影计数器220、黄色显影计数器221和黑色显影计数器222。通过与感光鼓217交替接触的四个显影计数器,在感光鼓217上形成的静电潜像通过对应颜色的调色剂显影,并形成调色剂图像。从打印片材盒225供应的打印片材缠绕在转印鼓223上,并且感光鼓217上的调色剂图像被转印到打印片材上。
转印有C、M、Y和K四种颜色的调色剂图像的打印片材依次通过定影单元226,由此定影调色剂图像,然后打印片材被排出到装置外部。
在图2中,示出了在感光鼓上形成调色剂图像并且将调色剂图像转印到打印片材上的电子照相图像形成装置,但是也可以将本发明应用于采用其他方式(例如喷墨方式)的图像形成装置。
[降噪处理]
接下来,参照图3中的流程图,详细说明图像处理单元102中的图像的降噪处理。由图像处理单元102基于来自CPU 104的命令,进行流程图中所示的处理。即,图像处理单元102用作图像处理装置。此外,图3中的处理流程示出了图像处理方法。
作为示例,假设输入图像是包括随机噪声分量的、包括三种颜色(即红色、绿色和蓝色)的RGB图像。也就是说,输入图像具有多个信道。存在这样的情况:在由图像读取单元101、发送/接收单元107等从外部输入的图像数据中,包括随机噪声。此外,存在将不可逆压缩(例如JPEG)也用于对存储单元103进行缓冲的情况,并且由此产生的噪声可能被叠加。在对本实施例的说明中,假设输入如这样的RGB图像。在8位信号的情况下,RGB图像的各个信号值可以取0到255之间的值。在以下说明中,该信号值被称为像素值。这里说明的处理是针对RGB的三个信号中的各个独立进行的,但是这里,为了简化说明,将特定的一种颜色(例如,红色)作为示例进行说明。
首先,在步骤S301,图像处理单元102切出具有用于红色信号的预定尺寸的窗口。在本实施例中,假设具有预定尺寸的窗口是5×5像素的窗口。此外,窗口是包括关注像素和多个周围像素的像素块。
接下来,在步骤S302,图像处理单元102针对切出窗口的各个像素的像素值计算与关注像素的差的绝对值。也就是说,图像处理单元102用作绝对值计算单元。在下文中,步骤S302的处理也称为差计算处理。
这里,通过使用图4A和图4B,说明差计算处理。在图4A中,pix(x,y)表示在步骤S301切出的窗口内的各个坐标处的像素值。这里,pix(2,2)是位于窗口中心的关注像素的像素值。图像处理单元102计算pix(0,0)与pix(2,2)之间的差的绝对值,并输出绝对值dif(0,0)。对除了关注像素之外的所有周围像素进行该处理,并且求出各个像素处的与关注像素的像素值的差的绝对值diff(x,y)。求出的结果如图4B所示。在像素值是8位信号的情况下,像素值的差的绝对值可以取0到255之间的值,但是在本实施例中,对绝对值进行归一化和剪切处理,并且该值的范围减小到0到16。具体地,通过使用下面的式(1),计算像素值的差的绝对值,并进行归一化处理和剪切处理。
如果(dif(x,y)>16),则dif(x,y)=16
这里,式(1)表示像素值的差的绝对值除以除数8的示例。通过将可以最大取255的差除以除数8,dif(x,y)可以取的值的范围可以归一化到0与31之间的范围。除数8也称为归一化值。此外,进行剪切处理,并且将值的17与31之间的所有值四舍五入为16。即,剪切阈值为16。即,该除数确定与归一化一起剪切为参数的差的范围。通过改变除数的值(即归一化值),可以调整降噪量。此外,通过使用2的幂的值(在该示例中为8)作为除数,用移位(bitshift)代替除法,并且抑制运算成本(在硬件电路的情况下,为除法器)。还可以不进行归一化处理和剪切处理。
接下来,在步骤S303,图像处理单元102通过使用计算出的dif(x,y)的值,进行将pix(x,y)的值与关注像素的像素值pix(2,2)线性组合的组合处理(加权平均),并转换窗口内各个像素的像素值。也就是说,图像处理单元102用作加权平均计算单元,该加权平均计算单元被构造为计算关注像素和各个周围像素的像素值的加权平均。通过使用下面的式(2),可以在从pix(x,y),pix(2,2)和dif(x,y)转换之后计算像素值pix'(x,y)。
在式(2)中,在diff(x,y)大的像素(即,与关注像素的差大的像素)中,由pix(2,2)表示的关注像素的权重变大。相反,在pix(x,y)小的像素(即,与关注像素的差小的像素)中,由pix(2,2)表示的关注像素的权重变小。然后,如此求出的pix'(x,y)被替换为值相对接近pix(2,2)的像素值。此外,从式(2)还可以看出,对于pix'(2,2),在pix(x,y)成为关注像素的情况下,计算结果毫无例外地变为pix(2,2),因此,pix'(2,2)=pix(2,2)成立。结果如图4C所示。
在该处理中,对于与关注像素的差大的像素,更多地应用关注像素的权重,因此,在图像的边缘部分处,处理中的关注像素的相反颜色的影响程度减小。这样的结果是,pix'(x,y)的边缘分量变小。
图5A和图5B示出了由转换处理引起的像素值的变化的具体示例。图5A示出了如下示例,在白色背景上形成黑色边缘,并且越黑的像素具有越低像素值并且越白的像素具有越高的像素值。最白的像素具有最大像素值。在如图5A的在白色背景上形成黑色边缘的窗口中,在关注像素位于白色背景侧的情况下,作为相反颜色的黑色边缘侧的像素值,变得不太可能影响处理。具体地,在图5A中,示出了转换前的像素值pix(x,y),并且在图5B中,示出了转换后的像素值pix'(x,y)。关注像素pix(2,2)位于白色背景侧的端部处。通过该转换处理,能够在转换后从像素值pix'(x,y)中的窗口消除黑色边缘侧的影响,并且理想地,窗口被转换为仅包括小幅度随机噪声的窗口。
此外,通过使用作为2的幂的值(在该示例中为16)作为式(2)中的除数,用移位代替除法,并抑制运算成本(在硬件电路的情况下,为除法器)。因为dif(x,y)针对在先前步骤S302获得的关注像素的差的绝对值用8归一化,并且用16剪切,所以这是可以实现的。
接下来,在步骤S304,图像处理单元102对转换后的像素值pix'(x,y)进行平滑化滤波器的卷积运算。在下文中,步骤S304的处理也称为滤波器运算处理。这里,如下面的式(3)所示,图4D中所示的滤波器的权重系数fil(x,y)的值和图4C中的pix'(x,y)的值相乘,并且对构成窗口的所有像素进行该乘法,并通过将乘法的所有积相加来确定输出。读取并使用存储在存储单元103中的一个值,作为滤波器的权重系数fil(x,y)的值。
使用如下的高斯分布的权重系数,作为滤波器的权重系数fil(x,y)的具体示例。
该滤波器的权重系数的总数也是256,是2的幂值。因此,与先前的组合处理一样,可以使用移位作为式(3)的除法,因此,可以抑制分割的运算成本(在硬件电路的情况下,除法器)。
此外,该滤波器的权重系数具有垂直和水平对称属性。也就是说,重复使用相同的值,因此,不必对构成窗口的所有25个像素进行乘法,并且可以通过改变计算的顺序来减少乘法的次数。具体来说,fil(0,0)=fil(4,0)=fil(0,4)=fil(4,4),因此,乘以与pix'(0,0)相同的权重系数的其他像素是pix'(4,0)、pix'(0,4)和pix'(4,4)。因此,在乘以权重系数fill(0,0)时,可以将下面的式(4)变换为式(5)。
pix'(0,0)×fil(0,0)+pix'(4,0)×fil(4,0)+pix'(0,4)×fil(0,4)+pix'(4,4)×fil(4,4) (4)
(pix'(0,0)+pix'(4,0)+pix'(0,4)+pix'(4,4))×fil(0,0) (5)
因此,可以将乘法次数减少到1/4,因此,可以抑制运算成本(在硬件电路的情况下为乘法器)。可以将该滤波器的所有权重系数集成为以下六种。
fil(0,0)=fil(4,0)=fil(0,4)=fil(4,4)
fil(1,0)=fil(3,0)=fil(0,1)=fil(4,1)=fil(0,3)=fil(4,3)=fil(1,4)=fil(3,4)
fil(2,0)=fil(0,2)=fil(4,2)=fil(2,4)
fil(1,1)=fil(3,1)=fil(1,3)=fil(3,3)
fil(2,1)=fil(1,2)=fil(3,2)=fil(2,3)
fil(2,2)
这六种权重系数是在图4D中由灰色阴影线所示的部分处的权重系数,并且可以将上述式(3)变换为下面的式(6)。
out=(fil(0,0)×(pix'(0,0)+pix'(4,0)+pix'(0,4)+pix'(4,4))+
fil(1,0)×(pix'(1,0)+pix'(3,0)+pix'(0,1)+pix'(4,1)+pix'(0,3)+pix'(4,3)+pix'(1,4)+pix'(3,4))+
fil(2,0)×(pix'(2,0)+pix'(0,2)+pix'(4,2)+pix'(2,4))+
fil(1,1)×(pix'(1,1)+pix'(3,1)+pix'(1,3)+pix'(3,3))+
fil(2,1)×(pix'(2,1)+pix'(1,2)+pix'(3,2)+pix'(2,3))+
fil(2,2)×(pix'(2,2)))/256 (6)
还可以将乘法的次数从对应于式(3)所示的像素总数的25个减少到式(6)所示的六个。这是只要滤波器的权重系数具有垂直和水平对称属性就可以进行的运算变换,并且一般滤波器的权重系数具有这种对称属性。
通过将该流程应用于构成图像的所有像素并进一步针对红色、绿色和蓝色的所有信号进行该流程,在维持边缘分量和小幅度纹理的同时实现图像中包括的随机噪声的降低处理。
图6示出了本实施例中的降噪处理结果的信号变化的比较。图6示出了图像信号改变的方式,表示像素值的截面图。横轴表示图像的坐标,纵轴表示像素值。输入信号601变为像素值幅度朝向图6中的向右方向逐渐变大的波。在应用代表性ε滤波器的处理的结果603中,幅度605从作为边界的坐标位置604超过ε滤波器中的阈值ε,并且波形剧烈改变并且作为信号是非连续的。也就是说,在到达坐标位置604之前信号被很大程度地平滑化并且在坐标位置604之后,平滑化的效果减小。与此相反,在本实施例的处理的结果602中,在维持降噪的效果的同时信号变化变得逐渐连续。
在本实施例中,说明了对红色、绿色和蓝色的所有三种信号进行上述处理以及生成降低了噪声的RGB图像的示例,但是为了更加简化,也可以进行如下构造,在图3中的处理之前和之后进行颜色空间转换处理。
首先,图像处理单元102通过使用下面的式(7)将RGB图像的各个信号转换为基于亮度(luminance)/色度的颜色空间(这里是YCbCr颜色空间)作为预处理。也就是说,图像处理单元102用作颜色空间转换单元。
接下来,图像处理单元102对亮度信号Y进行前一流程中说明的降噪处理,并进行逆颜色空间转换处理作为后处理,并将YCbCr信号返回到RGB图像。也就是说,图像处理单元102用作逆颜色空间转换单元。在处理后的亮度信号被取为Y'的情况下,可以通过下面的式(8)通过使用预处理中求出的Cb/Cr信号来在降噪处理之后求出RGB图像的R'、G'和B'的各个信号。
此外,对于颜色空间转换处理,这里使用YCbCr颜色空间,但是可以使用诸如Lab的其他颜色空间,只要颜色空间是基于亮度/色度的颜色空间即可。
此外,可以对以青色、品红色、黄色和黑色表示的CMYK图像进行相同的处理。
此外,在本实施例中的滤波器运算中,说明了权重系数可以被集成为六种类型的示例,但是示例不限于此。也就是说,即使在上述权重系数的情况下,也需要六次乘法,因此,为了更加简化,还可以使用平均权重表,该平均权重表使用权重系数的所有值是1/25的滤波器,即,使用25个像素的像素值pix'(x,y)的平均值。此外,还可以进行去除pix'(x,y)等的噪声的掩模运算(mask operation)(例如,中值滤波器),而不限于通过滤波器运算的卷积。
此外,在本实施例中,窗口的尺寸取5×5像素的尺寸,但是尺寸不限于此。
[第二实施例]
在上述第一实施例中,通过使用预先确定的诸如滤波器的权重系数和归一化值的参数来进行降噪处理,因此,还预先确定噪声的减少量。但是,依据输入图像的属性,噪声量是不同的。例如,噪声量在数码相机的图像(其中存在许多噪声分量)与通过矢量绘制的字符图像或图形图像之间不同。此外,在能够根据用户的偏好切换降噪等级(即,降噪量)的情况下,不仅输入图像的属性,降噪处理的自由度也增加。
因此,在本实施例中,说明这样的构造,其中可以通过根据用户设置的设置值切换滤波器的权重系数和校正值(即,参数)来切换降噪等级。省略了与第一实施例相同的图像形成装置的构造、装置的概要和重复的处理流程的说明,并且在下文中,说明与第一实施例不同的步骤S302的差计算处理和步骤S304的滤波器运算处理。
UI单元106根据用户在如图7所示的UI 700上进行的操作来改变降噪等级。UI 700具有滑动条701,并且在用户将滑动条701向右滑动的情况下,指示增加降噪等级,并且在用户将滑动条701向左滑动的情况下,指示降低降噪等级。假设上述第一实施例处于滑动条701位于UI 700的中心的状态,并且在下文中,该状态被称为标准状态。由UI单元106设置的降噪等级的设置值被临时存储在存储单元103中。图像处理单元102参考存储在存储单元103中的设置值并改变用于降噪处理的滤波器的权重系数和参数。UI单元106设置的设置值随着滑动条701从标准状态向左移动而变小,并且随着滑动条701向右移动而变大。图7所示的UI 700具有在-2与+2之间的调整幅度。
在本实施例中,通过改变在计算在步骤S302中使用的差时的除数和在步骤S304中使用的平滑化滤波器的权重系数,来改变降噪程度(即,降噪等级)。图像处理单元102根据由UI单元106设置并存储在存储单元103中的降噪等级的设置值来改变这些参数。
首先,说明在步骤S302的差计算处理中从参数的标准状态的改变。在降低降噪效果的情况下,图像处理单元102将步骤S302中的式(1)中的除数(即,归一化值)从第一实施例中所示的标准状态中的8改变为小于8的值。例如,如下面的式(9)所示,除数变为4。
通过这样做,在进行步骤S303的组合处理并且转换窗口的像素值时,dif(x,y)可以取的值变得更大并且关注像素pix(2,2)的权重变大,并且在计算pix'(x,y)时关注像素的替换量变大。也就是说,周围像素的pix(x,y)的影响变小,因此,降噪量变小并且降噪效果降低。
另一方面,在增加降噪效果的情况下,图像处理单元102将步骤S302的式(1)中的除数从标准状态的8改变为大于8的值,例如16,使得部分边缘和小幅度纹理也成为平滑化的目标。通过这样做,dif(x,y)可以取的值变得更小,步骤S303的组合处理时关注像素的权重变小,并且周围像素的影响变大。这样做的结果是,平滑化的程度变大并且降噪效果增加。
同样地,在本实施例中通过使用2的幂的值作为除数,可以抑制计算成本。
接下来,说明在步骤S304的滤波器运算处理中从平滑化滤波器的权重系数的标准状态的改变。在降低降噪效果的情况下,图像处理单元102通过在第一实施例中使用的标准状态下的滤波器的权重系数的插值运算和直通输出(其中关注像素按原样输出)的权重系数来生成平滑化程度降低的权重系数。具体地,计算标准状态下的权重系数和下面所示的直通输出(through output)的权重系数的加权平均值,并将其作为新的权重系数。
直通输出的权重系数如下所示。
下面示出第一实施例中使用的标准状态的滤波器的权重系数。
图像处理单元102通过进行这样的加权运算(加权平均),并通过将所获得的值四舍五入而获得下面的权重系数,该加权运算利用由上述直通输出的权重系数和标准状态下的权重系数,针对相同坐标处的权重系数以例如2:1的比例进行。
由于在计算时四舍五入到整数的误差的影响,上述滤波器的权重系数的总值不是256(即2的幂),因此,在这种情况下,除法对于该处理来说是必要的。因此,为了能够通过移位进行卷积运算,将关注像素的权重偏移了用于将权重系数的总值调整为256的调整值(在该示例中,将调整值为5添加到关注像素的权重183中),并获得下面的权重系数。
上述权重系数是在本实施例中降噪效果最低的权重系数。也就是说,该权重系数是在UI 700的滑动条701滑动到最左端的情况下所取的系数。通过将加权运算的权重改变为1:2来计算降噪效果为第二低的系数,并且获得接近第一实施例的标准状态的如下权重系数。如下权重系数是在将关注像素的权重偏移了用于将权重系数的总值调整为256的调整值之后的权重系数。具体地,在加权运算之后通过从关注像素的权重109中减去调整值5,将权重系数的总值调整为256。
接下来,说明使降噪效果最高的情况。在这种情况下,使用接近所有像素的平均值并且权重系数的总值变为256的如下权重系数,作为滤波器的权重系数,使得平滑化效果变得最高。也就是说,如下权重系数被视为是在UI 700的滑动条701滑动到最右端的情况下使用的权重系数。
通过使用上述权重系数,强烈地应用平滑化并且降噪效果变高。降噪效果第二高的系数取这样获得的如下权重系数,通过对第一实施例的标准状态下的权重系数和上述降噪效果最高的权重系数以1:1的比例进行加权运算,并通过将中心部分偏移将权重系数的总值调整为256调整值。在如下权重系数中,在加权运算之后通过从关注像素的权重24减去调整值4将权重系数的总值调整为256。
通过使用上述权重系数,能够创建介于标准状态与降噪效果最高的状态之间的中间状态。图像处理单元102可以通过根据降噪等级选择性地使用诸如此类的滤波器的权重系数并且通过进行卷积处理来改变降噪的效果。如同第一实施例中那样,所计算的滤波器的权重系数具有垂直和水平对称属性,因此,可以将卷积处理时的乘法次数减少到六次。
如上所述,通过改变在计算步骤S302使用的差时的除数和在S304使用的平滑化滤波器的权重系数,可以根据设置改变输入图像的降噪程度。
此外,在本实施例中,该构造被说明为如下示例:差计算时的除数和平滑化滤波器的权重系数都根据UI 700而改变,但是可以通过利用UI700以互锁方式改变权重系数与除数中的一者来改变降噪效果。例如,还可以在维持过滤的权重系数固定的同时,通过仅改变差计算时的除数,来增加或降低降噪的效果。此外,还可以在维持差计算时的除数固定的同时,通过使用根据用户的设置的滤波器的权重系数进行平滑化处理,来增加或降低降噪的效果。
在本实施例中,说明了根据在UI 700上设置的设置值来切换降噪等级的示例,但是如开头所述,还可以根据输入图像的属性切换降噪等级。
(其他实施例)
还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如,一个或更多个程序)以执行上述实施例中的一个或更多个的功能,和/或包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如,专用集成电路(ASIC))的系统或装置的计算机,来实现本发明的实施例,并且,可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能,并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法,来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如,中央处理单元(CPU)、微处理单元(MPU)),并且可以包括分开的计算机或分开的处理器的网络,以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存装置以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
根据本发明,使得能够在以低运算成本维持边缘和小幅度纹理的同时实现降低图像中的随机噪声的平滑化处理。
虽然参照示例性实施例对本发明进行了描述,但是应该理解,本发明不限于所公开的示例性实施例。应当对权利要求的范围给予最宽的解释,以使其涵盖所有这些变型例以及等同的结构及功能。
Claims (13)
1.一种图像处理装置,所述图像处理装置包括:
绝对值计算单元,其被构造为,在包括关注像素和多个周围像素的像素块中,计算关注像素与各个周围像素之间的像素值的差的绝对值;
加权平均计算单元,其被构造为根据所计算的绝对值,计算关注像素和各个周围像素的像素值的加权平均;以及
平滑化单元,其被构造为对通过加权平均而计算的像素值进行平滑化处理。
2.根据权利要求1所述的图像处理装置,其中,加权平均计算单元通过使用所计算的绝对值作为关注像素的权重来计算像素值的加权平均。
3.根据权利要求2所述的图像处理装置,其中,加权平均计算单元计算像素值的加权平均,使得针对所计算的绝对值大的像素,关注像素的权重变大,并且计算像素值的加权平均使得针对所计算的绝对值小的像素,关注像素的权重变小。
4.根据权利要求1至3中的任一项所述的图像处理装置,其中,绝对值计算单元对所计算的绝对值进行归一化处理和剪切处理。
5.根据权利要求1至3中的任一项所述的图像处理装置,所述图像处理装置还包括:
颜色空间转换单元,其被构造为,针对具有多个信道的输入图像,在计算所述绝对值之前,将颜色空间转换为基于亮度/色度的颜色空间;以及
逆颜色空间转换单元,其被构造为,在平滑化处理之后,通过使用进行了平滑化处理的、基于亮度/色度的颜色空间中的亮度信号,来进行逆颜色空间转换。
6.根据权利要求1至3中的任一项所述的图像处理装置,其中,平滑化单元通过使用高斯分布的权重系数或通过取平均来进行平滑化处理。
7.根据权利要求4所述的图像处理装置,其中,绝对值计算单元根据输入图像的降噪等级,改变归一化处理的归一化值。
8.根据权利要求1至3中的任一项所述的图像处理装置,其中,平滑化单元根据输入图像的降噪等级,改变平滑化处理使用的权重系数。
9.根据权利要求7所述的图像处理装置,所述图像处理装置还包括:
设置单元,其被构造为设置输入图像的降噪等级。
10.根据权利要求7所述的图像处理装置,其中,根据输入图像的属性,切换降噪等级。
11.根据权利要求1至3中的任一项所述的图像处理装置,其中,绝对值计算处理、加权平均计算处理或平滑化处理中的除法的除数是2的幂的值。
12.一种图像处理方法,所述图像处理方法包括以下步骤:
在包括关注像素和多个周围像素的像素块中,计算关注像素与各个周围像素之间的像素值的差的绝对值;
根据所计算的绝对值计算关注像素和各个周围像素的像素值的加权平均;以及
对通过加权平均而计算的像素值进行平滑化处理。
13.一种非暂时性计算机可读存储介质,其存储有用于使计算机进行图像处理方法的程序,所述图像处理方法包括以下步骤:
在包括关注像素和多个周围像素的像素块中,计算关注像素与各个周围像素之间的像素值的差的绝对值;
根据所计算的绝对值,计算关注像素和各个周围像素的像素值的加权平均;以及
对通过加权平均而计算的像素值进行平滑化处理。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017156528A JP2019036821A (ja) | 2017-08-14 | 2017-08-14 | 画像処理装置、画像処理方法、及びプログラム |
JP2017-156528 | 2017-08-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109391783A true CN109391783A (zh) | 2019-02-26 |
Family
ID=65275466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810909424.8A Pending CN109391783A (zh) | 2017-08-14 | 2018-08-10 | 图像处理装置、图像处理方法和存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10692190B2 (zh) |
JP (1) | JP2019036821A (zh) |
CN (1) | CN109391783A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111462015A (zh) * | 2020-04-08 | 2020-07-28 | Oppo广东移动通信有限公司 | 地图轨迹的处理方法、装置、电子设备及存储介质 |
CN114297576A (zh) * | 2021-11-16 | 2022-04-08 | 平头哥(上海)半导体技术有限公司 | 一种加权平均计算方法和加权平均计算装置 |
CN114402334A (zh) * | 2019-10-11 | 2022-04-26 | 3M创新有限公司 | 用于预处理具有关注的元素的图像的装置和方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112233051B (zh) * | 2020-09-09 | 2024-05-10 | 浙江大华技术股份有限公司 | 一种中值滤波方法、中值滤波装置和计算机可读存储介质 |
CN114037635A (zh) * | 2021-11-26 | 2022-02-11 | 成都微光集电科技有限公司 | 一种图像混合去噪方法、装置、电子设备和介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080144960A1 (en) * | 2006-11-15 | 2008-06-19 | Fujitsu Limited | Image processing apparatus and image processing method |
CN101816017A (zh) * | 2007-10-05 | 2010-08-25 | 奥林巴斯株式会社 | 图像处理装置以及程序 |
CN102572416A (zh) * | 2010-12-22 | 2012-07-11 | 中兴通讯股份有限公司 | 视频滤波方法及装置 |
CN104243767A (zh) * | 2013-06-13 | 2014-12-24 | 聚晶半导体股份有限公司 | 去除图像噪声的方法 |
US20150093041A1 (en) * | 2013-09-30 | 2015-04-02 | Samsung Electronics Co., Ltd. | Method of reducing noise in image and image processing apparatus using the same |
JP2016004020A (ja) * | 2014-06-19 | 2016-01-12 | 株式会社Screenホールディングス | 画像処理装置、画像取得装置、画像処理方法および画像取得方法 |
CN105430254A (zh) * | 2014-09-16 | 2016-03-23 | 奥林巴斯株式会社 | 图像处理装置、摄像装置、图像处理方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0684585B1 (en) | 1994-04-22 | 2003-02-05 | Canon Kabushiki Kaisha | Image forming method and apparatus |
JP2002262094A (ja) * | 2001-02-27 | 2002-09-13 | Konica Corp | 画像処理方法及び画像処理装置 |
JP2004363853A (ja) * | 2003-06-04 | 2004-12-24 | Casio Comput Co Ltd | 画像信号のノイズ低減方法及びノイズ低減装置 |
JP5020573B2 (ja) | 2006-09-01 | 2012-09-05 | キヤノン株式会社 | 画像処理装置およびその方法 |
JP5012315B2 (ja) * | 2007-08-20 | 2012-08-29 | セイコーエプソン株式会社 | 画像処理装置 |
JP4431607B2 (ja) * | 2007-11-08 | 2010-03-17 | シャープ株式会社 | 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体 |
JP5197414B2 (ja) * | 2009-02-02 | 2013-05-15 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
JP2013115728A (ja) | 2011-11-30 | 2013-06-10 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
WO2013187133A1 (ja) * | 2012-06-12 | 2013-12-19 | 富士フイルム株式会社 | 画像処理装置及び画像処理方法 |
JP5564553B2 (ja) * | 2012-10-22 | 2014-07-30 | Eizo株式会社 | 画像処理装置、画像処理方法及びコンピュータプログラム |
JP6282145B2 (ja) | 2014-03-13 | 2018-02-21 | キヤノン株式会社 | 装置、画像処理装置、方法及びプログラム |
-
2017
- 2017-08-14 JP JP2017156528A patent/JP2019036821A/ja active Pending
-
2018
- 2018-08-08 US US16/057,945 patent/US10692190B2/en active Active
- 2018-08-10 CN CN201810909424.8A patent/CN109391783A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080144960A1 (en) * | 2006-11-15 | 2008-06-19 | Fujitsu Limited | Image processing apparatus and image processing method |
CN101816017A (zh) * | 2007-10-05 | 2010-08-25 | 奥林巴斯株式会社 | 图像处理装置以及程序 |
CN102572416A (zh) * | 2010-12-22 | 2012-07-11 | 中兴通讯股份有限公司 | 视频滤波方法及装置 |
CN104243767A (zh) * | 2013-06-13 | 2014-12-24 | 聚晶半导体股份有限公司 | 去除图像噪声的方法 |
US20150093041A1 (en) * | 2013-09-30 | 2015-04-02 | Samsung Electronics Co., Ltd. | Method of reducing noise in image and image processing apparatus using the same |
JP2016004020A (ja) * | 2014-06-19 | 2016-01-12 | 株式会社Screenホールディングス | 画像処理装置、画像取得装置、画像処理方法および画像取得方法 |
CN105430254A (zh) * | 2014-09-16 | 2016-03-23 | 奥林巴斯株式会社 | 图像处理装置、摄像装置、图像处理方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114402334A (zh) * | 2019-10-11 | 2022-04-26 | 3M创新有限公司 | 用于预处理具有关注的元素的图像的装置和方法 |
CN111462015A (zh) * | 2020-04-08 | 2020-07-28 | Oppo广东移动通信有限公司 | 地图轨迹的处理方法、装置、电子设备及存储介质 |
CN114297576A (zh) * | 2021-11-16 | 2022-04-08 | 平头哥(上海)半导体技术有限公司 | 一种加权平均计算方法和加权平均计算装置 |
Also Published As
Publication number | Publication date |
---|---|
US20190050967A1 (en) | 2019-02-14 |
US10692190B2 (en) | 2020-06-23 |
JP2019036821A (ja) | 2019-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109391783A (zh) | 图像处理装置、图像处理方法和存储介质 | |
US8274710B2 (en) | Image processing using count variation | |
US7382915B2 (en) | Color to grayscale conversion method and apparatus | |
JP2872285B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4912270B2 (ja) | 画像処理装置及びその制御方法 | |
US9349161B2 (en) | Image processing apparatus and image processing method with edge enhancement | |
US10542188B2 (en) | Image processing apparatus, image processing method, and storage medium for removing a designated color from an image | |
JPH0380767A (ja) | 画像の階調記録装置 | |
US8655067B2 (en) | Image processing apparatus, image processing method, and computer program product | |
US20170094098A1 (en) | Image forming apparatus, storage medium, and color conversion method | |
JP4465377B2 (ja) | 画像処理方法、画像処理装置、画像形成装置、画像読取装置、コンピュータプログラム、及び記録媒体 | |
JP5799676B2 (ja) | 画像処理装置、画像読取装置、及び、画像処理プログラム | |
JP2015173419A (ja) | 画像処理装置及びその制御方法とプログラム | |
JP7447193B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4861506B2 (ja) | 画像処理装置およびその制御方法 | |
US8892466B2 (en) | Systems and methods for modifying color characteristics of an image | |
US8547612B2 (en) | Image processing apparatus, image forming apparatus, and image processing method that read color image data from a document | |
JP5361556B2 (ja) | 画像処理装置及びその方法、並びに、コンピュータプログラムおよび記憶媒体 | |
JP7261064B2 (ja) | 画像形成装置及びその制御方法、並びにプログラム | |
US10986250B1 (en) | System and method to detect and adjust image background | |
JP2024153410A (ja) | 画像処理装置、画像読取装置、画像形成装置、画像処理方法及びプログラム | |
JP5480651B2 (ja) | 画像処理装置および画像処理方法 | |
JPH0363888A (ja) | 画像処理装置 | |
JP2004193725A (ja) | 画像処理装置および画像処理方法およびプログラム | |
US20120026563A1 (en) | Image processing apparatus, image forming apparatus, and method for image processing, configured to divide and read a document to generate divided image data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190226 |