CN1625218A

CN1625218A - 图像处理方法和装置

Info

Publication number: CN1625218A
Application number: CN200410095000.0A
Authority: CN
Inventors: 星伸宏
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-11-18
Filing date: 2004-11-18
Publication date: 2005-06-08
Anticipated expiration: 2024-11-18
Also published as: JP2005151306A; JP3950841B2; US20050105818A1; US7379624B2; CN1321522C

Abstract

一种图像处理方法，包括下列步骤：对输入图像数据执行分辨率转换处理以增加灰度等级数；执行边缘增强处理以增加输入图像数据的灰度等级数；以及执行抖动处理以减少输入图像数据的每一个像素的灰度等级数。根据关于分辨率转换处理的参数和表示边缘增强处理等级的参数的组合确定伪灰度等级数。

Description

图像处理方法和装置

技术领域

本发明涉及一种图像处理方法和装置，更具体地说，涉及一种处理数字图像信号的方法。

背景技术

薄膜显示设备、液晶显示器(LCD)、等离子体显示器(PDP)、场致发射显示器(FED)引起了极大关注。

LCD、PDP、以及FED是固定像素矩阵驱动显示设备，能够由数字图像信号驱动。上述显示设备的灰度等级数由相应于每一个像素的视频信号的位数表示。

考虑采用显示图像的技术以便通过对图像信号执行信号处理实现完美的视觉效果。该技术包括用于增强图像的边缘部分和高频分量的边缘增强处理，从而显著增加图像的分辨率。

图8示出用于对图像信号执行边缘增强处理的边缘增强器800的结构。

从输入端子801输入的图像信号输出到高通滤波器803和加法器807。

高通滤波器803提取输入图像信号的高频分量并将获得的图像信号输出到乘法器805。

在控制器809的控制下，乘法器805将表示图像的高频分量增强等级的增强系数和高频分量相乘，并将获得的信号输出到加法器807。通过控制增强系数，可以调整图像的高频分量的增强等级。

作为从乘法器805输出的高频分量的位精度，通过高通滤波器803和乘法器805可以将从输入端子801输入的8位图像信号提高为12位图像信号。

然后，加法器807将初始的8位图像信号和从乘法器805输出的12位高频分量相加，并将获得的具有增强高频分量的12位图像信号输出到舍入单元811。

通过从控制器809输出具有负号的增强系数，可以使图像更加平滑，而不增强边缘。

为了将12位图像信号转换成8位图像信号，舍入单元811通过舍入操作将12位图像信号的低4位截去，并将所获得的8位图像信号输出到输出端子813。

图9示出在执行边缘增强之前用于对图像信号执行分辨率转换的图像处理装置的结构。

从输入端子901输入的图像信号供应给分辨率转换器903。

分辨率转换器903在控制器909的控制下将输入信号的分辨率转换成显示设备(未示出)的分辨率。

如果例如显示设备的水平分辨率和垂直分辨率分别为1280像素和720像素，并且输入图像信号的水平像素的数量和垂直像素的数量分别为720和480，则水平分辨率和垂直分辨率的分别按16/9和3/2的比率增加。

如果例如显示设备的水平分辨率和垂直分辨率分别为1280像素和720像素，并且输入图像信号的水平像素的数量和垂直像素的数量分别为1920和1080，则水平分辨率和垂直分辨率的分别按2/3和2/3的比率减小。

如果输入像素信号为8位，则分辨率转换器903将像素信号扩展为10位像素信号以保持转换后的像素信号的精度，并将10位的像素信号输出到边缘增强器905。

在控制器909的控制下，边缘增强器905增强图像的高频分量并将所得到的图像信号输出到舍入单元907。

如果输入像素信号为10位，则边缘增强器905将像素信号扩展为12位像素信号以保持具有增强边缘的图像信号的精度，并将12位的像素信号输出到舍入单元907。

为了将12位像素信号缩减为8位像素信号，舍入单元907截去像素信号的低4位并将所得到的8位数据输出给输出端子911。

另外，控制器909控制分辨率转换器903中的分辨率转换(缩放)比率并控制边缘增强器905中的边缘增强等级。

在打印机中，使用抖动处理的半色调处理已经作为二进制化方法被采用。在打印机中，例如在日本专利申请公开第2000-134471号中所公开的，将图像例如分成字符部分和影像部分，并对这些部分使用不同的二进制化方法。

日本专利申请公开第2003-69830号中公开了一种用于执行分辨率转换和抖动处理的图像处理方法。

在执行分辨率转换之后进行边缘增强、然后对所获得的图像进行舍入时，根据图像的类型不同而很可能出现伪轮廓。

在执行增强处理时，邻近像素的相关性变得更高，并且很容易出现视觉上能够注意到的伪轮廓。

为了防止伪轮廓的出现，可以总是用抖动处理来替代执行舍入操作。但是，在这种情况下，抖动处理对经历过分辨率缩减处理或边缘增强的图像不会产生明显的效果，这是因为不会很容易地出现由此类图像的邻近像素之间的低相关性而造成的伪轮廓。与此相反，抖动处理容易产生负面影响，例如能够察觉到的具有固定模式的噪声。

发明内容

因此，本发明的目的是提供一种图像处理方法和装置，其中能够显示高质量的图像并有效抑制伪轮廓的出现。

为了实现上述目的，根据本发明的一个方面，提供一种图像处理方法，包括下列步骤：对输入图像数据执行分辨率转换处理以增加灰度等级数；执行边缘增强处理以增加输入图像数据的灰度等级数；执行抖动处理以减少输入图像数据的每一个像素的灰度等级数；以及根据关于分辨率转换处理的参数和表示边缘增强处理等级的参数的组合确定伪灰度等级数。

根据本发明的另一个方面，提供一种图像处理方法，包括下列步骤：对输入图像数据执行分辨率转换处理以增加灰度等级数；执行边缘增强处理以增加输入图像数据的灰度等级数；执行抖动处理以减少输入图像数据的每一个像素的灰度等级数；以及根据关于分辨率转换处理的参数和表示边缘增强处理等级的参数的组合确定伪灰度等级数，以便当分辨率转换处理是放大处理时或者当边缘增强处理等级相对较低时增加在抖动处理中的伪灰度等级数。

根据本发明的再一个方面，提供一种图像处理装置，包括：分辨率转换器，用于对输入图像数据执行分辨率转换处理以增加灰度等级数；边缘增强器，用于执行边缘增强处理以增加输入图像数据的灰度等级数；以及抖动处理单元，用于执行抖动处理以减少输入图像数据的每一个像素的灰度等级数。根据关于分辨率转换处理的参数和表示边缘增强处理等级的参数的组合确定伪灰度等级数。

根据本发明，根据分辨率转换处理是放大还是缩小处理以及边缘增强的等级控制抖动处理中的伪灰度等级数。由此，能够执行信号处理，从而使得能够显示高质量的图像并有效抑制伪轮廓的出现。

更具体地说，当分辨率转换处理是放大处理时，将抖动处理中的伪灰度等级数确定为较大。当边缘增强等级相对较低时，将抖动处理中的伪灰度等级数确定为较大。由此，能够显示高质量的图像并有效抑制伪轮廓的出现。

从下面结合附图对优选实施例的详细描述中，本发明的其它目的、特征和优点将变得更加清楚。

附图说明

图1示出使用根据本发明的实施方案的图像处理方法的图像处理装置的结构示例方框图。

图2示出抖动处理单元的结构方框图。

图3A至3E示出在抖动处理单元中使用阈值矩阵。

图4A和4B示出在根据本发明的实施方案的图像处理方法中使用的参数的相关性的表格。

图5示出使用根据本发明的另一实施方案的图像处理方法的图像处理装置的另一结构示例方框图。

图6示出在根据本发明的另一实施方案的图像处理方法中使用的参数的相关性的示例表格。

图7示出在根据本发明的另一实施方案的图像处理方法中使用的参数的相关性的另一示例表格。

图8是表示现有技术中的边缘增强器的示例方框图。

图9是表示现有技术中的图像处理装置的示例方框图。

具体实施方式

下面将参照附图通过优选实施例详细描述本发明。

第一实施例

参照图1所示的图像处理装置，数字图像信号输入到输入端子1。在该实施例中，将输入数字像素信号量化为8位。

然后将输入到输入端子1的数字图像信号输出到分辨率转换器4。

分辨率转换器4在控制器11的控制下将输入图像信号的分辨率转换成显示设备(未示出)的分辨率。也就是说，通过减少(缩小)或增加(放大)输入图像信号的像素数，将输入信号的分辨率转换成显示设备的像素数或显示设备中的显示区域例如小窗口的像素数。在本说明书中，将缩小/放大比率统称为“分辨率转换(缩放)比率”。

尽管在本发明中使用的放大处理的类型不受限制，但是优选采用例如诸如双线性插值的线性插值或诸如双三次插值的三维卷积插值。

作为在本发明中使用的缩小处理，可以简单地消除像素信号，或者在通过诸如线性插值或三维卷积插值的插值方法进行坐标变换之后，消除不必要坐标处的像素信号。

当输入像素信号为8位时，分辨率转换器4将8位像素信号扩展为10位像素信号以保持转换后的像素信号的精度，并将10位的像素信号输出到边缘增强器5。

在控制器11的控制下，边缘增强器5增强图像的高频分量并将所得到的图像输出到抖动处理单元7。控制器11接收关于分辨率转换的参数和表示边缘增强等级的参数作为信号，然后根据上述参数的组合确定在执行抖动处理中的伪灰度等级数。在边缘增强器5中，为了保持边缘增强所提高的计算精度，将10位像素信号增加为12位像素信号。

图2示出图1所示的抖动处理单元7的结构。

从图1所示的边缘增强器5输出的12位像素信号输入到图2所示的相加器25。

另外，阈值矩阵23根据像素的位置将图3A至3E中的一个所表示的阈值矩阵输出到相加器25。这些阈值矩阵每一个都由存储器或寄存器形成并能够通过控制器11重写。

相加器25将12位像素图像和4位抖动矩阵的阈值相加，并将相加后的值输出到分割器27。

如果作为12位像素信号和4位阈值数据相加的结果，将最高位(MSB)进位到更高的数字，则在输出到分割器27之前可以通过执行削去处理将所得到的值转换为12位。

削去处理将超出预设最大值的像素信号的位长度用最大值替代。

分割器27分割所输入的12位像素信号以便将其缩减为8位的像素信号，并将所得到的信号输出到图1所示的输出端子13。

分割器27通过截取像素信号执行分割操作。例如，当从相加器25输出的像素信号为削减到12位的像素信号时，分割器27可以将该信号移位4位。

下面将讨论使用抖动矩阵的像素信号的舍入操作。

仅将矩阵的二进制数字数据的MSB设置为1。也就是说，如果矩阵是4位阈值矩阵，则将矩阵的所有栏设置为二进制数字数据的1000，即十进制的8，如图3D所示。相加器25将12位的像素信号和阈值矩阵23的阈值相加并将所得到的值输出给分割器27。然后，在分割器27中将低4位截去。

控制器11控制分辨率转换器4中的分辨率比率及边缘增强器5中的边缘增强等级，并根据分辨率处理是放大还是缩小以及边缘增强器5中的边缘增强等级控制抖动处理单元7中抖动矩阵的阈值。

在图3A所示的阈值矩阵中，位长度为4位，并且能够表示伪方式中灰度等级数的位数是4位，或者说0至15(16级)。矩阵的大小为4×4。

在图3B所示的阈值矩阵中，尽管位长度为4位，但是最低位(LSB)是0并且能够表示伪方式中灰度等级数的位数是3位，即0、2、4、6、8、10、12和14(8级)。

在图3C所示的阈值矩阵中，尽管位长度为4位，但是最低两位是0并且能够表示伪方式中灰度等级数的位数是2位，即0、4、8和12(4级)。

图4A和4B示出根据执行的是放大还是缩小处理以及边缘增强等级控制抖动矩阵的阈值时的相关性表格。边缘增强等级可以如上所述通过增加或减小乘法器中与高频分量相乘的系数来改变。

图4A示出分辨率转换为放大处理时，分辨率转换比边缘增强优先、并通过抖动处理来增加伪灰度等级数而防止伪轮廓的模式。

在图4A中，当分辨率转换为放大处理并且边缘增强以低等级执行时(模式31)，所得到的图像变为最平滑，并且如果在执行边缘增强后截取所得到信号的位，则最有可能出现伪轮廓。因此，在模式31中，将伪灰度位数设置为4，也就是说使用图3A中所示的抖动矩阵。

在这种情况下，显然可以表示的灰度等级数为总共12位(初始像素信号的灰度等级数(8位)和通过抖动处理的伪灰度等级数(4位))。

在图4A中，当分辨率转换为放大处理并且边缘增强以高等级执行时(模式32)，所得到的图像变为次最平滑，并且相对有可能出现伪轮廓。因此，在模式32中，将伪灰度位数设置为3，也就是说使用图3B中所示的抖动矩阵。

在这种情况下，显然可以表示的灰度等级数为总共11位(初始像素信号的灰度等级数(8位)和通过抖动处理的伪灰度等级数(3位))。

在图4A中，当分辨率转换为缩小处理并且边缘增强以低等级执行时(模式33)，相对不可能出现伪轮廓。因此，在模式33中，将伪灰度位数设置为2，也就是说使用图3C中所示的抖动矩阵。

在这种情况下，显然可以表示的灰度等级数为总共10位(初始像素信号的灰度等级数(8位)和通过抖动处理的伪灰度等级数(2位))。

在图4A中，当分辨率转换为缩小处理并且边缘增强以高等级执行时(模式34)，最不可能出现伪轮廓。并且即使出现伪轮廓，也不容易察觉到。因此，在模式34中，对图像信号进行舍入处理而不执行抖动处理。

在这种情况下，可以如下所述执行舍入操作。将抖动矩阵中所有的阈值固定为8，如图3D所示，并将所得到的阈值加到12位像素信号上，然后将所得到值的低4位截去。

在这种情况下，显然可以表示的灰度等级数总共为8位。

图4B示出以低等级执行边缘增强时，边缘增强比分辨率转换(放大处理)优先、并通过抖动处理来增加可以表示的伪灰度等级数而防止伪轮廓的模式。

在图4B中，模式41与图4A中的模式31类似，模式44与图4A中的模式34类似。

在图4B中，当边缘增强以低等级执行并且分辨率转换为缩小处理时(模式42)，将抖动处理代表的伪灰度等级数设置为3，也就是说使用图3B中所示的抖动矩阵。

在图4B中，当边缘增强以高等级执行并且分辨率转换为放大处理时(模式43)，将抖动处理代表的伪灰度等级数设置为2，也就是说使用图3C中所示的抖动矩阵。

如果需要，该实施例的图像处理装置经由输出端子13通过数字处理电路或驱动电路连接到固定像素矩阵驱动的显示设备上，并将处理后的图像数据供应给显示设备显示。

第二实施例

数字图像信号输入到输入端子501。在该实施例中，将输入数字像素信号量化为8位。

然后将输入到输入端子501的数字像素信号输出到延迟单元503和动态范围检测器511。

在延迟单元503中，延迟数字图像信号直到在动态范围检测器511中检测完图像信号的动态范围为止。例如，为了检测一帧电视信号的动态范围，延迟单元503将电视信号延迟一帧。延迟后的数字图像信号输出到分辨率转换器505。

分辨率转换器505将输入图像信号的分辨率转换成显示设备的分辨率，例如固定像素显示设备(未示出)的像素数。

如果例如显示设备的水平分辨率和垂直分辨率分别为1280像素和720像素，并且输入图像信号的水平像素的数量和垂直像素的数量分别为1920和1080，则水平分辨率和垂直分辨率的分别按2/3和2/3的比率减小。在这种情况下，将8位图像扩展为10位。

在控制器513的控制下，边缘增强器507增强图像的边缘部分并将所得到的图像输出到抖动处理单元509。在边缘增强器507中，为了保持边缘增强所提高的位计算精度，将10位输入像素信号增加为12位像素信号。

另外，动态范围检测器511检测一帧图像信号的动态范围并将该动态范围等级输出给控制器513。

控制器513设置在分辨率转换器505中使用的放大/缩小比率，并控制边缘增强器507中的边缘增强等级，以便根据从动态范围检测器511输入的动态范围等级、边缘增强器507中的边缘增强等级、以及分辨率转换器505中使用的放大或缩小比率，即缩放比率，控制抖动处理单元509中抖动矩阵的阈值。

作为抖动矩阵的阈值，可以使用与图3A至3E所示相同的矩阵。

尽管图3E所述的阈值矩阵的位数为4位，但是低3位是0，并且能够表示伪方式中灰度等级数的位数是1位，也就是说0和8(2级)。

图6示出在根据分辨率转换类型(即放大或缩小)、动态范围的等级、以及边缘增强的等级控制抖动矩阵的阈值时的相关性表格。

在图6所示的相关性表格中，分辨率转换的放大处理的优先级高于边缘增强，并且伪轮廓通过抖动处理来增加伪灰度等级数而防止。

在图6中，当图像信号的动态范围为窄、分辨率转换为放大处理、以及边缘增强以低等级执行时(模式11)，所得到的图像变为最平滑，并且最有可能出现伪轮廓。因此，在模式11中，将通过抖动处理表示的伪灰度位数设置为4，也就是说使用图3A所示的抖动矩阵。

在这种情况下，可以显然表示的灰度等级数总共为12位(初始像素信号的灰度等级数(8位)和通过抖动处理的伪灰度等级数(4位))。

在图6中，当图像信号的动态范围为宽、分辨率转换为放大处理、以及边缘增强以低等级执行时(模式12)，所得到的图像变为次最平滑。因此，在模式12中，将通过抖动处理表示的伪灰度位数设置为3，也就是说使用图3B所示的抖动矩阵。

在这种情况下，可以显然表示的灰度等级数总共为11位(初始像素信号的灰度等级数(8位)和通过抖动处理的伪灰度等级数(3位))。

在图6中，当图像信号的动态范围为窄、分辨率转换为缩小处理、以及边缘增强以低等级执行时(模式15)，如果图像的动态范围为中间等级，则容易出现伪轮廓。

因此，在模式15中，将通过抖动处理表示的伪灰度位数设置为2，也就是说使用图3C所示的抖动矩阵。

在这种情况下，可以显然表示的灰度等级数总共为10位(初始像素信号的灰度等级数(8位)和通过抖动处理的伪灰度等级数(2位))。

在图6中，当图像信号的动态范围为窄、分辨率转换为缩小处理、以及边缘增强以高等级执行时(模式17)，次容易出现伪轮廓。

因此，在模式17中，将通过抖动处理表示的伪灰度位数设置为1，也就是说使用图3E所示的抖动矩阵。

在这种情况下，可以显然表示的灰度等级数总共为9位(初始像素信号的灰度等级数(8位)和通过抖动处理的伪灰度等级数(1位))。

在图6中，当图像信号的动态范围为宽、分辨率转换为缩小处理、以及边缘增强以高等级执行时(模式18)，最不容易出现伪轮廓。因此，截取所得到的图像而不执行抖动处理。

在这种情况下，可以显然表示的灰度等级数总共为8位。

图7示出其中边缘增强等级的优先级高于分辨率转换的放大/缩小处理、并且伪轮廓通过抖动处理来增加伪灰度等级数而防止的相关性表格。

在图7中，模式21与图6中的模式11类似。类似地，模式22、模式27、以及模式28分别与图6中的模式12、模式17、以及模式18类似。

但是，在模式23中，通过抖动处理表示的伪灰度位数比图6中所示的模式15要大。类似地，在模式24中，通过抖动处理表示的伪灰度位数比图6中所示的模式16要大。在模式25中，通过抖动处理表示的伪灰度位数比图6中所示的模式13要小。在模式26中，通过抖动处理表示的伪灰度位数比图6中所示的模式14要小。

当分辨率转换的放大/缩小(缩放)比率大时优选采用图6中的处理模式，而当分辨率转换的放大/缩小(缩放)比率小时优选采用图7中的处理模式。

在图7中，当边缘增强以低等级执行、分辨率转换为缩小处理、以及图像信号的动态范围为宽时(模式24)，如果图像的动态范围为中间等级，则容易出现伪轮廓。

因此，在模式24中，将通过抖动处理表示的伪灰度位数设置为2，也就是说使用图3C所示的抖动矩阵。

如果需要，该实施例的图像处理装置经由输出端子515通过数字处理电路或驱动电路连接到固定像素矩阵驱动的显示设备上，并将处理后的图像数据供应给显示设备显示。

根据上述实施例，将经历过图像处理的具有真实灰度等级(没有伪灰度等级)的数字像素信号输入到固定像素矩阵驱动的显示器的调制驱动电路中。然后使该数字像素信号经历脉冲宽度调制、电压幅度调制或电流幅度调制、或者脉冲宽度调制和电压幅度调制(或电流幅度调制)的组合。之后将所得到的调制后的输出信号提供给相应的像素。根据调制的输出信号以真实的灰度等级展示像素亮度。但是，从整个一屏图像来看，由于将通过抖动处理的伪灰度等级数加到了真实灰度等级数上，所以能够根据真实灰度等级数和伪灰度等级数的总和来重放和显示图像。

本发明可以优选使用在固定像素矩阵驱动显示设备中，例如，具有由至少一个电子束元素和荧光材料构成的像素的电子束荧光显示器，诸如FED和表面传导显示器(SED)，自然光显示器，诸如PDP和场致发光显示器(ELD)，以及诸如LCD的显示器。

虽然参照目前认为的优选实施例描述了本发明，但是应该理解本发明不仅限于所公开的实施例。相反，本发明覆盖包括在所附权利要求的构思和范围内的各种修改和等价替换。应该将所附的权利要求解释为最宽的范围，以便涵盖所有的这些变型和等价结构及功能。

Claims

1.一种图像处理方法，包括下列步骤：

对输入图像数据执行分辨率转换处理以增加灰度等级数；

执行边缘增强处理以增加输入图像数据的灰度等级数；

执行抖动处理以减少输入图像数据的每一个像素的灰度等级数；以及

根据关于分辨率转换处理的参数和表示边缘增强处理等级的参数的组合确定伪灰度等级数。

2.一种图像处理方法，包括下列步骤：

对输入图像数据执行分辨率转换处理以增加灰度等级数；

执行边缘增强处理以增加输入图像数据的灰度等级数；

根据关于分辨率转换处理的参数和表示边缘增强处理等级的参数的组合确定伪灰度等级数，以便当分辨率转换处理是放大处理时或者当边缘增强处理等级相对较低时增加在抖动处理中的伪灰度等级数。

3.根据权利要求2所述的图像处理方法，其中，在确定伪灰度等级数时，分配优先级给关于分辨率转换处理的参数和表示边缘增强处理等级的参数，并根据所分配的优先级确定抖动处理中的伪灰度等级数。

4.一种图像处理装置，包括：

分辨率转换器，用于对输入图像数据执行分辨率转换处理以增加灰度等级数；

边缘增强器，用于执行边缘增强处理以增加输入图像数据的灰度等级数；以及

抖动处理单元，用于执行抖动处理以减少输入图像数据的每一个像素的灰度等级数，

其中，根据关于分辨率转换处理的参数和表示边缘增强处理等级的参数的组合确定伪灰度等级数。

5.根据权利要求4所述的图像处理装置，还包括固定像素矩阵驱动显示器，其中将经历图像处理后的图像数据提供给固定像素矩阵驱动显示器并显示。