CN101459761A - 图像处理方法及其相关装置 - Google Patents

Abstract

本发明提供一种图像处理方法。该图像处理方法包含有仅依据水平方向的多个图像区块而不参考垂直或其他方向的图像区块来完成一区块对比操作以及依据该区块对比操作的一结果来执行一图像处理操作。

Description

图像处理方法及其相关装置

技术领域

本发明关于一种图像处理机制，尤其指一种能够降低电路成本并减少运算复杂度的图像处理方法及其相关装置。

背景技术

公知图像处理机制在进行区块对比操作(block matching operation)时考虑一先前图像中的二维预定范围内的多个图像区块，从该多个图像区块中找出与目前图像内某一图像区块最相像的图像区块来决定出一移动向量。然而，实际上，执行该区块对比操作时需要对大量的像素进行计算而其计算程序相当复杂，用以暂存像素数据的线缓冲器(line buffer)则因为需要暂存大量的像素数据而造成需要使用较多的线缓冲器，一般来说在此情况下实际需要约10-20个线缓冲器。是故公知图像处理机制的整体电路成本会因使用较多的线缓冲器而提高，而在完成区块对比操作之前亦需要较长的运算时间。

发明内容

因此本发明的目的的一在于提供一种能够降低整体电路成本并同时减少运算复杂度的图像处理方法及其相关装置，以解决上述的问题。

依据本发明的实施例，其公开一种图像处理方法。该图像处理方法包含有仅依据水平方向的多个图像区块而不参考垂直或其他方向的图像区块来完成一区块对比操作以及依据该区块对比操作的结果来执行一图像处理操作。

依据本发明的实施例，其另公开一种图像处理装置。该图像处理装置包含有一计算电路与一图像处理电路，其中该计算电路用来仅依据水平方向的多个图像区块而不参考垂直或其他方向的图像区块来完成一区块对比操作，以及该图像处理电路耦接于该计算电路并依据该区块对比操作的结果来执行一图像处理操作。

附图说明

图1为本发明一实施例的图像处理装置的示意图。

图2为图1所示的计算电路针对两帧进行区块对比的操作示意图。

图3为图1所示的计算电路针对两图场(field)进行区块对比的操作示意图。

主要元件符号说明

 

100	图像处理装置
		105	存储器
110	计算电路
		115	图像处理电路

具体实施方式

请参照图1，图1是本发明一实施例的图像处理装置100的示意图。图像处理装置100包含有存储器105、计算电路110与图像处理电路115，其中计算电路110还包括有多个线缓冲器(未显示于图1中)。存储器105用来存储由外部所接收的输入数据DATA_in(多个帧(frame)或图场(field)的像素数据)，而计算电路110耦接于存储器105并仅依据输入数据DATA_in中水平方向的多个图像区块而不参考垂直或其他方向的图像区块来完成一区块对比操作，图像处理电路115则耦接于计算电路110并依据该区块对比操作的结果来执行一图像处理操作(例如图像插补运算(interpolation))；计算电路110与图像处理电路115在实际上可共同组成一移动估测/补偿电路单元。如上所述，由于计算电路110仅依据水平方向的多个图像区块来完成该区块对比操作而不参考垂直或其他方向的图像区块，所以图像处理装置100与上述的公知图像处理机制相比，可避免进行大量的像素运算并降低运算复杂度，同时亦可减少线缓冲器数目而使整体电路成本下降。可如此实现的原因是，统计上来说图像画面中发生水平移动的物件比发生垂直移动的物件来得较多，例如，当为了插补出某一时间点的帧/图场中的图像区块时，进行区块对比操作来找出前一时间点的帧/图场中哪一图像区块与下一时间点的帧/图场中哪一图像区块最相像以找出插补出此图像区块时所需要的移动向量，而有相当大的机率是所找出来的移动向量为一水平向量，亦即，该图像区块所对应到的物件此时发生水平移动。因此，本实施例仅参考水平方向上的图像区块来进行区块对比操作以节省整体电路成本，同时避免浪费运算时间与减少运算复杂度；实际上，本实施例中的计算电路110仅利用2-3个线缓冲器即可达到参考水平方向上的图像区块来进行区块对比操作的目的，与公知图像处理机制一般所需要的线缓冲器数目相较来说减少相当多。

在本实施例中利用图像插补运算的例子来加以说明，当然本发明并不以此为限。计算电路110在进行区块对比时会将存储于存储器105的输入数据DATA_in中所需要的像素数据逐一地暂存于其内部的线缓冲器中，并累计每一相对应位置所计算后的像素差来得到一区块对比差值(block matchingdifference)。请参照图2，图2是图1所示的计算电路110针对两帧进行区块对比操作的操作示意图。如图2所示，此时输入数据DATA_in为一连串的帧所构成，而在此种情况下若要尽量节省线缓冲器的数目，则计算电路110至少仍需包含两线缓冲器，而计算电路110的操作在图2中即以两线缓冲器为例子来描述的。

如上所述，在此例中计算电路110包含有线缓冲器L₁及L₂。举例来说，当计算电路110欲针对帧F_n-1的图像区块B_n-1与帧F_n中的图像区块B_n计算一区块对比差值(例如像素的绝对差值总和(Sum of Absolute Differences，SAD))时，由于线缓冲器L₁与L₂至多可各同时存储帧F_n-1与F_n中对应同一水平位置上的像素数据，例如，线缓冲器L₁可同时存储与图像区块B_n-1同一水平位置的多个图像区块内的像素数据而线缓冲器L₂则可同时存储与图像区块B_n同一水平位置的多个图像区块内的像素数据(亦即计算电路110所参考的多个图像区块于线缓冲器L₁及L₂中产生)，因此，计算电路110可逐一计算图像区块B_n-1与B_n中相对应位置的像素差值并将其累计的，最后即可算出图像区块B_n-1与B_n的区块对比差值，请注意，图像区块B_n-1与B_n的水平位置相同。如此持续针对同一水平位置的图像区块进行区块对比，必可算出一最小区块对比差值，而对应于此最小区块对比差值的移动向量即有助于决定出对两帧F_n-1与F_n执行该图像插补运算时一待插补位置所需要的图像区块，其中该待插补位置与图像区块B_n-1/B_n同一水平位置。当然，亦可将线缓冲器L₁与L₂设计为至多可各同时存储帧F_n-1与F_n中对应同一水平扫描线上的像素数据，换句话说，若为了更节省电路成本，则可将线缓冲器L₁与L₂分别设计成至多仅存储同一扫描线上的像素数据，而因为计算电路110可通过累计像素差值的方式来算出区块对比差值，所以计算电路110的操作不会受到影响。此外，本发明并未限定上述图像区块B_n-1与B_n内的像素个数与其面积大小，例如，图像区块B_n-1与B_n可以是具有1*m个像素的区块(亦即由1条水平线与m条垂直线所交叉组成的图像区域)，而非仅限定于如图2所示具有n*m个像素的图像区块(n与m为大于1的整数，其分别表示出垂直方向与水平方向上的像素个数)；对于具有1*m个像素的图像区块来说，仍仅需两线缓冲器即可完成区块对比运算，此时两线缓冲器至多会同时存储两帧中对应于同一水平扫描线位置上的像素数据，为了省略篇幅，其余操作则不另赘述。

再者，若计算电路110的区块对比操作的结果指示出依据水平方向的图像区块所计算出的多个区块对比差值均大于一预定阈值V_th，则图像处理电路115在决定上述待插补位置的图像时会直接重复一先前图像(亦即帧)中与该待插补位置相同位置的图像区块；反之，当该结果指示出该多个区块对比差值中一最小区块对比差值不大于预定阈值V_th时，图像处理电路115会依据该最小区块对比差值所对应的移动向量来对该待插补位置进行图像插补，亦即参考前段说明中的移动向量来进行图像插补。上述该多个区块对比差值若均大于预定阈值V_th，则可能表示对应于该待插补位置的物件在前/后张图像中应以垂直或其他方向进行移动而非以水平方向进行移动，由于在此一情况中直接利用该移动向量进行图像插补将造成插补出的图像画面产生较大失真，因此，图像处理电路115选择直接重复一先前图像中与该待插补位置相同位置的图像区块而不参考该移动向量。

在另一例子中，若输入数据DATA_in由一连串的图场所组成，则除了线缓冲器L₁与L₂之外，计算电路110会还包含有一线缓冲器L₃。其中线缓冲器L₁至多同时存储一第一图像(为图场数据)中第一水平线位置上的像素数据，线缓冲器L₂至多同时存储一第二图像(亦为图场数据)中第一水平线位置的上一相邻水平线位置上的像素数据，而线缓冲器L₃则至多同时存储该第二图像中第一水平线位置的下一相邻水平线位置上的像素数据。计算电路110会先计算线缓冲器L₂及L₃中的像素数据来产生至少一暂时像素数据，而计算电路110所参考的水平方向上该多个图像区块则会根据该第一图像中第一水平线位置上的像素数据以及此一暂时像素数据而得以产生。

举例来说，请参阅图3，图3是图1所示的计算电路110针对两图场进行区块对比的操作示意图。以下以至多仅可同时存储同一水平扫描线上的像素数据的线缓冲器来说明，然而，此非本发明的限制。当然，可同时存储同一水平位置多个扫描线上的像素数据的线缓冲器亦可实现，为避免篇幅过长，在此不另赘述。当计算电路110针对图场F_n-1’的图像区块B_n-1’与图场F_n’中的图像区块B_n’计算一区块对比差值时，线缓冲器L₁至多同时存储图场F_n-1’中图像区块B_n-1’内水平扫描线SL₁位置上的像素数据，而线缓冲器L₂与L₃至多分别同时存储图场F_n’中图像区块B_n’内水平扫描线SL₁位置的上一相邻水平扫描线SL₂位置上的像素数据以及下一相邻水平扫描线SL₃位置上的像素数据。由于图场F_n-1’与F_n’分属于偶图场与奇图场，因此，在本实施例中为了能够计算出该区块对比差值，计算电路110会先对线缓冲器L₂及L₃中的像素数据进行平均产生至少一暂时像素数据，然后计算电路110再依据该暂时像素数据以及存储于线缓冲器L₁中的水平扫描线SL₁位置上的像素数据来产生多个像素差值，当然该暂时像素数据亦可通过加权平均或是其他计算方式来加以产生。接着为了计算出其他的像素差值，线缓冲器L₂会改成存储图场F_n-1’中图像区块B_n-1’内水平扫描线SL₄位置上的像素数据，计算电路则依据水平扫描线SL₁位置上的像素数据与水平扫描线SL₄位置上的像素数据进行平均所产生的至少一暂时像素数据以及存储于线缓冲器L₃中水平扫描线SL₃位置上的像素数据来计算像素差值，如此交替地运算将可计算出所有的像素差值。同样地，通过累计像素差值的方式，最后计算电路110亦可算出图像区块B_n-1’与B_n’的区块对比差值。另外，本发明并未限定图像区块B_n-1’与B_n’内的像素个数及其面积大小。例如，图像区块B_n-1’与B_n’可以是由1条水平线与m条垂直线所组成的图像区域，而非仅限定于如图3所示由n条水平线与m条垂直线所组成的图像区域。对于由1条水平线与m条垂直线所组成的图像区域来说，仍仅需三个线缓冲器即可完成区块对比运算，而其余运算过程则类似于上述例子中的运算过程，为了避免说明书过于冗长在此不另赘述。

此外，上述针对奇偶图场计算一像素差值亦可利用不同的方式来实现的，例如，当图像区块B_n-1’内水平扫描线SL₁位置上的一像素数据P₁落入图像区块B_n’内水平扫描线SL₂、SL₃上对应于相同垂直位置的两像素数据P₂与P₃之间，其像素差值将为零，此因为一奇一偶所组成的两连续图场中，若该奇/偶图场中一像素值落入另一图场中相对应垂直上下位置的两像素值之间，则可能表示对应于该像素值的图像是静止的，所以上述的像素差值应视为零；反之，当像素数据P₁未落入像素数据P₂、P₃之间且像素数据P₁、P₂的像素差值小于像素数据P₁、P₃的像素差值，其像素差值则为像素数据P₁、P₂的像素差值。

另外，亦可通过额外增加多个存储器来依序地存储输入数据DATA_in中的帧/图场而非仅使用单一存储器105。其好处是，当计算电路110为了将某一存储器内所存储的像素数据读取至其内部的线缓冲器而占用该存储器的频宽时，另一存储器因为其频宽闲置而可被用来接收输入数据DATA_in的帧/图场，如此一来，接收输入数据DATA_in中的帧/图场的操作以及计算电路110由存储器中读取其所需要的像素数据将不会同时占用到同一存储器，故可加速图像处理装置100的操作速度。

以上所述仅为本发明的较佳实施例，凡依本发明权利要求所进行的等效变化与修改，皆应属本发明的涵盖范围。

Claims (7)

1.一种图像处理方法，包含有：

仅依据水平方向的多个图像区块而不参考垂直或其他方向的图像区块来完成一区块对比操作；以及

依据该区块对比操作的一结果来执行一图像处理操作。

2.如权利要求1所述的图像处理方法，其中该图像处理操作为一图像插补运算，以及依据该区块对比操作的该结果来执行该图像插补运算的步骤包含有：

当该结果指示出依据水平方向的该多个图像区块所计算出的多个区块对比差值均大于一预定阈值时，直接重复一先前图像中对应一待插补位置的一图像区块；以及

当该结果指示出该多个区块对比差值中一最小区块对比差值不大于该预定阈值时，依据该最小区块对比差值所对应的一移动向量来对该待插补位置进行图像插补运算。

3.一种图像处理装置，包含有：

一计算电路，用来仅依据水平方向的多个图像区块而不参考垂直或其他方向的图像区块来完成一区块对比操作；以及

一图像处理电路，耦接于该计算电路，依据该区块对比操作的一结果来执行一图像处理操作。

4.如权利要求3所述的图像处理装置，其中该图像处理操作系一图像插补运算；当该结果指示出依据水平方向的该多个图像区块所计算出的多个区块对比差值均大于一预定阈值时，该图像处理电路会直接重复一先前图像中对应一待插补位置的一图像区块；以及当该结果指示出该多个区块对比差值中一最小区块对比差值不大于该预定阈值时，该图像处理电路会依据该最小区块对比差值所对应的一移动向量来对该待插补位置进行图像插补运算。

5.如权利要求3所述的图像处理装置，其还包含有：

一存储器，耦接于该计算电路，用来存储多个输入帧/图场数据。

6.如权利要求3所述的图像处理装置，其中该计算电路包含有一第一线缓冲器及一第二线缓冲器，该第一及第二线缓冲器至多各同时存储两图像中对应同一水平线位置上的像素数据，其中该两图像为帧数据，且该多个图像区块于该第一线缓冲器及该第二线缓冲器中产生。

7.如权利要求3所述的图像处理装置，其中该计算电路包含：

一第一线缓冲器，用来至多同时存储一第一图像的一第一水平线位置上的像素数据；

一第二线缓冲器，用来至多同时存储一第二图像的该第一水平线位置的上一相邻水平线位置上的像素数据；以及

一第三线缓冲器，用来至多同时存储该第二图像的该第一水平线位置的下一相邻水平线位置上的像素数据；

其中该计算电路先计算该第二线缓冲器及该第三线缓冲器中的像素数据来产生至少一暂时像素数据，该多个图像区块根据该第一图像的该第一水平线位置上的像素数据以及该暂时像素数据产生，且该第一及第二图像为图场数据。

Images