CN104581175B - 影像处理装置与方法 - Google Patents

Abstract

本发明揭示了一种影像处理装置及方法，用来将一原始影像数据转换成一目标影像数据。影像处理装置包含：静态随机存取存储器；影像缩放电路，依据该原始影像数据产生缩放后影像数据，并将该缩放后影像数据存入该静态随机存取存储器；以及视频编码电路，自该静态随机存取存储器读取该缩放后影像数据并进行编码以产生该目标影像数据；其中，该目标影像数据对应至影像画面，且该目标影像数据的部分为透过内部图帧压缩方式编码的内部图帧数据，以及该目标影像数据的另一部份为透过预测图帧压缩方式编码的预测图帧数据。

Description

影像处理装置与方法

技术领域

本发明是关于影像处理装置与方法，尤其是关于利用无线显示(wirelessdisplay,WiDi)技术的影像处理装置与方法。

背景技术

请参阅图1，其是已知影像显示系统的示意图。影像显示系统10包含动态随机存取存储器(Dynamic Random Access Memory,DRAM)110、影像处理装置120及显示器130。影像处理装置120包含影像缩放(scaling)电路122及影像处理单元124。动态随机存取存储器110储存待处理的影像数据。影像缩放电路122从存储器110中读取影像数据，将影像数据进行升取样(up-sampling)或降取样(down-sampling)等缩放处理，之后影像处理单元124对影像数据进行解交错运算(de-interlace)等处理后，再输出给显示器130显示。

请参阅图2，其是已知利用无线显示技术的影像显示系统的示意图。影像显示系统20包含动态随机存取存储器210及230、影像处理装置220及显示设备240。影像处理装置220包含影像缩放电路222及多格式视频编码电路(multi-format video encoder,MFE)226。储存在动态随机存取存储器210的影像数据经过影像缩放电路222的处理后，被储存回动态随机存取存储器210。随后多格式视频编码电路226再从动态随机存取存储器210将影像数据读出，并且将影像数据编码后，储存至动态随机存取存储器230。外部显示设备240，例如手机、电脑、电视等，可以透过无线网络(Wi-Fi)取得动态随机存取存储器230中的数据并且播放。

上述影像处理装置220的缺点在于，影像缩放电路222处理完的数据必须先存回动态随机存取存储器210，而当多格式视频编码电路226需要数据时，再从动态随机存取存储器210读出。一般而言，视频数据通常较为庞大，尤其显示设备240支援的解析度愈高时，视频数据的数据量就愈可观。处理视频数据时，影像缩放电路222对动态随机存取存储器210进行一次读取及一次写入，并且多格式视频编码电路226也必须对同一个动态随机存取存储器210进行一次读取。当视频数据量增加时，这些读写的动作将占用很大的存储器频宽，而且若存储器速度不够快，很容易造成信号的延迟。对无线显示技术来说，即时且流畅的影像播放是相当重要的关键，过长的延迟会造成不佳的使用者经验。

发明内容

鉴于先前技术的不足，本发明的一目的在于提供一种影像处理装置与一种影像处理方法，以增进影像处理的效能，满足无线显示的即时传输的需求。

本发明揭示了一种影像处理装置，用来将一原始影像数据转换成一目标影像数据，包含：一静态随机存取存储器；一影像缩放电路，耦接该静态随机存取存储器，依据该原始影像数据产生一缩放后影像数据，并将该缩放后影像数据存入该静态随机存取存储器；以及一视频编码电路，耦接该静态随机存取存储器，自该静态随机存取存储器读取该缩放后影像数据并进行编码以产生该目标影像数据；其中，该目标影像数据对应至一影像画面，且该目标影像数据的部分为透过内部图帧压缩方式编码的一内部图帧数据，以及该目标影像数据的另一部份为透过预测图帧编码方式编码的一预测图帧数据。

本发明另揭示了一种影像处理方法，用来将一原始影像数据转换成一目标影像数据，包含：依据该原始影像数据产生一缩放后影像数据；将该缩放后影像数据存入一静态随机存取存储器；自该静态随机存取存储器读取该缩放后影像数据；以及对该缩放后影像数据进行编码以产生该目标影像数据；其中，该目标影像数据对应至一影像画面，且该目标影像数据的部分为透过内部图帧压缩方式编码的一内部图帧数据，以及该目标影像数据的另一部份为透过预测图帧压缩方式编码的一预测图帧数据。

本发明的影像处理装置与方法使用影像处理装置内部的静态随机存取存储器取代外部的动态随机存取存储器，以便减少存取动态随机存取存储器的次数。相较于已知技术，本发明使用速度更快的静态随机存取存储器，因此影像处理装置更适用于对系统的反应时间要求甚高的无线显示技术。

有关本发明的特征、实作与功效，兹配合附图作较佳实施例详细说明如下。

附图说明

图1为已知影像显示系统的示意图；

图2为已知利用无线显示技术的影像显示系统的示意图；

图3为利用本发明的影像处理装置的影像显示系统；

图4为本发明的影像处理装置的静态随机存取存储器的储存空间与影像数据的关系图；

图5为本发明的影像处理装置的静态随机存取存储器的储存空间与无线显示的影像数据的关系图；以及

图6为本发明的影像处理方法的一实施例的流程图。

符号说明

10、20、30 影像显示系统

110、210、230、310、330 动态随机存取存储器

120、220、320 影像处理装置

122、222、322 影像缩放电路

124 影像处理单元

130 显示器

226、326 多格式视频编码电路

240、340 显示设备

324 静态随机存取存储器

328 控制单元

S610～S650 步骤

具体实施方式

以下说明内容的技术用语参照本技术领域的习惯用语，如本说明书对部分用语有加以说明或定义，该部分用语的解释是以本说明书的说明或定义为准。

本发明的揭示内容包含影像处理装置与方法，能够提升利用无线显示技术的影像系统的反应时间。该装置与方法可应用于诸如无线显示技术等对反应时间要求甚高的影像系统，在实施为可能的前提下，本技术领域具有通常知识者能够依本说明书的揭露内容来选择等效的元件或步骤来实现本发明，亦即本发明的实施并不限于后叙的实施例。由于本发明的影像处理装置所包含的部分元件单独而言可能为已知元件，因此在不影响该装置发明的充分揭露及可实施性的前提下，以下说明对于已知元件的细节将予以节略。此外，本发明的影像处理方法可藉由本发明的影像处理装置或其等效装置来执行，在不影响该方法发明的充分揭示及可实施性的前提下，以下方法发明的说明将着重于步骤内容而非硬件。

请参阅图3，其利用本发明的影像处理装置的影像显示系统30。影像显示系统30包含动态随机存取存储器310及330、影像处理装置320以及显示设备340。影像处理装置320包含影像缩放电路322、静态随机存取存储器(static random access memory,SRAM)324、多格式视频编码电路326以及控制单元328。影像缩放电路322从与其耦接的动态随机存取存储器310中读取影像数据，将影像数据进行升取样或降取样等缩放处理，然后将处理后的影像数据存入静态随机存取存储器324中。之后，多格式视频编码电路326再从静态随机存取存储器324中读取影像数据，并且将影像数据编码成符合无线显示的规范的位元流数据，再将位元流数据储存至动态随机存取存储器330，最后显示设备340透过无线网络取得影像数据并且播放。控制单元328耦接影像缩放电路322以及多格式视频编码电路326。当影像缩放电路322将多格式视频编码电路326所需的完整数据存入静态随机存取存储器324后，便发送通知信号至控制单元328，控制单元328再依据通知信号控制多格式视频编码电路326自静态随机存取存储器324读取已经就绪的数据。

请参阅图4，其是本发明的影像处理装置的静态随机存取存储器的储存空间与影像数据的关系图。多格式视频编码电路326每次所处理的影像数据通常为一个图帧(frame)410的一部分，而且常是以一个区块MB为单位。例如图4中图帧410就被分为(n+1)个区段，区块MB0～MBn分别对应至一个区段。每个区块包含k x k个像素(k为正整数)，因此每个区块所包含的数据皆为所属的k条像素线(pixel line)的数据的一部分。对应图帧410，静态随机存取存储器324的一个存储器区块(Buffer 0)也包含区块MB0～MBn，也就是说一个存储器区块至少储存k条像素线的数据。

影像缩放电路322将影像数据存入静态随机存取存储器324的方式是以存取完一条像素线再存取下一条像素线的方式进行，当储存完k条像素线后，一个存储器区块即被填满，此时区块MB0～MBn才会完整，也就是说当一个存储器区块存满影像数据后，多格式视频编码电路326才能开始动作。因此影像缩放电路322对控制单元328发出通知信号的时间点即为填满一个存储器区块，例如Buffer 0，多格式视频编码电路326再依据控制单元328的通知从存储器区块Buffer 0依序读取区块MB0～MBn的数据，而此时影像缩放电路322可以从第k+1条像素线开始，将处理完成的数据存入存储器区块Buffer 1中，待存储器区块Buffer 1被填满后，影像缩放电路322对控制单元328发出通知信号令多格式视频编码电路326读取存储器区块Buffer 1的数据，而影像缩放电路322开始将第2k+1条像素线及其后的数据写入存储器区块Buffer 0。影像缩放电路322及多格式视频编码电路326便以交替的方式存取静态随机存取存储器324的两个存储器区块。如果无需节省硬件，存储器区块Buffer0以及Buffer1皆可以更大；如果要节省硬件，静态随机存取存储器324可以只包含一个存储器区块，当影像缩放电路322将数据写入静态随机存取存储器324，多格式视频编码电路326便暂停动作；而当多格式视频编码电路326从静态随机存取存储器324读取数据时，影像缩放电路322便暂停动作。本发明静态随机存取存储器324的大小必须至少为一个存储器区块的大小，也就是必须至少储存k条像素线的数据。

一般而言影像数据常会利用内部图帧(intra frame,I-frame)及预测图帧(predicted frame,P-frame)的方式来传输，以适度的减少数据量。内部图帧通常包含一整个完整图帧的数据量，而预测图帧的数据量相对而言则较小。其中，产生内部图帧的压缩方式称为内部图帧压缩方式，产生预测图帧的压缩方式称为预测图帧压缩方式。为了避免传输数据量大的内部图帧时会造成传输过程中数据量的突然增加而影响传输的稳定性，在压缩某一图帧时，将该图帧的一部分图帧数据以前述内部图帧压缩方式进行压缩以产生内部图帧数据，并将该图帧的另一部分图帧数据以前述预测图帧压缩方式进行压缩以产生预测图帧数据，而内部图帧数据再与预测图帧数据结合，形成一个完整的压缩图帧。如此一来，一个完整的压缩图帧可以是由内部图帧数据以及预测图帧数据组成，解决了传输过程中某一个内部图帧数据量特别大而影响传输稳定性的问题。请注意，前述的内部图帧数据以及预测图帧数据仅分别是由一图帧的部分数据压缩而成，并非已知的内部图帧与预测图帧。换句话说，一般已知技术是将一完整图帧选择以内部图帧压缩方式或以预测图帧压缩方式进行压缩以产生内部图帧或预测图帧，但在本实施例中是将一完整图帧的部分以前述内部图帧压缩方式进行压缩以产生内部图帧数据，并将该图帧的另一部分以前述预测图帧压缩方式进行压缩以产生预测图帧数据，最后才将内部图帧数据与预测图帧数据结合成该图帧的完整的压缩图帧。请参阅图5，其是本发明的影像处理装置的静态随机存取存储器的储存空间与无线显示的影像数据的关系图。图帧510包含准备以内部图帧压缩方式进行压缩的部分图帧数据I，以及准备以预测图帧压缩方式进行压缩的部分图帧数据P。影像缩放电路322由上而下依序处理图帧510的数据，并将处理完毕的数据储存至静态随机存取存储器324，最后由多格式视频编码电路326自静态随机存取存储器324中将处理完毕的数据读取出来，并据以编码成内部图帧数据或预测图帧数据后存入动态随机存取存储器330。因此依据本实施例，在某个时间点，当影像缩放电路322处理完毕部份图帧数据I的全部数据并且准备开始处理部分图帧数据P的数据时，静态随机存取存储器324的其中一个存储器区块储存有部份图帧数据I的数据以供多格式视频编码电路326读取，而另一个存储器区块则开始储存部份图帧数据P的数据。之后，在另一个时间点，当上述储存部份图帧数据P的数据的存储器区块存满时，多格式视频编码电路326便自该存储器区块读取部份图帧数据P的数据并以预测图帧压缩方式进行压缩，以编码为该预测图帧数据。因此两个存储器区块的设计，可使本发明的影像处理装置320更适合用于处理符合无线显示规范的影像信号。

请参阅图6，其是本发明的影像处理方法的一实施例的流程图。除前述的影像处理装置外，本发明亦相对应地揭示了一种影像处理方法，应用于使用无线显示的影像显示系统，能够加速数据的处理，以符合无线显示技术对即时数据传输的需求。本方法由前揭影像处理装置320或其等效装置来执行。如图6所示，本发明的一实施例包含下列步骤：

步骤S610：对原始影像数据进行升取样或降取样以产生缩放后的影像数据。一般而言，由于显示设备的面板的解析度各不相同，所以必须先对原始影像数据进行缩放处理，使缩放后的影像数据能够符合显示设备的解析度；

步骤S620：将缩放后的影像数据存入静态随机存取存储器。缩放后的影像数据以存取完一条像素线再存取下一条像素线的方式写入静态随机存取存储器；

步骤S630：当k条像素线的全部数据被存入静态随机存取存储器之后，发出通知信号。无线显示系统中需要以一个区块为单位来处理影像，而一个区块如果包含k x k个像素(k为正整数)，则静态随机存取存储器必须至少存放k条像素线的数据才能产生至少一个完整的区块。因此当静态随机存取存储器存满k条像素线之后，便发出通知信号，以通知下一步骤开始进行；

步骤S640：依据通知信号开始自静态随机存取存储器读取缩放后的影像数据。此步骤以包含k x k像素的区块为单位，从静态随机存取存储器读取数据，如图4所示，也就是每次读取k条像素线中每一条像素线的部分数据。请注意，此步骤可以是先读取了k条像素线之后，只利用其中每一条像素线的部分数据；也可以用直接指定读取位置的方式，只读取k条像素线中每一条像素线的部分数据。此外，当静态随机存取存储器包含两个存储器区块时(一个存储器区块至少储存k条像素线的数据)，此步骤可以自第一个存储器区块读取数据，而同时步骤S620可以将处理完毕的数据写入第二个存储器区块。因此步骤S620～S640便利用交替写入及读取存储器区块的方式来进行。然而静态随机存取存储器亦可以只包含一个存储器区块，此时步骤S620及步骤S640便无法同时进行；以及

步骤S650：对缩放后的影像数据进行编码，以产生目标影像数据。编码后的目标影像数据符合无线显示技术的影像传输格式，因此可以透过无线网络传输至显示设备。

为了更利于数据的传输，无线显示技术将内部图帧的数据量减小，且一个完整的压缩图帧可能同时包含内部图帧数据及预测图帧数据。再者，当静态随机存取存储器包含两个存储器区块时，请参阅图5，在某个时间点，同时进行的步骤S620及步骤S640分别将准备以预测图帧压缩方式进行压缩的部分图帧数据P的数据存入静态随机存取存储器的其中一个存储器区块，以及自另一个存储器区块读取准备以内部图帧压缩方式进行压缩的部分图帧数据I的数据；之后，在另一个时间点，当上述储存部份图帧数据P的数据的存储器区块存满时，步骤S640便自该存储器区块读取部份图帧数据P的数据并以预测图帧压缩方式进行压缩，以编码为该预测图帧数据。因此两个存储器区块的设计，可使本发明的影像处理方法更适合用于处理符合无线显示规范的影像信号。

由于本技术领域具有通常知识者可藉由图3的装置发明的揭露内容配合图4及图5的存储器储存方式的说明来了解图6的方法发明的实施细节与变化，因此，为避免赘文，在不影响该方法发明的揭示要求及可实施性的前提下，重复的说明在此予以节略。请注意，前揭图示中，元件的形状、尺寸、比例以及步骤的顺序等仅为示意，供本技术领域具有通常知识者了解本发明之用，非用以限制本发明。另外，本技术领域人士可依本发明的揭示内容及自身的需求选择性地实施任一实施例的部分或全部技术特征，或者选择性地实施多个实施例的部分或全部技术特征的组合，藉此增加本发明实施时的弹性。再者，前揭实施例虽以无线显示技术为例，然此并非对本发明的限制，本技术领域人士可依本发明的揭示适当地将本发明应用于其它类型的影像处理装置。

虽然本发明的实施例如上所述，然而该些实施例并非用来限定本发明，本技术领域具有通常知识者可依据本发明的明示或隐含的内容对本发明的技术特征施以变化，凡此种种变化均可能属于本发明所寻求的专利保护范畴，换言之，本发明的专利保护范围由权利要求书界定为准。

Claims (13)

1.一种影像处理装置，用来将一原始影像数据转换成一目标影像数据，包含：

一静态随机存取存储器；

一影像缩放电路，依据该原始影像数据产生一缩放后影像数据，并将该缩放后影像数据存入该静态随机存取存储器；以及

一视频编码电路，自该静态随机存取存储器读取该缩放后影像数据并进行编码以产生该目标影像数据；

其中，该目标影像数据对应至一影像画面，且该目标影像数据的部分为透过内部图帧压缩方式编码的一内部图帧数据，以及该目标影像数据的另一部份为透过预测图帧压缩方式编码的一预测图帧数据；该缩放后影像数据包含该影像画面的K条像素线，该视频编码电路自该静态随机存取存储器读取该K条像素线中每一条像素线的部分数据以进行编码，K为正整数。

2.如权利要求1所述的影像处理装置，其特征在于，还包含：

一控制单元，耦接该影像缩放电路及该视频编码电路；

其中，该影像缩放电路用以发出一通知信号至该控制单元，且该控制单元依据该通知信号控制该视频编码电路开始进行编码。

3.如权利要求2所述的影像处理装置，其特征在于，该静态随机存取存储器的大小等于该K条像素线的数据量。

4.如权利要求1所述的影像处理装置，其特征在于，该静态随机存取存储器包含一第一存储器区块及一第二存储器区块，并且当该影像缩放电路写入该第一存储器区块时，该视频编码电路同时读取该第二存储器区块。

5.如权利要求4所述的影像处理装置，其特征在于，该第一及第二存储器区块的大小分别等于该K条像素线的数据量。

6.如权利要求4所述的影像处理装置，其特征在于，于一第一时间点，该视频编码电路读取该第二存储器区块内储存的数据以编码为该内部图帧数据，同时该影像缩放电路将该缩放后影像数据存入该第一存储器区块以供该视频编码电路于一第二时间点读取以编码为该预测图帧数据。

7.一种影像处理方法，用来将一原始影像数据转换成一目标影像数据，包含：

依据该原始影像数据产生一缩放后影像数据；

将该缩放后影像数据存入一静态随机存取存储器；

自该静态随机存取存储器读取该缩放后影像数据；以及

对该缩放后影像数据进行编码以产生该目标影像数据；

其中，该目标影像数据对应至一影像画面，且该目标影像数据的部分为透过内部图帧压缩方式编码的一内部图帧数据，以及该目标影像数据的另一部份为透过预测图帧压缩方式编码的一预测图帧数据。

8.如权利要求7所述的影像处理方法，其特征在于，还包含：

当该缩放后影像数据被存入该静态随机存取存储器，发出一通知信号；

其中，该自该静态随机存取存储器读取该缩放后影像数据的步骤依据该通知信号而开始执行。

9.如权利要求7所述的影像处理方法，其特征在于，该缩放后影像数据包含该影像画面的K条像素线，该自该静态随机存取存储器读取该缩放后影像数据的步骤自该静态随机存取存储器读取该K条像素线中每一条像素线的部分数据以进行编码，K为正整数。

10.如权利要求9所述的影像处理方法，其特征在于，该静态随机存取存储器的大小等于该K条像素线的数据量。

11.如权利要求9所述的影像处理方法，其特征在于，该静态随机存取存储器包含一第一存储器区块及一第二存储器区块，并且当该将该缩放后影像数据存入该静态随机存取存储器的步骤存取该第一存储器区块时，该自该静态随机存取存储器读取该缩放后影像数据的步骤同时存取该第二存储器区块。

12.如权利要求11所述的影像处理方法，其特征在于，该第一及第二存储器区块的大小等于该K条像素线的数据量。

13.如权利要求11所述的影像处理方法，其特征在于，该影像处理方法还包含：

于一第一时间点读取该第二存储器区块内储存的数据以编码为该内部图帧数据，同时将该缩放后影像数据存入该第一存储器区块；以及

于一第二时间点读取该第一存储器区块内储存的该缩放后影像数据以编码为该预测图帧数据。