CN1166995C - 高速视频处理接口控制器及其处理方法 - Google Patents

Abstract

本发明公开了一种高速视频处理接口控制器及其设计方法，由输入缓存(Input Buffer)、输出缓存(Output Buffer)，读请求(Read Beg)，写请求(WriteBeg)，SDRAM命令产生(SDRAM Command Gnerator)，仲裁(Arbitrate)，地址产生(Address Generator)及地址映射(Address Map)几部分功能模块组成。片外帧存储器存贮了视频处理所需要的几帧图像，接口中的输入、输出缓存在芯片内的处理部分与芯片外的SDRAM帧存储器之间形成数据交换接口，芯片外SDRAM的读写操作的发生是通过“被动呼唤”的设计策略完成的。在运动估计的算法实现中：(1)只与每一执行的时间循环同步，即同步于每一新帧的开始；(2)数据输入和输出的次序一定且不变；(3)在同一时间内需要得到2帧的视频数据；采用本发明能够使帧存储器存取功耗的降低。

Description

高速视频处理接口控制器及其处理方法

一、所属技术领域

本发明属于接口控制器技术领域，特别涉及到高速视频处理接口控制器其处理方法。

二、背景技术

电视对于当今世界任何国家来说，都是最重要的消费电子产品。数字化、网络化是电视发展的方向。近年技术上的进展，特别是数字编码、数字传输、集成电路和显示器件等方面的实用技术突破，已在逐步形成世界范围内的数字化处理电视市场。数字化处理电视与现行电视相比，其水平和垂直两个方向的图像分辨率都有一定提高，使用大屏幕显示器近距离观看时，图像细腻逼真，无闪烁和粗糙感，与模拟电视相比，数字化处理电视有以下优点：1.收视效果好，图像清晰度高音频质量高，满足人们感官的需求。2.抗干扰能力强。3.兼容现有模拟电视机。4.提供全新业务。

在数字化处理电视当中需要对大量的视频数据进行处理。视频处理也是目前多媒体应用领域的一个关键技术，主要包括视频信号的转换，视频数据的压缩、传输，以及视频信号的输入/输出等一系列重要课题。视频数据的采集是视频信号处理的第一步。视频处理的数据源通常为模拟电视信号，如NTSC或者PAL电视信号。对这些复合电视信号进行采样、亮色分离、同步产生等输出符合标准的数字化信号如CCIR601，CCIR656信号后，才能对这些信号进行数字化处理。在得到数字视频信号后，还需要将它们采集到视频处理系统的存储器中，视频处理系统才能对数据进行处理。

用于视频数据流的数据量大，实时性要求高，需要高速大容量的存储器作为图像数据的缓存。SDRAM相比于SRAM等存储器具有容量大、速度快等优点，因此成为图像处理中常用的数据存储器。但是，SDRAM控制较复杂，需要处理换行、刷新等操作，因此需要设计SDRAM控制器以完成和SDRAM的接口。视频接口模块完成同步处理后将有效数据交给SDRAM控制器存入SDRAM中。视频处理器也通过SDRAM控制器和SDRAM接口，对视频数据进行压缩等处理后送至传输接口或者视频D/A。可见，SDRAM控制器的设计部分是其中的关键部分，它的性能直接影响到整个系统的性能。

根据申请人所作的资料检索，没有查到与本课题有关的文献。

三、发明内容

本发明的目的在于，提供一种高速视频处理接口控制器其处理方法，本发明采取新的存储器接口策略，以达到改善视频处理中存储器的带宽和降低功耗的目的。采用SDRAM(同步DRAM)作为芯片外部的帧存储器，并针对DTV、HDTV实时视频处理芯片中的运动估计类算法设计应用，研究了一种帧存储器接口体系结构及称之为“被动呼唤”的设计策略，目的改善视频处理带宽，减少片上存储器面积，降低整体功耗。

为了实现上述目的，本发明采用的技术方案是，高速视频处理接口控制器由输入缓存模块、输出缓存模块，读请求模块，写请求模块，SDRAM命令产生模块，仲裁模块，地址产生模块及地址映射模块组成；输入缓存模块与写请求模块连通，输出缓存模块与读请求模块连通，并分别与仲裁模块相连，仲裁模块分别与相互连接的SDRAM命令产生模块、地址产生模块互连；SDRAM命令产生模块、地址产生模块分别和片外帧存储器连接；

片外帧存储器存贮了视频处理所需要的几帧图像，接口中的输入、输出缓存在芯片内的处理部分与芯片外的SDRAM帧存储器之间形成数据交换接口，芯片外SDRAM的读写操作的发生是通过写请求模块通过检测输入缓存的堆栈深度，产生写“呼叫”；写请求模块的“呼叫”发生在输入缓存存储的数据要大于L_burst；其中L_burst表示读出或读入SDRAM中的数据个数；同理，读请求模块[3]通过检测输出缓存[2]的堆栈深度，产生读“呼叫”；读请求模块的“呼叫”发生在输入缓存存储的数据要小于(L_buffer-L_burst)，其中L_buffer表示输入和输出缓存的长度；仲裁模块通过对读、写“呼叫”进行仲裁，产生相应的允许读写信号，激励SDRAM命令产生模块和地址产生模块产生相应的SDRAM命令和地址。

实现上述高速视频处理接口控制器的设计方法，按以下步骤进行：

(1)输入视频数据以固定的速率进入输入缓存，当输入缓存中的数据堆栈到一个阈值时，写请求模块的功能产生写请求信号；“呼叫”发生在输入缓存存储的数据要大于L_burst；其中L_burst表示读出或读入SDRAM中的数据个数；

(2)输出缓存以固定的速率输出数据，当输出缓存中的数据低于某一阈值时读请求模块的功能产生读请求信号；“呼叫”发生在输入缓存存储的数据要小于(L_buffer-L_burst)，其中L_buffer表示输入和输出缓存的长度；

(3)仲裁模块当接收到写请求模块和读请求模块的请求后，对其进行仲裁，确定目前是进行SDRAM的写操作还是读操作，并产生相应的地址触发信号，使得地址产生器产生相应的读写地址，这些读写地址是一种相对地址，通过地址映射映射成为SDRAM的实际的物理地址；

(4)当仲裁模块发出写命令后，命令产生器产生SDRAM写操作，数据从输入缓存中读出，写入SDRAM；

(5)当仲裁模块发出读命令后，命令产生器产生SDRAM读操作，数据从SDRAM中读出，写入输出缓存。

写请求模块通过检测输入缓存的堆栈深度，产生写“呼叫”；同理，读请求模块通过检测输出缓存的堆栈深度，产生读“呼叫”；仲裁模块通过对读、写“呼叫”进行仲裁，产生相应的允许读写信号，激励SDRAM命令产生模块和地址产生模块产生相应的SDRAM命令和地址；则：

①如果读呼叫请求有效并且写呼叫请求无效，那么仲裁器发出允许读激励信号，并把下一次总线状态交给“写”，设置标志信号下一状态为1，表示写；

②如果写呼叫请求有效并且读呼叫请求无效，那么仲裁器发出允许写激励信号，并把下一次总线状态交给“读”，设置标志信号下一状态为0。表示读；

③如果请求信号读呼叫请求和写呼叫请求同时有效，那么SDRAM仲裁器需要根据下一状态的状态来授权；下一状态＝1时，仲裁器发出允许写激励信号，并把下一状态置成0；下一状态＝0时，仲裁器发出允许读激励信号，并把下一状态置成1；

本发明在运动估计的算法实现中：(1)只与每一执行的时间循环同步，即同步于每一新帧的开始；(2)数据输入和输出的次序一定且不变；(3)在同一时间内需要得到2帧的视频数据；采用本发明能够使帧存储器存取功耗的降低。

四、附图说明

图1.1是帧存储器接口体系具体结构图；

图1.2是帧存储器接口体系结构示意图。

五、具体实施方式

以下结合附图对本发明作进一步的详细描述。

1)本发明的帧存储器接口体系结构如图1.1所示。图中虚线中部分为帧存储器接口，由输入缓存(Input Buffer)、输出缓存(Output Buffer)，读请求(ReadBeg)，写请求(Write Beg)，SDRAM命令产生(SDRAM Command Gnerator)，仲裁(Arbitrate)，地址产生(Address Generator)及地址映射(Address Map)几部分功能模块组成。输入缓存模块1与写请求模块3连通，输出缓存模块2与读请求模块4连通，并分别与仲裁模块6相连，仲裁模块6分别与相互连接的SDRAM命令产生模块5、地址产生模块7互连；SDRAM命令产生模块5、地址产生模块7分别和片外帧存储器连接。

片外帧存储器存贮了视频处理所需要的几帧图像，接口中的输入、输出缓存在芯片内的处理部分与芯片外的SDRAM帧存储器之间形成数据交换接口，芯片外SDRAM的读写操作的发生是通过一种称之为“被动呼唤”的设计策略完成的。

2)设在运动估计的算法实现中：(1)只与每一执行的时间循环同步，即同步于每一新帧的开始；(2)数据输入和输出的次序一定且不变；(3)在同一时间内需要得到2帧的视频数据。由于在DTV、HDTV实时视频后处理芯片中的运动估计算法，与用于视频压缩的运动估计算法不同，其输出帧频要大于输入帧频，且有：

                     f_output＝nf_input              (1.1)

其中f_input和f_output分别表示视频信号的输入输出频率，n≥2。则在每一写入新帧的时间循环中，帧存储器接口会完成对SDRAM的一帧写操作，2n帧读操作。定义σ为每一时间循环中的同步间隔的和，则有：

         σ＝T_input-T_{sdram_write}-2nT_{sdram_read}     (1.2)

式(1.2)中，T_input表示输入每一新帧所需要的时间周期，T_{sdram_write}和T_{sdram_read}分别表示向SDRAM写入一帧和从SDRAM读出一帧视频数据所需要的时间周期。理论上，σ越小表示增加的同步间隔越少，σ若为零，则可表示为理想同步。

由图1.1可知，芯片的输入和输出是以固定的速率进行的，因此，就要求帧存储器接口中的输入缓存的输入和输出缓存的输出要有固定的速率。因此，一方面为减少片上缓存的面积，尽可能使得σ趋近于零；另一方面，为使得处理与I/O流保持完全的同步，需要增加同步间隔，也即增加σ来保持同步。

因此，本发明提出一种称之为“被动呼唤”的帧存储器接口设计策略，其原理如下：如图1.1所示，写请求模块通过检测输入缓存的堆栈深度，产生写“呼叫”；同理，读请求模块通过检测输出缓存的堆栈深度，产生读“呼叫”；仲裁模块通过对读、写“呼叫”进行仲裁，产生相应的允许读写信号，激励SDRAM命令产生模块和地址产生模块产生相应的SDRAM命令和地址。图1.2给出了仲裁模块的最基本的状态机流程图。图中read request和write request分别表示读、写“呼叫”请求，则：

(1)如果read request有效并且write request无效，那么仲裁器发出允许读激励信号，并把下一次总线状态交给“写”，设置标志信号next_state为1(表示写)。

(2)如果write request有效并且read request无效，那么仲裁器发出允许写激励信号，并把下一次总线状态交给“读”，设置标志信号next_state为0(表示读)。

(3)如果请求信号read request和write request同时有效，那么SDRAM仲裁器需要根据next_state的状态来授权。next_state＝1时，仲裁器发出允许写激励信号，并把next_state置成0；next_state＝0时，仲裁器发出允许读激励信号，并把next_state置成1。

由此可知，仲裁模块会根据读、写“呼叫”请求，均匀分配SDRAM读写操作。这一方面使得输入与输出缓存的大小可以一样，利于减小同步间隔σ；另一方面，可使SDRAM的读写操作在较小的Burst长度下，使得处理与I/O流易于保持完全的同步，满足同一时间内需要得到多个帧的视频数据这个条件。下面我们将讨论这种帧存储器接口设计对片上存储器面积、视频带宽及功耗的影响。

3)设SDRAM的Burst存取模式下，Burst长度为L_Burst个时钟周期。根据图1.1的体系结构，帧存储器接口每完成一次SDRAM写操作，就会从输入缓存读出L_Burst个数据写入片外SDRAM；同理，帧存储器接口每完成一次SDRAM读操作，就会从片外SDRAM读入L_Burst个数据写入输出缓存。考虑到输入缓存的输入和输出缓存的输出是以固定的速率输入输出的，就使得写请求模块的“呼叫”发生在输入缓存存贮的数据要大于L_Burst；读请求模块的“呼叫”发生在输出缓存存贮的数据小于(L_buffer-L_Burst)，其中L_buffer表示输入和输出缓存的长度。由式(1.1)可知，输出的帧频大于等于2倍的输入帧频，引入式(1.1)中的n，则可确定L_buffer的大小为：

              L_buffer≥2(n+2)L_Burrst          (1.3)

式(1.3)说明，芯片内部的缓存大小与Burst长度L_Burst成正比。因此，要减少芯片内部的缓存大小，只需选取较小的Burst长度。

考虑芯片与SDRAM帧存储器之间的视频带宽与Burst长度的关系。设L_{write_head}和L_{read_read}表示在Burst模式下，使读写行列地址有效的时钟周期的数目，即额定开销的时钟周期。设T_{write_once}、T_{read_once}为进行一次SDRAM写操作或读操作所必须的时间，f_sdram为SDRAM工作时钟频率，则有：

        T_{write_once}＝(L_{write_head}+L_Burst)/f_sdram    (1.4)

        T_{read_once}＝(L_{read_head}+L_Burst)/f_sdram      (1.5)

对于图像大小为W×H的视频输入帧来说，帧存储器接口向SDRAM写入一帧和从SDRAM读出一帧视频数据所需要的时间为：

$T_{\mathrm{write}\_\mathrm{one}\_\mathrm{frame}}=\frac{W\×H}{L_{\mathrm{Burst}}}{T}_{\mathrm{write}\_\mathrm{once}}---(1.6)$

$T_{\mathrm{read}\_\mathrm{one}\_\mathrm{frame}}=\frac{W\×H}{L_{\mathrm{Burst}}}{T}_{\mathrm{read}\_\mathrm{once}}---\left(1.7\right)$

由上述公式，SDRAM读写一帧视频数据所需要的额定时间开销T_{write_overhead}和T_{read_overhead}分别为：

$T_{\mathrm{write}\_\mathrm{overhead}}=\frac{W\×H}{L_{\mathrm{Burst}}\·f_{\mathrm{sdram}}}{L}_{\mathrm{write}\_\mathrm{head}}---\left(1.8\right)$

$T_{\mathrm{read}\_\mathrm{overhead}}=\frac{W\×H}{L_{\mathrm{Burst}}\·f_{\mathrm{sdram}}}{L}_{\mathrm{read}\_\mathrm{head}}---\left(1.9\right)$

在确定了SDRAM的操作方式后，L_{write_head}、L_{read_head}和f_sdram就可确定，式(1.8)和(1.9)说明SDRAM读写的额定时间开销与L_Burst成反比。由于读写相同L_Burst的视频数据所需要的额定时间开销越大，视频带宽越小，也即视频带宽与L_Burst成正比；因此，要增大视频带宽，就需加大L_Burst。

因此，在确定了片上存储器面积后，对视频带宽进行改善。具体策略如下：

策略1：在选取较小的Burst长度情况下，在图1.1中的处理模块中加入排位处理，使输入输出缓存的数据宽度增加一倍，也即与式(1.3)相比，使L_buffer在容量上增加一倍为：

              L_buffer≥4(n+2)L_Burst        (1.10)

这也使得帧存储器接口向SDRAM写入一帧和从SDRAM读出一帧视频数据所需要的时间T′_{write_one_frame}和T′_{read_one_frame}与式(1.6)和(1.7)中的T_{write_one_frame}和T_{read_one_frame}相比，有：

          T′_{write_one_frame}＝T_{write_one_frame}/2    (1.11)

          T′_{read_one_frame}＝T_{read_one_frame}/2      (1.12)

策略2：在图1.1中的地址映射模块，对SDRAM的地址进行变换，使得运动估计的当前帧与前一帧的数据存贮在SDRAM中的不同BANK中，利用SDRAM的特征-多Bank体系结构，则可在同一时间内，在不同的视频帧中读出相同Burst长度的视频数据，使得进行一次SDRAM读操作所必须的时间T_{read_once}为：

       T_{read_once}＝(L_{read_head}+2L_Burst)/f_sdram    (1.13)

从SDRAM读出两帧视频数据所需要的时间为：

$T_{\mathrm{sdram}\_\mathrm{read}\_\mathrm{two}}=\frac{W\×H}{L_{\mathrm{Burst}}\·f_{\mathrm{sdram}}}(L_{\mathrm{read}\_\mathrm{head}}+2L_{\mathrm{Burst}})---\left(1.14\right)$

在读出两帧视频数据的相同情况下，改进后的方法比用式(1.7)的原方法所减少了的时间T_{cut_down}为：

$T_{\mathrm{cut}\_\mathrm{down}}=\frac{W\×H}{L_{\mathrm{Rurst}}\·f_{\mathrm{sdram}}}(\frac{3}{2}{L}_{\mathrm{read}\_\mathrm{head}}+L_{\mathrm{Burst}})---\left(1.15\right)$

式(1.15)说明，通过上述的策略，很好地解决了减少片上存储器面积与改善视频带宽这一对矛盾。在确定了L_buffer的容量为4(n+2)L_Burst后，芯片与外部SDRAM帧存储器之间的视频带宽，得到明显改善。

(4)片上存储器面积的减少，肯定会带来芯片功耗的降低。现在，我们来分析这种帧存储器接口设计带来的存储器存取功耗降低。如式(1.16)所示，与存储器存取相关的功耗可以分为两个部分：内核功耗，I/O功耗；

$P_{\mathrm{total}}=P_{\mathrm{core}}+P_{I/O}=I_{\mathrm{core}}{V}_{\mathrm{dd}}+\mathrm{\αC}{V}_{\mathrm{dd}}^{2}f---\left(1.16\right)$

其中，I_core，α，C和f分别表示SDRAM平均电流，I/O总线的平均开关率，I/O电容及工作频率。当使用的SDRAM类型确定后，α，C和f即可确定。存储器存取相关的功耗的减少主要与I_core有关。若假设行有效、Burst存取和刷新操作的平均电流分别为150，180和210mA，则可得到简化的有关I_core的公式：

$I_{\mathrm{core}}=\frac{1}{T}(8.40\×{10}^{-9}\×\mathrm{CN}+1.35\×{10}^{-9}\×\mathrm{DN}+13.7\×{10}^{-9}\×\mathrm{RN})---\left(1.17\right)$

CN、DN和RN分别表示在时间T内，行有效的次数、列数据存取次数和刷新次数。由于刷新次数与前两项相比微不足道，而一次行有效导致的电流是一次列数据存取的6倍，因此，存储器存取相关的功耗的减少主要与行有效的次数CN有关。

由式(1.15)，我们可得到在从SDRAM读出两帧的视频数据的时间内，本文所述的帧存储器接口设计有效降低行有效的次数约为：

$C{N}_{\mathrm{cut}\_\mathrm{down}}\≈\frac{W\×H}{L_{\mathrm{Burst}}}(\frac{3}{2}{L}_{\mathrm{read}\_\mathrm{head}}+L_{\mathrm{Burst}})---\left(1.18\right)$

式(1.18)定量说明了本文所述的帧存储器接口设计所带来的存储器存取功耗的降低。

Claims (3)

1.一种高速视频处理接口控制器，其特征在于，高速视频处理接口控制器由输入缓存模块[1]、输出缓存模块[2]，写请求模块[3]，读请求模块[4]，SDRAM命令产生模块[5]，仲裁模块[6]，地址产生模块[7]及地址映射模块[8]组成；输入缓存模块[1]与写请求模块[3]连通，输出缓存模块[2]与读请求模块[4]连通，读、写请求模块与仲裁模块[6]相连，仲裁模块[6]分别与相互连接的SDRAM命令产生模块[5]、地址产生模块[7]互连；SDRAM命令产生模块[5]、地址产生模块[7]分别和片外帧存储器连接；

片外帧存储器存贮了视频处理所需要的几帧图像，接口中的输入、输出缓存在芯片内的处理部分与芯片外的SDRAM帧存储器之间形成数据交换接口，芯片外SDRAM的读写操作的发生是通过写请求模块[3]通过检测输入缓存的堆栈深度，产生写“呼叫”；写请求模块[4]的“呼叫”发生在输入缓存存储的数据要大于L_burst；其中L_burst表示读出或读入SDRAM中的数据个数；同理，读请求模块[3]通过检测输出缓存[2]的堆栈深度，产生读“呼叫”；读请求模块[3]的“呼叫”发生在输入缓存存储的数据要小于(L_buffer-L_burst)，其中L_buffer表示输入和输出缓存的长度；仲裁模块[6]通过对读、写“呼叫”进行仲裁，产生相应的允许读写信号，激励SDRAM命令产生模块和地址产生模块产生相应的SDRAM命令和地址。

2.实现权利要求1所述的高速视频处理接口控制器的处理方法，其特征在于，按以下步骤进行：

(1)输入视频数据以固定的速率进入输入缓存，当输入缓存中的数据堆栈到一个阈值时，写请求模块的功能产生写请求信号；“呼叫”发生在输入缓存存储的数据要大于L_burst；其中L_burst表示读出或读入SDRAM中的数据个数；

(2)输出缓存以固定的速率输出数据，当输出缓存中的数据低于某一阈值时读请求模块的功能产生读请求信号；“呼叫”发生在输入缓存存储的数据要小于(L_buffer-L_burst)，其中L_buffer表示输入和输出缓存的长度；

(3)仲裁模块当接收到写请求模块和读请求模块的请求后，对其进行仲裁，确定目前是进行SDRAM的写操作还是读操作，并产生相应的地址触发信号，使得地址产生器产生相应的读写地址，这些读写地址是一种相对地址，通过地址映射映射成为SDRAM的实际的物理地址；

(4)当仲裁模块发出写命令后，命令产生器产生SDRAM写操作，数据从输入缓存中读出，写入SDRAM；

(5)当仲裁模块发出读命令后，命令产生器产生SDRAM读操作，数据从SDRAM中读出，写入输出缓存。

3.如权利要求2所述的高速视频处理接口控制器的处理方法，其特征在于，写请求模块通过检测输入缓存的堆栈深度，产生写“呼叫”；同理，读请求模块通过检测输出缓存的堆栈深度，产生读“呼叫”；仲裁模块通过对读、写“呼叫”进行仲裁，产生相应的允许读写信号，激励SDRAM命令产生模块和地址产生模块产生相应的SDRAM命令和地址；则：

(1)、如果读呼叫请求有效并且写呼叫请求无效，那么仲裁器发出允许读激励信号，并把下一次总线状态交给“写”，设置标志信号下一状态为1，表示写；

(2)、如果写呼叫请求有效并且读呼叫请求无效，那么仲裁器发出允许写激励信号，并把下一次总线状态交给“读”，设置标志信号下一状态为0。表示读；

(3)、如果请求信号读呼叫请求和写呼叫请求同时有效，那么SDRAM仲裁器需要根据下一状态的状态来授权；下一状态＝1时，仲裁器发出允许写激励信号，并把下一状态置成0；下一状态＝0时，仲裁器发出允许读激励信号，并把下一状态置成1。