CN115801973B - 一种基于fpga的瀑流式视频数据实时电子稳像系统及方法 - Google Patents

Abstract

本发明涉及一种基于FPGA的瀑流式视频数据实时电子稳像系统及方法，包括电子稳像计算模块、电子稳像补偿模块和参数存储模块以及5个外围辅助模块组成。其中电子稳像计算模块对瀑流式数据进行帧间图像配准计算，电子稳像补偿模块根据电子稳像计算模块的计算结果对图像进行移动、缩放以及裁剪从而实现电子稳像补偿操作。本发明中的电子稳像方法，针对嵌入式图像处理系统传输过程中的瀑流式数据进行设计，能够实现在消隐期内完成稳像参数计算，且不需要缓存整帧图像信息，具有不影响前后端其它处理环节、实时性高、存储资源开销小的特点，在嵌入式视频处理领域有着较为广阔的应用前景。

Description

一种基于FPGA的瀑流式视频数据实时电子稳像系统及方法

技术领域

本发明涉及一种基于FPGA的瀑流式视频数据实时电子稳像系统及方法，属于输入嵌入式视频处理技术领域。

背景技术

目前在智能驾驶、无人机行业、个人视频拍摄领域以及工程领域，对相机拍摄视频都变得越来越频繁。由于工作环境及操作影响，相机搭载平台往往不能处于稳定状态，因而会造成视频序列存在抖动问题。对于此类视频，为了追求观察者的视觉观感或便于后续进行其它图像处理往往需要对存在抖动的视频图像序列进行稳像处理。以往在嵌入式视频处理领域多使用基于ARM内核的CPU处理器进行稳像处理操作，受制于算力影响，导致了实时性差、计算范围小、稳像精度不高等问题。

随着嵌入式图像系统应用越来越广，人对于后端图像显示系统图像观感的稳定性要求逐渐提高，后端图像处理系统对于输入视频数据质量也越来越高。电子稳像是提高视频数据观感、位置稳定性的一种重要技术，实时性更好、精度跟高的电子稳像系统有助于人的观测以及后续图像处理系统。

已有使用CPU或串行处理器的电子稳像方法受限于硬件特性，算力受到制约，无法适应嵌入式端日渐提高的高分辨率图像输入、算法实时性要求往往也要向稳像性能做妥协。而使用FPGA开发的电子稳像系统或方法往往存在定制化程度高，稳像系统及方法泛用性、柔性较差；算法实现的硬件资源消耗高，计算缓存资源依赖于外部扩展；操控性差，与同一图像处理系统其他算法存在计算、控制资源竞争等问题。基于以上问题，嵌入式端的电子稳像问题急需一种兼具操控性、泛用性、实时性以及稳像效果的电子稳像系统这也正是本发明解决的问题。

发明内容

本发明技术解决问题：克服现有电子稳像稳像效果不够精确、计算效率差、兼容性低、控制不灵活的技术的不足，提出一种基于FPGA的瀑流式视频数据实时电子稳像系统及方法，具有矫正精度高，实时性能强，兼容性强、符合人眼视觉观察系统的特点。

本发明技术解决方案如下：

本发明的一种基于FPGA的瀑流式视频数据实时电子稳像系统，包括：电子稳像计算模块、参数存储模块、中央处理器、通信控制模块及电子稳像补偿模块；

所述电子稳像计算模块，采用FPGA实现，嵌有灰度投影法及序贯相关性检测法计算图像特征参数及帧间位移参数；灰度投影法用于计算表征当前帧图像结构信息的图像特征参数；序贯相关性检测法对灰度投影法计算所得的当前帧图像特征参数与图像存储模块中存储的上一帧的图像特征参数进行匹配计算并根据序贯相关性检测法计算过程中的中间计算参数及匹配结果，所述匹配结果为配准置信度筛选得到帧间位移参数，帧间位移参数度量帧间图像抖动的方向及大小；所述中间计算参数为稳像计算所需的需要驻留的参数，包括配准区域数量、配准区域位置、配准阈值大小、累计配准误差；电子稳像计算模块计算所得的当前帧图像特征参数、中间计算参数以及帧间位移参数均储存于参数存储模块，实现在后续新一轮计算中不被更新，能够重复使用；此外，该电子稳像计算模块接受中央处理器控制，基于参数存储模块中存储的图像特征参数、序贯相关性检测法计算中的中间计算参数以及帧间位移参数实时对灰度投影法的匹配计算的范围、序贯相关性检测法配准置信度筛选的过程中影响计算速度和性能的配准区域数量、配准区域位置、配准阈值大小进行闭环动态调整；

所述参数存储模块，用于存储图像特征参数、帧间位移参数、最终补偿参数以及灰度投影法及序贯相关性检测法计算过程中的中间计算参数；最终补偿参数用于对图像输出进行稳像补偿；存储均采用FPGA中内部分布式bram实现，相较外部存储设备而言提高读写效率；

所述通信控制模块由FPGA的内部高速AXI总线以及外部UART422通讯线路组成；内部高速AXI总线实现中央处理器对电子稳像计算模块的DMA控制以及与参数存储模块进行数据传输；外部422通讯线路用于接收上位机包含：电子稳像功能开关、电子稳像功能偏重视频稳定度还是观感舒适、电子稳像算法的工作档位、配准范围的调整这些控制命令以及光学镜头信息、搭载平台运动信息这些非图像信息的多模态信息并传递给中央处理器；

所述中央处理器为异构FPGA内部自带的硬核串行计算单元，或FPGA搭建的串行计算MCU单元；根据通信控制模块获取的电子稳像控制命令及非图像信息的多模态信息控制电子稳像计算模块的灰度投影法计算范围序贯相关性检测法的配准阈值以及电子稳像补偿模块的间位移运动平滑计算的期望最大偏差；此外，中央处理器以参数存储模块中的图像特征参数、配准置信度以及序贯相关性检测法计算过程中的中间计算参数为依据实时控制电子稳像计算模块的灰度投影法与序贯相关性检测法形成闭环反馈控制；根据参数存储模块中的帧间位移参数判断图像运动趋势，并以此为依据开环控制电子稳像补偿模块进行帧间位移运动平滑计算以及图像抖动补偿工作；

所述电子稳像补偿模块采用FPGA实现，其中嵌入帧间位移运动平滑计算算法，对电子稳像计算模块计算所得的帧间位移参数进行平滑计算，得到最终补偿参数；根据最终补偿参数对当前帧图像进行图像处理实现图像抖动补偿工作，从而使得当前帧图像在像素尺度上相对上一帧图像基本维持稳定不变或运动趋势一致，最终维持输出图像稳定。

进一步，所述灰度投影法及序贯相关性检测法具体实现如下：

(1)对于一帧输入图像的每行数据，分别使用一个20bit的分布式Bram求每行像素值的和，取每行像素值和的高12bit作为该行的行特征值存入一块固定Bram；对于每列数据分别使用一个20bit的固定Bram求每列像素值的和，取计算结果的高12bit作为该列的列特征值存入一块固定Bram，由此获得当前帧图像的行列灰度投影特征即当前帧的图像特征参数；

(2)应用序贯相关性检测法对步骤(1)中计算所得行列灰度投影特征即当前帧的图像特征参数与参数存储模块中存储的上一帧的图像特征参数进行匹配计算求取帧间位移参数，计算时分别以4个像素为一组每轮运算仅使用其中一个像素计算绝对误差，根据实际使用场景选取设定的阈值，在第一轮计算中取每组第一个元素进行累计绝对误差计算，若第一轮抽样计算累计绝对误差未到达所述阈值，则进行第二轮计算，若在完成第四轮计算后仍未达到设定的阈值，则通过判断最小累计绝对误差选取匹配结果，即帧间位移参数；通过如上方式实现在FPGA并行加速计算的基础上进一步加速计算速度，实现计算与视频传输速度相近，更好的保证实时性，实现计算时延压缩在十分之一图像缓存时间以内。

进一步，所述电子稳像补偿模块中嵌入帧间位移运动平滑计算算法为：

基于时间尺度对帧间位移参数进行平滑操作，平滑操作的平滑函数如下：

其中M_p表示自适应位移池中的值，M_f表示当前帧帧间图像偏差，Max_move表示期望中的图像帧间最大偏差，对图像进行抖动补偿时，M_p为电子稳像的位移实际补偿值；该平滑函数为本发明针对电子稳像补偿问题专门设计的平滑函数，相较于以往的阈值判断算法开关的方法使算法的介入更连贯，能够有效降低实现场景快速变换时的观感不适。

本发明的一种基于FPGA的瀑流式视频数据实时电子稳像方法，实现步骤如下：

步骤1：对输入视频图像进行视频解码，完成串行数据到并行数据的转化，得到并行瀑流式数据；

步骤2：并行瀑流式数据向后级传递，并依次完成灰度投影法得到当前帧的图像特征参数，序贯相关性检测法对来自灰度投影法计算的当前帧的图像特征参数与存储的上一帧的图像特征参数进行帧间图像匹配得到帧间位移参数，并将当前帧图像的特征参数、帧间位移参数以及配准区域数量、配准区域位置、配准阈值大小、累计配准误差这些序贯相关性检测法的中间计算参数进行储存留待灰度投影法及序贯相关性检测闭环反馈、进行帧间位移运动平滑计算以及下一帧图像计算帧间位移参数时使用；计算完成的并行瀑流式数据向后传递进行图像处理并进行缓存；

步骤3：使用存储的上一帧图像的特征参数、帧间位移参数、计算中间参数对电子稳像计算进行反馈调节，使用上一帧图像的特征参数确定包含更多纹理特征的特征区域并动态调整灰度投影法计算时的范围即计算时取值的整体范围及取值间隔像素数，使用存储的过去帧的帧间位移参数以及序贯相关性检测法计算过程中的中间计算参数调整下一帧图像进行序贯相关性检测法时，匹配搜索的起始位置、配准计算范围及判断是否配准的配准阈值；

步骤4：缓存的视频数据以并行瀑流式数据的形式输出，在完成图像处理环节的计算后，依据步骤2存储的当前帧帧间位移参数采用平滑函数完成帧间位移运动平滑计算得到电子稳像最终补偿参数，根据最终补偿参数对当前帧图像进行图像处理实现图像抖动补偿工作，最终完成电子稳像补偿。

本发明与现有技术相比的优点在于：

(1)本发明使用序贯相关性检测法与灰度投影的结合可将抖动视频在前端相机向后端中央处理器的内存传输过程中对稳像补偿值进行计算，节省了传统串行处理器电子稳像所需的缓存时间，极大的提高了计算速度，能够实现在一帧图像传输过程中的消隐期结束前即完成电子稳像所需参数的计算，从而实现像素级的实时电子稳像。

(2)本发明基于视频序列传输过程中的瀑流式数据进行设计，不要缓存完整帧图像再进行计算，因而存储资源开销小，资源开销最大情况下，存储空间仅需要整幅图像30行数据等量的存储空间。

(3)本发明自主设计的平滑函数，平滑后对于微小抖动相应更灵敏(相比传统做法卡尔曼滤波)。对于大范围抖动或大范围视场变换观感更平滑，利于人眼观测。

(4)动态反馈调节机制，进一步提高了灰度投影计算高分辨率图像的计算速度以及提高了匹配计算的计算效率。解决了序贯相关性检测算法配准阈值人工调参适应性差的问题，调高了该方法的适应性以及泛用性。

(5)电子稳像系统结构创新，计算环节封装为两个串联入图像处理系统的独立模块不影响后端其他图像处理环节，避免复杂图像处理系统的功能间耦合影响效果的问题，电子稳像计算和电子稳像补偿两个步骤拆分、并分别位于图像处理系统的输入位置和输出位置，因而可以串联进入绝大多数FPGA计算资源完备的嵌入式图像处理系统，具有较高的泛用性。由于功能基于FGPA中的各运算单元以模块化的方式串联从而实现电子稳像功能，因而对于进一步开发并集成进专有计算芯片或是封装独立芯片使用也具备一定的应用前景。

(6)并发计算串行控制的图像处理系统相较于单纯的FPGA方案或单纯的中央串行处理器方案兼具了前者运算处理速度快及后者控制灵活的特点，使得电子稳像计算速度快效率高的同时控制也较为灵活。

附图说明

图1为电子稳像系统架构图；

图2为添加抖动的电子稳像仿真结果图，其中A为振动曲线；B为稳像补充曲线；C为差值曲线。

具体实施方式

下面结合附图以1080p图像为例对本发明的具体实施方式做进一步说明。

本发明可用于验证包括基于FPGA的电子稳像处理在内的多种视频处理。该系统前端一般为一路由于搭载平台不稳定引起的存在一定抖动的视频。由于视频序列两帧图像间的频繁抖动，导致人对于图像新的观察困难或者后续图像处理环节的处理困难难。本发明能够在很大程度上补偿上述帧间抖动，起到稳定视频序列的作用，为人的观察和后续图像处理提供良好基础，具有很高的工程应用价值。

如图1所示，本发明系统包括一路图像输入，视频解码模块、内嵌灰度投影法和序贯相关性检测法的电子稳像计算模块、视频存储模块、参数存储模块、中央处理器、通信控制模块、内嵌运动平滑计算和电子稳像补偿操作的电子稳像补偿模块、其他图像处理环节、视频编码模块以及一路图像输出。前端图像输入的有效分辨率为1920x1080，帧频为30Hz，视频传输格式采用SDI协议。视频解码模块选用的核心芯片是GS2971，其作用是把SDI的串行视频数据转化成20bit单端并行数据，格式为YUV422格式，其中Y通道占10bit，UV通道共占10bit，这样的20bit数据以每个像素时钟为单位输送到FPGA，方便FPGA对视频数据继续进行图像处理。

并行数据传输至电子稳像计算模块后对Y及UV进行分离，算法仅对Y通道10bit数据进行计算，UV通道通过乒乓打拍的方式进行缓存。

对于图像的Y通道数据，使用灰度投影法提取的特征作为帧间图像匹配的依据，计算公式如下：

其中x为取值介于0到1919的整数，y为取值介于0到1079的整数。X_I(x)表示灰度投影法计算所得表征垂直方向的一维向量，Y_I(y)表示灰度投影法计算所得表征垂直方向的一维向量。I(x,y)表示坐标(x,y)处图像的Y通道的值。对图像每行数据，分别使用一个20bit的分布式Bram求每行像素值的和，取每行像素值和的高12bit作为该行的行特征值存入一块固定Bram；对于每列数据分别使用一个20bit的固定Bram求每列像素值的和，取计算结果的高12bit作为该列的列特征值存入一块固定Bram，由此获得当前帧图像的行列灰度投影特征即当前帧的图像特征参数；

当图像为第一帧图像时不进行序贯相关性检测；当图像不为第一帧时，应用序贯相关性检测法对上一步中计算所得行列灰度投影特征即当前帧的图像特征参数与参数存储模块中存储的上一帧的图像特征参数进行匹配计算求取帧间位移参数，计算时分别以4个像素为一组每轮运算仅使用其中一个像素计算绝对误差，计算公式如下：

其中ε(i,j,x,y)为绝对误差，分别表示(i,j)坐标处当前帧的灰度投影特征以及上一帧的灰度的平均灰度值,(x,y)表示上一帧图像的坐标。设定绝对误差的阈值Th，在模板图中随机选取不重复的像素点，计算与当前子图的绝对误差并将该误差累加，当误差累加值超过了Th时，记下累加次数H，所有子图的累加次数H用表R(i,j)来表示，当遍历完所有子图像后选取最大的R值所对应的(i,j)子图作为匹配结果，X、Y分别表示图像的行列最大像素数，则计算公式如下示：

结合FPGA高并发运算特点，对该算法进行FPGA硬件适配修改。对灰度投影分别以4个元素为一组每轮运算仅使用其中一个元素计算绝对误差。根据实际使用场景选取合适的阈值Th，在第一轮计算中取每组第一个元素进行计算，若第一轮抽样计算绝对误差ε(i,j,x,y)未到达阈值，则进行第二轮计算，若在完成第四轮计算后仍未达到设定的最大阈值Th，则通过判断最小累计绝对误差选取匹配结果，即帧间位移参数；上述阈值Th根据前端输入不同需要手动进行调整，照度良好、噪声干扰较小的情况下可以取图像的行像素数作为初值。通过如上方式实现在FPGA并行加速计算的基础上进一步加速计算速度，实现计算与视频传输速度相近，更好的保证实时性，实现计算时延压缩在十分之一图像缓存时间以内。

电子稳像计算模块中计算所得的图像特征参数、帧间位移参数、灰度投影法及序贯相关性检测法计算过程中的包括配准区域数量、配准区域位置、配准阈值大小、累计配准误差这些中间计算参数均存储与参数存储模块，留待下一帧图像计算及中央处理器反馈调节计算使用。储存均采用FPGA中内部固定大小的分布式bram实现，相较外部存储设备而言提高了读写效率；

视频存储模块使用DDR3这种较为普及的高速存储芯片，其特性在于读写速度快、但掉电数据会丢失，因此用来做不需要数据贮存的视频序列缓冲工作非常合适。通过对输入视频进行缓存，得以实现输入输出图像时序的对齐，此外需要进行高速串行处理的图像算法也可以使用内存中缓存的数据进行计算。

中央处理器为异构FPGA内部自带的硬核串行计算单元，或FPGA搭建的串行计算MCU单元；根据通信控制模块获取的电子稳像控制命令及非图像信息的多模态信息，中央处理器控制电子稳像计算模块的灰度投影法计算范围、序贯相关性检测法的配准阈值以及电子稳像补偿模块的帧间位移运动平滑计算的期望最大偏差。具体控制逻辑为，当上一帧灰度投影计算求得的灰度投影特症梯度较为平滑时，在计算当前灰度投影特征时隔像素进行计算。当序贯相关性检测法在上一帧图像匹配计算过程里，以4个像素为一组的计算中，计算超过第2组仍未满足阈值Th时，在本次计算中缩小阈值Th，当没计算完第一组即达到阈值Th时，门磁计算中增大Th。

依照上述罗技中央处理器以参数存储模块中的图像特征参数、配准置信度以及序贯相关性检测法计算过程中的中间计算参数为依据实时控制电子稳像计算模块的灰度投影法与序贯相关性检测法形成闭环反馈控制；依据参数存储模块中的帧间位移参数判断图像运动状态，并依次为依据开环控制电子稳像补偿模块进行帧间位移运动平滑计算及图像抖动补偿工作；

视频存储模块缓存的图像数据输出后首先完成其他图像处理环节，随后将并行数据输入进电子稳像补偿模块。在电子稳像补偿模块中，首先使用如下公式对序贯相关性检测算法解算所得帧间图像帧间位移参数进行平滑。其中M_p表示自适应位移池中的值，M_f表示当前帧帧间图像帧间位移，Max_move表示期望中的图像帧间最大偏差。对图像进行抖动补偿时，使用T_h对图像抖动进行补偿。

该平滑函数为本发明针对电子稳像补偿问题专门设计的平滑函数，该函数特点为当计算所得帧间偏差较小时，实际响应灵敏，进而实现对于微小抖动的及时响应；当计算所得帧间偏差较大时平缓的逐步将位移池中的数据输出，进而实现在补偿图像抖动的同时平滑的切换视角从而更满足人的视觉观感。由于该函数不复杂，为保证精度使用FPGA内的乘法器资源即可。相较于以往的阈值判断算法开关的方法使算法的介入更连贯，能够有效降低实现场景快速变换时的观感不适。

最终使用T_h参数对完成其他图像处理环节的图像数据进行图像缩放、平移、边界填充等操作，完成电子稳像工作获得稳定的图像并将该并行数据输出给视频编码模块进行编码。

视频编码部分选用GS2972，其功能是把视频数据按照SDI协议进行编码，输出接口通过同轴线缆将视频传输到SDI监视器上显示最终稳像结果，以供人观看。

基于以上操作步骤的仿真结果如图2所示，其中图2中的A为水平X及竖直Y方向的原始图像震动曲线，纵坐标为抖动像素值，横坐标为帧计数。图2中的B为经过电子稳像系统计算后的实际补偿值即每帧图像补偿所需的M_p值。图2中的C为补偿后的差值曲线，用以衡量补偿效果。从该图可以看出本发明稳像效果对于高频小振幅抖动响应灵敏，能够适用于绝大多数应用场景。对于低频的大振幅抖动，能够在判断其为冲击抖动后在一帧内及时做出抑制策略，从而实现兼顾大振幅抖动的电子稳像性能与搭载平台运动时电子稳像算法不起反效果。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (4)

1.一种基于FPGA的瀑流式视频数据实时电子稳像系统，其特征在于，包括：电子稳像计算模块、参数存储模块、中央处理器、通信控制模块及电子稳像补偿模块；

所述电子稳像计算模块，采用FPGA实现，嵌有灰度投影法及序贯相关性检测法计算图像特征参数及帧间位移参数；灰度投影法用于计算表征当前帧图像结构信息的图像特征参数；序贯相关性检测法对灰度投影法计算所得的当前帧图像特征参数与图像存储模块中存储的上一帧的图像特征参数进行匹配计算并根据序贯相关性检测法计算过程中的中间计算参数及匹配结果，所述匹配结果为配准置信度筛选得到帧间位移参数，帧间位移参数度量帧间图像抖动的方向及大小；所述中间计算参数为稳像计算所需的需要驻留的参数，包括配准区域数量、配准区域位置、配准阈值大小、累计配准误差；电子稳像计算模块计算所得的当前帧图像特征参数、中间计算参数以及帧间位移参数均储存于参数存储模块，实现在后续新一轮计算中不被更新，能够重复使用；此外，该电子稳像计算模块接受中央处理器控制，基于参数存储模块中存储的图像特征参数、序贯相关性检测法计算中的中间计算参数以及帧间位移参数实时对灰度投影法的匹配计算的范围、序贯相关性检测法配准置信度筛选的过程中影响计算速度和性能的配准区域数量、配准区域位置、配准阈值大小进行闭环动态调整；

所述参数存储模块，用于存储图像特征参数、帧间位移参数、最终补偿参数以及灰度投影法及序贯相关性检测法计算过程中的中间计算参数；最终补偿参数用于对图像输出进行稳像补偿；存储均采用FPGA中内部分布式Bram实现，相较外部存储设备而言提高读写效率；

所述通信控制模块由FPGA的内部高速AXI总线以及外部UART422通讯线路组成；内部高速AXI总线实现中央处理器对电子稳像计算模块的DMA控制以及与参数存储模块进行数据传输；外部UART422通讯线路用于接收上位机包含：电子稳像功能开关、电子稳像功能偏重视频稳定度还是观感舒适、电子稳像算法的工作档位、配准范围的调整这些控制命令以及光学镜头信息、搭载平台运动信息这些非图像信息的多模态信息并传递给中央处理器；

所述中央处理器为异构FPGA内部自带的硬核串行计算单元，或FPGA搭建的串行计算MCU单元；根据通信控制模块获取的电子稳像控制命令及非图像信息的多模态信息控制电子稳像计算模块的灰度投影法计算范围序贯相关性检测法的配准阈值以及电子稳像补偿模块的帧间位移运动平滑计算的期望最大偏差；此外，中央处理器以参数存储模块中的图像特征参数、配准置信度以及序贯相关性检测法计算过程中的中间计算参数为依据实时控制电子稳像计算模块的灰度投影法与序贯相关性检测法形成闭环反馈控制；根据参数存储模块中的帧间位移参数判断图像运动趋势，并以此为依据开环控制电子稳像补偿模块进行帧间位移运动平滑计算以及图像抖动补偿工作；

所述电子稳像补偿模块采用FPGA实现，其中嵌入帧间位移运动平滑计算算法，对电子稳像计算模块计算所得的帧间位移参数进行平滑计算，得到最终补偿参数；根据最终补偿参数对当前帧图像进行图像处理实现图像抖动补偿工作，从而使得当前帧图像在像素尺度上相对上一帧图像基本维持稳定不变或运动趋势一致，最终维持输出图像稳定。

2.根据权利要求1所述的基于FPGA的瀑流式视频数据实时电子稳像系统，其特征在于：所述灰度投影法及序贯相关性检测法具体实现如下：

(1)对于一帧输入图像的每行数据，分别使用一个20bit的分布式Bram求每行像素值的和，取每行像素值和的高12bit作为该行的行特征值存入一块固定Bram；对于每列数据分别使用一个20bit的固定Bram求每列像素值的和，取计算结果的高12bit作为该列的列特征值存入一块固定Bram，由此获得当前帧图像的行列灰度投影特征即当前帧的图像特征参数；

(2)应用序贯相关性检测法对步骤(1)中计算所得行列灰度投影特征即当前帧的图像特征参数与参数存储模块中存储的上一帧的图像特征参数进行匹配计算求取帧间位移参数，计算时分别以4个像素为一组每轮运算仅使用其中一个像素计算绝对误差，根据实际使用场景选取设定的阈值，在第一轮计算中取每组第一个元素进行累计绝对误差计算，若第一轮抽样计算累计绝对误差未到达所述阈值，则进行第二轮计算，若在完成第四轮计算后仍未达到设定的阈值，则通过判断最小累计绝对误差选取匹配结果，即帧间位移参数；通过如上方式实现在FPGA并行加速计算的基础上进一步加速计算速度，实现计算与视频传输速度相近，更好的保证实时性，实现计算时延压缩在十分之一图像缓存时间以内。

3.根据权利要求1所述的基于FPGA的瀑流式视频数据实时电子稳像系统，其特征在于：所述电子稳像补偿模块中嵌入帧间位移运动平滑计算算法为：

基于时间尺度对帧间位移参数进行平滑操作，平滑操作的平滑函数如下：

其中M_p表示自适应位移池中的值，M_f表示当前帧帧间图像偏差，Max_move表示期望中的图像帧间最大偏差，对图像进行抖动补偿时，M_p为电子稳像的位移实际补偿值；该平滑函数为针对电子稳像补偿问题专门设计的平滑函数，相较于以往的阈值判断算法开关的方法使算法的介入更连贯，能够有效降低实现场景快速变换时的观感不适。

4.一种基于FPGA的瀑流式视频数据实时电子稳像方法，其特征在于实现步骤如下：

步骤1：对输入视频图像进行视频解码，完成串行数据到并行数据的转化，得到并行瀑流式数据；

步骤2：并行瀑流式数据向后级传递，并依次完成灰度投影法得到当前帧的图像特征参数，序贯相关性检测法对来自灰度投影法计算的当前帧的图像特征参数与存储的上一帧的图像特征参数进行帧间图像匹配得到帧间位移参数，并将当前帧图像的特征参数、帧间位移参数以及配准区域数量、配准区域位置、配准阈值大小、累计配准误差这些序贯相关性检测法的中间计算参数进行储存留待灰度投影法及序贯相关性检测闭环反馈、进行帧间位移运动平滑计算以及下一帧图像计算帧间位移参数时使用；计算完成的并行瀑流式数据向后传递进行图像处理并进行缓存；

步骤3：使用存储的上一帧图像的特征参数、帧间位移参数、计算中间参数对电子稳像计算进行反馈调节，使用上一帧图像的特征参数确定包含更多纹理特征的特征区域并动态调整灰度投影法计算时的范围即计算时取值的整体范围及取值间隔像素数，使用存储的过去帧的帧间位移参数以及序贯相关性检测法计算过程中的中间计算参数调整下一帧图像进行序贯相关性检测法时，匹配搜索的起始位置、配准计算范围及判断是否配准的配准阈值；

步骤4：缓存的视频数据以并行瀑流式数据的形式输出，在完成图像处理环节的计算后，依据步骤2存储的当前帧帧间位移参数采用平滑函数完成帧间位移运动平滑计算得到电子稳像最终补偿参数，根据最终补偿参数对当前帧图像进行图像处理实现图像抖动补偿工作，最终完成电子稳像补偿。