CN110995960A - 一种基于fpga的机载吊舱实时图像场景锁定装置及方法 - Google Patents

Abstract

一种基于FPGA的机载吊舱实时图像场景锁定装置及方法，针对机载吊舱视频中地面场景特征点的相对连续特点，利用FPGA实时并行处理能力强的优点，对相邻两场间特征点进行匹配，计算出放射变换矩阵从而估计场景的运动，结合伺服控制和图像电子校准算法对图像抖动、漂移进行补偿，解决了现有装置及方法的不足，从而实现机载吊舱在飞行过程中对某一感兴趣的地面场景进行连续、稳定的侦察和监视，对机载吊舱的空中侦察打击效果的提升具有重要意义。

Description

一种基于FPGA的机载吊舱实时图像场景锁定装置及方法

技术领域

本发明涉及机载吊舱图像处理技术领域，具体涉及一种基于FPGA的机载吊舱实时图像场景锁定装置及方法。

背景技术

机载吊舱在飞行任务过程中由于机体的震动及飞机相对于地面的移动等运动，摄像机获取的地面场景图像是变化的，操作者无法对某一感兴趣的场景进行连续侦察和监视，为满足该需求，需要对场景进行锁定处理；场景锁定技术是视频跟踪领域的一个关键技术，需要对图像的全局运动进行估计，常用的运动估计有光流场法，像素递归法和块匹配法等算法；光流场法算法复杂度较高，难以满足实时性要求，存在漂移现象；像素递归法虽然计算量小、精度高，但是当图像出现旋转时，精度严重降低，存在抖动现象；块匹配法精度高，但是块匹配法计算量大，也无法满足实时性要求；因此现有机载吊舱实时图像场景锁定装置和算法存在实时性和精确度的矛盾，急需解决。

发明内容

本发明的目的在于提供一种基于FPGA的机载吊舱实时图像场景锁定装置及方法，以解决基于现有装置及方法的图像场景锁定在实际机载吊舱应用中存在实时性和精度不理想的问题；该方法针对机载吊舱视频中地面场景特征点的相对连续特点，利用FPGA实时并行处理能力强的优点，对相邻两帧间特征点进行匹配，计算出放射变换矩阵从而估计场景的运动，结合伺服控制和图像电子校准算法对图像抖动、漂移进行补偿，解决了现有装置及方法的不足，从而实现机载吊舱在飞行过程中对某一感兴趣的地面场景进行连续、稳定的侦察和监视。

为实现上述发明目的，本发明采用如下技术方案：一种基于FPGA的机载吊舱实时图像场景锁定装置，包括FPGA、输入均衡器、输出均衡器、DDR3 SDRAM 存储芯片、伺服控制系统；所述FPGA通过编程内部设置有SDI解码器、YCbCr 信号采集模块、图像预处理模块、特征点提取与配准模块、运动估计模块、DDR3 缓存控制模块、SDI编码器；所述输入均衡器、SDI解码器、YCbCr信号采集模块、图像预处理模块、特征点提取与配准模块、运动估计模块、DDR3缓存控制模块、 SDI编码器、输出均衡器顺序电性连接；所述YCbCr信号采集模块、DDR3缓存控制模块、DDR3 SDRAM存储芯片之间电性连接；所述运动估计模块、伺服控制系统之间电性连接。

进一步的，所述特征点提取与配准模块包括Harris特征点计算模块、三通道信号分离模块、特征点提取匹配模块、信号整合模块；所述Harris特征点计算模块、三通道信号分离模块、特征点提取匹配模块、信号整合模块顺序电性连接。

进一步的，所述特征点提取匹配模块共设置有三个，包括特征点提取匹配模块一、特征点提取匹配模块二、特征点提取匹配模块三，三个特征点提取匹配模块为并行设置。

进一步的，所述特征点提取匹配模块一包括特征点提取模块一、特征点缓冲器一、匹配器一，特征点提取模块一、特征点缓冲器一、匹配器一顺序电性连接；所述特征点提取匹配模块二包括特征点提取模块二、特征点缓冲器二、匹配器二，特征点提取模块二、特征点缓冲器二、匹配器二顺序电性连接；所述特征点提取匹配模块三包括特征点提取模块三、特征点缓冲器三、匹配器三，特征点提取模块三、特征点缓冲器三、匹配器三顺序电性连接。

一种基于FPGA的机载吊舱实时图像场景锁定装置的运行方法，其过程为：

S1，视频信号输入：外部设备输入的HD-SDI视频信号经输入均衡器输入SDI 解码器，解析出原始图像信号rxdata、时钟rx_pclk信号传递给YCbCr信号采集模块；YCbCr信号采集模块从rxdata、时钟rx_pclk信号中分离出亮度信号ImgY、同步信号Sync、时钟信号clk传递给后端的图像预处理模块；同时YCbCr信号采集模块将原始图像信号rxdata、同步信号Sync、时钟信号clk通过DDR3缓存模块传输到DDR3 SDRAM存储芯片进行当前帧图像的缓存。

S2，视频信号预处理：图像预处理模块对图像进行模板大小为5×5的平滑滤波滤除噪声，然后将平滑滤波后图像ImgY_p及同步信号Sync_p、时钟信号clk 传递到特征点提取与配准模块；其中平滑滤波计算公式为：

S3，计算特征点响应函数R：特征点提取与配准模块中的Harris特征点计算模块首先对平滑滤波后图像ImgY_p进行特征点响应函数R计算，Harris特征点计算模块是基于Harris算子改进而来的；特征点响应函数R的计算公式为：

R＝det(N)-k×trace(N)²

其中符号“·”代表矩阵的点乘运算，符号

代表矩阵的卷积运算；Ix 和Iy分别为图像ImgY在列和行方向上的梯度，k为经验常数；计算后得到R值及对应坐标Coor、时钟信号clk传递至三通道信号分离模块。

S4，三通道信号分离：三通道信号分离模块中设置有行计数器counter_v和列计数器counter_h，行计数器counter_v和列计数器counter_h将输入图像坐标(1920×1080)分为九个区域，九个区域的编号为part1、part2、、、、、part9，每个区域大小为640×360；将part1，part4，part7依次由端口一输出，特征点响应信号为R1，对应的特征点坐标为Coor_1；part2，part5，part8依次由端口二输出，特征点响应信号为R2，对应的特征点坐标为Coor_2；part3，part6， part9依次由端口三输出，特征点响应信号为R3，对应的特征点坐标为Coor_3；三个端口依次对应特征点提取匹配模块一、特征点提取匹配模块二、特征点提取匹配模块三。

S5，特征点提取：进入三个特征点提取匹配模块后的信号处理过程完全相同，以下仅以特征点提取匹配模块一的信号处理过程加以说明；进入特征点提取匹配模块一的特征点响应信号R1以5×5模板对part1，part4，part7进行筛选，筛选出5×5模板范围内特征点响应信号R1最大值R1’进行排序；排序方法采用“冒泡法”；最后将排序前16个特征点响应信号最大值R1’对应的特征点坐标Coor_1’输入到特征点缓冲器一和匹配器一；对于第一帧图像，输入到特征点缓冲器一的特征点响应信号最大值R1’全部置0。

S6，特征点匹配：匹配器一从缓冲器一读入16个前一帧的特征点坐标 Coor_1’，与当前帧特征点坐标Coor_1进行特征匹配；因视频前后帧图像具有连续性，相邻两帧地面背景图形仅存在微小偏移和微小旋转的仿射变换关系，利用两个向量空间的仿射变换特性寻找匹配特征点对；特征点匹配的计算过程为：

S601：计算特征点距离：相邻两帧特征点距离计算公式为：

其中：InL(i，j)为当前帧特征点距离，Cx_i为当前帧计算距离的两个特征点的起点X轴坐标，Cx_j为当前帧计算距离的两个特征点的终点X轴坐标；Cy_i为当前帧计算距离的两个特征点的起点Y轴坐标，Cy_j为当前帧计算距离的两个特征点的终点Y轴坐标；

其中：InL＇(m，n)为前一帧特征点距离，Cx′_i为前一帧计算距离的两个特征点的起点X轴坐标，Cx′_j为前一帧计算距离的两个特征点的终点X轴坐标；Cy′_i为前一帧计算距离的两个特征点的起点Y轴坐标，Cy′_j为前一帧计算距离的两个特征点的终点Y轴坐标。

S602，计算相邻帧角度：相邻帧角度计算公式为：

S603，定义距离和角度量化函数：

其中：LEHGTH_LIMIT代表距离阈值；RADIAN_LIMIT代表角度阈值。

S604，计算距离和角度统计函数：计算公式为：

StaL(i，m)代表当前帧的特征点坐标Coor_s_i与前一帧的特征点坐标Coor_s′_m在距离上的匹配度；StaR(i，m)，代表当前帧的特征点坐标Coor_s_i与前一帧的特征点坐标Coor_s′_m在角度上的匹配度。

S605，计算距离和角度的相关函数：计算公式为：

MultSta(i,m)＝StaL(i,m)×StaR(i,m)

MultSta(i，m)数值越大，则代表Coor_s_i与Coor_s′_m为期望的特征点对的概率越大。

S606，找出当前帧与前一帧对应的特征点对：计算公式为：

S607，找出当前帧与前一帧两个最优的特征点对：

使用“冒泡法”对M(i)进行排序，选出最大的两个M(i)值，即为当前帧和前一帧最优的2个匹配特征点对，并将两个最优特征点对的坐标传送给信号整合模块。

S7，特征点整合缓存：

信号整合模块将三个特征点提取匹配模块输出的，共九个区域的特征点进行整合缓存，形成18个特征点对Coor_match_i(i＝1，2...18)，等待运动估计模块读取。

S8，运动估计参数计算：运动估计模块根据从信号整合模块提取的特征点对Coor_match_i(i＝1，2...18)，计算出当前帧的运动估计参数Img_shift_n；运动估计参数Img_shift_n传递至DDR3缓存控制模块和伺服控制系统；运动估计参数的计算过程如下：

S801，坐标分离：

运动估计模块首先将读取到的特征点对Coor_match_i(i＝1，2...18)进行分离，分离出当前帧的x,y坐标Cur_x_i、Cur_y_i(i＝1,2…18)，和前一帧的x,y坐标 Pre_x_i、Pre_y_i(i＝1,2…18)。

S802，筛选特征点对：

筛选出满足条件：|dif_x_i-mean_x|＜T_x&&|dif_y_i-mean_y|＜T_y的K个特征点对Coor_match_n(k＝1,…K)。

S803，计算K个特征点对的移动均值mean_x，mean_y。

S804，计算当前帧的运动估计参数Img_shift_n：计算公式为：

Coor_shift_n＝[mean_y,mean_x]

运动估计模块最终将计算出的运动估计参数Img_shift_n传递至DDR3缓存模块和伺服控制系统。

S9，图像偏移：

DDR3缓存模块根据接收到的运动估计参数Img_shift_n，对当前帧进行图像偏移处理，处理后图像txdata和时钟tx_pclk信号传递至SDI编码器。

S10，图像输出：

SDI编码器将接收到的图像txdata和时钟tx_pclk重新转换为HD SDI信号，最终通过输出均衡器将信号送出。

由于采用如上所述的技术方案，本发明具有如下有益效果：本发明所述的一种基于FPGA的机载吊舱实时图像场景锁定装置及方法，针对机载吊舱视频中地面场景特征点的相对连续特点，利用FPGA实时并行处理能力强的优点，对相邻两场间特征点进行匹配，计算出放射变换矩阵从而估计场景的运动，结合伺服控制和图像电子校准算法对图像抖动、漂移进行补偿，解决了现有装置及方法的不足，从而实现机载吊舱在飞行过程中对某一感兴趣的地面场景进行连续、稳定的侦察和监视，对机载吊舱的空中侦察打击效果的提升具有重要意义。

附图说明

图1为基于FPGA的机载吊舱实时图像场景锁定装置的框架示意图；

图2为特征点提取与配准模块框架示意图；

图3为HD-SDI图像分区示意图。

具体实施方式

通过下面的实施例可以更详细的解释本发明，公开本发明的目的旨在保护本发明范围内的一切变化和改进，本发明并不局限于下面的实施例：一种基于FPGA 的机载吊舱实时图像场景锁定装置，包括FPGA、输入均衡器、输出均衡器、DDR3 SDRAM存储芯片、伺服控制系统；所述FPGA通过编程内部设置有SDI解码器、YCbCr 信号采集模块、图像预处理模块、特征点提取与配准模块、运动估计模块、DDR3 缓存控制模块、SDI编码器；所述输入均衡器、SDI解码器、YCbCr信号采集模块、图像预处理模块、特征点提取与配准模块、运动估计模块、DDR3缓存控制模块、 SDI编码器、输出均衡器顺序电性连接；所述YCbCr信号采集模块、DDR3缓存控制模块、DDR3 SDRAM存储芯片之间电性连接；所述运动估计模块、伺服控制系统之间电性连接；所述特征点提取与配准模块包括Harris特征点计算模块、三通道信号分离模块、特征点提取匹配模块、信号整合模块；所述Harris特征点计算模块、三通道信号分离模块、特征点提取匹配模块、信号整合模块顺序电性连接；所述特征点提取匹配模块共设置有三个，包括特征点提取匹配模块一、特征点提取匹配模块二、特征点提取匹配模块三，特征点提取匹配模块一、特征点提取匹配模块二、特征点提取匹配模块三为并行设置；所述特征点提取匹配模块一包括特征点提取模块一、特征点缓冲器一、匹配器一，特征点提取模块一、特征点缓冲器一、匹配器一顺序电性连接；所述特征点提取匹配模块二包括特征点提取模块二、特征点缓冲器二、匹配器二，特征点提取模块二、特征点缓冲器二、匹配器二顺序电性连接；所述特征点提取匹配模块三包括特征点提取模块三、特征点缓冲器三、匹配器三，特征点提取模块三、特征点缓冲器三、匹配器三顺序电性连接；

一种基于权利要求1的基于FPGA的机载吊舱实时图像场景锁定装置的运行方法，其过程为：

S1，视频信号输入：外部设备输入的HD-SDI视频信号经输入均衡器输入SDI 解码器，解析出原始图像信号rxdata、时钟rx_pclk信号传递给YCbCr信号采集模块；YCbCr信号采集模块从rxdata、时钟rx_pclk信号中分离出亮度信号ImgY、同步信号Sync、时钟信号clk传递给后端的图像预处理模块；同时YCbCr信号采集模块将原始图像信号rxdata、同步信号Sync、时钟信号clk通过DDR3缓存模块传输到DDR3 SDRAM存储芯片进行当前帧图像的缓存；

S2，视频信号预处理：图像预处理模块对图像进行模板大小为5×5的平滑滤波滤除噪声，然后将平滑滤波后图像ImgY_p及同步信号Sync_p、时钟信号clk 传递到特征点提取与配准模块；其中平滑滤波计算公式为：

S3，计算特征点响应函数R：特征点提取与配准模块中的Harris特征点计算模块首先对平滑滤波后图像ImgY_p进行特征点响应函数R计算，Harris特征点计算模块是基于Harris算子改进而来的；特征点响应函数R的计算公式为：

R＝det(N)-k×trace(N)²

其中符号“·”代表矩阵的点乘运算，符号

代表矩阵的卷积运算；Ix 和Iy分别为图像ImgY在列和行方向上的梯度，k取值0.0625；计算后得到R值及对应坐标Coor、时钟信号clk传递至三通道信号分离模块；

S4，三通道信号分离：三通道信号分离模块中设置有行计数器counter_v和列计数器counter_h，行计数器counter_v和列计数器counter_h将输入图像坐标(1920×1080)分为九个区域，九个区域的编号为part1、part2、、、、、part9，每个区域大小为640×360；将part1，part4，part7依次由端口一输出，特征点响应信号为R1，对应的特征点坐标为Coor_1；part2，part5，part8依次由端口二输出，特征点响应信号为R2，对应的特征点坐标为Coor_2；part3，part6， part9依次由端口三输出，特征点响应信号为R3，对应的特征点坐标为Coor_3；三个端口依次对应特征点提取匹配模块一、特征点提取匹配模块二、特征点提取匹配模块三；

S5，特征点提取：进入三个特征点提取匹配模块后的信号处理过程完全相同，以下仅以特征点提取匹配模块一的信号处理过程加以说明；进入特征点提取匹配模块一的特征点响应信号R1对以5×5模板对part1，part4，part7进行筛选，筛选出5×5模板范围内特征点响应信号R1最大值R’进行排序；排序方法采用“冒泡法”；最后将排序前16个特征点响应信号最大值R1’对应的特征点坐标 Coor_1’输入到特征点缓冲器一和匹配器一；

S6，特征点匹配：匹配器一从缓冲器一读入16个前一帧的特征点坐标 Coor_1’，与当前帧特征点坐标Coor_1进行特征匹配；因视频前后帧图像具有连续性，相邻两帧地面背景图形仅存在微小偏移和微小旋转的仿射变换关系，利用两个向量空间的仿射变换特性寻找匹配特征点对；特征点匹配的计算过程为：

S601：计算特征点距离：相邻两帧特征点距离计算公式为：

其中：InL(i，j)为当前帧特征点距离，Cx_i为当前帧计算距离的两个特征点的起点X轴坐标，Cx_j为当前帧计算距离的两个特征点的终点X轴坐标；Cy_i为当前帧计算距离的两个特征点的起点Y轴坐标，Cy_j为当前帧计算距离的两个特征点的终点Y轴坐标；

其中：InL′(m，n)为前一帧特征点距离，Cx′_i为前一帧计算距离的两个特征点的起点X轴坐标，Cx′_j为前一帧计算距离的两个特征点的终点X轴坐标；Cy′_i为前一帧计算距离的两个特征点的起点Y轴坐标，Cy′_j为前一帧计算距离的两个特征点的终点Y轴坐标；

S602，计算相邻帧角度：相邻帧角度计算公式为：

S603，定义距离和角度量化函数：

其中：LEHGTH_LIMIT代表距离阈值，本实施例中取值为2；RADIAN_LIMIT代表角度阈值，本实施例中取值为0.03；

S604，计算距离和角度统计函数：计算公式为：

StaL(i，m)代表当前帧的特征点坐标Coor_s_i与前一帧的特征点坐标Coor_s′_m在距离上的匹配度；StaR(i，m)，代表当前帧的特征点坐标Coor_s_i与前一帧的特征点坐标Coor_s′_m在角度上的匹配度；

S605，计算距离和角度的相关函数：计算公式为：

MultSta(i,m)＝StaL(i,m)xStaR(i,m)

MultSta(i，m)数值越大，则代表Coor_s_i与Coor_s′_m为期望的特征点对的概率越大。

S606，找出当前帧与前一帧对应的特征点对：计算公式为：

S607，找出当前帧与前一帧两个最优的特征点对：

使用“冒泡法”对M(i)进行排序，选出最大的两个M(i)值，即为当前帧和前一帧最优的2个匹配特征点对，并将两个最优特征点对的坐标传送给信号整合模块；

S7，特征点整合缓存：

信号整合模块将三个特征点提取匹配模块输出的共九个区域的特征点进行整合缓存，形成18个特征点对Coor_match_i(i＝1，2...18)，等待运动估计模块读取；

S8，运动估计参数计算：运动估计模块根据从信号整合模块提取的特征点对Coor_match_i(i＝1，2...18)，计算出当前帧的运动估计参数Img_shift_n；运动估计参数Img_shift_n传递至DDR3缓存控制模块和伺服控制系统；运动估计参数的计算过程如下：

S801，坐标分离：

运动估计模块首先将读取到的特征点对Coor_match_i(i＝1，2...18)进行分离，分离出当前帧的x,y坐标Cur_x_i、Cur_y_i(i＝1,2…18)，和前一帧的x,y坐标 Pre_x_i、Pre_y_i(i＝1,2…18)；

S802，筛选特征点对：

筛选出满足条件：|dif_x_i-mean_x|＜T_x&&|dif_y_i-mean_y|＜T_y的K个点对 Coor_match_n(k＝1,…K)；

S803，计算K个特征点对的移动均值mean_x，mean_y。

S804，计算当前帧的运动估计参数Img_shift_n：

Coor_shift_n＝[mean_y,mean_x]

运动估计模块最终将计算出的运动估计参数Img_shift_n传递至DDR3缓存模块和伺服控制系统；

S9，图像偏移：

DDR3缓存模块根据接收到的运动估计参数Img_shift_n，对当前帧进行图像偏移处理，处理后图像txdata和时钟tx_pclk信号传递至SDI编码器。

S10，图像输出：

SDI编码器将接收到的图像txdata和时钟tx_pclk重新转换为HD SDI信号，最终通过输出均衡器将信号送出。

本发明未详述部分为现有技术。

Claims (7)

1.一种基于FPGA的机载吊舱实时图像场景锁定装置，其特征是：包括FPGA、输入均衡器、输出均衡器、DDR3SDRAM存储芯片、伺服控制系统；所述FPGA通过编程内部设置有SDI解码器、YCbCr信号采集模块、图像预处理模块、特征点提取与配准模块、运动估计模块、DDR3缓存控制模块、SDI编码器；所述输入均衡器、SDI解码器、YCbCr信号采集模块、图像预处理模块、特征点提取与配准模块、运动估计模块、DDR3缓存控制模块、SDI编码器、输出均衡器顺序电性连接；所述YCbCr信号采集模块、DDR3缓存控制模块、DDR3SDRAM存储芯片之间电性连接；所述运动估计模块、伺服控制系统之间电性连接。

2.根据权利要求1所述的基于FPGA的机载吊舱实时图像场景锁定装置，其特征是：所述特征点提取与配准模块包括Harris特征点计算模块、三通道信号分离模块、特征点提取匹配模块、信号整合模块；所述Harris特征点计算模块、三通道信号分离模块、特征点提取匹配模块、信号整合模块顺序电性连接。

3.根据权利要求2所述的基于FPGA的机载吊舱实时图像场景锁定装置，其特征是：所述特征点提取匹配模块共设置有三个，包括特征点提取匹配模块一、特征点提取匹配模块二、特征点提取匹配模块三；三个特征点提取匹配模块为并行设置。

4.根据权利要求2所述的基于FPGA的机载吊舱实时图像场景锁定装置，其特征是：所述特征点提取匹配模块一包括特征点提取模块一、特征点缓冲器一、匹配器一，特征点提取模块一、特征点缓冲器一、匹配器一顺序电性连接；所述特征点提取匹配模块二包括特征点提取模块二、特征点缓冲器二、匹配器二，特征点提取模块二、特征点缓冲器二、匹配器二顺序电性连接；所述特征点提取匹配模块三包括特征点提取模块三、特征点缓冲器三、匹配器三，特征点提取模块三、特征点缓冲器三、匹配器三顺序电性连接。

5.一种基于权利要求1的基于FPGA的机载吊舱实时图像场景锁定装置的运行方法，其过程为：

S1，视频信号输入：外部设备输入的HD-SDI视频信号经输入均衡器输入SDI解码器，解析出原始图像信号rxdata、时钟rx_pclk信号传递给YCbCr信号采集模块；YCbCr信号采集模块从rxdata、时钟rx_pclk信号中分离出亮度信号ImgY、同步信号Sync、时钟信号clk传递给后端的图像预处理模块；同时YCbCr信号采集模块将原始图像信号rxdata、同步信号Sync、时钟信号clk通过DDR3缓存模块传输到DDR3SDRAM存储芯片进行当前帧图像的缓存。

S2，视频信号预处理：图像预处理模块对图像进行模板大小为5×5的平滑滤波滤除噪声，然后将平滑滤波后图像ImgY_p及同步信号Sync_p、时钟信号clk传递到特征点提取与配准模块；其中平滑滤波计算公式为：

S3，计算特征点响应函数R：特征点提取与配准模块中的Harris特征点计算模块对平滑滤波后图像ImgY_p进行特征点响应函数R计算，Harris特征点计算模块是基于Harris算子改进而来的；特征点响应函数R的计算公式为：

R＝det(N)-kxtrace(N)²

其中符号“·”代表矩阵的点乘运算，符号

代表矩阵的卷积运算；Ix和Iy分别为图像ImgY在列和行方向上的灰度梯度，k为经验常数；计算后得到R值及对应坐标Coor、时钟信号clk传递至三通道信号分离模块。

S4，三通道信号分离：三通道信号分离模块中设置有行计数器counter_v和列计数器counter_h，行计数器counter_v和列计数器counter_h将输入图像坐标(1920×1080)分为九个区域，九个区域的编号为part1、part2、、、、、part9，每个区域大小为640×360；将part1，part4，part7依次由端口一输出，特征点响应信号为R1，对应的特征点坐标为Coor_1；part2，part5，part8依次由端口二输出，特征点响应信号为R2，对应的特征点坐标为Coor_2；part3，part6，part9依次由端口三输出，特征点响应信号为R3，对应的特征点坐标为Coor_3；三个端口依次对应特征点提取匹配模块一、特征点提取匹配模块二、特征点提取匹配模块三。

S5，特征点提取：进入三个特征点提取匹配模块后的信号处理过程完全相同，以下仅以特征点提取匹配模块一的信号处理过程加以说明；进入特征点提取匹配模块一的特征点响应信号R1以5×5模板对part1，part4，part7进行筛选，筛选出5×5模板范围内特征点响应信号R1最大值R1’进行排序；排序方法采用“冒泡法”；最后将排序前16个特征点响应信号最大值R1’对应的特征点坐标Coor_1’输入到特征点缓冲器一和匹配器一；对于第一帧图像，输入到特征点缓冲器一的特征点响应信号最大值R1’全部置0。

S6，特征点匹配：匹配器一从缓冲器一读入16个前一帧的特征点坐标Coor_1’，与当前帧特征点坐标Coor_1进行特征匹配；利用两个向量空间的仿射变换特性寻找匹配特征点对。

S7，特征点整合缓存：

信号整合模块将三个特征点提取匹配模块输出的共九个区域的特征点进行整合缓存，形成18个特征点对Coor_match_i＝(i＝1，2，...18)，等待运动估计模块读取。

S8，运动估计参数计算：运动估计模块根据从信号整合模块提取的特征点对Coor_match_i(i＝1，2...18)，计算出当前帧的运动估计参数Img_shift_n；运动估计参数Img_shift_n传递至DDR3缓存控制模块和伺服控制系统。

S9，图像偏移：

DDR3缓存模块根据接收到的运动估计参数Img_shift_n，对当前帧进行图像偏移处理，处理后图像的txdata和时钟tx_pclk信号传递至SDI编码器。

S10，图像输出：

SDI编码器将接收到的图像txdata和时钟tx_pclk重新转换为HD SDI信号，最终通过输出均衡器将信号送出。

6.根据权利要求5所述的一种基于FPGA的机载吊舱实时图像场景锁定装置的运行方法，其特征点匹配的计算过程为：

S601：计算特征点距离：相邻两帧特征点距离计算公式为：

其中：InL(i，j)为当前帧特征点距离，Cx_i为当前帧计算距离的两个特征点的起点X轴坐标，Cx_j为当前帧计算距离的两个特征点的终点X轴坐标；Cy_i为当前帧计算距离的两个特征点的起点Y轴坐标，Cy_j为当前帧计算距离的两个特征点的终点Y轴坐标；

其中：InL′(m，n)为前一帧特征点距离，Cx′_i为前一帧计算距离的两个特征点的起点X轴坐标，Cx′_j为前一帧计算距离的两个特征点的终点X轴坐标；Cy′_i为前一帧计算距离的两个特征点的起点Y轴坐标，Cy′_j为前一帧计算距离的两个特征点的终点Y轴坐标。

S602，计算相邻帧角度：相邻帧角度计算公式为：

S603，定义距离和角度量化函数：

其中：LEHGTH_LIMIT代表距离阈值；RADIAN_LIMIT代表角度阈值。

S604，计算距离和角度统计函数：计算公式为：

StaL(i，m)代表当前帧的特征点坐标Coor_s_i与前一帧的特征点坐标Coor_s′_m在距离上的匹配度；StaR(i，m)，代表当前帧的特征点坐标Coor_s_i与前一帧的特征点坐标Coor_s′_m在角度上的匹配度。

S605，计算距离和角度的相关函数：计算公式为：

MultSta(i，m)＝StaL(i，m)×StaR(i，m)

MultSta(i，m)数值越大，代表Coor_s_i与Coor_s′_m为期望的特征点对的概率越大。

S606，计算当前帧与前一帧对应的特征点对：计算公式为：

S607，找出当前帧与前一帧两个最优的特征点对：

使用“冒泡法”对M(i)进行排序，选出最大的两个M(i)值，即为当前帧和前一帧最优的2个特征点对，并将两个最优特征点对的坐标传送给信号整合模块。

7.根据权利要求5所述的一种基于FPGA的机载吊舱实时图像场景锁定装置的运行方法，运动估计参数的计算过程如下：

S801，坐标分离：

运动估计模块首先将读取到的特征点对Coor_match_i(i＝1，2...18)进行分离，分离出当前帧的x,y坐标Cur_x_i、Cur_y_i(i＝1,2…18)，和前一帧的x,y坐标Pre_x_i、Pre_y_i(i＝1,2…18)。

S802，筛选特征点对：

筛选出满足条件：|dif_x_i-mean_x|<T_x&&|dif_y_i-mean_y|＜T_y的K个特征点对坐标Coor_match_n(k＝1，...K)。

S803，计算K个特征点对的移动均值mean_x，mean_y。

S804，计算当前帧的运动估计参数Img_shift_n：计算公式为：

Coor_shift_n＝[mean_y，mean_x]

运动估计模块最终将计算出的运动估计参数Img_shift_n传递至DDR3缓存模块和伺服控制系统。

Images