CN103942786A - 无人机可见光和红外图像的自适应团块目标检测方法 - Google Patents

Abstract

本发明公开了一种适用于无人机可见光和红外图像的全局团块目标检测方法，属于图像处理领域。所述方法从图像目标本质出发，依据目标的团聚性，对图像全局范围内目标进行自动检测，适应无人机多种图像载荷的需求，本方法不依赖于目标的运动信息，对动静目标均具有适用性，同时利用无人机机载激光测距系统以及成像设备的参数，建立感兴趣目标模板尺寸表，进一步加快处理速度。采用本发明方法，能够充分利用无人机多载荷资源，提高目标检测的效率和准确率。

Description

无人机可见光和红外图像的自适应团块目标检测方法

技术领域

本发明属于无人机图像处理技术领域，具体涉及一种适用于无人机可见光和红外图像的自适应团块目标检测方法。

背景技术

随着科学技术的发展，无人机可以搭载多种图像载荷（例如可见光、红外传感器等），对不同图像传感器回传的图像数据进行自动目标检测，是保证无人机具有全天候作战能力的基础。无人机图像是在高空、运动环境下拍摄得到，具有以下特点：目标相对图像较小、目标多样化且易发生外形变化、以及背景复杂多变等。结合以上无人机图像特点以及多载荷的应用需求，需要研究一种简单有效、既适用于无人机可见光图像的也适用于无人机红外图像的目标检测方法。

自动目标检测一直是机器视觉一个重要而且具有挑战的研究方向。当前，针对这一问题主要的研究方法可以分为如下几类：1，目标建模法，提取目标特征，对目标进行表征，建立目标模板，在全局图像范围进行搜索匹配；2，背景建模法，对背景进行建模，在图像中减去背景即可得到目标；3，图像分割法，对图像相同区域进行分割，从而将背景和目标分开。

无人机图像特点限制了传统的目标检测方法。在小目标的情形下，目标特征不稳定，不足以进行准确的匹配检测，并且同一目标在红外图像和可见光图像下表现出不同的特征，不能适应多种图像载荷的需求。背景建模法通常要求摄像头固定，以获得一个较为稳定的背景模型，无人机图像则是在快速运动过程中拍摄得到的，如果应用背景建模法，就必须对前后图像进行配准，一方面配准过程耗时较多，对目标的实时检测有较大影响，另一方面红外图像并没有成熟的配准方法。图像分割法在某种特征空间，对图像进行聚类迭代，找到相同的区域，从而分割出目标和背景，适用于目标较大且目标与背景在特征空间差异很大的情况，无人机图像中目标较小，红外图像和可见光图像不容易找到一致的特征空间。

由上分析可知，当前针对无人机多载荷图像进行目标检测主要面临的问题如下：既适用于红外图像又适用于可见光图像、小目标、目标多变且未知、背景复杂多变等，现有的目标检测方法均不能完全满足实际需求。

发明内容

本发明为了解决无人机多载荷图像自动目标检测所面临的问题，提出了一种从目标本质出发，不依赖图像的具体类型的目标自动检测方法，同时综合无人机飞行高度以及成像参数，建立目标尺寸表，自适应多种大小的目标。

无论在可见光图像中还是在红外图像中，无人机目标通常以块状整体的形式出现，与其周围背景呈现较为明显的差异，称之为团聚性。本发明从无人机图像中目标的本质特性出发，利用其所呈现出的团聚性，并依据无人机成像特性，提出一种既适用无人机可见光图像又适用于无人机红外图像的目标检测方法。

本发明的无人机可见光和红外图像的自适应团块目标检测方法，包括以下几个步骤：

第一步，建立感兴趣目标尺寸模板表

第二步，确定滑动窗口并遍历图像

第三步，对目标进行团聚性检测

第四步，综合多尺寸下检测目标

本发明具有以下优点：

1)适应无人机可见光图像和红外图像；

2)充分利用无人机其他载荷及参数信息，建立感兴趣目标尺寸表，适应多种大小的目标；

3)利用目标团聚性及其与周围背景的差异进行检测，方法简单有效。

附图说明

图1为本发明的总体结构示意图；

图2为图像滑动窗口选取示意图；

图3为图像区域像素求和示意图；

图4为目标检测示意图；

图5为同一尺寸下目标检测流程图；

图6为多尺寸下目标综合示意图。

具体实施方式

下面结合附图，对本发明进行详细说明。

本发明是一种基于团聚性的适用于无人机可见光和红外图像的目标检测方法，总体结构示意图如图1所示，具体实施方法包括以下步骤：

第一步，根据无人机的飞行参数建立感兴趣目标的尺寸表。

针对无人机侦察视频中可能出现的感兴趣目标，例如运动车辆，军事建筑，地标建筑等，统计目标实际尺寸大小，结合无人机机载激光测距单元所测量的无人机飞行高度，以及无人机成像载荷成像参数，可以粗略估算目标在图像中的像素尺寸，继而形成感兴趣目标的像素尺寸表。目标的像素尺寸并非准确值，但是由于后续的检测方法并不需要完全精确的目标像素大小，设计目标像素尺寸表，主要是为了快速确定检测窗口的大小，提高检测的效率。

具体的：

无人机在执行侦察任务的过程中，通常对特定目标，例如运动车辆，军事建筑，地标建筑等，可以对其大概实际尺寸进行统计，这一步可以在飞行之前完成。目标实际尺寸（长和宽）如表1所示，

表1感兴趣目标实际尺寸表

目标	长（单位：米/m）	宽（单位：米/m）
			目标1	L1	W1
目标2	L2	W2
			…	…	…
目标n	Ln	Wn

根据无人机不同的飞行高度，以及机载成像载荷的成像参数，可以计算无人机图像每一个像素所代表实际中的长度Δx(m)，已知像元尺寸为Δu(m)，焦距为f(m)，飞行高度为H(m)，m表示单位，为米，式（1）为计算图像中每个像素所代表的实际长度的公式。

$\mathrm{\Δx}=\frac{H}{f}\mathrm{\Δu}---\left(1\right)$

根据Δx(m)和目标实际尺寸可以得到目标长和宽在图像中所占像素个数，分别由l_i和w_i表示，具体计算公式如下：

$\left\{\begin{array}{c}{l}_i=\frac{L_i}{\mathrm{\Δx}}\\ w_i=\frac{W_i}{\mathrm{\Δx}}\end{array}\right.---\left(2\right)$

其中：L_i表示第i个目标的实际长度，W_i第i个目标的实际宽度，l_i表示第i个目标长度在在图像中所占像素个数，w_i表示第i个目标宽度在在图像中所占像素个数，单位为米，1≤i≤n，n为获取感兴趣目标的数量；

表2为无人机图像感兴趣目标像素尺寸表，

表2感兴趣目标像素尺寸表

目标	长（单位：像素）	宽（单位：像素）
			目标1	l1	w1
目标2	l2	w2
			…	…	…
目标n	ln	wn

第二步，根据目标像素尺寸选择合适大小的滑动窗口。

根据第一步里面所形成的目标像素尺寸表，确定相应的滑动窗口尺寸，由于检测过程中，要依据目标的团聚性，以及目标与周围背景的差异，滑动窗口尺寸要大于目标的像素尺寸。然后选取遍历规则，用滑动窗口遍历全局图像。遍历规则的选取可以灵活多变，主要是对检测精度和实时性做一个权衡，遍历过程中，前后滑动窗口重叠率越高，检测效果越好，但是相应的需要消耗更多的时间。

具体的：

滑动窗口大小选择为p×p的方形窗口，由于无人机图像中，目标较小，呈现出团聚性，通常情况下l_i,w_i(1≤i≤n)相差不大，不同目标也可能具有相似的尺寸，p的计算公式如下：

$p_i=\left\{\begin{array}{cc}\max (l_i,w_i)& \left(\right|l_i-w_i|>15)\\ 1.25*\frac{l_i+w_i}{2}& \left(\right|l_i-w_i|\≤15)\end{array}\right.---\left(3\right)$

对于1≤i≤n，将p_i从小到大排序，p₁≤...≤p_i≤...≤p_n，然后以15为步长将模板分成m个等级，其中对每个等级的模板求平均，得到新的窗口大小q_k，如下所示

表3窗口尺寸对应表

尺寸序号	滑动窗口宽（单位：像素）
		1	q1
2	q2
		…	…
m	qm

针对尺寸k(1≤k≤m)，采用q_k×q_k大小的滑动窗口对图像进行遍历，示意图如图2所示，窗口遍历的具体策略如下：

（1）滑动窗口以图像左上角作为起始位置；

（2）按行向右扫描，步长为

（3）扫描完一行后，滑动窗口在上行扫描起始位置下移继续按行向右扫描，步长为（4）重复上述步骤直至滑动窗口遍历整幅图像；

第三步，在滑动窗口中，对目标进行团聚性检测。

计算待检测的图像的积分图，积分图的大小与原始图像的大小一样，在滑动窗口遍历图像的过程中，计算每个滑动窗口内的团聚性，继而判断滑动窗口内是否存在目标，对于可能存在目标的窗口，记录相应的滑动窗口大小、位置、团聚性等信息，并与之前所有确定目标进行对比，排除同一滑动窗口尺寸下重复检测的目标，可以确保每一个尺寸下所检测的目标没有重复。当一个尺寸下的滑动窗口遍历完图像时，对其他尺寸的滑动窗口采取相同的遍历和检测方法，直至所有尺寸的滑动窗口遍历完图像。

具体的：

无人机目标的团聚性是指，目标由于能量集中与周围背景存在显著的差异而表现出来的性质，目标的团聚性是目标本质属性，不依赖具体的图像类型所形成的特征，因此既适用于无人机红外图像，又适用于无人机可见光图像。待检测图像记为i(x,y)，积分图记为ii(x,y)，积分图ii在位置(x,y)的值为图像i中(x,y)左上部分所有像素的灰度值之和，其中i(x′,y′)表示图像i在(x′,y′)的灰度值。如图3所示，区域R四个角点在图像中的位置分别为(x_A,y_A),(x_B,y_B),(x_C,y_C),(x_D,y_D)，区域R内的像素和S_R可以由式（4）计算，

S_R＝ii(x_D,y_D)+ii(x_A,y_A)-ii(x_B,y_B)-ii(x_C,y_C)  （4）

图4为目标检测示意图，滑动窗口边长为q_k，目标窗口与滑动窗口共一个中心，目标窗口边长记作t_k，其中t_k＝0.75q_k，目标的团聚性记作结合图5目标团聚性检测流程图，具体步骤如下：

（1）图像若为可见光图像，先转化为灰度图像i(x,y)，图像若为无人机红外图像，直接进入下一个步骤；

（2）计算图像的积分图ii(x,y)，其中s(x,-1)＝0,ii(-1,y)＝0；

s(x,y)＝s(x,y-1)+i(x,y)   （5）

ii(x,y)＝ii(x-1,y)+s(x,y)   （6）

（3）计算滑动窗口内所有像素灰度和，记为

$S_{\mathrm{si}}^k=\mathrm{ii}(x_{\mathrm{Dk}},y_{\mathrm{Dk}})+\mathrm{ii}(x_{\mathrm{Ak}},y_{\mathrm{Ak}})-\mathrm{ii}(x_{\mathrm{Bk}},y_{\mathrm{Bk}})-\mathrm{ii}(x_{\mathrm{Ck}},y_{\mathrm{Ck}})$

其中：滑动窗口k四个角点在图像中的位置分别为(x_Ak,y_Ak),(x_Bk,y_Bk),(x_Ck,y_Ck),(x_Dk,y_Dk)；

（4）按照式（4）计算目标窗口内所有像素灰度和，记为

$S_{\mathrm{ti}}^k=\mathrm{ii}(x_{\mathrm{Dkt}},y_{\mathrm{Dkt}})+\mathrm{ii}(x_{\mathrm{Akt}},y_{\mathrm{Akt}})-\mathrm{ii}(x_{\mathrm{Bkt}},y_{\mathrm{Bkt}})-\mathrm{ii}(x_{\mathrm{Ckt}},y_{\mathrm{Ckt}})$

其中，(x_Akt,y_Akt),(x_Bkt,y_Bkt),(x_Ckt,y_Ckt),(x_Dkt,y_Dkt)表示滑动窗口k中目标四个角点在图像的位置，并且

$\left\{\begin{array}{c}(x_{\mathrm{Akt}},y_{\mathrm{Akt}})=\left(\right[x_{\mathrm{Ak}}+\frac{1}{8}{q}_k],[y_{\mathrm{Ak}}+\frac{1}{8}{q}_k\left]\right)\\ (x_{\mathrm{Bkt}},y_{\mathrm{Bkt}})=\left(\right[x_{\mathrm{Bk}}-\frac{1}{8}{q}_k],[y_{\mathrm{Bk}}+\frac{1}{8}{q}_k\left]\right)\\ (x_{\mathrm{Ckt}},y_{\mathrm{Ckt}})=\left(\right[x_{\mathrm{Ck}}+\frac{1}{8}{q}_k],[y_{\mathrm{Ck}}-\frac{1}{8}{q}_k\left]\right)\\ (x_{\mathrm{Dkt}},y_{\mathrm{Dkt}})=\left(\right[x_{\mathrm{Dk}}-\frac{1}{8}{q}_k],[y_{\mathrm{Dk}}-\frac{1}{8}{q}_k\left]\right)\end{array}\right.$

其中：[A]表示对A进行取整运算；

则滑动窗口中背景的所有像素灰度和

（5）根据式（7）计算团聚性；

${\mathrm{Agglomeration}}_i^k=|\frac{S_{\mathrm{ti}}^k}{t_k\×t_k}-\frac{S_{\mathrm{bi}}^k}{q_k\×q_k-t_k\×t_k}|---\left(7\right)$

（6）若则判定为目标，记录滑动窗口的尺寸k，和位置

（7）将与比较，若 $\left(\right|x_i^k-x_j^k|+|y_i^k-y_j^k\left|\right)<10,$ 其中1≤j≤i-1，和则为尺寸k下的同一目标，去掉团聚性较小的目标；

第四步，对不同大小滑动窗口下检测出来的目标进行综合

在第三步目标团聚性检测的过程中，每一个滑动窗口尺寸下，均可以得到一个目标链，不同尺寸之间的检测相互独立，只能保证每一个尺寸下的目标链中没有重复的目标，不能排除不同尺寸滑动窗口下的目标链之间存在交集，即一个目标在不同尺寸滑动窗口下被重复检测的情况，如图6所示。对不同尺寸滑动窗口下检测出的所有目标进行验证，排除重复目标，并输出最终的目标。对于对于大小为k,s(1≤k,s≤m)的两个滑动窗口，若则判定为同一目标，去掉团聚性较小的目标。在实际应用过程中，一幅无人机图像中的目标数量不多，因此对多尺寸目标进行验证并不会对实时性带来明显的影响。

Claims (2)

1.一种基于团聚性的适用于无人机可见光和红外图像的目标检测方法，包括以下步骤：

第一步，根据无人机的飞行参数获取感兴趣目标的尺寸；

根据无人机的任务，获取感兴趣目标的实际尺寸，得到第i个目标的实际长度为L_i，宽度为W_i，单位为米，1≤i≤n，n为获取感兴趣目标的数量；

获取无人机图像每一个像素所代表实际长度：

$\mathrm{\&Delta;x}=\frac{H}{f}\mathrm{\&Delta;u}$

其中：Δu表示像元尺寸，H表示飞行高度，f表示焦距，单位为米；

根据Δx、L_i、W_i得到目标长度和宽度在图像中所占像素个数：

$\left\{\begin{array}{c}{l}_i=\frac{L_i}{\mathrm{\&Delta;x}}\\ w_i=\frac{W_i}{\mathrm{\&Delta;x}}\end{array}\right.$

其中：l_i表示第i个目标长度在在图像中所占像素个数，w_i表示第i个目标宽度在在图像中所占像素个数；

第二步，根据目标像素尺寸获取滑动窗口的大小；

设滑动窗口为p×p的方形窗口，p的计算公式如下：

$p_i=\left\{\begin{array}{cc}\max (l_i,w_i)& \left(\right|l_i-w_i|>15)\\ 1.25*\frac{l_i+w_i}{2}& \left(\right|l_i-w_i|\&le;15)\end{array}\right.---\left(3\right)$

将p_i从小到大排序，p₁≤...≤p_i≤...≤p_n，以15为步长将模板分成m个等级，其中对每个等级的模板求平均，得到k个新的窗口，大小为qk，1≤k≤m；

针对第k个新窗口，采用q_k×q_k大小的滑动窗口对图像进行遍历；

第三步，在滑动窗口中，对目标进行团聚性检测；

在第二步的滑动窗口k中，对目标进行团聚性检测，具体为：

（1）图像若为可见光图像，转化为灰度图像，图像若为无人机红外图像，直接进入下一个步骤，设i(x,y)表示图像i在(x,y)位置的灰度值；

（2）计算图像i的积分图ii(x,y)，积分图ii在位置(x,y)的值为图像i中(x,y)左上部分所有像素的灰度值之和，即i(x′,y′)表示图像i在(x′,y′)的灰度值；

设s(x,y)为图像中第x行前y个像素的灰度和，获取ii(x,y)：

ii(x,y)＝ii(x-1,y)+s(x,y)

s(x,y)＝s(x,y-1)+i(x,y)

s(x,-1)＝0,ii(-1,y)＝0

（3）获取滑动窗口k内所有像素灰度和：

$S_{\mathrm{si}}^k=\mathrm{ii}(x_{\mathrm{Dk}},y_{\mathrm{Dk}})+\mathrm{ii}(x_{\mathrm{Ak}},y_{\mathrm{Ak}})-\mathrm{ii}(x_{\mathrm{Bk}},y_{\mathrm{Bk}})-\mathrm{ii}(x_{\mathrm{Ck}},y_{\mathrm{Ck}})$

其中：滑动窗口k四个角点在图像中的位置分别为(x_Ak,y_Ak),(x_Bk,y_Bk),(x_Ck,y_Ck),(x_Dk,y_Dk)；

（4）获取滑动窗口k内目标像素灰度和：

$S_{\mathrm{ti}}^k=\mathrm{ii}(x_{\mathrm{Dkt}},y_{\mathrm{Dkt}})+\mathrm{ii}(x_{\mathrm{Akt}},y_{\mathrm{Akt}})-\mathrm{ii}(x_{\mathrm{Bkt}},y_{\mathrm{Bkt}})-\mathrm{ii}(x_{\mathrm{Ckt}},y_{\mathrm{Ckt}})$

其中，(x_Akt,y_Akt),(x_Bkt,y_Bkt),(x_Ckt,y_Ckt),(x_Dkt,y_Dkt)表示滑动窗口k中目标四个角点在图像的位置，并且

$\left\{\begin{array}{c}(x_{\mathrm{Akt}},y_{\mathrm{Akt}})=\left(\right[x_{\mathrm{Ak}}+\frac{1}{8}{q}_k],[y_{\mathrm{Ak}}+\frac{1}{8}{q}_k\left]\right)\\ (x_{\mathrm{Bkt}},y_{\mathrm{Bkt}})=\left(\right[x_{\mathrm{Bk}}-\frac{1}{8}{q}_k],[y_{\mathrm{Bk}}+\frac{1}{8}{q}_k\left]\right)\\ (x_{\mathrm{Ckt}},y_{\mathrm{Ckt}})=\left(\right[x_{\mathrm{Ck}}+\frac{1}{8}{q}_k],[y_{\mathrm{Ck}}-\frac{1}{8}{q}_k\left]\right)\\ (x_{\mathrm{Dkt}},y_{\mathrm{Dkt}})=\left(\right[x_{\mathrm{Dk}}-\frac{1}{8}{q}_k],[y_{\mathrm{Dk}}-\frac{1}{8}{q}_k\left]\right)\end{array}\right.$

其中：[A]表示对A进行取整运算；

则背景的所有像素灰度和

（5）根据下式计算团聚性；

${\mathrm{Agglomeration}}_i^k=|\frac{S_{\mathrm{ti}}^k}{t_k\&times;t_k}-\frac{S_{\mathrm{bi}}^k}{q_k\&times;q_k-t_k\&times;t_k}|$

其中， $t_k=\frac{3}{4}{q}_k;$

（6）若则判定为目标，记录滑动窗口k的位置

（7）将与比较，若 $\left(\right|x_i^k-x_j^k|+|y_i^k-y_j^k\left|\right)<10,$ 其中1≤j≤i-1，和则为滑动窗口k下的同一目标，去掉团聚性较小的目标；

第四步，对不同大小滑动窗口下检测出来的目标进行综合

对于大小为k、s的两个滑动窗口，1≤k,s≤m，若则判定为同一目标，去掉团聚性较小的目标。

2.根据权利要求1所述的一种基于团聚性的适用于无人机可见光和红外图像的目标检测方法，第二步中，采用q_k×q_k大小的滑动窗口对图像进行遍历的具体方法为：

（1）滑动窗口以图像左上角作为起始位置；

（2）按行向右扫描，步长为

（3）扫描完一行后，滑动窗口在上行扫描起始位置下移继续按行向右扫描，步长为

（4）重复上述步骤直至滑动窗口遍历整幅图像。