CN110619255A - 一种目标检测方法及其装置 - Google Patents

Abstract

本申请提供一种目标检测方法及其装置，该方法包括：将待检测图像输入到预先训练的第一级联卷积神经网络，以得到所述待检测图像的第一特征图；根据预设参数从所述第一特征图中提取第一候选区域；通过预先训练的第二级联卷积神经网络确定第一候选区域中的第一前景区域以及各第一前景区域的置信度；通过预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行回归处理，以得到待检测图像中的目标区域。该方法可以提高多角度场景下的目标检测的准确率。

Description

一种目标检测方法及其装置

技术领域

本申请涉及图像处理技术，尤其涉及一种目标检测方法及其装置。

背景技术

在传统视觉领域，目标检测是一个非常热门的研究方向，一些特定目标的检测，比如人脸检测、行人检测、车辆检测等已经有非常成熟的技术了，但是这些技术适用的场景较简单，泛化能力不足。

复杂场景中最常见的就是大角度场景，当拍摄相机角度不固定时，图像中目标会呈现出多角度(其中包括大角度和小角度)。目前无论是传统检测算法还是基于深度学习的检测算法，在小角度目标上检测性能较优，但对于多角度目标，检测性能与角度大小呈反比，目标角度越大，检测性能越差。

其中，目标角度指目标所在平面与拍摄图像平面之间的夹角，以车辆检测为例，目标角度可以指拍摄图像中，车牌平面与拍摄图像平面之间的夹角。

因此，如何在倾斜场景中检测出多角度目标成为了目标检测领域中一个亟待解决的技术问题。

发明内容

有鉴于此，本申请提供一种目标检测方法及其装置。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种目标检测方法，包括：

将待检测图像输入到预先训练的第一级联卷积神经网络，以得到所述待检测图像的第一特征图；

根据预设参数从所述第一特征图中提取第一候选区域；其中，所述预设参数包括x轴方向角度或/和y轴方向角度；

通过预先训练的第二级联卷积神经网络确定第一候选区域中的第一前景区域以及各第一前景区域的置信度；其中，所述第一前景区域为置信度大于等于预设置信度阈值的第一候选区域；

通过预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行回归处理，以得到待检测图像中的目标区域。

根据本申请实施例的第二方面，提供一种目标检测装置，包括：

第一提取单元，用于将待检测图像输入到预先训练的第一级联卷积神经网络，以得到所述待检测图像的第一特征图；

第二提取单元，用于根据预设参数从所述第一特征图中提取第一候选区域；其中，所述预设参数包括x轴方向角度或/和y轴方向角度；

确定单元，用于通过预先训练的第二级联卷积神经网络确定第一候选区域中的第一前景区域以及各第一前景区域的置信度；其中，所述第一前景区域为置信度大于等于预设置信度阈值的第一候选区域；

处理单元，用于通过预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行回归处理，以得到待检测图像中的目标区域。

根据本申请实施例的第三方面，提供一种目标检测装置，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：

将待检测图像输入到预先训练的第一级联卷积神经网络，以得到所述待检测图像的第一特征图；

根据预设参数从所述第一特征图中提取第一候选区域；其中，所述预设参数包括x轴方向角度或/和y轴方向角度；

通过预先训练的第二级联卷积神经网络确定第一候选区域中的第一前景区域以及各第一前景区域的置信度；其中，所述第一前景区域为置信度大于等于预设置信度阈值的第一候选区域；

通过预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行回归处理，以得到待检测图像中的目标区域。

根据本申请实施例的第四方面，提供一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器：

将待检测图像输入到预先训练的第一级联卷积神经网络，以得到所述待检测图像的第一特征图；

根据预设参数从所述第一特征图中提取第一候选区域；其中，所述预设参数包括x轴方向角度或/和y轴方向角度；

通过预先训练的第二级联卷积神经网络确定第一候选区域中的第一前景区域以及各第一前景区域的置信度；其中，所述第一前景区域为置信度大于等于预设置信度阈值的第一候选区域；

通过预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行回归处理，以得到待检测图像中的目标区域。

本申请实施例的目标检测方法，通过将待检测图像输入到预先训练的第一级联卷积神经网络，以得到待检测图像的第一特征图，并根据预设参数从第一特征图中提取带有角度信息的第一候选区域，进而通过预先训练的第二级联卷积神经网络确定第一候选区域中的第一前景区域以及各第一前景区域的置信度，并通过预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行回归处理，以得到待检测图像中的目标区域，提高了目标检测对多角度场景的适用性，且提高了多角度场景下的目标检测的准确率。

附图说明

图1是本申请一示例性实施例示出的一种目标检测方法的流程图；

图2是本申请一示例性实施例示出的一种级联卷积神经网络训练方法的流程图；

图3是本申请一示例性实施例示出的一种第二候选区域与标注目标区域的示意图；

图4是本申请一示例性实施例示出的一种目标检测装置的结构示意图；

图5是本申请又一示例性实施例示出的一种目标检测装置的结构示意图；

图6是本申请一示例性实施例示出的一种目标检测装置的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图1，为本申请实施例提供的一种目标检测方法的流程示意图，其中，该目标检测方法可以应用于视频监控的后台服务器，如图1所示，该方法可以包括以下步骤：

步骤S100、将待检测图像输入到预先训练的第一级联卷积神经网络，以得到待检测的图像的第一特征图。

本申请实施例中，待检测图像可以为视频监控的前端设备获取的任一帧图像。

本申请实施例中，当需要进行目标检测时，可以将待检测图像输入到预先训练的第一级联卷积神经网络，以提取待检测图像的特征图(本文中称为第一特征图)。

其中，第一级联卷积神经网络可以包括用于特征图提取的串联或并联的多个卷积神经网络。

步骤S110、根据预设参数从第一特征图中提取第一候选区域。

本申请实施例中，在得到了待检测图像的第一特征图之后，可以根据预设参数从第一特征图中提取候选区域(本文中称为第一候选区域)。

为了保证所提取的候选区域与更接近目标区域，在进行候选区域提取时，需要考虑角度信息。

相应地，在本申请实施例中，预先设定的用户提取候选区域的参数(本文中称为预设参数)除了包括尺度、长宽比以及中心点位置(包括候选区域中心点的横坐标和纵坐标)之外，还可以包括候选区域的x轴方向角度或/和y轴方向角度。

其中，x轴方向角度是指候选区域水平方向的边界与检测图像的水平方向边界的夹角(下文中称为α角度)；y轴方向角度是指候选区域竖直方向的边界与检测图像的竖直方向边界的夹角(下文中称为β角度)。

在一个示例中，上述第一候选区域为平行四边形区域，上述预设参数可以包括尺度、长宽比、中心点位置、x轴方向角度以及y轴方向角度。

举例来说，假设预设参数中，尺度包括n个可选值，长宽比包括m个可选值(如1:2、1:3等)，中心点位置包括s*t个可选值，α角度包括u个可选值(如π/6、π/3、π/2等)，β角度包括v个可选值，则共可提取出n*m*s*t*u*v个候选区域。

应该认识到，在本申请实施例中，上述第一候选区域并不限于平行四边形，其也可以包括其它带有角度信息的多边形。例如，该第一候选区域还可以为等腰梯形，相应地，上述预设参数可以包括尺度，上下边长、中心点位置，x轴方向角度或y轴方向角度等。

为便于理解和描述，下文中以第一候选区域为平行四边形为例进行说明。

步骤S120、通过预先训练的第二级联卷积神经网络确定第一候选区域中的第一前景区域以及各第一前景区域的置信度。

本申请实施例中，在第一特征图中提取出第一候选区域之后，可以将标注有第一候选区域的第一特征图输入预先训练的第二级联卷积神经网络，由该第二级联卷积神经网络确定各第一候选区域为前景区域的置信度。

其中，第二级联卷积神经网络可以将前景区域的置信度大于等于预设置信度阈值(可以根据实际场景设定)的第一候选区域确定为前景区域(本文中称为第一前景区域)。

例如，假设预设的置信度阈值为80％，则第二级联卷积神经网络可以分别确定各第一候选区域为前景区域的置信度，并将置信度大于等于80％的第一候选区域确定为第一前景区域。

其中，第二级联卷积神经网络可以包括用于前景区域识别的串联或并联的多个卷积神经网络。

步骤S130、通过预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行回归处理，以得到待检测图像中的目标区域。

本申请实施例中，确定了第一前景区域以及各第一前景区域的置信度之后，可以确定置信度满足预设条件的第一前景区域。

作为一个实施例，上述置信度满足预设条件可以包括置信度大于等于上述置信度阈值，即第二级联卷积神经网络输出的各第一前景区域的置信度均满足预设条件。

作为另一个实施例中，上述置信度满足预设条件可以包括上述第一前景区域的置信度中的TOP N(即置信度最高的N个，N为正整数，其具体值可以根据实际场景设定)，即将上述第一前景区域的置信度按照从高到低的顺序排序，并将前N个置信度确定为满足预设条件的置信度。

例如，假设预设的置信度阈值为80％，N为10，则第二级联卷积神经网络确定了各第一候选区域为前景区域的置信度之后，可以将置信度大于等于80％的第一候选区域按照置信度从高到低的顺序排序，并按照排序结果将前10个置信度确定为满足预设条件的置信度。

需要说明的是，当置信度满足预设条件的第一前景区域的数量小于N时，可以直接将第一前景区域的置信度均确定为满足预设条件的置信度。

其中，第二级联卷积神经网络可以包括用于前景区域识别的串联或并联的多个卷积神经网络。

本申请实施例中，确定了置信度满足预设条件的第一前景区域之后，可以将该置信度满足预设条件的第一前景区域输入到预先训练的第三级联卷积神经网络进行回归处理，以得到待检测图像中的目标区域(下文中称为检测目标区域)。

可见，在图1所示方法流程中，进行候选区域提取时，所提取的候选区域为携带角度信息的候选区域，且该角度信息包括了x方向的角度或/和y方向的角度，保证了所提取的候选区域更接近目标区域，提高了目标检测对多角度场景的适用性，且提高了多角度场景下的目标检测的准确率。

请参见图2，在本申请其中一个实施例中，级联的上述第一级联卷积神经网络、上述第二级联卷积神经网络和上述第三级联卷积神经网络可以通过以下方式训练得到：

步骤S100a、对于训练集中的任一训练样本，将其输入第一级联卷积神经网络，以得到该训练样本对应的第二特征图。

本申请实施例中，在通过上述各级联卷积神经网络(包括第一级联卷积神经网络、第二级联卷积神经网络以及第三级联卷积神经网络)进行目标识别之前，需要使用包括一定数量(可以根据实际场景设定)的训练样本的训练集对各级联卷积神经网络进行训练，直至网络收敛，再进行目标检测任务。

相应地，在该实施例中，对于训练集中的任一训练样本，可以通过第一级联卷积神经网络提取该训练样本的特征图(本文中称为第二特征图)。

其中，训练样本可以为标注有目标区域的检测图像。

步骤S100b、根据预设参数确定第二特征图中的第二候选区域。

在该实施例中，步骤S100b的具体实现可以参见步骤S110中的相关描述，本申请实施例在此不再赘述。

需要说明的是，当步骤S110中的第一候选区域为平行四边形时，步骤S100b中的第二候选区域也为平行四边形。

步骤S100c、通过第二级联卷积神经网络确定第二候选区域中的第二前景区域。

在该实施例中，在确定了第二特征图中的第二候选区域之后，可以将标注有第一候选区域的第一特征图输入预先训练的第二级联卷积神经网络，由该第二级联卷积神经网络分别确定各第二候选区域与训练样本中预先标注的目标区域(下文中称为标注目标区域)的重合度。

在一个例子中，对于任一第二候选区域和标注目标区域，该第二候选区域与该标注目标区域的重合度overlap可以通过以下确定：

overlap＝(S_candidate∩S_target)/(S_candidate∪S_target)

其中，S_candidate为该候选区域的面积，S_target为该标注目标区域的面积，S_candidate∩S_target为该候选区域与该标注目标区域的重叠部分的面积，S_candidate∪S_target为该候选区域与该标注目标区域覆盖的总面积。

举例来说，以图3为例，平行四边形ABCD覆盖的区域为第二候选区域，矩形EFGH覆盖的区域为标注目标区域，I和J为平行四边形ABCD与矩形EFGH的交点，则该第二候选区域与标注目标区域的重合度overlap为：

overlap＝(S_ABCD∩S_EFGH)/(S_ABCD∪S_EFGH)

其中，S_ABCD∩S_EFGH为候选区域ABCD与该标注目标区域EFGH的重叠部分(即四边形EJID)的面积；S_ABCD∪S_EFGH为该候选区域ABCD与该标注目标区域EFGH覆盖的总面积，其为平行四边形ABCD和矩形EFGH的面积之和与四边形EJID的面积的差值。

在该实施例中，确定了各第二候选区域与标注目标区域的重合度之后，可以将与标注目标区域的重合度大于等于预设重合度阈值(本文中称为第一预设重合度阈值，可以实际场景设定，如85％)的第二候选区域确定为前景区域(本文中称为第二前景区域)。

步骤S100d、通过第三级联卷积神经网络对第二前景区域进行回归处理，以得到该训练样本中的目标区域。

在该实施例中，在确定了训练样本区域中的第二前景区域，且训练样本对应的第一类别损耗和重合度损耗满足要求之后，可以将第二前景区域输入到第三级联卷积神经网络中进行回归处理，以得到该训练样本中的目标区域(下文中称为训练目标区域)。

其中，对于任一训练目标区域，其进行回归处理时的特征点的个数可以根据目标边缘特点确定，例如，对于矩形区域，其进行回归处理时的特征点的个数为2个。

进一步地，在该实施例中，为了提高第一级联卷积神经网络和第二级联卷积神经网络的检测精度，上述步骤S100c之后，还可以包括：

根据该训练样本对应的第一类别损耗和/或重合度损耗，对级联的第一级联卷积神经网络和第二级联卷积神经网络的网络组合进行参数优化，直至该训练样本对应的第一类别损耗和重合度损耗满足要求。

其中，根据该训练样本对应的第一类别损耗和/或重合度损耗，对级联的所述第一级联卷积神经网络和所述第二级联卷积神经网络的网络组合进行参数优化，包括：当该训练样本中第一类型目标区域的数量与预先标注的目标区域的数量的比值大于或等于预设比例阈值时，对级联的所述第一级联卷积神经网络和所述第二级联卷积神经网络的网络组合进行参数优化，使得参数优化后该训练样本作为输入时，该训练样本中第一类型目标区域的数量与预先标注的目标区域的数量的比值小于预设比例阈值；其中，所述第一类型目标区域为不存在对应的第二前景区域的预先标注的目标区域；和/或；

当该训练样本中各第二前景区域与各第二前景区域对应的预先标注的目标区域的重合度的平均值小于第二预设重合度阈值时，对级联的所述第一级联卷积神经网络和所述第二级联卷积神经网络的网络组合进行参数优化，使得参数优化后该训练样本作为输入时，该训练样本中各第二前景区域与各第二前景区域对应的预先标注的目标区域的重合度的平均值大于或等于第二预设重合度阈值；其中，所述第二预设重合度阈值大于所述第一预设重合度阈值。

其中，所述对级联的所述第一级联卷积神经网络和所述第二级联卷积神经网络的网络组合进行参数优化，包括：对所述第一级联卷积神经网络和/或所述第二级联卷积神经网络的模型参数进行优化。

在该实施例中，确定了训练样本中的第二前景区域之后，在对第二前景区域进行回归处理之前，可以判断该训练样本对应的第一类别损耗或重合度损耗是否满足要求。

其中，第一类别为训练样本中第二候选区域的类别，其可以包括前景区域或背景区域，第一类别损耗可以为第二前景区域的数量与标注目标区域的数量与标注目标区域的数量的比值。

在一个例子中，上述训练样本对应的第一类别损耗满足要求，可以包括：

该训练样本中第一类型目标区域的数量与预先标注的目标区域的数量的比值小于预设比例阈值；

上述训练样本对应的第一类别损耗不满足要求，可以包括：

该训练样本中第一类型目标区域的数量与预先标注的目标区域的数量的比值大于等于预设比例阈值。

具体地，在确定了训练样本中的第二前景区域之后，可以进一步确定该训练样本中该训练样本中不存在对应的第二前景区域的预先标注的目标区域(本文中称为第一类型目标区域)的数量与预先标注的目标区域的数量的比值。

举例来说，对于某一训练样本，假设该训练样本中标注目标区域的数量为10个(如标注目标区域1～10)，假设按照上述步骤S100a～步骤S100c的方式提取出的第二前景区域中包括分别与标注目标区域1～9对应的第二前景区域(即与标注目标区域1～9中任一标注目标区域的重合度高于第一预设重合度阈值的第二候选区域)，而标注目标区域10不存在对应的第二前景区域(即不存在与标注目标区域10的重合度高于第一预设重合度阈值的第二候选区域，也即标注目标区域10为第一类型目标区域)，则该训练样本中第一类型目标区域的数量与预先标注的目标区域的数量的比值为10％(1/10*100％＝10％)。

在该实施例中，确定了训练样本中第一类型目标区域的数量的比值之后，可以判断该比值是否小于等于预设比例阈值(可以根据实际场景设定，如5％、10％等)；若是，则确定该训练样本对应的第一类别损耗满足要求；否则，确定该训练样本对应的第一类别损耗不满足要求。

在一个例子中，上述训练样本对应的重合度损耗满足要求，可以包括：

该训练样本中各第二前景区域与各第二前景区域对应的标注目标区域的重合度的平均值大于等于第二预设重合度阈值；其中，第二预设重合度阈值大于第一预设重合度阈值；

上述训练样本对应的重合度损耗不满足要求，包括：

该训练样本中各第二前景区域与各第二前景区域对应的标注目标区域的重合度的平均值小于第二预设重合度阈值。

具体地，在确定了训练样本中的第二前景区域之后，可以进一步确定该训练样本中各第二前景区域与各第二前景区域对应的标注目标区域的重合度的平均值。

举例来说，假设某训练样本中包括10个标注目标区域(分别为标注目标区域1～10)，且包括10个第二前景区域(分别为第二前景区域1～10)，其中，标注目标区域1对应第二前景区域1，标注目标区域2对应第二前景区域2…标注目标区域10对应第二前景区域10，假设标注目标区域i与第二前景区域i的重合度为overlap i(i＝1，2…，10)，则训练样本中各第二前景区域与对应的标注目标区域的重合度的平均值为(overlap1+overlap2…+overlap10)/10。

在该实施例中，确定了训练样本中各第二前景区域与各第二前景区域对应的标注目标区域的重合度的平均值之后，可以判断该平均值是否大于等于预设重合度阈值(本文中称为第二预设重合度阈值，可以根据实际场景设定)；其中，第二预设重合度阈值大于第一预设重合度阈值。

若该平均值大于等于第二预设重合度阈值，则确定该训练样本对应的重合度损耗满足要求；否则，确定该训练样本对应的重合度损耗不满足要求。

进一步地，在该实施例中，为了提高第一级联卷积神经网络和第二级联卷积神经网络的检测精度，上述步骤S100d之后，还可以包括：

当该训练样本中相对应的第一类型特征点与第二类型特征点之间的距离之和的平均值大于预设距离阈值时，优化第三级联卷积神经网络的系数，并重复针对第三级联卷积神经网络的训练，直至该训练样本中相对应的第一类型特征点与第二类型特征点之间的距离之和的平均值小于或等于预设距离阈值。

在该实施例中，对第二前景区域进行回归处理后，还需要判断训练目标区域的特征点损耗是否满足要求。

在一个例子中，上述训练样本中的各训练目标区域的特征点满足损耗要求，可以包括：

该训练样本中相对应的第一类型特征点与第二类型特征点之间的距离之和的平均值小于等于预设距离阈值；

上述该训练样本中的训练目标区域的特征点损耗不满足要求，可以包括：

该训练样本中相对应的第一类型特征点与第二类型特征点之间的距离之和的平均值大于预设距离阈值。

具体地，对于训练样本中的任一训练目标区域，可以确定该训练目标区域的各特征点(本文中称为第一类型特征点)与对应的标注目标区域的特征点(本文中称为第二类型特征点)之间的距离之和，进而，可以确定该训练样本中第一类型特征点与对应的第二类型特征点之间的距离之和的平均值。

举例来说，该训练样本中相对应的第一类型特征点与第二类型特征点之间的距离之和的平均值D可以通过以下公式确定：

其中，m为该训练样本中训练目标区域的数量，n_j为该训练样本中训练目标区域j的第一类型特征点的数量，d_j为该训练样本中训练目标区域j中各第一类型特征点与对应的标注目标区域j中各第二类型特征点的距离之和，(x_{detect_i}，y_{detect_i})为该训练样本中训练目标区域j中第一类型特征点i的坐标，(x_{target_i}，y_{target_i})为该训练样本中与训练目标区域j对应的标注目标区域j的第二类型特征点i的坐标。

在该实施例中，确定该训练样本中相对应的第一类型特征点与第二类型特征点之间的距离之和的平均值之后，可以判断该平均值是否大于预设距离阈值，若是，则确定该训练样本中的训练目标区域的特征点损耗不满足要求；否则，确定该训练样本中的训练目标区域的特征点损耗满足要求。

本申请实施例中，当训练集中各训练样本均按照上述步骤S100a～步骤S100e进行处理后，可以将训练好的第一级联卷积神经网络、第二级联卷积神经网络以及第三级联卷积神经网络按照步骤S100～步骤S130所示的方法流程进行目标检测。

进一步地，在本申请其中一个实施例中，上述训练样本对应的第一类别损耗和重合度满足损耗满足要求之后，还可以包括：

通过第三级联卷积神经网络对第二前景区域进行分类处理，以得到该训练样本中的目标类别；

若该训练样本中对应的第二类别损耗不满足要求，则优化第三级联卷积神经网络的系数，并重复针对第三级联卷积神经网络的训练，直至该训练样本对应的第二类别损耗满足要求。

本申请实施例中，进行目标检测时，还可以对目标的类别进行检测。

相应地，在该实施例中，当对第三级联卷积神经网络进行训练时，还可以训练第三级联卷积神经网络对目标类别(本文中称为第二类别)的识别。

其中，第二类别可以包括行人或、车辆(包括机动车或非机动车等)等。

在该实施例中，在确定了训练样本中的第二前景区域，且该训练样本的第一类别损耗和重合度损耗满足要求之后，还可以通过第三级联卷积神经网络对第二前景区域进行分类处理，以确定该训练样本中的目标类别，即第二前景区域输入第三级联卷积神经网络之后，不仅可以进行回归处理，以得到训练目标区域，还可以得到各训练目标区域的目标类别(即上述第二类别)。

在确定了训练样本中各训练目标区域的目标类别之后，还可以判断该训练样本中的第二类别损耗是否满足要求。若是，则结束该训练样本的训练；否则，优化第三级联卷积神经网络的系数，并重复针对第三级联卷积神经网络的训练，直至该训练样本对应的第二类别损耗满足要求。

即在该实施例中，对第三级联卷积神经网络进行训练时，需要保证任一训练样本对应的特征点损耗和第二类别损耗均满足要求；否则，需要进行系数优化，并重新进行训练。

在一个例子中，上述训练样本对应的第二类别损耗满足要求，可以包括：

该训练样本对应的目标类别的识别准确率大于等于预设准确率阈值；

上述该训练样本对应的第二类别损耗不满足要求，可以包括：

该训练样本对应的目标类别的识别准确率小于预设准确率阈值。

具体地，对于任一训练样本，通过第三级联卷积神经网络进行目标类别识别之后，可以确定该训练样本对应的目标类别的识别准确率。

举例来说，假设某训练样本中包括10个标注目标区域，通过上述第三级联卷积神经网络确定的训练目标区域的数量为9个，且其中8个训练目标区域识别出的第二类别与对应的标注目标区域的目标类别一致，则该训练样本对应的目标类别的识别准确率为80％。

在该实施例中，在确定了训练样本对应的目标类别的识别准确率之后，可以判断该识别准确率是否大于等于预设准确率阈值(可以根据实际场景设定)，若是，则确定该训练样本对应的第二类别损耗满足要求；否则，确定该训练样本对应的第二类别损耗不满足要求。

相应地，在该实施例中，上述通过预先训练的第二级联卷积神经网络确定各第一候选区域中的第一前景区域以及各第一前景区域的置信度之后，还可以包括：

通过预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行分类处理，以得到待检测图像中各目标区域的目标类别。

在该实施例中，当进行级联卷积神经网络的训练过程中训练了第三级联卷积神经网络的目标类别识别功能时，在使用训练后的级联卷积神经网络进行目标检测时，还可以进行目标类别识别。

相应地，当通过预先训练的第二级联卷积神经网络确定各第一候选区域中的第一前景区域以及各第一前景区域的置信度之后，可以通过预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行回归和分类处理，以得到待检测图像中的检测目标区域，以及各检测目标区域的目标类别。

本申请实施例中，通过将待检测图像输入到预先训练的第一级联卷积神经网络，以得到待检测图像的第一特征图，并根据预设参数从第一特征图中提取带有角度信息的第一候选区域，进而通过预先训练的第二级联卷积神经网络确定第一候选区域中的第一前景区域以及各第一前景区域的置信度，并通过预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行回归处理，以得到待检测图像中的目标区域，提高了目标检测对多角度场景的适用性，且提高了多角度场景下的目标检测的准确率。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

请参见图4，为本申请实施例提供的一种目标检测装置的结构示意图，如图4所示，该目标检测装置可以包括：

第一提取单元410，用于将待检测图像输入到预先训练的第一级联卷积神经网络，以得到所述待检测图像的第一特征图；

第二提取单元420，用于根据预设参数从所述第一特征图中提取第一候选区域；其中，所述预设参数包括x轴方向角度或/和y轴方向角度；

确定单元430，用于通过预先训练的第二级联卷积神经网络确定第一候选区域中的第一前景区域以及各第一前景区域的置信度；其中，所述第一前景区域为置信度大于等于预设置信度阈值的第一候选区域；

处理单元440，用于通过预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行回归处理，以得到待检测图像中的目标区域。

在一种可选的实施方式中，所述第一候选区域为平行四边形区域，所述预设参数包括尺度、长宽比、中心点位置、x轴方向角度以及y轴方向角度。

在一种可选的实施方式中，所述第一提取单元410，还用于对于训练集中的任一训练样本，将其输入第一级联卷积神经网络，以得到该训练样本对应的第二特征图；

所述第二提取单元420，还用于根据所述预设参数确定所述第二特征图中的第二候选区域；

所述确定单元430，还用于通过第二级联卷积神经网络确定所述第二候选区域中的第二前景区域；其中，所述第二前景区域为与该训练样本中预先标注的目标区域的重合度高于第一预设重合度阈值的第二候选区域；

所述处理单元440，还用于通过第三级联卷积神经网络对第二前景区域进行回归处理，以得到该训练样本中的目标区域。

在一种可选的实施方式中，如图5所示，所述装置还包括：

参数优化单元450，用于根据该训练样本对应的第一类别损耗和/或重合度损耗，对级联的所述第一级联卷积神经网络和所述第二级联卷积神经网络的网络组合进行参数优化，直至该训练样本对应的第一类别损耗和重合度损耗满足要求。

在一种可选的实施方式中，所述参数优化单元450，具体用于当该训练样本中第一类型目标区域的数量与预先标注的目标区域的数量的比值大于或等于预设比例阈值时，对级联的所述第一级联卷积神经网络和所述第二级联卷积神经网络的网络组合进行参数优化，使得参数优化后该训练样本作为输入时，该训练样本中第一类型目标区域的数量与预先标注的目标区域的数量的比值小于预设比例阈值；其中，所述第一类型目标区域为不存在对应的第二前景区域的预先标注的目标区域；和/或；

当该训练样本中各第二前景区域与各第二前景区域对应的预先标注的目标区域的重合度的平均值小于第二预设重合度阈值时，对级联的所述第一级联卷积神经网络和所述第二级联卷积神经网络的网络组合进行参数优化，使得参数优化后该训练样本作为输入时，该训练样本中各第二前景区域与各第二前景区域对应的预先标注的目标区域的重合度的平均值大于或等于第二预设重合度阈值；其中，所述第二预设重合度阈值大于所述第一预设重合度阈值。

在一种可选的实施方式中，所述参数优化单元450，具体用于对所述第一级联卷积神经网络和/或所述第二级联卷积神经网络的模型参数进行优化。

在一种可选的实施方式中，所述参数优化单元450，具体用于对于任一第二候选区域和预先标注的目标区域，通过以下公式确定该第二候选区域与该预先标注的目标区域的重合度overlap：

overlap＝(S_candidate∩S_target)/(D_candidate∪S_target)

其中，S_candidate为该第二候选区域的面积，S_target为该预先标注的目标区域的面积，S_candidate∩S_target为该第二候选区域与该预先标注的目标区域的重叠部分的面积，S_candidate∪S_target为该第二候选区域与该预先标注的目标区域覆盖的总面积。

在一种可选的实施方式中，所述参数优化单元450，还用于当该训练样本中相对应的第一类型特征点与第二类型特征点之间的距离之和的平均值大于预设距离阈值时，优化所述第三级联卷积神经网络的系数，并重复针对第三级联卷积神经网络的训练，直至该训练样本中相对应的第一类型特征点与第二类型特征点之间的距离之和的平均值小于或等于所述预设距离阈值；

其中，第一类型特征点为该训练样本中各目标区域的特征点，第一类型特征点对应的第二类型特征点为各目标区域对应的预先标注的目标区域的对应特征点。

在一种可选的实施方式中，所述参数优化单元450，具体用于通过以下公式确定该训练样本中相对应的第一类型特征点与第二类型特征点之间的距离之和的平均值D：

其中，m为该训练样本中目标区域的数量，n_j为该训练样本中目标区域j的第一类型特征点的数量，d_j为该训练样本中目标区域j中各第一类型特征点与对应的预先标注的目标区域j中各第二类型特征点的距离之和，(x_{detect_i}，y_{detect_i})为该训练样本中目标区域j中第一类型特征点i的坐标，(x_{target_i}，y_{target_i})为该训练样本中与目标区域j对应的预先标注的目标区域j的第二类型特征点i的坐标。

在一种可选的实施方式中，所述处理单元440，还用于通过所述第三级联卷积神经网络对所述第二前景区域进行分类处理，以得到该训练样本中的目标类别；

所述参数优化单元450，还用于若该训练样本对应的第二类别损耗不满足要求，则优化所述第三级联卷积神经网络的系数，并重复针对第三级联卷积神经网络的训练，直至该训练样本对应的第二类别损耗满足要求。

在一种可选的实施方式中，所述该训练样本对应的第二类别损耗满足要求，包括：

该训练样本对应的目标类别的识别准确率大于等于预设准确率阈值；

所述该训练样本对应的第二类别损耗不满足要求，包括：

该训练样本对应的目标类别的识别准确率小于预设准确率阈值。

在一种可选的实施方式中，所述处理单元440，还用于通过所述预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行分类处理，以得到待检测图像中各目标区域的目标类别。

请参见图6，为本申请实施例提供的一种目标检测装置的硬件结构示意图。该目标检测装置可以包括处理器601、存储有机器可执行指令的机器可读存储介质602。处理器601与机器可读存储介质602可经由系统总线603通信。并且，通过读取并执行机器可读存储介质602中与目标检测逻辑对应的机器可执行指令，处理器601可执行上文描述的目标检测方法。

本文中提到的机器可读存储介质602可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

本申请实施例还提供了一种包括机器可执行指令的机器可读存储介质，例如图6中的机器可读存储介质602，所述机器可执行指令可由目标检测装置中的处理器601执行以实现以上描述的目标检测方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (26)

1.一种目标检测方法，其特征在于，包括：

将待检测图像输入到预先训练的第一级联卷积神经网络，以得到所述待检测图像的第一特征图；

根据预设参数从所述第一特征图中提取第一候选区域；其中，所述预设参数至少包括x轴方向角度或/和y轴方向角度；

通过预先训练的第二级联卷积神经网络确定第一候选区域中的第一前景区域以及各第一前景区域的置信度；其中，所述第一前景区域为置信度大于等于预设置信度阈值的第一候选区域；

通过预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行回归处理，以得到待检测图像中的目标区域。

2.根据权利要求1任一项所述的方法，其特征在于，所述第一候选区域为平行四边形区域，所述预设参数包括尺度、长宽比、中心点位置、x轴方向角度以及y轴方向角度。

3.根据权利要求1所述的方法，其特征在于，级联的所述第一级联卷积神经网络、所述第二级联卷积神经网络和所述第三级联卷积神经网络通过以下方式训练得到：

对于训练集中的任一训练样本，将其输入第一级联卷积神经网络，以得到该训练样本对应的第二特征图；

根据所述预设参数确定所述第二特征图中的第二候选区域；

通过第二级联卷积神经网络确定所述第二候选区域中的第二前景区域；其中，所述第二前景区域为与该训练样本中预先标注的目标区域的重合度高于第一预设重合度阈值的第二候选区域；

通过第三级联卷积神经网络对所述第二前景区域进行回归处理，以得到该训练样本中的目标区域。

4.根据权利要求3所述的方法，其特征在于，所述通过第二级联卷积神经网络确定所述第二候选区域中的第二前景区域之后，所述方法还包括：

根据该训练样本对应的第一类别损耗和/或重合度损耗，对级联的所述第一级联卷积神经网络和所述第二级联卷积神经网络的网络组合进行参数优化，直至该训练样本对应的第一类别损耗和重合度损耗满足要求。

5.根据权利要求4所述的方法，其特征在于，根据该训练样本对应的第一类别损耗和/或重合度损耗，对级联的所述第一级联卷积神经网络和所述第二级联卷积神经网络的网络组合进行参数优化，包括：

当该训练样本中第一类型目标区域的数量与预先标注的目标区域的数量的比值大于或等于预设比例阈值时，对级联的所述第一级联卷积神经网络和所述第二级联卷积神经网络的网络组合进行参数优化，使得参数优化后该训练样本作为输入时，该训练样本中第一类型目标区域的数量与预先标注的目标区域的数量的比值小于预设比例阈值；其中，所述第一类型目标区域为不存在对应的第二前景区域的预先标注的目标区域；和/或；

当该训练样本中各第二前景区域与各第二前景区域对应的预先标注的目标区域的重合度的平均值小于第二预设重合度阈值时，对级联的所述第一级联卷积神经网络和所述第二级联卷积神经网络的网络组合进行参数优化，使得参数优化后该训练样本作为输入时，该训练样本中各第二前景区域与各第二前景区域对应的预先标注的目标区域的重合度的平均值大于或等于第二预设重合度阈值；其中，所述第二预设重合度阈值大于所述第一预设重合度阈值。

6.根据权利要求4或5所述的方法，其特征在于，

所述对级联的所述第一级联卷积神经网络和所述第二级联卷积神经网络的网络组合进行参数优化，包括：

对所述第一级联卷积神经网络和/或所述第二级联卷积神经网络的模型参数进行优化。

7.根据权利要求3所述的方法，其特征在于，对于任一第二候选区域和预先标注的目标区域，该第二候选区域与该预先标注的目标区域的重合度overlap通过以下公式确定：

overlap＝(S_candidate∩S_target)/(S_candidate∪S_target)

其中，S_candidate为该第二候选区域的面积，S_target为该预先标注的目标区域的面积，S_candidate∩S_target为该第二候选区域与该预先标注的目标区域的重叠部分的面积，S_candidate∪S_target为该第二候选区域与该预先标注的目标区域覆盖的总面积。

8.根据权利要求3所述的方法，其特征在于，通过第三级联卷积神经网络对所述第二前景区域进行回归处理，以得到该训练样本中的目标区域之后，所述方法还包括：

当该训练样本中相对应的第一类型特征点与第二类型特征点之间的距离之和的平均值大于预设距离阈值时，优化所述第三级联卷积神经网络的系数，并重复针对第三级联卷积神经网络的训练，直至该训练样本中相对应的第一类型特征点与第二类型特征点之间的距离之和的平均值小于或等于所述预设距离阈值；

其中，第一类型特征点为该训练样本中各目标区域的特征点，第一类型特征点对应的第二类型特征点为各目标区域对应的预先标注的目标区域的对应特征点。

9.根据权利要求8所述的方法，其特征在于，所述该训练样本中相对应的第一类型特征点与第二类型特征点之间的距离之和的平均值D通过以下公式确定：

其中，m为该训练样本中目标区域的数量，n_j为该训练样本中目标区域j的第一类型特征点的数量，d_j为该训练样本中目标区域j中各第一类型特征点与对应的预先标注的目标区域j中各第二类型特征点的距离之和，(x_{detect_i}，y_{setect_i})为该训练样本中目标区域j中第一类型特征点i的坐标，(x_{target_i}，y_{target_i})为该训练样本中与目标区域j对应的预先标注的目标区域j的第二类型特征点i的坐标。

10.根据权利要求3所述的方法，其特征在于，所述该训练样本对应的第一类别损耗和重合度损耗满足要求之后，还包括：

通过所述第三级联卷积神经网络对所述第二前景区域进行分类处理，以得到该训练样本中的目标类别；

若该训练样本对应的第二类别损耗不满足要求，则优化所述第三级联卷积神经网络的系数，并重复针对第三级联卷积神经网络的训练，直至该训练样本对应的第二类别损耗满足要求。

11.根据权利要求10所述的方法，其特征在于，所述该训练样本对应的第二类别损耗满足要求，包括：

该训练样本对应的目标类别的识别准确率大于等于预设准确率阈值；

所述该训练样本对应的第二类别损耗不满足要求，包括：

该训练样本对应的目标类别的识别准确率小于预设准确率阈值。

12.根据权利要求10所述的方法，其特征在于，所述通过预先训练的第二级联卷积神经网络确定各第一候选区域中的第一前景区域以及各第一前景区域的置信度之后，还包括：

通过所述预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行分类处理，以得到待检测图像中各目标区域的目标类别。

13.一种目标检测装置，其特征在于，包括：

第一提取单元，用于将待检测图像输入到预先训练的第一级联卷积神经网络，以得到所述待检测图像的第一特征图；

第二提取单元，用于根据预设参数从所述第一特征图中提取第一候选区域；其中，所述预设参数包括x轴方向角度或/和y轴方向角度；

确定单元，用于通过预先训练的第二级联卷积神经网络确定第一候选区域中的第一前景区域以及各第一前景区域的置信度；其中，所述第一前景区域为置信度大于等于预设置信度阈值的第一候选区域；

处理单元，用于通过预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行回归处理，以得到待检测图像中的目标区域。

14.根据权利要求13所述的装置，其特征在于，所述第一候选区域为平行四边形区域，所述预设参数包括尺度、长宽比、中心点位置、x轴方向角度以及y轴方向角度。

15.根据权利要求13所述的装置，其特征在于，

所述第一提取单元，还用于对于训练集中的任一训练样本，将其输入第一级联卷积神经网络，以得到该训练样本对应的第二特征图；

所述第二提取单元，还用于根据所述预设参数确定所述第二特征图中的第二候选区域；

所述确定单元，还用于通过第二级联卷积神经网络确定所述第二候选区域中的第二前景区域；其中，所述第二前景区域为与该训练样本中预先标注的目标区域的重合度高于第一预设重合度阈值的第二候选区域；

所述处理单元，还用于通过第三级联卷积神经网络对第二前景区域进行回归处理，以得到该训练样本中的目标区域。

16.根据权利要求15所述的装置，其特征在于，所述装置还包括：

参数优化单元，用于根据该训练样本对应的第一类别损耗和/或重合度损耗，对级联的所述第一级联卷积神经网络和所述第二级联卷积神经网络的网络组合进行参数优化，直至该训练样本对应的第一类别损耗和重合度损耗满足要求。

17.根据权利要求16所述的装置，其特征在于，

所述参数优化单元，具体用于当该训练样本中第一类型目标区域的数量与预先标注的目标区域的数量的比值大于或等于预设比例阈值时，对级联的所述第一级联卷积神经网络和所述第二级联卷积神经网络的网络组合进行参数优化，使得参数优化后该训练样本作为输入时，该训练样本中第一类型目标区域的数量与预先标注的目标区域的数量的比值小于预设比例阈值；其中，所述第一类型目标区域为不存在对应的第二前景区域的预先标注的目标区域；和/或；

当该训练样本中各第二前景区域与各第二前景区域对应的预先标注的目标区域的重合度的平均值小于第二预设重合度阈值时，对级联的所述第一级联卷积神经网络和所述第二级联卷积神经网络的网络组合进行参数优化，使得参数优化后该训练样本作为输入时，该训练样本中各第二前景区域与各第二前景区域对应的预先标注的目标区域的重合度的平均值大于或等于第二预设重合度阈值；其中，所述第二预设重合度阈值大于所述第一预设重合度阈值。

18.根据权利要求16或17所述的装置，其特征在于，

所述参数优化单元，具体用于对所述第一级联卷积神经网络和/或所述第二级联卷积神经网络的模型参数进行优化。

19.根据权利要求15所述的装置，其特征在于，

所述参数优化单元，具体用于对于任一第二候选区域和预先标注的目标区域，通过以下公式确定该第二候选区域与该预先标注的目标区域的重合度overlap：

overlap＝(S_candidate∩S_target)/(S_candidate∪S_target)

其中，S_candidate为该第二候选区域的面积，S_target为该预先标注的目标区域的面积，S_candidate∩S_target为该第二候选区域与该预先标注的目标区域的重叠部分的面积，S_candidate∪S_target为该第二候选区域与该预先标注的目标区域覆盖的总面积。

20.根据权利要求16所述的装置，其特征在于，

所述参数优化单元，还用于当该训练样本中相对应的第一类型特征点与第二类型特征点之间的距离之和的平均值大于预设距离阈值时，优化所述第三级联卷积神经网络的系数，并重复针对第三级联卷积神经网络的训练，直至该训练样本中相对应的第一类型特征点与第二类型特征点之间的距离之和的平均值小于或等于所述预设距离阈值；

其中，第一类型特征点为该训练样本中各目标区域的特征点，第一类型特征点对应的第二类型特征点为各目标区域对应的预先标注的目标区域的对应特征点。

21.根据权利要求20所述的装置，其特征在于，

所述参数优化单元，具体用于通过以下公式确定该训练样本中相对应的第一类型特征点与第二类型特征点之间的距离之和的平均值D：

其中，m为该训练样本中目标区域的数量，n_j为该训练样本中目标区域j的第一类型特征点的数量，d_j为该训练样本中目标区域j中各第一类型特征点与对应的预先标注的目标区域j中各第二类型特征点的距离之和，(x_{detect_i}，y_{detect_i})为该训练样本中目标区域j中第一类型特征点i的坐标，(x_{target_i}，y_{target_i})为该训练样本中与目标区域j对应的预先标注的目标区域j的第二类型特征点i的坐标。

22.根据权利要求16所述的装置，其特征在于，

所述处理单元，还用于通过所述第三级联卷积神经网络对所述第二前景区域进行分类处理，以得到该训练样本中的目标类别；

所述参数优化单元，还用于若该训练样本对应的第二类别损耗不满足要求，则优化所述第三级联卷积神经网络的系数，并重复针对第三级联卷积神经网络的训练，直至该训练样本对应的第二类别损耗满足要求。

23.根据权利要求22所述的装置，其特征在于，所述该训练样本对应的第二类别损耗满足要求，包括：

该训练样本对应的目标类别的识别准确率大于等于预设准确率阈值；

所述该训练样本对应的第二类别损耗不满足要求，包括：

该训练样本对应的目标类别的识别准确率小于预设准确率阈值。

24.根据权利要求22所述的装置，其特征在于，

所述处理单元，还用于通过所述预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行分类处理，以得到待检测图像中各目标区域的目标类别。

25.一种目标检测装置，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：

将待检测图像输入到预先训练的第一级联卷积神经网络，以得到所述待检测图像的第一特征图；

根据预设参数从所述第一特征图中提取第一候选区域；其中，所述预设参数包括x轴方向角度或/和y轴方向角度；

通过预先训练的第二级联卷积神经网络确定第一候选区域中的第一前景区域以及各第一前景区域的置信度；其中，所述第一前景区域为置信度大于等于预设置信度阈值的第一候选区域；

通过预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行回归处理，以得到待检测图像中的目标区域。

26.一种机器可读存储介质，其特征在于，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器：

将待检测图像输入到预先训练的第一级联卷积神经网络，以得到所述待检测图像的第一特征图；

根据预设参数从所述第一特征图中提取第一候选区域；其中，所述预设参数包括x轴方向角度或/和y轴方向角度；

通过预先训练的第二级联卷积神经网络确定第一候选区域中的第一前景区域以及各第一前景区域的置信度；其中，所述第一前景区域为置信度大于等于预设置信度阈值的第一候选区域；

通过预先训练的第三级联卷积神经网络对置信度满足预设条件的第一前景区域进行回归处理，以得到待检测图像中的目标区域。