CN111898481B - 一种指针式分合闸指示器的状态识别方法及设备 - Google Patents

Abstract

本申请公开了一种指针式分合闸指示器的状态识别方法及设备，用以解决在摄像头不能正对指示器安装时，无法正确识别指示内容的技术问题。方法包括：接收图像采集设备上传的有关指针式分合闸指示器的第一图像数据；将第一图像数据输入至指针式分合闸指示器检测模型中，得到第二图像数据；其中，第二图像数据中包括指针标注框、分标注框、合标注框；确定第二图像数据中各标注框分别对应的中心点位置信息以及深度；其中，深度用于表示各中心点与图像采集设备之间的距离；基于各中心点分别对应的位置信息及深度，通过几何算法确定指针式分合闸指示器的指示状态。本申请通过上述方法保证了在图像采集设备无法正对指示器安装时，也能正确识别指示状态。

Description

一种指针式分合闸指示器的状态识别方法及设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种指针式分合闸指示器的状态识别方法及设备。

背景技术

指针式分合闸指示器是变电站中常用的一种分合闸指示器，该种分合闸指示器通过指针指示当前刀闸的分合状态，而刀闸的分合状态是变电站工作人员重点关注的内容之一。

但是由于变电站内场景复杂、环境特殊，对用于采集指针式分合闸指示器图片的摄像头的安装位置提出了很多要求。在某些场景下由于空间的限制，难以安装正对指针式分合闸指示器拍摄的摄像头，从而导致了视觉的偏差，利用现有的指示器状态识别方案难以判断当前的指针指向是“分”状态还是“合”状态。

发明内容

本申请实施例提供了一种指针式分合闸指示器的状态识别方法及设备，用以解决现有的分合闸指示器状态识别方法在摄像头不能正对指示器安装时，无法正确识别“分”状态或者“合”状态的技术问题。

一方面，本申请实施例提供了一种指针式分合闸指示器的状态识别方法，包括：接收图像采集设备上传的有关指针式分合闸指示器的第一图像数据；将第一图像数据输入至指针式分合闸指示器检测模型中，得到第二图像数据；其中，第二图像数据中包括指针标注框、分标注框、合标注框；确定第二图像数据中各标注框分别对应的中心点位置信息，以及确定各中心点分别对应的深度；其中，深度用于表示各中心点与图像采集设备之间的距离；基于各中心点分别对应的位置信息及深度，通过几何算法，确定指针式分合闸指示器的指示状态。

本申请实施例通过采集指针式分合闸指示器对应的二维图像及深度图像，并将二维图像输入至指针式分合闸指示器检测模型中，对指针、指示内容“分”、“合”，进行标注，确定出指针、指示内容分别对应的中心点位置，以及各中心点分别对应的深度。然后利用深度、位置信息，通过几何算法计算距离，进而得出指针式分合闸指示器的指示状态。通过上述方法实现了即使在摄像头无法正对指示器安装时，也能根据采集的图像数据实现指示状态的识别，并且能够保证状态识别的准确性以及高效性。

在本申请的一种实现方式中，基于各中心点分别对应的位置信息及深度，通过几何算法，确定指针式分合闸指示器的指示状态，具体包括：以第一图像数据的左边界为纵轴，上边界为横轴，左边界与上边界的交点为原点，构建第一坐标系；通过各中心点的位置信息，确定各中心点在所述第一坐标系中的第一横坐标与第一纵坐标；基于第一坐标系的横轴、纵轴及原点，构建第二坐标系；其中，各中心点在第二坐标系下的第二横坐标与第一横坐标相同，第二纵坐标为各中心点的深度；通过各中心点以及各中心点之间的连线在第二坐标系中的几何关系，计算得出指针标注框中心点与分标注框中心点之间的第一距离，以及指针标注框中心点与合标注框中心点之间的第二距离。

本申请实施例提供的状态识别方法实际采用了三维视觉算法，通过第一图像数据构建的第一坐标系，作为正视方向的数据时，基于第一坐标系构建的第二坐标系就相当于在俯视方向上得到的数据。因此，第一坐标系中的横纵坐标代表各中心点在正视图中的位置信息，第二坐标系中的横坐标代表位置信息，纵坐标代表深度，即各个中心点与摄像头之间的距离。通过三维视觉算法确定各中心点以及各中心点之间的连线在第二坐标系中的几何关系，就可以确定出指针标注框中心点与分标注框中心点或者合标注框中心点之间的距离，进而根据距离得到对应的指示状态。实现了由于摄像头安装位置不是正对指示器，而导致出现视觉偏差时，也能及时有效的识别指示状态，并保证指示状态识别的准确性。

在本申请的一种实现方式中，方法还包括：在第一距离小于第一预设阈值的情况下，确定指针式分合闸指示器的指示状态为分状态。

在本申请的一种实现方式中，方法还包括：确定第一距离与第二距离之间的大小关系；根据大小关系，确定指针式分合闸指示器的指示状态。

在本申请的一种实现方式中，在将第一图像数据输入至指针式分合闸指示器检测模型中之前，方法还包括：获取若干指针式分合闸指示器对应的图像数据，并基于图像数据构建训练数据集；通过训练数据集对神经网络模型进行训练、验证，得到指针式分合闸指示器检测模型。

在本申请的一种实现方式中，基于图像数据构建训练数据集，具体包括：通过Labellmg标注工具，对图像数据中包含的指针信息、指示内容信息进行标注；根据标注后的图像数据，构建训练数据集。通过标注后的图像数据训练指针式分合闸指示器的检测模型，以便于在将第一图像数据输入指针式分合闸指示器模型中时，使得到的第二图像数据中含有指针、指示内容的标注框。进而实现了可以通过各标注框的中心点之间的位置关系，确定指示状态。

在本申请的一种实现方式中，指针式分合闸指示器检测模型采用Yolov3物体检测算法模型进行训练。

在本申请的一种实现方式中，确定各中心点分别对应的深度，具体包括：通过图像采集设备采集第一图像数据对应的深度图像数据；将深度图像数据与第二图像数据进行图像配准，得到配准深度图像；基于配准深度图像，确定第二图像数据中各中心点分别对应的深度。

在本申请的一种实现方式中，图像采集设备采用RGB-D相机。

另一方面，本申请实施例还提供了一种指针式分合闸指示器的状态识别设备，包括：处理器；及存储器，其上存储有可执行代码，当可执行代码被执行时，使得处理器执行如上述的一种指针式分合闸指示器的状态识别方法。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种指针式分合闸指示器的状态识别方法流程图；

图2为本申请实施例提供的第一坐标系结构示意图；

图3为本申请实施例提供的第二坐标系结构示意图；

图4为本申请实施例提供的一种指针式分合闸指示器的状态识别设备内部结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

指针式分合闸指示器是变电站中常用的一种分合闸指示器，该种分合闸指示器通过指针指示刀闸的当前分合状态，而刀闸状态是变电站巡视人员重点关注的对象之一。但由于变电站内场景复杂，环境复杂。对用于采集指针式分合闸指示器图像的图像采集设备的安装位置提出了很多要求，以至于在某些场景下，由于空间不足，导致图像采集设备无法正对指针式分合闸指示器安装，从而导致了视觉偏差的出现。

因此，利用现有的状态识别算法或者方法，在图像采集设备不是正对指针式分合闸指示器位置安装时，无法正确识别指针式分合闸指示器的指示状态。

本申请实施例提供了一种指针式分合闸指示器的状态识别方法及设备，通过指针标注框及指示内容标注框的中心点之间的位置关系及深度，判断指针标注框中心点分别与分标注框中心点、合标注框中心点之间的距离关系，进而识别出指示器的指示状态，以解决上述技术问题。

下面通过附图对本申请实施例提出的技术方案进行详细的说明。

图1为本申请实施例提供的一种指针式分合闸指示器的状态识别方法流程图。如图1所示，指针式分合闸指示器的状态识别过程，主要包括以下步骤：

步骤101、服务器接收图像采集设备上传的有关指针式分合闸指示器的第一图像数据。

服务器接收图像采集设备采集的有关指针式分合闸指示器的图像数据。

本申请实施例中，图像采集设备采集的图像数据可以是正对指针式分合闸指示器采集的图像，也可以是侧面拍摄的指针式分合闸指示器的图像。为解决上述提出的技术问题，本申请实施例采用图像采集设备在侧面拍摄的图像作为有关指针式分合闸指示器的第一图像数据进行研究。

需要说明的是，本申请实施例中的图像采集设备将采集的图像数据上传至服务器时，可以采用有线传输方式，也可以采用WiFi等无线传输方式，本申请实施例对此不作限定。

步骤102、将第一图像数据输入指针式分合闸指示器检测模型中，得到第二图像数据。

在接收到第一图像数据之后，将第一图像数据输入至指针式分合闸指示器检测模型中，以对指针式分合闸指示器的指针、指示内容“分”、“合”进行标注，得到第二图像数据。

进一步地，第二图像数据中包括指针标注框、分标注框以及合标注框。

在本申请的一个实施例中，指针式分合闸指示器检测模型，是一种神经网络模型，用于对输入该模型的图像数据进行处理，即通过标注框标注出第一图像数据中的指针位置、指示内容位置。

在本申请的另一实施例中，在将第一图像数据输入至指针式分合闸指示器检测模型中之前，需要通过若干有关指针式分合闸指示器的图像数据对神经网络模型进行训练，得到指针式分合闸指示器检测模型。

具体地，收集有关指针式分合闸指示器的图像，然后通过Labellmg标注工具对收集的图像进行标注；即通过标注框的方式，标注出每张图像中的指针位置、指示内容“分”、“合”的位置，得到训练数据集。

需要说明的是，用于构建神经网络模型训练数据集的有关指针式分合闸指示器的图像数据，包括在指针式分合闸指示器的各个角度采集到的图像数据。

然后，通过训练数据集，对神经网络模型进行训练、验证，得到指针式分合闸指示器检测模型。

对指针式分合闸指示器检测模型进行的验证过程，也是通过构建的训练数据集来完成的。

在本申请的一个实施例中，采用无图检测算法Yolov3搭建指针式分合闸指示器检测模型。

至此，训练得到指针式分合闸指示器检测模型。将第一图像数据输入后，输出带有三个标注框的第二图像数据。其中，三个标注框分别为：指针标注框、分标注框以及合标注框。

本领域技术人员可以明确的是，指针标注框用于标注出指针所在的位置；分标注框用于标注出指示内容“分”的位置；以及合标注框用于标注出指示内容“合”的位置。

步骤103、通过图像采集设备得到第一图像数据对应的深度图像数据。

在本申请的一个实施例中，通过特定的RGB-D相机采集深度图像。

其中，深度图像上每个像素点的深度代表该像素点到RGB-D相机所在平面的距离。

本领域技术人员可以明确的是，本申请实施例中获取的深度图像数据，可以通过现有的图像采集设备或者方法来得到，本申请实施例在此不做赘述。

步骤104、确定各标注框中心点的位置关系及深度。

在得到第二图像数据之后，通过几何算法确定出第二图像数据中，每个标注框对应中心点的位置。即指针标注框中心点的位置、分标注框中心点的位置、合标注框中心点的位置。

在本申请的一个实施例中，可以通过像素坐标表示各个标注框对应中心点的位置信息。

例如，第二图像数据为200*200的图像，以第二图像数据的上边界为横轴、左边界为纵轴，上边界与左边界的交点为原点，构建像素坐标系。在像素坐标系中，确定指针标注框中心点的像素坐标为(45，85)；分标注框中心点的像素坐标为(97，99)；分标注框中心点的像素坐标为(125，106)。

其中，坐标(45,85)表示指针标注框中心点位于横轴方向上第45个、纵轴方向上85个像素点。

进一步地，在得到深度图像数据之后，将深度图像与第二图像数据进行图像配准，即使第二图像数据与深度图像数据进行重合，得到配准深度图像。

然后将第二图像上的针标注框中心点、分标注框中心点、合标注框中心点对应的像素坐标，映射到深度图像坐标系中。其中，深度图像坐标系的建立方法与上述构建像素坐标系的方法一致，本申请实施例在此不做赘述。

确定各个中心点在深度图像上对应的像素点之后，根据所使用的RGB-D相机尺度因子，计算得出指针标注框中心点、分标注框中心点以及合标注框中心点分别对应的深度信息。

至此，确定出第二图像数据中的指针标注框中心点、分标注框中心点以及合标注框中心点分别对应的位置信息及深度。

步骤105、通过几何算法，确定指针式分合闸指示器的指示状态。

在得到各个中心点的位置信息及深度之后，通过几何算法，确定指针式分合闸指示器对应的指示状态。

在本申请的一个实施例中，将第二图像数据的上边界作为横轴、左边界作为纵轴、左边界与上边界的交点作为原点，构建第一坐标系，如图2所示；并确定第二图像数据中，各个中心点分别对应的第一横坐标与第一纵坐标。

图2为本申请实施例提供的第一坐标系结构示意图。如图2所示，第一坐标系是基于第二图像数据建立的，其中包括指针、指示内容“分”、指示内容“合”；还包括指针标注框、分标注框、合标注框，以及各个标注框分别对应的中心点。

在第二图像数据对应的第一坐标系中，可以明确的得到各个中心点分别对应的位置信息，但是仅通过第一横坐标和/或第一纵坐标，很难确定出各个中心点之间的实际位置关系，进而不能准确的判断出指针式分合闸指示器的指示状态。

如图2所示，指针标注框中心点的横坐标与分标注框中心点之间的距离较“近”，而与合标注框中心点之间的距离较“远”，这是由于图像采集设备不是正对指针式分合闸指示器采集图像，而造成的视觉偏差，并不能代表真实的位置关系。

进一步地，将图像采集设备的拍摄方向作为正视方向，得到第二图像数据对应的俯视方向上的图像数据，并基于该图像数据构建第二坐标系，如图3所示。

在第二坐标系中，各个中心点的第二横坐标与第一横坐标相等，第二纵坐标用于表示各个中心点分别与图像采集设备所在的竖直平面之间的距离信息，即各个中心点的第二纵坐标为各个中心点的深度。

更进一步地，基于各个中心点，以及各个中心点连线之间的几何关系，确定指针标注框中心点分别与分标注框中心点、合标注框中心点之间的距离信息，进而确定指针式分合闸指示器的指示状态。其中，各个中心点，以及各个中心点连线之间的几何关系，如图3所示。

图3为本申请实施例提供的第二坐标系结构示意图。如图3所示，横轴为x轴，表示各个中心点的位置信息；纵轴为h轴，表示各个中心点分别对应的深度。其中，坐标(x1，h1)表示的是指针标注框中心点；坐标(x2，h2)表示的是分标注框中心点；坐标(x3，h3)表示的是合标注框中心点。

图3中的第二坐标系是基于图像采集设备拍摄方向，对应的俯视方向上的图像数据建立的。也就是说，图像采集设备在L1向x轴方向延伸线的平行方向上。其中，L1为分标注框中心点与合标注框中心点之间的连线。

因此，图3中各个中心点之间的位置关系可以代表实际的指针、指示内容“分”、“合”之间的位置关系。因此，b1、b2可分别代表指针标注框中心点与分标注框中心点、合标注框中心点之间的距离信息；其中，b1记为第一距离，b2记为第二距离。

如图3所示，各个中心点、各个中心点连线之间具有以下几何关系：

根据b3＝h2-h3、b4＝x3-x2，以及根据三角计算关系，可以得出:

根据三角形中各个角之间的数据关系，以及平行定理，可以得出：

w1＝w2＝w3＝w4

根据b5＝x2-x1；可以得出：

b6＝tan(w4)*b5

根据b7＝h2-h1-b6，可以得出：

b1＝cos(w1)*b7

然后，将b1+b2＝b0，根据

得出：

b2＝b0-b1

在得到b1与b2的值后，即得到指针式分合闸指示器的指针分别与指示内容“分”、“合”之间的距离信息，即得到第一距离、第二距离。

通过比较二者之间的大小关系，即可确定出指针式分合闸指示器对应的指示状态。这是因为，在正常情况下，如果指针指向“分”，则第一距离接近为零值，即b1＝0。

例如，在第一距离大于第二距离的情况下，确定指针式分合闸指示器的指示状态为分状态。

在本申请的一个实施例中，在第一距离或者第二距离小于预设的距离阈值的情况下，确定指针式分合闸指示器的指示状态为分状态或者合状态。

以上为本申请的方法实施例，基于同样的发明构思，本申请实施例还提供了一种指针式分合闸指示器的状态识别设备，其内部结构示意图如图4所示。

图4为本申请实施例提供的一种指针式分合闸指示器的状态识别设备内部结构示意图。如图4所示，设备包括处理器401、以及存储器402，其上存储有可执行代码，当可执行代码被执行时，使得处理器401执行如上述的一种指针式分合闸是器的状态识别方法。

在本申请的一个实施例中，处理器401用于接收图像采集设备上传的有关指针式分合闸指示器的第一图像数据；以及用于将第一图像数据输入至指针式分合闸指示器检测模型中，得到第二图像数据；其中，第二图像数据中包括指针标注框、分标注框、合标注框；还用于确定第二图像数据中各标注框分别对应的中心点位置信息，以及确定各中心点分别对应的深度；其中，深度用于表示各中心点与图像采集设备之间的距离；还用于基于各中心点分别对应的位置信息及深度，通过几何算法，确定指针式分合闸指示器的指示状态。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种指针式分合闸指示器的状态识别方法，其特征在于，所述方法包括：

接收图像采集设备上传的有关指针式分合闸指示器的第一图像数据；

将所述第一图像数据输入至指针式分合闸指示器检测模型中，得到第二图像数据；其中，所述第二图像数据中包括指针标注框、分标注框、合标注框；

确定所述第二图像数据中各标注框分别对应的中心点位置信息，以及确定各中心点分别对应的深度；其中，所述深度用于表示所述各中心点与所述图像采集设备之间的距离；

基于所述各中心点分别对应的位置信息及深度，通过几何算法，确定所述指针式分合闸指示器的指示状态，包括：以所述第二图像数据的左边界为纵轴，上边界为横轴，左边界与上边界的交点为原点，构建第一坐标系；通过所述各中心点的位置信息，确定所述各中心点在所述第一坐标系中的第一横坐标与第一纵坐标；基于所述第一坐标系的横轴、纵轴及原点，构建第二坐标系；其中，所述各中心点在第二坐标系下的第二横坐标与第一横坐标相同，第二纵坐标为所述各中心点的深度；通过所述各中心点以及各中心点之间的连线在第二坐标系中的几何关系，计算得出指针标注框中心点与分标注框中心点之间的第一距离，以及指针标注框中心点与合标注框中心点之间的第二距离；确定所述第一距离与所述第二距离之间的大小关系，根据所述大小关系，确定所述指针式分合闸指示器的指示状态。

2.根据权利要求1所述的一种指针式分合闸指示器的状态识别方法，其特征在于，所述方法还包括：

在所述第一距离小于第一预设阈值的情况下，确定所述指针式分合闸指示器的指示状态为分状态。

3.根据权利要求1所述的一种指针式分合闸指示器的状态识别方法，其特征在于，在将所述第一图像数据输入至指针式分合闸指示器检测模型中之前，所述方法还包括：

获取若干所述指针式分合闸指示器对应的图像数据，并基于所述图像数据构建训练数据集；

通过所述训练数据集对神经网络模型进行训练、验证，得到所述指针式分合闸指示器检测模型。

4.根据权利要求3所述的一种指针式分合闸指示器的状态识别方法，其特征在于，所述基于所述图像数据构建训练数据集，具体包括：

通过Labellmg标注工具，对所述图像数据中包含的指针信息、指示内容信息进行标注；

根据标注后的图像数据，构建训练数据集。

5.根据权利要求3所述的一种指针式分合闸指示器的状态识别方法，其特征在于，所述指针式分合闸指示器检测模型采用Yolov3物体检测算法模型进行训练。

6.根据权利要求1所述的一种指针式分合闸指示器的状态识别方法，其特征在于，所述确定各中心点分别对应的深度，具体包括：

通过所述图像采集设备采集所述第一图像数据对应的深度图像数据；

将所述深度图像数据与所述第二图像数据进行图像配准，得到配准深度图像；

基于所述配准深度图像，确定所述第二图像数据中各中心点分别对应的深度。

7.根据权利要求6所述的一种指针式分合闸指示器的状态识别方法，其特征在于，所述图像采集设备采用RGB-D相机。

8.一种指针式分合闸指示器的状态识别设备，其特征在于，所述设备包括：

处理器；

及存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如权利要求1-7任一项所述的一种指针式分合闸指示器的状态识别方法。