CN110181503B - 异常检测方法、装置、智能设备和存储介质 - Google Patents

Abstract

本发明公开了一种异常检测方法、装置、智能设备和存储介质。其中，方法包括：当智能设备执行目标任务时，获取待检测场景的场景图像，其中，待检测场景为预先设定的目标任务对应的需要进行异常检测的场景；根据待检测场景的场景图像，对智能设备执行目标任务的工作流进行异常检测。该方法可以使得智能设备具有自身的工作流异常检测的功能，保证智能设备能够提供有效服务，并在整个过程无需人为检测，大大减少了人工成本。

Description

异常检测方法、装置、智能设备和存储介质

技术领域

本发明涉及智能设备控制领域，尤其涉及一种异常检测方法、装置、智能设备和计算机可读存储介质。

背景技术

随着人们生活水平需要的不断提高，智能设备(如拟人形态的智能机器人、机械臂等)越来越多地被应用于人们的生活和服务中，以实现与人类发生各种交互。目前，智能设备在设计时更多考虑的是如何解决设备与人的交互问题，比如触摸屏、语音等交互方式中，智能设备会从用户获取反馈信息从而决定下一步的工作流。

当智能设备在为用户提供服务时，也同时会与环境中的其他事物发生交互，对于交互场景信息的感知也同样重要，甚至会直接影响其工作成效。例如，机械臂在制作咖啡时，会按照已知动作步骤自动完成咖啡的制作，过程中会使用到其他事物(如人、设备或工具)的交互。然而，这种交互场景可能由于外界等原因会出现各种各样的情况，例如，机械臂按下牛奶柜的按钮之后，牛奶柜上的奶管并未出奶，而现有技术中的智能设备在没有相应的自身异常检测策略的情况下，通常是通过人工监控来实现机械臂的异常检测，而这种往往会浪费大量的人力成本，导致机械臂的智能化被弱化。

发明内容

本发明的目的旨在至少在一定程度上解决上述的技术问题之一。

为此，本发明的第一个目的在于提出一种异常检测方法。该方法可以使得智能设备具有自身的工作流异常检测的功能，保证智能设备能够提供有效服务，并在整个过程无需人为检测，大大减少了人工成本。

本发明的第二个目的在于提出一种异常检测装置。

本发明的第三个目的在于提出一种智能设备。

本发明的第四个目的在于提出一种计算机可读存储介质。

为达到上述目的，本发明第一方面实施例提出的异常检测方法，包括：当智能设备执行目标任务时，获取待检测场景的场景图像，其中，所述待检测场景为预先设定的所述目标任务对应的需要进行异常检测的场景；根据所述待检测场景的场景图像，对所述智能设备执行目标任务的工作流进行异常检测。

根据本发明实施例的异常检测方法，在智能设备执行目标任务时，获取待检测场景的场景图像，并根据该待检测场景的场景图像，对智能设备执行目标任务的工作流进行异常检测。即在智能设备执行某个任务的工作流中，对于需要确认环境或者其他事物(如设备或工具)的交互场景所反馈的信息时，可获取该场景下的图像，并通过分析该图像来判断该场景是否存在异常，这样使用视觉传感器感知外界环境或其他事物的交互场景所反馈的信息，与自身程序设定的工作流相结合，达到提供有效产品服务的目的，使得智能设备具有自身的工作流异常检测的功能，整个过程无需人为检测，大大减少了人工成本，保证了智能设备能够提供有效服务。

根据本发明的一个实施例，每个待检测场景对应一个图像类别检测模型，所述图像类别检测模型为预先训练完成的用于进行图像分类的神经网络模型；所述图像类别包括至少一个正常类别和至少一个异常类别；其中，根据所述待检测场景的场景图像，对所述智能设备执行目标任务的工作流进行异常检测，包括：

获取与所述待检测场景对应的图像类别检测模型；基于获取的图像类别检测模型和所述待检测场景的场景图像，判断所述待检测场景是否存在异常。

根据本发明的一个实施例，所述图像类别检测模型，具体采用如下方式生成：针对每个待检测场景，获取各种图像类别的场景图像作为样本数据；基于所述样本数据，训练得到每个待检测场景对应的图像类别检测模型。

根据本发明的一个实施例，根据所述待检测场景的场景图像，对所述智能设备执行目标任务的工作流进行异常检测，包括：提取所述待检测场景的场景图像的特征向量；根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，确定所述提取的特征向量对应的图像类别；所述对应关系中的图像类别包括至少一个正常类别和至少一个异常类别；根据确定的图像类别，判断所述待检测场景是否存在异常。

根据本发明的一个实施例，提取所述待检测场景的场景图像的特征向量，包括：获取特征向量提取模型；所述特征向量提取模型为预先训练完成的用于提取图像特征向量的神经网络模型；基于所述特征向量提取模型，提取所述待检测场景的场景图像的特征向量。

根据本发明的一个实施例，根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，确定所述提取的特征向量对应的图像类别，具体包括：根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，采用聚类算法确定所述提取的特征向量对应的图像类别。

根据本发明的一个实施例，根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，采用聚类算法确定所述提取的特征向量对应的图像类别，具体包括：确定所述提取的特征向量与预先建立的特征向量与图像类别的对应关系中的每一特征向量的距离；将与所述提取的特征向量距离最近的K个特征向量确定为近邻特征向量，其中，K为大于1的正整数；根据所述对应关系，确定每个近邻特征向量对应的图像类别；将确定的图像类别中比例最高的图像类别，确定为所述提取的特征向量对应的图像类别。

根据本发明的一个实施例，在将确定的图像类别中比例最高的图像类别，确定为所述提取的特征向量对应的图像类别之前，还包括：确定所述比例最高的图像类别的比例达到预设比例。

根据本发明的一个实施例，所述特征向量与图像类别的对应关系具体采用如下方式建立：获取每个待检测场景下，各种图像类别的场景图像作为样本图像；提取每一样本图像的特征向量；将每一样本图像的特征向量与其对应的图像类别建立对应关系。

根据本发明的一个实施例，所述目标任务包括多个动作步骤；所述待检测场景包括：在所述智能设备执行第一指定动作步骤之前的场景，和/或，在所述智能设备执行第二指定动作步骤之后的场景。

根据本发明的一个实施例，所述智能设备包括机械臂。

为达到上述目的，本发明第二方面实施例提出的异常检测装置，包括：图像获取模块，用于在智能设备执行目标任务时，获取待检测场景的场景图像，其中，所述待检测场景为预先设定的所述目标任务对应的需要进行异常检测的场景；异常检测模块，用于根据所述待检测场景的场景图像，对所述智能设备执行目标任务的工作流进行异常检测。

根据本发明实施例的异常检测装置，可通过图像获取模块在智能设备执行目标任务时，获取待检测场景的场景图像，异常检测模块根据该待检测场景的场景图像，对智能设备执行目标任务的工作流进行异常检测。即在智能设备执行某个任务的工作流中，对于需要确认环境或者其他事物(如设备或工具)的交互场景所反馈的信息时，可获取该场景下的图像，并通过分析该图像来判断该场景是否存在异常，这样使用视觉传感器感知外界环境或其他事物的交互场景所反馈的信息，与自身程序设定的工作流相结合，达到提供有效产品服务的目的，使得智能设备具有自身的工作流异常检测的功能，整个过程无需人为检测，大大减少了人工成本，保证了智能设备能够提供有效服务。

根据本发明的一个实施例，每个待检测场景对应一个图像类别检测模型，所述图像类别检测模型为预先训练完成的用于进行图像分类的神经网络模型；所述图像类别包括至少一个正常类别和至少一个异常类别；其中，所述异常检测模块包括：获取单元，用于获取与所述待检测场景对应的图像类别检测模型；第一异常检测单元，用于基于获取的图像类别检测模型和所述待检测场景的场景图像，判断所述待检测场景是否存在异常。

根据本发明的一个实施例，所述装置还包括：模型预先生成模块，用于预先生成所述每个待检测场景对应的图像类别检测模型；其中，所述模型预先生成模块具体用于：针对每个待检测场景，获取各种图像类别的场景图像作为样本数据；基于所述样本数据，训练得到每个待检测场景对应的图像类别检测模型。

根据本发明的一个实施例，所述异常检测模块包括：特征向量提取单元，用于提取所述待检测场景的场景图像的特征向量；图像类别确定单元，用于根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，确定所述提取的特征向量对应的图像类别；所述对应关系中的图像类别包括至少一个正常类别和至少一个异常类别；第二异常检测单元，用于根据确定的图像类别，判断所述待检测场景是否存在异常。

根据本发明的一个实施例，所述特征向量提取单元具体用于：获取特征向量提取模型；所述特征向量提取模型为预先训练完成的用于提取图像特征向量的神经网络模型；基于所述特征向量提取模型，提取所述待检测场景的场景图像的特征向量。

根据本发明的一个实施例，所述图像类别确定单元具体用于：根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，采用聚类算法确定所述提取的特征向量对应的图像类别。

根据本发明的一个实施例，所述图像类别确定单元具体用于：确定所述提取的特征向量与预先建立的特征向量与图像类别的对应关系中的每一特征向量的距离；将与所述提取的特征向量距离最近的K个特征向量确定为近邻特征向量，其中，K为大于1的正整数；根据所述对应关系，确定每个近邻特征向量对应的图像类别；将确定的图像类别中比例最高的图像类别，确定为所述提取的特征向量对应的图像类别。

根据本发明的一个实施例，所述图像类别确定单元还用于：判断确定的图像类别中比例最高的图像类别的比例是否达到预设比例，若是，则将所述确定的图像类别中比例最高的图像类别，确定为所述提取的特征向量对应的图像类别。

根据本发明的一个实施例，所述装置还包括：对应关系预先建立模块，用于预先建立所述特征向量与图像类别的对应关系；其中，所述对应关系预先建立模块具体用于：获取每个待检测场景下，各种图像类别的场景图像作为样本图像；提取每一样本图像的特征向量；将每一样本图像的特征向量与其对应的图像类别建立对应关系。

根据本发明的一个实施例，所述目标任务包括多个动作步骤；

所述待检测场景包括：在所述智能设备执行第一指定动作步骤之前的场景，和/或，在所述智能设备执行第二指定动作步骤之后的场景。

根据本发明的一个实施例，所述智能设备包括机械臂。

为达到上述目的，本发明第三方面实施例提出的智能设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现本发明第一方面实施例所述的异常检测方法。

为达到上述目的，本发明第四方面实施例提出的非临时性计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明第一方面实施例所述的异常检测方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，

图1是根据本发明一个实施例的异常检测方法的流程图；

图2是根据本发明一个具体实施例的异常检测方法的流程图；

图3是根据本发明实施例的生成图像类别检测模型的流程图；

图4是根据本发明另一个具体实施例的异常检测方法的流程图；

图5是根据本发明实施例的生成样本特征向量集合的流程图；

图6是根据本发明一个实施例的异常检测装置的结构示意图；

图7是根据本发明一个具体实施例的异常检测装置的结构示意图；

图8是根据本发明另一个具体实施例的异常检测装置的结构示意图；

图9是根据本发明又一个具体实施例的异常检测装置的结构示意图；

图10是根据本发明再一个具体实施例的异常检测装置的结构示意图；

图11是根据本发明一个实施例的智能设备的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的异常检测方法、装置、智能设备和计算机可读存储介质。

图1是根据本发明一个实施例的异常检测方法的流程图。需要说明的是，本发明实施例的异常检测方法可应用于本发明实施例的异常检测装置。其中，该异常检测装置可被配置于智能设备上。作为一种示例，该智能设备可包括但不限于机械臂，例如还有以具有拟人形态的智能机器人。

如图1所示，该异常检测方法可以包括：

S110，当智能设备执行目标任务时，获取待检测场景的场景图像，其中，待检测场景为预先设定的所述目标任务对应的需要进行异常检测的场景。

可以理解，智能设备可以为用户提供服务或任务，每个服务或任务均会具有对应的工作流。而在智能设备提供某个任务时，可通过多个动作步骤来实现该某个任务。当智能设备在执行某个任务时，为了能够智能化地自动检测出当前场景是否发生异常，在本步骤中，可在智能设备执行目标任务时，可先确定智能设备当前所处的场景是否为所述待检测场景。其中，在本发明的实施例中，该目标任务可包括多个动作步骤。所述待检测场景可包括在所述智能设备执行第一指定动作步骤之前的场景，和/或，在所述智能设备执行第二指定动作步骤之后的场景。

可选地，在智能设备执行目标任务的过程中，在确定智能设备将要执行第一指定动作步骤时，可获取执行该第一指定动作步骤之前的场景图像；或者，在确定智能设备已执行第二指定动作步骤时，可获取执行完该第二指定动作步骤之后的场景图像；或者，在智能设备执行目标任务的过程中，可获取执行该第一指定动作步骤之前的场景图像，并获取执行完该第二指定动作步骤之后的场景图像。

作为一种示例，在确定出所述智能设备当前所处的场景为所述待检测场景时，可通过智能设备中的图像采集模块获取所述待检测场景的场景图像。例如，可通过智能设备中的摄像头对所述待检测场景进行拍摄，以得到所述待检测场景的场景图像。

举例而言，以智能设备为机械臂，所述目标任务为制作咖啡为例，在机械臂制作咖啡的过程中，在判断当前所处场景为待检测场景时，可通过机械臂上的图像采集模块(如摄像头)对该待检测场景进行图像采集，得到该待检测场景的场景图像。例如，以机械臂需要配合自动咖啡机、牛奶柜来制作意式咖啡为例，机械臂制作该咖啡所包括的基本动作步骤如下：抓取奶缸放在牛奶柜的奶管下方，按牛奶柜按钮奶管出奶；取咖啡杯，按自动咖啡机按钮制作浓缩咖啡；按咖啡机按钮打奶泡；拉花；完成咖啡制作将咖啡杯放在特定的位置。在该机械臂提供该意式咖啡的工作流中，假设需要进行异常检测的场景如下：1、待抓取位置是否有奶缸；2、奶管是否按期望出奶；3、咖啡机是否工作(例如，可依据其指示灯状态判断)4、待抓取位置是否有杯子。这样，在机械臂制作该意式咖啡时，可获取抓奶缸之前的场景的图像；又如，可获取操作牛奶柜出奶按钮后的场景的图像；再如，可获取抓取咖啡杯之后的场景的图像，等等。

需要说明的是，在本发明的一个实施例中，所述待检测场景还可以是指指定时刻。其中，在本发明的实施例中，在智能设备执行目标任务时，可获取指定时刻的场景图像，其中，该指定时刻可为预先设定的所述目标任务对应的需要进行异常检测的场景。也就是说，为了实现某个目标任务，智能设备在完成该目标任务所执行的动作步骤均是具有相应的时间限定的。例如，需要在第20秒抓取杯子，或者，需要在第30秒向所述杯子内装水等，这样，在智能设备执行目标任务，并判断当前时刻为所述指定时刻时，可获取所述指定时刻所对应的场景的图像。

S120，根据待检测场景的场景图像，对智能设备执行目标任务的工作流进行异常检测。

可选地，在得到所述待检测场景的场景图像时，可通过预先建立的图像类别检测模型对该场景图像进行预测，以判定所述待检测场景中是否存在异常情况；或者，可通过通用深度神经网络与聚类算法的结合，对所述场景图像进行场景情况类别的判定，并根据判定结果来判断所述执行场景是否存在异常情况，从而实现对所述智能设备执行目标任务的工作流的异常检测。具体实现过程可参见后续实施例的描述。

可选地，在本发明的一个实施例中，在判断所述智能设备执行目标任务的工作流存在异常情况时，可生成提示信息，并可将该提示信息提供给用户。例如，可通过闪烁灯闪烁的方式提醒用户：所述待检测场景存在异常情况的发生，或者，可通过语音播报的方式，将该提示信息提供给用户，以提醒用户所述待检测场景存在异常情况等。可以理解，在提醒用户的同时，还可停止所述智能设备的下一个动作步骤，比如，控制所述智能设备暂停执行将要待执行的动作步骤。当判断所述智能设备执行目标任务的工作流未存在异常情况时，可控制所述智能设备继续执行下一个动作步骤。

根据本发明实施例的异常检测方法，在智能设备执行目标任务时，获取待检测场景的场景图像，并根据该待检测场景的场景图像，对智能设备执行目标任务的工作流进行异常检测。即在智能设备执行某个任务的工作流中，对于需要确认环境或者其他事物(如设备或工具)的交互场景所反馈的信息时，可获取该场景下的图像，并通过分析该图像来判断该场景是否存在异常，这样使用视觉传感器感知外界环境或其他事物的交互场景所反馈的信息，与自身程序设定的工作流相结合，达到提供有效产品服务的目的，使得智能设备具有自身的工作流异常检测的功能，整个过程无需人为检测，大大减少了人工成本，保证了智能设备能够提供有效服务。

图2是根据本发明一个具体实施例的异常检测方法的流程图。

为了能够实现智能设备工作流的异常检测功能，在本发明的实施例中，在得到所述待检测场景的场景图像时，可通过与所述待检测场景对应的图像类别检测模型对所述场景图像进行预测，以判定所述待检测场景中是否存在异常情况。具体地，如图2所示，该异常检测方法可以包括：

S210，当智能设备执行目标任务时，获取待检测场景的场景图像，其中，待检测场景为预先设定的目标任务对应的需要进行异常检测的场景。

其中，在本发明的实施例中，该目标任务可包括多个动作步骤。所述待检测场景可包括在所述智能设备执行第一指定动作步骤之前的场景，和/或，在所述智能设备执行第二指定动作步骤之后的场景。

S220，获取与所述待检测场景对应的图像类别检测模型。

需要说明的是，在本发明的实施例中，每个待检测场景可均对应一个图像类别检测模型。这样，在确定所述待检测场景，并获得所述待检测场景的场景图像时，可获取与所述待检测场景对应的图像类别检测模型，以便后续通过该图像类别检测模型来实现对所述待检测场景进行异常检测。

其中，在本发明的实施例中，该图像类别检测模型可以是预先训练完成的用于进行图像分类的神经网络模型；该图像类别可包括至少一个正常类别和至少一个异常类别。可选地，可预先获取智能设备执行所述目标任务时均具有哪些场景用以作为所述待检测场景，并确定每个待检测场景对应哪些场景情况类别，例如，异常情况或正常情况，这样，针对每个待检测场景下，使用各种情况类别的场景图像作为样本数据，各自独立训练一个图像类别检测模型，以使每个待检测场景均对应一个图像类别检测模型。作为一种示例，如图3所示，该所述图像类别检测模型可具体采用如下方式生成：

S310，针对每个待检测场景，获取各种图像类别的场景图像作为样本数据；

S320，基于所述样本数据，训练得到每个待检测场景对应的图像类别检测模型。

可选地，在确定出每个待检测场景之后，可获取每个待检测场景下各种场景情况类别对应的场景图像，并将这些场景图像作为样本数据，该样本数据可包括所述每个待检测场景下的各种图像类别对应的场景图像、以及每种图像类别的场景图像对应的图像类别(即场景情况类别，如正常情况或异常情况)。之后，可提取每种图像类别对应的场景图像中的特征向量，并基于每种图像类别对应的场景图像中的特征向量和所述每种图像类别的场景图像对应的图像类别，对分类器模型进行训练，得到所述每个待检测场景的图像类别检测模型。

举例而言，以机械臂需要配合自动咖啡机、牛奶柜来制作意式咖啡为例，机械臂制作该咖啡所包括的基本动作步骤如下：抓取奶缸放在牛奶柜的奶管下方，按牛奶柜按钮奶管出奶；取咖啡杯，按自动咖啡机按钮制作浓缩咖啡；按咖啡机按钮打奶泡；拉花；完成咖啡制作将咖啡杯放在特定的位置。在该机械臂提供该意式咖啡的工作流中，假设需要进行异常检测的场景如下：1、待抓取位置是否有奶缸；2、奶管是否按期望出奶；3、咖啡机是否工作(例如，可依据其指示灯状态判断)4、待抓取位置是否有杯子。

针对上述需要进行异常检测的场景，可能会发生不同场景情况，此时，可针对每种场景情况，分别使用大量的所述每种场景情况的样本图像专门训练所述每个需要进行异常检测的场景(即每个待检测场景)的图像类别检测模型。这样，在实际应用中，在得到所述待检测场景的场景图像时，可利用该待检测场景所对应的图像类别检测模型对该待检测场景进行异常检测。

例如，如下面表格1所示，给出了三种需要进行异常检测的场景(即给出三个待检测场景)，且每个待检测场景均对应不同的场景情况，这样通过各自场景情况的样本图像数据即可训练出适合该需要进行异常检测的场景下的图像类别检测模型，即可训练出三种图像类别检测模型。

表格1

举例而言，以上述表格1中待检测场景(a)为例，针对“按下牛奶柜按钮后”待检测场景，该待检测场景下可具有两种不同的场景情况，即：奶管出奶A1和奶管不出奶A2，针对这两种场景情况，可获取“奶管出奶A1”场景情况所对应的多张场景图像，并获取“奶管不出奶A2”场景情况所对应的多张场景图像，并提取每种场景情况下的场景图像中的特征向量，并基于每种场景情况下的场景图像中的特征向量和其对应的场景情况类别对分类器模型进行训练，以得到该“按下牛奶柜按钮后”待检测场景对应的图像类别检测模型。

由此，针对每个待检测场景下，通过使用各种情况类别的场景图像作为样本数据即可各自独立训练一个图像类别检测模型，以使每个待检测场景均对应一个图像类别检测模型，以便后续实际应用中，可通过当前待检测场景对应的图像类别检测模型，来实现对该当前待检测场景进行异常检测。

S230，基于获取的图像类别检测模型和所述待检测场景的场景图像，判断所述待检测场景是否存在异常。

具体地，可通过该获得的图像类别检测模型对该待检测场景的场景图像进行分类预测，以判断该待检测场景是否存在异常。可选地，提取该待检测场景的场景图像的特征向量，并通过获得的图像类别检测模型对该特征向量进行分类预测，以得到该场景图像属于哪一种图像类别，进而根据该图像类别来判断该待检测场景是否存在异常。

例如，假设所述待检测场景为上述表格1中的场景(a)，则可通过该场景对应的图像类别检测模型来对所述待检测场景的场景图像进行分类预测，若预测出该图像所反馈的信息为奶管出奶，则可判定所述待检测场景为正常情况，此时可进入下一个动作步骤；若预测出该图像所反馈的信息为奶管不出奶，则可判定所述待检测场景为异常情况，此时可终止智能设备的正常工作流，调用相应的异常处理流程，例如，停止进入下一个动作步骤，并进行异常报警。

根据本发明实施例的异常检测方法，在得到待检测场景的场景图像时，可获取与所述待检测场景对应的图像类别检测模型，并基于获取的图像类别检测模型和所述待检测场景的场景图像，判断所述待检测场景是否存在异常，这样，针对每种场景情况训练一个模型，在实际应用中，通过获取当前待检测场景所对应的模型对所述当前待检测场景进行异常检测，在能够实现智能设备工作流的异常检测，并及时发现异常状态的同时，大大提高了工作流异常检测的准确度。

图4是根据本发明另一个具体实施例的异常检测方法的流程图。

为了能够实现智能设备工作流的异常检测功能，在本发明的实施例中，在得到所述待检测场景的场景图像时，可通用深度神经网络与聚类算法的结合，来判断所述待检测场景是否存在异常。具体地，如图4所示，该异常检测方法可以包括：

S410，当智能设备执行目标任务时，获取待检测场景的场景图像，其中，待检测场景为预先设定的目标任务对应的需要进行异常检测的场景。

其中，在本发明的实施例中，该目标任务可包括多个动作步骤。所述待检测场景可包括在所述智能设备执行第一指定动作步骤之前的场景，和/或，在所述智能设备执行第二指定动作步骤之后的场景。

S420，提取所述待检测场景的场景图像的特征向量。

可选地，可获取特征向量提取模型，并基于所述特征向量提取模型，提取所述待检测场景的场景图像的特征向量。

其中，在本发明的实施例中，所述特征向量提取模型可以是预先训练完成的用于提取图像特征向量的神经网络模型。作为一种示例，该特征向量提取模型可具体为一个去掉softmax输出层的深度网络分类模型，该深度网络分类模型可用于进行图像分类，例如，该深度网络分类模型可以是卷积神经网络模型。可以理解，该卷积神经网络模型可以是对图像特征有很好的抽象提取能力，能够对所输入的图像输出相应的特征向量。例如，可以直接在原有针对多类别分类的图像分类器卷积神经网络基础上进行改造，拿掉卷积神经网络的输出层(不需要分类的标签值)，仅仅获取模型对所输入的各类样本进行多次抽象提取的特征向量，以建立所述特征向量提取模型。又如，构建一个深度卷积神经网络模型的图像分类器，可以使用现有的网络上海量已知标签的图像(比如，海量的猫、狗、车等等图像数据)作为训练数据，以分类为目的训练一个收敛模型，然后拿掉最后一层输出层即可，得到的模型即为所述特征向量提取模型。

需要说明的是，本发明实施例的特征向量提取模型的获得方式不局限于上述基于卷积神经网络模型获得，还可以通过其他深度神经网络模型来获得本发明实施例的特征向量提取模型，比如，利用具有图像分类功能的RNN模型、DNN模型等，构建所述特征向量提取模型，例如，去掉该具有图像分类功能的RNN模型中的输出层，即可得到所述特征向量提取模型。本发明对所述特征向量提取模型的获得方式不作具体限定。

S430，根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，确定所述提取的特征向量对应的图像类别；其中，所述对应关系中的图像类别包括至少一个正常类别和至少一个异常类别。

可选地，根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，采用聚类算法确定所述提取的特征向量对应的图像类别。其中，在本发明的实施例中，该聚类算法可以为但不限于K近邻算法、朴素贝叶斯算法、决策树算法、或SVM算法等，对此本发明不作具体限定。

作为一种示例，可根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，采用K近邻算法确定所述提取的特征向量对应的图像类别。具体地，可确定所述提取的特征向量与预先建立的特征向量与图像类别的对应关系中的每一特征向量的距离，并将与所述提取的特征向量距离最近的K个特征向量确定为近邻特征向量，其中，K为大于1的正整数；之后，可根据所述对应关系，确定每个近邻特征向量对应的图像类别，并将确定的图像类别中比例最高的图像类别，确定为所述提取的特征向量对应的图像类别。

举例而言，假设所述对应关系中包含A1、A2、B1、B2、C1和C2这六种图像类别，其中，A1和A2是表格1中待检测场景(a)下的两个不同图像类别，B1和B2是表格1中待检测场景(b)下的两个不同图像类别，C1和C2是表格1中待检测场景(c)下的两个不同图像类别，且所述对应关系中包含每种图像类别对应的特征向量集合，即每种图像类别对应一个特征向量集合，该特征向量集合中包含符合当前图像类别的特征向量。在智能设备执行目标任务的过程中，需要通过图像信息判别待检测场景是否存在异常时，可先获取所述待检测场景的场景图像，并将该场景图像输入到所述特征向量提取模型中，得到对应的特征向量S，并计算该特征向量S与所述对应关系中各个特征向量之间的距离，并根据计算结果从所述A1、A2、B1、B2、C1和C2这六种图像类别对应的特征向量集合中，确定出与所述特征向量S距离最近的K个特征向量，并将该与所述特征向量S距离最近的K个特征向量作为近邻特征向量。之后，可根据所述对应关系，确定出每个近邻特征向量对应的图像类别，并将确定的图像类别中比例最高的图像类别，确定为所述提取的特征向量对应的图像类别。例如，得到所述场景图像的特征向量S，在A1、A2这两种图像类别对应的特征向量集合中找出7(即K＝7)个近邻特征向量，并确定这7个近邻特征向量中有5个属于A1集合，有2个属于A2集合，即确定有5个近邻特征向量对应图像类别为A1类别，有2个近邻特征向量对应图像类别为A2类别，此时可确定该特征向量S对应的图像类别为A1类别，即判定当前待检测场景属于A1类别所对应的场景情况。

为了提高图像类别的判断准确率，可选地，在本发明的一个实施例中，在将确定的图像类别中比例最高的图像类别，确定为所述提取的特征向量对应的图像类别之前，还可确定所述比例最高的图像类别的比例达到预设比例。也就是说，在根据所述对应关系确定每个近邻特征向量对应的图像类别之后，还可判断确定的图像类别中比例最高的图像类别的比例是否达到预设比例，若是，则将所述确定的图像类别中比例最高的图像类别，确定为所述提取的特征向量对应的图像类别。作为一种示例，该预设比例可为70％。

例如，以得到所述场景图像的特征向量S，在A1、A2这两种图像类别对应的特征向量集合中找出7(即K＝7)个近邻特征向量为例，确定这7个近邻特征向量中有5个属于A1集合，有2个属于A2集合，即确定有5个近邻特征向量对应图像类别为A1类别，有2个近邻特征向量对应图像类别为A2类别，此时可判断属于A1类别的比例最高，且该比例已经达到70％，此时，可确定该特征向量S对应的图像类别为A1类别，即判定当前待检测场景属于A1类别所对应的场景情况。

需要说明的是，上述特征向量与图像类别的对应关系可以是通过少量样本图像进行训练而建立。可选地，在本发明的一个实施例中，如图5所示，所述特征向量与图像类别的对应关系可具体采用如下方式预先建立：

S510，获取每个待检测场景下，各种图像类别的场景图像作为样本图像；

S520，提取每一样本图像的特征向量；

S530，将每一样本图像的特征向量与其对应的图像类别建立对应关系。

可选地，可获取每个待检测场景下各种场景情况类别(即图像类别)对应的场景图像，并将这些场景图像作为样本图像，每个样本图像均会对应一种图像类别(即场景情况类别，如正常情况或异常情况)。之后，可提取每一样本图像的特征向量，并将该每一样本图像的特征向量与其对应的图像类别建立对应关系，从而可以得到所述特征向量与图像类别的对应关系。

举例而言，以机械臂需要配合自动咖啡机、牛奶柜来制作意式咖啡为例，机械臂制作该咖啡所包括的基本动作步骤如下：抓取奶缸放在牛奶柜的奶管下方，按牛奶柜按钮奶管出奶；取咖啡杯，按自动咖啡机按钮制作浓缩咖啡；按咖啡机按钮打奶泡；拉花；完成咖啡制作将咖啡杯放在特定的位置。在该机械臂提供该意式咖啡的工作流中，假设需要进行异常检测的场景如下：1、待抓取位置是否有奶缸；2、奶管是否按期望出奶；3、待抓取位置是否有杯子。

针对上述需要进行异常检测的场景，可能会发生不同场景情况，假设每个所述需要进行异常检测的场景分别具有两种场景情况类别，此时，分别获取该需要进行异常检测的场景下每种场景情况类别的n张图像(其中，该n可以根据实际效果和经验值进行设定，一般十几张到几十张不等，数量无需太多)，将这些图像输入到所述特征向量提取模型中，得到所述每种场景情况类别的特征向量，通过这种方式，即可训练出每个所述需要进行异常检测的场景下的每种场景情况类别的特征向量，比如，如上面表格1给出的示例，即可以得到A1、A2、B1、B2、C1、C2这六种图像类别对应的特征向量，并将每种特征向量与其对应的图像类别建立对应关系，从而可以得到所述特征向量与图像类别的对应关系。

由此，通过分别采集每个需要进行异常检测的场景下的各自场景情况的少量图像，输入到特征向量提取模型中，训练出所述各自场景情况下的特征向量，基于各自场景情况下的特征向量以及对应的图像类别即可建立所述特征向量与图像类别的对应关系。这样，在实际应用中，基于所述特征向量与图像类别的对应关系，并使用聚类算法(如k近邻算法)即可对所述场景图像的特征向量进行判断，以实现对待检测场景的异常检测。

S440，根据确定的图像类别，判断所述待检测场景是否存在异常。

可选地，在得到所述场景图像对应的图像类别时，可根据该图像类别判断所述待检测场景是否存在异常。例如，以上面表格1给出的示例为例，假设所述场景图像对应的图像类别为A类别时，可判断当前奶管出奶正常，即判定当前待检测场景属于正常场景情况，此时智能设备可按照既定工作设定继续制作咖啡。

根据本发明实施例的异常检测方法，在得到待检测场景的场景图像时，可提取待检测场景的场景图像的特征向量，并根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，确定所述提取的特征向量对应的图像类别，并根据确定的图像类别，判断所述待检测场景是否存在异常，这样，以通用深度神经网络为基础，使用少量图像数据训练出不同场景情况类别下的特征向量，并建立所述特征向量与图像类别的对应关系，在实际应用中，基于聚类算法和预先建立的特征向量与图像类别的对应关系对未知图片进行异常检测，在能够实现智能设备工作流的异常检测，并及时发现异常状态的同时，大大提高了工作流异常检测的准确度。

与上述几种实施例提供的异常检测方法相对应，本发明的一种实施例还提供一种异常检测装置，由于本发明实施例提供的异常检测装置与上述几种实施例提供的异常检测方法相对应，因此在前述异常检测方法的实施方式也适用于本实施例提供的异常检测装置，在本实施例中不再详细描述。图6是根据本发明一个实施例的异常检测装置的结构示意图。需要说明的是，本发明实施例的异常检测装置可被配置于智能设备上。作为一种示例，该智能设备可包括但不限于机械臂，例如还有以具有拟人形态的智能机器人。

如图6所示，该异常检测装置600可以包括：图像获取模块610和异常检测模块620。

具体地，图像获取模块610用于在智能设备执行目标任务时，获取待检测场景的场景图像，其中，待检测场景为预先设定的目标任务对应的需要进行异常检测的场景。

作为一种示例，所述目标任务可包括多个动作步骤；所述待检测场景可包括：在所述智能设备执行第一指定动作步骤之前的场景，和/或，在所述智能设备执行第二指定动作步骤之后的场景。

异常检测模块620用于根据待检测场景的场景图像，对智能设备执行目标任务的工作流进行异常检测。

作为一种示例的实现方式，每个待检测场景对应一个图像类别检测模型，所述图像类别检测模型为预先训练完成的用于进行图像分类的神经网络模型；所述图像类别包括至少一个正常类别和至少一个异常类别。其中，在本示例中，如图7所示，该异常检测模块620可以包括：获取单元621和第一异常检测单元622。其中，获取单元621用于获取与待检测场景对应的图像类别检测模型；第一异常检测单元622用于基于获取的图像类别检测模型和所述待检测场景的场景图像，判断所述待检测场景是否存在异常。

可选地，在本发明的一个实施例中，如图8所示，该异常检测装置600还可包括模型预先生成模块630，可用于预先生成所述每个待检测场景对应的图像类别检测模型。其中，在本发明的实施例中，模型预先生成模块630可具体用于：针对每个待检测场景，获取各种图像类别的场景图像作为样本数据；基于所述样本数据，训练得到每个待检测场景对应的图像类别检测模型。由此，通过获取当前待检测场景所对应的模型对所述当前待检测场景进行异常检测，在能够实现智能设备工作流的异常检测，并及时发现异常状态的同时，大大提高了工作流异常检测的准确度。

作为另一种示例的实现方式，如图9所示，该异常检测模块620可以包括：特征向量提取单元623、图像类别确定单元624和第二异常检测单元625。其中，特征向量提取单元623用于提取所述待检测场景的场景图像的特征向量；图像类别确定单元624用于根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，确定所述提取的特征向量对应的图像类别；所述对应关系中的图像类别包括至少一个正常类别和至少一个异常类别；第二异常检测单元625用于根据确定的图像类别，判断所述待检测场景是否存在异常。

可选地，在本示例中，该特征向量提取单元623可获取特征向量提取模型；所述特征向量提取模型为预先训练完成的用于提取图像特征向量的神经网络模型，并基于所述特征向量提取模型，提取所述待检测场景的场景图像的特征向量。其中，在本发明的实施例中，该特征向量提取模型具体为一个去掉softmax输出层的深度网络分类模型，所述深度网络分类模型可用于进行图像分类。

作为一种示例，图像类别确定单元624具体用于：根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，采用聚类算法确定所述提取的特征向量对应的图像类别。具体而言，图像类别确定单元624可确定所述提取的特征向量与预先建立的特征向量与图像类别的对应关系中的每一特征向量的距离，并将与所述提取的特征向量距离最近的K个特征向量确定为近邻特征向量，其中，K为大于1的正整数，之后，根据所述对应关系，确定每个近邻特征向量对应的图像类别，并将确定的图像类别中比例最高的图像类别，确定为所述提取的特征向量对应的图像类别。

为了提高图像类别的判断准确率，可选地，在本发明的一个实施例中，图像类别确定单元624还用于：判断确定的图像类别中比例最高的图像类别的比例是否达到预设比例，若是，则将所述确定的图像类别中比例最高的图像类别，确定为所述提取的特征向量对应的图像类别。

可选地，在本发明的一个实施例中，如图10所示，该异常检测装置600还可包括：对应关系预先建立模块640，用于预先建立所述特征向量与图像类别的对应关系。其中，在本发明的实施例中，该对应关系预先建立模块640640可具体用于：获取每个待检测场景下，各种图像类别的场景图像作为样本图像；提取每一样本图像的特征向量；将每一样本图像的特征向量与其对应的图像类别建立对应关系。由此，在实际应用中，基于聚类算法和预先建立的特征向量与图像类别的对应关系对未知图片进行异常检测，在能够实现智能设备工作流的异常检测，并及时发现异常状态的同时，大大提高了工作流异常检测的准确度。

根据本发明实施例的异常检测装置，可通过获取模块在智能设备执行目标任务时，获取待检测场景的场景图像，检测模块根据该待检测场景的场景图像，对智能设备执行目标任务的工作流进行异常检测。即在智能设备执行某个任务的工作流中，对于需要确认环境或者其他事物(如设备或工具)的交互场景所反馈的信息时，可获取该场景下的图像，并通过分析该图像来判断该场景是否存在异常，这样使用视觉传感器感知外界环境或其他事物的交互场景所反馈的信息，与自身程序设定的工作流相结合，达到提供有效产品服务的目的，使得智能设备具有自身的工作流异常检测的功能，整个过程无需人为检测，大大减少了人工成本，保证了智能设备能够提供有效服务。

为了实现上述实施例，本发明还提出了一种智能设备。

图11是根据本发明一个实施例的智能设备的结构示意图。需要说明的是，在本发明的实施例中，该智能设备可为机械臂。如图11所示，该智能设备1100可以包括：存储器1110、处理器1120及存储在存储器1110上并可在处理器1120上运行的计算机程序1130，所述处理器1120执行所述程序1130时，实现本发明上述任一个实施例所述的异常检测方法。

为了实现上述实施例，本发明还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明上述任一个实施例所述的异常检测方法。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (16)

1.一种异常检测方法，其特征在于，包括：

当机械臂执行目标任务时，获取待检测场景的场景图像，其中，所述目标任务包括多个动作步骤，所述待检测场景包括：在所述机械臂执行第一指定动作步骤之前、与所述第一指定动作相关的场景，和/或，在所述机械臂执行第二指定动作步骤之后、与所述第二指定动作相关的场景；

根据所述待检测场景的场景图像，对所述机械臂执行目标任务的工作流进行异常检测；

其中，所述根据所述待检测场景的场景图像，对所述机械臂执行目标任务的工作流进行异常检测，包括：提取所述待检测场景的场景图像的特征向量；根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，确定所述提取的特征向量对应的图像类别；所述对应关系中的图像类别包括至少一个正常类别和至少一个异常类别；根据确定的图像类别，判断所述待检测场景是否存在异常；

或者，每个待检测场景对应一个图像类别检测模型，所述图像类别检测模型为预先训练完成的用于进行图像分类的神经网络模型；所述图像类别包括至少一个正常类别和至少一个异常类别；其中，所述根据所述待检测场景的场景图像，对所述机械臂执行目标任务的工作流进行异常检测，包括：

获取与所述待检测场景对应的图像类别检测模型；基于获取的图像类别检测模型和所述待检测场景的场景图像，判断所述待检测场景是否存在异常。

2.如权利要求1所述的方法，其特征在于，所述图像类别检测模型，具体采用如下方式生成：

针对每个待检测场景，获取各种图像类别的场景图像作为样本数据；

基于所述样本数据，训练得到每个待检测场景对应的图像类别检测模型。

3.如权利要求1所述的方法，其特征在于，提取所述待检测场景的场景图像的特征向量，包括：

获取特征向量提取模型；所述特征向量提取模型为预先训练完成的用于提取图像特征向量的神经网络模型；

基于所述特征向量提取模型，提取所述待检测场景的场景图像的特征向量。

4.如权利要求1所述的方法，其特征在于，根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，确定所述提取的特征向量对应的图像类别，具体包括：

根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，采用聚类算法确定所述提取的特征向量对应的图像类别。

5.如权利要求4所述的方法，其特征在于，根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，采用聚类算法确定所述提取的特征向量对应的图像类别，具体包括：

确定所述提取的特征向量与预先建立的特征向量与图像类别的对应关系中的每一特征向量的距离；

将与所述提取的特征向量距离最近的K个特征向量确定为近邻特征向量，其中，K为大于1的正整数；

根据所述对应关系，确定每个近邻特征向量对应的图像类别；

将确定的图像类别中比例最高的图像类别，确定为所述提取的特征向量对应的图像类别。

6.如权利要求5所述的方法，其特征在于，在将确定的图像类别中比例最高的图像类别，确定为所述提取的特征向量对应的图像类别之前，还包括：

确定所述比例最高的图像类别的比例达到预设比例。

7.如权利要求1所述的方法，其特征在于，所述特征向量与图像类别的对应关系具体采用如下方式建立：

获取每个待检测场景下，各种图像类别的场景图像作为样本图像；

提取每一样本图像的特征向量；

将每一样本图像的特征向量与其对应的图像类别建立对应关系。

8.一种异常检测装置，其特征在于，包括：

图像获取模块，用于在机械臂执行目标任务时，获取待检测场景的场景图像，其中，所述目标任务包括多个动作步骤，所述待检测场景包括：在所述机械臂执行第一指定动作步骤之前、与所述第一指定动作相关的场景，和/或，在所述机械臂执行第二指定动作步骤之后、与所述第二指定动作相关的场景；

异常检测模块，用于根据所述待检测场景的场景图像，对所述机械臂执行目标任务的工作流进行异常检测；

其中，所述异常检测模块包括：特征向量提取单元，用于提取所述待检测场景的场景图像的特征向量；图像类别确定单元，用于根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，确定所述提取的特征向量对应的图像类别；所述对应关系中的图像类别包括至少一个正常类别和至少一个异常类别；第二异常检测单元，用于根据确定的图像类别，判断所述待检测场景是否存在异常；

或者，每个待检测场景对应一个图像类别检测模型，所述图像类别检测模型为预先训练完成的用于进行图像分类的神经网络模型；所述图像类别包括至少一个正常类别和至少一个异常类别；其中，所述异常检测模块包括：

获取单元，用于获取与所述待检测场景对应的图像类别检测模型；第一异常检测单元，用于基于获取的图像类别检测模型和所述待检测场景的场景图像，判断所述待检测场景是否存在异常。

9.如权利要求8所述的装置，其特征在于，所述装置还包括：

模型预先生成模块，用于预先生成所述每个待检测场景对应的图像类别检测模型；

其中，所述模型预先生成模块具体用于：

针对每个待检测场景，获取各种图像类别的场景图像作为样本数据；

基于所述样本数据，训练得到每个待检测场景对应的图像类别检测模型。

10.如权利要求8所述的装置，其特征在于，所述特征向量提取单元具体用于：

获取特征向量提取模型；所述特征向量提取模型为预先训练完成的用于提取图像特征向量的神经网络模型；

基于所述特征向量提取模型，提取所述待检测场景的场景图像的特征向量。

11.如权利要求8所述的装置，其特征在于，所述图像类别确定单元具体用于：

根据提取的特征向量及预先建立的特征向量与图像类别的对应关系，采用聚类算法确定所述提取的特征向量对应的图像类别。

12.如权利要求11所述的装置，其特征在于，所述图像类别确定单元具体用于：

确定所述提取的特征向量与预先建立的特征向量与图像类别的对应关系中的每一特征向量的距离；

将与所述提取的特征向量距离最近的K个特征向量确定为近邻特征向量，其中，K为大于1的正整数；

根据所述对应关系，确定每个近邻特征向量对应的图像类别；

将确定的图像类别中比例最高的图像类别，确定为所述提取的特征向量对应的图像类别。

13.如权利要求12所述的装置，其特征在于，所述图像类别确定单元还用于：判断确定的图像类别中比例最高的图像类别的比例是否达到预设比例，若是，则将所述确定的图像类别中比例最高的图像类别，确定为所述提取的特征向量对应的图像类别。

14.如权利要求8所述的装置，其特征在于，所述装置还包括：

对应关系预先建立模块，用于预先建立所述特征向量与图像类别的对应关系；

其中，所述对应关系预先建立模块具体用于：

获取每个待检测场景下，各种图像类别的场景图像作为样本图像；

提取每一样本图像的特征向量；

将每一样本图像的特征向量与其对应的图像类别建立对应关系。

15.一种机械臂，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1至7中任一项所述的异常检测方法。

16.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的异常检测方法。

Images