CN101682750A - 用于集成视频分析和数据分析/挖掘的系统和方法 - Google Patents

Abstract

一种方法和系统检测在被监测设施中潜在的可疑活动。被监测设施包括至少一个交易点终端。收集发生在被监测设施中的活动的视频内容和涉及在交易终端处理的交易的交易数据。将所述视频内容与所述交易数据相关联以产生关联的数据。将一套用户定义的规则应用于所述关联的数据。响应于鉴别到所述关联的数据与所述一套用户定义的规则中的至少一个规则之间的匹配，所述交易被确定为潜在地可疑的。

Description

用于集成视频分析和数据分析/挖掘的系统和方法

技术领域

本发明主要涉及用于分析视频的系统和方法，并且更特别地涉及用于集成视频分析和数据分析/数据挖掘来充分利用视频分析和数据分析两者的效力的系统和方法。

背景技术

在零售商店里阻止入店行窃和盗窃中使用视频监控和分析已变得平常。然而，在零售和其他环境中，经常存在太多收集自安全和企业经营的数据和视频，而使人不能有效地且高效地管理。随着更紧张的预算和限制职员总数的压力，负担甚至更大了。商店需要过滤和挖掘数据的工具以便他们能够确定异常、模式和/或反常行为。此外，存在更复杂的勾结威胁，其范围从店员为了他们自己的或消费者的利益而对交易“显示慷慨”(绕开扫描仪)，到经多发性和多个地点一起工作的有组织的犯罪集团。

一些人已经从企业经营的立场出发、采用基于分析可来自商店系统(例如销售点)的数据的解决方案来尝试解决和管理这些问题，以鉴别显示所关注区域的反常行为的模式。对这些解决方案的改进包括，使这些模式从视频监控系统触发视频片段，所述视频片段提供状况的视觉验证。其他改进已从安全的立场出发探讨了该问题，使用计算机算法以分析来自视频监控系统的视频，以便某些水平的反常行为能够在独立于其他触发器的情况下被视觉地检测，到并且用于实现企业经营中的策略。

这种单独的商业数据的方法由于若干原因失败了。因为商店系统可能被绕开，因此，描述状况特征的数据可能不可用。此外，数据系统往往是事后挖掘，这限制了它处理实时的/时间敏感的警报和通知的能力。考虑到上述数据系统的限制和视频片段重放对数据触发器的依赖，该改进也是失败的。对视频孤立的分析是有问题的，因为它可能易于产生假警报或存在不足以使其可靠的准确水平。此外，这些安排往往需要事件配置/规则定义以检测反常情况，而这些模式可能不能提前获知。

因此，需要用于集成视频分析和数据分析/数据挖掘的系统和方法，所述系统和方法充分利用视频分析和数据分析两者的效力以弥补前述解决方案的局限性。还需要的是这样一种集成软件，其能够为设施入口点/出口点、销售点和服务点、以及整个内部和外部提供商务智能和操作智能(operational intelligence)。

发明内容

本发明有利地提供了集成视频分析技术与数据分析技术的方法和系统，以更准确地鉴别需要管理人员注意的潜在的可疑行为和事件。一般而言，本发明使用在销售点记录器(point of sale register)收集的数据提供用于监测诸如零售商店或仓库的设施的方法和系统，以更准确地识别通过视频监测系统同时检测到的目标和事件。

本发明的一个方面包括用于检测在被监测设施中的潜在的可疑行为的方法。收集发生在被监测设施中的活动的视频内容和涉及在交易点终端(point of transaction terminal)处理的交易的交易数据。将视频内容与交易数据相关联以产生关联的数据。将一套用户定义的规则应用于关联的数据。响应于鉴别到所述关联的数据与所述一套用户定义的规则的至少一个规则之间的匹配，所述交易被确定为潜在地可疑的。

本发明的另一方面包括自动鉴别发生在被监测设施中的活动的方法。收集发生在被监测设施中的活动的视频内容。通过将一套视频分析规则应用于收集的视频信息、使用目标识别技术分析视频内容。还收集了涉及通过在销售设施中的至少一个交易点终端处理的一个或多个交易的交易数据。响应于确定所述视频内容与所述一套视频分析规则中的至少一个视频分析规则相一致，所述视频内容与所述交易数据相关联以提供关联的交易数据。

依照本发明的另一方面，用于分析发生在被监测设施中的活动的系统包括视频分析系统、数据分析系统、和集成服务器。集成服务器与视频分析系统和数据分析系统是通讯连接的。被监测设施包括至少一个销售点记录器。视频分析系统收集发生在被监测设施中的活动的视频内容。数据分析系统收集涉及由至少一个交易点终端处理的一个或多个交易的交易数据。集成服务器使视频内容和交易数据相关联以产生关联的数据。集成服务器还将一套用户定义的规则应用于关联的数据并鉴别在关联的数据与所述一套用户定义的规则的至少一个规则之间的匹配。

附图说明

对本发明及其伴随的优势和特性的更全面的认识通过在与附图结合考虑时参考以下的详细描述将更容易理解，其中：

图1是依照本发明的原理构建的示例性的视频和数据分析系统的框图；

图2是依照本发明的原理构建的示例性的视频和数据监测点的框图；

图3是根据本发明的原理进行的示例性的退货交易(returntransaction)过程的流程图；

图4是根据本发明的原理进行的示例性的现金无效交易过程的流程图；

图5是根据本发明的原理进行的示例性的消费者计数过程的流程图；

图6是根据本发明的原理进行的自动将交易异常连接到编索引的视频的示例性过程的流程图；

图7是根据本发明的原理进行的示例性的队列持续时间(lineduration)测量过程的流程图；

图8是根据本发明的原理进行的、示例性的、由视频分析检测到现金抽屉打开(cash drawer opening)而没有检测到交易的过程的流程图；

图9是根据本发明的原理进行的、设立销售点(“POS”)规则并产生异常的示例性过程的流程图；

图10是根据本发明的原理进行的、设立用户可定义的视频规则并产生警报的示例性过程的流程图；

图11是根据本发明的原理进行的、设立用户可定义的商店数据规则和视频规则的结合的示例性过程的流程图；和

图12是根据本发明的原理进行的、示例性报告过程的流程图。

具体实施方式

在详细描述依照本发明的示例性实施方案之前，应当注意，实施方案主要属于设备组件与处理步骤的组合，所述设备组件和处理步骤涉及实施用于分析视频的系统和方法，以通过集成视频分析与数据分析/数据挖掘技术来确定警报条件的存在。因此，通过在适当时以附图中的常规符号描述所述的系统和方法组成，仅显示与理解本发明的实施方案有关的那些特定的细节，以便不以对于受益于本说明书的本领域普通技术人员容易明白的细节而使本公开不清楚。

如本文使用的有关的术语，例如“第一”和“第二”、“顶部”和“底部”、及其类似物，可以仅仅用于区分一个实体或元素与另一实体或元素，而不必需要或暗示这样的实体与元素之间的任何物理关系或逻辑关系或顺序。

本发明的一个实施方案使用视频分析与数据分析/数据挖掘技术有利地提供了用于分析视频的方法和系统。在一个实施方案中，本发明可包括由用户接口(例如，客户机/浏览器)、管理和分析组件以及报告能力(reporting capability)组成的软件。还可包括在边缘的具有嵌入式分析法的视频系统、在数字录像机(“DVR”)或其他存储设备上的视频存储器、和零售交易数据设备。

在另一实施方案中，用户接口允许用户定义配置和规则、预定义的事件(pre-event)，并允许在事后进行对数据和视频的挖掘。视频和数据系统可以一起联网并经过数据库传输(database transmission)和查询以及应用程序接口来通讯。视频和数据分析节点可具有这样的能力：以嵌入式、分布式的方式进行它们的分析并将处理的元数据传送至系统数据库。

本发明的极其通用的实施方案能够实现添加新的预打包的和消费者定义的规则，并能够测量被称为关键性能指标(“KPI”)的运算度量(operational metric)。通过了解消费者的问题和机会，该系统可用于定义是用于产生使能规则(enabling rule)和KPI的基础的用例。

本系统可以是可编程的以实时触发警报，以及在事后挖掘数据和行为的模式，并结合两者的信息源以便增强解决更复杂和更广泛的用例的能力。本系统还可以是可编程的，来以下面广泛的组合结合视频分析和数据分析的触发器：数据分析触发器-视频验证、视频分析触发器-数据验证、数据分析触发器-视频分析验证、视频分析触发器-数据分析验证。

现参考附图，其中同样的参考编号是指同样的元件，在图1中显示用于集成视频分析和数据分析/数据挖掘的示例性的商业智能系统10，所述商业智能系统充分利用依照本发明的原理构建的视频分析和数据分析两者的效力。可构建商业智能系统10以支持企业范围的视频解决方案和零售业务中的更宽泛的用途。

商业智能系统10结合了视频分析子系统12与数据分析子系统14以分析并检测可疑活动和商店/仓库管理事件。视频分析子系统12可包括一个或多个摄像机16(显示了一个)、录像机18、视频引擎20、视频控制器22、和视频系统接口24。摄像机16捕捉局部视野中的活动的图像并将图像传送至录像机18和/或视频引擎20。录像机18可以给捕捉到的图像标上时间戳并将其储存，用于以后调出。视频引擎20对捕捉到的图像进行目标识别/检测功能，以确定由摄像机16捕捉的图像是否符合根据预设规则确定的条件。注意，视频引擎20的功能可以是嵌入摄像机16或其他边缘设备中的，以在允许将视频储存于录像机18中以外，还允许对现场视频的处理。此外，标时间戳的操作还可以通过摄像机16或某些其他的中间设备来进行。视频控制器22控制视频系统的基本配置，例如哪个摄像机16是活跃的；每个摄像机16的扫视、俯仰、转变角度和聚焦设置；被请求的视频片段的回放，等。视频系统接口24允许用户设置用于视频分析服务器20的规则和条件，以及选择用于回放的特定视频片段。

视频分析子系统12的每个组件可在局部水平(local level)上直接连接至视频分析子系统12中的其他组件。可选择地和/或另外地，视频分析子系统12的每个组件可经局域网(“LAN”)(未显示)或广域网(“WAN”)28连接至在视频分析子系统12、数据分析子系统14、网络客户机26和/或其他位置中的其他组件。此外，视频分析子系统12的组件可以共处一地或嵌入系统10的其他组件中。例如，视频系统接口24可以作为网络浏览器或现有数据分析和/或视频软件应用的插件程序在网络客户机26上实现。

数据分析子系统14包括交易点终端30，其用于收集涉及在被监测设施中的交易的信息。交易点终端30可以是销售点(“POS”)记录器，其用于收集涉及在结账时进行的销售交易的信息。交易点终端30可包括与数据引擎32传输数据的通讯接口。数据引擎32接收来自一个或多个POS记录器30的、涉及完成的、开始的或无效的交易的数据。数据分析服务器32分析交易数据，以确定任何交易或一组交易是否符合根据预设的规则以及事件后挖掘所确定的条件。数据分析系统接口24允许用户设置用于数据引擎32的规则和条件，以及产生和观察报告。

集成服务器36结合视频引擎20与数据引擎32的元件，以使发生在交易点终端30的交易事件与由视频引擎20检测到的目标识别相关联。集成服务器36可包括视频引擎20和/或数据引擎32。此外，数据分析系统接口24和视频系统接口24可结合为位于网络客户机26的单一用户接口(即，操纵盘)。使用该操纵盘，用户可将来自视频分析系统12的一个或多个规则与来自数据分析系统14的一个或多个规则结合，以创建用于集成服务器36的一套规则，以便精确确定非常特定的事件何时发生。此外，系统10可包括用于每个用户类型的操纵盘，以允许仅进入对他们的操作需求重要的视图和报告。

集成服务器36可以是单机的或能够位于任何应用服务器上。用于实时事件的集成服务器36还能够位于公司总部级别(centralcorporate level)，处在与数据引擎32相同的硬件服务器上或在专用的应用服务器上。商业智能系统10应当能够对所有组件间进行时间同步。

商业智能系统10可在经广域网28连接的本地的商店/区域、在公司总部办公室、或其组合而实现。广域网16可包括互联网、内联网、或其他通讯网络。虽然在图1中通讯网络描绘为WAN，但本发明的原理还可应用于其他形式的通讯网络，例如个人区域网(“PAN”)、局域网(“LAN”)、校园网(“CAN”)、城域网(“MAN”)，等。

虽然系统10整体上可能是很复杂的，但日常使用对于用户是相当友好和直观的。系统10有利地提供了易于使用的视频系统接口24、数据分析系统接口34、和报表生成软件包(reporting package)以分析数据和查看支持警报和模式的现场的和存储的视频。

现参考图2，显示了示例性的局部商业设施38的布局，该布局详细说明了依照本发明的原理的可能的视频监测位置和数据收集场所。虽然图2显示零售设施，本发明并不限于此。预期任何被监测的设施均能够由本发明实现和支持，例如仓库或商品或财产进入或离开的场所。系统10是可编程的，并且能够对整个被监测设施的内部和外部的操作设施入口/出口点40、诸如结账队列(check-out line)42或消费者服务口44的销售(即，交易)点、服务点46、和挑选点48提供商务和操作智能。

在图3中，提供了示例性的操作流程图，其描述了在确定不存在实际的消费者的情况下发生了退货交易中所进行的步骤。在一个实施方案中，该过程允许店长或防损(“LP”)专业人员实时监控何时退货发生但没有消费者出现在POS柜台前。至少一个摄像机16应当监测给定的POS记录器30周围的区域。当退货交易在POS记录器30被处理时(步骤S100)，数据引擎32接收关于退货交易的POS数据(步骤S102)。该数据可包括，例如，POS记录器的标识符、交易类型、交易时间、进行交易的雇员的名字或其他标识符、交易量，等。数据引擎32从视频引擎20请求视觉验证(步骤S104)。

视频引擎20尝试对出现在POS记录器前的消费者计数(步骤S106)。如果视频引擎20不能对消费者计数，则交易被标记为“消费者数量未知”(步骤S108)。例如某些环境条件可使视频引擎20不能够确定准确的消费者数量，例如突然的照明变化、非常暗的照明、差的视频质量、图像中强烈的眩光、摄像机移动。标记为“消费者数量未知”的所有交易可能构成可疑活动，并且该交易的细节可包括在用于稍后进一步检查的报告中。

如果视频引擎20返回不等于零的消费者数量(步骤S110)，表示至少一个消费者出现在结账柜台，则交易被视为正常的(步骤S112)并且不采取进一步行动。然而，如果视频引擎20返回等于零的消费者数量(步骤S110)，表示没有消费者出现在结账柜台，则产生“退货欺诈”的警报(步骤S114)并且该退货交易被标记。警报可显示在操纵盘上、保存在数据库中、发送至录像机18、和/或发送至视频分析系统12的事件处理器。如果用户希望重放相应的视频，他/她只从操纵盘选择警报指示器则视频然后回放并标记为“已查看”。所有标记的交易可用于事件后挖掘。

现参考图4，提供了示例性的操作流程图，其描述了在确定不存在实际的消费者的情况下现金交易被无效中所进行的步骤。如以上所述的情况中，至少一个摄像机16应当监测给定的POS记录器30周围的区域。当在该POS记录器30处的现金交易被无效时(步骤S120)，数据引擎32接收关于该现金交易的POS数据(步骤S122)。数据引擎32从视频引擎20请求视觉验证(步骤S124)。视频引擎20尝试对出现在POS记录器前的消费者计数(步骤S126)。如果视频引擎20不能对消费者计数，则该现金无效交易被标记为“消费者数量未知”(步骤S128)。标记为“消费者数量未知”的所有交易可能构成可疑活动并且该交易的细节可包括在用于稍后进一步检查的报告中。

如果视频引擎20返回不等于零的消费者数量(步骤S130)，表示至少一个消费者出现在结账柜台，则交易被视为正常的(步骤S132)并且不采取进一步行动。然而，如果视频引擎20返回等于零的消费者数量(步骤S130)，表示没有消费者出现在结账柜台，则产生“现金过账(cash post)无效欺诈”的警报(步骤S134)并且该现金无效交易被标记。与在退货欺诈的情况下一样，警报可显示在操纵盘上、保存在数据库中、发送至录像机18、和/或发送至视频分析系统12的事件处理器。如果用户希望重放相应的视频，他/她只从操纵盘选择警报指示器则视频然后回放并标记为“已查看”。所有标记的交易可用于事件后挖掘。

现参考图5，提供了示例性的操作流程图，其描述了在对经过一段时间进入和离开商店的人计数和检测大流量进入(high traffic in)时期或高的净占有率(high net occupancy)时期中所进行的步骤。在一个实施方案中，该信息与来自销售和员工管理系统的数据结合，以确定进行商店员工和销售转化计算的波峰和波谷。至少一个摄像机16应当监测商店中的每个入口和/或出口位置。

使用操纵盘，用户请求开始人员计数特性并指定计数的时间段。集成服务器36接收人员计数的请求(步骤S140)并通知视频引擎20对在预定的时间段期间被拍摄到进入和/或离开商店的人员计数(步骤S142)。数据引擎20确定在预定时间段期间发生的交易数和交易总量(步骤S144)。产生一份结果报告(步骤S146)并且该报告的直观表示显示在操纵盘中。

现参考图6，提供了示例性的操作流程图，其描述了在回放关于交易异常(即，已被标记为可能包含可疑活动的事件)的已录制的视频中所进行的步骤。集成服务器36接收关于交易异常的视频的请求(步骤S148)。集成服务器36从录像系统18检索相应的视频(步骤S150)并在网络客户机接口26使用例如操纵盘播放请求的视频(步骤S152)。

图7提供示例性的操作流程图，其描述在测定结账队列持续时间中所进行的步骤。在一个实施方案中，本发明允许店长或其他公司管理人员鉴别这样的情况，其中结账等候队列长于预先确定的界限或等候时间长于预先确定的界限，并且检索出相应的POS数据。该特性允许用户调查导致延迟的隐含的因素，例如某人在进行大采购、结账记录器开放量不够，等。

使用目标识别算法，视频引擎20确定结账队列或用在结账队列中的持续时间长于预定的界限(步骤S154)。警报可被发送至网络客户机接口26和录像机18(步骤S156)。该警报可显示于，例如，网络客户机接口26的事件处理器或视频控制器22中的警报列表上。集成服务器36接收请求发生在警报时的交易数据的警报信息请求(步骤S158)。警报信息请求可通过，例如，用户点击显示在网络客户机接口26上的警报而被发起。数据引擎32输出在警报期间发生的交易的列表(步骤S160)。该列表可显示于网络客户机接口26或可被打印为物理拷贝。

现参考图8，提供了示例性的操作流程图，其描述了确定现金记录器抽屉是否可能已被不适当地打开而进行的步骤。视频引擎20检测现金抽屉打开(步骤S162)。集成服务器36发送查询至数据引擎32和/或交易点终端30以验证是否发生任何交易(步骤S164)。如果交易确实发生(步骤S166)，无需警报(步骤S168)并且该过程结束。然而，如果没有交易发生(步骤S168)，则产生警报(步骤S170)，该警报可能显示在操纵盘上、保存在数据库中、和/或发送至录像机18和网络客户机接口26。集成服务器36接收请求在警报时录制的视频的警报信息请求(步骤S172)。警报信息请求可通过，例如，用户点击显示在网络客户机接口26上的警报而被发起。然后相应的视频被重放(步骤S174)，例如，使用操纵盘，并且相应的视频被标记为“已查看”(步骤S176)。

图9提供示例性的操作流程图，其描述设立POS规则和产生异常报告而进行的步骤。在一个实施方案中，零售店店长或其他公司管理人员能够使用操纵盘定义POS数据规则和关键性能指标(“KPI”)(步骤S178)。例如，这些规则可以是如同编辑在商店或公司中发生的全部退货的列表一样简单，或者如同编辑在只是用于特定记录器和/或特定雇员和/或特定产品和/或特定时间的退货的列表一样简单。这提供了对由该系统捕捉到的任何数据类型进行复杂的数据挖掘的能力。数据引擎32针对所述规则/KPI查询交易点终端30的数据库(步骤S180)并产生KPI报告(步骤S182)，所述KPI报告列出对于所述规则/KPI的任何异常。

图10提供示例性的操作流程图，其描述设立用户可定义的视频规则并产生标识违反行为的警报而进行的步骤。在与涉及如图9所详述的定义POS数据规则的上述方式类似的方式中，本发明的实施方案还提供了用于设立视频分析规则的手段。零售店店长、防损专业人员、或其他公司管理员人能够使用操纵盘定义视频分析规则(步骤S184)视频分析规则可包括用于当任何特定视觉模式、行为、或内容被检测到时告警的规则。视频分析规则被发送至视频引擎20和任何嵌入式边缘设备(步骤S186)。每当视频引擎20确定至少一个视频分析规则被违反时就产生视频分析警报(步骤S188)。

图11提供示例性的操作流程图，其描述POS数据规则与视频分析规则相结合以准确定义特定警报事件而进行的步骤。以这种方式，数据智能和视频智能被集成以确定何时发生如根据用户的需要而定义的特定事件。使用诸如操纵盘的用户接口定义POS数据规则(步骤S190)。视频分析规则也可以使用操纵盘来定义(步骤S192)。选择可适用的POS规则和视频规则(步骤S194)并使用逻辑运算(例如，与、或、非、如果假、真，等)将其结合，以产生用户定义的条件(步骤S196)。然后运行该用户定义的条件以产生实时事件或进行事后搜索(步骤198)。

现参考图12，提供了示例性的操作流程图，其描述了产生针对所有规则/KPI、警报和事件的报告而进行的步骤。选择期望的规则、KPI、事件、和/或条件(步骤S200)并规定持续时间和报告格式(步骤202)。集成服务器36选择与所选的规则、KPI、事件和或发生在规定持续时间内的条件对应的POS数据和视频记录以产生规定格式的报告(步骤S204)。该报告可用于进一步调查和鉴别可疑活动和/或提高整个商店的管理能力。

从安全的立场出发，软件解决方案可支持自动验证的连接，例如集成的Windows验证(“IWA”)，也称为NT验证。安全特性可限制局部应用特定的用户ID。应当使用密码来访问系统10。虽然可使用基于LAN ID的许可，但还可以使用另外的安全特性。可使用在一个或多个活动目录组中的成员。采用活动目录支持，用户在启动应用程序时无需提供任何另外的验证。安全应当基于当前登录的工作站用户的身份，同时在后台自动进行权限验证。应用程序自身可具有强大的数据库安全标准，其中，多层次安全作为整体应用于数据库系统、以及应用于数据库中的单独的表格。

软件将自动运行日志和远程的程序故障(bug)/缺陷/问题报告提供给中央服务器。通过软件自动收集程序故障。终端用户能够经网站或通过应用程序自身提交他们自己的程序故障。所有的数据库和记录均能够被备份和归档。本发明的系统中的任何应用程序的安装过程可以是服务器和工作站上的静默的、自动的安装。软件部署可依照标准的脚本工具(例如SMS)并且无需用户的交互。还可以使用远程配置。更新也可以远程进行。配置过程对用户是友好的，包括但不限于，自动检测在LAN中的录像设备、和对所有设备和组件的任何配置提供图形用户接口。集成服务器36可与常用的企业服务器环境兼容，包括但不限于，企业网络服务器、企业应用服务器、和企业数据库服务器。

可体现在本发明的系统的其他特性包括用于以下的商店网关(store gateway)：收集视频分析警报和计数数据、将数据传输至公司用于在数据库中传送至数据库和利用文件传送协议(“FTP”)的服务器方法、在商店层面上呈现视频分析警报和确认、经规则管理工具或集成的接口配置视频警报、和呈现带有视频分析和视频验证的异常报告/数据挖掘/POS数据的趋势分析。

系统10还可包括人工智能，以区分警报与异常报告通道。说明视频分析的不同的实例包括但不限于，移动至未授权的交付区域、受限的备货区、隐藏商品、停止或徘徊太长时间表明潜在的可疑活动或需要帮助、和聚集的人群表明潜在的可疑活动。说明带有POS中心的数据和视频分析的异常报告/趋势分析的不同的实例包括但不限于，由于不存在消费者而无效的交易、由于不存在管理者而无效的交易、排队、和人员计数。

系统10可以是可编程的，以允许在商店级别的最初的安装期间对公司范围的视频分析的定义和配置。系统10还可以包括商店级别的解决方案，该解决方案是可编程的以用于管理寻址、数据库修改、传输、和其他商店级别的视频管理功能。数据输入可取自视频监控和视频分析，并且与映射信息(例如摄像机与记录器/过道之间的映射)集成。

用于所述系统的数据库的方面可包括使用来自视频监控和视频分析的数据传送包、和映射数据。某些可能的、预期的数据段包括但不限于，计数、日期/时间、规则ID、摄像机ID、和规则类型(占有率，等)。数据映射可包括：商店ID、组织ID、参考#、参考类型(记录器、过道，等)、和活动类型(消费者占有率、物品扫描，等)。

可使用时间同步机制以将POS数据与视频信息链接，这可类似于记录器如何同步POS数据的时间。可构建系统10以允许视频分析规则在企业范围的级别上被管理(变更控制)，而不仅在商店或特定区域的级别上被管理(变更控制)。可包括规则管理方法，这将会便于初始配置和将来的更新。一种方法是在商店级别上设立区域并在公司/企业级别上应用规则。在传输领域，数据可位于定位在商店级别的文件夹中的平面文件或结构化数据库，并且通过网络被收集并传输至具有其他数据的另一位置(例如POS)。然后能够使数据可用于数据库传送。可选择的方法是使用基于FTP的传送机制。

本发明有利地提供了关于揭示问题区域的高度敏感性/可检测性。用户能够通过纪律处分、消费者服务的改善、或者甚至培训改善(training improvement)更快地解决与雇员和消费者的问题。通过将数据源和分析源结合到本发明的可自动化的系统中，输出将更可靠和准确，并最小化或消除假警报。假警报会破坏对该解决方案的信心并限制它的成功。

本发明能够在硬件、软件、或硬件与软件的结合中实现。任何类型的计算系统或其他适合进行本文所述的方法的设备都适于完成本文所述的功能。

典型的硬件与软件的结合可以是专用的或通用的计算机系统和存储在存储介质上的计算机程序，所述计算机系统具有一个或多个处理元件，所述计算机程序在被载入并执行时控制计算机系统以便使其运行本文所述的方法。本发明还可以嵌入计算机程序产品中，该产品包括是本文所述的方法能够实现的所有特征，并且在被载入计算系统时能够执行这些方法。存储介质是指任何易失性或非易失性存储设备。

本文的上下文中的计算机程序或应用程序是指任何语言、代码或表示法的一套指令的任何表达，所述一套指令旨在使具有信息处理能力的系统以直接地或在以下的任一个或两者之后完成特定功能：a)转化为另一种语言、代码或表示法；b)以不同物质形态复制。

此外，除非以上相反地提及，应当注意，所有的附图均不是按比例绘制的。明显地，本发明能够体现为其他特定形式而不偏离本发明的精神或基本属性，并因此，应当参考以下的权利要求而不是前述的说明书作为本发明的范围的说明。

Claims (20)

1.一种用于在被监测设施中监测潜在的可疑活动的方法，所述方法包括：

收集发生在被监测设施中的活动的视频内容；

收集涉及在交易点终端处处理的交易的交易数据；

将所述视频内容与所述交易数据相关联以产生关联的数据；和

将一套用户定义的规则应用于所述关联的数据；以及

响应于鉴别到所述关联的数据与所述一套用户定义的规则中的至少一个规则之间的匹配，确定所述交易为潜在地可疑的。

2.根据权利要求1所述的方法，其中所述一套用户定义的规则包括一个或多个视频分析规则和一个或多个数据分析规则的结合。

3.根据权利要求2所述的方法，其进一步包括：

给所述视频内容标上指示所述活动发生的时间的第一时间戳；和

给所述交易数据标上指示所述交易被处理的时间的第二时间戳，

其中，通过匹配所述第一时间戳与所述第二时间戳而将所述视频内容与所述交易数据相关联。

4.根据权利要求3所述的方法，其中：

所述数据分析规则包括确定退货交易已发生的规则；以及

所述视频分析规则包括确定在销售点记录器处没有消费者的规则。

5.根据权利要求3所述的方法，其中：

所述数据分析规则包括确定现金交易被无效的规则；以及

所述视频分析规则包括确定在销售点记录器处没有消费者的规则。

6.根据权利要求3所述的方法，其中：

所述数据分析规则包括确定没有交易发生的规则；以及

所述视频分析规则包括确定销售点记录器的抽屉是打开的规则。

7.一种自动鉴别发生在被监测设施中的活动的方法，所述方法包括：

收集发生在所述被监测设施中的活动的视频内容；

通过将一套视频分析规则应用于所收集的视频内容、使用目标识别技术分析所述视频内容；

收集涉及由所述销售设施中的至少一个交易点终端处理的一个或多个交易的交易数据；和

响应于确定所述视频内容与所述一套视频分析规则中的至少一个视频分析规则相一致，将所述视频内容与所述交易数据相关联，以提供关联的交易数据。

8.根据权利要求7所述的方法，其进一步包括：

给所述视频内容标上指示所述活动发生的时间的第一时间戳；和

给所述交易数据标上指示所述交易被处理的时间的第二时间戳，

其中，通过匹配所述第一时间戳与所述第二时间戳而将所述视频内容与所述交易数据相关联。

9.根据权利要求8所述的方法，其进一步包括：响应于确定所述视频内容与所述一套视频分析规则中的至少一个视频分析规则相一致，产生警报。

10.根据权利要求9所述的方法，其进一步包括：使用所述交易数据来确定为什么所述视频内容与所述一套视频分析规则中的至少一个视频分析规则相一致。

11.根据权利要求9所述的方法，其中所述至少一个视频分析规则包括确定站在结账队列中的消费者的数量超过预定的界限的规则。

12.根据权利要求9所述的方法，其中所述至少一个视频分析规则包括确定消费者花在站在结账队列中的持续时间超过预定的界限的规则。

13.根据权利要求8所述的方法，其进一步包括：

响应于确定所述视频内容与所述一套视频分析规则中的至少一个视频分析规则相一致，产生详细描述在所述视频内容与至少一个视频分析规则相一致时发生的交易的报告。

14.根据权利要求13所述的方法，其中所述至少一个视频分析规则包括确定进入和离开所述销售设施的消费者的数量的规则。

15.一种用于分析发生在被监测设施中的活动的系统，所述被监测设施包括至少一个交易点终端，所述系统包括：

视频分析系统，所述视频分析系统可操作来收集发生在所述被监测设施中的活动的视频内容；

数据分析系统，所述数据分析系统可操作来收集涉及由所述至少一个交易点终端处理的一个或多个交易的交易数据；和

集成服务器，其与所述视频分析系统和所述数据分析系统通讯连接，所述集成服务器可操作来：

将所述视频内容与所述交易数据相关联以产生关联的数据；

将一套用户定义的规则应用于所述关联的数据；和

鉴别在所述关联的数据与所述一套用户定义的规则中的至少一个规则之间的匹配。

16.根据权利要求15所述的系统，其中所述集成服务器进一步可操作来确定所述一个或多个交易是潜在地可疑的并产生警报，所述系统进一步包括与所述集成服务器通讯连接的客户机接口，所述客户机接口可操作来指示所述警报。

17.根据权利要求16所述的系统，其中所述客户机接口进一步可操作来接收所述一套用户定义的规则，所述一套用户定义的规则包括一个或多个视频分析规则与一个或多个数据分析规则的结合。

18.根据权利要求17所述的系统，其中所述视频内容包括指示所述活动发生的时间的第一时间戳并且所述交易数据包括指示所述交易被处理的时间的第二时间戳，所述集成服务器进一步可操作来通过匹配所述第一时间戳与所述第二时间戳而将所述视频内容与所述交易数据相关联。

19.根据权利要求18所述的系统，其中：

所述数据分析规则包括确定退货交易已发生的规则；以及

所述视频分析规则包括确定在所述交易点终端处没有消费者的规则。

20.根据权利要求18所述的系统，其中：

所述数据分析规则包括确定现金交易已被无效的规则；以及

所述视频分析规则包括确定在所述交易点终端处没有消费者的规则。

Images