CN110634209B - 监管服务管理的占用感测系统 - Google Patents

Abstract

监管服务管理的占用感测系统。公开了一种用于监管服务管理的基于占用感测的系统，其允许基于诸如洗手间之类的地点的实际使用来调度监管服务，而不是遵循静态时间表，并且因此可以潜在地节省大量劳动力成本。该系统非常准确、有隐私意识并且易于使用。除了允许监管管理人员优化其劳动力之外，该系统还能够检测供给偷窃以及执行库存管理。它可以在机场、医院、体育场、剧院、学术建筑物、会议中心和许多其他动态场所中有用。

Description

监管服务管理的占用感测系统

本申请要求保护2018年6月25日提交的美国临时申请序列号62/689,484的优先权的权益，其公开内容通过引用将其全文合并于本文。

技术领域

该文档中公开的设备和方法涉及占用感测，并且更特别地，涉及用于监管服务管理的占用感测系统。

背景技术

除非本文中另有指示，否则在该部分中描述的材料不是对本申请中的权利要求的现有技术，并且不因被包括在该部分中而被承认是现有技术。

监管服务提供建筑物中的清洁服务。它是昂贵的，并且在机场、医院、体育馆、剧院、学术建筑物和会议中心中拥有价值数百万美元的市场。当前的监管服务通常基于静态时间表，并且不监测也不考虑实时使用设施的人数。因而，一些被大量使用的洗手间可能是监管职员服务不周到的，并且很少被使用的洗手间可能是监管职员服务过度的，从而导致低效率的劳动力管理和增加的成本。

发明内容

公开了一种占用感测系统。该占用感测系统包括：多个占用传感器，每个占用传感器安装在去往多个地点中的相应地点的入口通道处，每个占用传感器具有深度传感器，该深度传感器面向去往相应地点的入口通道，并且被配置成提供深度传感器数据，每个占用传感器被配置成（i）基于深度传感器数据来确定通过去往相应地点的入口通道的人流量，以及（ii）基于所确定的通过去往相应地点的入口通道的人流量来确定在多个不同时间下占用相应地点的人数；以及服务器，其通信地耦合到多个占用传感器，并且被配置成从多个占用传感器接收数据，该数据指示在多个不同时间下占用多个地点中的每个地点的人数。

附图说明

在结合附图做出的以下描述中解释了占用感测系统的前述方面和其他特征。

图1是占用感测系统的示例性实施例的图解视图。

图2是在地点的入口通道处的占用感测设备的示例性安装的图解视图。

图3是图1-2的（一个或多个）占用感测设备的示例性部件的框图。

图4是图1的服务器的示例性部件的框图。

图5是图1的（一个或多个）客户端设备的示例性部件的框图。

图6示出了操作占用感测设备以监测通过入口通道的人流量和相应地点的占用的示例性方法的逻辑流程图。

图7示出了示例性深度图像帧。

具体实施方式

呈现以下描述以使得本领域中的任何技术人员能够制成和使用所描述的实施例，并且在特定应用及其要求的上下文中提供以下描述。对所描述的实施例的各种修改对本领域技术人员而言将容易地清楚，并且本文中所定义的一般原理可以应用于其它实施例和应用而不脱离所描述的实施例的精神和范围。因此，所描述的实施例不被限制于所示实施例，而是将符合与本文中公开的原理和特征相一致的最宽范围。

在本公开中，描述了一种用于监管服务管理的占用感测系统。如本文中使用的，“监管服务”包括但不限于清洁、再供给、修理、检查或以其他方式维护公共、半公共和/或私人地点，诸如洗手间、公共区域、自助餐厅或需要被维护的其他地点。基于占用感测的监管服务管理系统在占用模式不规则且为动态的地方中可能特别有用，诸如机场、医院、体育馆、剧院、学术建筑物和会议中心。在此类地方中，通过基于设施的实际使用来优化工作时间表，存在劳动成本方面的巨大潜在节省。此外，基于占用感测的监管服务管理系统对于库存管理和偷窃检测也是有用的。

尽管基于占用感测的监管服务管理系统对于各种各样的目的是有用的，但是本文解决和详细讨论的一个特定问题是实时监测洗手间的实际使用，以及使该信息可用于监管服务管理。更具体地，该系统实时对从每个洗手间区域进入和走出的人数进行计数，并且确定洗手间如何被使用。然而，将领会到该系统类似地适用于其它目的。

在对使用洗手间的人数进行计数方面存在若干挑战。特别地，通常不鼓励将传感器放置在洗手间内部。附加地，解决方案应该是非隐私侵入性的，这阻止使用诸如RGB相机之类的传感器。此外，确定个人如何使用洗手间、即他们在洗手间中花费了多久以及他们使用了什么洗手间供给是具有挑战性的。

参照图1-2，描述了监管服务管理系统10的示例性实施例。如图1中所示，监管服务管理系统10包括多个占用感测设备20。该占用感测设备20被配置成监测一个或多个地点、特别是建筑物的一个或多个洗手间的占用和使用。在一些实施例中，占用感测设备20被配置成跟踪多少人已经使用了对应的地点以及每个人员使用了对应的地点多久。

监管服务管理系统10进一步包括服务器30。该服务器30被配置成收集和处理由占用感测设备20提供的占用和使用信息，以便提供各种监管服务管理功能，诸如：估计该地点的供给（例如，在洗手间的情况下，卫生纸、肥皂和纸巾）的消耗和/或耗尽、确定特定地点是否需要被提供服务、以及为地点并且为监管服务工作者生成优化的服务时间表。服务器30可以是应用服务器、证书服务器、移动信息服务器、电子商务服务器、FTP服务器、目录服务器、CMS服务器、打印机服务器、管理服务器、邮件服务器、公共/私人访问服务器、实时通信服务器、数据库服务器、代理服务器、流媒体服务器等等。

该监管服务管理系统10进一步包括一个或多个客户端设备40。该客户端设备40使得诸如监管服务工作者之类的用户能够查看关于如下的信息：地点的占用和使用、特定地点的供给的估计、哪个地点需要被提供服务以及生成的服务时间表。每个客户端设备40可以是个人计算机或台式计算机，膝上型计算机，蜂窝或智能电话，平板设备，个人数字助理（PDA），可穿戴设备，游戏控制台，音频设备，视频设备，诸如电视、车辆信息娱乐之类的娱乐设备等等。

占用感测设备20、服务器30和客户端设备40被配置成经由网络50的通信链路L彼此通信。通讯链路L可以是有线的、无线的或其组合。网络50可以包括一个或多个子网络，该一个或多个子网络协同工作以使得能够在占用感测设备20、服务器30与客户端设备40之间实现通信。网络50可以部分地包括预先存在的网络，诸如企业范围的计算机网络、内联网、互联网、公共计算机网络或其任何组合。网络50可以包括例如局域网（LAN）、城域网（MAN）、广域网（WAN）、具有私人子网络的主要的公共网络、具有公共子网络的主要的私人网络、或具有私人子网络的主要的私人网络50。网络50的仍另外的实施例可以包括诸如以下的网络类型：点对点网络、广播网络、电信网络、数据通信网络、计算机网络、ATM（异步传输模式）网络、SONET（同步光纤网络）网络、SDH（同步数字层级）网络、无线网络、有线网络等等。网络50的特定网络拓扑可以在不同的实施例中不同，其可以包括总线网络拓扑、星形网络拓扑、环形网络拓扑、基于转发器的网络拓扑或分层星形网络拓扑。网络50的附加的实施例可以利用移动电话网络，该移动电话网络使用协议以在移动设备当中进行通信，其中该协议可以是例如AMPS、TDMA、CDMA、GSM、GPRS、UMTS、LTE或能够在移动设备当中传输数据的任何其他协议。无线通信链路可以包括蜂窝协议、数据分组协议、射频协议、卫星频带、红外信道或能够在网络50的设备当中传输数据的任何其他协议。

参照图2，示出了在地点的入口通道11处的占用感测设备20的示例性安装。在至少一个实施例中，该地点是洗手间，但是也可以包括以下各项的任何房间：建筑物、会议中心、机场、礼堂、剧院、无论是打开还是关闭的地方、空间、任何公共场所、任何私人访问地点或位置等等。在图示的安装中，占用感测设备20和/或其深度传感器110被安装到入口通道11的顶部部分12和/或与其集成。占用感测设备20被安装到入口通道11和/或与其集成，使得深度传感器110面向与入口通道11的内部部分或框架正交的方向。例如，在图示的实施例中，深度传感器110面向朝向地板18的方向D。然而，即使深度传感器110由于安装误差或安装约束而以非正交角度安装，占用感测设备20也具有鲁棒的性能，因为当以非正交角度安装时它仍然可以感测到框架中的人。将领会的是，在替换的实施例中，占用感测设备20和/或其深度传感器110可以被安装到入口通道11的侧部部分14或16中的一个或者入口通道11的地板18和/或与其集成，这取决于用于跟踪通过入口通道11的人流量的方法。

在一些实施例中，占用感测设备20的显示器160安装在入口通道上方，并且被配置成显示关于地点的占用和/或使用信息。例如，在一些实施例中，显示器160被配置成显示当前占用该地点的人数。

每个占用感测设备20与诸如建筑物的特定洗手间之类的特定地点相关联，并且被配置成监测该特定地点的占用和使用。与特定地点相关联的占用感测设备20经由网络50的通信链路L通信地耦合到服务器30。在特定地点包括多个入口通道的情况下，可以在每个入口通道处安装占用感测设备20。替换地，与该地点相关联的单个占用感测设备20可以包括在每个入口通道处安装的相应的深度传感器110。占用感测设备20和/或其深度传感器110一起工作以监测具有多个入口通道的特定地点的占用和使用。

将领会的是，与用于占用感测的许多其他解决方案相比，在入口通道中安装的深度传感器110的使用是一种用于占用感测的小得多的隐私侵入策略。特别地，深度传感器110仅测量从传感器到最近对象的距离。因此，占用感测设备20可以看到人体的形状，但是与基于RGB相机的解决方案不同的是，不能看到占用地点的特定人的面部、衣服或头发的颜色或者其他更独特的标识特征。附加地，如下面将更详细讨论的，仅将诸如占用计数之类的元数据上载到服务器30。因此，该解决方案是较小隐私侵入性的，因为没有图像被存储或上载到服务器30。此外，如果占用感测设备20被恶意行为者危害，则将仅危害深度传感器数据以及占用和/或使用元数据。

图3图示了示出图1-2的占用感测设备20的示例性部件的框图。在图示的实施例中，占用感测设备20包括深度传感器110、处理器120、存储器130、一个或多个收发器140、输入/输出（I/O）接口150以及显示器160，它们经由一个或多个系统总线B彼此通信地耦合。系统总线B可以是任何类型的总线结构，其包括存储器或存储器控制器、外围总线、本地总线和任何类型的总线架构。在至少一个实施例中，占用感测设备20进一步包括：电池（未示出），其被配置成向占用感测设备20的其他部件提供电力。

深度传感器110被配置成提供深度数据，处理器120使用该深度数据来检测和跟踪在该地点处实时通过入口通道11进入和走出的人流量。尽管图示了一个深度传感器110，但是占用感测设备20可以包括多于一个深度传感器110。深度传感器110可以包括以网格的形式布置的个体深度传感器元件（未示出）的阵列，每个个体传感器元件被配置成检测深度值，并且提供表示检测到的深度值的传感器数据。在一个实施例中，深度传感器110包括：读出控制器（未示出），其被配置成控制深度传感器110的个体深度传感器元件、从个体深度传感器元件接收传感器数据以及对传感器数据执行各种预处理步骤，各种预处理步骤诸如将传感器数据数字化、给传感器数据加时间戳和/或以预定或可调整的帧速率将传感器数据打包成图像帧。然而，将领会的是，由读出控制器进行的此类处理可以替换地由占用感测设备20的处理器120执行。

在一些实施例中，占用感测设备20可以进一步包括其他类型的传感器，诸如光学传感器、成像传感器、声学传感器、运动传感器、全球定位系统传感器、热传感器、IR阵列传感器和环境传感器，它们可以被利用与深度传感器110协作或将其替代来监测地点的占用和使用。

处理器120可以是如本领域普通技术人员将意识到的各种处理器中的任何处理器。本领域普通技术人员将意识到，如本文中使用的“处理器”包括：处理数据、信号和/或其他信息的任何硬件系统、硬件机制或硬件部件。处理器可以包括具有中央处理单元、多个处理单元、用于实现功能性的专用电路的系统和/或其他系统。示例性处理器包括微处理器（μP）、微控制器（μC）、数字信号处理器（DSP）或其任何组合。处理器120可以包括一个或多个级别的高速缓存（诸如级别高速缓冲存储器）、一个或多个处理器核心以及一个或多个寄存器。示例处理器核心可以包括算术逻辑单元（ALU）、浮点单元（FPU）、数字信号处理核心（DSP核心）或其任何组合。在至少一个实施例中，处理器120包括ARM处理器。处理器120可操作地连接到深度传感器110、存储器130、通信接口140、输入/输出接口150和显示器160，并且被配置成从深度传感器110接收传感器数据（预处理的或以其他方式的）。

一个或多个收发器140可以是被配置成用于与其他电子设备进行通信的各种设备中的任何设备，该通信包括发送通信信号和接收通信信号的能力。收发器140可以包括：被配置成与不同网络和系统通信的不同类型的收发器，至少包括经由网络50的通信链路L与服务器进行通信。收发器140可以包括例如调制解调器、无线电、网络接口、通信端口、PCM-CIA插槽和卡等等。在一个实施例中，收发器140被配置成使用诸如LoRa、Wi-Fi、蓝牙、RFID、NFC、ZigBee、Z-Wave或以太网之类的协议来交换数据。

I/O接口150包括：硬件和/或软件，其被配置成促进与包括显示器160的一个或多个外围设备和/或用户接口的通信，该外围设备和/或用户接口可以包括LCD显示器、7段数字显示器、一个或多个指示器灯等等。输入/输出接口150与显示器160通信，并且被配置成经由显示器160向用户可视地显示图形、文本和其他数据。附加的外围设备和/或用户接口可以包括能够控制占用感测设备20的操作的不同方面的键盘、操纵杆、鼠标、轨迹球、触摸板、触摸屏或平板设备输入、脚踏控制、伺服控制、游戏手柄输入、红外或激光指示器、基于相机的手势输入等等。

占用感测设备20的存储器130被配置成存储包括数据和指令两者的信息。存储器130可以是能够存储由处理器120可访问的信息的任何类型的设备，诸如存储卡、ROM、RAM、可写入存储器、只读存储器、硬盘驱动器、磁盘、闪速存储器或如本领域普通技术人员将意识到的用作数据存储设备的各种其他计算机可读介质中的任何一种。在至少一个实施例中，存储器130包括：占用数据170，诸如关于如下的数据：洗手间的当前或先前占用、通过入口通道的进入事件或离开事件、和/或特定个人在洗手间中花费的时间量。数据可以进一步包括各种其他的操作数据、日志等等，诸如关于如下的信息：监管服务工作者为该地点提供服务的最后时间、自最后一次为该地点提供服务以来消耗和/或耗尽的估计的供给量、和/或在该地点处的估计的剩余供给量。

存储器130被进一步配置成存储程序指令，该程序指令当由处理器120执行时使得占用感测设备20能够提供如本文中描述的特征、功能性、特性和/或类似物。特别地，存储器130包括：占用感测程序180，其使得能够监测通过入口通道的人流量和相应地点处的占用。

在至少一个实施例中，处理器120被配置成（i）基于深度传感器数据来确定通过去往相应地点的入口通道的人流量，以及（ii）基于通过去往相应地点的入口通道的确定的人流量来确定在多个不同时间下占用相应地点的人数。特别地，处理器120被配置成检测每次人员通过入口通道进入该地点，并且检测每次人员通过入口通道离开该地点。基于通过入口通道的这些检测到的进入事件和离开事件，处理器120被配置成通过从进入事件中的事件的数量减去离开事件的数量来确定占用该地点的人数。在至少一个实施例中，处理器120被配置成确定操作显示器160，以显示占用信息，诸如占用相应地点的人数。在至少一个实施例中，处理器120被配置成操作收发器140以向服务器30传输数据，该数据包括具有相关联的时间戳的占用计数以及具有相关联的时间戳的进入和离开事件。将领会的是，这种对通过入口通道的人流量和在相应地点处的占用的监测可以使用各种各样不同的方法、模型和/或算法来被执行。下面参照图6-7更详细地讨论用于对通过入口通道的人流量和相应地点处的占用进行监测的示例性方法。

在至少一个实施例中，处理器120被配置成确定进入相应地点的每个人员的占用时间。特别地，在一个实施例中，为了确定某人在该地点中停留多久，在每个人员通过入口通道进入或离开时，处理器120被配置成基于深度传感器数据提取关于该人员的生物计量学特征，包括但不限于身高、肩部大小和头部半径。附加地，在每个人员通过入口通道进入或离开时，处理器120被配置成记录与特定进入事件或离开事件相关联的时间戳。当每个人员通过入口通道离开时，处理器120被配置成将提取的生物计量学特征与先前提取的先前进入该地点的人员的生物计量学特征进行比较。基于该比较，处理器120被配置成将离开事件与先前的进入事件进行匹配并且比较其各自的时间戳，以确定该人员占用该地点多久，在本文中被称为占用时间。在至少一个实施例中，处理器120被配置成操作收发器140以将数据传输到服务器30，该数据是通过入口通道进入并随后离开的每个人员的占用时间。

图4图示了示出图1-2的服务器30的示例性部件的框图。在图示的实施例中，服务器30包括处理器210、存储器220、用户接口230和网络通信模块240。领会的是，服务器30的图示的实施例仅是服务器30的一个示例性实施例，并且仅表示各种方式或配置中的任何一种的服务器、远程计算机或以本文中阐述的方式操作的任何其他数据处理系统。

处理器210可以是如本领域普通技术人员将意识到的各种处理器中的任何处理器。本领域普通技术人员将意识到，如本文中使用的“处理器”包括：处理数据、信号和/或其他信息的任何硬件系统、硬件机制或硬件部件。处理器可以包括具有中央处理单元、多个处理单元、用于实现功能性的专用电路的系统和/或其他系统。示例性处理器包括微处理器（μP）、微控制器（μC）、数字信号处理器（DSP）或其任何组合。处理器210可以包括一个或多个级别的高速缓存（诸如级别高速缓冲存储器）、一个或多个处理器核心以及一个或多个寄存器。示例处理器核心可以包括算术逻辑单元（ALU）、浮点单元（FPU）、数字信号处理核心（DSP核心）或其任何组合。处理器210可操作地连接到存储器220、用户接口230和网络通信模块240。

服务器30可以由用户本地或远程地操作。为了促进本地操作，服务器30可以包括交互式用户接口230。经由该用户接口230，用户可以修改和/或更新存储在存储器220上的程序指令，以及从存储器220收集数据和将数据存储到存储器220。在一个实施例中，如本领域普通技术人员将意识到的，用户接口230可以合适地包括LCD显示屏等等、鼠标或其他定点设备、键盘或其他小键盘、扬声器和麦克风。替换地，在一些实施例中，用户可以从另一计算设备远程地操作服务器30，该另一计算设备经由网络通信模块240与服务器30通信，并且具有类似的用户接口。

服务器30的网络通信模块240提供允许与各种设备或网络中的任何一种进行通信的接口，并且至少包括被配置成与占用感测设备20以及与客户端设备40通信的收发器或其他硬件。特别地，网络通信模块240可以包括：局域网端口，其允许与容纳在相同或附近设施中的各种本地计算机中的任何计算机进行通信。在一些实施例中，网络通信模块240进一步包括：广域网端口，其允许通过因特网与远程计算机通信。替换地，服务器30经由局域网的单独调制解调器和/或路由器与因特网通信。在一个实施例中，网络通信模块240配备有Wi-Fi收发器或其他无线通信设备。因而，将领会的是，与服务器30的通信可以经由有线通信或经由无线通信发生。可以使用各种已知通信协议中的任何通信协议来完成通信。

服务器30的存储器220被配置成存储包括数据和指令两者的信息。存储器220可以是能够存储由处理器210可访问的信息的任何类型的设备，诸如存储卡、ROM、RAM、可写入存储器、只读存储器、硬盘驱动器、磁盘、闪速存储器或如本领域普通技术人员将意识到的用作数据存储设备的各种其他计算机可读介质中的任何一种。在至少一个实施例中，存储器220包括：占用数据260，诸如从占用感测设备20接收的关于如下的数据：洗手间的当前或先前占用、通过入口通道的进入事件或离开事件和/或特定个人在洗手间中花费的时间量。在至少一个实施例中，存储器220包括：监管服务数据270，其包括各种其他操作数据、日志等等，诸如关于监管服务工作者为每个地点提供服务的最后时间、自最后一次为每个地点提供服务以来消耗和/或耗尽的估计的供给量、每个地点处剩余的估计的供给、每个地点的服务时间表的信息，以及关于监管服务工作者及其工作时间表的信息。

存储器220被进一步配置成存储程序指令，该程序指令当由处理器210执行时使得服务器30能够提供如本文中描述的特征、功能性、特性等等。特别地，存储器220包括：监管服务管理程序250，其能够监测安装占用感测设备20的多个地点的占用、估计地点处的供给的使用以及基于该地点处的占用和使用来管理监管服务工作者对地点的服务。特别地，在至少一个实施例中，在地点是洗手间的情况下，监管服务管理程序250使得能够对洗手间的占用进行监测、估计洗手间供给（例如，卫生纸、肥皂和纸巾）的使用以及管理监管服务工作者对洗手间的服务。

特别地，服务器30被配置成经由通信模块240或以其他方式从占用感测设备20中的每个接收占用和/或使用相关的元数据，诸如具有相关联的时间戳的占用计数、具有相关联的时间戳的进入和离开事件以及占用地点中的一个的每个人员的占用时间。

在一些实施例中，基于接收到的占用和/或使用相关的元数据，处理器210被配置成，对于进入地点中的一个的每个人员，估计相应地点处的相应人员对供给的使用。特别地，在至少一个实施例中，处理器210被配置成基于在相应地点处相应人员的占用时间来估计每个人员对供给的使用。在一个实施例中，处理器210被配置成基于相应人员的占用时间与一个或多个预定阈值持续时间T的比较来估计每个人员对供给的使用。特别地，在一个实施例中，处理器210被配置成响应于相应人员的占用时间少于预定阈值持续时间T，估计相应人员在相应地点处使用的第一供给量。类似地，处理器210被配置成响应于相应人员的占用时间大于预定阈值持续时间T，估计相应人员在相应地点处使用的第二供给量。

例如，在地点是洗手间的情况下，如果人员在洗手间中花费少于第一预定阈值持续时间T₁（例如，3分钟），则处理器210被配置成确定使用了第一量的洗手间供给（例如，卫生纸、肥皂和纸巾）。类似地，如果人员在洗手间中花费超过第一预定阈值持续时间T₁（例如，3分钟），则处理器210被配置成确定使用了第二量的洗手间供给。在至少一个实施例中，第二量大于第一量。第一量和第二量的洗手间供给可以根据关于人员如何使用洗手间的隐含假设来被设置，这基于该人员在洗手间中多久（即，更久的占用可能表明使用了更多卫生纸）。附加地，在一些实施例中，第一和第二量的洗手间供给可以取决于洗手间是男士洗手间还是女士洗手间而被不同地设置（即，男士洗手间中的短暂占用可能表明没有卫生纸使用，而女性洗手间中的短暂占用可能表明少量的卫生纸使用）。对于一些类型的供给，第一和第二量可以是相同的而不管占用时间如何（例如，肥皂和纸巾）。在一些实施例中，处理器210被配置成基于监管服务工作者报告的实际使用来随时间调整估计的第一和第二量的洗手间供给。

在一些实施例中，可以使用多个阈值。例如，在一个实施例中，如果人员在洗手间中花费多于第二预定阈值持续时间T₂（例如，45分钟），则处理器210被配置成确定使用了第三量的洗手间供给。如果人员在洗手间中花费多于第一预定阈值持续时间T₁（例如，3分钟）但是少于第二预定阈值持续时间T₂（例如，45分钟），则处理器210被配置成确定使用了第二量的洗手间供给。在一个实施例中，基于该人员可能在洗手间中打电话或参与在洗手间的某个其他非典型使用的假设，第三量的洗手间供给小于第二量。

然而，将领会的是，在替换的实施例中，占用感测设备20的处理器120被配置成以上述方式估计进入相应地点的每个人员对供给的使用。在此类实施例中，处理器120被配置成操作收发器140以将数据传输到服务器30，该数据包括进入该地点的每个人员的估计的供给使用。

在一些实施例中，处理器210被配置成在存储器220中存储指示每个地点的服务历史的监管服务日志，至少包括监管服务工作者为每个相应地点提供服务的最近时间。在至少一个实施例中，处理器210被配置成估计自为每个相应地点提供服务的最近时间以来、多个地点中的每个地点处的总供给使用。在一个实施例中，处理器210被配置成基于自为每个相应地点提供服务的最近时间以来已占用每个相应地点的人数，来确定每个地点处的总供给使用。更特别地，在一个实施例中，处理器210被配置成基于自为每个相应地点提供服务的最近时间以来，进入该地点的每个人员的估计的供给使用，来确定每个地点处的总供给使用。

然而，将领会的是，在替换的实施例中，占用感测设备20的处理器120被配置成在存储器130中存储监管服务工作者为相应地点提供服务的最近时间，并且以上述方式估计在相应地点处的总供给使用。在此类实施例中，处理器120被配置成操作收发器140以将数据传输到服务器30，该数据包括相应地点处的估计的总供给使用。

在一个实施例中，处理器210被配置成：对于多个地点中的每个地点，基于自为每个相应地点提供服务的最近时间以来，相应地点处的估计的总供给使用来估计相应地点处的剩余供给量。特别地，在一个实施例中，处理器210被配置成通过从为每个相应地点提供服务的最近时间之后存在的供给的起始量减去总供给使用来估计相应地点处的剩余供给量。

在一个实施例中，处理器210被配置成：对于多个地点中的每个地点，基于自为每个相应地点提供服务的最近时间以来相应地点处的估计的总供给使用、和/或基于相应地点处的估计的剩余供给来确定监管服务工作者应当为相应地点下一次提供服务的下一个时间。

在一些实施例中，处理器210被配置成基于从占用感测设备20接收到的占用和/或使用相关的数据来确定多个地点中的每个地点的使用模式。基于该使用模式，处理器210被配置成基于该使用模式来为多个地点中的每个地点生成服务时间表。附加地，当与基于常规使用模式预期的供给的消耗存在偏差时，所确定的使用模式可以被用来标识偷窃活动。例如，如果确定在周末没有人使用洗手间，但是清洁工补充了大量供给，则其可能是盗窃洗手间供给的迹象。

图5示出了客户端设备40中的一个的示例性实施例，其可以包括智能电话、智能手表、膝上型计算机、平板计算机、台式计算机等等。在图示的实施例中，客户端设备40包括处理器310、存储器320、收发器330、I/O接口340和显示屏350。领会的是，客户端设备40的图示的实施例仅是客户端设备40的一个示例性实施例，并且仅表示各种方式或配置中的任何一种的客户端设备、个人电子设备或以本文中阐述的方式操作的其他设备。

处理器310可以是如本领域普通技术人员将意识到的各种处理器中的任何处理器。本领域普通技术人员将意识到，如本文中使用的“处理器”包括：处理数据、信号和/或其他信息的任何硬件系统、硬件机制或硬件部件。处理器可以包括具有中央处理单元、多个处理单元、用于实现功能性的专用电路的系统和/或其他系统。示例性处理器包括微处理器（μP）、微控制器（μC）、数字信号处理器（DSP）或其任何组合。处理器310可以包括一个或多个级别的高速缓存（诸如级别高速缓冲存储器）、一个或多个处理器核心以及一个或多个寄存器。示例处理器核心可以包括算术逻辑单元（ALU）、浮点单元（FPU）、数字信号处理核心（DSP核心）或其任何组合。处理器310可操作地连接到存储器320、收发器330、I/O接口340和显示屏350。

收发器330至少包括诸如Wi-Fi收发器之类的收发器，其被配置成经由网络50与服务器30通信，但是还可以包括被配置成用于与其他电子设备通信的各种其他设备中的任何设备，该通信包括发送通信信号和接收通信信号的能力。在一个实施例中，收发器330进一步包括附加的收发器，其对于智能电话、智能手表、膝上型计算机、平板计算机、台式计算机、诸如蓝牙收发器、以太网适配器以及被配置成经由无线电话网络进行通信的收发器来说是常见的。

I/O接口340包括软件和硬件，它们被配置成促进与包括显示屏350的客户端设备40的一个或多个接口、以及诸如触觉按钮、开关和/或拨动开关、麦克风、扬声器和连接端口之类的其他接口的通信。显示屏350可以是LED屏幕或适合于个人电子设备的各种其他屏幕中的任何屏幕。I/O接口340与显示屏350通信，并且被配置成经由显示屏350向用户可视地显示图形、文本和其他数据。

服务器30的存储器320被配置成存储包括数据和指令二者的信息。存储器320可以是能够存储由处理器310可访问的信息的任何类型的设备，诸如存储卡、ROM、RAM、可写入存储器、只读存储器、硬盘驱动器、磁盘、闪速存储器或如本领域普通技术人员将意识到的用作数据存储设备的各种其他计算机可读介质中的任何一种。在至少一个实施例中，存储器320包括：用户数据360，其包括与一个或多个用户、特别是与一个或多个监管服务工作者相关的各种类型的信息。用户数据360可以包括用户和/或雇员简档、工作时间表等等。

存储器320被进一步配置成存储程序指令，该程序指令当由处理器310执行时使得客户端设备40能够提供如本文中描述的特征、功能性、特性和/或类似物。特别地，存储器320包括：监管服务应用370，其使得诸如监管服务工作者之类的用户能够与服务器30对接并且访问来自服务器30的数据。

特别地，在一个实施例中，客户端设备40的处理器310被配置成操作收发器330以向服务器30传输信息请求，该信息请求可以包括唯一的雇员标识号等等。响应于该信息请求，服务器30的处理器210被配置成经由网络通信模块240将用户被授权查看的数据往回传输到客户端设备40。特别地，在一些实施例中，响应于信息请求，处理器210被配置成向客户端设备40传输数据，该数据诸如：在当前时间或在先前时间下占用多个地点中的每个地点的人数、每个地点处的估计的剩余供给量、监管服务工作者为每个地点提供服务的最近时间、应当为每个地点下一次提供服务的下一个时间和/或为一个或多个地点生成的服务时间表。

在至少一个实施例中，客户端设备40的处理器310被配置成经由I/O接口340接收来自用户的输入，该输入指示用户已经为特定地点提供服务。响应于指示已经为特定地点提供服务的输入，处理器310被配置成操作收发器330以向服务器30传输指示已经为该地点提供服务的消息，该消息可以包括针对该特定地点的时间戳和标识符。响应于对服务器30的指示已经为该地点提供服务的消息，服务器30的处理器210被配置成作为已经为该地点提供服务的最近时间来将时间戳记录在存储器220中。在一个实施例中，服务器30的处理器210被配置成将消息转发到该地点处的对应占用感测设备20，该占用感测设备20的处理器120被配置成将时间戳记录在存储器130中。

在至少一个实施例中，客户端设备40的处理器310被配置成经由I/O接口340接收来自用户的输入，该输入指示在服务时的地点处需要多少供给来再供给特定地点和/或实际剩余多少供给。处理器310被配置成将该再供给信息与对服务器30的指示已经为该地点提供服务的消息包括在一起。服务器30的处理器210被配置成使用再供给信息来基于观察到的使用和占用、基于每个地点处剩余的估计的供给量来将该再供给信息与预期值进行比较。如果报告的再供给信息与预期值之间存在不匹配，则可能已经存在供给的偷窃，并且处理器210被配置成生成警报或以其他方式标记可能的偷窃。

图6示出了用于操作占用感测设备20以监测通过入口通道的人流量和相应地点的占用的示例性方法400的逻辑流程图。在该方法的描述中，方法正执行某个任务或功能的陈述指代：执行存储在非暂时性计算机可读存储介质（例如，存储器130）中的编程指令（例如，占用感测程序180）的控制器或通用处理器（例如，处理器120），该非暂时性计算机可读存储介质（例如，存储器130）可操作地连接到控制器或处理器，以操纵数据或操作占用感测设备20中的一个或多个部件，从而执行任务或功能。附加地，可以用任何可行的时间次序来执行该方法的步骤，而不管图中所示的次序或其中描述了步骤的次序。

在步骤410中，处理器120从深度传感器110接收深度传感器数据。如上面讨论的，深度传感器110提供的数据可以是以图像帧的形式。特别地，处理器120被配置成接收按时间顺序的图像帧序列，每个图像帧序列包括在相应时间下由深度传感器110检测到的深度传感器数据。每个深度图像帧中的每个像素提供从深度传感器110到最近的对象的距离。在一个实施例中，深度传感器110被配置成输出具有定义的分辨率（例如，

）和帧速率（例如，每秒30帧）的图像帧。

在步骤420中，处理器120被配置成预处理接收到的深度传感器数据。特别地，在一些实施例中，在存在噪声的情况下，深度图像帧的对应像素可以具有值0或某个其他异常值。因而，在一个实施例中，处理器120被配置成将噪声像素和异常值（超过预定阈值的深度）重置为地板18的深度。在一个实施例中，处理器120被配置成通过计算帧的深度值的直方图来计算地板18的深度，其中具有最大数量的深度数据点的仓（bin）被认为是地板。附加地，在一些实施例中，处理器120被配置成应用中值滤波来平滑每个深度图像帧。图7示出了示例性预处理深度图像帧500，其具有通过入口通道进入的人员502和通过出入口离开的人员504。

继续参照图6，在步骤430和440中，处理器120被配置成执行多级扫描，其中扫描多个潜在深度级别，以检测人类并且对于每个扫描的深度级别，通过忽略低于该级别的深度数据来提取潜在人类头部的轮廓。特别地，该步骤的目标是确定全部潜在头部的最小封闭圆的中心和半径。为此，处理器120被配置成执行多级扫描，并且通过检测不同高度级别处的轮廓来确定头部的中心和半径。在一个实施例中，处理器120被配置成以预定间隔（例如，每6英寸）开始从第一高度（例如，距离地板6英尺）到第二高度（例如，距离地板2英尺）扫描深度传感器数据。注意的是，成年男性的平均身高约为5英尺7英寸至5英尺11英寸，以及女性的平均身高约为5英尺2英寸至5英尺7英寸，并且保守地选择起始高度和结束高度，以便在多级扫描期间不会缺失人类。当处理器120在每个高度级别处扫描深度数据时，处理器120被配置成丢弃低于该高度级别的全部深度数据。处理器120被配置成在每个深度级别处找到全部轮廓。对于每个轮廓，处理器120被配置成使用迭代算法来找到最小封闭圆（诸如图7中所示的圆506）。最小封闭圆的中心和半径被认为是头部的中心和半径。如下面讨论的，对于每个检测到的中心和半径，处理器120被配置成通过验证头部和肩部的存在来验证其是否是人员。然而，可以在不同级别下检测单个人员。为了避免这种情况，处理器120被配置成从顶部扫描，并且当它在较高深度级别下验证人员时，它丢弃较低级别处的全部附近中心。

在一些实施例中，处理器120利用两个策略来加速处理。首先，当执行多级扫描时，处理器120被配置成无序地执行它。代替以串行次序从顶部（例如，距离地板6英尺）扫描到底部（距离地板2英尺），处理器120被配置成首先在最顶级别处进行扫描，并且然后在最底级别处进行扫描，并且然后在剩余级别处进行扫描。直觉是如果在那里存在某人，则深度传感器110应该在底级别扫描时捕获身体。如果底级别扫描返回与近似背景相比没有任何东西在那里（下面描述），则处理器120被配置成继续处理下一个深度图像帧。否则，处理器120被配置成以串行次序（从顶到底）扫描剩余级别以确定头部的精确位置。其次，处理器120被配置成不在与近似背景相比没有足够深度数据的级别处进行扫描。处理器120被配置成通过在不同扫描级别（例如，6英寸仓大小）处构建深度数据点的直方图来确定近似背景。每当处理器120看到新的帧时，处理器120被配置成通过如下假设来更新直方图，该假设为：到目前为止在一级别处看到的最小数量的深度数据点是来自背景的，这合理地捕获了环境中的墙壁、门、桌子等。该近似背景检测技术使得处理器120能够在场景中没有人的时候快速地继续移动到下一帧。

在步骤450和460中，处理器120被配置成通过使用人体的人体测量特性来验证头部和肩部的存在来验证每个提取的轮廓是否表示真实的人员。特别地，在步骤450中，给定头部的中心（c_x，c_y）和半径r，该步骤的目的是验证在该方位处是否存在人类头部。处理器120被配置成使用半椭圆体（椭圆体的上半部分）来建模人类头部。特别地，笛卡尔坐标中的椭圆体由等式

来表示，其中a、b和c是半轴的长度，并且（c_x，c_y，c_z）是椭圆体的中心。处理器120被配置成设置a=b=r（在像素坐标中），并且我们设置c=0.5 * D（在深度坐标中），其中D是人类头部的深度（例如，220 mm）。处理器120被配置成c_z=T+0.5 * D，其中T是深度传感器110与头部之间的最小距离。处理器120被配置成：关于检测到的轮廓的x、y值进行迭代、计算每个（x，y）的z值并且将其与深度帧中的对应的z值进行比较。如果平均差小于阈值T_head，则处理器120被配置成报告检测到头部。

在步骤460中，给定头部的中心（c_x，c_y）和半径r，该步骤的目的是验证是否存在靠近该方位的人类肩部。为了验证肩部，处理器120被配置成执行四个步骤。首先，处理器120被配置成考虑围绕头部和肩部的感兴趣区域（ROI）。人员的两个肩部之间的端到端距离大约是他头部直径的三倍，并且因此处理器120被配置成选择头部周围稍大的方形ROI。其次，处理器120被配置成通过丢弃高于（在头部验证步骤中计算的）T+D的全部深度数据来从其提取头部。第三，处理器120被配置成从感兴趣区域中减去头部以获得肩部深度数据。注意的是，从第一步骤开始，处理器120被配置成通过将这些值设置为0来丢弃高于T+D+S的全部深度数据，其中S是肩部的深度。在一个实施例中，处理器120被配置成将S设置成250 mm，因为~10英寸深度足以合理地捕获肩部。第四，处理器120被配置成通过尝试若干技术来确定所获得的深度数据是否符合肩部。例如，在一个实施例中，处理器120被配置成检测轮廓并且测量与椭圆体的拟合优度。在另一实施例中，处理器120被配置成计算不同高度级别处的深度数据的直方图，并且检查在头部方位周围的肩部深度级别处是否存在具有足够的深度数据点以表示肩部的至少一个仓。如果不存在肩部，例如对于球而言，则在该方位处的深度数据将靠近地板级别，并且肩部级别处的仓将不具有足够的深度数据点。肩部验证的目的是避免球形物体，例如球、气球和球形灯。至于对人进行计数，头部验证通常就足够了。然而，肩部大小是用于标识和跟踪占用者的有用特征。

在步骤470中，处理器120被配置成确定门的位置。特别地，在一个实施例中，处理器120被配置成以六个步骤来自动确定门的位置。首先，从预处理的图像开始，处理器120被配置成利用内核大小5来执行中值过滤。其次，处理器120被配置成通过利用最大地板深度代替非常靠近地面（1英尺内）和高于地面2英尺的深度数据来丢弃这些深度数据。第三，处理器120被配置成检测Canny边缘以增加对比度并且降低噪声。第四，处理器120被配置成在Canny边缘上执行Hough线变换以检测直线。尽管Canny边缘检测和Hough线变换在计算上不便宜，但是它不使实时性能降级，因为门检测仅在开始时执行。第五，从候选Hough线开始，处理器120被配置成选择具有与深度帧的X轴最平行的最高累加器投票（accumulatorvote）的线（例如，线门₁，如图7中所示）。

在步骤480中，处理器120被配置成跟踪进入和离开入口通道的个人。处理器120执行两个类型的跟踪：（i）基本跟踪，用以确定人是否通过门进入内部或走出外部以准确对他们进行计数；以及（ii）生物计量学跟踪，用以标识和跟踪个人。处理器120被配置成通过利用人的方位、高度和头部半径来实现轻量级贪婪二分匹配算法。假设处理器120分别在先前帧和当前帧中检测N个人和M个人。对于每对人（i，j），其中

并且

，处理器120被配置成将头部中心之间的距离、头部半径的差以及每对的高度进行归一化。然后，处理器120被配置成通过使用这三个距离来计算加权的距离（例如，权重分别为：1、1和0.5）。用于高度差的较小权重的原因在于，我们观察到当人员从一侧行走到另一侧时，他或她的高度变化高达40毫米。然后，处理器120被配置成按升序对距离进行排序，并且按该次序将他们配对。如果某人

未被配对，则处理器120被配置成将他添加到当前帧中。然而，如果某人

未被配对，则处理器120被配置成不立即丢弃他，因为有可能深度传感器110可能缺失了帧中的某人，并且在下一帧中检测到他。对于缺失的人员，处理器120被配置成基于他的平均行走速度和方向来预测该人员的当前方位，并且相应地更新他的头部中心的位置。为了进行此，每当存在一对时，处理器120就被配置成更新人员的平均行走速度和方向。

在低帧速率下，例如，当某人（P1）通过门离开并且其他人（P2）在下一帧中从门的另一侧进入时，某人可以在连续帧之间移动相当大的距离，这会对跟踪产生负面影响。可能看起来像P1朝向他的相反方向移动，并且可能错误地增加/减少占用计数。因为P1的头部在当前帧处缺失，因此贪婪的二分匹配尝试将较早帧的P1与当前帧的P2进行匹配。为了避免这种情况，处理器120被配置成考虑行走方向，并且如果该匹配需要方向反转，则处理器120被配置成检查在他相应的预测方位处的当前和先前帧中是否存在P1的深度阴影。如本文中使用的，深度阴影意指头部是缺失的，但是在该位置附近看到部分身体轮廓。如果存在深度阴影，则处理器120被配置成假设在P2进入时P1在那里/已在那里，并且我们不允许进行匹配。

每当某人通过入口通道进入/离开时，处理器120就被配置成提取关于对象的身高、头部半径、肩部大小、进入/走出以及行走速度的多个简单特征。更具体地，对于身高，处理器120被配置成当他/她穿过门₁时，从深度数据提取包括最小、最大、平均和确切身高的若干特征，以及在进入/离开事件期间的整体最小、最大、平均和中值身高。提取关于头部半径和肩部大小的类似特征。处理器120被配置成匹配这些特征以标识个体。

在步骤490中，处理器120被配置成确定当前占用地点的人的计数。特别地，对于每个帧，对于该帧内的每个人员，处理器120被配置成确定D_i，如果他在门₁的外部，则D_i是1，并且否则是0，其中

。处理器120被配置成如果某人的D_i从1（在先前帧处）被改变到0（在当前帧处），则增加占用计数。处理器120被配置成记录人员的方向，并且如果他的D_j（j≠i）之后从1被改变到0，则处理器120被配置成不再次增加计数。然而，如果D_i或D_j之后从0被改变到1，则处理器120被配置成减少占用计数并且随后忽略类似的改变（0到1）。

已经通过示例的方式示出了上述实施例，并且应当理解的是，这些实施例可以容许各种修改和替换形式。应当进一步理解的是，权利要求不旨在受限于所公开的特定形式，而是覆盖落入本公开的精神和范围内的全部修改、等同方式和替换方式。

虽然已经参考各种实施例描述了该专利，但是将理解的是，这些实施例是说明性的，并且本公开的范围不限于这些实施例。许多变型、修改、添加和改进是可能的。更一般地，已经在上下文或特定实施例中描述了根据该专利的实施例。功能性可以在本公开的各种实施例中以框的形式不同地分离或组合，或者利用不同的术语来被描述。这些和其它变型、修改、添加和改进可以落入如所附权利要求书中限定的本公开的范围内。

Claims (20)

1.一种占用感测系统，其包括：

多个占用传感器，每个占用传感器安装在去往多个地点中的相应地点的入口通道处，每个占用传感器具有深度传感器，所述深度传感器面向去往所述相应地点的所述入口通道，并且被配置成提供深度传感器数据，每个占用传感器被配置成（i）当每个相应的人员通过所述入口通道进入和走出所述相应地点时，执行多级扫描过程以提取所述相应的人员的身体的深度轮廓并基于所提取的深度轮廓来确定所述相应的人员的高度、头部半径和肩部大小，以及（ii）通过基于进入事件和走出事件的所确定的高度、头部半径和肩部大小将所述相应的人员的进入事件与所述相应的人员的走出事件相比配来确定进入所述相应地点的每个人员的占用持续时间；以及

服务器，其通信地耦合到所述多个占用传感器，并且被配置成从所述多个占用传感器接收数据，所述数据指示在多个不同时间下占用所述多个地点中的每个地点的人数。

2.根据权利要求1所述的占用感测系统，其中：

所述多个占用传感器中的每个占用传感器被配置成：当每个相应的人员通过所述入口通道进入和走出所述相应地点时，（i）通过将所提取的深度轮廓与椭圆体进行比较来验证所提取的深度轮廓包括人类头部，（ii）通过丢弃与头部对应的所提取的深度轮廓并检查剩余的所提取的深度轮廓是否符合肩部来验证所提取的深度轮廓包括人类肩部。

3.根据权利要求2所述的占用感测系统，其中服务器被配置成：对于进入所述多个地点中的一个地点的每个人员，基于所述相应人员的占用时间来估计所述相应地点处的所述相应人员对供给的使用。

4.根据权利要求3所述的占用感测系统，其中服务器被配置成：对于进入所述多个地点中的一个地点的每个人员，（i）响应于所述相应人员的占用时间小于预定阈值持续时间，估计所述相应地点处的所述相应人员使用的第一供给量，以及（ii）响应于所述相应人员的占用时间大于预定阈值持续时间，估计所述相应地点处的所述相应人员使用的第二供给量。

5.根据权利要求1所述的占用感测系统，其中服务器被配置成：对于所述多个地点中的每个地点，在存储器中存储监管服务工作者为所述相应地点提供服务的最近时间。

6.根据权利要求5所述的占用感测系统，其中服务器被配置成：对于所述多个地点中的每个地点，基于自最近时间以来所述相应地点处的估计的总供给使用，确定监管服务工作者应该为所述相应地点下一次提供服务的下一个时间。

7.根据权利要求5所述的占用感测系统，其中服务器被配置成基于在多个不同时间下占用所述多个地点中的每个地点的人数，估计自最近时间以来所述多个地点中的每个地点处的总供给使用。

8.根据权利要求5所述的占用感测系统，其中服务器被配置成：对于所述多个地点中的每个地点，在存储器中存储在监管服务工作者为所述相应地点提供服务的最近时间下在所述地点处的供给量。

9.根据权利要求8所述的占用感测系统，其中服务器被配置成：对于所述多个地点中的每个地点，基于自最近时间以来所述相应地点处的估计的供给使用以及在最近时间下在所述地点处的供给量来估计在所述相应地点处的剩余供给量。

10.根据权利要求5所述的占用感测系统，其中服务器被配置成从通信地耦合到服务器的个人电子设备接收数据，所述数据指示监管服务工作者为所述多个地点中的特定地点提供服务的最近时间。

11.根据权利要求10所述的占用感测系统，其中服务器被配置成从个人电子设备接收数据，所述数据指示在监管服务工作者为所述多个地点中的所述特定地点提供服务的最近时间期间补充的实际供给量。

12.根据权利要求 11所述的占用感测系统，其中服务器被配置成：

确定在所述多个地点中的所述特定地点处补充供给所需的预期供给量；

将所需的预期供给量与被补充的实际供给量进行比较；以及

基于所述比较来检测对供给的偷窃。

13.根据权利要求1所述的占用感测系统，其中服务器被配置成：（i）基于在多个不同时间下占用所述多个地点中的每个地点的人数来确定多个地点中的每个地点的使用模式，以及（ii）基于所述多个地点中的每个地点的相应使用模式，为所述多个地点中的每个地点生成服务时间表。

14.根据权利要求1所述的占用感测系统，其中服务器被配置成向通信地耦合到服务器的个人电子设备传输数据，所述数据指示在当前时间下占用所述多个地点中的每个地点的人数。

15.根据权利要求5所述的占用感测系统，其中服务器被配置成向通信地耦合到服务器的个人电子设备传输数据，所述数据指示监管服务工作者为所述多个地点中的特定地点提供服务的最近时间处。

16.根据权利要求6所述的占用感测系统，其中服务器被配置成向通信地耦合到服务器的个人电子设备传输数据，所述数据指示监管服务工作者应该为所述多个地点中的特定地点下一次提供服务的下一个时间处。

17.根据权利要求9所述的占用感测系统，其中服务器被配置成向通信地耦合到服务器的个人电子设备传输数据，所述数据指示所述多个地点中的特定地点处的估计的剩余供给量。

18.根据权利要求13所述的占用感测系统，其中服务器被配置成向通信地耦合到服务器的个人电子设备传输数据，所述数据指示针对所述多个地点中的至少一个地点生成的服务时间表。

19.根据权利要求1所述的占用感测系统，其中多个占用传感器中的每个包括显示器，所述显示器被配置成显示占用相应地点的人数。

20.根据权利要求1所述的占用感测系统，其中所述多个地点中的至少一个地点是洗手间。

Images