[go: up one dir, main page]

CN110800273B - 虚拟传感器系统 - Google Patents

虚拟传感器系统 Download PDF

Info

Publication number
CN110800273B
CN110800273B CN201880042348.3A CN201880042348A CN110800273B CN 110800273 B CN110800273 B CN 110800273B CN 201880042348 A CN201880042348 A CN 201880042348A CN 110800273 B CN110800273 B CN 110800273B
Authority
CN
China
Prior art keywords
sensor
sensors
data
sensor assembly
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880042348.3A
Other languages
English (en)
Other versions
CN110800273A (zh
Inventor
Y·阿加瓦尔
C·哈里森
G·拉普特
S·布瓦拉加万
陈晨
A·霍塔
B·R·肖
张洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carnegie Mellon University
Original Assignee
Carnegie Mellon University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carnegie Mellon University filed Critical Carnegie Mellon University
Publication of CN110800273A publication Critical patent/CN110800273A/zh
Application granted granted Critical
Publication of CN110800273B publication Critical patent/CN110800273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D5/00—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D9/00—Recording measured values
    • G01D9/005—Solid-state data loggers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D3/00—Indicating or recording apparatus with provision for the special purposes referred to in the subgroups
    • G01D3/08—Indicating or recording apparatus with provision for the special purposes referred to in the subgroups with provision for safeguarding the apparatus, e.g. against abnormal operation, against breakdown
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

一种感测系统包含传感器组件，该传感器组件可通信地连接至计算机系统，例如服务器或云计算系统。传感器组件包含感测各种不同物理现象的多个传感器。传感器组件将原始传感器数据特征化，并将特征化数据传输至计算机系统。通过机器学习，计算机系统随后训练分类器以充当事件的虚拟传感器，该事件与来自特征化传感器数据中一个或多个传感器流的数据相关。然后，虚拟传感器可以订阅来自传感器组件的相关传感器供稿，并监视事件的后续发生。较高阶虚拟传感器可以接收来自较低阶虚拟传感器的输出，以推断有关传感器组件所在环境的非二进制细节。

Description

虚拟传感器系统
相关申请的交叉引用
根据美国法典第35条119(e)节，本申请要求以下优先权的益处：2017年4月24日提交的题为“合成传感器”的申请号为62/602,487的美国临时专利申请；2017年4月27日提交的题为“通用合成传感器系统”的申请号为62/602,543的美国临时专利申请；以及2017年8月22日提交的题为“安全性泛在感测系统”的申请号为62/605,675的美国临时专利申请；上述每一个的公开内容都通过引用整体合并于此。
美国政府许可权
本发明是在美国国家科学基金会授予的CNS1526237拨款的美国政府支持下完成的。美国政府拥有本发明的某些权利。
背景技术
本文提供的背景描述是为了总体上呈现本公开内容的目的。除非本文另外说明，否则本节中描述的材料不是本申请中的权利要求的现有技术，并且即使包含在本节中也不能承认其为现有技术。
智能环境(例如，“智能家居”)和物联网(IoT)的前景依赖于对各种环境方面的强大感测。传统方法依赖于使用专用传感器测量环境的一个特定方面。无论采用哪种方法，目标均保持不变：应用感测和计算来增强人类体验，尤其是涉及到物理环境(例如家庭、办公室、车间)及其所含有的便利设施时。尽管迄今为止还没有广泛使用，但是许多方法已经进行了尝试并阐明。
一种选择是供用户使用新发布的“智能”设备(例如，电灯开关、厨房电器)升级其环境，其中许多设备都含有感测功能。然而，这种感测通常限于装置本身(例如，智能灯感测其是否开启或关闭)或与其核心功能相关联的单个参数(例如，智能恒温器感测房间是否被占用)。同样，很少有智能设备可互操作，从而形成了阻碍整体体验的感测到的数据孤岛。除了实现智能家居，目前最好的希望是小巧的智能岛。这种方法还带来了巨大的升级成本，到目前为止，事实证明，这种方式在消费者中是不受欢迎的，他们通常会零星地升级装置。
已经在环境感测的背景下描述了多种不同的感测模式，包含专用感测系统、分布式感测系统、基础设施介导的感测系统和通用感测系统。可以根据它们使用的传感器数量以及它们感测的方面或参数的数量来组织这些感测模式。特别地，专用感测系统利用单个传感器，基础设施介导的通用感测系统利用一个或几个传感器，而分布式感测系统利用许多传感器。此外，专用感测系统感测单个方面，基础设施介导的感测系统倾向于感测一个或几个方面，通用感测系统倾向于感测多个方面，而分布式感测系统可以感测从环境的单个方面到多个方面的任何位置。
然而，当前现有的感测系统通常将所有感测到的数据传送到用于处理和/或存储系统的后端服务器，从而导致与例如带宽使用和处理速度有关的问题。
发明内容
在一个一般方面，本发明涉及一种泛在感测系统，其利用一个或多个传感器，该传感器能够直接或间接地检测传感器组件周围的环境中的事件。尽管感测系统配置为用于间接感测，使得环境中的每个物体和/或人不需要在某个位置配备仪器以感测它们的状态或与之相关联的事件，但是传感器也可以耦合到物体和/或人类以用于无需任何修改的直接感测。感测系统包含传感器组件，该传感器组件可以定位在环境或位置内，并且能够与服务器或其他类型的计算机系统通信以进行处理。感测系统可以任选地在本地处理传感器数据，并将处理后的数据传输到服务器。服务器利用机器学习来与一个或多个事件相关联地表征接收到的传感器数据和/或训练数据，以学习检测指定事件的发生。在一方面，用户可以对传感器数据流进行注释以指示某些事件何时发生，然后机器学习算法学习数据流的哪些特性与该事件相关，从而允许感测系统随后检测未来该事件的发生。在另一方面，感测系统利用深度机器学习来确定事件何时发生以及传感器数据流的哪些特性与那些事件相关。在又一方面，服务器可以具有先前训练的机器学习模型的库和/或可以针对不同的活动和事件来训练来自先前的数据收集步骤、众包等的机器学习模型，并且感测系统可以直接发送传感器数据，并让服务器确定发生了什么事件。因此，服务器可以定义一组经过机器学习训练的“虚拟传感器”，每个虚拟传感器都能够从与事件发生相关的传感器数据组合中检测事件，但该传感器数据组合不一定由与被感测的物体直接固定或以其他方式相关联的传感器提供。更具体地，这些类型的虚拟传感器可以被称为“一阶”虚拟传感器。服务器可以进一步实现能够从来自较低阶虚拟传感器的数据的组合中检测事件或条件的较高阶虚拟传感器(例如，二阶虚拟传感器从一阶虚拟传感器的输出中检测事件)。
关于这一点，在一个实施例中，感测系统包括具有处理和通信能力的传感器组件以及后端服务器系统。该传感器组件包括控制电路和一个或多个传感器。每个传感器在传感器组件的环境中感测一个或多个不同的物理现象。包括至少一个服务器的后端服务器系统与传感器组件通信。此外，传感器组件的控制电路配置为，除其他事项外：(i)从来自多个传感器的原始传感器数据中提取特征；(ii)将数据包传输到后端服务器系统，其中所述数据包包括来自多个传感器的特征化数据。后端服务器系统的至少一个服务器配置为实现一阶虚拟传感器，其中通过机器学习来训练每个一阶虚拟传感器，以基于从传感器组件传输的特征化数据来检测传感器组件环境中的事件或条件。
在另一一般实施例中，后端服务器系统被编程为从传感器组件接收特征化传感器数据；通过特征化传感器数据确定事件的发生；通过机器学习训练由服务器实现的虚拟传感器，以通过表征与事件相关联地激活的多个传感器的特征化传感器数据来检测事件；并通过虚拟传感器监视后续事件的发生。
因此，本发明的各种实施例提供了一种能够直接或间接地监视大型环境的高性能传感器。根据以下描述，本发明的这些和其他益处将是显而易见的。
附图说明
在所附权利要求中具体阐述了各个方面的特征。然而，通过参考以下结合附图的描述，可以最好地理解关于组织和操作方法的各个方面以及其进一步的目的和优点。
图1A示出了根据本公开的至少一个方面的感测系统的框图。
图1B示出了根据本公开的至少一个方面的具有训练的虚拟传感器的图1A的感测系统的框图。
图2示出了根据本公开的至少一个方面的包含虚拟传感器的感测系统的框图，该虚拟传感器从传感器组件的各个传感器接收数据。
图3A示出了根据本公开的至少一个方面的感测系统的框图。
图3B示出了根据本公开的至少一个方面的具有训练的二阶虚拟传感器的图3A的感测系统的框图。
图4示出了根据本公开的至少一个方面的包含分层地接收数据的传感器、一阶虚拟传感器和二阶虚拟传感器的感测系统的框图。
图5示出了根据本公开的至少一个方面的感测系统的框图，该感测系统包含可通信地耦合至计算机系统的多个传感器组件。
图6示出了根据本公开的至少一个方面的传感器组件的透视图。
图7示出了根据本公开的至少一个方面的各种传感器的采样率的时间线。
图8示出了根据本公开的至少一个方面的第一传感器数据图形显示，其被感测系统检测到的事件所注释。
图9示出了根据本公开的至少一个方面的第二传感器数据图形显示，其被感测系统检测到的事件所注释。
图10示出了根据本公开的至少一个方面的第三传感器数据图形显示，其被感测系统检测到的事件所注释。
图11示出了根据本公开的至少一个方面的第四传感器数据图形显示，其被感测系统检测到的事件所注释。
图12示出了根据本公开的至少一个方面的第五传感器数据图形显示，其被感测系统检测到的事件所注释。
图13示出了根据本公开的至少一个方面的第六传感器数据图形显示，其被感测系统检测到的事件所注释。
图14示出了根据本公开的至少一个方面的表示为状态机的微波二阶虚拟传感器的框图。
图15A示出了根据本公开的至少一个方面的用于注释由感测系统检测到的事件的图形用户界面。
图15B示出了根据本公开的至少一个方面的图形用户界面，该图形用户界面显示了由感测系统检测到的事件。
图16示出了根据本公开的至少一个方面的经由虚拟传感器检测事件的过程的逻辑流程图。
图17示出了根据本公开的至少一个方面的通用计算或数据处理系统的框图。
具体实施方式
现在将对某些方面进行描述以全面理解本文公开的设备和方法的结构、功能、制造和使用的原理。这些方面的一个或多个示例在附图中示出。本领域普通技术人员将理解，本文中具体描述并在附图中示出的设备和方法是非限制性示例方面，并且各个方面的范围仅由权利要求书限定。结合一个方面示出或描述的特征可以与其他方面的特征组合。这样的修改和变化旨在将其包含在权利要求的范围内。此外，除非另有说明，否则为了读者方便起见，选择本文采用的术语和表达以描述示例性性方面，并且其范围不受限制。
图1A示出了根据本公开的至少一个方面的感测系统100的框图。感测系统100包括具有一个或多个传感器110的传感器组件102以及计算机系统104(例如，一个或多个联网服务器)，传感器组件102可以经由网络108(图5)可通信地连接至该计算机系统104。传感器110包含用于检测传感器组件102附近的各种物理或自然现象的各种传感器，例如振动、声音、环境温度、光色、光强度、电磁干扰(EMI)、运动、环境压力、湿度、气体成分(例如，允许检测某些类型的气体和污染物)、到物体或人的距离、用户设备的存在、红外辐射(例如，用于热成像)等。尽管图1A示出了感测系统100中含有的一个传感器组件102，但是彼此可通信地连接和/或与计算机系统104可通信地连接的多个传感器组件在本公开的范围内(如图5所示)。
感测系统100配置为训练和实现一个或多个虚拟传感器118，其为基于机器学习的分类系统或算法，被训练以检测与分配了虚拟传感器118的、与传感器组件102的传感器110和/或其他虚拟传感器118感测的数据相关的特定事件。虚拟传感器118的各个方面的训练和实现在下面更详细地描述。
感测系统100可以配置为但不限于专用感测系统、分布式感测系统、基础设施介导的感测系统和/或通用感测系统。
在一方面，专用感测系统可以包含配置为监视环境的单个方面的单个传感器组件102。例如，可以将包含麦克风的传感器组件102固定到水龙头上，以便可以推断出水的消耗量(进而将其用于加强改变行为的反馈)。作为另一示例，可以将包含温度传感器和/或占用传感器的传感器组件102放置在房间中，以感测可以由供暖、通风和空调(HVAC)系统用来管理HVAC系统的环境数据。
在一方面，基础设施介导的感测系统可以包含在战略基础设施探测点处安装在结构内的一个或多个传感器组件102。例如，传感器组件102可以耦合到建筑物的电力线以检测由电器引起的“事件”。由于家庭电线是共享的，因此单个传感器组件可以观察整个房屋的活动。基础设施介导的感测系统也可以耦合到例如HVAC、管道、天然气管线和电照明。例如，可将包含一个或多个传感器的感测组件安装在探测点处，以使感测系统能够监视建筑物的各个方面。例如，附有管道的传感器组件可以配置为检测水槽、淋浴器和马桶的使用。基础设施介导的感测系统可以包含一个传感器组件和/或多个传感器组件，用于监视环境的一些事实。
在一方面，分布式感测系统可以包含部署在环境中并且一起联网网络中的在一起的许多传感器组件102。这样的感测系统可以用于扩大感测的区域(例如，整个仓库的占用感测)或通过补充互补的读数来增加感测保真度(例如，利用在整个区域内部署的传感器感测地震事件)。分布式传感器组件102可以是同质的(例如，相同的红外占用传感器的阵列)和/或异质的。而且，该阵列可以感测一个方面(例如，火灾检探测)或许多方面(例如，装置设备使用)。例如，家庭安全系统是一种异质构的分布式系统，其中一个或多个传感器组件可能包含门传感器、窗传感器、噪声传感器、占用传感器甚至摄像机一起工作以感测环境的单个方面，即：“家中是否有闯入者”？作为另一示例，包括磁性传感器的传感器组件的同质阵列可以用于检测整个房屋内的物体相互作用。因此，基于分布式感测系统的具体实现施方式，分布式感测系统可以配置为包含用于监视环境的单个方面与多个方面之间的任何地方的尽可能多的传感器组件。
在一方面，通用感测系统可以包含各种各样的底层传感器组件102，其可以被灵活利用，使得它们可以被附接到各种各样的物体并且可以感测许多方面而无需对传感器组件102进行任何修改。
在某些方面，感测系统100可以是直接感测系统和/或间接感测系统。为了直接感测，传感器组件102物理地耦合到相关物体或基础设施，并且可以提供优异的信号质量。一些直接感测系统可以包含利用电池或其他电源为传感器组件供电。间接感测系统寻求间接地感测状态和事件，而不必物理耦合到物体。例如，可以将包含电磁传感器(EMI传感器)的传感器组件安装在装置和/或其电源附近以检测装置的使用情况，因为当装置处于不同的运行模式时(例如，冰箱压缩机运行、内部灯的开/关)，则物体和/或电源会发出可以被捕获和识别的特有电磁噪声。作为另一示例，可以在车间中安装包含声学传感器的传感器组件，以根据检测到的每个工具的声学特性来识别工具的使用情况。包含在传感器组件102中的配置为用于间接感测的示例性传感器可以包含但不限于非接触温度计、测距仪、运动传感器、EMI传感器、声学传感器、振动传感器、磁场传感器、摄像机、超声传感器、基于激光的传感器(例如，激光雷达)等。间接感测系统在传感器放置方面具有更大的灵活性，从而可以将传感器更好地集成到环境中甚至隐藏起来。此外，可以将间接感测系统的传感器组件放置在附近的墙壁电源插座上，从而无需电池。
返回参考图1A，传感器组件102还包含特征化模块112(其可以由传感器组件102的微控制器或其他可编程电路执行的固件来实现)，其将来自传感器110的原始数据处理并转换成各种形式的已处理数据，并提取数据的可测量属性或特性，即特征。特征化模块112可以以例如特征向量的形式输出处理后的原始传感器110数据，以提供给基于机器学习的分类系统、统计分类系统和/或在计算机系统104中利用模式识别、机器学习技术(例如，分类器)、逻辑回归、决策树、随机森林等的聚类系统。在各个方面中，特征化模块112可以从高采样率(例如，几kHz到几MHz)和低采样率(例如，0.1Hz到1kHz)传感器110提取数据。高采样率传感器的示例可以包含但不限于振动传感器、EMI传感器、麦克风、摄像机等。低采样率传感器的示例可以包含但不限于温度传感器、湿度传感器、亮度传感器等。
特征化模块112可以从例如传感器数据的时域和/或频域表示中确定或提取各种特征(例如，通过时域表示的变换)。可以利用多种不同的技术来提取来自传感器110的原始数据的特征，这些技术可以根据收集传感器数据的采样率或传感器110的特定类型而变化。此外，由特征化模块112从原始传感器数据中提取和/或传输至计算机系统104的特征的数量和/或类型可以基于例如采样率、传感器的类型、用户输入等。在各个方面中，特征化模块112提取的特征的数量和/或类型可以由特征化模块112本身、计算机系统104、客户端106(图5)和/或作为感测系统100的一部分或者可以访问感测系统100的另一系统或设备来控制。在一个示例中，通过将数据经由滑动窗口快速傅立叶变换(FFT)(例如256个样本，重叠10％)以特定速率(例如10Hz)转换为频谱表示，可以使来自传感器组件102的一个或多个高采样率传感器的数据特征化，其相位信息可以利用或丢弃。该技术也可以用于使来自低采样率传感器的数据特征化。在另一示例中，来自传感器组件102的高采样率声学传感器(例如，麦克风)的数据可以首先被转换到频域，然后一个或多个梅尔频率倒谱系数(MFCC)特征(例如，音频数据的滑动窗口上的14个或40个MFCC系数)、增量特征和/或双增量特征可以从频域中提取。在另一示例中，可以通过以特定的速率(例如10Hz)在具有不同时间粒度(例如100ms、500ms和/或一秒钟)的滚动缓冲区上计算各种统计特征(例如，最小值、最大值、范围、平均值、中位数、众数、和、标准差和/或质心)来使来自低采样率传感器和/或高采样率传感器110的数据特征化。同样，特别是对于高采样率传感器，原始传感器数据可以通过将数据转换为频谱表示来特征化。在一方面，每个传感器的特征化数据可以独立地传输至计算机系统104以在其上进行进一步处理。在另一方面，可以将传感器的子集的特征化数据打包在一起并传输至计算机系统104。而且，后端服务器系统可以将信号或指令传输至传感器组件，以通知传感器组件应为特定传感器提取哪些特征。即后端服务器系统可以就何时提取或提取哪些特征而修改或改变传感器组件(对于传感器组件提取原始传感器数据中的特征的实施例)。
在图1A和1B中描绘的一个方面，特征化模块112可以存在于传感器组件102上，从而可以将来自传感器110的数据先进行特征化，然后再传输至计算机系统104。在这个方面，原始传感器数据不被传输或以其他方式存储在传感器组件102的外部。由于各种原因，这可能是有利的。首先，特征化使传感器110的数据变性，通过防止传输的数据被意外接收者截取然后重建，从而提供了更高程度的数据保密性。例如，可以将来自声学传感器的数据与基本统计特征结合起来转换为低保真度的频谱表示，从而无法从传输的特征化数据中重建语音内容。类似地，来自基于视觉的传感器(例如，摄像机)的数据可以被特征化和变性。第二，特征化减小了数据包的大小，这对于节省传输带宽和传感器110数据的存储是有用的。可替代地和/或附加地，特征化模块112可以存在于计算机系统104上。在这个方面，在将原始传感器数据和/或部分特征化数据传输到计算机系统104之后，从原始传感器数据中提取一些或全部特征。同样，由于各种原因，这可能是有利的，例如减少传感器组件102需要的计算能力。
在特征化模块112处理数据之后，可以通过感测系统100中包含的计算机系统104的机器学习模块116来处理和/或分析特征化数据。在一方面，机器学习模块116可以生成机器学习模型以检测数据与已经发生的事件之间的相关性。在一方面，机器学习模块116生成分类器，该分类器是一种算法，该算法经由机器学习模型进行训练，以基于分类器接收到的训练将输入分配给一个或多个类别。在这个方面，可以基于提供给机器学习模块116作为训练数据的分组的特征化数据来训练分类器以识别给定事件的发生。在训练分类器以识别事件时，机器学习模块116可以评估不同传感器通道的信息能力，并且可以选择适当的阈值，以在表征训练数据时获得最佳准确性。机器学习模块116的训练使分类器学习哪些传感器数据流与事件类型相关联，并且进一步，那些数据流的哪些特征特别地标识了事件类型。一旦被训练以识别事件，则虚拟传感器118可以在检测到事件时输出通知和/或信号，该通知和/或信号导致图形用户界面500(其示例在图15B中示出)显示图标、表意文字、文本警报或其他指示符506，指示正在检测到该事件。
机器学习模块116可以在训练分类器时利用监督学习、无监督学习和/或两种技术。同时使用监督和无监督方法的优点可能是，它是一种有效的方法，可以将多模态数据中的不同类型的特征关联起来。同时使用监督和无监督方法也可能是有利的，因为它可以对具有监督训练结果的无监督训练进行微调。监督学习是从标记的训练数据中推断出函数的机器学习任务。训练数据由一组训练示例组成。在监督学习中，每个示例都是一对，由输入对象(通常是矢量)和期望的输出值或目标组成。目的是学习将输入映射到输出的通用规则。监督方法可能是有利的，因为监督学习算法会分析训练数据并产生一个推断函数，该函数可用于映射新示例。此外，一种无监督方法试图在未标记的数据中找到隐藏的结构，并且包含一种没有目标值的算法，即没有错误或奖励信号来评估潜在的解决方案。相反，该算法具有停止标准。停止标准的示例包含但不限于精度、召回率、准确性、循环数和时间。当唯一可用的数据是未标记数据时，无监督方法可能有利于模型训练。
在一方面，机器学习模块116可以现在或以后利用已知的机器学习方法来检测数据与已发生的事件之间的相关性，例如各种深度学习算法、聚类等。在其他方面，在数据由特征化模块112处理之后，特征化数据可以由其他分类模块处理，例如逻辑回归模块、聚类模块(例如，k均值、频谱、基于密度的应用程序对噪声的空间聚类(DBSCAN)和均值偏移)、决策树模块或随机森林模块。在一方面，机器学习模块116包括利用例如代数组合技术或投票(多数)组合技术的集成分类模型。集成分类模型可以提高针对误报的鲁棒性，同时支持检测同时发生的事件的能力。在一方面，机器学习模块116包括针对每个虚拟传感器训练的使用基础级支持向量机(SVM)，以及在所有传感器上训练的全局(多类)SVM。在计算机系统104实现许多第一或更高阶虚拟传感器118的实施例中，虚拟传感器118可以全部使用相同的机器学习技术或者可以使用不同的机器学习技术。例如，一些虚拟传感器118可以使用支持向量机、一些决策树、一些神经网络等。在一方面，特征化数据可以被组织为特征向量，并且特征向量被馈送到机器学习模块116中以作为分类器的训练数据。
在一些方面，在原始传感器110数据被特征化模块112处理之后，特征化数据可以任选地在被传输到机器学习模块116之前和/或被机器学习模块116处理之前由激活组模块处理。在一方面，激活组模块进一步处理来自特征化模块112的特征化数据并将其转换成各种形式的已处理数据，如下所述。在一方面，激活组模块可以在传感器组件102上执行，即在将特征化数据传输至计算机系统104之前。在另一方面，在特征化数据被计算机系统104接收之后，激活组模块可以由计算机系统104执行。附加地和/或可替代地，激活组模块可以是传感器组件102和计算机系统104之间的节点(例如，网关)的一部分。在包含这样的中间节点的方面中，该中间节点可以被视为如本文所述的计算机系统104的一部分。在一方面，激活组模块还可以处理原始传感器数据而不进行特征化。
在一方面，激活组模块可以确定在给定时间或在给定时间窗内已经触发了哪些传感器110，并且从传感器提取数据的子集作为仅对应于已激活传感器的激活组数据。确定哪些传感器通道已被激活可以减少环境噪声对接收到的传感器数据的影响。激活组模块可以例如通过将环境的基线或背景概况确定为校准例程并使用该基线或背景概况来确定哪些传感器或传感器通道已被“激活”来确定哪些传感器110已被触发或激活。通过从特征化传感器数据中减去或以其他方式去除基线或背景概况来“激活”。在一方面，激活组模块通过利用针对每个传感器通道的自适应背景模型(例如，滚动平均值和标准偏差)来确定给定的传感器110是否已经被激活。在各个方面，可以使用例如标准化的欧几里得距离度量将所有接收到的数据流与背景概况进行比较。将超出基线预定阈值(对于每个传感器可能唯一)的传感器通道标记为“已激活”。在一方面，激活组模块可以进一步利用滞后以避免检测抖动。阈值可以例如根据经验通过在跟踪传感器110的纵向变化的同时运行传感器110几天来获得，或者由用户或系统管理员来设置。在一方面，背景概况是指由传感器基于与相关事件无关的环境的周围条件感测的数据，并且当传感器组件102最初被启动或部署在新环境中时，感测系统100可以获得该数据。可替代地和/或附加地，感测系统100可以周期性地获得每个传感器组件102的环境背景概况。获得环境背景概况有助于减少与基线改变相同的活动的误报(例如，为了检测工厂环境的特定机器的声音，可以从作为基线或背景概况的特征化数据中减去风扇的持续嗡嗡声或其他此类一致的声音)。
此外，激活组模块可以通过从传感器110检测到的任何传感器信号中减去基线或背景概况来创建数据集。这样的数据集将需要较少的带宽(如果激活组模块是其中传感器组件102的一部分或被传感器组件102执行)传输至计算机系统104以通过机器学习模块116进行训练。此外，激活组模块可以用与激活的传感器相对应的标识信息标记数据集，以便机器学习模块116知道训练机器学习模型(例如，分类器)时哪个传感器流要考虑以及哪个传感器流要忽略。这通过减少训练分类器的特征空间来辅助分类。已经与事件相关联地被激活的传感器110的特定分组的标识可以用作有用的元数据对事件进行描述，这继而可以辅助分类已经检测到的事件类型。例如，沸腾的水壶可以激活传感器组件102的红外、振动和/或声学传感器，并且由激活组模块确定已经从传感器组件102的一组传感器110中激活了红外、振动和/或声学传感器，这本身可以用作辅助将事件分类为在传感器组件102的检测区域内沸腾的水壶的特征。在一些方面，激活组模块可以任选地组装来自激活的传感器的特征化数据的组合特征向量，然后将其提供给机器学习模块116。
返回参考机器学习模块116，在机器学习模块116利用监督学习的一方面，感测系统100可以配置为提供特征化数据的标签。标签可以由用户提供和/或由感测系统100生成。
在标签由用户提供的方面中，感测系统100可以包含用于用户指示何时以及什么类型的事件已经发生的接口，然后可以将其与传感器组件102感测的数据相关联。例如，图15A示出了根据本公开的至少一个方面的图形用户界面500，该图形用户界面500用于注释感测系统100正在检测的事件。图形用户界面500可以显示在连接至感测系统100、计算机系统104或与感测系统100通信的另一计算机系统或设备的客户端106(图5)上。图形用户界面500可以使用户将传感器数据流可视化(可以是原始传感器数据也可以是特征化传感器数据)，然后指示各种事件类型何时发生，例如通过用事件类型和事件类型发生的时间来注释传感器数据流。通过指示各种事件类型何时发生，机器学习模块116随后可以训练机器学习模型，例如分类器，以将特征化传感器数据流的各种特征与特定事件类型的发生相关联。例如，图形用户界面500可以用于在传感器数据流504上对应于敲门的时间提供“敲门”注释502。注释502因此为传感器数据提供标签，以供机器学习模块116训练虚拟传感器118以检测相应的事件。作为另一示例，用户可以将“故障”标签注释到工厂中由于机械错位而振动的机器的振动传感器中。
在由感测系统100生成标签的方面中，感测系统100可以通过例如聚类、深度学习或可由机器学习模块116实现的其他现在或以后已知的方法来自动生成标签。在一方面，用户可以使用用户界面500来验证由感测系统100自动生成的任何标签是正确还是不正确。机器学习模块116然后可以调整用于生成标签的机器学习模型的训练，以避免表征这种误报。在另一方面，如上所述，用户可以使用用户界面500来补充由感测系统100自动生成的标签，或者以其他方式将附加标签应用于传感器数据流。机器学习模块116然后可以调整机器学习模型的训练，该机器学习模型用于生成标签以正确地表征这种漏报。附加地和/或可替代地，特征向量及其相关联的标签可以作为分类器的训练数据被馈送到机器学习模块116中。
在机器学习模块116利用无监督学习的另一方面，机器学习模块116可以包括配置为执行深度学习的深度神经网络。如本文所使用的，“深度学习”是指利用多个互连的神经网络层以及反馈机制或其他方法来改善基础神经网络的性能的机器学习的形式。深度学习系统通常基于卷积神经网络的几个互连层，以及其他层、互连或反馈机制。根据概率规范和网络架构，具有深度架构的神经网络有很多变体，包含但不限于深度信念网络(DBN)、受限玻尔兹曼机器(RBM)、卷积神经网络(CNN)、深度神经网络(DNN)、能够进行顺序数据模式学习的递归神经网络(RNN)增强模型以及自动编码器。可以训练深度学习模型以使用监督和/或无监督学习来学习数据表示。从计算的角度来看，深度学习中使用的方法涉及矩阵到矩阵和矩阵到矢量的几种数学计算。这些计算的数量和性质使人们基本上无法在任何实际时间内手动或人工执行计算。在一个这样的方面，机器学习模块116使用两阶段聚类过程。首先，机器学习模块116使用配置为自动编码器的多层感知器来降低数据集的维数。自动编码器在隐藏层中可以具有例如多个不重叠的S型函数。由于自动编码器的输出与输入值相同，因此隐藏层将学习特征集的最佳简化表示。第二，此简化的特征集用作期望最大化(EM)聚类算法的输入。在其他实施例中，机器学习模块116可以包括决策树、逻辑回归模型、随机森林等。在机器学习模块116利用深度学习的一方面，某些或全部特征化或特征提取可以通过从训练数据中学习自动完成。但是，由于深度学习系统的准确性至少部分取决于将训练数据提供给深度学习系统的顺序，因此训练数据的预处理(例如，使用特征化模块112进行特征化，通过提供标签使用激活组模块等)和训练数据的选择可用于提高模型的准确性。训练数据的选择包含，例如，使用特定领域的知识来提高机器学习系统的性能。如本文所使用的领域专业知识提供了如下环境、顺序和特定种类的不变性，在该环境中，深度学习系统可以操作并且可以用来选择训练数据的元素，训练数据以该顺序被呈现给深度学习系统。
在一方面，除了和/或可替代地由传感器组件102执行的板载特征化，计算机系统104还可以被编程为执行特征化(即计算机系统104处的特征化)。附加的特征化可以包含提取特征，这些特征需要计算上昂贵的处理以用于传感器组件102硬件处理，或者可能太大而无法传输至计算机系统104。这些附加的特征可以由计算机系统104(例如，云或远程服务器)或传感器组件102和计算机系统104之间的中间节点(例如网关)来计算。在包含这样的中间节点的方面中，该中间节点可以被视为如本文所述的计算机系统104的一部分。在各个方面中，计算机系统104(可能包含中间节点)可以配置为根据与传感器组件102的一个或多个高采样率传感器和/或一个或多个低采样率传感器相对应的数据来计算附加特征。由计算机系统104可计算的附加特征可以包含但不限于来自声学传感器、EMI传感器、振动传感器或其他传感器110的原始数据和/或来自特征化模块112中已被特征化数据的带比、分数谐波、一阶或二阶信号导数、MFCC和/或统计特征(例如，最小值、最大值、范围、平均值、中位数、众数、和、标准差和质心)。在一方面，计算机系统104可以配置为使来自其他传感器110的数据标准化。然后，可以单独或与传感器组件102上特征化数据组合地将该服务器端特征化传感器数据馈送到机器学习模块116(或在某些方面，激活组模块，如上所述，激活组模块又馈送至机器学习模块116)内以进行分类。
计算机系统104的机器学习模块116还配置为训练一个或多个虚拟传感器118。在一方面，由机器学习模块116在所提供的训练数据和/或与给定事件相关联的传感器数据上训练的分类器可以被视为该事件的虚拟(或合成)传感器118。例如，由机器学习模块116训练以根据来自传感器组件102的红外、振动和/或声学传感器的各种组合的特征化数据识别沸腾水壶的分类器可以被定义为“水壶沸腾”虚拟传感器118。作为另一示例，由机器学习模块116训练以根据来自声学和/或振动传感器110的特征化数据识别门的运动的分类器可以被定义为“门运动”虚拟传感器118。应当注意的是，由于每个虚拟传感器118都是根据传感器组件102或传感器组件102的组合收集的数据进行训练的，并且由于这种传感器组件102在现场使用时将位于许多不同类型的环境中，与事件类型相关联的每个传感器组件102中包含的传感器110的子集可以改变。此外，与传感器110的相同事件和相同子集相关联的机器学习也可以根据传感器组件102的环境而变化(例如，如果背景概况对于不同的环境是不同的)。具体地，基于传感器组件102所处的环境，用于每个虚拟传感器118的机器学习模型还可以具有针对事件的不同参数和/或权重。因此，可以实现不同的虚拟传感器118(即利用传感器110的不同子集或具有分配给事件的不同参数和/或权重的虚拟传感器118)，以检测在不同位置、不同环境或甚至同一位置不同时段的相同事件。换句话说，每个虚拟传感器118将被唯一地训练以根据传感器组件102所位于的特定环境和/或在特定时间唯一的传感器数据来检测事件的发生。例如，可以训练在第一环境中和/或在第一时间段(例如，在工作时间期间)的“门运动”虚拟传感器118，以基于声学和振动数据和/或第一机器学习模型的组合来识别门的运动。但是，可以训练第二环境中和/或第二时间段(例如，晚上)中的“门运动”虚拟传感器118，以仅基于声学数据和/或第二机器学习模型来识别门关闭。此外，基于传感器组件102所处的环境，每个虚拟传感器118的机器学习模型也可以具有不同的参数和/或权重。感测系统100没有利用对虚拟传感器118的训练的任何预先建立的限制，因此每个虚拟传感器118将被唯一地训练以根据其环境检测事件。
尽管以上所述系针对与事件相关联的每组唯一条件描述了不同的虚拟传感器118(即分类器或机器学习模型)，但是在不背离本公开的原理的情况下，可以针对与不同环境相关的各种条件和一时段中发生的每个事件来训练单个通用虚拟传感器118。
如图1B所示，在机器学习模块116完成针对事件的虚拟传感器118的训练后，虚拟传感器118可以接收和/或订阅来自传感器110(即被传输到虚拟传感器118或由虚拟传感器118提取的数据流)的根据事件(即与事件相关联的传感器110)被激活的数据流。例如，如果“水壶沸腾”虚拟传感器与红外和声学传感器相关联，则“水壶沸腾”虚拟传感器将接收和/或订阅来自那些特定传感器118的数据流。在传感器组件102和/或计算机系统104包含激活组模块的一方面，当激活组模块确定激活了传感器110时(例如，在上述示例中，当确定红外和声传感器被激活时)，虚拟传感器118可以订阅与事件相关的传感器110的数据流。此后，虚拟传感器118监视训练了虚拟传感器118以从由传感器组件102的相关传感器110传输至计算机系统104的数据馈送中进行检测的事件的发生。虚拟传感器118因此可以通过训练以将由结合在传感器组件102内的传感器110检测到的刺激与特定事件的发生相关联，来直接和/或间接地检测动作或事件(即无需将传感器110物理连接或以其他方式与被感测的物体或人相关联)。
在图1B中描绘的一方面，虚拟传感器118可以由计算机系统104实现，即由机器学习模块116在其上训练虚拟传感器118的同一计算机系统104。在其他方面，虚拟传感器118可以存储在第二计算机系统上和/或由第二计算机系统实现。例如，虚拟传感器118可以在训练后存储在库中。然后，其他计算机系统可以访问先前训练的虚拟传感器118的库以进行不同的活动和事件，然后利用先前训练的虚拟传感器118根据来自其自己的传感器组件102的数据来感测事件的发生。这样的其他计算机系统还可以更新先前训练的虚拟传感器118。
尽管图1A描绘了正在训练的虚拟传感器118，且图1B描绘了订阅来自传感器组件102的数据流的经过训练的虚拟传感器118，但这是为了方便起见而不是旨在将本公开限制为包括一系列和/或多个步骤。应该理解的是，创建和实现虚拟传感器118以检测事件不需要作为一系列步骤来执行和/或不需要按照相对于图1和图2所示和所描述的顺序来执行这些步骤。换句话说，创建和实施步骤可以被集成和/或可以一起执行，或者可以以公开的顺序或以替代的顺序执行步骤。此外，虚拟传感器118的创建是一个迭代过程，并且形成虚拟传感器118的分类器的训练可以继续改善和/或修改虚拟传感器118(例如，使用反馈回路)。
此外，尽管图1A和图1B描绘了正在训练并随后实现的单个虚拟传感器118，但计算机系统104可以对任意数量的虚拟传感器118进行训练，以在各种环境中(或在不同时间)检测同一事件和/或各种事件。例如，图2描绘了感测系统100，其中基于来自与传感器组件102结合的m个传感器110的数据来训练计算机系统104以实现n个虚拟传感器118，其中n可以大于、等于、或小于m。每个虚拟传感器118可以以任何组合订阅(即从中接收数据)一个或多个传感器110的数据流。在各种实施例中，如下文进一步所述，可以有多个传感器组件102感测较大环境(例如，建筑物或校园)的不同空间，并且每个传感器组件102如上所述都与计算机系统104通信。在那种情况下，虚拟传感器118可以在进行分类时依赖于来自不同传感器组件102的特征化数据。
图3A示出了根据本公开的至少一个方面的感测系统100的框图，为了清楚起见，省略了诸如机器学习模块116的各种组件。在一些方面，感测系统100可以包含虚拟传感器118的分层结构。从传感器组件102的传感器110接收特征化数据以进行分类的虚拟传感器118可以被称为一阶虚拟传感器120。计算机系统104还可以配置为实现二阶虚拟传感器124、三阶虚拟传感器以及其他阶的虚拟传感器118，该二阶虚拟传感器124还接收并处理一个或多个一阶虚拟传感器120的输出，以进行其“二阶”分类，该三阶虚拟传感器还接收并处理一个或多个二阶虚拟传感器124的输出，以进行“三阶”分类。通常，计算机系统104可配置为实现x阶虚拟传感器，该x阶虚拟传感器接收一个或多个(x-1)或较低阶虚拟传感器的输出以检测事件或条件的发生(例如，对事件发生或条件是否存在进行分类)。
二阶虚拟传感器124还可以订阅和/或接收其他非一阶虚拟传感器数据。例如，在一些实施例中，二阶虚拟传感器124可以接收来自至少一个一阶虚拟传感器120的数据，以及来自传感器组件102的一个或多个传感器110的特征化数据，以便对其分类。这也适用于较高阶传感器。x阶虚拟传感器可以接收来自至少一个(x-1)阶传感器的数据，以及来自(i)较低阶传感器(例如，第(x-2)、(x-3)等)的数据和/或(ii)来自传感器组件102的一个或多个传感器110的特征化数据，以便对其分类。
在一些方面，较高阶虚拟传感器可以包含例如但不限于对由较低阶虚拟传感器检测到的事件的发生次数或持续时间进行计数的算法、使较低阶虚拟传感器(以及在某些情况下，传感器组件102的传感器110)的输出平滑的算法传感器(以及在某些情况下，传感器组件102的传感器110)、组合多个较低阶虚拟传感器和/或传感器110(特征化和/或原始数据)的输出的算法等。作为可以结合较低阶传感器的输出的较高阶虚拟传感器的示例，二阶虚拟传感器124可以通过分析与人类活动有关的多个一阶虚拟传感器120的输出来指示家中是否存在居住者。例如“洗碗”一阶虚拟传感器120、“厨房运动”一阶虚拟传感器120等。在另一示例中，如果二阶虚拟传感器124确定不存在房主(例如，通过确定在阈值时间段一阶虚拟传感器120已经指示没有灯尚未打开)且另一一阶虚拟传感器120检测到火灾事件，则三阶虚拟传感器可以输出警报，另一一阶虚拟传感器120检测火灾事件。在这些方面，较高阶虚拟传感器可以接收一个或多个较低阶虚拟传感器和/或传感器组件的传感器110的输出，然后相应地进行其对相应的分类。
在一些方面，与一阶虚拟传感器120一样，较高阶虚拟传感器可以包含由机器学习模块在来自一个或多个较低阶传感器的输出上训练的分类器，以识别被训练的事件或条件的发生。可以在分层结构中的至少一个直接较低阶虚拟传感器的输出上训练较高阶虚拟传感器，而不是严格按照传感器组件102的传感器110的输出来训练较高阶虚拟传感器。例如，图3A描绘了计算机系统104包含第二机器学习模块122，该第二机器学习模块122接收来自一阶虚拟传感器120的输出(数据)以生成二阶虚拟传感器124。在一些方面，如上文关于图1A和图1B所描述的，在由第二机器学习模块122进行处理之前，来自一阶虚拟传感器120的数据可以另外由特征化模块和/或激活组模块处理。在这些方面，计算机系统104还可以实现特征化模块，用于使来自虚拟传感器118的数据特征化。在图3B所示的方面，在第二机器学习模块122完成对二阶虚拟传感器124的训练之后，二阶虚拟传感器124从一阶虚拟传感器120接收数据流，第二机器学习模块122确定该数据流与正在训练特定的二阶虚拟传感器124的事件相关。此后，二阶虚拟传感器124监视二阶虚拟传感器124被训练为从一阶虚拟传感器120生成的数据馈送中检测到的事件的发生。
尽管图3A和3B描绘了正在训练并随后实现的单个二阶虚拟传感器124，但是计算机系统104可以训练任意数量的较高阶虚拟传感器118，以检测各种事件。例如，图4描绘了感测系统100，其中计算机系统104已经被训练以基于来自与传感器组件102结合的m个传感器110的数据来实现p个二阶虚拟传感器124和n个一阶虚拟传感器120，其中p可以大于、等于或小于n。每个二阶虚拟传感器124可以以任何组合至少订阅(即从中接收数据)一个或多个一阶虚拟传感器120的数据流。此外，这些相同的原理适用于由计算机系统104实现的三阶和更高阶虚拟传感器。另外，图4描绘了从不同级别或位阶的传感器接收数据的较高阶虚拟传感器。例如，除了来自直接在前的第2个和第n个一阶虚拟传感器120的数据之外，第p个二阶虚拟传感器124被描绘为从第m个传感器110接收数据。
在一方面，一阶虚拟传感器120可以产生二进制输出(例如，二进制分类器)。例如，被训练以识别水龙头是否正在流水或是否有人在办公桌旁工作的一阶虚拟传感器120可以产生连续的、带时间戳的二进制“是”或“否”输出。在这个方面，较高阶虚拟传感器可以进一步产生非二进制输出，例如(物体或环境的)状态、计数和持续时间。例如，感测系统100可以实现五个分开的一阶虚拟传感器120，其跟踪微波炉的五个分开的方面：微波炉是否正在运行，按键是否被按下，门是否已打开，门是否已关闭以及完成铃声是否响起。根据一阶虚拟传感器120的这些带时间戳的二进制输出，二阶虚拟传感器124可以生成微波炉状态的非二进制输出：可用、门半开、使用中、中断或完成。在一个实现中，当检测到完成铃声时(即“完成铃声”一阶传感器120被激活)，二阶虚拟传感器124的微波炉状态输出可以从“使用中”改变为“完成”。微波炉状态输出可以保持为“完成”，直到检测到“门关闭”事件(即激活“门关闭”一阶虚拟传感器120)，然后假定微波炉内部的物品已被移除且二阶虚拟传感器124的微波炉状态输出被改变为“可用”。但二阶虚拟传感器124不需要连接至多个一阶虚拟传感器120以产生非二进制输出。作为另一示例，感测系统100可以实现检测门何时打开的一阶虚拟传感器120和计算一阶虚拟传感器120已经被激活的次数的二阶虚拟传感器124。作为再一示例，感测系统100可以实现检测水龙头何时流水的一阶虚拟传感器120和跟踪一阶虚拟传感器120被激活的持续时间的二阶虚拟传感器124。这样，可以计算出所使用的水总量的近似值。这些只是可以在本发明的各种实施例中实现的一些一阶和二阶虚拟传感器的示例。在其他方面，一阶虚拟传感器120可以产生非二进制输出。例如，一阶虚拟传感器120可以包含经训练以输出几个标签之一的多类分类器。如上所述，可以训练一阶和二阶(或更高阶)虚拟传感器以检测其他二进制或非二进制条件、状态、持续时间等。
通过使较低阶虚拟传感器馈送至较高阶虚拟传感器内，感测系统100可以推断出关于传感器组件102所处环境的越来越丰富的细节。此外，多个传感器组件102可以可通信地连接至计算机系统104，并且来自多个传感器组件102的数据馈送可以被组合以提供可以由机器学习处理的其他数据，以从来自传感器组件102的相关数据推断出关于环境的信息。例如，一个或多个装置级二阶虚拟传感器可以馈送至厨房级三阶虚拟传感器内，而厨房级三阶虚拟传感器又可以馈送至房屋级四阶虚拟传感器内，依此类推。在许多房间中使用多个较低级别的传感器(无论是虚拟传感器还是放置在房屋内某个传感器组件上的实际传感器)绘制的房屋级虚拟传感器可以对复杂的方面(例如人类活动)进行分类。在各种环境中，准确跟踪人类活动可能非常有用，例如在智能家居、医疗保健跟踪、对老年人的管理式护理以及人类居住者的安全性方面。
各种虚拟传感器118的输出可以进一步经由例如程序接口(API)馈送到由计算机系统104、外部客户端106(图5)和/或其他本地或远程计算机系统执行的应用程序中。在这些方面，计算机系统104、客户端106(图5)和/或其他计算机系统可以执行虚拟机接收器程序或应用程序以在应用程序窗口、浏览器或其他输出窗口中显示输出。例如，计算从特定分配器分配纸巾的次数的虚拟传感器118的输出可以被馈送到本地或远程应用程序中，一旦计数达到阈值，该本地或远程应用程序将自动订购纸巾。作为另一示例，可以将通过考虑振动和音频签名来跟踪机器的异常条件的虚拟传感器118的输出馈送到本地或远程应用程序中，该本地或远程程序应用通过发出警报来通知机器维护者并安全地关闭机器。作为另一示例，跟踪房间中灯开启的持续时间的虚拟传感器118的输出可以被馈送到本地或远程应用程序，一旦该持续时间达到阈值，该本地或远程应用程序自动关闭灯。作为再一示例，监视洗衣机的状态的虚拟传感器118的输出可以被馈送到当洗衣机的烘干循环完成时自动通知用户(例如，通过文本消息或用户移动电话上的推送通知)的本地或远程应用程序中。作为另一示例，如果老年人的模式偏离其正常模式(例如，如果被跟踪的人跌倒、没有在平时醒来的时间醒来等)，来自位于家中的多个一阶虚拟传感器120的事件检测可以被馈送到二阶虚拟传感器124，以跟踪家中居住者的各种活动(例如，日常活动)，然后将其馈送至异常检测系统(可能是更高阶的虚拟传感器或单独的应用程序)内以通知护理人员。可以利用虚拟传感器118的输出的不同方式基本上是无限的。
图5示出了根据本公开的至少一个方面的感测系统100的框图，该感测系统100包含可通信地耦合至计算机系统104的多个传感器组件102。每个传感器组件102包含用于检测传感器组件102所处的环境中的各种物理或自然现象的多个传感器110，以及用于执行传感器组件102的各种功能的控制电路。控制电路可以包含：例如，耦合到主计算机和/或辅助计算机存储器以执行存储在存储器中的指令的处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和其他此类设备。在所描绘的示例中，传感器组件102包含微控制器121，该微控制器121包含耦合至存储器125的处理器123。微控制器121执行存储在存储器125中的固件129以及时钟127，该固件包含系统固件129A和应用程序固件129B。固件129可以包含例如用于特征化模块112(参见图1)的固件，其可以由控制电路(例如，微控制器121)执行。在某些方面，控制电路(例如，微控制器121)可以体现为片上系统(SoC)。
传感器组件102可以可通信地连接至计算机系统104(例如，一个或多个联网服务器)，使得计算机系统104可以接收由传感器110生成的信号或数据，以在其上进行处理，如上所述。在所描述的示例中，每个传感器组件102可经由数据通信网络108，诸如因特网、LAN、WAN、MAN或任何其他合适的数据通信网络可通信地连接至计算机系统104。在这个方面，传感器组件102可以包含用于连接至数据通信网络108的适当的网络接口，例如Wi-Fi网络接口控制器。在其他方面，传感器组件102可以利用其他有线或无线通信协议或其他通信网络(例如，蜂窝电信网络或以太网)可通信地连接至计算机系统102。传感器组件102的网络接口控制器可以包含如下网络接口控制器，该网络接口控制器适于利用各种通信协议和/或访问方法实现无线或有线通信，例如蜂窝、W-Fi、蓝牙、ZigBee、RFID、低功耗蓝牙、NFC、IEEE 802.11、IEEE 802.15、IEEE 802.16、Z-Wave、HomePlug、全球移动系统(GSM)、通用分组无线服务(GPRS)、增强的GSM演进数据速率(EDGE)、码分多址(CDMA)、通用移动电信系统(UMTS)、长期演进(LTE)、高级LTE(LTE-A)、LoRa(或另一低功耗广域网通信协议)或任何其他合适的有线和/或无线通信方法或其组合。网络108可以包含一个或多个交换机和/或路由器，包含将无线通信信道与其他有线网络(例如，因特网)连接的无线路由器。网络108中传递的数据可以包含通过短消息服务(SMS)、多媒体消息服务(MMS)、超文本传送协议(HTTP)、直接数据连接、无线应用协议(WAP)、电子邮件、智能能源配置文件(SEP)、ECHONETLite、OpenADR或可以利用传感器组件102、物理集线器、云服务器通信或网关模块实现的任何其他协议传递的数据。
在某些方面，一个或多个传感器组件102还可以经由网络108和/或经由单独的网络可通信地彼此连接和/或与客户端106(例如，用户设备)连接。例如，这样的网络可以是由本地路由器或本地交换机建立的局域网。任选地，传感器组件102可以是对等(P2P)网络，并且可以直接彼此通信。在对等网络中，服务发现方案可以多播节点的存在、它们的功能和组成员身份。对等设备可以基于此信息建立关联和后续交互。
感测组件102可以实现一个或多个应用层通信协议。示例包含用于实现相应的消息传递协议的受约束的应用协议(CoAP)、消息队列遥测传输(MQTT)、OPC UA、HTTP、RESTAPI等。感测组件102还可以实现较低层的通信协议，该较低层的通信协议可以实现低于应用层的通信协议栈的层。实现的示例层可以包含物理、数据链路、网络、传输、会话、互联网和表示协议中的一个或多个。实施的示例协议包含以下一项或多项：以太网、互联网协议、传输控制协议(TCP)、用于802.11标准的协议(例如PHY、媒体访问控制、逻辑链路控制等)等。
在一个实施例中，计算机系统104可以是虚拟机。虚拟机可以是任何虚拟机，而在某些实施例中，虚拟机可以是由类型1或类型2管理程序(例如，由Citrix Systems、IBM、VMware或任何其他管理程序开发的管理程序)管理的任何虚拟机。在一些方面，虚拟机可以由管理程序管理，而在一些方面中，虚拟机可以由在服务器上执行的管理程序或在用户设备上执行的管理程序管理。
在一些实施例中，客户端106可以显示由在服务器或其他远程机器上远程执行的应用程序生成的应用输出(例如，用于控制、传递和/或访问来自传感器组件102的数据和/或控制和/或与感测环境中的各种物体进行通信)。在这些实施例中，客户端设备可以执行虚拟机接收器程序或应用程序以在应用程序窗口、浏览器或其他输出窗口中显示输出。
图6描绘了根据各种实施例的传感器组件102的实施例。如图6中所示，在各种实施例中，传感器组件102包括单个电路板128，其上连接有各种传感器和控制电路。如图6所示，传感器和控制电路可以位于电路板的一侧，并且传感器组件102可以进一步包括电路板的相对侧上的连接器126(例如，USB连接器、电源插头或以太网连接器(用于通过以太网供电接口供电))，以向传感器组件102的传感器110、微控制器121和其他电子组件供电。在一方面，传感器组件102旨在插入由传感器组件102监视的区域或环境内的电源插座中。当通过连接器126固定到电源时，传感器组件102可以相对于它所连接的物体或参考框架保持在静止的、不可移动的位置。通过直接插入电源(例如，电源插座)中，传感器组件102不需要严格要求必须更换或充电的电源，从而无需限制传感器组件102的处理能力和数量和/或传感器110的使用，以便试图节省功电力。此外，通过相对于其所连接的物体或参考框架保持静止，传感器组件102可以利用某些类型的传感器(例如，振动传感器)来检测传感器组件102附近相对于固定位置的环境变化。在传感器组件102被配置为直接插入电源插座的这些方面中，可以选择传感器110以考虑传感器组件102相对于被感测的物体或位置的潜在的次优位置。传感器组件102可能需要放置在次优位置，因为传感器组件102的放置将取决于电源插座的位置，这意味着传感器组件102可能位于离物体较远的位置或所感测的位置。因此，传感器110可以利用间接感测技术。
如上所述，在一方面，传感器组件102的传感器110、连接器126、微控制器121和各种其他组件可以支撑在印刷电路板(PCB)基板128上。在一方面，传感器110可以放置在PCB基板128的第一表面上，而连接器126可以放置在PCB基板128的第二相对表面上，以便在将连接器126插入或连接至相应的插座时将传感器110朝外定向。在其他方面，传感器110可以安装在PCB基板128的各个层上。例如，传感器110(例如但不限于EMI传感器)被配置为测量由以下原因引起的电源电路的线电压中的电磁干扰：电气设备可以被包含在PCB基板128的第一或多个第一层中，并且其他传感器110可以被包含在PCB基板的不同层中。在一方面，传感器组件102还包含包围各种部件的壳体。即壳体可以容纳PCB基板128和与其连接的传感器110。壳体可以防止物理损坏和静电放电。此外，壳体可以被设计成容纳传感器110，该传感器110需要具有通过例如具有用于相关传感器110的进入切口而进入环境空气的视线。该壳体可以由例如激光切割的铸造丙烯酸构造和/或通过注塑或3D打印工艺构造。在其他方面，传感器组件102可以包括多个PCB基板，并且传感器110在不同的PCB基板上。在这样的实施例中，壳体可以包围所有传感器110和印刷电路板基板。
传感器110可以包含被配置为检测各种不同的物理或自然现象的感测设备的各种组合。在一方面，传感器110包含红外辐射传感器130(例如，Panasonic Grid-EYE AMG8833红外阵列传感器)、环境光颜色和/或强度传感器132(例如，TAOS TCS34725RGB传感器)、磁场传感器134(例如Freescale Xtrinsic MAG3110磁力计)、温度传感器136、环境压力传感器、湿度传感器(例如Bosch BME280环境传感器的所有部分)、空气质量或空气成分传感器(例如Bosch BME680传感器以感测某些挥发性有机化合物的存在)、振动传感器138(例如InvenSense MPU-6500加速度计、六轴加速度计和陀螺仪运动跟踪传感器，其可以通过结构检测当将传感器组件102固定到电源插座时的振动)、外部设备检测传感器140(例如2.4GHzWi-Fi网络接口控制器(用于检测连接至W-Fi网络的外部电子设备的存在和/或活动)或蓝牙LE传感器(用于检测传感器组件102附近是否存在外部电子设备))、运动传感器142(例如Panasonic AMN211 11PIR运动传感器)、声学传感器144(例如Analog Devices的ADMP401麦克风)和/或EMI传感器146(例如，用于捕获空中EMI的100mH电感器和/或用于感测传感器组件102连接至的电源的线电压中EMI变化的无源RC网络)。传感器组件102的各种实现方式可以利用任何数量和组合的前述传感器和任何其他类型的传感器110来检测物理或自然现象。此外，传感器100可以是模拟或数字传感器。优选地，传感器组件102不包括高分辨率摄像机(即比热成像仪诸如红外辐射传感器130更高的分辨率)。这样，感测系统100可以在不使用摄像机的情况下进行本文所述的检测和分类，这降低了传感器组件102的成本和功耗。由于没有特征化和传输的图像数据，它还减少了需要板载特征化并传输至计算机系统104的数据量。此外，不使用摄像机减少了隐私问题，并且不会拍摄关于传感器组件102周围环境的图像数据。即使在传感器组件102上使用高分辨率摄像机时，图像数据也可以在传感器组件102上实现特征化，以便在发送到计算机系统104的数据中保持隐私。
在一方面，传感器组件102还可包含一个或多个接口，该接口可用于与传感器组件102外部的附加传感器连接或通信。所述接口可以包含例如串行外围接口(SPI)、内置集成电路(I2C)、通用输入/输出引脚(GPIO)和/或通用异步收发器(UART)。所述接口允许将其他外部传感器连接至传感器组件102，以补充和/或扩展传感器组件102的功能。可以通过接口被模块化地连接至传感器组件102的附加传感器可以包含例如运动传感器(例如多普勒雷达传感器)、配置为检测直接与传感器组件102连接的电源的线电压中引起的瞬变的EMI传感器、激光雷达传感器、超声传感器和/或有源噪声管理系统。
传感器组件102的传感器110可以包含无源传感器和/或有源传感器。无源传感器是仅检测或感测环境的各种物理或自然现象的传感器。上面描述了这种无源传感器的示例，并且可以包含但不限于振动传感器、麦克风、EMI传感器、红外辐射传感器、声学传感器、温度传感器、湿度传感器、摄像机、运动传感器(例如，加速计、陀螺仪等)、电场传感器、化学传感器、光电传感器等。有源传感器是用于测量由传感器传输并被环境物体反射、折射或散射的信号和/或由环境中的传输信号引起的干扰的传感器。此类有源传感器的示例包含但不限于声纳传感器(例如多普勒传感器)、超声传感器、雷达传感器、激光雷达传感器、声学传感器、红外摄像机、有源IR传感器、室内定位系统、x射线传感器、地震传感器、有源声音测量系统、发光系统等。在一方面，传感器组件102的输出设备(在下面描述)可以被配置为传输信号，该信号可能被环境中的物体反射、折射或散射和/或可能在环境中引起干扰，其中这种反射、折射、散射和/或干扰随后被传感器组件102的传感器110感测到，从而形成没有实际有源传感器110的有源传感器组件102。来自这种有源传感器的数据可以被一阶或二阶(或更高阶)虚拟传感器特征化并用于检测事件/条件。有源传感器还可以用于校准传感器组件102所处的空间，如下文进一步所述。来自这样的有源传感器的数据可以被一阶或二阶(或更高阶)虚拟传感器特征化并用于检测事件/条件，就像如上所述的无源传感器一样。有源传感器还可以用于校准传感器组件102所处的空间，如下文进一步所述。此外，如下所述，有源传感器可以用于物体和/或人的认证。
在传感器组件102包含诸如声学传感器(例如，麦克风)之类的有源传感器的方面中，可以经由有源声音管理系统来利用声学传感器，该有源声音管理系统传输声音信号并接收反射、折射和/或散射信号来确定例如传感器组件102相对于其附近的墙壁或其他结构的位置，并相应地校准声学传感器(和/或其他传感器110)。这样的校准可以用于例如补偿可能干扰某些事件的检测的回声或其他音频伪像。可以通过例如在传感器组件102上执行的信号处理技术来补偿音频伪像，以减少错误。在传感器组件102包含超声传感器的其他方面中，可以利用超声传感器发射声波，以便校准在检测距离内的其他传感器组件102。这样的音频信号可以用于将传感器组件102配对在一起和/或允许感测系统100确定环境中各种传感器组件102相对于彼此的空间定向。在传感器组件包含扬声器的又一个方面中，传感器可以输出特定的声音模式(例如，从可配置的低频值到高频值的扫频音)，并且具有同一传感器组件102上的麦克风或者附近的不同的传感器组件102，使用麦克风传感器检测音频信号，以主动测量和校准环境。
在一方面，传感器组件102的每个传感器110的采样率可以根据传感器110的类型或被感测的属性或现象自动改变。例如，振动传感器138可以具有高采样率，而温度传感器136可以具有低采样率(因为温度通常相对缓慢地变化)。根据传感器110感测到的属性来改变采样率使得能够以捕获环境事件所需的速率来收集数据，而抛弃不必要的保真度以及相应的处理和传输要求。在示例中，温度传感器136、湿度传感器、环境压力传感器、光色和/或光强度传感器132、磁场传感器134、电子设备传感器140、红外辐射传感器130和运动传感器142分别在以下频率采样：例如，约8Hz至约12Hz，优选约9Hz、10Hz或11Hz；振动传感器138的采样频率约为3kHz至5kHz，优选约为3.8kHz、3.9kHz、4kHz、4.1kHz或4.2kHz(例如，三轴加速计的每个轴以例如8kHz、3.9kHz、4kHz、4.1kHz或4.2kHz采样)；声学传感器144以例如约15kHz至约19kHz、约16kHz至约18kHz或约17kHz被采样；且EMI传感器146以例如约250kHz至约750kHz、约490kHz至约510kHz、约495kHz至约505kHz或约500kHz被采样。应当注意的是，在对加速计进行高速采样时，它们可以检测到通过环境中的结构元件(例如，干墙、立柱和托梁)传播的微小振荡振动。
图7描绘了时间线200，该时间线示出了各种传感器的各种说明性数据采样时间标度以及各种传感器110在那些采样率下可检测的事件。在此示例说明中，振动传感器138、声学传感器144和EMI传感器146在时间尺度上可以以毫秒到分钟为量级采样；光色传感器132可以以秒到天为量级进行采样；照度传感器132可以以秒到月为量级进行采样；运动传感器142和红外传感器130可以以秒到周为量级进行采样；电子设备传感器140可以以分钟为量级进行采样；温度传感器136、环境压力传感器、湿度传感器和磁场传感器134可以以分钟到月为量级进行采样。以这些速率对传感器110的此阵列进行采样允许传感器组件102检测事件202，该事件覆盖了从通过EMI传感器146检测的EMI尖峰(例如，来自微波炉)、通过振动和声学传感器138、144检测的敲门和/或其他在毫秒量级上发生的其他事件到通过环境光传感器132检测的日光变化、通过各种传感器检测的季节性变化和/或其他以月为量级发生的事件。如图所示，可以在这些极端之间的时间尺度上检测各种其他事件，例如工具运行、灯使用和装置使用。此外，在与计算机系统104失去通信或者传感器组件102不能在一段时间内传输数据的情况下，可以缓冲每个传感器110的数据流(例如，滚动的256点缓冲器)。该缓冲的数据可以存储在传感器组件102上的微处理器的内部存储器中，或者存储在与传感器组件102连接的外部存储器模块上。传感器组件102可以配置为在通信恢复时恢复发送缓冲的数据，并且可以覆盖较旧的数据，以在存储空间用完的情况下仅保留最新样本。
返回参考图5，传感器组件102与计算机系统104通信，例如服务器、服务器系统或基于云的计算架构，其为感测系统100提供后端计算分析。可以在感测系统100中的多个阶段，例如在传感器组件102上、在计算机系统104处和/或在另一个计算机系统(例如，作为计算机系统104的一部分的网关)处进行处理。例如，在图1A、1B、3A和3B中描述的方面中，传感器组件102执行传感器110数据的板载特征化，并且计算机系统104通过机器学习模型来处理数据。在一些方面，感测系统100可以是分布式计算系统，其中计算资源可以在传感器组件102和计算机系统104的分布式计算机/服务器之间动态地转移。在一方面，计算机系统104中的中央计算机/服务器可以控制分布式计算系统104中的每个节点所花费的计算资源的数量。例如，如果计算机系统104中的其他服务器/计算机开始变慢或过度使用时，中央计算机/服务器可以将计算资源(例如，用于数据特征化的)卸载到传感器组件102和/或中间网关，反之亦然。
可以通过诸如个人计算机、笔记本电脑或移动设备之类的客户端106，通过控制台用户界面或诸如网络浏览器或移动应用程序之类的图形用户界面(GUI)来访问计算机系统104。当客户端106连接至计算机系统104时，计算机系统104可以允许客户端访问来自传感器组件102的数据。在一方面，客户端106可以仅访问注册到用户帐户的数据，通过该数据所述客户端106访问了计算机系统104或者以其他方式允许客户端106的用户访问与该用户相关联的传感器组件102的数据。在一方面，用户可以通过GUI可视化从传感器组件102传输至计算机系统104的特征化数据。GUI可以提供频谱图、折线图以及其他图形和/或数字格式，以查看接收到的数据。此外，传感器流可以被分成时域和频域分量。在一方面，可以如用户所期望的那样定制GUI以仅可视化特征化传感器流的子集。例如，图7至图13描绘了各种图形格式，其中可以经由客户端上的GUI向用户呈现特征化数据。在另一方面，当来自一个或多个传感器通道的数据超过特定阈值、从接收到的数据中检测到特定事件或条件和/或满足由用户编程或以其他方式指定的其他规则时，GUI可以被配置为自动发出警报。此外，可以经由GUI来配置用于提供警报的阈值和/或其他规则。在另一个方面，GUI可以允许用户启用和禁用来自传感器组件102的特定传感器110流(即使传感器组件102去停用或停止从特定传感器110采样)、修改传感器110的采样频率、允许用户授权其他用户访问与其用户帐户相关联的传感器数据，并配置与后端计算机系统104相关联的其他特征。在又一方面，该界面可以被配置为控制是否在传感器组件102上、在传感器组件102与计算机系统104之间的中间网关和/或在计算机系统104上发生某些或部分数据特征化。在另一方面，该界面可以配置为在提供和/或验证原始数据和/或特征化数据的标签时对用户进行辅助，如上所述。
在一些方面，计算机系统104可以进一步实现管理模块，该管理模块允许将固件和/或软件更新传输至传感器组件102。该管理模块可以经由客户端106的接口例如GUI来控制。此外，界面的管理模块可以允许按照用户的期望在每个传感器组件102处部署定制代码。更进一步，管理模块可以收集和存储遥测信息，例如传感器110和/或传感器组件102的正常运行时间、传感器110的数据速率、传感器组件102的重启等。管理模块可以进一步允许用户(例如，在所有传感器组件102上逐个传感器地和/或分类地)调整传感器组件102的传感器110的采样率。更进一步地，管理模块可以指示传感器组件针对特定特征应以何种速率提取哪些特征。
为了帮助理解当前描述的感测系统，现在将描述感测系统的说明性实现方式。以下示例仅仅是代表性的，不应以任何方式解释为限制性的。
图8示出了根据本公开的至少一个方面的第一传感器数据图形显示210，其被感测系统100检测到的事件所注释。在一方面，传感器组件102包含运动传感器142、温度传感器136、湿度传感器、电子设备传感器140和EMI传感器146以及环境光色传感器132。第一传感器数据图形显示210描绘了在24小时内由放置在公寓住宅内的传感器组件102捕获的传感器数据。基于所描述的传感器数据，可以训练各种虚拟传感器116以检测与传感器组件102捕获的数据相关的事件。
例如，可以根据运动数据212和环境光色数据222的组合训练虚拟传感器116以检测人何时醒来，其分别检测居住者的移动以及居住者开灯。作为另一示例，可以训练虚拟传感器116以根据湿度数据216检测居住者何时在洗澡。作为另一示例，可以训练虚拟传感器116以根据环境光色数据222和电子设备数据218的变化检测居住者何时正在看电视，该虚拟传感器116在这种情况下是Wi-Fi传感器，该传感器配置为根据Wi-Fi的接收信号强度指示器(RSSI)检测何时使用电子设备。作为又一示例，可以根据运动数据212和/或温度数据214的组合来训练虚拟传感器116以检测居住者何时回家(其中，居住者回家时增加恒温器可能导致温度升高)。作为又一示例，可以根据EMI数据220训练虚拟传感器116以检测何时正在使用微波炉，这可以检测来自打开微波炉产生的EMI尖峰。
图9示出了根据本公开的至少一个方面的第二传感器数据图形显示230，其被感测系统100检测到的事件注释。在一方面，传感器组件102包含运动传感器142、温度传感器136、湿度传感器、环境压力传感器、电子设备传感器140和EMI传感器146以及环境光色/照度传感器132。第二传感器数据图形显示230描绘了在72小时的过程中由放置在公寓内的传感器组件102捕获的传感器数据。基于所描绘的传感器数据，可以训练各种虚拟传感器116以检测与传感器组件102捕获的数据相关的事件。
例如，可以训练虚拟传感器116以根据环境光色数据244和环境光照度数据246检测白天和黑夜的循环。作为另一示例，可以训练虚拟传感器116以根据运动数据232、环境光色数据244(因为环境光色传感器132可以检测到何时打开灯和厨房灯)和/或温度数据234(因为运动数据232与温度升高相关)的某种组合来检测居住者何时处于公寓中并处于活动状态。作为另一示例，可以根据EMI数据220训练虚拟传感器116以检测何时使用微波炉。根据再一示例，可以根据环境光色数据222和电子设备数据218中的变化对虚拟传感器116进行训练以检测居住者何时在看电视。湿度数据236和环境压力数据238可用于检测其他较长期的环境变化，例如天气。
图10至图11示出了根据本公开的至少一个方面的第三传感器数据图形显示250和第四传感器数据图形显示270，其被感测系统100检测到的事件所注释。在一方面，传感器组件102包含温度传感器136、湿度传感器、磁场传感器和环境光色/照度传感器132。第三传感器数据图形显示250和第四传感器数据图形显示270各自描绘在约24小时的过程中由放置在车库中的传感器组件102捕获的传感器数据。基于所描绘的传感器数据，可以训练各种虚拟传感器116以检测与传感器组件102捕获的数据相关的事件。
例如，由于降雨与温度下降和湿度上升有关，虚拟传感器116可以被训练以根据温度数据252和/或湿度数据254检测降雨(如图10所示)。作为另一示例，虚拟传感器116可以被训练以根据环境光色数据256(其可以检测来自路灯的光，如图10所示)和/或环境光照度数据258检测入夜时间。作为又一示例，由于冬季打开车库门时温度数据252和湿度数据254分别下降和上升，如图11所示，虚拟传感器116可以被训练以根据温度数据252和湿度数据254检测车库门何时打开。如以上在其他示例的环境中所讨论的，磁场数据255可用于检测其他事件或参数，例如环境变化或季节变化。
应当注意的是，具有传感器110的不同组合或布置的传感器组件102可以用于不同的应用或位置。例如，结合图8至图9描述的传感器组件102具有传感器110的更广泛的套件，因为它们旨在用于住所中以跟踪各种各样的行为和活动。相反，打算在活动较少或需要跟踪的数据较少的位置(例如，与图10至图11一样在车库中)使用的传感器组件102可能具有更少量的传感器110。
图12示出了根据本公开的至少一方面的第五传感器数据图形显示290，其被感测系统100检测到的事件注释。在一方面，传感器组件102包含加速度传感器、声学传感器144、温度传感器136、湿度传感器、环境压力传感器、磁场传感器134和环境光色/照度传感器132。第五传感器数据图形显示290描绘了在行驶过程中由放置在汽车内的传感器组件102捕获的传感器数据。基于所描绘的传感器数据，可以训练各种虚拟传感器116来检测与由传感器组件102捕获的数据相关的事件。该特定示例展示了如何在移动环境例如汽车中利用传感器组件102通过训练不同类型的虚拟传感器116来检测各种事件。此示例还说明了附接或耦合到被感测的对象(即汽车)上的传感器组件102。因此，在该示例中，感测系统100表示相对于传感器组件102所附接的对象(即汽车)的直接感测系统以及相对于传感器组件102所处的环境(即汽车内部)的间接感测系统。
例如，可以训练虚拟传感器116以根据加速度数据292来检测汽车何时进入高速公路，这表明汽车已经在很长一段时间内逐渐加速。作为另一示例，可以训练虚拟传感器116以根据声学数据294(其检测到汽车内的噪声量的增加)、温度数据296(其检测到温度下降)、环境湿度数据298(其检测到湿度增加)和/或环境压力数据300(其检测到压力下降)的某种组合来检测何时降下车窗。此外，虚拟传感器116同样可以被训练为根据这些相同的数据流来检测何时关闭了车窗。另外，可以从一阶虚拟传感器120训练二阶虚拟传感器124以跟踪汽车车窗的状态。不同于像一阶虚拟传感器120那样输出二进制输出(例如，“车窗是否关闭？是或否？”或“车窗是否打开？是或否？”)，可以根据此数据从一阶虚拟传感器120的输出来训练二阶虚拟传感器124，以提供针对该车窗状态的非二进制输出(例如，“窗口是开着的、正在打开、部分打开、关着的还是正在关闭？”)。作为另一示例，可以训练虚拟传感器116以根据磁场数据302检测车辆的行驶方向。类似于以上示例，磁场数据302可以训练多个一阶虚拟传感器120(例如，“车辆是在向北行驶吗？”或“车辆是在向西行驶吗？”)，并且可以根据一阶虚拟传感器120的输出训练二阶虚拟传感器124，以提供针对车辆状态的非二进制输出(例如，“车辆在往哪个方向行驶？”)。作为又一示例，可以训练虚拟传感器116以根据环境光照度数据306来检测多云的程度，其可以指示在车辆行驶过程中遮挡太阳的实体的数量和长度。可以利用环境光色数据304来检测与车辆或车辆环境相关联的其他事件或参数，例如上面在其他示例的环境中所讨论的，一天中的什么时间，或者车辆是否正在驶过一条隧道。
图13示出了根据本公开的至少一方面的第六传感器数据图形显示310，其被感测系统100检测到的事件注释。在第六传感器数据图形显示310中，传感器数据流的子集被描绘为特征化的频谱图。尽管该图示出了频谱图，但是其他显示方法(例如，示出时域数据、频域数据和/或两者的用户界面)也在本公开的范围内。在一方面，传感器组件102包含振动传感器138、声学传感器144和EMI传感器146。应当注意的是，在该方面，来自振动传感器138的数据流被分解为X轴、Y轴和Z轴组成部分，其例如可以由三轴加速计提供。第六传感器数据图形显示310描绘了由放置在车间内的传感器组件102捕获的传感器数据。基于所描绘的传感器数据，可以训练各种虚拟传感器116以检测与传感器组件102捕获的数据相关的事件。
例如，可以根据振动数据312和声学数据314的组合来训练各种虚拟传感器116以检测何时水龙头流水、小便池已被冲洗、水壶已经放置在炉子上和/或利用各种工具。应当注意的是，尽管可以使用特征化数据流的相同组合来检测某些事件，但是由于在传感器数据流中不同的事件具有不同的模式或特性，因此它们是可检测地辨别的。感测系统100的机器学习可利用每个事件激活的传感器110的数据流中显示的不同模式或特性，以表征该事件，从而生成虚拟传感器116，该虚拟传感器116可以可靠地标识未来该事件的发生。在这些特定示例中，水龙头流水、小便池冲洗、电锯运行以及其他被注释的事件均在振动数据312和/或声学数据314中生成唯一的签名，这些签名可以通过感测系统100的机器学习来表征，从而识别那些事件。
作为另一示例，可以训练虚拟传感器116，以根据声学数据314检测何时打开或关闭微波炉门。此外，可以根据声学数据314(通过检测微波炉的完成铃声)训练虚拟传感器116以检测微波炉何时完成加热循环。此外，可以根据EMI数据316训练虚拟传感器116以检测微波炉何时运行。这些虚拟传感器116可以表示检测微波炉的二进制属性的一阶虚拟传感器120。这些一阶虚拟传感器120的输出可以被馈送到被训练为跟踪微波炉状态的二阶虚拟传感器124。例如，图14示出了根据本公开的至少一个方面的表示为状态机的微波炉二阶虚拟传感器330的框图。微波炉二阶虚拟传感器330包含五个状态：可用332、门半开334、使用中336、中断338和完成340。微波炉二阶虚拟传感器330从可用状态332移动到门半开状态334，且如果声学数据314指示门已经打开然后关闭，则再次返回。当EMI数据316指示微波炉正在运行时，微波炉二阶虚拟传感器330从可用状态332移动到使用中状态336。当声学数据314指示门已经被打开时，微波炉二阶虚拟传感器330从使用中状态336移动到中断状态338。当EMI数据316指示微波炉再次运行时，微波炉二阶虚拟传感器330从中断状态338返回到使用中状态336。当声学数据314指示完成铃声已经发出时，微波炉二阶虚拟传感器330从使用中状态336移动到完成状态340。当声学数据314指示微波炉门已经关闭(从而指示用户已经从微波炉中取走其食物)时，微波炉二阶虚拟传感器330然后从完成状态340移动到可用状态332。微波炉二阶虚拟传感器330所处的状态指示其输出。从该示例可以看出，二阶虚拟传感器124可以通过在检测二进制输出例如“微波炉门是否关闭？”或“微波炉是否正在运行？”的多个一阶虚拟传感器120上进行训练并馈送，从而产生非二进制输出。
返回参考图5，在各种实施例中，感测系统100可以在传感器组件102和计算机系统104之间实现端对端加密，以确保数据的机密性和真实性。在一方面，传感器组件102和计算机系统104使用非对称密钥相互认证自己。例如，传感器组件102可以认证它正在与正确的计算机系统104对话(例如，由主机名/IP指定)，然后加密它正在传输至计算机系统104的数据，从而仅计算机系统104可以解密它。类似地，计算机系统104可以通过传感器组件102将其公共签名添加到计算机系统104并且传感器组件102使用其自己的相关联的私钥对传输至计算机系统104的任何数据项进行签名来对传感器组件102进行认证，使得计算机系统104可以验证其真实性。作为另一示例，感测系统100可以利用非对称密钥密码术来建立起每个传感器组件102与计算机系统104之间的通信信道，然后在此之后建立对称密钥密码信道。由于传感器组件102启动传出传输协议(例如，TCP或UDP)以连接至已知服务器，因此它们可以通过网络地址转换(NAT)或防火墙打出缺口，从而可以在家中部署单个公共IP地址以及在企业中部署每个具有其自己的公共地址的传感器组件102。传感器组件102和计算机系统104之间的所有数据通信可以通过这样的单个持久的加密TCP套接字进行。此外，由传感器组件102传输的每个数据包可以含有表示传感器通道有效载荷的报头，从而允许计算机系统104解复用感测数据的源和类型。此外，传感器组件102可以实现适当的序列化和反序列化例程，以将数据打包为大块，以经由例如Wi-Fi连接进行传输。最后，数据发送例程由传感器组件102异步执行，因此传感器数据的读取、特征化和传输可以独立进行。
在一方面，传感器组件102可以将传感器数据传输或流式传输至本地计算机或计算机系统104外部的计算机。在一方面，如上所述，本地计算机可以包含能够执行界面以用于可视化来自传感器组件102的数据和/或控制传感器组件102的功能的客户端106。在另一方面，如上所述，本地计算机可以执行机器学习模块116。数据流式传输至本地计算机，该本地计算机可以位于例如配置为执行网络地址转换(NAT)的系统之后，该系统在住宅环境中常见，并具有由许多计算机共享的单个公共IP地址。以此方式，来自传感器组件102的数据流不必一定要一直传输至计算机系统104，然后再返回到界面以在客户端106和/或机器学习模块116上可视化以处理特征化数据。在一方面，计算机系统104可以根据传感器组件102与计算机系统104之间是否存在较大距离、通信往返时间是否超过特定阈值或者可用带宽是否低于特定阈值来控制传感器组件102是否正在将数据流式传输至本地计算机。在另一方面，用户可以控制来自传感器组件102的数据是否经由上述界面流式传输至本地计算机。在一方面，传感器组件102还可以被编程为基于各种度量(例如距离、往返通信时间和/或带宽)自动定位最近的服务器(例如，计算机系统104的服务器)，将其数据流式传输至该服务器。
用户可以经由客户端106访问或登录计算机系统104，以查看来自与他们的用户帐户相关联的传感器组件102的数据、修改传感器组件102的特征或设置以及更新其安全性偏好。在一方面，用户可以选择性地允许其他用户查看、访问和/或修改其关联的传感器组件102。这可以例如允许所有家庭成员查看由家中的传感器组件102检测到的数据和事件。例如，可以从主帐户控制提供给受邀用户的权限。
在各个方面中，为了适当地捕获、建模和分类环境中的事件，来自单个传感器组件102内的传感器110的传感器流以及跨越该环境内的多个传感器组件102的传感器110的传感器流优选地在时间上相关和/或同步。例如，“门关闭”事件通常导致气压和结构振动的同步增加，这可以在遍布整个建筑物的多个传感器组件102上被检测到。在不同的传感器110上并且在不同的传感器组件102上可共同检测到的信号的这种共存使得虚拟传感器116能够可靠地检测和分类事件，例如在上述示例中为门关闭。传感器110和/或传感器组件102之间的甚至较小的时间去相关都可以减小分类器(即虚拟传感器116)的分割置信度。在一方面，感测系统100可以被配置为在时间上同步或关联来自单个传感器组件102内且跨多个传感器组件102的传感器110的数据流，以允许将不同数据流检测到的事件在时间上关联在一起。
在一方面，计算机系统104利用网络时间协议(NTP)周期性地同步其自身的时钟，然后将其用于保持所有与计算机系统104连接的传感器组件102的所有时钟127与计算机系统104同步。每个传感器组件102可以包含例如石英钟，以跟踪这些时间同步之间的时间，从而最小化不同传感器组件102之间的任何时钟偏移。传感器组件102利用从其同步时钟127到例如毫秒粒度的系统历时对所有传感器数据加上时间戳。此外，同步传感器组件102并为所有传感器数据加上时间戳，可解决来自异步采样的传感器110的任何重排序问题以及数据包到达计算机系统104之前的任何处理或传输延迟。
在一方面，每个传感器流的所有数据被连续地在板载缓冲器(例如，传感器组件102上的缓冲器)中缓冲，且每个传感器读取根据在感测系统100网络上同步的时钟127被加时间戳。如果传感器组件102和计算机系统104之间的通信丢失或拥塞，则传感器组件102可以继续尝试与计算机系统104重新建立通信信道。传感器组件102的系统固件129A可以被配置为定期检查Wi-Fi连接和与计算机系统104(或其服务器或其他计算机)的活动连接。如果系统固件129A确定通信信道丢失或拥塞，则传感器组件102可以执行指数退避算法以周期性地尝试重新连接至通信信道(例如，Wi-Fi网络)。如果传感器组件102在特定的时间长度(例如一小时)内无法重新连接至计算机系统104，则系统固件129A可以配置为重新启动，然后再次尝试重新连接至计算机系统104。当传感器组件102重新连接至计算机系统104时，传感器组件102随后可以将所有缓冲的、带有时间戳的传感器数据上载到计算机系统104，计算机系统104然后可以根据需要将数据与来自附其他传感器组件102的数据进行重组。
在一方面，传感器组件102包括用于监视所有传感器110的状态的软件看门狗。如果任何传感器110在可配置时段(例如60秒)内未报告新数据，则由系统固件129A执行的软件看门狗可以自动重新启动传感器组件102。在另一个方面，传感器组件102包括硬件看门狗，如果应用程序或系统固件129A无法及时(例如，在一分钟内)响应，其重新启动传感器组件102。在重置之后，传感器组件102重新初始化所有传感器110并恢复操作。
在一方面，传感器组件102可以进一步包含一个或多个输出设备，例如包含一个或多个LED、麦克风、振动电机、显示器以及其他音频、视觉和/或触觉指示器(此处未显示)的发光设备组件。当发生各种事件时，可以利用输出设备向用户提供警报或反馈。例如，当例如已经检测到特定事件时，传感器组件102可以使LED组件点亮或闪烁、使振动电机振动、使扬声器发出听觉警报等。如前所述，计算机系统104可以通过适当的虚拟传感器118检测事件的发生，然后将命令或信号传输至传感器组件102以使相应的输出设备提供反馈。这样的听觉或视觉反馈可用于向听力或视力障碍的人通知事件已经发生(例如，水壶正在沸腾)，或者以其他方式对用户发出用户可能希望知道的事件已经发生的警报。例如，可以通过界面配置这些警报。用户因此可以经由客户端106访问计算机系统104，然后根据上述虚拟传感器118和/或触发动作规则来编程或配置期望的警报。在又一方面，当检测到选定事件时，传感器组件102可以包含用于向用户(例如，客户端106)传输警报(例如，推送通知)的无线通信电路(例如，蓝牙LE发射器、WiFi、Zigbee、Z-Wave)。
在传感器组件102包含一个或多个输出设备的方面，这些输出设备也可以用于确认或认证特定传感器组件102的身份和/或位置。例如，用户可视化来自感测系统100内的多个传感器组件102的数据流可以(例如，经由客户端设备106)使特定传感器组件102的输出设备开始发出警报，使得用户可以确认传感器组件的身份和位置。例如，用户可以选择“传感器组件#3”并使其发出警报。此后，计算机系统104可以将与“传感器组件#3”身份相对应的命令传输至传感器组件102，以使其通过光源发出一系列的闪光或从扬声器发出一系列的哔哔声。然后，用户可以将序列输入客户端设备106，以向传感器组件102认证客户端设备106。在各个方面，输出也可以提供给用户移动设备。
在传感器组件102包含无线通信电路(例如，Wi-Fi、蓝牙、射频识别等)的方面中，感测系统100可以基于用户的移动电子设备(例如，智能手机、可穿戴设备以及其他此类设备)对用户进行认证。例如，基于无线通信电路是否能够检测到用户的移动电子设备或存在于相关传感器组件102附近的其他授权个人，感测系统100可以利用无线通信电路来确定由传感器组件102检测到的人类活动是否正在由相关用户执行。用户和/或其他授权个人的移动电子设备可以例如预先通过感测系统100注册或与传感器组件102预先配对。然后可以对各种应用程序和/或触发规则进行编程，以将警报发送给授权用户和/或在感测系统100在某些位置、某些时间或根据其他此类约束检测到人类活动不是由相关用户执行时采取其他措施。这样的方面可以被用来例如检测夜间或用户工作时未经授权的个人何时出现在用户的家中。这些方面也可以用于例如根据客户端106与感测系统100的传感器组件102的接近程度来确认经由客户端106对感测系统100的配置或设置进行更改的个人的身份。
除了利用机器学习来训练虚拟传感器116以自动表征和检测每个传感器组件102的检测范围内的各种事件之外，还可以利用客户端106访问计算机系统104来定义条件(规则)以及通过界面针对这些条件采取的相关动作。换句话说，用户可以对明确的动作进行编程，以使传感器组件102和/或计算机系统104在满足某些条件时采取这些动作。例如，用户可以定义条件，其中如果运动传感器142被触发并且时间在午夜之后，则将文本消息发送到特定的手机号码。可以使用多个条件(触发器)和多个动作来定义触发动作规则。触发器可以捕获传感器值上的特定条件(例如，温度>20℃)或由虚拟传感器116检测到的演示行为(例如，窗户是开着的)。传感器和动作都可以适用于特定的设备(例如，传感器组件#25上的温度)，也可以适用于位置(例如，厨房)。对于将触发器和/或动作指定给某个位置的情况，计算机系统104可以从该特定位置(例如厨房)的给定传感器通道(例如温度)中计算所有传感器组件102的平均值。
在一方面，虚拟传感器118可以以与一种或多种已知API架构一致的格式输出数据，例如表示状态传送(REST)或发布-订阅API。这样的输出格式可以利用适当的认证，访问控制原语和其他控件。根据已知的API从虚拟传感器118输出数据可以允许应用程序无缝地使用感测系统100生成的各种各样的数据(无论是原始传感器数据、特征化传感器数据还是更高阶推断)。
图16示出了根据本公开的至少一个方面的经由虚拟传感器118检测事件的过程方法600的逻辑流程图。上面更详细地描述了关于过程方法600的步骤的各种附加细节。在步骤601中，训练感测系统100的第一和/或更高阶虚拟传感器118。如本文中提到的，虚拟传感器118的训练可以包括利用带注释的训练示例来训练虚拟传感器118。接下来，在操作中，在步骤602中，传感器组件102的各个传感器110感测传感器组件102的环境中的物理现象。接下来，在步骤603中，如上所述，从原始传感器数据中提取特征。传感器数据的特征化可以例如通过传感器组件102(例如，其执行特征化模块112的微控制器121)、计算机系统104(例如，由其执行特征化模块112的编程的服务器)来执行，也可以由这两个组件以分布式方式执行。如上所述，传感器组件102可以在加密的周期性数据包中发送特征化数据，其中数据包可能具有来自多个传感器110的串联的级联传感器数据。接下来，在步骤604中，一个或多个一阶传感器120可以检测到事件的发生，且这些一阶传感器120在步骤601中以基于特征化的原始传感器数据对事件进行训练以从而检测这些事件的。对于具有更高阶虚拟传感器(例如，第2、第3……第N阶虚拟传感器)的感测系统100的各方面，在步骤605中，更高阶虚拟传感器可以检测其被训练以检测的事件、条件、持续时间等。接下来，在步骤606中，后端服务器系统104可以经由有线和/或无线通信链路经由数据通信网络将关于虚拟传感器的检测的数据传输至远程系统。例如，如上所述，计算机系统104可以将虚拟事件的检测传输至传感器组件102，以便传感器组件可以触发输出设备(例如，光源或扬声器)或将通知传输至用户设备(例如用户的智能手机、笔记本电脑、平板电脑等)。此外，计算机系统104还可以将通知直接传输至用户设备或另一个基于网络的计算机系统，例如警报或紧急响应系统、订购系统、日志、监视系统等。
尽管对过程600的描述是为了方便且避免将本公开限制为包括一系列和/或多个步骤，但是应当理解，不需要将所述过程作为一系列步骤来执行和/或所述步骤不需要以相对于图16所示和描述的顺序执行，但是该过程可以集成和/或一个或多个步骤可以一起执行，或者这些步骤可以按照公开的顺序或替代顺序执行。例如，在较低阶虚拟传感器开始检测它们的相关事件、条件、持续时间等之后，可以训练较高阶虚拟传感器(例如，步骤601)。就此而言，执行图N所示的步骤的时间不一定是离散的，而是可以连续进行。即例如，虚拟传感器118的训练可以不断进行。类似地，步骤602至步骤606可以连续执行。
适合于存储和/或执行程序代码的计算或数据处理系统1700可以采取多种形式，并且在一个实施例中可以包含通过系统总线直接或间接地耦合至存储设备或元件的至少一个处理器1702，如图17所示，其可以是控制器或可以是控制器的一部分。图17中的计算系统1700被示出为具有处理器1702、随机存取存储器(RAM)1703、非易失性存储器1704、设备专用电路1701和I/O接口1705。可替换地，RAM 1703和/或非易失性存储器1704可以和设备专用电路1701和I/O接口1705一起包含在处理器1702中。处理器1702可以包括例如现成的微处理器、定制处理器、FGA、ASIC、离散逻辑等，或包括通常任何用于执行指令的设备。RAM1703通常用于保存变量数据、堆栈数据、可执行指令等，并且可以包含动态随机存取存储器(DRAM)。这样的计算系统1700可以用作计算机系统104的服务器之一，用作用户设备(例如，移动设备)，从虚拟传感器118接收通知的远程计算系统等。
根据各种方法，非易失性存储器1704可以包括任何类型的非易失性存储器，诸如但不限于电可擦除可编程只读存储器(EEPROM)、闪存可编程只读存储器(PROM)、电池备用RAM、硬盘驱动器等。非易失性存储器1704通常用于保存可执行固件以及含有可以被执行以使处理器102执行某些功能的编程指令的任何非易失性数据。
在一些实施例中，I/O接口1705可以包含允许处理器1702与控制器外部的设备进行通信的通信接口。通信接口的示例可以包括但不限于诸如RS-232、通用串行总线(USB)、小型计算机系统接口(SCSI)、RS-422的串行接口或诸如Wi-Fi、蓝牙、近场通信(NFC)或其他无线接口的无线通信接口。计算系统1700可以以诸如自动化/驱动接口(ADI)的任何通信协议经由通信接口1705与外部设备通信。
本文描述的感测系统100可以在许多不同的环境中使用。例如，感测系统100可以用于协助监视患者并向患者提供有效的医疗保健。随着人口的迅速老龄化，为这些人口提供家中护理将成为必要。护理人员需要的一个关键方面是跟踪人们的日常生活活动(ADL)，并且当这些活动偏离每个人的规范时能够检测到异常。如本文所述，包含虚拟传感器118的感测系统100可用于提供综合系统来跟踪ADL，例如卫生间使用情况、房屋内的运动、日常琐事(如烹饪和饮食)、对药物的依从性、跌倒的检测以及无需仪器和侵入式感应的所有事项。将来，跟踪个人家中各种环境的虚拟传感器也可以用于预测性干预(例如，预测即将跌倒)，而不仅用于反应性事件，特别是通过针对每个人进行定制。
作为另一示例，感测系统100可以用于工业环境中。在具有机电设备的工业环境中，预防性维护和预测分析可以极大地延长设备使用寿命，并减少因故障而导致的停机时间。大多数较旧的设备不具备任何感测功能，而较新的设备可能具有特定用途的有限感测。如本文所述，包含虚拟传感器118的感测系统100可通过训练各种虚拟传感器118并随后构建应用程序和通知来帮助了解使用情况、跟踪错误条件、自动安排维护操作以及其他此类任务，从而用于了解工业设备的不同状态。
作为另一示例，感测系统100可以用于环境可持续性努力中。在美国，超过三分之二的电力和超过30％的饮用水被商业和住宅建筑的人类居住者使用，精细跟踪资源(即水和能源)使用情况并将浪费情况通知人类居住者以及建筑管理人员可以大大减少这些自然资源的使用。如本文所述，包含虚拟传感器118的感测系统100可以用于训练家中和建筑物中的各种虚拟传感器118，以跟踪单独的装置使用和水消耗，并相应地提供全面的用户界面和通知以促进行为改变。
作为另一示例，感测系统100可以用于管理设施。鉴于人类在一生中的三分之一以上是在商业建筑中度过的(即他们的工作场所)，因此使他们更具性能的服务于居住者需求的方法可以提高生产力、舒适度和幸福感。尽管感测系统确实已部署在现代建筑中用于供暖、通风、空调(HVAC)和照明管理，但它们都是针对特定用途的，部署和维护成本很高，而且不容易重新利用。如本文所述，包含虚拟传感器118的感测系统100可用于为与智能建筑管理有关的所有事物提供统一的传感基底，包含HVAC系统的控制、空间利用、功耗跟踪、占用和人员移动跟踪、故障检测等。
作为另一示例，感测系统100可以用于基于家的消费者应用。随着IoT的出现以及与语音助手(例如Amazon Alexa和Google Home)的集成，当前描述的感测系统100可以通过多种不同方式用作“智能家居”的一部分。例如，感测系统100可以实现虚拟传感器118来跟踪卫生纸和肥皂等消耗品的使用情况，以在即将用完时(或甚至直接订购补给品)通知用户，或向用户通知家中装置的状态(例如洗碗机或洗衣机)。感测系统100还可以实现虚拟传感器118，出于安全目的这些虚拟传感器118被训练用于检测元事件，例如家中的任何移动或声音。感测系统100还可以实现虚拟传感器118，该虚拟传感器118被训练为非侵入式地检测睡眠持续时间和模式，而无需用户佩戴任何设备。
作为另一示例，感测系统100可以用于智能城市的各种实现方式中。通过在路灯和公交、无轨电车和道路等其他公共基础设施上增加感测功能，美国和全球范围内都在大力推动使城市变得更加智能。如本文所述，包含虚拟传感器118的感测系统100可以感测城市环境的各种方面，并且适当地装配用于室外环境。另外，可以训练多个虚拟传感器118以检测具有不同签名的相关事件。例如，虚拟传感器118可以感测交通拥堵、事故、枪击、交通估计、街道照明、环境质量等。实现虚拟传感器118的感测系统100的主要优点是在传感器组件102本身处进行所有处理和特征化，从而解决了智能城市环境中的许多隐私问题，并且还减少了需要在城市规模上传输的数据。
因此，在一个总体方面，本发明针对一种感测系统，其包括传感器组件和后端服务器系统。传感器组件包括控制电路和一个或多个传感器，其中每个传感器被配置为感测传感器组件的环境中指示事件的一个或多个物理现象。后端服务器系统包括至少一个与传感器组件通信的服务器。传感器组件的控制电路被配置为从由一个或多个传感器收集的原始传感器数据中提取多个特征以形成特征化数据并将数据包传输至后端服务器系统，其中数据包包括特征化数据。后端服务器系统的至少一个服务器被配置为实现一个或多个一阶虚拟传感器，其中通过机器学习来训练一个或多个一阶虚拟传感器中的每一个，以基于特征化数据检测在传感器组件的环境中的事件。
在另一个总体方面，后端服务器系统包括至少一个服务器，该服务器包括处理器和用于存储指令的存储器，该指令在由处理器执行时使服务器：(i)从传感器组件接收特征化数据；(ii)通过特征化数据确定一个或多个事件的发生；(iii)通过机器学习训练由服务器实现的一个或多个一阶虚拟传感器，以基于特征化数据检测一个或多个事件；以及(iv)基于来自传感器组件的特征化数据，经由虚拟传感器监视一个或多个事件的后续发生。
根据各种实现方式，由一个或多个一阶虚拟传感器检测到的事件不会被传感器组件的一个或多个传感器中的任何一个直接感测。而且，传感器组件可以与后端服务器系统无线通信。
另外，后端服务器系统的至少一个服务器可以进一步被配置为实现一个或多个二阶虚拟传感器，其中该一个或多个二阶虚拟传感器被训练为至少部分地基于以下内容来检测：传感器组件的环境中的多个一阶虚拟传感器中的一个的输出和二阶条件。一个或多个二阶虚拟传感器中的至少一个可以产生非二进制输出，并且一阶虚拟传感器可以产生二进制输出、非二进制输出或一组标签。例如，一阶、二阶和/或更高阶虚拟传感器可以包括机器学习的分类器，其被训练以检测传感器组件的环境中的事件、条件、持续时间等。分类器可以是支持向量机或深度学习算法/网络，例如，可以通过监督学习或无监督学习对其进行训练。可以通过后端服务器系统提供的用户界面从用户的事件注释中收集用于监督学习的标记数据。
传感器可以包括无源和/或有源传感器。无源传感器的示例是红外辐射传感器、环境光色传感器、环境光强度传感器、磁场传感器、温度传感器、环境压力传感器、湿度传感器、振动传感器、外部设备通信传感器、运动传感器、声学传感器、室内空气质量传感器、化学传感器、视觉传感器和电磁干扰传感器。有源传感器的示例是声纳传感器、超声传感器、发光传感器、基于雷达的传感器、声学传感器、红外摄像机、有源红外传感器、室内定位系统、基于x射线的传感器、地震传感器和有源声音测量系统。传感器组件还可包括输出反馈设备，例如扬声器、光源和振动源。另外，传感器组件可以在位置上固定，而且不必包含高分辨率摄像机。
在各种实现方式中，后端服务器系统被配置为当一个或多个一阶虚拟传感器检测到特定事件时，将通知传输至传感器组件。进而，传感器组件可以响应于从后端服务器系统接收到检测到特定事件的通知，经由输出反馈设备将通知传输至用户。
在各种实现方式中，传感器组件包括一个或多个电路板，其中控制电路和一个或多个传感器连接至一个或多个电路板。传感器组件可以进一步包括容纳一个或多个电路板、一个或多个传感器以及控制电路的壳体。特别地，传感器组件可以包括单个电路板和壳体。控制电路和一个或多个传感器可以连接至单个电路板，并且壳体可以容纳单个电路板、一个或多个传感器以及控制电路。
在其他实现方式中，一个或多个传感器中的第一传感器可以具有可调采样率。在这样的实施例中，后端服务器系统的至少一个服务器可以进一步被配置为将针对第一传感器的可调采样率的调整传输至传感器组件。
另外，传感器组件的传感器的特征化数据可以包括在时间窗口上传感器的原始传感器数据的统计量度。统计量度可包含：时间窗口上的最小值；时间窗口上的最大值；时间窗口上的范围；时间窗口上的平均值；时间窗口上的中位数；时间窗口上的模式；时间窗口上原始传感器值的总和；时间窗口上的标准偏差；和/或整个时间窗口上原始传感器值的质心。
此外，传感器组件的控制电路可以被配置为将周期性数据包传输至后端服务器系统，其中数据包包括用于多个传感器中的两个或更多个传感器的级联特征化数据。数据包也可以在传输之前由传感器组件加密。
在各种实现方式中，传感器组件还包括用于与用户设备进行无线通信的无线通信电路。无线通信电路可以包括选自由蓝牙电路、WiFi电路、Z-Wave电路、Zigbee电路、RFID电路、LoRA无线电电路和LoRAWAN无线电电路组成的群组的无线通信电路。另外，后端服务器系统可以被配置为当一个或多个一阶虚拟传感器检测到特定事件时，将通知传输至传感器组件。继而，传感器组件被配置为响应于从后端服务器系统接收到检测到事件的通知，经由无线通信电路向用户设备传输通知。而且，后端服务器系统可以被配置为当一阶、二阶或更高阶虚拟传感器检测到特定条件时，将通知传输至基于远程计算机的系统。
在另一个总体方面，感测系统可以包含分布在整个环境或位置中的多个这种传感器组件。在这样的实施例中，一阶、二阶和/或更高阶虚拟传感器可以使用来自一个以上传感器组件上的传感器的数据来检测它们相应的事件、条件、持续时间等，它们被训练以在整个环境或位置中进行检测。
在另一总体方面，本发明涉及一种方法，该方法包括以下步骤：(i)通过包括一个或多个传感器的传感器组件感测传感器组件的环境中的一个或多个物理现象；(ii)从由一个或多个传感器收集的原始传感器数据中提取多个特征以形成特征化数据；以及(iii)基于特征化数据，通过机器学习的后端服务器系统的一阶虚拟传感器来检测传感器组件的环境中的事件。
在各种实现方式中，传感器组件从原始传感器数据中提取多个特征，并且该方法还包括以下步骤：通过传感器组件将特征化数据传输至后端服务器系统。该方法还可以包括以下步骤：在检测到事件之前，训练一阶虚拟传感器以从特征化数据中检测事件。该方法还可以包括以下步骤：由后端服务器系统经由用户界面接收事件的发生的注释，以用作监督训练的标记数据。在各种实施例中，后端服务器系统包括多个机器学习的一阶虚拟传感器，并且检测步骤包括：基于特征化数据，由多个机器学习的一阶虚拟传感器中的每一个检测传感器组件环境中的不同事件。而且，后端服务器系统还可包括机器学习的二阶虚拟传感器，该机器学习的二阶虚拟传感器通过机器学习来训练，以基于来自多个一阶虚拟传感器中的至少一个的输出来检测传感器组件环境中的二阶条件。在这种情况下，该方法还可以包括以下步骤：通过机器学习的二阶虚拟传感器，基于来自多个一阶虚拟传感器中至少一个的输出，在传感器组件的环境中检测二阶条件。在各种实现方式中，传感器中的一个具有可调采样率，在这种情况下，该方法可以进一步包括以下步骤：由后端服务器系统将采样率的调整传输至第一传感器。
在各种实现方式中，传感器组件还包括输出反馈设备。在这样的实施例中，该方法可以进一步包括以下步骤：通过输出反馈设备向用户设备输出用于认证传感器组件的代码。而且，传感器组件可以进一步包括用于与用户设备进行无线通信的无线通信电路。在这样的实施例中，该方法可以进一步包括以下步骤：(i)当一阶虚拟传感器检测到事件时，由后端服务器系统向传感器组件传输通知；以及(ii)响应于从后端服务器系统接收到检测到事件的通知，传感器组件通过无线通信电路向用户设备传输通知。
尽管已经图示和描述了几种形式，但是申请人的意图不是将所附权利要求的范围限制或限制到这种细节。在不脱离本公开的范围的情况下，本领域技术人员可以对这些形式实现多种修改、变化、改变、替换、组合以及相对于这些形式的等同形式。而且，与所描述的形式相关联的每个元件的结构可以可替代地描述为用于提供由该元件执行的功能的装置。同样，在公开了用于某些组件的材料的情况下，可以使用其他材料。因此，应当理解，前面的描述和所附权利要求书旨在覆盖落入所公开形式的范围内的所有此类修改、组合和变化。所附权利要求书旨在覆盖所有这样的修改、变化、改变、替代、修改和等同形式。
前面的详细描述已经通过使用框图、流程图和/或示例阐述了设备和/或过程的各种形式。在这样的框图、流程图和/或示例含有一个或多个功能和/或操作的范围内，本领域技术人员将理解，在这样的框图、流程图和/或示例内的每个功能和/或操作可以可以通过广泛的硬件、软件、固件或其实际上的任何组合来单独地和/或集体地实现。本领域技术人员将认识到，本文公开的形式的某些方面可以全部或部分地等效地在集成电路中实现为在一个或多个计算机上运行的一个或多个计算机程序(例如，在一个或多个计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，在一个或多个微处理器上运行的一个或多个程序)，实现为固件或实现为其实际上的任何组合，并且本领域技术人员还会认识到，根据本公开，设计电路和/或编写用于软件和/或固件的代码将在本领域技术人员的能力范围内。另外，本领域技术人员将理解，本文描述的主题的机制能够以多种形式作为一种或多种程序产品被分发，并且本文描述的主题的说明性形式无论用于实际进行分配的信号承载介质的特定类型如何都适用。例如，本文描述的各种虚拟传感器118、120、124可以用存储在计算机系统104的主存储器和/或辅助存储器中的软件来实现，该软件在由计算机系统的处理器执行时使处理器执行本文所述的虚拟传感器分类。类似地，激活组和机器学习模块116(参见图1)可以用存储在计算机系统104的主存储器或辅助存储器中的软件来实现，该软件在由计算机系统的处理器执行时使处理器执行本文所述的各自功能。
用于对逻辑进行编程以执行各种公开的方面的指令可以存储在系统中的存储器内，例如动态随机存取存储器(DRAM)、高速缓存、闪存或其他存储器。此外，指令可以经由网络或通过其他计算机可读介质来分发。因此，机器可读介质可以包含用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，但不限于，软盘、光碟、光盘只读存储器(CD-ROM)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、磁卡或光卡、闪存或用于通过电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)在互联网上传输信息的有形的机器可读存储器。因此，非暂时性计算机可读介质包含适合于以机器(例如，计算机)可读形式存储或传输电子指令或信息的任何类型的有形机器可读介质。
如本文的任何方面中所使用的，术语“控制电路”可以指的是例如硬连线电路、可编程电路(例如，包括一个或多个单独指令处理核、处理单元、处理器、微控制器、微控制器单元、控制器、数字信号处理器(DSP)、可编程逻辑设备(PLD)、可编程逻辑阵列(PLA)或现场可编程门阵列(FPGA)的计算机处理器)、状态机电路、存储由可编程电路执行的指令的固件以及它们的任何组合。控制电路可以集体或单独地体现为形成更大系统的一部分的电路，例如，集成电路(IC)、专用集成电路(ASIC)、片上系统(SoC)、台式计算机、笔记本电脑、平板电脑、服务器、智能电话等。因此，如本文所用，“控制电路”包含但不限于具有至少一个分立电路的电路、具有至少一个集成电路的电路、具有至少一个专用集成电路的电路、形成由计算机程序配置的通用计算设备的电路(例如，由计算机程序配置的通用计算机，其至少部分地执行过程和/或本文所述的设备，或由计算机程序配置的微处理器，其至少部分地执行本文所述的过程和/或设备)形成存储设备的电路(例如，随机存取存储器的形式)和/或形成通信设备(例如，调制解调器、通信交换机或光电设备)的电路。本领域技术人员将认识到，本文描述的主题可以以模拟或数字方式或其某种组合来实现。
如在本文的任何方面中使用的，术语“逻辑”可以指被配置为执行任何前述操作的应用程序、软件、固件和/或电路。软件可以体现为软件包、代码、指令、指令集和/或记录在非暂时性计算机可读存储介质上的数据。固件可以体现为在存储设备中硬编码(例如，非易失性)的代码、指令或指令集和/或数据。
如在本文的任何方面中使用的，术语“组件”、“系统”、“模块”等可以指与计算机有关的实体，可以是硬件、硬件和软件的组合、软件或执行中的软件。
如本文的任何方面中所使用的，“算法”是指导致期望结果的步骤的自洽序列，其中“步骤”是指对物理量和/或逻辑状态的操纵，然而不必一定采取能够存储、传送、组合、比较和以其他方式操纵的电或磁信号的形式。通常将这些信号称为位、值、元素、符号、字符、项、数字等。这些以及类似术语可以与适当的物理量相关联，并且仅仅是应用于这些量和/或状态的方便标签。
除非另外具体说明，否则从前面的公开可明显看出，应当理解，在整个前面的公开中，利用诸如“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“显示”等术语的讨论可以涉及计算机系统或类似电子计算设备的动作和过程，其将在计算机系统的寄存器和存储器内表示为物理(电子)量的数据操纵和转换成在计算机系统的存储器或寄存器或其他信息存储、传输或显示设备内类似地表示为物理量的其他数据。
一个或多个组件在本文中可以被称为“配置为”、“可配置为”、“可操作/可操作于”、“适应/适用于”、“能够”、“适合于/符合于”等。本领域技术人员将认识到，除非环境另外要求，否则“配置为”通常可以覆盖活动状态组件和/或非活动状态组件和/或待机状态组件。
值得注意的是，对“一个方面”、“方面”、“一种示例”、“一个示例”等的任何引用均表示结合该方面描述的特定特征、结构或特性包含在至少一个方面中。因此，在整个说明书中各处出现的短语“在一个方面”、“在一方面”、“在一种示例中”和“在一个示例中”不一定都指同一方面。此外，特定特征、结构或特性可以在一个或多个方面以任何合适的方式组合。
据说通过引用并入本文的任何专利、出版物或其他公开材料的全部或部分仅在一定程度上并入本文，即被并入的材料不与现有定义、陈述或其他在本公开中阐述的公开材料相冲突的程度上。这样，在必要的程度上，本文明确提出的公开内容取代了通过引用并入本文的任何冲突的材料。据说通过引用并入本文但与本文阐述的现有定义、陈述或其他公开材料相冲突的任何材料或其部分，仅在不使所并入的材料与现有公开材料之间产生冲突的程度下被并入。

Claims (16)

1.一种感测系统，包括：
传感器组件，包括：
一个或多个电路板，
连接到一个或多个电路板的控制电路，以及
N个传感器的组合，至少两个所述传感器是异质的，其中所述传感器中的每个传感器耦接到所述一个或多个电路板中的一个或多个，使得所述传感器的组合中的每个所述传感器被配置为感测所述传感器组件的环境中的一个或多个物理现象，其中
N>2；以及
后端服务器系统，包括与所述传感器组件通信的至少一个服务器，其中：
所述传感器组件的所述控制电路配置为：
从所述传感器的组合收集的原始传感器数据中提取多个特征，以形成特征化数据，并且
向所述后端服务器系统传输所述特征化数据；及
所述后端服务器系统中的所述至少一个服务器被配置为：
确定传感器的组合中的其特征化数据与在所述传感器组件的环境中发生的事件相关的一个或多个所选传感器P，其中P<N；
通过训练机器学习模型，产生一个一阶虚拟传感器，以基于来自所选一个或多个传感器的所述特征化数据检测事件；及
利用受过训练的一阶虚拟传感器及来自一个或多个所选传感器的特征化数据检测事件。
2.根据权利要求1所述的感测系统，其中：
传感器组件是分布于一个地点的多个传感器组件之一，其中多个传感器组件中的每个传感器组件与所述后端服务器系统通信；
多个传感器组件中的每个传感器组件包括：
控制电路；以及
连接至所述控制电路的传感器的组合，至少两个所述传感器是异质的，其中
所述传感器的组合中的每个传感器被配置为感测所述传感器组件的局部环境中的一个或多个物理现象，其中所述传感器组件的控制电路被配置为：
从所述一个或多个传感器收集的原始传感器数据中提取多个特征，以形成特征化数据；并且
向所述后端服务器系统传输所述特征化数据；及
通过机器学习，训练一阶虚拟传感器，以基于从多个传感器组件传输的所述特征化数据，检测该地点中的事件。
3.根据权利要求1和2中的任一项所述的感测系统，其中所述一个或多个一阶虚拟传感器检测到的所述事件未被所述传感器组件的所述传感器的组合中的任何一个传感器直接地感测。
4.根据权利要求1至2中的任一项所述的感测系统，其中所述后端服务器系统中的所述至少一个服务器还被配置为产生二阶虚拟传感器，以至少部分地基于所述一阶虚拟传感器的输出来检测所述传感器组件的环境中的二阶条件。
5.根据权利要求1至2中的任一项所述的感测系统，其中所述传感器的组合包括选自由红外辐射传感器、环境光色传感器、环境光强度传感器、磁场传感器、温度传感器、环境压力传感器、湿度传感器、振动传感器、外部设备通信传感器、运动传感器、声学传感器、室内空气质量传感器、化学传感器、视觉传感器和电磁干扰传感器组成的群组的至少一个无源传感器。
6.根据权利要求1至2中的任一项所述的感测系统，其中所述传感器的组合包括选自由声纳传感器、超声传感器、发光传感器、基于雷达的传感器、声学传感器、红外摄像机、有源红外传感器、室内定位系统、基于x射线的传感器、地震传感器和有源声音测量系统组成的群组的至少一个有源传感器。
7.根据权利要求1至2中的任一项所述的感测系统，其中：
所述传感器组件与用户设备通信；
所述后端服务器系统被配置为在所述一阶虚拟传感器检测到特定事件时，向传感器组件传输通知；及
所述传感器组件被配置为响应于从后端服务器系统接收到检测到特定事件的通知，向用户设备传输通知。
8.根据权利要求1至2中的任一项所述的感测系统，其中：
所述传感器组件还包括选自包括扬声器、光源和振动源的群组的输出反馈设备；
所述后端服务器系统被配置为在所述一阶虚拟传感器检测到特定事件时，向传感器组件传输通知；及
所述传感器组件被配置为响应于从后端服务器系统接收到检测到特定事件的通知，通过输出反馈设备向用户传输通知。
9.根据权利要求1所述的感测系统，其中所述传感器组件在使用期间是非移动的。
10.根据权利要求1所述的感测系统，其中N个传感器的组合包括用于检测被供应以对所述传感器组件供电的电压的变化的传感器。
11.一种感测方法，包括：
利用传感器组件，感测所述传感器组件的环境中的一个或多个物理现象，所述传感器组件包括耦接到一个或多个电路板的、其中至少两个传感器为异质的N个传感器的组合，其中N>2；
利用所述传感器组件的控制电路从所述传感器的组合收集的原始传感器数据中提取多个特征，以形成特征化数据；
利用控制电路将所述多个特征传输到后端服务器系统，所述后端服务器系统通信地连接到传感器组件；
利用所述后端服务器系统确定传感器的组合中的其特征化数据与在所述传感器组件的环境中发生的事件相关的一个或多个所选传感器P，其中P<N；
利用所述后端服务器系统，通过训练机器学习模型，产生一个一阶虚拟传感器，以基于来自一个或多个所选传感器的所述特征化数据检测事件；及
利用受过训练的一阶虚拟传感器，基于来自一个或多个所选传感器的所述特征化数据，检测传感器组件的环境中的事件。
12.根据权利要求11所述的感测方法，其中产生所述一阶虚拟传感器至少包括以下：
借助标记数据通过监督训练，训练机器学习模型；或
使用深度学习算法通过无监督学习，训练机器学习模型。
13.根据权利要求11所述的感测方法，其中：
所述后端服务器系统包括：
多个机器学习一阶虚拟传感器；及
一个机器学习二阶虚拟传感器，其通过机器学习，被训练为基于来自所述一阶虚拟传感器的输出来检测所述传感器组件的环境中的二阶条件；
检测步骤包括：基于特征化数据，由多个机器学习一阶虚拟传感器中的每个检测传感器组件的环境中的不同事件；及
上述方法还包括由机器学习二阶虚拟传感器基于来自所述一阶虚拟传感器的输出来检测所述传感器组件的环境中的二阶条件的步骤。
14.根据权利要求13所述的感测方法，还包括在二阶虚拟传感器检测到特定条件时，从所述后端服务器系统向基于远程计算机的系统传输通知。
15.根据权利要求11所述的感测方法，其中传输特征化数据包括由传感器组件向后端服务器系统传输包括两个或更多个传感器的级联特征化数据的周期性的加密的数据包。
16.根据权利要求11所述的感测方法，其中:
所述传感器组件还包括输出反馈设备；及
所述方法还包括通过输出反馈设备向用户设备输出用于认证传感器组件的代码的步骤。
CN201880042348.3A 2017-04-24 2018-04-24 虚拟传感器系统 Active CN110800273B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762602487P 2017-04-24 2017-04-24
US62/602,487 2017-04-24
US201762602543P 2017-04-27 2017-04-27
US62/602,543 2017-04-27
US201762605675P 2017-08-22 2017-08-22
US62/605,675 2017-08-22
PCT/US2018/029165 WO2018200541A1 (en) 2017-04-24 2018-04-24 Virtual sensor system

Publications (2)

Publication Number Publication Date
CN110800273A CN110800273A (zh) 2020-02-14
CN110800273B true CN110800273B (zh) 2024-02-13

Family

ID=62218309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880042348.3A Active CN110800273B (zh) 2017-04-24 2018-04-24 虚拟传感器系统

Country Status (4)

Country Link
US (2) US10436615B2 (zh)
EP (1) EP3616387A1 (zh)
CN (1) CN110800273B (zh)
WO (1) WO2018200541A1 (zh)

Families Citing this family (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10303035B2 (en) 2009-12-22 2019-05-28 View, Inc. Self-contained EC IGU
US12124147B2 (en) 2012-04-13 2024-10-22 View, Inc. Control methods and systems using external 3D modeling and neural networks
US20230076947A1 (en) * 2012-04-13 2023-03-09 View, Inc. Predictive modeling for tintable windows
US10700944B2 (en) * 2012-06-07 2020-06-30 Wormhole Labs, Inc. Sensor data aggregation system
US10374863B2 (en) * 2012-12-05 2019-08-06 Origin Wireless, Inc. Apparatus, systems and methods for event recognition based on a wireless signal
US10599818B2 (en) * 2012-10-02 2020-03-24 Banjo, Inc. Event-based vehicle operation and event remediation
US9135437B1 (en) * 2014-03-24 2015-09-15 Amazon Technologies, Inc. Hypervisor enforcement of cryptographic policy
US11743071B2 (en) 2018-05-02 2023-08-29 View, Inc. Sensing and communications unit for optically switchable window systems
JP6528567B2 (ja) * 2015-07-02 2019-06-12 オムロン株式会社 感震センサ及び閾値調整方法
CN109891436A (zh) * 2016-10-24 2019-06-14 Lg 电子株式会社 基于深度学习神经网络的安保系统及其控制方法
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11892738B2 (en) 2017-04-26 2024-02-06 View, Inc. Tandem vision window and media display
US11747696B2 (en) 2017-04-26 2023-09-05 View, Inc. Tandem vision window and media display
TWI808968B (zh) 2017-04-26 2023-07-21 美商唯景公司 窗總成、用於控制窗總成之方法及設備及相關之非暫時性電腦可讀程式指令
WO2022165062A1 (en) * 2021-01-28 2022-08-04 View, Inc. Multi-sensor synergy
US10721088B2 (en) * 2017-05-23 2020-07-21 BrainofT Inc. Multi-modal interactive home-automation system
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US20190095847A1 (en) * 2017-09-28 2019-03-28 Honeywell International Inc. System and method for monitoring workflow checklist with an unobtrusive sensor
JP7106847B2 (ja) * 2017-11-28 2022-07-27 横河電機株式会社 診断装置、診断方法、プログラム、および記録媒体
US11410103B2 (en) * 2017-12-06 2022-08-09 International Business Machines Corporation Cognitive ride scheduling
US11429807B2 (en) * 2018-01-12 2022-08-30 Microsoft Technology Licensing, Llc Automated collection of machine learning training data
US11481571B2 (en) 2018-01-12 2022-10-25 Microsoft Technology Licensing, Llc Automated localized machine learning training
JP7006296B2 (ja) * 2018-01-19 2022-01-24 富士通株式会社 学習プログラム、学習方法および学習装置
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
JP6528869B1 (ja) * 2018-02-13 2019-06-12 オムロン株式会社 セッション制御装置、セッション制御方法及びプログラム
JP6477943B1 (ja) * 2018-02-27 2019-03-06 オムロン株式会社 メタデータ生成装置、メタデータ生成方法及びプログラム
US10310079B1 (en) * 2018-03-02 2019-06-04 Amazon Technologies, Inc. Presence detection using wireless signals confirmed with ultrasound and/or audio
GB201805898D0 (en) * 2018-04-10 2018-05-23 Rolls Royce Plc Machine sensor network management
US10906536B2 (en) * 2018-04-11 2021-02-02 Aurora Innovation, Inc. Control of autonomous vehicle based on determined yaw parameter(s) of additional vehicle
US11099539B2 (en) * 2018-05-17 2021-08-24 Ut-Battelle, Llc Multi-sensor agent devices
JP2019215728A (ja) * 2018-06-13 2019-12-19 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11375404B2 (en) * 2018-07-16 2022-06-28 Revokind, Inc. Decentralized infrastructure methods and systems
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US12271868B2 (en) 2018-08-15 2025-04-08 View Operating Corporation Failure prediction of at least one tintable window
US20190050732A1 (en) * 2018-08-28 2019-02-14 Intel Corporation Dynamic responsiveness prediction
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
WO2020051157A1 (en) * 2018-09-04 2020-03-12 SeeScan, Inc. Video pipe inspection systems with video integrated with additional sensor data
US11169865B2 (en) * 2018-09-18 2021-11-09 Nec Corporation Anomalous account detection from transaction data
AU2019357615B2 (en) 2018-10-11 2023-09-14 Tesla, Inc. Systems and methods for training machine models with augmented data
KR102095653B1 (ko) * 2018-10-12 2020-03-31 한국수력원자력 주식회사 신경망 모델을 이용한 비정상 운전 상태 판단 장치 및 방법
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11256263B2 (en) 2018-11-02 2022-02-22 Aurora Operations, Inc. Generating targeted training instances for autonomous vehicles
US11403492B2 (en) 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles
US10679481B2 (en) * 2018-11-14 2020-06-09 Chaoyang Semiconductor Jiangyin Technology, CO. LTD. Method and apparatus for processor-based mini-sensor assembly
US12020123B2 (en) * 2018-11-20 2024-06-25 Koninklijke Philips N.V. User-customisable machine learning models
US11089654B2 (en) * 2018-11-30 2021-08-10 Dish Network L.L.C. Universal narrow-band internet of things communication node for use with environmental sensors and stations
US10991249B2 (en) 2018-11-30 2021-04-27 Parkifi, Inc. Radar-augmentation of parking space sensors
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US20220091275A1 (en) * 2018-12-06 2022-03-24 Saber Astronautics Australia Pty. Ltd. A method and a system for assessing aspects of an electromagnetic signal
CN109464075A (zh) * 2018-12-07 2019-03-15 江苏美的清洁电器股份有限公司 扫地机器人的清扫控制方法及其装置和扫地机器人
WO2020123394A1 (en) * 2018-12-09 2020-06-18 Spot AI, Inc. Systems and methods for distributed image processing
US11286058B2 (en) * 2018-12-18 2022-03-29 Textron Innovations Inc. Heliport docking system
EP3670415A3 (en) 2018-12-21 2020-07-15 Otis Elevator Company Virtual sensor for elevator monitoring
EP3903510B1 (en) 2018-12-24 2025-04-09 DTS, Inc. Room acoustics simulation using deep learning image analysis
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US20200210804A1 (en) * 2018-12-31 2020-07-02 Qi Lu Intelligent enclosure systems and computing methods
CN109613610B (zh) * 2019-01-17 2020-04-14 中南大学 微震信号到时差的自动拾取方法
TWI734330B (zh) * 2019-01-31 2021-07-21 日商住友重機械工業股份有限公司 支援裝置、支援方法及記錄媒體
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
JP6975188B2 (ja) * 2019-02-07 2021-12-01 ファナック株式会社 状態判定装置及び状態判定方法
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
CN109916627A (zh) * 2019-03-27 2019-06-21 西南石油大学 基于主动学习的轴承故障检测与诊断
USD942995S1 (en) * 2019-04-03 2022-02-08 Siemens Aktiengesellschaft Display screen or portion thereof with graphical user interface
WO2020222879A1 (en) * 2019-04-29 2020-11-05 Landmark Graphics Corporation Hybrid neural network and autoencoder
US11599830B1 (en) * 2019-05-01 2023-03-07 ClearCare, Inc. Automatic change in condition monitoring by passive sensor monitoring and machine learning
US11768129B2 (en) * 2019-05-13 2023-09-26 Volvo Car Corporation Machine-learning based vehicle diagnostics and maintenance
US11082521B2 (en) * 2019-05-24 2021-08-03 California Eastern Laboratories, Inc. Single source of information apparatuses, methods, and systems
CN113906628A (zh) 2019-05-31 2022-01-07 唯景公司 建筑天线
EP3751532A1 (en) * 2019-06-13 2020-12-16 Rohde & Schwarz GmbH & Co. KG Remote access and control system and corresponding method
US11656337B2 (en) * 2019-07-11 2023-05-23 Toyota Motor Engineering & Manufacturing North America, Inc. Photonic apparatus integrating optical sensing and optical processing components
BE1027428B1 (nl) 2019-07-14 2021-02-11 Niko Nv Sensorsysteem voor activiteitherkenning
EP3785581A4 (en) * 2019-07-15 2021-06-23 LG Electronics Inc. ARTIFICIAL INTELLIGENCE BASED COOKING APPARATUS
KR102667036B1 (ko) 2019-07-19 2024-05-17 엘지전자 주식회사 피가열체의 상태를 추정하기 위한 가열 장치 및 방법
JP7268736B2 (ja) * 2019-07-24 2023-05-08 日本電信電話株式会社 同期制御装置
US11727303B2 (en) * 2019-08-22 2023-08-15 Kyndryl, Inc. Precipitation detection using mobile devices
US11983678B1 (en) * 2019-09-26 2024-05-14 American Paper Converting Inc. Systems and methods for restroom consumables monitoring and maintenance scheduling
US12153505B2 (en) * 2019-10-01 2024-11-26 Weiland Innovations Llc Automated system for generating properly tagged training data for and verifying the efficacy of artificial intelligence algorithms
CN110913357B (zh) * 2019-11-13 2020-10-09 绍兴文理学院 一种基于安全态势感知的传感云双层网络防御系统及方法
US12266257B2 (en) 2019-11-27 2025-04-01 Aob Products Company Security Enclosure
WO2021108113A1 (en) * 2019-11-27 2021-06-03 Corning Incorporated Sensing vessels for cell cultures
US11533457B2 (en) 2019-11-27 2022-12-20 Aob Products Company Smart home and security system
US20210272025A1 (en) * 2019-12-27 2021-09-02 Stmicroelectronics, Inc. Method and system for updating machine learning based classifiers for reconfigurable sensors
US20210201191A1 (en) * 2019-12-27 2021-07-01 Stmicroelectronics, Inc. Method and system for generating machine learning based classifiers for reconfigurable sensor
FR3105873B1 (fr) * 2019-12-31 2022-03-25 Awox Procédé et système d’émission prédictive et automatique d’un signal domotique
US11582152B2 (en) * 2020-01-29 2023-02-14 Hewlett Packard Enterprise Development Lp Method and system for data management in an edge server
JP7503752B2 (ja) * 2020-03-05 2024-06-21 パナソニックＩｐマネジメント株式会社 情報処理システム、及び、情報処理方法
US20220095085A1 (en) * 2020-03-21 2022-03-24 Trackonomy Systems, Inc. Distributed Intelligent Software for Vibration and Acoustic Monitoring and Systems and Methods Implementing the Same
TW202206925A (zh) 2020-03-26 2022-02-16 美商視野公司 多用戶端網路中之存取及傳訊
GB2594328B (en) * 2020-04-24 2024-04-10 Novosound Ltd Secure ultrasound system
EP4158505A4 (en) * 2020-05-27 2024-05-08 Helios Sports, Inc. INTELLIGENT GENERATION OF VIDEO AND SPORTS DATA FROM AI EVENT RECOGNITION
US11631493B2 (en) 2020-05-27 2023-04-18 View Operating Corporation Systems and methods for managing building wellness
CN111766557A (zh) * 2020-05-31 2020-10-13 宁夏隆基宁光仪表股份有限公司 一种基于K-Means算法分析影响电能表检测精度的方法
CN111682925B (zh) * 2020-06-05 2022-07-12 四川艾贝斯科技发展有限公司 智慧路灯用数据采集及处理方法
US11667265B2 (en) * 2020-07-14 2023-06-06 Micron Technology, Inc. Activating a security mode for a vehicle based on driver identification
US11436864B2 (en) 2020-07-14 2022-09-06 Micron Technology, Inc. Driver recognition to control vehicle systems
US11716642B2 (en) * 2020-07-20 2023-08-01 Arris Enterprises Llc Determination of extender onboarding completion status
CN111744189B (zh) * 2020-07-27 2022-02-01 腾讯科技（深圳）有限公司 画面更新方法、装置、计算机设备和存储介质
CN114429162A (zh) * 2020-09-04 2022-05-03 中国石油化工股份有限公司 基于深度卷积神经网络和随机森林的地震层位追踪方法
US11727091B2 (en) * 2020-09-11 2023-08-15 Qeexo, Co. Method and system for training machine learning models on sensor nodes
SE544849C2 (en) * 2020-10-02 2022-12-13 Assa Abloy Ab Providing data for training a machine learning model
CN112710353B (zh) * 2020-12-23 2022-10-21 龙海建设集团有限公司 智能建筑监测系统
US11989403B2 (en) 2021-01-27 2024-05-21 Sintokogio, Ltd. Information processing device and information processing method
US11480358B2 (en) 2021-02-25 2022-10-25 Synapse Wireless, Inc. Machine learning systems for modeling and balancing the activity of air quality devices in industrial applications
WO2022199524A1 (zh) * 2021-03-25 2022-09-29 北京灵汐科技有限公司 传感器组件及电子设备
EP4075112B1 (en) 2021-04-14 2024-10-02 ABB Schweiz AG A fault detection system
US11636752B2 (en) * 2021-04-26 2023-04-25 Rockwell Automation Technologies, Inc. Monitoring machine operation with different sensor types to identify typical operation for derivation of a signature
US11545023B1 (en) * 2021-07-06 2023-01-03 Verizon Patent And Licensing Inc. Systems and methods for monitoring a physical environment using virtual sensors
US20230011547A1 (en) * 2021-07-12 2023-01-12 Getac Technology Corporation Optimizing continuous media collection
NL2028792B1 (en) * 2021-07-20 2023-01-27 Schreder Sa Remote management framework in sensor and actuator network
US11335203B1 (en) * 2021-08-20 2022-05-17 Beta Air, Llc Methods and systems for voice recognition in autonomous flight of an electric aircraft
CN113887552A (zh) * 2021-08-25 2022-01-04 苏州数言信息技术有限公司 一种基于传感器的碳计量方法及装置
GB202118033D0 (en) * 2021-12-13 2022-01-26 Mars Inc A computer-implemented method of predicting quality of a food product sample
NO20220004A1 (en) 2022-01-03 2023-07-04 Elliptic Laboratories Asa Robust virtual sensor
US20250056164A1 (en) * 2022-03-02 2025-02-13 Qualcomm Technologies, Inc. Piezoelectric mems contact detection system
CN115031357B (zh) * 2022-05-10 2023-05-30 南京信息工程大学 一种适用于不同类型故障特征的基于投票策略的故障诊断方法
CN119585578A (zh) * 2022-07-28 2025-03-07 真实制造有限公司 用于制冷设备的资产管理和物联网装置
CN115778378B (zh) * 2022-12-14 2024-12-31 西南交通大学 一种跌倒识别方法及装置
CN115830578B (zh) * 2023-02-23 2023-05-23 北京金石视觉数字科技有限公司 物品巡检方法、装置和电子设备
WO2024191792A2 (en) * 2023-03-13 2024-09-19 Lifelens Technologies, Inc. Microenvironmental monitoring utilizing different types of sensing devices in a body area network associated with a subject
EP4475514A1 (en) * 2023-06-08 2024-12-11 Koninklijke Philips N.V. Predictive virtual sensor commissioning and management
US20250103197A1 (en) * 2023-09-21 2025-03-27 Google Llc User interface control using delta head movements
US12271971B1 (en) * 2023-10-04 2025-04-08 Wytec International, Inc. Smart sensor system for threat detection
CN118604074B (zh) * 2024-08-07 2024-11-15 上海科泽智慧环境科技有限公司 利用电化学生物传感器阵列的污染物监测系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110155A (zh) * 2007-08-27 2008-01-23 北京交通大学 基于数据融合模式识别的嵌入式故障智能诊断装置及方法
CN104510475A (zh) * 2014-12-15 2015-04-15 中国科学院计算技术研究所 一种人体跌倒检测方法及系统
CN106407996A (zh) * 2016-06-30 2017-02-15 华南理工大学 一种基于机器学习的老人跌倒检测方法及其检测系统

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5502773A (en) 1991-09-20 1996-03-26 Vanderbilt University Method and apparatus for automated processing of DNA sequence data
US6408227B1 (en) * 1999-09-29 2002-06-18 The University Of Iowa Research Foundation System and method for controlling effluents in treatment systems
US7827131B2 (en) 2002-08-22 2010-11-02 Knowm Tech, Llc High density synapse chip using nanoparticles
US7519452B2 (en) 2004-04-15 2009-04-14 Neurosciences Research Foundation, Inc. Mobile brain-based device for use in a real world environment
US9101279B2 (en) 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
US20090017910A1 (en) 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
US8812261B2 (en) * 2007-08-23 2014-08-19 Applied Materials, Inc. Method and apparatus to automatically create virtual sensors with templates
US9203911B2 (en) 2007-11-14 2015-12-01 Qualcomm Incorporated Method and system for using a cache miss state match indicator to determine user suitability of targeted content messages in a mobile environment
US8510234B2 (en) * 2010-01-05 2013-08-13 American Gnc Corporation Embedded health monitoring system based upon Optimized Neuro Genetic Fast Estimator (ONGFE)
WO2013040105A1 (en) 2011-09-13 2013-03-21 Monk Akarshala Design Private Limited Tutoring interfaces for learning applications in a modular learning system
US8775337B2 (en) * 2011-12-19 2014-07-08 Microsoft Corporation Virtual sensor development
WO2013103994A2 (en) 2012-01-08 2013-07-11 Oppenheimer Steven Charles System and method for item self-assessment as being extant or displaced
US10068396B2 (en) 2016-01-15 2018-09-04 John C. S. Koo Light-based security systems
US9740773B2 (en) 2012-11-02 2017-08-22 Qualcomm Incorporated Context labels for data clusters
US20140200855A1 (en) * 2013-01-17 2014-07-17 Stephen Oonk Coremicro Reconfigurable Embedded Smart Sensor Node
US9355368B2 (en) 2013-03-14 2016-05-31 Toyota Motor Engineering & Manufacturing North America, Inc. Computer-based method and system for providing active and automatic personal assistance using a robotic device/platform
US9448962B2 (en) 2013-08-09 2016-09-20 Facebook, Inc. User experience/user interface based on interaction history
US20160080835A1 (en) 2014-02-24 2016-03-17 Lyve Minds, Inc. Synopsis video creation based on video metadata
US20160071549A1 (en) 2014-02-24 2016-03-10 Lyve Minds, Inc. Synopsis video creation based on relevance score
US9823764B2 (en) 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
US10088971B2 (en) 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
US9766818B2 (en) 2014-12-31 2017-09-19 Samsung Electronics Co., Ltd. Electronic system with learning mechanism and method of operation thereof
IL237235B (en) 2015-02-11 2019-08-29 Friedlander Yehudah A system for analyzing power consumption
US20160247043A1 (en) 2015-02-19 2016-08-25 Warren Rieutort-Louis Thin-film Sensing and Classification System
US9761220B2 (en) 2015-05-13 2017-09-12 Microsoft Technology Licensing, Llc Language modeling based on spoken and unspeakable corpuses
US10438112B2 (en) 2015-05-26 2019-10-08 Samsung Electronics Co., Ltd. Method and apparatus of learning neural network via hierarchical ensemble learning
EP3308302A4 (en) 2015-06-09 2019-02-13 Intuitive Surgical Operations Inc. VIDEO CONTENT IN A MEDICAL CONTEXT
US9676098B2 (en) * 2015-07-31 2017-06-13 Heinz Hemken Data collection from living subjects and controlling an autonomous robot using the data
US10007513B2 (en) 2015-08-27 2018-06-26 FogHorn Systems, Inc. Edge intelligence platform, and internet of things sensor streams system
US20170169358A1 (en) 2015-12-09 2017-06-15 Samsung Electronics Co., Ltd. In-storage computing apparatus and method for decentralized machine learning
SE539526C2 (en) 2016-01-12 2017-10-10 Scania Cv Ab Method and control unit for a self-learning map
WO2017171826A1 (en) 2016-04-01 2017-10-05 Intel Corporation Entropic classification of objects
KR102607216B1 (ko) 2016-04-01 2023-11-29 삼성전자주식회사 진단 모델 생성 방법 및 이를 위한 진단 모델 생성 장치
US10049284B2 (en) * 2016-04-11 2018-08-14 Ford Global Technologies Vision-based rain detection using deep learning
US11107016B2 (en) 2016-08-18 2021-08-31 Virtual Power Systems, Inc. Augmented power control within a datacenter using predictive modeling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110155A (zh) * 2007-08-27 2008-01-23 北京交通大学 基于数据融合模式识别的嵌入式故障智能诊断装置及方法
CN104510475A (zh) * 2014-12-15 2015-04-15 中国科学院计算技术研究所 一种人体跌倒检测方法及系统
CN106407996A (zh) * 2016-06-30 2017-02-15 华南理工大学 一种基于机器学习的老人跌倒检测方法及其检测系统

Also Published As

Publication number Publication date
CN110800273A (zh) 2020-02-14
EP3616387A1 (en) 2020-03-04
US20180306609A1 (en) 2018-10-25
US10436615B2 (en) 2019-10-08
WO2018200541A1 (en) 2018-11-01
US20200033163A1 (en) 2020-01-30

Similar Documents

Publication Publication Date Title
CN110800273B (zh) 虚拟传感器系统
US10395494B2 (en) Systems and methods of home-specific sound event detection
US10147308B2 (en) Method and system for consolidating events across sensors
US10290191B2 (en) Alarm arming with open entry point
US9618918B2 (en) System and method for estimating the number of people in a smart building
US10429177B2 (en) Blocked sensor detection and notification
US10490198B2 (en) Device-specific multi-channel data compression neural network
US20160189527A1 (en) Intelligent Object-Based Alarm System
US10621855B2 (en) Online occupancy state estimation
BR102013014516A2 (pt) Sistema e método para determinar a localização de dispositivos de comunicação sem fio/pessoas para controlar/ajustar a operação de dispositivos com base na localização
US10973103B2 (en) Presence and directional motion detection
US12073319B2 (en) Sound model localization within an environment
US9915930B2 (en) Smart-home control platform having morphable locus of machine intelligence based on characteristics of participating smart-home devices
US11748993B2 (en) Anomalous path detection within cameras&#39; fields of view
US20220167481A1 (en) Light source status detection
US20240064489A1 (en) WiFi Motion Detecting for Smart Home Device Control
US20230267815A1 (en) Ear bud integration with property monitoring
Ye Quantification of HVAC Energy Savings for Occupancy Sensing in Buildings: Hardware and Software

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant