CN113273222A

CN113273222A - 用于在智能家庭系统中处理传感器数据的框架

Info

Publication number: CN113273222A
Application number: CN201980085781.XA
Authority: CN
Inventors: 莫滕·沃伦; 埃德·罗斯; 丹尼尔·赫伯特
Original assignee: Zuma Array Ltd
Current assignee: Zuma Array Ltd
Priority date: 2018-12-24
Filing date: 2019-12-20
Publication date: 2021-08-17
Also published as: GB2599200A; EP3903507A2; GB2585095A; WO2020136369A3; US20220066730A1; GB201821197D0; WO2020136369A2; GB2599200B; GB2585095B; TW202042564A; GB202110087D0; GB201909590D0

Abstract

提供了一种零件套件，所述零件套件包括用于智能家庭系统的灯和/或扩音器配件。所述灯和/或扩音器配件包括：照明部件和/或扩音器；传感器数据输入接口；和处理器。所述零件套件还包括传感器模块，所述传感器模块包括：传感器数据输出接口；和一个或多个传感器。所述灯和/或扩音器配件及所述传感器模块包括互补紧固装置，所述互补紧固装置被配置为将所述传感器模块可拆卸地耦合到所述灯和/或扩音器配件，使得当所述传感器模块耦合到所述灯和/或扩音器配件时，所述传感器模块的传感器数据输出接口与所述灯和/或扩音器配件的传感器数据输入接口通信，以便在所述传感器模块与所述灯和/或扩音器配件之间形成传感器接口。所述传感器模块被配置为当所述传感器模块耦合到所述灯和/或扩音器配件时经由所述传感器接口将来自所述一个或多个传感器的传感器数据传送到所述灯和/或扩音器配件的处理器。

Description

用于在智能家庭系统中处理传感器数据的框架

技术领域

本发明涉及由零件套件组装的智能家庭设备、一种智能家庭系统以及一种在智能家庭系统中更新智能家庭设备的方法。

背景技术

智能家庭系统目的旨在提供诸如照明和音频的家庭服务。这些系统也接受用户输入来控制这些服务。一些系统在用户的智能电话上提供用户界面。其他人接受来自家庭中的一个或多个麦克风的语音命令。

一些智能家庭系统也包括摄像机或运动传感器以增强家庭安全性。然而，现有技术的系统能够利用由此类传感器提供的数据的方式是有限的。

发明内容

为了解决现有技术的问题，本发明的系统提供一种用于智能家庭系统的具有可互换的传感器模块的灯和/或扩音器配件。

根据本发明的一个实施例，提供了一种零件套件。该零件套件包括用于智能家庭系统的灯和/或扩音器配件及传感器模块。灯和/或扩音器配件包括照明部件和/或扩音器。灯和/或扩音器配件还包括传感器数据输入接口和处理器。传感器模块包括传感器数据输出接口和一个或多个传感器。灯和/或扩音器配件及传感器模块包括互补紧固装置，该互补紧固装置被配置为将传感器模块可拆卸地耦合到灯和/或扩音器配件，使得当传感器模块耦合到灯和/或扩音器配件以便在传感器模块与灯和/或扩音器配件之间形成传感器接口时，传感器模块的传感器数据输出接口与灯和/或扩音器配件的传感器数据输入接口通信。传感器模块被配置为当传感器模块耦合到灯和/或扩音器配件时经由传感器接口将来自一个或多个传感器的传感器数据传送到灯和/或扩音器配件的处理器。

可经由传感器接口在两个方向上交换数据。例如，可经由传感器接口从灯和/或扩音器配件向传感器模块提供配置数据和控制信号。

灯和/或扩音器配件的处理器还可包括数据分析框架，该数据分析框架包括被配置为分析传感器数据的一个或多个数据处理模块。

传感器数据的分析可由灯和/或扩音器配件的处理器执行。附加地或可替代地，传感器数据可由传感器模块上的专用处理器处理。

传感器模块还可包括处理器。传感器模块的处理器可包括数据分析框架，该数据分析框架包括被配置为分析传感器数据的一个或多个数据处理模块。

传感器模块(智能边框)可用于实现麦克风模块。在一些配置中，片上系统设置在灯和/或扩音器配件上。在系统架构的其他配置中，片上系统(SoC)设置在传感器模块(智能边框)中。这可能意味着边框向灯添加“智能”并且帮助使灯固定装置的成本保持较低。可将GU10固定装置改装为6”美国天花板固定装置。在这种情况下，较大的固定装置暗示较高的光输出。光环可围绕周边以增加光照的光和投射。

数据分析框架可连续地处理来自传感器的原始数据并且确定某些事件何时已发生。这给智能家庭设备提供了解分析框架被配置为侦听的某些事件的发生的能力。每个数据处理模块可被配置为侦听特定事件。或者，每个数据处理模块可被配置为处理来自一个或多个传感器中的特定传感器的数据。也能够检测家庭环境中的变化，并且系统能够实时相应地对那些变化起反应。不要求存储由传感器生成的所有数据，并且智能家庭设备可替代地存储细化数据或元数据。

可经由在Zuma头单元中的数字信号处理器资源中运行的预标识算法连续地监视音频信号。此算法可标识感兴趣声音，然后将声音样本传递到较大的系统中，包括向上传递到云应用中以进一步处理和动作跟进。

系统可被配置为连续地记录音频并且将该音频存储在缓冲器中。音频数据可随着它被接收而在本地被处理(例如在传感器模块或灯/扩音器配件处)以侦听“唤醒”词或短语。当遇到“唤醒”词时，系统可继续记录音频，直到确立了用户已完成发出命令为止。系统然后可将音频发送到云以进行语音识别处理并且确定如何对用户的请求做出响应。发送到云以进行处理的数据可包括存储在缓冲区中的在遇到唤醒词之前接收的一些音频。这可为被发送到云的命令提供上下文并且改进由系统提供的响应。

数据分析框架还可包括供应接口。数据分析框架可被配置为经由供应接口接收要更新数据处理模块的指令。在接收到要更新数据处理模块的指令时，数据分析框架可被配置为：

更新数据处理模块中的一个或多个；

向一个或多个数据处理模块添加一个或多个附加数据处理模块；和/或

从数据分析框架中移除数据处理模块中的一个或多个。

供应接口给设备提供为用户感兴趣的事件或者为用户已通过互换智能边框添加到系统的新传感器添加新侦听器的能力。

灯和/或扩音器配件还可包括安装装置，该安装装置被配置为将设备安装在面板中的孔径中。

灯和/或扩音器配件还可包括网络通信模块，该网络通信模块被配置为与智能家庭系统中的网络路由器和/或另一灯和/或扩音器配件的网络通信模块进行通信。

灯和/或扩音器配件的传感器数据输入接口可以是物理连接器。传感器模块的传感器数据输出接口可以是物理连接器。当传感器模块耦合到灯和/或扩音器配件时，传感器模块的传感器数据输出接口可与灯和/或扩音器配件的传感器数据输入接口进行物理和电通信。

互补紧固装置可被配置为将传感器模块耦合到灯和/或扩音器配件，使得传感器模块的传感器数据输出接口与灯和/或扩音器配件的传感器数据输入接口物理对准。

灯和/或扩音器配件可被配置为当传感器模块耦合到灯和/或扩音器配件时向传感器模块供应电力。可经由传感器接口供应电力。

灯和/或扩音器配件可被配置为当传感器模块耦合到灯和/或扩音器配件时经由传感器接口向传感器模块发送控制信号。

传感器接口可以是通用串行总线、USB接口或以太网接口。使用符合广泛地使用的标准的协议允许实现与各式各样传感器的灵活集成。

能够处理和翻译智能边框外围信号以方便经由以太网对接。以太网是CEDIA行业中用于家庭和系统控制的系统的常见接口。

智能边框外围设备可经由USB或其他Zuma头单元电力分配来供电。可经由以太网供电(POE)提供此电力，所述POE对CEDIA行业中用于家用和系统控制的系统而言是常见。

传感器模块可被配置为当传感器模块耦合到灯和/或扩音器配件时向灯和/或扩音器配件发送标识符，其中灯和/或扩音器配件被配置为基于标识符确定与传感器模块中的一个或多个传感器有关的信息。

一个或多个传感器可包括以下项中的一个或多个：

麦克风；

定向麦克风；

麦克风阵列；

烟雾传感器；

火灾传感器；

煤气传感器，

一氧化碳传感器，

温度传感器(房间的物理温度)；

照明颜色传感器(以检测房间里的色温或由设备输出的光的色温)，

运动传感器；

摄像机；和

红外相机。

潜在传感器的列表可包括数码相机。相机传感器可能已移除IR截止滤波器以方便IR低光感测。在具有多个设备的房间配置中，能够在照明阵列中配置相机，使得能够经由摄影测量处理多个同时地捕获的图像以创建所捕获的场景的3D图。宠物、人们、家具能够使用此3d图像图来区分。

用相机捕获的图像可使用用于图像处理的机器学习算法来处理，以方便快速标识并区分人们、宠物、住户与未知人们以及与安全性和健康相关的其他特征。

可在被优化以处理表示深度学习过程的神经网络权重的“运行”数组的专门硬件中运行机器学习和图像处理算法。

潜在传感器的列表可包括结构光和相机传感器以方便3d数据捕获。宠物、人们、家具能够使用此3D数据图来区分。

潜在传感器的列表可包括使用飞行时间感测电子部件的距离传感器。在具有多个设备的房间配置中，这些点距离传感器能够作为阵列被使用和处理以开发3d感测图像。宠物、人们、家具能够使用此3D图像图来区分。

潜在传感器的列表可包括WiFi传感器。高级处理能够被应用于在WiFi传感器处接收到的WiFi信号以跟踪人们和宠物。WiFi信号以2.4和5GHz无线电信号的场填充房间。当人们和宠物移动时，此场畸变，因为移动体使无线电波反射和折射。WiFi传感器可用于检测房间里的各种位置中的WiFi信号的信号强度的变化。此数据可用于确定移动物体在房间里的位置。

潜在智能边框传感器的列表可包括多普勒雷达传感器和处理以方便房间里的心率和呼吸率感测。该技术可采用毫米波FMCW(调频连续波)雷达来远程捕获生命体征。传感器可用于跟踪房间的居住者的呼吸率和心率。这作为睡眠监视方法可以是特别有利的。这些传感器也能检测意外的活动，诸如烦躁或癫痫发作，或者被用在疗养院等中。

存在可能在智能家庭系统中有用的许多类别的传感器。这些包括：

●生命/安全—煤气、热等。

●相机—IR、鱼眼、前视红外辐射计(FLIR)、热电堆、热电堆阵列(FLIR)，其他类型也是可能的

●运动传感器

●能够由本地和组DSP处理的麦克风阵列

●跨网格工作的DSP算法(其可作为传感器数据分析框架的一部分提供)。

传感器模块可具有边框的形式，当传感器模块耦合到灯和/或扩音器配件时，该边框围绕灯和/或扩音器配件的照明部件和/或扩音器。

边框还可包括照明部件，当传感器模块耦合到灯和/或扩音器配件时，这些照明部件可由灯和/或扩音器配件经由传感器接口控制。

边框还可包括物理接口端口。当传感器模块耦合到灯和/或扩音器配件时，可经由传感器接口将在物理接口端口处接收到的通信中继到灯和/或扩音器配件的处理器。

一个或多个传感器可被配置为当传感器模块耦合到灯和/或扩音器配件时连续地传送传感器数据。

灯和/或扩音器配件可包括网络通信模块，该网络通信模块被配置为与智能家庭系统中的网络路由器和/或另一设备进行通信。

互补紧固装置可包括传感器模块或灯和/或扩音器配件上的一个或多个磁性元件。磁性元件可被配置为分别与灯和/或扩音器配件或传感器模块上的一个或多个对应的元件一起操作。磁性元件可以是磁体。所对应的元件也可以是磁性元件，诸如磁体。

在本发明的另一实施例中，提供了一种包括一个或多个智能家庭设备的智能家庭系统。每个智能家庭设备包括来自上述零件套件的灯和/或扩音器配件及传感器模块。传感器模块耦合到灯和/或扩音器配件。

智能家庭系统可包括多个智能家庭设备。智能家庭设备可全部彼此通信。设备可全部彼此直接通信或可经由网络通信。例如，可将设备组装成网格网络。

用于智能家庭系统的一个实施例网络配置是与主智能家庭单元(家庭协调器单元)的WiFi连接。可使用第二(例如专有)无线电连接来将音频从主智能家庭单元流式传输到多个其他单元。通过运用使用辅助连接的辐射式网络，可使辅助连接时间同步到采样级别。时间同步对用于音频功能的DSP至关重要。对于音频的任何本地DSP，要求采样对准以确保每个位置中的DSP正在同一采样定时上操作。使用WiFi的其他系统被同步到5ms左右。此系统具有1ms同步。在一个实施例实施方案中，不是在每个设备上提供单独的DSP模块，而是在主控(或家庭协调器、房间协调器等)的SoC中提供DSP。这实现了在所有单元上具有相同硬件的好处(这降低制造复杂性)。两个无线电模块(WiFi和第二无线电连接)都可能在主控单元上的此单个SoC模块上可用。同步可用辅助无线电同步脉冲实现(但是这不是必需的)。在将来的实施方案中可能使用WiFi技术来同步(例如它可能在来自例如WISA的小组的路线图上)。系统可使用具有毫秒级同步的称作“Multi-room”的行业标准特征来彼此连接。

在所有单元上提供相同硬件有另外的优势。如果需要仅一种硬件设计，则需要制造仅一个单元。在大量生产中这通过制造和分销来简化制造物流，因为相同单元转向物流路径中的每一端点。作为最后步骤，供应硬件以供其最终使用：例如仅主控、卫星或灯。

一个或多个智能家庭设备可包括第一智能家庭设备和第二智能家庭设备。第一智能家庭设备的灯和/或扩音器配件的处理器还可包括数据分析框架，该数据分析框架包括一个或多个数据处理模块。每个数据处理模块可被配置为分析经由第一智能家庭设备的传感器接口接收到的传感器数据。第二智能家庭设备可被配置为将从第二智能家庭设备的传感器模块的一个或多个传感器接收到的传感器数据传送到第一智能家庭设备。第一智能家庭设备的处理器还可被配置为接收并分析由第二智能家庭设备传送的传感器数据。

一个或多个智能家庭设备中的每一个的灯和/或扩音器配件的处理器还可包括数据分析框架，该数据分析框架包括一个或多个数据处理模块，该一个或多个数据处理模块被配置为分析经由相应的智能家庭设备的传感器接口接收到的传感器数据。

智能家庭系统中的一个或多个智能家庭设备可被配置为各自分析来自它们相应的传感器模块的数据。或者，可将传感器数据传递到系统中的另一设备以供分析。有利地，如果设备各自分析它们自己的传感器数据，则网络负载较小。

每个智能家庭设备还可包括网络通信模块，该网络通信模块被配置为与网络路由器进行通信。数据处理模块中的一个或多个可被配置为通过以下步骤来分析传感器数据：

从传感器数据生成细化数据；

经由网络路由器将细化数据发送到数据分析服务；以及

从数据分析服务接收分析数据。

传送到数据分析服务的细化数据可使用安全通道来匿名、加密或发送。这允许Zuma设备在保护用户的数据的同时利用更强大的功能性。数据分析服务可以是第三方数据分析服务。

网络路由器可以是无线网络路由器(例如802.11WiFi路由器)。与路由器的通信可以是直接的或间接的。例如，如果智能家庭设备不在路由器的范围内，则它可经由智能家庭系统中的另一设备与路由器进行通信，其中另一设备作为中继器或重发器。

或者，数据处理模块能够使用在数据处理模块中执行的代码来分析传感器数据。

一个或多个数据处理模块可被配置为基于经分析的传感器数据生成一个或多个事件。

每个事件可包括以下项中的一个或多个：

标识符；

事件类型；

传感器数据的一部分；

基于经分析的传感器数据的元数据；和/或

指向存储在智能家庭系统中的大容量存储设备中的多媒体数据的指针。

一个或多个事件中的每个事件可在它被生成之后被传递到事件总线上。

系统还可包括数据暂存器。系统可被配置为将一个或多个事件存储在数据暂存器中。

每个事件可包括事件类型。一个或多个事件中的第一事件可具有选自包括以下项的列表的事件类型：

●语音命令；

●玻璃破裂；

●婴儿啼哭；和

●狗吠。

一个或多个智能家庭设备可按层次布置。智能家庭设备中的一个可被指定为层次的顶点(或根或层次)处的家庭控制器单元。

智能家庭设备中的一个或多个可被指定为层次的分支(或分部)的顶点(或根)处的子控制器单元，其中每个子控制器单元位于层次中的家庭控制器单元或另一子控制器单元正下方(是其孩子)。

智能家庭设备中的一个或多个可被指定为从控单元。每个从控单元可位于层次中的子控制器单元或家庭控制器单元正下方(可以为其孩子)。每个从控单元的处理器可包括相应的数据分析框架。

每个从控单元的处理器可被配置为基于由相应的数据分析框架的一个或多个数据处理模块中的数据处理模块生成的第一事件来生成一个或多个动作。

每个子控制器单元的处理器可被配置为基于由其中子控制器单元为顶点的层次的分支(或分部)中的智能家庭设备的处理器的数据分析框架的数据处理模块生成的第二事件来生成一个或多个动作。换句话说，第二事件由子控制器的后代生成。

家庭控制器单元的处理器可被配置为基于由层次中的从控单元的处理器的数据分析框架的数据处理模块生成的第三事件来生成一个或多个动作。

从控单元必须是家庭控制器单元的后代，因为家庭控制器单元是层次的顶点。一设备能够具有不止一个指定。例如，子控制器单元(例如房间控制器单元)也可以是家庭控制器单元的从设备。

每个子控制器单元的处理器可被配置为接收由其中子控制器单元为顶点的层次的分支(或分部)中的智能家庭设备的处理器的数据分析框架的数据处理模块生成的第四事件。换句话说，第四事件由子控制器的后代生成。子控制器单元的处理器还可被配置为将第四事件传送到其在层次中的父(在层次中位于相应的子控制器单元正上方的设备)。父设备将是家庭控制器单元或另一子控制器单元。

家庭控制器单元还可包括网络通信模块，该网络通信模块被配置为与网络路由器进行通信。家庭控制器单元的处理器可被配置为接收由层次中的智能家庭设备的处理器的数据分析框架的数据处理模块生成的第五事件。家庭控制器单元的处理器还可被配置为将第五事件传送到经由网络路由器访问的数据分析服务。家庭控制器单元的处理器还可被配置为接收由数据分析服务基于第五事件生成的一个或多个动作。或者，家庭控制器单元的处理器还可被配置为从数据分析服务接收元数据并且基于所接收到的元数据生成一个或多个动作。

传送到数据分析服务的事件可使用安全通道来匿名、加密或发送。这允许设备在保护用户的数据的同时利用更强大的功能性。数据分析服务可以是第三方数据分析服务。

家庭控制器单元还可被配置为确定第五事件需要迅速响应并且将第五事件迅速地传送到数据分析服务。

家庭控制器单元还可被配置为接收由层次中的智能家庭设备的处理器的数据分析框架的数据处理模块生成的第六事件，确定第六事件不需要迅速响应并且将第六事件存储在数据暂存器中。

家庭控制器单元还可被配置为接收由层次中的智能家庭设备的处理器的数据分析框架的数据处理模块生成的第七事件，其中第六事件和第七事件由家庭控制器单元在不同的时间接收；

将第七事件存储在数据暂存器中；

将一批事件从数据暂存器传送到数据分析服务，该批事件包括第六事件和第七事件。

动作可包括以下项中的一个或多个：

调整一个或多个照明部件的亮度；

调整一个或多个照明部件的色温；

调整一个或多个扩音器的音频重放音量；

调整一个或多个扩音器的音频均衡器设置；

向系统的用户发送电子消息；

向用户组发送电子消息；

在一个或多个扩音器处播放音频消息；

在一个或多个扩音器处播放多媒体数据，其中多媒体数据在智能家庭系统中的大容量存储设备中被存储在由相应的事件中的指针定义的位置处；并且

生成另一事件。

动作可包括以下项中的一个或多个：

可分析一个事件并且结果(代替动作或和动作一样)可生成另一事件。如果执行分析的实体确定事件是原始事件的子事件类型或者实际上与原先报告的事件类型不同，则这可以是有用的。例如，具有音频数据的“语音命令”可由从控单元生成并且发送到房间控制器单元。房间控制器单元可确定音频不对语音命令做出响应，而实际上是狗吠。此房间控制器单元然后可生成狗吠事件并且将此事件发送到家庭控制器单元。

家庭控制器单元可被配置为从用户接收电子消息并且基于所接收到的电子消息生成一个或多个动作。消息可从个别用户发送或者可源自包括家庭控制器和多个用户的组对话。

基于所接收到的电子消息生成一个或多个动作可包括使用机器学习来基于以下项中的一个或多个确定最可能的优选动作：

电子消息的语言内容；

对发送了消息(也能够针对语音命令被确定)的用户的身份的确定；以及

与用户相关联的训练和/或历史数据。

基于事件生成一个或多个动作可包括使用机器学习来基于操作上下文确定最可能的优选动作。可基于历史事件数据确定操作上下文。

生成了动作的处理器可被配置为通过生成控制信号来执行动作以调整相应的智能家庭设备的照明部件和/或扩音器的操作。动作还可使用与设备相关联的其他部件来执行。

生成了动作的处理器可以是子控制器单元或家庭控制器单元的处理器。处理器可被配置为通过生成控制信号来执行动作以调整在层次中从属于生成了动作的子控制器单元或家庭控制器单元的一个或多个智能家庭设备的照明部件和/或扩音器的操作。例如，房间控制器可接收语音命令事件，确定命令是要使灯变暗，并且向房间里的所有照明设备发送控制信号以使它们个别的照明水平变暗。

系统还可包括被配置为对控制信号做出响应的一个或多个第三方设备，其中生成了动作的处理器被配置为通过生成控制信号并且将控制信号发送到一个或多个第三方设备来执行动作。

每个数据分析框架还可包括供应接口。当经由供应接口接收到要更新数据处理模块的指令时，数据分析框架可被配置为：

更新数据处理模块中的一个或多个；

从数据分析框架中移除数据处理模块中的一个或多个。

每个智能家庭设备还可包括网络通信模块，该网络通信模块被配置为与智能家庭系统中的网络路由器和/或另一智能家庭设备的网络通信模块进行通信。一个或多个智能家庭设备中的每一个可被配置为与一个或多个设备中的一个或多个其他设备进行通信，使得设备形成其中每个设备能够(直接或间接)与任何其他设备进行通信的设备的网络。

智能家庭设备可被配置为自我布置以形成网格网络。

每个智能家庭设备的网络通信模块可被配置为经由网络路由器(直接或间接)访问互联网。

一个或多个设备中的一个设备的网络通信模块可被配置为经由一个或多个设备中的另一设备访问互联网。

在本发明的另一实施例中，提供了一种在智能家庭系统中更新智能家庭设备的方法。智能家庭设备包括来自早先描述的零件套件的灯和/或扩音器配件及传感器模块。传感器模块耦合到灯和/或扩音器配件。灯和/或扩音器配件的处理器还包括数据分析框架，该数据分析框架包括一个或多个数据处理模块，该一个或多个数据处理模块被配置为分析来自相应的传感器模块的传感器数据。数据分析框架还包括供应接口。该方法包括在处理器处，经由供应接口接收要更新数据处理模块的指令。该方法还包括，响应于接收到要更新数据处理模块的指令：

更新数据处理模块中的一个或多个；

从数据分析框架中移除数据处理模块中的一个或多个。

该方法还可包括(由系统的用户)将传感器模块与灯和/或扩音器配件解耦。该方法还可包括(由系统的用户)将替换传感器模块耦合到灯和/或扩音器配件。该方法还可包括(由替换传感器模块)从替换传感器模块向灯和/或扩音器配件发送标识符。该方法还可包括(由灯和/或扩音器配件的处理器)基于标识符确定与替换传感器模块中的一个或多个传感器有关的信息。该方法还可包括(由灯和/或扩音器配件的处理器上的数据分析框架)基于与一个或多个传感器有关的信息经由供应接口请求要更新数据处理模块的指令。

根据本发明的另一实施例，提供了一种包括一个或多个设备的智能家庭系统。每个设备包括传感器接口。传感器接口被布置为从一个或多个传感器接收传感器数据。该系统还包括控制器，该控制器包括被布置为接收并分析传感器数据的一个或多个数据处理模块。

数据处理模块可基于经分析的传感器数据生成事件。控制器可基于事件执行动作。控制器可以是一个或多个设备中的一个设备的一部分。智能家庭系统还可包括供应接口，使得响应于传感器的可用性和用户偏好，能够更新侦听器并且能够添加/移除新侦听器。每个设备可包括以下项中的一个或多个：

●照明部件；

●扩音器部件；和

●一个或多个感测部件。

系统还可包括供应接口。当经由供应接口接收到要更新数据处理模块的指令时，系统可被布置为：更新数据处理模块中的一个或多个；和/或向一个或多个数据处理模块添加一个或多个附加数据处理模块。

Zuma系统提供一种框架，该框架允许向系统添加新传感器，而无需修改现有框架。这些传感器能够通过交换Zuma系统中的照明和/或扬声器设备周围的装饰边框来添加。

由Zuma系统提供的框架也允许向系统添加软件模块。这些在一些实施例中可能是第三方软件模块。这些模块分析传感器数据并且基于由传感器收集的原始数据给智能家庭系统提供感知。

传感器和传感器处理及动态可配置系统的添加提供了优势。Zuma“智能边框”系统提供用于将来自各种传感器的大量连续原始传感器数据转换成系统能够对其起作用的事件的框架。这由可以为第三方模块的各种数据处理模块(或“侦听器”)执行。用户的数据是通过在必要时仅将数据发送到云、使用安全隧道来这样做和/或匿名数据来保持安全的。使得Zuma系统能够以这种方式操作的特征是：

●包括许多传感器的智能边框

●能够通过替换边框容易地将传感器添加到系统或从系统中移除

●传感器连续地生成被发送到Zuma的原始传感器数据

●创建强大集成的硬件和软件的组合

●Zuma SDK，其包括

○连续地处理原始数据并且生成能够对其起作用的事件数据的许多应用(“侦听器”)

○供应接口，使得响应于传感器的可用性和用户偏好，能够更新侦听器并且能够添加/移除新侦听器

在此框架之上，许多附加特征增强系统的功能性：

●本地安全网络允许Zuma设备彼此共享信息

●与Zuma云的安全接口允许Zuma设备在保护用户的数据的同时利用更强大的功能性

●群组聊天特征允许用户和系统自然地交互

●能够利用机器学习来

○标识用户并且以个人起反应

○取决于上下文线索而在不同的模式下操作

挑战是相对于数据和时间同步以及跨硬件和云同步的统一事件总线实现并支持两层硬件和云系统。家庭信号处理变成跨天花板位于多个位置中的扬声器和灯的集成是独特情形。实现能够在安全且灵活的数据记录和事件/动作框架下灵活配置的系统将解锁并提供优于更固定的系统实施方案的商业优势。

条款：

1.一种智能家庭系统，所述智能家庭系统包括：

一个或多个设备

每个设备包括传感器接口，其中所述传感器接口被布置为从一个或多个传感器接收传感器数据

控制器，所述控制器包括被配置为接收并分析所述传感器数据的一个或多个数据处理模块。

2.根据条款1所述的智能家庭系统，其中所述一个或多个数据处理模块被配置为基于所述分析的传感器数据生成事件。

3.根据条款1或条款2所述的智能家庭系统，其中所述控制器被配置为基于所述事件执行动作。

4.根据任一前述条款所述的智能家庭系统，其中所述控制器是所述一个或多个设备中的一个设备的一部分。

5.根据任一前述条款所述的智能家庭系统，还包括供应接口，其中当经由所述供应接口接收到要更新所述数据处理模块的指令时，所述系统被布置为：

更新所述数据处理模块中的一个或多个；和/或

向所述一个或多个数据处理模块添加一个或多个附加数据处理模块。

附图说明

本发明可以许多方式付诸实践，并且现在将参考以下附图描述一些特定实施例。

图1是智能家庭设备的图，示出了该设备的一些功能性。

图2是设备跨多个房间散布的智能家庭系统的示意图。

图3A和图3B是示出了包括一个或两个智能家庭设备的智能家庭系统的简单实施例的示意图。

图4示出了安装在天花板中的智能家庭设备的后等距视图。

图5示出了安装在天花板中的智能家庭设备的前等距视图。

图6A和图6B示出了具有圆形和方形边框的智能家庭设备的前等距视图。

图7示出了移除边框的智能家庭设备的前等距视图。

图8示出了智能家庭设备的截面视图。

图9示出了智能家庭设备的硬件框图。

图10示出了智能家庭系统和云服务平台的软件示意图。

图11示出了云服务平台的网络配置图。

图12示出了灯开关和智能开关如何可被集成在智能家庭系统中。

图13A示出了智能家庭设备的示意系统图。

图13B示出了另一智能家庭设备的示意系统图。

图14A示出了用于智能家庭系统的云服务的软件架构框图。图14B示出了智能家庭设备的软件架构框图。

图15示出了智能家庭系统和云服务的软件框图。

图16示出了主智能家庭设备和卫星智能家庭设备的示意硬件图。

图17示出了另一主智能家庭设备的示意硬件图。

图18A和图18B示出了包括传感器模块及灯和/或扩音器配件的智能家庭设备的等距视图，其中传感器模块未耦合到灯和/或扩音器配件。

具体实施方式

现在将通过实施例描述许多特定实施例。

能够用于分析传感器数据的软件模块的一个实施例是音频分析(音频处理)模块。可使用第三方音频处理模块。

对于其他类型的传感器，能够安装许多不同的数据处理模块。

可在包括传感器的设备(例如照明设备和/或音频设备)处分析数据。或者，可将数据发送到智能家庭系统中的房间控制器单元或家庭控制器单元。然后能够在智能家庭系统的层次中的任何级别下执行传感器数据的分析。

基于数据分析，可创建动作以供智能家庭系统执行。或者，智能家庭系统可基于对传感器数据的分析来向用户通知某些事件。

可随时更新使得系统能够分析数据的软件模块。Zuma系统允许向数据处理模块(例如个人设备、房间控制器、家庭控制器等)提供更新。此外，能够向系统添加新数据处理模块。以这种方式更新系统的能力而无需安装新硬件的能力提供灵活的系统。

更新可由用户发起(例如，向系统添加新功能性)，可由Zuma系统的提供者发起(例如以提供安全性更新)和/或可由数据分析模块的提供者发起以更新这些模块的性能。

智能边框

凹入式照明器具通常具有边框，该边框用于为特定照明器具样式创建独特的美学外观并且覆盖照明器具的通用功能部分以及已在天花板中切割以装配凹入式照明器具的孔。安装边框的“完成”步骤能够在照明器具已安装并且由建筑检查员批准之后进行。

在Zuma的情况下，我们目的旨在将各式各样的特征集成到凹入式照明器具的形状因数中。由于许多原因，能够在已将Zuma的凹入式部分永久地安装到天花板中之后选择性地添加特征将是方便且有帮助的。

●通过将对每一单元不必要的特征移动到边框中来管理总体商品成本和我们的最终客户成本。例如

○传感器(例如烟雾/火灾、相机、IR相机、麦克风和麦克风阵列)。

○附加照明(例如用于高输出6”美国凹入式固定装置的灯环)

○服务连接器(例如到Zuma控制单元的以太网或USB连接器。用于在服务呼叫期间访问，使得不必从天花板中移除Zuma单元)

○智能家庭模块(例如不为当前Zuma系统的一部分的Zigbee或其他智能家庭模块)。

●我们不知道确实类似的任何系统。在市场中存在天花板安装的智能传感器和系统，但是这些不作为照明器具或凹入式单元的边框的一部分实现。

●智能边框解决(对Zuma功能而言)独特且定位的解决方案以解决上述目标。

●智能边框的关键特征：

○附接到凹入式Zuma单元的前法兰。能够以各种方式实现这种附接。我们当前正在使用磁体。

○将Zuma控制电子设备连接到智能边框电子设备的连接器。

■给智能边框电子设备的电力(足以驱动LED的电力)。

■给智能边框的控制信号

■往返于智能边框和Zuma控制单元的数据信号。

○在典型解决方案当中，USB(v1、v2、v3)将带来优势。我们能够对于在USB标准之上构建的相机、麦克风、以太网、IoT等利用物品解决方案。

○在Zuma扬声器组件的一些构造中，需要将信号电缆从智能边框蔓延到扬声器组件外壳的后部并且在一些情况下通过机柜的后部向外蔓延到单独的控制PCB组件。此信号路径的长度易受到EMI噪声注入影响并且对EMC提出潜在挑战。智能扬声器组件的一个实施方式是使用USB作为来自智能边框的数据的数据传输。标准USB硬件实施方案解决EMI和EMC的问题并且将数据传输布线压缩到仅几条电线。

●即插即用配置。边框中的独特标识符会将边框的功能传送到Zuma控制器，并且此信息将允许系统自动地配置它本身以使用智能边框的功能。

●智能边框是随着时间的推移而且具体地为了Zuma的可由与客户一起工作产生的独特安装(例如Zuma需要适配以适用于现有医院厂房/IT设备的医院中的安装)而向Zuma系统添加新功能的灵活方式。由于安装和供应/定制后安装的灵活性和解耦，智能边框很可能给予商业优势。

“智能边框”图的关键特征：

○可变厚度的边框能够容纳各式各样的内部组件和电子设备。

○来自照明器具的光和声音能够通过智能边框

○能够将传感器隐藏在边框锥体上的网格后面以从视图中隐蔽传感器。

○在适当的情况下，能够将传感器和LED隐蔽在边框中选择性地变薄的塑料后面以从视线中隐藏它们。

○连接器和对准特征方便智能边框电子设备与Zuma控制电子设备之间的信号通路。

○能够以方便低外形边框的方式实现智能边框连接器。此连接器的一个面可以是PCB上的触点并且配合连接器可以是低外形弹簧触针。

○边框和Zuma设备上的对应连接器是为信号通路而提供的。多个对应成对的连接器可被对称地安装在边框/Zuma设备周围。边框上的连接器中的每一个可以是相同的，如Zuma设备上(例如柔性电缆组件上)的对应连接器可以是相同的一样。这能够用于简化前边框的安装，使得不必选择边框的单个旋转定向。

○到Zuma电子设备的信号通路(经由柔性电路)以与照明和高音喇叭信号类似的方式传递

特定实施方式

Zuma介绍

Zuma是被设计来为生活环境带来优质光照和娱乐体验的灯和音频产品。Zuma经久耐用，从而通过自然地装配到天花板空间中创建真实气氛。这与诸如语音助理、传感器和连接性的附加特征组合，实现简单且精致的独特体验。

Zuma是被设计来由持证电工容易地安装、被设计来优雅地内置和隐藏多个智能家庭器具的凹入式照明固定装置。一旦被安装，Zuma是具有与现有智能家庭控件集成在一起或者独立作为智能家庭集线器的集成语音控制(Alexa、Google Home等)的高保真多扬声器音频系统。从其在天花板中的有利位置看，Zuma能够容易地感测房间内的人们，并且这些连同其他传感器信号一起能够被翻译为家庭自动化的软件应用，并且在将来为安全性、能源管理和健康远程呈现。

市场格局

●用户体验和集成跨语音控制的智能扬声器、智能扬声器(具有媒体流)、智能家庭控件(照明、开关、传感器)和智能家庭集线器的现有产品类别差。

●设置困难且全域混乱

●大多数集成解决方案无法无缝地一起工作

●难以在购买时知道设备是否或如何将与你的现有系统一起工作

●功能性或其缺乏常常令用户困惑

●有良好的音频解决方案但没有伟大的音频解决方案

●有良好的照明解决方案但没有伟大的照明解决方案

●因为技术和战略格局瞬息万变，所以难以弄清楚任何个别解决方案将如何与其他智能家庭设备和平台集成在一起

●变化发生得如此之快，以致于许多购买在没有升级或新设备的情况下在其使用寿命结束之前变得过时

市场要求

差异化

Zuma组合来自多个智能家庭类别的特征并且将它们全部组合在漂亮、高设计、平装天花板固定装置的简单套件中。Zuma与语音控制的智能扬声器(具有媒体流)和智能家庭控件(照明、开关、传感器和集线器)集成在一起。

Zuma强调用户体验简单，同时偏爱较少更好地执行的特征。这导致产品更易于理解、安装和使用，并且从具有几个Zuma单元的简单安装到具有多个房间和每房间多个Zuma单元的复杂定制安装都有意义。Zuma与现有产品有区别：

●具有语音和应用控制的最高质量的集成照明和音频。

●消失到现有照明固定装置中，从而消除房间中和天花板上难看的杂物

●具有获奖高设计、国际认可的行业领先的用户体验。

●简化智能家庭系统的安装和认知负载

●面向未来的家庭基础设施：以消费者电子设备格式递送的平台。

●与将来的真正智能家庭的愿景对准的可扩展传感器平台。

●能够由电工安装。“它只是灯固定装置”

●比竞争智能家庭设备低的“总拥有成本”(TCO)

许多功能伪装为GU10灯具(作为替换或新安装)

●隐形声音

○隐藏在灯固定装置后面的高保真多扬声器声音输出。

■光

○优质高设计/架构样子，支持居住者的健康和福祉、商业级性能、高CRI、可变色温照明。

●语音控制(Alexa)

○媒体重放

○语音控制的计算

○电话

○对讲

●媒体播放器/流式传输器

○来自任何Apple或Android应用的高比特率音频能够通过WiFi播放

○独立高比特率媒体流，诸如Spotify connect和Tidal

●麦克风

○远场麦克风阵列实现语音控制、对讲和电话

○麦克风阵列和数字信号处理实现事件检测(例如对于本地处理，软件能从AudioAnalytics或类似机构获得许可)。麦克风阵列能够进行智能声音感测(深度学习触发)和高性能音频信号处理。

●传感器

○温度传感器—例如用于检测房间里的表面上的热的IR

○湿度传感器

○火灾、烟雾和煤气传感器

○运动(例如IR)—全局—用于检测房间里的移动

○声音传感器

○视频或静止相机：

○透镜—用于覆盖整个房间或聚焦在特定位置上的鱼眼

○本地图像处理能够使用模式识别发送事件来检测事件

○能够将图像和视频发送到控制系统以进行存储和重传到云数据库

○用于检测房间里的热图的FLIR相机传感器

■热电堆、热电堆阵列(FLIR)、其他待定

○活动的类型和事件在房间里的位置。

○人们和宠物传感器(区分)

○Zigbee和/或其他IoT或安全性连接无线电

高质量音频

●比现今认为最好的体验显著且更好的高质量音频体验。

○Apple Homepod

○Sonos

○Alexa

○Harmon Kardon

○Bose

○等。

●将赢得高端音频媒体年度产品奖

○绝对声音

○什么Hi-Fi

○等。

●语音控制

○Alexa或Google home类的语音控制

●应用控制

○播放所有iOS和Android音频源以及像Spotify一样的领先流服务。

○成熟的DSP利用天花板上的扬声器和麦克风阵列

○采样级高比特率音频传送允许每个灯配件中的DSP跨房间同步

○利用麦克风的阵列配置的DSP房间表征允许实现各种音频效果，包括：声音聚焦

○用于媒体重放的环绕声

高质量照明

●高质量光

○明亮、高CRI、无闪烁

●色温

○对于心情和健康可调

●控制

○适用于现有开关

○适用于智能开关

●自适应/个人

○通过应用或语音命令对灯进行定向控制(任务照明、阅读灯等)

●复杂场景

○针对场景为单个组内的灯设置不同的颜色(在Hue/Alexa、Homekit情况下不可能)

●新照明体验

○光能够与媒体和传感器交互以递送有趣的新多媒体体验

●家庭安全性

○光序列能够模拟人们在家的样子或者使房屋里的所有灯闪烁作为警报的一部分。

●价值和性能

○足够好以被专业人士认可的高质量照明并且消费者仍然通过利用LED照明行业中的进步认可并递送巨大价值

硬件平台(不只是产品，而是将这个安装到你家中的强迫原因)

●面向未来能够在家庭基础设施时间尺度上适应新技术和变化要求。

●语音控制选项(不局限于一个供应商)

○盒战略能够适用于所有流行的智能家庭生态系统并且能够支持Zuma品牌的智能家庭生态系统。

●可扩展传感器平台

○用于新/更好的应用和服务

●本地感测/处理资源。

○数字信号处理、本地深度学习/AI

●嵌入在天花板中

○不占用家庭内另外有用的空间

●隐形供电

○不需要电源软线或插座。

○用于检测USB本地电源的电源管理。

●集成到单个封装中的传感器和输出(声音和光)

○高设计，没有添加“东西”(混乱)以实现各式各样的智能家庭功能性

●消除混乱

○用添加的功能性(可编程定向照明)满足商业和住宅照明的最高EU标准

软件应用平台(针对伙伴的强迫特征和战略价值)

●消费者和商业应用

○经由软件更新或经由应用商店添加的新消费者特征和功能

○经由伙伴的商业应用，诸如家庭能源管理、医疗保健和安全性、消费者数据。

●能够存在于任何智能家庭生态系统中。能够控制并且由平台(Alexa、GoogleHome等)控制而且能够控制“哑”智能家庭设备(Hue灯、August锁、Nest、Ring等)

消费者(Apple Homekit、Samsung Smart Things)、CEDIA(Control4)

○适用于现有智能家庭平台和设备

●家庭安全性

○嵌入式传感器阵列能够检测家庭入侵、烟雾/火灾和其他异常

●家庭健康监视

○嵌入式传感器阵列能够检测家庭器具失灵(麦克风/冰箱压缩机故障、龙头漏水、湿度/泄漏等)

●老年人保健/就地养老

○监视移动和日常活动，例如进出、看护人员访问、睡眠长度、冰箱打开(吃)、浴室使用、跌倒、呼救等

●基于来自传感器阵列的鲁棒数据集的应用

○增强上面提及的应用，与谷歌等人合伙，并且创建新的(未确定但不令人毛骨悚然的)应用。

○针对设备上的神经网络运行器的计算。

一种设计解决多种用户需要

●消费者

○强迫智能家庭优惠、面向未来的基础设施

○支持DIY的安装。进入门槛低。

○可扩展。尝试然后添加成本低。

○应用实现通往将来激动人心的旅程。

○实现对远程家庭成员交互的支持。

●不动产开发商

○新销售特征，低成本安装避免定制安装成本，因为它仅能够由电工安装

●电工

○像灯一样安装和测试，无添加成熟特征的工作，添加消费者能够自行启用的许多特征

●CEDIA安装程序

○适用于Apple Homekit和control 4，安装且设置非常简单。

●伙伴

○可扩展硬件和软件平台允许实现各式各样快速定制。

○无源人们传感器递送高质量数据。

○本地处理和媒体能力支持高接触定制。

软件

●集成灯、声音、传感器以装配到小型灯固定装置中

○高音喇叭/驱动程序配置

○散热

○LED配置

○麦克风配置

○传感器配置

●语音盒

○启用同时多个语音控制功能

●远程温度感测

○基于PIR的远程温度感测

●灯开关

○使用现有常规的灯开关来启用智能功能

○更新

○对USB上的固件进行空中更新。

○加密/安全固件更新安装和配置。

○设备上的动态传感器驱动程序安装/更新

○加密/安全驱动程序安装和配置。

Zuma营销要求

Zuma被设计来作为与最初限于凹入式照明应用的现有智能家庭音频(Sonos)和照明解决方案(Hue)的基本功能性匹配的独立智能家庭音频和照明解决方案来操作。它也将充当利用所有那些能力的Alexa和/或Google Home生态系统内的智能家庭设备。另外，它支持来自移动设备的音频流。

高保真音频

●全范围高保真驱动器

○具有分频器的中高频驱动器

●高保真数字音频

○全数字音频路径：无损、高比特率，同时在最后级中经由数字(D类)高性能功率放大器发生数模转换。

●无线

○无线音频流，不需要定制布线

●多扬声器

○每个房间有多个扩音器

●声音调谐

○用数字信号处理增强音频的房间感测和自动声音调谐

音频内容

●Multi-room Zuma

○全屋音频的同步重放

●Multi-room(w/Sonos等人)

○具有支持传统和新WiFi的扬声器(尤其是Sonos)的全屋音频的同步重放

●支持音乐、广播、播客、有声读物等的流行服务

○包括Spotify、Tidal、IHeartRadio、TuneIn、Deezer、Audible、Saavn、Qobuz

●设备到Zuma流

○经由Airplay和Chromecast通过电话和PC应用来支持其他媒体播放器源

其他音频功能

●电话

○经由Zuma拨打和接听电话

●对讲

○呼叫安装有Zuma的其他房间或房间组，包括像“请勿打扰”一样的隐私特征

照明

●可调色温

○将白光从暖色温调整为冷色温。

○智能边框可包括照明颜色传感器以经由调整暖冷LED照明输出通道的混合来方便房间照明色温的反馈控制

●第三方智能家庭兼容性

○对现有智能家庭灯、开关和控制器：例如Wink、SmartThings、Control4的支持和低摩擦集成

语音控制

●与现有语音控制平台集成

○Amazon Alexa首先具有添加或用Google Home替换的规定。经由Airplay 2支持Apple Siri(当可从Apple获得时)

传感器

●感测占用、运动、室温、照明色温、声音、光水平

○实现自动化和响应性+安全性和能源管理功能

■用户体验

●Zuma体验

○用于设置和控制所有Zuma设备和功能的Zuma应用

●设置

○超容易的设置(例如HomeKit使用Q码来配置设备)

●多用户

○支持每居住者的定制场景和行为

●来宾

○支持来宾使用Zuma特征(例如从来宾的移动设备流式传输音乐)

●数据安全性和隐私

○同类最好的数据安全性和隐私保护

Zuma应用

●作为用于Zuma的独立控制器可行

○同类最好的设置、控制和监视UI

●账户管理

○登录/登出、设置、链接、分组、访问特权、状态

●音频

○设置音频R/L、EQ音量等、流式传输、自动化功能

●照明

○开/关、调光、颜色和场景

●自动化

○定时器和类似IFTTT的功能性

●通知

○基于活动和传感器输出的系统状态和可配置触发器

●远程控制

集成

●使得能够由现有平台控制Zuma功能

○Alexa、Google Home、Apple Homekit、Samsung SmartThings、Control4

安装

●新安装

○GU10凹入式天花板固定装置(欧洲)

○凹入式天花板固定装置(美国)

●改装

○GU10凹入式天花板固定装置(欧洲)

○4”和6”凹入式天花板固定装置(美国)

Zuma是集成到与标准GU10凹入式固定装置相同的形状因数中的多功能智能家庭设备。图1图示了Zuma系统的功能中的一些。

Zuma智能天花板系统100提供集成的灯、声音、安全性和语音。

像灯102一样安装。使用连接到你的现有灯开关的现有市电电源照明布线。

紧凑尺寸104。高偏移驱动器和高效功率放大在小封装中递送高音量音频。

传感器106。专门的PIR传感器检测人们存在和图运动两者，但是也用于测量远离天花板的室温。

HiFi无线音频108。针对信号的可靠性和质量优化的多通道高比特率数字音频。利用与WiFi分开的无线电通道。

数字信号处理110。每个单元中的数字信号处理与感测麦克风组合以调谐房间的音频性能。

语音和应用控制112。Alexa语音命令播放音频内容并且控制灯。媒体流功能允许经由电话应用控制。

远场麦克风阵列114。隐藏多麦克风阵列和数字信号处理自动地跟踪你的语音。

可变色温116。高效率、高CRI LED阵列是精细可调的以递送一系列色温。

边框可包括照明颜色传感器以经由调整暖冷LED照明输出通道的混合来方便房间照明色温的反馈控制。

D类放大118。具有数字分频器的高效放大在扩音器处递送完美音频到模数转换。

配置

多个Zuma单元通常被组合在一起以在一个房间里形成单个Zuma系统(参见图2)。

●除了被称作主控的一个单元之外，所有Zuma单元在Zuma系统中都相同。

●主控由安装有Zuma Brain Cartridge的Zuma单元组成。

●Zuma Brain Cartridge增加系统的智能以及与WAN和云服务的Wi-Fi连接。

●Wi-Fi连接也用于允许多个Zuma系统在Multi-room场景中彼此连接。

●主控单元经由Kleernet Wireless Audio向卫星传送无线音频

●主控单元经由Kleernet无线信号传送和接收信号以控制灯和其他功能并且以测量卫星上的传感器。

图2图示了示出房屋里的多个Zuma系统(房间)的实施例部署。

●Kleernet Audio RF传输在系统中的所有单元之间保证音频信号的毫秒级时延。这经由通过多播和缓冲实现。主控单元引入延迟以维持音频信号与卫星的同步。

●每系统能够有至多12倍(Audivo将18倍提及为最大值？)Zuma单元

●对于需要更多单元的房间，能够安装多个系统。然而，与Multi-room场景一样，在每个房间里的多个系统之间将存在毫秒级时延，并且将需要在单个房间中安装期间考虑和优化这个。

●Wi-Fi拓扑将确定安装中的系统(房间)的最大数量

图3图示了简单Zuma系统的实施例。

多个房间《Stream Unlimited/Audivo》

跨多个房间的同步音频重放依靠Zuma主控经由Wi-Fi与其他Zuma主控的连接。

●房间之间的时延由Wi-Fi性能确定并且是大约5ms到20ms。

●Zuma系统依靠Stream Unlimited的“Multi-room”的实施方案。

●虽然此特征是Alexa功能性的一部分，但是每个第三方Alexa实施方案依靠模块专有实施方案。这实现“分组”特征。仅相似的系统能够被一起分组和播放。

操作

语音控制<Stream Unlimited/Audio>

语音特征是经由第三方解决方案提供的。第一候选人是Amazon Alexa。Amazon的第三方Alexa团队声称正在努力实现与Amazon Alexa同等的特征。然而截至目前，在第三方Alexa与主要Alexa产品之间存在滞后：

●Alexa电话不可用。

●Alexa对讲(“Drop-in”)不可用。

●未与用于Multi-room或整个家庭音乐的第三方扬声器系统集成

●无法与Sonos很好地播放(当用户对任何回声设备说话时使所有房间里的所有Sonos设备静音)

应用控制《Stream Unlimited/Audivo》

与语音控制功能性分开的媒体播放器功能性是Stream Unlimited/Audivo媒体播放器系统的一部分。此系统由Apple iOS或Google Android电话应用控制。这些应用将针对每个电话平台进行定制并且与Zuma应用集成在一起。要在Zuma中支持的媒体播放器特征：

来自电话或PC上的应用的音频输出

iOS—Apple Airplay将用于路由来自iOS设备上的任何应用的音频输出。N个通知和来电呼叫将中断音频重放

Android—Google Chromecast将用于路由来自Android设备上的任何应用的音频输出。通知和来电呼叫将中断音频重放。

蓝牙—iOS和Android两者以及其他蓝牙音频源能够经由蓝牙连接到Zuma。音频质量限于蓝牙比特率。通知和来电呼叫将中断音频重放

MacOS—Apple Airplay将用于路由来自MacOS设备上的任何应用的音频输出。通知和其他应用音频将中断音频重放。Google Chromecast也应该工作但是将不推荐。

Windows—Google Chromecast将用于路由来自Windows上的任何应用的音频输出。通知和其他应用音频将中断音频重放。

灯控制

Apple Homekit—在iOS上将可以经由使用Apple Homekit作为其平台的Zuma UI来配置灯和其他IoT控件。Homekit经由SmartThings Home Hub支持SmartThings设备。当与支持Homekit Home Hub的Apple设备结合地使用时，即使配置的电话不在驻地或关闭了，在应用中经由Homekit配置的家庭控制也将持续存在。

Samsung SmartThings—在Android上将可以经由使用Samsung SmartThings平台的Zuma UI来控制灯和其他IoT控件。

用于Samsung SmartThings的Zuma UI将在功能上等同于用于Apple homekit的Zuma UI。

安装教程

应用将包括用于安装单元的逐步视频教程。这将被测试适用于80％的潜在DIY用户受众。

设置

应用将引导用户完成设置：

●Zuma用户ID注册或登录

●系统的蓝牙LE配对以方便容易的Wi-fi设置

●Wi-fi(启用Airplay、Chromecast)

●用于音频的蓝牙配对

●登入以进行Alexa和Spotify Connect

产品配置

Zuma灯、声音和传感器

●Zuma头单元

○这是被安装到天花板上每个位置中的主要Zuma单元

●控制和电源模块

○这是连接到市电灯电路并且然后给Zuma头单元供电的主要Zuma单元。基本电源模块包含LED驱动器、音频放大器、Kleernet Audio RF接收器和数字信号处理(DSP)

●Zuma语音盒(每房间1个)

○语音盒是用于Zuma系统的大脑，其插入到控制和电源模块中从而将Zuma头单元转换成用于房间的主控控制单元。语音盒为Zuma启用语音和媒体流服务两者并且是系统起作用所需要的。

●安装套件

○安装套件创建用于保持Zuma头单元及控制和电源模块的快速安装固定装置。安装套件穿过在天花板中切的粗糙开口装配并且使用棘轮紧固件夹紧到位。一旦被安装，控制和电源模块就连接到市电灯电路，然后通过孔向上推并且在作为安装套件的一部分的支架上卡入到位。声音和数据电缆通过孔拉出。这些附接到Zuma头单元。然后将Zuma头单元插入到孔中并且使卡口安装件旋转到锁定位置中。

●新安装安装套件

○对于新安装，安装套件被修改有可调支架，其在将天花板石膏板放置到位之前将Zuma头单元及控制和电源模块保持在托梁之间的适当位置中。

Zuma灯和传感器

●头单元

●控制和电源模块

●Apple Homekit适配器盒

●任选的传感器扩展盒

○相机传感器模块

○生命安全传感器模块

○家庭集线器模块

○WiFi扩展模块

机械设计

图4图示了安装在天花板中的实施例Zuma设备(后视图)。Zuma头单元406用安装套件(卡口)404安装在天花板石膏402中。控制和电源模块410包括用于盒/模块的插槽408。这些可包括：1)语音、2)远场、3)DSP、4)传感器、5)LED/放大器、6)电源/电池。

图5图示了安装在天花板中的实施例Zuma设备(前视图)。高频声音从定位在灯504径向内侧的高音喇叭502发出。来自扩音器的低频声音离开设备506。该设备包括具有传感器508的方形边框。

图6图示了用于Zuma设备的两个实施例边框—圆形和方形边框。

图7图示了没有边框的Zuma设备。该设备包括传感器-边框连接器垫702、2个Kleernet天线704、DSP麦克风706、4个磁体(边框安装件)708、高音喇叭喇叭710、LED 712、中范围驱动器714、2个Wi-Fi天线716、4个远场麦克风718、4通道非色散红外(NDIR)传感器720和高音喇叭722。

图8示出了Zuma设备的横截面视图。该设备包括信号连接器802、高速感测花线804、PCB 806、密封载体808、LF管810、LF磁体812、LF线圈814、悬架816、防尘帽818、前边框820、前框架822、滚动围绕物824、前格栅826、载波高音喇叭/LED 828、LED透镜830、LED832、高音喇叭834、LF锥体836、麦克风/感测花线838、高音喇叭/LED花线840以及HF和LF连接器842。

特征

高保真音频：

●全范围高保真驱动器

○具有数字分频器的中高频驱动器。每通道75瓦D类放大器。

●高保真数字音频

●无线

○无线音频流，不需要定制布线。在同一房间里的Zuma单元之间使用无线音频意味着在单元之间无需定制布线。Zuma设备能够简单地连接到在每个灯固定装置处可用的市电电源(在针对新建筑的布线期间安装或在改装的情况下预先存在)。

●声音调谐

○用来自Audivo的数字信号处理增强音频的房间感测和自动声音调谐

●Multi-room(Zuma)

○使用WiFi Alliance TimeSync协议或专有解决方案同步整个家庭音频的重放

●Multi-room(Sonos等人)

○使用Airplay(需要测试)或来自Amazon/Google的新能力或与Sonos和其他第三方扬声器的直接集成

音频内容：

●支持用于音乐、广播、播客、有声读物等的流行服务

○由SUE/Audivo或Amazon/Google/Apple集成支持。通过Zuma应用链接到系统或从现有智能家庭应用(Spotify、Tidal、Deezer等)追溯的服务账户

●Sonos集成

○经由Sonos 1的Alexa Sonos集成

●Sonos集成/Alexa设置

○在没有Alexa Sonos 1的情况下—使用Zuma TV/HiFi传送器来将模拟音频馈送到Sonos系统辅助输入端中。然后向由Sonos应用所指定的那样将这个广播到Sonos。

○来自iOS或Android Zuma应用的蓝牙与主控进行通信并且完成“软”按钮按压以进行Alexa应用配对…(这需要仔细考虑使得它不会因摩擦而吸入)

其他音频功能：

●电话

○经由Zuma扬声器用语音命令发起、终止和管理呼叫。当前不支持第三方Amazon或Google设备。用Twillio实现。

●对讲

○呼叫其他Zuma单元并且经由Zuma扬声器用语音命令管理与对讲有关的隐私特征。当前不支持第三方Amazon或Google设备。用Twillio实现。

语音：

●Zuma Alexa技能设置

○用户在iOS和Android上使用Alexa应用来设置Zuma技能

●ZumaAlexa技能设置/Alexa

○Zuma系统自动地配置Alexa使得Zuma技能被打开(这可能吗？问Amazon)

○在应用中或通过语音设置的Alexa特征可经由iOS和Android电话应用并通过语音命令访问。

●在没有Alexa的情况下

○iOS应用—设置场景(在房间内)和组(房间组)

灯：

●标准功能

○经由Alexa/Google/Apple集成使用语音命令和技能的开/关、调光、定时器、颜色设置、分组、场景设置、适应存在、一天的时间等

○经由Zuma的语音命令

●可调色温

○设置对于场景内的个别灯可具有不同的颜色设置的场景(但是Hue和Alexa不支持这个)

●自适应照明

○基于在房间里收集的传感器数据改变场景(如果有人独自坐在其阅读椅中则为“阅读”照明)

●定向可调照明

○用于将灯作为场景的一部分和/或自适应地聚焦或瞄准的能力

●第三方灯

○经由Alexa/Google/Apple集成按第三方灯而分组并创建场景

●Zuma开关(同样参见开关选项的框图)

○适用于现有灯开关。单元检测电源何时关。当电源关闭或者电源发生故障时，单元检测状况并且切换到备用电池。语音UI传送状况，然后优雅地关闭灯和音响。运动侦测将打开安全照明并且经由语音提示用户打开灯开关。如果现有开关具有调光器，则必须用开关开关替换它。适用于多开关电路。

○经由家庭集线器适用于第三方智能开关远程。

○Zuma智能开关模块安装在现有灯开关盒中并且将现有开关变换成与家庭集线器兼容的智能开关。

与现有语音控制平台和家庭控制集线器的集成：

●所有支持的Zuma功能性

○向Alexa、Google Home、HomeKit、Control 4、SmartThings传播往返于Zuma设置的场景及分组元数据和状态。为所有语音控制平台上的所有Zuma功能创建语音激活的“技能”

多用户/来宾特征：

●Spotify连接/Airplay

○如果用户不在房间里而其他人在房间里，则在没有许可的情况下不让Spotify控制该房间里的设备。可能无法与Spotify交谈

○如果在同一网络上，则Airplay让任何人接管。(验证)

●Chromecast

○如果在同一网络上，则Android让任何人接管。(验证)

●Alexa Spotify连接账户切换

○电话上的Spotify连接

●Alexa Spotify连接账户切换/开箱即用(套件)

○Alexa上的Spotify连接

○在工厂中放入同箱套件的所有Zuma单元都预配对，所以无需配对。否则能够从应用完成配对。

Zuma设置：

●Zuma开关

○同箱套件中的Zuma开关预配对，否则能够在应用中使它配对。

●哑开关

○只有当电池电源就位时才工作。不需要配对。

●附加Zuma单元

○经由盖中的小孔按压按钮，并且灯闪烁指示准备好配对。使用应用来在主控上按压按钮。(用Audivo验证序列以指定此特征)

●首次将主控连接到网络

○主控单元中的低功率蓝牙(BTLE)信标与应用中的设置对话并且驱动Wi-Fi连接，而不必切换Wi-Fi网络

●首次将主控连接到网络/安全性应用

○标准Wi-Fi切换设置UI。

○使用PIR传感器和第三方家庭集线器安全性来提供集成解决方案

附加Zuma服务：

●Wi-Fi网格联网

○添加WiFi网络联网作为盒

●视频监视

○对于多个应用(如下)作为分开的SKU、集成的第三方设备或者作为Zuma凹入式扬声器/照明固定装置中包含的Zuma传感器阵列的一部分

●安全性应用

○家庭安全性(需要在家庭中广泛部署Zuma并且可能需要附加传感器和/或SKU)

●能源管理应用

○用于测量地板的PIR传感器。将此信息与温度传感器数据和其他数据集成以控制恒温器

●老年人护理应用

○监视并报告老年人或残疾居民的活动以推理健康和福祉以及护理人员的活动

●数据共享应用

○收集与家庭中的活动有关的PII。许可以与第三方共享此PII为基础以驱动消费者认可的“非令人毛骨悚然的”个性化体验。

●AI/大数据应用

后端/DevOps：

●空中更新(OTA)/数据安全性

○Zuma应用更新—经由SUE OTA到安装Zuma应用的Zuma客户端应用。

○固件更新—经由SUE OTA到安装Zuma应用的Zuma客户端应用

○经由Amazon IOT抽象层的加密传输。(与Nic讨论)

●数据安全性/数据隐私/GDPR

○用于开发和用户事件流的安全日志

○安全多方访问数据库

●数据隐私/GDPR/单元测试基础设施

○GDPR逻辑

○基于日志的GDPR审计跟踪

○多语言/平台战略

●单元测试基础设施/日志基础设施

○记录以供验证

○多平台记录到云

●日志基础设施

○用于数据安全性的加密数据

故障状态

互联网连接性的丢失：

●系统

○如果未检测到心跳，则向Zuma管理员发送系统通知。

●远程控制

○失败的远程调用函数在N秒之后从队列中刷新(以在不确定的将来时间避免意外后果)并且向调用方发送失败的通知。

●语音控制

●Zuma应用功能

●从移动设备流式传输

○经由WiFi和/或蓝牙

●自动化功能

○取决于来自云的信息的那些功能将被禁用。仅依靠本地传感器和状态变量的那些功能将继续起作用。当连接性被恢复时，所有禁用的自动化功能将运行并且酌情更新系统和设备

●电话呼叫

●本地对讲

●基于云的流服务

●第三方集成

○只要他们本身不依赖于互联网连接性就会工作

●通知

○在云中生成通知。一旦网络连接性被恢复，就将上传本地事件并且将发送本应触发的通知。

●历史/记录

○完整日志将被存储在云中，如此将不可访问，然而，本地事件将被存储直到连接性被恢复为止，然后被上传和添加到系统日志

●变通方案

○使用Zuma应用代替语音命令并且从移动设备流式传输音频

WiFi连接性的丢失：

●系统

○仅由主控单元支持并且不依靠任何网络连接的功能才会起作用。系统通知被发送给Zuma管理员

●远程控制

●语音控制

●Zuma应用功能

●从移动设备流式传输

○经由蓝牙到主控及其组

●自动化功能

○取决于来自云的信息的那些功能将被禁用。仅依靠主控的本地传感器和状态变量的那些功能将继续起作用。当连接性被恢复时，所有禁用的自动化功能将运行并且酌情更新系统和设备

●电话呼叫

●本地对讲

●基于云的流服务

●第三方集成

○只要他们本身不依赖于互联网连接性就会工作

●通知

●历史/记录

●变通方案

○使用灯开关来控制灯并且经由蓝牙从移动设备流式传输音频

主控/从控连接或从控电源的丢失：

●系统

○系统通知被发送给Zuma管理员

●远程控制

●语音控制

●Zuma应用功能

●从移动设备流式传输

○经由蓝牙到主控及其组

●自动化功能

○取决于来自特定断开连接的设备的传感器数据的功能在断开连接或未通电时将不起作用

●电话呼叫

●本地对讲

●基于云的流服务

●第三方集成

○只要他们本身不依赖于互联网连接性就会工作

●通知

○取决于来自特定断开连接的设备的传感器数据的通知在它断开连接时将不起作用。如果它有电，则一旦连接性被恢复，事件将被上传并且将发送本应触发的通知。

●历史/记录

○日志在连接性被恢复之前将是不完整的，并且如果设备被通电并且其传感器正在起作用，则能够上传事件并将其添加到系统日志

●变通方案

○如果已断开连接的设备中的传感器正在用于自动化和/或通知并且在同一组内的其他连接的设备中存在等效传感器，则它们能在设备断开连接或没电时被用作替代品

移动应用特征和功能

账户管理：

●登录/登出和密码管理

●支持用Google/Facebook登入吗？

●任选的设置向导引导用户完成初始设置程序

●经由Wi-Fi连接将Zuma设备添加到Zuma主控单元，然后使用音频/光反馈来将“从控”单元供应给主控组(“向组添加闪烁光？”)。对于开关，提示致动以标识特定设备。在所有情况下用应用内和IRL反馈提供对成功和失败两者的确认。

●一旦被供应，就使用相同的机制来移除、重置或重新分组

●将组指配给房间(组＝房间吗？)

●将房间指配给区(默认“房屋”组包含所有设备)

●将Zuma连接到Hive设备

●将其他服务/设备链接到Zuma(Alexa、Google Home、Spotify、Wink、Smart TV等)，从而无论何时/无论如何都避免登录其他服务并且记住密码的需要

●将链接的第三方设备指配给Zuma组/房间

●将来自电话或云服务(Google、MS...)的联系人链接到你的Zuma账户以进行电话呼叫和通知。

●经由Zuma应用正在上面运行的移动设备启用并调用Zuma语音命令

●查看仪表板(参见Apple Home应用)，该仪表板示出所有设备、组、区和场景的状态(开/关、启用/禁用、连接)并且实现对详细信息(例如正在播放浅颜色或歌曲/流服务)的向下钻取和特定设备的精细控制

●访问帮助和联系支持(文本、电子邮件、聊天？)

●基于传感器输出和其他状态变量经由文本或电子邮件创建通知

●购买Zuma产品，查找购买地点、渠道伙伴和“认证的”安装人员

●访问潜在地包括登录/登出、设备/系统设置的变化、传感器数据、自动化动作、函数调用、通知等的可配置活动历史记录。

●查看仪表板(参见Apple Home应用)，该仪表板示出所有设备的状态并且实现对特定设备的信息和控制的向下钻取

●(经由蜂窝网络)从家庭外部启用Zuma的远程控制

●启用/禁用特定远程功能以限制能够从家庭外部调用的功能的类型

●添加/邀请授权用户访问并使用Zuma系统

●(例如对于来宾或服务提供者)在某些时间段为有限功能集定义用户角色(包括来宾和其他第三方)

音频：

●设置并控制音频R/L、EQ、音量等

●查看每设备/组/区的当前媒体输出(参见仪表板(上方))

●设置默认音乐/音频服务

●为组/设备启用并配置对讲功能性和隐私设置

●启用来自运行应用的移动设备的音频的流式传输[这可能与Zuma应用无关，因为流式传输将依赖于设备和/或流应用的类型(例如，蓝牙发现和连接由移动设备完成并且Airplay/Chromecast能力是应用相关的]

●从它们驻留于其中的服务播放播放列表[如上，这也是应用相关的以便从移动设备流式传输。否则，这将经由对Zuma的语音命令而不是经由Zuma应用来调用]

●跳过/重复歌曲—循环/随机化/顺序播放列表[从Zuma应用内调用这些功能虽然是非常所希望的，但是将取决于对集成服务的API(若它们存在的话)的访问]

●设置用于流音频的开/关时间

●按组/区设置隐私模式(麦克风关)

●经由仪表板开/关/音量个人/组/区

照明：

●打开/关闭灯/组/区(经由仪表板)

●使灯/组/区变暗(经由仪表板向下钻取)

●为灯/组/区设置颜色(经由仪表板向下钻取)

●为灯/组/区设置默认亮度和颜色(经由仪表板向下钻取)

●为开/关和场景创建定时动作

●为灯/组/区创建基于传感器的默认行为(例如，“如果在日落之后检测到运动则打开浴室灯，然后在20秒内无运动之后关闭”)

●访问在任何链接的非Zuma设备和服务中可用的所有功能

智能家庭：

●为能够经由仪表板调用、启用/禁用和编辑的组/区创建具有灯和音频的场景

●为灯和音频创建自动化功能，这些自动化功能对传感器输出和状态、时间、环境状况(白天/黑夜、天气…)以及在可能的情况下身份(基于用户的移动设备的存在)做出响应

●提供公共、预配置的场景和自动化功能以更容易设置和特征演示

●访问在任何链接的非Zuma设备和服务中可用的所有功能

●IFTTT型自动化

硬件框图

图9图示了Zuma系统的模块化硬件框图。

图9A、图9B和图9C更详细地示出了图9的各部分。

软件框图

图10是图示了Zuma系统的云和硬件概述的软件框图。图10A、图10B、图10C和图10D更详细地示出了图10的各部分。

图11图示了Zuma云服务(AWS)配置。

Zuma开关框图

(另外参见在以上特征部分中对“照明”下的选项的描述)

图12图示了用于Zuma系统的一些实施例灯开关选项。

开发路线图

●台式原型

●演示室

●技术/伙伴演示

○PIR传感器演示

○音频分析—玻璃破裂、婴儿啼哭感测

○XMOS远场麦克风演示

○松下IR相机演示

○Homekit演示

●Room DSP开发系统(与演示室相同)

●非形状因数原型(NonFF)V1

●非形状因数原型(NonFF)V2

●领航原型

●工程验证原型

●设计验证原型

台式测试系统

图13A和图13B图示了实施例台式测试系统

附加任选的特征

●Zuma灯和音响(6”改装)

○头单元

○Zuma Brain Cartridge(每房间1个)

●Zuma TV/音频

○控制和电源模块

○Zuma Brain Cartridge(每房间1个)

●Zuma灯和传感器

○头单元

○控制和电源模块

○Apple Homekit适配器盒

○任选的传感器扩展盒

■相机传感器模块

■生命安全传感器模块

■家庭集线器模块

■Wifi扩展模块

专利更新主题

●软件架构

●上下文感知命令修饰符

●来自传感器信号的上下文线索

●多模态消歧

●多模态用户界面

●作为主要UI机制的群组聊天

●软件框图

●硬件框图

●智能边框

●针对美国市场的装配4”和6”天花板罐

●天花板安装概念

●口语短语用例

软件架构

图14A和图14B图示了实施例Zuma系统的软件架构。

●应用平台

●抽象层

●服务个性化

●数据分析/学习

●云系统

○用户数据(安全、匿名)

○Zuma语音服务

○第三方语音服务

○设备管理

●硬件系统

Zuma硬件上的软件结构

●传感器事件日志数据库

○事件具有由传感器驱动器计算的原始数据和元数据。

○事件能够具有指向存储在数据库中的大容量存储装置中的多媒体数据的指针。

○事件能够指定处理的类型。驱动器确定处理的类型并且这是在驱动器的动态控制下供应的。

■在具有传感器的Zuma本地

■在主控上

■通过以进行云事件处理

○使用“用户”秘密密钥对数据进行加密。

○将数据记录到本地大容量存储装置以进行异步批量上传。

○能够标记事件以供立即上传到云服务以便在云中几乎实时处理。

●基于许可的代理本地数据访问服务

○基于规则的用户供应的有限数据集的密钥以实现本地事件处理。

○访问安全传感器事件记录数据库。

○将被允许的事件传递到本地事件总线上。

●多协议事件处理/代理服务。

现有系统往往是专门构建的并且如果存在功能的动态加载，则这些往往限于固件更新。基于驱动和事件的日志的灵活性允许灵活、动态、安全且可重新配置的系统具有在本地在家庭里的硬件上以及在云系统中实现动作的能力。

此服务(模块)的目的是为了允许实现本地IoT/家庭控制协议的互操作性。作为初始战略，Zuma将采用Apple Homekit作为用于定制Homekit控件的鲁棒手段。“Homekit设备管理”的功能主要发生在主机硬件上。然而，状态和功能应该理想地也在家庭网络外部可用。结果，类似的“Homekit设备管理”模块应该存在并且与其设备对应物同步。类似地，其他功能/应用具有类似的结构来桥接硬件和云。

对于Zuma上的某些功能将绕过Homekit功能以改进用户界面性能(用户控件感测的带宽)以递送对灯亮度/调光和音频音量调高/调低的响应控制。此事件处理服务将进一步使得来自其他家庭控制系统的事件和数据能够镜像所有系统的状态。做这类服务的挑战是，数据和事件的表示跨不同的实施方案在架构方面不同。此服务是Zuma的关键差异化特征。

○将优化Zuma事件总线和数据库以跨所有连接的系统复制家庭控制状态，其目的是将使用这一种状态表示来控制特定安装。

○公共状态和事件数据库

○驱动程序(动态地供应和初始化)

■Apple家庭套件事件驱动程序

■Alexa事件驱动程序

■Google Home事件驱动程序

■Samsung SmartThings事件驱动程序

○事件能够来自本地设备、卫星或主控，或者来自云。

●场景接口API

○暴露于Zuma系统、控件和数据以用于跨多个平台动态地创建场景。

○例如，这将允许从Android应用在Zuma上调用在Homekit中创建的场景。

○关键概念IP：Homekit场景将使用homekit系统来定义(经由苹果homekit工具包并且将需要苹果iOS应用配置)。然而，一旦已通过此场景接口命名并暴露了场景，任何Zuma连接的服务(Alexa技能、Google Home动作、Samsung SmartThings事件)都将能够调用Homekit中的命名场景。最初仅将启用Homekit，但将来将可以供应其他场景构建系统。

○就Homekit与像control4这样的其他家庭安装(CEDIA市场)系统兼容而论，这些将也能够访问这些编程场景。

Zuma云

●Zuma应用平台

○Zuma电话/Web应用

○Zuma商业优惠应用

○Zuma应用平台SDK

○能源管理

○家庭卫生保健

○安全性

○第三方/将来应用

●Zuma电话/Web应用

●服务个性化数据优惠/伙伴API

●来自社区的服务个性化规则

●Zuma技能

●第三方技能

●Zuma第三方技能

●Zuma用户数据

○基于用户偏好/许可的数据代理

○安全私密用户数据暂存器

○匿名用户数据暂存器

○个性化规则暂存器

■用于对事件做出响应的全球规则

■用于对事件做出响应的本地规则

■如果被本地规则/动作抢占则全局规则/动作屏蔽

○匿名用户数据处理

○行为分析和学习

●第三方语音服务

○Alexa

○谷歌

●Zuma语音服务

●第三方服务

●设备管理层

云中的软件结构

在云软件结构中存在与Zuma硬件类似的结构。这种类似由于若干原因而存在：一些语音控制服务(例如Alexa)使用云应用“技能”来实现可能在Zuma硬件软件上运行的控制逻辑。其他远程控制信号，例如来自不存在于家庭网络上的移动电话的远程控制信号也可能需要类似的处理。除了类似处理之外，从每个Zuma系统记录的数据还需要在用户许可情况下安全地存储但可经由专门的代理访问，以方便基于云的以用户为中心的动作和基于云的数据处理、事件检测和基于许可的第三方数据挖掘。如图所示，存在在Zuma云结构中存在以递送这些功能的服务的层次栈。

●实时事件处理

●安全数据记录

●基于许可的云数据访问服务

Zuma主控

●Zuma应用客户端

○Zuma供应客户端

○Zuma(核心功能)

○Zuma数据记录

○能源管理

○家庭卫生保健

○安全性客户端

○第三方/将来应用

●Zuma设备平台SDK

○DSP配置

○语音和媒体播放器

○用户检测

○数据记录管理

○无线更新

○Homekit设备管理

●DSP信号处理库

○AI/DL音频触发器(玻璃破裂、婴儿啼哭、狗吠等)—这是第三方库的实施例。可对音频信号执行深度学习并且使用其来标识家庭中的事件。这也能够被应用于其他传感器数据。在一些情况下，能够组合来自不同传感器的传感器数据以标识特定事件。能够将这些系统概括地描述为过滤器，它们评价当前数据状态并且然后输出结果，然后能够将结果用作另一动作的触发器。这种通用逻辑结构类似于包含许多规则的典型人工智能“生产系统”，这些规则在左手侧任务(匹配条件)然后右手侧任务(动作)时激发。在配置中过滤器可以是统计模型、深度学习运行器以及包括来自一般数据集的统计分析的加权的其他启发式方法。

○音频DSP

○远场麦克风/AEC

●虚拟化Homekit设备

○主控

●低功率蓝牙信标/位置

●蓝牙音频

●WLAN

●麦克风/传感器驱动器/音频放大器/LED驱动器

●Wifi/蓝牙

上下文感知命令修饰符

●上下文是使用多种技术根据传感器数据计算的概率的逻辑组合。

●技术：统计分析、深度学习方法。

●上下文与语音和UI命令组合以修改动作。

●例如如果在房间里很可能有人，则音乐触发将被切换到那个人。

多模态消歧

●在上下文感知命令修饰符的情况下，情况可能是没有足够高的概率做出决定。

●在这种情况下，经由可用的通信信道向用户发送查询可能是有帮助的。

●例如如果不清楚谁在房间里并且发出了音乐播放命令，系统可询问要播放谁的播放列表以消除动作歧义。

多模态用户界面

给家庭的用户界面将在多种模式下发生

●语音

●灯开关

●移动电话应用

●运动和上下文

系统将允许实现各种交互模态之间的来回无缝转变。例如，“对话”模态将在移动电话界面上保持与房屋的口头和书面通信的共享历史记录。所采取的所有动作都将使用被房屋理解的常见术语来记录。

作为主要UI机制的群组聊天

系统将方便住户成员之间围绕发生的事件进行对话。房屋将使住户成员在它们在家和外出时都知道房屋周围的事件。当事件发生时，住户成员被通知然后讨论正在发生的事情。系统建议并提供要围绕该事件采取的动作。例如，如果某人按门铃，则某人能够与门处的人交谈，或者如果狗在吠叫，则能够打电话到家以安抚狗。

软件框图

●架构详解

●使用AWS的实施方式

●使用硬件的实施方式

○主控和卫星

图15图示了实施例Zuma系统的软件框图。

图15A、图15B和图15C更详细地示出了图15的各部分。

AWS＝Amazon Web服务；

IoT＝物联网

SoC＝片上系统

Zuma系统提供更新的系统架构，如硬件图中所示：

●Zuma主控

○图16示出了主控和卫星智能家庭设备的示意硬件图。图16A和图16B更详细地示出了主控智能家庭设备的示意硬件图的各部分。

●Zuma卫星

○图16C和图16D更详细地示出了卫星智能家庭设备的示意硬件图的各部分。

●将所有DSP集成到SOC上

○图17示出了另一实施例主控智能家庭设备的示意硬件图。图17A和图17B更详细地示出了图17的各部分。

特别地，给出最大优点的是将DSP硬件合并到在SoC核心上运行的软件中。这暗示我们现在在每一单元上具有SoC。这增加整个系统的单位体积和功能能力。

一些用例：

●一般的

○自动供应

○在整个房屋中播放音频

○Zuma总是在Spotify上播放最好的音频质量

○标识用户并且播放他们的Spotify

○现有灯开关，优雅地关闭

○打开和关闭灯开关

●厨房

○识别厨房活动

○看到炉子还开着

●起居室

○侦听场景(在聚会的人们、环境声音、收听新闻等)

●媒体室

○与多媒体音频有关的特定要求。环绕声(5.1、8.2、空间化)

●零售

○音频定向和随着特定消费者在零售空间中移动而跟踪它们、环境音频、用于捕获特定消费者询问的远场麦克风阵列。

●“就地养老”

○检测特定时间的存在、检测活动、检测紧急事件。

图18A和图18B示出了包括传感器模块和灯和/或扩音器配件的智能家庭设备的等距视图，其中传感器模块未耦合到灯和/或扩音器配件。设备包括煤气传感器1802、音频和光能够通过的格栅1804、鱼眼透镜1806和常规CMOS相机或红外相机1808。设备包括智能边框连接器针1810、内部的印刷电路板1812、内部的USB控制器1814、智能边框电触点1816和与片上系统(SOC)的连接1818。

针对美国市场的配件6”和4”天花板罐

●6”—改装到标准6”新建罐中。

●6”—在GU10配件周围添加附加环形灯。

●6”—制作框架以保持PSU、GU10和灯环。

●4”—重新设计以使扬声器外壳变得较小…降低功率和光容量以适应路线图。

天花板安装概念

●从卡口工作中添加。

●与卡口结合的扎带夹紧机制

●一键推入机制。

模板

●描述和应用

●图纸

●电子设备

●软件图

虽然在此文件中描述了一些特定用例和特定实施方案，但是可以各种方式实现和使用本发明。

虽然在此申请中使用了术语“智能边框”，但是技术人员应领会，传感器模块可被布置为以不同的方式与灯/扩音器配件通信。

系统可包括许多不同的灯/扩音器配件。这些中的一些可包括仅照明元件，一些可包括仅扩音器元件，而一些可包括照明元件和扩音器元件两者。

Claims

1.一种零件套件，所述零件套件包括：

用于智能家庭系统的灯和/或扩音器配件，所述灯和/或扩音器配件包括：

照明部件和/或扩音器；

传感器数据输入接口；和

处理器，以及

传感器模块，所述传感器模块包括：

传感器数据输出接口；和

一个或多个传感器，

其中，所述灯和/或扩音器配件以及所述传感器模块包括互补紧固装置，所述互补紧固装置被配置为将所述传感器模块可拆卸地耦合到所述灯和/或扩音器配件，使得当所述传感器模块耦合到所述灯和/或扩音器配件时，所述传感器模块的传感器数据输出接口与所述灯和/或扩音器配件的传感器数据输入接口通信，以便在所述传感器模块与所述灯和/或扩音器配件之间形成传感器接口，

其中，所述传感器模块被配置为当所述传感器模块耦合到所述灯和/或扩音器配件时经由所述传感器接口将来自所述一个或多个传感器的传感器数据传送到所述灯和/或扩音器配件的处理器。

2.根据权利要求1所述的零件套件，其中：

所述灯和/或扩音器配件的处理器还包括数据分析框架，所述数据分析框架包括被配置为分析所述传感器数据的一个或多个数据处理模块；或者

所述传感器模块还包括处理器，其中，所述传感器模块的处理器包括数据分析框架，所述数据分析框架包括被配置为分析所述传感器数据的一个或多个数据处理模块。

3.根据权利要求2所述的零件套件，其中，所述数据分析框架还包括供应接口，其中，所述数据分析框架被配置为经由所述供应接口接收要更新所述数据处理模块的指令，其中，在接收到要更新所述数据处理模块的所述指令时，所述数据分析框架被配置为：

更新所述数据处理模块中的一个或多个；

向所述一个或多个数据处理模块添加一个或多个附加数据处理模块；和/或

从所述数据分析框架中移除所述数据处理模块中的一个或多个。

4.根据前述权利要求中的任一项所述的零件套件，其中，所述灯和/或扩音器配件还包括网络通信模块，所述网络通信模块被配置为与所述智能家庭系统中的网络路由器和/或另一灯和/或扩音器配件的网络通信模块进行通信。

5.根据前述权利要求中的任一项所述的零件套件，其中，所述灯和/或扩音器配件的传感器数据输入接口是物理连接器，其中，所述传感器模块的传感器数据输出接口是物理连接器，并且其中，当所述传感器模块耦合到所述灯和/或扩音器配件时，所述传感器模块的传感器数据输出接口与所述灯和/或扩音器配件的传感器数据输入接口进行物理和电通信。

6.根据前述权利要求中的任一项所述的零件套件，其中，所述互补紧固装置被配置为将所述传感器模块耦合到所述灯和/或扩音器配件，使得所述传感器模块的传感器数据输出接口与所述灯和/或扩音器配件的传感器数据输入接口物理对准。

7.根据前述权利要求中的任一项所述的零件套件，其中，所述灯和/或扩音器配件被配置为当所述传感器模块耦合到所述灯和/或扩音器配件时向所述传感器模块供应电力。

8.根据前述权利要求中的任一项所述的零件套件，其中，所述灯和/或扩音器配件被配置为当所述传感器模块耦合到所述灯和/或扩音器配件时经由所述传感器接口向所述传感器模块发送控制信号。

9.根据前述权利要求中的任一项所述的零件套件，其中，所述传感器接口是通用串行总线、USB接口或以太网接口。

10.根据前述权利要求中的任一项所述的零件套件，其中，所述传感器模块被配置为当所述传感器模块耦合到所述灯和/或扩音器配件时向所述灯和/或扩音器配件发送标识符，其中，所述灯和/或扩音器配件被配置为基于所述标识符确定与所述传感器模块中的所述一个或多个传感器有关的信息。

11.根据前述权利要求中的任一项所述的零件套件，其中，所述一个或多个传感器包括以下项中的一个或多个：

麦克风；

定向麦克风；

麦克风阵列；

烟雾传感器；

火灾传感器；

煤气传感器，

一氧化碳传感器，

温度传感器；

照明颜色传感器，

运动传感器；

摄像机；和

红外相机。

12.根据前述权利要求中的任一项所述的零件套件，其中，所述传感器模块具有边框的形式，当所述传感器模块耦合到所述灯和/或扩音器配件时，所述边框围绕所述灯和/或扩音器配件的照明部件和/或扩音器。

13.根据前述权利要求中的任一项所述的零件套件，其中，所述边框还包括照明部件，当所述传感器模块耦合到所述灯和/或扩音器配件时，所述照明部件能够由所述灯和/或扩音器配件经由所述传感器接口控制。

14.根据前述权利要求中的任一项所述的零件套件，其中，所述边框还包括物理接口端口，其中，当所述传感器模块耦合到所述灯和/或扩音器配件时，在所述物理接口端口处接收到的通信经由所述传感器接口被中继到所述灯和/或扩音器配件的处理器。

15.根据前述权利要求中的任一项所述的零件套件，其中，所述一个或多个传感器被配置为当所述传感器模块耦合到所述灯和/或扩音器配件时连续地传送传感器数据。

16.根据前述权利要求中的任一项所述的零件套件，其中，所述灯和/或扩音器配件包括网络通信模块，所述网络通信模块被配置为与所述智能家庭系统中的网络路由器和/或另一设备进行通信。

17.根据前述权利要求中的任一项所述的零件套件，其中，所述互补紧固装置包括所述传感器模块或灯和/或扩音器配件上的一个或多个磁性元件，所述磁性元件被配置为分别与所述灯和/或扩音器配件或传感器模块上的一个或多个对应的元件一起操作。

18.一种智能家庭系统，所述智能家庭系统包括一个或多个智能家庭设备，其中，每个智能家庭设备包括来自根据前述权利要求中的任一项所述的零件套件的灯和/或扩音器配件以及传感器模块，其中，所述传感器模块耦合到所述灯和/或扩音器配件。

19.根据权利要求18所述的智能家庭系统，其中，所述一个或多个智能家庭设备包括第一智能家庭设备和第二智能家庭设备，其中，所述第一智能家庭设备的灯和/或扩音器配件的处理器还包括数据分析框架，所述数据分析框架包括一个或多个数据处理模块，其中，每个数据处理模块被配置为分析经由所述第一智能家庭设备的传感器接口接收到的所述传感器数据，其中，所述第二智能家庭设备被配置为将从所述第二智能家庭设备的传感器模块的一个或多个传感器接收到的传感器数据传送到所述第一智能家庭设备，其中，所述第一智能家庭设备的处理器还被配置为接收并分析由所述第二智能家庭设备传送的传感器数据。

20.根据权利要求18所述的智能家庭系统，其中，所述一个或多个智能家庭设备中的每一个的灯和/或扩音器配件的处理器还包括数据分析框架，所述数据分析框架包括被配置为分析经由相应的智能家庭设备的传感器接口接收到的传感器数据的一个或多个数据处理模块。

21.根据权利要求19或权利要求20所述的智能家庭系统，其中，每个智能家庭设备还包括被配置为与网络路由器进行通信的网络通信模块，其中，所述数据处理模块中的一个或多个被配置为通过以下步骤来分析所述传感器数据：

从所述传感器数据生成细化数据；

经由所述网络路由器将所述细化数据发送到数据分析服务；以及

从所述数据分析服务接收分析数据。

22.根据权利要求19至21中的任一项所述的智能家庭系统，其中，所述一个或多个数据处理模块被配置为基于经分析的传感器数据生成一个或多个事件。

23.根据权利要求22所述的智能家庭系统，其中，每个事件包括以下项中的一个或多个：

标识符；

事件类型；

所述传感器数据的一部分；

基于所述分析的传感器数据的元数据；和/或

指向存储在所述智能家庭系统中的大容量存储设备中的多媒体数据的指针。

24.根据权利要求22或权利要求23中的任一项所述的智能家庭系统，其中，所述一个或多个事件中的每个事件在其被生成之后被传递到事件总线上。

25.根据权利要求22至24中的任一项所述的智能家庭系统，其中，所述系统还包括数据暂存器，其中，所述系统被配置为将所述一个或多个事件存储在所述数据暂存器中。

26.根据权利要求22至25中的任一项所述的智能家庭系统，其中，每个事件包括事件类型，其中，所述一个或多个事件中的第一事件具有选自包括以下项的列表的事件类型：

·语音命令；

·玻璃破裂；

·婴儿啼哭；和

·狗吠。

27.根据权利要求22至26中的任一项所述的智能家庭系统，其中，所述一个或多个智能家庭设备被分层次布置，其中，所述智能家庭设备中的一个设备被指定为所述层次的顶点处的家庭控制器单元。

28.根据权利要求27所述的智能家庭系统，其中，所述智能家庭设备中的一个或多个设备被指定为所述层次的分支的顶点处的子控制器单元，其中，每个子控制器单元位于所述层次中的所述家庭控制器单元或另一子控制器单元正下方。

29.根据权利要求28所述的智能家庭系统，其中，所述智能家庭设备中的一个或多个设备被指定为从控单元，其中，每个从控单元位于所述层次中的子控制器单元或所述家庭控制器单元正下方，其中，每个从控单元的处理器包括相应的数据分析框架，其中

每个从控单元的处理器被配置为基于由所述相应的数据分析框架的一个或多个数据处理模块中的数据处理模块生成的第一事件来生成一个或多个动作；和/或

每个子控制器单元的处理器被配置为基于由所述层次的分支中的智能家庭设备的处理器的数据分析框架的数据处理模块生成的第二事件来生成一个或多个动作，在所述层次的分支中所述子控制器为所述顶点；和/或

所述家庭控制器单元的处理器被配置为基于由所述层次中的从控单元的处理器的数据分析框架的数据处理模块生成的第三事件来生成一个或多个动作。

30.根据权利要求28或权利要求29所述的智能家庭系统，其中，每个子控制器单元的处理器被配置为：

接收由所述层次的分支中的智能家庭设备的处理器的数据分析框架的数据处理模块生成的第四事件，在所述层次的分支中所述子控制器单元为所述顶点；并且

将所述第四事件传送到所述家庭控制器单元或在所述层次中位于所述相应的子控制器单元正上方的其他子控制器单元。

31.根据权利要求27至30中的任一项所述的智能家庭系统，其中，所述家庭控制器单元还包括被配置为与网络路由器进行通信的网络通信模块，其中，所述家庭控制器单元的处理器被配置为：

接收由所述层次中的智能家庭设备的处理器的数据分析框架的数据处理模块生成的第五事件；

将所述第五事件传送到经由所述网络路由器访问的数据分析服务；并且

接收由所述数据分析服务基于所述第五事件生成的一个或多个动作；或者

从所述数据分析服务接收元数据并且基于所接收到的元数据生成一个或多个动作。

32.根据权利要求31所述的智能家庭系统，其中，所述家庭控制器单元还被配置为确定所述第五事件需要迅速响应并且将所述第五事件迅速地传送到所述数据分析服务。

33.根据权利要求27至32中的任一项所述的智能家庭系统，其中，所述家庭控制器单元还被配置为：

接收由所述层次中的智能家庭设备的处理器的数据分析框架的数据处理模块生成的第六事件；

确定所述第六事件不需要迅速响应；

将所述第六事件存储在数据暂存器中；

接收由所述层次中的智能家庭设备的处理器的数据分析框架的数据处理模块生成的第七事件，其中，所述第六事件和所述第七事件由所述家庭控制器单元在不同的时间接收；

将所述第七事件存储在所述数据暂存器中；

将一批事件从所述数据暂存器传送到数据分析服务，所述一批事件包括所述第六事件和所述第七事件。

34.根据权利要求29至33中的任一项所述的智能家庭系统，其中，所述动作包括以下项中的一个或多个：

调整一个或多个照明部件的亮度；

调整一个或多个照明部件的色温；

调整一个或多个扩音器的音频重放音量；

调整一个或多个扩音器的音频均衡器设置；

向所述系统的用户发送电子消息；

向用户组发送电子消息；

在一个或多个扩音器处播放音频消息；

在一个或多个扩音器处播放多媒体数据，其中，所述多媒体数据在所述智能家庭系统中的大容量存储设备中被存储在由所述相应的事件中的指针定义的位置处；并且

生成另一事件。

35.根据权利要求29至34中的任一项所述的智能家庭系统，其中，基于事件生成一个或多个动作包括使用机器学习来基于操作上下文确定最可能的优选动作，其中，所述操作上下文是基于历史事件数据而确定的。

36.根据权利要求27至35中的任一项所述的智能家庭系统，其中，所述家庭控制器单元被配置为：

从用户接收电子信息；并且

基于所接收到的电子消息生成一个或多个动作。

37.根据权利要求36所述的智能家庭系统，其中，基于所接收到的电子消息生成一个或多个动作包括使用机器学习来基于以下项中的一个或多个确定最可能的优选动作：

所述电子消息的语言内容；

确定发送了消息的所述用户的身份；以及

与所述用户相关联的训练和/或历史数据。

38.根据权利要求29至37中的任一项所述的智能家庭系统，其中，生成了所述动作的所述处理器被配置为通过以下步骤来执行所述动作：

生成控制信号以调整所述相应的智能家庭设备的照明部件和/或扩音器的操作。

39.根据权利要求29至38中的任一项所述的智能家庭系统，其中，生成了所述动作的所述处理器是子控制器单元或所述家庭控制器单元的处理器，并且所述处理器被配置为通过以下步骤来执行所述动作：

生成控制信号以调整在所述层次中从属于生成了所述动作的所述子控制器单元或家庭控制器单元的一个或多个智能家庭设备的照明部件和/或扩音器的操作。

40.根据权利要求29至39中的任一项所述的智能家庭系统，其中，所述系统还包括被配置为对控制信号做出响应的一个或多个第三方设备，其中，生成了所述动作的所述处理器被配置为通过以下步骤来执行所述动作：

生成控制信号并且将所述控制信号发送到所述一个或多个第三方设备。

41.根据权利要求19至40中的任一项所述的智能家庭系统，其中，每个数据分析框架还包括供应接口，其中，当经由所述供应接口接收到要更新所述数据处理模块的指令时，所述数据分析框架被配置为：

更新所述数据处理模块中的一个或多个；

42.根据权利要求19至41中的任一项所述的智能家庭系统，其中，每个智能家庭设备还包括网络通信模块，所述网络通信模块被配置为与所述智能家庭系统中的网络路由器和/或另一智能家庭设备的网络通信模块进行通信，其中，所述一个或多个智能家庭设备中的每一个被配置为与所述一个或多个设备中的一个或多个其他设备进行通信，使得所述设备形成其中每个设备能够与任何其他设备进行通信的设备的网络。

43.根据权利要求42所述的智能家庭系统，其中，所述智能家庭设备被配置为自我布置以形成网格网络。

44.根据权利要求42或权利要求43所述的智能家庭系统，其中，每个智能家庭设备的网络通信模块被配置为经由所述网络路由器访问互联网。

45.根据权利要求42至44中的任一项所述的智能家庭系统，其中，所述一个或多个设备中的一个设备的网络通信模块被配置为经由所述一个或多个设备中的另一设备访问所述互联网。

46.一种在智能家庭系统中更新智能家庭设备的方法，其中，所述智能家庭设备包括来自根据权利要求1至17中的任一项所述的零件套件的灯和/或扩音器配件以及传感器模块，其中，所述传感器模块耦合到所述灯和/或扩音器配件，其中，所述灯和/或扩音器配件的处理器还包括数据分析框架，所述数据分析框架包括被配置为分析来自相应的传感器模块的传感器数据的一个或多个数据处理模块，其中，所述数据分析框架还包括供应接口，所述方法包括：

在所述处理器处，经由所述供应接口接收要更新所述数据处理模块的指令；以及

响应于接收到要更新所述数据处理模块的所述指令：

更新所述数据处理模块中的一个或多个；

47.根据权利要求46所述的方法，还包括：

将所述传感器模块与所述灯和/或扩音器配件解耦；

将替换传感器模块耦合到所述灯和/或扩音器配件；

从所述替换传感器模块向所述灯和/或扩音器配件发送标识符；

基于所述标识符确定与所述替换传感器模块中的所述一个或多个传感器有关的信息；

基于与所述一个或多个传感器有关的所述信息，经由所述供应接口请求要更新所述数据处理模块的指令。