[go: up one dir, main page]

CN108770367A - 密集数据获取、存储和取回 - Google Patents

密集数据获取、存储和取回 Download PDF

Info

Publication number
CN108770367A
CN108770367A CN201780010357.XA CN201780010357A CN108770367A CN 108770367 A CN108770367 A CN 108770367A CN 201780010357 A CN201780010357 A CN 201780010357A CN 108770367 A CN108770367 A CN 108770367A
Authority
CN
China
Prior art keywords
data
sensor
timestamp
sample
capture unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780010357.XA
Other languages
English (en)
Inventor
I·努尔巴克施
C·巴特利
J·斯卡皮罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elvis Ltd By Share Ltd
Original Assignee
Elvis Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elvis Ltd By Share Ltd filed Critical Elvis Ltd By Share Ltd
Publication of CN108770367A publication Critical patent/CN108770367A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Information Transfer Between Computers (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

实现数据流的端到端捕获、所述数据的本地处理、数据到可伸缩服务器基础设施的传输，以及以计算高效的方式对数据的取回和可视化的系统和方法。使用本地电子设备取回数据，该电子设备立即对数据值加时间戳并将值存储在本地缓冲器上，以便补偿任何无线信号变幻莫测。设备的本地无线配置由基于无线的配置交互式菜单组成，从而在设置和管理期间能具有高的易用性。然后在互联网连接期间将数据传送到在线数据储存库。在线数据储存库进而跨时间分辨率重新采样传入的数据，以在下游为了数据可视化而以任何时间分辨率高效地聚合，然后为基于互联网的可视化算法提供数据取回服务，该算法以适当的分辨率请求和提供数据以满足用户需求。

Description

密集数据获取、存储和取回
优先权请求
本申请要求于2016年5月26日提交的美国临时专利申请序列No.62/341,938的优先权，该申请具有与上述相同的标题和发明人，并且通过引用整体上结合进本文中。
背景技术
在生产系统和环境监视系统中正在使用越来越多的环境和处理传感器。但是，这样的系统所面临的数据存储和取回挑战带来了重大的技术问题，包括以下：如果数据通信是不可靠的或短暂的，那么本地存储至关重要；为了准确性，密集时间速率的数据需要本地时间戳；数据运输需要能够使用各种无线协议，而这些协议相反必须可由用户轻松配置；数据储存器(storage)需要能够启用大规模时间性缩放并具有用于数据插入、标记和取回操作的本体声音基元的数据体系架构；以及最后，可视化系统必须提供跨多种移动平台的人类可读的数据访问。
发明内容
在一个总体方面，本发明针对数据流的端到端捕获、所述数据的本地处理、数据向可缩放服务器基础设施的传输，以及以计算高效的方式对数据的取回和可视化。使用立即对数据值加时间戳并将值存储在本地缓冲器上的本地电子设备来获取数据，以便补偿任何无线信号变幻莫测(vagaries)。然后在互联网连接期间将数据传送到在线数据储存器储存库。在线数据储存器储存库进而对传入的数据进行跨时间分辨率的重新采样，以便在下游为了以任何时间分辨率的数据可视化而高效地聚合，然后为基于互联网的可视化算法提供数据取回服务，该数据取回服务以适当的分辨率请求和提供数据以满足用户需求。
附图说明
本文通过结合以下附图通过示例描述本发明的各种实施例，其中图1是根据本发明的各种实施例的系统的框图。
具体实施方式
在一个总的方面，本发明涉及一种在线数据获取、存储和取回系统。图1是根据本发明各种实施例的系统10的简化的示例性框图。图示的系统10包括数据获取单元12、在线数据储存库14和用户设备16。简而言之，数据获取单元12在本地加时间戳并存储来自一个或多个传感器18(为了简化，在图1中仅示出了其中一个)的传感器数据。数据获取单元12可以与在线数据储存库14进行无线通信，诸如经由自组织(ad hoc)无线通信链路或经由基础设施无线通信链路(例如，到互联网的路由器的无线接入点，或到互联网的蜂窝路由器的低功耗蓝牙(BLE)，等等)。在其间的连接时间期间，带时间戳的传感器数据从数据获取单元12被上传到在线数据储存库14，在那里数据以多分辨率方式存储，下面进一步描述。用于传感器数据的元数据也被上传并存储在在线数据储存库14中。用户设备16可以从在线数据储存库14访问数据。
数据获取单元12可以包括处理器(例如，微处理器)20、实时时钟(RTC)22、存储缓冲器24和无线连接电路26。这些部件可以被实现为分离的集成电路，或者其中一些或全部可以组合在一起(诸如在片上系统SOC中)。而且，取决于具体情况，所有这些部件可以(虽然不一定需要它们)连接到单个印刷电路板(PCB)。
来自传感器18的传感器数据经由一条或多条数字或模拟输入线路28输入到数据采集单元12。传感器18可以是检测它的环境中随时间的事件或改变任何类型的传感器，并在输入线路18上提供对应的输出。例如，传感器18可以是声学或振动传感器、化学传感器、电磁属性传感器(电压、电流、磁场、无线电方向等等)、流或流体速度传感器、颗粒传感器、导航仪器、位置、角度、位移、速度或加速度传感器、光或光学传感器、压力传感器、力、密度或水位传感器；热度或温度传感器、接近或存在传感器等等。RTC 22是保持跟踪当前时间的时钟电路。例如，它可以使用晶体振荡器，并且可以用RTC集成电路(IC)来实现。存储器缓冲器24可以用物理数据存储介质(诸如RAM)或某种其它类型的合适数据存储装置来实现。在处理器20的控制下，从传感器18接收的传感器数据值用从RTC 22输出的时钟加时间戳，并且加时间戳的数据存储在存储器缓冲器24中。
无线连接电路26在存储缓冲器24和在线数据储存库14之间的连接期间将存储在存储缓冲器24中的带时间戳的传感器数据发送到在线数据储存库14。当不存在无线连接时，加时间戳的数据可以存储在存储缓冲器24中(最大至存储缓冲器24的存储容量)，直到重新建立无线连接以将数据传输到在线数据储存库的时间为止。无线连接电路26可以使用任何合适的无线通信协议与在线数据储存库14通信。通信可以是直接的或是经由多跳、自组织或基础设施无线网络的间接的。例如，在一个实施例中，根据可能的情况，数据获取单元12可以包括允许数据获取单元12经由WiFi或ZigBee网络与在线数据储存库14通信的WiFi(IEEE 802.11x)或ZigBee(IEEE 802.15.4)电路或芯片(例如，集成电路或IC)。在另一个实施例中，数据获取单元12可以包括允许数据获取单元12无线地将传感器数据发送到蓝牙链接到数据获取单元12的设备(未示出)的BLE电路或芯片。该设备可以是移动设备(诸如笔记本电脑或智能电话)，或固定设备(诸如具有BLE支持的台式PC或任何其它合适的非移动计算机硬件设备)。设备可以例如经由调制解调器、WiFi或LTE蜂窝网络或者设备用来连接到互联网的任何其它网络类型将数据发送到在线数据储存库14。因此，在这种实施例中，每当设备可用于此时，设备充当数据获取单元12的路由器(例如，在数据获取单元12和设备之间存在数据链路)。为了清楚起见，图1未示出可能在自组织或基础设施无线网络中使用的很容易理解的装备(例如诸如其它节点、路由器或接入点)。
数据获取设备的处理器20还可以执行TCP/IP堆栈，使得它可以充当用于配置目的的嵌入式web服务器。用户(诸如用户设备16或与数据获取单元12通信的另一个计算机设备的用户)可以基于数据获取单元12的IP地址打开由嵌入式web服务器托管的网页。经由该网页，用户可以配置数据获取单元12(诸如用于从传感器18获取数据的采样频率)，或者配置的其它特征(诸如WEP加密配置参数、SSID偏好、批量上载规范等)。网页可以提供配置交互式菜单，使得在数据获取单元12的设置和管理期间能有高度易用性。配置设备可以与数据获取单元12进行有线或无线通信。
在线数据储存库14可以被实现为一个或多个网络HTTP服务器。每个这样的服务器可以包括一个或多个处理器、主存储装置(例如，诸如RAM和ROM之类的存储器单元)，以及次存储装置(例如，HDD等等)。特别地，在线数据储存库14可以经由接收数据API 30与数据获取单元12如上所述地进行无线通信，接收数据API 30定义用于上传带时间戳的传感器数据的格式。在各种实施例中，API 30可以是例如代表性状态转移(REST)API。类似地，用户设备16可以使用定义数据格式等的请求数据API 32从在线数据储存库14请求数据，其中用户设备16可以通过该请求数据API 32请求和接收来自在线数据储存库14的数据。
如图1中所示，实现在线数据储存库14的各种服务器可以包括数据贮存器36和元数据贮存器38。数据贮存器36、数据贮存器38可以用在主计算机数据储存装置和/或次计算机数据储存装置中存储数据的数据库来实现，诸如RAM、ROM、硬盘驱动器、光盘驱动器、固态驱动器、闪存、RAID磁盘阵列等等。在各种实施例中，数据贮存器36存储许多的多时间分辨率(例如，低于传感器收集数据的采样率的分辨率)的带时间戳的传感器数据系列。即，在线数据储存库14可以存储从数据获取单元12发送的所有收集的数据样本，以及在许多或若干不同的低阶时间分辨率上的数据的平均值。在各种实施例中，数据贮存器36存储2的幂的平均值(例如，算术平均值)。例如，数据贮存器36可以存储原始数据(20分辨率，最高分辨率)，以及2、4、8、16、32、64、128、256、512、1024等(与21到210个低阶分辨率对应，依此类推)个连续数据样本的平均值。例如，如果传感器18每0.5秒收集样本值，那么数据贮存器36可以在以下时间范围内存储：
*越大的分辨率阶值表示越低阶的时间分辨率
例如，分辨率可以继续至覆盖接近或超过一个日历年的分辨率时间段。在多个数据获取单元12将数据上传到在线数据储存库14和/或一个数据获取单元12发送多个传感器18的数据的情况下，在线数据储存库14可以存储每个这种传感器18的计算出的多个、低阶时间分辨率数据。
元数据贮存器38存储关于传感器数据的高级数据，诸如传感器的位置(GPS坐标、数据值类型、数据单元、邮政编码、乡镇(township)、学区、国会选区(congressionaldistrict)等等)、传感器的所有者或管理员、传感器的制造商、室内或室外、数据的私用/公用标志、传感器硬件类型和版本号(revision number)等等。元数据贮存器38可以存储带时间戳的传感器数据被上传到在线数据储存库14的每个传感器18的元数据。
在上面的描述中，数据贮存器36存储具有2的幂的分辨率的算术均值(means)。在其它实施例中，可以使用除了算术均值之外的其它数学函数和/或其它时间分辨率(除了2的幂的算术均值之外或代替2的幂的算术均值)。例如，中值、众数(mode)、非算术均值(例如，几何均值)、时间范围中随机选择的样本值等等可以由数据贮存器36存储。而且，分辨率可以是除2以外(例如，诸如3、4、5等等)的幂。并且时间分辨率不需要以幂增加；它们可以只是被选择/期望的分辨率(50个样本、100个样本、500个样本、1000个样本等)。
用户设备16可以用基于处理器的计算机设备实现，该计算机设备能够经由请求数据API 32从在线数据储存库14请求数据，并且为用户设备16的用户呈现该数据。例如，用户设备16可以包括用于从在线数据储存库14请求数据的web浏览器软件，用户可以通过其指定数据查询的界面(例如，所请求的传感器数据的类型(或参数))，以及用于在用户设备16上视觉呈现满足用户查询的传感器数据的显示器。用户设备16可以通过具有用于显示返回的数据的合适显示器的例如膝上型计算机、PC、智能电话、平板计算机、可穿戴计算机等等来实现。数据查询可以是针对具体传感器18在指定时间段内以指定时间分辨率(例如，一年中的每日平均值)的具体传感器数据。或者数据查询可以在指定分辨率的指定时间段内覆盖多个传感器18，诸如特定地理区域(例如，邮政编码)中的传感器；或者特定对象(例如，政府)在指定时间段内以指定分辨率在指定地理区域拥有/管理的传感器等等。在线数据储存库14可以对各种各样选择的日历时间段使用缺省时间分辨率(例如，每月时间间隔的每日平均值、每年时间间隔的每周平均值)，或者用户可以通过交互式装置覆盖缺省设置以指定期望的时间分辨率。
在线数据储存库14优选地包括允许基于来自用户的搜索标准来查询存储在数据贮存器36、38中的数据的数据库管理系统(DBMS，未示出)或其它软件应用。为了从用户取得(fetch)满足特定数据查询的数据，在线数据储存库14的DBMS可以首先向元数据贮存器38查询满足查询的传感器(例如，位于指定地理区域中和/或具有具体数据类型的传感器)，然后以期望的分辨率取回数据贮存器36中的传感器数据，以便传输到用户设备16。例如，用户可以询问在线数据储存库14以获取处于具有时间界限等等的可变分辨率级别的传感器值。例如，用户可以经由请求数据API 32从用户设备16请求满足某些用户输入标准的传感器(诸如位于某个地理位置(例如，邮政编码)中的传感器)的传感器值。另外，用户可以请求在某个时间段内从起点到终点(例如，那一年的1月1日到12月31日)的满足标准的传感器的平均每日值或某个其它级别的分辨率。假设在线数据储存库14以那个分辨率生成样本值，那么在线数据储存库14可以随后经由请求数据API 32发送数据。
用户设备16可以具有到在线数据储存库14的有线或无线连接。用户可以通过其输入数据查询参数的用户设备16的交互式装置可以包括触摸屏界面、键盘、鼠标或跟踪球、语音识别等。例如，数据可以以表格形式或以图表或图形显示。在那方面，用户可以经由交互式装置选择期望的显示格式(表格、图形等等)。因此，例如，用户可以使用他们的鼠标或轨迹球或触摸屏界面来滚动，以在特定时间范围放大或者缩小到更宽(更长)的时间尺度。
在各种实施例中，数据获取单元12可以与多个传感器18相关联，在这种情况下，数据获取单元12可以包括一个或多个存储缓冲器24，如上所述存储缓冲器24用于存储用于各种传感器18的带时间戳的数据样本，并且可以将用于各种传感器18的带时间戳的数据样本发送到在线数据储存库14，。
而且，在上述实施例中，数据获取单元12与在线数据储存库14无线通信。在其它实施例中，数据获取单元12具有到互联网网关(未示出)的有线连接(例如，以太网)，该网关经由互联网与在线数据储存库14通信。
而且，在其它实施例中，在线数据储存库14不需要“在线”或在云上。在这种实施例中，一个或多个数据获取单元12在没有互联网的情况下经由有线或无线(例如，WiFi、BLE等等)链路与数据储存库14通信。在此类实施例中，充当数据储存库的(一个或多个)本地服务器也可以运行ESDR的实例(高效且安全的数据修复)。
因此，在一个总体方面，本发明涉及一种系统，该系统包括传感器18、数据获取12和数据储存库(诸如在线数据储存库14)。数据获取单元12与传感器18通信，并且包括：RTC电路22；存储缓冲器24，用于存储来自传感器18的带时间戳的传感器数据样本，该传感器数据样本用来自RTC电路22的时间值来加上时间戳；以及可选地无线连接电路26，用于无线地发送带时间戳的传感器数据样本。数据储存库14包括数据贮存器36和至少一个处理器(未示出)。例如，在数据获取单元12的无线连接期间，数据储存库14接收(例如，无线地)并在数据贮存器36中存储被存储在数据获取单元12的存储缓冲器24中并由数据获取单元12发送到数据储存库14的带时间戳的传感器数据样本。数据储存库14的至少一个处理器计算接收到的带时间戳的传感器数据样本的两个或更多个系列的低阶时间分辨率样本，其中两个或更多个较低阶时间分辨率样本系列中的每一个时间分辨率样本处于分离的较低阶时间分辨率，所述较低阶时间分辨率低于接收到的带时间戳的传感器数据样本的采样率。并且数据贮存器36存储两个或更多个系列的低阶时间分辨率样本。
在各种实现中，数据储存库14的至少一个处理器通过计算对于两个或更多个Nj的值的Nj个连续带时间戳的传感器数据的平均值来计算两个或更多个系列的低阶时间分辨率样本，诸如Nj＝P^j，其中P>1并且j是至少两个不同的数字，每个数字大于或等于1，诸如P＝2并且j＝1,2,3......。而且，数据储存库14还可以包括存储关于传感器18的元数据(诸如传感器的位置数据、传感器的管理员、传感器的制造商、传感器数据的隐私数据指示器或传感器硬件类型)的元数据贮存器38。
此外，数据获取单元12可以包括至少一个电路板，在这种情况下，RTC电路22、无线连接电路26和存储缓冲器24被安装到至少一个电路板。例如，无线连接电路可以包括WiFi电路或BLE电路。而且，数据储存库14可以提供用于以可变分辨率水平询问传感器数据的API。
传感器18可以包括例如颗粒传感器，并且数据获取单元可以包括执行TCP/IP堆栈以充当嵌入式web服务器的处理器20。
而且，数据贮存器库可以与多个数据获取单元12通信，每个数据获取单元12为一个或多个相关联的传感器18收集和发送带时间戳的传感器数据样本。在那种情况下，数据储存库14可以为每个传感器18计算较低阶分辨率样本并将它们存储在数据储存器36中。元数据贮存器38还可以存储用于每个传感器18的元数据。以那种方式，如上所述，远程计算机设备16处的用户可以询问数据储存库14以获取特定时间范围内用于特定时间分辨率的特定传感器的传感器数据。例如，数据储存库14的一个或多个处理器可以被编程为：从远程计算机设备16接收传感器查询和分辨率请求；查询元数据贮存器38以确定满足传感器查询的一个或多个传感器18；以及从数据贮存器36取回并在接收到分辨率请求时向远程计算机设备16发送针对满足传感器查询的一个或多个传感器18的数据样本。
在另一个总体方面，本发明针对一种数据获取方法，包括由数据储存库14从各自与传感器18相关联的多个数据获取单元12中的每一个接收相关联的传感器18的带时间戳的传感器数据样本的步骤，其中用于每个传感器18的传感器数据样本用相关联的数据获取单元12的RTC电路22的时间值来加上时间戳，并且数据获取单元12发送带时间戳的传感器数据样本，例如，在无线连接期间无线地发送。该方法还包括由数据储存库14为每个传感器计算两个或更多个较低阶时间分辨率样本系列的步骤，其中，对于每个传感器，两个或更多个较低阶时间分辨率样本系列处于分离的较低阶时间分辨率，该较低阶时间分辨率低于接收到的带时间戳的传感器数据样本的采样率。该方法还包括以下步骤：由数据储存库14将两个或更多个系列的低阶时间分辨率样本存储在数据储存库的数据贮存器36中，并且由数据储存库14在元数据贮存器38中存储关于多个数据获取单元12中的相关联的传感器18的元数据。
该方法还可以包括以下步骤：(i)由数据储存库从远程计算机设备接收传感器查询和分辨率请求；(ii)由数据储存库基于存储在元数据贮存器中的元数据确定满足传感器查询的一个或多个传感器；(iii)在接收到分辨率请求时由数据储存库从数据贮存器中对于满足传感器查询的一个或多个传感器取回数据样本；以及(iv)由数据储存库将在接收到分辨率请求时取回出的数据样本发送到远程计算机设备。
本文给出的示例旨在说明本发明的潜在和具体实现。可以认识到的是，这些示例主要是为了本领域技术人员对本发明的说明。示例的任何一个或多个特定方面都不一定旨在限制本发明的范围。另外，应当理解的是，本发明的附图和描述已经被简化，以说明与清楚理解本发明相关的元件，同时为了清楚起见而省略了其它元件。例如，未示出的(一个或多个)处理器和用于存储由(一个或多个)处理器执行的软件的在线数据储存库14的存储器单元，因为可以理解在线数据储存库14将具有一个或多个处理器和存储器单元以实现DBMS。虽然本文已经描述了各种实施例，但是应当显而易见的是，本领域技术人员可以想到对那些实施例的各种修改、更改和改编，同时获得至少一些优点。因此，所公开的实施例旨在包括所有这些修改、更改和改编，而不脱离本文阐述的实施例的范围。

Claims (20)

1.一种系统，包括：
传感器；
与传感器通信的数据获取单元，其中数据获取单元包括：
实时时钟(RTC)电路；
存储缓冲器，用于存储来自传感器的带时间戳的传感器数据样本，其中带时间戳的传感器数据样本利用来自(RTC)电路的时间值来加上时间戳；以及
数据储存库，包括数据贮存器和至少一个处理器，其中：
数据储存库接收存储在数据获取单元的存储缓冲器中并由数据获取单元发送到数据储存库的带时间戳的传感器数据样本，并将其存储在数据贮存器中；
所述至少一个处理器计算接收到的带时间戳的传感器数据样本的两个或更多个较低阶时间分辨率样本系列，其中所述两个或更多个较低阶时间分辨率样本系列中的每一个时间分辨率样本处于分离的较低阶时间分辨率，所述较低阶时间分辨率低于接收到的带时间戳的传感器数据样本的采样率；以及
数据贮存器存储所述两个或更多个较低阶时间分辨率样本系列。
2.如权利要求1所述的系统，其中数据获取单元还包括无线连接电路，用于在数据获取单元的无线连接时段期间将带时间戳的传感器数据样本无线地发送到数据储存库。
3.如权利要求2所述的系统，其中数据储存库包括在线数据储存库。
4.如权利要求1至3中任一项所述的系统，其中数据储存库的所述至少一个处理器通过计算对于两个或更多个Nj的值的Nj个连续带时间戳的传感器数据的平均值来计算所述两个或更多个较低阶时间分辨率样本系列。
5.如权利要求4所述的系统，其中Nj＝P^j，其中P>1并且j是各自大于或等于一的至少两个不同的数字。
6.如权利要求3所述的系统，其中在线数据储存库还包括存储关于传感器的元数据的元数据贮存器。
7.如权利要求6所述的系统，其中关于传感器的元数据包括以下当中的至少一个：传感器的位置数据、传感器的管理员、传感器的制造商、传感器数据的隐私数据指示器、或传感器硬件类型。
8.如权利要求3所述的系统，其中：
数据获取单元包括至少一个电路板；以及
RTC电路、无线连接电路和存储缓冲器被安装到所述至少一个电路板。
9.如权利要求8所述的系统，其中无线连接电路包括WiFi电路。
10.如权利要求8所述的系统，其中无线连接电路包括蓝牙低功耗电路。
11.如权利要求3所述的系统，其中在线数据储存库提供用于以可变分辨率级别来询问传感器数据的API。
12.如权利要求1至3中任一项所述的系统，其中传感器包括颗粒传感器。
13.如权利要求1至3中任一项所述的系统，其中数据获取单元包括执行TCP/IP堆栈以被用作嵌入式web服务器的处理器。
14.一种系统，包括：
多个传感器；
多个数据获取单元，每个数据获取单元与所述多个传感器之一相关联，其中每个数据获取单元包括：
实时时钟(RTC)电路；
存储缓冲器，用于存储来自相关联传感器的带时间戳的传感器数据样本，所述带时间戳的传感器数据样本利用来自(RTC)电路的时间值来加上时间戳；以及
无线连接电路，用于无线地发送带时间戳的传感器数据样本；以及
在线数据储存库，包括数据贮存器和至少一个处理器，其中：
在线数据储存库在数据获取单元的无线连接时段期间无线地从所述数据获取单元中的每一个数据获取单元接收带时间戳的传感器数据，并将其存储在数据贮存器中；
所述至少一个处理器计算用于传感器的两个或更多个较低阶时间分辨率样本系列，其中，对于每个传感器，所述两个或更多个较低阶时间分辨率样本系列处于分离的较低阶时间分辨率，对于每一个传感器，所述较低阶时间分辨率低于接收到的带时间戳的传感器数据样本的采样率；以及
数据贮存器存储对于每个传感器的两个或更多个较低阶时间分辨率样本系列。
15.如权利要求14所述的系统，其中在线数据储存库还包括元数据贮存器，其存储关于所述多个传感器中的每一个传感器的元数据。
16.如权利要求15所述的系统，其中在线数据储存库的所述至少一个处理器被编程为：
从远程计算机设备接收传感器查询和分辨率请求；
查询元数据贮存器，以确定满足传感器查询的一个或多个传感器；
在接收到分辨率请求时，从数据贮存器中取回对于满足传感器查询的所述一个或多个传感器的数据样本，并将其发送到远程计算机设备。
17.一种数据获取方法，包括：
由数据储存库从各自与传感器相关联的多个数据获取单元中的每一个数据获取单元接收相关联传感器的带时间戳的传感器数据样本，其中每个传感器的传感器数据样本利用相关联的数据获取单元的实时时钟(RTC)电路的时间值来加上时间戳；
由数据储存库计算每个传感器的两个或更多个较低阶时间分辨率样本系列，其中，对于每个传感器，所述两个或更多个较低阶时间分辨率样本系列中处于分离的较低阶时间分辨率，对于所述传感器，所述较低阶时间分辨率低于接收到的带时间戳的传感器数据样本的采样率；
由数据储存库将所述两个或更多个较低阶时间分辨率样本系列存储在数据储存库的数据贮存器中；以及
由数据储存库在元数据贮存器中存储关于所述多个数据获取单元的相关联传感器的元数据。
18.如权利要求17所述的方法，还包括：
由数据储存库从远程计算机设备接收传感器查询和分辨率请求；
由数据储存库基于存储在元数据贮存器中的元数据确定满足传感器查询的一个或多个传感器；
在接收到分辨率请求时由数据储存库从数据贮存器中取回对于满足传感器查询的所述一个或多个传感器的数据样本；以及
由数据储存库将接收到分辨率请求时取回的数据样本发送到远程计算机设备。
19.如权利要求17至18中任一项所述的方法，其中：
数据获取单元包括无线连接电路，用于在数据获取单元的无线连接时段期间将带时间戳的传感器数据样本无线地发送到数据储存库；以及
数据储存库包括在线数据储存库。
20.如权利要求19所述的方法，其中计算对于每个传感器的所述两个或更多个较低阶时间分辨率样本系列包括计算对于两个或更多个Nj的值的Nj个连续带时间戳的传感器数据的平均值，其中Nj＝P^j，其中P>1并且j是各自大于或等于一的至少两个不同的数字。
CN201780010357.XA 2016-05-26 2017-02-07 密集数据获取、存储和取回 Pending CN108770367A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662341938P 2016-05-26 2016-05-26
US62/341,938 2016-05-26
PCT/US2017/016833 WO2017204866A1 (en) 2016-05-26 2017-02-09 Dense data acquisition, storage and retrieval

Publications (1)

Publication Number Publication Date
CN108770367A true CN108770367A (zh) 2018-11-06

Family

ID=60411491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780010357.XA Pending CN108770367A (zh) 2016-05-26 2017-02-07 密集数据获取、存储和取回

Country Status (5)

Country Link
US (1) US20190090105A1 (zh)
EP (1) EP3414601A4 (zh)
JP (1) JP2019525274A (zh)
CN (1) CN108770367A (zh)
WO (1) WO2017204866A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112583114A (zh) * 2019-09-27 2021-03-30 太阳能安吉科技有限公司 监控电源设备的系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100211618A1 (en) * 2009-02-17 2010-08-19 Agilewaves, Inc. Efficient storage of data allowing for multiple level granularity retrieval
CN102859521A (zh) * 2010-04-30 2013-01-02 国际商业机器公司 数据库应用的集中控制
US20140140254A1 (en) * 2011-07-15 2014-05-22 Nokia Corporation Method and apparatus for distributing sensor data
CN104812099A (zh) * 2015-03-27 2015-07-29 湘潭大学 一种无线传感器网络中分辨率可调的数据可视化方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001026332A2 (en) * 1999-10-06 2001-04-12 Sensoria Corporation Apparatus for vehicle internetworks
US7111059B1 (en) * 2000-11-10 2006-09-19 Microsoft Corporation System for gathering and aggregating operational metrics
US6789046B1 (en) * 2000-12-05 2004-09-07 Microsoft Corporation Performance logging solution
WO2005069246A2 (en) * 2004-01-09 2005-07-28 United Parcel Service Of America, Inc. System, method and apparatus for collecting telematics and sensor information in a delivery vehicle
US20080256099A1 (en) * 2005-09-20 2008-10-16 Sterna Technologies (2005) Ltd. Method and System For Managing Data and Organizational Constraints
US7822697B2 (en) * 2006-09-29 2010-10-26 Globvision Inc. Method and apparatus for infrastructure health monitoring and analysis wherein anomalies are detected by comparing measured outputs to estimated/modeled outputs by using a delay
US7555412B2 (en) * 2007-02-09 2009-06-30 Microsoft Corporation Communication efficient spatial search in a sensor data web portal
US8777850B2 (en) * 2008-10-31 2014-07-15 Medtronic, Inc. Heart failure patient management using an implantable monitoring system
CN104040562A (zh) * 2012-04-12 2014-09-10 惠普发展公司，有限责任合伙企业 具有远焦光学系统的非接触式指纹识别系统
US20150087929A1 (en) * 2013-09-20 2015-03-26 Tuyymi Technologies LLC Method and System for Population Level Determination of Maximal Aerobic Capacity
IN2014MU00816A (zh) * 2014-03-11 2015-09-25 Tata Consultancy Services Ltd
US10496927B2 (en) * 2014-05-23 2019-12-03 DataRobot, Inc. Systems for time-series predictive data analytics, and related methods and apparatus
US20160223513A1 (en) * 2015-02-02 2016-08-04 Michael C. Belangie Repeatable and comparable inspeciton of concrete joints

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100211618A1 (en) * 2009-02-17 2010-08-19 Agilewaves, Inc. Efficient storage of data allowing for multiple level granularity retrieval
CN102859521A (zh) * 2010-04-30 2013-01-02 国际商业机器公司 数据库应用的集中控制
US20140140254A1 (en) * 2011-07-15 2014-05-22 Nokia Corporation Method and apparatus for distributing sensor data
CN104812099A (zh) * 2015-03-27 2015-07-29 湘潭大学 一种无线传感器网络中分辨率可调的数据可视化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUE YANG: "Design and Implementation of Largescale Wireless Sensor Networks for Environmental Monitoring Applications", 《DOCTOR OF PHILOSOPHY IN COMPUTER SCIENCE,TOULOUSE GRADUATE SCHOOL》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112583114A (zh) * 2019-09-27 2021-03-30 太阳能安吉科技有限公司 监控电源设备的系统和方法

Also Published As

Publication number Publication date
WO2017204866A8 (en) 2018-07-26
EP3414601A4 (en) 2019-09-04
WO2017204866A1 (en) 2017-11-30
EP3414601A1 (en) 2018-12-19
US20190090105A1 (en) 2019-03-21
JP2019525274A (ja) 2019-09-05

Similar Documents

Publication Publication Date Title
JP6225257B2 (ja) 関心ポイントのクラスタリング方法及び関連する装置
US9241240B2 (en) Techniques for server-controlled tiling of location-based information
JP2019061698A (ja) 経験上のエキスパートを判断する及び質問をルーティングするシステム及び方法
CN105103185A (zh) 日程偏离通知
CN105122848A (zh) 对环境位置更新进行分组
US20150154851A1 (en) System and method of filling in gaps in image data
Jahanian et al. A formalism for monitoring real-time constraints at run-time
CN104158885A (zh) 一种基于位置信息流式加载应用的方法和系统
CN111523031A (zh) 用于推荐兴趣点的方法和装置
CN102736122A (zh) 一种利用平板电脑进行测量和绘图的勘测方法
CN111526193A (zh) 基于雾计算和区块链平台的分布式气象站系统及工作方法
CN107534689A (zh) 使用户数据与移动设备关联的技术
WO2021124287A1 (en) Sharded storage of geolocated data with predictable query response times
CN108770367A (zh) 密集数据获取、存储和取回
JP2020173604A (ja) 撮影計画立案装置およびその方法
Xia et al. Application of wireless sensor network in smart buildings
CN105474301A (zh) 呈现与映射元素关联的摘要信息的系统和方法
JP2018197890A (ja) 判定装置、判定方法及び判定プログラム
Mitu et al. Low cost, easy-to-use, IoT and cloud-based real-time environment monitoring system using ESP8266 microcontroller
CN210952919U (zh) 一种室内外环境监测系统
Ma et al. A study of agricultural meteorological monitoring system based on wireless sensor networks
Pesko et al. Smartphone with augmented gateway functionality as opportunistic WSN gateway device
CN110455336A (zh) 一种室内外环境监测系统及其监测方法
Song et al. Using mobile GIS as volunteered GI provider
EP2846277A1 (en) Techniques for server-controlled tiling of location-based information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181106