[go: up one dir, main page]

CN106464287A - 在所记录的图像的元数据中嵌入来自可穿戴计算装置的生物计量数据 - Google Patents

在所记录的图像的元数据中嵌入来自可穿戴计算装置的生物计量数据 Download PDF

Info

Publication number
CN106464287A
CN106464287A CN201480078595.0A CN201480078595A CN106464287A CN 106464287 A CN106464287 A CN 106464287A CN 201480078595 A CN201480078595 A CN 201480078595A CN 106464287 A CN106464287 A CN 106464287A
Authority
CN
China
Prior art keywords
image
biometric data
computing device
wearable computing
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480078595.0A
Other languages
English (en)
Other versions
CN106464287B (zh
Inventor
A·大冶
N·巴尔桑吉
M·阿塔利亚尼
M·延森
R·特拉·里奥斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106464287A publication Critical patent/CN106464287A/zh
Application granted granted Critical
Publication of CN106464287B publication Critical patent/CN106464287B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

根据由成像装置实施的示例性方法,记录了可穿戴计算装置所固定于的对象的图像。响应于该记录,成像装置从可穿戴计算装置无线地接收数据。该数据包括可穿戴计算装置的标识符和对象的生物计量数据。该标识符和该生物计量数据作为元数据被嵌入在所记录的图像中。

Description

在所记录的图像的元数据中嵌入来自可穿戴计算装置的生物 计量数据
技术领域
本公开涉及生物计量数据,更具体地涉及在所记录的图像的元数据中嵌入生物计量数据。
背景技术
可穿戴计算装置变得越来越流行,并且在一些情况下用作智能电话的配套装置。具体地,一些可穿戴计算装置用于各种健康监测应用。这种“生命记录器”装置包括感测用户移动的加速计,其充当用于各种健康计算的基础(例如,所行走距离、所燃烧的卡路里量、所爬楼层数、活动持续时间和强度等)。这种计算可以在一时间段累积,然后发送到计算装置(例如,智能电话或桌上型计算机),以便长期储存。然而,这种数据仅用于健康目的。
发明内容
根据本公开的一个方面,由成像装置实施的一种方法。成像装置记录可穿戴计算装置所固定于的对象的图像。响应于记录,数据从可穿戴计算装置无线地接收,数据包括可穿戴计算装置的标识符和对象的生物计量数据。标识符和生物计量数据作为元数据嵌入在所记录的图像中。
生物计量数据可以包括例如,生物计量数据服务器的地址(从该地址可以基于装置标识符获得对象的生物计量数据)、由可穿戴计算装置记录的一个或更多个传感器读数、或从由所述可穿戴计算装置记录的传感器读数得到的一个或更多个情绪指示信息。
在一些实施方式中,确定对象在图像内的位置(例如,使用面部识别算法),并且所确定的位置还作为元数据嵌入在所记录的图像中。
根据本公开的另一个方面,由媒体服务器实施的一种方法。媒体服务器获得对象的图像,并且根据图像中嵌入的元数据确定时间戳和装置标识符。请求向生物计量数据服务器发送,以获得生物计量数据,请求包括时间戳和装置标识符。响应于发送,接收生物计量数据,生物计量数据包括如图像中描绘的、用于对象的情绪指示。图像和情绪指示链接到与装置标识符关联的用户账户。
在一些实施方式中,对象的位置包括在图像中所嵌入的元数据中,并且位置还链接到用户账户。
在一些实施方式中,媒体服务器还被构造成接收对于对象的其中以指定情绪描绘了该对象的图像的用户请求,确定对象的一组图像,在该一组图像中以该指定情绪描绘了该对象,并且作为对用户请求的响应发送所述一组图像的指示。
根据本公开的另一个方面,一种成像装置包括:摄像头,和一个或更多个处理电路,该一个或更多个处理电路被构造成使用摄像头来记录可穿戴计算装置所固定于的对象的图像。一个或更多个处理电路还被构造成响应于记录,从可穿戴计算装置无线地接收数据。数据包括可穿戴计算装置的标识符和对象的生物计量数据。一个或更多个处理电路还被构造成将标识符和生物计量数据作为元数据嵌入在所记录的图像中。
生物计量数据可以包括例如,生物计量数据服务器的地址,基于装置标识符可以从该生物计量数据服务器取得对象的生物计量数据)、由可穿戴计算装置记录的一个或更多个传感器读数、或从由所述可穿戴计算装置记录的传感器读数得到的一个或更多个情绪指示信息。
在一些实施方式中,成像装置的一个或更多个处理电路还被构造成确定对象在图像内的位置(例如,使用面部识别算法),并且所确定的位置作为元数据嵌入在所记录的图像中。
根据本公开的另一个方面,媒体服务器包括收发器电路,并且还包括一个或更多个处理电路,该一个或更多个处理电路一个或更多个处理电路被构造成经由收发器电路获得对象的图像。一个或更多个处理电路还被构造成根据所述图像中嵌入的元数据确定时间戳和装置标识符,并且向生物计量数据服务器发送请求以获得生物计量数据。请求包括时间戳和装置标识符。一个或更多个处理电路还被构造成响应于发送,接收包括对象的情绪指示的生物计量数据,并且将图像和情绪指示链接到与装置标识符关联的用户账户。
在一些实施方式中,将对象的位置包括在图像中所嵌入的元数据中,并且位置也被链接到用户账户。
在一些实施方式中,媒体服务器的一个或更多个处理电路还被构造成:接收对于图像的其中以指定情绪描绘了对象的用户请求,确定对象的一组图像,在该一组图像中以该指定情绪描绘了该对象,并且作为对用户请求的响应发送该一组图像的指示。
附图说明
图1例示了用于与由可穿戴计算装置所固定于的对象的成像装置记录的图像结合利用来自那些可穿戴计算装置的生物计量数据的示例性系统。
图2例示了包括各佩带可穿戴计算装置的两个对象的示例性场景。
图3例示了描绘了图2的场景的所记录图像。
图4是与在所记录的图像中嵌入一个或两个对象的生物计量数据结合、由各种装置执行的信号传递(signaling)的示例性图。
图5例示了由根据一个实施方式的图1的系统的成像装置所执行的示例性处理操作。
图6例示了根据一个实施方式的图1的系统的媒体服务器所执行的示例性处理操作。
图7是与在所记录的图像中嵌入一个或两个对象的生物计量数据结合、由各种装置执行的信号传递(signaling)的示例性图。
图8是示例性成像装置的框图。
图9是示例性可穿戴计算装置的框图。
图10是示例性媒体服务器的框图。
图11是示例性生物计量数据服务器的框图。
具体实施方式
本公开描述了用于在图像的元数据中嵌入所记录图像中描绘的对象的生物计量数据并且随后将相同或相关的生物计量数据链接到对象的用户账户(例如,社交媒体账户)的方法和相关设备。生物计量数据基于来自由图像中的对象佩带的可穿戴计算装置的传感器测量。这种测量可以包括体温、心率、血压等。在一个或更多个实施方式中,链接到用户账户的生物计量数据是从可穿戴计算装置的测量得到的情绪指示。这种技术可以用于使得照片的对象能够在日后(例如,借助社交媒体网站)看照片时查找他们自身的生物计量数据,和/或查找以指定情绪描绘的照片。
图1例示了用于与由那些可穿戴计算装置所固定于的对象的成像装置10记录的图像结合利用来自可穿戴计算装置12的生物计量数据的示例性系统。该系统包括成像装置10、一个或更多个可穿戴计算装置12、媒体服务器14以及经由分组数据网络18(例如,因特网)进行通信的生物计量数据服务器16。在一些实施方式中,来自可穿戴计算装置12的数据经由中间装置(例如,与可穿戴计算装置12配对的智能电话、或可穿戴计算装置12所连接到的、用于数据同步的膝上型计算机)在分组数据网络18上发送。以类似方式,成像装置12还可以使用中间装置(例如,膝上型计算机或桌上型计算机),以借助分组数据网络18上传图像(例如,如果成像装置10是数字摄像头)。
各个可穿戴计算装置12被构造成记录可穿戴装置12的对象的生物计量数据(例如,体温、心率、血压等)。成像装置10可以包括各种成像装置,包括摄像头(例如,智能电话、平板电脑、数字摄像头、视频摄像头、膝上型计算机等)。媒体服务器14存储由成像装置10记录的图像,并且生物计量数据服务器16存储由可穿戴计算装置12记录的生物计量数据。通过使用合适的时间戳和装置标识符,可穿戴计算装置12的生物计量数据可以链接到描绘了可穿戴装置12的对象的图像。
图2例示了人20使用成像装置10记录对象22A和22B的照片的场景的描绘。对象22A、22B中的每一个正佩带各自的可穿戴计算装置12A、12B。成像装置10被构造成与可穿戴计算装置12A-12B无线通信,以获得用于对象22A-22B的生物计量数据。图3例示了图1的场景的所记录的图像30,其中描绘了对象22A、22B。对象22A-22B的面部表情表明对象22A不高兴而对象22B高兴。如下面所讨论的,来自可穿戴计算装置12A-12B的生物计量数据可以用于可靠地确定对象22A-22B的情绪。
图4例示了与在图像30中嵌入对象22中的一个或两者的生物计量数据结合、由摄像头10、可穿戴计算装置12、媒体服务器14和生物计量数据服务器16执行的信号传递的示例性图100。为了下面进行讨论,将讨论包括单个对象22和可穿戴计算装置12的简化示例。在成像装置10与可穿戴计算装置12之间(102)发生握手(handshake)。作为信号交换102的一部分,从成像装置10向可穿戴计算装置12发送照片通知,该通知包括成像装置的标识符(“camera_ID”)(104)。照片响应106基于104的通知被接收,其包括可穿戴计算装置12的标识符(“device_ID”)、生物计量数据服务器16的地址(“BM_SRVR_address”)和描绘佩带可穿戴计算装置12的对象22的面部的基准图像(“ref_img”)。
记录对象22中的一个的图像(108)。成像装置10执行面部识别算法,以确定对象22在图像内的坐标(110)。device_ID、BM_SRVR_address和对象的所确定坐标被添加于所记录图像的元数据(112)。在一个或更多个实施方式中,这些项与图像的现有元数据(例如,图像时间戳、快门速度、孔径、透镜焦距等)一起嵌入。
可穿戴计算装置12记录来自一个或更多个装置传感器的对象22的生物计量数据(114),并且向生物计量数据服务器16上传生物计量数据以及device_ID和指示何时记录生物计量数据的生物计量时间戳(116)。成像装置10向媒体服务器14上传图像和其嵌入的元数据(其包括来自112的项和图像时间戳)(118)。
媒体服务器14基于BM_SRVR_address向生物计量数据服务器16发送生物计量数据请求(120)。在一个或更多个实施方式中,BM_SRVR_address是生物计量数据服务器16的因特网协议(IP)地址。该请求包括device_ID、和记录图像时的时间戳。生物计量数据服务器16接收该请求,并且作为响应基于生物计量时间戳和图像时间戳的比较来查找从可穿戴计算装置12上传的生物计量数据(122)。在一个或更多个实施方式中,这涉及匹配时间戳阈值内的时间戳(例如,以数秒的数量级),以确保实际获得到的生物计量数据对应于考虑之中的图像。
生物计量数据服务器16基于生物计量数据确定用户情绪指示(124),并且向媒体服务器14发送包括情绪指示的生物计量数据响应(126)。媒体服务器14将图像、对象的坐标和情绪指示链接到与device_ID关联的用户账户。
图100中信号传递的执行可以用于使得对象22能够在日后看图像时查找自己的生物计量数据(例如,以情绪指示的形式)(128)。在相同或另一个实施方式中,图100中所示的信号传递的执行可以用于使得用户能够基于其情绪来搜索自己的图像(例如,提供自己被确定为高兴情绪的所有图像)。例如,如果媒体服务器14是社交媒体平台的一部分,则与情绪数据一起存储的图像可以提供在社交媒体应用和/或网站内。
图100的信号传递可以为多个对象22A-22B同时执行,使得所记录图像30的元数据包括用于各个装置12A-12B的装置ID、各个对象22A-22B的坐标、以及可能甚至多个生物计量数据服务器地址(例如,每个装置12一个)。随后,用于各个各自对象22A-22B的坐标和生物计量数据可以链接到用于该对象的各自用户账户(例如,社交媒体账户)。
用户情绪指示的确定可以基于多个情绪规则和/或各种情绪向各项生物计量数据的映射。例如,各种情绪可以映射到生物计量数据的各种组合、和/或各种生物计量数据范围。一些示例性情绪可以包括高兴、悲伤、激动、放松、焦虑、紧张、满意等。也可以有情绪的交叠。例如,对象可以同时高兴和激动,或可以是同时高兴和放松。
在一个或更多个实施方式中,照片通知104响应于成像装置10聚焦于考虑之中的对象(例如,借助成像装置10的自动聚焦特征)而执行。
图4中以斜体示出的项是可选的,并且可以不包括在一些实施方式中。由此,在一个或更多个实施方式中,可以省略定位确定110,并且还可以省略106中基准图像的包括和128的链接中的坐标。
在一些实施方式中,成像装置10提供用于接受或拒绝从可穿戴计算装置12接收的照片响应的特征。如果省略上面讨论的定位确定特征,或者如果支持定位但未识别出从可穿戴计算装置12接收的基准图像(例如,如果可穿戴装置12的对象背朝成像装置10),则这可能是有用的。如果照片响应从作为陌生人且其生物计量数据是期望的照片的背景中个体接收,则这还可能是有用的。根据这种特征,成像装置10的用户接口可以要求在接受来自一个或更多个可穿戴计算装置12的照片响应之前(例如,在来自这种响应的生物计量数据包括在所嵌入元数据中之前),提示成像装置10的操作者进行确认。
在图4以及这里的其他附图中,可以的是,如顺序执行所示的动作可以同时或以不同顺序执行。例如,在一个或更多个实施方式中,图4的图像和元数据的上传(118)可以与图4的生物计量数据上传(116)同时或甚至在其之前发生。作为另一个示例,基于生物计量数据确定情绪指示(124)可以在接收生物计量数据请求(120)之前执行。由此,除非以其他方式指示,理解的是,这里描绘的各种动作可以以其他顺序执行。
图5例示了由根据一个实施方式的成像装置10所执行的示例性处理操作200。成像装置10记录可穿戴计算装置被固定于的对象22的图像(框202)。响应于记录,成像装置10从可穿戴计算装置12无线地接收数据(框204),数据包括可穿戴计算装置12的标识符和对象22的生物计量数据(例如,“BM_SRVR_address”)。成像装置在所记录的图像30中嵌入标识符和生物计量数据,作为元数据(框206)。
在一个或更多个实施方式中,框202的记录包括向可穿戴计算装置发送对于生物计量数据的请求(参见例如,图3的请求104)。可选地,成像装置10还可以估计对象在图像30内的位置,并且在所记录的图像中嵌入位置的指示,作为元数据。位置估计可以通过从可穿戴计算装置12接收对象22的面部的基准图像(“ref_img”)并且执行面部识别算法以基于基准图像确定对象在所记录图像内的位置来执行。
图6例示了由根据一个实施方式的媒体服务器14执行的示例性处理操作300。获得对象22A的图像30的媒体服务器14(框302)根据图像30中嵌入的元数据来确定时间戳和装置标识符(device_ID),并且向生物计量数据服务器16发送请求以获得生物计量数据(框306)。框306的请求包括时间戳和装置标识符。响应于发送,媒体服务器14接收包括针对对象的情绪指示的生物计量数据(框308),并且将图像和情绪指示链接到与装置标识符关联的用户账户(框310)。这可以是例如社交媒体账户。
在一个或更多个实施方式中,媒体服务器14被进一步构造成根据图像30中嵌入的附加元数据来确定对象在图像30内的位置。在这种实施方式中,将图像30和情绪指示链接到与装置标识符关联的用户账户还包括将对象在图像30内的位置链接到用户账户。
在一个或更多个实施方式中,媒体服务器14可以包括基于情绪指示的搜索和/或过滤特征。例如,在一个实施方式中,媒体服务器14接收对于对象的以指定情绪描绘了对象的图像的用户请求(例如,“提供我‘高兴’的图片”),并且基于该用户请求,媒体服务器14确定对象的一组图像,在该一组图像中以该指定情绪描绘了该对象。然后作为对用户请求的响应,发送所述一组图像的指示。
在图4的示例性图100中,被可穿戴计算装置12返回的生物计量数据包括生物计量数据服务器16的地址(“BM_SRVR_address”),从该生物计量数据服务器16基于装置标识符(“device_ID”)可以获得对象22的生物计量数据。在其他实施方式中(诸如图7的那些),生物计量数据包括由可穿戴就计算装置12记录的传感器读数和/或从由可穿戴计算装置12记录的这种传感器读数得到的一个或更多个情绪指示。
现在参照图7,示出了由摄像头10、可穿戴计算装置12和媒体服务器14执行的信号传递的图400,其中省略了生物计量数据服务器16。为了下面讨论,将讨论包括单个对象22和可穿戴计算装置12的简化示例。信号交换发生在成像装置10与可穿戴计算装置12之间(402)。作为信号交换402的一部分,从摄像头10向可穿戴计算装置12发送照片通知,该通知包括成像装置的标识符(“camera_ID”)(404)。基于404的通知照片响应406被接收,该照片响应包括可穿戴计算装置12的标识符(“device_ID”)、和描绘佩带可穿戴计算装置12的对象22的面部的基准图像(“ref_img”)。记录对象22中的一个的图像(408),并且可穿戴计算装置12从一个或更多个装置传感器记录对象22的生物计量数据(410)。
成像装置10执行面部识别算法,以确定对象22A在图像内的坐标(412)。可穿戴计算装置12基于生物计量数据来确定用户情绪指示(414),并且向包括device_ID和情绪指示的成像装置10提供生物计量响应(416)。成像装置10向所记录图像的元数据添加device_ID、情绪指示和所确定坐标(418)。在一个或更多个实施方式中,这些项目与图像的现有元数据(例如,图像时间戳、快门速度、孔径、透镜焦距等)一起嵌入。
成像装置10向媒体服务器14上传图像及其嵌入的元数据(420)。媒体服务器14将图像、对象的坐标和情绪指示链接到与device_ID关联的用户账户(422)。由此,不是依赖于生物计量数据服务器16以存储所记录的生物计量数据并进行情绪指示,而是情绪指示由可穿戴计算装置12确定并且嵌入到所记录的图像的元数据中。
与图4的实施方式相同,图7中以斜体示出的项是可选的,并且可以不包括在一些实施方式中。由此,在一个或更多个实施方式中,可以省略定位确定412,并且还可以省略406中基准图像的包括和422的链接中的坐标。
而且,可以的是,如图7中随后执行所示的动作可以同时或以不同顺序执行。例如,动作410、414可以在动作412之后发生。
图100中所示的信号传递可以为多个对象22A-22B同时执行,使得所记录图像30的元数据包括用于各个装置12A-12B的装置ID、各个对象22A-22B的坐标和用于各个对象22A-22B的情绪指示。随后,用于各个各自对象22A-22B的坐标和生物计量数据可以链接到用于该对象的各自用户账户(例如,社交媒体账户)。
与图4的示例相同,用户情绪指示的确定可以基于多个情绪规则和/或各种情绪对生物计量数据的各项的映射。而且,可以包括用于接受或拒绝从可穿戴计算装置12接收的照片响应的特征。
在图7的信号传递的一个实施方案中,可穿戴计算装置不执行动作414。相反,原传感器数据向成像装置10发送,并且由成像装置10或媒体服务器14执行414的确定。
图8是可以用作图1的成像装置10的示例性成像装置500的框图。成像装置500包括一个或更多个处理电路(被示出为处理器502)(包括例如,一个或更多个微处理器、微控制器、专用集成电路(ASIC)等),该一个或更多个处理电路被构造有合适的软件和/或固件,以执行上面讨论的技术中的一个或更多个(例如,图4、图5和图7中的那些)。成像装置500还包括摄像头508,其可以包括成像传感器电路和用于记录图像的透镜。处理器502被构造成使用摄像头508,以记录可穿戴计算装置600所固定于的对象22的图像(参见图9)。处理器502被进一步构造成响应于记录,从可穿戴计算装置600无线地接收数据,数据包括可穿戴计算装置600的标识符和对象22的生物计量数据。处理电路502还被构造成在所记录的图像中嵌入标识符和生物计量数据,作为元数据。
成像装置500还包括永久计算机可读存储介质(被示出为存储器电路506),用于存储所记录的图像(例如,图像30)并且用于存储如上面讨论的构成处理器502的指令(例如,配置成像装置以实施上述技术中的一个或更多个的计算机程序产品)。成像装置500还包括通信接口电路504、电子显示器510和用户接口512。
通信接口电路504被构造成使用蓝牙(例如,蓝牙版本4和/或低功耗蓝牙“BLE”)、一个或更多个基于802.11的标准、一个或更多个蜂窝通信标准(例如,GSM、WCDMA、LTE、WiMax等)或其组合进行通信。通信接口电路504帮助成像装置500、分开的可穿戴计算装置600与媒体服务器700之间的通信(参见图10)。电子显示器510可以用于例如显示所记录的图像和/或接受/拒绝来自可穿戴计算装置的生物计量数据。用户接口512可以包括一个或更多个按钮,或者可以与电子显示器510一体,以提供例如触摸屏接口。
虽然图1中所示的成像装置10是移动计算装置10(例如,智能电话或平板计算机),但理解的是这些是非限制性示例,并且成像装置500可以反而是例如膝上型计算机、数字摄像头、或视频摄像头。
在一些实施方式中,成像装置500可操作,以与媒体服务器14直接通信。然而,在其他实施方式中,可以使用中间装置。例如,如果成像装置是数字摄像头,则照片可以累积在存储卡上,并且可以经由膝上型计算机或桌上型计算机上传到媒体服务器700。
图9是可以用作图1的可穿戴计算装置12中的一个或更多个的示例性可穿戴计算装置600的框图。可穿戴计算装置600包括一个或更多个处理电路(被示出为处理器602)(包括例如,一个或更多个微处理器、微控制器、专用集成电路(ASIC)等),该一个或更多个处理电路被配置有合适的软件和/或固件,以执行上面讨论的技术中的一个或更多个。可穿戴计算装置600还包括永久计算机可读储存介质(被示出为存储器电路606),用于存储从这种生物计量数据得到的所记录的生物计量数据和/或情绪指示。
成像装置600还包括通信接口电路604,其被构造成与成像装置500无线通信。通信接口电路可以使用例如蓝牙(例如,蓝牙版本4和/或低功耗蓝牙“BLE”)、一个或更多个基于802.11的标准、一个或更多个蜂窝通信标准(例如,GSM、WCDMA、LTE、WiMax等)或其组合,以与成像装置500执行通信。
在一些实施方式中,可穿戴计算装置500可操作,以与生物计量数据服务器800通信(参见图11)。在一些实施方式中,这种通信可以在可穿戴计算装置600与生物计量数据服务器600之间直接执行。在一些实施方式中,可以使用中间装置。在一个这种实施方式中,可穿戴计算装置600累积一时间段(例如,分钟、小时、或天)的生物计量数据,然后向计算装置周期性发送所累积的生物计量数据,客户端应用用于使用图1未示出的装置(例如,对对象22进行拍照的膝上型计算机或智能电话)上传到生物计量数据服务器800。
可穿戴计算装置600还包括用于记录生物计量数据的一个或更多个传感器608。这可以包括体温传感器、心率传感器、血压传感器、汗水盐度传感器等中的一个或更多个。当然,理解的是,这些仅是非限制性示例,并且可以使用其他类型的传感器。
图10是可以用作图1的媒体服务器14的示例性媒体服务器700的框图。媒体服务器700包括一个或更多个处理电路(被示出为处理器702)(包括例如,一个或更多个微处理器、微控制器、专用集成电路(ASIC)等),该一个或更多个处理电路被配置有合适的软件和/或固件,以执行上面讨论的技术中的一个或更多个(例如,图4、图6和图7中的那些)。媒体服务器700还包括永久计算机可读存储介质(被示出为存储器706),其存储如上面讨论配置处理器702的指令(例如,配置处理器媒体服务器700以实施上面讨论的技术中的一个或更多个的计算机程序产品)。
处理器702被构造成经由通信接口电路704获得对象的图像,并且根据图像中嵌入的元数据来确定时间戳和装置标识符。处理器702还被构造成向生物计量数据服务器800发送请求,以获得生物计量数据,请求包括时间戳和装置标识符。处理器702还被构造成响应于发送,接收包括用于对象的情绪指示的生物计量数据。处理器702被进一步构造成将图像和情绪指示链接到与装置标识符关联的用户账户。
媒体数据库708存储从成像装置500接收的图像(例如,图像30)和与图像中的对象关联的生物计量数据。在一个或更多个实施方式中,媒体服务器700与社交媒体网站或使得能够在多个用户之中共享所存储图像的应用结合使用。在一个或更多个实施方式中,图像和情绪指示链接到的用户账户是社交媒体用户账户,并且链接充当将图像标有用户的账户和情绪指示的标签。
通信接口电路704可以使用例如蓝牙、一个或更多个基于802.11的标准、一个或更多个蜂窝通信标准(例如,GSM、WCDMA、LTE、WiMax等)或其组合,以与成像装置500生物计量数据服务器800执行通信。
图11是可以用作图1的生物计量数据服务器16的示例性生物计量数据服务器800的框图。生物计量数据服务器800包括一个或更多个处理电路(被示出为处理器802)(包括例如,一个或更多个微处理器、微控制器、专用集成电路(ASIC)等),该一个或更多个处理电路被配置有合适的软件和/或固件,以执行上面讨论的技术中的一个或更多个。
由此,处理器802被构造成从可穿戴计算装置600接收生物计量数据,并且在生物计量数据数据库808中存储数据。处理器802被构造成基于生物计量时间戳和图像时间戳的比较查找从可穿戴计算装置12上传的生物计量数据(参见图4中的122)。在一个或更多个实施方式中,这涉及匹配时间戳阈值内的时间戳(例如,以数秒的数量级),以确保实际获得到的生物计量数据对应于考虑之中的图像。
处理器802还被构造成基于用于图像的所存储生物计量数据来确定用户情绪指示。如上面所讨论的,用户情绪指示的确定可以基于多个情绪规则和/或各种情绪对各项生物计量数据的映射。例如,各种情绪可以映射到生物计量数据的各种组合和/或各种生物计量数据范围。一些示例性情绪可以包括高兴、悲伤、激动、放松、焦虑、紧张、满意等。还可以有情绪的交叠。例如,对象可以同时高兴和激动,或可以是同时高兴和放松。
生物计量数据服务器800还包括永久计算机可读存储介质(被示出为存储器电路806),其存储如上面讨论配置处理器802的指令(例如,配置处理器802以实施上述技术中的一个或更多个的计算机程序产品)。生物计量数据服务器800还包括通信接口电路804,其被构造成与可穿戴计算装置600和媒体服务器700通信。通信接口电路可以使用例如蓝牙、一个或更多个基于802.11的标准、一个或更多个蜂窝通信标准(例如,GSM、WCDMA、LTE、WiMax等)或其组合。
虽然可穿戴装置12已经被例示为佩带在用户的手腕周围(所谓的“腕带”),但理解的是,这仅是非限制性示例,并且可以使用其他类型的可穿戴计算装置(例如,项链、戒指、诸如眼镜的头戴式装置、传感器中内置的衣服等)。而且,虽然已经示出人体对象,但理解的是,情绪可以针对非人类(例如,宠物或其他动物)确定。
本公开当然可以以除了这里具体阐述的其他方式执行,而不偏离本公开的基本特性。本实施方式在所有方面中被认为是例示性和未限制性的,并且所附权利要求的含义和等同范围内的所有变化旨在包括在其中。

Claims (20)

1.一种由成像装置实施的方法,所述方法的特征在于:
记录可穿戴计算装置被固定于的对象的图像;
响应于所述记录,从所述可穿戴计算装置无线地接收数据,所述数据包括所述可穿戴计算装置的标识符和所述对象的生物计量数据;以及
将所述标识符和所述生物计量数据作为元数据嵌入在所记录的图像中。
2.根据权利要求1所述的方法,其中,记录所述图像的步骤的特征在于:向所述可穿戴计算装置发送对于生物计量数据的请求。
3.根据权利要求1-2中任一项所述的方法,其中,所述生物计量数据包括生物计量数据服务器的地址,从该生物计量数据服务器基于所述装置标识符能够获得所述对象的生物计量数据。
4.根据权利要求1-2中任一项所述的方法,其中,所述生物计量数据包括由所述可穿戴计算装置记录的一个或更多个传感器读数。
5.根据权利要求1-2中任一项所述的方法,其中,所述生物计量数据包括从由所述可穿戴计算装置记录的传感器读数得到的一个或更多个情绪指示信息。
6.根据权利要求1-5中任一项所述的方法,所述方法的进一步特征在于:
估计所述对象在所记录的图像内的位置;以及
将所述位置的指示作为元数据嵌入在所记录的图像中。
7.根据权利要6所述的方法,其中,估计所述对象在所记录的图像内的位置的步骤的特征在于:
从所述可穿戴计算装置接收所述对象的面部的基准图像;以及
执行面部识别算法,以基于所述基准图像确定所述对象在所述记录的图像内的所述位置。
8.一种由媒体服务器实施的方法,所述方法的特征在于:
获得对象的图像;
根据所述图像中嵌入的元数据确定时间戳和装置标识符;
向生物计量数据服务器发送请求以获得生物计量数据,所述请求包括所述时间戳和所述装置标识符;
响应于所述发送,接收生物计量数据,该生物计量数据包括针对如所述图像中描绘的所述对象的情绪指示;以及
将所述图像和所述情绪指示链接到与所述装置标识符关联的用户账户。
9.根据权利要求8所述的方法,所述方法的进一步地特征在于:
根据所述图像中嵌入的附加元数据来确定所述对象在所述图像内的位置;
其中,将所述图像和所述情绪指示链接到与所述装置标识符关联的用户账户的步骤还包括将所述对象在所述图像内的位置链接到所述用户账户。
10.根据权利要求8-9中任一项所述的方法,所述方法的进一步地特征在于:
接收对于所述对象的其中以指定情绪描绘了所述对象的图像的用户请求;
基于所述用户请求,确定所述对象的一组图像,在该一组图像中以所述指定情绪描绘了所述对象;以及
作为对所述用户请求的响应,发送所述一组图像的指示。
11.一种成像装置,所述成像装置的特征在于:
摄像头;以及
一个或更多个处理电路,该一个或更多个处理电路被构造成:
使用可穿戴计算装置被固定于的对象的所述摄像头来记录图像;
响应于所述记录,从所述可穿戴计算装置无线地接收数据,所述数据包括所述可穿戴计算装置的标识符和所述对象的生物计量数据;以及
将所述标识符和所述生物计量数据作为元数据嵌入在所记录的图像中。
12.根据权利要求11所述的成像装置,其中,为了记录所述图像,所述一个或更多个处理电路被构造成向所述可穿戴装置发送对于生物计量数据的请求。
13.根据权利要求11-12中任一项所述的成像装置,其中,所述生物计量数据包括生物计量数据服务器的地址,从该生物计量数据服务器基于所述装置标识符能够获得所述对象的生物计量数据。
14.根据权利要求11-12中任一项所述的成像装置,其中,所述生物计量数据包括由所述可穿戴计算装置记录的一个或更多个传感器读数。
15.根据权利要求11-12中任一项所述的成像装置,其中,所述生物计量数据包括从由所述可穿戴计算装置记录的传感器读数得到的一个或更多个情绪指示信息。
16.根据权利要求11-15中任一项所述的成像装置,其中,所述一个或更多个处理电路被进一步构造成:
估计所述对象在所记录的图像内的位置;以及
将所述位置的指示作为元数据嵌入在所记录的图像中。
17.根据权利要求16所述的成像装置,其中,为了估计所述对象在所记录的图像内的位置,所述一个或更多个处理电路被构造成:
从所述可穿戴计算装置接收所述对象的面部的基准图像;以及
执行面部识别算法,以基于所述基准图像确定所述对象在所记录的图像内的所述位置。
18.一种媒体服务器,该媒体服务器的特征在于:
通信接口;以及
一个或更多个处理电路,该一个或更多个处理电路被构造成:
经由所述通信接口获得对象的图像;
根据所述图像中嵌入的元数据确定时间戳和装置标识符;
向生物计量数据服务器发送请求以获得生物计量数据,所述请求包括所述时间戳和所述装置标识符;
响应于所述发送,接收生物计量数据,该生物计量数据包括针对如所述图像中描绘的所述对象的情绪指示;以及
将所述图像和所述情绪指示链接到与所述装置标识符关联的用户账户。
19.根据权利要求18中任一项所述的媒体服务器,其中,所述一个或更多个处理电路被进一步构造成:
根据所述图像中嵌入的附加元数据来确定所述对象在所述图像内的位置;以及
将所述对象在所述图像内的位置链接到所述用户账户。
20.根据权利要求18-19中任一项所述的媒体服务器,其中,所述一个或更多个处理电路被进一步构造成:
接收对于所述对象的其中以指定情绪描绘了所述对象的图像的用户请求;
基于所述用户请求,确定所述对象的一组图像,在该一组图像中以所述指定情绪描绘了所述对象;以及
作为对所述用户请求的响应发送所述一组组图像的指示。
CN201480078595.0A 2014-05-05 2014-05-05 成像装置以及由成像装置实施的方法 Expired - Fee Related CN106464287B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2014/061219 WO2015170138A1 (en) 2014-05-05 2014-05-05 Embedding biometric data from a wearable computing device in metadata of a recorded image

Publications (2)

Publication Number Publication Date
CN106464287A true CN106464287A (zh) 2017-02-22
CN106464287B CN106464287B (zh) 2019-10-25

Family

ID=50842290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480078595.0A Expired - Fee Related CN106464287B (zh) 2014-05-05 2014-05-05 成像装置以及由成像装置实施的方法

Country Status (4)

Country Link
US (1) US9594403B2 (zh)
EP (1) EP3140913B1 (zh)
CN (1) CN106464287B (zh)
WO (1) WO2015170138A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087042A (zh) * 2019-05-08 2019-08-02 深圳英飞拓智能技术有限公司 一种实时同步视频流和元数据的人脸抓拍方法及系统
CN114079730A (zh) * 2020-08-19 2022-02-22 华为技术有限公司 一种拍摄方法和拍摄系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104320163B (zh) * 2014-10-10 2017-01-25 安徽华米信息科技有限公司 一种通讯方法及装置
US9686499B2 (en) * 2015-09-29 2017-06-20 International Business Machines Corporation Photo tagging with biometric metadata generated by smart textiles
US20190207889A1 (en) * 2018-01-03 2019-07-04 International Business Machines Corporation Filtering graphic content in a message to determine whether to render the graphic content or a descriptive classification of the graphic content
US11336968B2 (en) 2018-08-17 2022-05-17 Samsung Electronics Co., Ltd. Method and device for generating content
CN118918145A (zh) * 2024-08-02 2024-11-08 深圳正指向科技有限公司 一种适应性低功耗位置跟踪方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101057491A (zh) * 2004-11-12 2007-10-17 伊斯曼柯达公司 具有生物统计读取器的无线图像拍摄装置
US20100033303A1 (en) * 2008-08-09 2010-02-11 Dugan Brian M Systems and methods for providing biofeedback information to a cellular telephone and for using such information
CN102586404A (zh) * 2011-01-07 2012-07-18 同济大学 一种特异检测ApoE4基因型的试剂盒及其应用
US20120321143A1 (en) * 2011-06-17 2012-12-20 Microsoft Corporation Broadcast Identifier Enhanced Facial Recognition of Images
CN103021136A (zh) * 2012-12-24 2013-04-03 电子科技大学 一种基于物联网的游泳池溺水监控系统及监控方法
CN103607538A (zh) * 2013-11-07 2014-02-26 北京智谷睿拓技术服务有限公司 拍摄方法及拍摄装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009130384A (ja) * 2007-11-19 2009-06-11 Dainippon Printing Co Ltd 画像生成装置及び認証画像
US10217085B2 (en) * 2009-06-22 2019-02-26 Nokia Technologies Oy Method and apparatus for determining social networking relationships
US8666672B2 (en) 2009-11-21 2014-03-04 Radial Comm Research L.L.C. System and method for interpreting a user's psychological state from sensed biometric information and communicating that state to a social networking site
EP2717761A1 (en) * 2011-06-10 2014-04-16 Aliphcom Spacial and temporal vector analysis in wearable devices using sensor data
US20140089672A1 (en) 2012-09-25 2014-03-27 Aliphcom Wearable device and method to generate biometric identifier for authentication using near-field communications
US8849819B2 (en) * 2011-08-05 2014-09-30 Deacon Johnson System and method for controlling and organizing metadata associated with on-line content
US20150085146A1 (en) * 2013-09-23 2015-03-26 Nvidia Corporation Method and system for storing contact information in an image using a mobile device
US20150169832A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte, Ltd. Systems and methods to determine user emotions and moods based on acceleration data and biometric data
US20150178915A1 (en) * 2013-12-19 2015-06-25 Microsoft Corporation Tagging Images With Emotional State Information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101057491A (zh) * 2004-11-12 2007-10-17 伊斯曼柯达公司 具有生物统计读取器的无线图像拍摄装置
US20100033303A1 (en) * 2008-08-09 2010-02-11 Dugan Brian M Systems and methods for providing biofeedback information to a cellular telephone and for using such information
CN102586404A (zh) * 2011-01-07 2012-07-18 同济大学 一种特异检测ApoE4基因型的试剂盒及其应用
US20120321143A1 (en) * 2011-06-17 2012-12-20 Microsoft Corporation Broadcast Identifier Enhanced Facial Recognition of Images
CN103021136A (zh) * 2012-12-24 2013-04-03 电子科技大学 一种基于物联网的游泳池溺水监控系统及监控方法
CN103607538A (zh) * 2013-11-07 2014-02-26 北京智谷睿拓技术服务有限公司 拍摄方法及拍摄装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087042A (zh) * 2019-05-08 2019-08-02 深圳英飞拓智能技术有限公司 一种实时同步视频流和元数据的人脸抓拍方法及系统
CN110087042B (zh) * 2019-05-08 2021-07-09 深圳英飞拓智能技术有限公司 一种实时同步视频流和元数据的人脸抓拍方法及系统
CN114079730A (zh) * 2020-08-19 2022-02-22 华为技术有限公司 一种拍摄方法和拍摄系统
CN114079730B (zh) * 2020-08-19 2023-09-12 华为技术有限公司 一种拍摄方法和拍摄系统

Also Published As

Publication number Publication date
EP3140913B1 (en) 2020-03-18
WO2015170138A1 (en) 2015-11-12
EP3140913A1 (en) 2017-03-15
CN106464287B (zh) 2019-10-25
US20160048722A1 (en) 2016-02-18
US9594403B2 (en) 2017-03-14

Similar Documents

Publication Publication Date Title
CN106464287B (zh) 成像装置以及由成像装置实施的方法
US11328161B2 (en) System for event timing and photography with foot placement recognition
KR102091848B1 (ko) 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법
CN116601675A (zh) 虚拟服装试穿
WO2015186447A1 (ja) 情報処理装置、撮影装置、画像共有システム、情報処理方法およびプログラム
CN109983759A (zh) 用于快速视频采集和传感器调节的系统和方法
US20170047096A1 (en) Video generating system and method thereof
JP6649005B2 (ja) ロボット撮影システムおよび画像管理方法
US9349041B2 (en) Information processing device, specifying method, and non-transitory computer readable storage medium
JP2017076315A (ja) 画像処理装置、画像処理方法及びプログラム
JP2014067131A (ja) 画像処理装置、画像処理システム、画像処理方法およびコンピュータプログラム
JP2014045259A (ja) 端末装置、サーバ及びプログラム
CN116438788A (zh) 媒体内容回放和评论管理
CN114079730B (zh) 一种拍摄方法和拍摄系统
KR20180003514A (ko) 이미지가 촬영된 위치 정보에 기반하여 여행 상품 정보를 자동으로 노출시키는 여행 상품 정보 노출 방법 및 장치
CN116685981A (zh) 压缩图像到图像模型
WO2024046162A1 (zh) 一种图片推荐方法及电子设备
KR101675967B1 (ko) 4d 영상 인지 프로세서
US20230267738A1 (en) System and Method for Identifying a Brand Worn by a Person in a Sporting Event
CN116648718A (zh) 使用神经网络的照亮估计
KR20170133905A (ko) 이미지가 촬영된 위치 정보에 기반하여 여행 상품 정보를 자동으로 노출시키는 여행 상품 정보 노출 방법 및 장치
KR20150018488A (ko) 3차원 영상 디스플레이를 이용한 커뮤니케이션 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191025

Termination date: 20200505

CF01 Termination of patent right due to non-payment of annual fee