[go: up one dir, main page]

CN105830066A - 用情绪状态信息来标记图像 - Google Patents

用情绪状态信息来标记图像 Download PDF

Info

Publication number
CN105830066A
CN105830066A CN201480069756.XA CN201480069756A CN105830066A CN 105830066 A CN105830066 A CN 105830066A CN 201480069756 A CN201480069756 A CN 201480069756A CN 105830066 A CN105830066 A CN 105830066A
Authority
CN
China
Prior art keywords
image
emotional state
information
sensor
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480069756.XA
Other languages
English (en)
Inventor
M·查特济
B·科列特
F·法嫩杰伦
S·休斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105830066A publication Critical patent/CN105830066A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/436—Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physiology (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

图像(诸如照片或视频)用情绪状态和/或生物测定信息来标记。情绪状态信息(或心情)可被存储在电子图像的元数据中。计算设备(诸如蜂窝电话)从相机接收图像并从传感器接收生物测定信息。传感器可位于计算设备上或替换地位于用户可穿戴设备上。生物测定信息可来自于拍摄照片的用户或来自于查看照片的用户。生物测定信息可包括心率、皮肤电反应(GSR)、面部表情等。计算设备可基于生物测定信息来计算用户的情绪状态，诸如高兴。经标记的生物测定和/或情绪状态信息提供用于检索、排序和组织图像的方式。经标记的图像可被用在社交媒体连接或广播中，诸如在博客上发布特定情绪图像。

Description

用情绪状态信息来标记图像
背景
不同类型的计算设备可捕捉或拍摄主体或对象的电子图像。例如，用户可使用相机或摄像机来拍摄某人或场景的照片或视频。其他计算设备也可捕捉图像，诸如电子布告栏、个人计算机、膝上型计算机、笔记本、平板、电话或可穿戴计算设备。
被捕捉的图像可被本地地存储在计算设备中，或被传送到远程计算设备以供存储。类似地，图像可被拍摄该图像的计算设备检索和查看，或替换地，图像可在远程站点处的不同计算设备的显示器上被查看。
概述
该技术包括用于用情绪状态和/或生物测定信息来标记图像(诸如照片或视频)的方式。情绪状态信息(或心情)可被存储在电子图像的元数据中。计算设备(诸如蜂窝电话或游戏和媒体控制台)从相机接收图像并从传感器接收生物测定信息。传感器可位于计算设备上或替换地位于用户可穿戴设备上。生物测定信息可来自于拍摄照片的用户或来自于查看照片的用户。生物测定信息可包括心率、皮肤电反应(GSR)、面部表情、体温、血糖水平和/或水润。计算设备可基于生物测定信息来计算用户的情绪状态，诸如高兴或生气。经标记的生物测定和/或情绪状态信息提供用于检索、排序和组织图像以供至少个人查看、自我发现、诊断或营销的方式。经标记的图像可被用在社交媒体连接或广播中，诸如在博客上发布特定情绪图像(也称为“生活直播”)。
该技术可被用在各种实施例中。例如，每年有数百万照片和视频被拍摄。当情绪状态和/或生物测定信息与图像被包括在一起时，个体能够基于该信息来检索、排序和组织图像。例如，用户可以能够通过基于在照片被拍摄时或照片被用户查看时的情绪状态来排序图像来标识度假中最享受的部分或时间。
典型地，大脑通过记忆关键时刻并接着用它们周围的细节来填充来回忆事件。当图像用情绪状态和/或生物测定信息被标记时，用户可搜索与特定事件的身体/情绪高潮和低潮有关的图像。这些图像将用作关键帧，并且用户对事件的记忆可比仅仅查看随机照片丰富的多且更加完整。用户可通过根据情绪状态/生物测定标记的关键帧图像来创建特定体验/度假/事件的“理想/最有用”剪贴簿或相册。
个体可能没有意识到他们吃了什么以及其让他们感受如何。个体在流行食疗法、他们不使用的健身房以及其他减肥的努力方面花费数百万美元。他们通常忽视花费时间来了解他们吃了什么以及该食物让他们感受的方式的简单方案。例如，某一食品可被照相，并且节食者的情绪状态/生物测定信息可沿着照片被跟踪。节食者的每日消耗的时间线可以用其使得节食者身体上感受如何来覆盖。该信息可接着被提供给节食者，其可找出情绪状态和所消耗的食物中的模式。在一实施例中，可创建食物日志。例如，节食者可发现每次他们在晚餐吃了具有鱼的卡菜沙拉，他们在第二天早上就具有更多能量。或者节食者可看到第一块和第二块曲奇饼是可以的，但是节食者在第三块之后可变得过于精力充沛。
在另一实施例中，公司(诸如零售商)可利用在用户在线细读图像时捕捉该用户的情绪状态/生物测定信息来了解什么是有效的以及什么不是有效的。公司可能想要知晓哪些图像引发什么情绪和反应，或了解什么类型的个体对特定商品作出反应。
在又一实施例中，个体通常喜欢拍摄照片，但是经常错失真正有用的时刻。当用户在身体上或情绪上感受到顶峰时，相机可被触发来捕捉图像。这可增加体验中的关键帧在具有来自用户的很少努力下被捕捉的可能性。
在另一实施例中，医疗人员可在病人一天的视觉日志上看到病人的情绪状态/生物测定信息的覆盖。这个信息可被用于了解病人、识别模式和可视化病情。
在又一实施例中，具有累积情绪状态/生物测定信息的图像可被张贴在网站上以标识使得顾客或用户感受到一种特别方式的度假目的地、宾馆和/或餐馆。例如，用户可看到访问特定湖畔B&B的顾客中的80％非常平静和放松。或者，在某一区域中的三个游乐场中，哪个最刺激以及哪个最令人失望。在这个实施例中，由社区中的人捕捉带有情绪状态/生物测定标记的图像。这些图像接着被平均化并被上传到web，其中情绪状态/生物测定信息是可见的以供其他人使用。
操作计算设备的一个方法实施例包括从图像捕捉设备接收从该图像捕捉设备获得的图像。也从传感器接收表示在该图像从图像捕捉设备获得时的生物测定信息的传感器信息。确定与该图像相关联的基于传感器信息的情绪状态信息。情绪状态信息与该图像相关联并与该图像一起存储。
一装置实施例包括用于获得生物测定信息的传感器，用于获得图像的相机，一个处理器以及一个用于存储处理器可读指令的处理器可读存储器。该一个处理器执行处理器可读指令来：1)从传感器接收表示生物测定信息的传感器信息；2)从相机接收图像，3)基于表示生物测定信息的传感器信息来计算与该图像相关联的情绪状态信息；以及4)与该图像一起存储情绪状态信息。
在另一实施例中，一个或多个处理器可读存储器包括指令，当被执行时，该指令使得一个或多个处理器执行一种用于响应于针对具有所请求的情绪状态的图像的请求来提供图像的方法。该方法包括从传感器接收表示生物测定信息的传感器信息。还从相机接收到图像。与该图像相关联的基于表示生物测定信息的传感器信息的情绪状态信息被计算并与该图像一起存储。接收到针对具有所请求的情绪状态的图像的请求。响应于针对具有所请求的情绪状态的图像的请求来提供该图像。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。
附图简述
图1是示例性系统体系结构的高级框图。
图2是示例性软件体系结构的高级框图。
图3A示出包括元数据和图像数据的示例性数据结构。
图3B示出在情绪状态值的范围中相关联的情绪状态的示例性数字集。
图4A-C示出用于获得生物测定信息的示例性传感器类型。
图5和6A-B是用于标记和检索具有情绪状态值的图像的示例性方法的流程图。
图7是示例性游戏和媒体系统的立体图。
图8是图7中所示的游戏和媒体系统的组件的示例性功能框图。
图9示出了示例性计算设备。
详细描述
该技术包括用于用情绪状态和/或生物测定信息来标记图像(诸如照片或视频)的方式。情绪状态信息(或心情)可被存储在电子图像的元数据中。计算设备(诸如蜂窝电话或游戏和媒体控制台)从相机接收图像并从传感器接收生物测定信息。传感器可位于计算设备上或替换地位于用户可穿戴设备上。生物测定信息可来自于拍摄照片的用户或来自于查看照片的用户。生物测定信息可包括心率、皮肤电反应(GSR)、面部表情、体温、血糖水平和/或水润。计算设备可基于生物测定信息来计算用户的情绪状态，诸如高兴或生气。经标记的生物测定和/或情绪状态信息提供用于检索、排序和组织图像以供至少个人查看、自我发现、诊断或营销的方式。经标记的图像可被用在社交媒体连接或广播中，诸如在博客上发布特定情绪图像(也称为“生活直播”)。
该技术可被用在各种实施例中。例如，每年有数百万照片和视频被拍摄。当情绪状态和/或生物测定信息与图像被包括在一起时，个体能够基于该信息来检索、排序和组织图像。例如，用户可以能够通过基于在照片被拍摄时或照片被用户查看时的情绪状态来排序图像来标识度假中最享受的部分或时间。
典型地，大脑通过记忆关键时刻并接着用它们周围的细节来填充来回忆事件。当图像用情绪状态和/或生物测定信息被标记时，用户可搜索与特定事件的身体/情绪高潮和低潮有关的图像。这些图像将用作关键帧，并且用户对事件的记忆可比仅仅查看随机照片丰富的多且更加完整。用户可通过根据情绪状态/生物测定标记的关键帧图像来创建特定体验/度假/事件的“理想/最有用”剪贴簿或相册。
个体可能没有意识到他们吃了什么以及其让他们感受如何。个体在流行食疗法、他们不使用的健身房以及其他减肥的努力方面花费数百万美元。他们通常忽视花费时间来了解他们吃了什么以及该食物让他们感受的方式的简单方案。例如，某一食品可被照相，并且节食者的情绪状态/生物测定信息可沿着照片被跟踪。节食者的每日消耗的时间线可以用其使得节食者身体上感受如何来覆盖。该信息可接着被提供给节食者，其可找出情绪状态和所消耗的食物中的模式。在一实施例中，可创建食物日志。例如，节食者可发现每次他们在晚餐吃了具有鱼的卡菜沙拉，他们在第二天早上就具有更多能量。或者节食者可看到第一块和第二块曲奇饼是可以的，但是节食者在第三块之后可变得过于精力充沛。
在另一实施例中，公司(诸如零售商)可利用在用户在线细读图像时捕捉该用户的情绪状态/生物测定信息来了解什么是有效的以及什么不是有效的。公司可能想要知晓哪些图像引发什么情绪和反应，或了解什么类型的个体对特定商品作出反应。
在又一实施例中，个体通常喜欢拍摄照片，但是经常错失真正有用的时刻。当用户在身体上或情绪上感受到顶峰时，相机可被触发来捕捉图像。这可增加体验中的关键帧在具有来自用户的很少努力下被捕捉的可能性。
在另一实施例中，医疗人员可在病人一天的视觉日志上看到病人的情绪状态/生物测定信息的覆盖。这个信息可被用于了解病人、识别模式和可视化病情。
在又一实施例中，具有累积情绪状态/生物测定信息的图像可被张贴在网站上以标识使得顾客或用户感受到一种特别方式的度假目的地、宾馆和/或餐馆。例如，用户可看到访问特定湖畔B&B的顾客中的80％非常平静和放松。或者，在某一区域中的三个游乐场中，哪个最刺激以及哪个最令人失望。在这个实施例中，由社区中的人捕捉带有情绪状态/生物测定标记的图像。这些图像接着被平均化并被上传到web，其中情绪状态/生物测定信息是可见的以供其他人使用。
图1是用于处理图像(诸如照片或视频)的装置(或系统)100的高级框图。具体而言，装置100用用户的情绪状态和/或生物测定信息来标记图像，使得图像可通过情绪状态和/或生物测定信息来被检索、排序和/或组织。在一实施例中，装置100包括图像捕捉设备104(诸如相机)、计算设备101和传感器105。在一实施例中，图像捕捉设备104拍摄图像106，同时传感器105获得来自用户111的生物测定信息103。在一实施例中，传感器105在用户111拍摄照片或视频或替换地在用户111查看照片或视频的同时获得生物测定信息103。图像捕捉设备104将图像106传送到计算设备101并且传感器105将生物测定信息103传送到计算设备101。
计算设备101包括执行存储在存储器102中的用于用用户111的生物测定信息103和/或情绪状态信息来标记图像106的处理器可读指令的处理器108。在一实施例中，存储器102是存储软件组件(诸如控制102a、图像标记器102b和图像搜索引擎102d)的处理器可读存储器。在一实施例中，存储器102还存储经标记的图像102c。在一替换实施例中，经标记的图像102c被存储在远程计算设备处。
在一实施例中，图像捕捉设备104、计算设备101和传感器105被封装并被包括在单个设备中。例如，图像捕捉设备104、计算设备101和传感器105可被包括在蜂窝电话中。图像捕捉设备104可以是被包括在蜂窝电话中的相机。传感器105可包括获得来自用户111的生物测定信息103的蜂窝电话的表面。类似地，图像捕捉设备104、计算设备101和传感器105可被封装在如本文中描述的单个游戏和媒体控制台中。传感器105可以是在图像捕捉设备104拍摄正在玩游戏和媒体控制台的用户111的照片的同时游戏控制台中获得生物测定信息(诸如用户111面部表情)的另一相机。在一替换实施例中，传感器105可被包括在被用户111用于操作游戏和媒体控制台的控制器中。
在其他实施例中，图像捕捉设备105和传感器105可被包括在单个封装设备(诸如相机)中，而计算设备101可被包括在分开的封装(诸如膝上型计算机或平板计算机)中。类似于蜂窝电话实施例，传感器105可被包括在获得来自用户111的生物测定信息103的相机的表面上。在另一实施例中，传感器105和计算设备101被包括在单个封装中，而图像捕捉设备104在分开的封装中。
在又一实施例中，图像捕捉设备104和计算设备101可被组合在单个封装中或在分开的封装中，而传感器105在一不同的封装中，诸如可穿戴传感器。
计算设备101、图像捕捉设备104和传感器105可通过有线或无线连接来传送信息，诸如图像、控制和生物测定信息。计算设备101、图像捕捉设备104和传感器105可通过网络(诸如局域网(LAN)、广域网(WAN)和/或因特网)的方式进行通信。
在一实施例中，控制102a基于生物测定信息103向图像捕捉设备104输出控制信号107来拍摄照片或视频。例如，当生物测定信息指示用户111的非常高的情绪状态(诸如极度高兴)时，控制信号107被输出，使得图像捕捉设备104拍摄可能引起理想的情绪状态的事物的照片或视频。在一替换实施例中，控制102a响应于生物测定信息(诸如增加的心率变化)来输出控制信号。在一实施例中，控制102a负责至少控制在计算设备101中示出的其他软件组件(以及它们的交互)。
在一实施例中，计算设备101、图像捕捉设备104和传感器105被包括在本文中描述的并在图7和8中示出的游戏和媒体控制台中。在一替代实施例中，计算设备101(以及在一实施例中的图像捕捉设备104)对应于在图9中示出的并在本文中描述的计算设备。在替换实施例中，计算设备101可被包括在至少蜂窝电话、平板计算机、笔记本计算机、膝上型计算机和台式计算机中。
图2是处理图像的图像标记器102b的示例软件体系结构200的高级框图。
在一实施例中，图像标记器102b包括至少一个软件组件。在各实施例中，软件组件可包括计算机(或软件)程序、对象、函数、子例程、方法、实例、脚本和/或处理器可读指令、或它们的一部分、单个地或组合的。以下描述了可由各种软件组件来执行的一个或多个示例功能。在替换实施例中，可使用以下描述的更多或更少软件组件和/或软件组件的功能。
在一实施例中，图像标记器102b负责接收并处理包括生物测定信息的传感器信息，基于生物测定信息来计算用户的情绪状态和/或与相关联的图像一起存储情绪状态信息(或情绪状态值)。在另一实施例中，生物测定信息与相关联的图像一起存储。
在一实施例中，图像标记器102b包括软件组件(诸如传感器信息201)，计算情绪状态202以及与图像一起存储情绪状态值203。
传感器信息201负责接收并存储来自用户(诸如图1中显示的用户111)的生物测定信息。在一实施例中，传感器信息201接收生物测定信息，包括但不限于，心率、GSR、面部表情、体温、血糖水平和/或水润。
在一实施例中，心率信息201a负责接收并存储用户的心率信息。在一实施例中，用户的心率的变化被计算和存储。在一实施例中，心率信息201a包括用户的典型心率或在不同场景或事件中用户的心率信息的历史。
在一实施例中，GSR信息201b负责接收并存储用户的GSR信息。在一实施例中，GSR信息201b包括用户的典型GSR或在不同场景或事件中用户的GSR信息的历史。
在一实施例中，面部信息201c负责接收并存储用户的面部信息。在一实施例中，面部信息201c包括用户的典型表面表情(即，面部表情)或在不同场景或事件中用户的面部信息的历史。
在一实施例中，体温信息201d负责接收并存储用户的体温信息。在一实施例中，体温信息201d包括用户的典型体温或在不同场景或事件中用户的体温信息的历史。
在一实施例中，血糖信息201e负责接收并存储用户的血糖信息。在一实施例中，血糖信息201e包括用户的典型血糖水平或在不同场景或事件中用户的血糖水平的历史。
在一实施例中，水润信息201f负责接收并存储用户的水润信息。在一实施例中，水润信息201f包括用户的典型水润水平或在不同场景或事件中用户的水润水平的历史。
在一实施例中，计算情绪状态202负责基于传感器信息201中生物测定信息中的至少一些来分配情绪状态值。计算情绪状态202可计算并分配在与情绪状态范围(或情绪或心情范围)相关联的数字范围中的数字值。例如，计算情绪状态202可(基于生物测定信息)计算并向图像分配表示用户在拍摄或查看该图像时非常高兴的值95(在1到100的范围中)。
图3B示出范围从1到100的具有相关联的情绪状态范围或数字集的数字范围350。在替换实施例中，不同的数字范围可与不同数量或类型的相关联的情绪状态范围(诸如图3B中示出的悲伤范围351、生气范围352和高兴范围353)一起使用。在一实施例中，情绪状态范围可重叠。
在一实施例中，悲伤范围351被定义为在1到20之间的数字集中的情绪状态值，其中在悲伤范围351中，1是最悲伤而20是最少悲伤。类似地，生气范围352被定义为在40到60之间的数字集中，其中在生气范围352中，40是最少生气(或具有最少的气愤)而60是最生气。高兴范围353被定义为在80到100之间的数字集中，其中在高兴范围353中，80是最少高兴而100是最高兴。
在一实施例中，与图像一起存储情绪状态值203负责与相关联的图像一起标记或包括从计算情绪状态信息202中输出的针对一图像的计算得到的情绪状态值。在一实施例中，具有经标记的或被包括的情绪状态信息的图像被存储在经标记的图像102c中。
图3A示出包括相关联的情绪状态信息的图像的数据结构300。具体而言，情绪状态值302(诸如以上示例中针对高兴的95)被存储在元数据302字段中，而图像信息(诸如图像的色彩或像素信息)被存储在图像数据301中。在一替换实施例中，生物测定信息而非情绪状态值302a与图像一起存储，或被存储在元数据302中。在又一实施例中，生物测定信息和情绪状态值被存储在元数据302中。在一实施例中，数据结构300是联合图像专家组(JPEG)文件。来自相机的JPEG文件中的元数据可包括其他信息，诸如相机的品牌和型号、焦点和光圈信息和时间戳(以及其他信息)。
图4A-C示出在各个实施例中用于获得来自用户的生物测定信息的示例性类型的传感器。在各实施例中，图4A-C中显示的传感器可由用户400穿戴并可对应于图1中显示的传感器105。在各实施例中，传感器被包括在通过有线或无线连接与其他计算设备进行通信的可穿戴计算设备中。替换地，传感器不与计算设备包括在一起并可通过有线或无线连接与计算设备进行通信。传感器可与其他设备(诸如相机、处理器、存储器、天线和/或显示器)包括并封装在一起。在各实施例中，多个传感器可被包括在可穿戴计算设备中或被用户穿戴。
图4A示出眼镜401和手表402中的传感器。在一实施例中，眼镜401和手表402中的每一个具有用于获得生物测定信息的一个或多个传感器。眼镜401可具有与镜腿或用户400的耳朵接触来获得生物测定信息的传感器的表面。在一实施例中，眼镜401包括相机，诸如图1中显示的图像捕捉设备104。并且，眼镜401可在眼镜401镜片上包括显示器，其中该显示器向用户400提供信息。
类似地，手表402可具有与用户400的手腕接触来获得生物测定信息的传感器的表面。
图4B示出由用户400穿戴的耳机410和夹子411，耳机410和夹子411中的每一个都可包括用于获得生物测定信息的一个或多个传感器。在一实施例中，耳机410被穿戴在用户400的耳朵上，而夹子411被穿戴在一件衣服(诸如衬衫的衣领)上或作为挂件来穿戴。在一实施例中，耳机410和夹子411具有与用户400接触来获得生物测定信息的传感器的表面。在一实施例中，耳机410还包括图像捕捉设备和话筒。在一实施例中，夹子411还包括图像捕捉设备。
图4C示出具有一个或多个生物测定传感器的项圈450。项圈450可由允许用户400将开口454弯曲地更宽以将项圈450定位在用户400的脖子上的有弹性的或可弯曲的材料制成。项圈450可包括传感器452a-b，其可包括用于确定心率的发光二极管(LED)、用于皮肤电传导的电极、加速度计(用于在一实施例中的咀嚼模式)和/或体温传感器。相机451可挂在项圈450上。在一实施例中，相机451是鱼眼镜头相机。天线453被包括在项圈450中并被用于传递或输出来自传感器452a-b的生物测定信息。类似的天线可与图4A-C中示出的其他传感器包括在一起。
图5和6A-B是示出用于处理被标记有生物测定和/或情绪状态信息的图像的示例性方法的流程图。在各实施例中，图5和图6A-B中所示的框表示硬件(例如，处理器、存储器、电路)、软件(例如，操作系统、应用、驱动器、机器/处理器可执行指令)或用户的操作个体或其组合。如本领域普通技术人员将理解的，各实施例可以包括比示出的更多或更少的框。
图5是示出用于处理并存储具有情绪状态信息的图像的方法500的流程图。在一实施例中，方法500由计算设备101以及图1中示出的软件组件中的至少一些来执行。
框501表示从图像捕捉设备接收从该图像捕捉设备获得的图像。在一实施例中，用户111使用图像捕捉设备104来获得如图1中示出的图像106。
框502示出从传感器接收表示在图像106从图像捕捉设备获得时的生物测定信息的传感器信息。在一实施例中，如图1中示出的传感器105获得来自用户111的生物测定信息108。在一实施例中，传感器105对应于图4A-C中示出的一个或多个可穿戴传感器。
框503示出基于表示在从图像捕捉设备104获得图像时的生物测定信息108的传感器信息来确定与图像106相关联的情绪状态信息。在一实施例中，图像标记器102b，并且具体而言是计算情绪状态202计算情绪状态值或数字并将其分配到图像106。
框504示出将情绪状态信息与图像相关联。在一实施例中，图像标记器102b，并且具体而言是与图像一起存储情绪状态值203将所分配的情绪状态值与图像106相关联。在一实施例中，与图像一起存储情绪状态值203将所分配的情绪状态值写入图像106的元数据中。
框505示出存储图像和情绪状态信息。在一实施例中，与图像一起存储情绪状态值203将图像与情绪状态值一起存储在经标记的图像102c中的元数据中，使得图像搜索引擎102d可基于图像的经标记的情绪状态值(或存储在元数据中的情绪状态值)来检索、排序和/或组织图像(以及其他图像)。
图6A是示出用于处理、存储并检索具有情绪状态信息的图像的方法600的流程图。在一实施例中，方法600由计算设备101以及图1中示出的软件组件中的至少一些来执行。
框601表示从传感器接收表示生物测定信息的传感器信息。在一实施例中，如图1中示出的传感器105获得来自用户111的生物测定信息108。在一实施例中，传感器105对应于图4A-C中示出的一个或多个可穿戴传感器。
框602示出从相机接收图像。在一实施例中，用户111使用图像捕捉设备104来获得如图1中示出的图像106。在一替换实施例中，用户111在显示器上查看并非被用户111拍摄的图像。
框608示出基于表示生物测定信息的传感器信息来计算与图像相关联的情绪状态信息。在一实施例中，图像标记器102b，并且具体而言是计算情绪状态202计算情绪状态值或数字并将其分配到图像106。在一实施例中，用户111可能正在查看商品或度假目的地的多个图像，并且生物测定信息可指示与该商品或度假目的地相关联的用户的情绪状态。
框604示出存储图像和情绪状态信息。在一实施例中，与图像一起存储情绪状态值203将图像106与情绪状态值一起存储在经标记的图像102c的元数据中。
框605示出接收针对具有所请求的情绪状态的一个图像(或多个图像)的请求。例如，用户111可请求具有最高高兴值的图像或所有具有高兴情绪状态值的图像(或所有具有在图3B中显示的高兴范围353中的情绪状态值的图像)。在一实施例中，计算设备101在计算设备101的用户接口处接收来自用户111的针对具有所请求的情绪状态的图像的请求，并将该请求定向到图1中显示的图像搜索引擎102d。在一替换实施例中，用户可请求具有特定生物测定值或信息的图像，诸如具有超过每秒100跳的心率的任意图像。
框606示出响应于针对具有所请求的情绪状态或值的图像的请求来提供该图像(或多个图像)。在一实施例中，图像搜索引擎102d可基于图像的经标记的情绪状态(或存储在元数据中的情绪状态值)来检索、排序和/或组织图像。在一实施例中，图像搜索引擎120d在经标记的图像102c中搜索具有所请求的情绪状态值的图像；具体而言，图像搜索引擎102d搜索存储在经标记的图像102c中的图像的元数据。图像搜索引擎102d可接着将结果提供到用户接口，诸如计算设备101的用户接口。
图像搜索引擎102d可检索具有特定情绪状态值的特定图像以及基于所请求的情绪状态值来排序所检索的图像。例如，图像搜索引擎102可按数字降序或升序来提供所有具有特定情绪状态(诸如高兴情绪状态)的图像。因此，可从高兴情绪状态范围中的最高兴到最少高兴来查看图像，或反之亦然。
并且，图像搜索引擎102d可搜索经标记的图像102c并基于情绪状态值来将图像组织成文件。例如，所有具有被分配的高兴情绪状态值的图像可被存储在高兴图像文件中，而所有具有分配的生气情绪状态值的图像可被组织并被存储在另一文件(被如此标记的)中。
图6B是示出用于处理、存储并输出具有情绪状态信息的图像的方法650的流程图。在一实施例中，方法650由计算设备101以及图1中示出的软件组件中的至少一些来执行。
框651表示设置情绪状态触发值或阈值。在一实施例中，用户使用例如在计算设备101上的用户接口来输入情绪状态触发值。用户可输入情绪状态触发值80，例如，其可对应于如图3B中显示的高兴范围352的开始。这指示，当用户的情绪状态在一实施例中大于或等于80时或在用户处于高兴范围352中时，该用户想要拍摄图像。在一实施例中，可向用户提供菜单来选择想要通过图像的方式被捕捉的特定情绪状态。
框652表示从传感器接收表示生物测定信息的传感器信息。在一实施例中，如图1中示出的传感器105获得来自用户111的生物测定信息108。在一实施例中，传感器105对应于图4A-C中示出的一个或多个可穿戴传感器。
框653表示基于表示生物测定信息的传感器信息来计算情绪状态信息。在各实施例中，如本文中描述的，基于传感器信息来计算情绪状态或情绪状态信息。
框654表示将情绪状态信息与情绪状态触发值进行比较。在一实施例中，可被用户输入的一个或多个情绪状态触发值被存储在如图1中示出的控制102a中。在一实施例中，通过控制102a将情绪状态触发值与经计算的情绪状态值进行比较，该控制102a响应于该比较来输出控制信号107a以触发或由图像捕捉设备104拍摄图像。
框655表示当经计算的情绪状态信息大于或等于情绪状态触发值时，拍摄图像。在一实施例中，图像捕捉设备104响应于从控制102a输出的控制信号来捕捉或拍摄图像。
框656表示将情绪状态信息与图像一起存储。在一实施例中，框656还表示接收该图像。在各实施例中，如本文中描述的，情绪状态信息与图像被一起存储。
框657表示将经标记的图像输出到远程计算设备，诸如向其他方提供社交媒体的计算设备。经标记的图像或与情绪状态信息一起存储的图像可被用在社交媒体中，诸如社交媒体连接或社交媒体广播。经标记的图像可被创建并可基于特定用户提供的值来通过社交媒体的方式被选择性地提供到其他方，该特定用户提供的值表示在图像中要被捕捉的情绪状态。这可使得用户能够通过社交媒体的方式在博客上发布特定情绪图像或将特定情绪图像广播(也称为“生活直播”)到其他方。
在各实施例中，用户可选择不在博客上发布或广播特定经标记的图像，或者计算设备可在将经标记的图像提供到特定社交媒体之前请求许可。
在一实施例中，计算设备101、图像捕捉设备104和传感器105(图1中显示的)单个地或组合地可被包括在游戏和媒体系统中。图7示出示例性视频游戏和媒体控制台，或者更一般而言，将被用来描述包括游戏和媒体控制台的示例性游戏和媒体系统1000。例如，控制台1002(如本文中被详细描述的)可对应于计算设备101，相机1090可对应于图像捕捉设备104，并且控制器10042上的传感器10991-2可对应于一个或多个传感器105。在一替换实施例中，解释被包括在游戏和媒体系统1000中的面部表情的自然语言接口(NUI)对应于传感器105。
对图7的以下讨论旨在提供对可以实现此处中所提出的概念的合适计算设备的简要概括描述。可以理解，图7中示出的系统是示例性的。在其他示例中，此处中所述的各实施例可以经由驻留在客户端计算设备上并由客户端计算设备执行的浏览器应用或软件应用使用各种客户端计算设备来实现。如图7所示，游戏和媒体系统1000包括游戏和媒体控制台(此后被称为“控制台”)1002。一般而言，控制台1002是一种类型的客户端计算设备。控制台1002被配置成适配一个或多个无线控制器，如由控制器10041和控制器10042所表示的。控制台1002配备有内部硬盘驱动器和支持如光学存储盘1008所表示的各种形式的便携式存储介质的便携式媒体驱动器1006。合适的便携式存储介质的示例包括DVD、CD-ROM、游戏盘等。控制台1002还包括用于容纳可移动闪存型存储器单元1040的两个存储器单元卡插槽10251和10252。控制台1002上的命令按钮1035启用和禁用无线外围支持。
如图7所描绘的，控制台1002还包括用于与一个或多个设备进行无线通信的光学端口1030和支持针对附加控制器或其他外围设备(诸如相机1090)的有线连接的两个USB端口10101和10102。在某些实现中，可修改附加端口的数量和安排。电源按钮1012和弹出按钮1014也位于控制台1002的正面。电源按钮1012被选择来对游戏控制台供电，且还可以提供对其它特征和控件的访问，而弹出按钮1014交替地打开和关闭便携媒体驱动器1006的托盘以允许光学存储盘1008的插入和取出。
控制台1002经由A/V接口电缆1020连接到电视机或其他显示器(如监视器1050)。在一个实现中，控制台1002配备有被配置成用于使用A/V电缆1020(例如，适用于耦合到高清晰度显示器1050或其它显示设备上的高清晰度多媒体接口“HDMI”端口的A/V电缆)来进行内容受保护的数字通信的专用A/V端口。电源电缆1022向游戏控制台供电。控制台1002可进一步被配置成具有如电缆或调制解调器连接器1024所表示的宽带能力以便于访问诸如因特网等网络。还可通过诸如无线保真(Wi-Fi)网络等宽带网络来无线地提供宽带能力。
每一控制器1004经由有线或无线的接口耦合到控制台1002。在示出的实现中，控制器1004是USB兼容的并且经由无线或USB端口1010耦合到控制台1002。控制台1002可配备各种用户交互机制中的任何一种。在图7中示出的示例中，每个控制器1004都配备有两个拇指摇杆(thumbstick)10321和10322、D垫1034、按钮1036以及两个触发器1038。这些控制器仅为代表性的，且其他已知游戏控制器可替换或被添加到图7中示出的那些控制器。在一实施例中，控制器10321包括用于从握住控制器10321的用户获得生物测定信息的一个或多个传感器10991-2。在一实施例中，生物测定信息与来自控制器的其他控制信息一起被传送到控制台1002。
在一实施例中，相机1090是USB兼容的并且经由无线或USB端口1010耦合到控制台1002。
在一个实施例中，用户可以通过姿势、触摸或声音向控制台1002键入输入。在一个实施例中，光学I/O接口1135接收并转换用户的姿势(包括面部表情)。在另一个实施例中，控制台1002包括NUI以接收并转换来自用户的声音和姿势(包括面部表情)输入。在一个替换的实施例中，前面板子组件1142包括触摸表面和话筒以用于接收并转换用户的触摸或声音(诸如声音命令)。
在一个实现中，还可以将存储器单元(MU)1040插入到控制器1004中以提供附加和便携的存储。便携MU允许用户存储游戏参数以供在其它控制台上玩时使用。在此实现中，每一控制器被配置成适应两个MU1040，但是也可采用多于或少于两个MU。
游戏和媒体系统1000通常被配置成玩存储在存储器介质上的游戏，以及被配置成下载并玩游戏、和被配置成从电子和硬介质来源再现预先录制的音乐和视频。使用不同的存储供应，可从硬盘驱动器、从光存储盘介质(例如，1008)、从在线源、或从MU1040播放项。游戏和媒体系统1000能够播放的媒体的类型的示例包括：
从CD、DVD或高容量盘、从硬盘驱动器、或从在线来源播放的游戏项或应用。
从便携媒体驱动器1006中的CD、从硬盘驱动器或固态盘上的文件(例如，媒体格式的音乐)或从在线流送来源播放数字音乐。
从便携媒体驱动器1006中的DVD盘、从硬盘驱动器上的文件(例如，活动流送格式(ActiveStreamingFormat))或从在线流传送来源播放的数字音频/视频。
在操作期间，控制台1002被配置成接收来自控制器10041-2的输入并在显示器1050上显示信息。例如，控制台1002可在显示器1050上显示用户界面以便允许用户使用控制器1004来选择交互式电子游戏并且显示状态可解性信息，如以下将描述的。
图8是游戏与媒体系统1000的功能框图并且更详细地示出游戏与媒体系统1000的各功能组件。控制台1002具有中央处理单元(CPU)1100以及促成处理器访问各种类型存储器的存储器控制器1102，各种类型存储器包括闪存ROM1104、RAM1106、硬盘驱动器或固态驱动器1108，以及便携式媒体驱动器1006。在一替换实施例中，CPU1100用多个处理器来替换。在替代实施例中，可使用其它类型的易失性和非易失性存储器技术。在一种实现中，CPU1100包括1级高速缓存1110和2级高速缓存1112，这些高速缓存临时存储数据并因此减少对硬盘驱动器1108进行的存储器访问周期的数量，从而提高了处理速度和吞吐量。
CPU1100、存储器控制器1102以及各种存储器经由一个或多个总线互连。在此实现中所使用的总线的细节对理解此处所讨论的关注主题不是特别相关。然而，应该理解，这样的总线可以包括串行和并行总线、存储器总线、外围总线、使用各种总线体系结构中的任何一种的处理器或局部总线中的一个或多个。
在各实施例中，CPU1100包括执行(或读取)存储在处理器可读存储器中的处理器(或机器)可读指令的处理器核。处理器可读指令的一示例可包括图1中显示的控制102a、图像标记器102b、经标记的图像102c以及图像搜索引擎102d。在一个实施例中，处理器核可包括处理器和存储器控制器，或替换地，也执行与存储器控制器执行的类似的存储器管理功能的处理器。处理器核还可以包括控制器、图形处理单元(GPU)、数字信号处理器(DSP)和/或现场可编程门阵列(FPGA)。在一实施例中，高性能存储器位于处理器核之上。
易失性存储器的类型包括但不限于动态随机存取存储器(DRAM)、基于分子电荷的(ZettaCore)DRAM、浮体DRAM和静态随机存取存储器(“SRAM”)。DRAM的特定类型包括双倍数据速率SDRAM(“DDR”)，或晚一代SDRAM(例如，“DDRn”)。
非易失性存储器的类型包括但不限于以下类型：电可擦除可编程只读存储器(“EEPROM”)、闪存(包括NAND和NOR闪存)、ONO闪存、磁阻或磁性RAM(“MRAM”)、铁电RAM(“FRAM”)、全息介质、奥弗辛斯基效应的/相变、纳米晶体、纳米管RAM(NRAM-Nantero)、MEMS扫描探针系统、MEMS悬臂式开关、聚合物、分子、纳米浮栅和单电子。
三维图形处理单元1120和视频编码器1122构成了视频处理流水线，用于进行高速度和高分辨率(例如，高清晰度)图形处理。数据经由数字视频总线从图形处理单元1120传输到视频编码器1122。音频处理单元1124和音频编解码器(编码器/解码器)1126形成对应的用于对各种数字音频格式进行多通道音频处理的音频处理流水线。音频数据经由通信链路在音频处理单元1124与音频编解码器1126之间传输。视频和音频处理流水线向A/V(音频/视频)端口1128输出数据，以便传输到电视机或其它显示器。
图8示出了包括USB主控制器1130和网络接口1132的模块1114。USB主控制器1130被示为经由总线(例如，PCI总线)与CPU1100和存储器控制器1102进行通信，并充当外围控制器10041-10044的主机。网络接口1132提供对网络(例如因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、无线接入卡、蓝牙模块、电缆调制解调器等各种有线或无线接口组件中的任一种。
在图8中描绘的实现中，控制台1002包括用于支持四个控制器10041-10044的控制器支持子组件1140。控制器支持子组件1140包括支持与诸如，例如，媒体和游戏控制器之类的外部控制设备的有线和无线操作的任何硬件和软件组件。前面板I/O子组件1142支持电源按钮1012、弹出按钮1014，以及任何LED(发光二极管)或暴露在控制台1002的外表面上的其它指示器等多个功能。子组件1140和1142通过一个或多个电缆组件1144与模块1114进行通信。在其他实现中，控制台1002可以包括另外的控制器子组件。所示出的实现还示出了被配置成发送和接收可以传递到模块1114的信号的光学I/O接口1135。
MU10401和10402被示为能够分别连接到MU端口“A”10301和“B”10302。附加MU(例如，MU10403-10406)被示为能够连接到控制器10041和10043，即，每一控制器两个MU。控制器10042和10044还可以被配置成接收MU。每一个MU1040都提供附加存储，在其上面可以存储交互式电子游戏、游戏参数、及其它数据。在一些实现中，其它数据可以包括数字游戏组件、可执行的游戏应用，用于扩展游戏应用的指令集、以及媒体文件中的任何一种。当被插入到控制台1002或控制器中时，MU1040可以被存储器控制器1102访问。
系统供电模块1150向游戏系统1000的组件供电。风扇1152冷却控制台1002内的电路。
控制102a、图像标记器102b、经标记的图像102c和图像搜索引擎102d中的至少部分被存储在硬盘驱动器1108上。当控制台1002被开启时，控制102a、图像标记器102b、经标记的图像102c和图像搜索引擎102d中的各个部分被加载到RAM1106和/或高速缓存1110和1112内以供在CPU1100上执行。在各实施例中，其他应用(诸如应用1160)可被存储在硬盘驱动器1108上以供在CPU1100上执行。
控制台1002还被示为包括通信子系统1170，其被配置成将控制台1002与一个或多个其他计算设备(例如，其他控制台)在通信上耦合。通信子系统1170可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统1170可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在某些实施例中，通信子系统1170可允许控制台1002经由网络(诸如因特网)向其他设备发送消息和/或从其他设备接收消息。在特定的实施例中，通信系统1170可以被用来与协调器和/或其他计算设备通信，以供发送下载请求和实现对数字内容的下载与上传。更一般而言，通信子系统1170可以使控制台1002能够参与对等通信。
可以通过简单地将系统连接到显示器1050(图7)、电视机、视频投影仪或其他显示设备来将游戏与媒体系统1000作为独立系统来操作。在此独立模式下，游戏和媒体系统1000允许一个或多个玩家玩交互式电子游戏或欣赏数字媒体，例如观看电影或欣赏音乐。然而，随着通过网络接口1132(或者更一般地通信子系统1170)使宽带连接的集成成为可能，游戏和媒体系统1000还可以作为更大的网络游戏社区(诸如对等网络)的参与者来操作。
以上描述的游戏和媒体系统1000仅仅是以上参考图1和各个其他附图讨论的计算设备101、图像捕捉设备104和传感器105的一个示例。如上所解释的，存在此处中所述的各实施例可以使用的各种其他类型的计算设备。
图9是可托管图1和2中解说的软件组件中的至少一些的(并且在一实施例中对应于计算设备101的)计算设备1800的一个实施例的框图。在各实施例中，图像捕捉设备104和/或传感器105被包括在计算设备1800中或在计算设备1800的外部。在一实施例中，计算设备1800是具有相机的移动设备，诸如蜂窝电话或平板。传感器105可与计算设备1800包括在一起或可在计算设备1800外部，诸如本文中描述的可穿戴传感器。
在大多数基本配置中，计算设备1800通常包括一个或多个处理器1802，其包括一个或多个CPU和一个或多个GPU。计算设备1800还包括系统存储器1804。取决于计算设备的确切配置和类型，系统存储器1804可包括易失性存储器1805(如RAM)、非易失性存储器1807(如ROM、闪存等)或是两者的某种组合。该最基本配置在图9中由虚线1806来例示出。另外，设备1800还可具有附加特征/功能。例如，设备1800还可包含附加存储(可移动和/或不可移动)，其包括但不限于磁盘、光盘或磁带。这样的附加存储在图9中由可移动存储1808和不可移动存储1810来例示出。
设备1800还可包含允许该设备与其他设备通信的通信连接1812，如一个或多个网络接口和收发机。设备1800还可具有诸如键盘、鼠标、笔、话音输入设备、触摸输入设备、姿势输入设备等输入设备1814。还可包括诸如显示器、扬声器、打印机等输出设备1816。这些设备在本领域是公知的，因此不在此详细讨论。
在各实施例中，用户在生物测定信息将被记录之前将被通知，并且情绪状态信息可在任意这样的动作发生之前被计算。在各实施例中，用户可在通知之后选择加入或选择退出接收情绪状态/生物测定信息和/或将其存储在计算设备和/或图像中。此外，用户可以能够调整或擦除被分配到特定图像或被存储在计算设备中的情绪状态/生物测定信息。
附图中的流程图和框图示出根据各实施例的系统(装置)、方法和计算机(软件)程序的可能实现的体系结构、功能和操作。关于这个方面，流程图或框图中的每个框可表示一软件组件。还应当注意，在一些替换实现中，框中提到的功能可不以附图中提到的次序来发生。例如，连续示出的两个框实际上可基本并发地执行，或者取决于所涉及的功能，这些框有时可以相反的次序执行。还注意，框图和/或流程图说明中的每个框以及框图和/或流程图示意中各框的组合可由基于专用硬件的系统来实现，基于专用硬件的系统执行指定的功能或动作或专用硬件和软件组件的组合。
在各实施例中，所示出和/或所描述的信号路径是传输信号的介质，诸如互连、传导元件、触头、引脚、半导体基板中的区域、引线、金属迹线/信号线或光电导体个体或其组合。在一个实施例中，多个信号路径可以替代图中所示的单个信号路径，并且单个信号路径可以替代图中所示的多个信号路径。在各实施例中，信号路径可以包括总线和/或点到点连接。在一实施例中，信号路径包括控制和数据信号线。在又一些其他实施例中，信号路径是单向的(信号在一个方向上传播)或双向的(信号在两个方向上传播)或者是单向信号线和双向信号线两者的组合。
本发明系统的前述详细描述是出于说明和描述的目的而提供的。这并不旨在穷举本发明系统或将本发明系统限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。如本文中使用的，单数形式的“一”、“一个”以及“其”旨在也包括复数形式，除非上下文明确地以其他方式指示。选择所述实施例以最好地解释本发明系统的原理及其实践应用，从而允许本领域技术人员能够在各种实施例中并采用各种适于所构想的特定用途的修改来最好地利用本发明系统。本发明系统的范围旨在由所附权利要求书来定义。

Claims (15)

1.一种操作计算设备的方法，所述方法包括：
从图像捕捉设备接收从所述图像捕捉设备获得的图像；
从传感器接收表示在所述图像从所述图像捕捉设备获得时的生物测定信息的传感器信息；
基于表示在所述图像从所述图像捕捉设备获得时的生物测定信息的所述传感器信息来确定与所述图像相关联的情绪状态信息；
将所述情绪状态信息与所述图像相关联；以及
存储所述图像和情绪状态信息。
2.如权利要求1所述的方法，其特征在于，所述传感器和图像捕捉设备被包括在单个计算设备中。
3.如权利要求1所述的方法，其特征在于，所述传感器是可穿戴传感器并且所述图像捕捉设备是相机，其中所述可穿戴传感器被包括在第一计算设备中而所述相机被包括在第二分开的计算设备中。
4.如权利要求1所述的方法，其特征在于，确定情绪状态至少部分由所述计算设备中执行被存储在处理器可读存储器中的处理器可读指令的处理器响应于所述传感器信息来执行。
5.如权利要求4所述的方法，其特征在于，存储所述图像和情绪状态信息包括将情绪状态信息作为数字存储在所述图像的元数据中，其中所述图像和情绪状态信息被存储在处理器可读存储器中。
6.如权利要求1所述的方法，其特征在于，所述传感器被配置成获得包括心率、皮肤电反应(GSR)、面部表情、体温、血糖水平或水润中的至少一个的传感器信息。
7.如权利要求6所述的方法，其特征在于，所述传感器信息是从致使所述图像被从所述图像捕捉设备获得的用户来获得的。
8.如权利要求7所述的方法，其特征在于，所述相关联包括将所述情绪状态信息存储在所述图像的元数据中。
9.如权利要求8所述的方法，其特征在于，确定所述情绪状态信息包括分配与所述用户的情绪范围相关联的数字范围中的数字，其中分配所述数字范围中的所述数字是基于所述传感器信息的。
10.如权利要求9所述的方法，其特征在于，所述用户的情绪范围包括至少高兴、悲伤和生气，其中所述数字范围中的第一数字集与高兴相关联，所述数字范围中的第二数字集与悲伤相关联，而所述数字范围中的第三数字集与生气相关联。
11.一种装置，包括：
用于获得生物测定数据的至少一个传感器；
用于获得图像的至少一个相机；
至少一个处理器；以及
用于存储处理器可读指令的至少一个处理器可读存储器，
其中所述至少一个处理器执行所述处理器可读指令以：
从所述传感器接收表示生物测定信息的传感器信息，
从所述相机接收所述图像，
基于表示生物测定信息的所述传感器信息来计算与所述图像相关联的情绪状态信息，以及
将所述情绪状态信息与所述图像一起存储。
12.如权利要求11所述的装置，其特征在于，用于获得生物测定信息的至少一个传感器、用于获得图像的至少一个相机、至少一个处理器以及用于存储处理器可读指令的至少一个处理器可读存储器被存储在单个计算设备中。
13.如权利要求11所述的装置，其特征在于，用于获得生物测定信息的所述至少一个传感器被包括在可穿戴设备中，并且用于获得所述图像的所述至少一个相机、至少一个处理器以及用于存储处理器可读指令的至少一个处理器可读存储器被包括在分开的计算设备中。
14.如权利要求11所述的装置，其特征在于，所述至少一个传感器被配置成获得包括心率、皮肤电反应(GSR)、面部表情、体温、血糖水平或水润中的至少一个的传感器信息，其中所述传感器信息是从致使所述图像被从所述相机获得的用户来获得的，并且其中计算所述情绪状态信息包括分配与所述用户的情绪范围相关联的数字范围中的数字，其中分配所述数字范围中的数字是基于所述传感器信息的。
15.如权利要求11所述的装置，其特征在于，所述装置被包括在游戏和媒体控制台中。
CN201480069756.XA 2013-12-19 2014-11-24 用情绪状态信息来标记图像 Pending CN105830066A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/134,863 2013-12-19
US14/134,863 US20150178915A1 (en) 2013-12-19 2013-12-19 Tagging Images With Emotional State Information
PCT/US2014/066996 WO2015094589A1 (en) 2013-12-19 2014-11-24 Tagging images with emotional state information

Publications (1)

Publication Number Publication Date
CN105830066A true CN105830066A (zh) 2016-08-03

Family

ID=52232405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480069756.XA Pending CN105830066A (zh) 2013-12-19 2014-11-24 用情绪状态信息来标记图像

Country Status (4)

Country Link
US (1) US20150178915A1 (zh)
EP (1) EP3084639A1 (zh)
CN (1) CN105830066A (zh)
WO (1) WO2015094589A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107040712A (zh) * 2016-11-21 2017-08-11 英华达（上海）科技有限公司 智能自拍方法及系统
CN107320114A (zh) * 2017-06-29 2017-11-07 京东方科技集团股份有限公司 基于脑电波检测的拍摄处理方法、系统及其设备
CN107807947A (zh) * 2016-09-09 2018-03-16 索尼公司 基于情绪状态检测在电子设备上提供推荐的系统和方法
CN108574701A (zh) * 2017-03-08 2018-09-25 理查德.A.罗思柴尔德 用于确定用户状态的系统和方法
CN110059211A (zh) * 2019-03-28 2019-07-26 华为技术有限公司 记录用户情感的方法及相关装置
CN111247505A (zh) * 2017-10-27 2020-06-05 索尼公司 信息处理装置、信息处理方法、程序以及信息处理系统
CN114079730A (zh) * 2020-08-19 2022-02-22 华为技术有限公司 一种拍摄方法和拍摄系统
WO2023198092A1 (zh) * 2022-04-14 2023-10-19 华为技术有限公司 媒体文件管理方法、装置、设备及存储介质

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9557885B2 (en) 2011-08-09 2017-01-31 Gopro, Inc. Digital media editing
US20160071550A1 (en) * 2014-09-04 2016-03-10 Vixs Systems, Inc. Video system for embedding excitement data and methods for use therewith
US9554744B2 (en) * 2013-12-19 2017-01-31 International Business Machines Corporation Mining social media for ultraviolet light exposure analysis
US9652667B2 (en) 2014-03-04 2017-05-16 Gopro, Inc. Automatic generation of video from spherical content using audio/visual analysis
US10798459B2 (en) 2014-03-18 2020-10-06 Vixs Systems, Inc. Audio/video system with social media generation and methods for use therewith
WO2015170138A1 (en) * 2014-05-05 2015-11-12 Sony Corporation Embedding biometric data from a wearable computing device in metadata of a recorded image
US9685194B2 (en) 2014-07-23 2017-06-20 Gopro, Inc. Voice-based video tagging
US9984293B2 (en) 2014-07-23 2018-05-29 Gopro, Inc. Video scene classification by activity
US20160063874A1 (en) * 2014-08-28 2016-03-03 Microsoft Corporation Emotionally intelligent systems
US9734870B2 (en) 2015-01-05 2017-08-15 Gopro, Inc. Media identifier generation for camera-captured media
US9679605B2 (en) 2015-01-29 2017-06-13 Gopro, Inc. Variable playback speed template for video editing application
WO2016187235A1 (en) 2015-05-20 2016-11-24 Gopro, Inc. Virtual lens simulation for video and photo cropping
CN106331586A (zh) * 2015-06-16 2017-01-11 杭州萤石网络有限公司 一种智能家居视频监控方法和系统
US9894266B2 (en) 2015-06-30 2018-02-13 International Business Machines Corporation Cognitive recording and sharing
US10872354B2 (en) * 2015-09-04 2020-12-22 Robin S Slomkowski System and method for personalized preference optimization
US9721611B2 (en) 2015-10-20 2017-08-01 Gopro, Inc. System and method of generating video from video clips based on moments of interest within the video clips
US10204273B2 (en) 2015-10-20 2019-02-12 Gopro, Inc. System and method of providing recommendations of moments of interest within video clips post capture
EP3384495B1 (en) * 2015-12-04 2021-06-23 Sling Media L.L.C. Processing of multiple media streams
US9916866B2 (en) * 2015-12-22 2018-03-13 Intel Corporation Emotional timed media playback
US10664500B2 (en) 2015-12-29 2020-05-26 Futurewei Technologies, Inc. System and method for user-behavior based content recommendations
US10109319B2 (en) 2016-01-08 2018-10-23 Gopro, Inc. Digital media editing
US9812175B2 (en) 2016-02-04 2017-11-07 Gopro, Inc. Systems and methods for annotating a video
US9838730B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing
US9794632B1 (en) 2016-04-07 2017-10-17 Gopro, Inc. Systems and methods for synchronization based on audio track changes in video editing
US9838731B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing with audio mixing option
US10949461B2 (en) 2016-04-18 2021-03-16 International Business Machines Corporation Composable templates for managing disturbing image and sounds
US10762429B2 (en) * 2016-05-18 2020-09-01 Microsoft Technology Licensing, Llc Emotional/cognitive state presentation
US20170364929A1 (en) * 2016-06-17 2017-12-21 Sanjiv Ferreira Method and system for identifying, aggregating & transforming emotional states of a user using a temporal phase topology framework
US10185891B1 (en) 2016-07-08 2019-01-22 Gopro, Inc. Systems and methods for compact convolutional neural networks
US9836853B1 (en) 2016-09-06 2017-12-05 Gopro, Inc. Three-dimensional convolutional neural networks for video highlight detection
US10284809B1 (en) 2016-11-07 2019-05-07 Gopro, Inc. Systems and methods for intelligently synchronizing events in visual content with musical features in audio content
US10262639B1 (en) 2016-11-08 2019-04-16 Gopro, Inc. Systems and methods for detecting musical features in audio content
US10534966B1 (en) 2017-02-02 2020-01-14 Gopro, Inc. Systems and methods for identifying activities and/or events represented in a video
US10127943B1 (en) 2017-03-02 2018-11-13 Gopro, Inc. Systems and methods for modifying videos based on music
US10185895B1 (en) 2017-03-23 2019-01-22 Gopro, Inc. Systems and methods for classifying activities captured within images
US10083718B1 (en) 2017-03-24 2018-09-25 Gopro, Inc. Systems and methods for editing videos based on motion
US10187690B1 (en) 2017-04-24 2019-01-22 Gopro, Inc. Systems and methods to detect and correlate user responses to media content
EP3622434A1 (en) * 2017-05-11 2020-03-18 Kodak Alaris Inc. Method for identifying, ordering, and presenting images according to expressions
US10740383B2 (en) 2017-06-04 2020-08-11 Apple Inc. Mood determination of a collection of media content items
US10652454B2 (en) * 2017-06-29 2020-05-12 International Business Machines Corporation Image quality evaluation
US11331019B2 (en) 2017-08-07 2022-05-17 The Research Foundation For The State University Of New York Nanoparticle sensor having a nanofibrous membrane scaffold
US11418467B2 (en) * 2017-09-12 2022-08-16 Get Together, Inc. Method for delivery of an encoded EMS profile to a user device
CN108062416B (zh) * 2018-01-04 2019-10-29 百度在线网络技术（北京）有限公司 用于在地图上生成标签的方法和装置
CN108399358B (zh) * 2018-01-11 2021-11-05 中国地质大学（武汉） 一种在视频聊天的表情显示方法及系统
CN108335734A (zh) * 2018-02-07 2018-07-27 深圳安泰创新科技股份有限公司 临床图像记录方法、装置及计算机可读存储介质
US11336968B2 (en) 2018-08-17 2022-05-17 Samsung Electronics Co., Ltd. Method and device for generating content
US11064255B2 (en) * 2019-01-30 2021-07-13 Oohms Ny Llc System and method of tablet-based distribution of digital media content
US11157549B2 (en) * 2019-03-06 2021-10-26 International Business Machines Corporation Emotional experience metadata on recorded images
US11024328B2 (en) * 2019-04-24 2021-06-01 Microsoft Technology Licensing, Llc Generating a synopsis of a meeting
US11120537B2 (en) 2019-09-25 2021-09-14 International Business Machines Corporation Cognitive object emotional analysis based on image quality determination
US12262115B2 (en) 2022-01-28 2025-03-25 Gopro, Inc. Methods and apparatus for electronic image stabilization based on a lens polynomial

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020032689A1 (en) * 1999-12-15 2002-03-14 Abbott Kenneth H. Storing and recalling information to augment human memories
EP1220530A2 (en) * 2000-12-28 2002-07-03 Nokia Corporation Displaying an image
EP1422639A2 (en) * 2002-11-25 2004-05-26 Eastman Kodak Company Imaging method and system
US20070124292A1 (en) * 2001-10-30 2007-05-31 Evan Kirshenbaum Autobiographical and other data collection system
US20080101660A1 (en) * 2006-10-27 2008-05-01 Samsung Electronics Co., Ltd. Method and apparatus for generating meta data of content

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI311067B (en) * 2005-12-27 2009-06-21 Ind Tech Res Inst Method and apparatus of interactive gaming with emotion perception ability

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020032689A1 (en) * 1999-12-15 2002-03-14 Abbott Kenneth H. Storing and recalling information to augment human memories
EP1220530A2 (en) * 2000-12-28 2002-07-03 Nokia Corporation Displaying an image
US20070124292A1 (en) * 2001-10-30 2007-05-31 Evan Kirshenbaum Autobiographical and other data collection system
EP1422639A2 (en) * 2002-11-25 2004-05-26 Eastman Kodak Company Imaging method and system
US20080101660A1 (en) * 2006-10-27 2008-05-01 Samsung Electronics Co., Ltd. Method and apparatus for generating meta data of content

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107807947A (zh) * 2016-09-09 2018-03-16 索尼公司 基于情绪状态检测在电子设备上提供推荐的系统和方法
CN107040712B (zh) * 2016-11-21 2019-11-26 英华达（上海）科技有限公司 智能自拍方法及系统
CN107040712A (zh) * 2016-11-21 2017-08-11 英华达（上海）科技有限公司 智能自拍方法及系统
CN108574701B (zh) * 2017-03-08 2022-10-04 理查德.A.罗思柴尔德 用于确定用户状态的系统和方法
CN108574701A (zh) * 2017-03-08 2018-09-25 理查德.A.罗思柴尔德 用于确定用户状态的系统和方法
CN107320114A (zh) * 2017-06-29 2017-11-07 京东方科技集团股份有限公司 基于脑电波检测的拍摄处理方法、系统及其设备
US11806145B2 (en) 2017-06-29 2023-11-07 Boe Technology Group Co., Ltd. Photographing processing method based on brain wave detection and wearable device
CN111247505A (zh) * 2017-10-27 2020-06-05 索尼公司 信息处理装置、信息处理方法、程序以及信息处理系统
CN111247505B (zh) * 2017-10-27 2024-04-09 索尼公司 信息处理装置、信息处理方法、记录介质以及信息处理系统
CN110059211A (zh) * 2019-03-28 2019-07-26 华为技术有限公司 记录用户情感的方法及相关装置
CN110059211B (zh) * 2019-03-28 2024-03-01 华为技术有限公司 记录用户情感的方法及相关装置
CN114079730A (zh) * 2020-08-19 2022-02-22 华为技术有限公司 一种拍摄方法和拍摄系统
WO2022037479A1 (zh) * 2020-08-19 2022-02-24 华为技术有限公司 一种拍摄方法和拍摄系统
CN114079730B (zh) * 2020-08-19 2023-09-12 华为技术有限公司 一种拍摄方法和拍摄系统
WO2023198092A1 (zh) * 2022-04-14 2023-10-19 华为技术有限公司 媒体文件管理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20150178915A1 (en) 2015-06-25
WO2015094589A1 (en) 2015-06-25
EP3084639A1 (en) 2016-10-26

Similar Documents

Publication Publication Date Title
CN105830066A (zh) 用情绪状态信息来标记图像
US10045077B2 (en) Consumption of content with reactions of an individual
KR102100744B1 (ko) 구면 비디오 편집
CN109740068A (zh) 媒体数据推荐方法、装置及存储介质
CN103237248B (zh) 基于媒体反应来控制媒体节目
CN112580400B (zh) 图像选优方法及电子设备
CN109600678A (zh) 信息展示方法、装置及系统、服务器、终端、存储介质
US10115149B1 (en) Virtual world electronic commerce platform
CN107040714A (zh) 拍摄设备及其控制方法
CN110163066B (zh) 多媒体数据推荐方法、装置及存储介质
US20150092038A1 (en) Editing image data
WO2020155714A1 (zh) 图像处理方法及图像处理装置
CN109241347A (zh) 用于内容反应注释的系统和方法
US20150254886A1 (en) System and method for generating animated content
CN108270794A (zh) 内容发布方法、装置及可读介质
WO2020095368A1 (ja) 情報処理システム、表示方法およびコンピュータプログラム
CN114040230A (zh) 视频码率确定方法、装置、电子设备及其存储介质
CN110458820A (zh) 一种多媒体信息植入方法、装置、设备及存储介质
US11040278B2 (en) Server device distributing video data and replay data and storage medium used in same
US20200226012A1 (en) File system manipulation using machine learning
CN113727024B (zh) 多媒体信息生成方法、装置、电子设备和存储介质
CN109714628A (zh) 播放音视频的方法、装置、设备、存储介质及系统
US20220291743A1 (en) Proactive Actions Based on Audio and Body Movement
US10911803B2 (en) Content promotion through automated curation of content clips
CN116797767A (zh) 增强现实场景分享的方法和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160803