CN102693002A - 信息处理装置、信息处理方法和程序 - Google Patents
信息处理装置、信息处理方法和程序 Download PDFInfo
- Publication number
- CN102693002A CN102693002A CN2012100238947A CN201210023894A CN102693002A CN 102693002 A CN102693002 A CN 102693002A CN 2012100238947 A CN2012100238947 A CN 2012100238947A CN 201210023894 A CN201210023894 A CN 201210023894A CN 102693002 A CN102693002 A CN 102693002A
- Authority
- CN
- China
- Prior art keywords
- facial expression
- user
- signal conditioning
- conditioning package
- smiling face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 10
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 230000008921 facial expression Effects 0.000 claims abstract description 117
- 230000003750 conditioning effect Effects 0.000 claims description 100
- 238000012545 processing Methods 0.000 claims description 8
- 238000005406 washing Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 230000036651 mood Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000005693 optoelectronics Effects 0.000 description 3
- 230000002354 daily effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 108091064702 1 family Proteins 0.000 description 1
- DTAFLBZLAZYRDX-UHFFFAOYSA-N OOOOOO Chemical compound OOOOOO DTAFLBZLAZYRDX-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
信息处理装置、信息处理方法和程序。该信息处理装置包括：识别单元，用于识别捕捉图像上拍摄的用户面部表情，以及控制单元，用于控制设备在识别单元识别出的面部表情是特定面部表情时允许用户使用该设备。
Description
技术领域
本发明涉及一种信息处理装置、信息处理方法和程序，具体涉及一种旨在使用户积极地具有特定面部表情的信息处理装置、信息处理方法和程序。
背景技术
引用William James的话(《心理学原理》(第2卷)，1950年，纽约，Dover Publications(原著出版于1890年))，“我们不是因快乐而笑，而是因笑而快乐(We do not laugh because we are happy--we are happybecause we laugh)”。近来的研究也获得了大量支持这种认识的观点。
例如，Kleinke等在“Effects of Self-Generated Facial Expressions onMood”(Chris L.Kleinke，Thomas R.Peterson，和Thomas R.Rutledge，Journal of Personality and Social Psychology 1998，Vol.74，No.1,272,279)中公开的实验证实了在两个对象组之间存在面部表情的不同，其中，在一个对象组中，向对象展示各种面部表情(笑和忧伤)的照片，并指示对象做出“与照片中一样的面部表情”；而在另一种对象组中，仅向对象展示这些照片。根据这个实验，确认了观看笑脸的照片并随后实际做出这种笑脸的行为有助于使对象的情绪欢快。
2010-34686和2009-290819号日本未审专利申请是相关技术的示例。
发明内容
上述在“Effects of Self-Generated Facial Expressions on Mood”中公开的实验表明存在这样的可能：通过使人积极地具有笑脸，能够使人的情绪状态积极。
本发明希望使用户积极地具有特定的面部表情。
根据本发明的一种实施方式，提供一种信息处理装置，包括：识别单元，其识别捕捉的图像上的用户的面部表情；控制单元，其控制设备在识别单元识别的面部表情是特定面部表情时允许用户使用该设备。
可以将该特定面部表情设置为笑。也可将该特定面部表情设置为除笑之外的其它面部表情，诸如生气的脸、哭泣的脸等。允许用户使用的设备不仅包括诸如电视机、音频播放器、个人计算机、吸尘器、洗衣机、电冰箱等的电器，还包括诸如门、家具等操作受控制的物品。
还可包括捕捉用户图像的捕捉单元。在这种情况下，识别单元可识别捕捉单元所捕捉的图像上的用户面部表情。
还可包括输出单元，其在识别单元识别出特定面部表情时输出指示该特定面部表情的信息，而在识别单元识别出不同于该特定面部表情的面部表情时输出指示不同于该特定面部表情的该面部表情的信息。
例如，可以输出图像、声音、光或者振动作为指示该特定面部表情的信息。作为指示不同于该特定面部表情的面部表情的信息，可以输出与作为指示该特定面部表情的信息的输出图像不同的图像，可以输出与作为指示该特定面部表情的信息的输出声音不同的声音。此外，还可以输出与作为指示该特定面部表情的信息的输出光不同的光，以及可以输出与作为指示该特定面部表情的信息的输出振动不同的振动。
当用户完成对该设备的使用时，控制单元可以控制该设备以设置为不允许用户使用设备。
在本发明中，当识别出捕捉图像上的用户的面部表情，并且识别出的面部表情是特定面部表情时，控制设备以允许用户使用该设备。
根据本发明，可使用户积极地具有特定面部表情。
附图说明
图1是示出根据本发明实施例的信息处理装置的外观示例的图；
图2是示出笑容图标示例的图；
图3是示出忧伤图标示例的图；
图4是示出根据本发明实施例的信息处理装置的使用示例的图；
图5是示出从站在反射镜前面的用户观察的图标的显示示例的图；
图6是示出根据本发明实施例的信息处理装置的内部配置示例的框图；
图7是说明根据本发明实施例的信息处理装置的处理的流程图；
图8是示出通信系统的配置示例的图；
图9是示出根据本发明另一实施例的图8的信息处理装置的配置示例的图；
图10是示出Web服务器的硬件配置示例的框图；
图11是示出Web服务器的功能配置示例的框图；
图12是说明根据本发明实施例的信息处理装置的处理的流程图；
图13是示出SNS站点的屏幕示例的图；
图14是说明根据本发明实施例的信息处理装置的处理的流程图；
图15是示出日历的屏幕示例的图；
图16是示出控制目标装置的图；
图17是示出作为控制目标装置的电冰箱的外观的图；以及
图18是说明根据本发明实施例的信息处理装置的处理的流程图。
具体实施方式
下面将对实现本发明的实施例进行描述。其说明顺序如下：
1.第一实施例(笑脸帮助功能)
2.第二实施例(笑脸计数功能)
3.第三实施例(笑脸网关(gateway)功能)
<第一实施例>
下面描述笑脸帮助功能，它是一种帮助用户知道用户自己面部的表情是否是笑，以及在表情不是笑时使其具有笑脸的功能。
[信息处理装置的外观]
图1是示出根据本发明实施例的信息处理装置的外观示例的图。
图1中的信息处理装置1具有长方体的外壳，其大小可由用户一只手握住。在该信息处理装置1的外壳的前表面上设置有透镜11和由预定数目的LED(发光二极管)组成的LED矩阵部分12。在图1的示例中，LED矩阵部分12由包括8个纵向排列的LED和8个横向排列的LED的总共64个LED组成。可以设置例如LCD(液晶显示)的显示器等来代替LED矩阵部分12。
信息处理装置1通过对由透镜11引入的光进行光电转换来执行捕捉，并且，基于通过捕捉而得到的图像，识别作为对象而取得的用户表情(脸上的表情)。当信息处理装置1识别出该用户的面部表情是笑时，通过使构成LED矩阵部分12的预定LED发光，信息处理装置1显示作为指示用户的面部表情是笑的信息的笑容图标。
换句话说，笑脸识别功能被设置在信息处理装置1中。实时地基于捕捉的图像重复执行有关信息处理装置1的捕捉范围内的用户的面部表情是否是笑的确定。
另一方面，当识别出用户的面部表情不是笑时，通过使构成LED矩阵部分12的预定LED发光，信息处理装置1显示作为指示该面部表情不是笑的信息的忧伤图标。
图2是示出笑容图标的示例的图，而图3是示出忧伤图标的的示例的图。通过根据位置(行和列)给予#和编号来描述构成LED矩阵部分12的每个LED，例如，位于第一行第一列的LED被设置为LED#11。
如图2所示，通过使LED #23、#26、#33、#36、#61、#68、#72、#77、和#83到#86发光来显示笑容图标。此外，如图3所示，通过使LED#23、#26、#32、#37、#63到#66、#72、#77、#81和#88发光来显示忧伤图标。
例如通过确认显示了笑容图标，位于信息处理装置1前面的用户能够识别出他/她在笑。此外，在发现显示了忧伤图标之后，用户能够识别出他/她具有除笑脸之外的其它面部表情，例如生气的表情或忧伤的表情，然后可以有意识地具有笑脸。
基于“我们不是因快乐而笑，而是因笑而快乐”的认识，通过使用户知道他/她自己的面部表情，并且在表情不是笑时有意识地具有笑脸，信息处理装置1能够使用户的情绪积极。由于保持积极的情绪被认为与避免和改善诸如抑郁症等的精神疾病有关，因此还可以通过使用户的情绪积极来加强用户的心理健康。
[信息处理装置的使用示例]
图4是示出信息处理装置1的使用示例的图。
在图4的示例中，反射镜21悬挂在诸如房子等的建筑物内的墙面W上。如图中的虚线指示的，信息处理装置1安装在反射镜21的后侧，因此，外壳的前表面朝向墙面W的前侧。可以将信息处理装置1外壳的前表面安装为从镜面21A突出。
镜面21A被由半反射镜(half-mirror)构成的框包围。从墙面W的前侧入射到反射镜21的光经镜面21A反射，其一部分穿过镜面21A，并由信息处理装置1的透镜1引入。此外，来自从反射镜21的后侧朝向反射镜21的前侧(墙面W的前侧)的LED矩阵部分12的光穿过镜面21A，并显示笑容图标或忧伤图标，如同该图标显现在镜面21A上一样。
当用户站在反射镜21前以对他/她自己进行仪容整理等时，信息处理装置1识别反射镜21前的用户的面部表情，并根据识别出的面部表情显示笑容图标或忧伤图标。用户看到如同显示在镜面21A上的笑容图标或忧伤图标，然后知道他/她自己的面部表情。
图5是示出从反射镜21前的用户侧观察的图标的显示示例的图。在图5的示例中，作为对象H的用户的上身被反射在镜面21A上，并且该用户的面部表情是笑。笑容图标被显示在镜面21A的安装了信息处理装置1的位置处。图5中的标记I指示笑容图标。
这样，通过将信息处理装置1设置在日常生活经常面部观看的地方，用户平常时即可察觉他/她自己的面部表情，由此可以习惯地具有笑脸。信息处理装置1的安装位置是任意的，诸如设置在电视机或PC(个人计算机)显示器的后侧、内嵌在建筑物的门里。
[信息处理装置的内部配置]
图6是示出信息处理装置1的内部配置示例的框图。图6中的至少一些配置被实现为通过设置在信息处理装置1中的CPU(中央处理单元)执行的预定程序。
该信息处理装置1包括捕捉单元31、识别单元32和控制单元33。
捕捉单元31由诸如CCD(电荷耦合装置)、CMOS(互补金属氧化物半导体)等的成像元件组成。捕捉单元31对透镜11引入的光进行光电转换，并对通过光电转换而获得的信号执行各种处理，如A/D转换等。捕捉单元31将执行各种处理后获得的图像数据输出到识别单元32。捕捉单元31重复进行捕捉，并将重复捕捉后获得的图像数据逐个提供到识别单元32。
识别单元32对由捕捉单元31捕捉的图像进行分析，并识别作为对象在该图像上拍摄的用户的面部表情。识别单元32向控制单元33输出指示识别结果的信息。此外，识别单元32输出适当指示笑的程度的信息，例如大笑、微笑等。
作为用于识别的数据，预先向识别单元32给定根据对笑脸图像的分析而获得的并且指示构成笑脸的每个部分的信息，诸如眼睛、鼻子和嘴的特征值。识别单元32通过根据由捕捉单元31捕捉的图像执行轮廓检测等来检测用户的面部，并提取包括眼睛、鼻子和嘴的面部每一部分的特征值。
此外，识别单元32对从捕捉图像中提取的特征值和作为识别数据给定的特征值进行比较，并在两个值的符合指标等于或大于阈值时将该用户的面部表情识别为笑脸。另一方面，当从捕捉图像中提取的特征值与作为识别数据给定的特征值之间的符合指标小于阈值时，识别单元32将该面部表情识别为不是笑脸。换句话说，由信息处理装置1识别出的笑脸是这样的面部表情：从捕捉图像中提取的面部的每部分的特征以阈值或大于阈值的程度与从开发笑脸识别功能等时被选作笑脸图像的面部图像中提取的面部特征相符合。
基于由识别单元32提供的信息，在确定用户的面部表情是笑时，控制单元33使LED矩阵部分12显示笑容图标。可以根据由识别单元32提供的信息指示的笑脸程度显示不同类型的笑容图标。此外，在确定用户的面部表情不是笑时，控制单元32使LED矩阵部分12显示忧伤图标。
控制单元33使扬声器(图中未示出)根据所显示的图标适当地输出预定旋律。根据笑容图标的显示而输出的旋律与根据忧伤图标的显示而输出的旋律被各自设置为不同的旋律。可使用用户预先登记的喜欢的音乐作为根据笑容图标的显示而输出的旋律。因此，用户可通过音乐识别他/她自己的面部表情，并在用户具有笑脸时听到喜欢的音乐而加强这种情绪。
同样地，可采用各种方式，诸如输出旋律、产生振动等，作为表示面部识别结果的反馈。此外，信息处理装置1也可以不包括捕捉单元31。在这种情况下，例如，通过信息处理装置1的识别单元32获取由外部装置捕捉的图像作为识别用户面部表情的图像。识别单元32基于所获取的图像识别用户的面部表情，控制单元33执行处理以根据面部表情向用户给出反馈。
[信息处理装置的操作]
这里，参照图7的流程图说明信息处理装置1的处理，该处理利用图标的显示使用户知道他/她自己的面部表情，并帮助用户具有笑脸。
在步骤S1中，捕捉单元31执行捕捉。
在步骤S2中，识别单元32分析由捕捉单元31捕捉的图像，并识别图像中的用户的面部表情。
在步骤S3中，控制单元33基于由识别单元32提供的信息，确定用户的面部表情是否是笑。
当在步骤S3中确定用户面部表情是笑时，在步骤S4中，控制单元33使LED矩阵部分12显示笑容图标。
另一方面，当在步骤S3中确定用户面部表情不是笑时，在步骤S5中，控制单元33使LED矩阵部分12显示忧伤图标。
当在步骤S4中显示了笑容图标之后，或者当在步骤S5中显示了忧伤图标之后，过程返回到步骤S1，并重复上述过程。当用户从忧伤图标的显示识别出他/她不具有笑脸时，有意识地做出笑脸，LED矩阵部分12的显示从忧伤图标转换到笑容图标。
经过上述过程，信息处理装置1能够使用户知道他/她自己的面部表情，并且能够通过使他/她具有笑脸而使用户具有好的心情。
<第二实施例>
下面将给出对笑脸计数功能的说明，它是对笑脸的数目进行计数和呈现的功能。
图8是示出利用信息处理装置1的通信系统的配置示例的图。
图8中的信息处理装置1具有通信功能。信息处理装置1连接到包括因特网等的网络51。网络51还连接PC52、Web服务器53和相框54。
PC52例如是信息处理装置1的用户使用的PC。Web服务器53是管理诸如博客、留言板等的SNS(社交网络服务)站点的服务器。相框54是安装在例如除信息处理装置1的用户之外的人的家中的电子相框。相框54具有显示器，并且可接收和显示通过网络51传输的图像。
在图8的通信系统中，实现的功能有，向SNS站点投稿指示笑脸数目的消息、每隔预定时间段显示笑脸数目的列表、以及向相框54发送笑脸的图像。后面将对这些功能进行详细描述。
图9是示出图8中的信息处理装置1的配置示例的框图。在图9所示的配置中，与图6中所示的相同的配置被给予相同的附图标记。并将省略重复的描述。
信息处理装置1包括捕捉单元31、识别单元32、控制单元33、计数器61、显示数据生成单元62、传输单元63和图像管理单元64。
捕捉单元31输出经捕捉而获得的图像数据。将从捕捉单元31输出的图像数据提供给识别单元32和图像管理单元64。
识别单元32分析由捕捉单元31捕捉的图像，并识别用户的面部表情。识别单元32向控制单元33、计数器61和图像管理单元64输出指示识别结果的信息和指示笑脸程度的信息。
当基于由识别单元32提供的信息确定用户的面部表情是笑时，计数器61将笑脸数目增加1，并通过在存储器中存储来管理指示笑脸数目的信息。当把指示笑脸数目的消息提供给SNS站点时，当预定时间段(例如一天)内的笑脸数目达到或超过阈值时，计数器61向显示数据生成单元62输出指示笑脸数目的信息。
此外，当显示笑脸数目的列表，并且已过去诸如一天、一周、一个月等的预定时间段时，计数器61向传输单元63输出指示笑脸数目的信息。下面将对笑脸数目的计数时间段为一天的情形进行说明。
显示数据生成单元62生成指示由计数器61计数的笑脸数目的消息，并向传输单元63输出所生成的消息的数据。
当将指示笑脸数目的消息提供到SNS站点时，传输单元63能够通过网络51访问Web服务器53，并传输由显示数据生成单元62生成的消息。
此外，当显示笑脸数目的列表时，传输单元63向Web服务器53传输由计数器61提供的指示笑脸数目的信息以及由图像管理单元64选择的图像。
当显示笑脸数目的列表时，图像管理单元64基于识别单元32的识别结果从捕捉单元31捕捉的图像中指定其中拍摄有用户笑脸的图像，并通过将其存储在存储器中来管理该指定的笑脸图像。如上所述，识别单元32还提供指示诸如大笑、微笑等的笑脸程度的信息。图像管理单元64管理与笑脸图像相对应的每个图像中拍摄的笑脸的程度。
图像管理单元64从存储器中存储的图像中选择具有最高笑脸程度的图像，并将该图像输出到传输单元63，从而将该图像传输到Web服务器53。
图10是示出Web服务器53的硬件配置示例的框图。
CPU(中央处理单元)71、ROM(只读存储器)72和RAM(随机存取存储器)73经由总线74相互连接。
此外，输入和输出接口75连接到总线74。输入和输出接口75连接到包括键盘、鼠标等的输入单元76和包括显示器、扬声器等的输出单元77。此外，输入和输出接口75连接到包括硬盘、非易失性存储器等的存储单元78，包括网络接口等的通信单元79，以及用于驱动可移除介质81的驱动器80。
图11是示出Web服务器53的功能配置示例的框图。通过由图10中的CPU71执行预定程序来实现图11中所示的至少一些功能单元。
在Web服务器53中，实现SNS站点管理单元91、数目管理单元92和显示控制单元93。
SNS站点管理单元91管理SNS站点，并允许能够通过网络51进行访问的装置浏览该站点。SNS站点管理单元91控制通信单元79获取从连接到的网络51的装置传输的消息，并将该消息添加到该SNS站点。
当从信息处理装置1传输了指示对信息处理装置1中的笑脸数目的一天的计数的信息以及在信息处理装置1中被选作具有最高笑脸程度的图像时，数目管理单元92控制通信单元79获取该信息。
数目管理单元92使存储单元78存储所获取的信息，例如与信息处理装置1的标识信息相对应的信息。
当连接到网络51的装置请求显示笑脸数目的列表时，显示控制单元93获取由数目管理单元92管理的信息，并且例如利用日历图像显示针对每天计数的笑脸数目列表。此外，当在日历图像上选择某一天时，显示控制单元93将在该天捕捉的、并且作为具有最高笑脸程度的图像从信息处理装置1传输的图像传输到请求显示笑脸数目列表的装置，以供显示。
[投稿到SNS站点]
这里，参照图12的流程图，对信息处理装置1向SNS站点投稿指示笑脸数目的消息的过程进行描述。
在步骤S11中，捕捉单元31执行捕捉。
在步骤S12中，识别单元32分析由捕捉单元31捕捉的图像，并识别用户的面部表情。
在步骤S13中，基于由识别单元32提供的信息，控制单元33确定用户的面部表情是否是笑。
当在步骤S13中确定的用户面部表情是笑时，在步骤S14中，控制单元33通过向LED矩阵单元12显示笑容图标等来给出反馈。
另一方面，当在步骤S13中确定的用户面部表情不是笑时，过程返回到步骤S11，并重复上述过程。当确定用户的面部表情不是笑时，控制单元33可以通过向LED矩阵单元12显示忧伤图标等来给出反馈。
当在步骤S14中显示笑容图标之后，在步骤S15中，计数器61对笑脸数目进行计数。
在步骤S16中，计数器61确定预定时间段内的笑脸数目是否等于或大于作为阈值的预定数目。
当在步骤S16中确定笑脸数目等于或大于阈值时，在步骤S17中，显示数据生成单元62生成指示由计数器61计数的笑脸数目的消息。
在步骤S18中，传输单元63将由显示数据生成单元62生成的消息发送到Web服务器53，以向SNS站点投稿该消息。在向其投稿该消息之后，或者当在步骤S16中确定笑脸数目并不等于或大于该阈值时，过程返回到步骤S11，并重复上述过程。
从传输单元63传输的信息被Web服务器53的SNS站点管理单元91获取，并发布在SNS站点上。
图13是示出SNS站点的屏幕示例的图。当PC52或诸如移动电话等的其它装置能够使用浏览功能访问Web服务器53时，显示图13的屏幕。
在图13的SNS站点屏幕上，以时间顺序显示从每个装置投稿的消息，并且显示作为最新的投稿的投稿#1、在投稿#1之前投稿的投稿#2以及在投稿#2之前投稿的投稿#3。投稿#3是从信息处理装置1投稿的消息，并且显示一天中计数的笑脸的数目是6。在图13的示例中，笑脸数目由指示笑脸的图像的数目来表现。如投稿#3指示的“今天能笑OOOOOO次”(O是显示笑脸图像)是由显示数据生成单元62生成的消息。
阅读投稿#3的信息处理装置1的用户的朋友等通过他们自己的装置投稿表示赞同或支持这个笑脸数目的消息，而且，检查他/她的朋友等投稿的消息的信息处理装置1的用户可提醒他/她自己更加积极地具有笑脸。图13的投稿#1和#2是由信息处理装置1的用户的朋友等投稿的消息，赞同或者支持该笑脸数目。此外，信息处理装置1的用户可与朋友等分享该笑脸数目。
[笑脸数目列表的显示]
接下来，参照图14的流程图说明信息处理装置1的用于显示每个预定时间段的笑脸数目列表的过程。
图14的步骤S31到S35的过程基本上与图12中的S11到S15的过程相同。在步骤S31中，捕捉单元31执行捕捉。将捕捉的图像提供给识别单元32和图像管理单元64。
在步骤S32中，识别单元32分析由捕捉单元31捕捉的图像，并识别用户的面部表情。
在步骤S33中，基于由识别单元32提供的信息，控制单元33确定用户的面部表情是否是笑。
当在步骤S33中确定用户的面部表情是笑时，在步骤S34中，控制单元33给出使LED矩阵单元12显示笑容图标等的反馈。另一方面，当在步骤S33中确定用户的面部表情不是笑时，重复步骤S31之后的过程。
在步骤S35中，计数器61对笑脸数目进行计数。
在步骤S36中，图像管理单元64使存储器存储被识别出其上拍摄有笑脸的图像以及由识别单元32识别的指示笑脸程度的信息，以用于管理。
在步骤S37中，计数器61确定作为对笑脸数目进行计数的时间段的一天是否已过去。
当在步骤S37中确定对笑脸数目进行计数的时间段已过去时，在步骤S38中，图像管理单元64选择具有最高笑脸程度的图像。
在步骤S39中，传输单元63向Web服务器53传输由计数器61计数的指示笑脸数目的信息，以及由图像管理单元64选择的笑脸图像。
在传输了指示笑脸数目的信息和笑脸图像之后，或者当在步骤S37中确定对笑脸数目进行计数的时间段未过去时，过程返回到步骤S31，并重复上述过程。
从传输单元63传输的信息被Web服务器53的数目管理单元92获取并管理。当信息处理装置1的用户例如操作PC52访问Web服务器53，并请求显示笑脸数目的列表时，基于从显示控制单元93传输的信息，在PC52的显示器上显示用于显示笑脸数目列表的日历的图像。
图15是示出基于从Web服务器53传输的信息在PC52的显示器上显示的日历屏幕的示例的图。
图15的日历图像P是某个月份的日历的图像，在与第1到第31天相对应单元中的第1到第15天的单元中显示指示针对每天计数的笑脸数目的图标。日历图像P是当第15天过去时显示的图像。
在图15的示例中，根据笑脸数目的范围显示具有不同笑脸程度的图标。例如，在第7天的单元内显示的具有较低落面部表情的图标指示那一天计数的笑脸数目例如是0到5，而在第5天的单元内显示的具有笑脸的图标指示那一天计数的笑脸数目例如为6到10。在第一天的单元内显示的具有大笑的图标指示那一天计数的笑脸数目例如是11。
当通过鼠标操作等选择日历图像P上显示的指示笑脸数目的图标时，Web服务器53的显示控制单元93向PC52传输由信息处理装置1在该天(针对该天显示被选择的图标)捕捉的图像(照片)中选择的图像作为具有最高笑脸程度的图像，并将该图像显示在显示器上。
根据显示在日历图像P上的图标的类型，信息处理装置1的用户能够识别每天的笑脸数目，并且能够在该数目较低时提醒他/她自己更积极地做出笑脸。此外，信息处理装置1的用户的朋友等通过对他们自己的装置的操作来访问Web服务器53以查看日历图像P，并且能够检查信息处理装置1的用户是否做出笑脸，换句话说，该用户是否处于欢快的情绪中。
此外，如上所述，管理笑脸数目和显示其列表的功能可以被安装在PC52中。在这种情况下，PC52设置有图11中的数目管理单元92和显示控制单元93，并且基于从信息处理装置1传输的信息执行显示笑脸数目列表的过程。信息处理装置1可以设置有数目管理单元92和显示控制单元93，从而通过设置在信息处理装置1中的LED矩阵单元12和LCD的显示来识别笑脸的数目。
[向相框的传输]
下面说明向相框54传输图像的功能。在这种情况下，图8的信息处理装置1识别在捕捉的图像上拍摄的用户面部表情，并通过显示图标等向用户给出反馈。此外，当识别到笑脸时，信息处理装置1向相框54传输拍摄有被识别出的笑脸的图像。
接收到从信息处理装置1传输的图像的相框54使显示器显示接收到的图像。因此，例如，当相框54安装在除信息处理装置1的用户之外的人的家里时，相框54的用户能够看到信息处理装置1的用户的笑脸的图像。在信息处理装置1的用户是独居的老人，而相框54的用户是他/她的子女时，这个功能被认为特别有用。作为相框54的用户的子女能够识别作为信息处理装置1的用户的他/她的父母的笑脸。
<第三实施例>
笑脸网关功能是在用户采取行动时要求笑脸的功能，下面对该功能进行说明。
如图16所示，信息处理装置1电连接到控制目标设备101，控制目标设备101是以有线或无线方式受控制的设备。下面说明控制目标设备101为电冰箱的情况。
图17是示出其上装配有信息处理装置1的电冰箱的外观的图。
图17的电冰箱111由门111A和主体111B组成。门111A固定在主体111B上，从而经由设置在门111A右侧面的枢纽(图中未示出)来开关。把手121被设置在门111A的表面的左侧。打开门111A的动作是例如用右手抓住把手121并如图中白色箭头所示将把手向前拉。
信息处理装置1安装在门111A的表面、把手121之上的位置处，从而其外壳的前面朝向电冰箱111的前方。在门111A的左侧面，设置有包括电子锁122的构件122A，在主体111B的左侧面，组成电子锁122的构件122B与构件122A配对。构件122A和122B被设置在当门111A关闭时相互连接在一起的位置。
如图中的虚线所示，电子锁122连接到信息处理装置1，并根据由信息处理装置1提供的控制信号将门111A切换至上锁状态或解锁状态。当电子锁122在上锁状态时，用户不能打开门111A，而当该锁在解锁状态时能够打开门111A。
通过以与图1中的信息处理装置1相同的方式捕捉图像、识别用户的面部表情和显示图标，以这种状态安装在冰箱111中的信息处理装置1根据面部表情向用户给出反馈。
此外，当用户的面部表情被识别为笑时，信息处理装置1输出指示电子锁12处于解锁状态的控制信号，使得打开门111A，由此允许用户使用电冰箱111。此外，当用户结束在电子锁122处于解锁状态下对电冰箱111的使用后关闭门111A时，信息处理装置1输出指示电子锁122处于上锁状态的控制信号，以禁止打开门111A。
换句话说，为了打开电冰箱111的门111A，即，为了使用电冰箱111，用户需要做出笑脸。这样，通过要求在诸如使用电冰箱平的举动中做出笑脸，换句话说，通过强制笑脸，信息处理装置1能够使用户意识到在平时做出笑脸。
这里，参照图18的流程图，说明用于控制允许和不允许使用电冰箱111的信息处理装置1的过程。此外，图17中的信息处理装置1具有与图6或图10相同的结构。
在步骤S51中，捕捉单元31执行捕捉。
在步骤S52中，识别单元32分析由捕捉单元31捕捉的图像，并识别用户的面部表情。
在步骤S53中，基于从识别单元32提供的信息，控制单元33确定用户的面部表情是否是笑。
当在步骤S53中确定用户的面部表情是笑时，在步骤S54中，控制单元33通过使LED矩阵单元12显示笑容图标来给出反馈。
在步骤S55中，控制单元33向电子锁122输出控制信号，以使门111A处于解锁状态。因此，用户能打开门111A并从电冰箱111中取出食物等。
另一方面，当在步骤S53中确定用户的面部表情不是笑时，在步骤S56中，控制单元33确定例如在检测到用户在电冰箱111前面之后是否已过去固定时间。由识别单元32例如基于捕捉图像来识别用户是否在电冰箱111前面。
当在步骤S56中确定已过去固定时间时，控制单元33向电子锁122输出控制信号，以与步骤S55相同的方式使门111A处于解锁的状态。在这个示例中，门111A被设计为在检测到用户在电冰箱111前面之后已过去固定时间时，无需做出笑脸即可被打开，而并不是只有用户做出笑脸才允许用户打开该门。
当在步骤S55中将门111A置于解锁状态之后，在步骤S57中，控制单元33确定用户是否已关上门111A并离开电冰箱111，并且待机直到确定用户已经离开电冰箱111为止。例如，当检测到门111A关闭时，确定用户已离开电冰箱111。
当在步骤S57中确定用户已离开电冰箱111时，在步骤S58中，控制单元33向电子锁122输出控制信号，以使门111A处于上锁状态。在门111A处于上锁状态之后，或者当在步骤S56中确定已过去固定时间时，过程返回到步骤S51，并重复上述过程。当在步骤S53中确定用户的面部表情不是笑时，可通过使LED矩阵单元12显示忧伤图标等来向用户给出反馈。
以如上所述的过程，信息处理装置1能够所谓“强迫”用户做出笑脸，并可使用户意识到做出笑脸。
在上面的描述中，要控制的设备为电冰箱111，但是，可以控制用户对他/她的日常生活中使用的各种物件的使用权(允许或者不允许)。
例如通过将要控制的设备设置为安装在建筑物的门上的电子锁，并控制允许或不允许打开门，用户在不具有笑脸的情况下不能进入房间，可以使用户意识到具有笑脸，给出轻松愉快的心情。此外，通过将要控制的设备设置为IH灶具并控制允许或者不允许使用该IH灶具，用户在不具有笑脸的情况下不允许烧水，可使用户意识到具有笑脸，给出轻松愉快的心情。
此外，通过将要控制的设备设置为电视机，并控制允许或不允许使用该电视机，用户在不具有笑脸的情况下不允许观看电视节目，可使用户意识到具有笑脸，给出轻松愉快的心情。通过将设备使用权的条件设为笑脸，可实现设备的各种功能，例如将要控制的设备设置为汽车的引擎，用户在不具有笑脸的情况下不允许启动该引擎，以及将要控制的设备设置为PC，在用户不具有笑脸的情况下不允许启动该PC。
[变型示例及其它]
上述一系列过程可通过硬件执行，也可通过软件执行。当通过软件执行这一系列过程时，将构成这个软件的程序安装在并入专用硬件的计算机，或者通用个人计算机等中。
通过被记录在光盘(CD-ROM(压缩盘只读存储器)、DVD(数字通用盘)等)，或者图10中的包括半导体存储器等的可移除介质81来提供要安装的程序。此外，可通过包括局域网、因特网或数字广播的有线或无线传输介质来提供这种程序。可预先将程序安装在ROM72或者存储单元78中。
此外，由计算机运行的程序可以是以本说明书中描述的时间顺序执行过程的程序，或者可以是并行执行或者在被调用时在需要的时间点执行过程的程序等。
本发明的实施例并不限于上述实施例，在不脱离本发明主旨的范围内可进行各种修改。
此外，本发明还可进行如下配置：
(1)一种信息处理装置，包括：识别单元，其识别捕捉图像上拍摄的用户的面部表情；以及控制单元，其控制设备以在识别单元识别的面部表情是特定面部表情时，允许用户使用该设备。
(2)上述(1)中描述的信息处理装置，还包括：捕捉单元，其捕捉用户的图像，其中识别单元识别捕捉单元所捕捉的图像上拍摄的用户的面部表情。
(3)上述(1)或(2)中描述的信息处理装置，其中，该特定面部表情是笑。
(4)上述(1)、(2)或(3)中描述的信息处理装置，还包括输出单元，其在识别单元识别出特定面部表情时，输出指示特定面部表情的信息，而在识别单元识别出的面部表情不是特定面部表情时，输出指示不同于特定面部表情的面部表情的信息。
(5)上述(1)到(4)中任一项描述的信息处理装置，其中，当用户完成对该设备的使用时，控制单元控制该设备以设置为不允许用户使用该设备。
(6)一种信息处理方法，包括：识别捕捉图像上拍摄的用户的面部表情；以及控制设备以在识别单元识别出的面部表情是特定面部表情时允许用户使用该设备。
本发明包含与2011年2月10提交到日本专利局的日本优先权申请JP 2011-027680中公开的主题相关的主题，其全部内容通过引用合并于此。
本领域的技术人员应当理解，可根据设计要求和其它因素进行各种修改、组合、子组合和改变，只要其在所附权利要求或其等同物的范围内。
Claims (9)
1.一种信息处理装置，包括：
识别单元，其识别捕捉图像上拍摄的用户的面部表情；以及
控制单元，其控制设备以在所述识别单元识别出的所述面部表情是特定面部表情时允许所述用户使用所述设备。
2.根据权利要求1的信息处理装置，还包括：
捕捉单元，其捕捉所述用户的图像，
其中，所述识别单元识别由所述捕捉单元捕捉的图像上拍摄的所述用户的面部表情。
3.根据权利要求1的信息处理装置，其中，所述特定面部表情是笑。
4.根据权利要求1的信息处理装置，还包括：
输出单元，其在所述识别单元识别出所述特定面部表情时输出指示所述特定面部表情的信息，而在所述识别单元识别出不是所述特定面部表情的面部表情时输出指示不同于所述特定面部表情的面部表情的信息。
5.如权利要求4所述的信息处理装置，其中，所述输出单元输出图像、声音、光或者振动作为指示所述特定面部表情的信息。
6.根据权利要求1的信息处理装置，其中，当所述用户完成对所述设备的使用时，所述控制单元控制所述设备以设置为不允许所述用户使用所述设备。
7.根据权利要求1至6中任一项所述的信息处理装置，其中，所述设备是以下之一：
电视机、音频播放器、个人计算机、吸尘器、洗衣机、电冰箱、门以及家具。
8.一种信息处理方法，包括：
识别捕捉图像上拍摄的用户的面部表情；以及
控制设备以在识别单元识别出的面部表情是特定面部表情时允许所述用户使用所述设备。
9.一种使计算机执行处理的程序，所述处理包括：
识别捕捉图像上拍摄的用户的面部表情；以及
控制设备以在识别单元识别出的面部表情是特定面部表情时允许所述用户使用所述设备。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011027680A JP2012169777A (ja) | 2011-02-10 | 2011-02-10 | 情報処理装置、情報処理方法、およびプログラム |
| JP2011-027680 | 2011-02-10 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102693002A true CN102693002A (zh) | 2012-09-26 |
Family
ID=46636626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012100238947A Pending CN102693002A (zh) | 2011-02-10 | 2012-02-03 | 信息处理装置、信息处理方法和程序 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US9298977B2 (zh) |
| JP (1) | JP2012169777A (zh) |
| CN (1) | CN102693002A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999164A (zh) * | 2012-11-30 | 2013-03-27 | 广东欧珀移动通信有限公司 | 一种电子书翻页控制方法及智能终端 |
| CN103473040A (zh) * | 2013-07-08 | 2013-12-25 | 北京百纳威尔科技有限公司 | 多媒体播放方法及装置 |
| CN104143139A (zh) * | 2014-08-07 | 2014-11-12 | 辽宁蓝卡医疗投资管理有限公司 | 基于面部表情的付款方法及系统 |
| CN107181852A (zh) * | 2017-07-19 | 2017-09-19 | 维沃移动通信有限公司 | 一种信息发送方法、信息显示方法及移动终端 |
| WO2018023606A1 (zh) * | 2016-08-04 | 2018-02-08 | 汤隆初 | 一种根据表情开锁时的技术信息提示方法和门锁 |
| WO2018023634A1 (zh) * | 2016-08-04 | 2018-02-08 | 汤隆初 | 一种解锁方法和门锁 |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012125596A2 (en) | 2011-03-12 | 2012-09-20 | Parshionikar Uday | Multipurpose controller for electronic devices, facial expressions management and drowsiness detection |
| US9355366B1 (en) | 2011-12-19 | 2016-05-31 | Hello-Hello, Inc. | Automated systems for improving communication at the human-machine interface |
| CN103677226B (zh) * | 2012-09-04 | 2016-08-03 | 北方工业大学 | 表情识别输入方法 |
| EP2925198B1 (de) * | 2012-11-29 | 2018-11-07 | Vorwerk & Co. Interholding GmbH | Küchenmaschine |
| WO2014083022A1 (de) | 2012-11-29 | 2014-06-05 | Vorwerk & Co. Interholding Gmbh | Küchenmaschine |
| CN103873917A (zh) * | 2012-12-13 | 2014-06-18 | 联想(北京)有限公司 | 一种多媒体播放处理方法及系统 |
| US10070192B2 (en) * | 2013-03-15 | 2018-09-04 | Disney Enterprises, Inc. | Application for determining and responding to user sentiments during viewed media content |
| FR3004831B1 (fr) * | 2013-04-19 | 2022-05-06 | La Gorce Baptiste De | Controle numerique des effets sonores d'un instrument de musique. |
| US9451122B2 (en) * | 2013-04-22 | 2016-09-20 | Socialmatic LLC | System and method for sharing photographic content |
| US10268983B2 (en) | 2013-06-26 | 2019-04-23 | Amazon Technologies, Inc. | Detecting item interaction and movement |
| US10176456B2 (en) | 2013-06-26 | 2019-01-08 | Amazon Technologies, Inc. | Transitioning items from a materials handling facility |
| US10176513B1 (en) * | 2013-06-26 | 2019-01-08 | Amazon Technologies, Inc. | Using gestures and expressions to assist users |
| JP6435595B2 (ja) * | 2013-08-05 | 2018-12-12 | カシオ計算機株式会社 | トレーニング支援システム、サーバー、端末、カメラ、方法並びにプログラム |
| US9570019B2 (en) * | 2014-03-20 | 2017-02-14 | Dell Products, Lp | System and method for coordinating image capture in a camera hidden behind a display device |
| US10074009B2 (en) * | 2014-12-22 | 2018-09-11 | International Business Machines Corporation | Object popularity detection |
| JP2017014806A (ja) * | 2015-07-01 | 2017-01-19 | アイフォーコム株式会社 | 笑顔連動制御システム |
| US10282530B2 (en) | 2016-10-03 | 2019-05-07 | Microsoft Technology Licensing, Llc | Verifying identity based on facial dynamics |
| JP6891897B2 (ja) * | 2016-10-07 | 2021-06-18 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US10043406B1 (en) | 2017-03-10 | 2018-08-07 | Intel Corporation | Augmented emotion display for austistic persons |
| CN107220591A (zh) * | 2017-04-28 | 2017-09-29 | 哈尔滨工业大学深圳研究生院 | 多模态智能情绪感知系统 |
| CN108664932B (zh) * | 2017-05-12 | 2021-07-09 | 华中师范大学 | 一种基于多源信息融合的学习情感状态识别方法 |
| CN107239195A (zh) * | 2017-06-12 | 2017-10-10 | 河南职业技术学院 | 基于计算机的桌面图标管理方法及桌面图标管理装置 |
| US10448762B2 (en) * | 2017-09-15 | 2019-10-22 | Kohler Co. | Mirror |
| US10636419B2 (en) | 2017-12-06 | 2020-04-28 | Sony Interactive Entertainment Inc. | Automatic dialogue design |
| US11430429B2 (en) * | 2018-01-23 | 2022-08-30 | Sony Corporation | Information processing apparatus and information processing method |
| US11520465B2 (en) * | 2019-05-06 | 2022-12-06 | Apple Inc. | Curated media library |
| CN111262637B (zh) * | 2020-01-15 | 2021-09-28 | 湖南工商大学 | 一种基于Wi-Fi信道状态信息CSI的人体行为识别方法 |
| CN114245021B (zh) * | 2022-02-14 | 2023-08-08 | 北京火山引擎科技有限公司 | 互动拍摄方法、电子设备、存储介质及计算机程序产品 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003233816A (ja) * | 2002-02-13 | 2003-08-22 | Nippon Signal Co Ltd:The | アクセスコントロールシステム |
| US20070009139A1 (en) * | 2005-07-11 | 2007-01-11 | Agere Systems Inc. | Facial recognition device for a handheld electronic device and a method of using the same |
| JP2008027086A (ja) * | 2006-07-19 | 2008-02-07 | Sony Computer Entertainment Inc | 表情誘導装置および表情誘導方法、表情誘導システム |
| JP2008276345A (ja) * | 2007-04-26 | 2008-11-13 | Kyocera Corp | 電子機器及び認証方法及びプログラム |
| JP2009253931A (ja) * | 2008-04-11 | 2009-10-29 | Casio Comput Co Ltd | 電子データ編集装置、電子データ編集方法及びプログラム |
| JP2010186373A (ja) * | 2009-02-13 | 2010-08-26 | Omron Corp | 画像処理方法、画像処理装置、及び画像処理プログラム |
| WO2010147823A1 (en) * | 2009-06-16 | 2010-12-23 | Intel Corporation | Controlled access to functionality of a wireless device |
Family Cites Families (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04258477A (ja) * | 1991-02-08 | 1992-09-14 | Nec Software Kansai Ltd | 指紋照合による扉開閉装置 |
| JP4526639B2 (ja) * | 2000-03-02 | 2010-08-18 | 本田技研工業株式会社 | 顔認識装置およびその方法 |
| JP2002342088A (ja) * | 2001-03-15 | 2002-11-29 | Sony Corp | 情報処理装置、情報処理方法、情報送受信方法、記録媒体、並びにプログラム |
| CA2412148C (en) * | 2001-11-22 | 2008-04-22 | Ntt Docomo, Inc. | Authentication system, mobile terminal, and authentication method |
| US7643671B2 (en) * | 2003-03-24 | 2010-01-05 | Animetrics Inc. | Facial recognition system and method |
| AU2003269790A1 (en) * | 2003-10-08 | 2005-04-21 | Xid Technologies Pte Ltd | Individual identity authentication systems |
| JP2005301539A (ja) * | 2004-04-09 | 2005-10-27 | Oki Electric Ind Co Ltd | 顔認証による本人確認システム |
| US7359688B2 (en) * | 2004-04-23 | 2008-04-15 | Samsung Electronics Co., Ltd. | Device and method for displaying a status of a portable terminal by using a character image |
| JP2006039967A (ja) * | 2004-07-27 | 2006-02-09 | Fujitsu Ltd | ディスクタグ読み取り装置 |
| JP2006287749A (ja) * | 2005-04-01 | 2006-10-19 | Canon Inc | 撮像装置、及びその制御方法 |
| JP2006330958A (ja) * | 2005-05-25 | 2006-12-07 | Oki Electric Ind Co Ltd | 画像合成装置、ならびにその装置を用いた通信端末および画像コミュニケーションシステム、ならびにそのシステムにおけるチャットサーバ |
| US8370639B2 (en) * | 2005-06-16 | 2013-02-05 | Sensible Vision, Inc. | System and method for providing secure access to an electronic device using continuous facial biometrics |
| US8189096B2 (en) * | 2005-06-16 | 2012-05-29 | Sensible Vision, Inc. | Video light system and method for improving facial recognition using a video camera |
| EP1748378B1 (en) * | 2005-07-26 | 2009-09-16 | Canon Kabushiki Kaisha | Image capturing apparatus and image capturing method |
| US8542928B2 (en) * | 2005-09-26 | 2013-09-24 | Canon Kabushiki Kaisha | Information processing apparatus and control method therefor |
| EP1990770B1 (en) * | 2006-03-01 | 2012-08-08 | NEC Corporation | Face authentication device, face authentication method, and program |
| JP4862447B2 (ja) * | 2006-03-23 | 2012-01-25 | 沖電気工業株式会社 | 顔認識システム |
| US7441305B2 (en) * | 2006-08-04 | 2008-10-28 | Cascio Gregory R | Floor cleaner |
| US7751599B2 (en) * | 2006-08-09 | 2010-07-06 | Arcsoft, Inc. | Method for driving virtual facial expressions by automatically detecting facial expressions of a face image |
| KR101436661B1 (ko) * | 2007-01-22 | 2014-09-01 | 소니 주식회사 | 정보 처리 장치 및 방법, 및 기록매체 |
| JP4845755B2 (ja) * | 2007-01-30 | 2011-12-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
| US8126220B2 (en) * | 2007-05-03 | 2012-02-28 | Hewlett-Packard Development Company L.P. | Annotating stimulus based on determined emotional response |
| US20090082005A1 (en) * | 2007-09-24 | 2009-03-26 | Motorola, Inc. | Methods and devices for coordinating a single telephone number |
| US8719920B2 (en) * | 2007-10-25 | 2014-05-06 | International Business Machines Corporation | Arrangements for identifying users in a multi-touch surface environment |
| US8750578B2 (en) * | 2008-01-29 | 2014-06-10 | DigitalOptics Corporation Europe Limited | Detecting facial expressions in digital images |
| JP5181841B2 (ja) | 2008-06-02 | 2013-04-10 | カシオ計算機株式会社 | 撮影装置、撮影制御プログラム、並びに画像再生装置、画像再生プログラム |
| JP2010027035A (ja) * | 2008-06-16 | 2010-02-04 | Canon Inc | 個人認証装置及び個人認証方法 |
| JP2010034686A (ja) | 2008-07-25 | 2010-02-12 | Nikon Corp | デジタルカメラ |
| JP5361547B2 (ja) * | 2008-08-07 | 2013-12-04 | キヤノン株式会社 | 撮像装置及び撮影方法、プログラム |
| US8385971B2 (en) * | 2008-08-19 | 2013-02-26 | Digimarc Corporation | Methods and systems for content processing |
| JP4702418B2 (ja) * | 2008-09-09 | 2011-06-15 | カシオ計算機株式会社 | 撮影装置、画像領域の存否判定方法及びプログラム |
| US8584031B2 (en) * | 2008-11-19 | 2013-11-12 | Apple Inc. | Portable touch screen device, method, and graphical user interface for using emoji characters |
| US20100124363A1 (en) * | 2008-11-20 | 2010-05-20 | Sony Ericsson Mobile Communications Ab | Display privacy system |
| KR101558553B1 (ko) * | 2009-02-18 | 2015-10-08 | 삼성전자 주식회사 | 아바타 얼굴 표정 제어장치 |
| US20100237991A1 (en) * | 2009-03-17 | 2010-09-23 | Prabhu Krishnanand | Biometric scanning arrangement and methods thereof |
| JP4900739B2 (ja) * | 2009-09-04 | 2012-03-21 | カシオ計算機株式会社 | 電子写真立て、その制御方法及びプログラム |
| US9002768B2 (en) * | 2012-05-12 | 2015-04-07 | Mikhail Fedorov | Human-computer interface system |
| CN103914130A (zh) * | 2013-01-05 | 2014-07-09 | 鸿富锦精密工业(武汉)有限公司 | 显示装置及调整显示装置观测距离的方法 |
-
2011
- 2011-02-10 JP JP2011027680A patent/JP2012169777A/ja active Pending
-
2012
- 2012-02-01 US US13/363,799 patent/US9298977B2/en not_active Expired - Fee Related
- 2012-02-03 CN CN2012100238947A patent/CN102693002A/zh active Pending
-
2016
- 2016-02-19 US US15/048,188 patent/US20160171292A1/en not_active Abandoned
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003233816A (ja) * | 2002-02-13 | 2003-08-22 | Nippon Signal Co Ltd:The | アクセスコントロールシステム |
| US20070009139A1 (en) * | 2005-07-11 | 2007-01-11 | Agere Systems Inc. | Facial recognition device for a handheld electronic device and a method of using the same |
| JP2008027086A (ja) * | 2006-07-19 | 2008-02-07 | Sony Computer Entertainment Inc | 表情誘導装置および表情誘導方法、表情誘導システム |
| JP2008276345A (ja) * | 2007-04-26 | 2008-11-13 | Kyocera Corp | 電子機器及び認証方法及びプログラム |
| JP2009253931A (ja) * | 2008-04-11 | 2009-10-29 | Casio Comput Co Ltd | 電子データ編集装置、電子データ編集方法及びプログラム |
| JP2010186373A (ja) * | 2009-02-13 | 2010-08-26 | Omron Corp | 画像処理方法、画像処理装置、及び画像処理プログラム |
| WO2010147823A1 (en) * | 2009-06-16 | 2010-12-23 | Intel Corporation | Controlled access to functionality of a wireless device |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999164A (zh) * | 2012-11-30 | 2013-03-27 | 广东欧珀移动通信有限公司 | 一种电子书翻页控制方法及智能终端 |
| CN103473040A (zh) * | 2013-07-08 | 2013-12-25 | 北京百纳威尔科技有限公司 | 多媒体播放方法及装置 |
| CN104143139A (zh) * | 2014-08-07 | 2014-11-12 | 辽宁蓝卡医疗投资管理有限公司 | 基于面部表情的付款方法及系统 |
| WO2018023606A1 (zh) * | 2016-08-04 | 2018-02-08 | 汤隆初 | 一种根据表情开锁时的技术信息提示方法和门锁 |
| WO2018023634A1 (zh) * | 2016-08-04 | 2018-02-08 | 汤隆初 | 一种解锁方法和门锁 |
| CN107181852A (zh) * | 2017-07-19 | 2017-09-19 | 维沃移动通信有限公司 | 一种信息发送方法、信息显示方法及移动终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012169777A (ja) | 2012-09-06 |
| US9298977B2 (en) | 2016-03-29 |
| US20120206603A1 (en) | 2012-08-16 |
| US20160171292A1 (en) | 2016-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102693002A (zh) | 信息处理装置、信息处理方法和程序 | |
| US11196930B1 (en) | Display device content selection through viewer identification and affinity prediction | |
| US20230047994A1 (en) | Methods, systems, and media for presenting recommended content based on social cues | |
| CN112292866B (zh) | 一种涉及视频会议的方法、系统及存储介质 | |
| CN112806021B (zh) | 基于捕获视频数据的另一客户端设备对视频数据的分析修改由接收客户端设备对视频数据的呈现 | |
| US20140101611A1 (en) | Mobile Device And Method For Using The Mobile Device | |
| KR20190084278A (ko) | 이미지들을 공유하기 위한 자동 제안들 | |
| CN109691054A (zh) | 动画用户标识符 | |
| CN106663243A (zh) | 屏幕上的自适应通知 | |
| JP6048692B2 (ja) | ソーシャルネットワーキングツールを用いたテレビベースの交流を促進すること | |
| TWI570639B (zh) | 虛擬社群建立系統及方法 | |
| CN106489269A (zh) | 显示装置、服务器、系统及其信息提供方法 | |
| US10165073B1 (en) | Multiple controlled-environment facility investigative data aggregation and analysis system access to and use of social media data | |
| EP3920057A1 (en) | Proximity based personalization of a computing device | |
| JP7206741B2 (ja) | 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム | |
| CN114117058A (zh) | 账户信息的确定方法、装置、电子设备及存储介质 | |
| Bakhshi et al. | Filtered food and nofilter landscapes in online photography: the role of content and visual effects in photo engagement | |
| CN112446243A (zh) | 电子装置及基于情绪的内容推送方法 | |
| US20150006299A1 (en) | Methods and systems for dynamic customization of advertisements | |
| JP2021056786A (ja) | 印象推定方法、印象推定プログラムおよび印象推定装置 | |
| CN110008357A (zh) | 事件记录方法、装置、电子设备及存储介质 | |
| WO2010125488A2 (en) | Prompting communication between remote users | |
| JP7597358B2 (ja) | 情報処理装置、情報提供システム、方法およびプログラム | |
| CN114726816B (zh) | 一种建立关联关系的方法、装置、电子设备和存储介质 | |
| TWI797736B (zh) | 互動式服務平台及其運作方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120926 |