[go: up one dir, main page]

CN102681658A - 通过动作控制的显示设备及其动作控制方法 - Google Patents

通过动作控制的显示设备及其动作控制方法 Download PDF

Info

Publication number
CN102681658A
CN102681658A CN2012100052740A CN201210005274A CN102681658A CN 102681658 A CN102681658 A CN 102681658A CN 2012100052740 A CN2012100052740 A CN 2012100052740A CN 201210005274 A CN201210005274 A CN 201210005274A CN 102681658 A CN102681658 A CN 102681658A
Authority
CN
China
Prior art keywords
action
change amount
motion
page
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100052740A
Other languages
English (en)
Other versions
CN102681658B (zh
Inventor
柳熙涉
朴胜权
郑圣勋
米奇雅思·泰索姆
金相润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102681658A publication Critical patent/CN102681658A/zh
Application granted granted Critical
Publication of CN102681658B publication Critical patent/CN102681658B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/06—Receivers
    • H04B1/16—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/50—Tuning indicators; Automatic tuning control

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuits Of Receivers In General (AREA)
  • Details Of Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了一种通过动作控制的显示设备及其动作控制方法。所述显示设备包括：动作识别单元，识别位于显示设备之外的对象的动作；控制单元，当所述对象的动作被识别出时，确定根据所述对象的动作速度或动作距离而变化的改变量，并根据所述改变量执行与所述对象的动作相应的操作。因此，可容易执行频道改变或页面转换。

Description

通过动作控制的显示设备及其动作控制方法
本申请要求于2011年1月6日提交到韩国知识产权局的第10-2011-0001526号韩国专利申请的优先权，该申请的公开通过引用全部包含于此。
技术领域
本公开的示例性实施例的多个方面涉及一种显示设备及其动作控制方法，更具体地讲，涉及一种能够不同地控制操作执行的显示设备及其动作控制方法。
背景技术
随着电子技术的发展，最近各种电器已被开发并被发布。最新的产品采用最新的技术，从而用户能够更加方便且有效地使用相应的产品。这样的技术的示例可包括动作识别技术、语音识别技术等。
在这些技术中，动作识别技术是指能够使用动作传感器等来感测用户的动作并使用动作感测的结果的技术。
用户可方便地使用这样的动作识别技术。然而，如果动作或语音命令没有被精确地输入，则可能会执行不期望的功能或者可能不能进行命令输入。结果，用户可能需要不方便地重复这样的命令输入若干次。
因此，用户最好将用户平时不常做出的动作或具有高区分度的动作设置为命令，而不是将用户经常有意或无意做出的动作设置为命令。
另一方面，显示设备显示可按预定单位(例如，逐个)进行控制的菜单，诸如频道改变、音量控制、页面转换、其他属性改变等。为了同时控制这种菜单的多个单位，需要多次做出相应的动作，导致使用不便。
例如，在频道改变的情况下，如果用户将用户的手在显示设备的正面沿一个方向移动，则频道根据移动方向被改变以选择下一频道。通常，可以以一个频道单位来进行频道改变。也就是说，如果用户在观看频道编号10上的广播的同时采取用户将用户的手移动到左边的动作，则频道编号11被选择并且频道编号11上的广播被显示。因此，在用户在观看频道编号10上的广播的同时意图选择频道编号50的情况下，用户需要采取相同的动作四十次，导致使用不便。
如上所述，如果频道的总数量大或者内容具有大量页面，则用户将需要采取大量的动作以使用动作识别技术来接收期望的服务，并且用户可能会容易感到手臂疲惫。
发明内容
作出本公开在于至少解决上述问题和/或缺点并至少提供以下描述的优点。因此，本公开的一方面提供了一种能够控制操作执行单位的显示设备及其动作控制方法。
本公开的示例性实施例提供了一种显示设备，所述显示设备包括：动作识别单元，识别位于显示设备之外的对象的动作；控制单元，当所述对象的动作被识别出时，根据改变量执行与所述对象的动作相应的操作，其中，根据所述对象的动作速度或动作距离来不同地确定所述改变量。
根据本公开的示例性实施例的显示设备还可包括：调谐器单元，选择广播频道；信号处理单元，对通过由调谐器单元选择的广播频道接收的广播信号进行处理；输出单元，输出在信号处理单元处理的广播信号；其中，如果指示广播频道改变的第一动作被识别，则控制单元控制调谐器单元沿第一动作的动作方向根据改变量改变并选择广播频道，其中，根据第一动作的动作速度或动作距离来不同地确定所述改变量。
另一方面，如果所述动作速度或所述动作距离等于或高于预定阈值，则控制单元可按第一改变量改变广播频道，如果所述动作速度或所述动作距离低于预定阈值，则控制单元可按小于第一改变量的第二改变量改变广播频道。
另外，控制单元可控制所述改变量，从而所述改变量与所述动作速度或所述动作距离成比例地逐渐增加或逐级增加。
在本公开的另一示例性实施例中，所述显示设备还可包括：输出单元，显示包括多个页面的内容。这里，如果指示页面转换的第二动作被识别，则控制单元控制输出单元沿第二动作的动作方向根据改变量转换页面，其中，与第二动作的动作速度或动作距离成比例地来不同地确定所述改变量。
另外，如果所述动作速度或所述动作距离等于或高于所述预定阈值，则控制单元可按第一改变量转换内容页面，如果所述动作速度或所述动作距离低于所述预定阈值，则控制单元可按小于第一改变量的第二改变量转换内容页面。
另外，控制单元可控制所述改变量，从而所述改变量与所述动作速度或所述动作距离成比例地逐渐增加或逐级增加。
本公开的示例性实施例提供了一种显示设备的动作控制方法，所述动作控制方法包括：识别位于显示设备之外的对象的动作；确定根据所述对象的动作速度或动作距离的改变量；根据所述改变量执行与所述对象的动作相应的操作。
根据本公开的示例性实施例的动作控制方法还可包括：选择广播频道并输出广播数据；其中，如果识别的动作是用于指示广播频道改变的第一动作，则执行步骤沿第一动作的动作方向根据改变量改变并选择广播频道，其中，根据第一动作的动作速度或动作距离的大小来不同地确定所述改变量。
另一方面，如果所述动作速度或所述动作距离等于或高于预定阈值，则执行步骤可按第一改变量改变广播频道，如果所述动作速度或所述动作距离低于所述预定阈值，则执行步骤可按小于第一改变量的第二改变量改变广播频道。
确定改变量的步骤可控制所述改变量，从而所述改变量与所述动作速度或所述动作距离成比例地逐渐增加或逐级增加。
另一方面，根据本公开的示例性实施例的动作控制方法还可包括：显示包括多个页面的内容。这里，如果识别的动作是用于指示页面转换的第二动作，则执行步骤沿第二动作的动作方向根据改变量转换页面，其中，与第二动作的动作速度或动作距离成比例地控制所述改变量。
另外，如果所述动作速度或所述动作距离等于或高于所述预定阈值，则执行步骤可按第一改变量转换内容页面，如果所述动作速度或所述动作距离低于所述预定阈值，则执行步骤可按小于第一改变量的第二改变量转换内容页面。
另外，确定改变量的步骤可控制所述改变量，从而所述改变量与所述动作速度或所述动作距离成比例地逐渐增加或逐级增加。
根据本公开的各种示例性实施例，用户可通过采取如使诸如动作速度和动作距离的属性不同的动作，按不同的操作执行单位执行动作控制。
附图说明
通过参考附图对特定示例性实施例进行的描述，本公开的上述和/或其他方面将会变得更加清楚，其中：
图1是示出根据本公开的示例性实施例的显示设备的配置的框图；
图2是示出根据本公开的示例性实施例的显示设备的详细配置的框图；
图3是示出计算移动动作的动作速度的处理的示图；
图4是示出计算摇摆(swing)动作的动作速度的处理的示图；
图5是示出通过改变动作距离使操作执行不同的处理的示图；
图6是示出用于启动动作识别模式的推动动作的示图；
图7和图8是示出用于结束动作识别模式的结束动作的各种示例的示图；
图9和图10是示出根据本公开的各种示例性实施例的显示设备的动作控制方法的流程图。
具体实施方式
在下文中，将参照附图详细描述本公开的示例性实施例。然而，本公开不限于这样的示例性实施例或者不受这样的示例性实施例的限制。为了参考，在解释本公开的过程中，将不详细描述公知的功能或构造以避免由于不必要的细节使描述不清楚。
图1是示出根据本公开的示例性实施例的显示设备的配置的框图。显示设备可被实现为TV、便携式电话、监视器、笔记本PC、电子相框、电子书、PDA、导航仪等。
参照图1，显示设备100包括动作识别单元110和控制单元120。
动作识别单元110包括至少一个处理器，并被配置为识别位于显示设备100之外的对象的动作。具体地，动作识别单元110感测意图使用显示设备100的用户的动作并识别已采取什么动作。
为此，动作识别单元110可包括拍摄装置(诸如相机)。动作识别单元110对存在于拍摄装置的拍摄范围内的用户等进行拍摄，通过分析拍摄的图像数据来识别用户采取什么动作，并将拍摄的结果提供给控制单元120。
控制单元120包括至少一个处理器，并执行与由动作识别单元110识别的动作相应的操作。这里，由控制单元120执行的操作可以是显示设备100的电源打开/关闭、由显示设备100提供的各种类型的功能的执行、属性控制等。
具体地讲，控制单元120可执行按预定单位或增量被控制的操作(诸如频道、音量、用于设置各种类型的属性的菜单、页面转换等)。在执行这样的操作中，控制单元120可考虑到用户动作的特征而不同地应用操作执行单位或增量的大小。
具体地，各种值(诸如动作速度、动作距离、动作强度、采取动作的对象的类型、对象的大小等)可被视为动作的特征。控制单元120根据所述特征的改变的程度来不同地控制执行单位或增量的大小。也就是说。控制单元基于动作特征的改变的程度来确定改变量，并执行相应于确定的改变量的操作。
作为第一示例，控制单元可通过将动作速度或动作距离与阈值进行比较来按级(stage)确定改变量。具体地，将考虑识别出指示频道改变的动作的情况来进行解释。
在这种情况下，控制单元120将指示频道改变的动作的速度与预定阈值(即，阈值速度)进行比较。结果，如果动作速度等于或高于所述阈值，则控制单元120按多个频道单位执行频道改变。为了解释方便，假设当动作速度等于或高于所述阈值时的改变量为第一改变量。第一改变量可被设置为存储的默认值，或者可通过用户输入进行设置和调整。例如，频道数量5或10可被用作第一改变量。也就是说，在频道数量10被确定为第一改变量的情况下，如果观看频道编号20的广播的用户将手从右到左快速摇摆，则沿该方向进行频道改变，并且所述频道被立即改变到频道编号30。频道改变单位的数量不限于10，而是可被改变。也就是说，频道改变单位的数量可以是5或20。
另一方面，如果动作速度低于预定阈值，则控制单元执行与第二改变量一样多的频道改变。第二改变量也可被设置为存储的默认值，或者由用户进行设置和调整。通常以与现有的频道改变相同的方式按一个频道单位执行频道改变。
另一方面，可设置并使用用于对无意义的动作进行过滤的最小阈值。也就是说，如果以低于作为最小阈值的第一阈值的速度做出动作，则忽视所述动作，并且不执行任何操作。如果以等于或高于第一阈值并小于第二阈值的速度做出动作，则逐个改变频道。相比之下，如果以高于第二阈值的速度做出动作，则每次按预定数量单位(例如，5、10、或20)改变频道。
另外，可使用包括高于第二阈值的阈值(例如，第三阈值等)的多个阈值来执行动作控制。在这种情况下，可根据动作速度范围改变频道改变量。也就是说，如果以等于或高于第二阈值且小于第三阈值的速度执行动作，则频道改变量可被设置为5，如果以等于或高于第三阈值且低于第四阈值的速度执行动作，则频道改变量可被设置为10，如果以等于或高于第四阈值的速度执行动作，则频道改变量可被设置为20。因此，可通过与各种阈值的对比结果来确定频道改变量。
除了频道改变以外，所述阈值还可以以相似的方式被应用于页面转换。也就是说，如果在用户正观看包括多个页面的内容的状态下以低于阈值(即，阈值速度)的速度执行指示页面转换的动作，则可按预定页面单位(例如，一个页面单位)执行页面转换。
另一方面，以与如上所述的相似方式，可使用最小阈值过滤无意义的动作。另外，多个阈值可被应用，以按多级(multi-stages)控制页面转换的改变量。例如，如果以等于或高于第一阈值且低于第二阈值的速度执行动作，则可按一个页面单位执行页面转换，如果以等于或高于第二阈值且低于第三阈值的速度执行动作，则可按5个页面单位执行页面转换。另外，如果以等于或高于第三阈值且低于第四阈值的速度执行动作，则可按10个页面单位执行页面转换，如果以等于或高于第四阈值的速度执行动作，则可按20个页面单位执行页面转换。
在描述中，为了方便解释，根据示例性实施例，用于频道改变的动作被称为第一动作，用于页面转换的动作被称为第二动作。
根据第二示例性实施例，可根据动作速度或动作距离逐渐改变所述改变量。
例如，在频道改变的情况下，如果指示频道改变的动作以低于参考速度的速度被执行，则控制单元120按一个频道单位执行频道改变。相比之下，如果指示频道改变的动作的速度变得比参考速度快，则与所述速度之间的差成比例地逐渐增加改变量。也就是说，所述改变量变得与所述动作的速度水平成线性比例，并且可按两个或n个频道单位来执行频道改变操作。
在页面转换的情况下，可以以相同的方式确定改变量。也就是说，如果速度正常，则按一个页面单位执行页面转换，如果速度稍快，则按两个页面单位执行页面转换，如果速度变得更快，则可按3个、4个、5个、...、n个页面单位执行页面转换。
另一方面，尽管频道改变和页面转换已示例性地如上描述，但在控制诸如音量、亮度、锐度、色彩均衡等的输出属性的过程中，也可基于动作速度或动作距离来按不同的改变量执行操作。
图2是示出根据本公开的各种示例性实施例的显示设备的详细配置的框图。参照图2，除了动作识别单元110和控制单元120以外，显示设备还包括调谐器单元130、信号处理单元140、输出单元150、输入单元160、存储单元170等。
调谐器单元130选择广播信号频道、接收相应的广播信号，并通过下变换将接收的广播信号提供给信号处理单元140。
信号处理单元140针对从调谐器单元130提供的信号执行信号处理(诸如编码、均衡、解码、缩放等)，以将经过处理的信号提供给输出单元150。
输出单元150被配置为使用输出元件(诸如显示单元、扬声器等)输出由信号处理单元140处理的图像信号和语音信号。
输入单元160被配置为根据显示设备100的主体上设置的键或在外部遥控器中设置的键的操作，接收用户选择信号。具体地讲，输入单元160可包括键盘和IR信号接收灯。
存储单元170被配置为存储在显示设备中使用的各种类型的程序或数据。具体地，存储单元170可分别存储关于为动作控制而设置的各种类型的动作以及与所述动作匹配的操作的信息。
例如，在存储单元170中，以下数据库可被存储。
[表1]
 动作   操作
 推动动作(Push motion)   动作识别模式开始
 结束动作(Finish motion)   动作识别模式结束
 移动动作(Moving motion)   指针或焦点移动
 摇摆动作(Swing motion)   页面或频道改变
 摇晃动作(Shake motion)   上一页面或前一页面转换
 握住(Hold)   选择
在表1中，推动动作表示位于显示设备100的前面的用户沿显示设备100的方向推手的操作。如果推动动作被识别，则控制单元120识别其后执行的以下动作，并执行相应操作。
结束动作表示用于结束动作识别模式的动作。结束动作可被不同地确定。作为示例，如果对象是用户的手掌，则所述对象与用户的身体或另一对象接触的动作可以是结束动作，从而手掌不再被识别。稍后将结合附图对此进行描述。
移动动作表示用于将对象(诸如手掌)沿一个方向移动的动作。如果移动动作被执行，则控制单元120根据移动对象的方向和速度来移动指针或菜单焦点状态。
摇摆动作表示沿一个方向摇摆手(所述手沿显示设备100的方向伸出)的动作。控制单元120将当前页面或当前频道改变为下一页面或下一频道。
摇晃动作表示摇晃沿显示设备100的方向伸出的手的动作。换句话说，其还可被称为挥手动作。如果摇晃动作被识别，则控制单元120可将当前显示的页面转换为前一页面或前一广播场景，如果当前页面的上一页面存在，则控制单元120可执行到上一页面的转换操作。
另外，握住表示静止地握住手超过预定时间。如果在指针或焦点位于特定菜单的情况下执行握住，则控制单元120识别出相应菜单已被选择，选择并执行相应的功能。
动作和操作之间的上述匹配关系仅是示例性的，可根据环境改变所述匹配关系。另外，各种类型的动作(诸如用于画圈、其他字符、数字或符号的动作)可被添加，且所述表中描述的部分动作可被省略。
另一方面，可根据动作的速度或移动范围以不同改变量执行上述动作中除了推动动作、结束动作和握住动作以外的剩余动作。
也就是说，在移动动作的情况下，如果较快地执行动作，则指针或焦点移动量或速度会变快。如果如上所述摇摆动作变快或在较宽范围内被执行，则页面或频道改变量会进一步增加。在摇晃动作中，还可以以相同方式根据摇晃速度或摇晃幅度增加转换量。
另一方面，在存储单元170中，关于用于动作识别的对象的信息可被单独存储。关于对象的信息可以是对象的形状或大小，并可由用户进行适当地改变。如上所述，在用户手掌被用作对象的情况下，用户可预先通过动作识别单元110对用户的手掌进行拍摄，并可将关于所述手掌的形状和大小的信息注册在存储单元170中。因此，还未进行对象注册的其他用户可能不能执行动作识别控制。因此，只有进行了对象注册的用户可具有使用或控制显示设备100的权限。
在另一示例性实施例中，存储在存储单元170中的与对象相关的信息可默认确定并在显示设备100被制造时被存储在存储单元170中，因此，用户可能不能改变与对象相关的信息。
另一方面，尽管在图2中没有示出，在显示设备100支持语音输入模式的情况下，还可包括语音输入单元。语音输入单元(未示出)被配置为接收用户发出的语音。作为示例，如果单词识别技术被使用，则语音输入单元可包括收集语音输入的麦克风单元、通过针对收集的语音输入执行频率分析等以提取特征的分析单元、通过使用提取的特征执行语音信号的分段以识别辅音和元音的音素识别单元、以及通过基于字典将识别的辅音和元音进行组合以提取单词的单词识别单元。
在另一示例性实施例中，与对象相关的信息没有被预先存储在存储单元170中，并且拍摄的图像数据中首先采取推动动作的一部分被跟踪以仅执行根据所述部分的动作的操作。因此，在多个用户一起观看显示设备的环境中，避免执行任何欠考虑的控制。
另一方面，参照图2，动作识别单元110包括拍摄单元111和确定单元112。
拍摄单元111包括拍摄显示设备100的屏幕的前面的相机。所述相机接收从相机的前面输入的各种类型的对象反射的光，并产生拍摄的图像数据。如以上示例性实施例所述，如果需要识别推动动作，则拍摄单元111可使用三维(3D)深度相机。3D深度相机发射红外线，并测量红外线到达对象并随后返回的返回时间，以计算距对象的距离。从所述深度相机获得的图像以灰阶被输出，并针对每个像素表现宽度、长度、距离等的坐标值。也就是说，拍摄的具有用于每个像素的深度信息的图像数据被产生。
确定单元112通过分析拍摄的图像数据识别对象的动作。如果如上述示例性实施例中通过检测推动动作启动动作识别模式，则确定单元112跟踪已执行了推动动作的对象的移动状态。具体地讲，确定单元112搜索与所述对象相应的像素组，并确定相应的像素组的深度信息是否被改变。在这种情况下，如果确定所述对象从所述显示设备后退，则确定单元112确定所述模式不是推动模式，而如果确定所述对象接近所述显示设备，则确定单元112确定所述模式是推动模式。
在另一示例性实施例中，确定单元112确定是否存在深度信息已被改变的一部分拍摄的图像数据。如果确定深度信息已被改变并且所述对象已沿Z轴方向移动，则确定单元112可立即确定已执行了推动动作。在这种情况下，如果存在预注册的与对象相关的信息，则确定单元112将深度信息已被改变的像素组的大小和形状与注册的与对象相关的信息进行比较，以确定它们之间的相似性。如果确定它们之间的相似性达到使它们彼此匹配的程度，则确定单元112确定已执行了推动动作。
如果推动动作被识别并且动作识别模式启动，则控制单元120通过将从拍摄单元111提供的各个帧彼此进行比较，来确认已执行了推动动作的对象的移动距离，并分析属性(诸如动作速度或动作距离)。根据示例性实施例，这样的分析可由确定单元112来执行，并且在以下描述中，假设控制单元120执行所述分析。
如上所述，控制单元120控制组成元件(诸如调谐器单元130、信号处理单元140、输出单元150等)，从而所述组成元件根据由动作识别单元110识别出的动作的动作速度或动作距离来使用不同的改变量执行操作。
如上所述，可根据动作速度或动作距离逐级或逐渐控制改变量。作为示例，在频道改变的情况下，如果动作速度等于或高于阈值，则控制单元120控制调谐器单元130通过跳过多个频道单位(例如，5或10)选择下一频道。
如果通过调谐器单元130选择的广播信号由信号处理单元140进行处理并通过输出单元150被输出，则用户可在看着屏幕的同时通过采取下一动作来连续执行频道改变，或者可选择并观看当前频道。例如，如果正观看频道编号10的用户意图选择频道33，则用户通过举手做出推动动作来进入动作识别模式，并通过执行总共五个动作(即，通过执行将手从右到左快速移动两次的动作并执行以正常速度将手从右到左移动三次的动作)来选择频道33。由于在现有技术中采取23次动作，因此便于动作控制。
由于以相同的方式执行页面转换，因此将省略其详细描述。
图3是示出计算移动动作的动作速度的处理的示图。如图3中所示，用户将对象11(即，用户的手)伸向显示设备100，然后沿将频道改变或页面转换将被执行的方向移动对象11。通过动作识别单元110中的拍摄单元111拍摄该动作。
如果拍摄单元111的拍摄速度为60Hz(例如，如果在第一帧处于位置①的对象在第二帧处于位置②)，则通过将像素X1(即，移动距离)除以1/60倍来获得移动速度V1(即V1＝60X1)。如果所述对象在第三帧再次处于位置③，则从位置②到位置③的移动速度为V2＝60X2。如上所述，控制单元可通过检查每帧的图像改变量来计算对象移动速度。
在图3中，按照当前帧和下一帧被划分为多个块的方式计算对象的移动距离，通过使用各个块的平均像素值或典型像素值来搜索匹配块，并确认搜索的块的位置移动状态。
图4是示出计算摇摆动作的动作速度的处理的示图。在图4中，在如①所指示手掌面向显示设备100被布置且随后如②所指示手背变为面向显示设备100被布置的情况下，转动手掌的动作被示出为摇摆动作。然而，与上述动作相反的动作可与摇摆动作相应。另外，在手背或手掌未完全面向显示设备100的状态下执行手部转动的动作也可以是摇摆动作。
另一方面，可基于对象的一个点计算如图3或图4中示出的对象的移动距离。也就是说，可计算当前帧的全部块中相应于所述对象的像素组的中心像素或块的中心块与相应于下一帧的中心像素或中心块之间的距离。
图5是示出通过改变动作距离使操作执行不同的处理的示图。如图5中所示，如果对象移动如图5中(a)一样长的距离，则频道或页面改变与基本单位(例如，逐个)一样多，而如果对象移动相对长的距离(b)，则频道或页面改变与预定改变量(例如，五或更多)一样多。
尽管使用不同属性描述了动作速度和动作距离，但动作速度和动作距离是具有充分值得考虑的关系的属性。也就是说，通常，为了进一步延长动作距离，用户趋向于更快地移动对象。另外，如果用于识别一个动作的单位时间被固定，则需要以更快的速度移动对象，以在单位时间内将对象移动到最远距离。因此，可根据示例性实施例考虑动作速度和动作距离两者来确定改变量。
另一方面，显示设备100可使用其他相反的动作控制操作。
图6是示出作为用于启动动作识别模式的动作的示例的推动动作的示图。
动作识别单元110可识别在拍摄范围内用户10的一个对象11沿显示设备100的方向移动的推动动作。具体地，如果如图6中所示，3D坐标系统被应用于对象被放置的点，则可按照Y轴、X轴和Z轴来解释动作，其中，所述Y轴朝向显示设备100的上面被布置，所述X轴与Y轴正交并朝向显示设备100的右面被布置，所述Z轴从由X轴和Y轴形成的平面朝向显示设备100被布置。推动动作表示沿Z轴方向朝向显示设备100的动作。
如上所述，由于推动动作是沿Z轴方向的动作，因此，在正常模式下，动作识别单元110通过检查拍摄的图像数据的深度信息是否(即，沿Z轴方向)被改变来确定推动动作是否被执行。因此，如果推动动作已被执行并且模式已被转换为动作识别模式，则动作识别单元110通过检查所述对象其后沿Z轴方向、X轴方向和Y轴方向的所有方向的移动来分析所述对象的移动。
如果推动动作被识别，则控制单元120确定操作在动作识别模式下被执行，并将当前模式转换为动作识别模式。也就是说，直到推动动作被识别为止，控制单元120在正常模式下操作控制操作，并且如果通过输入单元160接收到根据用户的遥控操作或设置在显示设备100的主体上的键的键操作的用户选择信号，则控制单元120执行相应的控制操作。如果在这种状态下模式转换为动作识别模式，则控制单元120识别用户的动作，并随后执行适合所述动作的操作。
在这种情况下，控制单元120通过追踪执行了初始推动动作的对象的移动来识别相应对象的动作，并执行与识别的动作相应的操作。
在模式被转换到动作识别模式的情况下，控制单元120可能不适应所述动作以外的输入。然而，在另一示例性实施例中，即使在模式被转换到动作识别模式的情况下，如果遥控器或主体键操作存在，则控制单元120也可执行根据键操作的操作。也就是说，动作识别模式不是仅由动作控制的模式。
图7和图8是示出用于结束动作识别模式的结束动作的各种示例的示图。如果通过动作识别单元110识别出预定的指定动作，则控制单元120结束动作识别模式。在下文中，用于结束动作识别模式的动作被称为结束动作。结束动作可被不同地确定。作为示例，如果对象是用户的手掌，则结束动作可以是所述对象与用户的身体或另一对象接触的动作，从而用户的手掌不再被识别。
图7示出用户降低他/她的手部11并且降低的手部与用户身体的一部分(诸如用户的膝盖)接触的动作被用作结束动作的情况。另外，图8示出用户降低他/她的手部11并且降低的手部与诸如椅子的扶手的对象接触的动作被用作结束动作的情况。此外，可以以各种形式确定结束动作。
如上所述，如果使用推动动作启动动作识别模式，并且通过手部降低动作来结束动作识别模式，则在执行动作识别控制的过程中，用户的意图可被更方便且精确地理解。该推动动作可包括全推(push-full)动作和推动停止(push-stop)动作，其中，在所述全推动作中，手部向前伸展并随后收回(closed)，在所述推动停止(push-stop)动作中，手部向前伸展并随后保持伸展状态。
另外，可使用不同种类的动作。也就是说，可采取用于画圈的动作或用于画指定字符(诸如字母)的动作来执行相应操作。
这种用于画字符的动作可由制造商默认确定，或者可通过动作识别单元110由用户注册，从而所述动作可被仅用作该用户的动作命令。
图9是示出根据本公开的示例性实施例的显示设备的动作控制方法的流程图。
参照图9，如果动作被识别(S910)，则所述动作的诸如动作速度或动作距离的属性被确认，并且改变量被确定(S920)。这里，通过如上所述进行的改变量与阈值的比较，所述改变量可被确定为逐级增加，或者所述改变量可被确定为与动作速度或动作距离的水平成线性比例的逐渐增加。
然后，与所述动作相应的操作被执行(S930)。例如，在频道改变的情况下，可按1个、5个、10个等的频道单位来执行频道改变，或者可按根据改变量的多个(诸如1个、2个、3个、...)频道单位逐渐执行频道改变。可按相同方式根据改变量来不同地控制诸如音量控制的另一操作。
图10是更详细地示出根据本公开的示例性实施例的显示设备的动作控制方法的流程图。
参照图10，如果动作识别被执行(S1010)，则确定动作速度或动作距离是否等于或高于预定的第一阈值(S1020)。这里，第一阈值可根据确定的目标而被不同地确定。也就是说，在确定速度的情况下，第一阈值可以是第一阈值速度，在确定距离的情况下，第一阈值可以是第一阈值距离。
如果确定动作速度或动作距离低于第一阈值，则不执行单独的操作并忽视所述动作。
另一方面，如果确定动作速度或动作距离等于或高于第一阈值，则确定动作速度或动作距离是否等于或高于第二阈值(S1030)。第二阈值被设置为高于第一阈值的值。
如果确定动作速度或动作距离等于或高于第二阈值，则改变量增加并且所述确定继续(S1040)。在这种情况下，如上所述，改变量可被确定为逐级增加，或者可被确定为和动作速度或动作距离与第二阈值之间的差成比例地逐渐增加。
相反，如果确定动作速度或动作距离低于第二阈值，则按作为基本单位(例如，逐个)的默认值确定改变量(S1050)。
如果改变量被如上所述地确定，则执行与所述动作相应的与确定的改变量一样多的操作(S1060)。操作执行方向可与动作方向一致。
由根据示例性实施例的动作识别方法识别的动作可以是如图3至图8中示出的各种类型的动作。
另外，图9和图10是示出在显示设备进入动作识别模式之后执行的步骤的流程图。因此，根据上述示例性实施例的动作控制方法还可包括：在显示设备在正常模式下的操作期间确定推动动作是否被执行，如果推动动作被执行，则进入动作识别模式，如果结束动作被识别出，则结束动作识别模式。
另一方面，用于执行上述动作控制方法的程序代码可被存储在各种类型的记录介质中。具体地，所述程序代码可被存储在由终端可读取的各种类型的记录介质中，诸如RAM(随机存取存储器)、闪存存储器、ROM(只读存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除可编程ROM)、寄存器、硬盘、可移除盘、存储卡、USB存储器、CD-ROM等。
因此，如果记录有上述程序代码的记录介质被连接到或安装在可执行动作识别的各种类型的装置上，则上述动作控制方法可受支持。
尽管在此已显示和描述了特定示例性实施例，但是本领域的技术人员将理解，在不脱离如权利要求所限定的本发明总体构思的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (14)

1.一种显示设备，包括：
动作识别单元，识别位于显示设备之外的对象的动作；
控制单元，当所述对象的动作被识别出时，确定根据所述对象的动作速度或动作距离而变化的改变量，并根据所述改变量执行与所述对象的动作相应的操作。
2.如权利要求1所述的显示设备，还包括：
调谐器单元，选择广播频道；
信号处理单元，对通过由调谐器单元选择的广播频道接收的广播信号进行处理；
输出单元，输出在信号处理单元处理的广播信号，
其中，如果指示广播频道改变的频道改变动作被识别，则控制单元控制调谐器单元沿频道改变动作的动作方向根据改变量改变并选择广播频道，其中，根据频道改变动作的动作速度或动作距离来不同地确定所述改变量。
3.如权利要求2所述的显示设备，其中，如果所述动作速度或所述动作距离等于或大于预定阈值，则控制单元按第一改变量改变广播频道，如果所述动作速度或所述动作距离小于预定阈值，则控制单元按小于第一改变量的第二改变量改变广播频道。
4.如权利要求2所述的显示设备，其中，控制单元控制所述改变量，从而所述改变量与频道改变动作的动作速度或动作距离成比例地逐渐增加或逐级增加。
5.如权利要求1所述的显示设备，还包括：输出单元，显示包括多个页面的内容；
其中，如果指示页面转换的页面转换动作被识别，则控制单元控制输出单元沿页面转换动作的动作方向根据改变量转换页面，其中，与页面转换动作的动作速度或动作距离成比例地来不同地确定所述改变量。
6.如权利要求5所述的显示设备，其中，如果所述动作速度或所述动作距离等于或大于预定阈值，则控制单元按第一改变量转换内容页面，如果所述动作速度或所述动作距离小于预定阈值，则控制单元按小于第一改变量的第二改变量转换内容页面。
7.如权利要求5所述的显示设备，其中，控制单元控制所述改变量，从而所述改变量与页面转换动作的动作速度或动作距离成比例地逐渐增加或逐级增加。
8.一种显示设备的动作控制方法，包括：
识别位于显示设备之外的对象的动作；
确定根据所述对象的动作速度或动作距离的改变量；
根据所述改变量执行与对象的动作相应的操作。
9.如权利要求8所述的动作控制方法，还包括：选择广播频道并输出广播数据；
其中，如果识别的动作是指示广播频道改变的频道改变动作，则执行步骤沿频道改变动作的动作方向根据改变量改变并选择广播频道，其中，根据频道改变动作的动作速度或动作距离来不同地确定所述改变量。
10.如权利要求9所述的动作控制方法，其中，如果所述动作速度或所述动作距离等于或大于预定阈值，则执行步骤按第一改变量改变广播频道，如果所述动作速度或所述动作距离小于预定阈值，则执行步骤按小于第一改变量的第二改变量改变广播频道。
11.如权利要求9所述的动作控制方法，其中，确定改变量的步骤控制所述改变量，从而所述改变量与频道改变动作的动作速度或动作距离成比例地逐渐增加或逐级增加。
12.如权利要求8所述的动作控制方法，还包括：显示包括多个页面的内容；
其中，如果识别的动作是指示页面转换的页面转换动作，则执行步骤沿页面转换动作的动作方向根据改变量来转换页面，其中，与页面转换动作的动作速度或动作距离成比例地控制所述改变量。
13.如权利要求12所述的动作控制方法，其中，如果所述动作速度或所述动作距离等于或大于预定阈值，则执行步骤按第一改变量转换内容页面，如果动作速度或动作距离小于预定阈值，则执行步骤按小于第一改变量的第二改变量转换内容页面。
14.如权利要求12所述的动作控制方法，其中，确定改变量的步骤控制所述改变量，从而所述改变量与页面转换动作的动作速度或动作距离成比例地逐渐增加或逐级增加。
CN201210005274.0A 2011-01-06 2012-01-06 通过动作控制的显示设备及其动作控制方法 Expired - Fee Related CN102681658B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110001526A KR101858531B1 (ko) 2011-01-06 2011-01-06 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법
KR10-2011-0001526 2011-01-06

Publications (2)

Publication Number Publication Date
CN102681658A true CN102681658A (zh) 2012-09-19
CN102681658B CN102681658B (zh) 2016-03-09

Family

ID=45464414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210005274.0A Expired - Fee Related CN102681658B (zh) 2011-01-06 2012-01-06 通过动作控制的显示设备及其动作控制方法

Country Status (5)

Country Link
US (2) US20120176552A1 (zh)
EP (1) EP2475183A1 (zh)
JP (1) JP2012146304A (zh)
KR (1) KR101858531B1 (zh)
CN (1) CN102681658B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105245814A (zh) * 2015-10-29 2016-01-13 天脉聚源（北京）科技有限公司 一种录制多媒体数据的方法及装置
CN106200883A (zh) * 2014-12-04 2016-12-07 现代摩比斯株式会社 利用红外线识别手势的装置及其方法
CN106303746A (zh) * 2016-08-17 2017-01-04 乐视控股（北京）有限公司 弹幕数据的处理方法及装置
CN107077737A (zh) * 2014-08-13 2017-08-18 乐天株式会社 动作输入系统、动作输入方法和程序

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8751191B2 (en) * 2009-12-22 2014-06-10 Panasonic Corporation Action analysis device and action analysis method
JP2013250637A (ja) * 2012-05-30 2013-12-12 Toshiba Corp 認識装置
JP2014085965A (ja) * 2012-10-25 2014-05-12 Nec Personal Computers Ltd 情報処理装置、情報処理方法、及びプログラム
JP2014085964A (ja) * 2012-10-25 2014-05-12 Nec Personal Computers Ltd 情報処理方法、情報処理装置、及びプログラム
KR101510747B1 (ko) * 2012-12-10 2015-04-10 박정호 모션 센싱 및 감성광고 기능을 구비한 스마트 ｔｖ
KR101510737B1 (ko) * 2012-12-10 2015-04-10 박정호 모션 센싱 및 스마트 ｔｖ 기반의 감성광고 방법
KR101453822B1 (ko) * 2012-12-11 2014-11-05 박수조 감성광고 기능을 구비한 스마트 ｔｖ 기반의 모션 결제 방법
KR101360063B1 (ko) * 2012-12-18 2014-02-12 현대자동차 주식회사 제스처 인식 방법 및 시스템
JP6108161B2 (ja) * 2013-03-15 2017-04-05 アイシン精機株式会社 報知音量制御装置及び開閉体装置
KR20140126807A (ko) * 2013-04-22 2014-11-03 한국전자통신연구원 동작 인식을 위해 패턴을 투사하는 프로젝터, 이를 이용한 동작 인식 장치 및 방법
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
US10168873B1 (en) 2013-10-29 2019-01-01 Leap Motion, Inc. Virtual interactions for machine control
US9996797B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Interactions with virtual objects for machine control
US9740296B2 (en) 2013-12-16 2017-08-22 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras in the interaction space
KR102171817B1 (ko) * 2014-03-14 2020-10-29 삼성전자주식회사 디스플레이 장치 및 제어 방법
KR102265143B1 (ko) 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
JP6494926B2 (ja) 2014-05-28 2019-04-03 京セラ株式会社 携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法
PT107791A (pt) * 2014-07-21 2016-01-21 Ricardo José Carrondo Paulino Sistema integrado de divulgação multimeios com capacidade de interação em tempo real por comando natural e capacidade de acionamento e controlo de motores e atuadores elétricos e eletrónicos
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
CN105182766A (zh) * 2015-08-12 2015-12-23 小米科技有限责任公司 设备控制方法及装置
JP6551941B2 (ja) * 2016-04-19 2019-07-31 株式会社東海理化電機製作所 ジェスチャ判定装置
KR102537416B1 (ko) * 2016-06-03 2023-05-26 우트쿠 부육사힌 3d 이미지를 캡처 및 생성하기 위한 시스템 및 방법
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
KR102155378B1 (ko) * 2018-09-19 2020-09-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US20010042245A1 (en) * 1998-10-13 2001-11-15 Ryuichi Iwamura Remote control system
US6351222B1 (en) * 1998-10-30 2002-02-26 Ati International Srl Method and apparatus for receiving an input by an entertainment device
WO2003010652A1 (en) * 2001-07-24 2003-02-06 Samsung Electronics Co., Ltd. Method and apparatus for selecting information in multi-dimensional space
WO2006003869A1 (ja) * 2004-06-30 2006-01-12 Sony Computer Entertainment Inc. プレイヤの画像を用いてオブジェクトを制御する情報処理装置、情報処理装置におけるオブジェクト制御方法
WO2006009516A1 (en) * 2004-07-19 2006-01-26 Creative Technology Ltd Method and apparatus for touch scrolling
EP1645944A1 (en) * 2004-10-05 2006-04-12 Sony France S.A. A content-management interface
WO2007097548A1 (en) * 2006-02-20 2007-08-30 Cheol Woo Kim Method and apparatus for user-interface using the hand trace
CN101106668A (zh) * 2006-07-12 2008-01-16 三星电子株式会社 显示设备、显示设备的控制方法及其信号处理设备
US20080134102A1 (en) * 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
CN101437124A (zh) * 2008-12-17 2009-05-20 三星电子（中国）研发中心 面向电视控制的动态手势识别信号处理方法
CN201294582Y (zh) * 2008-11-11 2009-08-19 天津三星电子有限公司 通过用户手势动作来进行功能控制的电视机
CN101558367A (zh) * 2006-12-05 2009-10-14 索尼爱立信移动通讯有限公司 用于检测物体移动的方法和系统
EP2180395A1 (en) * 2008-10-24 2010-04-28 Himax Media Solutions, Inc. Display control device and display control method
CN101751206A (zh) * 2008-12-19 2010-06-23 英华达股份有限公司 电子书装置及其操作方法

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08211979A (ja) 1995-02-02 1996-08-20 Canon Inc 手振り入力装置及び方法
DE69634913T2 (de) * 1995-04-28 2006-01-05 Matsushita Electric Industrial Co., Ltd., Kadoma Schnittstellenvorrichtung
US5767457A (en) 1995-11-13 1998-06-16 Cirque Corporation Apparatus and method for audible feedback from input device
JPH1144703A (ja) * 1997-07-25 1999-02-16 Matsushita Electric Ind Co Ltd 手振り入力装置
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6952803B1 (en) 1998-12-29 2005-10-04 Xerox Corporation Method and system for transcribing and editing using a structured freeform editor
US20030233237A1 (en) 2002-06-17 2003-12-18 Microsoft Corporation Integration of speech and stylus input to provide an efficient natural input experience
JP2004246814A (ja) 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 指示動作認識装置
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8684839B2 (en) 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
JP2006209563A (ja) * 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
US7551779B2 (en) 2005-03-17 2009-06-23 Microsoft Corporation Word or character boundary-based scratch-out gesture recognition
CN103778635B (zh) 2006-05-11 2016-09-28 苹果公司 用于处理数据的方法和装置
US7721207B2 (en) * 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
JP5030580B2 (ja) 2006-12-27 2012-09-19 タカタ株式会社 車両用作動システム、車両
US8144148B2 (en) 2007-02-08 2012-03-27 Edge 3 Technologies Llc Method and system for vision-based interaction in a virtual environment
US20080221882A1 (en) 2007-03-06 2008-09-11 Bundock Donald S System for excluding unwanted data from a voice recording
JP2008269174A (ja) 2007-04-18 2008-11-06 Fujifilm Corp 制御装置、方法およびプログラム
JP4625831B2 (ja) 2007-08-01 2011-02-02 シャープ株式会社 表示装置および表示方法
US20110210931A1 (en) 2007-08-19 2011-09-01 Ringbow Ltd. Finger-worn device and interaction methods and communication methods
US20090070109A1 (en) 2007-09-12 2009-03-12 Microsoft Corporation Speech-to-Text Transcription for Personal Communication Devices
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US20110029869A1 (en) 2008-02-29 2011-02-03 Mclennan Hamish Method and system responsive to intentional movement of a device
US8380119B2 (en) 2008-05-15 2013-02-19 Microsoft Corporation Gesture-related feedback in eletronic entertainment system
US8566717B2 (en) 2008-06-24 2013-10-22 Microsoft Corporation Rendering teaching animations on a user-interface display
WO2010006087A1 (en) 2008-07-08 2010-01-14 David Seaberg Process for providing and editing instructions, data, data structures, and algorithms in a computer system
JP2010045730A (ja) * 2008-08-18 2010-02-25 Sony Corp 情報処理装置、情報処理方法、遠隔制御装置及び情報処理システム
JP5183398B2 (ja) 2008-09-29 2013-04-17 株式会社日立製作所 入力装置
KR101737829B1 (ko) 2008-11-10 2017-05-22 삼성전자주식회사 휴대 단말기의 모션 입력 장치 및 그의 운용 방법
KR20100056838A (ko) 2008-11-20 2010-05-28 주식회사 대우일렉트로닉스 사용자 동작 기반의 전자기기 제어 장치 및 방법
US8543415B2 (en) 2008-11-26 2013-09-24 General Electric Company Mobile medical device image and series navigation
WO2010070882A1 (ja) * 2008-12-16 2010-06-24 パナソニック株式会社 情報表示装置及び情報表示方法
JP5175755B2 (ja) 2009-02-04 2013-04-03 株式会社東芝 ジェスチャ認識装置、その方法及びそのプログラム
US8517834B2 (en) 2009-02-17 2013-08-27 Softkinetic Studios Sa Computer videogame system with body position detector that requires user to assume various body positions
WO2010103482A2 (en) 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
JP5246010B2 (ja) * 2009-04-20 2013-07-24 富士通モバイルコミュニケーションズ株式会社 携帯端末およびデータ表示方法
JP5256109B2 (ja) 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
US20100277470A1 (en) 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US9377857B2 (en) * 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8619029B2 (en) 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
KR20110003146A (ko) 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
US9400548B2 (en) 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
KR101612788B1 (ko) 2009-11-05 2016-04-18 엘지전자 주식회사 이동 단말기 및 그 제어 방법
WO2011066343A2 (en) 2009-11-24 2011-06-03 Next Holdings Limited Methods and apparatus for gesture recognition mode control
US20110161889A1 (en) 2009-12-30 2011-06-30 Motorola, Inc. User Interface for Electronic Devices
US9268404B2 (en) 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US20130120282A1 (en) 2010-05-28 2013-05-16 Tim Kukulski System and Method for Evaluating Gesture Usability
US8836643B2 (en) 2010-06-10 2014-09-16 Qualcomm Incorporated Auto-morphing adaptive user interface device and methods
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US20120096345A1 (en) 2010-10-19 2012-04-19 Google Inc. Resizing of gesture-created markings for different display sizes
US9348417B2 (en) 2010-11-01 2016-05-24 Microsoft Technology Licensing, Llc Multimodal input system
US8786547B2 (en) 2010-12-23 2014-07-22 Microsoft Corporation Effects of gravity on gestures
US20130246063A1 (en) 2011-04-07 2013-09-19 Google Inc. System and Methods for Providing Animated Video Content with a Spoken Language Segment
KR101838260B1 (ko) 2011-06-03 2018-03-13 구글 엘엘씨 텍스트를 선택하기 위한 제스처들
US8442970B2 (en) 2011-08-05 2013-05-14 Microsoft Corporation Creating and editing user search queries
US20130067411A1 (en) 2011-09-08 2013-03-14 Google Inc. User gestures indicating rates of execution of functions

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US20010042245A1 (en) * 1998-10-13 2001-11-15 Ryuichi Iwamura Remote control system
US6351222B1 (en) * 1998-10-30 2002-02-26 Ati International Srl Method and apparatus for receiving an input by an entertainment device
WO2003010652A1 (en) * 2001-07-24 2003-02-06 Samsung Electronics Co., Ltd. Method and apparatus for selecting information in multi-dimensional space
US7259756B2 (en) * 2001-07-24 2007-08-21 Samsung Electronics Co., Ltd. Method and apparatus for selecting information in multi-dimensional space
US20080030459A1 (en) * 2004-06-30 2008-02-07 Tsutomu Kouno Information Processing Device For Controlling Object By Using Player Image And Object Control Method In The Information Processing Device
WO2006003869A1 (ja) * 2004-06-30 2006-01-12 Sony Computer Entertainment Inc. プレイヤの画像を用いてオブジェクトを制御する情報処理装置、情報処理装置におけるオブジェクト制御方法
WO2006009516A1 (en) * 2004-07-19 2006-01-26 Creative Technology Ltd Method and apparatus for touch scrolling
EP1645944A1 (en) * 2004-10-05 2006-04-12 Sony France S.A. A content-management interface
WO2007097548A1 (en) * 2006-02-20 2007-08-30 Cheol Woo Kim Method and apparatus for user-interface using the hand trace
CN101106668A (zh) * 2006-07-12 2008-01-16 三星电子株式会社 显示设备、显示设备的控制方法及其信号处理设备
US20080134102A1 (en) * 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
CN101558367A (zh) * 2006-12-05 2009-10-14 索尼爱立信移动通讯有限公司 用于检测物体移动的方法和系统
EP2180395A1 (en) * 2008-10-24 2010-04-28 Himax Media Solutions, Inc. Display control device and display control method
CN201294582Y (zh) * 2008-11-11 2009-08-19 天津三星电子有限公司 通过用户手势动作来进行功能控制的电视机
CN101437124A (zh) * 2008-12-17 2009-05-20 三星电子（中国）研发中心 面向电视控制的动态手势识别信号处理方法
CN101751206A (zh) * 2008-12-19 2010-06-23 英华达股份有限公司 电子书装置及其操作方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077737A (zh) * 2014-08-13 2017-08-18 乐天株式会社 动作输入系统、动作输入方法和程序
CN107077737B (zh) * 2014-08-13 2020-10-09 乐天株式会社 动作输入装置、动作输入方法
CN106200883A (zh) * 2014-12-04 2016-12-07 现代摩比斯株式会社 利用红外线识别手势的装置及其方法
CN106200883B (zh) * 2014-12-04 2019-10-11 现代摩比斯株式会社 利用红外线识别手势的装置及其方法
CN105245814A (zh) * 2015-10-29 2016-01-13 天脉聚源（北京）科技有限公司 一种录制多媒体数据的方法及装置
CN105245814B (zh) * 2015-10-29 2019-04-12 天脉聚源（北京）科技有限公司 一种录制多媒体数据的方法及装置
CN106303746A (zh) * 2016-08-17 2017-01-04 乐视控股（北京）有限公司 弹幕数据的处理方法及装置

Also Published As

Publication number Publication date
US20120176552A1 (en) 2012-07-12
CN102681658B (zh) 2016-03-09
EP2475183A1 (en) 2012-07-11
US20150156441A1 (en) 2015-06-04
US9398243B2 (en) 2016-07-19
KR101858531B1 (ko) 2018-05-17
KR20120080074A (ko) 2012-07-16
JP2012146304A (ja) 2012-08-02

Similar Documents

Publication Publication Date Title
CN102681658B (zh) 通过动作控制的显示设备及其动作控制方法
US9513711B2 (en) Electronic device controlled by a motion and controlling method thereof using different motions to activate voice versus motion recognition
CN102681659B (zh) 通过动作控制的显示设备及其动作控制方法
CN103916592B (zh) 用于在具有照相机的便携式终端中拍摄肖像的设备和方法
US10007841B2 (en) Human face recognition method, apparatus and terminal
US9685199B2 (en) Editing apparatus and editing method
KR20160099497A (ko) 핸드라이팅 인식 방법 및 장치
KR20120080069A (ko) 디스플레이 장치 및 그 음성 제어 방법
CN114578951B (zh) 显示装置及其控制方法
JP2013223244A (ja) カメラ装置及びその制御方法
CN108345581A (zh) 一种信息识别方法、装置和终端设备
CN110764616A (zh) 手势控制方法和装置
KR20160133305A (ko) 제스쳐 인식 방법, 컴퓨팅 장치 및 제어 장치
CN113873165A (zh) 拍照方法、装置和电子设备
JP2011085966A (ja) 情報処理装置、情報処理方法およびプログラム
CN108073291B (zh) 一种输入方法和装置、一种用于输入的装置
CN104240274B (zh) 人脸图像处理方法及装置
KR102070598B1 (ko) 카메라 장치 및 그의 제어 방법
CN108509863A (zh) 信息提示方法、装置和电子设备
KR101348763B1 (ko) 손동작에 의한 인터페이스 조작 장치 및 방법, 그리고 컴퓨터로 읽을 수 있는 기록매체
JP2014150348A (ja) 撮影装置
CN114546130A (zh) 一种推荐方法、装置和电子设备
US20250133285A1 (en) Electronic device and method for controlling photographing thereof
KR20140096250A (ko) 모션에 의해 제어되는 전자기기 및 그 제어 방법
CN116828286A (zh) 影像撷取系统和调整对焦的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160309

Termination date: 20220106

CF01 Termination of patent right due to non-payment of annual fee