[go: up one dir, main page]

CN104145233B - 通过照相机模块跟踪用户的头部来控制屏幕的方法和设备、及其计算机可读记录介质 - Google Patents

通过照相机模块跟踪用户的头部来控制屏幕的方法和设备、及其计算机可读记录介质 Download PDF

Info

Publication number
CN104145233B
CN104145233B CN201380011790.7A CN201380011790A CN104145233B CN 104145233 B CN104145233 B CN 104145233B CN 201380011790 A CN201380011790 A CN 201380011790A CN 104145233 B CN104145233 B CN 104145233B
Authority
CN
China
Prior art keywords
content
screen
head
user
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380011790.7A
Other languages
English (en)
Other versions
CN104145233A (zh
Inventor
D.S.金
J.H.阿恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104145233A publication Critical patent/CN104145233A/zh
Application granted granted Critical
Publication of CN104145233B publication Critical patent/CN104145233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

描述通过使用照相机模块跟踪用户的头部来控制屏幕，包括：（a）当接收到用于显示内容的请求时，在屏幕上显示多个内容区域并且通过照相机模块跟踪查看屏幕的用户的头部；以及（b）在关于第一内容的信息显示在多个内容区域中的中心内容区域中的状态下，当在跟踪中确定用户的头部在特定方向中移动时，在中心内容区域中显示关于第二内容的信息，关于第二内容的信息之前显示在外围内容区域中，外围内容区域位于特定方向中或位于与来自中心内容区域的特定方向相反的方向中。

Description

通过照相机模块跟踪用户的头部来控制屏幕的方法和设备、 及其计算机可读记录介质
技术领域
本公开涉及通过照相机模块跟踪用户的头部来控制屏幕的方法、设备和计算机可读记录介质。更特别地，本公开涉及用于通过照相机模块跟踪用户的头部的移动并且根据用户的头部的移动来移动屏幕使得用户想要从屏幕选择的关于内容的信息显示在中心内容区域中的方法、设备和计算机可读记录介质。
背景技术
在传统的屏幕控制设备（例如，移动通信终端、便携式媒体播放器（PMP）、电视（TV）或个人计算机（PC））中，用户使用输入装置（例如，机械键钮、按钮类型遥控器或鼠标）来控制显示屏幕。近来，由于触摸感测技术的发展，可通过用户与显示面板的手指接触（而不使用传统的输入装置）来控制图像输出装置的几乎所有功能使得图像输出装置（例如，智能电话、平板PC或智能TV）可比传统终端执行更便捷和更多样的功能。
然而，在压敏触摸感测技术或电阻式触摸感测技术中，触摸灵敏度较低。在电容式触摸感测技术中，当用户戴手套（手套具有与手指不同的电容值）时或当手指覆盖有水或外来物质时，难以控制图像输出装置。此外，虽然可使用触摸感测，但是与屏幕的重复性手指接触使用户疲惫和不便。因此，更便捷和简单的用户的输入单元是必要的。
发明内容
技术问题
本公开的目标是提供一种方法，用于通过照相机模块跟踪用户的头部并且根据用户的头部的移动来控制显示的屏幕以允许用户搜索并且从多个内容中选择所希望的内容而不使用任何附加的输入单元。
另外，本公开的另一目标是实现用户便捷接口，通过允许各种内容分别对应于三维网格的每一个并且允许关于位于中心内容区域中的特定内容的详细信息能够被容易读取。
下面描述用于实现前述目标的本公开的各实施例的代表配置。
问题的解决方案
根据本公开的一些方面，提供通过照相机模块跟踪用户的头部来控制屏幕的方法，包括：（a）当接收到用于显示内容的请求时，在屏幕上显示多个内容区域并且通过照相机模块跟踪查看屏幕的用户的头部；以及（b）在关于第一内容的信息显示在多个内容区域中的中心内容区域中的状态下，当在跟踪中确定用户的头部在特定方向中移动时，在中心内容区域中显示关于第二内容的信息，关于第二内容的信息之前显示在外围内容区域中，外围内容区域位于特定方向中或位于与来自中心内容区域的特定方向相反的方向中。
根据本公开的另一方面，提供通过照相机模块跟踪用户的头部来控制屏幕的设备，包括：头部跟踪单元，用于通过照相机模块跟踪查看屏幕的用户的头部；以及屏幕控制单元，用于当接收到内容的显示请求时，在屏幕上显示多个内容区域，并且在关于第一内容的信息显示在多个内容区域中的中心内容区域中的状态下，当在跟踪中确定用户的头部在特定方向中移动时，在中心内容区域中显示关于第二内容的信息，关于第二内容的信息之前显示在外围内容区域中，外围内容区域位于特定方向中或位于与来自中心内容区域的特定方向相反的方向中。
发明的有利效果
根据各实施例，本公开提供直观和便捷的用户接口，允许用户通过简单的头部移动来容易接入对应于每个网格的特定内容，而各种内容映射到对应的三维网格。
此外，根据本公开的一些实施例，用户可以通过简单的头部移动对所希望的内容执行各种指令/操作，包含但不限于选择、放大、缩小、再现以及滚动。
附图说明
图1是示意性图示根据一些实施例的屏幕控制设备的配置的视图。
图2是图示根据一些实施例的执行屏幕控制方法的过程的流程图。
图3是图示当应用根据一些实施例的屏幕控制方法时在每个阶段的屏幕的示范性视图。
图4是图示根据一些实施例的执行屏幕控制方法的过程的流程图。
图5是图示根据一些实施例的执行屏幕控制方法的过程的流程图。
图6是图示当应用根据一些实施例的屏幕控制方法时在每个阶段的显示的屏幕的示范性视图。
图7是图示当应用根据一些实施例的屏幕控制方法时到详细屏幕的连续移动的示范性视图。
图8是图示当应用根据一些实施例的屏幕控制方法时控制详细屏幕的过程的视图。
图9是图示当应用根据一些实施例的屏幕控制方法时控制详细屏幕的过程的视图。
图10是图示当应用根据一些实施例的屏幕控制方法时控制详细屏幕的过程的视图。
具体实施方式
在本公开的以下详细描述中参考附图，附图通过图示来示出其中可实践本公开的各实施例的具体实施例。这些实施例是充分详细描述的使得本领域技术人员能实践本公开。要理解，虽然彼此不同，本公开的各实施例不一定相互排斥。例如，本文结合一个实施例而描述的特定特征、结构和特性可实现在其它实施例内而不背离本公开的精神和范围。而且，要理解，可改变在实施例中的个别元件的位置或布置而不脱离本公开的精神和范围。因此，不应以限制的意义来考虑下文的详细描述，并且本公开的范围只由所附的权利要求连同权利要求所享有的等同物的全部范围来定义（在适当情况下）。
[本公开的优选实施例]
图1是示意性图示根据一些实施例的屏幕控制设备的配置的视图。
参考图1，屏幕控制设备可包含照相机模块110、显示模块120、触摸感测模块130、操作处理模块160（包含头部跟踪单元140和屏幕控制单元150）和存储器170。
照相机模块110可包含透镜单元、图像传感器单元、照明单元等（未示出）以便拍摄物体并且可将通过拍摄用户获得的图像传感器信息传递到操作处理模块160。
显示模块120从操作处理模块160接收显示信号来输出屏幕。触摸感测模块130可配置为电阻式触摸感测模块、压敏触摸感测模块和电容式触摸感测模块中的任何一个。触摸感测模块130可与显示模块120组合并且可与显示模块120分开暴露。触摸感测模块130可基于用户接触来生成输入信号而将它传送到操作处理模块160使得允许操作处理模块160控制将通过显示模块而输出的屏幕。
操作处理模块160包含头部跟踪单元140和屏幕控制单元150。头部跟踪单元140和屏幕控制单元150是操作处理模块160中的功能区别的部分，两者通过应用程序模块来操作。应用程序模块的至少一部分可具有操作系统、应用程序模块和其它程序模块的形式并且可物理地存储在包含于屏幕控制设备100中的存储器170中或存储在以有线或无线方式而通信地连接到屏幕控制设备100的各种已知存储装置中。应用程序模块可包含执行以下描述的具体工作或执行具体抽象数据类型的例程、子例程、程序、对象、部件、数据结构等，但它们不限于以上。
头部跟踪单元140在由照相机模块110拍摄的图像中识别用户的头部或作为头部的一部分的面部。当识别到用户的头部或作为头部的一部分的面部时，实时计算图像中的用户的头部的大小、位置或角度。例如，在每秒50帧的图像中持续跟踪用户的头部来确定在用户的头部的大小、位置或角度中是否有改变。如果在用户的头部的大小、位置或角度中有改变，则头部跟踪单元140通过用户的头部来确定执行预定输入。为了移除噪声，仅当用户的头部的大小、位置或角度中的改变持续保持预定数量的帧（例如，从其中生成用户的头部的大小、位置或角度中的改变的帧，不小于10帧）时，可确定用户执行预定输入。此处，可通过观察面部的特征点中的改变来获得头部的旋转角度等。
然而，头部跟踪单元140不限于如以上所描述的通过用户的头部的大小、位置或角度中的改变来跟踪用户的头部，也可通过感测其它改变（可根据面部的移动在拍摄的图像中生成，例如，用户的头发和面部的颜色改变或头部和颈部的形状中的改变）来跟踪用户的头部。
当从用户接收内容的显示请求时，屏幕控制单元150可控制显示模块120来显示多个内容区域。内容的显示请求可通过触摸感测模块130来接收，并且可通过附加的机械键钮或麦克风（未示出）来输入。
屏幕控制单元150可显示由照相机模块拍摄的图像以及多个内容区域来重叠多个内容区域的一部分或在屏幕的附加区域中重叠。此外，屏幕控制单元150可突出中心内容区域使得中心内容区域可与其它外围内容区域区别开来。例如，屏幕控制单元150可额外地显示虚线或彩色线条，像是固定中心内容区域中的照相机的取景器。
在关于第一内容的信息显示在中心内容区域的状态下，当头部跟踪单元140确定用户的头部向上、向下或向侧边移动时，屏幕控制单元150控制显示模块120在中心内容区域中显示关于第二内容的信息（之前显示在外围区域中），关于第二内容的信息是通过使多个内容区域滑动来显示。例如，当用户的头部向左移动时，多个内容区域向左滑动使得之前显示在中心内容区域的右外围内容区域的关于内容的信息可显示在中心内容区域中。
另外，屏幕控制单元150可基于附加的触摸输入是否接收自触摸感测模块130与头部跟踪结果的组合来控制来自显示模块120的屏幕输出。例如，在显示多个内容区域的状态下，屏幕控制按钮可显示在屏幕的特定区域中。当用户选择屏幕控制按钮时，仅当有用户的头部的移动和通过触摸感测模块130接收的触摸输入两者时，屏幕控制单元150可允许多个内容区域滑动。
此外，如果通过持续按压按钮预定时间t1（例如，三秒）来选择屏幕控制按钮，则屏幕控制单元150可控制显示模块120防止多个内容区域滑动（即使头部跟踪单元140检测到用户的头部的移动）。随后，如果再次通过持续按压按钮预定时间t2（例如，三秒）来选择屏幕控制按钮，则屏幕控制单元150可再次允许多个内容区域滑动使得根据头部的移动而改变在中心内容区域中显示的关于内容的信息，例如，略图（thumbnail iamge）。
如果关于特定内容的信息在中心内容区域中持续显示预定时间t3（例如，两秒），则屏幕控制单元150可控制显示模块120移动到特定内容的详细屏幕。即使在详细屏幕状态下，如果头部跟踪单元确定有用户的头部的移动，则屏幕控制单元可控制详细屏幕滚动、放大或缩小，或返回到多个内容区域的屏幕。
稍后将参考图3以及图6至图10来描述由于如上所述的控制而显示的屏幕。
图2是图示根据一些实施例的执行屏幕控制方法的过程的流程图。
参考图2，屏幕控制设备100从用户接收内容的显示请求并且在屏幕上显示多个内容区域（S210）。多个内容区域是网格形状的区域，包含通过预先划分屏幕区域获得的屏幕单元，每个屏幕单元可以显示关于相应内容的信息。例如，关于图像、照片和运动图像的信息可分别显示在多个内容区域中，使得用户可容易地搜索内容（例如，由照相机模块拍摄的照片和运动图像、下载的图像和运动图像以及由用户创建的图像和运动图像）。通过将图像或运动图像编码成低解析度的图像而获得的略图可布置在多个内容区域中使得用户可看一下来确认哪些内容存在。然而，例如，在五乘四的网格阵列的情况下，通常可显示在屏幕上的略图的最大数量总共不超过20，而存储在屏幕控制设备100的存储器170中的内容的数量大于20。因此，为了让用户搜索所有多个存储的内容，有必要使屏幕示出多个内容区域在用户所希望的方向中移动。
根据本公开的一些实施例，屏幕控制设备100可在多个内容区域中的中心内容区域中显示关于第一内容的信息（S220）。例如，作为多个内容区域的一个的中心内容区域可位于屏幕的中心，并且可被突出。例如，可由彩色线条或虚线来显示中心内容区域的帧，中心内容区域的内部的亮度是可控的，或给出闪烁效果使得中心内容区域可与其它外围内容区域区别开来。然而，本公开不限于以上。
在此状态下，根据本公开，屏幕控制设备100跟踪由照相机模块110拍摄的用户的头部（S230）。可由如上参考图1而描述的各种方法来实现头部跟踪（跟踪用户的头部的移动）。根据本公开，如上参考图1描述的，用户的头部的移动包含作为用户的头部的一部分的面部的移动。
根据本公开的一些实施例，当屏幕控制设备100确定用户的头部在特定方向中移动时（S240），关于第二内容的信息（之前显示在中心内容区域的外围内容区域中）显示在中心内容区域中，代替在S220中显示在中心内容区域中的关于第一内容的信息（S250）。
例如，在关于三个内容的信息项目（相继地，略图1、略图2和略图3）从一侧到另一侧地分别显示在左侧外围内容区域、中心内容区域和右侧外围内容区域的状态下，当确定用户将他或她的头部向左移动时（通过将头部向左倾斜或将头部向左旋转），整个屏幕可向左滑动，例如，使得略图3显示在中心内容区域中。中心内容区域可固定到将显示的屏幕的中心。
图3是图示当应用根据实施例的屏幕控制方法时在每个阶段的屏幕的示范性视图。
在五乘三的网格阵列中的总共15个内容区域显示在图3的左侧上图示的屏幕控制设备100的屏幕300上。在图3中，为方便解释，多个内容区域以网格的形式布置。然而，多个内容区域可被设置为对于用户示为布置在三维球体或立方体的内部或外部并且可设置为以二维列表的形式示出。
关于相应内容的信息项目显示在多个内容区域中。关于内容的信息项目可以用各种形式来显示，例如略图、图标、元数据、文本描述和标签信息，但不限于特定数据形式和内容。此外，内容可以是用音频文件、文档文件等以及图像或运动图像的形式。在此情况下，关于内容的信息项目可作为表示文档或音频的标题、创建者等的文本（除略图之外）来显示，或可以用图像（例如，图标）的形式来显示。特别地，文档可以是具有扩展名（例如，doc、docx、hwp、ppt、pptx、xls、xlsx、pps、ppsx、pdf和gul）的文件。在此情况下，由扩展名区别的图标和文档标题可同时地显示为关于内容的信息项目。然而，文档的种类或关于内容的信息项目的种类和形式不限于以上。
在下文中，为方便解释，假定图像或运动图像内容的多个略图分别显示在多个内容区域中的屏幕300上。
在屏幕300的中心上端中，通过照相机模块110拍摄用户而获得的图像310显示在重叠多个内容区域中的一些的上层中。然而，通过拍摄用户而获得的图像310的位置不限于中心上端。图像310可显示在与多个内容区域分开指定的区域中，而不是与多个内容区域层叠。
通过拍摄用户而获得的图像310可通过附加的轮廓等与多个内容区域区别开来。当在图像中识别到用户的头部或面部315时，可也显示用于三维地表示头部或面部的眼睛、鼻子、嘴唇等的轮廓的显示线。显示线可以是固定的或可改变来实时反映头部的移动的跟踪。当显示线固定时，用户可查看图像来确认图像中头部移动的程度。同时，当显示线设置为随着拍摄用户而获得的图像310中的头部315移动时，用户可确认正常执行头部跟踪。
此外，例如，当正常执行头部跟踪时，通过拍摄用户而获得的图像310的轮廓可显示为绿色，而当由于差的照明状况（例如背光等）或大量噪声信息使得无法适当地识别头部或面部时，拍摄用户而获得的图像310的轮廓可显示为红色使得用户可确认头部跟踪的状态。除上述的方法之外，头部跟踪是否正常执行还可由文本消息（例如，“跟踪正常”或“跟踪失败）来呈现或可通过音频输出（例如蜂鸣声音）而提供给用户。这样的反馈指导用户正确地摆姿势来实现照明状况、面部大小状况和面部角度状况（其中可识别头部或包含于头部中的面部），并且允许用户学习环境、姿势以及适合于头部跟踪的移动。
在略图8首先显示在中心内容区域320中的状态下，当用户将头部向上移动时（通过向后倾斜头部或直立颈部），屏幕控制设备100确定用户的头部向上移动并且将整个多个内容区域向上滑动来允许略图13（之前显示在位于中心内容区域320的下侧的外围内容区域中）显示在中心内容区域320中。因此，用户可只通过头部的移动来将所希望的略图放在中心内容区域320中，而不使用传统的输入单元。在此情况下，可维持在多个内容区域中显示的关于多个内容的信息项目的布置。例如，整个屏幕可滑动而维持略图1、略图2、3和略图15的布置。
根据如以上所描述的类似过程，当用户将头部向下移动时，整个多个内容区域滑动并且略图3（之前显示在位于中心内容区域320的上侧的外围内容区域中）显示在中心内容区域320中。
类似地，当用户将头部向侧边旋转或将颈部倾斜到肩部（从一侧到另一侧）使得头部自身的位置改变时，屏幕控制设备100确定用户的头部从一侧移动到另一侧并且滑动整个多个内容区域使得略图7或略图9显示在中心内容区域中。
在图3中，图示其中整个多个内容区域在与用户的头部的移动方向相同的方向中滑动的过程。然而，多个内容区域的滑动方向不限于以上，而是整个多个内容区域可在与用户的头部的移动方向相反的方向中滑动。例如，当由附加的虚线、彩色线条等突出中心内容区域320时（中心内容区域320可识别为三维或分层浮动的实体（像是照相机的取景器）），用户可直觉地相信他或她必须向左移动他或她的头部以便选择在中心内容区域左侧的外围内容区域。在此情况下，屏幕可设置为在与头部的移动方向相反的方向中滑动。屏幕控制设备100可为用户提供单独的菜单来选择屏幕的滑动方向设置为与头部的移动方向相同还是与头部的移动方向相反，如用户所希望的。
以上假定多个内容区域以网格的形式布置来作出描述。然而，即使当多个内容区域设置为布置在多面体（例如，三维球体或立方体）的内部或外部时，在球体或立方体的权重中心固定的状态下，多个内容区域可根据用户的头部的移动而旋转。
图4是图示根据一些实施例的执行屏幕控制方法的过程的流程图。
用户可不意图只要他或她移动头部就执行根据本公开的屏幕控制方法。特别地，如果用户长时间搜索关于内容的信息或如果在摇晃的地铁或车辆中执行根据本公开的屏幕控制方法，则可生成头部的无意识的移动。在此情况下，即使用户不希望，屏幕滑动以改变在中心内容区域中显示的关于内容的信息。
参考图4，如在图2中描述的，在执行步骤S210和S220的状态下，跟踪用户的头部（S230）。
然后，在触摸输入存在的状态下，仅当确定用户的头部移动时（S400），在中心内容区域中显示关于第二内容的信息（S410）。在此情况下，屏幕控制设备100可额外地在屏幕的左侧和右侧或底端上显示屏幕控制按钮使得用户可通过触摸屏幕控制按钮来选择它。
根据一些实施例，由于仅当用户触摸屏幕控制按钮并且移动他或她的头部时执行步骤S410，有可能防止屏幕由于用户的头部的无意识的移动而滑动。
在上文中，在以上描述中假定触摸输入。然而，本公开不限于以上但它可配置为当确定用户的头部的移动并且存在通过包含于屏幕控制设备100中的附加的机械键钮或通过声音输入（例如，“上”、“下”、“左”和“右”）的输入时，执行步骤S410。
以后将参考图6来详细描述通过应用在图4中图示的屏幕控制方法而显示的屏幕。
图5是图示根据一些实施例的执行屏幕控制方法的过程的流程图。
参考图5，屏幕控制设备100可执行步骤S210和S220（如在图2中描述的）。然后，如果屏幕控制设备100在预定时间t1持续接收触摸输入（S500），即使当在跟踪中确定有用户的头部或作为头部的一部分的面部的移动（S520）时，不像图1，在中心内容区域中维持关于第一内容的信息（在步骤S220中显示在中心内容区域）（S530）。例如，如果用户通过持续按压三秒来选择在屏幕的一部分中显示的屏幕控制按钮，则多个内容区域不滑动或旋转使得关于第一内容的信息显示在中心内容区域中。
根据本公开的另一实施例，如上所述的步骤S510、S520和S530可由步骤S501（停止头部跟踪自身）代替。即，当头部跟踪停止时，由于多个内容区域可不滑动，当然维持其中关于第一内容的信息显示在中心内容区域中的状态。
虽然未示出，在执行以上步骤S510和S501之前，屏幕控制设备100还可执行步骤：在屏幕的区域中显示表示屏幕将不改变（虽然用户移动他或她的头部）的消息或标记。即，可显示文本消息（例如“锁定”）或任何其它标记。此外，意味着屏幕不改变的蜂鸣声音可以是将其通知给用户的音频输出。
随后，如果接收到在预定时间t2（例如，三秒）内持续接触文本消息或上述其它标记的输入，图像输出装置执行头部跟踪并且如果检测到用户的面部的移动，则执行在中心内容区域中显示关于第二内容的信息的步骤。即，根据面部的移动解锁屏幕的滑动功能。此处，t1和t2不一定设置为相同，还可设置为不同，使得t1是三秒并且t2是四秒。
以后将参考图6来详细描述通过应用在图5中图示的屏幕控制方法而显示的屏幕。
图6是图示当应用根据一些实施例的屏幕控制方法时在每个阶段的显示的屏幕的示范性视图。
参考图6，在屏幕300上显示多个内容区域。在屏幕300上，显示通过照相机模块拍摄用户的面部而获得的屏幕310。关于特定内容的信息也显示在中心内容区域320中。此外，屏幕控制按钮600（它是包含其中图示手形状的软按钮）可显示在屏幕300的左侧和右侧上。如在图4中图示的，如果屏幕控制设备100设置为控制屏幕以仅当附加的触摸输入存在时反映用户的头部的移动，则附加的触摸输入可以是通过在图6中图示的屏幕控制按钮600而接收的。然而，图示的屏幕控制按钮600的位置、大小、形状和颜色只是示范性并且屏幕控制按钮600可以用各种形状显示在各种位置中。
如在图4中图示的，虽然用户的头部向上、向下，或向侧边移动，但是多个内容区域并未向上、向下，或从一侧到另一侧滑动（除非通过用户的手指接触其来选择屏幕控制按钮），在中心内容区域中显示的关于内容的信息不改变。
另一方面，如果用户移动他或她的头部而用户由手指等接触屏幕控制按钮，则整个多个内容区域可在头部的移动方向中滑动使得在中心内容区域中显示的关于内容的信息改变。在此情况下，可显示表示屏幕控制按钮被触摸的标记610使得用户可认识到已选择屏幕控制按钮。在图6中，屏幕控制按钮是由标记610（每个包含文本“触摸”）来显示，但是标记610可由意味着屏幕控制按钮被触摸的各种图等来代替。
同时，如在图5中图示的，如果用户持续触摸屏幕控制按钮预定时间t1（例如，三秒），即使确定用户的头部移动，则多个内容区域不滑动并且在中心内容区域中显示的关于内容的信息不改变。在此情况下，可显示表示不执行屏幕控制的标记620。在图6中，屏幕控制按钮是由标记620（每个包含文本“锁定”）来显示，但是标记620可由各种图等来代替。维持这样的状态直至再次按压标记620（每个包含文本“锁定”）预定时间t2（例如，三秒）。然而，t1和t2不一定相同，还可设置为不同，使得t1是四秒并且t2是三秒。
更具体地，例如，虽然用户移动他或她的头部而触摸包含文本“锁定”的标记620，但是屏幕不滑动。然而，当用户触摸包含文本“锁定”的标记620的时间大于t2（例如，三秒）时，再次显示屏幕控制按钮600。因此，在选择屏幕控制按钮600的状态下，当屏幕控制设备100检测到用户的头部的移动时，多个内容区域可滑动使得在外围内容区域中显示的关于内容的信息可显示在中心内容区域中。
图7是图示当应用根据一些实施例的屏幕控制方法时到详细屏幕的连续移动的示范性视图。
参考图7，当关于特定内容的信息的略图13在中心内容区域320中持续显示预定时间t3（例如，两秒）而没有用户的头部的移动时，则屏幕控制设备100移动到详细屏幕，其中详细显示对应于略图13的原始照片或图像。
在此情况下，加载图像700可代替略图13而显示在中心内容区域320中，其表示屏幕控制设备100正在加载对应图像来完全显示它。加载图像700可以用环形箭头或条形的形式来显示。
以上是假定特定内容是静止图像（例如，图像或照片）并且由略图来显示关于特定内容的信息而作出描述。然而，这只是示例并且特定内容可包含运动图像、文档、音频文件等，并且关于特定内容的信息还可以用图标、图示、文本等以及如上所述的略图的形式来显示。
图8是图示当应用根据实施例的屏幕控制方法时控制详细屏幕的过程的视图。
参考图8，假定已经对在图7中图示的详细屏幕作出移动。为描述的方便，将相对于其中在详细屏幕中显示特定内容（如韩国国旗图像）的情况来作出描述。
通过照相机模块110拍摄用户而获得的图像310被输出到详细屏幕的上端的中心。因此，用户可直接知道他或她的头部被移动或跟踪。
在详细屏幕中，在详细屏幕的左侧和右侧显示表示是否存在前一或后一内容的图像指示符800。“前一或后一”是基于在移动到详细屏幕之前显示的多个内容区域的布置顺序。例如，在图6中，可假定美国国旗的略图（略图12）被输出在中心内容区域320的左侧外围内容区域中，韩国国旗的略图（略图13）被输出在中心内容区域中，并且日本国旗的略图（略图14）被输出在中心内容区域的右侧外围内容区域中。在此情况下，“前一”内容可以是美国国旗图像并且“后一”内容可以是日本国旗图像。
用户可通过图像指示符800来确定是否存在前一图像或后一图像而不返回到其中显示多个内容区域的状态。
在以上状态下，当确定用户将他或她的头部向右移动时，屏幕控制设备100可将详细屏幕向右滑动。因此，对于用户，韩国国旗图像810可示为向右消失并且美国国旗图像820（它是前一图像）可示为从左侧出现。因此，根据本公开的一些实施例，可通过头部的移动来控制屏幕用于用户在详细屏幕状态中查看前一内容或后一内容而不再次返回多个内容区域的显示。
可假定用户在详细屏幕状态中将他或她的头部向后移动使得用户的头部远离照相机模块110或照相机模块远离用户。在此情况下，由于在由照相机模块110拍摄的图像310中缩小用户的头部或作为用户的头部的一部分的面部的大小，屏幕控制设备100可确定用户的头部移动到远离照相机模块100。在此情况下，缩小详细屏幕上的图像（即，韩国国旗图像）来显示。
此外，当用户在详细屏幕状态中将他或她的头部移动到接近照相机模块或将照相机模块110移动到用户的面部，由于在拍摄的图像中增大用户的头部或作为用户的头部的一部分的面部的大小，屏幕控制设备100可确定用户的头部移动到接近照相机模块。在此情况下，放大详细屏幕上的图像（即，韩国国旗图像）来显示。因此，如在图8中图示的，只有韩国国旗图像中的太极图案被放大来显示。
此外，在放大详细屏幕的状态下，当屏幕控制设备100确定用户的头部的向上和向下和从一侧到另一侧的移动时，可滚动详细屏幕同时维持其中放大韩国国旗图像的状态。因此，可滚动详细屏幕（示出放大的太极图案）使得韩国国旗的四个卦（即，乾卦、坤卦、坎卦和离卦）可根据用户的头部的向上和向下和从一侧到另一侧的移动而示为放大。
图9是图示当应用根据实施例的屏幕控制方法时控制详细屏幕的过程的视图。
图9图示如在图7中描述的详细屏幕的状态，其中特定内容是运动图像，而不是像图8中的图像或照片。
参考图9，运动图像的详细屏幕可首先显示运动图像的第一帧或屏幕（图900在其上用暗色屏幕在中心表示运动图像）。
在此情况下，当用户将他或她的头部向下倾斜时，屏幕控制设备100可确定用户的头部向下移动并且可再现运动图像。当用户将他或她的头部向下点头而运动图像再现时，屏幕控制设备100可确定用户的头部向下移动并且可停止运动图像的再现和显示。然后，当运动图像的再现停止时，运动图像的帧屏幕可显示为静止图像。在此情况下，表示运动图像的再现停止的预定图还可显示在停止的帧屏幕的中心中。
在运动图像停止的状态下，当用户在详细屏幕上将他或她的头部向上移动时，确定用户的头部向上移动使得在移动到详细屏幕之前移动到在其上显示多个内容区域的屏幕。
以上假定用户的头部向上和向下移动。然而，本公开不限于以上而是可被控制使得也根据用户的头部的从一侧到另一侧的移动来重复运动图像的再现和停止。
图10是图示当应用根据一些实施例的屏幕控制方法时控制详细屏幕的过程的视图。
即使在如上所述参考图8和图9移动到详细屏幕的状态下，可显示通过照相机模块拍摄用户而获得的图像310。然而，用户可希望不是通过在详细屏幕上的头部跟踪来执行屏幕控制。此外，由于详细屏幕是内容的再现屏幕，用户可不希望照相机屏幕等重叠再现屏幕。
因此，当用户由手指接触由照相机模块110拍摄用户而获得的图像310来生成触摸输入时，屏幕控制设备100控制拍摄用户而获得的图像310不再显示。在此情况下，屏幕控制设备100可控制照相机模块110保持拍摄用户和头部跟踪。
然而，当用户再次希望由头部的移动控制详细屏幕时，通过照相机模块110拍摄用户而获得的图像310必须再次显示。因此，可显示照相机屏幕输出按钮950。因此，当用户选择照相机屏幕输出按钮950时，再次显示拍摄的图像。
本公开的上述实施例可以实现为计算机可读介质中的计算机可读代码。计算机可读记录介质可包含但不限于程序指令、本地数据文件、本地数据结构或其组合。计算机可读记录介质可专用于本公开的各实施例或由计算机软件的本领域技术人员所公知。计算机可读记录介质包含其中存储计算机可读数据的所有类型的可记录媒体。计算机可读记录介质的示例包含磁性介质（例如，硬盘、软盘和磁带）、光介质（例如，CD-ROM和DVD）、光磁介质（例如，光磁软盘）和硬件存储器（例如，ROM、RAM和闪速存储器），具体地配置为存储并且执行程序指令。程序指令的示例可包含但不限于机器代码（由编译器生成）以及高级语言（由计算机使用编译器执行）等等。上述硬件设备可配置为操作为用于执行本公开的操作的一个或多个软件模块，并且相反的情况类似。
虽然已经描述本公开的某些实施例，但是这些实施例只是以示例的方式来呈现，并且不旨在限制本公开的范围。实际上，本文描述的新颖方法和设备可以用各种其它形式来实现；此外，可作出关于本文描述的实施例的各种改变、修改、校正和替换而不背离本公开的精神。
因此，所附的权利要求和包含以上修改的它们的等同物旨在覆盖本公开的范围和精神，并且不受限于本公开。

Claims (45)

1.一种通过照相机模块跟踪用户的头部来控制屏幕的方法，包括以下步骤：
当接收到用于显示内容的请求时，在屏幕上显示多个内容区域并且通过所述照相机模块跟踪查看所述屏幕的所述用户的所述头部；以及
在关于第一内容的信息显示在所述多个内容区域中的中心内容区域中的状态下，当在所述跟踪中确定所述用户的所述头部在特定方向中移动时，在所述中心内容区域中显示关于第二内容的信息，关于所述第二内容的信息之前显示在外围内容区域中，所述外围内容区域位于所述特定方向中或位于与来自所述中心内容区域的所述特定方向相反的方向中；
在所述屏幕的一部分上显示由所述照相机模块捕获的照相机屏幕，并且当在所述照相机屏幕上生成触摸输入时，将所述照相机屏幕改变为预定屏幕控制按钮。
2.如权利要求1所述的方法，其中，所述多个内容区域显示在所述屏幕上使得所述多个内容区域以网格的形式布置。
3.如权利要求2所述的方法，其中所述多个内容区域显示在所述屏幕上使得所述多个内容区域对于所述用户示出为以三维球体的形式布置。
4.如权利要求1所述的方法，其中，所述中心内容区域位于所述屏幕的中心部分中。
5.如权利要求1所述的方法，其中在关于所述第一内容的信息显示在所述多个内容区域中的所述中心内容区域中的状态下，当在所述跟踪中确定所述用户的所述头部在特定方向中移动时，在所述中心内容区域中显示关于所述第二内容的信息，关于所述第二内容的信息之前显示在外围内容区域中，所述外围内容区域位于所述特定方向中或位于与来自所述中心内容区域的所述特定方向相反的方向中，通过使在所述多个内容区域中显示的关于多个内容的信息滑动同时保持它们的布置顺序。
6.如权利要求1所述的方法，还包括向所述用户呈现关于是否成功执行所述头部跟踪的信息。
7.如权利要求6所述的方法，其中关于是否成功执行所述头部跟踪的所述信息是通过改变所述屏幕的区域的颜色来呈现。
8.如权利要求1所述的方法，其中所述方法包括显示预定屏幕控制按钮，以及
其中在选择所述预定屏幕控制按钮的状态下，当在所述跟踪中确定所述用户的所述头部在特定方向中移动时，在所述中心内容区域中显示关于所述第二内容的信息，关于所述第二内容的信息之前显示在外围内容区域中，所述外围内容区域位于所述特定方向中或位于与来自所述中心内容区域的所述特定方向相反的方向中。
9.如权利要求1所述的方法，其中，在输入键钮信号或音频信号的状态下，当在所述跟踪中确定所述用户的所述头部在特定方向中移动时，在所述中心内容区域中显示关于所述第二内容的信息，关于所述第二内容的信息之前显示在外围内容区域中，所述外围内容区域位于所述特定方向中或位于与来自所述中心内容区域的所述特定方向相反的方向中。
10.如权利要求1所述的方法，其中所述方法包括显示预定屏幕控制按钮，以及
其中如果所述预定屏幕控制按钮是通过持续按压所述按钮预定时间t1来选择，所述中心内容区域中的关于所述第二内容的信息的显示保留直到再次通过持续按压所述按钮预定时间t2来选择所述预定屏幕控制按钮。
11.如权利要求1所述的方法，还包括突出所述显示的中心内容。
12.如权利要求1所述的方法，其中所述第一内容或所述第二内容包含图像、文档以及音频内容中的至少一个。
13.如权利要求1所述的方法，其中所述第一内容或所述第二内容包含照片、运动图像、文档以及音频内容中的至少一个。
14.如权利要求1所述的方法，还包括，如果关于特定内容的信息在所述中心内容区域中持续显示预定时间而没有检测到所述用户的所述头部的移动，则移动到所述特定内容的详细屏幕。
15.如权利要求14所述的方法，还包括，如果所述关于特定内容的信息在所述中心内容区域中持续显示所述预定时间，则显示用于移动到所述特定内容的所述详细屏幕的加载图像。
16.如权利要求14所述的方法，还包括，在显示所述详细屏幕的状态下，如果检测到所述用户的所述头部在特定方向中移动，则参考所述多个内容区域之前在所述屏幕上布置的顺序而直接移动到前一或后一内容的详细屏幕。
17.如权利要求14所述的方法，还包括，在显示所述详细屏幕的状态下，如果检测到所述用户的所述头部在特定方向中移动，则参考所述多个内容区域之前在所述屏幕上布置的顺序而显示指示是否存在前一或后一内容的图像指示符。
18.如权利要求14所述的方法，还包括，在显示所述详细屏幕的状态下，如果检测到所述用户的所述头部接近所述照相机模块或远离所述照相机模块，则允许放大或缩小所述详细屏幕。
19.如权利要求18所述的方法，还包括，在放大所述详细屏幕的状态下，如果检测到所述用户的所述头部在特定方向中移动，则允许所述详细屏幕在所述特定方向中或在与所述特定方向相反的方向中滚动。
20.如权利要求14所述的方法，还包括，在显示所述详细屏幕的状态下，如果所述特定内容是运动图像并且检测到所述用户的所述头部在第一方向中移动，则再现所述运动图像。
21.如权利要求20所述的方法，还包括，如果检测到所述用户的所述头部在所述第一方向中移动而所述运动图像已再现，则停止所述运动图像的再现。
22.如权利要求21所述的方法，还包括，在所述运动图像的再现停止的状态下，如果检测到所述用户的所述头部在第二方向中移动，则移动到其上显示所述多个内容区域的屏幕。
23.一种通过照相机模块跟踪用户的头部来控制屏幕的设备，包括：
头部跟踪单元，用于通过所述照相机模块跟踪查看所述屏幕的所述用户的所述头部；以及
屏幕控制单元，用于当接收到内容的显示请求时，在屏幕上显示多个内容区域，并且在关于第一内容的信息显示在所述多个内容区域中的中心内容区域中的状态下，当在所述跟踪中确定所述用户的所述头部在特定方向中移动时，在所述中心内容区域中显示关于第二内容的信息，关于所述第二内容的信息之前显示在外围内容区域中，所述外围内容区域位于所述特定方向中或位于与来自所述中心内容区域的所述特定方向相反的方向中；
其中所述屏幕控制单元还在所述屏幕的一部分上显示由所述照相机模块捕获的照相机屏幕，并且当在所述照相机屏幕上生成触摸输入时，将所述照相机屏幕改变为预定屏幕控制按钮。
24.如权利要求23所述的设备，其中所述屏幕控制单元在所述屏幕上显示所述多个内容区域使得使得所述多个内容区域以网格的形式布置。
25.如权利要求24所述的设备，其中所述屏幕控制单元在所述屏幕上显示所述多个内容区域使得所述多个内容区域对于所述用户示出为以三维球体的形式布置。
26.如权利要求23所述的设备，其中所述屏幕控制单元控制所述屏幕使得所述中心内容区域位于所述屏幕的中心部分中。
27.如权利要求23所述的设备，其中在关于所述第一内容的信息显示在所述多个内容区域中的所述中心内容区域中的状态下，当在所述跟踪中确定所述用户的所述头部在特定方向中移动时，所述屏幕控制单元在所述中心内容区域中显示关于所述第二内容的信息，关于所述第二内容的信息之前显示在外围内容区域中，所述外围内容区域位于所述特定方向中或位于与来自所述中心内容区域的所述特定方向相反的方向中，通过使在所述多个内容区域中显示的关于多个内容的信息滑动同时保持它们的布置顺序。
28.如权利要求23所述的设备，其中所述屏幕控制单元向所述用户呈现关于是否成功执行所述头部跟踪的信息。
29.如权利要求28所述的设备，其中所述屏幕控制单元通过改变所述屏幕的区域的颜色来呈现关于是否成功执行所述头部跟踪的所述信息。
30.如权利要求23所述的设备，其中所述屏幕控制单元额外地显示预定屏幕控制按钮，以及
其中在选择所述预定屏幕控制按钮的状态下，当在所述跟踪中确定所述用户的所述头部在特定方向中移动时，所述屏幕控制单元在所述中心内容区域中显示关于所述第二内容的信息，关于所述第二内容的信息之前显示在外围内容区域中，所述外围内容区域位于所述特定方向中或位于与来自所述中心内容区域的所述特定方向相反的方向中。
31.如权利要求23所述的设备，还包括机械键钮或扬声器，
其中在通过所述机械键钮或扬声器输入信号的状态下，当在所述跟踪中确定所述用户的所述头部在特定方向中移动时，所述屏幕控制单元在所述中心内容区域中显示关于所述第二内容的信息，关于所述第二内容的信息之前显示在外围内容区域中，所述外围内容区域位于所述特定方向中或位于与来自所述中心内容区域的所述特定方向相反的方向中。
32.如权利要求23所述的设备，其中所述屏幕控制单元额外地显示预定屏幕控制按钮，
其中如果所述预定屏幕控制按钮是通过持续按压所述按钮预定时间t1来选择，则所述屏幕控制单元在所述中心内容区域中保留关于所述第二内容的信息的显示直至再次通过持续按压所述按钮预定时间t2来选择所述预定屏幕控制按钮。
33.如权利要求23所述的设备，其中所述屏幕控制单元突出所述显示的中心内容区域。
34.如权利要求23所述的设备，其中所述第一内容或所述第二内容包含图像、文档以及音频内容中的至少一个。
35.如权利要求23所述的设备，其中所述第一内容或所述第二内容包含照片、运动图像、文档以及音频内容中的至少一个。
36.如权利要求23所述的设备，其中如果关于特定内容的信息在所述中心内容区域中持续显示预定时间而没有检测到所述用户的所述头部的移动，则所述屏幕控制单元移动到所述特定内容的详细屏幕。
37.如权利要求36所述的设备，其中如果所述关于特定内容的信息在所述中心内容区域中持续显示所述预定时间，则所述屏幕控制单元显示用于移动到所述特定内容的所述详细屏幕的加载图像。
38.如权利要求36所述的设备，其中在显示所述详细屏幕的状态下，如果检测到所述用户的所述头部在特定方向中移动，则所述屏幕控制单元控制所述屏幕使得参考所述多个内容区域之前在所述屏幕上布置的顺序而直接移动到前一或后一内容的详细屏幕。
39.如权利要求36所述的设备，其中在显示所述详细屏幕的状态下，如果检测到所述用户的所述头部在特定方向中移动，则所述屏幕控制单元参考所述多个内容区域之前在所述屏幕上布置的顺序而显示指示是否存在前一或后一内容的图像指示符。
40.如权利要求36所述的设备，其中在显示所述详细屏幕的状态下，如果检测到所述用户的所述头部接近所述照相机模块或远离所述照相机模块，则所述屏幕控制单元允许放大或缩小所述详细屏幕。
41.如权利要求40所述的设备，其中在放大所述详细屏幕的状态下，如果检测到所述用户的所述头部在特定方向中移动，则所述屏幕控制单元允许所述详细屏幕在所述特定方向中或在与所述特定方向相反的方向中滚动。
42.如权利要求36所述的设备，其中在显示所述详细屏幕的状态下，如果所述特定内容是运动图像并且检测到所述用户的所述头部在第一方向中移动，则所述屏幕控制单元再现所述运动图像。
43.如权利要求42所述的设备，其中如果检测到所述用户的所述头部在所述第一方向中移动而所述运动图像已再现，则所述屏幕控制单元停止所述运动图像的再现。
44.如权利要求43所述的设备，其中在所述运动图像的再现停止的状态下，如果检测到所述用户的所述头部在第二方向中移动，则所述屏幕控制单元移动到其上显示所述多个内容区域的屏幕。
45.一种通过照相机模块跟踪用户的头部来控制屏幕的设备，包括用于执行根据权利要求1至22中的任一项所述的方法的部件。
CN201380011790.7A 2012-02-23 2013-02-25 通过照相机模块跟踪用户的头部来控制屏幕的方法和设备、及其计算机可读记录介质 Active CN104145233B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020120018737A KR101180119B1 (ko) 2012-02-23 2012-02-23 카메라 모듈을 통해 사용자의 머리를 트래킹하여 화면을 제어하는 방법, 제어장치 및 컴퓨터 판독 가능한 기록 매체
KR10-2012-0018737 2012-02-23
PCT/KR2013/001482 WO2013125921A1 (en) 2012-02-23 2013-02-25 Method and apparatus for controlling screen by tracking head of user through camera module, and computer-readable recording medium therefor

Publications (2)

Publication Number Publication Date
CN104145233A CN104145233A (zh) 2014-11-12
CN104145233B true CN104145233B (zh) 2017-10-27

Family

ID=47073863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380011790.7A Active CN104145233B (zh) 2012-02-23 2013-02-25 通过照相机模块跟踪用户的头部来控制屏幕的方法和设备、及其计算机可读记录介质

Country Status (5)

Country Link
US (2) US9261957B2 (zh)
JP (1) JP2015508211A (zh)
KR (1) KR101180119B1 (zh)
CN (1) CN104145233B (zh)
WO (1) WO2013125921A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201305402D0 (en) * 2013-03-25 2013-05-08 Sony Comp Entertainment Europe Head mountable display
JP6528680B2 (ja) * 2013-03-27 2019-06-12 日本電気株式会社 表示装置、表示方法及び表示プログラム
KR101799294B1 (ko) 2013-05-10 2017-11-20 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
KR20140133362A (ko) * 2013-05-10 2014-11-19 삼성전자주식회사 디스플레이 장치 및 그 ui 화면 제공 방법
CN104166835A (zh) * 2013-05-17 2014-11-26 诺基亚公司 用于识别活体用户的方法和装置
KR20150003560A (ko) 2013-07-01 2015-01-09 삼성전자주식회사 사용자의 모션 정보에 기초하여 사용자 인터페이스(ｕｉ)를 변경시키는 방법 및 장치
US9244539B2 (en) 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
US9846522B2 (en) * 2014-07-23 2017-12-19 Microsoft Technology Licensing, Llc Alignable user interface
KR20160025922A (ko) * 2014-08-28 2016-03-09 삼성전자주식회사 영상 처리 방법 및 장치
KR101682215B1 (ko) * 2015-05-26 2016-12-02 (주)펀퍼니브라더스 가상현실 vr 웹툰의 제공 장치 및 방법
JP6547563B2 (ja) * 2015-09-30 2019-07-24 富士通株式会社 検出プログラム、検出方法及び検出装置
CN105388973B (zh) * 2015-11-13 2019-03-19 业成光电（深圳）有限公司 可携式电子装置
KR102163149B1 (ko) * 2015-11-25 2020-10-08 한국전자기술연구원 서비스 프로토타이핑에서의 ux 프로파일링을 위한 실감형 테스트 시스템
JP6729069B2 (ja) * 2016-06-28 2020-07-22 富士ゼロックス株式会社 情報処理装置
JPWO2018042811A1 (ja) * 2016-08-31 2019-06-24 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
US10955987B2 (en) * 2016-10-04 2021-03-23 Facebook, Inc. Three-dimensional user interface
CN106599652A (zh) * 2016-11-14 2017-04-26 深圳市金立通信设备有限公司 屏幕解锁方法及终端
US11544965B1 (en) * 2018-05-10 2023-01-03 Wicket, Llc System and method for access control using a plurality of images
US12020505B1 (en) 2018-05-10 2024-06-25 Wicket, Llc System and method for facial recognition accuracy
CN109343754A (zh) * 2018-08-27 2019-02-15 维沃移动通信有限公司 一种图像显示方法及终端
WO2020241038A1 (ja) * 2019-05-27 2020-12-03 ソニー株式会社 構図制御装置、構図制御方法、プログラム
US11917118B2 (en) * 2019-12-27 2024-02-27 Sony Group Corporation Information processing apparatus and information processing method
JP7375611B2 (ja) * 2020-02-28 2023-11-08 日本精機株式会社 操作装置
EP4495750A3 (en) * 2020-03-27 2025-03-26 Apple Inc. Devices, methods, and graphical user interfaces for gaze-based navigation
AU2021349382B2 (en) 2020-09-25 2023-06-29 Apple Inc. Methods for adjusting and/or controlling immersion associated with user interfaces
JP7624510B2 (ja) 2020-09-25 2025-01-30 アップル インコーポレイテッド 環境内のオブジェクトを操作するための方法
CN116670627A (zh) 2020-12-31 2023-08-29 苹果公司 对环境中的用户界面进行分组的方法
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
WO2023049670A1 (en) 2021-09-25 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments
US12456271B1 (en) 2021-11-19 2025-10-28 Apple Inc. System and method of three-dimensional object cleanup and text annotation
WO2023137402A1 (en) 2022-01-12 2023-07-20 Apple Inc. Methods for displaying, selecting and moving objects and containers in an environment
WO2023141535A1 (en) 2022-01-19 2023-07-27 Apple Inc. Methods for displaying and repositioning objects in an environment
US12272005B2 (en) 2022-02-28 2025-04-08 Apple Inc. System and method of three-dimensional immersive applications in multi-user communication sessions
US12541280B2 (en) 2022-02-28 2026-02-03 Apple Inc. System and method of three-dimensional placement and refinement in multi-user communication sessions
US12394167B1 (en) 2022-06-30 2025-08-19 Apple Inc. Window resizing and virtual object rearrangement in 3D environments
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
CN120266077A (zh) 2022-09-24 2025-07-04 苹果公司 用于控制三维环境并与之交互的方法
US12524956B2 (en) 2022-09-24 2026-01-13 Apple Inc. Methods for time of day adjustments for environments and environment presentation during communication sessions
CN120813918A (zh) 2023-01-30 2025-10-17 苹果公司 用于响应于注视和/或手势输入来显示多组控件的设备、方法和图形用户界面
CN121187445A (zh) 2023-06-04 2025-12-23 苹果公司 用于管理重叠窗口和应用视觉效果的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101599267A (zh) * 2008-06-02 2009-12-09 索尼爱立信移动通信日本株式会社 显示处理设备、显示处理方法和程序及移动终端设备
CN101944349A (zh) * 2009-07-03 2011-01-12 索尼公司 显示控制装置和显示控制方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06187092A (ja) * 1992-12-21 1994-07-08 Fujitsu Ltd 頭部駆動ポインティング装置
US5859642A (en) 1996-09-26 1999-01-12 Sandia Corporation Virtual button interface
JPH118822A (ja) * 1997-06-17 1999-01-12 Olympus Optical Co Ltd 画像信号処理装置及び電子的撮像装置
JP2002116859A (ja) * 2000-10-11 2002-04-19 Sony Corp 情報処理装置、命令認識処理方法及びプログラム格納媒体
JP2005056059A (ja) * 2003-08-01 2005-03-03 Canon Inc 撮像部を備えた頭部搭載型ディスプレイを用いた入力装置および方法
US8064647B2 (en) * 2006-03-03 2011-11-22 Honeywell International Inc. System for iris detection tracking and recognition at a distance
JP2005121768A (ja) * 2003-10-15 2005-05-12 Sharp Corp 記録データ再生システム及び記録データ再生方法
US7667700B1 (en) 2004-03-05 2010-02-23 Hrl Laboratories, Llc System and method for navigating operating in a virtual environment
JP4699139B2 (ja) 2004-09-14 2011-06-08 富士フイルム株式会社 セキュリティシステム
US8069420B2 (en) * 2004-12-29 2011-11-29 Karl Storz Endoscopy-America, Inc. System for controlling the communication of medical imaging data
US20060271867A1 (en) * 2005-05-27 2006-11-30 Wang Kong Q Mobile communications terminal and method therefore
JP4781181B2 (ja) * 2006-07-07 2011-09-28 株式会社ソニー・コンピュータエンタテインメント ユーザインタフェースプログラム、装置および方法、情報処理システム
KR100843093B1 (ko) * 2006-11-28 2008-07-02 삼성전자주식회사 움직임에 따라 컨텐츠를 디스플레이하는 장치 및 방법
JP5433935B2 (ja) * 2007-07-24 2014-03-05 日本電気株式会社 画面表示制御方法、画面表示制御方式、電子機器及びプログラム
US8077915B2 (en) 2007-10-12 2011-12-13 Sony Ericsson Mobile Communications Ab Obtaining information by tracking a user
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US9092053B2 (en) * 2008-06-17 2015-07-28 Apple Inc. Systems and methods for adjusting a display based on the user's position
KR20100012124A (ko) * 2008-07-28 2010-02-08 주식회사 미래인식 얼굴인식을 이용한 실시간 개인컴퓨터 보안 인증 방법 및시스템
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
JP2010262525A (ja) * 2009-05-08 2010-11-18 Alps Electric Co Ltd 入力処理装置
JP2011209786A (ja) * 2010-03-29 2011-10-20 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
KR101194259B1 (ko) * 2010-06-14 2012-10-29 한국과학기술원 얼굴방향 인식기반의 단일 입력 인터페이스 방법 및 이를 이용한 시스템
US8493390B2 (en) * 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101599267A (zh) * 2008-06-02 2009-12-09 索尼爱立信移动通信日本株式会社 显示处理设备、显示处理方法和程序及移动终端设备
CN101944349A (zh) * 2009-07-03 2011-01-12 索尼公司 显示控制装置和显示控制方法

Also Published As

Publication number Publication date
CN104145233A (zh) 2014-11-12
US20160179191A1 (en) 2016-06-23
US9465437B2 (en) 2016-10-11
US9261957B2 (en) 2016-02-16
JP2015508211A (ja) 2015-03-16
KR101180119B1 (ko) 2012-09-05
US20140210705A1 (en) 2014-07-31
WO2013125921A1 (en) 2013-08-29

Similar Documents

Publication Publication Date Title
CN104145233B (zh) 通过照相机模块跟踪用户的头部来控制屏幕的方法和设备、及其计算机可读记录介质
US12314553B2 (en) User interface camera effects
US12477058B2 (en) Device, method, and graphical user interface for updating a background for home and wake screen user interfaces
US10788967B2 (en) Gesture mapping for image filter input parameters
JP4720879B2 (ja) 情報処理装置及び情報処理方法
JP5511573B2 (ja) 表示制御装置及びその制御方法、並びにプログラム及び記憶媒体
EP2542955B1 (en) Image processing device, image processing method and program
JP5429060B2 (ja) 表示制御装置、表示制御方法、表示制御プログラム並びにこの表示制御プログラムが記録された記録媒体
CN102804258B (zh) 图像处理设备、图像处理方法及程序
KR20140128208A (ko) 사용자 단말 장치 및 그 제어 방법
JP2016511471A (ja) 携帯端末に対する動作関連入力によって複数個のオブジェクトの表示を制御する方法及び携帯端末
US20150063785A1 (en) Method of overlappingly displaying visual object on video, storage medium, and electronic device
JP6647103B2 (ja) 表示制御装置およびその制御方法
JP5441748B2 (ja) 表示制御装置及びその制御方法、プログラム並びに記憶媒体
KR20140142081A (ko) 그룹 리코딩 방법, 저장 매체 및 전자 장치
JP6762723B2 (ja) 記録装置、記録装置の制御方法およびプログラム
CN108009273B (zh) 图像显示方法、装置及计算机可读存储介质
US9886167B2 (en) Display apparatus and control method thereof
JP6362110B2 (ja) 表示制御装置、その制御方法、プログラム、及び記録媒体
US20260019699A1 (en) Camera user interface

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant