[go: up one dir, main page]

KR101888681B1 - Mobile device and control method thereof - Google Patents

Mobile device and control method thereof Download PDF

Info

Publication number
KR101888681B1
KR101888681B1 KR1020110101826A KR20110101826A KR101888681B1 KR 101888681 B1 KR101888681 B1 KR 101888681B1 KR 1020110101826 A KR1020110101826 A KR 1020110101826A KR 20110101826 A KR20110101826 A KR 20110101826A KR 101888681 B1 KR101888681 B1 KR 101888681B1
Authority
KR
South Korea
Prior art keywords
screen
target device
control target
user
touch input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020110101826A
Other languages
Korean (ko)
Other versions
KR20130037430A (en
Inventor
류소현
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020110101826A priority Critical patent/KR101888681B1/en
Priority to EP12168444.3A priority patent/EP2579142B1/en
Priority to US13/618,120 priority patent/US20130088629A1/en
Publication of KR20130037430A publication Critical patent/KR20130037430A/en
Application granted granted Critical
Publication of KR101888681B1 publication Critical patent/KR101888681B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명은 모바일기기와, 그 제어방법에 관한 것으로서, 모바일기기는, 화면을 표시하는 제어대상기기와 통신하는 통신부와; 상기 제어대상기기의 화면을 촬상하는 카메라부와; 상기 제어대상기기의 화면을 촬상한 영상을 표시하는 디스플레이부와; 상기 디스플레이부 상의 사용자의 터치입력을 수신하는 터치입력부와; 상기 촬상한 영상으로부터 상기 제어대상기기의 화면의 영역을 결정하고, 상기 화면의 영역에 있어서 상기 사용자의 터치입력에 대응하는 위치정보를 상기 제어대상기기에 전송하는 제어부를 포함한다.
이에 의하여, 제어대상기기가 제공하는 UI를 모바일기기를 통하여 사용자가 터치방식으로 인터페이스할 수 있으므로, 보다 편리하게 제어대상기기를 원격으로 제어할 수 있다.The present invention relates to a mobile device and a control method thereof, wherein the mobile device comprises: a communication section for communicating with a control target device displaying a screen; A camera unit for capturing an image of the screen of the control target device; A display unit for displaying an image of a screen of the control target device; A touch input unit for receiving a touch input of a user on the display unit; And a control unit for determining an area of the screen of the control target device from the captured image and transmitting position information corresponding to the touch input of the user to the control target device in the area of the screen.
Thus, the UI provided by the control target device can be interfaced with the user through the mobile device in a touch manner, so that the control target device can be remotely controlled more conveniently.

Description

모바일기기 및 그 제어방법{MOBILE DEVICE AND CONTROL METHOD THEREOF}[0001] MOBILE DEVICE AND CONTROL METHOD THEREOF [0002]

본 발명은 모바일기기 및 그 제어방법에 관한 것으로서, 보다 상세하게는, UI를 화면에 표시하는 디스플레이장치와 통신 가능한 모바일기기 및 그 제어방법에 관한 것이다.The present invention relates to a mobile device and a control method thereof, and more particularly, to a mobile device capable of communicating with a display device displaying a UI on a screen and a control method thereof.

TV, PC, AV장치 등과 같이 영상을 표시하는 디스플레이장치는 UI를 화면에 제공하고, UI를 통한 사용자의 명령에 따라 동작할 수 있다. 이러한 UI는 리모컨 등을 통해 원격으로 조작되는 경우도 있으나, 보다 유용한 조작을 위하여 사용자의 터치입력을 활용한 터치UI가 이용될 수 있다.A display device such as a TV, a PC, or an AV device may display a UI on a screen, and may operate according to a user's command through the UI. The UI may be remotely operated through a remote controller or the like, but a touch UI utilizing the touch input of the user may be used for more useful operation.

그런데, 사용자가 디스플레이장치와 가까이 있을 경우에는 UI를 터치할 수 있으나, 사용자가 디스플레이장치와 멀리 떨어져 있을 경우에는 그렇지 못하여 터치UI를 이용할 수 없게 된다. 따라서, 이러한 거리 상의 제약때문에, 지금까지는 원격으로 디스플레이장치(이하, "제어대상기기"라 함)를 제어하는 방법으로서는 터치UI가 이용되고 있지 못한 실정이었다.However, if the user is close to the display device, the UI can be touched. However, if the user is far away from the display device, the user can not use the touch UI. Therefore, due to such a distance limitation, up to now, a touch UI has not been used as a method of remotely controlling a display device (hereinafter referred to as "control target device").

한편, 최근 휴대폰, 스마트폰, 스마트패드 등과 같은 모바일기기의 대중화로 모바일기기의 활용도가 점차 높아지고 있다. 이러한 모바일기기는 다양한 기능을 가지고 있는데, 그 중 하나의 기능으로서 디스플레이장치와 통신을 수행하여 데이터를 주고 받는 기능도 제공한다. 또한, 모바일기기는 촬상을 수행하는 카메라부와, 영상을 표시하는 디스플레이부를 구비할 수 있다.On the other hand, the popularity of mobile devices such as mobile phones, smart phones, and smart pads has been gradually increasing. Such a mobile device has various functions. One of the functions of the mobile device is a function of communicating with the display device and exchanging data. In addition, the mobile device may include a camera unit for performing imaging and a display unit for displaying an image.

따라서 본 발명의 목적은, 보다 편리하게 제어대상기기를 원격으로 제어할 수 있는 모바일기기 및 그 제어방법을 제공하는 것이다.Therefore, an object of the present invention is to provide a mobile device and a control method thereof that can remotely control a control target device.

또한, 본 발명의 목적은, 제어대상기기가 제공하는 UI를 터치방식으로 인터페이스할 수 있는 모바일기기 및 그 제어방법을 제공하는 것이다.In addition, an object of the present invention is to provide a mobile device and a control method thereof that can interface with a UI provided by a control target device in a touch manner.

본 발명의 상기 목적은, 모바일기기에 있어서, 화면을 표시하는 제어대상기기와 통신하는 통신부와; 상기 제어대상기기의 화면을 촬상하는 카메라부와; 상기 제어대상기기의 화면을 촬상한 영상을 표시하는 디스플레이부와; 상기 디스플레이부 상의 사용자의 터치입력을 수신하는 터치입력부와; 상기 촬상한 영상으로부터 상기 제어대상기기의 화면의 영역을 결정하고, 상기 화면의 영역에 있어서 상기 사용자의 터치입력에 대응하는 위치정보를 상기 제어대상기기에 전송하는 제어부를 포함하는 모바일기기에 의해서 달성될 수 있다.The above object of the present invention is achieved by a mobile device comprising: a communication section for communicating with a control target device displaying a screen; A camera unit for capturing an image of the screen of the control target device; A display unit for displaying an image of a screen of the control target device; A touch input unit for receiving a touch input of a user on the display unit; And a control unit for determining an area of the screen of the control target device from the captured image and transmitting position information corresponding to the touch input of the user in the area of the screen to the control target device .

상기 제어부는, 상기 제어대상기기에 마련된 마커에 기초하여 상기 화면의 영역을 결정할 수 있다.The control unit may determine an area of the screen based on a marker provided in the control target device.

상기 제어부는, 상기 촬상한 영상에 대하여 영상인식을 수행하여 상기 화면의 영역을 결정할 수 있다.The controller may determine an area of the screen by performing image recognition on the sensed image.

상기 통신부는, 상기 제어대상기기로부터 동기신호를 수신하고, 상기 제어부는, 상기 수신된 동기신호를 이용한 상기 제어대상기기의 상대적 위치에 기초하여 상기 화면의 영역을 결정할 수 있다.The communication unit may receive the synchronization signal from the control target device and the control unit may determine the area of the screen based on the relative position of the control target device using the received synchronization signal.

상기 사용자의 터치입력에 대응하는 위치정보는, 상기 화면의 영역의 소정 기준점에 대한 상기 사용자의 터치입력에 대응하는 지점의 좌표정보를 포함할 수 있다.The position information corresponding to the touch input of the user may include coordinate information of a point corresponding to the touch input of the user to a predetermined reference point of the area of the screen.

상기 제어부는, 상기 사용자의 터치입력에 대응하는 위치를 나타내는 UI를 상기 디스플레이부에 표시할 수 있다.The control unit may display a UI on the display unit indicating a position corresponding to the touch input of the user.

상기 제어부는, 상기 화면의 촬상 시 상기 화면의 영역이 표시되도록 상기 카메라부의 각도 및 줌 중 적어도 하나를 조정할 수 있다.The control unit may adjust at least one of an angle and a zoom of the camera unit so that an area of the screen is displayed at the time of capturing the screen.

본 발명의 상기 목적은, 모바일기기의 제어방법에 있어서, 화면을 표시하는 제어대상기기의 화면을 카메라부로 촬상하는 단계와; 상기 제어대상기기의 화면을 촬상한 영상을 디스플레이부에 표시하는 단계와; 상기 디스플레이부 상의 사용자의 터치입력을 수신하는 단계와; 상기 촬상한 영상으로부터 상기 제어대상기기의 화면의 영역을 결정하고, 상기 화면의 영역에 있어서 상기 사용자의 터치입력에 대응하는 위치정보를 상기 제어대상기기에 전송하는 단계를 포함하는 모바일기기의 제어방법에 의해서도 달성될 수 있다.The above object of the present invention can be achieved by a control method of a mobile device, comprising the steps of: capturing a screen of a control target device displaying a screen with a camera; Displaying an image of the screen of the control target device on a display unit; Receiving a touch input of a user on the display unit; Determining a region of the screen of the control target device from the captured image and transmitting position information corresponding to the touch input of the user to the control target device in the region of the screen As shown in FIG.

상기 결정하는 단계는, 상기 제어대상기기에 마련된 마커에 기초하여 상기 화면의 영역을 결정하는 단계를 포함할 수 있다.The determining may include determining an area of the screen based on a marker provided in the control subject device.

상기 결정하는 단계는, 상기 촬상한 영상에 대하여 영상인식을 수행하여 상기 화면의 영역을 결정하는 단계를 포함할 수 있다.The determining may include determining an area of the screen by performing image recognition on the sensed image.

상기 결정하는 단계는, 상기 제어대상기기로부터 수신되는 동기신호를 이용한 상기 제어대상기기의 상대적 위치에 기초하여 상기 화면의 영역을 결정하는 단계를 포함할 수 있다.The determining may include determining an area of the screen based on a relative position of the control target device using the synchronization signal received from the control target device.

상기 사용자의 터치입력에 대응하는 위치정보는, 상기 화면의 영역의 소정 기준점에 대한 상기 사용자의 터치입력에 대응하는 지점의 좌표정보를 포함할 수 있다.The position information corresponding to the touch input of the user may include coordinate information of a point corresponding to the touch input of the user to a predetermined reference point of the area of the screen.

모바일기기의 제어방법은, 상기 사용자의 터치입력에 대응하는 위치를 나타내는 UI를 상기 디스플레이부에 표시하는 단계를 더 포함할 수 있다.The control method of the mobile device may further include displaying a UI on the display unit indicating a position corresponding to the touch input of the user.

상기 촬상하는 단계는, 상기 화면의 영역이 표시되도록 상기 카메라부의 각도 및 줌 중 적어도 하나를 조정하는 단계를 포함할 수 있다.The capturing may include adjusting at least one of an angle and a zoom of the camera unit so that an area of the screen is displayed.

상기한 바와 같이, 본 발명에 의하면, 제어대상기기가 제공하는 UI를 모바일기기를 통하여 사용자가 터치방식으로 인터페이스할 수 있으므로, 보다 편리하게 제어대상기기를 원격으로 제어할 수 있다.As described above, according to the present invention, since the UI provided by the device to be controlled can be interfaced with the user through the mobile device in a touch manner, it is possible to remotely control the device to be controlled.

도 1은 본 발명의 일실시예에 의한 제어대상기기와, 모바일기기를 도시하며,
도 2는 도 1에 도시된 모바일기기의 구성을 도시한 블록도이며,
도 3은 도 1 및 2에 도시된 모바일기기의 제어방법을 도시한 흐름도이며,
도 4는 UI를 화면에 표시하는 제어대상기기와, 화면을 촬상한 영상을 표시하는 모바일기기를 도시하며,
도 5는 모바일기기에 표시된 제어대상기기의 화면의 영역을 도시하며,
도 6은 UI를 화면에 표시하는 제어대상기기와, 화면을 촬상한 영상을 표시하는 모바일기기의 다른 예를 도시하며,
도 7은 모바일기기로부터 위치정보를 수신하여 UI를 화면에 표시하는 제어대상기기를 도시한다.1 shows a control target device and a mobile device according to an embodiment of the present invention,
FIG. 2 is a block diagram showing the configuration of the mobile device shown in FIG. 1,
FIG. 3 is a flowchart showing a control method of the mobile device shown in FIGS. 1 and 2,
4 shows a control target device displaying a UI on a screen and a mobile device displaying a video image of the screen,
FIG. 5 shows a screen area of the control target device displayed on the mobile device,
6 shows another example of a control target device for displaying a UI on a screen and a mobile device for displaying a video image of the screen,
FIG. 7 shows a control target device that receives position information from a mobile device and displays a UI on a screen.

이하, 본 발명의 일실시예에 관하여 상세히 설명한다. Hereinafter, one embodiment of the present invention will be described in detail.

도 1은 본 발명의 일실시예에 의한 제어대상기기와, 모바일기기를 도시한다. 제어대상기기(1)는 TV, PC, AV장치 등과 같이 영상을 표시하는 디스플레이장치일 수 있다. 제어대상기기(1)는 사용자의 명령에 따라 동작하며, 사용자의 명령을 수신하기 위하여 UI를 화면(도 4의 부호 11 참조)에 표시한다.1 shows a control target device and a mobile device according to an embodiment of the present invention. The control target device 1 may be a display device for displaying an image such as a TV, a PC, an AV device, or the like. The control subject device 1 operates according to a command of the user, and displays the UI on the screen (see reference numeral 11 in Fig. 4) in order to receive the user's command.

모바일기기(2)는 휴대폰, 스마트폰, 스마트패드 등일 수 있다. 모바일기기(2)는 촬상기능, 터치입력기능 및 통신기능을 가진다. 모바일기기(2)는 UI가 표시된 제어대상기기(1)의 화면(11)을 촬상한 영상(도 4의 부호 27 참조)을 사용자에게 보여준다. 사용자는 모바일기기(2)에 표시된 영상을 이용하여 제어대상기기(1)의 화면(11)의 UI에 대한 터치입력을 한다. 모바일기기(2)는 제어대상기기(1)의 화면(11)의 UI에 대한 터치입력의 위치를 파악하고, 그 위치정보를 제어대상기기(1)에 전달한다. 제어대상기기(1)는 모바일기기(2)로부터 전달되는 터치입력의 위치정보에 기초하여 사용자의 명령을 파악하고 이에 따라 동작을 수행한다.The mobile device 2 may be a mobile phone, a smart phone, a smart pad, or the like. The mobile device 2 has an imaging function, a touch input function, and a communication function. The mobile device 2 displays the image (refer to reference numeral 27 in Fig. 4) of the screen 11 of the control target device 1 in which the UI is displayed to the user. The user inputs a touch on the UI of the screen 11 of the control target device 1 using the image displayed on the mobile device 2. [ The mobile device 2 grasps the position of the touch input with respect to the UI of the screen 11 of the control subject device 1 and transfers the position information to the control subject device 1. [ The control subject device 1 grasps the user's command based on the position information of the touch input transmitted from the mobile device 2 and performs the operation accordingly.

이와 같이, 본 발명의 일실시예에 의하면, 모바일기기(2)를 이용하여 사용자가 제어대상기기(1)의 UI에 대한 터치입력을 하여 제어대상기기(1)를 제어할 수 있으므로, 제어대상기기(1)와 사용자 간의 거리에 제약되지 않고 원격으로 제어대상기기(1)를 제어할 수 있는 점에서 사용자의 편의성이 향상된다.As described above, according to the embodiment of the present invention, since the user can control the control target device 1 by touching the UI of the control target device 1 using the mobile device 2, The convenience of the user is improved in that the control subject device 1 can be controlled remotely without being limited by the distance between the device 1 and the user.

도 2는 도 1에 도시된 모바일기기(2)의 구성을 도시한 블록도이다. 도 2에 도시된 바와 같이, 모바일기기(2)는 통신부(21), 카메라부(22), 영상처리부(23), 디스플레이부(24), 터치입력부(25) 및 제어부(26)를 포함한다.2 is a block diagram showing the configuration of the mobile device 2 shown in Fig. 2, the mobile device 2 includes a communication unit 21, a camera unit 22, an image processing unit 23, a display unit 24, a touch input unit 25, and a control unit 26 .

통신부(21)는 제어대상기기(1)와 통신을 수행한다. 통신부(21)는 제어부(26)의 제어에 따라 사용자의 터치입력의 관한 위치정보를 제어대상기기(1)에 전송한다. 통신부(21)와 제어대상기기(1)와 통신 방식에는 제한이 없으며, 유선 및 무선 방식의 통신을 모두 포함한다.The communication unit 21 performs communication with the control target device 1. [ The communication unit 21 transmits the positional information on the touch input of the user to the control subject device 1 under the control of the control unit 26. [ The communication method between the communication unit 21 and the control target device 1 is not limited, and includes both wired and wireless communication.

카메라부(22)는 제어대상기기(1)의 화면(11)을 촬상한다.The camera section 22 images the screen 11 of the control target device 1. [

영상처리부(23)는 카메라부(22)에 의해 촬상된 제어대상기기(1)의 화면(11)의 영상(27)이 디스플레이부(24)에 표시될 수 있도록 영상 처리를 수행한다.The image processing unit 23 performs image processing so that the image 27 of the screen 11 of the control target device 1 picked up by the camera unit 22 can be displayed on the display unit 24. [

디스플레이부(24)는 영상처리부(23)에 의해 처리된 제어대상기기(1)의 화면(11)의 영상(27)을 표시한다. 디스플레이부(24)이 표시 방식에는 제한이 없으며, 예컨대 LCD, OLED 등의 표시 방식을 포함한다.The display unit 24 displays the image 27 of the screen 11 of the control target device 1 processed by the image processing unit 23. [ The display method of the display unit 24 is not limited and includes, for example, a display method such as an LCD or an OLED.

터치입력부(25)는 제어대상기기(1)의 화면(11)의 영상(27)이 표시된 디스플레이부(24) 상의 사용자의 터치입력을 수신한다. 사용자의 터치입력의 종류에는 제한이 없으며, 탭, 멀티탭, 드래그, 슬라이드, 제스쳐 등을 모두 포함한다.The touch input unit 25 receives the touch input of the user on the display unit 24 on which the image 27 of the screen 11 of the control target device 1 is displayed. There is no restriction on the type of the touch input of the user, and includes all the tabs, multi-tap, drag, slide, and gesture.

제어부(26)는 모바일기기(2)의 전반적인 제어를 수행한다. 제어부(26)는 사용자의 명령에 따라 카메라부(22)가 촬상을 수행하도록 제어한다. 제어부(26)는 카메라부(22)에 의해 촬상된 제어대상기기(1)의 화면(11)의 영상(27)이 디스플레이부(24)에 표시될 수 있도록 영상처리부(23)를 제어한다. 제어부(26)는 터치입력부(25)를 통해 사용자의 터치입력이 수신되면, 터치입력의 위치정보를 파악하고, 파악된 위치정보가 통신부(21)를 통해 제어대상기기(1)에 전송되도록 제어한다.The control unit 26 performs overall control of the mobile device 2. The control unit 26 controls the camera unit 22 to perform imaging according to a user's command. The control unit 26 controls the image processing unit 23 so that the image 27 of the screen 11 of the control target device 1 picked up by the camera unit 22 can be displayed on the display unit 24. [ The control unit 26 controls the touch input unit 25 to receive the touch input of the user through the touch input unit 25 so that the detected position information is transmitted to the control target device 1 through the communication unit 21. [ do.

제어부(26)는, 도시되지는 않으나, 이러한 제어 동작을 가능하게 하는 제어프로그램이 저장된 비휘발성의 메모리와, 저장된 제어프로그램의 적어도 일부를 로딩하는 휘발성의 메모리와, 로딩된 제어프로그램을 실행하는 마이크로프로세서를 포함할 수 있다.The control unit 26 includes a nonvolatile memory for storing a control program for enabling the control operation, not shown, a volatile memory for loading at least a part of the stored control program, a microprocessor for executing the loaded control program, Processor.

도 3은 도 1 및 2에 도시된 모바일기기(2)의 제어방법을 도시한 흐름도이다. 도 4는 UI를 화면(11)에 표시하는 제어대상기기(1)와, 화면(11)을 촬상한 영상(27)을 표시하는 모바일기기(2)를 도시한다. FIG. 3 is a flowchart showing a control method of the mobile device 2 shown in FIGS. 1 and 2. FIG. 4 shows a control target device 1 for displaying a UI on the screen 11 and a mobile device 2 for displaying a video 27 on which the screen 11 is captured.

도 3 및 4를 참조하면, 동작 S31에서, 모바일기기(2)는 UI를 표시하는 제어대상기기(1)의 화면(11)을 카메라부(21)를 이용하여 촬상한다. 제어대상기기(1)의 화면(11)의 촬상은 사용자의 명령에 따라 이루어질 수 있다. 예컨대, 사용자는 모바일기기(2)를 들고 카메라부(22)가 제어대상기기(1)의 화면(11)에 대응하도록 촬상의 포커스를 맞춘 다음, 제공되는 셔터를 눌러 촬상을 할 수 있다. 다른 예로서, 제어대상기기(1)의 화면(11)의 촬상은 자동으로 이루어질 수도 있다. 예컨대, 제어부(26)는 카메라부(21)의 포커스와 제어대상기기(1)의 화면(11)이 대응되는지를 파악하고, 대응되는 경우 자동으로 촬상을 수행할 수 있다. 카메라부(21)의 포커스와 제어대상기기(1)의 화면(11)이 대응되는지 여부 판단은 아래 다시 상세히 설명한다. 카메라부(21)의 포커스는 제어부(26)의 제어에 따라 조정될 수 있다. 예컨대, 카메라부(21)는 모바일기기(2)의 본체에 대하여 소정 간격 쉬프트되거나, 소정 각도만큼 회전될 수 있다. 또한, 카메라부(21)는 제어부(26)의 제어에 따라 줌인 및 줌아웃될 수 있다.Referring to Figs. 3 and 4, in operation S31, the mobile device 2 captures the screen 11 of the control target device 1 displaying the UI by using the camera unit 21. Fig. The image of the screen 11 of the control subject device 1 can be taken in accordance with a user's instruction. For example, the user can hold the mobile device 2, focus the image so that the camera section 22 corresponds to the screen 11 of the control target device 1, and then perform imaging by pressing the provided shutter. As another example, the image of the screen 11 of the control target device 1 may be automatically captured. For example, the control unit 26 can recognize whether the focus of the camera unit 21 and the screen 11 of the control target device 1 correspond to each other, and perform imaging automatically when corresponding. Whether or not the focus of the camera unit 21 corresponds to the screen 11 of the control target device 1 will be described in detail below. The focus of the camera section 21 can be adjusted under the control of the control section 26. [ For example, the camera unit 21 may be shifted by a predetermined distance from the main body of the mobile device 2, or may be rotated by a predetermined angle. In addition, the camera unit 21 can be zoomed in and out under the control of the control unit 26. [

동작 S32에서, 모바일기기(2)는 제어대상기기(1)의 화면(11)을 촬상한 영상(27)을 디스플레이부(24)에 표시한다.In operation S32, the mobile device 2 displays the image 27 on the screen 11 of the control target device 1 on the display unit 24. [

동작 S33에서, 모바일기기(2)는 터치입력부(25)를 통해 디스플레이부(24) 상의 사용자의 터치입력을 수신한다.In operation S33, the mobile device 2 receives the touch input of the user on the display unit 24 through the touch input unit 25. [

동작 S34에서, 모바일기기(2)는 촬상한 영상(27)으로부터 제어대상기기(1)의 화면(11)의 영역(도 5의 부호 28 참조)을 결정하고, 제어대상기기(1)의 화면(11)의 영역(28)에 있어서 사용자의 터치입력에 대응하는 위치를 파악하여 그 위치정보를 제어대상기기(1)에 전송한다.The mobile device 2 determines the area of the screen 11 of the control target device 1 (refer to reference numeral 28 in Fig. 5) from the captured image 27 and displays the screen of the control target device 1 The position corresponding to the touch input of the user in the area 28 of the control target device 11 and transmits the position information to the control target device 1. [

촬상한 영상(27)에서의 제어대상기기(1)의 화면(11)의 영역(28)은 다양한 방법 중 어느 하나를 이용하여 결정될 수 있다. 예컨대, 제어대상기기(1)의 화면(11)의 영역(28)은 제어대상기기(1)에 마련된 마커(도 4의 부호 12 참조)에 기초하여 결정될 수 있다. 마커(12)는, 예컨대 적외선 반사 시트일 수 있다. 이 경우, 모바일기기(2)는 적외선센서(도시 안됨)를 더 포함할 수 있다. 제어부(26)는 적외선센서를 통하여 마커(12)에 의해 반사되는 적외선을 감지하여, 제어대상기기(1)의 화면(11)의 영역(28)을 파악할 수 있다. 마커(12)는 제어대상기기(1)의 화면(11)의 영역(28)을 파악하기 용이하도록 하는 위치에 마련될 수 있다. 예컨대, 마커(12)는 제어대상기기(1)의 사각형의 화면(11)의 모서리 각각에 마련될 수 있다. 도 4에 도시된 마커(12)의 형상과, 위치는 하나의 일례일뿐이며, 또한 설명의 편의를 위하여 도시된 것이므로, 실제 구현에 있어서는 이와 다를 수 있으며, 다양한 위치와, 형태로 마련될 수 있다.The area 28 of the screen 11 of the control target device 1 in the captured image 27 can be determined using any one of various methods. For example, the area 28 of the screen 11 of the control subject device 1 can be determined based on the markers (refer to reference numeral 12 in Fig. 4) provided in the control subject device 1. [ The marker 12 may be, for example, an infrared reflecting sheet. In this case, the mobile device 2 may further include an infrared sensor (not shown). The control unit 26 can detect the infrared ray reflected by the marker 12 through the infrared sensor and recognize the area 28 of the screen 11 of the control target device 1. [ The marker 12 can be provided at a position that facilitates grasping the area 28 of the screen 11 of the control target device 1. [ For example, the marker 12 may be provided at each of the corners of the rectangular screen 11 of the device 1 to be controlled. Since the shape and position of the marker 12 shown in FIG. 4 are only one example and are shown for convenience of explanation, they may be different in actual implementation and may be provided in various positions and shapes .

한편, 앞서 언급된 바와 같이, 카메라부(22)의 포커스와 제어대상기기(1)의 화면(11)이 대응되는지 여부는, 마커(12)에 의해 반사되는 적외선을 감지함으로써 이루어질 수 있다. 만일, 카메라부(22)의 포커스와 제어대상기기(1)의 화면(11)이 대응되지 아니한 경우, 제어부(26)는 카메라부(22)의 포커스를 조정하여, 예컨대, 카메라부(22)의 각도나 줌을 조정하여 양자를 대응시킬 수 있다. 도 4의 영상(27)은 카메라부(22)의 포커스가 최적화된 일례를 도시한 것이며, 이 때 제어대상기기(1)의 화면(11)의 영역(28) 전체가 디스플레이부(24)에 표시된다.As described above, whether or not the focus of the camera unit 22 corresponds to the screen 11 of the control target device 1 can be detected by detecting the infrared rays reflected by the marker 12. If the focus of the camera section 22 does not correspond to the screen 11 of the control target device 1, the control section 26 adjusts the focus of the camera section 22 and controls the focus of the camera section 22, It is possible to adjust both the angle and the zoom of the lens. 4 shows an example in which the focus of the camera section 22 is optimized. At this time, the entire area 28 of the screen 11 of the control target device 1 is displayed on the display section 24 Is displayed.

제어대상기기(1)의 화면(11)의 영역(28)을 결정하는 방법은 마커(12)를 이용하는 방법 외에 다양하게 더 있을 수 있다. 예컨대, 제어대상기기(1)의 화면(11)의 영역(28)의 결정은 촬상한 영상(27)에 대하여 영상인식을 수행하여 이루어질 수 있다. 즉, 촬상한 영상(27)에 대하여 소정의 영상인식 알고리즘을 적용하여 제어대상기기(1)의 화면(11)이라고 판단되는 영역(28)의 결정할 수 있다. 이러한 영상인식에는, 예컨대 에지검출 등의 방법이 이용될 수 있다. 그 밖에, 제어대상기기(1)의 화면(11)의 영역(28)을 결정하는 방법으로서, 제어대상기기(1)로부터 소정 주기의 동기신호를 수신하고, 수신된 동기신호를 이용하여 모바일기기(2)에 대한 제어대상기기(1)의 상대적 위치를 파악한 다음, 파악된 상대적 위치에 기초하여 화면(11)의 영역(28)을 결정하는 방법 등이 이용될 수 있다.The method for determining the area 28 of the screen 11 of the control target device 1 may be variously other than the method using the marker 12. [ For example, the determination of the area 28 of the screen 11 of the control target device 1 can be performed by performing image recognition on the captured image 27. [ That is, it is possible to determine the area 28 judged to be the screen 11 of the control target device 1 by applying a predetermined image recognition algorithm to the captured image 27. [ For such image recognition, a method such as edge detection can be used. In addition, as a method of determining the area 28 of the screen 11 of the control subject device 1, there is a method of receiving the synchronization signal of a predetermined cycle from the control subject device 1, A method of determining the area 28 of the screen 11 on the basis of the relative position obtained after grasping the relative position of the control target device 1 with respect to the control target device 2 can be used.

제어대상기기(1)의 화면(11)의 영역(28)에 사용자의 터치입력의 수신되면, 모바일기기(2)는 제어대상기기(1)의 화면(11)의 영역(28)에 있어서 사용자의 터치입력에 대응하는 위치를 파악한다. 도 5는 모바일기기(2)에 표시된 제어대상기기(1)의 화면(11)의 영역(28)을 도시한다. 도 5에 도시된 화면(11)의 영역(28)에서 사용자는 부호 29로 나타낸 지점을 터치한 것으로 가정한다. 모바일기기(2)는 화면(11)의 영역(28)에 있어서 사용자의 터치입력에 대응하는 지점(29)의 좌표를 결정한다. 모바일기기(2)는 화면(11)의 영역(28)에 있어서 기준이 될 수 있는 지점, 예컨대 화면의 좌상단 모서리 지점(52)을 기준으로 사용자의 터치입력에 대응하는 지점(29)의 좌표(x, y)를 결정할 수 있다. 사용자의 터치입력에 대응하는 지점(29)의 좌표(x, y)는, 예컨대 화면(11)의 영역(28)의 크기(X, Y)에 대비하여 정해질 수 있다. 모바일기기(2)는 결정된 사용자의 터치입력에 대응하는 위치(29)의 좌표정보(x, y, X, Y)를 제어대상기기(1)에 전송한다. 제어대상기기(1)는 수신되는 사용자의 터치입력에 대응하는 위치(29)의 좌표정보(x, y, X, Y)에 기초하여 소정 동작을 수행한다. 예컨대, 도 5에 도시된 바와 같이, 제어대상기기(1)는 화면(11)에 표시된 여러 이미지 중에서 사용자의 터치입력에 대응하는 어느 하나의 이미지가 선택된 것으로 결정할 수 있다.When the touch input of the user is received in the area 28 of the screen 11 of the control target device 1, the mobile device 2 displays, in the area 28 of the screen 11 of the control target device 1, As shown in FIG. 5 shows the area 28 of the screen 11 of the control target device 1 displayed on the mobile device 2. [ In the area 28 of the screen 11 shown in FIG. 5, it is assumed that the user touches a point indicated by reference numeral 29. The mobile device 2 determines the coordinates of the point 29 corresponding to the user's touch input in the area 28 of the screen 11. [ The mobile device 2 displays the coordinates of the point 29 corresponding to the touch input of the user on the basis of the point that can be the reference in the area 28 of the screen 11, for example, the upper left corner point 52 of the screen x, y) can be determined. The coordinates (x, y) of the point 29 corresponding to the user's touch input can be determined in comparison with the size (X, Y) of the area 28 of the screen 11, for example. The mobile device 2 transmits the coordinate information (x, y, X, Y) of the position 29 corresponding to the determined touch input of the user to the control subject device 1. [ The control subject device 1 performs a predetermined operation based on the coordinate information (x, y, X, Y) of the position 29 corresponding to the touch input of the received user. For example, as shown in Fig. 5, the control subject device 1 can determine that any one of images displayed on the screen 11 corresponding to the touch input of the user is selected.

한편, 모바일기기(2)는 제어대상기기(1)의 화면(11)의 영역(28)에 있어서 사용자의 터치입력이 있으면, 사용자가 터치한 위치를 알 수 있도록 이를 나타내는 UI(51)를 표시할 수 있다. 다른 예로서, 모바일기기(2)는 제어대상기기(1)의 화면(11)의 영역(28)에 있어서 사용자의 터치입력이 있으면, 사용자가 터치가 유효함을 알 수 있도록 진동 등의 반응을 수행할 수도 있다.On the other hand, if there is a touch input by the user in the area 28 of the screen 11 of the control target device 1, the mobile device 2 displays the UI 51 indicating the touch location so that the user can know the position touched by the user can do. As another example, if there is a touch input by the user in the area 28 of the screen 11 of the control subject device 1, the mobile device 2 may perform a reaction such as vibration so that the user can recognize that the touch is effective .

이와 같이, 본 발명의 일실시예에 의하면, 사용자로 하여금 모바일기기(2)의 촬상된 영상(27)을 통해 표시되는 가상의 제어대상기기(1)의 화면(11)을 터치하여 원격으로 제어대상기기(1)를 제어할 수 있도록 함으로써, 사용자가 마치 제어대상기기(1)의 화면(11)을 직접 터치하는 것과 같은 편리하고 직관적인 사용자 환경을 제공할 수 있다.As described above, according to the embodiment of the present invention, when the user touches the screen 11 of the virtual controlled device 1 displayed through the captured image 27 of the mobile device 2, It is possible to provide a convenient and intuitive user environment in which the user directly touches the screen 11 of the control target device 1 by allowing the target device 1 to be controlled.

도 6은 UI를 화면(11)에 표시하는 제어대상기기(1)와, 화면(11)을 촬상한 영상(27)을 표시하는 모바일기기(2)의 다른 예를 도시한다. 도 6에 도시된 바와 같이, 제어대상기기(1)의 화면(11)에는 TV 용 메뉴에 해당하는 UI(61)가 표시된다. 메뉴의 UI(61)는, 예컨대, 화면(Picture), 음향(Sound), 채널(Channel), 설정(Setup) 및 입력(Input)과 같은 항목을 포함할 수 있다. 사용자는 모바일기기(2)가 촬상한 영상(27)으로서 표시된 제어대상기기(1)의 화면(11)의 영역(28)에서 메뉴의 UI(61)의 항목 중에서 어느 하나를 터치할 수 있다. 예컨대 도 6에 도시된 바와 같이, 사용자는 '화면'의 항목을 터치할 수 있다. 모바일기기(2)는 사용자의 터치입력에 대응하는 위치(29)의 좌표정보(x, y, X, Y)를 제어대상기기(1)에 전송한다. 제어대상기기(1)는 전송되는 사용자의 터치입력에 대응하는 위치(29)의 좌표정보(x, y, X, Y)에 기초하여 메뉴의 UI(61)의 항목 중 '화면'의 항목이 선택된 것으로 결정한다. 이에, 제어대상기기(1)는 '화면'의 항목에 대응하는 서브메뉴의 UI를 표시한다. 도 7은 '화면'의 항목에 대응하는 서브메뉴의 UI(71)가 제어대상기기(1)의 화면(11) 표시된 일례를 도시한다.6 shows another example of the mobile device 2 displaying the UI 27 on the screen 11 and the control subject device 1 displaying the UI on the screen 11. [ As shown in Fig. 6, a UI (61) corresponding to a TV menu is displayed on the screen (11) of the control subject device (1). The UI 61 of the menu may include items such as, for example, Picture, Sound, Channel, Setup, and Input. The user can touch any one of the items of the menu UI 61 in the area 28 of the screen 11 of the control subject device 1 displayed as the image 27 captured by the mobile device 2. [ For example, as shown in FIG. 6, the user can touch an item of 'screen'. The mobile device 2 transmits the coordinate information (x, y, X, Y) of the position 29 corresponding to the touch input of the user to the control subject device 1. [ The control subject device 1 determines whether the item of the "screen" among the items of the menu UI 61 based on the coordinate information (x, y, X, Y) of the position 29 corresponding to the touch input of the user to be transmitted It is determined to be selected. Thus, the control subject device 1 displays the UI of the submenu corresponding to the item of the " screen ". 7 shows an example in which the UI 71 of the submenu corresponding to the item of the 'screen' is displayed on the screen 11 of the control subject device 1. In FIG.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments.

1: 제어대상기기
2: 모바일기기
21: 통신부
22: 카메라부
23: 영상처리부
24: 디스플레이부
25: 터치입력부
26: 제어부1: Control target device
2: Mobile devices
21:
22:
23:
24:
25: Touch input unit
26:

Claims (14)

모바일기기에 있어서,
화면을 표시하는 제어대상기기와 통신하는 통신부와;
상기 제어대상기기의 화면을 촬상하는 카메라부와;
상기 제어대상기기의 화면을 촬상한 영상을 표시하는 디스플레이부와;
상기 디스플레이부 상의 사용자의 터치입력을 수신하는 터치입력부와;
상기 촬상한 영상으로부터 상기 제어대상기기에 마련된 마커에 기초하여 화면 영역을 결정하고, 상기 화면 영역에서의 상기 사용자의 터치입력에 응답하여 상기 사용자의 터치입력에 대응하는 상기 화면 영역에 대한 위치정보를 상기 제어대상기기에 전송하는 제어부를 포함하는 모바일기기.
In a mobile device,
A communication unit for communicating with a control target device displaying a screen;
A camera unit for capturing an image of the screen of the control target device;
A display unit for displaying an image of a screen of the control target device;
A touch input unit for receiving a touch input of a user on the display unit;
Determining a screen area based on a marker provided in the control target device from the captured image and determining position information of the screen area corresponding to the touch input of the user in response to the touch input of the user in the screen area To the control target device.
삭제delete 제1항에 있어서,
상기 제어부는, 상기 촬상한 영상에 대하여 영상인식을 수행하여 상기 화면의 영역을 결정하는 모바일기기.The method according to claim 1,
Wherein the control unit performs image recognition on the captured image to determine an area of the screen. 제1항에 있어서,
상기 통신부는, 상기 제어대상기기로부터 동기신호를 수신하고,
상기 제어부는, 상기 수신된 동기신호를 이용한 상기 제어대상기기의 상대적 위치에 기초하여 상기 화면의 영역을 결정하는 모바일기기.The method according to claim 1,
Wherein the communication unit receives a synchronization signal from the control target device,
Wherein the control unit determines an area of the screen based on a relative position of the control target device using the received synchronization signal. 제1항에 있어서,
상기 사용자의 터치입력에 대응하는 위치정보는, 상기 화면의 영역의 소정 기준점에 대한 상기 사용자의 터치입력에 대응하는 지점의 좌표정보를 포함하는 모바일기기.The method according to claim 1,
Wherein the position information corresponding to the touch input of the user includes coordinate information of a point corresponding to the touch input of the user to a predetermined reference point of the area of the screen. 제1항에 있어서,
상기 제어부는, 상기 사용자의 터치입력에 대응하는 위치를 나타내는 UI를 상기 디스플레이부에 표시하는 모바일기기.The method according to claim 1,
Wherein the control unit displays on the display unit a UI indicating a position corresponding to the touch input of the user. 제1항에 있어서,
상기 제어부는, 상기 화면의 촬상 시 상기 화면의 영역이 표시되도록 상기 카메라부의 각도 및 줌 중 적어도 하나를 조정하는 모바일기기.The method according to claim 1,
Wherein the control unit adjusts at least one of an angle and a zoom of the camera unit so that an area of the screen is displayed at the time of capturing the screen. 모바일기기의 제어방법에 있어서,
화면을 표시하는 제어대상기기의 화면을 카메라부로 촬상하는 단계와;
상기 제어대상기기의 화면을 촬상한 영상을 디스플레이부에 표시하는 단계와;
상기 디스플레이부 상의 사용자의 터치입력을 수신하는 단계와;
상기 촬상한 영상으로부터 상기 제어대상기기에 마련된 마커에 기초하여 화면 영역을 결정하고, 상기 화면 영역에서의 상기 사용자의 터치입력에 응답하여 상기 사용자의 터치입력에 대응하는 상기 화면 영역에 대한 위치정보를 상기 제어대상기기에 전송하는 단계를 포함하는 모바일기기의 제어방법.
A method for controlling a mobile device,
Capturing a screen of a control target device displaying a screen with a camera unit;
Displaying an image of the screen of the control target device on a display unit;
Receiving a touch input of a user on the display unit;
Determining a screen area based on a marker provided in the control target device from the captured image and determining position information of the screen area corresponding to the touch input of the user in response to the touch input of the user in the screen area And transmitting to the control target device the control target device.
삭제delete 제8항에 있어서,
상기 결정하는 단계는, 상기 촬상한 영상에 대하여 영상인식을 수행하여 상기 화면의 영역을 결정하는 단계를 포함하는 모바일기기의 제어방법.9. The method of claim 8,
Wherein the determining comprises determining an area of the screen by performing image recognition on the sensed image. 제8항에 있어서,
상기 결정하는 단계는, 상기 제어대상기기로부터 수신되는 동기신호를 이용한 상기 제어대상기기의 상대적 위치에 기초하여 상기 화면의 영역을 결정하는 단계를 포함하는 모바일기기의 제어방법.9. The method of claim 8,
Wherein the step of determining includes determining an area of the screen based on a relative position of the control target device using the synchronization signal received from the control target device. 제8항에 있어서,
상기 사용자의 터치입력에 대응하는 위치정보는, 상기 화면의 영역의 소정 기준점에 대한 상기 사용자의 터치입력에 대응하는 지점의 좌표정보를 포함하는 모바일기기의 제어방법.9. The method of claim 8,
Wherein the position information corresponding to the touch input of the user includes coordinate information of a point corresponding to the touch input of the user to a predetermined reference point of the area of the screen. 제8항에 있어서,
상기 사용자의 터치입력에 대응하는 위치를 나타내는 UI를 상기 디스플레이부에 표시하는 단계를 더 포함하는 모바일기기의 제어방법.9. The method of claim 8,
And displaying a UI on the display unit indicating a position corresponding to the touch input of the user. 제8항에 있어서,
상기 촬상하는 단계는, 상기 화면의 영역이 표시되도록 상기 카메라부의 각도 및 줌 중 적어도 하나를 조정하는 단계를 포함하는 모바일기기의 제어방법.9. The method of claim 8,
Wherein the step of capturing comprises adjusting at least one of an angle and a zoom of the camera unit so that an area of the screen is displayed.
KR1020110101826A 2011-10-06 2011-10-06 Mobile device and control method thereof Expired - Fee Related KR101888681B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110101826A KR101888681B1 (en) 2011-10-06 2011-10-06 Mobile device and control method thereof
EP12168444.3A EP2579142B1 (en) 2011-10-06 2012-05-17 Mobile device and method of remotely controlling a controlled device
US13/618,120 US20130088629A1 (en) 2011-10-06 2012-09-14 Mobile device and method of remotely controlling a controlled device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110101826A KR101888681B1 (en) 2011-10-06 2011-10-06 Mobile device and control method thereof

Publications (2)

Publication Number Publication Date
KR20130037430A KR20130037430A (en) 2013-04-16
KR101888681B1 true KR101888681B1 (en) 2018-08-17

Family

ID=46229185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110101826A Expired - Fee Related KR101888681B1 (en) 2011-10-06 2011-10-06 Mobile device and control method thereof

Country Status (3)

Country Link
US (1) US20130088629A1 (en)
EP (1) EP2579142B1 (en)
KR (1) KR101888681B1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8863196B2 (en) 2010-11-30 2014-10-14 Sony Corporation Enhanced information on mobile device for viewed program and control of internet TV device using mobile device
US9173000B2 (en) * 2013-04-12 2015-10-27 Sony Corporation Automatic discovery and mirroring of server-client remote user interface (RUI) session on a companion device and synchronously controlling both sessions using RUI on companion device
KR101433727B1 (en) * 2013-04-24 2014-09-17 주식회사 삼진 System and method for inputting characters
CN103354619A (en) * 2013-05-31 2013-10-16 深圳市同洲电子股份有限公司 Method and system for remotely controlling digital television terminal through mobile terminal
CN103365441B (en) * 2013-06-24 2016-05-04 百度时代网络技术（北京）有限公司 The method of computer terminal Long-distance Control Android mobile phone desktop
KR102288726B1 (en) 2014-06-09 2021-08-12 삼성전자주식회사 Wearable eletronic apparatus, system and controllin method thereof
US9613591B2 (en) * 2014-08-29 2017-04-04 Lg Electronics Inc. Method for removing image sticking in display device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194467A (en) * 1998-12-24 2000-07-14 Matsushita Electric Ind Co Ltd Information display device, information processing device, device control device, and distance measuring device
JP2003018680A (en) * 2002-05-08 2003-01-17 Sony Corp Information provider and remote operation control system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100811339B1 (en) * 2001-10-11 2008-03-07 엘지전자 주식회사 Remote control system and method for implementing a graphical user interface
JP4635424B2 (en) * 2003-02-10 2011-02-23 パナソニック株式会社 System and bidirectional remote control device used in the system
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
JP4588395B2 (en) * 2004-09-24 2010-12-01 富士通株式会社 Information processing terminal
KR101428730B1 (en) * 2007-01-04 2014-08-11 삼성전자주식회사 Method for searching internet and image receiving apparatus using the same
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US8850052B2 (en) * 2008-09-30 2014-09-30 Apple Inc. System and method for simplified resource sharing
KR101626477B1 (en) * 2009-05-28 2016-06-13 엘지전자 주식회사 Mobile terminal and method for controlling the same
KR101657565B1 (en) * 2010-04-21 2016-09-19 엘지전자 주식회사 Augmented Remote Controller and Method of Operating the Same
KR20110067559A (en) * 2009-12-14 2011-06-22 삼성전자주식회사 Display apparatus and control method thereof, Display system and control method thereof
US8913171B2 (en) * 2010-11-17 2014-12-16 Verizon Patent And Licensing Inc. Methods and systems for dynamically presenting enhanced content during a presentation of a media content instance
US9137560B2 (en) * 2010-12-10 2015-09-15 Verizon Patent And Licensing Inc. Methods and systems for providing access to content during a presentation of a media content instance
US8958018B2 (en) * 2010-12-22 2015-02-17 Google Technology Holdings LLC Remote control device and method for controlling operation of a media display system
US9253531B2 (en) * 2011-05-10 2016-02-02 Verizon Patent And Licensing Inc. Methods and systems for managing media content sessions
DE102012212514A1 (en) * 2011-07-18 2013-02-21 Logitech Europe S.A. Remote control user interface for handheld device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194467A (en) * 1998-12-24 2000-07-14 Matsushita Electric Ind Co Ltd Information display device, information processing device, device control device, and distance measuring device
JP2003018680A (en) * 2002-05-08 2003-01-17 Sony Corp Information provider and remote operation control system

Also Published As

Publication number Publication date
EP2579142B1 (en) 2014-11-12
US20130088629A1 (en) 2013-04-11
KR20130037430A (en) 2013-04-16
EP2579142A1 (en) 2013-04-10

Similar Documents

Publication Publication Date Title
KR101888681B1 (en) Mobile device and control method thereof
US10148886B2 (en) Method for photographing control and electronic device thereof
KR102194272B1 (en) Enhancing touch inputs with gestures
US20170300205A1 (en) Method and apparatus for providing dynamically positioned controls
US10477090B2 (en) Wearable device, control method and non-transitory storage medium
US20140152883A1 (en) Image capturing device with touch screen for adjusting camera settings
US20110199387A1 (en) Activating Features on an Imaging Device Based on Manipulations
KR101797260B1 (en) Information processing apparatus, information processing system and information processing method
US20130321347A1 (en) Virtual touch device without pointer
US9207779B2 (en) Method of recognizing contactless user interface motion and system there-of
WO2010098050A1 (en) Interface for electronic device, electronic device, and operation method, operation program, and operation system for electronic device
CN107407959B (en) Manipulation of three-dimensional images based on gestures
CN103699274B (en) Information input device and method based on projection and infrared sensing
US20120019460A1 (en) Input method and input apparatus
US10095384B2 (en) Method of receiving user input by detecting movement of user and apparatus therefor
CN111708479B (en) Touch operation response method and device, terminal and storage medium
KR101861377B1 (en) Method for controlling screen based on motion of mobile terminal and the mobile terminal therefor
JP6287382B2 (en) Gesture recognition device and method for controlling gesture recognition device
JP2013161247A (en) Operation device, display device, remote operation system, method of controlling operation device, control program, and recording medium
CN104536664A (en) Shutter position determining method
JPWO2019058641A1 (en) Electronic device, program, control device, and control method
US20160147294A1 (en) Apparatus and Method for Recognizing Motion in Spatial Interaction
US20160054860A1 (en) Input device
JP4871226B2 (en) Recognition device and recognition method
CN108628487A (en) A kind of method of determining position information, projection device and computer storage media

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20111006

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20161006

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20111006

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20171110

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180526

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180808

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180809

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210729

Start annual number: 4

End annual number: 4

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20230519