[go: up one dir, main page]

KR101969624B1 - 제스처 제어 방법, 장치 및 시스템 - Google Patents

제스처 제어 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR101969624B1
KR101969624B1 KR1020157032564A KR20157032564A KR101969624B1 KR 101969624 B1 KR101969624 B1 KR 101969624B1 KR 1020157032564 A KR1020157032564 A KR 1020157032564A KR 20157032564 A KR20157032564 A KR 20157032564A KR 101969624 B1 KR101969624 B1 KR 101969624B1
Authority
KR
South Korea
Prior art keywords
gesture
control
target equipment
operation control
control center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020157032564A
Other languages
English (en)
Other versions
KR20150143724A (ko
Inventor
하이준 리우
리동 린
윤준 조우
젱 후앙
추안양 미아오
Original Assignee
지티이 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지티이 코포레이션 filed Critical 지티이 코포레이션
Publication of KR20150143724A publication Critical patent/KR20150143724A/ko
Application granted granted Critical
Publication of KR101969624B1 publication Critical patent/KR101969624B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Image Analysis (AREA)
  • Details Of Television Systems (AREA)

Abstract

본 발명은 제스처 제어 방법, 장치 및 시스템을 개시하며, 제스처 제어를 진행할 때, 제스처 제어 센터는 제어 대상 장비에 대한 제스처를 식별하고 식별된 제스처에 대응하는 조작 제어 정보를 제어 대상 장비에 송신하며, 제어 대상 장비는 수신된 조작 제어 정보에 따라 상응하는 조작을 수행한다. 본 발명에 따른 제스처 제어 기술을 적용하면, 제스처 제어 센터와 같은 제스처 식별 장비를 한 세트만 있으면 복수개 장비에 대한 제스처 조작 제어를 구현할 수 있는 것을 보장할 수 있으며, 제스처 제어의 통합을 구현하고 상이한 장비가 제스처 식별 과정에서 발생가능한 오조작을 방지하며 중복 자원의 소모도 방지하며, 또한 제스처 식별 조작 제어를 지원하지 않는 장비를 위해 편리한 조작 제어 방식을 제공하고, 제스처 식별 부재의 장착으로 인한 장비의 원가를 절약하며 이로 하여 사용자 만족도를 효과적으로 향상시킬 수 있다.

Description

제스처 제어 방법, 장치 및 시스템{GESTURE CONTROL METHOD, APPARATUS AND SYSTEM}
본 발명은 통신분야에 관한 것으로서, 특히 제스처 제어 방법, 장치 및 시스템에 관한 것이다.
디지털 멀티미디어 및 네트워크의 발전은 사람들의 일상 생활에서의 오락 체험을 풍부히 하였다. 사람들은 리모컨, 제스처 등으로 어느 한 장치의 재생을 제어할 수 있는바, 예를 들어 이전 채널, 다음 채널 프로그램 등을 제어하여 전환할 수 있다.
종래의 복수개 장비에 대한 제어 방법은 일반적으로 장치 각각의 리모컨을 이용하여 제어하나 이러한 리모컨은 흔히 서로 범용되지 않으며, 종래의 텔레비전, 음향의 대부분 리모컨은 네트워크 기능을 구비하지 않는다. 네트워크를 지원하는 일부 리모컨도 있는바, 예를 들어, 계산 및 네트워크 능력이 있는 장치(예컨대 핸드폰, PAD 등)에 연동 프로토콜을 지원하는 소프트웨어를 로딩하고 해당 소프트웨어를 기반으로 다른 한 장치를 제어한다.
상술한 장치 제어 방식은, 사람들이 많은 리모컨 중에서 대응하는 장치의 그 리모컨을 선택하여 장치 제어를 진행할 것을 요구하고, 제어하고자 하는 장치가 상이함에 따라 또한 계속 리모컨을 바꾸거나 컴퓨터 조작에 익숙한 사람에 의해 PAD, 핸드폰 등을 조작하여 장치 제어를 진행할 것을 요구하거나 간단한 제스처로 단일한 장치를 제어할 수 밖에 없으므로 그리 편리하지 않다. 보다시피, 상이한 장비를 제어하기 위하여, 사람들은 흔히 상이한 제어 툴을 어떻게 사용하는지를 학습하여야 하며 조작이 너무 번거롭다. 사람들은 더 간단하고 더 자연스러운 조작 방식으로 장치를 제어할 것을 원하고 있으며, 이러한 수요에 따라, 제스처 제어가 탄생되었다. 제스처 제어는 현재 비교적 새로운 제어 방식으로서, 제스처 제어 진행시, 어느 한 장치에 설치된 카메라가 제스처 동작을 모니터링하여 식별하며, 식별된 제스처 동작에 대응하는 제어 명령에 따라 해당 장치를 제어한다.
현재, 제스처 제어를 구현하기 위하여, 제어 대상 장비에는 카메라가 설치되어야 하며, 제스처 제어의 시각 식별을 구현하도록 구성되어야 한다. 실제 응용에 있어서, 복수개의 제스처 제어를 지원하는 장치가 각각 자체의 카메라, 제스처 식별 소프트웨어를 구비할 수 있으며, 이는 비교적 많은 중복자원을 소비할 뿐만아니라, 제스처 식별과정에 오조작을 초래하기 쉬운바, 예를 들어, 셋톱박스는 텔레비전의 제스처 지시를 자체에 대한 제어로 이해한다. 또한, 매우 많은 장치들은 카메라, 제스처 식별 소프트웨어를 설치하지 않고 있으데, 이러한 장치들은 제스처 제어를 구현할 수 없다.
이를 감안하여, 본 발명에 따른 실시예는 제스처 제어의 통합을 구현하도록 제스처 제어 방법, 장치 및 시스템을 제공하는 것을 주요 목적으로 한다.
상술한 목적을 달성하기 위하여, 본 발명에 따른 실시예의 기술방안은 이렇게 구현되었다.
제스처 제어 방법은,
제스처 제어 센터가 제어 대상 장비에 대한 제스처를 식별하고 식별된 제스처에 대응하는 조작 제어 정보를 제어 대상 장비에 송신하는 단계와, 제어 대상 장비가 수신된 조작 제어 정보에 따라 상응하는 조작을 수행하는 단계를 포함한다.
여기서, 상기 제스처를 식별하기 전에, 제스처 제어 센터는 시각범위 내의 제어 대상 장비를 더 식별한다.
여기서, 제스처 제어 센터가 시각 범위 내의 제어 대상 장비를 식별할 때, 제어 대상 장비의 장치 식별자, 장치 주소, 장치 위치 중의 적어도 하나를 식별 및 기록한다.
여기서, 제스처 제어 센터가 제어 대상 장비에 대한 제스처를 식별할 때, 제스처에 대응하는 조작 제어 명령, 제스처가 가리키는 제어 대상 장비를 식별한다.
여기서, 제스처 제어 센터가 제스처가 가리키는 제어 대상 장비를 식별할 때,
제스처와 제스처 제어 센터의 비디오 수집 모듈의 각도를 이용하여 계산하거나,
제스처, 제어 대상 장비, 제스처 제어 센터 간의 거리를 측정해낸 후, 삼각 공식으로 계산한다.
여기서, 제스처 제어 센터가 조작 제어 정보를 송신할 때, 조작 제어 명령을 송신하거나 제스처 동작 특징 데이터를 송신하거나, 및/또는
제어 대상 장비에 의해 수신된 조작 제어 정보가 조작 제어 명령인 경우, 조작 제어 명령에 대응하는 조작을 수행하고, 제어 대상 장비에 의해 수신된 조작 제어 정보가 제스처 동작 특징 데이터인 경우, 수신된 제스처 동작 특징 데이터를 분석하여 대응하는 조작 제어 명령을 획득하고 조작 제어 명령에 대응하는 조작을 수행한다.
여기서, 제어 대상 장비는 제스처 제어 센터와의 연결을 구축하고, 해당 연결을 기반으로 세션 방식으로 메시지를 이용하여 조작 제어를 완성한다.
제스처 제어 장치에 있어서, 비디오 수집 모듈, 식별 모듈, 및 제어 모듈을 포함하되,
상기 비디오 수집 모듈은 제어 대상 장비에 대한 제스처를 포획하도록 구성되고,
상기 식별 모듈은 상기 제스처를 식별하도록 구성되며,
상기 제어 모듈은 식별된 제스처에 대응하는 조작 제어 정보를 제어 대상 장비에 송신하도록 구성된다.
여기서, 해당 장치는 상기 비디오 수집 모듈과 결합하여 시각 범위 내의 제어 대상 장비를 식별해내고 상기 장치와 제어 대상 장비 간의 거리를 산출하도록 구성되는 거리 측정 모듈을 더 포함한다.
여기서, 해당 장치는 시각 범위 내의 제어 대상 장비를 식별할 때, 식별된 제어 대상 장비의 장치 식별자, 장치 주소, 장치 위치 중의 적어도 하나를 기록하는 데이터 저장 모듈을 더 포함한다.
여기서, 상기 식별 모듈은 이미지 식별 모듈 및 제스처 식별 모듈을 포함하되,
상기 이미지 식별 모듈은 제스처에 대응하는 조작 제어 명령을 식별하도록 구성되고,
상기 제스처 식별 모듈은 제스처가 가리키는 제어 대상 장비를 식별하도록 구성된다.
여기서, 상기 제스처 식별 모듈은 제스처가 가리키는 제어 대상 장비를 식별할 때,
제스처와 상기 비디오 수집 모듈의 각도를 이용하여 계산하거나,
제스처, 제어 대상 장비, 상기 장치 간의 거리를 측정해낸 후, 삼각 공식으로 계산하도록 구성된다.
여기서, 상기 제어 모듈이 조작 제어 정보를 송신할 때, 조작 제어 명령을 송신하거나 제스처 동작 특징 데이터를 송신하도록 구성된다.
여기서, 상기 장치는 제어 대상 장비와의 연결을 구축하고, 해당 연결을 기반으로 세션 방식으로 메시지를 이용하여 조작 제어를 완성하도록 구성되는 네트워크 서비스 모듈을 포함한다.
제스처 제어 시스템은 제스처 제어 센터 및 제어 대상 장비를 포함하되,
상기 제스처 제어 센터는 제어 대상 장비에 대한 제스처를 식별하고 식별된 제스처에 대응하는 조작 제어 정보를 제어 대상 장비에 송신하도록 구성되고,
상기 제어 대상 장비는 수신된 조작 제어 정보에 따라 상응하는 조작을 수행하도록 구성된다.
여기서, 상기 제스처 제어 센터는 조작 제어 정보를 송신할 때, 조작 제어 명령을 송신하거나 제스처 동작 특징 데이터를 송신하도록 구성되고, 및/또는
상기 제어 대상 장비에 의해 수신된 조작 제어 정보가 조작 제어 명령인 경우, 조작 제어 명령에 대응하는 조작을 수행하도록 구성되고, 상기 제어 대상 장비에 의해 수신된 조작 제어 정보가 제스처 동작 특징 데이터인 경우, 수신된 제스처 동작 특징 데이터를 분석하여 대응하는 조작 제어 명령을 획득하고 조작 제어 명령에 대응하는 조작을 수행하도록 구성된다.
여기서, 상기 제어 대상 장비는 수신된 조작 제어 정보에 따라 조작을 수행할 때, 제스처 제어 센터와의 연결을 구축하고, 해당 연결을 기반으로 세션 방식으로 메시지를 이용하여 조작 제어를 완성하도록 구성된다.
본 발명의 실시예에 따른 제스처 제어 기술을 적용하면, 제스처 제어 센터와 같은 제스처 식별 장비가 한 세트만 있으면 복수개 장비에 대한 제스처 조작 제어를 구현할 수 있음을 보장할 수 있으며, 제스처 제어의 통합을 구현하고 상이한 장비가 제스처 식별 과정에서 발생가능한 오조작을 방지하고 중복 자원의 소모도 방지하며, 또한 제스처 식별 조작 제어를 지원하지 않는 장비를 위해 편리한 조작 제어 방식을 제공하기도 하고, 제스처 식별 부재의 설치로 인한 장비의 원가를 절약하기도 하며 이로 하여 사용자 만족도를 효과적으로 향상시킬 수 있다.
도1은 본 발명의 일 실시예에 따른 제스처 제어 시스템을 나타낸 도면이다.
도2는 본 발명의 다른 한 실시예에 따른 제스처 제어 시스템을 나타낸 도면이다.
도3은 본 발명의 실시예가 제스처 제어를 구현할 때 사용되는 바코드를 나타낸 도면이다.
도4는 본 발명의 실시예가 제스처 제어를 구현할 때 사용되는 QR코드를 나타낸 도면이다.
도5는 본 발명의 실시예에 따른 제스처 제어 흐름도이다.
도6은 본 발명의 실시예에 따른 제스처 제어 센터와 제어 대상 장비 간의 메시지 흐름을 나타낸 도면이다.
도7은 본 발명의 실시예에 따른 제스처 제어 흐름의 개략도이다.
도8은 본 발명의 실시예에 따른 제스처가 가리키는 제어 대상 장비를 확정하는 원리를 나타낸 도면이다.
본 발명의 실시예에서 해결하고자 하는 기술적 과제는, 제어 대상 장비를 통합적으로 제어할 수 있는 장치를 응용하여 제어 대상 장비에 대한 제어를 구현하는 것이다.
상술한 제어 대상 장비를 통합적으로 제어할 수 있는 장치는 제스처 제어 센터이며, 제스처 제어 능력, 네트워크 능력을 구비하고, 제스처를 식별하고 제스처에 대응하는 제어 대상 장비를 식별하여 제스처를 조작 제어 명령으로 전환하거나 제스처 동작 특징을 저장할 수 있으며, 또한 제스처 제어 센터는 제어 대상 장비와 서로 연결되어 조작 제어 명령 또는 제스처 동작 특징을 포함하는 메시지를 송신할 수 있다.
제스처 제어 센터는 아래의 단계를 포함하는 조작을 수행할 수 있다.
단계1: 제스처 제어 센터는 시각범위 내의 제어 대상 장비를 식별한다.
단계2: 제스처 제어 센터는 제스처를 식별한다.
단계3: 제스처 제어 센터는 조작 제어 정보를 제스처가 가리키는 제어 대상 장비에 송신한다.
단계4: 제어 대상 장비는 수신된 조작 제어 정보에 따라 상응하는 조작을 수행한다.
또한, 단계1에서, 제스처 제어 센터는 시각 범위 내의 제어 대상 장비를 식별할 때, 제어 대상 장비의 장치 식별자, 장치 주소, 장치 위치 등 정보 중의 적어도 하나를 식별하고 이러한 정보를 기록할 수 있다.
또한, 단계2에서, 제스처 제어 센터는 제스처를 식별할 때, 제스처에 대응하는 조작 제어 명령, 제스처가 가리키는 제어 대상 장비를 식별할 수 있는바, 예를 들어, 제스처의 동작 특징에 대한 분석을 통해 식별한다.
또한, 단계3에서, 제스처 제어 센터는 조작 제어 명령을 송신하거나 제스처 동작 특징 데이터를 송신할 수 있다. 송신된 제스처 동작 특징 데이터는 제어 대상 장비에 의해 더 분석되어 대응하는 조작 제어 명령을 획득할 수 있다.
또한, 단계4에서, 제어 대상 장비는 제스처 제어 센터와의 연결을 구축하고, 해당 연결을 기반으로 세션 방식으로 메시지를 이용하여 조작 제어를 완성할 수 있다.
또한, 조작 제어 명령, 제스처 동작 특징 데이터는 프로토콜 명령, 즉 어느 한 응용 프로토콜에 의해 규정된 프로토콜 메시지 및 대응하는 파라미터일 수 있다.
이하, 첨부도면 및 실시예를 결부하여 본 발명을 상세히 설명한다.
도1을 참조하면, 도1은 본 발명의 일 실시예에 따른 장치 시나리오를 도시하였으며, 각 장치 및 그 상호관계를 포함한다.
도1 중 왼쪽에서 오른 쪽으로 홈 저장 서버, DVD 플레이어, 텔레비전, 제스처 제어 센터의 4개 장비를 도시하였으며, 모든 장비의 배치 관계는 제스처 제어 센터와 기타 임의의 장비 간에는 방해물이 없으며, 이러한 경우, 제스처 제어 센터에서 발사된 광선은 막히지 않고 직접 장비에 조사된다. 물론, 여기서 제스처 제어 센터에서 발사된 광선이 유일한 각도임을 한정하지 않는다.
상기 4개 장비에는 모두 네트워크 인터페이스(예를 들어, IEEE 802.11b/g/n를 지원하는 네트워크 인터페이스 또는 IEEE 802.3을 지원하는 네트워크 인터페이스)가 구비되어 있어 IP 네트워크 등 통신 네트워크에 연결될 수 있다. 각 장비 내에는 통신 모듈이 포함되며, 해당 통신 모듈은 서비스 능력을 구비하고, 기타 장치와 서로 발견, 연결되고 기타 장치와 메시지를 송수신할 수 있으며, 조작 제어 명령을 처리하거나 조작 제어 명령 등을 전달하도록 구성된다. 상술한 서비스 능력은 기존의 범용 플러그 앤 플레이(UPnP) 기술을 사용하여 구현할 수도 있고 멀티캐스트 도메인 네임 시스템(mDNS) 및 도메인 네임 시스템을 기반으로 하는 서비스 발견(DNS-SD) 기술을 사용하여 구현할 수도 있으며, IP 네트워크에 사용되어 유니캐스트, 멀티캐스트 쿼리 방식으로 사전에 정의된 메시지 포멧에 따라 쿼리에 응답하고 기능 호출을 제공할 수 있다. 예를 들어, UPnP 기술은 미디어 표시 장치(예를 들어, TV), 서버(예를 들어, DVD 플레이어, 홈 저장 서버)가 어떻게 쿼리에 응답하고 어떤 호출 기능을 제공할 것인지를 규정하였다.
제스처 제어 센터는 이미지, 비디어 수집 능력을 구비한 비디오 수집 모듈(예를 들어, 카메라, 아래에 카메라를 예로 한다), 및 거리 측정 모듈을 더 포함한다. 제스처 제어 센터는 식별 모듈, 데이터 저장 모듈, 제어 모듈, 네트워크 서비스 모듈 등을 더 포함한다. 제스처 제어 센터의 카메라가 완성할 수 있는 기능은, 카메라 시각 범위 내에 있는 장치에 대해 사진 찍고 장치 태그의 정보를 식별해내며, 사용자의 제스처 동작을 포획하여 대응하는 조작 목표, 조작 제어 명령, 또는 제스처 동작 특징 데이터를 식별해내는 것을 포함한다. 거리 측정 모듈은 핸드헬드 레이저 적외선 거리 측정기와 비슷한 바, 적외선 등 광선의 전파 및 반사를 이용하여 제스처 제어 센터와 제어 대상 장비 간의 거리를 계산한다. 일반적으로 정밀도가 2mm 정도인 거리 측정 모듈을 선택할 수 있다. 제어 모듈은 식별된 제스처에 대응하는 조작 제어 정보를 제어 대상 장비에 송신하여 제어 대상 장비가 수신된 조작 제어 정보에 따라 상응하는 조작을 수행하도록 할 수 있다. 식별 모듈은 이미지 식별 모듈 및 제스처 식별 모듈을 포함할 수 있으며 각각 이미지 식별과 제스처 식별을 구현한다.
제스처 제어 센터는 그 시각 범위 내의 장비를 식별할 수 있으며 구현 방법은 카메라, 거리 측정 모듈이 3D 공간 내에서 회전하여 이미지를 수집하고 수집된 이미지에서 사전 정의된 태그 도형을 찾아 내어 분석한다. 도1에 도시된 바와 같이, 제스처 제어 센터의 카메라는 사진을 찍는 방식으로 한폭의 이미지를 수집하며, 이미지에는 텔레비전, DVD 플레이어 및 홈 저장 서버의 3개 제어 대상 장비가 있으며, 이 3개의 제어 대상 장비에 바코드 또는 QR코드 등 태그를 붙이거나 프린트하여 끼워 넣는다. 제스처 제어 센터의 이미지 식별 모듈은 이미지를 분석한 후, 이미지 중에 몇개의 태그가 있음을 식별해내고 태그에 대해 각각 식별한 후 식별된 태그 정보를 저장하며, 그후 태그가 위치한 제어 대상 장비에 대해 거리 측정을 진행하여 측정된 거리와 태그 정보를 함께 저장한다.
도1과 유사하게, 도2에도 텔레비전, DVD 플레이어 및 홈 저장 서버의 3개 제어 대상 장비가 있으며, 또한 3개의 이미지, 비디오 수집 능력을 구비한 카메라를 더 포함하며, 이 3개의 카메라는 제스처 제어 센터에 속한다. 도2의 제스처 제어 센터는 거리 측정 기능을 구비하지 않는다. 도2 중 모든 장비의 배치관계는, 제스처 제어 센터와 기타 임의의 장비 간에는 방해물이 없으며, 즉 제스처 제어 센터에서 발사한 광선은 직접 제어 대상 장비에 조사될 수 있다.
상술한 3개 카메라 간의 상호 공간 위치 관계는 확정된 것이며, 즉 제스처 제어 센터는 3개 카메라 간의 상호 거리, 카메라 방향의 상호 각도를 기록하였다. 일반적으로, 3개 카메라는 동일한 직선 상에 위치하지 않으며 서로 간의 상호 각도도 평행되지 않거나 90도를 초과하지 않는다. 3개 카메라 간에는 상호 통신할 수 있으며, 서로 수집된 이미지, 비디오를 교환하거나 각자 수집한 이미지, 비디오를 지정된 장비에 송신할 수 있다.
상술한 위치관계(3개 카메라 간의 상호 거리, 각도)를 기반으로, 3개 카메라 수집 범위에 들어간 제어 대상 장비, 제스처에 대해, 카메라가 그 상대적 각도(예를 들어, 상대적으로 수평되는 각도)를 수집하기만 하면, 수학적 좌표변환 및 삼각 공식에 의해 제어 대상 장비, 제스처의 위치 및 제스처 방향을 산출할 수 있다.
상술한 바코드는 도3에 도시된 바와 같이, 바코드 태그 상의 정보는 "dvdplayer-192.1.1.1"이고, 해당 바코드 태그에 대응하는 제어 대상 장비가 DVD 플레이어고 네트워크 주소가 192.1.1.1임을 나타낸다. 상기 바코드 태그는 DVD 플레이어에 붙이거나 프린트하여 끼어 넣을 수 있다.
상술한 QR코드는 도4에 도시된 바와 같이, QR코드 태그 상의 정보는 "tv-192.1.1.2"이고, 해당 QR코드 태그에 대응하는 제어 대상 장비가 텔레비전이고 네트워크 주소가 192.1.1.1임을 나타낸다. 상기 QR코드 태그는 텔레비전에 붙이거나 프린트하여 끼어 넣을 수 있다.
상술한 바코드, QR코드 외에, 태그 정보는 제어 대상 장비의 약칭, 사용자 설정 명칭 등과 같은 더 많은 내용을 포함할 수 있다. 예를 들어, 문자를 직접 제어 대상 장비에 표기하고 제스처 제어 센터에 의해 제어 대상 장비에 표기된 문자에 따라 제어 대상 장비를 식별한다.
제어 대상 장비, 제스처, 제스처가 가리키는 제어 대상 장비를 식별하기 위하여, 제스처 제어 센터의 식별 모듈에서 수학 공간 3D좌표계를 구축할 수 있으며, 그중의 좌표 원점은 제스처 제어 센터를 선택할 수도 있고 사용자 설정의 하나의 공간 위치점을 선택할 수도 있으며 물론 이 점은 제스처 제어 센터에 저장되어야 한다. 도2에 도시된 경우에 있어서, 좌표 원점은 3개 카메라 중의 하나를 선택할 수도 있다. 제스처 제어 센터 내의 식별 모듈은 제어 대상 장비의 위치를 측정, 표시, 산출하고 제스처가 가리키는 제어 대상 장비를 측정, 표시, 산출하는 것을 책임진다.
이하, 도1, 도5를 결합하여 제스처 제어 센터의 작업 흐름을 설명한다.
1. 제스처 제어 센터는 제어 대상 장비를 식별한다.
제스처 제어 센터는 작동 시 또는 주기적으로 카메라를 통해 시각 범위 내의 이미지를 수집한 후, 수집된 이미지에 대해 식별을 진행하여 식별 가능한 제어 대상 장비가 있는지를 검측한다. 구체적인 식별 방법이 도2, 도3에 도시된 바코드, QR코드와 관련되면, 먼저 이미지 중에 바코드, QR코드가 있는지를 확정할 수 있으며, 바코드, QR코드 구역을 확정한 후, 바코드, QR코드가 표시하는 정보를 식별한다.
2. 제스처 제어 센터는 식별된 제어 대상 장비와 확인을 진행한다.
제어 대상 장비를 식별한 후, 제스처 제어 센터는 제어 대상 장비와 네트워크를 통해 상호작용할 수 있는바, 예를 들어, 기존의 UPnP 프로토콜 또는 DNS-SD를 사용하여 해당 제어 대상 장비를 찾아 내어 해당 제어 대상 장비의 주소, 기능 등 정보를 확인한다.
3. 제스처 제어 센터는 제스처 식별을 준비한다.
제스처 제어 센터의 비디어 수집 모듈(예를 들어, 카메라)은 비디오 구역 내의 이미지를 모니터링하고 제스처를 수집한다.
제스처 동작의 식별은 히스토그램 법 또는 히든 마코프 모델(Hidden Markov Model) 법을 적용할 수 있다. 우선 사용자의 제스처 동작이 카메라 포획 범위 내에 들어가야 하며, 이리하여 카메라는 제스처 비디오를 생성하여 식별 모듈에 제공할 수 있으며, 식별 모듈은 색상, 윤각, 구조광 분석 등 방법을 통해 수신된 제스처 비디오의 제스처 이미지 중에서 손의 위치를 식별해내고 제스처 대상을 검측 분할해내며, 제스처 특징을 추출해내고 제스처 운동을 추적한다. 그후, 손가락 방향, 운동방향 서열을 처리하며, 마지막으로 제스처 동작을 완전히 식별해내며, 이때 사전 정의된 제스처 동작 공간과 대비하는 등 방법을 적용하여 사용자의 제스처 동작 의도를 확정할 수 있다.
상술한 제스처 동작의 식별은 또한 제스처가 가리키는 제어 대상 장비를 식별해내는 것을 더 포함한다.
본 실시예에서 제스처가 가리키는 제어 대상 장비를 확정하는 한가지 방법은 제스처와 제어 대상 장비의 각도를 이용하여 계산을 진행한다. 예를 들어, 사용자를 좌표 중심으로 제어 대상 장비와 사용자 제스처는 각도를 이룬다. 제스처 제어 센터는 제스처를 식별할 때, 사용자 제스처 연장선과 각 제어 대상 장비 간의 각도, 거리를 표시할 수 있다.
구체적으로 말하면, 제스처 제어 센터는 먼저 팔을 식별해낸 후, 팔꿈치를 좌표 원점으로 할 수 있다. 어떠한 제어 대상 장비도 없는 시나리오를 예를 들면, 손바닥이 왼쪽에서 오른쪽으로 운동하면, 각도 변화는 0°에서 360°이고, 손바닥이 위에서 아래로 운동하면, 각도 변화는 0°에서 180°이다. 여기서, 식별 모듈이 계산할 것은 제어 대상 장비, 손바닥, 팔꿈치 이 세 점으로 구성된 삼각형에서 팔꿈치-각 제어 대상 장비의 선과 팔꿈치-손바닥(즉 팔)의 선 사이의 끼인각이다. 팔과 어느 제어 대상 장비의 끼인각의 각도가 작을 수록 제스처의 가리킴이 이 제스처 장치를 향함을 나타낸다. 끼인각 각도 크기의 구체적인 의미는 아래와 같다.
0°-90°: 제스처가 가리키는 것은 사용자가 조작 제어를 원하는 제어 대상 장비일 수 있임을 나타내고, 0°이면 이 확정된 제어 대상 장비를 가리킴을 판단할 수 있다.
90°에서 180°: 제스처가 가리키는 것은 사용자가 조작 제어를 원하는 제어 대상 장비가 아닐 가능성이 큼을 나타낸다.
각 제어 대상 장비와 제스처의 각도를 산출한 후, 제스처 제어 센터는 그중에서 각도가 제일 작은 제스처에 대응하는 제어 대상 장비를 확정하고 이 장치가 바로 사용자가 조작 제어하고자 하는 제어 대상 장비인 것으로 판단한다.
실제 응용에 있어서, 제스처, 제어 대상 장비, 제스처 제어 센터 간의 거리를 측정한 후, 아래의 3개선의 길이를 계산할 수 있다. 즉, 제어 대상 장비, 손바닥, 팔꿈치 이 세 점으로 구성된 삼각형에서, 팔꿈치-제어 대상 장비의 선, 팔꿈치-손바닥(팔)의 선, 및 손바닥-제어 대상 장비의 선이다. 길이의 계산 측면에서, 식별 모듈은 상술한 3개 선의 길이를 직접 측정할 수도 있고 기준 거리를 측정한 후 비례에 따라 계산할 수도 있다. 다음 삼각 공식을 이용하여 상술한 각도를 계산하여 판단을 진행한다.
도8은 제스처가 가리키는 제어 대상 장비를 어떻게 확정할 것인지를 나타내었다. 손바닥-팔의 선은 한 방향을 가리키고, 이와 동시에, 손바닥-팔의 선과 팔꿈치-장치의 선 사이는 끼인각을 구성하며, 도8에 팔꿈치-DVD 플레이어의 선과 손바닥-팔의 선 사이의 끼인각을 나타내었으며, 또한 팔꿈치-텔레비전의 선과 손바닥-팔의 선 사이의 끼인각을 나타내었다. 제스처 제어 센터는 이 두개 끼인각에 대한 비교를 통해 사용자가 제스처를 통해 DVD플레이어를 제어하고자 하는 것을 확정한다. 도8에는 또한 전술한 삼각형(모두 2개 삼각형)을 나타내었으며, 각도를 계산하는 다른 한 방법으로서, 이 두개 삼각형에 대해 각각 삼각 공식 계산을 진행할 수 있다. 도8에 도시된 방법은 더 많은 제어 대상 장비에 대한 제스처 제어에 적용될 수 있다.
실제 응용에 있어서, 측정 대상(예를 들어, 손바닥, 팔, 제어 대상 장비)의 중심점 선택 등 문제와 관련될 수도 있으며 이들 모두 수학 연산으로 확정할 수 있다.
4. 제스처 제어 센터는 제스처 동작에 대응하는 조작 제어 명령을 식별해낸 후, 조작 제어 명령 메시지를 대응하는 제어 대상 장비에 송신한다.
제스처 제어 센터에는 정의된 제스처 동작과 명령 메시지의 대응관계가 저장되어 있다. 제스처 제어 센터가 식별을 통해 조작 제어 명령, 조작 제어 명령에 대응하는 제어 대상 장비를 확정한 후, 제어 대상 장비와의 네트워크 연결을 통해 조작 제어 명령을 제어 대상 장비에 송신할 수 있다.
조작 제어 명령은 미디어를 재생, 끄기 등과 같은 범용 명령일 수도 있고 채널 변경, 음량 증가 등과 같은 장치 전용 명령일 수도 있으며, 프로토콜 명령, 즉 어느 한 응용 프로토콜에 의해 규정된 명령, 예를 들어, UPnP 등 프로토콜 중의 미디어 내용 공유 등 일 수도 있다.
5. 조작 제어 명령 메시지를 수신한 제어 대상 장비는 조작 제어 명령을 수행한다.
제어 대상 장비는 네트워크 연결을 통해 조작 제어 명령을 수신하여 수행한다. 단계4와 같이, 제어 대상 장비는 명령의 구체적인 내용에 따라 내부 프로그램을 수행하거나 기타 장치와 통신하여 협조하여 조작 제어 명령을 완성한다.
명령 메시지에 포함된 것이 제스처 동작의 특징 데이터이면, 제어 대상 장비는 특징 데이터에 대해 분석, 계산을 진행하여 대응하는 명령을 획득하여 수행한다.
총적으로, 도6에 도시된 바와 같이 제스처 제어 센터와 제어 대상 장비 간에 상호 작용하는 메시지 흐름에서, 제스처 제어 센터의 조작은 크게 두개 단계로 나누어 지는바, 각각 제어 대상 장비의 시각적인 발견, 및 조작 제어 명령의 송신이다.
구체적으로 말하면, 우선, 제스처 제어 센터는 시각 범위 내의 제어 대상 장비를 스캐닝하고 스캐닝된 제어 대상 장비의 태그를 식별하여 저장한다. 이때, 네트워크를 사용할 필요가 없다.
제어 대상 장비를 식별한 후, 제스처 제어 센터는 제어 대상 장비와 네트워크를 통해 상호작용할 수 있는바, 예를 들어, 기존의 UPnP 프로토콜 또는 DNS-SD를 사용하여 해당 제어 대상 장비를 찾아 내어 해당 제어 대상 장비의 주소, 기능 등 정보를 확인한다.
이어서, 제스처 제어 센터가 제스처 동작을 식별해내면, 제스처 동작에 대해 분석을 진행하며, 동작 대상, 동작 의도를 분석해내고 동작 의도를 조작 제어 명령 또는 제스처 동작 특징 데이터로 매핑한다.
그후, 제스처 제어 센터는 조작 제어 명령을 제스처가 가리키는 제어 대상 장비에 송신한다. 이때, 제스처 제어 센터와 제스처가 가리키는 제어 대상 장비 간에 네트워크 연결이 존재할 것을 수요로 하며, UPnP 프로토콜 등 프로토콜 메시지를 사용하여 네트워크 메시지를 송신할 수 있다.
상술한 제스처가 사전 정의된 협조 제스처이면, 예를 들어 텔레비전, DVD 플레이어에 대해 연속적으로 제스처 조작을 진행하면, 제스처 제어 센터는 제스처 동작을 각각 식별하여 대응하는 조작 제어 명령을 상응하는 제어 대상 장비에 송신한다.
마지막으로, 조작 제어 명령을 수신한 제어 대상 장비는 조작 제어 명령에 대응하는 조작을 수행한다.
상기 조작 제어 명령은 미디어를 재생, 끄기 등과 같은 범용 명령일 수도 있고 채널 변경, 음량 증가 등과 같은 장치 전용 명령일 수도 있으며, 프로토콜 명령, 즉 어느 한 응용 프로토콜에 규정된 명령, 예를 들어, UPnP 등 프로토콜 중의 미디어 내용 공유, DVD 플레이어가 텔레비전에서 내용을 재생 등 일 수도 있다.
설명할 것은, 제어 대상 장비는 상술한 텔레비전, 플레이어, 저장 서버 등에 한정되지 않으며, 컴퓨터, 음향, 라우드스피커 박스, 프로젝터, 셋톱박스 등 일 수도 있으며, 나아가 공업 분야의 차, 머신툴, 륜선 등 일 수도 있다. 그리고, 제어 대상 장비는 종래기술 중의 카메라가 설치된 시각 식별을 기반으로 독립적으로 제스처 제어를 구현할 수 있는 장치일 수도 있고, 카메라가 설치되지 않은 기타 장치일 수도 있다.
또한, 제스처 제어 센터의 카메라는 각종 규격일 수 있는바, 예를 들어, 고정 초점 또는 가변 초점인 것일 수 있으며 회전 공간은 상하좌우 각도인 것 또는 좌우 각도만 지원하는 것일 수 있다. 거리 측정 모듈은 레이저 적외선 거리 측정을 사용할 수도 있고 기타 파장 범위의 광선 거리 측정을 사용할 수도 있다. 전술한 3개 카메라를 사용하여 거리를 측정할 수도 있고 더 많은 카메라를 사용하여 거리를 측정(예를 들어, 가중 조절 등 방법을 사용)할 수도 있다.
이 외에, 상술한 통신 모듈은 트랜스시버일 수 있고, 거리 측정 모듈은 거리 측정기일 수 있으며, 식별 모듈은 단일 칩 마이크로컴퓨터, 프로세서 등 일 수 있으며, 이미지 식별 모듈은 이미지를 처리할 수 있는 단일 칩 마이크로컴퓨터, 프로세서 등 일 수 있고, 제스처 식별 모듈은 제스처를 처리할 수 있는 단일 칩 마이크로컴퓨터, 프로세서 등 일 수 있으며, 데이터 저장 모듈은 메모리일 수 있으며, 제어 모듈은 CPU 등 데이터 처리 및 제어를 진행할 수 있는 집적회로 등 일 수 있고, 네트워크 서비스 모듈은 네트워크 서버일 수 있다.
이상의 설명을 결합하여 보다시피, 본 발명의 실시예에 따른 제스처 제어 기술은 도7에 도시된 바와 같은 흐름을 나타낼 수 있으며, 해당 흐름은 아래의 단계를 포함한다.
단계710: 제스처 제어 센터는 제어 대상 장비에 대한 제스처 및 제스처가 가리키는 제어 대상 장비를 식별한다.
단계720: 제스처 제어 센터는 조작 제어 정보를 제스처가 가리키는 제어 대상 장비에 송신하고 제어 대상 장비는 수신된 조작 제어 정보에 따라 상응하는 조작을 수행한다.
총적으로 보다시피, 본 발명의 실시예에 따른 제스처 제어 기술을 적용하면, 제스처 제어 센터와 같은 제스처 식별 장비를 한 세트만 있으면 복수개 장비에 대한 제스처 조작 제어를 구현할 수 있는 것을 보장할 수 있으며, 제스처 제어의 통합을 구현하고 상이한 장비가 제스처 식별 과정에서 발생 가능한 오조작을 방지하며 중복 자원의 소모도 방지하며, 또한 제스처 식별 조작 제어를 지원하지 않는 장비를 위해 편리한 조작 제어 방식을 제공하고, 제스처 식별 부재의 장착으로 인한 장비의 원가를 절약하며 이로 하여 사용자 만족도를 효과적으로 향상시킬 수 있다.
상술한 것은 본 발명의 바람직한 실시예일 뿐, 본 발명의 보호 범위를 한정하기 위한 것이 아니다.

Claims (17)

  1. 제스처 제어 방법에 있어서,
    제스처 제어 센터가 제어 대상 장비에 대한 제스처를 포획 및 식별하고 식별된 제스처에 대응하는 조작 제어 정보를 제어 대상 장비에 송신하는 단계와, 제어 대상 장비가 수신된 조작 제어 정보에 따라 상응하는 조작을 수행하는 단계를 포함하며,
    상기 제스처 제어 방법은:
    상기 제스처를 식별하기 전에, 제스처 제어 센터가 시각 범위 내의 제어 대상 장비를 식별하는 단계를 더 포함하며,
    제스처 제어 센터가 시각 범위 내의 제어 대상 장비를 식별할 때, 상기 제어 대상 장비의 장치 위치를 식별 및 기록하는 것을 특징으로 하는 제스처 제어 방법.
  2. 청구항 1에 있어서,
    상기 제스처 제어 센터가, 상기 제스처 제어 센터와 상기 제어 대상 장비 간의 거리를 계산하는 단계를 더 포함하는 제스처 제어 방법.
  3. 청구항 1에 있어서,
    상기 제스처 제어 센터가 시각 범위 내의 제어 대상 장비를 식별할 때, 제어 대상 장비의 장치 식별자 및 장치 주소 중의 적어도 하나를 식별 및 기록하는 것을 특징으로 하는 제스처 제어 방법.
  4. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    제스처 제어 센터가 제어 대상 장비에 대한 제스처를 식별할 때, 제스처에 대응하는 조작 제어 명령, 제스처가 가리키는 제어 대상 장비를 식별하는 것을 특징으로 하는 제스처 제어 방법.
  5. 청구항 4에 있어서,
    제스처 제어 센터가 제스처가 가리키는 제어 대상 장비를 식별할 때,
    제스처와 제스처 제어 센터의 비디오 수집 모듈의 각도를 이용하여 계산하거나,
    제스처, 제어 대상 장비, 제스처 제어 센터 간의 거리를 측정해낸 후, 삼각 공식으로 계산하는 것을 특징으로 하는 제스처 제어 방법.
  6. 청구항 4에 있어서,
    제스처 제어 센터가 조작 제어 정보를 송신할 때, 조작 제어 명령을 송신하거나 제스처 동작 특징 데이터를 송신하거나, 또는
    제어 대상 장비에 의해 수신된 조작 제어 정보가 조작 제어 명령인 경우, 조작 제어 명령에 대응하는 조작을 수행하고, 제어 대상 장비에 의해 수신된 조작 제어 정보가 제스처 동작 특징 데이터인 경우, 수신된 제스처 동작 특징 데이터를 분석하여 대응하는 조작 제어 명령을 획득하고 조작 제어 명령에 대응하는 조작을 수행하는 것을 특징으로 하는 제스처 제어 방법.
  7. 청구항 1에 있어서,
    제어 대상 장비는 제스처 제어 센터와의 연결을 구축하고, 해당 연결을 기반으로 세션 방식으로 메시지를 이용하여 조작 제어를 완성하는 것을 특징으로 하는 제스처 제어 방법.
  8. 제스처 제어 장치에 있어서,
    비디오 수집 모듈, 식별 모듈, 및 제어 모듈을 포함하되,
    상기 비디오 수집 모듈은 제어 대상 장비에 대한 제스처를 포획하도록 구성되고,
    상기 식별 모듈은 상기 제스처를 식별하도록 구성되며,
    상기 제어 모듈은 식별된 제스처에 대응하는 조작 제어 정보를 상기 제어 대상 장비에 송신하도록 구성되며,
    상기 제스처 제어 장치는:
    상기 비디오 수집 모듈과 결합하여 시각 범위 내의 제어 대상 장비를 식별해내도록 구성되는 거리 측정 모듈 및,
    시각 범위 내의 제어 대상 장비를 식별할 때, 식별된 제어 대상 장비의 장치 위치를 기록하도록 구성되는 데이터 저장 모듈을 더 포함하는, 제스처 제어 장치.
  9. 청구항 8에 있어서,
    상기 거리 측정 모듈은, 상기 제스처 제어 장치와 상기 제어 대상 장비 간의 거리를 산출하도록 더 구성되는 것을 특징으로 하는 제스처 제어 장치.
  10. 청구항 9에 있어서,
    상기 데이터 저장 모듈은, 시각 범위 내의 상기 제어 대상 장비를 식별할 때, 상기 제어 대상 장비의 장치 식별자 및 장치 주소 중의 적어도 하나를 식별 및 기록하도록 더 구성되는 것을 특징으로 하는 제스처 제어 장치.
  11. 청구항 8 내지 청구항 10 중 어느 한 항에 있어서,
    상기 식별 모듈은 이미지 식별 모듈 및 제스처 식별 모듈을 포함하되,
    상기 이미지 식별 모듈은 제스처에 대응하는 조작 제어 명령을 식별하도록 구성되고,
    상기 제스처 식별 모듈은 제스처가 가리키는 제어 대상 장비를 식별하도록 구성되는 것을 특징으로 하는 제스처 제어 장치.
  12. 청구항 11에 있어서,
    상기 제스처 식별 모듈은 제스처가 가리키는 제어 대상 장비를 식별할 때,
    제스처와 상기 비디오 수집 모듈의 각도를 이용하여 계산하거나,
    제스처, 제어 대상 장비, 상기 장치 간의 거리를 측정해낸 후, 삼각 공식으로 계산하도록 구성되는 것을 특징으로 하는 제스처 제어 장치.
  13. 청구항 11에 있어서,
    상기 제어 모듈은 조작 제어 정보를 송신할 때, 조작 제어 명령을 송신하거나 제스처 동작 특징 데이터를 송신하도록 구성되는 것을 특징으로 하는 제스처 제어 장치.
  14. 청구항 8에 있어서,
    상기 장치는 제어 대상 장비와의 연결을 구축하고, 상기 연결을 기반으로 세션 방식으로 메시지를 이용하여 조작 제어를 완성하도록 구성되는 네트워크 서비스 모듈을 포함하는 것을 특징으로 하는 제스처 제어 장치.
  15. 제스처 제어 시스템에 있어서,
    제스처 제어 센터 및 제어 대상 장비를 포함하되,
    상기 제스처 제어 센터는 제어 대상 장비에 대한 제스처를 포획 및 식별하고 식별된 제스처에 대응하는 조작 제어 정보를 제어 대상 장비에 송신하도록 구성되고,
    상기 제어 대상 장비는 수신된 조작 제어 정보에 따라 상응하는 조작을 수행하도록 구성되며,
    상기 제스처 제어 센터는, 상기 제스처를 식별하기 전에, 시각 범위 내의 제어 대상 장비를 식별하도록 더 구성되고,
    제스처 제어 센터가 시각 범위 내의 제어 대상 장비를 식별할 때, 상기 제어 대상 장비의 장치 위치를 식별 및 기록하는 것을 특징으로 하는 제스처 제어 시스템.
  16. 청구항 15에 있어서,
    상기 제스처 제어 센터는 조작 제어 정보를 송신할 때, 조작 제어 명령을 송신하거나 제스처 동작 특징 데이터를 송신하도록 구성되거나, 또는
    상기 제어 대상 장비에 의해 수신된 조작 제어 정보가 조작 제어 명령인 경우, 조작 제어 명령에 대응하는 조작을 수행하도록 구성되고, 상기 제어 대상 장비에 의해 수신된 조작 제어 정보가 제스처 동작 특징 데이터인 경우, 수신된 제스처 동작 특징 데이터를 분석하여 대응하는 조작 제어 명령을 획득하고 조작 제어 명령에 대응하는 조작을 수행하도록 구성되는 것을 특징으로 하는 제스처 제어 시스템.
  17. 청구항 15 또는 청구항 16에 있어서,
    상기 제어 대상 장비는 수신된 조작 제어 정보에 따라 조작을 수행할 때, 제스처 제어 센터와의 연결을 구축하고, 상기 연결을 기반으로 세션 방식으로 메시지를 이용하여 조작 제어를 완성하도록 구성되는 것을 특징으로 하는 제스처 제어 시스템.
KR1020157032564A 2013-04-15 2013-09-17 제스처 제어 방법, 장치 및 시스템 Active KR101969624B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310130673.4 2013-04-15
CN201310130673.4A CN104102335B (zh) 2013-04-15 2013-04-15 一种手势控制方法、装置和系统
PCT/CN2013/083690 WO2014169566A1 (zh) 2013-04-15 2013-09-17 一种手势控制方法、装置和系统

Publications (2)

Publication Number Publication Date
KR20150143724A KR20150143724A (ko) 2015-12-23
KR101969624B1 true KR101969624B1 (ko) 2019-04-16

Family

ID=51670543

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157032564A Active KR101969624B1 (ko) 2013-04-15 2013-09-17 제스처 제어 방법, 장치 및 시스템

Country Status (8)

Country Link
US (1) US10013067B2 (ko)
EP (1) EP2988210B1 (ko)
JP (1) JP6126738B2 (ko)
KR (1) KR101969624B1 (ko)
CN (1) CN104102335B (ko)
DK (1) DK2988210T3 (ko)
HU (1) HUE043509T2 (ko)
WO (1) WO2014169566A1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160162039A1 (en) * 2013-07-21 2016-06-09 Pointgrab Ltd. Method and system for touchless activation of a device
CN105589550A (zh) * 2014-10-21 2016-05-18 中兴通讯股份有限公司 信息发布方法、信息接收方法、装置及信息共享系统
CN105630142A (zh) * 2014-11-07 2016-06-01 中兴通讯股份有限公司 一种发布和传递识别信息的方法和装置及信息识别系统
CN105807549A (zh) * 2014-12-30 2016-07-27 联想(北京)有限公司 一种电子设备
US10484827B2 (en) 2015-01-30 2019-11-19 Lutron Technology Company Llc Gesture-based load control via wearable devices
CN104699244B (zh) * 2015-02-26 2018-07-06 小米科技有限责任公司 智能设备的操控方法及装置
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
EP3391711B1 (en) * 2015-12-14 2019-07-31 Signify Holding B.V. A method of controlling a lighting device
CN106886279A (zh) * 2015-12-16 2017-06-23 华为技术有限公司 一种控制方法及装置
CN105681859A (zh) * 2016-01-12 2016-06-15 东华大学 基于人体骨骼追踪控制智能电视的人机交互方法
CN107436678B (zh) * 2016-05-27 2020-05-19 富泰华工业（深圳）有限公司 手势控制系统及方法
EP3529675B1 (de) 2016-10-21 2022-12-14 Trumpf Werkzeugmaschinen GmbH + Co. KG Innenraum-personenortung-basierte fertigungssteuerung in der metallverarbeitenden industrie
KR20190077423A (ko) 2016-10-21 2019-07-03 트룸프 베르크초이그마쉬넨 게엠베하 + 코. 카게 금속가공 산업에서의 내부 추적 시스템에 기초한 제조 프로세스 제어
EP3681150A4 (en) 2017-09-04 2021-01-13 Kajita, Hiroki MULTI-POINT-OF-VIEW VIDEO IMAGE VIEWING SYSTEM AND CAMERA SYSTEM
CN108259671B (zh) * 2018-01-30 2020-01-03 深圳市科迈爱康科技有限公司 翻译内容传送方法和系统
US10296102B1 (en) * 2018-01-31 2019-05-21 Piccolo Labs Inc. Gesture and motion recognition using skeleton tracking
JPWO2019176441A1 (ja) * 2018-03-15 2020-12-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN108389459A (zh) * 2018-03-15 2018-08-10 湖南工业大学 一种基于虚拟现实的印刷模拟系统
US11003629B2 (en) * 2018-10-31 2021-05-11 EMC IP Holding Company LLC Dual layer deduplication for application specific file types in an information processing system
CN109934152B (zh) * 2019-03-08 2021-02-09 浙江理工大学 一种针对手语图像的改进小弯臂图像分割方法
US11543888B2 (en) 2019-06-27 2023-01-03 Google Llc Intent detection with a computing device
CN112698716A (zh) * 2019-10-23 2021-04-23 上海博泰悦臻电子设备制造有限公司 基于手势识别的车内设置、控制方法、系统、介质及设备
US11144128B2 (en) * 2019-11-20 2021-10-12 Verizon Patent And Licensing Inc. Systems and methods for controlling video wall content using air gestures
CN111880422B (zh) * 2020-07-20 2024-01-05 Oppo广东移动通信有限公司 设备控制方法及装置、设备、存储介质
CN112071053B (zh) * 2020-09-09 2025-02-18 杭州敏和光电子技术有限公司 一种带红外遥控接收功能的手势识别装置及识别方法
US11809633B2 (en) * 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
CN113223344B (zh) * 2021-05-25 2022-08-23 湖南汽车工程职业学院 一种基于大数据的艺术设计用专业教学展示系统
US20230076716A1 (en) * 2021-09-03 2023-03-09 Apple Inc. Multi-device gesture control
CN115778046B (zh) * 2023-02-09 2023-06-09 深圳豪成通讯科技有限公司 基于数据分析的智能安全帽调节控制方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012099584A1 (en) * 2011-01-19 2012-07-26 Hewlett-Packard Development Company, L.P. Method and system for multimodal and gestural control

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1184982B1 (en) * 2000-08-24 2009-05-06 Sony Deutschland GmbH Remote control device
US20060125968A1 (en) * 2004-12-10 2006-06-15 Seiko Epson Corporation Control system, apparatus compatible with the system, and remote controller
CN103336562A (zh) * 2005-03-04 2013-10-02 苹果公司 多功能手持设备
CN101213506B (zh) * 2005-06-30 2011-06-22 皇家飞利浦电子股份有限公司 控制方法、控制设备及包括控制设备的娱乐系统和照明系统
US8599132B2 (en) * 2008-06-10 2013-12-03 Mediatek Inc. Methods and systems for controlling electronic devices according to signals from digital camera and sensor modules
JP5544570B2 (ja) * 2010-08-27 2014-07-09 公立大学法人首都大学東京 情報提示システム、情報提示プログラム、及び情報提示方法
US20120068857A1 (en) * 2010-09-22 2012-03-22 Apple Inc. Configurable remote control
US9423878B2 (en) * 2011-01-06 2016-08-23 Blackberry Limited Electronic device and method of displaying information in response to a gesture
CN102810023B (zh) * 2011-06-03 2015-09-23 联想(北京)有限公司 识别手势动作的方法及终端设备
US9152376B2 (en) * 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
CN102915111B (zh) * 2012-04-06 2017-05-31 寇传阳 一种腕上手势操控系统和方法
CN102778954B (zh) 2012-06-29 2016-05-11 Tcl集团股份有限公司 一种手势操作管理方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012099584A1 (en) * 2011-01-19 2012-07-26 Hewlett-Packard Development Company, L.P. Method and system for multimodal and gestural control

Also Published As

Publication number Publication date
DK2988210T3 (en) 2019-02-25
US10013067B2 (en) 2018-07-03
HUE043509T2 (hu) 2019-08-28
US20160266653A1 (en) 2016-09-15
CN104102335B (zh) 2018-10-02
WO2014169566A1 (zh) 2014-10-23
JP6126738B2 (ja) 2017-05-10
EP2988210A1 (en) 2016-02-24
EP2988210A4 (en) 2016-05-25
KR20150143724A (ko) 2015-12-23
CN104102335A (zh) 2014-10-15
JP2016518657A (ja) 2016-06-23
EP2988210B1 (en) 2018-11-28

Similar Documents

Publication Publication Date Title
KR101969624B1 (ko) 제스처 제어 방법, 장치 및 시스템
US8230075B1 (en) Method and device for identifying devices which can be targeted for the purpose of establishing a communication session
US9170318B1 (en) Inter-device location determinations
US20140313228A1 (en) Image processing device, and computer program product
US20140267031A1 (en) Spatially aware pointer for mobile appliances
CN104662558A (zh) 用于手势输入的指尖定位
JP2005179026A (ja) 機器管理システム
CN107562288A (zh) 基于红外触控装置的响应方法、红外触控装置和介质
US20190096130A1 (en) Virtual mobile terminal implementing system in mixed reality and control method thereof
CN107092350A (zh) 一种远程计算机控制系统及方法
WO2016095641A1 (zh) 数据交互方法及系统、移动终端
US20160117553A1 (en) Method, device and system for realizing visual identification
US20150058811A1 (en) Control system for display screen, input apparatus and control method
US9041689B1 (en) Estimating fingertip position using image analysis
CN112529770B (zh) 图像处理方法、装置、电子设备和可读存储介质
CN115243085B (zh) 显示设备及设备互联方法
CN222528576U (zh) 一种跟踪仪及一种跟踪式扫描系统
CN217718662U (zh) 一种交互控制设备和显示系统
CN112954480B (zh) 数据传输进度的显示方法和数据传输进度的显示装置
TW201349045A (zh) 觸控裝置相對位置確定系統及方法
WO2023029125A1 (zh) 笔迹位置的确定方法、装置、终端设备及存储介质
JP2005056054A (ja) 携帯情報端末に対する情報提供システム、情報提供方法、情報提供プログラム、および、情報提供プログラムを記録した記録媒体
CN115794019A (zh) 投影方法、装置、电子设备和可读存储介质
TW202338753A (zh) 追蹤裝置、方法及其非暫態電腦可讀取記錄媒體
WO2016070827A1 (zh) 一种发布和传递识别信息的方法和装置及信息识别系统

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20151113

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20161216

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20170621

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20161216

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20170721

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20170621

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20190311

Appeal identifier: 2017101003484

Request date: 20170721

J301 Trial decision

Free format text: TRIAL NUMBER: 2017101003484; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20170721

Effective date: 20190311

PJ1301 Trial decision

Patent event code: PJ13011S01D

Patent event date: 20190311

Comment text: Trial Decision on Objection to Decision on Refusal

Appeal kind category: Appeal against decision to decline refusal

Request date: 20170721

Decision date: 20190311

Appeal identifier: 2017101003484

PS0901 Examination by remand of revocation
S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
PS0701 Decision of registration after remand of revocation

Patent event date: 20190322

Patent event code: PS07012S01D

Comment text: Decision to Grant Registration

Patent event date: 20190312

Patent event code: PS07011S01I

Comment text: Notice of Trial Decision (Remand of Revocation)

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190410

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190410

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220401

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230316

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240319

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20250317

Start annual number: 7

End annual number: 7