[go: up one dir, main page]

KR101976605B1 - 전자기기 및 그 동작 방법 - Google Patents

전자기기 및 그 동작 방법 Download PDF

Info

Publication number
KR101976605B1
KR101976605B1 KR1020160062180A KR20160062180A KR101976605B1 KR 101976605 B1 KR101976605 B1 KR 101976605B1 KR 1020160062180 A KR1020160062180 A KR 1020160062180A KR 20160062180 A KR20160062180 A KR 20160062180A KR 101976605 B1 KR101976605 B1 KR 101976605B1
Authority
KR
South Korea
Prior art keywords
electronic device
light
information
mirror
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160062180A
Other languages
English (en)
Other versions
KR20170131044A (ko
Inventor
이탁건
Original Assignee
이탁건
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이탁건 filed Critical 이탁건
Priority to KR1020160062180A priority Critical patent/KR101976605B1/ko
Priority to JP2019513722A priority patent/JP6825087B2/ja
Priority to CN201780043887.4A priority patent/CN109478107A/zh
Priority to EP17799593.3A priority patent/EP3460636B1/en
Priority to PCT/KR2017/004844 priority patent/WO2017200235A1/ko
Publication of KR20170131044A publication Critical patent/KR20170131044A/ko
Priority to US16/194,846 priority patent/US11169640B2/en
Application granted granted Critical
Publication of KR101976605B1 publication Critical patent/KR101976605B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G06F3/0423—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen using sweeping light beams, e.g. using rotating or vibrating mirror
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

실시예들에 따라 전자 디바이스 및 그 동작 방법이 개시된다. 일 실시예에 따른 전자 디바이스는 오브젝트에 광을 조사하고 상기 오브젝트로부터 반사된 광을 이용하여 상기 전자 디바이스로부터 상기 오브젝트까지의 거리를 검출하는 광학 모듈, 및 상기 검출된 오브젝트까지의 거리 정보에 기반하여 상기 오브젝트의 터치 정보 및/또는 제스쳐 정보를 결정하는 프로세서를 포함한다.

Description

전자기기 및 그 동작 방법{A electronic device and a operation method}
일 실시예는 전자기기 및 방법에 관한 것으로, 사용자의 제스쳐나 터치 동작을 인식하는 전자기기 및 전자기기의 동작 방법을 제공하는 것에 관한 것이다.
최근 다양한 센서와 프로세서의 발전에 힘입어 사용자들은 전자 기기에 텍스트 입력이나 키 패드 입력 이외에도 다양한 인터페이스를 통하여 전자 기기에 데이터 입력을 실현하고 있다. 예로서 스마트 폰이나 전자 기기는 설치된 카메라 등을 통하여 제스쳐를 인식하거나 터치 센서티브 디스플레이 등을 통해 터치 입력을 수신할 수 있다.
전자 기기의 디스플레이 상에서의 제스쳐 인식이나 터치 입력은 사용자가 제한된 전자기기의 디스플레이 상에서의 동작을 요구한다.
또한 카메라를 이용한 제스쳐 분석 처리에는 후처리 과정에서 많은 프로세서 연산 및 카메라 모듈 자체로 인한 소모전류 발생이 일어난다.
다양한 실시예들은 사용자가 희망하는 어떤 공간에서든 제스쳐 인식이나 터치 입력에 따른 처리를 수행할 수 있으며 이러한 처리에 전류 소모를 감소시킬 수 있는 전자기기 및 그 동작 방법을 제공하고자 한다.
일 실시예에 따른 전자기기는, 오브젝트에 광을 조사하고 상기 오브젝트로부터 반사된 광을 이용하여 상기 전자 디바이스로부터 상기 오브젝트까지의 거리를 검출하는 광학 모듈, 및 상기 검출된 오브젝트까지의 거리 정보에 기반하여 상기 오브젝트의 터치 정보 및/또는 제스쳐 정보를 결정하는 프로세서를 포함한다.
일 실시예에 따라 전자 디바이스의 동작 방법은, 오브젝트에 광을 조사하고 상기 오브젝트로부터 반사된 광을 이용하여 상기 전자 디바이스로부터 상기 오브젝트까지의 거리를 검출하는 동작, 및 상기 검출된 오브젝트까지의 거리 정보에 기반하여 상기 오브젝트의 터치 정보 및/또는 제스쳐 정보를 결정하는 동작을 포함한다.
일 실시예에 따라 전자 디바이스의 동작 방법을 실행하는 프로그램이 기록된 컴퓨터 판독 가능 기록 매체에서 그 전자 디바이스의 동작 방법은, 오브젝트에 광을 조사하고 상기 오브젝트로부터 반사된 광을 이용하여 상기 전자 디바이스로부터 상기 오브젝트까지의 거리를 검출하는 동작, 및 상기 검출된 오브젝트까지의 거리 정보에 기반하여 상기 오브젝트의 터치 정보 및/또는 제스쳐 정보를 결정하는 동작을 포함한다.
이상과 같은 실시예들에 따르면 사용자가 희망하는 어떤 공간에서든 제스쳐 인식이나 터치 입력에 따른 처리를 수행할 수 있으며 이러한 처리에 전류 소모를 감소시킬 수 있다.
도 1은 일 실시예에 따른 전자기기의 개념을 설명하는 참고도이다.
도 2는 일 실시예에 따른 전자기기 100를 포함하는 시스템의 개략적인 블록도이다.
도 3은 일 실시예에 따른 전자 기기 100의 일 예에 따른 구체적인 블록도이다.
도 4는 일 실시예에 따른 전자 기기 100의 일 예에 따른 구체적인 블록도이다.
도 5는 일 실시예에 따른 전자 기기 100의 일 예에 따른 구체적인 블록도이다.
도 6은 일 실시예에 따른 전자 기기 100의 일 예에 따른 구체적인 블록도이다.
도 7은 일 실시예에 따라 전자 기기 100에 포함되는 광학 모듈 130의 세부적인 블록도이다.
도 8a는 일 실시예에 따라 광 전송부와 거리 측정 센서를 함께 배열하는 광학모듈의 일 예를 나타낸다.
도 8b는 일 실시예에 따라 광 전송부를 미러에 배열하는 광학 모듈의 일 예를 나타낸다.
도 8c는 일 실시예에 따라 미러가 틸트할 수 있는 광학 모듈의 일 예를 나타낸다.
도 8d는 일 실시예에 따라 미러가 틸트할 수 있는 광학 모듈에서의 동작 원리를 설명하기 위한 도면이다.
도 9는 일 실시예에 따라 LED 모듈을 미러의 4방향에 부착한 예를 나타낸다.
도 10은 일 실시예에 따라 전자 기기 100에서의 동작 방법을 나타내는 흐름도이다.
도 11a 내지 도 11e를 참조하여 전자기기가 오브젝트까지의 거리를 측정하는 원리를 설명하기로 한다.
도 12는 일 실시예에 따라 전자 기기 100가 오브젝트의 거리 정보에 기반하여 오브젝트의 터치 정보 및/또는 제스쳐 정보를 결정하는 방법의 과정을 나타내는 흐름도이다.
도 13은 일 실시예에 따라 인터랙션 포인트를 추출하는 과정을 나타내는 흐름도이다.
도 14 및 도 15는 전자기기 100가 인터랙션 타입을 판단하는 방법을 설명하기 위한 참고도이다.
도 16은 2차원 데이터와 3차원 데이터를 설명하기 위한 참고도이다.
도 17은 일 실시예에 따라 메인 인터랙션 포인트를 추출하는 방법을 설명하기 위한 참고도이다.
도 18은 일 실시예에 따라 인터랙션 타입이 가상 키보드인 경우의 동작을 설명하기 위한 참고도이다.
도 19는 일 실시예에 따라 전자기기 100의 동작 방법을 나타내는 흐름도이다.
도 20은 전자기기 100가 미러를 이용하여 스캔하는 범위를 결정하는 다양한 방법을 설명하기 위한 참고도이다.
도 21은 전자기기 100가 미러를 이용하여 스캔하는 범위를 적응적으로 변경하는 방법을 설명하기 위한 참고도이다.
도 22는 일 실시예에 따라 두 개 이상의 전자기기를 이용하여 음영 지역을 해소하는 방법을 나타내는 흐름도이다.
도 23는 일 실시예에 따라 두 개 이상의 전자기기를 이용하여 음영 지역을 해소하는 방법을 설명하기 위한 참고도이다.
도 24는 사용자의 터치 위치 별로 또는 전자기기 100의 스캔 범위에서 구간별로 제스쳐의 타입을 할당하고, 제스쳐의 타입에 따라 다른 제어 동작을 수행하는 것을 설명하기 위한 참고도이다.
도 25는 전자기기 100가 3차원 센싱 모드와 터치 인식모드로 동작하는 방법의 과정을 나타내는 흐름도이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 또한, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의 실시예에 따른 전자 장치를 구성하고 사용하는 방법을 상세히 설명한다. 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.
본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원서에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 숫자, 동작, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 동작, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 일 실시예에 따른 전자기기의 개념을 설명하는 참고도이다.
도 1을 참조하면, 일 실시예에 따른 전자기기 100는 거리 측정 장치와 회전 미러 장치를 구비하여 오브젝트 10 까지의 거리를 측정하고, 측정된 거리를 이용하여 제스쳐 인식이나 터치 입력 처리를 수행할 수 있다.
전자기기 100는 광원으로부의 광을 회전 미러 장치를 이용하여 반사시키고, 오브젝트 10으로부터 반사된 광을 거리 측정장치를 통하여 수신할 수 있다. 거리 측정 장치는 오브젝트 10로부터 반사된 광을 기초로 오브젝트 10 까지의 거리를 측정할 수 있다. 전자 기기 100는 측정된 오브젝트 10 까지의 거리 정보를 기초로 사용자의 터치 입력이나 제스쳐를 인식할 수 있다.
일 실시예에 따른 전자 기기 100는 오브젝트 10까지의 측정된 거리를 기초로 터치 입력이나 제스쳐 인식을 수행하기 때문에 사용자가 동작하는 공간에 대한 제약이 없다. 전자 기기 100는 사용자가 원하는 어느 공간에든 위치될 수 있으며 사용자는 자신이 원하는 공간에 전자 기기 100를 위치시키고 터치나 제스쳐 동작을 수행함으로써 전자 기기 100는 이러한 사용자의 터치 입력이나 제스쳐 동작을 인식할 수 있다.
또한 전자 기기 100는 제스쳐 인식이나 터치 입력 인식을 위해 카메라나 또한 대형 정전 용량 방식의 스크린을 이용하는 것이 아니라 거리 측정 센서를 이용하기 때문에 사용자의 동작이 비교적 큰 공간에서 수행되더라도 전력 소비가 증가되는 것을 막을 수 있다.
도 2는 일 실시예에 따른 전자기기 100를 포함하는 시스템의 개략적인 블록도이다.
도 2를 참조하면, 시스템은 광학모듈을 구비한 전자기기 100, 네트워크 200, 및 외부기기 250을 포함한다.
일 실시예에 따른 전자기기 100는 광학 모듈 130, 프로세서 110, 통신 모듈 120을 포함한다.
광학 모듈 130은 프로세서 110의 제어에 의해 광을 조사하고 오브젝트로부터 반사된 광을 수신하여 전자 기기 100로부터 오브젝트 까지의 거리를 측정할 수 있다.
일 실시예에 따라 광학 모듈 130은, 광을 조사하는 하나 이상의 광원, 상기 오브젝트로부터 반사된 광을 수신하여 거리를 검출하는 거리 검출 센서, 및 송수신되는 광의 경로를 변경하는 엘리먼트를 포함하고, 상기 하나 이상의 광원은 상기 거리 검출 센서와 일체로 구성되거나, 또는 상기 엘리먼트와 일체로 구성될 수 있다.
일 실시예에 따라 상기 엘리먼트는 횡방향 및/또는 상기 횡방향과는 다른 방향으로 회전할 수 있다.
통신 모듈 120은 프로세서 110의 제어에 의해 전자기기 100과 외부 기기 250 사이의 통신을 네트워크 200을 통해서 수행할 수 있다.
프로세서 110는 광학모듈 130 및 통신 모듈 120 을 포함하여 전자 기기 100의 전반적인 동작을 제어할 수 있다.
일 실시예에 따라 프로세서 110는 광학 모듈 130으로부터 측정된 오브젝트 까지의 거리 정보를 기초로 터치 입력 처리 또는 제스쳐 인식 처리를 수행할 수 있다.
일 실시예에 따라 프로세서 110는, 상기 오브젝트 까지의 거리 정보에 기반하여 하나 이상의 인터랙션 포인트들을 결정할 수 있다.
일 실시예에 따라 프로세서 110는, 상기 오브젝트까지의 거리 정보에 기반하여 결정된 인터랙션 그룹, 상기 결정된 인터랙션 그룹의 인터랙션 타입 또는 상기 거리 정보에 기반하여 결정된 인터랙션 타입중 적어도 하나에 기반하여 상기 하나 이상의 인터랙션 포인트들을 결정할 수 있다.
일 실시예에 따라 프로세서 110는, 상기 하나 이상의 인터랙션 포인트들이 움직이는 방향 및 속도 중 적어도 하나에 기반하여 상기 하나 이상의 인터랙션 포인트와 연관된 메인 인터랙션 포인트를 결정할 수 있다.
일 실시예에 따라 프로세서 110는 환경 정보에 기반하여 상기 광학 모듈을 제어하기 위한 제어 인자를 조정할 수 있다. 환경 정보는, 상기 오브젝트의 동작 범위와 연관된 영역의 크기, 전자 디바이스와 함께 이용되는 어플리케이션의 종류 또는 상기 오브젝트의 동작과 연관된 어플리케이션의 종류, 상기 전자 디바이스의 주변 환경과 연관된 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따라 프로세서 110는, 사용자 입력, 이미지 획득 센서, 주변 환경 검출 센서, 상기 광학 모듈에서 검출된 정보 중 적어도 하나로부터 상기 환경 정보를 획득할 수 있다.
네트워크 200는 전자기기 100과 외부 기기 250의 통신을 가능하게 하는 모든 네트워크를 포함할 수 있다. 네트워크 200는 유선 네트워크, 무선 네트워크, 근거리 통신 네트워크를 포함할 수 있다.
외부 기기 250는 전자기기 100로부터 네트워크 200를 통해 데이터를 수신하거나 전자기기 100로 데이터를 전송할 수 있다.
일 실시예에 따라 외부 기기 250는 전자 기기 100로부터 오브젝트 까지의 거리 정보를 수신하고 이를 이용하여 제스쳐 분석을 수행할 수 있다.
도 3은 일 실시예에 따른 전자 기기 100의 일 예에 따른 구체적인 블록도이다.
도 3을 참조하면, 전자 기기 100는 프로세서 110, 통신 모듈 120, 광학 모듈 130, 검출 모듈 140, 전원 관리 모듈 150을 포함한다.
통신 모듈 120는 와이파이, 블루투스, USB 등을 사용할 수 있으며 통신 프로토콜로는 TCP/IP 또는 소켓 들을 사용할 수 있다.
광학 모듈 130은 광을 전송하고 오브젝트로부터 반사된 광을 이용하여 오브젝트까지의 거리를 측정한다.
검출 모듈 140은 전자 기기 100의 주변 환경을 인식하거나 주변 환경에 대한 정보를 검출할 수 있다.
일 실시예에 따라 검출 모듈 140은 카메라를 구비하여 오브젝트가 터치나 제스쳐를 수행하는 공간의 사이즈에 대한 정보를 검출하거나 또는 오브젝트의 컬러 등을 검출할 수 있다.
전원 관리 모듈 150은 전원으로서 내장 배터리 또는 외장 배터리를 이용할 수 잇다. 배터리에는 태양열 또는 태양관 전지와 같은 자연 에너지를 통해서 얻은 전지로 구성될 수 있다.
프로세서 110는 전자 기기 100의 내부 구성요소들의 전반적인 제어를 하는 것으로, 인터랙션 패턴 처리 모듈 111, 전자기기 인자 조절 모듈 112, 환경 인지 모듈 113을 포함할 수 있다.
인터랙션 패턴 처리 모듈 111은, 광학 모듈 130로부터, 오브젝트 까지의 거리 정보를 수신하고, 미리 저장되어 있는 인터랙션 패턴을 파악하는 필터를 이용하여 오브젝트의 인터랙션의 타입을 판단할 수 있다. 예를 들어, 오브젝트의 인터랙션 타입은, 손가락이 1개인지, 손가락이 2개인지, 펜인지, 가상 키보드를 치는 동작인지 등을 나타낼 수 있다.
전자기기 인자 조절 모듈 112는 광학 모듈 130의 인자 값, 예를 들어 광학 모듈 130에 들어있는 미러의 회전 속도, 미러의 틸트 각도, 광원의 밝기 등을 조절할 수 있다.
환경 인지 모듈 113은 전자 기기 100의 주변 환경을 인지할 수 있다. 전자 기기 100의 주변 환경은, 제스쳐 동작이 이루어지는 공간의 사이즈, 터치 동작이 이루어지는 공간의 사이즈, 사람이 가상 키보드를 치고 있는 지 여부, 주변 환경의 빛의 세기 등을 포함할 수 있다.
도 4는 일 실시예에 따른 전자 기기 100의 일 예에 따른 구체적인 블록도이다.
도 4를 참조하면, 전자 기기 100는 통신 모듈 120, 광학 모듈 130, 검출 모듈 140, 전원 관리 모듈 150을 포함한다.
도 4에 도시된 예는 도 3에 도시된 전자기기 100와 동일하며 다만 프로세서 110를 구비하지 않는다. 도 4에 도시된 전자 기기 100에서는 광학 모듈 130로부터 수신한 오브젝트 까지의 거리 정보를 통신 모듈 120를 통해서 외부 기기로 전송하고 외부 기기가 수신된 오브젝트까지의 거리 정보를 이용하여 제스쳐 분석 및 터치 분석을 수행할 수 있다.
도 5는 일 실시예에 따른 전자 기기 100의 일 예에 따른 구체적인 블록도이다.
도 5를 참조하면, 전자 기기 100는 통신 모듈 120, 광학 모듈 130, 전원 관리 모듈 150을 포함한다.
도 5에 도시된 예는 도 4에 도시된 전자기기 100와 동일하며 다만 검출 모듈 140를 구비하지 않는다. 도 5에 도시된 전자 기기 100에서는 검출 모듈 140에서 검출되는 정보를 연결된 외부 기기로부터 통신 모듈 120를 통해서 수신할 수 있다. 또는 검출 모듈 140의 역할을 할 수 있는 별도의 외장 카메라를 전자 기기 100에 연결하고 이러한 외장 카메라를 통해서 정보를 수신할 수 있다.
도 6은 일 실시예에 따른 전자 기기 100의 일 예에 따른 구체적인 블록도이다.
도 6을 참조하면, 전자 기기 100는, 하나 이상의 프로세서(processor) 110, 통신 모듈 120, 광학 모듈 130, 검출 모듈 140, 전력관리 모듈 150, 프로젝션 모듈 160, 입/출력 인터페이스 170, 오디오 모듈 180, 메모리 190을 포함할 수 있다.
상기 프로세서 110는 운영체제 또는 응용 프로그램을 구동하여 상기 프로세서 110에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 프로세서 110는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 상기 프로세서 110는 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
일 실시예에 따라 프로세서 110는 광학 모듈 130로부터 수신한 오브젝트까지의 거리 정보에 기반하여 상기 오브젝트의 터치 정보 및/또는 제스쳐 정보를 결정할 수 있다.
상기 통신 모듈 120은 상기 전자 기기 100와 네트워크를 통해 연결된 다른 전자 장치들, 예를 들어 다른 전자 장치나 서버 간의 통신에서 데이터 송수신을 수행할 수 있다. 한 실시예에 따르면, 상기 통신 모듈 120은 Wifi 모듈 121, BT 모듈 122 및 RF(radio frequency) 모듈 123을 포함할 수 있다.
상기 와이파이(Wifi) 모듈 121, 및 상기 BT 모듈 122은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하는 프로세서를 포함할 수 있다. 도 6에서는 Wifi 모듈 121, 또는 BT 모듈 122, 이 각각 별개의 블록으로 도시되었으나, 한 실시예에 따르면, Wifi 모듈 121, BT 모듈 122중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. 예를 들면, Wifi 모듈 121, BT 모듈 122각각에 대응하는 프로세서들 중 적어도 일부는 하나의 SoC로 구현될 수 있다.
RF 모듈 123은 데이터의 송수신, 예를 들면, RF 신호의 송수신을 할 수 있다. 상기 RF 모듈 123는, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, 상기 RF 모듈 123는 무선 통신에서 자유 공간상의 전자파를 송수신하는 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다. 도 6에서는 Wifi 모듈 121, 및 BT 모듈 122, 이 하나의 RF 모듈 123을 서로 공유하는 것으로 도시되어 있으나, 한 실시예에 따르면, Wifi 모듈 121 및 BT 모듈 122 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호의 송수신을 수행할 수 있다.
일 실시에에 따라 통신 모듈 120는 프로세서 110에서 결정한 제스쳐 정보나 터치 정보 또는 광학 모둘 130에서 검출한 오브젝트까지의 거리 정보를 외부 기기로 전달할 수 있다.
광학 모듈 130은 광원, 회전 미러 장치, 거리 측정 장치 등을 구비하여, 광을 오브젝트에 조사하고 오브젝트로부터 반사된 광을 수신하여 이로부터 오브젝트까지의 거리를 측정할 수 있다. 광학 모듈 160에 대해서는 도 8 내지 9를 참조하여 상세히 설명하기로 한다.
검출 모듈 140은 물리량을 계측하거나 전자 기기 100의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 상기 검출 모듈 140은, 예를 들면, 이미지 센서 140A, 자이로 센서 140B, 가속도 센서 140C, 초음파 센서 140D, 적외선 센서 140E, 홀 센서 140F, 근접 센서 140G, 조도 센서 140H 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 검출 모듈 140은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시), 홍채 센서(미도시) 또는 지문 센서(미도시), 압력 센서 (미도시) 등을 포함할 수 있다. 상기 검출 모듈 140은 그 안에 속한 적어도 하나 이상의 센서들을 제어하는 제어 회로를 더 포함할 수 있다.
일 실시예에 따라 검출 모듈 140은 내부에 포함된 적어도 하나의 센서를 이용하여, 전자기기 100의 주변 환경 예를 들어, 빛의 밝기 또는 오브젝트의 컬러 또는 제스쳐나 터치가 이루어지는 공간의 사이즈 등을 검출할 수 있다.
전력 관리 모듈 150는 상기 전자 기기 100의 전력을 관리할 수 있다. 상기 전력 관리 모듈 150는, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. 상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 할 수 있는 충전 IC를 포함할 수 있다.
무선 충전 모듈 152은 무선 충전을 할 수 있는 회로, 예를 들면, 코일 루프, 공진 회로 또는 정류기 등의 회로를 포함할 수 있으며, 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있다.
배터리 151는 전기를 저장 또는 생성할 수 있고, 그 저장 또는 생성된 전기를 이용하여 상기 전자 장치 100에 전원을 공급할 수 있다. 상기 배터리 151은, 예를 들면, 충전식 전지(rechargeable battery) 또는 태양 전지(solar battery)를 포함할 수 있다.
프로젝션 모듈 160은 조명 모듈과 투사 모듈을 포함할 수 있다. 상기 투사 모듈은 스크린에 빛을 투사하여 영상을 표시할 수 있다. 투사 모듈이 빛을 투사하는 방식으로는, DLP, LCOS, 3LCD, LCD, 레이저 방식 등이 있다.
일 실시예에 따라 프로젝션 모듈 160이 영상을 투사하고 이렇게 투사된 영상에서의 사용자 제스쳐를 광학 모듈 130이 검출할 수 있다.
입/출력 인터페이스 170는, 예를 들면, HDMI(high-definition multimedia interface) 171, USB(universal serial bus) 172를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스 170는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure Digital) 카드/MMC(multi-media card) 인터페이스 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
상기 오디오 모듈 180은 소리(sound)와 전기신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 모듈 180은, 예를 들면, 스피커 181, 또는 마이크 182 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
메모리 190는 내장 메모리 191 를 포함할 수 있다. 상기 내장 메모리 191는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다.
메모리 190는 프로세서의 제어에 의해 전자기기 100를 구동하고 제어하는 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리 190는 하나 이상의 프로세서(processor) 110, 통신 모듈 120, 검출 모듈 140, 광학 모듈 130, 입/출력 인터페이스 170, 오디오 모듈 180, 전력관리 모듈 150의 구동에 대응되는 입력/출력되는 신호 또는 데이터를 저장할 수 있다.
다양한 실시예에 따른 전자 기기의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 기기의 종류에 따라서 달라질 수 있다. 다양한 실시예에 따른 전자 기기는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시예에 따른 전자 기기의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
이하에서는 전자기기 100에 포함되는 광학 모듈 130을 자세히 설명하기로 한다.
일 실시예에 따라 광학 모듈 130은, 광원, 상기 광원으로부터의 광의 경로를 변경시켜 오브젝트로 전달하는 광 경로 변경 엘리먼트, 상기 오브젝트로부터 반사된 광을 수신하고, 상기 반사 광에 기반하여 상기 광학 디바이스로부터 상기 오브젝트까지의 거리를 검출하는 거리 검출 센서, 및 상기 광 경로 변경 엘리먼트를 회전시키는 회전 엘리먼트를 포함할 수 있다.
일 실시예에 따라 광 경로 변경 엘리먼트로는, 미러, 렌즈, 프리즘 등이 이용될 수 있다.
거리 검출 센서로는 예를 들어 TOF 거리 센서가 이용될 수 있으나 이에 한정되지 않으며 거리를 검출할 수 있는 센서라면 어떤 것이어도 좋다.
일 실시예에 따라 상기 회전 엘리먼트는, 상기 광 경로 엘리먼트를 횡 방향으로 회전시키는 회전 지지대 또는 상기 광 경로 엘리먼트를 상기 횡 방향과는 다른 방향으로 회전시키는 틸트 지지대 중 적어도 하나를 포함할 수 있다.
이러한 광학 모듈 130은 그 자체로 거리 검출에 이용되는 광학 디바이스로서 언급될 수도 있다. 소형의 거리 검출 센서에 더하여, 광 경로를 변경시키는 엘리먼트와 광 경로 변경 엘리먼트를 회전시키는 회전 엘리먼트를 구비함으로써 광학 모듈의 부피를 증가시키지 않으면서 효과적으로 오브젝트까지의 거리를 검출하는 것이 가능해진다. 오브젝트까지의 거리를 검출하는 광학 모듈 내지는 광학 디바이스를 소형화함으로써 실시예에 따른 광학 모듈 또는 광학 디바이스는 다양한 분야에서 편리하고 효과적으로 활용될 수 있다.
예를 들어 이러한 광학 디바이스는 휴대용 프로젝션 디바이스에 탑재되어 함께 이용될 수 있다.
예를 들어 이러한 광학 디바이스는 TV 디스플레이의 일부에 부착되어 TV에 표시되는 화면과 관련한 사용자의 터치 또는 제스쳐를 검출할 수 있다.
예를 들어 이러한 광학 디바이스는, 소규모의 드론에 탑재되어 드론과 함께 이용될 수 있다.
예를 들어 이러한 광학 디바이스는 가상 현실을 구현한 안경 등에 탑재되어 함께 이용될 수 있다.
도 7은 일 실시예에 따라 전자 기기 100에 포함되는 광학 모듈 130의 세부적인 블록도이다.
도 7을 참조하면, 광학 모듈 130은 광 전송부 131, 거리 측정 센서 132, 미러 133, 회전 지지대 134, 기어 135, 모터 136을 포함할 수 있다.
광 전송부 131은 적외선 광을 전송할 수 있다. 광 전송부 131는 LED 모듈을 이용할 수 있다.
거리 측정 센서 132는 광 수신부를 포함하여 미러 133를 통해서 반사된 광을 수신하고, 수신된 광의 특성을 분석하여 전자 기기 100으로부터 오브젝트 10까지의 거리를 측정할 수 있다. 거리 측정 센서 132는 TOF(Time of Flight) 거리 센서를 포함할 수 있다. TOF 기술은 신호가 오브젝트로 방출되고 오브젝트에 의해 반사된 후에 센서로 돌아오는 시간 차에 기초해서 센서와 오브젝트 사이의 거리를 측정하는 방법이다. 신호를 전송하는 캐리어로서는 다양한 타입이 이용될 수 있는데 가장 일반적인 형태는 소리와 광이다.
미러 133는 광 전송부 131로부터 수신된 광을 반사시켜 오브젝트 10으로 전달할 수 잇다. 이때 광은 미러 133의 각도와 반사각에 따라 특정 위치로 전달될 수 있다. 이와 같이 전달된 광은 특정한 물체 즉 오브젝트 10에 반사되어 미러 133에 되돌아오거나 소실될 수 있다. 도 7에서는 미러로 표시되었지만, 실시예들을 구현하기 위해 반드시 미러로 한정될 필요는 없으며, 선택적으로는, 수신된 광의 경로를 변경시켜 오브젝트 10으로 전달할 수 있는 다른 엘리먼트들이 활용될 수도 있다. 예를 들어 다른 엘리먼트로는, 프리즘 또는 렌즈가 사용될 수 있다.
미러 133는 모터 136 및 기어 135, 회전 지지대 134에 의해 약 360도로 회전하여 주변의 물체를 탐지하고 얼마의 거리에 위치해 있는지에 대한 정보를 얻을 수 잇다. 미러 133는 회전 지지대 134가 회전하는 각도에 따라 다양하게 회전할 수 있다.
미러 133로는 CVD 공정 등을 통해 광을 잘 반사시킬 수 있는 물질이 이용될 수 있다. 미러에 이용될 수 있는 물질은 예를 들어 금(Au) 또는 은(Ag)이 될 수 있다.
회전 지지대 134는 미러 133에 연결되어 미러를 일정한 각도 만큼 회전시킬 수 있다. 예를 들어, 광을 스캔하는 범위가 약 60도이고 회전 지지대 134가 한번에 약 1도씩 움직인다고 할 때, 회전 지지대 134는 약 60번 움직임으로써 약 60도 만큼의 범위를 스캔할 수 있다.
일 실시예에 따라 미러 133, 회전 지지대 134, 기어 135, 모터 136을 MEMS(Micro Electro Mechanical Systems) 기술로 초소형으로 만들어서 제품의 부피를 현저히 감소시킬 수 있다.
일 실시예에 따라 모터 136을 Piezo-electric 효과를 이용한 소형이면서 저전력, 저소음인 모터를 이용해서 구현할 수 있다.
일 실시예에 따라 기어 135의 경우 모터 136에 따라 상, 하, 좌, 우 위치가 변경될 수 있다.
도 8a는 일 실시예에 따라 광 전송부와 거리 측정 센서를 함께 배열하는 광학모듈의 일 예를 나타낸다.
도 8a를 참조하면, 광전송부 131과 광을 수신하는 거리 측정 센서 132가 일체로 구성되어 있다. 이와 같이 광전송부 131와 거리 측정 센서 132를 일체로 구성하는 경우에 광 전송부 131로부터 전송되는 광은 미러 133에 반사되어 오브젝트로 전달될 수 있다. 그런데 광 전송부 131로부터 전송되는 광은 미러 133에 반사되어 오브젝트로 전달될 뿐만 아니라 일부의 광은 소실되거나 또는 일부의 광은 미러 133에 반사되어 거리 측정 센서 132로 흡수될 수 있다. 따라서 거리 측정 센서 132에서 수신하는 광은 오브젝트로부터 반사되는 광 뿐만 아니라 광 전송부 131로부터의 광이 미러 133에 반사되는 흡수되는 광을 포함할 수 있다. 이렇게 흡수되는 광은 노이즈로 작용하므로 거리 측정 센서 132가 오브젝트로부터 반사되는 광을 기초로 거리를 측정할 때 정확한 측정을 방해하는 요소로 작용할 수 있다.
도 8b는 일 실시예에 따라 광 전송부를 미러에 배열하는 광학 모듈의 일 예를 나타낸다.
도 8b를 참조하면, 광전송부 131은 미러 133에 배열되어 일체로 구성되어 있다. 이와 같이 광전송부 131를 미러 133에 배치하면 광 전송부 131로부터의 광은 미러 133에 반사되는 과정이 줄어들어 바로 오브젝트로 전달될 수 있으므로 광 전송부 131로부터의 광이 소실되거나 또는 거리 측정 센서 132에 흡수되는 것을 막을 수 있다. 따라서 거리 측정 센서 132는 오브젝트로부터 반사되는 광 만을 수신하므로 거리 측정에 정확도를 기할 수 있게 된다.
광은 산란되고 굴절되는 성질이 있어 아무리 광을 잘 반사시키는 미러 라도 그 효율이 100% 가 될 수 없다. 따라서 미러 133에 광 전송부 131를 배열하면, 광의 산란 또는 왜곡을 줄일 수 있다.
일 실시예에 따라 미러는 회전 지지대의 회전에 따라 회전할 수 있을 뿐만 아니라 미러는 또한 틸트될 수 있다.
도 8c는 일 실시예에 따라 미러가 틸트할 수 있는 광학 모듈의 일 예를 나타낸다.
도 8c를 참조하면, 미러 133는 횡방향 회전을 하는 회전 지지대 134 뿐만 아니라 미러 후면에 종방향 회전을 수행하는 틸트 지지대 137를 더 구비하고 있다. 미러 133는 회전 지지대 134에 의해 회전함으로써 오브젝트를 좌우 방향으로 스캔할 수 있고, 또한 틸트 지지대 137에 의해 회전함으로써 오브젝트를 상하 방향으로 스캔할 수 있다. 따라서 전자기기 100는 미러 133를 좌우 방향으로 스캔함으로써 오브젝트 까지의 거리 정보에 관한 2차원 데이터를 검출할 수 있고, 미러 133를 좌우 방향 및 상하 방향으로 스캔함으로써 오브젝트 까지의 거리 정보에 관한 3차원 데이터를 검출할 수 있다. 본 발명의 일 실시예에 따르면 상기 틸트 지지대 137를 미러 후면에 사선으로 붙여서 미러 133를 사선방향으로 스캔해서 3차원 데이터를 검출 할 수도 있다. 본 발명의 일 실시예에 따르면 사전방향이란 종방향과 횡방향 사이의 임의의 방향을 의미한다.
일 예에 따라 미러의 종방향 회전을 위해 일반 모터를 사용하여 기어 조작으로 상하를 조절하거나 또는 피에조 (piezo) 방식으로 전기를 가하면 형태가 변화하는 물질을 사용하여 틸트를 세밀하게 조절할 수도 있다.
또한 종방향 회전축을 선형 (linear) 모터를 사용할 경우 상하 방향으로 미러의 높이 조절을 할 수 있어서 다양한 3차원 데이터 측정이 가능해진다. 이와 같이 틸트 또는 선형 모터를 사용한 3차원 데이터 스캐닝을 통해서 포스 터치 (force touch) 또는 호버링 (hovering) 동작을 검출하는 것이 가능해진다.
도 8d는 일 실시예에 따라 미러가 틸트할 수 있는 광학 모듈에서의 동작 원리를 설명하기 위한 도면이다.
도 8d를 참조하면, 미러 133는 틸트 지지대 137의 회전에 따라 종방향으로 틸트될 수 있다. 미러 133가 제1틸트 각으로 틸트되었을 때 광 전송부 131로부터 전송된 광은 미러 133에 의해 반사되어 오브젝트의 위치 810을 조사하게 된다. 따라서 오브젝트의 위치 810으로부터 반사되어 거리 측정 센서 132가 수신하는 광은 오브젝트의 위치 810까지의 거리 정보를 나타낼 수 있다. 미러 133가 제2틸트 각으로 틸트되었을 때 광 전송부 131로부터 전송되는 광은 미러 133에 의해 반사되어 오브젝트의 위치 820을 조사하게 된다. 따라서 오브젝트의 위치 820로부터 반사되어 거리 측정 센서 132가 수신하는 광은 오브젝트의 위치 820까지의 거리 정보를 나타낼 수 있다.
이와 같이 전자기기 100의 미러 133의 횡방향 회전과 함께 미러를 종방향으로 즉 상하 방향으로 각도를 변경하면서 스캔을 수행하면, 오브젝트의 거리 정보를 더 넓은 화각으로 검출할 수 있다. 예를 들어 사용자 손가락의 터치를 검출할 때 손가락의 상하 방향 거리 정보도 또한 검출할 수 있다. 이를 통해서 터치 동작 뿐만 아니라 호버링 (hovering) 동작 이나 포스 터치 (force touch) 동작도 검출할 있다.
도 9는 일 실시예에 따라 LED 모듈을 미러의 4방향에 부착한 예를 나타낸다.
도 9를 참조하면, 미러 133에는 4 방향에 각각 광전송부 131이 배열되어 있다.
일 실시예에 따라 도 9에 도시된 구조는 미러 133에 광 전송부 131을 직접 부착하는 방식 또는 반도체 공정 기술을 사용할 수 있다.
반도체 공정 기술을 사용하는 방법은, 반도체 등을 박막 형태로 제작하고 그 위에 LED를 직접 만드는 형태가 될 수 있다. 전원의 공급은 반도체 박막을 통해 전달되며 지지대를 통해 전원을 공급받을 수 있다.
일 실시예에 따라 미러 133의 4방향에 LED 모듈을 부착하고 전도성 필름, 물질 또는 CVD(Chemical Vapor Deposition) 공정 등을 통해 LED로 전원을 공급할 수 있는 전기 회로를 구성할 수 있다. 전원의 공급은 미러를 회전시키는 회전 지지대 134를 통해 받을 수 있다.
도 10은 일 실시예에 따라 전자 기기 100에서의 동작 방법을 나타내는 흐름도이다.
도 10을 참조하면, 동작 1010에서, 전자 기기 100의 광학 모듈 130은 오브젝트에 광을 조사하고 오브젝트로부터 반사된 광을 이용하여 전자 기기로부터 오브젝트까지의 거리를 검출할 수 있다.
도 11a 내지 도 11e를 참조하여 전자기기가 오브젝트까지의 거리를 측정하는 원리를 설명하기로 한다.
도 11a는 전자기기 100의 미러 133가 전자기기 100의 측면을 기준으로 약 30도 떨어진 위치에서부터 스캔을 시작하는 것을 나타낸다.
도 11a를 참조하면, 미러 133에 배치되거나 또는 미러 133와 별도로 구성된 광 전송부에서 광을 조사하고 미러 133는 미리 정한 각도 만큼씩 회전하면서 광 전송부에서 조사된 광을 반사하여 오브젝트로 전달할 수 있다. 도 11a를 참조하면 약 30도 위치에서는 광을 반사시키는 오브젝트가 없으므로 전자기기 100는 수신되는 광으로부터, 오브젝트의 검출에 이용되는 정보나 또는 오브젝트의 거리 정보를 검출하는데 이용되는 유효한 정보를 얻을 수 없다. 도 11b는 전자기기 100의 미러 133가 약 90도 진행한 경우를 나타낸다.
도 11b를 참조하면, 미러는 약 30도부터 시작하여 지정된 각도 만큼 씩 회전하면서 광을 조사하고, 반사된 광을 검출하면서, 약 90도 만큼 회전이 진행된 것을 나타낸다. 약 90도가 될 때까지 전자 기기 100의 스캔 범위에는 아무런 오브젝트가 존재하지 않으므로 전자기기 100는 유효한 정보를 얻을 수 없다.
도 11c는 전자기기 100의 미러 133가 약 100도 진행한 경우를 나타낸다.
도 11c를 참조하면, 미러는 약 100도 만큼 회전이 진행되어 있고 전자기기 100는 오브젝트 10의 위치 11 및 12에서 반사된 광을 수신하고, 위치 11 및 12로부터 반사된 광을 이용하여 오브젝트 10의 위치 11 및 12까지의 거리 d11 및 d12를 측정할 수 있다.
도 11d는 전자기기 100의 미러 133가 약 120도 진행한 경우를 나타낸다.
도 11d를 참조하면, 미러는 약 120도 만큼 회전이 진행되어 있고 전자기기 100는 오브젝트 10의 위치 13 및 14에서 반사된 광을 수신하고, 위치 13 및 14로부터 반사된 광을 이용하여 오브젝트 10의 위치 13 및 14가지의 거리 d13 및 d14를 측정할 수 있다.
도 11e는 전자기기 100의 미러 133가 약 150도 진행한 경우를 나타낸다.
도 11e를 참조하면, 미러는 약 150도 만큼 회전이 진행되어 있고 전자기기 100는 오브젝트 10의 위치 15, 16, 17에서 반사된 광을 수신하고, 위치 15, 16, 17로부터 반사된 광을 이용하여 오브젝트 10의 위치 15, 16, 17까지의 거리 d15, d16 및 d17를 측정할 수 있다.
이와 같이 전자기기 100는 미리 정한 각도만큼 미러를 회전시키고 회전되는 미러를 통해 광을 전달하고, 오브젝트로부터 미러를 통해 반사된 광의 세기를 검출함으로써 전자기기 100로부터 오브젝트 까지의 거리를 검출할 수 있다.
미러 133를 한번에 회전시키는 각도는 다양하게 결정될 수 있다. 예를 들어, 오브젝트의 세부적인 동작을 검출하기 위해서 미러 133가 한번에 회전하는 각도를 더 작게 할 수 있다.
또한 미러 133가 스캔하는 범위는 0도부터 약 360도까지 다양하게 결정될 수 있다. 예를 들어, 사용자가 하나의 손을 이용하여 제스쳐를 하는 경우에는 미러 133가 스캔하는 범위를 비교적 좁게 설정할 수 있고 사용자가 두 손을 이용하여 제스쳐를 하는 경우에는 미러 133가 스캔하는 범위를 비교적 넓게 설정할 수 있을 것이다.
동작 1020에서, 전자 기기 100의 프로세서 110는 검출된 오브젝트까지의 거리 정보에 기반하여 오브젝트의 터치 정보 및/또는 제스쳐 정보를 결정할 수 있다.
일 실시예에 따라, 전자기기 100는, 검출된 오브젝트 까지의 거리 정보에 기반하여 하나 이상의 인터랙션 포인트들을 결정할 수 있다.
일 실시예에 따라, 전자기기 100는 오브젝트까지의 거리 정보에 기반하여 인터랙션 그룹을 결정하거나, 결정된 인터랙션 그룹의 인터랙션 타입을 결정하거나, 또는 거리 정보에 기반하여 결정된 인터랙션 타입을 결정할 수 있다. 또한 전자기기 100는 결정된 인터랙션 그룹 또는 결정된 인터랙션 타입 중 적어도 하나에 기반하여 하나 이상의 인터랙션 포인트들을 결정할 수 있다.
일 실시예에 따라, 전자기기 100는 하나 이상의 인터랙션 포인트들이 움직이는 방향 및 속도 중 적어도 하나에 기반하여 상기 하나 이상의 인터랙션 포인트와 연관된 메인 인터랙션 포인트를 결정할 수 있다.
동작 1030에서, 전자 기기 100는 결정된 터치 정보 및/또는 제스쳐 정보를 이용하여 전자 기기 100를 제어하거나 또는 결정된 터치 정보 및/또는 제스쳐 정보를 외부 기기로 전송할 수 있다. 외부기기는 컴퓨터, 스마트폰, TV 등을 포함할 수 있다.
도 10에서는 전자기기 100에서 터치 정보 및/또는 제스쳐 정보를 결정하는 것으로 도시되었지만, 전자기기 100는 오브젝트까지의 거리정보를 외부 기기로 전달하고 외부 기기에서 터치 정보 및/또는 제스쳐 정보를 결정할 수도 있다.
도 12는 일 실시예에 따라 전자 기기 100가 오브젝트의 거리 정보에 기반하여 오브젝트의 터치 정보 및/또는 제스쳐 정보를 결정하는 방법의 과정을 나타내는 흐름도이다.
도 12를 참조하면, 동작 1210에서, 전자기기 100는 인터랙션 포인트를 추출할 수 있다.
인터랙션 포인트는 전자기기 100가 제스쳐를 분석할 때 이용되는 유효한 정보이다. 예를 들어 오브젝트가 사용자의 손일 경우 전자기기 100는 도 11E에 도시된 바와 같이 어떤 동작을 하고 있는 손의 아웃라인에 대한 정보(거리 정보에 대응)를 얻을 수 있다. 그런데 전자기기 100가 사용자의 손의 동작이 어떤 제스쳐에 매핑되는지 또는 어떤 터치 동작에 매핑되는지 판단하기 위해서는, 광학 모듈로부터 얻은 정보중에서, 제스쳐나 터치 동작을 매핑하는데 이용되는 유효한 정보만을 추출할 필요가 있다. 전자기기 100는 이러한 유효한 정보로서 인터랙션 포인트를 추출할 수 있다.
동작 1220에서, 전자 기기 100는 제스쳐를 분석할 수 있다.
동작 1210에서 전자기기 100는 분석된 인터랙션 포인트를 이용하여 미리 저장된 제스쳐 패턴과 비교하고 어떤 종류의 제스쳐인지 판단할 수 있다. 제스쳐의 예로는, 터치(touch), 싱글 탭(single tap), 더블 탭(double tap), 드래그(drag), 핀치(pinch), 줌(zoom), 가상키보드 입력 등이 될 수 있다. 미리 저장된 제스쳐 패턴과 일치하지 않는 제스쳐는 무시될 수 있거나 또는 추가될 수 있다. 일 예에 따라 사용자는 사용자가 정의하는 제스쳐 타입을 직접 전자 기기 100에 입력할 수도 있다.
도 13은 일 실시예에 따라 인터랙션 포인트를 추출하는 과정을 나타내는 흐름도이다.
도 13을 참조하면, 동작 1310에서, 전자기기 100는 인터랙션 그룹을 결정할 수 있다.
전자기기 100가 인터랙션 그룹을 결정하는 방법을 도 14 및 도 15를 참조하여 설명한다.
도 14의 1410은 전자기기 100과 전자기기 100 전면에서 동작을 하는 오브젝트인 사용자의 손 10을 도시한다. 전자기기 100는 오브젝트 10의 동작이 이루어지는 범위 내에서 스캔을 수행할 수 있다.
도 14의 1420은 1410의 상태에서 전자기기 100가 오브젝트 10을 스캔함으로써 얻어진 거리 정보에 대응하는 데이터를 나타낸다.
도 15a는 도 14의 1420에 도시된 데이터 즉, 전자기기 100로 측정한 2차원 데이터를 XY 좌표에 따라 재구성한 도면이다.
도 15a를 참조하면, 가로축은 미러의 회전각을 나타내고, 세로축은 각 회전각에서 광을 조사하여 오브젝트로부터 반사된 광에 기반하여 검출된 오브젝트의 거리값을 나타낸다. 오브젝트가 전자기기로부터 멀리 있는 경우 오브젝트로부터의 거리값은 클 것이고 오브젝트가 전자기기로부터 가까이 있는 경우 오브젝트로부터의 거리값은 작을 것이다.
설명의 편의를 위해 오브젝트가 검출되지 않은 영역에서의 거리값은 0으로 하고 오브젝트가 검출된 영역에서의 거리값은 그 거리에 따라 반비례하여 대응하는 값을 가지는 것으로 가정한다. 오브젝트가 검출되지 않는 영역은, 오브젝트를 검출할 수 없을 정도로 멀리 떨어져 있는 영역 또는 오브젝트가 너무 가까이 있어서 검출하기 어려운 영역을 포함할 수 있다.
도 15b는 도 14의 1420에 도시된 데이터 즉, 전자기기 100로 측정된 3차원 데이터를 XYZ 좌표에 따라 재구성한 도면이다.
도 15b를 참조하면, x축은 미러의 회전각을 나타내고, y축은 각 회전각에서 광을 조사하여 오브젝트로부터 반사된 광에 기반하여 검출된 오브젝트의 거리값을 나타내고, z축은 미러가 종방향으로 움직이는 틸트 값을 나타낸다.
틸트 지지대는 고정되어 있고 회전 지지대만 회전하는 경우에 전자기기 100가 얻는 2차원 데이터는 도 15a에 도시된 바와 같이 고정된 틸트 값에서의 각 회전각 마다의 오브젝트로부터 거리값의 크기를 나타내지만, 틸트 지지대와 회전 지지대가 모두 회전하는 경우, 즉 미러가 틸트하면서 오브젝트를 스캔하는 경우에 전자기기 100가 얻는 3차원 데이터는 도 15B에 도시된 바와 같이 각 틸트 값에서의 각 회전각 마다의 오브젝트로부터 거리값의 크기를 나타낼 수 있다. 틸트 지지대는 지정된 범위에서 연속적으로 회전되겠지만 전자기기는 일정한 틸트 값마다 거리값을 추출할 수 있다. 따라서, 미러가 틸트 없이 하나의 틸트 값에서만 스캔하는 경우와 달리 미러가 틸트하면서 오브젝트를 스캔하는 경우에는 전자기기 로부터 오브젝트까지의 거리에 대한 정보를 3차원 적으로 얻을 수 있으므로, 전자기기 100는 오브젝트까지의 거리에 관하여 보다 입체적인 결과를 얻을 수 있다.
다음, 도 15a 에 도시된 데이터를 토대로 거친 (coarse) 분석을 할 수 있다. 이는 도 15b에 도시된 데이터를 토대로 거친 (coarse) 분석을 할 수 있음은 물론이다. 단순하게는 도 15a에 도시된 데이터에서, 오브젝트로부터의 거리값이 0인 데이터와 0이 아닌 데이터로 분류한다. 이와 같이 분류를 하면 도 15c에 도시된 바와 같이 오브젝트가 검출되는 부분과 오브젝트가 검출되지 않는 부분으로 그루핑될 수 있다.
일 실시예에 따라 거리값이 0이 아닌 부분 즉 오브젝트가 검출되는 부분을 인터랙션 그룹으로 결정할 수 있다.
동작 1320에서, 전자기기 100는 인터랙션 그룹의 인터랙션 타입을 결정할 수 있다.
일 실시예에 따라 전자기기 100는 2차원 데이터의 연속된 0이 아닌 값이 지속되는 길이에 따라 인터랙션의 타입을 결정할 수 있다. 인터랙션 그룹의 타입은 예를 들어, 싱글 터치인지, 펜인지, 사용자의 손인지, 가상 키보드를 치는 동작인지 등을 포함할 수 있다. 또한 사용자의 손인 경우에, 그것이 남성의 손인지, 여성의 손인지, 아이의 손인지를 더 나타낼 수 있다.
오브젝트가 사용자의 손인지, 펜인지 또는 싱글 터치인지 또는 가상키보드를 치는 동작인지에 따라 2차원 데이터의 연속된 0이 아닌 값이 지속되는 길이가 다르다. 또한 오브젝트가 사용자의 손인 경우에도 그것이 남성의 손인지, 여성의 손인지, 아이의 손인지에 따라 연속된 0이 아닌 값이 지속되는 길이는 다를 수 있다. 예를 들어 전자기기 100는 2차원 데이터의 연속된 0이 아닌 값이 지속되는 길이가 약 5 센티미터 이상 약 15센티 미터 이하인 경우, 이 데이터에 대응하는 오브젝트는 사용자의 손인 것으로 인터랙션 타입을 결정할 수 있다. 예를 들어 전자기기 100는 2차원 데이터의 연속된 0이 아닌 값이 지속되는 길이 약 5 센티미터 이하인 경우, 이 데이터에 대응하는 오브젝트는 펜 또는 사용자의 손가락인 것으로 인터랙션 타입을 결정할 수 있다.
도 15c를 참조하면, 전자기기 100는 인터랙션 그룹 1에 대응하는 2차원 데이터의 연속된 0 이 아닌 값이 지속되는 길이가 일정한 범위에 드는 경우 이 데이터에 대응하는 오브젝트를 사용자의 손인 것으로 결정할 수 있다. 인터랙션 그룹 2에 대해서도 마찬가지이다.
따라서 이와 같은 coarse 분석을 통해 전자기기 100는 오브젝트로서 두 개의 손이 검출된 것을 판단하고, 인터랙션 그룹 1의 인터랙션 타입은 사용자의 왼 손으로, 인터랙션 그룹 2의 인터랙션 타입은 사용자의 오른 손으로 판단할 수 있다.
일 예에 따라 전자기기 100는 2차원 데이터의 연속된 0이 아닌 값이 지속되는 길이 약 5 센티미터 이하인 경우, 또는 약 0.5 센티미터 이상 약 2 센티미터 이하 인 경우, 이 데이터에 대응하는 오브젝트는 펜 또는 사용자의 손가락(싱글 터치에 대응하는)인 것으로 인터랙션 타입을 결정할 수 있다. 그런데, 오브젝트가 펜이거나 사용자의 손가락인 경우에는 그 사이즈가 유사하므로 단지 2차원 데이터의 연속된 0이 아닌 값이 지속되는 길이 정보로만은 그 오브젝트가 펜인지 손가락인지 판단이 어려울 수 있다. 사이즈가 유사한 오브젝트의 경우에 좀더 구체적으로 오브젝트의 타입을 분류하기 위해 전자기기 100는 3차원 데이터를 이용할 수 있다.
도 16을 참조하면, 사용자가 펜을 손에 쥐고 동작하는 경우의 오브젝트 1610와 사용자의 손가락으로 동작을 하는 경우의 오브젝트 1620가 도시되어 있다. 전자기기 100가 미러를 틸트 없이 횡방향으로만 회전을 하면서 오브젝트 1610을 스캔하여 얻는 2차원 거리 데이터는 1611을 반영하고 따라서 1611에서 오브젝트가 검출되는 부분은 1612이다. 전자기기 100가 마찬가지로 미러를 틸트없이 횡방향으로만 회전을 하면서 오브젝트 1620을 스캔하여 얻는 2차원 거리 데이터는 1621을 반영하고 따라서 1621에서 오브젝트가 검출되는 부분은 1622이다. 전자기기 100는 오브젝트 1610과 오브젝트 1620을 2차원 데이터를 토대로 분석을 할 때 가지는 정보는 1612, 1622 로 한정되므로 전자기기 100는 오브젝트가 펜인지 또는 사용자의 손가락인지 판별하기 어려울 수 있다.
그러나 전자기기 100가 미러를 틸트하면서 종방향으로 회전을 하면서 오브젝트 1610을 스캔하여 얻는 3차원 거리 데이터는 1613을 반영할 수 있다. 또한 전자기기 100가 마찬가지로 미러를 틸트하면서 종방향으로 회전을 하면서 오브젝트 1620을 스캔하여 얻는 3차원 거리 데이터는 1623을 반영할 수 있다.
이와 같이 전자기기 100가 3차원 데이터를 얻을 수 있는 경우, 전자기기 100는 펜을 잡고 있는 오브젝트 1610의 경우에는 손가락에 의한 싱글 터치와 다르게 펜을 잡고 있는 손가락의 데이터가 포함되어 있고 손가락 위로 곧게 뻗은 펜의 모양을 분석할 수 있다. 곧게 뻗은 펜의 모양 분석은 미리 저장된 필터를 이용하여 에지(edge)를 추출하고 세선화 작업을 통해 펜의 형태를 추정할 수 있다. 이와 같은 추정을 통해 전자기기 100는 펜의 좌표 정보를 추출할 수 있다.
다시 도 13으로 돌아가서, 동작 1320에서, 전자기기 100는 인터랙션 포인트를 획득할 수 있다.
전자기기 100는 인터랙션 그룹을 결정하고 인터랙션 그룹의 타입을 결정하고 다음, 각 인터랙션 그룹의 인터랙션 포인트를 결정할 수 있다.
도 15D를 참조하면, 전자기기 100는 각 인터랙션 그룹에 대응하는 데이터를 좀더 세부적인 구간으로 나누어 분석할 수 있다. 예를 들어, 인터랙션 그룹 1에 대응하는 데이터의 크기를 분석하여 기울기가 증가(+)하다가 기울기가 감소(-)하는 부분을 하나의 서브 그룹으로 결정할 수 있다. 이와 같은 분석에 따르면 전자기기 100는 인터랙션 그룹 1 에 대해서 서브그룹 1,2,3,4,5를 결정할 수 있고 인터랙션 그룹 2에 대해서 서브그룹 6,7,8,9,10을 결정할 수 있다. 서브그룹은 인터랙션 그룹에서 하나 이상의 인터랙션 포인트를 추출하기 위한 세부 단위라고 할 수 있다.
인터랙션 그룹에 대해서 각 서브 그룹을 결정하는 다양한 방법이 있을 수 있다.
또한 전자기기 100는 인터랙션 그룹에서 결정된 각 서브그룹마다 하나 이상의 인터랙션 포인트를 결정할 수 있다.
전자기기 100는 예를 들어, 인터랙션 그룹의 각 서브 그룹에서 최대 크기를 가진 점, 기울기가 0에 가까운 점, 또는 그 외 서브 그룹의 메인 포인트로 볼 수 있는 점을 다양한 방법에 따라 결정함으로써 인터랙션 포인트로 결정할 수 있다. 도 15E에는 각 서브 그룹마다 하나의 인터랙션 포인트(IP1 내지 IP10)가 결정된 것이 표시되어 있다.
일 실시예에 따라 전자기기 100는 추출된 하나 이상의 인터랙션 포인트를 기초로 메인 인터랙션 포인트를 추출할 수 있다.
실시예들에 따른 전자기기 100는 기존 스마트폰에서 제스쳐를 인식하는 좁은 범위보다 상대적으로 넓은 범위의 터치나 제스쳐를 인식할 수 있다. 따라서 사용자의 터치 동작이나 제스쳐 동작은 다양한 형태를 가질 수 있다. 예를 들어, 핀치 줌 인/아웃(pinch zoom in/out) 동작이 클 수 있으며, 또한 여러 개의 손가락을 터치한 상태로 제스쳐를 할 수도 있다. 따라서 동작이 크고 다양한 여러가지 제스쳐나 터치 동작을 좀더 정확하고 효과적으로 판단하기 위해 메인 인터랙션 포인트를 추가로 추출할 수 있다.
도 17은 일 실시예에 따라 메인 인터랙션 포인트를 추출하는 방법을 설명하기 위한 참고도이다.
도 17을 참조하면, 전자기기 100는 사용자의 왼손인 오브젝트에 대해서 5개의 인터랙션 포인트 및 사용자의 오른손인 오브젝트에 대해서 5개의 인터랙션 포인트를 추출할 수 있다.
전자기기 100는 또한 미러가 회전될 때마다 측정되는 이전과 현재 데이터를 비교함으로써 인터랙션 포인트들이 움직이는 방향 또는 속도를 추정할 수 있다. 예를 들어 사용자는 양 손의 모든 손가락을 평면에 터치한 상태에서 핀치 줌 인이나 핀치 줌 아웃을 수행하기 위해 각 손의 다섯 손가락 모두를 포함하는 손을 움직일 수 있다. 이러한 제스쳐의 경우에는 각 손가락의 터치 동작의 움직임을 판단하기 보다는 전체적인 손의 제스쳐 동작의 움직임을 판단하는 것이 오브젝트의 움직임을 더 정확하게 판단할 수 있다. 따라서 이러한 경우에는 각 인터랙션 포인트들이 아니라 각 인터랙션 포인트들을 대표할 수 있는 메인 인터랙션 포인트를 추출하는 것이 바람직하다.
도 17을 참조하면, 전자기기 100는 인터랙션 그룹에 대응하는 데이터 또는 인터랙션 포인트들을 기초로 손의 모양을 삼각측정하여 전자기기 100에 가까운 꼭지점의 포인트 1710, 1720와 측정된 손 또는 손가락의 방향 또는 속도를 조합하여 하나 이상의 메인 인터랙션 포인트를 결정할 수 있다.
도 18은 일 실시예에 따라 인터랙션 타입이 가상 키보드인 경우의 동작을 설명하기 위한 참고도이다.
인터랙션 타입이 가상 키보드 1800 동작인지를 판단하는 것은 다양한 방법에 의해 결정될 수 있다.
일 실시예에 따라 전자기기 100는 연결된 외부 기기로부터 가상 키보드가 실행됨을 나타내는 신호를 수신함으로써 판단할 수 있다. 예를 들어, 전자기기 100와 기능적으로 연결된 응용 프로그램에서 키보드 입력하는 부분 예를 들어 EditText 위젯을 사용자가 클릭했을 때 해당 응용 프로그램에서 보낸 키보드 입력 동작 신호를 수신하고 가상 키보드가 작동함을 판단할 수 있다.
또는 일 실시예에 따라 사용자의 손가락 패턴 즉, 손가락 모양으로 10개의 손가락이 검출되는 것에 기반해서 가상 키보드 동작을 판단할 수도 있다.
또는 일 실시예에 따라 사용자가 가상 키보드 동작 모드가 시작됨을 수동으로 설정할 수도 있다.
가상 키보드 동작 모드에서는 밀집된 좁은 범위에서 대략 10개 이상의 인터랙션 포인트를 빠르게 추출 및 처리해야 하므로 정밀한 거리 정보가 필요하다.
가상 키보드 동작 모드에서는 입력 동작을 정밀하게 스캔하기 위해 모터가 회전하는 범위를 작게 하여 동일한 시간에 특정 위치를 스캔하는 주기를 빠르게 되도록 동작할 수 있다. 예를 들어, 스캔 범위를 약 180도에서 약 60도로 변경할 수 있을 것이다. 스캔 범위를 축소할 경우 약 180도를 스캔하는 동안의 자원을 약 60도 스캔하는데 사용될 수 있기 때문에 거리 정보를 동일한 시간 동안 여러 번 측정함으로써 정밀한 인터랙션 포인트 추출이 가능해질 수 있다. 또는 광원의 밝기조절을 통해 정밀도를 높일 수도 있다.
도 19는 일 실시예에 따라 전자기기 100의 동작 방법을 나타내는 흐름도이다.
도 19를 참조하면, 동작 1910에서 전자기기 100는 전자기기 제어 인자를 조정할 수 있다.
전자기기 제어 인자는 주로 전자기기 100에 포함된 광학 모듈의 제어 인자를 포함할 수 있다.
일 실시예에 따라 전자기기는 환경 정보에 기반하여 광학 모듈을 제어하기 위한 제어 인자를 조정할 수 있다.
일 실시예에 따라 전자기기는 사용자 입력, 카메라와 같은 이미지 획득 센서, 주변 환경 검출 센서, 상기 광학 모듈에서 검출된 정보 중 적어도 하나로부터 상기 환경 정보를 획득할 수 있다.
예를 들어 환경 정보는, 상기 오브젝트의 동작 범위와 연관된 영역의 크기를 포함할 수 있다. 예를 들어, 오브젝트의 동작 범위와 연관된 영역의 크기가 큰지 작은지에 따라 광원의 세기를 조정하거나 미러의 회전 범위를 다르게 조정할 수 있다.
예를 들어 환경 정보는 전자 기기와 함께 이용되는 어플리케이션의 종류 또는 상기 오브젝트의 동작과 연관된 어플리케이션의 종류를 포함할 수 있다. 어플리케이션은 사용자 동작을 도와주기 위한 펑션, 태스크, 또는 액티비티를 수행하기 위해 마련된 컴퓨터 프로그램을 말한다. 예를 들어 전자기기는 어플리케이션의 종류에 따라 광원의 세기를 조정하거나 미러의 회전 범위를 다르게 조정할 수 있다. 예를 들어 정교한 제스쳐의 인식이 필요한 가상 키보드 관련된 오브젝트의 동작을 검출하기 위해서 전자기기는 광원의 세기를 세게 하거나 미러의 회전 속도를 빨리 해서 여러 번 스캔할 수도 있도록 조정할 수 있다.
예를 들어 환경 정보는, 상기 전자 기기의 주변 환경과 연관된 정보를 포함할 수 있다. 전자 기기의 주변 환경과 연관된 정보는, 주위의 빛의 밝기를 포함할 수 있다.
전자기기 제어 인자의 조정은 예를 들어, 광원의 세기 조정을 포함할 수 있다. 광원의 세기는 검출하고자 하는 오브젝트의 거리와 주변환경의 빛의 세기, 또는 오브젝트의 특성에 따라 조정될 수 있으며, 자동 또는 수동으로 조정될 수 있다. 예를 들어, 전자기기 100는 오브젝트가 멀리 떨어져 있으므로 광원의 세기를 강하게 조정할 수 있다. 예를 들어, 전자기기 100는 주위의 빛의 세기가 강하면 광원의 세기를 강하게 조정할 수 있다. 예를 들어, 전자기기 100는 오브젝트가 어두운 색상을 띠면 광원의 세기를 강하게 조정할 수 있다. 예를 들어, 전자기기 100는 오브젝트인 사용자의 피부의 색상이 어두운 색상이면 광원의 세기를 강하게 조정할 수 있다. 이를 통해 오브젝트로부터 반사된 광의 검출을 용이하게 할 수 있다.
전자기기 제어 인자의 조정은 예를 들어, 광학 모듈에 포함된 미러의 회전 속도 조정을 포함할 수 있다. 미러의 회전 속도는 거리 검출 센서의 응답 속도, 미러의 회전, 미러를 회전시키는 모터의 종류와 속도에 따라 달라질 수 있다. 예를 들어, 미세한 제스쳐의 검출을 위해 전자기기 100는 미러의 회전속도를 빠르게 설정하고 여러 번 스캔함으로써 동일한 시간내에 보다 많은 데이터를 획득할 수 있다.
전자기기 제어 인자의 조정은 예를 들어, 광학 모듈에 포함된 미러의 회전 범위 조정을 포함할 수 있다. 기본적으로 미러는 회전 지지대에 의해 약 360도 회전할 수 있다. 그러나 오브젝트를 스캔하기 위해 항상 360도 회전할 필요성이 있는 것은 아니므로, 스캔할 오브젝트에 따라서 또는 스캔할 오브젝트의 제스쳐 에 따라서 미러의 회전 범위는 다양하게 조정될 수 있다. 예를 들어, 사용자가 하나의 손으로만 제스쳐를 하는 경우에는 미러가 스캔할 범위는 좁으므로 전자기기 100는 회전 범위를 좁게 설정할 수 있고, 사용자가 두개의 손으로 제스쳐를 하는 경우에는 미러가 스캔할 범위가 넓어지므로 전자기기 100는 회전 범위를 넓게 설정할 수 있다.
전자기기 제어 인자의 조정은 예를 들어, 광학 모듈에 포함된 미러의 틸트 범위 조정을 포함할 수 있다. 미러를 틸트시키는 동작은 도 8C 및 도 8D를 참조하여 설명한 바와 같다. 전자기기 100는 미러의 틸트 없이 미러의 회전 만으로 오브젝트의 거리 정보에 대한 2차원 데이터를 얻을 수 있고, 미러를 틸트시키면서 회전시킴으로서 오브젝트의 거리 정보에 대한 3차원 데이터를 얻을 수 있다.
일 실시예에 따라 전자기기 100는 전자기기 제어 인자를 자동으로 또는 수동으로 조정할 수 있다. 자동으로 조정하는 것은, 예를 들어 전자기기 100가 특정한 어플리케이션에 따른 제스쳐를 검출하려고 할 때 전자기기 제어 인자의 조정이 필요한 경우에 전자기기 100는 전자기기 제어 인자를 자동으로 조정할 수 있다. 예를 들어, 전자기기 100에서 검출하려고 하는 제스쳐가 가상 키보드 에서의 사용자의 손가락 검출인 경우에는 사용자가 두 손을 모두 검출해야 하므로 전자기기 100는 사용자의 양 손을 모두 스캔할 수 있는 범위로 미러의 회전 범위를 설정할 수 있을 것이다.
동작 1920에서 전자기기 100는 전자기기 제어 인자가 조정된 상태에서 광을 조사하고 오브젝트로부터 반사된 광을 검출하여 전자기기 100로부터 오브젝트까지의 거리를 측정할 수 있다.
동작 1930에서 전자기기는 오브젝트로부터 반사된 광을 검출한 결과를 기초로 전자기기 제어 인자를 더 조정할 수 있다.
예를 들어 동작 1910에서 전자기기 제어 인자를 조정하였더라도 추후 어떠한 환경 변화로 인해 전자기기 제어 인자를 더 조정할 필요가 있을 수 있다. 또는 오브젝트에 광을 조사하고 오브젝트로부터 반사된 광을 검출하고 나서 검출된 거리값 정보를 기초로 전자기기 제어 인자를 더 정교하게 조정할 필요가 있을 수 있다.
예를 들어, 처음에는 사용자가 두 손을 이용하여 제스쳐를 한다고 판단되어 미러의 회전 범위를 약 180도로 설정하였는데, 전자기기 100가 일정한 시간 동안 사용자의 제스쳐를 모니터링한 결과 한 손을 이용하여 제스쳐를 한다고 판단된 경우 전자기기 100는 더 이상 약 180도 회전 범위를 유지할 필요가 없어질 수 있다. 이러한 경우에 전자기기 100는 미러의 회전 범위를 약 180도에서 약 60도로 조정할 수 있을 것이다.
동작 1910과 동작 1930에서의 전자기기 제어 인자 조정은 모두 수행되거나 선택적으로 하나만 수행될 수도 있다.
동작 1940에서 전자기기는 오브젝트로부터 반사된 광을 기초로 인터랙션 포인트를 분석할 수 있다.
동작 1950에서 전자기기는 인터랙션 포인트를 기초로 제스쳐를 분석할 수 있다. 물론 전자기기 100가 직접 제스쳐 분석을 수행하지 않고 인터랙션 포인트에 대한 정보를 외부 기기로 전달하여 외부기기가 제스쳐 분석을 수행하게 할 수도 있다.
동작 1960에서 전자기기는 제스쳐 분석 결과를 외부 기기로 전송할 수 있다.
일 실시예에 따라 전자기기 100는 소모 전류를 줄이기 위한 모드에 맞추어서 전자기기 제어 인자를 조정할 수 있다. 예를 들어, 전자기기 100의 전원의 배터리가 많이 소비된 경우 조금 정확도를 떨어지더라도 광의 세기를 줄이거나 또는 회전 속도를 줄일 수 있다. 소모 전류 절약을 위한 절전모드는 자동 또는 수동으로 이루어질 수 있다.
일 실시예에 따라 전자기기 100는 충돌에 의해 전자기기 100가 낙하한다고 판단한 경우 전자기기의 부품을 보호하기 위해 갑자기 미러의 회전을 정지시킬 수 있다.
전자기기 100가 미러를 이용하여 스캔하는 범위는 다양하게 결정될 수 있다. 도 20은 전자기기 100가 미러를 이용하여 스캔하는 범위를 결정하는 다양한 방법을 설명하기 위한 참고도이다.
일 실시예에 따라 전자기기 100의 미러가 스캔하는 범위는 사용자의 손가락 터치에 의해 결정될 수 있다.
도 20의 2010을 참조하면, 먼저 전자기기 100는 스캔 범위를 최대로 설정하고 동작을 시작하면, 사용자가 원하는 스캔 범위를 사용자의 손가락으로 터치할 수 있다. 전자기기 100는 사용자의 손가락으로 터치된 위치 2011, 2012, 2013, 2014를 검출하고 이 위치들에 의해 정의되는 영역 2015이 스캔 범위에 포함되도록 미러의 스캔 범위를 결정할 수 있다.
일 실시예에 따라 전자기기 100의 미러가 스캔하는 범위는 오브젝트의 사이즈에 따라서 결정될 수 있다.
도 20의 2020을 참조하면, 사용자가 종이 등의 오브젝트를 전자기기 100 전면에 배치하면 전자기기 100는 이러한 오브젝트의 사이즈를 검출하고, 이러한 오브젝트의 영역 2021이 스캔 범위에 포함되도록 미러의 스캔 범위를 결정할 수 있다.
일 실시예에 따라 전자기기 100의 미러가 스캔하는 범위는 전자기기 100가 투사하는 화면 또는 다른 외부 기기가 투사하는 화면의 사이즈에 따라서 결정될 수 있다.
도 20의 2030을 참조하면, 전자기기 100의 전면에는 프로젝션 장치로부터 투사된 화면이 배치되어 있다. 전자기기 100는 이러한 투사 화면 2031의 사이즈를 검출하고, 이러한 투사 화면 2031이 스캔 범위에 포함되도록 미러의 스캔 범위를 결정할 수 있다. 투사 화면 2031은 전자기기 100 이외의 다른 외부 프로젝션 장치로부터 투사된 화면일 수 있다. 또는 전자기기 100은 프로젝션 모듈을 더 구비하여 전자기기 100의 프로젝션 모듈이 투사한 화면일 수 있다.
전자기기 100가 미러를 이용하여 스캔하는 범위는 적응적으로 변경될 수 있다.
도 21은 전자기기 100가 미러를 이용하여 스캔하는 범위를 적응적으로 변경하는 방법을 설명하기 위한 참고도이다.
도 21의 2110을 참조하면, 전자기기 100는 오브젝트 영역 2100을 스캔하기 위한 스캔 범위를 제1각도로 설정할 수 있다.
전자기기 100가 2110의 제1각도의 스캔 범위에서 동작하다가, 오브젝트 영역 2100이 작아져서 오브젝트 영역 2121이 되는 경우 전자기기 100는 적응적으로 스캔 범위를 변경할 수 있다. 도 21의 2120을 참조하면, 전자기기 100는 스캔 범위를 제2각도로 설정할 수 있다. 오브젝트 영역이 작아지는 것은, 전자기기 100가 자동으로 검출하거나 또는 사용자가 수동으로 작은 오브젝트로 변경하는 것에 의해 검출될 수 있다.
전자기기 100가 2110의 제1각도의 스캔 범위에서 동작하다가, 오브젝트 영역 2100이 커져서 오브젝트 영역 2131이 되는 경우 전자기기 100는 적응적으로 스캔 범위를 변경할 수 있다. 도 21의 2130을 참조하면, 전자기기 100는 스캔 범위를 제3각도로 설정할 수 잇다. 오브젝트 영역이 커지는 것은, 사용자가 수동으로 큰 사이즈의 오브젝트를 배치하는 것에 의해 전자기기 100가 검출하거나, 또는 사용자가 오브젝트 영역 2100의 범위를 벗어나서 동작을 취하는 경우, 전자기기 100는 사용자의 제스쳐를 정확하게 검출하기 위해 스캔 범위를 증가시킬 필요성을 인식하고 스캔 범위를 조정할 수 있다.
오브젝트 영역 또는 미러의 스캔 범위에서는 복수의 사용자가 제스쳐를 취하고 전자기기 100가 복수의 사용자의 제스쳐를 검출할 수 있다. 예를 들어, 하나의 큰 테이블에 본 실시예에 따른 전자기기 100를 설치하고 복수의 사용자들이 각각 가상키보드를 실행하는 것처럼 동작할 수 있다. 이때 전자기기 100의 스캔 범위는 터치 포인트들간의 각도 또는 거리, 터치 포인트들의 개수 또는 터치 포인트들의 위치 중 적어도 하나 이상에 기초해서 스캔 범위를 조정할 수 있다.
본 발명의 일 실시예에 따르면 전자기기 100은 광원의 밝기를 변경해서 스캔 범위를 조정할 수도 있다. 광원의 밝기를 증가시켜서 빛을 더 멀리 보내고 이를 통해서 더 먼 곳까지 스캔 범위를 확장할 수도 있다. 반대로 광원의 밝기를 감소시켜서 빛을 더 가까이 보내고 이를 통해서 스캔 범위를 축소시킬 수도 있다.
전자기기 100의 스캔 범위에서 하나의 오브젝트가 다른 오브젝트로 인한 음영으로 인해 전자기기 100가 제대로 검출하기 어려울 수 있다. 따라서 이러한 경우에는 두 개 이상의 전자기기를 이용하여 음영 지역으로 인한 문제점을 해소할 수 있다.
도 22는 일 실시예에 따라 두 개 이상의 전자기기를 이용하여 음영 지역을 해소하는 방법을 나타내는 흐름도이다.
도 22를 참조하면, 동작 2210에서, 제1 전자기기와 제2전자 기기는 연결 및 위치 관련 정보를 공유할 수 있다.
제1전자기기와 제2전자기기는 각각의 통신 모듈을 이용해서 연결을 수행하고, 또한 상호간의 위치 정보를 공유할 수 있다. 위치 정보는 와이파이 신호 세기, 또는 BT 신호 세기 또는 별도의 위치를 판단할 수 있는 센서 예를 들어, GPS 센서 또는 지그비(Zigbee) 센서를 통해 얻은 정보 중 적어도 하나 이상의 정보를 이용해서 상호 위치를 판단할 수 있다. 이와 같이 제1전자 기기와 제2 전자기기가 연결 및 위치 관련 정보를 공유하는 동작은 두 기기가 서로 연결될 때 수행될 수도 있고, 또는 주기적으로 이루어질 수도 있다.
동작 2220에서, 제1 전자기기와 제2 전자기기는 서로 검출된 오브젝트 거리 정보를 공유할 수 있다.
예를 들어, 도 23을 참조하면, 제1전자기기 100-1는 사용자의 제1터치 2310를 검출하면 이 제1터치 2310에 따른 음영지역의 위치를 판단하고, 이 판단된 음영지역의 위치에 제2전자기기 100-2에서 검출한 제2터치 2320가 있는지 제2전자기기 100-2에게 확인할 수 있다. 만약 제2전자기기 100-2에서 이 음영지역의 위치에서 검출한 제2터치가 있으면 제2전자기기는 제2터치에 대한 정보를 제1전자기기로 전달할 수 있다.
또는 제1전자기기 100-1가 음영 지역에 대한 정보를 제2전자기기 100-2로 전달하고 이 음영지역에 제2터치가 있는지 확인하는 과정없이, 제2 전자기기 100-2는 자신이 검출한 제2터치 2320에 관한 정보를 제1 전자기기 100-1로 바로 전달하게 할 수도 있다.
동작 2230에서, 제1전자기기 및 제2 전자기기 중 적어도 하나는 공유된 오브젝트 거리 정보를 참조하여 제스쳐 분석을 수행하거나, 오브젝트 거리 정보를 외부 기기로 전송할 수 있다.
예를 들어 제1전자기기 100-1는 제2 전자기기 100-2로부터 수신한 제2터치 2320에 대한 정보를 수신하여 제스쳐 분석을 직접 수행하거나 또는, 제1전자기기 100-1은 제2 전자기기 100-2로부터 수신한 제2터치 2320에 대한 정보를 외부 기기로 전송할 수도 있다.
한편, 도 23에 도시된 바와 같이 제스쳐나 터치의 검출을 위해 복수개의 전자기기를 사용하는 경우 빛의 발산 및 수신간의 간섭이 일어날 수 있다. 이를 방지하기 위해 제1전자기기 및 제2전자기기의 빛의 파장이나 시간, 주파수 중 적어도 하나 이상을 다르게 하여 각 전자기기가 조사하는 빛의 신호를 구별할 수 있다. 또는 2개 이상의 전자기기에서 나온 빛을 구별하기 위해 각각의 빛에 추가적인 코드를 넣어서 구분할 수도 있을 것이다. 이러한 코드의 일 예로서 첵섬(checksum)을 별도로 넣어서 구분할 수도 있을 것이다.
일 실시예에 따라 사용자의 터치 위치 별로 또는 전자기기 100의 스캔 범위에서 구간별로 제스쳐의 타입을 할당하고, 제스쳐의 타입에 따라 다른 제어 동작을 수행할 수 있다.
도 24는 사용자의 터치 위치 별로 또는 전자기기 100의 스캔 범위에서 구간별로 제스쳐의 타입을 할당하고, 제스쳐의 타입에 따라 다른 제어 동작을 수행하는 것을 설명하기 위한 참고도이다.
도 24를 참조하면, 차량의 앞 부분에 전자기기 100가 설치된 형태를 나타낸다. 전자기기 100는 운전석과 보조석 부분을 스캔할 수 있다. 이때 전자기기 100는 스캔 범위를 구간별로 나누어서 각 구간별로 제스쳐 해석을 다르게 하고 해석된 제스쳐 타입에 따라 자동차 내부 장치를 제어하는데 이용되는 신호를 자동차로 전송할 수 있다.
예를 들어, 스캔 범위에서, A 존은 호버링 제스쳐를 매핑하고 터치 상태에서 위아래 움직이는 제스쳐에 따라서 차량의 실내 온도를 조절하고, 호버링 상태에서 위아래로 움직이는 제스쳐에 따라서 바람의 방향을 조절할 수 있다. 이때 전자기기 100는 호버링 제스쳐를 인식하기 위해 전자기기 100의 미러에 대해 틸트 동작을 추가할 수 있다.
스캔 범위에서, B 존은 사용자가 보통 아이콘 등을 터치해서 실행을 하는 존으로 설정해서 일반적인 전자기기의 모드로 동작할 수 있다.
스캔 범위에서 C존과 E 존은 A존과 마찬가지로 매핑될 수 있다.
스캔 범위에서 D 존은 사용자가 좀더 빠르고 정확하게 입력을 해야 하는 존, 예를 들어, 가상 키보드 입력을 실행하는 존으로 설정할 수 있다. 만약 D 존에서 주로 움직임이 검출된다면 전자기기 100는 좀더 작은 범위를 스캔하거나 빛의 세기를 조정하거나 또는 미러의 회전 속도를 조절해서 좀더 정밀하게 D 존에서의 제스쳐나 터치를 검출하도록 할 수 있다.
일 실시예에 따라 전자기기 100는 두 개 이상의 모드로 동작할 수 있다.
도 25는 전자기기 100가 3차원 센싱 모드와 터치 인식모드로 동작하는 방법의 과정을 나타내는 흐름도이다.
도 25를 참조하면 동작 2510에서, 전자기기는 3차원 센싱 모드인지 터치 인식 모드인지 판단할 수 있다.
터치 인식 모드는 본 명세서에서 앞서 설명한 바와 같이 오브젝트의 움직임을 검출하여 제스쳐나 터치를 인식하는 모드를 말하고, 3차원 센싱 모드는 외부에 있는 오브젝트에 대한 위치를 판단해서 이러한 위치 정보를 외부 기기로 전달하는 모드를 말한다.
일 실시예에 따라 전자기기 100가 3차원 센싱 모드인지 터치인식 모드인지는 사용자가 수동으로 설정할 수 있다.
일 실시예에 따라 전자기기 100는 3차원 센싱 모드인지 터치 인식 모드인지에 대한 정보를 연결된 외부 기기로부터 수신할 수 있다.
일 실시예에 따라 전자기기 100는 전자기기 100에 마련된 검출 모듈에서 검출한 정보에 기반해서 전자기기 100가 3차원 센싱 모드인지 터치 인식 모드인지를 자동으로 판단할 수 있다. 예를 들어 전자기기 100는 센서 등을 이용하여 전자기기 100가 어떤 표면에 놓여진 경우에는 터치 인식 모드로 판단하고 어떤 표면에 놓여진 것이 아니라 공중에 떠 있다고 검출한 경우에는 3차원 센싱 모드로 판단할 수 있다. 본 발명의 일 실시예에 따르면 상기 센서는 가속도 센서, 자이로 센서, 중력센서, 고도센서, 초음파 센서, 거리 센서 중 적어도 한 개 이상을 포함할 수 있다.
동작 2520에서, 전자기기 100가 3차원 센싱 모드로 동작한다고 판단한 경우에, 전자기기 100는 광을 조사하고 오브젝트로부터 반사된 광을 검출함으로서 거리 정보를 획득할 수 있다.
동작 2530에서, 전자기기 100는 획득한 거리 정보로부터 오브젝트의 위치 정보를 확인할 수 있다.
동작 2540에서, 전자기기는 오브젝트의 위치 정보를 외부 기기로 전송할 수 있다.
동작 2510에서 전자기기 100가 터치인식 모드로 동작한다고 판단한 경우에, 전자기기는 동작 2450에서 빛을 조사하고 오브젝트로부터 반사된 빛을 검출하여 거리를 측정할 수 있다.
동작 2560에서, 전자기기는 측정된 거리 정보로부터 인터랙션 포인트를 분석할 수 있다.
동작 2570에서, 전자기기는 인터랙션 포인트 분석을 토대로 제스쳐 분석을 수행할 수 있다.
동작 2540에서, 다음 전자기기는 분석된 제스쳐 결과를 외부 기기로 전송할 수 있다.
이상 설명된 실시예들에 따른 전자기기는 대용량 화면과 함께 이용될 수 있다. 터치 스크린의 대중화에 따라 화면을 터치하는 것은 사용자의 자연스러운 욕구가 되었다. 그러나 대형 화면에서는 정전용량 또는 저항방식의 터치 패널은 속도가 느리므로 적용하기 어려웠다. 그러나 본 실시예들에 따른 전자기기는 대형 화면에 단순히 배치하기만 하면 되기 때문에 본 전자기기를 대형 화면과 같이 이용한다면 대화면에서 빠른 인터랙션 경험을 제공할 수 있고 자연스럽게 사용자의 욕구를 충족시킬 수 있다.
또한 최근 소형 드론의 개발로 인해 소형 라이다의 개발이 필요해졌으나 현재 라이다의 사이즈는 대형 및 무거운 중량으로 인해 소형 드론에 적용이 어려웠다. 본 실시예들에 따른 전자기기는 자율 주행 드론, 교통수단, 교통수단내 HUD(Head Up Display) 등에 사용될 수 있다.
또한 최근 VR(Virtual Reality) 장치 또는 AR(Augmented Reality)장치 또는 MR(Mixed Reality)장치의 대중화에 따라 VR 장치또는 AR장치 또는 MR 장치를 콘트롤할 수 있는 장치가 필요해지고 있다. 본 실시예들에 따른 전자기기는 작은 사이즈의 VR 장치 또는 AR장치 또는 MR장치 콘트롤러에 이용될 수 있다.
다양한 실시예에 사용된 용어 모듈은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. 모듈은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. 모듈은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. 모듈은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. 모듈은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명의 다양한 실시예에 따른 모듈은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 본 발명의 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예: 상기 프로세서 110)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리 190가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 상기 프로세서 110에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈 의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 발명의 다양한 실시예에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명의 다양한 실시예에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
다양한 실시예에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 오브젝트에 광을 투사하고 상기 오브젝트로부터 반사된 광을 이용하여 상기 전자 디바이스로부터 상기 오브젝트까지의 거리를 검출하는 동작, 및 상기 검출된 오브젝트까지의 거리 정보에 기반하여 상기 오브젝트의 터치 정보 및/또는 제스쳐 정보를 결정하는 동작을 포함한다. 그리고 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 실시예에 따른 의 기술 내용을 쉽게 설명하고 본 발명의 실시예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 실시예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 다양한 실시예의 범위는 여기에 개시된 실시예들 이외에도 본 발명의 다양한 실시예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시예의 범위에 포함되는 것으로 해석되어야 한다.

Claims (18)

  1. 전자 디바이스에 있어서,
    오브젝트에 광을 조사하고 상기 오브젝트로부터 반사된 광을 이용하여 상기 전자 디바이스로부터 상기 오브젝트까지의 거리를 검출하는 광학 모듈, 및
    상기 검출된 오브젝트까지의 거리 정보에 기반하여 상기 오브젝트의 터치 정보 및/또는 제스쳐 정보를 결정하는 프로세서를 포함하고,
    상기 광학 모듈은 하나 이상의 광원과, 상기 하나 이상의 광원으로부터의 광의 경로를 변경시켜 오브젝트로 전달하는 광 경로 변경 엘리먼트와, 상기 오브젝트로부터 반사된 광을 수신하고 상기 반사 광에 기반하여 상기 전자 디바이스로부터 상기 오브젝트까지의 거리를 검출하는 거리 검출 센서와, 상기 광 경로 변경 엘리먼트를 회전시키는 회전 엘리먼트를 포함하고,
    상기 전자 디바이스는 낙하한다고 판단한 경우에 상기 회전 엘리먼트를 정지시키는, 전자 디바이스.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 오브젝트 까지의 거리 정보에 기반하여 하나 이상의 인터랙션 포인트들을 결정하는, 전자 디바이스.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 오브젝트까지의 거리 정보에 기반하여 결정된 인터랙션 그룹, 상기 결정된 인터랙션 그룹의 인터랙션 타입 또는 상기 거리 정보에 기반하여 결정된 인터랙션 타입중 적어도 하나에 기반하여 상기 하나 이상의 인터랙션 포인트들을 결정하는, 전자 디바이스.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 하나 이상의 인터랙션 포인트들이 움직이는 방향 및 속도 중 적어도 하나에 기반하여 상기 하나 이상의 인터랙션 포인트와 연관된 메인 인터랙션 포인트를 결정하는, 전자 디바이스.
  5. 제1항에 있어서,
    상기 프로세서는,
    환경 정보에 기반하여 상기 광학 모듈을 제어하기 위한 제어 인자를 조정하고,
    상기 환경 정보는,
    상기 오브젝트의 동작 범위와 연관된 영역의 크기, 상기 전자 디바이스와 함께 이용되는 어플리케이션의 종류 또는 상기 오브젝트의 동작과 연관된 어플리케이션의 종류, 상기 전자 디바이스의 주변 환경과 연관된 정보 중 적어도 하나를 포함하는 전자 디바이스.
  6. 제5항에 있어서,
    상기 프로세서는,
    사용자 입력, 이미지 획득 센서, 주변 환경 검출 센서, 상기 광학 모듈에서 검출된 정보 중 적어도 하나로부터 상기 환경 정보를 획득하는, 전자 디바이스.
  7. 제1항에 있어서,
    상기 전자 디바이스는 자동과 수동 중 적어도 하나에 의해 절전모드로 작동하고,
    상기 전자 디바이스가 자동으로 절전모드로 작동하는 경우, 배터리의 소비 정도에 따라 절전모드로의 작동 여부가 자동으로 결정되고,
    상기 절전모드에서 상기 하나 이상의 광원의 광의 세기를 줄이는 것과 상기 회전 엘리먼트의 회전 속도를 줄이는 것 중 적어도 하나가 수행되는, 전자 디바이스.
  8. 제1항에 있어서,
    상기 회전 엘리먼트는,
    상기 광 경로 변경 엘리먼트를 횡 방향으로 회전시키는 회전 지지대 또는 상기 광 경로 변경 엘리먼트를 상기 횡 방향과는 다른 방향으로 회전시키는 틸트 지지대 중 적어도 하나를 포함하는, 전자 디바이스.
  9. 제1항에 있어서,
    상기 하나 이상의 광원은 상기 거리 검출 센서와 일체로 구성되거나, 또는 상기 광 경로 변경 엘리먼트와 일체로 구성되는, 전자 디바이스.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
KR1020160062180A 2016-05-20 2016-05-20 전자기기 및 그 동작 방법 Active KR101976605B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020160062180A KR101976605B1 (ko) 2016-05-20 2016-05-20 전자기기 및 그 동작 방법
JP2019513722A JP6825087B2 (ja) 2016-05-20 2017-05-10 電子機器及びその動作方法
CN201780043887.4A CN109478107A (zh) 2016-05-20 2017-05-10 电子装置及其操作方法
EP17799593.3A EP3460636B1 (en) 2016-05-20 2017-05-10 Electronic device and operating method therefor
PCT/KR2017/004844 WO2017200235A1 (ko) 2016-05-20 2017-05-10 전자기기 및 그 동작 방법
US16/194,846 US11169640B2 (en) 2016-05-20 2018-11-19 Electronic device and operating method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160062180A KR101976605B1 (ko) 2016-05-20 2016-05-20 전자기기 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20170131044A KR20170131044A (ko) 2017-11-29
KR101976605B1 true KR101976605B1 (ko) 2019-05-09

Family

ID=60326018

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160062180A Active KR101976605B1 (ko) 2016-05-20 2016-05-20 전자기기 및 그 동작 방법

Country Status (6)

Country Link
US (1) US11169640B2 (ko)
EP (1) EP3460636B1 (ko)
JP (1) JP6825087B2 (ko)
KR (1) KR101976605B1 (ko)
CN (1) CN109478107A (ko)
WO (1) WO2017200235A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109842808A (zh) * 2017-11-29 2019-06-04 深圳光峰科技股份有限公司 投影装置的控制方法、投影装置以及存储装置
CN110531843A (zh) * 2018-05-24 2019-12-03 富泰华工业（深圳）有限公司 电子装置及电子装置的操作控制方法
US20220164771A1 (en) * 2019-03-28 2022-05-26 Dematic Corp. Touchless confirmation for pick and put system and method
TWI723544B (zh) * 2019-09-17 2021-04-01 宏碁股份有限公司 浮空操控裝置、浮空操控裝置之操作方法及互動顯示系統
CN111078018A (zh) * 2019-12-31 2020-04-28 深圳Tcl新技术有限公司 显示器的触摸控制方法、终端设备及存储介质
KR102743015B1 (ko) 2020-03-06 2024-12-17 엘지이노텍 주식회사 카메라 모듈
CN113467623B (zh) * 2020-03-31 2024-09-03 北京小米移动软件有限公司 终端设备及控制方法、操作指令的检测模组
JP2021177313A (ja) 2020-05-08 2021-11-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及びユーザの入力操作に基づく情報処理方法並びに該方法を実行するためのコンピュータプログラム
KR20220074317A (ko) * 2020-11-27 2022-06-03 변주영 전자장치 및 라이다 센서를 이용한 전자장치 제어 방법
CN112462982A (zh) * 2020-12-10 2021-03-09 安徽鸿程光电有限公司 红外触控方法、装置、设备及计算机存储介质
CN112684916B (zh) * 2021-01-12 2024-11-26 维沃移动通信有限公司 信息输入方法、装置及电子设备
JP7602199B2 (ja) * 2021-03-12 2024-12-18 オムロン株式会社 光学式センサ、光学式センサの制御方法及び光学式センサの制御プログラム
JP2023139534A (ja) * 2022-03-22 2023-10-04 キヤノン株式会社 ジェスチャ認識装置、頭部装着型表示装置、ジェスチャ認識方法、プログラム、および記憶媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015045125A1 (ja) * 2013-09-27 2015-04-02 日立マクセル株式会社 映像投射装置

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3321053B2 (ja) * 1996-10-18 2002-09-03 株式会社東芝 情報入力装置及び情報入力方法及び補正データ生成装置
RO121497B1 (ro) * 2005-02-09 2007-06-29 Softwin S.R.L. Sistem informatic şi metodă pentru achiziţia, analiza şi autentificarea semnăturii olografe
US8018579B1 (en) * 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
KR20080037312A (ko) * 2006-10-25 2008-04-30 엠텍비젼 주식회사 포인터 이동 제어 장치 및 방법
JP5277703B2 (ja) * 2008-04-21 2013-08-28 株式会社リコー 電子機器
US20090298691A1 (en) * 2008-04-25 2009-12-03 Koschnick Tyler J Methods and compositions for control of aquatic weeds using herbicidal combinations with fluridone
JP5448370B2 (ja) * 2008-05-20 2014-03-19 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、記憶媒体
US8294105B2 (en) * 2009-05-22 2012-10-23 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting offset gestures
KR101096807B1 (ko) * 2010-01-29 2011-12-22 주식회사 팬택 3차원 위치 정보 획득 장치 및 방법
JP5510155B2 (ja) * 2010-07-29 2014-06-04 船井電機株式会社 プロジェクタ
JP4846871B1 (ja) * 2010-10-28 2011-12-28 善博 和田 キー入力装置、それを備える携帯端末および携帯端末を入力装置として機能させるためのプログラム
KR20140033025A (ko) 2011-03-25 2014-03-17 오블롱 인더스트리즈, 인크 비전 기반 손 추적기를 초기화하기 위한 고속 손가락끝 검출
KR20140068855A (ko) * 2011-06-23 2014-06-09 오블롱 인더스트리즈, 인크 공간 입력 장치를 위한 적응적 추적 시스템
JP5295328B2 (ja) * 2011-07-29 2013-09-18 Ｋｄｄｉ株式会社 スクリーンパッドによる入力が可能なユーザインタフェース装置、入力処理方法及びプログラム
US9342108B2 (en) * 2011-09-16 2016-05-17 Apple Inc. Protecting an electronic device
US8929085B2 (en) * 2011-09-30 2015-01-06 Apple Inc. Flexible electronic devices
US8730210B2 (en) * 2011-10-19 2014-05-20 Microvision, Inc. Multipoint source detection in a scanned beam display
US9002058B2 (en) * 2011-12-01 2015-04-07 Microvision, Inc. Scanned image projection system with gesture control input
KR101356819B1 (ko) * 2011-12-22 2014-02-12 한국과학기술원 입력 인터페이스 제공 장치 및 그 동작 방법
US20130194173A1 (en) * 2012-02-01 2013-08-01 Ingeonix Corporation Touch free control of electronic systems and associated methods
CA3051912C (en) * 2012-02-24 2023-03-07 Thomas J. Moscarillo Gesture recognition devices and methods
EP2872967B1 (en) * 2012-07-13 2018-11-21 Sony Depthsensing Solutions SA/NV Method and system for detecting hand-related parameters for human-to-computer gesture-based interaction
US10599328B2 (en) * 2013-03-14 2020-03-24 Valve Corporation Variable user tactile input device with display feedback system
US9949890B2 (en) * 2013-03-15 2018-04-24 Sambhu Choudhury Garment with remote controlled vibration array
WO2014171337A1 (en) * 2013-04-19 2014-10-23 Semiconductor Energy Laboratory Co., Ltd. Secondary battery and a method for fabricating the same
US9229583B2 (en) * 2013-05-29 2016-01-05 Otter Products, Llc Object location determination including writing pressure information of a stylus
EP2821886A1 (en) * 2013-07-01 2015-01-07 BlackBerry Limited Touch-less user interface using ambient light sensors
US9323336B2 (en) * 2013-07-01 2016-04-26 Blackberry Limited Gesture detection using ambient light sensors
DE102014207902A1 (de) * 2014-04-28 2015-10-29 Robert Bosch Gmbh Modul und Verfahren zum Betrieb eines Moduls
GB2525600A (en) * 2014-04-28 2015-11-04 Youlapse Oy User input technique for adjusting successive image capturing
KR20150137452A (ko) * 2014-05-29 2015-12-09 삼성전자주식회사 디스플레이 장치 제어 방법 및 이를 위한 원격 제어 장치
JP6314688B2 (ja) * 2014-06-25 2018-04-25 船井電機株式会社 入力装置
KR20160050664A (ko) * 2014-10-30 2016-05-11 삼성전자주식회사 촉감 센서를 포함하는 전자 장치, 그의 운용 방법 및 시스템
US9916008B2 (en) * 2015-01-12 2018-03-13 International Business Machines Corporation Microfluidics three-dimensional touch screen display
US10055019B2 (en) * 2015-05-20 2018-08-21 Sony Interactive Entertainment Inc. Electromagnet-laden glove for haptic pressure feedback
US10613655B2 (en) * 2015-12-10 2020-04-07 Lg Electronics Inc. Rollable mobile terminal and control method therefor
US10671219B2 (en) * 2018-02-12 2020-06-02 Microvision, Inc. Scanning time of flight 3D sensing with smart pulsing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015045125A1 (ja) * 2013-09-27 2015-04-02 日立マクセル株式会社 映像投射装置

Also Published As

Publication number Publication date
US11169640B2 (en) 2021-11-09
US20190102043A1 (en) 2019-04-04
EP3460636B1 (en) 2022-04-13
EP3460636A4 (en) 2020-02-12
WO2017200235A1 (ko) 2017-11-23
JP2019522860A (ja) 2019-08-15
JP6825087B2 (ja) 2021-02-03
EP3460636A1 (en) 2019-03-27
KR20170131044A (ko) 2017-11-29
CN109478107A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
KR101976605B1 (ko) 전자기기 및 그 동작 방법
US10838228B2 (en) Three-dimensional imaging device and electronic device including same
KR102081817B1 (ko) 디지타이저 모드 전환 방법
US9372540B2 (en) Method and electronic device for gesture recognition
KR102031142B1 (ko) 영상 디스플레이를 제어하는 전자 장치 및 방법
EP3049908B1 (en) Presentation of a control interface on a touch-enabled device based on a motion or absence thereof
US10048779B2 (en) Virtual hand based on combined data
CN107924286B (zh) 电子设备及电子设备的输入方法
US20120235903A1 (en) Apparatus and a method for gesture recognition
US20140168065A1 (en) Motion detection system
KR20140114913A (ko) 사용자 기기의 센서 운용 방법 및 장치
WO2015200406A1 (en) Digital action in response to object interaction
KR102117261B1 (ko) 거리 검출 및 생체 인증 방법, 저장 매체 및 단말
US20150241987A1 (en) Electronic device
EP2402844B1 (en) Electronic devices including interactive displays and related methods and computer program products
US20150002420A1 (en) Mobile terminal and method for controlling screen
US12086373B2 (en) Electronic device and method for controlling display of a plurality of objects on wearable display device
US20100328221A1 (en) Multiview display
EP3647908B1 (en) Input method and intelligent terminal device
WO2021117595A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US9292107B1 (en) Mobile telephone as computer mouse
US20240399960A1 (en) Interactive multi-display surrounding-view system for vehicle
KR20150024009A (ko) 사용자 입력 피드백 제공 방법 및 장치
US20250047772A1 (en) Electronic device for sharing screen with external electronic device, operating method therefor and storage medium
KR20150054559A (ko) 전자 기기 및 전자 기기의 제어 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160520

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20160713

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20170206

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20171206

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160520

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190213

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20190319

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190429

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190502

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190502

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220422

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240205

Start annual number: 6

End annual number: 6