[go: up one dir, main page]

KR20250040098A - 웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템 - Google Patents

웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템 Download PDF

Info

Publication number
KR20250040098A
KR20250040098A KR1020257008049A KR20257008049A KR20250040098A KR 20250040098 A KR20250040098 A KR 20250040098A KR 1020257008049 A KR1020257008049 A KR 1020257008049A KR 20257008049 A KR20257008049 A KR 20257008049A KR 20250040098 A KR20250040098 A KR 20250040098A
Authority
KR
South Korea
Prior art keywords
gesture
eyewear device
neural network
programming
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020257008049A
Other languages
English (en)
Inventor
존 제임스 로버트슨
졸트 마테
Original Assignee
스냅 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스냅 인코포레이티드 filed Critical 스냅 인코포레이티드
Publication of KR20250040098A publication Critical patent/KR20250040098A/ko
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

신경 네트워크 시스템은 아이웨어 디바이스를 포함한다. 아이웨어 디바이스는 움직임 추적기, 예를 들어, 가속도계, 자이로스코프, 또는 가속도 및 회전을 측정하기 위한 관성 측정 유닛을 갖는다. 신경 네트워크 시스템은 움직임 추적기를 통해, 입력 표면 상에서 사용자로부터 입력된 적어도 하나의 손가락 접촉으로부터 아이웨어 디바이스의 움직임을 추적한다. 신경 네트워크 시스템은 일정 시간 기간에 걸쳐 아이웨어 디바이스의 추적된 움직임의 변화에 기초하여 적어도 하나의 검출된 터치 이벤트를 검출함으로써 손가락 제스처를 식별한다. 신경 네트워크 시스템은 식별된 손가락 제스처에 기초하여 아이웨어 디바이스의 이미지 디스플레이 상에 제시된 이미지를 조정한다. 신경 네트워크 시스템은 또한 사용자가 아이웨어 디바이스를 착용하고 있는지 여부를 검출하고, 시간 기간에 걸쳐 추적된 움직임의 변화에 기초하여 아이웨어 디바이스를 착용한 사용자의 활동을 식별할 수 있다.

Description

웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템 {NEURAL NETWORK SYSTEM FOR GESTURE, WEAR, ACTIVITY, OR CARRY DETECTION ON A WEARABLE OR MOBILE DEVICE}
[0001] 본 출원은 2018년 9월 28일에 출원되고 발명의 명칭이 NEURAL NETWORK SYSTEM FOR GESTURE, WEAR, ACTIVITY, OR CARRY DETECTION ON A WEARABLE OR MOBILE DEVICE인 미국 가출원 일련번호 제62/738,093호에 대한 우선권을 주장하며, 그 내용은 인용에 의해 본원에 완전히 통합된다.
[0002] 본 주제는, 사용자 제스처들 및 착용 검출을 검출하기 위한 웨어러블 디바이스들, 예를 들어, 아이웨어 디바이스들 및 모바일 디바이스들에 관한 것이다.
[0003] 휴대용 아이웨어 디바이스들(예를 들어, 안경, 헤드웨어 및 헤드기어), 목걸이들 및 스마트워치들 및 모바일 디바이스들(예를 들어, 태블릿들, 스마트폰들 및 랩톱들)을 포함하는 컴퓨팅 디바이스들, 예를 들어, 웨어러블 디바이스들은 이미지 디스플레이들 및 카메라들을 통합한다. 웨어러블 디바이스 및 모바일 디바이스 상에서 이용가능한 작은 이미지 디스플레이 영역으로 인해 디바이스들 상에 디스플레이된 콘텐츠를 뷰잉하고 상호작용하는 것은 곤란할 수 있다.
[0004] 예를 들어, 아이웨어 디바이스와 같은 웨어러블 디바이스의 크기 제한들 및 폼 팩터는 사용자 인터페이스를 아이웨어 디바이스에 통합하기 어렵게 만들 수 있다. 예를 들어, 카메라를 동작시키기 위한 아이웨어 디바이스 상의 다양한 제어 버튼들 및 아이웨어 디바이스의 이미지 디스플레이 상의 그래픽 사용자 인터페이스 엘리먼트들의 배치를 위한 이용가능한 영역은 제한된다. 아이웨어 디바이스의 작은 폼 팩터로 인해, 예를 들어 이미지 디스플레이에 디스플레이되는 콘텐츠를 조작하고 상호작용하는 것은 번거롭다.
[0005] 따라서, 아이웨어 디바이스들 및 모바일 디바이스들을 포함하는 웨어러블 디바이스들과의 사용자 상호작용을 단순화시킬 필요가 있다.
US 20120235885 A1 (2012.09.20.)
-
[0006] 도면 도시들은 제한의 방식이 아닌 오직 예시의 방식으로 하나 이상의 구현들을 도시한다. 도면들에서, 유사한 참조 부호들은 동일하거나 유사한 엘리먼트들을 나타낸다.
[0007] 도 1a는 제스처, 착용 및 활동 검출을 위해 신경 네트워크 시스템에서 활용되는 움직임 추적기를 포함하는 아이웨어 디바이스의 예시적인 하드웨어 구성의 우측면도이다.
[0008] 도 1b 및 도 1c는 2개의 상이한 타입들의 이미지 디스플레이들을 포함하는 아이웨어 디바이스의 예시적인 하드웨어 구성들의 후면도들이다.
[0009] 도 1d는 사용자로부터 입력된 적어도 하나의 손가락 접촉으로부터 아이웨어 디바이스의 움직임을 추적하기 위해 입력 표면에 연결된 아이웨어 디바이스의 움직임 추적기의 동작의 개략도를 도시한다.
[0010] 도 2는 움직임 추적기 및 회로 보드를 도시하는 도 1b 및 도 1c의 아이웨어 디바이스의 좌측 청크의 상부 단면도이다.
[0011] 도 3a는 신경 네트워크 모델, 모바일 디바이스 및 다양한 네트워크들을 통해 연결된 서버 시스템에 기초하여 손가락 제스처들을 식별하기 위해 움직임 추적기를 갖는 아이웨어 디바이스를 포함하는 예시적인 신경 네트워크 시스템의 하이 레벨 기능 블록도이다.
[0012] 도 3b는 손가락 제스처들을 식별하기 위한 신경 네트워크 모델을 구축하기 위해 도 3a의 신경 네트워크 시스템의 서버 시스템에 대한 하드웨어 구성의 예를 단순화된 블록도 형태로 도시한다.
[0013] 도 3c는 신경 네트워크 모델, 모바일 디바이스 및 다양한 네트워크들을 통해 연결된 서버 시스템에 기초하여 착용을 검출하기 위해 움직임 추적기를 갖는 아이웨어 디바이스를 포함하는 예시적인 신경 네트워크 시스템의 하이 레벨 기능 블록도이다.
[0014] 도 3d는 착용 검출을 위한 신경 네트워크 모델을 구축하기 위해 도 3b의 신경 네트워크 시스템의 서버 시스템에 대한 하드웨어 구성의 예를 단순화된 블록도 형태로 도시한다.
[0015] 도 3e는 아이웨어 디바이스의 착용 동안의 신경 네트워크 모델, 모바일 디바이스 및 다양한 네트워크들을 통해 연결된 서버 시스템에 기초하여 활동들을 식별하기 위해 움직임 추적기를 갖는 아이웨어 디바이스를 포함하는 예시적인 신경 네트워크 시스템의 하이 레벨 기능 블록도이다.
[0016] 도 3f는 아이웨어 디바이스의 착용 동안 활동들을 식별하기 위한 신경 네트워크 모델을 구축하기 위해 도 3e의 신경 네트워크 시스템의 서버 시스템에 대한 하드웨어 구성의 예를 단순화된 블록도 형태로 도시한다.
[0017] 도 4a는 신경 네트워크 모델에 기초하여 손가락 제스처들을 식별하기 위한 움직임 추적기를 포함하는, 도 3a 및 도 3b의 신경 네트워크 시스템의 모바일 디바이스 또는 웨어러블 디바이스에 대한 하드웨어 구성의 예를 도시한다.
[0018] 도 4b는 신경 네트워크 모델에 기초하여 웨어러블 디바이스의 착용 또는 모바일 디바이스의 휴대를 검출하기 위한 움직임 추적기를 포함하는, 도 3c 및 도 3d의 신경 네트워크 시스템의 모바일 디바이스 또는 웨어러블 디바이스에 대한 하드웨어 구성의 예를 도시한다.
[0019] 도 4c는 신경 네트워크 모델에 기초하여 활동들을 식별하기 위한 움직임 추적기를 포함하는, 도 3e 및 도 3f의 신경 네트워크 시스템의 모바일 디바이스 또는 웨어러블 디바이스에 대한 하드웨어 구성의 예를 도시한다.
[0020] 도 5는 제스처, 착용, 휴대 또는 활동 식별을 위해 생성된 신경 네트워크 모델의 실행 속도 및 효율성을 최적화하기 위해 도 3b, 도 3d 및 도 3f의 신경 네트워크 시스템(300)에서 구현될 수 있는 방법의 흐름도이다.
[0021] 도 6a, 도 6b 및 도 6c는 아이웨어 디바이스의 입력 표면 상의 프레스 앤드 홀드(press and hold) 검출된 터치 이벤트들을 예시한다.
[0022] 도 7은 아이웨어 디바이스의 입력 표면 상의 손가락 핀칭 및 언핀칭(pinching and unpinching) 검출된 터치 이벤트들을 예시한다.
[0023] 도 8은 아이웨어 디바이스의 입력 표면 상의 손가락 회전 검출된 터치 이벤트들을 예시한다.
[0024] 도 9는 아이웨어 디바이스의 입력 표면 상의 손가락 스와이핑(swiping) 검출된 터치 이벤트들을 예시한다.
[0025] 하기 상세한 설명에서, 관련 교시들의 철저한 이해를 제공하기 위해 다수의 특정 세부사항들이 예시의 방식으로 기술된다. 그러나, 이러한 세부사항들 없이도 본 교시들이 실시될 수 있음은 당업자들에게 자명할 것이다. 다른 예들에서, 본 교시들의 양상들을 불필요하게 모호하게 하는 것을 회피하기 위해, 널리 알려진 방법들, 절차들, 컴포넌트들, 및 회로부의 설명은 세부사항 없이 비교적 하이 레벨로 기술되었다.
[0026] 본원에서 사용되는 "커플링된" 또는 "연결된"이라는 용어는 하나의 시스템 엘리먼트에 의해 생성되거나 공급되는 전기 또는 자기 신호들이 다른 커플링되거나 연결된 엘리먼트에 전달되게 하는 임의의 논리적, 광학적, 물리적 또는 전기적 연결, 링크 등을 지칭한다. 달리 설명되지 않는 한, 커플링된 또는 연결된 엘리먼트들 또는 디바이스들은 반드시 서로 직접 연결되는 것은 아니며, 전기 신호들을 수정, 조작 또는 반송할 수 있는 중간 컴포넌트들, 엘리먼트 또는 통신 매체들에 의해 분리될 수 있다. "상에"라는 용어는 엘리먼트에 의해 직접 지지되는 것 또는 엘리먼트에 통합되거나 그에 의해 지지되는 다른 엘리먼트를 통해 엘리먼트에 의해 간접적으로 지지되는 것을 의미한다.
[0027] 도면들 중 임의의 것에 도시된 바와 같이 아이웨어 디바이스, 연관된 컴포넌트들, 및 움직임 추적기를 통합한 임의의 완성 디바이스들의 배향들은 예시 및 논의 목적으로 단지 예시의 방식으로 주어진다. 제스처, 착용 또는 활동 검출을 위한 동작에서, 아이웨어 디바이스는 아이웨어 디바이스의 특정 애플리케이션에 적합한 임의의 다른 방향, 예를 들어, 위, 아래, 옆 또는 임의의 다른 배향으로 배향될 수 있다. 또한, 본원에 사용되는 범위까지, 앞, 뒤, 내향, 외향, 쪽으로, 좌측, 우측, 측방향, 종방향, 위, 아래, 상부, 하부, 최상부, 바닥, 측면, 수평, 수직 및 대각과 같은 임의의 방향성 용어는 단지 예시의 방식으로 사용되며, 달리 본원에 설명된 바와 같이 구성된 임의의 움직임 추적기 또는 움직임 추적기의 컴포넌트의 방향 또는 배향으로 제한되지 않는다.
[0028] 예들의 추가적인 목적들, 이점들 및 신규 특징들은 하기 설명에서 부분적으로 기술될 것이고, 부분적으로, 다음의 그리고 첨부된 도면들의 검토 시에 당업자들에게 자명해질 것이거나 예들의 생산 또는 동작에 의해 학습될 수 있다. 본 주제의 목적들 및 이점들은 특히 첨부된 청구항들에서 적시된 방법론들, 기구들 및 조합들에 의해 실형 및 달성될 수 있다.
[0029] 이제, 첨부된 도면들에서 예시되고 아래에서 논의되는 예들을 상세히 참조한다.
[0030] 도 1a는 제스처, 착용 및 활동 검출을 위해 신경 네트워크 시스템에서 활용되는 움직임 추적기(도시되지 않음)를 포함하는 아이웨어 디바이스(100)의 예시적인 하드웨어 구성의 우측면도이다. 아이웨어 디바이스(100)는 이미지들을 제시하기 위한 이미지 디스플레이를 갖는 우측 광학 조립체(180B)를 포함한다. 도 1a에 도시된 바와 같이, 아이웨어 디바이스(100)는 우측 가시광 카메라(114B)를 포함한다. 아이웨어 디바이스(100)는, 스테레오 카메라와 같은 수동 타입의 깊이 캡처 카메라를 형성하는 다수의 가시광 카메라들(114A-B)을 포함할 수 있고, 이의 우측 가시광 카메라(114B)는 우측 청크(110B) 상에 위치된다. 아이웨어 디바이스(100)는 또한 좌측 청크(110A) 상에 좌측 가시광 카메라(114A)를 포함할 수 있다. 깊이-캡처 카메라는 단일 가시광 카메라(114B) 및 깊이 센서(예를 들어, 적외선 카메라 및 적외선 방출기)를 포함하는 능동 타입의 깊이-캡처 카메라일 수 있다.
[0031] 좌측 및 우측 가시광 카메라들(114A-B)은 가시광 범위 파장에 민감하다. 가시광 카메라들(114A-B) 각각은, 3차원 깊이 이미지들이 생성되도록 허용하기 위해 중첩하는 상이한 전방을 향하는 시야를 갖는데, 예를 들어, 우측 가시광 카메라(114B)는 도시된 우측 시야(111B)를 갖는다. 일반적으로, "시야"는, 공간 내의 특정 위치 및 배향에서 카메라를 통해 가시적인 장면의 일부이다. 이미지가 가시광 카메라에 의해 캡처될 때 시야(111A-B) 외부의 물체들 또는 물체 특징부들은 원시 이미지(예를 들어, 사진 또는 픽처)에 기록되지 않는다. 시야는, 가시광 카메라(114A-B)의 이미지 센서가 주어진 장면에서 캡처된 이미지 내의 주어진 장면의 전자기 방사를 픽업하는 각도 범위 또는 정도를 설명한다. 시야는 뷰 콘(view cone)의 각도 크기, 즉 시야각으로 표현될 수 있다. 시야각은 수평으로, 수직으로 또는 대각으로 측정될 수 있다.
[0032] 일례에서, 가시광 카메라들(114A-B)은 15° 내지 30°, 예를 들어, 24°의 시야각을 갖는 시야를 갖고, 480 x 480 픽셀들의 분해능을 갖는다. "커버리지 각도"는 가시광 카메라들(114A-B) 또는 적외선 카메라의 렌즈가 효과적으로 촬영할 수 있는 각도 범위를 설명한다. 통상적으로, 카메라 렌즈에 의해 생성되는 이미지 서클은, 가능하게는 에지를 향하는 일부 비네팅(vignetting)을 포함하여, 필름 또는 센서를 완전히 커버할만큼 충분히 크다. 카메라 렌즈의 커버리지 각도가 센서를 채우지 않는 경우, 이미지 서클은 가시적일 것이고, 통상적으로 에지를 향하는 강한 비네팅을 가지며, 뷰의 유효 각도는 커버리지 각도로 제한될 것이다.
[0033] 이러한 가시광 카메라(114A-B)의 예들은 640p(예를 들어, 총 0.3 메가픽셀들의 경우 640 x 480 픽셀들), 720p, 또는 1080p와 같은 고분해능 CMOS(complementary metal-oxide-semiconductor) 이미지 센서 및 VGA(video graphic array) 카메라를 포함한다. 본원에서 사용되는 바와 같이, 시야를 지칭할 때 "중첩하는"이라는 용어는 장면의 생성된 원시 이미지(들) 또는 적외선 이미지 내의 픽셀들의 매트릭스가 30% 이상 중첩하는 것을 의미한다. 본원에서 사용되는 바와 같이, 시야를 지칭할 때 "실질적으로 중첩하는"이라는 용어는 장면의 생성된 원시 이미지(들) 또는 적외선 이미지 내의 픽셀들의 매트릭스가 50% 이상 중첩하는 것을 의미한다.
[0034] 가시광 카메라들(114A-B)로부터의 이미지 센서 데이터는 지오로케이션 데이터와 함께 캡처되고, 이미지 프로세서에 의해 디지털화되고, 메모리에 저장된다. 개개의 가시광 카메라들(114A-B)에 의해 캡처되는 캡처된 좌측 및 우측 원시 이미지들은 2차원 공간 도메인에 있고, 수평 위치에 대한 X 축 및 수직 위치에 대한 Y 축을 포함하는 2차원 좌표계 상에 픽셀들의 매트릭스를 포함한다. 각각의 픽셀은 컬러 속성(예를 들어, 적색 픽셀 광 값, 녹색 픽셀 광 값, 및/또는 청색 픽셀 광 값); 및 위치 속성(예를 들어, X 위치 좌표 및 Y 위치 좌표)을 포함한다.
[0035] 입체 비전을 제공하기 위해, 가시광 카메라들(114A-B)은 장면의 이미지가 캡처되는 타임스탬프와 함께 디지털 프로세싱을 위해 이미지 프로세서(도 3a의 엘리먼트(312))에 커플링될 수 있다. 이미지 프로세서(312)는 가시광 카메라들(114A-B)로부터 신호들을 수신하고 가시광 카메라(114)로부터의 그러한 신호들을 메모리에 저장하기에 적합한 포맷으로 프로세싱하는 회로부를 포함한다. 타임스탬프는 이미지 프로세서, 또는 가시광 카메라들(114A-B)의 동작을 제어하는 다른 프로세서에 의해 추가될 수 있다. 가시광 카메라들(114A-B)은 깊이-캡처 카메라가 인간의 쌍안 비전을 시뮬레이팅하도록 허용한다. 깊이-캡처 카메라는 동일한 타임스탬프를 갖는 가시광 카메라들(114A-B)로부터의 2개의 캡처된 이미지들에 기초하여 3차원 이미지들을 재현하는 능력을 제공한다. 이러한 3차원 이미지들은 실감나는 경험, 예를 들어, 가상 현실 또는 비디오 게이밍을 허용한다.
[0036] 입체 비전의 경우, 장면의 원시 적색, 녹색 및 청색(RGB) 이미지들의 쌍이 주어진 순간에, 좌측 및 우측 가시광 카메라들(114A-B) 각각에 대해 하나의 이미지씩 캡처된다. 좌측 및 우측 가시광 카메라들(114A-B)의 전방을 향하는 좌측 및 우측 시야들(111A-B)로부터 캡처된 원시 이미지들의 쌍이 (예를 들어, 도 3a의 이미지 프로세서(312)에 의해) 프로세싱될 때, 깊이 이미지들이 생성되고, 생성된 깊이 이미지들은 광학 조립체(180A-B) 또는 (예를 들어, 모바일 디바이스의) 다른 이미지 디스플레이(들) 상에서 사용자에 의해 인지될 수 있다. 생성된 깊이 이미지들은 3차원 공간 도메인에 있고, 수평 위치(예를 들어, 길이)에 대한 X 축, 수직 위치(예를 들어, 높이)에 대한 Y 축, 및 깊이(예를 들어, 거리)에 대한 Z 축을 포함하는 3차원 위치 좌표계 상에 정점들의 매트릭스를 포함한다. 각각의 정점은 위치 속성(예를 들어, 적색 픽셀 광 값, 녹색 픽셀 광 값, 및/또는 청색 픽셀 광 값); 위치 속성(예를 들어, X 위치 좌표 및 Y 위치 좌표, 및 Z 위치 좌표); 텍스처 속성, 및/또는 반사 속성을 포함한다. 텍스처 속성은 깊이 이미지의 정점들의 영역에서 컬러의 공간적 배열 또는 세기들과 같은 깊이 이미지의 인지된 텍스처를 정량화한다.
[0037] 도 1b 및 도 1c는 2개의 상이한 타입들의 이미지 디스플레이들을 포함하는 아이웨어 디바이스(100)의 예시적인 하드웨어 구성들의 후면도들이다. 아이웨어 디바이스(100)는, 이 예에서는 안경인, 사용자에 의한 착용을 위해 구성된 형태이다. 아이웨어 디바이스(100)는 다른 형태들을 취할 수 있고, 다른 타입들의 프레임워크들, 예를 들어 헤드기어, 헤드셋 또는 헬멧을 포함할 수 있다.
[0038] 안경 예에서, 아이웨어 디바이스(100)는 사용자의 코에 적응된 브릿지(106)를 통해 우측 테두리(107B)에 연결된 좌측 테두리(107A)를 포함하는 프레임(105)을 포함한다. 좌측 및 우측 테두리들(107A-B)은 렌즈 및 디스플레이 디바이스와 같은 개개의 광학 엘리먼트(180A-B)를 유지하는 개개의 애퍼처들(175A-B)을 포함한다. 본원에 사용된 바와 같이, 렌즈라는 용어는, 빛이 수렴/발산하게 하는 또는 수렴 또는 발산이 거의 또는 전혀 없게 하는 만곡된 및/또는 평탄한 표면들을 갖는 유리 또는 플라스틱의 투명한 또는 반투명한 조각들을 커버하는 것을 의미한다.
[0039] 2개의 광학 엘리먼트들(180A-B)을 갖는 것으로 도시되었지만, 아이웨어 디바이스(100)는 단일 광학 엘리먼트와 같은 다른 배열들을 포함할 수 있거나 또는 아이웨어 디바이스(100)의 애플리케이션 또는 의도된 사용자에 따라 임의의 광학 엘리먼트(180A-B)를 포함하지 않을 수 있다. 추가로 도시된 바와 같이, 아이웨어 디바이스(100)는 프레임(105)의 좌측 측방향 측면(170A)에 인접한 좌측 청크(110A) 및 프레임(105)의 우측 측방향 측면(170B)에 인접한 우측 청크(110B)를 포함한다. 청크들(110A-B)은 (예시된 바와 같이) 개개의 측방향 측면들(170A-B) 상에서 프레임(105)에 통합되거나, 개개의 측면들(170A-B) 상에서 프레임(105)에 부착된 별개의 컴포넌트들로서 구현될 수 있다. 대안적으로, 청크들(110A-B)은 프레임(105)에 부착된 템플들(미도시)에 통합될 수 있다.
[0040] 일례에서, 광학 조립체의 이미지 디스플레이(180A-B)는 통합 이미지 디스플레이를 포함한다. 도 1b에 도시된 바와 같이, 광학 조립체(180A-B)는 LCD(liquid crystal display), OLED(organic light-emitting diode) 디스플레이 또는 임의의 다른 그러한 디스플레이와 같은 임의의 적합한 타입의 적합한 디스플레이 매트릭스(170)를 포함한다. 광학 조립체(180A-B)는 또한 렌즈들, 광학 코팅들, 프리즘들, 거울들, 도파관들, 광학 스트립들, 및 다른 광학 컴포넌트들을 임의의 조합으로 포함할 수 있는 광학 층 또는 층들(176)을 포함한다. 광학 층들(176A-N)은, 적합한 크기 및 구성을 갖고 디스플레이 매트릭스로부터 광을 수신하기 위한 제1 표면 및 사용자의 눈에 광을 방출하기 위한 제2 표면을 포함하는 프리즘을 포함할 수 있다. 광학 층들(176A-N)의 프리즘은 좌측 및 우측 테두리들(107A-B)에 형성된 개개의 애퍼처들(175A-B)의 전부 또는 적어도 일부분에 걸쳐 연장되어, 사용자의 눈이 대응하는 좌측 및 우측 테두리들(107A-B)을 보고 있을 때 사용자가 프리즘의 제2 표면을 보도록 허용한다. 광학 층(176A-N)의 프리즘의 제1 표면은 프레임(105)으로부터 위를 향하고, 디스플레이 매트릭스는 디스플레이 매트릭스에 의해 방출된 광자들 및 광이 제1 표면에 충돌하도록 프리즘 위에 놓인다. 프리즘은 광이 프리즘 내에서 굴절되고 광학 층들(176A-N)의 프리즘의 제2 표면에 의해 사용자의 눈을 향해 지향되도록 크기설정되고 형상화된다. 이와 관련하여, 광학 층들(176A-N)의 프리즘의 제2 표면은 눈의 중심을 향해 광을 지향하도록 볼록할 수 있다. 프리즘은 선택적으로 디스플레이 매트릭스(170)에 의해 투사된 이미지를 확대하도록 크기설정 및 형상화될 수 있고, 광은 프리즘을 통해 이동하여 제2 표면으로부터 보이는 이미지는 디스플레이 매트릭스(170)로부터 방출된 이미지보다 하나 이상의 차원들에서 더 크다.
[0041] 다른 예에서, 광학 조립체(180A-B)의 이미지 디스플레이 디바이스는 도 1c에 도시된 바와 같이 투사 이미지 디스플레이를 포함한다. 광학 조립체(180A-B)는 스캐닝 거울 또는 검류계를 사용하는 3색 레이저 프로젝터인 레이저 프로젝터(150)를 포함한다. 동작 동안, 레이저 프로젝터(150)와 같은 광원은 아이웨어 디바이스(100)의 템플들(125A-B) 중 하나에 또는 그 위에 배치된다. 광학 조립체(180A-B)는 광학 조립체(180A-B)의 렌즈의 폭을 가로질러 또는 렌즈의 전면과 후면 사이의 렌즈의 깊이를 가로질러 이격된 하나 이상의 광학 스트립들(155A-N)을 포함한다.
[0042] 레이저 프로젝터(150)에 의해 투사된 광자들이 광학 조립체(180A-B)의 렌즈를 가로질러 이동함에 따라, 광자들은 광학 스트립들(155A-N)과 만난다. 특정 광자가 특정 광학 스트립을 만날 때, 그 광자는 사용자의 눈을 향해 재지향되거나 다음 광학 스트립으로 전달된다. 레이저 프로젝터(150)의 변조 및 광학 스트립들의 변조의 조합은 특정 광자들 또는 광 빔들을 제어할 수 있다. 일례에서, 프로세서는 기계적, 음향적 또는 전자기 신호들을 개시함으로써 광학 스트립들(155A-N)을 제어한다. 2개의 광학 조립체들(180A-B)을 갖는 것으로 도시되었지만, 아이웨어 디바이스(100)는 단일의 또는 3개의 광학 조립체들과 같은 다른 배열들을 포함할 수 있거나, 또는 광학 조립체(180A-B)는 아이웨어 디바이스(100)의 의도된 사용자 또는 애플리케이션에 따라 배열된 상이한 배열을 가질 수 있다.
[0043] 도 1b 및 도 1c에 추가로 도시된 바와 같이, 아이웨어 디바이스(100)는 프레임(105)의 좌측 측방향 측면(170A)에 인접한 좌측 청크(110A) 및 프레임(105)의 우측 측방향 측면(170B)에 인접한 우측 청크(110B)를 포함한다. 청크들(110A-B)은 (예시된 바와 같이) 개개의 측방향 측면들(170A-B) 상에서 프레임(105)에 통합되거나, 개개의 측면들(170A-B) 상에서 프레임(105)에 부착된 별개의 컴포넌트들로서 구현될 수 있다. 대안적으로, 청크들(110A-B)은 프레임(105)에 부착된 템플들(125A-B)에 통합될 수 있다. 본 명세서에서 사용되는 바와 같이, 청크들(110A-B)은 인클로저에 포함되는 프로세싱 유닛들, 카메라, 센서들 등의(예를 들어, 우측 및 좌측에 대해 상이함) 집합물을 인클로징하는 인클로저를 포함할 수 있다.
[0044] 일례에서, 이미지 디스플레이는 제1(좌측) 이미지 디스플레이 및 제2(우측) 이미지 디스플레이를 포함한다. 아이웨어 디바이스(100)는 개개의 제1 및 제2 광학 조립체(180A-B)를 유지하는 제1 및 제2 애퍼처들(175A-B)을 포함한다. 제1 광학 조립체(180A)는 제1 이미지 디스플레이(예를 들어, 도 1b의 디스플레이 매트릭스(170A); 또는 도 1c의 광학 스트립들(155A-N') 및 프로젝터(150A))를 포함한다. 제2 광학 조립체(180B)는 제2 이미지 디스플레이, 예를 들어, 도 1b의 디스플레이 매트릭스(170B); 또는 도 1c의 광학 스트립들(155A-N") 및 프로젝터(150B)를 포함한다.
[0045] 도 1d는 사용자로부터 입력된 적어도 하나의 손가락 접촉(179)으로부터 아이웨어 디바이스(100)의 움직임을 추적하기 위해 입력 표면(181)에 연결된 아이웨어 디바이스(100)의 움직임 추적기의 동작의 개략도를 도시한다. 입력 표면(181)은 플라스틱, 아세테이트, 또는 프레임(105), 템플들(125A-B) 또는 측방향 측면들(170A-B)의 기판을 형성하는 다른 절연 재료로 형성된다.
[0046] 태블릿들 및 스마트폰들과 같은 모바일 디바이스들에 터치 스크린들이 존재하는 반면, 아이웨어 디바이스(100)의 렌즈에서 터치 스크린의 활용은 아이웨어 디바이스(100) 사용자의 시선과 간섭하고 사용자의 시야를 방해할 수 있다. 예를 들어, 손가락 터치들은 광학 조립체(180-B)(예를 들어, 광학 층들, 이미지 디스플레이 및 렌즈)를 더럽히고 사용자의 비전을 흐리게 하거나 방해할 수 있다. 사용자의 눈들이 광학 조립체(180A-B)의 투명한 부분을 통해 볼 때 흐릿함 및 불량한 선명도를 생성하는 것을 회피하기 위해, 회전 가속도, 모션, 공간 배향, 및 입력 표면(181) 상의 손가락 접촉으로부터 얻어지는 움직임 추적기(118)에 의해 수집된 다른 측정 특징부들은 손가락 터치 제스처들을 검출하기 위해 활용될 수 있다. 터치 제스처들은 아이웨어 디바이스(100) 상에서 실행되는 애플리케이션들에서 특정 액션들을 수행하거나 디스플레이된 이미지들을 직관적인 방식으로 내비게이팅하기 위해 아이웨어 디바이스(100)의 인간-머신 인터페이스에 대한 입력들이며, 이는 사용자 경험을 향상시키고 단순화한다.
[0047] 신경 네트워크 시스템에서 활용될 때, 아이웨어 디바이스(100)에 이미 통합된 (관성 측정 유닛, 가속도계 또는 자이로스코프일 수 있는) 이러한 움직임 추적기(118)는 터치 센서(예를 들어, 용량성 또는 저항성 타입 터치 센서들)의 추가적인 회로부의 비용 모두를 절감할 수 있다. 신경 네트워크 모델에서 움직임 추적기(118)에 의해 취해진 측정들을 사용하는 것은 아이웨어 디바이스(100)의 터치 센서 회로를 통합하는 추가적으로 요구되는 공간을 제거하고, 이는 아이웨어 디바이스(100)의 폼 팩터를 감소시킨다. 또한, 여기서의 절감들은 비용을 포함한다. 신경 네트워크 검출 시스템은 터치 센서 및 움직임 추적기(118)(예를 들어, IMU)와 함께 사용될 수 있다. 이러한 맥락에서 신경 네트워크들의 이점은, 달리 손으로 작성한 휴리스틱스(heuristics) 기반 코드로는 검출하는 것이 불가능한 복잡한 제스처들 및 활동들을 인식하는 능력이다.
[0048] 모델 입력 층으로서 움직임 추적기(118)에 의해 취해진 측정을 사용하는 신경 네트워크 모델을 통한 손가락 제스처들의 검출은 몇몇 기능들을 가능하게 할 수 있다. 예를 들어, 입력 표면(181) 상의 임의의 곳을 터치하는 것은 광학 조립체(180A-B)의 이미지 디스플레이의 스크린 상의 항목을 강조할 수 있다. 입력 표면(181) 상의 더블 탭은 항목을 선택할 수 있다. 손가락을 앞에서 뒤로 슬라이딩하는 것(예를 들어, 또는 스와이핑)은, 예를 들어, 이전 비디오, 이미지, 페이지 또는 슬라이드로 이동하기 위해 일 방향에서 슬라이드 또는 스크롤할 수 있다. 손가락을 뒤에서 앞으로 슬라이딩하는 것은, 예를 들어, 이전 비디오, 이미지, 페이지 또는 슬라이드로 이동하기 위해 반대 방향에서 슬라이드 또는 스크롤할 수 있다. 2개의 손가락들로 핀칭하는 것은 디스플레이된 이미지의 콘텐츠를 줌 인(zoom in)하는 줌 인 기능을 제공할 수 있다. 2개의 손가락들로 언핀칭하는 것은 디스플레이된 이미지의 콘텐츠를 줌 아웃(zoom out)하는 줌 아웃 기능을 제공한다. 입력 표면(181)은 아이웨어 디바이스(100)의 사실상 임의의 곳에 있을 수 있다. 손가락 슬라이딩 및 핀칭 및 언핀칭을 검출하기 위해, 아이웨어 디바이스(100)에 통합된 터치 센서는 또한 움직임 추적기(118)와 함께 사용될 수 있다.
[0049] 일례에서, 식별된 손가락 제스처가 입력 표면(181) 상의 단일 탭일 때, 이것은 광학 조립체(180A-B)의 이미지 디스플레이 상에 제시된 이미지에서 그래픽 사용자 인터페이스 요소의 선택 또는 누르기를 개시한다. 식별된 손가락 제스처에 기초하여 광학 조립체(180A-B)의 이미지 디스플레이 상에 제시된 이미지에 대한 조정은 추가적 디스플레이 또는 실행을 위해 광학 조립체(180A-B)의 이미지 디스플레이 상의 그래픽 사용자 인터페이스 요소를 선택하거나 제출하는 1차 액션일 수 있다. 이것은 지원되는 손가락 제스처의 일례일 뿐이며, 단일 또는 다중 손가락 접촉들을 포함할 수 있는 아이웨어 디바이스(100)에 의해 몇몇 손가락 제스처 타입들이 지원된다는 것을 이해해야 한다. 다수의 손가락 접촉 검출된 터치 이벤트들 및 식별된 손가락 제스처들의 예들이 도 6 내지 도 9에 제공된다. 또한, 일부 예들에서, 제스처는 예를 들어, 볼륨을 제어하는 것과 같이 아이웨어 디바이스(100)의 스피커들과 같은 다른 출력 컴포넌트들을 제어할 수 있다.
[0050] 아이웨어 디바이스(100)는 무선 네트워크 트랜시버, 예를 들어 셀룰러 또는 로컬 영역 네트워크 트랜시버들(예를 들어, WiFi 또는 Bluetooth™)를 포함하고 정교한 애플리케이션들을 실행할 수 있다. 애플리케이션들 중 일부는 인터넷을 내비게이팅하기 위한 웹 브라우저, 전화를 걸기 위한 애플리케이션, 비디오들을 보거나 픽처들과 상호작용하기 위한 비디오 또는 이미지 코덱들, 음악을 듣기 위한 코덱들, 턴-바이-턴 내비게이션 애플리케이션(예를 들어, 목적지 주소 입력 및 지도 보기), 증강 현실 애플리케이션 및 이메일 애플리케이션(예를 들어, 이메일 읽기 및 작성)을 포함할 수 있다. 입력 표면(181)에 입력된 제스처들은 이미지 디스플레이 상에 디스플레이된 콘텐츠를 조작 및 상호작용하고 애플리케이션을 제어하기 위해 사용될 수 있다.
[0051] 일례에서, 신경 네트워크 시스템은 아이웨어 디바이스(100)를 포함한다. 아이웨어 디바이스(100)는 프레임(105) 및 프레임(105)의 좌측 측방향 측면(170A)으로부터 연장되는 좌측 템플(125A) 및 프레임(105)의 우측 측방향 측면(170B)으로부터 연장되는 우측 템플(125B)을 포함한다. 아이웨어 디바이스(100)는 프레임(105) 상의 입력 표면(181), 템플들(110A-B), 측방향 측면들(170A-B) 또는 이들의 조합을 더 포함한다. 아이웨어 디바이스(100)는 사용자에게 이미지를 제시하기 위한 이미지 디스플레이 및 사용자에게 제시된 이미지를 제어하기 위해 이미지 디스플레이에 커플링된 이미지 디스플레이 드라이버를 더 포함한다. 아이웨어 디바이스(100)는 사용자로부터 입력된 적어도 하나의 손가락 접촉(179)으로부터 아이웨어 디바이스(100)의 움직임을 추적하기 위해 입력 표면(181)에 연결된 움직임 추적기(118)를 더 포함한다. 움직임 추적기(118)는 (i) 가속도를 측정하기 위한 적어도 하나의 가속도계, (ii) 회전을 측정하기 위한 적어도 하나의 자이로스코프, 또는 (iii) 적어도 하나의 가속도계 및 적어도 하나의 자이로스코프를 갖는 IMU(inertial measurement unit)를 포함한다.
[0052] 관성 측정 유닛은, 가속도계들 및 자이로스코프들, 때로는 또한 자력계들의 조합을 사용하여 본체의 특정 힘, 각도 레이트, 및 때로는 본체 주위의 자기장을 측정 및 보고하는 전자 디바이스이다. 자력계가 있는 경우, 지구 또는 인공 자기장에 의존하는 특정 제스처들을 검출하기 위해 신경 네트워크에 대한 입력으로서 자기장이 사용될 수 있다. 이 예에서, 관성 측정 유닛은 아이웨어 디바이스(100)의 회전 가속도를 결정한다. 관성 측정 유닛(972)은 하나 이상의 가속도계들을 사용하여 선형 가속도를 그리고 하나 이상의 자이로스코프들을 사용하여 회전 레이트를 검출함으로써 작동한다. 관성 측정 유닛들의 통상적인 구성들은 3개의 축들, 즉, 좌우 이동(X)에 대한 수평 축, 상부-바닥 이동에 대한 수직 축(Y), 및 위-아래 이동(Z)에 대한 깊이 또는 거리 축 각각에 대한 축마다 하나의 가속도계, 자이로스코프 및 자력계를 포함한다. 자이로스코프는 3개의 축들(X, Y 및 Z)을 중심으로 하는 회전율을 검출한다. 자력계는 지구 자기장 및 다른 인공 자기장(예를 들어, 전력선들에 의해 생성된 자기장들)의 혼합인 방향 참조를 생성하는 나침반과 같이 자기장(예를 들어, 남쪽, 북쪽 등)을 검출한다. 3개의 가속도계들은 위에서 정의된 수평(X), 수직(Y) 및 깊이 거리(Z) 축들을 따라 가속도를 검출하며, 이는, 지면, 아이웨어 디바이스(100), 깊이-캡처 카메라 또는 아이웨어 디바이스(100)를 착용한 사용자에 대해 정의된다. 따라서, 가속도계는 3축 가속도 벡터를 검출하고, 이는 그 다음, 지구의 중력 벡터를 검출하기 위해 사용될 수 있다.
[0053] 신경 네트워크 시스템은 예를 들어 아이웨어 디바이스(100) 자체 또는 신경 네트워크 시스템의 다른 컴포넌트들에 메모리(도 3a의 엘리먼트(334))를 더 포함한다. 신경 네트워크 시스템은 예를 들어 아이웨어 디바이스(100) 자체 또는 신경 네트워크 시스템의 다른 컴포넌트들에 이미지 디스플레이 드라이버(도 3a의 엘리먼트(342)), 움직임 추적기(118) 및 메모리(도 3의 엘리먼트(334))에 커플링된 프로세서(도 3a의 엘리먼트(332))를 더 포함한다.
[0054] 신경 네트워크 시스템은 메모리에 프로그래밍(도 3a의 엘리먼트(345))을 더 포함하고 프로세서(도 3a의 엘리먼트(343))에 의한 프로그래밍(도 3a의 엘리먼트(345))의 실행은, 움직임 추적기(118)를 통해, 입력 표면(181) 상에서 사용자로부터 입력된 적어도 하나의 손가락 접촉(179)으로부터 아이웨어 디바이스(100)의 움직임을 추적하도록 아이웨어 디바이스(100)를 구성한다. 움직임 추적기(118)를 통한 추적은 (i) 적어도 하나의 가속도계를 통해 아이웨어 디바이스(100)의 가속도를 측정하는 것, (ii) 적어도 하나의 자이로스코프를 통해 아이웨어 디바이스(100)의 회전을 측정하는 것, 또는 (iii) 관성 측정 유닛을 통해 아이웨어 디바이스(100)의 가속도 및 회전 둘 모두를 측정하는 것을 포함한다. 프로세서(도 3a의 엘리먼트(332))에 의한 프로그래밍(도 3a의 엘리먼트(345))의 실행은 일정 시간 기간에 걸쳐 아이웨어 디바이스(100)의 추적된 움직임의 변화에 기초하여 적어도 하나의 검출된 터치 이벤트를 검출함으로써 아이웨어 디바이스(100)의 입력 표면(181) 상에서 손가락 제스처를 식별하는 하도록 아이웨어 디바이스(100)를 추가로 구성한다. 프로세서(도 3a의 엘리먼트(332))에 의한 프로그래밍(도 3a의 엘리먼트(345))의 실행은 식별된 손가락 제스처에 기초하여 아이웨어 디바이스(100)의 광학 조립체(180A-B)의 이미지 디스플레이 상에 제시된 이미지를 조정하도록 아이웨어 디바이스(100)를 추가로 구성한다.
[0055] 움직임 추적기(118) 및 입력 표면(181)의 다른 배열들이 구현될 수 있다. 일부 배열들에서, 입력 표면은 좌측 테두리(107A) 또는 우측 테두리(107B) 상에, 또는 프레임(105) 상의 상이한 위치들에 또는 청크들(110A-B) 또는 측방향 측면들(170A-B) 중 하나 또는 둘 모두에 있다. 움직임 추적기(118)는 본질적으로 프레임(105), 좌측 청크(110A), 우측 청크(110B), 템플들(125A-B) 등의 임의의 곳에 연결되어, 예를 들어 손가락 접촉(179)으로부터 얻어지는 아이웨어 디바이스(100)의 움직임(186)을 추적할 수 있다.
[0056] 도 2는 움직임 추적기(118) 및 회로 보드(140A)를 도시하는 도 1b 및 도 1c의 아이웨어 디바이스(100)의 좌측 청크(110A)의 상부 단면도이다. 이 예에서, 좌측 청크(110A)는 움직임 추적기(118)를 포함하는 가요성 인쇄 회로 보드(140A)를 포함한다. 좌측 청크(110A)는 좌측 측방향 측면(170A) 상의 프레임(105)에 통합되거나 연결된다. 일부 예들에서, 우측 청크(110B)는 유사한 구성으로 움직임 추적기(118)를 포함할 수 있다.
[0057] 아래의 도 3a 내지 도 3f 및 도 4a 내지 도 4c에 설명된 바와 같이, 제스처, 착용, 휴대 또는 활동 검출 프로그래밍에서 구현된 신경 네트워크 시스템은 학습가능한 가중치들 및 바이어스들을 갖는 인공 뉴런들로 이루어진다. 이러한 CNN(convolutional neural network) 모델들은 서버 시스템(398)과 같은 호스트 컴퓨터를 통해 구축된다. 호스트 컴퓨터는 개인용 컴퓨터, 임베디드 고속 프로세서, GPU, FPGA 또는 신경 네트워크 트레이닝을 수행하는 임의의 다른 시스템일 수 있다. 서버 시스템(398)은, 예를 들어 프로세서, 메모리, 및 네트워크(395)를 통해 모바일 디바이스(390) 및 아이웨어 디바이스(100)와 통신하기 위한 네트워크 통신 인터페이스를 포함하는 서비스 또는 네트워크 컴퓨팅 시스템의 일부로서 하나 이상의 컴퓨팅 디바이스들일 수 있다. 서버 시스템(398)이 모바일 디바이스(399) 또는 아이웨어 디바이스(100)와 통신하도록 요구되지는 않는다. 신경 네트워크를 트레이닝하는 컴퓨팅 시스템은 독립형일 수 있으며 임의의 네트워크에 특별히 연결되지 않을 수 있다. 시간 기간(360)에 걸쳐 추적된 움직임이 높은 신뢰 레벨을 갖기 위해, 인식된 제스처 또는 활동 또는 디바이스가 착용중이거나 휴대중인 것, 많은(예를 들어, 수백 또는 수천) 특징부들, 예를 들어, 움직임 추적기(118)에 의해 취해진 측정들(361A-N, 364A-N)은 신경 네트워크 모델에 모델 입력 층으로서 입력된다. 그러나, 속도, 메모리 풋프린트(RAM 및 디스크/플래시 저장부 둘 모두) 및 효율성을 개선하기 위해, 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386) 또는 활동 검출 프로그래밍(302)은, 예를 들어, 인식된 제스처, 활동, 또는 착용/휴대 신경 네트워크 모델들의 100개 또는 1000개의 측정 특징부들 모두 대신에 5 내지 10개의 두드러진 측정 특징부들이 매칭될 때 절차를 단순화시키는 것으로 결정할 수 있다. 또한, 빠르고 낮은 메모리 풋프린트 신경 네트워크 순방향 패스 시스템을 갖는 것은 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386), 또는 활동 검출 프로그래밍(302)이 실행되고 아이웨어 디바이스(100)에 포함된 것과 같이 저전력 계산 시스템(320) 상에서 실행될 수 있게 한다. 구체적으로, 트레이닝된 신경 네트워크(순방향 패스)는 저전력 회로부 상에서 실행된다. 따라서, 고속 회로부(330)의 메모리(334)에 도시되어 있지만, 신경 네트워크, 예를 들어, 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386) 또는 활동 검출 프로그래밍(302)은 저전력 프로세서(323)에서 저장되고 실행될 수 있다. 트레이닝 자체는 서버 또는 컴퓨터 상에서 일회성 작업으로서 오프라인으로 수행되지만 실제로는 임의의 고속 컴퓨팅 플랫폼 상에서 수행될 수 있다.
[0058] 신경 네트워크에서 계산의 기본 단위는 종종 노드 또는 유닛으로 지칭되는 뉴런이다. 뉴런은 일부 다른 노드들로부터 또는 외부 소스로부터 입력을 수신하고 출력을 컴퓨팅한다. 각각의 입력은 관련 가중치(w)를 갖고, 이는 다른 입력들에 대한 상대적 중요성에 기초하여 할당된다. 입력 층은 외부 세계로부터 신경 네트워크에 정보를 제공하고 입력 노드들로 구성된다(예를 들어, 움직임 추적기(118)에 의해 시간 기간(360)에 걸쳐 추적된 움직임). 은닉 층(348)(예를 들어, 터치 이벤트(349A-N))은 외부 세계와 직접적인 연결이 없지만, 계산들을 수행하고 입력 노드들로부터 출력 노드들로 정보를 전송한다. 출력 층은 계산들 및 신경 네트워크로부터 외부 세계로의 정보의 전송을 담당한다(예를 들어, 식별된 손가락 제스처들(369A-N) 및 신뢰 레벨들(371A-N)). 출력 층은 최종적인 분류된 네트워크 출력들을 담당한다. 분류된 출력들은 더블 탭과 같은 제스처를 식별한다. 추가 알고리즘들은 이러한 결과를 액션으로 프로세싱한다.
[0059] 뉴런은 입력들의 가중된 합에 함수(f)를 적용한다. 각각의 뉴런은 일부 입력들을 수신하고, 내적을 수행하고 선택적으로 비선형성으로 이를 따른다. 여기서 비선형성은 함수 f이다. Output = f(sum(input(i) * weight(i))). 따라서 신경 네트워크는 입력 층, 은닉 층, 출력 층으로 지칭되는 3개의 층들로 형성된다. 함수 f는 비선형이고 활성화 함수로 지칭된다. 활성화 함수의 목적은 뉴런의 출력에 비선형성을 도입하는 것이다. 이는, 대부분의 실세계 데이터가 비선형이기 때문에 중요하고, 이것은 뉴런들이 이러한 비선형 표현들로부터 학습하도록 허용한다.
[0060] 모든 활성화 함수(또는 비선형성)는 단일 숫자를 취하고 이에 대해 특정한 고정된 수학적 연산을 수행한다. 실제로 발생하는 몇몇 활성화 함수들이 있다: (i) sigmoid: 실수 값 입력을 취하고 이를 0과 1 사이의 범위로 스쿼시(squash)함; (ii) tanh: 실수 값 입력을 취하고, 이를 [-1, 1] 범위로 스쿼시함; 및 (iii) ReLU(Rectified Linear Unit의 약자), 이는 실수 값 입력을 취하고, 이를 제로에서 임계화함(음수 값들을 제로로 대체함).
[0061] 도 3a는 신경 네트워크 모델(제스처 검출 프로그래밍(345)), 모바일 디바이스(390) 및 다양한 네트워크들을 통해 연결된 서버 시스템(398)에 기초하여 손가락 제스처들을 식별하기 위해 움직임 추적기(118)를 갖는 아이웨어 디바이스(100)를 포함하는 예시적인 신경 네트워크 시스템(300)의 하이 레벨 기능 블록도이다. 아이웨어 디바이스(100)는 호스트 컴퓨터와 연결된다. 예를 들어, 아이웨어 디바이스(100)는 고속 무선 연결부(337)를 통해 모바일 디바이스(390)와 페어링되거나 네트워크(395)를 통해 서버 시스템(398)에 연결된다.
[0062] 신경 네트워크 시스템(300)은 도 3a의 예에서 아이웨어 디바이스(100)인 웨어러블 디바이스(399)를 포함한다. 웨어러블 디바이스(399)는 또한 도 3b에 도시된 바와 같은 시계, 손목 밴드, 또는 모바일 디바이스(390) 또는 서버 시스템(398)과 하나 이상의 무선 네트워크들 또는 무선 링크들을 통해 통신하기 위해 사용자에 의해 착용되도록 설계된 다른 휴대용 디바이스일 수 있다. 모바일 디바이스(390)는 스마트폰, 태블릿, 랩톱 컴퓨터, 액세스 포인트, 또는 저전력 무선 연결부(325) 및 고속 무선 연결부(337) 둘 모두를 사용하여 아이웨어 디바이스(100)와 연결할 수 있는 임의의 다른 그러한 디바이스일 수 있다. 모바일 디바이스(390)는 서버 시스템(398) 및 네트워크(395)에 연결된다. 네트워크(395)는 유선 및 무선 연결들의 임의의 조합을 포함할 수 있다.
[0063] 아이웨어 디바이스(100)는 움직임 추적기(118) 및 깊이-캡처 카메라, 예를 들어, 가시광 카메라들(114A-B) 중 적어도 하나; 및 깊이 센서(도시되지 않지만, 적외선 방출기 및 적외선 카메라를 포함함)를 포함한다. 아이웨어 디바이스(100)는 광학 조립체의 2개의 이미지 디스플레이들(180A-B)을 더 포함한다(하나는 좌측 방향 측면(170A)과 연관되고 하나는 우측 측방향 측면(170B)와 연관됨). 아이웨어 디바이스(100)는 또한 이미지 디스플레이 드라이버(342), 이미지 프로세서(312), 저전력 회로부(320) 및 고속 회로부(330)를 포함한다. 광학 조립체(180A-B)의 이미지 디스플레이는 이미지들의 시퀀스를 포함할 수 있는 이미지들 및 비디오들을 제시하기 위한 것이다. 이미지 디스플레이 드라이버(342)는, 이미지들을 제시하도록 광학 조립체(180A-B)의 이미지 디스플레이를 제어하기 위해 광학 조립체(180A-B)의 이미지 디스플레이에 커플링된다. 아이웨어 디바이스(100)에 대해 도 3a, 도 3c 및 도 3e에 도시된 컴포넌트들은 테두리들(107A-B) 또는 템플들(125A-B)에서, 하나 이상의 회로 보드들, 예를 들어, PCB 또는 가요성 PCB 상에 위치된다. 대안적으로 또는 추가적으로, 도시된 컴포넌트들은 아이웨어 디바이스(100)의 청크들(110A-B), 프레임(105), 힌지들(226A-B) 또는 브릿지(106)에 위치될 수 있다.
[0064] 일반적으로, 신경 네트워크는 라벨링된 데이터 세트로 사전 트레이닝되고, 그 다음, 아이웨어 디바이스(100) 상에서, 신경 네트워크는 입력들(359A-N)이 제시되고 트레이닝된 가중치들이 출력들(368A-N)을 계산하는 데 사용되는 순방향 패스 메커니즘을 통해 실행된다. 출력들은 검출될 제스처 또는 활동의 각각의 클래스의 확률들을 표현한다.
[0065] 신경 네트워크 시스템(300)에서, 아이웨어 디바이스(100)는 아이웨어 디바이스(100)에 대해 시간 기간(360)에 걸쳐 움직임이 추적되는 제스처 모델 입력 층(359A-N)을 포함한다. 시간 기간(360)에 걸쳐 추적된 움직임은 가속도계 측정들(361A-N)을 포함하고, 이는, 측정된 가속도(MA)(362A-N) 및 측정된 가속도(362A-N)가 취해진 때를 표시하기 위한 측정된 가속 시간 좌표들(363A-N)을 포함한다. 시간 기간(360)에 걸쳐 추적된 움직임은 자이로스코프 측정들(364A-N)을 더 포함하고, 이는, 측정된 회전(MR)(365A-N), 측정된 회전(365A-N)이 취해진 때를 표시하기 위한 측정된 회전 시간 좌표들(366A-N) 및 모션 인터럽트 시간 좌표들(367A-N)(예를 들어, 모션이 검출된 시간들)을 포함한다.
[0066] 도시된 바와 같이, 메모리(334)는 제스처 검출에 대해 본원에 설명된 기능들의 서브세트 또는 전부를 수행하기 위한 제스처 검출 프로그래밍(345)을 더 포함한다. 신경 네트워크 모델은 입력 층, 은닉 층들 및 출력 층을 포함할 수 있지만, 이 예에서 제스처 검출 프로그래밍(345)의 신경 네트워크 모델은 콘벌루셔널 층들(여러 개), 완전 연결 층들(은닉 층들로 사용된 것들) 및 단일 출력 층을 포함한다. 제스처 검출 프로그래밍(345)은 트레이닝된 머신 코드 제스처 모델(346), 제스처 가중치들의 세트(347A-N), 및 은닉 층들(348)(터치 이벤트들(349A-N)을 포함함)을 갖는다. 메모리(334)는 제스처 모델 출력 층(368A-N)을 더 포함한다. 제스처 모델 출력 층(368A-N)은 식별된 손가락 제스처들(369A-N), 식별된 손가락 제스처들(369A-N)에 대한 신뢰 레벨들(371A-N), 및 식별된 손가락 제스처들(369A-N)의 가장 가능성이 높은 제스처를 결정하는 인식된 제스처(372)를 갖는다.
[0067] 고속 회로부(330)는 고속 프로세서(332), 메모리(334) 및 고속 무선 회로부(936)를 포함한다. 예에서, 이미지 디스플레이 드라이버(342)는 광학 조립체(180A-B)의 좌측 및 우측 이미지 디스플레이들을 구동하기 위해 고속 회로부(330)에 연결되고 고속 프로세서(332)에 의해 동작된다. 고속 프로세서(332)는 아이웨어 디바이스(100)에 필요한 임의의 일반적인 컴퓨팅 시스템의 동작 및 고속 통신들을 관리할 수 있는 임의의 프로세서일 수 있다. 고속 프로세서(332)는 고속 무선 회로부(336)를 사용하여 WLAN(wireless local area network)으로의 고속 무선 연결부(337) 상에서 고속 데이터 전송들을 관리하는 데 필요한 프로세싱 자원들을 포함한다. 특정 실시예들에서, 고속 프로세서(332)는 제스처 검출 프로그래밍(345)을 포함하는 펌웨어 및 LINUX 운영 체제와 같은 운영 체제 또는 아이웨어 디바이스(100)의 다른 운영 체제를 실행하고 운영 체제는 실행을 위해 메모리(334)에 저장된다. 임의의 다른 책임들에 추가로, 아이웨어 디바이스(100)를 위한 소프트웨어 아키텍처를 실행하는 고속 프로세서(332)는 고속 무선 회로부(336)로 데이터 전송들을 관리하는데 사용된다. 특정 실시예들에서, 고속 무선 회로부(336)는 본원에서 또한 Wi-Fi로 지칭되는 IEEE(Institute of Electrical and Electronic Engineers) 802.11 통신 표준들을 구현하도록 구성된다. 다른 실시예들에서, 다른 고속 통신 표준들은 고속 무선 회로부(936)에 의해 구현될 수 있다.
[0068] 아이웨어 디바이스(100)의 저전력 무선 회로부(324) 및 고속 무선 회로부(336)는 단거리 트랜시버들(Bluetooth™) 및 무선 와이드, 로컬 또는 광역 네트워크 트랜시버들(예를 들어, 셀룰러 또는 WiFi)을 포함할 수 있다. 저전력 무선 연결부(325) 및 고속 무선 연결부(337)를 통해 통신하는 트랜시버들을 포함하는 모바일 디바이스(390)는 네트워크(395)의 다른 엘리먼트들과 마찬가지로 아이웨어 디바이스(100)의 아키텍처의 세부사항들을 사용하여 구현될 수 있다.
[0069] 메모리(334)는 무엇보다도, 제스처 모델 입력 층(359A-N), 제스처 검출 프로그래밍(345), 제스처 모델 출력 층(368A-N), 좌측 및 우측 가시광 카메라들(114A-B) 및 이미지 프로세서(312)에 의해 생성된 카메라 데이터뿐만 아니라 광학 조립체(180A-B)의 이미지 디스플레이들 상에서 이미지 디스플레이 드라이버(342)에 의한 디스플레이를 위해 생성된 이미지들 및 비디오들을 포함하는 다양한 데이터 및 애플리케이션들을 저장할 수 있는 임의의 저장 디바이스를 포함한다. 메모리(334)는 고속 회로부(330)와 통합된 것으로 도시되어 있지만, 다른 실시예들에서 메모리(334)는 아이웨어 디바이스(100)의 독립적인 독립형 엘리먼트일 수 있다. 이러한 특정 실시예들에서, 전기 라우팅 라인들은 고속 프로세서(332)를 포함하는 칩을 통해 이미지 프로세서(312) 또는 저전력 프로세서(322)로부터 메모리(334)로의 연결을 제공할 수 있다. 다른 실시예들에서, 고속 프로세서(332)는 메모리(334)를 수반하는 판독 또는 기록 동작이 필요할 때마다 저전력 프로세서(322)가 고속 프로세서(332)를 부팅하도록 메모리(334)의 어드레싱을 관리할 수 있다.
[0070] 도 3a에 도시된 바와 같이, 아이웨어 디바이스(100)의 프로세서(332)는 움직임 추적기(118), 깊이-캡처 카메라(가시광 카메라들(114A-B); 또는 가시광 카메라(114A) 및 도시되지 않은 깊이 센서), 이미지 디스플레이 드라이버(342) 및 메모리(334)에 커플링될 수 있다. 아이웨어 디바이스(100)는 아이웨어 디바이스(100)의 프로세서(332)에 의해 메모리(334) 내의 제스처 검출 프로그래밍(345)의 실행의 결과로 아래에서 설명되는 다음 기능들 중 임의의 것의 전부 또는 서브세트를 수행할 수 있다. 도 4a에 도시된 바와 같이, 모바일 디바이스(390)는 모바일 디바이스(390)의 프로세서(430)에 의해 메모리(440A) 내의 제스처 검출 프로그래밍(345)의 실행의 결과로 아래에서 설명되는 다음 기능들 중 임의의 것의 전부 또는 서브세트를 수행할 수 있다.
[0071] 도 3a의 예에서, 프로세서(332)에 의한 제스처 검출 프로그래밍(345)의 실행은 움직임 추적기(118)를 통해, (i) 적어도 하나의 가속도계를 통해 아이웨어 디바이스(100)의 가속도(362A-N)를 측정하는 것, (ii) 적어도 하나의 자이로스코프를 통해 아이웨어 디바이스(100)의 회전(365A-N)을 측정하는 것, 또는 (iii) 관성 측정 유닛을 통해 아이웨어 디바이스(100)의 가속도(362A-N) 및 회전(365A-N) 둘 모두를 측정하는 것에 의해 입력 표면(181) 상에서 사용자로부터 입력된 적어도 하나의 손가락 접촉(179)으로부터 아이웨어 디바이스(100)의 움직임을 추적하는 기능들을 포함하는 기능들을 수행하도록 아이웨어 디바이스(100)를 구성한다. 아이웨어 디바이스(100)는 일정 시간 기간(360)에 걸쳐 아이웨어 디바이스(100)의 추적된 움직임의 변화에 기초하여 적어도 하나의 검출된 터치 이벤트(349A-N)를 검출함으로써 아이웨어 디바이스의 입력 표면(181) 상에서 손가락 제스처(369A-N)를 식별한다. 아이웨어 디바이스(100)는 식별된 손가락 제스처(369A-N)에 기초하여 아이웨어 디바이스(100)의 이미지 디스플레이(180A-B) 상에 제시된 이미지를 조정한다.
[0072] 움직임 추적기(118)는 시간 기간에 걸쳐, (i) 가속도계를 통해 측정된 가속도(362A-N), (ii) 적어도 하나의 자이로스코프를 통해 측정된 회전(365A-N), 또는 (iii) 관성 측정 유닛을 통해 측정된 가속도(362A-N) 및 회전(365A-N) 둘 모두의 각각의 취해진 측정에 대한 개개의 시간 좌표(363A-N, 366A-N, 367A-N)를 추적하도록 추가로 구성된다. 아이웨어 디바이스(100)는, 움직임 추적기(118)를 통해, 각각의 취해진 측정(362A-N, 365A-N)에 대한 개개의 시간 좌표(363A-N, 366A-N, 367A-N)를 추적한다. 시간 기간(360)에 걸쳐 추적된 움직임의 변화에 기초하여 적어도 하나의 터치 이벤트(349A-N)를 검출하는 기능은 각각의 취해진 측정(362A-N, 365A-N)에 대한 개개의 시간 좌표(363A-N, 366A-N, 367A-N)에 추가로 기초한다.
[0073] 일정 시간 기간에 걸쳐 아이웨어 디바이스(100)의 추적된 움직임(360)의 변화에 기초하여 적어도 하나의 검출된 터치 이벤트(349A-N)를 검출함으로써 아이웨어 디바이스(100)의 입력 표면(181) 상에서 손가락 제스처를 식별하는 기능은 다음 기능들을 포함한다. 첫째로, 인식된 제스처 모델(346)에서 인식된 제스처에 대한 추적된 움직임(360)의 변화의 유사성을 결정하기 위해, 시간 기간(360) 동안 샘플링 주파수에서 취해진 (i) 가속도계를 통해 측정된 가속(362A-N), (ii) 적어도 하나의 자이로스코프를 통해 측정된 회전(365A-N), 또는 (iii) 관성 측정 유닛을 통해 측정된 가속도(362A-N) 및 회전(365A-N) 둘 모두의 취해진 측정들을 포함하는 다수의 모델 입력들(359A-N)을 인식된 제스처 모델(346)에 적용하는 것. 인식된 제스처 모델(346)은 하나 이상의 시간 인터벌들에 걸쳐 (i) 가속도(378A-N), (ii) 회전(381A-N) 또는 (iii) 가속도(378A-N) 및 회전(381A-N) 둘 모두의 포착된 트레이닝 데이터(376A-N)에 기초한 제스처 가중치들의 세트(347A-N)를 포함한다. 둘째로, 개개의 인식된 제스처(369A-N)에 대한 추적된 움직임(360)의 변화의 결정된 유사성에 기초하여 각각의 개개의 인식된 제스처(369A-N)의 개개의 신뢰 레벨(371A-N)을 포함하는 모델 출력(368A-N)을 결정하는 것. 신경 네트워크는 라벨링된 데이터 세트로 사전 트레이닝되고, 그 다음, 아이웨어 디바이스(100) 상에서, 신경 네트워크(예를 들어, 제스처 검출 프로그래밍(345))는 입력들(359A-N)이 제시되고 트레이닝된 가중치들(제스처 가중치들의 세트(347A-N))이 출력들을 계산하는 데 사용되는 순방향 패스 메커니즘(예를 들어, 트레이닝된 머신 코드 제스처 모델(346))을 통해 실행된다. 출력들(368A-N)은 검출될 제스처의 각각의 클래스의 확률들을 표현한다.
[0074] 인식된 제스처 모델(346)에서 인식된 제스처에 대한 추적된 움직임(360)의 변화의 유사성을 결정하고 모델 출력(368A-N)을 결정하기 위해 다수의 모델 입력들(359A-N)을 적용하는 기능은 아이웨어 디바이스(100) 내의 펌웨어 프로그래밍으로서 임베딩된다. 일정 시간 기간에 걸쳐 아이웨어 디바이스(100)의 추적된 움직임(360)의 변화에 기초하여 적어도 하나의 검출된 터치 이벤트(349A-N)를 검출함으로써 아이웨어 디바이스(100)의 입력 표면(181) 상에서 손가락 제스처를 식별하는 기능은 인식된 제스처(372)를 모델 출력(368A-N)에서 최고 값을 갖는 개개의 신뢰 레벨(371A-N)을 갖는 개개의 인식된 제스처(369A-N)로서 식별하는 것을 더 포함한다. 인식된 제스처를 모델 출력(368A-N)에서 최고 값을 갖는 개개의 신뢰 레벨(369A-N)을 갖는 개개의 인식된 제스처(369A-N)로서 식별하는 기능은 아이웨어 디바이스(100) 내의 애플리케이션 계층 프로그래밍이다.
[0075] 아이웨어 디바이스(100)의 출력 컴포넌트들은 도 1b 및 도 1c에 설명된 바와 같은 광학 조립체(180A-B)의 좌측 및 우측 이미지 디스플레이들(예를 들어, LCD(liquid crystal display), PDP(plasma display panel), LED(light emitting diode) 디스플레이, 프로젝터 또는 도파관과 같은 디스플레이)과 같은 시각적 컴포넌트들을 포함한다. 광학 조립체(180A-B)의 좌측 및 우측 이미지 디스플레이들은 비디오에서와 같이 이미지들을 제시할 수 있다. 광학 조립체(180A-B)의 이미지 디스플레이들은 이미지 디스플레이 드라이버(342)에 의해 구동된다. 아이웨어 디바이스(100)의 출력 컴포넌트들은 음향 컴포넌트들(예를 들어, 스피커들), 햅틱 컴포넌트들(예를 들어, 진동 모터), 다른 신호 생성기들 등을 더 포함한다. 아이웨어 디바이스(100), 모바일 디바이스(390) 및 서버 시스템(398)의 입력 컴포넌트들은 영숫자 입력 컴포넌트들(예를 들어, 키보드, 영숫자 입력을 수신하도록 구성되는 터치 스크린, 포토-광학 키보드 또는 다른 영숫자 입력 컴포넌트들), 포인트 기반 입력 컴포넌트들(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서 또는 다른 포인팅 기구들), 촉각 입력 컴포넌트들(예를 들어, 물리적 버튼, 터치들 또는 터치 제스처들의 위치 및 힘을 제공하는 터치 스크린, 또는 다른 촉각 입력 컴포넌트들), 오디오 입력 컴포넌트들(예를 들어, 마이크로폰) 등을 포함할 수 있다.
[0076] 아이웨어 디바이스(100)는 선택적으로 추가적인 주변 디바이스 엘리먼트들을 포함할 수 있다. 이러한 주변 디바이스 엘리먼트들은 아이웨어 디바이스(100)와 통합된 생체 센서들, 추가적인 센서들 또는 디스플레이 엘리먼트들을 포함할 수 있다. 예를 들어, 주변 디바이스 엘리먼트들은 출력 컴포넌트들, 모션 컴포넌트들, 위치 컴포넌트들 또는 본원에 설명된 임의의 다른 이러한 엘리먼트들을 포함하는 임의의 I/O 컴포넌트들을 포함할 수 있다.
[0077] 예를 들어, 생체인식 컴포넌트들은 표현들(예를 들어, 손 표현들, 얼굴 표현들, 음성 표현들, 신체 제스처들 또는 눈 추적)을 검출하는 것, 생체신호들(예를 들어, 혈압, 심박수, 체온, 땀 또는 뇌파)을 측정하는 것, 개인을 식별하는 것(예를 들어, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별 또는 뇌전도 기반 식별) 등을 위한 컴포넌트들을 포함한다. 모션 컴포넌트들은 가속 센서 컴포넌트들(예를 들어, 가속도계), 중력 센서 컴포넌트들, 회전 센서 컴포넌트들(예를 들어, 자이로스코프) 등을 포함한다. 위치 컴포넌트들은 위치 좌표들을 생성하는 위치 센서 컴포넌트들(예를 들어, GPS(Global Positioning System) 수신기 컴포넌트), 포지셔닝 시스템 좌표들을 생성하는 WiFi 또는 Bluetooth™ 트랜시버들, 고도 센서 컴포넌트들(예를 들어, 고도가 유도될 수 있는 공기 압력을 검출하는 고도계들 또는 기압계들), 배향 센서 컴포넌트들(예를 들어, 자력계들) 등을 포함한다. 이러한 포지셔닝 시스템 좌표들은 또한 저전력 무선 회로부(324) 또는 고속 무선 회로부(336)를 통해 모바일 디바이스(390)로부터 무선 연결부들(325 및 337)을 통해 수신될 수 있다.
[0078] 도 3b는 손가락 제스처들(제스처 검출 프로그래밍(345))을 식별하기 위한 신경 네트워크 모델을 구축하기 위해 도 3a의 신경 네트워크 시스템(300)의 서버 시스템(398)에 대한 하드웨어 구성의 예를 단순화된 블록도 형태로 도시한다. 도 3b에 추가로 도시된 바와 같이, 서버 시스템(398)은, 예를 들어 메모리(350), 프로세서(360), 네트워크(395)를 통해 모바일 디바이스(390) 및 웨어러블 디바이스(399), 예를 들어, 아이웨어 디바이스(100)와 통신하기 위한 네트워크 통신 인터페이스(361)를 포함하는 서비스 또는 네트워크 컴퓨팅 시스템의 일부로서 하나 이상의 컴퓨팅 디바이스들일 수 있다. 메모리(350)는 공지되어 있지만 분류되지 않은 제스처들(377A-N)에 대한 시간 인터벌들에 걸쳐 추적된 움직임을 포함하는 제스처 트레이닝 데이터(TD)(376A-N)를 포함한다. 제스처 트레이닝 데이터(376A-N)는 가속도계 트레이닝 데이터(TD)(378A-N)를 포함한다. 가속도계 트레이닝 데이터(378A-N)는 가속도 측정들(379A-N) 및 가속도 측정들(379A-N)이 취해진 때를 표시하는 가속 시간 좌표들(380A-N)을 갖는다. 제스처 트레이닝 데이터(376A-N)는 자이로스코프 트레이닝 데이터(381A-N)를 포함한다. 자이로스코프 트레이닝 데이터(381A-N)는 회전 측정들(382A-N) 및 회전 측정들(382A-N)이 취해진 때를 표시하는 회전 시간 좌표들(383A-N)을 갖는다. 제스처 트레이닝 데이터(376A-N)는 또한 모션 방해 시간 좌표들(384A-N)(예를 들어, 모션이 검출된 시간들)을 포함한다.
[0079] 메모리(350)는 또한 제스처 신경 네트워크 프로그래밍(375)으로 도시된 제스처 모델 생성기를 포함한다. 메모리(350)는 또한 입력된 제스처 트레이닝 데이터(376A-N)에 제스처 신경 네트워크 프로그래밍(375)을 적용하는 것에 대한 응답으로 출력되는 제스처 검출 프로그래밍(345)을 포함한다. 도시된 바와 같이, 제스처 검출 프로그래밍(345)은 트레이닝된 머신 코드 제스처 모델(346), 제스처 가중치들의 세트(347A-N), 및 은닉 층들(348), 예를 들어, 터치 이벤트들(349A-N)을 포함한다. 구축된 제스처 검출 프로그래밍(345)은 제스처 검출을 위해 아이웨어 디바이스(100) 또는 웨어러블 디바이스(399)에 로딩된다.
[0080] 프로세서(360)에 의한 제스처 신경 네트워크 프로그래밍(375)의 실행은 아이웨어 디바이스(100)의 프로세서(332)에 의한 제스처 검출 프로그래밍(345)의 실행 전에 본원에 설명된 기능들의 일부 또는 전부를 수행하도록 서버 시스템(398)을 구성한다. 첫째로, 공지되지만 분류되지 않은 제스처(377A-N)에 대한 하나 이상의 시간 인터벌들에 걸쳐 아이웨어 디바이스(100)의 (i) 가속도(378A-N), (ii) 회전(381A-N), 또는 (iii) 가속도(376A-N) 및 회전(381A-N) 둘 모두의 트레이닝 데이터(376A-N)를 포착한다. 둘째로, 포착된 트레이닝 데이터(376A-N)에 기초하여 분류되지 않은 제스처의 인식된 제스처 모델(346)을 구축한다. 인식된 제스처 모델(346)을 구축하는 기능은 분류되지 않은 제스처의 포착된 트레이닝 데이터(376A-N)로부터 제스처 가중치들의 세트(347A-N)를 교정하고; 인식된 제스처와 연관된 인식된 제스처 모델(346)에 제스처 가중치들의 교정된 세트(347A-N)를 저장하는 기능들을 포함한다.
[0081] 제스처 신경 네트워크 프로그래밍(375)은 트레이닝 데이터에 기초하여 트레이닝된 모델을 생성한다. 트레이닝 데이터는 신경 네트워크의 가중치들을 계산하기 위해 사용되는 사용자 라벨링된 입력들 및 출력들이다. 여기서 스크립팅 언어는, 많은 언어들 또는 하드웨어로 수행될 수 있기 때문에 무관할 수 있다. 구축된 제스처 검출 프로그래밍(345)의 런타임 효율을 개선하기 위해, 제스처 신경 네트워크 프로그래밍(375)은 다음 기능들을 구현할 수 있다. 분류되지 않은 제스처(377A-N)의 포착된 트레이닝 데이터(376A-N)에 기초하여 해석된 프로그래밍 언어에서 트레이닝된 스크립팅 언어 제스처 모델을 생성한다. 트레이닝된 스크립팅 언어 제스처 모델로부터 제스처 가중치들의 교정된 세트(347A-N)를 추출한다. 트레이닝된 스크립팅 언어 제스처 모델에 기초하여 컴파일된 프로그래밍 언어에서 트레이닝된 추론 코드 제스처 모델을 생성한다. 트레이닝된 추론 코드 제스처 모델을 트레이닝된 머신 추론 코드 제스처 모델(346)로 컴파일한다. 제스처 가중치들(347A-N)의 추출된 교정된 세트를 양자화한다.
[0082] 아이웨어 디바이스(100)의 메모리(334)에 저장될 수 있는 제스처 검출 프로그래밍(345)의 런타임 효율 버전은 트레이닝된 추론 머신 코드 제스처 모델(346) 및 제스처 가중치들의 양자화된 교정된 세트(347A-N)를 포함한다. 런타임을 추가로 개선하기 위해, 제스처 검출 프로그래밍(345)은 오직 런타임 동안 정적으로 할당된 메모리를 점유한다.
[0083] 도 3c는 신경 네트워크 모델(착용 검출 프로그래밍(386)), 모바일 디바이스(390) 및 다양한 네트워크들을 통해 연결된 서버 시스템(398)에 기초하여 착용을 검출하기 위해 움직임 추적기(118)를 갖는 아이웨어 디바이스(100)를 포함하는 예시적인 신경 네트워크 시스템(300)의 하이 레벨 기능 블록도이다. 도 3c의 컴포넌트들은 이미 도 3a에서 상세히 설명되었기 때문에, 여기서 세부사항들 중 일부의 반복은 피한다.
[0084] 신경 네트워크 시스템(300)에서, 아이웨어 디바이스(100)의 메모리(334)는 도 3a에 설명된 바와 같이 시간 기간(360)에 걸쳐 움직임이 추적되는 착용 모델 입력 층(385A-N)을 포함한다. 도시된 바와 같이, 메모리(334)는 착용 검출 프로그래밍(386)을 더 포함한다. 착용 검출 프로그래밍(386)은 트레이닝된 머신 코드 착용 모델(387) 및 착용 가중치들의 세트(388A-N)를 갖는다. 메모리(334)는 착용 모델 출력 층(391)을 더 포함한다. 착용 모델 출력 층(391)은 착용 검출 신뢰 레벨(392)인 단일 출력 값일 수 있으며, 이는 착용의 0부터 1까지 범위의 확률 값이다. 미착용 신뢰 레벨은 100%에서 착용 검출 신뢰 레벨을 뺀 값이다. 신경 네트워크 외부의 코드는 이 값을, 이진 분류를 생성하기 위해 통상적으로 0.5에서 임계화한다.
[0085] 프로세서(332)에 의한 착용 검출 프로그래밍(386)의 실행은 하기 기능들을 수행하도록 아이웨어 디바이스(100)를 구성한다. 움직임 추적기(118)를 통해, (i) 적어도 하나의 가속도계를 통해 아이웨어 디바이스(100)의 가속도(362A-N)를 측정하는 것, (ii) 적어도 하나의 자이로스코프를 통해 아이웨어 디바이스(100)의 회전(365A-N)을 측정하는 것, 또는 (iii) 관성 측정 유닛을 통해 아이웨어 디바이스(100)의 가속도(362A-N) 및 회전(365A-N) 둘 모두를 측정하는 것에 의해 입력 표면(181) 상에서 사용자로부터 입력된 적어도 하나의 손가락 접촉(179)으로부터 아이웨어 디바이스(100)의 움직임을 추적한다. 일정 시간 기간(360)에 걸쳐 아이웨어 디바이스의 추적된 움직임의 변화에 기초하여 사용자가 아이웨어 디바이스(100)를 착용하고 있는지 여부를 검출한다.
[0086] 도 3d는 착용 검출을 위한 신경 네트워크 모델을 구축하기 위해 도 3b의 신경 네트워크 시스템의 서버 시스템(398)에 대한 하드웨어 구성의 예를 도시한다. 도 3d의 컴포넌트들은 이미 도 3b에서 상세히 설명되었기 때문에, 여기서 세부사항들 중 일부의 반복은 피한다. 아이웨어 디바이스(100)와 같은 웨어러블 디바이스(399)의 착용을 검출하는 것에 추가로, 본원에 설명된 방법은 모바일 디바이스(390)의 휴대 검출을 가능하게 하기 위해(예를 들어, 사용자가 자신의 손, 사람, 또는 배낭 또는 지갑에 디바이스를 갖고 걷고 있는 때를 결정하기 위해) 사용될 수 있다. 착용 검출 시스템은 예를 들어 장치를 착용한 상태에서 서기, 걷기, 달리기를 구별하는 것과 같은 활동들로 확장될 수 있다. 이는 (자력계의 도움으로) 특정 물체에 대한 시선 또는 주의를 검출하기 위해 사용될 수 있다.
[0087] 도 3d에 추가로 도시된 바와 같이, 서버 시스템(398)의 메모리(350)는 착용/휴대 트레이닝 데이터(TD)(351A-N)를 포함한다. 착용/휴대 트레이닝 데이터(TD)(351A-N)는 웨어러블 디바이스(399)(예를 들어, 아이웨어 디바이스(100)) 또는 모바일 디바이스(390)의 착용/휴대(352A-N) 동안 시간 간격들에 따른 움직임을 추적하였다. 착용/휴대 트레이닝 데이터(351A-N)는 가속도 측정들(379A-N) 및 가속도 측정들(379A-N)이 취해진 때를 표시하는 가속 시간 좌표들(380A-N)을 갖는 가속도계 트레이닝 데이터(TD)(378A-N)를 포함한다. 착용 트레이닝 데이터(351A-N)는 회전 측정들(382A-N) 및 회전 측정들(382A-N)이 취해진 때를 표시하는 회전 시간 좌표들(383A-N)을 포함하는 자이로스코프 트레이닝 데이터(381A-N)를 포함한다. 착용 트레이닝 데이터(351A-N)는 또한 모션 방해 시간 좌표들(384A-N)(예를 들어, 모션이 검출된 시간들)을 포함한다.
[0088] 메모리(350)는 또한 착용/휴대 신경 네트워크 프로그래밍(353)으로 도시된 착용/휴대 모델 생성기를 포함한다. 메모리(350)는 또한 입력된 착용/휴대 트레이닝 데이터(351A-N)에 착용/휴대 신경 네트워크 프로그래밍(353)을 적용하는 것에 대한 응답으로 출력되는 착용/휴대 검출 프로그래밍(386)을 포함한다. 도시된 바와 같이, 착용/휴대 검출 프로그래밍(386)은 트레이닝된 머신 코드 착용/휴대 모델(387) 및 착용/휴대 가중치들의 세트(388A-N)를 포함한다. 본원에 사용된 바와 같이, "트레이닝된 머신 코드"는 "모델"에 대한 순방향 패스 상에서 실행되는 추론 코드(예를 들어, C 언어로 작성되고 그 다음 마이크로제어기 상에서 실행되도록 머신 코드로 컴파일됨)이고, 여기서 모델은 신경 네트워크 가중치들의 표를 포함한다. 이러한 경우 "모델"은 착용/휴대 가중들(388A-N)의 세트이다. "트레이닝된 머신 코드 모델"(추론 코드)은 트레이닝된 머신 코드 착용/휴대 모델(387)이다. 구축된 착용/휴대 검출 프로그래밍(386)은 착용 검출을 위해 웨어러블 디바이스(399)(예를 들어, 아이웨어 디바이스)에 또는 휴대 검출을 위해 모바일 디바이스(390)에 로딩된다.
[0089] 착용 검출 예에서, 프로세서(360)에 의한 착용 신경 네트워크 프로그래밍(353)의 실행은 아이웨어 디바이스(100)의 프로세서(332)에 의한 착용 검출 프로그래밍(386)의 실행 전에 본원에 설명된 기능들의 일부 또는 전부를 수행하도록 서버 시스템(398)을 구성한다. 첫째로, 아이웨어 디바이스(100)의 착용 동안 그리고 아이웨어 디바이스(100)가 착용되지 않은 때 하나 이상의 시간 인터벌들에 걸쳐 아이웨어 디바이스(100)의 (i) 가속도(378A-N), (ii) 회전(381A-N), 또는 (iii) 가속도(351A-N) 및 회전(381A-N) 둘 모두의 트레이닝 데이터(378A-N)를 포착한다. 둘째로, 포착된 트레이닝 데이터(351A-N)에 기초하여 인식된 착용 모델(387)을 구축한다. 인식된 착용 모델(387)을 구축하는 기능은, 아이웨어 디바이스(100)의 착용 동안 그리고 아이웨어 디바이스(100)가 착용되지 않은 때 포착된 트레이닝 데이터(351A-N)로부터 착용 가중치들의 세트(388A-N)를 교정하는 것; 및 아이웨어 디바이스(100)의 착용 또는 미착용으로서의 분류와 관련하여 인식된 착용 모델(387)에 착용 가중치들의 교정된 세트(388A-N)(예를 들어, 트레이닝된 세트 또는 최적화된 세트)를 저장하는 것을 포함한다.
[0090] 도 3e는 아이웨어 디바이스(100)의 착용 동안의 신경 네트워크 모델(활동 검출 프로그래밍(302)), 모바일 디바이스(390) 및 다양한 네트워크들을 통해 연결된 서버 시스템(398)에 기초하여 활동들을 식별하기 위해 움직임 추적기를 갖는 아이웨어 디바이스(100)를 포함하는 예시적인 신경 네트워크 시스템의 하이 레벨 기능 블록도이다. 도 3e의 컴포넌트들은 이미 도 3a에서 상세히 설명되었기 때문에, 여기서 세부사항들 중 일부의 반복은 피한다.
[0091] 신경 네트워크 시스템(300)에서, 아이웨어 디바이스(100)는 시간 기간(360)에 걸쳐 움직임이 추적되는 활동 모델 입력 층(301A-N)을 포함한다. 시간 기간(360)에 걸쳐 추적된 움직임은 가속도계 측정들(361A-N)을 포함하고, 이는, 측정된 가속도(MA)(362A-N) 및 측정된 가속도(362A-N)가 취해진 때를 표시하기 위한 측정된 가속 시간 좌표들(363A-N)을 갖는다. 시간 기간(360)에 걸쳐 추적된 움직임은 자이로스코프 측정들(364A-N)을 더 포함하고, 이는, 측정된 회전(MR)(365A-N), 측정된 회전(365A-N)이 취해진 때를 표시하기 위한 측정된 회전 시간 좌표들(366A-N) 및 모션 인터럽트 시간 좌표들(367A-N)(예를 들어, 모션이 검출된 시간들)을 포함한다. 메모리(334)는 활동 모델 출력 층(306A-N)을 더 포함하고, 이는, 식별된 활동들(307A-N), 식별된 활동들(307A-N)에 대한 신뢰 레벨들(308A-N), 및 식별된 활동들(307A-N)의 가장 가능성 높은 활동을 결정하는 인식된 활동(309)을 포함한다.
[0092] 도시된 바와 같이, 메모리(334)는 활동 검출 프로그래밍(302)을 더 포함한다. 활동 검출 프로그래밍(302)은 트레이닝된 머신 코드 활동 모델(303), 활동 가중치들의 세트(347A-N), 및 은닉 층들(389)(착용 이벤트(305)를 포함함)을 포함한다. 프로세서에 의한 활동 검출 프로그래밍(302)의 실행은 하기 기능들을 수행하도록 아이웨어 디바이스(100)를 구성한다. 도 3c에 설명된 바와 같이 사용자가 아이웨어 디바이스(100)를 착용하고 있는 것을 검출하는 것에 대한 응답으로, 시간 기간(360)에 걸쳐 추적된 움직임의 변화에 기초하여 아이웨어 디바이스(100)를 착용한 사용자의 인식된 활동(309)을 식별한다. 인식된 활동(309)의 인식된 활동-기반 조정에 기초하여 아이웨어 디바이스(100)의 이미지 디스플레이(180A-B) 상에 제시된 이미지를 조정한다. 인식된 활동-기반 조정은 사용자가 상호작용하거나 활용하기 위한 애플리케이션의 론치, 은닉 또는 디스플레이(예를 들어, 열기)를 포함한다. 인식된 활동-기반 조정은 실행을 위해 인식된 물체와 관련된 애플리케이션들의 메뉴의 디스플레이를 포함한다(예를 들어, 힌트). 인식된 활동-기반 조정은 애플리케이션의 특징부들을 인에이블, 디스에이블 또는 제한하기 위한 콘텍스트 통지의 제어를 포함한다. 인식된 활동-기반 조정은 시스템 레벨 특징부의 인에이블 또는 디스에이블을 포함한다(예를 들어, 카메라들(114A-B)과 같은 디바이스 주변기기들의 파워 온 또는 파워 오프). 인식된 활동-기반 조정은 전술한 것의 조합을 포함할 수 있다.
[0093] 도 3f는 아이웨어 디바이스(활동 검출 프로그래밍(302))의 착용 동안 활동들을 식별하기 위한 신경 네트워크 모델을 구축하기 위해 도 3e의 신경 네트워크 시스템(300)의 서버 시스템에 대한 하드웨어 구성의 예를 단순화된 블록도 형태로 도시한다. 메모리(350)는 공지되어 있지만 분류되지 않은 활동들(311A-N)에 대한 시간 인터벌들에 걸쳐 추적된 움직임을 포함하는 활동 트레이닝 데이터(TD)(310A-N)를 포함한다. 활동 트레이닝 데이터(310A-N)는 가속도 측정들(379A-N) 및 가속도 측정들(379A-N)이 취해진 때를 표시하는 가속 시간 좌표들(380A-N)을 갖는 가속도계 트레이닝 데이터(TD)(378A-N)를 포함한다. 제스처 트레이닝 데이터(376A-N)는 회전 측정들(382A-N) 및 회전 측정들(382A-N)이 취해진 때를 표시하는 회전 시간 좌표들(383A-N)을 포함하는 자이로스코프 트레이닝 데이터(381A-N)를 포함한다. 제스처 트레이닝 데이터(376A-N)는 또한 모션 방해 시간 좌표들(384A-N)(예를 들어, 모션이 검출된 시간들)을 포함한다.
[0094] 메모리(350)는 또한 활동 신경 네트워크 프로그래밍(312)으로 도시된 활동 모델 생성기를 포함한다. 메모리(350)는 또한 입력된 활동 트레이닝 데이터(310A-N)에 활동 신경 네트워크 프로그래밍(312)을 적용하는 것에 대한 응답으로 출력되는 활동 검출 프로그래밍(302)을 포함한다. 도시된 바와 같이, 활동 검출 프로그래밍(302)은 트레이닝된 머신 코드 활동 모델(303), 활동 가중치들의 세트(304A-N), 및 은닉 층들(389), 예를 들어, 착용 이벤트(305)를 포함한다. 구축된 활동 검출 프로그래밍(302)은 활동 검출을 위해 웨어러블 디바이스(399)(예를 들어, 아이웨어 디바이스(100))에 또는 모바일 디바이스(390)에 로딩된다.
[0095] 프로세서(360)에 의한 활동 신경 네트워크 프로그래밍(312)의 실행은 아이웨어 디바이스(100)의 프로세서(332)에 의한 활동 검출 프로그래밍(302)의 실행 전에 다양한 기능들을 수행하도록 서버 시스템(398)을 구성한다. 첫째로, 서버 시스템(398)은 분류되지 않은 활동(311A-N)의 하나 이상의 시간 인터벌들에 걸쳐 아이웨어 디바이스(100)의 (i) 가속도(378A-N), (ii) 회전(381A-N), 또는 (iii) 가속도(310A-N) 및 회전(381A-N) 둘 모두의 트레이닝 데이터(378A-N)를 포착한다. 둘째로, 서버 시스템(398)은 포착된 트레이닝 데이터(310A-N)에 기초하여 분류되지 않은 활동의 인식된 활동 모델(303)을 구축한다. 인식된 활동 모델(303)을 구축하는 것은 분류되지 않은 활동(311A-N)의 포착된 트레이닝 데이터(310A-N)로부터 분류되지 않은 활동의 활동 가중치들의 세트(304A-N)를 교정하는 것을 포함한다. 인식된 활동 모델(303)을 구축하는 것은 인식된 활동과 관련하여 인식된 활동 모델(303)에 활동 가중치들의 교정된 세트(304A-N)를 저장하는 것을 더 포함한다.
[0096] 도 3a 내지 도 3c에 설명된 바와 같이, 아이웨어 디바이스(100)의 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386), 또는 활동 검출 프로그래밍(302)은 ROM(read-only memory), EPROM(erasable programmable read-only memory) 또는 고속 회로부(330)의 플래시 메모리에 로컬로 저장된다. 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386) 또는 활동 검출 프로그래밍(302)의 펌웨어 층은 인식된 제스처 또는 활동에 대응하는 키워드 및 시간 기간(360)에 걸쳐 추적된 움직임이 제스처 또는 활동에 대응한다는 신뢰 레벨을 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386) 또는 활동 검출 프로그래밍(302)의 애플리케이션 계층에 리턴한다. 신경 네트워크는 인식될 각각의 활동에 대해 하나씩 다수의 확률들을 리턴한다. 통상적으로 일부 임계치(통상적으로 0.5)를 초과하는 최대 확률을 선택하는 것은 최종 결과(활동)가 결정되는 방법이다. 펌웨어는 운영 체제 레벨 아래에 상주하며 더 효율적이고, 이는 예를 들어 하드웨어를 직접 호출함으로써 실행 속도를 최적화한다. 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386) 또는 활동 검출 프로그래밍(302)의 애플리케이션 계층은 인식된 활동 또는 제스처 및 신뢰 레벨에 따라 취할 인식된 제스처 또는 활동 기반 조정을 결정한다. 인식된 제스처 또는 활동 기반 조정 결정이 애플리케이션 계층에 상주하면, 네트워크들(395, 337)을 통해 서버 시스템(398)으로부터 배포된 업데이트들로 동적 변경들이 이루어질 수 있다.
[0097] 런타임이 중요하지 않은 것으로 간주되는 일부 예들에서, 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386) 또는 활동 검출 프로그래밍(302)에 대한 전파되는 업데이트들을 허용하기 위해, 펌웨어는 제스처, 착용/휴대 또는 활동 검출에 활용되지 않고, 전체 로직은 휘발성 타입 메모리(334) 내의 애플리케이션 계층에 상주한다. 이것은 네트워크들(395, 337)을 통해 서버 시스템(398)으로부터 송신되는 업데이트들을 가능하게 할 수 있다. 예를 들어, 서버 시스템(398)은 네트워크 통신 인터페이스(361)를 통해, 상이한 사용자의 동일한 타입의 웨어러블 디바이스(399) 또는 모바일 디바이스(390)로부터 크라우드소싱된 추가적인 트레이닝 데이터(376A-N, 351A-N, 359A-N)를 수신한다. 서버 시스템(398)은 동일한 타입의 웨어러블 디바이스(399)(예를 들어, 아이웨어 디바이스) 또는 동일한 모바일 디바이스(390)로부터 그러나 상이한 사용자들로부터 크라우드소싱된 추가적인 트레이닝 데이터(376A-N, 351A-N, 310A-N)에 기초하여 인식된 물체의 인식된 물체 모델(366)을 업데이트한다. 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386), 또는 활동 검출 프로그래밍(302)을 업데이트하는 것은 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386), 또는 활동 검출 프로그래밍(302)을 재구축하기 위해 모델 생성기를 재적용하는 것을 포함한다. 리-트레이닝은 고속 컴퓨팅 디바이스 상에서 오프라인으로 수행된다. 결과는 신경 네트워크를 업데이트하기 위해 아이웨어에 송신될 수 있는 계산된 가중치들의 세트이다. 통상적으로, 이는 OTA(Over-the-Air) 업데이트로 지칭되고 다른 소프트웨어를 포함할 수 있다. 업데이트를 위한 다른 메커니즘은 사용자 개입없이 백그라운드에서 수행되는 메커니즘이다. 그 다음, 서버 시스템(398)은 네트워크(395)를 통해 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386), 또는 활동 검출 프로그래밍(302)을 웨어러블 디바이스(399)(예를 들어, 아이웨어 디바이스) 또는 모바일 디바이스(390)에 전송한다.
[0098] 도 4a는 신경 네트워크 모델(제스처 검출 프로그래밍(345))에 기초하여 손가락 제스처들을 식별하기 위한 움직임 추적기(118)를 포함하는, 도 3a 및 도 3b의 신경 네트워크 시스템의 모바일 디바이스(390) 또는 웨어러블 디바이스(399)에 대한 하드웨어 구성의 예를 도시한다. 도 4a에 도시된 바와 같이, 제스처 검출을 위해 웨어러블 디바이스(399) 또는 모바일 디바이스(390)에서 구현된 제스처 검출 프로그래밍(345)은 아이웨어 디바이스(100)에 대해 도 3a에 도시된 것과 동일하다. 도 3b의 제스처 신경 네트워크 프로그래밍(375)은 아이웨어 디바이스(100)와 정확히 동일한 방식으로 웨어러블 디바이스(399) 및 모바일 디바이스(390)에 대한 제스처 검출 프로그래밍(345)을 트레이닝한다. 그러나, 제스처 트레이닝 데이터(376A-N) 및 제스처 모델 입력 층(359A-N)은 움직임 추적기(118) 상에서 취해진 측정들의 타입 및 값뿐만 아니라 아이웨어 디바이스(100), 웨어러블 디바이스(399) 및 모바일 디바이스(390)의 폼 팩터에 따라 달라지기 때문에, 제스처 가중치들의 세트(347A-N) 및 트레이닝된 머신 코드 제스처 모델(346)은 디바이스마다 다를 수 있다. 그 결과, 제스처 검출 프로그래밍(345)은 장치 특정적일 수 있다. 일부 예들에서, IMU 위치 및 변환들은 다른 유사한 디바이스에 재적용될 수 있으며 동일한 신경 네트워크가 사용될 수 있다. 정확도는 좋지 않을 것이지만, 이러한 경우 더 짧은/더 작은 리-트레이닝 패스만이 수행되면 된다.
[0099] 도 4b는 신경 네트워크 모델에 기초하여 웨어러블 디바이스(399)의 착용 또는 모바일 디바이스(390)의 휴대를 검출하기 위한 움직임 추적기(118)를 포함하는, 도 3c 및 도 3d의 신경 네트워크 시스템(300)의 모바일 디바이스(390) 또는 웨어러블 디바이스(399)에 대한 하드웨어 구성의 예를 도시한다. 도 4b에 도시된 바와 같이, 착용 검출을 위해 웨어러블 디바이스(399)에 구현된 착용(386) 검출 프로그래밍(345) 또는 휴대 검출을 위해 모바일 디바이스(390)에 구현된 휴대 검출 프로그래밍(386)은 아이웨어 디바이스(100)에 대해 도 3c에 도시된 것과 동일하다. 도 3d의 제스처 착용 또는 휴대 신경 네트워크 프로그래밍(353)은 아이웨어 디바이스(100)와 정확히 동일한 방식으로 웨어러블 디바이스(399)에 대한 착용 검출 프로그래밍(386) 및 모바일 디바이스(390)에 대한 휴대 검출 프로그래밍(386)을 트레이닝한다. 그러나, 착용 또는 휴대 트레이닝 데이터(351A-N) 및 착용 또는 휴대 모델 입력 층(385A-N)은 움직임 추적기(118) 상에서 취해진 측정들의 타입 및 값뿐만 아니라 아이웨어 디바이스(100), 웨어러블 디바이스(399) 및 모바일 디바이스(390)의 폼 팩터에 따라 달라지기 때문에, 착용 또는 휴대 가중치들의 세트(388A-N) 및 트레이닝된 머신 코드 착용 또는 휴대 모델(387)은 디바이스마다 다를 것이다. 그 결과, 착용 또는 휴대 검출 프로그래밍(386)은 고유하게 장치 특정적이다.
[00100] 도 4c는 신경 네트워크 모델에 기초하여 활동들을 식별하기 위한 움직임 추적기(118)를 포함하는, 도 3e 및 도 3f의 신경 네트워크 시스템(300)의 모바일 디바이스(390) 또는 웨어러블 디바이스(399)에 대한 하드웨어 구성의 예를 도시한다. 도 4c에 도시된 바와 같이, 활동 검출을 위해 웨어러블 디바이스(399) 또는 모바일 디바이스(390)에서 구현된 활동 검출 프로그래밍(302)은 아이웨어 디바이스(100)에 대해 도 3e에 도시된 것과 동일하다. 도 3f의 활동 신경 네트워크 프로그래밍(312)은 아이웨어 디바이스(100)와 정확히 동일한 방식으로 웨어러블 디바이스(399) 및 모바일 디바이스(390)에 대한 활동 검출 프로그래밍(302)을 트레이닝한다. 그러나, 활동 트레이닝 데이터(310A-N) 및 활동 모델 입력 층(301A-N)은 움직임 추적기(118) 상에서 취해진 측정들의 타입 및 값뿐만 아니라 아이웨어 디바이스(100), 웨어러블 디바이스(399) 및 모바일 디바이스(390)의 폼 팩터에 따라 달라지기 때문에, 활동 가중치들의 세트(304A-N) 및 트레이닝된 머신 코드 활동 모델(303)은 디바이스마다 다를 것이다. 그 결과, 활동 검출 프로그래밍(302)은 고유하게 장치 특정적이다.
[00101] 도 4a 내지 도 4c에 도시된 바와 같이, 웨어러블 디바이스(399) 또는 모바일 디바이스(390)는 이미지 디스플레이(480) 및 이미지 디스플레이(480)를 제어하기 위한 이미지 디스플레이 드라이버(490)를 포함한다. 도 4a의 예에서, 이미지 디스플레이(480) 및 사용자 입력 디바이스(491)는 터치 스크린 디스플레이로 함께 통합된다. 사용될 수 있는 터치 스크린 타입 모바일 디바이스들의 예들은 스마트 폰, PDA(Personal Digital Assistant), 태블릿 컴퓨터, 랩톱 컴퓨터 또는 다른 휴대용 디바이스를 포함한다(그러나, 이에 제한되지는 않음). 그러나, 터치 스크린 타입 디바이스들의 구조 및 동작은 예로서 제공되며; 본원에 설명된 주제 기술은 이에 제한되도록 의도되지 않는다. 따라서, 이러한 논의의 목적을 위해, 도 4a 내지 도 4c는 콘텐츠를 디스플레이하고 사용자 인터페이스로서(또는 그 일부로서) 사용자 입력을 수신하기 위한 터치 스크린 디스플레이를 갖는 예시적인 모바일 디바이스(390) 및 웨어러블 디바이스(399)의 블록도 예시들을 제공한다.
[00102] 여기서 논의들의 초점이 되는 활동들은 통상적으로 웨어러블 디바이스(예를 들어, 아이웨어 디바이스(100)) 또는 모바일 디바이스(390)의 손가락 제스처들, 착용/휴대 또는 활동들을 검출하는 것과 관련된 데이터 통신들을 수반한다. 도 4a 내지 도 4c에 도시된 바와 같이, 모바일 디바이스(390) 및 웨어러블 디바이스(399)는 광역 무선 모바일 통신 네트워크를 통한 디지털 무선 통신들을 위해 WWAN XCVR들로 도시된 적어도 하나의 디지털 트랜시버(XCVR)(410)를 포함한다. 모바일 디바이스(390) 및 웨어러블 디바이스(399)는 또한 NFC, VLC, DECT, ZigBee, Bluetooth™ 또는 WiFi를 통한 단거리 네트워크 통신을 위한 단거리 XCVR들(420)과 같은 추가 디지털 또는 아날로그 트랜시버들을 포함한다. 예를 들어, 단거리 XCVR들(420)은 IEEE 802.11 하의 Wi-Fi 표준들 및 WiMAX 중 하나와 같은 무선 로컬 영역 네트워크들에서 구현되는 하나 이상의 표준 통신 프로토콜들과 호환가능한 타입의 임의의 이용가능한 양방향 WLAN(wireless local area network) 트랜시버의 형태를 취할 수 있다.
[00103] 모바일 디바이스(390) 및 웨어러블 디바이스(399)의 포지셔닝을 위한 위치 좌표들을 생성하기 위해, 모바일 디바이스(390) 및 웨어러블 디바이스(399)는 GPS(global positioning system) 수신기를 포함할 수 있다. 대안적으로 또는 추가적으로 모바일 디바이스(390) 및 웨어러블 디바이스(399)는 포지셔닝을 위한 위치 좌표들을 생성하기 위해 근거리 XCVR들(420) 및 WWAN XCVR들(410) 중 하나 또는 둘 모두를 활용할 수 있다. 예를 들어, 셀룰러 네트워크, WiFi 또는 Bluetooth™ 기반 포지셔닝 시스템들은 특히 조합하여 사용될 때 매우 정확한 위치 좌표들을 생성할 수 있다. 이러한 위치 좌표들은 XCVR들(410, 420)을 통해 하나 이상의 네트워크 연결부들을 통해 아이웨어 디바이스에 송신될 수 있다.
[00104] 트랜시버들(410, 420)(네트워크 통신 인터페이스)은 현대식 모바일 네트워크에 의해 활용되는 다양한 디지털 무선 통신 표준들 중 하나 이상을 준수한다. WWAN 트랜시버들(410)의 예들은, 예를 들어 제한없이 3GPP(3rd Generation Partnership Project) 타입 2(또는 3GPP2) 및 때때로 "4G"로 지칭되는 LTE를 포함하는 3GPP 네트워크 기술들 및 CDMA(Code Division Multiple Access)에 따라 동작하도록 구성된 트랜시버들을 포함한다(그러나 이에 제한되지 않음). 예를 들어, 트랜시버들(410, 420)은 디지털화된 오디오 신호들, 정지 이미지들 및 비디오 신호들, 디스플레이를 위한 웹 페이지 정보뿐만 아니라 웹 관련 입력들, 및 신경 네트워크 시스템(300)에 대한 모바일 디바이스(390) 또는 웨어러블 디바이스(399)로의/로부터의 다양한 타입들의 모바일 메시지 통신들을 포함하는 정보의 양방향 무선 통신을 제공한다.
[00105] 앞서 논의된 바와 같이 트랜시버들(410, 420) 및 네트워크를 통한 이러한 타입들의 통신들 중 몇몇은 손가락 제스처들, 착용, 휴대 또는 활동들을 검출하기 위한 아이웨어 디바이스(100) 또는 서버 시스템(398)과의 통신들의 지원에서 프로토콜들 및 절차들과 관련된다. 예를 들어, 이러한 통신들은 도 3a, 도 3c 및 도 3e에 도시된 바와 같이 아이웨어 디바이스(100)로 및 그로부터 무선 연결부들(325 및 337)을 통한 단거리 XCVR들(420)을 통해 패킷 데이터를 전송할 수 있다. 예를 들어, 이러한 통신들은 또한 도 3b, 도 3d 및 도 3f에 도시된 네트워크(예를 들어, 인터넷)(395)를 통해 WWAN XCVR들(410)을 통해 IP 패킷 데이터 전송을 활용하여 데이터를 전송할 수 있다. WWAN XCVR들(410) 및 단거리 XCVR들(420)은 RF(radio frequency) 전송-및-수신 증폭기들(도시되지 않음)을 통해 연관된 안테나(도시되지 않음)에 연결된다.
[00106] 웨어러블 디바이스(399) 및 모바일 디바이스(390)는 본 명세서에서 때때로 호스트 제어기로 지칭되는 CPU(430)로 도시된 마이크로프로세서를 더 포함한다. 프로세서는 하나 이상의 프로세싱 기능들, 즉, 통상적으로 다양한 데이터 프로세싱 기능들을 수행하도록 구조화되고 배열된 엘리먼트들을 갖는 회로이다. 개별 로직 컴포넌트들이 사용될 수 있지만, 예들은 프로그래밍가능한 CPU를 형성하는 컴포넌트들을 활용한다. 예를 들어, 마이크로프로세서는 CPU의 기능들을 수행하기 위해 전자 엘리먼트들을 통합하는 하나 이상의 IC(integrated circuit) 칩들을 포함한다. 예를 들어, 프로세서(430)는 오늘날 모바일 디바이스들 및 다른 휴대용 전자 디바이스들에서 통상적으로 사용되는 바와 같이 ARM 아키텍처를 사용하여 RISC(Reduced Instruction Set Computing)와 같은 임의의 공지된 또는 이용가능한 마이크로프로세서 아키텍처에 기초할 수 있다. 물론, 스마트폰, 랩톱 컴퓨터 및 태블릿에서 CPU(430) 또는 프로세서 하드웨어를 형성하기 위해 다른 프로세서 회로부가 사용될 수 있다.
[00107] 마이크로프로세서(430)는 예를 들어, 프로세서(430)에 의해 실행가능한 프로그래밍 또는 명령들에 따라, 다양한 동작들을 수행하도록 모바일 디바이스(390) 및 웨어러블 디바이스(399)를 구성함으로써 모바일 디바이스(390) 및 웨어러블 디바이스(399)에 대한 프로그래밍가능 호스트 제어기로서 기능한다. 예를 들어, 이러한 동작들은 모바일 디바이스(390) 또는 웨어러블 디바이스(399)의 다양한 일반 동작들뿐만 아니라 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386) 또는 활동 검출 프로그래밍(302) 및 아이웨어 디바이스(100) 및 서버 시스템(398)과의 통신들과 관련된 동작들을 포함할 수 있다. 프로세서는 하드와이어드 로직을 사용하여 구성될 수 있지만, 모바일 디바이스들의 통상적인 프로세서들은 프로그래밍의 실행에 의해 구성된 일반적인 프로세싱 회로들이다.
[00108] 모바일 디바이스(390) 및 웨어러블 디바이스(399)는 데이터 및 프로그래밍을 저장하기 위한 메모리 또는 저장 디바이스 시스템을 포함한다. 이 예에서, 메모리 시스템은 플래시 메모리(440A) 및 RAM(random access memory)(440B)를 포함할 수 있다. RAM(440B)은 예를 들어, 작동 데이터 프로세싱 메모리와 같이 프로세서(430)에 의해 처리되는 명령들 및 데이터를 위한 단기 저장부로서 기능한다. 플래시 메모리(440A)는 통상적으로 장기 저장부를 제공한다. 모바일 디바이스(390) 및 웨어러블 디바이스(399)는 가시광 카메라(470)를 포함할 수 있다.
[00109] 모바일 디바이스(390) 또는 웨어러블 디바이스(399)의 예에서, 플래시 메모리(440A)는 프로세서(430)에 의한 실행을 위한 프로그래밍 또는 명령들을 저장하기 위해 사용된다. 전술된 바와 같이, 속도 및 효율을 위해, 아이웨어 디바이스(100)의 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386) 또는 활동 검출 프로그래밍(302)은 펌웨어로 구현될 수 있다. 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386), 또는 활동 검출 프로그래밍(302)은 ROM(read-only memory), EPROM(erasable programmable read-only memory) 또는 플래시 메모리(440A)에 로컬로 저장될 수 있다.
[00110] 대안적으로 또는 추가적으로, 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386), 또는 활동 검출 프로그래밍(302)은 이전에 설명된 바와 같이 애플리케이션 계층에서 구현되거나 애플리케이션 계층에 상주하는 부분들을 가질 수 있다. 따라서, 디바이스의 타에 따라, 모바일 디바이스(390) 및 웨어러블 디바이스(399)는 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386), 활동 검출 프로그래밍(302)을 포함하는 특정 애플리케이션들 및 아이웨어 디바이스(100) 및 서버 시스템(398)과의 통신들이 실행되게 하는 모바일 운영 체제를 저장하고 실행한다. 애플리케이션들은 모바일 디바이스(390) 또는 웨어러블 디바이스(399) 상에서 실행되는 네이티브 애플리케이션, 하이브리드 애플리케이션 또는 웹 애플리케이션(예를 들어, 웹 브라우저에 의해 실행되는 동적 웹 페이지)일 수 있다. 모바일 운영 체제들의 예들은 Google Android, Apple iOS(I-Phone 또는 iPad 디바이스들), Windows Mobile, Amazon Fire OS, RIM BlackBerry 운영 체제 등을 포함한다.
[00111] 도 5는 제스처, 착용, 휴대 또는 활동 식별을 위해 생성된 신경 네트워크 모델의 실행 속도 및 효율성을 최적화하기 위해 도 3b, 도 3d 및 도 3f의 신경 네트워크 시스템(300)에서 구현될 수 있는 방법의 흐름도이다. 다른 예들에서 트레이닝 모델은 임의의 언어로 생성되거나, 해석되거나 또는 네이티브일 수 있음을 이해해야 한다. 트레이닝 모델은 CPU, GPU, FPGA 또는 ASIC 상에서 생성될 수 있고, 트레이닝 데이터에 기초하여 네트워크의 가중치들을 최적화/계산할 수 있는 한 이것이 어떻게 생성되는지는 실제로 중요하지 않다. 블록(500)에서 시작하여, 웨어러블 디바이스(399)(예를 들어, 아이웨어 디바이스(100))가 착용되는 동안 그리고 또한 웨어러블 디바이스(399)가 착용되지 않은 때 발생하는 공지되지만 분류되지 않은 제스처들(377A-N) 또는 활동들(311A-N)의 시간 인터벌들에 걸쳐 추적된 움직임을 포함하는 포착된 트레이닝 데이터(376A-N, 310A-N)에 기초하여 해석된 프로그래밍 언어의 트레이닝된 스크립팅 언어 모델이 생성된다. 착용 검출을 위해, 트레이닝된 스크립팅 언어 모델은 웨어러블 디바이스(399)(예를 들어, 아이웨어 디바이스(100))의 착용 동안 그리고 웨어러블 디바이스(399)가 착용되지 않은 때 시간 인터벌들에 걸쳐 추적된 움직임의 포착된 트레이닝 데이터(351A-N)에 기초하여 생성된다. 휴대 검출을 위해, 트레이닝된 스크립팅 언어 모델은 모바일 디바이스(390)의 휴대 동안 그리고 모바일 디바이스(390)가 휴대되지 않은 때 시간 인터벌들에 걸쳐 추적된 움직임의 포착된 트레이닝 데이터(351A-N)에 기초하여 생성된다.
[00112] 제스처 식별 예에서, 가속도계 트레이닝 데이터는 데이터 수집을 위한 커스텀 펌웨어를 사용하여 아이웨어 디바이스(100)의 어느 한 측면에서 더블 탭(또는 트리플 탭과 같은 다른 다중 탭) 제스처들 동안 수집된다. 트레이닝 데이터에 대한 가속도계 샘플들의 마지막 800ms 또는 기타 시간 인터벌(들)은 탭 제스처가 어느 측방향 측면(170A-B), 청크(110A-B) 또는 다른 입력 표면(181)에서 발생했는지의 표시와 함께 EMMC(embedded multi-media controller)에서 수집된다. 이러한 프로세스는 트레이닝 데이터 라벨링으로 지칭된다. 각각의 개별적인 데이터 엘리먼트에 대해, 통상적으로 제스처를 특정하는 인간에 의해 라벨이 생성된다. 예를 들어, 더블 탭 검출기의 경우, 라벨들은 없음, 좌측 측면, 우측 측면이다. 추가적으로, 넌-타겟 제스처 트레이닝 데이터에 대해 많은 수의 샘플들이 수집되고; 이것은 널(null) 클래스이다. 일부 예들에서, 이러한 데이터는 트레이닝 및 테스트 데이터 세트로 분할될 수 있다. CNN(convolutional neural network)은 (이전에 언급된 특징부들의 시간적 차원에 대한 1차원 콘벌루셔널 층을 사용하여) 이러한 포착된 트레이닝 데이터에 대해 트레이닝된다. Python으로 작성되고 TensorFlow, CNTK 또는 Theano의 상부 상에서 실행될 수 있는 하이 레벨 신경 네트워크 API인 Keras는 모을 트레이닝하고 트레이닝된 스크립팅 언어 제스처 모델을 생성하기 위해 사용될 수 있다. Keras는 신경 네트워크들을 트레이닝하기 위해 사용될 수 있는 프레임워크의 단지 일례이다. TensorFlow, CNTK 또는 Theano를 직접 사용하거나 임의의 다른 신경 네트워크 트레이닝 프레임워크를 사용할 수 있다. 이는 임의의 다른 프레임워크로 확장될 수 있다.
[00113] 착용 또는 활동 식별 예에서, IMU(inertial measurement unit) 특징부들은 IMU 측정의 타입을 표시하는 CSV(comma separated value) 포맷으로 라벨을 갖는 IMU 트레이닝 데이터를 EMMC에 저장하기 위해 커스텀 펌웨어를 사용하여 착용/착용없음 세션들 동안 트레이닝 데이터로서 수집된다. IMU 특징부들(예를 들어, 트레이닝 데이터)는: 가속도(X, Y, Z); 자이로스코프(피치, 요, 롤) - 회전 가속도; 마지막 모션 인터럽트 이후의 시간(예를 들어, 밀리초)(예를 들어, 모션이 없는 4 초 후에 모션이 발생하면 인터럽트가 발생함); 및 마지막 모션 인터럽트 없음 이후의 시간(예를 들어, 밀리초)(디바이스가 연속 4 초 동안 유휴이면 인터럽트가 발생함)을 포함한다. 이러한 특징부들 각각은 100 Hz의 샘플링 레이트 주파수에서 샘플링된다. 웨어러블 디바이스(399)(예를 들어, 아이웨어 디바이스(100))의 사용자들은 디바이스를 착용하거나 착용하지 않는 다양한 활동들 또는 설정들, 예를 들어, 자전거 타기(예를 들어, 아이웨어 디바이스(100)를 착용하거나 배낭에 아이웨어 디바이스(100)를 가짐), 수영, 조깅 및 운전 동안 데이터를 수집한다. 착용 트레이닝 데이터는 아이웨어 디바이스(100)로부터 다운로드되고, 데이터를 트레이닝 또는 테스트 데이터 세트로 분할한다. CNN(convolutional neural network)은 (이전에 언급된 트레이닝 데이터 특징부들의 시간적 차원에 대한 1차원 콘벌루셔널 층을 사용하여) 데이터에 대해 트레이닝된다. 다음 파라미터들은 변수는 랜덤화된 그리드 검색과 함께 활용될 수 있다. 첫째로, 샘플링 레이트(100 Hz가 필요한 것보다 빠르므로 필요에 따라 다운 샘플링이 사용될 수 있음), 예를 들어 300 ms 샘플링 레이트가 사용될 수 있다. 샘플링 레이트가 느릴수록, 단일 모델 평가에 사용하기 위해 필요한 메모리가 줄어든다(그러나 어느 시점에서 성능이 저하됨). 둘째로, 윈도우 크기(즉, 주어진 시간에 얼마나 많은 연속적인 샘플들이 검사되는지), 예를 들어, 6 초의 샘플들이 사용될 수 있다. 셋째로, 다양한 신경 네트워크 하이퍼 파라미터들(예를 들어, 층들의 수, 활성화 함수들, 손실 함수들 등)이 활용될 수 있다. Keras는 모델을 트레이닝하고 트레이닝된 스크립팅 언어 제스처 모델을 생성하기 위해 사용될 수 있다.
[00114] 만족스러운 제스처, 착용, 휴대 또는 활동 검출을 위한 트레이닝된 스크립팅 언어 모델이 생성되면, 다음 난제는, 그 트레이닝된 스크립팅 언어 모델을 마이크로제어기에 배치하는 것이다(여기서 컴퓨팅 자원들은 제한되는데, 예를 들어, 플래시 및 RAM 메모리에서 극도로 제한됨). 이것이 의미하는 것은 모델에서 가중치들의 수이고, 임의의 주어진 시간에 메모리에서 얼마나 많은 데이터가 필요한지가 매우 중요하다.
[00115] 블록(510)으로 이동하면, 제스처 가중치들(347A-N), 착용/휴대 가중치들(388A-N), 또는 활동 가중치들(304A-N)의 교정된 세트가 트레이닝된 스크립팅 언어 제스처 모델로부터 추출된다. 웨어러블 디바이스(399) 또는 모바일 디바이스(390)의 마이크로제어기의 제한된 컴퓨팅 자원들을 처리하기 위해, 2개의 주요 부분들로 구성된 일반 프레임워크가 활용될 수 있다. 첫째로, Python 스크립트는 제스처, 착용, 휴대 또는 활동 검출을 위해 트레이닝된 스크립팅 언어 모델(예를 들어, Keras 기반)을 취하고, 가중치들의 C 코드, 및 추론 단계를 수행하기 위한 C API(application programming interface)를 생성한다.
[00116] 따라서, 블록(520)으로 계속하면, 컴파일된 프로그래밍에서 제스처들, 착용/휴대 또는 활동 검출을 위한 트레이닝된 추론 코드 모델은 트레이닝된 스크립팅 언어 모델에 기초하여 생성된 언어이다. 예를 들어, Keras로 생성된 트레이닝된 스크립팅 언어 모델은 Python으로 작성되고 Keras 내보내기로 전달되며, 이는 내보낸 C 코드 모델을 생성한다. 또한, 많은 통상적인 신경 네트워크 추상화들(예를 들어, 조밀한 층들, 콘벌루셔널 층들, 다양한 활성화 함수들 등)의 C 코드 정적 라이브러리 구현은 C 코드로 작성되며 내보낸 C 코드 모델에 의해 사용된다. Keras2CPP는 Keras Python 모델들을 C++ 코드로 이식할 수 있는 오픈-소스 도구이지만, 이식된 코드는 많은 최신 C++(많은 STL(Standard Template Libraries), 동적 메모리 할당 등을 포함함)를 포함하고, 라이브러리 코드는 많은 최신 마이크로제어기들에 쉽게 끼워맞추기에는 너무 크다. C 언어 구현에서 트레이닝된 추론 코드 모델은 동적 메모리 할당이 요구되지 않으며, 코드 크기는 10배 초과로 더 작다(동일한 컴파일 플래그들을 갖고, 크기에 대해 최적화됨 등).
[00117] 블록(530)으로 이동하면, 트레이닝된 추론 코드 모델은 트레이닝된 머신 추론 코드 모델로 컴파일된다. 제스처 검출의 경우, 컴파일된 Keras2CPP 라이브러리 크기는 총 16,479 바이트에 대해 14,128 바이트의 텍스트, 2,330 바이트의 데이터, 1 바이트의 정적으로 할당 데이터이다. 공통 신경 네트워크 추상화의 C 코드 정적 라이브러리 구현으로부터 컴파일된 머신 코드의 크기는 총 444 바이트에 대해, 444 바이트의 텍스트, 0 바이트의 데이터이며, 이는 웨어러블 디바이스(예를 들어, 아이웨어 디바이스(100)) 또는 모바일 디바이스(390)에 로딩되는 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386) 또는 활동 검출 프로그래밍(302)에 요구되는 메모리를 극적으로 감소시킨다. 이것은 단지 일례이며, 크기 감소는 모델마다 상당히 다르지만, 중요한 점은, 그 절차가 오직 수백 바이트의 플래시 및 수백 바이트의 RAM만을 사용하여 마이크로 제어기들에 대한 신경 네트워크들의 배치를 가능하게 한다는 점이다.
[00118] 이제 블록(540)으로 진행하여, 제스처 가중치들(347A-N), 착용/휴대 가중치들(388A-N), 또는 활동 가중치들(304A-N)의 추출된 교정된 세트는 양자화된다. 양자화는 부동 소수점 포맷(예를 들어, 적어도 32 비트 IEEE 표준 부동 소수점)으로 저장된 가중치들을 8 비트 숫자들로 변환하며, 이는 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386), 활동 검출 프로그래밍(302)에 요구되는 메모리를 무시가능한 성능 악화로 4배(4x)까지 감소시킨다.
[00119] 이제 블록(550)에서 완료되면, 제스처 가중치들(347A-N), 착용/휴대 가중치들(388A-N), 또는 활동 가중치들(304A-N)의 양자화된 교정된 세트 및 트레이닝된 추론 머신 코드 모델은, 동적으로 할당된 메모리와는 반대로, 웨어러블 디바이스(399)(예를 들어, 아이웨어 디바이스(100)) 또는 모바일 디바이스(390)의 정적으로 할당된 메모리에 로딩된다. 이러한 컴포넌트들은 제스처 검출 프로그래밍(345), 착용/휴대 검출 프로그래밍(386), 또는 활동 검출 프로그래밍(302)을 포함한다.
[00120] 최적화된 C 코드 신경 네트워크 모델이 생성되고 머신 코드로 컴파일되면, 제스처들을 식별하고, 웨어러블 디바이스(399)(예를 들어, 아이웨어 디바이스(100))의 착용 또는 모바일 디바이스(390)의 휴대를 검출하고, 웨어러블 디바이스(399)의 착용 동안 수행되는 임의의 활동들을 식별하기 위해 애플리케이션 펌웨어로부터 모델이 호출된다. 제스처 검출을 위해, IMU로부터 탭 모션 인터럽트(367A-N)에서, 움직임 추적기(118)로부터의 가속도계 측정들(361A-N)의 마지막 800 ms가 트레이닝된 머신 코드 제스처 모델(346)을 통해 실행되어, 아이웨어 디바이스(100)의 어느 한 측면 상에서 더블 탭 제스처들을 검출한다. 아이웨어 디바이스(100) 상의 더블 탭의 측면에 기초하여, 트레이닝된 머신 코드 제스처 모델(346)에서 상이한 동작이 구현된다. 예로서, 더블 탭 검출을 위해 생성된 C 코드 API는 마지막 800 밀리초(ms)로부터의 입력 층 어레이로서 시간 경과에 따른 가속도계 측정들(361A-N)을 취하고, 3개의 클래스들, 즉, 더블 탭 없음, 좌측 템플(125A) 더블 탭 및 우측 템플(125B) 더블 탭에 대한 확률(신뢰 레벨(371A-N)) 출력 층 어레이를 출력한다. 예로서, 착용 검출을 위해 생성된 C 코드 API는 입력 층 어레이로서 시간 경과에 따라 IMU로부터 가속도계 측정들(361A-N), 자이로스코프 측정들(364A-N) 및 모션 데이터(예를 들어, 모션 인터럽트 시간 좌표들(367A-N))를 취하고, 아이웨어 디바이스(100)가 착용되고 있는 단일 확률(신뢰 레벨(392))인 출력 층을 출력한다. 예로서, 활동 검출을 위해 생성된 C 코드 API는 입력 층 어레이로서 시간 경과에 따라 IMU로부터 가속도계 측정들(361A-N), 자이로스코프 측정들(364A-N) 및 모션 데이터(예를 들어, 모션 인터럽트 시간 좌표들(367A-N))를 취하고, 4개의 클래스들(307A-N) 및 신뢰 레벨들(308A-N), 즉, 자전거 타기, 수영, 조깅 및 운전을 포함하는 확률 출력 층 어레이를 출력한다. 입력(예를 들어, 301A-N) 및 출력(306A-N) 층 어레이들은 런타임을 개선하기 위해 동적으로 할당되는 대신 정적으로 할당된다. 물론, 입력 및 출력 층 어레이들의 크기는 제스처들 및 활동들의 수에 따라 달라질 것이다.
[00121] 도 6 내지 도 9는 아이웨어 디바이스(100)의 입력 표면(181) 상의 다수의 손가락 접촉 검출된 터치 이벤트들 및 식별된 손가락 제스처들의 몇몇 예들을 예시한다. 도 6 내지 도 9의 예들 각각에서, 사용자로부터 입력된 적어도 하나의 손가락 접촉(179)에 기초하여 입력 표면(181) 상에서 적어도 하나의 터치 이벤트(349A-N)를 검출하는 기능은 다음 기능들을 포함한다. 제1 입력 시간에 사용자로부터 입력된 제1 손가락 접촉(179A)에 대응하는 제1 시간 좌표(363A, 366A, 367A)에서 취해진 제1 측정(362A, 365A)에 기초하여 입력 표면(181) 상에서 제1 터치 이벤트(349A)를 검출한다. 추적된 시간 기간 내의 제2 입력 시간에 사용자로부터 입력된 제2 손가락 접촉(179B)에 대응하는 제2 시간 좌표(363B, 366B, 367B)에서 취해진 제2 측정(362B, 365B)에 기초하여 입력 표면(181) 상에서 제2 터치 이벤트(349B)를 검출한다. 손가락 제스처를 식별하는 기능은 제1 및 제2 검출된 터치 이벤트들(349A-B), 제1 시간 좌표(363A, 366A, 367A) 및 제2 시간 좌표(363B, 366B, 367B)에 기초한다.
[00122] 도 6a 내지 도 6c는 입력 표면(181) 상의 프레스 앤드 홀드 검출된 터치 이벤트들을 예시한다. 도시된 바와 같이, 다수의 손가락 접촉들이 입력 표면(181) 상에 발생하는데, 이는 누르기(제1 손가락 접촉(610A)), 홀딩(제2 손가락 접촉(610B)) 및 입력 표면(181)을 해제함으로써 손가락 접촉 없음(610C)을 포함한다. 따라서, 제1 및 제2 검출된 터치 이벤트들은 입력 표면(181) 상에서 프레스 앤드 홀드이다. 식별된 손가락 제스처는 이미지 디스플레이 상에 제시된 이미지에서 그래픽 사용자 인터페이스 엘리먼트의 프레스 앤드 홀드이다. 식별된 손가락 제스처에 기초하여 이미지 디스플레이 상에 제시된 이미지에 대한 조정은 이미지 디스플레이 상에서 그래픽 사용자 인터페이스 엘리먼트의 드래그 앤드 드롭(예를 들어, 이동)을 허용하거나 디스플레이 옵션들(예를 들어, 그래픽 사용자 인터페이스 엘리먼트와 연관된 콘텍스트 메뉴)을 제공하도록 구성된다.
[00123] 도 7은 입력 표면(181) 상의 손가락 핀칭 및 언핀칭 검출된 터치 이벤트들을 예시한다. 다수의 손가락 접촉들이 입력 표면(181) 상에서 발생하는데, 여기서 2개의 손가락들(제1 손가락 접촉(710A) 및 제2 손가락 접촉(710B))이 서로 멀리 이동하거나(손가락 언핀칭) 서로를 향해 이동한다(손가락 핀칭). 손가락 핀칭 검출된 터치 이벤트 예에서, 제1 및 제2 검출된 터치 이벤트들은 입력 표면(181) 상의 손가락 핀칭이다. 식별된 손가락 제스처는 이미지 디스플레이 상에 제시된 이미지의 줌 인이다. 식별된 손가락 제스처에 기초하여 이미지 디스플레이 상에 제시된 이미지에 대한 조정은 이미지 디스플레이 상에 제시된 이미지 상에서 줌 인한다.
[00124] 손가락 언핀칭 검출된 터치 이벤트 예에서, 제1 및 제2 검출된 터치 이벤트들은 입력 표면(181) 상의 손가락 언핀칭이다. 식별된 손가락 제스처는 이미지 디스플레이 상에 제시된 이미지의 줌 아웃이다. 식별된 손가락 제스처에 기초하여 이미지 디스플레이 상에 제시된 이미지에 대한 조정은 이미지 디스플레이 상에 제시된 이미지를 줌 아웃한다.
[00125] 도 8은 입력 표면(181) 상의 손가락 회전 검출된 터치 이벤트들을 예시한다. 도시된 바와 같이, 다수의 손가락 접촉들이 입력 표면(181) 상에서 발생하는데, 이는 2개의 손가락들을, 2개의 초기 포인트들, 즉, 제1 손가락 접촉(810A) 및 제2 손가락 접촉(810B)으로부터 그 2개의 손가락들에 대한 2개의 최종 접촉 포인트들까지 원으로 연속적으로 회전시키는 것을 포함한다. 일부 예들에서, 오직 하나의 손가락만이 원으로 회전될 수 있다. 제1 및 제2 검출된 터치 이벤트들은 입력 표면(181) 상에서 손가락 회전이다. 식별된 손가락 제스처는 이미지 디스플레이 상에 제시된 이미지의 손가락 회전이다. 식별된 손가락 제스처에 기초하여 디스플레이 상에 제시된 이미지에 대한 조정은 예를 들어, 뷰를 회전시키기 위해 이미지 디스플레이 상에 제시된 이미지를 회전시킨다. 회전 제스처는 2개의 손가락들이 서로를 중심으로 회전할 때 발생할 수 있다.
[00126] 도 9는 입력 표면(181) 상의 손가락 스와이핑 검출된 터치 이벤트들을 예시한다. 도시된 바와 같이, 다수의 손가락 접촉들이 입력 표면(181) 상에서 발생하는데, 이는 하나의 손가락을 초기 손가락 접촉 포인트(910A)로부터 제2 손가락 접촉의 최종 포인트(910B 또는 910C)까지 좌측 또는 우측으로 드래그하는 것을 포함한다. 제1 및 제2 검출된 터치 이벤트들은 입력 표면(181) 상에서 앞에서 뒤로(910A에서 910C) 또는 뒤에서 앞으로(910A에서 910B)의 손가락 스와이핑이다. 식별된 손가락 제스처는 이미지 디스플레이 상에 제시된 이미지의 스크롤이다. 식별된 손가락 제스처에 기초하여 이미지 디스플레이 상에 제시된 이미지에 대한 조정은 이미지 디스플레이 상에 제시된 이미지를 스크롤한다. 도시된 바와 같이, 이러한 스크롤 또는 스와이프 제스처는 사용자가 주요 이동 방향에서 크게 벗어나지 않고 특정 수평 방향에서 스크린을 가로질러 하나 이상의 손가락들을 이동시킬 때 발생할 수 있지만, 이동 방향은 또한 수직일 수 있음을 이해해야 한다.
[00127] 웨어러블 디바이스(예를 들어, 아이웨어 디바이스(100)), 모바일 디바이스(390) 및 서버 시스템(398)의 제스처, 착용, 활동 또는 휴대 검출을 위해 본원에 설명된 기능들 중 임의의 것은 방법 단계들로서 하나 이상의 방법들에서 또는 이전에 설명된 바와 같이 하나 이상의 애플리케이션들에서 구현될 수 있다. 일부 실시예들에 따르면, "프로그래밍", "애플리케이션", "애플리케이션들" 또는 "펌웨어"는 소프트웨어 또는 하드웨어 명령들에 구현된 로직과 같이 프로그램에 정의된 기능들을 실행하는 프로그램(들)이다. 객체 지향 프로그래밍 언어들(예를 들어, Objective-C, Java 또는 C++) 또는 절차적 프로그래밍 언어들(예를 들어, C 또는 어셈블리 언어)과 같이, 다양한 방식들로 구성된 애플리케이션들 중 하나 이상을 생성하기 위해 다양한 프로그래밍 언어들이 이용될 수 있다. 특정 예에서, 제3자 애플리케이션(예를 들어, 특정 플랫폼의 벤더 이외의 엔티티에 의해 ANDROID™ 또는 IOS™ SDK(software development kit)를 사용하여 개발된 애플리케이션)은 모바일 운영 체제, 예를 들어, IOS™, ANDROID™, WINDOWS® Phone 또는 다른 모바일 운영 체제들 상에서 실행되는 모바일 소프트웨어일 수 있다. 이 예에서, 제3자 애플리케이션은 본원에 설명된 기능을 용이하게 하기 위해 운영 체제에 의해 제공된 API 콜들을 호출할 수 있다. 애플리케이션들은 임의의 타입의 컴퓨터 판독가능 매체 또는 컴퓨터 저장 디바이스에 저장될 수 있으며 하나 이상의 범용 컴퓨터들에 의해 실행될 수 있다. 또한, 본원에 개시된 방법들 및 프로세스들은 대안적으로 특수 컴퓨터 하드웨어 또는 ASIC(application specific integrated circuit), FPGA(field programmable gate array) 또는 CPLD(complex programmable logic device)로 구현될 수 있다.
[00128] 기술의 프로그램 양상들은 통상적으로 일종의 머신 판독가능 매체에 구현되거나 반송되는 실행가능한 코드 및/또는 연관된 데이터의 형태로 "제품들" 또는 "제조품들"로 간주될 수 있다. 예를 들어, 프로그래밍 코드는 지문 센서, 사용자 인가, 내비게이션 또는 본원에 설명된 다른 기능들을 위한 코드를 포함할 수 있다. "저장부" 타입 매체들은 컴퓨터들, 프로세서들 등의 유형적 메모리 중 임의의 것 또는 전부, 또는 그 연관된 모듈들, 예를 들어, 다양한 반도체 메모리들, 테이프 드라이브들, 디스크 드라이브들 등을 포함하고, 이들은 소프트웨어 프로그래밍을 위해 임의의 시간에 비일시적 저장부를 제공할 수 있다. 소프트웨어의 전부 또는 일부는 때때로 인터넷 또는 다양한 다른 전기통신 네트워크들을 통해 통신될 수 있다. 예를 들어, 이러한 통신들은 하나의 컴퓨터 또는 프로세서에서 다른 것으로, 예를 들어, 서비스 제공자의 서버 시스템(398) 또는 호스트 컴퓨터로부터 웨어러블 디바이스(399)(예를 들어, 아이웨어 디바이스(100)) 및 모바일 디바이스(390)의 컴퓨터 플랫폼들로의 소프트웨어의 로딩을 가능하게 할 수 있다. 따라서, 프로그래밍, 미디어 콘텐츠 또는 메타 데이터 파일들을 포함할 수 있는 다른 타입의 미디어는 유선 및 광학 지상 네트워크들을 통해 그리고 다양한 무선 링크들을 통해 로컬 디바이스들 사이의 물리적 인터페이스들을 통해 사용되는 바와 같은 광학, 전기 및 전자기 파동들을 포함한다. 유선 또는 무선 링크들, 광학 링크들 등과 같이 이러한 파동들을 반송하는 물리적 엘리먼트들이 또한 소프트웨어를 포함하는 미디어로서 간주될 수 있다. 본원에 사용되는 바와 같이, "비일시적", "유형적" 또는 "저장" 매체들로 제한되지 않는 한, 컴퓨터 또는 머신 "판독가능 매체"와 같은 용어들은 실행을 위해 프로세서에 명령들 또는 데이터를 제공하는 데 참여하는 임의의 매체를 지칭한다.
[00129] 따라서, 머신 판독가능 매체는 유형적 저장 매체의 많은 형태들을 취할 수 있다. 비휘발성 저장 매체들은 예를 들어, 도면들에 도시된 클라이언트 디바이스, 미디어 게이트웨이, 트랜스코더 등을 구현하는 데 사용될 수 있는 것과 같은 임의의 컴퓨터(들) 등에 있는 저장 디바이스들 중 임의의 것과 같은 광학 또는 자기 디스크들을 포함한다. 휘발성 저장 매체는 이러한 컴퓨터 플랫폼의 메인 메모리와 같은 동적 메모리를 포함한다. 유형적 송신 매체들은 컴퓨터 시스템 내의 버스를 포함하는 와이어를 포함하는 동축 케이블들, 구리 와이어 및 광섬유들을 포함한다. 캐리어파 송신 매체들은 RF(radio frequency) 및 적외선(IR) 데이터 통신들 동안 생성되는 것들과 같은 전기 또는 전자기 신호들, 또는 음파 또는 광파의 형태를 취할 수 있다. 따라서, 컴퓨터 판독가능 매체들의 일반적인 형태들은 예를 들어 플로피 디스크, 플렉서블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, DVD, 또는 DVD-ROM, 임의의 다른 광학 매체, 펀치 카드들, 종이 테이프, 구멍들의 패턴들을 갖는 임의의 다른 물리적 저장 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 데이터 또는 명령들을 전송하는 캐리어파, 이러한 캐리어파를 전송하는 케이블들 또는 링크들, 또는 컴퓨터가 프로그래밍 코드 및/또는 데이터를 판독할 수 있는 임의의 다른 매체를 포함한다. 다양한 형태들의 컴퓨터 판독가능 매체들 대부분은 실행을 위해 프로세서에 하나 이상의 명령들의 하나 이상의 시퀀스들을 반송하는데 수반될 수 있다.
[00130] 보호 범위는 이제 후속되는 청구항들에 의해서만 제한된다. 그 범위는 본 명세서 및 후속하는 진행 이력에 비추어 해석될 때 청구항들에서 사용되는 언어의 통상적인 의미와 일치하는 바와 같이 넓게 그리고 모든 구조적 및 기능적 등가물들을 포함하는 것으로 의도되며 해석되어야 한다. 그럼에도 불구하고, 청구항들 중 어느 것도 특허법 101, 102 또는 103조의 요건을 충족하지 못하는 주제를 포함하는 것으로 의도되지 않고, 이러한 방식으로 해석되지 않아야 한다. 이로써 그러한 주제의 임의의 의도하지 않은 수용도 부인된다.
[00131] 바로 위에 언급된 경우를 제외하고, 청구항들에 인용되든 아니든 무관하게, 언급되거나 예시된 어떤 것도 컴포넌트, 단계, 특징, 목적, 이익, 이점 또는 이에 상응하는 것을 일반 대중에게 제공하도록 의도되거나 해석되어서는 안된다.
[00132] 본원에서 사용된 용어들 및 표현들은, 특정 의미들이 본원에 달리 제시된 경우를 제외하고는 그들 각각의 대응하는 탐구 및 연구 영역들과 관련하여 그러한 용어들 및 표현들에 부여된 바와 같은 일반적인 의미를 갖는다는 것을 이해할 것이다. 관계형 용어들, 예를 들어, 제1, 제2 등은 단지 하나의 엔티티 또는 동작을 다른 것으로부터 구별하기 위해 사용될 수 있고, 이러한 엔티티들 또는 동작들 사이의 임의의 실제 이러한 관계 또는 순서를 반드시 요구하거나 암시하지는 않는다. 용어들 "포함하다", "포함하는", "구비하다" , "구비하는" , 또는 이의 임의의 다른 변형은 비배타적인 포함을 커버하는 것으로 의도되어, 엘리먼트들 또는 단계들의 리스트를 포함하거나 구비하는 프로세스, 방법, 물품 또는 장치는 그러한 엘리먼트 또는 단계들만을 구비하는 것이 아니라, 명시적으로 나열되지 않거나 이러한 프로세스, 방법, 물품 또는 장치에 고유한 다른 엘리먼트들 또는 단계들을 구비할 수 있다. 단수형이 선행하는 엘리먼트는 추가적인 제약들 없이, 엘리먼트들을 포함하는 프로세스, 방법, 물품 또는 장치에서 추가적인 동일한 엘리먼트들의 존재를 배제하지 않는다.
[00133] 달리 언급되지 않는 한, 하기 청구항들을 포함하여 본 명세서에 기재된 임의의 그리고 모든 측정치들, 값들, 등급들, 위치들, 크기들, 사이즈들 및 다른 규격들은 정확한 것이 아니라 근사치이다. 이러한 양은, 이들이 관련되는 기능들 및 이들과 관련된 분야에서 통상적인 것과 일치하는 합리적인 범위를 갖도록 의도된다. 예를 들어, 달리 명시적으로 언급되지 않는 한, 파라미터 값 등은 언급된 양으로부터 ± 10 %만큼 많이 달라질 수 있다.
[00134] 또한, 전술한 상세한 설명에서, 다양한 특징들은 본 개시내용을 간소화할 목적으로 다양한 예들에서 함께 그룹화된다. 본 개시내용의 방법은 청구되는 예들이 각각의 청구항에 명시적으로 언급된 것보다 많은 특징들을 요구하려는 의도를 반영하는 것으로 해석되어서는 안 된다. 오히려, 하기 청구항들이 반영하는 바와 같이, 보호될 요지는 임의의 단일의 개시된 예의 모든 특징들보다 적다. 따라서, 이하의 청구항들은 상세한 설명에 통합되며, 각각의 청구항은 별개로 청구된 주제로서 독자적으로 기재된다.
전술한 것은 최상의 모드 및 다른 예들인 것으로 고려되는 것을 설명하지만, 여기서 다양한 수정들이 이루어질 수 있고 본원에 개시된 요지는 다양한 형태들 및 예들에서 구현될 수 있으며 이들은 다수의 애플리케이션들에서 적용될 수 있고 그 일부만이 본원에 설명되었음이 이해된다. 다음의 청구항들은 본 개념들의 진정한 범위 내에 있는 임의의 그리고 모든 수정들 및 변경들을 주장하도록 의도된다.

Claims (20)

  1. 신경 네트워크 시스템으로서,
    아이웨어 디바이스 ― 상기 아이웨어 디바이스는,
    프레임;
    상기 프레임의 측방향 측면으로부터 연장되는 템플(temple);
    상기 프레임, 상기 템플, 상기 측방향 측면 또는 이들의 조합 상의 입력 표면;
    사용자에게 이미지를 제시하기 위한 이미지 디스플레이;
    상기 사용자에게 제시되는 상기 이미지를 제어하기 위해 상기 이미지 디스플레이에 커플링된 이미지 디스플레이 드라이버;
    사용자로부터 입력된 적어도 하나의 손가락 접촉으로부터 상기 아이웨어 디바이스의 움직임을 추적하기 위해 상기 입력 표면에 연결된 움직임 추적기를 포함하고, 상기 움직임 추적기는,
    (i) 가속도를 측정하기 위한 적어도 하나의 가속도계,
    (ii) 회전을 측정하기 위한 적어도 하나의 자이로스코프, 또는
    (iii) 상기 적어도 하나의 가속도계 및 상기 적어도 하나의 자이로스코프를 갖는 관성 측정 유닛을 포함함 ―;
    메모리;
    상기 이미지 디스플레이 드라이버, 상기 움직임 추적기 및 상기 메모리에 커플링된 프로세서; 및
    상기 메모리 내의 프로그래밍을 포함하고, 상기 프로세서에 의한 상기 프로그래밍의 실행은 기능들을 수행하도록 상기 아이웨어 디바이스를 구성하고, 상기 기능들은,
    상기 움직임 추적기를 통해,
    (i) 상기 적어도 하나의 가속도계를 통해, 상기 아이웨어 디바이스의 가속도를 측정하는 것,
    (ii) 상기 적어도 하나의 자이로스코프를 통해, 상기 아이웨어 디바이스의 회전을 측정하는 것, 또는
    (iii) 상기 관성 측정 유닛을 통해, 상기 아이웨어 디바이스의 가속도 및 회전 둘 모두를 측정하는 것
    에 의해, 상기 입력 표면 상에서 상기 사용자로부터 입력된 상기 적어도 하나의 손가락 접촉으로부터 상기 아이웨어 디바이스의 움직임을 추적하는 기능;
    일정 시간 기간에 걸쳐 상기 아이웨어 디바이스의 추적된 움직임의 변화에 기초하여 적어도 하나의 검출된 터치 이벤트를 검출함으로써 상기 아이웨어 디바이스의 상기 입력 표면 상에서 손가락 제스처를 식별하는 기능; 및
    상기 식별된 손가락 제스처에 기초하여 상기 아이웨어 디바이스의 상기 이미지 디스플레이 상에 제시된 상기 이미지를 조정하는 기능을 포함하는, 신경 네트워크 시스템.
  2. 제1 항에 있어서,
    상기 입력 표면은 플라스틱, 아세테이트, 또는 상기 프레임, 상기 템플 또는 상기 측방향 측면의 기판을 형성하는 다른 절연 재료로 형성되고;
    상기 아이웨어 디바이스는,
    상기 측방향 측면 상에서 상기 프레임에 통합되거나 연결되는 청크를 더 포함하고;
    상기 청크는 상기 움직임 추적기를 포함하는 회로 보드를 포함하는, 신경 네트워크 시스템.
  3. 제1 항에 있어서,
    상기 움직임 추적기는 상기 시간 기간에 걸쳐, (i) 상기 가속도계를 통해 측정된 가속도, (ii) 상기 적어도 하나의 자이로스코프를 통해 측정된 회전, 또는 (iii) 상기 관성 측정 유닛을 통해 측정된 가속도 및 회전 둘 모두의 각각의 취해진 측정에 대한 개개의 시간 좌표를 추적하도록 추가로 구성되고;
    상기 프로세서에 의한 상기 프로그래밍의 실행은, 상기 움직임 추적기를 통해, 각각의 취해진 측정에 대한 상기 개개의 시간 좌표를 추적하는 기능들을 포함하는 기능들을 수행하도록 상기 아이웨어 디바이스를 추가로 구성하고;
    상기 시간 기간에 걸쳐 상기 추적된 움직임의 변화에 기초하여 상기 적어도 하나의 터치 이벤트를 검출하는 기능은 각각의 취해진 측정에 대한 상기 개개의 시간 좌표에 추가로 기초하는, 신경 네트워크 시스템.
  4. 제1 항에 있어서,
    상기 일정 시간 기간에 걸쳐 상기 아이웨어 디바이스의 추적된 움직임의 변화에 기초하여 상기 적어도 하나의 검출된 터치 이벤트를 검출함으로써 상기 아이웨어 디바이스의 상기 입력 표면 상에서 상기 손가락 제스처를 식별하는 기능은,
    인식된 제스처 모델에서 인식된 제스처에 대한 상기 추적된 움직임의 변화의 유사성을 결정하기 위해, 상기 시간 기간 동안 샘플링 주파수에서 취해진 (i) 상기 가속도계를 통해 측정된 가속, (ii) 상기 적어도 하나의 자이로스코프를 통해 측정된 회전, 또는 (iii) 상기 관성 측정 유닛을 통해 측정된 가속도 및 회전 둘 모두의 취해진 측정들을 포함하는 다수의 모델 입력들을 상기 인식된 제스처 모델에 적용하는 기능 ―
    상기 인식된 제스처 모델은 하나 이상의 시간 인식들에 걸쳐 (i) 가속도, (ii) 회전 또는 (iii) 상기 가속도 및 상기 회전 둘 모두의 포착된 트레이닝 데이터에 기초한 제스처 가중치들의 세트를 포함함 ―; 및
    개개의 인식된 제스처에 대한 추적된 움직임의 변화의 결정된 유사성에 기초하여 각각의 개개의 인식된 제스처의 개개의 신뢰 레벨을 포함하는 모델 출력을 결정하는 기능을 포함하는, 신경 네트워크 시스템.
  5. 제4 항에 있어서,
    상기 인식된 제스처 모델에서 인식된 제스처에 대한 상기 추적된 움직임의 변화의 유사성을 결정하고 상기 모델 출력을 결정하기 위해 상기 다수의 모델 입력들을 적용하는 기능들은 상기 아이웨어 디바이스 내의 펌웨어 프로그래밍으로서 임베딩되고;
    상기 일정 시간 기간에 걸쳐 상기 아이웨어 디바이스의 추적된 움직임의 변화에 기초하여 상기 적어도 하나의 검출된 터치 이벤트를 검출함으로써 상기 아이웨어 디바이스의 상기 입력 표면 상에서 상기 손가락 제스처를 식별하는 기능은,
    상기 인식된 제스처를 상기 모델 출력에서 최고 값을 갖는 상기 개개의 신뢰 레벨을 갖는 개개의 인식된 제스처로서 식별하는 기능들을 더 포함하고;
    상기 인식된 제스처를 상기 모델 출력에서 상기 최고 값을 갖는 상기 개개의 신뢰 레벨을 갖는 개개의 인식된 제스처로서 식별하는 기능은 상기 아이웨어 디바이스 내의 애플리케이션 계층 프로그래밍인, 신경 네트워크 시스템.
  6. 제5 항에 있어서,
    상기 사용자로부터 입력된 상기 적어도 하나의 손가락 접촉에 기초하여 상기 입력 표면 상에서 상기 적어도 하나의 터치 이벤트를 검출하는 기능은,
    제1 입력 시간에 상기 사용자로부터 입력된 제1 손가락 접촉에 대응하는 제1 시간 좌표에서 취해진 제1 측정에 기초하여 상기 입력 표면 상에서 제1 터치 이벤트를 검출하는 기능; 및
    상기 시간 기간 내의 제2 입력 시간에 상기 사용자로부터 입력된 제2 손가락 접촉에 대응하는 제2 시간 좌표에서 취해진 제2 측정에 기초하여 상기 입력 표면 상에서 제2 터치 이벤트를 검출하는 기능을 포함하고;
    상기 손가락 제스처를 식별하는 기능은 상기 제1 및 제2 검출된 터치 이벤트들, 상기 제1 시간 좌표 및 상기 제2 시간 좌표에 기초하는, 신경 네트워크 시스템.
  7. 제6 항에 있어서,
    상기 제1 및 제2 검출된 터치 이벤트들은 상기 입력 표면 상에서 프레스 앤드 홀드(press and hold)이고;
    상기 식별된 손가락 제스처는 상기 이미지 디스플레이 상에 제시된 이미지에서 그래픽 사용자 인터페이스 엘리먼트의 프레스 앤드 홀드이고;
    상기 식별된 손가락 제스처에 기초하여 상기 이미지 디스플레이 상에 제시된 상기 이미지에 대한 조정은 상기 이미지 디스플레이 상에서 상기 그래픽 사용자 인터페이스 엘리먼트의 드래그 앤드 드롭(drag and drop)을 허용하도록 구성되는, 신경 네트워크 시스템.
  8. 제6 항에 있어서,
    상기 제1 및 제2 검출된 터치 이벤트들은 상기 입력 표면 상에서 앞에서 뒤로 또는 뒤에서 앞으로의 손가락 스와이핑(swiping)이고;
    상기 식별된 손가락 제스처는 상기 이미지 디스플레이 상에 제시된 상기 이미지의 스크롤이고;
    상기 식별된 손가락 제스처에 기초하여 상기 이미지 디스플레이 상에 제시된 상기 이미지에 대한 조정은 상기 이미지 디스플레이 상에 제시된 이미지를 스크롤하는, 신경 네트워크 시스템.
  9. 제6 항에 있어서,
    상기 제1 및 제2 검출된 터치 이벤트들은 상기 입력 표면 상에서 손가락 핀칭(pinching)이고;
    상기 식별된 손가락 제스처는 상기 이미지 디스플레이 상에 제시된 상기 이미지의 줌 인(zoom in)이고;
    상기 식별된 손가락 제스처에 기초하여 상기 이미지 디스플레이 상에 제시된 상기 이미지에 대한 조정은 상기 이미지 디스플레이 상에 제시된 이미지 상에서 줌 인하는, 신경 네트워크 시스템.
  10. 제6 항에 있어서,
    상기 제1 및 제2 검출된 터치 이벤트들은 상기 입력 표면 상에서 손가락 언핀칭(unpinching)이고;
    상기 식별된 손가락 제스처는 상기 이미지 디스플레이 상에 제시된 상기 이미지의 줌 아웃(zoom out)이고;
    상기 식별된 손가락 제스처에 기초하여 상기 이미지 디스플레이 상에 제시된 상기 이미지에 대한 조정은 상기 이미지 디스플레이 상에 제시된 이미지를 줌 아웃하는, 신경 네트워크 시스템.
  11. 제6 항에 있어서,
    상기 제1 및 제2 검출된 터치 이벤트들은 상기 입력 표면 상에서 손가락 회전이고;
    상기 식별된 손가락 제스처는 상기 이미지 디스플레이 상에 제시된 상기 이미지의 손가락 회전이고;
    상기 식별된 손가락 제스처에 기초하여 상기 디스플레이 상에 제시된 상기 이미지에 대한 조정은 상기 이미지 디스플레이 상에 제시된 이미지를 회전시키는, 신경 네트워크 시스템.
  12. 제1 항에 있어서,
    상기 프로세서는 제1 프로세서 및 제2 프로세서를 포함하고;
    상기 메모리는 제1 메모리 및 제2 메모리를 포함하고;
    상기 아이웨어 디바이스는,
    상기 제1 프로세서;
    상기 제1 메모리;
    상기 제1 메모리 내의 제스처 검출 프로그래밍을 포함하고, 상기 제1 프로세서에 의한 상기 제스처 검출 프로그래밍의 실행은 기능들을 수행하도록 상기 아이웨어 디바이스를 구성하고, 상기 기능들은,
    상기 움직임 추적기를 통해, 상기 입력 표면 상에서 상기 사용자로부터 입력된 상기 적어도 하나의 손가락 접촉으로부터 상기 아이웨어 디바이스의 움직임을 추적하는 기능;
    일정 시간 기간에 걸쳐 상기 아이웨어 디바이스의 추적된 움직임의 변화에 기초하여 상기 적어도 하나의 검출된 터치 이벤트를 검출함으로써 상기 아이웨어 디바이스의 상기 입력 표면 상에서 상기 손가락 제스처를 식별하는 기능; 및
    상기 식별된 손가락 제스처에 기초하여 상기 아이웨어 디바이스의 상기 이미지 디스플레이 상에 제시된 상기 이미지를 조정하는 기능을 포함하고;
    상기 신경 네트워크 시스템은 호스트 컴퓨터를 더 포함하고, 상기 호스트 컴퓨터는,
    상기 제2 프로세서;
    분류되지 않은 제스처 및 상기 인식된 제스처 모델의 하나 이상의 시간 인터벌들에 걸쳐 (i) 가속도, (ii) 회전, 또는 (iii) 상기 가속도 및 상기 회전 둘 모두의 트레이닝 데이터를 포함하는 상기 제2 메모리;
    상기 제2 메모리 내의 제스처 신경 네트워크 프로그래밍을 포함하고, 상기 제2 프로세서에 의한 상기 제스처 신경 네트워크 프로그래밍의 실행은 기능들을 수행하도록 상기 호스트 컴퓨터를 구성하고, 상기 기능들은,
    상기 아이웨어 디바이스의 상기 제1 프로세서에 의한 상기 제스처 검출 프로그래밍의 실행 전에,
    상기 분류되지 않은 제스처의 하나 이상의 시간 인터벌들에 걸쳐 상기 아이웨어 디바이스의 (i) 가속도, (ii) 회전, 또는 (iii) 상기 가속도 및 상기 회전 둘 모두의 트레이닝 데이터를 포착하는 기능;
    상기 포착된 트레이닝 데이터에 기초하여 상기 분류되지 않은 제스처의 상기 인식된 제스처 모델을 구축하는 기능을 포함하고, 상기 인식 제스처 모델을 구축하는 기능은,
    상기 분류되지 않은 제스처의 상기 포착된 트레이닝 데이터로부터 상기 제스처 가중치들의 세트를 교정하는 기능; 및
    상기 인식된 제스처와 연관된 상기 인식된 제스처 모델에 상기 제스처 가중치들의 교정된 세트를 저장하는 기능을 포함하는, 신경 네트워크 시스템.
  13. 제12 항에 있어서,
    상기 제2 프로세서에 의한 상기 제스처 신경 네트워크 프로그래밍의 실행은 기능들을 수행하도록 상기 호스트 컴퓨터를 구성하고, 상기 기능들은,
    상기 분류되지 않은 제스처의 상기 포착된 트레이닝 데이터에 기초하여 해석된 프로그래밍 언어에서 트레이닝된 스크립팅(scripting) 언어 제스처 모델을 생성하는 기능;
    상기 트레이닝된 스크립팅 언어 제스처 모델로부터 상기 제스처 가중치들의 교정된 세트를 추출하는 기능; 및
    상기 트레이닝된 스크립팅 언어 제스처 모델에 기초하여 컴파일된 프로그래밍 언어에서 트레이닝된 추론 코드 제스처 모델을 생성하는 기능을 포함하는, 신경 네트워크 시스템.
  14. 제13 항에 있어서,
    상기 제2 프로세서에 의한 상기 제스처 신경 네트워크 프로그래밍의 실행은 기능들을 수행하도록 상기 호스트 컴퓨터를 구성하고, 상기 기능들은,
    상기 트레이닝된 추론 코드 제스처 모델을 트레이닝된 머신 추론 코드 제스처 모델로 컴파일하는 기능; 및
    상기 제스처 가중치들의 추출된 교정된 세트를 양자화하는 기능을 포함하는, 신경 네트워크 시스템.
  15. 제14 항에 있어서,
    상기 아이웨어 디바이스의 상기 제1 메모리 내의 상기 제스처 검출 프로그래밍은 상기 트레이닝된 추론 머신 코드 제스처 모델 및 상기 제스처 가중치들의 양자화된 교정된 세트를 포함하고;
    상기 제스처 검출 프로그래밍은 오직 런타임 동안 정적으로 할당된 메모리를 점유하는, 신경 네트워크 시스템.
  16. 제1 항에 있어서,
    상기 적어도 하나의 검출된 터치 이벤트는 상기 입력 표면 상의 단일 탭이고;
    상기 식별된 손가락 제스처는 상기 이미지 디스플레이 상에 제시된 이미지에서 그래픽 사용자 인터페이스 엘리먼트의 선택이고;
    상기 식별된 손가락 제스처에 기초하여 상기 이미지 디스플레이 상에 제시된 상기 이미지에 대한 조정은 상기 이미지 디스플레이 상에서의 디스플레이 또는 실행을 위해 상기 그래픽 사용자 인터페이스 엘리먼트를 선택하는, 신경 네트워크 시스템.
  17. 신경 네트워크 시스템으로서,
    아이웨어 디바이스 ― 상기 아이웨어 디바이스는,
    프레임;
    상기 프레임의 측방향 측면으로부터 연장되는 템플;
    사용자에게 이미지를 제시하기 위한 이미지 디스플레이;
    상기 사용자에게 제시되는 상기 이미지를 제어하기 위해 상기 이미지 디스플레이에 커플링된 이미지 디스플레이 드라이버;
    상기 아이웨어 디바이스의 움직임을 추적하기 위한 움직임 추적기를 포함하고, 상기 움직임 추적기는,
    (i) 가속도를 측정하기 위한 적어도 하나의 가속도계,
    (ii) 회전을 측정하기 위한 적어도 하나의 자이로스코프, 또는
    (iii) 상기 적어도 하나의 가속도계 및 상기 적어도 하나의 자이로스코프를 갖는 관성 측정 유닛을 포함함 ―;
    메모리;
    상기 이미지 디스플레이 드라이버, 상기 움직임 추적기 및 상기 메모리에 커플링된 프로세서; 및
    상기 메모리 내의 착용 검출 프로그래밍을 포함하고, 상기 프로세서에 의한 상기 착용 검출 프로그래밍의 실행은 기능들을 수행하도록 상기 아이웨어 디바이스를 구성하고, 상기 기능들은,
    상기 움직임 추적기를 통해,
    (i) 상기 적어도 하나의 가속도계를 통해, 상기 아이웨어 디바이스의 가속도를 측정하는 것,
    (ii) 상기 적어도 하나의 자이로스코프를 통해, 상기 아이웨어 디바이스의 회전을 측정하는 것, 또는
    (iii) 상기 관성 측정 유닛을 통해, 상기 아이웨어 디바이스의 가속도 및 회전 둘 모두를 측정하는 것
    에 의해, 상기 아이웨어 디바이스의 움직임을 추적하는 기능; 및
    일정 시간 기간에 걸쳐 상기 아이웨어 디바이스의 상기 추적된 움직임의 변화에 기초하여 상기 사용자가 상기 아이웨어 디바이스를 착용하고 있는지 여부를 검출하는 기능을 포함하는, 신경 네트워크 시스템.
  18. 제17 항에 있어서,
    상기 프로세서에 의한 상기 프로그래밍의 실행은 기능들을 수행하도록 상기 아이웨어 디바이스를 추가로 구성하고, 상기 기능들은,
    상기 사용자가 상기 아이웨어 디바이스를 착용하고 있는 것을 검출하는 것에 대한 응답으로, 상기 시간 기간에 걸쳐 상기 추적된 움직임의 변화에 기초하여 상기 아이웨어 디바이스를 착용한 상기 사용자의 활동을 식별하는 기능; 및
    상기 식별된 활동의 인식된 활동-기반 조정에 기초하여 상기 아이웨어 디바이스의 상기 이미지 디스플레이 상에 제시된 이미지를 조정하는 기능을 포함하는, 신경 네트워크 시스템.
  19. 제18 항에 있어서,
    상기 인식된 활동-기반 조정은,
    상기 사용자가 상호작용하거나 활용하는 애플리케이션의 론치(launch), 은닉 또는 디스플레이;
    실행을 위한 상기 식별된 활동과 관련된 애플리케이션들의 메뉴의 디스플레이;
    애플리케이션의 특징부들을 인에이블, 디스에이블 또는 제한하기 위한 콘텍스트 통지의 제어;
    시스템 레벨 특징부의 인에이블 또는 디스에이블; 또는
    이들의 조합을 포함하는, 신경 네트워크 시스템.
  20. 제18 항에 있어서,
    상기 프로세서는 제1 프로세서 및 제2 프로세서를 포함하고;
    상기 메모리는 제1 메모리 및 제2 메모리를 포함하고;
    상기 아이웨어 디바이스는,
    상기 제1 프로세서;
    상기 제1 메모리;
    상기 제1 메모리 내의 활동 검출 프로그래밍을 포함하고, 상기 제1 프로세서에 의한 상기 활동 검출 프로그래밍의 실행은 기능들을 수행하도록 상기 아이웨어 디바이스를 구성하고, 상기 기능들은,
    상기 움직임 추적기를 통해, 상기 아이웨어 디바이스의 움직임을 추적하는 기능;
    상기 사용자가 상기 아이웨어 디바이스를 착용하고 있는 것을 검출하는 것에 대한 응답으로, 상기 시간 기간에 걸쳐 상기 추적된 움직임의 변화에 기초하여 상기 아이웨어 디바이스를 착용한 상기 사용자의 활동을 식별하는 기능; 및
    상기 식별된 활동의 상기 인식된 활동-기반 조정에 기초하여 상기 아이웨어 디바이스의 상기 이미지 디스플레이 상에 제시된 상기 이미지를 조정하는 기능을 포함하고;
    상기 신경 네트워크 시스템은 호스트 컴퓨터를 더 포함하고, 상기 호스트 컴퓨터는,
    상기 제2 프로세서;
    분류되지 않은 활동 및 인식된 활동 모델의 하나 이상의 시간 인터벌들에 걸쳐 (i) 가속도, (ii) 회전, 또는 (iii) 상기 가속도 및 상기 회전 둘 모두의 트레이닝 데이터를 포함하는 상기 제2 메모리;
    상기 제2 메모리 내의 활동 신경 네트워크 프로그래밍을 포함하고, 상기 제2 프로세서에 의한 상기 활동 신경 네트워크 프로그래밍의 실행은 기능들을 수행하도록 상기 호스트 컴퓨터를 구성하고, 상기 기능들은,
    상기 아이웨어 디바이스의 상기 제1 프로세서에 의한 상기 착용 검출 프로그래밍의 실행 전에,
    상기 분류되지 않은 활동의 하나 이상의 시간 인터벌들에 걸쳐 상기 아이웨어 디바이스의 (i) 가속도, (ii) 회전, 또는 (iii) 상기 가속도 및 상기 회전 둘 모두의 트레이닝 데이터를 포착하는 기능;
    상기 포착된 트레이닝 데이터에 기초하여 상기 분류되지 않은 활동의 상기 인식된 활동 모델을 구축하는 기능을 포함하고, 상기 인식 활동 모델을 구축하는 기능은,
    상기 분류되지 않은 활동의 상기 포착된 트레이닝 데이터로부터 상기 분류되지 않은 활동의 상기 활동 가중치들의 세트를 교정하는 기능; 및
    상기 인식된 활동과 연관된 상기 인식된 활동 모델에 상기 활동 가중치들의 교정된 세트를 저장하는 기능을 포함하는, 신경 네트워크 시스템.
KR1020257008049A 2018-09-28 2019-09-13 웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템 Pending KR20250040098A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862738093P 2018-09-28 2018-09-28
US62/738,093 2018-09-28
KR1020217012443A KR102782870B1 (ko) 2018-09-28 2019-09-13 웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템
PCT/US2019/050985 WO2020068455A1 (en) 2018-09-28 2019-09-13 Neural network system for gesture, wear, activity, or carry detection on a wearable or mobile device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217012443A Division KR102782870B1 (ko) 2018-09-28 2019-09-13 웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템

Publications (1)

Publication Number Publication Date
KR20250040098A true KR20250040098A (ko) 2025-03-21

Family

ID=68069900

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020257008049A Pending KR20250040098A (ko) 2018-09-28 2019-09-13 웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템
KR1020217012443A Active KR102782870B1 (ko) 2018-09-28 2019-09-13 웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217012443A Active KR102782870B1 (ko) 2018-09-28 2019-09-13 웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템

Country Status (5)

Country Link
US (3) US10996846B2 (ko)
EP (1) EP3857337A1 (ko)
KR (2) KR20250040098A (ko)
CN (2) CN120122819A (ko)
WO (1) WO2020068455A1 (ko)

Families Citing this family (174)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509466B1 (en) 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
US10439972B1 (en) 2013-05-30 2019-10-08 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US10283162B2 (en) 2014-02-05 2019-05-07 Avatar Merger Sub II, LLC Method for triggering events in a video
US9276886B1 (en) 2014-05-09 2016-03-01 Snapchat, Inc. Apparatus and method for dynamically configuring application component tiles
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
US10775996B2 (en) 2014-11-26 2020-09-15 Snap Inc. Hybridization of voice notes and calling
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
EP4325806A3 (en) 2015-03-18 2024-05-22 Snap Inc. Geo-fence authorization provisioning
US9668217B1 (en) 2015-05-14 2017-05-30 Snap Inc. Systems and methods for wearable initiated handshaking
US10503264B1 (en) 2015-06-16 2019-12-10 Snap Inc. Radial gesture navigation
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
US10055895B2 (en) 2016-01-29 2018-08-21 Snap Inc. Local augmented reality persistent sticker objects
US10530731B1 (en) 2016-03-28 2020-01-07 Snap Inc. Systems and methods for chat with audio and video elements
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US10102423B2 (en) 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
US11404056B1 (en) 2016-06-30 2022-08-02 Snap Inc. Remoteless control of drone behavior
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
US20180210628A1 (en) 2017-01-23 2018-07-26 Snap Inc. Three-dimensional interaction system
US10579869B1 (en) 2017-07-18 2020-03-03 Snap Inc. Virtual object machine learning
US11323398B1 (en) 2017-07-31 2022-05-03 Snap Inc. Systems, devices, and methods for progressive attachments
US11204949B1 (en) 2017-07-31 2021-12-21 Snap Inc. Systems, devices, and methods for content selection
US10591730B2 (en) 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
US11531357B1 (en) 2017-10-05 2022-12-20 Snap Inc. Spatial vector-based drone control
WO2019094618A1 (en) 2017-11-08 2019-05-16 Signall Technologies Zrt Computer vision based sign language interpreter
US10217488B1 (en) 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
US10567321B2 (en) 2018-01-02 2020-02-18 Snap Inc. Generating interactive messages with asynchronous media content
US10523606B2 (en) 2018-01-02 2019-12-31 Snap Inc. Generating interactive messages with asynchronous media content
US11227626B1 (en) 2018-05-21 2022-01-18 Snap Inc. Audio response messages
US11063889B2 (en) 2018-06-08 2021-07-13 Snap Inc. Generating interactive messages with entity assets
US11334815B1 (en) 2018-09-28 2022-05-17 Snap Inc. Cloud based machine learning
KR20250040098A (ko) 2018-09-28 2025-03-21 스냅 인코포레이티드 웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템
US10796482B2 (en) 2018-12-05 2020-10-06 Snap Inc. 3D hand shape and pose estimation
US12071228B1 (en) * 2019-03-28 2024-08-27 Snap Inc. Drone with propeller guard configured as an airfoil
US11012390B1 (en) 2019-03-28 2021-05-18 Snap Inc. Media content response in a messaging system
US11036368B1 (en) 2019-03-29 2021-06-15 Snap Inc. Messaging system with message transmission user interface
US11019011B1 (en) 2019-03-29 2021-05-25 Snap Inc. Messaging system with discard user interface
US11257483B2 (en) * 2019-03-29 2022-02-22 Intel Corporation On-device neural network adaptation with binary mask learning for language understanding systems
US11175898B2 (en) * 2019-05-31 2021-11-16 Apple Inc. Compiling code for a machine learning model for execution on a specialized processor
US11106342B1 (en) 2019-06-03 2021-08-31 Snap Inc. User interfaces to facilitate multiple modes of electronic communication
US11151794B1 (en) 2019-06-28 2021-10-19 Snap Inc. Messaging system with augmented reality messages
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
WO2021051131A1 (en) 2019-09-09 2021-03-18 Snap Inc. Hand pose estimation from stereo cameras
TWI731442B (zh) * 2019-10-18 2021-06-21 宏碁股份有限公司 電子裝置及其利用觸控資料的物件資訊辨識方法
US20210178063A1 (en) 2019-12-13 2021-06-17 Medtronic Minimed, Inc. Controlling medication delivery system operation and features based on automatically detected user stress level
US11488700B2 (en) 2019-12-13 2022-11-01 Medtronic Minimed, Inc. Medical device configuration procedure guidance responsive to detected gestures
US11062498B1 (en) 2019-12-30 2021-07-13 Snap Inc. Animated pull-to-refresh
US11488358B2 (en) 2020-02-05 2022-11-01 Snap Inc. Augmented reality session creation using skeleton tracking
US11265274B1 (en) 2020-02-28 2022-03-01 Snap Inc. Access and routing of interactive messages
US11675494B2 (en) 2020-03-26 2023-06-13 Snap Inc. Combining first user interface content into second user interface
US11409368B2 (en) 2020-03-26 2022-08-09 Snap Inc. Navigating through augmented reality content
US11960651B2 (en) 2020-03-30 2024-04-16 Snap Inc. Gesture-based shared AR session creation
US11455078B1 (en) 2020-03-31 2022-09-27 Snap Inc. Spatial navigation and creation interface
US12189861B2 (en) * 2020-06-29 2025-01-07 Snap Inc. Augmented reality experiences with object manipulation
EP4173257A1 (en) 2020-06-30 2023-05-03 Snap Inc. Skeletal tracking for real-time virtual effects
KR102789976B1 (ko) * 2020-08-03 2025-04-03 삼성전자주식회사 사용자 입력을 검출하기 위한 전자 장치 및 그의 동작 방법
EP4197180A1 (en) 2020-08-13 2023-06-21 Snap Inc. User interface for pose driven virtual effects
US11671559B2 (en) 2020-09-30 2023-06-06 Snap Inc. Real time video editing
US11863860B2 (en) * 2020-09-30 2024-01-02 Snap Inc. Image capture eyewear with context-based sending
US11782577B2 (en) 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
US12229342B2 (en) 2020-12-22 2025-02-18 Snap Inc. Gesture control on an eyewear device
US12105283B2 (en) 2020-12-22 2024-10-01 Snap Inc. Conversation interface on an eyewear device
KR20250142462A (ko) 2020-12-22 2025-09-30 스냅 인코포레이티드 안경류 디바이스 상의 미디어 콘텐츠 플레이어
WO2022140117A1 (en) * 2020-12-22 2022-06-30 Snap Inc. 3d painting on an eyewear device
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
KR20230124703A (ko) 2020-12-29 2023-08-25 스냅 인코포레이티드 증강 현실 컴포넌트들을 위한 신체 ui
US11531400B2 (en) 2020-12-31 2022-12-20 Snap Inc. Electronic communication interface with haptic feedback response
US12008152B1 (en) 2020-12-31 2024-06-11 Snap Inc. Distance determination for mixed reality interaction
CN116685941A (zh) 2020-12-31 2023-09-01 斯纳普公司 具有触觉反馈增强的媒体内容项
CN116670635B (zh) 2020-12-31 2026-01-16 斯纳普公司 具有触觉反馈的实时视频通信界面
EP4272062A1 (en) 2020-12-31 2023-11-08 Snap Inc. Communication interface with haptic feedback response
US12026297B2 (en) 2021-01-07 2024-07-02 Samsung Electronics Co., Ltd. Wearable electronic device and input structure using motion sensor in the same
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
USD998637S1 (en) 2021-03-16 2023-09-12 Snap Inc. Display screen or portion thereof with a graphical user interface
US12164689B2 (en) 2021-03-31 2024-12-10 Snap Inc. Virtual reality communication interface with haptic feedback response
KR20250164860A (ko) 2021-03-31 2025-11-25 스냅 인코포레이티드 햅틱 피드백 응답을 갖는 가상 현실 인터페이스
US12050729B2 (en) 2021-03-31 2024-07-30 Snap Inc. Real-time communication interface with haptic and audio feedback response
US12314472B2 (en) 2021-03-31 2025-05-27 Snap Inc. Real-time communication interface with haptic and audio feedback response
US11998798B2 (en) 2021-05-14 2024-06-04 Snap Inc. Virtual guided fitness routines for augmented reality experiences
US11928306B2 (en) 2021-05-19 2024-03-12 Snap Inc. Touchpad navigation for augmented reality display device
US11880542B2 (en) 2021-05-19 2024-01-23 Snap Inc. Touchpad input for augmented reality display device
KR102808996B1 (ko) 2021-05-19 2025-05-20 스냅 인코포레이티드 증강 현실 디스플레이 디바이스를 위한 터치패드 입력
US12141191B2 (en) 2021-08-16 2024-11-12 Snap Inc. Displaying a profile from a content feed within a messaging system
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
US11900506B2 (en) 2021-09-09 2024-02-13 Snap Inc. Controlling interactive fashion based on facial expressions
CN113780414B (zh) * 2021-09-10 2024-08-23 京东方科技集团股份有限公司 眼动行为分析方法、图像渲染方法、组件、装置和介质
US11734866B2 (en) 2021-09-13 2023-08-22 Snap Inc. Controlling interactive fashion based on voice
US11983826B2 (en) 2021-09-30 2024-05-14 Snap Inc. 3D upper garment tracking
US11636662B2 (en) 2021-09-30 2023-04-25 Snap Inc. Body normal network light and rendering control
US11651572B2 (en) 2021-10-11 2023-05-16 Snap Inc. Light and rendering of garments
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
US11861801B2 (en) 2021-12-30 2024-01-02 Snap Inc. Enhanced reading with AR glasses
US12423209B1 (en) * 2021-12-31 2025-09-23 Snap Inc. Optimized ML model loading using predicted usage and device state
US12151138B2 (en) 2022-01-26 2024-11-26 Snap Inc. Virtual evaluation tools for augmented reality exercise experiences
US12159412B2 (en) 2022-02-14 2024-12-03 Snap Inc. Interactively defining an object segmentation
US11815687B2 (en) * 2022-03-02 2023-11-14 Google Llc Controlling head-mounted device with gestures into wearable device
US11579747B1 (en) 2022-03-14 2023-02-14 Snap Inc. 3D user interface depth forgiveness
US12265663B2 (en) 2022-04-04 2025-04-01 Snap Inc. Gesture-based application invocation
US12277632B2 (en) 2022-04-26 2025-04-15 Snap Inc. Augmented reality experiences with dual cameras
US12360663B2 (en) 2022-04-26 2025-07-15 Snap Inc. Gesture-based keyboard text entry
US12344409B2 (en) 2022-04-27 2025-07-01 Snap Inc. Fully autonomous drone flights
US12282607B2 (en) 2022-04-27 2025-04-22 Snap Inc. Fingerspelling text entry
US12517521B2 (en) 2022-04-27 2026-01-06 Snap Inc. Landing an autonomous drone with gestures
US12181945B2 (en) 2022-04-27 2024-12-31 Snap Inc. Boot time for autonomous drones
US12190739B2 (en) 2022-04-27 2025-01-07 Snap Inc. Navigation correction for excessive wind
US12300275B2 (en) 2022-04-27 2025-05-13 Snap Inc. Editing video captured by electronic devices
US12287647B2 (en) 2022-04-27 2025-04-29 Snap Inc. Autonomous drone navigation based on vision
US12372975B2 (en) 2022-04-27 2025-07-29 Snap Inc. Unlocking an autonomous drone for takeoff
US12360531B2 (en) 2022-04-27 2025-07-15 Snap Inc. Stabilization and navigation of an autonomous drone
US12367606B2 (en) 2022-04-27 2025-07-22 Snap Inc. Automatically cropping of landscape videos
US12136160B2 (en) 2022-04-27 2024-11-05 Snap Inc. Augmented reality experience power usage prediction
US11960653B2 (en) 2022-05-10 2024-04-16 Snap Inc. Controlling augmented reality effects through multi-modal human interaction
US12327302B2 (en) 2022-05-18 2025-06-10 Snap Inc. Hand-tracked text selection and modification
US12373096B2 (en) 2022-05-31 2025-07-29 Snap Inc. AR-based virtual keyboard
CN119301553A (zh) 2022-06-01 2025-01-10 斯纳普公司 包括多个交互区的用户界面
US12266057B2 (en) 2022-06-02 2025-04-01 Snap Inc. Input modalities for AR wearable devices
US12001878B2 (en) 2022-06-03 2024-06-04 Snap Inc. Auto-recovery for AR wearable devices
US12002168B2 (en) 2022-06-20 2024-06-04 Snap Inc. Low latency hand-tracking in augmented reality systems
US12288298B2 (en) 2022-06-21 2025-04-29 Snap Inc. Generating user interfaces displaying augmented reality graphics
US12382188B2 (en) 2022-06-22 2025-08-05 Snap Inc. Hand-tracking pipeline dimming
US12332438B2 (en) 2022-06-23 2025-06-17 Snap Inc. Color calibration tool for see-through augmented reality environment
US12204693B2 (en) 2022-06-28 2025-01-21 Snap Inc. Low-power hand-tracking system for wearable device
US12069399B2 (en) 2022-07-07 2024-08-20 Snap Inc. Dynamically switching between RGB and IR capture
CN115328306A (zh) * 2022-08-08 2022-11-11 艾曲赛艾(苏州)科技有限公司 基于惯性测量单元的可穿戴输入交互方法及装置
US12236512B2 (en) 2022-08-23 2025-02-25 Snap Inc. Avatar call on an eyewear device
US12361648B2 (en) 2022-08-26 2025-07-15 Snap Inc. Hand-tracking stabilization
US12518490B2 (en) 2022-08-31 2026-01-06 Snap Inc. Wrist rotation manipulation of virtual objects
US12158982B2 (en) 2022-09-07 2024-12-03 Snap Inc. Selecting AR buttons on a hand
US12374055B2 (en) 2022-09-09 2025-07-29 Snap Inc. Trigger gesture for selection of augmented reality content in messaging systems
US12380925B2 (en) 2022-09-09 2025-08-05 Snap Inc. Auto trimming for augmented reality content in messaging systems
US11948266B1 (en) 2022-09-09 2024-04-02 Snap Inc. Virtual object manipulation with gestures in a messaging system
US12456263B2 (en) 2022-09-09 2025-10-28 Snap Inc. Cursor functionality for augmented reality content in messaging systems
US11995780B2 (en) 2022-09-09 2024-05-28 Snap Inc. Shooting interaction using augmented reality content in a messaging system
WO2024059182A1 (en) 2022-09-15 2024-03-21 Snap Inc. Finger gesture recognition via acoustic-optic sensor fusion
US11797099B1 (en) 2022-09-19 2023-10-24 Snap Inc. Visual and audio wake commands
US11747912B1 (en) 2022-09-22 2023-09-05 Snap Inc. Steerable camera for AR hand tracking
US12530086B2 (en) 2022-10-12 2026-01-20 Snap Inc. Tractable body-based AR system input
US12423910B2 (en) 2022-12-05 2025-09-23 Snap Inc. 3D wrist tracking
US12494078B2 (en) 2022-12-08 2025-12-09 Snap Inc. Hand-tracking with IR camera for XR systems
US12429953B2 (en) 2022-12-09 2025-09-30 Snap Inc. Multi-SoC hand-tracking platform
US12437491B2 (en) 2022-12-13 2025-10-07 Snap Inc. Scaling a 3D volume in extended reality
US12482171B2 (en) 2023-01-06 2025-11-25 Snap Inc. Natural hand rendering in XR systems
US12411555B2 (en) 2023-01-11 2025-09-09 Snap Inc. Mirroring and navigating content in augmented reality messaging systems
US12340142B1 (en) 2023-01-11 2025-06-24 Snap Inc. Media streaming to augmented reality glasses over a local network
US12450851B2 (en) 2023-02-06 2025-10-21 Snap Inc. Fingernail segmentation and tracking
US12112025B2 (en) 2023-02-16 2024-10-08 Snap Inc. Gesture-driven message content resizing
US12333658B2 (en) 2023-02-21 2025-06-17 Snap Inc. Generating user interfaces displaying augmented reality graphics
US12265664B2 (en) 2023-02-28 2025-04-01 Snap Inc. Shared augmented reality eyewear device with hand tracking alignment
US12469219B2 (en) 2023-03-07 2025-11-11 Snap Inc. Hand surface normal estimation
US12314485B2 (en) 2023-04-11 2025-05-27 Snap Inc. Device-to-device collocated AR using hand tracking
US12361664B2 (en) 2023-04-19 2025-07-15 Snap Inc. 3D content display using head-wearable apparatuses
CN116774597B (zh) * 2023-05-05 2024-07-05 杭州手趣科技有限公司 一种基于可穿戴设备的智能家居设备控制方法及系统
US12405672B2 (en) 2023-05-18 2025-09-02 Snap Inc. Rotating a 3D volume in extended reality
US12169599B1 (en) 2023-05-31 2024-12-17 Snap Inc. Providing indications of video recording by modifying different interface elements
US12348855B2 (en) 2023-05-31 2025-07-01 Snap Inc. Providing draggable shutter button during video recording
US12432441B2 (en) 2023-05-31 2025-09-30 Snap Inc. Customizing a capture button used during video recording
CN117111732B (zh) * 2023-06-17 2025-04-08 深圳市魔样科技股份有限公司 基于智能戒指的手势监测方法及系统
CN116602636B (zh) * 2023-07-10 2024-02-02 深圳小澈科技有限公司 一种基于智能手表的眼部健康监测系统
US12468396B2 (en) 2023-09-07 2025-11-11 Snap Inc. Virtual manipulation of augmented and virtual reality objects
US12271517B1 (en) 2023-09-29 2025-04-08 Snap Inc. Bending-assisted calibration for extended reality tracking
US12093443B1 (en) 2023-10-30 2024-09-17 Snap Inc. Grasping virtual objects with real hands for extended reality
US12498793B2 (en) 2024-01-02 2025-12-16 Snap Inc. Translating a 3D volume in extended reality
US12399600B1 (en) 2024-02-23 2025-08-26 Google Llc Contact space determination for user interface control
WO2025192819A1 (ko) * 2024-03-11 2025-09-18 삼성전자 주식회사 드로잉을 위한 휴대 전자 장치
US12498783B1 (en) 2024-06-12 2025-12-16 Snap Inc. Hand chirality estimation for extended reality tracking
CN118502819B (zh) * 2024-07-19 2024-10-22 北京蜂巢世纪科技有限公司 指令响应方法、可穿戴设备、终端、服务器及存储介质
US12468439B1 (en) 2024-08-05 2025-11-11 Snap Inc. Hand scale factor estimation from mobile interactions

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120235885A1 (en) 2010-02-28 2012-09-20 Osterhout Group, Inc. Grating in a light transmissive illumination system for see-through near-eye display glasses

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100994774B1 (ko) * 2004-04-29 2010-11-16 삼성전자주식회사 키 입력 장치 및 방법
GB0721475D0 (en) * 2007-11-01 2007-12-12 Asquith Anthony Virtual buttons enabled by embedded inertial sensors
US8442797B2 (en) * 2009-03-30 2013-05-14 Kionix, Inc. Directional tap detection algorithm using an accelerometer
US9176542B2 (en) * 2009-11-06 2015-11-03 Sony Corporation Accelerometer-based touchscreen user interface
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US8438122B1 (en) * 2010-05-14 2013-05-07 Google Inc. Predictive analytic modeling platform
US9448637B2 (en) * 2013-05-01 2016-09-20 Intel Corporation Detection of and response to extra-device touch events
US20150186793A1 (en) * 2013-12-27 2015-07-02 Google Inc. System and method for distance learning with efficient retrieval
US9886710B2 (en) * 2014-03-25 2018-02-06 Ebay Inc. Data mesh visualization
US10725533B2 (en) * 2014-09-26 2020-07-28 Intel Corporation Systems, apparatuses, and methods for gesture recognition and interaction
KR20160108983A (ko) * 2015-03-09 2016-09-21 삼성전자주식회사 웨어러블 전자 장치의 분실 방지 방법 및 장치
WO2016183522A1 (en) * 2015-05-14 2016-11-17 Thalchemy Corporation Neural sensor hub system
GB2561455B (en) * 2015-08-15 2022-05-18 Google Llc Systems and methods for biomechically-based eye signals for interacting with real and virtual objects
KR102437106B1 (ko) * 2015-12-01 2022-08-26 삼성전자주식회사 마찰음을 이용하는 장치 및 방법
US10699186B2 (en) * 2015-12-02 2020-06-30 Google Llc Determining orders of execution of a neural network
CN113467089A (zh) * 2016-09-13 2021-10-01 奇跃公司 感测眼镜
KR20190043615A (ko) * 2016-09-14 2019-04-26 선전 로욜 테크놀로지스 컴퍼니 리미티드 헤드 마운트 디스플레이
US10949736B2 (en) * 2016-11-03 2021-03-16 Intel Corporation Flexible neural network accelerator and methods therefor
CN116883628A (zh) * 2016-12-05 2023-10-13 奇跃公司 混合现实环境中提供虚拟远程控制的可穿戴系统及方法
IT201700047044A1 (it) * 2017-05-02 2018-11-02 St Microelectronics Srl Rete neurale, dispositivo, apparecchiatura e procedimento corrispondenti
KR20250040098A (ko) 2018-09-28 2025-03-21 스냅 인코포레이티드 웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템
US11526713B2 (en) * 2018-09-28 2022-12-13 Intel Corporation Embedding human labeler influences in machine learning interfaces in computing environments

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120235885A1 (en) 2010-02-28 2012-09-20 Osterhout Group, Inc. Grating in a light transmissive illumination system for see-through near-eye display glasses

Also Published As

Publication number Publication date
US20200104039A1 (en) 2020-04-02
US11500536B2 (en) 2022-11-15
KR102782870B1 (ko) 2025-03-17
EP3857337A1 (en) 2021-08-04
US20210255763A1 (en) 2021-08-19
CN112789578B (zh) 2025-03-18
US20230013680A1 (en) 2023-01-19
KR20210058969A (ko) 2021-05-24
CN120122819A (zh) 2025-06-10
CN112789578A (zh) 2021-05-11
US10996846B2 (en) 2021-05-04
WO2020068455A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
KR102782870B1 (ko) 웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템
US12141367B2 (en) Hand gestures for animating and controlling virtual and graphical elements
US11531402B1 (en) Bimanual gestures for controlling virtual and graphical elements
US12086324B2 (en) Micro hand gestures for controlling virtual and graphical elements
US11546505B2 (en) Touchless photo capture in response to detected hand gestures
US11747915B2 (en) Smart ring for manipulating virtual objects displayed by a wearable device
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US11087728B1 (en) Computer vision and mapping for audio applications
US11900058B2 (en) Ring motion capture and message composition system
US20250224809A1 (en) Single-handed gestures for reviewing virtual content
US12340036B2 (en) Selectively activating a handheld device to control a user interface displayed by a wearable device

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20250311

Application number text: 1020217012443

Filing date: 20210426

PA0201 Request for examination
PG1501 Laying open of application