[go: up one dir, main page]

WO2025023550A1 - 사용자 입력과 관련된 모드를 변경하는 웨어러블 전자 장치와 이의 동작 방법 - Google Patents

사용자 입력과 관련된 모드를 변경하는 웨어러블 전자 장치와 이의 동작 방법 Download PDF

Info

Publication number
WO2025023550A1
WO2025023550A1 PCT/KR2024/009505 KR2024009505W WO2025023550A1 WO 2025023550 A1 WO2025023550 A1 WO 2025023550A1 KR 2024009505 W KR2024009505 W KR 2024009505W WO 2025023550 A1 WO2025023550 A1 WO 2025023550A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
mode
wearable electronic
external electronic
wearable
Prior art date
Application number
PCT/KR2024/009505
Other languages
English (en)
French (fr)
Inventor
강성구
김학상
윤종민
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230194350A external-priority patent/KR20250015747A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2025023550A1 publication Critical patent/WO2025023550A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Definitions

  • Various embodiments related to the present disclosure relate to a wearable electronic device that changes a mode related to a user input and a method of operating the same.
  • Electronic devices are being provided in various forms such as smart phones, tablet personal computers, or PDAs (personal digital assistants) with the development of digital technology. Electronic devices are also being developed in wearable forms to improve portability and accessibility for users.
  • Wearable electronic devices such as augmented reality glasses (AR glasses), video see through (VST) devices, and head mounted display (HMD) devices to provide virtual spaces in virtual environments, and the various services and additional functions provided by wearable electronic devices are gradually increasing.
  • AR glasses augmented reality glasses
  • VST video see through
  • HMD head mounted display
  • communication service providers or electronic device manufacturers are competitively developing electronic devices to provide various functions and differentiate themselves from other companies. Accordingly, the various functions provided through wearable electronic devices are also becoming increasingly advanced.
  • AR glasses, VST devices, or HMD devices can provide a realistic experience to users by displaying virtual images while worn on the user's body.
  • AR glasses, VST devices, or HMD devices can replace the usability of smart phones in various fields such as game entertainment, education, and SNS (social networking service). Users can be provided with content similar to reality through AR glasses, VST devices, or HMD devices, and can feel as if they are staying in a virtual world through interaction.
  • a wearable electronic device configured to be worn on a head may include a camera, a communication circuit, at least one processor, and a memory storing instructions.
  • the instructions when executed by the at least one processor, may be configured to cause the wearable electronic device to identify an external electronic device for controlling an input of the wearable electronic device while an input method of the wearable electronic device is driven in a first mode.
  • the instructions when executed by the at least one processor, may be configured to cause the wearable electronic device to receive, through the communication circuit, first information about at least one sensor among a plurality of sensors included in the external electronic device that senses a touch by a user's grip on the external electronic device based on the identification of the external electronic device.
  • the instructions according to one embodiment when executed by the at least one processor, may be configured to cause the wearable electronic device to change the input method of the wearable electronic device from the first mode to a second mode corresponding to the at least one sensor among a plurality of modes using the external electronic device, based on the first information.
  • a method for operating a wearable electronic device configured to be worn on a head may include an operation of identifying an external electronic device for controlling an input of the wearable electronic device while an input method of the wearable electronic device is driven in a first mode.
  • the method for operating the wearable electronic device may include an operation of receiving, based on the identifying of the external electronic device, first information about at least one sensor among a plurality of sensors included in the external electronic device that senses a touch by a user's grip on the external electronic device.
  • the method for operating the wearable electronic device may include an operation of changing, based on the first information, the input method of the wearable electronic device from the first mode to a second mode corresponding to the at least one sensor among a plurality of modes using the external electronic device.
  • the instructions according to one embodiment may be configured such that, when executed by the at least one processor, if the wearable electronic device receives, through the communication circuit, first information about at least one sensor among a plurality of sensors included in the external electronic device that senses a touch by a user's grip on the external electronic device within a specified time, the second mode is maintained.
  • the instructions according to one embodiment may be configured such that, when executed by the at least one processor, if the wearable electronic device does not receive, through the communication circuit, the first information about at least one sensor among a plurality of sensors included in the external electronic device that senses a touch by a user's grip on the external electronic device within a specified time, the second mode is changed to the first mode.
  • FIG. 1 is a block diagram of an electronic device within a network environment according to various embodiments.
  • FIG. 2 is a diagram showing the configuration of a wearable electronic device according to one embodiment.
  • FIGS. 3A, 3B, and 3C are drawings showing the front and back of a wearable electronic device according to one embodiment.
  • FIG. 4 is a diagram showing the configuration of an external electronic device according to one embodiment.
  • FIG. 5A is a diagram illustrating an electronic system including a wearable electronic device and an external electronic device according to one embodiment.
  • FIG. 5b is a block diagram illustrating an electronic system including a wearable electronic device and an external electronic device according to one embodiment.
  • FIG. 7 is a flowchart illustrating an operation of a wearable electronic device according to one embodiment of the present invention to change a mode related to user input from a first mode to a second mode.
  • FIG. 8 is a flowchart illustrating an operation of a wearable electronic device according to one embodiment of the present invention to change a mode related to user input from a first mode to a second mode.
  • FIG. 9 is a flowchart illustrating an operation of a wearable electronic device according to one embodiment of the present invention to change a mode related to user input from a first mode to a second mode.
  • FIGS. 10A and 10B are drawings for explaining a mode of a wearable electronic device determined according to a user's grip posture with respect to an external electronic device according to one embodiment.
  • FIG. 1 is a block diagram of an electronic device (101) in a network environment (100) according to various embodiments.
  • the electronic device (101) may communicate with the electronic device (102) via a first network (198) (e.g., a short-range wireless communication network), or may communicate with at least one of the electronic device (104) or the server (108) via a second network (199) (e.g., a long-range wireless communication network).
  • the electronic device (101) may communicate with the electronic device (104) via the server (108).
  • the electronic device (101) may include a processor (120), a memory (130), an input module (150), an audio output module (155), a display module (160), an audio module (170), a sensor module (176), an interface (177), a connection terminal (178), a haptic module (179), a camera module (180), a power management module (188), a battery (189), a communication module (190), a subscriber identification module (196), or an antenna module (197).
  • the electronic device (101) may omit at least one of these components (e.g., the connection terminal (178)), or may have one or more other components added.
  • some of these components e.g., the sensor module (176), the camera module (180), or the antenna module (197) may be integrated into one component (e.g., the display module (160)).
  • the processor (120) may control at least one other component (e.g., a hardware or software component) of an electronic device (101) connected to the processor (120) by executing, for example, software (e.g., a program (140)), and may perform various data processing or calculations.
  • the processor (120) may store a command or data received from another component (e.g., a sensor module (176) or a communication module (190)) in a volatile memory (132), process the command or data stored in the volatile memory (132), and store result data in a nonvolatile memory (134).
  • the processor (120) may include a main processor (121) (e.g., a central processing unit or an application processor) or an auxiliary processor (123) (e.g., a graphics processing unit, a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor) that can operate independently or together with the main processor (121).
  • a main processor (121) e.g., a central processing unit or an application processor
  • an auxiliary processor (123) e.g., a graphics processing unit, a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor
  • the auxiliary processor (123) may be configured to use less power than the main processor (121) or to be specialized for a given function.
  • the auxiliary processor (123) may be implemented separately from the main processor (121) or as a part thereof.
  • the auxiliary processor (123) may control at least a portion of functions or states associated with at least one of the components of the electronic device (101) (e.g., the display module (160), the sensor module (176), or the communication module (190)), for example, while the main processor (121) is in an inactive (e.g., sleep) state, or together with the main processor (121) while the main processor (121) is in an active (e.g., application execution) state.
  • the auxiliary processor (123) e.g., an image signal processor or a communication processor
  • the auxiliary processor (123) may include a hardware structure specialized for processing artificial intelligence models.
  • the artificial intelligence models may be generated through machine learning. Such learning may be performed, for example, in the electronic device (101) itself on which the artificial intelligence model is executed, or may be performed through a separate server (e.g., server (108)).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but is not limited to the examples described above.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • the artificial neural network may be one of a deep neural network (DNN), a convolutional neural network (CNN), a recurrent neural network (RNN), a restricted Boltzmann machine (RBM), a deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), deep Q-networks, or a combination of two or more of the above, but is not limited to the examples described above.
  • the artificial intelligence model may additionally or alternatively include a software structure.
  • the memory (130) can store various data used by at least one component (e.g., processor (120) or sensor module (176)) of the electronic device (101).
  • the data can include, for example, software (e.g., program (140)) and input data or output data for commands related thereto.
  • the memory (130) can include volatile memory (132) or nonvolatile memory (134).
  • the program (140) may be stored as software in memory (130) and may include, for example, an operating system (142), middleware (144), or an application (146).
  • the input module (150) can receive commands or data to be used in a component of the electronic device (101) (e.g., a processor (120)) from an external source (e.g., a user) of the electronic device (101).
  • the input module (150) can include, for example, a microphone, a mouse, a keyboard, a key (e.g., a button), or a digital pen (e.g., a stylus pen).
  • the audio output module (155) can output an audio signal to the outside of the electronic device (101).
  • the audio output module (155) can include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive an incoming call. According to one embodiment, the receiver can be implemented separately from the speaker or as a part thereof.
  • the display module (160) can visually provide information to an external party (e.g., a user) of the electronic device (101).
  • the display module (160) can include, for example, a display, a holographic device, or a projector and a control circuit for controlling the device.
  • the display module (160) can include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module (170) can convert sound into an electrical signal, or vice versa, convert an electrical signal into sound. According to one embodiment, the audio module (170) can obtain sound through an input module (150), or output sound through an audio output module (155), or an external electronic device (e.g., an electronic device (102)) (e.g., a speaker or a headphone) directly or wirelessly connected to the electronic device (101).
  • an electronic device e.g., an electronic device (102)
  • a speaker or a headphone directly or wirelessly connected to the electronic device (101).
  • the sensor module (176) can detect an operating state (e.g., power or temperature) of the electronic device (101) or an external environmental state (e.g., user state) and generate an electric signal or data value corresponding to the detected state.
  • the sensor module (176) can include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface (177) may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device (101) with an external electronic device (e.g., the electronic device (102)).
  • the interface (177) may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal (178) may include a connector through which the electronic device (101) may be physically connected to an external electronic device (e.g., the electronic device (102)).
  • the connection terminal (178) may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (e.g., a headphone connector).
  • the haptic module (179) can convert an electrical signal into a mechanical stimulus (e.g., vibration or movement) or an electrical stimulus that a user can perceive through a tactile or kinesthetic sense.
  • the haptic module (179) can include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module (180) can capture still images and moving images.
  • the camera module (180) can include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module (188) can manage power supplied to the electronic device (101).
  • the power management module (188) can be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery (189) can power at least one component of the electronic device (101).
  • the battery (189) can include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module (190) may support establishment of a direct (e.g., wired) communication channel or a wireless communication channel between the electronic device (101) and an external electronic device (e.g., the electronic device (102), the electronic device (104), or the server (108)), and performance of communication through the established communication channel.
  • the communication module (190) may operate independently from the processor (120) (e.g., the application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • a corresponding communication module may communicate with an external electronic device (104) via a first network (198) (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network (199) (e.g., a long-range communication network such as a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., a LAN or WAN)).
  • a first network (198) e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network (199) e.g., a long-range communication network such as a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., a LAN or WAN)
  • a computer network e.g.,
  • the wireless communication module (192) can support a 5G network and next-generation communication technology after a 4G network, for example, NR access technology (new radio access technology).
  • the NR access technology can support high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), terminal power minimization and connection of multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency communications
  • the wireless communication module (192) can support, for example, a high-frequency band (e.g., mmWave band) to achieve a high data transmission rate.
  • a high-frequency band e.g., mmWave band
  • the wireless communication module (192) may support various technologies for securing performance in a high-frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), full dimensional MIMO (FD-MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module (192) may support various requirements specified in an electronic device (101), an external electronic device (e.g., an electronic device (104)), or a network system (e.g., a second network (199)).
  • the wireless communication module (192) can support a peak data rate (e.g., 20 Gbps or more) for realizing 1eMBB, a loss coverage (e.g., 164 dB or less) for realizing mMTC, or a U-plane latency (e.g., 0.5 ms or less for downlink (DL) and uplink (UL) each, or 1 ms or less for round trip) for realizing URLLC.
  • a peak data rate e.g., 20 Gbps or more
  • a loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 0.5 ms or less for downlink (DL) and uplink (UL) each, or 1 ms or less for round trip
  • the antenna module (197) can transmit or receive signals or power to or from the outside (e.g., an external electronic device).
  • the antenna module (197) can include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (e.g., a PCB).
  • the antenna module (197) can include a plurality of antennas (e.g., an array antenna).
  • at least one antenna suitable for a communication method used in a communication network, such as the first network (198) or the second network (199) can be selected from the plurality of antennas by, for example, the communication module (190).
  • a signal or power can be transmitted or received between the communication module (190) and the external electronic device through the selected at least one antenna.
  • another component e.g., a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module (197) may form a mmWave antenna module.
  • the mmWave antenna module may include a printed circuit board, an RFIC positioned on or adjacent a first side (e.g., a bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., a mmWave band), and a plurality of antennas (e.g., an array antenna) positioned on or adjacent a second side (e.g., a top side or a side) of the printed circuit board and capable of transmitting or receiving signals in the designated high-frequency band.
  • a first side e.g., a bottom side
  • a plurality of antennas e.g., an array antenna
  • commands or data may be transmitted or received between the electronic device (101) and an external electronic device (104) via a server (108) connected to a second network (199).
  • Each of the external electronic devices (102, or 104) may be the same or a different type of device as the electronic device (101).
  • all or part of the operations executed in the electronic device (101) may be executed in one or more of the external electronic devices (102, 104, or 108). For example, when the electronic device (101) is to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device (101) may, instead of or in addition to executing the function or service itself, request one or more external electronic devices to perform at least a part of the function or service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device (101).
  • the electronic device (101) may provide the result, as is or additionally processed, as at least a part of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used, for example.
  • the electronic device (101) may provide an ultra-low latency service by using distributed computing or mobile edge computing, for example.
  • the external electronic device (104) may include an IoT (Internet of Things) device.
  • the server (108) may be an intelligent server using machine learning and/or a neural network.
  • the external electronic device (104) or the server (108) may be included in the second network (199).
  • the electronic device (101) can be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • virtual reality space described in the present disclosure may mean a virtual space provided using various virtual reality technology methods (e.g., extended reality (XR: eXtended Reality), virtual reality (VR: virtual reality), or augmented reality (AR: augmented reality)) in a virtual environment.
  • virtual reality technology methods e.g., extended reality (XR: eXtended Reality), virtual reality (VR: virtual reality), or augmented reality (AR: augmented reality)
  • XR extended reality
  • VR virtual reality
  • AR augmented reality
  • FIG. 2 is a diagram showing the configuration of a wearable electronic device according to one embodiment.
  • the light output module (211) may include a light source capable of outputting an image, and a lens for guiding the image to the display member (201).
  • the light output module (211) may include at least one of a liquid crystal display (LCD), a digital mirror device (DMD), a liquid crystal on silicon (LCoS), a light emitting diode (LED) on silicon (LEDoS), an organic light emitting diode (OLED), or a micro light emitting diode (micro LED).
  • LCD liquid crystal display
  • DMD digital mirror device
  • LCD liquid crystal on silicon
  • LED light emitting diode
  • LEDoS light emitting diode
  • OLED organic light emitting diode
  • micro LED micro light emitting diode
  • the display member (201) may include an optical waveguide (e.g., a waveguide).
  • an output image of an optical output module (211) incident on one end of the optical waveguide may be propagated inside the optical waveguide and provided to a user.
  • the optical waveguide may include at least one diffractive element (e.g., a diffractive optical element (DOE), a holographic optical element (HOE)) or at least one reflective element (e.g., a reflective mirror).
  • DOE diffractive optical element
  • HOE holographic optical element
  • the optical waveguide may guide an output image of the optical output module (211) to a user's eyes by using at least one diffractive element or reflective element.
  • the camera module (250) can capture still images and/or moving images. According to one embodiment, the camera module (250) is disposed within a lens frame and can be disposed around the display member (201).
  • the first camera module (251) can capture and/or recognize a trajectory of a user's eye (e.g., pupil, iris) or gaze. According to one embodiment of the present disclosure, the first camera module (251) can periodically or aperiodically transmit information related to a trajectory of the user's eye or gaze (e.g., trajectory information) to a processor (e.g., processor (120) of FIG. 1).
  • a processor e.g., processor (120) of FIG.
  • the second camera module (253) can capture an external image.
  • FIGS. 3A to 3C are drawings showing the front and back of a wearable electronic device according to one embodiment.
  • the camera modules (311, 312) can acquire images related to the environment surrounding the wearable electronic device.
  • the camera modules (313, 314, 315, 316) can acquire images while the wearable electronic device is worn by a user.
  • the camera modules (313, 314, 315, 316) can be used for hand detection and tracking, and recognition of user gestures (e.g., hand movements).
  • the camera modules (313, 314, 315, 316) can be used for 3DoF, 6DoF head tracking, position (spatial, environmental) recognition, and/or movement recognition.
  • the camera modules (311, 312) can also be used for hand detection and tracking, and user gestures.
  • the depth sensor (317) may be configured to transmit a signal and receive a signal reflected from a subject, and may be used for purposes such as time of flight (TOF) to determine the distance to an object.
  • TOF time of flight
  • the camera modules (313, 314, 315, 316) may determine the distance to an object (or subject).
  • face recognition camera modules (325, 326) and/or a display (321) (and/or a lens) may be arranged on the second side (320) of the housing.
  • the facial recognition camera modules (325, 326) adjacent to the display (321) may be used to recognize the user's face, or may recognize and/or track both eyes of the user.
  • the display (321) (and/or lens) may be disposed on the second side (320) of the wearable electronic device (300).
  • the wearable electronic device (300) may not include some of the camera modules (315, 316) among the plurality of camera modules (313, 314, 315, 316).
  • the wearable electronic device (300) may further include at least one of the configurations illustrated in FIG. 2.
  • a wearable electronic device (301) may include a form factor for being worn on a user's head (e.g., a head mounted display: HMD).
  • the wearable electronic device (301) may further include straps for being fixed on a body part of the user, and/or a wearing member.
  • the wearable electronic device (301) may include a volume button (331), a vent (333), a status indicator light (335), and a power button (e.g., including a fingerprint recognition sensor) (337), and such configurations may be equally included in the wearable electronic device (300) illustrated in FIGS. 3A and 3B .
  • FIG. 4 is a diagram showing the configuration of an external electronic device according to one embodiment.
  • an electronic device capable of providing a virtual reality space and/or a virtual reality object (or content) may be connected to at least one external electronic device (e.g., a controller) (401 and/or 402) that transmits and receives control signals and information via a designated communication method (e.g., BLE communication).
  • a designated communication method e.g., BLE communication
  • At least one external electronic device may include an input interface device including a pointing device, an input control device, and/or a haptic motor (e.g., a vibration motor).
  • the at least one external electronic device (401 and/or 402) may transmit information about a user interaction with respect to a virtual object displayed in a virtual reality space to the electronic device (101) (or the wearable electronic device (200, 300, or 301)).
  • the at least one external electronic device (401 and/or 402) may also be implemented as at least one of a keyboard, a mouse, an electronic pen, a smart phone, or an artificial intelligence (AI) device.
  • AI artificial intelligence
  • the first external electronic device (401) illustrated in (a) of FIG. 4 may represent a controller used with one hand of the user.
  • the second external electronic device (402) illustrated in (b) of FIG. 4 may represent a controller used with the other hand of the user.
  • the first external electronic device (401) and the second external electronic device (402) may be implemented identically or similarly to each other, except that the structures of the housings are different to fit the corresponding hands.
  • At least one external electronic device (401 and/or 402) may include a sensor module (411), an input module (413), a battery (not shown), and an indicator member (415) (e.g., a status indicator light and/or an infrared LED).
  • the at least one external electronic device (401 and/or 402) may further include other components necessary for other operations.
  • the at least one external electronic device (401 and/or 402) may be configured by dividing the entire housing into a first housing area (410a) and a second housing area (410b).
  • the sensor module (411), the input module (413), and the battery (not shown) may be arranged in the first housing area (410a), and the indicator member (415) may be arranged in the second housing area (410b).
  • the sensor module (411) may include at least one sensor (411) (e.g., a proximity sensor, a touch sensor, an acceleration sensor, and/or a gyro sensor) for detecting the movement of at least one external electronic device (401 and/or 402).
  • the sensor module (411) may be arranged in the second housing area (410b).
  • At least one external electronic device (401 and/or 402) may further include a tip (440).
  • the at least one external electronic device (401 and/or 402) may be capable of identifying an input (e.g., a handwriting input) based on pressure applied to the tip (440).
  • the tip (440) may be electrically connected to a sensor module (411), and the sensor module (411) may sense a pressure applied to the tip (440).
  • the at least one external electronic device (401 and/or 402) may further include a separate sensor hub connected to the tip (440).
  • At least one external electronic device (401 and/or 402) may further include a plurality of sensors (431, 432, and 433).
  • the plurality of sensors (431, 432, and 433) may be sensors for checking a grip posture of a user with respect to the at least one external electronic device (401 and/or 402).
  • the plurality of sensors (431, 432, and 433) may include a touch sensor and/or a capacitance change detection sensor.
  • the at least one external electronic device (401 and/or 402) may use the plurality of sensors (431, 432, and 433) to check whether the grip posture of the user is a first posture (e.g., a grip posture such as FIG.
  • a plurality of sensors (431, 432, and 433) may be arranged on a handle portion of at least one external electronic device (401 and/or 402).
  • the plurality of sensors (431, 432, and 433) may be arranged at different locations.
  • the number or locations of the plurality of sensors (431, 432, and 433) illustrated in FIG. 4 are merely exemplary, and the technical idea of the present disclosure may not be limited thereto.
  • the plurality of sensors may be arranged at appropriate locations in an appropriate number for identifying a user's grip posture.
  • FIG. 5A is a diagram illustrating an electronic system including a wearable electronic device and an external electronic device according to one embodiment.
  • an electronic system may include a wearable electronic device (501) (e.g., an electronic device (101, 200), or a wearable electronic device (200, 300, 301)) and a first external electronic device (e.g., a controller) (401) (or a second external electronic device (402) of FIG. 4).
  • a wearable electronic device e.g., an electronic device (101, 200), or a wearable electronic device (200, 300, 301
  • a first external electronic device e.g., a controller
  • 401 or a second external electronic device (402) of FIG. 4
  • the first external electronic device (401) may include an electronic device (e.g., a controller) for controlling input of the wearable electronic device (501).
  • the first external electronic device (401) may include a pointing device or an input control device of the wearable electronic device (501).
  • the number and/or types of the first external electronic devices (401) are exemplary, and the technical idea of the present disclosure is not limited thereto.
  • the wearable electronic device (501) may include an electronic device that can be worn by a user.
  • the wearable electronic device (501) may be implemented as any one of an augmented reality glass (AR glass), a video see through (VST) device, or a head mounted display (HMD) device.
  • the wearable electronic device (501) may display a virtual object, a virtual content, and/or a virtual execution screen through a display (e.g., the display 540 of FIG. 5) while being worn by a user.
  • the wearable electronic device (501) may display or control a virtual object (e.g., a handwriting input), a virtual content, and/or a virtual execution screen (e.g., an execution screen of an application) according to a user input by a first external electronic device (401).
  • a virtual object e.g., a handwriting input
  • a virtual content e.g., a virtual content
  • a virtual execution screen e.g., an execution screen of an application
  • the wearable electronic device (501) can track a user's hand. Based on user input by the user's hand, a virtual object (e.g., handwriting input), virtual content, and/or virtual execution screen (e.g., execution screen of an application) can be displayed or controlled.
  • a virtual object e.g., handwriting input
  • virtual content e.g., virtual content
  • virtual execution screen e.g., execution screen of an application
  • the wearable electronic device (501) may be driven in a hand tracking mode that tracks a user's hand.
  • the wearable electronic device (501) may identify a user input based on a gesture made by the user's hand in the hand tracking mode.
  • the external electronic device (401) may enter an inactive state.
  • the wearable electronic device (501) may be driven in a sleep mode or a standby mode.
  • the wearable electronic device (501) can be driven in a controller mode or a handwriting mode that verifies a user input by the first external electronic device (401).
  • the wearable electronic device (501) can verify a user input based on a gesture by the first external electronic device (401).
  • the wearable electronic device (501) can verify a handwriting input based on a handwriting input gesture by the first external electronic device (401).
  • the wearable electronic device (501) can deactivate an operation of tracking a user's hand.
  • the wearable electronic device when the wearable electronic device switches from the hand tracking mode to the controller mode (or the handwriting mode), a separate input (e.g., input to a button) for changing the mode was required.
  • the wearable electronic device could change the mode while the external electronic device was not moving (or in a standby state). Accordingly, the wearable electronic device could not change the mode quickly.
  • the wearable electronic device consumed a lot of power to check whether the external electronic device was not moving (or in a standby state) for changing the mode.
  • a wearable electronic device (501) can quickly change modes.
  • the wearable electronic device (501) can reduce power consumption for mode changes by simplifying preparatory operations for mode changes.
  • FIG. 5b is a block diagram illustrating an electronic system including a wearable electronic device and an external electronic device according to one embodiment.
  • the electronic system (500) may include a wearable electronic device (501) and a first external electronic device (e.g., a controller) (401).
  • the number and/or type of the first external electronic devices (401) are not limited thereto.
  • the electronic system (500) is described below as including one first external electronic device (401).
  • the wearable electronic device (501) may be implemented as any one of an augmented reality glass (AR glass), a video see through (VST) device, and a head mounted display (HMD) device.
  • the first external electronic device (401) may be a pointing device or an input control device of the wearable electronic device (501).
  • the first external electronic device (401) may be collectively referred to as an input device for an augmented reality glass (AR glass), a video see through (VST) device, an extended reality (XR) device, or a head mounted display (HMD) device.
  • the wearable electronic device (501) may include a camera (510), a processor (520), a memory (530), a display (540), and a communication circuit (550).
  • the wearable electronic device (501) may be implemented identically or similarly to the electronic device (101) of FIG. 1, the wearable electronic device (200) of FIG. 2, or the wearable electronic device (300 or 301) of FIGS. 3A to 3C.
  • the wearable electronic device (501) may be configured to be worn on a user's head.
  • the processor (520) can control the overall operation of the wearable electronic device (501).
  • the processor (520) can be implemented identically or similarly to the processor (120) of FIG. 1.
  • the processor (520) may drive the wearable electronic device (401) in a first mode related to an input method of the wearable electronic device (501).
  • the processor (520) may drive the input method of the wearable electronic device (501) in the first mode.
  • the first mode may represent a mode for confirming or determining an input to the wearable electronic device (501) according to an input method that does not use a first external electronic device (e.g., a controller) (401).
  • the processor (520) may, in the first mode of the wearable electronic device (501), confirm a gesture input by a user's body, a gaze tracking input (e.g., a user's pupil position sensed using a gaze tracking camera), a touch input to the wearable electronic device (501), or a combination of the above inputs as an input to the wearable electronic device (501).
  • the first mode may include a hand tracking mode.
  • the processor (520) can, in the first mode, identify a movement or gesture of a user's hand through the camera (510) and identify a user input corresponding to the movement or gesture.
  • the processor (520) can identify a user input by comparing a movement or gesture identified through the camera (510) with a reference movement or gesture previously stored in the memory (530).
  • the processor (510) may detect a first external electronic device among the plurality of sensors (431, 432, and 433).
  • the first information about at least one sensor that senses the user's grip on the device (401) may be received.
  • the first information may include information about at least one sensor that detects a capacitance change among the plurality of sensors (431, 432, and 433).
  • the first information may include information indicating which sensor among the plurality of sensors (431, 432, and 433) detects a capacitance change (e.g., a touch by the user's grip).
  • the processor (520) may determine or confirm the user's grip posture (e.g., the first posture or the second posture) for the first external electronic device (401) by checking which sensor among the plurality of sensors (431, 432, and 433) detected the capacitance change.
  • the first information may include information indicating the user's grip posture (e.g., the first posture or the second posture).
  • the processor (520) may determine or confirm the user's grip posture (e.g., the first posture or the second posture) indicated by the first information.
  • a posture e.g., a first posture or a second posture
  • a posture e.g., a first posture or a second posture
  • the first posture can represent a posture in which the user holds the first external electronic device (401) with the palm and fingers, as shown in FIG. 10a.
  • the second posture can represent a posture in which the user holds the handle of the first external electronic device (401) with the fingers like holding a pencil, as shown in FIG. 10b.
  • the processor (520) may change the first mode to a mode (or a second mode) corresponding to at least one sensor among a plurality of modes for controlling input of the wearable electronic device (401) using the first external electronic device (401), based on the first information received from the first external electronic device (401).
  • the plurality of modes may include a controller mode and a handwriting mode.
  • the processor (520) may change the first mode to a mode specified for at least one sensor (e.g., the controller mode or the handwriting mode). Alternatively, the processor (520) may maintain the first mode.
  • the processor (520) may change the first mode to the controller mode when it is determined that among the plurality of sensors (431, 432, and 433 of FIG. 4), the first sensor (431) corresponding to the first position and the second sensor (432) corresponding to the second position have sensed the user's grip.
  • the processor (520) may, while operating in the controller mode, deactivate elements (e.g., specific buttons, a pressure sensor (or a pressure sensor), and an IR LED) included in the first external electronic device (401) that are not related to the controller mode.
  • elements e.g., specific buttons, a pressure sensor (or a pressure sensor), and an IR LED
  • the processor (520) may change the first mode to a handwriting mode when it is determined that a first sensor (431) corresponding to a first position and a third sensor (433) corresponding to a third position among a plurality of sensors (431, 432, and 433 of FIG. 4) have sensed the user's grip.
  • the processor (520) may receive information about pressure (e.g., information about writing pressure) on the tip (440) included in the first external electronic device (401) through the communication circuit (550) after the first external electronic device (401) is changed to a writing mode.
  • the processor (520) may determine an execution command for a writing input or a function related to writing input based on the information about the pressure.
  • the processor (520) may, while operating in the writing mode, deactivate elements (e.g., specific buttons and IR LEDs) included in the first external electronic device (401) that are not related to the writing mode.
  • elements e.g., specific buttons and IR LEDs
  • the processor (520) when the processor (520) receives information about a grip posture sensed by the grip sensor (430) from the first external electronic device (401) even when the first external electronic device (401) is not detected through the camera (510), the processor (520) may change the first mode to a mode (e.g., a controller mode or a handwriting mode) specified for the corresponding grip posture. For example, when the processor (520) receives information indicating that a first sensor (431) corresponding to a first position and a second sensor (432) corresponding to a second position among a plurality of sensors (431, 432, and 433 of FIG. 4) have sensed the user's grip, the processor (520) may change the first mode to a controller mode.
  • a mode e.g., a controller mode or a handwriting mode
  • the processor (520) may change the first mode to a handwriting mode.
  • the processor (520) may, after changing the first mode to the controller mode or the handwriting mode, determine through the first external electronic device (401) whether at least one sensor designated for the corresponding mode senses the user's grip. If it is determined that the at least one sensor continues to sense the user's grip, the processor (520) may maintain the controller mode or the handwriting mode. Alternatively, if it is determined that the at least one sensor does not sense the user's grip, the processor (520) may change the controller mode or the handwriting mode back to the first mode. Depending on the implementation, the processor (520) may also change the controller mode to the handwriting mode or the handwriting mode to the controller mode based on information about the grip sensor (430) received through the first external electronic device (401).
  • the processor (520) may display virtual content or objects through the display (540).
  • the display (540) may be implemented as an optical output device (e.g., the display member (201) of FIG. 2) for displaying content or objects through the glasses.
  • the display (540) may be implemented as a device (e.g., the display (321) of FIGS. 3A to 3B) for displaying a screen on the display.
  • the wearable electronic device (501) may display a virtual object on a screen captured by the camera (510).
  • the processor (520) may wirelessly transmit and receive information (or data) with the first external electronic device (401) through the communication circuit (550).
  • the processor (520) may form a communication connection with the first external electronic device (401) using a short-range communication technology (e.g., BLE (Bluetooth Low Energy) or WiFi) through the communication circuit (550).
  • BLE Bluetooth Low Energy
  • WiFi Wireless Fidelity
  • the first external electronic device (401) may include a sensor module (411), a processor (420), a grip sensor (430), and a communication circuit (450).
  • the processor (420) may control the overall operation of the first external electronic device (401).
  • the processor (420) may be implemented in a manner identical to or similar to the processor (120) of FIG. 1.
  • the processor (420) may identify information about a movement or gesture of a first external electronic device (401) sensed through a sensor module (411) (e.g., a motion sensor, an acceleration sensor, and/or a gyro sensor).
  • a sensor module e.g., a motion sensor, an acceleration sensor, and/or a gyro sensor.
  • the processor (420) may identify information about a user's grip posture (or gripped position) with respect to a first external electronic device (401) sensed through a grip sensor (430) (e.g., a touch sensor and/or a capacitance change detection sensor). Alternatively, the processor (420) may identify at least one sensor among a plurality of sensors (431, 432, and 433 of FIG. 4) that detected the user's grip.
  • a grip sensor e.g., a touch sensor and/or a capacitance change detection sensor.
  • the processor (420) may identify at least one sensor among a plurality of sensors (431, 432, and 433 of FIG. 4) that detected the user's grip.
  • the first external electronic device (401) may further include a pressure sensor (or pressure sensor) (not shown).
  • the processor (420) may check information about pressure on a tip (e.g., tip (440) of FIG. 4) included in the first external electronic device (401) sensed through the pressure sensor.
  • the processor (420) may transmit, through the communication circuit (450), information about a movement or gesture, information about a grip posture (or a gripped position), information about at least one sensor that detects the user's grip, and/or information about pressure to the wearable electronic device (501).
  • the communication circuit (450) may form a communication connection with the wearable electronic device (401) using a short-range communication technology.
  • the processor (420) may be driven in a sleep mode or a standby mode when there is no movement. When driven in the sleep mode or the standby mode, the processor (420) may deactivate some elements (e.g., an IR LED, a pressure sensor, and/or a specific button) of the first external electronic device (401). Alternatively, when the wearable electronic device (501) is driven in a controller mode or a writing mode, the processor (420) may deactivate some elements (e.g., an IR LED, a pressure sensor, and/or a specific button) of the first external electronic device (401) that are not related to the corresponding mode.
  • some elements e.g., an IR LED, a pressure sensor, and/or a specific button
  • At least some of the operations of the wearable electronic device (501) described below may be performed by the processor (520). However, for convenience of explanation, the operations will be described as being performed by the wearable electronic device (501).
  • FIG. 6 is a flowchart illustrating the operation of a wearable electronic device according to one embodiment.
  • the wearable electronic device (501) may drive an input method of the wearable electronic device (501) in a first mode that does not use a first external electronic device (e.g., a controller) (401).
  • a first external electronic device e.g., a controller
  • the wearable electronic device (501) may be driven in a first mode (e.g., a user's gesture input mode or a hand tracking mode that tracks a user's hand) related to an input method of the wearable electronic device (501) that does not use the first external electronic device (401).
  • a first mode e.g., a user's gesture input mode or a hand tracking mode that tracks a user's hand
  • the wearable electronic device (501) may identify an external electronic device (e.g., the first external electronic device (401) of FIG. 5) for controlling input of the wearable electronic device (501) via at least one of a camera (e.g., the camera (510) of FIG. 5) and/or a communication circuit (e.g., the communication circuit (550) of FIG. 5).
  • the wearable electronic device (501) may identify the first external electronic device (401) via a sensor included in the wearable electronic device (501) while operating in the first mode.
  • the wearable electronic device (501) may receive first information about at least one sensor among a plurality of sensors (e.g., 431, 432, and 433 of FIG. 4) included in the external electronic device (401) that senses the user's grip on the external electronic device (401) based on identifying the external electronic device (401) (e.g., identifying the external electronic device (401) via the camera (510) and/or the communication circuit (550).
  • the wearable electronic device (501) may also receive information related to the user's grip posture from the external electronic device (401) when the external electronic device (401) is identified via the camera (510).
  • the wearable electronic device (501) may change a first mode (e.g., a user's gesture input mode or a hand tracking mode) to a second mode (e.g., a controller mode or a handwriting mode) that controls input of the wearable electronic device (501) using an external electronic device (401) based on the first information.
  • a first mode e.g., a user's gesture input mode or a hand tracking mode
  • a second mode e.g., a controller mode or a handwriting mode
  • the wearable electronic device (501) may change a plurality of modes (e.g., a controller mode and a handwriting mode) using the external electronic device (401) to a second mode specified for (or corresponding to) the user's grip or the at least one sensor, based on at least one sensor or the user's grip posture (e.g., a grip posture corresponding to the at least one sensor) identified based on the first information.
  • a plurality of modes e.g., a controller mode and a handwriting mode
  • a second mode specified for (or corresponding to) the user's grip or the at least one sensor based on at least one sensor or the user's grip posture (e.g., a grip posture corresponding to the at least one sensor) identified based on the first information.
  • the wearable electronic device (501) can quickly change modes.
  • the wearable electronic device (501) can reduce power consumption due to mode changes.
  • FIG. 7 is a flowchart illustrating an operation of a wearable electronic device according to one embodiment of the present invention to change a mode related to user input from a first mode to a second mode.
  • the wearable electronic device (501) may operate in a first mode (e.g., gesture input mode or hand tracking mode) that does not use a first external electronic device (e.g., controller) (401) as an input method of the wearable electronic device (501).
  • a first external electronic device e.g., controller
  • the wearable electronic device (501) may track a user's hand in the first mode using a camera (e.g., camera (510) of FIG. 5).
  • the wearable electronic device (501) may identify a movement or gesture of the user's hand in the first mode, and identify a user input corresponding to the identified movement or gesture.
  • the wearable electronic device (501) may determine whether an external electronic device (e.g., the first external electronic device (401) of FIG. 5, a controller) is detected (or identified) through at least one of the camera (501) or the communication circuit (e.g., the communication circuit (550) of FIG. 5) while operating in the first mode.
  • the wearable electronic device (501) may detect the first external electronic device (401) through a sensor included in the wearable electronic device (501) while operating in the first mode.
  • the wearable electronic device (501) may be driven in the first mode.
  • the wearable electronic device (501) may determine whether two designated sensors among a plurality of sensors (e.g., 431, 432, and 433 of FIG. 4) included in the external electronic device (401) sense the user's grip. For example, the wearable electronic device (501) may receive related information from the external electronic device (401) to determine whether the two designated sensors sense the user's grip.
  • the two designated sensors may represent sensors that are pre-designated in the external electronic device (401) for the wearable electronic device (501) to switch to a controller mode or a handwriting mode.
  • the wearable electronic device (501) may be driven in the first mode.
  • the wearable electronic device (501) can change the first mode to the handwriting mode.
  • the wearable electronic device (501) may change the first mode to the controller mode.
  • the wearable electronic device (501) can quickly change modes.
  • the wearable electronic device (501) can reduce power consumption due to mode changes.
  • FIG. 8 is a flowchart illustrating an operation of a wearable electronic device according to one embodiment of the present invention to change a mode related to user input from a first mode to a second mode.
  • the wearable electronic device (501) may operate in a first mode (e.g., gesture input mode or hand tracking mode) that does not use a first external electronic device (e.g., controller) (401) as an input method of the wearable electronic device (501).
  • a first external electronic device e.g., controller
  • the wearable electronic device (501) may track a user's hand in the first mode using a camera (e.g., camera (510) of FIG. 5).
  • the wearable electronic device (501) may identify a movement or gesture of the user's hand in the first mode, and identify a user input corresponding to the identified movement or gesture.
  • the wearable electronic device (501) may determine whether an external electronic device (e.g., the first external electronic device (401) of FIG. 5, a controller)) is detected (or identified) via at least one of the camera (510) or the communication circuit (e.g., the communication circuit (550) of FIG. 5) while operating in the first mode.
  • the wearable electronic device (501) may detect the first external electronic device (401) via a sensor included in the wearable electronic device (501) while operating in the first mode.
  • the wearable electronic device (501) may determine whether at least one sensor senses the user's grip.
  • the at least one sensor may include a sensor (or a combination of sensors) that is not designated for a specific mode. That is, determining whether at least one sensor senses the user's grip may be for determining whether there is a grip.
  • the wearable electronic device (501) may remain in the first mode if at least one sensor is determined not to be sensing the user's grip (NO of operation 805).
  • the wearable electronic device (501) may change the first mode to the controller mode.
  • the wearable electronic device (501) may change the first mode to the handwriting mode. For example, changing the first mode to the controller mode or the handwriting mode may be specified by the user or may be automatically specified by the processor (520).
  • the wearable electronic device (501) may determine whether two sensors designated for a specific mode sense the user's grip.
  • the wearable electronic device (501) may remain in the first mode if it is determined that the two designated sensors are not sensing the user's grip (NO of operation 807).
  • the wearable electronic device (501) may change the first mode to a mode corresponding to the two designated sensors (e.g., controller mode). Depending on the implementation, the wearable electronic device (501) may change the first mode to a handwriting mode.
  • the wearable electronic device (501) can set different mode change conditions when the external electronic device (401) is identified through the camera (510) and when it is not identified. Through this, the wearable electronic device (501) can quickly change the mode. In addition, the wearable electronic device (501) can reduce power consumption due to the mode change by simplifying operations for the mode change.
  • FIG. 9 is a flowchart illustrating an operation of a wearable electronic device according to one embodiment of the present invention to change a mode related to user input from a first mode to a second mode.
  • the wearable electronic device (501) may operate in a first mode (e.g., gesture input mode or hand tracking mode) that does not use a first external electronic device (e.g., controller) (401) as an input method of the wearable electronic device (501).
  • a first external electronic device e.g., controller
  • the wearable electronic device (501) may track a user's hand in the first mode using a camera (e.g., camera (510) of FIG. 5).
  • the wearable electronic device (501) may identify a movement or gesture of the user's hand in the first mode, and identify a user input corresponding to the identified movement or gesture.
  • the wearable electronic device (501) may determine whether an external electronic device (e.g., the first external electronic device (401) of FIG. 5, a controller) is detected (or identified) through at least one of the camera (510) or the communication circuit (e.g., the communication circuit (550) of FIG. 5) while operating in the first mode.
  • the wearable electronic device (501) may detect the first external electronic device (401) through a sensor included in the wearable electronic device (501) while operating in the first mode.
  • the wearable electronic device (501) may maintain the first mode if the external electronic device (401) is not identified (NO of operation 903).
  • the wearable electronic device (501) may determine whether a distance between the user's hand and the external electronic device (401) is shorter than a specified distance.
  • the specified distance for changing the mode of the wearable electronic device (401) may be determined as a distance (e.g., 10 cm) that may indicate that the user's hand is close to the external electronic device (401).
  • the specified distance may be determined by the user or automatically determined by the processor (520).
  • the wearable electronic device (501) may maintain the first mode if it is determined that the distance between the user's hand and the external electronic device (401) is not shorter than the specified distance (NO of operation 905).
  • the wearable electronic device (501) may change the first mode to the controller mode.
  • the wearable electronic device (501) may change the first mode to the handwriting mode. For example, changing the first mode to the controller mode or the handwriting mode may be specified by the user or may be automatically specified by the processor (520).
  • the wearable electronic device (501) may skip operation 905 and perform operation 907 if the condition of operation 903 is satisfied.
  • the wearable electronic device (501) may change the first mode to a controller mode (or a handwriting mode), and then activate a timer (or a timer setting).
  • the wearable electronic device (501) may determine, through the external electronic device (401), whether two designated sensors included in the external electronic device (401) sense the user's grip within a designated time period.
  • the wearable electronic device (501) may maintain the controller mode (or writing mode).
  • the wearable electronic device (501) may change the controller mode (or the writing mode) to the first mode. That is, if it is not confirmed that two designated sensors included in the external electronic device (401) sense the user's grip within a designated time, the wearable electronic device (501) may cancel the mode change.
  • the wearable electronic device (501) can preemptively change the mode if a specified condition among the conditions for changing the mode is satisfied. Through this, the wearable electronic device (501) can quickly change the mode. In addition, the wearable electronic device (501) can reduce power consumption due to the mode change by simplifying the operations for changing the mode.
  • FIGS. 10A and 10B are drawings for explaining a mode of a wearable electronic device determined according to a user's grip posture with respect to an external electronic device according to one embodiment.
  • a user may grip an external electronic device (401) in a first posture.
  • a first sensor (431) and a second sensor (432) among a plurality of sensors (e.g., 431, 432, and 433 of FIG. 4) included in the external electronic device (401) may detect a touch (or a capacitance change).
  • the external electronic device (401) may transmit information about the first posture or information indicating that the first sensor (431) and the second sensor (432) detect a touch (or a capacitance change) to the wearable electronic device (501).
  • the wearable electronic device (501) may change or switch the first mode to the controller mode in response to information about the first posture or information indicating that the first sensor (431) and the second sensor (432) detect a touch (or a change in capacitance).
  • a user may grip an external electronic device (401) in a second posture.
  • a first sensor (431) and a third sensor (433) among a plurality of sensors (e.g., 431, 432, and 433 of FIG. 4) included in the external electronic device (401) may detect a touch (or a capacitance change).
  • the external electronic device (401) may transmit information about the second posture or information indicating that the first sensor (431) and the third sensor (433) detect a touch (or a capacitance change) to the wearable electronic device (501).
  • the wearable electronic device (501) may change or switch the first mode to a handwriting mode in response to information about the second posture or information indicating that the first sensor (431) and the third sensor (432) detect a touch (or a capacitance change).
  • the wearable electronic device (501) can quickly change modes.
  • the wearable electronic device (501) can reduce power consumption due to mode changes by simplifying operations for mode changes.
  • a wearable electronic device (501) configured to be worn on a head may include a camera (510), a communication circuit (550), at least one processor (520), and a memory (530) storing instructions.
  • the instructions according to an embodiment may be configured such that, when executed by the at least one processor, the wearable electronic device identifies an external electronic device (401 and/or 402) for controlling an input of the wearable electronic device while the input method of the wearable electronic device is driven in a first mode.
  • the instructions according to an embodiment may be configured such that, when executed by the at least one processor, the wearable electronic device receives, through the communication circuit, first information about at least one sensor among a plurality of sensors (431, 432, and 433) included in the external electronic device that senses a touch by a user's grip on the external electronic device based on identifying the external electronic device.
  • the instructions according to one embodiment, when executed by the at least one processor may be configured to cause the wearable electronic device to change the input method of the wearable electronic device from the first mode to a second mode corresponding to the at least one sensor among a plurality of modes using the external electronic device, based on the first information.
  • the instructions according to one embodiment may be configured to cause the wearable electronic device, when executed by the at least one processor, to change the first mode to a controller mode for confirming a user input to the wearable electronic device using the external electronic device if it is determined that a first sensor corresponding to a first position and a second sensor corresponding to a second position among the plurality of sensors included in the external electronic device have sensed the touch by the grip.
  • the instructions according to one embodiment may be configured to cause the wearable electronic device to deactivate elements included in the external electronic device that are not related to the controller mode while the wearable electronic device operates the input method of the wearable electronic device in the controller mode.
  • the instructions according to one embodiment may be configured to cause the wearable electronic device, when executed by the at least one processor, to change the first mode to a controller mode for confirming a user input to the wearable electronic device using the external electronic device, when the wearable electronic device receives the first information indicating that a first sensor corresponding to a first position and a second sensor corresponding to a second position among the plurality of sensors have sensed the touch by the grip from the external electronic device even if the external electronic device is not identified.
  • the instructions according to one embodiment may be configured to cause the wearable electronic device, when executed by the at least one processor, to change the first mode to a handwriting mode for inputting handwriting using the external electronic device if it is determined that a first sensor corresponding to a first position and a third sensor corresponding to a third position among the plurality of sensors included in the external electronic device have sensed the touch by the grip.
  • the instructions according to one embodiment may be configured such that, when executed by the at least one processor, the wearable electronic device changes the input method of the wearable electronic device to the handwriting mode, and then receives, through the communication circuit, information about pressure on a tip included in the external electronic device.
  • the instructions according to one embodiment may be configured such that, when executed by the at least one processor, the wearable electronic device confirms a handwriting input based on the information about the pressure.
  • the instructions according to one embodiment when executed by the at least one processor, may be configured to cause the wearable electronic device to deactivate elements included in the external electronic device that are not related to the handwriting mode while the input method of the wearable electronic device is driven in the handwriting mode.
  • the instructions according to one embodiment may be configured to cause the wearable electronic device, when executed by the at least one processor, to change the first mode to a handwriting mode for inputting handwriting using the external electronic device when the wearable electronic device receives the first information indicating that a first sensor corresponding to a first position and a third sensor corresponding to a third position among the plurality of sensors have sensed the touch by the grip from the external electronic device even if the external electronic device is not identified.
  • the plurality of sensors included in the external electronic device are arranged in a handle portion of the external electronic device, and the plurality of sensors included in the external electronic device can be arranged at different locations.
  • the instructions according to one embodiment may be configured such that, when executed by the at least one processor, the wearable electronic device determines, through the external electronic device, whether the at least one sensor senses the touch by the grip after the input method of the wearable electronic device is changed to the second mode.
  • the instructions according to one embodiment may be configured such that, when executed by the at least one processor, the wearable electronic device maintains the second mode if it is determined that the at least one sensor senses the touch by the grip.
  • the processor according to one embodiment may be configured such that, when it is determined that the at least one sensor does not sense the touch by the grip, it changes the second mode to the first mode.
  • a method for operating a wearable electronic device (501) configured to be worn on a head may include an operation of checking an external electronic device (401 and/or 402) for controlling an input of the wearable electronic device while operating an input method of the wearable electronic device in a first mode.
  • the method for operating the wearable electronic device may include an operation of receiving, based on the checking of the external electronic device, first information about at least one sensor among a plurality of sensors (431, 432, and 433) included in the external electronic device that senses a touch by a user's grip on the external electronic device.
  • the method for operating the wearable electronic device may include an operation of changing, based on the first information, the input method of the wearable electronic device from the first mode to a second mode corresponding to the at least one sensor among a plurality of modes for using the external electronic device.
  • the operation of changing the first mode to the second mode may include an operation of changing the first mode to a controller mode that confirms a user input to the wearable electronic device using the external electronic device when it is confirmed that a first sensor corresponding to a first position and a second sensor corresponding to a second position among the plurality of sensors included in the external electronic device have sensed the touch by the grip.
  • the operating method of the wearable electronic device may further include an operation of deactivating elements not related to the controller mode included in the external electronic device while operating the input method of the wearable electronic device in the controller mode.
  • the operating method of the wearable electronic device may further include an operation of changing the first mode to a controller mode for confirming a user input to the wearable electronic device using the external electronic device when the first information indicating that a first sensor corresponding to a first position and a second sensor corresponding to a second position among the plurality of sensors sense the touch by the grip is received from the external electronic device even when the external electronic device is not confirmed.
  • the operation of changing the first mode to the second mode may include an operation of changing the first mode to a handwriting mode for inputting handwriting using the external electronic device when it is determined that a first sensor corresponding to a first position and a third sensor corresponding to a third position among the plurality of sensors included in the external electronic device have sensed the touch by the grip.
  • the operating method of the wearable electronic device may further include an operation of receiving information about pressure on a tip included in the external electronic device through a communication circuit (550) included in the wearable electronic device after changing the input method of the wearable electronic device to the handwriting mode.
  • the operating method of the wearable electronic device may further include an operation of confirming a handwriting input based on the information about the pressure.
  • the operating method of the wearable electronic device may further include an operation of deactivating elements not related to the handwriting mode included in the external electronic device while operating the input method of the wearable electronic device in the handwriting mode.
  • the operating method of the wearable electronic device may further include an operation of changing the first mode to a handwriting mode for inputting handwriting using the external electronic device when the first information indicating that a first sensor corresponding to a first position and a third sensor corresponding to a third position among the plurality of sensors sense the touch by the grip is received from the external electronic device even when the external electronic device is not identified.
  • a wearable electronic device (501) configured to be worn on a head may include a camera (510), a communication circuit (550), at least one processor (520), and a memory (530) storing instructions.
  • the instructions according to an embodiment may be configured such that, when executed by the at least one processor, the wearable electronic device identifies an external electronic device for controlling an input of the wearable electronic device while an input method of the wearable electronic device is operated in a first mode.
  • the instructions according to an embodiment may be configured such that, when executed by the at least one processor, the wearable electronic device changes the input method of the wearable electronic device from the first mode to a second mode using the external electronic device based on identifying the external electronic device.
  • the instructions according to one embodiment may be configured such that, when executed by the at least one processor, if the wearable electronic device receives, through the communication circuit, first information about at least one sensor among a plurality of sensors (431, 432, and 433) included in the external electronic device that senses a touch by a user's grip on the external electronic device within a specified time, the second mode is maintained.
  • the instructions according to one embodiment may be configured such that, when executed by the at least one processor, if the wearable electronic device does not receive, through the communication circuit, the first information about at least one sensor among a plurality of sensors included in the external electronic device that senses a touch by a user's grip on the external electronic device within a specified time, the second mode is changed to the first mode.
  • the instructions according to one embodiment may be configured to cause the wearable electronic device to change the first mode to the second mode when the instructions, when executed by the at least one processor, determine that the external electronic device is located within a specified distance from the wearable electronic device.
  • the electronic devices according to various embodiments disclosed in this document may be devices of various forms.
  • the electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliance devices.
  • portable communication devices e.g., smartphones
  • computer devices portable multimedia devices
  • portable medical devices e.g., cameras
  • wearable devices e.g., smart watch devices
  • home appliance devices e.g., smartphones
  • the electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used merely to distinguish one component from another, and do not limit the components in any other respect (e.g., importance or order).
  • a component e.g., a first
  • another component e.g., a second
  • functionally e.g., a third component
  • module used in various embodiments of this document may include a unit implemented in hardware, software or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a module may be an integrally configured component or a minimum unit of the component or a part thereof that performs one or more functions.
  • a module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document may be implemented as software (e.g., a program (1440)) including one or more instructions stored in a storage medium (e.g., an internal memory (1436) or an external memory (1438)) readable by a machine (e.g., an electronic device (1401)).
  • a processor e.g., a processor (1420)
  • the machine may call at least one instruction among the one or more instructions stored from the storage medium and execute it. This enables the machine to operate to perform at least one function according to the at least one called instruction.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the machine-readable storage medium may be provided in the form of a non-transitory storage medium.
  • ‘non-transitory’ simply means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and the term does not distinguish between cases where data is stored semi-permanently or temporarily on the storage medium.
  • the method according to various embodiments disclosed in the present document may be provided as included in a computer program product.
  • the computer program product may be traded between a seller and a buyer as a commodity.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g., a compact disc read only memory (CD-ROM)), or may be distributed online (e.g., downloaded or uploaded) via an application store (e.g., Play StoreTM) or directly between two user devices (e.g., smart phones).
  • an application store e.g., Play StoreTM
  • at least a part of the computer program product may be at least temporarily stored or temporarily generated in a machine-readable storage medium, such as a memory of a manufacturer's server, a server of an application store, or an intermediary server.
  • each component e.g., a module or a program of the above-described components may include a single or multiple entities, and some of the multiple entities may be separately arranged in other components.
  • one or more components or operations of the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • the multiple components e.g., a module or a program
  • the integrated component may perform one or more functions of each of the multiple components identically or similarly to those performed by the corresponding component of the multiple components before the integration.
  • the operations performed by the module, program, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations may be executed in a different order, omitted, or one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시 예에 따른 머리에 착용할 수 있도록 구성된 웨어러블 전자 장치는, 카메라, 통신 회로, 및 프로세서를 포함할 수 있다. 일 실시 예에 따른 상기 프로세서는, 상기 웨어러블 전자 장치의 입력 방식을 제1 모드로 구동하는 중에, 상기 웨어러블 전자 장치의 입력을 제어하기 위한 외부 전자 장치를 확인하도록 설정될 수 있다. 일 실시 예에 따른 상기 프로세서는, 상기 외부 전자 장치를 확인하는 것에 기반하여, 상기 외부 전자 장치에 포함된 복수의 센서들 중 상기 외부 전자 장치에 대한 사용자의 그립에 의한 터치를 센싱한 적어도 하나의 센서에 대한 제1 정보를 상기 통신 회로를 통해 수신하도록 설정될 수 있다. 일 실시 예에 따른 상기 프로세서는, 상기 제1 정보에 기반하여, 상기 웨어러블 전자 장치의 상기 입력 방식을 상기 제1 모드에서 상기 외부 전자 장치를 이용하는 복수의 모드들 중 상기 적어도 하나의 센서에 대응하는 제2 모드로 변경하도록 설정될 수 있다. 그 외에도 다양한 실시 예들이 가능하다.

Description

사용자 입력과 관련된 모드를 변경하는 웨어러블 전자 장치와 이의 동작 방법
본 개시와 관련된 다양한 실시 예들은, 사용자 입력과 관련된 모드를 변경하는 웨어러블 전자 장치와 이의 동작 방법에 관한 것이다.
전자 장치는 디지털 기술의 발달과 함께 스마트 폰(smart phone), 태블릿 PC(tablet personal computer), 또는 PDA(personal digital assistant)와 같은 다양한 형태로 제공되고 있다. 전자 장치는 이동성(portability) 및 사용자의 접근성(accessibility)을 향상시킬 수 있도록 사용자에 착용할 수 있는 형태로도 개발되고 있다.
사용자가 착용할 수 있는 형태로 개발되는 전자 장치는 가상 환경에서 가상 공간을 제공할 수 있도록 AR 글래스(augmented reality glass), VST(video see through) 장치, HMD(head mounted display) 장치와 같은 웨어러블 전자 장치 형태로 개발되고 있으며, 웨어러블 전자 장치에서 제공되는 다양한 서비스 및 부가 기능들이 점차 증가하고 있다. 이러한 전자 장치의 효용 가치를 높이고, 다양한 사용자들의 욕구를 만족시키기 위해서 통신 서비스 제공자 또는 전자 장치 제조사들은 다양한 기능들을 제공하고 다른 업체와의 차별화를 위해 전자 장치를 경쟁적으로 개발하고 있다. 이에 따라, 웨어러블 전자 장치를 통해서 제공되는 다양한 기능들도 점점 고도화되고 있다.
AR 글래스, VST 장치, 또는 HMD 장치는, 사용자의 신체에 착용된 상태에서, 가상의 이미지를 표시함으로써, 사용자에게 현실감 있는 체험을 제공할 수 있다. AR 글래스, VST 장치, 또는 HMD 장치는, 게임 엔터테인먼트, 교육, SNS(social networking service)와 같은 다양한 분야에서 스마트 폰의 사용성을 대체할 수 있다. 사용자는, AR 글래스, VST 장치, 또는 HMD 장치를 통하여 현실과 유사한 컨텐츠를 제공받을 수 있으며, 인터랙션을 통하여 가상의 세계에 머무는 듯한 느낌을 받을 수 있다.
상술한 정보는 본 개시에 대한 이해를 돕기 위한 목적으로 하는 배경 기술(related art)로 제공될 수 있다. 상술한 내용 중 어느 것도 본 개시와 관련된 종래 기술(prior art)로서 적용될 수 있는지에 대하여 어떠한 주장이나 결정이 제기되지 않는다.
일 실시 예에 따른 머리에 착용할 수 있도록 구성된 웨어러블 전자 장치는, 카메라, 통신 회로, 적어도 하나의 프로세서, 및 인스트럭션들을 저장하는 메모리를 포함할 수 있다. 일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 웨어러블 전자 장치의 입력 방식을 제1 모드로 구동하는 중에, 상기 웨어러블 전자 장치의 입력을 제어하기 위한 외부 전자 장치를 확인하도록 설정될 수 있다. 일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 외부 전자 장치를 확인하는 것에 기반하여, 상기 외부 전자 장치에 포함된 복수의 센서들 중 상기 외부 전자 장치에 대한 사용자의 그립에 의한 터치를 센싱한 적어도 하나의 센서에 대한 제1 정보를 상기 통신 회로를 통해 수신하도록 설정될 수 있다. 일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 제1 정보에 기반하여, 상기 웨어러블 전자 장치의 상기 입력 방식을 상기 제1 모드에서 상기 외부 전자 장치를 이용하는 복수의 모드들 중 상기 적어도 하나의 센서에 대응하는 제2 모드로 변경하도록 설정될 수 있다.
일 실시 예에 따른 머리에 착용할 수 있도록 구성된 웨어러블 전자 장치의 동작 방법은, 상기 웨어러블 전자 장치의 입력 방식을 제1 모드로 구동하는 중에, 상기 웨어러블 전자 장치의 입력을 제어하기 위한 외부 전자 장치를 확인하는 동작을 포함할 수 있다. 일 실시 예에 따른 상기 웨어러블 전자 장치의 동작 방법은, 상기 외부 전자 장치를 확인하는 것에 기반하여, 상기 외부 전자 장치에 포함된 복수의 센서들 중 상기 외부 전자 장치에 대한 사용자의 그립에 의한 터치를 센싱한 적어도 하나의 센서에 대한 제1 정보를 수신하는 동작을 포함할 수 있다. 일 실시 예에 따른 상기 웨어러블 전자 장치의 동작 방법은, 상기 제1 정보에 기반하여, 상기 웨어러블 전자 장치의 상기 입력 방식을 상기 제1 모드에서 상기 외부 전자 장치를 이용하는 복수의 모드들 중 상기 적어도 하나의 센서에 대응하는 제2 모드로 변경하는 동작을 포함할 수 있다.
일 실시 예에 따른, 머리에 착용할 수 있도록 구성된 웨어러블 전자 장치는, 카메라, 통신 회로, 적어도 하나의 프로세서, 및 인스트럭션들을 저장하는 메모리를 포함할 수 있다. 일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 웨어러블 전자 장치의 입력 방식을 제1 모드로 구동하는 중에, 상기 웨어러블 전자 장치의 입력을 제어하기 위한 외부 전자 장치를 확인하도록 설정될 수 있다. 일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 외부 전자 장치를 확인하는 것에 기반하여, 상기 웨어러블 전자 장치의 상기 입력 방식을 상기 제1 모드에서 상기 외부 전자 장치를 이용하는 제2 모드로 변경하도록 설정될 수 있다. 일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 지정된 시간 내에 상기 외부 전자 장치에 포함된 복수의 센서들 중 상기 외부 전자 장치에 대한 사용자의 그립에 의한 터치를 센싱한 적어도 하나의 센서에 대한 제1 정보를 상기 통신 회로를 통해 수신하면, 상기 제2 모드를 유지하도록 설정될 수 있다. 일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 지정된 시간 내에 상기 외부 전자 장치에 포함된 복수의 센서들 중 상기 외부 전자 장치에 대한 사용자의 그립에 의한 상기 터치를 센싱한 적어도 하나의 센서에 대한 상기 제1 정보를 상기 통신 회로를 통해 수신하지 못하면, 상기 제2 모드를 상기 제1 모드로 변경하도록 설정될 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 일 실시 예에 따른 웨어러블 전자 장치의 구성을 나타내는 도면이다.
도 3a, 도 3b 및 도 3c는 일 실시예에 따른 웨어러블 전자 장치의 전면 및 후면을 나타내는 도면들이다.
도 4는 일 실시예에 따른 외부 전자 장치의 구성을 나타내는 도면이다.
도 5a는, 일 실시예에 따른 웨어러블 전자 장치와 외부 전자 장치를 포함하는 전자 시스템을 나타내는 도면이다.
도 5b는 일 실시예에 따른 웨어러블 전자 장치와 외부 전자 장치를 포함하는 전자 시스템을 나타내는 블록도이다.
도 6는, 일 실시예에 따른 웨어러블 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 7은, 일 실시예에 따른 웨어러블 전자 장치가 사용자 입력과 관련된 모드를 제1 모드로부터 제2 모드로 변경하는 동작을 설명하기 위한 흐름도이다.
도 8은, 일 실시예에 따른 웨어러블 전자 장치가 사용자 입력과 관련된 모드를 제1 모드로부터 제2 모드로 변경하는 동작을 설명하기 위한 흐름도이다.
도 9는, 일 실시예에 따른 웨어러블 전자 장치가 사용자 입력과 관련된 모드를 제1 모드로부터 제2 모드로 변경하는 동작을 설명하기 위한 흐름도이다.
도 10a와 도 10b는, 일 실시예에 따른 외부 전자 장치에 대한 사용자의 그립 자세에 따라 결정되는 웨어러블 전자 장치의 모드를 설명하기 위한 도면들이다.
이하에서는 도면을 참조하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면의 설명과 관련하여, 동일하거나 유사한 구성요소에 대해서는 동일하거나 유사한 참조 부호가 사용될 수 있다. 또한, 도면 및 관련된 설명에서는, 잘 알려진 기능 및 구성에 대한 설명이 명확성과 간결성을 위해 생략될 수 있다. 본 개시의 실시예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예를 들어, 인공지능 전자 장치)를 지칭할 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 1eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 일 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
이하, 도면들을 참조하여 전자 장치의 구성 및 전자 장치의 동작 방법에 대한 설명을 하기에 앞서, 본 개시에서 "가상 객체"의 용어는 가상 현실 공간 상에 표시되는 하나 이상의 어플리케이션들의 실행 화면을 나타내는 객체, 실행 화면에 포함된 객체, 메뉴 또는 기능에 관련된 객체, 적어도 하나의 입력 인터페이스에 대한 객체 또는 이외에 표시되는 다양한 객체를 통칭하는 의미로서 설명될 수 있다. 또한, 본 개시에서 설명되는 가상 객체는 가상 현실 공간 상에 표시되는 하나 이상의 어플리케이션들의 실행 화면을 나타내는 객체, 실행 화면에 포함된 객체, 메뉴 또는 기능에 관련된 객체, 적어도 하나의 입력 인터페이스에 대한 객체 또는 이외에 표시되는 다양한 객체 중 적어도 하나를 포함하는 것을 의미한다. 여기서, 객체는 설명의 편의상 단수로 설명하였으나, 객체에 대응하는 명사의 단수형은 한 개 또는 복수 개를 포함할 수 있다.
본 개시에서 설명되는 가상 현실 공간의 용어는 가상 환경에서 다양한 가상 현실 기술 방식(예: 확장 현실(XR: eXtended Reality), 가상 현실(VR: virtual reality) 또는 증강 현실(AR: augmented reality))을 이용하여 제공되는 가상의 공간을 의미할 수 있다.
도 2는, 일 실시 예에 따른 웨어러블 전자 장치의 구성을 나타내는 도면이다.
도 2를 참조하면, 본 개시의 일 실시예에 따른 웨어러블 전자 장치(200)는, 광 출력 모듈(211), 표시 부재(201) 및 카메라 모듈(250) 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 광 출력 모듈(211)은 영상을 출력할 수 있는 광원, 및 영상을 표시 부재(201)로 가이드하는 렌즈를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 광 출력 모듈(211)은 액정 표시 장치(liquid crystal display, LCD), 디지털 미러 표시 장치(digital mirror device, DMD), 실리콘 액정 표시 장치(liquid crystal on silicon, LCoS), 실리콘 온 발광 다이오드(light emitting diode(LED) on silicon; LEDoS), 유기 발광 다이오드(organic light emitting diode, OLED) 또는 마이크로 엘이디(micro light emitting diode, micro LED) 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 표시 부재(201)는 광 도파로(예: 웨이브 가이드)를 포함할 수 있다. 본 개시의 일 실시예에 따르면, 광 도파로의 일단으로 입사된 광 출력 모듈(211)의 출력된 영상은 광 도파로 내부에서 전파되어 사용자에게 제공될 수 있다. 본 개시의 일 실시예에 따르면 광 도파로는 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 예를 들어, 광 도파로는 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 광 출력 모듈(211)의 출력된 영상을 사용자의 눈으로 유도할 수 있다.
본 개시의 일 실시예에 따르면, 카메라 모듈(250)은 정지 영상 및/또는 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(250)은 렌즈 프레임 내에 배치되고, 표시 부재(201)의 주위에 배치될 수 있다.
본 개시의 일 실시예에 따르면, 제1 카메라 모듈(251)은 사용자의 눈(예: 동공(pupil), 홍채(iris)) 또는 시선의 궤적을 촬영 및/또는 인식할 수 있다. 본 개시의 일 실시예에 따르면, 제1 카메라 모듈(251)은, 사용자의 눈 또는 시선의 궤적과 관련된 정보(예: 궤적 정보)를 프로세서(예: 도 1의 프로세서(120))로 주기적으로 또는 비주기적으로 전송할 수 있다.
본 개시의 일 실시예에 따르면, 제2 카메라 모듈(253)은 외부의 이미지를 촬영할 수 있다.
본 개시의 일 실시예에 따르면, 제3 카메라 모듈(255)은 핸드(hand) 검출과 트래킹(tracking), 사용자의 제스처(예: 손동작) 인식을 위해 사용될 수 있다. 본 개시의 일 실시예에 따른 제3 카메라 모듈(255)은, 3DoF(3 degrees of freedom), 6DoF의 헤드 트래킹(head tracking), 위치(공간, 환경) 인식 및/또는 이동 인식을 위해 사용될 수 있다. 본 개시의 일 실시예에 따른 핸드 검출과 트래킹, 사용자의 제스처 인식을 위해 제2 카메라 모듈(253)이 사용될 수도 있다. 본 개시의 일 실시예에 따르면, 제1 카메라 모듈(251) 내지 제3 카메라 모듈(255) 중 적어도 하나는 센서 모듈 (예: LiDAR 센서)로 대체될 수 있다. 예를 들면, 센서 모듈은, VCSEL(vertical cavity surface emitting laser), 적외선 센서, 및/또는 포토 다이오드(photodiode) 중 적어도 하나를 포함할 수 있다.
도 3a 내지 도 3c는 일 실시예에 따른 웨어러블 전자 장치의 전면 및 후면을 나타내는 도면들이다.
도 3a 및 도 3b를 참조하면, 일 실시예에서, 하우징의 제 1 면(310) 상에는 웨어러블 전자 장치(300)의 주변 환경과 관련된 정보를 획득하기 위한 카메라 모듈들(311, 312, 313, 314, 315, 316) 및/또는 뎁스 센서(317) 가 배치될 수 있다.
일 실시예에서, 카메라 모듈들(311, 312)은, 웨어러블 전자 장치 주변 환경과 관련된 이미지를 획득할 수 있다.
일 실시예에서, 카메라 모듈들(313, 314, 315, 316)은, 웨어러블 전자 장치가 사용자에 의해 착용된 상태에서, 이미지를 획득할 수 있다. 카메라 모듈들(313, 314, 315, 316)은 핸드 검출과, 트래킹, 사용자의 제스처(예: 손동작) 인식을 위해 사용될 수 있다. 카메라 모듈들(313, 314, 315, 316)은 3DoF, 6DoF의 헤드 트래킹, 위치(공간, 환경) 인식 및/또는 이동 인식을 위하여 사용될 수 있다. 일 실시예에서, 핸드 검출과 트래킹, 사용자의 제스처 위하여 카메라 모듈들(311, 312)이 사용될 수도 있다.
일 실시예에서, 뎁스(depth) 센서(317)는, 신호를 송신하고 피사체로부터 반사되는 신호를 수신하도록 구성될 수 있으며, TOF(time of flight)와 같이 물체와의 거리 확인을 위한 용도로 사용될 수 있다. 뎁스 센서(317)를 대체하여 또는 추가적으로, 카메라 모듈들(313, 314, 315, 316)이 물체(또는 피사체)와의 거리를 확인할 수도 있다.
일 실시예에 따라서, 하우징의 제 2 면(320) 상에는 얼굴 인식용 카메라 모듈들(325, 326) 및/또는 디스플레이(321)(및/또는 렌즈)가 배치될 수 있다.
일 실시예에서, 디스플레이(321)에 인접한 얼굴 인식용 카메라 모듈들(325, 326)은 사용자의 얼굴을 인식하기 위한 용도로 사용되거나, 사용자의 양쪽 눈들을 인식 및/또는 트래킹할 수 있다.
일 실시예에서, 디스플레이(321)(및/또는 렌즈)는, 웨어러블 전자 장치(300)의 제 2 면(320)에 배치될 수 있다. 일 실시예에서, 웨어러블 전자 장치(300)는, 복수의 카메라 모듈들(313, 314, 315, 316) 중에서, 일부 카메라 모듈들(315, 316)을 포함하지 않을 수 있다. 도 3a 및 도 3b에 도시하지는 않았지만, 웨어러블 전자 장치(300)는, 도 2에 도시된 구성들 중 적어도 하나의 구성을 더 포함할 수 있다.
도 3c를 참조하면, 일 실시예에 따른, 웨어러블 전자 장치(301)는 사용자의 머리에 착용되기 위한 폼 팩터(예: HMD: head mounted display)를 포함할 수 있다. 웨어러블 전자 장치(301)는 사용자의 신체 부위 상에 고정되기 위한 스트랩, 및/또는 착용 부재를 더 포함할 수 있다. 웨어러블 전자 장치(301)는 음량 버튼(331), 통풍구(333), 상태 표시등(335) 및 전원 버튼(예: 지문 인식 센서 포함)(337)을 포함할 수 있으며, 이러한 구성은 도 3a 및 도 3b에 도시한 웨어러블 전자 장치(300)에도 동일하게 포함될 수 있다. 웨어러블 전자 장치(301)는, 사용자의 머리에 착용된 상태에서, 증강 현실, 가상 현실, 및/또는 확장 현실(또는 혼합 현실)에 기반하는 사용자 경험(또는 사용자 경험과 관련된 컨텐트)을 제공할 수 있다. HMD 형태로 구성된 웨어러블 전자 장치(301)는 상술한 도 3a 및 도 3b의 구성 요소들(예: 310, 311, 312, 313, 314, 315, 316, 및 317)과 동일 또는 유사한 구성들을 포함할 수 있다.
도 4는 일 실시예에 따른 외부 전자 장치의 구성을 나타내는 도면이다.
일 실시예에 따르면, 가상 현실 공간 및/또는 가상 현실 객체(또는 컨텐트)를 제공할 수 있는 전자 장치(예: 도 1의 전자 장치(101), 도 2의 웨어러블 전자 장치(200), 및/또는 도 3a 내지 도 3c의 웨어러블 전자 장치(300 또는 301))는, 지정된 통신 방식(예: BLE 통신)을 통해 제어 신호 및 정보를 송수신하는 적어도 하나의 외부 전자 장치(예: 컨트롤러)(401 및/또는 402)와 연결할 수 있다.
도 4를 참조하면, 일 실시예에 따르면, 적어도 하나의 외부 전자 장치(401 및/또는 402)는 포인팅 장치, 입력 제어 장치, 및/또는 햅틱 모터(예: 진동 모터)를 포함하는 입력 인터페이스 장치를 포함할 수 있다. 적어도 하나의 외부 전자 장치(401 및/또는 402)는, 전자 장치(101)(또는 웨어러블 전자 장치(200, 300, 또는 301))로 가상 현실 공간 상에 표시된 가상 객체에 관련하여 사용자 인터랙션에 대한 정보를 전송할 수 있다. 이에 한정되지 않고, 적어도 하나의 외부 전자 장치(401 및/또는 402)는 키보드, 마우스, 전자 펜, 스마트 폰 또는 인공지능(AI) 장치 중 적어도 하나로 구현될 수도 있다.
일 실시예에 따르면, 도 4의 (a)에 도시된 제1 외부 전자 장치(401)는 사용자의 한쪽 손으로 사용되는 컨트롤러를 나타낼 수 있다. 도 4의 (b)에 도시된 제2 외부 전자 장치(402)는, 사용자의 다른 쪽 손으로 사용되는 컨트롤러를 나타낼 수 있다. 제1 외부 전자 장치(401)와 제2 외부 전자 장치(402)는, 해당하는 손에 맞게 하우징의 구조가 상이한 점을 제외하고, 서로 동일 또는 유사하게 구현될 수 있다.
일 실시예에 따른 적어도 하나의 외부 전자 장치(401 및/또는 402)는 센서 모듈(411), 입력 모듈(413), 배터리(미도시) 및 표시 부재(415)(예: 상태 표시등 및/또는 적외선 LED)를 포함할 수 있다. 적어도 하나의 외부 전자 장치(401 및/또는 402)는, 이 외 동작에 필요한 다른 구성 요소를 더 포함할 수 있다. 적어도 하나의 외부 전자 장치(401 및/또는 402)는 전체 하우징을 제1 하우징 영역(410a)과 제2 하우징 영역(410b)으로 구분하여 구성될 수 있다. 예컨대, 제1 하우징 영역(410a)은 센서 모듈(411), 입력 모듈(413) 및 배터리(미도시)가 배치되고, 제2 하우징 영역(410b)은 표시 부재(415)가 배치될 수 있다. 다만, 이는 일 예로서 제1 하우징 영역(410a)과 제2 하우징 영역(410b)에 배치되는 구성 요소들은 이에 한정되지 않을 수 있다. 일 실시예에 따른 센서 모듈(411)은 적어도 하나의 외부 전자 장치(401 및/또는 402)의 움직임을 감지하기 위한 적어도 하나의 센서(411)(예: 근접 센서, 터치 센서, 가속도 센서 및/또는 자이로 센서)를 포함할 수 있다. 예컨대, 센서 모듈(411)은, 제2 하우징 영역(410b)에 배치될 수 있다. 일 실시예에 따른 입력 모듈(413)은 적어도 하나의 외부 전자 장치(401 및/또는 402)의 구동 및 전자 장치(예: 전자 장치(101, 200), 또는 웨어러블 전자 장치(200, 300, 301))에서 표시되는 가상 현실 공간 상에서 실행되는 기능 또는 객체에 관련된 사용자 인터랙션에 대한 입력을 위한 적어도 하나의 버튼을 포함할 수 있다.
일 실시예에 따른 적어도 하나의 외부 전자 장치(401 및/또는 402)는 팁(440)을 더 포함할 수 있다. 적어도 하나의 외부 전자 장치(401 및/또는 402)는 팁(440)에 대한 압력에 기반하여, 입력(예: 필기 입력)을 확인할 수 있다. 예컨대, 팁(440)은 센서 모듈(411)에 전기적으로 연결될 수 있으며, 센서 모듈(411)은 팁(440)에 인가되는 압력을 센싱할 수 있다. 구현에 따라, 적어도 하나의 외부 전자 장치(401 및/또는 402)는 팁(440)에 연결된 별도의 센서 허브를 더 포함할 수 있다.
일 실시예에 따른 적어도 하나의 외부 전자 장치(401 및/또는 402)는 복수의 센서들(431, 432, 및 433)을 더 포함할 수 있다. 복수의 센서들(431, 432, 및 433)은 적어도 하나의 외부 전자 장치(401 및/또는 402)에 대한 사용자의 그립 자세를 확인하기 위한 센서들일 수 있다. 예컨대, 복수의 센서들(431, 432, 및 433)은 터치 센서 및/또는 커패시턴스 변화 감지 센서를 포함할 수 있다. 예컨대, 적어도 하나의 외부 전자 장치(401 및/또는 402)는 복수의 센서들(431, 432, 및 433)을 이용하여, 사용자의 그립 자세가 제1 자세(예: 도 10a와 같은 그립 자세)인지 또는 제2 자세(예: 도 10b와 같은 그립 자세)인지 확인할 수 있다. 예컨대, 복수의 센서들(431, 432, 및 433)은 적어도 하나의 외부 전자 장치(401 및/또는 402)의 손잡이 부분에 배치될 수 있다. 복수의 센서들(431, 432, 및 433)은 서로 다른 위치에 배치될 수 있다. 한편, 도 4에서 도시된 복수의 센서들(431, 432, 및 433)의 개수나 위치는 예시적인 것일 뿐, 본 개시의 기술적 사상은 이에 한정되지 않을 수 있다. 예컨대, 복수의 센서들은, 사용자의 그립 자세를 식별하기 위한 적절한 개수로 적절한 위치에 배치될 수 있다.
도 5a는, 일 실시 예에 따른 웨어러블 전자 장치와 외부 전자 장치를 포함하는 전자 시스템을 나타내는 도면이다.
도 5a를 참조하면, 일 실시 예에 따르면, 전자 시스템(예: 도 5b의 전자 시스템(500))은 웨어러블 전자 장치(501)(예: 전자 장치(101, 200), 또는 웨어러블 전자 장치(200, 300, 301))와 제1 외부 전자 장치(예: 컨트롤러)(401)(또는 도 4의 제2 외부 전자 장치(402))를 포함할 수 있다.
일 실시 예에 따라, 제1 외부 전자 장치(401)는 웨어러블 전자 장치(501)의 입력을 제어하기 위한 전자 장치(예: 컨트롤러)를 포함할 수 있다. 예컨대, 제1 외부 전자 장치(401)는, 웨어러블 전자 장치(501)의 포인팅 장치 또는 입력 제어 장치를 포함할 수 있다. 한편, 제1 외부 전자 장치(401)의 개수 및/또는 종류는 예시적인 것이며, 본 개시의 기술적 사상은 이에 한정되지 않는다.
일 실시 예에 따르면, 웨어러블 전자 장치(501)는 사용자에 의해 착용될 수 있는 전자 장치를 포함할 수 있다. 예컨대, 웨어러블 전자 장치(501)는 AR 글래스(augmented reality glass), VST(video see through) 장치, 또는 HMD(head mounted display) 장치 중 어느 하나로 구현될 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(501)는 사용자에게 착용된 상태에서, 디스플레이(예: 도 5의 디스플레이(540))를 통하여 가상의 객체, 가상의 컨텐트, 및/또는 가상의 실행 화면을 표시할 수 있다. 일 실시 예에 따르면, 웨어러블 전자 장치(501)는, 제1 외부 전자 장치(401)에 의한 사용자 입력에 따라, 가상의 객체(예: 필기 입력), 가상의 컨텐트, 및/또는 가상의 실행 화면(예: 어플리케이션의 실행 화면)을 표시하거나 이를 제어할 수 있다.
일 실시 예에 따르면, 웨어러블 전자 장치(501)는 사용자의 손을 트래킹할 수 있다. 사용자의 손에 의한 사용자 입력에 따라, 가상의 객체(예: 필기 입력), 가상의 컨텐트, 및/또는 가상의 실행 화면(예: 어플리케이션의 실행 화면)을 표시하거나 이를 제어할 수 있다.
일 실시 예에 따르면, 웨어러블 전자 장치(501)는 사용자의 손을 트래킹하는 핸드 트래킹 모드(hand tracking mode)로 구동될 수 있다. 웨어러블 전자 장치(501)는, 핸드 트래킹 모드에서, 사용자의 손에 의한 제스처에 기반하여, 사용자 입력을 확인할 수 있다. 웨어러블 전자 장치(501)가 핸드 트래킹 모드로 구동될 때, 외부 전자 장치(401)는 비활성화 상태에 진입할 수 있다. 예컨대, 웨어러블 전자 장치(501)가 핸드 트래킹 모드로 구동될 때, 외부 전자 장치(401)는 슬립 모드 또는 대기 모드로 구동될 수 있다.
일 실시 예에 따라, 웨어러블 전자 장치(501)는, 제1 외부 전자 장치(401)에 의한 사용자 입력을 확인하는 컨트롤러 모드 또는 필기 모드로 구동될 수 있다. 웨어러블 전자 장치(501)는, 컨트롤러 모드에서, 제1 외부 전자 장치(401)에 의한 제스처에 기반하여, 사용자 입력을 확인할 수 있다. 웨어러블 전자 장치(501)는, 필기 모드에서, 제1 외부 전자 장치(401)에 의한 필기 입력 제스처에 기반하여 필기 입력을 확인할 수 있다. 웨어러블 전자 장치(501)가 컨트롤러 모드 또는 필기 모드로 구동될 때, 웨어러블 전자 장치(501)는, 사용자의 손을 트래킹하는 동작을 비활성화시킬 수 있다.
비교 실시 예에 따라, 웨어러블 전자 장치가 핸드 트래킹 모드에서 컨트롤러 모드(또는 필기 모드)로 전환함에 있어, 모드 변경을 위한 별도의 입력(예: 버튼에 대한 입력)이 필요했다. 또한, 웨어러블 전자 장치는, 외부 전자 장치가 움직이지 않은 상태(또는 대기 상태)에서 모드를 변경할 수 있었다. 이에 따라, 웨어러블 전자 장치는 빠르게 모드를 변경할 수 없었다. 또한, 웨어러블 전자 장치는, 모드 변경을 위해 외부 전자 장치가 움직이지 않은 상태(또는 대기 상태)인지 확인하는데 많은 전력을 소모하였다.
일 실시 예에 따른, 웨어러블 전자 장치(501)는, 빠르게 모드를 변경할 수 있다. 또한, 웨어러블 전자 장치(501)는, 모드 변경을 위한 준비 동작을 간소화하여 모드 변경에 소모되는 전력을 감소시킬 수 있다.
도 5b는 일 실시예에 따른 웨어러블 전자 장치와 외부 전자 장치를 포함하는 전자 시스템을 나타내는 블록도이다.
도 5b를 참조하면, 일 실시예에 따르면, 전자 시스템(500)은 웨어러블 전자 장치(501) 및 제1 외부 전자 장치(예: 컨트롤러)(401)를 포함할 수 있다. 다만, 제1 외부 전자 장치(401)의 개수 및/또는 종류는 이에 한정되지 않는다. 설명의 편의상, 이하에서 전자 시스템(500)은 하나의 제1 외부 전자 장치(401)를 포함하는 것으로 설명한다. 예컨대, 웨어러블 전자 장치(501)는 AR 글래스(augmented reality glass), VST(video see through) 장치, HMD(head mounted display) 장치 중 어느 하나로 구현될 수 있다. 예컨대, 제1 외부 전자 장치(401)는 웨어러블 전자 장치(501)의 포인팅 장치 또는 입력 제어 장치일 수 있다. 제1 외부 전자 장치(401)는 AR 글래스(augmented reality glass), VST(video see through) 장치, 또는 XR(extended reality) 장치, HMD(head mounted display) 장치의 입력 장치로 통칭될 수도 있다.
일 실시예에 따르면, 웨어러블 전자 장치(501)는, 카메라(510), 프로세서(520), 메모리(530), 디스플레이(540), 및 통신 회로(550)를 포함할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(501)는, 도 1의 전자 장치(101), 도 2의 웨어러블 전자 장치(200), 또는 도 3a 내지 도 3c의 웨어러블 전자 장치(300 또는 301)과 동일 내지 유사하게 구현될 수 있다. 예컨대, 웨어러블 전자 장치(501)는, 사용자의 머리에 착용할 수 있도록 구성될 수 있다.
일 실시 예에 따르면, 프로세서(520)는, 웨어러블 전자 장치(501)의 전반적인 동작을 제어할 수 있다. 예컨대, 프로세서(520)는, 도 1의 프로세서(120)와 동일 내지 유사하게 구현될 수 있다.
일 실시 예에 따라, 프로세서(520)는, 웨어러블 전자 장치(501)의 입력 방식과 관련된 제1 모드로 웨어러블 전자 장치(401)를 구동할 수 있다. 예컨대, 프로세서(520)는, 웨어러블 전자 장치(501)의 입력 방식을 제1 모드로 구동할 수 있다. 예컨대, 제1 모드는 제1 외부 전자 장치(예: 컨트롤러)(401)를 이용하지 않는 입력 방식에 따라 웨어러블 전자 장치(501)에 대한 입력을 확인 또는 판단하는 모드를 나타낼 수 있다. 예컨대, 프로세서(520)는, 웨어러블 전자 장치(501)의 제1 모드에서, 사용자의 신체에 의한 제스처 입력, 시선 추적 입력(예: 시선 추적 카메라를 이용하여 센싱된 사용자 동공 위치), 웨어러블 전자 장치(501)에 대한 터치 입력, 또는 위 입력들의 조합을 웨어러블 전자 장치(501)에 대한 입력으로 확인할 수 있다. 예컨대, 제1 모드는, 핸드 트래킹 모드를 포함할 수 있다. 프로세서(520)는, 제1 모드에서, 카메라(510)를 통해 사용자의 손의 움직임 또는 제스처를 확인하고, 해당 움직임 또는 제스처에 대응하는 사용자 입력을 확인할 수 있다. 예컨대, 프로세서(520)는, 메모리(530)에 미리 저장된 기준 움직임 또는 기준 제스처와 카메라(510)를 통해 확인된 움직임 또는 제스처를 비교하여 사용자 입력을 확인할 수 있다.
일 실시 예에 따라, 프로세서(510)는, 웨어러블 전자 장치(501)(또는 웨어러블 전자 장치(501)의 입력 방식)를 제1 모드로 구동하는 중에, 카메라(510) 및/또는 통신 회로(550)를 통해 웨어러블 전자 장치(501)의 입력을 제어하기 위한 제1 외부 전자 장치(예: 컨트롤러)(401)를 확인할 수 있다. 예컨대, 카메라(510)의 FOV(field of view)에 제1 외부 전자 장치(401)가 위치하면, 프로세서(510)는, 카메라(510)를 이용하여 제1 외부 전자 장치(401)를 확인할 수 있다. 예컨대, 카메라(510)는, 뎁스 센서, ToF(time-of-flight) 센서, 및/또는 뎁스 비전 카메라를 포함할 수 있다. 또는, 프로세서(510)는, 통신 회로(550)로부터 수신되는 신호에 기반하여, 웨어러블 전자 장치(501) 주변의 제1 외부 전자 장치(401)를 확인할 수도 있다.
일 실시 예에 따라, 프로세서(510)는, 카메라(510)를 이용하여 제1 외부 전자 장치(401)를 확인하는 것에 기반하여, 통신 회로(550)를 통해, 제1 외부 전자 장치(401)에 포함된 그립 센서(430)(예: 제1 외부 전자 장치(401)의 손잡이 부분에 배치된 복수의 센서들(예: 도 4의 복수의 센서들(431, 432, 및 433))에 의해 확인된 사용자의 그립 자세에 대한 정보를 수신할 수 있다. 예컨대, 그립 센서(430)는, 제1 외부 전자 장치(401)의 손잡이 부분에 대한 사용자의 터치 또는 커패시턴스 변화를 감지할 수 있다. 예컨대, 그립 센서(430)는, 서로 다른 위치에 배치된 복수의 센서들(431, 432, 433)을 포함할 수 있다. 예컨대, 프로세서(510)는, 복수의 센서들(431, 432, 및 433) 중 제1 외부 전자 장치(401)에 대한 사용자의 그립을 센싱한 적어도 하나의 센서에 대한 제1 정보를 수신할 수 있다. 예컨대, 제1 정보는 복수의 센서들(431, 432, 및 433) 중 커패시턴스 변화를 감지한 적어도 하나의 센서에 대한 정보를 포함할 수 있다. 예컨대, 제1 정보는, 복수의 센서들(431, 432, 및 433) 중 어떠한 센서가 커패시턴스 변화(예: 사용자의 그립에 의한 터치)를 감지한 센서인지 나타내는 정보를 포함할 수 있다. 이때, 프로세서(520)는, 복수의 센서들(431, 432, 및 433) 중 어떠한 센서가 커패시턴스 변화를 감지하였는지 확인하여 제1 외부 전자 장치(401)에 대한 사용자의 그립 자세(예: 제1 자세 또는 제2 자세)를 판단 또는 확인할 수 있다. 또는, 제1 정보는 사용자의 그립 자세(예: 제1 자세 또는 제2 자세)를 나타내는 정보를 포함할 수도 있다. 이때, 프로세서(520)는, 제1 정보가 나타내는 사용자의 그립 자세(예: 제1 자세 또는 제2 자세)를 확인할 수 있다. 예컨대, 제1 자세는, 도 10a와 같이, 사용자가 손바닥과 손가락으로 제1 외부 전자 장치(401)를 움켜쥔 자세를 나타낼 수 있다. 예컨대, 제2 자세는, 도 10b와 같이, 사용자가 제1 외부 전자 장치(401)의 손잡이를 연필 잡듯 손가락으로 움켜쥔 자세를 나타낼 수 있다.
일 실시 예에 따라, 프로세서(520)는, 제1 외부 전자 장치(401)로부터 수신된 제1 정보에 기반하여, 제1 모드를 제1 외부 전자 장치(401)를 이용하여 웨어러블 전자 장치(401)의 입력을 제어하는 복수의 모드들 중 상기 적어도 하나의 센서에 대응하는 모드(또는 제2 모드)로 변경할 수 있다. 예컨대, 복수의 모드들은, 컨트롤러 모드 및 필기 모드를 포함할 수 있다. 프로세서(520)는, 제1 모드를 적어도 하나의 센서에 지정된 모드(예: 컨트롤러 모드 또는 필기 모드)로 변경할 수 있다. 또는, 프로세서(520)는, 제1 모드를 유지할 수도 있다.
일 실시 예에 따라, 프로세서(520)는, 복수의 센서들(도 4의 431, 432, 및 433) 중, 제1 위치에 대응하는 제1 센서(431) 및 제2 위치에 대응하는 제2 센서(432)가 사용자의 그립을 센싱한 것으로 확인되면, 제1 모드를 컨트롤러 모드로 변경할 수 있다.
일 실시 예에 따라, 프로세서(520)는, 컨트롤러 모드로 구동하는 중에, 제1 외부 전자 장치(401)에 포함된 컨트롤러 모드와 관련되지 않은 엘리먼트들(예: 특정 버튼, 압력 센서(또는 필압 센서), 및 IR LED)을 비활성화할 수 있다.
일 실시 예에 따라, 프로세서(520)는, 복수의 센서들(도 4의 431, 432, 및 433) 중, 제1 위치에 대응하는 제1 센서(431) 및 제3 위치에 대응하는 제3 센서(433)가 사용자의 그립을 센싱한 것으로 확인되면, 제1 모드를 필기 모드로 변경할 수 있다.
일 실시 예에 따라, 프로세서(520)는, 제1 외부 전자 장치(401)가 필기 모드로 변경된 후, 통신 회로(550)를 통해 제1 외부 전자 장치(401)에 포함된 팁(440)에 대한 압력에 대한 정보(예: 필압에 대한 정보)를 수신할 수 있다. 프로세서(520)는, 압력에 대한 정보에 기반하여, 필기 입력 또는 필기 입력과 관련된 기능의 실행 명령을 확인할 수 있다.
일 실시 예에 따라, 프로세서(520)는, 필기 모드로 구동하는 중에, 제1 외부 전자 장치(401)에 포함된 필기 모드와 관련되지 않은 엘리먼트들(예: 특정 버튼, 및 IR LED)을 비활성화할 수 있다.
일 실시 예에 따라, 프로세서(520)는, 카메라(510)를 통해 제1 외부 전자 장치(401)가 확인되지 않더라도 제1 외부 전자 장치(401)로부터 그립 센서(430)에 의해 센싱된 그립 자세에 대한 정보를 수신하면, 제1 모드를 해당 그립 자세에 지정된 모드(예: 컨트롤러 모드 또는 필기 모드)로 변경할 수 있다. 예컨대, 프로세서(520)는, 복수의 센서들(도 4의 431, 432, 및 433) 중, 제1 위치에 대응하는 제1 센서(431) 및 제2 위치에 대응하는 제2 센서(432)가 사용자의 그립을 센싱한 것을 나타내는 정보를 수신하면, 제1 모드를 컨트롤러 모드로 변경할 수 있다. 또는, 프로세서(520)는, 복수의 센서들(도 4의 431, 432, 및 433) 중, 제1 위치에 대응하는 제1 센서(431) 및 제3 위치에 대응하는 제3 센서(433)가 사용자의 그립을 센싱한 것을 나타내는 정보를 수신하면, 제1 모드를 필기 모드로 변경할 수 있다.
일 실시 예에 따라, 프로세서(520)는, 제1 모드를 컨트롤러 모드 또는 필기 모드로 변경한 후, 제1 외부 전자 장치(401)를 통해 해당 모드에 지정된 적어도 하나의 센서가 사용자의 그립을 센싱하는지 여부를 확인할 수 있다. 프로세서(520)는, 상기 적어도 하나의 센서가 사용자의 그립을 계속 센싱하는 것으로 확인되면, 컨트롤러 모드 또는 필기 모드를 유지할 수 있다. 또는, 프로세서(520)는, 상기 적어도 하나의 센서가 사용자의 그립을 센싱하지 않는 것으로 확인되면, 컨트롤러 모드 또는 필기 모드를 다시 제1 모드로 변경할 수 있다. 구현에 따라, 프로세서(520)는, 제1 외부 전자 장치(401)를 통해 수신된 그립 센서(430)에 대한 정보에 기반하여, 컨트롤러 모드를 필기 모드로 또는 필기 모드를 컨트롤러 모드로 변경할 수도 있다.
일 실시예에 따르면, 프로세서(520)는 디스플레이(540)를 통하여 가상의 컨텐트 또는 객체를 표시할 수 있다. 예컨대, 웨어러블 전자 장치(501)가 AR 글래스로 구현될 경우, 디스플레이(540)는, 글라스를 통해 컨텐트 또는 객체를 표시하기 위한 광 출력 장치(예: 도 2의 표시 부재(201))로 구현될 수 있다. 또는, 웨어러블 전자 장치(501)가 VST 장치 또는 HMD 장치로 구현될 경우, 디스플레이(540)는, 화면을 상기 디스플레이 상에 표시하는 장치(예: 도 3a 내지 도 3b의 디스플레이(321))로 구현될 수 있다. 이때, 웨어러블 전자 장치(501)는, 카메라(510)를 통해 촬영된 화면 상에 가상의 객체를 표시할 수 있다.
일 실시예에 따르면, 프로세서(520)는, 통신 회로(550)를 통해, 제1 외부 전자 장치(401)와 무선으로 정보(또는 데이터)를 송수신할 수 있다. 프로세서(520)는 통신 회로(550)를 통해 근거리 통신 기술(예: BLE(bluetooth low energy) 또는 WiFi)을 이용하여 제1 외부 전자 장치(401)와 통신 연결을 형성할 수 있다.
일 실시 예에 따라, 제1 외부 전자 장치(401)는, 센서 모듈(411), 프로세서(420), 그립 센서(430), 및 통신 회로(450)를 포함할 수 있다.
일 실시 예에 따라, 프로세서(420)는, 제1 외부 전자 장치(401)의 전반벅인 동작을 제어할 수 있다. 예컨대, 프로세서(420)는, 도 1의 프로세서(120)와 동일 내지 유사하게 구현될 수 있다.
일 실시 예에 따라, 프로세서(420)는, 센서 모듈(411)(예: 모션 센서, 가속도 센서, 및/또는 자이로 센서)를 통해 센싱된 제1 외부 전자 장치(401)의 움직임 또는 제스처에 대한 정보를 확인할 수 있다.
일 실시 예에 따라, 프로세서(420)는, 그립 센서(430)(예: 터치 센서, 및/또는 커패시턴스 변화 감지 센서)를 통해 센싱된 제1 외부 전자 장치(401)에 대한 사용자의 그립 자세(또는 그립된 위치)에 대한 정보를 확인할 수 있다. 또는, 프로세서(420)는, 복수의 센서들(도 4의 431, 432, 및 433) 중 사용자의 그립을 감지한 적어도 하나의 센서를 확인할 수 있다.
일 실시 예에 따라, 제1 외부 전자 장치(401)는, 압력 센서(또는 필압 센서)(미도시)를 더 포함할 수 있다. 예컨대, 프로세서(420)는, 압력 센서를 통해 센싱된 제1 외부 전자 장치(401)에 포함된 팁(예: 도 4의 팁(440))에 대한 압력에 대한 정보를 확인할 수 있다.
일 실시 예에 따라, 프로세서(420)는, 통신 회로(450)를 통해, 움직임 또는 제스처에 대한 정보, 그립 자세(또는 그립된 위치)에 대한 정보, 사용자의 그립을 감지한 적어도 하나의 센서에 대한 정보, 및/또는 압력에 대한 정보를 웨어러블 전자 장치(501)로 전송할 수 있다. 예컨대, 통신 회로(450)는, 근거리 통신 기술을 이용하여 웨어러블 전자 장치(401)와 통신 연결을 형성할 수 있다.
일 실시 예에 따라, 프로세서(420)는, 움직임이 없는 상태에서, 슬립 모드 또는 대기 모드로 구동될 수 있다. 프로세서(420)는, 슬립 모드 또는 대기 모드로 구동될 때, 제1 외부 전자 장치(401)의 일부 엘리먼트들(예: IR LED, 압력 센서, 및/또는 특정 버튼)을 비활성화시킬 수 있다. 또는, 프로세서(420)는, 웨어러블 전자 장치(501)가 컨트롤러 모드 또는 필기 모드로 구동될 경우, 해당하는 모드와 관련없는 제1 외부 전자 장치(401)의 일부 엘리먼트들(예: IR LED, 압력 센서, 및/또는 특정 버튼)을 비활성화시킬 수 있다.
이하에서 설명하는 웨어러블 전자 장치(501)의 동작들의 적어도 일부는 프로세서(520)에 의해 수행될 수 있다. 다만, 설명의 편의를 위해 해당 동작들은 웨어러블 전자 장치(501)에 의해 수행되는 것으로 설명될 것이다.
도 6는, 일 실시예에 따른 웨어러블 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 6을 참조하면, 일 실시 예에 따라, 동작 601에서, 웨어러블 전자 장치(501)는, 웨어러블 전자 장치(501)의 입력 방식을 제1 외부 전자 장치(예: 컨트롤러)(401)를 이용하지 않는 제1 모드로 구동시킬 수 있다. 예컨대, 웨어러블 전자 장치(501)는, 제1 외부 전자 장치 (401)를 이용하지 않는 웨어러블 전자 장치(501)의 입력 방식과 관련된 제1 모드(예: 사용자의 제스처 입력 모드 또는 사용자의 손을 추적하는 핸드 트래킹 모드)로 구동될 수 있다.
일 실시 예에 따라, 동작 603에서, 웨어러블 전자 장치(501)는, 카메라(예: 도 5의 카메라(510)) 및/또는 통신 회로(예: 도 5의 통신 회로(550) 중 적어도 하나를 통해 웨어러블 전자 장치(501)의 입력을 제어하기 위한 외부 전자 장치(예: 도 5의 제1 외부 전자 장치(401))를 확인할 수 있다. 또는, 웨어러블 전자 장치(501)는, 제1 모드로 구동하는 중에 웨어러블 전자 장치(501)에 포함된 센서를 통해 제1 외부 전자 장치(401)를 확인할 수도 있다.
일 실시 예에 따라, 동작 605에서, 웨어러블 전자 장치(501)는, 외부 전자 장치(401)를 확인(예: 카메라(510) 및/또는 통신 회로(550)를 통해 외부 전자 장치(401)를 확인)하는 것에 기반하여, 외부 전자 장치(401)에 포함된 복수의 센서들(예: 도 4의 431, 432, 및 433) 중 외부 전자 장치(401)에 대한 사용자의 그립을 센싱한 적어도 하나의 센서에 대한 제1 정보를 수신할 수 있다. 또는, 웨어러블 전자 장치(501)는, 카메라(510)를 통해 외부 전자 장치(401)가 확인되면, 외부 전자 장치(401)로부터 사용자의 그립 자세와 관련된 정보를 수신할 수도 있다.
일 실시 예에 따라, 동작 607에서, 웨어러블 전자 장치(501)는, 제1 정보에 기반하여, 제1 모드(예: 사용자의 제스처 입력 모드 또는 핸드 트래킹 모드)를 외부 전자 장치(401)를 이용하여 웨어러블 전자 장치(501)의 입력을 제어하는 제2 모드(예: 컨트롤러 모드 또는 필기 모드)로 변경할 수 있다. 예컨대, 웨어러블 전자 장치(501)는, 제1 정보에 기반하여 확인된 적어도 하나의 센서 또는 사용자의 그립 자세(예: 적어도 하나의 센서에 대응하는 그립 자세)에 기반하여, 외부 전자 장치(401)를 이용하는 복수의 모드들(예: 컨트롤러 모드 및 필기 모드) 중 사용자의 그립 또는 적어도 하나의 센서에 지정된(또는 대응하는) 제2 모드로 변경할 수 있다.
상술한 방법에 따라, 웨어러블 전자 장치(501)는 빠르게 모드를 변경할 수 있다. 또한, 웨어러블 전자 장치(501)는, 모드 변경으로 인한 전력 소모를 감소시킬 수 있다.
도 7은, 일 실시예에 따른 웨어러블 전자 장치가 사용자 입력과 관련된 모드를 제1 모드로부터 제2 모드로 변경하는 동작을 설명하기 위한 흐름도이다.
도 7을 참조하면, 일 실시 예에 따라, 동작 701에서, 웨어러블 전자 장치(501)는, 웨어러블 전자 장치(501)의 입력 방식을 제1 외부 전자 장치(예: 컨트롤러)(401)를 이용하지 않는 제1 모드(예: 제스처 입력 모드 또는 핸드 트래킹 모드)로 구동할 수 있다. 예컨대, 웨어러블 전자 장치(501)는, 제1 모드에서, 카메라(예: 도 5의 카메라(510))를 이용하여 사용자의 손을 추적할 수 있다. 또한, 웨어러블 전자 장치(501)는, 제1 모드에서, 사용자의 손의 움직임 또는 제스처를 확인하고, 확인된 움직임 또는 제스처에 대응하는 사용자 입력을 확인할 수 있다.
일 실시 예에 따라, 동작 703에서, 웨어러블 전자 장치(501)는, 제1 모드로 구동하는 중에 카메라(501) 또는 통신 회로(예: 도 5의 통신 회로(550) 중 적어도 하나를 통해 외부 전자 장치(예: 도 5의 제1 외부 전자 장치(401), 컨트롤러)가 확인(또는 식별)되는지 여부를 판단할 수 있다. 또는, 웨어러블 전자 장치(501)는, 제1 모드로 구동하는 중에 웨어러블 전자 장치(501)에 포함된 센서를 통해 제1 외부 전자 장치(401)를 확인할 수도 있다.
일 실시 예에 따라, 외부 전자 장치(401)가 확인되지 않으면(동작 703의 아니오), 웨어러블 전자 장치(501)는, 제1 모드로 구동될 수 있다.
일 실시 예에 따라, 외부 전자 장치(401)가 확인되지 않으면(동작 703의 예), 동작 705에서, 웨어러블 전자 장치(501)는, 외부 전자 장치(401)에 포함된 복수의 센서들(예: 도 4의 431, 432, 및 433) 중 지정된 2개의 센서들이 사용자의 그립을 센싱하는지 여부를 확인할 수 있다. 예컨대, 웨어러블 전자 장치(501)는, 외부 전자 장치(401)로부터 관련된 정보를 수신하여 지정된 2개의 센서들이 사용자의 그립을 센싱하는지 여부를 확인할 수 있다. 예컨대, 지정된 2개의 센서들은, 웨어러블 전자 장치(501)가 컨트롤러 모드 또는 필기 모드로 전환하기 위해 외부 전자 장치(401)에 미리 지정된 센서들을 나타낼 수 있다.
일 실시 예에 따라, 외부 전자 장치(401)에 포함된 지정된 2개의 센서들이 사용자의 그립을 센싱하지 않은 것으로 확인되면(동작 705의 아니오), 웨어러블 전자 장치(501)는, 제1 모드로 구동될 수 있다.
일 실시 예에 따라, 외부 전자 장치(401)에 포함된 지정된 2개의 센서들이 사용자의 그립을 센싱한 것으로 확인되면(동작 705의 예), 동작 707에서, 웨어러블 전자 장치(501)는, 센싱된 센서들이 필기 모드에 대응하는지 여부를 확인할 수 있다.
일 실시 예에 따라, 센싱된 센서들이 필기 모드에 대응하는 것으로 확인되면(동작 707의 예), 동작 709에서 웨어러블 전자 장치(501)는, 제1 모드를 필기 모드로 변경할 수 있다.
일 실시 예에 따라, 센싱된 센서들이 필기 모드에 대응하지 않는 것으로 확인되면(동작 707의 아니오), 동작 711에서 웨어러블 전자 장치(501)는, 제1 모드를 컨트롤러 모드로 변경할 수 있다.
상술한 방법에 따라, 웨어러블 전자 장치(501)는 빠르게 모드를 변경할 수 있다. 또한, 웨어러블 전자 장치(501)는, 모드 변경으로 인한 전력 소모를 감소시킬 수 있다.
도 8은, 일 실시예에 따른 웨어러블 전자 장치가 사용자 입력과 관련된 모드를 제1 모드로부터 제2 모드로 변경하는 동작을 설명하기 위한 흐름도이다.
도 8을 참조하면, 일 실시 예에 따라, 동작 801에서, 웨어러블 전자 장치(501)는, 웨어러블 전자 장치(501)의 입력 방식을 제1 외부 전자 장치(예: 컨트롤러)(401)를 이용하지 않는 제1 모드(예: 제스처 입력 모드 또는 핸드 트래킹 모드)로 구동할 수 있다. 예컨대, 웨어러블 전자 장치(501)는, 제1 모드에서, 카메라(예: 도 5의 카메라(510))를 이용하여 사용자의 손을 추적할 수 있다. 또한, 웨어러블 전자 장치(501)는, 제1 모드에서, 사용자의 손의 움직임 또는 제스처를 확인하고, 확인된 움직임 또는 제스처에 대응하는 사용자 입력을 확인할 수 있다.
일 실시 예에 따라, 동작 803에서, 웨어러블 전자 장치(501)는, 제1 모드로 구동하는 중에 카메라(510) 또는 통신 회로(예: 도 5의 통신 회로(550) 중 적어도 하나를 통해 외부 전자 장치(예: 도 5의 제1 외부 전자 장치(401), 컨트롤러))가 확인(또는 식별)되는지 여부를 판단할 수 있다. 또는, 웨어러블 전자 장치(501)는, 제1 모드로 구동하는 중에 웨어러블 전자 장치(501)에 포함된 센서를 통해 제1 외부 전자 장치(401)를 확인할 수도 있다.
일 실시 예에 따라, 외부 전자 장치(401)가 확인되면(동작 803의 예), 동작 805에서, 웨어러블 전자 장치(501)는, 적어도 하나의 센서가 사용자의 그립을 센싱하는지 여부를 확인할 수 있다. 이때, 적어도 하나의 센서는 특정 모드에 지정되지 않은 센서(또는 센서들의 조합)을 포함할 수 있다. 즉, 적어도 하나의 센서가 사용자의 그립을 센싱하는지 여부를 확인하는 것은 그립 여부를 확인하기 위함일 수 있다.
일 실시 예에 따라, 적어도 하나의 센서가 사용자의 그립을 센싱하지 않는 것으로 확인되면(동작 805의 아니오), 웨어러블 전자 장치(501)는, 제1 모드를 유지할 수 있다.
일 실시 예에 따라, 적어도 하나의 센서가 사용자의 그립을 센싱하는 것으로 확인되면(동작 805의 예), 웨어러블 전자 장치(501)는, 제1 모드를 컨트롤러 모드로 변경할 수 있다. 구현에 따라, 웨어러블 전자 장치(501)는, 제1 모드를 필기 모드로 변경할 수 있다. 예컨대, 제1 모드를 컨트롤러 모드 또는 필기 모드로 변경하는 것은 사용자에 의해 지정되거나 프로세서(520)에 의해 자동으로 지정될 수 있다.
일 실시 예에 따라, 외부 전자 장치(401)가 확인되지 않으면(동작 803의 아니오), 동작 807에서, 웨어러블 전자 장치(501)는, 특정 모드에 지정된 2개의 센서들이 사용자의 그립을 센싱하는지 여부를 확인할 수 있다.
일 실시 예에 따라, 지정된 2개의 센서가 사용자의 그립을 센싱하지 않는 것으로 확인되면(동작 807의 아니오), 웨어러블 전자 장치(501)는, 제1 모드를 유지할 수 있다.
일 실시 예에 따라, 지정된 2개의 센서가 사용자의 그립을 센싱하는 것으로 확인되면(동작 807의 예), 웨어러블 전자 장치(501)는, 제1 모드를 지정된 2개의 센서에 대응하는 모드(예: 컨트롤러 모드)로 변경할 수 있다. 구현에 따라, 웨어러블 전자 장치(501)는, 제1 모드를 필기 모드로 변경할 수 있다.
상술한 방법에 따라, 웨어러블 전자 장치(501)는 카메라(510)를 통해 외부 전자 장치(401)가 확인되는 경우와 확인되지 않는 경우에, 모드 변경 조건을 다르게 설정할 수 있다. 이를 통해, 웨어러블 전자 장치(501)는 빠르게 모드를 변경할 수 있다. 또한, 웨어러블 전자 장치(501)는, 모드 변경을 위한 동작들을 간소화하여, 모드 변경으로 인한 전력 소모를 감소시킬 수 있다.
도 9는, 일 실시예에 따른 웨어러블 전자 장치가 사용자 입력과 관련된 모드를 제1 모드로부터 제2 모드로 변경하는 동작을 설명하기 위한 흐름도이다.
도 9을 참조하면, 일 실시 예에 따라, 동작 901에서, 웨어러블 전자 장치(501)는, 웨어러블 전자 장치(501)의 입력 방식을 제1 외부 전자 장치(예: 컨트롤러)(401)를 이용하지 않는 제1 모드(예: 제스처 입력 모드 또는 핸드 트래킹 모드)로 구동할 수 있다. 예컨대, 웨어러블 전자 장치(501)는, 제1 모드에서, 카메라(예: 도 5의 카메라(510))를 이용하여 사용자의 손을 추적할 수 있다. 웨어러블 전자 장치(501)는, 제1 모드에서, 사용자의 손의 움직임 또는 제스처를 확인하고, 확인된 움직임 또는 제스처에 대응하는 사용자 입력을 확인할 수 있다.
일 실시 예에 따라, 동작 903에서, 웨어러블 전자 장치(501)는, 제1 모드로 구동하는 중에 카메라(510) 또는 통신 회로(예: 도 5의 통신 회로(550) 중 적어도 하나를 통해 외부 전자 장치(예: 도 5의 제1 외부 전자 장치(401), 컨트롤러))가 확인(또는 식별)되는지 여부를 판단할 수 있다. 또는, 웨어러블 전자 장치(501)는, 제1 모드로 구동하는 중에 웨어러블 전자 장치(501)에 포함된 센서를 통해 제1 외부 전자 장치(401)를 확인할 수도 있다.
일 실시 예에 따라, 외부 전자 장치(401)가 확인되지 않으면(동작 903의 아니오), 웨어러블 전자 장치(501)는, 제1 모드를 유지할 수 있다.
일 실시 예에 따라, 외부 전자 장치(401)가 확인되면(동작 903의 예), 동작 905에서, 웨어러블 전자 장치(501)는, 사용자의 손과 외부 전자 장치(401) 사이의 거리가 지정된 거리보다 짧은지 여부를 확인할 수 있다. 예컨대, 웨어러블 전자 장치(401)의 모드 변경을 위해 지정된 거리로서, 사용자의 손이 외부 전자 장치(401)에 근접함을 나타낼 수 있는 거리(예: 10cm)로 결정될 수 있다. 지정된 거리는, 사용자에 의해 결정되거나 프로세서(520)에 의해 자동으로 결정될 수 있다.
일 실시 예에 따라, 사용자의 손과 외부 전자 장치(401) 사이의 거리가 지정된 거리보다 짧지 않은 것으로 확인되면(동작 905의 아니오), 웨어러블 전자 장치(501)는, 제1 모드를 유지할 수 있다.
일 실시 예에 따라, 사용자의 손과 외부 전자 장치(401) 사이의 거리가 지정된 거리보다 짧은 것으로 확인되면(동작 905의 예), 동작 907에서, 웨어러블 전자 장치(501)는, 제1 모드를 컨트롤러 모드로 변경할 수 있다. 구현에 따라, 웨어러블 전자 장치(501)는, 제1 모드를 필기 모드로 변경할 수 있다. 예컨대, 제1 모드를 컨트롤러 모드 또는 필기 모드로 변경하는 것은 사용자에 의해 지정되거나 프로세서(520)에 의해 자동으로 지정될 수 있다.
구현에 따라, 웨어러블 전자 장치(501)는, 동작 903의 조건을 만족할 경우, 동작 905을 생략하고 동작 907을 수행할 수도 있다.
일 실시 예에 따라, 동작 909에서, 웨어러블 전자 장치(501)는, 제1 모드를 컨트롤러 모드(또는 필기 모드)로 변경한 후, 타이머(또는 타이머 설정)를 활성화할 수 있다.
일 실시 예에 따라, 동작 911에서, 웨어러블 전자 장치(501)는, 외부 전자 장치(401)를 통해, 지정된 시간 내에 외부 전자 장치(401)에 포함된 지정된 2개의 센서들이 사용자의 그립을 센싱하는지 여부를 확인할 수 있다.
일 실시 예에 따라, 지정된 시간 내에 외부 전자 장치(401)에 포함된 지정된 2개의 센서들이 사용자의 그립을 센싱하는 것으로 확인되면(동작 911의 예), 동작 913에서, 웨어러블 전자 장치(501)는, 컨트롤러 모드(또는 필기 모드)를 유지할 수 있다.
일 실시 예에 따라, 지정된 시간 내에 외부 전자 장치(401)에 포함된 지정된 2개의 센서들이 사용자의 그립을 센싱하는 것으로 확인되지 않으면(동작 911의 아니오), 웨어러블 전자 장치(501)는, 컨트롤러 모드(또는 필기 모드)를 제1 모드로 변경할 수 있다. 즉, 지정된 시간 내에 외부 전자 장치(401)에 포함된 지정된 2개의 센서들이 사용자의 그립을 센싱하는 것으로 확인되지 않으면, 웨어러블 전자 장치(501)는, 모드 변경을 취소할 수 있다.
상술한 방법에 따라, 웨어러블 전자 장치(501)는 모드 변경을 위한 조건들 중 지정된 조건를 만족하는 경우, 선제적으로 모드를 변경할 수 있다. 이를 통해, 웨어러블 전자 장치(501)는 빠르게 모드를 변경할 수 있다. 또한, 웨어러블 전자 장치(501)는, 모드 변경을 위한 동작들을 간소화하여, 모드 변경으로 인한 전력 소모를 감소시킬 수 있다.
도 10a와 도 10b는, 일 실시예에 따른 외부 전자 장치에 대한 사용자의 그립 자세에 따라 결정되는 웨어러블 전자 장치의 모드를 설명하기 위한 도면들이다.
도 10a를 참조하면, 일 실시예에 따라 사용자는 제1 자세로 외부 전자 장치(401)를 그립할 수 있다. 사용자가 제1 자세로 외부 전자 장치(401)를 그립함에 따라, 외부 전자 장치(401)에 포함된 복수의 센서들(예: 도 4의 431, 432, 및 433) 중 제1 센서(431)와 제2 센서(432)가 터치(또는 커패시턴스 변화)를 감지할 수 있다. 외부 전자 장치(401)는, 제1 자세에 대한 정보 또는 제1 센서(431)와 제2 센서(432)가 터치(또는 커패시턴스 변화)를 감지함을 나타내는 정보를 웨어러블 전자 장치(501)로 전송할 수 있다.
일 실시 예에 따라, 웨어러블 전자 장치(501)는, 제1 자세에 대한 정보 또는 제1 센서(431)와 제2 센서(432)가 터치(또는 커패시턴스 변화)를 감지함을 나타내는 정보에 응답하여, 제1 모드를 컨트롤러 모드로 변경 또는 전환할 수 있다.
도 10b를 참조하면, 일 실시예에 따라 사용자는 제2 자세로 외부 전자 장치(401)를 그립할 수 있다. 사용자가 제2 자세로 외부 전자 장치(401)를 그립함에 따라, 외부 전자 장치(401)에 포함된 복수의 센서들(예: 도 4의 431, 432, 및 433) 중 제1 센서(431)와 제3 센서(433)가 터치(또는 커패시턴스 변화)를 감지할 수 있다. 외부 전자 장치(401)는, 제2 자세에 대한 정보 또는 제1 센서(431)와 제3 센서(433)가 터치(또는 커패시턴스 변화)를 감지함을 나타내는 정보를 웨어러블 전자 장치(501)로 전송할 수 있다.
일 실시 예에 따라, 웨어러블 전자 장치(501)는, 제2 자세에 대한 정보 또는 제1 센서(431)와 제3 센서(432)가 터치(또는 커패시턴스 변화)를 감지함을 나타내는 정보에 응답하여, 제1 모드를 필기 모드로 변경 또는 전환할 수 있다.
상술한 방법에 따라, 웨어러블 전자 장치(501)는 빠르게 모드를 변경할 수 있다. 또한, 웨어러블 전자 장치(501)는, 모드 변경을 위한 동작들을 간소화하여, 모드 변경으로 인한 전력 소모를 감소시킬 수 있다.
일 실시 예에 따른 머리에 착용할 수 있도록 구성된 웨어러블 전자 장치(501)는, 카메라(510), 통신 회로(550), 적어도 하나의 프로세서(520), 및 인스트럭션들을 저장하는 메모리(530)를 포함할 수 있다. 일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 웨어러블 전자 장치의 입력 방식을 제1 모드로 구동하는 중에, 상기 웨어러블 전자 장치의 입력을 제어하기 위한 외부 전자 장치(401 및/또는 402)를 확인하도록 설정될 수 있다. 일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 외부 전자 장치를 확인하는 것에 기반하여, 상기 외부 전자 장치에 포함된 복수의 센서들(431, 432, 및 433) 중 상기 외부 전자 장치에 대한 사용자의 그립에 의한 터치를 센싱한 적어도 하나의 센서에 대한 제1 정보를 상기 통신 회로를 통해 수신하도록 설정될 수 있다. 일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 제1 정보에 기반하여, 상기 웨어러블 전자 장치의 상기 입력 방식을 상기 제1 모드에서 상기 외부 전자 장치를 이용하는 복수의 모드들 중 상기 적어도 하나의 센서에 대응하는 제2 모드로 변경하도록 설정될 수 있다.
일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 외부 전자 장치에 포함된 상기 복수의 센서들 중 제1 위치에 대응하는 제1 센서 및 제2 위치에 대응하는 제2 센서가 상기 그립에 의한 상기 터치를 센싱한 것으로 확인되면, 상기 제1 모드를 상기 외부 전자 장치를 이용하여 상기 웨어러블 전자 장치에 대한 사용자 입력을 확인하는 컨트롤러 모드로 변경하도록 설정될 수 있다.
일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 웨어러블 전자 장치의 상기 입력 방식을 상기 컨트롤러 모드로 구동하는 중에, 상기 외부 전자 장치에 포함된 상기 컨트롤러 모드와 관련되지 않은 엘리먼트들을 비활성화하도록 설정될 수 있다.
일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 외부 전자 장치가 확인되지 않더라도 상기 외부 전자 장치로부터 상기 복수의 센서들 중 제1 위치에 대응하는 제1 센서 및 제2 위치에 대응하는 제2 센서가 상기 그립에 의한 상기 터치를 센싱한 것을 나타내는 상기 제1 정보를 수신하면, 상기 제1 모드를 상기 외부 전자 장치를 이용하여 상기 웨어러블 전자 장치에 대한 사용자 입력을 확인하는 컨트롤러 모드로 변경하도록 설정될 수 있다.
일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 외부 전자 장치에 포함된 상기 복수의 센서들 중 제1 위치에 대응하는 제1 센서와 제3 위치에 대응하는 제3 센서가 상기 그립에 의한 상기 터치를 센싱한 것으로 확인되면, 상기 제1 모드를 상기 외부 전자 장치를 이용하여 필기를 입력하는 필기 모드로 변경하도록 설정될 수 있다.
일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 웨어러블 전자 장치의 상기 입력 방식을 상기 필기 모드로 변경한 후, 상기 통신 회로를 통해 상기 외부 전자 장치에 포함된 팁에 대한 압력에 대한 정보를 수신하도록 설정될 수 있다. 일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 압력에 대한 정보에 기반하여, 필기 입력을 확인하도록 설정될 수 있다.
일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 웨어러블 전자 장치의 상기 입력 방식을 상기 필기 모드로 구동하는 동안, 상기 외부 전자 장치에 포함된 상기 필기 모드와 관련되지 않은 엘리먼트들을 비활성화하도록 설정될 수 있다.
일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 외부 전자 장치가 확인되지 않더라도 상기 외부 전자 장치로부터 상기 복수의 센서들 중 제1 위치에 대응하는 제1 센서 및 제3 위치에 대응하는 제3 센서가 상기 그립에 의한 상기 터치를 센싱한 것을 나타내는 상기 제1 정보를 수신하면, 상기 제1 모드를 상기 외부 전자 장치를 이용하여 필기를 입력하는 필기 모드로 변경하도록 설정될 수 있다.
일 실시 예에 따른 상기 외부 전자 장치에 포함된 상기 복수의 센서들은, 상기 외부 전자 장치의 손잡이 부분에서 배치되고, 상기 외부 전자 장치에 포함된 상기 복수의 센서들은 서로 다른 위치에 배치될 수 있다.
일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 웨어러블 전자 장치의 상기 입력 방식이 상기 제2 모드로 변경된 후, 상기 외부 전자 장치를 통해 상기 적어도 하나의 센서가 상기 그립에 의한 상기 터치를 센싱하는지 여부를 확인하도록 설정될 수 있다. 일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 적어도 하나의 센서가 상기 그립에 의한 상기 터치를 센싱하는 것으로 확인되면, 상기 제2 모드를 유지하도록 설정될 수 있다. 일 실시 예에 따른 상기 프로세서는, 상기 적어도 하나의 센서가 상기 그립에 의한 상기 터치를 센싱하지 않는 것으로 확인되면, 상기 제2 모드를 상기 제1 모드로 변경하도록 설정될 수 있다.
일 실시 예에 따른 머리에 착용할 수 있도록 구성된 웨어러블 전자 장치(501)의 동작 방법은, 상기 웨어러블 전자 장치의 입력 방식을 제1 모드로 구동하는 중에, 상기 웨어러블 전자 장치의 입력을 제어하기 위한 외부 전자 장치(401 및/또는 402)를 확인하는 동작을 포함할 수 있다. 일 실시 예에 따른 상기 웨어러블 전자 장치의 동작 방법은, 상기 외부 전자 장치를 확인하는 것에 기반하여, 상기 외부 전자 장치에 포함된 복수의 센서들(431, 432, 및 433) 중 상기 외부 전자 장치에 대한 사용자의 그립에 의한 터치를 센싱한 적어도 하나의 센서에 대한 제1 정보를 수신하는 동작을 포함할 수 있다. 일 실시 예에 따른 상기 웨어러블 전자 장치의 동작 방법은, 상기 제1 정보에 기반하여, 상기 웨어러블 전자 장치의 상기 입력 방식을 상기 제1 모드에서 상기 외부 전자 장치를 이용하는 복수의 모드들 중 상기 적어도 하나의 센서에 대응하는 제2 모드로 변경하는 동작을 포함할 수 있다.
일 실시 예에 따른, 상기 제1 모드를 상기 제2 모드로 변경하는 동작은, 상기 외부 전자 장치에 포함된 상기 복수의 센서들 중 제1 위치에 대응하는 제1 센서 및 제2 위치에 대응하는 제2 센서가 상기 그립에 의한 상기 터치를 센싱한 것으로 확인되면, 상기 제1 모드를 상기 외부 전자 장치를 이용하여 상기 웨어러블 전자 장치에 대한 사용자 입력을 확인하는 컨트롤러 모드로 변경하는 동작을 포함할 수 있다.
일 실시 예에 따른 상기 웨어러블 전자 장치의 동작 방법은, 상기 웨어러블 전자 장치의 상기 입력 방식을 상기 컨트롤러 모드로 구동하는 중, 상기 외부 전자 장치에 포함된 상기 컨트롤러 모드와 관련되지 않은 엘리먼트들을 비활성화하는 동작을 더 포함할 수 있다.
일 실시 예에 따른 상기 웨어러블 전자 장치의 동작 방법은, 상기 외부 전자 장치가 확인되지 않더라도 상기 외부 전자 장치로부터 상기 복수의 센서들 중 제1 위치에 대응하는 제1 센서 및 제2 위치에 대응하는 제2 센서가 상기 그립에 의한 상기 터치를 센싱한 것을 나타내는 상기 제1 정보를 수신하면, 상기 제1 모드를 상기 외부 전자 장치를 이용하여 상기 웨어러블 전자 장치에 대한 사용자 입력을 확인하는 컨트롤러 모드로 변경하는 동작을 더 포함할 수 있다.
일 실시 예에 따른, 상기 제1 모드를 상기 제2 모드로 변경하는 동작은, 상기 외부 전자 장치에 포함된 상기 복수의 센서들 중 제1 위치에 대응하는 제1 센서와 제3 위치에 대응하는 제3 센서가 상기 그립에 의한 상기 터치를 센싱한 것으로 확인되면, 상기 제1 모드를 상기 외부 전자 장치를 이용하여 필기를 입력하는 필기 모드로 변경하는 동작을 포함할 수 있다.
일 실시 예에 따른 상기 웨어러블 전자 장치의 동작 방법은, 상기 웨어러블 전자 장치의 상기 입력 방식을 상기 필기 모드로 변경한 후, 상기 웨어러블 전자 장치에 포함된 통신 회로(550)를 통해 상기 외부 전자 장치에 포함된 팁에 대한 압력에 대한 정보를 수신하는 동작을 더 포함할 수 있다. 일 실시 예에 따른 상기 웨어러블 전자 장치의 동작 방법은, 상기 압력에 대한 정보에 기반하여, 필기 입력을 확인하는 동작을 더 포함할 수 있다.
일 실시 예에 따른 상기 웨어러블 전자 장치의 동작 방법은, 상기 웨어러블 전자 장치의 상기 입력 방식을 상기 필기 모드로 구동하는 동안, 상기 외부 전자 장치에 포함된 상기 필기 모드와 관련되지 않은 엘리먼트들을 비활성화하는 동작을 더 포함할 수 있다.
일 실시 예에 따른 상기 웨어러블 전자 장치의 동작 방법은, 상기 외부 전자 장치가 확인되지 않더라도 상기 외부 전자 장치로부터 상기 복수의 센서들 중 제1 위치에 대응하는 제1 센서 및 제3 위치에 대응하는 제3 센서가 상기 그립에 의한 상기 터치를 센싱한 것을 나타내는 상기 제1 정보를 수신하면, 상기 제1 모드를 상기 외부 전자 장치를 이용하여 필기를 입력하는 필기 모드로 변경하는 동작을 더 포함할 수 있다.
일 실시 예에 따른, 머리에 착용할 수 있도록 구성된 웨어러블 전자 장치(501)는, 카메라(510), 통신 회로(550), 적어도 하나의 프로세서(520), 및 인스트럭션들을 저장하는 메모리(530)를 포함할 수 있다. 일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 웨어러블 전자 장치의 입력 방식을 제1 모드로 구동하는 중에, 상기 웨어러블 전자 장치의 입력을 제어하기 위한 외부 전자 장치를 확인하도록 설정될 수 있다. 일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 외부 전자 장치를 확인하는 것에 기반하여, 상기 웨어러블 전자 장치의 상기 입력 방식을 상기 제1 모드에서 상기 외부 전자 장치를 이용하는 제2 모드로 변경하도록 설정될 수 있다. 일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 지정된 시간 내에 상기 외부 전자 장치에 포함된 복수의 센서들(431, 432, 및 433) 중 상기 외부 전자 장치에 대한 사용자의 그립에 의한 터치를 센싱한 적어도 하나의 센서에 대한 제1 정보를 상기 통신 회로를 통해 수신하면, 상기 제2 모드를 유지하도록 설정될 수 있다. 일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 지정된 시간 내에 상기 외부 전자 장치에 포함된 복수의 센서들 중 상기 외부 전자 장치에 대한 사용자의 그립에 의한 상기 터치를 센싱한 적어도 하나의 센서에 대한 상기 제1 정보를 상기 통신 회로를 통해 수신하지 못하면, 상기 제2 모드를 상기 제1 모드로 변경하도록 설정될 수 있다.
일 실시 예에 따른 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가, 상기 외부 전자 장치가 상기 웨어러블 전자 장치로부터 지정된 거리 내에 위치하는 것으로 확인되면, 상기 제1 모드를 상기 제2 모드로 변경하도록 설정될 수 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 본 문서에 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(1401)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1436) 또는 외장 메모리(1438))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1440))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1401))의 프로세서(예: 프로세서(1420))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 머리에 착용할 수 있도록 구성된 웨어러블 전자 장치(501)에 있어서,
    카메라(510);
    통신 회로(550);
    적어도 하나의 프로세서(520); 및
    인스트럭션들을 저장하는 메모리(530)를 포함하고, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가,
    상기 웨어러블 전자 장치(501)의 입력 방식을 제1 모드로 구동하는 중에, 상기 웨어러블 전자 장치의 입력을 제어하기 위한 외부 전자 장치(401)를 확인하고,
    상기 외부 전자 장치를 확인하는 것에 기반하여, 상기 외부 전자 장치에 포함된 복수의 센서들(431, 432, 및 433) 중 상기 외부 전자 장치에 대한 사용자의 그립에 의한 터치를 센싱한 적어도 하나의 센서에 대한 제1 정보를 상기 통신 회로를 통해 수신하고,
    상기 제1 정보에 기반하여, 상기 웨어러블 전자 장치의 상기 입력 방식을 상기 제1 모드에서 상기 외부 전자 장치를 이용하는 복수의 모드들 중 상기 적어도 하나의 센서에 대응하는 제2 모드로 변경하도록 설정된 웨어러블 전자 장치.
  2. 제1항에 있어서, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가,
    상기 외부 전자 장치에 포함된 상기 복수의 센서들 중 제1 위치에 대응하는 제1 센서 및 제2 위치에 대응하는 제2 센서가 상기 그립에 의한 상기 터치를 센싱한 것으로 확인되면, 상기 제1 모드를 상기 외부 전자 장치를 이용하여 상기 웨어러블 전자 장치에 대한 사용자 입력을 확인하는 컨트롤러 모드로 변경하도록 설정된 웨어러블 전자 장치.
  3. 제1항 내지 제2항 중 어느 한 항에 있어서, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가,
    상기 웨어러블 전자 장치의 상기 입력 방식을 상기 컨트롤러 모드로 구동하는 중에, 상기 외부 전자 장치에 포함된 상기 컨트롤러 모드와 관련되지 않은 엘리먼트들을 비활성화하도록 설정된 웨어러블 전자 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가,
    상기 외부 전자 장치가 확인되지 않더라도 상기 외부 전자 장치로부터 상기 복수의 센서들 중 제1 위치에 대응하는 제1 센서 및 제2 위치에 대응하는 제2 센서가 상기 그립에 의한 상기 터치를 센싱한 것을 나타내는 상기 제1 정보를 수신하면, 상기 제1 모드를 상기 외부 전자 장치를 이용하여 상기 웨어러블 전자 장치에 대한 사용자 입력을 확인하는 컨트롤러 모드로 변경하도록 설정된 웨어러블 전자 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가,
    상기 외부 전자 장치에 포함된 상기 복수의 센서들 중 제1 위치에 대응하는 제1 센서와 제3 위치에 대응하는 제3 센서가 상기 그립에 의한 상기 터치를 센싱한 것으로 확인되면, 상기 제1 모드를 상기 외부 전자 장치를 이용하여 필기를 입력하는 필기 모드로 변경하도록 설정된 웨어러블 전자 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가,
    상기 웨어러블 전자 장치의 상기 입력 방식을 상기 필기 모드로 변경한 후, 상기 통신 회로를 통해 상기 외부 전자 장치에 포함된 팁에 대한 압력에 대한 정보를 수신하고,
    상기 압력에 대한 정보에 기반하여, 필기 입력을 확인하도록 설정된 웨어러블 전자 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가,
    상기 웨어러블 전자 장치의 상기 입력 방식을 상기 필기 모드로 구동하는 동안, 상기 외부 전자 장치에 포함된 상기 필기 모드와 관련되지 않은 엘리먼트들을 비활성화하도록 설정된 웨어러블 전자 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가,
    상기 외부 전자 장치가 확인되지 않더라도 상기 외부 전자 장치로부터 상기 복수의 센서들 중 제1 위치에 대응하는 제1 센서 및 제3 위치에 대응하는 제3 센서가 상기 그립에 의한 상기 터치를 센싱한 것을 나타내는 상기 제1 정보를 수신하면, 상기 제1 모드를 상기 외부 전자 장치를 이용하여 필기를 입력하는 필기 모드로 변경하도록 설정된 웨어러블 전자 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 외부 전자 장치에 포함된 상기 복수의 센서들은, 상기 외부 전자 장치의 손잡이 부분에서 배치되고,
    상기 외부 전자 장치에 포함된 상기 복수의 센서들은 서로 다른 위치에 배치되는 웨어러블 전자 장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 인스트럭션들은, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 웨어러블 전자 장치가,
    상기 웨어러블 전자 장치의 상기 입력 방식이 상기 제2 모드로 변경된 후, 상기 외부 전자 장치를 통해 상기 적어도 하나의 센서가 상기 그립에 의한 상기 터치를 센싱하는지 여부를 확인하고,
    상기 적어도 하나의 센서가 상기 그립에 의한 상기 터치를 센싱하는 것으로 확인되면, 상기 제2 모드를 유지하고,
    상기 적어도 하나의 센서가 상기 그립에 의한 상기 터치를 센싱하지 않는 것으로 확인되면, 상기 제2 모드를 상기 제1 모드로 변경하도록 설정된 웨어러블 전자 장치.
  11. 머리에 착용할 수 있도록 구성된 웨어러블 전자 장치(501)의 동작 방법에 있어서,
    상기 웨어러블 전자 장치(501)의 입력 방식을 제1 모드로 구동하는 중에, 상기 웨어러블 전자 장치의 입력을 제어하기 위한 외부 전자 장치(401)를 확인하는 동작;
    상기 외부 전자 장치를 확인하는 것에 기반하여, 상기 외부 전자 장치에 포함된 복수의 센서들(431, 432, 및 433) 중 상기 외부 전자 장치에 대한 사용자의 그립에 의한 터치를 센싱한 적어도 하나의 센서에 대한 제1 정보를 수신하는 동작; 및
    상기 제1 정보에 기반하여, 상기 웨어러블 전자 장치의 상기 입력 방식을 상기 제1 모드에서 상기 외부 전자 장치를 이용하여 상기 웨어러블 전자 장치의 입력을 제어하는 복수의 모드들 중 상기 적어도 하나의 센서에 대응하는 제2 모드로 변경하는 동작을 포함하는 웨어러블 전자 장치의 동작 방법.
  12. 제11항에 있어서, 상기 제1 모드를 상기 제2 모드로 변경하는 동작은,
    상기 외부 전자 장치에 포함된 상기 복수의 센서들 중 제1 위치에 대응하는 제1 센서 및 제2 위치에 대응하는 제2 센서가 상기 그립에 의한 상기 터치를 센싱한 것으로 확인되면, 상기 제1 모드를 상기 외부 전자 장치를 이용하여 상기 웨어러블 전자 장치에 대한 사용자 입력을 확인하는 컨트롤러 모드로 변경하는 동작을 포함하는 웨어러블 전자 장치의 동작 방법.
  13. 제11항 내지 제12항 중 어느 한 항에 있어서,
    상기 웨어러블 전자 장치의 상기 입력 방식을 상기 컨트롤러 모드로 구동하는 중, 상기 외부 전자 장치에 포함된 상기 컨트롤러 모드와 관련되지 않은 엘리먼트들을 비활성화하는 동작을 더 포함하는 웨어러블 전자 장치의 동작 방법.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 외부 전자 장치가 확인되지 않더라도 상기 외부 전자 장치로부터 상기 복수의 센서들 중 제1 위치에 대응하는 제1 센서 및 제2 위치에 대응하는 제2 센서가 상기 그립에 의한 상기 터치를 센싱한 것을 나타내는 상기 제1 정보를 수신하면, 상기 제1 모드를 상기 외부 전자 장치를 이용하여 상기 웨어러블 전자 장치에 대한 사용자 입력을 확인하는 컨트롤러 모드로 변경하는 동작을 더 포함하는 웨어러블 전자 장치의 동작 방법.
  15. 제11항 내지 제14항 중 어느 한 항에 있어서, 상기 제1 모드를 상기 제2 모드로 변경하는 동작은,
    상기 외부 전자 장치에 포함된 상기 복수의 센서들 중 제1 위치에 대응하는 제1 센서와 제3 위치에 대응하는 제3 센서가 상기 그립에 의한 상기 터치를 센싱한 것으로 확인되면, 상기 제1 모드를 상기 외부 전자 장치를 이용하여 필기를 입력하는 필기 모드로 변경하는 동작을 포함하는 웨어러블 전자 장치의 동작 방법.
PCT/KR2024/009505 2023-07-24 2024-07-04 사용자 입력과 관련된 모드를 변경하는 웨어러블 전자 장치와 이의 동작 방법 WO2025023550A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2023-0096389 2023-07-24
KR20230096389 2023-07-24
KR10-2023-0194350 2023-12-28
KR1020230194350A KR20250015747A (ko) 2023-07-24 2023-12-28 사용자 입력과 관련된 모드를 변경하는 웨어러블 전자 장치와 이의 동작 방법

Publications (1)

Publication Number Publication Date
WO2025023550A1 true WO2025023550A1 (ko) 2025-01-30

Family

ID=94375200

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2024/009505 WO2025023550A1 (ko) 2023-07-24 2024-07-04 사용자 입력과 관련된 모드를 변경하는 웨어러블 전자 장치와 이의 동작 방법

Country Status (1)

Country Link
WO (1) WO2025023550A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160357261A1 (en) * 2015-06-03 2016-12-08 Oculus Vr, Llc Virtual Reality System with Head-Mounted Display, Camera and Hand-Held Controllers
KR20190041826A (ko) * 2017-10-13 2019-04-23 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20220067128A (ko) * 2020-11-17 2022-05-24 삼성전자주식회사 증강 현실 환경의 무선 연결 방법 및 이를 위한 전자 장치
KR20220140518A (ko) * 2020-02-14 2022-10-18 밸브 코포레이션 제어기의 동적으로 활성화 또는 비활성화되는 제어 장치
JP2023001160A (ja) * 2019-05-23 2023-01-04 任天堂株式会社 ゲームプログラム、ゲームシステム、ゲーム装置制御方法、およびゲーム装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160357261A1 (en) * 2015-06-03 2016-12-08 Oculus Vr, Llc Virtual Reality System with Head-Mounted Display, Camera and Hand-Held Controllers
KR20190041826A (ko) * 2017-10-13 2019-04-23 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2023001160A (ja) * 2019-05-23 2023-01-04 任天堂株式会社 ゲームプログラム、ゲームシステム、ゲーム装置制御方法、およびゲーム装置
KR20220140518A (ko) * 2020-02-14 2022-10-18 밸브 코포레이션 제어기의 동적으로 활성화 또는 비활성화되는 제어 장치
KR20220067128A (ko) * 2020-11-17 2022-05-24 삼성전자주식회사 증강 현실 환경의 무선 연결 방법 및 이를 위한 전자 장치

Similar Documents

Publication Publication Date Title
WO2022131549A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022019636A1 (ko) 가상 사용자 인터랙션을 수행하기 위한 방법 및 그 장치
WO2023048466A1 (ko) 전자 장치 및 컨텐츠 표시 방법
WO2020159320A1 (ko) 밀리미터 웨이브를 이용한 객체 인식 방법 및 이를 지원하는 전자 장치
WO2022085940A1 (ko) 웨어러블 표시 장치에 복수의 오브젝트들 표시 제어 방법 및 장치
WO2023068549A1 (ko) 외부 장치를 이용하는 전자 장치 및 이의 동작 방법
WO2022231160A1 (ko) 손 제스처에 기반하여 기능을 실행하는 전자 장치 및 그 작동 방법
WO2022203330A1 (ko) 전자 장치 및 그것의 지문 인식 방법
WO2022149695A1 (ko) 듀얼 디바이스와, 상기 듀얼 디바이스를 연결하는 연결 장치를 포함하는 전자 장치
WO2022086071A1 (ko) 전자 펜 장치의 동작을 제어하기 위한 전자 장치, 전자 장치에서의 동작 방법 및 비 일시적 저장 매체
WO2023106895A1 (ko) 가상 입력 장치를 이용하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법
WO2025023550A1 (ko) 사용자 입력과 관련된 모드를 변경하는 웨어러블 전자 장치와 이의 동작 방법
WO2024155171A1 (ko) 조작 입력을 전송하는 헤드 마운트 장치 및 그의 동작 방법
WO2025037937A1 (ko) 가상 현실 공간에서 가상 스크린의 복수의 윈도우들을 관리하기 위한 전자 장치, 방법 및 비 일시적 저장 매체
WO2022097992A1 (ko) 가변 디스플레이를 포함하는 전자 장치 및 그의 동작 방법
WO2025018638A1 (ko) 핸드 트래킹을 수행하는 방법 및 이를 지원하는 웨어러블 전자 장치
WO2024167174A1 (ko) 컨트롤러 장치 및 웨어러블 전자 장치를 이용한 컨트롤러 장치 추적 방법
WO2022030800A1 (ko) 사용자 입력을 검출하기 위한 전자 장치 및 그의 동작 방법
WO2025110655A1 (ko) 가상 객체를 표시하는 웨어러블 전자 장치와 이의 동작 방법
WO2024158269A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 접힘 상태 또는 펼침 상태를 확인하는 방법
WO2022191468A1 (ko) 전자 장치 및 전자 장치에서 카드 타입 기압 센서 이용 방법
WO2022050556A1 (ko) 우선순위에 따른 지문 스캔 방법 및 장치
WO2022119147A1 (ko) 멀티 터치에 기반한 슬라이드 구동 방법 및 장치
WO2024058446A1 (ko) 가상 현실 컨텐츠를 제어하는 방법 및 이를 지원하는 웨어러블 전자 장치
WO2025033833A1 (ko) 눈 추적을 위해 발광 모듈을 제어하는 웨어러블 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24845854

Country of ref document: EP

Kind code of ref document: A1