[go: up one dir, main page]

KR20180116044A - 증강현실용 디바이스와 그 증강현실 출력 방법 - Google Patents

증강현실용 디바이스와 그 증강현실 출력 방법 Download PDF

Info

Publication number
KR20180116044A
KR20180116044A KR1020170048735A KR20170048735A KR20180116044A KR 20180116044 A KR20180116044 A KR 20180116044A KR 1020170048735 A KR1020170048735 A KR 1020170048735A KR 20170048735 A KR20170048735 A KR 20170048735A KR 20180116044 A KR20180116044 A KR 20180116044A
Authority
KR
South Korea
Prior art keywords
augmented reality
sound
interest
information
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020170048735A
Other languages
English (en)
Inventor
임국찬
이학순
전진수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020170048735A priority Critical patent/KR20180116044A/ko
Publication of KR20180116044A publication Critical patent/KR20180116044A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 증강현실용 디바이스에서 수행되는 증강현실 출력 방법으로서, 검출된 소리의 방향을 판정하는 단계와, 증강현실용 디바이스를 착용한 사용자의 헤딩 정보를 획득하는 단계와, 소리의 방향과 헤딩 정보를 비교한 결과에 기초하여 관심 방향을 지정하는 단계와, 관심 방향 내 객체에 대한 증강현실 정보를 출력하는 단계를 포함한다. 이러한 본 발명은 종래 기술에서 사용자가 관심이 있는 객체임을 디바이스에게 전달하기 위하여 일정시간 이상 동안 시선을 유지 또는 고정하여야 했던 불편함이 해소되며, 증강현실용 디바이스의 관점에서는 사용자가 일정시간 이상 동안 시선을 유지 또는 고정할 때까지 기다릴 필요 없이 곧바로 관심 방향을 파악하여 증강현실 정보를 출력할 수 있기 때문에 종래 기술보다 응답성능이 개선된다.

Description

증강현실용 디바이스와 그 증강현실 출력 방법{Augmented reality device and method for outputting augmented reality therefor}
본 발명은 증강현실에 관한 것으로서, 더욱 상세하게는 객체에 관련된 정보를 증강현실로 보여주는 증강현실용 디바이스와 이 디바이스에서 증강현실 정보를 출력하는 방법에 관한 것이다.
종래에는 객체에 관련된 정보를 증강현실로 보여줄 때에 사용자의 시선을 추적하여 포커싱하고 있는 관심 영역을 구분하고, 관심 영역 내에서 객체를 도출 및 인식하여 해당 객체에 대한 정보를 증강현실로 보여주었다.
그러나, 종래 기술에 의하면 사용자는 관심이 있는 객체임을 디바이스에게 전달하기 위하여 일정시간 이상 동안 시선을 유지 또는 고정하여야 하는 불편한 문제점이 있었다.
대한민국 공개특허공보 10-2016-0068916, 공개일자 2016년 06월 15일.
본 발명의 실시예에 의하면, 사용자의 주변에서 들려오는 소리의 방향 정보를 이용하여 증강현실 정보를 출력하는 증강현실용 디바이스와 그 증강현실 출력 방법을 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 관점에 따라 증강현실용 디바이스에서 수행되는 증강현실 출력 방법은, 검출된 소리의 방향을 판정하는 단계와, 상기 증강현실용 디바이스를 착용한 상기 사용자의 헤딩 정보를 획득하는 단계와, 상기 소리의 방향과 상기 헤딩 정보를 비교한 결과에 기초하여 관심 방향을 지정하는 단계와, 상기 관심 방향 내 객체에 대한 증강현실 정보를 출력하는 단계를 포함한다.
본 발명의 다른 관점에 따른 착용이 가능한 증강현실용 디바이스는, 제어부와, 상기 제어부에 의한 실행시에, 프로세스를 수행하는 컴퓨터 실행가능 명령어가 저장된 저장부와, 상기 제어부의 제어에 따라 정보를 출력하는 출력부를 포함하되, 상기 프로세스는, 검출된 소리의 방향을 판정하고, 상기 증강현실용 디바이스를 착용한 사용자의 헤딩 정보를 획득하며, 상기 소리의 방향과 상기 헤딩 정보를 비교한 결과에 기초하여 관심 방향을 지정하고, 상기 관심 방향 내 객체에 대한 증강현실 정보가 상기 출력부를 통해 출력되게 한다.
본 발명의 실시예에 의하면, 사용자의 주변에서 들려오는 소리의 방향 정보를 이용하여 관심 방향을 파악한 후에 관심 방향 내의 객체에 대한 증강현실 정보를 출력한다.
그러므로, 종래 기술에서 사용자가 디바이스에게 관심이 있는 객체임을 전달하기 위하여 일정시간 이상 동안 시선을 유지 또는 고정하여야 했던 불편함이 해소된다.
아울러, 증강현실용 디바이스의 관점에서는 사용자가 일정시간 이상 동안 시선을 유지 또는 고정할 때까지 기다릴 필요 없이 곧바로 관심 방향을 파악하여 증강현실 정보를 출력할 수 있기 때문에 종래 기술보다 응답성능이 개선된 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실용 디바이스를 포함하는 증강현실 서비스 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 증강현실용 디바이스의 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 증강현실용 디바이스에서 증강현실 정보를 출력하기 위한 예시적 프로세스를 예시하는 프로세스 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 증강현실용 디바이스에서 소리의 방향을 결정하기 위한 예시적 프로세스를 예시하는 프로세스 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 증강현실용 디바이스에서 관심 방향을 결정하기 위한 예시적 프로세스를 예시하는 프로세스 흐름도이다.
도 7 내지 도 15는 본 발명의 일 실시예에 따른 증강현실용 디바이스에서 증강현실 정보를 출력하는 과정을 설명하기 위하여 다양한 환경과 정보 출력 예를 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 증강현실용 디바이스를 포함하는 증강현실 서비스 시스템의 구성도이다.
이에 나타낸 바와 같이 증강현실 서비스 시스템(10)은 증강현실용 디바이스(100)가 통신망(1)을 통해 원격 서버(2)에 상호 접속된다.
증강현실용 디바이스(100)는 주변으로부터 검출된 소리의 방향을 판정하고, 증강현실용 디바이스(100)를 착용한 사용자의 헤딩 정보를 획득하며, 소리의 방향과 헤딩 정보를 비교한 결과에 기초하여 관심 방향을 지정하고, 관심 방향 내 객체에 대한 증강현실 정보를 출력한다. 여기서, 소리의 방향이라 함은 소리를 발생시킨 발생원으로부터 증강현실용 디바이스(100)측으로 소리가 전달되어 오는 방향을 일컫는다. 이러한 증강현실용 디바이스(100)는 관심 방향의 영상 정보를 통신망(1)을 통해 원격 서버(2)에게 송신할 수 있고, 원격 서버(2)로부터 객체 인식 결과를 수신할 수 있으며, 객체 인식 결과에 기초하여 증강현실 정보를 디스플레이할 수 있다. 예를 들어, 증강현실용 디바이스(100)는 사용자가 용이하게 착용할 수 있도록 헤드 마운트형(head-mount type)으로 제작할 수 있다. 예컨대, 증강현실용 디바이스(100)를 안경테(111) 및 렌즈(112)를 포함하는 안경(110) 형태로 제작할 수 있으며, 렌즈(112)는 디스플레이 기능을 포함할 수 있다. 이러한 증강현실용 디바이스(100)의 상세한 구성에 대해서는 도 2를 참조하여 아래에서 다시 설명하기로 한다.
통신망(1)은 증강현실용 디바이스(100)와 원격 서버(2)가 상호간에 정보를 송수신할 수 있도록 하는 통신 채널을 제공한다. 예를 들어, 통신망(1)은 증강현실용 디바이스(100)와는 무선 채널을 형성하여 증강현실용 디바이스(100)의 이동성을 지원할 수 있다. 예컨대, 통신망(1)은 무선랜(wireless LAN) 등과 같은 근거리무선통신망으로 구현하거나 CDMA(Code Division Multiple Access)망 또는 LTE(Long Term Evolution)망 등과 같은 광역 이동통신망으로 구현할 수 있다. 이러한 통신망(1)은 증강현실용 디바이스(100)와 원격 서버(2)의 사이에서 통신 채널을 제공할 수 있다면 어떠한 형태로든지 설계될 수 있다.
원격 서버(2)는 증강현실용 디바이스(100)로부터 관심 방향의 영상 정보를 통신망(1)을 통해 수신하고, 관심 방향의 영상 정보에 대한 객체 인식 프로세스를 수행하며, 객체 인식 프로세스의 결과들을 통신망(1)을 통해 원격 서버(2)에게 송신한다. 예를 들어, 관심 방향의 영상 정보에 대한 객체 인식 프로세스가 증강현실용 디바이스(100)에서 수행되는 경우라면 원격 서버(2)는 생략할 수 있으며, 이때 통신망(1)이 함께 생략될 수 있다. 이러한 원격 서버(2)에 의한 객체 인식 프로세스는 주지 및 관용의 기술사상이기에 자세한 설명은 생략하기로 한다.
도 2는 본 발명의 일 실시예에 따른 증강현실용 디바이스의 블록 구성도이다.
이에 나타낸 바와 같이 증강현실용 디바이스(100)는 소리 검출부(120), 관성 센서(130), 시선 추적 센서(140), 카메라(150), 제어부(160), 저장부(170), 통신부(180), 출력부(190)를 포함한다. 예를 들어, 증강현실용 디바이스(100)를 안경테(111) 및 렌즈(112)를 포함하는 안경(110) 형태로 제작한 경우에 출력부(190)는 렌즈(112)에 설치할 수 있고, 나머지의 구성요소들은 안경테(111)에 설치 또는 내장할 수 있다.
소리 검출부(120)는 주변으로부터 들려오는 소리를 검출하여 제어부(160)에게 제공한다. 이러한 소리 검출부(120)는 복수의 마이크로폰을 포함하며, 도 2의 실시예에는 총 4개의 마이크로폰(121, 122, 123, 124)을 포함하는 실시예를 나타내었다. 예를 들어, 증강현실용 디바이스(100)를 안경테(111) 및 렌즈(112)를 포함하는 안경(110) 형태로 제작한 경우에 제 1 마이크로폰(121)은 안경테(111)의 일측 전방쪽에 설치할 수 있고, 제 2 마이크로폰(122)은 안경테(111)의 타측 전방쪽에 설치할 수 있으며, 제 3 마이크로폰(123)은 안경테(111)의 일측 후방쪽에 설치할 수 있고, 제 4 마이크로폰(124)는 안경테(111)의 타측 후방쪽에 설치할 수 있다.
관성 센서(130)는 증강현실용 디바이스(100)가 어느 방향을 향하고 있는지를 나타내는 헤딩(heading) 정보를 생성하여 제어부(160)에게 제공한다. 이러한 관성 센서(130)는 가속도 3축(x,y,z)과 자이로 3축 및 지자계 3축의 조합으로 방향 정보를 표현한다.
시선 추적 센서(140)는 증강현실용 디바이스(100)를 착용한 사용자의 시선 방향을 추적하며, 추적된 시선 방향 정보를 제어부(160)에게 제공한다. 이러한 시선 추적 센서(140)는 광학 방식과 화상 입력 방식 중 어느 하나의 센서 방식을 통해 사용자의 시선을 추적할 수 있다. 여기서, 광학 방식 위치 추적은 시선 추적 센서(140)에서 육안으로 식별이 난해하며 인체에 무해한 광선(예컨대, 적외선)을 사용자에게 선택적으로 주사하고, 사용자로부터 반사되는 광선을 인식하여 사용자의 시선을 추적하는 방식이다. 화상 입력 방식 시선 추적은 시선 추적 센서(140)에서 CCD(Charge Coupled Device) 소자를 포함하는 카메라를 통해 사용자에 대한 화상 데이터를 입력하고, 화상 데이터를 판독하여 사용자의 시선을 추적하는 방식이다. 그러나, 시선 추적 센서(140)가 사용자의 시선을 추적하는 방식이 상술된 방식으로 한정되는 것은 결코 아니고, 당업자에 따라 다양하게 변형하여 실시할 수 있으며, 본 발명은 이처럼 변형 가능한 모든 실시예를 포함한다. 아울러, 제어부(160)가 소리의 방향과 헤딩 정보만을 기초로 하여 사용자의 관심 방향을 지정하는 경우라면 시선 추적 센서(140)는 생략될 수 있다.
카메라(150)는 제어부(160)의 의해 사용자의 관심 방향이 지정되면 제어부(160)의 제어에 따라 관심 방향의 영상 정보를 촬영하며, 촬영된 관심 방향의 영상 정보를 제어부(160)의 제어에 따라 통신부(180)에게 제공하여 원격 서버(2)측으로 전송될 수 있도록 한다.
저장부(170)에는 제어부(160)에 의한 실행시에, 각종 프로세스를 수행하는 컴퓨터 실행가능 명령어가 저장된다. 또, 저장부(170)에는 소리 검출부(120)에 의해 검출된 소리 데이터, 관성 센서(130)에 의해 생성된 헤딩 정보, 시선 추적 센서(140)에 의해 생성된 시선 방향 정보, 카메라(150)에 의해 촬영된 관심 방향의 영상 정보 등이 저장될 수 있다. 예를 들어, 저장부(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램, 롬 중 적어도 하나의 타입의 컴퓨터로 읽을 수 있는 기록매체를 포함할 수 있다.
통신부(180)는 카메라(150)에 의해 획득된 관심 방향의 영상 정보를 제어부(160)의 제어에 따라 통신망(1)을 통해 원격 서버(2)에게 송신하며, 원격 서버(2)로부터 송신된 객체 인식 결과를 통신망(1)을 통해 수신하여 제어부(160)에게 제공한다. 이러한 통신부(180)는 통신망(1)과 호환되는 통신 디바이스라면 어떠한 것이라도 무방하게 구현될 수 있다. 예를 들어, 통신망(1)이 무선랜인 경우라면 무선랜카드로 통신부(180)를 구현할 수 있고, 통신망(1)이 이동통신망이라면 이동통신 모뎀으로 통신부(180)를 구현할 수 있다.
출력부(190)는 사용자의 관심 방향 내의 객체 인식 결과에 기초한 증강현실 정보를 제어부(160)의 제어에 따라 출력한다. 예를 들어, 출력부(190)는 증강현실용 디바이스(100)가 안경(110) 형태로 제작된 경우에 렌즈(112)에 설치될 수 있고, 렌즈(112)에 사용자의 관심 방향 내의 객체 인식 결과에 기초한 증강현실 정보를 디스플레이할 수 있다. 예컨대, 출력부(190)는 LCD(Liquid Crystal Display) 등과 같은 평판 디스플레이 소자로 구현할 수 있다.
제어부(160)는 저장부(170)에 저장된 컴퓨터 실행가능 명령어를 실행하여 각종 프로세스를 수행할 수 있다. 이러한 제어부(160)는 소리 검출부(120)에 의해 검출된 소리의 방향을 판정하고, 관성 센서(130)에 의한 센싱값에 기초하여 증강현실용 디바이스(100)를 착용한 사용자의 헤딩 정보를 획득하며, 소리의 방향과 헤딩 정보를 비교한 결과에 기초하여 관심 방향을 지정하고, 관심 방향 내 객체에 대한 증강현실 정보가 출력부(190)를 통해 출력되게 한다. 예를 들어, 제어부(160)는 CPU(Central Processing Unit) 등과 같은 프로세서로 구현할 수 있다.
이러한 제어부(160)는 증강현실용 디바이스(100)를 착용한 사용자의 관심 방향을 지정할 때에 소리의 방향과 사용자의 헤딩 정보와 함께 사용자의 시선 방향을 비교한 결과에 기초하여 사용자의 관심 방향을 지정할 수 있다. 예를 들어, 제어부(160)는 헤딩 정보에 기초하여 추출된 시선 범위 내에 소리의 방향이 존재하면 소리의 방향이 시선 방향에 일치할 때에 해당 소리의 방향을 관심 방향으로 지정할 수 있다.
그리고, 제어부(160)는 소리의 방향을 판정할 때에 증강현실용 디바이스(100)에 커플링된 복수의 마이크로폰(121, 122, 123, 124)에 의해 소리를 검출하고, 각각의 마이크로폰(121, 122, 123, 124)에 의해 검출된 소리의 세기비율에 기초하여 소리의 방향을 결정할 수 있다.
아울러, 제어부(160)는 증강현실용 디바이스(100)가 어느 방향을 향하고 있는지를 나타내는 헤딩 정보를 획득할 때에 증강현실용 디바이스(100)에 커플링된 관성 센서(130)의 측정값에 기초하여 헤딩 정보를 결정할 수 있다.
또, 제어부(160)는 사용자의 관심 방향을 지정할 때에 복수의 소리의 방향을 관심 소리 후보로 삼고, 관심 소리 후보와 헤딩 정보를 비교하며, 관심 소리 후보 중에서 헤딩 정보에 일치된 관심 소리 후보에 대응하는 소리의 방향을 관심 방향으로 결정할 수 있다.
도 3은 본 발명의 일 실시예에 따른 증강현실용 디바이스(100)에서 증강현실 정보를 출력하기 위한 예시적 프로세스(200)를 예시하는 프로세스 흐름도이다. 프로세스(200)는 제어부(160)가 소리의 방향과 사용자의 헤딩 정보를 비교한 결과에 기초하여 관심 방향을 지정하는 실시예이다. 도 5는 본 발명의 일 실시예에 따른 증강현실용 디바이스(100)에서 소리의 방향을 결정하기 위한 예시적 프로세스(300)를 예시하는 프로세스 흐름도이고, 도 6은 본 발명의 일 실시예에 따른 증강현실용 디바이스(100)에서 관심 방향을 결정하기 위한 예시적 프로세스(400)를 예시하는 프로세스 흐름도이다.
먼저, 소리 검출부(120)를 구성하는 4개의 마이크로폰(121, 122, 123, 124)이 주변의 소리를 검출하여 제어부(160)에게 제공하며, 제어부(160)는 저장부(170)에 저장된 컴퓨터 실행가능 명령어를 실행함으로써 프로세스(200)를 수행하여 소리 검출부(120)에 의해 검출된 소리의 방향을 판정한다(201).
여기서, 제어부(160)는 프로세스(300)를 수행하여 소리의 방향을 판정하게 된다. 이를 위해, 제어부(160)는 복수의 마이크로폰(121, 122, 123, 124)에 의해 소리를 검출하고(301), 각각의 마이크로폰(121, 122, 123, 124)에 의해 검출된 소리의 세기비율을 계산하며(301), 계산된 세기비율에 기초하여 소리의 방향을 결정한다(301).
도 7에서 소리를 각각 발생시킨 2개의 발생원이 존재하는 경우에 2개의 소리의 방향(501, 502)을 가진다.
소리의 방향(501)은 제 1 마이크로폰(121) 및 제 3 마이크로폰(123)에서 검출된 소리 세기와 제 2 마이크로폰(122) 및 제 4 마이크로폰(124)에서 검출된 소리 세기가 거의 동일하고, 제 1 마이크로폰(121) 및 제 2 마이크로폰(122)에서 검출된 소리 세기가 제 3 마이크로폰(123) 및 제 4 마이크로폰(124)에서 검출된 소리 세기보다 더 크다. 제어부(160)는 단계 303에서 이러한 소리의 세기비율이 계산되면 단계 305에서 소리의 방향(501)으로 결정하게 된다.
소리의 방향(502)은 제 2 마이크로폰(122) 및 제 4 마이크로폰(124)에서 검출된 소리 세기가 제 1 마이크로폰(121) 및 제 3 마이크로폰(123)에서 검출된 소리 세기보다 더 크고, 제 2 마이크로폰(122)에서 검출된 소리 세기와 제 4 마이크로폰(124)에서 검출된 소리 세기가 큰 차이를 갖지 않으며, 제 1 마이크로폰(121)에서 검출된 소리 세기와 제 3 마이크로폰(123)에서 검출된 소리 세기가 큰 차이를 갖지 않는다. 제어부(160)는 단계 303에서 이러한 소리의 세기비율이 계산되면 단계 305에서 소리의 방향(502)으로 결정하게 된다.
도 8에서도 소리를 각각 발생시킨 2개의 발생원이 존재하는 경우에 2개의 소리의 방향(503, 504)을 가진다.
소리의 방향(503)일 때에 제 1 내지 제 4 마이크로폰(121, 122, 123, 124)에 각각 검출되는 소리 세기비율과 소리의 방향(504)일 때에 제 1 내지 제 4 마이크로폰(121, 122, 123, 124)에 각각 검출되는 소리 세기비율이 서로 다르다. 제 1 마이크로폰(121) 및 제 2 마이크로폰(122)의 총 소리 세기를 A라 하고, 제 3 마이크로폰(123) 및 제 4 마이크로폰(124)의 총 소리 세기를 B라 하며, A에서 B를 감산한 결과를 C라 할 때에, 소리의 방향(504)일 때의 C보다 소리의 방향(503)일 때의 C가 더 작다. 제어부(160)는 단계 303에서 계산된 소리의 세기비율에 따라 단계 305에서 2개의 소리의 방향(503, 504) 중에서 어느 하나로 결정하게 된다.
도 7 및 도 8을 참조하여 설명한 소리의 방향 결정 과정을 조합하여 제어부(160)는 소리의 방향, 즉 소리를 발생시킨 발생원으로부터 증강현실용 디바이스(100)측으로 소리가 전달되어 오는 방향을 3축 방향으로 인지할 수 있다.
아울러, 관성 센서(130)는 증강현실용 디바이스(100)가 어느 방향을 향하고 있는지를 나타내는 헤딩 정보를 생성하여 제어부(160)에게 제공한다. 예를 들어, 관성 센서(130)는 가속도 3축(x,y,z)과 자이로 3축 및 지자계 3축의 조합으로 표현되는 방향 정보를 제어부(160)에게 제공하며, 제어부(160)는 관성 센서(130)로부터 제공되는 방향 정보를 증강현실용 디바이스(100)의 헤딩 정보로서 획득한다(203).
그러면, 제어부(160)는 단계 201에서 판정된 소리의 방향과 단계 203에서 획득된 헤딩 정보를 비교한 결과에 기초하여 증강현실용 디바이스(100)를 착용한 사용자의 관심 방향을 지정하게 된다(205).
도 9에서 제어부(160)는 소리의 방향(505)과 헤딩 정보(506)이 일치할 경우에 소리의 방향(505)을 증강현실용 디바이스(100)를 착용한 사용자의 현재 관심 방향을 지정할 수 있다.
도 10에서 제어부(160)는 소리의 방향(507)과 헤딩 정보(508)가 일치하지 않을 경우에는 증강현실용 디바이스(100)를 착용한 사용자의 관심 방향을 지정하지 않고, 도 11에서 제어부(160)는 헤딩 정보(509)가 변경되어 소리의 방향(507)과 일치하면 소리의 방향(507)을 증강현실용 디바이스(100)를 착용한 사용자의 현재 관심 방향을 지정할 수 있다.
여기서, 소리를 각각 발생시킨 2개의 발생원이 존재하고 각각 소리를 발생시킨 시각이 동일하거나 기 설정된 기간 내에 순차로 발생한 경우라면 제어부(160)는 도 6에 나타낸 프로세스(400)를 수행한다. 제어부(160)는 노이즈 레벨을 제외한 복수의 소리의 방향을 관심 소리 후보로 삼아 자신의 내부 메모리 또는 저장부(170)에 저장하며(401), 복수의 관심 소리 후보와 단계 203에서 획득된 헤딩 정보를 비교하여 관심 소리 후보 중에서 헤딩 정보에 일치된 관심 소리 후보를 추출하고(403), 일치된 관심 소리 후보에 대응하는 소리의 방향을 관심 방향으로 결정한다(405).
이때, 제어부(160)는 관심 소리 후보를 아래의 표 1에 예시한 바와 같은 데이터테이블을 이용하여 저장 및 관리할 수 있다.
관심 소리 후보명 방향 정보 순서 정보 경과시간 정보
D F방향 1 2.4초
E G방향 2 1.5초
이러한 표 1에서 순서 정보는 관심 소리 후보로 등록된 순서를 의미하고, 경과시간 정보는 소리가 검출된 후의 경과시간을 의미한다. 예를 들어, 제어부(160)는 순서 정보 또는 경과시간 정보를 기준으로 하여 관심 소리 후보의 개수를 제한할 수 있다. 새로운 관심 소리 후보를 등록할 때에는 현재 등록된 관심 소리 후보 중에서 가장 먼저 등록되었거나 소리가 검출된 후에 가장 시간이 많이 경과된 관심 소리 후보를 등록 취소하고 대신 새로운 관심 소리 후보를 등록할 수 있다. 그리고, 새로운 관심 소리 후보와 기 등록된 관심 소리 후보의 방향 정보가 동일한 경우라면 제어부(160)는 기 등록된 관심 소리 후보의 순서 정보 및 경과시간 정보를 새로운 관심 소리 후보에 맞추어 갱신할 수 있다.
다음으로, 제어부(160)는 증강현실용 디바이스(100)를 착용한 사용자의 관심 방향이 지정되면 카메라(150)에게 관심 방향의 영상을 촬영하여 제공할 것을 명령하고, 카메라(150)는 제어부(160)의 제어에 따라 관심 방향의 영상 정보를 촬영하며, 촬영된 관심 방향의 영상 정보를 제어부(160)의 제어에 따라 통신부(180)에게 제공하여 원격 서버(2)측으로 전송될 수 있도록 한다. 그러면, 통신부(180)는 카메라(150)에 의해 획득된 관심 방향의 영상 정보를 제어부(160)의 제어에 따라 통신망(1)을 통해 원격 서버(2)에게 송신한다(207).
그러면, 원격 서버(2)는 증강현실용 디바이스(100)로부터 관심 방향의 영상 정보를 통신망(1)을 통해 수신하고, 관심 방향의 영상 정보에 대한 객체 인식 프로세스를 수행하며, 객체 인식 프로세스의 결과들을 통신망(1)을 통해 원격 서버(2)에게 송신한다. 이러한 원격 서버(2)에 의한 객체 인식 프로세스는 주지 및 관용의 기술사상이기에 자세한 설명은 생략하기로 한다.
이어서, 제어부(160)의 제어에 따라 통신부(180)는 원격 서버(2)로부터 송신된 객체 인식 결과를 통신망(1)을 통해 수신하여 제어부(160)에게 제공한다(209).
다음으로, 제어부(160)는 원격 서버(2)로부터 수신된 객체 인식 결과에 기초하여 증강현실 정보를 출력하도록 출력부(190)를 제어하며, 제어부(160)의 제어에 따라 출력부(190)는 사용자의 관심 방향 내의 객체 인식 결과에 기초한 증강현실 정보를 출력한다. 예를 들어, 증강현실용 디바이스(100)가 안경(110) 형태로 제작된 경우에 렌즈(112)에 설치된 출력부(190)는 사용자의 관심 방향 내의 객체 인식 결과에 기초한 증강현실 정보를 디스플레이하게 된다(211).
한편, 제어부(160)가 프로세스(200)를 수행하는 중 소리를 각각 발생시킨 2개의 발생원이 존재하고 기 설정된 기간 내에 순차로 소리가 발생하였으며, 증강현실용 디바이스(100)를 착용한 사용자가 소리가 발생된 2개의 방향을 순차로 바라보았을 때에, 단계 205에서 기 설정된 기간 내에 2개의 관심 방향이 지정될 수 있다. 이 경우에 제어부(160)는 출력부(190)를 제어하여 도 12에 예시한 바와 같은 증강현실 정보 및 안내화면을 제공할 수 있다. 단계 205에서 관심 방향이 처음에는 A방향으로 지정되었다가 곧바로 B방향으로 변경된 경우에 B방향 내의 객체(510)에 대한 증강현실 정보(511)가 출력되며, A방향에 증강현실 정보가 추가로 있음을 화살표(512) 등의 안내화면이 함께 출력된다. 이 상태에서 증강현실용 디바이스(100)를 착용한 사용자가 화살표(512)의 방향으로 고개를 돌리면 A방향 내의 소정 객체에 대한 증강현실 정보가 추가로 출력된다.
도 4는 본 발명의 일 실시예에 따른 증강현실용 디바이스(100)에서 증강현실 정보를 출력하기 위한 예시적 프로세스(200a)를 예시하는 프로세스 흐름도이다. 프로세스(200a)는 제어부(160)가 소리의 방향과 사용자의 헤딩 정보 및 시선 추적 정보를 비교한 결과에 기초하여 관심 방향을 지정하는 실시예이다. 도 3에 나타낸 프로세스(200)와 도 4에 나타낸 프로세스(200a)를 비교하여 보면 도 3의 단계 205가 도 4에서는 단계 204 및 단계 206으로 변화된 것을 알 수 있다.
먼저, 앞서 설명한 프로세스(200)와 마찬가지로 제어부(160)는 소리의 방향을 판정하고(201), 증강현실용 디바이스(100)의 헤딩 정보를 획득한다(203).
아울러, 시선 추적 센서(140)는 증강현실용 디바이스(100)를 착용한 사용자의 시선 방향을 추적하며, 추적된 시선 방향 정보를 제어부(160)에게 제공한다(204). 예를 들어, 시선 추적 센서(140)는 광학 방식과 화상 입력 방식 중 어느 하나의 센서 방식을 통해 사용자의 시선을 추적할 수 있다. 광학 방식으로 시선을 추적하는 경우에는 시선 추적 센서(140)에서 육안으로 식별이 난해하며 인체에 무해한 광선(예컨대, 적외선)을 사용자에게 선택적으로 주사하고, 사용자로부터 반사되는 광선을 인식하여 사용자의 시선을 추적한다. 화상 입력 방식으로 시선을 추적하는 경우에는 시선 추적 센서(140)에서 CCD 소자를 포함하는 카메라를 통해 사용자에 대한 화상 데이터를 입력하고, 화상 데이터를 판독하여 사용자의 시선을 추적한다.
그러면, 제어부(160)는 단계 201에서 판정된 소리의 방향과 단계 203에서 획득된 헤딩 정보 및 단계 204에서 추적된 시선 방향을 비교한 결과에 기초하여 증강현실용 디바이스(100)를 착용한 사용자의 관심 방향을 지정하게 된다(206).
단계 206에서 제어부(160)는 단계 201에서 판정된 소리의 방향과 단계 203에서 획득된 헤딩 정보 및 단계 204에서 추적된 시선 방향이 모두 일치하면 일치된 방향을 증강현실용 디바이스(100)를 착용한 사용자의 관심 방향으로 지정하게 된다.
그런데, 사용자가 고개는 좌우로 돌리지 않고 눈동자만 좌 또는 우로 돌린 경우에는 단계 201에서 판정된 소리의 방향과 단계 203에서 획득된 헤딩 정보 및 단계 204에서 추적된 시선 방향이 모두 일치하지는 않은 경우가 발생하며, 도 13이 이러한 경우를 나타내었다.
도 13에서 제어부(160)는 단계 203에서 획득된 헤딩 정보(512)에 기초하여 카메라(150)의 관측 시야 범위(513) 및 사용자의 시선 범위(514)를 추출한다. 예를 들어, 헤딩 정보(512)를 기준으로 하여 좌우로 기 설정된 제 1 각도 범위를 카메라(150)의 관측 시야 범위(513)로서 추출할 수 있고, 헤딩 정보(512)를 기준으로 하여 좌우로 기 설정된 제 2 각도 범위를 사용자의 시선 범위(514)로서 추출할 수 있다. 그리고, 제어부(160)는 추출된 카메라(150)의 관측 시야 범위(513) 내에 소리의 방향(515)이 존재하면 소리의 방향(515)이 추적된 시선 방향(516)에 일치할 때에 소리의 방향(515)을 관심 방향으로 지정하게 된다. 이때, 제어부(160)의 제어에 따라 카메라(150)는 관측 시야(516)를 사용자의 관심 방향의 영상 정로로서 촬영하며, 이렇게 촬영된 관심 방향의 영상 정보가 원격 서버(2)에게 송신된다.
한편, 도 14에 나타낸 바와 같이 카메라(150)의 관측 시야 범위(513) 내에 소리의 방향(515)이 존재하지 않고 관측 시야 범위(513)를 벗어날 수 있다. 이 경우에 제어부(160)를 출력부(190)를 제어하여 도 15에 예시한 바와 같은 안내화면을 제공할 수 있다. 예를 들어, 도 15와 같이 화살표(517)를 디스플레이하여 화살표(517)가 지시하는 방향에 소리의 방향(515)이 존재한다는 것을 알려줌으로써 증강현실용 디바이스(100)의 착용한 사용자에게 해당 방향으로 눈(518)의 눈동자(519)만 돌리지 말고 고개를 돌릴 수 있도록 유도하며, 사용자가 해당 방향으로 고개를 돌리게 되면 도 13과 같이 카메라(150)의 관측 시야 범위(513) 내에 소리의 방향(515)이 존재하게 된다. 도 13에 나타낸 눈(518)과 눈동자(519)는 출력부(190)에 디스플레이되는 정보가 아니지만 설명의 이해를 돕기 위해 도시하였다.
이후의 프로세스(200a)에 의한 단계 209 및 단계 211은 프로세스(200)에 의한 단계 209 및 단계 211과 비교할 때에 동일하게 수행되는 것이기에 그 설명을 생략하기로 한다.
지금까지 설명한 바와 같이, 본 발명은 소리의 방향 정보를 이용하여 증강현실 정보를 출력하기 때문에 종래 기술에서 사용자가 디바이스에게 관심이 있는 객체임을 전달하기 위하여 일정시간 이상 동안 시선을 유지 또는 고정하여야 했던 불편함이 해소되며, 증강현실용 디바이스의 관점에서는 사용자가 일정시간 이상 동안 시선을 유지 또는 고정할 때까지 기다릴 필요 없이 곧바로 관심 방향을 파악하여 증강현실 정보를 출력할 수 있기 때문에 종래 기술보다 응답성능이 개선된다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 실시예에 따르면, 증강현실용 디바이스에서 사용자의 주변으로부터 들려오는 소리의 방향 정보를 이용하여 증강현실 정보를 출력하게 된다.
이러한 본 발명은 원격지에 위치한 별도의 서버에서 증강현실 정보의 출력을 위한 객체 인식을 수행하는 증강현실 서비스 기술분야뿐만 아니라 증강현실용 디바이스에서 객체 인식을 수행하는 증강현실 서비스 기술분야에 이용할 수 있다.
100 : 증강현실용 디바이스 110 : 안경
120 : 소리 검출부 130 : 관성 센서
140 : 시선 추적 센서 150 : 카메라
160 : 제어부 170 : 저장부
180 : 통신부 190 : 출력부

Claims (9)

  1. 증강현실용 디바이스에서 수행되는 증강현실 출력 방법으로서,
    검출된 소리의 방향을 판정하는 단계와,
    상기 증강현실용 디바이스를 착용한 사용자의 헤딩 정보를 획득하는 단계와,
    상기 소리의 방향과 상기 헤딩 정보를 비교한 결과에 기초하여 관심 방향을 지정하는 단계와,
    상기 관심 방향 내 객체에 대한 증강현실 정보를 출력하는 단계를 포함하는
    증강현실 출력 방법.
  2. 제 1 항에 있어서,
    상기 증강현실 정보를 출력하는 단계는,
    상기 관심 방향의 영상 정보를 원격 서버에게 송신하는 단계와,
    상기 원격 서버로부터 객체 인식 결과를 수신하는 단계와,
    상기 객체 인식 결과에 기초하여 상기 증강현실 정보를 디스플레이하는 단계를 포함하는
    증강현실 출력 방법.
  3. 제 1 항에 있어서,
    상기 소리의 방향을 판정하는 단계는,
    상기 증강현실용 디바이스에 커플링된 복수의 마이크로폰에 의해 상기 소리를 검출하는 단계와,
    각각의 상기 마이크로폰에 의해 검출된 상기 소리의 세기비율에 기초하여 상기 소리의 방향을 결정하는
    증강현실 출력 방법.
  4. 제 1 항에 있어서,
    상기 헤딩 정보를 획득하는 단계는,
    상기 증강현실용 디바이스에 커플링된 관성 센서의 측정값에 기초하여 상기 헤딩 정보를 결정하는
    증강현실 출력 방법.
  5. 제 1 항에 있어서,
    상기 관심 방향을 지정하는 단계는,
    복수의 소리의 방향을 관심 소리 후보로 삼는 단계와,
    상기 관심 소리 후보와 상기 헤딩 정보를 비교하는 단계와,
    상기 관심 소리 후보 중에서 상기 헤딩 정보에 일치된 관심 소리 후보에 대응하는 소리의 방향을 상기 관심 방향으로 결정하는 단계를 포함하는
    증강현실 출력 방법.
  6. 제 1 항에 있어서,
    상기 사용자의 시선 방향을 추적하는 단계를 더 포함하며,
    상기 관심 방향은, 상기 소리의 방향과 상기 헤딩 정보 및 상기 추적된 시선 방향을 비교한 결과에 기초하여 지정하는
    증강현실 출력 방법.
  7. 제 6 항에 있어서,
    상기 헤딩 정보에 기초하여 추출된 시선 범위 내에 상기 소리의 방향이 존재하면 상기 소리의 방향이 상기 추적된 시선 방향에 일치할 때에 상기 소리의 방향을 상기 관심 방향으로 지정하는
    증강현실 출력 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 기재된 증강현실 출력 방법을 프로세서가 수행하도록 하기 위하여
    컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  9. 착용이 가능한 증강현실용 디바이스로서,
    제어부와,
    상기 제어부에 의한 실행시에, 프로세스를 수행하는 컴퓨터 실행가능 명령어가 저장된 저장부와,
    상기 제어부의 제어에 따라 정보를 출력하는 출력부를 포함하되,
    상기 프로세스는,
    검출된 소리의 방향을 판정하고,
    상기 증강현실용 디바이스를 착용한 사용자의 헤딩 정보를 획득하며,
    상기 소리의 방향과 상기 헤딩 정보를 비교한 결과에 기초하여 관심 방향을 지정하고,
    상기 관심 방향 내 객체에 대한 증강현실 정보가 상기 출력부를 통해 출력되게 하는
    증강현실용 디바이스.

KR1020170048735A 2017-04-14 2017-04-14 증강현실용 디바이스와 그 증강현실 출력 방법 Ceased KR20180116044A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170048735A KR20180116044A (ko) 2017-04-14 2017-04-14 증강현실용 디바이스와 그 증강현실 출력 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170048735A KR20180116044A (ko) 2017-04-14 2017-04-14 증강현실용 디바이스와 그 증강현실 출력 방법

Publications (1)

Publication Number Publication Date
KR20180116044A true KR20180116044A (ko) 2018-10-24

Family

ID=64132481

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170048735A Ceased KR20180116044A (ko) 2017-04-14 2017-04-14 증강현실용 디바이스와 그 증강현실 출력 방법

Country Status (1)

Country Link
KR (1) KR20180116044A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210037886A (ko) * 2019-09-30 2021-04-07 주식회사 엘지유플러스 착용형 장치 및 이의 동작 방법과 상황 인식 서버
WO2023048466A1 (ko) * 2021-09-27 2023-03-30 삼성전자 주식회사 전자 장치 및 컨텐츠 표시 방법
US12033382B2 (en) 2021-09-27 2024-07-09 Samsung Electronics Co., Ltd. Electronic device and method for representing contents based on gaze dwell time

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210037886A (ko) * 2019-09-30 2021-04-07 주식회사 엘지유플러스 착용형 장치 및 이의 동작 방법과 상황 인식 서버
WO2023048466A1 (ko) * 2021-09-27 2023-03-30 삼성전자 주식회사 전자 장치 및 컨텐츠 표시 방법
US12033382B2 (en) 2021-09-27 2024-07-09 Samsung Electronics Co., Ltd. Electronic device and method for representing contents based on gaze dwell time

Similar Documents

Publication Publication Date Title
JP2022000640A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US9921073B2 (en) Eyewear-type terminal and method for controlling the same
US9092671B2 (en) Visual line detection device and visual line detection method
US20200211512A1 (en) Headset adjustment for optimal viewing
US20190107724A1 (en) Computer display device mounted on eyeglasses
CN110167823A (zh) 用于驾驶员监测的系统和方法
JP2010061265A (ja) 人物検索登録システム
US10002293B2 (en) Image collection with increased accuracy
US20170344110A1 (en) Line-of-sight detector and line-of-sight detection method
JP6631951B2 (ja) 視線検出装置及び視線検出方法
KR20190089627A (ko) Ar 서비스를 제공하는 디바이스 및 그 동작 방법
CN109002248B (zh) Vr场景截图方法、设备及存储介质
KR20150135847A (ko) 글래스 타입 단말기 및 이의 제어방법
KR20120127790A (ko) 시선추적 시스템 및 그 방법
US10514755B2 (en) Glasses-type terminal and control method therefor
JP7078568B2 (ja) 表示装置、表示制御方法、及び表示システム
JP2019164420A (ja) 透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラム
JP6554948B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
EP3640840B1 (en) Tracking method and apparatus for smart glasses, smart glasses and storage medium
KR20180116044A (ko) 증강현실용 디바이스와 그 증강현실 출력 방법
JP2019066618A (ja) 画像表示システム、画像表示方法及び画像表示プログラム
JP2017169167A (ja) 捜索支援装置、捜索支援方法及び捜索支援プログラム
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
JP6576639B2 (ja) 電子眼鏡および電子眼鏡の制御方法
US20200379555A1 (en) Information processing system, operation method, and operation program

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170414

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180205

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20180820

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20180205

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20180820

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20180328

Comment text: Amendment to Specification, etc.

PX0601 Decision of rejection after re-examination

Comment text: Decision to Refuse Application

Patent event code: PX06014S01D

Patent event date: 20181023

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20180920

Comment text: Decision to Refuse Application

Patent event code: PX06011S01I

Patent event date: 20180820

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20180328

Comment text: Notification of reason for refusal

Patent event code: PX06013S01I

Patent event date: 20180205

PG1501 Laying open of application