[go: up one dir, main page]

KR102677290B1 - 증강현실용 프로젝터 및 이의 제어방법 - Google Patents

증강현실용 프로젝터 및 이의 제어방법 Download PDF

Info

Publication number
KR102677290B1
KR102677290B1 KR1020200014964A KR20200014964A KR102677290B1 KR 102677290 B1 KR102677290 B1 KR 102677290B1 KR 1020200014964 A KR1020200014964 A KR 1020200014964A KR 20200014964 A KR20200014964 A KR 20200014964A KR 102677290 B1 KR102677290 B1 KR 102677290B1
Authority
KR
South Korea
Prior art keywords
projector
camera
augmented reality
projection
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200014964A
Other languages
English (en)
Other versions
KR20210100958A (ko
Inventor
최창호
유재석
임상혁
박재완
김희수
이리나
이창화
한종범
이학림
김상윤
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020200014964A priority Critical patent/KR102677290B1/ko
Priority to US16/841,064 priority patent/US10939091B1/en
Publication of KR20210100958A publication Critical patent/KR20210100958A/ko
Application granted granted Critical
Publication of KR102677290B1 publication Critical patent/KR102677290B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/145—Housing details, e.g. position adjustments thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

본 출원은 증강현실을 제공하도록 구성되는 프로젝터를 개시한다. 본 출원은 몸체; 상기 몸체에 제공되며, 소정 물체상의 투사영역상에 증강현실정보를 투사하도록 구성되는 투사모듈; 상기 투사모듈에 대해 이동가능하도록 상기 몸체에 제공되며, 상기 투사영역까지의 거리를 측정하며 상기 검출된 거리에서 소정크기의 감지영역내에 주어지는 입력을 감지하도록 구성되는 카메라; 및 상기 투사모듈 및 상기 카메라를 제어하도록 구성되며, 상기 입력을 수신하기 위해 상기 투사영역에 대한 상기 감지영역의 상대적 위치에 기초하여 상기 감지영역을 상기 투사영역에 정렬시키도록 구성되는 제어장치를 포함하는 증강현실용 프로젝터를 제공한다.

Description

증강현실용 프로젝터 및 이의 제어방법{PROJECTOR FOR AUGMENTED REALITY AND METHOD FOR CONTROLLING THE SAME}
본 출원은 프로젝터 및 이의 제어방법에 관한 것으로, 보다 상세하게는, 증강현실을 제공하도록 구성되는 프로젝터 및 이를 제어하는 방법에 관한 것이다.
증강현실(AR: Augmented Reality)은 가상현실(VR: Virtual Reality)의 한 분야로 실제로 존재하는 환경, 즉 실제의 물체상의 영역에 가상의 객체나 정보를 합성하여 마치 원래의 환경에 존재하는 물체처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 기존의 가상 현실은 가상의 공간과 물체만을 대상으로 하고 있었다. 그러나, 증강현실은 현실 세계의 기반위에 가상의 물체를 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 추가적으로 제공할 수 있다.
이러한 증강현실은 다양한 스마트 기기를 통해 제공될 수 있다. 이러한 스마트 기기들중, 프로젝터(projector)는 소정의 영상을 화면에 투사하도록 구성되는 장치이다. 프로젝터는 실제환경내에서 대형의 영상을 원거리로 이격된 물체에 제공할 수 있으므로, 증강현실을 구현하는데 있어서 유리하다. 통상적으로, 증강현실을 구현하는데 있어서, 가상의 정보가 제공될 현실세계의 공간, 즉 투사영역을 정확하게 인식하는 것과 현실세계를 제어하기 위한 투사된 가상의 정보에 대한 입력을 정확하게 수신하는 것이 중요하다. 실제적으로 투사영역이 정확하게 인식되어야 투사영역에 제공된 가상정보에 대한 입력도 정확하게 수신될 수 있다.
이와 같은 투사영역의 인식 및 입력수신을 위해, 프로젝터는 투사영역에 빛을 조사하여 입력 감지영역을 형성하는 광원과 형성된 감지영역내의 입력을 수신하는 수신장치를 포함할 수 있다. 그러나, 일반적으로 프로젝터의 광원은 프로젝터로부터 실제 물체(즉, 투사영역)까지의 기설정된 거리, 즉 고정된 투사거리에서 감지영역을 형성하도록 구성된다. 따라서, 투사거리가 변경되면 가상정보에 대한 입력이 정확하게 수신할 수 없다. 특히, 투사영역이 형성되는 실제 물체의 표면이 불균일한 경우, 미세한 투사거리의 변경에 의해 가상정보에 대한 입력이 정확하게 수행될 수 없다.
본 출원은 상술된 문제를 해결하기 위해 안출된 것으로, 본 출원의 목적은 증강현실정보에 대한 입력을 정확하게 수신하도록 구성되는 프로젝터 및 이의 제어방법을 제공하는 것이다.
상술된 또는 다른 목적을 달성하기 위해, 본 출원은 몸체; 상기 몸체에 제공되며, 소정 물체상의 투사영역상에 증강현실정보를 투사하도록 구성되는 투사모듈(project module); 상기 투사모듈에 대해 이동가능하도록 상기 몸체에 제공되며, 상기 투사영역까지의 거리를 측정하며 상기 검출된 거리에서 소정크기의 감지영역내에 주어지는 입력을 감지하도록 구성되는 카메라; 및 상기 투사모듈 및 상기 카메라를 제어하도록 구성되며, 상기 입력을 수신하기 위해 상기 투사영역에 대한 상기 감지영역의 상대적 위치에 기초하여 상기 감지영역을 상기 투사영역에 정렬시키도록 구성되는 제어장치를 포함하는 증강현실용 프로젝터(projector)를 제공할 수 있다.
상기 투사모듈은 증강현실정보로서 상기 물체에 관련된 가상정보 및 가상객체 및/또는 상기 정보/객체를 제어하는 가상인터페이스를 제공하도록 구성될 수 있다. 또한, 상기 투사모듈은 상기 카메라를 향해 틸트(tilt)된 광학축을 갖도록 구성될 수 있다.
상기 카메라는 상기 입력으로서 상기 감지영역내에 제공되는 소정의 입력도구의 모션을 감지하도록 구성될 수 있다. 보다 상세하게는, 상기 카메라는: 상기 물체를 향해 소정의 빛을 조사하도록 구성되는 광원; 및 상기 물체로부터 반사되는 상기 조사된 빛을 수신하도록 구성되는 센서를 포함할 수 있다. 또한, 상기 카메라는 상기 몸체의 수직축내에 상기 투사모듈과 함께 배치될 수 있다. 또한, 상기 카메라는 상기 몸체의 수평축을 중심으로 상기 투사모듈에 대해 상대적으로 회동가능하게 구성될 수 있다.
상기 제어장치는 상기 투사영역내에 완전하게 포함되도록 상기 감지영역을 이동시키도록 구성될 수 있다. 상기 제어장치는 상기 감지영역의 이동을 상기 몸체의 수평축을 중심으로 상기 카메라를 상기 투사모듈 쪽으로 소정각도만큼 회동시키도록 구성될 수 있다. 또한, 상기 각도를 산출하기 위해, 상기 제어장치는: 상기 투사영역에 대한 상기 감지영역의 상대적 위치를 결정하며, 결정된 상대적 위치에 기초하여 상기 투사영역과 감지영역사이의 이격거리를 산출하며, 상기 산출된 이격거리에 기초하여 상기 카메라를 회동시키기 위한 상기 각도를 산출하도록 구성될 수 있다.
상기 몸체는: 소정의 표면상에 배치되는 베이스; 상기 베이스에 이의 수직축을 중심으로 회동가능하게 설치되는 제 1 몸체; 및 상기 제 1 몸체에 이의 수평축을 중심으로 회동가능하게 설치되는 제 2 몸체를 포함할 수 있다. 상기 투사모듈 및 상기 카메라는 상기 제 2 몸체에 설치될 수 있다. 상기 투사모듈은 상기 제 2 몸체에 이동되지 않게(immovably) 고정되며, 상기 카메라는 상기 투사모듈에 대해 상대적으로 회동가능하게 설치될 수 있다.
본 출원의 프로젝터는 카메라의 감지영역과 투사모듈의 투사영역이 적어도 부분적으로 겹쳐지지 않는 경우, 카메라를 이동시켜 감지영역을 투사모듈과 정렬시킬 수 있다. 따라서, 투사영역, 즉 이에 제공된 증강현실정보에 대한 입력은 정렬된 감지영역에 의해 모두 감지될 수 있다. 이러한 이유로, 본 출원의 프로젝터는 안정적이고 신뢰성 있게 증강현실정보를 제공할 수 있다.
도 1은 본 출원에서 설명되는 프로젝터의 구성(configuration)을 나타내는 블록도이다.
도 2는 본 출원의 프로젝터를 나타내는 정면도이다.
도 3은 도 2의 A-A 선을 따라 얻어진 프로젝터의 단면도이다.
도 4는 도 2의 A-A 선에 따른 방향에 수직한 방향에서 얻어진 프로젝터의 단면도이다.
도 5는 프로젝터의 운동을 보여주는 사시도이다.
도 6은 도 2의 B-B 선에 따라 얻어지는 프로젝터의 단면도이다.
도 7은 프로젝터와 카메라의 배치 및 배치에 따른 프로젝터의 투사영역과 카메라의 감지영역사이의 기하학적 관계를 보여주는 개략도이다.
도 8은 도 7의 배치에 따른 프로젝터의 투사영역과 카메라의 감지영역사이의 기하학적 관계를 보여주는 평면도이다.
도 9는 본 출원의 프로젝터에서 입력을 수신하는 방법을 보여주는 순서도이다.
도 10은 본 출원의 프로젝터의 작동을 제어하는 방법을 보여주는 순서도이다.
도 11은 주방에 제공된 본 출원의 프로젝터의 일 예를 보여주는 개략도이다.
도 12는 거실에 제공된 본 출원의 프로젝터의 일 예를 보여주는 개략도이다.
첨부된 도면을 참조하여 본 출원에 따른 프로젝터 및 제어방법의 예들이 다음에서 상세히 설명된다.
이러한 예들의 설명에 있어서, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 출원의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "이루어진다(comprise)", "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 같은 이유에서, 본 출원은 개시된 발명의 의도된 기술적 목적 및 효과에서 벗어나지 않는 한 앞선 언급된 용어를 사용하여 설명된 관련 특징, 숫자, 단계, 동작, 구성요소, 부품의 조합으로부터도 일부 특징, 숫자, 단계, 동작, 구성요소, 부품등이 생략된 조합도 포괄하고 있음도 이해되어야 한다.
본 출원에서 설명되는 예들은 증강현실정보를 제공하는 프로젝터 및 이를 제어하는 방법에 관한 것이다. 그러나 설명된 예들의 원리(principle) 및 구성(configuration)은 영상(image)을 투사할 수 있는 모든 장치들에 적용될 수 있다. 예를 들어, 다음에 설명되는 예들은 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 및 웨어러블 디바이스(wearable device, 예를 들어, 스마트 와치(smart wath), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등에 적용될 수 있다.
먼저, 본 출원에서 설명되는 프로젝터의 일 예의 전체적인 구성이 관련된 도면을 참조하여 다음에서 설명된다. 도 1은 본 출원에 따른 프로젝터를 설명하기 위한 블록도이며, 이를 참조하여 프로젝터의 일반적인 구성(configuration)을 설명하면 다음과 같다.
도 1에 도시된 구성요소들은 프로젝터(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 출원에 설명되는 프로젝터(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다. 또한, 앞서 언급된 구성요소들의 실제 형상 및 구조가 모두 도시되지는 않으며, 중요한 일부 구성요소들의 형상 및 구조만이 도 1에 뒤따르는 도면들에서 나타난다. 그러나, 프로젝터(100)로서의 기능을 구현하기 위해 비록 모두 도시되지는 않지만 도 1에 설명된 구성요소들이 모두 프로젝터(100)에 포함될 수 있음을 당업자는 이해 가능하다.
먼저, 프로젝터(100)는 투사모듈(projecting module)(110)을 포함할 수 있다. 투사모듈(110)은 현실세계에 증강현실정보를 제공하도록 구성될 수 있다. 보다 상세하게는, 투사모듈(110)은 현실세계에서 프로젝터(100)로부터 소정거리로 이격된 실제 물체의 표면상에 증강현실정보로서 소정크기의 영상을 투사하도록 구성될 수 있다. 증강현실정보는 소정의 실제 물체에 관련된 가상 정보 및 상기 실제 물체에 관련된 가상객체를 포함할 수 있다. 또한, 증강현실정보는 가상 정보 및 가상 객체 뿐만 아니라 실제 물체와 인터액트(interact)하거나 이를 제어하도록 구성되는 가상 인터페이스를 포함할 수도 있다. 이와 같은 증강현실정보는 프로젝터(100)내에 저장되거나 외부로부터 수신될 수 있다.
이러한 투사모듈(110)은 영상신호를 수신하여 영상을 생성하는 영상장치(imaging device)를 포함할 수 있다. 생성된 영상은 투사모듈(110)에 설치된 광학계(optics or optics system)을 통해 확대 및 처리되어 투사모듈(110)외부로 투사될 수 있다. 투사모듈(110)은 생성된 영상의 증폭을 위해 추가적인 광원을 영상장치에 제공할 수 있다. 투사모듈(110)은 영상을 투사하는 방식에 따라, CRT(Cathod Ray Tube), LCD(Liquid Crystal Display), DLP(Digital Light Processing), LCoS(Liquid Crystal on Silicon), LBS(Laser Beam Steering) 타입등으로 분류될 수 있다.
또한, 프로젝터(100)는 카메라(120)를 포함할 수 있다. 카메라(120)는 기본적으로 소정의 실제 물체까지의 거리를 측정하도록 구성될 수 있다. 보다 상세하게는, 카메라(120)는 상술된 거리의 측정을 위해 ToF 카메라(Time of Flight camera)로 이루어질 수 있다. ToF 카메라는 특정 대역의 파장을 갖는 빛만을 소정크기의 영역에 조사하고 이로부터 반사되는 빛을 수신하는 카메라이다. ToF 카메라는 물체의 소정영역으로부터 반사되어 센서의 각 픽셀에 수신된 빛의 상대 위상 차이를 검출하여 상기 물체와 ToF 카메라사이를 왕복한 시간을 측정하며, 측정된 시간으로부터 상기 물체까지의 거리를 측정할 수 있다.
또한, 카메라(120), 즉 ToF 카메라는 계속적으로 빛을 조사하고 반사된 빛을 수신할 수 있으므로, 카메라(120)에 대한 어떤 물체의 연속적인 거리변화를 측정할 수 있다. 또한, 같은 이유로 카메라(120)는 소정 물체의 연속적인 거리변화의 측정에 의해 소정 물치의 모션도 감지할 수 있다. 일반적으로 가상의 정보 또는 객체와의 인터액션은 사용자의 손 또는 다른 입력도구의 모션, 즉 제스쳐를 통해 이루어질 수 있다. 따라서, 카메라(120)는 이와 같은 모션(즉, 제스쳐)로 이루어지는 증강현실정보에 대한 입력을 감지할 수 있다.
프로젝터(100)는 또한 카메라(120)에 추가적으로 보조 카메라(130)를 포함할 수 있다. 보조 카메라(130)는 거리측정 및 입력감지를 위한 카메라(120)와는 달리 입력장치로서 프로젝터(100)주위의 실제 환경에 대한 시각적 정보, 즉 영상을 획득하도록 구성될 수 있다. 보조 카메라(130)는 예를 들어, 가시광선영역의 영상, 즉 일반적인 컬러영상을 획득하도록 구성되는 가시영상(visiable image) 카메라를 포함할 수 있다. 또한, 보조 카메라(130)는 비가시광선영역, 예를 들어 적외선 또는 열 영상을 획득하도록 구성되는 비가시영상 카메라를 포함할 수 있으며, 이러한 비가시영상 카메라는 단순한 주변환경의 정보의 획득에 추가적으로 야간 감시를 위해 사용될 수 있다. 프로젝터(100)에 있어서, 이와 같은 보조 카메라(130)에 상대적으로, 카메라(120)는 메인 카메라로 불릴 수 있다. 또한, 카메라 및 보조 카메라(120,130)는 프로젝터(100)의 각각 제 1 및 제 2 카메라로 불릴 수도 있다.
프로젝터(100)는 또한, 영상정보의 입력장치인 카메라들(120,130)에 추가적으로 다른 형태의 정보를 획득하도록 구성되는 입력장치(130a)를 더 포함할 수 있다. 입력장치(130a)는 오디오 신호 입력을 위한 마이크로폰(microphone)과 같은 오디오 입력장치를 포함할 수 있다. 오디오 입력장치를 통해 수집된 오디오 데이터는 인식과정을 거쳐 사용자의 명령으로서 수신될 수 있다. 또한, 입력장치(130a)는 물리적인 스위치 및 키와 디스플레이상에 제공되는 가상 키와 같은 사용자로부터 정보 및 명령을 직접 입력받도록 구성되는 사용자 입력장치를 포함할 수 있다.
프로젝터(100)는 또한 프로젝터(100)를 외부장치 및 네트워크에 통신가능하게 연결시키는 통신장치(140)을 포함할 수 있다. 통신장치(140)는 유선 통신장치 및 무선 통신장치를 포함할 수 있다. 유선 통신장치는 통상적인 이더넷 장치들을 포함할 수 있다. 또한, 무선통신장치는 방송 수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈을 포함할 수 있다. 이와 같은 통신장치(140)를 이용하여 프로젝터(100)는 외부장치 및 네트워크로부터 증강현실정보를 수신할 수 있다. 또한, 프로젝터(100)는 외부장치를 제어하기 위해 증강현실에 주어진 입력에 따라 통신장치(140)를 통해 상기 외부장치에 제어정보 또는 신호를 전송할 수 있다.
프로젝터(100)는 또한 영상출력장치인 투사모듈(110)에 추가적으로 다양한 정보를 출력하도록 구성되는 출력장치(150)를 더 포함할 수 있다. 출력장치(150)는 시각, 청각 또는 촉각과 관련된 다양한 출력을 발생시키며, 예를 들어, 영상을 출력하는 디스플레이, 스피커와 같은 오디오 출력장치, 진동을 발생시키는 진동장치, 빛을 발산하는 광원등을 포함할 수 있다. 디스플레이는 프로젝터(100)의 몸체에 제공될 수 있으며, 투사되는 증강현실정보를 추가적으로 표시하거나 프로젝터(100)의 작동과 관련된 정보, 예를 들어 작동제어를 위한 인터페이스를 표시할 수 있다. 디스플레이는 터치 센서를 포함하여 터치 스크린을 구현할 수 있으며, 사용자 입력장치로서 가상 인터페이스에 대한 입력을 직접적으로 수신할 수 있다.
프로젝터(100)는 또한, 입력장치로서 카메라(120,130) 및 입력장치(130a)에서 획득되는 정보 이외에 주변환경에 대한 정보를 수신하도록 구성되는 감지장치(160)를 포함할 수 있다. 이와 같은 정보를 감지하도록 감지장치(160)는 다양한 센서들로 이루어질 수 있다. 예를 들어, 감지장치(160)는 근접센서(proximity sensor), 조도 센서(illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor), 환경 센서(예를 들어, 기압센서, 습도센서, 온도센서, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등)등을 포함할 수 있다. 이러한 감지장치(160)에서 감지된 정보를 바탕으로 프로젝터(100)는 다양한 증강현실정보를 제공할 수 있다.
프로젝터(100)는 또한, 이의 몸체를 다양한 방향으로 움직이도록 구성되는 구동장치(170)를 포함할 수 있다. 예를 들어, 구동장치(170)는 동력을 발생시키도록 구성되는 모터와 같은 액츄에이터를 포함할 수 있다. 구동장치(170)는 또한, 움직이는 몸체의 일부를 안정적으로 지지하는 베어링과 같은 지지장치를 포함할 수 있다. 이러한 구동장치(170)는 실제 프로젝터(100)의 구조를 참조하여 나중에 더 상세하게 설명된다.
제어장치(180)는 프로젝터(100)내에 포함되어 이의 작동을 제어하도록 구성될 수 있다. 제어장치(180)는 일 예로서 기판 및 상기 기판상에 장착된 프로세서 및 관련 전자부품들로 이루어질 수 있으며, 도시된 바와 같이, 프로젝터(100)의 구성요소들과 전기적으로 연결될 수 있다. 따라서, 제어장치(180)는 의도된 작동을 위해 이들 구성요소들을 전체적으로 제어할 수 있다. 이와 같은 제어는 프로젝터(100)내에 설치된 여러가지 애플리케이션들을 실행함으로써 수행될 수 있다. 일 예로서, 제어장치(180)는 수신하거나 직접 획득한 정보들을 증강현실정보로서 가공할 수 있으며, 이러한 가공을 위한 여러가지 애플리케이션들이 사용될 수 있다. 제어장치(180)의 보다 구체적인 작동은 후술되는 제어방법에서 보다 상세하게 설명된다.
또한, 메모리(180a)는 프로젝터(100)내에 포함되어 프로젝터(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(180a)는 프로젝터(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 프로젝터(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 또한, 메모리(180a)는 외부에서 수신하거나 프로젝터(100)에서 직접 획득된 다양한 증강현실정보를 저장할 수 있다.
또한, 인터페이스부(180b)는 통신장치(140)에 부가적으로 프로젝터(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(180b)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port)등을 포함할 수 있다.
끝으로, 전원장치(190)는 제어장치(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 프로젝터(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원장치(190)는 충전가능한 배터리를 포함할 수 있다. 이러한 충전 가능한 배터리에 의해 프로젝터(190)는 독립적인 전원을 가질 수 있으며, 실제 환경내의 여러위치로 편리하게 이동될 수 있다.
상술된 프로젝터(100)의 일반적인 구성에 뒤이어, 관련된 도면을 참조하여 프로젝터(100)의 구조가 상세하게 설명된다. 이와 관련하여, 도 2는 본 출원의 프로젝터를 나타내는 정면도이다. 도 3은 도 2의 A-A 선을 따라 얻어진 프로젝터의 단면도이며, 도 4는 도 2의 A-A 선에 따른 방향에 수직한 방향에서 얻어진 프로젝터의 단면도이다. 도 5는 프로젝터의 운동을 보여주는 사시도이며, 도 6은 도 2의 B-B 선에 따라 얻어지는 프로젝터의 단면도이다. 끝으로, 도 7은 프로젝터와 카메라의 배치 및 배치에 따른 프로젝터의 투사영역과 카메라의 감지영역사이의 기하학적 관계를 보여주는 개략도이다. 도 8은 배치에 따른 프로젝터의 투사영역과 카메라의 감지영역사이의 기하학적 관계를 보여주는 평면도이다.
먼저, 도 2-도 6에 도시된 바와 같이, 프로젝터(100)는 전체적으로 컴팩트한 몸체(101-103)을 갖도록 구성된다. 또한, 앞서 설명된 바와 같이, 프로젝터(100)는 내부에 독립적이고 재충전 가능한 전원, 즉 배터리(190)를 가질 수 있다. 따라서, 프로젝터(100)는 기본적으로 건물에 고정된 전원, 예를 들어 전기 아웃렛에 구속되지 않고 자유롭게 필요에 따라 이동되도록 구성될 수 있다.
이와 같은 프로젝터(100)는 몸체로서 베이스(101)를 포함할 수 있다. 베이스(101)는 주변환경내의 소정 표면상에 배치될 수 있으며, 프로젝터(100) 전체를 안정적으로 지지할 수 있다.
프로젝터(100)는 또한, 베이스(101)에 수직축을 중심으로 회동가능하게 제공되는 제 1 몸체(102)를 포함할 수 있다. 제 1 몸체(102)는 베이스(101)의 상면상에 배치될 수 있다. 제 1 몸체(102)는 중공의 몸체를 가지며, 이에 따라 이의 내부에 다양한 부품들을 수용하는 공간을 형성할 수 있다. 또한, 제 1 몸체(102)는 구동부(170)로써 이의 내부공간내에 고정되는 모터(102a)를 포함할 수 있다. 모터(102a)는 프로젝터(100)의 수직축 또는 중심축을 따라 배치되며, 모터(102a)의 구동축은 소정 표면상에 움직이지 않게 배치되는 베이스(101)의 보스(101a)에 고정될 수 있다. 따라서, 모터(102a)의 구동축이 회전하면, 움직이지 않는 베이스(101)에 상대적으로 모터(102a)의 몸체와 이와 결합된 제 1 몸체(102)가 수직축을 중심으로 회전할 수 있다.
또한, 프로젝터(100)는 상기 제 1 몸체(102)에 수평축을 중심으로 회동가능하게 제공되는 제 2 몸체(103)를 포함할 수 있다. 제 2 몸체(103)는 제 1 몸체(102)의 상부에 배치되며, 제 1 몸체(102)와 마찬가지로 다양한 부품을 수용하는 공간을 형성하도록 중공의 몸체를 가질 수 있다. 또한, 제 2 몸체(103)는 도 3 및 도 4에 잘 도시된 바와 같이, 서로 소정간격으로 이격되며 아랫방향(downwardly)으로 연장되는 한 쌍의 레그(leg)(103a)를 포함할 수 있다. 모터들(103b)이 상기 레그들 (103a)에 각각 배치되며, 프로젝터(100)의 수평축을 따라 배향될 수 있다. 이들 모터들(103b)의 구동축들은 인접한 제 1 몸체(102)의 일부에 결합되며, 모터들(103b)의 몸체들은 레그들(103a)에 각각 결합될 수 있다. 따라서, 모터들(103b)의 구동축들이 회전하면, 베이스(101)에 결합된 제 1 몸체(102)에 상대적으로 모터들(103b)의 몸체와 이와 결합된 제 2 몸체(103)(즉, 레그들(103a))가 수평축을 중심으로 회전할 수 있다.
따라서, 앞서 설명된 구성으로 인해 프로젝터(100), 즉 이의 몸체는 도 5에 도시된 바와 같이, 다양한 방향으로 이동할 수 있으며, 이에 따라 주변환경의 어떠한 부위에도 증강현실정보를 제공할 수 있다.
또한, 이러한 프로젝터(100)에서, 제 2 몸체(103)가 가장 여러방향으로 이동할 수 있으며, 도 2에 도시된 바와 같이, 실제적으로 증강현실정보를 제공하는 투사모듈(110)과 카메라(120)가 상기 제 2 몸체(103)에 배치될 수 있다. 또한, 같은 이유로, 보조 카메라(130) 및 감지장치(160)도 제 2 몸체(103)에 배치될 수 있다. 또한, 적어도 외부에 노출될 필요가 있는 출력장치(150) 및 인터페이스(180b)는 제 1 몸체(102)에 배치될 수 있으며, 통신장치(140), 메모리(180a) 및 배터리(190)는 제어장치(180)와 함께 제 1 몸체(102)의 내부에 배치될 수 있다.
보다 상세하게는, 앞서 간략하게 설명한 바와 같이, 투사모듈(110)은 프로젝터(100)로부터 소정거리로 이격된 실제 물체의 표면상에 증강현실정보로서 소정크기의 영상을 투사하도록 구성될 수 있다. 따라서, 투사모듈(110)에서 증강현실정보가 투사되는 실제 물체 표면상의 영역은 도 7 및 도 8에 도시된 바와 같이, 투사영역(A)으로 정의될 수 있다. 또한, 프로젝터(100)(실제적으로,투사모듈(110))과 투사영역(A)까지의 거리는 투사거리로 정의될 수 있다. 이와 같은 투사영역(A)내에 투사모듈(110)은 증강현실정보로서, 실제 물체에 관련된 가상 정보 및 상기 실제 물체에 관련된 가상 객체의 영상을 투사할 수 있다. 또한, 투사모듈(110)은 가상 정보 및 객체 뿐만 아니라 실제 물체를 제어하기 위한 가상 인터페이스를 투사영역(A)내에 투사할 수 있다.
또한, 카메라(120)는 앞서 이미 간략하게 설명한 바와 같이, 물체, 즉 이에 형성되는 투사영역(A)까지의 거리를 측정하며, 상기 측정된 거리에서 사용자의 손 및 다른 입력도구에 의해 투사영역(A)상의 증강현실정보에 주어지는 모션을 입력으로써 감지할 수 있다. 이러한 거리 측정 및 입력감지를 위해 카메라(120)는 일 예로서 ToF 카메라로 이루어질 수 있으며, 이러한 ToF 카메라의 구성이 예시적으로 도 6에 도시된다. 보다 상세하게는, 도 6을 참조하면, 카메라(120)는 소정의 빛을 조사하도록 구성되는 광원(121)을 포함할 수 있다. 또한, 카메라(120)는 외부의 빛을 수신하여 전기적 신호를 발생시키도록 구성되는 센서(122)를 포함할 수 있다. 더 나아가, 카메라(120)는 카메라 외부의 빛을 센서(122)로 안내하도록 구성되는 광학계(123)을 포함할 수 있다. 이들 카메라(120)의 부품들(121-123)은 소정 크기의 하우징(124)내에 수용되며, 모듈로서 제 2 몸체(103)내에 형성된 챔버(chamber)(103c)내에 배치될 수 있다. 광원(121)은 실제적으로 투사영역(A)이 형성된 물체를 향해 소정의 빛, 예를 들어 적외선을 도 6에 도시된 바와 같이 조사할 수 있다. 조사된 빛은 물체에 의해 카메라(120)로 반사되며, 반사된 빛은 광학계(123)을 통해 센서(122)에서 수신 및 감지될 수 있다. 카메라(120)는 이러한 빛이 이동한 시간을 측정하고 측정된 시간으로부터 빛의 이동속도에 기초하여 물체까지의 거리, 즉 투사거리를 산출 및 측정할 수 있다. 또한, 같은 원리에 따라, 거리의 변화를 측정함으로써 투사영역(A)상에 주어지는 입력, 즉 사용자의 손 및 다른 입력도구의 모션을 감지할 수 있다. 앞서 설명된 바와 같이, 광원(121)은 연속적으로 빛을 조사하므로, 투사영역(A)까지의 거리 및 상기 투사영역(A)상의 모션도 계속적으로 감지될 수 있다. 따라서, 카메라(120)는 실시간적으로 투사영역(A)까지의거리 및 투사영역(A)에서의 입력을 감지할 수 있다. 이러한 이유로, 물체의 거리가 변화되거나 물체 표면상의 불균일로 인해 미세한 거리변화가 발생된다 하더라도 이러한 거리변화들을 카메라(120)는 실시간으로 정확하게 감지하며, 이와 같은 정확한 거리감지 및 측정에 기초하여 투사영역(A)상의 입력도 정확하게 감지될 수 있다.
한편, 도 7 및 도 8에 도시된 바와 같이, 카메라(120)는 광학계(123)의 채용으로 인해, 입력이 감지될 수 있는 제한된 감지영역(B)을 가질 수 있다. 투사영역(A)상의 입력을 감지하기 위해서는 감지영역(B)은 상기 투사영역(A)과 겹쳐지게 배치될 필요가 있다. 이와 같은 투사영역(A)과 감지영역(B)의 배열 또는 배치를 위해, 투사모듈(110)과 카메라(120)는 서로 물리적으로 인접하게 배치될 수 있다. 예를 들어, 도 2-도 5에 도시된 바와 같이, 투사모듈(110)과 카메라(120)는 서로 제 2 몸체(103)내에 인접하게 배치될 수 있다. 또한, 같은 이유로, 투사모듈(110)과 카메라(120)는 동축상에 배치될 수 있다. 동축상의 배치는 투사영역(A)과 감지영역(B)을 일렬로 배열할 수 있으므로, 이들 영역(A,B)의 정렬에 유리할 수 있다. 보다 상세하게는, 도 7에 도시된 바와 같이, 투사모듈(110)(정확하게는 이의 광학계) 및 카메라(120)(정확하게는 이의 광학계(123))는 동일 수직축상에 서로 인접하게 배열될 수 있다. 다른 한편, 같은 이유로, 투사모듈(110) 및 카메라(120)는 동일 수평축상에 서로 인접하게 배열될 수도 있다. 또한, 도 7에 도시된 바와 같이, 투사모듈(110)의 광학축(O)은 수평축 또는 수평면(H)로부터 카메라(120)를 향해 소정각도로 틸트(tilt)될 수 있다. 예를 들어, 도시된 바와 같이, 카메라(120)가 투사모듈(110)의 위쪽에 배치되므로, 투사모듈(110)의 광학축(O)은 수평축(H)으로부터 위쪽으로(upwardly) 틸트될 수 있다. 또한, 투사모듈(110)의 광학축(O)을 따라 영상이 투사되므로, 투사모듈(110)의 투사축(O)이 카메라(120)를 향해 틸트된다고도 설명될 수 있다. 이와 같은 틸트로 인해, 투사모듈(110)의 투사영역(A)도 카메라(120)의 감지영역(B)을 향해 틸트될 수 있으며, 이들 영역들(A,B)을 서로 겹쳐지게 정렬하는데 있어서 매우 유리할 수 있다.
한편, 투사모듈(110) 및 카메라(120)는 둘 다 광학계를 사용하므로 도 7에 도시된 바와 같이, 소정의 화각(FOV: Field of View)을 갖는다. 화각들은 투사모듈(110) 및 카메라(120)로부터 소정각도를 갖도록 형성되므로, 투사모듈(110) 및 카메라(120)로부터 거리가 변화함에 따라 화각들도 변화하게 된다. 따라서, 이와 같은 화각들내에 형성되는 투사영역(A) 및 감지영역(B)의 크기들도 도시된 바와 같이, 투사모듈(110) 및 카메라(120)로부터의 거리에 따라 변화하게 된다. 또한, 앞서 설명된 바와 같이, 투사모듈(110) 및 카메라(120)는 서로 물리적으로 이격되게 배치되므로, 이들의 광학축들 및 화각들도 소정거리로 서로 이격된다. 따라서, 화각들내에 형셩되는 투사영역(A) 및 감지영역(B)들도 서로 소정간격으로 이격될 수 있다. 이와 같은 거리에 따른 영역들(A,B)의 크기변화 및 영역들(A.B)사이의 거리(spacing)으로 인해, 도 7(b)에 도시된 바와 같이, 프로젝터(100)와 물체사이의 거리에 따라 영역들(A,B)이 제공된 증강현실에 대한 입력을 정확하게 수신하도록 정렬되지 않을 수 있다. 예를 들어, 도 7(b) 및 도 8(a)를 참조하면, 제 1 위치(I)에서, 비록 감지영역(B)내에 투사영역(A)과 겹쳐지지 않는 사영역(dead space)(B1)이 존재하기는 하나, 투사영역(A)은 감지영역(B)내에 완전하게 포함된다. 실제적으로 사용자는 증강현실정보를 포함하는 투사영역(A)에만 소정의 입력을 제공한다. 따라서, 이와 같이 감지영역(B)이 투사영역(A)을 완전하게 포함하는 경우, 감지영역(B)의 사영역(B1)에 상관없이 투사영역(A)내에 주어지는 모든 입력은 안정적으로 감지될 수 있다. 반면, 도 7(b) 및 도 8(b)를 참조하면, 제 1 위치(I) 보다 프로젝터(100)에 더 가까운 제 2 위치(I)에서, 앞서 설명된 투사모듈(110)과 카메라(120)의 화각들 사이의 기하학적 관계로 인해, 투사영역(A)내에 감지영역(B)와 겹쳐지지 않는 사영역(A1)이 발생될 수 있다. 따라서, 사영역(A1)내에 소정의 입력이 주어지는 경우, 카메라(120)는 상기 입력을 감지할 수 없다.
이러한 이유들로, 프로젝터(100)는 주어진 입력을 수신하기 위해, 투사영역(A)에 대한 감지영역(B)의 상대적 위치에 기초하여, 감지영역(B)을 투사영역(A)와 정렬시키도록 구성될 수 있다. 먼저, 도 2-도 5 및 도 6을 참조하면, 감지영역(B)의 위치를 조절할 수 있도록 카메라(120)는 투사모듈(110)에 대해 상대적으로 이동가능하게 프로젝터(100)에 설치될 수 있다. 카메라(120)와 투사모듈(110)이 수직축상에 배치되므로 감지영역(B)을 수평축을 중심으로 회동시킴으로써 상기 감지영역(B)은 투사영역(A)과 용이하게 정렬될 수 있다. 따라서, 카메라(120)는 프로젝터(100) 또는 이의 몸체의 수평축을 중심으로 투사모듈(110)에 대해 상대적으로 회동가능하게 제 2 몸체(103)에 설치될 수 있다. 반면, 투사모듈(110)은 정렬의 기준이 되는 투사영역(A)이 이동되지 않도록 제 2 몸체(103)에 이동되지 않게(immovably) 설치될 수 있다. 그러나, 제 2 몸체(103) 자체가 제 1 몸체(102)에 대해 이동가능하므로, 투사모듈(110)은 제 1 몸체(102)에 대해서는 이동가능하게 구성될 수 있다.
보다 상세하게는, 회동가능한 구성을 위해, 도 6에 도시된 바와 같이, 카메라(120)는 하우징(124)의 양 측부로부터 수평방향을 연장되는 회전축(125)을 가질 수 있다. 상기 회전축(125)중 어느 하나는 인접한 제 2 몸체(103)의 벽면에 회전가능하게 지지될 수 있다. 또한, 제 2 몸체(103)는 이의 내부에 배치된 모터(103d)를 포함할 수 있으며, 모터(103d)이 구동축은 회전축(125)중 다른 하나와 결합될 수 있다. 따라서, 제어장치(180)가 모터(103d)의 구동축을 회전시키면, 하우징(124)이 회전하며, 상기 하우징(124)과 함께 카메라(120)의 내부부품들(121-123)도 투사모듈(110)을 향해 회동할 수 있다. 즉, 카메라(120)는 몸체의 수평축을 중심으로 투사모듈(110) 쪽으로 소정각도만큼 회동될 수 있다. 이러한 회동에 의해 카메라(120)의 감지영역(B)도 투사영역(A)쪽으로 소정거리만큼 이동할 수 있다. 도 8(b)에 점선으로 표시된 바와 같이, 이동된 감지영역(B)은 도 8(a)에 도시된 제 1 지점(I)에서와 마찬가지로, 제 2 지점(II)에서도 투사영역(A)을 완전하게 포함할 수 있다. 따라서, 감지영역(B)은 투사영역(A)과 서로 완전하게 겹쳐지도록 정렬될 수 있으며, 투사영역(A)내의 증강현실정보에 대한 모든 입력은 카메라(120)에 의해 안정적으로 감지될 수 있다.
이와 같은 영역들(A.B)의 정렬 및 이에 기초한 입력의 수신이 관련된 도면을 참조하여 다음에서 보다 상세하게 설명된다. 도 9는 본 출원의 프로젝터에서 입력을 수신하는 방법을 보여주는 순서도이다. 입력의 수신단계들을 설명함에 있어서, 관련된 도 7 및 도 8도 함께 참조된다.
다음에서 설명되는 수신방법과 관련된 구성요소들의 작동 및 기능들은 제어방법의 특징뿐만 아니라 모두 관련된 해당 구조적 구성요소들의 특징으로도 간주될 수 있다. 특히, 제어장치(180), 즉 프로세서는 제어기(controller) 및 제어부(controlling unit)와 같은 다양한 명칭으로 불릴 수 있으며, 후술되는 방법들을 수행하기 위해 프로젝터(100)의 모든 구성요소들을 제어할 수 있다. 따라서, 제어장치(180)가 실질적으로 본 출원에서 다음에 설명되는 모든 방법 및 모드들을 실질적으로 제어하며, 이에 따라 이후 설명될 모든 단계들은 제어장치(180)의 특징이 될 수 있다. 이러한 이유로, 비록 제어장치(180)에 의해 수행되는 것으로 설명되지 않는다 하더라도, 다음의 단계들 및 이들의 세부적인 특징들은 모두 제어장치(180)의 특징으로 이해될 수 있다.
투사영역(A)내의 증강현실정보에 대한 입력을 감지하기 위해, 제어장치(180)는 먼저 프로젝터(100)로부터 물체까지의 거리를 측정할 수 있다(S1). 측정단계(S1)에서, 제어장치(180)는 실제적으로 투사모듈(110)이 증강현실정보를 투사하는 물체의 표면, 즉 투사영역(A)까지의 거리를 카메라(120)를 이용하여 측정할 수 있다. 카메라(120)를 이용한 거리 측정은 이미 앞서 설명되었으므로, 이에 대한 상세한 설명은 생략된다.
이 후, 제어장치(180)는 측정된 거리에서의 투사영역(A)에 대한 감지영역(B)의 상대적인 위치를 결정할 수 있다(S2). 앞서 설명된 바와 같이, 투사모듈(110)과 카메라(120)는 광학계의 사용에 의해 소정의 화각들을 각각 갖는다. 이들 화각들은 투사모듈(110)과 카메라(120)의 변하지 않는 고유한 특성값들이며, 메모리(180a)내에 미리 저장될 수 있다. 제어장치(180)는 저정된 화각값들 및 도 7에 도시된 기하학적 관계에 기초하여, 소정거리에서 형성되는 영역들(A,B)의 크기들 및 이들 영역들(A,B)의 상대적 위치들을 산출할 수 있다.
상기 결정단계(S2)이후, 제어장치(180)는 투사 및 감지 영역들(A,B)의 정렬을 위한 감지영역(B)의 이동거리를 산출할 수 있다(S3). 앞서 설명된 바와 같이, 화각 및 물리적 간격으로 인해, 프로젝터(100)에 대한 물체의 거리에 따라 투사영역(A)의 적어도 일부가 감지영역(B)내에 포함되지 않을 수 있다. 투사영역(A)과 감지영역(B)의 불일치 또는 비정렬은 감지영역(B)을 투사영역(A)쪽으로 이동시킴으로서 해소될 수 있으며, 이러한 이동을 위해서는 감지영역(B)의 적절한 이동거리가 미리 결정될 필요가 있다.
이러한 이동거리 산출단계(S3)에 있어서, 먼저 제어장치(180)는 투사영역(A)와 감지영역(B)의 이격거리를 산출할 수 있다(S3a). 상기 산출단계(S3a)에서, 제어장치(180)는 도 8(b)에 도시된 바와 같이, 감지영역(B)의 어느 하나의 수평엣지(edge)(B2)와 이에 인접한 투사영역(A)의 수평엣지(A2)사이의 수직거리를 측정할 수 있다. 보다 상세하게는, 제어장치(180)는 사영역(A1)의 수평엣지(A2)와 이에 이격되며 인접한 감지영역(B)의 수평엣지(B2)사이의 수직거리를 측정할 수 있다. 사영역(A1)의 어느 하나의 수평엣지와 인접하는 감지영역(B)의 수평엣지(B2)는 실제적으로 사영역(A1)의 다른 하나의 수평엣지에 해당할 수 있다. 따라서, 제어장치(180)는 사영역(A1)의 서로 대향되는 수평엣지들사이의 수직거리를 측정할 수 있다.
이 후, 제어장치(180)는 산출된 이격거리에 따른 카메라(120)의 회동각도를 산출할 수 있다(S3b), 산출단계(S3b)에서, 제어장치(180)는 카메라(120)의 화각 및 투사영역(A)까지의 거리에 기초하여, 이격된 거리만큼 감지영역(B)을 이동시키기 위해 요구되는 카메라(120)의 회동 각도를 산출할 수 있다.
상기 산출단계(S3)이후, 제어장치(180)는 영역들(A,B)의 상대적 위치들 및 요구되는 이동거리에 기초하여 상기 영역들(A,B)를 정렬시킬 수 있다(S4). 먼저, 제어장치(180)는 제 2 몸체(103)의 모터(103d)를 구동시켜, 카메라(120)을 수평축을 중심으로 투사모듈(110) 쪽으로 산출된 각도만큼 회동시킬 수 있다(S4a). 이러한 회동에 의해 감지영역(B)은 투사영역(A)쪽으로 산출된 이동거리만큼 이동할 수 있으며, 도 8(b)에 점선으로 표시된 바와 같이, 이동된 감지영역(B)은 투사영역(A)을 완전하게 포함할 수 있다(S4b). 따라서, 상기 영역들(A,B)은 서로 완전하게 겹쳐지도록 정렬될 수 있으며, 카메라(120)는 투사영역(A)내의 모든 입력을 감지영역(B)을 통해 감지할 수 있다. 또한, 추가적으로 도 6에 도시된 바와 같이, 카메라(120)의 센서(122) 및 광학계(123)은 수평방향으로 미세하게 이동될 수 있다. 이러한 이동에 따라 감지영역(B)도 도 8(a)에 점선으로 도시된 바와 같이, 미세하게 수평방향으로 쉬프트(shift)될 수 있다. 따라서, 감지영역(B)이 투사영역(A)과 수직방향으로 정렬된 후에도 감지영역(B) 및 투사영역(A)의 정렬은 보다 정확하게 조절될 수 있다.
상기 정렬단계(S4) 이후, 제어장치(180)는 카메라(120)을 이용하여 측정된 거리에서 사용자 또는 소정의 입력도구에 의해 주어지는 입력, 즉 모션 또는 제스쳐를 감지할 수 있다(S5). 또한, 제어장치(180)는 감지된 입력(즉, 모션 또는 제스쳐)에 기초하여 상기 입력, 정확하게는 입력된 명령을 인식할 수 있다(S6).
한편, 앞서 설명된 프로젝터(100)는 투사영역(A)와 감지영역(B)을 항상 정렬시켜 정확하게 증강현실정보에 대한 입력을 수신할 수 있다. 그러나, 보다 향상된 기능을 제공하기 위해서는 프로젝터(100)는 이의 구조 및 특성을 고려한 적절한 제어에 뒷받침될 필요가 있다. 또한, 프로젝터(100)와 같은 스마트 기기는 의도된 기능을 구현함에 있어서 사용자와의 상호작용을 기본적으로 수반한다. 따라서, 다양한 제어의 최적화는 사용자의 사용환경 및 인터페이스(user environment and user interface)의 향상을 포함하여 의도된 기능적 향상을 보다 효과적이고 효율적으로 달성할 수 있으며, 더 나아가 사용의 용이함 및 편리함등과 같은 프로젝터(100)에 대한 사용자의 경험(user experience)도 함께 현저하게 향상시킬 수 있다. 이와 같은 이유로, 프로젝터(100)의 전체적인 작동에 대한 제어방법이 개발되었으며, 다음에서 도 1-도 9에 추가적으로 관련된 도면들을 참조하여 설명된다. 특별히 반대되는 설명이 없는 한 도 1-도 9 및 이에 대한 설명들은 다음의 제어방법의 설명 및 도면들에 기본적으로 포함되고 참조된다.
도 10은 본 출원의 프로젝터의 작동을 제어하는 방법을 보여주는 순서도이다. 도 11은 주방에 제공된 본 출원의 프로젝터의 일 예를 보여주는 개략도이며, 도 12는 거실에 제공된 본 출원의 프로젝터의 일 예를 보여주는 개략도이다.
먼저 프로젝터(100), 즉 이의 제어장치(180)는 실제 주변환경을 주기적으로 스캔하고 인식할 수 있다(S10). 이러한 인식단계(S10)에서 제어장치(180)는 구동부(170)를 작동시켜, 제 1 및 제 2 몸체(102,103)를 주변환경에 균일하게 배향되도록 이동시킬 수 있다. 이러한 제 1 및 제 2 몸체(102,103)의 이동중에 제어장치(180)는 카메라들(120,130)을 사용하여 주변환경의 영상을 획득하고 획득된 영상을 분석하여 주변환경내의 물체들을 인식할 수 있다. 또한, 제어장치(180)는 인식된 물체들에 대한 정보를 통신장치(140)를 이용하여 네트워크를 통해 또는 해당 물체들과의 직접적인 통신을 통해 획득할 수 있다. 다른 한편, 제어장치(180)는 카메라들(120,130) 뿐만아니라 입력장치(130a) 및 감지장치(160)를 통해 해당 물체들로부터 직접적으로 획득할 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 프로젝터(100)가 주방에 배치되는 경우, 제어장치(180)는 획득된 영상을 통해 조리기기 예를 들어, 스토브를 인식하고, 인식된 스토브상의 조리되는 음식 또는 스토브의 온도를 스토브와의 통신을 통해 획득할 수 있다. 또한, 제어장치(180)는 그와 같은 온도를 카메라들(120,130)의 열영상 또는 감지장치(160)의 센서를 이용하여 직접 감지할 수도 있다. 또한, 도 12에 도시된 바와 같이, 프로젝터(100)가 거실에 배치되는 경우, 제어장치(180)는 획득된 영상을 통해 에어콘(D1) 및 온도조절기(D2)를 인식할 수 있으며, 거실내의 온도를 이들 에어콘(D1) 및 온도 조절기(D2)로부터 수신하거나 카메라들(120,130) 또는 감지장치(160)를 이용하여 직접 감지할 수 있다. 이와 같이 획득된 정보는 메모리(180a)에 저장될 수 있다. 제어장치(180)는 앞서 설명된 일련의 스캔 및 인식단계(S10)을 소정시간마다 반복적으로 수행하며, 획득된 정보는 메모리(180a)내에 업데이트될 수 있다.
또한, 증강현실정보는 시각적 정보로서 사용자를 위해 제공되는 것이므로, 제어장치(180)는 상술된 스캔 및 인식단계(S10)중에 사용자에 대한 존재여부도 함께 확인할 수 있다(S20). 즉, 제어장치(180)는 카메라들(120,130) 뿐만아니라 입력장치(130a) 및 감지장치(160)에서 획득되는 다양한 정보에 기초하여 사용자가 프로젝터(100) 주변에 존재하는지를 검출할 수 있다.
만일 사용자가 프로젝터(100)주변에서 인식되지 않으면, 제어장치(180)는 증강현실정보이외의 정보, 즉 영상정보이외의 정보를 제공할 수 있다(S20a). 제어장치(180)는 획득된 물체에 대한 정보, 예를 들어, 도 11의 스토브의 온도 또는 도 12의 거실온도를 출력장치(150)를 통해 음성정보로 출력할 수 있다. 또한, 만일 긴급한 상황이 발생하는 경우, 예를 들어, 도 11 및 도 12에서 스토브 온도 또는 거실 온도가 임계값이상으로 급격하게 변화하는 경우, 제어장치(180)는 사용자의 주의를 끌기 위해, 출력장치(150) 및 다른 장치들을 이용하여 경보를 생성할 수 있다.
만일 사용자가 프로젝터(100) 주변에서 인식되는 경우, 제어장치(180)는 인식된 사용자 주변의 물체를 인식하고 인식된 물체에 대한 정보를 획득할 수 있다(S30). 보다 상세하게는, 제어장치(180)는 사용자가 인식되면, 인식된 사용자를 계속적으로 추적할 수 있다. 이러한 추적을 위해 제어장치(180)는 구동부(170)의 구동에 의해 제 1 및 제 2 몸체(102,103)을 이동시켜 카메라(120,130)를 사용자를 향해 배향시킬 수 있다. 또한, 제어장치(180)는 카메라(120,130)의 시야각내에 존재하는 사용자의 주변의 물체를 인식하고 인식된 물체의 정보를 획득할 수 있다. 이러한 인식 및 정보획득은 앞서 스캔 및 인식단계(S10)에서 이미 설명되었으므로, 추가적인 설명은 다음에서 생략된다.
이후, 제어장치(180)는 해당 물체 또는 이의 주변영역에 증강현실정보(R1,R2)를 제공할 수 있다(S40). 보다 상세하게는, 제어장치(180)는 투사모듈(110)을 이용하여 소정의 투사영역(A)에 증강현실정보(R1,R2)를 투사할 수 있다. 이러한 증강현실정보(R1,R2)는 앞서 설명된 바와 같이, 해당 물체 또는 네트워크를 통해 수신될 수 있으며, 프로젝터(100)가 직접적으로 센서등을 이용하여 획득한 정보를 기초하여 만들어질 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 프로젝터(100)는 스토브의 온도와 관련된 가상정보 및 객체를 증강현실정보(R1)로서 투사할 수 있다. 또한, 도 12에 도시된 바와 같이, 프로젝터(100)는 거실의 온도와 관련된 가상정보 및 객체를 증강현실정보(R2)로서 투사할 수 있다.
이 후, 제어장치(180)는 사용자가 제공된 증강현실정보(R1,R2)에 소정의 입력을 제공하는 경우, 그와 같은 입력을 수신할 수 있다(S50). 이러한 입력수신단계(S50)는 앞서 도 9의 단계들(S1-S6)에서 상세하게 설명되었으므로, 이에 대한 추가적인 설명은 다음에서 생략된다.
이 후, 제어장치(180)는 수신된 입력에 따른 동작을 수행할 수 있다(S60). 보다 상세하게는, 제어장치(180)는 수신된 입력에서 주어진 사용자의 명령에 따라 증강현실정보(R1,R2)를 변경할 수 있다. 또한, 제어장치(180)는 사용자의 명령에 따라 통신장치(140)를 통해 해당 물체의 제어를 위한 신호를 전송할 수 있다. 예를 들어, 도 11의 경우, 제어장치(180)는 통신장치(140)를 통한 통신에 의해 스토브의 온도 조절을 위해 이의 작동을 제어할 수 있다. 또한, 도 12의 경우, 제어장치(180)는 통신장치(140)를 통한 통신에 의해 거실의 온도를 조절하기 위해 에어콘(D1) 및/또는 온도 조절기(D2)의 작동을 제어할 수 있다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 출원의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 출원의 등가적 범위 내에서의 모든 변경은 본 출원의 범위에 포함된다.
100: 프로젝터 110: 투사모듈
120: 카메라 130: 보조카메라
101: 베이스 102: 제 1 몸체
103: 제 2 몸체

Claims (13)

  1. 증강현실용 프로젝터로서,
    몸체;
    상기 몸체에 제공되며, 소정 물체상의 투사영역상에 증강현실정보를 투사하도록 구성되는 투사모듈(project module);
    상기 투사모듈에 대해 이동가능하도록 상기 몸체에 제공되며, 상기 프로젝터로부터 상기 투사영역까지의 거리를 측정하는 카메라; 및
    상기 투사모듈 및 상기 카메라를 제어하도록 구성되는 제어장치;를 포함하고,
    상기 제어장치는,
    상기 측정된 거리 및 상기 투사모듈의 화각 특성에 기반하여 상기 투사 영역을 산출하고,
    상기 측정된 거리 및 상기 카메라의 화각 특성에 기반하여 상기 카메라가 사용자의 모션 입력을 감지할 수 있는 감지 영역을 산출하고,
    상기 카메라가 상기 투사 영역 상에서의 상기 모션 입력을 감지할 수 있도록, 상기 산출된 투사영역에 대한 상기 산출된 감지영역의 상대적 위치에 기초하여 상기 감지영역이 상기 투사영역 내에 완전하게 포함되도록 상기 감지영역을 이동시키도록 구성되는 제어장치를 포함하는 증강현실용 프로젝터(projector).
  2. 제 1 항에 있어서,
    상기 투사모듈은 증강현실정보로서 상기 물체에 관련된 가상정보, 상기 물체에 관련된 가상객체, 및 상기 가상 객체를 제어하는 가상인터페이스 중 적어도 하나를 제공하도록 구성되는 증강현실용 프로젝터.
  3. 제 1 항에 있어서,
    상기 투사모듈은 상기 카메라를 향해 틸트(tilt)된 광학축을 갖도록 구성되는 증강현실용 프로젝터.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 카메라는:
    상기 물체를 향해 소정의 빛을 조사하도록 구성되는 광원; 및
    상기 물체로부터 반사되는 상기 조사된 빛을 수신하도록 구성되는 센서를 포함하는 증강현실용 프로젝터.
  6. 제 1 항에 있어서,
    상기 카메라는 상기 몸체의 수직축내에 상기 투사모듈과 함께 배치되는 증강현실용 프로젝터.
  7. 제 1 항에 있어서,
    상기 카메라는 상기 몸체의 수평축을 중심으로 상기 투사모듈에 대해 상대적으로 회동가능하게 구성되는 증강현실용 프로젝터.
  8. 삭제
  9. 제 1 항에 있어서,
    상기 제어장치는 상기 감지영역의 이동을 위해 상기 몸체의 수평축을 중심으로 상기 카메라를 상기 투사모듈 쪽으로 소정각도만큼 회동시키도록 구성되는 증강현실용 프로젝터.
  10. 제 9 항에 있어서,
    상기 각도를 산출하기 위해, 상기 제어장치는:
    상기 투사영역에 대한 상기 감지영역의 상대적 위치를 결정하며,
    결정된 상대적 위치에 기초하여 상기 투사영역과 감지영역사이의 이격거리를 산출하며,
    상기 산출된 이격거리에 기초하여 상기 카메라를 회동시키기 위한 상기 각도를 산출하도록 구성되는 증강현실용 프로젝터.
  11. 제 1 항에 있어서,
    상기 몸체는:
    소정의 표면상에 배치되는 베이스;
    상기 베이스에 이의 수직축을 중심으로 회동가능하게 설치되는 제 1 몸체; 및
    상기 제 1 몸체에 이의 수평축을 중심으로 회동가능하게 설치되는 제 2 몸체를 포함하는 증강현실용 프로젝터.
  12. 제 11 항에 있어서,
    상기 투사모듈 및 상기 카메라는 상기 제 2 몸체에 설치되는 증강현실용 프로젝터.
  13. 제 12 항에 있어서,
    상기 투사모듈은 상기 제 2 몸체에 이동되지 않게(immovably) 고정되며, 상기 카메라는 상기 투사모듈에 대해 상대적으로 회동가능하게 설치되는 증강현실용 프로젝터.
KR1020200014964A 2020-02-07 2020-02-07 증강현실용 프로젝터 및 이의 제어방법 Active KR102677290B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200014964A KR102677290B1 (ko) 2020-02-07 2020-02-07 증강현실용 프로젝터 및 이의 제어방법
US16/841,064 US10939091B1 (en) 2020-02-07 2020-04-06 Projector device for augmented reality and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200014964A KR102677290B1 (ko) 2020-02-07 2020-02-07 증강현실용 프로젝터 및 이의 제어방법

Publications (2)

Publication Number Publication Date
KR20210100958A KR20210100958A (ko) 2021-08-18
KR102677290B1 true KR102677290B1 (ko) 2024-06-21

Family

ID=74683174

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200014964A Active KR102677290B1 (ko) 2020-02-07 2020-02-07 증강현실용 프로젝터 및 이의 제어방법

Country Status (2)

Country Link
US (1) US10939091B1 (ko)
KR (1) KR102677290B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI768672B (zh) * 2021-01-22 2022-06-21 偉詮電子股份有限公司 投影機對焦方法及投影機對焦系統
KR102684112B1 (ko) * 2022-06-23 2024-07-11 페인트팜 주식회사 콘텐츠 투사용 함체
US12242063B2 (en) * 2023-03-20 2025-03-04 Microsoft Technology Licensing, Llc Vertical misalignment correction in binocular display systems
KR102711556B1 (ko) 2024-05-21 2024-09-30 주식회사 케이지테크 프로젝터 제어시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101155761B1 (ko) * 2010-07-09 2012-06-12 한국과학기술원 증강 현실에서 위치 정보를 표시하는 방법 및 장치
JP2017045407A (ja) * 2015-08-28 2017-03-02 キヤノン株式会社 情報処理装置
KR20170044399A (ko) * 2015-10-15 2017-04-25 삼성전자주식회사 영상 투사 장치, 그의 투사 영역 확장 방법 및 비일시적 컴퓨터 판독가능 기록매체
KR101793192B1 (ko) * 2016-01-28 2017-11-02 허상훈 다수의 프로젝터를 이용한 증강현실 구현장치 및 그 방법

Also Published As

Publication number Publication date
US10939091B1 (en) 2021-03-02
KR20210100958A (ko) 2021-08-18

Similar Documents

Publication Publication Date Title
KR102677290B1 (ko) 증강현실용 프로젝터 및 이의 제어방법
US20210185190A1 (en) Compact, low cost vcsel projector for high performance stereodepth camera
US12249036B2 (en) Augmented reality eyewear with speech bubbles and translation
EP2973414B1 (en) Apparatus for generation of a room model
Wilson et al. Steerable augmented reality with the beamatron
US11740313B2 (en) Augmented reality precision tracking and display
US8638398B2 (en) Cursor control method and apparatus
US20140168261A1 (en) Direct interaction system mixed reality environments
US20090033618A1 (en) Unit, an Assembly and a Method for Controlling in a Dynamic Egocentric Interactive Space
US9092136B1 (en) Projected button display system
JP2009050701A (ja) 対話画像システム、対話装置及びその運転制御方法
KR20230029923A (ko) 롤링 셔터 카메라들을 사용하는 시각적 관성 추적
US12072406B2 (en) Augmented reality precision tracking and display
US12019847B2 (en) Contactless interactive interface
US10506290B2 (en) Image information projection device and projection device control method
CN113467731B (zh) 显示系统、信息处理装置和显示系统的显示控制方法
KR102688911B1 (ko) 장착된 외부 전자 장치의 기능과 관련된 동작을 수행하는 전자 장치 및 방법
EP4364396B1 (en) Augmented reality eyewear with x-ray effect
KR20120137050A (ko) 모바일 프로젝터의 화상 보정 방법
US9239635B2 (en) Method and apparatus for graphical user interface interaction on a domed display
JP4538610B2 (ja) 情報入出力システム
US20200302643A1 (en) Systems and methods for tracking
KR20170129496A (ko) 이동 로봇
KR20190137653A (ko) 생체 인증 장치
US20240073387A1 (en) Electronic apparatus and controlling method thereof

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200207

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20230125

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20200207

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240116

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240319

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240618

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240619

End annual number: 3

Start annual number: 1

PG1601 Publication of registration