KR101383982B1

KR101383982B1 - 증강 현실을 위한 장치 및 방법

Info

Publication number: KR101383982B1
Application number: KR1020127028669A
Authority: KR
Inventors: 재형 김; 종철 홍; 홍근 김; 봉기 권
Original assignee: 주식회사 비즈모델라인
Priority date: 2010-08-06
Filing date: 2010-08-06
Publication date: 2014-04-10
Anticipated expiration: 2030-08-06
Also published as: WO2012018149A1; JP2013530462A; KR20130009829A; JP5632073B2; CN102893596B; US9183675B2; CN102893596A; US20120032977A1

Abstract

증강 현실을 위한 방법이 개시된다. 마커를 포함하는 실사 이미지가 생성되고, 마커가 실사 이미지로부터 검출되며, 검출된 마커에 대응하는 오브젝트 이미지가 실사 이미지와 결합되고, 결합된 이미지가 디스플레이된다.

Description

증강 현실을 위한 장치 및 방법{APPARATUS AND METHOD FOR AUGMENTED REALITY}

본 개시물은 증강 현실을 위한 장치 및 방법에 관한 것이다.

증강 현실 (augmented reality: AR) 은 실사 이미지 (real world image) 를 가상 이미지와 결합한다. 실사 이미지는 실제로 관찰가능한 장면, 즉 카메라 또는 다른 광학적 또는 전자적 센서에 의해 캡쳐된 것이다. AR 기술은 또한 마커 (marker) 를 사용하여 실사 이미지를 추적한다. 마커는 통상 블랙 앤드 화이트 패턴과 그 패턴을 둘러싸고 있는 블랙 경계들로 구성된다. 일반적으로, AR 기술은 마커에 대응하는 가상 이미지를 결정하고, 가상 이미지를 마커 상에 중첩시켜 가상 이미지를 실사 이미지와 결합한다. 본 개시에 따르면 AR 을 위한 개선된 장치 및 방법이 제공된다.

일 실시형태에서, 증강 현실을 위한 장치는 마커를 포함하는 실사 이미지를 생성하도록 구성된 촬상 유닛; 및 실사 이미지로부터 마커를 검출하고, 검출된 마커에 대응하는 오브젝트 이미지를 실사 이미지와 결합하여 증강 현실 이미지를 생성하도록 구성된 프로세싱 유닛을 포함한다. 마커는 적어도 2 개의 상이한 마커 이미지들을 포함한다.

다른 실시형태에서, 프로세싱 디바이스는 증강 현실 장치로 제공될 적어도 2 개의 상이한 마커 이미지들을 포함하는 마커를 디스플레이하는 디스플레이 유닛을 포함한다.

다른 실시형태에서, 증강 현실을 위한 방법은 실사 이미지로부터 마커를 검출하는 단계; 검출된 마커에 대응하는 오브젝트 이미지를 검색하는 단계; 및 오브젝트 이미지를 실사 이미지와 결합하여 증강 현실 이미지를 생성하는 단계를 포함한다. 마커는 적어도 2 개의 상이한 마커 이미지즐을 포함한다.

또 다른 실시형태에서, 컴퓨터 판독가능 매체는 적어도 하나의 프로세서에 의해 실행될 때 프로세서로 하여금 증간 현실을 위한 방법을 수행하게 하는 컴퓨터 프로그램을 저장하고 있다. 그 방법은 실사 이미지로부터 마커를 검출하는 단계; 검출된 마커에 대응하는 오브젝트 이미지를 검색하는 단계; 및 오브젝트 이미지를 실사 이미지와 결합하여 증강 현실 이미지를 생성하는 단계를 포함한다. 마커는 적어도 2 개의 상이한 마커 이미지들을 포함한다.

도 1 은 증강 현실을 위한 장치의 예시적인 실시형태를 도시하는 블록도이다.
도 2 는 도 1 에 도시된 증강 현실 장치에 의해 제공된 증강 서비스의 예시적인 실시형태를 도시하는 개략도이다.
도 3 은 증강 현실을 위한 장치의 다른 예시적인 실시형태를 도시하는 블록이다.
도 4 는 마커의 예시적인 실시예를 도시하는 개략도이다.
도 5 는 증강 현실을 위한 방법의 예시적인 실시형태를 도시하는 흐름도이다.
도 6 은 예시적인 실시형태에 따른 증강현실을 위한 스크린의 예시적인 실시예를 도시하는 개략도이다.
도 7 은 본 개시에 따른 증강 현실을 위해 배열된 예시의 컴퓨팅 디바이스를 도시하는 블록도이다.

다음의 상세한 설명에서는, 상세한 설명의 일부를 형성하는 첨부하는 도면에 대해 참조한다. 도면에서, 유사한 기호들은 정황이 달리 말하지 않는한, 유사한 컴포넌트들을 식별한다. 상세한 설명, 도면 및 청구 범위에 기재된 예시적인 실시형태들은 제한하는 것을 의미하지 않는다. 다른 실시형태들이 사용될 수도 있고, 여기에 제공된 청구물의 사상 또는 범위를 벗어나지 않고 다른 변경들이 행해질 수도 있다. 여기에 일반적으로 기술되고 도면들에 도시된 본 개시의 양태들은 여러 상이한 구성들로 배열, 대체, 결합, 분리 및 설계될 수 있고, 상기 상이한 구성들 모두가 여기에서 명시적으로 고려된다.

도 1 은 증강 현실을 위한 장치의 예시적인 실시형태를 도시하는 블록도이다. 도 2는 도 1 에 도시된 증강 현실 장치에 의해 제공되는 증강 서비스의 예시적인 실시형태를 도시하는 개략도이다.

도 1 은 증강 현실 장치 (100) 가 서로 연관된 프로세싱 유닛 (110) 및 촬상 유닛 (120) 을 포함한다는 것을 도시한다. 일 실시형태에서, 증강 현실 장치 (100) 는 데스크탑 컴퓨터, 워크스테이션, 랩탑 컴퓨터, 팜탑 컴퓨터, 울트라 모바일 퍼스널 컴퓨터 (UMPC), 태블릿 퍼스널 컴퓨터 (PC), 개인용 휴대정보단말 (PDA), 웹 패드, 이동 전화, 스마트폰, 전자 다이어리, MP3 플레이어, 휴대용 멀티 미디어 플레이어 (PMP) 등과 같은, 그러나 이들에 제한되지 않는 컴퓨터 또는 휴대용 정보 디바이스로서 구현될 수도 있다.

촬상 유닛 (120) 은 마커 (MK) 를 포함하는 실사 이미지를 캡쳐하고, 실사 이미지를 프로세싱 유닛 (110) 으로 송신하도록 구성될 수도 있다. 예로서, 촬상 유닛 (120) 은 제한 없이 디지털 카메라, 비디오 카메라, 웹캠, 광학 센서 또는 전자 센서 등을 포함할 수도 있다. 일 실시형태에서, 마커 (MK) 는 이하에 상세히 설명될 적어도 2 개의 상이한 마커 이미지들을 포함할 수도 있다.

프로세싱 유닛 (110) 은 촬상 유닛 (120) 으로부터 실사 이미지를 수신하고, 그 실사 이미지를 프로세싱하도록 구성될 수도 있다. 일 실시형태에서, 프로세싱 유닛 (110) 은 제한 없이 에지 매칭, 그레이 스케일 매칭, 및 그레디언트 매칭과 같은 오브젝트 인식 기술을 사용하여 실사 이미지에 포함된 마커 (MK) 를 검출하고, 검출된 마커 (MK) 에 대응하는 오브젝트 이미지를 위해 프로세싱 유닛 (110) 의 기억 장치 또는 데이터베이스 (도시하지 않음) 또는 별도의 기억 장치 또는 데이터베이스 (도시하지 않음) 를 검색할 수도 있다.

다른 실시형태에서, 프로세싱 유닛 (110) 은 마커 (MK) 에 대응하는 오브젝트 이미지 (예를 들어, 가상 그래픽 이미지) 를 촬상 유닛 (120) 으로부터의 실사 이미지와 결합하여 증강 이미지를 생성할 수도 있다. 프로세싱 유닛 (110) 은 단일 칩, 복수의 칩들로서, 또는 복수의 전자 컴포넌트들 상에서 구현될 수도 있고, 제한 없이 전용의 또는 임베딩된 프로세서, 단일 목적 프로세서, 제어기, 주문형 반도체 (ASIC) 등의 형태를 가질 수도 있다.

도 2 는 증강 현실 장치 (100) 가 디스플레이 디바이스 (200) 에 디스플레이되는 마커 (MK) 를 포함하는 이미지를 캡쳐하는 것을 도시한다. 예로써, 디스플레이 디바이스 (200) 는 예를 들어, 액정 디스플레이, 음극선관 (CRT), 유기 발광 다이오드, 플라즈마 디스플레이 모니터 등을 포함할 수도 있다. 일 실시형태에서, 디스플레이 디바이스 (200) 는 마커 (MK) 를 디스플레이할 수도 있다. 디스플레이 디바이스 (200) 는 상술된 바와 같이 컴퓨터와 같은 범용 디바이스, 휴대용 정보 디바이스, 텔레비젼 수상기 등일 수도 있지만, 그것은 마커 (MK) 를 디스플레이하기 위해서만 설계될 수도 있다. 디스플레이 디바이스 (200) 는 마커 (MK) 에 대한 마커 정보를 저장하는 기억 장치 (도시하지 않음) 를 포함할 수도 있고, 마커 정보는 제한 없이 외부 서버 (도시하지 않음) 로부터 공급될 수도 있다. 마커 정보는 제한 없이 예를 들어, 이하에 상세히 기술될, 마커 (MK) 에 포함된 마커 이미지의 형상, 컬러, 또는 디스플레이 간격을 포함할 수도 있다. 마커 정보는 예를 들어 디스플레이 디바이스 (200) 로 출력될 수 있는 그래픽 상호교환 포맷 (GIF) 파일, 플래시 파일 또는 에니메이션 파일에 포함될 수도 있지만, 이들에 제한되지 않는다. 비록 도 2 는 증강 현실 장치 (100) 가 디스플레이 디바이스 (200) 에 디스플레이된 이미지를 캡쳐하는 것을 도시하지만, 증강 현실 장치 (100) 는 제한없이 종이, 플라스틱, 나무, 금속 등과 같은 임의의 다른 것에 디스플레이되거나 인쇄된 마커를 포함하는 이미지를 캡쳐할 수 있다는 것은 통상 기술자에게는 명백하다.

도 3 은 증강 현실을 위한 장치의 다른 예시적인 실시형태를 도시하는 블록도이다. 도 3 은 증강 현실 장치 (300) 가 프로세싱 유닛 (310), 촬상 유닛 (320), 입력 유닛 (330), 저장 유닛 (340), 및 디스플레이 유닛 (350) 을 포함하는 것을 도시한다.

프로세싱 유닛 (310) 및 촬상 유닛 (320) 은 각각 프로세싱 유닛 (110) 및 촬상 유닛 (120) 과 실질적으로 유사하다. 따라서, 프로세싱 유닛 (310) 및 촬상 유닛 (320) 에 대한 상세한 설명은 생략될 것이다.

입력 유닛 (330) 은 외부 사용자 입력으로부터 입력 데이터를 수신하고, 그 입력 데이터를 프로세싱 유닛 (310) 으로 송신한다. 일 실시형태에서, 입력 유닛 (330) 은 터치 센서, 키보드, 및 마우스 중 하나 이상을 포함할 수도 있다. 예를 들어, 사용자는 프로세싱 유닛 (310) 에 의해 프로세싱되어야 하는 애플리케이션들의 시작을 개시하는 문자들을 입력할 수도 있다. 다른 예로서, 사용자는 디스플레이 유닛 (350) 상의 그래픽 사용자 인터페이스 (GUI) 의 옵션들을 선택하기 위해 입력 유닛 (330) 을 사용할 수도 있다.

저장 유닛 (340) 은 실행 코드 및 마커 이미지를 저장하고 프로세싱 유닛 (310) 에 그 코드들 및 데이터를 제공할 수도 있다. 예를 들어, 저장 유닛 (340) 은 마커 이미지 데이터를 저장하고 프로세싱 유닛 (310) 의 요청시 프로세싱 유닛 (310) 으로 명령들 및/또는 데이터를 공급할 수도 있다. 예로써, 마커 이미지 데이터는 마커의 여러 형상들 또는 컬러들에 관한 정보 및/또는 마커의 형상들 또는 컬러들에 대응하는 오브젝트 이미지들 뿐아니라 촬상 유닛 (320) 으로부터의 실사 이미지에 포함된 마커를 검출하기 위해 프로세싱 유닛 (310) 에 의해 사용되는 알고리즘 또는 프로그램을 포함할 수도 있다. 저장 유닛 (340) 의 예들은 제한없이 리드 온리 메모리 (ROM), 랜덤 액세스 메모리 (RAM), 하드 디스크 드라이브, 메모리 카드, PC 카드, CD-ROM, 플로피 디스크 또는 자기 테이프일 수도 있다.

디스플레이 유닛 (350) 은 다양한 정보, 예를 들어 프로세싱 유닛 (310) 에 의해 생성된 증강 현실 이미지를 스크린 또는 모니터에 디스플레이할 수도 있다. 디스플레이 유닛 (350) 은 예를 들어 액정 디스플레이, 음극선관 (CRT), 유기 발광 다이오드, 플라즈마 디스플레이 모니터 등을 포함할 수도 있지만, 이것에 제한되지 않는다.

도 4 는 마커의 예시적인 실시예를 도시하는 개략도이다. 그 예시적인 실시예는 증강 현실 장치 (100 또는 300) 에 의해 수행될 수 있다.

일 실시형태에서, 마커 (MK) 는 서로 상이한 적어도 2 개의 이미지들을 포함할 수도 있다. 설명의 편의를 위해, 마커 (MK) 에 포함된 각 이미지는 이하 마커 이미지로서 지칭된다. 일부 실시형태들에서, 마커 이미지는 2 차원 또는 3 차원 도형일 수도 있다. 2 차원 도형의 예는 삼각형, 사각형, 육각형, 원 또는 별이고, 3 차원 도형의 예는 육면체, 원기둥, 삼각기둥, 사면체, 팔면체 또는 구이다. 그러나, 도형은 이들에 제한되지 않고, 문자, 숫자, 꽃, 건물 구조 등과 같은 여러 가지 사물들의 형상을 가질 수도 있다. 마커 이미지는 패터닝된 형상을 갖지 않을 수도 있고, 마커 이미지의 도형들은 서로 구별될 수 있는 임의의 형상들을 가질 수도 있다. 또한, 마커 이미지는 그래픽 이미지에 제한되는 것이 아니라, 실사 이미지일 수도 있다. 일부 실시형태에서, 마커 이미지는 상이한 형상 이외에 상이한 컬러를 가질 수도 있다.

일 실시형태에서, 하나의 마커 (MK) 에 포함된 일 세트의 마커 이미지들은 차례로 그리고 미리결정된 시간 간격으로 디스플레잉 디바이스 (예를 들어, 디스플레이 디바이스 (200)) 에 반복적으로 디스플레이될 수도 있다. 디스플레이된 마커 이미지들은 마커 (MK) 의 미리결정된 위치에 위치될 수도 있다. 2 개의 디스플레이된 마커 이미지들 간의 시간 간격은 촬상 유닛 (120 및 320) 에 의해 캡쳐된 실사 이미지의 초당 프레임 수 (초당 프레임, fps) 에 따라 결정될 수도 있다. 즉, 마커 이미지들의 디스플레이 간격은 미리결정된 자연수로 나누어진 촬상 유닛 (120 및 320) 의 fps 의 수와 실질적으로 동일할 수도 있다. 예를 들어, 디스플레잉 디바이스는 촬상 유닛 (120 및 320) 의 30 fps 에 대해 30 Hz, 15 Hz, 10 Hz 등의 주기로 마커 이미지들을 디스플레이할 수도 있다. 인간의 눈은 디스플레잉 디바이스 상에 그러한 주기로 디스플레이되는 마커 이미지를 인식하지 않을 수도 있다.

도 4 는 4 개의 마커 이미지들의 세트, 즉 입방체, 원기둥, 삼각기둥 및 별 단면 기둥에 의해 표현된 4-디지트 마커 (four-digit marker) 를 도시한다. 도 4 는 마커 (MK) 가 4 개의 마커 이미지들, 즉, 입방체, 원기둥, 삼각기둥 및 별 단면 기둥을 차례로 포함한다는 것, 그리고 4 개의 마커 이미지들이 차례로 반복적으로 디스플레이된다는 것을 도시한다. 특히, 제 1 시리즈의 4 개의 마커 이미지들, 즉 입방체, 원기둥, 삼각기둥 및 별 단면 기둥이 디스플레잉 디바이스에 디스플레이된 후, 제 2 시리즈의 4 개의 마커 이미지들이 미리결정된 시간 간격 내에서 그 디스플레잉 디바이스에 디스플레이될 수도 있다.

일 실시형태에서, 각 마커 이미지는 미리 결정된 의미를 가질 수도 있고, 따라서, 마커 (MK) 는 마커 이미지들에 각각 할당된 미리결정된 의미드을 결합함으로써, 다양한 의미를 나타낼 수도 있다. 예를 들어, 열 (10) 개의 마커 이미지들은 각각 영 (0) 부터 구 (9) 까지를 나타낼 수도 있다. 이러한 경우, 열 개의 마커 이미지들을 갖는 마커 (MK) 는 숫자들의 시퀀스일 수도 있고, 제품 일련 번호를 나타내는 바코드와 같은 오브젝트 이미지를 암시할 수도 있다. 다른 예로서, 스물 여덟 (28) 개의 마커 이미지들은 각각 a 부터 z 까지의 영문자, 슬래시 및 점 (dot) 에 대응할 수도 있다. 이에 따라, 그 스물 여덟 개의 마커 이미지들을 갖는 마커 (MK) 는 오브젝트 이미지를 포함하는 URL (uniform resource locator) 를 나타낼 수도 있다. 숫자나 영문자와 같은 마커 이미지들에 대한 상술된 의미는 단지 예이며, 이것에 제한되지 않는다. 마커 이미지들에 대한 의미는 여러 가지 방식으로 정의될 수도 있다.

다른 실시형태에서, 마커 (MK) 는 오브젝트 이미지를 나타내는 마커 이미지들에 부가하여, 마커 이미지들의 시작을 나타내는 시작 이미지, 마커 이미지들의 종료를 나타내는 종료 이미지, 및 마커 이미지들의 에러를 검출하는 체킹 이미지 중 적어도 하나를 더 포함할 수도 있다. 마커 (MK) 는 용이한 검출을 위해 마커 이미지들을 둘러싸는 경계들을 포함할 수도 있지만, 이것에 제한되지 않는다.

여러 마커 이미지들로써 생성될 수 있는 마커들의 수는 마커 이미지들의 수와 마커 이미지들의 반복의 수의 곱에 의해 계산될 수 있다. 예를 들어, 마커 (MK) 가 4 개의 마커 이미지들을 포함하고, 마커 이미지들의 세트가 5 회 반복된다고 가정하면, 생성되는 마커 (MK) 의 수는 256 이다. 따라서, 4 개의 상이한 마커 이미지들로 만들어지는 가능한 4-디지트 마커 (MK) 의 수는 4⁴ = 256 이다. 마찬가지로, 4 개의 상이한 마커 이미지들로 만들어지는 가능한 5-디지트 마커 (MK) 의 수는 4⁵ = 1,024 이다.

마커 이미지는 2차원 도형, 3 차원 도형 등일 수도 있고, 따라서 마커 이미지를 검출하는 것은 용이하다. 또한, 마커 이미지의 수 및/또는 디지트를 증가시키는 것은 용이하며, 따라서 마커 (MK) 의 수가 생성될 수 있다.

도 5 는 증강 현실을 위한 방법의 예시적인 실시형태를 도시하는 흐름도이다. 상기 방법의 예시적인 실시형태는 증강 현실 장치 (100) 에 의해 수행될 수 있다.

촬상 유닛 (120) 은 디스플레잉 디바이스 (예를 들어, 디스플레이 디바이스 (200)) 에 디스플레이된 마커 (MK) 를 포함하는 실사 이미지를 캡쳐할 수도 있다 (510). 일 실시형태에서, 마커 (MK) 는 차례로 그리고 미리결정된 시간 간격으로 반복적으로 디스플레이되는 복수의 마커 이미지를 포함할 수도 있다. 촬상 유닛 (120) 은 실사 이미지를 프로세싱 유닛 (110) 으로 전송할 수도 있다.

프로세싱 유닛 (110) 은 촬상 유닛 (120) 으로부터 수신된 실사 이미지로부터 마커 (MK) 를 검출할 수도 있다. 일 실시형태에서, 프로세싱 유닛 (110) 은 미리결정된 프레임 레이트들에서 실사 이미지들로부터 일부 이미지들을 선택하고, 제한 없이 에지 매칭, 그레이스케일 매칭, 및 그레디언트 매칭과 같은 오브젝트 인식 기술을 사용하여 선택된 이미지들로부터 마커 이미지들을 검출할 수도 있다. 프로세싱 유닛 (110) 이 디스플레잉 디바이스 상의 마커 이미지들의 디스플레이 간격에 관한 정보를 가지고 있기 때문에, 프로세싱 유닛 (110) 은 디스플레이 간격을 고려하여 프레임들을 결정할 수도 있다. 예를 들어, 디스플레잉 디바이스가 마커 이미지들을 15 Hz 의 디스플레이 간격으로 디스플레이하고, 촬상 유닛 (120) 에 의해 캡쳐되는 초당 프레임의 수가 30 fps 인 경우, 프로세싱 유닛 (110) 은 매 2 프레임 마다 2 개의 실사 이미지들 중 하나의 이미지를 선택하고, 선택된 이미지로부터 마커 이미지를 검출한다. 사용자는 촬상 유닛 (120) 의 초당 프레임의 수를 고려하여 디스플레잉 디바이스의 마커 이미지들을 디스플레이하는 간격을 결정할 수도 있다. 일부 실시형태들에서, 사용자는 디스플레잉 디바이스의 마커 이미지들을 디스플레이하는 간격을 고려하여 촬상 유닛 (120) 의 초당 프레임의 수를 결정할 수도 있다.

프로세싱 유닛 (110) 은 마커 이미지들의 조합을 사용하여 마커 (MK) 를 해석할 수도 있다. 여기서, 마커 (MK) 의 "해석" 은 마커 이미지들의 미리결정된 의미를 해석하는 것을 지칭한다. 예로써, 수들의 시퀀스를 갖는 마커 (MK) 는 바코드를 나타내는 것으로 해석될 수도 있다. 다른 예로써, 28 개의 영문자들을 갖는 마커 (MK) 는 URL 을 나타내는 것으로 해석될 수도 있다. 일 실시형태에서, 프로세싱 유닛 (110) 은 마커 이미지들의 조합에 대응하는 마커 정보를 저장한 기억장치 또는 데이터베이스를 검색함으로써, 요청 시 외부 서버로부터 마커 정보를 수신함으로써, 또는 마커 이미지들의 의미들을 사용함으로써, 마커 (MK) 를 해석할 수도 있다. 프로세싱 유닛 (110) 은 마커 인식의 정확도를 향상시키기 위해 블록 (520) 을 적어도 2 회 반복할 수도 있다. 즉, 제 1 세트의 마커 이미지들이 검출된 후, 제 2 세트의 마커 이미지들이 검출되고 제 1 세트의 마커 이미지들과 비교되어 마커 인식이 정확한지 여부를 결정한다.

프로세싱 유닛 (110) 은 오브젝트 이미지들을 저장하는 기억 장치 또는 데이터베이스로부터 검출된 마커 (MK) 에 대응하는 오브젝트 이미지를 검색하거나 (530), 요청 시 외부 서버로부터 오브젝트 이미지를 수신할 수도 있다. 프로세싱 유닛 (110) 은 오브젝트 이미지를 촬상 유닛 (120) 으로부터의 실사 이미지와 결합하여 (540) 새로운 이미지, 즉 증강 현실 이미지를 생성하고, 증강 현실 이미지를 장치 (100) 에 포함되거나 외부 디바이스인 디스플레이 유닛에 디스플레이한다 (550). 이미지들을 결합할 때, 오브젝트 이미지는 마커 (MK) 가 위치되는 실사 이미지의 위치에 배치될 수도 있다. 한편, 마커 (MK) 가 3 차원 도형의 마커 이미지들을 포함하는 경우, 프로세싱 유닛 (110) 은 3 차원 도형의 배향을 검출하고, 3 차원 도형의 배행에 따라 결정되는 배향으로 오브젝트를 디스플레이할 수도 있다.

도 5 는 장치 (100) 에서 수행되는 방법의 흐름을 도시했지만, 그 방법은 장치 (300) 에서 수행될 수 있다는 것은 통상의 기술자에게는 명백하다. 이러한 경우, 입력 유닛 (330) 은 외부 사용자 입력으로부터 입력 데이터를 수신하고, 입력 데이터를 프로세싱 유닛 (310) 으로 송신한다. 촬상 유닛 (120) 은 디스플레잉 디바이스에 디스플레이된 마커 (MK) 를 포함하는 실사 이미지를 캡쳐하고 실사 이미지를 프로세싱 유닛 (310) 으로 전송할 수도 있다. 프로세싱 유닛 (310) 은 입력 데이터에 따른 실사 이미지로부터 마커 이미지들을 검출하고, 마커 이미들의 조합에 대응하는 마커 (MK) 를 해석하고, 오브젝트 이미지를 실사 이미지와 결합할 수도 있다. 저장 유닛 (340) 은 마커 정보 및/또는 오브젝트 이미지들을 저장하고 마커 정보 및/또는 오브젝트 이미지들을 프로세싱 유닛 (310) 으로 송신할 수도 있다. 디스플레이 유닛 (350) 은 결합된 이미지를 디스플레이할 수도 있다.

도 6 은 증강 현실을 위한 스크린의 예시적인 실시예를 도시하는 개략도이다. 도 6 은 증강 이미지가 장치 (300) 의 디스플레이 유닛 (350) 에 도시되는 것을 나타낸다. 증강 이미지는 오브젝트 이미지 (예를 들어, 지구본 오브젝트 (OB)) 위에 마커 (MK) 를 포함하는 실사 이미지 (예를 들어, 마커 (MK) 가 디스플레잉 디바이스 위에 도시되는 디스플레잉 디바이스 (예를 들어, 디스플레이 디바이스 (200)) 의 이미지) 를 오버레이함으로써 생성될 수 있다. 지구본 오브젝트 (OB) 는 그래픽 이미지일 수도 있고, 마커 (MK) 가 위치되는 위치에 디스플레이될 수도 있다. 사용자가 손, 펜 또는 마우스를 사용하여 예를 들어 화살표를 따라 디스플레이 디바이스 (200) 상에서 마커 (MK) 를 이동시키는 경우, 지구본 오브젝트 (OB) 도 그에 따라 이동할 수 있다.

일 실시형태에서, 증강 현실을 위한 장치는 또 선택적으로 디스플레잉 디바이스, 예를 들어 디스플레이 디바이스 (200) 를 포함한다. 예로써, 장치는 선택적으로 장치 (100 또는 300) 에 의해 생성된 증간 현실을 디스플레이하도록 구성된 디스플레이잉 디바이스를 포함할 수도 있다. 다른 실시형태에서, 증강 현실을 위한 방법은 디스플레이잉 디바이스 상에 마커 (MK) 를 디스플레이하는 것을 포함할 수도 있다. 예로써, 마커 (MK) 를 디스플레이하는 것은 도 5 의 방법에서 실사 이미지의 캡쳐 (510) 전에 수행될 수도 있다.

상술한 바와 같이, 증강 현실을 위한 장치 및 방법의 예시적인 실시형태들은 마커 이미지들의 간단한 형상들로 인해 사용자에게 마커들에 대한 용이한 인식을 제공하고, 많은 수의 마커들을 생성하여 그들이 증강 현실 분야에서 새로운 타입의 마커로서 작용할 수 있도록 한다. 그러한 장치 및 방법은 또한 설계, 게임, 교육, 검색 등과 같은 다양한 분야에 적용될 수 있다.

일 실시형태에서, 증강 현실을 위한 방법의 예시적인 실시형태는 저장 매체에 적용될 수도 있다. 저장 매체는 컴퓨터에 의해 판독될 수 있고, 여러 컴퓨터들에 의해 구현될 수도 있는 동작들을 실행하기 위한 프로그램 명령들을 포함할 수 있다. 그 매체는 상술된 증강 현실을 위한 방법을 수행하는 프로그램을 기록할 수 있다. 그 매체는 프로그램 명령들, 데이터 파일들, 데이터 구조들 및 이들의 조합 중 하나를 포함할 수도 있다. 매체의 예로는 프로그램 명령들을 저장 및 실행하도록 구성되는 하드 디스크, 플로피 디스크, 및 자기 테이프와 같은 자성 매체, CD 및 DVD와 같은 광학 매체, 플롭티컬 디스크와 같은 자기-광학 매체, 및 ROM, RAM 및 플래시 메모리와 같은 하드웨어 디바이스를 포함한다. 매체는 프로그램 명령들, 데이터 구조들 등을 지정하기 위한 신호들을 포함하는 캐리어들을 포함하는 광학 또는 금속 라인, 도파관 등과 같은 송신 매체일 수도 있다. 프로그램 명령들의 예들은 컴파일러에 의해 생성될 수도 있는 머신 코드들 뿐아니라, 인터프리터를 통해 컴퓨터에 의해 실행되는 고레벨 언어 코드들을 포함할 수도 있다.

예시적인 실시형태에서, 여기에 기술된 동작들, 프로세스들 중 임의의 것은 컴퓨터 판독가능 매체에 저장된 컴퓨터 판독가능 명령들로서 구현될 수 있다. 컴퓨터 판독가능 명령들은 모바일 유닛, 네트워크 엘리먼트, 및/또는 다른 컴퓨팅 디바이스의 프로세서에 의해 실행될 수 있다.

도 7 은 본 개시에 따른 증강 현실을 위해 배열되는 예시의 컴퓨팅 디바이스 (700) 를 도시하는 블록도이다. 매우 기본 구성 (701) 에서, 컴퓨팅 디바이스 (700) 는 총상 하나 이상의 프로세서 (710) 및 시스템 메모리 (720) 를 포함한다. 메모리 버스 (730) 는 프로세서 (710) 와 시스템 메모리 (720) 사이에서 통신하는데 사용될 수도 있다.

원하는 구성에 따라, 프로세서 (710) 는 마이크로프로세서 (μP), 마이크로제어기 (μC), 디지털 신호 프로세서 (DSP), 또는 이들의 임의의 조합을 포함하는 임의의 타입일 수도 있지만, 이들에 제한되지 않는다. 프로세서 (710) 는 레벨 1 캐시 (711) 및 레벨 2 캐시 (712) 와 같은 하나 이상의 캐싱 레벨들, 프로세서 코어 (713), 및 레지스터 (714) 를 포함할 수도 있다. 예시의 프로세서 코어 (713) 는 산술 논리 유닛 (ALU), 플로팅 포인트 유닛 (FPU), 디지털 신호 프로세싱 코어 (DSP Core), 또는 이들의 임의의 조합을 포함할 수도 있다. 예시의 메모리 제어기 (715) 는 또한 프로세서 (710) 와 함께 사용될 수도 있고, 일부 구현들에서 메모리 제어기 (715) 는 프로세서 (710) 의 내부 부품일 수도 있다.

원하는 구성에 따라, 시스템 메모리 (720) 는 (RAM 과 같은) 휘발성 메모리, (ROM, 플래시 메모리 등과 같은) 비휘발성 메모리, 또는 이들의 임의의 조합을 포함하는 임의의 타입일 수도 있지만, 이들에 제한되지 않는다. 시스템 메모리 (720) 는 운영 시스템 (721), 하나 이상의 애플리케이션 (722), 및 프로그램 데이터 (724) 를 포함할 수도 있다. 애플리케이션 (722) 은 도 5 의 프로세스들 (510 내지 550) 에 대해 기술된 것들을 포함하여 여기에 기술된 기능들을 수행하도록 배열된 증강 현실 알고리즘 (723) 을 포함할 수도 있다. 프로그램 데이터 (724) 는 이하에 더 기술될 증강 현실 알고리즘 (723) 과 함께 동작을 위해 유용할 수도 있는 증강 현실 데이터 (725) 를 포함할 수도 있다. 일부 실시형태들에서, 애플리케이션 (722) 은 강건한 증강 현실의 구현이 여기에 기술된 바와 같이 제공될 수 있도록 운영 시스템 (721) 상에서 프로그램 데이터 (724) 와 함께 동작하도록 배열될 수도 있다. 이러한 기술된 기본 구성은 점선 (701) 내의 이들 컴포넌트들에 의해 도 7 에 도시된다.

컴퓨팅 디바이스 (700) 는 기본 구성 (701) 과 임의의 원하는 다비이스들 및 인터페이스들 사이의 통신을 용이하게 하는 부가적인 특징, 기능 및 부가적인 인터페이스들을 가질 수도 있다. 예를 들어, 버스/인터페이스 제어기 (740) 는 저장 인터페이스 버스 (741) 를 통해 기본 구성 (701) 과 하나 이상의 데이터 저장 디바이스 (750) 사이의 통신을 용이하게 하는데 사용될 수도 있다. 데이터 저장 디바이스 (750) 는 착탈가능 저장 디바이스 (751), 비착탈가능 저장 디바이스 (752), 또는 이들의 조합일 수도 있다. 착탈가능 저장 디바이스 및 비착탈가능 저장 디바이스의 예는 몇 가지만 예로 들면, 프렉시블 디스크 드라이브 및 하드 디스크 드라이브 (HDD) 와 같은 자기 디스크 디바이스, CD (compact disk) 드라이브나 DVD (digital versatile disk) 드라이브와 같은 광 디스크 드라이브, 솔리드 상태 드라이브 (SSD), 및 테이브 드라이브를 포함한다. 예시의 컴퓨터 저장 매체는 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 착탈가능 및 비착탈가능 매체를 포함할 수도 있다.

시스템 메모리 (720), 착탈가능 저장 디바이스 (751) 및 비착탈가능 저장 디바이스 (752) 는 컴퓨터 저장 매체의 모든 예들이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD (digital versatile disk) 또는 다른 광학 기억장치, 자기 카세트, 자기 테이프, 자기 디스크 기억장치 또는 다른 자기 저장 디바이스, 또는 원하는 정보를 저장하는 데 사용될 수 있고, 컴퓨팅 디바이스 (700) 에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이들에 제한되지 않는다. 임의의 그러한 컴퓨터 저장 매체는 디바이스 (700) 의 일부일 수도 있다.

컴퓨팅 디바이스 (700) 는 또한 버스/인터페이스 제어기 (740) 를 통해 여러 인터페이스 디바이스들 (예를 들면, 출력 인터페이스, 주변 인터페이스, 및 통신 인터페이스) 로부터 기본 구성 (701) 으로의 통신을 용이하게 하는 인터페이스 버스 (742) 를 포함할 수도 있다. 예시의 출력 디바이스 (760) 는 하나 이상의 A/V 포트 (763) 를 통해 디스플레이 또는 스피커와 같은 여러 외부 디바이스로 통신하도록 구성될 수도 있는 그래픽 프로세싱 유닛 (761) 및 오디오 프로세싱 유닛 (762) 을 포함한다. 예시의 주변 인터페이스 (770) 는 하나 이상의 I/O 포트 (773) 를 통해 입력 디바이스 (예를 들어, 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스 등) 또는 다른 주변 디바이스 (예를 들어, 프린터, 스캐너 등) 과 통신하도록 구성될 수도 있는 직렬 인터페이스 제어기 (771) 또는 병렬 인터페이스 제어기 (772) 를 포함한다. 예시의 통신 디바이스 (780) 는 하나 이상의 통신 포트 (782) 를 통해 네트워크 통신 링크를 통해 하나 이상의 다른 컴퓨팅 디바이스 (790) 와의 통신을 용이하게 하도록 배열될 수도 있는 네트워크 제어기 (781) 를 포함한다.

네트워크 통신 링크는 통신 매체의 하나의 예시일 수도 있다. 통신 매체는 통상 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈, 또는 반송파 또는 다른 전송 메커니즘과 같은 모듈화된 데이터 신호 내의 다른 데이터에 의해 구현될 수도 있고, 임의의 정보 전달 매체를 포함할 수도 있다. "모듈화된 데이터 신호" 는 하나 이상의 문자 세트를 갖는 신호일 수도 있고, 신호의 정보를 인코딩하도록 하는 방식으로 변경될 수도 있다. 제한이 아닌 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 접속과 같은 유선 매체, 및 음향, 무선 주파수 (RF), 마이크로웨이브, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함할 수도 있다. 여기에 사용된 용어 컴퓨터 판독가능 매체는 저장 매체와 통신 매체 양자 모두를 포함할 수도 있다.

컴퓨팅 디바이스 (700) 는 셀폰, 개인용 휴대정보단말 (PDA), 개인용 미디어 플레이어 디바이스, 무선 웹-워치 디바이스, 개인용 헤드셋 디바이스, 애플리케이션 특정 디바이스, 또는 상기 기능들의 임의의 것을 포함하는 하이브리드 디바이스와 같은 작은 폼 팩터 (small-form factor) 휴대 (또는 이동) 전자 디바이스의 일부로서 구현될 수도 있다. 컴퓨팅 디바이스 (700) 는 또한 랩탑 컴퓨터 및 비랩탑 컴퓨터 구성 양자를 포함하는 개인용 컴퓨터로서 구현될 수도 있다.

시스템들의 양태들의 하드웨어 구현과 소프트웨어 구현 사이의 구별은 거의 없다; 하드웨어 또는 소프트웨어 사용은 들에서는 하드웨어 및 소프트웨어 사이의 선택이 중요하게 될 수 있다는 점에서, 항상은 아니지만) 일반적으로 비용 대 효율 트레이드오프를 나타내는 설계 선택 사항이다. 여기에 기술된 프로세스 및/또는 시스템 및/또는 다른 기술이 실시되는 여러 매개체들 (예를 들어, 하드웨어, 소프트웨어, 및/또는 펌웨어) 이 존재하며, 바람직한 매개체는 프로세스 및/또는 시스템 및/또는 다른 기술이 전개되는 정황에 따라 변할 것이다. 예를 들어, 구현기가 속도 및 정확도가 가장 중요하다고 결정하는 경우, 구현기는 주로 하드웨어 및/또는 펌웨어 매개체를 채택할 수도 있다; 플렉시빌리티가 가장 중요한 경우는, 구현기는 주로 소프트웨어 구현을 채택할 수도 있다; 또는 대안적으로, 구현기는 하드웨어, 소프트웨어, 및/또는 펌웨어의 일부 조합을 채택할 수도 있다.

전술한 상세한 설명은 블록도, 흐름도, 및/또는 실시예의 사용을 통해 디바이스 및/또는 프로세스의 여러 실시형태들을 진술했다. 그러한 블록도, 흐름도 및/또는 실시예가 하나 이상의 기능 및/또는 동작을 포함하는 한, 그러한 블록도, 흐름도, 또는 실시예 내의 각각의 기능 및/또는 동작은 개별적으로 및/또는 집합적으로 넓은 범위의 하드웨어, 소프트웨어, 펌웨어 또는 실질적으로 이들의 임의의 조합에 의해 구현될 수 있다. 일 실시형태에서, 여기에 기술된 청구물의 여러 부분들은 주문자 반도체 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA), 디지털 신호 프로세서 (DSP), 또는 다른 집적 포맷들을 통해 구현될 수도 있다. 그러나, 당업자는 여기에 개시된 실시형태들의 일부 양태들이 전체로 또는 부분적으로 하나 이상의 컴퓨터에서 실행하는 하나 이상의 컴퓨터 프로그램으로서 (예를 들어, 하나 이상의 컴퓨터 시스템에서 실행하는 하나 이상의 프로그램으로서), 하나 이상의 프로세서에서 실행하는 하나 이상의 프로그램으로서 (예를 들어, 하나 이상의 마이크로프로세서에서 실행하는 하나 이상의 프로그램으로서), 펌웨어로서, 또는 사실상 이들의 임의의 조합으로서 집적회로에서 등가적으로 구현될 수 있다는 것과, 회로를 설계하는 것 및/또는 소프트웨어 및 또는 펌웨어를 위한 코드를 작성하는 것은 본 개시에 비추어 본 기술 분야에서 통상의 기술을 가진자의 기술 내일 것이라는 것을 인식할 것이다. 또한, 당업자는 여기에 기술된 청구물의 메커니즘들이 여러 형태의 프로그램 제품으로서 분포될 수 있다는 것과, 여기에 기술된 청구물의 예시적인 실시형태가 그 분포를 실제로 수행하는데 사용되는 신호 운반 매체의 특정의 타입과 관계없이 적용된다는 것을 인정할 것이다. 신호 운반 매체의 예는 플로피 디스크, 하드 디스크 드라이브, CD, DVD, 디지털 테이프, 컴퓨터 메모리 등과 같은 기록가능 타입 매체; 및 디지털 및/또는 아날로그 통신 매체 (예를 들어, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등) 와 같은 송신 타입 매체를 포함하지만, 이들에 제한되지 않는다.

당업자는 여기에 진술된 양식으로 디바이스 및/또는 프로세스를 기술하고, 이후에 그러한 기술된 디바이스 및/또는 프로세스를 데이터 프로세싱 시스템에 집적시키기 위해 공학적 프랙티스를 사용하는 것은 본 기술에서 통상적이라는 것을 인식할 것이다. 즉, 여기에 기술된 디바이스 및/또는 프로세스의 적어도 일부는 합리적인 양의 실험을 통해 데이트 프로세싱 시스템에 집적될 수 있다. 당업자는 통상의 데이터 프로세싱 시스템이 일반적으로 시스템 유닛 하우징, 비디오 디스플레이 디바이스, 휘발성 및 비휘발성 메모리와 같은 메모리, 마이크로프로세서 및 디지털 신호 프로세서와 같은 프로세서, 운영 시스템, 드라이버, 그래픽 사용자 인터페치스 및 애플리케이션 프로그램과 같은 계산 엔티티, 터치 패드 및 스크린과 같은 하나 이상의 상호작용 디바이스, 및/또는 피드백 루프 및 제어 모터 (예를 들어, 위치 및/또는 속도를 감지하기 위한 피드백; 컴포넌트 및/또는 양을 이동 및/또는 조정하기 위한 제어 모터) 를 포함하는 제어 시스템 중 하나 이상을 포함한다는 것을 인식할 것이다. 통상적인 데이터 프로세싱 시스템은 데이터 컴퓨팅/통신 및/또는 네트워크 컴퓨팅/통신 시스템에서 발견되는 것들과 같이, 임의의 적합한 상업적으로 이용가능한 컴포넌트들을 사용하여 구현될 수도 있다.

여기에 기술된 청구물은 때때로 상이한 다른 컴포넌트 내에 포함되고, 상이한 다른 컴포넌트와 접속된 상이한 컴포넌트를 도시한다. 그러한 설명된 아키텍쳐는 단순히 예시이며, 사실 동일한 기능을 달성하는 많은 다른 아키텍쳐가 구현될 수 있다. 개념적인 의미에서, 동일한 기능을 달성하는 컴포턴트들의 임의의 배열은 원하는 기능이 달성되도록 효과적으로 "연관된다. 이리하여, 특정의 기능을 달성하도록 결합된 여기의 임의의 2 개의 컴포넌트는 아키텍쳐 또는 중간 컴포넌트에 관계없이 원하는 기능이 달성되도록 서로 "연관된" 것으로 보여진다. 마찬가지로, 그렇게 연관된 임의의 2 개의 컴포넌트는 원하는 기능을 달성하기 위해 서로에 "동작적으로 연결", 또는 "동작적으로 커플링" 되는 것으로 보여질 수 있고, 그렇게 연관될 수 있는 임의의 2 개의 컴포넌트는 원하는 기능을 달성하기 위해 서로에 '동작적으로 커플링가능한" 것으로 보여질 수 있다. 동작적으로 커플링가능한 특정의 예들은 물리적으로 짝을 이루는 것이 가능한 및/또는 물리적으로 상호작용하는 컴포넌트 및/또는 무선으로 상호작용가능한 및/또는 무선으로 상호작용하는 컴포넌트 및/또는 논리적으로 상호작용하는 및/또는 논리적으로 상호작용가능한 컴포넌트를 포함하지만, 이들에 제한되지 않는다.

여기에서 실질적으로 임의의 복수의 및/또는 단수의 용어들의 사용에 대하여, 당업자는 정황 및/또는 애플리케이션 에 적절한 경우 복수로부터 단수로 및/또는 단수로부터 복수로 번역할 수 있다. 여러 단수/복수 치환이 명확성을 위해 여기에 명백히 진술될 수도 있다.

일반적으로 여기에, 특히 첨부된 청구항들 (예를 들어, 첨부된 청구항들의 본문) 에 사용된 용어들은 일반적으로 "개방형" 용어 (예를 들어, 용어 "포함하는" 은 "포함하지만 제한되지 않는" 으로서 해석되어야 하고, 용어 "갖는" 는 "적어도 갖는"으로 해석되어야 하며, 용어 "포함한다" 는 "포함하지만 제한되지 않는다" 등으로 해석되어야 한다) 로서 의도된다. 특정한 수의 도입된 청구항 기재가 의도되는 경우, 그러한 의도가 청구항에 명확하게 기재될 것이고, 그러한 기재가 없으면, 그러한 의도도 존재하지 않는다. 예를 들어, 이해를 돕기 위해, 다음의 첨부된 청구항들은 청구항 기재를 도입하기 위해 도입적인 구 "적어도 하나의" 및 "하나 이상의" 의 사용을 포함할 수도 있다. 그러나, 그러한 구들의 사용은, 동일한 청구항이 도입하는 구 "하나 이상의" 또는 "적어도 하나의" 및 "a" 또는 "an" 과 같은 부정관사를 포함할 때조차도, 부정관사 "a" 또는 "an" 에 의한 청구항 기재의 도입은 그렇게 도입된 클레임 기재를 포함하는 임의의 특정의 청구항을 단 하나의 그러한 기재를 포함하는 실시형태들에 제한한다는 것응ㄹ 암시하는 것으로 해석되지 않아야 한다 (예를 들어, "a" 및/또는 "an" 은 "적어도 하나의" 또는 "하나 이상의" 를 의미하는 것으로 해석되어야 한다); 청구항 기재를 도입하는데 사용되는 정관사의 사용도 동일한 취지가 유지된다. 또한, 특정의 수의 도입된 청구항 기재가 명백히 기재되더라도, 그러한 기재는 적어도 기재된 수를 의미하는 것으로 해석되어야 한다 (예를 들어, 다른 수식어 없이 "2 개의 기재들" 이라는 기재는 적어도 2 개의 기재들 또는 2 개 이상의 기재들을 의미한다). 또한, "A, B 및 C 등 중 적어도 하나" 와 유사한 협정이 사용되는 예에서, 일반적으로 그러한 구성은 당업자가 그 협정 (예를 들어, "A, B 및 C 중 적어도 하나를 갖는 시스템" 은 A 만, B 만, C 만, A 및 B 모두, A 및 C 모두, B 및 C 모두, 및/또는 A, B, 및 C 모두 등을 갖는 시스템들을 포함하지만, 이들에 제한되지 않을 것이다) 을 이해한다는 의미로 의도된다. "A, B 또는 C 등 중 적어도 하나" 와 유사한 협정이 사용되는 예에서, 일반적으로 그러한 구성은 당업자가 그 협정 (예를 들어, "A, B 또는 C 중 적어도 하나를 갖는 시스템" 은 A 만, B 만, C 만, A 및 B 모두, A 및 C 모두, B 및 C 모두, 및/또는 A, B, 및 C 모두 등을 갖는 시스템들을 포함하지만, 이들에 제한되지 않을 것이다) 을 이해한다는 의미로 의도된다. 상세한 설명에서건, 청구항에서건, 도면에서건 2 이상의 대안적인 용어를 제시하는 임의의 이접적 단어 및/또는 구는 용어들 중 하나, 용어들의 어느 하나, 또는 용어들 양자 모두를 포함하는 가능성을 고려하는 것으로 이해되어야 한다. 예를 들어, 구 "A 또는 B" 는 "A" 또는 "B" 또는 "A 및 B" 의 가능성을 포함하는 것으로 이해될 것이다.

또한, 본 개시의 특징 또는 양태가 마쿠쉬 그룹의 용어로 기술되는 경우, 본 개시는 또한 마쿠쉬 그룹의 임의의 개개의 부재 또는 부재들의 서브 그룹으로 기술된다.

당업자에게 이해되는 바와 같이, 임의의 및 모든 목적을 위해, 기록된 설명을 제공하는 용어에서와 같이, 여기에 개시된 모든 범위들은 또한 임의의 및 모든 가능한 부범위 (subrange) 및 이들의 부범위의 조합들을 포함한다. 임의의 리스팅된 범위는 동일한 범위를 적어도 동일한 반분들, 1/3 들, 1/4 들, 1/5 들, 1/10 들 등으로 분해하는 것을 기술하고 가능하게 하는 것으로 인식될 수 있다. 비제한적인 예로서, 여기에서 논의된 각 범위는 하위 1/3, 중간 1/3 및 상위 1/3 등으로 용이하게 분해될 수 있다. 또한 당업자에 의해 이해될 수 있는 바와 같이, "까지 (upto)", "적어도" 등과 같은 모든 언어는 기재된 수를 포함하고, 상술된 부범위들로 후속적으로 분해될 수 있는 범위들을 지칭한다. 마지막으로, 당업자에게 이해되는 바와 같이, 범위는 각각의 개별 부재를 포함한다. 따라서, 예를 들어, 1-3 개의 셀들을 갖는 그룹은 1 개, 2 개, 또는 3 개의 셀을 갖는 그룹을 지칭한다. 유사하게, 1-5 개의 셀을 갖는 그룹은 1 개, 2 개, 3 개, 4 개, 5 개의 셀 을 갖는 그룹을 지칭한다.

상술한 것으로부터 본 개시의 당양한 실시형태들은 설명의 목적으로 여기에 기술되었고, 본 개시의 범위 및 사상을 이탈하지 않고 여러 변경들이 행해질 수도 있다. 이에 따라, 여기에 개시된 여러 실시형태들은 제한하는 것으로 의도되지 않고, 진정한 범위 및 사상은 다음의 청구항들에 의해 나타내어진다.

Claims

증강 현실을 위한 장치로서,
촬상 유닛 및 디스플레이 유닛에 커플링된 프로세싱 유닛을 포함하고,
상기 프로세싱 유닛은:
상기 촬상 유닛으로부터 마커를 포함하는 실사 이미지를 수신하며, 상기 마커는 제 1 마커 이미지 및 제 2 마커 이미지를 포함하고,
상기 실사 이미지로부터 상기 제 1 마커 이미지를 검출하고,
상기 실사 이미지로부터 상기 제 2 마커 이미지를 검출하고,
상기 제 1 마커 이미지와 상기 제 2 마커 이미지의 조합에 대응하는 오브젝트 이미지를 결정하고,
상기 오브젝트 이미지를 상기 실사 이미지와 결합하여 증강 현실 이미지를 생성하며, 그리고
상기 디스플레이 유닛으로 하여금 상기 증강 현실 이미지를 디스플레이하게 하도록 구성되는, 증강 현실 장치.
제 1 항에 있어서,
상기 제 1 마커 이미지 및 상기 제 2 마커 이미지는 각각 삼차원 이미지들을 포함하는, 증강 현실 장치.
제 1 항에 있어서,
상기 프로세싱 유닛은, 상기 디스플레이 유닛으로 하여금 상기 제 1 마커 이미지 및 상기 제 2 마커 이미지를 미리결정된 시간 간격으로 차례로 디스플레이하게 하도록 더 구성되는, 증강 현실 장치.
제 3 항에 있어서,
상기 프로세싱 유닛은, 상기 디스플레이 유닛으로 하여금 상기 제 1 마커 이미지 및 상기 제 2 마커 이미지를 상기 촬상 유닛이 상기 실사 이미지를 생성하는 초당 프레임의 수를 미리결정된 자연수로 나눈 몫과 동일한 디스플레이 간격으로 디스플레이하게 하도록 더 구성되는, 증강 현실 장치.
제 1 항에 있어서,
상기 마커는 상기 오브젝트 이미지와 연관되지 않은 제 3 마커 이미지를 더 포함하는, 증강 현실 장치.
제 1 항에 있어서,
상기 마커는 그래픽 상호교환 포맷 (GIF) 파일, 플래시 파일, 또는 에니메이션 파일 중 적어도 하나를 포함하는, 증강 현실 장치.
제 1 항에 있어서,
상기 제 1 마커 이미지 및 상기 제 2 마커 이미지 각각은 미리결정된 의미를 가지는, 증강 현실 장치.
제 1 항에 있어서,
상기 프로세싱 유닛은, 상기 디스플레이 유닛으로 하여금 상기 제 1 마커 이미지 및 상기 제 2 마커 이미지를 디스플레이하게 하도록 더 구성되는, 증강 현실 장치.
제 1 항에 있어서,
상기 프로세싱 유닛은, 저장 유닛으로 하여금 상기 마커와 연관된 상기 오브젝트 이미지 또는 정보 중 적어도 하나를 저장하게 하도록 더 구성되는, 증강 현실 장치.
제 1 항에 있어서,
상기 프로세싱 유닛은, 외부 사용자 입력을 수신하도록 더 구성되는, 증강 현실 장치.
컴퓨터-실행가능 명령들을 포함하는 컴퓨터 판독가능 저장 디바이스로서,
상기 컴퓨터-실행가능 명령들은:
실사 이미지로부터 마커를 검출하는 명령들로서, 상기 마커는 제 1 마커 이미지 및 제 2 마커 이미지를 포함하는, 상기 마커를 검출하는 명령들;
상기 제 1 마커 이미지와 상기 제 2 마커 이미지의 조합에 대응하는 오브젝트 이미지를 결정하는 명령들;
증강 현실 이미지를 생성하기 위하여 상기 오브젝트 이미지를 상기 실사 이미지와 조합하는 명령들; 및
상기 증강 현실 이미지를 디스플레이하는 명령들을 포함하는, 컴퓨터 판독가능 저장 디바이스.
제 11 항에 있어서,
상기 제 1 마커 이미지 및 상기 제 2 마커 이미지를 미리결정된 시간 간격으로 차례로 디스플레이하는 명령들을 더 포함하는, 컴퓨터 판독가능 저장 디바이스.
제 11 항에 있어서,
상기 실사 이미지가 캡쳐되는 초당 프레임의 수를 미리결정된 자연수로 나눈 몫과 동일한 디스플레이 간격으로 상기 제 1 마커 이미지 및 상기 제 2 마커 이미지를 디스플레이하는 명령들을 더 포함하는, 컴퓨터 판독가능 저장 디바이스.
제 11 항에 있어서,
상기 마커는 상기 오브젝트 이미지와 연관되지 않은 제 3 마커 이미지를 더 포함하는, 컴퓨터 판독가능 저장 디바이스.
증강 현실을 위한 방법으로서,
실사 이미지로부터 마커를 검출하는 단계로서, 상기 마커는 제 1 마커 이미지 및 제 2 마커 이미지를 포함하는, 상기 마커를 검출하는 단계;
상기 제 1 마커 이미지와 상기 제 2 마커 이미지의 조합에 대응하는 오브젝트 이미지를 결정하는 단계;
증강 현실 이미지를 생성하기 위하여 상기 오브젝트 이미지를 상기 실사 이미지와 조합하는 단계; 및
상기 증강 현실 이미지를 디스플레이하는 단계를 포함하는, 증강 현실 방법.
제 15 항에 있어서,
상기 마커를 포함하는 상기 실사 이미지를 생성하는 단계를 더 포함하는, 증강 현실 방법.
제 15 항에 있어서,
상기 실사 이미지로부터 상기 마커를 검출하기 전에 미리결정된 시간 간격으로 차례로 상기 제 1 마커 이미지 및 상기 제 2 마커 이미지를 디스플레이하는 단계를 더 포함하는, 증강 현실 방법.
제 15 항에 있어서,
상기 제 1 마커 이미지 및 상기 제 2 마커 이미지를 미리결정된 디스플레이 간격으로 디스플레이하는 단계를 더 포함하고,
상기 미리결정된 디스플레이 간격은 상기 실사 이미지를 생성하는 초당 프레임의 수를 미리결정된 자연수로 나눈 몫과 동일한, 증강 현실 방법.
제 15 항에 있어서,
상기 마커는 상기 오브젝트 이미지와 연관되지 않은 제 3 마커 이미지를 더 포함하는, 증강 현실 방법.
제 15 항에 있어서,
상기 제 1 마커 이미지 및 상기 제 2 마커 이미지는 3차원 이미지들을 포함하는, 증강 현실 방법.