KR101848959B1

KR101848959B1 - 컬러 채널 및 광학 마커

Info

Publication number: KR101848959B1
Application number: KR1020137027490A
Authority: KR
Inventors: 벤자민 제이 서그덴; 토마스 지 샐터
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2011-04-21
Filing date: 2012-04-21
Publication date: 2018-05-28
Anticipated expiration: 2032-04-21
Also published as: EP2700040A2; AR086470A1; TWI533027B; CN103477348A; EP2700040B1; WO2012145731A2; TW201243387A; ES2729102T3; US20120268491A1; JP2014513836A; JP5961249B2; WO2012145731A3; KR20140013034A; CN103477348B; EP2700040A4; US8817046B2

Abstract

컬러 채널 광학 마커 기법이 설명된다. 하나 이상의 실시예에서, 카메라로부터 획득된 복수의 컬러 채널이 검사되는데, 컬러 채널 각각은 다른 컬러 채널로 묘사된 다른 광학 마커와 상이한 스케일을 갖는 광학 마커를 묘사한다. 복수의 컬러 채널 각각에 있어서 적어도 하나의 광학 마커가 식별되고, 컴퓨팅 장치 일부의 적어도 위치나 방향을 기술하는 데 사용 가능한 식별된 광학 마커를 사용하여 광학 베이시스가 계산된다.

Description

컬러 채널 및 광학 마커{COLOR CHANNELS AND OPTICAL MARKERS}

컴퓨팅 장치에 의해 이용되는 디스플레이 기법은 항상 발전하고 있다. 예를 들어, 초창기 컴퓨팅 장치에는 흑백 모니터가 제공되었다. 사용자는 흑백 모니터 상의 간단한 텍스트를 보고, 키보드를 통해 텍스트를 입력하여 모니터 상에 보이도록 함으로써 컴퓨팅 장치와 상호 작용하였다.

디스플레이 기법은 그 후 컬러 및 그래픽 사용자 인터페이스의 사용으로 확장되었다. 이러한 기법은, 예컨대 파일, 컴퓨팅 장치에 연결된 장치, 이미지 등을 컬러를 사용하여 나타내는 그래픽을 보여주는 데 이용될 수 있다. 사용자는 그 후 키보드의 사용을 비롯하여 마우스와 같은 커서 제어 장치를 사용함으로써 그래픽 사용자 인터페이스와 상호 작용할 수 있게 되었다.

디스플레이 기법은 3-차원 텔레비전을 보기 위한 안경의 사용 및 가상 기술 등과 같은 것을 통해 계속해서 발전해왔다. 그러나, 이런 기법의 구현에 따른 복잡성의 증가로 인해, 종래의 컴퓨팅 장치로 이런 기법을 구현하는 것은 어려울 수 있다.

컬러 채널 광학 마커(color channel optical marker) 기법이 설명된다. 하나 이상의 구현에 있어서, 카메라로부터 얻어지는 복수의 컬러 채널이 검사되는데, 각각의 컬러 채널은 다른 컬러 채널에서 묘사되는 다른 광학 마커에 비해 상이한 스케일(scale)을 갖는 광학 마커를 묘사한다. 복수의 컬러 채널 각각에 있어서 적어도 하나의 광학 마커가 식별되고, 컴퓨팅 장치 일부의 적어도 위치나 방향을 기술하는 데 사용 가능한 식별된 광학 마커를 사용하여 광학 베이시스(basis)가 계산된다.

하나 이상의 실시예에서, 본 발명에 따른 장치는 컴퓨팅 장치의 카메라에 의해 제1 거리에서 분석 가능(resolvable)하고 제1 컬러를 사용하여 묘사되는 제1 광학 태그 및 컴퓨팅 장치의 카메라에 의해 제1 광학 태그가 분석될 수 없는 제2 거리에서 분석 가능한 제2 광학 태그를 포함하는데, 제2 광학 태그는 제1 컬러와 상이한 제2 컬러를 사용하여 묘사된다.

하나 이상의 구현예에서, 본 발명에 따른 장치는 카메라, 디스플레이 장치, 및 하나 이상의 모듈을 포함한다. 하나 이상의 모듈은 카메라의 적색 채널(red channel)로부터의 제1 이미지, 카메라의 녹색 채널(green channel)로부터의 제2 이미지, 및 카메라의 청색 채널(blue channel)로부터의 제3 이미지를 획득하도록 구성된다. 하나 이상의 모듈은 장치의 적어도 일부의 위치나 방향을 판별하기 위해 제1, 제2, 또는 제3 이미지 중 어느 것이 하나 이상의 모듈에 의해 분석 가능한 광학 마커를 묘사하는지 식별하고, 장치의 적어도 일부의 위치나 방향을 기술하는 베이시스를 계산하며, 계산된 베이시스를 사용하여 디스플레이 장치에 의해 표시될 증강 현실 디스플레이를 생성하도록 구성된다.

본 요약은 이하 상세한 설명에서 더욱 자세히 설명되는 개념 중 선택된 것을 단순화된 형태로 소개하기 위해 제공된다. 본 요약은 청구된 대상의 주요 특징이나 필수적 구성을 밝히기 위한 것이 아니며, 청구된 대상의 범주를 결정하는 데 사용되도록 의도된 것도 아니다.

상세한 설명은 첨부된 도면을 참조하여 설명된다. 도면에서 참조 번호의 가장 왼쪽 숫자는, 그 참조 번호가 처음으로 등장하는 도면을 식별하는 것이다. 설명 및 도면 내의 상이한 예시에서 동일한 참조 번호의 사용은 동일하거나 유사한 항목을 지시할 수 있다.
도 1은 본 명세서에서 설명되는 증강 현실(augmented reality) 기법을 사용하도록 작동 가능한 예시적 구현에 따른 환경에 대한 도면이다.
도 2는 도 1의 증강 현실 모듈을 더욱 상세히 보여주는 예시적인 구현에서의 시스템에 대한 도면으로 컴퓨팅 장치에 대한 베이시스 생성에 사용되는 것이다.
도 3은 상이한 크기 및 컬러를 갖는 복수의 AR 태그로부터 형성된 합성 증강 현실(composite AR) 태그를 보여주는 예시적 구현에 따른 장치를 도시한다.
도 4는 컬러 채널 기법이 컴퓨팅 장치의 적어도 일부를 위한 광학 베이시스를 계산하는 데 이용되는 예시적 구현에 따른 절차를 도시하는 순서도이다.
도 5는 증강 현실 디스플레이가 적색, 녹색, 및 청색 컬러 채널로부터의 광학 마커의 분석에 기초하여 생성되는 예시적 구현에 따른 절차를 도시하는 순서도이다.

개요

증강 현실(augmented reality) 기법이 본 명세서에서의 예시들로 설명된다. 증강 현실 기법은 사운드나 그래픽과 같은 컴퓨터로 생성된 출력을 사용하여 증강된 현실 세계 환경의 장면(view)을 생성하는 데 이용될 수 있다. 이런 방식으로, 현실 세계에 대한 사용자의 장면은 컴퓨팅 장치에 의해 생성된 감각 입력(sensory input)을 포함할 수 있고, 이에 따라 사용자 경험을 증강시킬 수 있다.

후술되는 논의에서는 광학 마커 및 컬러 채널의 사용을 포함하는 증강 현실 기법이 설명된다. 예를 들어, 카메라는 사용자의 미디어 룸(media room)과 같은 컴퓨팅 장치의 물리적 환경에 대한 이미지를 캡처하는 데 사용될 수 있다. 그 후 이미지는 물리적 환경에 관한 카메라의 위치 및/또는 방향의 지시를 제공하는 마커의 위치를 찾기 위해 분석될 수 있다. 예를 들어 증강 현실 태그(AR tags)는 카메라와 태그 사이의 거리 뿐만 아니라 태그에 관한 방향을 지시하는 데 사용될 수도 있다. 이런 방식으로, 이미지는 물리적 환경 내에서 카메라의 방향 및/또는 위치를 판별하기 위한 광학 베이시스를 계산하는 것을 제공할 수 있다.

그러나, 종래의 AR 태그는 태그가 카메라에 의해 분석될 수 있는 범위가 상당히 제한되었다. 예를 들어, 카메라는 주어진 해상도를 가지고, 종래의 AR 태그는 일반적으로 카메라와 AR 태그 사이의 제한된 범위의 거리에서 카메라에 의해 태그가 분석될 수 있도록 단일 스케일로 형성되었다. 따라서, 종래에는 설계자가 카메라와 AR 태그의 일반적인 작동 범위를 결정해야 했고, AR 태그 및 컴퓨팅 장치에 대해 설계된 범위와 다른 범위에서는 본 기법의 유용성이 제한될 수도 있었다.

따라서, 본 명세서에서는 복수의 AR 태그들이 겹쳐질 수 있는(overlaid) 기법이 설명된다. 또한, 이러한 태그들은 컴퓨팅 장치에 의해 분석 가능한 컬러 채널에 대응하는 상이한 스케일 및 컬러를 사용할 수 있다. 컴퓨팅 장치는, 예를 들어, 적색, 녹색, 및 청색 채널을 지원하는 카메라를 포함할 수 있다. 이러한 컬러를 갖는 AR 태그는 이들 컬러에 대응하는 상이한 스케일을 지원하는 합성 AR 태그로서 겹쳐질 수 있다. 예를 들어, 큰 스케일의 AR 태그는 적색을 띨 수 있고, 중간 스케일의 AR 태그는 녹색을 띠면서 적색 AR 태그 위에 겹쳐질 수 있다. 마찬가지로, 작은 스케일의 AR 태그는 청색을 띠면서 적색 및 녹색 AR 태그에 겹쳐질 수 있다. 카메라는 그 후 합성 태그의 이미지를 캡처하고 분리된 적색, 녹색, 청색 채널을 사용하여 대형, 중형, 또는 소형 태그 중 하나 이상을 분석할 수 있다. 이런 방식으로, 합성 태그의 전체 크기를 확대하지 않고도 컴퓨팅 장치에 의한 AR 태그 사용의 유효 범위를 3배로 만들 수 있다. 물론, 다른 컬러의 예시 및 광학 마커 기법이 고려될 수 있고, 이에 관한 상세한 논의는 후술될 것이다.

이하 논의에서는, 본 명세서에서 설명되는 기법을 이용할 수 있는 예시적인 환경이 먼저 설명된다. 예시적인 절차가 그 후 설명되는데, 이것은 예시적인 환경 뿐만 아니라 다른 환경에서도 실행될 수 있다. 따라서, 예시적인 절차의 수행이 예시적인 환경으로 제한되는 것은 아니며, 예시적인 환경도 예시적인 절차의 수행에 제한되는 것은 아니다.

예시적인 환경

도 1은 본 명세서에서 설명되는 증강 현실 기법을 사용하도록 작동 가능한 예시적인 구현에 따른 환경(100)에 대한 도면이다. 도시된 환경(100)은 다양한 방식에 따라 구성될 수 있는 컴퓨팅 장치(102)를 포함한다. 예를 들어, 비록 컴퓨팅 장치(102)가 이동식 통신 장치(예컨대, 태블릿, 무선 전화)로서 도시되어 있으나, 컴퓨팅 장치(102)는 기타 다양한 방식으로 구성될 수 있다. 예를 들어, 컴퓨팅 장치(102)는 데스크톱 컴퓨터, 이동국(mobile station), 오락장치, 디스플레이 장치에 연결되는 셋톱 박스, 게임 콘솔, 태블릿 등과 같은 네트워크(104)를 통해 통신할 수 있는 컴퓨터로서 구성될 수 있다.

따라서, 컴퓨팅 장치(102)의 범주는 상당한 메모리 및 프로세서 리소스를 갖춘 완전한 리소스 장치(예컨대, 개인용 컴퓨터, 게임 콘솔)에서부터 제한된 메모리 및/또는 프로세싱 리소스를 갖춘 저급 리소스 장치(예컨대, 종래의 셋톱 박스, 핸드헬드 게임 콘솔)에까지 이를 수 있다. 또한, 비록 단일의 컴퓨팅 장치(102)가 도시되어 있으나, 컴퓨팅 장치(102)는 복수의 상이한 장치의 대표적인 것들, 예컨대 사용자 착용형 헬멧과 게임 콘솔, "클라우드에서의" 플랫폼을 제공하는 작업을 수행하기 위한 비즈니스에 사용되는 복수의 서버들, 원격 제어와 셋톱 박스 조합, 기타 등등이 될 수도 있다.

컴퓨팅 장치(102)는 또한 증강 현실 모듈(106)을 포함하는 것으로 도시된다. 증강 현실 모듈(106)은 컴퓨팅 장치(102)의 실제 환경에 대한 장면을 증강시키는 컴퓨팅 장치(102) 기능의 대표적인 것이다. 도시된 예시에서는, 예를 들어, 컴퓨팅 장치(102)가 방(108)의 모서리에 위치한 소파(110), 의자(112), 및 테이블(114)을 갖춘 방(108) 내에 물리적으로 존재하고 있는 것처럼 도시된다.

컴퓨팅 장치(102)는 컴퓨팅 장치(102)의 물리적 환경에 대한 하나 이상의 이미지, 예컨대, 본 예시에서의 방(108)을 캡처하도록 구성되는 카메라(116)를 포함한다. 이런 하나 이상의 이미지가 증강될 "현실"의 장면을 캡처하는 데 사용될 수 있으나, 마이크와 같은 다른 입력 장치가 고려될 수도 있다. 증강 현실 모듈(106)은 프레임(118)을 생성하기 위해 카메라(116)로부터의 데이터(예컨대, 하나 이상의 이미지)를 수신할 수 있는데, 이것은 컴퓨팅 장치(102)의 프레임 버퍼(120)에 저장된 것처럼 도시된다.

프레임(118)은 그 후 컴퓨팅 장치(102)의 디스플레이 장치(122)에 의해 표시되는데, 비록 이동식 통신 장치의 일부로서 도시되어 있으나 다양한 구성을 가정할 수도 있다. 하나 이상의 실시예에서, 디스플레이 장치(122)는 헬멧의 일부로서 포함될 수 있고 사용자의 눈 하나 이상에 의해 보이도록 위치될 수 있다. 또한, 디스플레이 장치(122)는 부분적으로 투명할 수도 있고, 투명하지 않을 수도 있다. 예를 들어, 디스플레이 장치(122)는 카메라(116)에 의해 캡처된 이미지를 증가물(augmentation)과 함께 모두 표시하도록 구성될 수 있다. 다른 예시에서, 디스플레이 장치(122)는 카메라에 의해 캡처된 이미지의 장면 없이 증가물을 표시하도록 구성될 수도 있지만, 물리적 환경에 대한 장면이 디스플레이 장치(122)의 적어도 일부를 통해 보여지도록 허용할 수도 있다. 그러므로, 증강 현실 모듈(106)에 의해 생성된 증가물은 다양한 방식에 따라 표시될 수 있다.

도시된 예시에서, 디스플레이 장치(122)에 의해 표시되는 프레임(118)은 카메라(116)에 의해 캡처된 이미지를 포함한다. 프레임(118)은 증강 현실 모듈(106)에 의해 생성되었던 복수의 증가물도 포함한다. 디스플레이 장치(122)에 의해 표시된 도시된 예시는 방(108)의 벽에 위치하는 것처럼 보이는 제1 및 제2 그림(124, 126)을 비롯하여 테이블(114) 위에 놓이는 것처럼 보이는 그릇(106)을 포함한다. 따라서, 증강 현실 모듈(106)은 디스플레이 장치(122)에 의해 표시되는 현실의 장면을 증강시킬 수 있다. 증강 현실 모듈(106)에 의해 생성되는 증가물은 여러 다양한 형태, 예컨대 게임의 일부로서 객체 및 컴퓨팅 장치(102)의 환경에 대한 장면의 기타 변화와 같은 것으로 상정될 수 있다는 점은 지극히 명백하다고 할 것이다.

이러한 장면을 생성하고 증가물을 "어디에" 위치시킬지 알기 위해, 증강 현실 모듈(106)은 여러 기법을 활용(leverage)하여 예컨대 도시된 방(108)과 같은 환경에 관한 컴퓨팅 장치(102)의 방향 및/또는 위치를 판별할 수 있다. 예를 들어, 증강 현실 모듈(106)은 컴퓨팅 장치(102)가 어떻게 위치되고, 지향되며, 이동되는지 등을 판별하기 위해 하나 이상의 광학 마커를 활용할 수 있다. 이러한 광학 마커는 다양한 형태를 취할 수 있다. 예를 들어, 증강 현실 모듈(106)은 거실 내의 하나 이상의 시점(view point)을 마커로서 설정할 수 있고, 그에 따라 방향 및/또는 위치를 판별하는 베이시스(basis)로 제공할 수 있는데, 예컨대 테이블(114)의 모서리, 의자(112)의 방향 등이 될 수 있다. 따라서, 방 안에 있는 물품은 컴퓨팅 장치(102)가 방(108) 내부의 어디에 위치하는지 판별하는 베이시스로서 동작할 수 있다.

다른 예시에서, 증강 현실 모듈(106)은 컴퓨팅 장치(102)의 주변 환경 내에 물리적으로 위치한 하나 이상의 증강 현실(AR) 태그의 장면을 활용할 수 있다. 예시적인 AR 태그(130)가 방(108) 안의 테이블(114) 위에 위치한 것처럼 도시된다. 비록 단일의 AR 태그(130)가 도시되어 있으나, 복수의 AR 태그가 환경 내에서 이용될 수 있다. 예시적인 AR 태그(130) (또는 다른 마커)는 깊이(예컨대, AR 태그(130)와 카메라(116) 사이의 거리), AR 태그(130)에 대한 컴퓨팅 장치(102)의 3-차원 방향 등을 판별하는 베이시스로서 사용될 수 있다.

예를 들어, AR 태그(130)는 AR 태그(130)로부터의 거리 및/또는 AR 태그(130)에 관한 컴퓨팅 장치(102)의 방향을 결정하기 위해 증강 현실 모듈(106)에 의해 인식될 수 있는 패턴을 포함할 수 있다. 이러한 방식으로, 마커가 증강 현실 모듈(106)에 의해 활용되어 컴퓨팅 장치(102)가 물리적 환경 내의 어디에서 어떻게 위치하고 있는지 판별할 수 있다. 증강 현실 모듈(106)은 이러한 판별을 컴퓨팅 장치(102)의 사용자에게 보이는 출력물이 될 증가물을 생성하는 베이시스로서 사용할 수 있다.

증강 현실 모듈(106)은 컴퓨팅 장치(102)의 위치 및/또는 방향을 판별하고 확인하기 위해 하나 이상의 센서(132)를 활용할 수도 있다. 예를 들어, 센서(132)는 관성 측정 유닛(IMU)으로 구성되어, 자이로스코프, 하나 이상의 가속도계, 자력계를 비롯한 이들의 임의의 조합 등을 포함할 수 있다. 이러한 유닛은 전술된 광학 마킹 기법을 사용하여 생성된 베이시스를 확인하는 외부 베이시스를 생성하는 데 사용될 수 있다. 예를 들어, 카메라(116)를 활용하는 전술된 광학 마킹 기법을 사용하여 생성된 베이시스는 하나 이상의 센서, 예컨대, IMU(134)에 의해 생성된 베이시스를 사용하여 불일치가 평가될 수 있다. 이러한 방식으로, 컴퓨팅 장치(102)가 그것의 물리적 환경에 대한 방향과 위치를 판별하기 위해 본 기법이 사용될 수 있다.

증강 현실 모듈(106)은 또한 마커 식별 모듈(136)을 포함하는 것으로 도시된다. 마커 식별 모듈(136)은 AR 태그(130)와 같은 광학 마커를 갖춘 컬러 채널 기법을 사용하는 기능의 대표적인 것이다. 예를 들어, 마커 식별 모듈(136)은 각각 상이한 컬러인 복수의 채널을 갖는 카메라(116)로부터 피드(feed)를 수신할 수 있다. 카메라(116)에 의해 지원되는 컬러 채널에 따라 AR 태그(130)를 착색함으로써 상이한 스케일의 AR 태그(130)가 지원될 수 있다. 이런 방식으로, 광학 마커 기법의 유효 범위는 상이한 스케일 및 상이한 컬러를 활용함으로써 확장될 수 있는데, 이에 대한 더욱 상세한 논의는 도 2와 관련하여 확인될 수 있다.

일반적으로, 본 명세서에서 설명되는 임의의 기능은 소프트웨어, 펌웨어, 하드웨어(예컨대, 고정 논리 회로), 수작업, 또는 이들 구현의 조합을 사용하여 구현될 수 있다. 본 명세서에서 사용되는 "모듈"과 "기능"이라는 용어는 일반적으로 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합을 나타낸다. 소프트웨어 구현의 경우, 모듈, 기능, 또는 논리는 명령어 및 하나 이상의 프로세서 및/또는 기능 블록과 같은 하드웨어에 의해 지정된 작업을 수행하는 하드웨어를 나타낸다.

예를 들어, 컴퓨팅 장치(102)는 컴퓨팅 장치(102)의 하드웨어로 하여금 프로세서, 기능 블록 등과 같은 작업을 수행하도록 하는 개체(예컨대, 소프트웨어)를 포함할 수 있다. 컴퓨팅 장치(102)는 컴퓨팅 장치, 더욱 구체적으로는 컴퓨팅 장치(102)의 하드웨어가 작업을 수행하도록 해주는 명령어를 유지하도록 구성될 수 있는 컴퓨터 판독 가능 매체를 포함할 수 있다. 따라서, 명령어는 하드웨어가 작업을 수행하게끔 구성하도록 기능하고, 이런 방식으로 결국 기능을 수행하는 하드웨어의 변형을 초래한다. 명령어는 여러 상이한 구성을 통해 컴퓨팅 장치(102)로 컴퓨터 판독 가능 매체에 의해 제공될 수 있다.

컴퓨터 판독 가능 매체의 이러한 한가지 구성은 신호 베어링 매체(signal bearing medium)이고, 결과적으로 네트워크(104)와 같은 것을 통해 컴퓨팅 장치의 하드웨어로 명령어를 전송하도록(예컨대, 반송파처럼) 구성된다. 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 저장 매체로 구성될 수도 있으므로 신호 베어링 매체가 아닐 수도 있다. 컴퓨터 판독 가능 저장 매체의 예시는 램(RAM), 롬(ROM), 광학 디스크, 플래시 메모리, 하드 디스크 메모리를 비롯하여 명령어 및 다른 데이터를 저장하기 위해 자기, 광학 및 기타 기법을 사용할 수 있는 다른 메모리 장치를 포함한다.

도 2는 도 1의 증강 현실 모듈(106)을 더욱 상세히 보여주는 예시적인 구현에서의 시스템(200)에 대한 도면으로 복수의 상이한 컬러 채널을 활용하는 컴퓨팅 장치(102)에 대한 베이시스 생성에 사용되는 것이다. 이 예시에서 카메라(116)는 AR 태그(130)의 캡처링 이미지로서 도시된다.

이미지는 복수의 상이한 컬러 채널들로 분리되는 것으로 도시되는데, 예시에서는 적색 컬러 채널(202), 녹색 컬러 채널(204), 및 청색 컬러 채널(206)을 포함한다. 각각의 채널은 각 채널의 컬러에 대응하는 마커의 이미지를 포함하는 것으로 도시된다. 예를 들어, 적색 컬러 채널(202)은 상대적으로 큰 스케일의 적색 AR 태그의 이미지를 포함하게 되어 카메라(116)와 AR 태그(130) 사이의 상대적으로 먼 거리에서 보일 수 있도록 구성된다. 그러나 녹색 컬러 채널(204)은 적색 AR 태그의 큰 스케일과 비교하여 상대적으로 중간 스케일을 갖는 녹색 AR 태그의 이미지를 포함하게 되어 카메라 및 AR 태그(130) 사이의 상대적으로 중간 거리에서 보일 수 있도록 구성된다. 마찬가지로, 청색 컬러 채널(206)은 상대적으로 작은 스케일을 갖는 청색 AR 태그의 이미지를 포함하게 되어 카메라(116)와 AR 태그(130) 사이의 상대적으로 가까운 거리에서 보일 수 있도록 구성된다. 이런 방식으로, 각각의 컬러 채널은 카메라(116)의 단일 해상도를 사용하여 카메라(116) 및 AR 태그(130) 사이의 상이할 수 있는(즉, 전체적으로 또는 부분적으로) 거리의 특정 범위에 관련될 수 있다.

마커 식별 모듈(136)은 그 후 컴퓨팅 장치(102)의 일부, 예컨대 카메라(116)를 포함하는 일부의 위치나 방향을 판별하기 위해 적색, 녹색, 및 청색 컬러 채널(206)을 비교하여 분석 가능한 하나 이상의 이미지를 찾는다. 예를 들어, 카메라(116)는 적색 및 녹색 컬러 채널(202, 204)로부터 얻게 된 이미지 내의 AR 태그는 분석 가능하지만 청색 컬러 채널(206)에 포함된 AR 태그는 그렇지 않은 거리에 위치될 수 있다.

이 예시에서, 마커 식별 모듈(136)은 식별된 마커(208)에 이르기 위해 AR 태그의 하나 이상의 분석된 이미지를 활용(예컨대, 평균, 가중 평균, 신뢰 값, AR 태그의 "가장 선명한" 이미지를 단독으로 사용 등)할 수 있다. 식별된 마커(208)는 그 후 컴퓨팅 장치(102)의 일부의 위치나 방향을 묘사하는 광학 베이시스(212)를 계산하기 위해 베이시스 계산 모듈(210)에 의해 사용될 수 있다. 이러한 광학 베이시스(212)는 전술된 증강 현실 디스플레이를 생성하는 것과 같은 다양한 목적을 위해 사용될 수 있다.

이런 방식으로, 본 명세서에서 기술된 컬러 채널 기법은 종래의 기법을 사용할 때 직면하는 다양한 결점을 극복할 수 있다. 예를 들어, 종래의 기법은 AR 태그의 이미지를 캡처하는 데 사용되는 카메라의 해상도 한계로 인해 제한된 범위를 가질 수밖에 없었다. AR 태깅은 종래로부터 고정된 크기의 마커를 식별하는 것에 의존했기 때문에, 종래의 AR 태그와 카메라 사이 거리의 작동 범위는 이들 조합에 의해 제한되었다. 예를 들어, 이 조합은 AR 태그의 이미지의 해상도 범위를 넘어 카메라가 이동하면 실패할 수 있다. AR 태그의 특징을 분석하는 능력은 예컨대, 카메라의 픽셀 해상도가 더 이상 그 특징을 분석할 만큼 충분하지 않으면 상실될 수 있다.

마찬가지로, 종래의 "큰" AR 태그는 AR 태그가 분석될 수 있는 최소한의 범위를 제한할 수 있는데, 일반적으로 캡처된 이미지가 이미지를 분석할 수 있기 위해서는 태그의 주요 부분을 포함해야 하기 때문이다. 예를 들어, 가까운 범위에서 카메라는 큰 AR 태그 일부의 이미지를 광학 베이시스를 계산하기 위해 태그를 충분히 식별할 만큼 캡처하지 못할 수도 있다.

다른 예시에서, 종래의 AR 태그는 만약 AR 태그가 컴퓨팅 장치에 의해 분류될 수 없으면 스킵될 수 있다. 이것은 AR 태그가 식별될 수 없는 경우 에러를 유발할 수 있고 광학 베이시스의 판별 결여를 초래할 수 있다. 또 다른 예시에서, 종래의 AR 태그는 겹쳐질 수 없었다. 따라서, 만약 물리적 환경이 상대적으로 작으면서 근거리 및 원거리 모두에서 보여야 한다면, 이러한 상이한 거리를 지원하는 데 사용되는 각 유형의 AR 태그를 포함하는 종래의 기법을 사용해서는 환경 내에 충분한 공간이 없을 수도 있다.

그러나 본 명세서에서 기술된 컬러 채널 기법을 사용하면, 상이한 스케일을 갖는 광학 마커의 이미지를 캡처하는 데 분리된 채널이 사용될 수 있어서, 카메라와 마커 사이 거리의 유효 범위를 확대할 수 있다. 예를 들어, 카메라(116)로부터 착신되는 RGB 스트림은 도시된 바와 같이 그것을 이루는 적색, 녹색, 및 청색 채널(202, 204, 206)로 분리될 수 있다. 채널은 그 후 그레이스케일로 변환되고 마커를 식별하기 위해 처리될 수 있다. 따라서, 상이한 스케일의 마커는 상이한 컬러 채널에 대해 부호화될 수 있다. 게다가, 이전의 참조 위치에 기초하여 마커 식별 모듈(136)이 주어진 프레임에 대해 비교적 어떤 이미지가 가장 적절한지 추정할 수 있고, 이에 따라 충분한 픽셀 적용 범위를 촉진할 수 있다.

도시된 바와 같이, 큰 마커 채널(예컨대, 적색 컬러 채널(202))은 카메라의 위치나 방향에 대한 상대적으로 먼 거리 등록에 사용될 수 있다. 반면에, 작은 마커 채널(예컨대, 청색 컬러 채널(206))은 카메라(116)의 위치나 방향에 대한 상대적으로 가까운 거리 등록에 사용될 수 있다. 만약 카메라(116)가 큰 AR 태그에 가까이 다가가면, 예를 들어, 카메라(116)의 시야가 큰 AR 태그의 영역을 절단할 수 있고, 이는 큰 태그의 일부인 이미지를 식별되지 못하게 할 수도 있다. 따라서, 이 경우에는 다른 컬러 채널이 대응 AR 태그(예컨대, 녹색 또는 청색 컬러 채널(204, 206))를 식별하는 데 사용될 수 있다.

또한, 마커 식별 모듈(136)은 복수의 컬러 채널로부터의 AR 태그 해상도를 활용할 수 있다. 예를 들어, 마커 식별 모듈(136)은 복수의 컬러 스트림 각각에 포함된 복수의 AR 태그를 식별하는 것이 가능할 수 있다. 식별된 AR 태그는 그 후 가중치 합계, 신뢰 값의 평균 등과 같은 것을 택하여 조합된 값을 구하는 데 사용될 수 있다. 복수의 상이한 컬러의 사용을 통해, AR 태그(130)는 합성 AR 태그를 형성하기 위해 결합될 수도 있고, 이렇게 하여 더 넓은 범위를 지원하면서도 전체 공간은 더 적게 이용할 수 있는데, 이에 대한 자세한 논의는 이어지는 도면과 관련하여 확인될 수 있다.

도 3은 상이한 크기와 컬러를 갖는 복수의 AR 태그로부터 형성된 합성 AR 태그를 보여주는 예시적인 구현에 따른 장치(300)를 도시한다. 이 예시에서, 상이한 스케일을 갖는 3가지 상이한 크기의 마커가 도시되는데, 적색 마커(302)는 상대적으로 큰 스케일을 띠고, 녹색 마커(304)는 상대적으로 중간 스케일을 띠며, 청색 마커(306)는 상대적으로 작은 스케일을 띤다. 적색 마커(302)에 의한 적색의 사용은 전방 해싱(forward hashing)의 사용을 통해 도시되고, 녹색 마커(304)에 의한 녹색의 사용은 후방 해싱(backward hashing)의 사용을 통해 도시되며, 청색 마커(306)에 의한 청색의 사용은 수직 해싱(vertical hashing)의 사용을 통해 도시된다.

상이한 컬러의 사용을 통해, 합성 마커(308)는 적색, 녹색, 및 청색 마커(306)를 포함하여 형성될 수 있다. 예를 들어, 합성 마커(308)의 일부는 한 가지 컬러, 두 가지 컬러, 세 가지 컬러, 무색 등을 포함할 수 있다. 따라서, 상이한 스케일의 마커가 합성 마커(308)에 의해 지원될 수 있도록 컬러는 겹쳐질 수 있다. 채널을 분리함으로써, 각각의 컬러는 겹쳐져 있다고 할지라도 그 후 분석될 수 있다.

비록 이 예시에서는 세 가지 컬러가 설명되었으나, 그 사상 및 범주를 벗어나지 않는 한 여러 상이한 개수의 컬러 및 컬러 그 자체가 이용될 수도 있다는 것은 지극히 명백하다. 또한, 비록 이 예시에서는 AR 태그가 묘사되었으나, 도 1과 관련하여 전술된 바와 같이 물리적 환경 내에서 일반적으로 발견되고 식별 가능한 객체와 같은 다양한 광학 마커가 활용될 수 있다는 점도 지극히 명백하다고 할 것이다.

예시적인 절차

이하 논의는 전술된 시스템 및 장치를 이용하여 구현될 수 있는 증강 현실 기법을 설명한다. 각 절차의 양상은 하드웨어, 펌웨어, 또는 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 절차는 하나 이상의 장치에 의해 수행되는 작업을 나타내는 블록의 세트로 도시되는데, 각 블록에 따른 작업을 수행하기 위해 도시된 순서에 필수적으로 제한되는 것은 아니다. 이어지는 논의의 일부에서는, 도 1의 환경(100)과 도 2 및 3의 시스템 및 장치(200, 300)가 각각 참조될 것이다.

도 4는 예시적인 구현에 따른 절차(400)가 도시되는데, 여기서 컬러 채널 기법은 컴퓨팅 장치의 적어도 일부를 위한 광학 베이시스를 계산하는 데 이용된다. 카메라로부터 획득되는 복수의 컬러 채널은 검사된다. 각각의 컬러 채널은 다른 컬러 채널에서 묘사된 광학 마커와 상이한 스케일을 갖는 광학 마커를 묘사한다(블록 402). 카메라(116)는, 예를 들어, AR 태그(130)의 이미지, 방(106) 안의 객체 (광학 마커로 사용될 수 있음) 등을 캡처할 수 있다.

복수의 컬러 채널 각각에서 적어도 하나의 광학 마커가 식별된다(블록 404). 마커 식별 모듈(136)은, 예를 들어, 하나 이상의 이미지가 광학 마커를 식별하기에 충분한지 판별하기 위해 상이한 컬러 채널 내의 이미지를 검사한다.

광학 베이시스는 컴퓨팅 장치 일부의 적어도 위치나 방향을 기술하는 데 사용할 수 있는 식별된 광학 마커를 사용하여 계산된다(블록 406). 광학 베이시스의 계산은, 예를 들어, 단일의 컬러 채널에서 식별된 단일의 광학 마커, 복수의 채널로부터 얻어진 이미지에 기초할 수도 있고, 이전의 광학 베이시스 및/또는 컬러 채널로부터 얻어진 이미지를 사용하는 보간(interpolation)을 포함할 수도 있다.

증강 현실 디스플레이는 광학 베이시스에 적어도 부분적으로 기초하여 컴퓨팅 장치에 의한 디스플레이를 위해 생성된다(블록 408). 증강 현실 디스플레이는, 예를 들어, 광학 베이시스에 따라 디스플레이 내에 위치하는 증강 현실 모듈(106)에 의해 생성된 개체를 포함하도록 구성될 수 있다.

도 5는 증강 현실 디스플레이가 적색, 녹색, 및 청색 컬러 채널로부터의 광학 마커의 분석에 기초하여 생성되는 예시적인 구현에 따른 절차를 묘사한다. 제1 이미지는 카메라의 적색 채널로부터 획득되고, 제2 이미지는 카메라의 녹색 채털로부터 획득되며, 제3 이미지는 카메라의 청색 채널로부터 획득된다(블록 502). 카메라(116)는 예를 들어, 적색, 녹색, 및 청색 이미지를 캡처하도록 구성되는 센서를 포함할 수 있고, 분리된 컬러 채널을 통해 이미지를 제공한다. 다른 예시에서, RGB 피드(feed)는 컴퓨팅 장치(102)에 의해 적색, 녹색, 및 청색 채널로 분리될 수 있다.

하나 이상의 모듈이 사용되어 제1, 제2, 또는 제3 이미지 중 어느 것이 하나 이상의 모듈에 의해 분석 가능한 광학 마커를 묘사하는지 식별하여, 장치의 적어도 일부의 위치나 방향을 판별한다(블록 504). 전술된 바와 같이, 이미지는 그레이스케일로 변환될 수 있고, 하나 이상의 이미지가 AR 태그와 같은 광학 마커를 식별하기 위해 분석 가능한지 판별하도록 처리될 수 있다.

베이시스는 계산되어 장치의 적어도 일부의 위치나 방향을 기술한다(블록 506). 베이시스는, 예를 들어, AR 태그의 단일 이미지, 2개의 이미지로부터의 평균 값, 3개의 컬러 채널의 가중 평균 등으로부터 계산될 수 있다. 증강 현실 디스플레이는 그 후 계산된 베이시스를 사용하여 디스플레이 장치에 의해 표시되도록 생성된다(블록 508). 전술된 바에 따르면, 비록 적색, 녹색, 및 청색 컬러 채널이 설명되었으나, 여러 상이한 컬러라도 사상 및 그 범주를 벗어나지 않는 한 이용될 수 있다.

결론

비록 본 발명은 구조적 특징 및/또는 방법적 동작에 특유한 언어로 기술되었지만, 첨부된 특허청구범위 내에 정의된 발명이 설명된 특정 구조나 동작에 필연적으로 제한되는 것은 아니라는 점을 이해할 수 있을 것이다. 오히려, 특정 구조 및 동작은 청구된 발명을 구현하는 예시적인 형태로서 개시된 것이라 할 것이다.

Claims

컴퓨팅 장치에 의해 구현되는 방법으로서,
카메라로부터 획득된 복수의 컬러 채널 - 상기 컬러 채널 각각은 다른 컬러 채널에서 묘사된 다른 광학 마커와 상이한 스케일(scale)을 갖는 광학 마커를 묘사하고, 상기 상이한 스케일의 광학 마커는 상기 카메라로부터의 상이한 거리에서 분해 가능함(resolvable) - 을 검사하는 단계와,
하나 이상의 광학 태그의 위치를 찾기 위해 상기 광학 마커의 분해된(resolved) 이미지들을 비교함으로써 상기 복수의 컬러 채널 각각에서 적어도 상기 광학 마커를 식별하는 단계와,
상기 컴퓨팅 장치의 일부의 위치 및 방향 중 적어도 하나를 기술하는 데 사용 가능한 상기 식별된 광학 마커를 사용하여 물리적 환경에서 상기 카메라의 상기 위치 및 방향 중 적어도 하나를 결정하기 위한 광학 베이시스(optical basis)를 계산하는 단계
를 포함하는, 컴퓨팅 장치에 의해 구현된 방법.
제1항에 있어서,
상기 복수의 컬러 채널은 적색 컬러 채널, 녹색 컬러 채널, 및 청색 컬러 채널을 포함하는 것인, 컴퓨팅 장치에 의해 구현된 방법.
제1항에 있어서,
상기 광학 마커의 상기 하나 이상의 광학 태그는 상기 카메라로부터 상이한 거리에서 분해 가능한 합성 증강 현실(composite augmented reality) 태그인 것인, 컴퓨팅 장치에 의해 구현된 방법.
제1항에 있어서,
상기 복수의 컬러 채널을, 상기 검사하는 단계에서 사용될 분리된 피드들(feeds)로 분리하는 단계를 더 포함하는, 컴퓨팅 장치에 의해 구현된 방법.
제1항에 있어서,
상기 계산하는 단계는, 상기 복수의 컬러 채널로부터의 상기 광학 태그 각각을 사용하여 계산된 신뢰 값의 가중 출력을 사용하여 코디네이트 프레임(coordinate frame)을 분해(resolve)하는 단계를 포함하는 것인, 컴퓨팅 장치에 의해 구현된 방법.
제1항에 있어서,
상기 식별하는 단계는, 상기 복수의 컬러 채널의 이미지로부터 상기 광학 베이시스를 계산하기에 충분한 해상도를 갖는 적어도 하나의 상기 광학 마커를 선택하는 단계를 포함하는 것인, 컴퓨팅 장치에 의해 구현된 방법.
제1항에 있어서,
상기 광학 마커는 복수의 상이한 컬러로 형성된 합성 광학 마커의 일부이고, 상기 컬러 각각은 상기 컬러 채널 각각에 대응하며 상기 스케일 각각으로 상기 광학 마커 각각을 보여주도록 분해할 수 있는 것인, 컴퓨팅 장치에 의해 구현된 방법.
제1항에 있어서,
상기 광학 마커는 증강 현실 태그로서 구성되는 것인, 컴퓨팅 장치에 의해 구현된 방법.
제1항에 있어서,
상기 컴퓨팅 장치의 상기 일부는 사용자에 의해 착용 가능한 것인, 컴퓨팅 장치에 의해 구현된 방법.
제1항에 있어서,
상기 광학 베이시스에 적어도 부분적으로 기초하여 상기 컴퓨팅 장치에 의한 디스플레이를 위해 증강 현실 디스플레이(an augmented reality display)를 생성하는 단계를 더 포함하는, 컴퓨팅 장치에 의해 구현된 방법.
제1항에 있어서,
상기 광학 마커의 상기 하나 이상의 광학 태그는,
상기 컴퓨팅 장치의 상기 카메라에 의해 제1 거리에서 분해 가능(resolvable)하고, 제1 컬러를 사용하여 묘사되는 제1 광학 태그와,
상기 컴퓨팅 장치의 상기 카메라에 의해 상기 제1 광학 태그가 분해 불가능한 제2 거리에서 분해 가능하고, 상기 제1 컬러와 상이한 제2 컬러를 사용하여 묘사되는 제2 광학 태그
를 포함하는 것인, 컴퓨팅 장치에 의해 구현된 방법.
장치에 있어서,
컴퓨팅 장치의 카메라에 의해 제1 거리에서 분해 가능(resolvable)하고, 제1 컬러를 사용하여 묘사되는 제1 광학 태그와,
상기 컴퓨팅 장치의 상기 카메라에 의해 상기 제1 광학 태그가 분해 불가능한 제2 거리에서 분해 가능하고, 상기 제1 컬러와 상이한 제2 컬러를 사용하여 묘사되는 제2 광학 태그
를 포함하고,
상기 제1 광학 태그 및 상기 제2 광학 태그는 상기 제1 컬러와 상기 제2 컬러를 포함하는 합성 광학 태그를 형성하고, 상기 제1 거리는 상기 제2 거리와 상이하고, 상기 제1 광학 태그는 상기 제1 컬러에 기초하여 상기 제1 거리에서 분해 가능하지만 상기 제2 거리에서는 분해 불가능하고, 상기 제2 광학 태그는 상기 제2 컬러에 기초하여 상기 제2 거리에서 분해 가능하지만 상기 제1 거리에서는 분해 불가능한 것인, 장치.
제12항에 있어서,
상기 제1 광학 태그 및 상기 제2 광학 태그는 서로 겹쳐지는 것(overlaid)인, 장치.
제12항에 있어서,
상기 제1 광학 태그 및 상기 제2 광학 태그가 상기 카메라에 의해 분해 불가능한 제3 거리에서 분해 가능하고, 상기 제1 컬러 및 상기 제2 컬러와 상이한 제3 컬러를 사용하여 묘사되는 제3 광학 태그를 더 포함하는, 장치.
제14항에 있어서,
상기 제1 컬러, 상기 제2 컬러, 및 상기 제3 컬러는 적색 컬러, 녹색 컬러, 또는 청색 컬러이고,
상기 광학 태그들은, 상이한 거리들에서 분해 가능한 상기 광학 태그들을 포함하는 합성 증강 현실 마커를 형성하는 것인, 장치.
제12항에 있어서,
상기 제1 광학 태그는 상기 카메라의 해상도로 인해 상기 제2 거리에서 상기 컴퓨팅 장치의 상기 카메라에 의해 분해 불가능한 것인, 장치.
장치에 있어서,
카메라;
디스플레이 장치; 및
하나 이상의 모듈
을 포함하고,
상기 하나 이상의 모듈은,
상기 카메라의 적색 채널로부터 제1 이미지를, 상기 카메라의 녹색 채널로부터 제2 이미지를, 그리고 상기 카메라의 청색 채널로부터 제3 이미지를 취득하고,
상기 장치의 적어도 일부의 위치 및 방향 중 적어도 하나를 판별하기 위해 상기 제1, 제2, 및 제3 이미지 중 어느 이미지가 상기 하나 이상의 모듈에 의해 분해 가능한 광학 마커 - 상기 제1, 제2, 및 제3 이미지는 각각 개별 광학 마커를 포함하고, 상기 개별 광학 마커는 상기 장치로부터 상이한 거리에서 분해 가능함 - 를 묘사하는지 식별하고,
상기 카메라로부터의 현재 거리에서 분해 가능한 광학 마커에 기초하여 상기 장치의 물리적 환경에서 상기 카메라의 위치 및 방향 중 적어도 하나를 기술하는(describe) 광학 베이시스를 계산하고,
상기 계산된 베이시스를 사용하여 상기 디스플레이 장치에 의해 디스플레이될 증강 현실 디스플레이를 생성하도록
구성되는 것인, 장치.
제17항에 있어서,
상기 제1, 제2, 또는 제3 이미지 중 적어도 하나의 이미지는, 상기 제1, 제2, 또는 제3 이미지 중 다른 이미지의 다른 광학 마커와 상이한 거리에서 상기 카메라에 의해 분해 가능한 광학 마커를 묘사하는 것인, 장치.
제17항에 있어서,
상기 광학 마커는 적색 컬러, 녹색 컬러, 및 청색 컬러를 사용하여 형성되는 합성 광학 마커의 일부인 것인, 장치.
제19항에 있어서,
상기 개별 광학 마커에 대응하는 컬러들 중 적어도 2개의 컬러는 상기 합성 광학 마커의 적어도 일부에서 겹쳐지는 것(overlaid)인, 장치.