KR20100097297A - 마커를 사용하지 않는 증강공간 제공 장치 - Google Patents

Abstract

본 발명은 마커를 사용하지 않는 증강현실 장치에 관한 것으로, 본 장치는 증강공간 가시화 서비스를 제공한다. 상기 장치는 영상을 수신하고, 수신한 영상 내에서 패턴 DB에 등록된 패턴을 검출하고, 검출된 패턴의 영상 영역 및 패턴 식별자를 인식하고, 검출된 패턴에 일치되도록 콘텐츠를 합성하여 재구성된 영상 프레임을 스크린으로 출력한다. 본 장치는 입체 콘텐츠를 표현함에 있어서 마커를 사용하지 않고 사용자의 위치에서 시선방향으로 바라보는 합성된 장면을 제공하는 효과가 있으며, 패턴의 검출을 위해서 패턴 DB에 등록되는 각 패턴 영상 및 임의의 수신되는 영상에 대해서 특징 벡터들을 추출한다. 각 특징 벡터는 영상의 특정 위치에서의 작은 국부 영역의 모양을 명세하며 그 모양의 크기나 회전과 무관하게 국부적인 모양을 표현한다. 패턴 DB에 등록된 패턴들 중의 한 패턴이 임의의 수신되는 영상의 일부에 나타나는지의 여부의 판단은 두 영상에 대한 특징 벡터들을 비교하고 일치되는 특징 벡터의 개수 및 일치되는 벡터 쌍들의 일관성을 통하여 판단한다.

무마커 추적, 증강현실, 입체 콘텐츠

Description

마커를 사용하지 않는 증강공간 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING AUGMENTED SPACE WITHOUT USING MARKERS}

본 발명은 마커를 사용하지 않는 증강현실 장치에 관한 것으로, 특히, 본 장치는 증강공간 가시화 서비스를 제공하여 장치는 영상을 수신하고, 상기 수신한 영상 내에서 패턴 DB에 등록된 패턴을 검출하고, 상기 검출된 패턴의 영상 영역 및 패턴 식별자를 인식하고, 상기 검출된 패턴에 일치되도록 콘텐츠를 합성하여 재구성된 영상 프레임을 스크린으로 출력한다. 특히, 본 발명은 입체 콘텐츠를 표현함에 있어서 마커를 사용하지 않고 사용자의 위치에서 시선방향으로 바라보는 합성된 장면을 제공하는 효과가 있는 증강공간 제공 장치 및 방법에 관한 것이다.

본 발명은 실영상에 기반을 두면서 입체 콘텐츠를 표현하는 수단인 증강현실 장치로서, 일반적인 증강현실 장치는 미리 고안된 형태의 마커를 특정 물체의 표면에 부착하고 카메라로 부터 영상을 캡처하여 부착된 마커를 인식하는 절차를 거처 이루어진다. 이러한 카메라로 부터 영상을 캡처하여 부착된 마커를 인식하는 시스템에 있어서는 미리 고안된 마커를 실물에 부착해야 하는 불편함이 따른다. 상기 마커에 기반을 두는 방법들은 주로 규칙적인 흑백 패턴을 다수 개 고안하고 이들을 미리 등록한 후에 영상에서 등록된 흑백 패턴이 나타나는지를 검사하는 기법들을 사용하고 있다.

일반적으로, 상기와 같은 증강현실 장치는 규칙적인 흑백 패턴이 영상에 나타나는지를 인식하는 절차가 빠르게 수행될 수 있는 장점이 있으나 반면에 규칙적인 흑백 패턴을 미리 실제 물체의 표면에 부착하거나 프린트하여야 하는 단점이 존재한다. 다시 말하면 입력되는 영상 프레임을 처리하는 단계에 있어서 단순하고 규칙적인 흑백 패턴의 경우에는 그 절차가 비교적 간단하다. 우선 이진화 처리를 통해서 밝기값을 흑백 차이만 가지도록 변환하고 사각형 영역의 흑백 패턴의 위치를 계산한다. 상기 패턴의 형태가 사각형 형태와 같은 규칙적인 흑백 패턴이 아닌 경우에는 영상의 밝기값들을 전역적으로 사용하여 유사도를 계산해야 하므로 계산 시간이 크게 증가하고 또한 영역 결정에 있어서의 불확실성도 증가하는 어려움이 있다. 따라서 기존의 증강현실 장치들은 이러한 어려움의 회피를 위해서 영상 합성을 위한 상대 위치의 계산에 있어서 대부분 단순하고 규칙적인 흑백 패턴을 사용하고 있다.

상기 증강현실 장치를 가정되지 않는 임의의 외부 환경에서 사용하기 위해서는 실영상에 나타날 패턴을 미리 가정하지 않는 것이 바람직하다. 본 발명에서는 마커를 부착하지 않는 상황에서의 증강현실 장치의 효과적인 구현을 이루고자 함이 목적이다. 본 발명은 임의의 패턴 영상을 미리 등록하고 등록된 패턴 영상의 가시 여부를 결정하고 패턴의 존재가 확인되면 패턴의 식별번호 및 패턴의 영상 영역을 결정한다.

상기 패턴 영상의 표현에 있어서는 패턴 영상의 밝기값 자체가 아니라 고안된 특징 벡터들을 사용한다. 상기 패턴 영상으로부터 충분한 개수의 특징 벡터들을 생성하고 이들 특징 벡터들을 사용하여 내부적인 처리를 수행한다. 다시 말하면 패턴 벡터를 어떻게 고안하는지에 따라서 패턴이 변형된 형태로 나타나는 경우에도 패턴을 인식할 수 있는지가 좌우된다.

본 발명에서는 임의의 패턴을 용이하게 등록할 수 있는 패턴 등록부와 상기 등록된 패턴들 중의 한 패턴이 임의의 실영상에 포함되어있는지를 검사하는 패턴 인식부를 구성하여 마커를 사용하지 않는 증강현실 장치에서 필요한 기반 정보를 제공할 수 있도록 함을 목적으로 한다.

상기 목적을 달성하기 위하여 본 발명은 입체 콘텐츠를 사용자에게 제공하는 기능을 구현할 수 있으며, 사용자는 패턴 등록부를 사용하여 응용에 따른 패턴 데이터 베이스를 구축하고, 영상 획득부를 사용하여 영상을 획득하고, 패턴 인식부를 사용하여 패턴을 인식하고, 영상 합성부를 사용하여 합성 영상을 생성 및 표현한다.

또한, 본 발명은 상기 패턴 등록부에서는 입력으로 주어지는 패턴 영상에 대해서 다수개의 특징 벡터들을 추출하고 이를 패턴 식별자와 함께 파일에 저장한다. 상기 패턴 인식부에서는 임의로 주어지는 입력 영상에 대해서 저장된 패턴 중의 하 나가 포함되어 있는지를 검사한다. 상기 인식부에 저장된 한 패턴의 전부 또는 일부가 입력 영상에 나타나는 경우에 그 위치를 계산하여 출력으로 제공한다.

따라서 본 발명은 입력으로 주어지는 패턴 영상을 입력받는 패턴 영상 입력부, 상기 패턴 영상으로부터 패턴 특징 벡터를 추출하고 패턴 등록부, 상기 패턴 등록부의 패턴특징 벡터를 저장하는 패턴 저장부, 및 임의의 실영상을 획득하는 실영상 획득부, 상기 실영상 획득부로 부터 패턴 특징 벡터를 추출하고 이를 패턴 DB에 저장된 패턴 특징 벡터와 비교하여 일치 여부를 판단하는 패턴 인식부, 상기 패턴 인식부에서 판단된 패턴 영상을 합성하는 영상 합성부로 이루어져 있으며, 상기 패턴 등록부와 패턴 인식부를 포함하는 마커를 사용하지 않고 증강현실 콘텐츠를 표현하는 것을 특징으로 한다.

또한 본 발명의 패턴 영상으로부터 패턴 특징 벡터를 추출하고 이를 저장하는 패턴 등록부는 영상으로부터 패턴 특징점을 취득하는 단계 및 취득된 특징점을 등록하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

또한 본 발명의 임의의 입력 실영상으로부터 패턴 특징 벡터를 추출하고 이를 패턴 DB에 저장된 패턴 특징 벡터와 비교하여 일치 여부를 판단하는 패턴 인식부는 임의의 실영상으로부터 패턴 특징 벡터를 취득하는 단계 및 패턴 특징 벡터를 매칭하는 단계 및 패턴 영역 및 ID를 계산하는 단계 및 투사행렬을 계산하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

본 발명의 증강 장치의 사용으로 증강현실 응용에서 실감 콘텐츠들을 사용자 중심적이고 직관적인 상호작용이 가능하도록 사용자에게 제공하는 효과가 있다. 또한 마커를 사용하지 않아도 되므로 증강현실 구현 환경에 제약이 없어져 실외 환경에서도 적용이 가능한 효과가 있다.

본 발명의 증간공간 제공장치의 입체 콘텐츠 표현 장치는 패턴 등록부와 패턴 인식부를 포함하는데, 상기 패턴 등록부는 영상 파일을 입력으로 하고 패턴 특징 데이터를 출력으로 한다. 상기 패턴 특징 데이터는 저장부에서 패턴 데이터 베이스(DB)에 저장된다.

상기 패턴 인식부는 영상 획득부에서 얻어지는 영상을 입력으로 하고 인식 정보를 출력으로 한다. 출력되는 인식 정보는 영상 합성부에 전달되며 영상 합성부에서는 합성 영상을 생성하여 모니터에 출력할 수 있도록 한다.

이하, 첨부된 도면을 참조하여 상기와 같은 본 발명의 마커를 사용하지 않는 증강공간 제공 장치 및 방법에 대해 구체적으로 설명한다.

도 1a, 1b는 본 발명의 실시예에 따라 마커를 사용하지 않는 증강공간 제공 방법을 나타내는 구성도이다. 마커를 사용하지 않는 증강공간 실현에 앞서 응용에 따른 패턴 영상들로부터 패턴 DB를 구축하게 된다. 도 1a는 응용에 따른 특정 패턴 영상들로부터 패턴 DB를 구축하기 위한 절차를 나타내는 도면이다. 상기 패턴 DB를 구축하기 위해서는 도 1a는 도시된 바와 같이 패턴 영상 입력부(100), 패턴 등록부(200), 패턴 저장부(300)로 구성된다. 상기 패턴 영상 입력부(100)에서는 장치의 사용자가 입력하는 다양한 패턴 영상들을 입력 받을 수 있는 사용자 인터페이스 환 경을 제공한다. 상기 패턴 영상 입력부(100)에 입력되는 패턴 영상의 종류들은 장치의 사용자가 임의로 구성할 수 있으며 장치의 동작 효과는 입력되는 영상의 모양, 내용, 크기 등의 속성에 영향을 받지 않는다. 상기 패턴 DB의 구축은 증강공간 실현에 앞서 완료되도록 함이 일반적이나 증강공간의 실현 중에도 수시로 패턴 DB에 패턴을 추가하거나 삭제하는 등의 수정을 가할 수 있다. 다음에 패턴 등록부(200)에서는 입력된 패턴 영상을 분석하여 등록을 위한 패턴 정보를 계산한다. 다음에 패턴 저장부(300)에서는 상기 패턴 등록부(200)에서 계산된 패턴 정보를 저장을 위한 형태로 바꾸고 이를 패턴 DB에 저장한다.

한편, 증강공간의 실현 시에 증강공간 제공 장치는 구축된 패턴 DB를 사용하여 입력되는 실영상과 그래픽 객체들을 합성한 출력 영상을 제공한다. 상기 증강공간 실현에 있어서 구축된 패턴 DB를 사용하여 합성된 영상을 생성하기 위한 절차가 도 1b에 도시되어 있다. 도 1b는 실영상 획득부(400), 패턴 인식부(500), 영상 합성부(600)로 구성되고, 상기 실영상 획득부(400)에서는 장치에 연결된 카메라로부터 실영상 프레임을 획득한다. 상기 카메라로부터 획득된 실영상 프레임은 흑백 영상으로 변환되어 패턴 인식부(500)에 전달되고, 상기 패턴 인식부(500)에서는 입력되는 흑백 영상으로부터 충분한 개수의 특징점을 추출하고 각 특징점마다 특징 벡터를 생성한다. 다음에 생성된 특징 벡터들을 패턴 DB의 특징 벡터들과 비교하여 패턴의 일치 정도를 계산한다. 상기 비교한 패턴의 일치 정도가 높고 또한 일치의 일관성이 있으면 일치로 판정하고 일치된 패턴의 위치를 영상 합성부(600)로 출력한다. 상기 영상 합성부(600)에서는 영상에서의 일치된 패턴의 위치로부터 투사행 렬을 계산하고 그래픽 렌더링을 실시하여 합성된 영상을 생성한다.

도 2는 도 1에 도시된 패턴 등록부(200)과 패턴 저장부(300)를 상세히 도시하는 도면으로서, 응용에 따른 패턴 영상들로부터 패턴 DB를 구축하는 절차를 보여준다. 상기 패턴 등록부(200)는 특징점 취득 단계(210)와 특징 벡터 계산 단계(220)로 구분할 수 있다. 상기 특징점 취득 단계(210)에서는 입력된 패턴 영상으로부터 특징점들을 추출하는 단계이다. 상기 특징점은 국부적인 밝기값의 변화가 크게 발생되는 지점을 의미하며 특징점의 추출 방법은 다양할 수 있다. 특징점은 모서리점이나 선분의 끝점과 같이 밝기변화가 크게 불연속적인 지점에 해당한다. 상기 특징점들은 패턴 영상의 전 영역에 균형있게 추출되도록 해야 한다. 또한 각 특징점은 패턴의 회전이나 크기변화에 민감하지 않는 지점이어야 한다.

다음 단계인 특징 벡터 계산 단계(220)는 각 특징점에 대해서 특징 벡터를 계산하는 단계이다. 상기 특징 벡터는 국부적인 영역 내에서의 여러 방향으로의 밝기값의 변화의 강도로부터 계산된다. 일 예로 8개의 방향으로의 밝기값의 변화의 강도를 측정하는 경우에 각 방향으로의 변화의 강도를 의미하는 8개의 실수값을 계산한다. 각 특징점 위치에 대해서 국부적인 영역을 4개의 분할하여 표현한다면 한 특징 벡터는 32개의 실수값으로 표현된다.

다음에 패턴 저장부(300)는 레코드 구성 단계(310)를 통해서 패턴 DB(320)로 이루어지는데, 상기 특징 벡터 계산 단계(200)로 부터 계산 된 값들이 레코드 구성 단계(310)를 통해서 패턴 DB(320)에 저장된다. 상기 레코드 구성 단계(310)에서는 각 패턴에 대해서 그 패턴의 특징 벡터들을 레코드로 구성하고 이를 패턴 DB(320) 에 저장하도록 한다. 상기 패턴 DB(320)는 단순한 패턴 레코드들의 집합들을 가지는 기록 매체이다. 상기 레코드 구성 단계(310)에서는 각 패턴에 대해서 하나의 레코드를 생성한다. 상기 레코드는 해당 패턴의 모든 특징 벡터들과 더불어 그 패턴의 연관 정보도 포함한다. 패턴의 연관 정보는 패턴 영상 입력부(100)에서 정해지는 해당 패턴 영상에 대한 고유 번호, 패턴과 관련된 문자열, 패턴과 관련된 증강공간 구현을 위한 그래픽 컨텐츠 집합 등의 정보들이다. 패턴의 연관 정보를 어떻게 정의할 지는 응용에 따라 달라질 수 있으며 패턴의 고유 번호를 제외한 다른 연관 정보들의 정의는 장치의 운영에 영향을 미치지 않는다.

도 3은 도 1에 도시된 패턴 인식부 (500)와 영상 합성부(600)을 상세히 나타내는 도면으로서 증강공간 실현에 있어서의 세부 절차들을 명시한다. 다시 말하면 패턴 인식부(500)는 영상 획득부에서 얻어지는 영상을 입력으로 하고 인식 정보를 출력으로 한다. 출력되는 인식 정보는 영상 합성부(600)에 전달되며 영상 합성부(600)에서는 합성 영상을 생성하여 모니터에 출력할 수 있도록 한다. 상기 패턴 인식부(500)는 특징점 취득 단계(510), 특징점 매칭 단계(520), 패턴 영역 및 ID 계산 단계(530)의 절차로 이루어진다.

상기 특징점 취득 단계(510)는 패턴 등록부(200)에서의 특징점 취득 단계(210)와 유사하나 실영상 획득부(400)로부터 입력되는 입력 영상의 크기에 따라서 고정된 크기의 영상으로 샘플링하는 전처리 과정이 추가된다. 이는 임의의 가변 크기 영상을 취급할 수 있도록 하며 패턴 인식부에서의 처리시간이 과도하게 증가하는 것을 방지하기 위한 조치이다. 특징점 취득 단계(510)에서는 고정 크기의 패 턴 영상으로부터 특징점들을 추출하고 추출된 특징점 위치들을 특징점 매칭 단계(520)로 출력한다. 특징점 매칭 단계(520)에서는 각 특징점에 대한 특징 벡터를 생성하며 그 방법은 패턴 등록부(200)에서의 특징벡터 계산 단계(220)와 유사하다. 생성된 실영상의 특징 벡터들의 집합은 패턴 DB(320)에 있는 각 패턴 레코드와 유사도를 측정한다. 각 패턴 레코드는 여러 특징 벡터들을 포함하고 있으며 이 패턴 영상의 특징 벡터 집합과 실영상의 특징 벡터 집합과의 유사도가 계산된다. 유사도는 각 집합 내의 특징 벡터들 전역적으로 고려하여 결정한다. 일 예로 패턴 DB에 있는 한 패턴 영상에 대해 회전 및 크기변화가 가해진 변환된 형태의 패턴을 포함하는 실영상의 경우에 변환 인자들을 전역적으로 계산하고 계산된 변환 인자에 대한 각 특징 벡터들의 오차를 구해서 유사도를 측정할 수 있다. 특징점 매칭 단계(520)는 최종적으로 일치된 특징점 쌍들의 집합을 출력한다.

패턴 영역 및 ID 계산 단계(530)에서는 먼저 매칭된 특징점 쌍들의 집합으로부터 해당 패턴이 실영상에 포함되어 있는지의 여부를 판단한다. 특징점 쌍들의 집합이 매우 작은 개수의 쌍들만을 포함하거나 그 분포가 균일하지 않으면서 실영상의 외곽부분에 집중되어 있다면 해당 패턴이 실영상에 포함되어 있지 않다고 판단한다. 특징점 쌍들이 분포하는 영상 영역이 실영상의 상당한 부분에 해당하고 또한 매칭의 방향에 일관성이 있다면 그 패턴을 실영상에 포함되어 있는 패턴으로 인정한다.

실영상에 포함되어 있다고 인정된 패턴에 대해서는 그 패턴이 실영상에 나타난 영역의 위치를 계산한다. 실영상에서의 패턴의 영역은 사각형의 형태이며 사각 형 형태의 패턴 위치는 영상 합성부(600)로 출력된다. 패턴이 완전히 보이지 않고 일부분만 보이는 경우라면 패턴의 실영상에서의 사각형 영역이 모두 실영상의 내부에 포함되지 않는다. 이 경우에도 영상의 내부 영역에 대한 패턴 위치의 사각형 모서리점 뿐만 아니라 영상의 외부 영역에 대한 패턴 위치의 사각형 모서리점이 구해지며 네 개의 모서리점 위치들이 영상 합성부(600)로 전달된다. 그래픽 객체와의 합성을 위해서 패턴 레코드에 포함된 패턴의 연관 정보도 패턴 레코드로부터 인출하여 영상 합성부(600)로 출력한다.

상기 영상 합성부(600)는 합성 영상을 생성하여 모니터에 출력할 수 있도록 하며 투사행렬 계산 단계(610) 및 그래픽 렌더링 단계(620)의 절차로 이루어진다. 투사행렬 계산 단계(610)에서는 실영상에 나타난 패턴 영역의 사각형 모서리점들의 위치좌표들로부터 카메라 투사행렬을 계산한다. 카메라의 상대적인 위치와 방향을 제외한 모든 카메라 인자들은 고정된 값으로 가정한다. 또한 패턴의 실제 크기도 고정된 값으로 가정한다. 이러한 가정은 단일 영상에서의 패턴 영역 정보로부터도 실영상에 보이는 패턴 물체에 상대적인 카메라의 위치 및 방향을 계산할 수 있도록 한다. 그래픽 렌더링 단계(620)에서는 이전의 단계에서 계산된 투사행렬을 사용하여 그래픽 객체들을 렌더링한다. 먼저 실영상을 배경 평면에 렌더링하고 그 위에 여러 그래픽 객체들을 카메라의 상대 위치 및 방향에 따라서 렌더링한다. 렌더링할 그래픽 객체들의 종류와 방법에 관한 사항은 장치의 사용자가 응용에 따라서 임의로 지정할 수 있으며 주로 실영상에 나타나는 환경이나 물체에 대한 부가정보를 표시하기 위한 용도로 사용할 수 있다. 카메라의 상대 위치 및 방향에 따라서 그래픽 객체들을 렌더링하면 그래픽 객체들은 실영상에 나타난 등록 패턴의 위치에 상대적으로 렌더링이 된다.

이러한 본 발명에 의해 교육용 교재나 광고용 브로셔에 마커를 부착하지 않는 증강공간 응용의 예를 들면, 장치의 사용자는 먼저 교재나 브로셔의 특정 그림들을 패턴 DB에 구축하고 증강공간을 실현하면 등록된 패턴의 형태가 실영상으로 나타나는 경우에 장치는 패턴과 관련된 부가정보를 그래픽으로 실영상에서의 패턴의 위치 및 각도에 상대적으로 표현하여 제공하게 된다.

본 발명은 마커를 사용하지 않는 증강현실 장치에 이용될 수 있다.

도 1a. 1b는 패턴 등록부와 패턴 인식부의 동작 구성도이다.

도 2는 패턴 등록부에서의 처리 절차도이다.

도 3은 패턴 인식부에서의 처리 절차도이다.

Claims (3)

1. 입력으로 주어지는 패턴 영상을 입력받는 패턴 영상 입력부,

   상기 패턴 영상으로부터 패턴 특징 벡터를 추출하는 패턴 등록부,

   상기 패턴 등록부에 저장된 패턴을 저장하는 패턴 저장부 및 임의의 실영상을 획득하는 실영상 획득부,

   상기 실영상 획득부로 부터 패턴 특징 벡터를 추출하고 이를 패턴 DB에 저장된 패턴 특징 벡터와 비교하여 일치 여부를 판단하는 패턴 인식부,

   상기 패턴 인식부에서 판단된 패턴 영상을 합성하는 영상 합성부로 이루어져 있으며,

   상기 패턴 등록부와 패턴 인식부를 포함하는 증강현실 콘텐츠는 마커를 사용하지 않고 표현하는 것을 특징으로 하는 증강 공간 제공 장치 및 방법.
2. 제1항에 있어서,

   상기 패턴 등록부는 영상으로부터 패턴 특징점을 취득하는 단계; 및

   취득된 특징점을 등록하는 단계를 포함하는 것을 특징으로 하는 증강공간 제공 장치 및 방법.
3. 제1항에 있어서,

   상기 패턴 인식부는 임의의 실영상으로부터 패턴 특징 벡터를 취득하는 단 계; 및

   패턴 특징 벡터를 매칭하는 단계; 및

   패턴 영역 및 ID를 계산하는 단계; 및

   투사행렬을 계산하는 단계를 포함하는 것을 특징으로 하는 증강공간제공 장치 및 방법.

Images