KR100927009B1

KR100927009B1 - 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템

Info

Publication number: KR100927009B1
Application number: KR1020080011300A
Authority: KR
Inventors: 이범찬; 황선욱; 박혜신; 류제하; 이용구
Original assignee: 광주과학기술원
Priority date: 2008-02-04
Filing date: 2008-02-04
Publication date: 2009-11-16
Anticipated expiration: 2028-02-04
Also published as: US20090195538A1; JP2009187550A; US8243099B2; JP4977725B2; KR20090085419A

Abstract

본 발명은 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템에 대한 것이다. 더욱 상세하게는 본 발명은, 증강 현실에서의 안정적이고 부드러운 햅틱 상호 작용을 위하여 영상 획득 장치를 통하여 획득된 실제 영상에서의 노이즈를 효과적으로 제거하고 햅틱 상호작용시 발생하는 힘의 불연속성을 최소화하는 것을 특징으로 하는 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템에 대한 것이다.

본 발명은 마커를 포함한 현실 환경에 대한 영상을 입력받아 상기 영상 중에 포함된 상기 마커를 검출하는 마커 검출부와, 검출된 상기 마커의 위치를 추출하는 마커 위치 추출부와, 상기 마커 위치 추출부에서 추출된 마커의 위치 정보에서 노이즈를 제거하는 노이즈 제거부와, 상기 마커에 대응하는 가상 객체를 상기 마커의 위치에 증강시켜 출력하는 가상 객체 증강부를 포함하는 시각 렌더링부; 및 상기 노이즈 제거부로부터 전달받은 상기 마커의 위치 정보를 바탕으로 햅틱 렌더링을 위한 시간 간격에 따라 상기 마커의 움직임을 추정하는 움직임 추정부와, 상기 움직임 추정부에 따라 추정된 상기 마커의 위치에 대응하는 가상 객체와 햅틱 장치의 엔드 포인트간의 충돌 여부를 검출하는 충돌 검출부와, 상기 충돌 검출부의 판단에 따라 상기 햅틱 장치를 통해 제공될 반력을 계산하는 반력 계산부를 포함하는 햅틱 렌더링부를 포함하는 증강 현실 시스템과, 이를 위한 증강 현실 제공 방법을 제공한다.

증강 현실, 가상 현실, AR, 햅틱, 촉각, 마커

Description

증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템{Method and System for Haptic Interaction in Augmented Reality}

일반적으로 증강 현실(Augmented Reality : AR)은 가상 객체(virtual object)가 실제 환경과 동일 공간에 존재하는 것처럼 나타내도록 지원하는 기술을 말한다. 다시 말하면 증강 현실이란 사용자가 눈으로 보는 현실 세계와 부가 정보를 갖는 가상 세계를 결합하여 하나의 영상으로 보여주는 가상 현실의 하나이다. 증강 현실에 대한 연구는 컴퓨터로 생성한 가상 환경(Virtual Environment) 안에서 상호 작용하는 사용자가 실제 환경과 같은 현실감을 느끼기엔 많은 한계가 있기 때문에 많이 이루어지고 있다.

통상적인 AR 시스템은 카메라로부터 획득한 영상을 사용자의 가상 환경에 등 록된 가상 객체와 혼합한다. 종래 의료, 군사, 산업, 교육 및 오락 등과 같은 다양한 응용 분야에서 사용자에게 몰입감을 주는 상호 작용이나 디스플레이 제공을 위한 AR 기술들이 제안된 바 있다. AR 기술은 시각, 청각, 촉각, 미각, 후각 등 인간의 모든 감각 기관들에 적용될 수 있는 가능성이 있음에도 대부분의 AR 시스템은 시각적인 측면에 집중되고 있는 것이 현실이다.

이에 대하여 AR 영역에서 사용자에게 더 깊은 몰입감을 제공할 수 있으며 감각과 더불어 상호작용적인 조작을 할 수 있도록 하는 것이 햅틱 기술이다. 햅틱 기술은 사용자에게 역감(Kinesthetic)과 촉감(Tactile)을 통해 가상 또는 실제 환경의 다양한 정보를 제공하도록 하는 것과 관련된 것이다. 'Haptics'이라는 단어는 그리스어로 촉각을 뜻하는 것으로서, 역감과 촉감을 모두 포함하는 개념이다. 다른 감각과는 달리 햅틱의 특징은 감각과 더불어 조작도 할 수 있다는 양방향성이라는 점이다. 이에 따라 최근에는 비젼 기반 증강 현실(Vision-based Augmented Reality) 시스템에 대한 사용자의 몰입감을 높이기 위해 음향 효과뿐만 아니라 햅틱 장치(150)의 접목이 시도되고 있다.

도 1은 AR 마커와 햅틱 장치를 이용한 비젼 기반 증강 현실 시스템의 일례를 도시한 도면이다.

도 1에 따른 비젼 기반 증강 현실 시스템(100)은 AR 마커(110), 영상 획득 장치(120), 주처리 장치(130), 시각 디스플레이 장치(140), 및 햅틱 장치(150)를 포함한다.

AR 마커(110)는 특정 패턴으로 나타낼 수 있는데 하나의 AR 마커(110)는 하 나의 가상 객체와 대응하도록 설정된다. 가상 현실에서 사용되는 마커(110)는 특정 패턴을 가진 AR 마커(110) 이외에도 2차원 또는 3차원 이미지일 수 있다.

영상 획득 장치(120)는 AR 마커(110)를 비롯한 실제 환경의 영상을 획득하는 기능을 수행하는 것으로서 카메라로 대표될 수 있다.

주처리 장치는 영상 획득 장치(120)로부터 입력된 영상을 처리하며, 입력된 영상 중에서 AR 마커(110)를 인식하여 AR 마커(110)에 대응되는 가상 객체를 생성한다.

시각 디스플레이 장치(140)는 주처리 장치에서 처리된 영상을 시각적으로 출력하는데, 실제 환경에 대한 영상과 더불어 AR 마커(110)에 대응되는 가상 객체의 영상을 2차원 또는 3차원으로 출력한다.

햅틱 장치(150)는 가상 환경의 가상 객체와의 햅틱 상호작용을 수행하는데, 가상 객체와의 충돌에 따른 반력을 사용자에게 제공하고 사용자가 가상 객체를 조작할 수 있도록 한다.

이러한 비젼 기반 증강 현실 시스템의 작동을 설명하면, 영상 획득 장치(120)가 AR 마커(110)를 비롯한 실제 환경의 영상을 입력받으면 주처리 장치는 입력된 영상을 시각 디스플레이 장치(140)에 출력하는데, 이때 AR 마커(110)에 대응되는 가상 객체를 생성하여 실제 영상과 가상 객체를 시각 디스플레이 장치(140)에 함께 출력한다. 한편, 주처리 장치는 햅틱 장치(150)의 엔드 포인트(또는 햅틱 인터랙션 포인트)가 상기 가상 객체와 충돌하는지 여부를 검출하여 엔드 포인트가 가상 객체와 충돌하는 경우 반력을 계산하여 햅틱 장치(150)에 그 신호를 전달함으 로써 사용자가 반력을 느낄 수 있도록 한다.

상기한 비젼 기반 증강 현실 기법은 영상 획득 장치로부터의 획득한 라이브 영상에 가상 객체를 증강한다. 그러나, 기준이 되는 마커의 트래킹 노이즈로 인해 가상 객체에 시각적 떨림이 생기는 문제점이 존재한다. 또한 사용자가 가상 객체와 햅틱 상호 작용을 할 때 이러한 노이즈는 힘의 떨림이나 불안정한 햅틱 상호 작용을 발생시킨다. 게다가 영상 획득 장치의 좌표가 햅틱 환경의 좌표와 다르기 때문에 사실감있는 햅틱 상호작용을 제공하기 위해서는 각각의 좌표 시스템을 통일할 필요가 있다. 게다가 기준이 되는 마커 위에 등록된 가상 객체가 약간 빠르게 이동하는 경우 예측되는 이동 거리는 프레임 간에 비연속적일 수 있다. 이러한 불일치는 시각적인 관점에서는 충분히 견딜 수 있는 정도이나 햅틱 상호작용의 관점에서는 매우 중요한 문제가 될 수 있다. 이는 영상 렌더링 측면에서는 30 Hz 정도의 프레임 갱신으로 충분히 안정적인 정보 전달을 할 수 있으나, 햅틱 렌더링은 1 KHz 정도의 갱신이 수반되어야 안정적인 햅틱 상호작용을 가능하게 하기 때문이다.

이에 따라 마커 트래킹에서의 노이즈 최소화, 영상과 햅틱의 좌표계(Coordinates) 일치, 및 부드러운 햅틱 상호작용을 달성하기 위한 방안이 요구된다.

본 발명은 상기한 문제점들을 해소하기 위하여, 증강 현실에서의 안정적이고 부드러운 햅틱 상호 작용을 위하여 영상 획득 장치를 통하여 획득된 실제 영상에서의 노이즈를 효과적으로 제거하고 햅틱 상호작용 시 발생하는 힘의 불연속성을 최소화하는 것을 특징으로 하는 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템을 제공함을 그 목적으로 한다.

본 발명은 상기한 과제를 해결하기 위하여, 햅틱 상호작용을 포함하는 증강 현실 시스템에 있어서, 마커를 포함한 현실 환경에 대한 영상을 입력받아 상기 영상 중에 포함된 상기 마커를 검출하는 마커 검출부와, 검출된 상기 마커의 위치를 추출하는 마커 위치 추출부와, 상기 마커 위치 추출부에서 추출된 마커의 위치 정보에서 노이즈를 제거하는 노이즈 제거부와, 상기 마커에 대응하는 가상 객체를 상기 마커의 위치에 증강시켜 출력하는 가상 객체 증강부를 포함하는 시각 렌더링부; 및 상기 노이즈 제거부로부터 전달받은 상기 마커의 위치 정보를 바탕으로 햅틱 렌더링을 위한 시간 간격에 따라 상기 마커의 움직임을 추정하는 움직임 추정부와, 상기 움직임 추정부에 따라 추정된 상기 마커의 위치에 대응하는 가상 객체와 햅틱 장치의 엔드 포인트간의 충돌 여부를 검출하는 충돌 검출부와, 상기 충돌 검출부의 판단에 따라 상기 햅틱 장치를 통해 제공될 반력을 계산하는 반력 계산부를 포함하는 햅틱 렌더링부를 포함하는 증강 현실 시스템을 제공한다.

바람직하게는 상기 마커의 위치 정보는 상기 마커의 3차원 위치 정보 및 방위 정보를 포함한다.

한편, 상기 노이즈 제거부는 로우 패스 필터, FIR 필터, 및 IIR 필터 중 어느 하나 또는 그와 동등한 필터로 구성되거나, 최소제곱 예측기, 최소 평균제곱 예측기, 최대우도 예측기, Maximun A posteriori 예측기, 베이즈 예측기, 칼만 필터, 파티클 필터, 마르코프 연쇄 몬테 카를로 예측기, 최소 분산 불편 예측기, 및 선형 불편 예측기 중 어느 하나 또는 그와 동등한 예측기로 구성되어 노이즈 제거 및 상기 마커의 움직임 예측을 동시에 수행하는 것일 수 있다.

바람직하게는 상기 노이즈 제거부는, 초기값으로부터 연속적인 예측과 보정을 통하여 상기 마커의 위치 정보에서 노이즈를 필터링하고 예측하는 확장 칼만 필터로 구현된다.

또한, 상기 확장 칼만 필터는, 상기 상태 벡터의 선험적 예측값과 오차 공분산의 선험적 예측값을 초기 조건으로부터 예측한 후, 칼만 이득을 구하고, 상기 실제 측정값과 상기 칼만 이득을 이용하여 상기 상태 벡터의 선험적 예측값을 보정하여 상기 상태 벡터의 경험적 예측값을 구하는 것을 특징으로 한다.

바람직하게는, 상기 움직임 추정부는, 이전 시간 영상을 바탕으로 외삽법을 적용하여 최종적으로 추정된 상기 마커의 위치와, 현재 시간 영상에서의 상기 마커의 실제 위치와의 차이를 바탕으로 현재 시간 이후의 햅틱 렌더링을 위한 상기 마커의 위치 증가분을 결정하는 적응적 외삽법을 통해 상기 마커의 움직임을 추정하는 것을 특징으로 한다.

또한, 상기 시각 렌더링부와 상기 햅틱 렌더링부 중 어느 하나는 시각 렌더링을 위한 시각 좌표계와 햅틱 렌더링을 위한 햅틱 좌표계의 동기화를 수행하는 좌표계 동기화부를 추가로 포함하는 것을 특징으로 한다.

한편, 본 발명의 다른 측면에 의하면, 햅틱 상호 작용을 포함하는 증강 현실 제공 방법에 있어서, (a) 마커를 포함한 실제 환경의 영상을 입력받는 단계; (b) 상기 영상에서 상기 마커를 검출하고 상기 마커의 위치를 추출하는 단계; (c) 상기 마커의 위치 정보에 포함된 노이즈를 제거하는 단계; (d) 상기 마커의 위치 정보를 바탕으로 햅틱 렌더링을 위한 시간 간격에 따라 상기 마커의 움직임을 추정하는 단계; (e) 상기 마커에 대응하는 가상 객체와 햅틱 장치의 엔드 포인트 간의 충돌여부를 검출하고 반력을 계산하여 햅틱 장치로 출력하는 단계; 및 (f) 상기 실제 영상의 상기 마커 위치에 상기 가상 객체를 증강하여 시각 디스플레이 장치로 출력하는 단계를 포함하는 증강 현실 제공 방법을 제공한다.

바람직하게는, 상기 (c) 단계는, (c1) 상기 마커의 위치, 속도, 가속도를 포함하는 상태 벡터에 대한 선험적 예측값과 오차 공분산의 선험적 예측값을 초기 조건으로부터 예측하는 단계; 및 (c2) 칼만 이득을 구하고, 실제 측정값과 상기 칼만 이득을 이용하여 상기 상태 벡터의 선험적 예측값을 수정하여 상기 상태 벡터의 경험적 예측값을 구하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

바람직하게는 상기 (d) 단계는, 이전 시간 영상을 바탕으로 외삽법을 적용하여 최종적으로 추정된 상기 마커의 위치와, 현재 시간 영상에서의 상기 마커의 실 제 위치와의 차이를 바탕으로 현재 시간 이후의 햅틱 렌더링을 위한 상기 마커의 위치 증가분을 결정하는 적응적 외삽법을 통해 상기 마커의 움직임을 추정하는 것을 특징으로 한다.

본 발명에 따르면, 햅틱 상호 작용을 포함하는 증강 현실 시스템에 있어서 실제 영상에서의 마커의 위치 및 방위 정보의 노이즈를 최소화시킬 수 있어 보다 부드럽고 안정적인 햅틱 상호작용을 가능하게 한다.

또한 본 발명에 의하면 햅틱 상호작용을 위한 햅틱 렌더링시 마커의 위치 정보를 햅틱 렌더링을 위한 시간 간격에 따라 예측함에 있어서 시각 디스플레이와 햅틱 디스플레이 간의 지연을 최소화하고 가상 객체를 위한 마커의 위치 정보를 효과적으로 추측함으로써 햅틱 상호작용시 발생할 수 있는 반력 저크를 최소화할 수 있는 효과가 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당 업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 2는 본 발명의 바람직한 실시예에 따른 햅틱 상호작용을 포함하는 증강 현실 시스템의 블록도이다.

본 발명의 바람직한 실시예에 따른 증강 현실 시스템(200)은, 마커(110)를 포함한 실제 환경을 촬영하는 영상 획득 장치(120)로부터 입력된 영상을 바탕으로 마커(110)에 대응하는 가상 객체(202)를 시각적으로 증강하여 시각 디스플레이 장치(140)에 출력하기 위한 시각 렌더링부(210)와, 가상 객체(202)와 햅틱 장치(150)와의 햅틱 상호 작용을 가능하게 하는 햅틱 렌더링부(260)를 포함한다.

영상 획득 장치(120)는 마커(110)를 포함한 실제 환경을 영상을 취득하는 기능을 수행한다. 마커(110)는 증강 현실 시스템(200)에서 가상 객체(202)를 표시하기 위한 매개체로서의 기능을 수행하는데, 특정 패턴을 가진 AR 마커(110)를 사용할 수 있으나 이에 한정되는 것은 아니다. AR 마커를 사용하는 것이 가장 편리한 방법이나, 실제 환경에서의 특정 이미지가 마커로서 기능할 수도 있으며, 경우에 따라서는 3D 이미지 또는 실 공간에 존재하는 물체도 마커로서 기능할 수 있다.

시각 렌더링부(210)는 영상 획득 장치(120)에서 획득된 영상에서 마커(110)를 검출하고, 실제 환경에서의 마커(110) 위치와 방위를 확인한 후 마커(110)에 대응하는 가상 객체(202)를 실제 환경에 대한 영상에 증강시켜 시각 디스플레이 장치(140)로 출력되도록 한다. 본 발명에 있어서 시각 렌더링부(210)는 영상 획득 장치(120)를 통해 획득된 영상에 포함된 노이즈를 제거하고 마커(110)의 움직임을 예 측함으로써 보다 안정적인 시각 디스플레이 및 햅틱 디스플레이가 가능하도록 함을 특징으로 한다.

한편 햅틱 렌더링부(260)는 시각 렌더링부(210)에서 처리된 마커(110)를 포함하는 실제 환경의 영상을 바탕으로 마커(110)에 대응하는 가상 객체(202)와 햅틱 장치(150) 간의 햅틱 상호 작용이 가능하도록 하는 기능을 수행한다. 이를 위하여 햅틱 렌더링부(260)는 마커(110)에 대응하는 가상 객체(202)와 햅틱 장치(150)의 엔드 포인트 간의 충돌 여부를 검출하고 충돌이 발생하는 경우 반력을 계산하는 기능을 수행한다. 특히, 본 발명에 있어서 햅틱 렌더링부(260)는 영상 프레임과 햅틱 프레임간의 갱신율(refresh rate)의 차이를 해결하기 위하여 영상 프레임 상의 마커(110) 위치를 추정함에 있어서 적응적 외삽법(adaptive extrapolation)을 적용하여 영상의 지연이나 반력의 불연속성을 최소화함을 특징으로 한다.

시각 렌더링부(210)와 햅틱 렌더링부(260)의 구체적인 구성을 설명하면 다음과 같다.

시각 렌더링부(210)는 마커 검출부(220), 마커 위치 추출부(230), 노이즈 제거부(240), 및 가상 객체 증강부(250)를 포함한다.

마커 검출부(220)는 영상 획득 장치(120)로부터 입력된 영상에서 마커(110)를 검출하는 기능을 수행한다. 마커 검출부(220)는 물리적 마커(110)로 영상 기반 마커 트래킹을 가능하게 하는 ARToolkitPlus(http://studierstube.icg.tu-graz.ac.at)와 같은 소프트웨어 라이브러리를 이용하여 구현될 수 있다.

마커 위치 추출부(230)는 마커 검출부(220)에서 마커(110)를 검출한 이후 검 출된 마커(110)의 위치 및 방위를 연산하는 기능을 수행한다. 가상 객체는 실제 환경에서의 마커(110)의 위치에 마커(110)가 차지하고 있는 공간적 위치 및 방위에 따라 증강된다. 이를 위해 마커 위치 추출부(230)는 마커(110)의 위치와 더불어 마커(110)가 공간적으로 어떠한 방위를 갖고 있는지(예컨대, 수평방향 및 수직방향에 대하여 어느 정도 기울여졌는지)를 연산한다.

노이즈 제거부(240)는 마커 위치 추출부(230)에서 연산된 마커(110)의 위치 및 방위 정보에 포함되어 있는 노이즈를 제거하는 기능을 수행한다. 영상 기반 마커 트래킹에서는 필연적으로 발생하는 노이즈로 인해 증강되는 가상 객체의 떨림이 발생하는데 노이즈 제거부(240)는 이를 제거한다. 한편, 마커(110) 트래킹 시 발생하는 노이즈에 대해서는 P. Malbezin 등이 확인한 바와 같다(P. Malbezin, W. Piekarski, and B.H. Thomas, "Measuring ARToolKit Accuracy in Long Distance Tracking Experiments", Conf. Proc. IEEE Augmented Reality Toolkit Workshop, pp. 28-29, 2001). 또한 노이즈 제거부(240)는 부드러운 햅틱 상호 작용을 위해 마커(110)의 위치 및 방위를 예측하는 기능을 수행한다. 이러한 노이즈 제거부(240)는 후술하는 바와 같이 확장 칼만 필터(Extended Kalman Filter : EKF)로 구현될 수 있다.

가상 객체 증강부(250)는 노이즈 제거부(240)에서 노이즈가 제거된 마커(110)의 위치 및 방위 정보에 기초하여 마커(110)에 대응하는 가상 객체를 현실 환경에 대한 영상에 증강시켜 시각 디스플레이 장치로 출력하는 기능을 수행한다. 가상 객체 증강부(250)가 영상 획득 장치(120)로부터 획득된 라이브 영상(live video)에 가상 객체를 출력함에 있어서, 다양한 가상 물체의 렌더링 방법 중 바람직한 실시 형태로서 OpenGL의 버텍스 버퍼 개체(Vertex Buffer Object : VBO) 방법에 의해 가상 객체를 렌더링할 수 있다. VBO는 비디오 메모리에 버퍼 데이터를 전송함으로써 가상 객체의 시각 렌더링 속도를 빠르게 하는 특징이 있다.

햅틱 렌더링부(260)는 움직임 추정부(270), 충돌 검출부(280) 및 반력 계산부(290)를 포함한다.

움직임 추정부(270)는 햅틱 렌더링을 수행하기 위하여, 노이즈 제거부(240)로부터 전달받은 마커의 위치 및 방위 정보를 바탕으로 햅틱 렌더링을 수행하기 위하여 햅틱 렌더링의 갱신율에 따라 마커의 움직임, 즉 마커의 위치 및 방위를 추정하는 기능을 수행한다. 이러한 움직임 추정부(270)의 마커의 움직임 추정 방식은 보간법(interpolation) 또는 외삽법(extrapolation)에 의해 이루어질 수 있으나, 본 발명에 있어서 보다 바람직하게는 후술하는 적응적 외삽법(apative extrapolation)에 의해 이루어질 수 있다.

충돌 검출부(280)는 마커(110)에 대응하여 증강되는 가상 객체(202)와 햅틱 장치(150)의 엔드 포인트 간의 충돌 여부를 검출하는 기능을 수행한다. 이러한 충돌 검출은 햅틱 장치(150)의 엔드 포인트 또는 가상 공간에서의 햅틱 상호 작용점(Haptic Interaction Point : HIP)이 가상 객체와 충돌하는지 여부에 따라 수행될 수 있다.

반력 계산부(290)는 햅틱 장치(150)의 엔드 포인트가 가상 객체와 충돌하는 경우 적절한 반력을 계산하여 햅틱 장치(150)로 전달하는 기능을 수행한다.

이상에서 설명한 본 발명에 따른 증강 현실 시스템의 주요한 특징은 노이즈 제거부(240)와 움직임 추정부(270)로 파악될 수 있는데 노이즈 제거부(240)와 움직임 추정부(270)의 작동에 대하여 이하에서 보다 상세하게 설명한다.

전술한 바와 같이 노이즈 제거부(240)는 비젼 기반 마커 트래킹에서 발생하는 노이즈로 인해 발생하는 가상 객체의 시각적 떨림 및 햅틱 상호 작용시 야기되는 힘의 떨림이나 불안정성을 제거하기 위하여 노이즈 최소화 및 마커(110)의 움직임을 예측하는 기능을 수행한다.

노이즈 제거부(240)의 구현 방법으로서 노이즈 제거를 위한 로우 패스 필터(Low Pass Filter), FIR 필터(Finite Impulse Response Filter), 및 IIR 필터(Infinite Impulse Response Filter)와 같은 필터를 사용할 수 있다.

그러나 이러한 필터들은 노이즈 제거에는 비교적 효과적이나 시간 지연이 발생하고 마커의 움직임을 예측하여 햅틱 상호 작용시 발생하는 불안정성을 제거하기에는 부족한 측면이 있다. 따라서, 보다 바람직하게는 노이즈 제거부(240)는 노이즈의 제거와 함께 마커의 움직임을 예측할 수 있도록 구성되는 것이 바람직하다.

이를 위하여 노이즈 제거부(240)는 노이즈의 제거와 움직임 예측을 동시에 수행할 수 있도록 다음의 예측 기법들을 사용할 수 있다.

1) 최소제곱 예측기(Least Square Estimator, MSE): 시스템 모델과 측정된 데이터간의 에러를 최소화하는 방법으로 에러 제곱의 합을 최소화하는 예측기이다.

2) 최소평균제곱 예측기 (Minimum Mean Squared Estimator, MMSE): 관심있는 파라미터의 에러를 최소화하기 위해서 사용하는 방법으로 에러제곱 평균을 최소화하여 최적 해(optimal solution)을 찾아내는 예측기이다.

3) 최대우도 예측기(Maximum Likelihood Estimator, MLE): 최대 우도(Maximum likelihood)를 추정하는 예측기로 파라미터들의 정확한 값을 모르나 고정되어 있다고 가정하고 우도(Likelihood) 함수를 최대화하여 관측된 값이 나올 가능성을 최대화하는 최적의 파라미터를 찾아내는 예측기이다.

4) Maximum A Posteriori (MAP): 최대우도 예측기와 비슷하나 사전확률(prior probability)을 고려한다는 점에서 다르다. 이 예측기는 사후확률(posterior probability)을 설정하고 이들에 기반하여 최적의 파라미터를 추정한다.

5) 베이즈 예측기(Bayes estimator): MLE에서는 파라미터를 고정된 값으로 여기지만, 이와 달리 베이즈 예측방법에서는 파라미터를 랜덤 변수(random variable)로 생각하여, 자료 집단의 분석을 통해 이 랜덤 변수의 분산을 사후 확률 밀도(posterior probability density)로 변환시킨 후 사후 확률(posterior probabilities)을 구하고 이를 통해 파라미터들을 예측하는 예측기이다.

6) 칼만 필터(Kalman filter): 칼만 필터는 노이즈가 섞여 있는 측정데이터가 있을 때 노이즈가 화이트 가우시안 노이즈라는 가정 하에 이러한 노이즈를 발생하는 시스템의 모델 및 측정 모델을 설정하여 측정된 값이 사전 예측 및 보정의 단계(pre estimation and correction)의 단계를 반복적으로 수행하며 최적의 값을 찾아가도록 한다. 시간 변화, 비정상(nonstationary), 다중 채널 시스템을 포함한 모 든 선형 시스템에 적용 가능한 가장 효과적인 필터로서 실시간 처리에 널리 활용되며, 최근 인공위성 항법 자료의 필터링에 널리 사용되고 있다.

7) 파티클 필터(Particle filter): 순차적 몬테카를로 방법(Sequential Monte Carlo method, SMC)로 알려진 방법으로 시뮬레이션을 기반으로 한다. 이 예측기는 측정된 데이터를 바탕으로 unknown 파라미터의 시퀀스를 찾아 최적의 파라미터를 추정한다. 이 방법은 칼만 필터와 마찬가지로 강력한 추정 방법을 제공하며 실시간 추적과 같은 응용에 널리 사용될 수 있다. 특히 파티클(샘플)의 수가 많다면 정확한 추정 결과를 얻을 수 있다.

8) 마르코프 연쇄 몬테 카를로 예측기(Markov chain Monte Carlo, MCMC): 마르코프 연쇄의 구성에 기반한 확률 분포로부터 원하는 분포의 정적 분포를 갖는 표본을 추출하는 알고리즘의 한 부류이다. MCMC의 전형적인 사용은 목표 분포를 근사하는 것이며, 이 알고리즘의 가장 일반적인 적용 예는 다차원 적분을 수치적으로 계산하는 것이다

9) 최소 분산 불편 예측기(Minimum Variance Unbiased Estimator, MVUE): 불편성(unbiasedness)을 만족하는 추정량(estimator)들 중에서 가장 작은 분산을 갖는 추정량을 주는 예측기를 말한다 .

10) 선형 불편 예측기(Best Linear Unbiased Estimator, BLUE): 가우스-마르코프 정리(Gauss-Markov Theorem)에 따라 단순선형회귀모형(Linear Regression Model)에서 관측값들의 선형결합으로 표현되는 불편 추정량 중에서 불편 추정량을 최소화하는 예측기이다.

위에서 예시한 다양한 예측방법 중에서 본 실시예에서는 확장 칼만 필터(Extended Kalman Filter)를 이용한 노이즈 제거 및 움직임 예측에 대하여 대표적으로 설명한다.

확장 칼만 필터는 선형적인 모델뿐만 아니라 비선형적인 모델에도 적용할 수 있는 칼만 필터의 비선형 형태로 이해될 수 있다. 칼만 필터는 연속적인 예측과 보정을 통해 측정 데이터에서 노이즈를 필터링하는 통계적 예측 과정이라 할 수 있다. 확장 칼만 필터는 이러한 선형적 칼만 필터를 비선형적 시스템에 적용한다. 이때 확장 칼만 필터에서 측정하고자 하는 시스템은 신호로부터 노이즈를 제거하기 위하여 확장 칼만 필터를 사용할 수 있도록 선형 시스템으로 기술되어야 한다. 확장 칼만 필터에서 시스템 모델과 측정 모델의 일반적인 형태는 다음의 수학식 1과 같이 표현될 수 있다.

상기 수학식 1에서, x_k ₊₁과 x_k는 시간 k+1과 k에서의 상태 벡터를 의미하고, y_k는 시간 k에서의 측정 벡터를 의미한다. 또한 F_k와 H_k는 각각 시스템 모델과 측정 모델의 특징을 결정짓는 시간 k에서의 계수이고, w_k와 v_k는 각각 시스템 노이즈와 측정 노이즈를 나타낸다. 비젼 기반의 마커 트래킹 시스템은 물리적 마커를 든 사 용자의 움직임으로 인해 증강된 가상 객체의 위치와 방위가 시간에 따라 연속적으로 변화하는 비선형 동적 시스템으로 2차 테일러 급수를 이용한 선형화 과정을 통해 확장 칼만 필터를 적용할 수 있다. 따라서 비젼 기반의 마커 트래킹 시스템은 2차 테일러 급수를 이용하여 다음의 수학식 2와 같이 선형화할 수 있다.

상태 공간 표현(state space description)을 이용하면, 시스템 모델은 수학식 3과 같이 표현될 수 있다.

3차원 위치 및 방위를 고려하면, 3차원 마커 트래킹을 위해 도출된 수학식 3과 같은 시스템 모델은 다음의 수학식 4와 같이 일반화할 수 있다.

수학식 4에서, 상태 벡터 x는 3개의 위치 및 각도 성분, 3개의 속도 및 각속도 성분, 3개의 가속도 및 각가속도 성분으로 이루어진 3×6 차원이고, w _k는 위치, 속도, 가속도, 각도, 각속도, 및 각가속도에서의 불확실성으로 인해 시스템에 유입되는 시스템 노이즈이다. 상기 노이즈는 평균이 0(zero mean)이고, 관련성 없는 랜덤한 값으로 이해될 수 있다(w _k ∼ N(0, Q _k)).

필터링 프로세스를 위하여, 마커 변환 행렬 위치 및 방위를 측정한다. 이러한 데이터를 사용하면 마커의 속도, 가속도, 각속도, 각가속도를 추출할 수 있다. 따라서 시스템의 측정 모델을 수학식 5와 같이 나타낼 수 있다.

수학식 5에서, v _k는 위치, 속도, 가속도, 각도, 각속도, 및 각가속도에서의 불확실성으로 인한 측정 노이즈이다. 이 측정 노이즈는 평균이 0(zero mean)이고, 관련성 없는 랜덤한 값으로 이해될 수 있다(v _k ∼ N(0, R _k).

확장 칼만 필터의 연속적인 갱신 과정은 다음과 같다.

◆ 초기 조건

확장 칼만 필터는 최초 단계(step 0)에서 사후 상태의 예측 x ₀와 불확실성 P ₀로 초기화된다. (

)

◆ 예 측

매 단계에서, 확장 칼만 필터는 다음의 수학식 6과 7을 이용하여 이전 단계에 대한 현재 단계에서의 시스템의 상태 및 불확실성에 대한 예측값을 계산한다.

수학식 6과 7에서,

는 상태 벡터의 선험적 예측값(priori esimate)이고,

는 오차 공분산의 선험적 예측값이다.

◆ 보 정

확장 칼만 필터는 다음의 보정 방정식을 이용하여 이전 상태의 예측값을 측정값 y _k로 수정한다. 보정 방정식은 다음과 같다.

칼만 이득(K _k)은 수학식 8과 같이 표현될 수 있으며, 경험적 예 측(posteriori estimate) 오차 공분산(P _k _/k)은 수학식 9와 같고, 상태 벡터의 경험적 예측값(

)은 수학식 10과 같다.

확장 칼만 필터에 대한 이상의 설명에서 보는 바와 같이 R _k와 같은 노이즈의 영향이 확장 칼만 필터의 전반적인 성능을 결정한다. 따라서 확장 칼만 필터의 실제 구현에 있어서는 측정 노이즈 공분산(R _k)은 통상적으로 필터의 작동 전에 측정된다.

측정 노이즈 공분산의 측정을 위하여 먼저 마커 변환 행렬(T_MARKER)을 이용하여 마커(110)의 위치 및 방위를 다음의 수학식 11에 의해 계산한다.

수학식 11에서 R₃ _×3와 T₃ _×1은 각각 측정점(finger tip)의 회전 행렬(rotation matrix)과 병진 행렬(translation matrix)을 나타낸다. T₃ _×1 벡터는 객체의 위치 오류를 측정하는데 사용된다. 방위 오류를 측정하는 경우에, 회전 변화는 세계 좌표계(world coordinate)에 대하여 세계의 연속적인 회전으로 나누어지는데 이는 다음의 수학식 12와 같이 표현될 수 있다.

위의 수학식 12에서 C와 S는 각각 코사인(cosine)과 사인(sine)을 나타내며, ψ, θ, φ는 세계 좌표계의 x, y, z축에 대한 회전각을 표시한다. 각각의 축에 대한 회전각은 수학식 11과 12에서의 회전 행렬과 비교할 때 수학식 13과 같이 결정될 수 있다.

위에서 설명한 방법에 따라 노이즈 공분산(R _k)을 오프라인 샘플에 대해 측정한 결과는 다음의 표 1, 2에 예시하였다. 표 1은 위치, 속도, 및 가속도에 대하여 마커와 카메라 간의 실제 거리에 따른 노이즈 오차(mm 단위로 표시)를 나타내고, 표 2는 각, 각속도, 각가속도에 대하여 마커와 카메라 간의 다른 각도에 따른 노이즈 오차를 나타낸다.에 대한 것이다.


	Variance	Range	Variance	Range	Variance	Range
20 cm	0.00006	1.0459	1×10^-6	0.0921	2×10^-10	0.00209
30 cm	0.00192	2.3063	2×10^-6	0.2081	2×10^-9	0.00424
40 cm	0.00536	4.4628	7×10^-6	0.3209	1×10^-8	0.00528
50 cm	0.03352	5.1093	2.5×10^-5	0.4312	3×10^-8	0.00873
60 cm	0.25838	5.5409	0.00019	0.4989	3×10^-7	0.01276
70 cm	2.09567	6.3756	0.00287	0.5406	3×10^-6	0.02749


	Variance	Range	Variance	Range	Variance	Range
0˚	1.82033	8.88153	0.0017	0.7553	3×10^-6	0.06411
15˚	0.46309	4.17513	0.0007	0.4763	8×10^-7	0.03493
30˚	0.11154	2.01992	0.0002	0.2783	1×10^-7	0.02231
45˚	0.02227	1.84214	0.00004	0.1454	4×10^-8	0.00928
60˚	0.00543	2.57839	8×10^-6	0.2189	9×10^-9	0.02058
75˚	0.00025	3.11273	3×10^-7	0.4046	4×10^-10	0.02912

표 1 및 2의 결과를 살펴보면, 위치, 속도, 및 가속도에 대한 노이즈는 거리에 따라 증가하고, 각도, 각속도, 및 각가속도에 대한 노이즈는 카메라가 마커를 정면으로 바라보는 0° 혹은 평행으로 바라보는 90°에 가까울수록 증가함을 알 수 있다. 이러한 노이즈 분석 결과에 기초하여 노이즈 공분산(R_k)은 표 1, 2에서의 최대값을 선택하여 적용하는 것을 하나의 예로 들 수 있으며, 실제 환경에 따라 적절한 노이즈 값을 선택할 수 있을 것이다.

다음은 햅틱 렌더링부(260)에서 움직임 추정부(270)의 구체적인 기능을 설명한다.

영상 렌더링은 통상적으로 30 Hz 내외로 갱신되는데 반하여, 햅틱 렌더링은 1 KHz 정도로 갱신되어야 사용자에게 편안한 햅틱 상호작용을 제공할 수 있다. 그러나 영상을 바탕으로 수행되는 햅틱 렌더링에 있어서 상기와 같은 갱신 비율의 차이로 인해 영상 프레임이 바뀌는 순간에 반력이 급작스럽게 변하는 문제점이 발생할 수 있다. 대한민국 특허 제761022호(깊이 영상 기반의 햅틱 렌더링 방법과 장치, 및 이를 이용한 촉각 방송 시스템)의 경우에는 보간(interpolation) 방법을 이용하여 위와 같은 문제점을 해결하고자 하였다. 그러나, 실제에 있어서는 영상 프레임과 햅틱 프레임의 갱신율(refresh rate)이 일정하지 않고 약간의 오차를 가져 여전히 불연속적인 힘이 생긴다. 이러한 갱신율의 변동은 햅틱 장치(150)로 증강된 가상 객체를 만지게 될 때 더 증가할 수 있다.

사용자가 햅틱 장치(150)를 이용하여 가상 객체와 상호작용함에 있어서 피드백되는 반력 계산에 있어서의 문제점을 보다 구체적으로 살펴보면 다음과 같다.

도 3은 햅틱 프레임과 영상 프레임의 갱신율의 불일치로 인한 불연속적인 반력 피드백을 도시한 도면이고, 도 4는 종래 보간법에 의한 반력 피드백에 있어서의 저크(jerk)를 도시한 도면이며, 도 5는 종래 외삽법에 의한 반력 피드백에 있어서의 저크를 도시한 도면이다.

도 3 내지 도 5에서 도면 부호 '300'은 가상 환경에서의 가상 객체를 나타내는 것으로서, 가상 객체가 가상 환경에서 어떠한 상태로 위치하는가를 표시하기 위한 것이다.

도 3을 참조하면, 가상 객체(300)가 이전 위치에서 미래 위치로 이동할 때, 반력 계산을 위한 중간 지점이 없어서 사용자가 햅틱 장치(150)로 가상 객체(300)와 상호작용함에 있어서 급작스런 반력 변화를 느끼게 된다(점선 원호 내 반력 참조).

도 4를 참조하면, 보간법(interpolation)에 의하여 충돌 검출 및 반력 계산을 할 때의 문제점을 알 수 있다. 보간법은 영상 프레임의 현재 위치와 이전 위치의 갱신 시간을 햅틱 프레임 갱신 비율로 나누어 각 햅틱 프레임에서의 가상 객체(300)의 위치를 보간하여 결정하고 햅틱 장치(150)의 작용점과의 충돌 여부를 검출하여 반력을 계산한다. 그런데 보간법을 적용하기 위해서는 적어도 하나의 영상 프레임을 버퍼에 미리 저장하여야 하는 관계로 햅틱 피드백 계산시 시간 지연이 발생한다. 또한 영상 갱신율과 햅틱 갱신율이 시간에 따라 변동함에 따라 가상 객체(300)의 보간된 위치가 실제 가상 객체(300)의 위치와 비교하여 차이가 발생할 수 있다.

도 4의 (a)는 가상 객체(300)의 보간된 위치가 현재의 실제 가상 객체의 위치와 상대적으로 많은 거리 차이가 있어서 사용자가 전방향 저크(forward jerk)를 느끼게 되는 경우를 나타낸다. 반면 도 4의 (b)는 가상 객체(300)의 보간된 위치가 현재의 실제 가상 객체(300)의 위치를 지나가 버려 사용자가 역방향 저크(backward jerk)를 느끼게 되는 경우를 나타낸다.

도 4에서 언급한 문제 이외에도, 본 발명이 적용되는 증강 현실 시스템은 영상, 음성, 햅틱 등 다양한 정보를 제공하기 위한 멀티 모달(multi modal) 응용프로그램으로 확장될 수 있으며 이로 인해 다수의 응용프로그램 간의 간섭과 연산량의 증가로 위와 같은 문제점은 더욱 심각할 수 있다.

상기와 같은 보간법과는 달리 외삽법(extrapolation)의 경우에는 과거 위치의 가상 객체(300)와 현재 위치의 가상 객체(300) 간의 시간 간격을 이용하여 현재 위치 이후의 가상 객체(300)의 위치를 추정하여 햅틱 렌더링을 수행한다. 외삽법의 경우에는 보간법과는 달리 영상 지연의 문제는 발생하지 않는다. 그러나 보간법의 경우와 같이 영상 갱신율과 햅틱 갱신율의 변동으로 인해 여전히 전방향 저크 또는 역방향 저크가 발생할 수 있다.

도 5를 참조하면, 도 4의 경우와 유사하게 외삽법의 경우에도 전방향 저크(a의 경우) 또는 역방향 저크(b의 경우)가 발생할 수 있음을 알 수 있다.

이러한 문제점을 해결하기 위한 방법으로 본 발명은 반력의 불연속성을 최소화하기 위한 적응적 외삽법을 제안한다.

도 6은 본 발명의 바람직한 실시예에 따른 적응적 외삽법을 설명하는 도면이다. 도 6에 있어서 (a)는 전방향 저크를 제거하는 것을 설명하는 도면이며, (b)는 역방향 저크를 제거하는 것을 설명하는 도면이다.

도 6에 있어서 t_v 및 t_h는 영상 렌더링 및 햅틱 렌더링의 시간 간격을 나타내며, T _t _-Δt, T _t, T _t _+△t와 R _t _-Δt, R _t, R _t _+△t는 각각 가상 객체(300)의 이전, 현재, 미래의 위치와 회전각을 나타낸다. LEP_t _-Δt는 이전 시간 단계에서 최종적으로 외삽법으로 예측된 위치를 나타내고, δT와 δR은 LEP_t _-Δt와 현재의 객체 위치(300) 간의 거리 및 각도 차이를 나타낸다. 이들의 관계는 다음의 수학식 14와 같이 나타낼 수 있다.

수학식 14에 있어서,

와

은 이전 시간 단계에서 계산된 마지막 예측된 지점에서의 위치 및 회전각을 나타낸다.

적응적 외삽법의 적용에 있어서 LEP_t _-Δt는 매 영상 프레임마다 연속적으로 모니터된다. 만약 LEP_t _-Δt와 현재의 가상 객체 위치간에 차이가 있는 경우에는 이후의 외삽법 적용을 위한 증가분을 계산하기 위하여 δT와 δR을 고려한다.

이에 따라 햅틱 렌더링에 있어서의 가상 객체(300)의 위치 및 각도에 대한 증가분은 다음의 수학식 15에 의해 결정될 수 있다.

움직임 추정부(270)는 상기와 같은 방식으로 충돌 검출과 반력 계산을 위해 가상 객체의 위치를 추정함으로써 추정된 가상 객체의 위치와 실제 영상 프레임에서의 가상 객체의 위치를 일치시키고 영상 프레임의 갱신에 따라 발생될 수 있는 저크를 최소화할 수 있다.

이상에서 설명한 증강 현실 시스템을 이용한 햅틱 상호 작용을 포함하는 증강 현실 제공 방법을 설명하면 다음과 같다.

도 7은 본 발명의 바람직한 실시예에 따른 햅틱 상호 작용을 포함하는 증강 현실 제공 방법을 도시한 순서도이다.

증강 현실의 제공을 위하여 마커(110)를 포함한 실제 환경의 영상을 영상 획득 장치(120)를 통해 입력받는다(S700).

영상 획득 장치의 마커 검출부(220)는 실제 환경에 대한 영상으로부터 마커(110)를 검출한다(S702).

다음으로 마커 위치 추출부(230)는 마커(110)가 실제 영상의 어느 위치에 어떠한 방위로 위치하는가를 확인하여 마커(110)의 위치 및 방위를 추출한다(S704).

마커(110)의 위치 및 방위 정보는 영상 획득 장치(120)의 자체 노이즈를 비롯하여 다양한 환경적 요인으로 인해 노이즈가 포함될 수 있으므로, 노이즈 제거부(240)는 마커(110)의 위치 및 방위 정보에서 노이즈를 제거하며, 바람직하게는 마커(110)의 위치 및 방위 정보를 연속적으로 예측한다(S706). 노이즈가 제거된 마커의 위치 및 방위 정보는 가상 객체(202)의 증강 및 가상 객체(202)와 햅틱 장치(150)의 상호 작용을 위하여 사용된다.

가상 객체 증강부(250)는 실제 환경에서의 마커(110)의 위치에 가상 객체(202)를 증강하여 시각 디스플레이 장치(140)로 전달하고(S708), 시각 디스플레이 장치(140)는 이를 시각적으로 출력한다(S710).

한편, 노이즈 제거부(240)에서는 노이즈가 제거된 마커(110)의 위치 및 방위 정보를 햅틱 렌더링부(260)로 전달하고, 햅틱 렌더링부(260)의 움직임 추정부(270)는 햅틱 렌더링을 위하여 햅틱 렌더링 시간 간격에 따른 마커(110)의 움직임을 추정한다(S712). 본 발명에 있어서 바람직하게는 움직임 추정부(270)는 적응적 외삽법에 따라 마커(110)의 움직임을 추정함으로써 새로운 영상 프레임의 갱신시 발생할 수 있는 반력 저크를 제거할 수 있도록 한다.

충돌 검출부(280)는 움직임 추정부(270)에서 추정된 마커(110)의 위치에 대 응하여 증강되는 가상 객체(202)와 햅틱 장치(150)의 엔드 포인트 간의 충돌 여부를 검출한다(S714).

반력 계산부(290)는 가상 객체(202)와 햅틱 장치(150)의 엔드 포인트 간에 충돌이 발생하는 경우 반력을 계산하여 이를 햅틱 장치(150)로 전달하고(S716), 햅틱 장치(150)는 이러한 반력을 사용자에게 제공한다(S718).

한편, 증강 현실 시스템에 있어서, 가상 객체의 증강과 획득된 영상 이미지는 OpenGL을 기반으로 카메라 프로젝션 행렬과 마커 변환 행렬을 이용하여 시각적으로 렌더링된다. 그런데, 시각적으로 렌더링되는 실제 환경 및 가상 객체에 대한 영상은 실제 환경의 좌표계와는 다른 상태, 즉 반대방향의 좌표계를 갖는 것이 일반적이다. 예컨대 영상 획득 장치로서 핀홀 카메라가 사용되는 경우 영상은 카메라 내부의 영상 평면에 맺히게 되며, 이에 대한 좌표계는 실제 환경의 좌표계를 180 도 회전시킨 상태와 마찬가지이다. 반면에 햅틱 렌더링을 위한 좌표계는 실제 환경의 좌표계와 실질적으로 동일하다. 이러한 좌표계 불일치는 햅틱 렌더링시 사용자가 가상 객체와 정확한 햅틱 상호작용을 하는 것을 저해하는 요소가 된다.

도 8은 증강 현실 시스템에 있어서 시각 디스플레이 좌표계와 햅틱 좌표계의 차이점 및 상호 동기화를 위한 좌표계 변환을 설명하는 도면이다.

이러한 시각 렌더링과 햅틱 렌더링시의 좌표계의 불일치를 해결하기 위하여 영상에 대한 좌표계를 햅틱 렌더링에 대한 좌표계와 일치하도록 회전시킨다. 이러한 회전은 마커 변환 행렬을 활용하여 수행되도록 할 수 있다. 마커 변환 행렬은 마커(110)에 대응하는 가상 객체(202)가 실제 환경에 대한 영상의 마커(110)의 위치에 증강되도록 변환시킨다. 이에 따라 시각 렌더링시 사용되는 좌표계를 다음의 수학식 16과 같은 좌표계 동기화 행렬(T'_MARKER)을 이용하여 변환시키면 시각 렌더링에 대한 좌표계와 햅틱 렌더링에 대한 좌표계를 동기화시킬 수 있다. 수학식 16에서 T_MARKER는 마커 변환 행렬를 나타낸다.

이에 따라 도 2에 도시한 본 발명의 바람직한 실시예에 따른 증강 현실 시스템은 좌표계 동기화부를 추가로 구비하여, 상기와 같은 좌표계 변환을 수행함으로써 시각 좌표계와 햅틱 좌표계가 동기화되도록 할 수 있다.

한편, 위의 설명에서는 시각 좌표계를 변환시켜 햅틱 좌표계와 동기화시키는 구성을 설명하였으나, 본 발명의 실시에 있어서는 역으로 햅틱 좌표계를 변환시켜 시각 좌표계와 동기화시키는 것도 가능함은 물론이다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도 면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

도 1은 AR 마커와 햅틱 장치를 이용한 비젼 기반 증강 현실 시스템의 일례를 도시한 도면,

도 2는 본 발명의 바람직한 실시예에 따른 햅틱 상호작용을 포함하는 증강 현실 시스템의 블록도,

도 3은 햅틱 프레임과 영상 프레임의 갱신율의 불일치로 인한 불연속적인 반력 피드백을 도시한 도면,

도 4는 종래 보간법에 의한 반력 피드백에 있어서의 저크(jerk)를 도시한 도면,

도 5는 종래 외삽법에 의한 반력 피드백에 있어서의 저크를 도시한 도면,

도 6은 본 발명의 바람직한 실시예에 따른 적응적 외삽법을 설명하는 도면,

도 7은 본 발명의 바람직한 실시예에 따른 햅틱 상호 작용을 포함하는 증강 현실 제공 방법을 도시한 순서도,

<도면의 주요 부분에 대한 도면부호의 설명>

100 : 종래 증강 현실 시스템 110 : 마커

120 : 영상 획득 장치 130 : 주처리 장치

140 : 시각 디스플레이 장치 150 : 햅틱 장치

200 : 증강 현실 시스템 202, 300 : 가상 객체

210 : 시각 렌더링부 220 : 마커 검출부

230 : 마커 위치 추출부 240 : 노이즈 제거부

250 : 가상 객체 증강부 260 : 햅틱 렌더링부

270 : 움직임 추정부 280 : 충돌 검출부

290 : 반력 계산부

Claims

햅틱 상호작용을 포함하는 증강 현실 시스템에 있어서,

마커를 포함한 현실 환경에 대한 영상을 입력받아 상기 영상 중에 포함된 상기 마커를 검출하는 마커 검출부와,

검출된 상기 마커의 위치를 추출하는 마커 위치 추출부와,

상기 마커 위치 추출부에서 추출된 마커의 위치 정보에서 노이즈를 제거하는 노이즈 제거부와,

상기 마커에 대응하는 가상 객체를 상기 마커의 위치에 증강시켜 출력하는 가상 객체 증강부를 포함하는 시각 렌더링부; 및

상기 노이즈 제거부로부터 전달받은 상기 마커의 위치 정보를 바탕으로 햅틱 렌더링을 위한 시간 간격에 따라 상기 마커의 움직임을 추정하는 움직임 추정부와,

상기 움직임 추정부에 따라 추정된 상기 마커의 위치에 대응하는 가상 객체와 햅틱 장치의 엔드 포인트간의 충돌 여부를 검출하는 충돌 검출부와,

상기 충돌 검출부의 판단에 따라 상기 햅틱 장치를 통해 제공될 반력을 계산하는 반력 계산부를 포함하는 햅틱 렌더링부를 포함하며,

상기 움직임 추정부는, 이전 시간 영상을 바탕으로 추정된 상기 마커의 위치와 현재 시간 영상에서의 상기 마커의 실제 위치와의 차이를 이용하여 상기 마커의 위치 증가분을 결정하는 것을 특징으로 하는 증강 현실 시스템.
제 1 항에 있어서,

상기 마커의 위치 정보는 상기 마커의 3차원 위치 정보 및 방위 정보를 포함 하는 것을 특징으로 하는 증강 현실 시스템.
제 1 항에 있어서,

상기 노이즈 제거부는, 로우 패스 필터, FIR 필터, 및 IIR 필터 중 어느 하나 또는 그와 동등한 필터로 구성되는 것을 특징으로 하는 증강 현실 시스템.
제 1 항에 있어서,

상기 노이즈 제거부는, 최소제곱 예측기, 최소 평균제곱 예측기, 최대우도 예측기, Maximun A posteriori 예측기, 베이즈 예측기, 칼만 필터, 파티클 필터, 마르코프 연쇄 몬테 카를로 예측기, 최소 분산 불편 예측기, 및 선형 불편 예측기 중 어느 하나 또는 그와 동등한 예측기로 구성되어 노이즈 제거 및 상기 마커의 움직임 예측을 동시에 수행하는 것을 특징으로 하는 증강 현실 시스템.
제 1 항에 있어서,

상기 노이즈 제거부는,

초기값으로부터 연속적인 예측과 보정을 통하여 상기 마커의 위치 정보에서 노이즈를 필터링하고 예측하는 확장 칼만 필터로 구현되는 것을 특징으로 하는 증강 현실 시스템.
제 5 항에 있어서,

상기 확장 칼만 필터에 있어서,

상기 마커 트래킹에 대한 모델은 위치, 속도, 및 가속도를 포함하는 상태 벡터와 마커 트래킹 과정에서 유입되는 시스템 노이즈로 표현되며, 실제 측정값을 바탕으로 연속적으로 예측되는 것을 특징으로 하는 증강 현실 시스템.
제 6 항에 있어서,

상기 확장 칼만 필터는,

상기 상태 벡터의 선험적 예측값과 오차 공분산의 선험적 예측값을 초기 조건으로부터 예측한 후, 칼만 이득을 구하고, 상기 실제 측정값과 상기 칼만 이득을 이용하여 상기 상태 벡터의 선험적 예측값을 보정하여 상기 상태 벡터의 경험적 예측값을 구하는 것을 특징으로 하는 증강 현실 시스템.
삭제
제 1 항에 있어서,

상기 이전 시간 영상을 바탕으로 최종적으로 추정된 상기 마커의 위치는 매 영상 프레임마다 연속적으로 모니터되는 것을 특징으로 하는 증강 현실 시스템.
제 1 항에 있어서,

상기 시각 렌더링부와 상기 햅틱 렌더링부 중 어느 하나는 시각 렌더링을 위한 시각 좌표계와 햅틱 렌더링을 위한 햅틱 좌표계의 동기화를 수행하는 좌표계 동기화부를 추가로 포함하는 것을 특징으로 하는 증강 현실 시스템.
햅틱 상호 작용을 포함하는 증강 현실 제공 방법에 있어서,

(a) 마커를 포함한 실제 환경의 영상을 입력받는 단계;

(b) 상기 영상에서 상기 마커를 검출하고 상기 마커의 위치를 추출하는 단계;

(c) 상기 마커의 위치 정보에 포함된 노이즈를 제거하는 단계;

(d) 상기 마커의 위치 정보를 바탕으로 햅틱 렌더링을 위한 시간 간격에 따라 상기 마커의 움직임을 추정하는 단계;

(e) 상기 마커에 대응하는 가상 객체와 햅틱 장치의 엔드 포인트 간의 충돌여부를 검출하고 반력을 계산하여 햅틱 장치로 출력하는 단계; 및

(f) 상기 실제 영상의 상기 마커 위치에 상기 가상 객체를 증강하여 시각 디스플레이 장치로 출력하는 단계

를 포함하는 증강 현실 제공 방법.
제 11 항에 있어서,

상기 마커의 위치 정보는 상기 마커의 3차원 위치 정보 및 방위 정보를 포함하는 것을 특징으로 하는 증강 현실 제공 방법.
제 11 항에 있어서,

상기 (c) 단계는, 로우 패스 필터, FIR 필터, 및 IIR 필터 중 어느 하나 또는 그와 동등한 필터로 수행되는 것을 특징으로 하는 증강 현실 제공 방법.
제 11 항에 있어서,

상기 (c) 단계는, 최소제곱 예측기, 최소 평균제곱 예측기, 최대우도 예측기, Maximun A posteriori 예측기, 베이즈 예측기, 칼만 필터, 파티클 필터, 마르코프 연쇄 몬테 카를로 예측기, 최소 분산 불편 예측기, 및 선형 불편 예측기 중 어느 하나 또는 그와 동등한 예측기로 수행되어 노이즈 제거 및 상기 마커의 움직임 예측이 함께 이루어지도록 하는 것을 특징으로 하는 증강 현실 제공 방법.
제 11 항에 있어서,

상기 (c) 단계는, 초기값으로부터 연속적인 예측과 보정을 통하여 상기 마커의 위치 정보에서 노이즈를 필터링하고 예측하는 확장 칼만 필터로 수행되는 것을 특징으로 하는 증강 현실 제공 방법.
제 11 항에 있어서,

상기 (c) 단계는,

(c1) 상기 마커의 위치, 속도, 가속도를 포함하는 상태 벡터에 대한 선험적 예측값과 오차 공분산의 선험적 예측값을 초기 조건으로부터 예측하는 단계; 및

(c2) 칼만 이득을 구하고, 실제 측정값과 상기 칼만 이득을 이용하여 상기 상태 벡터의 선험적 예측값을 보정하여 상기 상태 벡터의 경험적 예측값을 구하는 단계

를 포함하여 이루어지는 것을 특징으로 하는 증강 현실 제공 방법.
제 11 항 내지 제 16 항 중 어느 한 항에 있어서,

상기 (d) 단계는,

이전 시간 영상을 바탕으로 외삽법을 적용하여 최종적으로 추정된 상기 마커의 위치와, 현재 시간 영상에서의 상기 마커의 실제 위치와의 차이를 바탕으로 현재 시간 이후의 햅틱 렌더링을 위한 상기 마커의 위치 증가분을 결정하는 적응적 외삽법을 통해 상기 마커의 움직임을 추정하는 것을 특징으로 하는 증강 현실 제공 방법.
제 17 항에 있어서,

상기 이전 시간 영상을 바탕으로 최종적으로 추정된 상기 마커의 위치는 매 영상 프레임마다 연속적으로 모니터되는 것을 특징으로 하는 증강 현실 제공 방법.