KR102128336B1

KR102128336B1 - 3차원 영상 왜곡 보정 장치 및 방법

Info

Publication number: KR102128336B1
Application number: KR1020180048401A
Authority: KR
Inventors: 김준수; 이광순
Original assignee: 한국전자통신연구원
Priority date: 2018-04-26
Filing date: 2018-04-26
Publication date: 2020-06-30
Anticipated expiration: 2038-04-26
Also published as: US20190332882A1; KR20190124439A; US10997455B2

Abstract

3차원 영상 왜곡 보정 장치 및 방법이 제공된다. 본 개시의 3차원 영상 왜곡 보정 방법은 소정의 제1 패턴을 포함하는 입력 영상을 수신하는 단계, 상기 입력 영상으로부터 상기 제1 패턴에 관한 특성값을 추출하는 단계 및 상기 추출된 특성값에 기초하여 상기 입력 영상을 업데이트하는 단계를 포함한다.

Description

3차원 영상 왜곡 보정 장치 및 방법{3D IMAGE DISTORTION CORRECTION SYSTEM AND METHOD}

본 개시는 3차원 영상 왜곡 보정 장치 및 방법에 관한 것이다. 보다 구체적으로, 본 개시는 선형 정합오차 보정 기법에 기반하여 3차원 영상 왜곡을 보정하는 장치 및 방법에 관한 것이다.

3차원 영상 표시 장치는 일반적으로 양안시차(binocular parallax)를 이용하여 물체의 입체감을 제공한다. 양안시차는 시청자의 좌우 영상에 각각 좌안용 영상과 우안용 영상을 분리하여 제공함으로써 발생될 수 있다. 3차원 영상 표시 장치는 인위적인 수단으로 사람의 좌우안의 시차를 만들어 시차를 가진 두 폭의 영상을 각각 좌우안에 제공하여 대뇌로 하여금 좌우안으로 본 서로 다른 영상을 얻은 후 진실한 3차원 물체를 관찰한 감각을 발생하도록 하는 것이다.

이러한 3차원 영상 표시 장치는 별도의 안경 착용 여부에 따라 안경식(stereoscopic)과 비안경식(autostereoscopic)이 있다. 안경식 3차원 영상 표시 장치의 경우, 편광 방식과 시분할 방식 등을 이용하며, 3차원 영상을 감상하기 위해 반드시 편광안경과 같은 별도의 도구를 착용해야 하는 불편함이 있다. 반면, 비안경식 3차원 영상 표시 장치는 이러한 안경식 3차원 영상 표시 장치의 불편함을 개선한 것으로서, 디스플레이 패널의 전방에 배치된 패럴렉스 배리어(parallax barrier) 또는 렌티큘러 렌즈(lenticular lens) 등과 같은 3차원 광학판 또는 광학 레이어를 이용하여 좌안용 영상과 우안용 영상을 분리할 수 있다. 따라서, 시청자는 별도의 도구 없이도 나안으로 3차원 영상을 감상할 수 있다.

그러나, 비안경식 3차원 영상 표시 장치의 경우 광학 레이어 공정 오차, 레이어 본딩 과정에서의 틀어짐과 층간 간격 오차, 또는 온도나 외력 등에 의한 변경 등에 의하여 3차원 영상이 왜곡되는 문제가 있다.

본 개시의 기술적 과제는, 3차원 영상 왜곡 보정 장치 및 방법을 제공하는 것이다.

본 개시의 다른 기술적 과제는, 선형 정합오차 보정 기법에 기반한 3차원 영상 왜곡 보정 장치 및 방법이 제공될 수 있다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 양상에 따르면, 소정의 제1 패턴을 포함하는 입력 영상을 수신하는 단계; 상기 입력 영상으로부터 상기 제1 패턴에 관한 특성값을 추출하는 단계; 및 상기 추출된 특성값에 기초하여 상기 입력 영상을 업데이트하는 단계를 포함하는 3차원 영상 왜곡 보정 방법이 제공될 수 있다.

본 개시의 다른 양상에 따르면, 소정의 제1 패턴을 포함하는 입력 영상을 수신하는 입력부; 상기 제1 패턴에 관한 특성값을 저장하는 저장부; 및 상기 입력 영상으로부터 상기 특성값을 추출하고, 상기 추출된 특성값에 기초하여 상기 입력 영상을 업데이트하는 제어부를 포함하는 것을 특징으로 하는 3차원 영상 왜곡 보정 장치가 제공될 수 있다.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.

본 개시에 따르면, 3차원 영상 왜곡 보정 장치 및 방법이 제공될 수 있다.

또한, 본 개시에 따르면, 선형 정합오차 보정 기법에 기반한 3차원 영상 왜곡 보정 장치 및 방법이 제공될 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시 예에 따른 수평 시차를 지원하는 다시점 영상 표시 장치를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 선형 정합오차 측정용 테스트 패턴 영상의 생성과 특성값 추출을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 3차원 영상 왜곡 보정 시스템을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 3차원 영상 왜곡 보정 장치의 동작방법을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 선형 정합오차 보정 전후의 영상을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 3차원 영상 왜곡 보정 장치의 구성을 설명하기 위한 도면이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.

도 1은 본 개시의 일 실시 예에 따른 수평 시차를 지원하는 다시점 영상 표시 장치를 설명하기 위한 도면이다.

도 1을 참조하면, 다시점 영상 표시 장치(100)는 디스플레이 패널(110) 및/또는 광학 레이어(120)를 포함할 수 있다. 디스플레이 패널(110) 상에 렌즈 어레이(lens array)나 패럴렉스 배리어 등의 광학 레이어(120)를 배치시키면, 시청거리 평면(130) 상의 위치에 따라 다른 이미지가 관찰될 수 있다. 예컨대, 시청거리 평면(130)은 시청자가 3차원 영상을 시청하는 최적의 시청거리에 대응되는 최적시청거리 평면일 수 있다. 디스플레이 패널(110)은 평판 디스플레이를 포함할 수 있다. 따라서, 시청거리 평면(130) 상에 위치한 관찰자가 해당 위치에서 3차원 물체를 관찰하였을 때의 시점 영상을 볼 수 있도록 디스플레이 패널(110)에 영상을 표시하면, 입체감 있는 3차원 영상을 시청자에게 제공할 수 있다.

도 1을 참조하면, 수평시차를 지원하는 다시점 영상 표시 장치(100)는 위치 별로 다른 이미지를 표시할 수 있다. 광학 레이어(120)는 1차원적 주기를 가지며, 일반적으로 반복이 일어나는 방향은 디스플레이 패널(110) 픽셀 배열에 대해 기울임 각도 α만큼 기울어지도록 설계될 수 있다. 기울기 각도는 디스플레이 패널(110)의 픽셀 구조를 고려하여 적정한 값으로 설계되어야 하며, 기울임 각도를 고려하는 이유는 무아레 현상에 의한 이미지 품질 저하를 피하기 위함이다. 광학 레이어(120)의 수평 주기와 굴절을 고려한 두 층 간의 유효 간격이 각각 p/cos(α)와 g로 균일하고 시청거리(D)가 결정되면 디스플레이 패널(110)의 평면 상에 수학식 1과 같은 함수를 정의할 수 있다.

수학식 1을 참조하면, h는 다중화 주기로서 (1+g/D) x p/cos(α)로 정의될 수 있다. 도 1을 참조하면, 시청거리 평면(130) 상의 임의의 위치에서 영상 표시 장치(100)를 바라보면, 같은 γ(x,y) 값을 가지는 픽셀들만 보이게 됨을 알 수 있다. 따라서, γ(x,y)의 값에 따라 디스플레이 평면을 분할하고 각 함수값에 대응되는 시점 이미지를 씌워 공간다중화된 이미지를 생성할 수 있으며, 이를 영상 표시 장치(100)에 띄우면, 각 시점에 대해 대응되는 시점 이미지가 보이도록 만들 수 있다.

한편, 기울임 각도 α와 다중화 주기 h가 정확하지 않은 경우, 실제 γ(x,y) 함수와 이미지 다중화에 이용된 함수의 차이로 인해 시청거리 평면(130)에서 영상 표시 장치(100)를 바라볼 때, 서로 다른 γ(x,y) 값을 가지는 픽셀들이 동시에 관찰되게 되어 시점 이미지가 섞이는 현상이 발생할 수 있다. 이러한 오차는 광학 레이어 공정 오차, 레이어 본딩 과정에서의 틀어짐과 층간 간격 오차, 온도/외력 등에 의한 변형에 의해 발생될 수 있다. 광학 레이어의 주기와 두 층간 간격이 완전히 균일하여 부정합이 순수하게 전역적 다중화 주기 오차와 기울어짐 각도 오차에 기인하는 경우, γ(x,y) 함수의 오차 분포는 수학식 1의 다중화 매개변수의 오차에 의해 표현될 수 있으며, 그렇지 않은 경우에도 제한된 영역에 대해서는 γ(x,y) 함수의 오차 분포를 선형으로 근사시킴으로써 다중화 매개변수의 오차에 대응시킬 수 있다. 다중화 매개변수는 시점 이미지의 교차 배치 주기에 관한 정보 또는 교차 배치 방향에 관한 정보를 포함할 수 있다. 상기 이미지의 교차 배치 주기에 관한 정보 또는 교차 배치 방향에 관한 정보는, 시점 이미지들을 조합하여, 예를 들어, 시점 이미지들을 교차 배치하여 3차원 영상을 획득하는데 필요한 정보를 의미할 수 있다. 예컨대, 다중화 매개변수는 기울임 각도 α 및/또는 다중화 주기 h를 포함할 수 있다. 이와 같이, 다중화 매개변수인 기울임 각도 α 및/또는 다중화 주기 h의 오차를 측정하고 측정 결과를 다중화 이미지에 반영하여 다중화 이미지를 다시 생성함으로써 3차원 이미지의 왜곡을 제거하는 과정을 선형 정합오차 보정 기법이라고 한다.

최근의 선형 정합오차 보정 기법 중 하나는 주기적인 세로선 패턴을 광학 레이어를 통해 보았을 때 나타내는 격자 이미지를 공간주파수 도메인에서 분석하는 방식이다. 이러한 방식에 의하면, 이론적으로는 최적의 선형 정합오차 보정이 가능하며, 시뮬레이션 상으로는 기존의 선형 정합오차 보정 방법에 비해 약 10배 가량 높은 정확도를 가지며 영상 잡음에도 강인한 것으로 알려져 있다. 그러나, 실제 영상 표시 장치에 대해 공간주파수 성분 추출을 시도하는 경우, 측정 카메라 해상도의 한계, 피크 넓어짐 등에 의해 정확한 공간주파수 측정이 쉽지 않다. 또한, 정량적인 정확도 평가 방법도 일반적으로 잘 알려져 있지 않기 때문에 이미지 품질 개선 여부까지만 확인하는 것이 일반적이다. 따라서, 기존의 선형 정합오차 보정 방법은 실제 3차원 영상 결과에 대해 충분하게 정확도를 보장하기 어렵다는 문제가 있다. 이에, 본 개시의 3차원 영상 왜곡 보정 시스템은 다시점 시역 생성을 위한 광학 레이어와 디스플레이 패널의 정렬이 설계와 일치하지 않아 발생하는 3차원 이미지의 왜곡을 보정하는 방법을 제공할 수 있다. 상기 보정은 레이어를 물리적으로 재정렬하는 것이 아닌 소프트웨어적 보정을 의미할 수 있다.

도 2는 본 개시의 일 실시 예에 따른 선형 정합오차 측정용 테스트 패턴 영상의 생성과 특성값 추출을 설명하기 위한 도면이다.

본 개시의 선형 정합오차 측정용 테스트 패턴은 미리 준비된 시점 이미지 모음으로부터 생성될 수 있다. 시점 이미지들은 시점 이동에 따라 점진적으로 변형되다가 마지막 시점에서 1시점 간격에 해당하는 만큼 추가적으로 변형되면 첫 번째 시점 이미지로 회귀하는 순환적(cyclic) 특성을 가질 수 있다. 각 시점 이미지는 인접 시점들과 구별되는 특성을 가져야 하며, 바람직하게는 예컨대, 시점 이미지간 특성 변화는 단일한 경향을 나타내는 점진적 변화일 수 있다. 상기 시점 이미지 모음과 참값에서 벗어난 다중화 매개변수인 기울임 각도 α 및/또는 다중화 주기 h를 이용하여 다중화 이미지를 만들 수 있다. 한편, 디스플레이 패널에서 표시되는 다중화 이미지를 광학 레이어를 통해 보게 되면, 시점 이미지의 변형된 패턴 형태를 관찰할 수 있다. 시점 이미지의 변형을 특징짓는 2개 이상의 특성값을 추출하면, 추출된 특성값을 활용하여 2개의 다중화 매개변수 α와 h의 오차를 추정할 수 있다. 예컨대, 상기 특성값은 상기 변형된 패턴의 길이 또는 기울기일 수 있다. 비교적 단순한 순환적 시점 이미지 모음을 이용하여 생성되는 테스트 패턴의 형상과 특성값의 추출에 대해 도 2를 참조하여 후술한다.

도 2를 참조하면, 각각의 시점 이미지(210-1,,,210-n, n은 1 이상의 정수)는 기준 주기(Tref) 만큼의 간격을 가지는 줄무늬 패턴을 가지며, 줄무늬의 기울기나 색상은 디스플레이 픽셀 구조를 고려하여 선택될 수 있다. 예컨대, 통상의 RGB 스트라이프(stripe) 형태의 패널을 가정하여 적색의 세로 줄무늬를 시점 이미지로 선택할 수 있다. 시점이 이동함에 따라 줄무늬는 패턴이 반복되는 방향으로 평행이동하고, 마지막 시점 이미지(210-n)를 1시점 간격에 해당하는 만큼 추가적으로 평행이동을 시키면 첫 번째 시점 이미지(210-1)가 되도록 주기를 설정할 수 있다. 이러한 시점 이미지 리스트와 참값에서 약간 벗어난 다중화 매개변수인 기울임 각도 α 및/또는 다중화 주기 h를 이용하여 다중화 이미지를 만들 수 있다. 디스플레이 패널에서 표시되는 상기 다중화 이미지를 광학 레이어를 통해 보게 되면, 일반적으로 변형된 주기적 줄무늬 형태를 가지는 영상(220)이 획득될 수 있다. 본 개시의 3차원 영상 왜곡 보정 장치는 상기 변형된 줄무늬 패턴을 포함하는 영상을 테스트 패턴 영상으로 이용할 수 있다. 테스트 패턴의 특성값은 상기 테스트 패턴 영상의 특성을 나타내는 변수로서 상기 특성값에는 시점 이미지의 변형 정도가 반영될 수 있다. 따라서, 상기 특성값을 추출하여 이를 이용함으로써 시점 이미지의 다중화 매개변수의 오차를 예측할 수 있다. 예컨대, 특성값은 테스트 패턴 영상의 줄무늬의 수평 주기 T 및/또는 줄무늬의 기울기 θ를 포함할 수 있다. 또한 예컨대, 줄무늬의 수평 주기 T 및/또는 줄무늬의 기울기 θ는 다중화 매개변수인 다중화 주기 h 및/또는 기울임 각도 α의 오차를 이용하여 각각 수학식 2 및 3과 같이 표현될 수 있다.

수학식 2 및 3을 참조하면, h, δh는 각각 다중화 주기와 다중화 주기 오차율 Δh/h이고, A와 ΔA는 각각 tan(θ)와 오차 Δ(tan(θ))를 의미한다. 예컨대, 다중화 매개변수를 조작하여 T와 θ가 각각 Tref와 π/2가 되도록 하면 δh와 ΔA이 0이 되므로 다중화 매개변수의 참값을 찾을 수 있다. 테스트 패턴의 특성값 T 및/또는 θ는 일반적인 모서리 탐색 알고리즘, 호모그래피 변환, 허프 변환(Hough transform) 기반의 선 탐색 알고리즘 등을 활용하여 얻을 수 있다. 또한, 관측 조건에 따라 T 및/또는 θ를 얻기 위해 노이즈 제거 필터나 저주파 통과 필터가 적용될 수 있다.

도 3은 본 개시의 일 실시 예에 따른 3차원 영상 왜곡 보정 시스템을 설명하기 위한 도면이다.

도 3을 참조하면, 3차원 영상 왜곡 보정 시스템은 테스트 패턴 영상의 모니터링과 반복 보정을 수행할 수 있다. 예컨대, 영상 획득 장치(310)는 3차원 영상 표시 장치(320)의 주 시역 내 임의의 위치에 배치되고, 카메라 렌즈의 절점(nodal point)이 시청거리(330)에 위치하도록 배치될 수 있다. 시청거리(330)는 시청자가 3차원 영상을 시청하는 최적의 시청거리에 대응되는 최적시청거리를 의미할 수 있다. 또한 예컨대, 카메라 이미지(312)의 해상도는 공간주파수 1/Tref의 수 배수를 검출할 수 있는 수준으로 높을 수 있으나 동작 속도를 저해할 정도로 높지 않을 수 있다. 3차원 영상 왜곡 보정 장치(340)는 카메라 이미지(312)를 영상 획득 장치(310)로부터 수신하여 테스트 패턴의 특성값을 추출하고, 특성값이 목표값에 충분히 가깝지 않은 경우 다중화 이미지(350)를 업데이트 하여 3차원 영상 표시 장치(320)에게 전송한다. 다중화 이미지(350)를 업데이트 할 때마다 3차원 영상 왜곡 보정 장치(340)는 영상 획득 장치(310)에게 카메라 제어 신호(314)를 보낼 수 있다. 또한, 3차원 영상 왜곡 보정 장치(340)는 영상 획득 장치(310)로부터 연속적으로 입력되는 카메라 이미지(312)를 캡쳐함으로써 다중화 이미지(350)가 업데이트된 결과를 모니터링 할 수 있다.

도 4는 본 개시의 일 실시 예에 따른 3차원 영상 왜곡 보정 장치의 동작방법을 설명하기 위한 도면이다.

도 4를 참조하면, 3차원 영상 왜곡 보정 장치의 동작방법은 크게 다중화 주기 h를 업데이트하는 단계(S420 단계) 및 기울임 각도 α를 업데이트 하는 단계(S430 단계)를 포함할 수 있다. 예컨대, 3차원 영상 왜곡 보정 방법은 S420 단계 및 S430 단계를 순서대로 번갈아 수행할 수 있다. 또한, 3차원 영상 왜곡 보정 방법은 S420 단계 및 S430 단계를 수행함으로써 특성값인 줄무늬의 수평 주기 T 및 줄무늬의 기울기 θ가 각각 오차 허용치인 tolT 및 tolθ내의 범위로서 목표한 값에 근접하도록 유도할 수 있다. 또한, 3차원 영상 왜곡 보정 방법은 S420 단계 및 S430 단계 각각의 매 시행(iteration)마다 먼저 다중화 이미지를 생성한 후 영상 획득 장치로부터 카메라 이미지를 획득하고, 획득된 카메라 이미지를 분석할 수 있다. 또한, 3차원 영상 왜곡 보정 방법은 S420 단계 및 S430 단계에서 각각 방정식의 근 찾기 알고리즘을 적용할 수 있으며, 예컨대, 특성값이 다중화 매개변수의 변화에 의해 단조증가 또는 단조감소하며 반드시 참값이 존재한다는 점을 이용하여 이분법 등의 단순한 일변수함수(univariate function) 근 찾기 알고리즘을 적용할 수 있다. 또한, 3차원 영상 왜곡 보정 방법은 1/T와 δh가 근사적으로 선형 의존성을 가지며, tan(θ-π/2)와 ΔA가 선형 의존성을 가지는 점을 이용함으로써, 적은 수의 시행만으로 개별 루프인 S420 단계 및 S430 단계를 종료할 수 있다.

한편, 수학식 2 및 3을 참조하면, 줄무늬의 수평 주기 T는 오직 다중화 주기 h의 오차에만 의존하는 반면 줄무늬의 기울기 θ는 다중화 주기 h의 오차와 기울임 각도 α의 오차에 모두 의존하기 때문에 3차원 영상 왜곡 보정 방법은 S420 단계 수행 후 S430 단계를 수행하는 것이 바람직하다. S430 단계에서 획득되는 기울임 각도 α가 충분히 정확한 값을 가지기 위해서는 S420 단계가 먼저 수행되어 다중화 주기 h의 오차를 줄여주어야 한다. 또한 기울임 각도 α의 오차가 특성값인 T의 미세한 변동을 야기시킬 수 있기 때문에 3차원 영상 왜곡 보정 방법은 S420 단계 및 S430 단계의 동작을 여러 번 반복하여 수행할 수 있다. 그러나, 3차원 영상 왜곡 보정 방법은 S420 단계 및 S430 단계의 동작 순서를 변경하여 S430 단계를 먼저 수행한 후에 S420 단계를 수행할 수도 있다.

한편, 다중화 매개변수인 다중화 주기 h 및/또는 기울임 각도 α에 대한 보정이 완료된 뒤, 3차원 영상 왜곡 보정 장치는 각 픽셀에 부여된 시점 번호를 일괄적으로 순환 이동(cyclic shift)할 수 있으며, 이 경우 전역적 시역 이동을 일으켜 중앙 시점이 3차원 영상 표시 장치 정면에 위치한 관찰자에게 보이도록 조정할 수 있다.

한편, 알고리즘의 정확도를 나타내는 주요 지표는 다중화 주기 h와 기울임 각도 α의 허용 오차로서, 각각 특성값 T와 θ의 허용 오차와 직접적으로 연관되어 있다. 다중화 주기 h와 관련하여, 수학식 2를 이용하면 수학식 4와 같은 근사적 관계식을 얻을 수 있다.

수학식 4를 참조하면, 다중화 주기 h의 오차는 Tref/h만큼 증폭되어 특성값 T의 오차로 나타낼 수 있다. 이러한 배율 관계는 기울임 각도 α와 기울기 θ에 대해서도 나타나며, 기울임 각도 α가 증폭되는 배율은 h의 증폭 배율과 동일할 수 있다. 즉, 기울임 각도 α의 오차는 Tref/h만큼 증폭될 수 있다. 이와 같이 오차가 증폭되어 보이는 현상을 이용하면 카메라 해상도에 의해 제한되는 길이 측정 정확도 이상의 정확도를 달성할 수 있다. 3차원 영상 왜곡 보정 장치는 기준 주기 Tref가 커지면 정확도가 올라가는 장점이 있지만 한 화면 안에 줄무늬의 수가 감소하여 특성값 추출이 어려워지기 때문에 이를 고려하여 적정한 수준의 오차 배율을 선택할 수 있다. 또한, 3차원 영상 왜곡 보정 장치는 정확도 향상을 위해 최적화 과정에서 점진적으로 기준 주기를 증대시킬 수 있다.

도 5는 본 개시의 일 실시 예에 따른 선형 정합오차 보정 전후의 영상을 설명하기 위한 도면이다.

도 5를 참조하면, 본 개시의 3차원 영상 왜곡 보정 방법을 수행하기 전의 제1 영상(510)은 이중상이 보이거나(512) 직선이 깊이에 따라 다른 각도로 기울어지는(514) 등의 이미지 왜곡 현상을 포함하고 있다. 반면 본 개시의 3차원 영상 왜곡 보정 방법을 수행한 후의 제2 영상(520)은 제1 영상(510)과 비교하여 이중상 잔상이 사라졌고(522) 직선이 기울어지는 현상이 제거되었음을(524) 확인할 수 있다.

도 6은 본 개시의 일 실시 예에 따른 3차원 영상 왜곡 보정 장치의 구성을 설명하기 위한 도면이다.

도 6을 참조하면, 3차원 영상 왜곡 보정 장치(600)는 입력부(610), 제어부(620) 및/또는 저장부(630)를 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 3차원 영상 왜곡 보정 장치(600)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다. 예컨대, 둘 이상의 구성부가 하나의 구성부 내에서 구현될 수도 있고, 하나의 구성부에서 실행되는 동작이 분할되어 둘 이상의 구성부에서 실행되도록 구현될 수도 있다. 또한, 일부 구성부가 생략되거나 부가적인 구성부가 추가될 수도 있다.

입력부(610)는 제어부(620)의 제어에 의해 3차원 영상 왜곡 보정 장치(600)의 외부에서부터 영상 시퀀스, 텍스트, 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다.

예컨대, 입력부(610)는 소정의 제1 패턴을 포함하는 입력 영상을 수신할 수 있다. 시점 이미지 모음은 하나 이상의 시점 이미지를 포함하고, 상기 시점 이미지는 제2 패턴을 포함할 수 있다. 시점 이미지들은 시점 이동에 따라 점진적으로 변형되다가 마지막 시점에서 1시점 간격에 해당하는 만큼 추가적으로 변형되면 첫 번째 시점 이미지로 회귀하는 순환적(cyclic) 특성을 가질 수 있다. 예컨대, 시점 이미지 모음은 n(n은 양의 정수)개의 시점 이미지들을 포함하고, 시점 이미지들은 상기 제2 패턴을 시점 간격에 따라 변형시킴으로써 순차적으로 획득될 수 있고, n번째 시점 이미지를 1시점 간격만큼 변형시키면 첫 번째 시점 이미지가 획득될 수 있다. 또한, 시점 이미지 모음과 다중화 매개변수를 이용하여 다중화 이미지를 생성할 수 있다. 제2 패턴은 선형 정합오차를 측정하기 위해 시점 이미지에 포함되는 소정의 패턴 형태를 의미할 수 있다. 또한, 제1 패턴은 제2 패턴의 형태가 변형된 것일 수 있다. 예컨대, 디스플레이 패널에서 표시되는 다중화 이미지를 광학 레이어를 통해 보게 되면, 광학 레이어 또는 디스플레이간의 부정합 등의 이유로 상기 제2 패턴이 변형될 수 있다. 또한 예컨대, 상기 변형의 유형은 확대, 축소, 회전 등의 조합일 수 있으나, 이에 제한되지 않는다.

제어부(620)는 3차원 영상 왜곡 보정 장치(600)의 전반적인 동작 및 3차원 영상 왜곡 보정 장치(600)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(620)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 저장부(630)에 저장된 다양한 데이터들을 이용하고 또한 다양한 애플리케이션을 실행할 수 있다.

예컨대, 제어부(620)는 입력 영상으로부터 입력 영상에 포함된 패턴에 관한 특성값을 추출하고, 상기 추출된 특성값에 기초하여 입력 영상을 업데이트할 수 있다. 예컨대, 특성값은 상기 제1 패턴의 길이 또는 기울기일 수 있다.

또한, 예컨대, 제어부(620)는 모서리 탐색 알고리즘, 호모그래피 변환 또는 허프 변환(Hough transform) 기반 선 탐색 알고리즘을 이용하여 상기 제1 패턴에 관한 특성값을 추출할 수 있다.

또한, 예컨대, 제어부(620)는 특성값이 기설정된 범위 내에 존재하는지를 판단하고, 상기 판단 결과에 따라 시점 이미지에 대한 다중화 매개변수를 업데이트할 수 있다. 예컨대, 다중화 매개변수는 상기 시점 이미지의 교차 배치 주기에 관한 정보 또는 교차 배치 방향에 관한 정보를 포함할 수 있다. 시점 이미지의 교차 배치 주기에 관한 정보 또는 교차 배치 방향에 관한 정보는, 시점 이미지들을 조합하여, 예를 들어, 시점 이미지들을 교차 배치하여 3차원 영상을 획득하는데 필요한 정보일 수 있다.

또한, 예컨대, 제어부(620)는 특성값이 기설정된 범위 내에 존재하는지를 판단하고, 상기 판단 결과에 따라 교차 배치 주기에 관한 정보를 먼저 업데이트한 후, 교차 배치 방향에 관한 정보를 업데이트할 수 있다.

저장부(630)는 제어부(620)의 제어에 의해 3차원 영상 왜곡 보정 장치(600)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 애플리케이션을 저장할 수 있다.

예컨대, 저장부(630)는 입력 영상에 포함된 제1 패턴에 관한 특성값을 저장할 수 있다.

또한, 본 개시에 따르면, 종래의 선형 정합오차 보정 기법이 실제 3차원 디스플레이에 장치에 대해 충분한 정확도를 보장하지 못하는 문제를 보완할 수 있다.

또한, 본 개시에 따르면, 3차원 영상 표시 장치를 구성하는 디스플레이 패널과 광학 레이어간의 정합 상태를 정밀하게 측정할 수 있도록 하는 테스트 패턴 영상을 제공할 수 있다.

또한, 본 개시에 따르면, 디스플레이 패널과 광학 레이어간의 정합 상태를 지속적으로 모니터링하면서 최적의 정합 상태를 결정하는 방법을 제공할 수 있다.

또한, 본 개시에 따르면, 정합오차 추정에 대한 정확도를 정량적으로 평가하고, 정합 상태의 반복적 평가를 통해 실제 디스플레이 장치에 대한 높은 정확도의 선형 정합오차 보정을 수행하는 방법을 제공할 수 있다.

또한, 본 개시에 따르면, 실제 실험환경에서 정확도를 평가하고 성능을 검증한다는 점에서 시뮬레이션 환경에서만 정확도를 검증하거나 상대적으로 낮은 정확도를 가지는 종래의 기술과 구별될 수 있다.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims

소정의 제1 패턴을 포함하는 입력 영상을 수신하는 단계;
상기 입력 영상으로부터 상기 제1 패턴에 관한 특성값을 추출하는 단계;
시점 이미지 모음 및 다중화 매개변수를 이용하여 다중화 이미지를 생성하고, 상기 다중화 이미지를 소정의 디스플레이에 표시하는 단계; 및
상기 추출된 특성값에 기초하여 상기 다중화 이미지를 업데이트하는 단계를 포함하고,
상기 특성값은 상기 제1 패턴의 길이 및 기울기 중 적어도 하나이고,
상기 다중화 매개변수는 상기 시점 이미지 모음에 포함된 적어도 하나 이상의 시점 이미지의 교차 배치 주기에 관한 정보 및 교차 배치 방향에 관한 정보 중 적어도 하나인 것을 특징으로 하는 3차원 영상 왜곡 보정 방법.
제1항에 있어서,
상기 시점 이미지는 제2 패턴을 포함하고,
상기 제1 패턴은 상기 제2 패턴의 형태가 변형된 것인 3차원 영상 왜곡 보정 방법.
삭제
제2항에 있어서,
상기 시점 이미지 모음은 n(n은 양의 정수)개의 시점 이미지들을 포함하고,
상기 시점 이미지들은 상기 제2 패턴을 시점 간격에 따라 반복적으로 변형시킴으로써 순차적으로 획득되고, n번째 시점 이미지를 1시점 간격만큼 변형시키면 첫 번째 시점 이미지로 회귀되는 3차원 영상 왜곡 보정 방법.
제2항에 있어서,
상기 다중화 이미지를 업데이트하는 단계는,
상기 특성값이 기설정된 범위 내에 존재하는지를 판단하는 단계;
상기 판단 결과에 따라 상기 시점 이미지에 대한 다중화 매개변수를 업데이트 하는 단계를 포함하는 3차원 영상 왜곡 보정 방법.
삭제
제5항에 있어서,
상기 다중화 매개변수는 상기 시점 이미지의 교차 배치 주기에 관한 정보 및 교차 배치 방향에 관한 정보를 포함하고,
상기 다중화 매개변수를 업데이트하는 단계는,
상기 판단 결과에 따라 상기 교차 배치 주기에 관한 정보를 업데이트하는 단계; 및
상기 판단 결과에 따라 상기 교차 배치 방향에 관한 정보를 업데이트하는 단계를 포함하는 3차원 영상 왜곡 보정 방법.
소정의 제1 패턴을 포함하는 입력 영상을 수신하는 입력부;
상기 제1 패턴에 관한 특성값을 저장하는 저장부; 및
상기 입력 영상으로부터 상기 특성값을 추출하고, 시점 이미지 모음 및 다중화 매개변수를 이용하여 다중화 이미지를 생성하고, 상기 다중화 이미지를 소정의 디스플레이에 표시하고, 상기 추출된 특성값에 기초하여 상기 다중화 이미지를 업데이트하는 제어부를 포함하고,
상기 특성값은 상기 제1 패턴의 길이 및 기울기 중 적어도 하나이고,
상기 다중화 매개변수는 상기 시점 이미지 모음에 포함된 적어도 하나 이상의 시점 이미지의 교차 배치 주기에 관한 정보 및 교차 배치 방향에 관한 정보 중 적어도 하나인 것을 특징으로 하는 3차원 영상 왜곡 보정 장치.
제8항에 있어서,
상기 시점 이미지는 제2 패턴을 포함하고,
상기 제1 패턴은 상기 제2 패턴의 형태가 변형된 것인 3차원 영상 왜곡 보정 장치.
삭제
제9항에 있어서,
상기 시점 이미지 모음은 n(n은 양의 정수)개의 시점 이미지들을 포함하고,
상기 시점 이미지들은 상기 제2 패턴을 시점 간격에 따라 반복적으로 변형시킴으로써 순차적으로 획득되고, n번째 시점 이미지를 1시점 간격만큼 변형시키면 첫 번째 시점 이미지로 회귀되는 3차원 영상 왜곡 보정 장치.
제9항에 있어서,
상기 제어부는,
상기 특성값이 기설정된 범위 내에 존재하는지를 판단하고, 상기 판단 결과에 따라 상기 시점 이미지에 대한 다중화 매개변수를 업데이트 하는 3차원 영상 왜곡 보정 장치.
삭제
제12항에 있어서,
상기 다중화 매개변수는 상기 시점 이미지의 교차 배치 주기에 관한 정보 및 교차 배치 방향에 관한 정보를 포함하고,
상기 제어부는,
상기 판단 결과에 따라 상기 교차 배치 주기에 관한 정보를 업데이트하고, 상기 교차 배치 방향에 관한 정보를 업데이트하는 3차원 영상 왜곡 보정 장치.