KR102617175B1 - 화면 왜곡 보정이 가능한 디스플레이 장치 및 그의 화면 왜곡 보정 방법 - Google Patents

Abstract

본 발명에 따른 디스플레이 장치는 이미지 데이터를 입력받는 입력부, 상기 이미지 데이터를 처리하고 기록하는 기록부, 기록된 상기 이미지 데이터를 프레임/라인 버퍼에 저장하는 저장부, 저장된 상기 이미지 데이터를 판독하는 판독부, 및 판독된 이미지 데이터를 출력하는 출력부를 포함하고, 상기 판독부는, 서로 상이한 2개의 LUT를 이용하여 왜곡 반영 이미지 데이터를 생성하는 백워드 맵퍼(backward mapper)를 포함한다. 본 발명에 따르면 화면 왜곡 보정에 필요한 연산량을 획기적으로 줄여 처리 속도 및 소비 전력면에서 매우 유리한 디스플레이 장치를 구현할 수 있다. 또한, 매우 심플한 구성만으로 화면 왜곡 보정이 가능해지므로, 웨어러블 장치의 소형화 및 경량화를 도모할 수 있게 된다.

Description

화면 왜곡 보정이 가능한 디스플레이 장치 및 그의 화면 왜곡 보정 방법{DISPLAY DEVICE CAPABLE OF COMPENSATING IMAGE DISTORTION AND IMAGE DISTORTION COMPENSATING METHOD THEREOF}

본 발명은 화면 왜곡 보정이 가능한 디스플레이 장치 및 그의 화면 왜곡 보정 방법에 관한 것이다.

최근에 가상현실(VR: Virtual Reality), 증강현실(AR: Augmented Reality)을 구현하기 위해 소형의 디스플레이 패널을 광학 장치를 이용해 큰 가상화면으로 만들기 시작하면서 광학 장치에 의한 화면 왜곡을 보정하기 위한 기술이 사용되고 있다. 사진이나 동영상 등의 경우 광학에 의한 왜곡을 보정하기 위해 원본 디지털 영상을 소프트웨어를 통해 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), GPGPU(GPU상의 범용계산) 등을 사용하여 인위적으로 왜곡된 영상을 미리 계산하여 버퍼 등에 저장한 후 이를 디스플레이 장치로 전송하여 재생하는 방식으로 왜곡을 완화시키는 기술을 사용하거나, 영상을 파일로 저장할 때 특정 광학 장치를 고려하여 왜곡된 영상으로 변환하여 저장한 후 변환된 영상을 디스플레이 패널로 전송하여 재생하는 기술이 사용되기도 한다. 이러한 영상 변환 과정은 복잡한 연산과 빈번한 비디오 메모리 접근을 요구하기 때문에 실시간 처리가 어려워서 별도의 소프트웨어 콘텐츠 제작 도구로 디스플레이 장치에 전송할 영상 정보를 미리 만들어 두는 방식이 주로 사용된다. 이를 실시간으로 보정하기 위해서는 오큘러스 리프트의 경우처럼 데스크탑 수준의 중앙 처리 장치와 그래픽 처리 장치의 병렬 처리를 이용해 보정할 수 밖에 없다. 디스플레이 장치로 전송하는 영상 데이터가 이미 왜곡되어 있기 때문에 이를 일반 디스플레이 장치에서 화면을 표시할 경우 비정상적인 화면으로 인식하는 문제가 발생할 수 있으며, 이를 디스플레이 장치에서 바로잡기 위해서는 영상 데이터를 왜곡하는 과정과 거의 동일한 역과정을 거쳐야 하므로 기존 방법처럼 소프트웨어 방식을 사용하면 강력한 성능의 CPU, GPU, 또는 GPGPU가 필요하므로 비용 및 전력 소모 증가가 필연적이다.

HMD(Head Mounted Display)나 HUD(Head Up Display) 혹은 Pico-Projector 등에 사용되는 디스플레이 패널은 일반적인 모니터에 사용되는 패널과 달리 작은 디스플레이 화면을 광학 장치(Optic)를 사용하여 확대하여 투사 혹은 영사하기 때문에 사용자가 최종 화면을 볼 때 다양한 왜곡이 발생할 수 있다. 특히, 작은 화면을 커다란 가상화면으로 만들기 위해 고배율의 광학 장치를 사용할 경우 발생하는 실패형 혹은 원통형 왜곡은 입력 영상의 가장자리 부분을 휘게 만들어 화질에 영향을 주기 때문에 사용자가 영상 정보를 즐길 때 방해요소가 된다. 또한 광학 장치의 설계에 따라 원근 왜곡이나 수차 왜곡 등이 복합적으로 나타난다.

원근 왜곡은 화면의 상하좌우 비율이 맞지 않아 직사각형이 아닌 사다리꼴처럼 찌그러진 형태의 화면(Keyston)을 만든다. 고배율 렌즈는 빛의 파장에 따른 굴절률 차이로 인하여 표현하고자 하는 색이 왜곡되는 색수차 현상도 발생할 수 있다. 이러한 왜곡은 광학을 이용할 경우 정도의 차이가 있을 뿐 필연적으로 발생하는 현상이므로 완전히 제거할 수는 없기 때문에 사람이 인식할 수 없는 수준으로 만드는 것을 목표로 한다. 이를 위해 볼록렌즈와 오목렌즈를 조합한 고가의 렌즈, 프리즘, 거울 등을 이용하여 광학 장치의 설계를 바꾸거나 디지털 영상처리를 통해 보정하여 개선하는 방법 등이 일반적으로 사용된다.

광학에 의한 영상 왜곡을 보정하는 기술은 카메라로 촬영하여 이미 왜곡된 상태로 저장된 영상을 디지털 영상으로 바꿔 소프트웨어 알고리즘을 통해 그래픽 프로세서나 DSP(Digital Signal Processor) 같은 디지털 신호처리 장치 등으로 사후적으로 보정하거나, 음극선 등을 이용하여 곡면의 화면에 영상을 표시하는 디스플레이의 화질 개선에 주로 사용된다. 최근에는 디지털 카메라로 촬영된 결과를 영상처리를 통해 왜곡을 보정하여 저장장치에 저장하는데 사용되어 왔다. 일반적으로 사용되는 디스플레이는 LCD나 OLED 등과 같이 화소를 직접 표현하는 평판 디스플레이가 주로 사용되면서 프로젝터 등의 응용을 제외하면 광학 장치를 필요로 하지 않았으나 최근에 가상현실, 증강현실을 구현하기 위해 소형의 디스플레이 패널을 광학 장치를 이용해 큰 가상화면으로 만들기 시작하면서 제한적인 영상 왜곡 보정 기술이 사용되고 있다.

광학에 의한 왜곡은 렌즈에 의한 왜곡, 화소가 표현되는 패널이 화면이 표시되는 공간과 달라 생기는 원근 왜곡 등이 복합적으로 나타나기 때문에 비선형적인 특성을 갖고 있으며, 디지털 영상처리를 이용하여 보정하는 경우 연산량이 많은 특징이 있다. 또한, 처리해야 하는 영상 해상도가 증가할수록 메모리의 대역폭과 응답 속도의 한계, 연산량의 증가 등으로 실시간 처리가 어렵다.

렌즈 왜곡에 의한 실패형/원통형 보정, 키스톤 보정 등 다양한 보정 기술이 사용되어 왔으나, 지금까지의 보정 기술은 디스플레이 장치 쪽에서 실시간으로 해결하지 못하고 디스플레이 장치로 영상 정보를 전송하기 전에 영상 소스를 미리 조작하기 위해 사용되었다. 이미 조작된 영상은 디스플레이 장치에 전송된 후 광학적인 방법을 이용해 사후적으로 왜곡된 화면을 보정하는 방식이 사용된다.

광학에 의한 다양한 형태의 왜곡을 완화하는 기술이나 이미 왜곡되어 디스플레이 장치로 전송된 영상 데이터를 디스플레이 장치를 보는 사용자의 환경에 맞춰 다시 변환하는 기술을 소형의 모바일 장치에서도 사용하기 위해서는 저전력 저비용의 보정 기술이 필요하지만 종래의 방법으로는 해결하는데 애로가 있다.

한편, 단순한 HMD 시스템과 달리 AR 애플리케이션은 상당히 정교한 시스템을 요구하는 경향이 있다. 이는 GPU(Graphics Processing Unit) 및 메모리 시스템과 함께 강력한 AP(Application Processor), 무선 통신 시스템, 광학 시스템이 있는 소형 단안 또는 쌍안 디스플레이 시스템, 여러 대의 카메라 및 비주얼 SLAM(Simultaneous Localization and Mapping)을 위한 IMUs(Inertial Measurement Unit), 유저 인터페이스 등을 포함한다. 이러한 복잡한 시스템은 결국 시스템의 전력 소모로 인해 부피가 커지고 무거워지며 사용 시간이 단축되는 문제점을 갖는다. 사용자는 AR 애플리케이션을 위한 심플한 디스플레이를 기대하지만 이를 만족시키는 제품은 거의 찾을 수 없다.

3D로 렌더링된 객체는 현실 세계로 증강되어 사용자에게 주변 환경을 고려하면서 자연스럽게 상호 작용할 수 있는 기능을 제공한다. 최근에 이러한 장치를 실현하는 데 상당한 진전이 있었지만, 여전히 시스템 사이즈가 상당하다. 따라서, 최종적으로 만들어진 제품은 안경의 형태가 아닌 고글의 형태를 취하며, 높은 컴퓨팅 성능으로 인해 사용 시간이 제한되고 고가라는 문제점을 갖는다.

머리에 착용하는 장치는 크기와 무게를 최소화하기 위해 디스플레이, 센싱, 초고속 유선 인터페이스를 포함한다.그리고, AR 애플리케이션에 필요한 모든 처리를 위해 전용 컴퓨팅 박스 또는 기존 스마트폰과 같은 컴퓨팅 장치에 연결된다. 컴퓨팅 장치는 재충전 가능한 배터리를 포함하고 머리 착용 장치에 전원을 공급한다.하지만, 배선으로 인하여 사용자는 여전히 불편을 느낄 수밖에 없다.

비디오 글래스를 비롯한 스마트 글래스는 SLAM 등의 기능이 부족함에도 불구하고 AR 글래스로 인식되는 경우가 많다. 소비전력과 크기에 최적화되어 있고, 멀티미디어를 표시하기 위해 상대적으로 저전력 프로세서를 사용하고 있다. 비디오, 이미지, 문서, 미리 렌더링된 3D 모델 등 일반적으로 디스플레이 시스템은 사용자의 눈앞에 떠 있는 화면을 표시하거나 필요할 때까지 디스플레이를 오프시킨다. 증강된 뷰는 실제 세계와 상호 작용하지 않으며, 따라서 의도치 않게 사용자의 시선을 차단하는 경우가 많다는 문제점을 갖는다.

독립형 또는 테더링된 경량 웨어러블 멀티미디어 뷰어는 다양한 분야의 사용자에게 매력적이지만, 현재 사용 가능한 글래스형 장치는 제한된 리소스와 전력 예산으로 인해 풍부한 기능을 제공하기 어렵다는 문제점을 내포하고 있다.

한국등록특허 제10-1785027호 (2017.09.28. 등록)

본 발명은 상술한 문제점을 감안하여 안출된 것으로, 본 발명의 목적은 매우 심플한 방식으로 화면 왜곡을 보정할 수 있는 디스플레이 장치 및 그의 화면 왜곡 보정 방법을 제공함에 있다. 본 발명의 또 다른 목적은 저렴하고 심플한 솔루션으로 디스트랙션(distraction)이 없는 디스플레이 장치를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명에 따른 디스플레이 장치는, 이미지 데이터를 입력받는 입력부; 상기 이미지 데이터를 처리하고 기록하는 기록부; 기록된 상기 이미지 데이터를 프레임/라인 버퍼에 저장하는 저장부; 저장된 상기 이미지 데이터를 판독하는 판독부; 및 판독된 이미지 데이터를 출력하는 출력부;를 포함하고, 상기 판독부는, 서로 상이한 2개의 LUT를 이용하여 왜곡 반영 이미지 데이터를 생성하는 백워드 맵퍼(backward mapper)를 포함한다.

그리고, 상기 2개의 LUT는 X축 보간을 위한 X축 LUT(Look-Up Table) 및 Y축 보간을 위한 Y축 LUT를 포함할 수 있다.

또한, 상기 백워드 맵퍼는, 상기 X축 LUT 및 상기 Y축 LUT를 생성하는 백워드 LUT 생성부; 상기 프레임/라인 버퍼로부터 입력된 이미지 데이터를 처리하는 데이터 파이프라인; 및 상기 X축 LUT 및 상기 Y축 LUT에 기초하여 각 픽셀의 위치 정보를 생성하고 상기 데이터 파이프라인을 제어하는 백워드 맵퍼 FSM;을 포함할 수 있다.

그리고, 상기 데이터 파이프라인은, 상기 백워드 맵퍼 FSM에서 생성된 픽셀의 위치 정보 및 상기 Y축 LUT에 기초하여 Y축 보간을 수행하는 Y축 보간부; 및 상기 백워드 맵퍼 FSM에서 생성된 픽셀의 위치 정보 및 상기 X축 LUT에 기초하여 X축 보간을 수행하는 X축 보간부;를 포함할 수 있다.

또한, 상기 데이터 파이프라인은, 상기 Y축 보간 연산에 필요한 블록을 저장하는 Y축 보간용 버퍼; 상기 X축 보간 연산에 필요한 블록을 저장하는 X축 보간용 버퍼; 블록 단위로 저장된 이미지 데이터 중 상기 Y축 및 X축 보간 계산에 필요한 픽셀 정보만 추출하는 디패킷타이저(depacketizer); 및 추출된 픽셀 정보를 최종 디스플레이의 감마 커브(Gamma curve)로 변환하는 하나 이상의 감마 컨버터;를 더 포함할 수 있다.

그리고, 상기 백워드 LUT 생성부는, 영상 왜곡의 형태에 따라 상이한 X축 LUT 및 Y축 LUT를 생성할 수 있다.

또한, 상기 영상 왜곡이 키스톤 왜곡 또는 로테이션 왜곡인 경우, 상기 백워드 LUT 생성부는, 사용자 움직임에 따른 요(yaw)값, 피치(pitch)값, 롤(roll)값, 회전축 및 화각(FOV) 중 적어도 하나에 기초하여, 상기 Y축 LUT 및 상기 X축 LUT를 각각 생성할 수 있다.

그리고, 상기 영상 왜곡이 스케일러 또는 시프트 왜곡인 경우, 상기 백워드 LUT 생성부는 사용자 움직임에 따른 전달된 X값 변화량, Y값 변화량, Z값 변화량 중 적어도 하나에 기초하여, 상기 Y축 LUT 및 상기 X축 LUT를 각각 생성할 수 있다.

한편, 상기 목적을 달성하기 위한 본 발명에 따른 화면 왜곡 보정 방법은, 왜곡 반영 이미지 생성을 위한 X축 LUT(Look-Up Table) 및 Y축 LUT를 생성하는 단계; 상기 X축 LUT 및 상기 Y축 LUT에 기초하여 각 픽셀의 위치 정보를 생성하는 단계; 프레임/라인 버퍼로부터 독출된 데이터에 대하여, 픽셀의 위치 정보 및 상기 Y축 LUT를 이용하여 Y축 보간을 수행하는 단계; 상기 프레임/라인 버퍼로부터 독출된 데이터에 대하여, 픽셀의 위치 정보 및 상기 X축 LUT를 이용하여 X축 보간을 수행하는 단계; 및 상기 Y축 보간 및 X축 보간이 이루어진 왜곡 반영 이미지를 출력하는 단계;를 포함한다.

그리고, 블록 단위로 저장된 데이터 중 상기 Y축 보간 및 X축 보간에 필요한 픽셀 정보만 추출하는 디패킷타이징 단계;를 더 포함할 수 있다.

또한, 추출된 상기 픽셀 정보를 최종 디스플레이의 감마 커브(Gamma curve)로 변환하는 단계;를 더 포함할 수 있다.

그리고, 상기 생성하는 단계는, 상기 영상 왜곡이 키스톤 왜곡 또는 로테이션 왜곡인 경우, 사용자 움직임에 따른 요(yaw)값, 피치(pitch)값, 롤(roll)값, 회전축 및 화각(FOV) 중 적어도 하나에 기초하여, 상기 Y축 LUT 및 상기 X축 LUT를 각각 생성할 수 있다.

또한, 상기 생성하는 단계는, 상기 영상 왜곡이 스케일러 또는 시프트 왜곡인 경우, 사용자 움직임에 따른 X값 변화량, Y값 변화량, Z값 변화량 중 적어도 하나에 기초하여, 상기 Y축 LUT 및 상기 X축 LUT를 각각 생성할 수 있다.

본 발명에 따르면 화면 왜곡 보정에 필요한 연산량을 획기적으로 줄여 처리 속도 및 소비 전력면에서 매우 유리한 디스플레이 장치를 구현할 수 있다. 또한, 매우 심플한 구성만으로 화면 왜곡 보정이 가능해지므로, 웨어러블 장치의 소형화 및 경량화를 도모할 수 있게 된다.

또한, 본 발명에 따르면, 가상 화면 뷰는 머리 움직임 추적을 통해 사용자의 의도를 반영하므로 사용자의 시선이 타겟 영역 내에 있을 때만 멀티미디어 콘텐츠를 디스플레이함으로써, 사용자는 시야가 공간에 고정된 것처럼 느낄 수 있고, 머리를 움직여 콘텐츠 주변을 매우 선명하게 볼 수 있게 된다.

또한, 본 발명에 따르면 사용자의 시선이 타겟 영역을 벗어나면 전체 디스플레이 시스템 및/또는 관련 모듈을 오프시킴으로써 현실 세계를 차단하지 않고(즉, 디스트랙션 없음) 에너지 소비를 절약할 수 있게 된다.

또한, 본 발명에 따르면 뷰의 확대 및 축소 등이 자유로우며, HMD에 사용되는 광학계로 인한 렌즈 왜곡 및 색수차가 다이내믹 뷰 모핑(dynamic view morphing)을 사용하는 동안 완화될 수 있다.

도 1은 본 발명에 따른 디스플레이의 전체 아키텍처를 나타내는 상세 도면이다.
도 2는 백워드 맵퍼(backward mapper)를 포함하는 판독부의 블록도이다.
도 3은 디스플레이 제어부의 세부 구성을 나타내는 블록도이다.
도 4는 디스플레이 제어부의 입력부의 동작을 설명하는 개념도이다.
도 5는 디스플레이 제어부의 기록부의 동작을 설명하는 개념도이다.
도 6은 디스플레이 제어부의 저장부 및 프레임/라인 버퍼의 동작을 설명하는 개념도이다.
도 7은 디스플레이 제어부의 판독부의 동작을 설명하는 개념도이다.
도 8은 디스플레이 제어부의 출력의 동작을 설명하는 개념도이다.
도 9a 내지 9c는 다양한 디스플레이 왜곡을 예시하는 도면이다.
도 9a 내지 9c는 다양한 디스플레이 왜곡을 예시하는 도면이다.
도 11은 백워드 맵핑의 기본적인 원리를 설명하는 개념도이다.
도 12는 백워드 맵핑 그리드의 예시이다.
도 13은 본 발명에 따른 디스플레에 구비된 백워드 맵퍼의 블록도이다.
도 14는 데이터 파이프라인의 픽셀 계산 방식을 도시한다.
도 15는 감마 변환에 따른 결과 이미지를 예시하는 도면이다.
도 16은 데이터 파이프라인에서의 2단계 보간 과정을 설명하기 위한 도면이다.
도 17은 X축 및 Y축 LUT의 생성 방법을 나타내는 개략도이다.
도 18은 본 발명에 따른 백워드 맵퍼를 사용한 시스템의 블록도이다.
도 19는 도 18에 도시된 시스템에 있어서, 사용자의 헤드 모션에 따른 Yaw, Pitch, Roll, X, Y, Z 움직임에 대응하여 처리해야될 영상처리 종류를 도시한다.
도 20은 본 발명에 따른 디스플레이의 효과를 설명하기 위한 도면이다.
도 21a 및 21b는 본 발명의 적용례를 나타내는 도면이다.
도 22는 본 발명의 또 다른 적용례를 나타내는 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

이하, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명하도록 한다.

도 1은 본 발명에 따른 디스플레이의 전체 아키텍처를 나타내는 상세 도면이고, 도 2는 백워드 맵퍼(backward mapper)를 포함하는 판독부(read controller)의 블록도이다.

도 1에 도시된 아키텍처와 관련하여 본 발명과 직접적으로 무관한 구성에 대한 설명은 생략하기로 한다. 디스플레이 컨트롤러(display controller)를 고려하면 본 발명에 따른 디스플레이는 아래의 4가지 주요 파트로 구분될 수 있다.

① 입력 비디오 처리부(Input video processing part): 고속 비디오 인터페이스 PHY(phycal layer)

② 프레임 버퍼 제어 파트(Frame buffer control part): 프레임 버퍼 기록부, 색분할 처리 기능을 갖는 프레임 레이트 컨버터 및 프레임 버퍼 판독부

③ 디스플레이 패널 인터페이스 파트(Display panel interface part): 부가 이미지 처리기들, 출력 픽셀 데이터 포매터(링크 레이어) 및 고속 패널 인터페이스 PHY

④ 시스템 제어 파트(System control part): PLLs(Phase Lock Loop)과 같은 클록 제너레이터, 클록 디바이더, 리셋 컨트롤 로직, 프로셋서 및 다양한 주변기기, 스테이트 머신(state machine) 등

도 2에 도시된 바와 같이, 본 발명에 따른 디스플레이는 백워드 맵퍼를 갖는 판독부를 포함한다. 백워드 맵퍼는 총 3개의 맵퍼가 통합되어 각 기본 색상 필드를 처리하여 색수차를 보정할 수 있다. FSC 유형의 디스플레이의 경우, 전력 소비를 줄이기 위하여 하나의 백워드 맵퍼만 활성화될 수도 있다. 기존의 하위 픽셀화된 디스플레이의 경우에는 3개의 맵퍼를 동시에 사용하는 것도 가능하다.

백워드 LUT 컨트롤러(Backward LUT Controller)는 각 그리드에 대해 LUT 값을 생성하는 기능을 갖는다. 각 그리드에 대해서 고정된 크기를 사용할 수 있으나, 이에 한정되지 않는다. 고정된 크기의 그리드를 사용하면 디바이더 없이 역방향 어드레스 계산이 용이해져 역방향 어드레스 계산에 가산기와 시프터만 사용할 수 있다는 장점과, 다양한 디스플레이의 해상도를 지원하기 쉬워진다는 장점을 갖는다. 렌즈 왜곡 및 색수차 정보는 LUT(Look Up Table)에 저장된다. LUT를 사용하여 광학 시스템으로 인한 왜곡을 보상하기 위해 그리드 기반의 쌍선형 근사(bi-linear appoximation)를 적용할 수 있다. 헤드 모션의 추정된 오일러 각도(Roll, Pitch, Yaw)에 따라 LUT를 생성하여 프레임 버퍼에 저장된 프레임 이미지를 즉석에서 동적으로 모핑하게 된다. IPD(Inter Pupillary Distance), 회전 축에서 양안의 위치 오프셋, 디스플레이 뷰를 일치시키기 위한 눈에서 시각적 신호의 대상 거리, 주어진 광학 및 입력 비디오의 VFOV/HFOV 및 LUT 생성이 주어진 시각적 신호를 적절하게 추적하려면 출력 디스플레이 해상도 등이 필요하다. 위치추적 정보는 오일러 각과 함께 사용할 수 있지만 저가의 IMU만으로는 정확한 위치추적을 달성하기 어렵기 때문에 선택적 기능으로 구현할 수 있다. 외부 비전 시스템의 도움으로 완전한 기능을 갖춘 AR 시스템을 구현하기 위해 보다 정확한 뷰 변경을 위한 위치 추적 정보를 제공할 수 있다. 스케일러용 LUT 생성기는 간단한 사용자 인터페이스로 콘텐츠 확대 및 축소에 사용할 수 있다.

백워드 맵퍼 FSM(Finite State Machine)은 LUT 생성, LUT 데이터 읽기, 프레임 버퍼 요청 및 판독, 픽셀 데이터 패킷 해제, 픽셀 데이터 보간 등의 타이밍을 조절하는 기능을 갖는다. 백워드 맵퍼 FSM은 원활한 스트리밍을 위해 동기화 신호와 함께 최종 LUT 값에서 변환된 Y축 기준 픽셀 위치를 기반으로 필요한 픽셀 데이터를 요청한다.

감마 변환 기능이 있는 블록버퍼 및 보간기는 감마를 손상시키지 않고 라인별로 변형된 이미지를 생성한다. 백워드 맵퍼 FSM에서 요청한 픽셀 데이터는 프레임 레이트 변환기에서 전송된 다음 Y축 픽셀 계산을 위하여 블록 버퍼에 버퍼링된다. 공간적, 시간적 지역성을 최대한 활용하기 위해 16-chunk 버퍼가 사용될 수 있지만 이에 한정되지 않는다. 각 버퍼는 계산된 LUT값에 대하여 프레임 이미지의 다른 영역에서 픽셀 데이터 그룹을 저장한다. 프레임 버퍼 메모리의 한 워드(word)에는 여러 픽셀 데이터가 포함될 수 있다. 패킷타이저(packetizer)는 보간 프로세스를 위해 픽셀을 타일로 재구성한다. 디패킷타이저(depacketizer)는 Y축 보간에 필요한 픽셀 데이터를 적시에 추출하고 밝기를 유지하기 위해 8 to 10비트 감마 변환을 적용한후 선형으로 픽셀을 보간한다. 수직으로 보간된 픽셀은 X축 계산을 위해 1라인 버퍼 캐시에서 버퍼링된 후, 캐시에서 X축에 대한 픽셀을 보간한다. 모핑 뷰 생성 후 10 to 8비트 디감마는 나머지 디지털 이미지 처리를 위하여 비트 심도를 조정한다. 마지막으로, FSC 유형의 디스플레이를 위한 새로운 컬러 필드 이미지 또는 서브 픽셀화된 디스플레이를 위한 새로운 프레임 이미지는 라인별로 판독 컨트롤 라인 버퍼의 라인 버퍼로 향한다.

한편, 디스플레이 컨트롤러의 임베디드 프로세서는 인터페이스 IMU 센서에서 오일러 각도 계산과 같은 유연성이 있는 컴퓨팅 집약적 작업을 담당한다. 또한 동기화된 타이밍으로 하드웨어 IP 블록의 적절한 제어를 담당한다. 모든 센서 공급업체는 센서 데이터를 읽기 위한 서로 다른 사양과 통신 프로토콜을 제공하므로 프로세서 유연성을 제공해야 한다. 펌웨어는 모션 추적을 위한 센서 융합 알고리즘과 설계된 하드웨어를 사용한 ATW 작동을 처리하기 위해 프로세서에서 실행된다. I2C(Inter-integrated Circuit) 또는 SPI(Serial Peripheral Interface)는 IMU 센서의 공통 인터페이스이며 대부분의 센서는 인터럽트로 센서 데이터 출력에 대한 동기화 신호를 제공한다. 시스템 컨트롤러는 이러한 인터페이스를 활용하여 다양한 센서를 지원한다.

위에서는 본 발명에 따른 디스플레이의 전체적인 아키텍처 및 전반적인 기능에 대해서 언급했고, 이하 본 발명에 직접적으로 연관된 각 구성의 동작과 관련하여 구체적인 설명을 이어가기로 한다.

도 3은 디스플레이 제어부의 세부 구성을 나타내는 블록도이다. 디스플레이 제어부는 패널에 맞는 비디오 포맷을 변환하거나, 서브 픽셀 비디오 데이터에서 필드 순차형 비디오 데이터로 변환하거나, 프레임 레이트 변환을 이루거나, 이미지 처리를 하는 기능을 갖는다. 설계된 디스플레이 제어부(100)는, 도 3과 같은 형태로 간략화할 수 있으며, 도 3에서 화살표는 비디오(이미지) 데이터의 흐름을 나타낸다.

구체적으로, 디스플레이 제어부(100)는 입력부(110), 기록부(120), 저장부(130), 판독부(150) 및 출력부(160)를 포함한다. 입력부(110)는 이미지 데이터를 입력받는다. 이미지는 스틸 이미지와 동화상 이미지를 포함할 수 있다. 기록부(120)는 이미지 데이터를 처리하고 기록한다. 저장부(130)는 기록부(120)에서 전달된 이미지 데이터를 프레임/라인 버퍼(140)에 저장한다. 판독부(150)는 저장부(130)에 의하여 저장된 이미지 데이터를 판독하며, 출력부(160)는 판독된 이미지 데이터를 출력한다.

도 4는 디스플레이 제어부의 입력부의 동작을 설명하는 개념도이다.

도 4에 도시된 바와 같이 디스플레이 제어부의 입력부는 외부 비디오 소스(AP, GPU 등)로부터 입력되는 고속 비디오 인터페이스(MIPI DSI 또는 Open LDI)를 입력받고, 24bit RGB 패럴렐 인터페이스로 변환한다.

도 5는 디스플레이 제어부의 기록부의 동작을 설명하는 개념도이다. 픽셀마다 어드레스를 지정하여 메모리에 저장하는 방식은 비효율적으로, 기록부(120)는 색상별 다른 영상처리를 하지 않고 필드순차형 컬러 디스플레이 구동에 유리하도록 색상별 데이터를 분리한다. 그리고, 메모리 버스폭(memory bus width)을 키우기 위하여 비디오 이미지를 일정한 크기의 블록(1x16, 4x4, 8x4 등)으로 분할한다. 기록부(120)는 블록별로 취합한 데이터를 저장부(130)로 전달한다.

도 6은 디스플레이 제어부의 저장부 및 프레임/라인 버퍼의 동작을 설명하는 개념도이다.

저장부(130)는 기록부(120)에서 전달된 데이터를 저장하고, 후술할 판독부(150)의 요청이 있으면 저장된 데이터를 전달한다. 이때, 우선 순위는 데이터의 기록에 있다. 메모리 사이즈는 고정되어 있으므로, 메모리보다 큰 이미지가 입력되는 경우에는 먼저 들어온 데이터를 덮어씌울 수 있다.

도 7은 디스플레이 제어부의 판독부의 동작을 설명하는 개념도이다.

판독부(150)는 비디오 스트림에 필요한 블록 데이터를 프레임/라인 버퍼(140)에 요청한다. 판독부(150)는 프레임/라인 버퍼(140)로부터 수신한 블록 데이터에서 비디오 타이밍에 맞는 픽셀 데이터를 분리해서 내보낸다. 또한, 판독부(150)는 디스플레이 타입(FSC, 서브 픽셀)에 적합한 데이터 포맷으로 데이터를 변환한다.

도 8은 디스플레이 제어부의 출력의 동작을 설명하는 개념도이다.

출력부(160)는 픽셀 단위의 페럴렐 데이터(parallel data)를 패널에 적합한 비디오 인터페이스 포맷(MIPI DSI 또는 Open LDI)으로 변환한다.

도 9a 내지 9c는 다양한 디스플레이 왜곡을 예시하는 도면이다. 구체적으로, 도 9a는 구조에 의한 왜곡(optical distortion)을 나타내며, 도 9b는 사용환경에 따른 왜곡(keystone distortion)을 나타내며, 도 9c는 사용방식에 따른 왜곡을 나타낸다. 특히, 도 9c는 사용자가 착용한 웨어러블 디바이스에서 사용자의 시선 이동에 따른 오브젝트(object)의 움직임 등에 기인한 왜곡을 도시한다.

도 9a 내지 9c에 도시된 바와 같이, 디스플레이 장치 혹은 이를 포함하는 웨어러블 디바이스(예: HMD)의 구조, 사용환경,사용 방식에 따라 다양한 영상왜곡이 발생할 수 있으며, 본 발명에 의하면 심플한 방식으로 이러한 왜곡을 보정할 수 있게 된다.

도 10a 및 10b는 본 발명에 따른 디스플레이 왜곡 보정의 예시와 이를 위한 구성을 나타내는 도면이다.

도 10a에 도시된 바와 같이, 본 발명에 따른 디스플레이는 왜곡을 보정하기 위하여, 왜곡을 사전에 반영한 왜곡 이미지(pre-ditorted image)를 패널에 전달하여 디스플레이시킴으로써 왜곡을 보정하게 된다. 이러한 왜곡 이미지를 만들기 위한 판독부는 백워드 맵퍼(backward mapper)를 포함한다.

이를 위하여, 본 발명에 따른 디스플레이는 판독부(150)에 백워드 맵퍼(151)를 구비시킨다. 백워드 맵퍼(151)의 세부 구성 및 동작과 관련해서는 아래에서 상세히 설명하기로 한다.

도 11은 백워드 맵핑의 기본적인 원리를 설명하는 개념도이고, 도 12는 백워드 맵핑 그리드의 예시이다. 백워드 맵핑은 기존 이미지(프레임/라인 버퍼 내의 이미지)를 참조하여 원하는 이미지(왜곡 이미지)를 가공하는 방식이다. 만들어질 픽셀은 참조할 이미지의 위치 정보를 갖는다. 그리고, 위치 정보를 바탕으로 인접한 4개의 픽셀 데이터를 보간(interpolation)하여 새로운 픽셀 값을 생성한다.

이때, 모든 픽셀의 위치 정보를 계산하면 연산량이 많아지고, 모든 픽셀의 위치 정보를 저장하면 메모리가 많이 필요하게 된다는 문제점이 있다. 하지만, 왜곡은 연속성을 가지므로 주변 정보를 통해 유추가 가능하며, 도 12에 도시된 바와 같이 화면을 일정 구역으로 나누어 각 모서리에 해당하는 위치 정보를 저장 또는 계산한 뒤 구역별로 저장된 값을 보간하여 모든 픽셀에 대한 참조 위치 정보를 획득할 수 있게 된다.

도 13은 본 발명에 따른 디스플레에 구비된 백워드 맵퍼의 블록도이다. 판독부(150)에 구비된 백워드 맵퍼(151)는 백워드 LUT 생성부(1511), 백워드 맵퍼 FSM(1512) 및 데이터 파이프라인(1513)을 포함한다. 백워드 LUT 생성부(1511)는 백워드 맵핑에 필요한 LUT(Look Up Table)을 생성하는 기능을 갖는다. 더욱 구체적으로, 백워드 LUT 생성부(1511)는 상기 X축 LUT 및 상기 Y축 LUT를 생성한다. 백워드 맵퍼 FSM(1512)는 LUT를 바탕으로 각 픽셀의 위치 정보를 생성한다. 더욱 구체적으로, 백워드 맵퍼 FSM(1512)은 X축 LUT 및 Y축 LUT에 기초하여 각 픽셀의 위치 정보를 생성하고 데이터 파이프라인(1513)을 제어한다. 마지막으로, 데이터 파이프라인(1513)은 프레임 버퍼로부터 전달된 데이터를 처리하는 기능을 갖는다.

영상 왜곡은 여러 형태의 조합으로 나타나므로, 각 형태에 맞는 보정값을 조합하여 사용한다. LUT를 외부에서 생성할 경우 생성 및 전달에 시간이 필요하므로 비디오 스트림을 사용하기에 적절하지 않을 수 있다. 다만, 경우에 따라서는 LUT를 외부에서 생성하는 것도 가능하다. 백워드 LUT 생성부(1511)는, 영상 왜곡의 형태에 따라 상이한 X축 LUT 및 Y축 LUT를 생성할 수 있다. 옵티컬 왜곡인 경우 수식화하기 쉽지 않고 사용중 변화하는 값이 아니므로 Optical LUT를 메모리에 저장하여 사용할 수 있다. 이때, RGB별로 상이한 보정값을 사용함으로써 광학에 의하여 발생하는 색수차를 감소시킬 수 있다. 키스톤 왜곡 또는 로테이션 왜곡인 경우, 상기 백워드 LUT 생성부는, 사용자 움직임에 따른 요(yaw)값, 피치(pitch)값, 롤(roll)값 및 일부 파라미터(회전축 및 화각(FOV)) 중 적어도 하나에 기초하여, 상기 Y축 LUT 및 상기 X축 LUT를 각각 생성할 수 있다.

또한, 상기 영상 왜곡이 스케일러 또는 시프트 왜곡인 경우, 상기 백워드 LUT 생성부는 사용자 움직임에 따른 전달된 X값 변화량, Y값 변화량, Z값 변화량 중 적어도 하나에 기초하여, Y축 LUT 및 상기 X축 LUT를 각각 생성할 수 있다.

이때 중요한 것은, 참조해야 할 픽셀의 위치인 (x,y)로 표현되는 LUT는 X축 LUT와 Y축 LUT를 포함한다는 것이며, 따라서, X축 및 Y축으로 분리하여 보간하도록 (0,y'), (x',0)으로 변환되어야 한다.

픽셀의 위치는 X축과 Y축의 교차점을 기준으로 상대거리로 표현한다. X축과 Y축은 디스플레이 화면을 기준으로 광학의 형태 또는 시스템에 따라 달라질 수 있다. 수식에 의해 생성되는 LUT의 값은 픽셀을 기준으로 한 상대거리, 상대좌표에 해당한다.

이미지 위치가 상하좌우로 이동하는 이미지 시프트(image shift)의 경우, X축 LUT와 Y축 LUT는 아래와 같이 설정될 수 있으나, 이에 한정되지 않는다.

X축 LUT: x'-x

=(x-shift_x)-x

=-shift_x

Y축 LUT: y'-y

=(y-shift_y)-y

=-shift_y

(x, y: 픽셀 위치(pixel position), x', y': 참조 위치(reference position), shift_x, shift_y: 움직임 위치(move position))

이미지 크기가 확대되거나 축소되는 이미지 스케일(image scale)의 경우, X축 LUT와 Y축 LUT는 아래와 같이 설정될 수 있으나, 이에 한정되지 않는다.

X축 LUT: x'-x

=x/intp_x-x

Y축 LUT: y'-y

=y/intp_y-y

(x, y: 픽셀 위치, x', y': 참조 위치, intp_x, intp_y: 보간 비율(interpolation ratio))

이미지가 시계방향 혹은 반시계 방향으로 회전하는 이미지 로테이트(rotate)의 경우, X축 LUT와 Y축 LUT는 아래와 같이 설정될 수 있으나, 이에 한정되지 않는다.

X축 LUT: x'-x=r*cos(a-b)-x

=r*cos(a)*cos(b)+r*sin(a)*sin(b)-x

=x*cos(b)+y*sin(b)-x

=x*(cos(b)-1)+y*sin(b)

Y축 LUT: y'-y=r*sin(a-b)-y

=r*sin(a)*cos(b)-r*cos(a)*sin(b)-y

=y*cos(b)-x*sin(b)-y

=y*(cos(b)-1)-x*sin(b)

(x, y: 픽셀 위치, x', y': 참조 위치, r: 픽셀 위치의 반경(radius), a: 픽셀 위치 각도(pixel position angle), b: 회전각(rotation angle))

버티컬 키스톤(vertical keystone)의 경우, X축 LUT와 Y축 LUT는 아래와 같이 설정될 수 있으나, 이에 한정되지 않는다.

X축 LUT: x'/x=y'/y

x'=dx/(d-tan(a)*y)

x'-x=sin(a)*y*x/(cos(a)*d-sin(a)*y)

Y축 LUT: y'는 가상 패널 및 뷰포인트의 교차점(cross point of the virtual panel and the view point)

tan(a)*y'=d/y*y'-d

y'=dy/(d-tan(a)*y)

y'-y=sin(a)*y^2/(cos(a)*d-sin(a)*y

(x, y: 픽셀 위치, x', y': 참조 위치, d: 뷰포인트 거리(view point distance), a: 회전각)

키스톤 공식1에 의하여 X축 LUT와 Y축 LUT이 아래와 같이 설정될 수 있으나, 이에 한정되지 않는다.

X축 LUT: x'는 가상 패널 및 뷰포인트의 교차점

tan(a)*x'=d/x*x'-d

x'=dx/(d-tan(a)*x)

x'-x=sin(a)*x^2/(cos(a)*d-sin(a)*x)

Y축 LUT: y'/y=x'/x

y'=dy/(d-tan(a)*x)

y'-y=sin(a)*x*y/(cos(a)*d-sin(a)*x)

(x, y: 픽셀 위치, x', y': 참조 위치, d: 뷰포인트 거리, a: 회전각)

키스톤 공식2-1에 의하여 X축 LUT와 Y축 LUT이 아래와 같이 설정될 수 있으나, 이에 한정되지 않는다. 이는 스크린의 기울기에 의해 생기는 키스톤을 보상하기 위한 LUT에 해당한다.

X축 LUT:

x'-x=x*d*cos(va)*cos(ha)/(d*cos(va)*cos(ha)-sin(ha)*x-sin(va)*cos(ha)*y)-x

Y축 LUT:

y'-y=y*d*cos(va)*cos(ha)/(d*cos(va)*cos(ha)-sin(ha)*x-sin(va)*cos(ha)*y)-y

(x, y: 픽셀 위치, x', y': 참조 위치, d: 뷰포인트 거리, va: 수직 회전각, ha: 수평 회전각)

키스톤 공식2-2에 의하여 X축 LUT와 Y축 LUT이 아래와 같이 설정될 수 있으나, 이에 한정되지 않는다. 이는 고정된 스크린에 프로젝터가 이동하는 경우 생기는 키스톤을 보상하기 위한 LUT에 해당한다.

X축 LUT:

x'-x=x*d*cos(va)/(d*cos(va)*cos(ha)-sin(ha)*x-sin(va)*cos(ha)*y)-x

Y축 LUT:

y'-y=(y*d*cos(ha)+x*dist*sin(va)*sin(ha))/(d*cos(va)*cos(ha)-sin(ha)*x-sin(va)*cos(ha)*y)-y

(x, y: 픽셀 위치, x', y': 참조 위치, d: 뷰포인트 거리, va: 수직 회전각, ha: 수평 회전각)

데이터 파이프라인(1513)은, Y축 보간용 버퍼, 디패킷타이저(depacketizer), 감마 2.2 변환부, Y축 보간부, X축 보간용 버퍼, X축 보간부 및 감마 1.0 변환부를 포함할 수 있지만, 이에 한정되지 않는다.

Y축 보간용 버퍼는 Y축 보간 연산에 필요한 블록을 저장한다. 디패킷타이저는 블록 단위로 저장된 이미지 데이터 중 상기 Y축 및 X축 보간 계산에 필요한 픽셀 정보만 추출한다. 감마 2.2 변환부 및 감마 1.0 변환부는 픽셀 데이터의 밝기를 변환하는 구성으로, 아래 도 14 및 15를 참조하면서 구체적으로 설명하기로 한다. Y축 보간부는 백워드 맵퍼 FSM(1512)에서 생성된 픽셀의 위치 정보와 백워드 LUT 생성부(1511)에서 생성된 Y축 LUT에 기초하여 Y축 보간을 수행한다. X축 보간용 버퍼는 X축 보간 연산에 필요한 블록을 저장한다. X축 보간부는 백워드 맵퍼 FSM(1512)에서 생성된 픽셀의 위치 정보와 백워드 LUT 생성부(1511)에서 생성된 X축 LUT에 기초하여 X축 보간을 수행한다.

본 발명에 따른 디스플레이 장치는 백워드 LUT 생성부가, 영상 왜곡의 형태에 따라 상이한 X축 LUT 및 Y축 LUT를 생성하고, 이에 기초하여 왜곡 화면을 만들어냄으로써 화면 왜곡을 보정할 수 있게 된다.

도 14 내지 16은 데이터 파이프라인의 감마 변환부의 동작을 설명하기 위한 도면이다. 도 14는 데이터 파이프라인의 픽셀 계산 방식을 도시하며, 좌측에는 감마 변환이 없는 경우의 보간을 나타내는 그림이 도시되어 있고, 우측에는 감마 변환이 있는 경우의 보간을 나타내는 그림이 도시되어 있다.

픽셀은 주어진 위치의 밝기를 나타내며, 백워드 맵퍼는 임의의 위치에 해당하는 픽셀을 표현하는 장치로 밝기 계산이 필수적이다. 픽셀 데이터는 감마 1.0으로 시스템의 밝기와 비례하지 않는다. 따라서, 픽셀 데이터를 시스템 최종 디스플레이의 감마 커브로 변환한 후 보간하고, 패널에 전달할 감마 1.0으로 복원하는 과정을 거친다.

도 15는 감마 변환에 따른 결과 이미지를 예시하는 도면이며, 좌측에서부터 최초 이미지, 20도 회전/감마 1.0 변환 이미지, 20도 회전/감마 2.2 변환 이미지, 45도 회전/감마 1.0 변환 이미지 및 45도 회전/감마 2/2 변환 이미지를 도시한다.

도 16은 데이터 파이프라인에서의 2단계 보간 과정을 설명하기 위한 도면이다. 일반적인 백워드 맵핑은 참조할 위치 인근의 네 픽셀값을 필요로 한다. 프레임 버퍼에는 데이터가 블록 단위로 저장되어 있어 경계조건에 따라 필요한 블록이 1 내지 4개가 될 수 있다. Y축에 대해서만 보간하게 되면 참조할 픽셀은 인근의 2개의 픽셀이므로 필요 블록은 1 내지 2개가 될 수 있다. 즉, 프레임 버퍼에 필요한 메모리 밴드폭(bandwidth)가 절반으로 줄어들 수 있다는 장점이 있다.

다시, 백워드 LUT 생성부(1511)에서 생성되는 X축 LUT 및 Y축 LUT와 관련하여 설명한다. 백워드 LUT 생성부(1511)에서 생성된 값은 참조할 X, Y의 위치 정보를 갖는다. 2단계 보간을 위해서는 LUT가 Y축 LUT 및 X축 LUT로 분리되어야 한다.

도 17은 X축 및 Y축 LUT의 생성 방법을 나타내는 개략도로, Y축 LUT는 Y축 보간에 필요한 Y 변화량만을 필요로 하며, 이는 계산된 인근 두 참조Y값의 선형 보간으로 계산이 가능하다. 이때, X축 LUT는 계산된 참조값의 X값을 그대로 사용할 수 있게 된다.

도 18은 본 발명에 따른 백워드 맵퍼를 사용한 시스템의 블록도이다. 본 발명에 따른 백워드 맵퍼는 HMD에 탑재되어 사용자의 헤드 모션에 대응하는 영상을 출력한다. 즉, Yaw, Pitch, Roll, X, Y, Z 정보를 입력받아 키스톤(keystone), 회전(rotate), 스케일 업다운(scale up-down), 시프트 x,y 등의 조합으로 필요한 이미지를 생성하게 된다. 또한, 기저장된 광학 정보를 포함하여 별도의 렌더링 없이 사용자의 헤드 모션에 대응이 가능하다.

도 19는 도 18에 도시된 시스템에 있어서, 사용자의 헤드 모션에 따른 Yaw, Pitch, Roll, X, Y, Z 움직임에 대응하여 처리해야될 영상처리 종류를 도시한다. 본 발명에 따르면, 도 19에 도시된 영상처리에 필요한 연산량을 획기적으로 줄여 처리 속도 및 소비 전력면에서 매우 유리한 디스플레이 장치를 구현할 수 있게 된다.

도 20은 본 발명에 따른 디스플레이의 효과를 설명하기 위한 도면이다. 본 발명의 효과를 검증하기 위하여, 디지털 IP를 FPGA에서 RTL(Register Transfer Level)로 설계하고 통합했다. 32비트 RISC-V 프로세서 코어는 소프트웨어 알고리즘 및 주변 장치 제어를 위한 저전력 소비로 충분한 처리 능력을 제공하도록 선택되었다. 디스플레이 컨트롤러 설계에는 Xilinx Vertex-7 Ultrascale+ 평가 기판이 사용되었으며, 디스플레이에는 자체적으로 0.55인치 FHD(Full High Definition) 해상도의 FSC형 LCoS 디스플레이 패널과 birdbath 유형의 광학 장치가 사용되었다. 옵틱은 45도 대각선 FOV(Field of View)용으로 설계되었으며, 고속카메라의 센서로부터 0.5m 떨어진 곳에 시각적 큐를 직사각형 모양으로 표시하여 동작 결과를 평가하였다. 카메라 렌즈의 초점거리는 18mm로 사람의 눈의 초점거리인 17mm와 매우 비슷하다.

비디오 입력을 위해 USB-C를 통한 DisplayPort를 통해 양안 시스템(안구당 FHD)용 3840x1080 60Hz 비디오를 수용할 수 있는 도터 보드를 설계했다. 두 개의 데이터 컨버터 IC는 입력 이미지를 분할하고 FPGA 사용을 위해 비디오 인터페이스를 변경한다. USB 또는 JTAG(Joint Test Action Group) 인터페이스를 통해 외부 8051 MCU(Micro Controller Unit)를 통해 디스플레이 컨트롤러를 제어할 수 있다.

헤드 모션 데이터를 얻기 위해 컨트롤러는 가속도계와 자이로스코프를 통합하는 6-DOF MPU-6050 MEMS(Micro Electro-Mechanical System) 센서와 인터페이스하였다. 이 센서는 센서 융합 처리를 제공하고 원시 센서 데이터를 쿼터니언으로 변환한다. 디스플레이 컨트롤러에 내장된 프로세서는 센서에서 발생하는 인터럽트로 주기적으로 변환된 데이터(평가용 100Hz)를 읽어 센서의 오일러 각(yaw, pitch, roll)을 계산해 ATW(Asynchronous Time Warp)를 적용한다.

적용된 ATW와 동적 모핑을 분석하기 위해 글로벌 셔터를 지원하는 고속 카메라를 사용하여 롤링 셔터 효과로 인한 아티팩트를 제거했다. 인간의 지각을 모방하기 위해 60Hz 캡처 주파수가 사용되었으며 추가 분석을 위해 최대 1kHz까지 더 빠른 캡처 주파수도 적용되었다. 높은 반복성을 위해 인간의 머리 동작을 모방하기 위해 6-DoF 산업용 다관절 로봇암을 활용했다.

FPGA에서 설계된 디스플레이 컨트롤러는 방해 없는 디스플레이 시스템을 위한 임베디드 ATW 기능으로 연결 FSC LCoS 디스플레이 패널을 구동한다. 임베디드 프로세서는 32MHz 주파수에서 작동하고 디스플레이 컨트롤러는 218Hz의 필드 속도로 패널을 구동한다. LUT, Block RAM, URAM(Embedded SRAM-like memory) 각각 10%, 6%, 7% 미만으로 활용률이 높지는 않지만 이 FPGA 버전은 혼합 사용 시 타이밍 최적화에 약간의 제한이 있다. SERDES(Serializer De-serializer)와 같은 신호 IP. ASIC(Application-Specific Integrated Circuit) 버전은 각각 최대 200MHz 및 360Hz 이상에서 프로세서와 패널 드라이버를 실행할 수 있다.

동적 LUT 생성을 위해 CORDIC(좌표 회전 디지털 컴퓨터)를 활용하고 뷰 변경을 위해 각 회전에 대해 +/- 1 라디안을 지원한다. 회전 각도 해상도는 1/4096 라디안, 약 0.014도이다. 이 값은 1 arcmin 미만이므로 대부분의 디스플레이에서 1픽셀 단위로 제어할 수 있다.

하나의 백워드 맵퍼의 논리 복잡도는 약 586KGE(Kilo Gate Equivalent)이며 맵퍼의 모든 블록 버퍼는 합성 리포터에 기반하여 724KGE를 소비합니다. 이전 작업은 논리용으로 720KGE, 블록 버퍼용으로 3830KGE였다. 설계된 LUT 컨트롤러는 그리드 크기의 32x32 또는 64x64를 지원한다. 이는 역방향 LUT 컨트롤러가 32 또는 64라인마다 LUT를 업데이트한다는 것을 의미한다. 광학 보정을 위한 LUT는 FHD 지원을 위해 맵퍼당 약 25kB가 필요하다. 새로운 기능을 추가하고 더 넓은 보정 범위를 제공하며 화질을 개선하면서 로직과 메모리 크기를 크게 줄일 수 있었다.

MPU-6050 센서는 DMP(디지털 모션 처리) 모드를 사용하여 42바이트 데이터 청크를 생성하고 데이터는 구성된 데이터 출력 속도 100Hz로 FIFO에서 사용할 수 있다. 프로세서는 FIFO 가용성을 확인하고 센서가 프로세서를 인터럽트할 때마다 데이터 청크를 읽는다. 일부 처리 오버헤드를 포함하여 400kHz I2C 인터페이스에서 센서 데이터를 수집하는 데 1.76ms가 소요되었다. 데이터에서 오일러 각을 계산하고 동적 뷰 변경을 위한 하드웨어 IP를 적절하게 제어하는 데 0.79ms가 소요되었다. 각 색상 필드 이미지는 가장 최근의 모션 데이터를 반영한다. 프레임 버퍼 메모리에 저장된 입력 이미지를 변형하기 위해 yaw, pitch 및 roll 각도를 조정한 다음 조명 타이밍을 적절하게 제어하여 모핑된 이미지를 패널로 전송한다.

요약된 결과는 도 20에 도시된 바와 같다. 가상 화면의 뷰는 사용자의 시선, 즉 머리 회전에 따라 지속적으로 변경되어 고정된 느낌을 준다. 광학의 중심은 왜곡을 최소화하면서 최고의 시력을 만드는 경향이 있기 때문에 최고의 화질로 화면에서 콘텐츠를 탐색할 수 있다.

밝은 화면은 도 20의 (1) 및 (8)과 같이 현실 세계를 가리는 경우가 많다. 다만, 본 발명에 따른 디스플레이는 기존의 정보 디스플레이와 다르게 구성할 수 있는 콘텐츠 시청 영역을 제공함으로써 이러한 차단을 피할 수 있게 된다. 사용자는 원하는 위치에 보기 영역을 쉽게 등록할 수 있다. 도 20은 시야 영역의 중심이 위쪽 20°에 있는 시나리오의 예를 보여준다. 사용자는 Pitch 및 Yaw 회전에 대한 경계 조건을 설정하여 약간의 히스테리시스가 있는 보기 영역과 주의 분산 없는 영역을 나눌 수 있다. 이때 5°는 끄기, 7°는 켜기로 가정한다. 사용된 광학 장치는 약 22°의 수직 FOV를 제공하기 때문에 일단 시선, 즉 머리 움직임이 3°(=20-(22-5)) 미만 또는 37°(=20+(22-5)) 이상으로 이동하면, 확대를 미적용시 디스플레이가 자동으로 꺼지게 된다. 시선이 방해받지 않는 영역에서 5°(=20-(22-7)) 또는 35°(=20+(22-7))를 넘으면 디스플레이가 다시 켜지게 된다. 이러한 동작은 사용자의 의도를 보다 자연스럽게 반영하면서도 전력 소모를 크게 줄일 수 있다는 효과를 도모한다.

MTP 지연 시간(Motion To Photon(MTP) Latency)은 사용자의 위치 이동이나 머리 회전이 디스플레이에 반영되는 시간으로, AR, VR(가상 현실) 및 MR(혼합 현실) 장치의 중요한 성능 지표이다. FPGA 구성에 대한 최고 및 최악의 MTP 지연 시간은 각각 6.71ms 및 16.71ms였다. 평균 11.71ms의 레이턴시가 예상되며, 기존 VR기기에 비해 상대적으로 작다고 판단되며, ASIC 버전에서는 레이턴시를 줄일 수 있는 가능성이 높다.

가벼운 웨어러블 AR 안경이 가장 바람직하겠지만, AR 시스템의 복잡성으로 인해 구현하기 쉽지 않다. 본 발명은 고급 AR 기기와 저가형 머리에 쓰는 디스플레이 사이의 저렴한 솔루션을 제공한다. 제안된 시스템은 AP/GPU 중심 설계보다 덜 복잡한 시스템으로 사용자 경험을 향상시킬 수 있다. 또한, FSC 유형의 디스플레이뿐만 아니라 서브픽셀화된 디스플레이도 지원할 수 있다. 본 발명에 대한 실험 결과는 그 가능성을 확인시켜주었고, 설계된 디스플레이 컨트롤러에는 입력 비디오를 즉석에서 동적으로 모핑하여 사용자의 머리 움직임에 따라 끊김 없는 화면 전환을 제공하는 특수 하드웨어가 포함되어 있다. IMU 센서용 임베디드 프로세서 및 주변 장치는 머리 동작 추적 및 ATW 작동을 처리한다. 호스트 프로세서에서 컴퓨팅 및 메모리 집약적 이미지 변형 작업을 오프로딩하면서 ATW로 6-DOF 모핑을 지원하기 위해 모든 기능을 갖춘 AR/MR 시스템에 본 발명이 사용할 수 있을 것이다.

도 21a 및 21b는 본 발명의 적용례를 나타내는 도면이다. 도 21a 및 21b는 정적 이미지에 본 발명을 적용시키는 경우의 동작을 설명하기 위한 도면이다. 영상이 아닌 문서나 책 등의 컨텐츠 또는 고정되어 있는 이미지(예: ICON 등)의 경우, 프레임 버퍼에 현재 필요한 화면만 기록해둘 수 있다. 이후, 기록된 화면을 연속해서 출력하되, 움직임에 맞는 화면을 출력하게 된다. 즉, 컨텐츠의 변화가 있을 때에만 AP, GPU 등을 사용하여 프레임 버퍼를 업데이트할 수 있다.

도 22는 본 발명의 또 다른 적용례를 나타내는 도면이다. 영상처리를 AP, GPU에서 함에 있어서, ①AP, GPU의 렌더링 속도가 프레임 레이트보다 느린 경우, ②프레임 레이트 변환으로 입력 프레임 레이트보다 출력 프레임 레이트가 빠른 경우, ③FSC 타임의 디스플레이로 프레임 레이트 변환이 생긴 경우에는 ATW(Asynchronous Time Warp)를 사용할 수 있다.

한편, 본 발명에 따른 화면 왜곡 보정 방법은, 왜곡 반영 이미지 생성을 위한 X축 LUT(Look-Up Table) 및 Y축 LUT를 생성하는 단계(LUT 생성 단계), 상기 X축 LUT 및 상기 Y축 LUT에 기초하여 각 픽셀의 위치 정보를 생성하는 단계(위치 정보 생성 단계), 프레임/라인 버퍼로부터 독출된 데이터에 대하여, 픽셀의 위치 정보 및 상기 Y축 LUT를 이용하여 Y축 보간을 수행하는 단계(Y축 보간 수행 단계), 상기 프레임/라인 버퍼로부터 독출된 데이터에 대하여, 픽셀의 위치 정보 및 상기 X축 LUT를 이용하여 X축 보간을 수행하는 단계(X축 보간 수행 단계) 및 상기 Y축 보간 및 X축 보간이 이루어진 왜곡 반영 이미지를 출력하는 단계(왜곡 반영 이미지 출력 단계)를 포함한다. 여기서, 본 발명에 따른 화면 왜곡 보정 방법의 주체는 위에서 상세히 설명한 바, 반복 설명은 피하기로 한다.

이때, 블록 단위로 저장된 데이터 중 상기 Y축 보간 및 X축 보간에 필요한 픽셀 정보만 추출하는 디패킷타이징 단계를 더 포함할 수 있다. 나아가, 추출된 상기 픽셀 정보를 최종 디스플레이의 감마 커브(Gamma curve)로 변환하는 단계를 더 포함할 수 있다.

이때, LUT 생성 단계는, 상기 영상 왜곡이 키스톤 왜곡 또는 로테이션 왜곡인 경우, 사용자 움직임에 따른 요(yaw)값, 피치(pitch)값, 롤(roll)값, 회전축 및 화각(FOV) 중 적어도 하나에 기초하여, 상기 Y축 LUT 및 상기 X축 LUT를 각각 생성한다. 또한, 영상 왜곡이 스케일러 또는 시프트 왜곡인 경우, 사용자 움직임에 따른 X값 변화량, Y값 변화량, Z값 변화량 중 적어도 하나에 기초하여, 상기 Y축 LUT 및 상기 X축 LUT를 각각 생성한다.

본 발명에 따른 화면 왜곡 보정 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

100: 디스플레이 제어부
110: 입력부
120: 기록부
130: 저장부
140: 프레임/라인 버퍼
150: 판독부
160: 출력부

Claims (13)

1. 이미지 데이터를 입력받는 입력부;
   상기 이미지 데이터를 처리하고 기록하는 기록부;
   기록된 상기 이미지 데이터를 버퍼에 저장하는 저장부;
   저장된 상기 이미지 데이터를 판독하는 판독부; 및
   판독된 이미지 데이터를 출력하는 출력부;를 포함하고,
   상기 판독부는,
   X축 보간을 위한 X축 LUT(Look-Up Table) 및 Y축 보간을 위한 Y축 LUT를 이용하여 2단계 보간을 통해, 상기 버퍼 내의 이미지의 픽셀 위치 정보를 참조하여 왜곡 반영 이미지 데이터를 생성하는 백워드 맵퍼(backward mapper)를 포함하고,
   상기 백워드 맵퍼는,
   상기 X축 LUT 및 상기 Y축 LUT를 분리하여 생성하는 백워드 LUT 생성부;를 포함하는 디스플레이 장치.
2. 삭제
3. 제1항에 있어서,
   상기 백워드 맵퍼는,
   상기 버퍼로부터 입력된 이미지 데이터를 처리하는 데이터 파이프라인; 및
   상기 X축 LUT 및 상기 Y축 LUT에 기초하여 각 픽셀의 위치 정보를 생성하고 상기 데이터 파이프라인을 제어하는 백워드 맵퍼 FSM;을 포함하는 디스플레이 장치.
4. 제3항에 있어서,
   상기 데이터 파이프라인은,
   상기 백워드 맵퍼 FSM에서 생성된 픽셀의 위치 정보 및 상기 Y축 LUT에 기초하여 Y축 보간을 수행하는 Y축 보간부; 및
   상기 백워드 맵퍼 FSM에서 생성된 픽셀의 위치 정보 및 상기 X축 LUT에 기초하여 X축 보간을 수행하는 X축 보간부;를 포함하는 디스플레이 장치.
5. 제4항에 있어서,
   상기 데이터 파이프라인은,
   상기 Y축 보간 연산에 필요한 블록을 저장하는 Y축 보간용 버퍼;
   상기 X축 보간 연산에 필요한 블록을 저장하는 X축 보간용 버퍼;
   블록 단위로 저장된 이미지 데이터 중 상기 Y축 및 X축 보간 계산에 필요한 픽셀 정보만 추출하는 디패킷타이저(depacketizer); 및
   추출된 픽셀 정보를 최종 디스플레이의 감마 커브(Gamma curve)로 변환하는 하나 이상의 감마 컨버터;를 더 포함하는 디스플레이 장치.
6. 제3항에 있어서,
   상기 백워드 LUT 생성부는, 영상 왜곡의 형태에 따라 상이한 X축 LUT 및 Y축 LUT를 생성하는 디스플레이 장치.
7. 제6항에 있어서,
   상기 영상 왜곡이 키스톤 왜곡 또는 로테이션 왜곡인 경우, 상기 백워드 LUT 생성부는, 사용자 움직임에 따른 요(yaw)값, 피치(pitch)값, 롤(roll)값, 회전축 및 화각(FOV) 중 적어도 하나에 기초하여, 상기 Y축 LUT 및 상기 X축 LUT를 각각 생성하는 디스플레이 장치.
8. 제6항에 있어서,
   상기 영상 왜곡이 스케일러 또는 시프트 왜곡인 경우, 상기 백워드 LUT 생성부는 사용자 움직임에 따른 전달된 X값 변화량, Y값 변화량, Z값 변화량 중 적어도 하나에 기초하여, 상기 Y축 LUT 및 상기 X축 LUT를 각각 생성하는 디스플레이 장치.
9. 왜곡 반영 이미지 생성을 위한 X축 LUT(Look-Up Table) 및 Y축 LUT를 분리하여 생성하는 단계;
   상기 X축 LUT 및 상기 Y축 LUT에 기초하여 각 픽셀의 위치 정보를 생성하는 단계;
   버퍼로부터 독출된 데이터에 대하여, 픽셀의 위치 정보 및 상기 Y축 LUT를 이용하여 Y축 보간을 수행하는 단계;
   상기 버퍼로부터 독출된 데이터에 대하여, 픽셀의 위치 정보 및 상기 X축 LUT를 이용하여 X축 보간을 수행하는 단계; 및
   상기 Y축 보간 및 X축 보간이 이루어진 왜곡 반영 이미지를 출력하는 단계;를 포함하는 화면 왜곡 보정 방법.
10. 제9항에 있어서,
    블록 단위로 저장된 데이터 중 상기 Y축 보간 및 X축 보간에 필요한 픽셀 정보만 추출하는 디패킷타이징 단계;를 더 포함하는 화면 왜곡 보정 방법.
11. 제10항에 있어서,
    추출된 상기 픽셀 정보를 최종 디스플레이의 감마 커브(Gamma curve)로 변환하는 단계;를 더 포함하는 화면 왜곡 보정 방법.
12. 제9항에 있어서,
    상기 생성하는 단계는,
    영상 왜곡이 키스톤 왜곡 또는 로테이션 왜곡인 경우, 사용자 움직임에 따른 요(yaw)값, 피치(pitch)값, 롤(roll)값, 회전축 및 화각(FOV) 중 적어도 하나에 기초하여, 상기 Y축 LUT 및 상기 X축 LUT를 각각 생성하는 화면 왜곡 보정 방법.
13. 제9항에 있어서,
    상기 생성하는 단계는,
    영상 왜곡이 스케일러 또는 시프트 왜곡인 경우, 사용자 움직임에 따른 X값 변화량, Y값 변화량, Z값 변화량 중 적어도 하나에 기초하여, 상기 Y축 LUT 및 상기 X축 LUT를 각각 생성하는 화면 왜곡 보정 방법.

Images