KR102224718B1

KR102224718B1 - 홀로그램 생성 방법 및 장치

Info

Publication number: KR102224718B1
Application number: KR1020140101101A
Authority: KR
Inventors: 송훈; 김호정; 서주원; 이홍석
Original assignee: 삼성전자주식회사
Priority date: 2014-08-06
Filing date: 2014-08-06
Publication date: 2021-03-08
Anticipated expiration: 2034-08-06
Also published as: US20160041524A1; KR20160017489A; US9727970B2

Abstract

홀로그램 생성 방법은 3차원 영상 데이터 정보를 수신하는 단계; 상기 3차원 영상 데이터를 상호 의존성(dependency)이 없는 복수의 그룹으로 분할하는 분할 단계; 상기 복수의 그룹으로 분할된 영상 데이터로부터, 홀로그램 평면상의 각 위치에 표시될 홀로그램 값을 연산하되, 상기 복수의 그룹에 대한 연산을 병렬적으로 수행하는 연산 단계; 상기 홀로그램 평면상의 각 위치에 대해, 상기 복수의 그룹에서 연산된 홀로그램 값을 합산하는 단계; 상기 합산된 홀로그램 값을 공간 광변조기용 데이터로 변환하는 단계;를 포함한다.

Description

홀로그램 생성 방법 및 장치{Method and apparatus for generating hologram}

본 개시는 홀로그래픽 3차원 영상 표시를 위한 홀로그램 생성 방법 및 장치에 대한 것이다.

홀로그래픽 3차원 영상 표시장치(Holographic 3D image display)는 양안 시차(binocular parallax) 방식의 3차원 영상 표시 장치에 비해, 보다 자연스런 입체 영상을 표시할 수 있다는 이점이 있다.

최근 들어 3D 영화의 출시가 빈번해지며, 3차원 영상에 관련된 기술이 많이 연구되고 있다. 특히 빛의 진폭과 위상을 동시에 제어할 수 있는 복합 공간 광변조기(Complex Spatial Light Modulator, SLM)를 이용하여 실시간으로 고화질 홀로그램을 구현하는 장치에 대한 연구가 활발히 진행되고 있다.

홀로그램은 물체파와 참조파의 간섭 무늬를 기록한 것으로, 여기에 상기 참조파를 조사하면 물체파가 재생된다. 최근에는 상기 간섭 무늬 형성을 위해 컴퓨터 생성 홀로그램(computer generated hologram)이 사용되고 있으며, 이 경우, 홀로그램 평면의 각 위치에 대한 홀로그램 값을 연산하는데, 그 연산량이 매우 방대하다.

예를 들어, UHD 급의 4K 사이즈(4096×2160) 이상의 영상을 형성하고자 할 때, 4096×2160×프레임수×깊이 방향의 레이어수×3(컬러R, G, B) 이상 회수의 반복 연산이 필요하게 된다.

최근, CPU 및 GPU의 데이터 처리 속도는 계속 증가하고 있고, 특히 고성능 프로세서는 대부분 멀티코어에 기반한다. CPU의 경우 2 내지 8개 또는 그 이상의 프로세서 코어를 집적한 멀티 코어 프로세서가 주류이고, GPU의 경우 수십에서 수백 개의 코어를 집적한 매니코어 프로세서가 주류를 이루고 있다. 따라서, 이를 활용하여 상기 계산을 병렬적으로 처리하는 방법에 대한 연구가 필요하다.

본 개시는 컴퓨터 생성 홀로그램을 빠른 속도로 연산할 수 있는 홀로그램 생성 방법 및 장치를 제시하고자 한다.

일 유형에 따르는 홀로그램 생성 방법은 3차원 영상 데이터 정보를 수신하는 단계; 상기 3차원 영상 데이터를 상호 의존성(dependency)이 없는 복수의 그룹으로 분할하는 분할 단계; 상기 복수의 그룹으로 분할된 영상 데이터로부터, 홀로그램 평면상의 각 위치에 표시될 홀로그램 값을 연산하되, 상기 복수의 그룹에 대한 연산을 복수의 프로세서에서 병렬적으로 수행하는 연산 단계; 상기 홀로그램 평면상의 각 위치에 대해, 상기 복수의 그룹에서 연산된 홀로그램 값을 합산하는 단계; 상기 합산된 홀로그램 값을 공간 광 변조기용 데이터로 변환하는 단계;를 포함한다.

상기 분할 단계에서, 상기 3차원 영상 데이터는 적색, 녹색, 청색의 컬러 정보에 따라 3개 그룹의 영상 데이터로 분할될 수 있다.

상기 분할단계에서, 상기 3개 그룹의 영상 데이터 각각은, 홀로그램 평면으로부터의 거리에 따라, 복수의 레이어에 대한 영상 데이터로 분할될 수 있다.

상기 연산 단계는, 상기 복수의 레이어의 개수를 N이라 할 때, 3N 개의 그룹으로 나누어 병렬적으로 수행될 수 있다.

상기 연산 단계는, 상기 컬러 정보가 다른 3개의 그룹으로 나누어 병렬적으로 수행되고, 상기 복수의 레이어에 대한 연산은 상기 3개의 그룹 내에서 순차적으로 처리될 수 있다.

상기 연산 단계는, 상기 복수의 레이어의 개수를 N이라 할 때, 상기 깊이 정보가 다른 N 개의 그룹으로 나누어 병렬적으로 수행되며, 상기 컬러 정보에 따른 연산은 상기 N 개의 그룹 내에서 순차적으로 수행될 수 있다.

상기 분할 단계는, 상기 복수의 레이어의 개수를 N이라 할 때, 레이어 위치와 컬러로 정의되는 3N 개의 평면 영상 각각에 대해, 회절 한계(diffraction limit)을 계산하는 단계; 상기 평면 영상을 가로, 세로 길이를 상기 회절 한계로 하는 복수의 영상으로 분할하는 단계: 상기 복수의 영상들이 각각 MXL(M by L)의 픽셀들로 이루어진다고 할 때, 상기 복수의 영상들 각각에서 동일한 매트릭스 위치의 영상 데이터를 모아 복수(M*L)개의 서브 영상을 형성하는 단계;를 더 포함할 수 있다.

상기 연산 단계는, 컬러 영상 데이터 양을 고려하여, 계산 시간을 분석하고, 컬러, 레이어 별로 형성된 상기 복수의 서브 영상에 대한 홀로그램 연산을 상기 복수의 프로세서에 분할하여 배분하는 단계;를 더 포함할 수 있다.

상기 연산 단계는, 상기 복수의 서브 영상에 대한 홀로그램 값을 연산하고, 이를 합산하여, 레이어 위치와 컬러로 정의된 평면 영상에 대한 홀로그램 값을 얻을 수 있다.

또한, 일 유형에 따른 기록 매체는 상술한 어느 한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체일 수 있다.

또한, 일 유형에 따른 홀로그램 생성 장치는 적어도 하나의 프로그램이 저장되는 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써, 3차원 영상 데이터로 재생될 홀로그램 신호를 형성하는 복수의 프로세서를 구비하는 제어부;를 포함하며, 상기 적어도 하나의 프로그램은, 3차원 영상 데이터 정보를 수신하는 단계; 상기 3차원 영상 데이터를 상호 의존성(dependency)이 없는 복수의 그룹으로 분할하는 분할 단계; 상기 복수의 그룹으로 분할된 영상 데이터로부터, 홀로그램 평면상의 각 위치에 표시될 홀로그램 값을 연산하되, 상기 복수의 그룹에 대한 연산을 병렬적으로 수행하는 연산 단계; 상기 홀로그램 평면상의 각 위치에 대해, 상기 복수의 그룹에서 연산된 홀로그램 값을 합산하는 단계; 상기 합산된 홀로그램 값을 공간 광변조기용 데이터로 변환하는 단계;를 실행하는 명령어들을 포함한다.

상기 제어부는 복수의 프로세서 코어를 구비하는 CPU 또는 GPU로 이루어질 수 있다.

상기 프로그램은, 상기 분할 단계에서 상기 3차원 영상 데이터를 적색, 녹색, 청색의 컬러 정보에 따라 3개 그룹의 영상 데이터로 분할하게 하는 명령어들을 포함할 수 있다.

상기 프로그램은, 상기 분할 단계에서 상기 3개 그룹의 영상 데이터 각각을 상기 홀로그램 평면으로부터의 거리에 따라, 복수의 레이어에 대한 영상 데이터로 분할하게 하는 명령어들을 포함할 수 있다.

상기 제어부는 상기 복수의 레이어의 개수를 N이라 할 때, 3N 개의 프로세서 코어를 포함할 수 있다.

상기 제어부는 상기 복수의 레이어의 개수를 N이라 할 때, N 개의 프로세서 코어를 포함할 수 있다.

상기 프로그램은, 상기 분할 단계에서, 상기 복수의 레이어의 개수를 N이라 할 때, 레이어 위치와 컬러로 정의되는 3N 개의 평면 영상 각각에 대해, 회절 한계(diffraction limit)을 계산하는 단계; 상기 평면 영상을 가로, 세로 길이를 상기 회절 한계로 하는 복수의 영상으로 분할하는 단계: 상기 복수의 영상들이 각각 MXL(M by L)의 픽셀들로 이루어진다고 할 때, 상기 복수의 영상들 각각에서 동일한 매트릭스 위치의 영상 데이터를 모아 복수(M*L)개의 서브 영상을 형성하는 단계;를 수행하게 하는 명령어들을 더 포함할 수 있다.

또한, 일 유형에 따른 홀로그래픽 3차원 영상 표시 장치는 광원; 상술한 어느 하나의 홀로그램 생성 장치; 상기 홀로그램 생성 장치에서 형성된 홀로그램 신호가 인가되며, 상기 광원에서의 광을 상기 홀로그램 신호에 따라 변조하는 공간 광변조기: 를 포함한다.

상술한 홀로그램 생성 방법 및 장치에 따르면, 3차원 영상 데이터를 상호 의존성이 없는 복수의 그룹으로 나누어 병렬적으로, 홀로그램 값의 연산을 수행하므로, 방대한 양의 연산을 빠른 속도로 수행할 수 있다.

상술한 홀로그램 생성 장치는 홀로그래픽 3차원 영상 표시 장치에 채용될 수 있고, 실시간으로 3차원 영상/동영상의 표시가 가능하다.

상술한 홀로그램 생성 방법, 장치 및 홀로그래픽 3차원 영상 표시 장치는 다양한 전자 기기, 예를 들어, 모니터, TV, 모바일 디스플레이 장치, 또는 모바일 이동 통신 기기 등에 적용될 수 있다.

도 1은 실시예에 따른 홀로그램 생성 방법을 개략적으로 보이는 흐름도이다.
도 2는 물체파로부터 홀로그램 패턴을 생성하는 연산을 개략적으로 설명하기 위한 개념도이다.
도 3은 다른 실시예에 따른 홀로그램 생성 방법을 개략적으로 보이는 흐름도이다.
도 4는 3차원 영상 데이터가 서로 독립적인 복수의 컬러 영상 데이터로 분리됨을 보인다.
도 5는 컬러 영상 데이터가 깊이 위치에 따라 복수의 레이어 영상으로 분리됨을 보인다.
도 6은 다른 실시예에 따른 홀로그램 생성 방법을 개략적으로 보이는 흐름도이다.
도 7은 또 다른 실시예에 따른 홀로그램 생성 방법을 개략적으로 보이는 흐름도이다.
도 8은 도 3, 6, 7의 흐름도에서 사용될 수 있는, 홀로그램 값 연산의 구체적인 과정을 예시적으로 보인다.
도 9a 내지 도 9e는 도 8의 흐름도의 구체적인 과정을 설명하는 도면들이다.
도 10은 또 다른 실시예에 따른 홀로그램 생성 방법을 개략적으로 보이는 흐름도이다.
도 11a 및 도 11b는 병렬 처리에 의해 계산 시간이 감소되는 것을 보이는 개념도로서, 각각 레이어, 컬러만 분산 처리한 경우 및 레이어, 컬러, 회절한계 까지 분산 처리한 경우에 대한 것이다.
도 12는 실시예에 따른 홀로그램 생성 장치의 개략적인 구성을 보이는 블록도이다.
도 13은 실시예에 따른 홀로그래픽 3차원 영상 표시 장치의 개략적인 구성을 보인다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다.

도 1은 실시예에 따른 홀로그램 생성 방법을 개략적으로 보이는 흐름도이고, 도 2는 물체파로부터 홀로그램 패턴을 생성하는 연산을 개략적으로 설명하기 위한 개념도이다.

실시예에 따른 홀로그램 생성 방법은 컴퓨터 생성 홀로그램을 연산하는 방법으로서, 방대한 양의 연산을 보다 빠르게 수행할 수 있는 방법을 제시하고자 한다.

먼저, 도 2를 참조하면, 3차원 물체의 홀로그램 영상 정보는 홀로그램 평면(ξ-ζ 평면)상의 홀로그램 값 H(ξ,ζ)으로 표현될 수 있다. 홀로그램 값은 물체파와 참조파의 간섭에 의한 간섭 무늬에 대응하는 값이다. 홀로그램 평면에서의 파(wave)는 물체파(object wave)와 참조파(reference wave)의 중첩으로 나타나며, 그 크기는 다음과 같다.

|O+R|²=|O|²+|R|²+O^*R+R^*O (1)

이 중, O^*R+R^*O에 해당하는 값이 홀로그램 값(H)으로, 물체파와 참조파의 간섭에 의한 간섭 무늬의 정보를 담게 된다.

홀로그램 값은 Rayleigh-Sommerfield 적분으로 구해질 수 있다.

도시된 바와 같이, 3차원 물체를 구성하는 물체점들은 홀로그램 평면으로부터의 거리가 다른 다수의 레이어 상의 물체점들로 나뉘어질 수 있다. i번째 레이어에 놓인 물체점들에 의한 홀로그램 값, H(ξ,ζ)은 다음과 같이 계산된다.

(2)

여기서, z_i는 i번째 레이어로부터 홀로그램 평면까지의 거리이다. 피적분값(integrand)은 i번째 레이어 상의 물체점, O(x,y)에 의한 물체파와 참조파의 간섭을 나타낸다. 그리고, λ는 참조파의 파장이다.

상기 연산은 홀로그램 평면 상에 구현하고자 하는 픽셀 수, 컬러 수 3, 그리고, 레이어 수가 곱해진 만큼 반복적으로 수행되어야 하며, 또한, 동영상을 구현하는 경우에는 프레임수 만큼 더 곱해진 회수로 반복되게 된다. 이러한 연산이 순서대로 반복 수행되는 것은 많은 시간이 소요되므로, 병렬 처리 프로세스에 의해 그 시간을 감소시킬 수 있으며, 이를 위한 구체적인 방법을 살펴보기로 한다.

도 1을 참조하면, 먼저, 3차원 영상 데이터를 로드한다(S110).

다음, 3차원 영상 데이터를 서로 의존성(dependency)이 없는 복수의 그룹으로 분할한다(S120).

분할된 복수 그룹의 영상 데이터를 각각 이용하여 홀로그램 평면상의 각 위치에서의 홀로그램 값을 병렬적으로 연산한다(S130). 복수 그룹의 영상 데이터를 각각 이용하는 연산은 복수의 프로세서에서 수행될 수 있다. 예를 들어, 복수의 프로세스 코어를 구비하는 CPU나 GPU에 의해 상기한 연산이 수행될 수 있다. 즉, 복수의 프로세서에 의해 연산이 동시적으로 수행된다.

다음, 홀로그램 평면 상의 각 위치에 대해 복수의 그룹에서 연산된 홀로그램 값을 합산한다(S140). 이전 단계에서, 영상 데이터를 복수의 그룹으로 나누어 이에 의한 홀로그램 값을 연산한 것은 일부 물체점들에 의한 파동 중첩에 의한 것이며, 각 그룹에서 연산된 값들을 중첩하여 모든 물체점들에 의한 파동 중첩으로부터의 홀로그램 패턴을 얻을 수 있다.

이와 같이 얻어진 홀로그램 패턴, 즉, 홀로그램 평면 상의 각 위치에서의 홀로그램 값은 공간 광변조기용 데이터로 변환된다(S150). 예를 들어, 공간 광변조기의 각 위치에 상기 연산된 홀로그램 패턴이 형성되게 하는 전기 신호로 변환될 수 있다.

도 3은 다른 실시예에 따른 홀로그램 생성 방법을 개략적으로 보이는 흐름도이다. 그리고, 도 4는 3차원 영상 데이터가 서로 독립적인 복수의 컬러 영상 데이터로 분리됨을 보이며, 도 5는 컬러 영상 데이터가 깊이 위치에 따라 복수의 레이어 영상으로 분리됨을 보인다.

먼저, 도 3을 참조하면, 3차원 영상 데이터를 로드(S210)한 후, 3차원 영상 데이터를 컬러, 깊이에 따라 분할한다(S220).

3차원 영상 데이터는 도 4에 도시된 바와 같이, 컬러 성분에 따라, R, G, B 영상으로 분할될 수 있다. 또한, 도 5에 도시된 바와 같이, 깊이 정보에 따라 복수의 깊이 영상으로 분할될 수 있고, 예를 들어, N 개의 레이어로 분할될 수 있다.

본 실시예의 홀로그램 생성 방법은 세 개의 프로세서에서의 병렬 처리과정을 예시하고 있으며, 컬러 성분에 따라 나누어, 홀로그램 값의 연산을 수행한다.

프로세서 1에서는 H_iR(ξ,ζ)를 연산하고 그 값을 저장하며(S230), i=1에서 N 까지의 연산을 반복한 후, 그 값을 합산한다(S270).

(3)

프로세서 2에서는 H_iG(ξ,ζ)을 연산하고 그 값을 저장하며(S231), i=1에서 N 까지의 연산을 반복한 후, 그 값을 합산한다(S271).

(4)

프로세서 1에서는 H_iB(ξ,ζ)을 연산하고 그 값을 저장하며(S232), i=1에서 N 까지의 연산을 반복한 후, 그 값을 합산한다(S272).

(5)

각 프로세서에서 H_iR(ξ,ζ), H_iG(ξ,ζ), H_iB(ξ,ζ)를 연산하는 예시적인 과정은 도 8에서 설명할 것이다.

H_R(ξ,ζ), H_G(ξ,ζ), H_B(ξ,ζ)는 물체파와 참조파와의 간섭 무늬에 대한 정보로서, 컬러별로, 3차원 영상에 대한 정보를 담고 있다.

다음 H_R(ξ,ζ), H_G(ξ,ζ), H_B(ξ,ζ)를 공간 광 변조기용 데이터로 변환한다(S290). 예를 들어, 상기와 같이 연산된, 홀로그램 평면 상의 홀로그램 패턴이 공간 광 변조기 상에 표시되도록, H_R(ξ,ζ), H_G(ξ,ζ), H_B(ξ,ζ)는 전기 신호로 변환될 수 있다. 이 후, 이러한 공간 광 변조기에 참조파가 조사되면, 홀로그램 패턴에 담긴 3차원 영상이 재생된다.

상기 설명에서, 3차원 영상 데이터 로드, 3차원 영상 데이터를 분할, 다른 프로세서들에서 연산된 홀로그램 값들과의 중첩, 공간 광변조기용 데이터로 변환과 같은 과정은 프로세서 1에서 수행되는 것으로 기술하였지만, 이는 예시적인 것이고, 프로세서 1, 2, 3 중 어느 하나, 또는 그 외 다른 프로세서에서 이를 수행하는 것도 가능하다.

도 6은 다른 실시예에 따른 홀로그램 생성 방법을 개략적으로 보이는 흐름도이다.

도 6을 참조하면, 3차원 영상 데이터를 로드(S310)한 후, 3차원 영상 데이터를 컬러, 깊이에 따라 분할한다(S320).

이러한 과정은 도 4, 5에서 예시한 것과 실질적으로 동일하다.

본 실시예의 홀로그램 생성 방법은 레이어 수에 해당하는 N개의 프로세서에서의 병렬 처리과정을 예시하고 있으며, 즉, 깊이 정보에 따라 나누어, 홀로그램 값의 연산을 수행한다.

프로세서 1에서는 H_1R(ξ,ζ), H_1G(ξ,ζ), H_1B(ξ,ζ)를 연산하고 그 값을 저장한다(S330).

프로세서 2에서도 마찬가지로, H_2R(ξ,ζ), H_2G(ξ,ζ), H_2B(ξ,ζ)를 연산하고 그 값을 저장한다(S331). 그리고, 프로세서 N에서도 마찬가지로, H_NR(ξ,ζ), H_NG(ξ,ζ), H_NB(ξ,ζ)를 연산하고 그 값을 저장한다.

각 프로세서에서 H_iR(ξ,ζ), H_iG(ξ,ζ), H_iB(ξ,ζ) (i=1,... N)을 각각 연산하는 예시적인 과정은 도 8에서 후술할 것이다.

다음, 프로세서 1 내지 프로세서 N에서 각각 연산된 H_iR(ξ,ζ), H_iG(ξ,ζ), H_iB(ξ,ζ)(i=1,... N)은 컬러별로 모든 레이어에 대한 정보를 합산하여 H_R(ξ,ζ), H_G(ξ,ζ), H_B(ξ,ζ)가 얻어진다(S370).

다음 H_R(ξ,ζ), H_G(ξ,ζ), H_B(ξ,ζ)를 공간 광 변조기용 데이터로 변환한다(S380). 예를 들어, 상기와 같이 연산된, 홀로그램 평면 상의 홀로그램 패턴이 공간 광 변조기 상에 표시되도록, H_R(ξ,ζ), H_G(ξ,ζ), H_B(ξ,ζ)는 전기 신호로 변환될 수 있다. 이 후, 이러한 공간 광 변조기에 참조파가 조사되면, 홀로그램 패턴에 담긴 3차원 영상이 재생된다.

상기 설명에서, 3차원 영상 데이터 로드, 3차원 영상 데이터를 분할, 다른 프로세서들에서 연산된 홀로그램 값들과의 중첩, 공간 광변조기용 데이터로 변환과 같은 과정은 프로세서 1에서 수행되는 것으로 기술하였지만, 이는 예시적인 것이고, 프로세서 1 내지 N 중 어느 하나, 또는 그 외 다른 프로세서에서 이를 수행하는 것도 가능하다.

도 7은 또 다른 실시예에 따른 홀로그램 생성 방법을 개략적으로 보이는 흐름도이다.

도 7을 참조하면, 3차원 영상 데이터를 로드(S410)한 후, 3차원 영상 데이터를 컬러, 깊이에 따라 분할한다(S420).

본 실시예의 홀로그램 생성 방법은 컬러, 레이어의 조합에 해당하는 3N개의 프로세서에서의 병렬 처리과정을 예시하고 있으며, 즉, 컬러, 깊이 정보의 조합 별로 영상 데이터의 그룹을 나누어, 홀로그램 값의 연산을 수행한다.

프로세서 1에서는 H_1R(ξ,ζ)을 연산하고 그 값을 저장하며(S430), 프로세서 2에서는 H_1G(ξ,ζ)을 연산하고 그 값을 저장하며(S431), 프로세서 3에서는 H_1B(ξ,ζ)을 연산하고 그 값을 저장한다.(S432). 프로세서 3N-1에서는 H_NR(ξ,ζ), H_NG(ξ,ζ), H_NB(ξ,ζ)(i=1,... N)을 연산하고 그 값을 저장하며, 프로세서 3N에서는 H_iR(ξ,ζ), H_iG(ξ,ζ), H_iB(ξ,ζ)(i=1,... N)을 연산하고 그 값을 저장한다.

각 프로세서에서 H_iR(ξ,ζ), H_iG(ξ,ζ), H_iB(ξ,ζ)(i=1,... N)을 각각 연산하는 과정은 도 8에서 후술할 것이다.

다음, 프로세서 1 내지 프로세서 3N에서 각각 연산된 H_iR(ξ,ζ), H_iG(ξ,ζ), H_iB(ξ,ζ)(i=1,... N)을, 컬러별로 모든 레이어에 대한 정보를 합산하여 H_R(ξ,ζ), H_G(ξ,ζ), H_B(ξ,ζ) 얻어진다(S440).

다음 H_R(ξ,ζ), H_G(ξ,ζ), H_B(ξ,ζ)를 공간 광 변조기용 데이터로 변환한다(S450). 예를 들어, 상기와 같이 연산된, 홀로그램 평면 상의 홀로그램 패턴이 공간 광 변조기 상에 표시되도록, H_R(ξ,ζ), H_G(ξ,ζ), H_B(ξ,ζ)는 전기 신호로 변환될 수 있다. 이 후, 이러한 공간 광 변조기에 참조파가 조사되면, 홀로그램 패턴에 담긴 3차원 영상이 재생된다.

상기 설명에서, 3차원 영상 데이터 로드, 3차원 영상 데이터를 분할, 다른 프로세서들에서 연산된 홀로그램 값들과의 중첩, 공간 광변조기용 데이터로 변환과 같은 과정은 프로세서 1에서 수행되는 것으로 기술하였지만, 이는 예시적인 것이고, 프로세서 1 내지 3N 중 어느 하나, 또는 그 외 다른 프로세서에서 이를 수행하는 것도 가능하다.

상기 설명에서, 프로세서의 개수는 3, N, 3N인 것을 예시하였으나, 이에 한정되지 않으며, 2 이상의 프로세서에서 상기한 과정이 수행되도록 변형되는 것이 가능하다.

도 8은 도 3, 6, 7의 흐름도에서 사용될 수 있는, 홀로그램 값 연산의 구체적인 과정을 예시적으로 보인다. 그리고, 도 9a 내지 도 9e는 도 8의 흐름도의 구체적인 과정을 설명하는 도면들이다.

먼저, RS 적분을 위한 회절 한계(diffraction limit)을 계산한다(S510). 회절 한계를 계산하는 것은 식 (2)의 계산에 있어, 물체점들 중, 실질적으로 홀로그램 값에 기여하는 성분만으로 적분을 수행하기 위한 것이다. 회절 한계에 의해, 특정 위치의 물체점들에 의한 물체파는 회절 한계에 의해, 홀로그램 평면상의 또 다른 특정 위치에 도달하는 에너지 양이 무시할 만큼 적어 지기 때문이다.

회절 한계(d_limit)은 다음과 같이 계산될 수 있다.

여기서, λ는 참조파의 파장, z은 물체점이 놓인 레이어에서 홀로그램 평면까지의 거리, p는 픽셀 피치이다.

도 9a는 레이어 위치(i)와 컬러(C)에 의해 정의되는 평면 영상(I_iC)을 가로, 세로 폭이 각각 d_limit 인 복수개로 분할한 것을 보인다. 하나의 분할 영상 내에는 MXN의 픽셀이 포함될 수 있다.

다음, 레이어 위치와 컬러로 정의되는 평면 영상에 대해, 회절한계 밖의 물체점들을 모아 복수(MXN)개의 서브 영상을 형성한다(S20).

이 과정을 도 9b 내지 도 9d를 참조하여 살펴본다.

도 9b를 참조하면, 복수의 분할 영상 각각에서 [1,1]위치에 해당하는 물체점들을 모아 [1,1]서브 영상을 형성한다.

도 9c를 참조하면, 복수의 분할 영상 각각에서 [i,j]위치에 해당하는 물체점들을 모아 [i,j]서브 영상을 형성한다.

도 9d를 참조하면, 복수의 분할 영상 각각에서 [M,N]위치에 해당하는 물체점들을 모아 [M,N]서브 영상을 형성한다.

이와 같은 방식으로, 복수(MXN)개의 서브 영상이 형성된다.

다음, 복수의 서브 영상들 각각에 대해 RS 적분을 수행하여 서브 홀로그램(H_{iC_sub}(ξ,ζ))을 계산한다(S30).

도 9e는 H_{iC_sub}(ξ,ζ)를 연산하는 RS 적분을 개념적으로 보인다.

다음, 서브 홀로그램들을 합산하여 레이어 위치(i)와 컬러(C)로 정의되는 평면 영상(I_iC)에 대한 홀로그램 값(H_iC(ξ,ζ)이 도출된다.

도 3, 6, 7의 흐름도에서 사용될 H_iR(ξ,ζ), H_iG(ξ,ζ), H_iB(ξ,ζ)(i=1,... N)는 다음과 같이 얻어질 수 있다.

상술한 설명에서의 홀로그램 연산은 R-S 적분(Rayleigh-Sommerfield integral) 방법을 사용하는 것으로 설명되었으나, 이는 예시적인 것이고, FFT(Fast Fourier Transformation)을 이용하는 Fresnel transformation 또는 Angular Spectrum method 방법 및 위 방법들의 수학적 변형들을 포함하는 방법이 이용될 수도 있다.

또한, 미리 계산된 결과를 이용하는 참조 테이블(look-up table) 방식이 사용될 수도 있다. 참조 테이블(look-up table) 방식은 상기한 연산 방법과 함께 사용될 수 있다. 물체점들에 대한 홀로그램 값을 연산하여 참조 테이블로 저장하고 있다가 동일한 물체점에 대한 홀로그램 값이 필요한 경우, 동일한 연산을 수행하지 않고, 참조 테이블에 저장된 값을 이용하는 것이다. 다만, 이는 예시적인 것이며, 이에 한정되는 것은 아니다.

도 10은 또 다른 실시예에 따른 홀로그램 생성 방법을 개략적으로 보이는 흐름도이다. 그리고, 도 11a 및 도 11b는 병렬 처리에 의해 계산 시간이 감소되는 것을 보이는 개념도로서, 각각 레이어, 컬러만 분산 처리한 경우 및 레이어, 컬러, 회절한계 까지 분산 처리한 경우에 대한 것이다.

도 3, 5, 7의 흐름도에서는 컬러, 레이어에 대해서만 홀로그램 연산을 분할하여 병렬 처리한 것임에 비해, 본 실시예의 경우, 컬러, 레이어 및 회절한계에 대해 홀로그램 연산을 분할하여 병렬 처리하고 있다.

먼저, 3차원 영상 데이터를 로드(S510)한 후, 3차원 영상 데이터를 컬러, 깊이에 따라 분할한다(S520). 3차원 영상 데이터는 도 4에 도시된 바와 같이, 컬러 성분에 따라, R, G, B 영상으로 분할될 수 있다. 또한, 도 5에 도시된 바와 같이, 깊이 정보에 따라 복수의 깊이 영상으로 분할될 수 있고, 예를 들어, N 개의 레이어로 분할될 수 있다.

다음, 레이어 위치와 컬러로 정의되는 복수(3N)의 평면 영상(I_iC) 각각에 대해 회절한계 밖의 물체점들을 모아 복수(M*L)의 서브 영상을 형성한다(S530). 이 과정은 도 9a 내지 도 9d에서 설명한 것과 같다.

다음, 컬러별 계산시간을 분석하여 복수의 프로세서에 분할하여 배분한다(S540). 각 프로세서에서는 할당된 서브 홀로그램 연산을 수행하고 결과를 저장한다(S552)(S553).

전술한 실시예들의 경우, 컬러별 계산시간을 분석하지 않고, 예를 들어, 3N*M*L 개의 프로세스를 복수의 프로세서가 균등하여 연산한 것이다. 이 경우, 레이어마다, 컬러별 영상 데이터 양이 다를 수 있고, 이에 따라 그 연산 시간은 각기 다르게 된다. 즉, 복수의 프로세서 중, 일부 프로세서에서는 연산이 빨리 끝나고, 다른 프로세서에서의 연산은 길어질 수 있다.

도 11a를 참조하면, 예를 들어, 첫번째 레이어의 블루 컬러에 대한 연산 시간은 가장 짧고, 세번째 레이어의 레드 컬러에 대한 연산은 가장 길 수 있다. 따라서, 다른 프로세서의 연산이 끝나더라도, 프로세서 3에서의 연산이 끝날 때까지, 다음 과정으로 진행되지 않는다. 그러나, 만약, 작업이 일찍 끝난 프로세서 7의 프로세서 3의 작업을 나누어 진행하게 되면, 보다 빨리, 다음 과정으로 진행할 수 있다.

도 11b를 참조하면, 각 프로세서에의 작업 할당은 컬러, 레이어 별로 계산시간을 분석한 후 이루어지고 있으며, 따라서, 모든 프로세서에서의 연산은 동일하게 완료되며, 계산 시간이 도 11a와 같은 경우보다 감소하게 된다.

다시 도 10을 참조하면, 복수의 프로세서에서 계산된 서브 홀로그램 값들을 컬러, 레이어별로 합산하여, H_ic(ξ,ζ) (i=1, 2,..., C=R, G, B)가 얻어진다(S570).

다음, H_iC(ξ,ζ) (i=1, 2,..., C=R, G, B)을, 컬러별로 모든 레이어에 대한 정보를 합산하여 H_R(ξ,ζ), H_G(ξ,ζ), H_B(ξ,ζ)가 얻어진다(S570).

다음 H_R(ξ,ζ), H_G(ξ,ζ), H_B(ξ,ζ)를 공간 광 변조기용 데이터로 변환한다(S580).

상기 설명에서, 3차원 영상 데이터 로드, 3차원 영상 데이터를 분할, 계산시간 분석하여 다른 프로세서들에 작업 배분, 공간 광변조기용 데이터로 변환과 같은 과정은 프로세서 1에서 수행되는 것으로 기술하였지만, 이는 예시적인 것이고, 다른 프로세서에서 이를 수행하는 것도 가능하다.

도 12는 실시예에 따른 홀로그램 생성 장치600)의 개략적인 구성을 보이는 블록도이다.

홀로그램 생성 장치(600)는 적어도 하나의 프로그램이 저장되는 메모리(650) 및 상기 프로그램을 실행함으로써, 3차원 영상 데이터로 재생될 홀로그램 신호를 형성하는 복수의 프로세서를 구비하는 제어부(630)를 포함한다.

메모리(650)에는 홀로그램 생성 모듈에 대한 프로그램이 저장되어 있다. 홀로그램 생성 모듈은 상술한 홀로그램 생성 방법을 수행하는 명령어들을 포함한다. 예를 들어, 3차원 영상 데이터 정보를 수신하는 단계; 상기 3차원 영상 데이터를 상호 의존성(dependency)이 없는 복수의 그룹으로 분할하는 분할 단계; 상기 복수의 그룹으로 분할된 영상 데이터로부터, 홀로그램 평면상의 각 위치에 표시될 홀로그램 값을 연산하되, 상기 복수의 그룹에 대한 연산을 병렬적으로 수행하는 연산 단계; 상기 홀로그램 평면상의 각 위치에 대해, 상기 복수의 그룹에서 연산된 홀로그램 값을 합산하는 단계; 상기 합산된 홀로그램 값을 공간 광변조기용 데이터로 변환하는 단계;를 실행하는 명령어들을 포함한다. 그리고, 전술한 구체적인 과정들을 위한 명령어들을 더 포함할 수 있다.

제어부(630)는 복수의 프로세서를 구비하며, 예를 들어, 복수의 프로세서 코어를 구비하는 CPU 또는 GPU로 이루어질 수 있다. 제어부(630)는 메모리(650)에 저장된 홀로그램 생성 모듈인 프로그램을 수행한다. 즉, 3차원 영상 데이터의 로드, 이를 상호 의존성이 없는 복수의 그룹으로 분할, 복수의 프로세서에서 각 그룹에 대한 홀로그램 값을 연산, 이들 값들의 중첩 및 공간 광변조기에 인가될 전기 신호로 변환하는 과정을 수행한다.

제어부(630)는 운영 체제와 함께 상술한 과정을 수행하기 위한 프로그램 코드를 실행하고 데이터를 생성 및 사용하는 동작을 한다. 운영 체제는 일반적으로 공지되어 있으며 예를 들어, Window 계열 OS, Unix, Linux, Palm OS, DOS, 안드로이드 및 매킨토시 등일 수 있다.

제어부(630)는 단일 칩, 다수의 칩, 또는 다수의 전기 부품 상에 구현될 수 있다. 예를 들어, 전용 또는 임베디드 프로세서, 단일 목적 프로세서, 컨트롤러, ASIC, 기타 등등을 비롯하여 여러 가지 아키텍처가 제어부(630)에 대해 사용될 수 있다.

홀로그램 생성 장치(500)는 또한, 입/출력부(610)를 더 포함하며, 제어부(630)의 구동, 즉, 프로그램 수행을 위한 명령이나 데이터의 입력, 그리고, 연산 결과물을 출력할 수 있다.

입/출력부(610)는 구체적으로 홀로그램 생성 모듈 프로그램의 실행에 필요한 정보를 사용자로부터 입력받고 이를 제어부(630)에 전달할 수 있다. 입/출력부(610)는 사용자가 직접 제어부(630)를 조작하기 위한 버튼, 키 패드, 스위치, 다이얼 또는 터치 인터페이스를 포함할 수 있다. 입/출력부(610)는 또한 제어부(630)의 조작에 필요한 영상을 디스플레이하는 디스플레이부를 포함할 수 있으며, 터치스크린으로 구현될 수 있다. 또한, 입/출력부(610)는 HID(Human Interface Device) 들을 연결하기 위한 I/O 포트나, 데이터의 입/출력을 위한 I/O 포트를 구비할 수 있다.

도 13은 실시예에 따른 홀로그래픽 3차원 영상 표시 장치(1000)의 개략적인 구성을 보인다.

홀로그래픽 3차원 영상 표시 장치(1000)는 광원(710), 홀로그램 생성 장치(600), 홀로그램 생성 장치(600)에서 형성된 홀로그램 신호가 인가되며, 광원(710)에서의 광을 홀로그램 신호에 따라 변조하는 공간 광변조기(800)를 포함한다.

광원(710)은 레이저, LED, 또는 LD 등을 포함할 수 있으며, 다만, 여기에 한정되는 것은 아니다.

홀로그램 생성 장치(600)는 도 12에서 설명한 바와 같은 홀로그램 생성 장치로서, 재현하고자 하는 3차원 영상 데이터를 홀로그램 값으로 연산하고 이를 전기적 신호로 바꾸어 공간 광 변조기(800)에 인가한다.

공간 광 변조기(800)는 공간적으로 광을 변조시키는 소자이다. 공간 광 변조기(800)는 입사광의 강도, 컬러, 및/또는 위상을 제어하는 장치로서, 제어 가능한 복수의 화소들의 매트릭스로 이루어질 수 있다. 화소들은 통과하는 광의 진폭 및/또는 위상을 변화시킴으로써 물체점들을 재구성한다. 공간 광 변조기(800)는 투과형 또는 반사형일 수 있다. 도면에서는 투과형으로 도시되었으나, 이에 한정되지 않는다. 투과형 공간 광 변조기의 예로서, 투명 기판 상에 액정 셀들 또는 전기 습윤 셀들이 어레이된 변조기가 있다. 반사형 공간 광 변조기로는 예를 들어, LCOS 소자 (Liquid Crystal on Silicon)가 있다.

공간 광 변조기(800)는 홀로그램 생성 장치(600)로부터 홀로그램 신호가 인가되면, 이에 따라 간섭 무늬를 표시한다. 그리고, 간섭 무늬가 표시된 공간 광 변조기(800)에 광원(710)으로부터의 광이 조사되면, 공간 광 변조기(800)의 간섭 무늬를 형성한 물체파가 상기 광에 의해 재생되어 진행하며, 이에 담긴 3차원 영상이 사용자의 시야에 재구성된다.

공간 광 변조기(800)에 조사되는 광은 홀로그램 생성 장치(600)에서 홀로그램을 연산할 때 사용한 참조파와 동일한 것으로서, 이를 위하여 광원(710)과 공간 광 변조기(800) 사이에는 필요한 광학 부재들이 더 배치될 수 있다. 예를 들어, 도시된 바와 같이, 광원(710)과 공간 광 변조기(800) 사이에 콜리메이팅부(720)가 배치될 수 있다. 콜리메이팅부(720)는 하나 이상의 렌즈를 포함할 수 있으며, 광원(710)에서 조사된 광을 평행광으로 시준한다. 콜리메이팅부(720)는 예를 들어, 실린더 렌즈 또는 실린더 렌즈 어레이를 포함할 수 있다.

또한, 공간 광 변조기(800) 앞에는 공간 광 변조기(800)에서 재생된 영상의 확대, 축소나 또는 특정 방향을 향하게 하기 위한 광학 부재들이 배치될 수 있다.

예를 들어, 공간 광 변조기(800)로부터의 광을 사용자의 눈 쪽으로 모으는 필드 렌즈가 배치될 수 있다. 필드 렌즈는 회절광학소자(Diffractive Optical Element) 또는 홀로그래픽 광학 소자(Holographic Optical Element)로 제작될 수 있다.

본 발명에 따른 홀로그램 생성 방법, 장치 및 홀로그래픽 3차원 영상 표시 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

한편, 본 발명의 홀로그램 생성 방법은 홀로그램 생성 장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이러한 본원 발명인 홀로그램 생성 방법, 장치 및 이를 활용한 홀로그래픽 3차원 영상 표시 장치는 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

600...홀로그램 생성 장치 610...입/출력부
630...제어부 650...메모리
710...광원 720...콜리메이팅부
800...공간 광 변조기
1000...홀로그래픽 3차원 영상 표시 장치

Claims

3차원 영상 데이터 정보를 수신하는 단계;
상기 3차원 영상 데이터를 상호 의존성(dependency)이 없는 복수의 그룹으로 분할하는 분할 단계;
상기 복수의 그룹으로 분할된 영상 데이터로부터, 홀로그램 평면상의 각 위치에 표시될 홀로그램 값을 연산하되, 상기 복수의 그룹에 대한 연산을 복수의 프로세서에서 병렬적으로 수행하는 연산 단계;
상기 홀로그램 평면상의 각 위치에 대해, 상기 복수의 그룹에서 연산된 홀로그램 값을 합산하는 단계;
상기 합산된 홀로그램 값을 공간 광 변조기용 데이터로 변환하는 단계;를 포함하며,
상기 분할 단계에서
상기 3차원 영상 데이터를 적색, 녹색, 청색의 컬러 정보에 따라 3개 그룹의 영상 데이터로 분할하고,
상기 3개 그룹의 영상 데이터 각각을 홀로그램 평면으로부터의 거리에 따라, 복수의 레이어에 대한 영상 데이터로 분할하며,
상기 연산 단계는
상기 복수의 레이어의 개수를 N이라 할 때, 레이어 위치와 컬러로 정의되는 3N 개의 평면 영상 각각에 대해,
회절 한계(diffraction limit)을 계산하는 단계;
상기 평면 영상을 가로, 세로 길이를 상기 회절 한계로 하는 복수의 영상으로 분할하는 단계: 및
상기 복수의 영상들이 각각 MXL(M by L)의 픽셀들로 이루어진다고 할 때, 상기 복수의 영상들 각각에서 동일한 매트릭스 위치의 영상 데이터를 모아 복수(M*L)개의 서브 영상을 형성하는 단계;를 포함하는 홀로그램 생성방법.
삭제
삭제
제1항에 있어서,
상기 연산 단계는
3N 개의 그룹으로 나누어 병렬적으로 수행되는 홀로그램 생성 방법.
제1항에 있어서,
상기 연산 단계는
상기 컬러 정보가 다른 3개의 그룹으로 나누어 병렬적으로 수행되고,
상기 복수의 레이어에 대한 연산은 상기 3개의 그룹 내에서 순차적으로 처리되는 홀로그램 생성 방법.
제1항에 있어서,
상기 연산 단계는
상기 복수의 레이어에 대한 영상 데이터별로 N 개의 그룹으로 나누어 병렬적으로 수행되며,
상기 컬러 정보에 따른 연산은 상기 N 개의 그룹 내에서 순차적으로 수행되는 홀로그램 생성 방법.
삭제
제1항에 있어서,
상기 연산 단계는
컬러 영상 데이터 양을 고려하여, 계산 시간을 분석하고,
컬러, 레이어 별로 형성된 상기 복수의 서브 영상에 대한 홀로그램 연산을 상기 복수의 프로세서에 분할하여 배분하는 단계;를 더 포함하는 홀로그램 생성 방법.
제1항에 있어서,
상기 연산 단계는
상기 복수의 서브 영상에 대한 홀로그램 값을 연산하고, 이를 합산하여, 레이어 위치와 컬러로 정의된 평면 영상에 대한 홀로그램 값을 얻는, 홀로그램 생성 방법.
제1항, 제4항, 제5항, 제6항, 제8항, 제9항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
적어도 하나의 프로그램이 저장되는 메모리; 및
상기 적어도 하나의 프로그램을 실행함으로써, 3차원 영상 데이터로 재생될 홀로그램 신호를 형성하는 복수의 프로세서를 구비하는 제어부;를 포함하며,
상기 적어도 하나의 프로그램은,
3차원 영상 데이터 정보를 수신하는 단계;
상기 3차원 영상 데이터를 상호 의존성(dependency)이 없는 복수의 그룹으로 분할하는 분할 단계;
상기 복수의 그룹으로 분할된 영상 데이터로부터, 홀로그램 평면상의 각 위치에 표시될 홀로그램 값을 연산하되, 상기 복수의 그룹에 대한 연산을 병렬적으로 수행하는 연산 단계;
상기 홀로그램 평면상의 각 위치에 대해, 상기 복수의 그룹에서 연산된 홀로그램 값을 합산하는 단계;
상기 합산된 홀로그램 값을 공간 광변조기용 데이터로 변환하는 단계;를 실행하고,
상기 분할 단계에서
상기 3차원 영상 데이터를 적색, 녹색, 청색의 컬러 정보에 따라 3개 그룹의 영상 데이터로 분할하고,
상기 3개 그룹의 영상 데이터 각각을 홀로그램 평면으로부터의 거리에 따라, 복수의 레이어에 대한 영상 데이터로 분할하며,
상기 연산 단계는
상기 복수의 레이어의 개수를 N이라 할 때, 레이어 위치와 컬러로 정의되는 3N 개의 평면 영상 각각에 대해,
회절 한계(diffraction limit)을 계산하는 단계;
상기 평면 영상을 가로, 세로 길이를 상기 회절 한계로 하는 복수의 영상으로 분할하는 단계: 및
상기 복수의 영상들이 각각 MXL(M by L)의 픽셀들로 이루어진다고 할 때, 상기 복수의 영상들 각각에서 동일한 매트릭스 위치의 영상 데이터를 모아 복수(M*L)개의 서브 영상을 형성하는 단계;를 실행하는 명령어들을 포함하는 홀로그램 생성 장치.
제11항에 있어서,
상기 제어부는 복수의 프로세서 코어를 구비하는 CPU 또는 GPU로 이루어지는 홀로그램 생성 장치.
삭제
삭제
제11항에 있어서,
상기 제어부는 3N 개의 프로세서 코어를 포함하는 홀로그램 생성 장치.
제11항에 있어서,
상기 제어부는 N 개의 프로세서 코어를 포함하는 홀로그램 생성 장치.
삭제
광원;
상기 제11항, 제12항, 제15항, 제16항 중 어느 하나의 홀로그램 생성 장치;
상기 홀로그램 생성 장치에서 형성된 홀로그램 신호가 인가되며, 상기 광원에서의 광을 상기 홀로그램 신호에 따라 변조하는 공간 광변조기: 를 포함하는 3차원 홀로그래픽 영상 표시 장치.