KR100375708B1

KR100375708B1 - 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법

Info

Publication number: KR100375708B1
Application number: KR10-2000-0063753A
Authority: KR
Inventors: 김제우; 정혁구; 최병호
Original assignee: 전자부품연구원
Priority date: 2000-10-28
Filing date: 2000-10-28
Publication date: 2003-03-15
Anticipated expiration: 2020-10-28
Also published as: KR20020032954A

Abstract

본 발명은 다시점 비디오 시스템에 관한 것이다. 본 발명의 시스템은 카메라의 특성차이로 인한 파라메타 등의 보정을 하는 전처리수단(30)과, 각 카메라에서 출력되는 영상들간의 시간적, 공간적 리던던시(redundancy)를 제거하는 비디오 압축수단(31)과, 각각의 독립된 영상스트림을 하나의 다중화된 스트림으로 생성하는 시스템 다중화 수단(32)과, 상기 시스템 다중화 수단에서 전송된 다중화된 스트림을 각각의 독립된 영상스트림으로 복원하는 시스템 역다중화 수단(33)과, 상기 영상압축수단에서 압축된 각각의 영상을 복원하는 비디오 압축해제수단(34)과, 복원된 다시점 영상간의 중간영상을 생성하는 비디오 중간영상 합성수단(35)과, 전기 단계에서 형성된 2차원영상을 3차원 표시장치에 출력하는 3차원 디스플레이 콘트롤수단(36)을 포함하여 구성된다. 상기 구성에 의하면 원영상보다 더 많은 영상을 디스플레이장치에서 출력하는 것이 가능하고 다양한 각도와 다양한 거리에서 3차원 입체영상을 시청하는 것이 가능해진다.

Description

3차원 입체영상을 위한 다시점 비디오 시스템 및 영상제조방법{3D Stereosc opic Multiview Video System and Manufacturing Method}

본 발명은 다시점 비디오 시스템에 관한 것으로 보다 상세하게는 여러 개의 영상입력장치로부터 입력된 원영상을 전처리, 압축, 다중화, 역다중화, 복원, 합성의 과정을 통해 원영상보다 더 많은 영상을 디스플레이장치에서 출력하는 것이 가능하고 다양한 각도와 다양한 거리에서 3차원 입체영상을 시청하도록 하는 다시점 비디오 시스템 및 방법에 관한 것이다.

도 1은 다시점으로 3차원 영상을 구현하는 일련의 방법을 제시하고 있다. 즉, 3차원 영상을 구현하는 방법의 하나로 각각이 2차원적인 영상 데이터를 획득하는 여러 개의 카메라(1)로부터 2차원 영상데이타를 획득하고, 이를 적절히 가공하여 자체내의 복원 및 원격지로의 전송을 통한 원격 장치에서의 복원을 통하여 3차원 디스플레이장치(2), 즉 렌티큘라 방식의 장치를 통하여 3차원 영상을 구현한다. 기존의 다시점 비디오 시스템은 MPEG-2 표준안에 포함되어 있는 다시점 프로파일을 만족하는 입체비디오 시스템으로 도 2에 도시한 바와 같다. 시스템 구성은 MPEG-2 MP@ML의 베이스층으로 구성된 좌안용 동작보상 DCT 인코더 블럭(3)과 우안용 동작보상 DCT 인코더 블럭(4), 부동 추정기(Disparity Estimator, DE)(5), 부동 보상기(Disparity Compensator, DC)(6) 등으로 구성된 동작 및 부동 보상 DCT 인코더 블럭(100)과 시스템 멀티플렉서(7)를 포함하는 입체 인코더 모듈과 마찬가지로 MPEG-2 MP@ML의 베이스 층으로 구성된 좌안용 동작보상 DCT 디코더 블럭(8)과 우안용 동작보상 DCT 디코더 블럭(9), 부동 보상기(10) 등으로 구성된 동작 및 부동 보상 DCT 디코더 블럭(200)과 시스템 디멀티플렉서(11)를 포함한 입체 디코더 모듈로 구성되어진다.

상기 시스템의 동작을 설명하면 다음과 같다. 시스템의 동작은 좌측영상을 기본 영상으로 선정하고, 좌안용 동작보상 DCT 인코더 블럭(3)에서 MPEG-2 표준알고리즘으로 부호화한 후 시스템 멀티플렉서(7)로 부호화된 스트림을 전송한다. 한편 상기 블럭에서는 다음 영상 및 우측영상의 부호화를 위해 복원영상을 생성하여 DE(5) 및 DC블럭(6)으로 전달한다. 우측 원영상은 우안용 동작보상 DCT 인코더블럭 (4)과 DE블럭(5)으로 전달되는데 DE블럭(5)에서는 좌측 영상의 복원영상과 우측영상의 원영상을 비교 평가하여 부동벡타(Disparity vector, DV)를 구하고 이를 우안동작보상 DCT 인코더블럭(4)과 DC블럭(6)으로 전달한다. DC블럭(6)으로 전달된 DV는 좌측복원영상을 참조하여 다음우측영상에 대한 보상영상을 생성하고 우안동작보상 DCT인코더블럭(4)으로 전달된 DV는 MPEG-2 표준의 MV와 동일하게 부호화된다. 그리고 우안동작보상 DCT 인코더블럭(4)에서는 DC블럭(6)에서 생성된 보상영상과 우측 원영상과의 차영상에 대한 DCT(디스크리트 코사인 트랜스폼, 이하 DCT)를 이용한 MPEG-2부호화 알고리즘을 통해 부호화된다. 우측영상에 대한 부호화 스트림은 좌측영상과 동일하게 시스템 멀티플렉서(7)로 개별적으로 전달된다. 상기 시스템 멀티플렉서(7)는 MPEG-2 시스템의 규격을 따른다. 시스템 멀티플렉서(7)에서 다중화된 스트림은 시스템 디멀티플렉서(11)로 전달되고 역다중화되어 다시 두 개의 영상부호화 스트림을 복원하여 각각의 스트림을 좌안동작보상 DCT디코더블럭(8)과 우안동작보상 DCT디코더블럭(9)으로 전달된다. 좌측영상의 부호화스트림을 획득한 좌안동작보상 DCT디코더블럭(8)은 MPEG-2 표준을 만족하는 알고리즘으로 영상을 복원하고, 복원된 영상을 출력 및 DC블럭(10)으로 전달한다. 또 우측영상에 대한 부호화 스트림을 전달받은 우안동작보상 DCT디코더블럭(9)은 스트림을 복호하여 DV와 DC블럭(10)에서 생성되는 좌측영상을 참조로 한 보상영상과 원영상과의 차영상을 획득한다. 획득된 DV는 DC블럭으로 전달되어 이전에 복원된 좌측영상을 참조하여 보상영상을 생성하고, DC블럭에서 생성된 보상영상은 다시 우안동작보상 DCT디코더블럭(9)으로 전달되어 복원된 차영상과 합성되어 우측영상을 복원한다.

시스템의 동작을 애플리케이션의 관점에서 보면 사람의 좌, 우 눈과 비슷한 간격의 거리를 두고 수평적으로 평행한 두 개의 카메라로부터 영상을 획득하고, 두 개의 영상이 각각의 부호화기를 통하여 부호화된 후 다중화기를 통해 원격지에 복호기로 전달한다. 복호기의 역다중화기를 통과한 후 복호화된 각각의 영상 부호화스트림은 복호기를 통해 영상으로 복원된다. 복원된 각각의 영상은 3차원 디스플레이장치를 통해 사용자에게 출력되는데 이 시스템은 단지 하나의 시점에서만 그리고 제한거리내에서만 3차원영상을 구현할 수 있다.

상기와 같이 기존의 방식은 양안시스템으로 3차원영상을 사용자 입장에서 볼 때 하나의 지점에서만 3차원영상으로 구축된다. 즉 디스플레이 장치에서 전면의 약 1∼2m지점에 시청자가 있을 경우에만 영상이 3차원으로 보인다. 그러므로 상기 기존의 기술은 시청각의 시계가 극히 한정되어 있어 한 사람 또는 극히 적은 숫자의 사람만이 3차원영상을 볼 수 있다. 결국 기존방식으로는 3차원 정보 단말기 및 3DTV등과 같은 다수의 사용자를 대상으로 하는 응용분야에는 적용이 불가능한 단점이 있다.

상기와 같이 기존의 기술이 지니는 문제점에 대한 방안으로 본 발명자는 렌티큘라 방식의 3차원 디스플레이에 동시에 여러 각도에서 물체 및 장면을 볼 수 있는 3차원 다시점 비디오 시스템을 제시하고자 한다. 이를 위해 본 발명에서는 많은 양의 데이터를 현재 시점에서 가능한 채널환경에 적용할 수 있도록 압축하고 또한 획득된 시점보다 더 많은 시점의 영상을 생성하는 것이 가능하도록 함으로써 다양한 시점과 거리에서 3차원영상을 구현할 수 있도록 하는 데에 본 발명의 목적이 있다.

도 1은 3차원 다시점 비디오 시스템의 개략적인 설명도.

도 2는 기존의 입체비디오 시스템의 블럭구성도.

도 3은 본 발명의 3차원 다시점 비디오 시스템의 블럭구성도.

도 4는 본 발명의 구체적 실시예(전처리수단, 압축수단)

도 5는 본 발명의 구체적 실시예(멀티플렉서)

도 6은 본 발명의 구체적 실시예(디멀티플렉서)

도 7은 본 발명의 구체적 실시예(압축해제수단 및 중간영상생성수단)

<도면의 주요부분에 대한 부호의 설명>

1: 카메라 2: 3차원 디스플레이장치

3: 좌안용 동작보상 DCT 인코더 블럭

4: 우안용 동작보상 DCT 인코더 블럭

5: 부동 추정기 6,10: 부동 보상기

7: 시스템 멀티플렉서 8: 좌안용 동작보상 DCT 디코더 블럭

9: 우안용 동작보상 DCT 디코더 블럭

11: 시스템 디멀티플렉서 21:불균형 감소필터

22: 노이즈감소필터 23,26,29: DCT 기반 인코더

24,27: 부동추정기 25,28,62: 부동보상기

30: 전처리수단 31: 압축수단

32: 다중화수단 33: 역다중화수단

34: 압축해제수단 35: 중간영상합성수단

36: 디스플레이 콘트롤 수단

41: 스트림헤더분석기 42,44: 비디오 버퍼

43: 비디오 패킷화기 45: 시스템헤더제조기

46: 시스템스트림 패킷화기 51:패킷동기부

52: 에러검출기 53: 패킷 버퍼

54: 시스템헤더처리기 55: 패킷 식별자 처리기

56: 시스템 클럭 추출기 57: 시스템 클록 복원기

58: 프로그램 정보 디코더 59: 비디오 패킷헤더처리기

60: 트랜스포트버퍼 61: DCT 기반 디코더

본 발명은 다시점 비디오 시스템에 관한 것으로 본 발명의 시스템(300)은 카메라의 특성차이로 인한 파라메타 등의 보정을 하는 전처리수단(30)과, 각 카메라에서 출력되는 영상들간의 시간적, 공간적 리던던시(redundancy)를 제거하는 비디오 압축수단(31)과, 각각의 독립된 영상스트림을 하나의 다중화된 스트림으로 생성하는 시스템 다중화 수단(32)과, 상기 시스템 다중화 수단에서 전송된 다중화된 스트림을 각각의 독립된 영상스트림으로 복원하는 시스템 역다중화 수단(33)과, 상기 영상압축수단에서 압축된 각각의 영상을 복원하는 비디오 압축해제수단(34)과, 복원된 다시점 영상간의 중간영상을 생성하는 비디오 중간영상 합성수단(35)과, 전기 단계에서 형성된 2차원영상을 3차원 표시장치에 출력하는 3차원 디스플레이 콘트롤수단(36)을 포함한다.

도 4를 참조하면 획득된 다시점영상(도면에는 M시점으로 도시)은 각 카메라간의 특성차이로 인한 오류 등의 보정을 위해 하나의 참조카메라를 기준으로 하여 영상의 휘도 및 색도의 보정 등을 상기 전처리수단(30)에서 담당하게 된다. 바람직하기로는 상기 전처리수단은 불균형 감소필터(21)과 노이즈 감소필터(22)를 포함하며 상기 불균형 감소필터는 LSE(least square error)와 Affine Transform 계수를 이용하는 블럭기반 균형알고리즘을 이용하여 평균값과 분산을 맞추는 방식으로 휘도 및 색도 등을 보정한다. 또한 상기 불균형 감소필터(21)를 통과한 영상신호는 다시 각각의 가오시안 노이즈를 제거하기 위한 노이즈 감소필터(22)를 거쳐 비디오 압축수단(31)에 전달된다.

상기 비디오 압축수단(31)은 전처리수단(30)을 통해 보정된 다시점 영상들에 대해 각 카메라에 대한 인접한 영상간의 시간적, 공간적 리던던시 및 각 카메라에서 출력되는 영상들간의 시간적, 공간적 리던던시를 제거하는 영상압축과정을 수행한다. 이를 위해 바람직하기로는 상기 비디오 압축수단(31)은 부동추정기(Overlapp ed Block Disparity Estimation)/부동보상기(Overlapped Block Disparity Compens ation) 및 기존의 MPEG-2알고리즘을 포함한다.

도 4에 도시한 본 발명의 바람직한 실시예로서의 비디오 압축수단(31)은 동작추정기(Overlapped Block Motion Estimation)/동작보상기(Overlapped Block Motion Compensation)(도면에는 미도시)을 포함하는 DCT 기반 인코더(23)와, 부동추정기(24)와, 부동보상기(25)를 포함한다. 상기 비디오 압축수단(31)은 각각의 카메라에서 연속적으로 입력되는 영상프레임들에 대하여 동시간에서 가장 인접한 카메라 영상간의 동질성에 따른 시간적, 공간적 리던던시를 상기 부동추정기(24)와, 부동보상기(25)에서 부호화하고, 나머지 DCT계수들에 대해서는 MPEG-2표준을 만족하는 부호화를 통해 압축한다. 또한 각 카메라에서 입력되는 연속적인 프레임간의 동질성에 따른 시간적, 공간적인 리던던시는 동작추정기/동작보상기를 이용해 부호화하고, 나머지 DCT계수들에 대해서는 MPEG-2표준을 만족하는 부호화를 통해 압축한다.

상기 도면에 도시된 실시예에 따른 예시로서 카메라 2(이하 Ca_2로 약칭함)에 의한 보정된 영상은 동작추정기/동작보상기를 포함하는 DCT 기반 인코더(26)에서 독립적으로 부호화하여 Ca_2 인코디드 스트림으로 출력하고, 복원된 영상은 부동추정기(24, 27)/부동보상기(25, 28)블럭에 참조영상으로 제공된다. Ca_1 보정영상과 Ca_2보정영상에 대해 살펴보면 상기 영상은 부동추정기(24)와 DCT 기반 인코더(23)로 전달되어 부동추정기(24)에서는 Ca_2 보정영상에 대한 복원영상을 참조하여 부동벡터(Disparity Vector, 또는 DV)를 획득하고, 부동보상기(25) 및 DCT 기반 인코더(23)로 상기 DV를 전달한다. 부동보상기(25)에서는 Ca_2 보정영상에 대한 복원영상을 참조하고 DV를 이용하여 보상영상을 생성하여 동 영상정보를 DCT 기반 인코더(23)로 전달한다. 이 과정은 Ca_2와 Ca_3보정영상 사이에도 동일하게 적용되며 최종적으로 DCT 기반 인코더(23, 29)는 부동추정기로부터 전달된 DV와 원영상(Ca_1 또는 Ca_3보정영상)과 부동보상기에서 보상된 영상과의 차영상을 부호화하여 각각Ca_1 인코디드 스트림, Ca_3 인코디드 스트림으로 출력한다.

시스템 다중화수단(32)은 비디오 압축수단(31)에서 압축한 독립된 영상스트림을 하나의 다중화된 스트림으로 만드는 수단으로 각각의 독립된 영상스트림에 대해 식별자, 시간정보, 프로그램정보 등을 추가한다. 상기 다중화수단의 구체적인 실시예로서의 상세구성은 도 5에 나타낸 바와 같다. 상기 도면에 제시된 다중화 수단은 바람직하기로는 스트림헤더 분석기(41), 비디오 버퍼(42,44), 비디오 패킷화기(43), 시스템 헤더제조기(45), 시스템스트림 패킷화기(46)를 포함하여 구성된다.

상기 독립된 영상스트림은 스트림헤더 분석기(41)에서 AU단위로 분리되어 순차적으로 비디오 버퍼(42)로 전달된다. 다음으로 비디오 패킷화기(43)에서 각 AU에 대한 시간정보 및 스트림 정보 등을 헤더에 추가하여 패킷화한 후 비디오 버퍼(44)로 전달하고 상기 비디오 버퍼(44)는 버퍼 콘트롤러(47)의 제어를 받아 라운드로빈 방식으로 시스템 헤더제조기(45)로 전달되어 각 영상스트림에 대한 식별자 및 기타 정보를 포함하는 시스템 헤더를 생성하고 시스템스트림 패킷화기(46)에서 PES 패킷(PES_1, PES_2 등)을 다시 하나의 DSS패킷으로 생성하고 이를 시퀀스화하여 출력한다. 이때 생성된 다중화된 영상스트림은 멀티미디어 저장매체로 저장하거나 또는 통신장비를 이용하여 목적지로 전달될 수 있다.

상기 다중화된 영상스트림은 시스템 역다중화 수단(33)에 의한 역다중화과정을 거쳐 다시 각각의 독립된 영상스트림으로 복원된다. 이러한 과정은 본 발명의 구체적인 실시예로서 도 6에 의해 구체화될 수 있다. 상기 시스템 역다중화 수단(3 3)은 바람직하기로는 패킷동기부(51), 에러검출기(52), 패킷 버퍼(53), 시스템헤더처리기(54), 패킷식별자 처리기(55), 시스템 클럭 추출기(56), 시스템 클록 복원기 (57), 프로그램 정보 디코더(58), 비디오 패킷헤더처리기(59), 트랜스포트버퍼(60)를 포함하여 구성되어진다.

이들의 작용관계를 살펴보면 먼저 시스템 다중화수단(32)에 의해 패킷으로 구성된 다중화된 영상스트림에서 패킷동기부(51)에 의해 각 패킷의 동기화 바이트를 검색하고 동기화된 패킷을 에러 검출기(52)로 전송한다. 상기 에러검출기(52)는 에러체크(바람직하기로는 CRC체크를 포함)를 수행하고 시스템 클럭 추출기(56)와 패킷 버퍼(53)로 패킷을 전달한다. 시스템 클럭 추출기(56)에서는 프로그램 정보 디코더(58)에서 PCR_PID를 받아서 해당하는 DSS패킷헤더에서 PCR정보를 추출하고 시스템 클록 복원기(57)를 이용해 정확한 시스템 클록을 복원한다. 패킷 버퍼(53)에 존재하던 DSS패킷은 시스템헤더처리기(54)에서 DSS패킷헤더를 처리하고, 유료부하의 종류에 따라 비디오 패킷헤더처리기(59), 프로그램 정보 디코더(58)로 유료부하를 전달한다. 비디오 패킷헤더처리기(59)에서는 전달된 PES패킷들의 헤더를 분석하고 나머지 유료부하를 적절한 트랜스포트 버퍼(60)내로 전달한다. 그리고 프로그램 정보 디코더(58)에서는 현재 전송되고 있는 DSS스트림내에 포함되어 있는 비디오 정보 등을 추출하여 패킷 식별자 처리기(55)에게 그 정보를 바탕으로 DSS패킷을 선별적으로 받아들이도록 한다. 트랜스포트 버퍼(60)내에서는 각 영상스트림에 대한 메모리가 독립적으로 존재하여 각각의 영상스트림(Ca_1, Ca_2 인코디드 스트림 등)을 출력한다.

상기 압축된 각각의 영상스트림은 비디오 압축해제수단(34)을 통해 복원된다. 상기 비디오 압축해제수단은 바람직하기로는 DCT 기반 디코더(61)과 부동보상기(62)를 포함한다. 도 7은 본 발명의 비디오 압축해제수단(34)의 구체적인 상세구성예를 보여주고 있다. 상기 압축된 영상스트림은 동작보상기를 포함하는 DCT 기반 디코더(61)로 입력되고 상기 DCT 기반 디코더(61)는 DV와 차영상을 복원하여 DV를 부동보상기(62)로 전달하여 보상영상을 만든 후 보상영상을 차영상과 합하여 영상을 복원한다.

비디오 중간영상 합성수단(35)은 상기 비디오 압축해제수단(34)에 의해 복원된 다시점 영상간의 중간영상을 생성하는 과정을 수행한다. 이에 의하면 획득된 M시점 영상 사이에 새로운 영상(N-M개)을 하나씩 생성하여 N시점의 영상(M??N)을 획득하는 것이 가능하다. 예를 들면 비디오 압축해제수단(34)에서 복원된 영상이 9시점으로 구성된다면 각각 기반이 되는 영상(도 7상의 Ov2, Ov4, Ov5, Ov6, Ov8)으로부터 적용영상(Ov1, Ov3, Ov4, Ov6, Ov7, Ov9)에 대한 적응점 추출을 적응점추출기(63)에서 수행하고, 그후 폐색영역제조기(64)에서 적응점 추출데이터를 기반으로 폐색영역을 추출 및 생성한다. 다음으로 적응점에 해당하는 데이터와 보간된 폐색영역을 합성하여 새로운 중간영상을 생성하여 17시점을 획득할 수 있게 된다.

상기 비디오 중간영상 합성수단(35)은 영상편집기 또는 영상 검색기 등에서 존재하지 않는 영상을 생성하거나 또는 잃어버린 영상을 복원하기 위해 독립적으로 사용될 수도 있다.

전기 단계를 거쳐 형성된 2차원영상은 3차원 디스플레이 콘트롤수단(36)에 의해 3차원 표시장치에 출력한다.

또한 상기 제시한 본 발명의 시스템은 각 구성수단 중에서 어느 하나의 수단을 특정수단으로 대체함으로써 2차원의 비디오 부호기인 HDTV 방송장비, 세톱박스 등 타 멀티미디어 관련분야에 적용하는 것도 가능하다. 예를 들면 다시점 비디오 압축수단(31)은 일반적인 2차원 비디오 인코더로, 다시점 비디오 압축해제수단(34)은 2차원 비디오 디코더로 대체하고, 비디오 중간영상 합성수단(35)을 제거하면 된다. 따라서 당업자라면 본 발명의 구성에 의해 구성수단의 일부를 치환, 삭제 및 변경하는 것이 가능함을 알 수 있고, 이들 변형수단을 구비한 균등물의 발명은 본 발명의 권리 범위를 벗어나는 것이 아님은 자명하다.

본 발명에 의하면 극히 한정된 인원만이 3차원 영상을 볼수 있었던 기존기술과는 달리 카메라로부터 얻을 수 있는 시점보다 많은 시점을 확보할 수 있으므로 많은 인원이 동시에 여러 각도 또는 여러 시점에서 시청할 수 있는 장점이 있다. 또한 본 발명을 구성하는 각 수단들은 3차원 다시점 비디오 시스템외에도 각각이 독립적으로 디지털 방송, 의료분야, 게임/오락분야 등의 제품에 적용이 가능하다.

Claims

3차원 입체영상 구현을 위한 다시점을 이용한 비디오시스템 장치에 있어서,

카메라의 특성차이로 인한 파라메타 등의 보정을 하는 전처리수단과,

각 카메라에서 출력되는 영상들간의 시간적, 공간적 리던던시를 제거하는 비디오 압축수단과,

각각의 독립된 영상스트림을 하나의 다중화된 스트림으로 생성하는 시스템 다중화수단과,

상기 시스템 다중화 수단에서 전송된 다중화된 스트림을 각각의 독립된 영상스트림으로 복원하는 시스템 역다중화수단과,

상기 영상압축수단에서 압축된 각각의 영상을 복원하는 비디오 압축해제수단과,

복원된 다시점 영상간의 중간영상을 생성하는 비디오 중간영상 합성수단과,

전기 단계에서 형성된 2차원영상을 3차원 표시장치에 출력하는 3차원 디스플레이 콘트롤수단을 포함함을 특징으로 하는 다시점 비디오시스템 장치.
제 1항에 있어서, 상기 전처리수단은 카메라 파라미터의 불균형을 시정하기 위한 불균형 감소필터와 노이즈 제거를 위한 노이즈 감소필터를 포함함을 특징으로 하는 다시점 비디오시스템 장치.
제 1항에 있어서, 상기 비디오 압축수단은 각 카메라에서 입력되는 연속적인 프레임간의 시간적, 공간적 리던던시를 부호화하기 위한 동작추정기/동작보상기를 포함하는 DCT 기반 인코더와, 동시간에서 인접한 카메라 영상간의 시간적, 공간적 리던던시를 부호화하기 위한 부동추정기/부동보상기를 포함하여 구성됨을 특징으로 하는 다시점 비디오시스템 장치.
제 1항에 있어서, 상기 다중화 수단은 스트림헤더 분석기, 비디오 버퍼, 비디오 패킷화기, 시스템 헤더제조기, 시스템스트림 패킷화기를 포함하여 구성되며, 생성된 독립된 영상스트림은 상기 스트림헤더 분석기에서 AU단위로 분리되어 순차적으로 비디오 버퍼로 전달되고, 비디오 패킷화기에서 각 AU에 대한 시간정보 및 스트림 정보를 헤더에 추가하여 패킷화한 후 비디오 버퍼로 전달하고, 전기 비디오 버퍼는 버퍼 콘트롤러의 제어를 받아 라운드로빈 방식으로 시스템 헤더제조기로 전달되어 각 영상스트림에 대한 식별자 및 기타 정보를 포함하는 시스템 헤더를 생성하고 시스템스트림 패킷화기에서 PES 패킷을 다시 하나의 DSS패킷으로 생성하여 이를 시퀀스화하여 출력함을 특징으로 하는 다시점 비디오시스템 장치.
제 1항에 있어서, 상기 시스템 역다중화 수단은 패킷동기부, 에러검출기, 패킷 버퍼, 시스템헤더처리기, 패킷식별자 처리기, 시스템 클럭 추출기, 시스템 클록복원기, 프로그램 정보 디코더, 비디오 헤더처리기, 트랜스포트버퍼를 포함하여 구성되며,

시스템 다중화수단에 의해 패킷으로 구성된 다중화된 영상스트림에서 패킷동기부(51)에 의해 각 패킷의 동기화 바이트를 검색하고 동기화된 패킷을 에러 검출기로 전송하며, 상기 에러검출기는 에러체크를 수행하고 시스템 클럭 추출기와 패킷 버퍼로 패킷을 전달하고, 시스템 클럭 추출기에서는 프로그램정보 디코더에서 PCR_PID를 받아서 해당하는 DSS패킷헤더에서 PCR정보를 추출하고 시스템 클록 복원기를 이용해 정확한 시스템 클록을 복원하고, 패킷 버퍼에 존재하던 DSS패킷은 시스템헤더처리기에서 DSS패킷헤더를 처리하고, 유료부하의 종류에 따라 비디오 헤더처리기, 프로그램정보 디코더로 유료부하를 전달하고, 비디오 헤더처리기에서는 전달된 PES패킷들의 헤더를 분석하고 나머지 유료부하를 적절한 트랜스포트 버퍼내로 전달하고, 프로그램정보 디코더에서는 현재 전송되고 있는 DSS스트림내에 포함되어 있는 비디오 정보 등을 추출하여 패킷식별자처리기에게 그 정보를 바탕으로 DSS패킷을 선별적으로 받아들이도록 하며, 트랜스포트 버퍼내에서는 각 영상스트림에 대한 메모리가 독립적으로 존재하여 각각의 영상스트림을 출력하도록 함을 특징으로 하는 다시점 비디오시스템 장치.
제 1항에 있어서, 상기 비디오 압축해제수단은 동작보상기를 포함하는 DCT 기반 디코더와 OBDC블럭을 포함하며, 압축된 영상스트림은 상기 DCT 기반 디코더로 입력되고, 상기 DCT 기반 디코더는 부동벡터와 차 영상을 복원하여 부동벡터를 부동보상기로 전달하여 보상영상을 만든 후 보상영상을 차영상과 합하여 영상을 복원함을 특징으로 하는 다시점 비디오시스템 장치.
제 1항에 있어서, 상기 비디오 중간영상 합성수단은 적응점 추출과 폐색영역검색에 의해 카메라에 의해 획득된 M시점의 영상에 대해 N-M개의 중간영상을 생성하여 N시점의 영상을 합성함을 특징으로 하는 다시점 비디오시스템 장치.
청구항 1기재의 다시점 비디오 시스템의 구성수단 중 압축수단은 일반적인 2차원 비디오 인코더로, 다시점 비디오 압축해제수단(34)은 2차원 비디오 디코더로 대체함과 함께 비디오 중간영상 합성수단을 제거하여 형성된 멀티미디어 기기.
3차원 입체영상 구현을 위한 다시점 영상을 생성하는 방법에 있어서,

카메라의 특성차이로 인한 파라메타 등의 보정과 노이즈를 제거하는 전처리단계와,

각 카메라에서 출력되는 영상들간의 시간적, 공간적 리던던시를 제거하는 영상압축단계와,

각각의 독립된 영상스트림을 하나의 다중화된 스트림으로 생성하는 다중화단계와,

상기 시스템 다중화 단계에서 생성된 다중화된 영상스트림을 각각의 독립된 영상스트림으로 복원하는 역다중화단계와,

상기 영상압축단계에서 압축된 각각의 영상을 복원하는 영상 압축해제단계와,

적응점 추출과 폐색영역검색에 의해 카메라에 의해 획득된 M시점의 영상에 대해 N-M개의 중간영상을 생성하여 N시점의 영상을 합성하는 중간영상생성단계와,

전기 단계에서 형성된 2차원영상을 3차원 표시장치에 출력하는 단계를 포함함을 특징으로 하는 다시점 영상을 제조하는 방법.