KR20040031619A - 표시 장치, 화상 처리 장치 및 화상 처리 방법, 촬상장치, 및 프로그램 - Google Patents

Abstract

사용자가 자신의 위치 관계를 파악하기 쉽고, 현장감을 느낄 수 있는 사실적 화상을 표시하는 시스템 및 방법을 제시한다. 외측 돔 스크린(42)은 사용자를 둘러싸도록 배치되고, 그 위에 피사체 주변 풍경 등의 몰입(沒入) 화상이 표시된다. 한편, 내측 돔 스크린(42)은 외측 돔 스크린(42)의 내측에 배치되고, 사용자가 자신의 시점에서 피사체를 보았을 때, 그 사용자의 시각에 비치는 피사체의 조감(鳥瞰) 화상이 표시된다. 이 경우, 사용자는, 조감 화상에 의해 자신의 위치 관계를 용이하게 파악하고, 몰입 화상에 의해 현장감을 향수할 수 있다.

Description

표시 장치, 화상 처리 장치 및 화상 처리 방법, 촬상 장치, 및 프로그램{DISPLAY APPARATUS, IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD, IMAGING APPARATUS, AND PROGRAM}

본 발명은 표시 장치, 화상 처리 장치 및 방법, 촬상 장치, 그리고 프로그램에 관한 것이다. 특히, 본 발명은 사용자에 대해서, 보다 현장감이 있는 화상을 제시할 수 있도록 하는 표시 장치, 화상 처리 장치 및 방법, 촬상 장치, 그리고 프로그램에 관한 것이다.

사용자에게 현장감이 있는 화상을 제시하는 종래의 표시 장치로는, 예를 들면, 몰입형 스크린을 사용한 표시 장치가 있다. 몰입형 스크린을 사용한 표시 장치에서는, 사용자가 있는 가상 공간에 있다고 했을 경우에, 그 시각에 비치는 화상(이하, 몰입 화상이라고 함)이 표시되고, 사용자는 그 몰입 화상을 시청함으로써, 자신이 그 몰입 화상에 의해 제공되는 가상 공간에 실제로 있는 것과 같은 현장감을 향수할 수 있다.

본 발명의 발명자는 전술한 통상적 시스템과 방법에 관한 여러 결함을 인식하였다. 예컨대, 몰입형 스크린을 사용한 표시 장치에서는, 전술한 바와 같이, 사용자가 가상 공간에 있다고 했을 경우에 그 시각에 비치는 화상이 표시되기 때문에, 사용자 자신이, 몰입 화상에 의해 제공되는 가상 공간에 있어서, 상대적으로 어느 위치에 있는지가 파악하기 어려운 점이 있었다.

한편, 예를 들면, 이른바 자동차 레이싱 게임(즉, 레이싱 비디오게임) 등에서는, 사용자가 조작하는 자동차를, 어느 시점으로부터 본 조감 화상이 표시되도록 되어 있다. 이 경우, 사용자는, 자신이 조작하는 자동차의 위치를 용이하게 파악 할 수 있고, 또한, 자동차의 조작도 용이하게 행할 수 있다.

그렇지만, 조감 화상이 표시되는 경우에는, 몰입 화상이 표시되는 경우와 비교해, 몰입감이나 현장감이 손상된다.

본 발명은, 이와 같은 상황을 감안하여 이루어진 것이며, 사용자가 자신의 위치 관계를 파악하기 쉽고, 또한 현장감이 있는 화상 표시를 하는 것이 가능하도록 하는 것이다.

본 발명의 표시 장치는, 제 1 화상을 표시하는, 사용자를 둘러싸도록 배치되는 제 1 표시 수단과, 제 2 화상을 표시하는, 제 1 표시 수단의 내측에 배치되는 제 2 표시 수단을 구비하는 것을 특징으로 한다.

본 발명의 화상 처리 장치는, 복수의 위치 각각으로부터 촬상된 화상 중에서, 사용자의 시점에 따라, 그 사용자의 시점으로부터 소정 피사체를 보았을 때의 시점 화상을 선택하는 화상 선택 수단과, 사용자의 시점과 표시 수단의 형상에 따라, 시점 화상을, 발광 화상으로 변환하는 시점 화상 변환 수단을 구비하는 것을 특징으로 한다.

본 발명의 화상 처리 방법은, 복수의 위치 각각으로부터 촬상된 화상 중에서 사용자의 시점에 따라 그 사용자의 시점으로부터 소정 피사체를 보았을 때의 시점화상을 선택하는 화상 선택 단계와, 사용자의 시점과 표시 수단의 형상에 따라 시점 화상을 발광 화상으로 변환하는 시점 화상 변환 단계를 포함하는 것을 특징으로 한다.

본 발명의 프로그램은, 복수의 위치 각각으로부터 촬상된 화상 중에서 사용자의 시점에 따라 그 사용자의 시점으로부터 소정 피사체를 보았을 때의 시점 화상을 선택하는 화상 선택 단계와, 사용자의 시점과 표시 수단의 형상에 따라 시점 화상을 발광 화상으로 변환하는 시점 화상 변환 단계를 구비하는 것을 특징으로 한다.

본 발명의 촬상 장치는, 피사체의 전방위(all directions)를 촬상하는 전방위 촬상 수단과, 피사체를 복수의 방향으로부터 촬상하는 복수의 피사체 촬상 수단을 구비하는 것을 특징으로 한다.

본 발명의 표시 장치에 있어서, 사용자를 둘러싸도록(또는 반구와 같이 적어도 일부를 둘러싸도록) 배치되는 제 1 표시 수단에 제 1 화상이 표시되고, 제 1 표시 수단의 내측(예컨대, 반구 공간 내부)에 배치되는 제 2 표시 수단에 제 2 화상이 표시된다.

본 발명의 화상 처리 장치 및 방법, 그리고 프로그램에 있어서, 복수의 위치 각각으로부터 촬상된 화상 중에서 사용자의 시점에 따라 그 사용자의 시점으로부터 소정 피사체를 보았을 때의 시점 화상이 선택되어, 사용자의 시점과 표시 수단의 형상에 따라 시점 화상이 발광 화상으로 변환된다.

본 발명의 촬상 장치에 있어서는, 피사체의 전방위가 촬상되는 동시에, 피사체가 복수의 방향으로부터 촬상된다.

도 1은 본 발명을 적용한 촬상/표시 시스템의 일실시예의 구성예를 도시한 도면,

도 2는 촬상 시스템(1)의 구성예를 도시한 블록도,

도 3은 광각 촬상부(11)의 구성예를 도시한 사시도,

도 4는 주변 촬상부(12)의 구성예를 도시한 사시도,

도 5는 전방위 카메라(21)와 주변 카메라(22_k)의 위치 관계를 설명하는 도면,

도 6은 표시 시스템(2)의 구성예를 도시한 블록도,

도 7은 광각 화상 표시부(34)의 구성예를 도시한 사시도,

도 8은 주변 화상 표시부(36)의 구성예를 도시한 사시도,.

도 9는 외측 돔 스크린(42)으로 내측 돔 스크린(44)의 위치 관계를 설명하는 도면,

도 10은 복수의 사용자가 화상을 시청하고 있는 모습을 도시한 도면,

도 11은 복수의 사용자에게, 각 사용자의 시점으로부터 본 피사체의 화상이 제시되고 있는 모습을 도시한 도면,

도 12는 좌우 패럴랙스 방식을 도시한 도면,

도 13은 상하 좌우 패럴랙스 방식을 도시한 도면,

도 14는 광각 화상 처리부(33)의 구성예를 도시한 블록도,

도 15는 광각 화상 촬상 좌표계를 도시한 도면,

도 16은 전방위 화상을 도시한 도면,

도 17은 전방위 화상과 위도-경도 화상을 도시한 도면,

도 18은 광각 화상 처리를 설명하는 흐름도,

도 19는 내측 돔 스크린(44)에 표시되는 화상을 설명하는 도면,

도 20은 내측용 전방위 프로젝터(43)의 표시면에 표시되는 화상과, 내측 돔 스크린(44)에 표시되는 화상을 도시한 도면,

도 21은 사용자 A와 B의 시점이 떨어져 있는 모습을 도시한 도면,

도 22는 사용자 A와 B의 시점이 가까운 상태를 도시한 도면,

도 23은 주변 화상 처리부(35)의 구성예를 도시하는 블록도,

도 24는 시점 방향 산출부(64)의 처리를 설명하는 도면,

도 25는 표시용 화상 생성부(70)의 처리를 설명하는 도면,

도 26은 표시용 화상 생성부(70)의 처리를 설명하는 도면,

도 27은 표시용 화상 생성부(70)의 처리를 설명하는 도면,

도 28은 주변 화상 처리를 설명하는 흐름도,

도 29는 주변 화상 처리를 설명하는 흐름도,.

도 30은 발명을 적용한 컴퓨터의 일실시예의 구성예를 도시하는 흐름도.

도 1은, 본 발명을 적용한 촬상/표시 시스템(시스템이란, 복수의 장치가 논리적으로 집합한 물건을 말함, 각 구성의 장치가 동일 엔클로저 내에 있는지 여부를 묻지 않음)의 일실시예의 구성예를 도시하고 있다.

촬상 시스템(1)은, 피사체와, 그 피사체의 전방위의 화상을 촬상하고, 그 결과 얻을 수 있는 화상 데이터를, 예컨대, 광디스크, 자기 디스크, 자기 테이프, 반도체 메모리 등의 기록 매체(3)에 기록하거나, 또는, 예컨대, 전화 회선, 광섬유, 위성 회선, 마이크로파나 기타 무선 링크, CATV(Cable Television)망, 인터넷 등의 전송 매체(4)를 통하여 송신한다.

표시 시스템(2)은 기록 매체(3)로부터 화상 데이터를 재생하거나, 또는 전송 매체(4)를 통하여 송신되어 오는 화상 데이터를 수신하여 표시한다.

도 2는, 도 1의 촬상 시스템(1)의 구성예를 도시하고 있다. 광각 촬상부(11)는, 피사체의 주위를 광각으로 촬상하는 광각 카메라(비디오 카메라)로 구성되며, 그 광각 카메라에 의해 촬상되는 광각 화상 데이터(동영상 데이터)를 멀티플렉서(13)에 공급한다. 여기서, 광각 촬상부(11)를 구성하는 광각 카메라로는, 예컨대, 후술하는 바와 같이, 피사체의 전방위(피사체 바로 아래 방향을 제외한 실제적 전방위나, 시야의 전방위, 또는 피사체를 둘러싼 실제로 반구형의 전방위)를 촬상하는 전방위 카메라를 채용할 수 있고, 따라서, 광각 화상부(11)로부터 출력되는 광각 화상 데이터는, 피사체의 주위의 경치 등의 화상이다.

주변 촬상부(12)는, 피사체의 수평 방향이나 수직 방향의 주위를 둘러싸도록 배치된 복수의 카메라(비디오 카메라)로 구성되며, 그 복수의 카메라에 의해 촬상되는 화상 데이터(동영상 데이터)를, 멀티플렉서(13)에 공급한다. 주변 촬상부(12)에서, 복수의 위치에 배치된 카메라 각각은, 그 카메라의 위치(카메라 위치)로부터 피사체를 촬상한 화상 데이터가 출력되며, 이와 같은 복수의 위치로부터 촬상된 피사체의 화상 데이터를, 이하, 주변 화상 데이터라고 한다.

멀티플렉서(13)는, 광각 촬상부(11)로부터 공급되는 광각 화상 데이터와, 주변 촬상부(12)로부터 공급되는 주변 화상 데이터를 다중화하여, 그 결과 얻을 수 있는 다중화 화상 데이터를 기록/송신부(14)에 공급한다.

보다 구체적으로, 멀티플렉서(13)는 광각 화상 데이터와 주변 화상 데이터를 동일 프레임끼리 대응시켜 다중화한다. 또, 멀티플렉서(13)는, 주변 화상 데이터인 복수의 카메라 위치로부터 촬상된 화상 데이터의 각 프레임에 그 카메라 위치를 대응시켜 다중화하도록 되어 있다. 그리고, 주변 촬상부(12)를 구성하는 각각의 카메라의 위치는 미리 알고 있는 것으로 가정한다. 또, 카메라 위치로는, 예컨대, 피사체가 있는 위치를 원점으로 하는 3차원 좌표계 상에서의 위치를 나타내는 좌표 등을 채용할 수 있다.

기록/송신부(14)는, 멀티플렉서(13)로부터 공급되는 다중화 화상 데이터를, 기록 매체(3)(도 1)에 기록하거나, 또는 전송 매체(4)를 통하여 송신한다.

다음, 도 3은, 도 2의 광각 촬상부(11)의 구성예를 도시하고 있다. 광각 촬상부(11)는 전방위 카메라(21)로 구성되어 있다. 전방위 카메라(21)는, 이상적으로는, 광축에 수직인 면으로부터 촬상 방향 측의, 도 3에 도시된 바와 같은 반구형의 면을 통하여 전방위 카메라(21)에 입사하는 광선을 수광하고, 그 광선에 대응하는 화상 데이터를 출력한다.

여기서, 전방위 카메라(21)로는, 예를 들면, 어안(魚眼) 렌즈가 장착된 카메라나, 쌍곡면 미러가 장착된 카메라 등을 채용할 수 있다. 그리고, 본 실시예에서는, 전방위 카메라(21)로서, 어안 렌즈가 장착된 카메라를 채용하는 것으로 한다. 관찰점의 위치, 이 경우에는 전방위 카메라의 위치에 관련하여 실제 전방위에서 피사체의 결과적 화상이 캡쳐된다.

전방위 카메라(21)는, 피사체의 주위의 전방위 풍경 등을 촬상하는 것이 가능하도록 설치되어 있다. 본 명세서에서 "전방위"라는 용어의 사용은 일반적 의미에서이며, 예컨대 카메라 바로 아래 방향 등 협소하게 해석되도록 의도한 것이 아니다. 예를 들어, 피사체가, 경기장에서 행해지고 있는 축구 시합이라고 하면, 전방위 카메라(21)는, 예를 들어, 경기장의 중앙에 설치되고, 이로써, 전방위 카메라(21)에서는, 축구 시합을 관전하고 있는 관객이 있는 스탠드의 풍경이 촬상된다.

도 4는, 도 2의 주변 촬상부(12)의 구성예를 도시하고 있다. 주변 촬상부(12)는, 피사체의 주위에, 그 피사체를 둘러싸도록 배치된 다수의 주변 카메라(22_k)(k=1, 2,···)로 구성되며, 이로써, 주변 촬상부(12)에서는, 다수의 시점으로부터 본 피사체의 화상이 촬상된다. 따라서, 피사체가, 예를 들어, 전술한 바와 같이, 경기장에서 행해지고 있는 축구 시합이라고 하면, 주변 촬상부(12)를 구성하는 다수의 주변 카메라(22_k)는, 경기장에 설치된 축구 필드를 둘러싸도록 배치되고, 이로써, 주변 카메라(22_k)에서는, 축구 필드 상에서의 축구 시합 모습이 촬상된다.

그리고, 주변 카메라(22_k)는, 어느 수평면 내에, 피사체의 경도 방향(수평 방향)으로만 배치해도 되고, 피사체의 경도 및 위도의 모든 방향(수평, 수직 방향)으로 배치해도 된다. 주변 카메라(22_k)를, 어느 수평면 내에, 피사체의 경도 방향으로만 배치하는 경우에는, 후술하는 좌우 패럴랙스 방식 밖에 채용할 수 없게 되지만, 주변 카메라(22_k)를, 피사체의 경도 및 위도의 모든 방향으로 배치하는 경우에는, 후술하는 좌우 패럴랙스(parallax) 방식과 상하 좌우 패럴랙스 방식의 모두 채용하는 것이 가능해진다.

도 5는, 전방위 카메라(21)(도 3)와 주변 카메라(22_k)(도 4)의 배치 관계를 도시하고 있다. 주변 카메라(22_k)는, 예를 들어, 피사체를 둘러싸는 반구형의 면상에, 등경도 및 등위도 간격으로 배치되고, 그 주변 카메라(22_k)의 위치(카메라 위치)를 시점으로 하여, 피사체를 촬상한다.

전방위 카메라(21)는, 예를 들어, 주변 카메라(22_k)가 배치된 반구의 중심에 배치되어 피사체 주위의 전방위로, 즉, 주변 카메라(22_k)가 배치된 반구의 중심으로부터 그 반구의 구면상의 각 점의 방향으로 촬상한다. 또한, "전방위로"라는 용어는 피사체가 위치한 공간의 적어도 일부에 관한 후보 광경(candidate vista)이 존재하는 표면상의 점들에 대응하는 방향을 말한다 이러한 표면은 또한 반구형의 평평한 표면 부분을 포함하지만, 전방위 카메라(21)의 시야 외부의 방향은 포함할 (포함되어 있을 지라도) 필요가 없다

여기서, 도 5의 실시예에서는, 전방위 카메라(21)는, 그 광축이, 주변 카메라(22_k)가 배치된 반구의 북극 방향(위도가 90도의 방향)을 향하도록 배치되어 있다. 또, 주변 카메라(22_k)는, 그 광축이, 주변 카메라(22)가 배치된 반구의 중심 방향을 향하도록 배치되어 있다.

그리고, 전방위 카메라(21) 및 주변 카메라(22_k)는, 도 5에 도시된 위치와 다른 위치에 배치될 수도 있으며, 심지어 반구 공간이 아닌 공간, 예컨대 큐브나, 기타 통상적이거나 비통상적으로 정의된 3차원 내부 공간(예컨대, 가변 형상 공간일 수 있음)에 배치될 수도 있다.

도 2에 도시된 촬상 시스템(1)에서는, 광각 촬상부(11)에 있어서, 전방위 카메라(21)(도 3)가 피사체의 전방위 화상을 촬상하고 그 결과 얻을 수 있는 전방위 화상 데이터(광각 화상 데이터)를 멀티플렉서(13)에 공급한다. 동시에, 주변 촬상부(12)에 있어서, 주변 카메라(22_k)(도 4)가 그 카메라 위치로부터 본 피사체의 화상을 촬상하고 그 결과 얻을 수 있는 주변 화상 데이터를 멀티플렉서(13)에 공급한다.

멀티플렉서(13)는, 광각 촬상부(11)로부터 공급되는 전방위 화상 데이터와, 주변 촬상부(12)로부터 공급되는 주변 화상 데이터를 다중화하여, 그 다중화의 결과 얻을 수 있는 다중화 화상 데이터를 기록/송신부(14)에 공급한다.

기록/송신부(14)는, 멀티플렉서(13)로부터 공급되는 다중화 화상 데이터를, 기록 매체(3)(도 1)에 기록하거나, 전송 매체(4)를 통하여 목적지(예컨대 원격 위치의 컴퓨터)로 송신한다.

따라서, 촬상 시스템(1)에서는, 피사체가, 예를 들어, 경기장에서 행해지고 있는 축구 시합인 경우, 축구 시합을 관전하고 있는 관객이 있는 스탠드의 풍경이나 크게 차 올려진 축구 볼 등이, 전방위 화상 데이터로서 촬상되는 동시에, 그 축구 시합의 그라운드나 플레이를 하고 있는 선수 등을 다수의 시점으로부터 본 화상이, 주변 화상 데이터로서 촬상된다.

도 6은 도 1의 표시 시스템(2)의 구성예를 도시하고 있다. 재생/수신부(31)는, 기록 매체(3)(도 1)로부터 다중화 화상 데이터를 재생하거나, 또는, 전송 매체(4)(도 1)를 통하여 송신되어 오는 다중화 화상 데이터를 수신하고, 그 다중화 화상 데이터를, 디멀티플렉서(32)에 공급한다.

디멀티플렉서(32)는, 재생/수신부(31)로부터 공급되는 다중화 화상 데이터를, 프레임마다의 전방위 화상 데이터와 주변 화상 데이터로 분리하고, 전방위 화상 데이터를 광각 화상 처리부(33)에 공급하는 동시에, 주변 화상 데이터를 주변 화상 처리부(35)에 공급한다.

광각 화상 처리부(33)는 디멀티플렉서(32)로부터 공급되는 전방위 화상 데이터를 처리하고, 그 처리의 결과 얻을 수 있는 화상 데이터를 광각 화상 표시부(34)에 공급한다.

광각 화상 표시부(34)는, 광각 화상 처리부(33)로부터 공급되는 화상 데이터를 표시함으로써, 사용자에게 몰입감을 제공하는 몰입 화상을 표시한다.

주변 화상 처리부(35)는, 디멀티플렉서(32)로부터 공급되는 주변 화상 데이터를, 시점 검출부(37)로부터 공급되는 사용자의 시점에 따라 처리하고, 그 사용자의 시점으로부터 피사체를 보았을 때의 화상 데이터를 생성하여, 주변 화상 표시부(36)에 공급한다.

주변 화상 표시부(36)는, 주변 화상 처리부(35)로부터 공급되는 화상 데이터를 표시함으로써, 사용자의 시점 등 소정 시점으로부터 피사체를 보았을 때의 조감 화상을 표시한다.

시점 검출부(37)는 사용자의 시점을 검출하여 주변 화상 처리부(35)에 공급한다. 시점 검출부(37)로서는, 예를 들어, 3차원 위치 센서로서 Polhemus, Inc.의 자기 센서 등을 채용할 수 있다. 이 경우, 자기 센서인 시점 검출부(37)는, 예를 들어, 사용자의 머리 부분에 장착된다. 또, 시점 검출부(37)로서는, 예를 들어, 조이스틱이나 트랙 볼 등 시점(시점의 변화)을 입력할 수 있는 수단을 채용하는 것도 가능하다. 즉, 시점 검출부(37)는, 실제 사용자의 시점을 검지하는 수단일 필요는 없고, 가상적인 사용자의 시점을 입력할 수 있는 수단이라도 된다.

다음에, 도 7은, 도 6의 광각 화상 표시부(34)의 구성예를 도시하고 있다. 광각 화상 표시부(34)는 외측용 전방위 프로젝터(41)와 외측 돔 스크린(42)으로 구성되어 있다.

외측용 전방위 프로젝터(41)는, 광각에 광선을 발할 수 있는 프로젝터로서, 예를 들어, 일반적 프로젝터와, 그 프로젝터가 발하는 광선을 광각에 퍼뜨리는 광학계로 기능하는 어안 렌즈로 구현된다.

외측 돔 스크린(42)은, 예를 들어, 반구 돔 형상으로서, 사용자를 둘러싸도록 배치되어 있다. 또, 외측 돔 스크린(42)으로서의 반구 돔은, 그 반구 돔 가운데, 복수의 사용자가 들어와도, 어느 정도 이리 저리 움직일 수 있는 정도의 크기로 되어 있고, 그 직경은, 예컨대 5m 정도로 되어 있다.

외측 돔 스크린(42)의 내측(또는 외측) 면에는, 예를 들면, 광을 산란하는 도료가 도포되어 있다. 그리고, 외측 돔 스크린(42)의 내부에는, 이러한 반구형 공간에서 "전방위"를 이루는 외측 돔 스크린(42)의 내측 면을 향해 광선이 방출되도록 외측용 전방위 프로젝터(41)가 배치되어 있다.

즉, 외측용 전방위 프로젝터(41)는, 예를 들어, 그 광학 중심이, 외측 돔 스크린(42)으로서의 반구 돔의 중심과 일치하고, 그 광축이 수평면과 직교하도록 배치되어 있다. 또한, 외측용 전방위 프로젝터(41)는, 어안 렌즈를 이용하여, 광각 화상 처리부(33)로부터 공급되는 화상 데이터에 대응하는 광선을, 반구 돔인 외측 돔 스크린(42)의 내측의 면 전체로 향해 방출한다.

외측용 전방위 프로젝터(41)가 발하는 광선은, 반구 돔인 외측 돔 스크린(42)의 내측 면상의 각 점에서 수광되어 산란된다. 이로써, 사용자를 덮는 외측 돔 스크린(42)의 내측 면에, 외측용 전방위 프로젝터(41)가 발하는 광선에 대응하는 몰입 화상, 즉, 촬상 시스템(1)으로 촬상된 피사체의 전방위의 화상이 표시된다.

그리고, 외측 돔 스크린(42)의 형상은, 사용자를 둘러싸는 형상이라면, 반구 돔 형상에 한정되는 것이 아니라, 원통형, 큐브형, 기타 일반적으로 인식할 수 있는 이름을 가지지 않는 3차원 형상 등을 채용하는 것이 가능하다.

다음에, 도 8은, 도 6의 주변 화상 표시부(36)의 구성예를 도시하고 있다. 주변 화상 표시부(35)는, 내측용 전방위 프로젝터(43)와 내측 돔 스크린(44)으로 구성되어 있다.

내측용 전방위 프로젝터(43)는, 도 7의 외측용 전방위 프로젝터(41)와 동일하게, 광각으로 광선을 발할 수 있는 프로젝터로, 예를 들면, 일반적인 프로젝터와, 그 프로젝터가 발하는 광선을 광각에 퍼뜨리는 광학계로서 기능하는 어안 렌즈로 구성된다.

내측 돔 스크린(44)은, 예를 들어, 반구 돔 형상 등과 같은 미리 정해진 형상을 갖는다. 내부 돔 스크린(44)의 내측(또는 외측) 면에는, 예를 들어, 광을 산란하는 도료가 도포되어 있다. 그리고, 내측 돔 스크린(44)의 내부에는, 그 내측의 면으로 향해 광선을 방출되도록 내측용 전방위 프로젝터(43)가 배치되어 있다.

즉, 내측용 전방위 프로젝터(43)는, 예를 들어, 그 광학 중심이, 내측 돔 스크린(44)으로서의 반구 돔의 중심과 일치하고, 그 광축이 수평면과 직교하도록 배치되어 있다. 그리고, 내측용 전방위 프로젝터(43)는, 광각 화상 처리부(33)로부터 공급되는 화상 데이터에 대응하는 광선을, 어안 렌즈를 통하여 발하는 것으로, 그광선을, 반구 돔인 내측 돔 스크린(44)의 내측 면 전체로 방출한다.

내측용 전방위 프로젝터(43)가 발하는 광선은, 반구 돔인 내측 돔 스크린(44)의 내측의 면상의 각 점으로 수광되어 산란된다. 내측 돔 스크린(44) 자체는 투명한 부재로 구성되어 있다. 내측용 전방위 프로젝터(43)가 발하는 광선이 그 내측 면에서 산란됨으로써, 내측용 전방위 프로젝터(43)가 발하는 광선에 대응하는 조감 화상, 즉, 촬상 시스템(1)으로 촬상된 피사체를 소정의 시점으로부터 본 화상이, 이른바 배면 투사에 의하여 내측용 돔 스크린(44)의 외측 면상에 표시된다.

본 실시예에서는 내측 돔 스크린(44)의 형상이 도 7의 외측 돔 스크린(42) 형상과 유사한 반구 돔으로 하였으나, 내측 돔 스크린(44)의 형상은 외측 돔 스크린(42)의 형상과 유사해야 하는 것은 아니다. 즉, 내측 돔 스크린(44)의 형상은, 외측 돔 스크린(42)의 형상과 달리, 예컨대, 원통형, 다각기둥 형상, 기타 일반적으로 인식되는 이름은 없는 기타 형상으로 하는 것이 가능하다.

도 9는, 외측 돔 스크린(42)(도 7)과 내측 돔 스크린(44)의 배치 관계를 도시하고 있다. 전술한 바와 같이, 외측 돔 스크린(42)은 사용자를 둘러싸도록 배치된다. 그리고, 내측 돔 스크린(44)은 외측 돔 스크린(42)의 내측에 배치된다. 이에 관련하여 "둘러싸다"라는 용어를 사용하는 것은 외측용 돔 스크린이 반드시 사용자를 에워싸야 할 필요가 있는 것은 아니고, 단지 사용자에게 외측 돔 스크린(42)에 의하여 정해지는 공간 내부에 있다는 감각을 전달해야 한다는 의미이다. 예컨대, 바람직한 외측 돔 스크린(42)은 사용자가 서있는 면과 동일한 면에존재한다. 그러나, 또한 외측 돔 스크린(42)은 유동적일 수도 있고, 외측 돔 스크린(42)이 일정 양(예컨대, 일인치나 이인치부터 수 피트까지)만큼 상승하게 하는 또 다른 방법에 의해 지지될 수도 있다.

따라서, 외측 돔 스크린(42)의 내부와 내측 돔 스크린(44)의 외부 영역에 있는 사용자는, 외측 돔 스크린(42)의 내측의 면에 표시되는 몰입 화상과, 내측 돔 스크린(44)의 외측의 면에 표시되는 조감 화상을 동시에 시청할 수 있다. 그 결과, 사용자는, 몰입 화상에 의해 제공되는 몰입감을 향수할 수 있는 것과 동시에, 조감 화상에 의해 자신의 위치를 용이하게 파악할 수 있다.

즉, 외측 돔 스크린(42)의 내측 면에, 예를 들어, 축구 경기장의 스탠드의 풍경 등의 몰입 화상이 표시되고, 내측 돔 스크린(44)의 외측 면에, 사용자의 시점으로부터, 축구 필드를 보았을 때의 시합 모습이 표시되므로, 사용자는, 실제로, 축구의 경기장에서, 축구의 시합을 관전하고 있는 것 같은 현장감을 맛볼 수가 있다.

도 10에 도시된 바와 같이, 외측 돔 스크린(42)의 내부에는, 한 명뿐만 아닌 복수인의 사용자가 들어올 수 있다. 따라서, 표시 시스템(2)에 의하면, 복수의 사용자가, 외측 돔 스크린(42)에 표시되는 몰입 화상과, 내측 돔 스크린(44)에 표시되는 조감 화상을, 동시에 시청할 수 있다.

예컨대, 도 11에 도시된 바와 같이, 외측 돔 스크린(42)의 내부에 두 명의 사용자 A와 B가 존재하고, 그 사용자 A와 B가 상이한 위치에 있는 경우에는, 내측 돔 스크린(44)에서, 사용자 A에 대해서는, 그 사용자 A의 시점으로부터 피사체를보았을 때의 조감 화상이 표시되고, 사용자 B에 대해서는, 그 사용자 A의 시점으로부터 피사체를 보았을 때의 조감 화상이 표시된다.

즉, 표시 시스템(2)에 있어서, 내측 돔 스크린(44)은, 사용자에 대해, 그 사용자의 시점으로부터 피사체를 보았을 때의 조감 화상을 제시한다.

따라서, 사용자는, 그 시점으로부터 피사체를 보았을 때의 화상(조감 화상)을 시청할 수 있고, 시점을 선택할 자유를 가진다. 여기서, 사용자가 선택할 수 있는 시점의 위치는, 예컨대, 도 12에 도시된 바와 같이, 외측 돔 스크린(42) 내부에서 소정 높이의 수평면 내의 위치로 한정할 수도 있고, 그러한 한정을 하지 않고, 예컨대, 도 13에 도시된 바와 같이, 외측 돔 스크린(42) 내부에서 어떠한 위치라도 가능하도록 할 수도 있다. 그리고, 도 12와 같이, 시점을, 어느 수평면 내의 위치로 한정하는 방식은, 사용자가 시점을 좌우 방향으로만 이동할 수 있으므로, 좌우 패럴랙스(parallax) 방식이라고 할 수 있다. 또, 도 13과 같이, 시점을, 임의의 위치로 할 수 있는 방식은, 사용자가 시점을 상하 좌우의 임의의 방향으로 이동할 수 있으므로, 상하 좌우 패럴랙스 방식이라고 할 수 있다.

도 14는, 도 6의 광각 화상 처리부(33)의 구성예를 도시하고 있다. 디멀티플렉서(32)(도 6)가 출력하는 프레임마다의 전방위 화상 데이터가 프레임 메모리(51)에 공급된다. 프레임 메모리(51)는, 디멀티플렉서(32)로부터 공급되는 전방위 화상 데이터를 프레임 단위로 기억하고, 그 기억한 전방위 화상 데이터를 프레임 단위로 판독하여 광각 화상 변환부(52)에 공급한다. 그리고, 프레임 메모리(51)는, 복수의 기억 장치 뱅크를 가지고 있고, 뱅크 교환을 행함으로써, 전방위화상 데이터의 기억과 판독을 동시에 행할 수 있도록 되어 있다.

광각 화상 변환부(52)는, 콘트롤러(56)의 제어 하에, 프레임 메모리(51)로부터 공급되는 전방위 화상 데이터를, 위도 방향과 경도 방향으로 규정되는 평면상의 직사각형 형상의 위도-경도 화상 데이터로 변환하여, 화각 보정부(53)에 공급한다.

화각 보정부(53)는, 콘트롤러(56)의 제어 하에, 광각 화상 변환부(52)로부터 공급되는 위도-경도 화상 데이터를, 광각 화상 표시부(34)(도 7)의 외측용 전방위 프로젝터(41)의 광학 특성에 따라 보정하고, 그 보정 후의 위도-경도 화상 데이터를, 위도-경도 화상 변환부(54)에 공급한다.

위도-경도 화상 변환부(54)는, 콘트롤러(56)의 제어 하에, 화각 보정부(53)로부터 공급되는 위도-경도 화상 데이터를, 전방위 화상 데이터로 변환하여, 프레임 메모리(55)에 공급한다.

프레임 메모리(55)는, 위도-경도 화상 변환부(54)로부터 공급되는 전방위 화상 데이터를 프레임 단위로 기억하고, 그 기억한 전방위 화상 데이터를 프레임 단위로 판독하여 광각 화상 표시부(34)(도 7)의 외측용 전방위 프로젝터(41)에 공급한다. 그리고, 프레임 메모리(55)도, 프레임 메모리(51)와 마찬가지로, 복수의 기억 장치 뱅크를 가지고 있고, 뱅크 교환을 행함으로써, 전방위 화상 데이터의 기억과 판독을 동시에 행할 수 있도록 되어 있다.

콘트롤러(56)는, 프레임 메모리(51)에 있어서의 전방위 화상 데이터의 기억 상황에 따라, 광각 화상 변환부(52), 화각 보정부(53), 및 위도-경도 화상 변환부(54)를 제어한다.

다음에, 도 15 내지 도 17을 참조하여, 도 14의 광각 화상 변환부(52), 화각 보정부(53), 및 위도-경도 화상 변환부(54)의 처리에 대하여 설명한다.

광각 화상 변환부(52)에는, 프레임 메모리(51)에 기억된 전방위 화상 데이터, 즉, 도 3의 광각 촬상부(11)를 구성하는 전방위 카메라(21)로 촬상된 전방위 화상 데이터가 공급된다.

이제, 도 15에 도시된 바와 같이, 전방위 카메라(21)의 광축을 z축으로 하고 전방위 카메라(21)의 촬상면(수광면)을 xy 평면으로 하는 3차원 좌표계를, 광각 화상 촬상 좌표계라 하고, 이 광각 화상 촬상계에 있어서, 전방위 카메라(21)에 입사하는 광선과, 전방위 카메라(21)가 그 광선을 수광함으로써 촬상하는 전방위 화상 데이터와의 관계를 고려한다.

전방위 카메라(21)에 입사하는 광선(L)은 어안 렌즈에 의하여 굴절되고, 전방위 카메라(21)의 촬상면에 입사한다. 즉, 어안 렌즈는, 광선(L)을, 광각 화상 촬상 좌표계의 z축과 광선(L)을 포함하는 평면 내에서 굴절시키고, xy평면에 입사시킨다. 따라서, 전방위 카메라(21)에서는, 예를 들어, 원형 영역이나, 도 16에 사선을 부여하여 나타낸 바와 같은, 말하자면 도넛 형상의 화상 데이터가, 전방위 화상 데이터로서 촬상된다.

이제, 광각 화상 촬상 좌표계에 있어서, 도 15에 도시된 바와 같이, xy평면상에 대해 x축이 이루는 각도를 경도(θ)로하는 동시에, z축이 이루는 각도를 위도(φ)라고 하여, 경도(θ)와 위도(φ)를 갖는 지점의 방향을 방향(θ,φ)으로 나타낸다. 방향(θ,φ)으로부터 전방위 카메라(21)에 대해 입사하는 광선(L)은 전방위 카메라(21)의 어안 렌즈에 있어서 위도(φ)에 따라 굴절한다.

따라서, 방향(θ,φ)으로부터 입사하는 광선(L)을 광선 L(θ,φ)로 나타내는 동시에, 그 광선 L(θ,φ)이 투사되는 xy 평면상의 점을 Q(x,y)로 나타내는 것으로 하면, 경도(θ)와 위도(φ)는, 점 Q의 x좌표와 y좌표를 사용하여, 다음 식으로 나타낼 수 있다.

(1)

(2)

단, 식(2)에 있어서, 함수 f₁()는 전방위 카메라(21)의 어안 렌즈의 광학 특성에 의해 정해지는 함수이다. 그리고, 함수 f₁()의 역함수를 f₁ ^-1()로 나타내면, 식(2)은 √(x2+y2)=f₁ ^-1(θ)로 나타낼 수 있다. 역함수 f₁ ^-1(θ)는 어안 렌즈의 광학 특성을 나타내며, 이 역함수 f₁ ^-1(θ)가 [어안 렌즈의 초점거리]×θ인 경우의 어안 렌즈는 등거리 투사(equidistance projection) 방식으로 불린다.

식(1)과 (2)로부터, 전방위 카메라(21)로 촬상되는 전방위 화상 상의 소정의 점Q(x,y)는, 그 점에 입사하는 광선 L(θ,φ)의 방향을 나타내는 경도(θ)와 위도(φ)로 표현할 수 있다.

즉, 점Q(x,y)와 원점O를 잇는 직선과, x축이 이루는 각도는, 광선(L)의경도(θ)와 같다. 또, 점Q(x,y)와 원점O와의 거리√(x2+y2)는, 광선(L)의 위도(φ)에 의존한다. 그리고, 경도(θ)와 위도(φ)는 서로 독립한 값이다.

따라서, 예를 들어, 경도(θ)를 가로축으로 하는 동시에 위도(φ)를 세로축으로 하는 2차원 좌표계로서의 위도-경도 좌표계를 가정하면, 전방위 화상 데이터를 구성하는 화소Q(x,y)는 위도-경도 좌표계 상의 점Q'(θ,φ)에 투사될 수 있다.

전방위 화상 데이터를, 위도-경도 좌표계에 투사함으로써, 도 17에 도시된 바와 같이, 도넛 형상의 전방위 화상 데이터는, 경도(θ)와 위도(φ)로 규정되는 직사각형 형상의 화상 데이터, 즉, 위도-경도 화상 데이터로 변환된다.

도 14에 도시된 광각 화상 변환부(52)는, 이상과 같이, 전방위 화상 데이터를 위도-경도 화상 데이터로 변환한다.

그 다음, 전방위 화상을 촬상하는 광각 촬상부(11)(도 3)의 전방위 카메라(21)의 어안 렌즈의 광학 특성과, 전방위 화상에 대응하는 광선을 발하는 광각 화상 표시부(34)(도 7)의 외측용 전방위 프로젝터(41)의 어안 렌즈의 광학 특성이 동일한 경우, 외측용 전방위 프로젝터(41)에, 전방위 카메라(21)로 얻은 전방위 화상 데이터를 그대로 공급하면, 외측용 전방위 프로젝터(41)는, 전방위 카메라(21)에 입사하는 광선과 방향만이 다른 광선을 역방향으로 방출한다. 따라서, 이론적으로는, 외측용 전방위 프로젝터(41)로부터 광선을 수광하는 외측 돔 스크린(42)(도 7)에 전방위 카메라(21)로 촬상된 풍경 등과 동일한 화상이 표시된다.

그러나, 전방위 카메라(21)(도 3)와 외측용 전방위 프로젝터(41)(도 7)의 어안 렌즈의 광학 특성이 반드시 동일한 것은 아니며, 상이한 경우도 있다.

여기서, 전방위 카메라(21)에 입사하는 광선 L(θ,φ)이 도달하는 촬상 면상의 점Q(x, y)와, 경도(θ) 및 위도(φ) 사이에는 식(1) 및 (2)으로 표현된 관계가 있다.

그리고, 식(1)으로 표시된 경도(θ)는 어안 렌즈의 광학 특성에 영향을 받지 않지만, 식(2)에 표시된 위도는 함수 f₁()을 이용하여 구해지고, 이 함수 f₁()의 역함수 함수 f₁ ^-1()은, 전술한 바와 같이, 어안 렌즈의 광학 특성을 나타내기 때문에, 어안 렌즈의 광학 특성에 영향을 받는다.

따라서, 전방위 카메라(21)(도 3)와 외측용 전방위 프로젝터(41)(도 7)의 어안 렌즈의 광학 특성이 상이한 경우에, 외측 돔 스크린(42)(도 7)으로 표시되는 화상을, 전방위 카메라(21)로 촬상된 풍경 등과 동일한 화상으로 하려면, 전방위 카메라(21)로 촬상된 전방위 화상 데이터의 위도(φ) 방향의 보정이 필요하다.

전방위 화상 데이터의 위도 방향은, 도 17에 도시된 위도-경도 화상 데이터의 세로축 방향으로 되므로, 도 14의 화각 보정부(53)는, 광각 화상 변환부(52)로부터 공급되는 위도-경도 화상 데이터의 세로축 방향인 위도를, 예컨대 다음 식에 의해, 위도(φ)로 보정한다.

(3)

식(3)에 있어서, α는 전방위 카메라(21)(도 3)와 외측용 전방위 프로젝터(41)(도 7)의 어안 렌즈의 광학 특성에 의해 정해지는 값이다.

따라서, 광각 화상 변환부(52)로부터 공급되는 위도-경도 화상 데이터를 구성하는 화소를, Q'(θ,φ)로 나타내면, 화각 보정부(53)에서는, 화소 Q'(θ,φ)가, 화소 Q'(θ,φ')로 보정된다.

그리고, 위도는, 도 17에 도시된 바와 같이 위도-경도 화상 데이터의 세로축 방향을 나타내기 때문에, 위도-경도 화상 데이터의 세로 방향의 화각에 상당한다. 따라서, 위도(φ)의 보정은, 위도-경도 화상 데이터의 세로 방향의 화각을 작고 또는 넓게 하는 것에 상당한다.

직사각형 형상의 위도-경도 화상 데이터를 외측용 전방위 프로젝터(41)(도 7)에 그대로 공급하여도, 외측 돔 스크린(42)은 전방위 카메라(21)(도 3)에 의하여 촬상된 전방위 화상을 표시하지 않는다. 그러므로, 도 14의 위도-경도 화상 변환부(54)는, 화각 보정부(53)에서 위도 보정을 한 위도-경도 화상 데이터를, 도 16에 도시된 바와 같은 도넛 형상(또는 원형 상태)의 전방위 화상 데이터로 다시 변환한다. 위도-경도 화상 변환부(54)로 얻을 수 있는 전방위 화상 데이터는, 그 위도(φ) 방향 스케일이, 전방위 카메라(21)(도 3)와 외측용 전방위 프로젝터(41)(도 7)의 어안 렌즈의 광학 특성에 따라 보정되고 있다. 이 전방위 화상 데이터를, 외측용 전방위 프로젝터(41)(도 7)에 공급함으로써, 외측 돔 스크린(42)은 전방위 카메라(21)(도 3)와 촬상된 전방위 화상을 표시한다.

다음에, 도 18의 흐름도를 참조하여, 도 14의 광각 화상 처리부(33)로 행해지는 처리(광각 화상 처리)에 대하여 설명한다.

콘트롤러(56)가 프레임 메모리(51)를 감시하고 있고, 프레임 메모리(51)가전방위 화상 데이터의 기억을 개시하면, 광각 화상 처리를 개시한다.

즉, 광각 화상 처리에서는, 먼저, 단계(S1)에 있어서, 콘트롤러(56)가, 프레임 수를 카운트하는 변수(i)에, 초기치로서, 예컨대 1을 설정하고, 단계(S2)로 진행한다. 단계(S2)에서는, 프레임 메모리(51)가, 내부에 기억된 제 i 프레임의 전방위 화상 데이터를 판독하고, 광각 화상 변환부(52)에·공급하여, 단계(S3)로 진행한다.

단계(S3)에서는, 광각 화상 변환부(52)가, 프레임 메모리(51)로부터 공급된 전방위 화상 데이터를 구성하는 각 화소 Q(x,y)에 대하여, 식(1)에 따라 경도(θ)를 구하고, 단계(S4)로 진행한다. 단계(S4)에서, 광각 화상 변환부(52)가, 프레임 메모리(51)로부터 공급된 전방위 화상 데이터를 구성하는 각 화소 Q(x,y)에 대하여, 식(2)에 따라 위도(φ)를 구하고, 단계(S5)로 진행한다.

단계(S5)에서는, 광각 화상 변환부(52)가, 프레임 메모리(51)로부터 공급된 전방위 화상 데이터를 구성하는 각 화소Q(x,y)를, 그 화소Q(x, y)마다 계산된 경도(θ)와 위도(φ)로 나타내지는 위도-경도 좌표계 상의 점(θ,φ)에 배치하여, 도 17에 도시된 것처럼, 도넛 형상의 전방위 화상 데이터를, 직사각형 형상의 위도-경도 화상 데이터로 변환한다.

전술한 바와 같이 단계(S5)에서 위도-경도 화상 데이터를 획득하는 광각 화상 변환부(52)는, 그 위도-경도 화상 데이터를 화각 보정부(53)에 공급하고, 단계((S6)로 진행한다.

단계(S6)에서는, 화각 보정부(53)가, 광각 화상 변환부(52)로부터 공급되는위도-경도 화상 데이터의 위도(φ)를, 식(3)에 따라, 위도(φ')로 보정하고, 보정 후의 위도(φ')와, 경도(θ)로 나타내어지는 위도-경도 화상 데이터를, 위도-경도 화상 변환부(54)에 공급하여, 단계(S7)로 진행한다.

단계(S7)에서, 위도-경도 화상 변환부(54)가, 화각 보정부(53)로부터 공급되는 위도-경도 화상 데이터를 구성하는 각 화소Q'(θ,φ')에 대하여, 광각 화상 촬상 좌표계의 xy 평면상의 x 좌표를 식(4)에 따라 구하고, 단계(S8)로 진행한다.

단계(S8)에서, 위도-경도 화상 변환부(54)는, 화각 보정부(53)로부터 공급되는 위도-경도 화상 데이터를 구성하는 각 화소 Q'(θ,φ')에 대하여, 광각 화상 촬상 좌표계의 xy 평면상의 y 좌표를, 식(5)에 따라 구하고, 단계(S9)로 진행한다.

(4)

(5)

여기서, 식(4) 및 (5)에 있어서의 함수f2(φ')는, 외측용 전방위 프로젝터(41)(도 7)의 광학 특성을 나타내는 함수(외측용 전방위 프로젝터(41)의 어안 렌즈의 투사 방식에 의해 정해지는 함수)이다. 그리고, 식(1)과 (2)를 해석함으로써, 식(4) 및 (5)과 마찬가지의 식을 얻을 수 있다.

단계(S9)에서, 위도-경도 화상 변환부(54)가, 화각 보정부(53)로부터 공급되는 위도-경도 화상 데이터를 구성하는 각 화소Q'(θ,φ')를, 그 화소Q'(θ,φ')에 대하여 얻어진 x 좌표와 y 좌표로 표시되는 광각 화상 촬상 좌표계의 xy 평면상의점(x,y)에 배치함으로써, 직사각형 형상의 위도-경도 화상 데이터를, 도넛 형상의 전방위 화상 데이터로 변환한다. 이 전방위 화상 데이터는, 외측용 전방위 프로젝터(41)(도 7)를 발광시키는 화상 데이터인 발광 전방위 화상 데이터로서, 프레임 메모리(55)에 공급되고 기억된다.

전술된 바와 같이, 프레임 메모리(55)에 저장된 발광 전방위 화상 데이터는, 순차 판독되어, 광각 화상 표시부(34)(도 6)에 공급된다. 그리고, 광각 화상 표시부(34)에서는, 그 외측용 전방위 프로젝터(41)(도 7)가, 발광 전방위 화상 데이터에 대응하는 광선을 발하고, 외측 돔 스크린(42)(도 7)이 이를 수광하여, 외측 돔 스크린(42)에서, 전방위 카메라(21)(도 3)로 촬상된 피사체의 전방위의 풍경의 화상이 몰입 화상으로서 표시된다.

그 후, 단계(S10)로 진행되어, 콘트롤러(51)는, 프레임 메모리(51)를 참조하여, 제 i 프레임이 마지막 프레임인지 판정한다. 단계(S10)에 있어서, 제 i 프레임이 마지막 프레임이 아니라고 판정된 경우, 즉, 프레임 메모리(51)에 제 i 프레임 후의 프레임의 전방위 화상 데이터가 기억되어 있는 경우, 단계(S11)로 진행되고, 콘트롤러(56)는 변수(i)를 1만큼 증가시킨다. 그런 다음, 단계(S2)로 돌아가서, 동일한 처리가 반복된다.

반면, 단계(S10)에 있어서, 제 i 프레임이 마지막 프레임이라고 판정한 경우, 즉, 프레임 메모리(51)에 제 i 프레임 후의 프레임의 전방위 화상 데이터가 기억되어 있지 않은 경우, 광각 화상 처리를 종료한다.

그리고, 전방위 카메라(21)(도 3)와 외측용 전방위 프로젝터(41)(도 7)의 광학 특성이 동일한 경우에는, 디멀티플렉서(32)(도 6)가 출력하는 전방위 화상 데이터가 도 14의 광각 화상 처리부(33)를 우회하여, 발광 전방위 화상 데이터로서, 광각 화상 표시부(34)에 직접 공급될 수 있다.

다음으로, 도 6의 주변 화상 처리부(35)의 처리의 개요에 대하여 설명한다. 주변 화상 표시부(36)(도 6)에 있어서, 전술한 바와 같이, 그 내측 돔 스크린 (44)(도 8)은 사용자에 대해, 그 사용자의 시점으로부터 피사체를 본 화상을 제시한다. 또, 복수의 사용자가 존재하는 경우에는, 내측 돔 스크린(44)(도 8)에 있어서, 복수의 사용자 각각 대해, 그 사용자의 시점으로부터 피사체를 본 화상이 표시된다.

따라서, 도 19에 도시된 바와 같이, 그 내측 돔 스크린(44)이 만일 투명하고, 또한, 그 내측 돔 스크린(44)의 내부에, 주변 촬상부(12)(도 2)로 촬상된 피사체가 존재하는 경우에, 각 사용자의 시각에 비치는 피사체와 화상과 동일한 화상이 내측 돔 스크린(44)에 표시된다.

즉, 도 19의 실시예에서는, 두 명의 사용자 A와 B가 존재하지만, 내측 돔 스크린(44)에서는, 내측 돔 스크린(44)의 중심과 사용자 A의 시점을 잇는 직선과 교차하는 지점에, 사용자 A의 시점으로부터 피사체를 보았을 때의 화상을 표시한다. 또한, 내측 돔 스크린(44)에서는, 내측 돔 스크린(44)의 중심과 사용자 B의 시점을 잇는 직선과 교차하는 지점에, 사용자 B의 시점으로부터 피사체를 보았을 때의 화상이 표시된다.

그러므로, 도 8의 주변 표시부(36)에서는, 예를 들어, 도 20에 도시된 바와같이, 내측용 전방위 프로젝터(43)가, 도시되지 않은 액정 패널 등의 표시면에, 각 사용자의 시점으로부터 본 피사체의 화상(이하, 적절한 경우 시점 화상이라고 함)을 표시하고, 그 시점 화상에 대응하는 광선을, 어안 렌즈를 통하여 발한다. 이로써, 내측 돔 스크린(44)은 각 사용자에게 그 각 사용자의 시점으로부터 본 피사체의 화상을 제공한다.

그래서, 도 6의 주변 화상 처리부(35)는, 디멀티플렉서(32)로부터 공급되는 주변 화상 데이터를 이용해 시점 검출부(37)로부터 공급되는 시점으로부터 피사체를 보았을 때의 화상(시점 화상)을 생성하고, 또한, 각 시점에 대한 시점 화상을, 그 시점에 따른 위치에 배치함으로써, 내측용 전방위 프로젝터(43)(도 8)에 의하여 발광되는 광선에 대응하는 발광 화상, 즉, 내측용 전방위 프로젝터(43)의 표시면에 표시될 발광 화상(이하, 표시용 화상이라고도 함)을 생성한다.

예를 들면, 도 21에 도시된 바와 같이, 사용자 A와 B가 떨어져 있고, 따라서, 사용자 A와 B의 시점도 떨어져 있는 경우에는, 내측 돔 스크린(44)이 사용자 A와 B 각각 대해, 그 시점으로부터 본 피사체의 화상(시점 화상)을 제시하더라도, 사용자 A는 그 사용자 A의 시점에 대한 시점 화상만을 볼 수가 있고, 사용자 B도 그 사용자 B의 시점에 대한 시점 화상만을 볼 수가 있다.

즉, 사용자 A에게는 사용자 B의 시점에 대한 시점 화상이 보이지 않고, 보이더라도 사용자 A의 시점에 대한 시점 화상의 시청을 방해하지 않는 정도 밖에는 보이지 않는다. 사용자 B에 대하여도, 마찬가지로, 사용자 A의 시점에 대한 시점 화상은 보이지 않고, 보이더라도 사용자 B의 시점에 대한 시점 화상의 시청을 방해하지 않는 정도 밖에는 보이지 않는다.

반면, 예를 들어, 도 22에 도시된 바와 같이, 사용자 A와 B가 가까운 위치에 있는 경우에는, 시점끼리도 가깝기 때문에, 내측 돔 스크린(44)에 표시되는 사용자 A와 B를 위한 각각의 시점 화상끼리 겹치는 일이 있다. 또, 내측 돔 스크린(44)에 표시되는 사용자 A와 B를 위한 각각의 시점 화상끼리 겹치지 않는 경우라도, 사용자 A와 B를 위한 각각의 시점 화상은, 내측 돔 스크린(44) 상에서 서로 가까운 위치에 표시된다. 그러므로, 사용자 B의 시점에 대한 시점 화상이, 사용자 A가 그 사용자 A의 시점에 대한 시점 화상을 시청하는 것을 방해하는 동시에, 사용자 A의 시점에 대한 시점 화상이, 사용자 B가 그 사용자 B의 시점에 대한 시점 화상을 시청하는 것을 방해한다.

따라서, 주변 화상 처리부(35)는, 사용자 A와 B의 시점간 거리가 짧은 경우, 그 사용자 A와 B의 시점의 양쪽 모두로부터 가까운 위치에, 사용자 A와 B를 위한 공통의 시점을 설정하고, 그 시점으로부터 피사체를 본 화상(시점 화상)을 생성한다. 이 경우, 도 22에 도시된 바와 같이, 내측 돔 스크린(44)에는 사용자 A와 B양자 모두를 위하여, 공통의 시점으로부터 피사체를 본 화상이 표시되어, 사용자 A와 B가 서로 화상의 시청을 방해하지 않게 된다.

도 23은, 전술한 처리 과정(주변 화상 처리)을 수행하는, 도 6의 주변 화상 처리부(35)의 구성예를 도시하고 있다.

시점 버퍼(61)는 시점 검출부(37)(도 6)가 출력하는 사용자의 시점이 공급받아, 그 시점 검출부(37)로부터 공급된 시점을 기억한다. 그리고, 복수의 사용자가존재하는 경우, 도 6의 시점 검출부(37)는, 그 복수의 사용자의 시점을 검출하고, 시점 버퍼(61)에 공급한다. 이 경우, 시점 버퍼(61)는 시점 검출부(37)로부터 공급된 복수의 사용자의 시점 모두를 기억한다.

시점 처리부(62)는, 시점 버퍼(61)에 기억된 사용자의 시점을 판독하고, 필요에 따라 그 시점에 대하여 소정의 처리를 실행하여, 그 결과를 시점 기억부(63)에 공급한다. 시점 기억부(63)는, 시점 처리부(62)로부터 공급되는 시점을 기억한다. 시점 방향 산출부(64)는, 시점 기억부(63)에 기억된 시점의 방향(시점 방향)을 산출하고, 그 결과를 시점 화상 변환부(67)에 공급한다.

프레임 메모리(65)는, 디멀티플렉서(32)(도 6)로부터 공급되는 주변 화상 데이터를 프레임 단위로 기억하고, 그 주변 화상 데이터를 판독하여 화상 선택부(66)에 공급한다. 그리고, 프레임 메모리(65)는 도 14의 프레임 메모리(51)와 유사하게 구성되어, 프레임 메모리(65)가 주변 화상 데이터의 기억과 판독을 동시에 행할 수 있다.

화상 선택부(66)는, 시점 기억부(63)에 기억된 시점에 관련된 시점 화상을 생성하는데 필요한 화상 데이터를, 프레임 메모리(65)로부터 공급되는 주변 화상 데이터 중에 선택한다. 즉, 주변 화상 데이터는, 도 4에 도시된 것처럼 복수의 카메라 위치에 배치된 복수의 주변 카메라(221, 222,223,...)로 촬상된 화상 데이터의 집합이며, 주변 화상 데이터를 구성하는 주변 카메라(22_k)로 촬상된 화상 데이터를 카메라 화상 데이터라고 하면, 화상 선택부(66)는 시점 기억부(63)에 기억된 시점에 따라, 주변 화상 데이터로부터 카메라 화상 데이터를 선택한다.

그런 다음, 화상 선택부(66)는, 시점 기억부(63)에 기억된 시점에 따라 주변 화상 데이터로부터 선택한 카메라 화상 데이터를, 그대로 또는 처리 후, 그 시점에 대한 시점 화상 데이터로서, 시점 화상 변환부(67)에 공급한다.

시점 화상 변환부(67)는, 시점 방향 산출부(64)로부터 공급되는 시점 방향과 내측 돔 스크린(44)(도 8)의 형상에 따라, 화상 선택부(66)로부터 공급되는 시점 화상 데이터를 사용하여, 내측용 전방위 프로젝터(43)(도 8)의 표시면에 표시하는 표시용 화상 데이터를 생성하고, 프레임 메모리(68)에 공급한다.

전술한 화상 선택부(66)와 시점 화상 변환부(67)는, 사용자의 시점과 내측 돔 스크린(44)(도 8)의 형상에 따라, 주변 화상 데이터로부터 표시용 화상 데이터를 생성하는 표시용 화상 생성부(70)를 구성하고 있다.

프레임 메모리(68)는 시점 화상 변환부(67)로부터 공급되는 표시용 화상 데이터를 기억하고, 그 표시용 화상 데이터를 내측용 전방위 프로젝터(43)(도 8)에 공급한다. 프레임 메모리(68)도 도 14의 프레임 메모리(51)와 유사하게 구성되어, 프레임 메모리(68)는 표시용 화상 데이터의 기억과 판독을 동시에 수행할 수 있다.

콘트롤러(69)는, 프레임 메모리(65)에 있어서의 주변 화상 데이터의 기억 상황을 참조하면서, 시점 처리부(62), 시점 방향 산출부(64), 화상 선택부(66), 및 시점 화상 변환부(67)를 제어한다.

다음, 도 24를 참조하여, 도 23의 시점 방향 산출부(64)의 처리에 대하여 설명한다. 시점 방향 산출부(64)는, 시점 기억부(63)에 기억된 시점의 방향(시점 방향)을 나타내는 경도와 위도를 산출한다.

이제, 내측용 전방위 프로젝터(43)의 광축을 z 축으로 하는 동시에, 내측용 전방위 프로젝터(43)의 표시면을 xy 평면으로 하는 3차원 좌표계를 주변 화상 표시 좌표계라고 하면, 시점 방향 산출부(64)는, 주변 화상 표시 좌표계에 있어서, 원점(O)으로부터 보이는, 어느 위치에서의 시점 V(x,y,z)의 방향을, 시점 방향으로서 산출한다.

이제, 주변 화상 표시 좌표계와 관련하여, xy 평면상에서 x 축이 이루는 각도를 경도(θ)라 하고, z축이 이루는 각도를 위도(φ)라고 하고, 경도(θ)와 위도(φ)를 갖는 지점의 방향을 방향(θ,φ)이라 하면, 시점 V(x,y,z)의 시점 방향(θ,φ)을 나타내는 경도(θ)와 위도(φ)는, 각각 다음 식으로 산출될 수 있다.

(6)

(7)

시점 방향 산출부(64)는, 식(6) 및 (7)에 의해, 시점 방향(θ,Φ)을 구하고, 시점 화상 변환부(67)에 공급한다.

다음, 도 25 내지 도 27을 참조하여, 도 23의 표시용 화상 생성부(70)의 처리에 대하여 설명한다.

사용자에 대해, 그 사용자의 시점으로부터 피사체를 본 시점 화상을 내측 돔스크린(44)(도 8)에 표시하기 위하여, 단순하게는, 예를 들어, 도 25에 도시된 바와 같이, 사용자의 시점의 시점 방향(θ,Φ)으로부터 촬상한 카메라 화상 데이터를, 사용자의 시점의 시점 방향(θ,Φ)과 내측 돔 스크린(44)의 교점(U)을 중심으로 하는 내측 돔 스크린(44)상의 소정 범위에 표시해야 한다.

이제, 시점 방향(θ,Φ)으로부터 촬상한 카메라 화상 데이터인 시점 화상을 시점 화상(θ,Φ)으로 나타내는 동시에, 사용자 시점의 시점 방향(θ,Φ)과 내측 돔 스크린(44)의 교점(U)을 중심으로 하는 내측 돔 스크린(44)상의 소정 범위를 표시 영역(θ,Φ)으로 나타내면, 시점 화상(θ,Φ)을 표시 영역(θ,Φ)에 표시하기 위하여, 시점 화상(θ,Φ)을, 내측용 전방위 프로젝터(43)(도 8)의 표시면에 표시되는 표시용 화상 상의 위치에 기록해야 한다.

그러므로, 도 23의 표시용 화상 생성부(70)에서, 화상 선택부(66)가 시점 기억부(63)에 기억된 시점의 시점 방향(θ,Φ)으로부터 촬상한 카메라 화상 데이터로서의 시점 화상(θ,Φ)을 선택하고, 시점 화상 변환부(67)가 시점 화상(θ,Φ)을 표시용 화상으로 매핑하여 그 시점 화상(θ,Φ)이 표시 영역(θ,Φ)에 표시될 수 있도록 한다.

이제, 예를 들어, 내측용 전방위 프로젝터(43)의 표시면을 xy 평면으로 하는 2차원 좌표계를 표시면 좌표계라고 하고, 도 26에 도시된 바와 같이, 그 x 좌표와 y 좌표를, x_a좌표와 y_a좌표로 나타낸다. 또한, 시점 화상(θ,Φ)을 xy 평면으로 하는 2차원 좌표계를 시점 화상 좌표계라고 한다. 그리고, 도 26에 도시된 바와같이, 표시면 좌표계의 원점(Oa)은, 내측용 전방위 프로젝터(43)의 광축과 표시면의 교점에 있어, 시점 화상 좌표계의 원점(O)은, 직사각형 형상의 시점 화상(θ,Φ)의 중심(직사각형 형상의 시점 화상(θ,Φ) 대각선의 교점)에 있다.

시점 화상(θ,Φ)을 표시 영역(θ,Φ)에 표시하려면 ,먼저, 도 26에 도시된 바와 같이, 시점 화상(θ,Φ)을, 표시면 좌표계의 원점(Oa)으로부터, 위도(Φ)에 대응하는 거리g(Φ)만큼 떨어진 위치로 매핑할 필요가 있다. 또한, 시점 화상(θ,Φ)을 표시 영역(θ,Φ)에 표시하려면 ,두번째로, 도 27에 도시된 바와 같이, 시점 화상(θ,Φ)을, 반시계 방향으로, 각도(π/2+θ)만큼 회전시킬 필요가 있다.

그러므로, 시점 화상 변환부(67)는, 먼저, 식(8)에 따라, 시점 화상(θ,Φ)의, 시점 화상 좌표계의 원점 O의 표시면 좌표계에 있어서의 좌표 (x_ao,y_aO)를 구한다.

(8)

식(8)에 있어서, 함수 g(φ)는, 내측용 전방위 프로젝터(43)(도 8)의 광학 특성을 나타내는 함수(내측용 전방위 프로젝터(43)의 어안 렌즈의 투사 방식에 의해 정해지는 함수)이다.

또한, 시각 화상(θ,Φ)을 구성하는 화소(Q)의 시점 화상 좌표계에 있어서의좌표를 Q(x_Q,y_Q)로 나타내는 동시에, 표시면 좌표계에 있어서의 좌표를 Q(x_aQ,y_aQ)로 나타내면, 시점 화상 변환부(67)는, 식(9)에 따라, 시각 화상(θ,Φ)을 구성하는 화소(Q)의 표시면 좌표계에 있어서의 좌표 Q(x_aQ,y_aQ)를 구한다.

(9)

그런 다음, 시점 화상 변환부(67)는, 프레임 메모리(68) 상에서 시각 화상(θ,Φ)을 구성하는 각 화소 Q(x_Q,y_Q)의 화소치를, 식(9)으로 표현되는 좌표(x_aQ,y_aQ)에 대응하는 위치에 기록하여, 시각 화상(θ,Φ)을 표시용 화상으로 변환한다.

다음으로, 도 28 및 도 29의 흐름도를 참조하여, 도 23의 주변 화상 처리부(35)의 처리(주변 화상 처리)에 대하여 설명한다.

콘트롤러(69)는 프레임 메모리(65)를 감시하며, 프레임 메모리(65)가 주변 화상 데이터의 기억을 개시하면, 주변 화상 처리를 개시한다.

즉, 주변 화상 처리에서는, 먼저 단계(S21)에서, 콘트롤러(69)는, 프레임 수를 카운트하는 변수 i에, 초기치로서, 예를 들어 1을 설정하고, 단계(S22)로 진행한다.

단계(S21)에서 변수 i에 1을 설정하는 처리 및 후술하는 단계(S53)에서 변수 i를 인크리먼트하는 처리는, 전술한 도 18에 있어서, 단계(S1)에서 변수 i에 1을 설정하는 처리 및 단계(S11)에 있어서 변수 i를 인크리먼트하는 처리와, 각각 동기화하여 행해진다. 즉, 광각 화상 처리부(33)에 있어서의 광각 화상 처리와, 주변 화상 처리부(35)에 있어서의 주변 화상 처리는, 동일 프레임을 대상으로, 동기화하여 행해진다. 그러므로, 광각 화상 표시부(34)와 주변 화상 표시부(36)는, 동일 프레임의 몰입 화상과 조감 화상을 동기화하여 표시한다.

단계(S22)에서, 콘트롤러(69)가 사용자수를 카운트하는 변수 n에, 초기치로서, 예컨대 1을 설정하고, 단계(S23)로 진행한다. 단계(S23)에서, 시점 처리부(62)가, 시점 버퍼(61)로부터 사용자#n의 시점을 판독하고, 시점 기억부(63)에 등록한다.

즉, 시점 검출부(37)(도 6)는, 외측 스크린 돔(42)(도 7) 내에 있는 사용자 모든 시점을, 예컨대 프레임 주기로 검출하고, 그 검출한 최신의 시점에 의해, 시점 버퍼(61)의 기억 내용을 갱신한다. 단계(S23)에서, 시점 처리부(62)는, 제 i 프레임의 타이밍에 시점 버퍼(61)에 기억되어 있는 사용자#n의 시점을 판독하고, 시점 기억부(63)에 등록한다. 그리고, 사용자#n의 시점은, 예를 들어, 그 사용자 #n을 나타내는 ID(identification)와 함께, 시점 기억부(63)에 기억될 수 있다.

시점 처리부(62)가 사용자#n의 시점을 시점 기억부(63)에 등록한 후, 단계(S24)로 진행하여, 콘트롤러(69)는, 변수 n이 외측 스크린 돔(42)(도 7) 내에 있는 사용자의 총 수 N과 같은 지 판정한다. 단계(S23)에 있어서, 변수 n이 N과 같지 않다고 판정되었을 경우, 단계(S25)로 진행하여, 콘트롤러(69)는 변수 n을 1만큼 인크리먼트한다. 단계(S23)로 돌아와, 동일한 처리를 반복한다.

반면, 단계(S24)에서, 변수 n이 N과 동등한 것으로 판정되었을 경우, 즉, 시점 기억부(63)에, 외측 스크린 돔(42)(도 7) 내에 있는 사용자 모든 시점이 기억되었을 경우, 단계(S26)로 진행한다. 단계(S26)에서, 콘트롤러(69)는, 시점 선택부(66)에서 처리될 시점의 총 수를 나타내는 변수 M에, 초기치로서, 외측 스크린 돔(42)(도 7) 내에 있는 사용자의 총 수 N을 설정한다. 그런 다음 단계(S27)로 진행한다.

단계(S27)에서, 콘트롤러(69)는, 시점의 수를 카운트하는 변수 m에, 초기치로서, 예를 들어 1을 설정하는 동시에, 후술하는 근거리 시점의 존부를 나타내는 플래그에, 초기치로서, 예를 들어, 근거리 시점의 부재를 나타내는 0을 설정한다. 그런 다음 단계(S28)로 진행한다.

단계(S28)에서, 시점 처리부(62)는, 시점 기억부(63)에 기억된 M개의 시점 중의 m번째의 시점에 대하여, 다른 M-1개의 시점 각각과의 거리(시점 간 거리)를 구하고, 그 시점 간 거리가 소정 임계치 TH1 이하(또는 미만)인 시점을, 그 m번째의 시점에 대한 근거리 시점으로서 검출한다. 그런 다음, 단계(S29)로 진행하여, 시점 처리부(62)는, m번째의 시점에 대한 근거리 시점이 존재하는지 판정한다.

단계(S29)에서, m번째의 시점에 대한 근거리 시점이 없다고 판정되었을 경우, 즉, m번째의 시점과의 시점 간 거리가 임계치 TH1 이하의 시점이 시점 기억부(63)에 기억(등록)되어 있지 않은 경우, 단계(S30) 내지 단계(S34)를 스킵하여, 단계(S35)로 진행한다.

반면, 단계(S29)에서, m번째의 시점에 대한 근거리 시점이 있다고 판정되었을 경우, 즉, m번째의 시점과의 시점 간 거리가 임계치 TH1 이하의 시점(근거리 시점)이, 시점 기억부(63)에 기억(등록)되어 있는 경우, 단계(S30)로 진행하여, 콘트롤러(69)는, 플래그에, 예를 들어, 근거리 시점이 있는 것을 나타내는 1을 설정하고, 단계(S31)로 진행한다.

플래그에 이미 1이 설정되어 있는 경우는, 단계(S30)의 처리를 스킵 할 수 있다.

단계(S31)에서, 시점 처리부(62)는 시점 기억부(63)에 기억된 시점 중 m번째의 시점에 대한 근거리 시점으로 판정된 시점의 수를 검출하고, 또한 그 근거리 시점 및 m번째의 시점의 중심을 검출한다.

그런 다음, 단계(S32)로 진행하여, 시점 처리부(62)는, 시점 기억부(63)에 m번째의 시점으로서, 단계(S31)에서 구한 중심을, 덧쓰는 방식에 의해 등록(기입)하고, 단계(S33)로 진행한다. 단계(S33)에서, 시점 처리부(62)는, 시점 기억부(63)에 기억된 시점 중 m번째의 시점에 대한 근거리 시점으로 판정된 것을 삭제하고, 단계(S34)로 진행한다.

단계(S34)에서, 콘트롤러(69)는, 시점 선택부(66)에서 처리될 시점의 총수를 나타내는 변수 M으로부터 단계(S31)에서 검출된 근거리 시점의 수를 감산하고, 그 감산치로 변수 M을 새로 설정한 후, 단계(S35)로 진행한다. 즉, 단계(S33)에서 시점 기억부(63)에 기억된 시점 중의 근거리 시점이 삭제되기 때문에, 단계(S34)에서는 그 삭제된 근거리 시점의 수만큼 변수 M의 값이 감소된다.

따라서, 도 28에서 점선으로 둘러싸인 단계(S28) 내지 단계(S34)의 처리에 의하여, m번째 시점과의 거리가 가까운 1 이상의 시점이 검출되고 그 1 이상의 시점과 m번째 시점이, 그러한 시점들의 중심 위치에 통합된다.

단계(S35)에서, 콘트롤러(69)는, 변수 m이 변수 M, 즉 시점 기억부(63)에 기억되어 있는 시점의 수 M과 동등한지 여부를 판정한다. 단계(S35)에서 변수 m이 변수 M과 동등하지 않다고 판정한 경우, 단계(S36)로 진행하여, 콘트롤러(69)가 변수 m을 1만큼 인크리먼트한다. 그런 다음, 단계(S28)로 돌아가, 동일한 처리가 반복된다.

반면, 단계(S35)에서, 변수 m이 변수 M과 동등한 것으로 판정한 경우, 단계(S37)로 진행하여, 콘트롤러(69)는, 플래그가 1과 같은지 여부를 판정한다. 단계(S37)에서, 플래그가 1과 같은 것으로 판정한 경우, 즉, 전회에 이루어진 단계(S28) 내지 단계(S36)의 루프 처리에서 통합된 시점이 시점 기억부(63)에 기억되어 있는 시점 중에 존재하는 경우, 그리고 시점이 더 통합될 수 있는 경우, 단계(S27)로 돌아가, 동일한 처리가 반복된다.

반면, 단계(S37)에서, 플래그가 1과 동일하지 않다고 판정한 경우, 즉, 플래그가 여전히 단계(S27)에서 설정된 0인 채로 남아있고, 다른 시점과의 거리가 임계치 TH1 이하로 되는 시점이 시점 기억부(63)에 기억되어 있는 시점 중에 존재하지 않는 경우, 도 29의 단계(S41)로 진행한다.

단계(S41)에서, 콘트롤러(69)는, 시점 수를 카운트하는 변수 m에, 초기치로, 예를 들어 1을 설정하고, 단계(S42)로 진행한다. 단계(S42)에서, 화상 선택부(66)는, 시점 기억부(66)에 기억된 m번째 시점과 주변 촬상부(12)를 구성하는 각 주변카메라(22_k)의 카메라 시점 간 거리를, 카메라 거리로서 산출한다.

주변 카메라(22_k)의 카메라 시점이란, 주변 화상 데이터로 멀티플렉싱 되어 있는 카메라 위치를, 소정 정규화 계수(β)로 정규화(제산)한 것이다. 정규화 계수(β)로는, 예를 들어, 주변 화상 표시 좌표계에서 사용자가 취할 수 있는 가장 먼 시점과 원점 간 거리를, 피사체로부터 가장 먼 주변 카메라(22_k)와 피사체 간 거리로 제산한 값이 이용될 수 있다.

단계(S42)의 처리 후, 단계(S43)로 진행하여, 화상 선택부(66)는, 단계(S42)에서 m번째 시점을 위하여 구해진 카메라 거리 중 최소치(Dmin)를, 최소 카메라 거리로서 구하고, 단계(S44)로 진행한다. 단계(S44)에서, 화상 선택부(66)가, m번째 시점에 대한 최소 카메라 거리(Dmin)가 소정 임계치 TH2 이하(또는 미만)인지 여부를 판정한다.

단계(S44)에서, m번째 시점에 대한 최소 카메라 거리(Dmin)가 소정 임계치 TH2 이하라고 판정한 경우, 즉, 최소 카메라 거리(Dmin)를 갖는 카메라 시점이 m번째 시점에 가까워서, 그 카메라 시점을 m번째 시점으로 간주할 수 있는 경우, 단계(S45)로 진행한다. 단계(S45)에서, 화상 선택부(66)는, 프레임 메모리(65)에 기억된 주변 화상 데이터 중에서, 최소 카메라 거리(Dmin)를 갖는 카메라 시점의 주변 카메라(22_k)로 촬상된 제 i 프레임의 카메라 화상을, m번째 시점에 대한 시점 화상으로 선택하고, 이를 시점 화상 변환부(67)에 공급한다. 그런 다음 단계(S49)로 진행한다.

반면, 단계(S44)에서, m번째 시점에 대한 최소 카메라 거리(Dmin)가 소정 임계값 TH2 이하가 아니라고 판정한 경우, 즉, 최소 카메라 거리(Dmin)를 갖는 카메라 시점이 m번째의 시점과 가깝지 못하여, 그 카메라 시점을 m번째 시점으로 간주할 수 할 수 없는 경우, 단계(S47)로 진행한다. 단계(S47)에서, 화상 선택부(66)는, m번째 시점을 위하여 구해진 카메라 거리 중 두 번째로 작은 것을, 제 2 카메라 거리(D2)로서 검출하고, 프레임 메모리(65)에 기억된 주변 화상 데이터 중에서 두 개의 카메라 이미지, 즉, 최소 카메라 거리(Dmin)를 갖는 카메라 시점의 주변 카메라(22_k)로 촬상된 제 i 프레임 카메라 화상과, 제 2 카메라 거리(D2)를 갖는 카메라 시점의 주변 카메라(22_k)로 촬상된 제 i 프레임 카메라 화상을 선택한다. 또한, 단계(S47)에서, 화상 선택부(66)는, 최소 카메라 거리(Dmin)를 갖는 카메라 시점의 주변 카메라(22_k)로 촬상된 제 i 프레임의 카메라 화상과, 제 2 카메라 거리(D2)를 갖는 카메라 시점의 주변 카메라(22_k)로 촬상된 제 i 프레임의 카메라 화상을, 제 2 카메라 거리(D2)와 최소 카메라 거리(Dmin)의 비율(D2:Dmin)로 합성하여, 합성 화상을 생성한다.

즉, 최소 카메라 거리(Dmin)를 갖는 카메라 시점의 주변 카메라(22_k)로 촬상된 제 i 프레임의 카메라 화상을 구성하는 c번째의 화소를 pc로 나타내고, 제 2 카메라 거리(D2)를 갖는 카메라 시점의 주변 카메라(22_k)로 촬상된 제 i 프레임의 카메라 화상을 구성하는 c번째의 화소를 qc로 나타내면, 화상 선택부(66)는,식(D2×pc+Dmin×qC)/(D2+Dmin)에 따라 화소 pc와 qc를 합성하여 합성 화소를 생성하고, 그와 같은 합성 화소로 구성되는 합성 화상을 생성한다.

전술한 실시예에서는, 2개의 카메라 화상을 사용하여 합성 화상을 생성하도록 했지만, 이와 달리, 셋 이상의 카메라 화상을 사용하여 합성 이미지를 생성하는 것이 가능하다.

그 후, 단계(S48)로 진행하여, 화상 선택부(66)는, 단계(S47)에서 생성한 합성 화상을, m번째 시점에 대한 시점 화상으로 선택하고, 이를 시점 화상 변환부(67)에 공급한 후, 단계(S49)로 진행한다.

단계(S49)에서, m번째 시점에 대한 시점 화상이 표시용 화상으로 변환된다. 즉, 단계(S49)에서, 시점 방향 산출부(64)는, 시점 기억부(63)에 기억된 m번째 시점의 시점 방향(θ,Φ)을 산출하여, 시점 화상 변환부(67)에 공급한다. 시점 화상 변환부(67)는, 시점 방향 산출부(64)로부터 공급된 m번째 시점의 시점 방향(θ,Φ)에 따라, 화상 선택부(66)로부터 공급되는 m번째 시점에 대한 시점 화상의 각 화소를 배치해야 할, 표시용 화상의 위치를, 식(8) 및 식(9)에 따라 산출한다. 그런 다음, 시점 화상 변환부(67)는, m번째 시점에 대한 시점 화상의 화소를, 그와 같이 구해진 표시용 화상의 위치에 대응하는 프레임 메모리(68) 상 위치(어드레스)로 매핑(기록)하고, 단계(S50)로 진행한다.

그런 다음, 프레임 메모리(68)에 기록된 표시용 화상에 대응하는 광선이, 내측용 전방위 프로젝터(43)로부터 발광되어, m번째 시점으로부터 보이는 피사체의 화상이 내측 돔 스크린(44)에 표시된다.

단계(S50)에서, 콘트롤러(69)는, 변수 m이, 시점 기억부(63)에 기억된 시점의 총 수 M에 같은 수인지 판정한다. 단계(S50)에 있어서, 변수 m이 M과 같지 않다고 판정한 경우, 단계(S51)로 진행하여, 콘트롤러(69)는, 변수 m을 1만큼 인크리먼트한다. 그런 다음 단계(S42)로 돌아가, 동일한 처리를 반복한다.

반면, 단계(S50)에서, 변수 m이 M과 같다고 판정한 경우, 즉, 시점 기억부(63)에 기억된 모든 시점에 대한 시점 화상이 표시용 화상으로 변환되어 프레임 메모리(68)에 기록된 경우, 내측용 전방위 프로젝터(43)(도 8)는 제 i 프레임의 화상으로서 그 프레임 메모리(68)에 기억된 표시용 화상에 대응하는 광선을 발광한다. 이로써, 내측 돔 스크린(44)은, 첫번째부터 M번째 시점 각각에서 피사체를 보았을 때의 조감 화상을, 각 시점에 대응하는 위치에 표시한다.

그런 다음, 단계(S52)로 진행해서, 콘트롤러(69)는, 프레임 메모리(65)를 참조하여, 제 i 프레임이 마지막 프레임인지 여부를 판정한다. 단계(S52)에서, 제 i 프레임이 마지막 프레임이 아니라고 판정한 경우, 즉, 프레임 메모리(65)에, 제 i 프레임 이후 프레임의 주변 화상 데이터가 기억되어 있는 경우, 단계(S53)로 진행한다. 단계(S53)에서, 콘트롤러(69)는, 변수 i를 1만큼 인크리먼트한다. 그런 다음, 도 28의 단계(S22)로 돌아가, 동일한 처리가 반복된다.

반면, 단계(S52)에서, 제 i 프레임이 마지막 프레임이라고 판정한 경우, 즉, 프레임 메모리(65)에, 제 i 프레임 이후 프레임의 주변 화상 데이터가 기억되어 있지 않은 경우, 주변 화상 처리를 종료한다.

전술한 바와 같이, 표시 시스템(2)에서는, 제 i 프레임의 몰입 화상이 외측돔 스크린(42)의 내측 면에 표시되고, 제 i 프레임의 조감 화상이 내측 돔 스크린(44)의 외측 면에 표시된다. 따라서, 사용자는, 몰입 화상에 의해 제공되는 몰입감을 향수할 수 있음과 동시에, 조감 화상에 의해 자신의 위치를 용이하게 파악할 수 있다.

따라서, 도 1의 촬상/표시 시스템을, 예를 들어, 스포츠 프로그램의 촬상 및 표시에 사용하는 경우에는, 촬상 시스템(1)의 주변 카메라(22_k)(도 4)를, 스포츠 경기가 열리는 스타디움을 둘러싸도록 매우 많이 연속적으로 배치하는 동시에, 전방위 카메라(21)(도 3)를 스타디움의 중앙에 배치하여, 표시 시스템(2)에 현장감 넘치는 화상 표시가 가능해진다.

나아가, 표시 시스템(2)의 내측 돔 스크린(44)에는, 사용자의 시점에 따른 조감 화상이 사용자의 시점에 따른 위치에 표시되므로, 사용자에 제시되는 조감 화상은, 사용자가 시점을 이동함으로써 변화한다. 따라서, 사용자는 피사체를 조사(look into)할 수 있게 되는 바, 즉, 시점을 이동함으로써, 어느 시점에서 보았을 때 감추어져 있던 피사체를 볼 수 있게 된다. 또한, 복수 사용자의 각 시점에서 본 피사체의 조감 화상을 그 복수 사용자에게 제시하는 것이 가능해진다.

또한, 표시 시스템(2)에 의하면, 예컨대, 외측 돔 스크린(42)(도 7)이 멀리 있는 물고기나 동물 등을 표시하고, 내측 돔 스크린(44)(도 8)이 근처에 있는 물고기나 동물 등을 표시함으로써, 수족관이나 동물원 등의 자연 관찰 시설을 가상적으로 구현할 수 있다.

또한, 표시 시스템(2)에는, 실제로 촬상된 화상 대신에, 컴퓨터 그래픽스 등의 인위적으로 만들어진 화상을 표시하는 것이 가능하다. 즉, 표시 시스템(2)에는, 컴퓨터 그래픽스로 만들어진 우주 공간의 화상이나, 분자의 마이크로 구조 등의 화상을 표시하는 것이 가능하다. 이러한 경우, 통상은 시각적으로 인식할 수 없는 구조를, 사용자가 직감적으로 파악할 수 있도록 하는 인터페이스가 제공된다.

또한, 표시 시스템(2)은, 예를 들어, 이른바 비디오게임의 화상 표시에도 사용될 수 있다.

도 6에 도시된, 광각 화상 처리부(33)와 주변 화상 처리부(35)에 의한 일련의 처리 과정은, 하드웨어에 의해 실행될 수도 있고, 소프트웨어에 의해 실행될 수도 있다. 그 일련의 처리가 소프트웨어에 의해 실행되는 경우에는, 그러한 소프트웨어를 구성하는 프로그램이, 예컨대 범용 컴퓨터에 설치된다.

도 30은, 일실시예에 따라, 전술한 일련의 처리를 실행하는 프로그램이 설치된 컴퓨터의 구성예를 도시하고 있다.

프로그램은, 컴퓨터에 내장된 기록 매체인, 하드디스크(105)나 ROM(l03)에 미리 기억될 수 있다.

이와 달리, 프로그램은, 플렉시블 디스크(flexible disc), CD-ROM(compact disc read only memory), MO(magneto optical) 디스크, DVD(digital versatile Disc), 자기 디스크, 반도체 메모리 등의 소거가능(removable) 기록 매체(111)에, 일시적 또는 영속적으로 저장(기록)하여 둘 수 있다. 이러한 리무버블 기록 매체(111)는, 이른바 팩키지 소프트웨어로서 제공될 수 있다.

전술한 바와 같이 프로그램을 리무버블 기록 매체(111)로부터 컴퓨터에 설치하는 대신에, 다운로드 사이트로부터, 디지털 위성 방송용 인공 위성을 통하여, 컴퓨터에 무선으로 전송되거나, LAN(Local Area Network) 또는 인터넷 등의 네트워크를 통하여 컴퓨터에 유선으로 전송되어, 이와 같이 전송되어 온 프로그램을, 통신부(108)가 수신하고, 내장 하드디스크(105)에 설치할 수 있다.

컴퓨터는 CPU(central processing unit)(102)를 내장하고 있다. CPU(102)에는, 버스(101)를 통하여, 입출력 인터페이스(110)로 접속되어 있다. CPU(102)는, 사용자가 예컨대, 키보드, 마우스, 마이크로폰 등으로 구성되는 입력부(107)를 조작함으로써 발행한 지령의 입력을 수신하면, 그 지령에 따라 ROM(read only memory)(103)에 기록되어 있는 프로그램을 실행한다. 이와 달리, CPU(102)는, 하드디스크(105)에 기록되어 있는 프로그램, 위성 또는 네트워크로부터 전송되어 통신부(108)에 의해 수신되고 하드디스크(105)에 설치된 프로그램, 또는 리무버블 기록 매체(111)로부터 판독되어 하드디스크(105)에 설치된 프로그램을, RAM(random access memory)(104)로 로드하여 실행한다. 이로써, CPU(102)는, 전술한 흐름도에 따른 처리, 또는 전술한 블록도의 구성에 의해 행해지는 처리를 실행한다. 그런 다음, CPU(102)는, 필요에 따라, 입출력 인터페이스(11O)를 통하여, 그 처리 결과를, 예컨대, LCD(liquid crystal display)나 스피커 등으로 구성되는 출력부(106)로부터 출력하거나, 통신부(108)로부터 송신하거나, 또는, 하드디스크(105)에 기록한다.

본 명세서에서, 컴퓨터가 각종의 처리를 실행할 수 있도록 하는 프로그램을기술하는 처리 단계는, 반드시 흐름도에 기재된 순서에 따라 시계열로 처리할 필요는 없고, 병렬적 또는 개별적으로 실행(예컨대, 병렬처리 또는 객체에 의한 처리)될 수도 있다.

또한, 프로그램은, 단일 컴퓨터에 의해 처리될 수도 있고, 복수의 컴퓨터에 의해 분산 처리될 수도 있다. 또한, 프로그램은, 원격 컴퓨터에 의하여 전송되어 실행될 수도 있다.

표시 시스템(2)에는, 기록 매체(3)(도 1)에 기록된 화상이, 오프 라인(off-line) 방식으로 표시될 수도 있고, 전송 매체(4)를 통하여 전송되어 온 화상이 실시간으로 표시될 수도 있다.

또한, 전술한 바와 같이, 내측용 전방위 프로젝터(43)(도 8)는, 표시용 화상에 대응하는 광선을 발하고, 그 광선을, 내측 돔 스크린(44)(도 8)에 배면 투사함으로써, 시점 화상을 표시하는 경우에는, 그 시점 화상에 있어서 좌우가 반전된다. 내측 돔 스크린(44)에 표시되는 시점 화상의 좌우 반전을 방지하기 위해서, 예컨대, 원래의 시점 화상인 카메라 화상의 좌우를 미리 반전해 두어야 한다. 이러한 반전 처리는, 예를 들어, 주변 화상 처리부(35)의 화상 선택부(66)(도 23)에 실행될 수 있다. 이와 달리, 카메라 화상의 좌우의 반전은, 예를 들어, 촬상 시스템(1)의 주변 카메라(22_k)(도 4)에 의하여 카메라 화상이 촬상될 때, 광학적으로 실행할 수도 있다.

또한, 본 실시예에서는, 내측용 전방위 프로젝터(43)(도 8)가, 표시용 화상에 대응하는 광선을 발하고, 그 광선을 내측 돔 스크린(44)(도 8)에 배면 투사함으로써, 시점 화상을 표시하였다. 이 경우, 표시용 화상은 내측 돔 스크린(44)(도 8)의 형상을 고려하여 생성되어야 한다. 즉, 시점 화상이 직사각형 형상임을 고려하면, 그 직사각형 형상의 시점 화상을 표시용 화상의 소정 위치에 매핑하고, 그 표시용 화상에 대응하는 광선을, 내측용 전방위 프로젝터(43)에 의하여 발하여, 내측 돔 스크린(44)에 시점 화상을 표시하는 경우, 직사각형 형상의 시점 화상이, 반구형의 내측 돔 스크린(44)의 구면에 투사되기 때문에, 내측 돔 스크린(44)에 표시된 시점 화상이 일그러지게 된다. 따라서, 내측 돔 스크린(44)에서 시점 화상이 일그러짐없이 직사각형 형상에 표시되도록, 시점 화상 변환부(67)(도 23)는, 내측 돔 스크린(44)의 형상에 따라, 시점 화상을 변환하고 표시용 화상에 매핑해야 한다.

그러나, 본 실시예에서는, 내측 돔 스크린(44)(도 8)의 반경이 어느 정도 크고, 시점 화상이 표시되는 범위가 평면으로 간주될 수 있다. 이 경우, 내측 돔 스크린(44)의 형상에 근거하여, 시점 화상에 대하여 표시용 화상을 변환하고 매핑하는 것은 선택적이다.

또한, 본 실시예에서는, 촬상 시스템(1)에, 단지 하나의 주변 촬상부(12)(도 2)만이 구비되어 있지만, 복수의 주변 촬상부(12)가 설치될 수도 있다. 이 경우, 복수의 주변 촬상부(12)가, 공간적 또는 시간적으로 이격되어 있는 복수의 피사체의 화상을 촬상하고, 표시 시스템(2)이, 그 복수의 피사체의 화상을 중첩시킴으로써 얻어진 화상을 카메라 화상으로서 처리하도록 하는 것이 가능하다.

또한, 도 6의 광각 화상 처리부(33), 주변 화상 처리부(35), 및 시점 검출부(37)는, 표시 시스템(1)이 아닌, 촬상 시스템(1)(도 2)에 설치될 수도 있다.

본 발명은, 2002년 10월 4일 일본 특허청에 출원된, 출원 번호 P2002-291819의 일본 우선권 서류에 개시된 내용과 관련된 주제를 포함하며, 그 전체 내용이 본 명세서에서 참조로써 인용된다.

이상과 같이, 본 발명에 의하면, 사용자가 자신의 위치 관계를 파악하기 쉽고, 아직 현장감이 있는 화상의 표시를 하는 것이 가능해진다.

Claims (33)

1. 표시 장치(display apparatus)로서,

   내측 면(interior surface)을 갖는 3차원 형상을 구비하고, 상기 내측 면에 의하여 적어도 일부가 둘러싸인 위치에서 볼 수 있게, 제 1 화상을 상기 내측 면상에 표시하도록 구성된 제 1 표시 구조; 및

   상기 내측 면에 의하여 적어도 일부가 둘러싸인 상기 위치에서 볼 수 있는 제 2 화상을 제 2 면상에 표시하도록 구성된 제 2 표시 구조

   를 구비한 표시 장치.
2. 제 1 항에 있어서,

   상기 제 1 표시 구조가, 사용자에게 몰입감(a sense of immersion)을 제공하기 위하여 상기 내측 면상에 몰입 화상(immersion image)을 표시하도록 구성된 표시 장치.
3. 제 1 항에 있어서,

   상기 제 1 화상을 상기 내측 면으로 투사하도록 구성된 프로젝터(projector)를 더 포함하는 표시 장치.
4. 제 3 항에 있어서,

   상기 프로젝터에 의하여 투사된 상기 제 1 화상은, 전방위 촬상 장치(omnidirectional imaging device)에 의하여 캡쳐(captured)된 전방위 화상(omnidirectional image)이고 상기 전방위 촬상 장치는 자신으로부터 보이는 주변 환경(surroundings)을 실질적으로 모든 방향에서 촬상하도록 구성된 표시 장치.
5. 제 4 항에 있어서,

   상기 전방위 촬상 장치를 더 포함하는 표시 장치.
6. 제 4 항에 있어서,

   상기 전방위 화상을, 위도 방향과 경도 방향으로 정해지는 평면상에 직사각형 형상을 갖는 위도-경도 화상으로 변환하도록 구성된 전방위 화상 변환 메카니즘(omnidirectional-image converting mechanism);

   상기 프로젝터의 특성에 따라 상기 위도-경도 화상을 보정하도록 구성된 보정 메카니즘(correction mechanism); 및

   상기 위도-경도 화상을 상기 보정 메카니즘에 의하여 보정한 다음 상기 전방위 화상으로 변환하도록 구성된 위도-경도-화상 변환 메카니즘(latitude-longitude-image converting mechanism)

   을 더 포함하고,

   상기 프로젝터는 상기 위도-경도 변환 메카니즘에 의하여 획득된 상기 전방위 화상을 투사하는

   표시 장치.
7. 제 1 항에 있어서,

   상기 제 2 표시 구조는 상기 3차원 형상 내부의 소정 시점(predetermined viewpoint)에서 보이는 조감 화상을 표시하도록 구성된 표시 장치.
8. 제 1 항에 있어서,

   상기 제 2 표시 구조의 내부에 의하여 정해지는 내부 공간 안에서부터 상기 제 2 면으로 상기 제 2 화상을 투사하도록 구성된 프로젝터를 더 포함하는 표시 장치.
9. 제 8 항에 있어서,

   상기 제 2 화상이 피사체의 화상이고, 상기 프로젝터는 소정 시점(viewpoint)에서 볼 수 있게 상기 제 2 화상을 상기 제 2 면으로 투사하도록 구성된 표시 장치.
10. 제 9 항에 있어서,

    상기 프로젝터는 사용자 시점에서 볼 수 있는 상기 제 2 화상을 상기 제 2 면으로 투사하도록 구성된 표시 장치.
11. 제 10 항에 있어서,

    상기 사용자 시점을 검출하도록 구성된 시점 검출기(viewpoint detector)를 더 포함하는 표시 장치.
12. 제 9 항에 있어서,

    상기 프로젝터는, 상기 소정 시점과, 상기 제 2 화상이 표시되는 상기 제 2 면의 형상에 따라, 상기 제 2 화상을 투사하도록 구성된 표시 장치.
13. 제 12 항에 있어서,

    상기 프로젝터는, 상기 피사체에 대한 각각의 화상을 캡쳐하는 복수의 촬상 장치에 의하여 각각 캡쳐된 화상을 이용해서, 상기 제 2 화상을 생성하는 표시 장치.
14. 제 13 항에 있어서,

    상기 복수의 촬상 장치를 더 포함하는 표시 장치.
15. 제 13 항에 있어서,

    상기 프로젝터는

    상기 소정 시점에 따라, 상기 복수의 촬상 장치에 의하여 캡쳐된 화상 중에서, 상기 소정 시점에서 보여지는 소정 피사체의 시점 화상(viewpoint image)을 선택하도록 구성된 화상 선택 메카니즘; 및

    상기 소정 시점과 상기 제 2 화상이 표시되는 상기 제 2 면의 형상에 따라, 상기 시점 화상을 상기 제 2 화상으로 변환하도록 구성된 시점-화상 변환 메카니즘(viewpoint-image converting mechanism)

    을 포함하는 표시 장치.
16. 제 15 항에 있어서,

    상기 화상 선택 메카니즘은 상기 사용자의 복수 시점 각각에 관련된 시점 화상을 선택하도록 구성되고,

    상기 시점-화상 변환 메카니즘은, 상기 제 2 이미지를 생성하기 위하여, 상기 사용자의 복수 시점 각각에 관련된 상기 시점 화상을 변환하도록 구성되고,

    상기 제 2 표시 구조는 상기 복수 시점에서 각각 보여지는 상기 소정 피사체에 대한 화상들의 편집(a compilation of images)으로서 상기 제 2 화상을 표시하도록 구성된

    표시 장치.
17. 제 15 항에 있어서,

    상기 사용자의 복수 시점을 통합형 단일 시점(integrated single viewpoint)으로 통합하도록 구성된 통합 메카니즘(integrating mechanism)을 더 포함하고,

    상기 화상 선택 메카니즘은 상기 복수의 촬상 장치에 의하여 각각 캡쳐된 화상 중에서 상기 사용자의 복수 시점 각각에 관련된 시점 화상을 선택하고, 상기 시점 화상으로부터 상기 통합형 단일 시점에 대한 시점 화상을 생성하며,

    상기 시점-화상 변환 메카니즘은 상기 통합형 단일 시점에 대한 상기 시점 화상을 상기 제 2 화상으로 변환하는

    표시 장치.
18. 제 17 항에 있어서,

    상기 화상 선택 메카니즘은, 상기 통합형 단일 시점에 대한 상기 시점 화상을 생성하기 위하여, 상기 통합형 단일 시점으로부터 상기 사용자 시점 각각의 거리에 따라 상기 사용자의 복수 시점 각각에 관련된 상기 시점 화상의 가중치합(weighted sum)을 계산하도록 구성된 표시 장치.
19. 제 17 항에 있어서,

    상기 통합 메카니즘은 상기 사용자의 복수 시점을 상기 사용자의 복수 시점의 중심(重心 : barycenter) 위치로 통합하는 표시 장치.
20. 제 17 항에 있어서,

    상기 사용자의 복수 시점들간 거리를 계산하도록 구성된 시점-거리 계산 메카니즘(viewpoint-distance calculating mechanism)을 더 포함하고,

    상기 통합 메카니즘은 단일 시점으로부터 소정 거리 이하의 시점 거리를 갖는 상기 사용자의 복수 시점을 통합하도록 구성된 표시 장치.
21. 제 1 항에 있어서,

    상기 제 1 표시 구조와 상기 제 2 표시 구조 중 적어도 하나는 반구형 돔을 갖는 표시 장치.
22. 복수의 위치에서 캡쳐된 화상을 처리하고, 소정의 3차원 형상을 갖는 내측 표시면을 향하여 표시하도록 프로젝터에 의해서 투사된 투사 화상(projected image)을 생성하는 화상 처리 장치로서,

    사용자의 시점에 따라, 상기 복수의 위치에서 각각 캡쳐된 화상 중에서 상기 사용자의 시점에서 보여지는 소정 피사체의 시점 화상을 선택하도록 구성된 화상 선택 메카니즘; 및

    상기 사용자의 시점과 상기 내측 표시면의 상기 소정의 3차원 형상에 따라, 상기 시점 화상을 상기 투사 화상으로 변환하도록 구성된 시점-화상 변환 메카니즘

    을 포함하는 화상 처리 장치.
23. 제 22 항에 있어서,

    상기 사용자의 시점을 검출하도록 구성된 검출기를 더 포함하는 화상 처리 장치.
24. 제 22 항에 있어서,

    복수의 촬상 장치를 더 포함하는 화상 처리 장치.
25. 제 22 항에 있어서,

    상기 화상 선택 메카니즘은 상기 사용자의 복수 시점 각각에 관련된 시점 화상을 선택하고,

    상기 시점-화상 변환 메카니즘은 상기 사용자의 복수 시점 각각에 관련된 상기 시점 화상을 변환하여 투사 화상을 생성하도록 구성되며,

    상기 표시 메카니즘은 상기 사용자의 복수 시점 각각에서 보여지는 소정 피사체의 화상을 표시하기 위하여, 상기 투사 화상을 표시하도록 구성된

    화상 처리 장치.
26. 제 22 항에 있어서,

    상기 사용자의 복수 시점을 하나의 통합형 단일 시점으로 통합하도록 구성된 통합 메카니즘을 더 포함하며,

    상기 화상 선택 메카니즘은 복수의 촬상 장치에 의하여 각각 캡쳐된 화상 중에서 상기 사용자의 복수 시점 각각에 관련된 시점 화상을 선택하고, 상기 시점 화상으로부터 상기 통합형 단일 시점에 대한 시점 화상을 생성하고,

    상기 시점-화상 변환 메카니즘은 상기 통합형 단일 시점에 대한 상기 시점화상을 상기 투사 화상으로 변환하도록 구성된

    화상 처리 장치.
27. 제 26 항에 있어서,

    상기 화상 선택 메카니즘은, 상기 통합형 단일 시점에 대한 상기 시점 화상을 생성하기 위하여, 상기 사용자의 복수 시점 각각과 상기 통합형 단일 시점의 거리에 따라 상기 사용자의 복수 시점 각각에 관련된 상기 시점 화상의 가중치합을 계산하도록 구성된 화상 처리 장치.
28. 제 26 항에 있어서,

    상기 통합 메카니즘은 상기 사용자의 복수 시점을 상기 사용자의 복수 시점의 중심(barycenter) 위치로 통합하도록 구성된 화상 처리 장치.
29. 제 26 항에 있어서,

    상기 사용자의 복수 시점간 거리를 계산하도록 구성된 시점-거리 계산기(viewpoint-distance calculator)를 더 포함하며,

    상기 통합 메카니즘은 소정 거리 이하의 시점 거리를 갖는 상기 사용자의 복수 시점을 통합형 단일 시점으로 통합하도록 구성된 화상 처리 장치.
30. 복수의 위치에서 캡쳐된 화상을 처리하고 프로젝터에 의하여 표시면으로 투사되는 투사 화상을 생성하는 화상 처리 방법으로서,

    사용자의 시점에 따라, 상기 복수의 위치에서 각각 캡쳐된 화상 중에서 피사체의 시점 화상을 선택하는 단계; 및

    상기 사용자의 시점과 상기 표시면의 형상에 따라, 상기 시점 화상을 상기 투사 화상으로 변환하는 단계

    를 포함하는 화상 처리 방법.
31. 복수의 위치에서 캡쳐된 화상을 처리하고, 화상이 표시되도록 구성된 표시면으로 프로젝터에 의하여 투사된 투사 화상을 생성하는 화상 처리를 컴퓨터가 수행하도록 하는 실행 프로그램으로서,

    상기 프로그램은 상기 컴퓨터로 하여금

    사용자의 시점에 따라 상기 복수의 위치 각각에서 캡쳐된 상기 화상 중에서, 상기 사용자의 시점에 따른 피사체의 시점 화상을 선택하는 단계; 및

    상기 사용자의 시점과 상기 표시면의 형상에 따라, 상기 시점 화상을 상기 투사 화상으로 변환하는 단계

    를 수행하도록 하는 명령을 포함하는 실행 프로그램.
32. 화상을 캡쳐하기 위한 촬상 장치로서,

    화상 주변 환경을 모든 방향에서 획득하기 위한 전방위 촬상 수단; 및

    복수의 방향에서 피사체의 화상을 획득하기 위한 피사체-촬상 수단

    을 포함하는 촬상 장치.
33. 제 32 항에 있어서,

    상기 전방위 촬상 수단에 의하여 획득된 화상은 사용자에게 몰입감을 제공하기 위한 몰입 화상을 표시하기 위한 수단을 포함하고,

    상기 피사체-촬상 수단에 의하여 획득된 화상은 상기 사용자의 시점에서 보여지는 상기 피사체의 조감 화상(bird's-eye image)을 표시하는 수단을 포함하는 촬상 장치.