KR102643841B1 - 정보 처리 장치 및 방법, 그리고 프로그램 - Google Patents

Abstract

본 기술은 적은 연산량으로 높은 임장감을 얻을 수 있도록 하는 정보 처리 장치 및 방법, 그리고 프로그램에 관한 것이다. 정보 처리 장치는, 소정의 오브젝트와 다른 오브젝트의 위치 관계에 기초하여 감쇠량을 결정하고, 그 감쇠량에 기초하여 소정의 오브젝트의 신호의 게인을 결정하는 게인 결정부를 구비한다. 본 기술은 신호 처리 장치에 적용할 수 있다.

Description

정보 처리 장치 및 방법, 그리고 프로그램

본 기술은 정보 처리 장치 및 방법, 그리고 프로그램에 관한 것으로, 특히 적은 연산량으로 높은 임장감을 얻을 수 있도록 한 정보 처리 장치 및 방법, 그리고 프로그램에 관한 것이다.

종래, 영화나 게임 등에서 오브젝트 오디오 기술이 사용되며, 오브젝트 오디오를 취급할 수 있는 부호화 방식도 개발되어 있다. 구체적으로는, 예를 들어 국제 표준 규격인 MPEG(Moving Picture Experts Group)-H Part 3:3D audio 규격 등이 알려져 있다(예를 들어, 비특허문헌 1 참조).

이러한 부호화 방식에서는, 종래 2채널 스테레오 방식이나 5.1채널 등의 멀티채널 스테레오 방식과 함께, 이동하는 음원 등을 독립된 오디오 오브젝트로서 다루고, 오디오 오브젝트의 신호 데이터와 함께 오브젝트의 위치 정보를 메타데이터로서 부호화하는 것이 가능하다.

이와 같이 함으로써, 스피커의 수나 배치가 다른 여러 가지 시청 환경에서 재생을 행할 수 있다. 또한, 종래의 부호화 방식으로는 곤란했던 특정 음원의 음의 음량 조정이나, 특정 음원의 음에 대한 이펙트의 추가 등, 특정 음원의 음을 재생 시에 가공하는 것을 용이하게 행할 수 있다.

예를 들어 비특허문헌 1의 규격에서는, 렌더링 처리에 3차원 VBAP(Vector Based Amplitude Panning)(이하, 간단히 VBAP라고 칭함)라고 불리는 방식이 사용된다.

이것은 일반적으로 패닝이라고 불리는 렌더링 방법의 하나로서, 유저 위치를 원점으로 하는 구 표면 상에 존재하는 스피커 중, 동일하게 구 표면 상에 존재하는 오디오 오브젝트에 가장 가까운 3개의 스피커에 대하여 게인을 분배함으로써 렌더링을 행하는 방식이다.

또한, VBAP 이외에도, 예를 들어 게인을 x축, y축 및 z축의 각각에 대하여 분배하는 Speaker-anchored coordinates panner라고 불리는 패닝 방법에 의한 렌더링 처리도 알려져 있다(예를 들어, 비특허문헌 2 참조).

INTERNATIONAL STANDARD ISO/IEC 23008-3 First edition 2015-10-15 Information technology-High efficiency coding and media delivery in heterogeneous environments-Part 3:3D audio ETSI TS 103 448 v1.1.1(2016-09)

그런데, 상술한 렌더링 방식에서는, 복수의 오디오 오브젝트의 오브젝트 신호는 개개의 오디오 오브젝트별로 렌더링되며, 오디오 오브젝트간의 상대적인 위치 관계에 따른 음향의 변화는 전혀 고려되어 있지 않다. 그 때문에, 음성 재생 시에 높은 임장감을 얻을 수 없었다.

예를 들어 수청자의 위치로부터 보아, 어떤 제1 오디오 오브젝트의 배후에서 다른 제2 오디오 오브젝트로부터 음이 방사되었다고 하자. 그러한 경우에, 그 제2 오디오 오브젝트의 음에 대하여, 제1 오디오 오브젝트에서 발생하는 음의 반사나 회절, 흡수에 의해 발생하는 감쇠 효과는 전혀 무시되어 버린다.

또한, 상술한 렌더링 방식에서는, 유저 위치가 고정되어 있기 때문에, 예를 들어 유저 위치와 복수의 오디오 오브젝트의 위치 관계에 따라, 사전에 오브젝트 신호의 레벨을 조정하는 것이 가능하다.

이러한 레벨 조정에 의해, 오디오 오브젝트간의 상대적인 위치 관계에 따른 음향의 변화를 표현하는 것이 가능하게 된다. 따라서, 예를 들어 오디오 오브젝트에 있어서의 음의 반사나 회절, 흡수에 의해 발생하는 감쇠 효과를 물리 법칙에 기초하여 계산하고, 그 계산 결과에 기초하여 오디오 오브젝트의 오브젝트 신호의 레벨 조정을 사전에 행하면, 높은 임장감을 얻을 수 있다.

그러나, 이러한 음의 반사나 회절, 흡수에 의해 발생하는 감쇠 효과를 물리 법칙에 기초하여 계산하면, 다수의 오디오 오브젝트가 존재하는 경우에는 연산량이 많아져 버리므로 현실적이지 않다.

게다가, 유저 위치가 고정인 고정 시점에서는 미리 레벨 조정을 행함으로써, 음의 반사나 회절 등을 고려한 오브젝트 신호를 생성해 둘 수 있지만, 유저 위치를 이동 가능한 자유 시점에서는, 그러한 사전의 레벨 조정은 전혀 의미를 둘 수 없게 되어 버린다.

본 기술은 이러한 상황을 감안하여 이루어진 것이며, 적은 연산량으로 높은 임장감을 얻을 수 있도록 하는 것이다.

본 기술의 일 측면의 정보 처리 장치는, 소정의 오브젝트와 다른 오브젝트의 위치 관계에 기초하여 감쇠량을 결정하고, 상기 감쇠량에 기초하여 상기 소정의 오브젝트의 신호의 게인을 결정하는 게인 결정부를 구비한다.

본 기술의 일 측면의 정보 처리 방법 또는 프로그램은, 소정의 오브젝트와 다른 오브젝트의 위치 관계에 기초하여 감쇠량을 결정하고, 상기 감쇠량에 기초하여 상기 소정의 오브젝트의 신호의 게인을 결정하는 스텝을 포함한다.

본 기술의 일 측면에 있어서는, 소정의 오브젝트와 다른 오브젝트의 위치 관계에 기초하여 감쇠량이 결정되고, 상기 감쇠량에 기초하여 상기 소정의 오브젝트의 신호의 게인이 결정된다.

본 기술의 일 측면에 따르면, 적은 연산량으로 높은 임장감을 얻을 수 있다.

또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어느 효과여도 된다.

도 1은 VBAP에 대하여 설명하는 도면이다.
도 2는 신호 처리 장치의 구성예를 도시하는 도면이다.
도 3은 좌표 변환에 대하여 설명하는 도면이다.
도 4는 좌표 변환에 대하여 설명하는 도면이다.
도 5는 좌표계에 대하여 설명하는 도면이다.
도 6은 감쇠 거리와 반경비에 대하여 설명하는 도면이다.
도 7은 메타데이터에 대하여 설명하는 도면이다.
도 8은 감쇠 테이블에 대하여 설명하는 도면이다.
도 9는 보정 테이블에 대하여 설명하는 도면이다.
도 10은 오디오 출력 처리를 설명하는 흐름도이다.
도 11은 컴퓨터의 구성예를 도시하는 도면이다.

이하, 도면을 참조하여, 본 기술을 적용한 실시 형태에 대하여 설명한다.

<제1 실시 형태>

<본 기술에 대하여>

본 기술은 오디오 오브젝트의 렌더링을 행하는 경우에, 공간 내에 있어서의 복수의 오디오 오브젝트의 위치 관계에 기초하여 오디오 오브젝트의 게인 정보를 결정함으로써, 적은 연산량으로도 충분히 높은 임장감을 얻을 수 있도록 하는 것이다.

또한, 본 기술은 오디오 오브젝트의 렌더링에 한하지 않고, 공간 내에 존재하는 복수의 각 오브젝트에 대하여, 그들 오브젝트에 관한 파라미터를 오브젝트간의 위치 관계에 따라 조정하는 경우에 적용 가능하다. 예를 들어 본 기술은 오브젝트간의 위치 관계에 따라, 오브젝트의 화상 신호에 관한 휘도(광량) 등의 파라미터의 조정량을 결정하는 경우 등에도 적용 가능하다.

이하에서는 오디오 오브젝트의 렌더링을 행하는 경우를 구체적인 예로 들어 설명을 계속한다. 또한, 이하에서는 오디오 오브젝트를 간단히 오브젝트라고도 칭하기로 한다.

예를 들어 렌더링 시에는, 상술한 VBAP 등의 소정 방식의 렌더링 처리가 행해진다. VBAP에서는 공간에 있어서의 유저 위치를 원점으로 하는 구 표면 상에 존재하는 스피커 중, 동일하게 구 표면 상에 존재하는 오브젝트에 가장 가까운 3개의 스피커에 대하여 게인이 분배된다.

예를 들어 도 1에 도시하는 바와 같이, 3차원 공간에 수청자인 유저 U11이 있고, 그 유저 U11의 전방에 3개의 스피커 SP1 내지 스피커 SP3이 배치되어 있다고 하자.

또한, 유저 U11의 헤드부의 위치를 원점 O라고 하고, 그 원점 O를 중심으로 하는 구의 표면 상에 스피커 SP1 내지 스피커 SP3이 위치하고 있다고 하자.

이제, 구 표면 상에 있어서의 스피커 SP1 내지 스피커 SP3에 둘러싸이는 영역 TR11 내에 오브젝트가 존재하고 있고, 그 오브젝트의 위치 VSP1에 음상을 정위시키는 것을 생각하기로 하자.

그러한 경우, VBAP에서는 오브젝트에 대하여, 위치 VSP1의 주위에 있는 스피커 SP1 내지 스피커 SP3에 대하여 게인이 분배되게 된다.

구체적으로는, 원점 O를 기준(원점)으로 하는 3차원 좌표계에 있어서, 원점 O를 시작점으로 하고, 위치 VSP1을 종료점으로 하는 3차원 벡터 P에 의해 위치 VSP1을 나타내는 것으로 한다.

또한, 원점 O를 시작점으로 하고, 각 스피커 SP1 내지 스피커 SP3의 위치를 종료점으로 하는 3차원 벡터를 벡터 L₁ 내지 벡터 L₃이라고 하면, 벡터 P는 다음 식 (1)에 나타내는 바와 같이, 벡터 L₁ 내지 벡터 L₃의 선형합에 의해 나타낼 수 있다.

여기서, 식 (1)에 있어서 벡터 L₁ 내지 벡터 L₃에 승산되어 있는 계수 g₁ 내지 계수 g₃을 산출하고, 이들 계수 g₁ 내지 계수 g₃을, 스피커 SP1 내지 스피커 SP3의 각각으로부터 출력하는 음의 게인으로 하면, 위치 VSP1에 음상을 정위시킬 수 있다.

예를 들어 계수 g₁ 내지 계수 g₃을 요소로 하는 벡터를 g₁₂₃=[g₁,g₂,g₃]이라고 하고, 벡터 L₁ 내지 벡터 L₃을 요소로 하는 벡터를 L₁₂₃=[L₁,L₂,L₃]이라고 하면, 상술한 식 (1)을 변형하여 다음 식 (2)를 얻을 수 있다.

이러한 식 (2)를 계산하여 구한 계수 g₁ 내지 계수 g₃을 게인으로서 사용하여, 오브젝트의 음의 신호인 오브젝트 신호를 각 스피커 SP1 내지 스피커 SP3에 출력함으로써, 위치 VSP1에 음상을 정위시킬 수 있다.

또한, 각 스피커 SP1 내지 스피커 SP3의 배치 위치는 고정되어 있고, 그들 스피커의 위치를 나타내는 정보는 기지의 정보이기 때문에, 역행렬인 L₁₂₃ ^-1은 사전에 구해 둘 수 있다. 그 때문에, VBAP에서는 비교적 용이한 계산으로, 즉 적은 연산량으로 렌더링을 행하는 것이 가능하다.

그러나, 상술한 바와 같이 VBAP 등에 의한 렌더링에 있어서 공간 내에 복수의 오브젝트가 있는 경우에, 그들 오브젝트간의 상대적인 위치 관계에 의한 음향의 변화는 전혀 고려되어 있지 않기 때문에, 음성 재생 시에 높은 임장감을 얻을 수 없었다.

또한, 미리 오브젝트 신호의 레벨 조정을 행해 두는 것도 생각할 수 있지만, 레벨 조정을 위한 감쇠 효과를 물리 법칙에 기초하여 계산하는 것은 연산량이 많아 현실적이지 않다. 또한, 자유 시점에서는 유저의 위치가 변화하므로, 미리 레벨 조정을 행해 두는 것은 전혀 의미를 둘 수 없게 되어 버린다.

그래서, 본 기술에서는 오브젝트의 감쇠에 관한 정보를 이용하여, 음의 재생측에 있어서 오브젝트 신호의 레벨 조정을 행하도록 함으로써, 적은 연산량으로 높은 임장감을 얻을 수 있도록 하였다.

특히, 본 기술에서는 오브젝트간의 상대적인 위치 관계에 기초하여, 오브젝트 신호의 레벨 조정을 위한 게인 정보를 결정함으로써, 적은 연산량으로도 음의 반사나 회절, 흡수에 의해 발생하는 감쇠 효과, 즉 음향의 변화를 생기게 할 수 있다. 이에 의해, 높은 임장감을 얻을 수 있다.

<신호 처리 장치의 구성예>

다음에, 본 기술을 적용한 신호 처리 장치의 구성예에 대하여 설명한다.

도 2는 본 기술을 적용한 신호 처리 장치의 일 실시 형태의 구성예를 도시하는 도면이다.

도 2에 도시하는 신호 처리 장치(11)는 디코드 처리부(21), 좌표 변환 처리부(22), 오브젝트 감쇠 처리부(23) 및 렌더링 처리부(24)를 갖고 있다.

디코드 처리부(21)는, 송신되어 온 입력 비트 스트림을 수신하여 복호(디코드)하고, 그 결과 얻어진 오브젝트의 메타데이터 및 오브젝트 신호를 출력한다.

여기서, 오브젝트 신호는, 오브젝트의 음을 재생하기 위한 오디오 신호이다. 또한, 메타데이터에는, 오브젝트마다 오브젝트 위치 정보, 오브젝트 외경 정보, 오브젝트 감쇠 정보, 오브젝트 감쇠 무효 정보 및 오브젝트 게인 정보가 포함되어 있다.

오브젝트 위치 정보는, 오브젝트가 존재하는 공간(이하, 수청 공간이라고도 칭함)에 있어서의 오브젝트의 절대적인 위치를 나타내는 정보이다.

예를 들어 오브젝트 위치 정보는, 소정의 위치를 원점으로 하는 3차원 직교 좌표계, 즉 xyz 좌표계의 x 좌표, y 좌표 및 z 좌표에 의해 표현되는, 오브젝트의 위치를 나타내는 좌표 정보로 된다.

오브젝트 외경 정보는, 오브젝트의 외경을 나타내는 정보이다. 예를 들어, 여기서는 오브젝트가 구 형상인 것으로 하고, 그 구의 반경이 오브젝트의 외경을 나타내는 오브젝트 외경 정보로 되는 것으로 하자.

또한, 이하에서는 오브젝트가 구형인 것으로서 설명을 행하지만, 오브젝트는 어떠한 형상이어도 된다. 예를 들어 오브젝트가 x축, y축 및 z축의 각 방향에 직경을 갖는 형상인 것으로 하고, 그들 각 축 방향의 오브젝트의 반경을 나타내는 정보를 오브젝트 외경 정보로 하도록 해도 된다.

또한, spread를 위한 외경 정보를 오브젝트 외경 정보로서 사용하도록 해도 된다. 예를 들어 MPEG-H Part 3:3D audio 규격에서는, 음원의 크기를 확장하는 기술로서 spread라고 불리는 기술이 채용되고 있으며, 음원의 크기를 확장하기 위해 각 오브젝트의 외경 정보를 기록할 수 있는 포맷으로 되어 있다. 그래서, 이러한 spread를 위한 외경 정보를 오브젝트 외경 정보로서 사용하도록 해도 된다.

오브젝트 감쇠 정보는, 오브젝트에 기인하여 다른 오브젝트로부터의 음이 감쇠될 때의 음의 감쇠량에 관한 정보이다. 오브젝트 감쇠 정보를 사용함으로써, 오브젝트간의 위치 관계에 따른, 소정의 오브젝트에 있어서의 다른 오브젝트의 오브젝트 신호의 감쇠량을 얻을 수 있다.

오브젝트 감쇠 무효 정보는, 오브젝트의 음, 즉 오브젝트 신호에 대한 감쇠 처리를 행할지 여부, 즉 오브젝트 신호를 감쇠시킬지 여부를 나타내는 정보이다.

예를 들어 오브젝트 감쇠 무효 정보의 값이 1인 경우, 오브젝트 신호에 대한 감쇠 처리는 무효로 된다. 즉, 오브젝트 감쇠 무효 정보의 값이 1인 경우, 오브젝트 신호에 대한 감쇠 처리는 행해지지 않는다.

예를 들어 음원 제작자의 의도로서, 어떤 오브젝트는 중요한 것이며, 그 오브젝트의 음에 대해서는 다른 오브젝트와의 위치 관계에 의한 감쇠 효과를 발생시키고 싶지 않다는 의도가 있는 경우에는, 오브젝트 감쇠 무효 정보의 값이 1로 설정된다. 또한, 이하에서는 오브젝트 감쇠 무효 정보의 값이 1로 된 오브젝트를 감쇠 무효 오브젝트라고도 칭하기로 한다.

이에 비해, 오브젝트 감쇠 무효 정보의 값이 0인 경우, 오브젝트와 다른 오브젝트의 위치 관계에 따라, 오브젝트 신호에 대한 감쇠 처리가 행해진다. 이하에서는 오브젝트 감쇠 무효 정보의 값이 0인, 감쇠 처리의 대상으로 될 수 있는 오브젝트를 감쇠 처리 오브젝트라고도 칭하기로 한다.

오브젝트 게인 정보는, 미리 음원 제작자측에서 정해진, 오브젝트 신호의 레벨 조정을 행하기 위한 게인을 나타내는 정보이다. 예를 들어 오브젝트 게인 정보는, 게인을 나타내는 데시벨값 등으로 된다.

디코드 처리부(21)에 있어서의 복호에 의해, 각 오브젝트의 오브젝트 신호와 메타데이터가 얻어지면, 디코드 처리부(21)는, 얻어진 오브젝트 신호를 렌더링 처리부(24)에 공급한다.

또한, 디코드 처리부(21)는, 복호에 의해 얻어진 메타데이터의 오브젝트 위치 정보를 좌표 변환 처리부(22)에 공급한다. 또한, 디코드 처리부(21)는, 복호에 의해 얻어진 메타데이터의 오브젝트 외경 정보, 오브젝트 감쇠 정보, 오브젝트 감쇠 무효 정보 및 오브젝트 게인 정보를 오브젝트 감쇠 처리부(23)에 공급한다.

좌표 변환 처리부(22)는, 디코드 처리부(21)로부터 공급된 오브젝트 위치 정보와, 외부로부터 공급된 유저 위치 정보에 기초하여 오브젝트 구면 좌표 위치 정보를 생성하여, 오브젝트 감쇠 처리부(23)에 공급한다. 바꾸어 말하면, 좌표 변환 처리부(22)는, 오브젝트 위치 정보를 오브젝트 구면 좌표 위치 정보로 변환한다.

여기서, 유저 위치 정보는, 오브젝트가 존재하는 수청 공간 내에 있어서의 수청자로 되는 유저의 절대적인 위치, 즉 유저가 원하는 수청점의 절대적인 위치를 나타내는 정보이며, xyz 좌표계의 x 좌표, y 좌표 및 z 좌표에 의해 표현되는 좌표 정보로 된다.

이 유저 위치 정보는, 입력 비트 스트림에 포함되는 정보가 아니라, 예를 들어 신호 처리 장치(11)에 접속된 외부 유저 인터페이스 등으로부터 공급되는 정보이다.

또한, 오브젝트 구면 좌표 위치 정보는 구면 좌표계의 좌표, 즉 구면 좌표에 의해 표현되는, 수청 공간에 있어서의 유저로부터 본 오브젝트의 상대적인 위치를 나타내는 정보이다.

오브젝트 감쇠 처리부(23)는, 좌표 변환 처리부(22)로부터 공급된 오브젝트 구면 좌표 위치 정보와, 디코드 처리부(21)로부터 공급된 오브젝트 외경 정보, 오브젝트 감쇠 정보, 오브젝트 감쇠 무효 정보 및 오브젝트 게인 정보에 기초하여, 오브젝트 게인 정보를 적절하게 보정하여 얻어지는 보정 오브젝트 게인 정보를 구한다.

바꾸어 말하면, 오브젝트 감쇠 처리부(23)는 오브젝트 구면 좌표 위치 정보, 오브젝트 외경 정보, 오브젝트 감쇠 정보, 오브젝트 감쇠 무효 정보 및 오브젝트 게인 정보에 기초하여 보정 오브젝트 게인 정보를 결정하는 게인 결정부로서 기능한다.

여기서, 보정 오브젝트 게인 정보에 의해 나타나는 게인값은, 오브젝트의 위치 관계를 고려하여 오브젝트 게인 정보에 의해 나타나는 게인값을 적절하게 보정함으로써 얻어지는 것이다.

이러한 보정 오브젝트 게인 정보는, 오브젝트의 위치 관계에 기인하여 오브젝트에서 발생하는 음의 반사나 회절, 흡수에 의해 발생하는 감쇠, 즉 음향의 변화가 고려된 오브젝트 신호의 레벨 조정을 실현하기 위한 것이다.

렌더링 처리부(24)에서는, 렌더링 시에 보정 오브젝트 게인 정보에 기초하여 오브젝트 신호의 레벨 조정을 행하는 처리가 감쇠 처리로서 행해진다. 이러한 감쇠 처리는 음의 반사나 회절, 흡수에 따라 오브젝트 신호의 레벨을 감쇠시키는 처리라고 할 수 있다.

오브젝트 감쇠 처리부(23)는, 오브젝트 구면 좌표 위치 정보 및 보정 오브젝트 게인 정보를 렌더링 처리부(24)에 공급한다.

신호 처리 장치(11)에서는, 좌표 변환 처리부(22) 및 오브젝트 감쇠 처리부(23)가, 각 오브젝트에 대하여, 다른 오브젝트와의 위치 관계에 따른 오브젝트 신호의 레벨 조정을 위한 보정 오브젝트 게인 정보를 결정하는 정보 처리 장치로서 기능한다.

렌더링 처리부(24)는, 디코드 처리부(21)로부터 공급된 오브젝트 신호와, 오브젝트 감쇠 처리부(23)로부터 공급된 오브젝트 구면 좌표 위치 정보 및 보정 오브젝트 게인 정보에 기초하여 출력 오디오 신호를 생성하고, 후단의 스피커나 헤드폰, 기록부 등에 공급한다.

구체적으로는 렌더링 처리부(24)는, 렌더링 처리로서 VBAP 등의 패닝 처리를 행하여 출력 오디오 신호를 생성한다.

예를 들어 패닝 처리로서 VBAP가 행해지는 경우에는, 오브젝트 구면 좌표 위치 정보와 각 스피커의 배치 정보에 기초하여 상술한 식 (2)와 마찬가지의 계산이 행해지고, 스피커마다의 게인 정보가 구해진다. 그리고, 렌더링 처리부(24)는, 구한 게인 정보와 보정 오브젝트 게인 정보에 기초하여, 각 스피커에 대응하는 채널의 오브젝트 신호의 레벨 조정을 행함으로써, 복수의 각 채널의 신호를 포함하는 출력 오디오 신호를 생성한다. 복수의 오브젝트가 있는 경우에는, 그들 각 오브젝트의 동일한 채널의 신호가 가산되어, 최종적인 출력 오디오 신호로 된다.

또한, 렌더링 처리부(24)에서 행해지는 렌더링 처리는, 예를 들어 MPEG-H Part 3:3D audio 규격에서 채용되고 있는 VBAP나, Speaker-anchored coordinates panner라고 불리는 패닝 방법에 의한 처리 등, 어떠한 처리여도 된다.

또한, VBAP에 의한 렌더링 처리에서는, 구면 좌표계의 위치 정보인 오브젝트 구면 좌표 위치 정보가 사용되지만, Speaker-anchored coordinates panner에 의한 렌더링 처리에서는, 직교 좌표계의 위치 정보가 사용되어 직접 렌더링이 행해진다. 따라서, 직교 좌표계를 사용한 렌더링을 행하는 경우에는, 좌표 변환 처리부(22)에서는, 유저의 위치로부터 본 각 오브젝트의 위치를 나타내는 직교 좌표계의 위치 정보가 좌표 변환에 의해 구해지도록 하면 된다.

<좌표 변환 및 보정 오브젝트 게인 정보의 결정에 대하여>

계속해서, 좌표 변환 처리부(22)에 있어서 행해지는 좌표 변환, 및 오브젝트 감쇠 처리부(23)에 있어서 행해지는 처리에 대하여, 보다 상세하게 설명한다.

좌표 변환 처리부(22)에서는, 오브젝트 위치 정보 및 유저 위치 정보가 입력으로 되어 좌표 변환이 행해져 오브젝트 구면 좌표 위치 정보가 출력된다.

여기서, 좌표 변환의 입력으로 되는 오브젝트 위치 정보 및 유저 위치 정보는, 예를 들어 도 3에 도시하는 바와 같은 x축, y축 및 z축을 사용한 3차원 직교 좌표계, 즉 xyz 좌표계의 좌표로 표현된다.

도 3에서는 xyz 좌표계의 원점 O로부터 본 유저 LP11의 위치를 나타내는 좌표가 유저 위치 정보로 된다. 또한, xyz 좌표계의 원점 O로부터 본 오브젝트 OBJ1의 위치를 나타내는 좌표가, 그 오브젝트 OBJ1의 오브젝트 위치 정보로 되고, xyz 좌표계의 원점 O로부터 본 오브젝트 OBJ2의 위치를 나타내는 좌표가, 그 오브젝트 OBJ2의 오브젝트 위치 정보로 된다.

좌표 변환 시에는, 좌표 변환 처리부(22)는, 예를 들어 도 4에 도시하는 바와 같이 유저 LP11의 위치가 원점 O의 위치로 되도록, 전체 오브젝트의 수청 공간 내의 병행 이동을 행한 후, 그들 전체 오브젝트의 xyz 좌표계의 좌표를 구면 좌표계의 좌표로 변환한다. 또한, 도 4에 있어서 도 3에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하고 있으며, 그 설명은 적절하게 생략된다.

구체적으로는, 좌표 변환 처리부(22)는, 유저 위치 정보에 기초하여, 유저 LP11의 위치를 xyz 좌표계의 원점 O로 이동시키는 이동 벡터 MV11을 구한다. 이 이동 벡터 MV11은, 유저 위치 정보에 의해 나타나는 유저 LP11의 위치를 시작점으로 하고, 원점 O의 위치를 종료점으로 하는 벡터이다.

또한, 좌표 변환 처리부(22)는, 이동 벡터 MV11과 동일한 크기(길이) 및 방향이며, 또한 오브젝트 OBJ1의 위치를 시작점으로 하는 벡터를 이동 벡터 MV12라 하자. 그리고, 좌표 변환 처리부(22)는, 오브젝트 OBJ1의 오브젝트 위치 정보에 기초하여, 그 오브젝트 OBJ1의 위치를 이동 벡터 MV12로 표시되는 만큼 이동시킨다.

마찬가지로, 좌표 변환 처리부(22)는, 이동 벡터 MV11과 동일한 크기 및 방향이며, 또한 오브젝트 OBJ2의 위치를 시작점으로 하는 벡터를 이동 벡터 MV13이라 하고, 오브젝트 OBJ2의 오브젝트 위치 정보에 기초하여, 오브젝트 OBJ2의 위치를 이동 벡터 MV13으로 표시되는 만큼 이동시킨다.

또한, 좌표 변환 처리부(22)는, 원점 O로부터 본 이동 후의 오브젝트 OBJ1의 위치를 나타내는 구면 좌표계의 좌표를 구하고, 얻어진 좌표를 오브젝트 OBJ1의 오브젝트 구면 좌표 위치 정보로 한다. 마찬가지로, 좌표 변환 처리부(22)는, 원점 O로부터 본 이동 후의 오브젝트 OBJ2의 위치를 나타내는 구면 좌표계의 좌표를 구하고, 얻어진 좌표를 오브젝트 OBJ2의 오브젝트 구면 좌표 위치 정보로 한다.

여기서, 구면 좌표계와 xyz 좌표계의 관계는, 도 5에 도시하는 관계로 되어 있다. 또한, 도 5에 있어서 도 4에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하고 있으며, 그 설명은 적절하게 생략된다.

도 5에서는 원점 O를 통과하고, 서로 수직인 x축, y축 및 z축이 xyz 좌표계의 축으로 되어 있다. 예를 들어 xyz 좌표계에서는, 이동 벡터 MV12에 의한 이동 후의 오브젝트 OBJ1의 위치는 x 좌표인 X1, y 좌표인 Y1 및 z 좌표인 Z1이 사용되어 (X1,Y1,Z1)로 표현된다.

이에 비해 구면 좌표계에서는, 방위각 position_azimuth, 앙각 position_elevation 및 반경 position_radius가 사용되어 오브젝트 OBJ1의 위치가 표현된다.

이제, 원점 O와, 오브젝트 OBJ1의 위치를 연결하는 직선을 직선 r이라고 하고, 이 직선 r을 xy 평면 상에 투영하여 얻어진 직선을 직선 L이라고 하자.

이때, x축과 직선 L이 이루는 각 θ가 오브젝트 OBJ1의 위치를 나타내는 방위각 position_azimuth로 된다. 또한, 직선 r과 xy 평면이 이루는 각 φ가 오브젝트 OBJ1의 위치를 나타내는 앙각 position_elevation으로 되고, 직선 r의 길이가 오브젝트 OBJ1의 위치를 나타내는 반경 position_radius로 된다.

따라서, 유저의 위치, 즉 원점 O를 기준으로 한 오브젝트의 방위각, 앙각 및 반경을 포함하는 구면 좌표의 정보가, 그 오브젝트의 오브젝트 구면 좌표 위치 정보로 된다. 또한, 보다 상세하게는, 예를 들어 x축의 정의 방향이 유저의 정면 방향 등으로 되어 오브젝트 구면 좌표 위치 정보가 구해진다.

다음에, 오브젝트 감쇠 처리부(23)에 있어서 행해지는 처리에 대하여 설명한다.

또한, 여기서는 설명을 간단하게 하기 위해, 수청 공간에는 오브젝트 OBJ1 및 오브젝트 OBJ2의 2개의 오브젝트만이 존재하는 것으로서 설명을 행한다.

구체적으로는, 예를 들어 도 6에 도시하는 바와 같이 수청 공간 내에 오브젝트 OBJ1 및 오브젝트 OBJ2가 존재하고 있고, 오브젝트 OBJ1의 보정 오브젝트 게인 정보를 결정하는 것으로 한다. 또한, 도 6에 있어서 도 4에 있어서의 경우와 대응하는 부분에는 동일한 부호를 부여하고 있으며, 그 설명은 적절하게 생략된다.

도 6의 예에서는, 오브젝트 OBJ1은 감쇠 무효 오브젝트가 아닌 오브젝트, 즉 오브젝트 감쇠 무효 정보의 값이 0인 감쇠 처리 오브젝트인 것으로 한다.

오브젝트 OBJ1의 보정 오브젝트 게인 정보를 결정함에 있어서는, 우선 오브젝트 OBJ1의 위치를 나타내는 벡터 OP1이 구해진다.

이 벡터 OP1은, 원점 O를 시작점으로 하고, 오브젝트 OBJ1의 오브젝트 구면 좌표 위치 정보에 의해 나타나는 위치 O11을 종료점으로 하는 벡터이다. 원점 O에 위치하는 유저는, 위치 O11에 있는 오브젝트 OBJ1로부터 원점 O를 향하여 방사된 음을 청취하게 된다. 또한, 보다 상세하게는 위치 O11은, 오브젝트 OBJ1의 중심 위치를 나타내고 있다.

다음에, 오브젝트 OBJ1보다 원점 O로부터의 거리가 가까운 오브젝트, 즉 오브젝트 OBJ1보다 유저 위치인 원점 O측에 있는 오브젝트가 피감쇠 오브젝트로서 선택된다. 피감쇠 오브젝트는, 감쇠 처리 오브젝트와 원점 O의 사이에 위치하기 때문에 감쇠 처리 오브젝트로부터의 음의 감쇠 요인으로 될 수 있는 오브젝트이다.

도 6의 예에서는, 오브젝트 OBJ2는, 오브젝트 구면 좌표 위치 정보에 의해 나타나는 위치 O12에 위치하고 있고, 그 위치 O12는 오브젝트 OBJ1의 위치 O11보다 원점 O측에 위치하고 있다. 즉, 원점 O를 시작점으로 하고, 위치 O12를 종료점으로 하는 벡터 OP2의 크기는, 벡터 OP1의 크기보다 작다.

그 때문에, 도 6의 예에서는, 오브젝트 OBJ1보다 원점 O측에 위치하고 있는 오브젝트 OBJ2가 오브젝트 OBJ1에 대한 피감쇠 오브젝트로서 선택된다. 또한, 보다 상세하게는, 위치 O12는 오브젝트 OBJ2의 중심 위치를 나타내고 있다.

오브젝트 OBJ2의 형상은 위치 O12를 중심으로 하는, 오브젝트 외경 정보에 의해 나타나는 반경 OR2의 구의 형상으로 되어 있고, 오브젝트 OBJ2는 점 음원이 아닌, 소정의 크기를 갖는 오브젝트이다.

계속해서, 피감쇠 오브젝트인 오브젝트 OBJ2에 대하여, 오브젝트 OBJ2로부터, 즉 위치 O12로부터 벡터 OP1로의 법선 벡터 N2_1이 구해진다.

위치 O12를 통과하고, 벡터 OP1과 직교하는 직선과, 벡터 OP1의 교점의 위치를 위치 P2_1이라고 하면, 위치 O12를 시작점으로 하고, 위치 P2_1을 종료점으로 하는 벡터가 법선 벡터 N2_1이 된다. 바꾸어 말하면, 벡터 OP1과 법선 벡터 N2_1의 교점이 위치 P2_1이다.

또한, 법선 벡터 N2_1과, 오브젝트 OBJ2의 오브젝트 외경 정보에 의해 나타나는 반경 OR2가 비교되어, 법선 벡터 N2_1의 크기가, 피감쇠 오브젝트인 오브젝트 OBJ2의 외경의 1/2인 반경 OR2 이하인지가 판정된다.

이 판정 처리는, 오브젝트 OBJ1로부터 방사되어, 원점 O로 진행하는 음의 진로 상에 피감쇠 오브젝트인 오브젝트 OBJ2가 있는지 여부를 판정하는 처리이다.

바꾸어 말하면, 이 판정 처리는, 오브젝트 OBJ2의 중심 위치인 위치 O12가, 유저 위치인 원점 O와 오브젝트 OBJ1의 중심 위치인 위치 O11을 연결하는 직선으로부터, 소정 거리의 범위 내에 위치하고 있는지 여부를 판정하는 처리라고도 할 수 있다.

또한, 여기서 말하는 소정 거리의 범위는 오브젝트 OBJ2의 크기에 의해 정해지는 범위이며, 구체적으로는 소정 거리란, 오브젝트 OBJ2에 있어서의, 위치 O12로부터, 원점 O와 위치 O11을 연결하는 직선측의 단의 위치까지의 거리, 즉 반경 OR2이다.

예를 들어 도 6의 예에서는, 법선 벡터 N2_1의 크기는 반경 OR2 이하로 되어 있다. 즉, 벡터 OP1은 오브젝트 OBJ2와 교차한다. 따라서, 오브젝트 OBJ1로부터 원점 O를 향하여 방사된 음은, 오브젝트 OBJ2에 있어서 반사되거나 회절되거나, 흡수되거나 하여 감쇠하여, 원점 O로 향하게 된다.

그래서, 오브젝트 감쇠 처리부(23)에서는, 오브젝트 OBJ1과 오브젝트 OBJ2의 상대적인 위치 관계에 따라, 오브젝트 OBJ1의 오브젝트 신호의 레벨을 감쇠시키기 위한 보정 오브젝트 게인 정보가 결정된다. 바꾸어 말하면, 오브젝트 게인 정보가 보정되어, 보정 오브젝트 게인 정보로 된다.

구체적으로는, 오브젝트 OBJ1과 오브젝트 OBJ2의 상대적인 위치 관계를 나타내는 정보인 감쇠 거리 및 반경비에 기초하여, 보정 오브젝트 게인 정보가 결정된다.

또한, 감쇠 거리란 오브젝트 OBJ1과 오브젝트 OBJ2의 사이의 거리이다.

이 경우, 원점 O를 시작점으로 하고, 위치 P2_1을 종료점으로 하는 벡터를 벡터 OP2_1이라고 하면, 벡터 OP1의 크기와 벡터 OP2_1의 크기의 차, 즉 위치 P2_1로부터 위치 O11까지의 거리가, 오브젝트 OBJ1의 오브젝트 OBJ2에 대한 감쇠 거리로 된다. 바꾸어 말하면, |OP1|-|OP2_1|이 감쇠 거리로 된다.

또한, 이 경우에 있어서의 반경비는, 오브젝트 OBJ2의 중심 위치인 위치 O12로부터 원점 O와 위치 O11을 연결하는 직선까지의 거리와, 위치 O12로부터 그 직선측에 있는 오브젝트 OBJ2의 단까지의 거리의 비로 된다.

여기서는, 오브젝트 OBJ2의 형상은 구 형상이기 때문에, 오브젝트 OBJ2의 반경비는, 법선 벡터 N2_1의 크기와 반경 OR2의 비, 즉 |N2_1|/OR2로 된다.

반경비는, 오브젝트 OBJ2의 중심 위치인 위치 O12의 벡터 OP1로부터의 어긋남양, 즉 원점 O와 위치 O11을 연결하는 직선으로부터의 위치 O12의 어긋남양을 나타내는 정보이다. 이러한 반경비는 오브젝트 OBJ2의 크기에 의존하는 오브젝트 OBJ1과의 위치 관계를 나타내는 정보라고 할 수 있다.

또한, 여기서는 오브젝트의 크기에 의존하는 위치 관계를 나타내는 정보로서 반경비가 사용되는 예에 대하여 설명하지만, 그 밖에 원점 O와 위치 O11을 연결하는 직선으로부터, 그 직선측에 있는 오브젝트 OBJ2의 단의 위치까지의 거리를 나타내는 정보 등이 사용되어도 된다.

오브젝트 감쇠 처리부(23)에서는, 예를 들어 메타데이터의 오브젝트 감쇠 정보로서의 감쇠 테이블 인덱스 및 보정 테이블 인덱스와, 감쇠 거리 및 반경비에 기초하여, 오브젝트 OBJ1의 오브젝트 게인 정보의 보정값이 구해진다. 그리고, 오브젝트 감쇠 처리부(23)는, 그 보정값에 의해 오브젝트 OBJ1의 오브젝트 게인 정보를 보정함으로써, 보정 오브젝트 게인 정보를 얻는다.

여기서, 감쇠 테이블 인덱스에 의해 나타나는 감쇠 테이블과, 보정 테이블 인덱스에 의해 나타나는 보정 테이블에 대하여 설명한다.

예를 들어 입력 비트 스트림에 포함되는 소정 시간 프레임의 메타데이터는, 도 7에 도시하는 바와 같이 되어 있다.

도 7의 예에서는 문자 「오브젝트 1 위치 정보」는 오브젝트 OBJ1의 오브젝트 위치 정보를 나타내고 있고, 문자 「오브젝트 1 게인 정보」는 오브젝트 OBJ1의 오브젝트 게인 정보를 나타내고 있고, 문자 「오브젝트 1 감쇠 무효 정보」는 오브젝트 OBJ1의 오브젝트 감쇠 무효 정보를 나타내고 있다.

또한, 문자 「오브젝트 2 위치 정보」는 오브젝트 OBJ2의 오브젝트 위치 정보를 나타내고 있고, 문자 「오브젝트 2 게인 정보」는 오브젝트 OBJ2의 오브젝트 게인 정보를 나타내고 있고, 문자 「오브젝트 2 감쇠 무효 정보」는 오브젝트 OBJ2의 오브젝트 감쇠 무효 정보를 나타내고 있다.

또한, 문자 「오브젝트 2 외경 정보」는 오브젝트 OBJ2의 오브젝트 외경 정보를 나타내고 있고, 문자 「오브젝트 2 감쇠 테이블 인덱스」는 오브젝트 OBJ2의 감쇠 테이블 인덱스를 나타내고 있고, 문자 「오브젝트 2 보정 테이블 인덱스」는 오브젝트 OBJ2의 보정 테이블 인덱스를 나타내고 있다.

여기서는, 감쇠 테이블 인덱스 및 보정 테이블 인덱스가 오브젝트 감쇠 정보로 되어 있다.

감쇠 테이블 인덱스는, 상술한 감쇠 거리에 따른 오브젝트 신호의 감쇠량을 나타내는 감쇠 테이블을 식별하기 위한 인덱스이다.

감쇠 처리 오브젝트와 피감쇠 오브젝트의 사이의 거리에 따라, 피감쇠 오브젝트에 의한 음의 감쇠량은 변화한다. 감쇠 거리에 따른 적절한 감쇠량을 적은 연산량으로 간단하게 얻기 위해, 감쇠 거리와 감쇠량이 대응지어진 감쇠 테이블이 사용된다.

예를 들어 오브젝트의 재질 등에 따라, 음의 흡수율이나 회절, 반사의 효과는 다르기 때문에, 오브젝트의 재질이나 형상, 오브젝트 신호의 주파수 대역 등에 따라 복수의 감쇠 테이블이 미리 준비되어 있다. 감쇠 테이블 인덱스는, 그들 복수의 감쇠 테이블 중 어느 것을 나타내는 인덱스로 되어 있고, 오브젝트의 재질 등에 따라 음원 제작자측에서, 오브젝트마다 적절한 감쇠 테이블 인덱스가 지정된다.

또한, 보정 테이블 인덱스는, 상술한 반경비에 따른 오브젝트 신호의 감쇠량의 보정률을 나타내는 보정 테이블을 식별하기 위한 인덱스이다.

반경비는, 감쇠 처리 오브젝트로부터 방사된 음의 진로를 나타내는 직선이, 피감쇠 오브젝트의 중심으로부터 얼마만큼 어긋나 있는지를 나타내고 있다.

감쇠 거리가 동일해도, 감쇠 처리 오브젝트로부터 방사된 음의 진로로부터의 피감쇠 오브젝트의 어긋남양, 즉 반경비에 따라 실제의 감쇠량은 변화한다.

예를 들어, 일반적으로 원점 O와 감쇠 처리 오브젝트를 연결하는 직선이 피감쇠 오브젝트의 중심으로부터 먼 외측 부분을 통과하는 경우, 그 직선이 피감쇠 오브젝트의 중심을 통과하는 경우와 비교하여 회절 효과에 의해 감쇠량이 적어진다. 그래서, 반경비에 따라 오브젝트 신호의 감쇠량을 보정하기 위해, 반경비와 보정률이 대응지어진 보정 테이블이 사용된다.

감쇠 테이블에 있어서의 경우와 마찬가지로, 오브젝트의 재질 등에 따라 반경비에 따른 적절한 보정률은 변화하기 때문에, 오브젝트의 재질이나 형상, 오브젝트 신호의 주파수 대역 등에 따라 복수의 보정 테이블이 미리 준비되어 있다. 보정 테이블 인덱스는, 그들 복수의 보정 테이블 중 어느 것을 나타내는 인덱스로 되어 있고, 오브젝트의 재질 등에 따라 음원 제작자측에서, 오브젝트마다 적절한 보정 테이블 인덱스가 지정된다.

도 7에 도시하는 예에서는, 오브젝트 OBJ1은 오브젝트 외경 정보를 갖지 않는 점 음원으로서 처리되는 오브젝트로 되어 있기 때문에, 오브젝트 OBJ1의 메타데이터로서 오브젝트 위치 정보, 오브젝트 게인 정보 및 오브젝트 감쇠 무효 정보만이 제공되어 있다.

이에 비해, 오브젝트 OBJ2는 오브젝트 외경 정보를 갖고, 다른 오브젝트로부터의 방사음을 감쇠시키는 오브젝트로 되어 있다. 그 때문에, 오브젝트 OBJ2의 메타데이터로서 오브젝트 위치 정보, 오브젝트 게인 정보 및 오브젝트 감쇠 무효 정보에 추가하여 오브젝트 외경 정보와 오브젝트 감쇠 정보도 제공되어 있다.

특히, 여기서는 오브젝트 감쇠 정보로서, 감쇠 테이블 인덱스와 보정 테이블 인덱스가 제공되어 있고, 이들 감쇠 테이블 인덱스와 보정 테이블 인덱스가 오브젝트 게인 정보의 보정값의 산출에 사용된다.

예를 들어 어떤 하나의 감쇠 테이블 인덱스에 의해 나타나는 감쇠 테이블은, 도 8에 도시하는 감쇠 거리와 감쇠량의 관계를 나타내는 정보로 되어 있다.

도 8에 있어서, 종축은 감쇠량의 데시벨값을 나타내고 있고, 횡축은 오브젝트간의 거리, 즉 감쇠 거리를 나타내고 있다. 예를 들어 도 6에 도시한 예에서는, 위치 P2_1로부터 위치 O11까지의 거리가 감쇠 거리로 된다.

도 8의 예에서는, 감쇠 거리가 작아질수록 감쇠량이 크게 되어 있고, 감쇠 거리가 작을수록, 감쇠 거리의 변화량에 대한 감쇠량의 변화도 크게 되어 있다. 이러한 점으로부터 감쇠 처리 오브젝트에 대하여 피감쇠 오브젝트가 근처에 있을수록, 감쇠 처리 오브젝트의 음의 감쇠량이 커짐을 알 수 있다.

또한, 예를 들어 어떤 하나의 보정 테이블 인덱스에 의해 나타나는 보정 테이블은, 도 9에 도시하는 반경비와 보정률의 관계를 나타내는 정보로 되어 있다.

도 9에 있어서, 종축은 감쇠량의 보정률을 나타내고 있고, 횡축은 반경비를 나타내고 있다. 예를 들어 도 6에 도시한 예에서는, 법선 벡터 N2_1의 크기와 반경 OR2의 비가 반경비로 된다.

예를 들어 반경비가 0인 경우, 감쇠 처리 오브젝트로부터 원점 O, 즉 유저를 향하여 진행하는 음은, 피감쇠 오브젝트의 중심을 통과하게 되고, 반경비가 1인 경우, 감쇠 처리 오브젝트로부터 원점 O를 향하여 진행하는 음은, 피감쇠 오브젝트의 경계 부분을 통과하게 된다.

이 예에서는 반경비가 커질수록 보정률이 작게 되어 있고, 반경비가 클수록 반경비의 변화량에 대한 보정률의 변화도 크게 되어 있다. 예를 들어 보정률이 1.0인 경우, 감쇠 테이블에서 얻어진 감쇠량이 그대로 사용되고, 보정률이 0인 경우에는 감쇠 테이블에서 얻어진 감쇠량이 0으로 되어 감쇠 효과가 0으로 된다. 또한, 반경비가 1보다 큰 경우에는, 감쇠 처리 오브젝트로부터 원점 O를 향하여 진행하는 음은 피감쇠 오브젝트가 있는 영역을 통과하지 않으므로 감쇠 처리는 행해지지 않는다.

감쇠 거리와 반경비에 기초하여, 그들 감쇠 거리 및 반경비에 따른 감쇠량과 보정률이 얻어지면, 그들 감쇠량과 보정률에 기초하여 보정값이 구해지고, 오브젝트 게인 정보가 보정된다.

구체적으로는, 감쇠량에 보정률을 승산하여 얻어지는 값, 즉 (보정률×감쇠량)이 보정값으로 된다. 이 보정값은 감쇠량을 보정률에 의해 보정하여 얻어지는 최종적인 감쇠량이다. 보정값이 얻어지면, 그 보정값이 오브젝트 게인 정보에 가산됨으로써 오브젝트 게인 정보가 보정된다. 그리고, 이와 같이 하여 얻어진 보정 후의 오브젝트 게인 정보, 즉 보정값과 오브젝트 게인 정보의 합이 보정 오브젝트 게인 정보로 된다.

보정률과 감쇠량의 곱인 보정값은, 오브젝트간의 위치 관계에 기초하여 결정된, 어떤 오브젝트의 음의 다른 오브젝트에 있어서 발생하는 감쇠에 대응하는 레벨 조정을 실현하기 위한 오브젝트 신호의 감쇠량을 나타내고 있다고 할 수 있다.

또한, 여기서는 사전에 준비된 감쇠 테이블 인덱스 및 보정 테이블 인덱스가 오브젝트 감쇠 정보로서 메타데이터에 포함되는 예에 대하여 설명하였다. 그러나, 도 8이나 도 9에 도시한 감쇠 테이블이나 보정 테이블에 대응하는 꺾은선의 변화점을 오브젝트 감쇠 정보로 하는 등, 감쇠량과 보정률을 얻을 수 있다면, 오브젝트 감쇠 정보는 어떠한 것이어도 된다.

그 밖에, 예를 들어 감쇠 거리를 입력으로 하여 감쇠량을 출력하는 연속 함수인 감쇠 함수와, 반경비를 입력으로 하여 보정률을 출력하는 연속 함수인 보정률 함수를 복수 준비하고, 그들 복수의 감쇠 함수 중 어느 것을 나타내는 인덱스와, 복수의 보정률 함수 중 어느 것을 나타내는 인덱스를 오브젝트 감쇠 정보로 해도 된다. 또한, 감쇠량과 반경비를 입력으로 하여 보정값을 출력하는 연속 함수를 미리 복수 준비하고, 그들 함수 중 어느 것을 나타내는 인덱스를 오브젝트 감쇠 정보로 해도 된다.

<오디오 출력 처리의 설명>

다음에, 신호 처리 장치(11)의 구체적인 동작에 대하여 설명한다. 즉, 이하, 도 10의 흐름도를 참조하여, 신호 처리 장치(11)에 의한 오디오 출력 처리에 대하여 설명한다.

스텝 S11에 있어서, 디코드 처리부(21)는, 수신한 입력 비트 스트림을 복호(디코드)하여, 메타데이터 및 오브젝트 신호를 얻는다.

디코드 처리부(21)는, 얻어진 메타데이터의 오브젝트 위치 정보를 좌표 변환 처리부(22)에 공급함과 함께, 얻어진 메타데이터의 오브젝트 외경 정보, 오브젝트 감쇠 정보, 오브젝트 감쇠 무효 정보 및 오브젝트 게인 정보를 오브젝트 감쇠 처리부(23)에 공급한다. 또한, 디코드 처리부(21)는, 얻어진 오브젝트 신호를 렌더링 처리부(24)에 공급한다.

스텝 S12에 있어서, 좌표 변환 처리부(22)는, 각 오브젝트에 대하여, 디코드 처리부(21)로부터 공급된 오브젝트 위치 정보와, 외부로부터 공급된 유저 위치 정보에 기초하여 좌표 변환을 행하여 오브젝트 구면 좌표 위치 정보를 생성하여, 오브젝트 감쇠 처리부(23)에 공급한다.

스텝 S13에 있어서, 오브젝트 감쇠 처리부(23)는, 디코드 처리부(21)로부터 공급된 오브젝트 감쇠 무효 정보, 및 좌표 변환 처리부(22)로부터 공급된 오브젝트 구면 좌표 위치 정보에 기초하여, 처리 대상으로 하는 감쇠 처리 오브젝트를 하나 선택함과 함께, 그 감쇠 처리 오브젝트의 위치 벡터를 구한다.

예를 들어 오브젝트 감쇠 처리부(23)는, 오브젝트 감쇠 무효 정보의 값이 0인 오브젝트를 하나 선택하고, 그 오브젝트를 감쇠 처리 오브젝트로 한다. 그리고 오브젝트 감쇠 처리부(23)는, 그 감쇠 처리 오브젝트의 오브젝트 구면 좌표 위치 정보에 기초하여, 원점 O, 즉 유저의 위치를 시작점으로 하고, 감쇠 처리 오브젝트의 위치를 종료점으로 하는 벡터를 위치 벡터로서 산출한다.

따라서, 예를 들어 도 6에 도시한 예에 있어서 오브젝트 OBJ1이 감쇠 처리 오브젝트로서 선택된 경우에는, 벡터 OP1이 위치 벡터로서 구해진다.

스텝 S14에 있어서 오브젝트 감쇠 처리부(23)는, 처리 대상의 감쇠 처리 오브젝트와 다른 오브젝트의 오브젝트 구면 좌표 위치 정보에 기초하여, 처리 대상의 감쇠 처리 오브젝트보다 원점 O로부터의 거리가 작은(짧은) 하나의 오브젝트를, 그 감쇠 처리 오브젝트에 대한 피감쇠 오브젝트로서 선택한다.

예를 들어 도 6의 예에 있어서 오브젝트 OBJ1이 감쇠 처리 오브젝트로서 선택된 경우에는, 그 오브젝트 OBJ1보다 원점 O에 가까운 위치에 있는 오브젝트 OBJ2가 피감쇠 오브젝트로서 선택된다.

스텝 S15에 있어서 오브젝트 감쇠 처리부(23)는, 스텝 S13에서 얻어진 감쇠 처리 오브젝트의 위치 벡터, 및 피감쇠 오브젝트의 오브젝트 구면 좌표 위치 정보에 기초하여, 감쇠 처리 오브젝트의 위치 벡터에 대한 피감쇠 오브젝트의 중심으로부터의 법선 벡터를 구한다.

예를 들어 도 6에 도시한 예에 있어서 오브젝트 OBJ1이 감쇠 처리 오브젝트로서 선택되고, 오브젝트 OBJ2가 피감쇠 오브젝트로서 선택된 경우에는, 법선 벡터 N2_1이 구해지게 된다.

스텝 S16에 있어서 오브젝트 감쇠 처리부(23)는, 스텝 S15에서 구한 법선 벡터와, 피감쇠 오브젝트의 오브젝트 외경 정보에 기초하여, 법선 벡터의 크기가 피감쇠 오브젝트의 반경 이하인지 여부를 판정한다.

예를 들어 도 6에 도시한 예에 있어서 오브젝트 OBJ1이 감쇠 처리 오브젝트로서 선택되고, 오브젝트 OBJ2가 피감쇠 오브젝트로서 선택된 경우에는, 법선 벡터 N2_1의 크기가, 오브젝트 OBJ2의 외경의 절반인 반경 OR2 이하인지 여부가 판정된다.

스텝 S16에 있어서 법선 벡터의 크기가 피감쇠 오브젝트의 반경 이하가 아니라고 판정된 경우, 피감쇠 오브젝트는, 감쇠 처리 오브젝트로부터 원점 O(유저)를 향하여 진행하는 음의 진로 상에 없으므로 스텝 S17 및 스텝 S18의 처리는 행해지지 않고, 처리는 스텝 S19로 진행한다.

이에 비해 스텝 S16에 있어서 법선 벡터의 크기가 피감쇠 오브젝트의 반경 이하라고 판정된 경우, 피감쇠 오브젝트는 감쇠 처리 오브젝트로부터 원점 O(유저)를 향하여 진행하는 음의 진로 상에 있으므로, 처리는 스텝 S17로 진행한다. 이 경우, 유저로부터 보아 대략 동일 방향에 감쇠 처리 오브젝트와 피감쇠 오브젝트가 위치하고 있게 된다.

스텝 S17에 있어서 오브젝트 감쇠 처리부(23)는, 스텝 S13에서 얻어진 감쇠 처리 오브젝트의 위치 벡터, 및 스텝 S15에서 얻어진 피감쇠 오브젝트의 법선 벡터에 기초하여 감쇠 거리를 구한다. 또한, 오브젝트 감쇠 처리부(23)는, 피감쇠 오브젝트의 오브젝트 외경 정보와 법선 벡터에 기초하여 반경비도 구한다.

예를 들어 도 6에 도시한 예에 있어서 오브젝트 OBJ1이 감쇠 처리 오브젝트로서 선택되고, 오브젝트 OBJ2가 피감쇠 오브젝트로서 선택된 경우, 위치 P2_1로부터 위치 O11까지의 거리, 즉 |OP1|-|OP2_1|이 감쇠 거리로서 구해진다. 또한, 이 경우, 법선 벡터 N2_1의 크기와 반경 OR2의 비 |N2_1|/OR2가 반경비로서 구해진다.

스텝 S18에 있어서 오브젝트 감쇠 처리부(23)는, 감쇠 처리 오브젝트의 오브젝트 게인 정보와, 피감쇠 오브젝트의 오브젝트 감쇠 정보와, 스텝 S17에서 얻어진 감쇠 거리 및 반경비에 기초하여, 감쇠 처리 오브젝트의 보정 오브젝트 게인 정보를 구한다.

예를 들어 오브젝트 감쇠 정보로서, 상술한 감쇠 테이블 인덱스 및 보정 테이블 인덱스가 메타데이터에 포함되어 있는 경우, 오브젝트 감쇠 처리부(23)는 미리 복수의 감쇠 테이블과 보정 테이블을 유지하고 있다.

이 경우, 오브젝트 감쇠 처리부(23)는, 피감쇠 오브젝트의 오브젝트 감쇠 정보로서의 감쇠 테이블 인덱스에 의해 나타나는 감쇠 테이블로부터, 감쇠 거리에 대하여 정해지는 감쇠량을 판독한다.

또한, 오브젝트 감쇠 처리부(23)는, 피감쇠 오브젝트의 오브젝트 감쇠 정보로서의 보정 테이블 인덱스에 의해 나타나는 보정 테이블로부터, 반경비에 대하여 정해지는 보정률을 판독한다.

그리고, 오브젝트 감쇠 처리부(23)는, 판독한 감쇠량에 보정률을 승산하여 보정값을 구하고, 그 보정값을 감쇠 처리 오브젝트의 오브젝트 게인 정보에 가산함으로써 보정 오브젝트 게인 정보를 구한다.

이와 같이 하여 보정 오브젝트 게인 정보를 구하는 처리는 감쇠 거리나 반경비, 즉 오브젝트간의 위치 관계에 기초하여 오브젝트 신호의 감쇠량을 나타내는 보정값을 결정하고, 또한 그 보정값에 기초하여 오브젝트 신호의 레벨 조정을 위한 게인인 보정 오브젝트 게인 정보를 결정하는 처리라고 할 수 있다.

보정 오브젝트 게인 정보가 얻어지면, 그 후, 처리는 스텝 S19로 진행한다.

스텝 S18의 처리가 행해졌거나, 또는 스텝 S16에 있어서 법선 벡터의 크기가 반경 이하가 아니라고 판정되면 스텝 S19에 있어서, 오브젝트 감쇠 처리부(23)는, 처리 대상의 감쇠 처리 오브젝트에 대하여, 미처리의 피감쇠 오브젝트가 있는지 여부를 판정한다.

스텝 S19에 있어서, 아직 미처리의 피감쇠 오브젝트가 있다고 판정된 경우, 처리는 스텝 S14로 되돌아가, 상술한 처리가 반복하여 행해진다.

이 경우, 스텝 S18의 처리에서는, 이미 구해져 있는 보정 오브젝트 게인 정보에 대하여, 새로운 피감쇠 오브젝트에 대하여 구해진 보정값이 가산되어 보정 오브젝트 게인 정보가 갱신되게 된다. 따라서, 감쇠 처리 오브젝트에 대하여, 법선 벡터의 크기가 반경 이하로 되는 복수의 피감쇠 오브젝트가 있는 경우, 오브젝트 게인 정보에, 복수의 피감쇠 오브젝트에 대하여 구해진 각 보정값을 가산하여 얻어진 것이 최종적인 보정 오브젝트 게인 정보로서 얻어지게 된다.

또한, 스텝 S19에 있어서 미처리의 피감쇠 오브젝트가 없는, 즉 모든 피감쇠 오브젝트에 대하여 처리가 행해졌다고 판정된 경우, 처리는 스텝 S20으로 진행한다.

스텝 S20에 있어서, 오브젝트 감쇠 처리부(23)는, 모든 감쇠 처리 오브젝트를 처리하였는지 여부를 판정한다.

스텝 S20에 있어서, 아직 모든 감쇠 처리 오브젝트를 처리하지 않았다고 판정된 경우, 처리는 스텝 S13으로 되돌아가, 상술한 처리가 반복하여 행해진다.

이에 비해, 스텝 S20에 있어서 모든 감쇠 처리 오브젝트를 처리하였다고 판정된 경우, 처리는 스텝 S21로 진행한다.

이 경우, 오브젝트 감쇠 처리부(23)는, 스텝 S17 및 스텝 S18의 처리가 행해지지 않은 오브젝트, 즉 감쇠 처리가 행해지지 않는 오브젝트에 대해서는, 그 오브젝트의 오브젝트 게인 정보를, 그대로 보정 오브젝트 게인 정보로 한다.

또한, 오브젝트 감쇠 처리부(23)는, 좌표 변환 처리부(22)로부터 공급된 전체 오브젝트의 오브젝트 구면 좌표 위치 정보와, 보정 오브젝트 게인 정보를 렌더링 처리부(24)에 공급한다.

스텝 S21에 있어서, 렌더링 처리부(24)는, 디코드 처리부(21)로부터 공급된 오브젝트 신호와, 오브젝트 감쇠 처리부(23)로부터 공급된 오브젝트 구면 좌표 위치 정보 및 보정 오브젝트 게인 정보에 기초하여 렌더링 처리를 행하고, 출력 오디오 신호를 생성한다.

이와 같이 하여 출력 오디오 신호가 얻어지면, 렌더링 처리부(24)는, 얻어진 출력 오디오 신호를 후단에 출력하고, 오디오 출력 처리는 종료된다.

이상과 같이 하여 신호 처리 장치(11)는, 오브젝트간의 위치 관계에 따라 오브젝트 게인 정보를 보정하여, 보정 오브젝트 게인 정보로 한다. 이와 같이 함으로써, 적은 연산량으로 높은 임장감을 얻을 수 있다.

즉, 수청 공간에 있어서 유저로부터 보아 대략 동일 방향에 복수의 오브젝트가 존재하는 경우에, 오브젝트의 음의 흡수나 회절, 반사 등에 의한 감쇠 효과를 물리 법칙에 기초하여 계산하는 것이 아니라, 테이블을 이용하여 감쇠 거리와 반경비에 따른 보정값을 구한다고 하는 간단한 계산에 의해, 물리 법칙에 기초하는 계산을 행하는 경우와 대략 동등한 효과를 얻을 수 있다. 따라서, 수청 공간 내를 유저가 자유롭게 이동하는 경우라도, 유저에 대하여 적은 연산량으로 높은 임장감의 3차원 음향 효과를 부여할 수 있다.

또한, 여기서는 수청 공간 내에서 임의의 위치에 유저가 이동 가능한 자유 시점에 있어서의 경우에 대하여 설명하였지만, 수청 공간 내에 있어서의 유저의 위치가 고정되어 있는 고정 시점에 있어서의 경우도, 자유 시점에 있어서의 경우와 마찬가지로, 적은 연산량으로 높은 임장감을 얻을 수 있다.

그러한 경우, 유저 위치 정보에 의해 나타나는 유저 위치는 항상 원점 O의 위치로 되므로, 좌표 변환 처리부(22)에 의한 좌표 변환 처리는 불필요하며, 오브젝트 위치 정보는 구면 좌표로 표현되는 위치 정보로 된다. 특히, 이 경우, 오브젝트 위치 정보는, 원점 O로부터 본 오브젝트의 위치를 나타내는 정보로 된다. 또한, 오브젝트 감쇠 처리부(23)에 의한 처리는, 콘텐츠의 배신을 받는 클라이언트측에서 행해져도 되고, 콘텐츠를 배신하는 서버측에 있어서 행해지도록 해도 된다.

<변형예>

그 밖에, 이상에 있어서는 오브젝트 감쇠 무효 정보가 0 또는 1인 경우에 대하여 설명하였지만, 오브젝트 감쇠 무효 정보가 3 이상의 복수의 값 중 어느 것으로 되도록 해도 된다. 그러한 경우, 예를 들어 오브젝트 감쇠 무효 정보의 값은, 감쇠 무효 오브젝트인지 여부뿐만 아니라, 감쇠량의 보정량도 나타내게 된다. 따라서, 예를 들어 보정률과 감쇠량으로부터 구해지는 보정값이, 추가로 오브젝트 감쇠 무효 정보의 값에 따라 보정되어, 최종적인 보정값으로 된다.

또한, 이상에 있어서는 오브젝트마다 감쇠 처리를 무효로 할지 여부를 나타내는 오브젝트 감쇠 무효 정보가 정해지는 예에 대하여 설명하였지만, 수청 공간 내의 영역에 대하여 감쇠 처리를 무효로 할지 여부가 정해지도록 해도 된다.

예를 들어, 음원 제작자의 의도로서 수청 공간 내의 어떤 특정 공간 영역에 있어서는, 오브젝트의 감쇠 효과를 발생시키고 싶지 않다는 의도가 있을 때에는, 오브젝트 감쇠 무효 정보 대신에, 감쇠 효과를 발생시키지 않는 공간 영역을 나타내는 오브젝트 감쇠 무효 영역 정보가 입력 비트 스트림에 저장되도록 하면 된다.

그러한 경우, 오브젝트 감쇠 처리부(23)에서는, 오브젝트 위치 정보에 의해 나타나는 위치가, 오브젝트 감쇠 무효 영역 정보에 의해 나타나는 공간 영역 내의 위치로 되는 오브젝트는 감쇠 무효 오브젝트로 된다. 이에 의해, 음원 제작자의 의도를 반영시킨 오디오 재생을 실현할 수 있다.

또한, 예를 들어 유저로부터 보아 대략 정면 방향에 위치하는 오브젝트는 감쇠 무효 오브젝트로 하고, 유저의 후방에 위치하는 오브젝트는 감쇠 처리 오브젝트로 하는 등, 유저와 오브젝트의 위치 관계도 고려되도록 해도 된다. 즉, 유저와 오브젝트의 위치 관계에 기초하여, 오브젝트가 감쇠 무효 오브젝트로 되는지 여부가 결정되도록 해도 된다.

그 밖에, 이상에 있어서는 오브젝트간의 상대적인 위치 관계에 따라 오브젝트 신호가 감쇠되는 예에 대하여 설명하였지만, 오브젝트간의 상대적인 위치 관계에 따라 오브젝트 신호에 대한 잔향 효과의 부여 등을 행하도록 해도 된다.

옛부터, 숲의 나무들 등에 의해 잔향 효과가 생기는 것은 잘 알려져 있으며, Kuttruff는 나무들을 구로 간주하여 확산 방정식을 푸는 것에 의해 삼림의 잔향을 모델화하였다.

그래서, 예를 들어 유저 위치와 음원으로 되는 오브젝트의 위치를 포함하는 일정 공간 내에, 소정 개수 이상의 오브젝트가 존재하는 경우에는, 그 공간 내에 있는 각 오브젝트의 오브젝트 신호에 대하여 특정 잔향 효과를 부여하는 것 등을 고려할 수 있다.

이 경우, 잔향 효과를 부여하기 위한 파라메트릭 리버브의 계수를 입력 비트 스트림에 포함시키고, 유저 위치와 음원으로 되는 오브젝트의 위치의 상대적인 관계에 따라, 직접음과 잔향음의 혼합비를 변화시킴으로써 잔향 효과 부여의 실현이 가능하게 된다.

<컴퓨터의 구성예>

그런데, 상술한 일련의 처리는 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.

도 11은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.

컴퓨터에 있어서, CPU(Central Processing Unit)(501), ROM(Read Only Memory)(502), RAM(Random Access Memory)(503)은 버스(504)에 의해 서로 접속되어 있다.

버스(504)에는, 추가로 입출력 인터페이스(505)가 접속되어 있다. 입출력 인터페이스(505)에는 입력부(506), 출력부(507), 기록부(508), 통신부(509) 및 드라이브(510)가 접속되어 있다.

입력부(506)는 키보드, 마우스, 마이크로폰, 촬상 소자 등으로 이루어진다. 출력부(507)는 디스플레이, 스피커 등으로 이루어진다. 기록부(508)는 하드 디스크나 불휘발성 메모리 등으로 이루어진다. 통신부(509)는 네트워크 인터페이스 등으로 이루어진다. 드라이브(510)는 자기 디스크, 광 디스크, 광 자기 디스크, 또는 반도체 메모리 등의 리무버블 기록 매체(511)를 구동한다.

이상과 같이 구성되는 컴퓨터에서는, CPU(501)가, 예를 들어 기록부(508)에 기록되어 있는 프로그램을 입출력 인터페이스(505) 및 버스(504)를 통하여 RAM(503)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.

컴퓨터(CPU(501))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 기록 매체(511)에 기록하여 제공할 수 있다. 또한, 프로그램은 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.

컴퓨터에서는, 프로그램은 리무버블 기록 매체(511)를 드라이브(510)에 장착함으로써, 입출력 인터페이스(505)를 통하여, 기록부(508)에 인스톨할 수 있다. 또한, 프로그램은 유선 또는 무선의 전송 매체를 통하여 통신부(509)에서 수신하고, 기록부(508)에 인스톨할 수 있다. 그 밖에, 프로그램은 ROM(502)이나 기록부(508)에 미리 인스톨해 둘 수 있다.

또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.

또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

예를 들어, 본 기술은, 하나의 기능을 네트워크를 통하여 복수의 장치로 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.

또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치로 실행하는 것 외에, 복수의 장치로 분담하여 실행할 수 있다.

또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치로 실행하는 것 외에, 복수의 장치로 분담하여 실행할 수 있다.

또한, 본 기술은 이하의 구성으로 하는 것도 가능하다.

(1)

소정의 오브젝트와 다른 오브젝트의 위치 관계에 기초하여 감쇠량을 결정하고, 상기 감쇠량에 기초하여 상기 소정의 오브젝트의 신호의 게인을 결정하는 게인 결정부를 구비하는

정보 처리 장치.

(2)

상기 다른 오브젝트는, 상기 소정의 오브젝트보다 유저 위치측에 있는

(1)에 기재된 정보 처리 장치.

(3)

상기 다른 오브젝트는, 유저 위치와 상기 소정의 오브젝트를 연결하는 직선으로부터 소정 거리의 범위 내에 위치하고 있는

(1) 또는 (2)에 기재된 정보 처리 장치.

(4)

상기 범위는 상기 다른 오브젝트의 크기에 의해 정해지는

(3)에 기재된 정보 처리 장치.

(5)

상기 소정의 거리는, 상기 다른 오브젝트의 중심으로부터 상기 다른 오브젝트에 있어서의 상기 직선측의 단까지의 거리인

(3) 또는 (4)에 기재된 정보 처리 장치.

(6)

상기 위치 관계는, 상기 다른 오브젝트의 크기에 의존하는 위치 관계인

(3) 내지 (5) 중 어느 한 항에 기재된 정보 처리 장치.

(7)

상기 위치 관계는, 상기 다른 오브젝트의 중심의 상기 직선으로부터의 어긋남양인

(6)에 기재된 정보 처리 장치.

(8)

상기 위치 관계는, 상기 다른 오브젝트의 중심으로부터 상기 직선까지의 거리와, 상기 다른 오브젝트의 중심으로부터 상기 다른 오브젝트의 상기 직선측의 단까지의 거리의 비인

(6)에 기재된 정보 처리 장치.

(9)

상기 게인 결정부는, 상기 위치 관계와, 상기 다른 오브젝트의 감쇠 정보에 기초하여 상기 감쇠량을 결정하는

(1) 내지 (8) 중 어느 한 항에 기재된 정보 처리 장치.

(10)

상기 감쇠 정보는, 상기 다른 오브젝트에 있어서의, 상기 위치 관계에 따른 상기 신호의 감쇠량을 얻기 위한 정보인

(9)에 기재된 정보 처리 장치.

(11)

상기 위치 관계는, 상기 다른 오브젝트와 상기 소정의 오브젝트의 사이의 거리인

(1) 내지 (10) 중 어느 한 항에 기재된 정보 처리 장치.

(12)

상기 게인 결정부는, 상기 소정의 오브젝트의 신호를 감쇠시킬지 여부를 나타내는 감쇠 무효 정보와, 상기 위치 관계에 기초하여 상기 감쇠량을 결정하는

(1) 내지 (11) 중 어느 한 항에 기재된 정보 처리 장치.

(13)

상기 소정의 오브젝트의 신호는 오디오 신호인

(1) 내지 (11) 중 어느 한 항에 기재된 정보 처리 장치.

(14)

정보 처리 장치가,

소정의 오브젝트와 다른 오브젝트의 위치 관계에 기초하여 감쇠량을 결정하고, 상기 감쇠량에 기초하여 상기 소정의 오브젝트의 신호의 게인을 결정하는

정보 처리 방법.

(15)

소정의 오브젝트와 다른 오브젝트의 위치 관계에 기초하여 감쇠량을 결정하고, 상기 감쇠량에 기초하여 상기 소정의 오브젝트의 신호의 게인을 결정하는

스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.

11: 신호 처리 장치
21: 디코드 처리부
22: 좌표 변환 처리부
23: 오브젝트 감쇠 처리부
24: 렌더링 처리부

Claims (15)

1. 정보 처리 장치로서,
   소정의 오브젝트와 다른 오브젝트 간의 위치 관계에 기초하여 감쇠량을 결정하고, 상기 감쇠량에 기초하여 상기 소정의 오브젝트의 신호의 게인을 결정하도록 구성되는 게인 결정부를 구비하고,
   상기 소정의 오브젝트 및 상기 다른 오브젝트는 오디오 오브젝트들이고,
   상기 게인 결정부는 상기 소정의 오브젝트의 중심과 유저 위치를 연결하는 직선을 결정하고, 상기 직선과 상기 다른 오브젝트의 중심을 통과하는 직교선 간의 교점을 획득하고, 상기 교점과 상기 소정의 오브젝트의 상기 중심 간의 거리에 기초하여 중간 감쇠량을 획득하고, 상기 다른 오브젝트의 상기 중심과 상기 교점 간의 제1 거리와 상기 다른 오브젝트의 상기 중심과 상기 직선 측의 상기 다른 오브젝트의 단부 간의 제2 거리 간의 비율에 기초하여 보정값을 획득하고, 상기 중간 감쇠량에 상기 보정값을 곱함으로써 상기 감쇠량을 획득하도록 구성되는, 정보 처리 장치.
2. 제1항에 있어서, 상기 다른 오브젝트는, 상기 소정의 오브젝트보다 상기 유저 위치 측에 더 가깝게 위치하고 있는, 정보 처리 장치.
3. 제1항에 있어서, 상기 다른 오브젝트는, 상기 유저 위치와 상기 소정의 오브젝트를 연결하는 상기 직선으로부터 소정 거리의 범위 내에 위치하고 있는, 정보 처리 장치.
4. 제3항에 있어서, 상기 범위는 상기 다른 오브젝트의 크기에 의해 결정되는, 정보 처리 장치.
5. 제3항에 있어서, 상기 소정의 거리는, 상기 다른 오브젝트의 상기 중심으로부터 상기 직선 측의 상기 다른 오브젝트의 상기 단부까지의 상기 제2 거리를 포함하는, 정보 처리 장치.
6. 제3항에 있어서, 상기 위치 관계는, 상기 다른 오브젝트의 크기에 의존하는, 정보 처리 장치.
7. 제6항에 있어서, 상기 위치 관계는, 상기 제1 거리를 포함하는, 정보 처리 장치.
8. 제6항에 있어서, 상기 위치 관계는, 상기 제1 거리와 상기 제2 거리 간의 상기 비율을 포함하는, 정보 처리 장치.
9. 제1항에 있어서, 상기 게인 결정부는, 상기 위치 관계와, 상기 다른 오브젝트의 감쇠 정보에 기초하여 상기 감쇠량을 결정하도록 구성되는, 정보 처리 장치.
10. 제9항에 있어서, 상기 감쇠 정보는, 상기 위치 관계에 따른 상기 신호의 상기 감쇠량을 얻기 위한 정보를 포함하는, 정보 처리 장치.
11. 제1항에 있어서, 상기 위치 관계는, 상기 다른 오브젝트와 상기 소정의 오브젝트의 사이의 거리를 포함하는, 정보 처리 장치.
12. 제1항에 있어서, 상기 게인 결정부는, 상기 소정의 오브젝트의 상기 신호를 감쇠시킬지 여부를 나타내는 감쇠 무효 정보와, 상기 위치 관계에 기초하여 상기 감쇠량을 결정하도록 구성되는, 정보 처리 장치.
13. 제1항에 있어서, 상기 소정의 오브젝트의 상기 신호는 오디오 신호를 포함하는, 정보 처리 장치.
14. 정보 처리 장치에 의해 수행되는 정보 처리 방법으로서,
    소정의 오브젝트와 다른 오브젝트 간의 위치 관계에 기초하여 감쇠량을 결정하는 단계 - 상기 감쇠량은, 상기 소정의 오브젝트의 중심과 유저 위치를 연결하는 직선을 결정하고, 상기 직선과 상기 다른 오브젝트의 중심을 통과하는 직교선 간의 교점을 획득하고, 상기 교점과 상기 소정의 오브젝트의 상기 중심 간의 거리에 기초하여 중간 감쇠량을 획득하고, 상기 다른 오브젝트의 상기 중심과 상기 교점 간의 제1 거리와 상기 다른 오브젝트의 상기 중심과 상기 직선 측의 상기 다른 오브젝트의 단부 간의 제2 거리 간의 비율에 기초하여 보정값을 획득하고, 상기 중간 감쇠량에 상기 보정값을 곱하여 감쇠량을 획득함으로써 결정되며, 상기 소정의 오브젝트 및 상기 다른 오브젝트는 오디오 오브젝트들임 -; 및
    상기 감쇠량에 기초하여 상기 소정의 오브젝트의 신호의 게인을 결정하는 단계를 포함하는, 정보 처리 방법.
15. 컴퓨터 판독가능 기록 매체에 저장된 프로그램으로서, 컴퓨터로 하여금,
    소정의 오브젝트와 다른 오브젝트 간의 위치 관계에 기초하여 감쇠량을 결정하는 단계 - 상기 감쇠량은, 상기 소정의 오브젝트의 중심과 유저 위치를 연결하는 직선을 결정하고, 상기 직선과 상기 다른 오브젝트의 중심을 통과하는 직교선 간의 교점을 획득하고, 상기 교점과 상기 소정의 오브젝트의 상기 중심 간의 거리에 기초하여 중간 감쇠량을 획득하고, 상기 다른 오브젝트의 상기 중심과 상기 교점 간의 제1 거리와 상기 다른 오브젝트의 상기 중심과 상기 직선 측의 상기 다른 오브젝트의 단부 간의 제2 거리 간의 비율에 기초하여 보정값을 획득하고, 상기 중간 감쇠량에 상기 보정값을 곱하여 감쇠량을 획득함으로써 결정되며, 상기 소정의 오브젝트 및 상기 다른 오브젝트는 오디오 오브젝트들임 -; 및
    상기 감쇠량에 기초하여 상기 소정의 오브젝트의 신호의 게인을 결정하는 단계를 포함하는 프로세스를 수행하도록 하는, 프로그램.

Images