KR102712458B1

KR102712458B1 - 오디오 출력 장치 및 오디오 출력 장치의 제어 방법

Info

Publication number: KR102712458B1
Application number: KR1020190162659A
Authority: KR
Inventors: 황인우; 김선민; 김기범
Original assignee: 삼성전자주식회사
Priority date: 2019-12-09
Filing date: 2019-12-09
Publication date: 2024-10-04
Anticipated expiration: 2039-12-09
Also published as: US11564050B2; EP3836571C0; WO2021118107A1; KR20210072388A; EP3836571A1; EP3836571B1; US20210176580A1; CN113038343A; CN113038343B

Abstract

오디오 출력 장치가 개시된다. 서로 다른 위치에 배치된 복수의 스피커를 통해 멀티 채널 오디오 신호를 출력하는 본 오디오 출력 장치는, 입력부 및 입력부를 통해 입력된 멀티 채널 오디오 신호가 수신되면, 멀티 채널 오디오 신호에 포함된 오디오 종류에 관한 씬 정보 및 가상의 사용자를 기준으로 상기 멀티 채널 오디오 신호에 포함된 오디오 종류의 음상이 이루는 각도에 관한 음상 각도 정보를 획득하고, 획득된 씬 정보 및 음상 각도 정보에 기초하여 멀티 채널 오디오 신호로부터 복수의 스피커로 출력될 출력 신호를 생성하는 프로세서를 포함하고, 오디오 종류는, 효과음, 함성, 음악 및 음성 중 적어도 하나를 포함하며, 복수의 스피커의 개수는, 멀티 채널 오디오 신호의 채널 개수 이상이다.

Description

오디오 출력 장치 및 오디오 출력 장치의 제어 방법{AUDIO OUTPUTTING APPARATUS AND METHOD OF CONTROLLING THE AUDIO OUTPUTTING APPRATUS}

본 개시는 오디오 출력 장치 및 오디오 출력 장치의 제어 방법에 관한 것으로, 보다 상세하게는, 복수의 스피커를 통해 멀티 채널 오디오 신호를 출력하는 오디오 출력 장치 및 오디오 출력 장치의 제어 방법에 관한 것이다.

전자 기술의 발달에 따라 대화면 디스플레이와 고해상도 컨텐츠의 등장으로 고실감 음향에 대한 기대도 커지고 있다. 이에 따라, 기존 스테레오 채널 스피커에 추가적인 채널(예를 들어, 하이트(Height) 채널 등)의 스피커가 더해진 다채널 스피커를 통해 고실감 음향을 제공하기 위한 시도들이 이루어지고 있다.

그러나, 실생활 환경에서 접하는 대부분의 오디오 컨텐츠는 스테레오 채널 또는 5.1 채널로 이루어져 있기 때문에, 오디오 컨텐츠의 채널 수보다 많은 수의 다채널 스피커를 통해 오디오 컨텐츠를 재생하는 경우 다채널 스피커의 음향 렌더링이 문제될 수 있다.

이 문제에 관해 정해진 답은 없지만, 본 개시에서는 오디오 컨텐츠의 제작 의도를 충분히 고려함으로써 사용자에게 고실감 음향을 제공하는 방법을 제안하고자 한다.

본 개시는 상술한 필요성에 의해 안출된 것으로, 본 개시의 목적은, 다채널 스피커를 통해 오디오 컨텐츠의 제작 의도에 충실한 사운드를 제공함으로써 사용자에게 고실감 음향을 제공할 수 있는 오디오 출력 장치 및 오디오 출력 장치의 제어 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 개시의 일 실시 예에 따른, 서로 다른 위치에 배치된 복수의 스피커를 통해 멀티 채널 오디오 신호를 출력하는 오디오 출력 장치는, 입력부 및 상기 입력부를 통해 입력된 상기 멀티 채널 오디오 신호가 수신되면, 상기 멀티 채널 오디오 신호에 포함된 오디오 종류에 관한 씬(scene) 정보 및 가상의 사용자를 기준으로 상기 멀티 채널 오디오 신호에 포함된 상기 오디오 종류의 음상(sound image)이 이루는 각도에 관한 음상 각도 정보를 획득하고, 상기 획득된 씬 정보 및 음상 각도 정보에 기초하여 상기 멀티 채널 오디오 신호로부터 상기 복수의 스피커로 출력될 출력 신호를 생성하는 프로세서를 포함하고, 상기 오디오 종류는, 효과음, 함성, 음악 및 음성 중 적어도 하나를 포함하며, 상기 복수의 스피커의 개수는, 상기 멀티 채널 오디오 신호의 채널 개수 이상일 수 있다.

또한, 상기 멀티 채널 오디오 신호는, 복수의 오디오 프레임을 포함하고, 상기 프로세서는, 상기 복수의 오디오 프레임 중 기설정된 개수의 오디오 프레임마다 상기 씬 정보를 획득하고, 상기 기설정된 개수의 오디오 프레임 각각에 대해 주파수 밴드별로 상기 음상 각도 정보를 획득할 수 있다.

또한, 상기 복수의 스피커는, 상기 가상의 사용자를 기준으로 수평면 각도가 상대적으로 큰 복수의 제1 스피커 및 수평면 각도가 상대적으로 작은 복수의 제2 스피커를 포함할 수 있다.

상기 프로세서는, 상기 씬 정보에 포함된 상기 오디오 종류가 효과음인 경우, 상기 효과음을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들 중 상기 음상 각도 정보가 기설정된 각도 이상인 주파수 밴드의 신호를 역푸리에변환(Inverse Fourier Transform, IFT)하여 상기 복수의 제1 스피커를 통해 출력될 제1 출력 신호를 생성하고, 상기 음상 각도 정보가 기설정된 각도 미만인 주파수 밴드의 신호를 역푸리에변환하여 상기 복수의 제2 스피커를 통해 출력될 제2 출력 신호를 생성할 수 있다.

또한, 상기 프로세서는, 상기 씬 정보에 포함된 상기 오디오 종류가 함성인 경우, 상기 함성을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들 중 상기 음상 각도 정보가 0 도가 아닌 주파수 밴드의 신호를 역푸리에변환하여 상기 복수의 제1 및 제2 스피커를 통해 출력될 출력 신호를 생성할 수 있다.

또한, 상기 프로세서는, 상기 씬 정보에 포함된 상기 오디오 종류가 음악인 경우, 상기 음악을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들을 역푸리에변환하여 상기 복수의 제2 스피커를 통해 출력될 출력 신호를 생성할 수 있다.

또한, 상기 프로세서는, 상기 멀티 채널 오디오 신호에 대한 적어도 하나의 오디오 특징(audio feature)을 획득하고, 상기 획득된 적어도 하나의 오디오 특징에 기초하여 상기 씬 정보를 획득할 수 있다.

또한, 상기 프로세서는, 상기 멀티 채널 오디오 신호에 포함된 오디오 종류를 식별하도록 학습된 인공 지능 모델을 이용하여 상기 씬 정보를 획득할 수 있다.

또한, 상기 프로세서는, 상기 멀티 채널 오디오 신호의 ILD(Inter-channel Loudness Difference) 및 ITD(Inter-channel Time Difference) 중 적어도 하나에 기초하여 상기 음상 각도 정보를 획득할 수 있다.

또한, 상기 프로세서는, 상기 씬 정보에 기초하여 상기 생성된 출력 신호에 음향효과를 적용할 수 있다.

또한, 상기 복수의 스피커는, 상기 오디오 출력 장치에 포함될 수 있다.

또한, 통신부를 더 포함하고, 상기 프로세서는, 상기 오디오 출력 장치의 외부에 존재하는 상기 복수의 스피커를 통해 상기 출력 신호를 출력하도록 상기 통신부를 제어할 수 있다.

또한, 상기 프로세서는, 상기 씬 정보에 포함된 오디오 종류가 복수 개인 경우, 상기 복수 개의 오디오 종류 각각이 상기 기설정된 개수의 오디오 프레임 전체에서 차지하는 에너지 비율을 반영하여 상기 출력 신호를 생성할 수 있다.

한편, 본 개시의 일 실시 예에 따른, 서로 다른 위치에 배치된 복수의 스피커를 통해 멀티 채널 오디오 신호를 출력하는 오디오 출력 장치의 제어 방법은, 상기 멀티 채널 오디오 신호를 수신하는 단계, 상기 수신된 멀티 채널 오디오 신호에 포함된 오디오 종류에 관한 씬(scene) 정보 및 가상의 사용자를 기준으로 상기 멀티 채널 오디오 신호에 포함된 상기 오디오 종류의 음상(sound image)이 이루는 각도에 관한 음상 각도 정보를 획득하는 단계 및 상기 획득된 씬 정보 및 음상 각도 정보에 기초하여 상기 멀티 채널 오디오 신호로부터 상기 복수의 스피커로 출력될 출력 신호를 생성하는 단계를 포함하고, 상기 오디오 종류는, 효과음, 함성, 음악 및 음성 중 적어도 하나를 포함하며, 상기 복수의 스피커의 개수는, 상기 멀티 채널 오디오 신호의 채널 개수 이상일 수 있다.

또한, 상기 멀티 채널 오디오 신호는, 복수의 오디오 프레임을 포함하고, 상기 씬 정보는, 상기 복수의 오디오 프레임 중 기설정된 개수의 오디오 프레임마다 획득되는 정보이고, 상기 음상 각도 정보는, 상기 기설정된 개수의 오디오 프레임 각각에 대해 주파수 밴드별로 획득되는 정보일 수 있다.

또한, 상기 생성하는 단계는, 상기 씬 정보에 포함된 상기 오디오 종류가 효과음인 경우, 상기 효과음을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들 중 상기 음상 각도 정보가 기설정된 각도 이상인 주파수 밴드의 신호를 역푸리에변환(Inverse Fourier Transform, IFT)하여 상기 복수의 제1 스피커를 통해 출력될 제1 출력 신호를 생성하고, 상기 음상 각도 정보가 기설정된 각도 미만인 주파수 밴드의 신호를 역푸리에변환하여 상기 복수의 제2 스피커를 통해 출력될 제2 출력 신호를 생성할 수 있다.

또한, 상기 생성하는 단계는, 상기 씬 정보에 포함된 상기 오디오 종류가 함성인 경우, 상기 함성을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들 중 상기 음상 각도 정보가 0 도가 아닌 주파수 밴드의 신호를 역푸리에변환하여 상기 복수의 제1 및 제2 스피커를 통해 출력될 출력 신호를 생성할 수 있다.

또한, 상기 생성하는 단계는, 상기 씬 정보에 포함된 상기 오디오 종류가 음악인 경우, 상기 음악을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들을 역푸리에변환하여 상기 복수의 제2 스피커를 통해 출력될 신호를 생성할 수 있다.

한편, 본 개시의 일 실시 예에 따른, 서로 다른 위치에 배치된 복수의 스피커를 통해 멀티 채널 오디오 신호를 출력하는 오디오 출력 장치의 제어 방법을 실행하기 위한 프로그램을 포함하는 비일시적 컴퓨터 판독가능 기록매체에 있어서, 상기 제어 방법은, 상기 멀티 채널 오디오 신호를 수신하는 단계, 상기 수신된 멀티 채널 오디오 신호에 포함된 오디오 종류에 관한 씬(scene) 정보 및 가상의 사용자를 기준으로 상기 멀티 채널 오디오 신호에 포함된 상기 오디오 종류의 음상(sound image)이 이루는 각도에 관한 음상 각도 정보를 획득하는 단계 및 상기 획득된 씬 정보 및 음상 각도 정보에 기초하여 상기 멀티 채널 오디오 신호로부터 상기 복수의 스피커로 출력될 출력 신호를 생성하는 단계를 포함하고, 상기 오디오 종류는, 효과음, 함성, 음악 및 음성 중 적어도 하나를 포함하며, 상기 복수의 스피커의 개수는, 상기 멀티 채널 오디오 신호의 채널 개수 이상일 수 있다.

이상과 같은 본 발명의 다양한 실시 예에 따르면, 다채널 스피커를 통해 오디오 컨텐츠의 제작 의도에 충실한 사운드를 제공함으로써 사용자에게 고실감 음향을 제공할 수 있다.

도 1은 본 개시의 일 실시 예에 따라 오디오 컨텐츠가 네트워크를 통해 오디오 출력 장치로 제공되는 환경을 도시한 도면,
도 2는 본 개시의 일 실시 예에 따른 오디오 출력 장치의 블럭도,
도 3a는 본 개시의 일 실시 예에 따른 음상 각도를 설명하기 위한 도면,
도 3b는 본 개시의 일 실시 예에 따른 멀티 채널 오디오 신호에 포함된 복수의 오디오 프레임을 도시한 도면,
도 3c는 본 개시의 일 실시 예에 따른 주파수 밴드별 음상 각도 정보를 도시한 그래프,
도 4는 본 개시의 일 실시 예에 따른 프로세서의 기능 블럭도,
도 5a는 본 개시의 일 실시 예에 따른 오디오 출력 장치의 예시도,
도 5b는 도 5a의 오디오 출력 장치에 배치된 복수의 스피커의 수평면 각도를 나타낸 도면,
도 6은 본 개시의 일 실시 예에 따른 오디오 출력 장치의 상세 블럭도,
도 7a는 본 개시의 다른 일 실시 예에 따른 오디오 출력 장치를 포함하는 오디오 시스템을 도시한 도면,
도 7b는 도 7a의 오디오 시스템에 배치된 복수의 스피커의 수평면 각도를 나타낸 도면,
도 8은 본 개시의 다른 일 실시 예에 따른 프로세서의 기능 블럭도, 및
도 9는 본 개시의 일 실시 예에 따른 오디오 출력 장치의 제어 방법을 나타내는 흐름도이다.

본 개시를 설명함에 있어, 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 동일한 구성의 중복 설명은 되도록 생략하기로 한다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

본 개시에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 개시에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 개시의 실시 예들에서 사용되는 용어들은 다르게 정의되지 않는 한, 해당 기술 분야에서 통상의 지식을 가진 자에게 통상적으로 알려진 의미로 해석될 수 있다.

이하에서 첨부된 도면을 참조하여 본 개시의 다양한 실시 예를 상세히 설명한다.

도 1은 본 개시의 일 실시 예에 따라 오디오 컨텐츠가 통신 매체(5)를 통해 오디오 출력 장치(100-1 내지 100-4)로 제공되는 환경(10)을 도시한 도면이다.

도 1에 도시된 바와 같이, 오디오 컨텐츠(또는 사운드 소스)는 방송 송신소(1), 위성(2), 컨텐츠 제공 서버(3) 등으로부터 통신 매체(5)를 통해 오디오 출력 장치(100-1 내지 100-4)로 제공될 수 있다.

오디오 컨텐츠는 스테레오 채널 오디오 신호 또는 5.1 채널 오디오 신호와 같은 멀티 채널 오디오 신호 형태로 오디오 출력 장치(100-1 내지 100-4)에 제공될 수 있으며, 컨텐츠의 종류에 따라 오디오 컨텐츠만 제공될 수도 있고, 비디오 컨텐츠와 함께 제공될 수도 있다.

방송 송신소(1)는 지상파 방송 컨텐츠를 전송하기 위한 송신기 또는 중계기를 포함할 수 있다. 위성(2)은 데이터 또는 위성 방송 컨텐츠를 전송하기 위한 통신용 위성을 포함할 수 있다. 컨텐츠 제공 서버(3)는 IPTV용 방송 컨텐츠, 케이블TV용 방송 컨텐츠, 각종 음원 컨텐츠 및 VOD 컨텐츠를 제공하는 통신망 상의 서버일 수 있다.

통신 매체(5)는 공중(air) 매체나 구축된 통신망을 포함할 수 있다. 이때, 통신망은 무선 셀망, 인터넷, WAN(wide area network), LAN(local area network), 유선 전화 네트워크, 케이블망 등을 포함할 수 있다.

오디오 출력 장치(100-1 내지 100-4)는, 오디오 컨텐츠만을 재생할 수 있는 오디오 기기(100-3)뿐만 아니라, 비디오 및 오디오를 함께 재생할 수 있는 디스플레이 장치(100-1, 100-2, 100-4)를 포함한다.

디스플레이 장치(100-1, 100-2, 100-4)는 스마트 TV, 모니터, 스마트 폰, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿, 네비게이션, 디지털 사이니지(digital signage) 등과 같이 디스플레이를 구비하여 비디오를 재생하고 스피커를 통해 오디오를 출력할 수 있는 장치이다.

오디오 기기(100-3)는 오디오만을 재생하여 출력할 수 있도록 구성된 전자 장치로서, 예를 들어, 오디오 기기(100-3)는, 라디오 장치, 오디오 장치, 축음기, 음성 인식 스피커 장치, 스피커가 설치된 콤팩트 디스크 플레이어, DAP(Digital Audio Player), 차량용 오디오 장치, 스피커가 설치된 가전 기기, 사운드 바(Sound Bar) 또는 기타 사운드의 출력 동작을 수행할 수 있는 각종 장치 등을 포함할 수 있다.

오디오 출력 장치(100-1 내지 100-4)는 서로 다른 위치에 배치된 복수의 스피커를 통해 멀티 채널 오디오 신호를 출력할 수 있다. 구체적으로, 오디오 출력 장치(100-1 내지 100-4)는 통신 매체(5)를 통해 오디오 컨텐츠가 수신되면, 수신된 오디오 컨텐츠에 기초하여 출력 신호를 생성하고, 생성된 출력 신호를 복수의 스피커를 통해 출력할 수 있다.

이때, 본 개시의 다양한 실시 예들에 따르면, 상기 복수의 스피커의 개수 또는 상기 복수의 스피커의 채널 개수는, 오디오 출력 장치(100-1 내지 100-4)가 수신한 오디오 컨텐츠(또는 멀티 채널 오디오 신호)의 채널 개수 이상일 수 있다.

전술한 바와 같이, 오디오 컨텐츠의 채널 수보다 많은 채널 수의 스피커를 통해 오디오 컨텐츠를 재생하는 경우, 오디오 컨텐츠의 제작 의도를 고려하여 출력을 렌더링함으로써 사용자에게 고실감 음향을 제공할 수 있다.

구체적으로, 컨텐츠의 제작의도는, 제작자에 따라 천차만별로 다르지만 장르에 따라 공통적인 규칙이 존재한다. 예를 들어, 스포츠 장르의 경우 팬(Fan)의 시점에서 함성을 녹음하여 최대한 현장의 소리를 재현하고, 음악 장르의 경우 표준 2채널(스테레오) 환경에서 악기 및 보컬의 생생함을 재현하며, 영화 장르의 경우 멀티채널 환경에서 영상과 매칭되는 소리를 재현하는데 그 제작 의도가 있다. 따라서, 오디오 컨텐츠의 장르 정보를 이용하여 다채널 스피커에 대한 음향 렌더링을 수행하면 컨텐츠의 제작 의도를 보다 충실히 반영하여 오디오 컨텐츠를 재생할 수 있게 된다.

본 개시의 다양한 실시 예들에 따르면, 오디오 출력 장치(100-1 내지 100-4)는, 수신된 멀티 채널 오디오 신호에 관한 씬(scene) 정보 및 음상 각도 정보에 기초하여 스피커로 출력될 출력 신호를 생성함으로써 오디오 컨텐츠의 제작 의도를 반영하게 된다.

여기서, 씬 정보는, 장르 정보의 하위 개념으로, 멀티 채널 오디오 신호에 포함된 오디오 종류가 효과음, 함성, 음성 및 음악 중 어느 종류에 해당하는지에 관한 정보를 포함한다. 예를 들어, "영화" 장르의 오디오 컨텐츠에는 음성, 효과음, 함성, 음악과 같은 다양한 오디오 종류가 포함될 수 있으며, 이때, 음성, 효과음, 함성, 음악, 음성과 같은 오디오 종류 각각이 오디오 컨텐츠(또는 멀티 채널 오디오 신호)에 포함된 씬이 될 수 있다. 음상 각도 정보는, 가상의 사용자를 기준으로, 멀티 채널 오디오 신호에 포함된 오디오 종류의 음상(sound image)이 이루는 각도에 관한 정보를 포함할 수 있다.

오디오 출력 장치(100-1 내지 100-4)가 씬 정보 및 음상 각도 정보에 기초하여 상기 출력 신호를 생성하는 보다 구체적인 내용은 후술하기로 한다.

한편, 생성된 출력 신호는 오디오 출력 장치(100-1 내지 100-4)에 구비된 복수의 스피커를 통해 출력될 수도 있고, 실시 예에 따라 오디오 출력 장치(100-1 내지 100-4) 외부에 설치된 별도의 복수의 스피커를 통해 출력될 수도 있다.

이와 같이, 본 개시의 다양한 실시 예들에 따르면, 다채널 스피커를 통해 오디오 컨텐츠의 제작 의도에 충실한 사운드를 제공함으로써 사용자에게 고실감 음향을 제공할 수 있게 된다.

한편, 이상에서는 오디오 컨텐츠가 오디오 출력 장치(100-1 내지 100-4)의 외부로부터 통신 매체(5)를 통해 제공되는 것을 예로 들었으나, 실시 예가 이에 한정되는 것은 아니다.

예를 들어, 오디오 컨텐츠는 USB(Universal Serial Bus), SD(Secure Digital) 메모리 카드 등과 같은 휴대용 저장 매체 또는 각종 광 저장 매체 등을 통해 오디오 출력 장치(100-1 내지 100-4)로 제공될 수도 있다. 또한, 오디오 컨텐츠는 오디오 출력 장치(100-1 내지 100-4) 자체의 스토리지(예를 들어, 하드 디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 시스템 메모리(Rom, BIOS 등))에 저장되어 있다가 스피커를 통한 출력이 필요한 때에 오디오 출력 장치(100-1 내지 100-4)에 의해 출력될 수도 있음은 물론이다.

이하에서는, 도 2 내지 도 5b를 참조하여 본 개시의 다양한 실시 예에 따른 오디오 출력 장치의 구체적인 동작을 자세히 설명한다. 도 2 내지 도 5b에서는, 설명의 편의를 위해, 멀티 채널 오디오 신호가 2 채널 오디오 신호이고, 복수의 스피커는 4 채널 스피커인 경우를 예로 들어 설명한다.

도 2는 본 개시의 일 실시 예에 따른 오디오 출력 장치의 블럭도이다. 도 2에 따르면, 오디오 출력 장치(100)는 입력부(110) 및 프로세서(120)를 포함한다.

입력부(110)는 멀티 채널 오디오 신호를 입력받아 프로세서(120)로 제공할 수 있다. 전술한 바와 같이, 멀티 채널 오디오 신호는 통신 매체(5)를 통해 또는 외부의 휴대용 저장 매체 등을 통해 오디오 출력 장치(100)로 제공될 수 있으므로, 멀티 채널 오디오 신호가 수신되는 각종 유, 무선 통신 인터페이스(미도시)가 입력부(110)의 기능을 수행할 수 있다.

또한, 멀티 채널 오디오 신호는 오디오 출력 장치(100)에 포함된 스토리지(미도시)로부터 프로세서(120)로 제공될 수도 있으므로, 이 경우에는 오디오 출력 장치(100)에 포함된 스토리지(미도시)가 입력부(110)의 기능을 수행할 수 있다.

프로세서(120)는 오디오 출력 장치(100)의 전반적인 동작을 제어한다. 특히, 프로세서(120)는 입력부(110)를 통해 입력된 멀티 채널 오디오 신호가 수신되면, 멀티 채널 오디오 신호에 포함된 오디오 종류에 관한 씬(scene) 정보 및 가상의 사용자를 기준으로 상기 오디오 종류의 음상(sound image)이 이루는 각도에 관한 음상 각도 정보를 획득할 수 있다.

여기서, 씬 정보는 전술한 바와 같이, 멀티 채널 오디오 신호에 포함된 오디오 종류에 관한 정보를 포함하며, 이때, 오디오 종류는 효과음, 함성, 및 음악 중 적어도 하나를 포함할 수 있다.

한편, 음상 각도는 가상의 사용자를 기준으로 가상의 사용자가 바라보는 정면 방향을 0°라고 할때, 어떤 소리의 음상이 가상의 사용자와 이루는 각도를 말한다. 여기서, 음상이란, 소리가 가상으로 맺히는 촛점으로, 예를 들어, 실제 소리는 좌,우 스피커에서 나지만, 가수의 소리는 중앙에서, 피아노의 소리는 좌측 약간 뒤에서, 드럼의 소리는 우측 약간 뒤에서 들리는 듯 느껴지는 경우, 가수의 소리, 피아노의 소리, 드럼의 소리가 나는 것처럼 느껴지는 촛점이 음상이 된다. 즉, 어떤 소리의 촛점이 맺히는 곳이 음상이 되며, 이러한 음상이 가상의 사용자와 이루는 각도가 음상 각도가 된다.

따라서, 예를 들어, 도 3a에 도시된 바와 같이, 가상의 사용자(30)를 가정했을 때, 멀티 채널 오디오 신호에 포함된 효과음의 음상이 사용자의 정면을 기준으로 a°만큼 좌측에 맺히는 경우, 효과음의 음상 각도는 a°가 되고, 멀티 채널 오디오 신호에 포함된 음악의 음상이 사용자의 정면을 기준으로 b°만큼 우측에 맺히는 경우, 음악의 음상 각도는 b°가 된다. 멀티 채널 오디오 신호에 포함된 오디오 종류 즉, 씬(예를 들어, 효과음, 함성, 음악, 음성 등) 각각의 음상 각도는, 오디오 컨텐츠 제작 당시 제작자(예를 들어, 음향 엔지니어)에 의해 튜닝 내지 설정될 수 있으며, 이와 같이 튜닝 내지 설정된 음상 각도를 갖는 씬들을 포함하는 멀티 채널 오디오 신호가 수신되면, 프로세서(120)는 후술할 바와 같이 수신된 멀티 채널 오디오 신호로부터 멀티 채널 오디오 신호에 포함된 각 씬에 대한 음상 각도 정보를 획득할 수 있다,

이와 같이, 멀티 채널 오디오 신호에 대한 씬 정보 및 음상 각도 정보가 획득되면, 프로세서(120)는 획득된 씬 정보 및 음상 각도 정보에 기초하여 상기 멀티 채널 오디오 신호로부터 복수의 스피커로 출력될 출력 신호를 생성하고, 생성된 출력 신호를 복수의 스피커를 통해 출력 할 수 있다.

구체적으로, 프로세서(120)는 음상 각도 정보에 따라 수신된 멀티 채널 오디오 신호를 복수의 스피커로 나누어 출력할 수 있다. 이때, 프로세서(120)는 음상 각도가 기설정된 범위에 속하는지 여부에 기초하여 멀티 채널 오디오 신호로부터 복수의 스피커 각각으로 출력될 출력 신호를 각각 생성하고, 생성된 각 출력 신호를 복수의 스피커 각각을 통해 출력할 수 있다.

여기서, 기설정된 범위(업계에서는 Floor factor 등과 같은 용어로 불리울 수도 있으나, 명칭이 이에 한정되는 것은 아니다.)는, 음상 각도 0°를 기준으로 왼쪽(L) 및 오른쪽 (R) 짝으로 존재할 수 있다. 그러나, 이에 한정되는 것은 아니며, 왼쪽(L) 및 오른쪽(R) 중 어느 한 쪽에만 기설정된 범위가 존재하거나, 왼쪽(L) 및 오른쪽(R)에서 서로 다른 범위를 가질 수도 있다. 한편, 기설정된 범위는 씬 정보에 따라 상이하게 적용될 수 있다.

예를 들어, 기설정된 범위는 Lx_Scene° 내지 Ly_Scene°, Rx_Scene° 내지 Ry_Scene°와 같이, Scene에 따라, 왼쪽(L) 및 오른쪽(R) 각각에 대해 시작 각도 (x) 및 (L) 끝 각도(y)를 갖도록 설정될 수 있으나, 이에 한정되는 것은 아니다.

구체적으로, 오디오 종류가 효과음인 경우, 복수의 스피커의 방사 패턴, 수평면 배치 또는 청취 테스트에 기초하여 오디오 출력 장치(100)의 개발자가 기설정된 범위를 설정할 수 있다.

또한, 오디오 종류가 음악이고, 복수의 스피커가 메인 스피커(예를 들어, 후술할 제 2 스피커) 및 나머지 스피커(예를 들어, 후술할 제 1 스피커)들로 구성된 경우, 출력 신호 대부분이 메인 스피커에서 출력되도록 기설정된 범위가 설정될 수 있다.

또한, 오디오 종류가 함성인 경우, 음상 각도 0°를 제외한 모든 음상 각도의 멀티 채널 오디오 신호가 복수의 스피커 모두에 각각 출력되도록 기설정된 범위를 설정함으로써, 함성 소리에 둘러싸인 듯한 효과를 줄 수 있다. 한편, 본 개시의 일 실시 예에 따르면, 복수의 스피커는, 가상의 사용자를 기준으로 수평면 각도가 상대적으로 큰 복수의 제 1 스피커 및 상기 가상의 사용자를 기준으로 수평면 각도가 상대적으로 작은 복수의 제 2 스피커를 포함할 수 있다. 또한, 복수의 스피커는, 오디오 출력 장치(100) 내부에에 내장된 것일 수도 있고, 오디오 출력 장치(100)와 통신 가능하도록 외부에 설치된 것일 수도 있다.

이에 따라, 프로세서(120)는, 씬 정보 및 음상 각도 정보에 기초하여, 복수의 제 1 스피커로 출력될 출력 신호와 복수의 제 2 스피커로 출력될 출력 신호를 각각 생성하고, 생성된 출력 신호들을 복수의 제 1 및 제 2 스피커를 통해 출력함으로써, 오디오 컨텐츠의 제작 의도에 충실한 사운드를 사용자에게 제공할 수 있게 되는 데, 이에 관한 보다 자세한 내용은 후술하기로 한다.

이하에서는, 도 3b 및 3c를 통해, 본 개시의 다양한 실시 예들에 따른 씬 정보와 음상 각도 정보에 대해 보다 자세히 설명한다.

멀티 채널 오디오 신호는 복수의 오디오 프레임을 포함한다. 일 예로, 44100Hz의 샘플 레이트로 샘플링된 2 채널 오디오 신호에는 좌, 우 채널을 합쳐 초당 88200개의 오디오 프레임이 포함되게 된다.

도 3b는 본 개시의 일 실시 예에 따른 2 채널 오디오 신호에 포함된 복수의 오디오 프레임을 도시하고 있다. 도 3b에 따르면, 2 채널 오디오 신호는 레프트(L) 채널의 오디오 프레임들(20-1 내지 20-4 ...) 및 라이트(R) 채널의 오디오 프레임들(40-1 내지 40-4 ...)를 포함한다.

한편, 도 3b에서 부재 번호의 대시(-) 뒤쪽 숫자가 같은 오디오 프레임들은 서로 같은 시점에 샘플링된 오디오 프레임들을 나타낸다. 즉, L 채널 오디오 프레임(20-1)과 R 채널 오디오 프레임(40-1), 그리고, L 채널 오디오 프레임(20-2)과 R 채널 오디오 프레임(40-2)은 각각 서로 같은 시점에 샘플링된 L, R 채널의 오디오 프레임을 나타내며, 나머지 오디오 프레임들도 마찬가지이다.

이때, 본 개시의 일 실시 예에 따르면, 프로세서(120)는 복수의 오디오 프레임 중 기설정된 개수의 오디오 프레임마다 씬 정보를 획득할 수 있다. 따라서, 기설정된 개수의 오디오 프레임마다 해당 기설정된 개수의 오디오 프레임이 어떤 종류의 오디오인지에 관한 정보가 획득될 수 있다.

예를 들어, 2 채널 오디오 신호의 경우, 프로세서(120)는 동일 시점에 샘플링된 L, R 1 세트(또는 1 쌍)의 오디오 프레임마다 씬 정보를 획득할 수 있다. 즉, 도 3b의 예에서, 프로세서(120)는, 오디오 프레임(20-1, 40-1)에 대하여, 그리고, 오디오 프레임(20-2, 40-2)에 대하여 각각 씬 정보를 획득할 수 있다. 나머지 오디오 프레임들에 대하여도 마찬가지로 L, R 1 세트의 오디오 프레임마다 씬 정보가 획득될 수 있다. 이 경우, 각 1 세트의 오디오 프레임 세트들은 효과음, 함성 및 음악 중 적어도 하나에 해당할 수 있다.

그러나, 실시 예가 이에 한정되는 것은 아니고, 프로세서(120)는 2 세트의 오디오 프레임마다 씬 정보를 획득할 수도 있다. 이 경우, 프로세서(120)는 오디오 프레임(20-1, 40-1, 20-2, 40-2)에 대하여, 그리고, 오디오 프레임(20-3, 40-3, 20-4, 40-4)에 대하여 각각 씬 정보를 획득하는 방식으로, 2 세트의 오디오 프레임 마다 씬 정보를 획득할 수 있다. 이 경우, 각 2 세트의 오디오 프레임들은 효과음, 함성 및 음악 중 적어도 하나에 해당할 수 있다.

프로세서(120)는 실시 예에 따라 3 세트 이상의 오디오 프레임마다 씬 정보를 획득할 수도 있음은 물론이다.

한편, 프로세서(120)는 상기 기설정된 개수의 오디오 프레임 각각에 대해 주파수 밴드별로 상기 음상 각도 정보를 획득할 수 있다. 도 3c는 본 개시의 일 실시 예에 따른 주파수 밴드별 음상 각도 정보를 도시한 그래프이다. 도 3c에서 가로축은 주파수 밴드를 나타내고, 세로축은 음상 각도를 나타내고 있다. 이때, 가로축의 주파수 밴드는, 옥타브 단위, mel 단위, ERB(Equibalent Rectangular Bandwidth) 단위, 크리티컬 밴드(critical band) 단위 등일 수 있으나 이에 한정되는 것은 아니다.

예를 들어, 1 세트의 오디오 프레임마다 씬 정보가 획득된 경우, 프로세서(120)는, 1 세트의 오디오 프레임(예를 들어, 도 3b의 20-1, 40-1)에 대한 음상 각도 정보를, 도 3c에 도시된 바와 같이 주파수 밴드별로 획득할 수 있다.

마찬가지로, 2 세트의 오디오 프레임마다 씬 정보가 획득되는 경우에도, 프로세서(120)는 2 세트의 오디오 프레임(예를 들어, 도 3b의 20-1, 40-1, 20-2, 40-2)에 대한 음상 각도 정보를, 도 3c에 도시된 바와 같이 주파수 밴드별로 획득할 수 있다.

이상에서 설명한 바와 같이 본 개시의 다양한 실시 예에서, 씬 정보는, 멀티 채널 오디오 신호에 포함된 복수의 오디오 프레임 중 기설정된 개수의 오디오 프레임 단위로 획득되는 정보가 되며, 음상 각도 정보는, 상기 기설정된 개수의 오디오 프레임 각각에 대해 주파수 밴드별로 획득되는 정보가 된다. 이하에서는, 도 4를 참조하여 본 개시의 다양한 실시 예들에 따른 프로세서(120)의 구성 및 동작을 보다 자세히 설명한다. 도 4는 본 개시의 일 실시 예에 따른 프로세서(120)의 기능 블럭도이다. 도 4에 따르면, 프로세서(120)는 씬 분석부(121), 음상 각도 분석부(122) 및 오디오 믹싱부(123)를 포함할 수 있다.

씬 분석부(121)는 입력 신호 즉, 멀티 채널 오디오 신호를 분석하여 씬 정보를 획득할 수 있다. 구체적으로, 씬 분석부(121)는 멀티 채널 오디오 신호에 포함된 복수의 오디오 프레임 중 기설정된 개수의 오디오 프레임에 대한 적어도 하나의 오디오 특징(audio feature)을 획득하고, 획득된 오디오 특징에 기초하여 상기 기설정된 개수의 오디오 프레임에 대한 씬 정보를 획득할 수 있다.

여기서, 오디오 특징은, STE(Short Term Energy), ZCR(Zero Crossing Rate), LSTER(Low Short Term Energy Ratio), HZCRR(High Zero Crossing Rate Ratio) 등과 같은 시간 도메인 피쳐와, MFCC(Mel Frequency Cepstral Coefficient), 전체 파워 스펙트럼(Total Power Spectrum), 서브 밴드 파워(Subband Powers), 중심 주파수(Frequency Centroid), 대역폭(Bandwidth), 피치 주파수, 스펙트럼 플럭스(SF) 등과 같은 주파수 도메인 피쳐를 포함할 수 있다.

예를 들어, 씬 정보가 1 쌍의 L, R 오디오 프레임마다 획득되는 예에서, 씬 분석부(121)는, 1 쌍의 L, R 오디오 프레임을 분석하여 상기 오디오 특징들 중 적어도 하나를 추출하고, 추출된 오디오 특징에 기초하여 해당 L, R 오디오 프레임이 효과음, 함성 및 음악 중 어떤 종류의 오디오를 포함하는지 식별할 수 있다.

멀티 채널 오디오 신호로부터 상기 오디오 특징들을 추출하는 구체적인 방법 및 추출된 오디오 특징들로부터 기설정된 개수의 오디오 프레임이 효과음, 함성 및 음악 중 어떤 종류의 오디오를 포함하는지를 식별하는 구체적인 방법은, 본 개시의 요지와 무관하므로, 이하 자세한 설명은 생략한다.

한편, 본 개시의 다른 일 실시 예에 따르면, 씬 분석부(121)는 멀티 채널 오디오에 포함된 오디오 종류를 식별하도록 학습된 인공 지능 모델을 이용하여 씬 정보를 획득할 수도 있다. 여기서, 인공 지능 모델은, 딥러닝 모델, CNN(Convolutional Neural Network) 모델, RNN(Recurrent Neural Network) 모델 중 적어도 하나를 포함할 수 있다.

예를 들어, 씬 정보가 1 쌍의 L, R 오디오 프레임마다 획득되는 예에서, 씬 분석부(121)는 1 쌍의 L, R 오디오 프레임을 2차원 축으로 변환한 스펙트로그램 패턴과 상기 학습된 CNN 모델을 활용하여 오디오 종류 별 일치 확률을 산출하는 방법을 통해, 해당 L, R 오디오 프레임이 효과음, 함성 및 음악 중 어떤 종류의 오디오를 포함하는지 식별할 수 있다.

한편, 인공 지능 모델은 오디오 출력 장치(100)의 저장부(미도시)에 포함되어 씬 분석부(121)에 의해 활용될 수도 있고, 오디오 출력 장치(100) 외부에 존재하는 서버(미도시)에 포함되어 서버와 오디오 출력 장치(100)의 통신을 통해 씬 분석부(121)에 의해 활용될 수도 있다.

음상 각도 분석부(122)는, 입력 신호 즉, 멀티 채널 오디오 신호를 분석하여 음상 각도 정보를 획득한다. 구체적으로, 음상 각도 분석부(122)는 멀티 채널 오디오 신호의 주파수 성분들의 채널 간 유사성(Similarity) 및 일관성(coherence)에 기초하여 음상 각도 정보를 획득할 수 있다.

이때, 음상 각도 분석부(122)는 멀티 채널 오디오 신호에 포함된 각 채널의 오디오 신호를 푸리에 변환을 통해 주파수 도메인으로 변환하고, 변환된 주파수 도메인에서 밴드별 주파수 성분들의 채널 간 유사성 및 일관성을 산출함으로써 멀티 채널 오디오 신호에 대한 주파수 밴드별 음상 각도 정보를 획득할 수 있다.

예를 들어, 스테레오 채널 오디오 신호가 입력될 때, 음상 각도 분석부(122)는, L 채널 신호와 R 채널 신호의 ILD(Inter-channel Loudness Difference 또는 Inter-aural Level Difference) 및 ITD(Inter-channel Time Difference 또는 Inter-aural Time Difference) 중 적어도 하나에 기초하여 주파수 밴드 별 음상 각도 정보를 획득할 수 있다. 여기서, 어떤 음상의 오디오가 사용자의 양쪽 귀에 도달하는 것을 가정할 때, ILD는 양 귀 간 음의 레벨 차이를 말하고, ITD는 양 귀간 음의 시간 차를 말한다.

한편, 음상 각도 분석부(122)는, 전술한 바와 같이, 씬 정보가 획득되는 기설정된 개수 단위의 오디오 프레임마다 주파수 밴드별로 음상 각도 정보를 획득할 수 있다.

오디오 믹싱부(123)는 씬 분석부(121) 및 음상 각도 분석부(122)로부터 획득되는 씬 정보 및 음상 각도 정보에 기초하여 복수의 스피커로 출력될 출력 신호를 생성할 수 있다. 이때, 오디오 믹싱부(123)는 씬 정보 및 음상 각도 정보에 기초하여 주파수 밴드별로 신호를 역푸리에변환(Inverse Fourier Transform, IFT)하여 상기 출력 신호를 생성할 수 있다.

이하에서는, 도 5a 및 도 5b를 참조하여, 오디오 믹싱부(123)의 동작을 보다 자세히 설명한다. 도 5a는 본 개시의 일 실시 예에 따른 오디오 출력 장치(100-5)의 예시도이고, 도 5b는 도 5a의 오디오 출력 장치(100-5)에 배치된 복수의 스피커의 수평면 각도를 나타낸 도면이다.

도 5a에 도시된 바와 같이, 본 개시의 일 실시 예에 따르면, 오디오 출력 장치(100-5)는 서로 다른 위치에 배치된 복수의 스피커(50-1 내지 50-4)를 포함하는 태블릿이 될 수 있다. 그러나, 이에 한정되는 것은 아니다. 이때, 복수의 스피커(50-1 내지 50-4)는 그 배치 위치에 따라 수평면 각도와 수직면 각도를 가질 수 있다.

여기서, 수평면 각도는, 복수의 스피커가 서로 다른 위치에 배치된 상태에서 복수의 스피커를 통해 사운드가 출력될 때, 가상의 사용자의 정면을 기준으로, 복수의 스피커 각각이 존재하는 것으로 느껴지는 위치의 수평면 각도를 말한다.

따라서, 도 5b를 참조하면, 오디오 출력 장치(100-5)는 가상의 사용자(30)를 기준으로, 수평면 각도가 상대적으로 큰 복수의 제 1 스피커(50-3, 50-4) 및 수평면 각도가 상대적으로 작은 복수의 제 2 스피커(50-1, 50-2)를 포함하는 것을 알 수 있다.

이와 같은 복수의 스피커의 수평면 각도에 관한 정보는, 스피커의 특성, 스피커의 배치 정보, 청취 테스트 등을 통해 획득될 수 있다. 도 5a와 같이 복수의 스피커(50-1 내지 50-4)가 오디오 출력 장치(100-5)에 내장되는 경우에는, 복수의 스피커(50-1 내지 50-4)의 배치 정보 또는 수평면 각도에 관한 정보는, 오디오 출력 장치(100-5)의 개발자 또는 제조자에 의해 오디오 출력 장치(100)의 저장부(미도시)에 미리 저장될 수 있다.

한편, 도 5a의 예에서, 복수의 제 2 스피커(50-1, 50-2)는, 입력되는 오디오 컨텐츠가 스테레오 채널 오디오 신호일 때 각 채널 신호에 대응되는 스테레오 채널 스피커일 수 있다. 또한, 복수의 제 1 스피커(50-3, 50-4)는, 스테레오 채널 오디오 신호를 기준으로 할 때, 추가적인 채널의 스피커일 수 있다. 이때, 추가적인 채널의 스피커(즉, 복수의 제 1 스피커(50-3, 50-4))는 스테레오 채널 스피커(50-1, 50-2)를 기준으로 높은 수직면 각도에 위치하므로, 높이(Height) 채널 스피커라 불리울 수도 있으나, 명칭이 이에 한정되는 것은 아니다.

이 경우, 오디오의 종류에 따라 복수의 제 1 스피커(50-3, 50-4)를 통해 적절한 사운드를 출력함으로써, 오디오 컨텐츠 제작자의 제작 의도를 반영할 수 있다.

예를 들어, 효과음의 경우, 좌/우 서라운드 감을 제대로 전달하는 것이 중요하다. 따라서, 수평면 각도가 상대적으로 큰 추가적인 채널의 스피커를 통해 좌/우의 서라운드 감을 시청자에게 줄 수 있다.

따라서, 본 개시의 일 실시 예에 따르면, 오디오 믹싱부(123)는 씬 정보에 포함된 오디오의 종류가 효과음인 경우, 효과음을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들 중 음상 각도 정보가 기설정된 각도 이상인 주파수 밴드의 신호를 역푸리에 변환하여 복수의 제 1 스피커를 통해 출력될 제 1 출력 신호를 생성하고, 음상 각도 정보가 기설정된 각도 미만인 주파수 밴드의 신호를 역푸리에변환하여 복수의 제 2 스피커를 통해 출력될 제 2 출력 신호를 생성할 수 있다.

이와 같이, 효과음의 경우, 음상 각도가 기설정된 각도보다 큰 주파수 밴드의 신호를 수평면 각도가 상대적으로 큰 복수의 제 1 스피커(50-3, 50-4)를 통해 출력하고, 음상 각도가 기설정된 각도 보다 작은 주파수 밴드의 신호를 수평면 각도가 상대적으로 작은 복수의 제 2 스피커(50-1, 50-2)를 통해 출력함으로써, 사용자에게 서라운드감을 제대로 전달할 수 있게 된다.

한편, 스포츠에서의 함성 소리는 시청자가 느끼는 현장감에 큰 영향을 미친다. 따라서, 음상 각도가 0°인 캐스터 및 해설자의 목소리를 제외한 나머지 음상각도에 있는 함성 소리는, 오디오 출력 장치(100-5)에 구비된 모든 채널의 스피커로 출력함으로써 현장감을 강화 할수 있다.

따라서, 본 개시의 다른 일 실시 예에 따르면, 오디오 믹싱부(123)는 씬 정보에 포함된 오디오의 종류가 함성인 경우, 함성을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들 중 음상 각도가 0°가 아닌 주파수 밴드의 신호를 역푸리에변환하여 복수의 제 1 및 제 2 스피커(50-1 내지 50-4)를 통해 출력될 출력 신호를 생성할 수 있다.

이와 같이, 함성의 경우, 음상 각도가 0°가 아닌 나머지 모든 주파수 밴드의 신호를 복수의 스피커(50-1 내지 50-4) 모두에 각각 출력함으로써, 사용자에게 현장감을 제대로 전달할 수 있게 된다.

한편, 음악은 제작자가 의도한 소리를 그대로 내보내주는 것이 중요하다. 즉, 스테레오 채널 오디오 신호인 음악을, 스테레오 채널 스피커와 함께 추가적인 채널의 스피커에도 출력하면, 제작자가 의도한 음상과 청취자가 느끼는 음상이 틀어질 수 있으므로, 추가적인 채널의 스피커의 출력을 최소화할 필요가 있다.

따라서, 본 개시의 또 다른 일 실시 예에 따르면, 오디오 믹싱부(123)는 씬 정보에 포함된 오디오의 종류가 음악인 경우, 음악을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들을 역푸리에변환하여 복수의 제 2 스피커(50-1, 50-2)를 통해 출력될 출력 신호를 생성할 수 있다.

이와 같이, 음악의 경우, 멀티 채널 오디오 신호의 채널에 대응되는 채널의 스피커(즉, 스테레오 채널 오디오 신호에 대응되는 스테레오 채널 스피커(50-1, 50-2))만을 통해 출력함으로써, 음악 컨텐츠 제작자의 제작 의도를 충분히 반영할 수 있게 된다.

한편, 본 개시의 일 실시 예에 따르면, 오디오 믹싱부(130)는 주파수 밴드 신호들 중 음상 각도가 0°인 센터(center) 성분은, 씬 정보와 무관하게 무조건 복수의 제 2 스피커(50-1, 50-2)로 출력하고, 음상 각도가 0°가 아닌 나머지 각도의 분위기(ambience) 성분들에 대하여만 전술한 처리를 수행할 수 있다.

이상에서는, 프로세서(120)가 직접 멀티 채널 오디오 신호를 분석 또는 처리하여 씬 정보 및 음상 각도 정보를 획득하는 것을 예로 들었으나, 실시 예가 이에 한정되는 것은 아니다. 예를 들어, 프로세서(120)는, 수신된 멀티 채널 오디오 신호에 대응되는 씬 정보 및 음상 각도 정보를, 오디오 컨텐츠에 대한 씬 정보 및 음상 각도 정보를 생성 및 관리하는 외부의 서버(미도시)로부터 수신하여 획득할 수도 있고, 이와 같이 외부의 서버로부터 획득된 씬 정보 및 음상 각도 정보에 기초하여 출력 신호를 생성할 수도 있을 것이다.

한편, 이상에서, 도면에 도시하지는 않았지만, 프로세서(120)는, 씬 분석부(121), 음상 각도 분석부(122) 및 오디오 믹싱부(123)의 동작을 제어하도록 마련된, 중앙 처리 장치(CPU, Central Processing Unit), 마이크로 컨트롤러 유닛(MCU, Micro Controller Unit), 마이컴(Micom, Micro Processor), 전자 제어 유닛(ECU, Electronic Control Unit) 또는 애플리케이션 프로세서(AP, Application Processor) 및/또는 각종 연산 처리 및 제어 신호의 생성이 가능한 다른 전자 유닛 등(이하, 'CPU 등'이라 한다.)을 포함할 수 있다. 이때, 상기 CPU 등은, 실시 예에 따라 씬 분석부(121), 음상 각도 분석부(122) 및 오디오 믹싱부(123) 중 적어도 하나 또는 일부에 통합된 형태로 제공될 수도 있다.

한편, 씬 분석부(121), 음상 각도 분석부(122) 및 오디오 믹싱부(123)는, 하나 또는 그 이상의 기능 모듈로 통합되어 프로세서(120)를 형성할 수 있다. 예를 들면, 씬 분석부(121) 및 음상 각도 분석부(122)가 통합되어 하나의 신호 처리 모듈로 형성되거나, 씬 분석부(121), 음상 각도 분석부(122) 및 오디오 믹싱부(123)가 모두 통합되어 하나의 신호 처리 모듈로 형성될 수도 있다. 이때, 신호 처리 모듈은 DSP(Digital Signal Processor)일 수 있으나, 이에 한정되는 것은 아니다.

도 6은 본 개시의 일 실시 예에 따른 오디오 출력 장치의 상세 블럭도이다. 도 6을 설명함에 있어, 전술한 것과 중복되는 구성의 중복되는 설명은 생략한다. 도 6에 따르면, 오디오 출력 장치(100)는 프로세서(120), 메모리(130), 디스플레이(140), 사용자 입력부(150), 통신부(180) 및 복수의 스피커(50-1 내지 50-n)를 포함할 수 있다. 구현 예에 따라, 도 6에 도시된 오디오 출력 장치(100)의 일부의 구성은 생략될 수 있으며, 도시되지 않은 다른 구성이 추가될 수도 있다.

통신부(180)는 외부 장치와 통신을 수행한다. 통신부(180)는, 무선 통신부(181), 유선 통신부(182) 및 입력 인터페이스(183)을 포함할 수 있다.

무선 통신부(181)는, 무선 통신 기술이나 이동 통신 기술을 이용하여 외부의 방송 송신소(1), 위성(2), 컨텐츠 제공 서버(3) 및 다른 단말 장치와 통신을 수행할 수 있다. 이러한 무선 통신 기술로는, 예를 들어, 블루투스(Bluetooth), 저전력 블루투스(Bluetooth [0048] Low Energy), 캔(CAN) 통신, 와이 파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 초광대역 통신(UWB, ultra-wide band), 지그비(zigbee), 적외선 통신(IrDA, infrared Data Association) 또는 엔에프씨(NFC, Near Field Communication) 등이 포함될 수 있으며, 이동 통신 기술로는, 3GPP, 와이맥스(Wi-Max), LTE(Long Term Evolution), 5G 등이 포함될 수 있다.

무선 통신부(181)는 다른 단말 장치나 서버로부터 오디오 컨텐츠를 수신하고, 수신한 오디오 컨텐츠를 프로세서(120)로 전달할 수 있다. 이를 위해, 무선 통신부(181)는 전자기파를 외부로 송신하거나 또는 외부에서 전달된 전자기파를 수신할 수 있는 안테나, 통신 칩 및 기판 등을 이용하여 구현될 수 있다.

유선 통신부(182)는 유선 통신 네트워크를 기반으로 외부의 방송 송신소(1), 위성(2), 컨텐츠 제공 서버(3) 및 다른 단말 장치와 통신을 수행할 수 있다. 여기서, 유선 통신 네트워크는, 예를 들어, 페어 케이블, 동축 케이블, 광섬유 케이블 또는 이더넷 케이블 등 물리적인 케이블을 이용하여 구현될 수 있다. 유선 통신부(182)는 다른 단말 장치나 서버로부터 오디오 컨텐츠를 수신하고, 수신한 오디오 컨텐츠를 프로세서(120)로 전달할 수 있다.

무선 통신부(181) 및 유선 통신부(182)는 실시예에 따라 어느 하나가 생략될 수도 있다. 따라서, 오디오 출력 장치(100)는 무선 통신부(181)만을 포함하거나 유선 통신부(182)만을 포함할 수 있다. 뿐만 아니라, 오디오 출력 장치(100)는 무선 통신부(181)에 의한 무선 접속과 유선 통신부(182)에 의한 유선 접속을 모두 지원하는 통합된 통신부를 구비할 수도 있다.

입력 인터페이스(183)는, 오디오 출력 장치(100)와 별도로 마련된 다른 장치, 예를 들어 외부 저장 장치와 연결 가능하게 마련되며, 다른 장치로부터 오디오 컨텐츠를 수신하고 수신한 오디오 컨텐츠를 소스를 프로세서(10)로 전달할 수 있다. 예를 들어, 입력 인터페이스(183)는, 범용 직렬 시스템 버스(USB: Universal Serial Bus) 단자일수 있으며, 이외에도 HDMI(High Definition Multimedia Interface) 단자나, 썬더볼트 단자 등과 같은 다양한 인터페이스용 단자 중 적어도 하나를 포함할 수 있다.

한편, 도 6에서는, 복수의 스피커(50-1 내지 50-n)가 오디오 출력 장치(100)의 프로세서(120)(구체적으로는, 프로세서(120)의 오디오 믹싱부(123))에 직접 연결되어 오디오 출력 장치(100)에 내장된 것을 예로 들었으나, 실시 예가 이에 한정되는 것은 아니다.

전술한 바와 같이, 프로세서(120)가 생성한 출력 신호는 오디오 출력 장치(100) 외부에 설치된 별도의 복수의 스피커(50-1 내지 50-n)를 통해 출력될 수도 있다. 이 경우, 복수의 외부 스피커(50-1 내지 50-n)는 통신부(180)를 통해 오디오 출력 장치(100)와 각종 유, 무선 방식으로 연결될 수 있으며, 프로세서(120)에서 생성된 복수의 출력 신호는 통신부(180)를 통해 복수의 외부 스피커(50-1 내지 50-n)로 출력될 수 있다.

또한, 본 개시의 일 실시 예에 따르면, 통신부(180)는, 오디오 컨텐츠에 대한 씬 정보 및 음상 각도 정보를 생성 및 관리하는 외부의 서버(미도시)와 통신하여, 외부의 서버로부터 멀티 채널 오디오 신호에 대한 씬 정보 및 음상 각도 정보를 획득할 수도 있다.

메모리(130)는 오디오 컨텐츠를 일시적 또는 비일시적으로 저장하고, 프로세서(120)의 호출에 따라서 오디오 컨텐츠을 프로세서(120)에 전달한다. 또한, 메모리(130)는, 프로세서(120)의 연산, 처리 또는 제어 동작 등에 필요한 각종 정보를 전자적 포맷으로 저장할 수 있다.

예를 들어, 메모리(130)는 프로세서(120)의 동작에 필요한 각종 데이터나, 애플리케이션이나, 필터나, 알고리즘 등의 전부 또는 일부를 저장하고 있을 수 있으며, 필요에 따라서 이를 프로세서(120)에 제공할 수 있다. 여기서, 애플리케이션은 무선 통신부(181) 또는 유선 통신부(182)를 통해 접속가능한 전자 소프트웨어 유통망을 통하여 획득된 것일 수 있다.

메모리(130)는, 예를 들어, 주기억장치 및 보조기억장치 중 적어도 하나를 포함할 수 있다. 주기억장치는 롬(ROM) 및/또는 램(RAM)과 같은 반도체 저 장 매체를 이용하여 구현된 것일 수 있다. 롬은, 예를 들어, 통상적인 롬, 이피롬(EPROM), 이이피롬(EEPROM) 및/또는 마스크롬(MASK-ROM) 등을 포함할 수 있다. 램은 예를 들어, 디램(DRAM) 및/또는 에스램(SRAM) 등을 포함할 수 있다. 보조기억장치는, 플래시 메모리 장치, SD(Secure Digital) 카드, 솔리드 스테이트 드라이브 (SSD, Solid State Drive), 하드 디스크 드라이브(HDD, Hard Disc Drive), 자기 드럼, 컴팩트 디스크(CD), 디브이디(DVD) 또는 레이저 디스크 등과 같은 광 기록 매체(optical media), 자기테이프, 광자기 디스크 및/또는 플로피 디스크 등과 같이 데이터를 영구적 또는 반영구적으로 저장 가능한 적어도 하나의 저장 매체를 이용하여 구현될 수 있다.

한편, 복수의 스피커(50-1 내지 50-n)가 오디오 출력 장치(100)에 내장된 경우, 메모리(130)에는 복수의 스피커(50-1 내지 50-n)의 수평면 각도에 관한 정보가 저장될 수 있다. 복수의 스피커(50-1 내지 50-n)가 오디오 출력 장치(100)와는 독립적으로 외부에 마련된 경우에는, 사용자의 청취 테스트 또는 사용자의 입력을 통해 복수의 외부 스피커(50-1 내지 50-n)의 수평면 각도에 관한 정보가 획득될 수 있는데, 이와 같이 획득된 수평면 각도에 관한 정보 역시 메모리(130)에 저장될 수 있다.

한편, 도 2의 오디오 출력 장치(100)에서는 오디오 컨텐츠 즉, 멀티 채널 오디오 신호를 입력받아 프로세서(120)로 제공하는 기능을 수행하는 구성으로 입력부(110)를 정의하였다. 도 6에서는 통신부(180) 또는 메모리(130)를 통해 오디오 컨텐츠가 프로세서(120)로 제공되므로, 도 6의 통신부(180) 및 메모리(130)가 도 2에서 전술한 입력부(110)에 해당될 수 있다.

디스플레이(140)는 각종 영상을 디스플레이 한다. 특히, 통신부(180)나 메모리(130)를 통해 비디오 신호가 수신되는 경우, 프로세서(120)는 디스플레이(140)를 통해 비디오를 재생할 수 있다. 이를 위해, 디스플레이(140)는 LCD(Liquid Crystal Display) 패널, OLED(Organic Light Emitting Diodes) 패널, PDP(Plasma Display Panel) 패널, 무기 LED 패널, 마이크로 LED 패널 등 다양한 종류의 디스플레이 패널을 포함할 수 있으나, 이에 한정되는 것은 아니다. 한편, 디스플레이(140)는 터치 패널과 함께 터치스크린을 구성할 수도 있다.

사용자 입력부(150)는 각종 사용자 입력을 입력받기 위한 구성이다. 이를 위해, 사용자 입력부(150)는 각종 버튼이나 터치 패널 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

프로세서(120)는 오디오 출력 장치(100)의 전반적인 동작을 제어한다. 특히, 프로세서(120)는, 도 2 내지 도 5b를 통해 전술한 동작을 수행할 수 있다.

한편, 본 개시의 일 실시 예에 따르면, 프로세서(120)는, 씬 정보에 포함된 오디오의 종류가 복수 개인 경우, 복수 개의 오디오의 종류 각각이 기설정된 개수의 오디오 프레임 전체에서 차지하는 에너지 비율(또는 신호의 세기)을 반영하여 출력 신호를 생성할 수 있다.

예를 들어, 입력되는 멀티 채널 오디오 신호가 스테레오 채널 오디오 신호이고, 1 세트의 L, R 오디오 프레임마다 씬 정보가 획득되는 경우, 해당 L, R 오디오 프레임에 효과음과 함성이 함께 포함될 수가 있다. 이때, 프로세서(120)는 해당 L, R 프레임에서 효과음과 함성이 각각 차지하는 에너지 비율 또는 신호의 세기 비율을 판단할 수 있다.

예를 들어, 해당 L, R 프레임에 효과음이 70%, 함성이 30% 포함된 경우라면, 프로세서(120)는 각 주파수 밴드의 신호에 대해, 전술한 효과음에 대한 처리(음상 각도가 기설정된 각도 이상인지 미만인지에 따라 다른 채널의 스피커로 출력함)를 수행한 70%의 세기의 신호를 생성하고, 함성에 대한 처리(0°를 제외한 나머지 신호는 모든 채널의 스피커로 출력함)를 수행한 30% 세기의 신호를 생성하여 출력 신호를 생성할 수 있다.

보다 구체적으로, 예를 들어, 제 1 주파수 밴드(f1)의 음상 각도가 기설정된 각도 이상인 경우라면, 프로세서(120)는 f1에 해당하는 신호의 70%는 복수의 제 1 스피커(50-3, 50-4)를 통해 출력하고, f1에 해당하는 신호의 30%는 복수의 제 1 및 제 2 스피커(50-1 내지 50-4) 모두에 출력하기 위한 출력 신호를 생성할 수 있다.

또한, 제 2 주파수 밴드(f2)의 음상 각도가 기설정된 각도 미만이라면, 프로세서(120)는 f2에 해당하는 신호의 70%는 복수의 제 1 스피커(50-1, 50-2)를 통해 출력하고, f2에 해당하는 신호의 30%는 복수의 제 1 및 제 2 스피커(50-1 내지 50-4) 모두에 출력하기 위한 출력 신호를 생성할 수 있을 것이다.

한편, 프로세서(120)는, 메모리(130) 또는 통신부(180)를 통해 오디오 컨텐츠가 전달되면, 오디오 컨텐츠를 디코딩하여 비압축 형태의 포맷으로 변환한다. 여기서 디코딩이란, MP3(MPEG Layer-3), AAC(Advanced Audio Coding), AC-3(Audio Codec-3), DTS(Digital Theater System), FLAC(free lossless audio codec), WMA(Windows Media Audio) 등 오디오 압축 포맷에 의해 압축된 오디오 신호를 비압축 형태의 오디오 신호로 복원하는 과정을 의미한다. 물론, 오디오 컨텐츠가 압축되어 있지 않다면 이러한 디코딩 과정은 생략될 수 있다. 상기 복원된 오디오 신호는 하나 이상의 채널을 포함할 수 있다.

예를 들어, 오디오 컨텐츠가 스테레오 채널 오디오 신호인 경우, 상기 하나 이상의 채널은 L 채널 및 R 채널이 될 것이다. 이때, 복수의 스피커(50-1 내지 50-n)가 4개이고, 복수의 스피커(50-1 내지 50-4)의 수평면 각도에 관한 정보가 도 5b와 같은 경우라면, 프로세서(120)는 L 채널 오디오 신호 및 R 채널 오디오 신호를 처리하여, 도 2 내지 도 5b를 통해 전술한 동작을 수행할 수 있다. 이는, 복수의 스피커(50-1 내지 50-4)가 오디오 출력 장치(100)에 내장된 경우든 외부에 배치된 경우이든 마찬가지이다.

만일, 오디오 컨테츠가 5.1 채널 오디오 신호인 경우라면, 상기 하나 이상의 채널은 서브우퍼 신호를 포함하여 6개의 채널(L, R, C, LFE, Ls, Rs)이 될 것이다. 이 경우에도, 복수의 스피커(50-1 내지 50-n)가 5.1 채널 이상의 추가적인 채널의 스피커를 포함한다면, 프로세서(120)는 5.1 채널 오디오 신호에 대한 씬 정보 및 음상 각도 정보를 획득하고, 획득된 씬 정보 및 음상 각도 정보에 기초하여 추가적인 채널의 스피커를 통해 출력될 출력 신호를 생성할 수 있을 것이다.

예를 들어, 멀티 채널 오디오 신호가 5.1 채널 오디오 신호이고, 스피커가 5.1 채널 스피커에 더하여 2개의 높이(Height) 채널 스피커를 더 포함하는 경우, 프로세서(120)는 5.1 채널 오디오 신호에 포함된 오디오의 종류가 효과음인 경우, 특정 각도의 음상 각도를 갖는 주파수 밴드의 신호를 역푸리에 변환하여 높이 채널 스피커를 통해 출력될 출력 신호를 생성할 수 있을 것이다. 또한, 5.1 채널 오디오 신호에 포함된 오디오의 종류가 함성인 경우, 음상 각도가 0°가 아닌 모든 주파수 밴드의 신호를 역푸리에 변환하여 5.1 채널 스피커 및 높이 채널 스피커를 포함한 모든 채널의 스피커를 통해 출력될 출력 신호를 생성할 수 있을 것이다.

도 7a는 본 개시의 다른 일 실시 예에 따른 오디오 출력 장치(100-6)를 포함하는 오디오 시스템을 도시한 도면이고, 도 7b는 도 7a의 오디오 시스템에 배치된 복수의 스피커의 수평면 각도를 나타낸 도면이다.

구체적으로, 도 7a는 5.1 채널 스피커 환경을 도시하고 있다. C는 센터 스피커, SW는 서브 우퍼 스피커, FL 및 FR은 프론트 레프트 및 프론트 라이트 스피커, 그리고, RL 및 RR은 리어(rear) 레프트 및 리어 라이트 스피커를 나타낸다. 이 경우, 각 스피커의 수평면 각도는 도 7b에 도시된 바와 같다.

이와 같은 환경에서, 오디오 출력 장치(100-6)와 복수의 스피커(C, SW, FL, FR, RL, RR)는 각종 유선 또는 무선 통신 방식으로 연결될 수 있으며, 오디오 출력 장치(100-6)가 생성한 출력 신호가 복수의 스피커(C, SW, FL, FR, RL, RR)를 통해 출력될 수 있다.

이때, 예를 들어, 5.1 채널 오디오 신호가 입력되면, 오디오 출력 장치(100-6)는 각 채널의 오디오 신호를 대응되는 채널의 스피커로 출력할 수 있다.

그러나, 예를 들어, 스테레오 채널 오디오 신호가 입력되는 경우에는, 오디오 출력 장치(100-6)는 전술한 바와 같이, 스테레오 채널 오디오 신호에 대한 씬 정보 및 음상 각도 정보를 획득하고, 획득된 씬 정보 및 음상 각도 정보에 기초하여 5.1 채널 스피커로 출력될 출력 신호를 생성할 수 있다.

즉, 본 개시의 다양한 실시 예들에 따르면, 오디오 출력 장치(100, 100-6)로 입력되는 스테레오 채널 오디오 신호는 씬 정보 및 음상 각도 정보에 기초하여 2 이상의 출력 신호로 믹싱될 수 있으며, 이와 같이 생성된 출력 신호는, 도 2 내지 도 5b를 통해 전술한 바와 같이 오디오 출력 장치(100)에 내장된 4 채널 스피커를 통해 출력될 수도 있지만, 도 7a와 같이 오디오 출력 장치(100-6)의 외부에 설치된 5.1 채널 스피커를 통해 출력될 수도 있다.

도 7a의 예에서, 스테레오 채널 오디오 신호에 포함된 복수의 오디오 프레임 중 1 세트의 L, R 오디오 프레임마다 씬 정보가 획득되는 경우를 가정하면, 어떤 L, R 오디오 프레임에 대한 씬 정보에 포함된 오디오의 종류가 효과음인 경우, 프로세서(120)는, 기설정된 각도 미만의 음상각도를 갖는 주파수 밴드의 신호를 역푸리에 변환하여 FL 및 FR 채널의 스피커를 통해 출력될 출력 신호를 생성하고, 기설정된 각도 이상의 음상 각도를 갖는 주파수 밴드의 신호를 역푸리에 변환하여 RL 및 RR 채널의 스피커를 통해 출력될 출력 신호를 생성할 수 있을 것이다. 이때, 기설정된 각도는 오디오 출력 장치(100-6)의 개발자나 제조자에 의해 실험적으로 적절히 설정될 수 있을 것이다.

한편, 씬 정보에 포함된 오디오의 종류가 함성인 경우, 프로세서(120)는, 함성을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들 중 음상 각도가 0°가 아닌 주파수 밴드의 신호를 역푸리에 변환하여 FL, FR, RL 및 RR 채널의 스피커를 통해 출력될 출력 신호를 생성할 수 있다.

만일, 씬 정보에 포함된 오디오의 종류가 음악인 경우, 프로세서(120)는, 음악을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들을 역푸리에 변환하여 FL 및 FR 채널의 스피커를 통해 출력될 출력 신호를 생성할 수 있을 것이다.

한편, 도 7a의 오디오 출력 장치(100-6)는, C 및 SW와 같은 특정 주파수 또는 특정 음상 각도를 위한 채널의 스피커를 더 포함하는 바, 예를 들어, 프로세서(120)는 0°의 음상 각도를 갖는 모든 주파수 밴드의 신호를 역푸리에 변환하여 C 채널 스피커로 출력될 출력 신호를 생성하고, 기설정된 주파수 미만의 주파수 밴드의 신호를 역푸리에 변환하여 SW 채널의 스피커를 통해 출력될 출력 신호를 생성할 수도 있을 것이다.

그러나, 실시 예가 이에 한정되는 것은 아니며, 오디오 출력 장치(100-6)의 개발자나 제조자는, 입력되는 스테레오 채널 오디오 신호의 씬 정보 및 음상 각도 정보에 기초하여, 얼마든지 다른 형태로 출력 신호가 생성되도록 오디오 출력 장치(100-6)를 구성할 수 있을 것이다.

한편, 본 개시의 일 실시 예에 따르면, 프로세서(120)는 씬 정보에 기초하여 전술한 바와 같이 생성된 출력 신호에 음향 효과를 적용할 수 있다. 도 8은 이와 같은 기능을 수행하는 본 개시의 일 실시 예에 따른 프로세서의 기능 블럭도이다. 도 8의 프로세서(120)는, 도 4의 프로세서(120)에 비해 음향 효과 적용부(124)를 더 포함하는 것을 제외하면, 나머지 구성은 동일하다.

음향 효과 적용부(124)는 씬 정보에 기초하여 전술한 바와 같이 생성된 출력 신호에 음향 효과를 적용할 수 있다. 예를 들어, 음향 효과 적용부(124)는, 씬 정보에 포함된 오디오의 종류가 음악인 경우, 출력 신호에 HRTF(Head Related Transfer Function)와 같은 가상 입체 음향 효과를 적용하여 사운드 스테이지를 넓혀줄 수 있다.

또한, 음향 효과 적용부(124)는 씬 정보에 포함된 오디오의 종류가 함성인 경우, 복수의 제 2 스피커(50-1, 50-2) 사이에, 그리고, 복수의 제 1 스피커(50-3, 50-4) 사이에, 아웃 오브 페이즈(Out of phase) 성분을 서로 더해주어 함성이 에워싸는 듯한 효과를 적용해 줄 수도 있을 것이다.

도 9는 본 개시의 일 실시 예에 따른 오디오 출력 장치의 제어 방법을 나타내는 흐름도이다. 도 9에 따르면, 오디오 출력 장치(100)는 멀티 채널 오디오 신호를 수신하면(S910), 멀티 채널 오디오 신호에 포함된 오디오의 종류에 관한 씬(scene) 정보 및 가상의 사용자를 기준으로 멀티 채널 오디오 신호에 포함된 오디오의 음상(sound image)이 이루는 각도에 관한 음상 각도 정보를 획득할 수 있다(S920). 이때, 멀티 채널 오디오 신호는, 복수의 오디오 프레임을 포함할 수 있는데, 여기서, 씬 정보는, 복수의 오디오 프레임 중 기설정된 개수의 오디오 프레임마다 획득되는 정보이고, 음상 각도 정보는, 기설정된 개수의 오디오 프레임 각각에 대해 주파수 밴드별로 획득되는 정보일 수 있다.

이에 따라, 오디오 출력 장치(100)는, 획득된 씬 정보 및 음상 각도 정보에 기초하여 멀티 채널 오디오 신호로부터 복수의 스피커로 출력될 출력 신호를 생성할 수 있다(S930). 이때, 복수의 스피커는, 가상의 사용자를 기준으로 수평면 각도가 상대적으로 큰 복수의 제1 스피커 및 수평면 각도가 상대적으로 작은 복수의 제2 스피커를 포함할 수 있다.

한편, 본 개시의 일 실시 예에 따르면, 씬 정보에 포함된 오디오의 종류가 효과음인 경우, 오디오 출력 장치(100)는, 효과음을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들 중 음상 각도 정보가 기설정된 각도 이상인 주파수 밴드의 신호를 역푸리에변환(Inverse Fourier Transform, IFT)하여 복수의 제 1 스피커를 통해 출력될 제 1 출력 신호를 생성하고, 음상 각도 정보가 기설정된 각도 미만인 주파수 밴드의 신호를 역푸리에 변환하여 상기 복수의 제 2 스피커를 통해 출력될 제 2 출력 신호를 생성할 수 있다.

또한, 씬 정보에 포함된 오디오의 종류가 함성인 경우, 오디오 출력 장치(100)는 함성을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들 중 음상 각도 정보가 0 도가 아닌 주파수 밴드의 신호를 역푸리에변환하여 복수의 제 1 및 제 2 스피커를 통해 출력될 출력 신호를 생성할 수 있다.

또한, 씬 정보에 포함된 상기 오디오의 종류가 음악인 경우, 오디오 출력 장치(100)는 음악을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들을 역푸리에 변환하여 복수의 제 2 스피커를 통해 출력될 신호를 생성할 수 있다.

한편, 본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 여기서, 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 오디오 출력 장치(100, 100-1 내지 100-6)를 포함할 수 있다.

상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

일 실시 예에 따르면, 본 개시에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

이상의 설명은 본 개시의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 개시에 따른 실시 예들은 본 개시의 기술 사상을 한정하기 위한 것이 아니라 설명하기 한 것이고, 이러한 실시 예에 의하여 본 개시의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 오디오 출력 장치 110: 입력부
120: 프로세서

Claims

서로 다른 위치에 배치된 복수의 스피커를 통해 멀티 채널 오디오 신호를 출력하는 오디오 출력 장치에 있어서,
입력부; 및
상기 입력부를 통해 입력된 상기 멀티 채널 오디오 신호가 수신되면, 상기 멀티 채널 오디오 신호에 포함된 오디오 종류에 관한 씬(scene) 정보 및 가상의 사용자를 기준으로 상기 멀티 채널 오디오 신호에 포함된 상기 오디오 종류의 음상(sound image)이 이루는 각도에 관한 음상 각도 정보를 획득하고, 상기 획득된 씬 정보 및 음상 각도 정보에 기초하여 상기 멀티 채널 오디오 신호로부터 상기 복수의 스피커로 출력될 출력 신호를 생성하는 프로세서;를 포함하고,
상기 오디오 종류는, 효과음, 함성, 음악 및 음성 중 적어도 하나를 포함하며,
상기 복수의 스피커의 개수는, 상기 멀티 채널 오디오 신호의 채널 개수 이상이며,
상기 복수의 스피커는,
상기 가상의 사용자를 기준으로 수평면 각도가 상대적으로 큰 복수의 제1 스피커 및 수평면 각도가 상대적으로 작은 복수의 제2 스피커를 포함하고,
상기 프로세서는,
상기 씬 정보에 포함된 상기 오디오 종류가 효과음인 경우, 상기 효과음을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들 중 상기 음상 각도 정보가 기설정된 각도 이상인 주파수 밴드의 신호를 변환하여 상기 복수의 제1 스피커를 통해 출력될 제1 출력 신호를 생성하고, 상기 음상 각도 정보가 기설정된 각도 미만인 주파수 밴드의 신호를 변환하여 상기 복수의 제2 스피커를 통해 출력될 제2 출력 신호를 생성하고,
상기 씬 정보에 포함된 상기 오디오 종류가 음악인 경우, 상기 음악을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들을 변환하여 상기 복수의 제2 스피커를 통해 출력될 출력 신호를 생성하는 오디오 출력 장치.
제 1 항에 있어서,
상기 멀티 채널 오디오 신호는, 복수의 오디오 프레임을 포함하고,
상기 프로세서는,
상기 복수의 오디오 프레임 중 기설정된 개수의 오디오 프레임마다 상기 씬 정보를 획득하고, 상기 기설정된 개수의 오디오 프레임 각각에 대해 주파수 밴드별로 상기 음상 각도 정보를 획득하는 것을 특징으로 하는 오디오 출력 장치.
삭제
삭제
제 1 항에 있어서,
상기 프로세서는,
상기 씬 정보에 포함된 상기 오디오 종류가 함성인 경우, 상기 함성을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들 중 상기 음상 각도 정보가 0 도가 아닌 주파수 밴드의 신호를 역푸리에변환하여 상기 복수의 제1 및 제2 스피커를 통해 출력될 출력 신호를 생성하는 것을 특징으로 하는 오디오 출력 장치.
삭제
제 1 항에 있어서,
상기 프로세서는,
상기 멀티 채널 오디오 신호에 대한 적어도 하나의 오디오 특징(audio feature)을 획득하고, 상기 획득된 적어도 하나의 오디오 특징에 기초하여 상기 씬 정보를 획득하는 것을 특징으로 하는 오디오 출력 장치.
제 1 항에 있어서,
상기 프로세서는,
상기 멀티 채널 오디오 신호에 포함된 오디오 종류를 식별하도록 학습된 인공 지능 모델을 이용하여 상기 씬 정보를 획득하는 것을 특징으로 하는 오디오 출력 장치.
제 1 항에 있어서,
상기 프로세서는,
상기 멀티 채널 오디오 신호의 ILD(Inter-channel Loudness Difference) 및 ITD(Inter-channel Time Difference) 중 적어도 하나에 기초하여 상기 음상 각도 정보를 획득하는 오디오 출력 장치.
제 1 항에 있어서,
상기 프로세서는,
상기 씬 정보에 기초하여 상기 생성된 출력 신호에 음향효과를 적용하는 것을 특징으로 하는 오디오 출력 장치.
제 1 항에 있어서,
상기 복수의 스피커는,
상기 오디오 출력 장치에 포함되는 것을 특징으로 하는 오디오 출력 장치.
제 1 항에 있어서,
통신부;를 더 포함하고,
상기 프로세서는,
상기 오디오 출력 장치의 외부에 존재하는 상기 복수의 스피커를 통해 상기 출력 신호를 출력하도록 상기 통신부를 제어하는 것을 특징으로 하는 오디오 출력 장치.
제 2 항에 있어서,
상기 프로세서는,
상기 씬 정보에 포함된 오디오 종류가 복수 개인 경우, 상기 복수 개의 오디오 종류 각각이 상기 기설정된 개수의 오디오 프레임 전체에서 차지하는 에너지 비율을 반영하여 상기 출력 신호를 생성하는 것을 특징으로 하는 오디오 출력 장치.
서로 다른 위치에 배치된 복수의 스피커를 통해 멀티 채널 오디오 신호를 출력하는 오디오 출력 장치의 제어 방법에 있어서,
상기 멀티 채널 오디오 신호를 수신하는 단계;
상기 수신된 멀티 채널 오디오 신호에 포함된 오디오 종류에 관한 씬(scene) 정보 및 가상의 사용자를 기준으로 상기 멀티 채널 오디오 신호에 포함된 상기 오디오 종류의 음상(sound image)이 이루는 각도에 관한 음상 각도 정보를 획득하는 단계; 및
상기 획득된 씬 정보 및 음상 각도 정보에 기초하여 상기 멀티 채널 오디오 신호로부터 상기 복수의 스피커로 출력될 출력 신호를 생성하는 단계;를 포함하고,
상기 오디오 종류는, 효과음, 함성, 음악 및 음성 중 적어도 하나를 포함하며,
상기 복수의 스피커의 개수는, 상기 멀티 채널 오디오 신호의 채널 개수 이상이며,
상기 복수의 스피커는,
상기 가상의 사용자를 기준으로 수평면 각도가 상대적으로 큰 복수의 제1 스피커 및 수평면 각도가 상대적으로 작은 복수의 제2 스피커를 포함하고,
상기 생성하는 단계는,
상기 씬 정보에 포함된 상기 오디오의 종류가 효과음인 경우, 상기 효과음을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들 중 상기 음상 각도 정보가 기설정된 각도 이상인 주파수 밴드의 신호를 변환하여 상기 복수의 제1 스피커를 통해 출력될 제1 출력 신호를 생성하고, 상기 음상 각도 정보가 기설정된 각도 미만인 주파수 밴드의 신호를 변환하여 상기 복수의 제2 스피커를 통해 출력될 제2 출력 신호를 생성하고,
상기 씬 정보에 포함된 상기 오디오 종류가 음악인 경우, 상기 음악을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들을 변환하여 상기 복수의 제2 스피커를 통해 출력될 신호를 생성하는 제어 방법.
제 14 항에 있어서,
상기 멀티 채널 오디오 신호는, 복수의 오디오 프레임을 포함하고,
상기 씬 정보는, 상기 복수의 오디오 프레임 중 기설정된 개수의 오디오 프레임마다 획득되는 정보이고, 상기 음상 각도 정보는, 상기 기설정된 개수의 오디오 프레임 각각에 대해 주파수 밴드별로 획득되는 정보인 것을 특징으로 하는 제어 방법.
삭제
삭제
제 14 항에 있어서,
상기 생성하는 단계는,
상기 씬 정보에 포함된 상기 오디오 종류가 함성인 경우, 상기 함성을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들 중 상기 음상 각도 정보가 0 도가 아닌 주파수 밴드의 신호를 역푸리에변환하여 상기 복수의 제1 및 제2 스피커를 통해 출력될 출력 신호를 생성하는 것을 특징으로 하는 제어 방법.
삭제
서로 다른 위치에 배치된 복수의 스피커를 통해 멀티 채널 오디오 신호를 출력하는 오디오 출력 장치의 제어 방법을 실행하기 위한 프로그램을 포함하는 비일시적 컴퓨터 판독가능 기록매체에 있어서,
상기 제어 방법은,
상기 멀티 채널 오디오 신호를 수신하는 단계;
상기 수신된 멀티 채널 오디오 신호에 포함된 오디오 종류에 관한 씬(scene) 정보 및 가상의 사용자를 기준으로 상기 멀티 채널 오디오 신호에 포함된 상기 오디오 종류의 음상(sound image)이 이루는 각도에 관한 음상 각도 정보를 획득하는 단계; 및
상기 획득된 씬 정보 및 음상 각도 정보에 기초하여 상기 멀티 채널 오디오 신호로부터 상기 복수의 스피커로 출력될 출력 신호를 생성하는 단계;를 포함하고,
상기 오디오 종류는, 효과음, 함성, 음악 및 음성 중 적어도 하나를 포함하며,
상기 복수의 스피커의 개수는, 상기 멀티 채널 오디오 신호의 채널 개수 이상이며,
상기 복수의 스피커는,
상기 가상의 사용자를 기준으로 수평면 각도가 상대적으로 큰 복수의 제1 스피커 및 수평면 각도가 상대적으로 작은 복수의 제2 스피커를 포함하고,
상기 생성하는 단계는,
상기 씬 정보에 포함된 상기 오디오의 종류가 효과음인 경우, 상기 효과음을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들 중 상기 음상 각도 정보가 기설정된 각도 이상인 주파수 밴드의 신호를 변환하여 상기 복수의 제1 스피커를 통해 출력될 제1 출력 신호를 생성하고, 상기 음상 각도 정보가 기설정된 각도 미만인 주파수 밴드의 신호를 변환하여 상기 복수의 제2 스피커를 통해 출력될 제2 출력 신호를 생성하고,
상기 씬 정보에 포함된 상기 오디오 종류가 음악인 경우, 상기 음악을 포함하는 오디오 프레임의 전체 주파수 밴드의 신호들을 변환하여 상기 복수의 제2 스피커를 통해 출력될 신호를 생성하는 기록 매체.