[go: up one dir, main page]

KR101844336B1 - 공간감을 제공하는 신호 처리 장치 및 신호 처리 방법 - Google Patents

공간감을 제공하는 신호 처리 장치 및 신호 처리 방법 Download PDF

Info

Publication number
KR101844336B1
KR101844336B1 KR1020110076657A KR20110076657A KR101844336B1 KR 101844336 B1 KR101844336 B1 KR 101844336B1 KR 1020110076657 A KR1020110076657 A KR 1020110076657A KR 20110076657 A KR20110076657 A KR 20110076657A KR 101844336 B1 KR101844336 B1 KR 101844336B1
Authority
KR
South Korea
Prior art keywords
signal
reverberation
panning information
sound source
applying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020110076657A
Other languages
English (en)
Other versions
KR20130014915A (ko
Inventor
이강은
이시화
김도형
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110076657A priority Critical patent/KR101844336B1/ko
Priority to US13/542,193 priority patent/US9107019B2/en
Publication of KR20130014915A publication Critical patent/KR20130014915A/ko
Application granted granted Critical
Publication of KR101844336B1 publication Critical patent/KR101844336B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • G10K15/12—Arrangements for producing a reverberation or echo sound using electronic time-delay networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

공간감을 제공하는 신호 처리 장치 및 신호 처리 방법이 개시된다. 신호 처리 장치는 복수 개의 음원 위치에 대응하는 원래 신호를 합산한 합산 신호에 잔향 효과를 적용한 후, 상관도를 제거하여 복수 개의 음원 위치에 대응하는 잔향 신호를 생성할 수 있다. 그런 후, 신호 처리 장치는 원래 신호로부터 도출된 패닝 정보를 잔향 신호에 적용함으로써 원래 신호의 위치 정보를 반영할 수 있다.

Description

공간감을 제공하는 신호 처리 장치 및 신호 처리 방법{SIGNAL PROCESSING APPARATUS AND METHOD FOR PROVIDING SPATIAL}
본 발명의 일실시예들은 공간감을 제공하는 신호 처리 장치 및 신호 처리 방법에 관한 것으로, 보다 구체적으로는 본 발명의 일실시예들은 원래 신호에 인공적으로 잔향 효과를 첨가하여 원래 신호의 공간감을 향상시키는 장치 및 방법에 관한 것이다.
음향 기기의 발달로 인해 소리에 공간감을 적용하고자 하는 요구가 증가하고 있다. 소리의 공간감을 제공하기 위해서, 원래 신호에 인공적으로 잔향 효과를 첨가하는 방법이 주로 사용된다. 원래 신호에 인공적으로 잔향 효과를 첨가함으로써 청취자가 콘서트홀에서 음악을 듣는 것처럼 느끼게 할 수 있다. 즉, 원래 신호에 의도적으로 잔향 효과를 첨가함으로써 청취자가 콘서트홀에 위치한 것처럼 느낄 수 있는 공간감을 제공할 수 있다.
종래의 경우, 원래 신호에 잔향 효과를 첨가하는 방식은 다음과 같다.
(방법 1) 신호 처리 장치는 스테레오 신호인 왼쪽 원래 신호(left original signal)와 오른쪽 원래 신호(right original signal)에 각각 잔향 효과를 적용하여 왼쪽 잔향 신호와 오른쪽 잔향 신호를 생성한다. 그런 다음, 종래의 신호 처리 장치는 왼쪽 원래 신호와 왼쪽 잔향 신호를 적절한 비율로 합산하여 최종적인 왼쪽 신호를 생성하고, 오른쪽 원래 신호와 오른쪽 잔향 신호를 적절한 비율로 합산하여 최종적인 오른쪽 신호를 생성한다.
방법 1의 경우, 왼쪽 원래 신호와 오른쪽 원래 신호에 각각 독립적으로 잔향 효과를 적용하기 때문에, 왼쪽 원래 신호와 오른쪽 원래 신호의 방향성은 유지될 수 있다. 그러나, 왼쪽 원래 신호와 오른쪽 원래 신호에 모두 잔향 효과를 적용해야 하기 때문에 메모리 요구량이 증가하는 문제가 있다. 특히, 자원 제약이 엄격한 모바일 장치에 큰 메모리를 요구하는 방법 1을 적용하기에는 어려움이 있다.
(방법 2) 신호 처리 장치는 왼쪽 원래 신호와 오른쪽 원래 신호를 합산한 후, 합산 신호에 잔향 효과를 적용한다. 이후에 신호 처리 장치는 잔향 효과가 적용된 합산 신호를 딜레이(delay) 처리하고, 딜레이된 합산 신호와 딜레이되지 않은 합산 신호를 직교 합산하여 왼쪽 원래 신호와 오른쪽 원래 신호를 생성한다.
방법 2의 경우, 잔향 효과를 합산 신호에 적용하기 때문에 방법 1보다는 적은 메모리를 사용하고, 복잡도도 낮으나, 왼쪽 원래 신호와 오른쪽 원래 신호의 음압차가 반영되지 않고 동일한 비율로 잔향 효과가 적용되어 신호의 방향성이 손상되는 문제가 있다.
따라서, 신호의 공간감을 제공하기 위한 잔향 효과를 첨가할 때, 신호의 방향성은 유지하면서, 적은 메모리를 요구하는 방법이 필요하다.
본 발명의 제1 실시예에 따른 신호 처리 장치는 N개의 음원 위치에 대응하는 원래 신호들을 합산한 합산 신호에 잔향 효과를 적용하는 잔향 효과 적용부; 및 상기 잔향 효과가 적용된 FDN 채널 신호에서 상관도를 제거하여 N개의 음원 위치에 대응하는 잔향 신호들을 추출하는 상관도 제거부를 포함할 수 있다.
본 발명의 제2 실시예에 따른 신호 처리 장치는 N개의 음원 위치에 대응하는 원래 신호들을 합산한 합산 신호에 잔향 효과를 적용하는 잔향 효과 적용부; 상기 잔향 효과가 적용된 FDN 채널 신호에서 상관도를 제거하여 N개의 음원 위치에 대응하는 잔향 신호들을 추출하는 상관도 제거부; 상기 N개의 음원 위치에 대응하는 원래 신호들 각각의 패닝 정보를 결정하는 패닝 정보 결정부; 및 상기 N개의 음원 위치에 대응하는 잔향 신호들 각각에 상기 패닝 정보를 적용하는 패닝 정보 적용부를 포함할 수 있다.
본 발명의 제1 실시예에 따른 신호 처리 방법은 N개의 음원 위치에 대응하는 원래 신호들을 합산한 합산 신호에 잔향 효과를 적용하는 단계; 및 상기 잔향 효과가 적용된 FDN 채널 신호에서 상관도를 제거하여 N개의 음원 위치에 대응하는 잔향 신호들을 추출하는 단계를 포함할 수 있다.
본 발명의 제2 실시예에 따른 신호 처리 방법은 N개의 음원 위치에 대응하는 원래 신호들을 합산한 합산 신호에 잔향 효과를 적용하는 단계; 상기 잔향 효과가 적용된 FDN 채널 신호에서 상관도를 제거하여 N개의 음원 위치에 대응하는 잔향 신호들을 추출하는 단계; 상기 N개의 음원 위치에 대응하는 원래 신호들 각각의 패닝 정보를 결정하는 단계; 및 상기 N개의 음원 위치에 대응하는 잔향 신호들 각각에 상기 패닝 정보를 적용하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, N개의 음원 위치에 대응하는 원래 신호를 합산한 후 잔향 효과를 적용함으로써, 잔향 효과를 적용하기 위해 필요한 메모리 요구량이 감소할 수 있다.
본 발명의 일실시예에 따르면, 잔향 효과가 적용된 잔향 신호에 원래 신호의 위치 정보와 관련된 패닝 정보를 적용함으로써 음원의 방향성을 유지할 수 있다.
본 발명의 일실시예에 따르면, 프레임 간 패닝 정보에 시간적 스무딩을 적용하여 프레임 간 패닝 정보의 급격한 변화로 인한 노이즈 발생을 방지할 수 있다.
도 1은 본 발명의 제1 실시예에 따른 신호 처리 장치를 도시한 도면이다.
도 2는 본 발명의 제2 실시예에 따른 신호 처리 장치를 도시한 도면이다.
도 3은 원래 신호로부터 도출되는 잔향 신호의 예시를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따라 잔향 효과를 적용하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따라 상관도를 제거하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따라 시간적 스무딩을 적용하는 과정을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따라 비선형 매핑의 예시를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따라 잔향 신호에 패닝 정보를 적용하는 과정을 도시한 도면이다.
도 9는 본 발명의 일실시예에 따라 왼쪽 신호와 오른쪽 신호에 잔향 효과를 적용하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 제1 실시예에 따른 신호 처리 방법을 도시한 도면이다.
도 11은 본 발명의 제2 실시예에 따른 신호 처리 방법을 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 제1 실시예에 따른 신호 처리 장치를 도시한 도면이다.
도 1을 참고하면, 신호 처리 장치(100)는 잔향 효과 적용부(101), 상관도 제거부(102)를 포함할 수 있다.
잔향 효과 적용부(101)는 N개의 음원 위치에 대응하는 원래 신호들을 합산한 합산 신호에 잔향 효과를 적용할 수 있다. 일례로, 잔향 효과 적용부(101)는 N차 피드백 딜레이 네트워크(Feedback Delay Network: FDN)를 이용하여 합산 신호에 잔향 효과를 적용할 수 있다.
본 발명의 일실시예에 의하면, N개의 채널에 대응하는 원래 신호들을 합산한 합산 신호에 잔향 효과를 적용함으로써 요구되는 메모리가 작다.
그리고, 상관도 제거부(102)는 잔향 효과가 적용된 FDN 채널 신호에서 상관도를 제거하여 N개의 음원 위치에 대응하는 잔향 신호들을 추출할 수 있다. 일례로, 상관도 제거부(102)는 잔향 효과가 적용된 합산 신호에 딜레이를 적용하여 N개의 음원 위치에 대응하는 잔향 신호들을 추출할 수 있다.
도 2는 본 발명의 제2 실시예에 따른 신호 처리 장치를 도시한 도면이다.
도 2를 참고하면, 신호 처리 장치(200)는 잔향 효과 적용부(201), 상관도 제거부(102), 패닝 정보 결정부(203), 패닝 정보 적용부(204)를 포함할 수 있다. 실시예에 따라, 신호 처리 장치(200)는 신호 믹싱부(205)를 더 포함할 수 있다.
잔향 효과 적용부(201)는 N개의 음원 위치에 대응하는 원래 신호들을 합산한 합산 신호에 잔향 효과를 적용할 수 있다. 일례로, 잔향 효과 적용부(101)는 N차 피드백 딜레이 네트워크를 이용하여 합산 신호에 잔향 효과를 적용할 수 있다.
상관도 제거부(102)는 잔향 효과가 적용된 FDN 채널 신호에서 상관도를 제거하여 N개의 음원 위치에 대응하는 잔향 신호들을 추출할 수 있다. 일례로, 상관도 제거부(102)는 잔향 효과가 적용된 FDN 채널 신호에 딜레이를 적용하여 N개의 음원 위치에 대응하는 잔향 신호들을 추출할 수 있다.
패닝 정보 결정부(203)는 N개의 음원 위치에 대응하는 원래 신호들 각각의 패닝 정보를 결정할 수 있다. 여기서, 패닝 정보는 패닝 계수(panning coefficient)로서, 원래 신호의 위치 정보와 관련된 정보이다. 일례로, 패닝 정보 결정부(203)는 N개의 음원 위치에 대응하는 원래 신호들 각각의 에너지를 이용하여 원래 신호의 방향성을 나타내는 패닝 정보를 결정할 수 있다. 이 때, 패닝 정보 결정부(203)는 N개의 음원 위치에 대응하는 원래 신호들 각각의 패닝 정보를 원래 신호의 프레임마다 결정할 수 있다.
패닝 정보 적용부(204)는 N개의 음원 위치에 대응하는 잔향 신호들 각각에 패닝 정보를 적용할 수 있다. 여기서, 잔향 신호들은 상관도 제거부(102)로부터 도출된 신호를 의미한다. 즉, 패닝 정보 적용부(204)는 잔향 신호들 각각에 패닝 정보를 적용함으로써 잔향 신호에 원래 신호의 방향성을 반영할 수 있다.
이 때, 패닝 정보 적용부(204)는 프레임 간 패닝 정보가 미리 설정된 기준값을 초과하여 전이(transition)가 발생하는 경우, 프레임 간 패닝 정보에 시간적 스무딩을 적용할 수 있다. 패닝 정보 적용부(204)는 시간적 스무딩이 반영된 패닝 정보를 잔향 신호에 적용함으로써 전이로 인한 노이즈 발생을 줄일 수 있다. 그리고, 패닝 정보 적용부(204)는 시간적 스무딩이 처리된 패닝 정보에 비선형 매핑할 수 있다. 비선형 매핑은 패닝의 최대값과 최소값을 제한하고, 패닝 정도의 강도를 조절하는 것이다.
신호 믹싱부(205)는 N개의 음원 위치에 대응하는 원래 신호들과 패닝 정보가 적용된 잔향 신호를 믹싱함으로써, N개의 채널에 대응하는 최종 신호를 도출할 수 있다.
도 1과 도 2를 통해 도시된 신호 처리 장치는 휴대용 미디어 컨텐츠 재생 장치, 모바일 단말에서 발생된 오디오 신호에 공간감을 부가하기 위해 음원 발생 장치 이후에 직렬 형태로 부가될 수 있다. 그리고, 신호 처리 장치는 휴대용 미디어 컨텐츠 재생 장치, 모바일 단말에 내장될 수 있는 칩 형태로 구현될 수 있다.
도 3은 원래 신호로부터 도출되는 잔향 신호의 예시를 도시한 도면이다.
도 3을 참고하면, 임의의 음원(sound source)에서 발생한 원래 신호는 청취자에게 직접 도달하는 직접음(direct sound), 원래 신호가 공간의 면에 반사되어 청취자에게 도달하는 반사음(reflection sound) 형태로 청취자에게 전달된다. 반사음 중에서 일정 시간이 경과한 후에 청취자에게 도달하는 반사음(subsequent reflection sound)을 잔향(reverberation)이라고 한다. 잔향은 음원이 위치한 공간의 특성을 결정하는 중요한 요소이다.
본 발명의 일실시예들은 원래 신호에 인공적으로 잔향 효과를 적용함으로 원래 신호에 공간감을 제공할 수 있다.
도 4는 본 발명의 일실시예에 따라 잔향 효과를 적용하는 과정을 설명하기 위한 도면이다.
도 4는 4차 피드백 딜레이 네트워크(FDN)를 나타낸 것이며, 원래 신호에 잔향 효과를 적용할 수 있다. 피드백 릴레이 네트워크는 적은 메모리를 요구하면서 자연스러운 잔향 효과를 적용할 수 있다. 구체적으로, 피드백 릴레이 네트워크는 병렬 콤브(comb) 필터를 사용하여 상대적으로 적은 딜레이를 가지고 높은 시간 영역의 반향 밀도를 가질 수 있도록 한다.
도 4를 참고하면, 입력 신호 X는 복수의 채널로 분리된 후 각 채널에서 적절한 게인값 b1, b2, b3, b4이 곱해진 후 매트릭스 A를 통해 피드백된 결과값과 합산된다. 이 후 각 채널 별로 합산 신호에 딜레이가 적용된다.
딜레이가 적용된 합산 신호는 저역 통과 필터(low-pass filter) Hn(z)가 적용된다.
이 때, 저역 통과 필터를 통과한 합산 신호는 매트릭스 A를 통과한 후 피드백된다. 상기 언급된 과정을 수학식 1로 나타낼 수 있다.
Figure 112011059479022-pat00001
Figure 112011059479022-pat00002
여기서,
Figure 112011059479022-pat00003
는 저역 통과 필터(low-pass filter) Hn(z)가 적용된 각 FDN 채널 별로 잔향효과가 적용된 최종 출력값이다. 그리고,
Figure 112011059479022-pat00004
는 딜레이가 적용되기 전의 합산 신호를 의미한다.
Figure 112011059479022-pat00005
는 매트릭스 A를 통해 피드백된 신호를 의미하고,
Figure 112011059479022-pat00006
는 입력 신호에 게인값
Figure 112011059479022-pat00007
가 적용된 결과를 의미한다. 그리고, A는 매트릭스를 의미한다.
그리고, 저역 통과 필터는 수학식 2로 표현될 수 있다.
Figure 112011059479022-pat00008
여기서 kp와 bp는 필터의 계수이다.
본 발명의 일실시예에 따르면, 원래 신호에 잔향 효과를 적용하는 일례로, 피드백 딜레이 네트워크를 언급하였다. 그러나, 본 발명의 일실시예들은 피드백 딜레이 네트워크에 한정되지 않고, 다른 구조의 잔향기도 활용할 수 있다.
도 5는 본 발명의 일실시예에 따라 상관도를 제거하는 과정을 설명하기 위한 도면이다.
도 5를 참고하면, 원래 신호가 왼쪽 채널과 오른쪽 채널로 구성된 스테레오 신호인 경우, 잔향 효과가 적용된 합산 신호는 상관도가 제거되어 왼쪽 잔향 신호와 오른쪽 잔향 신호로 분리될 수 있다.
도 5에서, 신호 처리 장치는 FDN 채널 별로 각각 게인 값을 곱한 후 합산하여 왼쪽 잔향 신호와 오른쪽 잔향 신호를 생성한다. 이 때 각 FDN 채널 신호에 대한 게인값은 외쪽과 오른쪽 상관도에 의해 선택적으로 적용될 수 있다. 이 후잔향 효과가 적용된 합산 신호에서 오른쪽 채널을 δs만큼 딜레이하여 오른쪽 잔향 신호를 추출하고, 왼쪽 채널을 바이패스하여 왼쪽 잔향 신호를 추출할 수 있다. 반대로, 신호 처리 장치는 왼쪽 채널을 딜레이하고, 오른쪽 채널을 바이패스할 수도 있다.
만약, 음원 위치가 N개인 경우, 신호 처리 장치는 잔향 효과가 적용된 합산 신호를 N-1번 만큼 딜레이 처리하여 N개의 잔향 신호를 추출할 수 있다.
도 6은 본 발명의 일실시예에 따라 시간적 스무딩을 적용하는 과정을 나타낸 도면이다.
일례로, 신호 처리 장치는 원래 신호의 패닝 정보를 결정하기 위해 원래 신호의 에너지를 추출할 수 있다. 도 6에서는, 원래 신호가 왼쪽 음원과 오른쪽 음원에서 발생된 신호로 구성된 스테레오 신호로 가정하고 설명하기로 한다.
왼쪽 원래 신호과 오른쪽 원래 신호 Xl과 Xr에 대한 에너지 El과 Er는 수학식 3을 통해 계산될 수 있다.
Figure 112011059479022-pat00009
신호 처리 장치는 에너지 El과 Er를 수학식 4에 적용하여 왼쪽 원래 신호와 오른쪽 원래 신호 각각의 패닝 정보를 결정할 수 있다.
Figure 112011059479022-pat00010
패닝 정보 Pl과 Pr은 각각의 원래 신호의 방향성과 관련된 정보로서, 원래 신호가 기준 위치에서 왼쪽 또는 오른쪽으로 치우친 정도를 나타낸다.
예를 들어, Pl이 Pr보다 상대적으로 크다면 원래 신호는 기준 위치에서 왼쪽으로 치우쳤음을 나타내고 Pr이 Pl보다 상대적으로 크다면 원래 신호는 기준 위치에서 오른쪽으로 치우쳤음을 나타낸다. 이 때, 패닝 정보는 프레임 단위로 계산될 수 있다.
만약, 프레임 간 패닝 정보가 급격하게 변하여 패닝 정보를 반영한 잔향 신호에 전이(transition)가 발생하는 경우, 노이즈가 발생할 수 있다. 노이즈 발생을 줄이기 위해, 신호 처리 장치는 시간적 스무딩을 적용할 수 있다.
도 6에서, 프레임 별 패닝 정보를 나타내며, (-)이면 기준 위치에서 왼쪽으로 치우치고, (+)이면 기준 위치에서 오른쪽으로 치우친 것을 의미한다. 이 때, 미리 설정된 기준값이 2인 경우, 음영이 표시된 프레임들 간에 전이가 발생할 수 있다. 이 경우, 신호 처리 장치는 음영이 표시된 프레임들 간에 시간적 스무딩을 적용하여 프레임간 패닝 정보의 차이를 줄일 수 있다.
도 7은 본 발명의 일실시예에 따라 비선형 매핑의 예시를 도시한 도면이다.
도 7에서는, 원래 신호가 왼쪽 음원과 오른쪽 음원에서 발생된 신호로 구성된 스테레오 신호로 가정하고 설명하기로 한다. 본 발명의 일실시예에 따르면, 신호 처리 장치는 비선형 매핑된 패닝 정보에 시간적 스무딩을 적용할 수 있다. 신호 처리 장치는 수학식 5를 통해 시간적 스무딩을 적용할 수 있다.
Figure 112011059479022-pat00011
여기서 n은 프레임 인덱스를 나타내고
Figure 112011059479022-pat00012
과
Figure 112011059479022-pat00013
은 비선형 매핑된 패닝 정보를 나타낸다. 그리고,
Figure 112011059479022-pat00014
는 시간적 스무딩의 강도를 나타내는 계수이다. 만약
Figure 112011059479022-pat00015
를 증가시키면, 시간적 스무딩은 작게되고,
Figure 112011059479022-pat00016
를 감소시키면 시간적 스무딩은 크게 된다.
수학식 5에 의하면, 시간적 스무딩이 적용된 패닝 정보
Figure 112011059479022-pat00017
과
Figure 112011059479022-pat00018
은 비선형 매핑을 통하여 변형된다. 비선형 매핑을 통해 패닝 정보의 최대 값과 최저 값에 제한을 두고
Figure 112011059479022-pat00019
를 보다 증가시키거나 또는 보다 감소시킬 수 있다.
비선형 매핑된 패닝 정보는 수학식 6에 따라 결정될 수 있다.
Figure 112011059479022-pat00020
여기서 μ0와 μ1은 각각 비선형 매핑된 패닝 정보의 최저 값과 최대 값의 정도를 표현하는 계수값이다. 그리고, P0는 비선형 매핑의 쉬프팅(shifting) 정도를 나타내고 σ는 비선형 매핑의 기울기를 나타낸다.
도 7은 μ0와 μ1은 각각 0.1과 0.9이고 σ와 P0가 각각 0.9와 0.5일 때 비선형 매핑된 패닝 정보와 비선형 매핑되지 않은 패닝 정보와의 관계를 나타낸다.
도 8은 본 발명의 일실시예에 따라 잔향 신호에 패닝 정보를 적용하는 과정을 도시한 도면이다.
신호 처리 장치는 시간적 스무딩과 비선형 매핑이 적용된 패닝 정보를 N개의 음원 위치에 대응하는 잔향 신호들 각각에 적용할 수 있다. 도 8에서는, 원래 신호가 왼쪽 음원과 오른쪽 음원에서 발생된 신호로 구성된 스테레오 신호로 가정하고 설명하기로 한다.
신호 처리 장치는 현재 프레임의 패닝 정보는 이전 프레임의 패닝 정보를 이용하여 선형 보간될 수 있다. 선형 보간은 수학식 7에 따라 처리될 수 있다.
Figure 112011059479022-pat00021
여기서 n과 L은 각각 프레임 인덱스와 프레임 안에서 샘플 개수를 나타낸다.
따라서 선형 보간된 패닝 정보는 프레임의 샘플 개수와 동일한 길이를 갖는 벡터로 생성이 된다. 신호 처리 장치는 수학식 8과 같이 잔향 신호 Rl과 Rr에 프레임의 샘플 단위로 패닝 정보를 적용할 수 있다.
Figure 112011059479022-pat00022
도 9는 본 발명의 일실시예에 따라 왼쪽 신호와 오른쪽 신호에 잔향 효과를 적용하는 과정을 설명하기 위한 도면이다.
도 9에서는, 원래 신호가 왼쪽 음원과 오른쪽 음원에서 발생된 신호로 구성된 스테레오 신호로 가정하고 설명하기로 한다.
먼저 왼쪽 원래 신호
Figure 112011059479022-pat00023
와 오른쪽 원래 신호
Figure 112011059479022-pat00024
는 서로 합산 되어 게인값 gmix가 곱해진 합산 신호 X를 생성한다. 게인값 gmix가 크면, 큰 잔향 신호가 출력되고, 게인값 gmix가 작으면, 작은 잔향 신호가 출력된다.
잔향 효과 적용부(901)는 합산 신호 X에 기초하여 FDN 구조를 통하여 FDN 4채널 잔향 신호 R 을 생성한다. 상관도 제거부(902)는 FDN 4채널 잔향 신호 R에서 상관도 제거(decorrelation)를 처리하여 FDN 4채널 잔향 신호 R를 스테레오 이미지를 가진 왼쪽 잔향 신호 Rl 와 오른쪽 잔향 신호 Rr로 변환할 수 있다. 여기서 왼쪽 잔향 신호 Rl 와 오른쪽 잔향 신호 Rr은 왼쪽 원래 신호와 오른쪽 원래 신호의 크기에 기초한 음원의 위치 정보가 반영되지 않았다. 따라서, 신호 처리 장치는 왼쪽 잔향 신호 Rl 와 오른쪽 잔향 신호 Rr에 각각 음원의 위치 정보를 반영할 수 있다.
패닝 정보 결정부(903)는 왼쪽 원래 신호
Figure 112011059479022-pat00025
과 오른쪽 원래 신호
Figure 112011059479022-pat00026
각각의 위치 정보에 대응하는 패닝 정보를 결정할 수 있다. 패닝 정보는 프레임 단위로 결정될 수 있다. 결정된 패닝 정보는 잔향 신호의 강도를 조절하는 게인값 gwetl, gwetr이 곱해져서, 왼쪽 원래 신호와 관련된 패닝 정보
Figure 112011059479022-pat00027
와 오른쪽 원래 신호와 관련된 패닝 정보
Figure 112011059479022-pat00028
가 도출된다.
패닝 정보 적용부(904)는 패닝 정보
Figure 112011059479022-pat00029
와
Figure 112011059479022-pat00030
를 각각 잔향 신호 Rl, Rr에 적용할 수 있다. 이 때, 패닝 정보 적용부(904)는 프레임 간 패닝 정보의 급격한 차이로 인해 잔향 신호에 전이(transition)이 발생되는 것을 방지하기 위해 패닝 정보에 시간적 스무딩을 적용할 수 있다.
패닝 정보가 반영된 왼쪽 잔향 신호 R’l 와 오른쪽 잔향 신호 R’r은 왼쪽 원래 신호
Figure 112011059479022-pat00031
와 오른쪽 원래 신호
Figure 112011059479022-pat00032
에 게인값 gdryl, gdryr 곱한 결과와 믹싱됨으로써, 공간감이 적용된 최종적인 왼쪽 신호
Figure 112011059479022-pat00033
와 오른쪽 신호
Figure 112011059479022-pat00034
가 출력된다.
여기서 게인값 gdryl, gdryr은 공간감이 적용된 최종적인 왼쪽 신호
Figure 112011059479022-pat00035
와 오른쪽 신호
Figure 112011059479022-pat00036
에서 직접음의 강도를 조절하기 위해 사용된다. 구체적으로, 게인값 gdryl, gdryr을 증가시키고 게인값 gwetl, gwetr을 감소시키면 직접음이 강조되어 선명한 원래 신호가 출력되고, 반대의 경우는 공간감이 풍부한 신호가 출력된다.
도 10은 본 발명의 제1 실시예에 따른 신호 처리 방법을 도시한 도면이다.
단계(1001)에서, 신호 처리 장치(100)의 잔향 효과 적용부(101)는 N개의 음원 위치에 대응하는 원래 신호들을 합산한 합산 신호에 잔향 효과를 적용할 수 있다. 일례로, 잔향 효과 적용부(101)는 N차 피드백 딜레이 네트워크(Feedback Delay Network: FDN)를 이용하여 합산 신호에 잔향 효과를 적용할 수 있다.
본 발명의 일실시예에 의하면, N개의 채널에 대응하는 원래 신호들을 합산한 합산 신호에 잔향 효과를 적용함으로써 요구되는 메모리가 작다.
단계(1002)에서, 신호 처리 장치(100)의 상관도 제거부(102)는 잔향 효과가 적용된 FND 채널 신호에서 상관도를 제거하여 N개의 음원 위치에 대응하는 잔향 신호들을 추출할 수 있다. 일례로, 상관도 제거부(102)는 잔향 효과가 적용된 합산 신호에 딜레이를 적용하여 N개의 음원 위치에 대응하는 잔향 신호들을 추출할 수 있다.
도 11은 본 발명의 제2 실시예에 따른 신호 처리 방법을 도시한 도면이다.
단계(1101)에서 신호 처리 장치(200)의 잔향 효과 적용부(201)는 N개의 음원 위치에 대응하는 원래 신호들을 합산한 합산 신호에 잔향 효과를 적용할 수 있다. 일례로, 잔향 효과 적용부(101)는 N차 피드백 딜레이 네트워크를 이용하여 합산 신호에 잔향 효과를 적용할 수 있다.
단계(1102)에서 신호 처리 장치(200)의 상관도 제거부(102)는 잔향 효과가 적용된 FDN 채널 신호에서 상관도를 제거하여 N개의 음원 위치에 대응하는 잔향 신호들을 추출할 수 있다. 일례로, 상관도 제거부(102)는 잔향 효과가 적용된 FDN 채널신호에 채널별 게인값을 곱하고, 게인값이 곱해진 FDN 채널 신호를 합산한다. 그리고, 상관도 제거부(102)는 합산된 FDN 채널 신호에 딜레이를 적용하여 N개의 음원 위치에 대응하는 잔향 신호들을 추출할 수 있다.
단계(1103)에서 신호 처리 장치(200)의 패닝 정보 결정부(203)는 N개의 음원 위치에 대응하는 원래 신호들 각각의 패닝 정보를 결정할 수 있다. 여기서, 패닝 정보는 패닝 계수(panning coefficient)로서, 원래 신호의 위치 정보와 관련된 정보이다. 일례로, 패닝 정보 결정부(203)는 N개의 음원 위치에 대응하는 원래 신호들 각각의 에너지를 이용하여 원래 신호의 방향성을 나타내는 패닝 정보를 결정할 수 있다. 이 때, 패닝 정보 결정부(203)는 N개의 음원 위치에 대응하는 원래 신호들 각각의 패닝 정보를 원래 신호의 프레임마다 결정할 수 있다.
단계(1104)에서 신호 처리 장치(200)의 패닝 정보 적용부(204)는 N개의 음원 위치에 대응하는 잔향 신호들 각각에 패닝 정보를 적용할 수 있다. 여기서, 잔향 신호들은 상관도 제거부(102)로부터 도출된 신호를 의미한다. 즉, 패닝 정보 적용부(204)는 잔향 신호들 각각에 패닝 정보를 적용함으로써 잔향 신호에 원래 신호의 방향성을 반영할 수 있다.
이 때, 패닝 정보 적용부(204)는 프레임 간 패닝 정보가 미리 설정된 기준값을 초과하여 전이(transition)가 발생하는 경우, 프레임 간 패닝 정보에 시간적 스무딩을 적용할 수 있다. 패닝 정보 적용부(204)는 시간적 스무딩이 반영된 패닝 정보를 잔향 신호에 적용함으로써 전이로 인한 노이즈 발생을 줄일 수 있다. 그리고, 패닝 정보 적용부(204)는 시간적 스무딩이 처리된 패닝 정보에 비선형 매핑할 수 있다. 비선형 매핑은 패닝의 최대값과 최소값을 제한하고, 패닝 정도의 강도를 조절하는 것이다.
단계(1105)에서 신호 처리 장치(200)의 신호 믹싱부(205)는 N개의 음원 위치에 대응하는 원래 신호들과 패닝 정보가 적용된 잔향 신호를 믹싱함으로써, N개의 채널에 대응하는 최종 신호를 도출할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 신호 처리 장치
101: 잔향 효과 적용부
102: 상관도 제거부

Claims (19)

  1. N개의 음원 위치에 대응하는 원래 신호들을 합산한 합산 신호에 잔향 효과를 적용하는 잔향 효과 적용부; 및
    상기 잔향 효과가 적용된 합산 신호에서 상관도를 제거하여 N개의 음원 위치에 대응하는 잔향 신호들을 추출하는 상관도 제거부;
    상기 원래 신호들의 패닝 정보를 결정하는 패닝 정보 결정부; 및
    상기 잔향 신호들에 상기 패닝 정보를 적용하는 패닝 정보 적용부
    를 포함하는 신호 처리 장치.
  2. 제1항에 있어서,
    상기 패닝 정보 결정부는,
    상기 N개의 음원 위치에 대응하는 원래 신호들 각각의 에너지를 이용하여 상기 원래 신호의 방향성을 나타내는 패닝 정보를 결정하는 것을 특징으로 하는 신호 처리 장치.
  3. 제1항에 있어서,
    상기 패닝 정보 결정부는,
    상기 N개의 음원 위치에 대응하는 원래 신호들 각각의 패닝 정보를 원래 신호의 프레임마다 결정하는 것을 특징으로 하는 신호 처리 장치.
  4. 제1항에 있어서,
    상기 패닝 정보 적용부는,
    프레임 간 패닝 정보가 미리 설정된 기준값을 초과하는 경우, 상기 패닝 정보에 시간적 스무딩(temporal smoothing)을 처리하는 것을 특징으로 하는 신호 처리 장치.
  5. 제4항에 있어서,
    상기 패닝 정보 적용부는,
    시간적 스무딩이 처리된 패닝 정보에 비선형 매핑하는 것을 특징으로 하는 신호 처리 장치.
  6. 제1항에 있어서,
    상기 잔향 효과 적용부는,
    N차 피드백 딜레이 네트워크를 이용하여 합산 신호에 잔향 효과를 적용하는 것을 특징으로 하는 신호 처리 장치.
  7. 제1항에 있어서,
    상기 상관도 제거부는,
    잔향 효과가 적용된 합산 신호에 딜레이를 적용하여 N개의 음원 위치에 대응하는 잔향 신호들을 추출하는 것을 특징으로 하는 신호 처리 장치.
  8. 제1항 내지 제5항 중 어느 한 항에 있어서,
    N개의 음원 위치에 대응하는 원래 신호들과 패닝 정보가 적용된 잔향 신호를 믹싱하는 신호 믹싱부
    를 더 포함하는 신호 처리 장치.
  9. N개의 음원 위치에 대응하는 원래 신호들을 합산한 합산 신호에 잔향 효과를 적용하는 단계; 및
    상기 잔향 효과가 적용된 합산 신호에서 상관도를 제거하여 N개의 음원 위치에 대응하는 잔향 신호들을 추출하는 단계;
    상기 원래 신호들의 패닝 정보를 결정하는 단계; 및
    상기 잔향 신호들에 상기 패닝 정보를 적용하는 단계
    를 포함하는 신호 처리 방법.
  10. 제9항에 있어서,
    상기 패닝 정보를 결정하는 단계는,
    상기 N개의 음원 위치에 대응하는 원래 신호들 각각의 에너지를 이용하여 상기 원래 신호의 방향성을 나타내는 패닝 정보를 결정하는 것을 특징으로 하는 신호 처리 방법.
  11. 제9항에 있어서,
    상기 패닝 정보를 결정하는 단계는,
    상기 N개의 음원 위치에 대응하는 원래 신호들 각각의 패닝 정보를 원래 신호의 프레임마다 결정하는 것을 특징으로 하는 신호 처리 방법.
  12. 제9항에 있어서,
    상기 패닝 정보를 적용하는 단계는,
    프레임 간 패닝 정보가 미리 설정된 기준값을 초과하는 경우, 상기 패닝 정보에 시간적 스무딩(temporal smoothing)을 처리하는 것을 특징으로 하는 신호 처리 방법.
  13. 제12항에 있어서,
    상기 패닝 정보를 적용하는 단계는,
    시간적 스무딩이 처리된 패닝 정보에 비선형 매핑하는 것을 특징으로 하는 신호 처리 방법.
  14. 제9항에 있어서,
    상기 잔향 효과를 적용하는 단계는,
    N차 피드백 딜레이 네트워크를 이용하여 합산 신호에 잔항 효과를 적용하는 것을 특징으로 하는 신호 처리 방법.
  15. 제9항에 있어서,
    상기 상관도를 제거하여 N개의 음원 위치에 대응하는 잔향 신호들을 추출하는 단계는,
    상기 잔향 효과가 적용된 합산 신호에 딜레이를 적용하여 N개의 음원 위치에 대응하는 잔향 신호들을 추출하는 것을 특징으로 하는 신호 처리 방법.
  16. 제9항 내지 제15항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  17. 삭제
  18. 삭제
  19. 삭제
KR1020110076657A 2011-08-01 2011-08-01 공간감을 제공하는 신호 처리 장치 및 신호 처리 방법 Active KR101844336B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110076657A KR101844336B1 (ko) 2011-08-01 2011-08-01 공간감을 제공하는 신호 처리 장치 및 신호 처리 방법
US13/542,193 US9107019B2 (en) 2011-08-01 2012-07-05 Signal processing apparatus and method for providing spatial impression

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110076657A KR101844336B1 (ko) 2011-08-01 2011-08-01 공간감을 제공하는 신호 처리 장치 및 신호 처리 방법

Publications (2)

Publication Number Publication Date
KR20130014915A KR20130014915A (ko) 2013-02-12
KR101844336B1 true KR101844336B1 (ko) 2018-04-02

Family

ID=47626963

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110076657A Active KR101844336B1 (ko) 2011-08-01 2011-08-01 공간감을 제공하는 신호 처리 장치 및 신호 처리 방법

Country Status (2)

Country Link
US (1) US9107019B2 (ko)
KR (1) KR101844336B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2840811A1 (en) * 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for processing an audio signal; signal processing unit, binaural renderer, audio encoder and audio decoder
GB2565747A (en) * 2017-04-20 2019-02-27 Nokia Technologies Oy Enhancing loudspeaker playback using a spatial extent processed audio signal
CN109195062B (zh) * 2018-09-21 2020-10-02 歌尔科技有限公司 一种扩大音频设备的声场的方法、系统及音频设备
CN110740416B (zh) * 2019-09-27 2021-04-06 广州励丰文化科技股份有限公司 一种音频信号处理方法及装置
CN110740404B (zh) * 2019-09-27 2020-12-25 广州励丰文化科技股份有限公司 一种音频相关性的处理方法及音频处理装置
EP4175325B1 (en) * 2021-10-29 2024-05-22 Harman Becker Automotive Systems GmbH Method for audio processing
EP4178231A1 (en) 2021-11-09 2023-05-10 Nokia Technologies Oy Spatial audio reproduction by positioning at least part of a sound field

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2953851B2 (ja) 1992-02-19 1999-09-27 富士通テン株式会社 残響付加装置
JPH06130942A (ja) 1992-10-20 1994-05-13 Kawai Musical Instr Mfg Co Ltd 音響効果装置
JP2998482B2 (ja) 1993-03-02 2000-01-11 ヤマハ株式会社 共鳴音・残響音発生装置
JPH07104775A (ja) 1993-10-06 1995-04-21 Fujitsu Ten Ltd 音場制御システム
JP2959361B2 (ja) 1993-10-21 1999-10-06 ヤマハ株式会社 残響音付加装置
KR100364770B1 (ko) 1995-06-01 2003-03-03 엘지전자 주식회사 고출력레이저다이오드
KR970004178A (ko) 1995-06-08 1997-01-29 청색 반도체 레이저 다이오드 및 그 제조방법
FR2738099B1 (fr) * 1995-08-25 1997-10-24 France Telecom Procede de simulation de la qualite acoustique d'une salle et processeur audio-numerique associe
JP3927624B2 (ja) 1996-08-14 2007-06-13 新日本無線株式会社 サラウンド回路
US5917917A (en) 1996-09-13 1999-06-29 Crystal Semiconductor Corporation Reduced-memory reverberation simulator in a sound synthesizer
JP2002221975A (ja) 2001-01-26 2002-08-09 New Japan Radio Co Ltd ディジタル信号処理装置
US7099482B1 (en) * 2001-03-09 2006-08-29 Creative Technology Ltd Method and apparatus for the simulation of complex audio environments
JP2003005770A (ja) 2001-06-25 2003-01-08 Tama Tlo Kk 残響生成付加方法とその装置
KR20080079502A (ko) * 2007-02-27 2008-09-01 삼성전자주식회사 입체음향 출력장치 및 그의 초기반사음 생성방법
KR101546849B1 (ko) 2009-01-05 2015-08-24 삼성전자주식회사 주파수 영역에서의 음장효과 생성 방법 및 장치
KR101059788B1 (ko) 2009-06-23 2011-08-26 주식회사 금영 잔향 생성 장치

Also Published As

Publication number Publication date
US9107019B2 (en) 2015-08-11
US20130034235A1 (en) 2013-02-07
KR20130014915A (ko) 2013-02-12

Similar Documents

Publication Publication Date Title
KR101844336B1 (ko) 공간감을 제공하는 신호 처리 장치 및 신호 처리 방법
CN102523551B (zh) 用于确定空间输出多声道音频信号的装置
US8751029B2 (en) System for extraction of reverberant content of an audio signal
JP5455647B2 (ja) オーディオデコーダ
US8346565B2 (en) Apparatus and method for generating an ambient signal from an audio signal, apparatus and method for deriving a multi-channel audio signal from an audio signal and computer program
US8634568B2 (en) Efficient filter for artificial ambience
RU2666316C2 (ru) Аппарат и способ улучшения аудиосигнала, система улучшения звука
US7970144B1 (en) Extracting and modifying a panned source for enhancement and upmix of audio signals
KR100971700B1 (ko) 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과,그를 이용한 바이노럴 스테레오 복호화 장치
US11749252B2 (en) Signal processing device, signal processing method, and program
WO2009046225A2 (en) Correlation-based method for ambience extraction from two-channel audio signals
CN101455095A (zh) 在变换域中用于有效的双耳声音空间化的方法和装置
US9913036B2 (en) Apparatus and method and computer program for generating a stereo output signal for providing additional output channels
IL291458B2 (en) Multichannel audio encoding and decoding using directional metadata
JP6630599B2 (ja) アップミックス装置及びプログラム
JP7711053B2 (ja) 方向メタデータを使用するマルチチャネルオーディオ符号化及び復号化
KR101296765B1 (ko) 스피커와 청취자 위치를 반영한 능동적 오디오 매트릭스 디코딩 방법 및 장치
TWI884996B (zh) 使用方向性元資料之多通道音頻編碼及解碼
Franck et al. Optimization-based reproduction of diffuse audio objects
RU2826480C1 (ru) Кодирование и декодирование многоканального аудио с использованием метаданных направленности
HK1196198B (en) Apparatus and method and computer program for generating a stereo output signal for providing additional output channels

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110801

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20160609

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20110801

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170615

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20171227

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20180327

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20180328

End annual number: 3

Start annual number: 1

PG1601 Publication of registration