KR101511553B1 - Multi Step Audio Separation Method and Audio Device using the same - Google Patents
Multi Step Audio Separation Method and Audio Device using the same Download PDFInfo
- Publication number
- KR101511553B1 KR101511553B1 KR20140016998A KR20140016998A KR101511553B1 KR 101511553 B1 KR101511553 B1 KR 101511553B1 KR 20140016998 A KR20140016998 A KR 20140016998A KR 20140016998 A KR20140016998 A KR 20140016998A KR 101511553 B1 KR101511553 B1 KR 101511553B1
- Authority
- KR
- South Korea
- Prior art keywords
- audio
- separation
- separating
- composite
- model data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Abstract
다중 단계 오디오 분리 방법 및 이를 적용한 오디오 시스템이 제공된다. 본 발명의 실시예에 따른 오디오 분리 방법은, 복합 오디오 소스에 대해 제1 분리 절차를 수행하여 다수의 오디오 객체들로 하고, 분리된 오디오 객체들 중 적어도 하나에 대해 제2 분리 절차를 수행한다. 이에 의해, 다중 단계로 오디오 객체를 분리하여, 보다 높은 분리도로 오디오 객체를 분리할 수 있게 된다.A multi-step audio separation method and an audio system using the same are provided. An audio separation method according to an embodiment of the present invention performs a first separation procedure for a composite audio source to a plurality of audio objects and performs a second separation procedure for at least one of the separated audio objects. Thereby, audio objects can be separated in multiple steps, thereby separating audio objects with higher separation.
Description
본 발명은 오디오 처리에 관한 것으로, 더욱 상세하게는 여러 오디오 객체들이 통합된 복합 오디오에서 오디오 객체들을 분리하는 오디오 분리 방법 및 이를 적용한 오디오 시스템에 관한 것이다.
BACKGROUND OF THE
도 1은 오디오 객체 분리가 가능한 기존 오디오 시스템의 블럭도이다. 도시된 오디오 시스템은, 여러 오디오 객체(Audio Object)들이 통합되어 있는 복합 오디오(Mixed Audio)에서 오디오 객체들을 분리한다.1 is a block diagram of an existing audio system capable of audio object separation. The illustrated audio system separates audio objects from mixed audio in which a plurality of audio objects are integrated.
이를 위해, 오디오 시스템은, 도 1에 도시된 바와 같이, 모델 데이터 추출부(10) 및 모델 기반 객체 분리부(20)를 포함한다.To this end, the audio system includes a model
모델 데이터 추출부(10)는 오디오 분리에 필요한 모델 데이터를 사전 작업으로 추출하여 보유한다.The model
모델 기반 객체 분리부(20)는 복합 오디오 소스를 다수의 오디오 객체들로 분리한다. 이를 위해, 모델 기반 객체 분리부(20)는 복합 오디오에 대해 T-iteration을 수행한다. 구체적으로,The model-based
1) 복합 오디오 소스와 모델 데이터-1을 이용하여 변환 행렬의 파라미터를 설정하는 과정을 T회 반복한 후, 복합 오디오 소스에 변환 행렬을 곱하여 오디오 객체-1을 분리하고,1) The process of setting the parameters of the transformation matrix using the composite audio source and the model data -1 is repeated T times, then the composite audio source is multiplied by the transformation matrix to separate the audio object -1,
2) 복합 오디오 소스와 모델 데이터-2를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 T회 반복한 후, 복합 오디오 소스에 변환 행렬을 곱하여 오디오 객체-2를 분리하며,2) The process of setting the parameters of the transformation matrix using the composite audio source and the model data-2 is repeated T times. Then, the composite audio source is multiplied by the transformation matrix to separate the audio object-
......
n) 복합 오디오 소스와 모델 데이터-n을 이용하여 변환 행렬의 파라미터를 설정하는 과정을 T회 반복한 후, 복합 오디오 소스에 변환 행렬을 곱하여 오디오 객체-n을 분리한다.n) After repeating the process of setting the parameters of the transformation matrix using the composite audio source and model data-n T times, the composite audio source is multiplied by the transformation matrix to separate the audio object -n.
한편, 오디오 분리 과정에서 높은 분리도를 얻기 위해 요구되는 높은 iteration 횟수 T가 요구된다. 하지만, T를 증가시키면 연산량이 증가하게 되는데, 증가되는 연산량 대비 높아지는 분리도는 만족스럽지 못하다는 난제가 있다.
On the other hand, a high number of iterations T required to obtain a high degree of separation in the audio separation process is required. However, there is a difficulty in increasing the computation amount by increasing T, which is unsatisfactory when the computation amount is increased.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 보다 높은 분리도로 오디오 객체를 분리하기 위한 방안으로, 다중 단계로 오디오 객체를 분리하는 방법 및 이를 적용한 오디오 시스템를 제공함에 있다.
It is an object of the present invention to provide a method for separating audio objects in a multi-step manner and a method for separating audio objects with higher separation, and an audio system using the method have.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 오디오 분리 방법은, 복합 오디오 소스에 대해 제1 분리 절차를 수행하여 다수의 오디오 객체들로 하는 제1 분리 단계; 및 상기 제1 분리 단계에서 분리된 오디오 객체들 중 적어도 하나에 대해 제2 분리 절차를 수행하는 제2 분리 단계;를 포함한다.According to an aspect of the present invention, there is provided an audio separation method comprising: a first separation step of performing a first separation procedure on a composite audio source to form a plurality of audio objects; And a second separation step of performing a second separation procedure on at least one of the audio objects separated in the first separation step.
그리고, 상기 제1 분리 단계는, 상기 복합 오디오 소스와 제1 모델 데이터를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 K회 반복한 후, 상기 복합 오디오 소스에 상기 변환 행렬을 곱하여 제1 오디오 객체를 분리하는 단계; 및 상기 복합 오디오 소스와 제2 모델 데이터를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 K회 반복한 후, 상기 복합 오디오 소스에 상기 변환 행렬을 곱하여 제2 오디오 객체를 분리하는 단계;를 포함할 수 있다.The first separating step repeats the process of setting the parameters of the transform matrix using the complex audio source and the first model data K times and then multiplying the complex audio source by the transform matrix to obtain a first audio object ; And repeating the process of setting the parameters of the transform matrix using the complex audio source and the second model data K times and then separating the second audio object by multiplying the complex audio source by the transform matrix .
또한, 상기 제2 분리 단계는, 상기 제1 오디오 객체와 상기 제1 모델 데이터를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 R회 반복한 후, 상기 제1 오디오 객체에 변환 행렬을 곱하여 출력하는 단계;를 더 포함할 수 있다.The second separating step repeats the process of setting the parameters of the transform matrix using the first audio object and the first model data R times, then multiplies the first audio object by the transform matrix, and outputs the result Step;
그리고, 상기 제2 분리 단계는, 상기 제2 오디오 객체와 상기 제2 모델 데이터를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 R회 반복한 후, 상기 제2 오디오 객체에 변환 행렬을 곱하여 출력하는 단계;를 더 포함할 수 있다.The second separating step repeats the process of setting the parameters of the transform matrix using the second audio object and the second model data R times and then multiplies the second audio object by the transform matrix and outputs the result Step;
또한, 상기 제1 분리 절차와 상기 제2 분리 절차는 동일한 알고리즘을 이용할 수 있다.In addition, the first separation procedure and the second separation procedure may use the same algorithm.
그리고, 상기 제1 분리 단계에서 상기 제2 분리 절차를 수행하는 적어도 하나의 오디오 객체는, 사용자에 의해 선택된 또는 중요도가 기준 이상인 오디오 객체일 수 있다.The at least one audio object performing the second separation procedure in the first separating step may be an audio object selected by the user or having an importance greater than or equal to the reference.
한편, 본 발명의 다른 실시예에 따른, 오디오 시스템은, 복합 오디오 소스에 대해 제1 분리 절차를 수행하여 다수의 오디오 객체들로 하는 제1 분리부; 및 상기 제1 분리부에서 분리된 오디오 객체들 중 적어도 하나에 대해 제2 분리 절차를 수행하는 제2 분리부;를 포함한다.According to another aspect of the present invention, there is provided an audio system including a first separator for performing a first separation procedure on a composite audio source to form a plurality of audio objects; And a second separator for performing a second separation procedure on at least one of the audio objects separated by the first separator.
그리고, 상기 제1 분리부는, 상기 복합 오디오 소스와 제1 모델 데이터를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 K회 반복한 후, 상기 복합 오디오 소스에 상기 변환 행렬을 곱하여 제1 오디오 객체를 분리하고, 상기 복합 오디오 소스와 제2 모델 데이터를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 K회 반복한 후, 상기 복합 오디오 소스에 상기 변환 행렬을 곱하여 제2 오디오 객체를 분리할 수 있다.The first separator repeats the process of setting the parameters of the transform matrix using the complex audio source and the first model data K times and then multiplies the complex audio source by the transform matrix to obtain a first audio object And repeating the process of setting the parameters of the transformation matrix using the composite audio source and the second model data K times and then separating the second audio object by multiplying the composite audio source by the transformation matrix.
또한, 상기 제2 분리부는, 상기 제1 오디오 객체와 상기 제1 모델 데이터를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 R회 반복한 후, 상기 제1 오디오 객체에 변환 행렬을 곱하여 출력할 수 있다.The second separator may repeat the process of setting the parameters of the transform matrix using the first audio object and the first model data R times and then multiply the first audio object by the transform matrix and output have.
그리고, 상기 제2 분리부는, 상기 제2 오디오 객체와 상기 제2 모델 데이터를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 R회 반복한 후, 상기 제2 오디오 객체에 변환 행렬을 곱하여 출력할 수 있다.
The second separator repeats the process of setting the parameters of the transform matrix using the second audio object and the second model data R times and then multiplies the second audio object by the transform matrix and outputs the result have.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 다중 단계로 오디오 객체를 분리하여, 보다 높은 분리도로 오디오 객체를 분리할 수 있게 된다. 이에 따라, 오디오 효과, 콘텐츠 제작, 감시 시스템 등의 성능을 더불어 향상시킬 수 있다.As described above, according to the embodiments of the present invention, it is possible to separate audio objects in multiple stages, thereby separating audio objects with higher separation. As a result, the performance of audio effects, content production, surveillance systems, and the like can be further improved.
나아가, 기존의 방법과 동일한 연산량으로 보다 우수한 객체 분리 성능을 보일 뿐만 아니라, 객체 선택적으로 다중 단계 분리를 적용할 수 있어 오디오 처리에 필요한 전체 연산량을 줄이는데 효과적이다.
Furthermore, it not only shows better object separation performance with the same computation amount as the existing method, but also can apply multi-step separation selectively to objects, which is effective in reducing the total amount of computation required for audio processing.
도 1은 오디오 객체 분리가 가능한 기존 오디오 시스템의 블럭도,
도 2는 본 발명의 일 실시예에 따른 오디오 시스템의 블럭도,
도 3은, 도 2에 도시된 오디오 시스템에 의해 복합 오디오에서 오디오 객체들을 분리하여 출력하는 과정을 도식적으로 나타낸 도면, 그리고,
도 4는 본 발명의 다른 실시예에 따른 오디오 분리 방법의 설명에 제공되는 흐름도이다.1 is a block diagram of an existing audio system capable of separating audio objects,
2 is a block diagram of an audio system according to one embodiment of the present invention;
FIG. 3 is a diagram schematically illustrating a process of separating and outputting audio objects in composite audio by the audio system shown in FIG. 2,
4 is a flow chart provided in the description of the audio separation method according to another embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in detail with reference to the drawings.
도 2는 본 발명의 일 실시예에 따른 오디오 시스템의 블럭도이다. 본 발명의 실시예에 따른 오디오 시스템은, 여러 오디오 객체(Audio Object: AO)들이 통합되어 있는 복합 오디오(Mixed Audio : MA)에서 오디오 객체(AO)들을 분리하는 시스템이다.2 is a block diagram of an audio system according to an embodiment of the present invention. The audio system according to the embodiment of the present invention is a system for separating audio objects AO from a mixed audio (MA) in which a plurality of audio objects (AO) are integrated.
본 발명의 실시예에 따른 오디오 시스템은, 오디오 분리 과정에서 높은 분리도를 얻기 위해 요구되는 높은 iteration 횟수 T(=K+R)를 K와 R로 분할하여, 첫 번째 단계에서 K 번의 iteration(K-iteration)을 수행해서 얻은 오디오 객체들 각각에 대해, 두 번째 단계로 R 번의 iteration(R-iteration)을 수행하는 구조이다.The audio system according to the embodiment of the present invention divides the number of iterations T (= K + R) required to obtain a high degree of separation in the audio separation process into K and R, iteration (R-iteration) is performed for each of the audio objects obtained by performing R-iteration.
이와 같은 기능을 수행하는 본 발명의 실시예에 따른 오디오 시스템은, 도 2에 도시된 바와 같이, 모델 데이터 추출부(110), 모델 기반 객체 분리부(120), 선택부(130) 및 모델 기반 객체 분리부(140)를 포함한다.As shown in FIG. 2, the audio system according to the embodiment of the present invention performing such functions includes a model
모델 데이터 추출부(110)는 오디오 분리에 필요한 모델 데이터를 사전 작업으로 추출하여 보유한다. 이를 위해, 모델 데이터 추출부(110)는 훈련 데이터를 이용하여 오디오 객체별로 모델 데이터를 추출하여 보유한다.The model
모델 기반 객체 분리부(120)는 복합 오디오(MA) 소스를 다수의 오디오 객체들(AO1, AO2, ... , AOn)로 분리한다. 이를 위해, 모델 기반 객체 분리부(120)는 복합 오디오(MA)에 대해 K-iteration을 수행한다. 구체적으로,The model-based
1) 복합 오디오 소스와 모델 데이터-1을 이용하여 변환 행렬의 파라미터를 설정하는 과정을 K회 반복한 후, 복합 오디오 소스에 변환 행렬을 곱하여 오디오 객체-1(AO1)를 분리하고,1) The process of setting the parameters of the transformation matrix using the composite audio source and the model data-1 is repeated K times, the audio object -1 (AO 1 ) is separated by multiplying the composite audio source by the transformation matrix,
2) 복합 오디오 소스와 모델 데이터-2를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 K회 반복한 후, 복합 오디오 소스에 변환 행렬을 곱하여 오디오 객체-2(AO2)를 분리하며,2) The process of setting the parameters of the transformation matrix using the composite audio source and the model data-2 is repeated K times, the audio object-2 (AO 2 ) is separated by multiplying the composite audio source by the transformation matrix,
......
n) 복합 오디오 소스와 모델 데이터-n을 이용하여 변환 행렬의 파라미터를 설정하는 과정을 K회 반복한 후, 복합 오디오 소스에 변환 행렬을 곱하여 오디오 객체-n(AOn)을 분리한다.n) The process of setting the parameters of the transformation matrix using the composite audio source and the model data-n is repeated K times, and the audio object -n (AO n ) is separated by multiplying the composite audio source by the transformation matrix.
모델 기반 객체 분리부(120)에 의한 K-iteration으로 인해, 분리도가 보통 수준인 오디오 객체 분리가 이루어진다.Due to K-iteration by the model-based
한편, 모델 기반 객체 분리부(140)를 구성하는 모델 기반 객체 분리부들(140-1, 140-2, ... , 140-n)은 모델 기반 객체 분리부(120)에서 분리된 오디오 객체들(AO1, AO2, ... , AOn) 각각에 대해 R-iteration을 수행한다. 구체적으로,The model-based object separators 140-1, 140-2, ..., and 140-n constituting the model-based
1) 모델 기반 객체 분리부-1(140-1)은, 오디오 객체-1(AO1)과 모델 데이터-1을 이용하여 변환 행렬의 파라미터를 설정하는 과정을 R회 반복한 후, 오디오 객체-1(AO1)에 변환 행렬을 곱하여 오디오 객체-1'(AO1')를 출력하고,1) The model-based object separator-1 140-1 repeats the process of setting the parameters of the transformation matrix using the audio object-1 (AO 1 ) and the model data-1 R times, 1 multiplied by the transformation matrix to the (AO 1) and outputs the audio object -1 '(AO 1'),
2) 모델 기반 객체 분리부-2(140-2)는, 오디오 객체-2(AO2)과 모델 데이터-2를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 R회 반복한 후, 오디오 객체-2(AO2)에 변환 행렬을 곱하여 오디오 객체-2'(AO2')를 출력하며,2) The model-based object separator-2 140-2 repeats the process of setting the parameters of the transform matrix using the audio object-2 (AO 2 ) and the model data-2 R times, 2 '(AO 2 ') by multiplying AO 2 by a transformation matrix,
......
3) 모델 기반 객체 분리부-n(140-n)은, 오디오 객체-n(AOn)과 모델 데이터-n을 이용하여 변환 행렬의 파라미터를 설정하는 과정을 R회 반복한 후, 오디오 객체-n(AOn)에 변환 행렬을 곱하여 오디오 객체-n'(AOn')를 출력한다.3) The model-based object separation unit 140-n repeats the process of setting the parameters of the transformation matrix using the audio object-n (AO n ) and the model data -n R times, n '(AO n ') by multiplying n (AO n ) by the transformation matrix.
모델 기반 객체 분리부들(140-1, 140-2, ... , 140-n)에 의한 R-iteration에 의해, 오디오 객체의 분리도가 높아진다. 즉, 오디오 객체-1'(AO1')의 분리도는 오디오 객체-1(AO1)의 분리도 보다 높고, 오디오 객체-2'(AO2')의 분리도는 오디오 객체-2(AO2)의 분리도 보다 높으며, ... , 오디오 객체-n'(AOn')의 분리도는 오디오 객체-n(AOn)의 분리도 보다 높다.R-iteration by the model-based object separators 140-1, 140-2, ..., 140-n increases the degree of separation of audio objects. In other words, audio objects -1 '(AO 1') is higher than the degree of separation is also separation of -1 audio objects (AO 1), audio object -2 '(AO 2') separation -2 audio object (AO 2) in ..., and the degree of separation of the audio object-n '(AO n ') is higher than the degree of separation of the audio object -n (AO n ).
선택부(130)는 모델 기반 객체 분리부들(140-1, 140-2, ... , 140-n)과 동일한 개수의 선택 스위치들(130-1, 130-2, ... , 130-n)을 포함한다.The
선택 스위치들(130-1, 130-2, ... , 130-n)에 의해, 모델 기반 객체 분리부(120)에 의해 분리된 오디오 객체들(AO1, AO2, ... , AOn) 각각이, 모델 기반 객체 분리부들(140-1, 140-2, ... , 140-n)에 전달되거나 바이-패스한다.AO ( 1 , AO 2 , ..., AO) separated by the model-based
전달된 오디오 객체에 대해서는 R-iteration이 부가적으로 수행되어 분리도가 높아지지만, 바이-패스된 오디오 객체에 대해서는 모델 기반 객체 분리부(120)에 의해 수행된 보통 수준의 분리도에 머무른다.R-iteration is additionally performed on the delivered audio object to increase the degree of separation, but the bypassed audio object stays at the normal level of separation performed by the model-based
선택 스위치들(130-1, 130-2, ... , 130-n)의 스위칭 동작, 즉, R-iteration을 부가적으로 수행할 오디오 객체 선택은, 사용자의 의도나 오디오 객체의 중요도에 따라 결정하는 것이 바람직하다.Selection of an audio object to additionally perform the switching operation of the selection switches 130-1, 130-2, ..., 130-n, that is, R-iteration may be performed according to the intention of the user or the importance of the audio object .
즉, 사용자가 선택한 오디오 객체 또는 중요도가 기준 이상인 오디오 객체들에 대해서만 R-iteration이 부가적으로 수행되도록, 선택 스위치들(130-1, 130-2, ... , 130-n)을 제어한다.That is, the selection switches 130-1, 130-2, ..., 130-n are controlled so that R-iteration is additionally performed only on audio objects selected by the user or audio objects whose importance is not less than the reference value .
도 3은, 도 2에 도시된 오디오 시스템에 의해 복합 오디오에서 오디오 객체들을 분리하여 출력하는 과정을 도식적으로 나타내었다. 구체적으로, 도 3에서는 4개의 오디오 객체들("보컬", "드럼", "베이스" 및 "기타")가 포함되어 있는 복합 오디오 소스를 분리하는 과정을 나타내었다.FIG. 3 schematically shows a process of separating and outputting audio objects in composite audio by the audio system shown in FIG. Specifically, FIG. 3 illustrates the process of separating a composite audio source that includes four audio objects ("vocal", "drum", "bass", and "other").
도 3에서는, 중요도가 높은 오디오 객체를 "보컬"과 "드럼"으로 상정하였다. 이에, "보컬"과 "드럼"에 대해서는 모델 기반 객체 분리부(120)에 의한 K-iteration 수행(그 결과, 보컬, 드럼 출력) 후에, 모델 기반 객체 분리부-1(140-1)과 모델 기반 객체 분리부-2(140-2)에 의한 R-iteration이 수행(그 결과, 보컬', 드럼' 생성)된다.In Fig. 3, audio objects with high importance are assumed to be "vocal" and "drum ". After performing K-iteration (as a result, vocal and drum output) by the model-based
한편, 중요도가 낮은 오디오 객체인 "베이스"와 "기타"에 대해서는 모델 기반 객체 분리부(120)에 의한 K-iteration만이 수행(그 결과, 보컬, 드럼 출력)된다.On the other hand, only the K-iteration by the model-based
도 4는 본 발명의 다른 실시예에 따른 오디오 분리 방법의 설명에 제공되는 흐름도이다.4 is a flow chart provided in the description of the audio separation method according to another embodiment of the present invention.
도 4에 도시된 바와 같이, 오디오 시스템의 모델 데이터 추출부(110)가 오디오 분리에 필요한 모델 데이터를 사전 작업으로 추출한다(S210).As shown in FIG. 4, the model
이후, 모델 기반 객체 분리부(120)에 대해 복합 오디오(MA)에 대해 K-iteration을 수행하여, 1차 객체 분리를 수행한다(S220).Thereafter, the model-based
다음, S220단계를 통해 분리된 오디오 객체들(AO1, AO2, ... , AOn) 중 높은 분리도가 요구되는 오디오 객체들에 대해서는(S230), 선택 스위치들(130-1, 130-2, ... , 130-n)에 모델 기반 객체 분리부들(140-1, 140-2, ... , 140-n)에 전달되어, 2차 객체 분리를 수행한다(S240).Next, for the audio objects requiring high separation among the separated audio objects AO 1 , AO 2 , ..., AO n in step S220 (S230), the selection switches 130-1, 130- 2, ..., 130-n to the model-based object separators 140-1, 140-2, ..., 140-n to perform secondary object separation in step S240.
S230단계에서의 2차 객체 분리에 의해 S220단계에서 분리된 오디오 객체의 분리도 보다 더욱 높아진 오디오 객체가 생성된다.By the secondary object separation in the step S230, an audio object which is higher than the separation degree of the separated audio object in the step S220 is generated.
S230단계 및/또는 S240단계는, S220단계에서 분리된 모든 오디오 객체들에 대해 수행 완료될 때까지 반복된다(S250).The steps S230 and S240 are repeated until all the audio objects separated in the step S220 are completed (S250).
지금까지, 다중 단계 오디오 분리 방법 및 이를 적용한 오디오 시스템에 대해, 바람직한 실시예들을 들어 상세히 설명하였다.Up to now, preferred embodiments have been described in detail for a multi-stage audio separation method and an audio system using the same.
위 실시예들에서, "T=K+R"를 상정하였는데, T의 범위에 제한이 있는 것은 아니기 때문에 결과적으로, K와 R의 범위 역시 제한이 없다. 즉, K와 R은 양의 정수인 것으로 족하며, 양자는 서로 달라도 되고 동일하여도 무방하다.In the above embodiments, it is assumed that "T = K + R ", but since there is no limitation on the range of T, the range of K and R is also unlimited. That is, K and R may be positive integers, and they may be different from each other or may be the same.
또한, 위 실시예에서, 모델 기반 객체 분리부(120)에 의한 객체 분리 알고리즘과 모델 기반 객체 분리부들(140-1, 140-2, ... , 140-n)에 의한 객체 분리 알고리즘은 동일한 것을 상정하였으나, 양자를 다르게 구현할 수도 있음은 물론이다.Also, in the above embodiment, the object separation algorithm by the model-based
본 발명의 실시예에 따라 분리한 오디오 객체들은, 오디오 효과, 콘텐츠 제작, 감시 시스템 등의 성능을 향상시키는데 유용하다.The separated audio objects according to the embodiment of the present invention are useful for improving the performance of audio effects, content production, surveillance systems, and the like.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention.
110 : 모델 데이터 추출부
120 : 모델 기반 객체 분리부(K-iteration)
130 : 선택부
140 : 모델 기반 객체 분리부(R-iteration)110: Model data extracting unit
120: Model-based object separation unit (K-iteration)
130:
140: Model-based object separator (R-iteration)
Claims (10)
상기 제1 분리 단계에서 분리된 오디오 객체들 중 적어도 하나에 대해 제2 분리 절차를 수행하는 제2 분리 단계;를 포함하고,
상기 제1 분리 단계는,
상기 복합 오디오 소스와 제1 모델 데이터를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 K회 반복한 후, 상기 복합 오디오 소스에 상기 변환 행렬을 곱하여 제1 오디오 객체를 분리하는 단계; 및
상기 복합 오디오 소스와 제2 모델 데이터를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 K회 반복한 후, 상기 복합 오디오 소스에 상기 변환 행렬을 곱하여 제2 오디오 객체를 분리하는 단계;를 포함하는 것을 특징으로 하는 오디오 분리 방법.
A first separating step of performing a first separating procedure for a composite audio source into a plurality of audio objects; And
And a second separation step of performing a second separation procedure on at least one of the audio objects separated in the first separation step,
Wherein the first separating step comprises:
Repeating the process of setting the parameters of the transformation matrix using the composite audio source and the first model data K times and then separating the first audio object by multiplying the composite audio source by the transformation matrix; And
And repeating the process of setting the parameters of the transformation matrix using the composite audio source and the second model data K times and then separating the second audio object by multiplying the composite audio source by the transformation matrix A featured audio separation method.
상기 제2 분리 단계는,
상기 제1 오디오 객체와 상기 제1 모델 데이터를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 R회 반복한 후, 상기 제1 오디오 객체에 변환 행렬을 곱하여 출력하는 단계;를 더 포함하는 것을 특징으로 하는 오디오 분리 방법.
The method according to claim 1,
Wherein the second separating step comprises:
Repeating the process of setting the parameters of the transform matrix using the first audio object and the first model data R times and then multiplying the first audio object by the transform matrix and outputting the result; How to Split Audio.
상기 제2 분리 단계는,
상기 제2 오디오 객체와 상기 제2 모델 데이터를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 R회 반복한 후, 상기 제2 오디오 객체에 변환 행렬을 곱하여 출력하는 단계;를 더 포함하는 것을 특징으로 하는 오디오 분리 방법.
The method of claim 3,
Wherein the second separating step comprises:
Repeating the process of setting the parameters of the transform matrix using the second audio object and the second model data R times and then multiplying the second audio object by the transform matrix and outputting the result. How to Split Audio.
상기 제1 분리 단계에서 분리된 오디오 객체들 중 적어도 하나에 대해 제2 분리 절차를 수행하는 제2 분리 단계;를 포함하고,
상기 제1 분리 절차와 상기 제2 분리 절차는 동일한 알고리즘을 이용하는 것을 특징으로 하는 오디오 분리 방법.
A first separating step of performing a first separating procedure for a composite audio source into a plurality of audio objects; And
And a second separation step of performing a second separation procedure on at least one of the audio objects separated in the first separation step,
Wherein the first separation procedure and the second separation procedure use the same algorithm.
상기 제1 분리 단계에서 분리된 오디오 객체들 중 적어도 하나에 대해 제2 분리 절차를 수행하는 제2 분리 단계;를 포함하고,
상기 제2 분리 단계에서 상기 제2 분리 절차를 수행하는 적어도 하나의 오디오 객체는,
사용자에 의해 선택된 또는 중요도가 기준 이상인 오디오 객체인 것을 특징으로 하는 오디오 분리 방법.
A first separating step of performing a first separating procedure for a composite audio source into a plurality of audio objects; And
And a second separation step of performing a second separation procedure on at least one of the audio objects separated in the first separation step,
Wherein the at least one audio object performing the second separation procedure in the second separation step comprises:
Wherein the audio object is an audio object selected by the user or having an importance greater than or equal to the reference.
상기 제1 분리부에서 분리된 오디오 객체들 중 적어도 하나에 대해 제2 분리 절차를 수행하는 제2 분리부;를 포함하고,
상기 제1 분리부는,
상기 복합 오디오 소스와 제1 모델 데이터를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 K회 반복한 후, 상기 복합 오디오 소스에 상기 변환 행렬을 곱하여 제1 오디오 객체를 분리하고,
상기 복합 오디오 소스와 제2 모델 데이터를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 K회 반복한 후, 상기 복합 오디오 소스에 상기 변환 행렬을 곱하여 제2 오디오 객체를 분리하는 것을 특징으로 하는 오디오 시스템.
A first separator for performing a first separation procedure on the composite audio source to form a plurality of audio objects; And
And a second separator for performing a second separation procedure on at least one of the audio objects separated by the first separator,
Wherein the first separator comprises:
A process of setting a parameter of the transform matrix using the composite audio source and the first model data is repeated K times, the first audio object is separated by multiplying the complex audio source by the transform matrix,
Wherein the step of setting the parameters of the transformation matrix using the composite audio source and the second model data is repeated K times and the second audio object is separated by multiplying the complex audio source by the transformation matrix. .
상기 제2 분리부는,
상기 제1 오디오 객체와 상기 제1 모델 데이터를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 R회 반복한 후, 상기 제1 오디오 객체에 변환 행렬을 곱하여 출력하는 것을 특징으로 하는 오디오 시스템.
8. The method of claim 7,
Wherein the second separator comprises:
And repeating the process of setting the parameters of the transform matrix using the first audio object and the first model data R times, and then multiplying the first audio object by the transform matrix and outputting the result.
상기 제2 분리부는,
상기 제2 오디오 객체와 상기 제2 모델 데이터를 이용하여 변환 행렬의 파라미터를 설정하는 과정을 R회 반복한 후, 상기 제2 오디오 객체에 변환 행렬을 곱하여 출력하는 것을 특징으로 하는 오디오 시스템.
10. The method of claim 9,
Wherein the second separator comprises:
Wherein the step of setting the parameters of the transform matrix using the second audio object and the second model data is repeated R times, and the second audio object is multiplied by the transform matrix and output.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20140016998A KR101511553B1 (en) | 2014-02-14 | 2014-02-14 | Multi Step Audio Separation Method and Audio Device using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20140016998A KR101511553B1 (en) | 2014-02-14 | 2014-02-14 | Multi Step Audio Separation Method and Audio Device using the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101511553B1 true KR101511553B1 (en) | 2015-04-13 |
Family
ID=53034321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR20140016998A Active KR101511553B1 (en) | 2014-02-14 | 2014-02-14 | Multi Step Audio Separation Method and Audio Device using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101511553B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170093474A (en) * | 2016-02-05 | 2017-08-16 | 전자부품연구원 | Global Model-based Audio Object Separation method and system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080029940A (en) * | 2006-09-29 | 2008-04-03 | 한국전자통신연구원 | Apparatus and method for encoding and decoding multi-object audio signal composed of various channels |
| KR20100138716A (en) * | 2009-06-23 | 2010-12-31 | 한국전자통신연구원 | High quality multichannel audio encoding and decoding device |
-
2014
- 2014-02-14 KR KR20140016998A patent/KR101511553B1/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080029940A (en) * | 2006-09-29 | 2008-04-03 | 한국전자통신연구원 | Apparatus and method for encoding and decoding multi-object audio signal composed of various channels |
| KR20100138716A (en) * | 2009-06-23 | 2010-12-31 | 한국전자통신연구원 | High quality multichannel audio encoding and decoding device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170093474A (en) * | 2016-02-05 | 2017-08-16 | 전자부품연구원 | Global Model-based Audio Object Separation method and system |
| KR101864925B1 (en) | 2016-02-05 | 2018-06-05 | 전자부품연구원 | Global Model-based Audio Object Separation method and system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3477556A1 (en) | Method and apparatus for performing operations in convolutional neural network | |
| KR102095335B1 (en) | Apparatus and method for generating and using neural network model applying accelerated computation | |
| TWI690189B (en) | Systems and computer-implemented methods to support grouping and storing data stream into cloud storage files based on data types | |
| US20210350205A1 (en) | Convolution Processing Method and Apparatus for Convolutional Neural Network, and Storage Medium | |
| CN108009625B (en) | Fine adjustment method and device after artificial neural network fixed point | |
| RU2011154550A (en) | DEVICE FOR FORMING OUTPUT SPATIAL MULTI-CHANNEL AUDIO SIGNAL | |
| KR20200094056A (en) | Convolution neural network parameter optimization method, neural network computing method and apparatus | |
| CN108197204B (en) | File processing method and device | |
| WO2017124930A1 (en) | Method and device for feature data processing | |
| JP2016054564A5 (en) | ||
| KR101511553B1 (en) | Multi Step Audio Separation Method and Audio Device using the same | |
| US9443168B1 (en) | Object detection approach using an ensemble strong classifier | |
| CN106682258B (en) | Multi-operand addition optimization method and system in high-level comprehensive tool | |
| KR101641645B1 (en) | Audio Source Seperation Method and Audio System using the same | |
| CN112612601A (en) | Intelligent model training method and system for distributed image recognition | |
| KR102227437B1 (en) | Apparatus and method for generating and using neural network model applying accelerated computation | |
| CN116595579A (en) | Longitudinal federal learning training method and device based on tree structure | |
| CN103678545A (en) | Network resource clustering method and device | |
| US20140136582A1 (en) | Method and apparatus for digital automatic gain control | |
| CN110660029B (en) | Image processing method, device, equipment and storage medium | |
| Kania | A new approach to logic synthesis of multi-output boolean functions on PAL-based CPLDs | |
| KR102132935B1 (en) | Method and apparatus for finite field multiplication | |
| CN104978345B (en) | A kind of data processing method and device based on MapReduce | |
| GB2555031A (en) | Model tuning using boundary flux sector surrogates | |
| CN105159912A (en) | Method and apparatus for processing degree of correlation among different words |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20140214 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20150121 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20150331 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20150407 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20150408 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20180906 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180906 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190329 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190329 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200331 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210331 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220405 Start annual number: 8 End annual number: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230404 Start annual number: 9 End annual number: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20250331 Start annual number: 11 End annual number: 11 |