KR102559015B1 - Actual Feeling sound processing system to improve immersion in performances and videos - Google Patents
Actual Feeling sound processing system to improve immersion in performances and videos Download PDFInfo
- Publication number
- KR102559015B1 KR102559015B1 KR1020210143311A KR20210143311A KR102559015B1 KR 102559015 B1 KR102559015 B1 KR 102559015B1 KR 1020210143311 A KR1020210143311 A KR 1020210143311A KR 20210143311 A KR20210143311 A KR 20210143311A KR 102559015 B1 KR102559015 B1 KR 102559015B1
- Authority
- KR
- South Korea
- Prior art keywords
- sound
- processing
- sensory
- sound source
- sense
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 97
- 238000007654 immersion Methods 0.000 title claims description 10
- 230000001953 sensory effect Effects 0.000 claims description 51
- 230000000694 effects Effects 0.000 claims description 19
- 238000009877 rendering Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 11
- 238000012546 transfer Methods 0.000 claims description 10
- 235000007119 Ananas comosus Nutrition 0.000 claims description 9
- 244000099147 Ananas comosus Species 0.000 claims description 9
- 210000005069 ears Anatomy 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 5
- 210000003128 head Anatomy 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 208000025721 COVID-19 Diseases 0.000 description 2
- 210000000883 ear external Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Stereophonic System (AREA)
Abstract
본 발명의 일 실시예에 따른 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템은, 공연 현장에서 녹음된 입력 음원에 대하여 주변 노이즈 또는 하울링을 제거하거나 저감할 수 있도록 처리하는 노이즈처리부; 실감 음향을 생성하기 위해 노이즈 처리된 입력 음원에 대해 현장감을 더해주는 가상 위치 설정 및 공간감 처리를 통하여 실감음향을 생성하는 실감음향렌더링부; 공연 현장에 위치한 적어도 하나의 마이크에 대하여 마이크 위치별로 거리감과 방향감을 실감 음향에 반영하기 위해 마이크 위치에 대한 시계열적 정보를 생성하여 상기 실감음향렌더링부에 제공하는 실감음향스크립트처리부; 및상기 실감음향렌더링부에 의해 생성된 실감음향을 출력장치를 통하여 출력하는 음원출력부를 포함할 수 있다.A sensory sound processing system for improving immersion in performances and images according to an embodiment of the present invention includes a noise processing unit for processing to remove or reduce ambient noise or howling with respect to an input sound source recorded at a performance site; A sensory sound rendering unit that generates sensory sound through virtual location setting and space processing that adds a sense of realism to the noise-processed input sound source to generate sensory sound; a sensory sound script processing unit generating time-sequential information about microphone positions and providing the sensory sound rendering unit with time-sequential information about microphone positions in order to reflect a sense of distance and direction for each microphone position to sensory sound for at least one microphone located at a performance site; and a sound source output unit for outputting the sensory sound generated by the sensory sound rendering unit through an output device.
Description
본 발명은 실감음향 처리 시스템에 관한 것으로, 더욱 상세하게는 공연 현장의 음원에 대하여 주변 소음을 저감하고, 가상위치 설정, 음상정위 및 공간감 처리한 입체적인 실감음향을 생성할 수 있는 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템에 관한 것이다.The present invention relates to a sensory sound processing system, and more particularly, to a sensory sound processing system for improving immersion in performances and images capable of reducing ambient noise and generating three-dimensional sensory sound by virtual positioning, sound image localization, and spatial processing for a sound source at a performance site.
최근 지속적으로 성장하던 온라인 공연시장은 코로나19로 계획되었던 공연이 취소되고, 랜선을 통한 새로운 공연이 진행되면서 급격하게 증가하고 있다.Recently, the online performance market, which has been continuously growing, is rapidly increasing as planned performances are canceled due to Corona 19 and new performances are held through LAN lines.
이를 반영하여 코로나19 확산으로 오프라인 공연을 열지 못하자 그 대안으로 온라인 유료 공연이 등장하고 있으나, 비대면 온라인 공연 활성화에 따라 공연 청취자나, 공연 제작자는 부족한 현장감에 대한 보완할 요소에 대한 요구사항이 대두되고 있다.Reflecting this, when offline performances cannot be held due to the spread of COVID-19, online paid performances are appearing as an alternative. However, with the activation of non-face-to-face online performances, performance listeners and performance producers are demanding elements to supplement the lack of realism.
또한 코로나19 종식 후에도 온라인 유료 공연이 계속 살아남기 위해서는 첨단기술로 현장감을 얼마나 잘 살리면서 편리한 관람문화를 제공에 대한 요구사항이 많이 발생하고 있으며, 실시간 양방향 온라인 공연의 경우 청취자에서 실감 나는 현장의 느낌을 전달하기 위한 차별화된 서비스가 요구되고 있어, 음향에 대한 요구사항이 늘어나고 있다.In addition, in order for online paid performances to continue to survive even after the end of COVID-19, there are many requirements for providing a convenient viewing culture while maintaining a sense of realism with advanced technology.
특히, 사운드 디자이너의 오프라인 공연 느낌을 온라인 공연에서도 그대로 재현되는 기술에 대한 요구사항 발생하고 있으며, 온라인 공연에 대하여 영상 제작자 및 청취자가 지적하는 현장감 부족에 대한 문제는 다음과 같다.In particular, there is a demand for a technology that reproduces the feeling of offline performances by sound designers as it is in online performances.
실시간 양방향 온라인 공연의 경우 현장감 부족 문제 발생하고, 현재 마스터링 기술은 수평면상에 표현으로 후반 작업 없이 마스터링 기술만 이용할 경우 실시간 공간감을 제공하기에는 어려움이 있으며, 실시간 영상제작 시 주변 소음 문제가 발생하고, 스튜디오 등 영상 제작을 위해 시설을 구축한 곳이 아닌 일반 공연장에서 영상을 획득 시 마이크를 통하여 지속적으로 주변 소음이 녹음되어 청취감을 저하시키고, 피로감을 유발할 수 있다.In the case of real-time interactive online performances, there is a problem of insufficient realism, and the current mastering technology is expressed on a horizontal plane, so it is difficult to provide a real-time sense of space if only mastering technology is used without post-production.
한편 최근 멀티미디어 기술의 발달, 특히 음향 기술의 급격한 발달과 더불어 고품질 오디오에 대한 요구와 함께 보다 현실감 있는 오디오를 재생하기 위한 실감 오디오 기술 개발이 요구되고 있으며, 이러한 요구를 만족시키기 위해 사용자의 가상현실 증강 및 실감나는 오디오 효과를 제공해 줄 수 있는 3차원 오디오에 대한 연구가 활발히 진행되고 있다. On the other hand, along with the recent development of multimedia technology, especially the rapid development of sound technology, there is a demand for high-quality audio and the development of realistic audio technology for reproducing more realistic audio.
3차원 오디오 기술은 개발자가 일반 음향에 특정 가상 공간정보를 담아 사용자가 위치에 있지 않은 가상의 환경에 대한 방향감과 거리감을 느낄 수 있도록 하는 기술이다.3D audio technology is a technology in which developers include specific virtual space information in general sound so that users can feel a sense of direction and distance to a virtual environment where they are not located.
3차원 오디오 기술은 크게 머리전달함수나 초기 반사음 등을 이용하여 음원이 실제 위치해 있지 않은 곳에 음상(sound image)을 정위시키는 음상정위(sound image localization) 기술, 공간감을 주기 위한 가상 입체음장(virtual sound field) 기술, 라우드스피커(loudspeaker)에서 3차원 오디오 재생을 위한 가상 채널 확장 기술, 헤드폰 재생환경에 대해 음상을 머리 밖으로 맺히게 하는 음상 외재화(externalization) 기술, 그리고 라우드스피커에서의 좌우 채널에 의해 나타나는 상호 간섭을 제거하는 기술 등으로 나눌 수 있다.3D audio technology is largely divided into sound image localization technology that localizes sound images where the sound source is not actually located using head transfer function or early reflection sound, virtual sound field technology to give a sense of space, virtual channel expansion technology for 3D audio playback in loudspeakers, sound image externalization technology that allows sound images to form outside the head for the headphone playback environment, and loudspeakers. It can be divided into techniques for canceling mutual interference caused by left and right channels in the cursor.
따라서, 비대면 온라인 공연 및 영상 콘텐츠 제작 및 재생에서 요구사항이 늘어나고 있는 현장감 개선 문제를 해결하고자 실감 음향 솔루션을 개발할 필요가 있으며, 현장감 개선을 위한 실시간 다채널 실감음향 요소 기술과, 마이크를 통해 수집되는 주변 잡음 처리를 위한 잡음제거 필터를 적용할 수 있는 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템에 대한 연구가 필요하게 되었다.Therefore, it is necessary to develop a realistic sound solution to solve the problem of improving the sense of presence, which is increasing in the production and playback of non-face-to-face online performances and video contents. It is necessary to develop a real-time multi-channel realistic sound element technology to improve the sense of presence, and a realistic sound processing system to improve the sense of immersion in performances and videos that can apply a noise reduction filter for processing ambient noise collected through a microphone.
본 발명의 목적은 공연 현장의 적어도 하나 이상의 마이크로부터 집음된 입력 음원에 대하여 주변 소음을 저감하고, 가상위치 설정, 음상정위 및 공간감 처리한 입체적인 실감음향을 생성할 수 있는 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템을 제공하는 것이다.An object of the present invention is to provide a sensory sound processing system for improving immersion in performances and images capable of reducing ambient noise from an input sound source collected from at least one microphone at a performance site and generating three-dimensional sensory sound by virtual positioning, sound image localization, and spatial processing.
본 발명의 일 실시예에 따른 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템은, 공연 현장에서 녹음된 입력 음원에 대하여 주변 노이즈 또는 하울링을 저감하도록 처리하는 노이즈처리부; 실감 음향을 생성하기 위해 노이즈 처리된 입력 음원에 대해 현장감을 더해주는 가상 위치 설정 및 공간감 처리를 통하여 실감음향을 생성하는 실감음향렌더링부; 공연 현장에 위치한 적어도 하나의 마이크에 대하여 마이크 위치별로 거리감과 방향감을 실감 음향에 반영하기 위해 마이크 위치에 대한 시계열적 정보를 생성하여 상기 실감음향렌더링부에 제공하는 실감음향스크립트처리부; 및 상기 실감음향렌더링부에 의해 생성된 실감음향을 출력장치를 통하여 출력하는 음원출력부를 포함한다.A sensory sound processing system for improving immersion in performances and images according to an embodiment of the present invention includes a noise processing unit that processes an input sound source recorded at a performance site to reduce ambient noise or howling; A sensory sound rendering unit for generating sensory sound through virtual location setting and spatial processing that adds a sense of realism to the noise-processed input sound source to generate sensory sound; A sensory sound script processing unit generating time-sequential information about microphone positions and providing the sensory sound rendering unit with time-sequential information about microphone positions in order to reflect a sense of distance and direction for each microphone position to sensory sound for at least one microphone located at a performance site; and a sound source output unit for outputting the sensory sound generated by the sensory sound rendering unit through an output device.
상기 실감음향렌더링부는 입력 음원에 대하여 현장감을 제공할 수 있도록 가상 위치를 설정하는 가상위치처리부; 가상 위치가 설정된 가공 음원에 대하여 공감간 처리를 수행하는 공간감처리부; 및 공간감 처리된 음원의 EQ를 조정하고, 마이크 음향차를 교정하도록 오디오 밸런스를 조정하는 EQ 및밸런스처리부를 포함한다.The sensory sound rendering unit includes a virtual location processing unit that sets a virtual location to provide a sense of realism to the input sound source; a spatial processing unit that performs empathy processing on a processed sound source for which a virtual location is set; and an EQ and balance processing unit that adjusts the EQ of the spatially processed sound source and adjusts the audio balance to correct the microphone acoustic difference.
상기 가상위치처리부는 입력 음원에 대하여 머리전달함수를 이용하여 가상의 공간에 음상 정위(Sound Image Position)되도록 신호 처리하는 음상정위부를 더 포함한다.The virtual position processing unit further includes a sound image positioning unit that processes a signal so that a sound image is positioned in a virtual space using a head transfer function with respect to an input sound source.
상기 음상정위부는 입력 음원에 대해 귓바퀴로 인해 나타나는 피나(Pinna) 효과를 처리하기 위한 피나처리모듈; 입력 음원에 대해 머리 모양으로 인해 양귀로 들어오는 소리의 차이가 발생하는 헤드쉐도우(Head Shadow) 효과를 처리하기 위한 헤드쉐도우처리모듈을 더 포함한다.The sound image localization unit includes a pinna processing module for processing a pinna effect caused by an auricle for an input sound source; A head shadow processing module for processing a head shadow effect in which a difference in sound entering both ears occurs due to the shape of the head of the input sound source is further included.
상기 피나처리모듈은 양측 귀로 입력되는 신호를 피나 효과로 표현하기 위해 복수의 엘리베이션 피나 필터(Elevation Pinna Filter)와, 복수의 아지무스 피나 필터(Azimuth Pinna Filter)를 더 포함한다.The pinna processing module further includes a plurality of elevation pinna filters and a plurality of azimuth pinna filters to express signals input to both ears as a pinna effect.
상기 헤드쉐도우처리모듈은 상기 피나처리모듈 후단에 한 쌍의 제1,2 헤드쉐도우 필터로 구성하여 위치하고, 피나처리모듈을 거쳐 헤드 쉐도우 표현을 수행하는 것을 특징으로 한다.The head shadow processing module is composed of a pair of first and second head shadow filters located at the rear end of the pinna processing module, and performs head shadow expression through the pinna processing module.
상기 공간감처리부는 입력음원 신호에 대하여 스테레오 성분과 모노 성분으로 분리하여 음상 정위 시 반사음 효과를 높이기 위한 전처리를 수행하는 전처리 필터; 입력음원 신호의 목소리를 포함하는 모노 성분 신호에 대하여 공간감을 생성하는 모노 공간감 필터; 입력음원 신호 중 스테레오 성분 신호에 대하여 공간감을 생성하는 스테레오 공간감 필터를 더 포함한다.The spatial processing unit may include a pre-processing filter which separates the input sound source signal into a stereo component and a mono component and performs pre-processing to increase a reflected sound effect when localizing a sound image; a mono spatial filter for generating a spatial feeling for a mono component signal including voice of an input sound source signal; A stereo spatial filter for generating a sense of space in the stereo component signal of the input sound source signal is further included.
본 발명에 의하면, 입력 음원에 대하여 주변 노이즈를 저감하고, 입력 음원에 대하여 머리전달함수(Head Related Transfer Function, HRTF)를 이용하여 가상의 공간에 음상 정위(Sound Image Position)되도록 신호 처리하는 음상정위부를 활용하고, 공간감 처리를 통하여 현장감 있는 실감 음향을 생성할 수 있는 장점이 있다.According to the present invention, there is an advantage in that it is possible to reduce ambient noise with respect to an input sound source, utilize a sound image positioning unit that processes a signal so that the input sound source is positioned in a virtual space by using a Head Related Transfer Function (HRTF), and generate realistic sound with a sense of reality through spatial processing.
또한 생성된 실감 음향을 활용하여 비대면 양방향 온라인 공연 서비스 플랫폼에서 실시간 실감음향 솔루션으로 활용 가능할 뿐만 아니라 동영상 제작 편집 및 재생 관련 다양한 서비스 분야에서 활용 가능하며, 예를 들어 OTT(동영상 스트리밍 서비스) 플랫폼, 음원 스트리밍 플랫폼에 실감음향 재생 기능 등 실감 음향 제공을 위한 다양한 서비스로 활용 가능한 장점이 있다.In addition, by utilizing the generated immersive sound, it can be used as a real-time immersive sound solution in a non-face-to-face interactive online performance service platform, as well as in various service fields related to video production, editing and playback.
도 1은 본 발명의 일 실시예에 따른 실감음향 처리 시스템을 포함한 전체 개념 구성을 보인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 실감음향 처리 시스템의 구성을 보인 블록도이다.
도 3은 본 발명의 일 실시예에 따른 실감음향 처리 시스템의 가상위치처리부의 세부 구성을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 실감음향 처리 시스템의 공간감처리부의 세부 구성을 나타낸 도면이다.1 is a block diagram showing the overall conceptual configuration including a sensory sound processing system according to an embodiment of the present invention.
2 is a block diagram showing the configuration of a sensory sound processing system according to an embodiment of the present invention.
3 is a diagram showing a detailed configuration of a virtual location processing unit of a sensory sound processing system according to an embodiment of the present invention.
4 is a diagram showing a detailed configuration of a spatial processing unit of a sensory sound processing system according to an embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. However, the spirit of the present invention is not limited to the presented embodiments, and those skilled in the art who understand the spirit of the present invention may easily suggest other degenerative inventions or other embodiments included within the scope of the present invention through the addition, change, deletion, etc. of other components within the scope of the same idea, but this will also be said to be included within the scope of the present invention. In addition, components having the same function within the scope of the same idea appearing in the drawings of each embodiment are described using the same reference numerals.
도 1은 본 발명의 일 실시예에 따른 실감음향 처리 시스템을 포함한 전체 개념 구성을 보인 블록도이고, 도 2는 본 발명의 일 실시예에 따른 실감음향 처리 시스템의 구성을 보인 블록도이며, 도 3은 본 발명의 일 실시예에 따른 실감음향 처리 시스템의 가상위치처리부의 세부 구성을 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 실감음향 처리 시스템의 공간감처리부의 세부 구성을 나타낸 도면이다.1 is a block diagram showing the overall conceptual configuration including a sensory sound processing system according to an embodiment of the present invention, FIG. 2 is a block diagram showing the configuration of a sensory sound processing system according to an embodiment of the present invention, FIG.
본 발명의 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템(1000)은 예컨대 공연장 음향/영상 촬영 시스템과 연결되어, 입체적인 실감 음향 처리를 수행하여 생성하고, 공연 영상과 함께 인터넷망을 통하여 동영상이나 스트리밍 서비스 제공시, 생성된 실감 음향을 서비스로 제공할 수 있다.The sensory sound processing system 1000 for improving immersion in performances and images of the present invention is connected to, for example, a performance hall sound/video recording system, performs three-dimensional sensory sound processing, and generates sensory sound processing.
즉, 공연장 음향/영상 촬영시스템에서는 도 1에 도시된 바와 같이 다수의 마이크로폰(마이크)으로 집음된 다채널 음원을 목적에 맞게 공연장용, 방송 송출용 등으로 각각의 믹서로 입력받아 믹싱 후 활용하는데, 본 발명의 실감음향 처리 시스템(1000)을 활용함으로써, 방송 송출용으로 분기된 다채널 음원을 실시간으로 실감음향 처리하여 송출할 수 있는 것이다.That is, in the sound/video recording system of a concert hall, as shown in FIG. 1, multi-channel sound sources collected by a plurality of microphones (microphones) are received and mixed by respective mixers for a purpose, such as for a performance hall or broadcast transmission, and then used.
이와 같은 공연장 음향/영상 촬영시스템에서 다채널 음원을 오디오 믹서로 입력받아 방송용으로 믹싱한 후 출력된 다채널 음원을 실감음향 처리하여 방송하고, 실감음향 처리 시 PC에 입력된 다채널 음원을 소프트웨어를 통해 처리하는 방법과 HW모듈을 이용하여 처리하는 방법이 있으며, HW모듈은 유무선(예 : BLE 또는 RS232)통신을 통하여 컨트롤하여 음향 효과를 제어할 수 있다.In such a venue sound / video recording system, multi-channel sound sources are received by an audio mixer, mixed for broadcasting, and then the multi-channel sound sources output are processed for realistic sound and broadcasted. During the sensory sound processing, multi-channel sound sources input to a PC are processed through software and a method using a HW module, and the HW module can control sound effects by controlling through wired/wireless (e.g., BLE or RS232) communication.
나아가, 본 발명의 실감음향 처리 시스템(1000)은 실내외 공연장의 공연장 음향/영상 촬영시스템에서 제공된 영상이나 음원뿐만 아니라, 다양한 장소에서 녹음 및 녹화된 영상(음원 분리)이나 음원으로부터 현장감있는 실감 음향을 제공하도록 실감 음향 처리를 수행할 수 있음은 물론이다.Furthermore, the sensory sound processing system 1000 of the present invention can perform sensory sound processing to provide immersive sound with a sense of reality not only from images or sound sources provided by the performance hall sound/image recording system of indoor and outdoor concert halls, but also from images (sound sources separated) or sound sources recorded and recorded in various places.
이를 위해 본 발명의 실감음향 처리 시스템(1000)은 도 2를 참조하면, 노이즈처리부(100), 실감음향렌더링부(200), 실감음향스크립트처리부(300), 음원출력부(400)를 포함할 수 있다.To this end, referring to FIG. 2 , the sensory sound processing system 1000 of the present invention may include a noise processing unit 100, a sensory sound rendering unit 200, a sensory sound script processing unit 300, and a sound source output unit 400.
노이즈처리부(100)는 공연 현장이나 실내 주변 노이즈 또는 하울링을 제거하거나 저감할 수 있도록 필터링하여 처리하며, 이를 위한 적어도 하나의 노이즈 필터가 포함될 수 있다.The noise processing unit 100 filters and processes noise or howling around the performance site or indoors to remove or reduce, and at least one noise filter for this purpose may be included.
실감음향렌더링부(200)는 실감 음향을 생성하기 위해 노이즈 처리된 입력 음원에 대해 현장감을 더해주는 가상 위치 설정 및 공간감 처리를 수행할 수 있다.The sensory sound rendering unit 200 may perform virtual positioning and spatial processing to add realism to the noise-processed input sound source in order to generate sensory sound.
실감음향렌더링부(200)는 가상위치처리부(210), 공간감처리부(220) 및 EQ및밸런스 처리부(230)를 더 포함한다.The sensory sound rendering unit 200 further includes a virtual position processing unit 210, a spatial processing unit 220, and an EQ and balance processing unit 230.
가상위치처리부(210)는 입력 음원(원음)에 대하여 현장감을 제공할 수 있도록 가상 위치를 설정할 수 있다.The virtual location processing unit 210 may set a virtual location to provide a sense of realism with respect to the input sound source (original sound).
또한 가상위치처리부(210)는 현실의 공연장에서 소리가 공간감을 갖고 들리게 되는 이유는 직접 듣게 되는 소리와 벽, 가구 등에 반사되어 들리는 반사음의 조합 때문인데, 현장감 보완을 위해서는 공연 음원에 공간감 적용이 중요한 요소이나, 많은 채널에 공간감을 제공하기 위해서는 메모리와 연산량의 문제가 있기 때문에, RTF(Room Transfer Function) 기반의 Compact Virtual Sound Field(콤팩트 가상 입체 음장)의 필터를 통하여 초기(Early) 반사음과 후기 반사음을 모델링하여 공간감을 조정할 수 있도록 한다.In addition, the reason why the sound is heard with a sense of space in the real concert hall is because of the combination of the sound heard directly and the reflected sound reflected on the wall, furniture, etc. In order to supplement the sense of realism, applying a sense of space to the performance sound source is an important factor. Allows you to adjust the sense of space.
또한, 복수 채널(10채널 이상) 시스템에서 공간감 적용에 필요한 메모리와 연산량을 최적화한 가상 음장(Virtual Sound Field) 알고리즘 모델링을 설계하고, 상술한 Compact Virtual Sound Field 알고리즘을 적용해서 처리된 오디오는 원음에 충실하면서도 공간감 효과에 충실하도록 구현될 수 있다.In addition, in a multi-channel (more than 10 channels) system, a virtual sound field algorithm modeling that optimizes the amount of memory and computation required for the application of a sense of space is designed, and the audio processed by applying the above-described Compact Virtual Sound Field algorithm is faithful to the original sound. It can be implemented to be faithful to the effect of the sense of space.
나아가 가상위치처리부(210)는 입력 음원에 대하여 머리전달함수(Head Related Transfer Function, HRTF)를 이용하여 가상의 공간에 음상 정위(Sound Image Position)되도록 신호 처리하는 음상정위부(211)를 더 포함할 수 있다.Furthermore, the virtual position processing unit 210 may further include a sound image positioning unit 211 that processes a signal so that a sound image is positioned in a virtual space using a Head Related Transfer Function (HRTF) with respect to an input sound source.
여기서 머리전달함수는 3차원 공간상 특정 지점에 위치한 음원으로부터 사람의 양 귀까지의 음향 시스템을 표현한 전달함수로서, 음원의 3차원적 위치에 따라 머리 및 어깨의 회절과 차음, 외이(귀 바퀴)의 반사 회절 등의 영향을 담고 있어, 사람이 3차원적 음원의 위치를 어떻게 파악하는지 알 수 있도록 하는 전달함수이다.Here, the head transfer function is a transfer function that expresses the sound system from a sound source located at a specific point in 3-dimensional space to both ears of a person. It contains the effects of diffraction and sound insulation of the head and shoulders and reflection diffraction of the outer ear (auricle) according to the 3-dimensional position of the sound source.
또한 머리전달함수는 머리의 크기, 외이의 위치와 모양 등에 영향을 받으므로 개인마다 조금씩 차이가 있을 수 있다.In addition, since the head transfer function is affected by the size of the head, the location and shape of the outer ear, etc., there may be slight differences among individuals.
즉 음상정위부(211)는 다중 마이크로부터 입력되는 적어도 하나 이상의 입력 음원에 대하여 음상 정위(Sound Image Postioning) 알고리즘으로 모델링을 진행하되 입력 음원에 대하여 현장감을 제공할 수 있도록 가상 위치 설정 및 실시간 동시 랜더링이 가능하도록 IIR(Infinite Impulse Response Filter) 필터를 적용하여 상술한 알고리즘에 의해 최적화 모델링을 진행한다.That is, the sound image positioning unit 211 performs modeling with a sound image positioning algorithm for at least one input sound source input from multiple microphones, but performs optimization modeling by the above-described algorithm by applying an Infinite Impulse Response Filter (IIR) filter to enable virtual positioning and real-time simultaneous rendering of the input sound source to provide a sense of realism.
특히 현장에서 청취자가 듣는 것과 같은 느낌을 받기 위해서는 소리의 가상 위치에 대한 세밀한 표현이 필요하므로, 음상(Sound Image)의 앞, 뒤, 위, 아래의 표현을 위한 모델링 고도화를 진행할 수 있으며, 머리전달함수 기반으로 10 채널 이상의 오디오 신호를 실시간 음상 정위(Sound Image Positioning)가 가능하도록 모델링할 수 있다.In particular, in order to receive the same feeling as the listener hears in the field, detailed representation of the virtual position of sound is required, so modeling can be advanced for the expression of the front, back, top, and bottom of the sound image, and audio signals of 10 or more channels can be modeled to enable real-time sound image positioning based on the head transfer function.
또한 음상정위부(211)는 입력 음원에 대해 귓바퀴로 인해 나타나는 피나(Pinna) 효과를 처리하기 위한 피나처리모듈(212)과, 입력 음원에 대해 머리 모양으로 인해 양귀로 들어오는 소리의 차이가 발생하는 헤드쉐도우(Head Shadow) 효과를 처리하기 위한 헤드쉐도우처리모듈(215)을 더 포함할 수 있다. In addition, the sound image positioning unit 211 may further include a pinna processing module 212 for processing a pinna effect that appears due to the auricle with respect to the input sound source, and a head shadow processing module 215 for processing a head shadow effect in which a difference in sound entering both ears occurs due to the shape of the head with respect to the input sound source.
여기서 피나 효과는 귓바퀴(Pinna)로 인하여 반사된 사운드가 귀에 결합되어 고주파 필터링 효과를 만들어 내는 것을 의미한다.Here, the pinna effect means that the sound reflected by the pinna is coupled to the ear to create a high-frequency filtering effect.
또한 피나처리모듈(212)은 양측 귀로 입력되는 신호를 피나 효과로 표현하기 위해 복수의 엘리베이션 피나 필터(Elevation Pinna Filter)와, 아지무스 피나 필터(Azimuth Pinna Filter)를 포함한다.In addition, the pinna processing module 212 includes a plurality of elevation pinna filters and an azimuth pinna filter to express signals input to both ears as a pinna effect.
엘리베이션 피나 필터와 아지무스 피나 필터는 2채널 좌우측부를 갖는 출력장치의 신호에 따라 구분하여 표현하기 위해 도 3과 같이 좌우측 한 쌍의 제1,2 필터로 구성될 수 있다.The elevation pina filter and the azimus pina filter may be composed of a pair of left and right first and second filters as shown in FIG.
구체적으로 제1 좌측 엘리베이션 피나 필터(Elevation Pinna Filter1(L))는 양측 출력장치 중 좌측부 출력장치 음원의 높낮이에 따라 왼쪽 귀로 입력되는 신호를 표현할 수 있다.Specifically, the first left elevation pinna filter (Elevation Pinna Filter 1 (L)) can express a signal input to the left ear according to the height of the sound source of the left output device among the output devices on both sides.
또한 제1 우측 엘리베이션 피나 필터(Elevation Pinna Filter1(R))는 양측 출력장치 중 우측부 출력장치 음원의 높낮이에 따라 오른쪽 귀로 입력되는 신호를 표현할 수 있다.In addition, the first right elevation pinna filter (Elevation Pinna Filter 1(R)) can express a signal input to the right ear according to the height of the sound source of the right output device among the output devices on both sides.
또한 제2 좌측 엘리베이션 피나 필터(Elevation Pinna Filter2(L))는 좌측부 출력장치 음원의 높낮이에 따라 왼쪽 귀로 입력되는 신호를 표현할 수 있다.In addition, the second left elevation pinna filter (Elevation Pinna Filter 2 (L)) can represent a signal input to the left ear according to the height of the sound source of the left output device.
또한 제2 우측 엘리베이션 피나 필터(Elevation Pinna Filter2(R))는 좌측부 출력장치 음원의 높낮이에 따라 오른쪽 귀로 입력되는 신호를 표현할 수 있다.In addition, the second right elevation pinna filter (Elevation Pinna Filter 2(R)) can express a signal input to the right ear according to the height of the sound source of the left output device.
제1,2 아지무스 피나 필터 또한 좌우측에 한 쌍으로 각각 구성될 수 있다.The first and second azimuth pina filters may also be configured as a pair on the left and right sides.
즉 제1 좌측 아지무스 피나 필터(Azimuth Pinna Filter1(L))는 좌측부 출력장치 음원의 평면상에 위치에 따라 왼쪽 귀로 입력되는 신호를 표현하고, 제1 우측 아지무스 피나 필터(Azimuth Pinna Filter1(R))는 우측부 출력장치 음원의 평면상에 위치에 따라 오른쪽 귀로 입력되는 신호를 표현할 수 있다.That is, the first left azimuth pinna filter (Azimuth Pinna Filter 1 (L)) represents a signal input to the left ear according to the position on the plane of the sound source of the left output device, and the first right Azimuth Pinna Filter 1 (R) can express the signal input to the right ear according to the position on the plane of the sound source of the right output device.
마찬가지로, 제2 좌측 아지무스 피나 필터(Azimuth Pinna Filter2(L))는 우측부 출력장치 음원의 평면상에 위치에 따라 왼쪽 귀로 입력되는 신호를 표현할 수 있으며, 제2 우측 아지무스 피나 필터(Azimuth Pinna Filter2(R))는 좌측부 출력장치 음원의 평면상에 위치에 따라 오른쪽 귀로 입력되는 신호를 표현할 수 있다.Similarly, the second left azimuth pinna filter (Azimuth Pinna Filter 2 (L)) can express a signal input to the left ear according to the position of the sound source of the right output device on the plane, and the second right azimuth pinna filter (Azimuth Pinna Filter 2 (R)) can express the signal input to the right ear according to the position on the plane of the sound source of the left output device.
이와 같은 엘리베이션 피나 필터와 아지무스 피나 필터로 구분하여 음상 정위되도록 실감음향을 모델링함으로써, 피나 효과에 의한 소리의 위치감을 개선할 수 있는 것이다.By dividing the elevation pina filter and the azimuth pina filter and modeling the sensory sound so that the sound image is localized, it is possible to improve the sense of position of the sound by the pina effect.
또한 헤드쉐도우처리모듈(215)은 피나처리모듈(212) 후단에 한 쌍의 제1,2 헤드쉐도우 필터로 구성하여 위치하고, 피나 효과를 표현한 후 헤드쉐도우 표현을 수행하고, 가산기에 의해 합쳐져서 하나의 출력신호 L,R로 구분하여 출력되도록 한다.In addition, the head shadow processing module 215 is composed of a pair of first and second head shadow filters located at the rear end of the pinna processing module 212, and after expressing the pina effect, the head shadow is expressed, and combined by an adder to output signals L and R as one output signal.
구체적으로 헤드쉐도우처리모듈(215)은 좌우측부 출력장치 음원으로부터 각각 왼쪽 귀로 입력되는 신호(출력신호 L)를 표현하는 제1,2 좌측 헤드쉐도우 필터(Head Shadow Filter1(L), Head Shadow Filter2(L))와, 좌우측부 출력장치 음원으로부터 각각 오른쪽 귀로 입력되는 신호(출력신호 R)를 표현하는 제1,2 우측 헤드쉐도우 필터(Head Shadow Filter1(R), Head Shadow Filter2(R))를 더 포함할 수 있다.Specifically, the head shadow processing module 215 may further include first and second left head shadow filters (Head Shadow Filter 1(L) and Head Shadow Filter 2 (L)) expressing signals input to the left ears (output signal L) from sound sources of the left and right side output devices, respectively, and first and second right head shadow filters (Head Shadow Filter 1(R) and Head Shadow Filter 2 (R)) expressing signals input to the right ears (output signal R) from the sound sources of the left and right output devices, respectively.
공간감처리부(220)는 가상위치처리부(210)에 의해 가상 위치 설정된 가공 음원(가공 오디오 신호)에 대하여 공감간 처리를 수행한다.The spatial processing unit 220 performs synesthetic processing on the processed sound source (processed audio signal) whose virtual location is set by the virtual location processing unit 210 .
구체적으로 공간감처리부(220)는 도 4를 참조하면, 전처리 필터(221), 모노 공간감 필터(222), 스테레오 공간감 필터(223)를 더 포함한다.Specifically, referring to FIG. 4 , the spatial processing unit 220 further includes a preprocessing filter 221 , a mono spatial filter 222 , and a stereo spatial filter 223 .
전처리 필터(221)는 입력음원 신호에 대하여 스테레오 성분과 모노 성분으로 분리하여 음상 정위 시 반사음 효과를 높이기 위한 전처리를 수행한다.The pre-processing filter 221 separates the input sound source signal into a stereo component and a mono component, and performs pre-processing to enhance a reflected sound effect when localizing a sound image.
모노 공간감 필터(222)는 입력음원 신호의 목소리를 포함하는 모노 성분 신호에 대하여 공간감을 생성한다.The mono spatial filter 222 creates a spatial feeling for the mono component signal including the voice of the input sound source signal.
스테레오 공간감 필터(223)는 입력음원 신호 중 스테레오 성분 신호에 대하여 공간감을 생성한다.The stereo spatial feeling filter 223 creates a spatial feeling for a stereo component signal among input sound source signals.
EQ및밸런스 처리부(230)는 공간감 처리된 음원의 EQ를 조정하고, 마이크 음향차를 교정하도록 오디오 밸런스를 조정한다.The EQ and balance processing unit 230 adjusts the EQ of the spatial sense-processed sound source and adjusts the audio balance to correct the microphone acoustic difference.
실감음향스크립트처리부(300)는 공연 현장에 위치한 적어도 하나의 마이크에 대하여 마이크 위치별로 거리감과 방향감을 실감 음향에 반영하기 위해 마이크 위치에 대한 시계열적 정보를 생성하여 상기 실감음향렌더링부(200)에 제공할 수 있다.The sensory sound script processing unit 300 generates time-sequential information about the position of the microphone and provides it to the sensory sound rendering unit 200 in order to reflect a sense of distance and direction to the sensory sound for each microphone position with respect to at least one microphone located at the performance site.
즉, 실감음향렌더링부(200)는 마이크 위치에 대한 시계열적 정보를 실감음향스크립트처리부(300)로부터 전달받아 가공 음원에 마이크 위치별로 거리감과 방향감을 실감 음향에 반영하여 음원출력부(400)로 전달할 수 있다.That is, the sensory sound rendering unit 200 receives time-sequential information about the position of the microphone from the sensory sound script processing unit 300, reflects the sense of distance and direction for each microphone position to the processed sound source, and transmits it to the sound source output unit 400.
음원출력부(400)는 실감음향렌더링부(200)에 의해 생성 및 처리된 실감음향을 출력장치에 맞춰 스테레오 또는 5.1채널로 다운(또는 업)믹싱 후 출력되도록 한다.The sound source output unit 400 outputs the sensory sound generated and processed by the sensory sound rendering unit 200 after down (or up) mixing to a stereo or 5.1 channel according to the output device.
100 : 노이즈처리부
200 : 실감음향렌더링부
210 : 가상위치처리부
211 : 음상정위부
212 : 피나처리모듈
215 : 헤드쉐도우처리모듈
220 : 공간감처리부
221 : 전처리 필터
222 : 모노 공간감 필터
223 : 스테레오 공간감 필터
230 : EQ및밸런스 처리부
300 : 실감음향스크립트처리부
400 : 음원출력부
1000 : 실감음향 처리 시스템100: noise processing unit
200: realistic sound rendering unit
210: virtual location processing unit
211: sound image positioning unit
212: pina processing module
215: head shadow processing module
220: space processing unit
221: preprocessing filter
222: mono spatial filter
223: stereo spatial filter
230: EQ and balance processing unit
300: realistic sound script processing unit
400: sound output unit
1000: sensory sound processing system
Claims (7)
실감 음향을 생성하기 위해 노이즈 처리된 입력 음원에 대해 현장감을 더해주는 가상 위치 설정 및 공간감 처리를 통하여 실감음향을 생성하는 실감음향렌더링부;
공연 현장에 위치한 적어도 하나의 마이크에 대하여 마이크 위치별로 거리감과 방향감을 실감 음향에 반영하기 위해 마이크 위치에 대한 시계열적 정보를 생성하여 상기 실감음향렌더링부에 제공하는 실감음향스크립트처리부; 및
상기 실감음향렌더링부에 의해 생성된 실감음향을 출력장치를 통하여 출력하는 음원출력부;를 포함하며,
상기 실감음향렌더링부는, 입력 음원에 대하여 현장감을 제공할 수 있도록 가상 위치를 설정하는 가상위치처리부; 가상 위치가 설정된 가공 음원에 대하여 공감간 처리를 수행하는 공간감처리부; 및 공간감 처리된 음원의 EQ를 조정하고, 마이크 음향차를 교정하도록 오디오 밸런스를 조정하는 EQ 및밸런스처리부를 포함하고,
상기 가상위치처리부는, 입력 음원에 대하여 머리전달함수를 이용하여 가상의 공간에 음상 정위(Sound Image Position)되도록 신호 처리하는 음상정위부를 더 포함하며,
상기 음상정위부는, 입력 음원에 대해 귓바퀴로 인해 나타나는 피나(Pinna) 효과를 처리하기 위한 피나처리모듈; 및 입력 음원에 대해 머리 모양으로 인해 양귀로 들어오는 소리의 차이가 발생하는 헤드쉐도우(Head Shadow) 효과를 처리하기 위한 헤드쉐도우처리모듈을 더 포함하고,
상기 가상위치처리부는, RTF(Room Transfer Function) 기반의 콤팩트 가상 입체 음장(Compact Virtual Sound Field)의 필터를 통하여 초기(Early) 반사음과 후기 반사음을 모델링하여 공간감을 조정하고, 적어도 10채널 이상의 복수 채널 시스템에서 공간감 적용에 필요한 메모리와 연산량을 최적화한 가상 음장(Virtual Sound Field) 알고리즘 모델링을 설계하되, 콤팩트 가상 입체 음장(Compact Virtual Sound Field) 알고리즘을 적용해서 처리되는
공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템.A noise processing unit for processing to reduce ambient noise or howling with respect to the input sound source recorded at the performance site;
A sensory sound rendering unit that generates sensory sound through virtual location setting and space processing that adds a sense of realism to the noise-processed input sound source to generate sensory sound;
a sensory sound script processing unit generating time-sequential information about microphone positions and providing the sensory sound rendering unit with time-sequential information about microphone positions in order to reflect a sense of distance and direction for each microphone position to sensory sound for at least one microphone located at a performance site; and
A sound source output unit for outputting the sensory sound generated by the sensory sound rendering unit through an output device;
The sensory sound rendering unit may include a virtual location processing unit that sets a virtual location to provide a sense of realism to an input sound source; a spatial processing unit that performs empathy processing on a processed sound source for which a virtual location is set; And an EQ and balance processing unit for adjusting the EQ of the spatially processed sound source and adjusting the audio balance to correct the microphone acoustic difference,
The virtual position processing unit further includes a sound image positioning unit that processes a signal so that a sound image is positioned in a virtual space using a head transfer function with respect to an input sound source;
The sound image localization unit includes: a pinna processing module for processing a pinna effect caused by an auricle with respect to an input sound source; And a head shadow processing module for processing a head shadow effect in which a difference in sound entering both ears occurs due to the shape of the head for the input sound source,
The virtual location processing unit adjusts the sense of space by modeling early reflections and late reflections through RTF (Room Transfer Function)-based Compact Virtual Sound Field filters, and optimizes the memory and computation required for applying the sense of space in a multi-channel system of at least 10 channels. Designing a Virtual Sound Field algorithm modeling, but processing by applying the Compact Virtual Sound Field algorithm
Realistic sound processing system to improve immersion in performances and videos.
상기 피나처리모듈은
양측 귀로 입력되는 신호를 피나 효과로 표현하기 위해 복수의 엘리베이션 피나 필터(Elevation Pinna Filter)와, 복수의 아지무스 피나 필터(Azimuth Pinna Filter)를 더 포함하는 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템.According to claim 1,
The pina treatment module
A realistic sound processing system for improving immersion in performances and videos, which further includes a plurality of Elevation Pinna Filters and a plurality of Azimuth Pinna Filters to express signals input to both ears as pinna effects.
상기 헤드쉐도우처리모듈은
상기 피나처리모듈 후단에 한 쌍의 제1,2 헤드쉐도우 필터로 구성하여 위치하고, 피나처리모듈을 거쳐 헤드 쉐도우 표현을 수행하는 것을 특징으로 하는 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템.According to claim 1,
The head shadow processing module
A realistic sound processing system for improving immersion in performances and images, characterized in that it is composed of a pair of first and second head shadow filters at the rear of the pinar processing module and performs head shadow expression through the pinna processing module.
상기 공간감처리부는
입력음원 신호에 대하여 스테레오 성분과 모노 성분으로 분리하여 음상 정위 시 반사음 효과를 높이기 위한 전처리를 수행하는 전처리 필터;
입력음원 신호의 목소리를 포함하는 모노 성분 신호에 대하여 공간감을 생성하는 모노 공간감 필터;
입력음원 신호 중 스테레오 성분 신호에 대하여 공간감을 생성하는 스테레오 공간감 필터
를 더 포함하는 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템.According to claim 1,
The sense of space processing unit
a pre-processing filter that separates the input sound source signal into a stereo component and a mono component and performs pre-processing to increase a reflected sound effect when positioning a sound image;
a mono spatial filter for generating a spatial feeling for a mono component signal including voice of an input sound source signal;
A stereo spatial filter that creates a sense of space for the stereo component signal of the input sound source signal.
Realistic sound processing system for improving immersion in performances and images further comprising a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210143311A KR102559015B1 (en) | 2021-10-26 | 2021-10-26 | Actual Feeling sound processing system to improve immersion in performances and videos |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210143311A KR102559015B1 (en) | 2021-10-26 | 2021-10-26 | Actual Feeling sound processing system to improve immersion in performances and videos |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230059283A KR20230059283A (en) | 2023-05-03 |
| KR102559015B1 true KR102559015B1 (en) | 2023-07-24 |
Family
ID=86381080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210143311A Active KR102559015B1 (en) | 2021-10-26 | 2021-10-26 | Actual Feeling sound processing system to improve immersion in performances and videos |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102559015B1 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101505099B1 (en) | 2012-12-27 | 2015-03-25 | 전자부품연구원 | System for supply 3-dimension sound |
| DE102013105375A1 (en) * | 2013-05-24 | 2014-11-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | A sound signal generator, method and computer program for providing a sound signal |
| KR102283964B1 (en) * | 2019-12-17 | 2021-07-30 | 주식회사 라온에이엔씨 | Multi-channel/multi-object sound source processing apparatus |
-
2021
- 2021-10-26 KR KR1020210143311A patent/KR102559015B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230059283A (en) | 2023-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6085029B2 (en) | System for rendering and playing back audio based on objects in various listening environments | |
| Jot | Real-time spatial processing of sounds for music, multimedia and interactive human-computer interfaces | |
| CA3008214C (en) | Synthesis of signals for immersive audio playback | |
| US12081955B2 (en) | Audio apparatus and method of audio processing for rendering audio elements of an audio scene | |
| JP6167178B2 (en) | Reflection rendering for object-based audio | |
| Algazi et al. | Headphone-based spatial sound | |
| US11109177B2 (en) | Methods and systems for simulating acoustics of an extended reality world | |
| KR20170106063A (en) | A method and an apparatus for processing an audio signal | |
| Jot et al. | Binaural simulation of complex acoustic scenes for interactive audio | |
| WO2018026963A1 (en) | Head-trackable spatial audio for headphones and system and method for head-trackable spatial audio for headphones | |
| US11223920B2 (en) | Methods and systems for extended reality audio processing for near-field and far-field audio reproduction | |
| US10321252B2 (en) | Transaural synthesis method for sound spatialization | |
| US20240171928A1 (en) | Object-based Audio Spatializer | |
| Jot | Synthesizing three-dimensional sound scenes in audio or multimedia production and interactive human-computer interfaces | |
| KR102559015B1 (en) | Actual Feeling sound processing system to improve immersion in performances and videos | |
| US11665498B2 (en) | Object-based audio spatializer | |
| CN117409804A (en) | Audio information processing method, medium, server, client and system | |
| Melchior et al. | Emerging technology trends in spatial audio | |
| Frank et al. | Recreating a multi-loudspeaker experiment in virtual reality | |
| RU2820838C2 (en) | System, method and persistent machine-readable data medium for generating, encoding and presenting adaptive audio signal data | |
| Pfanzagl-Cardone | HOA—Higher Order Ambisonics (Eigenmike®) | |
| Rimell | Immersive spatial audio for telepresence applications: system design and implementation | |
| Matsui et al. | Development of binaural headphone processor for 22.2 multichannel Sound | |
| Corcuera Marruffo | A real-time encoding tool for Higher Order Ambisonics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20211026 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20221128 Patent event code: PE09021S01D |
|
| PG1501 | Laying open of application | ||
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20230529 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20230719 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20230719 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |