JP5520456B2 - Binaural sound collection and playback system - Google Patents
Binaural sound collection and playback system Download PDFInfo
- Publication number
- JP5520456B2 JP5520456B2 JP2008167982A JP2008167982A JP5520456B2 JP 5520456 B2 JP5520456 B2 JP 5520456B2 JP 2008167982 A JP2008167982 A JP 2008167982A JP 2008167982 A JP2008167982 A JP 2008167982A JP 5520456 B2 JP5520456 B2 JP 5520456B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- correction
- listener
- signal
- adaptive filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 claims description 171
- 230000003044 adaptive effect Effects 0.000 claims description 124
- 230000005236 sound signal Effects 0.000 claims description 117
- 238000012546 transfer Methods 0.000 claims description 75
- 238000004364 calculation method Methods 0.000 claims description 30
- 230000003111 delayed effect Effects 0.000 claims description 24
- 210000005069 ears Anatomy 0.000 claims description 24
- 230000005540 biological transmission Effects 0.000 claims description 15
- 210000000613 ear canal Anatomy 0.000 claims description 14
- 239000000523 sample Substances 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 75
- 238000012545 processing Methods 0.000 description 69
- 238000000034 method Methods 0.000 description 54
- 210000003128 head Anatomy 0.000 description 31
- 238000010586 diagram Methods 0.000 description 13
- 230000008929 regeneration Effects 0.000 description 8
- 238000011069 regeneration method Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000001934 delay Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Stereophonic Arrangements (AREA)
- Stereophonic System (AREA)
Description
本発明は、バイノーラル収音および再生を行う手法に関する。 The present invention relates to a technique for binaural sound pickup and reproduction.
従来より、録音者の周囲音環境を音源の方向情報も含んで収録再生する方法としてバイノーラル収音再生方式が知られている。
このバイノーラル収音再生方式は、左右の耳の耳道入口付近または耳道内にそれぞれマイクロフォンを配置して、収音するステレオ収音手法である。
このマイクロフォンにより収音された音声信号をヘッドフォン等により耳道入口付近で再生することによって、収音された場所の音場をより忠実に再現する。
Conventionally, it is known binaural sound pickup reproducing method as a method of recording and playback of ambient sound environment of the recording's also include directional information of the sound source.
This binaural sound collecting / reproducing method is a stereo sound collecting method for collecting sound by arranging microphones in the vicinity of or in the ear canal entrances of the left and right ears.
By reproducing the sound signal collected by the microphone near the entrance of the ear canal using headphones or the like, the sound field of the collected place is more faithfully reproduced.
また、バイノーラル収音再生の手法には、人間の頭部を模擬し、耳道入口付近または耳道内にマイクロフォンを設置したダミーヘッドと呼ばれるマイクロフォンシステムで収音を行う。しかしながら、この場合、収音された音声信号を聴取する聴取者の頭の形状とダミーヘッドの形状が異なるため、音声信号の再生にあたって、収音時の音場を忠実に再現することは困難である。 In the binaural sound collection and reproduction method, sound is collected by a microphone system called a dummy head in which a microphone is installed in the vicinity of the entrance of the ear canal or in the ear canal. However, in this case, because the shape of the listener's head shape and a dummy head to listen to the picked-up audio signals different, when reproduction of the audio signal, is difficult to faithfully reproduce the sound field at the time of sound collection It is.
このため、録音者の耳元で収音した音声信号を録音者自身が聴取者として、自らの耳元に再生すること( リアルヘッドバイノーラル収音再生) が、バイノーラルを有効に実現する手法として考えられる。
この場合、収音時と再生時の頭部伝達関数(HRTF:Head-Related Transfer Function)が原理的には一致するため、より忠実な音場再現が可能となる。
For this reason, it is conceivable as a technique for effectively realizing binaural that the sound signal picked up by the recording person's ear is reproduced by the recording person himself / herself as a listener (real head binaural sound collecting reproduction).
In this case, since a head-related transfer function (HRTF) at the time of sound collection and reproduction coincides in principle, a more faithful sound field reproduction is possible.
上記リアルヘッドバイノーラル収音再生の関連技術として、ヘッドフォン、マイクロフォンの特性を含む伝達特性の同定( 算出) に適応フィルタを用いることにより、再生された音声におけるバイノーラル効果の低下を軽減する技術が開示されている( 特許文献1)。 As a technique related to the above-mentioned real head binaural sound collection reproduction, a technique is disclosed that uses an adaptive filter to identify (calculate) transfer characteristics including the characteristics of headphones and microphones, thereby reducing the deterioration of the binaural effect in the reproduced sound. (Patent Document 1).
この関連技術では、リアルヘッド収音されたバイノーラル信号のヘッドフォンによる再生を行う際に、収音に用いたマイクロフォン( または、それに特性が近似したマイクロフォン) を耳に装着し、さらにヘッドフォンを装着して、適応フィルタにより逐次、ヘッドフォンからマイクロフォンまでの合成特性と逆の特性を求め、得られた合成逆特性を補正フィルタにより、バイノーラル信号としての通常の音声信号に重畳することによってマイクロフォンやヘッドフォンの特性を補正する。 In this related technology, when playing back binaural signals picked up by a real head using headphones, the microphone used for picking up the sound (or a microphone with similar characteristics) is worn on the ear, and the headphones are also worn. Then, the characteristics of the microphone and the headphones are obtained by sequentially obtaining the characteristics opposite to the synthesized characteristics from the headphones to the microphone by the adaptive filter, and superimposing the obtained synthesized inverse characteristics on the normal audio signal as a binaural signal by the correction filter. to correct.
又、バイノーラル収音された音声を、ヘッドフォンではなく、ラウドスピーカで再生する場合の関連技術として、ラウドスピーカから再生された音声のうち、聴取者の前方左側に設置された左ラウドスピーカから聴取者の右耳に到達する音声( クロストーク) および聴取者の前方右側に設置された右ラウドスピーカから聴取者の左耳に到達する音声( クロストーク) をキャンセルするための手法が開示されている( 特許文献2) 。
しかしながら、上記特許文献1では、補正帯域と非補正帯域を特定の閾値により分割しており、この場合、収音されたバイノーラル信号を聴取者の耳元に忠実に再現することが困難となるという不都合がある。
また、バイノーラル収音された音声のバイノーラル再生時には、ヘッドフォンを装着する必要があり、ラウドスピーカによりバイノーラル再生を行うことが、想定されていない。
However, in the above-mentioned
Also, when binaural playback of binaurally picked-up sound, it is necessary to wear headphones, and binaural playback using a loudspeaker is not assumed.
また、特許文献2では、バイノーラル収音信号をラウドスピーカ( 再生スピーカ) で再生する場合に、再生スピーカと聴取者の位置が固定されていることから、聴取者の位置が変化した場合には、そのフィルタ係数( 特性) の変化に追従させることが出来ないという不都合がある。
In
[発明の目的]
本発明は、上記関連技術の有する不都合を改善し、バイノーラル収音された音声を、収音時の音場により忠実に再現再生するバイノーラル収音再生システム、を提供することを、その目的とする。
[Object of invention]
An object of the present invention is to provide a binaural sound collecting / reproducing system that improves the inconvenience of the related technology and reproduces and reproduces binaural sound faithfully by a sound field at the time of sound collecting. .
上記目的を達成するために、本発明に係るバイノーラル収音再生システムは、収音用マイクロフォンにより予め収録された収録音声信号について所定の補正を行いスピーカに供給する補正フィルタと、前記スピーカで再生され予め聴取者の耳道領域に備えられた前記収音用マイクロフォンにより収音されて成る再生音声信号に対して補正を行う適応フィルタと、前記補正フィルタから出力される補正後の収録音声信号を取得し予め設定された時間遅延させて出力する遅延信号出力手段と、前記適応フィルタを介して取得される再生音声信号と前記遅延信号出力手段から出力される収録音声信号との差分を算出し、その差分を前記適応フィルタに送出する残差データ出力機能を備えた加算器とを備え、
前記適応フィルタは、前記収音用マイクロフォンにより収音されて成る再生音声信号と前記差分とに基いて前記スピーカから前記収音用マイクロフォンまでの伝達特性と逆の特性を算出する逆特性同定機能を有すると共に、前記補正フィルタが、前記適応フィルタにて算出された前記特性に基いて前記収録音声信号の補正を行う機能を備え、
更に、前記適応フィルタが、前記加算器から送出される差分に基いて当該差分が最小となるように前記適応フィルタにおける特性を同定するフィルタ特性同定機能を備えている、という構成を採っている。
In order to achieve the above object, a binaural sound collecting / reproducing system according to the present invention performs a predetermined correction on a recorded audio signal pre-recorded by a sound collecting microphone and supplies the corrected sound to a speaker, and is reproduced by the speaker. An adaptive filter that corrects a reproduced audio signal that is collected by the sound collecting microphone provided in advance in the auditory canal region of the listener and a corrected recorded audio signal that is output from the correction filter are acquired. And calculating a difference between the delay signal output means for outputting after delaying a preset time, the reproduced audio signal acquired via the adaptive filter and the recorded audio signal output from the delay signal output means, An adder with a residual data output function for sending the difference to the adaptive filter,
The adaptive filter, an inverse characteristic identification function of calculating a transfer characteristic opposite characteristics from the speaker to the sound collecting microphone based on the reproduced audio signal comprising picked up by the sound pickup microphone and said difference And the correction filter has a function of correcting the recorded audio signal based on the characteristic calculated by the adaptive filter,
Further, the adaptive filter is configured to have a filter characteristic identification function for identifying characteristics in the adaptive filter so that the difference is minimized based on the difference sent from the adder.
また、本発明に係るバイノーラル収音再生システムは、聴取者の左右の耳に対応して予め左右に設定された2チャンネルのラウドスピーカと、この各ラウドスピーカに供給する収録音声信号について各ラウドスピーカ毎に個別に所定の補正を行う補正フィルタとを備えると共に、
前記補正フィルタを介して前記左および右ラウドスピーカそれぞれに供給する前記収録音声信号に対して、前記左ラウドスピーカから前記聴取者の右耳に到達する音声および前記右ラウドスピーカから聴取者の左耳に到達する音声をキャンセルする補正を行うクロストークキャンセル部を備え、
前記クロストークキャンセル部が、
前記各左および右ラウドスピーカに対応して、それぞれ、前記スピーカで再生され予め聴取者の耳道領域に備えられた前記収音用マイクロフォンにより収音されて成る再生音声信号に対して補正を行う適応フィルタと、前記補正フィルタから出力される補正後の収録音声信号を取得し予め設定された時間遅延させて出力する遅延信号出力手段と、前記適応フィルタを介して取得される再生音声信号と前記遅延信号出力手段から出力される収録音声信号との差分を算出し、その差分を前記適応フィルタに送出する残差データ出力機能を備えた加算器とを備えると共に、
前記各適応フィルタが、前記収音用マイクロフォンにより収音されて成る再生音声信号と前記差分とに基いて前記スピーカから前記収音用マイクロフォンまでの伝達特性と逆の特性を算出する逆特性同定機能を有し、前記補正フィルタが前記適応フィルタ算出された前記特性に基いて前記収録音声信号の補正を行う機能を備え、
更に、前記各適応フィルタが、前記加算器から送出される差分に基いて当該差分が最小となるように前記適応フィルタにおける特性を同定するフィルタ特性同定機能を備えている、という構成を採っている。
In addition , the binaural sound collecting and reproducing system according to the present invention includes a two-channel loudspeaker set in advance to the left and right corresponding to the left and right ears of the listener, and each loudspeaker for the recorded audio signal supplied to each loudspeaker. And a correction filter for performing a predetermined correction individually for each,
For the recorded audio signal supplied to each of the left and right loudspeakers via the correction filter, the voice reaching the right ear of the listener from the left loudspeaker and the left ear of the listener from the right loudspeaker It has a crosstalk cancellation part that performs correction to cancel the sound that reaches
The crosstalk cancellation unit
Corresponding to each of the left and right loudspeakers, correction is performed on the reproduced audio signal that is reproduced by the speaker and collected in advance by the sound collecting microphone provided in the auditory canal region of the listener. An adaptive filter, delayed signal output means for acquiring a recorded audio signal after correction output from the correction filter and outputting it after a predetermined time delay, a reproduced audio signal acquired via the adaptive filter, and the An adder having a residual data output function for calculating a difference with the recorded audio signal output from the delayed signal output means and sending the difference to the adaptive filter;
Inverse characteristic identification function for each adaptive filter to calculate a characteristic opposite to the transmission characteristic from the speaker to the sound collecting microphone based on the reproduced sound signal picked up by the sound collecting microphone and the difference. The correction filter has a function of correcting the recorded audio signal based on the characteristics calculated by the adaptive filter,
Furthermore, each adaptive filter has a configuration in which a filter characteristic identification function for identifying the characteristic in the adaptive filter is provided so that the difference is minimized based on the difference sent from the adder. .
さらに、本発明に係るバイノーラル収音再生システムは、聴取者の左右の耳に対応して予め左右に設定された2チャンネルのラウドスピーカと、この各ラウドスピーカに供給する収録音声信号について各ラウドスピーカ毎に個別に所定の補正を行う補正フィルタとを備えると共に、
前記補正フィルタを介して前記左および右ラウドスピーカそれぞれに供給する前記収録音声信号に対して、前記左ラウドスピーカから前記聴取者の右耳に到達する音声および前記右ラウドスピーカから聴取者の左耳に到達する音声をキャンセルする補正を行うクロストークキャンセル部を備え、
前記クロストークキャンセル部は、
前記収録音声信号に対して、前記左及び右スピーカと前記聴取者の左および右耳それぞれとの間の伝達特性と逆の伝達特性と、前記左および右スピーカと前記聴取者の右および左耳それぞれとの間の伝達特性とを付与する補正を行う再生音声補正フィルタを有し、
更に、前記各ラウドスピーカで再生され予め聴取者の左右の耳道領域に備えられた収音用マイクロフォンにより収音されて成る再生音声信号と前記収録音声信号とに基き前記再生音声補正フィルタにおける前記伝達特性の算出を行うと共に、前記伝達特性を前記再生音声補正フィルタに設定する再生音声適応フィルタを備える、という構成を採っている。
Further , the binaural sound collecting / reproducing system according to the present invention includes a two-channel loudspeaker set in advance to the left and right corresponding to the left and right ears of the listener, and each loudspeaker for the recorded audio signal supplied to each loudspeaker. And a correction filter for performing a predetermined correction individually for each,
For the recorded audio signal supplied to each of the left and right loudspeakers via the correction filter, the voice reaching the right ear of the listener from the left loudspeaker and the left ear of the listener from the right loudspeaker It has a crosstalk cancellation part that performs correction to cancel the sound that reaches
The crosstalk cancellation unit
For the recorded audio signal, transmission characteristics opposite to the transmission characteristics between the left and right speakers and the left and right ears of the listener, and the left and right speakers and the right and left ears of the listener. A reproduction audio correction filter for performing correction to give a transfer characteristic between them,
Further, the reproduction sound correction filter in the reproduction sound correction filter based on the reproduction sound signal reproduced by each loudspeaker and previously picked up by the sound pickup microphone provided in the left and right ear canal regions of the listener and the recorded sound signal. A transfer characteristic is calculated, and a reproduction voice adaptive filter that sets the transfer characteristic in the reproduction voice correction filter is provided.
本発明は、以上のように構成したので、これによると、前記スピーカから前記収音用マイクロフォンまでの伝達特性と逆の逆特性を算出する適応フィルタと、前記スピーカで再生される収録音声信号に対して前記算出された逆特性により補正処理を行う補正フィルタを備えた構成とすることにより、収音用マイクロフォンが装着された耳道領域で収音時の音場を忠実に再現することができる。 The present invention than the structure described above, according to this, an adaptive filter for calculating an inverse characteristic of the transfer characteristic opposite from the speaker to the sound collection microphone, recording audio signal reproduced by the loudspeaker By adopting a configuration including a correction filter that performs a correction process using the calculated inverse characteristics, the sound field at the time of sound collection can be faithfully reproduced in the ear canal region where the sound collection microphone is attached. it can.
[実施形態1]
以下、本発明の実施形態1を、図1乃至図10を参照してその構成内容を説明する。
[Embodiment 1]
Hereinafter, a first embodiment of the present invention, with reference to FIGS. 1 to 10 will be described the configuration contents.
本実施形態1のバイノーラル収音再生システムは、図1に示すように、バイノーラル収録された音声信号を再生するバイノーラル再生装置(以下「再生装置」という)1と、この再生装置1から供給された音声信号を音響に変えて出力するヘッドフォンスピーカ(以下「ヘッドフォン」という)3と、聴取者5の左右各耳における耳道近傍に装着され、ヘッドフォン3(3R,3L)から出力される音声を収音するマイクロフォン2(2R、2L)を備えている。
Binaural sound pickup reproducing system of this
また、ヘッドフォン3R,3Lは、聴取者5の左右の耳それぞれに装着されたマイクロフォン2R,2Lをそれぞれ覆うように装着され、マイクロフォン2Rは再生装置1の右再生系Rに、マイクロフォン2Lは再生装置1の左再生系Lに、それぞれ接続され、収音された音声を再生装置1に入力する。
Furthermore,
マイクロフォン( 収音用マイクロフォン) 2は、聴取者5右耳に装着される2R、および左耳に装着される2Lとから成る。
マイクロフォン2Rは、図2( A) 、( B) に示すように、聴取者5の耳介にかけられる耳掛け21、音声の収音を行うマイク部22、および聴取者5の耳道内に挿入されるプローブ23により構成される。尚、マイクロフォン2Lについても、マイクロフォン2Rと同様の構成を有するものとする。
The microphone (sound collecting microphone) 2 is composed of 2R attached to the listener's 5 right ear and 2L attached to the left ear.
As shown in FIGS. 2A and 2B, the
ここで、本実施形態で再生される音声を収録し記憶する手法であるバイノーラル収録(
リアルヘッド録音) について説明する。
Here, binaural recording, which is a technique for recording and storing the audio played back in this embodiment (
Real head recording) will be explained.
まず、音声収音現場で、バイノーラル収録を行う録音者4(図3参照)の右耳及び左耳それぞれの耳道口近傍に、マイクロフォン2R,2Lが装着される。
ここで、録音者4の右耳に装着されたマイクロフォン2Rは、それぞれ、録音者4の両耳に到達する音声信号( 生音) が阻害されることなく聴取されるように、録音者4の耳道を塞ぐことのないプローブ型を有するものとする。尚、図3は、マイクロフォン2Rが右耳の耳道に装着された場合を例示している。
First,
Here, each of the
この状態で、音声収音現場における音声が、マイクロフォン2R,2Lによって収音され、収音された音声は、録音デバイス6にステレオ録音される(図4参照)。
尚、録音デバイス6は、ステレオ収音可能なデバイスであれば、ディジタルデバイスでもアナログデバイスでもよい。
In this state, the sound at the sound pickup site is picked up by the
The
ここで、マイクロフォン2R、および2Lにより収音された音声信号は、それぞれ右チャンネル音声信号( SR) 、および左チャンネル音声信号( SL) として、図4に示すように、録音デバイス6に入力され、録音デバイス6内に設けられたディスク媒体やメモリカードなどのデータ記憶部7に記録される。
Here, the audio signals collected by the
記録デバイス6に記録されるチャンネル音声信号SLおよびSRは、記録デバイス6内に予め設けられた記録処理部8に入力されると共に、必要に応じて圧縮符号化され、予め設定されたフォーマットの音楽データとしてデータ記憶部7に記録される。
The channel audio signals SL and SR to be recorded on the
尚、上記図3、および図4は、マイクロフォン2Rが、録音者4の右耳に装着された場合を例示しているが、録音者5の左耳も同様にマイクロフォン2Lが装着されているものとする。
3 and 4 exemplify the case where the
次に、再生装置1の構成について説明する。
再生装置1は、ヘッドフォン3(3R,3L)に接続されて設けられ、データ記憶部7に記録された入力音声信号SR、およびSLを再生する。
再生装置1の右再生系Rは、図5に示すように、補正フィルタ12R、遅延素子13R、適応処理部14R、および加算器15Rからなる。又、再生装置1の左再生系Lは、図5の場合と同様に、補正フィルタ12L、遅延素子13L、適応処理部14L、および加算器15Lからなる(図示せず)。
Next, the configuration of the
The
As shown in FIG. 5, the right reproduction system R of the
一方、再生処理部11は、図5に示すようにリアルヘッド録音されたバイノーラル収録音声信号( 音声信号SLおよびSR) をデータ記憶部7から読出し、伸張復号化など必要な処理を実行し、補正フィルタ(12R,12L)にデジタル音声データDRおよびDLとして出力する(デジタル音声データ出力機能)。
ここで、再生装置1の右チャンネル再生系Rの構成内容を図5に基づいて詳説する。
On the other hand, the
Here, the configuration content of the right channel reproduction system R of the
図5において、補正フィルタ12Rは、供給されたデジタル音声データ(以下「バイノーラル収音信号」という)DRに対して、予め設定された特性(フィルタ係数)により補正処理を行い、音声信号s(k)としてヘッドフォン3Rおよび遅延素子13Rに供給する(
音声補正供給機能) 。
In FIG. 5, the
Audio correction supply function).
尚、補正フィルタ12Rは、例えばFIRフィルタ等によって構成され、そのフィルタ係数が、後述する適応フィルタ14Rにより変更設定されることにより、そのフィルタ特性が更新される。
The
更に、補正フィルタ12Rは、リアルヘッド収音されたバイノーラル収音信号(DR)に対して、上記特性を重畳する処理(畳込み処理)を行う重畳処理機能を備えている。
これにより、補正フィルタ12(12R,12L)は、バイノーラル収音された音声信号がヘッドフォン聴取される場合に、音声信号におけるヘッドフォンから耳までの間の特性をフラットにする補正をすることができる。
Further, the
Accordingly, the correction filter 12 (12R, 12L) can be if the audio signal binaural sound pickup is headphones listening, the correction of the characteristics of the until ear headphones in the voice signal to the flat.
尚、この補正フィルタ12Rは、上記音声補正供給機能の実行にあたって、後述される逆特性により、バイノーラル収音された音声信号の補正( フィルタリング) を行う。ここでは、補正フィルタ12Rは、ヘッドフォン3Rからマイクロフォン2Rまでの伝達関数に基く逆特性を、バイノーラル収音信号( DR) に対して付与する処理を行う。
Incidentally, the
次に、遅延素子13Rは、補正フィルタ12Rからの入力音声データs( k) に対して予め設定された時間分tだけ遅延処理を行い、この遅延処理された遅延音声データd(k-
t) を加算器15Rに出力する( 遅延データ送出機能) 。
ここで、上記遅延データ送出機能における遅延時間tは、ヘッドフォン3Rからマイクロフォン2Rまでの音声伝播時間を含む時間値が、予め設定されているものとする。
Next, the
t) is output to the
Here, it is assumed that a time value including a sound propagation time from the
適応フィルタ14Rは、マイクロフォン2Rから供給される再生音声データ(再生音声信号)x(k) に対して、予め設定されたフィルタ係数に基づき補正処理を行い、この補正処理がなされた音声データを、出力y( k) として前記加算器15に出力する再生信号補正出力機能を備えている。
The
また、適応フィルタ14Rは、出力y(k) が、所望する信号( ここでは遅延音声データd(k-t))に近似した信号になるように、適応フィルタ14R自身の特性( フィルタ係数) を更新する特性更新制御機能を有する。ここで、適応フィルタ14Rは、後述の通り加算器15Rから送り込まれた差分e( k) および再生音声データx( k) に基き、加算器15Rから出力される差分e( k) を最小とするように、フィルタ係数を自己設定する( 逆特性同定処理機能) 。
Further, the
ところで、マイクロフォン2Rにより収音された再生信号( 再生音声データx(k))の特性は、ヘッドフォン3Rの特性と、ヘッドフォン3Rの位置からマイクロフォン2Rの位置(及びヘッドフォン3Lの位置からマイクロフォン2Lの位置) までの空間伝達特性と、マイクロフォン2Rの特性とが合成された特性(以下「合成特性」という)である。
By the way, the characteristics of the reproduced signal (reproduced audio data x (k)) collected by the
したがって、この合成特性に近似し、かつ合成特性と逆の特性(逆特性:合成逆特性)が求められれば、その合成逆特性により、ヘッドフォン3Rの特性、ヘッドフォン3Rの位置からマイクロフォン2Rの位置までの空間伝達特性、およびマイクロフォン2Rの特性(「ヘッドフォン3からマイクロフォン2までの特性」という)を、補正することができる。
Therefore, if a characteristic that approximates this synthesis characteristic and is opposite to the synthesis characteristic (reverse characteristic: synthesis inverse characteristic) is obtained, the characteristics of the
また、前述した合成逆特性には、ヘッドフォン3Rからマイクロフォン2Rまでの音響伝達特性と逆の特性が含まれているので、ヘッドフォン3Rの位置からマイクロフォン2Rの位置までフラットな伝達特性で音響が伝送されることになる。すなわち、耳覆い型のヘッドフォンなどを使用した場合の、個々人で異なる耳の形状に左右される空間伝達特性を補正することができる。
In addition, since the composite inverse characteristic described above includes a characteristic opposite to the acoustic transmission characteristic from the
このため、補正フィルタ12Rでは、この合成逆特性をバイノーラル収音された音声(
s( k))に重畳することにより、合成特性が補正されて、バイノーラル収音音声が忠実に聴取者5の耳元に再現されることになる。
For this reason, in the
By superimposing on s (k)), the synthesis characteristic is corrected, and the binaural sound is reproduced faithfully in the ear of the
加算器15Rは、マイナス成分として入力された出力y(k)とプラス成分として入力された遅延音声データd(k-t)とを加算する処理を行う(加算処理機能)。
ここでは、遅延音声データd(k-t) からフィルタリング処理された音声データである出力y(k) を減算する処理を行う。
また、加算器15Rは、加算(減算)結果である残差データ(差分)e(k) を適応フィルタ1 4Rに送出する( 残差データ出力機能) 。
The
Here, a process of subtracting the output y (k) that is the voice data subjected to the filtering process from the delayed voice data d (k −t ) is performed.
The
ここで、上記適応フィルタ14Rと、加算処理部12Rとにより適応処理部16Rが構成されるものとする。この適応処理部16Rには、マイクロフォン2Rからの信号( 再生音声データ) x(k)と遅延素子13Rからの信号(遅延音声データ)d(k-t)とが入力され、適応フィルタ14Rが、出力y(k) が所望される遅延音声データd(k-t) に近似した信号になるように、つまり、差分e(k)のパワーが小さくなるように、適応フィルタ14R自身の特性を修正するように動作する。
これにより、適応フィルタ14Rは、ヘッドフォン3Rからマイクロフォン2Rまでの逆特性を同定することができる。
Here, it is assumed that the adaptive processing unit 16R is configured by the
Thereby, the
ここで、上記適応フィルタ14Rにおける逆特性同定処理機能に、一般的な適応アルゴリズムであるLMS(Least Mean Square) 法や学習同定法(Normalize Least Mean Square) を適用した場合、上記逆特性の同定処理に時間がかかり、ヘッドフォンの装着状態の変化に追従させた補正を行うことは困難である。
Here, when the LMS (Least Mean Square) method or the learning identification method (Normalize Least Mean Square), which are general adaptive algorithms, is applied to the inverse characteristic identification processing function in the
そこで、本実施形態1では、ヘッドフォンからマイクロフォンまでの逆特性の同定を行う適応フィルタ14R,14Lを、特許第4067269号に開示された高速H ∞フィルタ( FHF:高速算出フィルタ) により構成するものとする。これにより、上記逆特性を高速に同定することが可能となる。
Therefore, in the first embodiment, the
また、FHFを用いて逆特性の同定を逐次行うことにより、聴取者5によるヘッドフォン3の装着状態の変動に起因した特性の変動が生じた場合でも、この変動に動的に追従して補正フィルタ12Rの特性を、迅速に更新することが可能となる。
尚、本実施形態1では、右チャンネル再生系Rについて説明したが、左チャンネル再生系Lについても、右チャンネル再生系Rの補正フィルタ12R、遅延素子13R、適応フィルタ14R、および加算器15Rそれぞれに対応した、補正フィルタ12L、遅延素子13L、適応フィルタ14L、および加算器15Lにより構成され、ヘッドフォン3Lおよびマイクロフォン2Lを含み同様に機能するものとする。
Further, by sequentially performing the identification of inverse characteristic with FHF, even when the variation of the resulting characteristics to variations in the mounted state of the
In the first embodiment, the right channel reproduction system R has been described, but the left channel reproduction system L also includes a
ところで、上述のヘッドフォン3Rからマイクロフォン2Rまで、または、ヘッドフォン3Lからマイクロフォン2Lまでの伝達特性(ヘッドフォン−マイクロフォン間の伝達特性)は、例えば、図6に示す構成により、同定することができる。
ここでは、本実施形態(図5)と同様に、聴取者にマイクロフォン2(2R,2L)およびヘッドフォン3(3R,3L)が装着されている。
By the way, the transfer characteristic (transfer characteristic between the headphone and the microphone) from the
Here, as in the present embodiment (FIG. 5), the microphone 2 (2R, 2L) and the headphone 3 (3R, 3L) are attached to the listener.
リアルヘッド録音された収録音声(右チャンネル)は、図6に示すようにヘッドフォン3Rおよび予め設定された適応フィルタXに供給される。ヘッドフォン3Rにより収録音声信号が再生され、これをマイクロフォン2Rで収音した音声信号と、適応フィルタXを介して入力される音声信号とを加算し、この加算結果(差分)eを適応フィルタXに入力する。
尚、図6において、適応フィルタXは、入力される加算結果eが最小となるように、当該適応フィルタにおけるフィルタ特性を同定する。これにより、適応フィルタXは、ヘッドフォン3Rからマイクロフォン2Rまでの伝達特性を同定することができる。
The recorded sound (right channel) recorded by the real head is supplied to the
In FIG. 6, the adaptive filter X identifies the filter characteristics of the adaptive filter so that the input addition result e is minimized. Thereby, the adaptive filter X can identify the transfer characteristic from the
ここで、この適応フィルタXにより同定された、ヘッドフォン(3R)からマイクロフォン(2R)までの伝達特性( 合成特性) の時間波形を図7(A)に示す。また、図7(A)の伝達特性の時間波形をフーリエ変換した周波数特性を図7(B)に示す。 Here, the time waveform of the transfer characteristic (synthesis characteristic) from the headphones (3R) to the microphone (2R) identified by the adaptive filter X is shown in FIG. FIG. 7B shows frequency characteristics obtained by Fourier transforming the time waveform of the transfer characteristics shown in FIG.
次に、上述のヘッドフォン3Rからマイクロフォン2Rまで、または、ヘッドフォン3Lからマイクロフォン2Lまでの伝達特性(ヘッドフォン−マイクロフォン間の伝達特性)の逆特性を同定するための構成を図8に示す。
尚、この図8は、本実施形態1の構成内容を簡略化したものであり、適応フィルタYは、適応フィルタ14R(図5)に対応する。
Next, FIG. 8 shows a configuration for identifying the reverse characteristic of the transfer characteristic (the transfer characteristic between the headphone and the microphone) from the
FIG. 8 is a simplified configuration of the first embodiment, and the adaptive filter Y corresponds to the
図1,図2の場合と同様に、聴取者にマイクロフォン2(2R,2L)およびヘッドフォン3(3R,3L)が、図8に示すように、装着されている。 As in the case of FIGS. 1 and 2 , a microphone 2 (2R, 2L) and a headphone 3 (3R, 3L) are attached to the listener as shown in FIG.
ここで、リアルヘッド録音された収録音声(右チャンネル)が、ヘッドフォン3Rおよび予め設定された遅延素子D(遅延素子13Rに対応)に供給される。
又、ヘッドフォン3Rにより収録音声信号が再生され、これをマイクロフォン2Rで収音した音声信号が、適応フィルタYを介して加算部に入力される。尚、適応フィルタYは、音声信号に対して予め設定されたフィルタ係数に基き補正処理を行う。
遅延素子Dは、実施形態1の遅延素子13Rと同様に、入力された収録音声信号に対して、予め設定された時間分だけ遅延処理を行い、この遅延処理された遅延音声データを加算部に出力する。
Here, the recorded sound (right channel) recorded by the real head is supplied to the
The recorded audio signal is reproduced by the
Similarly to the
この加算部は、加算器15Rと同様に、入力された信号どうしを加算処理すると共に加算結果を出力する。
ここでは、適応フィルタYからの音声信号と、遅延素子Dを介して入力される音声信号とが、加算部で加算処理され、加算結果eが適応フィルタYに出力される。
Similar to the
Here, the audio signal from the adaptive filter Y and the audio signal input via the delay element D are added by the adder, and the addition result e is output to the adaptive filter Y.
尚、適応フィルタYは、加算部からの加算結果eが最小となるように、当該適応フィルタYにおけるフィルタ特性を同定する。
これにより、適応フィルタYは、ヘッドフォン3Rからマイクロフォン2Rまでの伝達特性の逆特性( 逆伝達特性) を同定することができる。
The adaptive filter Y identifies the filter characteristics of the adaptive filter Y so that the addition result e from the adding unit is minimized.
Thereby, the adaptive filter Y can identify the reverse characteristic (reverse transfer characteristic) of the transfer characteristic from the
ここで、この適応フィルタYにより同定された、ヘッドフォンからマイクロフォンまでの逆伝達特性の時間波形を図9(A)に示す。また、図9(A)の伝達特性の時間波形をフーリエ変換した周波数特性を図9(B)に示す。ここで、図9(B)の周波数特性は、図7(B)の周波数特性を上下に折り返した形状の特性となっていることが分かる。 Here, the time waveform of the reverse transfer characteristic from the headphone to the microphone identified by the adaptive filter Y is shown in FIG. Further, FIG. 9B shows frequency characteristics obtained by performing Fourier transform on the time waveform of the transfer characteristics shown in FIG. Here, it can be seen that the frequency characteristic of FIG. 9B is a characteristic of a shape obtained by folding the frequency characteristic of FIG. 7B up and down.
更に、図7の時間波形と図9の時間波形とを畳み込む処理(畳み込み処理)を行うことにより、図10(A)に示すように、パルス形状の時間波形が得られる。また、図10(A)の時間波形をフーリエ変換した周波数特性を図10(B)に示す。
この周波数特性の形状は、ほぼフラットとなっており、これにより、図9に示す逆伝達特性の時間波形が、図7に示される伝達特性の逆特性となっていることが確認できる。
これにより、本実施形態1の構成によって、上記適応フィルタYに対応する適応フィルタ14Rが、上述のヘッドフォン3Rからマイクロフォン2Rまでの伝達特性の逆伝達特性を有効に同定することができることが分かる。
Further, by performing a process (convolution process) for convolving the time waveform of FIG. 7 and the time waveform of FIG. 9, a time waveform in the form of a pulse is obtained as shown in FIG. FIG. 10B shows frequency characteristics obtained by performing Fourier transform on the time waveform of FIG.
The shape of this frequency characteristic is substantially flat, and it can be confirmed that the time waveform of the reverse transfer characteristic shown in FIG. 9 is the reverse characteristic of the transfer characteristic shown in FIG.
Thus, it can be seen that the configuration of the first embodiment allows the
尚、上述のように、図6に示す構成における適応フィルタXで、ヘッドフォンからマイクロフォンまでの伝達特性を同定し、その後同定された伝達特性から逆伝達特性を求めることも可能である。
しかしながら、この場合、伝達特性から逆伝達特性を求める処理量が膨大になるという不都合がある。また、同定された伝達特性(図7(A))から求められた逆特性は、畳み込み処理を行った場合に、伝達特性をフラットにできない特性が含まれてしまうという不都合がある。
As described above, it is possible to identify the transfer characteristic from the headphones to the microphone with the adaptive filter X in the configuration shown in FIG. 6, and then obtain the reverse transfer characteristic from the identified transfer characteristic.
However, in this case, there is a disadvantage that the amount of processing for obtaining the reverse transfer characteristic from the transfer characteristic becomes enormous. Further, the inverse characteristic obtained from the identified transfer characteristic (FIG. 7A) has a disadvantage that the transfer characteristic cannot be made flat when the convolution process is performed.
これに対して、本実施形態1では、適応フィルタ14R、14Lがヘッドフォンからマイクロフォンまでの逆伝達特性を直接同定する構成となっているため、畳み込み処理を有効に行うための逆伝達特性を、高速に、且つ確実に求めることができる。
In contrast, in the first embodiment, since the
[実施形態1の動作説明]
ここで、上述のように、聴取者5がマイクロフォン2R,2Lおよびヘッドフォン3R,3Lを装着して、前述のように収録されたバイノーラル信号を再生する場合について、説明する。
[Description of Operation of First Embodiment]
Here, as described above, the case where the
まず、図1において、再生処理部11は、データ記憶部7に記憶された音声データを読み出し、右チャンネルの音声データDR、および左チャンネルの音声データDLを、それぞれ補正フィルタ12R、12Lに供給する。
First, in FIG. 1, the
以下、本実施形態1における右再生系(図5)における動作フローを説明する。
補正フィルタ12Rでは、送り込まれた音声データDRに対して、予め設定されたフィルタ係数(補正特性)による補正処理が行われ、音声信号s(k)としてヘッドフォン3R、および遅延素子13Rに送出される。
Hereinafter, an operation flow in the right playback system in the first embodiment (FIG. 5).
The
尚、ヘッドフォン3Rに供給される音声信号s(k)は、D/A(Digital/Analog )コンバータによりD/A変換され、アナログ音声信号として供給される。
The audio signal s (k) supplied to the
ヘッドフォン3Rでは、補正フィルタ12Rから送り込まれた音声信号s(k)が、右チャンネル音声として再生(放音)され、マイクロフォン2Rが、ヘッドフォン3Rにより再生された右チャンネル音声の収音を行う。
In the
適応フィルタ14Rでは、マイクロフォン2Rで収音された再生音声データx(k)に対して、予め設定されたフィルタ係数に基づき補正処理を行い、出力信号である出力y(k) として加算器12に出力する。
尚、上記再生音声データx(k)は、再生装置1に予め設けられたA/D(Analog/Digital)コンバータによりA/D変換され、デジタル音声信号として供給される。
The
The reproduced audio data x (k) is A / D converted by an A / D (Analog / Digital) converter provided in advance in the reproducing
遅延素子13は、補正フィルタ12Rからの音声信号s(k)に対して、予め設定された時間分だけ遅延処理を行い、この遅延処理された遅延音声データd(k- t) を加算器15Rに出力する。
The delay element 13 delays the audio signal s (k) from the
加算器15Rでは、適応フィルタにより補正された出力y(k) と遅延素子の出力信号d(k-t) との差分算出が行われ、算出された差分e(k)が、適応フィルタ14Rに送出される。
適応フィルタ14Rでは、送り込まれた差分e( k) および信号x( k) に基き差分e( k) を最小とするように特性が自己設定される。また、同定された逆特性は、補正フィルタ12Rに通知される。
The
In the
これにより、適応フィルタ14Rでは、聴取者5の耳( ここでは右耳) に装着されたヘッドフォン3Rからマイクロフォン2Rまでの合成された特性( 合成特性) と逆の逆特性が同定される。
Thereby, in the
次いで、補正フィルタ12Rは、上記同定された逆特性を、補正フィルタ2R自身の特性として、再生処理部11からの音声データDRに対して畳み込み処理を行うことにより補正処理を行いヘッドフォン3Rに供給する。
Next, the
尚、上記実施形態1では、右チャンネル再生系、ヘッドフォン3R、およびマイクロフォン2Rの動作について説明したが、対応する左チャンネル再生系(補正フィルタ12L、遅延素子13L、適応フィルタ14L、加算器15L)、ヘッドフォン3L、およびマイクロフォン2Lにおいても、上述と同様に動作する。
In the first embodiment, the operations of the right channel reproduction system, the
以上のように、本実施形態1では、バイノーラル収音されたバイノーラル収音(音声)信号が、ヘッドフォンと耳との間の特性をフラットにするような補正が行われ、バイノーラル収音音声が忠実に聴取者の耳元に再現される。 As described above, in the first embodiment, the binaural sound pickup (sound) signal that has been binaurally picked up is corrected so as to flatten the characteristics between the headphones and the ears, and the binaural sound pickup sound is faithful. Reproduced in the listener's ear.
また、本実施形態1によってバイノーラル再生を行う場合には、補正フィルタの補正特性を逐次更新することができるため、再生中におけるヘッドフォンの装着状態の変動などによる特性の変動に対しても、追従して最適な特性が同定され、再生音声のフィルタリングを行うことができる。 In addition, when binaural reproduction is performed according to the first embodiment, the correction characteristics of the correction filter can be updated sequentially, so that changes in characteristics due to changes in the wearing state of headphones during reproduction are also followed. Thus, the optimum characteristics are identified, and the playback sound can be filtered.
[実施形態2]
次に、本発明に係る実施形態2を図11乃至図17を参照して説明する。
ここで、前述した実施形態1と同一の部分については、同一の符号を用いるものとする。
この実施形態2は、実施形態1のヘッドフォンに代えて、聴取者5の前方左側にラウドスピーカ200L、前方右側にラウドスピーカ200Rを設けた点と、再生装置100内にクロストークキャンセル部(クロストークキャンセル処理)50を備えた点が実施形態1の場合と相違する。
[Embodiment 2]
Next,
Here, the same reference numerals are used for the same parts as those in the first embodiment.
The second embodiment, in place of the headphone of the first embodiment,
ここで、バイノーラル収音(リアルヘッド収録)されたステレオ音声信号( 収録信号)
を聴取者の前方に設置された一対のステレオラウドスピーカ(以下「ラウドスピーカ」という)200L,200Rで再生する場合には、図11に示すように、ラウドスピーカ200Lから右耳に到達する音声信号、ラウドスピーカ200Rから左耳に到達する音声信号が存在する。これらの信号はクロストークと呼ばれる。
Here, binaural sound recording (real head recording) stereo audio signal (recording signal)
When playing with the listener pair of stereo loudspeakers (hereinafter referred to as "loudspeaker") 200L, 200 installed in front of the R a, as shown in FIG. 11, the sound that reaches the right ear from the
リアルヘッド収録された収録信号(左および右チャンネル音声信号)を、一対のラウドスピーカ200L,200Rにて再生する場合、これを聴取する聴取者5側では、クロストークの影響で音の空間的拡がり、定位感が減少してしまう。このため、図12に示すように、再生される左および右チャンネル音声信号(x1及びx2)に対して、クロストークをキャンセルする処理(クロストークキャンセル処理)を行うことが必要となる。
Real head From been From signals (left and right channel audio signals), when reproducing by a pair of
クロストークキャンセル処理は、聴取者5に対して左スピーカy1から聴取者の右耳z2に到達する信号(クロストーク)を右スピーカy2からの信号によって打ち消すものである。同様に、このクロストークキャンセル処理は、右スピーカy2から聴取者の左耳z1に到達する信号(クロストーク)も左スピーカからの信号によって打ち消すものである。
The crosstalk cancellation process cancels a signal (crosstalk) that reaches the
ここで、本実施形態2の概略構成図を図13に示す。
実施形態1と同様に聴取者5の両耳にマイクロフォン2L、2Rをそれぞれ備え、聴取者5の前方に左ラウドスピーカ( 以下「スピーカ」という) 200L、および右ラウドスピーカ( 以下「スピーカ」という) 200Rを設け、このスピーカ200L、200Rに音声信号を提供する再生装置100を備えた構成となっている。
Here, the schematic block diagram of this
Similarly to the first embodiment,
再生装置100は、スピーカ200Lおよび200Rにそれぞれ接続され、データ記憶部(図1の記憶部7に同じ)に記録された入力音声信号SR、およびSLの再生を行う再生処理部11(図示なし)と、再生処理部11から入力される左チャンネル音声信号DLに補正を行う補正フィルタAと、同様に再生処理部11から入力される右チャンネル音声信号DRに対して補正を行う補正フィルタBを有する。
Reproducing
本実施形態2の再生装置100では、上記補正フィルタA,Bに加えて、後述するクロストークキャンセル部50内に、補正フィルタC,Dを備えている。これら4つのフィルタそれぞれの特性は、図13に示すように、左スピーカ(200L)、および右スピーカ(200R)それぞれと聴取者の両耳それぞれとの間の伝達関数G11、G22、G12、G21に基き決定される。
In addition to the correction filters A and B, the
ここでは、左スピーカと聴取者5の左耳との間の伝達関数をG11、左スピーカと聴取者5の右耳との間の伝達関数をG12、右スピーカと聴取者の左耳との間の伝達関数をG21、右スピーカと聴取者5の右耳との間の伝達関数をG22とする。これにより、各伝達関数は、左、右各スピーカと聴取者5の左右各耳との位置関係が変わることにより変化する。尚、1/G11、および1/G22は、それぞれG11,およびG22の逆伝達関数を示す。
Here, the transfer function between the left speaker and the left ear of the
ここで、1/G11、1/G22は、再生系の補償を行い、G12/G22、G21/G11は、それぞれ他方のチャンネルの信号から減算される。これにより、帰還ループが形成され、この構成は、フィードバック型のクロストークキャンセル装置と呼ばれる。
このような構成により、再生される左および右チャンネル音声信号を処理することにより、左スピーカからの信号は左耳のみに到達し、右スピーカからの信号は右耳のみに到達する。
Here, 1 / G11 and 1 / G22 perform reproduction system compensation, and G12 / G22 and G21 / G11 are subtracted from the signal of the other channel, respectively. Thereby, a feedback loop is formed, and this configuration is called a feedback type crosstalk canceling device.
With such a configuration, by processing the reproduced left and right channel audio signals, the signal from the left speaker reaches only the left ear, and the signal from the right speaker reaches only the right ear.
ところで、クロストークキャンセル処理(図12)に際しては、一般に、聴取者が左右スピーカの中央にいる場合を想定した固定的な特性が設定されたフィルタが実装される。しかしながら、この場合、聴取者が移動したり、向きを変えることにより、スピーカと聴取者との位置関係が変化したときに、クロストークを適切にキャンセルすることができず、聴取される音声の定位効果( バイノーラル効果) は失われてしまう。 However, when crosstalk cancellation (Fig. 12) is generally listener filter fixed characteristics assuming that are in the middle of the left and right speakers is set is mounted. However, in this case, when the listener moves or changes direction, the crosstalk cannot be canceled properly when the positional relationship between the speaker and the listener changes, and the localization of the audio to be listened to The effect (binaural effect) is lost.
そこで、本実施形態2では、本発明のマイクロフォン2R、2L( 総称として「リアルヘッドマイク」という) を聴取者5の両耳に装着することにより、ラウドスピーカで再生された信号を収音し、ラウドスピーカへの供給信号とリアルヘッドマイクが収音している信号とに基いて、適応的にフィルタ関数の同定を行う。
これにより、聴取者が移動することにより、聴取者の耳とラウドスピーカとの位置関係が変化した場合でも、装備されたフィルタのフィルタ関数が適応的に更新され、常に最適なクロストークキャンセルを実現することが可能となる。
Therefore, in the second embodiment, the
As a result, even if the listener moves and the positional relationship between the listener's ears and the loudspeaker changes, the filter function of the installed filter is adaptively updated, and optimal crosstalk cancellation is always achieved. It becomes possible to do.
本実施形態では、クロストークキャンセルに適応フィルタを用いるために、図13に示されたG12/G22をG12と1/G22に、同様にG21/G11をG21と1/G11に分解した構成とする( 図14) 。 In this embodiment, in order to use an adaptive filter for crosstalk cancellation, G12 / G22 shown in FIG. 13 is decomposed into G12 and 1 / G22, and similarly G21 / G11 is decomposed into G21 and 1 / G11. (Figure 14).
以下、これを詳説する。
本実施形態のバイノーラル収音再生システムは、図14に示すように、リアルヘッド収録された音声信号を再生するバイノーラル再生装置( 以下「再生装置」という) 100と、再生装置100から供給された音声信号を放音するラウドスピーカ( 以下「スピーカ」という) 200L、200Rとを備えた構成となっている。また、上述のように、聴取者5の左右各耳における耳道近傍には、実施形態1と同様に、装着されたマイクロフォン2( 2L、2R) を備えられ、このスピーカ200L、および200Rから放音される音声をマイクロフォン2L、および2Rがそれぞれ収音する。
This will be described in detail below.
As shown in FIG. 14, the binaural sound collecting and reproducing system of the present embodiment includes a binaural reproducing device (hereinafter referred to as “reproducing device”) 100 that reproduces an audio signal recorded in a real head, and an audio supplied from the reproducing
更に、再生装置100は、実施形態1と同様に、データ記憶部7に記憶された音声信号を読み出す再生処理部11と、再生処理部11で読み出された左チャンネル音声信号( DL) の補正処理を行うフィルタである信号補正部41、および右チャンネル音声信号の補正処理を行うフィルタである信号補正部42(それぞれ「補正フィルタ」に対応)と、この信号補正部41、42を介して入力された音声信号に対して補正処理を行いスピーカ200L、200Rに音声信号を入力するクロストークキャンセル部50を備えている。
Further, as in the first embodiment, the
信号補正部41は、左チャンネル音声信号DLに対して補正を行うフィルタ( 補正フィルタA:図13) であって、スピーカ200Lから聴取者5の左耳までの伝達関数(G11)の逆伝達関数に対応するフィルタ係数(1/G11)が設定される。
信号補正部41は、再生処理部11からの音声信号DLに対して、スピーカ200Lから聴取者5の左耳までの伝達関数の逆関数に基く周波数特性を付与する。これにより、スピーカ200Lから聴取者5の左耳までの音声の周波数特性をフラットに補正することができる。
尚、このフィルタ係数(1/G11)は、後述するフィルタ特性算出部61により算出(同定)され、設定される。
The signal correction unit 41 is a filter for correcting the left channel audio signal DL (correction filter A: FIG. 13), and is an inverse transfer function of the transfer function (G11) from the
The signal correction unit 41 gives the audio signal DL from the reproduction processing unit 11 a frequency characteristic based on the inverse function of the transfer function from the
The filter coefficient (1 / G11) is calculated (identified) and set by a filter
信号補正部42は、右チャンネル音声信号(以下「音声信号」という)DRに対して補正を行うフィルタ(補正フィルタB:図13)であって、スピーカ200Rから聴取者5の右耳までの伝達関数(G22)の逆伝達関数に対応するフィルタ係数(1/G22)が、設定される。
尚、このフィルタ係数(1/G22)は、後述するフィルタ特性算出部63により算出され、設定される。
信号補正部42は、再生処理部11からの音声信号DRに対して、スピーカ200Rから聴取者5の右耳までの伝達関数の逆関数に基く周波数特性を付与する。これにより、スピーカ200Rから聴取者5の右耳までの音声の周波数特性をフラットに補正することができる。
The
The filter coefficient (1 / G22) is calculated and set by a filter
The
クロストークキャンセル部50は、信号補正部41、42を介して入力された音声信号に対してそれぞれ加算処理を行い、加算結果をスピーカ200L、200Rにそれぞれ供給する加算処理部31L,32Rと、音声信号に対して、予め設定されたフィルタ係数で畳み込み処理を行う信号補正部43、44、45、および46を備えている。
具体的には、クロストークキャンセル部50では、CPU(Central Processing Unit)
やメモリ、ハードディスク等の記憶部によって実現され、クロストークキャンセルのための信号処理を制御する制御プログラムの実行を行う。
Specifically, the
And a control program which is realized by a storage unit such as a memory and a hard disk and controls signal processing for crosstalk cancellation.
前述した加算処理部31Lは、信号補正部44および46( 補正フィルタDに対応:図13) により補正処理がなされたフィードバック信号b1(k)と、信号補正部41で補正処理されたlch入力信号lw( k) とが入力される。
この加算処理部31Lは、lch入力信号lw( k) からフィードバック信号b1(k)が減算されたlch出力信号lx( k) をスピーカ200Lに供給( 入力) する。また、加算処理部31Lは、加算処理されたlch出力信号lx( k) を、後述する信号補正部45に入力する。
The
The
又、加算処理部32Rは、加算処理部31Lと同様に、信号補正部43および45( 補正フィルタCに対応:図13) により補正処理がなされたフィードバック信号b2( k)
と、信号補正部42で補正処理がなされたrch入力信号rw( k) とが入力される。
加算処理部32Rは、rch入力信号rw( k) からフィードバック信号b2( k) が減算されたrch出力信号rx( k) をスピーカ200Rに供給( 入力) する。また、加算処理部32Rは、このrch出力信号rx( k) を、後述する信号補正部46に入力する。
Similarly to the
The rch input signal rw (k) corrected by the
The
信号補正部45は、例えばFIR(Finite Impulse Response) フィルタ等から成り、加算処理部31Lから音声信号lx( k) が入力される。
又、信号補正部45には、スピーカ200Rから聴取者5の右耳までの伝達関数( G22) の逆伝達関数( 1/G22) に対応するフィルタ係数が設定される。
信号補正部45は、加算処理部31Lからのlch出力信号lx( k) に対して、スピーカ200Rから聴取者5の右耳までの伝達関数の逆関数( 1/G22) に基く周波数特性を付与する処理を行い、音声信号ly( k) として信号補正部43に出力する。
The signal correction unit 45 includes, for example, a FIR (Finite Impulse Response) filter and the like, and the audio signal lx (k) is input from the
In the signal correction unit 45, a filter coefficient corresponding to the inverse transfer function (1 / G22) of the transfer function (G22) from the
The signal correction unit 45 gives frequency characteristics based on the inverse function (1 / G22) of the transfer function from the
尚、信号補正部45は、上記信号補正部42のフィルタ係数と同じフィルタ係数が設定される。また、信号補正部45のフィルタ係数は、後述するフィルタ特性算出部61により算出され、設定される。このため、信号補正部45のフィルタ特性は、フィルタ特性算出部61による同定の結果により、信号補正部42の特性と同じになるように更新設定される。
The signal correction unit 45 is set with the same filter coefficient as the filter coefficient of the
信号補正部43は、信号補正部45からの音声信号ly( k) に対して、スピーカ200Lから聴取者5の右耳までのクロストークの伝達関数(G12)に基く周波数特性を付与する処理を行う。信号補正部43は、この処理により生成されたフィードバック音声信号b2( k) を、加算処理部32Rに出力する(フィードバック音声信号送出機能)。
The
また、信号補正部43には、スピーカ200Lから聴取者5の右耳までのクロストークにおける伝達関数(G12)に対応するフィルタ係数が設定される。
更に、信号補正部43のフィルタ係数(G12)は、後述するフィルタ特性算出部63により算出され、設定される。このため、信号補正部43のフィルタ特性は、フィルタ特性算出部63による同定の結果により、そのフィルタ特性が更新される。
Further, a filter coefficient corresponding to the transfer function (G12) in the crosstalk from the
Further, the filter coefficient (G12) of the
加算処理部32Rは、信号補正部43および45(補正フィルタCに対応:図13)により補正処理がなされたフィードバック信号(マイナス成分)b2(k)と、信号補正部42で補正処理されたrch入力信号(プラス成分)rw( k) とが入力され、加算処理を行う。
加算処理部32Rは、rch入力信号rw( k) からフィードバック信号b2が減算されたrch出力信号rx( k) を、スピーカ200Rに入力すると共に、後述する信号補正部46に入力する。
The
The
信号補正部46は、例えばFIR(Finite Impulse Response) フィルタ等から成り、加算処理部32Rから音声信号(rch出力信号rx(k))が入力される。
又、信号補正部46には、スピーカ200Lから聴取者5の左耳までの伝達関数(G11)の逆関数(1/G11)に対応するフィルタ係数が設定される。
信号補正部46は、加算処理部32Rから出力されるrch出力信号rx( k) に対して、スピーカ200Lから聴取者5の左耳までの伝達関数の逆関数(1/G11)に基く周波数特性を付与する処理を行い、rch音声信号ry( k) として信号補正部44に出力する。
The
Further, a filter coefficient corresponding to the inverse function (1 / G11) of the transfer function (G11) from the
The
尚、信号補正部46は、上記信号補正部41のフィルタ係数と同じフィルタ係数に設定される。つまり、信号補正部46のフィルタ係数は、後述するフィルタ特性算出部61により算出され設定される。このため、信号補正部46のフィルタ特性は、フィルタ特性算出部63による同定の結果により、更新される。
The
信号補正部44は、信号補正部46からの音声信号ry( k) に対して、スピーカ200Rから聴取者5の左耳までのクロストークにおける伝達関数( G21) に基く周波数特性を付与する処理を行う。信号補正部44は、この処理により生成されたフィードバック音声信号b1(k)を、加算処理部31Lに出力する(フィードバック音声信号送出機能)。
The
ここで、信号補正部44には、スピーカ200Rから聴取者5の左耳までのクロストークにおける伝達関数に対応するフィルタ係数( G21) が予め設定される。
また、信号補正部44のフィルタ係数は、後述するフィルタ特性算出部64により算出され、設定される。このため、信号補正部44のフィルタ特性は、フィルタ特性算出部64による同定の結果により、更新される。
Here, in the
The filter coefficient of the
次に、再生装置100内に設けられ、上記信号補正部41,42,43,44,45,および46の特性(伝達関数)を同定するフィルタ特性算出部61〜64について、図15〜17に基き説明する。
Next, filter
フィルタ特性算出部61は、図15に示すように、再生処理部11およびマイクロフォン2Lに接続され、再生処理部11から入力される左チャンネル音声信号DLと、マイクロフォン2Lからの再生音声信号lp( x) とに基き信号補正部41,46のフィルタ係数を算出する。
又、フィルタ特性算出部61(適応フィルタに相当)は、図16に示すように、遅延手段33と、加算手段34と、適応フィルタAとを含み構成される。
遅延手段33は、入力されたリアルヘッド収音左信号(DL)を予め設定された時間(t) だけ遅延させ、この遅延させた遅延音声データad( k−t) を加算手段34に出力する( 遅延データ送出機能) 。
As shown in FIG. 15, the filter
The filter characteristic calculation unit 61 (corresponding to an adaptive filter) includes a
The delay means 33 delays the input real head sound collection left signal (DL) by a preset time (t) and outputs the delayed audio data ad (kt) to the addition means 34. (Delayed data transmission function).
又、加算手段34は、適応フィルタAを介して入力された出力ay( k)(マイナス成分) と遅延音声信号ad( k−t)(プラス成分) とを加算する処理を行う( 加算処理機能)。
ここでは、加算手段34は、遅延音声信号ad( k−t) から出力ay(k) を減算する処理を行い、残差信号ae(k)を生成し適応フィルタAに送出する( 残差信号出力機能) 。
The adding means 34 performs a process of adding the output ay (k) (minus component) input through the adaptive filter A and the delayed audio signal ad (kt) (plus component) (addition processing function). ).
Here, the adding means 34 performs a process of subtracting the output ay (k) from the delayed speech signal ad (kt ) , generates a residual signal ae (k) , and sends it to the adaptive filter A (residual signal). Output function).
適応フィルタAは、デジタルフィルタAaと、このデジタルフィルタAaのフィルタ係数を決定する係数決定手段Abを備えている。
デジタルフィルタAaは、マイクロフォン2Lから入力された再生音声データlp( k) に対して、予め設定されたフィルタ係数で畳み込み処理を行い出力ay( k) を生成する。このデジタルフィルタAaは、生成した出力ay( k) を加算手段34に出力する(再生信号補正出力機能)。
The adaptive filter A includes a digital filter Aa and coefficient determination means Ab that determines the filter coefficient of the digital filter Aa .
The digital filter A a performs convolution processing on the reproduced audio data lp (k) input from the
係数決定手段Abは、加算手段34から出力された残差信号ae( k) とマイクロフォン2Lから入力された再生音声データlp( k) に基いて、スピーカ200Lから聴取者5の左耳に到達する音声信号の伝達特性(G11)と逆の逆伝達特性(1/G11:逆特性)を同定し、この逆伝達特性(関数)に合わせて、デジタルフィルタAaのフィルタ係数を補正する。この補正は、加算手段34から適応フィルタAに入力される残差信号ae(k) ができるだけ小さくなるように行われる。
これにより、適応フィルタAからの出力ay( k) を遅延音声信号ad( k−t) に近似させる適応処理を行うことが可能となる。
The coefficient determining means Ab reaches the left ear of the
Thereby, it is possible to perform an adaptive process for approximating the output ay (k) from the adaptive filter A to the delayed speech signal ad (kt).
ここで、補正されたデジタルフィルタAaのフィルタ係数は、適応フィルタAにより、信号補正部41および46に通知される(同定係数通知機能)。これにより、信号補正部41および46のフィルタ係数は、デジタルフィルタAaのフィルタ係数に合わせて設定される(フィルタ係数補正設定機能)。
Here, the filter coefficients of the corrected digital filter A a is the adaptive filter A, is notified to the signal correcting unit 41 and 46 (the identifying coefficient notification function). Thereby, the filter coefficients of the
フィルタ特性算出部62は、図16に示すように、加算手段35と、適応フィルタBを含み構成される。
加算手段35は、適応フィルタBからの出力by( k) とマイクロフォン2Rから入力された再生音声データ(マイクロフォン入力信号)rp( k) とが入力される。
加算手段35は、マイクロフォン入力信号(プラス成分)rp( k) と出力信号by(k)(マイナス成分)とを加算する処理を行う(加算処理機能)。
ここでは、入力信号rp( k) から出力信号by(k) が減算されることにより、残差信号be( k) を生成される。加算手段35は、この残差信号be( k) を、適応フィルタBに送出する(残差信号出力機能)。
As shown in FIG. 16, the filter
The
The adding means 35 performs a process of adding the microphone input signal (plus component) rp (k) and the output signal by (k) (minus component) (addition processing function).
Here, the residual signal be (k) is generated by subtracting the output signal by (k) from the input signal rp (k). The adding means 35 sends the residual signal be (k) to the adaptive filter B (residual signal output function).
適応フィルタBは、デジタルフィルタBaと、このデジタルフィルタBaのフィルタ係数を決定する係数決定手段Bbとを有する。
デジタルフィルタBaは、入力されたリアルヘッド収音左信号(DL)に対して予め設定されたフィルタ係数で畳み込み処理を行い、出力by( k) を生成する。また、デジタルフィルタBaは、生成した出力by( k) を加算手段35に出力する(収録信号補正出力機能)。
Adaptive filter B includes a digital filter Ba, and coefficient determination section B b for determining a filter coefficient of the digital filter Ba.
The digital filter Ba performs convolution processing on the input real head sound collection left signal (DL) with a preset filter coefficient to generate an output by (k). The digital filter Ba outputs the generated output by (k) to the adding means 35 (recording signal correction output function).
係数決定手段Bbは、加算手段34から出力された残差信号be( k) とDLとに基いて、スピーカ200Lから聴取者5の右耳に到達するクロストークの伝達特性(G12)を算出し、この伝達特性に合わせて、デジタルフィルタBaのフィルタ係数を補正する。この補正は、加算手段35から入力される残差信号be( k) ができるだけ小さくなるように実行される。これにより、係数決定手段bは、出力by( k) を再生音声データrp( k) に近似させることが可能となる。
The coefficient determining means B b calculates the transfer characteristic (G12) of the crosstalk reaching the right ear of the
ここで、補正されたデジタルフィルタBaのフィルタ係数は、適応フィルタBによって信号補正部43に通知される。これにより、信号補正部43のフィルタ係数は、適応フィルタB(デジタルフィルタBa)で同定されたフィルタ係数に設定される(フィルタ係数補正設定機能)。
Here, the corrected filter coefficient of the digital filter Ba is notified to the
フィルタ特性算出部63は、再生処理部11およびマイクロフォン2Rに接続して設けられ、再生処理部11から入力されるリアルヘッド収音右信号DRと、マイクロフォン2Rからの再生音声信号rp( k) とに基いて、信号補正部42、および45の特性を同定し設定する。
又、フィルタ特性算出部63は、図17に示すように、遅延手段36と、加算手段37と、適応フィルタCとを含み構成される。
遅延手段36は、入力されたリアルヘッド収音右信号(DR)を予め設定された時間(t) だけ遅延させ、この遅延させた遅延音声データcd( k−t) を加算手段37に出力する( 遅延データ送出機能) 。
The filter
Further, as shown in FIG. 17, the filter
The delay means 36 delays the input real head sound collection right signal (DR) by a preset time (t) and outputs the delayed audio data cd (kt) to the addition means 37. (Delayed data transmission function).
又、加算手段37は、適応フィルタCを介して入力された出力cy( k)(マイナス成分) と遅延音声信号cd( k−t)(プラス成分) とを加算する処理を行う(加算処理機能)。
ここでは、加算手段34は、遅延音声信号cd( k−t) から出力cy(k) を減算する処理を行い残差信号ce(k)を生成して適応フィルタCに送出する(残差信号出力機能)。
Further, the adding means 37 performs a process of adding the output cy (k) (minus component) input through the adaptive filter C and the delayed audio signal cd (kt) (plus component) (addition processing function). ).
Here, the adding means 34 performs a process of subtracting the output cy (k) from the delayed speech signal cd (kt ) to generate a residual signal ce (k) and send it to the adaptive filter C (residual signal). Output function).
適応フィルタCは、デジタルフィルタCaと、このデジタルフィルタCaのフィルタ係数を決定する係数決定手段Cbを備えている。
デジタルフィルタCaは、マイクロフォン2Rから入力された再生音声データrp( k) に対して、予め設定されたフィルタ係数で畳み込み処理を行い出力cy( k) を生成する。デジタルフィルタCaは、生成した出力cy( k) を加算手段37に出力する( 再生信号補正出力機能) 。
The adaptive filter C includes a digital filter Ca and coefficient determination means Cb that determines the filter coefficient of the digital filter Ca.
The digital filter Ca performs a convolution process on the reproduced audio data rp (k) input from the
係数決定手段Cbは、加算手段37から出力された残差信号ce( k) とマイクロフォン2Rから入力された再生音声データrp( k) に基いて、スピーカ200Rから聴取者5の右耳に到達する音声信号の伝達特性(G22)と逆の逆伝達特性(1/G22:逆特性)を算出し、この逆特性に合わせて、デジタルフィルタCaのフィルタ係数を補正する。この補正は、加算手段37から適応フィルタCに入力される残差信号ce( k) ができるだけ小さくなるように行われる。
これにより、適応フィルタCからの出力cy( k) を遅延音声信号cd( k−t) に近似させる適応処理を行うことが可能となる。
The coefficient determining means Cb reaches the right ear of the
Thereby, it is possible to perform an adaptive process for approximating the output cy (k) from the adaptive filter C to the delayed speech signal cd (kt).
また、補正されたデジタルフィルタCaのフィルタ係数は、適応フィルタCにより、信号補正部42および45に通知される( 同定係数通知機能) 。これにより、信号補正部42および45のフィルタ係数(特性)は、デジタルフィルタCaのフィルタ係数に合わせて設定される( フィルタ係数補正設定機能) 。
The corrected filter coefficient of the digital filter Ca is notified to the
フィルタ特性算出部64は、図17に示すように、少なくとも、加算手段38と、適応フィルタDを含み構成される。
加算手段38は、適応フィルタDからの出力dy(k) とマイクロフォン2Lから入力された再生音声データ(左マイクロフォン入力信号)lp( k) とが入力される。
As shown in FIG. 17, the filter
The
加算手段38は、左マイクロフォン入力信号(プラス成分)lp( k) と出力信号dy(k)(マイナス成分) とを加算する処理を行う(加算処理機能) 。
ここでは、左マイクロフォン入力信号lp(k) から出力信号dy(k) が減算されることにより、残差信号de( k) を生成される。加算手段38は、この残差信号de( k)
を、適応フィルタDに送出する(残差信号出力機能)。
The adding means 38 performs a process of adding the left microphone input signal (plus component) lp (k) and the output signal dy (k) (minus component) (addition processing function).
Here, the residual signal de (k) is generated by subtracting the output signal dy (k) from the left microphone input signal lp (k). The adding means 38 sends the residual signal de (k)
Is sent to the adaptive filter D (residual signal output function).
適応フィルタDは、デジタルフィルタDaと、このデジタルフィルタDaのフィルタ係数を決定する係数決定手段Dbとを有する。
デジタルフィルタDaは、入力されたリアルヘッド収音右信号(DR) に対して予め設定されたフィルタ係数で畳み込み処理を行い、出力dy(k) を生成する。また、デジタルフィルタDaは、生成した出力dy(k) を加算手段38に出力する(収録信号補正出力機能) 。
The adaptive filter D includes a digital filter Da and coefficient determining means Db that determines a filter coefficient of the digital filter Da .
The digital filter Da performs convolution processing on the input real head sound collection right signal (DR) with a preset filter coefficient to generate an output dy (k). The digital filter Da outputs the generated output dy (k) to the adding means 38 (recording signal correction output function).
係数決定手段Dbは、加算手段38から出力された残差信号de( k) とリアルヘッド収音右信号DRとに基いて、スピーカ200Rから聴取者5の左耳に到達するクロストークの伝達特性(G21) を算出し、この伝達特性に合わせて、デジタルフィルタDaのフィルタ係数を補正する。この補正は、加算手段38から入力される残差信号de(k) ができるだけ小さくなるように実行される。これにより、係数決定手段Dbは、出力dy(k) を再生音声データlp(k) に近似させることが可能となる。
The coefficient determining means Db is based on the residual signal de (k) output from the adding means 38 and the real head sound collection right signal DR, and the transfer characteristic of the crosstalk reaching the left ear of the
ここで、補正されたデジタルフィルタDaのフィルタ係数は、適応フィルタDにより、信号補正部44に通知される。これにより、信号補正部44のフィルタ係数(特性) は、適応フィルタD(デジタルフィルタDa)のフィルタ係数に合わせて設定される(フィルタ係数補正設定機能)。
Here, the corrected filter coefficient of the digital filter Da is notified to the
以上のように、再生装置100のフィルタ特性算出部61〜64は、リアルヘッド再生時における各信号補正部41〜46の特性を、再生処理部11からの収録音声および、マイクロフォン2により再生収音された音声に基き動的に同定することができる。
As described above, the filter
また、本実施形態2の再生装置100は、バイノーラル再生が行われ、各フィルタ特性算出部61〜64の同定が安定したところで、同定を打ち切り、この時点で同定されたG12、1/G22、G21、1/G11のフィルタ係数を対応する各信号補正部41〜46の特性としてもよい。
Further, the
また、本実施形態2では、リアルヘッド収録に用いたマイクロフォン2を聴取者5が収録時と同様に装着して、ステレオラウドスピーカからのリアルヘッド収録音声を聴取することにより、ラウドスピーカに供給される信号とラウドスピーカから再生されてマイクロフォンで収音した信号とを用いて、ラウドスピーカと両耳の間のクロストークを動的にキャンセルすることが可能となる。
In the second embodiment, the
これにより、ラウドスピーカによる再生であっても、聴取者の耳道領域にヘッドフォンによる再生時(実施形態1)と等価な再生環境を構築することができる。また、使用するステレオラウドスピーカの変更や、聴取者の聴取位置の変動に対して、特性を動的に追従させて更新することが可能となる。 Thereby, even if it is reproduction | regeneration by a loudspeaker, the reproduction | regeneration environment equivalent to the time of reproduction | regeneration with headphones (Embodiment 1) can be constructed | assembled in a listener's ear canal area | region. In addition, it is possible to update the characteristics dynamically following changes in the stereo loudspeaker to be used and changes in the listening position of the listener.
尚、本実施形態2では、上記の特性同定については、フィルタ特性算出部61、62(
図16) を含む左側と、フィルタ特性算出部63、64( 図17) を含む右側とで別々に説明しているが、リアルヘッド収音された再生音声信号の左右チャンネルの相関が低い場合には、上記同定処理を、左および右側で同時に行う設定としてもよい。
In the second embodiment, the filter
16) and the right side including the filter
尚、本実施形態2では、フィルタ特性算出部61〜64( 図15) におけるフィルタ係数の算出処理に、一般的な適応アルゴリズムであるLMS法(Least Mean Square )や学習同定法(Normalize Least Mean Square )を用いた場合、同定に時間がかかり、聴取者の位置の変化に追従することが困難となる。
そこで、本実施形態2では、上記フィルタ係数の算出処理に、特許第4067269号に開示された高速H ∞フィルタ(FHF:高速算出フィルタ)を用いるものとする。
In the second embodiment, the filter coefficient calculation processing in the filter
Therefore, in the second embodiment, the high-speed H∞ filter (FHF: high-speed calculation filter) disclosed in Japanese Patent No. 4067269 is used for the calculation processing of the filter coefficient.
また、このFHFを用いて一定時間毎に適応フィルタA(1/G11)、B(G12)、C(1/G22)、およびD(G21)のフィルタ係数を算出し、算出されたフィルタ係数を信号補正部41〜46のフィルタ係数として用いることにより、聴取者5が移動することによって各伝達関数が変化した場合でも、聴取者5とスピーカとの位置変動に追従してクロストークキャンセル処理を行うことが可能となる。
Also, the filter coefficients of the adaptive filters A (1 / G11), B (G12), C (1 / G22), and D (G21) are calculated at regular intervals using this FHF, and the calculated filter coefficients are By using it as a filter coefficient of the signal correction units 41 to 46, even when each transfer function changes due to movement of the
本実施形態2では、聴取者の移動に追従してクロストークキャンセル処理が実行されるので、聴取者の左耳に装着されたリアルヘッドマイクで収録された信号は、左スピーカから左耳だけに到達し、右耳に装着されたリアルヘッドマイクで収録された信号は、右スピーカから右耳だけに到達する。このため、リアルヘッド収録された音声信号が、一対のステレオラウドスピーカで再生される場合でも、実施形態1のヘッドフォンによる再生を行う場合と同様に、聴取者の耳道領域で収録現場の音場感が、空間的な拡がりや定位感を損なうことなく忠実に再現される。 In the second embodiment, since the crosstalk cancellation process is executed following the movement of the listener, the signal recorded by the real head microphone attached to the listener's left ear is transmitted only from the left speaker to the left ear. The signal recorded by the real head microphone attached to the right ear reaches only the right ear from the right speaker. For this reason, even when the audio signal recorded by the real head is reproduced by a pair of stereo loudspeakers, the sound field of the recording site in the auditory canal region of the listener is the same as when reproducing by the headphones of the first embodiment. The feeling is faithfully reproduced without losing the spatial spread or orientation.
又、本実施形態2では、特殊な測定用信号を用いることなく逐次同定することが可能となり、リアルヘッド収録されたバイノーラル音声信号をより忠実に聴取者の耳元に再現させることが出来る。更には、再生に使用されるスピーカ及び聴取位置を限定することなく、利用することが可能となる。 Further, in the second embodiment, it is possible to sequentially identify without using a special measurement signal, and the binaural audio signal recorded in the real head can be reproduced more faithfully in the listener's ear. Furthermore, the speaker can be used without limiting the speaker and listening position used for reproduction.
1,100 バイノーラル再生装置
2L,2R マイクロフォン(収音用マイクロフォン)
3L,3R ヘッドフォン(ヘッドフォンスピーカ)
4 録音者
5 聴取者
6 録音デバイス
7 データ記録部
11 再生処理部
12L,12R 補正フィルタ
13L,13R 遅延素子(遅延信号出力手段)
14L,14R 適応フィルタ
15L,15R 加算器(残差検出手段)
200L,200R ラウドスピーカ
50 クロストークキャンセル部
31L,32R 加算処理部
33,36 遅延手段(遅延信号出力手段)
34,35,37,38 加算手段(残差検出手段)
41,42 信号補正部(再生音声補正フィルタ)
43,44,45,46 信号補正フィルタ
61,63 フィルタ特性算出部(再生音声適応フィルタ)
62,64 フィルタ特性算出部
A,B,C,D 適応フィルタ
1,100
3L, 3R headphones (headphone speakers)
4
14L,
200L,
34, 35, 37, 38 Addition means (residual detection means)
41, 42 Signal correction unit (reproduction audio correction filter)
43, 44, 45, 46
62, 64 filter characteristic calculation unit
A, B, C, D Adaptive filter
Claims (8)
前記スピーカで再生され予め聴取者の耳道領域に備えられた前記収音用マイクロフォンにより収音されて成る再生音声信号に対して補正を行う適応フィルタと、
前記補正フィルタから出力される補正後の収録音声信号を取得し予め設定された時間遅延させて出力する遅延信号出力手段と、
前記適応フィルタを介して取得される再生音声信号と前記遅延信号出力手段から出力される収録音声信号との差分を算出し、その差分を前記適応フィルタに送出する残差データ出力機能を備えた加算器とを備え、
前記適応フィルタは、前記収音用マイクロフォンにより収音されて成る再生音声信号と前記差分とに基いて前記スピーカから前記収音用マイクロフォンまでの伝達特性と逆の特性を算出する逆特性同定機能を有すると共に、前記補正フィルタが、前記適応フィルタにて算出された前記特性に基いて前記収録音声信号の補正を行う機能を備え、
更に、前記適応フィルタが、前記加算器から送出される差分に基いて当該差分が最小となるように前記適応フィルタにおける特性を同定するフィルタ特性同定機能を備えていることを特徴とするバイノーラル収音再生システム。 A correction filter that performs a predetermined correction on a recorded audio signal recorded in advance by a microphone for collecting sound and supplies the correction to a speaker;
An adaptive filter that corrects a reproduced audio signal reproduced by the speaker and collected in advance by the sound collecting microphone provided in the auditory canal region of the listener;
A delayed signal output means for acquiring a recorded audio signal after correction output from the correction filter and outputting the signal after a predetermined time delay;
Addition having a residual data output function for calculating a difference between the reproduced audio signal acquired via the adaptive filter and the recorded audio signal output from the delayed signal output means and sending the difference to the adaptive filter Equipped with
The adaptive filter, an inverse characteristic identification function of calculating a transfer characteristic opposite characteristics from the speaker to the sound collecting microphone based on the reproduced audio signal comprising picked up by the sound pickup microphone and said difference And the correction filter has a function of correcting the recorded audio signal based on the characteristic calculated by the adaptive filter,
Furthermore, the adaptive filter is provided with a filter characteristic identification function for identifying a characteristic in the adaptive filter so that the difference is minimized based on the difference sent from the adder. Playback system.
前記スピーカを聴取者の耳に合わせて左耳用および右耳用の2チャンネル設けると共に、当該2チャンネルの各スピーカに対応させて前記収音用マイクロフォン,補正フィルタ,適応フィルタ,遅延信号出力手段,及び加算器をそれぞれ二系統設け、
前記スピーカを前記聴取者の耳道領域に装着されるヘッドフォンスピーカとしたことを特徴とするバイノーラル収音再生システム。 The binaural sound collecting and reproducing system according to claim 1,
The speaker is provided with two channels for the left and right ears in accordance with the listener's ears, and the sound collecting microphone, correction filter, adaptive filter, delay signal output means, corresponding to each speaker of the two channels , And two adders ,
A binaural sound collecting / reproducing system, wherein the speaker is a headphone speaker to be attached to the auditory canal region of the listener.
前記スピーカを聴取者の耳に合わせて左耳用および右耳用の2チャンネル設けると共に、当該2チャンネルの各スピーカに対応させて前記収音用マイクロフォン,補正フィルタ,適応フィルタ,遅延信号出力手段,及び加算器をそれぞれ二系統設け、
前記スピーカを、前記聴取者が空間を介して聴取するための左ラウドスピーカと右ラウドスピーカとにより構成したことを特徴とするバイノーラル収音再生システム。 The binaural sound collecting and reproducing system according to claim 1,
The speaker is provided with two channels for the left and right ears in accordance with the listener's ears, and the sound collecting microphone, correction filter, adaptive filter, delay signal output means, corresponding to each speaker of the two channels , And two adders ,
A binaural sound collecting / reproducing system, wherein the speaker is constituted by a left loudspeaker and a right loudspeaker for the listener to listen through a space.
前記補正フィルタを介して前記左および右ラウドスピーカそれぞれに供給する前記収録音声信号に対して、前記左ラウドスピーカから前記聴取者の右耳に到達する音声および前記右ラウドスピーカから聴取者の左耳に到達する音声をキャンセルする補正を行うクロストークキャンセル部を備え、
前記クロストークキャンセル部が、
前記各左および右ラウドスピーカに対応して、それぞれ、前記スピーカで再生され予め聴取者の耳道領域に備えられた前記収音用マイクロフォンにより収音されて成る再生音声信号に対して補正を行う適応フィルタと、前記補正フィルタから出力される補正後の収録音声信号を取得し予め設定された時間遅延させて出力する遅延信号出力手段と、前記適応フィルタを介して取得される再生音声信号と前記遅延信号出力手段から出力される収録音声信号との差分を算出し、その差分を前記適応フィルタに送出する残差データ出力機能を備えた加算器とを備えると共に、
前記各適応フィルタが、前記収音用マイクロフォンにより収音されて成る再生音声信号と前記差分とに基いて前記スピーカから前記収音用マイクロフォンまでの伝達特性と逆の特性を算出する逆特性同定機能を有し、前記補正フィルタが前記適応フィルタ算出された前記特性に基いて前記収録音声信号の補正を行う機能を備え、
更に、前記各適応フィルタが、前記加算器から送出される差分に基いて当該差分が最小となるように前記適応フィルタにおける特性を同定するフィルタ特性同定機能を備えていることを特徴とするバイノーラル収音再生システム。 A two-channel loudspeaker set to the left and right in advance corresponding to the left and right ears of the listener, and a correction filter for individually performing a predetermined correction for each loudspeaker on the recorded audio signal supplied to each loudspeaker As well as
For the recorded audio signal supplied to each of the left and right loudspeakers via the correction filter, the voice reaching the right ear of the listener from the left loudspeaker and the left ear of the listener from the right loudspeaker It has a crosstalk cancellation part that performs correction to cancel the sound that reaches
The crosstalk cancellation unit
Corresponding to each of the left and right loudspeakers, correction is performed on the reproduced audio signal that is reproduced by the speaker and collected in advance by the sound collecting microphone provided in the auditory canal region of the listener. An adaptive filter, delayed signal output means for acquiring a recorded audio signal after correction output from the correction filter and outputting it after a predetermined time delay, a reproduced audio signal acquired via the adaptive filter, and the An adder having a residual data output function for calculating a difference with the recorded audio signal output from the delayed signal output means and sending the difference to the adaptive filter;
Inverse characteristic identification function for each adaptive filter to calculate a characteristic opposite to the transmission characteristic from the speaker to the sound collecting microphone based on the reproduced sound signal picked up by the sound collecting microphone and the difference. The correction filter has a function of correcting the recorded audio signal based on the characteristics calculated by the adaptive filter,
Furthermore, each adaptive filter has a filter characteristic identification function for identifying a characteristic in the adaptive filter so that the difference is minimized based on the difference sent from the adder. Sound playback system.
前記補正フィルタを介して前記左および右ラウドスピーカそれぞれに供給する前記収録音声信号に対して、前記左ラウドスピーカから前記聴取者の右耳に到達する音声および前記右ラウドスピーカから聴取者の左耳に到達する音声をキャンセルする補正を行うクロストークキャンセル部を備え、
前記クロストークキャンセル部は、
前記収録音声信号に対して、前記左及び右スピーカと前記聴取者の左および右耳それぞれとの間の伝達特性と逆の伝達特性と、前記左および右スピーカと前記聴取者の右および左耳それぞれとの間の伝達特性とを付与する補正を行う再生音声補正フィルタを有し、
更に、前記各ラウドスピーカで再生され予め聴取者の左右の耳道領域に備えられた各収音用マイクロフォンにより収音されて成る再生音声信号と前記収録音声信号とに基き前記再生音声補正フィルタにおける前記伝達特性の算出を行うと共に、前記伝達特性を前記再生音声補正フィルタに設定する再生音声適応フィルタを備えたことを特徴とするバイノーラル収音再生システム。 A two-channel loudspeaker set to the left and right in advance corresponding to the left and right ears of the listener, and a correction filter for individually performing a predetermined correction for each loudspeaker on the recorded audio signal supplied to each loudspeaker As well as
For the recorded audio signal supplied to each of the left and right loudspeakers via the correction filter, the voice reaching the right ear of the listener from the left loudspeaker and the left ear of the listener from the right loudspeaker It has a crosstalk cancellation part that performs correction to cancel the sound that reaches
The crosstalk cancellation unit
For the recorded audio signal, transmission characteristics opposite to the transmission characteristics between the left and right speakers and the left and right ears of the listener, and the left and right speakers and the right and left ears of the listener. A reproduction audio correction filter for performing correction to give a transfer characteristic between them,
Further, in the reproduction sound correction filter based on the reproduction sound signal reproduced by each loudspeaker and collected in advance by each sound pickup microphone provided in the left and right ear canal regions of the listener and the recorded sound signal A binaural sound collecting / reproducing system comprising: a reproduction sound adaptive filter that calculates the transfer characteristic and sets the transfer characteristic in the reproduction sound correction filter.
前記適応フィルタとして当該適応フィルタにおける特性を高速に算出する高速算出フィルタを用いることを特徴としたバイノーラル収音再生システム。 In the binaural sound collecting and reproducing system according to any one of claims 1 to 4,
A binaural sound collecting / reproducing system using a high-speed calculation filter that calculates characteristics of the adaptive filter at high speed as the adaptive filter.
前記再生音声適応フィルタとして当該再生音声適応フィルタにおける各伝達特性を高速に算出する高速算出フィルタを用いることを特徴としたバイノーラル収音再生システム。 In the binaural sound collecting and reproducing system according to claim 5,
A binaural sound collecting and reproducing system using a high-speed calculation filter that calculates each transfer characteristic in the reproduction audio adaptive filter at high speed as the reproduction audio adaptive filter.
前記収音用マイクロフォンは、耳道を塞ぐことなく耳道内に挿入可能なプローブ形状を有することを特徴とするバイノーラル収音再生システム。 The binaural sound collecting and reproducing system according to any one of claims 1 to 7,
The binaural sound collecting / reproducing system, wherein the sound collecting microphone has a probe shape that can be inserted into the ear canal without blocking the ear canal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008167982A JP5520456B2 (en) | 2008-06-26 | 2008-06-26 | Binaural sound collection and playback system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008167982A JP5520456B2 (en) | 2008-06-26 | 2008-06-26 | Binaural sound collection and playback system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010011083A JP2010011083A (en) | 2010-01-14 |
JP5520456B2 true JP5520456B2 (en) | 2014-06-11 |
Family
ID=41591035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008167982A Expired - Fee Related JP5520456B2 (en) | 2008-06-26 | 2008-06-26 | Binaural sound collection and playback system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5520456B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5809805B2 (en) * | 2011-01-14 | 2015-11-11 | 株式会社エー・アール・アイ | Binaural audio playback system and binaural audio playback method |
JP2012151530A (en) * | 2011-01-14 | 2012-08-09 | Ari:Kk | Binaural audio reproduction system and binaural audio reproduction method |
JP6539943B2 (en) * | 2014-02-07 | 2019-07-10 | 日産自動車株式会社 | Method and apparatus for calculating additional volume of vehicle |
JP6903933B2 (en) * | 2017-02-15 | 2021-07-14 | 株式会社Jvcケンウッド | Sound collecting device and sound collecting method |
US11863959B2 (en) * | 2019-04-08 | 2024-01-02 | Harman International Industries, Incorporated | Personalized three-dimensional audio |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3059191B2 (en) * | 1990-05-24 | 2000-07-04 | ローランド株式会社 | Sound image localization device |
JP3805786B2 (en) * | 1994-02-25 | 2006-08-09 | メラー、ヘンリク | Binaural signal synthesis, head related transfer functions and their use |
GB9417185D0 (en) * | 1994-08-25 | 1994-10-12 | Adaptive Audio Ltd | Sounds recording and reproduction systems |
JP2000092589A (en) * | 1998-09-16 | 2000-03-31 | Oki Electric Ind Co Ltd | Earphone and overhead sound image localizing device |
JP4122507B2 (en) * | 1999-03-23 | 2008-07-23 | オンキヨー株式会社 | Crosstalk cancellation apparatus and method |
JP4004704B2 (en) * | 2000-02-24 | 2007-11-07 | アルパイン株式会社 | Delay time setting method |
JP4067269B2 (en) * | 2000-10-24 | 2008-03-26 | 独立行政法人科学技術振興機構 | System identification method |
JP4123376B2 (en) * | 2004-04-27 | 2008-07-23 | ソニー株式会社 | Signal processing apparatus and binaural reproduction method |
-
2008
- 2008-06-26 JP JP2008167982A patent/JP5520456B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010011083A (en) | 2010-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4123376B2 (en) | Signal processing apparatus and binaural reproduction method | |
JP5540581B2 (en) | Audio signal processing apparatus and audio signal processing method | |
KR100644617B1 (en) | Apparatus and method for reproducing 7.1 channel audio | |
KR102754777B1 (en) | Sound reproduction with active noise control in a helmet | |
JP2007510334A (en) | Multi-channel audio surround sound system from front loudspeakers | |
JP2005223713A (en) | Apparatus and method for acoustic reproduction | |
JP2001507879A (en) | Stereo sound expander | |
JP2000138998A (en) | Audio processing unit and audio reproduction method | |
JP5520456B2 (en) | Binaural sound collection and playback system | |
US20100232609A1 (en) | Device, method, program, and system for canceling crosstalk when reproducing sound through plurality of speakers arranged around listener | |
JP2003230198A (en) | Sound image localization control device | |
JP2004506396A (en) | Audio frequency response processing system | |
JPH09327099A (en) | Acoustic reproduction device | |
JP4744695B2 (en) | Virtual sound source device | |
KR100952400B1 (en) | How to remove unwanted loudspeaker signals | |
JP3618159B2 (en) | Sound image localization apparatus and parameter calculation method thereof | |
US7826630B2 (en) | Sound image localization apparatus | |
JP2005223714A (en) | Acoustic reproducing apparatus, acoustic reproducing method and recording medium | |
WO2022009722A1 (en) | Acoustic output device and control method for acoustic output device | |
JP4951985B2 (en) | Audio signal processing apparatus, audio signal processing system, program | |
JP2008502200A (en) | Wide stereo playback method and apparatus | |
JP2944424B2 (en) | Sound reproduction circuit | |
JP2006279863A (en) | Correction method of head-related transfer function | |
JP2008048324A (en) | Automatic panning adjusting apparatus and method | |
JPH06217400A (en) | Acoustic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130806 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130905 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140407 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5520456 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |