JP2024026716A - 信号処理装置及び信号処理方法 - Google Patents
信号処理装置及び信号処理方法 Download PDFInfo
- Publication number
- JP2024026716A JP2024026716A JP2024002391A JP2024002391A JP2024026716A JP 2024026716 A JP2024026716 A JP 2024026716A JP 2024002391 A JP2024002391 A JP 2024002391A JP 2024002391 A JP2024002391 A JP 2024002391A JP 2024026716 A JP2024026716 A JP 2024026716A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- delay
- microphone
- unit
- delayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
- B60R11/0247—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for microphones or earphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2410/00—Microphones
- H04R2410/05—Noise reduction with a separate noise microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
【課題】ターゲットでない混入音を抑圧し、かつ、ターゲットである音声が抑圧されることを防止することができる信号処理装置を提供する。【解決手段】信号処理装置1は、第1のマイクロホン11から出力される第1の信号を取得する第1取得部15と、第2のマイクロホン12から出力される第2の信号を取得する第2取得部16と、第3のマイクロホン13から出力される第3の信号を取得する第3取得部17と、第2の信号を遅延させる遅延部4aと、第3の信号を、第1遅延部が第2の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる遅延部4bと、遅延部4aにより遅延させた第2の信号、及び、遅延部4bにより遅延させた第3の信号に基づいて、第1の信号に混入する第1のノイズを推定する混入音推定部2と、第1のノイズを第1の信号から消去する消去部3とを備える。【選択図】図1
Description
本開示は、信号処理装置及び信号処理方法に関する。
車載機器として、車両内での運転者等の音声を取得する目的で、主に運転席等に収音装置が設けられることが多い。これにより、運転者等が、インフォテインメント等を利用する際に、音声による操作等を行うことができる。例えば、特許文献1には、例えば、運転者等の音声等である、ターゲットである音声に混入した、運転者以外の音声等であるノイズを推定し、抑圧することができる車載収音装置及び収音方法が開示されている。
しかしながら、特許文献1に開示された技術では、ターゲットである音声の一部を消去すると、ターゲットである音声を抑圧してしまうことがあった。
本開示の目的は、ターゲットである音声に混入したノイズを抑圧すること、かつ、ターゲットである音声の抑圧を防止することである。
例えば、本開示にかかる信号処理装置は、車両の運転席に設置される第1のマイクロホンから出力される第1の信号を取得する第1取得部と、前記車両の助手席に設置される第2のマイクロホンから出力される第2の信号を取得する第2取得部と、前記車両の後部座席に設置される第3のマイクロホンから出力される第3の信号を取得する第3取得部と、前記第2の信号を2msec以内の遅延時間で遅延させる第1遅延部と、前記第3の信号を、前記第1遅延部が前記第2の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第2遅延部と、前記第1遅延部により遅延させた前記第2の信号、及び、前記第2遅延部により遅延させた前記第3の信号に基づいて、前記第1の信号に混入する第1のノイズを推定する、混入音推定部と、前記混入音推定部で推定された前記第1のノイズを、前記第1の信号から消去する消去部と、を備える。
また、例えば、本開示にかかる信号処理装置は、車両の運転席に設置される第1のマイクロホンから出力される第1の信号を取得する第1取得部と、前記車両の助手席に設置される第2のマイクロホンから出力される第2の信号を取得する第2取得部と、前記車両の後部座席に設置される第3のマイクロホンから出力される第3の信号を取得する第3取得部と、前記第1の信号を2msec以内の遅延時間で遅延させる第1遅延部と、前記第2の信号を、前記第1遅延部が前記第1の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第2遅延部と、前記第3の信号を前記同一の遅延時間で遅延させる第3遅延部と、前記第2遅延部により遅延させた前記第2の信号、及び、前記第3遅延部により遅延させた前記第3の信号に基づいて、前記第1の信号に混入する第1のノイズを推定し、前記第1遅延部により遅延させた前記第1の信号、及び、前記第3遅延部により遅延させた前記第3の信号に基づいて、前記第2の信号に混入する第2のノイズを推定し、前記第1遅延部により遅延させた前記第1の信号、及び、前記第2遅延部により遅延させた前記第2の信号に基づいて、前記第3の信号に混入する第3のノイズを推定する、混入音推定部と、前記混入音推定部で推定された前記第1のノイズを、前記第1の信号から消去し、前記混入音推定部で推定された前記第2のノイズを、前記第2の信号から消去し、前記混入音推定部で推定された前記第3のノイズを、前記第3の信号から消去する消去部と、を備える。
また、例えば、本開示にかかる信号処理装置は、第1のマイクロホンから出力される第1の信号を取得する第1取得部と、前記第1のマイクロホンと異なる位置に設置される第2のマイクロホンから出力される第2の信号を取得する第2取得部と、前記第1のマイクロホン及び前記第2のマイクロホンと異なる位置に設置される第3のマイクロホンから出力される第3の信号を取得する第2取得部と、前記第1の信号を遅延させる第1遅延部と、前記第2の信号を、前記第1遅延部が前記第1の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第2遅延部と、前記第3の信号を前記同一の遅延時間で遅延させる第3遅延部と、前記第2遅延部により遅延させた前記第2の信号、及び、前記第3遅延部により遅延させた前記第3の信号に基づいて、前記第1の信号に混入する第1のノイズを推定し、前記第1遅延部により遅延させた前記第1の信号、及び、前記第3遅延部により遅延させた前記第3の信号に基づいて、前記第2の信号に混入する第2のノイズを推定し、前記第1遅延部により遅延させた前記第1の信号、及び、前記第2遅延部により遅延させた前記第2の信号に基づいて、前記第3の信号に混入する第3のノイズを推定する、混入音推定部と、前記混入音推定部で推定された前記第1のノイズを、前記第1の信号から消去し、前記混入音推定部で推定された前記第2のノイズを、前記第2の信号から消去し、前記混入音推定部で推定された前記第3のノイズを、前記第3の信号から消去する消去部と、を備える。
また、例えば、本開示にかかる信号処理方法は、車両の運転席に設置される第1のマイクロホンから出力される第1の信号を取得する第1取得ステップと、前記車両の助手席に設置される第2のマイクロホンから出力される第2の信号を取得する第2取得ステップと、前記車両の後部座席に設置される第3のマイクロホンから出力される第3の信号を取得する第3取得ステップと、前記第2の信号を2msec以内の遅延時間で遅延させる第1遅延ステップと、前記第3の信号を、前記第1遅延ステップにより前記第2の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第2遅延ステップと、前記第1遅延ステップにより遅延させた前記第2の信号、及び、前記第2遅延ステップにより遅延させた前記第3の信号に基づいて、前記第1の信号に混入する第1のノイズを推定する、混入音推定ステップと、前記混入音推定ステップで推定された前記第1のノイズを、前記第1の信号から消去する、消去ステップと、を含む。
また、例えば、本開示にかかる信号処理方法は、車両の運転席に設置される第1のマイクロホンから出力される第1の信号を取得する第1取得ステップと、前記車両の助手席に設置される第2のマイクロホンから出力される第2の信号を取得する第2取得ステップと、前記車両の後部座席に設置される第3のマイクロホンから出力される第3の信号を取得する第3取得ステップと、前記第1の信号を2msec以内の遅延時間で遅延させる第1遅延ステップと、前記第2の信号を、前記第1遅延ステップにより前記第1の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第2遅延ステップと、前記第3の信号を前記同一の遅延時間で遅延させる第3遅延ステップと、前記第2遅延ステップにより遅延させた前記第2の信号、及び、前記第3遅延ステップにより遅延させた前記第3の信号に基づいて、前記第1の信号に混入する第1のノイズを推定し、前記第1遅延ステップにより遅延させた前記第1の信号、及び、前記第3遅延ステップにより遅延させた前記第3の信号に基づいて、前記第2の信号に混入する第2のノイズを推定し、前記第1遅延ステップにより遅延させた前記第1の信号、及び、前記第2遅延ステップにより遅延させた前記第2の信号に基づいて、前記第3の信号に混入する第3のノイズを推定する、混入音推定ステップと、前記混入音推定ステップで推定された前記第1のノイズを、前記第1の信号から消去し、前記混入音推定ステップで推定された前記第2のノイズを、前記第2の信号から消去し、前記混入音推定ステップで推定された前記第3のノイズを、前記第3の信号から消去する、消去ステップと、を含む。
また、例えば、本開示にかかる信号処理方法は、第1のマイクロホンから出力される第1の信号を取得する第1取得ステップと、前記第1のマイクロホンと異なる位置に設置される第2のマイクロホンから出力される第2の信号を取得する第2取得ステップと、前記第1のマイクロホン及び前記第2のマイクロホンと異なる位置に設置される第3のマイクロホンから出力される第3の信号を取得する第2取得ステップと、前記第1の信号を遅延させる第1遅延ステップと、前記第2の信号を、前記第1遅延ステップにより前記第1の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第2遅延ステップと、前記第3の信号を前記同一の遅延時間で遅延させる第3遅延ステップと、前記第2遅延ステップにより遅延させた前記第2の信号、及び、前記第3遅延ステップにより遅延させた前記第3の信号に基づいて、前記第1の信号に混入する第1のノイズを推定し、前記第1遅延ステップにより遅延させた前記第1の信号、及び、前記第3遅延ステップにより遅延させた前記第3の信号に基づいて、前記第2の信号に混入する第2のノイズを推定し、前記第1遅延ステップにより遅延させた前記第1の信号、及び、前記第2遅延ステップにより遅延させた前記第2の信号に基づいて、前記第3の信号に混入する第3のノイズを推定する、混入音推定ステップと、前記混入音推定ステップで推定された前記第1のノイズを、前記第1の信号から消去し、前記混入音推定ステップで推定された前記第2のノイズを、前記第2の信号から消去し、前記混入音推定ステップで推定された前記第3のノイズを、前記第3の信号から消去する、消去ステップと、を含む。
本開示にかかる信号処理装置及び信号処理方法は、ターゲットである音声に混入した、ターゲットでない音声等の混入音を抑圧すること、かつ、ターゲットである音声が抑圧されることを防止することができる。
(本開示の基礎となった知見)
従来、ターゲットである音声からノイズを推定するために、ターゲットである音声を取得するマイクロホンと離れた位置に置かれたマイクロホンから取得した信号を用いて、ターゲットである音声を取得するマイクロホンに混入したノイズを推定し、ターゲットである音声に混入したノイズを抑圧する手法が利用されていた。例えば、運転席に設置されたマイクから運転者の音声を取得したい場合に、運転席に設置されたマイクが取得した音声に含まれる運転席以外の座席の搭乗者の音声を特定する必要がある。そのため、運転席以外の座席に設置されたマイクロホンからそれぞれ取得された音声を用いて、運転席に設置されたマイクロホンから取得された音声に混入した運転席以外の座席の搭乗者の音声を特定することが行われていた。ただし、この手法を用いるためには、各座席に設置されているマイクロホン等の収音装置の運転を、各搭乗者の発話のタイミングに合わせて制御することが必要であった。しかし、各座席の搭乗者が発話しているか否かの判定は困難であり、各座席の搭乗者が発話しているか否かについて誤った判断を下して制御を行った場合、ターゲットである音声を抑圧してしまうという問題がある。また、各座席の搭乗者が発話しているか否かについて誤った判断を下して制御を行った場合、ターゲットである音声に混入した、他の搭乗者の音声等のノイズを抑圧する性能が低下するという課題もあった。
従来、ターゲットである音声からノイズを推定するために、ターゲットである音声を取得するマイクロホンと離れた位置に置かれたマイクロホンから取得した信号を用いて、ターゲットである音声を取得するマイクロホンに混入したノイズを推定し、ターゲットである音声に混入したノイズを抑圧する手法が利用されていた。例えば、運転席に設置されたマイクから運転者の音声を取得したい場合に、運転席に設置されたマイクが取得した音声に含まれる運転席以外の座席の搭乗者の音声を特定する必要がある。そのため、運転席以外の座席に設置されたマイクロホンからそれぞれ取得された音声を用いて、運転席に設置されたマイクロホンから取得された音声に混入した運転席以外の座席の搭乗者の音声を特定することが行われていた。ただし、この手法を用いるためには、各座席に設置されているマイクロホン等の収音装置の運転を、各搭乗者の発話のタイミングに合わせて制御することが必要であった。しかし、各座席の搭乗者が発話しているか否かの判定は困難であり、各座席の搭乗者が発話しているか否かについて誤った判断を下して制御を行った場合、ターゲットである音声を抑圧してしまうという問題がある。また、各座席の搭乗者が発話しているか否かについて誤った判断を下して制御を行った場合、ターゲットである音声に混入した、他の搭乗者の音声等のノイズを抑圧する性能が低下するという課題もあった。
そこで、本開示の一態様に係る信号処理装置は、第1のマイクロホンから出力される第1の信号を取得する第1取得部と、前記第1のマイクロホンと異なる位置に設置される第2のマイクロホンから出力される第2の信号を取得する第2取得部と、前記第2の信号を遅延させる遅延部と、前記遅延部により遅延させた前記第2の信号に基づいて、前記第1の信号に混入するノイズを推定する、混入音推定部と、前記混入音推定部で推定された前記ノイズを、前記第1の信号から消去する消去部と、を備えてもよい。
これにより、本開示の一態様に係る信号処理装置は、ターゲットである音声を表す信号を抑圧することなく、ターゲットである音声に混入したノイズである音声を表す信号を抑圧することができる。よって、本開示の一態様における信号処理装置は、ターゲットである音声をより正確に認識することができる。
また、例えば、前記遅延部は、前記第1のマイクロホン及び前記第2のマイクロホンの位置関係に基づいて決定される時間分だけ、前記第2の信号を遅延させてもよい。
これにより、本開示の一態様に係る信号処理装置は、ノイズを表す第2の信号が、ターゲットである音声を表す第1の信号よりも遅く、消去部に到達することを防ぐことができる。よって、本開示の一態様に係る信号処理装置は、既に消去部に到着した第2の信号を用いて、第1の信号を処理することができる。
また、例えば、前記遅延部は、前記第2の信号に含まれる周波数成分に基づいて、前記第2の信号を遅延させてもよい。
これにより、本開示の一態様に係る信号処理装置は、ノイズを表す第2の信号に対して、より適切な遅延時間を設定することができる。よって、本開示の一態様に係る信号処理装置は、より効果的に、ターゲットである音声を表す第1の信号に混入したノイズを抑圧することができる。
また、本開示の一態様に係る信号処理方法は、第1のマイクロホンから出力される第1の信号を取得する第1取得ステップと、前記第1のマイクロホンと異なる位置に設置される第2のマイクロホンから出力される第2の信号を取得する第2取得ステップと、前記第2の信号を遅延させる遅延ステップと、前記遅延ステップにより遅延させた前記第2の信号に基づいて、前記第1の信号に混入するノイズを推定する、混入音推定ステップと、前記混入音推定ステップで推定された前記ノイズを、前記第1の信号から消去する、消去ステップと、を含んでもよい。
これにより、本開示の一態様に係る信号処理方法は、ターゲットである音声を表す信号を抑圧することなく、ターゲットである音声に混入したノイズである音声を表す信号を抑圧することができる。よって、本開示の一態様における信号処理装置は、ターゲットである音声をより正確に認識することができる。
(実施の形態)
以下、実施の形態について、図面を参照しながら具体的に説明する。
以下、実施の形態について、図面を参照しながら具体的に説明する。
図1は、本開示の実施の形態における信号処理装置の構成図である。本開示の実施の形態における信号処理装置1は、マイクロホン11、マイクロホン12、マイクロホン13、マイクロホン14、第1取得部15、第2取得部16、第3取得部17、第4取得部18、遅延部4a、遅延部4b、遅延部4c、適応フィルタ2aと適応フィルタ2bと適応フィルタ2cとを含む混入音推定部2、及び、消去部3から構成される。
マイクロホン11、マイクロホン12、マイクロホン13及びマイクロホン14は、音声等を取得して、信号に変換する。マイクロホンは、ムービングコイル式マイクロホンでもよいし、リボンマイクロホンでもよい。また、マイクロホンは、コンデンサマイクロホンでもよいし、レーザ光学式マイクロホン等でもよい。
第1取得部15は、マイクロホン11と有線または無線で電気的に接続されている。第1取得部15は、マイクロホン11から、マイクロホン11が取得した音声を変換した信号を受信する。第1取得部15は、遅延部を持たない。
第2取得部16は、マイクロホン12と有線または無線で電気的に接続されている。第2取得部16は、マイクロホン12から、マイクロホン12が取得した音声を変換した信号を受信する。
第3取得部17は、マイクロホン13と有線または無線で電気的に接続されている。第3取得部17は、マイクロホン13から、マイクロホン13が取得した音声を変換した信号を受信する。
第4取得部18は、マイクロホン14と有線または無線で電気的に接続されている。第4取得部18は、マイクロホン14から、マイクロホン14が取得した音声を変換した信号を受信する。
第1取得部15、第2取得部16、第3取得部17、第4取得部18、遅延部4a、遅延部4b、遅延部4c、適応フィルタ2aと適応フィルタ2bと適応フィルタ2cとを含む混入音推定部2、及び、消去部3は、プロセッサ及びメモリによって実現される。プロセッサ及びメモリの機能は、クラウドコンピューティングによって提供されるものを利用してもよい。また、第1取得部15、第2取得部16、第3取得部17、第4取得部18、適応フィルタ2a、適応フィルタ2b及び適応フィルタ2cは、それぞれ専用の回路によって実現されてもよい。
遅延部4aは第2取得部16と、遅延部4bは第3取得部17と、遅延部4cは第4取得部18と、それぞれ、有線または無線で電気的に接続されている。遅延部4a、遅延部4b及び遅延部4cは、第2取得部16、第3取得部17及び第4取得部18がそれぞれ取得した第2の信号、第3の信号及び第4の信号を、それぞれ受信し、受信した信号を所定時間遅延させる。ここで、信号を遅延させるとは、遅延部4a、遅延部4b、遅延部4cが受信した信号を、一定時間経ってから、混入音推定部2に送信することを指す。また、例えば、遅延部4a、遅延部4b及び遅延部4cは、信号を所定時間遅延させるための、連続的に接続された複数のメモリによってスタックを実現するメモリ群である。当該メモリ群は、信号を遅延させるために、取得した信号を、First In First Out(FIFO)で出力してもよい。また、例えば、遅延部4a、遅延部4b及び遅延部4cが信号を出力させる時間は、マイクロホン11と、マイクロホン12、マイクロホン13及びマイクロホン14とのそれぞれの距離を音速で除した値以下である。
混入音推定部2は、適応フィルタ2a、適応フィルタ2b及び適応フィルタ2cを備える。混入音推定部2は、遅延部4a、遅延部4b及び遅延部4cと有線または無線で電気的に接続されている。混入音推定部2は、遅延部4a、遅延部4b及び遅延部4cが遅延させた第2の信号、第3の信号及び第4の信号を受信する。混入音推定部2は、第2の信号、第3の信号及び第4の信号に基づいて、第1取得部15が取得した第1の信号に混入したノイズを推定する。
具体的には、混入音推定部2は、消去部3から出力される信号SO(出力信号の一例)が、適応フィルタ2a、適応フィルタ2b及び適応フィルタ2cの入力と無相関または独立となるように、所定の適応アルゴリズムを用いて、適応フィルタ2a、適応フィルタ2b及び適応フィルタ2cのフィルタ係数を補正する。信号SOは、マイクロホン11が取得した信号S1(第1の信号の一例)から混入音信号S2′が減じられた信号である。よって、信号SOが適応フィルタ2aの入力と無相関または独立となるように適応フィルタ2aのフィルタ係数が補正されると、適応フィルタ2aから出力される信号は、信号S1に含まれる、搭乗者P2が発する音声が、搭乗者P1が発生した音声に混入した音である混入音を示す混入音信号S2′を示すことになる。
なお、混入音推定部2は、フィルタ係数の補正処理を定期的に実行してもよいし、マイクロホン12、マイクロホン13及びマイクロホン14が一定レベル以上の信号を取得する都度、実行してもよい。ここで、所定の適応アルゴリズムとしては、LMS(The least-mean-square)アルゴリズム、または、ICA(Independent Component Analisys)アルゴリズム等が採用できる。
適応フィルタ2a、適応フィルタ2b及び適応フィルタ2cは、係数が可変である数学的なフィルタを通して、受信した信号から、必要な信号を取り出す。具体的には、上述した通り、適応フィルタ2a、適応フィルタ2b及び適応フィルタ2cは、随時、計算によって新たな係数を算出し、フィルタに使用する係数を変更することができる。係数の計算には、適応フィルタ2a、適応フィルタ2b及び適応フィルタ2cそれぞれの出力をフィードバックして使用する動的非線形フィードバック制御等を行うことができる。また、適応フィルタ2a、適応フィルタ2b及び適応フィルタ2cは、受信した信号の出力の大きさ(ゲイン)を変更することができる。適応フィルタとしては、LMSフィルタ等が採用できる。
消去部3は、第1取得部15及び混入音推定部2と、有線または無線で電気的に接続されている。消去部3は、第1取得部15が取得した第1の信号における、混入音推定部2が推定したノイズを、抑圧する。
例えば、信号処理装置1において、自動車の運転席にマイクロホン11が、自動車の助手席にマイクロホン12が、自動車の後部座席にマイクロホン13及びマイクロホン14が設置されてもよい。この場合、信号処理装置1は、自動車の運転席の搭乗者(運転者)の音声から、ノイズを抑圧するために作動する。自動車の運転席以外の座席の搭乗者の音声から、ノイズを抑圧するために、上記の構成要素と対称な信号処理システムが自動車に搭載されてもよい。例えば、自動車の助手席の搭乗者の音声からノイズを抑圧するために、自動車の助手席にマイクロホン11が、自動車の運転席にマイクロホン12が、自動車の後部座席にマイクロホン13及びマイクロホン14が設置されてもよい。また、例えば、自動車の左側の後部座席の搭乗者の音声からノイズを抑圧するために、自動車の左側の後部座席にマイクロホン11が、自動車の運転席にマイクロホン12が、自動車の助手席にマイクロホン13が、自動車の右側の後部座席にマイクロホン14が設置されてもよい。また、例えば、自動車の右側の後部座席の搭乗者の音声からノイズを抑圧するために、自動車の右側の後部座席にマイクロホン11が、自動車の運転席にマイクロホン12が、自動車の助手席にマイクロホン13が、自動車の左側の後部座席にマイクロホン14が設置されてもよい。また、これらの対称な信号処理システムは複数設置されてもよい。
マイクロホン11、マイクロホン12、マイクロホン13及びマイクロホン14の、信号処理装置1の他の構成要素との接続関係は、上記に説明したものと同一とする。また、マイクロホン11、マイクロホン12、マイクロホン13及びマイクロホン14の設置場所は、上記に示した場所に限らない。また、マイクロホンが設置される自動車の座席は4つに限らない。4つ以上の場所に4つ以上のマイクロホンが設置されてもよい。例えば、3列シートの乗用車等における6つの座席であってもよいし、6つ以上の数の場所であってもよい。また、マイクロホンの設置場所は3つ以下であってもよい。
また、ここで述べた各構成要素は、信号処理装置1に複数設置されてもよい。
図2は、本開示の実施の形態における信号処理装置の動作を表すフローチャートである。以下では、フローチャートを使って、システム全体の流れを説明する。
まず、信号処理装置1において、第1取得部15及び第2取得部16が、マイクロホン11及びマイクロホン12から、それぞれ第1の信号及び第2の信号を取得する(ステップS101)。このとき、さらに、第3取得部17及び第4取得部18が、マイクロホン13及びマイクロホン14から、それぞれ第3の信号及び第4の信号を取得してもよい。
次に、信号処理装置1において、遅延部4aが、第2取得部16から受信した第2の信号を所定時間遅延させる(ステップS102)。このとき、さらに、遅延部4b及び遅延部4cは、第3取得部17から受信した第3の信号及び第4取得部18から受信した第4の信号を所定時間遅延させてもよい。
遅延部4a、遅延部4b及び遅延部4cが、第2の信号、第3の信号及び第4の信号を遅延させる時間は、すべて同一でもよいし、それぞれ異なってもよい。遅延部4a、遅延部4b及び遅延部4cが、第2の信号、第3の信号及び第4の信号を遅延させる時間は、マイクロホン11と、マイクロホン12、マイクロホン13及びマイクロホン14、とのそれぞれの位置関係から決定されてもよい。ここで、位置関係とは、例えば、マイクロホン11との距離等のことである。例えば、マイクロホン11との距離が長いほど、信号を遅延させる時間を長くしてもよい。
また、遅延部4a、遅延部4b及び遅延部4cが、第2の信号、第3の信号及び第4の信号を遅延させる時間は、第2の信号、第3の信号及び第4の信号それぞれの周波数に応じて、個別に決定されてもよい。例えば、遅延部4aが、周波数解析によって第2の信号の周波数を特定する。そして、遅延部4aは,あらかじめ用意された、周波数に応じた遅延時間を定めたテーブルに基づいて、信号を遅延させる時間を決定してもよい。また、遅延部4aは、同一の信号内でも、周波数成分に応じて、信号を遅延させる時間を決定してもよい。低周波数の信号では、波長が長いため、信号の遅延が有効に作用しにくい。例えば、低周波数の信号を遅延させる時間を一定時間以上に設定すると、第1の信号を抑圧する程度が低減することが実験から判明している。よって、例えば、低周波数成分の信号を遅延させる時間を一定時間以上長く設定し、高周波数成分の信号を遅延させる時間を一定時間より短く設定してもよい。
また、遅延部4a、遅延部4b及び遅延部4cが、第2の信号、第3の信号及び第4の信号を遅延させる時間は、車室内等の温度によって決定されてもよい。
遅延部4a、遅延部4b及び遅延部4cが、第2の信号、第3の信号及び第4の信号を遅延させる時間は、マイクロホン11と、マイクロホン12、マイクロホン13及びマイクロホン14との間を音声が進むのにかかる時間を超えないように、遅延部4a、遅延部4b及び遅延部4cによって設定される。例えば、マイクロホン11と、マイクロホン12との間の距離が1mで、マイクロホン11と、マイクロホン12との間を音声が進むためにかかる時間が3msecである場合、遅延部4aは、第2の信号に、3msec以内の遅延時間を設定する。
続いて、信号処理装置1において、混入音推定部2が、遅延部4aによって遅延させられた第2の信号に基づいて、第1取得部15が取得した第1の信号に混入したノイズを推定する(ステップS103)。このとき、混入音推定部2が、さらに、遅延部4b及び遅延部4cによって遅延させられた第3の信号及び第4の信号に基づいて、第1取得部15が取得した第1の信号に混入したノイズを推定してもよい。
そして、信号処理装置1において、消去部3が、第1の信号において、混入音推定部2によって推定されたノイズを抑圧する(ステップS104)。
次に、図3から図8を用いて信号処理装置1において処理された信号の様子について説明する。
信号処理装置1において、第2取得部16、第3取得部17及び第4取得部18が取得した信号を適切な時間遅延させることによって、第2取得部16、第3取得部17及び第4取得部18から取得された音声等を表す信号に含まれるターゲットとなる音声を表す信号をノイズとして推定することを防止できる。第2取得部16、第3取得部17及び第4取得部18が取得した音声等を表す信号に含まれるターゲットとなる音声を表す信号が、第1取得部15から取得されたターゲットとなる音声を表す信号より遅れて、消去部3に到達する。このため、消去部3が、第2取得部16、第3取得部17及び第4取得部18から取得された音声等の信号に含まれるターゲットとなる音声を表す信号に基づいて、第1取得部15が取得したターゲットとなる音声を抑圧することが起きない。
図3は、本開示の実施の形態における、遅延部が信号を0msec遅延させたときの、運転席に設置されたマイクロホン11から取得された運転者の音声を表す信号の消去部による処理前と処理後の周波数特性を表した図である。線100は、遅延部4aが第2の信号を0msec遅延させたときの、消去部3による処理を施していない第1の信号の周波数特性である。線101は、遅延部4aが第2の信号を0msec遅延させたときの、消去部3による処理を施した第1の信号の周波数特性である。約100Hzから約10000Hzの間にわたって、線101は、線100よりも低い値を示している。つまり、遅延部4aにおいて第2の信号に0msecの遅延を加えたとき、消去部3を作動させると、消去部3が第1の信号を抑圧してしまう。これは、第2の信号に、第1の信号と同じ波形の信号が含まれているため、第2の信号を用いて推定されたノイズを消去することによって、第1の信号が抑圧されてしまうためである。
例えば、運転席に設置されたマイクロホン11によって取得された音声からノイズを抑圧するために、助手席に設置されたマイクロホン12によって取得された音声を用いる場合を考える。運転者が発した音声が、助手席に設置されたマイクロホン12によって取得される音声に、車室内での反射等を経て、混入する。助手席に設置されたマイクロホン12によって取得された音声に混入した運転者の音声に基づいて、運転席に設置されたマイクロホン11によって取得された音声に含まれる運転者の音声が抑圧されてしまう。
図4は、本開示の実施の形態における、遅延部が信号を2msec遅延させたときの、運転席に設置されたマイクロホン11から取得された運転者の音声を表す信号の消去部による処理前と処理後の周波数特性を表した図である。線102は、遅延部4aが第2の信号を2msec遅延させたときの、消去部3による処理を施していない第1の信号の周波数特性である。線103は、遅延部4aが第2の信号に2msec遅延させたときの、適応フィルタ2aによる処理を施した第1の信号の周波数特性である。約100Hzから約10000Hzの間にわたって、線102は、線103よりも低い値を示しているが、図3に示された線100と線101との差よりも、差が縮小している。
つまり、遅延部4aにおいて第2の信号を2msec遅延させたとき、消去部3を作動させると、消去部3が第1の信号を抑圧してしまう量が削減される。これは、第2の信号を2msec遅延させたことによって、第2の信号に含まれる第1の信号と同じ波形の信号が減少したことによる。よって、第2の信号を用いて推定されたノイズを消去することによって、第1の信号が抑圧されてしまうことが、図3で示された場合よりも低減される。
ここで、2msecの遅延は、空気中の音速が約340m/秒であるため、音声が進む距離にして、約60cmから約70cmに相当する。つまり、マイクロホン11及びマイクロホン12が約60cmから約70cm離れて設置されている場合、運転者の音声がマイクロホン12に到達するのにかかる時間が、約2msecである。
例えば、運転席に設置されたマイクロホン11によって取得された音声からノイズを抑圧するために、助手席に設置されたマイクロホン12によって取得された音声を用いる場合を考える。運転者が発した音声が、助手席に設置されたマイクロホン12によって取得される音声に、車室内での反射等を経て、混入する。しかしながら、助手席に設置されたマイクロホン12によって取得された音声を表す信号を2msec遅延させることで、助手席に設置されたマイクロホン12によって取得された音声に含まれる運転者の音声に基づいて、運転席に設置されたマイクロホン11によって取得された音声に含まれる運転者の音声が抑圧される程度が低減される。消去部3が、助手席に設置されたマイクロホン12によって取得された音声に含まれる運転者の音声に基づいて、運転席に設置されたマイクロホン11によって取得された音声に含まれる運転者の音声を抑圧するためには、助手席に設置されたマイクロホン12によって取得された音声が、運転席に設置されたマイクロホン11によって取得された音声よりも先に消去部3に到着していなければならない。しかし、助手席に設置されたマイクロホン12によって取得された音声を遅延させることで、助手席に設置されたマイクロホン12によって取得された音声が、運転席に設置されたマイクロホン11によって取得された音声よりも先に消去部3に到着できなくなる。よって、消去部3が、助手席に設置されたマイクロホン12によって取得された音声に含まれる運転者の音声に基づいて、運転席に設置されたマイクロホン11によって取得された音声に含まれる運転者の音声を抑圧する程度が低減する。
図5は、本開示の実施の形態における、遅延部において信号を6msec遅延させたときの、運転席に設置されたマイクロホン11から取得された運転者の音声を表す信号の消去部による処理前と処理後の周波数特性を表した図である。線104は、第1の信号を6msec遅延させたときの、消去部3による処理を施していない第1の信号の周波数特性である。線105は、第1の信号を6sec遅延させたときの、適応フィルタ2aによる処理を施した第1の信号の周波数特性である。約100Hzから約10000Hzの間にわたって、線104は、線105よりも低い値を示しているが、図4に示された線102と線103との差よりも、線104と線105との差が縮小している。
つまり、遅延部4aにおいて第2の信号を6msec遅延させたとき、消去部3を作動させると、消去部3が第1の信号を抑圧してしまう量が削減される。これは、第2の信号を6msec遅延させたことによって、第2の信号に含まれる第1の信号と同じ波形の信号が減少したことによる。よって、第2の信号を用いて推定されたノイズを消去することによって、第1の信号が抑圧されてしまうことが、図4で示された線102と線103との差よりも低減される。
例えば、運転席に設置されたマイクロホン11によって取得された音声からノイズを抑圧するために、助手席に設置されたマイクロホン12によって取得された音声を用いる場合を考える。運転者が発した音声が、助手席に設置されたマイクロホン12によって取得された音声に、車室内での反射等を経て、混入する。しかしながら、助手席に設置されたマイクロホン12によって取得された音声を表す信号を6msec遅延させることで、助手席に設置されたマイクロホン12によって取得された音声に含まれる運転者の音声に基づいて、運転席に設置されたマイクロホン11によって取得された音声に含まれる運転者の音声が抑圧される程度が、2msec遅延させたときよりも、さらに低減される。
図3、図4及び図5から分かるように、ターゲットとなる音声を表す信号は、遅延部において遅延させることで、抑圧される程度が低減される。
図6は、本開示の実施の形態における、遅延部において信号を0msec遅延させたときの、運転席に設置されたマイクロホン11から取得された助手席の搭乗者の音声を表す信号の消去部による処理前と処理後の周波数特性を表した図である。線106は、第1の信号を0msec遅延させたときの、消去部3による処理を施していない第1の信号の周波数特性である。線107は、第1の信号を0msec遅延させたときの、適応フィルタ2aによる処理を施した第1の信号の周波数特性である。約100Hzから約10000Hzの間にわたって、線104は、線105よりも20dBほど低い値を示している。つまり、運転席に設置されたマイクロホン11に混入した助手席の搭乗者の音声が抑圧されている。
例えば、運転席に設置されたマイクロホン11によって取得された音声からノイズを抑圧するために、助手席に設置されたマイクロホン12によって取得された音声を用いる場合を考える。助手席の搭乗者が発した音声が、運転席に設置されたマイクロホン11によって取得された音声に、直接的に、または、車室内での反射等を経て、混入する。この混入したノイズを、助手席に設置されたマイクロホン12によって取得された音声の信号の波形を用いて推定することによって、運転席に設置されたマイクロホン11によって取得された音声からノイズを取り除く。図6に示されるように、助手席に設置されたマイクロホン12によって取得された音声を表す信号を0msec遅延させた場合、運転席に設置されたマイクロホン11によって取得された音声は、約20dB抑圧される。
図7は、本開示の実施の形態における、遅延部において信号を2msec遅延させたときの、運転席に設置されたマイクロホン11から取得された助手席の搭乗者の音声を表す信号の消去部による処理前と処理後の周波数特性を表した図である。線108は、第1の信号を2msec遅延させたときの、消去部3による処理を施していない第1の信号の周波数特性である。線109は、第1の信号に2msecの遅延を加えたときの、適応フィルタ2aによる処理を施した第1の信号の周波数特性である。約100Hzから約10000Hzの間にわたって、線108は、線109よりも低い値を示している。しかしながら、図6に示された第1の信号の抑圧量よりも、図7に示された第1の信号の抑圧量が低減している。
例えば、運転席に設置されたマイクロホン11によって取得された音声からノイズを抑圧するために、助手席に設置されたマイクロホン12によって取得された音声を用いる場合を考える。上述したように、助手席の搭乗者が発した音声が、運転席に設置されたマイクロホン11によって取得された音声に、直接的に、または、車室内での反射等を経て、混入する。この混入したノイズを、助手席に設置されたマイクロホン12によって取得された音声の信号の波形を用いて推定することによって、運転席に設置されたマイクロホン11によって取得された音声からノイズを取り除く。図7に示されるように、助手席に設置されたマイクロホン12によって取得された音声を表す信号を2msec遅延させた場合、助手席に設置されたマイクロホン12によって取得された音声を表す信号を0msec遅延させた場合に比べて、運転席に設置されたマイクロホン11によって取得された音声が抑圧される程度が低減する。運転席に設置されたマイクロホン11から取得された音声に混入した助手席の搭乗者の音声をノイズとして推定し、運転席に設置されたマイクロホン11から取得された音声から抑圧するという観点からは、助手席に設置されたマイクロホン12から取得された音声を表す信号を遅延させない方が望ましい。
図8は、本開示の実施の形態における、遅延部において信号を6msec遅延させたときの、運転席に設置されたマイクロホン11から取得された助手席の搭乗者の音声を表す信号の消去部による処理前と処理後の周波数特性を表した図である。線110は、第1の信号に6msecの遅延を加えたときの、消去部3による処理を施していない第1の信号の周波数特性である。線111は、第1の信号を6msec遅延させたときの、適応フィルタ2aによる処理を施した第1の信号の周波数特性である。約100Hzから約10000Hzの間にわたって、線110は、線111よりも低い値を示している。しかしながら、図7に示された抑圧量よりも、図8で示された抑圧量が低減している。
例えば、運転席に設置されたマイクロホン11によって取得された音声からノイズを抑圧するために、助手席に設置されたマイクロホン12によって取得された音声を用いる場合を考える。上述したように、助手席の搭乗者が発した音声が、運転席に設置されたマイクロホン11によって取得された音声に、直接的に、または、車室内での反射等を経て、混入する。この混入したノイズを、助手席に設置されたマイクロホン12によって取得された音声の信号の波形を用いて推定することによって、運転席に設置されたマイクロホン11によって取得された音声からノイズを取り除く。図7に示されるように、助手席に設置されたマイクロホン12によって取得された音声を表す信号を6msec遅延させた場合、助手席に設置されたマイクロホン12によって取得された音声を表す信号を0msec遅延させた場合及び助手席に設置されたマイクロホン12によって取得された音声を表す信号を2msec遅延させた場合に比べて、運転席に設置されたマイクロホン11によって取得された音声が抑圧される程度が低減する。運転席に設置されたマイクロホン11から取得された音声に混入した助手席の搭乗者の音声をノイズとして推定し、運転席に設置されたマイクロホン11から取得された音声からノイズを抑圧するという観点からは、助手席に設置されたマイクロホン12から取得された音声を表す信号を遅延させない方が望ましい。
図6、図7及び図8から分かるように、ノイズである音声を表す信号は、遅延部4aにおいて遅延させることで、抑圧される程度が低減されてしまう。よって、ノイズである音声を表す信号を抑圧するためには、遅延部4aにおいて、所定時間より遅延させない方が望ましい。
逆に、図3、図4及び図5に示されるように、ターゲットである音声を抑圧しないようにするには、所定時間以上、信号を遅延させる方が望ましい。ただし、前述のように、信号を遅延させる時間は、マイクロホン11と、マイクロホン12、マイクロホン13及びマイクロホン14との間を音声が進むのにかかる時間を超えないように、遅延部4a、遅延部4b及び遅延部4cによって設定される。
遅延部4a、遅延部4b及び遅延部4cによって設定される信号の遅延時間は、図3から図8に示されるような、信号処理装置1における音声の抑圧の傾向に基づいて、決定されてもよい。
(変形例)
上記の信号処理装置1は、発話者の音声を認識し、他言語に翻訳して出力する翻訳システム20にも適用できる。図9は、本開示の変形例における、信号処理システムを適用した翻訳システムの図である。図9に示されるように、翻訳システム20は、マイクロホン21a、マイクロホン21b、第1取得部25、第2取得部26、適応フィルタ22を含む遅延部24及び消去部23から構成される。翻訳システム20は、さらに、ノイズが抑圧された音声を認識して翻訳を行う情報処理部、及び、翻訳結果を出力する出力部を備えていてもよい。
上記の信号処理装置1は、発話者の音声を認識し、他言語に翻訳して出力する翻訳システム20にも適用できる。図9は、本開示の変形例における、信号処理システムを適用した翻訳システムの図である。図9に示されるように、翻訳システム20は、マイクロホン21a、マイクロホン21b、第1取得部25、第2取得部26、適応フィルタ22を含む遅延部24及び消去部23から構成される。翻訳システム20は、さらに、ノイズが抑圧された音声を認識して翻訳を行う情報処理部、及び、翻訳結果を出力する出力部を備えていてもよい。
第1取得部25は、マイクロホン21aと有線または無線で電気的に接続されている。第1取得部25は、マイクロホン21aから、音声等の第1の信号を取得する。第1取得部25は、マイクロホン21aから、マイクロホン21aが取得した音声を変換した信号を受信する。
第2取得部26は、マイクロホン21bと有線または無線で電気的に接続されている。第2取得部26は、マイクロホン21bから、音声等の第2の信号を取得する。第2取得部26は、マイクロホン21bから、マイクロホン21bが取得した音声を変換した信号を受信する。
第1取得部25、第2取得部26、適応フィルタ22を含む遅延部24及び消去部23は、プロセッサ及びメモリによって実現される。プロセッサ及びメモリの機能は、クラウドコンピューティングによって提供されるものを利用してもよい。また、第1取得部25、第2取得部26及び適応フィルタ22は、それぞれ専用の回路によって実現されてもよい。
遅延部24は、第2取得部26と、有線または無線で電気的に接続されている。遅延部24は、第2取得部26が取得した第5の信号を受信し、受信した信号を所定時間遅延させる。
適応フィルタ22は、遅延部24と有線または無線で電気的に接続されている。適応フィルタ22は、遅延部24が遅延させた第5の信号を受信する。適応フィルタ22は、第5の信号に基づいて、第1取得部25が取得した第5の信号に混入したノイズを推定する。
適応フィルタ22は、係数が可変である数学的なフィルタを通して、受信した信号から、必要な信号を取り出す。適応フィルタ22は、随時、計算によって新たな係数を算出し、フィルタに使用する係数を変更することができる。
消去部23は、第1取得部25と、適応フィルタ22と、有線または無線で電気的に接続されている。消去部23は、適応フィルタ22が推定したノイズを、第1取得部25が取得した第5の信号から抑圧する。
本開示の変形例における翻訳システム20は、人物30a及び人物30bが対面で使用することが想定されている。翻訳システム20において、人物30aが発した音声を、マイクロホン21aを通じて第1取得部25が取得する。また、翻訳システム20において、人物30bが発した音声を、マイクロホン21bを通じて第2取得部26が取得する。第2取得部26が取得した音声信号は、遅延部24で一定時間遅延させられ、適応フィルタ22で処理される。そして、適応フィルタ22で推定されたノイズの情報が消去部23に到着する。消去部23は、第1取得部25が取得した音声信号から、適応フィルタ22で推定されたノイズを抑圧する。
ノイズが抑圧された音声信号に対して、翻訳処理が行われ、翻訳結果が出力される。以上のようにして、翻訳システム20は、人物30aの発した音声から人物30bの発した音声等のノイズを抑圧することができる。なお、翻訳システム20に含まれる各構成要素の数は、上記に示したものより増やされてもよい。本開示の変形例における翻訳システム20では、2人の人物が使用することが想定されているが、使用する人数は2人に限らない。本開示の変形例における翻訳システム20は、3人以上で使用されうる構成であってもよい。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以上、信号処理装置1及び信号処理方法について、実施の形態に基づいて説明したが、信号処理システム及び信号処理方法は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、車載収音システムまたは翻訳システムに適用可能である。
1 信号処理装置
2 混入音推定部
2a、2b、2c、22 適応フィルタ
3、23 消去部
4a、4b、4c、24 遅延部
11、12、13、14、21a、21b マイクロホン
15、25 第1取得部
16、26 第2取得部
17 第3取得部
18 第4取得部
20 翻訳システム
30a、30b 人物
100、101、102、103、104、105、106、107、108、109、110、111 線
2 混入音推定部
2a、2b、2c、22 適応フィルタ
3、23 消去部
4a、4b、4c、24 遅延部
11、12、13、14、21a、21b マイクロホン
15、25 第1取得部
16、26 第2取得部
17 第3取得部
18 第4取得部
20 翻訳システム
30a、30b 人物
100、101、102、103、104、105、106、107、108、109、110、111 線
Claims (8)
- 車両の運転席に設置される第1のマイクロホンから出力される第1の信号を取得する第1取得部と、
前記車両の助手席に設置される第2のマイクロホンから出力される第2の信号を取得する第2取得部と、
前記車両の後部座席に設置される第3のマイクロホンから出力される第3の信号を取得する第3取得部と、
前記第2の信号を2msec以内の遅延時間で遅延させる第1遅延部と、
前記第3の信号を、前記第1遅延部が前記第2の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第2遅延部と、
前記第1遅延部により遅延させた前記第2の信号、及び、前記第2遅延部により遅延させた前記第3の信号に基づいて、前記第1の信号に混入する第1のノイズを推定する、混入音推定部と、
前記混入音推定部で推定された前記第1のノイズを、前記第1の信号から消去する消去部と、を備える、
信号処理装置。 - さらに、前記第1の信号を前記同一の遅延時間で遅延させる第3遅延部を備え、
前記混入音推定部は、前記第3遅延部により遅延させた前記第1の信号、及び、前記第2遅延部により遅延させた前記第3の信号に基づいて、前記第2の信号に混入する第2のノイズを推定し、
前記消去部は、前記混入音推定部で推定された前記第2のノイズを、前記第2の信号から消去する、
請求項1に記載の信号処理装置。 - 前記混入音推定部は、前記第3遅延部により遅延させた前記第1の信号、及び、前記第1遅延部により遅延させた前記第2の信号に基づいて、前記第3の信号に混入する第3のノイズを推定し、
前記消去部は、前記混入音推定部で推定された前記第3のノイズを、前記第3の信号から消去する、
請求項2に記載の信号処理装置。 - 車両の運転席に設置される第1のマイクロホンから出力される第1の信号を取得する第1取得部と、
前記車両の助手席に設置される第2のマイクロホンから出力される第2の信号を取得する第2取得部と、
前記車両の後部座席に設置される第3のマイクロホンから出力される第3の信号を取得する第3取得部と、
前記第1の信号を2msec以内の遅延時間で遅延させる第1遅延部と、
前記第2の信号を、前記第1遅延部が前記第1の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第2遅延部と、
前記第3の信号を前記同一の遅延時間で遅延させる第3遅延部と、
前記第2遅延部により遅延させた前記第2の信号、及び、前記第3遅延部により遅延させた前記第3の信号に基づいて、前記第1の信号に混入する第1のノイズを推定し、前記第1遅延部により遅延させた前記第1の信号、及び、前記第3遅延部により遅延させた前記第3の信号に基づいて、前記第2の信号に混入する第2のノイズを推定し、前記第1遅延部により遅延させた前記第1の信号、及び、前記第2遅延部により遅延させた前記第2の信号に基づいて、前記第3の信号に混入する第3のノイズを推定する、混入音推定部と、
前記混入音推定部で推定された前記第1のノイズを、前記第1の信号から消去し、前記混入音推定部で推定された前記第2のノイズを、前記第2の信号から消去し、前記混入音推定部で推定された前記第3のノイズを、前記第3の信号から消去する消去部と、を備える、
信号処理装置。 - 第1のマイクロホンから出力される第1の信号を取得する第1取得部と、
前記第1のマイクロホンと異なる位置に設置される第2のマイクロホンから出力される第2の信号を取得する第2取得部と、
前記第1のマイクロホン及び前記第2のマイクロホンと異なる位置に設置される第3のマイクロホンから出力される第3の信号を取得する第2取得部と、
前記第1の信号を遅延させる第1遅延部と、
前記第2の信号を、前記第1遅延部が前記第1の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第2遅延部と、
前記第3の信号を前記同一の遅延時間で遅延させる第3遅延部と、
前記第2遅延部により遅延させた前記第2の信号、及び、前記第3遅延部により遅延させた前記第3の信号に基づいて、前記第1の信号に混入する第1のノイズを推定し、前記第1遅延部により遅延させた前記第1の信号、及び、前記第3遅延部により遅延させた前記第3の信号に基づいて、前記第2の信号に混入する第2のノイズを推定し、前記第1遅延部により遅延させた前記第1の信号、及び、前記第2遅延部により遅延させた前記第2の信号に基づいて、前記第3の信号に混入する第3のノイズを推定する、混入音推定部と、
前記混入音推定部で推定された前記第1のノイズを、前記第1の信号から消去し、前記混入音推定部で推定された前記第2のノイズを、前記第2の信号から消去し、前記混入音推定部で推定された前記第3のノイズを、前記第3の信号から消去する消去部と、を備える、
信号処理装置。 - 車両の運転席に設置される第1のマイクロホンから出力される第1の信号を取得する第1取得ステップと、
前記車両の助手席に設置される第2のマイクロホンから出力される第2の信号を取得する第2取得ステップと、
前記車両の後部座席に設置される第3のマイクロホンから出力される第3の信号を取得する第3取得ステップと、
前記第2の信号を2msec以内の遅延時間で遅延させる第1遅延ステップと、
前記第3の信号を、前記第1遅延ステップにより前記第2の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第2遅延ステップと、
前記第1遅延ステップにより遅延させた前記第2の信号、及び、前記第2遅延ステップにより遅延させた前記第3の信号に基づいて、前記第1の信号に混入する第1のノイズを推定する、混入音推定ステップと、
前記混入音推定ステップで推定された前記第1のノイズを、前記第1の信号から消去する、消去ステップと、を含む、
信号処理方法。 - 車両の運転席に設置される第1のマイクロホンから出力される第1の信号を取得する第1取得ステップと、
前記車両の助手席に設置される第2のマイクロホンから出力される第2の信号を取得する第2取得ステップと、
前記車両の後部座席に設置される第3のマイクロホンから出力される第3の信号を取得する第3取得ステップと、
前記第1の信号を2msec以内の遅延時間で遅延させる第1遅延ステップと、
前記第2の信号を、前記第1遅延ステップにより前記第1の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第2遅延ステップと、
前記第3の信号を前記同一の遅延時間で遅延させる第3遅延ステップと、
前記第2遅延ステップにより遅延させた前記第2の信号、及び、前記第3遅延ステップにより遅延させた前記第3の信号に基づいて、前記第1の信号に混入する第1のノイズを推定し、前記第1遅延ステップにより遅延させた前記第1の信号、及び、前記第3遅延ステップにより遅延させた前記第3の信号に基づいて、前記第2の信号に混入する第2のノイズを推定し、前記第1遅延ステップにより遅延させた前記第1の信号、及び、前記第2遅延ステップにより遅延させた前記第2の信号に基づいて、前記第3の信号に混入する第3のノイズを推定する、混入音推定ステップと、
前記混入音推定ステップで推定された前記第1のノイズを、前記第1の信号から消去し、前記混入音推定ステップで推定された前記第2のノイズを、前記第2の信号から消去し、前記混入音推定ステップで推定された前記第3のノイズを、前記第3の信号から消去する、消去ステップと、を含む、
信号処理方法。 - 第1のマイクロホンから出力される第1の信号を取得する第1取得ステップと、
前記第1のマイクロホンと異なる位置に設置される第2のマイクロホンから出力される第2の信号を取得する第2取得ステップと、
前記第1のマイクロホン及び前記第2のマイクロホンと異なる位置に設置される第3のマイクロホンから出力される第3の信号を取得する第2取得ステップと、
前記第1の信号を遅延させる第1遅延ステップと、
前記第2の信号を、前記第1遅延ステップにより前記第1の信号を遅延させる遅延時間と同一の遅延時間で、遅延させる第2遅延ステップと、
前記第3の信号を前記同一の遅延時間で遅延させる第3遅延ステップと、
前記第2遅延ステップにより遅延させた前記第2の信号、及び、前記第3遅延ステップにより遅延させた前記第3の信号に基づいて、前記第1の信号に混入する第1のノイズを推定し、前記第1遅延ステップにより遅延させた前記第1の信号、及び、前記第3遅延ステップにより遅延させた前記第3の信号に基づいて、前記第2の信号に混入する第2のノイズを推定し、前記第1遅延ステップにより遅延させた前記第1の信号、及び、前記第2遅延ステップにより遅延させた前記第2の信号に基づいて、前記第3の信号に混入する第3のノイズを推定する、混入音推定ステップと、
前記混入音推定ステップで推定された前記第1のノイズを、前記第1の信号から消去し、前記混入音推定ステップで推定された前記第2のノイズを、前記第2の信号から消去し、前記混入音推定ステップで推定された前記第3のノイズを、前記第3の信号から消去する、消去ステップと、を含む、
信号処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024002391A JP2024026716A (ja) | 2019-03-06 | 2024-01-11 | 信号処理装置及び信号処理方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019040131A JP7628388B2 (ja) | 2019-03-06 | 2019-03-06 | 信号処理装置及び信号処理方法 |
JP2024002391A JP2024026716A (ja) | 2019-03-06 | 2024-01-11 | 信号処理装置及び信号処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019040131A Division JP7628388B2 (ja) | 2019-03-06 | 2019-03-06 | 信号処理装置及び信号処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024026716A true JP2024026716A (ja) | 2024-02-28 |
Family
ID=69845074
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019040131A Active JP7628388B2 (ja) | 2019-03-06 | 2019-03-06 | 信号処理装置及び信号処理方法 |
JP2024002391A Pending JP2024026716A (ja) | 2019-03-06 | 2024-01-11 | 信号処理装置及び信号処理方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019040131A Active JP7628388B2 (ja) | 2019-03-06 | 2019-03-06 | 信号処理装置及び信号処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11323802B2 (ja) |
EP (1) | EP3706124A1 (ja) |
JP (2) | JP7628388B2 (ja) |
CN (1) | CN111667845B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD691112S1 (en) * | 2012-01-09 | 2013-10-08 | Beats Electronics, Llc | Gaming headset |
CN114464203B (zh) * | 2022-01-18 | 2022-10-25 | 小米汽车科技有限公司 | 噪声过滤方法、装置、系统、车辆及存储介质 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3301445B2 (ja) * | 1992-08-25 | 2002-07-15 | ソニー株式会社 | 音声入力装置 |
US7146013B1 (en) * | 1999-04-28 | 2006-12-05 | Alpine Electronics, Inc. | Microphone system |
US6584203B2 (en) * | 2001-07-18 | 2003-06-24 | Agere Systems Inc. | Second-order adaptive differential microphone array |
FR2898209B1 (fr) * | 2006-03-01 | 2008-12-12 | Parrot Sa | Procede de debruitage d'un signal audio |
EP1994788B1 (en) * | 2006-03-10 | 2014-05-07 | MH Acoustics, LLC | Noise-reducing directional microphone array |
JP2008022515A (ja) * | 2006-06-14 | 2008-01-31 | Matsushita Electric Works Ltd | 通話装置 |
US7983428B2 (en) * | 2007-05-09 | 2011-07-19 | Motorola Mobility, Inc. | Noise reduction on wireless headset input via dual channel calibration within mobile phone |
US9473850B2 (en) * | 2007-07-19 | 2016-10-18 | Alon Konchitsky | Voice signals improvements in compressed wireless communications systems |
FR2976111B1 (fr) | 2011-06-01 | 2013-07-05 | Parrot | Equipement audio comprenant des moyens de debruitage d'un signal de parole par filtrage a delai fractionnaire, notamment pour un systeme de telephonie "mains libres" |
JP5862349B2 (ja) * | 2012-02-16 | 2016-02-16 | 株式会社Jvcケンウッド | ノイズ低減装置、音声入力装置、無線通信装置、およびノイズ低減方法 |
EP2848007B1 (en) * | 2012-10-15 | 2021-03-17 | MH Acoustics, LLC | Noise-reducing directional microphone array |
JP6198432B2 (ja) | 2013-04-09 | 2017-09-20 | 小島プレス工業株式会社 | 音声認識制御装置 |
WO2016114988A2 (en) * | 2015-01-12 | 2016-07-21 | Mh Acoustics, Llc | Reverberation suppression using multiple beamformers |
US10028051B2 (en) * | 2015-08-31 | 2018-07-17 | Panasonic Intellectual Property Management Co., Ltd. | Sound source localization apparatus |
JP2017083600A (ja) * | 2015-10-27 | 2017-05-18 | パナソニックIpマネジメント株式会社 | 車載収音装置及び収音方法 |
JP6670224B2 (ja) * | 2016-11-14 | 2020-03-18 | 株式会社日立製作所 | 音声信号処理システム |
-
2019
- 2019-03-06 JP JP2019040131A patent/JP7628388B2/ja active Active
-
2020
- 2020-02-25 EP EP20159300.1A patent/EP3706124A1/en not_active Ceased
- 2020-03-02 US US16/806,190 patent/US11323802B2/en active Active
- 2020-03-03 CN CN202010138125.6A patent/CN111667845B/zh active Active
-
2024
- 2024-01-11 JP JP2024002391A patent/JP2024026716A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
CN111667845B (zh) | 2025-02-25 |
JP7628388B2 (ja) | 2025-02-10 |
CN111667845A (zh) | 2020-09-15 |
US20200288239A1 (en) | 2020-09-10 |
US11323802B2 (en) | 2022-05-03 |
EP3706124A1 (en) | 2020-09-09 |
JP2020144204A (ja) | 2020-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3346683B1 (en) | System and method for echo supression for in-car communication | |
US20140112496A1 (en) | Microphone placement for noise cancellation in vehicles | |
JP5694063B2 (ja) | 車両用キャビンのための屋内通信システム | |
EP3188181B1 (en) | Active noise-control system with source-separated reference signal | |
JP4283212B2 (ja) | 雑音除去装置、雑音除去プログラム、及び雑音除去方法 | |
US8705753B2 (en) | System for processing sound signals in a vehicle multimedia system | |
JP2024026716A (ja) | 信号処理装置及び信号処理方法 | |
US8165310B2 (en) | Dereverberation and feedback compensation system | |
EP2850611B1 (en) | Noise dependent signal processing for in-car communication systems with multiple acoustic zones | |
EP2859772B1 (en) | Wind noise detection for in-car communication systems with multiple acoustic zones | |
CN108235187B (zh) | 啸声抑制设备和啸声抑制方法 | |
US11089404B2 (en) | Sound processing apparatus and sound processing method | |
CN108550370B (zh) | 用于车内通信的反馈控制的系统和方法 | |
WO2016103709A1 (ja) | 音声処理装置 | |
EP2490218B1 (en) | Method for interference suppression | |
JP2005514668A (ja) | スペクトル出力比依存のプロセッサを有する音声向上システム | |
JP2020134566A (ja) | 音声処理システム、音声処理装置及び音声処理方法 | |
CN113519169B (zh) | 用于音频啸叫衰减的方法和装置 | |
JP6388256B2 (ja) | 車両用通話システム | |
Freudenberger et al. | Noise and feedback suppression for in-car communication systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20250305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250319 |