JP6409378B2 - 音声通信装置およびプログラム - Google Patents

Description

本発明は、利用者間で音声を授受する音声通信技術に関する。

利用者が発声した会話音等の音声を示す音響信号を複数の利用者間で通信網を介して送受信する音声通信装置において、収音機器が収音した音響信号から雑音成分を抑圧する技術が従来から提供されている。例えば特許文献１には、音響信号から推定される雑音成分のスペクトル（推定雑音スペクトル）を音響信号から除去する技術が開示されている。特許文献１の技術では、音響信号における音声成分の有無に応じた推定雑音スペクトルと音声成分の有無とは無関係に推定された推定雑音スペクトルとから最終的な推定雑音スペクトルを生成して音響信号から除去する。

特開２０１０−１０２２０４号公報

特許文献１のような高度な雑音抑圧技術を利用すれば、音響信号に包含される雑音成分を非常に高精度に抑圧して通話相手の音声通信装置に送信することが可能である。しかし、発話者の周囲に存在する音響（以下「環境音」という）を含む雑音成分が過度に高精度に除去されると、発話者の周囲の環境音を通話相手に伝達できないという問題がある。以上の事情を考慮して、利用者の周囲の環境音を通話相手に適切に伝達することを目的とする。

以上の課題を解決するために、本発明に係る音声通信装置は、通話相手の通信装置から送信された受話信号を受信する受信部と、前記受信部が受信した前記受話信号に応じた音響を放音する放音部と、目的音と環境音とを含む音響を収音して収音信号を生成する収音部と、前記収音部が生成した前記収音信号のうち前記目的音成分を強調した第１音響信号を生成する第１信号処理部と、前記収音部が生成した前記収音信号のうち前記環境音成分を強調した第２音響信号を生成する第２信号処理部と、前記受信部が受信した前記受話信号のレベルに応じて前記第２音響信号のレベルを制御する制御部と、前記第１音響信号と前記第２音響信号とを送信する送信部とを具備する。以上の構成では、収音部が生成した収音信号のうち目的音成分を強調した第１音響信号と環境音成分を強調した第２音響信号とが通話相手の通信装置に送信される。したがって、利用者の周囲の環境音を通話相手に適切に伝達することが可能である。なお、目的音とは、収音の目的となる音響であり、具体的には音声通信装置の利用者の発声音である。他方、環境音とは、目的音以外の音響であり、音声通信装置の利用者の周囲に存在する音響（人混みでの雑踏音や空調設備の動作音等）と、放音部から放射されて収音部に収音される帰還音とを含む。帰還音は、例えば、通話相手の通信装置から送信されて放音部から放射された通話相手の発声音である。

ところで、受話信号に包含される通話相手の音声は、放音部から収音部に到達する帰還音として環境音に包含されるから、例えば受話信号のレベルに関わらず第２音響信号のレベルが維持される構成では、利用者の音声通信装置と通話相手の音声通信装置との間で通話相手の利用者の音声が循環し、結果的にハウリングを発生させる原因となり得る。以上の事情を考慮して、本発明の好適な態様における前記制御部は、前記受話信号のレベルが高いほど前記第２音響信号のレベルが低下するように前記第２音響信号のレベルを制御する。以上の態様では、受話信号のレベルが高いほど第２音響信号のレベルが低下するように第２音響信号のレベルが制御されるから、受話信号のレベルに関わらず第２音響信号のレベルが維持される構成と比較してハウリングを有効に防止できるという利点がある。

本発明の好適な態様において、前記制御部は、前記受話信号のレベルが閾値を上回る場合に、前記第２音響信号のレベルが低下するように前記第２音響信号のレベルを制御する。以上の態様では、受話信号のレベルが閾値を上回る場合に第２音響信号のレベルが低下するように第２音響信号のレベルが制御されるから、受話信号のレベルに関わらず第２音響信号のレベルを受話信号のレベルに連動させる構成と比較して、適切に環境音が伝達されるという利点がある。

本発明の好適な態様において、前記制御部は、前記受話信号を音声区間と前記音声区間以外の挿入区間とに区分し、前記挿入区間において、前記受話信号のレベルに対する前記第２音響信号のレベルの変動が前記音声区間と比較して低減されるように前記第２音響信号のレベルを制御する。以上の態様では、受話信号を音声区間と挿入区間とに区分し、挿入区間では受話信号のレベルに対する第２音響信号のレベルの変動が音声区間と比較して低減されるように第２音響信号のレベルが制御される。したがって、挿入区間内での環境音の変動に起因して通話相手の利用者が違和感を知覚する可能性が低減されるという利点がある。なお、音声区間とは、受話信号のうち通話相手の発声音が優勢に存在する区間であり、挿入区間とは、音声区間以外の区間（例えば相前後する音声区間の間で発声者の発話が途切れた区間）である。

本発明の好適な態様において、前記制御部は、前記挿入区間の時間長が閾値を下回る場合に、当該挿入区間において、前記受話信号のレベルに対する前記第２音響信号のレベルの変動が前記音声区間と比較して低減されるように前記第２音響信号のレベルを制御する一方、前記挿入区間の時間長が前記閾値を上回る場合に、当該挿入区間において、前記受話信号のレベルに対する前記第２音響信号のレベルの変動が前記音声区間と同等となるように前記第２音響信号のレベルを制御する。以上の態様では、挿入区間の時間長が閾値を上回る場合（通話相手の一連の発話が終了したと推定される状況）には、受話信号のレベルに応じた第２音響信号のレベルが音声区間と同等に制御され、閾値を下回る場合には、受話信号のレベルに応じた第２音響信号のレベルの制御が音声区間と比較して抑制されるように第２音響信号のレベルが制御される。したがって、挿入区間の時間長が閾値を下回る場合には、環境音の変動に起因して利用者が違和感を知覚する可能性が低減することが可能になる。他方、挿入区間の時間長が閾値を上回る場合には、利用者側の環境音を通話相手に適切に伝達することが可能になる。以上の態様によれば、通話相手の発話の状況に応じた適切なレベルの環境音を通話相手に伝達することが可能になるという利点がある。

本発明に係る音声通信装置は、音声通信に関連する処理に専用されるDSP(Digital Signal Processor)などのハードウェア（電子回路）によって実現されるほか、CPU(Central Processing Unit)などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、通話相手の通信装置から送信された受話信号を受信する受信部、前記受信部が受信した前記受話信号に応じた音響を放音する放音部、目的音と環境音とを含む音響を収音して収音信号を生成する収音部、前記収音部が生成した前記収音信号のうち前記目的音成分を強調した第１音響信号を生成する第１信号処理部、前記収音部が生成した前記収音信号のうち前記環境音成分を強調した第２音響信号を生成する第２信号処理部、前記受信部が受信した前記受話信号のレベルに応じて前記第２音響信号のレベルを制御する制御部、および、前記第１音響信号と前記第２音響信号とを送信する送信部としてコンピュータを機能させる。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、例えば、本発明のプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。また、以上の各態様に係る音声通信装置の動作方法（音声通信方法）としても本発明は特定される。

第１実施形態に係る通信システムの構成を示す図である。 音声通信装置のブロック図である。 音声通信装置の具体的な形態の説明図である。 第１信号処理部のブロック図である。 調音処理部のブロック図である。 制御部のブロック図である。 受話信号のレベルと調整値との関係の説明図である。 受話信号のレベルに応じた調整値の変化の説明図である。 第２実施形態に係る制御部のブロック図である。 音声区間および挿入区間でのレベルと調整値との関係の説明図である。 第３実施形態における受話信号のレベルと調整値との関係の説明図である。 第４実施形態に係る音声通信装置のブロック図である。 変形例に係る音声通信装置のブロック図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る音声通信装置を利用した通信システムの構成を示す図である。図１に例示されるように、通信システム１００は、通信網２００と複数の音声通信装置Ｄ（Ｄ1，Ｄ2）とを含んで構成される。複数の音声通信装置Ｄの各々は、例えば、利用者に携行される通信端末であり、他の音声通信装置Ｄとの間で通信網２００を介した音声通話を実行する。通信網（例えば移動通信網）２００は、基地局と交換局とを含む多数の中継装置で構成される。図１では、相互に通信する２個の音声通信装置Ｄ（Ｄ1，Ｄ2）のみが便宜的に図示されている。以下の説明では、利用者Ｕ1が使用する音声通信装置Ｄ1と利用者Ｕ2が使用する音声通信装置Ｄ2とを利用して利用者Ｕ1と利用者Ｕ2とが通話する場合を想定する。また、音声通信装置Ｄ1に便宜的に着目して構成および動作を例示するが、音声通信装置Ｄ2の構成および動作も同様である。

図２は、音声通信装置Ｄ1のブロック図である。音声通信装置Ｄ1は、利用者Ｕ1が発声した音声等の周囲の音響を表す音響信号（以下「送話信号」という）ＳTを通信網２００に送信するとともに、通話相手である利用者Ｕ2の音声を含む音響を表す音響信号（以下「受話信号」という）ＳRを通信網２００から受信して受話信号ＳRに応じた音響を放射する装置であり、音響処理部１０と収音部２０と通信部３０と制御部４０と放音部５０とを具備する。図２に例示された各要素（例えば音響処理部１０や制御部４０）は、例えば各種の記録媒体に記憶されたプログラムを演算処理装置（ＣＰＵ）が実行することで実現される。なお、音響処理部１０の各機能を複数の集積回路に分散した構成や、専用の電子回路（ＤＳＰ）が各機能を実現する構成も採用され得る。音響信号をデジタル信号に変換するＡ／Ｄ変換器や、音響信号をアナログ信号に変換するＤ／Ａ変換器の図示は便宜的に省略されている。

収音部２０は、周囲の音響を収音して収音信号Ｍ（ＭA1，ＭA2，ＭB）を生成する音響機器であり、相互に離間して配置される複数の収音機器２２（２２A1，２２A2，２２B）を含んで構成される。放音部５０は、利用者Ｕ2の音声通信装置Ｄ2から通信網２００を介して受信した受話信号ＳRに応じた音響を放射する音響機器（例えばスピーカやイヤホン）である。

収音部２０には、目的音と環境音との混合音が到来する。目的音は、収音の目的となる音響であり、具体的には利用者Ｕ1の発声音である。環境音は、目的音以外の音響であり、利用者Ｕ1の周囲に存在する音響（例えば人混みでの雑踏音や空調設備の動作音等）と、放音部５０から放射されて収音機器２２に収音される帰還音とを含む。帰還音は、例えば、音声通信装置Ｄ2から送信された利用者Ｕ2の発声音である。

図３は、第１実施形態の音声通信装置Ｄの外観図である。図３では、眼鏡型のウェアラブル端末が音声通信装置Ｄ1として例示されている。音声通信装置Ｄ1は、利用者Ｕ1の両眼の前方に位置する本体部６０と、本体部６０の両側に設置される支持部６２および支持部６４とを具備する電子機器である。利用者Ｕ1の左耳に装着される支持部６２の基端側（本体部６０側）に収音機器２２A1が設置され、利用者Ｕ1の右耳に装着される支持部６４の基端側に収音機器２２A2が設置される。すなわち、収音機器２２A1と収音機器２２A2とは相互に間隔ｄ1をあけて離間する。支持部６４の先端側（収音機器２２A2とは反対側であって利用者Ｕ1からみて後方）には収音機器２２Bが設置される。

収音機器２２A（２２A1，２２A2）は、目的音の収音用に配置された無指向性のマイクロホンである。収音機器２２Aは、周囲の音響（目的音と環境音との混合音）の波形を表す収音信号ＭA（ＭA1，ＭA2）を生成する。他方、収音機器２２Bは、環境音の収音用に配置された無指向性のマイクロホンであり、目的音と比較して環境音を優勢に含有する音響の波形を表す収音信号ＭBを生成する。以上に説明した通り、支持部６２および支持部６４に収音部２０と放音部５０とが配置される構成では、利用者Ｕ1は拡声通話（ハンズフリー通話）が可能である。

図２の音響処理部１０は、収音部２０が生成した収音信号Ｍ（ＭA1，ＭA2，ＭB）に応じて送話信号ＳTを生成する。通信部３０は、送信部３２と受信部３４とを含み、通信網２００を介して音声通信装置Ｄ2との間で通信する通信機器（アンテナおよび変復調回路）である。送信部３２は、音声通信装置Ｄ2を送信先として送話信号ＳTを通信網２００に送信する。他方、受信部３４は、音声通信装置Ｄ2が送信した送話信号ＳTを受話信号ＳRとして通信網２００から受信する。前述の通り、受信部３４が受信した受話信号ＳRに応じた音響が放音部５０から放射される。

図２に例示される通り、第１実施形態の音響処理部１０は、第１信号処理部１１と第２信号処理部１２と加算部１３とを含んで構成される。第１信号処理部１１は、収音部２０（収音機器２２A1，収音機器２２A2）が生成した収音信号ＭAのうち目的音成分を強調（環境音成分を抑圧）した第１音響信号Ｓ1を生成する。

図４は、第１信号処理部１１のブロック図である。図４に例示される通り、第１信号処理部１１は、残響抑圧部１１１と指向制御部１１２と残響抑圧部１１３と雑音抑圧部１１４と帯域強調部１１５と強度調整部１１６とを含んで構成される。残響抑圧部１１１は、受信部３４から放音部５０に供給される受話信号ＳRと各収音機器２２（２２A1，２２A2）が生成した収音信号ＭA（ＭA1，ＭA2）とを利用した適応フィルタ処理により、収音信号ＭA（ＭA1，ＭA2）に重畳された推定エコー成分Ｅを推定し、収音信号ＭA（ＭA1，ＭA2）から推定エコー成分Ｅを抑圧することで音響信号Ｘ1（Ｘ1a，Ｘ1b）を生成する。推定エコー成分Ｅは、放音部５０から収音部２０に到来する帰還音を推定した音響成分である。

指向制御部１１２は、収音機器２２A（２２A1，２２A2）の指向方向を制御する。具体的には、指向制御部１１２は、例えば公知のビーム形成処理（例えば遅延加算型ビーム形成）により、収音のビーム（収音感度が高い領域）を利用者Ｕ1の口元に向けるように制御して、音響信号Ｘ1（Ｘ1a，Ｘ1b）のうち目的音成分を強調した音響信号Ｘ2を生成する。残響抑圧部１１３は、音響信号Ｘ2から推定エコー成分Ｅを抑圧することで音響信号Ｘ3を生成する。残響抑圧部１１１および残響抑圧部１１３の双方で推定エコー成分Ｅを抑圧するのは、残響抑圧部１１１による１回の抑圧だけでは推定エコー成分Ｅを充分に抑圧できないからである。雑音抑圧部１１４は、音響信号Ｘ3から雑音成分（目的音成分以外の音響成分）を抑圧することで音響信号Ｘ4を生成する。雑音成分の抑圧には、スペクトル減算等の公知の雑音抑圧処理が任意に採用され得る。帯域強調部１１５は、音響信号Ｘ4のうち目的音成分（発声音）を包含する周波数帯域の音響成分が他帯域と比較して強調されるように音響信号Ｘ4の周波数特性を制御（イコライジング）して音響信号Ｘ5を生成する。強度調整部１１６は、音響信号Ｘ5のレベルのダイナミックレンジを周波数帯域毎に調整すること（Dynamic Range Control）で第１音響信号Ｓ1を生成する。

図２の第２信号処理部１２は、収音部２０(収音機器２２B)が生成した収音信号ＭBのうち環境音成分を強調（目的音成分を抑圧）した第２音響信号Ｓ2を生成する。第２信号処理部１２は、図２に例示される通り、調音処理部１２０と調整部１３０とを含んで構成される。

図５は、調音処理部１２０のブロック図である。第１実施形態の調音処理部１２０は、収音信号ＭBのうち環境音成分を強調した環境音信号ＳEを生成する要素であり、図５に例示される通り、雑音抑圧部１２１と帯域強調部１２２と強度調整部１２３とを含んで構成される。

雑音抑圧部１２１は、収音機器２２Bが生成した収音信号ＭBのうち放音部５０を構成する機器に固有の雑音成分（例えばヒスノイズ）を抑圧することで音響信号Ｙ1を生成する。帯域強調部１２２は、音響信号Ｙ1のうち環境音成分を包含する周波数帯域の音響成分が他帯域と比較して強調されるように音響信号Ｙ1の周波数特性を制御（イコライジング）することで音響信号Ｙ2を生成する。強度調整部１２３は、音響信号Ｙ2のレベルのダイナミックレンジを周波数帯域毎に調整することで環境音信号ＳEを生成する。

図２の調整部１３０は、調音処理部１２０が生成した環境音信号ＳEを調整値Ｇに応じて調整することで第２音響信号Ｓ2を生成する。具体的には、環境音信号ＳEに調整値Ｇを乗算する乗算器が調整部１３０として好適に採用され得る。以上の説明から理解される通り、第２音響信号Ｓ2のレベルは調整値（ゲイン）Ｇに応じて調整される。

図２の加算部１３は、第１信号処理部１１が生成した第１音響信号Ｓ1と第２信号処理部１２が生成した第２音響信号Ｓ2とを加算することで送話信号ＳTを生成する。加算部１３による加算後の送話信号ＳTが送信部３２から通信網２００を介して利用者Ｕ2の音声通信装置Ｄ2に送信される。

制御部４０は、調整部１３０による調整に適用される調整値Ｇを可変に制御する。第１実施形態の制御部４０は、受信部３４が受信して放音部５０に供給される受話信号ＳRのレベルに応じて調整値Ｇを制御する。以上の説明から理解される通り、制御部４０は、受話信号ＳRのレベルに応じて第２音響信号Ｓ2のレベルを制御する要素として機能する。

図６は、制御部４０のブロック図である。図６に例示される通り、制御部４０は、レベル算出部４２と調整値設定部４４とを含んで構成される。レベル算出部４２は、受話信号ＳRのレベルＬEを算出する。受話信号ＳRのレベルＬEの算出には公知の技術が任意に採用され得るが、例えば、受話信号ＳRのパワーを時間軸の方向に平滑化することでレベルＬEを算出することが可能である。

調整値設定部４４は、レベル算出部４２が算出した受話信号ＳRのレベルＬEに応じた調整値Ｇを設定する。第１実施形態の調整値設定部４４は、受話信号ＳRのレベルＬEと調整値Ｇとの関係を規定する調整値テーブル（図示略）を調整値Ｇの設定に利用する。具体的には、調整値設定部４４は、受話信号ＳRのレベルＬEに対応する調整値Ｇを調整値テーブルから取得する。図７に例示される通り、第１実施形態では、受話信号ＳRのレベルＬEが大きいほど調整値Ｇが小さくなるように制御部４０において調整値Ｇが設定される。したがって、受話信号ＳRのレベルＬEが大きい（通話相手である利用者Ｕ2の発声音量が大きい）ほど、第２音響信号Ｓ2のレベルは低下する。なお、以上の説明では調整値テーブルを利用する構成を例示したが、受話信号ＳRのレベルＬEを適用した所定の演算で調整値Ｇを算定する構成も採用され得る。

図８には、受話信号ＳRのレベルＬEに応じた調整値Ｇの変動の具体例が例示されている。受話信号ＳRのレベルＬEが充分に小さい状態（ｔ1〜ｔ2）では、調整値Ｇは最大値（例えば１）に維持される。そして、利用者Ｕ2による発声の開始とともに受話信号ＳRのレベルＬEが増加すると、調整値ＧはレベルＬEに連動して経時的に減少する（ｔ2〜ｔ3）。また、利用者Ｕ2による一連の発声が終了に近付いて受話信号ＳRのレベルＬEが減少すると、調整値ＧはレベルＬEに連動して経時的に増加する（ｔ3〜ｔ4）。

以上の例示から理解される通り、環境音成分を包含する第２音響信号Ｓ2のレベルは、通話相手である利用者Ｕ2の音声の有無（受話信号ＳRのレベルＬE）に応じて刻々と変動する。具体的には、利用者Ｕ2の音声が小さい状態（例えば利用者Ｕ2が沈黙して利用者Ｕ1の発声音を聴取する状態）では、利用者Ｕ1の周囲に存在する環境音成分を優勢に含有する第２音響信号Ｓ2を利用者Ｕ1の発声音（目的音成分）の第１音響信号Ｓ1に付加した送話信号ＳTが通話相手の利用者Ｕ2の音声通信装置Ｄ2に送信される。他方、放音部５０から収音部２０に到達する帰還音に利用者Ｕ2の音声が優勢に含有される状態（利用者Ｕ2が発声する状態）では、利用者Ｕ2の音声通信装置Ｄ2に送信される送話信号ＳTのうち帰還音を含有する第２音響信号Ｓ2のレベルが低下し、環境音成分が少なく、利用者Ｕ1の発声音成分が多い送話信号ＳTが送信される。

以上に説明した通り、第１実施形態では、収音機器２２A(２２A1，２２A2)が収音した収音信号ＭAのうち目的音成分を強調した第１音響信号Ｓ1と、環境音成分を強調した第２音響信号Ｓ2との双方が音声通信装置Ｄ2に送信される。したがって、目的音成分が強調された第１音響信号Ｓ1のみが音声通信装置Ｄ2に送信される構成と比較すると、音声通信装置Ｄ2の利用者Ｕ2が、利用者Ｕ1の発声音のほか、利用者Ｕ1の周囲の環境音を聴取できるという利点がある。しかも、第１実施形態では、第２音響信号Ｓ2のレベルが第１音響信号Ｓ1とは独立に調整されるから、利用者Ｕ1の周囲の環境音を適切なレベルで利用者Ｕ2に伝達することが可能である。

ところで、適度なレベルの環境音を利用者Ｕ1の音声に付加した送話信号ＳTを生成する構成（環境音を利用者Ｕ2に伝達する構成）としては、例えば、第１実施形態の第２信号処理部１２を省略したうえで、収音信号ＭAの環境音成分を第１信号処理部１１にて完全には除去せずに送話信号ＳTに適度なレベルで残存させる、という構成（以下「対比例１」という）も想定され得る。しかし、目的音成分と環境音成分とが単一の系統で纏めて処理される対比例１の構成では、環境音成分を抑圧する処理にて目的音成分に不可避的に波形歪が発生して音質が低下する（例えば目的音成分の聴覚的な明瞭性が低下する）という問題が発生し得る。対比例１とは対照的に、第１実施形態では、第１信号処理部１１による目的音成分の強調と第２信号処理部１２による環境音成分の強調とが相互に別個に実行されたうえで、処理後の第１音響信号Ｓ1と第２音響信号Ｓ2とを含む送話信号ＳTが送信される。以上の構成では、第１信号処理部１１では目的音成分の強調に最適化された音響処理により音質（特に明瞭性）を維持しながら目的音成分を充分に強調する一方、第２信号処理部１２では環境音成分の強調に最適化された音響処理により音質を維持しながら環境音成分を充分に強調することが可能である。したがって、目的音成分および環境音成分の各々が高音質に維持された送話信号ＳTを利用者Ｕ2に送信できるという利点がある。特に、目的音成分および環境音成分の各々の明瞭性が維持されるから、環境音が周囲に存在するなかで利用者Ｕ1が目的音を発生するという状況を利用者Ｕ2が明瞭に知覚し得る臨場感のある送話信号ＳTを生成することが可能である。

なお、環境音成分が優勢な第２音響信号Ｓ2を目的音成分が優勢な第１音響信号Ｓ1に付加するという観点のみからすると、第２音響信号Ｓ2のレベルを制御する要素（制御部４０および調整部１３０）を省略し、調音処理部１２０が生成した環境音信号ＳEを第２音響信号Ｓ2として第１音響信号Ｓ1に加算する構成（以下「対比例２」という）も想定され得る。しかし、受話信号ＳRに包含される利用者Ｕ2の音声は、放音部５０から収音部２０に到達する帰還音として環境音に包含されるから、受話信号ＳRのレベルＬEに関わらず第２音響信号Ｓ2のレベルが維持される対比例２の構成では、音声通信装置Ｄ1と音声通信装置Ｄ2との間で利用者Ｕ2の音声が循環し、結果的にハウリングを発生させる原因となり得る。対比例２とは対照的に、第１実施形態では、受話信号ＳRのレベルＬEに応じて第２音響信号Ｓ2のレベル（第１音響信号Ｓ1に付加される環境音成分のレベル）が制御される。具体的には、受話信号ＳRのレベルＬEが高いほど第２音響信号Ｓ2のレベルが低下する。すなわち、前述の通り、利用者Ｕ2が発声する期間内では第２音響信号Ｓ2が低いレベルに抑制される。したがって、第１実施形態によれば、利用者Ｕ2が発声する音声に起因したハウリングを対比例２と比較して有効に防止できるという利点がある。

なお、以上の説明から理解される通り、利用者Ｕ2が聴取する音響では利用者Ｕ1の周囲の環境音の音量が刻々と増減するから、当該音響を聴取する利用者Ｕ2が聴覚的な違和感を知覚する可能性も想定される。しかし、自身が発声している最中には自身に対する到来音を余り意識しない（自分の発話中は他人の発声を余り集中して聴取しない）という一般的な傾向を考慮すると、利用者Ｕ2が聴取する音響において利用者Ｕ1の環境音の音量が変動することに起因して利用者Ｕ2が違和感を知覚する可能性は特段の問題にならない。

＜第２実施形態＞
本発明の第２実施形態を以下に説明する。第１実施形態では、受話信号ＳRのレベルＬEに応じて第２音響信号Ｓ2のレベルを制御した。以上の構成において、利用者Ｕ2による相前後する発話の間で利用者Ｕ2の音声が途切れる区間にて環境音が変動すると、利用者Ｕ2が違和感を知覚する可能性がある。以上の事情を考慮して、第２実施形態では、受話信号ＳRのうち利用者Ｕ2の音声が優勢に存在する区間（以下「音声区間」という）と音声区間以外の区間（以下「挿入区間」という）とで調整値Ｇの設定を相違させる。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。

図９は、第２実施形態の制御部４０のブロック図であり、図１０は、第２実施形態における調整値Ｇの設定の説明図である。図９に例示される通り、第２実施形態の調整値設定部４４は、区間検出部４６を包含する。区間検出部４６は、図１０に例示される通り、受話信号ＳRを時間軸上で音声区間ＴV（ＴV1，ＴV2）と挿入区間ＴD（ＴD1，ＴD2）とに区分する。挿入区間ＴDは、例えば、利用者Ｕ2による相前後する発話の間で利用者Ｕ2の音声が途切れる区間である。区間検出部４６は、例えば、受話信号ＳRを時間軸上で区分したフレーム毎に音声の有無を判定することで受話信号ＳRを音声区間ＴVと挿入区間ＴDとに区分する。音声区間ＴVと挿入区間ＴDとの判別には、公知の音声検出技術が任意に採用される。

図１０は、音声区間ＴVおよび挿入区間ＴDの調整値Ｇの説明図である。図１０では、時間軸上に例示される音声区間ＴVのうち、音声区間ＴV（ＴV1，ＴV2）と挿入区間ＴD（ＴD1，ＴD2）とを便宜的に図示している。第２実施形態の調整値設定部４４は、音声区間ＴVと挿入区間ＴDとで調整値Ｇを個別に設定する。各区間（音声区間ＴV，挿入区間ＴD）での調整値Ｇの設定について以下に詳述する。

音声区間ＴV内において、調整値設定部４４は、第１実施形態と同様に、受話信号ＳRのレベルＬEに応じて調整値Ｇを設定する。具体的には、調整値設定部４４は、受話信号ＳRのレベルが高いほど第２音響信号Ｓ2のレベルが低下するように調整値Ｇを設定する。

他方、挿入区間ＴDでは、音声通信装置Ｄ2の利用者の発話の状況に応じて調整値Ｇが設定される。具体的には、以下に例示される通り、調整値設定部４４は、挿入区間ＴDの時間長と閾値Ｔ0との比較結果に応じて調整値Ｇを設定する。

（a）．挿入区間ＴDの時間長が閾値Ｔ0を下回る場合（ＴD＜Ｔ0）
挿入区間ＴDの時間長が閾値Ｔ0を下回る場合（相前後する音声区間ＴVの間隔が短い場合）には、音声通信装置Ｄ2の利用者Ｕ2が発話の途中であると推定される。相前後する発話の間に環境音成分（第２音響信号Ｓ2）のレベルが音声区間ＴVと同様に変動すると、利用者Ｕ2が違和感を知覚する可能性がある。以上の傾向を考慮して、調整値設定部４４は、受話信号ＳRのレベルＬEに応じた第２音響信号Ｓ2のレベルの変動が、音声区間ＴVと比較して抑制されるように調整値Ｇを設定する。具体的には、図１０の挿入区間ＴD1に例示される通り、受話信号ＳRのレベルＬEに対する調整値Ｇの変動（レベルＬEに対する調整値Ｇの変化率）が、音声区間ＴVにおけるレベルＬEに対する調整値Ｇの変動と比較して緩やかになるように調整値Ｇが設定される。なお、時間長が閾値Ｔ0を下回る挿入区間ＴDにおいて調整値Ｇを一定値に維持する構成（レベルＬEに対する調整値Ｇの変化率をゼロに設定する構成）も採用され得る。

（b）．挿入区間ＴDの時間長が閾値Ｔ0を上回る場合（ＴD＞Ｔ0）
挿入区間ＴDの時間長が閾値Ｔ0を上回る場合（直前の音声区間ＴVの終点から利用者Ｕ2が発声することなく充分な時間長が経過した場合）には、利用者Ｕ2の一連の発話が終了した状況（例えば発話主体が利用者Ｕ1に変更されて利用者Ｕ2は音声通信装置Ｄ1の利用者Ｕ1の音声を聴取している状況）にあると推定されるから、利用者Ｕ1の周囲の環境音が適切なレベルで利用者Ｕ2に伝達されることが好ましい。以上の傾向を考慮して、調整値設定部４４は、受話信号ＳRのレベルＬEに応じた第２音響信号Ｓ2のレベルの変動が音声区間ＴV1と同等になるように調整値Ｇを設定する。具体的には、図１０の挿入区間ＴD2に例示される通り、直前の音声区間ＴV2の終点からの経過時間が閾値Ｔ0を上回る時点から、音声区間ＴVと同様の調整値Ｇの制御が開始される。音声区間ＴV2の終点からの経過時間が閾値Ｔ0を上回った時点で、受話信号ＳRのレベルＬEに応じて調整値Ｇを最大値まで増大させる構成も考えられる。しかし、調整値Ｇが急激に増大する構成では、利用者Ｕ2が違和感を知覚する可能性がある。そこで、図１０に例示される通り、利用者Ｕ1の周囲の環境音が適切なレベルで利用者Ｕ2に伝達するように調整値Ｇを徐々に増大させる。

調整部１３０は、音声区間ＴVおよび挿入区間ＴDの各区間について設定された調整値Ｇを環境音信号ＳEに乗算することで第２音響信号Ｓ2のレベルを制御する。以降の処理については、第１実施形態と同様であるので詳細な説明を省略する。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、受話信号ＳRのうち挿入区間ＴD（時間長が閾値Ｔ0を下回る挿入区間ＴD）において、第２音響信号Ｓ2のレベルの変動が音声区間ＴVと比較して抑制されるように第２音響信号Ｓ2のレベルが制御される。したがって、挿入区間ＴD内での環境音の変動に起因して利用者Ｕ2が違和感を知覚する可能性が低減されるという利点がある。

他方、時間長が閾値Ｔ0を上回る挿入区間ＴD（利用者Ｕ2の一連の発話が終了したと推定される状況）では、受話信号ＳRのレベルＬEに応じた第２音響信号Ｓ2のレベルの制御が音声区間ＴVと同様の制御に復帰する。したがって、利用者Ｕ2の発話の終了後には、利用者Ｕ1側の環境音を利用者Ｕ2に適切に伝達できるという利点がある。以上の説明から理解される通り、第２実施形態では、利用者Ｕ2の発話の状況に応じた適切なレベルの環境音を利用者Ｕ2に伝達することが可能である。

＜第３実施形態＞
第１実施形態では、受話信号ＳRのレベルＬEに対して調整値Ｇを直線的に変化させたが、レベルＬEに対する調整値Ｇの変化の態様は以上の例示に限定されない。例えば、受話信号ＳRに起因したハウリングが発生しない程度に受話信号ＳRのレベルＬEが低い範囲では、第２音響信号Ｓ2のレベルの低減によるハウリングの抑制よりも、音声通信装置Ｄ2の利用者Ｕ2に対する環境音の伝達を優先させるべきである。以上の事情を考慮して、第３実施形態では、受話信号ＳRのレベルＬEが所定の閾値Ｌ0を上回る場合に、当該レベルＬEの増加に応じて調整値Ｇが低減されるように調整値Ｇが設定される。

図１１は、第３実施形態における受話信号ＳRのレベルＬEと調整値Ｇとの関係（調整値テーブル）の説明図である。図１１に例示されるように、受話信号ＳRのレベルＬEが閾値Ｌ0を下回る場合（ＬE＜Ｌ0）には、調整値Ｇは、レベルＬEに依存しない所定値（例えば最大値１）に維持される。他方、受話信号ＳRのレベルＬEが閾値Ｌ0を上回る場合（ＬE＞Ｌ0）には、受話信号ＳRのレベルＬEが増加するほど調整値Ｇが低減するように調整値Ｇが設定される。具体的には、レベルＬEの値域のうち閾値Ｌ0を上回る領域が複数の範囲に区分され、レベルＬEに対する調整値Ｇの変化率が範囲毎に個別に設定される。図１１では、レベルＬEが大きい範囲ほどレベルＬEに対する調整値Ｇの変化率（勾配）が増加する場合が例示されている。

第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、受話信号ＳRのレベルＬEが閾値Ｌ0を上回る場合にのみ、調整値Ｇが低減されるように（ひいては第２音響信号Ｓ2のレベルが低下するように）、すなわち、受話信号ＳRのレベルＬEに応じて調整値Ｇの変化の度合いが異なるように調整値Ｇが設定される。したがって、第２音響信号Ｓ2のレベルを受話信号ＳRのレベルＬEに連動させる度合いを受話信号ＳRのレベルＬEに関わらず一定とした構成と比較して、適切に環境音が伝達されるという利点がある。

＜第４実施形態＞
図１２は、第４実施形態の音声通信装置Ｄ1のブロック図である。第１実施形態では、目的音の収音用の収音機器２２Aとは別個に、環境音の収音用の収音機器２２Bを設置した。第４実施形態では、図１２に例示される通り、目的音の収音と環境音の収音とに共通の収音機器２２A2が兼用される。収音機器２２A2が生成した収音信号ＭA2は、第１信号処理部１１および第２信号処理部１２の双方に供給され、第２信号処理部１２は、収音信号ＭA2の環境音成分を強調することで第２音響信号Ｓ2を生成する。以上の構成では、目的音の収音用の収音機器と環境音の収音用の収音機器とを別個に設ける必要がないから、音声通信装置Ｄ1の装置構成が簡略化されるという利点がある。なお、収音機器２２A1を指向性のマイクロホンによって構成し、指向方向を音声通信装置Ｄ1の利用者の口元としてもよい。また、目的音の収音と環境音の収音とに兼用される収音機器２２A2を無指向性のマイクロホンによって構成しても良い。

＜変形例＞
前述の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を適宜に併合することも可能である。

（１）前述の各形態で例示した第１信号処理部１１および第２信号処理部１２の構成要素は任意であり、図４や図５に例示された要素は適宜に省略され得る。例えば、第１信号処理部１１から指向制御部１１２を省略した構成も好適に採用され得る。前述の各形態のように指向制御部１１２を包含する構成では、指向方向を制御するビーム形成処理のために複数の収音機器２２（２２A1，２２A2）が必要であるが、指向制御部１１２を省略した構成（ビーム形成処理を実行しない構成）では、例えば図１３に例示される通り、収音部２０を１個の収音機器２２A1により構成することも可能である。収音機器２２A1から収音された収音信号ＭA1は、第１信号処理部１１および第２信号処理部１２に供給される。以上の説明から理解される通り、前述の各形態の収音部２０は、目的音と環境音とを含む音響を収音して収音信号Ｍを生成する要素として包括的に表現され、収音部２０を構成する収音機器２２の個数や指向性の有無は不問である。

（２）前述の各形態では、目的音成分に対応する第１音響信号Ｓ1と環境音成分に対応する第２音響信号Ｓ2との加算結果に応じた送話信号ＳTを通話相手の音声通信装置Ｄ2に送信する構成を例示したが、第１音響信号Ｓ1と第２音響信号Ｓ2とを相互に個別に送信して音声通信装置Ｄ2で加算することも可能である。すなわち、音声通信装置Ｄ1の加算部１３は省略され得る。以上の説明から理解される通り、前述の各形態の送信部３２は、第１音響信号Ｓ1と第２音響信号Ｓ2とを送信する要素として包括的に表現され、第１音響信号Ｓ1と第２音響信号Ｓ2との加算信号（送話信号ＳT）を送信する構成と、第１音響信号Ｓ1および第２音響信号Ｓ2の各々を送信する構成との双方を包含する。

（３）通信網２００としては、広帯域のＩＰ(Internet Protocol)網、公共無線ＬＡＮ（ＷｉＦｉ）が好適に採用され得る。発声音（目的音成分）に対応する周波数成分は比較的に低帯域であり、環境音に対応する周波数成分は比較的に高帯域であるから、高速データ通信規格に準拠した広帯域の通信システムが好適である。

（４）前述の各形態では、眼鏡型のウェアラブル端末を音声通信装置Ｄとして例示したが、音声通話が可能な電子機器であって利用者による携行が可能であれば、音声通信装置Ｄの形態は任意である。例えば、携帯電話機やスマートフォン等の公知の通信端末が音声通信装置Ｄとして任意に利用され得る。

（５）前述の各形態では、利用者の周囲の環境音を目的音とともに通話相手に伝達する構成を例示したが、現実的には、通話相手に自分の居場所を知らせたくない場合も想定される。そこで、環境音を前述の各形態と同様に目的音に付加する動作モードと、環境音を付加しない動作モード（第２信号処理部１２の動作を無効化する動作モード）とを利用者が任意に選択できる構成も採用され得る。

（６）前述の各形態では、受話信号ＳRのレベルＬEに対して調整値Ｇを直線的に変化させたが、レベルＬEに対する調整値Ｇの変化の態様は以上の例示に限定されない。例えば、受話信号ＳRのレベルＬEに対して調整値Ｇを非線形に変化させる構成や、受話信号ＳRのレベルＬEに対して調整値Ｇを曲線的に規定される構成も採用され得る。

Ｄ……音声通信装置、１０……音響処理部、１１……第１信号処理部、１２……第２信号処理部、２０……収音部、２２A1，２２A2，２２B……収音機器，３０……通信部、３２……送信部、３４……受信部、１２０……調音処理部、１３０……調整部、４０……制御部、４２……レベル算出部、４４……調整値設定部、２００……通信網。

Claims (5)

1. 通話相手の通信装置から送信された受話信号を受信する受信部と、
   前記受信部が受信した前記受話信号に応じた音響を放音する放音部と、
   目的音と環境音とを含む音響を収音して収音信号を生成する収音部と、
   前記収音部が生成した前記収音信号のうち前記目的音成分を前記環境音成分に対して強調する第１信号処理により第１音響信号を生成する第１信号処理部と、
   前記収音部が生成した前記収音信号のうち前記環境音成分を前記目的音成分に対して強調する、第１信号処理とは異なる第２信号処理により第２音響信号を生成する第２信号処理部と、
   前記受信部が受信した前記受話信号のレベルに応じて前記第２音響信号のレベルを制御する制御部と、
   前記第１音響信号と前記第２音響信号とを送信する送信部と
   を具備する音声通信装置。
2. 前記制御部は、前記受話信号のレベルが高いほど前記第２音響信号のレベルが低下するように前記第２音響信号のレベルを制御する
   請求項１の音声通信装置。
3. 前記制御部は、前記受話信号を音声区間と前記音声区間以外の挿入区間とに区分し、前記挿入区間において、前記受話信号のレベルに対する前記第２音響信号のレベルの変動が前記音声区間と比較して低減されるように前記第２音響信号のレベルを制御する
   請求項１または請求項２の音声通信装置。
4. 前記制御部は、前記挿入区間の時間長が閾値を下回る場合に、当該挿入区間において、前記受話信号のレベルに対する前記第２音響信号のレベルの変動が前記音声区間と比較して低減されるように前記第２音響信号のレベルを制御する一方、前記挿入区間の時間長が前記閾値を上回る場合に、当該挿入区間において、前記受話信号のレベルに対する前記第２音響信号のレベルの変動が前記音声区間と同等となるように前記第２音響信号のレベルを制御する
   請求項３の音声通信装置。
5. 通話相手の通信装置から送信された受話信号を受信する受信部、
   前記受信部が受信した前記受話信号に応じた音響を放音する放音部、
   目的音と環境音とを含む音響を収音して収音信号を生成する収音部、
   前記収音部が生成した前記収音信号のうち前記目的音成分を前記環境音成分に対して強調する第１信号処理により第１音響信号を生成する第１信号処理部、
   前記収音部が生成した前記収音信号のうち前記環境音成分を前記目的音成分に対して強調する、第１信号処理とは異なる第２信号処理により第２音響信号を生成する第２信号処理部、
   前記受信部が受信した前記受話信号のレベルに応じて前記第２音響信号のレベルを制御する制御部、および、
   前記第１音響信号と前記第２音響信号とを送信する送信部
   としてコンピュータを機能させるプログラム。

Images