[go: up one dir, main page]

JP5058699B2 - Hands-free call device - Google Patents

Hands-free call device Download PDF

Info

Publication number
JP5058699B2
JP5058699B2 JP2007191865A JP2007191865A JP5058699B2 JP 5058699 B2 JP5058699 B2 JP 5058699B2 JP 2007191865 A JP2007191865 A JP 2007191865A JP 2007191865 A JP2007191865 A JP 2007191865A JP 5058699 B2 JP5058699 B2 JP 5058699B2
Authority
JP
Japan
Prior art keywords
parameter
vehicle information
hands
reference sound
echo canceller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007191865A
Other languages
Japanese (ja)
Other versions
JP2009033216A (en
Inventor
史朗 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2007191865A priority Critical patent/JP5058699B2/en
Publication of JP2009033216A publication Critical patent/JP2009033216A/en
Application granted granted Critical
Publication of JP5058699B2 publication Critical patent/JP5058699B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本発明は、通信の際に生ずるエコーおよびノイズを低減させるための技術に関し、特に、通信端末を手に持たずに通話するためのハンズフリー通話装置に関する。   The present invention relates to a technique for reducing echo and noise generated during communication, and more particularly, to a hands-free call device for making a call without holding a communication terminal.

近年、自動車などの車両内において、ユーザが携帯電話を手に持たずに通話をするためのハンズフリー通話装置が普及してきている。車載用のハンズフリー通話装置は、ナビゲーションシステムに組み込まれて動作するものや、単独で動作するものがある。このようなハンズフリー通話装置は、利用者の音声をマイクで集音し、集音した音声を、携帯電話を介して通信相手の電話機に送信している。また、携帯電話が受信した通信相手からの音声をスピーカから出力している。   In recent years, in a vehicle such as an automobile, a hands-free call device for allowing a user to make a call without holding a mobile phone has become widespread. There are in-vehicle hands-free communication devices that operate by being incorporated in a navigation system or those that operate independently. Such a hands-free call device collects a user's voice with a microphone and transmits the collected voice to a telephone of a communication partner via a mobile phone. The voice from the communication partner received by the mobile phone is output from the speaker.

上述したハンズフリー通話装置では、スピーカから出た受話音声をマイクが拾うことがある。その結果、エコーが発生して通話に支障を来たすことがある。また、走行中に通話する場合、車両の走行に伴う騒音等により音声に雑音が入るという問題点が指摘されている。   In the above-described hands-free call device, the microphone sometimes picks up the received voice from the speaker. As a result, an echo may occur and hinder the call. In addition, it has been pointed out that when a call is made during traveling, noise is generated in the voice due to noise caused by traveling of the vehicle.

従来から、ハンズフリー通話装置には、発生したエコーをキャンセルするエコーキャンセラを有するものが知られている。例えば、特許文献1に記載されたハンズフリー装置のエコーキャンセラは、エコーキャンセル処理のためのパラメータを利用してエコーのキャンセルを行う。   2. Description of the Related Art Conventionally, there is known a hands-free communication device having an echo canceller that cancels generated echoes. For example, an echo canceller of a hands-free device described in Patent Literature 1 cancels an echo using a parameter for echo cancellation processing.

特開平2007−36679号公報Japanese Unexamined Patent Publication No. 2007-36679

ところで、特許文献1では、エコーキャンセラのパラメータは、CPU(Central Processing Unit)により設定される。また、設定されるパラメータは、記憶装置に予め記憶されたパラメータの中から選択された値である。すなわち、ソフトウェアの製造時などに予め定められたパラメータが使用される。   By the way, in Patent Document 1, the parameters of the echo canceller are set by a CPU (Central Processing Unit). The parameter to be set is a value selected from parameters stored in advance in the storage device. That is, predetermined parameters are used when software is manufactured.

しかしながら、エコーの態様は、車両の状況(例えば、車室の形状、壁の材質、乗車人数、積載された荷物の大きさ、位置、車両の走行状態など)により異なるものである。そのため、パラメータが予め固定されている場合、車両の状況によってはエコーが残ってしまう。このように、特許文献1では、ユーザが満足できる音質での通話を実現できないことがある。   However, the manner of echo differs depending on the situation of the vehicle (for example, the shape of the passenger compartment, the wall material, the number of passengers, the size of the loaded luggage, the position, the traveling state of the vehicle, etc.). For this reason, if the parameters are fixed in advance, an echo may remain depending on the situation of the vehicle. As described above, in Patent Document 1, there is a case where a call with sound quality that the user can satisfy cannot be realized.

本発明の目的は、車両の状況に応じたエコーキャンセルを行い、エコーが少ない音質での通話を実現するハンズフリー通話装置を提供することにある。   An object of the present invention is to provide a hands-free call device that performs echo cancellation according to the situation of a vehicle and realizes a call with a sound quality with little echo.

上記の課題を解決するための本発明の一態様は、エコーキャンセラを備えるハンズフリー通話装置であって、前記エコーキャンセラが行うエコーキャンセル処理に用いるパラメータの設定要求を受け付けるユーザ操作受付手段と、前記ユーザ操作受付手段がユーザの設定要求を受け付けた場合に、前記パラメータを算出するための基準音をスピーカから出力する基準音出力手段と、前記基準音出力手段が出力に用いた基準音と、マイクロフォンを介して受け付けた音声データとを用いて前記パラメータを算出し、前記エコーキャンセラに設定するパラメータ算出手段と、前記パラメータ算出手段が算出したパラメータを記憶するパラメータ記憶手段と、外部の装置から車両情報を取得する車両情報取得手段と、を有し、前記パラメータ算出手段は、算出したパラメータが所定の条件を満たすと判定した場合に、前記車両情報取得手段により車両情報を取得し、当該パラメータを、前記エコーキャンセラに設定するとともに、前記パラメータに前記車両情報を対応付けて前記パラメータ記憶手段に記憶させ、所定の条件を満たさないと判定した場合に、前記車両情報取得手段により車両情報を取得し、当該車両情報の内容と最も近似する内容を有する車両情報が対応付けられたパラメータを、前記パラメータ記憶手段から取得し、当該パラメータを前記エコーキャンセラに設定する、ことを特徴とする。  One aspect of the present invention for solving the above-described problem is a hands-free communication device including an echo canceller, wherein a user operation accepting unit that accepts a parameter setting request used for echo cancellation processing performed by the echo canceller; Reference sound output means for outputting a reference sound for calculating the parameter from a speaker when the user operation acceptance means accepts a user setting request, a reference sound used for output by the reference sound output means, and a microphone The parameter is calculated using the audio data received via the parameter, the parameter calculation means for setting the echo canceller, the parameter storage means for storing the parameter calculated by the parameter calculation means, and vehicle information from an external device Vehicle information acquisition means for acquiring the parameter calculation means When it is determined that the calculated parameter satisfies a predetermined condition, vehicle information is acquired by the vehicle information acquisition unit, the parameter is set in the echo canceller, and the vehicle information is associated with the parameter. If the vehicle information is stored in the parameter storage unit and it is determined that the predetermined condition is not satisfied, vehicle information is acquired by the vehicle information acquisition unit, and vehicle information having a content closest to the content of the vehicle information is associated with the vehicle information. The obtained parameter is obtained from the parameter storage means, and the parameter is set in the echo canceller.

上記の課題を解決するための本発明の他の態様は、エコーキャンセラを備えるハンズフリー通話装置であって、電話装置に着信があったか否かを判定する着信検知手段と、前記着信検知手段が前記電話装置に着信があったと判定した場合に、取得した着信音を、前記エコーキャンセラが行うエコーキャンセル処理に用いるパラメータを算出するための基準音としてスピーカから出力する基準音出力手段と、前記基準音出力手段が出力に用いた基準音と、マイクロフォンを介して受け付けた音声データとを用いて前記パラメータを算出し、前記エコーキャンセラに設定するパラメータ算出手段と、前記パラメータ算出手段が算出したパラメータを記憶するパラメータ記憶手段と、外部の装置から車両情報を取得する車両情報取得手段と、を有し、前記パラメータ算出手段は、算出したパラメータが所定の条件を満たすと判定した場合に、前記車両情報取得手段により車両情報を取得し、当該パラメータを、前記エコーキャンセラに設定するとともに、前記パラメータに前記車両情報を対応付けて前記パラメータ記憶手段に記憶させ、所定の条件を満たさないと判定した場合に、前記車両情報取得手段により車両情報を取得し、当該車両情報の内容と最も近似する内容を有する車両情報が対応付けられたパラメータを、前記パラメータ記憶手段から取得し、当該パラメータを前記エコーキャンセラに設定する、ことを特徴とする。  Another aspect of the present invention for solving the above-described problems is a hands-free call device including an echo canceller, wherein an incoming call detection unit that determines whether or not an incoming call is received by the telephone device; A reference sound output means for outputting, from the speaker, the acquired ring tone as a reference sound for calculating a parameter used for echo cancellation processing performed by the echo canceller when it is determined that the telephone device has received an incoming call; The parameter is calculated using the reference sound used for output by the output means and the audio data received via the microphone, and is set in the echo canceller; and the parameter calculated by the parameter calculation means is stored. Parameter storage means for performing vehicle information acquisition means for acquiring vehicle information from an external device. When it is determined that the calculated parameter satisfies a predetermined condition, the parameter calculation unit acquires vehicle information by the vehicle information acquisition unit, sets the parameter in the echo canceller, and sets the vehicle as the parameter. A vehicle having information that is stored in the parameter storage unit in association with each other, and that has vehicle content acquired by the vehicle information acquisition unit and that is most similar to the content of the vehicle information when it is determined that the predetermined condition is not satisfied. A parameter associated with information is acquired from the parameter storage unit, and the parameter is set in the echo canceller.

上記の課題を解決するための本発明のさらに他の態様は、エコーキャンセラを備えるハンズフリー通話装置であって、外部の装置から車両情報を取得する車両情報取得手段と、既に取得した車両情報と最新の車両情報の内容を比較することにより、車両情報の内容に変更があるか否かを判定する車両情報判定手段と、前記車両情報判定手段が前記車両情報の内容に変更があると判定した場合に、前記エコーキャンセラが行うエコーキャンセル処理に用いるパラメータを算出するための基準音をスピーカから出力する基準音出力手段と、前記基準音出力手段が出力に用いた基準音と、マイクロフォンを介して受け付けた音声データとを用いて前記パラメータを算出し、前記エコーキャンセラに設定するパラメータ算出手段と、を有する、ことを特徴とする。  Still another aspect of the present invention for solving the above-described problem is a hands-free communication device including an echo canceller, vehicle information acquisition means for acquiring vehicle information from an external device, vehicle information already acquired, By comparing the contents of the latest vehicle information, vehicle information determination means for determining whether there is a change in the contents of the vehicle information, and the vehicle information determination means determine that there is a change in the contents of the vehicle information A reference sound output means for outputting a reference sound for calculating a parameter used for echo cancellation processing performed by the echo canceller from a speaker, a reference sound used for output by the reference sound output means, and a microphone Parameter calculation means for calculating the parameter using the received voice data and setting the parameter in the echo canceller. And butterflies.

以下、本発明の一実施形態について、図面を参照して説明する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

図1は、本発明の一実施形態が適用される、システム構成およびハンズフリー通話装置のハードウェア構成の概略を示すブロック図である。   FIG. 1 is a block diagram showing an outline of a system configuration and a hardware configuration of a hands-free communication device to which an embodiment of the present invention is applied.

本図に示すように、本システムは、ハンズフリー通話装置10と、通信端末20とを有する。また、ナビゲーションシステム30と、車両情報検知システム40が、ハンズフリー通話装置10に接続されてもよい。もちろん、本図に示す構成に限られず、ハンズフリー通話装置は10、ナビゲーションシステム30に組み込まれていてもよい。また、ナビゲーションシステム30は、車両に備え付けられたものでなくてもよく、例えば、持ち運び可能なPND(Personal Navigation Device)であってもよい。   As shown in the figure, the system includes a hands-free call device 10 and a communication terminal 20. Further, the navigation system 30 and the vehicle information detection system 40 may be connected to the hands-free call device 10. Of course, the present invention is not limited to the configuration shown in the figure, and the hands-free communication device 10 may be incorporated in the navigation system 30. Further, the navigation system 30 may not be provided in the vehicle, and may be a portable PND (Personal Navigation Device), for example.

通信端末20は、ハンズフリー通話装置10と接続され、他の通信端末25との間で通信を行う。通信端末20は、例えば携帯型の無線電話端末(携帯電話)であり、各種の演算を行うCPUと、電話網との間で無線通信を行う無線通信装置と、音声を出力するスピーカと、音声を取得するマイクロフォンと、受話音声や送話音声を音声処理する音声処理装置と、通話開始キーや数字キーなどが配列されてなる入力装置と、ユーザに対するメッセージなどを表示する表示装置と、RAM(Random Access Memory)やROM(Read Only Memory)などからなる記憶装置とを備える(いずれも図示しない)。また、通信端末20は、外部の装置と近距離無線通信を行う近距離無線通信装置を備え(図示しない)、例えば、Bluetooth(登録商標)などによりハンズフリー通話装置10と通信を行う。もちろん、通信端末20の構成は上記に限られず、ハンズフリー通話装置10と有線で接続してもよい。   The communication terminal 20 is connected to the handsfree call device 10 and communicates with other communication terminals 25. The communication terminal 20 is, for example, a portable wireless telephone terminal (mobile phone), a CPU that performs various calculations, a wireless communication device that performs wireless communication with the telephone network, a speaker that outputs sound, and a sound A speech processing device for processing received speech and transmitted speech, an input device in which call start keys and numeric keys are arranged, a display device for displaying a message to the user, and a RAM ( And a storage device such as a random access memory (ROM) or a read only memory (ROM) (none of which is shown). The communication terminal 20 includes a short-range wireless communication device (not shown) that performs short-range wireless communication with an external device, and communicates with the hands-free call device 10 by, for example, Bluetooth (registered trademark). Of course, the configuration of the communication terminal 20 is not limited to the above, and may be connected to the hands-free call device 10 by wire.

ハンズフリー通話装置10は、制御装置100と、音声データ処理装置120と、通信装置140と、D/A変換器150と、A/D変換器160と、スピーカ170と、マイクロフォン180とを有する。また、ユーザの操作を受け付けるためのボタンなどのハードスイッチで構成される入力装置や、動作状況などをユーザに知らせるための液晶ディスプレイなどの表示装置(いずれも図示しない)などを有していてもよい。なお、ハンズフリー通話装置10の主要な部分は、例えば、DSP(Digital Signal Processor)により構成されていてもよい。   The hands-free communication device 10 includes a control device 100, a voice data processing device 120, a communication device 140, a D / A converter 150, an A / D converter 160, a speaker 170, and a microphone 180. Also, it may have an input device composed of hard switches such as buttons for accepting user operations, and a display device (not shown) such as a liquid crystal display for notifying the user of the operation status. Good. In addition, the main part of the hands-free call device 10 may be configured by, for example, a DSP (Digital Signal Processor).

マイクロフォン180は、ハンズフリー通話装置10に接続され、ユーザの音声データ(送話音声)や後述する基準音を集音するための装置である。もちろん、マイクロフォン180は、ハンズフリー通話装置10に内蔵されていてもよいし、内蔵されていなくてもよい。内蔵されていない場合は、例えば、車内LANなどを介して、他の機器(例えば、ナビゲーションシステム)のマイクロフォンを接続して使用するようにしてもよい。   The microphone 180 is connected to the hands-free call device 10 and is a device for collecting user's voice data (transmitted voice) and reference sound described later. Of course, the microphone 180 may or may not be built in the hands-free call device 10. If not built-in, for example, a microphone of another device (for example, a navigation system) may be connected and used via an in-vehicle LAN or the like.

A/D変換器160は、マイクロフォン180が集音したアナログの音声データをデジタルの音声データに変換し、音声データ処理装置120に出力する。   The A / D converter 160 converts analog audio data collected by the microphone 180 into digital audio data and outputs the digital audio data to the audio data processing device 120.

音声データ処理装置120は、エコーキャンセラ121を有し、A/D変換器160が出力した音声データ(送話音声)についてエコーキャンセル処理を施し、通信装置140に出力する。もちろん、さらにノイズキャンセラを有し、音声データにノイズキャンセル処理を施すようにしてもよい。また、音声データ処理装置120は、通信装置140を介して受け付けた相手方の通信端末25からのデジタルの音声データ(受話音声)を、D/A変換器150に出力する。なお、音声データ処理装置120は、例えば、エコーキャンセラ121およびノイズキャンセラが設けられた専用回路により実現される。   The voice data processing device 120 includes an echo canceller 121, performs echo cancellation processing on the voice data (speech voice) output from the A / D converter 160, and outputs it to the communication device 140. Of course, a noise canceller may be further provided to perform noise cancellation processing on the audio data. The audio data processing device 120 outputs digital audio data (received audio) from the communication terminal 25 of the other party received via the communication device 140 to the D / A converter 150. Note that the audio data processing device 120 is realized, for example, by a dedicated circuit provided with an echo canceller 121 and a noise canceller.

エコーキャンセラ121は、エコーキャンセル処理に利用するパラメータを設定するためのパラメータ保持部122を有する。エコーキャンセラ121は、公知の方法を用いて、エコーキャンセル処理を行う。すなわち、通信装置140が出力する通信相手の通信端末25からの音声データ(受話音声)と、パラメータ保持部122に設定されているパラメータとを用いて、擬似エコーを生成する。そして、エコーキャンセラ121は、A/D変換器160から入力されるマイク180が集音した音(ユーザの音声データ(送話音声)、スピーカから出力された通信相手先からの音声データ、雑音など)から、上記の生成した擬似エコーを減算する。   The echo canceller 121 includes a parameter holding unit 122 for setting parameters used for echo cancellation processing. The echo canceller 121 performs echo cancellation processing using a known method. That is, a pseudo echo is generated using voice data (received voice) from the communication terminal 25 of the communication partner output by the communication device 140 and parameters set in the parameter holding unit 122. The echo canceller 121 then collects the sound collected by the microphone 180 input from the A / D converter 160 (user's voice data (speech voice), voice data from the communication partner output from the speaker, noise, etc. ) Is subtracted from the generated pseudo echo.

通信装置140は、通信端末20との間で音声データや制御信号の通信を行うための装置であり、例えば、Bluetooth(登録商標)などにより近距離無線通信行う。もちろん、無線通信に限られず、有線であってもよい。通信装置140は、音声データ処理装置120から受け付けた音声データ(送話音声)をアナログの音声データに変換し、通信端末20を介して、相手方の通信端末に送信する。また、通信装置140は、通信端末20を介して、相手方の通信端末からのアナログの音声データ(受話音声)の入力を受け付け、デジタルの音声データに変換し、音声データ処理装置120に出力する。   The communication device 140 is a device for communicating voice data and control signals with the communication terminal 20, and performs short-distance wireless communication using, for example, Bluetooth (registered trademark). Of course, the communication is not limited to wireless communication, and may be wired. The communication device 140 converts the voice data (sent voice) received from the voice data processing device 120 into analog voice data, and transmits the analog voice data to the communication terminal of the other party via the communication terminal 20. Further, the communication device 140 accepts input of analog voice data (received voice) from the communication terminal of the other party via the communication terminal 20, converts it into digital voice data, and outputs it to the voice data processing device 120.

D/A変換器150は、音声データ処理装置120から出力されるデジタルの音声データや、制御装置100から出力されるデジタルの音声データ(例えば、後述する基準音や、着信音)をアナログの音声データに変換し、スピーカ170に出力する。   The D / A converter 150 converts the digital audio data output from the audio data processing device 120 and the digital audio data output from the control device 100 (for example, a reference sound and a ring tone described later) into analog audio. The data is converted and output to the speaker 170.

スピーカ170は、ハンズフリー通話装置10に接続され、D/A変換器150から送られた音声データ(受話音声)や後述する基準音を音声出力するための装置である。もちろん、スピーカ170は、ハンズフリー通話装置10に内蔵されていてもよいし、内蔵されていなくてもよい。内蔵されていない場合は、例えば、車内LANなどを介して、他の機器(例えば、オーディオシステム)のスピーカを接続して使用するようにしてもよい。   The speaker 170 is connected to the handsfree call device 10 and is a device for outputting sound data (received sound) sent from the D / A converter 150 and a reference sound described later. Of course, the speaker 170 may or may not be built in the hands-free call device 10. When not built-in, for example, a speaker of another device (for example, an audio system) may be connected and used via an in-vehicle LAN or the like.

制御装置100は、上述した各種装置の制御や、通信端末20との通信の制御など、様々な処理を行う中心的ユニットである。制御装置100は、CPU101と、RAMやROMなどのメモリ102を有する。また、外部の装置との間でデータの送受信を制御するI/Oインタフェースなどを備えている。   The control device 100 is a central unit that performs various processes such as control of various devices described above and control of communication with the communication terminal 20. The control device 100 includes a CPU 101 and a memory 102 such as a RAM or a ROM. In addition, an I / O interface for controlling transmission / reception of data to / from an external device is provided.

ナビゲーションシステム30は、経路誘導を行う一般的なカーナビゲーションシステムである。ナビゲーションシステム30は、例えば、ユーザの操作を受け付ける入力装置と、地図などの画面を表示するための表示装置と、各種演算を行う演算装置(CPU、メモリなど)と、地図データ等が記憶された記憶装置と、各種センサ(ジャイロセンサ、車速センサなど)と、GPS(Global Positioning System)受信機とを有する(いずれも図示しない)。   The navigation system 30 is a general car navigation system that performs route guidance. The navigation system 30 stores, for example, an input device that accepts user operations, a display device for displaying a screen such as a map, an arithmetic device (CPU, memory, etc.) that performs various calculations, map data, and the like. It has a storage device, various sensors (such as a gyro sensor and a vehicle speed sensor), and a GPS (Global Positioning System) receiver (all not shown).

入力装置は、ユーザからの指示を受け付けるための装置であり、例えば、表示装置の画面上に貼られたタッチセンサパネル、ジョイスティック、キーボードなどのハードスイッチなどで構成される。表示装置は、グラフィックス情報を表示する装置であり、例えば、液晶表示装置などからなる。演算装置は、各種センサやGPS受信装置から出力される情報を用いて現在位置を算出する。また、演算装置は、算出した現在位置の周辺の地図データを記憶装置から読み出し、その読み出した地図データに現在位置を示すマークを重ねた画面を表示装置に表示する。また、演算装置は、目的地までの推奨経路の探索し、ユーザを目的地まで経路誘導する。   The input device is a device for receiving an instruction from the user, and includes, for example, a hard sensor such as a touch sensor panel, a joystick, or a keyboard attached on the screen of the display device. The display device is a device that displays graphics information, and includes, for example, a liquid crystal display device. The computing device calculates the current position using information output from various sensors and a GPS receiver. Further, the arithmetic device reads out map data around the calculated current position from the storage device, and displays a screen in which a mark indicating the current position is superimposed on the read map data on the display device. The computing device also searches for a recommended route to the destination and guides the user to the destination.

また、ナビゲーションシステム30は、ハンズフリー装置10と接続される。車内LANなどを介して接続されてもよいし、直接接続されていてもよい。もちろん、ハンズフリー装置10を内蔵していてもよい。ナビゲーションシステム30は、例えば、ユーザが電話を掛ける操作を受け付けるための画面を表示装置に表示する。そして、入力装置を介してユーザの操作を受け付けて、ユーザが指定した相手先の通信端末25と回線接続を行うように、ハンズフリー通話装置10を制御する。また、着信があった場合は、通話を開始するためのボタンなどを表示装置に表示する。そして、入力装置を介してユーザの操作を受け付けて、相手先の通信端末25と通話を開始できるように、ハンズフリー通話装置10を制御する。また、各種センサが出力する情報などをハンズフリー装置10に送る。   The navigation system 30 is connected to the handsfree device 10. It may be connected via an in-vehicle LAN or the like, or may be directly connected. Of course, the hands-free device 10 may be incorporated. For example, the navigation system 30 displays a screen for accepting an operation of making a phone call by the user on the display device. Then, the user's operation is received through the input device, and the hands-free call device 10 is controlled so as to establish a line connection with the communication terminal 25 of the other party designated by the user. When there is an incoming call, a button for starting a call is displayed on the display device. Then, the user's operation is received via the input device, and the hands-free call device 10 is controlled so that a call can be started with the communication terminal 25 of the other party. In addition, information output from various sensors is sent to the hands-free device 10.

車両情報検知システム40は、車両に関する情報を検知するためのシステムであり、車内LANなどを介してハンズフリー通話装置10と接続される。車両情報検知システム40は、例えば、窓、オーディオ、エアコンなどの各種機器を制御する装置や各種センサであり、窓の開閉、オーディオの動作状態、エアコンの動作状態などを検知する。また、シート重量センサやカメラなどにより、乗車人数や荷物、それらの位置などを検知する。そして、車両情報検知システム40は、検知した情報をハンズフリー装置10に送る。   The vehicle information detection system 40 is a system for detecting information related to the vehicle, and is connected to the handsfree call device 10 via an in-vehicle LAN or the like. The vehicle information detection system 40 is, for example, a device or various sensors that control various devices such as windows, audio, and air conditioners, and detects opening / closing of windows, audio operating states, air conditioner operating states, and the like. In addition, the number of passengers, luggage, and their positions are detected by a seat weight sensor or a camera. Then, the vehicle information detection system 40 sends the detected information to the handsfree device 10.

図2は、制御装置100が備える機能の構成を示すブロック図である。   FIG. 2 is a block diagram illustrating a configuration of functions included in the control device 100.

本図に示すように、制御装置100は、主制御部1001と、ユーザ操作受付部1002と、基準音出力部1003と、パラメータ算出部1004とを有する。また、車両情報取得部1005や、パラメータ記憶部1006を有していてもよい。これらの機能部は、CPU101が、メモリ102に記憶されているプログラムを実行することにより構築される。   As shown in the figure, the control device 100 includes a main control unit 1001, a user operation reception unit 1002, a reference sound output unit 1003, and a parameter calculation unit 1004. Moreover, you may have the vehicle information acquisition part 1005 and the parameter memory | storage part 1006. These functional units are constructed when the CPU 101 executes a program stored in the memory 102.

主制御部1001は、ハンズフリー通話装置10全体の動作を制御する。例えば、通信端末20と制御信号を送受信して、通話の開始や終了の制御を行う。主制御部1001は、入力装置や、ナビゲーションシステム30の入力装置を介してユーザの操作を受け付けて、通信端末20を介して、指定された相手先の通信端末25と回線接続を行う。通信端末20が着信を受けた場合、入力装置や、ナビゲーションシステム30の入力装置を介してユーザの操作を受け付けて、通話の開始できるように制御する。また、主制御部1001は、ユーザからの各種要求を受け付けるための画面を、ナビゲーション装置30の表示装置に表示する。また、主制御部1001は、基準音出力部1003に基準音を出力するように指示したり、パラメータ算出部1004にパラメータを算出するように指示したりする。   The main control unit 1001 controls the operation of the entire hands-free call device 10. For example, a control signal is transmitted to and received from the communication terminal 20 to control the start and end of a call. The main control unit 1001 accepts a user operation via the input device or the input device of the navigation system 30, and performs line connection with the designated communication terminal 25 via the communication terminal 20. When the communication terminal 20 receives an incoming call, the communication terminal 20 receives a user operation via the input device or the input device of the navigation system 30 and performs control so that a call can be started. Further, the main control unit 1001 displays a screen for accepting various requests from the user on the display device of the navigation device 30. Further, the main control unit 1001 instructs the reference sound output unit 1003 to output a reference sound, and instructs the parameter calculation unit 1004 to calculate parameters.

ユーザ操作受付部1002は、入力装置や、ナビゲーションシステム30の入力装置を介して入力されたユーザの操作を受け付け、その操作内容を解析して、その操作内容に対応する処理が実行されるように他の機能部を制御する。例えば、入力装置や、ナビゲーションシステム30の入力装置を介して、通話の開始の要求を受け付けると、指定された相手先の通信端末25と回線接続を行うように、主制御部1001に要求する。   The user operation receiving unit 1002 receives a user operation input via the input device or the input device of the navigation system 30, analyzes the operation content, and executes a process corresponding to the operation content. Control other functional units. For example, when a request to start a call is received via the input device or the input device of the navigation system 30, the main control unit 1001 is requested to establish a line connection with the designated communication terminal 25.

基準音出力部1003は、指定されたタイミングで、パラメータの算出に用いる基準音をスピーカ170に出力する。具体的には、ユーザの指示や着信があった場合に、予めメモリ102上に格納された基準音(または、着信音)のデジタル音声データを、D/A変換器150を介してスピーカ170に出力する。もちろん、基準音は、予めメモリ102上に格納されたデータでなくてもよく、例えば、通信端末20から送られてくる着信音や、ナビゲーションシステム30が出力するチャイム音などであってもよい。   The reference sound output unit 1003 outputs a reference sound used for parameter calculation to the speaker 170 at a designated timing. Specifically, when there is a user instruction or an incoming call, the digital sound data of the reference sound (or ringtone) stored in advance in the memory 102 is sent to the speaker 170 via the D / A converter 150. Output. Of course, the reference sound may not be data stored in the memory 102 in advance, and may be, for example, a ringtone sent from the communication terminal 20 or a chime sound output from the navigation system 30.

パラメータ算出部1004は、基準音が出力されたときの車両の状況において、エコーの量が最小化するパラメータを算出して、エコーキャンセラ121に設定する。具体的には、基準音出力部1003により出力された基準音のデジタル音声データと、その基準音がスピーカ170から出力されている間にマイクロフォン180から集音されてA/D変換器160によりデジタルに変換された音声データとを比較することにより、遅延時間、反射音量、位相変化、周波数特性などを算出し、これらを用いてエコーの量を最小化するパラメータを算出する。そして、算出したパラメータをパラメータ保持部122に設定する。   The parameter calculation unit 1004 calculates a parameter that minimizes the amount of echo in the situation of the vehicle when the reference sound is output, and sets the parameter in the echo canceller 121. Specifically, the digital sound data of the reference sound output from the reference sound output unit 1003 and the sound collected from the microphone 180 while the reference sound is output from the speaker 170 and digitally output by the A / D converter 160. The delay time, the reflected sound volume, the phase change, the frequency characteristic, and the like are calculated by comparing with the audio data converted into, and a parameter for minimizing the amount of echoes is calculated using these. The calculated parameter is set in the parameter holding unit 122.

車両情報取得部1005は、ナビゲーションシステム30や車両情報検知システム40から、様々な情報を取得する。取得する情報は、例えば、日時、乗車人数、位置、窓の開閉状態、走行状態、オーディオやエアコンの動作状態などである。これらの情報は、主制御部1001に送られて使用される。もちろん、車両情報は、上記の中のいくつかの組み合わせであってもよい。また、上記以外の情報を用いてもよい。   The vehicle information acquisition unit 1005 acquires various information from the navigation system 30 and the vehicle information detection system 40. The information to be acquired includes, for example, date and time, number of passengers, position, window open / closed state, traveling state, audio and air conditioner operating state, and the like. These pieces of information are sent to the main control unit 1001 for use. Of course, the vehicle information may be some combination of the above. Information other than the above may be used.

パラメータ記憶部1006には、パラメータ算出部1004が算出したパラメータが格納される。格納されたパラメータは、例えば、マイクロフォン180から集音された音声データに雑音が多く含まれることにより、パラメータ算出部1004が有効なパラメータを算出することができなかった場合などに、パラメータ算出部1004によってパラメータ保持部122に設定される。なお、初回のパラメータ算出で有効なパラメータを得られなかった場合のために、デフォルトのパラメータを予め格納しておいてもよい。具体的には、例えば、図6に示すように、パラメータ算出時に、車両情報取得部1005が取得した車両情報601と、パラメータ算出部1004が算出したパラメータ602が対応付けられて格納される。車両情報601を格納しておくことにより、車両の状況をキーとして、車両の状況に最適なパラメータを選択することができる。   The parameter storage unit 1006 stores the parameters calculated by the parameter calculation unit 1004. The stored parameter is, for example, when the parameter calculation unit 1004 cannot calculate an effective parameter due to a lot of noise included in the voice data collected from the microphone 180, and the like. Is set in the parameter holding unit 122. Note that a default parameter may be stored in advance in the case where a valid parameter cannot be obtained by the first parameter calculation. Specifically, for example, as shown in FIG. 6, at the time of parameter calculation, the vehicle information 601 acquired by the vehicle information acquisition unit 1005 and the parameter 602 calculated by the parameter calculation unit 1004 are stored in association with each other. By storing the vehicle information 601, it is possible to select the optimum parameter for the vehicle situation using the vehicle situation as a key.

次に、図3を参照して、パラメータを算出する処理について説明する。   Next, with reference to FIG. 3, processing for calculating parameters will be described.

図3は、基準音を出力してパラメータを設定する処理の流れを示すフロー図である。この処理は、ハンズフリー通話装置10が起動されることにより開始される。   FIG. 3 is a flowchart showing a flow of processing for setting a parameter by outputting a reference sound. This process is started when the hands-free call device 10 is activated.

まず、主制御部1001は、基準音出力条件を満たすか否かにより、基準音を出力するタイミングであるか否かを判定する(S110)。そして、基準音を出力するタイミングであると判定した場合(S110でYES)、S120に進む。一方、基準音を出力するタイミングでないと判定した場合(S110でNO)、S110に戻る。基準音出力条件としては、以下の(1)〜(3)がある。   First, the main control unit 1001 determines whether it is the timing to output the reference sound, based on whether the reference sound output condition is satisfied (S110). If it is determined that it is time to output the reference sound (YES in S110), the process proceeds to S120. On the other hand, if it is determined that it is not time to output the reference sound (NO in S110), the process returns to S110. The reference sound output conditions include the following (1) to (3).

(1)ユーザの指示があった場合。係る場合、主制御部1001は、ユーザ操作受付部1002を介してパラメータを設定するためのユーザの指示を受け付けると、基準音を出力するタイミングであると判定する。なお、ユーザの指示は、例えば、ハンズフリー通話装置10に設けたボタンの操作により入力されてもよいし、ナビゲーションシステム30に設けたボタンや表示装置の画面上に貼られたタッチセンサパネルの操作により入力されてもよい。   (1) When there is an instruction from the user. In this case, when receiving a user instruction for setting parameters via the user operation receiving unit 1002, the main control unit 1001 determines that it is the timing to output the reference sound. The user's instruction may be input, for example, by operating a button provided on the hands-free call device 10, or an operation of a button provided on the navigation system 30 or a touch sensor panel pasted on a display device screen. May be input.

(2)着信があった場合。係る場合、主制御部1001は、通信端末20が受けた着信を通信装置140を介して検知すると、基準音を出力するタイミングであると判定する。   (2) When there is an incoming call. In such a case, when the incoming call received by the communication terminal 20 is detected via the communication device 140, the main control unit 1001 determines that it is time to output the reference sound.

(3)車両情報に変化があった場合。係る場合、主制御部1001は、所定の間隔毎(例えば、所定の時間毎)に、車両情報取得部1005を介して、ナビゲーションシステム30や車両情報検知システム40から、上述したような車両情報を取得する。そして、既に取得した車両情報と、最新の車両情報とを比較することにより、車両の状況に変化があるか否かを判定する。例えば、窓が開かれた若しくは閉じられたか、乗車人数が減ったか若しくは増えたかなどを判定する。車両情報に変化があったと判定した場合、基準音を出力するタイミングであると判定する。なお、車両情報は、所定の間隔毎、もしくは、車両情報に変化があった場合に、ナビゲーションシステム30や車両情報検知システム40から送信されるように構成してもよい。   (3) When there is a change in vehicle information. In this case, the main control unit 1001 obtains vehicle information as described above from the navigation system 30 or the vehicle information detection system 40 via the vehicle information acquisition unit 1005 at predetermined intervals (for example, every predetermined time). get. Then, by comparing the already acquired vehicle information with the latest vehicle information, it is determined whether or not there is a change in the vehicle status. For example, it is determined whether the window has been opened or closed, or the number of passengers has decreased or increased. When it is determined that there is a change in the vehicle information, it is determined that it is time to output the reference sound. The vehicle information may be configured to be transmitted from the navigation system 30 or the vehicle information detection system 40 at every predetermined interval or when the vehicle information has changed.

以上の(1)〜(3)の基準音出力条件は、全てが設定されていてもよいし、いくつかが設定されていてもよい。また、ユーザが選択して設定するようにしてもよい。なお、ハンズフリー通話装置10の電源がONになった場合を、基準音出力条件としてもよい。また、(3)において、車両情報として車両を識別する情報を取得するようにして、ハンズフリー通話装置10、もしくは、ハンズフリー通話装置10を組み込んだPNDを別の車両に乗せかえた場合に基準音を出力させてもよい。   All of the above reference sound output conditions (1) to (3) may be set, or some of them may be set. Alternatively, the user may select and set. Note that the reference sound output condition may be when the hands-free communication device 10 is turned on. Also, in (3), when the vehicle identification information is acquired as vehicle information, the hands-free call device 10 or the PND incorporating the hands-free call device 10 is replaced with another vehicle. Sound may be output.

図3に戻って、基準音を出力するタイミングであると判定された場合(S110でYES)、基準音出力部1003は、主制御部1001から指示を受けて、メモリ102上に格納された基準音(または、着信音)のデジタル音声データを読み出して、D/A変換器150を介してスピーカ170から出力する(S120)。   Returning to FIG. 3, when it is determined that it is the timing to output the reference sound (YES in S <b> 110), the reference sound output unit 1003 receives the instruction from the main control unit 1001 and stores the reference stored in the memory 102. Digital sound data of sound (or ringtone) is read out and output from the speaker 170 via the D / A converter 150 (S120).

基準音の出力が開始されると(S120)、パラメータ算出部1004は、基準音出力部100が出力に用いた基準音のデジタル音声データと、マイクロフォン180から集音されてA/D変換器160によりデジタルに変換された音声データとを用いて、音声データの分析を開始する(S130)。具体的には、出力された基準音の音声データと、入力された音声データとを比較することにより、遅延時間、反射音量、位相変化、周波数特性などを算出する。   When the output of the reference sound is started (S120), the parameter calculation unit 1004 collects the digital sound data of the reference sound used for the output by the reference sound output unit 100 and the microphone 180, and the A / D converter 160. The analysis of the audio data is started using the audio data converted to digital by (S130). Specifically, the delay time, reflection volume, phase change, frequency characteristics, and the like are calculated by comparing the output sound data of the reference sound and the input sound data.

また、パラメータ算出部1004は、入力された音声データに、基準音や基準音のエコーなど以外に、雑音(例えば、オーディオの音、走行中の騒音など)が所定値以上含まれているか否か判定する(S140)。雑音が所定値未満であると判定した場合(S140でNO)、S150に進む。一方、雑音が所定値以上であると判定した場合(S140でYES)、パラメータの算出を中止し、S110に戻る。なお、パラメータの算出を中止した場合、デフォルトのパラメータをエコーキャンセラ121に設定するか、もしくは、既に設定されたパラメータを変更しないようにすればよい。   Further, the parameter calculation unit 1004 determines whether noise (eg, audio sound, running noise, etc.) is included in the input audio data in addition to the reference sound and the echo of the reference sound or more than a predetermined value. Determine (S140). When it is determined that the noise is less than the predetermined value (NO in S140), the process proceeds to S150. On the other hand, if it is determined that the noise is equal to or greater than the predetermined value (YES in S140), the parameter calculation is stopped and the process returns to S110. When the parameter calculation is stopped, the default parameter may be set in the echo canceller 121 or the already set parameter may not be changed.

雑音が所定値未満であると判定した場合(S140でNO)、パラメータ算出部1004は、算出した遅延時間、反射音量、位相変化、周波数特性などを用いて、エコーの量を最小化するパラメータを算出する(S150)。   If it is determined that the noise is less than the predetermined value (NO in S140), the parameter calculation unit 1004 uses the calculated delay time, reflection volume, phase change, frequency characteristics, and the like to set a parameter that minimizes the amount of echo. Calculate (S150).

また、パラメータ算出部1004は、算出したパラメータをエコーキャンセラ121のパラメータ保持部122に設定し(S160)、S110に戻る。   The parameter calculation unit 1004 sets the calculated parameter in the parameter holding unit 122 of the echo canceller 121 (S160), and returns to S110.

上述のようにして、基準音が出力され、エコーキャンセラにパラメータが設定される。   As described above, the reference sound is output and parameters are set in the echo canceller.

以上の実施形態によれば、予め定められたパラメータではなく、車両の状況に応じたパラメータが算出されてエコーキャンセラに設定されるため、車両の状況に応じたエコーキャンセルが行われ、エコーが少ない音質での通話を実現することができる。また、着信音を基準音として使用する場合、ユーザが通話を開始する直前の車両の状況に応じたパラメータを算出できるため、よりエコーが少ない音質での通話を実現することができる。また、着信音を基準音として使用する場合、ユーザは着信があることを認識するだけなので、着信以外の状況で基準音を鳴らす場合と異なり、ユーザにとって違和感がない。   According to the above-described embodiment, parameters not according to predetermined parameters but parameters according to vehicle conditions are calculated and set in the echo canceller, so that echo cancellation is performed according to the vehicle conditions and there are few echoes. Calls with sound quality can be realized. Further, when the ring tone is used as the reference sound, the parameter according to the vehicle situation immediately before the user starts the call can be calculated, so that the call with a sound quality with less echo can be realized. In addition, when the ring tone is used as the reference sound, the user only recognizes that there is an incoming call. Therefore, unlike the case where the reference sound is played in a situation other than the incoming call, there is no sense of discomfort for the user.

また、以上の実施形態によれば、基準音の音声データはハンズフリー通話装置自らが保持しているものである。そのため、マイクロフォンから集音した基準音以外の音声データを用いてパラメータを算出するようなハンズフリー通話装置に比べ、より車両の状況に適したパラメータを精度良く算出することができる。また、マイクロフォンから集音した基準音以外の音声データを用いて、継続的に学習を行ってパラメータを更新するようなハンズフリー通話装置に比べ、処理の負荷が少ない。   Further, according to the above embodiment, the audio data of the reference sound is held by the hands-free call device itself. Therefore, it is possible to calculate a parameter more suitable for the situation of the vehicle more accurately than a hands-free call device that calculates a parameter using sound data other than the reference sound collected from the microphone. In addition, the processing load is less than that of a hands-free call device that continuously learns and updates parameters using sound data other than the reference sound collected from the microphone.

さらに、以上の実施形態によれば、ハンズフリー通話装置の製造時や出荷時に、車両に合わせてパラメータをチューニングする必要がなくなり、コスト削減をすることができる。また、車両に合わせて特別にハンズフリー通話装置を製造している場合は、その必要がなくなる。   Furthermore, according to the above embodiment, it is not necessary to tune parameters in accordance with the vehicle at the time of manufacturing or shipping the hands-free communication device, and the cost can be reduced. In addition, when a hands-free communication device is specially manufactured according to the vehicle, the necessity is eliminated.

次に、上述の実施形態の変形例について、図面を参照して説明する。システム構成およびハードウェア構成(図1)と、機能構成(図2)は、上述の実施形態と同様なので説明を省略する。以下、上述の実施形態と異なる点を中心に説明する。   Next, a modification of the above-described embodiment will be described with reference to the drawings. Since the system configuration, the hardware configuration (FIG. 1), and the functional configuration (FIG. 2) are the same as those in the above-described embodiment, description thereof is omitted. Hereinafter, a description will be given focusing on differences from the above-described embodiment.

図4は、変形例に係る、基準音を出力してパラメータを設定する処理の流れを示すフロー図である。なお、図3と同様の処理については同一の符号を付して説明を省略する。   FIG. 4 is a flowchart showing a flow of processing for outputting a reference sound and setting parameters according to a modification. In addition, about the process similar to FIG. 3, the same code | symbol is attached | subjected and description is abbreviate | omitted.

入力音声データの分析が開始されると(S130)、車両情報取得部1005は、ナビゲーションシステム30や車両情報検知システム40から、上述したような車両情報を取得する(S135)。   When the analysis of the input voice data is started (S130), the vehicle information acquisition unit 1005 acquires the vehicle information as described above from the navigation system 30 and the vehicle information detection system 40 (S135).

算出したパラメータをエコーキャンセラ121のパラメータ保持部122に設定すると(S160)、パラメータ算出部1004は、取得された車両情報(S135)と、算出したパラメータ(S150)とを対応付けて、図6に示すように、パラメータ記憶部1006に格納する(S170)。その後、S110に戻る。   When the calculated parameter is set in the parameter holding unit 122 of the echo canceller 121 (S160), the parameter calculation unit 1004 associates the acquired vehicle information (S135) with the calculated parameter (S150), as shown in FIG. As shown, it is stored in the parameter storage unit 1006 (S170). Thereafter, the process returns to S110.

一方、雑音が所定置以上であると判定した場合(S140でYES)、パラメータ算出部1004は、パラメータ記憶部1006に格納されているパラメータを取得する(S180)。具体的には、取得された車両情報(S135)をキーとして、一致する車両情報601を選択する。そして、選択した車両情報601に対応付けられているパラメータ602を取得する。なお、内容が完全に一致する車両情報を選択するようにしてもよいし、最も内容が近似する車両情報を選択するようにしてもよい。例えば、走行速度を車両情報として用いている場合、走行速度の差分が所定の閾値内(例えば、プラスマイナス時速5km以内)であれば一致するものとして判定する。   On the other hand, when it is determined that the noise is equal to or greater than the predetermined value (YES in S140), the parameter calculation unit 1004 acquires the parameters stored in the parameter storage unit 1006 (S180). Specifically, the matching vehicle information 601 is selected using the acquired vehicle information (S135) as a key. And the parameter 602 matched with the selected vehicle information 601 is acquired. In addition, you may make it select the vehicle information in which the content corresponds completely, and you may make it select the vehicle information with the most approximate content. For example, when the travel speed is used as the vehicle information, it is determined that they match if the difference in travel speed is within a predetermined threshold (for example, within plus or minus 5 km / h).

パラメータ記憶部1006からパラメータを取得すると(S180)、パラメータ算出部1004は、取得したパラメータをエコーキャンセラ121のパラメータ保持部122に設定し(S190)、S110に戻る。なお、パラメータを取得できなかった場合は、デフォルトのパラメータをエコーキャンセラ121に設定するか、もしくは、既に設定されたパラメータを変更しないようにすればよい。   When the parameter is acquired from the parameter storage unit 1006 (S180), the parameter calculation unit 1004 sets the acquired parameter in the parameter holding unit 122 of the echo canceller 121 (S190), and returns to S110. If a parameter cannot be acquired, a default parameter may be set in the echo canceller 121, or an already set parameter may not be changed.

上述のようにして、基準音が出力され、エコーキャンセラにパラメータが設定される。   As described above, the reference sound is output and parameters are set in the echo canceller.

以上の変形例によれば、上述の実施形態の効果に加え、パラメータの算出ができない場合であっても、蓄積されたパラメータの中から車両の状況に応じたパラメータが選択されるため、エコーが少ない音質での通話を実現することができる。   According to the above modification, in addition to the effect of the above-described embodiment, even if the parameter cannot be calculated, the parameter corresponding to the vehicle situation is selected from the accumulated parameters, so that the echo is not generated. Calls with low sound quality can be realized.

次に、他の変形例について、図面を参照して説明する。システム構成およびハードウェア構成(図1)と、機能構成(図2)は、上述の実施形態と同様なので説明を省略する。以下、上述の実施形態と異なる点を中心に説明する。   Next, another modification will be described with reference to the drawings. Since the system configuration, the hardware configuration (FIG. 1), and the functional configuration (FIG. 2) are the same as those in the above-described embodiment, description thereof is omitted. Hereinafter, a description will be given focusing on differences from the above-described embodiment.

図5は、他の変形例に係る、基準音の出力からパラメータの設定までの処理の流れを示すフロー図である。なお、図3、図4と同様の処理については同一の符号を付して説明を省略する。   FIG. 5 is a flowchart showing a flow of processing from the output of the reference sound to the parameter setting according to another modification. In addition, about the process similar to FIG. 3, FIG. 4, the same code | symbol is attached | subjected and description is abbreviate | omitted.

S110は、基準音出力条件として着信を用いる場合(2)、すなわち、着信音を基準音として出力する場合は、その着信音からパラメータを算出できるため、本変形例には含まれないものとしてもよい。本変形例に含む場合は、パラメータをパラメータ記憶部1006から取得するか否かに係らず、着信音を出力するものとする。   In S110, when the incoming call is used as the reference sound output condition (2), that is, when the incoming call sound is output as the reference sound, the parameter can be calculated from the incoming call sound. Good. When included in the present modification, it is assumed that a ring tone is output regardless of whether the parameter is acquired from the parameter storage unit 1006 or not.

基準音を出力するタイミングであると判定された場合(S110でYES)、車両情報取得部1005は、ナビゲーションシステム30や車両情報検知システム40から、上述したような車両情報を取得する(S115)。   When it is determined that it is time to output the reference sound (YES in S110), the vehicle information acquisition unit 1005 acquires the vehicle information as described above from the navigation system 30 or the vehicle information detection system 40 (S115).

そして、パラメータ算出部1004は、車両の状況に最も適したパラメータをパラメータ記憶部1006から検索する(S116)。具体的には、取得された車両情報(S115)をキーとして、パラメータ記憶部1006から、一致する車両情報601を検索する。一致する車両情報601があると判定した場合(S116でYES)、S180に進む。一方、一致する車両情報601がないと判定した場合(S116でNO)、S120に進む。なお、内容が完全に一致する車両情報を選択するようにしてもよいし、最も内容が近似する車両情報を選択するようにしてもよい。   Then, the parameter calculation unit 1004 searches the parameter storage unit 1006 for a parameter most suitable for the vehicle situation (S116). Specifically, matching vehicle information 601 is searched from the parameter storage unit 1006 using the acquired vehicle information (S115) as a key. If it is determined that there is matching vehicle information 601 (YES in S116), the process proceeds to S180. On the other hand, if it is determined that there is no matching vehicle information 601 (NO in S116), the process proceeds to S120. In addition, you may make it select the vehicle information in which the content corresponds completely, and you may make it select the vehicle information with the most approximate content.

一致する車両情報601があると判定した場合(S116でYES)、パラメータ算出部1004は、その一致した車両情報601に対応付けられているパラメータ602をパラメータ記憶部1006から取得する(S180)。また、雑音が所定置以上であると判定した場合(S140でYES)、パラメータ算出部1004は、パラメータ記憶部1006に格納されているパラメータを取得する(S180)。具体的には、取得された車両情報(S115)をキーとして、一致する車両情報601を選択する。そして、選択した車両情報601に対応付けられているパラメータ602を取得する。なお、内容が完全に一致する車両情報を選択するようにしてもよいし、最も内容が近似する車両情報を選択するようにしてもよい。   When it is determined that there is matching vehicle information 601 (YES in S116), the parameter calculation unit 1004 acquires a parameter 602 associated with the matched vehicle information 601 from the parameter storage unit 1006 (S180). If it is determined that the noise is greater than or equal to the predetermined position (YES in S140), the parameter calculation unit 1004 acquires parameters stored in the parameter storage unit 1006 (S180). Specifically, the matching vehicle information 601 is selected using the acquired vehicle information (S115) as a key. And the parameter 602 matched with the selected vehicle information 601 is acquired. In addition, you may make it select the vehicle information in which the content corresponds completely, and you may make it select the vehicle information with the most approximate content.

上述のようにして、エコーキャンセラにパラメータが設定される。   As described above, parameters are set in the echo canceller.

以上の変形例によれば、上述の実施形態や変形例の効果に加え、蓄積されたパラメータの中から車両の状況に応じたパラメータが選択されるため、パラメータの算出を行わずに、エコーが少ない音質での通話を実現することができる。また、蓄積されたパラメータが増加するにつれて、どのような車両の状況であっても、パラメータの算出を行わずに最適なパラメータが選択され、エコーが少ない音質での通話を実現することができる。   According to the above modification, in addition to the effects of the above-described embodiment and modification, a parameter corresponding to the situation of the vehicle is selected from the accumulated parameters, so that the echo is not calculated without calculating the parameter. Calls with low sound quality can be realized. Further, as the accumulated parameters increase, an optimum parameter is selected without calculating the parameter in any vehicle situation, and a call with sound quality with less echo can be realized.

以上、本発明について、例示的な実施形態と関連させて記載した。多くの代替物、修正および変形例が当業者にとって明らかであることは明白である。したがって、上に記載の本発明の実施形態は、本発明の要旨と範囲を例示することを意図し、限定するものではない。   The present invention has been described in connection with exemplary embodiments. Obviously, many alternatives, modifications, and variations will be apparent to practitioners skilled in this art. Accordingly, the above-described embodiments of the present invention are intended to illustrate and not limit the gist and scope of the present invention.

例えば、ハンズフリー通話装置10に、マイクロフォン180から集音されてA/D変換器160によりデジタルに変換された音声データから、基準音の周波数域の音声データのみを取り出すフィルタを備えることができる。このようにすれば、パラメータの算出の失敗の可能性を減らし、精度良くパラメータを算出できるようになる。   For example, the hands-free call device 10 can be provided with a filter that extracts only audio data in the frequency range of the reference sound from the audio data collected from the microphone 180 and converted into digital by the A / D converter 160. In this way, the possibility of parameter calculation failure is reduced, and the parameter can be calculated with high accuracy.

システム構成およびハンズフリー通話装置のハードウェア構成の概略を示すブロック図。The block diagram which shows the outline of the hardware constitutions of a system configuration | structure and a hands-free call apparatus. 制御装置が備える機能の構成を示すブロック図。The block diagram which shows the structure of the function with which a control apparatus is provided. 基準音を出力してパラメータを設定する処理の流れを示すフロー図。The flowchart which shows the flow of the process which outputs a reference | standard sound and sets a parameter. 変形例に係る、基準音を出力してパラメータを設定する処理の流れを示すフロー図。The flowchart which shows the flow of the process which outputs a reference | standard sound and sets a parameter based on a modification. 他の変形例に係る、基準音を出力してパラメータを設定する処理の流れを示すフロー図。The flowchart which shows the flow of the process which outputs a reference sound and sets a parameter based on another modification. パラメータ記憶部に格納されるデータ構造の概略を示す図。The figure which shows the outline of the data structure stored in a parameter memory | storage part.

符号の説明Explanation of symbols

10・・・ハンズフリー通話装置、20・・・通信端末、25・・・通信端末、30・・・ナビゲーションシステム、40・・・車両情報検知システム、100・・・制御装置、101・・・CPU、102・・・メモリ、120・・・音声データ処理装置、121・・・エコーキャンセラ、122・・・パラメータ保持部、140・・・通信装置、150・・・D/A変換器、160・・・A/D変換器、170・・・スピーカ、180・・・マイクロフォン、
1001・・・主制御部、1002・・・ユーザ操作受付部、1003・・・基準音出力部、1004・・・パラメータ算出部、1005・・・車両情報取得部、1006・・・パラメータ記憶部、
601・・・車両情報、602・・・パラメータ
DESCRIPTION OF SYMBOLS 10 ... Hands-free communication apparatus, 20 ... Communication terminal, 25 ... Communication terminal, 30 ... Navigation system, 40 ... Vehicle information detection system, 100 ... Control apparatus, 101 ... CPU, 102 ... Memory, 120 ... Audio data processing device, 121 ... Echo canceller, 122 ... Parameter holding unit, 140 ... Communication device, 150 ... D / A converter, 160 ... A / D converter, 170 ... speaker, 180 ... microphone,
DESCRIPTION OF SYMBOLS 1001 ... Main control part, 1002 ... User operation reception part, 1003 ... Reference | standard sound output part, 1004 ... Parameter calculation part, 1005 ... Vehicle information acquisition part, 1006 ... Parameter storage part ,
601 ... vehicle information, 602 ... parameter

Claims (8)

エコーキャンセラを備えるハンズフリー通話装置であって、
前記エコーキャンセラが行うエコーキャンセル処理に用いるパラメータの設定要求を受け付けるユーザ操作受付手段と、
前記ユーザ操作受付手段がユーザの設定要求を受け付けた場合に、前記パラメータを算出するための基準音をスピーカから出力する基準音出力手段と、
前記基準音出力手段が出力に用いた基準音と、マイクロフォンを介して受け付けた音声データとを用いて前記パラメータを算出し、前記エコーキャンセラに設定するパラメータ算出手段と、
前記パラメータ算出手段が算出したパラメータを記憶するパラメータ記憶手段と、
外部の装置から車両情報を取得する車両情報取得手段と、を有し、
前記パラメータ算出手段は、
算出したパラメータが所定の条件を満たすと判定した場合に、前記車両情報取得手段により車両情報を取得し、当該パラメータを、前記エコーキャンセラに設定するとともに、前記パラメータに前記車両情報を対応付けて前記パラメータ記憶手段に記憶させ、
所定の条件を満たさないと判定した場合に、前記車両情報取得手段により車両情報を取得し、当該車両情報の内容と最も近似する内容を有する車両情報が対応付けられたパラメータを、前記パラメータ記憶手段から取得し、当該パラメータを前記エコーキャンセラに設定する、
ことを特徴とするハンズフリー通話装置。
A hands-free communication device equipped with an echo canceller,
User operation accepting means for accepting a parameter setting request for use in echo cancellation processing performed by the echo canceller;
Reference sound output means for outputting a reference sound for calculating the parameter from a speaker when the user operation accepting means accepts a user setting request;
Parameter calculation means for calculating the parameter using the reference sound used for output by the reference sound output means and voice data received via a microphone, and setting the echo canceller;
Parameter storage means for storing parameters calculated by the parameter calculation means;
Vehicle information acquisition means for acquiring vehicle information from an external device,
The parameter calculation means includes
When it is determined that the calculated parameter satisfies a predetermined condition, the vehicle information is acquired by the vehicle information acquisition unit, the parameter is set in the echo canceller, and the vehicle information is associated with the parameter. Stored in the parameter storage means,
When it is determined that a predetermined condition is not satisfied, vehicle information is acquired by the vehicle information acquisition unit, and a parameter associated with vehicle information having a content closest to the content of the vehicle information is associated with the parameter storage unit. And set the parameter in the echo canceller.
A hands-free call device characterized by that.
請求項に記載のハンズフリー通話装置であって、
前記パラメータ算出手段は、
前記ユーザ操作受付手段がユーザの設定要求を受け付けた場合に、前記車両情報取得手段により車両情報を取得し、当該車両情報の内容と最も近似する内容を有する車両情報が対応付けられたパラメータが、前記パラメータ記憶手段に記憶されているか否か判定し、
前記パラメータが記憶されていると判定された場合に、
前記基準音出力手段は、前記基準音を出力せず、
前記パラメータ算出手段は、前記パラメータ記憶手段に記憶されている前記パラメータを取得し、当該パラメータを前記エコーキャンセラに設定する、
ことを特徴とするハンズフリー通話装置。
The hands-free call device according to claim 1 ,
The parameter calculation means includes
When the user operation accepting means accepts a user's setting request, the vehicle information is obtained by the vehicle information obtaining means, and the parameter associated with the vehicle information having the content most similar to the content of the vehicle information, It is determined whether or not stored in the parameter storage means,
When it is determined that the parameter is stored,
The reference sound output means does not output the reference sound,
The parameter calculation means acquires the parameter stored in the parameter storage means, and sets the parameter in the echo canceller.
A hands-free call device characterized by that.
エコーキャンセラを備えるハンズフリー通話装置であって、
電話装置に着信があったか否かを判定する着信検知手段と、
前記着信検知手段が前記電話装置に着信があったと判定した場合に、取得した着信音を、前記エコーキャンセラが行うエコーキャンセル処理に用いるパラメータを算出するための基準音としてスピーカから出力する基準音出力手段と、
前記基準音出力手段が出力に用いた基準音と、マイクロフォンを介して受け付けた音声データとを用いて前記パラメータを算出し、前記エコーキャンセラに設定するパラメータ算出手段と、
前記パラメータ算出手段が算出したパラメータを記憶するパラメータ記憶手段と、
外部の装置から車両情報を取得する車両情報取得手段と、を有し、
前記パラメータ算出手段は、
算出したパラメータが所定の条件を満たすと判定した場合に、前記車両情報取得手段により車両情報を取得し、当該パラメータを、前記エコーキャンセラに設定するとともに、前記パラメータに前記車両情報を対応付けて前記パラメータ記憶手段に記憶させ、
所定の条件を満たさないと判定した場合に、前記車両情報取得手段により車両情報を取得し、当該車両情報の内容と最も近似する内容を有する車両情報が対応付けられたパラメータを、前記パラメータ記憶手段から取得し、当該パラメータを前記エコーキャンセラに設定する、
ことを特徴とするハンズフリー通話装置。
A hands-free communication device equipped with an echo canceller,
An incoming call detection means for determining whether or not an incoming call is received by the telephone device;
When the incoming call detection means determines that the telephone device has received an incoming call, a reference sound output is output from the speaker as a reference sound for calculating a parameter used for echo cancellation processing performed by the echo canceller. Means,
Parameter calculation means for calculating the parameter using the reference sound used for output by the reference sound output means and voice data received via a microphone, and setting the echo canceller;
Parameter storage means for storing parameters calculated by the parameter calculation means;
Vehicle information acquisition means for acquiring vehicle information from an external device,
The parameter calculation means includes
When it is determined that the calculated parameter satisfies a predetermined condition, the vehicle information is acquired by the vehicle information acquisition unit, the parameter is set in the echo canceller, and the vehicle information is associated with the parameter. Stored in the parameter storage means,
When it is determined that a predetermined condition is not satisfied, vehicle information is acquired by the vehicle information acquisition unit, and a parameter associated with vehicle information having a content closest to the content of the vehicle information is associated with the parameter storage unit. And set the parameter in the echo canceller.
A hands-free call device characterized by that.
請求項3に記載のハンズフリー通話装置であって、  The hands-free call device according to claim 3,
前記パラメータ算出手段は、  The parameter calculation means includes
前記着信検知手段が前記電話装置に着信があったと判定した場合に、前記車両情報取得手段により車両情報を取得し、当該車両情報の内容と最も近似する内容を有する車両情報が対応付けられたパラメータが、前記パラメータ記憶手段に記憶されているか否か判定し、  A parameter in which vehicle information is acquired by the vehicle information acquisition means when the incoming call detection means determines that an incoming call has been received by the telephone device, and vehicle information having a content closest to the content of the vehicle information is associated with the vehicle information Is stored in the parameter storage means,
前記パラメータが記憶されていると判定された場合に、  When it is determined that the parameter is stored,
前記基準音出力手段は、前記基準音を出力せず、  The reference sound output means does not output the reference sound,
前記パラメータ算出手段は、前記パラメータ記憶手段に記憶されている前記パラメータを取得し、当該パラメータを前記エコーキャンセラに設定する、  The parameter calculation means acquires the parameter stored in the parameter storage means, and sets the parameter in the echo canceller.
ことを特徴とするハンズフリー通話装置。  A hands-free call device characterized by that.
エコーキャンセラを備えるハンズフリー通話装置であって、
外部の装置から車両情報を取得する車両情報取得手段と、
既に取得した車両情報と最新の車両情報の内容を比較することにより、車両情報の内容に変更があるか否かを判定する車両情報判定手段と、
前記車両情報判定手段が前記車両情報の内容に変更があると判定した場合に、前記エコーキャンセラが行うエコーキャンセル処理に用いるパラメータを算出するための基準音をスピーカから出力する基準音出力手段と、
前記基準音出力手段が出力に用いた基準音と、マイクロフォンを介して受け付けた音声データとを用いて前記パラメータを算出し、前記エコーキャンセラに設定するパラメータ算出手段と、を有する、
ことを特徴とするハンズフリー通話装置。
A hands-free communication device equipped with an echo canceller,
Vehicle information acquisition means for acquiring vehicle information from an external device;
Vehicle information determination means for determining whether or not there is a change in the content of the vehicle information by comparing the content of the vehicle information already acquired and the content of the latest vehicle information;
A reference sound output means for outputting a reference sound for calculating a parameter used for echo cancellation processing performed by the echo canceller when the vehicle information determination means determines that there is a change in the content of the vehicle information;
Parameter calculation means for calculating the parameter using the reference sound used for output by the reference sound output means and sound data received via a microphone, and setting the echo canceller;
A hands-free call device characterized by that.
請求項に記載のハンズフリー通話装置であって、
前記パラメータ算出手段が算出したパラメータを記憶するパラメータ記憶手段を、さらに有し、
前記パラメータ算出手段は、
算出したパラメータが所定の条件を満たすと判定した場合に、当該パラメータを、前記エコーキャンセラに設定するとともに、前記パラメータ記憶手段に記憶させ、
所定の条件を満たさないと判定した場合に、前記パラメータ記憶手段に記憶されているパラメータを取得し、当該パラメータを、前記エコーキャンセラに設定する、
ことを特徴とするハンズフリー通話装置。
The hands-free call device according to claim 5 ,
The parameter storage means you memorize the parameters the parameter calculating means is calculated, and further comprising,
The parameter calculation means includes
When it is determined that the calculated parameter satisfies a predetermined condition, the parameter is set in the echo canceller and stored in the parameter storage unit,
When it is determined that the predetermined condition is not satisfied, the parameter stored in the parameter storage unit is acquired, and the parameter is set in the echo canceller.
A hands-free call device characterized by that.
請求項に記載のハンズフリー通話装置であって、
前記パラメータ算出手段は、
算出したパラメータが所定の条件を満たすと判定した場合に、前記車両情報取得手段により車両情報を取得し、当該パラメータを、前記エコーキャンセラに設定するとともに、前記パラメータに前記車両情報を対応付けて前記パラメータ記憶手段に記憶させ、
所定の条件を満たさないと判定した場合に、前記車両情報取得手段により車両情報を取得し、当該車両情報の内容と最も近似する内容を有する車両情報が対応付けられたパラメータを、前記パラメータ記憶手段から取得し、当該パラメータを前記エコーキャンセラに設定する、
ことを特徴とするハンズフリー通話装置。
The hands-free call device according to claim 6 ,
The parameter calculation means includes
When it is determined that the calculated parameter satisfies a predetermined condition, the vehicle information is acquired by the vehicle information acquisition unit, the parameter is set in the echo canceller, and the vehicle information is associated with the parameter. Stored in the parameter storage means,
When it is determined that a predetermined condition is not satisfied, vehicle information is acquired by the vehicle information acquisition unit, and a parameter associated with vehicle information having a content closest to the content of the vehicle information is associated with the parameter storage unit. And set the parameter in the echo canceller.
A hands-free call device characterized by that.
請求項に記載のハンズフリー通話装置であって、
前記パラメータ算出手段は、
前記車両情報判定手段が前記車両情報の内容に変更があると判定した場合に、前記車両情報取得手段により車両情報を取得し、当該車両情報の内容と最も近似する内容を有する車両情報が対応付けられたパラメータが、前記パラメータ記憶手段に記憶されているか否か判定し、
前記パラメータが記憶されていると判定された場合に、
前記基準音出力手段は、前記基準音を出力せず、
前記パラメータ算出手段は、前記パラメータ記憶手段に記憶されている前記パラメータを取得し、当該パラメータを前記エコーキャンセラに設定する、
ことを特徴とするハンズフリー通話装置。
The hands-free call device according to claim 7 ,
The parameter calculation means includes
When the vehicle information determination unit determines that there is a change in the content of the vehicle information, vehicle information is acquired by the vehicle information acquisition unit, and vehicle information having a content closest to the content of the vehicle information is associated with the vehicle information. It is determined whether or not the parameter is stored in the parameter storage means,
When it is determined that the parameter is stored,
The reference sound output means does not output the reference sound,
The parameter calculation means acquires the parameter stored in the parameter storage means, and sets the parameter in the echo canceller.
A hands-free call device characterized by that.
JP2007191865A 2007-07-24 2007-07-24 Hands-free call device Expired - Fee Related JP5058699B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007191865A JP5058699B2 (en) 2007-07-24 2007-07-24 Hands-free call device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007191865A JP5058699B2 (en) 2007-07-24 2007-07-24 Hands-free call device

Publications (2)

Publication Number Publication Date
JP2009033216A JP2009033216A (en) 2009-02-12
JP5058699B2 true JP5058699B2 (en) 2012-10-24

Family

ID=40403284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007191865A Expired - Fee Related JP5058699B2 (en) 2007-07-24 2007-07-24 Hands-free call device

Country Status (1)

Country Link
JP (1) JP5058699B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104685909B (en) * 2012-07-27 2018-02-23 弗劳恩霍夫应用研究促进协会 The apparatus and method of loudspeaker closing microphone system description are provided
US8880058B2 (en) * 2012-09-14 2014-11-04 Toyota Motor Engineering & Manufacturing North America, Inc. Automatic tuning system
WO2019106914A1 (en) * 2017-11-30 2019-06-06 ソニー株式会社 Signal processing device, signal processing method, and program
KR102652892B1 (en) * 2019-01-29 2024-03-28 구글 엘엘씨 Using structured audio output to detect playback and/or to adapt to misaligned playback in wireless speakers

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003008729A (en) * 2001-06-26 2003-01-10 Kenwood Corp Telephone machine and echo cancellation method
JP2003283645A (en) * 2002-03-27 2003-10-03 Clarion Co Ltd Vehicle-mounted hands-free apparatus, adjustment data distribution apparatus thereof, and vehicle-mounted hands-free system
JP2004274244A (en) * 2003-03-06 2004-09-30 Auto Network Gijutsu Kenkyusho:Kk Hands-free phone system
JP4506604B2 (en) * 2005-07-27 2010-07-21 株式会社デンソー Hands-free device

Also Published As

Publication number Publication date
JP2009033216A (en) 2009-02-12

Similar Documents

Publication Publication Date Title
US8618945B2 (en) In-vehicle communication system and in-vehicle apparatus
US20060052141A1 (en) Handsfree system and mobile phone
US7742792B2 (en) In-vehicle handsfree telephone system
US20100229116A1 (en) Control aparatus
JP5656442B2 (en) In-vehicle communication system
JP5058699B2 (en) Hands-free call device
JPH10304464A (en) Control method for hands-free system
JP5163686B2 (en) In-vehicle communication system
JP4297186B2 (en) Communication road noise control system, in-vehicle road noise control device and server
US8126514B2 (en) In-vehicle apparatus, cellular phone device, and method for controlling communication therebetween
JP4952205B2 (en) Hands-free device
JP2008236636A (en) On-vehicle hands-free telephone call device and navigation system for vehicles
US20100144399A1 (en) Handsfree in-vehicle device
JP4506604B2 (en) Hands-free device
JP2004242154A (en) Navigation system
US8010166B2 (en) Handsfree apparatus for vehicle
US7680519B2 (en) Handsfree apparatus including volume control
JP7296650B2 (en) System and program
JP3797204B2 (en) Car navigation system
JP4443449B2 (en) Hands-free call device
JP2005114521A (en) Vehicle-mounted voice recognition system
JP4300596B2 (en) Car navigation system
JP4457454B2 (en) Arrival information notification device
JP2004112050A (en) Communication terminal, its connection control method, and its program
JP4985068B2 (en) Name display device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100722

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120801

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees