[go: up one dir, main page]

JP2006129377A - Communications equipment and method - Google Patents

Communications equipment and method Download PDF

Info

Publication number
JP2006129377A
JP2006129377A JP2004318274A JP2004318274A JP2006129377A JP 2006129377 A JP2006129377 A JP 2006129377A JP 2004318274 A JP2004318274 A JP 2004318274A JP 2004318274 A JP2004318274 A JP 2004318274A JP 2006129377 A JP2006129377 A JP 2006129377A
Authority
JP
Japan
Prior art keywords
sound
user
output means
received
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004318274A
Other languages
Japanese (ja)
Inventor
Shinji Usuha
伸司 薄葉
Hiromi Aoyanagi
弘美 青柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2004318274A priority Critical patent/JP2006129377A/en
Publication of JP2006129377A publication Critical patent/JP2006129377A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To stably maintain high sound quality and to improve the convenience. <P>SOLUTION: Communications equipment is provided with two sound output means for outputting sound and three sound input means for inputting the sound and exchanges sound information indicating the sound with facing communications equipment. The communications equipment is also provided with a first sound working means for working received sound information with surrounding sound information, indicating the sound inputted to the first sound input means and then making the sound corresponding to the worked received sound information be outputted from the first sound output means, when a user is made to listen to the sound corresponding to the sound information received which has arrived from the facing communications equipment, by outputting it from the first sound output means; and a second sound working means similar to the first sound working means for the case of outputting the sound corresponding to the received sound information which has arrived from the facing communications equipment from the second sound output means. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は通信装置および方法に関し、例えば、携帯電話機でヘッドホン等を用いて音声通話を行う場合などに適用して好適なものである。   The present invention relates to a communication apparatus and method, and is suitably applied to, for example, a case where a voice call is performed using headphones or the like on a mobile phone.

ヘッドホンを利用した音声通話のための技術として、下記の特許文献1,2に記載されたものがある。   As a technique for voice communication using headphones, there are those described in Patent Documents 1 and 2 below.

特許文献1では、送受話部にマイクとスピーカを2つずつ設け、スピーカは左右の耳の近傍に配置し、2つのマイクは口の近傍で左右に配置する構成を取り、電話通話をステレオ信号を用いて行うことで立体的音響効果による臨場感のある高品質な通話を実現している。   In Patent Document 1, two microphones and two speakers are provided in the transmission / reception unit, the speakers are arranged in the vicinity of the left and right ears, and the two microphones are arranged in the left and right in the vicinity of the mouth. Is used to realize a high-quality call with a sense of reality due to a three-dimensional sound effect.

特許文献2では、ヘッドホンを使って左右のスピーカを聴取者の左右の耳の近傍に配置する構成を取り、音質に影響する振幅については、頭部伝達関数(HRTF)における平均値情報の振幅情報を用いてインパルス(HRTFのIR)応答をスケーリングしてフラットな振幅とすること等により、定位感を損なわずに、音質を改善することができる。
特開平6−268722号公報 特開平8−336198号公報
In Patent Document 2, a configuration is adopted in which left and right speakers are arranged in the vicinity of the listener's left and right ears using headphones, and the amplitude information of the average value information in the head-related transfer function (HRTF) is used for amplitude affecting sound quality. Is used to scale the impulse (HRTF IR) response to a flat amplitude, etc., so that the sound quality can be improved without impairing the sense of localization.
JP-A-6-268722 JP-A-8-336198

ところが、上述した特許文献1,2の技術では、周囲の雑音環境に対する配慮が欠けているため、臨場感や音質が周囲の雑音によって損なわれてしまったり、反対に、通話していないときにヘッドホンを装着したままでいる場合などには、周囲の雑音を聴取できたほうが良いこともあるが、特許文献1,2の技術ではそのような要望に対応することは難しい。すなわち、特許文献1,2の技術は、臨場感を含む音質の高さを安定的に維持することが難しく、利便性が低いといえる。   However, in the techniques of Patent Documents 1 and 2 described above, since consideration for the surrounding noise environment is lacking, the sense of reality and sound quality are impaired by the surrounding noise, and conversely, headphones are used when not talking. In some cases, it may be better to be able to listen to ambient noise, for example, while the device is still worn, but it is difficult for the techniques of Patent Documents 1 and 2 to meet such a demand. That is, it can be said that the techniques of Patent Documents 1 and 2 are difficult to stably maintain high sound quality including realistic sensation, and are not convenient.

かかる課題を解決するために、第1の本発明では、音を出力する音出力手段を2つ備えると共に、音を入力する音入力手段を3つ備え、対向する通信装置と音を示す音情報をやり取りする通信装置であって、(1)前記2つの音出力手段のうち第1の音出力手段は、ユーザの左の聴取器官に音を聴取させる位置に、第2の音出力手段は、前記ユーザの右の聴取器官に音を聴取させる位置に配置すると共に、(2)前記3つの音入力手段のうち、第1の音入力手段は、前記ユーザの左の聴取器官の近傍に、第2の音入力手段は、前記ユーザの右の聴取器官の近傍に、第3の音入力手段は、前記ユーザの発音器官の近傍に、それぞれ配置しておき、(3)前記対向通信装置から到来した受信音情報に対応した音を前記第1の音出力手段から出力することによってユーザに聴取させるときには、前記第1の音入力手段に入力された音を示す周辺音情報で、前記受信音情報を加工した上で、加工後の受信音情報に応じた音を第1の音出力手段から出力させる第1の音加工手段と、(4)前記対向通信装置から到来した受信音情報に対応した音を前記第2の音出力手段から出力することによってユーザに聴取させるときには、前記第2の音入力手段に入力された音を示す周辺音情報で、前記受信音情報を加工した上で、加工後の受信音情報に応じた音を第2の音出力手段から出力させる第2の音加工手段とを備えたことを特徴とする。   In order to solve this problem, the first aspect of the present invention includes two sound output means for outputting sound and three sound input means for inputting sound, and the sound information indicating the sound with the facing communication device. (1) Of the two sound output means, the first sound output means is at a position where the left listening organ of the user listens to the sound, and the second sound output means is: (2) Of the three sound input means, the first sound input means is located in the vicinity of the user's left listening organ, in the vicinity of the left listening organ. The second sound input means is disposed in the vicinity of the user's right listening organ, and the third sound input means is disposed in the vicinity of the user's sound organ, and (3) arrives from the opposite communication device. A sound corresponding to the received received sound information is output from the first sound output means. Thus, when listening to the user, after processing the received sound information with the ambient sound information indicating the sound input to the first sound input means, the sound corresponding to the processed received sound information is first processed. First sound processing means to be output from the sound output means, and (4) when the user listens by outputting the sound corresponding to the received sound information arriving from the opposite communication device from the second sound output means. The received sound information is processed with the ambient sound information indicating the sound input to the second sound input means, and the sound corresponding to the processed received sound information is output from the second sound output means. And a second sound processing means.

また、第2の本発明では、音を出力する2つの音出力手段と、音を入力する3つの音入力手段を用い、対向する通信装置と音を示す音情報をやり取りする通信方法であって、(1)前記2つの音出力手段のうち第1の音出力手段は、ユーザの左の聴取器官に音を聴取させる位置に、第2の音出力手段は、前記ユーザの右の聴取器官に音を聴取させる位置に配置すると共に、(2)前記3つの音入力手段のうち、第1の音入力手段は、前記ユーザの左の聴取器官の近傍に、第2の音入力手段は、前記ユーザの右の聴取器官の近傍に、第3の音入力手段は、前記ユーザの発音器官の近傍に、それぞれ配置しておき、(3)前記対向通信装置から到来した受信音情報に対応した音を前記第1の音出力手段から出力することによってユーザに聴取させるときには、第1の音加工手段で前記第1の音入力手段に入力された音を示す周辺音情報をもとに、前記受信音情報を加工した上で、加工後の受信音情報に応じた音を第1の音出力手段から出力させ、(4)前記対向通信装置から到来した受信音情報に対応した音を前記第2の音出力手段から出力することによってユーザに聴取させるときには、第2の音加工手段で前記第2の音入力手段に入力された音を示す周辺音情報をもとに、前記受信音情報を加工した上で、加工後の受信音情報に応じた音を第2の音出力手段から出力させることを特徴とする。   According to a second aspect of the present invention, there is provided a communication method using two sound output means for outputting sound and three sound input means for inputting sound, and exchanging sound information indicating sound with an opposing communication device. (1) Of the two sound output means, the first sound output means is at a position where the user's left listening organ listens to the sound, and the second sound output means is at the user's right listening organ. (2) Of the three sound input means, the first sound input means is in the vicinity of the left listening organ of the user, and the second sound input means is the sound input means. The third sound input means is arranged in the vicinity of the user's right listening organ and in the vicinity of the user's sounding organ, respectively. (3) Sound corresponding to the received sound information arriving from the opposing communication device Is output from the first sound output means so that the user can listen to it. In some cases, the received sound information is processed on the basis of the ambient sound information indicating the sound input to the first sound input means by the first sound processing means, and the received sound information is processed according to the processed received sound information. When the sound is output from the first sound output means and (4) the user listens by outputting the sound corresponding to the received sound information arriving from the opposite communication device from the second sound output means, the second The received sound information is processed based on the ambient sound information indicating the sound input to the second sound input means by the sound processing means, and the sound corresponding to the processed received sound information is secondly processed. Output from the sound output means.

本発明によれば、音質の高さを安定的に維持し、利便性を高めることができる。   According to the present invention, high sound quality can be stably maintained, and convenience can be enhanced.

(A)実施形態
以下、本発明にかかる通信装置および方法を、携帯電話機を用いた通話システムに適用した場合を例に、実施形態について説明する。
(A) Embodiment Hereinafter, an embodiment will be described by taking as an example the case where the communication apparatus and method according to the present invention are applied to a call system using a mobile phone.

(A−1)第1の実施形態の構成
本実施形態にかかる通話システム10の全体構成例を図3に示す。
(A-1) Configuration of the First Embodiment FIG. 3 shows an example of the overall configuration of the call system 10 according to the present embodiment.

図3において、当該通話システム10は、携帯電話機11と、ヘッドホン12とを備えている。   In FIG. 3, the call system 10 includes a mobile phone 11 and headphones 12.

このうち携帯電話機11は基本的に通常の携帯電話機であってよい。ただし、その内部には後述する立体音響回路31(図2参照)が配置されている点などが通常の携帯電話機と相違する。   Among these, the mobile phone 11 may basically be a normal mobile phone. However, it differs from an ordinary mobile phone in that a stereophonic circuit 31 (see FIG. 2), which will be described later, is disposed inside.

ヘッドホン12は、連結部材(ヘッドバンド)13の両端にイヤーパッド14,15を配置した構成を持つ点で通常のヘッドホンと同じであるが、イヤーパッドの内部にスピーカ20(図1参照)だけでなくマイク21も設けられている点などが通常のヘッドホンと相違する。イヤーパッド14はこのヘッドホン12を装着するユーザU1の右耳の近傍を覆う部材であり、イヤーパッド15のほうは当該ユーザU1の左耳の近傍を覆う部材である。   The headphone 12 is the same as a normal headphone in that it has a configuration in which ear pads 14 and 15 are arranged at both ends of a connecting member (headband) 13, but not only a speaker 20 (see FIG. 1) but also a microphone inside the ear pad. 21 is different from ordinary headphones in that 21 is also provided. The ear pad 14 is a member that covers the vicinity of the right ear of the user U1 wearing the headphone 12, and the ear pad 15 is a member that covers the vicinity of the left ear of the user U1.

前記携帯電話機11の内部構成は例えば図2に示す通りでよい。この携帯電話機11はユーザU1によって利用される。通常、利用時には、ユーザU1は前記ヘッドホン11を頭部に装着すると共に、その手のひらで当該携帯電話機11を把持する。   The internal configuration of the mobile phone 11 may be as shown in FIG. This mobile phone 11 is used by the user U1. Normally, at the time of use, the user U1 wears the headphone 11 on his / her head and holds the mobile phone 11 with his palm.

(A−1−1)携帯電話機の内部構成例
図2において、当該携帯電話機11は、携帯電話回路30と、立体音響回路31と、マイク32とを備えている。
(A-1-1) Internal Configuration Example of Mobile Phone In FIG. 2, the mobile phone 11 includes a mobile phone circuit 30, a stereophonic circuit 31, and a microphone 32.

このうち携帯電話回路30は、従来の通常の携帯電話機が音声通話のために備えている構成要素と基本的に同じものである。当該携帯電話回路30は、受信した無線信号WS1に対して復調処理などの周知の処理を実行した結果として、ユーザU1の通話相手(図示せず)の音声を示す音声信号smを出力する。反対に、ユーザU1が発話した音声は、当該携帯電話機11が備える前記マイク32で集音し、変調処理などの周知の処理を実行した結果、無線信号WS2に収容されて送信される。   Among these, the cellular phone circuit 30 is basically the same as the components that a conventional ordinary cellular phone has for voice calls. The cellular phone circuit 30 outputs a voice signal sm indicating the voice of the other party (not shown) of the user U1 as a result of executing a known process such as a demodulation process on the received wireless signal WS1. On the contrary, the voice uttered by the user U1 is collected by the microphone 32 provided in the mobile phone 11, and is subjected to a known process such as a modulation process. As a result, the voice is accommodated in the radio signal WS2 and transmitted.

無線信号WS1とWS2は直接的には当該携帯電話機11が基地局とやり取りする信号であるが、周知のように、これらの信号を反映した情報は携帯電話ネットワークを介して通話相手の携帯電話機とやり取りされる。   The wireless signals WS1 and WS2 are signals directly exchanged between the mobile phone 11 and the base station, but as is well known, information reflecting these signals is communicated with the other party's mobile phone via the mobile phone network. Exchanged.

立体音響回路31は、前記音声信号smをもとに定位処理を行う回路である。この定位処理では、上述した頭部伝達関数(HRTF)を用いることができる。一般的に、定位処理の結果として得られる定位音声信号は右耳用と左耳用で異なるものとなるが、本実施形態では、ユーザU1の正面(例えば、前方1メートルの位置)から音が聞こえるように定位処理を実行するため、右耳用と左耳用の定位音声信号s1,s2は同じHRTFによって生成されるが、正面でない一般的なケースでは、周知のように正面からの角度により、HRTFが異なるものとなり、個別のHRTF処理が行われる。当該立体音響回路31はその内部に図5に示すHRTF部41A、41Bを備えている。HRTF部41Aでは前記定位信号s1を生成し、HRTF部41Bでは前記定位信号s2を生成する。   The three-dimensional acoustic circuit 31 is a circuit that performs localization processing based on the audio signal sm. In this localization processing, the above-described head related transfer function (HRTF) can be used. In general, the localization sound signal obtained as a result of the localization process is different for the right ear and the left ear, but in this embodiment, sound is generated from the front of the user U1 (for example, a position 1 meter ahead). In order to perform localization processing so that it can be heard, the localization sound signals s1 and s2 for the right and left ears are generated by the same HRTF, but in a general case that is not the front, as is well known, depending on the angle from the front , The HRTF is different, and individual HRTF processing is performed. The stereophonic circuit 31 includes HRTF units 41A and 41B shown in FIG. The HRTF unit 41A generates the localization signal s1, and the HRTF unit 41B generates the localization signal s2.

携帯電話回路30から出力されるコントロール信号vは、ユーザU1と通話相手が通話状態にあるか否かを示す信号である。例えば、v=1(例えば、“1”はハイレベル)で通話状態、v=0(例えば、“0”はローレベル)でそれ以外(非通話状態)を示すものであってよい。   The control signal v output from the mobile phone circuit 30 is a signal indicating whether or not the user U1 and the other party are in a call state. For example, v = 1 (for example, “1” is high level) may indicate a call state, and v = 0 (for example, “0” is low level) may indicate the other (non-call state).

通話状態とは、携帯電話機11と通話相手の端末とのあいだに呼が設定されている状態である。したがって、携帯電話回路30が持つ呼制御に関する情報をもとに、容易に、当該コントロール信号vを生成することができる。   The call state is a state in which a call is set between the mobile phone 11 and the other party's terminal. Therefore, the control signal v can be easily generated based on the information related to call control that the mobile phone circuit 30 has.

周知のように、通常、携帯電話機自体がスピーカ(図示せず)を搭載していて、ユーザU1が携帯電話機11を右耳に当てて使用した場合、ユーザU1の右耳で、反対に、左耳に当てて使用した場合には左耳で通話相手の音声が聴取されるが、本実施形態では、ユーザU1はヘッドホン12を用いて通話相手の発話した音声を聴取するため、携帯電話機11のスピーカから出力される音声は不要である。したがって、携帯電話機11にヘッドホン12を接続したときには、携帯電話機11のスピーカからの音声出力は行わないようにしてもかまわない。   As is well known, normally, when the mobile phone itself is equipped with a speaker (not shown) and the user U1 uses the mobile phone 11 against the right ear, the user U1's right ear, on the contrary, the left When used against the ear, the voice of the other party is heard with the left ear. However, in this embodiment, the user U1 uses the headphones 12 to listen to the voice spoken by the other party. Sound output from the speaker is not necessary. Therefore, when the headphones 12 are connected to the mobile phone 11, the audio output from the speaker of the mobile phone 11 may not be performed.

なお、図3では、ヘッドホン12と携帯電話機11を有線伝送路で接続する構成としているが、近距離無線技術などを利用して無線伝送路で接続するようにしてもよいことは当然である。   In FIG. 3, the headphones 12 and the mobile phone 11 are connected via a wired transmission path, but it is natural that they may be connected via a wireless transmission path using a short-range wireless technology or the like.

図2に示す前記マイク32は携帯電話機11が搭載しているマイクである。本実施形態では、ユーザU1が発話した音声を通話相手に伝えるため、当該マイク32によってユーザU1の音声を集音する必要がある。ユーザU1が発話した音声はマイク32によって集音され、音声信号mとして携帯電話回路30に供給される。   The microphone 32 shown in FIG. 2 is a microphone mounted on the mobile phone 11. In the present embodiment, in order to convey the voice uttered by the user U1 to the other party, it is necessary to collect the voice of the user U1 by the microphone 32. The voice uttered by the user U1 is collected by the microphone 32 and supplied to the mobile phone circuit 30 as the voice signal m.

携帯電話機11が通話相手の右耳に聴取させる音声と左耳に聴取させる音声を別個のマイクで集音できる場合には、当該マイク32は2つ存在することになり、本発明ではそのような構成を取ることも可能であるが、一般の携帯電話機はそのような構成を持たないため、図2には、1つのマイク32のみを図示している。   When the mobile phone 11 can collect the sound to be heard by the right ear of the communication partner and the sound to be heard by the left ear with separate microphones, there will be two microphones 32. Although it is possible to adopt a configuration, since a general mobile phone does not have such a configuration, only one microphone 32 is illustrated in FIG.

左耳用の前記イヤーパッド15の内部構成は例えば図1に示す通りである。右耳用の前記イヤーパッド14の内部構成もこれと同じであってよい。   The internal configuration of the ear pad 15 for the left ear is, for example, as shown in FIG. The internal configuration of the ear pad 14 for the right ear may be the same as this.

(A−1−2)イヤーパッドの内部構成例
図1において、当該イヤーパッド15は、スピーカ20と、マイク21と、増幅減衰回路22と、ミキシング回路23とを備えている。
(A-1-2) Internal Configuration Example of Ear Pad In FIG. 1, the ear pad 15 includes a speaker 20, a microphone 21, an amplification attenuation circuit 22, and a mixing circuit 23.

イヤーパッド15本体の音響工学的性質は、その物理構造(構造や材質など)によって変化するが、ここでは、イヤーパッド15を装着した状態では、ユーザU1は周囲環境から発せられる音(ここでは、周囲雑音と呼ぶ)をほとんど聴取できなくなるものとする。あるいは、信号処理によるノイズキャンセラを搭載している場合などには、イヤーパッド15装着状態における周囲雑音の聞こえ方は、イヤーパッド15本体の物理構造だけでなく当該ノイズキャンセラの機能にも依存する。いずれにしても、イヤーパッド15装着状態では、ユーザU1は周囲雑音をほとんど聴取できないものとする。   The acoustic engineering properties of the ear pad 15 main body vary depending on its physical structure (structure, material, etc.). Here, in the state where the ear pad 15 is worn, the user U1 emits sound (here, ambient noise) emitted from the surrounding environment. ) Is almost inaudible. Alternatively, when a noise canceller based on signal processing is mounted, how to hear ambient noise when the ear pad 15 is worn depends not only on the physical structure of the ear pad 15 body but also on the function of the noise canceller. In any case, it is assumed that the user U1 can hardly hear the ambient noise when the ear pad 15 is attached.

前記マイク21は、前記周囲雑音を集音して周囲雑音に応じた雑音信号nを出力するものである。   The microphone 21 collects the ambient noise and outputs a noise signal n corresponding to the ambient noise.

増幅減衰回路22は、前記コントロール信号vと雑音信号nの入力を受け、加工雑音信号vnを出力する回路である。コントロール信号vは増幅度を制御するための制御信号として利用される。すなわち、コントロール信号vが前記通話状態を示しているときには、前記雑音信号nをほとんど聞こえなくなるレベルまで増幅・減衰させたもの(例えば、12dB減衰させたもの)を加工雑音信号vnとし、前記非通話状態を示しているときには、ユーザU1がヘッドホン12を装着していない状態と同じ程度に周囲雑音が聞こえるレベルまで増幅・減衰させたものを加工雑音信号vnとする。   The amplification and attenuation circuit 22 is a circuit that receives the control signal v and the noise signal n and outputs a processed noise signal vn. The control signal v is used as a control signal for controlling the amplification degree. That is, when the control signal v indicates the call state, a signal obtained by amplifying and attenuating the noise signal n to a level at which the noise signal n becomes almost inaudible (for example, a signal attenuated by 12 dB) is used as the processed noise signal vn. When the state is shown, the processed noise signal vn is amplified and attenuated to a level at which ambient noise can be heard to the same extent as when the user U1 does not wear the headphones 12.

ミキシング回路23は、加工雑音信号vnと前記定位音声信号s1の入力を受けてこれらをミキシングし、ミキシング結果を受聴信号sp1として出力する回路である。当該受聴信号sp1はスピーカ20に供給される。   The mixing circuit 23 is a circuit that receives the processed noise signal vn and the localization sound signal s1, mixes them, and outputs the mixing result as a listening signal sp1. The listening signal sp1 is supplied to the speaker 20.

スピーカ20は、当該受聴信号sp1に応じた受聴音を出力する。この受聴音はユーザU1の左耳で聴取される。   The speaker 20 outputs a listening sound corresponding to the listening signal sp1. This listening sound is heard by the left ear of the user U1.

以下、上記のような構成を有する本実施形態の動作について説明する。   The operation of the present embodiment having the above configuration will be described below.

(A−2)第1の実施形態の動作
ユーザU1は携帯電話機11で通話するときだけヘッドホン12をその頭部に装着するものであってもよいが、本実施形態では、基本的に常時、装着しているものとする。したがって、例えば、通話することなく移動している最中(例えば、歩行中など)でも、ユーザU1はヘッドホン12を装着している。移動中にヘッドホン12を頭部から外した場合、新たにヘッドホン12の収納場所が必要になるため、頭部に装着したままでいることは利便性の向上に寄与する。
(A-2) Operation of the First Embodiment The user U1 may wear the headphone 12 on the head only when talking on the mobile phone 11, but in the present embodiment, basically, Assume that it is attached. Therefore, for example, the user U1 wears the headphones 12 even while moving without talking (for example, while walking). If the headphone 12 is removed from the head during movement, a new storage space for the headphone 12 is required. Therefore, keeping the headphone 12 attached to the head contributes to an improvement in convenience.

ただし、ユーザU1が周囲の状況を確認しながら移動を行うためには、ヘッドホン12を装着していても装着していない場合と同程度に、周囲環境が発する周囲雑音を聴取できることが重要になる。   However, in order for the user U1 to move while confirming the surrounding situation, it is important to be able to hear the ambient noise generated by the surrounding environment as much as when the headphones 12 are worn but not. .

ユーザU1がいずれの通話相手とも通話を行っていないとき、コントロール信号vは、前記非通話状態を示す“0”を維持するため、イヤーパッド14,15内の増幅減衰回路22は、ユーザU1がヘッドホン12を装着していない状態と同じ程度に周囲雑音が聞こえるレベルまで増幅・減衰させたものを加工雑音信号vnとする。   When the user U1 is not talking to any of the other parties, the control signal v maintains “0” indicating the non-calling state. Therefore, the amplification attenuation circuit 22 in the ear pads 14 and 15 allows the user U1 to use headphones. The processed noise signal vn is amplified and attenuated to a level at which ambient noise can be heard to the same extent as in the state in which 12 is not attached.

また、このとき前記定位音声信号s1,s2としては有効な信号は供給されていないため、ミキシング回路23によるミキシング結果は、当該加工雑音信号vnだけからなり、当該加工雑音信号vnが前記受聴信号sp1として出力される。したがって、ユーザU1の左耳には、イヤーパッド15内の各構成要素20〜23の動作により、左耳側の周囲雑音が受聴音として聴取されることになる。このとき同時に、ユーザU1の右耳には、イヤーパッド14内の各構成要素20〜23の動作により、右耳側の周囲雑音が受聴音として聴取される。   At this time, since no valid signal is supplied as the localization sound signals s1 and s2, the mixing result by the mixing circuit 23 is composed only of the processed noise signal vn, and the processed noise signal vn is the received signal sp1. Is output as Therefore, the ambient noise on the left ear side is heard as the listening sound in the left ear of the user U1 by the operation of each of the components 20 to 23 in the ear pad 15. At the same time, the ambient noise on the right ear side is heard as an audible sound in the right ear of the user U1 by the operation of the components 20 to 23 in the ear pad 14.

結局、ユーザU1は、ヘッドホン12を装着していない場合とほぼ同等に、左右の耳で周囲雑音を聴取することができるので、ヘッドホン12を装着していることは移動の妨げにはならない。   Eventually, the user U1 can hear the ambient noise with the left and right ears, almost the same as when the headphones 12 are not worn, so wearing the headphones 12 does not hinder movement.

一方、携帯電話機11と通話相手の端末とのあいだに呼が設定されている通話状態における動作は次の通りである。   On the other hand, the operation in a call state in which a call is set between the mobile phone 11 and the other party's terminal is as follows.

通話状態では前記コントロール信号vは通話状態を示す“1”であるため、イヤーパッド14,15内では、前記雑音信号nをほとんど聞こえなくなるレベルまで増幅・減衰させるため、ミキシング回路23によるミキシング結果は、ほとんど加工雑音信号vnを含まない。   Since the control signal v is “1” indicating the call state in the call state, the noise signal n is amplified and attenuated in the ear pads 14 and 15 to a level at which the noise signal n becomes almost inaudible. Almost no processing noise signal vn is included.

通話状態のうちユーザU1の通話相手が発話している状態では、有効な前記定位音声信号s1,s2が供給されるため、ミキシング結果は、主としてこれら定位音声信号s1,s2からなり、ユーザU1は、(周囲雑音が大きい場合でも)周囲雑音に妨げられることなく通話相手の発話した内容を聴取することができ、高い音質を実現することが可能である。   In the state where the other party of the user U1 is speaking in the call state, since the effective localization audio signals s1 and s2 are supplied, the mixing result mainly includes these localization audio signals s1 and s2. It is possible to listen to the content spoken by the other party without being disturbed by the ambient noise (even when the ambient noise is large), and to realize high sound quality.

このときユーザU1が聴取するのは、定位処理がなされた定位音声信号s1,s2に応じた受聴音であるため、通話相手があたかも、ユーザU1の前方1メートルの位置に立っているかのような臨場感のある通話を行うことができる。   At this time, the user U1 listens to the listening sound corresponding to the localization sound signals s1 and s2 subjected to the localization process, so that the other party is as if standing at a position 1 meter ahead of the user U1. You can make a realistic call.

また、通話状態のうちユーザU1が発話し、通話相手が発話していない状態では、有効な定位音声信号s1,s2が得られないので、ユーザU1は、前記ミキシング結果に応じてわずかな周囲雑音だけを聴取しながら発話することになる。この場合も、あまり大きな周囲雑音が聴取されると発話の妨げになる可能性もあるため、周囲雑音のレベルを減衰しておくことによって通話の品質を高めることができる。   Further, in the state where the user U1 speaks and the other party does not speak in the call state, the effective localization voice signals s1 and s2 cannot be obtained, so that the user U1 has a slight ambient noise according to the mixing result. Speaking while listening only. In this case, too much ambient noise may be heard, which may hinder speech. Therefore, the quality of a call can be improved by attenuating the ambient noise level.

(A−3)第1の実施形態の効果
本実施形態によれば、通話状態では周囲雑音が軽減されるため通話の品質を高め、音質の高さを安定的に維持することができる。
(A-3) Effect of First Embodiment According to the present embodiment, ambient noise is reduced in a call state, so that the quality of a call can be improved and the sound quality can be stably maintained.

また、本実施形態では、ヘッドホン(12)を頭部に装着したままでも通話状態でなければユーザ(U1)は周囲雑音を聴取することができるため、利便性を高めることができる。   Moreover, in this embodiment, since the user (U1) can listen to ambient noise even if the headphone (12) is worn on the head and is not in a talking state, convenience can be improved.

しかも本実施形態では、既存の携帯電話機をほとんどそのまま活用して通話システム(10)を構築することができるため、実現性に優れている。   Moreover, in the present embodiment, since the telephone system (10) can be constructed almost using an existing mobile phone as it is, it is excellent in practicability.

(B)第2の実施形態
以下では、本実施形態が第1の実施形態と相違する点についてのみ説明する。
(B) Second Embodiment Hereinafter, only differences between the present embodiment and the first embodiment will be described.

本実施形態が第1の実施形態と相違するのは、非通話状態にあるとき、ユーザU1に音楽を聴取させるためのシリコンオーディオ回路を設けたことに関連する点に限られる。   This embodiment is different from the first embodiment only in that it is related to the provision of a silicon audio circuit for allowing the user U1 to listen to music when in a non-calling state.

(B−1)第2の実施形態の構成および動作
本実施形態の携帯電話機50の内部構成例を図4に示す。
(B-1) Configuration and Operation of Second Embodiment FIG. 4 shows an internal configuration example of the mobile phone 50 of the present embodiment.

図4において、当該携帯電話機50は、携帯電話回路40と、立体音響回路41と、マイク42と、切替回路43と、シリコンオーディオ回路44とを備えている。   In FIG. 4, the mobile phone 50 includes a mobile phone circuit 40, a stereophonic circuit 41, a microphone 42, a switching circuit 43, and a silicon audio circuit 44.

このうち携帯電話回路40は前記携帯電話回路30に対応し、立体音響回路41は前記立体音響回路31に対応し、マイク42は前記マイク32に対応するので、その詳しい説明は省略する。   Among these, the mobile phone circuit 40 corresponds to the mobile phone circuit 30, the stereophonic circuit 41 corresponds to the stereophonic circuit 31, and the microphone 42 corresponds to the microphone 32.

前記切替回路43には、前記立体音響回路41から出力される定位音声信号s1,s2と、前記シリコンオーディオ回路44から出力されるステレオのオーディオ信号ssr、sslとが入力されるとともに、切替制御信号として前記コントロール信号vが入力される。   The switching circuit 43 receives the stereophonic audio signals s1 and s2 output from the stereophonic circuit 41 and the stereo audio signals ssr and ssl output from the silicon audio circuit 44, and a switching control signal. The control signal v is input.

シリコンオーディオ回路44は半導体メモリなどを用いたオーディオ機器で、予め半導体メモリ内に記憶した情報に応じて、音楽などを再生、出力することができる。したがって、オーディオ信号ssr、sslはこの音楽などに対応した内容の信号となる。   The silicon audio circuit 44 is an audio device using a semiconductor memory or the like, and can reproduce and output music or the like according to information stored in the semiconductor memory in advance. Therefore, the audio signals ssr and ssl are signals corresponding to the music.

シリコンオーディオ回路44は、小さなサイズで構成することができるため、携帯電話機50の内部に搭載することが容易であるが、必要に応じて、携帯電話機50と別個に構成し、ユーザU1が携帯電話機50に装着して使用するものであってもよい。また、シリコンオーディオ回路44の代わりに、CDプレーヤなどを用いてもかまわない。CDプレーヤなどの場合、外部から携帯電話機50に接続して、携帯電話機50内の切替回路43にオーディオ信号ssr、sslを供給する構成とするものであってよい。   Since the silicon audio circuit 44 can be configured in a small size, it can be easily mounted inside the mobile phone 50. However, if necessary, the silicon audio circuit 44 is configured separately from the mobile phone 50, and the user U1 can connect the mobile phone 50 to the mobile phone 50. 50 may be used. A CD player or the like may be used instead of the silicon audio circuit 44. In the case of a CD player or the like, the audio signal ssr or ssl may be supplied to the switching circuit 43 in the mobile phone 50 by connecting to the mobile phone 50 from the outside.

前記切替回路43は、コントロール信号vの値に応じて、定位音声信号s1およびs2か、オーディオ信号sslおよびssrのいずれかを選択し、選択した信号を選択信号sl、srとして前記イヤーパッド15,14内のミキシング回路23に供給する回路である。   The switching circuit 43 selects either the localization audio signals s1 and s2 or the audio signals ssl and ssr according to the value of the control signal v, and the ear pads 15 and 14 are selected signals as selection signals sl and sr. This is a circuit for supplying to the internal mixing circuit 23.

左耳用のイヤーパッド15内のミキシング回路23にとって、当該選択信号slは、第1の実施形態における定位音声信号s1の代わりであり、右耳用のイヤーパッド14内のミキシング回路23にとって、当該選択信号srは、第1の実施形態における定位音声信号s2の代わりである。   For the mixing circuit 23 in the ear pad 15 for the left ear, the selection signal sl is a substitute for the localization sound signal s1 in the first embodiment, and for the mixing circuit 23 in the ear pad 14 for the right ear. sr is a substitute for the localization audio signal s2 in the first embodiment.

したがって、本実施形態の場合、ユーザU1は、通話相手が発話している通話状態では定位音声信号s1,s2に対応する通話相手の発話した音声などを聴取し、非通話状態ではオーディオ信号sslおよびssrに対応する音楽と雑音信号nvに対応する周囲雑音のミキシング結果を聴取することになる。   Therefore, in the case of the present embodiment, the user U1 listens to the voice spoken by the call partner corresponding to the localization voice signals s1 and s2 in the call state in which the call partner is speaking, and the audio signal ssl and the voice in the non-call state. The result of mixing music corresponding to ssr and ambient noise corresponding to the noise signal nv is listened to.

なお、非通話状態において、当該ミキシング結果を聴取するか、周囲雑音のみを聴取するか、オーディオ信号sslおよびssrに対応する音楽のみを聴取するかを、ユーザU1が例えば切替スイッチなどを操作することにより明示的に指定できるようにしてもよいことは当然である。   Note that, in a non-calling state, the user U1 operates, for example, a changeover switch or the like to listen to the mixing result, to listen only to ambient noise, or to listen only to music corresponding to the audio signals ssl and ssr. Of course, it may be specified explicitly by

(B−2)第2の実施形態の効果
本実施形態によれば、第1の実施形態の効果と同等な効果を得ることができる。
(B-2) Effect of Second Embodiment According to the present embodiment, an effect equivalent to the effect of the first embodiment can be obtained.

加えて、本実施形態では、非通話状態で、自動的にオーディオ信号(ssl、ssr)に対応する音楽などを聴取することができるため、より快適に利用することが可能で、利便性が高まる。   In addition, in the present embodiment, music corresponding to the audio signals (ssl, ssr) can be listened to automatically in a non-calling state, so that it can be used more comfortably and convenience is improved. .

(C)他の実施形態
上記第1、第2の実施形態にかかわらず、前記立体音響回路31,41や切替回路43などは、イヤーパッド14、15などヘッドホン12側に配置するようにしてもよい。これにより、携帯電話機11、50に搭載する必要のある機能が減少し、実現性がいっそう高まる。
(C) Other Embodiments Regardless of the first and second embodiments, the stereophonic acoustic circuits 31, 41, the switching circuit 43, and the like may be arranged on the headphone 12 side such as the ear pads 14, 15. . As a result, the functions that need to be installed in the mobile phones 11 and 50 are reduced, and the feasibility is further enhanced.

さらに、上記第1および第2の実施形態では、携帯電話機11,50のマイク32,42は、ユーザU1の口の近傍で用い、イヤーパッド15,14はユーザU1の左右の耳の近傍で用いたが、口や耳を人体の他の器官で置換できる可能性もある。例えば、医療技術によって、いわゆる耳以外の器官が聴取器官となる可能性もあるからである。   Further, in the first and second embodiments, the microphones 32 and 42 of the mobile phones 11 and 50 are used near the mouth of the user U1, and the ear pads 15 and 14 are used near the left and right ears of the user U1. However, it may be possible to replace the mouth and ears with other organs of the human body. This is because, for example, organs other than so-called ears may become listening organs due to medical technology.

なお、上記第1および第2の実施形態で用いた携帯電話機11,50は他の通信装置に置換できる可能性がある。その通信装置は、必ずしも、ユーザが携帯して移動するタイプの通信装置でなくてもかまわない。   Note that the mobile phones 11 and 50 used in the first and second embodiments may be replaced with other communication devices. The communication device does not necessarily have to be a communication device of the type that the user carries and moves.

また、上記第1および第2の実施形態では、ユーザU1の周囲環境から発せられた周囲雑音はユーザU1が聴取する受聴音にのみ反映されたが、この周囲雑音を通話相手側へ送信し、通話相手とユーザU1がほぼ同等な雑音環境のなかで通話を行うことができるようにすることも望ましい。   In the first and second embodiments, the ambient noise emitted from the surrounding environment of the user U1 is reflected only in the listening sound that the user U1 listens to. It is also desirable to be able to make a call in a noisy environment where the call partner and the user U1 are substantially equivalent.

以上の説明では主としてハードウエア的に本発明を実現したが、本発明はソフトウエア的に実現することも可能である。   In the above description, the present invention is realized mainly by hardware, but the present invention can also be realized by software.

第1および第2の実施形態で使用するイヤーパッドの内部構成例を示す概略図である。It is the schematic which shows the internal structural example of the ear pad used by 1st and 2nd embodiment. 第1の実施形態で使用する携帯電話機の内部構成例を示す概略図である。It is the schematic which shows the internal structural example of the mobile telephone used by 1st Embodiment. 第1および第2の実施形態にかかる通話システムの全体構成例を示す概略図である。It is the schematic which shows the example of whole structure of the telephone system concerning 1st and 2nd embodiment. 第2の実施形態で使用する携帯電話機の内部構成例を示す概略図である。It is the schematic which shows the internal structural example of the mobile telephone used by 2nd Embodiment. 第1および第2の実施形態で使用する立体音響回路の内部構成例を示す概略図である。It is the schematic which shows the example of an internal structure of the stereophonic circuit used by 1st and 2nd embodiment.

符号の説明Explanation of symbols

10…通話システム、11、50…携帯電話機、12…ヘッドホン、13…連結部材、14,15…イヤーパッド、20…スピーカ、21,32…マイク、22…増幅減衰回路、23…ミキシング回路、30、40…携帯電話回路、31、41…立体音響回路、42…切替回路、43…シリコンオーディオ回路、m、sm…音声信号、s1,s2…定位音声信号、v…コントロール信号、n…雑音信号、vn…加工雑音信号、sp1…受聴信号。   DESCRIPTION OF SYMBOLS 10 ... Call system 11, 50 ... Mobile phone, 12 ... Headphone, 13 ... Connecting member, 14, 15 ... Ear pad, 20 ... Speaker, 21, 32 ... Microphone, 22 ... Amplification attenuation circuit, 23 ... Mixing circuit, 30, DESCRIPTION OF SYMBOLS 40 ... Mobile phone circuit 31, 41 ... Stereophonic circuit, 42 ... Switching circuit, 43 ... Silicon audio circuit, m, sm ... Audio signal, s1, s2 ... Localization audio signal, v ... Control signal, n ... Noise signal, vn ... processing noise signal, sp1 ... listening signal.

Claims (2)

音を出力する音出力手段を2つ備えると共に、音を入力する音入力手段を3つ備え、対向する通信装置と音を示す音情報をやり取りする通信装置であって、
前記2つの音出力手段のうち第1の音出力手段は、ユーザの左の聴取器官に音を聴取させる位置に、第2の音出力手段は、前記ユーザの右の聴取器官に音を聴取させる位置に配置すると共に、
前記3つの音入力手段のうち、第1の音入力手段は、前記ユーザの左の聴取器官の近傍に、第2の音入力手段は、前記ユーザの右の聴取器官の近傍に、第3の音入力手段は、前記ユーザの発音器官の近傍に、それぞれ配置しておき、
前記対向通信装置から到来した受信音情報に対応した音を前記第1の音出力手段から出力することによってユーザに聴取させるときには、前記第1の音入力手段に入力された音を示す周辺音情報で、前記受信音情報を加工した上で、加工後の受信音情報に応じた音を第1の音出力手段から出力させる第1の音加工手段と、
前記対向通信装置から到来した受信音情報に対応した音を前記第2の音出力手段から出力することによってユーザに聴取させるときには、前記第2の音入力手段に入力された音を示す周辺音情報で、前記受信音情報を加工した上で、加工後の受信音情報に応じた音を第2の音出力手段から出力させる第2の音加工手段とを備えたことを特徴とする通信装置。
A communication device comprising two sound output means for outputting sound and three sound input means for inputting sound, and exchanging sound information indicating sound with a facing communication device,
Of the two sound output means, the first sound output means causes the user's left listening organ to listen to the sound, and the second sound output means causes the user's right listening organ to listen to the sound. In place,
Of the three sound input means, the first sound input means is in the vicinity of the user's left listening organ, and the second sound input means is in the vicinity of the user's right listening organ. The sound input means are respectively arranged in the vicinity of the user's sound organ,
Surrounding sound information indicating the sound input to the first sound input means when the user listens to the sound corresponding to the received sound information that has arrived from the opposite communication device by outputting the sound from the first sound output means. Then, after processing the received sound information, the first sound processing means for outputting the sound according to the processed received sound information from the first sound output means,
Surrounding sound information indicating the sound input to the second sound input means when the user listens to the sound corresponding to the received sound information that has arrived from the opposite communication device by outputting the sound from the second sound output means. And a second sound processing means for processing the received sound information and outputting a sound corresponding to the processed received sound information from the second sound output means.
音を出力する2つの音出力手段と、音を入力する3つの音入力手段を用い、対向する通信装置と音を示す音情報をやり取りする通信方法であって、
前記2つの音出力手段のうち第1の音出力手段は、ユーザの左の聴取器官に音を聴取させる位置に、第2の音出力手段は、前記ユーザの右の聴取器官に音を聴取させる位置に配置すると共に、
前記3つの音入力手段のうち、第1の音入力手段は、前記ユーザの左の聴取器官の近傍に、第2の音入力手段は、前記ユーザの右の聴取器官の近傍に、第3の音入力手段は、前記ユーザの発音器官の近傍に、それぞれ配置しておき、
前記対向通信装置から到来した受信音情報に対応した音を前記第1の音出力手段から出力することによってユーザに聴取させるときには、第1の音加工手段で前記第1の音入力手段に入力された音を示す周辺音情報をもとに、前記受信音情報を加工した上で、加工後の受信音情報に応じた音を第1の音出力手段から出力させ、
前記対向通信装置から到来した受信音情報に対応した音を前記第2の音出力手段から出力することによってユーザに聴取させるときには、第2の音加工手段で前記第2の音入力手段に入力された音を示す周辺音情報をもとに、前記受信音情報を加工した上で、加工後の受信音情報に応じた音を第2の音出力手段から出力させることを特徴とする通信方法。
A communication method using two sound output means for outputting sound and three sound input means for inputting sound, and exchanging sound information indicating the sound with a facing communication device,
Of the two sound output means, the first sound output means causes the user's left listening organ to listen to the sound, and the second sound output means causes the user's right listening organ to listen to the sound. In place,
Of the three sound input means, the first sound input means is in the vicinity of the user's left listening organ, and the second sound input means is in the vicinity of the user's right listening organ. The sound input means are respectively arranged in the vicinity of the user's sound organ,
When the user listens to the sound corresponding to the received sound information that has arrived from the opposite communication device by outputting from the first sound output means, the sound is input to the first sound input means by the first sound processing means. After processing the received sound information based on the surrounding sound information indicating the sound that has been processed, output the sound according to the processed received sound information from the first sound output means,
When the sound corresponding to the received sound information that has arrived from the opposite communication device is output from the second sound output means to be heard by the user, the sound is input to the second sound input means by the second sound processing means. A communication method characterized by processing the received sound information based on ambient sound information indicating a sound and outputting a sound corresponding to the processed received sound information from the second sound output means.
JP2004318274A 2004-11-01 2004-11-01 Communications equipment and method Pending JP2006129377A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004318274A JP2006129377A (en) 2004-11-01 2004-11-01 Communications equipment and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004318274A JP2006129377A (en) 2004-11-01 2004-11-01 Communications equipment and method

Publications (1)

Publication Number Publication Date
JP2006129377A true JP2006129377A (en) 2006-05-18

Family

ID=36723533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004318274A Pending JP2006129377A (en) 2004-11-01 2004-11-01 Communications equipment and method

Country Status (1)

Country Link
JP (1) JP2006129377A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009539306A (en) * 2006-05-31 2009-11-12 アギア システムズ インコーポレーテッド Noise reduction with mobile communication devices in non-call situations

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009539306A (en) * 2006-05-31 2009-11-12 アギア システムズ インコーポレーテッド Noise reduction with mobile communication devices in non-call situations
US8160263B2 (en) 2006-05-31 2012-04-17 Agere Systems Inc. Noise reduction by mobile communication devices in non-call situations
KR101431281B1 (en) * 2006-05-31 2014-08-21 에이저 시스템즈 엘엘시 Noise reduction by mobile communication devices in non-call situations

Similar Documents

Publication Publication Date Title
JP2020512771A (en) Non-blocking dual driver earphone
US8488820B2 (en) Spatial audio processing method, program product, electronic device and system
US20050281421A1 (en) First person acoustic environment system and method
JP2009531991A (en) Headset audio accessories
US20030044002A1 (en) Three dimensional audio telephony
US9542957B2 (en) Procedure and mechanism for controlling and using voice communication
JP2008263383A (en) Apparatus and method for canceling generated sound
US20120257764A1 (en) Headset assembly with recording function for communication
CN102595265A (en) Headset combination with recording function for communication
Tikander et al. An augmented reality audio headset
ES2430250T3 (en) Procedure and device for recording, transmission and reproduction of sound events for communication applications
US20050107130A1 (en) Telephone silent conversing (TSC) system
JP2006217321A (en) Headset and communication system
JP3556987B2 (en) Environmental sound transmission type headset device
EP2216975A1 (en) Telecommunication device
JP2004201195A (en) Headphone device
JP2006129377A (en) Communications equipment and method
JPH0591583A (en) Earphone
JP2006279492A (en) Telephone conference system
JP2004274147A (en) Sound field localization type multipoint communication system
JPH0851686A (en) Sealed stereo headphone device
CN211860528U (en) Headset and audio processing system
GB2361395A (en) A method of audio signal processing for a loudspeaker located close to an ear
TWI345923B (en)
JP2662824B2 (en) Conference call terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090721

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100209