JP4950733B2 - 信号処理装置 - Google Patents
信号処理装置 Download PDFInfo
- Publication number
- JP4950733B2 JP4950733B2 JP2007092067A JP2007092067A JP4950733B2 JP 4950733 B2 JP4950733 B2 JP 4950733B2 JP 2007092067 A JP2007092067 A JP 2007092067A JP 2007092067 A JP2007092067 A JP 2007092067A JP 4950733 B2 JP4950733 B2 JP 4950733B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- noise
- separated
- unit
- separation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 146
- 238000000926 separation method Methods 0.000 claims abstract description 94
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims description 37
- 238000005259 measurement Methods 0.000 claims description 32
- 238000001228 spectrum Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 16
- 238000012880 independent component analysis Methods 0.000 description 11
- 230000007613 environmental effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
- G10L21/028—Voice signal separating using properties of sound source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Noise Elimination (AREA)
- Radar Systems Or Details Thereof (AREA)
Description
<1.1.信号処理装置の構成>
図1は、第1の実施の形態における信号処理装置1の構成の一例を示すブロック図である。ここで、信号処理装置1は、複数の音源(波動源)10(10a、10b)のうち対象となる音源10から出力された原信号を目的信号として復元する信号処理装置である。信号処理装置1において分離手法としては、いわゆる独立成分分析法に基づくブラインド音源分離方式が採用されている。
以上のように、第1の実施の形態の信号処理装置1では、第1分離信号の雑音状況に応じ、マスク処理部30および雑音除去処理部60によって雑音除去が実行される。すなわち、マスク処理部30により雑音除去された雑音除去信号y11’(f,t)、y21’(f,t)からは、第1分離信号の雑音状況に応じた第2雑音成分が、さらに除去される。そのため、環境音や反響音のように波動源から出力された原信号の周囲を覆う雑音信号が多く含まれている場合であっても、マスク処理部30による除去処理がなされた第1分離信号から、さらに良好に雑音成分を除去することができる。
次に、本発明の第2の実施の形態について説明する。この第2の実施の形態における信号処理装置100は、第1の実施の形態と比較して、雑音量計測部140の構成が異なる点を除いては、第1の実施の形態と同様である。そこで、以下ではこの相違点を中心に説明する。なお、以下の説明において、第1の信号処理装置1における構成要素と同様な構成要素については同一符号を付している。これら同一符号の構成要素は、第1の実施の形態において説明済みであるため、本実施の形態では説明を省略する。
図10は、第2および第3の実施の形態における信号処理装置100、200の全体構成の一例を示すブロック図である。図11は、第2の実施の形態の雑音量計測部140の構成の一例を示すブロック図である。雑音量計測部140は、分離信号生成部20から入力された周波数領域の第1分離信号y11(f,t)、y21(f,t)を時間領域に変換するとともに、変換後の第1分離信号を用いて演算された尖度β2に基づいて、第1分離信号y11(f,t)、y21(f,t)に含まれる雑音量nc1(t)、nc2(t)を計測する。図11に示すように、雑音量計測部140は、主として、逆フーリエ変換部142(142a、142b)と、尖度演算部143(143a、143b)と、を有している。
以上のように、第2の実施の形態の信号処理装置100は、目的信号に対応する第1分離信号の尖度を使用することにより、第1分離信号に含まれる雑音量nc1(t)、nc2(t)を計測することができる。そのため、第1分離信号の雑音状況を正確に把握することができる。
次に、本発明の第3の実施の形態について説明する。この第3の実施の形態における信号処理装置200は、第1の実施の形態と比較して、雑音量計測部240の構成が異なる点を除いては、第1の実施の形態と同様である。そこで、以下ではこの相違点を中心に説明する。なお、以下の説明において、第1の信号処理装置1における構成要素と同様な構成要素については同一符号を付している。これら同一符号の構成要素は、第1の実施の形態において説明済みであるため、本実施の形態では説明を省略する。
図12は、第3の実施の形態の雑音量計測部240の構成の一例を示すブロック図である。図13および図14は、第2分離信号の広がり状況を説明するための図である。雑音量計測部240は、分離信号生成部20から入力された周波数領域の複数の分離信号のうち第2分離信号について、該第2分離信号の広がり状況を求める。そして、雑音量計測部240は、第2分離信号の広がり状況に基づいて、フレーム毎に、対応する第1分離信号に含まれる雑音量を計測する。図12に示すように、雑音量計測部240は、主として、方向推定処理部245(245a、245b)と、広がり判定処理部246(264a、246b)と、を有している。
以上のように、第3の実施の形態の信号処理装置200は、目的信号に対する第2分離信号の広がり状況を使用することにより、第1分離信号に含まれる雑音量nc1(t)、nc2(t)を計測することができる。そのため、第1分離信号の雑音状況を正確に把握することができる。
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
10(10a、10b) 音源(波動源)
15(15a、15b) マイク(観測部)
20 分離信号生成部
30 マスク処理部
40、140、240 雑音量計測部
41(41a、41b) 計数部
50 雑音信号選択部
60 雑音除去処理部
143(143a、143b) 尖度演算部
245(245a、245b) 方向推定処理部
246(246a、246b) 広がり判定処理部
Claims (8)
- 複数の波動源のうち対象となる波動源から出力された原信号を目的信号として復元する信号処理装置であって、
(a) 各々が、前記複数の波動源から出力された複数の原信号につき、該複数の原信号の混合信号として観測可能な複数の観測部と、
(b) 各観測部で観測されて周波数領域に変換された1フレーム分の前記混合信号から、互いに独立した複数の分離信号を前記フレーム内の周波数ビン毎に生成する分離信号生成部と、
(c) 前記複数の分離信号のうち前記目的信号に対応する第1分離信号と、前記複数の分離信号のうち前記第1分離信号以外の第2分離信号と、に基づいて、前記第1分離信号の信号成分が第1雑音成分であるか否かを判断するとともに、前記第1分離信号の信号成分が第1雑音成分であるか否かを示す雑音状況信号を生成する処理と、
前記第1雑音成分であると判断された信号成分を前記第1分離信号から除去することにより雑音除去信号を生成する処理と、
を、前記フレーム内の周波数ビン毎に行うマスク処理部と、
(d) 前記マスク処理部側から入力された前記周波数ビン毎の雑音状況信号に基づいて、前記フレーム毎に、前記第1分離信号に含まれる雑音量を計測する雑音量計測部と、
(e) 前記雑音量計測部によって計測された前記雑音量に基づいて、前記周波数ビン毎に、前記第2分離信号のうちの1つの信号を雑音信号として選択する雑音信号選択部と、
(f) 前記雑音信号に基づいて生成された第2雑音成分を、前記雑音除去信号から前記周波数ビン毎に除去するとともに、前記第2雑音成分が除去された前記雑音除去信号を目的信号として出力する雑音除去処理部と、
を備えることを特徴とする信号処理装置。 - 請求項1に記載の信号処理装置において、
前記マスク処理部は、前記周波数ビン毎に、前記目的信号に対応する前記第1分離信号の振幅スペクトルと、前記第2分離信号の振幅スペクトルと、の大小比較に基づいて、前記第1分離信号の信号成分が第1雑音成分であるか否かを判断し、
前記雑音量計測部は、前記雑音状況信号を計数することによって、前記雑音量を計測することを特徴とする信号処理装置。 - 複数の波動源のうち対象となる波動源から出力された原信号を目的信号として復元する信号処理装置であって、
(a) 各々が、前記複数の波動源から出力された複数の原信号につき、該複数の原信号を混合信号として観測可能な複数の観測部と、
(b) 各観測部で観測されて周波数領域に変換された1フレーム分の前記混合信号から、互いに独立した複数の分離信号を前記フレーム内の周波数ビン毎に生成する分離信号生成部と、
(c) 前記複数の分離信号のうち前記目的信号に対応する第1分離信号と、前記複数の分離信号のうち前記第1分離信号以外の第2分離信号と、に基づいて、前記第1分離信号の信号成分が第1雑音成分であるか否かを判断する処理と、
前記第1雑音成分であると判断された信号成分を前記第1分離信号から除去することにより雑音除去信号を生成する処理と、
を前記フレーム内の周波数ビン毎に行うマスク処理部と、
(d) 前記分離信号生成部から入力された前記複数の分離信号に基づいて、前記フレーム毎に、前記第1分離信号に含まれる雑音量を計測する雑音量計測部と、
(e) 前記雑音量計測部によって計測された前記雑音量に基づいて、前記周波数ビン毎に、前記第2分離信号のうちの1つの信号を雑音信号として選択する雑音信号選択部と、
(f) 前記雑音信号に基づいて生成された第2雑音成分を前記雑音除去信号から前記周波数ビン毎に除去するとともに、前記第2雑音成分が除去された前記雑音除去信号を目的信号として出力する雑音除去処理部と、
を備えることを特徴とする信号処理装置。 - 請求項3に記載の信号処理装置において、
前記雑音量計測部は、前記分離信号生成部から入力された周波数領域の第1分離信号を時間領域に変換するとともに、変換後の前記第1分離信号を用いて演算された尖度に基づいて、前記第1分離信号に含まれる前記雑音量を計測することを特徴とする信号処理装置。 - 請求項3に記載の信号処理装置において、
前記雑音量計測部は、前記複数の原信号の波動源方向をそれぞれ特定し、前記目的信号に対する当該目的信号以外の他の原信号の波動源方向のばらつきに基づいて、前記フレーム毎に、前記第1分離信号に含まれる雑音量を計測することを特徴とする信号処理装置。 - 請求項1ないし請求項5のいずれかに記載の信号処理装置において、
前記雑音除去処理部は、前記雑音量計測部側から入力された前記雑音量と、前記雑音信号選択部によって選択された雑音信号と、に基づいて、前記第2雑音成分を生成することを特徴とする信号処理装置。 - 請求項1ないし請求項6のいずれかに記載の信号処理装置において、
前記雑音除去処理部は、前記雑音除去信号の振幅スペクトルから前記第2雑音成分の振幅スペクトルを減算することによって、前記周波数ビン毎に前記目的信号の振幅スペクトルを演算することを特徴とする信号処理装置。 - 請求項1ないし請求項7のいずれかに記載の信号処理装置において、
M個の波動源から出力されたM個の原信号は、それぞれN個の観測部によって観測され(M、Nは、それぞれ2以上の自然数)、
前記マスク処理部は、1個の第1分離信号と、(M−1)×N個の第2分離信号と、に基づいて前記第1分離信号の信号成分が第1雑音成分であるか否かを判断し、
前記雑音信号選択部は、(M−1)×N個の第2分離信号のうちの1つを、雑音信号として選択することを特徴とする信号処理装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007092067A JP4950733B2 (ja) | 2007-03-30 | 2007-03-30 | 信号処理装置 |
US12/593,928 US8488806B2 (en) | 2007-03-30 | 2008-03-26 | Signal processing apparatus |
KR1020097019745A KR101452537B1 (ko) | 2007-03-30 | 2008-03-26 | 신호처리장치 |
CN2008800106920A CN101653015B (zh) | 2007-03-30 | 2008-03-26 | 信号处理装置 |
PCT/JP2008/055757 WO2008123315A1 (ja) | 2007-03-30 | 2008-03-26 | 信号処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007092067A JP4950733B2 (ja) | 2007-03-30 | 2007-03-30 | 信号処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008252587A JP2008252587A (ja) | 2008-10-16 |
JP4950733B2 true JP4950733B2 (ja) | 2012-06-13 |
Family
ID=39830803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007092067A Active JP4950733B2 (ja) | 2007-03-30 | 2007-03-30 | 信号処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8488806B2 (ja) |
JP (1) | JP4950733B2 (ja) |
KR (1) | KR101452537B1 (ja) |
CN (1) | CN101653015B (ja) |
WO (1) | WO2008123315A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5233772B2 (ja) * | 2009-03-18 | 2013-07-10 | ヤマハ株式会社 | 信号処理装置およびプログラム |
JP5375400B2 (ja) * | 2009-07-22 | 2013-12-25 | ソニー株式会社 | 音声処理装置、音声処理方法およびプログラム |
TWI412023B (zh) * | 2010-12-14 | 2013-10-11 | Univ Nat Chiao Tung | 可消除噪音且增進語音品質之麥克風陣列架構及其方法 |
JP5621637B2 (ja) * | 2011-02-04 | 2014-11-12 | ヤマハ株式会社 | 音響処理装置 |
JP2012234150A (ja) * | 2011-04-18 | 2012-11-29 | Sony Corp | 音信号処理装置、および音信号処理方法、並びにプログラム |
JP5687605B2 (ja) * | 2011-11-14 | 2015-03-18 | 国立大学法人 奈良先端科学技術大学院大学 | 音声強調装置、音声強調方法、及び音声強調プログラム |
US10473628B2 (en) * | 2012-06-29 | 2019-11-12 | Speech Technology & Applied Research Corporation | Signal source separation partially based on non-sensor information |
US10067093B2 (en) | 2013-07-01 | 2018-09-04 | Richard S. Goldhor | Decomposing data signals into independent additive terms using reference signals |
US10540992B2 (en) | 2012-06-29 | 2020-01-21 | Richard S. Goldhor | Deflation and decomposition of data signals using reference signals |
US9460732B2 (en) * | 2013-02-13 | 2016-10-04 | Analog Devices, Inc. | Signal source separation |
US10475440B2 (en) * | 2013-02-14 | 2019-11-12 | Sony Corporation | Voice segment detection for extraction of sound source |
KR20150032390A (ko) * | 2013-09-16 | 2015-03-26 | 삼성전자주식회사 | 음성 명료도 향상을 위한 음성 신호 처리 장치 및 방법 |
US9420368B2 (en) | 2013-09-24 | 2016-08-16 | Analog Devices, Inc. | Time-frequency directional processing of audio signals |
US9747921B2 (en) * | 2014-02-28 | 2017-08-29 | Nippon Telegraph And Telephone Corporation | Signal processing apparatus, method, and program |
US10024884B2 (en) * | 2014-05-22 | 2018-07-17 | Tektronix, Inc. | Dynamic mask testing |
KR101651506B1 (ko) | 2016-04-29 | 2016-08-26 | 주식회사 엘이디파워 | 전해 캐패시터 레스 전원 공급장치를 구비한 디밍형 led 조명장치 |
KR101651508B1 (ko) | 2016-04-29 | 2016-09-05 | 주식회사 엘이디파워 | 전해 캐패시터 레스 전원 공급장치를 구비한 디밍형 led 조명장치 |
EP3324406A1 (en) * | 2016-11-17 | 2018-05-23 | Fraunhofer Gesellschaft zur Förderung der Angewand | Apparatus and method for decomposing an audio signal using a variable threshold |
JP6809936B2 (ja) * | 2017-02-28 | 2021-01-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 雑音抽出装置およびマイクロホン装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6879952B2 (en) * | 2000-04-26 | 2005-04-12 | Microsoft Corporation | Sound source separation using convolutional mixing and a priori sound source knowledge |
US7243060B2 (en) * | 2002-04-02 | 2007-07-10 | University Of Washington | Single channel sound separation |
US7474756B2 (en) * | 2002-12-18 | 2009-01-06 | Siemens Corporate Research, Inc. | System and method for non-square blind source separation under coherent noise by beamforming and time-frequency masking |
CN100463049C (zh) * | 2003-09-02 | 2009-02-18 | 日本电信电话株式会社 | 信号分离方法以及信号分离装置 |
US7099821B2 (en) * | 2003-09-12 | 2006-08-29 | Softmax, Inc. | Separation of target acoustic signals in a multi-transducer arrangement |
JP4496379B2 (ja) * | 2003-09-17 | 2010-07-07 | 財団法人北九州産業学術推進機構 | 分割スペクトル系列の振幅頻度分布の形状に基づく目的音声の復元方法 |
KR100647286B1 (ko) * | 2004-08-14 | 2006-11-23 | 삼성전자주식회사 | 교차채널 간섭을 제거하기 위한 후처리장치 및 방법과이를 이용한 다채널 음원 분리장치 및 방법 |
KR100716984B1 (ko) * | 2004-10-26 | 2007-05-14 | 삼성전자주식회사 | 복수 채널 오디오 신호의 잡음 제거 방법 및 장치 |
JP4462617B2 (ja) * | 2004-11-29 | 2010-05-12 | 株式会社神戸製鋼所 | 音源分離装置,音源分離プログラム及び音源分離方法 |
JP4675177B2 (ja) * | 2005-07-26 | 2011-04-20 | 株式会社神戸製鋼所 | 音源分離装置,音源分離プログラム及び音源分離方法 |
-
2007
- 2007-03-30 JP JP2007092067A patent/JP4950733B2/ja active Active
-
2008
- 2008-03-26 KR KR1020097019745A patent/KR101452537B1/ko not_active IP Right Cessation
- 2008-03-26 CN CN2008800106920A patent/CN101653015B/zh not_active Expired - Fee Related
- 2008-03-26 US US12/593,928 patent/US8488806B2/en not_active Expired - Fee Related
- 2008-03-26 WO PCT/JP2008/055757 patent/WO2008123315A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
KR101452537B1 (ko) | 2014-10-22 |
KR20100014518A (ko) | 2010-02-10 |
CN101653015A (zh) | 2010-02-17 |
CN101653015B (zh) | 2012-11-28 |
US20100128897A1 (en) | 2010-05-27 |
JP2008252587A (ja) | 2008-10-16 |
US8488806B2 (en) | 2013-07-16 |
WO2008123315A1 (ja) | 2008-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4950733B2 (ja) | 信号処理装置 | |
US10924849B2 (en) | Sound source separation device and method | |
US8036888B2 (en) | Collecting sound device with directionality, collecting sound method with directionality and memory product | |
JP6780644B2 (ja) | 信号処理装置、信号処理方法、および信号処理プログラム | |
JP6665562B2 (ja) | 整相器および整相処理方法 | |
EP2938098B1 (en) | Directional microphone device, audio signal processing method and program | |
WO2011055830A1 (ja) | 信号処理方法、情報処理装置、及び信号処理プログラム | |
JP6225245B2 (ja) | 信号処理装置、方法及びプログラム | |
US9858946B2 (en) | Signal processing apparatus, signal processing method, and signal processing program | |
JP2020012976A (ja) | 音源分離の評価装置および音源分離装置 | |
JP5387442B2 (ja) | 信号処理装置 | |
JP6011536B2 (ja) | 信号処理装置、信号処理方法、およびコンピュータ・プログラム | |
KR101260684B1 (ko) | 피드 포워드 네트워크를 이용하는 독립 벡터 분석에 따른 블라인드 소스 분리 방법 및 장치 | |
JP5376635B2 (ja) | 雑音抑圧処理選択装置,雑音抑圧装置およびプログラム | |
Genser et al. | Signal and loss geometry aware frequency selective extrapolation for error concealment | |
JP2018142822A (ja) | 音響信号処理装置、方法及びプログラム | |
Eldwaik et al. | Mitigating wind noise in outdoor microphone signals using a singular spectral subspace method | |
JP7252779B2 (ja) | 雑音除去装置、雑音除去方法およびプログラム | |
Muhsina et al. | Objective and Subjective Analysis of Audio Source Separation using GAN | |
JP6903947B2 (ja) | 非目的音抑圧装置、方法及びプログラム | |
Osterwise et al. | Effect of frequency oversampling and cascade initialization on permutation control in frequency domain BSS | |
JP2015025914A (ja) | 音声信号処理装置及びプログラム | |
JP2015026956A (ja) | 音声信号処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120306 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120309 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4950733 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |