[go: up one dir, main page]

JP5091647B2 - ナビゲーション装置 - Google Patents

ナビゲーション装置 Download PDF

Info

Publication number
JP5091647B2
JP5091647B2 JP2007317875A JP2007317875A JP5091647B2 JP 5091647 B2 JP5091647 B2 JP 5091647B2 JP 2007317875 A JP2007317875 A JP 2007317875A JP 2007317875 A JP2007317875 A JP 2007317875A JP 5091647 B2 JP5091647 B2 JP 5091647B2
Authority
JP
Japan
Prior art keywords
vehicle
parking lot
map
detecting
current location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007317875A
Other languages
English (en)
Other versions
JP2009139296A (ja
Inventor
淳哉 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2007317875A priority Critical patent/JP5091647B2/ja
Publication of JP2009139296A publication Critical patent/JP2009139296A/ja
Application granted granted Critical
Publication of JP5091647B2 publication Critical patent/JP5091647B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、マップマッチング技術を用いて地図上に自車位置を表示するナビゲーション装置に関する。
カメラによって撮像された道路の撮像画像から白線を検出し、車両がその白線を越えたことを検出したとき、マップマッチングを行わずに自車位置を表示モニタに表示する車載用ナビゲーション装置が従来技術として知られている(たとえば、特許文献1)。
特開2005−345240号公報
特許文献1に記載されているような従来の車載用ナビゲーション装置では、駐車場の入口が白線で仕切られていない場合、車両が駐車場に進入したことを検出することができないという問題点がある。
(1)請求項1の発明のナビゲーション装置は、路面の白線を検出するセンサと、センサにより検出した白線に基づいて、駐車場の区画を検知することによって、車両が駐車場に進入したことを検出する駐車場進入検出手段と、車両の現在地を検出する現在地検出手段と、現在地検出手段により検出した車両の現在地と、地図データのリンク情報とに基づいて、車両が道路リンク外を走行していることを検出するリンク外走行検出手段と、表示モニタに地図を表示し、地図に重ねて車両の位置に自車位置マークを表示する表示制御手段とを備え、リンク外走行検出手段により、車両が道路リンク外を走行していることを検出すると、センサを起動するとともに、駐車場侵入検出手段の検出結果にしたがって、表示制御手段は自車位置マークを地図上に表示することを特徴とする。
(2)請求項2の発明は、請求項1に記載のナビゲーション装置において、地図データに基づいて、表示制御手段が自車位置マークの表示に用いる車両の現在地を、道路上の位置に補正するマップマッチング手段と、駐車場進入検出前記手段により車両が駐車場に進入したことを検知すると、マップマッチング手段をオフに制御するマップマッチング制御手段とを備えることを特徴とする。
(3)請求項3の発明は、請求項1または2に記載のナビゲーション装置において、センサは広角カメラであることを特徴とする。
本発明のナビゲーション装置によれば、路上の白線を検出し、検出した白線に基づいて、駐車場の区画を検知することによって、車両が駐車場に進入したことを検出するようにした。したがって、車両が駐車場に進入したことを確実に検出することができ、車両が駐車場に進入したにもかかわらず、マップマッチングにより自車位置が誤って駐車場外の道路上に表示されるのを確実に防止することができる。
図1は、本発明の実施形態によるナビゲーション装置1を示す。このナビゲーション装置1には、車両前方を撮像するフロントカメラ19が設けられている。このカメラ19で撮像した画像を画像処理した後に画像認識することによって、路面に描かれた白線を検出することができる。
ナビゲーション装置1は、制御回路11、ROM12、RAM13、現在地検出装置14、画像メモリ15、表示モニタ16、スピーカ17、入力装置18、フロントカメラ19、およびディスクドライブ110を有している。ディスクドライブ110には、地図データが記憶されたDVD−ROM111が装填されている。
制御回路11は、マイクロプロセッサ及びその周辺回路からなり、RAM13を作業エリアとしてROM12に格納された制御プログラムを実行して各種の制御を行う。この制御回路11がDVD−ROM111に記憶された地図データに基づいて所定の経路探索処理を行うと、その処理結果が推奨経路として表示モニタ16に表示される。
制御回路11は、フロントカメラ19によって撮像された画像を画像処理(画像強調)した後、路面に描かれた白線を認識する。たとえば、路面の輝度よりも高い輝度を有するエッジを抽出して、そのエッジ画像に基づいて路面の白線を認識する。制御回路11は、路面の白線によって描かれた線図の形状により、フロントカメラ19によって撮像された場所が駐車場であるか否かを検出する。
現在地検出装置14は車両の現在地を検出する装置である。現在地装置14は、振動ジャイロ14a、車速センサ14b、GPS(Global Positioning System)センサ14cなどからなる。振動ジャイロ14aは車両の進行方向を検出し、車速センサ14bは車速を検出し、GPSセンサ14cはGPS衛星からのGPS信号を検出する。ナビゲーション装置1は、この現在地検出装置14により検出された車両の現在地に基づいて、地図の表示範囲や経路探索開始点などを決定するとともに、地図上にその現在地を自車位置マークとして表示する。
このナビゲーション装置1では、後述する地図データに基づいて、現在地検出装置14によって検出された現在地を道路上の位置に補正するマップマッチングが行われる。マップマッチング処理においては、複数の現在地候補(たとえば、5つの現在地候補)が算出される。いったん算出された複数の現在地候補の位置は、現在地検出装置14によって検出された現在地に基づいて、逐次、更新される。逐次更新された複数の現在地候補の位置の軌跡の中で道路形状から最も外れない軌跡の現在地候補が、自車位置マークとして地図上に表示される。
画像メモリ15は、表示モニタ16に表示するための画像データを格納する。この画像データは地図描画用データや各種の図形データからなり、それらはDVD−ROM111に記憶された地図データに基づいて、適宜生成される。ナビゲーション装置1は、このようにして生成された画像データを用いることによって地図表示などを行うことができる。また、画像メモリ15はフロントカメラ19によって撮像された路面の画像も記憶する。この記憶した画像に基づいて制御回路11は路面の白線を認識する。
ディスクドライブ110は、DVD−ROM111から地図データを読み出す。地図データは、地図表示用データ、経路探索用データなどを含む。地図表示用データおよび経路探索用データには、地図データに格納されている道路のリンク情報およびノード情報が含まれている。地図表示用データは、広域から詳細まで複数の縮尺の地図データを有し、ユーザの要求にしたがって、表示地図の縮尺を変更することができる。なお、DVD−ROM111以外の他の記録メディア、たとえばCD−ROMやハードディスクなどより地図データを読み出してもよい。
表示モニタ16は、地図データなどの各種情報に基づいて、自車位置付近の地図などの各種情報を画面表示としてユーザに提供する。スピーカ17は、各種入力操作をユーザに指示したり、経路誘導したりするための音声を出力する。入力装置18は、ユーザが各種コマンドを設定するための入力スイッチを有し、操作パネルに設けられたスイッチやボタンによって実現される。ユーザは、表示モニタ16の表示画面の指示やスピーカ17からの音声指示にしたがって入力装置18を操作することにより、目的地を設定する。
目的地がユーザにより設定されると、ナビゲーション装置1は現在地検出装置14により検出された現在地を出発地として目的地までの経路演算を所定のアルゴリズムに基づいて行う。このような経路演算を以下、経路探索と呼ぶ。このようにして求められた経路(以下、推奨経路という)は、表示形態、たとえば表示色などを変えることによって、ほかの道路とは区別して画面表示される。これにより、ユーザは地図上の推奨経路を画面上で認識することができる。ナビゲーション装置1は、推奨経路に従って車両が走行できるように、ユーザに対して画面や音声などによる進行方向指示を行い、車両を経路誘導する。
フロントカメラ19は、図2に示すように、車両20の前部に設けられており、車両前方を撮像する広角カメラである。
次に、図3および図4を参照して、フロントカメラ19によって撮像された路面の画像に基づいて、車両が駐車場に進入したことを検出する駐車場進入検出処理について説明する。車両20は、駐車場区画31〜38にうちのいずれかの区画に駐車しようとしており、図3に示すように、駐車場区画部に進入する手前の位置にあるものとする。このときのフロントカメラ19により撮像された画像40Aを図4(a)に示す。図4(a)に示すように、フロントカメラ19により、駐車場区画31〜38が撮像される。
図4(a)に示すように、駐車場区画31〜38の区画線は白色で描かれているので、区画線の輝度は路面の輝度より高い。したがって、図4(b)に示すように、輝度変化の大きいエッジを抽出することによって、区画線を強調することができる。このように画像強調したエッジ画像に基づいて、白線により描かれた形状を認識する。たとえば、図4(b)に示すように、間隔がある程度狭く、平行である2本の白線41a,41bや、等間隔に並んでいる白線42a〜45a,42b〜45bなどの特徴点を検出することによって、フロントカメラ19によって撮像された場所が駐車場であることを検出する。これにより車両が駐車場に進入したこと検出することができる。フロントカメラ19は広角カメラであるので、図4(a),(b)に示すように、フロントカメラ19により撮影した画像には広角歪みが発生する。したがって、画像認識を行うとき、広角歪みを考慮に入れる。
図5は、表示モニタ16に表示された表示画面を説明するための図である。表示画面には、自車位置周辺の地図50と、自車位置を表す自車位置マーク51が地図50に重ねて表示される。フロントカメラ19によって撮影された場所が駐車場であること、つまり、車両20が駐車場に進入したことが検出されると、マップマッチングを行わない。その結果、図5に示すように、自車位置マーク51は、現在地検出装置14により検出された現在地に基づいて駐車場51内に表示される。一方、マップマッチングを行うと、車両が駐車場52内にあるにもかかわらず、自車位置マーク53が道路54上に表示されるおそれがある。
車両が駐車場を退出し、再び道路を走行すると、車速は所定値以上になる。また、図6(a)に示すように、車両が道路60を走行すると、図6(b)に示すようにフロントカメラ19が撮像した画像70には、車線境界線61,62が撮像される。その結果、マップマッチングが再び行われ、自車位置マークは地図の道路上の位置に表示される。
次に、本発明の一実施形態におけるナビゲーション装置1のマップマッチング制御処理について図7および図8のフローチャートを参照して説明する。図7および図8の処理は、ナビゲーション装置1の電源がオンになるとスタートするプログラムにより実行される。このプログラムはROM12に格納されている。
ステップS701では、現在地検出装置14により車両20の現在地を検出する。ステップS702では、DVD−ROM111に記憶されている地図データの道路のリンク情報に基づいて、車両が、道路から所定距離以上離れて走行しているか、つまり車両が道路リンク外を走行しているか否かを判定する。車両が道路リンク外を走行している場合はステップS702が肯定判定され、ステップS703へ進む。車両が道路リンク外を走行していない場合はステップS702が否定判定され、ステップS701に戻る。
ステップS703では、フロントカメラ19を起動する。ステップS704では、フロントカメラ19が撮影した画像に対して画像処理(画像強調)を行う。ステップS705では、画像処理した画像に基づいて画像認識を行い、路面に描かれた白線の形状などを認識する。
ステップS706では、ステップS705における画像認識の結果に基づいて、車両20が駐車場52に進入したか否かを判定する。車両20が駐車場52に進入した場合はステップS706が肯定判定され、ステップS707へ進む。車両20が駐車場52に進入していない場合はステップS706が否定判定され、ステップS701に戻る。ステップS707では、駐車場フラグをオンにする。ステップS708では、マップマッチング処理をオフにする。これにより、マップマッチングを行わずに、自車位置マーク51を地図上に表示する。
図8のステップS801では、車速センサ14bにより車速を検出する。ステップS802では、車速が規定値以上であるか否かを判定する。これにより、車両が駐車場52を退出したか否かを判定することができる。車速が規定値以上である場合はステップS802が肯定判定され、ステップS803へ進む。車速が規定値未満である場合はステップS802が否定判定され、ステップS806へ進む。ステップS803では、駐車場フラグをオフにする。ステップS804では、マップマッチング処理をオンにする。これにより、マップマッチングにより自車位置マークは道路上に表示される。ステップS805では、フロントカメラ19を停止する。そして、リターンする。
ステップS806では、フロントカメラ19が撮影した画像の画像処理(画像強調)を行う。ステップS807では、画像処理した画像について画像認識を行い、路面に描かれた白線の形状などを認識する。ステップS808では、ステップS807の画像認識の結果、車線境界線61,62が検出されたか否かを判定する。これにより、車両が駐車場52を退出したか否かを判定することができる。車線境界線61,62が検出された場合はステップS809が肯定判定され、ステップS803へ進む。車線境界線61,62が検出されない場合はステップS809が否定判定され、ステップS801に戻る。
以上の実施形態によるナビゲーション装置1は次のような作用効果を奏する。
(1)車両20に設けられたフロントカメラ19により撮影した画像から白線を検出し、検出した白線に基づいて、駐車場51の区画を検知することによって、車両20が駐車場51に進入したことを検出するようにした。したがって、車両20が駐車場51に進入したことを確実に検出することができ、車両20が駐車場51に進入したにもかかわらず、マップマッチングにより自車位置が道路上に表示されるのを確実に防止することができる。
また、車両が駐車場にある間は、マップマッチング処理を行わなくて済み、制御回路11の処理負荷低減が可能となる。これにより、マップマッチング処理以外の処理を優先することが可能となる。
(2)フロントカメラ19で撮影した画像から白線を検出し、車両20が走行している車線の車線境界線61,62を検知することにより、車両20が駐車場51を退出し、道路を走行していることを検出するようにした。したがって、車両20が駐車場51を退出したことを確実に検出することができ、再び、マップマッチングにより自車位置を地図の道路上に表示させることができる。
(3)車速を検出することにより、車両20が駐車場51を退出し、道路を走行していることを検出するようにした。したがって、撮影した白線により車両が駐車場を退出したことが検出されない場合でも、車両が駐車場を退出して道路を走行している場合には、再び、マップマッチングにより自車位置を地図の道路上に表示させることができる。
(4)車両の前部に設置された広角カメラ19は、運転者の安全運転の支援にも使用することができる。たとえば、車両が交差点に進入するとき、広角カメラ19により撮像された画像によって、右方向または左方向から交差点に進入する車両を確認することができる。したがって、一台のカメラにより、安全運転支援と、駐車場認識とを行うことができ、利便性が高い。
(5)車両が道路リンク外を走行している場合にフロントカメラ19を起動するようにした。したがって、常時、フロントカメラ19を動作させないので、車両のバッテリの消耗を抑制することができる。
以上の実施の形態のナビゲーション装置1を次のように変形することができる。
(1)インフラを利用しないで、自律的に駐車場を検知できるセンサであれば、カメラに限定されない。たとえば、レーザレーダを用いて、駐車場の区画線を検出し、駐車場を検知するようにしてもよい。レーザレーダは、反射光の強弱などから、路面の白線を認識することができる。
(2)車両が道路リンク外を走行している場合にフロントカメラ19を起動するようにした。しかし、フロントカメラ19を駐車場の検出以外に使用する場合、常時動作させるようにしてもよい。
(3)駐車場に車両が駐車していると、駐車場の区画線が駐車している車両に隠れてしまい、フロントカメラ19により区画線を撮像できない場合がある。このような場合、複数の車両が並列に停車していることをフロントカメラ19の画像より検出することによって、車両が駐車場に進入したことを検出するようにしてもよい。
(4)マップマッチングの方法は、現在地検出装置14によって検出された現在地を道路上の位置に補正するものであれば、実施形態に限定されない。たとえば、現在地検出装置14によって検出された現在地の軌跡を、単位走行距離ごとに地図データのリンク情報と照合して、リンクと一致するように車両の現在地を補正するようにしてもよい。
以上の説明はあくまで一例であり、発明は、上記の実施形態に何ら限定されるものではない。
特許請求の範囲の要素と実施の形態との対応関係を説明する。
本発明の駐車場進入検出手段は制御回路11に対応し、現在地検出手段は現在地検出装置14に対応する。表示制御手段および駐車場退出検出手段は制御回路11に対応し、車速検出手段は車速センサ14bに対応する。リンク外走行検出手段は制御回路11に対応する。なお、以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成要素と本発明の構成要素との対応関係になんら限定されるものではない。
本発明の一実施形態のナビゲーション装置の構成を示すブロック図である。 フロントカメラの取付位置を説明するための図である。 駐車場の区画を説明するための図である。 フロントカメラが撮像した画像を説明するための図である。 表示モニタに表示される自車位置マークを説明するための図である。 車両が道路を走行しているときにフロントカメラにより撮像される画像を説明するための図である。 本発明の一実施形態におけるナビゲーション装置のマップマッチング制御処理を説明するためのフローチャートである。 本発明の一実施形態におけるナビゲーション装置のマップマッチング制御処理を説明するためのフローチャートである。
符号の説明
1 ナビゲーション装置
11 制御回路
14 現在地検出装置
16 表示モニタ
19 フロントカメラ
20 車両

Claims (3)

  1. 路面の白線を検出するセンサと、
    前記センサにより検出した白線に基づいて、駐車場の区画を検知することによって、車両が駐車場に進入したことを検出する駐車場進入検出手段と、
    前記車両の現在地を検出する現在地検出手段と、
    前記現在地検出手段により検出した前記車両の現在地と、地図データのリンク情報とに基づいて、前記車両が道路リンク外を走行していることを検出するリンク外走行検出手段と、
    表示モニタに地図を表示し、前記地図に重ねて前記車両の位置に自車位置マークを表示する表示制御手段とを備え、
    前記リンク外走行検出手段により、前記車両が道路リンク外を走行していることを検出すると、前記センサを起動するとともに、前記駐車場進入検出手段の検出結果にしたがって、前記表示制御手段は前記自車位置マークを前記地図上に表示することを特徴とするナビゲーション装置。
  2. 請求項1に記載のナビゲーション装置において、
    前記地図データに基づいて、前記表示制御手段が前記自車位置マークの表示に用いる前記車両の現在地を、道路上の位置に補正するマップマッチング手段と、
    前記駐車場進入検出前記手段により前記車両が駐車場に進入したことを検知すると、前記マップマッチング手段をオフに制御するマップマッチング制御手段とを備えることを特徴とするナビゲーション装置。
  3. 請求項1または2に記載のナビゲーション装置において、
    前記センサは広角カメラであることを特徴とするナビゲーション装置。
JP2007317875A 2007-12-10 2007-12-10 ナビゲーション装置 Expired - Fee Related JP5091647B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007317875A JP5091647B2 (ja) 2007-12-10 2007-12-10 ナビゲーション装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007317875A JP5091647B2 (ja) 2007-12-10 2007-12-10 ナビゲーション装置

Publications (2)

Publication Number Publication Date
JP2009139296A JP2009139296A (ja) 2009-06-25
JP5091647B2 true JP5091647B2 (ja) 2012-12-05

Family

ID=40870036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007317875A Expired - Fee Related JP5091647B2 (ja) 2007-12-10 2007-12-10 ナビゲーション装置

Country Status (1)

Country Link
JP (1) JP5091647B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010210477A (ja) * 2009-03-11 2010-09-24 Clarion Co Ltd ナビゲーション装置
JP5942817B2 (ja) * 2012-11-27 2016-06-29 日産自動車株式会社 車両用加速抑制装置
JP6152261B2 (ja) * 2012-11-27 2017-06-21 クラリオン株式会社 車載用駐車枠認識装置
JP6031973B2 (ja) * 2012-11-27 2016-11-24 日産自動車株式会社 車両用加速抑制装置
JP2015064795A (ja) * 2013-09-25 2015-04-09 日産自動車株式会社 駐車場判定装置、駐車場判定方法
JP6197604B2 (ja) * 2013-11-20 2017-09-20 日産自動車株式会社 車両用加速抑制装置
JP2015209003A (ja) * 2014-04-23 2015-11-24 株式会社ユピテル 装置およびプログラム
JP6322056B2 (ja) * 2014-06-06 2018-05-09 クラリオン株式会社 車載装置、及び車載装置の制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0719882A (ja) * 1993-06-30 1995-01-20 Mazda Motor Corp 車両の走行域認識装置及びそれを備えた自動車の安全装置
JP3587904B2 (ja) * 1995-06-09 2004-11-10 株式会社ザナヴィ・インフォマティクス 現在位置算出装置
JP2001330455A (ja) * 2000-05-19 2001-11-30 Sony Corp ナビゲーション装置
JP4377284B2 (ja) * 2004-06-02 2009-12-02 株式会社ザナヴィ・インフォマティクス 車載ナビゲーション装置
JP2006151014A (ja) * 2004-11-25 2006-06-15 Denso Corp 安全運転支援システム
JP2007052341A (ja) * 2005-08-19 2007-03-01 Fujitsu Ten Ltd 道路データ更新装置

Also Published As

Publication number Publication date
JP2009139296A (ja) 2009-06-25

Similar Documents

Publication Publication Date Title
US11688283B2 (en) Information processing apparatus and information processing method
JP5091647B2 (ja) ナビゲーション装置
JP4352389B2 (ja) ナビゲーション装置及びナビゲーションシステム
JP6566145B2 (ja) 走行支援装置及びコンピュータプログラム
JP6506625B2 (ja) 運転支援装置及び運転支援方法
JP4680131B2 (ja) 自車位置測定装置
JP4377284B2 (ja) 車載ナビゲーション装置
JP4859760B2 (ja) カーナビゲーション装置、道路標識認識方法およびプログラム
AU2019101842A4 (en) Prompting method and system for vehicle, and vehicle
JP4495769B2 (ja) 安全運転支援システム及びその方法、安全運転を支援するためのコンピュータプログラム及びそのコンピュータプログラムを記録した記録媒体、並びにナビゲーション装置
JP5146482B2 (ja) 交錯点マップ作成装置および交錯点マップ作成装置用のプログラム
JP2008276642A (ja) 走行車線認識装置および走行車線認識方法
JP4888285B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP4724079B2 (ja) 対象物認識装置
JP5901358B2 (ja) 車載装置
JP6597128B2 (ja) 車両用表示装置
JP4924303B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP5030552B2 (ja) ナビゲーション装置
JP2011175367A (ja) 車両制御装置
JPH07280579A (ja) ナビゲーション装置
JP5573266B2 (ja) 車両用対象物画像認識装置、車両用対象物画像認識方法及びコンピュータプログラム
JP2017208056A5 (ja)
JP6330868B2 (ja) 車両制御装置
JP2006317286A (ja) 車載ナビゲーション装置
JP2005170323A (ja) 走路形状表示装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101207

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20101207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120821

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120914

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150921

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees