[go: up one dir, main page]

JP2004206441A - License plate reader - Google Patents

License plate reader Download PDF

Info

Publication number
JP2004206441A
JP2004206441A JP2002375031A JP2002375031A JP2004206441A JP 2004206441 A JP2004206441 A JP 2004206441A JP 2002375031 A JP2002375031 A JP 2002375031A JP 2002375031 A JP2002375031 A JP 2002375031A JP 2004206441 A JP2004206441 A JP 2004206441A
Authority
JP
Japan
Prior art keywords
vehicle
number information
license plate
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002375031A
Other languages
Japanese (ja)
Other versions
JP4108468B2 (en
Inventor
Takuma Sumiya
卓磨 角谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2002375031A priority Critical patent/JP4108468B2/en
Publication of JP2004206441A publication Critical patent/JP2004206441A/en
Application granted granted Critical
Publication of JP4108468B2 publication Critical patent/JP4108468B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Character Discrimination (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a license plate reader capable of detecting a vehicle whose license plate could not be read and acquiring information on the vehicle. <P>SOLUTION: When a sensor part 3 detects a vehicle passing a road, a first camera photographs the front face of the vehicle, and a first picture processing part 21 reads the license plate on the front face and acquires number information. Also, a second camera 7 photographs the rear face of the vehicle, and a second picture processing part 22 reads the license plate on the rear face and acquires the number information. A decision part 23 decides whether the number information has been normally acquired. When it is decided that the number information has not been normally acquired, it is judged that the vehicle is a candidate of an illegal vehicle, a picture data accumulating part 31 saves pictures on the front face and the rear face of the vehicle, and a picture data analysis part 33 analyzes the picture of the illegal vehicle and acquires detailed information. A number information accumulating part 32 saves the detailed information. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
この発明は、ナンバープレートの読み取りが正常にできない車両を検知し、当該車両の情報を取得することができるナンバープレート読み取り装置に関するものである。
【0002】
【従来の技術】
従来のナンバープレート読み取り装置には、車両のナンバープレートを撮像する撮像手段と、撮像手段が撮像した画像を読取る画像認識手段と、認識されたナンバープレートのデータを蓄積するコンピュータとを備え、撮像手段が撮像した画像に基づいて画像認識手段が認識した車両のナンバープレートのデータをコンピュータに蓄積するものがある。例えば、特許文献1はこの種の車両ナンバープレート読み取り装置を開示する。
【0003】
【特許文献1】
特開2002−133579公報(第2−4頁、第1図)
【0004】
【発明が解決しようとする課題】
しかしながら、従来のナンバープレート読み取り装置ではナンバープレートを正常に読み取ることができた車両の画像についてのみ処理を行っているため、ナンバープレートが不正である車両の情報を得ることができないという課題があった。
【0005】
この発明は上記のような課題を解決するためになされたもので、ナンバープレートが不正な車両を検知し、当該車両の情報を取得することができるナンバープレート読み取り装置を得ることを目的とする。
【0006】
【課題を解決するための手段】
この発明に係るナンバープレート読み取り装置は、道路を通過する車両を検知する検知手段と、検知手段の車両検知に応答して車両のナンバープレートを撮影する撮影手段と、撮影手段が撮影する車両の画像から車両ナンバー情報を取得する画像処理手段と、画像処理手段が取得する車両ナンバー情報に基づいて、当該車両が正常車両であるか不正車両であるかを判定する判定手段と、判定手段で不正車両と判定された車両の画像を保存する画像蓄積手段と、判定手段で不正車両と判定された車両の画像を解析し、不正車両の情報を取得する画像解析手段と、画像解析手段によって取得された不正車両の情報を保存するナンバー情報蓄積手段とを備えたものである。
【0007】
【発明の実施の形態】
実施の形態1.
図1はこの発明の実施の形態1によるナンバープレート読み取り装置の運用について説明する図である。ナンバープレート読み取り装置は、センサ部(検知手段)3、第1のカメラ(撮影手段)5、第2のカメラ(撮影手段)7、制御部20を備える。制御部20は、図示しないが画像の処理等を行う処理装置に接続されている。図1に示すように、車両1は道路10を直進走行し、車両2は道路10を車両1の前方を直進走行している。センサ部3は道路10を通過する車両を検知し、その監視領域を4で示す。第1のカメラ5は通過車両の前面を撮影し、その撮影領域を6で示す。第2のカメラ7は通過車両の後面を撮影し、その撮影領域を8で示す。第1のカメラ5および第2のカメラ7には電荷結合素子カメラ(CCDカメラ)などが用いられる。
【0008】
図2はこの発明の実施の形態1によるナンバープレート読み取り装置のブロック図である。図1と共通する要素には同一符号を付し、その説明を省略する。制御部20は、第1の画像処理部(画像処理手段)21、第2の画像処理部(画像処理手段)22、判定部(判定手段)23を備える。制御部20は処理装置30に接続される。処理装置30は制御部20からの情報の取得、処理を行う。処理装置30は、画像データ蓄積部(画像蓄積手段)31、ナンバー情報蓄積部(ナンバー情報蓄積手段)32、画像データ解析部(画像解析手段)33を備える。処理装置30は複数の制御部20からの情報の取得、処理を行うようにしてもよい。
【0009】
第1の画像処理部21は、第1のカメラ5によって撮影された車両の前面の画像から、当該車両の前面のナンバー情報を取得する。第2の画像処理部22は第2のカメラ7によって撮影された車両の後面の画像から、当該車両の後面のナンバー情報を取得する。判定部23は自動車のプレートの形態に関する情報を備え、第1の画像処理部21によって取得された車両の前面のナンバー情報と第2の画像処理部22によって取得された当該車両の後面のナンバー情報とに基づいて、当該車両が正常車両であるか不正車両の候補であるかを判定する。例えば、前面および後面のいずれかまたは両方のナンバープレートが取り付けられていない車両や、ナンバープレート隠しを行っている車両は不正車両の候補として判断される。
【0010】
画像データ蓄積部31は、判定部23によって不正車両の候補であると判定された車両の画像、すなわち、第1のカメラ5によって撮影された画像と第2のカメラ7によって撮影された画像とを保存する。画像データ解析部33は判定部23によって不正車両の候補であると判定された車両の画像データを解析し、不正車両の詳細な情報(後述する)を取得する。ナンバー情報蓄積部32は判定部23によって正常車両であると判断された車両のナンバー情報と、画像データ解析部33によって取得された不正車両の情報とを保存する。
【0011】
図3はこの実施の形態1によるナンバープレート読み取り装置の動作を示すフローチャートである。図2、図3を参照して、ナンバープレート読み取り装置の動作について説明する。
センサ部3は道路を通過する車両を検知すると(ステップST100)、第1のカメラ5と第2のカメラ7にその旨を通知する。センサ部3からの車両検知の通知に応答して、第1のカメラ5は当該車両の前面を撮影し(ステップST101)、第1の画像処理部21が第1のカメラ5によって撮影された前面のナンバープレートを読み取り、ナンバー情報を取得する(ステップST102)。また、センサ部3からの車両検知の通知に応答して、第2のカメラ7が当該車両の後面を撮影し(ステップST103)、第2の画像処理部22が第2のカメラ7によって撮影された後面のナンバープレートを読み取り、ナンバー情報を取得する(ステップST104)。
【0012】
続いて、判定部23は第1の画像処理部21によってナンバー情報が正常に取得できたか否かを判定する(ステップST105)。正常に取得できたと判定された場合、判定部23は第2の画像処理部22によってナンバー情報が正常に取得できたか否かを判定する(ステップST106)。正常に取得できたと判定された場合、さらに、判定部23は第1の画像処理部21によって取得されたナンバー情報と第2の画像処理部22によって取得されたナンバー情報とを比較し(ステップST107)、一致する場合は正常車両であると判断する。正常車両のナンバー情報がナンバー情報蓄積部32に保存される(ステップST108)。
【0013】
ステップST105またはステップST106において、前面または後面のナンバー情報が正常でないと判断された場合、または、ステップST107において前面と後面のナンバー情報が一致しないと判断された場合は、不正車両の候補であると判断され、画像データ蓄積部31が当該車両の前面および後面の画像を保存する(ステップST109)。また、画像データ解析部33は当該画像を解析して詳細な情報を取得する(ステップST110)。画像データ蓄積部31は取得した詳細な情報をナンバー情報蓄積部32に通知し、ナンバー情報蓄積部32はこの情報を保存する(ステップST111)。
【0014】
画像データ解析部33は、不正車両の候補と判断された車両の詳細情報を取得するために、以下のように処理を行ってもよい。すなわち、不正車両の画像を解析した結果、ナンバー隠しを行っている車両であると判断された場合には、画像から当該車両のボディ部の色、形状およびサイズを取得し、不正車両情報としてナンバー情報蓄積部32に通知する。また、前面と後面のナンバープレートをともに取り付けてない車両を検出した場合も同様に、当該車両のボディ部の色、形状およびサイズを取得し、不正車両情報としてナンバー情報蓄積部32に通知する。また、前面もしくは後面どちらか一方のナンバープレートを取り付けていない車両を検出した場合は、取得できたナンバー情報をナンバー情報蓄積部32に通知する。また、前面と後面とに異なるナンバープレートを取り付けている不正車両を検出した場合は、当該車両のボディ部の色、形状、サイズ、取得した前面および後面ナンバー情報を、ナンバー情報蓄積部32に通知する。
【0015】
以上のように、この実施の形態1によれば、第1のカメラが通過車両の前面を撮影し、第2のカメラが通過車両の後面を撮影し、前面または後面のナンバー情報が正常に取得できなかった場合、または前面と後面のナンバー情報が一致しなかった場合には、画像を解析して当該車両の詳細な情報を取得するようにしたので、ナンバープレートが正常な車両のナンバー情報だけでなく不正な車両の詳細な情報も保存しておくことができ、犯罪車両の捜索等に役立てることができる効果が得られる。
【0016】
また、前面もしくは後面どちらか一方のナンバープレートを取り付けていない車両を検出した場合にも、取得できたナンバー情報を保存するようにしたので、この情報を用いることによって車両の所有者に適切な指導を行うことができる。
【0017】
実施の形態2.
この実施の形態2では、図2に示した判定部23に、自動二輪車を識別する機能を追加する。このため、判定部23は自動二輪車のプレートと自動車のプレートとを区別することができるような情報、例えば自動二輪車のプレートの形態に関する情報を備えている。図4はこの実施の形態2によるナンバープレート読み取り装置の動作を示すフローチャートであり、図2、図4を参照して、ナンバープレート読み取り装置の動作について説明する。
【0018】
実施の形態1と同様に、センサ部3が道路を通過する車両を検知すると(ステップST200)、センサ部3の車両検知に応答して第1のカメラ5が当該車両の前面を撮影し(ステップST201)、第1の画像処理部21が第1のカメラ5によって撮影された前面のナンバープレートを読み取りナンバー情報を取得する(ステップST202)。また、センサ部3の車両検知に応答して第2のカメラ7が当該車両の後面を撮影し(ステップST203)、第2の画像処理部22が第2のカメラ7によって撮影された後面のナンバープレートを読み取りナンバー情報を取得する(ステップST204)。
【0019】
続いて、判定部23が第1の画像処理部21によって前面のナンバー情報が正常に取得できたか否かを判定し(ステップST205)、正常に取得できたと判定された場合、判定部23は第2の画像処理部22によって後面のナンバー情報が正常に取得できたか否かを判定する(ステップST206)。正常に取得できたと判定された場合、さらに、判定部23は第1の画像処理部21によって取得されたナンバー情報と第2の画像処理部22によって取得されたナンバー情報とを比較し(ステップST207)、一致する場合は正常車両であると判断する。正常車両のナンバー情報がナンバー情報蓄積部32に保存される(ステップST208)。
【0020】
ステップST205またはステップST206において、前面または後面のナンバー情報が正常でないと判断された場合、判定部23がナンバー情報について判定を行う(ステップST209)。すなわち、第1の画像処理部21が取得した前面のナンバー情報が正常でなく、かつ第2の画像処理部22が取得した後面のナンバー情報と判定部23が所有する自動二輪車のプレート情報とが一致するものがある場合、当該車両は正常な自動二輪車であると判断され、この車両のナンバー情報がナンバー情報蓄積部32に保存される(ステップST208)。ステップST209において上記条件を満たさない場合、またはステップST207で前面と後面のナンバー情報が一致しないと判定された場合は不正車両であると判断され、実施の形態1と同様に当該画像を画像データ蓄積部31が保存し(ステップST210)、画像データ解析部33が解析して詳細情報を取得し(ステップST211)、当該詳細情報をナンバー情報蓄積部32が保存する(ステップST212)。
【0021】
以上のように、この実施の形態2によれば、第1の画像処理部21が取得した前面のナンバー情報が正常でなく、かつ第2の画像処理部22が取得した後面のナンバー情報と判定部23が所有する自動二輪車のプレート情報とが一致するものがある場合、当該車両は正常な自動二輪車であると判定部23が判断するようにしたので、自動二輪車についてもナンバーの読み取りを行うことができる効果が得られる。
【0022】
実施の形態3.
図5はこの発明の実施の形態3によるナンバープレート読み取り装置のブロック図である。図2と共通する要素には同一符号を付し、その説明を省略する。この実施の形態3では、実施の形態1のセンサ部3に騒音計測機能を追加し、計測結果を判定部23に対して通知するようにする。判定部23は騒音の基準値に関する情報を所有する。
【0023】
図6はこの実施の形態3によるナンバープレート読み取り装置の処理を示すフローチャートである。図5、図6を参照して、ナンバープレート読み取り装置の動作について説明する。
センサ部3は、道路を通過する車両を検知すると(ステップST300)、当該車両の騒音計測を行い(ステップST301)、計測結果を判定部23に通知する。センサ部3の車両検知に応答して第1のカメラ5が当該車両の前面を撮影し(ステップST302)、第1の画像処理部21が第1のカメラ5によって撮影された前面のナンバープレートを読み取り、ナンバー情報を取得する(ステップST303)。また、センサ部3の車両検知に応答して第2のカメラ7が当該車両の後面を撮影し(ステップST304)、第2の画像処理部22が第2のカメラ7によって撮影された後面のナンバープレートを読み取り、ナンバー情報を取得する(ステップST305)。
【0024】
続いて、判定部23が第1の画像処理部21によって前面のナンバー情報が正常に取得できたか否かを判定し(ステップST306)、正常に取得できたと判定された場合、判定部23は第2の画像処理部22によって後面のナンバー情報が正常に取得できたか否かを判定する(ステップST307)。正常に取得できたと判定された場合、さらに、判定部23は第1の画像処理部21によって取得されたナンバー情報と第2の画像処理部22によって取得されたナンバー情報とを比較し(ステップST308)、一致する場合は正常車両であると判断する。続いて、判定部23はセンサ部3から通知された騒音計測結果が基準値を超えているか否かを判定し(ステップST309)、超えていない場合は正常車両であると判断され、当該車両のナンバー情報がナンバー情報蓄積部32に保存される(ステップST310)。
【0025】
ステップST306またはステップST307において、前面または後面のナンバー情報が正常でないと判断された場合、または、ステップST308において前面と後面のナンバー情報が一致しないと判断された場合は、不正車両の候補であると判断され、画像データ蓄積部31が当該車両の前面および後面の画像を保存し(ステップST311)、画像データ解析部33が実施の形態1と同様に解析して詳細な情報を取得する(ステップST312)。画像データ蓄積部31は取得した詳細な情報をナンバー情報蓄積部32に通知し、ナンバー情報蓄積部32はこの情報を保存する(ステップST313)。また、ステップST309において当該車両の発する騒音が基準値を超えていると判断された場合は不正車両であると判断され、ナンバー情報蓄積部32に騒音が基準値を超えている旨を示す情報とともにナンバー情報が保存される(ステップST313)。
【0026】
以上のように、この実施の形態3によれば、センサ部3が道路を通過する車両の騒音計測を行い、計測結果が基準値を超えている場合は判定部23が不正車両であると判断するようにしたので、基準値を超える騒音を発している車両を検出できる効果が得られる。
【0027】
なお、この実施の形態3の判定部23に、実施の形態2で示した自動二輪車を識別する機能を追加してもよい。
【0028】
【発明の効果】
以上のように、発明によれば、ナンバープレート読み取り装置が、道路を通過する車両を検知する検知手段と、検知手段の車両検知に応答して車両のナンバープレートを撮影する撮影手段と、撮影手段が撮影する車両の画像から車両ナンバー情報を取得する画像処理手段と、画像処理手段が取得する車両ナンバー情報に基づいて、当該車両が正常車両であるか不正車両であるかを判定する判定手段と、判定手段で不正車両と判定された車両の画像を保存する画像蓄積手段と、判定手段で不正車両と判定された車両の画像を解析し、不正車両の情報を取得する画像解析手段と、画像解析手段によって取得された不正車両の情報を保存するナンバー情報蓄積手段とを備えるように構成したので、ナンバープレートが不正な車両を検知し、当該車両の情報を取得することができる効果がある。
【図面の簡単な説明】
【図1】この発明の実施の形態1によるナンバープレート読み取り装置の運用について説明する図である。
【図2】この発明の実施の形態1によるナンバープレート読み取り装置のブロック図である。
【図3】この発明の実施の形態1によるナンバープレート読み取り装置の動作を示すフローチャートである。
【図4】この発明の実施の形態2によるナンバープレート読み取り装置の動作を示すフローチャートである。
【図5】この発明の実施の形態3によるナンバープレート読み取り装置のブロック図である。
【図6】この発明の実施の形態3によるナンバープレート読み取り装置の動作を示すフローチャートである。
【符号の説明】
1,2 車両、3 センサ部(検知手段)、4 センサ部3の監視領域、5 第1のカメラ(撮影手段)、6 第1のカメラの撮影領域、7 第2のカメラ(撮影手段)、8 第2のカメラの撮影領域、10 道路、20 制御部、21 第1の画像処理部(画像処理手段)、22 第2の画像処理部(画像処理手段)、23 判定部(判定手段)、30 処理装置、31 画像データ蓄積部(画像蓄積手段)、32 ナンバー情報蓄積部(ナンバー情報蓄積手段)、33 画像データ解析部(画像解析手段)。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a license plate reading device capable of detecting a vehicle in which a license plate cannot be read normally and acquiring information on the vehicle.
[0002]
[Prior art]
The conventional license plate reading device includes an imaging unit that captures an image of a license plate of a vehicle, an image recognition unit that reads an image captured by the imaging unit, and a computer that stores data of the recognized license plate. There is a type in which data of a license plate of a vehicle recognized by an image recognition unit based on an image captured by a computer is stored in a computer. For example, Patent Document 1 discloses this type of vehicle license plate reading device.
[0003]
[Patent Document 1]
JP-A-2002-133579 (pages 2-4, FIG. 1)
[0004]
[Problems to be solved by the invention]
However, since the conventional license plate reading device processes only the image of the vehicle whose license plate can be read normally, there is a problem that it is not possible to obtain information on a vehicle whose license plate is incorrect. .
[0005]
The present invention has been made to solve the above-described problems, and has as its object to obtain a license plate reading device capable of detecting a vehicle whose license plate is illegal and acquiring information on the vehicle.
[0006]
[Means for Solving the Problems]
A license plate reading device according to the present invention includes a detection unit that detects a vehicle passing through a road, a photographing unit that photographs a license plate of a vehicle in response to vehicle detection by the detection unit, and an image of a vehicle that is photographed by the photographing unit. Image processing means for obtaining vehicle number information from the vehicle, determining means for determining whether the vehicle is a normal vehicle or a fraudulent vehicle based on the vehicle number information obtained by the image processing means, Image storage means for storing an image of the vehicle determined to be invalid, image analysis means for analyzing the image of the vehicle determined to be unauthorized by the determination means, and obtaining information on the unauthorized vehicle; Number information storage means for storing information on unauthorized vehicles.
[0007]
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiment 1 FIG.
FIG. 1 is a diagram for explaining the operation of the license plate reader according to Embodiment 1 of the present invention. The license plate reading device includes a sensor unit (detection unit) 3, a first camera (photographing unit) 5, a second camera (photographing unit) 7, and a control unit 20. The control unit 20 is connected to a processing device (not shown) that performs image processing and the like. As shown in FIG. 1, the vehicle 1 travels straight on a road 10, and the vehicle 2 travels straight ahead of the vehicle 1 on the road 10. The sensor unit 3 detects a vehicle passing on the road 10, and the monitoring area is indicated by 4. The first camera 5 photographs the front of the passing vehicle, and its photographing area is indicated by 6. The second camera 7 photographs the rear surface of the passing vehicle, and its photographing area is indicated by 8. As the first camera 5 and the second camera 7, a charge-coupled device camera (CCD camera) or the like is used.
[0008]
FIG. 2 is a block diagram of a license plate reader according to Embodiment 1 of the present invention. Elements common to those in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted. The control unit 20 includes a first image processing unit (image processing unit) 21, a second image processing unit (image processing unit) 22, and a determination unit (determination unit) 23. The control unit 20 is connected to the processing device 30. The processing device 30 acquires and processes information from the control unit 20. The processing device 30 includes an image data storage unit (image storage unit) 31, a number information storage unit (number information storage unit) 32, and an image data analysis unit (image analysis unit) 33. The processing device 30 may acquire and process information from the plurality of control units 20.
[0009]
The first image processing unit 21 acquires the number information of the front of the vehicle from the image of the front of the vehicle taken by the first camera 5. The second image processing unit 22 acquires the number information of the rear surface of the vehicle from the image of the rear surface of the vehicle taken by the second camera 7. The determination unit 23 includes information on the form of the plate of the vehicle, and the number information on the front surface of the vehicle obtained by the first image processing unit 21 and the number information on the rear surface of the vehicle obtained by the second image processing unit 22. Based on the above, it is determined whether the vehicle is a normal vehicle or a candidate for a fraudulent vehicle. For example, a vehicle to which either or both of the front and rear license plates are not attached or a vehicle in which the license plate is hidden is determined as a candidate for an unauthorized vehicle.
[0010]
The image data storage unit 31 stores the image of the vehicle determined to be a candidate for an unauthorized vehicle by the determination unit 23, that is, the image captured by the first camera 5 and the image captured by the second camera 7. save. The image data analysis unit 33 analyzes the image data of the vehicle determined as a candidate for a fraudulent vehicle by the determination unit 23, and acquires detailed information (described later) of the fraudulent vehicle. The number information storage unit 32 stores the number information of the vehicle determined to be a normal vehicle by the determination unit 23 and the information of the unauthorized vehicle acquired by the image data analysis unit 33.
[0011]
FIG. 3 is a flowchart showing the operation of the license plate reading device according to the first embodiment. The operation of the license plate reading device will be described with reference to FIGS.
When detecting the vehicle passing through the road (step ST100), the sensor unit 3 notifies the first camera 5 and the second camera 7 of the detection. In response to the vehicle detection notification from the sensor unit 3, the first camera 5 photographs the front of the vehicle (step ST101), and the first image processing unit 21 captures the front of the vehicle. Is read to obtain the number information (step ST102). Further, in response to the notification of vehicle detection from the sensor unit 3, the second camera 7 photographs the rear surface of the vehicle (step ST103), and the second image processing unit 22 is photographed by the second camera 7. Then, the license plate on the rear side is read to acquire license information (step ST104).
[0012]
Subsequently, the determination unit 23 determines whether the first image processing unit 21 has successfully acquired the number information (step ST105). If it is determined that the number information has been normally obtained, the determination unit 23 determines whether the second image processing unit 22 has successfully obtained the number information (step ST106). When it is determined that the image information has been normally obtained, the determination unit 23 further compares the number information obtained by the first image processing unit 21 with the number information obtained by the second image processing unit 22 (step ST107). ), If they match, it is determined that the vehicle is normal. The number information of the normal vehicle is stored in the number information storage unit 32 (step ST108).
[0013]
If it is determined in step ST105 or ST106 that the front or rear number information is not normal, or if it is determined in step ST107 that the front and rear number information do not match, it is determined that the vehicle is a candidate for an unauthorized vehicle. It is determined, and the image data storage unit 31 stores the images of the front and rear surfaces of the vehicle (step ST109). Further, the image data analysis unit 33 analyzes the image and acquires detailed information (step ST110). The image data storage unit 31 notifies the acquired detailed information to the number information storage unit 32, and the number information storage unit 32 stores this information (step ST111).
[0014]
The image data analysis unit 33 may perform the following process in order to obtain detailed information of a vehicle determined to be a fraudulent vehicle candidate. In other words, as a result of analyzing an image of a fraudulent vehicle, if it is determined that the vehicle has a hidden number, the color, shape and size of the body part of the vehicle are acquired from the image, and the number is obtained as fraudulent vehicle information. The information storage unit 32 is notified. Similarly, when a vehicle without both the front and rear license plates is detected, the color, shape, and size of the body of the vehicle are acquired and reported to the license information storage unit 32 as unauthorized vehicle information. When a vehicle to which either one of the front and rear license plates is not detected is detected, the obtained number information is notified to the number information storage unit 32. If a fraudulent vehicle having different license plates attached to the front and rear surfaces is detected, the color, shape, and size of the body part of the vehicle and the acquired front and rear number information are notified to the number information storage unit 32. I do.
[0015]
As described above, according to the first embodiment, the first camera photographs the front of the passing vehicle, the second camera photographs the rear of the passing vehicle, and the number information of the front or the rear is normally acquired. If it was not possible, or if the front and rear number information did not match, the image was analyzed to obtain detailed information on the vehicle, so only the number information of the vehicle with a normal license plate was used. In addition, detailed information of an unauthorized vehicle can be stored, and an effect that can be used for searching for a criminal vehicle or the like can be obtained.
[0016]
Also, when a vehicle without either the front or the rear license plate is detected, the obtained license information is saved. This information is used to provide appropriate guidance to the vehicle owner. It can be performed.
[0017]
Embodiment 2 FIG.
In the second embodiment, a function for identifying a motorcycle is added to the determination unit 23 shown in FIG. For this reason, the determination unit 23 is provided with information that can distinguish between the plate of the motorcycle and the plate of the automobile, for example, information on the form of the plate of the motorcycle. FIG. 4 is a flowchart showing the operation of the license plate reader according to the second embodiment. The operation of the license plate reader will be described with reference to FIGS.
[0018]
As in the first embodiment, when the sensor unit 3 detects a vehicle passing through a road (step ST200), the first camera 5 captures a front surface of the vehicle in response to the vehicle detection of the sensor unit 3 (step ST200). ST201), the first image processing unit 21 reads the front license plate photographed by the first camera 5, and acquires the license information (step ST202). In addition, in response to the vehicle detection of the sensor unit 3, the second camera 7 photographs the rear surface of the vehicle (step ST203), and the second image processing unit 22 records the number of the rear surface photographed by the second camera 7. The plate is read to obtain the number information (step ST204).
[0019]
Subsequently, the determination unit 23 determines whether or not the first image processing unit 21 has successfully obtained the number information on the front surface (step ST205). It is determined whether the number information on the rear surface has been normally acquired by the second image processing unit 22 (step ST206). When it is determined that the image information has been normally obtained, the determining unit 23 further compares the number information obtained by the first image processing unit 21 with the number information obtained by the second image processing unit 22 (step ST207). ), If they match, it is determined that the vehicle is normal. The number information of the normal vehicle is stored in the number information storage unit 32 (step ST208).
[0020]
If it is determined in step ST205 or ST206 that the number information on the front surface or the rear surface is not normal, the determination unit 23 determines the number information (step ST209). That is, the number information of the front surface acquired by the first image processing unit 21 is not normal, and the number information of the rear surface acquired by the second image processing unit 22 and the plate information of the motorcycle owned by the determination unit 23 are different. If there is a match, the vehicle is determined to be a normal motorcycle, and the number information of the vehicle is stored in the number information storage unit 32 (step ST208). If the above conditions are not satisfied in step ST209, or if it is determined in step ST207 that the number information on the front and rear surfaces does not match, it is determined that the vehicle is a fraudulent vehicle, and the image is stored as image data as in the first embodiment. The section 31 stores the information (step ST210), the image data analysis section 33 analyzes and acquires detailed information (step ST211), and the number information storage section 32 stores the detailed information (step ST212).
[0021]
As described above, according to the second embodiment, it is determined that the number information of the front surface acquired by the first image processing unit 21 is not normal and the number information of the rear surface acquired by the second image processing unit 22. When the plate information of the motorcycle owned by the unit 23 is identical to the motorcycle, the determination unit 23 determines that the vehicle is a normal motorcycle. Therefore, the number is also read for the motorcycle. The effect that can be obtained is obtained.
[0022]
Embodiment 3 FIG.
FIG. 5 is a block diagram of a license plate reader according to Embodiment 3 of the present invention. Elements common to those in FIG. 2 are denoted by the same reference numerals, and description thereof will be omitted. In the third embodiment, a noise measurement function is added to the sensor unit 3 of the first embodiment, and the measurement result is notified to the determination unit 23. The determination unit 23 has information on the noise reference value.
[0023]
FIG. 6 is a flowchart showing the processing of the license plate reading device according to the third embodiment. The operation of the license plate reading device will be described with reference to FIGS.
When detecting the vehicle passing through the road (step ST300), the sensor unit 3 measures the noise of the vehicle (step ST301) and notifies the determination unit 23 of the measurement result. In response to the vehicle detection by the sensor unit 3, the first camera 5 captures an image of the front of the vehicle (step ST302), and the first image processing unit 21 displays the front license plate captured by the first camera 5. It reads and obtains number information (step ST303). Further, in response to the vehicle detection of the sensor unit 3, the second camera 7 photographs the rear surface of the vehicle (step ST304), and the second image processing unit 22 captures the rear surface number photographed by the second camera 7. The plate is read, and the number information is obtained (step ST305).
[0024]
Subsequently, the determination unit 23 determines whether the first image processing unit 21 has successfully acquired the front-side number information (step ST <b> 306). It is determined whether the number information on the rear side has been normally acquired by the second image processing unit 22 (step ST307). When it is determined that the image information has been normally obtained, the determining unit 23 further compares the number information obtained by the first image processing unit 21 with the number information obtained by the second image processing unit 22 (step ST308). ), If they match, it is determined that the vehicle is normal. Subsequently, the determination unit 23 determines whether or not the noise measurement result notified from the sensor unit 3 exceeds a reference value (step ST309). If not, the determination unit 23 determines that the vehicle is a normal vehicle, and determines that the vehicle is normal. The number information is stored in the number information storage unit 32 (step ST310).
[0025]
If it is determined in step ST306 or step ST307 that the front or rear number information is not normal, or if it is determined in step ST308 that the front and rear number information do not match, it is determined that the vehicle is a candidate for an unauthorized vehicle. The image data storage unit 31 stores the images of the front and rear surfaces of the vehicle (step ST311), and the image data analysis unit 33 analyzes and obtains detailed information as in the first embodiment (step ST312). ). The image data storage unit 31 notifies the acquired detailed information to the number information storage unit 32, and the number information storage unit 32 stores this information (step ST313). If it is determined in step ST309 that the noise emitted by the vehicle exceeds the reference value, it is determined that the vehicle is a fraudulent vehicle, and the number information storage unit 32 includes information indicating that the noise exceeds the reference value. The number information is stored (step ST313).
[0026]
As described above, according to the third embodiment, the sensor unit 3 measures the noise of the vehicle passing through the road, and if the measurement result exceeds the reference value, the determination unit 23 determines that the vehicle is an unauthorized vehicle. As a result, an effect of detecting a vehicle emitting noise exceeding the reference value can be obtained.
[0027]
In addition, the function of identifying the motorcycle shown in the second embodiment may be added to the determination unit 23 of the third embodiment.
[0028]
【The invention's effect】
As described above, according to the present invention, a license plate reading device detects a vehicle passing through a road, a photographing device photographing a license plate of a vehicle in response to vehicle detection by the detecting device, and a photographing device. Image processing means for obtaining vehicle number information from an image of a vehicle taken by the vehicle, and determining means for determining whether the vehicle is a normal vehicle or an unauthorized vehicle based on the vehicle number information obtained by the image processing means. Image storage means for storing an image of a vehicle determined to be a fraudulent vehicle by the determination means; image analysis means for analyzing an image of a vehicle determined to be a fraudulent vehicle by the determination means to obtain information on the fraudulent vehicle; A license information storage unit for storing information on the unauthorized vehicle acquired by the analysis unit, so that the license plate detects the unauthorized vehicle, and There is an effect that it is possible to obtain information.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating the operation of a license plate reading device according to a first embodiment of the present invention.
FIG. 2 is a block diagram of a license plate reading device according to Embodiment 1 of the present invention.
FIG. 3 is a flowchart showing an operation of the license plate reading device according to the first embodiment of the present invention.
FIG. 4 is a flowchart showing an operation of the license plate reading device according to the second embodiment of the present invention.
FIG. 5 is a block diagram of a license plate reading device according to a third embodiment of the present invention.
FIG. 6 is a flowchart showing the operation of the license plate reading device according to Embodiment 3 of the present invention.
[Explanation of symbols]
1, 2 vehicle, 3 sensor unit (detection means), 4 monitoring area of sensor unit 3, 5 first camera (photographing means), 6 photographing area of first camera, 7 second camera (photographing means), 8 shooting area of the second camera, 10 road, 20 control unit, 21 first image processing unit (image processing unit), 22 second image processing unit (image processing unit), 23 determination unit (determination unit), 30 processing device, 31 image data storage unit (image storage unit), 32 number information storage unit (number information storage unit), 33 image data analysis unit (image analysis unit).

Claims (5)

道路を通過する車両を検知する検知手段と、
前記検知手段の車両検知に応答して前記車両のナンバープレートを撮影する撮影手段と、
前記撮影手段が撮影する車両の画像から車両ナンバー情報を取得する画像処理手段と、
前記画像処理手段が取得する車両ナンバー情報に基づいて、当該車両が正常車両であるか不正車両であるかを判定する判定手段と、
前記判定手段で不正車両と判定された車両の画像を保存する画像蓄積手段と、前記判定手段で不正車両と判定された車両の画像を解析し、不正車両の情報を取得する画像解析手段と、
前記画像解析手段によって取得された不正車両の情報を保存するナンバー情報蓄積手段とを備えたナンバープレート読み取り装置。
Detecting means for detecting a vehicle passing through the road;
Photographing means for photographing a license plate of the vehicle in response to vehicle detection by the detecting means;
Image processing means for acquiring vehicle number information from an image of the vehicle taken by the photographing means,
A determination unit configured to determine whether the vehicle is a normal vehicle or an unauthorized vehicle based on the vehicle number information obtained by the image processing unit;
An image storage unit that stores an image of a vehicle that has been determined to be a fraudulent vehicle by the determination unit;
A license plate reading device comprising: license information storage means for storing information on a fraudulent vehicle acquired by the image analysis means.
道路を通過する車両を検知する検知手段と、
前記検知手段の車両検知に応答して前記車両の前後のナンバープレートを撮影する撮影手段と、
前記撮影手段が撮影する車両の画像から前後のナンバー情報を取得する画像処理手段と、
前記画像処理手段が取得する前後のナンバー情報を比較し、少なくとも一方が正常なナンバー情報でない場合、または前後のナンバー情報が一致しない場合、当該車両を不正車両と判定し、前後のナンバー情報が共に正常なナンバー情報であり、かつ前後のナンバー情報が一致する場合、当該車両を正常車両であると判定する判定手段とを備えたナンバープレート読み取り装置。
Detecting means for detecting a vehicle passing through the road;
Photographing means for photographing a license plate before and after the vehicle in response to vehicle detection by the detecting means,
Image processing means for acquiring front and rear number information from an image of a vehicle taken by the photographing means,
The image processing means compares the information before and after the acquisition, if at least one is not normal number information, or if the number information before and after do not match, determine that the vehicle is an unauthorized vehicle, the number information before and after both A license plate reading device comprising: determination means for determining that the vehicle is a normal vehicle when the number information is normal and the number information before and after matches.
判定手段が、前面のナンバー情報が正常でなく、かつ後面のナンバー情報が自動二輪車のナンバー情報と一致する場合に当該車両を正常な自動二輪車であると判定することを特徴とする請求項1または請求項2記載のナンバープレート読み取り装置。2. The vehicle according to claim 1, wherein the determination unit determines that the vehicle is a normal motorcycle when the number information on the front surface is not normal and the number information on the rear surface matches the number information of the motorcycle. The license plate reader according to claim 2. 画像解析手段が、判定手段によって不正車両と判定された車両の画像から車両のボディの色、形状およびサイズを取得することを特徴とする請求項1から請求項3のうちのいずれか1項記載のナンバープレート読み取り装置。4. The image analysis unit according to claim 1, wherein the color, shape, and size of the vehicle body are acquired from an image of the vehicle determined to be a fraudulent vehicle by the determination unit. 5. License plate reader. 検知手段が、通過車両の騒音を計測して計測結果を判定手段に通知し、前記判定手段が、計測結果と基準値とを比較して計測結果が基準値を超える場合は不正車両であると判定することを特徴とする請求項1から請求項4のうちのいずれか1項記載のナンバープレート読み取り装置。The detection means measures the noise of the passing vehicle and notifies the measurement result to the determination means, and the determination means compares the measurement result with the reference value, and if the measurement result exceeds the reference value, it is determined that the vehicle is an unauthorized vehicle. The license plate reader according to any one of claims 1 to 4, wherein the license plate is read.
JP2002375031A 2002-12-25 2002-12-25 License plate reader Expired - Fee Related JP4108468B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002375031A JP4108468B2 (en) 2002-12-25 2002-12-25 License plate reader

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002375031A JP4108468B2 (en) 2002-12-25 2002-12-25 License plate reader

Publications (2)

Publication Number Publication Date
JP2004206441A true JP2004206441A (en) 2004-07-22
JP4108468B2 JP4108468B2 (en) 2008-06-25

Family

ID=32812885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002375031A Expired - Fee Related JP4108468B2 (en) 2002-12-25 2002-12-25 License plate reader

Country Status (1)

Country Link
JP (1) JP4108468B2 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100743610B1 (en) 2007-03-27 2007-08-01 렉스젠(주) Vehicle shooting system
JP2008041017A (en) * 2006-08-10 2008-02-21 Sumitomo Electric Ind Ltd Monitoring system and monitoring device
JP2010134821A (en) * 2008-12-08 2010-06-17 Omron Corp Vehicle-type discriminating apparatus
CN103700262A (en) * 2013-12-26 2014-04-02 福建省视通光电网络有限公司 Automatic area acquisition method for fake-licensed vehicles
WO2015012219A1 (en) * 2013-07-22 2015-01-29 株式会社東芝 Vehicle monitoring device and vehicle monitoring method
JP2016095733A (en) * 2014-11-17 2016-05-26 三菱電機株式会社 Vehicle monitoring system and vehicle monitoring method
WO2016119532A1 (en) * 2015-01-26 2016-08-04 杭州海康威视数字技术股份有限公司 Method for collecting evidence of vehicle parking violation, and apparatus therefor
EP3182380A1 (en) * 2012-11-19 2017-06-21 Kapsch TrafficCom AB Device for tolling or telematics systems
WO2021075278A1 (en) * 2019-10-16 2021-04-22 ソニー株式会社 Information processing device and method, and program
WO2021075277A1 (en) * 2019-10-16 2021-04-22 ソニー株式会社 Information processing device, method, and program
CN114646343A (en) * 2020-12-18 2022-06-21 北京万集科技股份有限公司 Vehicle detection method and device
KR102465167B1 (en) * 2022-06-24 2022-11-10 유에프엠시스템즈 주식회사 Vehicle number recognition system for increasing recognition rate of vehicle number using rear license plate
WO2024079870A1 (en) * 2022-10-14 2024-04-18 三菱電機株式会社 Abnormality detection system and abnormality detection method

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5627497A (en) * 1979-08-10 1981-03-17 Mitsubishi Electric Corp Vehicle inquiry device
JPS6437699A (en) * 1987-08-03 1989-02-08 Nissei Kk Method for discriminating kind of motorbicycle and device for executing said method
JPH0267498U (en) * 1988-11-08 1990-05-22
JPH03113597A (en) * 1989-09-27 1991-05-14 Omron Corp Extraordinally noisy vehicle detection system
JPH0382496U (en) * 1989-12-08 1991-08-22
JPH03127997U (en) * 1990-04-03 1991-12-24
JPH0562096A (en) * 1991-09-04 1993-03-12 Mitsubishi Electric Corp Speed violation regulating device
JPH08228337A (en) * 1995-02-21 1996-09-03 Hitachi Ltd Image data storage method and device
JPH1131293A (en) * 1997-05-14 1999-02-02 Matsushita Electric Ind Co Ltd Electronic imaging vehicle measuring device and road control system using the device
JP2002092783A (en) * 2000-09-20 2002-03-29 Omron Corp Vehicle monitoring device and method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5627497A (en) * 1979-08-10 1981-03-17 Mitsubishi Electric Corp Vehicle inquiry device
JPS6437699A (en) * 1987-08-03 1989-02-08 Nissei Kk Method for discriminating kind of motorbicycle and device for executing said method
JPH0267498U (en) * 1988-11-08 1990-05-22
JPH03113597A (en) * 1989-09-27 1991-05-14 Omron Corp Extraordinally noisy vehicle detection system
JPH0382496U (en) * 1989-12-08 1991-08-22
JPH03127997U (en) * 1990-04-03 1991-12-24
JPH0562096A (en) * 1991-09-04 1993-03-12 Mitsubishi Electric Corp Speed violation regulating device
JPH08228337A (en) * 1995-02-21 1996-09-03 Hitachi Ltd Image data storage method and device
JPH1131293A (en) * 1997-05-14 1999-02-02 Matsushita Electric Ind Co Ltd Electronic imaging vehicle measuring device and road control system using the device
JP2002092783A (en) * 2000-09-20 2002-03-29 Omron Corp Vehicle monitoring device and method

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008041017A (en) * 2006-08-10 2008-02-21 Sumitomo Electric Ind Ltd Monitoring system and monitoring device
WO2008117990A1 (en) * 2007-03-27 2008-10-02 Rexgen A system and method for photographing the car
KR100743610B1 (en) 2007-03-27 2007-08-01 렉스젠(주) Vehicle shooting system
JP2010134821A (en) * 2008-12-08 2010-06-17 Omron Corp Vehicle-type discriminating apparatus
US10777075B2 (en) 2012-11-19 2020-09-15 Kapsch Trafficcom Ab Device for tolling or telematics systems
EP3182380A1 (en) * 2012-11-19 2017-06-21 Kapsch TrafficCom AB Device for tolling or telematics systems
WO2015012219A1 (en) * 2013-07-22 2015-01-29 株式会社東芝 Vehicle monitoring device and vehicle monitoring method
JP2015022658A (en) * 2013-07-22 2015-02-02 株式会社東芝 Vehicle monitoring apparatus and vehicle monitoring method
US9875413B2 (en) 2013-07-22 2018-01-23 Kabushiki Kaisha Toshiba Vehicle monitoring apparatus and vehicle monitoring method
CN103700262A (en) * 2013-12-26 2014-04-02 福建省视通光电网络有限公司 Automatic area acquisition method for fake-licensed vehicles
JP2016095733A (en) * 2014-11-17 2016-05-26 三菱電機株式会社 Vehicle monitoring system and vehicle monitoring method
WO2016119532A1 (en) * 2015-01-26 2016-08-04 杭州海康威视数字技术股份有限公司 Method for collecting evidence of vehicle parking violation, and apparatus therefor
WO2021075278A1 (en) * 2019-10-16 2021-04-22 ソニー株式会社 Information processing device and method, and program
WO2021075277A1 (en) * 2019-10-16 2021-04-22 ソニー株式会社 Information processing device, method, and program
US11854278B2 (en) 2019-10-16 2023-12-26 Sony Group Corporation Information processing device and method
CN114646343A (en) * 2020-12-18 2022-06-21 北京万集科技股份有限公司 Vehicle detection method and device
KR102465167B1 (en) * 2022-06-24 2022-11-10 유에프엠시스템즈 주식회사 Vehicle number recognition system for increasing recognition rate of vehicle number using rear license plate
WO2024079870A1 (en) * 2022-10-14 2024-04-18 三菱電機株式会社 Abnormality detection system and abnormality detection method

Also Published As

Publication number Publication date
JP4108468B2 (en) 2008-06-25

Similar Documents

Publication Publication Date Title
JP4108468B2 (en) License plate reader
JP5867807B2 (en) Vehicle identification device
US8170294B2 (en) Method of detecting redeye in a digital image
US6760467B1 (en) Falsification discrimination method for iris recognition system
JP2019502976A5 (en)
JP6544393B2 (en) Image recording apparatus, image recording method and image recording program
US11321552B2 (en) Face authentication device having database with small storage capacity
JP2007328572A (en) Face authentication device and face authentication method
JP6739459B2 (en) Person matching device
CN112528099A (en) Personnel peer-to-peer analysis method, system, equipment and medium based on big data
JP2007094637A (en) Face image authentication device
JP2003274271A5 (en)
WO2006090622A1 (en) Electronic camera and method attesting originality of acquired image and verification program for verifying the originality
JP2007249589A (en) Authentication device, authentication method, authentication program and computer-readable recording medium
KR101628390B1 (en) Apparatus and method for driver authentication in vehicle
JP6756992B2 (en) Image recording device, image recording method and image recording program
KR20140078088A (en) A auto recognition system of vehicle number using CCTV camera
KR102677750B1 (en) Method and device for determining authenticity of a video
JP4921147B2 (en) Car color discrimination system
JP2006134072A (en) Entry/exit management system and biological characteristic information verification device
CN112183454B (en) Image detection method and device, storage medium and terminal
JP6477140B2 (en) Vehicle recognition device, vehicle recognition system, vehicle recognition program, and vehicle recognition method
KR100519059B1 (en) Method for distinguish an afterimage of a fingerprint
JP5071645B2 (en) Imaging surveillance system and method
JP2008009746A (en) Sensor node and monitoring method by sensor node

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20071025

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071025

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080402

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110411

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4108468

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120411

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120411

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130411

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130411

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140411

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees