JP6226368B2

JP6226368B2 - 車両監視装置、および車両監視方法

Info

Publication number: JP6226368B2
Application number: JP2013198255A
Authority: JP
Inventors: 青木　泰浩; 泰浩青木; 佐藤　俊雄; 俊雄佐藤; 雄介高橋; 昌弘山本
Original assignee: Toshiba Corp; Toshiba Infrastructure Systems and Solutions Corp
Current assignee: Toshiba Corp; Toshiba Infrastructure Systems and Solutions Corp
Priority date: 2013-09-25
Filing date: 2013-09-25
Publication date: 2017-11-08
Anticipated expiration: 2033-09-25
Also published as: JP2015064752A

Description

本発明の実施形態は、カメラによって撮像された画像から車両のナンバープレートに記載された情報を読み取る車両監視装置、および車両監視方法に関する。

カメラによって道路等を撮像し、撮像された画像中の車両ナンバープレートに記載された情報を読み取る装置が知られている（例えば、特許文献１参照）。この種のシステムは、例えば、有料道路の入口や出口等に取り付けられ、通過車両を認識するために利用される。

特許第４９０１６７６号

従来の装置では、ナンバープレートの位置や角度が画像毎に変動する環境下では、認識精度を維持できない場合があった。
本発明が解決しようとする課題は、認識精度を向上させることが可能な車両監視装置、および車両監視方法を提供することである。

一実施形態の車両監視装置は、車両検知部と、幾何処理部と、読取部と、出力部とを備える。車両検知部は、車両を撮像可能な位置に取り付けられた撮像部により撮像された画像において、車両を検知する。幾何処理部は、画像における車両の位置に対応付けられた補正パラメータを記憶した記憶部から、前記車両検知部により検知された車両の位置に対応する補正パラメータを読み出し、前記読み出した補正パラメータを用いた幾何的な処理を前記画像に対して行う。読取部は、前記幾何的な処理が行われた画像から、前記車両のナンバープレートに記載された情報を読み取る。出力部は、前記補正パラメータに関して、前記幾何的な処理において補正される角度およびサイズの情報を補正する角度が小さいほど高得点となるスコア付けし、前記撮像部により撮像された画像内でナンバープレートが視認できる境界部分を含む座標位置の前記スコアを複数座標分抽出し、ナンバープレート認識が可能となる標準スコアとの比較から、視野設定が適切であることを出力する。

一実施形態の車両監視システム１に含まれるカメラ１０、２０がガントリＧＴに取り付けられた様子を例示した図である。運用段階における車両監視装置１００の機能構成の一例を示す図である。画像に対して車両のナンバープレートＮＰが傾く様子を例示した図である。画像が領域１〜３に分割された様子を例示した図である。車種判定部１０８による計測手法の一例を説明するための図である。車両が時刻毎に移動する様子を例示した図である。車体の遮蔽物によってナンバープレートが視認困難な場面を例示した図である。ナンバープレートの取り付け位置が車両の中央部以外である車両を撮像した画像の一例を示す図である。補正パラメータデータベース１４２に登録される情報の一例を示す図である。補正パラメータデータベース１４２に登録される情報が表す画像情報の一例を示す図である。ナンバープレートの画像に対してアフィン変換が行われ、テンプレートが適用される様子を模式的に示す図である。認識結果出力部１２８が出力する（記憶部１４０に記憶させる）情報の一例を示す図である。補正パラメータ収集段階における車両監視装置１００Ａの機能構成の一例を示す図である。道路の右寄りを走行する車両、中央を走行する車両、右寄りを走行する車両をそれぞれ撮像した一連の画像を例示した図である。補正パラメータ生成段階において、車両番号候補検出部１１２およびＮＰ候補幾何補正部１１８により実行される処理を模式的に示す図である。第１走行車線側と第２走行車線側でそれぞれ車両を認識する際の、分割して認識される撮像画像の一例を示す図である。

以下、図面を参照し、車両監視装置、および車両監視方法の実施形態について説明する。図１は、一実施形態の車両監視システム１に含まれるカメラ１０、２０がガントリＧＴに取り付けられた様子を例示した図である。ガントリＧＴは、例えば、自動料金収受システムのガントリである。カメラ１０、２０は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えるカメラである。

カメラ１０は、ガントリＧＴに接近して通過する車両ＭＢの前面を斜め上方向から撮像する。図中、Ａ（１０）はカメラ１０の撮像領域を示す。また、カメラ２０は、ガントリＧＴを通過して遠ざかる車両ＭＢの後面を斜め上方向から撮像する。図中、Ａ（２０）はカメラ２０の撮像領域を示す。カメラ１０、２０は、例えば道路の７［ｍ］上空から、４５［度］程度の俯角で撮像を行う。また、カメラ１０、２０は、所定周期で繰り返し撮像を行うように制御される。なお、カメラ１０、２０の設置場所は、図１に示すものに限らず、車両の前面や後面を撮像可能な場所であればよい。カメラ１０、２０の撮像した画像は、車両監視装置１００に送信される。

このように、車両ＭＢの前方および後方から撮像を行うことで、二輪車のように、後方にのみナンバープレートが取り付けられた車両についても、ナンバープレートの認識を行うことができる。また、道路が渋滞している場合において、車両ＭＢの前方から撮像した画像では後続の車両ＭＢのナンバープレートが隠れてしまった場合でも、車両ＭＢの後方から撮像した画像において後続の車両ＭＢのナンバープレートを認識することが可能となる場合がある。

［運用段階］
車両監視装置１００は、任意の場所に設置することができる。図２は、運用段階における車両監視装置１００の機能構成の一例を示す図である。「運用段階」とは、補正パラメータが収集されて実際に車両監視装置１００が車両を監視する段階をいう。補正パラメータが収集される段階の処理については後述する。

車両監視装置１００は、例えば、車両検知部１０２と、車両状態判別部１０４と、認識位置判定部１０６と、車種判定部１０８と、前処理部１１０と、車両番号候補検出部１１２と、ナンバープレート（以下の記載、および図面においてＮＰと略記することがある）候補作成部１１４と、正解候補パラメータ参照部１１６と、ＮＰ候補幾何補正部１１８と、ＮＰ候補種類判別部１２０と、ＮＰ正解候補選出部１２２と、ＮＰ認識部１２４と、認識結果比較部１２６と、認識結果出力部１２８と、正解候補パラメータ登録部１３０と、補正パラメータデータベース１４２を格納する記憶部１４０とを備える。

記憶部１４０以外の各機能部は、例えば、車両監視装置１００のＣＰＵ（Central Processing Unit）が、記憶部１４０に記憶されたプログラムを実行することにより機能するソフトウェア機能部である。なお、これに代えて、各機能部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。記憶部１４０は、例えば、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等である。

車両検知部１０２は、カメラ１０、２０の撮像した画像の中に、車両の一部（部位）が存在するか否かを判定する。車両検知部１０２は、例えば、車両のフロント部、ボディ部、リア部などの車両を構成する部位毎に、Ｓｏｂｅｌフィルタ処理などでエッジ強調された特徴量、勾配特徴量、輝度特徴量等と、それらのパターンで構成される識別器を構成する（下記参考文献を参照）。そして、車両検知部１０２は、構成した識別器を用いて、画像の中に存在する車両の部位の種類と位置を特定する。
参考文献：”Coarse-to-fine approach for fast deformable object detection”, M.Pedersoli, A.Vadaldi, J.Gonzalez, CVPR2011

また、車両検知部１０２は、車両の位置の下端を追跡し、追跡結果から車両の進行方向を推定し、現在の車両位置やナンバープレートの傾きを推定する。図３（Ａ）、（Ｂ）は、画像に対して車両のナンバープレートＮＰが傾く様子を例示した図である。この時、車両の進行方向が、カメラの光軸に対して一定角度以上カーブしている場合には、その動きと連動して、ナンバープレートの角度も大きくなる。角度の大きさが所定角度以上となった場合、車両検知部１０２は、車両の走行軌跡を記憶部１４０に記憶させて保存する。これは、車両の進行方向がカメラの光軸に対して大きく傾いている場合、斜行などを行っている可能性が高く、その車両を監視する必要性が高いからである。

車両状態判定部１０４は、カメラ１０、２０の撮像した画像を、例えば画像横方向の分割線で仮想的に３分割し、車両の大まかな位置（どの領域に映っているか）を判定する。図４は、画像が領域１〜３に分割された様子を例示した図である。

認識位置判定部１０６は、車両状態判定部１０４の結果に基づき、各領域において、車両の下端に相当する部分を検出する。認識位置判定部１０６は、例えばハフ変換による直線抽出を行い、車両のフロント部周辺に存在する最も顕著な直線を、車両の下端に相当する代表サンプルとして抽出する。

車種判定部１０８は、まず、画像における車両の外輪郭から車両の車幅を計測する。図５は、車種判定部１０８による計測手法の一例を説明するための図である。車種判定部１０８は、例えば、予め記憶部１４０に格納された画像の縦位置ｙ毎の道路幅Ｌ（ｙ）と、画像における道路幅方向の傾きθに基づいて、車幅を計測する。すなわち、車種判定部１０８は、車両外輪郭の下部ベクトルを→Ｗ（→はベクトルを示す）とすると、これを道路幅方向に平行なベクトル→Ｗ＊に写像する。そして、車種判定部１０８は、ベクトル→Ｗ＊と、その縦位置ｙにおける画像上の道路幅ｌ（ｙ）との比率を求め、ベクトル→Ｗ＊の起点を縦位置ｙとする道路幅Ｌ（ｙ）に、上記求めた比率を乗算して、車幅を計測する。

更に、車種判定部１０８は、車両検知部１０２により検知されたフロント部等の形状パターンと、上記のように計測した車幅を統合して、画像に映された車両の車種を判定する。車種判定部１０８は、「二輪車」、「軽自動車」、「普通車」、「大型車両」、「その他」、「判定不能」等に車両の車種を分類する。これらのうち、「二輪車」と「四輪車」については、フロント部等の形状パターンに基づき判定が行われ、「四輪車」の中での種別については、フロント部等の形状パターンおよび車幅に基づき判定が行われる。

ここで、認識位置判定部１０６は、車両状態判定部１０４および車種判定部１０８の判定結果に基づいて、図３で示す領域１または領域２まで車両が移動するのを待って、認識対象フレームとする。また、車両は、時刻毎に移動するため、認識位置判定部１０６は、ナンバープレートが適正な位置まで移動するまで待機する。図６は、車両が時刻毎に移動する様子を例示した図である。ここで、認識位置判定部１０６は、「大型車両」に関しては、車体の遮蔽物（フロントバンパー等）によってナンバープレートが視認困難な場合や、ナンバープレートの取り付け位置が車両の幅方向に関する中央部以外である場合があるため、「大型車両」については図３で示す領域１を認識対象フレームとしてよい。図７は、車体の遮蔽物によってナンバープレートが視認困難な場面を例示した図である。図中、車両Ａのナンバープレートはカメラ１０、２０から視認困難であるが、車両Ｂのナンバープレートはカメラ１０、２０から視認できる可能性が高い。また、図８は、ナンバープレート（ＮＰ）の取り付け位置が車両の中央部以外である車両を撮像した画像の一例を示す図である。また、認識位置判定部１０６は、「二輪車」については、ナンバープレートの角度および解像度の観点から、図３で示す領域３を認識対象フレームとしてよい。

また、認識位置判定部１０６は、車種判定部１０８により判定された車両の種類に基づいて、ナンバープレートの認識に用いる画像を、カメラ１０により撮像された車両の前面を映した画像と、カメラ２０により撮像された車両の後面を映した画像との間で切り替えてよい。

前処理部１１０は、拡張縮小処理による特定周波数以下の成分の抽出処理、２値化処理等を行う。車両番号候補検出部１１２は、２値化処理によって抽出された文字候補の外接矩形を複数抽出し、４桁の一連番号を構成する適切なサイズの文字候補の外接矩形が、一直線上かつ一定間隔で並ぶ組み合わせを抽出し、ナンバープレートを構成する組み合わせを複数作成する（本出願人による特許文献１参照）。

ＮＰ候補作成部１１４は、前述の一直線上かつ一定間隔で並ぶ組み合わせから、数字候補の間隔およびサイズを考慮し、ナンバープレートを構成する文字候補の組み合わせを複数作成する。

正解候補パラメータ参照部１１６は、ＮＰ候補作成部１１４により作成されたナンバープレートを構成する組み合わせから、ＮＰ候補幾何補正部１１８がアフィン変換を行なう際の補正パラメータの候補を、補正パラメータデータベース１４２から抽出する。正解候補パラメータ参照部１１６は、例えば、画像における車両の位置が同じである事例の補正パラメータを補正パラメータデータベース１４２から抽出する。

ここで、補正パラメータデータベース１４２は、道路上の各点における、ナンバープレート認識においてスコアの高かった候補の補正パラメータをデータベース情報として登録している。スコアとは、例えば、幾何的な処理において補正される角度およびサイズの情報を補正する角度が小さいほど高得点となるスコアである。図９は、補正パラメータデータベース１４２に登録される情報の一例を示す図であり、図１０は、補正パラメータデータベース１４２に登録される情報が表す画像情報の一例を示す図である。図９における「座標ｘ」、「座標ｙ」は、図１０におけるナンバープレートＮＰの位置（例えば左上端の座標）を示している。また、図９における「傾きｄｘ」、「傾きｄｙ」は、図１０における車両ＭＢの下端線ＦＬの傾きを示している。また、図９における「拡大ｓｃｘ」、「拡大ｓｃｙ」は、画像に対するナンバープレートＮＰの横幅比、縦幅比をそれぞれ示している。また、図９における「車種」は、車種判定部１０８による判定結果を示し、「車両中心」は、車両ＭＢの中心点（重心）の横方向の座標を示している。

ここで、車両の位置が該当する補正パラメータが補正パラメータデータベース１４２に登録されていない場合が考えられる。この場合、正解候補パラメータ参照部１１６は、登録済の座標と当該の座標との差異から補正パラメータを推定して適用してよい。例えば、正解候補パラメータ参照部１１６は、車両の位置が最も近い２つ以上のデータを用いて、線形補間処理等によって補正パラメータを推定してよい。

ＮＰ候補幾何補正部１１８は、正解候補パラメータ参照部１１６により抽出された補正パラメータに基づいて、ナンバープレートの画像に対するアフィン変換補正を行い、カメラの光軸に正対するように座標変換を行なう。

ＮＰ候補種類判別部１２０は、アフィン変換が行われたナンバープレートの画像に対し、大・中・小板のテンプレートを適用し、４桁の１連番号に対する、陸支部、分類番号等の一連番号以外の文字候補の外接矩形が、仮定したテンプレート上に当てはまる候補を判定する。図１１は、ナンバープレートの画像に対してアフィン変換が行われ、テンプレートが適用される様子を模式的に示す図である。

ＮＰ正解候補選出部１２２では、ＮＰ候補幾何補正部１１８でカメラの光軸に正対するよう座標変換を行った画像に対し、項目毎にナンバープレートの認識を行ない、最もスコアの高かった組み合わせを出力する。

ＮＰ認識部１２４は、ＮＰ正解候補選出部１２２が候補を選出した場合、選択された候補をナンバープレート認識結果として出力する。また、ＮＰ認識部１２４は、ＮＰ正解候補選出部１２２が候補を選出しなかった場合、例えば独自にＯＣＲ処理等を行って、ナンバープレート認識結果を導出して出力する。

認識結果比較部１２６は、ナンバープレート認識結果として出力されたものについて、ＮＰ候補幾何補正部１１８が使用した補正パラメータが、補正パラメータデータベース１４２から抽出されたものであるか否かを判定し、判定結果を正解候補パラメータ登録部１３０に出力する。

認識結果出力部１２８は、最も高いスコアとなったナンバープレート認識結果について、ナンバープレートの認識結果に加え、ナンバープレートの認識位置およびアフィン変換パラメータ、および大・中・小板のテンプレート情報を出力する。図１２は、認識結果出力部１２８が出力する（記憶部１４０に記憶させる）情報の一例を示す図である。図示するように、認識結果出力部１２８は、車両の画像に対応付けて、車種やナンバープレートに記載された情報を出力する。

正解候補パラメータ登録部１３０は、認識結果比較部１２６および認識結果出力部１２８の出力を参照し、補正パラメータの置き換え、または更新を行なう。

このような処理によって、本実施形態の車両監視装置１００は、ナンバープレートの認識精度を向上させることができる。車両が様々な速度で移動する状況において、画像処理結果から車両の位置を確定し、ナンバープレート認識のトリガとする場合、車両の位置が画像に対してずれることによって、ナンバープレートの角度に関する変動要素が増える。これに対し、本実施形態の車両監視装置１００は、画像において車両の位置を認識し、画像における車両の位置に対応付けられた補正パラメータを読み出し、読み出した補正パラメータを用いた幾何的な処理を画像に対して行い、幾何的な処理が行われた画像からナンバープレートに記載された情報を読み取るため、ナンバープレートの認識精度を向上させることができる。

なお、運用段階の車両監視装置１００は、補正パラメータに関して、幾何的な処理において補正される角度およびサイズの情報を補正する角度が小さいほど高得点となるスコア付けし、前記撮像部により撮像された画像内でナンバープレートが視認できる境界部分を含む座標位置の前記スコアを複数座標分抽出し、ナンバープレート認識が可能となる標準スコアとの比較から、視野設定が適切であることを出力する機能部を備えてもよい。

また、運用段階の車両監視装置１００は、アフィン変換において補正される角度およびサイズの情報の分布と、一定時間内の認識結果に対応する分布とを比較し、比較結果が閾値を超える場合、カメラ１０、２０の位置ずれの可能性を示す情報を出力する機能部を備えてもよい。

［補正パラメータ生成段階］
以下、上記のように用いられる補正パラメータの生成段階について説明する。図１３は、補正パラメータ収集段階における車両監視装置１００Ａ（運用段階と区別するために、便宜上、車両監視装置１００Ａと表記する）の機能構成の一例を示す図である。補正パラメータの生成段階において、車両監視装置１００Ａは、上記運用段階と同じ場所に設置されたカメラ１０、２０の撮像画像を用いて、補正パラメータを生成する。補正パラメータ生成段階では、車両が走行車線内の様々な位置（中央、左右寄りなど）を走行した際の画像を撮像し、画像における車両の位置毎に補正パラメータを生成する。図１４は、道路の右寄りを走行する車両、中央を走行する車両、右寄りを走行する車両をそれぞれ撮像した一連の画像を例示した図である。

車両監視装置１００Ａは、例えば、車両検知部１０２と、車両状態判別部１０４と、認識位置判定部１０６と、車種判定部１０８と、前処理部１１０と、車両番号候補検出部１１２と、ＮＰ候補作成部１１４と、ＮＰ候補幾何補正部１１８と、ＮＰ候補種類判別部１２０と、ＮＰ正解候補選出部１２２と、認識結果出力部１２８と、正解候補パラメータ登録部１３０と、補正パラメータ生成部１３２と、補正パラメータ表示部１３４と、補正パラメータデータベース１４２を格納する記憶部１４０とを備える。これらのうち、運用段階と同じ名称および符号が付されているものは、運用段階と同じ機能を有するため、説明を適宜、省略する。

図１５は、補正パラメータ生成段階において、車両番号候補検出部１１２およびＮＰ候補幾何補正部１１８により実行される処理を模式的に示す図である。車両番号候補検出部１１２は、２値化によって抽出された文字候補の外接矩形を多数抽出し、４桁の一連番号を構成する適切なサイズの文字候補の外接矩形が、一直線上かつ一定間隔で並ぶ組み合わせを抽出し、ナンバープレートを構成する組み合わせを複数作成する。ＮＰ候補幾何補正部１１８は、補正パラメータに基づいてナンバープレートのアフィン変換補正を行い、カメラの光軸に正対するよう座標変換を行なう。この時、大・中・小板のテンプレートを仮定し、４桁の１連番号に対する、陸支部、分類番号等の一連番号以外の文字候補の外接矩形が、仮定したテンプレート上に当てはまる候補を判定する。

認識結果出力部１２８は、ＮＰ候補幾何補正部によってカメラの光軸に正対するよう座標変換を行った画像に対し、項目毎にナンバープレートの認識を行なう。

補正パラメータ生成部１３２は、基本的には、画像中の車両の位置が、カメラの光軸に正対するようにアフィン変換された際の補正パラメータを、補正パラメータデータベース１４２に登録される補正パラメータとして生成する。また、補正パラメータ生成部１３２は、ナンバープレートの認識位置をもとに、検出頻度の低い位置での補正パラメータを、周辺に位置する複数箇所での補正パラメータから補間を行なって推定する。これは、例えば視野範囲の境界付近等では、車両の通行履歴が少ないため、スコアの低下が懸念されるためである。補正パラメータ生成部１３２は、認識結果出力部１２８から同位置への補正パラメータが得られた時は、推定されたパラメータとの比較を行い、スコアが高い場合においては補正パラメータの置き換え、または補正パラメータの再推定を行なう。

正解候補パラメータ登録部１３０は、画像上の車両の位置毎に、ナンバープレート認識でスコアの高い候補に対応付けて補正パラメータを補正パラメータデータベース１４２に登録する。また、正解候補パラメータ登録部１３０は、車種判定部１０８による判定結果を参照し、大型・中型などの車種情報毎に補正パラメータを登録する。車種によってはカメラから見にくい位置にナンバープレートが存在する場合を考慮し、ナンバープレート位置と、この時の車両位置情報をリンクし、登録しておく。

補正パラメータ表示部１３４は、認識結果出力時のナンバープレート情報に重畳させて、ナンバープレート領域をオーバレイ表示する。

車両監視装置１００Ａは、以上の動作を、車両がカメラ視野内を移動する各フレームに対して行い、フレーム毎の車両の位置と、その補正パラメータをオペレータに確認させながら、補正パラメータデータベース１４２に登録する。

以上説明した車両監視装置１００Ａによれば、画像における車両の位置毎に補正パラメータを生成するため、運用段階の車両監視装置１００において、ナンバープレートの認識精度を向上させることができる。

［複数車線への応用］
以下、車両監視装置１００が、複数車線を監視する場合について説明する。カメラ１０、２０は、例えば２車線分の車両検知範囲（撮像範囲）を有することができる。車両が走行車線を維持して走行する場合、上記の手法でナンバープレートの認識を実施することができる。一方、車線の境界部分を走行する、或いは、ある車線から別の車線に車両検知範囲内で移動する場合、以下に説明した手法によりナンバープレート認識を行うと好適である。

図１６は、第１走行車線側と第２走行車線側でそれぞれ車両を認識する際の、分割して認識される撮像画像の一例を示す図である。このように、監視対象の走行車線が複数存在する場合、車両監視装置１００は、それぞれの車線について図２に示す機能構成を有するものとしてよい。図示するように、車両Ａが第１走行車線を走行した後、隣の第２走行車線に進入する場合がある。この場合、第１走行車線側の情報を、第２走行車線側に引き継ぐ。第２走行車線側では、突然、領域２に車両が現れるような場面が生じ得るが、引き継がれた情報によって、スムーズな車両の管理が可能となる。

また、単一の走行車線内に複数の車両が映っている場合がある。例えば、渋滞や故障などが理由で、路肩に停められた車両Ａと、その脇を通過する車両Ｂが存在する場合がある。この場合、車両Ａが停車したまま、車両Ｂが進行する状態が複数回連続した場合、システムは異常を検知して警報を鳴らす。または、車両Ａが停車している場所が、路肩部分となっている場合は、異常と判断し、警報を鳴らすなどの構成が考えられる。なお、逆に、車両Ｂが車線上で停留しているにも関わらず、車両Ａが路肩を走行する状態は危険であるため、通報の意味を考慮して警報を鳴らすなどの構成が考えられる。

特に、単一車線で複数の車両が映っている場合に、車両Ｃの脇を二輪車と判定された車両Ｄが走行していくケース、または、共に二輪車と判定された車両Ｅ、車両Ｆが並走する場合がある。この場合、ＥＴＣ通信が行われるタイミングと、ナンバープレート認識が行われるタイミングについて、２台の車両の順番が入れ替わる場合がある。この場合、車両監視装置１００は、ＥＴＣの無線システムとは独立に動作するため、２台同時に車両が存在した場合には前述のような入れ替えが発生する恐れがあるため、個体を特定できるよう、ナンバープレート認識結果とその認識時の時間ログを出力する。ユーザーは、課金が行われたタイミングの前後の映像を見て確認できるようビデオ管理システムに出力する。

また、車両監視装置１００は、例えば渋滞・故障などが要因で、道路中央を低速で走行する車両が存在し、後続の二輪車等が追い抜く場合に、車両検知とそれに付随するナンバープレート認識アルゴリズムが独立に動作し、並列で認識結果を出力するものとしてもよい。

以上説明した少なくともひとつの実施形態によれば、画像において車両の位置を認識し、画像における車両の位置に対応付けられた補正パラメータを読み出し、読み出した補正パラメータを用いた幾何的な処理を画像に対して行い、幾何的な処理が行われた画像からナンバープレートに記載された情報を読み取るため、ナンバープレートの認識精度を向上させることができる。
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０、２０カメラ
１００車両監視装置（運用段階）
１００Ａ車両監視装置（補正パラメータ生成段階）
１０２車両検知部
１０４車両状態判定部
１０６認識位置判定部
１０８車種判定部
１１０前処理部
１１２車両番号候補検出部
１１４ＮＰ候補作成部
１１６正解候補パラメータ参照部
１１８ＮＰ候補幾何補正部
１２０ＮＰ候補種類判別部
１２２ＮＰ正解候補選出部
１２４ＮＰ認識部
１２６認識結果比較部
１２８認識結果出力部
１３０正解候補パラメータ登録部
１３２補正パラメータ生成部
１３４補正パラメータ表示部
１４０記憶部
１４２補正パラメータデータベース

Claims

車両を撮像可能な位置に取り付けられた撮像部により撮像された画像において、車両を検知する車両検知部と、
画像における車両の位置に対応付けられた補正パラメータを記憶した記憶部から、前記車両検知部により検知された車両の位置に対応する補正パラメータを読み出し、前記読み出した補正パラメータを用いた幾何的な処理を前記画像に対して行う幾何処理部と、
前記幾何的な処理が行われた画像から、前記車両のナンバープレートに記載された情報を読み取る読取部と、
前記補正パラメータに関して、前記幾何的な処理において補正される角度およびサイズの情報を補正する角度が小さいほど高得点となるスコア付けし、前記撮像部により撮像された画像内でナンバープレートが視認できる境界部分を含む座標位置の前記スコアを複数座標分抽出し、ナンバープレート認識が可能となる標準スコアとの比較から、視野設定が適切であることを出力する出力部と、
を備える車両監視装置。
請求項１記載の車両監視装置であって、
前記撮像部が設置される場所において撮像された画像に基づいて、前記補正パラメータを生成して前記記憶部に記憶させる生成部を備える、
車両監視装置。
請求項２記載の車両監視装置であって、
前記生成部は、既に前記記憶部に記憶された車両の位置に対応付けられた補正パラメータに基づいて、前記記憶部に記憶されていない車両の位置に対応付けられた補正パラメータを生成し、前記記憶部に記憶させる、
車両監視装置。
請求項１から３のうちいずれか１項記載の車両監視装置であって、
前記幾何的な処理において補正される角度およびサイズの情報の分布と、一定時間内の認識結果に対応する前記分布とを比較し、前記比較の結果が閾値を超える場合、前記撮像部の位置ずれの可能性を示す情報を出力する比較処理部を備える、
車両監視装置。
請求項１から４のうちいずれか１項記載の車両監視装置であって、
前記撮像部は、施設に進入する車両を撮像する第１の撮像部と、前記施設から退出する車両を撮像する第２の撮像部とを有し、
前記撮像部により撮像された車両の種類を判定する車種判定部と、
前記車種判定部により判定された車両の種類に基づいて、前記ナンバープレートの認識に用いる画像を、前記第１の撮像部により撮像された画像と前記第２の撮像部により撮像された画像との間で切り替える認識位置判定部と、
を備える車両監視装置。
請求項５項記載の車両監視装置であって、
前記撮像部により撮像された車両の種類を判定する車種判定部を備え、
前記認識位置判定部は、車種判定部により判定された車両の種類と、前記撮像部により撮像された画像中における車両の部位の位置とに基づいて、前記ナンバープレートの認識に用いる画像を選択する、
を備える車両監視装置。
請求項１から６のうちいずれか１項記載の車両監視装置であって、
前記車両検知部は、車両の位置の下端を認識し、該下端の画像に対する傾きが所定角度以上である場合、車両の走行軌跡を前記記憶部に記憶させる、
車両監視装置。
請求項１から７のうちいずれか１項記載の車両監視装置であって、
第１の走行車線について処理を行う第１の処理ユニットであって、前記車両検知部、前記幾何処理部、および前記読取部を備える第１の処理ユニットと、
前記第１の走行車線に隣接する第２の走行車線について処理を行う第２の処理ユニットであって、前記車両検知部、前記幾何処理部、および前記読取部を備える第２の処理ユニットと、を備え、
前記第１の処理ユニットは、前記第１の走行車線から前記第２の走行車線に進入する車両に関する情報を前記第２の処理ユニットに提供し、前記第２の処理ユニットは、前記第２の走行車線から前記第１の走行車線に進入する車両に関する情報を前記第１の処理ユニットに提供する、
車両監視装置。
請求項１から８のうちいずれか１項記載の車両監視装置であって、
前記撮像部により撮像された画像における停止車両の状態に基づいて、警報出力を行う、
車両監視装置。
請求項１から９のうちいずれか１項記載の車両監視装置であって、
前記撮像部により撮像された画像に複数の車両が含まれる場合に、前記車両検知部、前記幾何処理部、および前記読取部をそれぞれについて動作させる、
車両監視装置。
コンピュータが、
車両を撮像可能な位置に取り付けられた撮像部により撮像された画像において、車両を検知し、
画像における車両の位置に対応付けられた補正パラメータを記憶した記憶部から、前記検知された車両の位置に対応する補正パラメータを読み出し、前記読み出した補正パラメータを用いた幾何的な処理を前記画像に対して行い、
前記幾何的な処理が行われた画像から、前記車両のナンバープレートに記載された情報を読み取る、
前記補正パラメータに関して、前記幾何的な処理において補正される角度およびサイズの情報を補正する角度が小さいほど高得点となるスコア付けし、前記撮像部により撮像された画像内でナンバープレートが視認できる境界部分を含む座標位置の前記スコアを複数座標分抽出し、ナンバープレート認識が可能となる標準スコアとの比較から、視野設定が適切であることを出力する車両監視方法。