JP6062791B2 - 尤度最大化を用いたナンバープレートの文字分割 - Google Patents

Description

本開示は、ナンバープレートのレイアウト構成を決定するための方法および装置に関する。本例示的実施形態は他の類似の応用に対しても同様に修正できることが分かる。

自動ナンバープレート認識（ＡＬＰＲ）システムは、静止カメラまたはビデオカメラを用いて移動車両または駐車車両の画像を撮影する車両監視システムである。このシステムは画像内のナンバープレートの位置を特定して、ナンバープレート内の文字を分割して、光学式文字認識（ＯＣＲ）を使用してナンバープレートの番号を決定する。ＡＬＰＲシステムは、その多数の用途が交通流量を監視すること、道路交通法を執行すること、および犯罪容疑者を追跡することを含む可能性があるため、高度道路交通基盤システムのコアモジュールとして機能する場合が多い。

ナンバープレート上の個々の文字を見つけるために文字分割を使用する。文字分割は、従来のＡＬＰＲシステムに対して複数の課題を提示する。１つの課題は、管轄区域が異なるレイアウトを使用することがあるため、システムが有効であるためには複数のレイアウトを認識できる必要がある点である。さらに同時に、いくつかの管轄区域は、よく似たナンバープレートプロトコルを使用している。例えば、米国内の多くの州で、スペースおよび／またはシンボルマークの間に等しい数の文字を１つにまとめることがある。従来のシステムは、ナンバープレート番号が正しい州に相関しているかの確認をユーザに頼っている。

文字分割に関連する他の課題は、ナンバープレートの一部分を形成したり、またはナンバープレートを遮ったりする他の対象物と文字とを区別する機能である。ねじ、よごれ、シンボルマーク、図形、プレートの境界、およびプレート枠のすべてが、プレート上でシステムが検出する文字数に影響を与える可能性がある。対象物は、セグメント間に描かれた境界に影響を与える可能性があるため、システムが最終的な出力を識別する機能にも影響を与える可能性がある。

また、露出過度、反射、陰影、低コントラスト、および不十分なまたは不均一な照明を含む異なる画像条件の影響も、文字分割に関わる課題を提示する。異なる条件を処理するのに十分なほど強固なＡＬＰＲシステムが必要である。

ＡＬＰＲシステムの多くの応用では高精度を要求するため、ＡＬＰＲシステムが引き起こす分割エラーに対する許容範囲は狭い場合が多い。したがって、分割の過不足の危険性、誤りのある結果を決定する危険性、およびプレート位置特定エラーを排除する危険性を低下させることにより精度を向上させるＡＬＰＲシステムに対する必要性が存在している。

本開示の第１の実施形態は、ナンバープレートのレイアウト構成を決定するための方法に関する。この方法は、ナンバープレートのレイアウト構成を表す少なくとも１つのモデルを生成することを含んでいる。生成することは、ナンバープレートを規定するトレーニング画像を分割して、これらのトレーニング画像から文字およびシンボルマークを抽出することを含んでいる。分割することは、ナンバープレートのパラメータと、文字およびシンボルマークの特徴と、に対応する値を計算することをさらに含んでいる。分割することは、これらの値を用いて、特徴が規定する尤度関数を推定することを含んでいる。尤度関数は、観察されたプレートとモデルとの間の偏差を測定するように構成されている。方法は、レイアウト構造と、少なくとも１つのモデルの各々に対する分布と、を保存することを含んでいる。方法は、プレート領域を含む観察された画像を入力として受け取ることをさらに含んでいる。方法は、プレート領域を分割することと、分割されたプレート領域と少なくとも１つのモデルとを比較することにより、観察されたプレートのナンバープレートのレイアウト構成を決定することと、を含んでいる。

本開示の他の実施形態は、ナンバープレートのレイアウト構成を決定するためのシステムに関する。システムは、ナンバープレートのレイアウト構成を表す少なくとも１つのモデルを生成するためのプロセッサを含むトレーニング装置を含んでいる。トレーニング装置は、ナンバープレートのトレーニング画像を分割して、これらのトレーニング画像から文字およびシンボルマークを抽出するように構成されている。トレーニング装置は、ナンバープレートのパラメータと、文字およびシンボルマークの特徴と、に対応する値をさらに計算する。また、トレーニング装置は、これらの値を用いて、特徴が規定する尤度関数を推定するように構成されている。観察されたプレートとモデルとの間の偏差を測定するのに尤度関数を使用する。システムは、トレーニング装置と通信する記憶装置をさらに含んでいる。記憶装置は、レイアウト構造と、少なくとも１つのモデルの各々に対する分布と、を保存するように構成されている。また、システムは、記憶装置と通信する分割装置も含んでいる。分割装置は、プレート領域を含む観察された画像を受け取ると、プレート領域と、記憶装置内に保存された少なくとも１つのモデルとを比較するように構成されている。この比較に基づいて、分割装置は、観察された画像のナンバープレートのレイアウト構成を決定する。

本開示のさらなる実施形態は、ナンバープレートの観察された画像を分割してナンバープレートのレイアウト構成を決定するための方法に関する。方法は、ナンバープレートのレイアウト構成を表す少なくとも１つのモデルを提供することを含んでいる。方法は、プレート領域を含む観察された画像を入力として受け取ることを含んでいる。方法は、少なくとも２つの２値閾値を適用することによりプレート領域の２値マップを作成することを含んでいる。この２値マップを用いて、方法は、背景に関連する部分に対して、対象物に関連する部分を決定する。方法は、決定された対象物に関連する部分と少なくとも１つのモデルとを照合する。方法は、少なくとも１つのモデルに対する一致スコアが、事前に設定した閾値を下回っているかどうかを判断することをさらに含んでいる。その後、方法は、少なくとも１つのモデルが、観察された画像内のプレート領域と最もよく一致しているかどうかを判断する。

図１Ａは、ナンバープレート例に含まれる連続書式の例を示している。 図１Ｂは、ナンバープレート例に含まれる連続書式の例を示している。 図２Ａは、図１Ａのナンバープレート例が分割プロセスを受けた後のナンバープレート例の文字を表すセグメントを示している。 図２Ｂは、図１Ｂのナンバープレート例が分割プロセスを受けた後のナンバープレート例の文字を表すセグメントを示している。 図３は、１つの例示的実施形態のＡＬＰＲ分割システムの模式図である。 図４は、ナンバープレートのレイアウト構成を決定するための方法を説明するフローチャートである。 図５は、特徴分布の例を示している。 図６は、分割のプロセスを用いてナンバープレート書式を決定するためのフローチャートである。

本開示は、ナンバープレートのレイアウト構成を決定するための方法および装置に関する。本方法は、２つの段階で実行される。第１のトレーニング段階では、プレート例を使用して、複数のプレートモデルを記述する尤度関数を生成する。ナンバープレート例に対する特定のレイアウト構造が、それぞれのプレートモデルを規定する。プレートモデルの中のレイアウト構造は、通常、英数字からなる異なる連続書式を含むことができ、１つの群内の文字数、文字群の個数、スペースまたはハイフンの位置、およびシンボルマークが占有できるスペースにより、プレートモデルの中のレイアウト構造を記述できる。図１に、２つの例示的書式を示す。図１Ａは、１２３４５６および１２３−４５６などの６文字の書式を示している。図１Ｂは、１ＡＢＣ２３４およびＡＢＣ−１２３４などの７文字の書式を示している。トレーニング段階では、プレート例のモデルの文字を図２Ａおよび図２Ｂに示すように分割して、（ログ）尤度関数を用いてセグメントを測定する。特徴（ログ）尤度関数の集合の合計として、結果の偏差を近似する。

第２の分割段階では、画像内に記録される元のナンバープレートから、ナンバープレート書式の一連の候補を計算する。画像に適用する閾値を変化させることにより、各書式候補を生成する。各候補から特徴ベクトルを推定する。その後、これらの特徴から尤度を計算して、尤度とトレーニング段階で記述されたモデルとを比較する。最大尤度を有するモデルとして、最終的な分割結果、すなわち、ナンバープレート書式を決定する。

図３は、１つの例示的実施形態のＡＬＰＲ分割システム１００の模式図である。ＡＬＰＲ分割システム１００は、トレーニング装置１０２と、記憶装置１０４と、分割装置１０６と、を含んでおり、これらは本明細書でネットワークと呼ぶ通信リンクで繋がっていてもよい。これらの構成要素については詳細に後述する。

図３に示すトレーニング装置１０２は、トレーニング装置１０２の一部分またはトレーニング装置１０２に付随しているコントローラ１０８を含んでいる。例示的コントローラ１０８は、撮影された画像と後で比較できる少なくとも１つの尤度関数を生成することによりＡＬＰＲ分割システム１００のトレーニングを制御するように構成されている。コントローラ１０８はプロセッサ１１０を含み、このプロセッサ１１０は処理命令を実行することによりトレーニング装置１０２の全体動作を制御し、これらの処理命令はプロセッサ１１０に接続されたメモリ１１２内に保存されている。

メモリ１１２は、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気ディスクもしくは磁気テープ、光ディスク、フラッシュメモリ、またはホログラムメモリなどの任意の種類の実現可能なコンピュータ可読媒体を表す可能性がある。一実施形態では、メモリ１１２が、ランダム・アクセス・メモリと読み出し専用メモリの組み合わせを含んでいる。デジタルプロセッサ１１０は、シングル・コア・プロセッサ、デュアル・コア・プロセッサ（またはより一般に多重コアプロセッサにより）、デジタルプロセッサおよび協働する数値演算コプロセッサ、またはデジタルコントローラなどを用いて、さまざまに具体化できる。デジタルプロセッサは、トレーニング装置１０２の動作を制御することに加えて、メモリ１１２内に保存された命令を実行して、ＡＬＰＲ分割システム１００で行われる図４で説明する方法の一部分を実行する。いくつかの実施形態では、プロセッサ１１０およびメモリ１１２を単一チップ内に組み込んでもよい。

トレーニング装置１０２はネットワーク装置で具体化してもよいが、サーバ上、もしくはネットワークコンピュータ上などの、ＡＬＰＲ分割システム１００を接続するネットワーク上の他の場所にトレーニング装置１０２を設置してもよく、またはネットワーク全体に、もしくはネットワークにアクセス可能な他の方法でトレーニング装置１０２を分散させてもよいこともまた同様に想定している。プロセッサ１１０は、メモリ１１２内に含まれる命令に従って本明細書に開示するトレーニング段階を実行する。具体的には、メモリ１１２は、ナンバー・プレート・レイアウトを規定するトレーニング画像（すなわち、プレート例のモデル）を分割して、トレーニング画像から文字およびシンボルマークを抽出する分割モジュール１１４と、ナンバープレートのパラメータと、文字およびシンボルマークの特徴と、に対応する値を計算するパラメータ計算モジュール１１６と、これらの値を用いて、特徴が規定する尤度関数を推定する尤度関数生成モジュール１１８と、各特徴に対するヒストグラムを作るヒストグラム作成モジュール１２０と、を保存している。これらの命令を１つのモジュール内に保存できる実施形態を想定している。モジュール１１４〜１２０については、例示的方法に関連して後述するであろう。

ソフトウェアモジュールは、本明細書で使用する場合、トレーニング装置１０２または他のデジタルシステムにより実行可能な命令の任意の集まりまたは集合を含み、ソフトウェアの目的であるタスクを実行するためにコンピュータまたは他のデジタルシステムを構成するよう意図されている。用語「ソフトウェア」は、本明細書で使用する場合、ＲＡＭ、ハードディスク、または光ディスクなどの記憶媒体に保存された命令を含むよう意図されており、また、ＲＯＭなどに保存されたソフトウェアである、いわゆる「ファームウェア」を含むよう意図されている。このようなソフトウェアは、さまざまな方法で構成してもよく、ライブラリとして構成されたソフトウェアコンポーネント、リモートサーバなどに保存されたインターネットベースのプログラム、ソースコード、解釈コード、オブジェクトコード、および直接実行可能なコードなどを含んでいてもよい。特定の機能を実行するために、ソフトウェアがシステムレベルコードを起動したり、またはサーバ（図示せず）もしくは他の場所に常駐する他のソフトウェアへの呼び出しを起動したりしてもよいということを想定している。

引き続き図３を参照すると、トレーニング装置１０２は、外部装置と通信するためのネットワークインタフェースなどの１つ以上の通信インタフェースもまた同様に含んでいる。通信インタフェース１２２が、例えば、モデム、ルータ、ケーブル、および／またはイーサネット（登録商標）ポートなどを含んでいてもよい。通信インタフェース１２２は、入力としてサンプル（以下、「トレーニング」）画像１２４を受け取り、出力として少なくとも１つの尤度関数と、レイアウト構成１２６とを提供するように構成されている。想定される実施形態では、１つの通信インタフェースが、入力を受け取り、出力を提供できる。トレーニング装置１０２のさまざまな構成要素をすべてバス１２８で接続してもよい。

トレーニング装置１０２は、サーバコンピュータもしくはデジタル・フロント・エンド（ＤＦＥ）などの１つ以上の専用もしくは汎用の計算装置、または例示的方法を実行するための命令を実行できる他の任意の計算装置を含んでいてもよい。

図３は、電子フォーマットでトレーニング画像を入力および／または受信するための入力装置１３０に接続されたトレーニング装置１０２をさらに示している。入力装置１３０は、後に分割されることになるプレートのサンプル画像１２４を提供するのに選択されたカメラなどの撮像装置を含んでいてもよく、または入力装置１３０はカメラが撮影したサンプル画像をトレーニング装置１０２に送信するように構成された装置である可能性がある。例えば、入力装置１３０は、スキャナまたはコンピュータなどを含むことができる。他の実施形態では、ワークステーション、データベース、またはディスクなどの記憶装置のような任意の好適な供給源から画像データ１２４を入力してもよい。入力装置１３０は、プロセッサ１１０とメモリ１１２とを含むコントローラ１０８と通信する。

引き続き図３を参照すると、ＡＬＰＲ分割システム１００は、トレーニング装置１０２と通信する記憶装置１０４を含んでいる。想定される実施形態では、トレーニング装置１０２が、処理装置と、記憶装置１０４などのメモリと、を含むサーバ（図示せず）と通信でき、またはトレーニング装置１０２は、分割装置１０６が使用できる尤度関数とレイアウト構造とのための記憶装置１０４にアクセスできる。記憶装置１０４は、トレーニング装置１０２が提供する少なくとも１つの尤度関数およびプレートレイアウト１２６を保存する保存場所１３２を含んでいる。

引き続き図３を参照すると、ＡＬＰＲ分割システム１００は、記憶装置１０４と通信する分割装置１０６をさらに含んでいる。例示的分割装置１０６は、例えば、コンピュータまたはマイクロコンピュータなどを含んでいる。分割装置１０６を撮像装置１３４の一部として含んでいてもよく、または分割装置１０６は撮像装置１３４と通信してもよい。分割装置１０６は、ＣＰＵなどのプロセッサ１３６を含み、ＣＰＵのプロセッサ上で実行可能なソフトウェアモジュールを保存するためのメモリ１３８を含み、記憶装置１０４と、撮像装置１３４と、グラフィカル・ユーザ・インタフェース（ＧＵＩ）１４２との無線データ通信を提供するのに適したハードウェアおよび／またはソフトウェアを含む少なくとも１つの通信インタフェース１４０を含んでいる。メモリ１３８、プロセッサ１３６、および通信インタフェース１４０は、トレーニング装置１０２のメモリ１１２、プロセッサ１１０、および通信インタフェース１２２と同様に構成できる。例示的ソフトウェアモジュールは、２値化のための閾値を適用することによりプレート領域の２値マップを作成する２値マップ生成モジュール（または、一実施形態では、射影生成モジュール）１４４と、明るさに関連する部分に対して、暗さに関連する部分を決定して、決定された黒色に関連する部分の特徴を測定する部分決定モジュール１４６と、決定された黒色に関連する部分と少なくとも１つのモデルとを照合して、一致スコアが閾値を満たすかどうかを判断して、観察された画像内のプレート領域と最もよく一致するモデルを決定する部分比較モジュール１４８と、を含んでいる。これらのモジュール１４４〜１４８については、図４および図６の例示的方法に関連して後述するであろう。分割装置１０６のさまざまな構成要素をすべてバス１５０で接続してもよい。

引き続き図３を参照すると、撮影された画像データ１５２が分割装置１０６による処理を受けてもよく、特定されたモデル１５４を分割装置１０６と通信するＧＵＩ１４２上でユーザに対して好適な形で表示してもよい。ＧＵＩ１４２は、分割された画像内の分割された文字またはナンバープレートの番号などの情報をユーザに示すためのディスプレイと、入力として命令を受け取るためのキーボード、またはタッチスクリーンもしくは書き込み可能スクリーンなどのユーザ入力装置と、および／またはユーザ入力情報とコマンド選択とをプロセッサ１３６に伝達するためのマウスまたはトラックボールなどのカーソル制御装置と、を含むことができる。

図４は、ナンバープレートのレイアウト構成を決定するための方法４００を説明するフローチャートである。方法はＳ４０２から始まる。上述のように、方法はＳ４０４でトレーニング段階を含み、このトレーニング段階を使用して少なくとも１つのナンバー・プレート・レイアウトのモデルを確立する。トレーニング装置１０２がトレーニング段階を実行し、トレーニング段階はオフラインで実行してもよい。また、方法はＳ４０６で分割段階を含み、この分割段階を使用して、Ｓ４０４で提供された少なくとも１つのモデルを用いて、ナンバープレートの撮影された画像からナンバープレート書式を決定する。分割装置１０６は分割段階を実行する。

引き続き図４を参照すると、トレーニングＳ４０４はナンバープレートのサンプル画像を使用して、ナンバープレート例を説明する異なるレイアウトを規定するモデルを生成する。本明細書で使用する場合、用語「レイアウト」は「書式」と同義である。書式（または連続書式）は、スペースおよびハイフンの前後に来る可変のまとまりに分類できる英数字を含んでいる。Ｓ４０４でレイアウトモデルを確立する際には、州情報および発行情報を規定するためにプレート上にある情報、例えば、プレート周辺の標語、風景、背景、および文字などを無視する。

モデルプレート内のレイアウトを規定するために、唯一のナンバープレート番号を表す文字を使用する。これらの文字は、所定のレイアウト構造を用いて通常生成される。上述のように、文字書式は、発行元の州、郡、または国の間で変化してもよい。例えば、発行元の異なる郡を表すために、１つの州の中でレイアウトの複数の構成を使用してもよい。しかしながら、可能な構成の総数は依然として制限されている。約２０個の異なるモデルを用いて、ほとんどのプレートを十分な精度で表すことができる。

図１Ａおよび図１Ｂを再び参照すると、ナンバープレート１０内の文字１０を集めて群１４にまとめる場合が多い。各群（１２ａおよび１２ｂ）中の文字は同じピッチを有しており、これは、文字の間に等しい間隔をあけることを意味している。このピッチは、ナンバープレートを発行する異なる政府機関省庁に応じて、ナンバープレート間で変化させることができる。モデル内の文字のレイアウトを規定するために、文字の寸法および相対位置を使用する。図２Ａは、文字のナンバー・プレート・レイアウトを示しており、このナンバー・プレート・レイアウトでは、図１Ａのプレートを表すプレートモデル２０ａが、２個の３文字群２４に分割される６文字セグメント２２ａを含んでいる。また、プレートモデル２０ａが、３文字群の間に置かれた小さいシンボルマーク２６を含んでいる。同様に、図２Ｂに示すプレートモデルは、図１Ｂのプレート内に含まれる７文字を表す７文字セグメント２２ｂを含んでいる。

引き続き図４を参照すると、多数のトレーニング画像（以下、同意語として、本明細書で「サンプル画像１２４」と呼ぶ）をトレーニング装置１０２に提供する。Ｓ４０８で、分割モジュール１１４がサンプル画像を分割して、文字およびシンボルマークを抽出する。これらのセグメントは、図２Ａおよび図２Ｂに示すように、異なる文字を表す境界箱である。その後、Ｓ４１０で、パラメータ計算モジュール１１６が境界箱を使用して、抽出された文字およびシンボルマークから特徴を計算する。特徴の集合は、文字およびシンボルマークなどの対象物の寸法および位置を含んでおり、値で表される。

具体的には、プレート例に適用できる特徴の集合は、文字セグメントの幅および高さ、文字セグメント間の距離、左側余白と右側余白との差、シンボルマークの高さおよび幅、シンボルマークの位置、ならびに上記の組み合わせで構成されている。より具体的には、文字の幅および高さを、境界箱の高さおよび幅として測定する。文字間の距離は、文字セグメント間のピッチまたは間隔として測定する。同じ群中の境界箱のそれぞれの隣接する対に対して、この距離を評価する。一実施形態では、隣接する境界箱の中心から、この距離を計算することができ、その理由は、表される文字に応じて文字セグメントが異なる幅を有する可能性があるためである。例えば、数字「１」および文字「Ｉ」は、数字「２」および文字「Ｈ」などの他の英数字よりも一般に狭い幅を含んでいる。余白が、プレートの最初の文字の中心と、プレートの同じ側に沿って位置する垂直縁端部との間の距離として測定される。この測定値は、中心から取った文字幅の半分を含んでいる。したがって、例えば、左側（右側）余白の測定値はプレートの最初（最後）の文字の中心と、左（右）縁端部との間の距離である。この場合も先と同様に、異なる文字のさまざまな幅を説明するのに境界箱の中心を使用する。最も近い隣接する文字セグメントに対して、シンボルマークの位置を測定する。抽出された文字を記述するのに使用する測定値を記録する。

引き続き図４を参照すると、Ｓ４１２で、特徴を使用して尤度関数を規定できる。より具体的には、Ｓ４１０で測定値に対して取得した値を使用して、Ｓ４１２で尤度関数を推定する。

観察されたプレート内の偏差を測定するために、尤度生成モジュール１１８により尤度関数を生成できる。Ｓ４０６の分割段階の間に撮影された画像内の、後で観察されるナンバープレートは、さまざまな雑音およびアーチファクトのためにモデルから外れる可能性がある。

ナンバープレート例を記述する特徴の集合が尤度関数を規定する。特徴は概して互いに独立しているため、下記の式を用いて周辺（ログ）尤度の合計として（ログ）尤度関数を近似できる。

ここで、ｐ（ｘ｜ｓ，ｍ）はモデルｍおよび観察ｘのもとで分割ｓを与えたときの尤度であり、ｆ_ｉ（ｘ｜ｓ，ｍ）はモデルｍのもとでの特徴ｉに対する周辺分布である。

したがって、尤度に対する式は下記のようになる。

ここで、ｆ_ｗ（ｗ｜ｍ）はモデルｍのもとでの文字幅に対する分布であり、
ｆ_ｈ（ｈ｜ｍ）はモデルｍのもとでの文字高さに対する分布であり、
ｆ_ｄ（ｄ｜ｍ）はモデルｍのもとでの文字距離の分布であり、
ｆ_Ｗｉ（Ｗ｜ｍ）はｉ番目のシンボルマークの幅の分布であり、
ｆ_Ｈｉ（Ｈ｜ｍ）はｉ番目のシンボルマークの高さの分布であり、
ｆ_Ｘｉ（Ｘ｜ｍ）はシンボルマークの水平位置の分布であり、
ｆ_Ｙｉ（Ｙ｜ｍ）はシンボルマークの垂直位置の分布であり、
ｆ_Δ（Δ｜ｍ）は余白差の分布である。

引き続き図４を参照すると、ヒストグラム作成モジュール１２０を用いて、Ｓ４１４で、各特徴に対するヒストグラムを作る。各ヒストグラムを使用して、測定値から特徴の確率分布を推定する。しかしながら、確率分布を推定するために多くの従来技術を使用でき、確率分布を推定するためにヒストグラムを使用することに対して、本明細書では制限を設けていない。図５は、ナンバープレート例の設計に対してカリフォルニア州から取得した特徴分布のいくつかの例を示している。

図５に示すように、文字幅、文字高さ、文字距離、左側余白、右側余白、および、この例では、対称性、の特徴をノンパラメトリック関数としてモデル化する。例えば、ヒストグラムは、セグメントで表される文字が、ほとんどのナンバープレートに対して、例えば、高さなどの特定の特徴を呈する確率の次数を提供する。Ｓ４１６（図４）で、正規化されたヒストグラムとして分布を推定する。各特徴が特定の値を取る場合、トレーニングはほぼ完全である。

引き続き図４を参照すると、Ｓ４１８で、各ナンバープレートのレイアウト構成に対するモデルを生成する。モデルは、連続書式またはレイアウト構造と、文字およびシンボルマークの寸法と、文字およびシンボルマークの相対位置と、を含んでいる。尺度不変性を実現するために、文字ピッチに対して寸法および位置の値を正規化できる。モデルは、ナンバープレート例から引き出された測定値と、ナンバープレート例から作り出された推定値と、から生成できる。また、モデルは、ナンバープレート設計仕様から生成できる。パラメータ内でわずかに変化するよく似た文字書式を有する複数のナンバープレート設計を表すのに、１つのモデルを使用できる。

引き続き図４を参照すると、Ｓ４２０で、各モデルに対するレイアウト構造および特徴分布をデータベース１４２に保存する。モデルはＳ４０６の分割で使用される。Ｓ４０６における分割は、Ｓ４２２においてナンバープレートを含む観察された画像を入力として受け取ることを含んでいる。一般に、ＡＬＰＲシステム１００内に含まれる撮像装置１５２が画像を提供する。画像は、ナンバープレートが取り付けてあるバンパー領域を含んでいてもよい。この場合、画像内のナンバープレート領域を決定して、画像のナンバープレート部分を、分割のために使用する。より具体的には、ＡＬＰＲのプレート位置特定モジュールを用いて入力画像からプレート領域の位置を特定する。Ｓ４２４で、撮影されたナンバープレートを分割して、レイアウトを構成する異なる文字を決定する。これらの文字と、Ｓ４１８で生成したモデルとを比較して、Ｓ４２６で、撮影された画像内のナンバープレートのレイアウトまたは書式を決定する。方法は、Ｓ４２８で終了する。

図６は、図４のＳ４２４における分割を説明するフローチャートである。プロセス６００は、分割結果の複数の候補を生成することを含んでいる。言い換えれば、閾値を変化させることを用いてナンバープレートの実際の画像を分割して、異なる書式候補内の文字およびシンボルマークを抽出する。書式候補または候補は、本明細書で述べるように、画像内に記録されたナンバープレートを表すことができる可能なレイアウトモデルである。したがって、１つの画像に対して複数の書式候補を生成できる。各書式候補と、保存されたモデルとを比較する。ナンバー・プレート・レイアウトは、書式候補と最もよく一致するモデルである。

引き続き図６を参照すると、方法はＳ６０２から始まる。第１の方法（図６で「関連する部分に基づく方法」と呼ぶ）では、Ｓ６０４でプレート領域の２値マップを作成することにより、第１の書式候補を生成する。２値マップ生成モジュール１４４は第１の所定の閾値を適用して、ナンバープレート領域の２値マップを作成する。ナンバープレートは背景に対して明暗を有する対象物を一般に含んでいるため、マップは明るい部分に対して暗い部分の集まりを作成する。システムは、暗い部分が対象物を表し、明るい部分が背景を表すことを決定するようにプログラムされる。さらなる実施形態では、システムは、反転したもの、すなわち、暗い背景に対して明るい文字を有するプレートを発行する政府機関省庁に対しては、明るい部分が対象物を表し、暗い部分が背景を表すことを決定できる。説明を簡略化するために、本明細書では、暗い部分を文字およびシンボルマークの候補と見なすことにする。

Ｓ６０６で、明るさに関連する部分に対して暗さに関連する部分を決定する。暗さに関連する部分は、黒色画素の群を含んでいる。言い換えれば、多くの黒色画素が全て一緒にまとめて繋がることにより、暗さに関連する部分を形成する。Ｓ６０８で、それぞれの暗さに関連する部分の群の特徴を決定する。より具体的には、それぞれの暗さに関連する部分に対する高さ特徴と幅特徴とを測定する。暗さに関連する部分は、Ｓ６１０で異なるモデルのレイアウト構造と照合される部分を表している。より具体的には、特徴に対する測定値と、Ｓ４２０（図４）で各モデルに対して保存された文字およびシンボルマークの寸法および相対位置とを比較する。最もよい一致に対応するモデルを書式候補と見なす。一実施形態では、Ｓ６１２でモデルが所定の閾値を満たすかどうかを検討できる。所定の閾値を満たさないモデルに対する文字書式は検討から外すことができる。

引き続き図６の関連する部分に基づく方法を参照すると、Ｓ６１４で２値化の閾値ｔｂを変化させることにより追加のモデルを検討できる。このように、少なくとも第２の２値マップを使用して、異なる書式候補を作り出すことができ、この書式候補は最もよい一致を判断するために追加のモデルと比較できる。２値化の閾値を変化させることにより、暗さに関連する部分の異なる集合が、受け取った入力画像から生じる可能性がある。Ｓ６１４で書式候補を生成するために提供される２値化の各閾値に対して、プロセスはＳ６０４に戻る。

引き続き図６を参照すると、モデルのレイアウト構造と候補との間でもたらされる一致に対して、上述の数式（２）を用いてＳ６１４で尤度を計算する。Ｓ６１６で、観察された画像内のプレート領域と最もよく一致するモデルを決定する。より具体的には、最大尤度を有するモデルに対するレイアウト構造を、最もよい結果としてＧＵＩ（図３の１４２）で出力する。撮影された画像内のナンバープレートの書式を、最も近いモデルに対応する連続書式またはレイアウト構造と同じであると判断する。上述のように、この書式はＳ４２０でモデルといっしょに保存された。

他の実施形態（図６で「射影に基づく方法」と呼ぶ）では、垂直方向または垂直平面内のプレート領域の２値マップ上に、Ｓ６１８で射影が行われる。Ｓ６２０で、異なる暗さに関連する部分間の隙間の位置を特定する。これらの隙間を、文字対象物およびシンボルマーク対象物を表す射影内の谷と呼ぶ。谷は、書式候補に適用される閾値ｔｖ（本明細書では「谷検出に対する閾値」と呼ぶ）に基づいている。言い換えれば、隙間および対象物は、谷検出に対する閾値に応じて変化する可能性がある。

引き続き図６を参照すると、Ｓ６２２で隙間を小区域に分割する。Ｓ６２４で、各小区域に対する黒色画素の集まりを決定する。黒色画素のそれぞれの集まりは、文字またはシンボルマークの候補を代表している。一実施形態では、Ｓ６２６で谷検出に対する閾値を変化させて、黒色画素の少なくとも第２の異なる集まりを生成できる。

文字候補を生成するとすぐに、プロセスが部分比較モジュール１４８により行われ、プロセスは関連する部分に基づく方法に対する上述のプロセスに似ている。要約すれば、Ｓ６０８で特徴ベクトルを推定する。Ｓ６１０で、候補の結果のレイアウト構造と、異なるモデルに対する構造とを比較する。Ｓ６１４で、任意の決定された一致に対する尤度を計算する。そしてまた、撮影された画像のレイアウト書式は、Ｓ６１６で最大尤度を有するモデルに対するレイアウトである。尤度計算に対して高い結果を有する複数のよい一致を有する一実施形態では、よい一致に対する結果を保存したり、および／または光学式文字認識（「ＯＣＲ」）に伝えたりすることができる。ＯＣＲは個々の文字を分析して、最も近い一致に対する判断を容易にするためにシステムが使用できるコード信頼水準を決定できる。

上述のように、２値化に対する閾値ｔｂまたは谷検出に対する閾値ｔｖを変化させることにより、部分決定モジュール１４６を用いて複数の文字書式候補を求めることができる。閾値を変化させる態様は、アーチファクトから生じる可能性があるエラーの量をシステムが低減できるようにする。より具体的には、Ｓ６１６で、変更された閾値は、照合時にシステムが最もよいレイアウトを決定できるようにする。特定の閾値のもとで対象物候補として検討するためのプロセス内では、雑音および他のアーチファクトを分割できるため、変更された閾値は、システムが暗さに関連する部分の異なる群を生成できるようにする。最も近いレイアウト構造を提供する閾値、すなわち、Ｓ６１４の最も大きい尤度に関連するモデルでは、アーチファクトを、誤って文字として伝えてしまう暗さに関連する部分を生成することはないであろう。したがって、Ｓ６０８〜Ｓ６１６でモデルに対してすべての部分および集まりを試すときには、Ｓ６０４〜Ｓ６０６、Ｓ６１４の暗さに関連する部分を決定するプロセス、および／またはＳ６２０〜Ｓ６２６の黒色画素の集まりを決定するプロセスを、最もよい結果が得られるまで繰り返すことができる。

同じような方法で、特定の分割アルゴリズムを駆動する他の関連パラメータを変化させて、モデルと比較するために生成された候補文字が最も近い可能な一致をもたらす可能性を高めることができる。方法は、Ｓ６２８で終了する。

方法４００および６００について一連の行為または事象の形で上記に図示して説明しているが、このような行為または事象の図示の順番が、本開示のさまざまな方法またはプロセスを制限することはないことが理解されるであろう。この点において、本明細書に明示している場合を除き、いくつかの行為または事象は、本開示に基づいて本明細書に図示して説明していることから離れて、異なる順番で、および／または他の行為または事象と同時に、行われてもよい。さらに、本開示のプロセスまたは方法を実現するのに、図示のすべてのステップは必要ではない可能性があるとともに、１つ以上のこのような行為を組み合わせてもよいことが分かる。本開示の図示の方法および他の方法は、本明細書に記載の制御機能を提供するために、ハードウェア、ソフトウェア、またはそれらの組み合わせで実現してもよく、本開示の図示の方法および他の方法は、上述のシステム１００を含むが、これに限らない任意のシステムで使用してもよく、本開示は、本明細書に図示して説明している特定の応用および実施形態に限定されない。

システムの１つの態様は、不十分で誤りのある分割結果を生み出してしまう危険性をシステムが低減することである。従来のシステムでは、ＯＣＲは、信頼度が高いときにも、依然として不十分で誤りのある結果を生み出す可能性がある。これらの従来のシステムは、分割結果が妥当であるかどうかの判断に対する唯一の決定要因としてＯＣＲ信頼度に依存しているため、従来のシステムは間違ったレイアウトを出力する可能性がある。例えば、従来のシステムでは、ＯＣＲが、文字「Ｕ」を「Ｌ」（または「１」）と「Ｊ」との２文字に分割してしまう可能性がある。従来のシステムのＯＣＲは、「Ｌ」に対して、より低い信頼度を、文字「Ｊ」に対して、より高い信頼度を出力する可能性がある。現場で通常観察される画像条件の過酷さと分布とを考慮すれば、結果として得られる全体的なＯＣＲ信頼度は珍しくはない。しかしながら、本開示は、文字に対する結果を計算するときに文字ピッチおよび中心情報をむしろ説明して、それにより、結果の全体的な精度を向上させる。本開示の装置および方法は、モデルに適合しない分割結果を排除する。例えば、本開示の装置および方法は、尤度を低下させる文字以外のアーチファクトを誤って含んでいる分割結果を排除する。システムは、文字の分割の過不足により特徴を変化させてしまうことをさらに回避する。文字の寸法および位置などの特徴が著しく変化する場合には、分割の過不足は尤度を低下させる可能性がある。

Claims (2)

1. 各々サンプルのナンバープレートを含む複数のトレーニング画像に対し、少なくとも１つのサンプルのナンバープレートから各文字およびシンボルマークを、境界箱の表現に分割すること、前記少なくとも１つのサンプルのナンバープレートの各境界箱の表現に対応する値を計算すること、及び前記値の分布を規定する尤度関数を推定することを含む、ナンバープレートのレイアウト構成を表す少なくとも１つのモデルを生成することと、
   前記ナンバープレートのレイアウト構造と、前記少なくとも１つのモデルに対する前記値の分布と、を保存することと、
   セグメントを抽出するため、閾値を変化させることを用いて、観察されたナンバープレートをセグメントに分割することを含むと共に、前記観察されたナンバープレートに適用される各閾値は、可能なレイアウトモデルを表すセグメントを生成することを特徴とする、取得された画像の中の観察されたナンバープレートから複数のレイアウトモデルを生成することと、
   各レイアウトモデルのために抽出された前記セグメントの特徴を測定することと、
   前記特徴の測定値を前記モデルのために保存された前記分布と比較することにより、候補モデルを識別することと、
   ナンバープレートのレイアウト構成を表す少なくとも１つのモデル（ｍ）の特徴の周辺分布と、取得された画像の中の観察されたナンバープレート（ｘ）に所定の閾値を適用してセグメントに分割（ｓ）することにより生成された候補モデルの特徴との尤度をｐ（ｘ｜ｓ，ｍ）とし且つモデルｍのもとでの特徴ｉに対する周辺分布をｆ_ｉ（ｘ｜ｓ，ｍ）として、各候補モデルのレイアウト構成と前記保存されたモデルとの間の各決定された一致の尤度を、以下の式を用いて、周辺（ログ）尤度の合計として、計算することと、
   ｌｏｇｐ（ｘ｜ｓ，ｍ）＝Σ_ｉｌｏｇｆ_ｉ（ｘ｜ｓ，ｍ）
   最大尤度を有するモデルを決定することと、
   前記最大尤度を有するモデルと関連するナンバープレートレイアウト構成を有する前記観察されたナンバープレートを関連付けることと、
   を含む、ナンバープレートのレイアウト構成を決定する方法。
2. 前記尤度関数を推定することは、
   各特徴に対するヒストグラムを作ることと、
   正規化されたヒストグラムとして前記尤度関数を推定することと、
   を含む、請求項１に記載のナンバープレートのレイアウト構成を決定する方法。

Images