JP7289723B2

JP7289723B2 - 物体認識装置

Info

Publication number: JP7289723B2
Application number: JP2019097048A
Authority: JP
Inventors: 健遠藤; 健永崎
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2019-05-23
Filing date: 2019-05-23
Publication date: 2023-06-12
Anticipated expiration: 2039-05-23
Also published as: WO2020235462A1; JP2020191010A; EP3975151A1; EP3975151A4; CN113826107A

Description

本発明は、物体認識装置に関する。

自動運転の実現や交通事故の防止のために、走行中の車両において道路標識等の物体を認識し、その認識結果に基づく規制情報をドライバへの通知や車両の制御に利用する物体認識技術に大きな関心が寄せられている。道路標識には様々な種類のものがあり、その中には、高速道路や工事区間等に設置されて文字部が発光する電光式標識がある。道路標識の認識に用いられる物体認識装置では、こうした電光式標識についても正しく認識することが必要となる。

電光式標識の認識に関して、例えば特許文献１には、電光式標識の一種である発光体を用いたＶＭＳ標識を短い露光時間で撮像した際に、その一部が欠損して撮像される性質に着目したものが知られている。特許文献１に開示された物体認識装置は、第１露光時間で撮像した第１画像からＶＭＳ標識が撮像された画像領域を検出するとともに、第１露光時間よりも長くＶＭＳ標識の欠損が発生しない第２露光時間で第２画像を撮像し、第１画像から検出された画像領域に対応する領域の第２画像を用いてＶＭＳ標識の表示内容を認識する。

特開２０１４－１５３１６７号公報

特許文献１の物体認識装置では、第１画像の文字部が欠損した情報に基づいてＶＭＳ標識の検出処理を実施しているため、標識の大きさを正確に特定することができない。そのため、第２画像を用いたＶＭＳ標識の認識処理では、サイズの異なる多数のテンプレートを利用する必要があり、認識に要する処理時間が増加するとともに認識精度が低下するという課題がある。

本発明は、このような課題に鑑み、短い処理時間で正確に道路標識等の物体を認識可能な技術の提供を目的とする。

本発明による物体認識装置は、第一の露光量と、前記第一の露光量よりも少ない第二の露光量とを決定可能な露光量決定部と、前記第一の露光量で撮像された第一の露光画像と、前記第二の露光量で撮像された第二の露光画像とを取得する画像取得部と、前記第一の露光画像から、発光部分を含む認識対象の物体における前記発光部分に対応する光源領域を検出する光源検出部と、前記光源検出部が検出した前記光源領域に基づいて前記物体のサイズを特定するサイズ特定部と、前記光源検出部が検出した前記光源領域の位置および前記サイズ特定部が特定した前記物体のサイズに基づいて、前記第二の露光画像から前記物体が存在する領域の候補である認識候補を抽出する認識候補抽出部と、前記認識候補抽出部が抽出した前記認識候補に対して前記物体に関する認識処理を実施する認識処理部と、を備える。

本発明によれば、短い処理時間で正確に物体を認識することができる。

本発明の第１の実施形態に係る物体認識装置の構成を示す機能ブロック図である。本発明の第１の実施形態に係る物体認識装置の動作を説明するためのシーンを示す図である。本発明の第１の実施形態に係る物体認識装置の処理の流れを示すフローチャートである。第一露光画像の例を示す図である。第二露光画像の例を示す図である。認識候補の例を示す図である。本発明の第２の実施形態に係る物体認識装置の構成を示す機能ブロック図である。本発明の第２の実施形態に係る物体認識装置の処理の流れを示すフローチャートである。サイズ情報の例を示す図である。本発明の第３の実施形態に係る物体認識装置の構成を示す機能ブロック図である。本発明の第３の実施形態に係る物体認識装置の処理の流れを示すフローチャートである。輝度情報の例を示す図である。本発明の第４の実施形態に係る物体認識装置の構成を示す機能ブロック図である。本発明の第４の実施形態に係る物体認識装置の処理の流れを示すフローチャートである。３次元位置算出処理のフローチャートである。物体位置予測処理のフローチャートである。本発明の第５の実施形態に係る物体認識装置の構成を示す機能ブロック図である。本発明の第５の実施形態に係る物体認識装置の処理の流れを示すフローチャートである。認識候補再抽出処理のフローチャートである。第二露光画像および拡大後の認識候補の例を示す図である。２値化処理後の認識候補および投影ヒストグラムの例を示す図である。

以下に、本発明の実施形態について詳細に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る物体認識装置の構成を示す機能ブロック図である。図１に示すように、本実施形態の物体認識装置１０は、撮像装置２０および車両制御装置３０と接続されており、露光量決定部１０１、画像取得部１０２、光源検出部１０３、サイズ特定部１０４、認識候補抽出部１０５、および認識処理部１０６を備える。物体認識装置１０は、例えばＣＰＵ等の演算装置やＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶装置を有するコンピュータを用いて構成されており、記憶装置に格納された制御プログラムを演算装置で実行することにより、上記の各機能ブロックとして動作する。なお、物体認識装置１０が有する機能の一部または全部を、ＦＰＧＡ等のハードウェアを用いて構成してもよい。

撮像装置２０は、車両に搭載されたカメラであり、当該車両の周囲、例えば前方の風景を撮像する。以下では、撮像装置２０が搭載されている車両を「自車両」と称する。撮像装置２０は、例えば所定のフレームレートごとに、撮像した画像を物体認識装置１０に出力する。撮像装置２０から出力された画像は、物体認識装置１０において画像取得部１０２に入力される。

露光量決定部１０１は、撮像装置２０が画像を撮像する際の露光量を計算して決定し、撮像装置２０に出力する。露光量決定部１０１が決定する露光量とは、撮像装置２０が撮像する画像の明るさを調整するための物理量であり、例えば露光時間、アナログゲイン値、レンズのＦ値等が該当する。

本実施形態において、露光量決定部１０１は、撮像装置２０に対して２種類の露光量を決定することができる。図１では、露光量決定部１０１により決定される２種類の露光量を、第一露光量Ｆ１０１、第二露光量Ｃ１０１としてそれぞれ示している。ここで、第一露光量Ｆ１０１は、第二露光量Ｃ１０１と比べて、撮像装置２０がより明るい画像を撮像可能な露光量を表すものとする。すなわち、第一露光量Ｆ１０１は第二露光量Ｃ１０１よりも多く、反対に第二露光量Ｃ１０１は第一露光量Ｆ１０１よりも少ないものとして、これらの露光量が露光量決定部１０１により決定される。

なお、本実施形態では、物体認識装置１０が認識対象とする物体が電光式標識である場合の例を説明する。電光式標識とは、文字部等に発光素子を用いた発光部分を有する道路標識のことであり、例えば高速道路や工事区間等に設置される。この場合、露光量決定部１０１は、撮像装置２０が認識対象の物体である電光式標識を撮像した際に、電光式標識の発光部分の少なくとも一部が画素飽和する露光量に基づいて、第一露光量Ｆ１０１および第二露光量Ｃ１０１を決定する。具体的には、例えば、撮像時に発光部分に対応する画素の一部または全部が飽和して輝度値が最大値を示すような露光量、すなわち白とびが生じるような露光量を第一露光量Ｆ１０１として決定する。また、発光部分に対応する全ての画素が飽和せず、かつその一部または全部が欠損（黒つぶれ）しないような露光量を、第二露光量Ｃ１０１として決定する。これらの露光量は、例えば路面の明るさを基準にして算出することができる。

なお、以下では物体認識装置１０が認識対象とする物体が電光式標識である場合を説明するが、他の物体を認識対象としてもよい。例えば、ブレーキランプ等の発光部分を有する先行車両、ヘッドライト等の発光部分を有する後続車両、信号機、各種電光掲示板等、高輝度の発光部分を有する様々な物体を物体認識装置１０の認識対象とすることが可能である。

画像取得部１０２は、露光量決定部１０１により決定された第一露光量Ｆ１０１、第二露光量Ｃ１０１で撮像装置２０がそれぞれ撮像した２種類の画像を撮像装置２０から取得する。そして、第一露光量Ｆ１０１で撮像された画像を第一露光画像として光源検出部１０３に出力するとともに、第二露光量Ｃ１０１で撮像された画像を第二露光画像として認識候補抽出部１０５に出力する。

光源検出部１０３は、撮像装置２０により第一露光量Ｆ１０１で撮像されて画像取得部１０２が取得した第一露光画像から、電光式標識の発光部分に対応する光源領域を検出する。ここでは、前述のように第一露光量Ｆ１０１は撮像時に画素飽和が生じる露光量として設定されることから、第一露光画像において所定値以上の輝度値を有する画素の領域を光源領域として検出することができる。具体的には、例えばハフ変換やＭＳＥＲ（Maximally Stable Extremal Regions）等の公知技術を利用して、第一露光画像中に存在する円形状、楕円形状、矩形形状等の領域を他の背景領域から分離する。そして、分離した領域内に所定の明るさ以上の画素が所定数以上存在するか否かを判定し、存在する場合は当該領域を光源領域として検出する。こうして光源領域を検出したら、光源検出部１０３は、その光源領域の中心位置、幅、高さ等の情報を取得し、サイズ特定部１０４へ出力する。

サイズ特定部１０４は、光源検出部１０３が検出した光源領域に基づいて、物体認識装置１０が認識対象とする物体のサイズを特定する。具体的には、光源検出部１０３から出力される光源領域の中心位置、幅、高さの各情報に基づき、発光部分を含む物体の画像上での大きさを推定することで、当該物体のサイズを特定する。このとき、認識対象とする物体の種類に応じて所定の倍率を光源領域の幅や高さにそれぞれ適用することで、当該物体のサイズを特定してもよい。前述のように認識対象とする物体が電光式標識である場合、発光部分と電光式標識全体との間でのサイズの関係性は既知であるため、第一露光画像から検出された光源領域の大きさに基づいて、画像中での電光式標識のサイズを容易かつ正確に特定することが可能である。

認識候補抽出部１０５は、光源検出部１０３が検出した光源領域の位置と、サイズ特定部１０４が特定した物体のサイズとに基づき、撮像装置２０により第二露光量Ｃ１０１で撮像されて画像取得部１０２が取得した第二露光画像から、当該物体が存在する領域の候補である認識候補を抽出する。具体的には、例えば、光源検出部１０３が検出した光源領域の中心位置と、サイズ特定部１０４が特定した画像上の物体のサイズとを用いて、第二露光画像上でこれらに対応する領域を認識候補として抽出する。また、光源検出部１０３が検出した光源位置を中心に、サイズ特定部１０４で計算したサイズに対して所定の倍率をかけることで拡張した走査領域を設定し、この走査領域に対して、サイズ特定部１０４で計算したサイズの枠を横方向、縦方向に所定の間隔でそれぞれ走査したときの各領域を認識候補として抽出してもよい。このように、認識候補抽出部１０５は、第二露光画像から任意の数の認識候補を抽出して出力することができる。

認識処理部１０６は、認識候補抽出部１０５が第二露光画像から抽出した認識候補に対して、認識対象とする物体に関する所定の認識処理を実施する。ここでは、当該物体の種別や、当該物体における表示内容を認識するための認識処理を、認識候補に対して実施する。この認識処理では、例えば、認識対象の物体が電光式標識である場合、電光式標識のテンプレート画像を用いたテンプレートマッチング処理を行い、相関性の最も高いテンプレート画像に紐付いた電光式標識の種別や表示内容を認識結果として取得することができる。また、認識対象の物体を撮影した多数の画像に基づく機械学習を用いた統計的な方法により、物体の種別や表示内容を判定し、認識結果として取得してもよい。これ以外にも、認識対象の物体に対して適切な認識結果が得られるのであれば、任意の処理手法を用いて認識処理を実施することが可能である。

車両制御装置３０は、物体認識装置１０から出力された物体の認識結果に基づいて、自車両の制御を実施する。例えば、認識対象の物体が電光式標識の場合、電光式標識によって指示された交通規制内容を自車両に設置されたディスプレイに表示してドライバに提示したり、自車両の走行速度を制御したりすることができる。

（動作例）
次に、以上説明した本実施形態の物体認識装置１０の動作について、図２に示すシーンにおける動作を例として説明する。図２は、自車両の前方に電光式標識が設置されているシーンを示している。図２において、電光式標識Ｔ１０１は最高速度制限が時速１００ｋｍを表す標識である。

図３は、本発明の第１の実施形態に係る物体認識装置１０の処理の流れを示すフローチャートである。本実施形態の物体認識装置１０は、車両に搭載されており、例えばＣＰＵ等の演算装置により、図３のフローチャートに示す処理を所定の処理周期ごとに実施する。以下では、この図３のフローチャートに従って、図２のシーンにおける物体認識装置１０の具体的な動作例を説明する。

物体認識装置１０は、図３のフローチャートに従い、第一露光量算出処理（Ｓ１０１）、画像取得処理（Ｓ１０２）、光源検出処理（Ｓ１０３）、サイズ特定処理（Ｓ１０４）、第二露光量算出処理（Ｓ１０５）、画像取得処理（Ｓ１０６）、認識候補抽出処理（Ｓ１０７）、認識処理（Ｓ１０８）を順に実施することで、認識対象の物体である電光式標識の種別や表示内容を認識する。以降では、各処理内容に関して説明する。

ステップＳ１０１では、露光量決定部１０１により、第一露光量Ｆ１０１を算出する。ここでは前述のように、撮像装置２０による撮像時に、認識対象の物体である電光式標識の発光部分の少なくとも一部が画素飽和する露光量を、第一露光量Ｆ１０１として算出する。

ステップＳ１０２では、画像取得部１０２により、ステップＳ１０１で決定された第一露光量Ｆ１０１で撮像装置２０が撮像した画像を撮像装置２０から取得し、第一露光画像とする。

図４は、ステップＳ１０２で取得される第一露光画像の例を示す図である。図４に示す第一露光画像Ｔ１１１には、図２の電光式標識Ｔ１０１に対応する画像領域Ｔ１１２が含まれている。この画像領域Ｔ１１２のうち、電光式標識Ｔ１０１の発光部分に対応する画像領域Ｔ１１３では、画素飽和による白とびが生じている。

ステップＳ１０３では、光源検出部１０３により、ステップＳ１０２で取得した第一露光画像から光源領域を検出する。ここでは、図４の第一露光画像Ｔ１１１における画像領域Ｔ１１３を光源領域として検出し、その中心位置、幅、高さ等の情報を計算する。

ステップＳ１０４では、サイズ特定部１０４により、ステップＳ１０３で検出した光源領域に基づいて、物体認識装置１０が認識対象とする物体である電光式標識のサイズを特定する。ここでは、例えば光源領域として検出した画像領域Ｔ１１３の高さと幅に対してそれぞれ所定の倍率をかけることにより、光源領域から当該物体のサイズを特定する。なお、このときの倍率は、認識対象の物体の種類に応じて予め設定しておくことができる。

ステップＳ１０５では、露光量決定部１０１により、第二露光量Ｃ１０１を算出する。ここでは前述のように、撮像装置２０による撮像時に、認識対象の物体である電光式標識の発光部分において画素飽和が生じない露光量を、第二露光量Ｃ１０１として算出する。

ステップＳ１０６では、画像取得部１０２により、ステップＳ１０５で決定された第二露光量Ｃ１０１で撮像装置２０が撮像した画像を撮像装置２０から取得し、第二露光画像とする。

図５は、ステップＳ１０６で取得される第二露光画像の例を示す図である。図５に示す第二露光画像Ｔ１２１には、図２の電光式標識Ｔ１０１に対応する画像領域Ｔ１２２が含まれている。この画像領域Ｔ１２２のうち、電光式標識Ｔ１０１の発光部分に対応する画像領域Ｔ１２３では、図４の画像領域Ｔ１１３とは異なり、画素飽和による白とびが生じていない。

ステップＳ１０７では、認識候補抽出部１０５により、ステップＳ１０６で取得した第二露光画像から、認識処理を実施するための認識候補を抽出する。ここでは、ステップＳ１０３で検出した光源領域の中心位置と、ステップＳ１０４で特定した電光式標識のサイズ（高さ、幅）とに基づいて、第二露光画像において認識候補として抽出する領域を決定する。

図６は、ステップＳ１０７で抽出される認識候補の例を示す図である。図６に示す第二露光画像Ｔ１２１は、図５と同じものである。ステップＳ１０７の認識候補抽出処理では、この第二露光画像Ｔ１２１のうち電光式標識Ｔ１０１に対応する画像領域Ｔ１２２の周囲に、認識候補Ｔ１３２が設定されて抽出される。ここで、認識候補Ｔ１３２の中心位置は、ステップＳ１０３で検出した光源領域の中心位置から設定される。また、認識候補Ｔ１３２の高さと幅は、ステップＳ１０４で特定した電光式標識のサイズを表す高さと幅からそれぞれ設定される。

ステップＳ１０８では、認識処理部１０６により、ステップＳ１０７で抽出した認識候補に対する認識処理を実施する。ここでは、例えば抽出した認識候補と同じ大きさのテンプレート画像を用いて前述のテンプレートマッチング処理を行い、複数のテンプレート画像の中で相関性の最も高いテンプレート画像を特定する。これにより、認識候補Ｔ１３２として抽出した画像領域が電光式標識Ｔ１０１を撮像したものであることを認識するとともに、この電光式標識Ｔ１０１の種別が最高速度制限の道路標識であり、その表示内容が最高速度は時速１００ｋｍであることを表していることを認識する。

以上説明したように、本実施形態の物体認識装置１０では、電光式標識のような高輝度の発光部分を有する物体に対して、発光部分の少なくとも一部が画素飽和する露光量を用いて撮像された画像から、その物体の大きさを推定して認識処理を実施するようにしている。これにより、認識処理に利用するテンプレート画像のサイズを物体の大きさに合わせて絞り込むことができるようになるため、処理時間の削減が可能となる。その結果、短い処理時間でも正確に物体を認識することができる。

以上説明した本発明の第１の実施形態によれば、以下の作用効果を奏する。

（１）物体認識装置１０は、露光量決定部１０１と、画像取得部１０２と、光源検出部１０３と、サイズ特定部１０４と、認識候補抽出部１０５と、認識処理部１０６とを備える。露光量決定部１０１は、第一露光量Ｆ１０１と、第一露光量Ｆ１０１よりも少ない第二露光量Ｃ１０１とを決定可能であり（ステップＳ１０１、Ｓ１０５）、画像取得部１０２は、第一露光量Ｆ１０１で撮像された第一露光画像Ｔ１１１と、第二露光量Ｃ１０１で撮像された第二露光画像Ｔ１２１とを取得する(ステップＳ１０２、Ｓ１０６)。光源検出部１０３は、第一露光画像Ｔ１１１から光源領域（画像領域Ｔ１１３）を検出する（ステップＳ１０３）。サイズ特定部１０４は、光源検出部１０３が検出した光源領域に基づいて認識対象の物体（電光式標識Ｔ１０１）のサイズを特定する（ステップＳ１０４）。認識候補抽出部１０５は、光源検出部１０３が検出した光源領域の位置およびサイズ特定部１０４が特定した物体のサイズに基づいて、第二露光画像Ｔ１２１から物体が存在する領域の候補である認識候補Ｔ１３２を抽出する（ステップＳ１０７）。認識処理部１０６は、認識候補抽出部１０５が抽出した認識候補Ｔ１３２に対して物体に関する認識処理を実施する（ステップＳ１０８）。このようにしたので、カメラの撮像画像から認識対象の物体のサイズに応じた認識候補を抽出して認識処理を実施できるため、短い処理時間で正確に物体を認識することができる。

（２）露光量決定部１０１は、撮像時に認識対象の物体の発光部分の少なくとも一部が画素飽和する露光量に基づいて、第一露光量Ｆ１０１および第二露光量Ｃ１０１を決定する。具体的には、ステップＳ１０１では、撮像装置２０による撮像時に当該発光部分の少なくとも一部が画素飽和する露光量を第一露光量Ｆ１０１として決定し、ステップＳ１０５では、撮像装置２０による撮像時に当該発光部分において画素飽和が生じない露光量を第二露光量Ｃ１０１として決定する。このようにしたので、光源領域を検出しやすい画像を撮像するのに適切な露光量を第一露光量Ｆ１０１として決定するとともに、認識処理を実施しやすい画像を撮像するのに適切な露光量を第二露光量Ｃ１０１として決定することができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。図７は、本発明の第２の実施形態に係る物体認識装置の構成を示す機能ブロック図である。図７に示すように、本実施形態の物体認識装置１０Ａは、図１で説明した第１の実施形態に係る物体認識装置１０と同様に、撮像装置２０および車両制御装置３０と接続されている。本実施形態の物体認識装置１０Ａは、露光量決定部２０１、画像取得部２０２、光源検出部２０３、サイズ特定部２０４、認識候補抽出部２０５、認識処理部２０６、およびサイズ情報格納部２０７を備える。物体認識装置１０Ａは、例えばＣＰＵ等の演算装置やＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶装置を有するコンピュータを用いて構成されており、記憶装置に格納された制御プログラムを演算装置で実行することにより、上記の各機能ブロックとして動作する。なお、物体認識装置１０Ａが有する機能の一部または全部を、ＦＰＧＡ等のハードウェアを用いて構成してもよい。

露光量決定部２０１は、図１の露光量決定部１０１と同様に、撮像装置２０の明るさを制御する２種類の露光量、すなわち第一露光量Ｆ２０１および第二露光量Ｃ２０１を算出し、算出したこれらの露光量を撮像装置２０に出力する。

画像取得部２０２は、図１の画像取得部１０２と同様に、露光量決定部２０１が決定した第一露光量Ｆ２０１および第二露光量Ｃ２０１で撮像装置２０がそれぞれ撮像した２種類の画像を、第一露光画像および第二露光画像として取得する。

光源検出部２０３は、第一露光画像から光源領域を検出し、検出結果をサイズ特定部２０４および認識候補抽出部２０５に出力する。サイズ特定部２０４は、光源検出部２０３の出力が表す光源領域の中心位置、幅、高さの各情報から、物体認識装置１０Ａが認識対象とする物体のサイズを特定し、認識候補抽出部２０５に出力する。このとき光源検出部２０３は、サイズ情報格納部２０７に格納されているサイズ情報を参照することで、当該物体の画像上での大きさを推定し、サイズを特定する。なお、サイズ情報格納部２０７に格納されるサイズ情報の詳細については後述する。

認識候補抽出部２０５は、図１の認識候補抽出部１０５と同様に、光源検出部２０３が検出した光源領域の位置と、サイズ特定部２０４が特定した物体のサイズとに基づき、第二露光画像から認識候補を抽出する。認識処理部２０６は、図１の認識処理部１０６と同様に、認識候補抽出部２０５が第二露光画像から抽出した認識候補に対して認識処理を実施し、当該物体の種別や、当該物体における表示内容を認識する。

サイズ情報格納部２０７は、認識対象の物体の発光部分と当該物体の大きさとの関係性を表すサイズ情報を格納している。このサイズ情報は、例えば、物体の幅と高さのそれぞれについて、発光部分に対する物体の大きさの倍率として表すことができる。ただし、サイズ情報は物体の幅と高さに限定されるものではない。例えば、中心位置からの半径として物体サイズが定義されている場合、半径に対する倍率をサイズ情報としてサイズ情報格納部２０７に格納することができる。これ以外にも、発光部分と物体の大きさとの関係性に関する情報であれば、サイズ情報として如何なる情報もサイズ情報格納部２０７に格納できる。

なお、サイズ情報格納部２０７に格納されるサイズ情報は、物体認識装置１０Ａの仕向け地が決まっていた場合に、工場の生産ライン等の出荷前段階において書き換え可能としてもよい。例えば、国内向けに出荷される物体認識装置１０Ａの場合は、国内で配置される電光式標識等の物体に関して、当該物体の発光部分と大きさに関するサイズ情報がサイズ情報格納部２０７に格納される。一方、他の地域に出荷される物体認識装置１０Ａの場合は、仕向け地に応じたサイズ情報が格納される。

（動作例）
次に、以上説明した本実施形態の物体認識装置１０Ａの動作例について説明する。図８は、本発明の第２の実施形態に係る物体認識装置１０Ａの処理の流れを示すフローチャートである。本実施形態の物体認識装置１０Ａは、車両に搭載されており、例えばＣＰＵ等の演算装置により、図８のフローチャートに示す処理を所定の処理周期ごとに実施する。以下では、この図８のフローチャートに従って、物体認識装置１０Ａの具体的な動作例を説明する。

物体認識装置１０Ａは、図８のフローチャートに従い、第一露光量算出処理（Ｓ２０１）、画像取得処理（Ｓ２０２）、光源検出処理（Ｓ２０３）、物体種別判定処理（Ｓ２０４）、物体サイズ計算処理（Ｓ２０５）、第二露光量算出処理（Ｓ２０６）、画像取得処理（Ｓ２０７）、認識候補抽出処理（Ｓ２０８）、認識処理（Ｓ２０９）を順に実施することで、認識対象の物体である電光式標識の種別や表示内容を認識する。以降では、各処理内容に関して説明する。

ステップＳ２０１～Ｓ２０３では、露光量決定部２０１、画像取得部２０２および光源検出部２０３により、図３のステップＳ１０１～Ｓ１０３と同様の処理をそれぞれ実施する。

ステップＳ２０４では、サイズ特定部１０４により、ステップＳ２０３で検出した光源領域に基づき、サイズ情報格納部２０７に格納されたサイズ情報においてどの物体種別のサイズ情報を参照するかを決定する。ここでは、例えば光源領域の大きさ、明るさ、色、形状等に基づき、サイズ情報格納部２０７において種別ごとにサイズ情報が格納された物体のうち、どの種別の物体に該当するかを判定する。本動作例では、認識対象とする物体が電光式標識であるため、ステップＳ２０４の物体種別判定処理により、物体種別が電光式標識であるとの結果が得られる。

ステップＳ２０５では、サイズ特定部１０４により、ステップＳ２０４の判定結果に基づき、サイズ情報格納部２０７に格納されたサイズ情報を参照して、物体認識装置１０Ａが認識対象とする物体のサイズを計算する。ここでは、例えば図９の表に示すサイズ情報を参照することで、物体の大きさを計算する。

図９は、サイズ情報格納部２０７に格納されるサイズ情報の例を示す図である。図９のサイズ情報では、発光部分を含む物体に対する高さと幅の倍率が、物体の種別ごとに表形式で記載されている。具体的には、２行目には道路標識、３行目には車両に関するサイズ情報がそれぞれ記載されている。

本動作例では、物体種別判定処理（Ｓ２０４）において、上記のように認識対象とする物体の種別が電光式標識であるとの判定結果が得られている。そのため、ステップＳ２０５では、図９のサイズ情報のうち道路標識の部分を参照することで、光源領域として検出される発光部分の幅と高さに対する電光式標識の倍率は、ともに１．２倍であることが分かる。したがって、光源検出処理（Ｓ２０３）で取得した光源領域の幅と高さに対して、図９に記載の倍率をそれぞれかけることにより、撮像画像中での電光式標識のサイズを特定することができる。

ステップＳ２０６～Ｓ２０９では、露光量決定部２０１、画像取得部２０２、認識候補抽出部２０５および認識処理部２０６により、図３のステップＳ１０５～Ｓ１０８と同様の処理をそれぞれ実施する。

以上説明したように、本実施形態の物体認識装置１０Ａでは、事前に作成した発光部分との大きさの関係性を利用することで、より正確に認識対象の物体の大きさを推定できるようにしている。これにより、認識処理を実施する領域をより正確に選択することが可能となり、認識精度を向上させることができる。

以上説明した本発明の第２の実施形態によれば、第１の実施形態で説明した（１）、（２）の各作用効果に加えて、さらに以下（３）の作用効果を奏する。

（３）物体認識装置１０Ａは、物体の発光部分と物体の大きさとの関係性を表すサイズ情報が物体の種類毎に格納されたサイズ情報格納部２０７をさらに備える。サイズ特定部２０４は、光源検出部２０３が検出した光源領域のサイズに基づいてサイズ情報格納部２０７に格納されたサイズ情報を参照し、物体のサイズを特定する。このようにしたので、認識対象の物体のサイズをより正確に推定できるため、物体の認識精度を向上させることができる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。図１０は、本発明の第３の実施形態に係る物体認識装置の構成を示す機能ブロック図である。図１０に示すように、本実施形態の物体認識装置１０Ｂは、図１で説明した第１の実施形態に係る物体認識装置１０と同様に、撮像装置２０および車両制御装置３０と接続されている。本実施形態の物体認識装置１０Ｂは、露光量決定部３０１、画像取得部３０２、光源検出部３０３、サイズ特定部３０４、認識候補抽出部３０５、認識処理部３０６、環境情報取得部３０７、および輝度情報格納部３０８を備える。物体認識装置１０Ｂは、例えばＣＰＵ等の演算装置やＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶装置を有するコンピュータを用いて構成されており、記憶装置に格納された制御プログラムを演算装置で実行することにより、上記の各機能ブロックとして動作する。なお、物体認識装置１０Ｂが有する機能の一部または全部を、ＦＰＧＡ等のハードウェアを用いて構成してもよい。

環境情報取得部３０７は、物体認識装置１０Ｂの周辺の環境情報を取得し、露光量決定部３０１に出力する。ここで、環境情報取得部３０７が取得する環境情報とは、例えば物体認識装置１０Ｂが動作している場所（国、地域など）や時間帯等の情報であり、これは物体認識装置１０Ｂが搭載されている自車両の走行環境を表す情報に相当する。例えば、環境情報取得部３０７は図示しないナビゲーションシステムと接続されており、このナビゲーションシステムから場所や時間帯の情報を取得することで、環境情報を取得することができる。ナビゲーションシステムは、例えばＧＰＳ（Global Positioning System）信号を受信し、受信したＧＰＳ信号が表す位置とマップを照らし合わせることにより、自身の現在位置に対応する場所を特定することができる。また、受信したＧＰＳ信号から現在の時刻を検出し、時間帯を特定することができる。なお、環境情報取得部３０７は、これ以外にも任意の手段を利用して、環境情報を取得することができる。

輝度情報格納部３０８には、認識対象の物体の発光部分の明るさに関する輝度情報が格納されている。この輝度情報には、例えば、場所や時間帯ごとに発光部分の明るさが設定されている。なお、輝度情報は、例えば輝度［ｃｄ／ｍ^２］や照度［ｌｘ］など、様々な物理量により表すことができる。

露光量決定部３０１は、環境情報取得部３０７が取得した環境情報に基づき、輝度情報格納部３０８に格納された輝度情報を参照して、第一露光量Ｆ３０１および第二露光量Ｃ３０１を決定する。具体的には、露光量決定部３０１は、輝度情報格納部３０８に格納されている輝度情報から、環境情報取得部３０７が取得した環境情報に対応する認識対象の物体の発光部分の明るさを取得する。そして、取得した発光部分の明るさに基づいて、第一露光量Ｆ３０１および第二露光量Ｃ３０１を設定する。例えば、撮像画像における発光部分の画素値が所定の基準値以上となるように第一露光量Ｆ３０１を設定するとともに、撮像画像における発光部分の画素値が所定の基準値以下となるように第二露光量Ｃ３０１を設定する。なお、これらの設定における基準値は、同一の値であってもよいし、異なる値であってもよい。

画像取得部３０２は、図１の画像取得部１０２と同様に、露光量決定部３０１が決定した第一露光量Ｆ３０１および第二露光量Ｃ３０１で撮像装置２０がそれぞれ撮像した２種類の画像を、第一露光画像および第二露光画像として取得する。

光源検出部３０３は、図１の光源検出部１０３と同様に、第一露光画像から光源領域を検出し、検出結果をサイズ特定部３０４および認識候補抽出部３０５に出力する。サイズ特定部３０４は、図１のサイズ特定部１０４と同様に、光源検出部３０３の出力が表す光源領域の中心位置、幅、高さの各情報から、物体認識装置１０Ｂが認識対象とする物体のサイズを特定し、認識候補抽出部３０５に出力する。

認識候補抽出部３０５は、図１の認識候補抽出部１０５と同様に、光源検出部３０３が検出した光源領域の位置と、サイズ特定部３０４が特定した物体のサイズとに基づき、第二露光画像から認識候補を抽出する。認識処理部３０６は、図１の認識処理部１０６と同様に、認識候補抽出部３０５が第二露光画像から抽出した認識候補に対して認識処理を実施し、当該物体の種別や、当該物体における表示内容を認識する。

（動作例）
次に、以上説明した本実施形態の物体認識装置１０Ｂの動作例について説明する。以下では、自車両の走行国が日本であり、現在時刻が２０時である場合の例を説明する。

図１１は、本発明の第３の実施形態に係る物体認識装置１０Ｂの処理の流れを示すフローチャートである。本実施形態の物体認識装置１０Ｂは、車両に搭載されており、例えばＣＰＵ等の演算装置により、図１１のフローチャートに示す処理を所定の処理周期ごとに実施する。以下では、この図１１のフローチャートに従って、物体認識装置１０Ｂの具体的な動作例を説明する。

物体認識装置１０Ｂは、図１１のフローチャートに従い、環境情報取得処理（Ｓ３００）、第一露光量設定処理（Ｓ３０１）、画像取得処理（Ｓ３０２）、光源検出処理（Ｓ３０３）、サイズ特定処理（Ｓ３０４）、第二露光量設定処理（Ｓ３０５）、画像取得処理（Ｓ３０６）、認識候補抽出処理（Ｓ３０７）、認識処理（Ｓ３０８）を順に実施することで、認識対象の物体である電光式標識の種別や表示内容を認識する。以降では、各処理内容に関して説明する。

ステップＳ３００では、環境情報取得部３０７により、物体認識装置１０Ｂの周辺の環境情報を取得する。ここでは、物体認識装置１０Ｂの周辺の環境情報として、現在の時刻および自車両の走行国の情報を取得する。

ステップＳ３０１では、露光量決定部３０１により、ステップＳ３００で取得した環境情報に基づき、輝度情報格納部３０８に格納された輝度情報を参照して、第一露光量Ｆ３０１を設定する。ここでは、例えば図１２の表に示す輝度情報を参照することで、物体認識装置１０Ｂが認識対象とする物体である電光式標識の発光部分の明るさを特定し、その明るさに応じた第一露光量Ｆ３０１を設定する。

図１２は、輝度情報格納部３０８に格納される輝度情報の例を示す図である。図１２の輝度情報では、電光式標識の発光部分の明るさが、時間帯および走行国ごとに表形式で記載されている。具体的には、表の各行が時間帯に、各列が走行国（日本、ドイツ）にそれぞれ対応しており、これらの組み合わせごとに電光式標識の発光部分の明るさ情報が格納されている。例えば、走行国が日本である場合、６時から９時までの時間帯における電光式標識の発光部分の明るさは５０［ｃｄ／ｍ^２］であり、９時から１５時までの時間帯における電光式標識の発光部分の明るさは１００［ｃｄ／ｍ^２］であり、１５時から１９時までの時間帯における電光式標識の発光部分の明るさは７０［ｃｄ／ｍ^２］であり、１９時から６時までの時間帯における電光式標識の発光部分の明るさは６０［ｃｄ／ｍ^２］であることを示している。

ステップＳ３０１の第一露光量設定処理では、図１２の輝度情報を参照することで、自車両の走行国である日本において、現在時刻の２０時では電光式標識の発光部分の明るさが６０［ｃｄ／ｍ^２］であることが分かる。したがって、この明るさを基に、撮像時に画素飽和が生じる露光量を第一露光量Ｆ３０１として設定することができる。

ステップＳ３０２～Ｓ３０４では、画像取得部３０２、光源検出部３０３およびサイズ特定部３０４により、図３のステップＳ１０２～Ｓ１０４と同様の処理をそれぞれ実施する。

ステップＳ３０５では、露光量決定部３０１により、ステップＳ３００で取得した環境情報に基づき、輝度情報格納部３０８に格納された輝度情報を参照して、第二露光量Ｃ３０１を設定する。ここではステップＳ３０１と同様に、例えば図１２の表に示す輝度情報を参照することで、物体認識装置１０Ｂが認識対象とする物体である電光式標識の発光部分の明るさを特定し、その明るさに応じた第二露光量Ｃ３０１を設定する。具体的には、図１２の輝度情報を参照すると、前述のように、自車両の走行国である日本において、現在時刻の２０時では電光式標識の発光部分の明るさが６０［ｃｄ／ｍ^２］であることが分かる。したがって、この明るさを基に、撮像時に画素飽和が生じない露光量を第二露光量Ｃ３０１として設定することができる。

ステップＳ３０６～Ｓ３０８では、画像取得部３０２、認識候補抽出部３０５および認識処理部３０６により、図３のステップＳ１０６～Ｓ１０８と同様の処理をそれぞれ実施する。

以上説明したように、本実施形態の物体認識装置１０Ｂでは、現在の物体認識装置１０Ｂの周辺環境に対応した発光部分の明るさに関する輝度情報を取得することで、撮像時の露光量を適応的に変化させるようにしている。これにより、電光式標識の発光部分のように、場所や時間帯に応じて明るさが変化する物体に対して、撮像時の露光量を適切に設定することが可能となり、当該物体の検出精度や認識精度を向上させることができる。

以上説明した本発明の第３の実施形態によれば、第１の実施形態で説明した（１）、（２）の各作用効果に加えて、さらに以下（４）、（５）の作用効果を奏する。

（４）物体認識装置１０Ｂは、物体認識装置１０Ｂの周辺の環境情報を取得する環境情報取得部３０７と、物体の発光部分の輝度情報が環境毎に格納された輝度情報格納部３０８とをさらに備える。露光量決定部３０１は、環境情報取得部３０７が取得した環境情報に基づいて輝度情報格納部３０８に格納された輝度情報を参照し、第一露光量Ｆ３０１および第二露光量Ｃ３０１を決定する。このようにしたので、撮像時の露光量をより適切に設定できるため、物体の検出精度や認識精度を向上させることができる。

（５）環境情報取得部３０７は、物体認識装置１０Ｂが動作している場所および時間帯の少なくともいずれかを含む情報を環境情報として取得することができる。このようにしたので、撮像時の露光量の設定に用いるために必要な情報を、確実かつ容易に環境情報として取得することができる。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。図１３は、本発明の第４の実施形態に係る物体認識装置の構成を示す機能ブロック図である。図１３に示すように、本実施形態の物体認識装置１０Ｃは、図１で説明した第１の実施形態に係る物体認識装置１０と同様に、撮像装置２０および車両制御装置３０と接続されている。本実施形態の物体認識装置１０Ｃは、露光量決定部４０１、画像取得部４０２、光源検出部４０３、サイズ特定部４０４、認識候補抽出部４０５、認識処理部４０６、３次元位置算出部４０７、および挙動情報取得部４０８を備える。物体認識装置１０Ｃは、例えばＣＰＵ等の演算装置やＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶装置を有するコンピュータを用いて構成されており、記憶装置に格納された制御プログラムを演算装置で実行することにより、上記の各機能ブロックとして動作する。なお、物体認識装置１０Ｃが有する機能の一部または全部を、ＦＰＧＡ等のハードウェアを用いて構成してもよい。

露光量決定部４０１は、図１の露光量決定部１０１と同様に、撮像装置２０の明るさを制御する２種類の露光量、すなわち第一露光量Ｆ４０１および第二露光量Ｃ４０１を算出し、算出したこれらの露光量を撮像装置２０に出力する。

画像取得部４０２は、図１の画像取得部１０２と同様に、露光量決定部４０１が決定した第一露光量Ｆ４０１および第二露光量Ｃ４０１で撮像装置２０がそれぞれ撮像した２種類の画像を、第一露光画像および第二露光画像として取得する。

光源検出部４０３は、第一露光画像から光源領域を検出し、検出結果をサイズ特定部４０４、認識候補抽出部４０５および３次元位置算出部４０７に出力する。サイズ特定部４０４は、光源検出部４０３の出力が表す光源領域の幅、高さの各情報から、物体認識装置１０Ｃが認識対象とする物体のサイズを特定し、認識候補抽出部４０５および３次元位置算出部４０７に出力する。

３次元位置算出部４０７は、光源検出部４０３とサイズ特定部４０４の出力から、認識対象の物体の３次元位置を算出し、算出した３次元位置を認識候補抽出部４０５に出力する。３次元位置算出部４０７は、例えば実世界における物体の実寸情報や、撮像装置２０の光学パラメータに関する情報を所持している。ここで、光学パラメータとは、焦点距離や画素の実寸サイズなど、撮像装置２０が有するレンズや撮像素子に関するパラメータである。

３次元位置算出部４０７は、サイズ特定部４０４が出力した撮像画像上の物体のサイズ情報と、３次元位置算出部４０７が所持する物体の実寸情報および光学パラメータとを利用して、物体認識装置１０Ｃから物体までの奥行き方向の距離を推定する。そして、推定した奥行き方向の距離と、光源検出部４０３が検出した光源領域の中心位置と、３次元位置算出部４０７が所持する光学パラメータとを利用して、奥行き方向と直交する横方向および縦方向のそれぞれについて、物体認識装置１０Ｃに対する物体の位置を推定する。こうして奥行き方向、横方向および縦方向の各方向に対して、物体認識装置１０Ｃを基準とした物体の位置を推定することにより、３次元位置算出部４０７において物体の３次元位置が算出される。３次元位置算出部４０７が算出した物体の３次元位置は、認識候補抽出部４０５に出力される。

挙動情報取得部４０８は、物体認識装置１０Ｃが搭載されている移動体の挙動に関する挙動情報を取得する。具体的には、例えば移動体が車両の場合には、当該車両内に設けられたＣＡＮ（Controller Area Network）等のネットワークを介して、車両の走行速度、舵角、ヨーレートなどの情報を車両の挙動情報として取得することができる。なお、挙動情報取得部４０８は、他の情報を挙動情報として取得してもよい。また、ＣＡＮ以外のネットワークを介して挙動情報を取得してもよいし、他の方法で挙動情報を取得してもよい。物体認識装置１０Ｃが搭載されている移動体の挙動に関する情報であれば、挙動情報取得部４０８は、任意の方法により取得した任意の情報を挙動情報として利用することができる。

認識候補抽出部４０５は、光源検出部４０３、サイズ特定部４０４、３次元位置算出部４０７、挙動情報取得部４０８の各出力に基づき、第二露光画像から認識候補を抽出する。具体的には、まず、挙動情報取得部４０８が取得した挙動情報に基づき、撮像装置２０が第一露光画像を撮像してから第二露光画像を撮像するまでの期間における移動体の移動量を算出する。次に、３次元位置算出部４０７が算出した第一露光画像の撮像時点における物体の３次元位置に対して、算出した移動量を適用することで、第二露光画像の撮像時点における物体の３次元位置を推定する。最後に、推定した３次元位置においてサイズ特定部２０４が特定した物体のサイズに対応する領域を第二露光画像から抽出することで、認識候補を抽出する。認識候補抽出部４０５は、例えばこのようにして、物体の３次元位置に対応する認識候補を第二露光画像から抽出することができる。

認識処理部４０６は、図１の認識処理部１０６と同様に、認識候補抽出部４０５が第二露光画像から抽出した認識候補に対して認識処理を実施し、当該物体の種別や、当該物体における表示内容を認識する。

（動作例）
次に、以上説明した本実施形態の物体認識装置１０Ｃの動作例について説明する。以下では、第１の実施形態で説明した動作例と同様に、電光式標識を認識対象とする場合の動作例を説明する。

図１４は、本発明の第４の実施形態に係る物体認識装置１０Ｃの処理の流れを示すフローチャートである。本実施形態の物体認識装置１０Ｃは、車両に搭載されており、例えばＣＰＵ等の演算装置により、図１４のフローチャートに示す処理を所定の処理周期ごとに実施する。以下では、この図１４のフローチャートに従って、物体認識装置１０Ｃの具体的な動作例を説明する。

物体認識装置１０Ｃは、図１４のフローチャートに従い、第一露光量算出処理（Ｓ４００）、画像取得処理（Ｓ４０１）、光源検出処理（Ｓ４０２）、サイズ特定処理（Ｓ４０３）、３次元位置算出処理（Ｓ４０４）、第二露光量算出処理（Ｓ４０５）、画像取得処理（Ｓ４０６）、車両情報取得処理（Ｓ４０７）、物体位置予測処理（Ｓ４０８）、認識候補抽出処理（Ｓ４０９）、認識処理（Ｓ４１０）を順に実施することで、認識対象の物体である電光式標識の種別や表示内容を認識する。以降では、各処理内容に関して説明する。

ステップＳ４００～Ｓ４０３では、露光量決定部４０１、画像取得部４０２、光源検出部４０３およびサイズ特定部４０４により、図３のステップＳ１０１～Ｓ１０４と同様の処理をそれぞれ実施する。

ステップＳ４０４では、３次元位置算出部４０７により、ステップＳ４０２で検出した光源領域の位置と、ステップＳ４０３で特定した認識対象の物体のサイズとに基づき、物体の３次元位置を算出する。ここでは、例えば以下で説明する図１５に示す処理フローに従って、物体の３次元位置を算出する。

図１５は、３次元位置算出処理のフローチャートである。３次元位置算出処理では、３次元位置算出部４０７により、奥行き距離算出処理（Ｓ４１１）、横方向距離算出処理（Ｓ４１２）、縦方向距離算出処理（Ｓ４１３）を順に実施することで、物体の３次元位置情報を取得する。

ステップＳ４１１の奥行き距離算出処理では、以下の式（１）を用いて奥行き距離Ｚを求める。
Z = f/w * R/O ・・・（１）

式（１）において、fは撮像装置２０の焦点距離、wは撮像装置２０が有する撮像素子の大きさ、Rは認識対象の物体の実寸サイズ、OはステップＳ４０３で特定した撮像画像上における物体の大きさをそれぞれ表している。なお、RとOは、同じ方向であれば幅方向、高さ方向のどちらの大きさを利用しても構わない。すなわち、認識対象の物体の実寸幅と撮像画像上の幅をR、Oとしてそれぞれ利用してもよいし、認識対象の物体の実寸高さと撮像画像上の高さをR、Oとしてそれぞれ利用してもよい。

次に、ステップＳ４１２の横方向距離算出処理では、以下の式（２）を用いて横方向距離Ｘを求める。
X = wx/f * Z * (cx - ox) ・・・（２）

式（２）において、wxは撮像装置２０が有する撮像素子の横幅、fは撮像装置２０の焦点距離、ZはステップＳ４１１の奥行き距離算出処理において式（１）で求められた物体の奥行き距離、cxはステップＳ４０２で検出した光源領域の撮像画像上における横方向位置、oxは撮像画像の横方向の中央位置をそれぞれ表している。

次に、ステップＳ４１３の縦方向距離算出処理では、以下の式（３）を用いて縦方向距離Ｙを求める。
Y = wy/f * Z * (cy - oy) ・・・（３）

式（３）において、wyは撮像装置２０が有する撮像素子の縦幅、fは撮像装置２０の焦点距離、ZはステップＳ４１１の奥行き距離算出処理において式（１）で求められた物体の奥行き距離、cyはステップＳ４０２で検出した光源領域の撮像画像上における縦方向位置、oyは撮像画像の縦方向の中央位置をそれぞれ表している。

ステップＳ４０４の３次元位置算出処理では、以上のような計算により、認識対象の物体の３次元位置を取得する。

ステップＳ４０５～Ｓ４０６では、露光量決定部４０１および画像取得部４０２により、図３のステップＳ１０５～Ｓ１０６と同様の処理をそれぞれ実施する。

ステップＳ４０７では、挙動情報取得部４０８により、移動体の挙動情報を取得する。ここでは、例えば移動体である車両の走行速度、舵角、ヨーレート等の情報を挙動情報として取得する。

ステップＳ４０８では、認識候補抽出部４０５により、ステップＳ４０４で算出した物体の３次元位置と、ステップＳ４０７で取得した挙動情報とに基づき、第二露光画像における物体の位置を予測する。ここでは、例えば以下で説明する図１６に示す処理フローに従って、物体の位置を予測する。

図１６は、物体位置予測処理のフローチャートである。物体位置予測処理では、認識候補抽出部４０５により、３次元位置更新処理（Ｓ４２１）、画像投影処理（Ｓ４２２）を順に実施することで、物体の位置を予測する。

ステップＳ４２１の３次元位置更新処理では、ステップＳ４０７で取得した挙動情報を用いて、ステップＳ４０４で算出した物体の３次元位置を、第二露光画像の撮像時点における３次元位置に更新する。すなわち、ステップＳ４０７で算出した物体の３次元位置は、第一露光画像の撮像時点における物体の位置であることから、撮像装置２０が第一露光画像を撮像してから第二露光画像を撮像するまでの期間における移動体の移動量に基づき、物体の３次元位置を更新する。具体的には、挙動情報に含まれる速度、舵角、ヨーレート等の情報を利用して、奥行き方向、横方向、縦方向のそれぞれに対して、移動体である車両の移動量を計算する。その後、ステップＳ４０７で計算した３次元位置から車両の移動量を差し引くことにより、第二露光画像の撮像時点における３次元位置に更新する。

ステップＳ４２２の画像投影処理では、ステップＳ４２１で更新した物体の３次元位置を第二露光画像上に投影することで、第二露光画像における物体の位置を予測する。

ステップＳ４０８の物体位置予測処理では、以上のような処理により、第二露光画像における物体の位置を予測する。

ステップＳ４０９では、認識候補抽出部４０５により、ステップＳ４０８で予測した物体の位置に基づき、第二露光画像から認識処理を実施するための認識候補を抽出する。ここでは、ステップＳ４２２で求めた第二露光画像上の物体の位置に対して、ステップＳ４０３で特定した物体のサイズ（高さ、幅）を適用することで、第二露光画像において認識候補として抽出する領域を決定する。このとき、ステップＳ４２１で計算した車両の移動量および物体の実寸サイズを考慮して、認識候補として抽出する領域の幅や高さを決定してもよい。

ステップＳ４１０では、認識処理部４０６により、ステップＳ４０９で抽出した認識候補に対して、図３のステップＳ１０７と同様の認識処理を実施する。

以上説明したように、本実施形態の物体認識装置１０Ｃでは、撮像装置２０が第一露光画像を撮像してから第二露光画像を撮像するまでの期間における移動体の移動量を考慮して、第二露光画像から認識候補として抽出する領域を決定するようにしている。これにより、物体認識装置１０Ｃが移動体に設置される場合においても、高精度に認識候補を抽出することが可能となり、認識性能を向上させることができる。

以上説明した本発明の第４の実施形態によれば、第１の実施形態で説明した（１）、（２）の各作用効果に加えて、さらに以下（６）の作用効果を奏する。

（６）物体認識装置１０Ｃは、物体の３次元位置を算出する３次元位置算出部４０７と、物体認識装置１０Ｃが搭載されている移動体の挙動に関する挙動情報を取得する挙動情報取得部４０８とをさらに備える。認識候補抽出部４０５は、光源領域の位置、物体のサイズ、物体の３次元位置および挙動情報に基づいて、認識候補を抽出する。このようにしたので、移動体の移動量を考慮して認識候補を決定できるため、物体の認識性能を向上させることができる。

［第５の実施形態］
次に、本発明の第５の実施形態について説明する。図１７は、本発明の第５の実施形態に係る物体認識装置の構成を示す機能ブロック図である。図１７に示すように、本実施形態の物体認識装置１０Ｄは、図１で説明した第１の実施形態に係る物体認識装置１０と同様に、撮像装置２０および車両制御装置３０と接続されている。本実施形態の物体認識装置１０Ｄは、露光量決定部５０１、画像取得部５０２、光源検出部５０３、サイズ特定部５０４、認識候補抽出部５０５、認識処理部５０６、環境情報取得部５０７、輝度情報格納部５０８、および認識候補補正部５０９を備える。物体認識装置１０Ｄは、例えばＣＰＵ等の演算装置やＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶装置を有するコンピュータを用いて構成されており、記憶装置に格納された制御プログラムを演算装置で実行することにより、上記の各機能ブロックとして動作する。なお、物体認識装置１０Ｄが有する機能の一部または全部を、ＦＰＧＡ等のハードウェアを用いて構成してもよい。

環境情報取得部５０７は、第３の実施形態で説明した図１０の環境情報取得部３０７と同様に、物体認識装置１０Ｄの周辺の環境情報を取得し、露光量決定部５０１に出力する。輝度情報格納部５０８には、第３の実施形態で説明した図１０の輝度情報格納部３０８と同様に、認識対象の物体の発光部分の明るさに関する輝度情報が格納されている。

露光量決定部５０１は、第３の実施形態で説明した図１０の露光量決定部３０１と同様に、環境情報取得部５０７が取得した環境情報に基づき、輝度情報格納部５０８に格納された輝度情報を参照して、第一露光量Ｆ５０１および第二露光量Ｃ５０１を決定する。

画像取得部５０２は、図１の画像取得部１０２と同様に、露光量決定部５０１が決定した第一露光量Ｆ５０１および第二露光量Ｃ５０１で撮像装置２０がそれぞれ撮像した２種類の画像を、第一露光画像および第二露光画像として取得する。

光源検出部５０３は、図１の光源検出部１０３と同様に、第一露光画像から光源領域を検出し、検出結果をサイズ特定部５０４および認識候補抽出部５０５に出力する。サイズ特定部５０４は、図１のサイズ特定部１０４と同様に、光源検出部５０３の出力が表す光源領域の中心位置、幅、高さの各情報から、物体認識装置１０Ｄが認識対象とする物体のサイズを特定し、認識候補抽出部５０５に出力する。

認識候補抽出部５０５は、図１の認識候補抽出部１０５と同様に、光源検出部５０３が検出した光源領域の位置と、サイズ特定部５０４が特定した物体のサイズとに基づき、第二露光画像から認識候補を抽出する。

認識候補補正部５０９は、認識候補抽出部５０５が抽出した認識候補の位置、サイズおよび形状の少なくともいずれかを第二露光画像上で補正し、補正後の認識候補を抽出して認識処理部５０６に出力する。認識候補補正部５０９は、例えば、認識候補抽出部５０５が第二露光画像内で認識候補として出力した領域を一度拡大し、拡大後の領域の輝度情報に基づいてその領域を縮小することにより、認識候補の位置、サイズ、形状を補正することができる。具体的には、例えば、輝度情報格納部５０８に格納された輝度情報に基づいて、第二露光画像における物体の発光部分の明るさを推定し、推定した発光部分の明るさと類似する輝度値を有する各画素、すなわち発光部分との輝度差が所定の閾値未満である各画素を、拡大後の認識候補の領域内から抽出する。そして、抽出した各画素の分布に基づき、例えば領域内の画素密度が所定値以上となるように、認識候補の領域を縮小する。こうして領域が縮小された認識候補の第二露光画像上での位置、サイズおよび形状を、補正後の認識候補の位置、サイズおよび形状とすることで、認識候補の補正を行うことができる。

あるいは、拡大後の領域の輝度情報を２値化して、認識候補の補正を行ってもよい。例えば、発光部分の明るさとの差が所定の閾値未満である画素の輝度値を２５５とし、閾値以上である画素の輝度値を０とすることで、輝度情報の２値化が可能である。このような輝度情報の２値化を行った上で、縦方向と横方向に関して投影ヒストグラムをそれぞれ計算し、各ヒストグラムのピーク検出を行うことにより、補正後の認識候補の位置、サイズおよび形状を決定することができる。さらに、統計的な機械学習として、物体の位置に対する回帰係数を推定可能なモデルを発光部分の明るさ毎に学習しておき、輝度情報から推定した第二露光画像における物体の発光部分の明るさに応じて利用するモデルを切り替えることで、補正後の認識候補の位置、サイズおよび形状を決定してもよい。これ以外にも任意の方法を用いて、第二露光画像上で認識候補を補正することが可能である。

認識処理部５０６は、認識候補補正部５０９が第二露光画像上で補正した認識候補に対して、図１の認識処理部１０６と同様の認識処理を実施することで、当該物体の種別や、当該物体における表示内容を認識する。

（動作例）
次に、以上説明した本実施形態の物体認識装置１０Ｄの動作例について説明する。以下では、第１の実施形態で説明した動作例と同様に、電光式標識を認識対象とする場合の動作例を説明する。

図１８は、本発明の第５の実施形態に係る物体認識装置１０Ｄの処理の流れを示すフローチャートである。本実施形態の物体認識装置１０Ｄは、車両に搭載されており、例えばＣＰＵ等の演算装置により、図１８のフローチャートに示す処理を所定の処理周期ごとに実施する。以下では、この図１８のフローチャートに従って、物体認識装置１０Ｄの具体的な動作例を説明する。

物体認識装置１０Ｄは、図１８のフローチャートに従い、環境情報取得処理（Ｓ５００）、第一露光量設定処理（Ｓ５０１）、画像取得処理（Ｓ５０２）、光源検出処理（Ｓ５０３）、サイズ特定処理（Ｓ５０４）、第二露光量設定処理（Ｓ５０５）、画像取得処理（Ｓ５０６）、認識候補抽出処理（Ｓ５０７）、認識候補拡大処理（Ｓ５０８）、発光部明るさ推定処理（Ｓ５０９）、認識候補再抽出処理（Ｓ５１０）、認識処理（Ｓ５１１）を順に実施することで、認識対象の物体である電光式標識の種別や表示内容を認識する。以降では、各処理内容に関して説明する。

ステップＳ５００では、環境情報取得部５０７により、図１１のステップＳ３００と同様に、物体認識装置１０Ｄの周辺の環境情報を取得する。

ステップＳ５０１では、露光量決定部５０１により、図１１のステップＳ３０１と同様に、ステップＳ５００で取得した環境情報に基づき、輝度情報格納部５０８に格納された輝度情報を参照して、第一露光量Ｆ５０１を設定する。

ステップＳ５０２～Ｓ５０４では、画像取得部５０２、光源検出部５０３およびサイズ特定部５０４により、図３のステップＳ１０２～Ｓ１０４と同様の処理をそれぞれ実施する。

ステップＳ５０５では、露光量決定部５０１により、図１１のステップＳ３０５と同様に、ステップＳ５００で取得した環境情報に基づき、輝度情報格納部５０８に格納された輝度情報を参照して、第二露光量Ｃ５０１を設定する。

ステップＳ５０６～Ｓ５０７では、画像取得部５０２および認識候補抽出部５０５により、図３のステップＳ１０６～Ｓ１０７と同様の処理をそれぞれ実施する。

ステップＳ５０８では、認識候補補正部５０９により、ステップＳ５０７で抽出した認識候補を第二露光画像上で拡大する。ここでは、例えば認識候補として抽出した第二露光画像の領域に対して、所定の倍率を幅方向と高さ方向にそれぞれかけることにより、認識候補を拡大する。なお、幅方向と高さ方向に対してそれぞれかける倍率は、同じ値であってもよいし、異なる値としてもよい。

ステップＳ５０９では、認識候補補正部５０９により、輝度情報格納部５０８に格納された輝度情報を参照して、第二露光画像における物体の発光部分の明るさを推定する。ここでは、ステップＳ５０５で設定した第二露光量Ｃ５０１に基づき、輝度情報が表す発光部分の明るさに対応する第二露光画像の輝度値を算出することで、第二露光画像における発光部分の明るさを推定することができる。

ステップＳ５１０では、認識候補補正部５０９により、ステップＳ５０９で推定した第二露光画像における発光部分の明るさに基づいて、ステップＳ５０８で拡大された認識候補を縮小することで、認識候補を再設定する。そして、再設定された認識候補を、補正後の認識候補として再抽出する。ここでは、例えば以下で説明する図１９に示す処理フローに従って、認識候補を再抽出する。

図１９は、認識候補再抽出処理のフローチャートである。認識候補再抽出処理では、認識候補補正部５０９により、画像２値化処理（Ｓ５２０）、投影ヒストグラム計算（Ｓ５２１）、幅推定処理（Ｓ５２２）、高さ推定処理（Ｓ５２３）を順に実施することで、認識候補を再抽出する。

なお、以下の説明では、図２０に示す第二露光画像Ｔ５０１がステップＳ５０６で取得されており、この第二露光画像Ｔ５０１に対して、画像領域Ｔ５０２がステップＳ５０７で認識候補として抽出されるとともに、画像領域Ｔ５０３がステップＳ５０８で拡大後の認識候補として得られたものとする。

ステップＳ５２０の画像２値化処理では、ステップＳ５０９で推定した発光部分の明るさに基づき、図２０の画像領域Ｔ５０３内の各画素の輝度値を２値化する。具体的には、例えば前述のように、発光部分の明るさとの差が所定の閾値未満である画素の輝度値を２５５に設定し、閾値以上である画素の輝度値を０に設定する。

図２１は、２値化処理後の認識候補および投影ヒストグラムの例を示す図である。図２１において、２値化画像Ｔ５１１は、図２０に示した拡大後の認識候補である画像領域Ｔ５０３の各画素を２値化処理した結果を示している。この２値化画像Ｔ５１１では、２値化処理によって輝度値が２５５に設定された各画素を白色で示すとともに、輝度値が０に設定された各画素を黒色で示している。白色で示した各画素は、認識対象の物体である電光式標識の発光部分に対応しており、黒色で示した各画素はそれ以外の部分に対応している。

ステップＳ５２１の投影ヒストグラム計算では、ステップＳ５２０の画像２値化処理によって得られた２値化画像Ｔ５１１の列方向および行方向に対する投影ヒストグラムを計算する。ここでは、２値化画像Ｔ５１１において輝度値が２５５である画素の個数を列方向と行方向でそれぞれ加算することにより、投影ヒストグラムを計算する。

図２１において、ヒストグラムＴ５１２は、２値化画像Ｔ５１１の列方向に対して計算された投影ヒストグラムの例であり、ヒストグラムＴ５１３は、２値化画像Ｔ５１１の行方向に対して計算された投影ヒストグラムの例である。これらのヒストグラムＴ５１２、Ｔ５１３で示されるように、２値化画像Ｔ５１１に対して投影ヒストグラム計算を行うことで、横方向と縦方向のそれぞれに対して、発光部分に対応する位置にピークを持つヒストグラムを得ることができる。

ステップＳ５２２の幅推定処理では、ステップＳ５２１の投影ヒストグラム計算によって得られたヒストグラムに基づいて、補正後の認識候補の幅を推定する。ここでは、２値化画像Ｔ５１１の列方向に対して計算されたヒストグラムＴ５１２、すなわち横方向のピーク位置を示すヒストグラムＴ５１２を利用して、補正後の認識候補の幅を推定する。具体的には、例えば図２１に示すように、ヒストグラムＴ５１２において閾値Ｔ５１４以上の値を持つピーク部分の両端に位置する立上り点および立下り点を、最小点Ｐ１および最大点Ｐ２としてそれぞれ取得する。そして、取得した点Ｐ１、Ｐ２間の列数を、補正後の認識候補の幅として推定する。

ステップＳ５２３の高さ推定処理では、ステップＳ５２１の投影ヒストグラム計算によって得られたヒストグラムに基づいて、補正後の認識候補の高さを推定する。ここでは、２値化画像Ｔ５１１の行方向に対して計算されたヒストグラムＴ５１３、すなわち縦方向のピーク位置を示すヒストグラムＴ５１３を利用して、補正後の認識候補の高さを推定する。具体的には、例えば図２１に示すように、ヒストグラムＴ５１３において閾値Ｔ５１５以上の値を持つピーク部分の両端に位置する立上り点および立下り点を、最小点Ｐ３および最大点Ｐ４としてそれぞれ取得する。そして、取得した点Ｐ３、Ｐ４間の行数を、補正後の認識候補の高さとして推定する。

ステップＳ５１０の認識候補再抽出処理では、以上のような処理により、補正後の認識候補の幅および高さを推定する。そして、推定された幅と高さで第二露光画像上に認識候補を再設定することにより、認識候補を再抽出する。

ステップＳ５１１では、認識処理部５０６により、ステップＳ５１０で再抽出した認識候補に対して、図３のステップＳ１０７と同様の認識処理を実施する。

以上説明したように、本実施形態の物体認識装置１０Ｄでは、第二露光画像に対して発光部分の明るさを考慮した画像処理を実施することで、第二露光画像から一旦抽出した認識候補を補正するようにしている。これにより、認識候補抽出部５０５において第二露光画像から適切な認識候補を抽出するのが困難な場合でも、高い認識精度を維持することができる。

以上説明した本発明の第５の実施形態によれば、第１の実施形態で説明した（１）、（２）の各作用効果に加えて、さらに以下（７）、（８）の作用効果を奏する。

（７）物体認識装置１０Ｄは、認識候補抽出部５０５が抽出した認識候補の位置、サイズおよび形状の少なくともいずれかを補正する認識候補補正部５０９をさらに備える。認識処理部５０６は、認識候補補正部５０９により補正された認識候補に対して認識処理を実施する。このようにしたので、第二露光画像から一旦抽出した認識候補を補正できるため、物体の認識精度を高精度に維持することができる。

（８）認識候補補正部５０９は、認識候補抽出部５０５が抽出した認識候補を拡大し、拡大した認識候補の輝度値の情報に基づき認識候補を縮小することで、認識候補を補正する。具体的には、認識候補補正部５０９は、第二露光画像における物体の発光部分の明るさを推定し、拡大した認識候補内で発光部分の明るさと類似する輝度値を有する画素の分布に基づいて、認識候補を縮小する。このようにしたので、第二露光画像における物体の発光部分の明るさを考慮して、認識候補の補正を適切に実施することができる。

なお、以上説明した第１～第５の各実施形態では、電光式標識を認識対象の物体とした例を記載したが、他の物体を認識対象としてもよい。例えば、ブレーキランプ等の発光部分を有する先行車両、ヘッドライト等の発光部分を有する後続車両、信号機、行先を示す看板、各種電光掲示板など、高輝度の発光部分を有する物体を認識対象とするものであれば、本発明を適用可能である。

以上説明した実施形態や各種の変化例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されない。本発明は、上述した実施形態や変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。本発明の構成や詳細には、本発明のスコープ内で当事者が理解し得る様々な変更を加えることができる。

１０，１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ物体認識装置
２０撮像装置
３０車両制御装置
１０１，２０１，３０１，４０１，５０１露光量決定部
１０２，２０２，３０２，４０２，５０２画像取得部
１０３，２０３，３０３，４０３，５０３光源検出部
１０４，２０４，３０４，４０４，５０４サイズ特定部
１０５，２０５，３０５，４０５，５０５認識候補抽出部
１０６，２０６，３０６，４０６，５０６認識処理部
２０７サイズ情報格納部
３０７，５０７環境情報取得部
３０８，５０８輝度情報格納部
４０７３次元位置算出部
４０８挙動情報取得部
５０９認識候補補正部

Claims

第一の露光量と、前記第一の露光量よりも少ない第二の露光量とを決定可能な露光量決定部と、
前記第一の露光量で撮像された第一の露光画像と、前記第二の露光量で撮像された第二の露光画像とを取得する画像取得部と、
前記第一の露光画像から、発光部分を含む認識対象の物体における前記発光部分に対応する光源領域を検出する光源検出部と、
前記光源検出部が検出した前記光源領域に基づいて前記物体のサイズを特定するサイズ特定部と、
前記光源検出部が検出した前記光源領域の位置および前記サイズ特定部が特定した前記物体のサイズに基づいて、前記第二の露光画像から前記物体が存在する領域の候補である認識候補を抽出する認識候補抽出部と、
前記認識候補抽出部が抽出した前記認識候補に対して前記物体に関する認識処理を実施する認識処理部と、を備える物体認識装置。
請求項１に記載の物体認識装置において、
前記露光量決定部は、撮像時に前記物体の前記発光部分の少なくとも一部が画素飽和する露光量に基づいて、前記第一の露光量および前記第二の露光量を決定する物体認識装置。
請求項１または２に記載の物体認識装置において、
前記物体認識装置の周辺の環境情報を取得する環境情報取得部と、
前記物体の前記発光部分の輝度情報が環境毎に格納された輝度情報格納部と、をさらに備え、
前記露光量決定部は、前記環境情報取得部が取得した前記環境情報に基づいて前記輝度情報格納部に格納された前記輝度情報を参照し、前記第一の露光量および前記第二の露光量を決定する物体認識装置。
請求項３に記載の物体認識装置において、
前記環境情報取得部は、前記物体認識装置が動作している場所および時間帯の少なくともいずれかを含む情報を前記環境情報として取得する物体認識装置。
請求項１または２に記載の物体認識装置において、
前記物体の３次元位置を算出する３次元位置算出部と、
前記物体認識装置が搭載されている移動体の挙動に関する挙動情報を取得する挙動情報取得部と、をさらに備え、
前記認識候補抽出部は、前記光源領域の位置、前記物体のサイズ、前記物体の３次元位置および前記挙動情報に基づいて、前記認識候補を抽出する物体認識装置。
請求項１または２に記載の物体認識装置において、
前記認識候補抽出部が抽出した前記認識候補の位置、サイズおよび形状の少なくともいずれかを補正する認識候補補正部をさらに備え、
前記認識処理部は、前記認識候補補正部により補正された前記認識候補に対して前記認識処理を実施する物体認識装置。
請求項６に記載の物体認識装置において、
前記認識候補補正部は、前記認識候補抽出部が抽出した前記認識候補を拡大し、拡大した前記認識候補の輝度値の情報に基づき前記認識候補を縮小することで、前記認識候補を補正する物体認識装置。
請求項７に記載の物体認識装置において、
前記認識候補補正部は、前記第二の露光画像における前記物体の前記発光部分の明るさを推定し、拡大した前記認識候補内で前記発光部分の明るさと類似する輝度値を有する画素の分布に基づいて、前記認識候補を縮小する物体認識装置。
請求項１または２に記載の物体認識装置において、
前記物体の前記発光部分と前記物体の大きさとの関係性を表すサイズ情報が前記物体の種類毎に格納されたサイズ情報格納部をさらに備え、
前記サイズ特定部は、前記光源検出部が検出した前記光源領域のサイズに基づいて前記サイズ情報格納部に格納された前記サイズ情報を参照し、前記物体のサイズを特定する物体認識装置。