JP6688090B2 - 物体認識装置および物体認識方法 - Google Patents

Description

本発明は、物体認識装置および物体認識方法に関する。

従来、車両に設けられたカメラによって撮像された画像から物体を認識する物体認識装置がある。この種の装置として、複数種類の認識対象物の画像パターンを予め記憶しておき、画像全体からかかる画像パターンと類似する領域を探索することで認識対象物の種類を認識する装置がある（例えば、特許文献１参照）。

特開２０１２−２７６２３号公報

しかしながら、画像全体に対して認識対象物の種類毎に認識処理を実行する場合、処理量が嵩むことがある。

本発明は、上記に鑑みてなされたものであって、認識対象物の種類を効率的に認識することができる物体認識装置および物体認識方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る物体認識装置は、領域抽出部と、認識部とを備える。領域抽出部は、車両に設けられた撮像装置によって撮像された画像から認識対象物の形状が存在する対象領域を抽出する。認識部は、画像の領域全体のうち、領域抽出部によって抽出された対象領域に対して選択的に認識対象物の認識処理を実行する。

本発明によれば、認識対象物を効率的に認識することができる。

図１は、一般的な装置による物体認識方法を示す説明図である。 図２は、実施形態に係る物体認識方法を示す説明図である。 図３は、実施形態に係る物体認識装置の構成を示すブロック図である。 図４は、領域抽出部による対象領域の抽出処理を示す説明図である。 図５は、辞書情報を示す説明図である。 図６は、認識順序の優先順位を含む優先順位情報を示す説明図である。 図７は、交差点における車両および進入禁止の位置関係を示す説明図である。 図８は、実施形態に係る物体認識装置が実行する認識処理の処理手順を示すフローチャートである。 図９は、物体認識装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。 図１０は、変形例に係る辞書情報を示す説明図である。

以下、添付図面を参照して、本願の開示する物体認識装置および物体認識方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

実施形態に係る物体認識方法は、車両に設けられた撮像装置によって車両の前方を撮像した画像から認識対象物の形状を認識し、かかる形状が存在する領域に対して選択的に認識対象物の種類を認識するものである。

なお、認識対象物の認識は、車両前方を撮像した画像に限定されるものではなく、車両の後方や側方を撮像した画像から認識してもよい。また、撮像装置は、例えば、ドライブレコーダが備えるカメラ、スマートフォン等のモバイル機器に搭載されたカメラモジュール、デジタルカメラ等である。

また、認識対象物は、所定形状の静止物体であり、上述の道路標識の他には、例えば、飲食店等の看板等を含む。また、物体認識装置が搭載される車両は、例えば、自家乗用車やタクシー等の自動車、バイク、バス、トラック等である。

以下では、まず、図１を参照して、撮像装置によって撮像された画像から一般的な手法で物体を認識する装置（以下、一般的な装置と記載）による物体認識方法について説明した後、図２を参照して、実施形態に係る物体認識方法について説明する。図１は、一般的な装置による物体認識方法を示す説明図である。図２は、実施形態に係る物体認識方法を示す説明図である。

なお、図１では、一般的な装置が、図１に（ａ）で示す、カメラによって撮像された車両前方の画像Ｐに含まれる４０ｋｍ速度制限Ｍを認識する場合について説明する。また、一般的な装置は、図１に（ｂ）〜（ｄ）で示す、進入禁止１００、３０ｋｍ速度制限１０１、４０ｋｍ速度制限１０２の画像パターンを記憶しているものとする。

図１に（ａ）で示すように、一般的な装置は、まず、車両に設けられたカメラから車両前方を撮像した画像Ｐを取得する。続いて、例えば、パターンマッチングによって、画像Ｐ内から記憶した画像パターンと同じ道路標識が存在するかを探索する。

具体的には、図１に（ｂ）で示すように、進入禁止１００の画像パターンを使用して、画像全体（ハッチングされた領域）から、進入禁止の道路標識を探索する。そして、進入禁止１００の画像パターンが発見されない場合、画像Ｐ内に進入禁止の道路標識は存在しないと判定する。

続いて、図１に（ｃ）で示すように、３０ｋｍ速度制限１０１の画像パターンを使用して、同様に画像全体から、３０ｋｍ速度制限の道路標識を探索する。そして、３０ｋｍ速度制限１０１の画像パターンが発見されない場合、画像Ｐに３０ｋｍ速度制限の道路標識は存在しないと判定する。

続いて、図１に（ｄ）で示すように、４０ｋｍ速度制限１０２の画像パターンを使用して、同様に画像全体から、４０ｋｍ速度制限Ｍの道路標識が存在するかを探索する。そして、４０ｋｍ速度制限１０２の画像パターンを発見した場合、画像Ｐに４０ｋｍ速度制限Ｍの道路標識が存在すると判定する。

このように、一般的な装置による物体認識方法では、４０ｋｍ速度制限Ｍの道路標識を認識するまで、繰り返し画像全体を探索範囲としなければならず、処理量（ハッチングされた領域）が嵩むことがあった。

そこで、図２に示すように、実施形態に係る物体認識方法では、まず、カメラから取得した画像Ｐから４０ｋｍ速度制限Ｍの外形である円形２４が存在する領域を抽出することとする。そして、抽出した領域に対してのみ道路標識の種類を認識する認識処理を実行する。

なお、物体認識方法を実行する物体認識装置は、図２に（ａ）〜（ｄ）で示すように、円形２４、進入禁止１００ａ、３０ｋｍ速度制限１０１ａおよび４０ｋｍ速度制限１０２ａを記憶しているものとする。

また、円形２４とは、進入禁止１００、３０ｋｍ速度制限１０１および４０ｋｍ速度制限１０２（図１の（ｂ）〜（ｄ）参照）に共通する外形である。また、進入禁止１００ａ、３０ｋｍ速度制限１０１ａおよび４０ｋｍ速度制限１０２ａは、進入禁止１００、３０ｋｍ速度制限１０１および４０ｋｍ速度制限１０２から外形である円形２４の周辺部分を除いた画像パターンである。

以下から、実施形態に係る物体認識方法について具体的に説明する。図２に（ａ）で示すように、物体認識装置は、カメラから画像Ｐを取得すると、まず、円形２４の画像パターンを使用して、画像Ｐ全体（ハッチングされた領域）から円形を探索する。

そして、図２に（ｂ）で示すように、物体認識装置は、円形２４の画像パターンを発見した場合、円形が存在する領域を対象領域３１として抽出する。対象領域３１とは、道路標識の種類を探索する対象となる範囲のことである。

続いて、図２に（ｂ）で示すように、進入禁止１００ａの画像パターンを使用して、抽出された対象領域３１のみから、進入禁止の道路標識を探索する。そして、進入禁止１００ａの画像パターンが発見されない場合、画像Ｐに進入禁止の道路標識が存在しないと判定する。

続いて、図２に（ｃ）で示すように、３０ｋｍ速度制限１０１ａの画像パターンを使用して、同様に対象領域３１のみから、３０ｋｍ速度制限の道路標識を探索する。そして、３０ｋｍ速度制限１０１ａの画像パターンが発見されない場合、画像Ｐに３０ｋｍ速度制限の道路標識が存在しないと判定する。

そして、図２に（ｄ）で示すように、４０ｋｍ速度制限１０２ａの画像パターンを使用して、同様に対象領域３１のみから、４０ｋｍ速度制限Ｍの道路標識を探索する。そして、４０ｋｍ速度制限１０２ａの画像パターンを発見した場合、画像Ｐに４０ｋｍ速度制限Ｍの道路標識が存在すると判定する。

つまり、物体認識装置は、画像全体から円形２４が存在する対象領域３１を抽出することによって、対象領域３１を集中的に探索することができるため、道路標識の種類を効率的に認識することができる。

なお、道路標識の形状および種類の認識は、画像パターンを用いたパターンマッチングに限定されるものではなく、例えば、道路標識の画像を機械学習することで作成される辞書情報を用いて道路標識の形状および種類を認識してもよい。以下では、かかる機械学習を用いた物体認識装置について説明することとする。

次に、図３を参照して、実施形態に係る物体認識装置について説明する。図３は、実施形態に係る物体認識装置１の構成を示すブロック図である。図３に示すように、物体認識装置１は、カメラ２と、走行状態検出装置３と、車載装置４とに接続される。

カメラ２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備える撮像装置であり、自車の前方を撮像する位置に設置される。そして、カメラ２によって撮像された画像は、物体認識装置１へ出力される。

走行状態検出装置３は、例えば、車速センサや、ナビゲーション装置であり、車両の走行状態を検出する。車速センサは、車両の車速パルス信号を計測することで車両の走行速度を検出し、かかる走行速度を示す車速情報として物体認識装置１へ出力する。

また、ナビゲーション装置は、電子地図データである地図情報およびＧＰＳ（Global Positioning System）衛星から受信した車両の位置情報を物体認識装置１へ出力する。

車載装置４は、例えば、カメラ２によって撮像された画像を表示する車載のディスプレイであり、カメラ２の画像に物体認識装置１が認識した道路標識を囲む枠画像を重畳させて強調表示することができる。なお、車載装置４は、ディスプレイに限定されず、例えば、ドライブレコーダであってもよい。

車載装置４がドライブレコーダの場合、ドライブレコーダが備えるカメラによって撮像された画像を記録する際に、物体認識装置１が認識した道路標識の位置や種類を関連付けて記録する。

実施形態に係る物体認識装置１は、制御部１０と、記憶部２０とを備える。まず、記憶部２０について説明する。記憶部２０は、不揮発性メモリやハードディスクドライブといった記憶デバイスで構成される記憶部であり、優先順位情報２１、辞書情報２２を記憶する。

優先順位情報２１は、道路標識の種類の認識順序の優先順位に関する情報であり、後述する順序設定部１４によって、優先順位情報２１の中から車両の走行状態に応じて認識順序の優先順位が決定される。

辞書情報２２は、画像Ｐに写る物体が道路標識か否かを判定する基準となる情報であり、道路標識の形状を判定する基準となる形状情報２２ａ、道路標識の種類を判定する基準となる種類情報２２ｂを含む情報である。

また、形状情報２２ａおよび種類情報２２ｂは、機械学習によって予め作成されて記憶部２０に記憶される。ここで、形状情報２２ａおよび種類情報２２ｂの作成手順について、簡単に説明する。

まず、形状情報２２ａを作成する場合、所定形状（例えば、円形）の道路標識の画像と所定形状以外の物体の画像とを学習データとしてそれぞれ所定数（例えば、数１００〜数１０００枚の画像）準備する。準備する画像のサイズは、例えば、３６ピクセル×３６ピクセルのサイズに統一する。

続いて、準備した各画像から、例えば、ＨＯＧ（Histgram of Oriented Gradient）特徴量を抽出する。そして、上述の準備した画像を、抽出したＨＯＧ特徴量に基づいて、２次元平面上にプロットする。

続いて、例えば、ＳＶＭ（Support Vector Machine）等の識別器によって、２次元平面上における所定形状の道路標識の画像と所定形状以外の物体の画像とを分離する分離線を生成する。

そして、かかる２次元平面の座標軸および識別器によって生成された分離線の情報が、画像Ｐに含まれる画像が所定形状の道路標識か否かの判定基準として使用される形状情報２２ａとなる。なお、準備した画像から抽出する特徴量は、ＨＯＧ特徴量に限定されず、例えば、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量であってもよい。また、用いる識別器は、ＳＶＭに限定されず、例えば、アダブースト（AdaBoost）等の識別器であってもよい。

また、種類情報２２ｂを作成する場合、所定種類の道路標識の画像（例えば、４０ｋｍ速度制限）と、かかる種類の道路標識以外の画像とを学習データとしてそれぞれ所定数（例えば、数１００〜数１０００枚の画像）準備する。

なお、準備した画像から抽出する特徴量および２次元平面を分離する線を生成する識別器は、上述の形状情報２２ａを生成する場合と同様である。そして、識別器によって、速度制限４０ｋｍの種類の道路標識の画像とそれ以外の画像とを２次元平面上において分離する分離線が生成される。

そして、かかる２次元平面の座標軸および識別器によって生成された分離線の情報が、画像Ｐに含まれる画像が所定種類の道路標識か否かの判定基準として使用される種類情報２２ｂとなる。なお、種類情報２２ｂに含まれる座標軸は、道路標識の種類によらず同一であり、分離線は、道路標識の種類に応じて異なる。

これにより、後述する領域抽出部１３および認識部１５は、辞書情報２２である形状情報２２ａおよび種類情報２２ｂを使用することによって、画像Ｐ内の３６ピクセル×３６ピクセル内の画像の道路標識の形状およびその種類を認識することができる。

制御部１０は、拡縮画像生成部１１と、特徴抽出部１２と、領域抽出部１３と、順序設定部１４と、認識部１５と、出力部１６とを備える。

制御部１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）を備えるマイクロコンピュータである。かかるＣＰＵは、たとえば、ＲＯＭに予め記憶されたプログラムに従い、演算処理を行うことで、上述した拡縮画像生成部１１、特徴抽出部１２、領域抽出部１３、順序設定部１４、認識部１５および出力部１６として機能する。

拡縮画像生成部１１は、カメラ２から入力される画像Ｐについて、それぞれ拡縮率が異なる複数の拡大画像および縮小画像（例えば、２５枚の拡縮画像）を生成して、特徴抽出部１２へ出力する。

特徴抽出部１２は、生成した拡縮画像から、例えば、ＨＯＧ特徴量を抽出する。なお、特徴抽出部１２によって抽出される特徴量は、形状情報２２ａの生成時に用いた特徴量（例えば、ＨＯＧ特徴量）と統一する。そして、特徴抽出部１２は、抽出した各拡縮画像の特徴量の情報を領域抽出部１３へ出力する。

なお、特徴抽出部１２による特徴量の抽出は、ＨＯＧ特徴量に限定されず、例えば、ハフ（Hough）変換を用いてもよい。ハフ変換を用いる場合、後述する領域抽出部１３は、パターンマッチングによって道路標識の形状を認識する。

領域抽出部１３は、特徴抽出部１２によって抽出された特徴量の情報と、形状情報２２ａとに基づいて、認識する形状が存在する対象領域３１を抽出する。ここで、図４を参照して、領域抽出部１３による対象領域３１の抽出処理について具体的に説明する。図４は、領域抽出部１３による対象領域３１の抽出処理を示す説明図である。

図４に（ａ）で示すように、領域抽出部１３は、まず、所定拡縮率の拡縮画像Ｒの領域全体に対して４０ｋｍ速度制限Ｍを探索するための複数の探索領域Ａｎ（ｎ＝１０〜Ｎ。以下、複数の探索領域Ａｎをまとめて探索領域Ａとも記載する）を設定する。

設定される探索領域Ａのサイズは、例えば、３６ピクセル×３６ピクセルであり、形状情報２２ａを生成するために準備した画像のサイズと統一する。

そして、図４に（ｂ）で示すように、領域抽出部１３は、各探索領域Ａから抽出される特徴量に基づいて、探索領域Ａを形状情報２２ａに含まれる座標軸で形成される２次元平面上にプロットする。つまり、探索領域Ａのサイズと形状情報２２ａを生成するために準備した画像のサイズとを揃えることで、かかる２次元平面上へのプロットが可能となる。なお、図４に（ｂ）で示すグラフは、抽出する特徴量を表す縦軸および横軸で構成されるものとする。

そして、領域抽出部１３は、プロットされた探索領域Ａが、形状情報２２ａの分離線Ｓによって分離された領域のうち、円形を示す領域４０およびそれ以外の形状を示す領域４１のいずれに位置するかを判定する。

そして、図４に（ｃ）で示すように、領域抽出部１３は、円形を示す領域４０に位置する探索領域Ａ２１（図４の（ｂ）参照）を円形２４が存在する対象領域３１として抽出する。

ここで、形状情報２２ａは、上述したように、３６ピクセル×３６ピクセル内の画像が円形であるか否かを判別するために使用される情報である。そして、画像Ｐにおける円形の道路標識は、自車両からの距離によってサイズが異なるため、サイズが３６ピクセル×３６ピクセルとは限らない。

このため、領域抽出部１３は、画像Ｐから円形が存在する対象領域３１を抽出することができない場合もあるが、拡縮画像生成部１１から入力される拡縮率が異なる複数の拡縮画像を探索することによって、対象領域３１を抽出することができる。

なお、図４の（ａ）で示す探索領域Ａの位置や数は、理解を容易にするために一部を示しているに過ぎず、実際には、探索領域Ａの一部の領域を重複させることで拡縮画像Ｒ内を隈無く探索できるように設定されている。

そして、領域抽出部１３は、抽出した対象領域３１が存在する拡縮画像Ｒの拡縮率および拡縮画像Ｒ内での対象領域３１の位置に関する情報を認識部１５へ出力する。位置に関する情報とは、例えば、ＸＹ直交座標系に変換した拡縮画像Ｒにおける対象領域３１が存在する位置のＸＹ座標値である。

順序設定部１４は、車両の走行状態に基づいて道路標識の種類の認識順序の優先順位を設定する。具体的には、まず、順序設定部１４は、カメラ２によって撮像された画像Ｐと、走行状態検出装置３から走行状態を示す走行状態情報とを取得する。

また、順序設定部１４は、たとえば、走行状態情報である車速情報に基づいて、車両の走行速度を取得する。また、走行状態情報である地図情報および位置情報に基づいて、車両の走行している道路の種別を示す道路情報を取得する。

また、順序設定部１４は、カメラ２から取得した画像Ｐに基づいて、車両が走行している道路の車線を区画する区画線を検出することで、車両が走行している車線や、かかる車線を逸脱したか否か等の情報を取得する。

そして、順序設定部１４は、取得した各種情報に基づいて、優先順位情報２１の中から車両の走行状態に応じた道路標識の種類の認識順序の優先順位を選択する。そして、順序設定部１４は、選択した認識順序の優先順位を示す情報を認識部１５へ出力する。なお、優先順位情報２１の具体例については、図６を参照して後述する。

認識部１５は、画像Ｐの領域全体のうち、領域抽出部１３によって抽出された対象領域３１に対して選択的に認識対象物である道路標識の種類の認識処理を実行する。具体的には、認識部１５は、まず、領域抽出部１３から対象領域３１が存在する拡縮画像Ｒの拡縮率および拡縮画像Ｒ内での対象領域３１の位置に関する情報に基づいて、対象領域３１のサイズおよび位置を特定する。

続いて、認識部１５は、特定した対象領域３１に対してのみ、辞書情報２２に含まれる種類情報２２ｂに基づいて、道路標識の種類を認識する認識処理を実行する。ここで、図５を参照して、かかる種類情報２２ｂおよび形状情報２２ａを含む辞書情報２２について具体的に説明する。

図５は、辞書情報２２を示す説明図である。図５に示すように、辞書情報２２は、例えば、「形状」、「標識」、「名称」といった項目を含む。なお、図５に示す、辞書情報２２は一例であり、これに限定されるものではない。

また、図５には、説明を容易にするため、道路標識の形状や標識の種類をシンボル画像として示しているが、実際には、図５に示した「形状」や「標識」を判定するための座標軸および分離線を示す情報が格納されている。

図５に示す「形状」は、形状情報２２ａであり、道路標識の形状を判定するための座標軸および分離線の情報である。「標識」は、種類情報２２ｂであり、「形状」に対応する形状の道路標識の種類を認識するための座標軸および分離線の情報である。「名称」は、対応する「標識」の道路標識の名称を示す。

つまり、認識部１５は、特定した対象領域３１の特徴量を抽出し、かかる特徴量に基づいて、種類情報２２ｂに含まれる座標軸によって形成される２次元平面上に、対象領域３１をプロットする。

そして、認識部１５は、２次元平面上に種類情報２２ｂに含まれる各道路標識の種類の分離線を引くことで、対象領域３１のプロット位置が、特定の道路標識の種類を示す領域およびそれ以外の物体を示す領域のいずれに位置するかを判定することで、道路標識の種類を認識する。

このように、道路標識に共通する外形が存在する対象領域３１に絞ることで、各道路標識の種類を認識する処理量を抑えることができるため、道路標識の種類を効率的に認識することができる。

また、認識部１５は、拡縮率が異なる対象領域３１の拡縮画像を生成してもよい。そして、拡縮画像毎に特徴量を抽出し、道路標識の種類を認識する。この時に生成する拡縮画像の数は、上述の拡縮画像生成部１１が生成する数より少ない数（例えば、３枚の拡縮画像）でよい。

これは、例えば、対象領域３１の位置が何らかの原因でズレた場合に、道路標識の種類が認識されないことがあるためである。このため、対象領域３１の拡縮画像を生成しておくことで、道路標識の種類の認識精度を向上することができる。

また、認識部１５は、順序設定部１４から入力される認識順序の優先順位を示す情報に基づいて、道路標識の種類の認識順序の優先順位を変更する。ここで、認識部１５による認識順序の優先順位について、図６を参照して具体的に説明する。

図６は、認識順序の優先順位を含む優先順位情報２１を示す説明図である。なお、図６は、一例であり、これに限定されるものではない。なお、認識部１５は、図６に示す優先順位情報２１のうち、順序設定部１４によって選択された認識順序の優先順位に従う。

図６に示すように、優先順位情報２１は、「道路」、「自車速」、「認識順序」といった項目を含む。「道路」は、車両が走行している道路の種別である。「自車速」は、車両の走行速度である。「認識順序」は、認識部１５による道路標識の認識順序を示す。

つまり、認識部１５は、自車両が走行している道路の種別や自車両の走行速度などの走行状態情報に基づいて道路標識の種類の認識順序の優先順位を変更する。具体的には、図６に示すように、認識部１５は、順序設定部１４が、自車両の走行している道路が高速道路であることを示す道路情報を取得すると、６０ｋｍ以上の速度制限の優先順位を上げた認識順序で道路標識の種類を認識する。

また、自車両が走行している道路が一般道であることを示す道路情報を取得した場合は、６０ｋｍ以下の速度制限の優先順位を上げる。つまり、走行する道路の種別に応じて存在する可能性が高い種類の道路標識に絞ることで処理量を低減することができる。

また、認識部１５は、順序設定部１４が、自車両が高速道路を時速８０ｋｍで走行していることを示す車速情報を取得すると、８０ｋｍ速度制限をまず始めに認識する。そして認識部１５は、８０ｋｍ速度制限に近い、７０ｋｍ速度制限、６０ｋｍ速度制限、進入禁止の順に認識していく。

これは、運転者の特性上、速度制限に近い速度で走行する場合が多いためである。例えば、普段から速度制限より１０ｋｍ程度遅く運転するような運転者であれば、このような特性を考慮して、走行速度より１０ｋｍ速い速度制限を優先して認識するようにしてもよい。

このように、車両の走行速度を利用することで、存在する可能性の高い速度制限の種類から始められるため、より効率的に認識処理を実行することができる。

したがって、認識部１５は、車両の走行状態に基づいて、認識順序の優先順位を変更することで、道路標識の種類を認識する認識処理の回数を抑えられるため、より効率的に道路標識を認識することができる。

また、認識部１５は、例えば、カメラ２から所定間隔で連続して入力される画像（以下、フレーム画像と記載）において、１フレーム前の時刻のフレーム画像の認識結果である速度制限の種類を優先して認識してもよい。

この場合、認識部１５は、かかる認識結果を記憶部２０に記憶し、次の時刻のフレーム画像において、順序設定部１４が記憶した認識結果を取得することで、優先順位を変更する。

また、図６に示すように、認識部１５は、順序設定部１４が、自車両が交差点や分岐点へ接近していることを示す道路情報を取得した場合、進入禁止の道路標識を優先して認識するようにする。

なお、交差点や分岐点において進入禁止が設けられる位置に応じて進入禁止の優先順位を変更するようにしてもよい。かかる場合について図７を参照して、具体的に説明する。

図７は、交差点における車両および進入禁止の位置関係を示す図である。なお、図７には、実施形態に係る物体認識装置１を搭載した車両Ｃが、進入禁止Ｍ１、Ｍ２が存在する交差点へ接近する場面を一例として示す。

また、図７には、車両Ｃが走行する車線５０および対向車線５１を示し、車両Ｃから見て、車線５０側の交差点手前に左折を禁止する進入禁止Ｍ１を、対向車線５１側の交差点奥に右折を禁止する進入禁止Ｍ２を示している。

かかる場合において、車両Ｃの運転者が、進入禁止Ｍ１を見落として誤って左折してしまう可能性は高いため、認識部１５は、領域抽出部１３によって車線５０側から円形が存在する対象領域３１が抽出された場合、進入禁止の優先順位を上げる。

一方で、車両Ｃの運転者が、進入禁止Ｍ２を見落としたとしても、わざわざ対向車線５１を横断して進入禁止Ｍ２の道路へ右折する可能性は低いにも関わらず、進入禁止Ｍ２についても優先順位を上げてしまうと処理量が嵩むおそれがある。

そこで、認識部１５は、領域抽出部１３によって対向車線５１側から円形が存在する対象領域３１が抽出された場合、進入禁止の優先順位を下げることとする。これにより、不要な認識処理によって、処理量が嵩むのを抑えることができる。

なお、対象領域３１の位置が、車線５０側であるか対向車線５１側であるかの判定は、順序設定部１４が取得する区画線の情報に基づいて、画像内におけるかかる区画線と対象領域３１との位置関係を特定することで判定することができる。

なお、図７の状況において、順序設定部１４が、車両Ｃが対向車線５１を横断して右折することを示す走行状態情報を取得した場合、進入禁止の優先順位を上げてもよい。かかる走行状態情報としては、例えば、車両Ｃが中央区画線５２を逸脱したか否かの判定情報や、車両Ｃと進入禁止Ｍ２との距離の情報がある。

つまり、認識部１５は、順序設定部１４がカメラ２の画像に基づき車両Ｃと進入禁止Ｍ２との距離が所定距離以下となったことを示す情報を取得した場合、進入禁止Ｍ２の優先順位を上げるようにする。

つまり、認識部１５は、車両Ｃの走行に伴って変化する車両Ｃと道路標識との距離に基づいて、進入禁止Ｍ２の優先順位を変更する。これにより、不要な認識処理を低減しつつ必要な場合のみ認識処理の優先順位を上げられるため、より効率的に認識処理を実行することができる。そして、認識部１５は、認識結果を出力部１６へ出力する。

出力部１６は、車載装置４の形態に応じて認識部１５の認識結果を示す情報を変換して出力する。例えば、車載装置４がディスプレイの場合、認識した道路標識を囲む枠画像を生成し、カメラ２の画像とかかる枠画像とを重畳した合成画像を出力する。

また、出力部１６は、車載装置４が、ドライブレコーダの場合、カメラ２の画像と認識した道路標識の位置や種類とを関連付けた走行履歴情報を出力する。そして、ドライブレコーダがかかる走行履歴情報を記録することで、事後的に認識結果を確認することができる。

次に、実施形態に係る物体認識装置１が実行する認識処理の処理手順について、図８を用いて説明する。図８は、実施形態に係る物体認識装置１が実行する認識処理の処理手順を示すフローチャートである。

図８に示すように、拡縮画像生成部１１は、カメラ２によって撮像された画像Ｐを取得し、かかる画像Ｐの拡縮画像を生成する（ステップＳ１０１）。つづいて、特徴抽出部１２は、各拡縮画像から、例えば、ＨＯＧ特徴量を用いて特徴量を抽出する（ステップＳ１０２）。

つづいて、領域抽出部１３は、特徴抽出部１２が抽出した特徴量と、形状情報２２ａとに基づいて、認識対象物の形状が存在する対象領域を抽出する（ステップＳ１０３）。つづいて、認識部１５は、種類情報２２ｂに基づいて、画像Ｐの領域全体のうち、領域抽出部１３によって抽出された対象領域３１に対して選択的に認識対象物の認識処理を実行し（ステップＳ１０４）、処理を終了する。

また、実施形態に係る物体認識装置１は、図９に一例として示す構成のコンピュータ２００で実現することができる。図９は、物体認識装置１の機能を実現するコンピュータの一例を示すハードウェア構成図である。

コンピュータ２００は、ＣＰＵ（Central Processing Unit）２１０と、ＲＯＭ（Read Only Memory）２２０と、ＲＡＭ（Random Access Memory）２３０と、ＨＤＤ（Hard Disk Drive）２４０とを備える。また、コンピュータ２００は、メディアインターフェイス（Ｉ／Ｆ）２５０と、通信インターフェイス（Ｉ／Ｆ）２６０と、入出力インターフェイス（Ｉ／Ｆ）２７０とを備える。

なお、コンピュータ２００は、ＳＳＤ（Solid State Drive）を備え、かかるＳＳＤがＨＤＤ２４０の一部または全ての機能を実行するようにしてもよい。また、ＨＤＤ２４０に代えてＳＳＤを設けることとしてもよい。

ＣＰＵ２１０は、ＲＯＭ２２０およびＨＤＤ２４０の少なくとも一方に格納されるプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ２２０は、コンピュータ２００の起動時にＣＰＵ２１０によって実行されるブートプログラムや、コンピュータ２００のハードウェアに依存するプログラムなどを格納する。ＨＤＤ２４０は、ＣＰＵ２１０によって実行されるプログラムおよびかかるプログラムによって使用されるデータ等を格納する。

メディアＩ／Ｆ２５０は、記憶媒体２８０に格納されたプログラムやデータを読み取り、ＲＡＭ２３０を介してＣＰＵ２１０に提供する。ＣＰＵ２１０は、かかるプログラムを、メディアＩ／Ｆ２５０を介して記憶媒体２８０からＲＡＭ２３０上にロードし、ロードしたプログラムを実行する。あるいは、ＣＰＵ２１０は、かかるデータを用いてプログラムを実行する。記憶媒体２８０は、例えばＤＶＤ（Digital Versatile Disc）などの光磁気記録媒体やＳＤカード、ＵＳＢメモリなどである。

通信Ｉ／Ｆ２６０は、ネットワーク２９０を介して他の機器からデータを受信してＣＰＵ２１０に送り、ＣＰＵ２１０が生成したデータを、ネットワーク２９０を介して他の機器へ送信する。あるいは、通信Ｉ／Ｆ２６０は、ネットワーク２９０を介して他の機器からプログラムを受信してＣＰＵ２１０に送り、ＣＰＵ２１０がかかるプログラムを実行する。

ＣＰＵ２１０は、入出力Ｉ／Ｆ２７０を介して、ディスプレイ等の車載装置４を制御する。ＣＰＵ２１０は、入出力Ｉ／Ｆ２７０を介して、カメラ２と、走行状態検出装置３からデータを取得する。また、ＣＰＵ２１０は、生成したデータを入出力Ｉ／Ｆ２７０を介して車載装置４に出力する。

例えば、コンピュータ２００が物体認識装置１として機能する場合、コンピュータ２００のＣＰＵ２１０は、ＲＡＭ２３０上にロードされたプログラムを実行することにより、拡縮画像生成部１１、特徴抽出部１２、領域抽出部１３、順序設定部１４、認識部１５および出力部１６の各機能を実現する。

コンピュータ２００のＣＰＵ２１０は、例えばこれらのプログラムを記憶媒体２８０から読み取って実行するが、他の例として、他の装置からネットワーク２９０を介してこれらのプログラムを取得してもよい。また、ＨＤＤ２４０は、記憶部２０が記憶する優先順位情報２１、辞書情報２２を記憶することができる。

上述してきたように、実施形態に係る物体認識装置１は、領域抽出部１３と、認識部１５とを備える。領域抽出部１３は、車両に設けられたカメラ２によって撮像された画像から、特徴量抽出部１２によって抽出された特徴量に基づいて、認識対象物の形状が存在する対象領域３１を抽出する。認識部１５は、画像Ｐの領域全体のうち、領域抽出部１３によって抽出された対象領域３１に対して選択的に認識対象物の認識処理を実行する。

これにより、実施形態に係る物体認識装置１は、認識対象物の種類を効率的に認識することができる。

なお、上述の実施例では、道路標識を認識対象物の一例として示したが、これに限定されるものではない。ここで、図１０を参照して、変形例に係る辞書情報２２について説明する。図１０は、変形例に係る辞書情報２２の説明図である。

一般に、道路の周辺に存在する飲食店等は、運転者へ店舗の存在を示すために、所定形状の看板が道路の近傍に設置されていたり、また、形状についても特定の文字を模した看板等もあり、かかる看板によって店舗を認識可能である場合が多い。

そこで、かかる看板の画像を学習データとして、機械学習することで、図１０に示す特定の店舗の看板の特徴を示す辞書情報２２が生成される。そして、領域抽出部１３は、かかる看板の形状が存在する対象領域３１を抽出する。

続いて、認識部１５は、画像Ｐの領域全体のうち、領域抽出部１３によって抽出された対象領域３１に対して選択的に看板の内容（種類）を認識する認識処理を実行する。これにより、物体認識装置１は、認識対象物が看板等であっても、認識処理を効率的に実行することができる。

また、実施形態の変形例に係る物体認識装置１によれば、例えば、図１０に示すような一般的な矩形の看板であっても、看板の内容に特徴があれば、かかる看板の店舗を「○○寿司」として認識することができる。

また、特定の文字、例えば「Ｘ」を模したような特徴的な形状であれば、看板の形状を認識することで、看板の内容の認識処理を簡便しても特定の店舗として「Ｘカレー」を認識することができる。

なお、上述した対象領域３１の領域は、外形に接するような矩形の領域（図４参照）に限定されるものではなく、例えば、道路標識の円形から所定距離外側の矩形の領域であってもよい。また、対象領域３１の形状も、矩形に限定されず、円形や、認識対象物の形状と同じ形状であってもよい。

また、上記では、物体認識装置１と車載装置４とは別の装置であるものとして説明したが、これらを一体化してもよい。すなわち、上述した物体認識装置１と車載装置４との双方の機能を一つの装置が備えていてもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 物体認識装置
２ カメラ
１１ 拡縮画像生成部
１２ 特徴抽出部
１３ 領域抽出部
１５ 認識部
３１ 対象領域

Claims (7)

1. 車両に設けられた撮像装置によって撮像された画像から認識対象物となる道路標識の形状が存在する対象領域を抽出する領域抽出部と、
   前記画像の領域全体のうち、前記領域抽出部によって抽出された前記対象領域に対して選択的に前記認識対象物の認識処理を実行する認識部と、を備え、
   前記認識部は、
   前記車両の走行状態を示す走行状態情報を取得し、前記走行状態情報に基づいて前記道路標識の認識順序の優先順位を変更するとともに、前記道路標識の外形が円形かつ、当該道路標識が対向車線側に位置する場合、進入禁止の前記優先順位を下げること
   を特徴とする物体認識装置。
2. 前記領域抽出部は、
   前記認識対象物となる道路標識と同様の前記外形が存在する前記対象領域を抽出すること
   を特徴とする請求項１に記載の物体認識装置。
3. 前記道路標識の種類に対応する当該道路標識の特徴を示す種類情報を記憶する記憶部をさらに備え、
   前記認識部は、
   前記記憶部に記憶された前記種類情報に基づいて、前記道路標識の種類を認識すること
   を特徴とする請求項２に記載の物体認識装置。
4. 前記認識部は、
   前記走行状態情報として前記車両の走行速度を示す車速情報を取得すること
   を特徴とする請求項１〜３のいずれか一つに記載の物体認識装置。
5. 前記認識部は、
   前記走行状態情報として前記車両が走行する道路の種別を示す道路情報を取得すること
   を特徴とする請求項１〜４のいずれか一つに記載の物体認識装置。
6. 前記認識部は、
   前記車両の走行に伴って変化する前記車両と前記道路標識との距離に基づいて、進入禁止の前記優先順位を変更すること
   を特徴とする請求項１〜５のいずれか一つに記載の物体認識装置。
7. 領域抽出部が、車両に設けられた撮像装置によって撮像された画像から認識対象物となる道路標識の形状が存在する対象領域を抽出する工程と、
   認識部が、前記画像の領域全体のうち、前記領域抽出部によって抽出された前記対象領域に対して選択的に前記認識対象物の認識処理を実行する工程と、
   前記認識部が、前記車両の走行状態を示す走行状態情報を取得し、前記走行状態情報に基づいて前記道路標識の認識順序の優先順位を変更するとともに、前記道路標識の外形が円形かつ、当該道路標識が対向車線側に位置する場合、進入禁止の前記優先順位を下げる工程と
   を含むことを特徴とする物体認識方法。

Images