[go: up one dir, main page]

JP4953012B2 - 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム - Google Patents

画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム Download PDF

Info

Publication number
JP4953012B2
JP4953012B2 JP2007209582A JP2007209582A JP4953012B2 JP 4953012 B2 JP4953012 B2 JP 4953012B2 JP 2007209582 A JP2007209582 A JP 2007209582A JP 2007209582 A JP2007209582 A JP 2007209582A JP 4953012 B2 JP4953012 B2 JP 4953012B2
Authority
JP
Japan
Prior art keywords
target feature
recognition
image recognition
feature
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007209582A
Other languages
English (en)
Other versions
JP2009042167A (ja
Inventor
正樹 中村
総 逢坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2007209582A priority Critical patent/JP4953012B2/ja
Publication of JP2009042167A publication Critical patent/JP2009042167A/ja
Application granted granted Critical
Publication of JP4953012B2 publication Critical patent/JP4953012B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、例えば、自位置周辺を撮影して得られる画像情報に対して、画像認識処理を行うための画像認識装置と当該画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置と当該ナビゲーション装置のためのプログラムに関する。
従来から、車両の運転者に対する運転支援装置の一つとして、自位置を地図上に示すと共に、経路案内や道路情報等を運転者に明示するナビゲーション装置が利用されている。このナビゲーション装置は、車両に備えられるGPS(Global Positioning System)アンテナにより人工衛星からGPS情報を受信し、当該GPS情報から算出された自位置情報と地図情報とに基づいて、マップマッチング処理を行うことにより、各種情報を運転者に明示している。しかしながら、GPS情報から算出された自位置情報にはGPS情報の精度の観点から潜在的に誤差が含まれている。したがって、例えば、特許文献1に開示されている画像認識装置を用いたナビゲーション装置では、車載カメラにより撮像された車両前方の走行道路に沿った画像情報に基づいて信号機や横断歩道等の地物を検出し、車両位置と地物との間の距離を算出して、当該距離に応じて自位置の補正を行っている。
特開平09−243389号公報
しかしながら、道路標示のような地物は所定の法令或いは規則に則って一定の形態が定められているが、実際には、地域毎に地物の形態に差異があることが知られている。したがって、このように地域により差異がある地物に対して共通の認識ロジックを用いて画像認識を行うと、認識対象である地物を認識できない、或いは、他の地物として認識してしまうといった誤認識が発生する虞があった。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、自位置周辺の画像情報に含まれる対象地物の画像認識を行うにあたり、当該対象地物の形態の地域毎の差異により生じる誤認識を抑制し、認識率を高めることが可能な画像認識装置と当該画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置と当該ナビゲーション装置のためのプログラムを提供することにある。
上記目的を達成するための本発明に係る画像認識装置の特徴構成は、自位置周辺を撮影して得られる画像情報を取得する画像情報取得手段と、自位置を示す自位置情報を取得する自位置情報取得手段と、前記画像情報に含まれる対象地物の画像認識処理を所定の認識ロジックに従って行う画像認識手段と、前記自位置情報に基づいて、自位置が存在する地域を判定する地域判定手段と、対象地物の形態における地域毎の差異に応じて規定された複数の地域毎の認識ロジックの中から、前記地域判定手段により判定された自位置が存在する地域に応じて、前記画像認識処理に用いる前記認識ロジックを選択する認識ロジック選択手段と、を備え、前記地域毎の認識ロジックは、全ての地域に共通の基本認識ロジックに対して、対象地物の形態における地域毎の差異に応じて規定された地域パラメータを適用して規定され、前記地域パラメータは、地域毎に異なる、対象地物の全体の大きさ、対象地物を構成する各部分の線幅、対象地物の全体に対する特徴的な形状の部分の位置、並びにスリットの数量及び位置のいずれか一つ以上を含む点にある。
この特徴構成によれば、自位置が存在する地域の対象地物の形態に応じた適切な認識ロジックを用いて対象地物の画像認識を行うことができる。したがって、対象地物の形態の地域毎の差異を考慮した認識ロジックによる高精度な画像認識処理を行うことができ、対
象地物の認識率を高めることが可能となる。
また、地域毎に個別に認識ロジックを設ける場合と比べて、基本認識ロジック及び地域パラメータの容量を小さくすることができるため、これらを格納しておく記録容量の低減が可能となる。
ここで、自位置から所定距離先に存在する対象地物を前記画像認識処理の対象に設定する対象地物設定部を更に備え、前記認識ロジック選択手段は、自位置が存在する地域を表す地域情報と、前記対象地物設定部により設定された前記対象地物の地物情報とに基づいて、対象地物の地物種別に応じた地域毎の認識ロジックの選択を行うと好適である。
また、本発明に係るナビゲーション装置の特徴構成は、本発明に係る画像認識装置と、前記画像認識装置による画像認識処理結果と地物の位置情報とに基づいて前記自位置情報を補正する自位置情報補正手段と、を備える点にある。
この特徴構成によれば、自位置が存在する地域の認識ロジックを使用することにより、画像情報に含まれる対象地物の画像認識を高い認識率で行い、当該対象地物の認識結果と認識された対象地物の位置情報を利用して自位置情報を補正することができるため、誤差の少ない自位置情報を取得できる。したがって、高精度な自車位置の表示や、高精度な自車位置に基づく最適な経路案内を行うことが可能となる。
更に、本発明では、画像認識装置のためのプログラムも権利範囲としており、そのコンピュータプログラムは、自位置周辺を撮影して得られる画像情報を取得する画像情報取得ステップと、自位置を示す自位置情報を取得する自位置情報取得ステップと、前記画像情報に含まれる対象地物の画像認識処理を所定の認識ロジックに従って行う画像認識ステップと、前記自位置情報に基づいて、自位置が存在する地域を判定する地域判定ステップと、対象地物の形態の地域毎の差異に応じて規定された複数の地域毎の認識ロジックの中から、前記地域判定ステップにより判定された自位置が存在する地域に応じて、前記画像認識処理に用いる前記認識ロジックを選択する認識ロジック選択ステップと、をコンピュータに実現させることが可能であって、前記地域毎の認識ロジックは、全ての地域に共通の基本認識ロジックに対して、対象地物の形態における地域毎の差異に応じて規定された地域パラメータを適用して規定され、前記地域パラメータは、地域毎に異なる、対象地物の全体の大きさ、対象地物を構成する各部分の線幅、対象地物の全体に対する特徴的な形状の部分の位置、並びにスリットの数量及び位置のいずれか一つ以上を含む画像認識装置のためのプログラム。
このように構成された画像認識装置のためのプログラムも上述した本発明の対象としての画像認識装置と同様に、上述した作用効果を得ることが可能である。
ここで、自位置から所定距離先に存在する対象地物を前記画像認識処理の対象に設定する対象地物設定ステップを更に備え、前記認識ロジック選択ステップは、自位置が存在する地域を表す地域情報と、前記対象地物設定ステップにより設定された前記対象地物の地物情報とに基づいて、対象地物の地物種別に応じた地域毎の認識ロジックの選択を行うと好適である。
また、本願発明の画像認識装置のためのプログラムと、前記画像認識装置のためのプログラムによる画像認識処理結果と地物の位置情報とに基づいて前記自位置情報を補正する自位置情報補正ステップと、を備えてコンピュータに実現させるナビゲーション装置のためのプログラムを構成すると好適である。
このように構成されたナビゲーション装置のためのプログラムも上述した本発明の対象としてのナビゲーション装置と同様に、上述した作用効果を得ることが可能である。
1.第一の実施形態
本発明に係る画像認識装置2は、自位置の進行方向に存在する地物を対象地物ft(図3参照)として設定し、当該設定された対象地物ftを画像認識する機能を有している。この画像認識は、対象地物の形態における地域毎の差異に応じて規定された複数の地域毎の認識ロジックの中から、自位置が存在する地域に応じて、画像処理に用いる認識ロジックを選択して行われる。また、本発明に係るナビゲーション装置1は、当該画像認識に基づいて取得される地物の位置情報を利用して、自位置情報Lを補正する機能を有している。以下に、詳細説明を行う。
以下、本発明の第一の実施形態について図面に基づいて説明する。図1は、本実施形態に係る画像認識装置2を含むナビゲーション装置1の概略構成を模式的に示した図である。本ナビゲーション装置1は、画像情報取得部10、画像認識部11、自位置情報取得部12、地域判定部13、対象地物設定部14、認識ロジック選択部15、自位置情報補正部16、データ抽出部17、及びナビゲーション用演算部18の各機能部を備える。これらの各機能部は、CPU等の演算処理装置を中核部材として入力されたデータに対して種々の処理を行うためにハードウェア又はソフトウェア或いはその両方で構築されている。また、地図データベース19及び認識ロジック格納部20は、例えば、ハードディスクドライブ、DVD−ROMを備えたDVDドライブ、CD−ROMを備えたCDドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウェア構成として備えている。以下、本ナビゲーション装置1に各部の構成について説明する。
1−1.地図データベース
地図データベース19は、所定の領域毎に分割された複数の地図からなる地図情報Mと、当該地図情報Mに関連付けられた複数の地物情報Fと、が格納されているデータベースである。図2に地図データベース19に格納されている地図情報M及び地物情報Fの一例を示す。地図データベース19には、図2に示されるように地図情報M及び地物情報Fとして、道路ネットワークレイヤm1、道路形状レイヤm2、及び地物レイヤm3の形式で格納される。
道路ネットワークm1には、道路と道路との接続を表す道路情報が示される。具体的には、緯度及び経度で紐付けされた地図上の位置情報を有する多数のノードnの情報と、2つのノードnを接続した接続線によって道路を示す多数のリンクkの情報と、が示される。また、各リンクkには、リンク情報として道路種別やリンク長等の情報が含まれる。なお、道路種別とは、例えば、高速道路、有料道路、国道、県道等の情報であり、リンク長とは2つのノードn間における道路の距離を示すものである。
道路形状レイヤm2は、道路ネットワークm1に関連付けられて格納される道路の形状を示すレイヤである。具体的には、2つのノードn間におけるリンクk上に配置され、緯度及び経度の情報からなる地図上の位置情報を有する多数の道路形状補完点s、及び道路幅wの情報を有している。前述の道路ネットワークm1と共に、道路形状レイヤm2から、地図情報Mが構成される。
地物レイヤm3は、地物情報Fとして定義される、道路上や道路周辺に設けられた各種地物の情報が格納されるレイヤであり、道路ネットワークm1及び道路形状レイヤm2に関連付けされて格納される。当該地物情報Fに格納される地物には、道路の路面にペイントされた道路標示(ペイント標示)が含まれる。具体的には、例えば、道路の車線を区分けするための区画線、各車線において進行方向を指定する進行方向通行区分標示、横断歩道、停止線、速度制限標示、ゼブラゾーン等が含まれる。更には、交差点付近に設けられる「止まれ」の文字ペイント(「止まれ」標示)や、横断歩道の手前に設けられる菱形形状をした「横断歩道あり」標示等も含まれる。また、これらの道路標示のほかに、信号機や道路脇に配設される道路標識や陸橋やトンネル等の地物も含めることが可能である。
また、地物情報Fには、各地物の位置情報及び形態情報が含まれている。なお、位置情報は、各地物が配置される緯度及び経度からなる地図上の位置を示す情報である。各種地物は所定の面積をもって構成されることから、位置情報は各地物の長さ方向及び幅方向の中心をもって設定すると好適である。また、形態情報は、各地物の形状、大きさ、色彩等の情報からなる。また、これらの他にも、地物情報Fには各地物の種別を示す種別情報等が含まれる。この種別情報は、具体的には、進行方向通行区分標示(右折矢印、直進矢印、直進左折矢印等を含む)、「横断歩道」、「停止線」、「止まれ」標示、「横断歩道あり」標示等の道路標示種別を示す情報である。
1−2.画像情報取得部
画像情報取得部10は、カメラ等の撮像デバイスからなる撮像装置30により撮像された自位置周辺の撮像画像からなる画像情報Gを取得する画像情報取得手段として機能する。撮像装置30は、少なくとも自車両100の周辺の道路表面を撮像可能な位置に配設され、例えば、図3に示されるようなバックカメラ101により構成されると好適である。このようにバックカメラ101によれば、図3において破線で囲んだ領域を撮像することで、自位置周辺の道路標示等の地物の画像を撮像することが可能となる。画像情報取得部10で取得された撮像画像からなる画像情報Gは、画像認識部11へ伝達される。
1−3.自位置情報取得部
自位置情報取得部12は、自位置、即ち自車両100の現在位置を示す自位置情報Lを取得する自位置情報取得手段として機能する。自位置情報Lは、ナビゲーション装置1が備えるGPS受信機31、距離センサ32、方位センサ33からの出力信号に基づいて算出される。具体的には、GPS受信機31は、人工衛星からのGPS信号を所定時間毎に受信する装置であり、受信された信号は自位置情報取得部12に出力される。自位置情報取得部12は、GPS信号を解析し、自車両100が存在する緯度及び経度の演算を行う。更に、所定時間前の緯度及び経度と新しく演算された緯度及び経度から自車両100の進行方位や移動速度等の情報を取得することも可能である。
距離センサ32は、例えば車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、車両が受ける加速度の検出を行うGセンサ及び積分回路等により構成される。そして、距離センサ32は、これらの各種センサから得られた情報に基づいて演算された車速及び移動距離の情報を自位置情報取得部12に出力する。また、方位センサ33は、自車両100の進行方位を検出するセンサであり、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に配設された回転センサや回転型の可変抵抗、車輪部に配設された角度センサ等からなる。そして、方位センサ33は、これらのセンサから得られたセンサ信号に基づいて演算された進行方位の情報を自位置情報取得部12に出力する。
自位置情報取得部12は、これらのGPS受信機31や距離センサ32や方位センサ33からの出力に基づいて、公知の方法により自位置を示す自位置情報Lの演算を行う。また、自位置情報取得部12は、後述するデータ抽出部17により地図データベース19から抽出された自位置周辺の地図情報Mを取得し、それに基づいて公知のマップマッチング技術を用いることにより自位置を地図情報Mに示される道路上とするように補正を行う。このようにして取得される自位置情報Lは、GPS受信機31、距離センサ32、方位センサ33の検出精度等に起因する誤差を含んだ情報となっている。
このような誤差を少なくするために、本ナビゲーション装置1は、画像認識装置2により行われる自位置の進行方向に存在する地物を対象地物ftとして設定し、当該対象地物ftの画像認識に基づいて取得される地物の位置情報を利用して、自位置情報Lを補正する機能を有している。当該画像認識装置2は、画像認識処理において認識ロジックを用いて画像認識を行うが、この画像認識は、対象地物の形態における地域毎の差異に応じて規定された複数の地域毎の認識ロジックの中から、自位置が存在する地域に応じて、画像処理に用いる認識ロジックを選択して行われる。
1−4.データ抽出部
データ抽出部17は、地図データベース19から画像認識処理の対象となる対象地物ft(図3参照)の地物情報Fの抽出を行う地物情報抽出手段として機能する。データ抽出部17は、自位置情報Lの補正処理に用いるために、後述する対象地物設定部14により設定される対象地物ftについての位置情報及び形態情報を含む地物情報Fを地図データベース19から抽出する。抽出された対象地物ftの地物情報Fは、自位置情報補正部16に出力される。なお、自位置情報補正部16については、後述する。
また、データ抽出部17は、自位置情報取得部12が行うマップマッチング処理に用いるために自位置情報Lに対応する自位置周辺の地図情報Mを地図データベース19から抽出し、自位置情報取得部12に対して出力する。更に、データ抽出部17は、ナビゲーション用演算部18による地図表示等のナビゲーション処理に用いるために、ナビゲーション用演算部18から要求された領域の地図情報M及び地物情報Fを地図データベース19から抽出し、ナビゲーション用演算部18に対して出力する。
1−5.地域判定部
地域判定部13は、自位置情報取得部12により取得された自位置情報Lに基づいて、自位置が存在する地域を判定する地域判定手段として機能する。地域判定部13により扱われる地域とは、地物の形態が共通な領域の単位を示すものである。したがって、同じ地物種別の地物の形態に差異がなければ、同じ地域として扱うことができる。一方、同じ地物種別の地物の形態に差異があれば、異なる地域として扱う。この地域として、例えば日本においては、都道府県、市町村等の行政区画等の単位で扱うと好適であり、例えばEU(欧州連合)等であれば国や州単位であると好適である。本実施例における地域とは、以下、日本における都道府県を例として説明するが、国や州等、更には市町村や地方の単位で地域を定義した場合であっても、当然に本発明の権利範囲を逸脱するものではない。
地域判定部13は、自位置が存在する地域の認識を以下のように行う。上記のように、自位置情報取得部12では、自位置情報Lとデータベース格納部19から抽出された地図情報Mとに基づいて、マップマッチング処理が行われる。当該マップマッチング処理により、地図情報M上における自位置の認識を行うことが可能となる。一方、当該地図情報Mには、上述の都道府県別のような地域の情報が含まれている。したがって、地域判定部13はこのような地域の情報と自位置情報Lとに基づいて、自車両100が存在する地域(本実施例においては都道府県)、を判定することが可能となる。即ち、地域判定部13が、同じ地物種別の地物に対して同じ形態の地物を用いる領域の単位で定義された何れの地域に、自車両100が存在するかの判定を行うことが可能となる。
1−6.対象地物設定部
対象地物設定部14は、画像認識処理の対象とする対象地物ftを設定する対象地物設定手段として機能する。対象地物ftは、地図データベース19に地物情報Fが格納された地物の中から、現在、又は将来撮像される画像情報Gに映る自位置周辺の少なくとも一つ以上の地物から選択される。本例においては、対象地物設定部14は、自位置情報取得部12により取得された自位置情報Lと、地図データベース19に格納された地物情報Fとに基づいて、自車両100の進行方向に最も近い位置に存在する道路標示となる地物を対象地物ftとして設定することとする。
また、自車両100の進行方向の所定距離内(例えば、100メートル)に対象地物ftとして設定することができる地物が存在しない場合には、所定距離内にそのような地物が存在するようになった時に、対象地物ftの設定処理を行うようにすると好適である。また、この設定は、上記以外の方法として、自車両100の進行方向に複数の地物が存在する場合には、例えば、地物の種別、地物の大きさ(サイズ)、或いは地物の明度等から規定する優先度を予め設けておき、当該優先度に基づいて行うように構成することも可能である。
1−7.認識ロジック格納部
認識ロジック格納部20は、画像情報Gに含まれる対象地物ftの画像認識処理を行う際に、後述する画像認識部11において用いられる認識ロジックが格納されるデータベースである。当該認識ロジックは、画像認識処理において後述の画像認識部11が用いる画像認識アルゴリズム(プログラム)として機能する。
ここで、道路標示は、所定の法令或いは規則に則って一定の形態が定められているが、実際には、地域毎に地物の形態に差異があることが知られている。以下に各地物種別の地物の地域毎の差異について、図を用いて説明する。図4は、前方に横断歩道がある場合に路面にペイントされる「横断歩道あり」標示について、全体の大きさ及び当該標示を構成する線の線幅が異なる場合の一例を示したものである。図4(a)は、「○○○県」で用いられている「横断歩道あり」標示であり、長手方向が5±0.3〔m〕、短手方向が1.5±0.3〔m〕の大きさからなり、線幅が30±3〔cm〕で形成される「横断歩道あり」標示である。一方、図4(b)は、「□□□県」で用いられている「横断歩道あり」標示で、長手方向及び短手方向で決まる大きさは、図4(a)に示される「横断歩道あり」標示と同じであるが、線幅は20±3〔cm〕で形成されている。更に、図4(c)は、「×××県」で用いられている「横断歩道あり」標示で、長手方向が4±0.3〔m〕、短手方向が1.0±0.3〔m〕の大きさで形成され、線幅は20±3〔cm〕である「横断歩道あり」標示である。このように、「横断歩道あり」標示の大きさに関する規定は地域毎(都道府県毎)に定められ、その規定に応じて路上にペイントされている。なお、地域(都道府県)によっては、他の地域と共通の「横断歩道あり」標示を用いている地域もある(全ての地域の標示が、夫々異なるわけではない)。
図4には、「横断歩道あり」標示のサイズ及び線幅の違いを示したが、「横断歩道あり」標示の所定の箇所にスリットCを設けている地域もある。更に、このスリットCが設けられる位置が地域により異なることが知られている。以下に図を用いて説明する。図5は、「横断歩道あり」標示に設けられたスリットCの配置例を示す図である。図5(a)ではスリットCが上部左側及び下部右側に設けられ、図5(b)ではスリットCが上部右側及び下部左側に設けられている。また、図5(c)では上部左側及び下部左側に設けられる。地域によっては、更にスリットCの数を増やしたものもあり、図5(d)ではスリットCが上部左側及び下部右側に加えて、左部上側及び右部下側にも設けられ、図5(e)ではスリットCが上部右側及び下部左側に加えて、左部下側及び右部上側にも設けられている。また、図5(f)では上部左側及び下部右側と共に、左部下側及び右部上側にも設けられる。更に、図5(g)のように上部右側及び下部左側と、左部上側及び右部下側とにスリットCを設けるものもある。そして、図5(h)のように左部下側と右部上側とにスリットCを設けるものや、図5(i)のように左右の角から道路の進行方向に対して直角となるようにスリットCを設けているものもある。図4に示した「横断歩道あり」標示の全体の大きさ及び線幅からなる特徴と、図5に示した「横断歩道あり」標示のスリットCの数量、位置等からなる特徴との組み合わせにより、地域毎に様々な「横断歩道あり」標示が用いられている。なお、図4及び図5に示した「横断歩道あり」標示は、一例を示したものであるため、実際には地域によっては、更に多種にわたる「横断歩道あり」標示が用いられる。
また、「横断歩道あり」標示の他に、「止まれ」標示も地域毎に差異があることが知られている。図6(a)に示されるように「ま」の縦線から回る部分rが90度で構成されると共に、「れ」が縦線に対して、横線oと、左下部から右上部にわたる線pと、下部に払う線qと、から構成されている。一方、図6(b)では、「ま」の部分rが角を削るように形成されると共に、「れ」は縦線と一筆書きで書かれた線とで形成されている。更に、図6(c)のように、図6(a)の「ま」と図6(b)の「れ」とを組み合わせて構成されている地域もある。更に、地域によっては図7のようにスリットCが配置されているものもある。図7(a)では、「ま」の道路の進行方向と直角になるように配置され、図7(b)では、「ま」及び「れ」の縦線に対してスリットCが配置されているものもある。なお、図7(a)のように「れ」の文字が他の地域の形態と異なるものもある。
認識ロジック格納部20には、画像認識部11が行う画像認識処理において、これらの道路標示の画像認識に用いられる認識ロジックが格納されている。図8は、認識ロジック格納部20に格納される認識ロジックの構成の一例を示したものである。認識ロジックは、対象地物ftの種別毎に規定され、対象地物ftの形態的な特徴量cpを認識する処理を規定したものである。当該特徴量cpには、対象地物ftの全体の大きさ、対象地物ftを構成する各部分の線幅、対象地物ftの全体に対する特徴的な形状の部分の位置等を含むと好適である。認識ロジック格納部20に格納されている認識ロジックは、全ての地域に共通の基本認識ロジックblとしての認識ロジックからなり、当該基本認識ロジックblに対して、対象地物ftの形態における地域毎の差異(形態的な特徴量cp)に応じて規定された地域パラメータlpが含まれるように構成される。当該地域パラメータlpには、図4から図7に例示した地域毎に異なる形態的な特徴量cpである、対象地物ftの全体の大きさ、対象地物ftを構成する各部分の線幅、対象地物ftの全体に対する特徴的な形状の部分の位置、スリットCの数量及び位置等が含まれる。
この地域パラメータlpは、地域判定部13により判定された自車両100が存在する地域に対応するものを基本認識ロジックblに適用して、対象地物ftの画像認識処理に利用される。例えば、地域判定部13により自車両100が「愛知県」に存在すると判定され、対象地物設定部14により対象地物ftが「横断歩道あり」標示として設定された場合には、まず、後述する認識ロジック選択部15により「「横断歩道あり」用認識ロジック」が選択される。更に、自車両100が「愛知県」に存在することから、認識ロジック選択部15は「愛知県」における「横断歩道あり」標示の形態的な特徴量cpが規定された「愛知県用パラメータ」を選択し、当該「愛知県用パラメータ」を「「横断歩道あり」用認識ロジック」に適用する。したがって、「愛知県」における「横断歩道あり」標示の画像認識に適した認識ロジックを用いることが可能となる。或いは、自車両100が「大阪府」に存在し、対象地物ftが「止まれ」標示として設定された場合には、上記と同様に「「止まれ」用認識ロジック」に対して「大阪府用パラメータ」に適用して、「大阪府」における「止まれ」標示の画像認識に適した認識ロジックを用いることが可能となる。このように、自車両100が存在する地域情報と、設定された対象地物ftとに基づいて、自車両100が存在する地域の地物に適した認識ロジックを使用することが可能となる。また、「速度制限」標示の認識ロジックは、速度制限毎、例えば「30」、「50」、「60」等毎に異なる地物として認識ロジックを備えておくと好適である。
また、このような構成であるため、認識ロジックや地域パラメータlpを格納しておく記録容量の低減も可能となる。なお、この基本認識ロジックblは対象地物ftの種別毎に設けられる。また、地域パラメータlpも地域毎に設けられるが、対象地物ftによっては、他の地域の地域パラメータlpと同じ地域パラメータlpを有する地域もある。このような地域の地域パラメータlpは、図8のように列挙するように構成しても良いし、複数の地域が共有する地域パラメータlpとして共通の地域パラメータlpを設けるように構成しても良い。
1−8.認識ロジック選択部
認識ロジック選択部15は、画像認識部11が撮像装置30により取得された画像情報Gに含まれる地物の画像認識を行うために用いる認識ロジックを選択する認識ロジック選択手段として機能する。認識ロジック選択部15は、地域判定部13により判定された自車両100が存在する地域情報と、対象地物設定部14により設定された自車両100の所定距離先に存在する対象地物ftの地物情報Fとに基づいて、対象地物ftの地物種別に応じた地域毎の認識ロジックの選択を行う。画像情報Gに含まれる対象地物ftとなりうる地物種別には、例えば、各車線において進行方向を指定する進行方向通行区分標示、横断歩道、停止線、速度制限標示、ゼブラゾーンや、「止まれ」標示や、「横断歩道あり」標示等が含まれる。認識ロジック選択部15は、対象地物ftの画像認識処理に際して、それぞれの対象地物ftの形態に適した基本認識ロジックblに地域パラメータlpを適用してなる地域毎の認識ロジックを選択する。具体的には、図8に示されるように、例えば、地域判定部13により自車両100が「愛知県」に存在すると判定され、対象地物設定部14により対象地物ftが「横断歩道あり」標示として設定された場合には、まず、認識ロジック選択部15により「「横断歩道あり」用認識ロジック」が選択される。更に、自車両100が「愛知県」に存在することから、認識ロジック選択部15は「愛知県」における「横断歩道あり」標示の形態的な特徴量cpが規定された「愛知県用パラメータ」を選択する。このように、認識ロジック選択部15は、選択された基本認識ロジックblに地域パラメータlpを適用して、地域毎の認識ロジックとする。そして、画像認識部11は、認識ロジック選択部15により選択された基本認識ロジックbpに地域パラメータlpを適用してなる地域毎の認識ロジックを使用して画像認識を行う。
このように認識ロジック選択部15が選択する、自位置が存在する地域の対象地物ftの形態に応じた適切な認識ロジックを用いて対象地物ftの画像認識を行えば、対象地物ftの形態の地域毎の差異を考慮した認識ロジックによる高精度な画像認識処理を行うことができ、対象地物ftの認識率を高めることが可能となる。更には、認識ロジックが地物の種別毎に規定されているため、画像認識処理に係る演算処理負荷を抑えることもできる。
1−9.画像認識部
画像認識部11は、画像情報取得部10で取得された画像情報Gに対する画像認識処理を行う画像認識手段として機能する。画像認識部11は、対象地物設定部14により設定された対象地物ftの地物情報F及び認識ロジックを用いて画像認識処理を行う。具体的には、画像認識部11は、まず、画像情報取得部10で取得された画像情報Gが入力される。そして、対象地物設定部13により設定された対象地物ftの画像認識を行うために、認識ロジック選択部15により選択された認識ロジックを認識ロジック格納部20から読み出して実行する。
画像認識部11では、認識ロジック格納部20から参照している対象地物ftの種別に対応する認識ロジックに、自車両100が存在する地域に対応する地域パラメータlpを基本認識ロジックbp適用した認識ロジックを用いて画像認識を行う。具体的には、本実施形態では、対象地物ftに設定された道路標示の全体の大きさ(サイズ)及び道路標示を構成する各部分の線幅の一方又は双方を判定閾値Vtとして画像認識を行う。
図9は、「横断歩道あり」標示における判定閾値Vtの一例を示した図である。特に、「横断歩道あり」標示においては、全体の大きさ及び線幅を特徴量cpとする場合には、図4に示した数値を判定閾値Vtとすると好適である。したがって、図9に示されるように当該標示の長手方向の長さに係る判定閾値をVt1、短手方向の長さに係る判定閾値をVt2、線幅に関する判定閾値をVt3が規定される。また、これらの判定閾値Vt1〜Vt3には、所定の許容誤差を含むように規定しておくと良い。例えば、図4に示される「横断歩道あり」標示の場合には、図4(a)に示される「○○○県」では、Vt1=5±0.3〔m〕、Vt2=1.5±0.3〔m〕、Vt3=30±3〔cm〕と設定すると良い。また、他の地域では、図4(b)、図4(c)に示すように、他の値Vt1〜Vt3が設定される。このように判定閾値Vtを用いた画像認識によれば、自車両100が存在する地域に応じた、地物の判定閾値Vtを用いることにより、認識率を低下させることなく適切に画像認識を行うことが可能となる。
また、対象地物ftが、他地域における同じ種類の当該対象地物ftと比較した場合に、例えばスリット等の形態上の差異点dp(例えば、スリットの有無、スリットの数、スリットの位置等)を有している場合には、対象地物ftが備える特徴量cpに差異点dpを含めるようにして認識ロジックが画像認識処理を行っても良い。図10は、「横断歩道あり」標示における、特徴量cp及び差異点dpについて図示したものである。「横断歩道あり」標示の場合には、特徴量cpは、点線で囲んだ外側の4つのエッジと内側の4つのエッジで規定される。上述の判定閾値Vtを用いた全体の大きさ及び線幅からなる特徴に加えて、外側及び内側のエッジを特徴量cpとして画像認識に用いると、認識率を向上させることができる。
更に、一点鎖線で囲まれたスリットCを有している「横断歩道あり」標示を使用している地域においては、当該スリットCを差異点dpとして用いると好適である。このような特徴量cpは認識ロジックに規定され、一方、差異点dpは地域毎に規定される地域パラメータlpにより規定される。当該差異点dpを画像認識に利用する場合には、上述の全体の大きさ及び線幅からなる特徴、及びエッジからなる特徴量cpに、差異点dpを含めて画像認識を行う。このように、対象地物ftの地域毎の差異点dpを積極的に利用した画像認識を行うことにより、画像認識における認識率を向上させることが可能である。
或いは、当該差異点dpを、特徴量cpから除外して画像認識処理を行っても良い。この場合、例えば画像認識処理に含まれるノイズ除去処理において、スリットCをノイズとして除去する、又は、スリットCを無視するように基本認識ロジックblを修正する地域パラメータlpを設定すると良い。即ち、自車両100が、スリットCを有する「横断歩道あり」標示を利用している地域に存在する場合であっても、スリットCからなる差異点dpを画像認識処理には利用せず、全体の大きさ及び線幅からなる特徴、及びエッジからなる特徴量cpに基づいて、画像認識を行うことも可能である。このような方法であれば、対象地物ftの地域毎の差異点dpに起因する誤認識を低減することが可能となる。したがって、当該地域における対象地物ftの画像認識を容易とすることができ、認識率を向上させることが可能となる。
画像認識部11は、画像情報Gに対して2値化処理やエッジ検出処理等を行い、当該画像情報Gに含まれる地物の輪郭情報を抽出する。その後、画像認識部11は、基本認識ロジックblに地域パラメータlpを適用した地域毎の認識ロジックを用いて、抽出された地物の輪郭情報や特徴量cp等が一致するか否かの判定を行う。地物の輪郭情報や特徴量cp等が一致する場合には、対象地物ftの画像認識が成功したと判定し、自位置情報補正部16に画像認識結果を出力する。一方、地物の輪郭情報や特徴量cp等が一致しない場合には、対象地物ftの画像認識が失敗したと判定し、自位置情報補正部16に画像認識結果は出力されない。なお、上記一致とは完全一致のみを示すものではなく、輪郭情報及び特徴量cpのうち、例えば50%が一致すれば画像認識が成功したと判定するようにすることも好適である。もちろん、上記50%は限定されるものではなく、予め別の割合に設定しておくことは可能である。
1−10.自位置情報補正部
自位置情報補正部16は、画像認識部11による画像認識処理の結果と、データ抽出部17により抽出された地物情報Fに含まれる対象地物ftの位置情報とに基づいて、自位置情報Lを補正する自位置情報補正手段として機能する。具体的には、自位置情報補正部16は、画像認識部11による画像認識処理結果と、撮像装置30の取付位置、取付角度、及び画角等に応じて、対象地物ftの画像を含む画像情報Gの取得時における自車両100と対象地物ftとの位置関係を演算する。そして、自位置情報補正部16は、自車両100と対象地物ftとの位置関係を演算結果と、データ抽出部17により抽出された地物情報Fに含まれる対象地物ftの位置情報とに基づいて、対象地物ftの位置情報を基準とする自車両100の位置情報を算出する。そして、自位置情報補正部16は、算出された位置情報に基づいて、自位置情報取得部12で取得された自位置情報Lに含まれる、自車両100の現在位置の情報を補正する。このようにして自位置情報取得部12は、高精度の自位置情報Lを取得することが可能となる。
1−11.ナビゲーション用演算部
ナビゲーション用演算部18は、自位置表示、出発地から目的地までの経路計算、目的地までの進路案内、目的地検索等のナビゲーション機能を実行するためにアプリケーションプログラム41に従って動作する演算処理手段である。例えば、ナビゲーション用演算部18は、データ抽出部17により地図データベース19から自車両100周辺の地図情報Mを取得して表示装置34に地図の画像を表示するとともに、当該地図の画像上に、自位置情報Lに基づいて自位置マークを重ね合わせて表示する処理を行う。また、ナビゲーション用演算部18は、公知の方法により計算された出発地から目的地までの経路と自位置情報Lとに基づいて、表示装置34及びスピーカ35の一方又は双方を用いて進路案内を行う。また、図示は省略するが、ナビゲーション用演算部18は、この他にも、リモートコントローラや表示装置34と一体的に設けられたタッチパネルなどのユーザインタフェース等、ナビゲーション装置として必要な公知の各種構成に接続されている。
1−12.画像認識方法
次に、本実施形態に係るナビゲーション装置1において実行される案内処理の手順について説明する。図11は、本実施形態に係る画像認識処理の全体の手順を示すフローチャートである。以下に説明する画像認識処理の手順は、上記のナビゲーション装置1の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方の組み合わせにより実行される。ナビゲーション装置1の各機能部がプログラムにより構成される場合には、ナビゲーション装置1が有する演算処理装置は、上記の各機能部を構成するナビゲーションプログラムを実行するコンピュータとして動作する。
ナビゲーション装置1は、まず、自位置情報取得部12により、自位置情報Lを取得する(ステップ#01)。ここで、自位置情報Lは、GPS受信機31、距離センサ32、及び方位センサ33からの出力に基づいて演算された自車両100の現在位置の情報及び進行方位の情報を含む情報となっている。自位置情報取得部12は、取得して自位置情報Lに基づいて、地図情報Mに含まれるデータ抽出部17により地図データベース19から抽出された自位置周辺の地図情報Mを取得し、マップマッチング処理を行う(ステップ#02)。したがって、自位置情報取得部12は、地図情報Mに示される道路上における自位置を認識することができる。ここで、この段階での自位置情報Lには、GPS受信機31、距離センサ32、及び方位センサ33の検出精度等に起因する誤差を含んだ情報となっている。
地図情報Mには、都道府県を示す情報が含まれている。この情報に基づいて、地域判定部13は、自位置が存在する都道府県の判定を行い、特定する(ステップ#03)。また、対象地物設定部14は、マップマッチング処理により認識された自位置周辺、特に自車両100の進行方向の一定距離内(例えば100メートル)の路面に設けられた道路標示等の地物があるか否かの判定を行う(ステップ#04)。自車両100の進行方向に地物がなければ(ステップ#04:No)、対象地物ftを設定せずに処理を終了する。一方、自車両100の進行方向に地物があれば(ステップ#04:Yes)、対象地物設定部14は、自車両100の進行方向に最も近い位置に存在する当該地物を対象地物ftとして設定する(ステップ#05)。
認識ロジック選択部15は、対象地物ftに設定された地物の種別に応じて、画像認識に対して必要な認識ロジックの選択を行う(ステップ#06)。そして、画像認識部11は、認識ロジック選択部15が選択した認識ロジックを、認識ロジック格納部20から参照する(ステップ#07)。更に、認識ロジック格納部20に格納されている、自車両100が存在する都道府県に対応する地域パラメータlpをステップ#07で参照している基本認識ロジックblに対して適用する(ステップ#08)。
これに対して、画像情報取得部10は、撮像装置30が撮像した自位置周辺の画像情報Gを取得する(ステップ#09)。取得された画像情報Gは、画像認識部11に伝達される。画像認識部11は、画像情報Gに含まれる対象地物ftの画像認識処理を行う(ステップ#10)。この画像認識処理は、認識ロジック格納部20から参照している対象地物ftの種別に対応する基本認識ロジックblに、自車両100が存在する都道府県に対応する地域パラメータlpを適用した地域毎の認識ロジックで行われる。なお、画像認識処理は、自車両100が存在する位置から前後誤差を考慮して、対象地物ftが存在するであろう領域内で繰り返して行われる。
ここで、対象地物ftの位置情報は、地図データベース19に格納されている地物情報Fに含まれることから、対象地物ftの画像認識処理が成功した場合には、対象地物ftの位置情報に基づいて、自車両100が存在する位置を特定することが可能である。そのため、画像認識部11が画像情報Gに含まれる対象地物ftについて画像認識が成功したか否かの確認を行う。画像認識部11が、画像認識が成功した場合には(ステップ#11:Yes)、自位置情報補正部16が自位置情報Lの補正を行う(ステップ#12)。
自位置情報補正部16は、ステップ#10における画像認識処理結果に基づく自車両100と対象地物ftとの位置関係の演算結果と、対象地物ftの位置情報とに基づいて、対象地物ftの位置情報を基準とする高精度な自車両100の位置情報を演算して取得し、当該位置情報に基づいて自位置情報Lの補正を行い、処理を終了する。一方、ステップ#11において対象地物ftの画像認識が成功しなかった場合には(ステップ#11:No)、自位置情報Lの補正を行わずに、処理を終了する。
ここで、画像認識処理が成功しなかった場合に、自位置補正を行わずに処理を終了するのは、自位置補正を行うために利用する材料(対象地物ftや、誤差の少ない他の地物の位置情報等)をナビゲーション装置1が取得できていないことによる。
このように自位置が存在する地域の認識ロジックを使用することにより、画像情報Gに含まれる対象地物ftの画像認識を高い認識率で行い、当該対象地物ftの認識結果と認識された対象地物ftの位置情報を利用して自位置情報Lを補正することができるため、誤差の少ない自位置情報Lを取得できる。したがって、高精度な自車位置の表示や、高精度な自車位置に基づく最適な経路案内を行うことが可能となる。
2.第二の実施形態
次に、本発明に係る第二の実施形態について説明する。第二の実施形態は、認識ロジック格納部20に格納されている認識ロジックが、地物の種別と、地域との組み合わせ毎に夫々構成されている点において、第一の実施形態と異なる。ナビゲーション装置1が備える認識ロジック格納部20に格納されている認識ロジック、及び認識ロジック格納部20から画像認識部11が行う画像認識処理に用いる認識ロジックの選択以外の各機能部等の構成については第一の実施形態と同様である。そのため、以下では認識ロジック選択部15、及び認識ロジック格納部20を中心として説明する。なお、本説明に記載の符号は、第一の実施形態における説明に用いた符号と同様のものを用いて説明する。
2−1.認識ロジック格納部
本実施形態においても、認識ロジック格納部20には、画像情報Gに含まれる対象地物ftの画像認識処理を行う際に、画像認識部11において用いられる認識ロジックが格納される。当該認識ロジックは、第一の実施形態と同様、画像認識処理において画像認識部11により用いられる画像認識アルゴリズム(プログラム)として機能する。図12は、第二の実施形態に係る認識ロジック格納部20に格納される認識ロジックの構成の一例を示したものである。本実施形態に係る認識ロジックは、例えば、「「横断歩道あり」愛知県用認識ロジック」のように道路標示等を含む地物の種別と地域との組み合わせ毎に夫々規定され、格納されている。
2−2.認識ロジック選択部
本実施形態においても、認識ロジック選択部15は、画像認識部11が撮像装置30により取得された画像情報Gに含まれる地物の画像認識を行うために用いる認識ロジックを選択する認識ロジック選択手段として機能する。認識ロジック選択部15は、地域判定部13により判定された自車両100が存在する地域情報と、対象地物設定部14により設定された自車両100の所定距離先に存在する対象地物ftの地物情報Fとに基づいて、認識ロジックの選択を行う。画像認識処理においては、認識ロジック選択部15により選択された認識ロジックを画像認識部11が用いて行われる。
例えば、地域判定部13により自車両100が「愛知県」に存在すると判定され、対象地物設定部14により対象地物ftが「横断歩道あり」標示として設定された場合には、認識ロジック選択部15は「「横断歩道あり」愛知県用認識ロジック」を選択する。このように選択された「「横断歩道あり」愛知県用認識ロジック」を画像認識部11が用いることにより、「愛知県」における「横断歩道あり」標示について適切に画像認識を行うことが可能となる。或いは、自車両100が「大阪府」に存在し、対象地物ftが「止まれ」標示として設定された場合には、上記と同様に、認識ロジック選択部15は「「止まれ」大阪府用認識ロジック」を選択する。したがって、「大阪府」における「止まれ」標示について、適切に画像認識を行うことが可能となる。
このように、自車両100が存在する地域情報と、設定された対象地物ftの種別とに基づいて、自車両100が存在する地域の地物に適した認識ロジックを使用することが可能となる。また、「速度制限」標示の認識ロジックは、速度制限毎、例えば「30」、「50」、「60」等毎に異なる地物として認識ロジックを備えておくと好適である。
2−3.画像認識方法
画像認識部11において行われる画像認識処理は、以下のように行われる。まず、上述の第一の実施形態と同様に自位置情報取得部12が取得した自位置情報Lを用いて行われたマップマッチング処理に基づいて、地域判定部13が自車両100の存在する地域(都道府県)を判定する。次に、対象地物設定部14が自車両100の進行方向にある地物を対象地物ftとして設定する。そして、認識ロジック選択部15が、対象地物設定部14により設定された対象地物ftの種別と、地域判定部13により判定された地域とを条件に、それらの両方に対応する認識ロジックを選択する。この選択結果に基づいて、画像認識部11は対象地物ftに対応し、且つ、自車両100が存在する地域(都道府県)に対応する認識ロジックを参照する。そして、当該認識ロジックを、画像認識処理のロジックとして使用する。
例えば、地域判定部13が、自車両100が愛知県に存在し、且つ対象地物設定部14が対象地物ftを「止まれ」標示として設定した場合には、画像認識部11は認識ロジック格納部20から「止まれ」標示に適した認識ロジックであり、且つ、「愛知県」における地物の画像認識に適した認識ロジックを参照し、「「止まれ」愛知県用認識ロジック」を認識ロジックとして使用する。このような構成であっても、自車両100が存在する地域に応じた対象地物ftの認識に適したロジックを使用することができるため、画像認識における認識率を向上させることが可能となる。
また、対象地物ftとなりえる地物の形態情報が他の地域における地物の形態情報と同様な場合においては、認識ロジックを共有化することも可能である。このような場合にあっては、例えば「「止まれ」愛知県用認識ロジック」と「「止まれ」兵庫県用認識ロジック」とを共有化するような構成とすることも当然に可能である。そして、上述のように画像認識された対象地物ftの位置情報を用いて、第一の実施形態と同様に、自位置情報補正部16が自位置情報Lの補正を行うことが可能である。
3.第三の実施形態
次に、本発明に係る第三の実施形態について説明する。第三の実施形態は、認識ロジック格納部20に格納されている認識ロジックが、地域毎に分類された認識ロジックから構成されている点において、第一及び第二の実施形態と異なる。ナビゲーション装置1が備える認識ロジック格納部20に格納されている認識ロジック、及び認識ロジック格納部20から画像認識部11が行う画像認識処理に用いる認識ロジックの選択以外の各機能部等の構成については第一の実施形態と同様である。そのため、以下では認識ロジック選択部15、及び認識ロジック格納部20を中心として説明する。なお、本説明に記載の符号は、第一の実施形態における説明に用いた符号と同様のものを用いて説明する。
3−1.認識ロジック格納部
本実施形態においても、認識ロジック格納部20には、画像情報Gに含まれる対象地物ftの画像認識処理を行う際に、画像認識部11において用いられる認識ロジックが格納される。当該認識ロジックは、第一の実施形態と同様、画像認識処理において画像認識部11により用いられる画像認識アルゴリズム(プログラム)として機能する。図13は、第三の実施形態に係る認識ロジック格納部20に格納される認識ロジックの構成の一例を示したものである。本実施形態に係る認識ロジックは、例えば都道府県毎等で区分けされた地域毎に規定されている。そして、図示はしないが、当該地域毎に区分けされた認識ロジックに、道路標示等を含む地物の認識ロジックが含まれるように構成されている。このように構成された認識ロジックを後述の認識ロジック選択部15が選択して、画像認識部11が行う画像認識処理に用いられる。なお、本実施形態においては、上述の第一及び第二実施形態と異なり、対象地物設定部14による対象地物ftの設定は行われず、認識ロジック内に含まれる地物の認識ロジックに対応する地物種別の地物に対して、画像認識処理を行う。したがって、画像認識対象となる一つ又は二つ以上の地物種別を予め設定しておき、その地物種別に対応した地物の認識ロジックが地域毎の認識ロジックに含まれる構成とすると好適である。
3−2.認識ロジック選択部
本実施形態においても、認識ロジック選択部15は、画像認識部11が撮像装置30により取得された画像情報Gに含まれる地物の画像認識を行うために用いる認識ロジックを選択する認識ロジック選択手段として機能する。認識ロジック選択部15は、地域判定部13により判定された自車両100が存在する地域情報に基づいて、認識ロジックの選択を行う。したがって、画像認識処理においては、地域判定部13により判定された自車両100が存在する地域に対応する地域毎の認識ロジックが利用される。以下に、認識ロジックの選択について、図13を用いて説明する。
例えば、地域判定部13により自車両100が「愛知県」に存在すると判定された場合には、まず、自車両100が「愛知県」に存在することから、認識ロジック選択部15は「愛知県用認識ロジック」を選択する。この「愛知県用認識ロジック」には、予め対象地物ftとすべき地物種別に対応する地物毎の認識ロジックが含まれている。この対象地物ftとすべき地物種別は、1種類であっても良いし、複数種類あっても良い。このように選択された「愛知県」における認識ロジックを画像認識部11が用いることにより、適切に予め対象地物ftとして設定されている地物の画像認識を行うことが可能となる。或いは、自車両100が「大阪府」に存在する場合には、上記と同様に、自車両100が「大阪府」に存在することから、認識ロジック選択部15は「大阪府用認識ロジック」を選択する。このように選択された「大阪府」における認識ロジックを画像認識部11が用いることにより、適切に画像認識を行うことが可能となる。
このように、自車両100が存在する地域情報と、予め設定された対象地物ftとに基づいて、自車両100が存在する地域の地物に適した認識ロジックを使用することが可能となる。なお、このような構成で画像認識処理を行えば、撮像装置30により取得された一つの画像データに対して、全ての地物種別の認識ロジックを順次適用して画像認識を行うようにすると好適である。
3−3.画像認識方法
画像認識部11において行われる画像認識処理は、以下のように行われる。まず、上述の第一の実施形態と同様に自位置情報取得部12が取得した自位置情報Lを用いて行われたマップマッチング処理に基づいて、地域判定部13が自車両100の存在する地域(都道府県)を判定する。次に、認識ロジック選択部15が、地域判定部13により判定された地域に対応する認識ロジックを選択する。この選択結果に基づいて、画像認識部11は自車両100が存在する地域(都道府県)に対応する認識ロジックを参照し、画像認識処理のロジックとして使用する。また、予め設定された画像認識対象となる地物種別に対応した地物の認識ロジックが、地域に対応する認識ロジックに含まれているので、画像認識部11は、当該設定された地物種別の地物について、画像認識処理を行う。
例えば、地域判定部13が、自車両100が愛知県に存在する場合には、画像認識部11は認識ロジック格納部20から「愛知県用認識ロジック」を参照して使用する。このような構成であっても、自車両100が存在する地域に応じた対象地物ftの認識に適したロジックを使用することができるため、画像認識における認識率を向上させることが可能となる。
また、対象地物ftとなりえる地物の形態情報が他の地域における地物の形態情報と同様な場合においては、地物用の認識ロジックを共有化することも可能である。このような場合にあっては、地域毎の認識ロジック、例えば「愛知県用認識ロジック」と「岐阜県用認識ロジック」とを共通の認識ロジックとして構成することも当然に可能である。そして、上述のように画像認識された対象地物ftの位置情報を用いて、第一、及び第二の実施形態と同様に、自位置情報補正部16が自位置情報Lの補正を行うことが可能である。
4.その他の実施形態
(1)上記実施形態では、撮像装置30は、少なくとも自車両100の周辺の道路表面を撮像可能な位置に配設され、バックカメラ101により構成されると好適であるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、道路標示を撮影することが可能なように、バックカメラ101とは別に、撮像装置30としてのカメラを設けることも、当然に可能である。更に、別途設けられたカメラ、例えば、車両前方、或いは側方を撮影するカメラで取得された撮像画像の画像認識処理に対して、本発明に係る画像認識を行うことも当然に可能である。
(2)上記実施形態では、認識ロジックは地物の種別毎に規定されているとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。地物の種別毎に認識ロジックを設けなくても、地域毎に認識ロジックを設けることにより、本発明に係る画像認識を行うことは当然に可能である。
(3)上記実施形態では、特徴量cpは、対象地物ftの全体の大きさ、対象地物ftを構成する各部分の線幅、対象地物ftの全体又は部分の特徴的な形状、及び対象地物ftの全体に対する特徴的な形状の部分の位置の全てを含むとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。特徴量cpとして、対象地物ftの全体の大きさ、対象地物ftを構成する各部分の線幅、対象地物ftの全体又は部分の特徴的な形状、及び対象地物ftの全体に対する特徴的な形状の部分の位置のうちの1つ、2つ、或いは3つを含むように構成することも当然に可能である。
(4)上記実施形態では、特徴量cpとして、例えば対象地物ftの全体の大きさ、対象地物ftを構成する各部分の線幅、対象地物ftの全体又は部分の特徴的な形状、及び対象地物ftの全体に対する特徴的な形状の部分の位置等を含むとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。上記特徴量cpの他に、道路標示等の地物の色彩を特徴量cp或いは差異点dpに含めるような認識ロジックとすることも当然に可能である。
(5)上記実施形態では、対象地物ftは道路の路面に設けられた道路標示であり、対象地物ftの形態の地域毎の差異は、道路標示に設けられたスリットCの有無、スリットCの数、スリットCの位置の全てを含むとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。対象地物ftの形態の地域毎の差異として、道路標示に設けられたスリットCの有無、スリットCの数、スリットCの位置のうちの1つ、或いは2つを適用することも当然に可能である。
(6)上記実施形態では、対象地物ftの位置情報は、地図データベース19に格納される地物情報Fから取得されるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。対象地物ftと設定され得る地物の地物情報Fを、地図データベース19とは別のデータベース或いは格納部を設けることにより、格納する構成とすることも当然に可能である。
(7)上記実施形態では、画像認識装置2を含むナビゲーション装置1の全ての構成が自車両100に搭載される場合を例として説明した。しかし、本発明の適用範囲は、このような構成に限定されるものではない。すなわち、例えば、地図データベース19や認識ロジック格納部20等のデータを格納しておく格納部がインターネット等の通信ネットワークを介して接続された状態で自車両100の外に設置されており、ネットワークを介して情報や信号の送受信を行うことにより、画像認識装置2、及びナビゲーション装置1を構成するものとすることも、本発明の好適な実施形態の一つである。このような構成では、データを定期的に更新することが容易になるので、自車両100では新しいデータを用いて画像認識及びナビゲーション処理を行うことが容易となる。更には、ナビゲーション装置1が、地図データベース19や認識ロジック格納部20を備える必要がないため、ナビゲーション装置1が備える記録容量を低減することができる。
更には、画像認識部11、地域判定部13、対象地物設定部14、認識ロジック選択部15、自位置情報補正部16、データ抽出部17等の各機能部をネットワークを介して設けられたサーバに構成することも、本発明の好適な実施形態の一つである。このような構成においては、画像情報取得部10により取得された画像情報Gと、自位置情報取得部12により取得された自位置情報Lとをネットワークを介して設けられたサーバに送信することにより、サーバにおいて高精度な自位置情報Lが演算され、当該高精度な自位置情報Lを自車両100が受信してナビゲーション処理に利用することが可能となる。また、このような構成とすれば、画像処理装置2をナビゲーション装置1が備えることを不要とすることができるため、コンパクトにナビゲーション装置1を構成することが可能となる。更には、外部に設けられたサーバで種々の演算処理を行うため、ナビゲーション装置1の演算処理負荷を軽減することができる。
(8)上記実施形態では、画像認識装置2をナビゲーション装置1に利用する場合の例について説明した。しかしながら、本発明の適用範囲は、これに限定されるものではなく、車両の走行制御装置等の他の用途に利用することも当然に可能である。
本発明は、例えば、車両等に搭載される自位置周辺を撮影して得られる画像情報に対して、画像認識処理を行うための画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム等に好適に利用することが可能である。
本発明の第一実施形態に係る画像認識装置を含むナビゲーション装置の概略構成を示すブロック図 地図データベースに格納されている地図情報及び地物情報の構成の例を示す説明図 自車両の走行状態における進行方向と対象地物の関係を示す図 「横断歩道あり」標示の大きさ及び線幅の差異の一例を示す図 「横断歩道あり」標示に設けられたスリットの数及び位置関係の差異の一例を示す図 「止まれ」標示の文字形態の差異の一例を示す図 「止まれ」標示に設けられたスリットの数及び位置関係に差異の一例を示す図 本発明の第一実施形態に係る認識ロジックの構成の一例を示す図 対象地物に設定された道路標示の全体の大きさ及び道路標示を構成する各部分の線幅における判定閾値の一例を示す図 対象地物に設定された道路標示の特徴量及び差異点の一例を示す図 本発明の第一実施形態に係る画像認識方法を用いた自位置補正の処理順序を示すフローチャート 本発明の第二実施形態に係る認識ロジックの構成の一例を示す図 本発明の第三実施形態に係る認識ロジックの構成の一例を示す図
符号の説明
1:ナビゲーション装置
2:画像認識装置
10:画像情報取得部(画像情報取得手段)
11:画像認識部(画像認識手段)
12:自位置情報取得部(自位置情報取得手段)
13:地域判定部(地域判定手段)
14:対象地物設定部(対象地物設定手段)
15:認識ロジック選択部(認識ロジック選択手段)
16:自位置情報補正部(自位置情報補正手段)
17:データ抽出部(データ抽出手段)
18:ナビゲーション用演算部(ナビゲーション用演算手段)
19:地図データベース
20:認識ロジック格納部
30:撮像装置
31:GPS受信機
32:距離センサ
33:方位センサ
34:表示装置
35:スピーカ
41:アプリケーションプログラム
F:地物情報
G:画像情報
L:自位置情報
M:地図情報

Claims (6)

  1. 自位置周辺を撮影して得られる画像情報を取得する画像情報取得手段と、
    自位置を示す自位置情報を取得する自位置情報取得手段と、
    前記画像情報に含まれる対象地物の画像認識処理を所定の認識ロジックに従って行う画像認識手段と、
    前記自位置情報に基づいて、自位置が存在する地域を判定する地域判定手段と、
    対象地物の形態における地域毎の差異に応じて規定された複数の地域毎の認識ロジックの中から、前記地域判定手段により判定された自位置が存在する地域に応じて、前記画像認識処理に用いる前記認識ロジックを選択する認識ロジック選択手段と、
    を備え
    前記地域毎の認識ロジックは、全ての地域に共通の基本認識ロジックに対して、対象地物の形態における地域毎の差異に応じて規定された地域パラメータを適用して規定され、
    前記地域パラメータは、地域毎に異なる、対象地物の全体の大きさ、対象地物を構成する各部分の線幅、対象地物の全体に対する特徴的な形状の部分の位置、並びにスリットの数量及び位置のいずれか一つ以上を含む画像認識装置。
  2. 自位置から所定距離先に存在する対象地物を前記画像認識処理の対象に設定する対象地物設定部を更に備え、
    前記認識ロジック選択手段は、自位置が存在する地域を表す地域情報と、前記対象地物設定部により設定された前記対象地物の地物情報とに基づいて、対象地物の地物種別に応じた地域毎の認識ロジックの選択を行う請求項1に記載の画像認識装置。
  3. 請求項1又は2に記載の画像認識装置と、
    前記画像認識装置による画像認識処理結果と認識された対象地物の位置情報とに基づいて前記自位置情報を補正する自位置情報補正手段と、
    を備えるナビゲーション装置。
  4. 自位置周辺を撮影して得られる画像情報を取得する画像情報取得ステップと、
    自位置を示す自位置情報を取得する自位置情報取得ステップと、
    前記画像情報に含まれる対象地物の画像認識処理を所定の認識ロジックに従って行う画像認識ステップと、
    前記自位置情報に基づいて、自位置が存在する地域を判定する地域判定ステップと、
    対象地物の形態の地域毎の差異に応じて規定された複数の地域毎の認識ロジックの中から、前記地域判定ステップにより判定された自位置が存在する地域に応じて、前記画像認識処理に用いる前記認識ロジックを選択する認識ロジック選択ステップと、
    をコンピュータに実現させる画像認識装置のためのプログラムであって、
    前記地域毎の認識ロジックは、全ての地域に共通の基本認識ロジックに対して、対象地物の形態における地域毎の差異に応じて規定された地域パラメータを適用して規定され、
    前記地域パラメータは、地域毎に異なる、対象地物の全体の大きさ、対象地物を構成する各部分の線幅、対象地物の全体に対する特徴的な形状の部分の位置、並びにスリットの数量及び位置のいずれか一つ以上を含む画像認識装置のためのプログラム。
  5. 自位置から所定距離先に存在する対象地物を前記画像認識処理の対象に設定する対象地物設定ステップを更に備え、
    前記認識ロジック選択ステップは、自位置が存在する地域を表す地域情報と、前記対象地物設定ステップにより設定された前記対象地物の地物情報とに基づいて、対象地物の地物種別に応じた地域毎の認識ロジックの選択を行う請求項4に記載の画像認識装置のためのプログラム。
  6. 請求項4又は5に記載の画像認識装置のためのプログラムと、
    前記画像認識装置のためのプログラムによる画像認識処理結果と認識された対象地物の位置情報とに基づいて前記自位置情報を補正する自位置情報補正ステップと、
    をコンピュータに実現させるナビゲーション装置のためのプログラム。
JP2007209582A 2007-08-10 2007-08-10 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム Expired - Fee Related JP4953012B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007209582A JP4953012B2 (ja) 2007-08-10 2007-08-10 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007209582A JP4953012B2 (ja) 2007-08-10 2007-08-10 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム

Publications (2)

Publication Number Publication Date
JP2009042167A JP2009042167A (ja) 2009-02-26
JP4953012B2 true JP4953012B2 (ja) 2012-06-13

Family

ID=40443043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007209582A Expired - Fee Related JP4953012B2 (ja) 2007-08-10 2007-08-10 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム

Country Status (1)

Country Link
JP (1) JP4953012B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2792336C (en) * 2010-03-19 2018-07-24 Digimarc Corporation Intuitive computing methods and systems
KR101854932B1 (ko) * 2013-02-20 2018-05-04 주식회사 만도 차량 카메라 시스템의 자동 정보갱신 방법 및 시스템
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
JP6521082B2 (ja) * 2015-09-30 2019-06-05 日産自動車株式会社 走行制御方法および走行制御装置
JP6874315B2 (ja) * 2016-09-30 2021-05-19 株式会社リコー 情報処理装置、情報処理方法およびプログラム
JP6825299B2 (ja) * 2016-10-24 2021-02-03 株式会社リコー 情報処理装置、情報処理方法およびプログラム
JP2018081404A (ja) * 2016-11-15 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 識別方法、識別装置、識別器生成方法及び識別器生成装置
JP7167850B2 (ja) * 2019-05-22 2022-11-09 株式会社Jvcケンウッド 人物判定用の学習済みモデルセットの生成装置、生成方法、生成プログラム、人物領域判定装置、判定方法、および判定プログラム
JP7364365B2 (ja) * 2019-06-18 2023-10-18 矢崎エナジーシステム株式会社 車載器及び運転評価システム
JP7525220B2 (ja) 2020-04-08 2024-07-30 日本電気通信システム株式会社 推定装置、学習装置、推定方法及びプログラム
WO2022195870A1 (ja) * 2021-03-19 2022-09-22 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび端末装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09243389A (ja) * 1996-03-08 1997-09-19 Alpine Electron Inc 車載用ナビゲーション装置
JP4548607B2 (ja) * 2005-08-04 2010-09-22 アルパイン株式会社 標識提示装置及び標識提示方法
JP4637302B2 (ja) * 2005-08-05 2011-02-23 アイシン・エィ・ダブリュ株式会社 路面標示認識システム

Also Published As

Publication number Publication date
JP2009042167A (ja) 2009-02-26

Similar Documents

Publication Publication Date Title
JP4953012B2 (ja) 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム
US8346473B2 (en) Lane determining device, lane determining method and navigation apparatus using the same
JP4831434B2 (ja) 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
CN101447019B (zh) 图像识别装置以及图像识别方法
JP4703605B2 (ja) 地物抽出方法、並びにそれを用いた画像認識方法及び地物データベース作成方法
JP4569837B2 (ja) 地物情報収集装置及び地物情報収集方法
JP5141969B2 (ja) 画像認識装置及び画像認識プログラム、並びにそれを用いた地点情報収集装置及びナビゲーション装置
JP2008196968A (ja) レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置
JP4953015B2 (ja) 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置
JP4936070B2 (ja) ナビゲーション装置及びナビゲーションプログラム
JP2008196969A (ja) レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置
JP4875509B2 (ja) ナビゲーション装置及びナビゲーション方法
JP2008298699A (ja) 自車位置認識装置及び自車位置認識方法
JP4731380B2 (ja) 自車位置認識装置及び自車位置認識方法
JP4831433B2 (ja) 自車位置認識装置及び自車位置認識プログラム、並びにナビゲーション装置
JP5099460B2 (ja) 地物情報収集装置及び地物情報収集方法
JP4789868B2 (ja) 画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置
JP4497424B2 (ja) 地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法
JP2009058430A (ja) ナビゲーション装置及びナビゲーションプログラム
JP4817019B2 (ja) 自車位置認識装置及び自車位置認識プログラム
JP2012208877A (ja) 車両情報取得装置、車両情報取得方法及びプログラム
JP2010185879A (ja) 自車位置認識装置及び自車位置認識方法
JP5001911B2 (ja) 停止義務地点学習装置及び停止義務地点学習プログラム、並びにこれを用いたナビゲーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120216

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120229

R150 Certificate of patent or registration of utility model

Ref document number: 4953012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees