JP4093026B2

JP4093026B2 - Road environment information notification device, in-vehicle notification device, information center device, and road environment information notification program

Info

Publication number: JP4093026B2
Application number: JP2002334418A
Authority: JP
Inventors: 勝彦高橋; 大輔西脇; 敦佐藤
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2002-11-18
Filing date: 2002-11-18
Publication date: 2008-05-28
Anticipated expiration: 2022-11-18
Also published as: JP2004171159A

Description

【０００１】
【発明の属する技術分野】
本発明は、車載報知装置の車載カメラで撮像した映像から、カーナビゲーションシステムやＶＩＣＳ情報では提供されない、道路標識、路面標識、信号機、歩行者、及び周辺車両等の属性や存在位置等の情報を時々刻々と画像認識によって認識し、各車両が認識した情報を、ネットワークを介して、集約、統合、または配信することによって、運転者の行動決定に有益で信頼性の高い情報をリアルタイムに提供する道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラムに関する。
【０００２】
【従来の技術】
車両（自動車等）の運転者の行動決定を支援するシステムとして、カーナビゲーションシステムが普及している。カーナビゲーションシステムは、地図情報及びＶＩＣＳ（Vehicle Information and Communication System；交通情報通信システム）情報を利用して、道路の位置、道路の混雑状況、自車両の現在位置、目的地への経路等の情報をモニタによる図形表示または音声によって運転者に通知し、運転者の行動を支援するシステムである。
【０００３】
しかし、カーナビゲーションシステムは、一時停止標識等の道路標識、信号の状態、または道路上における車両や歩行者の有無等物体に関する情報（以下、道路環境情報という。）を提供できないため、運転者は、道路標識や歩行者等を見逃さないように注意を払って運転しなければならない。そこで、運転者による道路環境情報の取得を補助するシステムとして、運転者が運転する自車両に搭載されたカメラによって道路標識等の道路環境情報を認識し、文字、図形、または音声によって運転者に道路環境情報を通知するリアルタイム情報提供システムが、特許文献１、特許文献２、特許文献３、及び非特許文献１に開示されている。
【０００４】
これらのリアルタイム情報提供システムによって、道路標識や歩行者等の物体情報の発見に注がれていた運転者の負荷を軽減することができる。また、これらのリアルタイム情報提供システムを実現するためには、車両内にカメラ付きカーナビゲーションシステムのみを設置すればよいので、必要機器の設置及びシステムの維持が容易であり、廉価にシステムを構築できる。
【０００５】
また、我が国の国土交通省は、人と道路と車両とをネットワークで結び交通事故等の解消を目指す高度道路交通システム（ＩＴＳ；Intelligent Transport Systems ）を提唱している。高度道路交通システム構想の1つの柱である走行支援道路システム（ＡＨＳ：Advanced cruise-assist Highway Systems）は、（１）道路に設置されたセンサ等のインフラストラクチャが発信する歩行者、車両位置情報及び路面状態情報、（２）信号機が発信する信号機点灯情報、（３）他車両が発信する他車両位置情報を、各車両に設置される受信装置が受信することによって、各車両の完全自動走行を実現することを目的とする技術である（例えば、非特許文献２参照。）。
【０００６】
また、道路脇に設置されるカメラで撮像した映像を、ネットワークを介して運転者に提供する交通情報提供システムが、非特許文献３参照に開示されている。
【０００７】
さらに、ＧＰＳ（Global Positioning System ）による車両位置情報を、ネットワークを介して車両間で送受信し、車両同士の衝突及び車両が道路路肩に衝突するのを回避するシステムが、非特許文献４、非特許文献５、及び非特許文献６参照に開示されている。
【０００８】
【特許文献１】
特開２０００−６７３７４号公報（第４−６頁、第１図、第２図）
【特許文献２】
特開平１０−１７７６９９号公報（第３−５頁、第１図）
【特許文献３】
特開２００１−８４４９６号公報（第４−８頁、第１図、第８図、第１０図）
【非特許文献１】
米国特許第６３１１１２３号明細書
【非特許文献２】
国土交通省編、”ＡＨＳ”、[online]、平成１４年４月１日、国土交通省、［平成１４年９月９日検索］、インターネット＜URL : http://www.nilim.go.jp/japanese/its/fields/ahs/＞
【非特許文献３】
米国特許第５３９６４２９号明細書
【非特許文献４】
米国特許第６４０５１３２号明細書
【非特許文献５】
米国特許第６３７０４７５号明細書
【非特許文献６】
米国特許第６２７５７７３号明細書
【０００９】
【発明が解決しようとする課題】
しかしながら、自車両の車載カメラによって道路環境情報を通知する従来のリアルタイム情報提供システムは、運転者が自ら知覚可能な情報を、運転者が知覚するのとほぼ同時刻に運転者に提供するにすぎない。よって、従来のリアルタイム情報提供システムによって、運転者の不注意による道路環境情報の見落としを低減することはできるが、運転者が特定の時刻において自ら知覚できない他の有用な道路環境情報を取得し、運転者に提供することはできない。
【００１０】
例えば、道路を走行中に、車高の高い車両（例えば、トレーラ等）が自車両の前方視界を遮っており、運転者が前方の信号の点灯状態（例えば、赤信号であるか、青信号であるか等）や前方道路上の路肩駐車車両の有無等の道路状況をできるだけ早く把握したい場合に、従来のリアルタイム情報提供システムは、運転者自らが知覚する前に、信号の点灯状態や前方車両の有無の情報を運転者に通知できない可能性がある。
【００１１】
また、一般にコンピュータビジョン（Computer vision）と呼ばれる物体認識の技術の性能は、人間の視覚能力に比べて低い。従って、自車両に設置されたカメラと認識対象物体との位置関係や日照条件等によっては、認識対象物体をうまく認識できない場合があるが、従来のリアルタイム情報提供システムは、このようなコンピュータビジョン技術の物体認識における不完全さを補う手段を持たない。
【００１２】
また、ＡＨＳでは、道路上に隈無くセンサ等のインフラストラクチャを設置するので、運転者が目視により知覚するよりも早く正確な道路環境情報を運転者に通知できる。しかし、道路へのセンサ等のインフラストラクチャの設置と、インフラストラクチャの維持及び管理とに多額の費用が必要であるので、コスト面と実現可能性の面において問題を有する。また、道路に設置されたインフラストラクチャと車両との間で通信される情報と、各車両間で通信される情報とは常に正しい情報であることを前提としているので、不正確な情報を送受信した場合に情報の不正確さを補う仕組みや、不正確な情報を統合する仕組みを有していない。
【００１３】
また、ＧＰＳによる車両位置情報をネットワークを介して各車両間で送受信するシステムでは、ガードレール、信号機、または道路標識等から位置情報信号を送信できるようにするために膨大なインフラストラクチャ投資が必要である。また、そのシステムでは、正確な位置情報を送受信できるが、不正確な要素を含む画像認識の結果情報を授受して統合する仕組みを有していない。
【００１４】
そこで、本発明は、道路にインフラストラクチャを設置せずに廉価に構築でき、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供でき、且つ画像認識の結果情報の信頼性を向上できる道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラムを提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明による道路環境情報通知装置は、車両内に設置される車載報知装置と、情報センタ内に設置される情報センタ内装置とを含み、運転者に道路環境に関する情報である道路環境情報を通知する道路環境情報通知装置であって、車載報知装置は、車両周辺を撮像して画像情報を出力する撮像手段と、車両の絶対位置を把握する車両位置把握手段と、撮像された画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する画像認識手段と、画像認識手段が出力する画像認識の結果の情報と、車両の絶対位置の情報とに基づいて、画像認識の結果の情報を含む画像認識結果情報を生成する画像認識結果情報生成手段と、画像認識結果生成手段が生成した画像認識結果情報を、情報センタ内装置に送信する画像認識結果情報送信手段と、情報センタ内装置で生成された道路環境に関する情報である道路環境再現データを、情報センタ内装置から受信する道路環境再現データ受信手段と、道路環境再現データに含まれる情報を運転者に通知する情報通知手段とを備え、情報センタ内装置は、画像認識結果情報を、車載報知装置から受信する画像認識結果情報受信手段と、車載報知装置から受信した画像認識結果情報を、画像認識結果情報の履歴情報として記憶する画像認識結果情報記憶手段と、現時刻における認識対象物体の絶対位置と属性とに関する最新の推定結果を含むとともに、認識対象物体の撮像画像と認識対象物体とのパターンとの類似度又は推定した認識対象物体の絶対位置と最新の画像認識結果情報に含まれる絶対位置との差によって求められる類似度である、推定結果の確かさを示す総合確信度を含む道路環境再現データを記憶する道路環境再現データ記憶手段と、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報と、道路環境再現データ記憶手段が記憶する道路再現データとに基づいて、受信した画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データをさらに生成する道路環境再現データ統合生成手段と、道路環境再現データ統合生成手段が生成した道路環境再現データを、車載報知装置に送信する道路環境再現データ送信手段とを備えたことを特徴とする。
【００１６】
そのような構成によれば、道路にインフラストラクチャを設置せずに廉価にシステムを構築することができ、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供することができ、且つ画像認識の結果情報の信頼性を向上することができる。
【００１９】
車載報知装置は、情報センタ内装置から受信した道路環境再現データと、画像認識結果情報生成手段が出力する画像認識結果情報とを参照して、運転者に重要であると判断される情報を、道路環境再現データまたは画像認識結果情報から選択して抽出する重要情報選択手段を備えたものであることが好ましい。
【００２０】
そのような構成によれば、道路再現データまたは画像認識結果情報に含まれる情報のうち運転者に重要な情報のみを通知することができる。
【００２１】
車載報知装置または情報センタ内装置において、画像認識手段は、撮像された画像情報に基づいて画像認識をすることによって、認識対象物体の属性、車両に対する相対位置、及び認識時刻を抽出し、且つ画像認識によって得られた結果の確かさを示す認識確信度を算出して、属性、相対位置、認識時刻、及び認識確信度を含む画像認識の結果の情報を出力し、画像認識結果情報生成手段は、画像認識情報に含まれる認識対象物体の車両に対する相対位置と、車両位置把握手段が取得する車両の絶対位置とに基づいて、認識対象物体の絶対位置を算出し、認識対象物体の絶対位置、属性、認識時刻、及び認識確信度を含む情報を画像認識結果情報として生成し、道路環境再現データ統合生成手段は、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報に含まれる認識確信度と一時刻前における道路環境再現データに含まれる総合確信度との値に基づいて、画像認識結果情報の履歴情報に含まれる情報の内容と道路環境再現データに含まれる情報の内容とを統合することによって、現時刻における認識対象物体の絶対位置及び属性の推定結果を算出し、推定結果に基づいて道路環境再現データの内容を更新することによって、最新の道路環境再現データを生成し、情報通知手段は、重要情報選択手段が抽出した情報を、映像による表示または音声によって運転者に通知するものであることが好ましい。
【００２２】
そのような構成によれば、画像認識手段が認識した画像認識の結果の確かさを示す認識確信度を考慮して道路環境再現データを生成でき、且つ、運転者に視覚的または音声により情報を通知できる。
【００３１】
道路環境再現データ統合生成手段は、画像認識結果情報記憶手段が画像認識結果情報受信手段が新たに受信した画像認識結果情報を記憶した場合に、画像認識結果情報の履歴情報に含まれる認識確信度の平均値を算出することによって、総合確信度を算出するものであってもよい。
【００３２】
そのような構成によれば、過去の画像認識結果情報の履歴情報を考慮して、総合確信度を算出できる。
【００３３】
道路環境再現データ統合生成手段は、道路環境再現データ記憶手段が記憶する道路環境再現データ、及び画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報のうちのいずれにも、画像認識結果情報受信手段が受信した画像認識結果情報の認識対象物体に対応する情報がない場合には、受信した画像認識結果情報に含まれる認識確信度を認識対象物体に対する総合確信度とするものであってもよい。
【００３４】
そのような構成によれば、新たに認識された認識対象物体に対応する道路環境再現データを生成できる。
【００３５】
道路環境再現データ統合生成手段は、認識対象物体の属性が時間経過に従って変化する場合、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報のうち、認識時刻と現時刻との差が予め定めた一定時間以内である情報のみに基づいて、道路環境再現データを生成するものであってもよい。
【００３６】
そのような構成によれば、信号機や歩行者等の時間経過に従って属性が変化する認識対象物体についても信頼性の高い道路環境情報を運転者に通知できる。
【００３７】
道路環境再現データ統合生成手段は、画像認識結果情報受信手段が特定の認識対象物体の情報を含む画像認識結果情報を予め定めた一定時間の間受信しない場合には、道路環境再現データ記憶手段が記憶する道路環境再現データのうち、認識対象物体に対応する道路環境再現データを削除するものであってもよい。
【００３８】
そのような構成によれば、不要となった道路環境再現データを削除することができる。
【００３９】
画像認識結果情報生成手段は、車両を特定するための車両番号情報を含んだ画像認識結果情報を生成し、道路環境再現データ統合生成手段は、画像認識結果情報受信手段が受信した画像認識結果情報の内容が道路環境再現データの内容と一致しない場合に、画像認識結果情報に含まれる車両番号情報を予め定めた一定時間の間記憶し、特定の車両番号情報の車両から受信した画像認識結果情報内容が予め定めた頻度を超える割合で道路環境再現データの内容と一致しない場合には、車両から受信した画像認識情報に含まれる認識確信度を低く見積もって新たな道路環境再現データを生成するものであってもよい。
【００４０】
そのような構成によれば、画像認識結果情報に信頼性の低い情報が含まれる場合にも、信頼性の高い道路環境情報を運転者に提供できる。
【００４１】
道路環境情報通知装置は、走行予定ルートに関する指示を入力する入力操作手段を備え、重要情報選択手段は、走行予定ルート上に存在する認識対象物体に関する情報を選択して抽出するものであってもよい。
【００４２】
そのような構成によれば、予め指示された走行予定ルートに関する道路環境情報を選択して運転者に通知できる。
【００４３】
入力操作手段は、取得したい情報の指定を入力する機能を有し、重要情報選択手段は、入力操作手段によって入力された指定に基づいて情報を選択して抽出するものであってもよい。
【００４４】
そのような構成によれば、予め指定された種類の認識対象物体に関する道路環境情報を選択して運転者に通知できる。
【００４５】
入力操作手段は、画像認識結果情報を情報センタに送信するか否かの指定を入力する機能を有し、画像認識結果情報送信手段は、入力操作手段の入力によって画像認識結果情報を送信する旨の指定がされている場合にのみ、画像認識結果情報を送信するものであってもよい。
【００４６】
そのような構成によれば、運転者が他人に自車両の位置を知られたくない場合に、自車両からの情報の送信をしないように設定できる。
【００４７】
道路環境情報通知装置は、画像認識結果情報生成手段が出力する画像認識結果情報の内容と、道路環境再現データの内容とが、予め定めた頻度を超えて一致しない場合に不具合が発生していると判断することによって、撮像手段若しくは画像認識手段の動作状態を監視する動作状態監視手段を備え、情報通知手段は、動作状態監視手段が不具合を検出した場合に、検出した不具合に関する情報を運転者に通知するものであってもよい。
【００４８】
そのような構成によれば、運転者は、自車両に搭載された車載報知装置の不具合の発生を知ることができる。
【００４９】
道路環境情報通知装置は、撮像手段が撮像した映像を予め定めた一定時間の間記憶し、車両に対する衝撃を感知した場合に新しい映像の記録を中止して、衝撃を感知する直前の映像を保持する衝撃感知直前映像記憶手段を備えたものであってもよい。
【００５０】
そのような構成によれば、事故が発生した場合に迅速に事故原因の究明をすることができる。
【００５１】
道路環境情報通知装置は、車両の移動速度を感知する車両速度計測手段を備え、重要情報選択手段は、認識対象物体の属性が赤信号である信号機または一時停止標識である道路環境再現データについては、道路環境再現データに含まれる認識対象物体の絶対位置と現時刻の車両の絶対位置とに基づいて算出される車両から認識対象物体までの距離に対して、車両の移動速度が予め定めた閾値を超える場合にのみ、認識対象物体に関する道路環境再現データを選択して抽出するものであってもよい。
【００５２】
そのような構成によれば、赤信号の信号機または一時停止標識の場所に到達するまでに、運転者は余裕をもって自車両の移動速度を減速することができる。
【００５３】
道路環境情報通知装置は、受信した道路環境再現データに対応する認識対象物体が自車両から認識可能な位置にあり、且つ画像認識手段が認識対象物体を認識していない場合に、認識対象物体を判定する未抽出物体判定手段を備え、画像認識手段は、未抽出物体判定手段が判定した認識対象物体の情報に基づいて画像解析を行うトップダウン画像解析処理によって、未抽出物体を抽出するものであってもよい。
【００５４】
そのような構成によれば、自車両の画像認識手段が検出困難な認識対象物体であっても画像認識することができる。
【００５５】
本発明による車載報知装置は、車両内に設置される車載報知装置と、情報センタ内に設置される情報センタ内装置とを含み、運転者に情報センタ内装置によって生成された道路環境に関する情報である道路環境情報を通知する道路環境情報通知システムにおける車載報知装置であって、車両周辺を撮像して画像情報を出力する撮像手段と、車両の絶対位置を把握する車両位置把握手段と、撮像された画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する画像認識手段と、画像認識手段が出力する画像認識の結果の情報と、車両の絶対位置の情報とに基づいて、画像認識の結果の情報を含む画像認識結果情報を生成する画像認識結果情報生成手段と、画像認識結果生成手段が生成した画像認識結果情報を、情報センタ内装置に送信する画像認識結果情報送信手段と、情報センタ内装置から、情報センタ内装置で生成された道路環境に関する情報である、現時刻における認識対象物体の絶対位置と属性とに関する最新の推定結果を含むとともに、認識対象物体の撮像画像と認識対象物体とのパターンとの類似度又は推定した認識対象物体の絶対位置と最新の画像認識結果情報に含まれる絶対位置との差によって求められる類似度である、推定結果の確かさを示す総合確信度を含む道路環境再現データを受信する道路環境再現データ受信手段と、道路環境再現データに含まれる情報を運転者に通知する情報通知手段とを備えたことを特徴とする。
【００５６】
そのような構成によれば、道路にインフラストラクチャを設置せずに廉価に道路環境情報通知システムを構築することができ、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供することができ、且つ不正確な画像認識の結果情報の信頼性を向上することができる。
【００５９】
車載報知装置は、情報センタ内装置から受信した道路環境再現データと、画像認識結果情報生成手段が出力する画像認識結果情報とを参照して、運転者に重要であると判断される情報を、道路環境再現データまたは画像認識結果情報から選択して抽出する重要情報選択手段を備え、重要情報選択手段は、道路環境再現データのうち、総合確信度の高い情報を選択することにより、運転者に重要であると判断される情報を抽出するものであることが好ましい。
【００６０】
そのような構成によれば、道路再現データまたは画像認識結果情報に含まれる情報のうち運転者に重要な情報のみを通知することができる。
【００６１】
本発明による情報センタ内装置は、車両内に設置され撮像手段を備える車載報知装置と、情報センタ内に設置される情報センタ内装置とを含み、運転者に道路環境に関する情報である道路環境情報を通知する道路環境情報通知システムにおける情報センタ内装置であって、車載報知装置によって撮像された車両周辺の画像認識の結果の情報を含む画像認識結果情報を、車載報知装置から受信する画像認識結果情報受信手段と、車載報知装置から受信した画像認識結果情報を、画像認識結果情報の履歴情報として記憶する画像認識結果情報記憶手段と、現時刻における認識対象物体の絶対位置と属性とに関する最新の推定結果を含むとともに、認識対象物体の撮像画像と認識対象物体とのパターンとの類似度又は推定した認識対象物体の絶対位置と最新の画像認識結果情報に含まれる絶対位置との差によって求められる類似度である、推定結果の確かさを示す総合確信度を含む道路環境再現データを記憶する道路環境再現データ記憶手段と、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報と、道路環境再現データ記憶手段が記憶する道路再現データとに基づいて、受信した画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データをさらに生成する道路環境データ統合生成手段と、道路環境再現データ統合生成手段が生成した道路環境再現データを、車載報知装置に送信する道路環境再現データ送信手段とを備えたことを特徴とする。
【００６２】
そのような構成によれば、道路にインフラストラクチャを設置せずに廉価に道路環境情報通知システムを構築することができ、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供することができ、且つ不正確な画像認識の結果情報の信頼性を向上することができる。
【００６５】
本発明による道路環境情報通知プログラムは、運転者に道路環境に関する情報である道路環境情報を通知するための道路環境情報通知プログラムであって、コンピュータに、撮像された車両周辺の画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する処理と、画像認識の結果の情報と、車両の絶対位置の情報とに基づいて、画像認識の結果の情報を含む画像認識結果情報を生成する処理と、生成した画像認識結果情報を、画像認識結果情報の履歴情報として画像認識結果情報記憶手段に記憶させる処理と、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報と、現時刻における認識対象物体の絶対位置と属性とに関する最新の推定結果を含むとともに、認識対象物体の撮像画像と認識対象物体とのパターンとの類似度又は推定した認識対象物体の絶対位置と最新の画像認識結果情報に含まれる絶対位置との差によって求められる類似度である、推定結果の確かさを示す総合確信度を含む道路環境再現データを記憶する道路環境再現データ記憶手段が記憶する道路再現データとに基づいて、画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データをさらに生成する処理と、道路環境再現データと、画像認識結果情報とを参照して、運転者に関係する認識対象物体に関する情報や信頼できる情報を選択して抽出する処理と、抽出された認識対象物体に関する情報を運転者に通知する処理とを実行させることを特徴とする。
【００６６】
そのようなプログラムによれば、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供することができ、且つ画像認識の結果情報の信頼性を向上することができる。
【００６７】
【発明の実施の形態】
実施の形態１．
以下、本発明による道路環境情報通知装置の実施の形態について図面を参照して説明する。図１は、第１の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。図１に示す道路環境情報通知装置は、道路上を走行中の車両から送られる画像に基づく情報を情報センタが収集し、収集した情報に基づいて統合して生成した情報を車両に配信するシステムである。道路環境情報通知装置は、各車両内に設置される車載報知装置１０と、情報センタ内に設置される情報センタ内装置２０とを含む。
【００６８】
図１に示すように、車載報知装置１０は、車両周辺を撮像する撮像手段１０１と、画像を認識する画像認識手段１０２と、自車両の位置を測位する車両位置測位手段１０３と、画像認識結果情報を生成する画像認識結果情報生成手段１０４と、画像認識結果情報を情報センタ内装置２０に送信する画像認識結果情報送信手段１０５と、情報センタ内装置２０からの情報を受信する道路環境再現データ情報受信手段１１１と、運転者に重要な情報を選択する重要情報選択手段１１２と、運転者に情報を通知する情報通知手段１１３とを含む。
【００６９】
撮像手段は、ビデオカメラ、超音波センサ、赤外線センサ等によって実現される。車両位置測位手段１０３は、ＧＰＳ装置やジャイロスコープ等によって実現される。画像認識手段１０２、画像認識結果情報生成手段１０３、及び重要情報選択手段１１２は、例えば、車両に搭載されるカーナビゲーション装置の記憶装置に記憶されるプログラムを実行するカーナビゲーション装置の制御部によって実現される。画像認識結果情報送信手段１０５及び道路環境再現データ受信手段１１１は、例えば、カーナビゲーション装置の送受信部（無線ＬＡＮカード、光モデム等）と、その送受信部を制御する制御部とによって実現される。情報通知手段１１３は、カーナビゲーション装置の表示部（モニタ等）と、その表示部を制御する制御部とによって実現される。
【００７０】
また、図１に示すように、情報センタ内装置２０は、車載報知装置１０からの情報を受信する画像認識結果情報受信手段１０６と、受信した情報を記憶する画像認識結果情報記憶手段１０７と、画像認識結果情報等を統合して道路環境再現データを生成する道路環境再現データ統合生成手段１０８と、道路環境再現データを記憶する道路環境再現データベース１０９と、車載報知装置１０に情報を送信する道路環境再現データ送信手段１１０とを含む。
【００７１】
情報センタ内装置は、ワークステーション等の情報処理装置である。画像認識結果情報受信手段１０６及び道路環境再現データ送信手段１１０は、例えば、情報処理装置等に実装される送受信部（無線ＬＡＮカード、光モデム等）と、その送受信部を制御する制御部とによって実現される。画像認識結果情報記憶手段１０７は、情報処理装置の記憶装置によって実現される。道路環境再現データ統合生成手段１０８は、情報処理装置の記憶装置に記憶されるプログラムを実行する情報処理装置の制御部によって実現される。道路環境再現データベース１０９は、情報処理装置に接続されるデータベース装置等によって実現される。
【００７２】
なお、車載報知装置１０は、本来車両毎に設置されるが、車載報知装置１０の各手段の機能は全ての車両について同じなので、図１では、車両１台分のみの車載報知装置１０の構成を記載し、他の車両の車載報知装置１０の構成の記載は省略する。また、道路環境再現データ記憶手段は、道路環境再現データベース１０９によって実現され、車両位置把握手段は、車両位置測位手段１０３によって実現される。
【００７３】
車載報知装置１０の撮像手段１０１は、自車両の周辺の映像を時々刻々と撮像する。そして、撮像手段１０１は、撮像した映像を画像認識手段１０２に出力する。撮像手段１０１は、自車両の前方を撮像するための前方向きカメラを備え、前方向きカメラは、道路標識、路面標識、信号、店舗の看板、及び道路上を先行する車両や歩行者等を撮像する。
【００７４】
また、撮像手段１０１は、必要に応じて後方及び側方向きカメラを備えていてもよい。後方向きカメラは、後方車両等を撮像し、側方向きカメラは、店舗の看板、歩道上の歩行者、及び路地を走行中の車両や歩行者等を撮像する。
【００７５】
また、撮像対象の物体までの距離を測定するために、撮像手段１０１は、各向きに設置された複数台のカメラで撮像することによって、画像認識手段１０２にステレオ画像を出力してもい。また、撮像手段１０１は、各向きにカメラと組み合わせて、ミリ波レーダまたは超音波センサ等の距離測定用補助センサを備え、画像認識手段１０２にカメラが撮像した画像と距離測定用補助センサからの画像とを出力してもよい。
【００７６】
画像認識手段１０２は、撮像手段１０１が撮像した映像から、予めシステムに登録されている認識対象物体のパターンに基づいて、道路標識、路面標識、信号機、店舗看板、車両、または歩行者等の認識対象物体を抽出し、抽出した認識対象物体の属性、自車両との相対位置、及び画像認識処理の確信度（以下、認識確信度という。）を画像認識結果情報生成手段１０３に出力する。認識確信度とは、画像認識によって得られた結果の確かさを示す指標であり、値が大きいほど画像の認識結果が正確であることを示す。認識確信度は、一般に単純類似度法や複合類似度法と呼ばれる手法によって算出される。また、自車両と認識対象物体との相対位置は、ステレオカメラ映像または超音波センサ等から抽出される距離情報と、自車両の方位情報とに基づいて生成される。
【００７７】
また、例えば、ニューラルネットワークを用いて認識確信度を得ることもできる。その場合、多層ニューラルネットワークの出力層の値を算出し、算出した出力層の値を認識確信度とする。
【００７８】
図２は、撮像手段１０１が撮像した画像の例を示す説明図である。図２に示す例では、撮像手段１０１が出力する画像に、駐車禁止を示す道路標識２０１と、補助標識２０２とが含まれる。画像認識手段１０２は、図２に示す画像に基づいて、画像認識結果の情報を出力する。
【００７９】
図３は、画像認識手段１０２が図２に示す画像に基づいて出力する画像認識結果の情報の例を示す説明図である。画像認識結果の情報は、出力情報が道路標識に関するものであることを示すコード情報３０１と、自車両に対する標識の相対的な位置を示す相対位置情報３０２と、標識を認識した時刻である認識時刻３０３と、属性情報として標識の種類が駐車禁止の標識であることを示すコード情報３０４と、標識が効力をもつ日時を示す情報３０５と、標識が効力をもつ範囲を示す情報３０６と、画像認識結果の認識確信度３０７とを含む。なお、属性とは、認識対象物体が道路標識である場合には、道路標識の種類（例えば、一時停止標識、駐停車禁止標識）であり、認識対象物体が信号機である場合には、信号機の状態（例えば、赤信号や青信号）である。
【００８０】
図４は、画像認識手段１０２が出力する画像認識結果の情報の他の例を示す説明図である。他の認識対象物体に対する画像認識結果の情報の例として、撮像手段１０１が信号機のように時刻と共に属性が変化する対象物を撮像した場合の画像認識結果の情報の例を説明する。図４に示すように、画像認識結果の情報は、出力情報が信号機に関するものであることを示すコード情報４０１と、自車両に対する信号機の相対的な位置を示す相対位置情報４０２と、信号機の信号が効力を持つ道路範囲を示すコード情報４０３と、信号機を認識時刻である認識時刻４０４と、属性情報として信号機の点灯状態（青信号であるか、赤信号であるか等）を示すコード情報４０５と、画像認識結果の認識確信度４０６とを含む。
【００８１】
このような画像認識結果の情報のフォーマットは認識対象物体の種類毎に予め定められている。また、一枚の画像から複数の認識対象物体を認識した場合は、画像認識手段１０２は、各認識結果の情報を順次画像認識結果情報生成手段１０４に出力する。
【００８２】
車両位置測位手段１０３は、地球上における自車両の絶対位置をＧＰＳ等で取得し、画像認識結果情報生成手段１０４に出力する。画像認識結果情報生成手段１０４は、車両位置測位手段１０３から入力される自車両の絶対位置情報に基づいて、前記画像認識手段１０２から入力される認識結果に含まれる認識対象物体の相対位置を絶対位置に変換する。そして、画像認識結果情報生成手段１０４は、変換後の認識結果をコード化し、コード化した情報を画像認識結果情報として、画像認識結果情報送信手段１０５及び重要情報選択手段１１２に出力する。
【００８３】
画像認識結果情報送信手段１０５は、画像認識結果情報生成手段１０４から入力された画像認識結果情報を光信号または電波無線信号等に変換して、情報センタの情報センタ内装置２０に送信する。なお、車載報知装置１０と情報センタ内装置２０とは、例えば、ＶＩＣＳシステムの通信ネットワークであるＦＭ多重放送や光ビーコンのシステムを利用して、情報の送受信を行う。また、車載報知装置１０と情報センタ内装置２０とは、無線ＬＡＮ等の他の通信ネットワークを利用して、情報を送受信してもよい。
【００８４】
情報センタ内装置２０の画像認識結果情報受信手段１０６は、各車載報知装置１０から送信される画像認識結果情報を時々刻々と受信し、受信した画像認識結果情報を画像認識結果情報記憶手段１０７に出力する。
【００８５】
画像認識結果情報記憶手段１０７は、画像認識結果情報受信手段１０６から入力された画像認識結果情報を記憶する。そして、画像認識結果情報記憶手段１０７は、記憶した画像認識結果情報を、画像認識結果情報の履歴を示す情報（以下、履歴情報という。）として予め定めた一定時間保持する。
【００８６】
道路環境再現データベース１０９は、道路上の各認識対象物体に関する情報である道路環境再現データを記憶する。記憶される道路環境再現データは、認識対象物体が現時刻に存在すると推定される絶対位置の情報、属性情報、及び総合確信度の情報を含む。総合確信度の算出方法については後述する。道路環境再現データは、情報センタ内装置２０起動直後に初期化される。そして、初期化後においては、道路環境再現データは、道路環境再現データ統合生成手段１０８によって随時生成され、内容が更新される。
【００８７】
道路環境再現データ統合生成手段１０８は、道路環境再現データベース１０９に記憶されている道路環境再現データのうち、対応する認識対象物体に関する新たな画像認識結果情報が車載報知装置１０から一定時間受信されていない道路環境再現データを削除する。また、道路環境再現データ統合生成手段１０８は、受信した画像認識結果情報に含まれる認識対象物体に対応する道路環境再現データが道路環境再現データベース１０９に含まれていない場合には、その認識対象物体に対応する新しい道路環境再現データを生成する。
【００８８】
道路環境再現データ統合生成手段１０８は、画像認識結果情報記憶手段１０７に保持される画像認識結果情報、及び道路環境再現データベース１０９に記憶される生成前（一時刻前）の道路環境再現データに基いて、認識対象物体の現時刻における絶対位置及び属性の推定結果を生成する。また、道路環境再現データ統合生成手段１０８は、生成した推定結果に対する総合確信度を算出し、その認識対象物体に対応する道路環境再現データの情報を生成する。
【００８９】
もし仮に、各車両の車載報知装置１０から送信される画像認識結果情報が常に正確な情報であれば、道路環境再現データ統合生成手段１０８は、最新の画像認識結果情報に含まれる情報を道路環境再現データに書き込むことによって、道路環境再現データを生成することができる。しかし、画像認識結果情報には誤った情報が含まれている可能性があるので、道路環境再現データ統合生成手段１０８は、過去の画像認識結果情報の履歴情報（または一時刻前の道路環境再現データに含まれる情報）を考慮して現時刻における絶対位置、属性等の推定結果を生成する。
【００９０】
道路環境再現データ統合生成手段１０８が、道路環境再現データを生成する手順について、具体的に説明する。図５は、画像認識結果情報受信手段１０６が受信した最新の画像認識結果情報の例を示す説明図である。図５に示すように、画像認識結果情報の情報は、北緯３５．００、東経１３６．００に存在する一時停止標識（属性＝一時停止）が、走行中の車両によって１８時６分に５０％の認識確信度で検出されたことを例示している。
【００９１】
図６は、認識対象物体であるその道路標識に対応する過去の画像認識結果情報の履歴情報（画像認識結果記憶手段１０７に記憶される）及び道路環境再現データ（道路環境再現データベース１０９に記憶される）の例を示す説明図である。図６（ａ）には、過去の１８時５分及び１８時３分における画像認識結果情報の履歴情報に、１８時５分及び１８時３分に認識確信度１００％でその道路標識が認識されていたことが例示されている。また、図６（ｂ）には、１８時５分時点に生成された道路環境再現データに含まれる総合確信度は、１００％であったことが例示されている。
【００９２】
図７は、道路環境再現データ統合生成手段１０８によって生成された最新の道路環境再現データの例を示す説明図である。道路環境再現データ統合生成手段１０８は、その道路標識に対する最新の総合確信度を、図６（ａ）に示される２回分の過去の画像認識結果情報の履歴情報と、図５に示される最新の画像認識結果情報とを含めた３回分の画像認識結果情報に含まれる認識確信度の平均値を求めることにより算出する。本例では、３回分の画像認識結果情報に含まれる認識確信度が１００％、１００％及び５０％であるので、道路環境再現データ統合生成手段１０８は、図７に示すように、最新の総合確信度を平均値８４％と判定する。
【００９３】
すなわち、画像認識結果情報受信手段１０６が道路標識に対する最新の画像認識結果情報を受信した場合には、道路環境再現データ統合生成手段１０８は、画像認識結果情報記憶手段１０７に記憶される画像認識結果情報の履歴情報の中から、同一の認識対象物体に関する画像認識結果情報を抽出し、認識確信度の平均値を算出して、道路環境再現データの総合確信度を生成する。走行中の車両が複数台あり複数の車載報知装置１０から画像認識結果情報を受信する場合には、画像認識結果情報記憶手段１０７は、複数の車載報知装置１０から受信した画像認識結果情報の履歴情報を記憶し、道路環境再現データ統合生成手段１０８は、複数車両からの画像認識結果情報の履歴情報に基づいて、総合的に道路環境再現データを生成することができる。
【００９４】
なお、道路環境再現データ統合生成手段１０８は、３回分の認識確信度の平均値を算出することによって総合確信度を判定するのでなく、より多くの回数分の認識確信度の平均値を算出する等、他の算出基準によって総合確信度を判定してもよい。また、道路環境再現データ統合生成手段１０８は、最新の画像認識結果情報に含まれる認識確信度と、一時刻前の道路環境再現データに含まれる総合確信度との平均値を算出する等、他の情報を参酌することによって総合確信度を判定してもよい。
【００９５】
新たに取得した画像認識結果情報に含まれる認識確信度が過去に取得した画像認識結果情報に含まれる認識確信度に比べ劣化する状況は、車両の前方視界不良等の原因によって容易に発生する。車両が他の車両や情報センタとネットワークを介して情報を送受信できない環境のもとにある場合（すなわち、車両に搭載されている装置が単独で情報を運転者に提供するような場合）には、その車両の重要情報選択手段は、認識確信度の低い情報を運転者に通知しない可能性がある。本発明によれば、各車両が認識した画像認識結果情報がネットワークを介して情報センタの情報センタ内装置２０によって収集される。そして、情報センタ内装置２０によって総合的に集計され信頼度が増した情報が、後述する手段によって各車両に配信されるので、前方視界が遮られている車両等においても有効な道路環境情報を得ることができる。
【００９６】
次に、画像認識結果情報受信手段１０６が、信号機に関する情報を受信した場合を例に説明する。信号機は、属性が時間経過に従って変化するので、道路標識と異なり最新の画像認識結果情報のみに基づいて道路環境再現データを生成してもよい。例えば、ある信号機に関して、車両Ａ，Ｂ，Ｃから同一時刻に属性が赤信号であるとする情報を含む画像認識結果情報を受信し、画像認識結果情報に含まれる認識確信度がそれぞれ１００％，９０％，２０％であったとする。この場合において、道路環境再現データ統合生成手段１０８は、その信号機に対する現時刻の道路環境再現データの総合確信度を、受信した３つの画像認識結果情報に含まれる認識確信度を平均して（１００％＋９０％＋２０％）／３＝７０％であると判定することができる。
【００９７】
次に、画像認識結果情報受信手段１０６が、同一時刻に矛盾する内容の画像認識結果情報を受信した場合を例に説明する。例えば、ある信号機に関して、車両Ａ，Ｂ，Ｃから同一時刻に属性が赤信号であるとする情報を含む画像認識結果情報を受信すると同時に、車両Ｄからその信号機が黄信号であるとする情報を含む画像認識結果情報を受信した場合を考える。また、車両Ａ，Ｂ，Ｃからの画像認識結果情報に含まれる認識確信度がそれぞれ１００％、９０％、２０％であったのに対し、車両Ｄからの画像認識結果情報に含まれる認識確信度は１０％であったとする。道路環境再現データ統合生成手段１０８は、同じ属性（点灯色）の情報毎に認識確信度の平均値を算出し、算出した平均値が大きい方の属性を含む画像認識結果情報（本例は、属性が赤信号である画像認識結果情報）を選択して、総合確信度等の道路環境再現データに含まれる情報を生成する。なお、矛盾する内容の画像認識結果情報を受信した場合に、道路環境再現データ統合生成手段１０８が道路環境再現データを生成する方法は、本例で示したものに限られない。
【００９８】
また、道路環境再現データ統合生成手段１０８は、道路環境再現データ記憶手段が記憶する道路環境再現データ、及び画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報のうちのいずれにも、画像認識結果情報受信手段が受信した画像認識結果情報の認識対象物体に対応する情報がない場合には、受信した画像認識結果情報に含まれる認識確信度を前記認識対象物体に対する総合確信度としてもよい。
【００９９】
また、歩行者や車両等のように絶対位置が時間経過とともに変化する認識対象物体に関する情報が受信された場合には、道路環境再現データ統合生成手段１０８は、画像認識結果情報記憶手段が記憶する過去の画像認識結果情報の履歴情報からカルマンフィルタ等を用いて、現時刻における認識対象物体の絶対位置の推定結果を算出してもよい。この場合に、総合確信度は、算出された絶対位置の推定結果と最新の画像認識結果情報に含まれる絶対位置との差等から判定される。
【０１００】
さらに、歩行者や車両等のように絶対位置が時間経過とともに変化する認識対象物体に関する情報が受信された場合には、道路環境再現データ統合生成手段１０８は、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報のうち、認識時刻と現時刻との差が予め定めた一定時間以内である情報のみに基づいて、道路環境再現データを生成してもよい。
【０１０１】
次に、走行中のいずれの車両からも画像認識結果情報を受信しなかった場合に、道路環境再現データ統合生成手段１０８が、道路環境再現データを生成する生成方法について説明する。道路環境再現データ統合生成手段１０８は、道路標識や路面標識等の絶対位置や属性（標識種類等）が時間の経過に従って変化しない認識対象物体に対応する道路環境再現データについては生成しない。道路環境再現データ統合生成手段１０８は、歩行者や信号機等のように絶対位置や属性（性別、年齢、点灯色等）が時間の経過に従って変化する認識対象物体に対応する道路環境再現データについては、時間経過による影響を反映して道路環境再現データを生成する。
【０１０２】
例えば、信号機の点灯状態が変化した可能性がある場合には、道路環境再現データ統合生成手段１０８は、現時刻の総合確信度を、一時刻前の総合確信度から予め定めた割合で低下させることによって生成する。歩行者や車両のように位置が変化する認識対象物体については、道路環境再現データ統合生成手段１０８は、過去の画像認識結果情報の履歴情報から現時刻の状態の推定結果を算出し、総合確信度を一定の割合で低下させる。
【０１０３】
道路環境再現データ送信手段１１０は、生成された道路環境再現データを光信号または電波無線信号に変換して各車両の車載報知装置１０に送信する。
【０１０４】
車載報知装置１０の道路環境再現データ受信手段１１１は、道路環境再現データ送信手段１１０から送信された道路環境再現データを受信する。そして、道路環境再現データ受信手段１１１は、受信した道路環境再現データを重要情報選択手段１１２に出力する。なお、道路環境再現データ受信手段１１１は、自車両が画像認識結果情報を送信してから予め定めた一定時間の間に道路環境再現データが受信されない場合には、すぐに受信処理を終了する。
【０１０５】
重要情報選択手段１１２は、道路環境再現データ受信手段１１１より入力された道路環境再現データに含まれる情報、及び画像認識結果情報生成手段１０５より入力された画像認識結果情報に含まれる情報の中から、自車両の運転者に有益な情報を選択して抽出する。情報の選択方法として、重要情報選択手段１１２は、例えば、各情報に含まれる絶対位置の情報に基づいて、現時刻から数秒以内に運転者の視野に入る場所に存在する認識対象物体の情報を選択する。また、重要情報選択手段１１２は、道路環境再現データのうち、総合確信度の高い情報を選択してもよい。さらに、重要情報選択手段１１２は、画像認識結果情報生成手段１０５より入力された画像認識結果情報の中に認識確信度が道路環境再現データに含まれる総合確信度より高い情報が存在する場合には、その認識確信度が高い画像認識結果情報を選択してもよい。すなわち、重要情報選択手段１１２は、道路環境再現データまたは画像認識結果情報から、運転者にとって重要であると判断される情報を選択する。
【０１０６】
また、道路環境再現データ受信手段１１１から入力された道路環境再現データと、画像認識結果情報生成手段１０５から入力された情報との内容が一致しない場合には、重要情報選択手段１１２は、道路環境再現データに含まれる情報を優先して選択してもよいし、道路環境再現データに含まれる総合確信度と、画像認識結果情報に含まれる認識確信度とを比較して、確信度の高い方の情報を選択してもよい。
【０１０７】
重要情報選択手段１１２は、選択し抽出した情報を情報通知手段１１３に出力する。情報通知手段１１３は、重要情報選択手段１１２が選択した情報を、映像（モニタ表示等）または音声によって運転者に通知する。
【０１０８】
次に、本実施の形態の動作について説明する。図８は、車載報知装置１０によって実行される処理の処理経過の一例を示すフローチャートである。また、図９は、情報センタ内装置２０によって実行される処理の処理経過の一例を示すフローチャートである。車載報知装置１０と、情報センタ内装置２０とは、それぞれ互いに非同期に図８及び図９に示す処理を実行する。
【０１０９】
まず、車載報知装置１０の動作について説明する。撮像手段１０１は、車両周辺の映像を撮像する（ステップＳ８０１）。画像認識手段１０２は、撮像手段１０１から入力された映像中から道路標識や信号機等予め定めてある認識対象物体の認識を行い、認識した認識結果を出力する（ステップＳ８０２）。車両位置測位手段１０３は、ＧＰＳ等から車両の絶対位置を取得する（ステップＳ８０３）。画像認識結果情報生成手段１０５は、車両位置測位手段１０３が取得した自車両絶対位置情報を利用し、且つ画像認識手段１０２が出力した認識結果に含まれる情報に基づいて、認識対象物体の絶対位置、属性、認識確信度等の情報をコード化し、コード化した画像認識結果情報を出力する（ステップＳ８０４）。そして、画像認識結果情報送信手段１０５は、出力された画像認識結果情報を情報センタの情報センタ内装置２０に送信する（ステップＳ８０５）。
【０１１０】
情報センタ内装置２０によって、道路環境再現データの生成及び各車両への配信の処理が行われた後、道路環境再現データ受信手段１１１は、情報センタ内装置２０の道路環境再現データ受信手段１１０から送信された道路環境再現データを受信する（ステップＳ８０６）。自車両が画像認識結果情報を送信してから予め定めた一定時間の間に道路環境再現データが受信できない場合には、道路環境再現データ受信手段１１１は、すぐに受信処理を終了する。重要情報選択手段１１２は、道路環境再現データ受信手段１１１が受信した道路環境再現データ及び自車両の画像認識結果情報生成手段１０４が出力した画像認識結果情報の中から、自車両の運転者に有益な情報を選択して抽出する（ステップＳ８０７）。情報通知手段１１３は、選択された情報を運転者に通知する（ステップＳ８０８）。そして、通知が完了したら再びステップＳ８０１に戻り、ステップＳ８０１からステップＳ８０８までの処理が繰り返し実行される。
【０１１１】
次に、情報センタ内装置２０の動作について説明する。道路環境再現データ統合生成手段１０８は、情報センタ内装置２０の起動直後に道路環境再現データベース１０９に記憶される道路環境再現データを初期化する（ステップＳ９０１）。画像認識結果情報受信手段１０６は、各車両の車載報知装置１０から送信された画像認識結果情報を受信する（ステップＳ９０２）。そして、画像認識結果情報受信手段１０６は、画像認識結果情報を受信できたか否かを確認する（ステップＳ９０３）。受信できた場合には、画像認識結果情報受信手段１０６は、受信した画像認識結果情報を画像認識結果情報記憶手段１０７に出力し、画像認識結果情報記憶手段１０７は、画像認識結果情報を記憶する（ステップＳ９０４）。情報を受信できない場合には、ステップＳ９０４は実行されず、次にステップＳ９０５が実行される。
【０１１２】
道路環境再現データ統合生成手段１０８は、画像認識結果情報記憶手段１０７に記憶された画像認識結果情報の履歴情報と、一時刻前の道路環境再現データとに基づいて道路環境生成データを生成する（ステップＳ９０５）。道路環境再現データの生成後、道路環境再現データ送信手段１１０は、現時刻における最新の道路環境再現データを各車両の車載報知装置１０に送信する（ステップＳ９０６）。そして、各車両への情報の配信がなされた後、再びステップＳ９０２へ戻り、ステップＳ９０２からステップＳ９０６までの処理が繰り返し実行される。
【０１１３】
以上に述べたように、本発明によれば道路標識、信号、車両、歩行者等カーナビゲーションシステムの地図情報では提供されていない物体に関する情報（すなわち、道路環境情報）を、道路上に隈無くインフラストラクチャを設置することなく抽出することができる。よって、ＡＨＳ等と比較して安価に道路環境情報通知装置を構築することができる。
【０１１４】
また、車載カメラを用いた従来のリアルタイム情報提供システムでは、自車両に搭載したカメラの映像によって認識した情報のみを運転者に通知していたので、道路状況や日照条件等により誤った情報が通知される場合があるという問題や、運転者が目視によって気づくよりも十分に早く情報を通知できないといった問題があった。本発明によれば、各車両に搭載された車載報知装置が認識した画像認識結果情報が情報センタにおいて認識確信度に基づいて統合されることによって、信頼性の高い情報を運転者に提供できるという効果がある。また、現時刻において自車両のカメラでは撮像できない場所に存在する認識対象物体に関する情報も取得できるため、運転者は、今後発生しうる状況、トラブル等を事前に察知し、そのトラブル等を予想して運転することができるという効果がある。
【０１１５】
ここで、自車両カメラでは撮像できない物体の情報の事前取得による効果について、図１０を参照して具体的に説明する。図１０は、道路環境の具体例を示す説明図である。図１０には、片側２車線道路の左側車線に駐車車両１００３が停車している状況が示されている。自車両１００１は、大型の先行車１００２に前方視界を遮られているので、自車両の画像認識装置の情報のみに基づいて道路環境を判断する従来のリアルタイム情報提供システムによれば、自車両１００１の運転者は、先行車１００２が車線変更するまで駐車車両１００３の存在に気づくことができない。
【０１１６】
本発明による道路環境情報通知装置によれば、先行車１００２及び先行車１００４が搭載した画像認識装置が駐車車両１００３を検出した後、駐車車両１００３に関する道路環境再現データが情報センタから自車両１００１に配信されるので、自車両１００１の運転者は先行車１００２が車線変更するよりも早く駐車車両１００３の存在に気づくことが可能であり、余裕をもって車線変更をすることができる。
【０１１７】
実施の形態２．
次に、本発明の第２の実施の形態について説明する。図１１は、第２の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。図１１に示すように、道路環境情報通知装置１１は、車両に設置されたカメラからなる撮像手段１１０１と、画像認識手段１１０２と、車両位置測位手段１１０３と、画像認識結果情報生成手段１１０４と、画像情報送信手段１１０５と、画像認識結果情報受信手段１１０６と、画像認識結果情報記憶手段１１０７と、道路環境再現データ統合生成手段１１０８と、道路環境再現データベース１１０９と、重要情報選択手段１１１２と、情報通知手段１１１３とを含む。
【０１１８】
本実施の形態の構成では、道路環境情報通知装置１１は、第１の実施の形態における車載報知装置１０の構成要素に加えて、情報センタ内装置２０に含まれていた画像認識結果情報受信手段１０６と、画像認識結果情報記憶手段１０７と、道路環境再現データ統合生成手段１０８と、道路環境再現データベース１０９とを含む。第１の実施の形態では車載報知装置１０と情報センタ内装置２０との間で情報の送受信が行われるのに対し、本実施の形態は、複数の車両の道路環境情報通知装置１１間で情報の送受信が行われる点で第１の実施の形態と異なる。よって、道路環境情報通知システムは、図１１に示される各車両内に設置される複数の道路環境情報通知装置１１によって構成される。
【０１１９】
なお、道路環境情報通知装置１１の各手段はすべての車両において共通の機能を持つので、図１１は、車両１台分（車両Ａ）の道路環境情報通知装置１１の構成についてのみ図示し、他の車両については省略する。
【０１２０】
以下、道路環境情報通知装置１１に含まれる各手段の機能について説明する。撮像手段１１０１、画像認識手段１１０２、車両位置測位手段１１０３、画像認識結果情報生成手段１１０４、画像認識結果情報送信手段１１０５、重要情報選択手段１１１２、及び情報通知手段１１１３の実現方法は、第１の実施の形態と同じである。
【０１２１】
また、画像認識結果情報受信手段１１０６は、例えば、カーナビゲーション装置の送受信部（無線ＬＡＮカード、光モデム等）と、その送受信部を制御する制御部とによって実現される。画像認識結果情報記憶手段１１０７は、カーナビゲーション装置の記憶装置によって実現される。道路環境再現データ統合生成手段１１０８は、例えば、カーナビゲーション装置の記憶装置に記憶されるプログラムを実行するカーナビゲーション装置の制御部によって実現される。道路環境再現データベース１１０９は、例えば、カーナビゲーション装置に内蔵される記憶装置等によって実現される。
【０１２２】
画像認識結果情報生成手段１１０４は、画像認識結果情報を画像認識結果情報送信手段１１０５及び画像認識結果情報記憶手段１１０７に出力する。画像認識結果情報送信手段１１０５は、画像認識結果情報生成手段１１０４から入力された画像認識結果情報を他車両の道路環境情報通知装置１１に送信する。画像認識結果情報受信手段１１０６は、他車両から送信された画像認識結果情報を受信する。
【０１２３】
画像認識結果情報記憶手段１１０７は、画像認識結果情報受信手段１１０６が出力する画像認識結果情報、及び画像認識結果情報生成手段１１０４が出力する画像認識結果情報を、画像認識結果情報の履歴情報として記憶する。
【０１２４】
道路環境再現データ統合生成手段１１０８は、画像認識結果情報記憶手段１１０７が記憶する画像認識結果情報の履歴情報、及び道路環境再現データベース１１０９が記憶する一時刻前の道路環境再現データに基づいて、現時刻における認識対象物体の絶対位置及び属性の推定結果を生成する。また、道路環境再現データ統合生成手段１１０８は、生成した推定結果の総合確信度を算出して道路環境再現データを生成する。道路環境再現データ統合生成手段１１０８が道路環境再現データを生成する処理手順は、第１の実施の形態と同じである。そして、重要情報選択手段１１１２は、道路環境再現データ１１０８の中から自車両の運転者に有益な情報を選択し抽出する。
【０１２５】
なお、撮像手段１１０１、画像認識手段１１０２、車両位置測位手段１１０３、及び情報通知手段１１１３の機能は、第１の実施の形態と同じである。
【０１２６】
次に、第２の実施の形態の動作について説明する。図２は、道路環境情報通知装置１１によって実行される処理の処理経過の一例を示すフローチャートである。まず、道路環境情報通知装置１１の起動直後に、道路環境再現データ統合生成手段１１０８は、道路環境再現データベース１０９が記憶する道路環境再現データを初期化する（ステップＳ１２０１）。撮像手段１１０１は、車両周辺の映像を撮像する（ステップＳ１２０２）。画像認識手段１１０２は、撮像手段１１０１から入力される映像から道路標識や信号機等予め設定されている認識対象物体を認識し、認識した認識結果を出力する（ステップＳ１２０３）。車両位置測位手段１１０３は、ＧＰＳ等から自車両の絶対位置を取得する（ステップＳ１２０４）。
【０１２７】
画像認識結果情報生成手段１１０５は、車両位置測位手段１１０３が取得した自車両絶対位置情報を参照し、画像認識手段１１０２からの画像認識結果に基づいて認識対象物体の絶対位置、属性、認識確信度等の情報をコード化し、コード化された画像認識結果情報を出力する（ステップＳ１２０５）。画像認識結果情報記憶手段１１０７は、画像認識結果情報生成手段１１０５からの画像認識結果情報を記憶するとともに（ステップＳ１２０６）、画像認識結果情報送信手段は、その画像認識結果情報を他車両に送信する（ステップＳ１２０７）。
【０１２８】
画像認識結果情報の送信後、画像認識結果情報受信手段１１０６は、他車両から発信された画像認識結果情報を受信する（ステップＳ１２０８）。画像認識結果情報受信手段１１０６は、他車両の道路環境情報通知装置１１から画像認識情報を受信したか否かを判定する（ステップＳ１２０９）。情報を受信した場合には、画像認識結果情報記憶手段１１０７は、受信した画像認識結果情報を記憶する（ステップＳ１２１０）。情報を受信しない場合には、ステップＳ１２１０の処理は実行されず、次にステップＳ１２１１が実行される。
【０１２９】
道路環境再現データ統合生成手段１１０８は、画像認識結果情報記憶手段１１０７が記憶する画像認識結果情報の履歴情報を参照して、現時刻における認識対象物体の位置及び属性等の推定結果を生成して、道路環境再現データベース１１０９に記憶される道路環境再現データを生成する（ステップＳ１２１１）。重要情報選択手段１１１２は、道路環境再現データに含まれる情報の中から自車両の運転者に有益な情報を選択して抽出する（ステップＳ１２１２）。情報通知手段１１１３は、抽出した情報を映像（モニタ表示等）または音声によって運転者に通知する（ステップＳ１２１３）。
【０１３０】
このように、第２の実施の形態では、第１の実施の形態と異なり、情報センタに情報センタ内装置２０を設置することなく、各車両に道路環境情報通知装置１１を設置するのみで道路環境情報通知システムを構築することができる。
【０１３１】
図１３は、画像認識結果情報に含まれる情報の他の例を示す説明図である。第１の実施の形態及び第２の実施の形態では、画像認識結果情報が認識対象物体の種類と、属性と、絶対位置と、認識時刻と、認識確信度とを含む場合について説明したが、図１３に示すように、画像認識結果情報は、車両を特定可能な車両番号情報１３０１を含んでいてもよい。車両番号情報１３０１を含むことによって、道路環境再現データの信頼性をさらに向上させることができる。
【０１３２】
以下、画像認識結果情報が車両番号情報１３０１を含むことの効果について説明する。道路環境情報再現データ生成手段１０８，１１０８は、各車両から受信した各画像認識結果情報と、その画像認識結果情報を総合判断して生成された道路環境再現データとを比較することによって、道路環境再現データと情報の内容が一致する画像認識結果情報は正しい情報である可能性が高いと判断する。また、道路環境情報再現データ生成手段１０８，１１０８は、道路環境再現データと情報の内容が矛盾する画像認識結果情報は誤った情報である可能性が高いと判断する。
【０１３３】
そして、道路環境情報再現データ生成手段１０８，１１０８は、画像認識結果情報が正しい情報と判断される頻度（以下、車両別正情報頻度という。）を車両番号毎に集計することによって、車両別正情報頻度テーブルを生成する。図１４は、道路環境情報再現データ生成手段１０８，１１０８が生成する車両別正情報頻度テーブルの内容の一例を示す説明図である。本例では、図１４に示すように、車両番号が「０１２３４５６」である車両から受信する画像認識結果情報の車両別正情報頻度が低く、その車両から受信する画像認識結果情報に含まれる情報については、何らかの原因によって誤った情報が通知されている可能性が高いことが例示されている。
【０１３４】
道路環境再現データ統合生成手段１０８，１１０８は、車両別正情報頻度が低い車両から受信した画像認識結果情報の認識確信度を低く見積もって道路環境再現データを生成することによって、道路環境再現データヘの誤情報の混入を低減し、より信頼性の高い道路環境再現データを出力することができる。
【０１３５】
例えば、道路環境再現データ統合生成手段１０８，１１０８は、車両別正情報頻度が低い車両から受信した画像認識結果情報の認識確信度から予め定めた一定の値α（＞０）を減算し、減算して得られた認識確信度に基づいて道路環境再現データを生成する。
【０１３６】
また、道路環境再現データ統合生成手段１０８，１１０８は、車両別正情報頻度が低い車両から受信した画像認識結果情報の認識確信度から予め定めた一定の値β（０＜β＜１）を乗算し、乗算して得られた認識確信度に基づいて道路環境再現データを生成してもよい。
【０１３７】
実施の形態３．
次に、本発明の第３の実施の形態について説明する。図１５は、第３の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。図１５に示すように、本実施の形態では、車載報知装置１２は、第１の実施の形態における車載報知装置１０の構成要素に加えて、入力操作手段１５１４を含む。
【０１３８】
入力操作手段１５１４は、運転者の操作に従って、情報通知手段１５１３から取得したい情報の種類の選択、走行予定ルートの設定、または画像認識結果情報送信手段１５０５からの情報発信の可否等を装置に指示する。従って、入力操作手段は１５１４は、道路環境情報通知装置と、運転者との間のユーザインタフェースとしての役割を果たすものであり、例えば、カーナビゲーション装置のリモートコントローラ等によって実現される。
【０１３９】
なお、車載報知装置１２に含まれる撮像手段１５０１、画像認識手段１５０２、車両位置測位手段１５０３、画像認識結果情報生成手段１５０４、画像認識結果情報送信手段１５０５、道路環境再現データ受信手段１５１１、重要情報選択手段１５１２、及び情報通知手段１５１３の機能は、第１の実施の形態と同じである。また、情報センタ内装置２２に含まれる画像認識結果情報受信手段１５０６、画像認識結果情報記憶手段１５０７、道路環境再現データ統合生成手段１５０８、道路環境再現データベース１５０９、及び道路環境再現データ送信手段１５１０の機能及び実現方法は、第１の実施の形態と同じである。
【０１４０】
本実施の形態では、画像認識結果情報発信手段１５０５は、画像認識結果情報を常に情報センタの情報センタ内装置２２に送信するのではなく、入力操作手段１５１４によって情報送信可能と設定されている場合にのみ情報を情報センタ内装置２２に送信する。そうすることにより、必要であれば、自車両の位置を他人に知られないようにすることができる。
【０１４１】
また、重要情報選択手段１５１２は、入力操作手段１５１４によって指定された走行予定ルート上に存在する認識対象物体に関する情報を選択して抽出したり、入力操作手段１５１４によって指定された種類の認識対象物体に関する情報を選択して抽出する。そうすることにより、運転者は、必要とする情報を効率的に取得することができる。
【０１４２】
なお、入力操作手段１５１４を第１の実施の形態における車載報知装置１０に追加してもよいし、第２の実施の形態における道路環境情報通知装置１１に入力操作手段を追加してもよい。
【０１４３】
実施の形態４．
次に、本発明の第４の実施の形態について説明する。図１６は、第４の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。図１６に示すように、本実施の形態では、車載報知装置１３は、第１の実施の形態における車載報知装置１０の構成要素に加えて、動作状態監視手段１６１５を含む。動作状態監視手段１６１５は、例えば、カーナビゲーション装置の記憶装置に記憶されるプログラムを実行するカーナビゲーション装置の制御部によって実現される。
【０１４４】
動作状態監視手段１６１５は、画像認識情報コード化手段１６０４から入力される画像認識結果情報に含まれる情報と、道路環境再現データ受信手段１６１１から入力される道路環境再現データに含まれる情報とを比較する。そして、動作状態監視手段１６１５は、画像認識結果情報と道路環境再現データとの間で内容が一致しない情報が含まれる頻度が予め定めた値を超える場合には、自車両の車載報知装置１３の撮像手段１６０１または画像認識手段１６０２に不具合が生じたと判断する。そして、動作状態監視手段１６１５は、注意情報を情報通知手段１６１３に出力する。
【０１４５】
例えば、道路環境再現データに「位置Ａに駐車禁止標識がある。」という情報が含まれているのに対して、画像認識結果情報に「位置Ａに駐停車禁止標識がある。」という情報が含まれている場合や、道路環境再現データに「位置Ｂの信号が青信号である。」という情報が含まれているのに対し、画像認識結果情報に「位置Ｂの信号が赤信号である。」という情報が含まれている場合に、動作状態監視手段１６１５は、画像認識結果情報と道路環境再現データとの間で内容が一致しないと判断する。そして、動作状態監視手段１６１５は、内容が一致しない情報が含まれる頻度が、例えば、５０％を超える場合には、撮像手段１６０１または画像認識手段１６０２に不具合が生じたと判断する。
【０１４６】
そうすることによって、運転者は自車両に搭載した装置の不具合を認知することができる。
【０１４７】
なお、車載報知装置１３に含まれる撮像手段１６０１、画像認識手段１６０２、車両位置測位手段１６０３、画像認識結果情報生成手段１６０４、画像認識結果情報送信手段１６０５、道路環境再現データ受信手段１６１１、重要情報選択手段１６１２、及び情報通知手段１６１３の機能は、第１の実施の形態と同じである。また、情報センタ内装置２３に含まれる画像認識結果情報受信手段１６０６、画像認識結果情報記憶手段１６０７、道路環境再現データ統合生成手段１６０８、道路環境再現データベース１６０９、及び道路環境再現データ送信手段１６１０の機能及び実現方法は、第１の実施の形態と同じである。
【０１４８】
なお、動作状況監視手段１６１５を第１の実施の形態における車載報知装置１０に追加してもよいし、第２の実施の形態における道路環境情報通知装置１１に動作状況監視手段１６１５を追加してもよい。
【０１４９】
実施の形態５．
次に、本発明の第５の実施の形態について説明する。図１７は、第５の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。図１７に示すように、本実施の形態では、車載報知装置１４は、第１の実施の形態における車載報知装置１０の構成要素に加えて、衝撃感知直前映像記録手段１７１６を含む。衝撃感知直前映像記録手段１７１６は、例えば、衝撃感知センサと、衝撃センサを制御するカーナビゲーション装置の制御部とによって実現される。
【０１５０】
衝撃感知直前映像記録手段１７１６は、撮像手段１７０１によって撮像された映像を予め定めた一定時間の間記録し、車両に対して強い衝撃を感知した場合（すなわち、事故が発生した場合等）に映像の上書き記録を中止して、衝撃を感知した直前に記録した画像を保持する。
【０１５１】
衝撃感知直前映像記録手段１７１６を付加することにより、自車両が事故等に遭遇した時刻の周囲の映像を情報として保持することができ、迅速に事故原因の究明を行うことができる。
【０１５２】
なお、車載報知装置１４に含まれる撮像手段１７０１、画像認識手段１７０２、車両位置測位手段１７０３、画像認識結果情報生成手段１７０４、画像認識結果情報送信手段１７０５、道路環境再現データ受信手段１７１１、重要情報選択手段１７１２、及び情報通知手段１７１３の機能は、第１の実施の形態と同じである。また、情報センタ内装置２４に含まれる画像認識結果情報受信手段１７０６、画像認識結果情報記憶手段１７０７、道路環境再現データ統合生成手段１７０８、道路環境再現データベース１７０９、及び道路環境再現データ送信手段１７１０の機能及び実現方法は、第１の実施の形態と同じである。
【０１５３】
なお、衝撃感知直前映像記録手段１７１６を第１の実施の形態における車載報知装置１０に追加してもよいし、第２の実施の形態における道路環境情報通知装置１１にその衝撃感知直前映像記録手段１７１６を追加してもよい。
【０１５４】
また、車載報知装置１４は、さらに車両速度計測手段を含んでもよい。車両速度計測手段は、車両の移動速度を感知する。そして、重要情報選択手段は、認識対象物体が赤信号または一時停止標識である道路環境再現データについては、その道路環境再現データに含まれる認識対象物体の絶対位置と現時刻の車両の絶対位置とに基づいて算出される自車両から認識対象物体までの距離に対して、車両速度計測手段が感知した自車両の移動速度が予め定めた閾値を超える場合にのみ、その道路環境再現データを選択して抽出する。なお、車両速度計測手段は、速度計等によって実現される。
【０１５５】
実施の形態６．
次に、本発明の第６の実施の形態について説明する。図１８は、第６の実施の形態による道路環境情報通知装置の構成の一例を示すブロック図である。図１８に示すように、本実施の形態では、車載報知装置１５は、第１の実施の形態における車載報知装置１０の構成要素に加えて、未抽出物体判定手段１８１７を含む。未抽出物体判定手段１８１７は、例えば、カーナビゲーション装置の記憶装置に記憶されるプログラムを実行するカーナビゲーション装置の制御部によって実現される。
【０１５６】
未抽出物体判定手段１８１７は、道路環境再現データに情報として含まれる認識対象物体のうち、自車両から認識可能な範囲の位置に存在し、且つ自車両の画像認識手段１８０２で認識されていない認識対象物体を選択して抽出し、抽出した情報を画像認識手段１８０２に出力する。
【０１５７】
そして、画像認識手段１８０２は、次の認識処理を行う際に、通常の認識処理に加え、未抽出物体判定手段１８１７からの認識対象物体に基づいて画像の認識処理を行うトップダウン的認識処理を行う。
【０１５８】
そうすることにより、画像認識手段１８０２が通常行っている入力画像のみに基づいて画像の認識処理を行うボトムアップ的画像認識手法では検出困難な認識対象物体でも、トップダウン的認識手法を適用することにより認識対象物体を認識することができる。
【０１５９】
なお、車載報知装置１５に含まれる撮像手段１８０１、画像認識手段１８０２、車両位置測位手段１８０３、画像認識結果情報生成手段１８０４、画像認識結果情報送信手段１８０５、道路環境再現データ受信手段１８１１、重要情報選択手段１８１２、及び情報通知手段１８１３の機能は、第１の実施の形態と同じである。また、情報センタ内装置２５に含まれる画像認識結果情報受信手段１８０６、画像認識結果情報記憶手段１８０７、道路環境再現データ統合生成手段１８０８、道路環境再現データベース１８０９、及び道路環境再現データ送信手段１８１０の機能及び実現方法は、第１の実施の形態と同じである。
【０１６０】
なお、未抽出物体判定手段１８１７を第１の実施の形態における車載報知装置１０に追加してもよいし、第２の実施の形態における道路環境情報通知装置１１に未抽出物体判定手段１８１７を追加してもよい。
【０１６１】
以上のように、本発明によれば、道路標識、信号、車両、歩行者等カーナビゲーションシステムの地図情報では提供されない物体に関する道路環境情報を、道路上に隈無くインフラストラクチャを設置せずに運転者に通知することができる。よって、ＡＨＳ等に比べ安価にシステムを構築することができる。
【０１６２】
従来の発明では自車両の車載カメラで撮像することによって認識した情報のみを利用していたので、コンピュータビジョン技術の不完全さによって画像の情報を誤認識する問題や、運転者が目視により知覚するよりも早く認識対象物体の情報を運転者に通知できないといった問題があったが、本発明によれば各車両からの画像認識結果情報を情報センタまたは各車両内で統合することによって信頼性の高い道路環境再現データを生成することができ、その信頼性の高い道路環境再現データを運転者に通知できるため、運転者は信頼性の高い情報に基づいて状況判断をすることができる。また、現時刻において自車両のカメラでは撮像できない場所に存在する物体に関する情報を事前に取得することもできるので、運転者は、今後走行中に発生しうる状況やトラブルを事前に知ることができる。
【０１６３】
なお、図１、図１１、図１５、図１６、図１７、及び図１８に示された構成は、ソフトウェアによって実現可能である。すなわち、本実施の形態では、撮像された車両周辺の画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する画像認識処理と、画像認識の結果の情報と、車両の地球上における位置である車両の絶対位置の情報とに基づいて、画像認識結果情報を生成する画像認識結果情報生成処理と、画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データを生成する道路環境再現データ統合生成処理と、道路環境再現データと、画像認識結果情報とを比較して、運転者に有益な認識対象物体に関する情報を選択して抽出する重要情報選択処理と、抽出された認識対象物体に関する情報を運転者に通知する情報通知処理とを実行させるための道路環境情報通知プログラムによって、道路環境情報通知装置または道路環境情報通知方法を実現可能である。
【０１６４】
【発明の効果】
本発明による道路環境情報通知装置によれば、車載報知装置が、車両周辺を撮像して画像情報を出力する撮像手段と、車両の絶対位置を把握する車両位置把握手段と、撮像された画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する画像認識手段と、画像認識手段が出力する画像認識の結果の情報と、車両の絶対位置の情報とに基づいて、画像認識の結果の情報を含む画像認識結果情報を生成する画像認識結果情報生成手段と、画像認識結果生成手段が生成した画像認識結果情報を、情報センタ内装置に送信する画像認識結果情報送信手段と、情報センタ内装置で生成された道路環境に関する情報である道路環境再現データを、情報センタ内装置から受信する道路環境再現データ受信手段と、道路環境再現データに含まれる情報を運転者に通知する情報通知手段とを備え、情報センタ内装置が、画像認識結果情報を、車載報知装置から受信する画像認識結果情報受信手段と、車載報知装置から受信した画像認識結果情報を、画像認識結果情報の履歴情報として記憶する画像認識結果情報記憶手段と、現時刻における認識対象物体の絶対位置と属性とに関する最新の推定結果を含むとともに、認識対象物体の撮像画像と認識対象物体とのパターンとの類似度又は推定した認識対象物体の絶対位置と最新の画像認識結果情報に含まれる絶対位置との差によって求められる類似度である、推定結果の確かさを示す総合確信度を含む道路環境再現データを記憶する道路環境再現データ記憶手段と、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報と、道路環境再現データ記憶手段が記憶する道路再現データとに基づいて、受信した画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データをさらに生成する道路環境再現データ統合生成手段と、道路環境再現データ統合生成手段が生成した道路環境再現データを、車載報知装置に送信する道路環境再現データ送信手段とを備えるように構成したので、道路にインフラストラクチャを設置せずに廉価に道路環境情報通知システムを構築することができ、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供することができ、且つ画像認識の結果情報の信頼性を向上することができる。
【０１６５】
本発明による車載報知装置によれば、車両周辺を撮像して画像情報を出力する撮像手段と、車両の絶対位置を把握する車両位置把握手段と、撮像された画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する画像認識手段と、画像認識手段が出力する画像認識の結果の情報と、車両の絶対位置の情報とに基づいて、画像認識の結果の情報を含む画像認識結果情報を生成する画像認識結果情報生成手段と、画像認識結果生成手段が生成した画像認識結果情報を、情報センタ内装置に送信する画像認識結果情報送信手段と、情報センタ内装置から、情報センタ内装置で生成された道路環境に関する情報である、現時刻における認識対象物体の絶対位置と属性とに関する最新の推定結果を含むとともに、認識対象物体の撮像画像と認識対象物体とのパターンとの類似度又は推定した認識対象物体の絶対位置と最新の画像認識結果情報に含まれる絶対位置との差によって求められる類似度である、推定結果の確かさを示す総合確信度を含む道路環境再現データを受信する道路環境再現データ受信手段と、道路環境再現データに含まれる情報を運転者に通知する情報通知手段とを備えるように構成したので、道路にインフラストラクチャを設置せずに廉価に道路環境情報通知システムを構築することができ、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供することができ、且つ画像認識の結果情報の信頼性を向上することができる。
【０１６６】
本発明による情報センタ内装置によれば、車載報知装置によって撮像された車両周辺の画像認識の結果の情報を含む画像認識結果情報を、車載報知装置から受信する画像認識結果情報受信手段と、車載報知装置から受信した画像認識結果情報を、画像認識結果情報の履歴情報として記憶する画像認識結果情報記憶手段と、現時刻における認識対象物体の絶対位置と属性とに関する最新の推定結果を含むとともに、認識対象物体の撮像画像と認識対象物体とのパターンとの類似度又は推定した認識対象物体の絶対位置と最新の画像認識結果情報に含まれる絶対位置との差によって求められる類似度である、推定結果の確かさを示す総合確信度を含む道路環境再現データを記憶する道路環境再現データ記憶手段と、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報と、道路環境再現データ記憶手段が記憶する道路再現データとに基づいて、受信した画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データをさらに生成する道路環境データ統合生成手段と、道路環境再現データ統合生成手段が生成した道路環境再現データを、車載報知装置に送信する道路環境再現データ送信手段とを備えるように構成したので、道路にインフラストラクチャを設置せずに廉価に道路環境情報通知システムを構築することができ、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供することができ、且つ画像認識の結果情報の信頼性を向上することができる。
【０１６７】
本発明による道路環境情報通知プログラムによれば、コンピュータに、撮像された車両周辺の画像情報から道路環境に関する画像を認識して抽出し、抽出した画像認識の結果の情報を出力する処理と、画像認識の結果の情報と、車両の絶対位置の情報とに基づいて、画像認識の結果の情報を含む画像認識結果情報を生成する処理と、生成した画像認識結果情報を、画像認識結果情報の履歴情報として画像認識結果情報記憶手段に記憶させる処理と、画像認識結果情報記憶手段が記憶する画像認識結果情報の履歴情報と、現時刻における認識対象物体の絶対位置と属性とに関する最新の推定結果を含むとともに、認識対象物体の撮像画像と認識対象物体とのパターンとの類似度又は推定した認識対象物体の絶対位置と最新の画像認識結果情報に含まれる絶対位置との差によって求められる類似度である、推定結果の確かさを示す総合確信度を含む道路環境再現データを記憶する道路環境再現データ記憶手段が記憶する道路再現データとに基づいて、画像認識結果情報を統合し、統合された道路環境に関する情報である道路環境再現データをさらに生成する処理と、道路環境再現データと、画像認識結果情報とを比較して、運転者に関係する認識対象物体に関する情報や信頼できる情報を選択して抽出する処理と、抽出された認識対象物体に関する情報を運転者に通知する処理とを実行させるので、運転者が目視によって知覚するよりも早く、道路標識、信号の状態や道路上の物体の有無等の有用な情報をリアルタイムに運転者に提供することができ、且つ画像認識の結果情報の信頼性を向上することができる。
【図面の簡単な説明】
【図１】本発明による道路環境情報通知装置の構成の一例を示すブロック図である。
【図２】撮像手段が撮像する画像の一例を示す説明図である。
【図３】画像認識手段が出力する画像認識結果の一例を示す説明図である。
【図４】画像認識手段が出力する画像認識結果の他の例を示す説明図である。
【図５】画像認識結果情報の一例を示す説明図である。
【図６】画像認識結果情報の履歴情報と、道路環境再現データベースに記憶される道路環境再現データの一例を示す説明図である。
【図７】道路環境再現データ統合生成手段によって、生成された道路環境再現データの一例を示す説明図である。
【図８】車載報知装置が行う処理の処理経過の一例を示すフローチャートである。
【図９】情報センタ内装置が行う処理の処理経過の一例を示すフローチャートである。
【図１０】道路環境の具体例を示す説明図である。
【図１１】本発明による道路環境情報通知装置の構成の他の例を示すブロック図である。
【図１２】本発明による道路環境情報通知装置が行う処理の処理経過の一例を示すフローチャートである。
【図１３】画像認識結果情報の他の例を示す説明図である。
【図１４】車両別正情報頻度テーブルの内容の一例を示す説明図である。
【図１５】本発明による道路環境情報通知装置の構成のさらに他の例を示すブロック図である。
【図１６】本発明による道路環境情報通知装置の構成のさらに他の例を示すブロック図である。
【図１７】本発明による道路環境情報通知装置の構成のさらに他の例を示すブロック図である。
【図１８】本発明による道路環境情報通知装置の構成のさらに他の例を示すブロック図である。
【符号の説明】
１０，１２，１３，１４，１５車載報知装置
１１道路環境情報通知装置
２０，２２，２３，２４，２５情報センタ内装置
１０１，１１０１，１５０１，１６０１，１７０１，１８０１撮像手段
１０２，１１０２，１５０２，１６０２，１７０２，１８０２画像認識手段１０３，１１０３，１５０３，１６０３，１７０３，１８０３車両位置測位手段
１０４，１１０４，１５０４，１６０４，１７０４，１８０４画像認識結果情報生成手段
１０５，１１０５，１５０５，１６０５，１７０５，１８０５画像認識結果情報送信手段
１０６，１１０６，１５０６，１６０６，１７０６，１８０６画像認識結果情報受信手段
１０７，１１０７，１５０７，１６０７，１７０７，１８０７画像認識結果情報記憶手段
１０８，１１０８，１５０８，１６０８，１７０８，１８０８道路環境再現データ統合生成手段
１０９，１１０９，１５０９，１６０９，１７０９，１８０９道路環境再現データベース
１１０，１５１０，１６１０，１７１０，１８１０道路環境再現データ送信手段
１１１，１５１１，１６１１，１７１１，１８１１道路環境再現データ受信手段
１１２，１１１２，１５１２，１６１２，１７１２，１８１２重要情報選択手段
１１３，１１１３，１５１３，１６１３，１７１３，１８１３情報通知手段
１５１４入力操作手段
１６１５動作状態監視手段
１７１６衝撃感知直前映像記憶手段
１８１７未抽出物体判定手段[0001]
BACKGROUND OF THE INVENTION
The present invention provides information such as road signs, road signs, traffic lights, pedestrians, and surrounding vehicles that are not provided by the car navigation system or VICS information from images captured by the in-vehicle camera of the in-vehicle notification device. Recognize every moment by image recognition, and aggregate, integrate, or distribute information recognized by each vehicle via a network to provide real-time information that is useful and reliable for driver behavior determination The present invention relates to a road environment information notification device, an in-vehicle notification device, an information center device, and a road environment information notification program.
[0002]
[Prior art]
A car navigation system is widely used as a system that supports the behavior determination of a driver of a vehicle (automobile or the like). The car navigation system uses map information and VICS (Vehicle Information and Communication System) information to provide information on road location, road congestion, current location of the vehicle, route to the destination, etc. This is a system that supports the driver's behavior by notifying the driver by graphic display on the monitor or by voice.
[0003]
However, since the car navigation system cannot provide information on an object such as a road sign such as a stop sign, a signal state, or a vehicle or a pedestrian on the road (hereinafter referred to as road environment information), You must drive with care so as not to miss road signs and pedestrians. Therefore, as a system that assists the driver in acquiring road environment information, the road environment information such as road signs is recognized by a camera mounted on the driver's own vehicle, and the driver is notified by text, graphics, or voice. A real-time information providing system for notifying road environment information is disclosed in Patent Literature 1, Patent Literature 2, Patent Literature 3, and Non-Patent Literature 1.
[0004]
By these real-time information providing systems, it is possible to reduce the burden on the driver who has been focused on finding object information such as road signs and pedestrians. In addition, in order to realize these real-time information providing systems, it is only necessary to install a car navigation system with a camera in the vehicle. Therefore, it is easy to install necessary equipment and maintain the system, and the system can be constructed at low cost. .
[0005]
In addition, the Ministry of Land, Infrastructure, Transport and Tourism in Japan has proposed Intelligent Transport Systems (ITS) that aims to eliminate traffic accidents by connecting people, roads, and vehicles through a network. Advanced cruise-assist highway systems (AHS), one of the pillars of the concept of advanced traffic systems, are (1) pedestrians, vehicle location information, The vehicle surface information, (2) signal lighting information transmitted by the traffic light, and (3) other vehicle position information transmitted by the other vehicle are received by the receiving device installed in each vehicle, so that each vehicle can run fully automatically. This is a technique intended to be realized (see, for example, Non-Patent Document 2).
[0006]
Further, Non-Patent Document 3 discloses a traffic information providing system that provides a driver with an image captured by a camera installed beside a road via a network.
[0007]
Furthermore, a system that transmits and receives vehicle position information by GPS (Global Positioning System) between vehicles via a network and prevents a collision between vehicles and a vehicle from colliding with a road shoulder is disclosed in Non-Patent Document 4, Non-Patent Document. It is disclosed in Reference 5 and Non-Patent Reference 6.
[0008]
[Patent Document 1]
JP 2000-67374 A (page 4-6, FIGS. 1 and 2)
[Patent Document 2]
Japanese Patent Laid-Open No. 10-177699 (page 3-5, FIG. 1)
[Patent Document 3]
JP 2001-84496 A (page 4-8, FIG. 1, FIG. 8, FIG. 10)
[Non-Patent Document 1]
US Pat. No. 6,311,123
[Non-Patent Document 2]
Ministry of Land, Infrastructure, Transport and Tourism, “AHS”, [online], April 1, 2002, Ministry of Land, Infrastructure, Transport and Tourism, [Search September 9, 2002], Internet <URL: http: //www.nilim.go. jp / japanese / its / fields / ahs / ＞
[Non-Patent Document 3]
US Pat. No. 5,396,429
[Non-Patent Document 4]
US Pat. No. 6,405,132
[Non-Patent Document 5]
US Pat. No. 6,370,475
[Non-Patent Document 6]
US Pat. No. 6,275,773
[0009]
[Problems to be solved by the invention]
However, a conventional real-time information providing system that notifies road environment information by an in-vehicle camera of the own vehicle only provides the driver with information that can be perceived by the driver at almost the same time as the driver perceives. Absent. Therefore, the conventional real-time information providing system can reduce oversight of road environment information due to driver's carelessness, but obtain other useful road environment information that the driver cannot perceive himself at a specific time, It cannot be provided to the driver.
[0010]
For example, while driving on a road, a vehicle with a high vehicle height (for example, a trailer) blocks the front view of the vehicle, and the driver lights the front signal (for example, a red signal or a blue signal). For example, if you want to know as soon as possible the road conditions such as whether there is a shoulder parked vehicle on the road ahead, the conventional real-time information provision system uses There is a possibility that the driver cannot be notified of the presence / absence information.
[0011]
In addition, the performance of an object recognition technique generally called computer vision is low compared to human visual ability. Therefore, depending on the positional relationship between the camera installed in the host vehicle and the object to be recognized, the sunshine conditions, etc., the object to be recognized may not be recognized well. However, the conventional real-time information providing system uses such computer vision technology. There is no means to compensate for imperfections in object recognition.
[0012]
Further, in AHS, since infrastructure such as sensors is installed on the road without fail, it is possible to notify the driver of accurate road environment information faster than the driver visually perceives. However, the installation of infrastructure such as sensors on the road and the maintenance and management of the infrastructure require a large amount of money, which is problematic in terms of cost and feasibility. In addition, since the information communicated between the infrastructure installed on the road and the vehicle and the information communicated between the vehicles are always assumed to be correct information, inaccurate information was sent and received. In some cases, there is no mechanism to compensate for inaccuracy of information or a mechanism for integrating inaccurate information.
[0013]
Further, in a system that transmits and receives vehicle position information by GPS between vehicles via a network, a huge infrastructure investment is required to enable transmission of position information signals from guardrails, traffic lights, road signs, or the like. . In addition, the system can transmit and receive accurate position information, but does not have a mechanism for receiving and integrating image recognition result information including inaccurate elements.
[0014]
Therefore, the present invention can be constructed inexpensively without installing infrastructure on the road, and provides useful information such as road signs, signal states, and presence / absence of objects on the road earlier than the driver perceives visually. It is an object of the present invention to provide a road environment information notification device, an in-vehicle notification device, an information center device, and a road environment information notification program that can be provided to a driver in real time and can improve the reliability of image recognition result information.
[0015]
[Means for Solving the Problems]
A road environment information notification device according to the present invention includes an in-vehicle notification device installed in a vehicle and an information center device installed in an information center, and notifies the driver of road environment information that is information about the road environment. A road environment information notification device, wherein the in-vehicle notification device captures an image of the periphery of the vehicle and outputs image information; Vehicle position grasping means for grasping the absolute position of the vehicle; Image recognition means for recognizing and extracting an image related to the road environment from the imaged image information, and outputting information of the extracted image recognition result; Image recognition result information generating means for generating image recognition result information including information on the result of image recognition based on information on the result of image recognition output by the image recognition means and information on the absolute position of the vehicle, and image recognition Generated by the result generator Image recognition result information transmitting means for transmitting image recognition result information to the information center apparatus, and a road environment for receiving road environment reproduction data, which is information related to the road environment generated by the information center apparatus, from the information center apparatus A reproduction data receiving unit; and an information notifying unit for notifying a driver of information included in the road environment reproduction data. The in-center device receives image recognition result information from the in-vehicle notification device. Means, The image recognition result information storage means for storing the image recognition result information received from the in-vehicle notification device as the history information of the image recognition result information, and the latest estimation result regarding the absolute position and attribute of the recognition target object at the current time , The similarity between the captured image of the recognition target object and the pattern of the recognition target object, or the similarity obtained by the difference between the absolute position of the estimated recognition target object and the absolute position included in the latest image recognition result information. Road environment reproduction data storage means for storing road environment reproduction data including comprehensive certainty indicating the certainty of the estimation result, history information of image recognition result information stored in the image recognition result information storage means, and road environment reproduction data storage Based on the road reproduction data stored by the means, The received image recognition result information is integrated, and road environment reproduction data, which is information about the integrated road environment, is obtained. further A road environment reproduction data integrated generation means for generating; Generated by road environment reproduction data integrated generation means A road environment reproduction data transmitting means for transmitting the road environment reproduction data to the in-vehicle notification device is provided.
[0016]
According to such a configuration, it is possible to construct a system at a low cost without installing infrastructure on the road, and it is faster than the driver can perceive visually to detect road signs, signal conditions, and objects on the road. Useful information such as presence / absence can be provided to the driver in real time, and the reliability of the image recognition result information can be improved.
[0019]
The in-vehicle notification device refers to the road environment reproduction data received from the information center device and the image recognition result information output by the image recognition result information generating means, and determines the information that is determined to be important to the driver. It is preferable to include important information selection means for selecting and extracting from road environment reproduction data or image recognition result information.
[0020]
According to such a configuration, only important information can be notified to the driver among the information included in the road reproduction data or the image recognition result information.
[0021]
In the in-vehicle notification device or the information center device, the image recognition means extracts the attribute of the object to be recognized, the relative position with respect to the vehicle, and the recognition time by recognizing the image based on the captured image information. A recognition certainty indicating the certainty of the result obtained by the recognition is calculated, and information on the result of the image recognition including the attribute, the relative position, the recognition time, and the recognition certainty is output. The absolute position of the recognition target object is calculated based on the relative position of the recognition target object included in the image recognition information with respect to the vehicle and the absolute position of the vehicle acquired by the vehicle position grasping means, Information including attribute, recognition time, and recognition certainty is generated as image recognition result information, and the road environment reproduction data integrated generation unit stores the image stored in the image recognition result information storage unit. The content of the information included in the history information of the image recognition result information and the road environment based on the value of the recognition certainty included in the history information of the recognition result information and the total certainty included in the road environment reproduction data one hour before By integrating the content of the information included in the reproduction data, calculating the absolute position and attribute estimation result of the recognition target object at the current time, and updating the content of the road environment reproduction data based on the estimation result, It is preferable that the latest road environment reproduction data is generated, and the information notification means notifies the driver of the information extracted by the important information selection means by display or audio.
[0022]
According to such a configuration, it is possible to generate road environment reproduction data in consideration of the recognition certainty indicating the certainty of the result of the image recognition recognized by the image recognition means, and to provide information to the driver by visual or voice. Can be notified.
[0031]
When the image recognition result information storage means stores the image recognition result information newly received by the image recognition result information receiving means, the road environment reproduction data integrated generation means is a recognition certainty factor included in the history information of the image recognition result information. The total certainty factor may be calculated by calculating an average value.
[0032]
According to such a configuration, the total certainty factor can be calculated in consideration of history information of past image recognition result information.
[0033]
The road environment reproduction data integrated generation means includes the image recognition result in any of the road environment reproduction data stored in the road environment reproduction data storage means and the history information of the image recognition result information stored in the image recognition result information storage means. When there is no information corresponding to the recognition target object of the image recognition result information received by the information receiving means, the recognition certainty included in the received image recognition result information is used as the total certainty for the recognition target object. Also good.
[0034]
According to such a configuration, road environment reproduction data corresponding to a newly recognized recognition target object can be generated.
[0035]
When the attributes of the recognition target object change over time, the road environment reproduction data integrated generation unit has a difference between the recognition time and the current time in the history information of the image recognition result information stored in the image recognition result information storage unit. The road environment reproduction data may be generated based only on information within a predetermined time period.
[0036]
According to such a configuration, it is possible to notify the driver of highly reliable road environment information for a recognition target object whose attribute changes with time, such as a traffic light or a pedestrian.
[0037]
When the image recognition result information receiving means does not receive the image recognition result information including the information of the specific recognition target object for a predetermined time, the road environment reproduction data integration generating means Of the road environment reproduction data stored, the road environment reproduction data corresponding to the recognition target object may be deleted.
[0038]
According to such a configuration, it becomes possible to delete road environment reproduction data that has become unnecessary.
[0039]
The image recognition result information generating means generates image recognition result information including vehicle number information for specifying the vehicle, and the road environment reproduction data integrated generating means is the image recognition result information received by the image recognition result information receiving means. When the content of the vehicle environment information does not match the content of the road environment reproduction data, the vehicle number information included in the image recognition result information is stored for a predetermined time, and the image recognition result information received from the vehicle of the specific vehicle number information If the content does not match the content of the road environment reproduction data at a rate exceeding the predetermined frequency, the recognition reliability included in the image recognition information received from the vehicle is estimated to be low, and new road environment reproduction data is generated It may be.
[0040]
According to such a configuration, even when information with low reliability is included in the image recognition result information, road environment information with high reliability can be provided to the driver.
[0041]
The road environment information notification device includes an input operation unit that inputs an instruction relating to a planned travel route, and the important information selection unit may select and extract information related to a recognition target object existing on the planned travel route. Good.
[0042]
According to such a configuration, it is possible to select the road environment information related to the planned travel route instructed in advance and notify the driver.
[0043]
The input operation means may have a function of inputting designation of information to be acquired, and the important information selection means may select and extract information based on the designation input by the input operation means.
[0044]
According to such a configuration, it is possible to select road environment information related to a type of recognition target object designated in advance and notify the driver.
[0045]
The input operation means has a function of inputting whether or not to transmit the image recognition result information to the information center, and the image recognition result information transmission means transmits the image recognition result information by an input of the input operation means. The image recognition result information may be transmitted only when the designation is made.
[0046]
According to such a configuration, when the driver does not want other people to know the position of the host vehicle, it can be set not to transmit information from the host vehicle.
[0047]
The road environment information notification device has a problem when the content of the image recognition result information output by the image recognition result information generating means and the content of the road environment reproduction data do not coincide with each other beyond a predetermined frequency. And an operation state monitoring unit that monitors the operation state of the imaging unit or the image recognition unit, and the information notification unit provides information on the detected failure when the operation state monitoring unit detects the failure. May be notified.
[0048]
According to such a configuration, the driver can know the occurrence of a malfunction of the in-vehicle notification device mounted on the host vehicle.
[0049]
The road environment information notification device stores the video imaged by the imaging means for a predetermined time, stops recording a new video when it senses an impact on the vehicle, and retains the video just before sensing the impact. It may be provided with video storage means immediately before impact detection.
[0050]
According to such a configuration, when an accident occurs, the cause of the accident can be quickly investigated.
[0051]
The road environment information notification device includes vehicle speed measurement means for sensing the moving speed of the vehicle, and the important information selection means is for traffic environment reproduction data in which the attribute of the recognition target object is a traffic light or a stop sign. , A threshold for which the moving speed of the vehicle is predetermined with respect to the distance from the vehicle to the recognition target object calculated based on the absolute position of the recognition target object included in the road environment reproduction data and the absolute position of the vehicle at the current time The road environment reproduction data related to the recognition target object may be selected and extracted only when the number exceeds.
[0052]
According to such a configuration, the driver can decelerate the moving speed of the host vehicle with a margin before reaching the location of the red traffic light or the stop sign.
[0053]
The road environment information notifying device selects a recognition target object when the recognition target object corresponding to the received road environment reproduction data is in a position where it can be recognized from the host vehicle and the image recognition unit has not recognized the recognition target object. A non-extracted object determination means for determining, and the image recognition means extracts an unextracted object by a top-down image analysis process that performs image analysis based on information of a recognition target object determined by the unextracted object determination means. There may be.
[0054]
According to such a configuration, an image can be recognized even if the image recognition means of the host vehicle is a recognition target object that is difficult to detect.
[0055]
An in-vehicle notification device according to the present invention includes an in-vehicle notification device installed in a vehicle and an information center device installed in an information center, and is information relating to a road environment generated by the information center device for a driver. An in-vehicle notification device in a road environment information notification system for notifying certain road environment information, imaging means for imaging the periphery of the vehicle and outputting image information; Vehicle position grasping means for grasping the absolute position of the vehicle; Image recognition means for recognizing and extracting an image related to the road environment from the imaged image information, and outputting information of the extracted image recognition result; Image recognition result information generating means for generating image recognition result information including information on the result of image recognition based on information on the result of image recognition output by the image recognition means and information on the absolute position of the vehicle, and image recognition Generated by the result generator Image recognition result information transmitting means for transmitting image recognition result information to the information center apparatus, and information on the road environment generated by the information center apparatus from the information center apparatus. , Including the latest estimation result regarding the absolute position and attribute of the recognition target object at the current time, and the similarity between the captured image of the recognition target object and the pattern of the recognition target object, or the estimated absolute position of the recognition target object and the latest Includes the overall certainty indicating the certainty of the estimation result, which is the similarity obtained by the difference from the absolute position contained in the image recognition result information Road environment reproduction data receiving means for receiving road environment reproduction data and information notification means for notifying a driver of information included in the road environment reproduction data are provided.
[0056]
According to such a configuration, it is possible to construct a road environment information notification system at a low cost without installing infrastructure on the road, and the road signs, signal states and roads are faster than the driver perceives visually. Useful information, such as the presence or absence of an object above, can be provided to the driver in real time, and the reliability of inaccurate image recognition result information can be improved.
[0059]
The in-vehicle notification device refers to the road environment reproduction data received from the information center device and the image recognition result information output by the image recognition result information generating means, and determines the information that is determined to be important to the driver. Important information selection means to select and extract from road environment reproduction data or image recognition result information The important information selection means extracts information that is determined to be important to the driver by selecting information with high overall confidence from the road environment reproduction data. It is preferable.
[0060]
According to such a configuration, only important information can be notified to the driver among the information included in the road reproduction data or the image recognition result information.
[0061]
An information center device according to the present invention includes an in-vehicle notification device installed in a vehicle and provided with an imaging means, and an information center device installed in the information center. An image center result in an information center device in a road environment information notification system for notifying a vehicle, and receiving image recognition result information including information on a result of image recognition around the vehicle imaged by the in-vehicle notification device from the in-vehicle notification device Information receiving means; The image recognition result information storage means for storing the image recognition result information received from the in-vehicle notification device as the history information of the image recognition result information, and the latest estimation result regarding the absolute position and attribute of the recognition target object at the current time , The similarity between the captured image of the recognition target object and the pattern of the recognition target object, or the similarity obtained by the difference between the absolute position of the estimated recognition target object and the absolute position included in the latest image recognition result information. Road environment reproduction data storage means for storing road environment reproduction data including comprehensive certainty indicating the certainty of the estimation result, history information of image recognition result information stored in the image recognition result information storage means, and road environment reproduction data storage Based on the road reproduction data stored by the means, The received image recognition result information is integrated, and road environment reproduction data, which is information about the integrated road environment, is obtained. further A road environment data integrated generating means for generating; Generated by road environment reproduction data integrated generation means A road environment reproduction data transmitting means for transmitting the road environment reproduction data to the in-vehicle notification device is provided.
[0062]
According to such a configuration, it is possible to construct a road environment information notification system at a low cost without installing infrastructure on the road, and the road signs, signal states and roads are faster than the driver perceives visually. Useful information, such as the presence or absence of an object above, can be provided to the driver in real time, and the reliability of inaccurate image recognition result information can be improved.
[0065]
A road environment information notifying program according to the present invention is a road environment information notifying program for notifying a driver of road environment information that is information relating to the road environment. Based on the process of recognizing and extracting the image related to, extracting the extracted image recognition result information, the image recognition result information, and the vehicle absolute position information, Contains information about image recognition results Processing for generating image recognition result information; Processing for storing the generated image recognition result information in the image recognition result information storage unit as history information of the image recognition result information, history information of the image recognition result information stored in the image recognition result information storage unit, and recognition at the current time The latest estimation result regarding the absolute position and attribute of the target object is included, and the similarity between the captured image of the recognition target object and the pattern of the recognition target object or the estimated absolute position of the recognition target object and the latest image recognition result information Based on the road reproduction data stored by the road environment reproduction data storage means for storing the road environment reproduction data including the overall certainty indicating the certainty of the estimation result, which is the similarity obtained by the difference from the absolute position included in And Image recognition result information is integrated, and road environment reproduction data that is information about the integrated road environment further A process for generating information, road environment reproduction data, and image recognition result information to select and extract information about a recognition target object related to a driver and reliable information; and an extracted recognition target object And a process of notifying the driver of information on the vehicle.
[0066]
According to such a program, it is possible to provide the driver with useful information in real time, such as road signs, signal states, and the presence or absence of objects on the road, faster than the driver perceives visually, and The reliability of the image recognition result information can be improved.
[0067]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
Embodiments of a road environment information notification device according to the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing an example of the configuration of the road environment information notification device according to the first embodiment. The road environment information notification device shown in FIG. 1 is a system in which an information center collects information based on an image sent from a vehicle traveling on a road, and distributes information generated by integration based on the collected information to the vehicle. It is. The road environment information notification device includes an in-vehicle notification device 10 installed in each vehicle and an information center device 20 installed in the information center.
[0068]
As shown in FIG. 1, the in-vehicle notification device 10 includes an imaging unit 101 that captures the periphery of a vehicle, an image recognition unit 102 that recognizes an image, a vehicle position positioning unit 103 that measures the position of the host vehicle, and an image recognition result. Image recognition result information generating means 104 for generating information, image recognition result information transmitting means 105 for transmitting image recognition result information to the information center apparatus 20, and road environment reproduction data for receiving information from the information center apparatus 20 Information receiving means 111, important information selecting means 112 for selecting important information for the driver, and information notifying means 113 for notifying the driver of information are included.
[0069]
The imaging means is realized by a video camera, an ultrasonic sensor, an infrared sensor, or the like. The vehicle position positioning means 103 is realized by a GPS device, a gyroscope, or the like. The image recognition unit 102, the image recognition result information generation unit 103, and the important information selection unit 112 are realized by, for example, a control unit of a car navigation device that executes a program stored in a storage device of a car navigation device mounted on a vehicle. Is done. The image recognition result information transmitting unit 105 and the road environment reproduction data receiving unit 111 are realized by, for example, a transmission / reception unit (wireless LAN card, optical modem, etc.) of a car navigation apparatus and a control unit that controls the transmission / reception unit. The information notification unit 113 is realized by a display unit (a monitor or the like) of the car navigation apparatus and a control unit that controls the display unit.
[0070]
As shown in FIG. 1, the information center in-device 20 includes an image recognition result information receiving unit 106 for receiving information from the in-vehicle notification device 10, an image recognition result information storing unit 107 for storing the received information, Road environment reproduction data integrated generation means 108 that generates road environment reproduction data by integrating image recognition result information and the like, a road environment reproduction database 109 that stores road environment reproduction data, and a road that transmits information to the in-vehicle notification device 10 Environment reproduction data transmission means 110.
[0071]
The information center apparatus is an information processing apparatus such as a workstation. The image recognition result information receiving unit 106 and the road environment reproduction data transmitting unit 110 include, for example, a transmission / reception unit (wireless LAN card, optical modem, etc.) implemented in an information processing apparatus and a control unit that controls the transmission / reception unit. Realized. The image recognition result information storage unit 107 is realized by a storage device of an information processing device. The road environment reproduction data integrated generation unit 108 is realized by a control unit of the information processing apparatus that executes a program stored in the storage device of the information processing apparatus. The road environment reproduction database 109 is realized by a database device or the like connected to the information processing device.
[0072]
Although the in-vehicle notification device 10 is originally installed for each vehicle, the function of each unit of the in-vehicle notification device 10 is the same for all vehicles. Therefore, in FIG. 1, the configuration of the in-vehicle notification device 10 for only one vehicle. The description of the configuration of the in-vehicle notification device 10 for other vehicles is omitted. Further, the road environment reproduction data storage means is realized by the road environment reproduction database 109, and the vehicle position grasping means is realized by the vehicle position positioning means 103.
[0073]
The image pickup means 101 of the in-vehicle notification device 10 picks up images around the host vehicle every moment. Then, the imaging unit 101 outputs the captured video to the image recognition unit 102. The imaging means 101 includes a forward-facing camera for imaging the front of the host vehicle, and the forward-facing camera captures road signs, road signs, signals, store signs, and vehicles and pedestrians that precede the road. To do.
[0074]
Further, the imaging means 101 may include rear and side cameras as necessary. The rear-facing camera images a rear vehicle or the like, and the side-facing camera images a store signboard, a pedestrian on a sidewalk, a vehicle running on an alley, a pedestrian, or the like.
[0075]
In order to measure the distance to the object to be imaged, the imaging unit 101 may output a stereo image to the image recognition unit 102 by imaging with a plurality of cameras installed in each direction. The imaging unit 101 includes a distance measurement auxiliary sensor such as a millimeter wave radar or an ultrasonic sensor in combination with a camera in each direction, and the image recognition unit 102 captures an image captured by the camera and the distance measurement auxiliary sensor. Images may be output.
[0076]
The image recognition unit 102 recognizes a road sign, a road sign, a traffic signal, a store signboard, a vehicle, a pedestrian, or the like from a video captured by the imaging unit 101 based on a pattern of a recognition target object registered in the system in advance. The target object is extracted, and the attribute of the extracted recognition target object, the relative position with respect to the host vehicle, and the certainty of image recognition processing (hereinafter referred to as recognition certainty) are output to the image recognition result information generating unit 103. The recognition certainty is an index indicating the certainty of the result obtained by the image recognition, and the larger the value, the more accurate the recognition result of the image. The recognition confidence is generally calculated by a method called a simple similarity method or a composite similarity method. In addition, the relative position between the host vehicle and the recognition target object is generated based on distance information extracted from a stereo camera image or an ultrasonic sensor, and azimuth information of the host vehicle.
[0077]
Also, for example, the recognition certainty can be obtained using a neural network. In that case, the value of the output layer of the multilayer neural network is calculated, and the calculated value of the output layer is set as the recognition certainty.
[0078]
FIG. 2 is an explanatory diagram illustrating an example of an image captured by the imaging unit 101. In the example illustrated in FIG. 2, a road sign 201 indicating parking prohibition and an auxiliary sign 202 are included in the image output by the imaging unit 101. The image recognition unit 102 outputs image recognition result information based on the image shown in FIG.
[0079]
FIG. 3 is an explanatory diagram illustrating an example of image recognition result information output from the image recognition unit 102 based on the image illustrated in FIG. The information of the image recognition result includes code information 301 indicating that the output information relates to a road sign, relative position information 302 indicating a relative position of the sign with respect to the host vehicle, and a recognition time which is a time when the sign is recognized. 303, code information 304 indicating that the type of the sign is a parking prohibition sign as attribute information, information 305 indicating the date and time when the sign is effective, information 306 indicating the range where the sign is effective, image recognition And the recognition confidence 307 of the result. The attribute is the type of road sign (for example, stop sign or parking stop sign) when the recognition target object is a road sign, and when the recognition target object is a traffic signal, State (for example, red signal or blue signal).
[0080]
FIG. 4 is an explanatory diagram showing another example of the information of the image recognition result output by the image recognition unit 102. As an example of image recognition result information for another recognition target object, an example of image recognition result information when the imaging unit 101 images a target object whose attributes change with time, such as a traffic light, will be described. As shown in FIG. 4, the information of the image recognition result includes code information 401 indicating that the output information relates to a traffic signal, relative position information 402 indicating a relative position of the traffic signal with respect to the host vehicle, and a signal of the traffic signal. Code information 403 indicating the road range in which the signal is effective, recognition time 404 that is a recognition time of a traffic light, and code information 405 that indicates a lighting state of the traffic light (whether it is a green light or a red traffic light) as attribute information And the recognition certainty factor 406 of the image recognition result.
[0081]
The format of such image recognition result information is predetermined for each type of recognition target object. When a plurality of recognition target objects are recognized from a single image, the image recognition unit 102 sequentially outputs information about each recognition result to the image recognition result information generation unit 104.
[0082]
The vehicle position measuring means 103 acquires the absolute position of the host vehicle on the earth by GPS or the like and outputs it to the image recognition result information generating means 104. Based on the absolute position information of the host vehicle input from the vehicle position measurement unit 103, the image recognition result information generation unit 104 calculates the absolute position of the recognition target object included in the recognition result input from the image recognition unit 102. Convert to position. Then, the image recognition result information generation unit 104 encodes the converted recognition result, and outputs the encoded information to the image recognition result information transmission unit 105 and the important information selection unit 112 as image recognition result information.
[0083]
The image recognition result information transmitting unit 105 converts the image recognition result information input from the image recognition result information generating unit 104 into an optical signal, a radio wave signal, or the like, and transmits the optical signal to the information center apparatus 20 in the information center. The in-vehicle notification device 10 and the information center device 20 transmit and receive information using, for example, an FM multiplex broadcast or optical beacon system, which is a communication network of the VICS system. Moreover, the vehicle-mounted alerting | reporting apparatus 10 and the information center internal device 20 may transmit / receive information using other communication networks, such as wireless LAN.
[0084]
The image recognition result information receiving unit 106 of the information center apparatus 20 receives the image recognition result information transmitted from each in-vehicle notification device 10 every moment, and the received image recognition result information is stored in the image recognition result information storage unit 107. Output.
[0085]
The image recognition result information storage unit 107 stores the image recognition result information input from the image recognition result information receiving unit 106. Then, the image recognition result information storage unit 107 holds the stored image recognition result information as information indicating a history of the image recognition result information (hereinafter referred to as history information) for a predetermined time.
[0086]
The road environment reproduction database 109 stores road environment reproduction data that is information about each recognition target object on the road. The stored road environment reproduction data includes information on absolute position, attribute information, and information on total confidence that the recognition target object is estimated to exist at the current time. A method of calculating the total certainty factor will be described later. The road environment reproduction data is initialized immediately after the information center apparatus 20 is activated. After the initialization, the road environment reproduction data is generated as needed by the road environment reproduction data integrated generation unit 108, and the content is updated.
[0087]
The road environment reproduction data integrated generation means 108 has received new image recognition result information regarding the corresponding recognition target object from the in-vehicle notification device 10 for a certain period of time among road environment reproduction data stored in the road environment reproduction database 109. Delete no road environment reproduction data. Further, the road environment reproduction data integrated generation unit 108, when the road environment reproduction database 109 does not include road environment reproduction data corresponding to the recognition target object included in the received image recognition result information, the recognition target object. New road environment reproduction data corresponding to is generated.
[0088]
The road environment reproduction data integrated generation unit 108 is based on the image recognition result information held in the image recognition result information storage unit 107 and the road environment reproduction data before generation (one hour before) stored in the road environment reproduction database 109. Then, an absolute position and attribute estimation result at the current time of the recognition target object is generated. Further, the road environment reproduction data integrated generation unit 108 calculates a total certainty factor for the generated estimation result, and generates information on road environment reproduction data corresponding to the recognition target object.
[0089]
If the image recognition result information transmitted from the in-vehicle notification device 10 of each vehicle is always accurate, the road environment reproduction data integrated generation unit 108 converts the information included in the latest image recognition result information to the road environment. By writing the reproduction data, road environment reproduction data can be generated. However, since there is a possibility that the image recognition result information includes erroneous information, the road environment reproduction data integrated generation unit 108 performs the history information of the past image recognition result information (or the road environment reproduction one time ago). In consideration of the information contained in the data, an estimation result of the absolute position, attribute, etc. at the current time is generated.
[0090]
The procedure in which the road environment reproduction data integrated generation unit 108 generates road environment reproduction data will be specifically described. FIG. 5 is an explanatory diagram showing an example of the latest image recognition result information received by the image recognition result information receiving unit 106. As shown in FIG. 5, the information of the image recognition result information is that the stop sign (attribute = temporary stop) present at 35.00 north latitude and 136.00 east longitude is 50% at 18: 6 depending on the traveling vehicle. It has illustrated that it was detected by the recognition certainty of.
[0091]
FIG. 6 shows history information (stored in the image recognition result storage means 107) of past image recognition result information corresponding to the road sign that is a recognition target object and road environment reproduction data (stored in the road environment reproduction database 109). FIG. FIG. 6 (a) shows the history information of the image recognition result information at the past 18: 5 and 18: 3, and the road sign is recognized at a recognition confidence of 100% at 18: 5 and 18: 3. It has been illustrated that it was done. FIG. 6B illustrates that the total certainty factor included in the road environment reproduction data generated at 18:05 was 100%.
[0092]
FIG. 7 is an explanatory diagram showing an example of the latest road environment reproduction data generated by the road environment reproduction data integrated generation unit 108. The road environment reproduction data integrated generation means 108 shows the latest comprehensive confidence for the road sign, the history information of the past image recognition result information for two times shown in FIG. 6 (a), and the latest information shown in FIG. Calculation is performed by obtaining an average value of the recognition certainty included in the image recognition result information for three times including the image recognition result information. In this example, since the recognition certainty included in the image recognition result information for three times is 100%, 100%, and 50%, the road environment reproduction data integrated generation unit 108, as shown in FIG. The certainty factor is determined to be an average value of 84%.
[0093]
That is, when the image recognition result information receiving unit 106 receives the latest image recognition result information for the road sign, the road environment reproduction data integrated generation unit 108 stores the image recognition result stored in the image recognition result information storage unit 107. Image recognition result information regarding the same recognition target object is extracted from the history information of the information, an average value of the recognition certainty is calculated, and an overall certainty of the road environment reproduction data is generated. When there are a plurality of traveling vehicles and the image recognition result information is received from the plurality of in-vehicle notification devices 10, the image recognition result information storage unit 107 stores the history of the image recognition result information received from the plurality of in-vehicle notification devices 10. Information is stored, and the road environment reproduction data integrated generation means 108 can comprehensively generate road environment reproduction data based on the history information of image recognition result information from a plurality of vehicles.
[0094]
In addition, the road environment reproduction data integrated generation unit 108 does not determine the overall certainty by calculating the average value of the recognition certainty for three times, but calculates the average value of the recognition certainty for more times. For example, the total certainty factor may be determined based on other calculation criteria. Further, the road environment reproduction data integrated generation unit 108 calculates an average value of the recognition certainty factor included in the latest image recognition result information and the total certainty factor included in the road environment reproduction data one hour ago. The total certainty factor may be determined by considering the information.
[0095]
The situation in which the recognition certainty included in the newly acquired image recognition result information is deteriorated as compared with the recognition certainty included in the image recognition result information acquired in the past easily occurs due to a cause such as a poor front visibility of the vehicle. When the vehicle is in an environment where information cannot be transmitted / received to / from other vehicles or information centers via the network (that is, when the device installed in the vehicle provides information to the driver alone) The vehicle important information selection means may not notify the driver of information with low recognition confidence. According to the present invention, the image recognition result information recognized by each vehicle is collected by the information center in-center device 20 of the information center via the network. Since the information that has been aggregated and increased in reliability by the information center in-device 20 is distributed to each vehicle by means described later, road environment information that is effective even in vehicles and the like in which the front view is blocked is provided. Obtainable.
[0096]
Next, a case where the image recognition result information receiving unit 106 receives information related to a traffic light will be described as an example. Since the traffic signal changes with the passage of time, the traffic environment reproduction data may be generated based only on the latest image recognition result information, unlike a road sign. For example, with respect to a certain traffic light, image recognition result information including information that the attribute is a red signal at the same time is received from vehicles A, B, and C, and the recognition certainty included in the image recognition result information is 100%, Suppose that it was 90% and 20%. In this case, the road environment reproduction data integrated generation means 108 averages the total certainty of the road environment reproduction data at the current time for the traffic light with the recognition certainty included in the received three image recognition result information (100 % + 90% + 20%) / 3 = 70%.
[0097]
Next, a case where the image recognition result information receiving unit 106 receives image recognition result information having contradictory contents at the same time will be described as an example. For example, with respect to a certain traffic signal, information indicating that the traffic signal is a yellow signal from vehicle D at the same time as receiving image recognition result information including information that the attribute is a red signal at the same time from vehicles A, B, and C. Consider a case where image recognition result information is received. The recognition certainty included in the image recognition result information from vehicles A, B, and C was 100%, 90%, and 20%, respectively. The degree is assumed to be 10%. The road environment reproduction data integrated generation unit 108 calculates the average value of the certainty of recognition for each piece of information of the same attribute (lighting color), and the image recognition result information including the attribute having the larger calculated average value (in this example, Image recognition result information whose attribute is a red signal is selected, and information included in road environment reproduction data such as total confidence is generated. Note that the method in which the road environment reproduction data integrated generation unit 108 generates road environment reproduction data when image recognition result information having contradictory contents is received is not limited to the one shown in this example.
[0098]
Further, the road environment reproduction data integrated generation unit 108 includes both the road environment reproduction data stored in the road environment reproduction data storage unit and the history information of the image recognition result information stored in the image recognition result information storage unit. When there is no information corresponding to the recognition target object of the image recognition result information received by the image recognition result information receiving means, the recognition certainty included in the received image recognition result information is also used as the total certainty for the recognition target object. Good.
[0099]
When information about a recognition target object whose absolute position changes with time such as a pedestrian or a vehicle is received, the road environment reproduction data integrated generation unit 108 stores the image recognition result information storage unit. The estimation result of the absolute position of the recognition target object at the current time may be calculated from the history information of the past image recognition result information using a Kalman filter or the like. In this case, the total certainty factor is determined from the difference between the calculated absolute position estimation result and the absolute position included in the latest image recognition result information.
[0100]
Further, when information regarding a recognition target object whose absolute position changes with time such as a pedestrian or a vehicle is received, the road environment reproduction data integrated generation unit 108 stores the image recognition result information storage unit. The road environment reproduction data may be generated based only on information in which the difference between the recognition time and the current time is within a predetermined time in the history information of the image recognition result information.
[0101]
Next, a generation method in which the road environment reproduction data integrated generation unit 108 generates road environment reproduction data when no image recognition result information is received from any of the traveling vehicles will be described. The road environment reproduction data integrated generation unit 108 does not generate road environment reproduction data corresponding to a recognition target object whose absolute position and attribute (sign type, etc.) such as road signs and road surface signs do not change over time. The road environment reproduction data integrated generation unit 108 is configured to perform road environment reproduction data corresponding to a recognition target object whose absolute position and attributes (gender, age, lighting color, etc.) change over time, such as a pedestrian and a traffic light. The road environment reproduction data is generated by reflecting the influence of the passage of time.
[0102]
For example, when there is a possibility that the lighting state of the traffic light has changed, the road environment reproduction data integrated generation unit 108 reduces the total certainty factor at the current time at a predetermined rate from the total certainty factor one hour before. Generate by. For a recognition target object whose position changes, such as a pedestrian or a vehicle, the road environment reproduction data integrated generation unit 108 calculates the estimation result of the current time state from the history information of the past image recognition result information, and the total confidence Decrease the rate at a certain rate.
[0103]
The road environment reproduction data transmission means 110 converts the generated road environment reproduction data into an optical signal or a radio wave signal, and transmits it to the in-vehicle notification device 10 of each vehicle.
[0104]
The road environment reproduction data receiving unit 111 of the in-vehicle notification device 10 receives the road environment reproduction data transmitted from the road environment reproduction data transmission unit 110. Then, the road environment reproduction data reception unit 111 outputs the received road environment reproduction data to the important information selection unit 112. The road environment reproduction data receiving unit 111 ends the reception process immediately when the road environment reproduction data is not received within a predetermined time after the vehicle transmits the image recognition result information.
[0105]
The important information selection unit 112 is selected from the information included in the road environment reproduction data input from the road environment reproduction data reception unit 111 and the information included in the image recognition result information input from the image recognition result information generation unit 105. The information useful for the driver of the vehicle is selected and extracted. As an information selection method, the important information selection unit 112, for example, based on the information on the absolute position included in each information, information on the recognition target object existing in a place that enters the driver's field of view within a few seconds from the current time. select. Further, the important information selection unit 112 may select information having a high total certainty among road environment reproduction data. Further, the important information selection unit 112 determines that the information with the recognition certainty higher than the total certainty included in the road environment reproduction data is present in the image recognition result information input from the image recognition result information generating unit 105. The image recognition result information having a high recognition certainty may be selected. That is, the important information selection unit 112 selects information that is determined to be important to the driver from the road environment reproduction data or the image recognition result information.
[0106]
When the road environment reproduction data input from the road environment reproduction data receiving unit 111 and the information input from the image recognition result information generation unit 105 do not match, the important information selection unit 112 The information included in the reproduction data may be selected with priority, or the higher certainty is compared between the total certainty included in the road environment reproduction data and the recognition certainty included in the image recognition result information. Information may be selected.
[0107]
The important information selection unit 112 outputs the selected and extracted information to the information notification unit 113. The information notification means 113 notifies the driver of the information selected by the important information selection means 112 by video (monitor display or the like) or voice.
[0108]
Next, the operation of the present embodiment will be described. FIG. 8 is a flowchart illustrating an example of processing progress of processing executed by the in-vehicle notification device 10. FIG. 9 is a flowchart showing an example of processing progress of processing executed by the information center apparatus 20. The in-vehicle notification device 10 and the information center in-device 20 execute the processes shown in FIGS. 8 and 9 asynchronously with each other.
[0109]
First, the operation of the in-vehicle notification device 10 will be described. The imaging unit 101 captures an image around the vehicle (step S801). The image recognition unit 102 recognizes a predetermined recognition target object such as a road sign or a traffic light from the video input from the imaging unit 101, and outputs the recognized recognition result (step S802). The vehicle position measuring means 103 acquires the absolute position of the vehicle from GPS or the like (step S803). The image recognition result information generating unit 105 uses the own vehicle absolute position information acquired by the vehicle position measuring unit 103, and based on information included in the recognition result output by the image recognition unit 102, the absolute position of the recognition target object. The information such as the attribute and the recognition certainty is encoded, and the encoded image recognition result information is output (step S804). Then, the image recognition result information transmitting unit 105 transmits the output image recognition result information to the information center internal device 20 of the information center (step S805).
[0110]
After the road center reproduction data is generated and distributed to each vehicle by the information center internal device 20, the road environment reproduction data reception unit 111 receives the road environment reproduction data reception unit 110 of the information center internal unit 20 from the road environment reproduction data reception unit 110. The transmitted road environment reproduction data is received (step S806). If the road environment reproduction data cannot be received within a predetermined time after the host vehicle transmits the image recognition result information, the road environment reproduction data receiving unit 111 immediately ends the reception process. The important information selection means 112 is useful for the driver of the own vehicle from the road environment reproduction data received by the road environment reproduction data receiving means 111 and the image recognition result information output by the image recognition result information generation means 104 of the own vehicle. Information is selected and extracted (step S807). The information notification unit 113 notifies the driver of the selected information (step S808). When the notification is completed, the process returns to step S801 again, and the processes from step S801 to step S808 are repeatedly executed.
[0111]
Next, the operation of the information center apparatus 20 will be described. The road environment reproduction data integrated generation means 108 initializes road environment reproduction data stored in the road environment reproduction database 109 immediately after the information center apparatus 20 is activated (step S901). The image recognition result information receiving unit 106 receives the image recognition result information transmitted from the in-vehicle notification device 10 of each vehicle (step S902). Then, the image recognition result information receiving unit 106 confirms whether the image recognition result information has been received (step S903). If it can be received, the image recognition result information receiving means 106 outputs the received image recognition result information to the image recognition result information storage means 107, and the image recognition result information storage means 107 stores the image recognition result information. (Step S904). If the information cannot be received, step S904 is not executed, and step S905 is executed next.
[0112]
The road environment reproduction data integrated generation unit 108 generates road environment generation data based on the history information of the image recognition result information stored in the image recognition result information storage unit 107 and the road environment reproduction data one hour before ( Step S905). After the generation of the road environment reproduction data, the road environment reproduction data transmission unit 110 transmits the latest road environment reproduction data at the current time to the in-vehicle notification device 10 of each vehicle (step S906). Then, after the information is distributed to each vehicle, the process returns to step S902 again, and the processes from step S902 to step S906 are repeatedly executed.
[0113]
As described above, according to the present invention, information relating to an object that is not provided by map information of a car navigation system such as road signs, signals, vehicles, and pedestrians (ie, road environment information) can be stored on the road. Extraction is possible without installing infrastructure. Therefore, a road environment information notification device can be constructed at a lower cost than AHS or the like.
[0114]
In addition, in the conventional real-time information providing system using an in-vehicle camera, only the information recognized by the video of the camera mounted on the host vehicle is notified to the driver, so incorrect information is notified due to road conditions, sunlight conditions, etc. There is a problem that the information may be displayed, and there is a problem that the information cannot be notified sufficiently earlier than the driver notices visually. According to the present invention, the image recognition result information recognized by the in-vehicle notification device mounted on each vehicle is integrated based on the recognition reliability in the information center, so that highly reliable information can be provided to the driver. effective. In addition, since it is possible to obtain information on objects to be recognized that exist in places that cannot be captured by the camera of the vehicle at the current time, the driver can detect in advance situations and troubles that may occur in the future, and anticipate such troubles. The effect is that you can drive.
[0115]
Here, the effect obtained by acquiring in advance information on an object that cannot be captured by the own vehicle camera will be specifically described with reference to FIG. FIG. 10 is an explanatory diagram showing a specific example of a road environment. FIG. 10 shows a situation where the parked vehicle 1003 is stopped in the left lane of the one-side two-lane road. Since the own vehicle 1001 is obstructed by the large preceding vehicle 1002, the own vehicle 1001 is determined according to the conventional real-time information providing system that determines the road environment based only on the information of the image recognition device of the own vehicle. The driver cannot recognize the presence of the parked vehicle 1003 until the preceding vehicle 1002 changes lanes.
[0116]
According to the road environment information notification device according to the present invention, after the image recognition device mounted on the preceding vehicle 1002 and the preceding vehicle 1004 detects the parked vehicle 1003, road environment reproduction data regarding the parked vehicle 1003 is transferred from the information center to the host vehicle 1001. Since the vehicle 1001 is distributed, the driver of the own vehicle 1001 can notice the presence of the parked vehicle 1003 earlier than the preceding vehicle 1002 changes the lane, and can change the lane with a margin.
[0117]
Embodiment 2. FIG.
Next, a second embodiment of the present invention will be described. FIG. 11 is a block diagram illustrating an example of the configuration of the road environment information notification device according to the second embodiment. As shown in FIG. 11, the road environment information notification device 11 includes an imaging unit 1101, an image recognition unit 1102, a vehicle position measurement unit 1103, an image recognition result information generation unit 1104, and a camera installed in the vehicle. Image information transmission means 1105, image recognition result information reception means 1106, image recognition result information storage means 1107, road environment reproduction data integrated generation means 1108, road environment reproduction database 1109, important information selection means 1112, information Notification means 1113.
[0118]
In the configuration of the present embodiment, the road environment information notification device 11 includes the image recognition result information receiving means included in the information center in-device 20 in addition to the components of the in-vehicle notification device 10 in the first embodiment. 106, an image recognition result information storage unit 107, a road environment reproduction data integrated generation unit 108, and a road environment reproduction database 109. In the first embodiment, information is transmitted and received between the in-vehicle notification device 10 and the information center device 20, whereas the present embodiment provides information between the road environment information notification devices 11 of a plurality of vehicles. Is different from the first embodiment in that transmission / reception is performed. Therefore, the road environment information notification system includes a plurality of road environment information notification devices 11 installed in each vehicle shown in FIG.
[0119]
Since each means of the road environment information notification device 11 has a common function in all vehicles, FIG. 11 illustrates only the configuration of the road environment information notification device 11 for one vehicle (vehicle A). This vehicle is omitted.
[0120]
Hereinafter, the function of each means included in the road environment information notification device 11 will be described. The imaging unit 1101, the image recognition unit 1102, the vehicle position measurement unit 1103, the image recognition result information generation unit 1104, the image recognition result information transmission unit 1105, the important information selection unit 1112, and the information notification unit 1113 are implemented by the first method. This is the same as the embodiment.
[0121]
The image recognition result information receiving unit 1106 is realized by, for example, a transmission / reception unit (wireless LAN card, optical modem, etc.) of a car navigation apparatus and a control unit that controls the transmission / reception unit. The image recognition result information storage unit 1107 is realized by a storage device of a car navigation device. The road environment reproduction data integrated generation unit 1108 is realized by, for example, a control unit of the car navigation device that executes a program stored in the storage device of the car navigation device. The road environment reproduction database 1109 is realized by, for example, a storage device incorporated in a car navigation device.
[0122]
The image recognition result information generation unit 1104 outputs the image recognition result information to the image recognition result information transmission unit 1105 and the image recognition result information storage unit 1107. The image recognition result information transmission unit 1105 transmits the image recognition result information input from the image recognition result information generation unit 1104 to the road environment information notification device 11 of another vehicle. The image recognition result information receiving unit 1106 receives image recognition result information transmitted from another vehicle.
[0123]
The image recognition result information storage unit 1107 stores the image recognition result information output from the image recognition result information reception unit 1106 and the image recognition result information output from the image recognition result information generation unit 1104 as history information of the image recognition result information. To do.
[0124]
The road environment reproduction data integrated generation means 1108 is based on the history information of the image recognition result information stored in the image recognition result information storage means 1107 and the road environment reproduction data one hour before stored in the road environment reproduction database 1109. An estimation result of the absolute position and attribute of the recognition target object at the time is generated. Further, the road environment reproduction data integrated generation unit 1108 calculates the overall certainty factor of the generated estimation result and generates road environment reproduction data. The processing procedure by which the road environment reproduction data integrated generation unit 1108 generates road environment reproduction data is the same as that in the first embodiment. Then, the important information selection unit 1112 selects and extracts information useful for the driver of the host vehicle from the road environment reproduction data 1108.
[0125]
The functions of the imaging unit 1101, the image recognition unit 1102, the vehicle position positioning unit 1103, and the information notification unit 1113 are the same as those in the first embodiment.
[0126]
Next, the operation of the second embodiment will be described. FIG. 2 is a flowchart illustrating an example of processing progress of processing executed by the road environment information notification device 11. First, immediately after the activation of the road environment information notification device 11, the road environment reproduction data integrated generation unit 1108 initializes the road environment reproduction data stored in the road environment reproduction database 109 (step S1201). The imaging unit 1101 captures an image around the vehicle (step S1202). The image recognition unit 1102 recognizes a preset recognition target object such as a road sign or a traffic light from the video input from the imaging unit 1101, and outputs the recognized recognition result (step S1203). The vehicle position positioning means 1103 acquires the absolute position of the host vehicle from GPS or the like (step S1204).
[0127]
The image recognition result information generation unit 1105 refers to the own vehicle absolute position information acquired by the vehicle position measurement unit 1103, and based on the image recognition result from the image recognition unit 1102, the absolute position, attribute, and recognition reliability of the recognition target object. Are encoded, and the encoded image recognition result information is output (step S1205). The image recognition result information storage unit 1107 stores the image recognition result information from the image recognition result information generation unit 1105 (step S1206), and the image recognition result information transmission unit transmits the image recognition result information to another vehicle. (Step S1207).
[0128]
After transmitting the image recognition result information, the image recognition result information receiving unit 1106 receives the image recognition result information transmitted from the other vehicle (step S1208). The image recognition result information receiving unit 1106 determines whether image recognition information has been received from the road environment information notification device 11 of another vehicle (step S1209). When the information is received, the image recognition result information storage unit 1107 stores the received image recognition result information (step S1210). If no information is received, the process of step S1210 is not executed, and step S1211 is executed next.
[0129]
The road environment reproduction data integrated generation unit 1108 refers to the history information of the image recognition result information stored in the image recognition result information storage unit 1107 and generates an estimation result of the position and attribute of the recognition target object at the current time. Then, road environment reproduction data stored in the road environment reproduction database 1109 is generated (step S1211). The important information selection unit 1112 selects and extracts information useful to the driver of the host vehicle from the information included in the road environment reproduction data (step S1212). The information notification unit 1113 notifies the driver of the extracted information by video (monitor display or the like) or voice (step S1213).
[0130]
As described above, in the second embodiment, unlike the first embodiment, the road environment information notification device 11 is installed in each vehicle without installing the information center in-device 20 in the information center. An environmental information notification system can be constructed.
[0131]
FIG. 13 is an explanatory diagram illustrating another example of information included in the image recognition result information. In the first embodiment and the second embodiment, the case where the image recognition result information includes the type of recognition target object, the attribute, the absolute position, the recognition time, and the recognition certainty has been described. As shown in FIG. 13, the image recognition result information may include vehicle number information 1301 that can identify the vehicle. By including the vehicle number information 1301, the reliability of road environment reproduction data can be further improved.
[0132]
Hereinafter, the effect that the image recognition result information includes the vehicle number information 1301 will be described. The road environment information reproduction data generation means 108, 1108 compares each image recognition result information received from each vehicle with road environment reproduction data generated by comprehensively determining the image recognition result information, thereby obtaining the road environment information. It is determined that there is a high possibility that the image recognition result information whose reproduction data and information content match is correct information. Further, the road environment information reproduction data generation means 108 and 1108 determine that the image recognition result information in which the content of the information is inconsistent with the road environment reproduction data is likely to be incorrect information.
[0133]
Then, the road environment information reproduction data generation means 108 and 1108 count the frequency at which the image recognition result information is determined to be correct information (hereinafter referred to as vehicle-specific correct information frequency) for each vehicle number, thereby correcting the vehicle-specific correct information. Generate an information frequency table. FIG. 14 is an explanatory diagram showing an example of the contents of the vehicle-specific correct information frequency table generated by the road environment information reproduction data generating means 108 and 1108. In this example, as shown in FIG. 14, the information information included in the image recognition result information received from the vehicle of the image recognition result information received from the vehicle of the image recognition result information received from the vehicle whose vehicle number is “0123456” is low. Is exemplified that there is a high possibility that erroneous information is notified for some reason.
[0134]
The road environment reproduction data integrated generation means 108, 1108 generates the road environment reproduction data by estimating the recognition reliability of the image recognition result information received from the vehicle having the low vehicle-specific correct information frequency, thereby generating the road environment reproduction data. Mixing erroneous information can be reduced, and more reliable road environment reproduction data can be output.
[0135]
For example, the road environment reproduction data integrated generation means 108, 1108 subtracts a predetermined value α (> 0) from the recognition certainty of the image recognition result information received from a vehicle with low vehicle-specific positive information frequency, and subtracts it. Then, road environment reproduction data is generated based on the recognition certainty obtained.
[0136]
Further, the road environment reproduction data integrated generation means 108, 1108 multiplies a certain value β (0 <β <1) determined in advance from the recognition reliability of the image recognition result information received from a vehicle having a low vehicle-specific positive information frequency. Then, road environment reproduction data may be generated based on the recognition certainty obtained by multiplication.
[0137]
Embodiment 3 FIG.
Next, a third embodiment of the present invention will be described. FIG. 15 is a block diagram illustrating an example of a configuration of a road environment information notification device according to the third embodiment. As shown in FIG. 15, in the present embodiment, the in-vehicle notification device 12 includes an input operation means 1514 in addition to the components of the in-vehicle notification device 10 in the first embodiment.
[0138]
The input operation unit 1514 instructs the apparatus to select the type of information desired to be acquired from the information notification unit 1513, set the scheduled travel route, or whether to transmit information from the image recognition result information transmission unit 1505 according to the driver's operation. To do. Accordingly, the input operation means 1514 serves as a user interface between the road environment information notification device and the driver, and is realized by, for example, a remote controller of a car navigation device.
[0139]
The imaging unit 1501, the image recognition unit 1502, the vehicle position measurement unit 1503, the image recognition result information generation unit 1504, the image recognition result information transmission unit 1505, the road environment reproduction data reception unit 1511, and the important information included in the in-vehicle notification device 12 are included. The functions of the selection unit 1512 and the information notification unit 1513 are the same as those in the first embodiment. The image recognition result information receiving unit 1506, the image recognition result information storage unit 1507, the road environment reproduction data integrated generation unit 1508, the road environment reproduction database 1509, and the road environment reproduction data transmission unit 1510 included in the information center apparatus 22 are also included. Functions and implementation methods are the same as those in the first embodiment.
[0140]
In the present embodiment, the image recognition result information transmitting unit 1505 does not always transmit the image recognition result information to the information center internal device 22 of the information center, but is set to enable information transmission by the input operation unit 1514. Only the information is transmitted to the information center apparatus 22. By doing so, it is possible to prevent others from knowing the position of the vehicle if necessary.
[0141]
Further, the important information selection unit 1512 selects and extracts information on the recognition target object existing on the planned travel route specified by the input operation unit 1514, or the type of recognition target object specified by the input operation unit 1514. Select and extract information about. By doing so, the driver can efficiently acquire necessary information.
[0142]
The input operation means 1514 may be added to the in-vehicle notification device 10 in the first embodiment, or the input operation means may be added to the road environment information notification device 11 in the second embodiment.
[0143]
Embodiment 4 FIG.
Next, a fourth embodiment of the present invention will be described. FIG. 16 is a block diagram illustrating an example of a configuration of a road environment information notification device according to the fourth embodiment. As shown in FIG. 16, in this embodiment, the in-vehicle notification device 13 includes an operation state monitoring unit 1615 in addition to the components of the in-vehicle notification device 10 in the first embodiment. The operation state monitoring unit 1615 is realized by, for example, a control unit of the car navigation device that executes a program stored in the storage device of the car navigation device.
[0144]
The operation state monitoring unit 1615 compares the information included in the image recognition result information input from the image recognition information encoding unit 1604 with the information included in the road environment reproduction data input from the road environment reproduction data receiving unit 1611. To do. When the frequency at which information whose contents do not match between the image recognition result information and the road environment reproduction data is included exceeds a predetermined value, the operation state monitoring unit 1615 It is determined that a malfunction has occurred in the imaging unit 1601 or the image recognition unit 1602. Then, the operation state monitoring unit 1615 outputs the caution information to the information notification unit 1613.
[0145]
For example, the road environment reproduction data includes information “There is a parking prohibition sign at position A”, whereas the image recognition result information includes information “There is a parking prohibition sign at position A”. If it is included, or the road environment reproduction data includes information “the signal at position B is a green signal”, the image recognition result information indicates that the signal at position B is a red signal. ”Is included, the operation state monitoring unit 1615 determines that the content does not match between the image recognition result information and the road environment reproduction data. Then, the operation state monitoring unit 1615 determines that a problem has occurred in the imaging unit 1601 or the image recognition unit 1602 when the frequency of including information whose contents do not match exceeds 50%, for example.
[0146]
By doing so, the driver can recognize the malfunction of the device mounted on the host vehicle.
[0147]
Note that the imaging unit 1601, the image recognition unit 1602, the vehicle position measurement unit 1603, the image recognition result information generation unit 1604, the image recognition result information transmission unit 1605, the road environment reproduction data reception unit 1611, and the important information included in the in-vehicle notification device 13 are included. The functions of the selection unit 1612 and the information notification unit 1613 are the same as those in the first embodiment. Further, the image recognition result information receiving unit 1606, the image recognition result information storage unit 1607, the road environment reproduction data integrated generation unit 1608, the road environment reproduction database 1609, and the road environment reproduction data transmission unit 1610 included in the information center apparatus 23 are included. Functions and implementation methods are the same as those in the first embodiment.
[0148]
The operation status monitoring means 1615 may be added to the in-vehicle notification device 10 in the first embodiment, or the operation status monitoring means 1615 is added to the road environment information notification device 11 in the second embodiment. Also good.
[0149]
Embodiment 5. FIG.
Next, a fifth embodiment of the present invention will be described. FIG. 17 is a block diagram illustrating an example of a configuration of a road environment information notification device according to the fifth embodiment. As shown in FIG. 17, in this embodiment, the in-vehicle notification device 14 includes a video recording unit 1716 immediately before impact detection, in addition to the components of the in-vehicle notification device 10 in the first embodiment. The video recording means 1716 immediately before impact detection is realized by, for example, an impact detection sensor and a control unit of a car navigation device that controls the impact sensor.
[0150]
The video recording means 1716 immediately before impact detection records the video imaged by the imaging means 1701 for a predetermined time, and the video is recorded when a strong impact is detected on the vehicle (that is, when an accident occurs). The image recorded immediately before the impact is sensed is retained.
[0151]
By adding the video recording means 1716 immediately before the impact detection, it is possible to hold the video around the time when the host vehicle encounters an accident as information, and the cause of the accident can be investigated quickly.
[0152]
Note that the imaging means 1701, the image recognition means 1702, the vehicle position positioning means 1703, the image recognition result information generation means 1704, the image recognition result information transmission means 1705, the road environment reproduction data reception means 1711, and the important information included in the in-vehicle notification device 14 are included. The functions of the selection unit 1712 and the information notification unit 1713 are the same as those in the first embodiment. Further, the image recognition result information receiving unit 1706, the image recognition result information storage unit 1707, the road environment reproduction data integrated generation unit 1708, the road environment reproduction database 1709, and the road environment reproduction data transmission unit 1710 included in the information center apparatus 24 are included. Functions and implementation methods are the same as those in the first embodiment.
[0153]
The video recording means 1716 immediately before impact detection may be added to the in-vehicle notification device 10 in the first embodiment, or the video recording means immediately before impact detection is added to the road environment information notification device 11 in the second embodiment. 1716 may be added.
[0154]
Moreover, the vehicle-mounted alerting | reporting apparatus 14 may also contain a vehicle speed measurement means. The vehicle speed measuring means senses the moving speed of the vehicle. Then, for the road environment reproduction data in which the recognition target object is a red signal or a stop sign, the important information selection means includes the absolute position of the recognition target object included in the road environment reproduction data and the absolute position of the vehicle at the current time. The road environment reproduction data is selected only when the moving speed of the own vehicle sensed by the vehicle speed measuring means exceeds a predetermined threshold with respect to the distance from the own vehicle to the recognition target object calculated based on To extract. The vehicle speed measuring means is realized by a speedometer or the like.
[0155]
Embodiment 6 FIG.
Next, a sixth embodiment of the present invention will be described. FIG. 18 is a block diagram showing an example of the configuration of the road environment information notification device according to the sixth embodiment. As shown in FIG. 18, in this embodiment, the in-vehicle notification device 15 includes an unextracted object determination unit 1817 in addition to the components of the in-vehicle notification device 10 in the first embodiment. The unextracted object determination unit 1817 is realized by, for example, a control unit of the car navigation device that executes a program stored in the storage device of the car navigation device.
[0156]
The unextracted object determination means 1817 is a recognition target object included in the road environment reproduction data as information and is present at a position within a range recognizable from the own vehicle and is not recognized by the image recognition means 1802 of the own vehicle. A target object is selected and extracted, and the extracted information is output to the image recognition unit 1802.
[0157]
Then, when performing the next recognition process, the image recognition unit 1802 performs a top-down recognition process that performs an image recognition process based on the recognition target object from the unextracted object determination unit 1817 in addition to the normal recognition process. Do.
[0158]
By doing so, the top-down recognition method can be applied even to a recognition target object that is difficult to detect by the bottom-up image recognition method in which the image recognition unit 1802 performs image recognition processing based only on the input image normally performed. Thus, the recognition target object can be recognized.
[0159]
Note that the imaging unit 1801, the image recognition unit 1802, the vehicle position measurement unit 1803, the image recognition result information generation unit 1804, the image recognition result information transmission unit 1805, the road environment reproduction data reception unit 1811, and the important information included in the in-vehicle notification device 15 are included. The functions of the selection unit 1812 and the information notification unit 1813 are the same as those in the first embodiment. Further, the image recognition result information receiving unit 1806, the image recognition result information storage unit 1807, the road environment reproduction data integrated generation unit 1808, the road environment reproduction database 1809, and the road environment reproduction data transmission unit 1810 included in the information center apparatus 25 are included. Functions and implementation methods are the same as those in the first embodiment.
[0160]
The unextracted object determination means 1817 may be added to the in-vehicle notification device 10 in the first embodiment, or the unextracted object determination means 1817 is added to the road environment information notification device 11 in the second embodiment. May be.
[0161]
As described above, according to the present invention, road environment information related to an object that is not provided by map information of a car navigation system such as a road sign, a signal, a vehicle, a pedestrian, etc. can be driven without installing infrastructure on the road. Can be notified. Therefore, a system can be constructed at a lower cost than AHS or the like.
[0162]
In the conventional invention, only the information recognized by imaging with the on-vehicle camera of the own vehicle is used, so the problem of misrecognizing image information due to incompleteness of computer vision technology, or the driver perceives visually However, according to the present invention, the image recognition result information from each vehicle is integrated in the information center or each vehicle, so that the reliability is high. Since road environment reproduction data can be generated and the highly reliable road environment reproduction data can be notified to the driver, the driver can make a situation determination based on highly reliable information. In addition, since it is also possible to acquire in advance information on objects that exist in places that cannot be captured by the camera of the host vehicle at the current time, the driver can know in advance the situations and troubles that may occur in the future. .
[0163]
The configurations shown in FIGS. 1, 11, 15, 16, 16, and 18 can be realized by software. That is, in the present embodiment, an image recognition process for recognizing and extracting an image related to a road environment from image information around a captured vehicle, and outputting the extracted image recognition result information, and image recognition result information And image recognition result information generation processing for generating image recognition result information based on information on the absolute position of the vehicle, which is the position of the vehicle on the earth, and the image recognition result information, and an integrated road environment The road environment reproduction data integrated generation process that generates road environment reproduction data that is information, road environment reproduction data, and image recognition result information are compared, and information related to the recognition target object that is useful to the driver is selected and extracted. By the road environment information notification program for executing the important information selection processing to be performed and the information notification processing for notifying the driver of information regarding the extracted recognition target object, Road environment information notifying apparatus or road environment information notification method can be realized.
[0164]
【The invention's effect】
According to the road environment information notification device according to the present invention, the in-vehicle notification device captures an image of the periphery of the vehicle and outputs image information; Vehicle position grasping means for grasping the absolute position of the vehicle; Image recognition means for recognizing and extracting an image related to the road environment from the imaged image information, and outputting information of the extracted image recognition result; Image recognition result information generating means for generating image recognition result information including information on the result of image recognition based on information on the result of image recognition output by the image recognition means and information on the absolute position of the vehicle, and image recognition Generated by the result generator Image recognition result information transmitting means for transmitting image recognition result information to the information center apparatus, and a road environment for receiving road environment reproduction data, which is information related to the road environment generated by the information center apparatus, from the information center apparatus Reproducing data receiving means and information notifying means for notifying the driver of information included in road environment reproduction data, and receiving information of image recognition result information received by the information center device from the in-vehicle notification device Means, The image recognition result information storage means for storing the image recognition result information received from the in-vehicle notification device as the history information of the image recognition result information, and the latest estimation result regarding the absolute position and attribute of the recognition target object at the current time , The similarity between the captured image of the recognition target object and the pattern of the recognition target object, or the similarity obtained by the difference between the absolute position of the estimated recognition target object and the absolute position included in the latest image recognition result information. Road environment reproduction data storage means for storing road environment reproduction data including comprehensive certainty indicating the certainty of the estimation result, history information of image recognition result information stored in the image recognition result information storage means, and road environment reproduction data storage Based on the road reproduction data stored by the means, The received image recognition result information is integrated, and road environment reproduction data, which is information about the integrated road environment, is obtained. further A road environment reproduction data integrated generation means for generating; Generated by road environment reproduction data integrated generation means Since the road environment reproduction data is configured to include road environment reproduction data transmission means for transmitting to the in-vehicle notification device, a road environment information notification system can be constructed at a low price without installing infrastructure on the road, It is possible to provide useful information to the driver in real time, such as road signs, signal conditions, and the presence or absence of objects on the road, faster than the driver perceives it visually, and the reliability of the information obtained as a result of image recognition Can be improved.
[0165]
According to the in-vehicle notification device according to the present invention, an imaging means for imaging the periphery of the vehicle and outputting image information; Vehicle position grasping means for grasping the absolute position of the vehicle; Image recognition means for recognizing and extracting an image related to the road environment from the imaged image information, and outputting information of the extracted image recognition result; Image recognition result information generating means for generating image recognition result information including information on the result of image recognition based on information on the result of image recognition output by the image recognition means and information on the absolute position of the vehicle, and image recognition Generated by the result generator Image recognition result information transmitting means for transmitting image recognition result information to the information center apparatus, and information on the road environment generated by the information center apparatus from the information center apparatus. , Including the latest estimation result regarding the absolute position and attribute of the recognition target object at the current time, and the similarity between the captured image of the recognition target object and the pattern of the recognition target object, or the estimated absolute position of the recognition target object and the latest Includes the overall certainty indicating the certainty of the estimation result, which is the similarity obtained by the difference from the absolute position contained in the image recognition result information Since the road environment reproduction data receiving means for receiving the road environment reproduction data and the information notification means for notifying the driver of information included in the road environment reproduction data are provided, it is possible to install the infrastructure on the road. A road environment information notification system can be constructed at a low cost, and provides useful information to the driver in real time, such as road signs, signal conditions, and the presence of objects on the road, faster than the driver can perceive visually. And the reliability of the image recognition result information can be improved.
[0166]
According to the information center apparatus of the present invention, the image recognition result information receiving means for receiving the image recognition result information including the information of the result of the image recognition around the vehicle imaged by the in-vehicle notification device from the in-vehicle notification device; The image recognition result information storage means for storing the image recognition result information received from the in-vehicle notification device as the history information of the image recognition result information, and the latest estimation result regarding the absolute position and attribute of the recognition target object at the current time , The similarity between the captured image of the recognition target object and the pattern of the recognition target object, or the similarity obtained by the difference between the absolute position of the estimated recognition target object and the absolute position included in the latest image recognition result information. Road environment reproduction data storage means for storing road environment reproduction data including comprehensive certainty indicating the certainty of the estimation result, history information of image recognition result information stored in the image recognition result information storage means, and road environment reproduction data storage Based on the road reproduction data stored by the means, The received image recognition result information is integrated, and road environment reproduction data, which is information about the integrated road environment, is obtained. further A road environment data integrated generating means for generating; Generated by road environment reproduction data integrated generation means Since the road environment reproduction data is configured to include road environment reproduction data transmission means for transmitting to the in-vehicle notification device, a road environment information notification system can be constructed at a low price without installing infrastructure on the road, It is possible to provide useful information to the driver in real time, such as road signs, signal conditions, and the presence or absence of objects on the road, faster than the driver perceives it visually, and the reliability of the information obtained as a result of image recognition Can be improved.
[0167]
According to the road environment information notification program according to the present invention, the computer recognizes and extracts an image related to the road environment from the image information around the captured vehicle, and outputs the extracted image recognition result information; Based on the recognition result information and the absolute position information of the vehicle, Contains information about image recognition results Processing for generating image recognition result information; Processing for storing the generated image recognition result information in the image recognition result information storage unit as history information of the image recognition result information, history information of the image recognition result information stored in the image recognition result information storage unit, and recognition at the current time The latest estimation result regarding the absolute position and attribute of the target object is included, and the similarity between the captured image of the recognition target object and the pattern of the recognition target object or the estimated absolute position of the recognition target object and the latest image recognition result information Based on the road reproduction data stored by the road environment reproduction data storage means for storing the road environment reproduction data including the overall certainty indicating the certainty of the estimation result, which is the similarity obtained by the difference from the absolute position included in And Image recognition result information is integrated, and road environment reproduction data that is information about the integrated road environment further The process to generate, the road environment reproduction data, and the image recognition result information are compared, the information on the recognition target object related to the driver and the reliable information are selected and extracted, and the extracted recognition target object This process allows the driver to be notified of useful information such as road signs, signal conditions, and the presence of objects on the road in real time, faster than the driver can perceive visually. It is possible to improve the reliability of image recognition result information.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an example of a configuration of a road environment information notification device according to the present invention.
FIG. 2 is an explanatory diagram illustrating an example of an image captured by an imaging unit.
FIG. 3 is an explanatory diagram illustrating an example of an image recognition result output by an image recognition unit.
FIG. 4 is an explanatory diagram showing another example of the image recognition result output by the image recognition means.
FIG. 5 is an explanatory diagram showing an example of image recognition result information.
FIG. 6 is an explanatory diagram showing an example of history information of image recognition result information and road environment reproduction data stored in a road environment reproduction database.
FIG. 7 is an explanatory diagram showing an example of road environment reproduction data generated by the road environment reproduction data integrated generation unit.
FIG. 8 is a flowchart illustrating an example of processing progress of processing performed by the in-vehicle notification device.
FIG. 9 is a flowchart showing an example of processing progress of processing performed by the information center apparatus.
FIG. 10 is an explanatory diagram showing a specific example of a road environment.
FIG. 11 is a block diagram showing another example of the configuration of the road environment information notification device according to the present invention.
FIG. 12 is a flowchart showing an example of processing progress of processing performed by the road environment information notification device according to the present invention.
FIG. 13 is an explanatory diagram showing another example of image recognition result information.
FIG. 14 is an explanatory diagram showing an example of the contents of a vehicle-specific correct information frequency table.
FIG. 15 is a block diagram showing still another example of the configuration of the road environment information notification device according to the present invention.
FIG. 16 is a block diagram showing still another example of the configuration of the road environment information notification device according to the present invention.
FIG. 17 is a block diagram showing still another example of the configuration of the road environment information notification device according to the present invention.
FIG. 18 is a block diagram showing still another example of the configuration of the road environment information notification device according to the present invention.
[Explanation of symbols]
10, 12, 13, 14, 15 In-vehicle notification device
11 Road environment information notification device
20, 22, 23, 24, 25 Information center equipment
101, 1101, 1501, 1601, 1701, 1801 Imaging means
102, 1102, 1502, 1602, 1702, 1802 Image recognition means 103, 1103, 1503, 1603, 1703, 1803 Vehicle position positioning means
104, 1104, 1504, 1604, 1704, 1804 Image recognition result information generating means
105, 1105, 1505, 1605, 1705, 1805 Image recognition result information transmission means
106, 1106, 1506, 1606, 1706, 1806, image recognition result information receiving means
107, 1107, 1507, 1607, 1707, 1807 Image recognition result information storage means
108, 1108, 1508, 1608, 1708, 1808 Road environment reproduction data integrated generation means
109, 1109, 1509, 1609, 1709, 1809 Road environment reproduction database
110, 1510, 1610, 1710, 1810 Road environment reproduction data transmission means
111, 1511, 1611, 1711, 1811 Road environment reproduction data receiving means
112, 1112, 1512, 1612, 1712, 1812 Important information selection means
113, 1113, 1513, 1613, 1713, 1813 Information notification means
1514 Input operation means
1615 Operating state monitoring means
1716 Image storage means immediately before impact detection
1817 Unextracted object judging means

Claims

A road environment information notification device that includes an in-vehicle notification device installed in a vehicle and an information center device installed in an information center, and notifies the driver of road environment information that is information on the road environment,
The in-vehicle notification device is:
Imaging means for imaging the periphery of the vehicle and outputting image information;
Vehicle position grasping means for grasping the absolute position of the vehicle;
Image recognition means for recognizing and extracting an image related to the road environment from the imaged image information, and outputting information of the extracted image recognition result;
Image recognition result information generating means for generating image recognition result information including information on the result of image recognition based on information on the result of image recognition output by the image recognition means and information on the absolute position of the vehicle; ,
Image recognition result information transmitting means for transmitting the image recognition result information generated by the image recognition result generating means to the information center apparatus;
Road environment reproduction data receiving means for receiving road environment reproduction data, which is information about the road environment generated by the information center apparatus, from the information center apparatus;
Information notification means for notifying the driver of information included in the road environment reproduction data,
The information center device includes:
Image recognition result information receiving means for receiving the image recognition result information from the in-vehicle notification device;
Image recognition result information storage means for storing the image recognition result information received from the in-vehicle notification device as history information of image recognition result information;
It includes the latest estimation results regarding the absolute position and attributes of the recognition target object at the current time, and the similarity between the captured image of the recognition target object and the pattern of the recognition target object or the estimated absolute position of the recognition target object and the latest Road environment reproduction data storage means for storing road environment reproduction data including a total reliability indicating the certainty of the estimation result, which is a similarity obtained by a difference from an absolute position included in image recognition result information;
Based on the history information of the image recognition result information stored in the image recognition result information storage means and the road reproduction data stored in the road environment reproduction data storage means, the received image recognition result information is integrated and integrated. road environment reproducing data integration generating means further generate a road environment reproducing data which is information on a road environment,
A road environment information notification device comprising road environment reproduction data transmission means for transmitting road environment reproduction data generated by the road environment reproduction data integrated generation means to an in-vehicle notification device.

In-vehicle notification device
Information that is determined to be important to the driver with reference to the road environment reproduction data received from the information center apparatus and the image recognition result information output by the image recognition result information generating means is used as road environment reproduction data or The road environment information notification device according to claim 1 , further comprising important information selection means for selecting and extracting from image recognition result information.

The image recognition means extracts the attribute of the recognition target object, the relative position with respect to the vehicle, and the recognition time by performing image recognition based on the captured image information, and confirms the result obtained by the image recognition. A recognition certainty factor is calculated, and information on the result of image recognition including the attribute, relative position, recognition time, and recognition certainty factor is output,
The image recognition result information generating means calculates the absolute position of the recognition target object based on the relative position of the recognition target object included in the image recognition information with respect to the vehicle and the absolute position of the vehicle acquired by the vehicle position grasping means. And generating information including the absolute position, attribute, recognition time, and recognition certainty of the recognition target object as image recognition result information,
The road environment reproduction data integrated generation means sets the value of the recognition certainty included in the history information of the image recognition result information stored in the image recognition result information storage means and the total certainty included in the road environment reproduction data one hour before. Based on the information content included in the history information of the image recognition result information and the information content included in the road environment reproduction data, the absolute position and attribute estimation result of the recognition target object at the current time To calculate the latest road environment reproduction data by updating the content of the road environment reproduction data based on the estimation result,
The road environment information notification device according to claim 2 , wherein the information notification unit notifies the driver of the information extracted by the important information selection unit by video display or audio.

When the image recognition result information storage means stores the image recognition result information newly received by the image recognition result information receiving means, the road environment reproduction data integrated generation means is a recognition certainty included in the history information of the image recognition result information. Calculate the overall confidence by calculating the average value of
The road environment information notification device according to claim 3 .

The road environment reproduction data integrated generation means includes the image recognition result in any of the road environment reproduction data stored in the road environment reproduction data storage means and the history information of the image recognition result information stored in the image recognition result information storage means. When there is no information corresponding to the recognition target object of the image recognition result information received by the information receiving means, the recognition certainty included in the received image recognition result information is set as the total certainty for the recognition target object.
The road environment information notification device according to claim 3 or 4 .

When the attributes of the recognition target object change over time, the road environment reproduction data integrated generation unit has a difference between the recognition time and the current time in the history information of the image recognition result information stored in the image recognition result information storage unit. Generate road environment reproduction data based only on information that is within a predetermined time.
The road environment information notification device according to any one of claims 2 to 5 .

When the image recognition result information receiving means does not receive the image recognition result information including the information of the specific recognition target object for a predetermined time, the road environment reproduction data integration generating means Delete road environment reproduction data corresponding to the recognition target object from the stored road environment reproduction data
The road environment information notification device according to any one of claims 2 to 6 .

The image recognition result information generating means generates image recognition result information including vehicle number information for specifying a vehicle,
The road environment reproduction data integrated generation unit preliminarily stores the vehicle number information included in the image recognition result information when the content of the image recognition result information received by the image recognition result information reception unit does not match the content of the road environment reproduction data. If the content of the image recognition result information stored for a certain fixed time and received from the vehicle of the specific vehicle number information does not match the content of the road environment reproduction data at a rate exceeding the predetermined frequency, Generate new road environment reproduction data by estimating the recognition certainty included in the received image recognition information.
The road environment information notification device according to any one of claims 2 to 7 .

Input operation means for inputting instructions related to the planned travel route,
The important information selection means selects and extracts information related to the recognition target object existing on the planned travel route.
The road environment information notification device according to any one of claims 2 to 8 .

The input operation means has a function of inputting designation of information to be acquired,
The important information selection means selects and extracts information based on the designation input by the input operation means.
The road environment information notification device according to any one of claims 2 to 9 .

The input operation means has a function of inputting designation as to whether or not to transmit image recognition result information to another vehicle,
The image recognition result information transmitting means transmits the image recognition result information only when it is designated to transmit the image recognition result information by the input of the input operation means.
The road environment information notification device according to any one of claims 2 to 10 .

Imaging by determining that a problem has occurred when the content of the image recognition result information output by the image recognition result information generation means and the content of the road environment reproduction data do not coincide with each other beyond a predetermined frequency An operation state monitoring means for monitoring the operation state of the means or the image recognition means,
The information notification means notifies the driver of information related to the detected malfunction when the operation state monitoring means detects the malfunction.
The road environment information notification device according to any one of claims 2 to 11 .

An image storage means immediately before impact detection that stores an image captured by the imaging means for a predetermined period of time, stops recording of a new image when an impact on the vehicle is detected, and retains an image immediately before the impact is detected With
The road environment information notification device according to any one of claims 2 to 12 .

Vehicle speed measuring means for sensing the moving speed of the vehicle,
For the road environment reproduction data in which the recognition target object attribute is a red signal or a stop sign, the important information selection unit is configured to detect the absolute position of the recognition target object included in the road environment reproduction data and the vehicle at the current time. The road environment reproduction data relating to the recognition target object is selected only when the moving speed of the vehicle exceeds a predetermined threshold with respect to the distance from the vehicle calculated based on the absolute position to the recognition target object. Extract
The road environment information notification device according to any one of claims 2 to 13 .

An unextracted object that determines the recognition target object when the recognition target object corresponding to the received road environment reproduction data is in a position that can be recognized from the host vehicle and the image recognition means has not recognized the recognition target object. A determination means,
The image recognition means extracts an unextracted object by top-down image analysis processing that performs image analysis based on the information of the recognition target object determined by the unextracted object determination means.
The road environment information notification device according to any one of claims 2 to 14 .

A road that includes an in-vehicle notification device installed in a vehicle and an information center device installed in an information center, and notifies a driver of road environment information that is information about the road environment generated by the information center device. An in-vehicle notification device in an environmental information notification system,
Imaging means for imaging the periphery of the vehicle and outputting image information;
Vehicle position grasping means for grasping the absolute position of the vehicle;
Image recognition means for recognizing and extracting an image related to the road environment from the imaged image information, and outputting information of the extracted image recognition result;
Image recognition result information generating means for generating image recognition result information including information on the result of image recognition based on information on the result of image recognition output by the image recognition means and information on the absolute position of the vehicle; ,
Image recognition result information transmitting means for transmitting the image recognition result information generated by the image recognition result generating means to the information center apparatus;
A captured image of the recognition target object including the latest estimation result regarding the absolute position and attribute of the recognition target object at the current time, which is information on the road environment generated by the information center apparatus from the information center apparatus. The accuracy of the estimation result, which is the similarity between the pattern and the recognition target object or the similarity between the estimated absolute position of the recognition target object and the absolute position included in the latest image recognition result information. Road environment reproduction data receiving means for receiving road environment reproduction data including the overall certainty level to indicate ;
An in-vehicle notification device comprising: information notification means for notifying a driver of information included in the road environment reproduction data.

Information that is determined to be important to the driver with reference to the road environment reproduction data received from the information center apparatus and the image recognition result information output by the image recognition result information generation means is used as road environment reproduction data or Important information selection means for selecting and extracting from the image recognition result information ,
The in-vehicle notification device according to claim 16 , wherein the important information selection unit extracts information that is determined to be important to the driver by selecting information having a high total certainty among the road environment reproduction data. .

In a road environment information notification system that includes an in-vehicle notification device that is installed in a vehicle and includes an imaging unit, and an information center device that is installed in an information center, and notifies a driver of road environment information that is information about the road environment. An information center device,
Image recognition result information receiving means for receiving, from the in-vehicle notification device, image recognition result information including information on the result of image recognition around the vehicle imaged by the in-vehicle notification device;
Image recognition result information storage means for storing the image recognition result information received from the in-vehicle notification device as history information of image recognition result information;
It includes the latest estimation results regarding the absolute position and attributes of the recognition target object at the current time, and the similarity between the captured image of the recognition target object and the pattern of the recognition target object or the estimated absolute position of the recognition target object and the latest Road environment reproduction data storage means for storing road environment reproduction data including a total reliability indicating the certainty of the estimation result, which is a similarity obtained by a difference from an absolute position included in image recognition result information;
Based on the history information of the image recognition result information stored in the image recognition result information storage means and the road reproduction data stored in the road environment reproduction data storage means, the received image recognition result information is integrated and integrated. Road environment data integrated generation means for further generating road environment reproduction data which is information relating to the road environment;
An in-information center apparatus comprising road environment reproduction data transmission means for transmitting road environment reproduction data generated by the road environment reproduction data integrated generation means to the in-vehicle notification device.

A road environment information notification program for notifying a driver of road environment information, which is information about the road environment,
On the computer,
Processing for recognizing and extracting an image related to the road environment from the image information around the imaged vehicle, and outputting information of the extracted image recognition result;
Processing for generating image recognition result information including information on the result of image recognition based on information on the result of image recognition and information on the absolute position of the vehicle;
A process of storing the generated image recognition result information in image recognition result information storage means as history information of image recognition result information;
The history information of the image recognition result information stored in the image recognition result information storage means and the latest estimation result regarding the absolute position and attribute of the recognition target object at the current time, and the captured image of the recognition target object and the recognition target object The total certainty indicating the certainty of the estimation result, which is the similarity obtained by the difference between the absolute position of the recognition target object and the absolute position included in the latest image recognition result information And the road environment reproduction data stored in the road environment reproduction data storage means for storing the road environment reproduction data, the image recognition result information is integrated, and road environment reproduction data which is information on the integrated road environment is further obtained. Process to generate,
A process of selecting and extracting information on a recognition target object related to a driver and reliable information with reference to the road environment reproduction data and the image recognition result information;
A road environment information notification program for executing a process of notifying a driver of information related to an extracted recognition target object.