本発明は、無線通信により周辺車両と送受信を行い取得した車両走行情報と、また自車両に設置したカメラで撮像した自車両周辺の画像情報により、自車両の周辺を走行する車両を検出する車載通信装置に係わる。
車両と車両との間で、車両走行状況等を無線でデータ通信することによりドライバに車両の接近を通知し、事故を未然に防ぐ予防安全の技術検討が進められている。また車両に搭載したカメラにより走行する自車両周辺を撮影した画像データより周辺車両を検出しドライバに通知し、事故を未然に防ぐ予防安全の技術検討が進められている。これらに関するものとして、特許文献1、特許文献2に開示がある。
特開2005−234921号公報
特開2007−156753号公報
特許文献1では、「車載カメラで撮影した画像から道路上の異常事象発生や交通状況等の走行関連情報を検出すると、周辺を走行する他車両に無線通信にて検出情報を送信することにより、周辺走行車両のドライバに走行関連情報通知する」車車間通信装置に関する技術について開示されている。
特許文献2では、「車両の周辺を撮像手段で撮像し、撮像した画像から車両の周辺に係る交通情報を抽出し、送信対象となる他車両の状態により設定した情報価値を付加して抽出した交通情報を送信し、他車両から送信された交通情報の情報価値により交通情報の出力を行うので、各車両で撮像した画像に基づいて抽出された交通情報の内、運転者は特に必要と思われる交通情報のみを選別して得る」技術について開示されている。
上記特許文献1では、周辺走行状況を撮影する車載カメラを設け、撮影画像から道路走行状況を取得し、周囲の走行車両に車車間通信により検出情報を提供することにより、路側機等のインフラ設備が無い場所でも道路の走行状況をドライバに提供可能な車車間通信装置が提案されている。
また上記特許文献2では、車両に設置したカメラで自車両の周辺を撮像した画像データの中からドライバに必要な情報を分類・抽出して提供する方法が提案されている。しかし、上記2件の提案方法では、カメラで撮影不可能な位置に存在する車両の情報をドライバに提供することはできない。例えば、車両が見通しの悪い交差点付近を走行中に、交差点の死角になる場所に車両が存在する場合は、カメラ撮影画像には写らないため、ドライバに車両の存在を通知できないという問題がある。
本発明は、車両が走行する周辺の状況を撮影するカメラと、周辺を走行する車両と位置情報、走行向き、速度情報を含む車両走行情報を無線で送受信する無線通信装置を搭載した車両において、カメラで撮影した周辺画像と、車車間通信により取得した周辺車両の走行情報により、例えば、見通しの悪い交差点の死角に存在する車両情報等のドライバに必要な情報を適確に通知することを目的とする。
上記課題を解決する為に、本発明の車載通信装置は、少なくとも自車位置、走行向き、速度情報を含む車両走行情報を生成する車両情報取得手段と、前記車両情報取得手段で生成した車両走行情報を、自車両の周辺を走行する他の車両に対し無線により送信し、また他の車両の車両走行情報を無線により受信する車両間無線通信手段と、前記車両情報取得手段で受信した車両走行情報により周辺を走行する車両を検出する第一の車両検出手段と、自車両の周辺を撮像する撮像手段と、前記撮像手段が撮像した画像から自車両の周辺を走行する車両を検出し、その車両の位置情報を算出する第二の車両検出手段と、前記第一の車両検出手段と第二の車両検出手段により検出した車両の中からドライバに通知する車両の情報を抽出する安全走行情報検出手段と、前記安全走行情報検出手段が抽出した車両情報を表示出力する表示手段と、を少なくとも具備する。
次に本発明の車載通信装置は、少なくとも自車位置、走行向き、速度情報を含む車両走行情報を生成する車両情報取得手段と、前記車両情報取得手段で生成した車両走行情報を、自車両の周辺を走行する他の車両に対し無線により送信し、また他の車両の車両走行情報を無線により受信する車両間無線通信手段と、前記車両情報取得手段で受信した車両走行情報により周辺を走行する車両を検出する第一の車両検出手段と、自車両の周辺を撮像する撮像手段と、前記撮像手段が撮像した画像から自車両の周辺を走行する車両を検出し、その車両の位置情報を算出する第二の車両検出手段と、前記第一の車両検出手段と第二の車両検出手段により検出した車両の中からドライバに通知する車両の情報を抽出する安全走行情報検出手段と、前記安全走行情報検出手段が抽出した車両情報を表示出力する表示手段と、
を少なくとも具備し、前記安全走行情報検出手段は、前記第一の車両検出手段で検出した車両のうち前記第二の車両検出手段で検出した車両を除いた車両の情報を抽出する。
次に本発明の車載通信装置は、少なくとも自車位置、走行向き、速度情報を含む車両走行情報を生成する車両情報取得手段と、前記車両情報取得手段で生成した車両走行情報を、自車両の周辺を走行する他の車両に対し無線により送信し、また他の車両の車両走行情報を無線により受信する車両間無線通信手段と、前記車両情報取得手段で受信した車両走行情報により周辺を走行する車両を検出する第一の車両検出手段と、自車両の周辺を撮像する撮像手段と、前記撮像手段が撮像した画像から自車両の周辺を走行する車両を検出し、その車両の位置情報を算出する第二の車両検出手段と、前記第一の車両検出手段と第二の車両検出手段により検出した車両の中からドライバに通知する車両の情報を抽出する安全走行情報検出手段と、前記安全走行情報検出手段が抽出した車両情報を表示出力する表示手段と、
地図情報を記憶する地図情報記憶手段と、前記車両情報取得手段から取得した自車位置情報と地図情報から自車が走行する場所の道路情報を取得し、前記安全走行情報検出手段が検出した車両情報を前記表示手段に表示するか否かを自車走行場所により判定する表示制御手段と、を少なくとも具備する。
次に本発明の車載通信装置は、前記車載通信装置と同じ構成であって、前記地図情報には道路地図及び道路周辺の建造物を示す周辺情報が記憶されており、前記表示制御手段が車両情報を前記表示手段に表示するか否かの判定は、地図情報より取得した自車走行場所及び周辺情報より行う。
次に本発明の車載通信装置は、少なくとも自車位置、走行向き、速度情報を含む車両走行情報を生成する車両情報取得手段と、前記車両情報取得手段で生成した車両走行情報を、自車両の周辺を走行する他の車両に対し無線により送信し、また他の車両の車両走行情報を無線により受信する車両間無線通信手段と、前記車両間無線通信手段で受信した車両走行情報により周辺を走行する車両を検出する第一の車両検出手段と、自車両の周囲に対し無線信号を送信し、その反射波を受信することにより周辺を走行する他の車両の存在を検出し、その車両の位置情報を算出する第三の車両検出手段と、前記第一の車両検出手段と第三の車両検出手段により検出した車両の中からドライバに通知する車両の情報を抽出する安全走行情報検出手段と、前記安全走行情報検出手段が抽出した車両情報を表示出力する表示手段と、を少なくとも具備し、前記安全走行情報検出手段は、前記第一の車両検出手段で検出した車両のうち前記第三の車両検出手段で検出した車両を除いた車両の情報を抽出する。
次に本発明の車載通信装置は、少なくとも自車位置、走行向き、速度情報を含む車両走行情報を生成する車両情報取得手段と、前記車両情報取得手段で生成した車両走行情報を、自車両の周辺を走行する他の車両もしくは歩行者が所持する携帯通信装置に対し無線により送信し、また他の車両の無線通信手段から送信される車両走行情報もしくは歩行者が携帯する携帯通信装置に搭載する無線通信手段から少なくとも歩行者の位置情報、移動向き、速度情報を含む歩行者情報を無線により受信する人車間無線通信手段と、前記人車間無線通信手段で受信した車両走行情報及び歩行者情報により周辺を走行する車両もしくは歩行者を検出する第一の車両歩行者検出手段と、自車両の周辺を撮像する撮像手段と、前記撮像手段が撮像した画像から自車両の周辺を走行する車両及び歩行者を検出し、検出した車両もしくは歩行者の位置情報を算出する第二の車両歩行者検出手段と、前記第一の車両検出手段と第二の車両歩行者検出手段により検出した車両もしくは歩行者の中からドライバに通知する車両もしくは歩行者の情報を抽出する安全走行情報検出手段と、前記安全走行情報検出手段が抽出した車両情報もしくは歩行者情報を表示出力する表示手段と、を少なくとも具備し、前記安全走行情報検出手段は、前記第一の車両検出手段で検出した車両もしくは歩行者のうち前記第二の車両歩行者検出手段で検出した車両もしくは歩行者を除いた車両情報もしくは歩行者情報を抽出する。
次に本発明の車載通信装置は、少なくとも自車位置、走行向き、速度情報を含む車両走行情報を生成する車両情報取得手段と、前記車両情報取得手段で生成した車両走行情報を、自車両の周辺を走行する他の車両に対し無線により送信し、また他の車両の車両走行情報を無線により受信する車両間無線通信手段と、前記車両間無線通信手段で受信した車両走行情報により周辺を走行する車両を検出する車両検出手段と、前記車両間無線通信手段が受信した車両走行情報を表示出力する表示手段と、地図情報を記憶する地図情報記憶手段と、前記車両間無線通信手段から取得した自車位置情報と前記地図情報から自車が走行する場所の道路情報を取得し、前記車両検出手段が検出した車両の情報を前記表示手段に表示するか否かを自車走行場所により判定する表示制御手段と、を少なくとも具備する。
次に本発明の車載通信装置は、前記車載通信装置と同じ構成であって、前記地図情報には道路地図及び道路周辺の建造物を示す周辺情報が記憶されており、前記表示制御手段が車両情報を前記表示手段に表示するか否かの判定は、地図情報より取得した自車走行場所及び周辺情報より行う。
本発明によれば、検出した周辺車両情報の中からドライバに不要な情報を廃し、より適切な機会に適切な情報をドライバに通知する車載通信装置を提供することを可能とするものである。
また本発明によれば、車両間無線通信手段で受信した車両走行情報より検出した車両のうち、車載カメラで撮像した周辺状況撮像画像から検出した車両を除いた車両の情報を抽出しドライバに通知することにより、目視では検出できない車両情報をドライバに提供可能となる。
また本発明によれば、車両間無線通信手段で受信した車両走行情報より検出した車両のうち、車載カメラで撮像した周辺状況撮像画像から検出した車両を除いた車両の情報を抽出し、更に自車両が走行する場所によりドライバに通知するか否かを判定することにより、目視では検出できない車両情報を自車両の走行場所に応じてドライバに提供可能となる。
また本発明によれば、車両間無線通信手段で受信した車両走行情報より検出した車両のうち、車載カメラで撮像した周辺状況撮像画像から検出した車両を除いた車両の情報を抽出し、更に自車両が走行する場所及び建造物等の周辺状況によりドライバに通知するか否かを判定することで、目視では検出できない車両情報を場所に応じてドライバに提供可能となる。
また本発明によれば、車両間無線通信手段で受信した車両走行情報より検出した車両のうち、車両検出無線通信手段により検出した車両を除いた車両の情報を抽出しドライバに通知することにより、目視では検出できない車両情報をドライバに提供可能となる。
また本発明によれば、人車間無線通信手段で受信した車両走行情報及び歩行者情報により検出した車両及び歩行者のうち、車載カメラで撮像した周辺状況撮像画像から検出した車両及び歩行者を除いた車両の情報及び歩行者の情報を抽出し、ドライバに通知することにより、目視では検出できない車両情報及び歩行者情報をドライバに提供可能となる。
また本発明によれば、車両間無線通信手段で受信した車両走行情報より検出した車両を、自車両が走行する場所によりドライバに通知するか否かを判定することにより、目視では検出できない場所に存在する車両情報をドライバに提供可能となる。
また本発明によれば、車両間無線通信手段で受信した車両走行情報より検出した車両を、自車両が走行する場所及び建造物等の周辺状況によりドライバに通知するか否かを判定することで、目視では検出できない場所に存在する車両情報をドライバに提供可能となる。
本発明の車載通信装置の第一の実施例を図面によって説明する。
図1は、本発明に使用される車載通信装置の全体構成の一実施例を示した図である。
100は、ドライバに安全運転のため周辺の車両走行情報を通知する機能を有する車載通信装置であって、101はドライバに対し目的地までの誘導を行うナビゲーション機能等を搭載したナビゲーション機能を有するナビ制御部、102はスピーカやモニタなど音声・画像情報の表示出力を行う出力部、103はドライバがナビゲーション部100に目的地等の設定などの入力を行う入力部、104は車両400が走行する前方の状況を撮影、撮像するカメラ、105はカメラ104が撮影した画像情報を取得し周辺を走行する車両を検出するカメラ制御部、106は自車両の車両走行情報の送信、及び他車両の車両走行情報の受信を行う車両間無線通信部、107は車両間無線通信部106の無線データ送受信に使用するアンテナ、108はカメラ制御部105及び車両間無線通信部106が検出した周辺車両情報からドライバに必要な情報を検出する安全走行情報検出部、で構成される。
400は車載通信装置100を搭載する車両である。401は車両400が搭載する同じ車載通信装置100を搭載し車両400と車両走行情報の送受信を行う車両Aである。
ナビ制御部101は、入力部103より入力された入力情報により、指定のあった目的地へドライバを誘導する処理を行う。ドライバが入力部103から目的地の入力を行うと、車両400の現在位置から目的地までの道路情報を検索し、走行する道路の経路情報を出力部102に表示する。走行中は、自車両400の走行位置を出力部102に表示した地図上に表示し、またドライバに目的地までのルート案内を行うため音声による走行案内情報を出力部102に出力する。また安全走行情報検出部108経由で受信した他車両の車両走行情報を出力部102に表示する。
出力部102は、ナビ制御部101の制御により、ナビ制御部101が出力する地図情報や道路混雑情報等の各種情報の画像表示を行うディスプレイや、ナビ制御部101が出力するルート案内情報の音声出力を行うスピーカ等で構成される。勿論、これらの画像表示を行うデバイス、装置や、音声情報を出力するデバイス、装置に限定されるものではなく、ドライバ、運転者、操作者に対して、情報を提供するその他のデバイス、装置であってもよい。例えば、注意、警告情報を振動によって、通知する振動デバイス、装置などであっても良い。
入力部103は、ドライバがナビゲーション部100に対し、車両400の行き先である目的地設定を行うのに必要な各種情報や、所定の処理動作要求を入力するための操作部で、入力操作盤(キーボード、タッチパネル入力等)等で構成される。ドライバが入力部103を通じて入力した各種情報はナビ制御部101に出力される。勿論、これらの入力操作盤として使用されるデバイス、装置や、音声情報を出力するデバイス、装置に限定されるものではなく、ドライバ、運転者、操作者の意思、動作、生体情報の変化に従って、操作、入力されるその他のデバイス、装置であってもよい。例えば、視線、眼球の動きを検出するもの、顔、頭の向き、傾き、角度、回転、動きなどを検出するもの、脈拍、血圧などをも含む生体情報を検出して、入力を可能とするデバイス、装置などであっても良い。
図2は、カメラ制御部105の内部構成の一実施例を示す図であり、1051はカメラ104の動作制御を行い、撮影した画像データを取得するカメラ画像取得部、1052はカメラ画像取得部1051で取得した画像データから周辺に存在する車両等の障害物を検出する周辺車両検出部、1053は周辺車両検出部1052が周辺障害物を画像データから検出した場合に障害物を判別するためのマッチング用データを格納する障害物データベースである。
周辺車両検出部1052は、カメラ画像取得部1051で取得した画像データから周辺に存在する車両等の障害物を検出すると、障害物データベース1053に格納するマッチング用データから障害物の種別を判別し、またナビ制御部101から取得した自車位置情報より障害物の位置情報を算出し、撮影した画像データ及び検出した障害物の種別、位置情報を障害物画像情報として安全走行情報検出部108に送信する。
図3は、車両間無線通信部106の内部構成の一実施例を示す図である。1061は車両間通信処理部1064からの要求によりデータの送信処理を行う送信部、1062はアンテナ107を介して他車両からのデータを受信する受信部、1063は送信処理と受信処理を切り替えるためのスイッチ、1064はスイッチ1063の切替処理、及び送信部1061、受信部1062、安全走行情報検出部108、ナビ制御部101とデータ入出力処理を行う車両間通信処理部である。
車両間通信処理部1064は、ナビ制御部101からデータ送信要求を受けた場合、周囲の無線送信チャネルの使用状況を確認し、使用されていない場合は送信データを送信部1061に設定し、スイッチ1063を送信部1061側に切り替えてデータ送信を行う。使用されている場合は、送信データの衝突を回避するため送信を待機し、未使用になったことを検出後、送信処理を行う。
本無線通信のアクセス制御方式は、CSMA/CA(Carrier Sense Multiple Access with Collision Avoidance)方式と呼ばれ、無線LANのMAC層におけるアクセス制御方式としてIEEE802.11で標準化されている。送信処理が完了すると、スイッチ1063は受信部1062側に切り替える。
また、受信部1062においてデータ受信し車両走行情報であることを確認すると、安全走行情報検出部108に送信する。本実施例では、車両間無線通信部106の通信アクセス制御はCSMA/CA方式を行うこととしたが、これに限定するものではない。
また車両間で無線通信を行う車両間無線通信部106は、周辺に存在する見通し内車両だけでなく、見通し外車両との通信も可能なUHF(Ultra High Frequency)帯、もしくはDSRC(Dedicated Short Range Communication)で利用されている5.8GHz帯の周波数を利用するものとする。ただし、これに限定するものではない。
図4は、ナビ制御部101の内部構成の一実施例を示す図であり、1011は車速を検出するための加速度センサ、1012は車の場所、位置情報を取得するGPS(Global Positioning System)、1013は車の進行方向を検出するジャイロ、1014は現在地や目的地を表示するための地図情報を記憶している地図情報記憶部、1015は走行状態に関する車両走行情報を取得する車両情報取得部、1016は他車両から受信した走行状態に関する車両走行情報を格納する安全走行情報格納部、1017はナビ制御部101を制御する制御部である。
加速度センサ1011は、車両400の車速を検出すると共に、検出した車速を示す電気信号を制御部1017へ出力する。
GPS1012は、複数個のGPS衛星との間で交信を行うことにより、車両400の現在の位置情報を取得すると共に、取得した車両400の現在の位置情報を制御部1017へ出力する。
ジャイロ1013は、車両400の進行方向を検出すると共に、検出した車両400の進行方向情報を、制御部1017に出力する。
地図情報記憶部1014は、制御部1017の制御下で、車両400の現在位置や、車両400の目的地等を出力部102に表示するための地図情報を記憶している。地図情報記憶部1014は、制御部1017からの要求に応じて、指定された地図情報を出力する。
車両情報取得部1015は制御部1017の要求により、走行速度、エンジンの回転数、トルク、ブレーキ、アクセル状態など車両400の動作状態を取得し出力する。
制御部1017は、入力部103から入力される各種情報や、要求に応じて後述の各処理を実施する。走行中は、加速度センサ1011からの車速検出信号、GPS1012からの車両400の現在位置情報、及びジャイロ1013からの車両400の進行方向情報を取得し、地図情報記憶部1014に記憶されている地図情報の中から自車両走行場所周近の地図情報を読出し、出力部102に地図情報及び自車走行位置を表示する。また、エンジンの回転数、トルクは、エンジンの制御系にて処理されている制御信号、または、制御において、検出される検出信号を元に得るようにするものであっても良い。
ドライバが入力部103から目的地を入力し、目的地までの走行を誘導するナビゲーション走行の要求設定を行った場合は、現在位置から目的地までの走行経路を算出し、指定されたルートに従って目的地まで音声、画像出力による誘導処理を行う。また、安全走行情報検出部108からドライバの安全運転に支障を及ぼす可能性がある自車両の周辺情報(安全運転支援情報)を受信した場合は、安全運転走行情報格納部1016に格納し、また出力部102に出力する。
図5は、安全走行情報検出部108の内部構成の一実施例を示す図である。1081は車両間無線通信部106から受信した周辺走行車両からの車両走行情報を格納する他車両走行情報格納部、1082はカメラ制御部105が検出した障害物を撮像した障害物画像情報を格納するカメラ検出情報格納部、1083は他車両走行情報格納部1081とカメラ検出情報格納部1082に格納した情報からドライバの安全運転に支障を及ぼす可能性がある情報を抽出し安全運転支援情報としてナビ制御部101に送信する検出情報判定部である。
図6は車両間で送受信する車両走行情報の内容の一実施例を示した表である。データ要素としては、自車両を特定する番号である自車ID、自車両の車種を示す車両種別、自車両が走行している場所を示す緯度、経度、高度、自車両の走行速度を示す車速、自車両の走行加速度を示す加速度、自車両の走行方位を示す方向、ブレーキの使用状態を示すブレーキ、アクセルの使用状態を示すアクセル、がある。図6で、ブレーキ、アクセルの内容が、「ON:OFF」となっているが、当該二値の情報に限定されるものではなく、ブレーキ、アクセルの使用状態に応じて、段階的にデータ量を示す情報とするものであっても良い。ナビ制御部101は、これらの車両走行情報を定期的に取得すると、図6に示したフォーマットに変換した後、車両間無線通信部106に送信要求する。
図7は車両400が周辺の車両と無線通信を行う場合の一実施例を示した車両配置図である。401は車両400の前方を走行する車両A、402は車両400の反対車線を走行する車両B、403は自車両400が走行する前方の交差点左側から交差点に向かって走行する車両C、404は車両400の反対車線を走行する車両B402の後方を走行する車両Dであり、これらの各車両は車載通信装置100を搭載し車両走行情報の送受信を行う。701は車両400が搭載する車載通信装置100が通信可能な範囲を示す通信エリア、702は車両400に搭載したカメラ104が撮影可能な範囲を示した撮影エリア、703は交差点左角に存在する建物を示している。ここで通信エリア701は、自車両400に搭載の車載通信装置100が、車両A401、車両B402、車両C403、及び車両D404に搭載されている車載通信装置100と通信可能状態にあることを示している。また撮影エリア702は、車両400に搭載したカメラ104が撮影可能な車両は、車両A401、及び車両B402であることを示している。
図8は、車両400に搭載したカメラ104が撮影したカメラ撮影画像を示しており、800はカメラ撮影画像、801は自車両400から車両A401までの距離を示す距離A、802は自車両と車両B802までの距離を示す距離B、803は自車両400から周辺車両の位置を測定する自車両基準点である。
図9は、安全走行情報検出部108が他車両から受信した車両走行情報とカメラ104で撮影したカメラ撮影画像データからドライバに通知する安全運転支援情報を検出し、ナビ制御部101がその内容を出力部102のディスプレイに表示した場合の一例を示す図である。901はナビ表示画像、902は前方交差点左側から接近する車両C403の存在を知らせる音声案内である。
図10は、車両間無線通信部106が車両走行情報の送受信処理を行う場合のフローチャート図である。
図11は、カメラ制御部105がカメラ104の撮影した画像データを取得し周辺車両等障害物を検出する場合のフローチャート図である。
図12は、安全走行情報検出部108が、カメラ制御部105が検出した障害物情報と、車両間無線通信部106が受信した車両走行情報から、ドライバに通知する安全運転支援情報を抽出する場合のフローチャート図である。
図13は、ナビ制御部101が安全走行情報検出部108から受信した安全運転支援情報を表示出力し、また自車両走行情報を取得し車両間無線通信部106へ送信要求する場合のフローチャート図である。
図14は、図7の状況の場合に車両400に搭載した車載通信装置100の安全走行情報検出部108が周辺走行する車両を検出した結果を示した図である。
次に、本発明の車載通信装置100が周辺車両から受信した車両走行情報とカメラで撮影した画像データから安全運転支援情報を抽出し表示する場合の動作ついて、図1、図2、図3、図4、図5、図6、図7、図8、図9、図10、図11、図12、図13、及び図14を用いて説明する。
図7に示す通り、本発明の車載通信装置100を搭載する自車両400は、周辺を走行する他車両と無線で車両走行情報を送受信することで周囲に自車両の走行情報を通知し、また周囲を走行する他車両の走行情報を取得する。本実施例では、車両は通信可能なエリアに存在する他車両に対して全てに車両走行情報を送信するマルチキャスト型通信を前提とし、走行中は一定周期で車両走行情報の送信処理を繰り返し行うこととする。ただし、これに限定するものではない。
車両間無線通信部106の動作について図10のシーケンス図を用いて説明する。車両間通信部106のスイッチ1063は通常受信部1062側に接続されており、受信部1062でデータを受信すると車両間通信処理部1064に転送され(S1001)、車両走行情報である場合は受信済みデータか否かを判別する(S1002)。受信済みのデータの場合は破棄して(S1003)処理を終了する。未受信データの場合は、安全走行情報検出部108にデータを転送する(S1004)。ナビ制御部101は車両間無線通信部106に対し、自車両の車両走行情報の送信要求を定期的に実施する。車両間無線通信部106はナビ制御部101から車両走行情報の送信要求を受信すると(S1005)、次回のデータ送信タイミングで現在送信中の車両走行情報を新しいデータに更新する(S1006)。車両間無線通信部106は、システム起動時にデータ送信タイミングを生成する自車両走行情報送信周期タイマを起動し、タイマが終了する毎にナビ制御部101から設定された車両走行情報の送信処理を行う。自車両走行情報送信周期タイマの終了を検出すると(S1007)、送信部1061へ送信データを設定し(S1008)データ送信が行なわれると、自車両走行情報送信周期タイマを再起動する(S1009)。このように、車両間通信処理部106の処理は、他の車両から車両走行情報を受信した場合、ナビ制御部101からの車両走行情報の送信要求を受信した場合、自車両走行情報送信周期タイマが終了した場合に起動がかかり、それぞれの処理を実施する。
次にカメラ制御部105の動作について図11のシーケンスを用いて説明する。周辺車両検出部1052は、カメラ104が撮影した周辺画像データから自車両周辺を走行する車両を検出する処理を定期的に実施する。
システム起動時に車両検出処理を行うタイミングを生成する画像更新周期タイマを起動し、タイマが終了する毎にカメラ画像取得部1051からカメラ104が撮影した画像データを取得し車両検出処理を実施する。
画像更新周期タイマが終了すると(S1101)カメラ画像取得部1051からカメラ104が撮影した自車両周辺を撮影した画像情報を取得する(S1102)。次に取得した画像情報に自車両周辺を走行する車両が写っているかを検出しその方角・距離を取得する(S1103)。
カメラ104は、車両400に固定接続されており撮影される範囲は固定される。図8に撮影した画像情報の例を示す。このように、手前に自車両400のボンネット部が写っており、同一車線の前方を走行している車両A401と、反対車線前方を走行する車両B402がそれぞれ写っている。
画像情報から車両を検出する方法としては、取得画像の2値化処理等により道路面、前方障害物(周辺走行車両A401、及び車両B402)、車線の輝度差を求め、道路面と前方障害物との境界を求め、また障害物部位データを抽出する。
撮像画像には、自車の前方部が撮影されているのでその先端(自車両基準点803)から道路面と前方障害物の境界までの画素数と自車両位置からの方向を測定し(自車両400と車両A401までの測定距離は距離A801、自車両400と車両B402までの測定距離は距離B802となる。)、ナビ制御部101より取得した自車両の位置情報、走行方向と照合することにより、前方障害物の位置が求められる。
また抽出した障害物部位データは、障害物データベース1053に格納するデータベース情報とのマッチング処理を実施し(S1104)車両か否かを検出する(S1105)。車両を検出した場合、検出した車両の位置情報と共に画像情報を障害物画像情報として安全走行情報検出部108へ送信する(S1106)。最後に画像更新周期タイマを再起動し(S1107)処理を終了する。
このように、カメラ制御部105の周辺車両検出処理は、画像更新周期タイマが終了した場合に起動がかかり処理を実施する。なお、本実施例で説明した、周辺画像データから車両を検出する方法は一例であり、このほかにも車両にカメラを2台設置するステレオカメラを用いた周辺車両の検出方法がある。
次に安全走行情報検出部108の動作について図12のシーケンスを用いて説明する。安全走行情報検出部108は、ドライバに通知する安全走行情報を検出する処理を定期的に実施するため、システム起動時にそのタイミングを生成する検出処理周期タイマを起動し、タイマが終了する毎に検出処理を実施する。
検出処理周期タイマの終了を検知すると(S1201)、カメラ制御部105から取得した障害物画像情報をカメラ検出情報格納部1082から取得し(S1202)、更に車両間無線通信部106で受信した車両走行情報を他車両走行情報格納部1081から取得する(S1203)。
次に車両走行情報から検出した車両と障害物画像情報から検出した車両について両方で検出された同一の車両とそれ以外の車両に分類する(S1204)。このうち障害物画像情報では検出されず車両走行情報で検出された車両情報についてはドライバの目視範囲に存在しない車両情報であるので、安全走行情報としてナビ制御部101に送信する(S1205)。
その後、再度検出処理周期タイマを再起動する(S1206)。図7に示した状況の例では、図14に示した通り車両A401と車両B402は障害物画像情報と車両走行情報の両方で検出され、車両C403と車両D404については車両走行情報のみから検出される。従って安全走行情報として車両C403と車両D404の車両走行情報がナビ制御部101に送られる。
カメラ制御部105から障害物情報を受信した場合は(S1207)、障害物情報をカメラ検出情報格納部1082に記憶する(S1208)。
車両間無線通信部106から車両走行情報を受信した場合は(S1209)、車両走行情報を他車両走行情報格納部1081に記憶する(S1210)。
このように安全走行情報検出部108の処理は、検出処理周期タイマが終了した場合、障害物情報を受信した場合、車両走行情報を受信した場合に起動がかかりそれぞれの処理を実施する。
ナビ制御部101は、安全走行情報を安全走行情報検出部108より受信すると(S1301)、受信した安全走行情報に含まれる車両走行情報の自車IDから、既に受信済の車両からのデータかを安全走行情報格納部1016に格納した既受信データから判定する(S1302)。未受信の車両からのデータの場合、図9に示す通り、自車マークと共に他車両マークを表示した地図画像を出力部102に表示し「前方交差点左側から車が接近しています。」(音声案内902)の音声情報を出力する(S1303)。
一方、既受信の車両からのデータの場合は、前回受信したデータと比較し、更新されている場合は(S1304)、更新内容に従って該当車両位置を特定し、同様に自車マークと共に他車両マークを表示した地図画像を出力部102に表示し「前方交差点左側から車が接近しています。」(音声案内902)の音声情報を出力する(S1305)。前回の受信時に音声通知を実施の場合は一定時間経過後に再度音声通知を実施するようにしても構わない。更新されていない場合は処理を終了する。
またナビ制御部101は、自車の車両走行情報を取得する処理を定期的に実施するため、システム起動時にそのタイミングを生成する自車両走行情報更新周期タイマを起動し、タイマが終了する毎に取得処理を実施する。自車両走行情報更新周期タイマの終了を検知すると(S1306)、自車両情報取得部1015より自車両走行情報を取得し(S1307)、車両間無線通信部106へ送信要求を行う(S1308)。その後、自車両走行情報更新周期タイマを再起動する(S1309)。
このようにナビ制御部101の処理は、安全走行情報を受信した場合、自車両走行情報更新周期タイマが終了した場合に起動がかかりそれぞれの処理を実施する。
図7の例の場合、安全走行情報は車両C403と車両D404の車両情報をナビ制御部101は受信するが、本実施例では上記の通り図9に示したナビ表示画像901を表示する。画像表示は障害物画像情報と車両走行情報の両方で検出された車両A401と車両B402を点表示としているが、車両A401と車両B402は実際には表示されない。
ただし、安全走行情報検出部108で車両走行情報と障害物画像情報の両方で検出された車両情報と車両走行情報のみから検出された車両情報をそれぞれ区別する情報を付与し、いずれの情報もナビ制御部101に送信し、図9に示す通りナビ制御部101がそれぞれの車両情報を区別して表示するようにしても構わない。
また本実施例の場合、音声は車両C403の存在をドライバに通知するための情報を出力するようにしたが、車両D404の存在をドライバに通知するための情報を出力するようにしても構わない。
このように、周辺を走行する複数の車両の中で、車両間無線通信部106による車車間通信にて取得した車両走行情報と、カメラ104で周辺状況を撮影したカメラ画像から検出した障害物画像情報のうち、車車間通信によってのみ検出された車両走行情報を安全走行情報として表示することにより、運転中のドライバが目視では確認できない車両の存在を通知することが可能になり、混雑している場所などで大量に受信した車両走行情報の中から安全走行に必要な情報を抽出することが可能になる。
本実施例では、安全走行情報検出部108で検出した安全走行情報をナビ制御部101が受信した場合は常に表示するが、車両400が走行する場所に応じて処理条件を設定しても構わない。
例えば、図7の場合のように車両400が見通しの悪い交差点手前の一定距離に接近した場合に検出した安全走行情報はナビ制御部101が表示するように動作し、それ以外の場所で検出した安全走行情報に関しては表示しないように動作してもよい。また表示する場所については、見通しの悪い交差点に限るものではなく、見通しの悪いカーブ、合流車線接合部、事故多発地点等を処理条件に用いても構わない。
また、自車両400が走行する場所が見通しの悪い交差点や、見通しの悪いカーブなど走行が危険な場所か否かをナビ制御部101が判断し、危険箇所と判定した場合に安全走行情報を出力部102に表示するようにしても構わない。
具体的には、地図情報記憶部1014に記憶している地図情報には、道路周辺に存在する建物に関する情報(形状、大きさ、高さ等)を記憶しておき、制御部1017は安全走行情報を受信すると、自車両400の走行場所周辺の地図情報、及び建物情報を地図情報記憶部1014から取得し、自車両走行場所の危険度の判定処理を行い、安全走行情報を出力部102に表示するか否かを制御する。
例えば、自車両400の走行場所が交差点手前付近を走行していることを地図情報より検出すると、周辺の建物情報を取得し、所定の高さ以上の高さ、所定の大きさ以上の大きさの建物が交差点付近に存在する場合には危険箇所と判断し安全走行情報を出力部102に表示する。図7の場合には、ナビ制御部101は建物情報より交差点左角に建物703が存在することを検出し危険箇所と判定し安全走行情報を出力部102に表示する。
また本実施例では、図7の状況において、安全走行情報検出部108が検出した車両C400と車両D404に関する安全走行情報についてナビ制御部101は、2台の車両の位置を示した地図情報を画像表示し、車両C403もしくは、車両D404の何れかの存在に関して音声通知するようにしたが、車両400の走行場所や走行状況に応じて動作の優先順位を予め定義しておきナビ制御部101が状況に応じて動作するようにしても構わない。
図15にナビ制御部101の動作優先順位を定めた安全走行情報優先処理順位テーブルを示す。自車両400が交差点を直進動作する場合、右折する場合、また急カーブを通過する場合について動作優先順位を示している。
例えば、交差点を直進する場合には、交差点左側道路からの直進車両が存在する場合が最優先となり、対象車両の存在を通知する音声ガイド、画像表示をナビ制御部101が表示出力する。また前方走行車両が存在する場合は走行上の危険度が高くないため、地図上へ検出車両の画像表示は行うが、音声ガイドは行わないようにしている。
また本実施例では、安全走行情報検出部108が安全走行情報を検出する場合に、カメラ104で撮影した画像データからカメラ制御部104が周辺車両とその位置情報を検出した障害物画像情報と、車両通信部106で受信した車両走行情報を用いたが、カメラ撮影画像の代わりにミリ波レーダによる通信機能を搭載し、周辺障害物によって反射されたミリ波を測定することにより車両の存在と自車両400からの距離を検出し、更に自車両400の位置情報から検出車両の位置情報を検出するようにしても構わない。
また本実施例では、安全走行情報検出部108が安全走行情報を検出する場合に、カメラ104で撮影した画像データからカメラ制御部104が周辺車両とその位置情報を検出した障害物画像情報と、車両通信部106で受信した車両走行情報を用いたが、カメラ撮影画像による周辺車両の検出は行わず、車両通信部106で受信した車両走行情報を安全走行情報としてナビ制御部101に通知し、ナビ制御部101は自車走行位置周辺の地図情報から自車両400が見通しの悪い交差点やカーブ、合流車線接合部、事故多発地点、駐車場などの車両走行施設を走行時に出力部102に表示するようにしても構わない。
本発明の車載通信装置の第二の実施例を図面によって説明する。
図16は、本発明に使用される車載通信装置の全体構成の一実施例を示した図である。200は、ドライバに安全運転のため周辺の車両走行情報を通知する機能を有する車載通信装置であって、ナビ制御部101、出力部102、入力部103、カメラ104、アンテナ107、車両400、及び車両A401は図1の車載通信装置100に搭載する部位と同じ動作を行う。
205はカメラ104が撮影した画像情報を取得し周辺を走行する車両及び歩行者を検出するカメラ制御部、206は他の車両A401との間で車両の走行状況を示す車両走行情報の送受信を行い、また歩行者A601が所持している携帯電話装置500との間で歩行者の位置情報や移動方向を示す歩行者情報を無線で通信する人車・車車間無線通信部、208はカメラ制御部205及び人車・車車間無線通信部206が検出した周辺車両情報及び周辺歩行者情報からドライバに必要な情報を検出する安全走行情報検出部、で構成される。
500は、無線で他の携帯電話装置と音声通話を行い、またセンタ装置と接続により音楽や画像コンテンツデータのダウンロードなどを行う携帯電話装置であって、周辺を走行する車両に搭載される人車・車車間無線通信部206との間で車両の走行状況を示す車両走行情報を受信し、自身の位置情報や移動方向を示す歩行者情報を無線で車両に送信する機能を有する。601は携帯電話装置500を所持する歩行者Aである。
図17は、カメラ制御部205の内部構成の一実施例を示す図であり、2051はカメラ104の動作制御を行い、撮影した画像データを取得するカメラ画像取得部、2052はカメラ画像取得部2051で取得した画像データから周辺に存在する車両及び歩行者等の障害物を検出する周辺車両検出部、2053は周辺車両検出部1052が周辺障害物を画像データから検出した場合に障害物を判別するためのマッチング用データを格納する障害物データベースである。
周辺車両検出部2052は、カメラ画像取得部2051で取得した画像データから周辺に存在する車両や歩行者等の障害物を検出すると、障害物データベース2053に格納するマッチング用データから障害物の種別を判別し、またナビ制御部101から取得した自車位置情報より障害物の位置情報を算出し、撮影した画像データ及び検出した障害物の種別、位置情報を障害物画像情報として安全走行情報検出部208に送信する。
図18は、人車・車車間無線通信部206の内部構成の一実施例を示す図である。2061は人者・車車間通信処理部2064からの要求によりデータの送信処理を行う送信部、2062はアンテナ107を介して他車両もしくは歩行者が携帯する携帯電話装置からのデータを受信する受信部、2063は送信処理と受信処理を切り替えるためのスイッチ、2064はスイッチ2063の切替処理、及び送信部2061、受信部2062、安全走行情報検出部208、ナビ制御部101とデータ入出力処理を行う人車・車車間通信処理部である。
人車・車車間通信処理部2064は、ナビ制御部101からデータ送信要求を受けた場合、周囲の無線送信チャネルの使用状況を確認し、使用されていない場合は送信データを送信部2061に設定し、スイッチ2063を送信部2061側に切り替えてデータ送信を行う。使用されている場合は、送信データの衝突を回避するため送信を待機し、未使用になったことを検出後、送信処理を行う。
本無線通信のアクセス制御方式は、CSMA/CA(Carrier Sense Multiple Access with Collision Avoidance)方式と呼ばれ、無線LANのMAC層におけるアクセス制御方式としてIEEE802.11で標準化されている。送信処理が完了すると、スイッチ2063は受信部2062側に切り替える。
また、受信部2062においてデータ受信し車両走行情報であることを確認すると、安全走行情報検出部208に送信する。本実施例では、車両間無線通信部206の通信アクセス制御はCSMA/CA方式を行うこととしたが、これに限定するものではない。
また車両間で無線通信を行う人車・車車間無線通信部206は、周辺に存在する見通し内車両だけでなく、見通し外車両との通信も可能なUHF(Ultra High Frequency)帯、もしくはDSRC(Dedicated Short Range Communication)で利用されて5.8GHz帯の周波数を利用するものとする。ただし、これに限定するものではない。
図19は、安全走行情報検出部208の内部構成の一実施例を示す図である。2081は人車・車車間無線通信部206が受信した周辺走行車両からの車両走行情報もしくは周辺に存在する歩行者A601が所持している携帯電話装置500の位置情報や移動方向を示す歩行者情報を格納する他車両・歩行者情報格納部、2082はカメラ制御部205が検出した周辺車両、もしくは歩行者などを撮像した障害物画像情報を格納するカメラ検出情報格納部、2083は他車両走行情報格納部2081とカメラ検出情報格納部2082に格納した情報からドライバの安全運転に支障を及ぼす可能性がある情報を抽出し安全運転支援情報としてナビ制御部101に送信する検出情報判定部である。
図20は周辺を走行する車両からの走行情報を受信し、自装置の位置情報や移動方向を示す歩行者情報を周辺車両に送信する携帯電話装置500の全体構成の一例を示した図である。
501は音声・画像情報などの表示を行う表示部、502は通話や、データ通信の開始などの入力操作を行う操作部、503は他の携帯電話装置と音声通話や、センタ装置と無線通信を行う携帯電話無線通信部、504は周辺を走行する車両に搭載される人車・車車間無線通信部206との間で無線通信を行う車両間無線通信部、505は周辺を走行する車両から受信した車両走行情報の処理、及び歩行者情報を生成し送信制御を行う車両情報処理部、5051は車両情報処理部505の構成部の一部であり、受信した車両走行情報の解析処理を行う車両情報受信判定部、506はGPSを搭載し自身の位置情報(緯度、経度)を取得し、進行方向を算出する位置情報取得部、507は携帯電話装置500全体を制御する携帯電話制御部、である。
音声発呼や、データ通信接続開始などユーザが操作部502に対して入力操作を行うと、携帯電話制御部507は入力内容に応じて携帯電話無線通信部503に無線通信接続処理要求を行う。
携帯電話無線通信部503より無線通信接続完了応答を受けると表示部501に無線通信接続通知表示を行う。その後、ユーザの入力内容に従い音声通話、データ通信を実施する。また、携帯電話無線通信部503から着信通知を受信すると、着信表示を表示部501に出力し、ユーザに通知する。その後ユーザの操作部502への入力内容に応じて無線通信接続を実施する。
図21は車両間で送受信し、また歩行者に対し送信するする車両走行情報の内容の一実施例を示した表である。データ要素としては、図6に示した車両走行情報の先頭部に、データを送信する宛先を示した送信先情報と、送信元の情報を示す送信元情報を追加した構成となっている。
なお図21では、送信先情報としては、0:区別なし(全端末が受信)、1:車両、2:携帯、3−15:予約としたが、予約領域を使い他の端末を設定しても構わない。また送信先情報は1バイトで15種類までの設定しか行えないが、2バイト以上設定できるようにしても構わない。同様に、送信元情報も1バイト構成となっているが2バイト以上設定できるようにしても構わない。
図22は携帯電話装置500が周辺を走行する車両に送信する歩行者の位置情報や移動方向を示す歩行者情報の内容の一実施例を示した表である。データ要素としては、データを送信する宛先を示した送信先情報、送信元の情報を示す送信元情報、自携帯電話装置を特定する番号である携帯ID、自携帯電話装置の場所を示す緯度、経度、歩行者の移動方位を示す方向、がある。
車両情報処理部505は、位置情報取得部506から場所、方向などの歩行者情報を取得し、送信先情報と送信元情報を加えて図22に示した車両走行情報データフォーマットのデータフレームを生成し車両間無線通信部504より送信する。なお図22では、送信先情報としては、0:区別なし(全端末が受信)、1:車両、2:携帯、3−15:予約としたが、予約領域を使い他の端末を設定しても構わない。また送信先情報は1バイトで15種類までの設定しか行えないが、2バイト以上設定できるようにしても構わない。同様に、送信元情報も1バイト構成となっているが2バイト以上設定できるようにしても構わない。
図23は車両400が周辺の車両及び歩行者が所持する携帯電話と無線通信を行う場合の一実施例を示した車両・歩行者配置図である。601は車両400の左前方を歩行し携帯電話装置500と同様の機能を持つ携帯電話装置を所持する歩行者A601、602は自車両400が走行する前方の交差点左側から交差点に向かって歩行し携帯電話装置500と同様の機能を持つ携帯電話装置を所持する歩行者B、2301は車両400が搭載する車載通信装置200が通信可能な範囲を示す通信エリア、2302は車両400に搭載したカメラ104が撮影可能な範囲を示した撮影エリアを示している。その他は図7と同様である。
ここで通信エリア2301は、自車両400に搭載の車載通信装置200が、車両A401、車両B402、車両C403、及び車両D404に搭載されている車載通信装置200及び歩行者A601、及び歩行者B602が所持する携帯電話装置と通信可能状態にあることを示している。また撮影エリア2302は、車両400に搭載したカメラ104が撮影可能な車両は、車両A401、及び車両B402、歩行者A601であることを示している。
図24は、車両400に搭載したカメラ104が撮影したカメラ撮影画像を示しており、2400はカメラ撮影画像、2401は自車両400から車両A401までの距離を示す距離A、2402は自車両400と車両B802までの距離を示す距離B、2403は自車両400と歩行者A601までの距離を示す距離Cである。その他は図8と同様である。
図25は、安全走行情報検出部208が他車両から受信した車両走行情報、及び歩行者が所持する携帯電話から受信した歩行者情報、カメラ104で撮影したカメラ撮影画像データからドライバに通知する安全運転支援情報を検出し、ナビ制御部101がその内容を出力部102のディスプレイに表示した場合の一例を示す図である。2501はナビ表示画像、2502は前方交差点左側から接近する車両C403と歩行者B602の存在を知らせる音声案内である。
図26は、人車・車車間無線通信部206が車両走行情報及び歩行者情報の送受信処理を行う場合のフローチャート図である。
図27は、カメラ制御部205がカメラ104の撮影した画像データを取得し周辺車両、歩行者等障害物を検出する場合のフローチャート図である。
図28は、安全走行情報検出部208が、カメラ制御部205において検出した障害物情報と、車両間無線通信部206が受信した車両走行情報、及び歩行者情報から、ドライバに通知する安全運転支援情報を抽出する場合のフローチャート図である。
図29は携帯電話装置500の車両情報処理部505の車両間通信における処理フローチャート図である。
次に、本発明の車載通信装置200が周辺車両からの車両走行情報と、周辺歩行者からの歩行者情報と、カメラで撮影した画像データから安全運転支援情報を抽出し表示する場合の動作ついて、図4、図16、図17、図18、図19、図20、図21、図22、図23、図24、図25、図26、図27、図28、図29、及び図30を用いて説明する。
図23に示す通り、本発明の車載通信装置200を搭載する自車両400は、周辺を走行する他車両と歩行者が所持する携帯電話装置と無線で車両走行情報を送受信することで周囲に自車両の走行情報を通知し、また周囲を走行する他車両の走行情報、歩行者の所持する携帯電話装置の位置情報や移動方向を示す歩行者情報を取得する。
本実施例では、車両は通信可能なエリアに存在する他車両及び歩行者全てに対して車両走行情報を送信するマルチキャスト型通信を前提とし、走行中は一定周期で車両走行情報の送信処理を繰り返し行うこととする。ただし、これに限定するものではない。
人車・車車間無線通信部206の動作について図26のシーケンス図を用いて説明する。人車・車車間通信部206のスイッチ2063は通常受信部2062側に接続されており、受信部2062でデータを受信すると人車・車両間通信処理部2064に転送され(S2601)、送信元情報、送信先情報から情報種別を確認し(S2602)、車両宛ての車両情報を受信した場合は、受信済み車両情報データか否かを判別する(S2603)。受信済みのデータの場合は破棄して(S2604)処理を終了する。
未受信データの場合は、安全走行情報検出部208にデータを転送する(S2605)。車両宛ての歩行者情報を受信した場合は、受信済み歩行者情報データか否かを判別し(S2606)、受信済みのデータの場合は破棄して(S2607)処理を終了する。未受信データの場合は、安全走行情報検出部208にデータを転送する(S2608)。
ナビ制御部101は人車・車車間無線通信部206に対し、自車両の車両走行情報の送信要求を定期的に実施する。人車・車車間無線通信部206はナビ制御部101から車両走行情報の送信要求を受信すると(S2609)、次回のデータ送信タイミングで現在送信中の車両走行情報を新しいデータに更新する(S2610)。
人車・車車間無線通信部206は、システム起動時にデータ送信タイミングを生成する自車両走行情報送信周期タイマを起動し、タイマが終了する毎にナビ制御部101から設定された車両走行情報の送信処理を行う。
自車両走行情報送信周期タイマの終了を検出すると(S2611)、送信部2061へ送信データを設定し(S2612)データ送信が行なわれると、自車両走行情報送信周期タイマを再起動する(S2613)。
このように、人車・車車間無線通信部206の処理は、他の車両からの車両走行情報、もしくは歩行者の所持する携帯電話から送信される歩行者情報を受信した場合、ナビ制御部101からの車両走行情報の送信要求を受信した場合、自車両走行情報送信周期タイマが終了した場合に起動がかかり、それぞれの処理を実施する。
次にカメラ制御部205の動作について図27のシーケンスを用いて説明する。周辺車両歩行者検出部2052は、カメラ104が撮影した周辺画像データから自車両周辺を走行する車両もしくは歩行者を検出する処理を定期的に実施する。システム起動時に車両検出処理を行うタイミングを生成する画像更新周期タイマを起動し、タイマが終了する毎にカメラ画像取得部2051からカメラ104が撮影した画像データを取得し車両検出処理を実施する。
画像更新周期タイマが終了すると(S2701)カメラ画像取得部2051からカメラ104が撮影した自車両周辺を撮影した画像情報を取得する(S2702)。次に取得した画像情報に自車両周辺を走行する車両もしくは歩行者が写っているかを検出しその方角・距離を取得する(S2703)。カメラ104は、車両400に固定接続されており撮影される範囲は固定される。図24に撮影した画像情報の例を示す。このように、手前に自車両400のボンネット部が写っており、同一車線の前方を走行している車両A401と、反対車線前方を走行する車両B402、及び左前方路肩に歩行者A601がそれぞれ写っている。
画像情報から車両及び歩行者を検出する方法としては、取得画像の2値化処理等により道路面、前方障害物(周辺走行車両A401、車両B402、歩行者A601)、車線の輝度差を求め、道路面と前方障害物との境界を求め、また障害物部位データを抽出する。撮像画像には、自車の前方部が撮影されているのでその先端(自車両基準点803)から道路面と前方障害物の境界までの画素数と自車両位置からの方向を測定し(自車両400と車両A401までの測定距離は距離A801、自車両400と車両B402までの測定距離は距離B802、自車両400と歩行者A601までの測定距離は距離C2403となる。)、ナビ制御部101より取得した自車両の位置情報、走行方向と照合することにより、前方障害物の位置が求められる。
また抽出した障害物部位データは、障害物データベース2053に格納するデータベース情報とのマッチング処理を実施し(S2704)車両か否かを検出する(S2705)。車両、もしくは歩行者を検出した場合、検出した車両の位置情報もしくは歩行者の位置情報と共に画像情報を障害物画像情報として安全走行情報検出部108へ送信する(S2706)。最後に画像更新周期タイマを再起動し(S2707)処理を終了する。
このように、カメラ制御部205の周辺車両・歩行者検出処理は、画像更新周期タイマが終了した場合に起動がかかり処理を実施する。なお、本実施例で説明した、周辺画像データから車両を検出する方法は一例であり、このほかにも車両にカメラを2台設置するステレオカメラを用いた周辺車両・歩行者の検出方法がある。こちらの方式を採用しても構わない。
次に安全走行情報検出部208の動作について図28のシーケンスを用いて説明する。安全走行情報検出部208は、ドライバに通知する安全走行情報を検出する処理を定期的に実施するため、システム起動時にそのタイミングを生成する検出処理周期タイマを起動し、タイマが終了する毎に検出処理を実施する。
検出処理周期タイマの終了を検知すると(S2801)、カメラ制御部205から取得した障害物画像情報をカメラ検出情報格納部2082から取得し(S2802)、更に人車・車車間無線通信部206で受信した車両走行情報及び歩行者情報を他車両・歩行者情報格納部2081から取得する(S2803)。
次に車両走行情報、歩行者情報から検出した車両と歩行者、障害物画像情報から検出した車両と歩行者について、それぞれの位置情報から人車・車車間無線通信部206とカメラ制御部205の両方で検出された車両及び歩行者と、それ以外の車両及び歩行者に分類する(S2804)。このうち障害物画像情報では検出されず車両走行情報で検出された車両もしくは障害物画像情報では検出されず歩行者情報で検出された歩行者についてはドライバの目視範囲に存在しない情報であるので、安全走行情報としてナビ制御部101に送信する(S2805)。
その後、再度検出処理周期タイマを再起動する(S2806)。図23に示した状況の例では、図30に示した通り車両A401、車両B402、歩行者A601は人車・車車間無線通信部206から受信した各情報(車両走行情報、歩行者情報)とカメラ制御部205の障害物画像情報の両方で検出され、車両C403、車両D404、歩行者B602については人車・車車間無線通信部206から受信した各情報のみから検出された情報である。従って安全走行情報として車両C403と車両D404の車両情報と、歩行者B602の歩行者情報がナビ制御部101に送られる。
カメラ制御部205から障害物情報を受信した場合は(S2807)、障害物情報をカメラ検出情報格納部2082に記憶する(S2808)。
人車・車車間無線通信部206から車両走行情報もしくは歩行者情報を受信した場合は(S2809)、受信情報を他車両・歩行者情報格納部2081に記憶する(S2810)。
このように安全走行情報検出部208の処理は、検出処理周期タイマが終了した場合、障害物情報を受信した場合、車両走行情報もしくは歩行者情報を受信した場合に起動がかかりそれぞれの処理を実施する。
ナビ制御部101は、第一の実施例と同様に動作を行う。図23の例のように安全走行情報として車両C403と車両D404の車両情報と、歩行者B602の歩行者情報が安全走行情報検出部208から送られてきた場合は、図25に示す通り、自車マークと共に他車両マーク、歩行者マークを表示した地図画像を出力部102に表示し「前方交差点左側から歩行者と車が接近しています。」(音声案内2502)の音声情報を出力する。
また本実施例の場合、音声は車両C403と歩行者B602の存在をドライバに通知するための情報を出力するようにしたが、車両D404の存在をドライバに通知するための情報を出力するようにしても構わない。
次に、携帯電話装置500の車両情報処理部505が車両走行情報を受信し、歩行者情報を送信する動作について説明する。
携帯電話装置500の車両情報処理部505は、車両間無線通信部504を介して車両走行情報を受信すると(S2901)、車両間無線通信部504を通信中に設定する(S2902)。
次に受信データである車両走行情報の送信先情報を車両情報受信判定部5051が解析し、“携帯”以外であれば受信データを破棄し(S2904)処理を終了する。送信先情報が“携帯”である場合は、受信したデータが受信済みデータか否かを確認し(S2905)、既受信データの場合は破棄し(S2906)、処理を終了する。未受信データの場合は位置情報取得部506から取得した携帯電話装置500の位置情報と受信した車両走行情報から取得した位置情報(緯度・経度)から車両と携帯電話装置500の距離を算出する(S2907)。
車両との距離が予め定めた一定範囲内の距離内に存在する場合は危険領域と判定し(S2908)、表示部501に車両接近を表示するように携帯電話制御部507に要求する(S2909)。これを受けて表示部501では車両接近を示す画像表示、音声通知を行い歩行者に通知する。ここで車両接近を通知する方法として携帯電話装置500を振動させる動作を行うようにしても構わない。
次に、歩行者情報の送信タイミングを通知する歩行者情報送信周期タイマの動作開始確認を行い(S2910)未開始の場合はタイマをスタートする(S2911)。歩行者情報送信周期タイマの完了通知を受信すると(S2914)、車両間無線通信部504通信中か否かを確認し(S2915)、通信中の場合は、位置情報取得部506から携帯電話装置500の位置情報を取得し(S2916)、図22で示した歩行者情報の送信先を車両、送信元を携帯に設定し、その他の情報も設定した後、車両間無線通信部504から送信する(S2917)。
その後、歩行者情報送信周期タイマを開始する(S2918)。一定期間車両無線通信部504に車両走行情報の受信が無い場合を検出すると(S2912)、車両間無線通信部504を切断状態に設定する(S2913)。
このように携帯電話装置500の車両情報処理部505における車両走行情報及び歩行者情報の送受信処理は、人車・車車間無線通信部206からデータを受信した場合、人車・車車間無線通信部206と通信中に一定期間データ受信検出しなかった場合、歩行者情報送信周期タイマが完了した場合に起動がかかりそれぞれの処理を実施する。
以上の通り、周辺を走行する複数の車両、歩行者の中で、人車・車車間無線通信部206による無線通信にて取得した車両走行情報もしくは歩行者情報と、カメラ104で周辺状況を撮影したカメラ画像から検出した障害物画像情報から、無線通信によってのみ検出された車両走行情報もしくは歩行者情報を安全走行情報として表示することにより、運転中のドライバが目視では確認できない車両や歩行者の存在を通知することが可能になり、混雑している場所などで大量に受信した車両走行情報及び歩行者情報の中から安全走行に必要な情報を抽出することが可能になる。
本実施例では、安全走行情報検出部208が安全走行情報を検出する場合に、カメラ104で撮影した画像データからカメラ制御部204が周辺車両もしくは歩行者の存在とその位置情報を検出した障害物画像情報と、車両通信部106で受信した車両走行情報を用いたが、カメラ撮影画像の代わりにミリ波レーダによる通信機能を搭載し、周辺障害物によって反射されたミリ波を測定することにより車両もしくは歩行者の存在と自車両400からの距離を検出し、更に自車両400の位置情報から検出車両もしくは歩行者の位置情報を検出するようにしても構わない。
本発明の車載通信装置の全体構成の一実施例を示したブロック図である。
本発明の車載通信装置におけるカメラ制御部の内部構成の一実施例を示したブロック図である。
本発明の車載通信装置における車両間無線通信部の内部構成の一実施例を示したブロック図である。
本発明の車載通信装置におけるナビ制御部の内部構成の一実施例を示したブロック図である。
本発明の車載通信装置における安全走行情報検出部の内部構成の一実施例を示したブロック図である。
本発明の車載通信装置において、車載通信装置で送受信する車両走行情報の構成表及びデータフォーマットの一実施例を示す図である。
本発明の車載通信装置において、車両が周辺の車両と無線通信を行い、周辺状況のカメラ撮影を行う場合の動作状況の一実施例を示した車両検出システム動作状況図である。
本発明の車載通信装置におけるカメラが車両の周辺状況を撮影した画像の一実施例を示す図である。
本発明の車載通信装置において安全走行情報検出部で検出した車両情報を出力部のディスプレイに表示した場合の一実施例を示す図である。
本発明の車載通信装置における車両間無線通信部が車両走行情報の送受信処理を行う場合の一実施例を示すフローチャート図である。
本発明の車載通信装置におけるカメラ制御部が、カメラ撮影画像データを取得し周辺車両等障害物を検出する処理を行う場合の一実施例を示すフローチャート図である。
本発明の車載通信装置における安全走行情報検出部が、カメラ制御部が検出した障害物情報と、車両間無線通信部が受信した車両走行情報から、ドライバに通知する安全運転支援情報を抽出する場合の一実施例を示すフローチャート図である。
本発明の車載通信装置におけるナビ制御部が安全走行情報検出部から受信した安全運転支援情報を表示出力し、また自車両走行情報を取得し車両間無線通信部へ送信要求する場合の一実施例を示すフローチャート図である。
本発明の車載通信装置における安全走行情報検出部が図7の状況において周辺走行する車両を検出した結果の一実施例を示す図である。
本発明の車載通信装置においてナビ制御部の動作優先順位を定めた安全走行情報優先処理順位テーブルの一実施例を示す図である。
本発明の車載通信装置の全体構成の一実施例を示したブロック図である。
本発明の車載通信装置におけるカメラ制御部の内部構成の一実施例を示したブロック図である。
本発明の車載通信装置における人車・車両間無線通信部の内部構成の一実施例を示したブロック図である。
本発明の車載通信装置における安全走行情報検出部の内部構成の一実施例を示したブロック図である。
本発明の車載通信装置から送信される車両走行情報を受信し、自装置の位置情報や移動方向を示す歩行者情報を周辺車両に送信する携帯電話装置の全体構成の一実施例を示したブロック図である。
本発明の車載通信装置において車載通信装置で送受信する車両走行情報の構成表及びデータフォーマットの一実施例を示す図である。
本発明の車載通信装置と通信を行う携帯電話装置において送信する歩行者情報の構成表及びデータフォーマットの一実施例を示す図である。
本発明の車載通信装置において、車両が周辺の車両及び歩行者が所持する携帯電話と無線通信を行い、周辺状況のカメラ撮影を行う場合の動作状況の一実施例を示した車両検出システム動作状況図である。
本発明の車載通信装置におけるカメラが車両の周辺状況を撮影した画像の一実施例を示す図である。
本発明の車載通信装置において安全走行情報検出部で検出した車両及び歩行者情報を出力部のディスプレイに表示した場合の一実施例を示す図である。
本発明の車載通信装置における人車・車車間通信部が車両走行情報の送受信処理及び歩行者情報の受信処理を行う場合の一実施例を示すフローチャート図である。
本発明の車載通信装置におけるカメラ制御部が、カメラ撮影画像データを取得し周辺車両・歩行者等障害物を検出する処理を行う場合の一実施例を示すフローチャート図である。
本発明の車載通信装置における安全走行情報検出部が、カメラ制御部が検出した障害物情報と、人車・車車間無線通信部が受信した車両走行情報及び歩行者情報から、ドライバに通知する安全運転支援情報を抽出する場合の一実施例を示すフローチャート図である。
本発明の車載通信装置から送信される車両走行情報を受信し、自装置の位置情報や移動方向を示す歩行者情報を周辺車両に送信する携帯電話装置における車両情報処理部の車両間通信処理の一実施例を示す図である。
本発明の車載通信装置における安全走行情報検出部が図23の状況において周辺走行する車両及び歩行者を検出した結果の一実施例を示す図である。
符号の説明
100:車載通信装置
101:ナビ制御部
102:出力部
103:入力部
104:カメラ
105:カメラ制御部
106:車両間無線通信部
107:アンテナ
108:安全走行情報検出部
200:車載通信装置
205:カメラ制御部
206:人車・車車間無線通信部
208:安全走行情報検出部
400:車両
401:車両A
402:車両B
403:車両C
404:車両D
500:携帯電話装置
501:表示部
502:操作部
503:携帯電話無線通信部
504:車両間無線通信部
505:車両情報処理部
506:位置情報取得部
507:携帯電話制御部
601:歩行者A
602:歩行者B
701:通信エリア
702:撮影エリア
703:建物
800:カメラ撮影画像
801:距離A
802:距離B
901:ナビ表示画像
902:音声案内
1011:加速度センサ
1012:GPS
1013:ジャイロ
1014:地図情報記憶部
1015:車両情報取得部
1016:安全走行情報格納部
1017:制御部
1051:カメラ画像取得部
1052:周辺車両検出部
1053:障害物データベース
1061:送信部
1062:受信部
1063:スイッチ
1064:車両間通信処理部
1081:他車両走行情報格納部
1082:カメラ検出情報格納部
1083:検出情報判定部
2051:カメラ画像取得部
2052:周辺車両歩行者検出部
2053:障害物データベース
2061:送信部
2062:受信部
2063:スイッチ
2064:人車・車車間通信処理部
2081:他車両・歩行者情報格納部
2082:カメラ検出情報格納部
2083:検出情報判定部
2301:通信エリア
2302:撮影エリア
2400:カメラ撮影画像
2401:距離A
2402:距離B
2403:距離C
2501:ナビ表示画像
2502:音声案内
5051:車両情報受信判定部