JP5053776B2 - 車両用視界支援システム、車載装置、及び、情報配信装置 - Google Patents

Description

本発明は、交差点に接近する車両に、ドライバの前方視界のうち死角領域の状況を表す画像を配信することにより、ドライバの運転支援を行う車両用視界支援システム、車載装置、及び、情報配信装置に関する。

従来より、建物や壁などの視界遮蔽物が存在することにより左右が確認しにくい交差点に接近している車両（以下、対象車両という）に、ドライバから死角となる領域（以下、死角領域という）の現在状況を表す死角画像を配信することにより、ドライバの運転支援を行う車両用視界支援システムが知られている。

この種の車両用視界支援システムは、死角領域を撮像するように配置されたカメラ（以下、交差点カメラという）と、対象車両と通信可能となるように配置された光ビーコンとを備え、交差点カメラにより撮像された死角画像を、光ビーコンを介して対象車両に配信する情報配信装置と、配信を受ける対象車両に搭載され、配信される死角画像を受信する受信機と、死角画像を車内で表示する表示装置とを備える車載装置とにより構成されている（例えば、特許文献１参照）。
特開２００３−１０９１９９号公報

しかし、従来の車両用視界支援システムでは、車載装置に設けられた表示装置により、死角領域の現在状況を表す死角画像が表示されるものの、この死角画像は、ドライバの視点とは異なる交差点カメラの視点によるものであるため、死角画像に映し出された他車両や人などの物体と、自車両との位置関係を、ドライバに直観的に把握させることができないという問題があった。

本発明は、上記問題点を解決するために、交差点に接近する車両のドライバに、前方視界における死角領域の現在状況を直観的に認識させることが可能な車両用視界支援システム、車載装置、及び、情報配信装置を提供することを目的とする。

上記の目的を達成するためになされた発明である請求項１に記載の車両用視界支援システムは、路車間通信によりドライバの運転支援を行うための情報配信装置および車載装置から構成される。

このうち、車載装置では、前方撮像手段が、当該車載装置が搭載されて交差点に接近する車両（以下、対象車両という）のドライバの現在状況を表す前方画像を撮像し、車載側送信手段が、前方撮像手段により撮像した前方画像と、その前方撮像手段の内部パラメータ及び外部パラメータとを含む車両情報を送信する。
一方、情報配信装置では、死角画像取得手段が、対象車両のドライバの前方視界のうち死角領域の現在状況を表す画像（以下、死角画像という）を撮像する死角撮像手段から、その死角画像と、死角画像撮像手段の内部パラメータ及び外部パラメータとを含む死角情報を取得し、配信側受信手段が、車載側送信手段から送信される車両情報を受信する。

また、情報配信装置では、画像生成手段が、配信側受信手段により受信した車両情報に含まれる前方撮像手段の内部パラメータ及び外部パラメータと、死角画像取得手段にて取得した死角情報に含まれる死角撮像手段の内部パラメータ及び外部パラメータとに基づいて、車両情報に含まれる前方画像と、死角情報に含まれる死角画像とを、視点変換によって、予め設定された同一の仮想視点から見た画像に変換し、この視点変換後の各画像、即ち、視点変換後の前方画像および死角画像を合成することにより、合成画像を生成する。さらに、配信側送信手段が、画像生成手段により生成された合成画像を送信する。

そして、車載装置では、車載側受信手段が、配信側送信手段から送信される合成画像を受信し、画像表示手段が、情報受信手段により受信した合成画像を表示する。

したがって、本発明の車両用視界支援システムによれば、情報配信装置の画像生成手段により生成される合成画像は、対象車両のドライバからの前方視界を表す前方画像と、死角領域を表す死角画像とが、同一の視点に変換されて合成されたものであるため、直観的に認識しやすい合成画像を、対象車両のドライバに提供することができる。

また、本発明の車両用視界支援システムによれば、情報配信装置が画像の視点変換および合成を行うため、車載装置の処理負荷を軽減することができる。
さらに、本発明の車両用視界支援システムによれば、情報配信装置の画像生成手段により、前方視界の現在状況を反映した（例えば、運転中のドライバの実際の前方視界に近い）合成画像が生成されるため、より違和感のない画像を、対象車両のドライバに提供することができる。
なお、請求項２に記載のように、情報配信装置の画像生成手段にて、前方画像の視点、即ち、対象車両のドライバからの視点を仮想視点として用いることが望ましい。

このように構成された車両用視界支援システムによれば、情報配信装置の画像生成手段により生成される合成画像は、運転中の対象車両のドライバからの視点に変換されて合成されたものであるため、より直観的に認識しやすい合成画像を、対象車両のドライバに提供することができる。

さらに、請求項３に記載のように、情報配信装置の画像生成手段は、対象車両のドライバからの視点に変換された死角画像が透かし画像となるように、各画像を合成することが望ましい。

なお、画像が透かし画像となるように各画像を合成（即ち、透過合成）する方法としては、例えば、周知の重み付け合成による方法を用いればよい。また、各画像を透過合成する際に、周知の拡大・縮小処理や、輪郭強調処理、色変換（ＹＵＶ→ＲＧＢ変換など）・増色・減色処理などを施してもよい。

このように構成された車両用視界支援システムによれば、視認性のよい合成画像を、対象車両のドライバに提供することができる。
そして、請求項４に記載のように、情報配信装置の部分抽出手段が、死角画像取得手段により取得した死角画像から、この死角画像に映し出される車両や人などの危険性の高い物体を含む部分を表す画像（以下、部分死角画像という）を抽出し、画像生成手段が、部分抽出手段により抽出した部分死角画像と前方画像とを合成してもよい。なお、危険性の高い物体とは、対象車両が建物などの静止している物体に比べて衝突する可能性が高い物体を意味する。

このように構成された車両用視界支援システムによれば、情報配信装置が合成画像を生成するための画像処理における処理負担を軽減することができると共に、合成画像に映し出される車両や人などの危険性の高い物体を含む画像部分へドライバの注意を容易に向けさせることができる。

さらに、請求項５に記載のように、情報配信装置の部分抽出手段が、死角画像取得手段により過去に取得した死角領域の背景を表す背景画像と、死角画像取得手段により取得した死角画像（即ち、死角領域の現在状況を表す画像）との差分を表す画像（以下、差分画像）を抽出し、画像生成手段が、部分抽出手段により抽出した差分画像と前方画像とを合成してもよい。

このように構成された車両用視界支援システムによれば、情報配信装置で合成画像を生成する際に実行する画像処理の処理負担をさらに軽減することができる。なお、各画像を合成する際に、差分画像に対して、周知の輪郭強調処理や増色処理などを施すことにより、合成画像に映し出される車両や人などの危険性の高い物体へドライバの注意をさらに容易に向けさせることができる。

また、請求項６に記載のように、情報配信装置の画像生成手段にて、死角画像に映し出された対象物体と、対象車両の現在位置とを含む領域内を交差点の上方から俯瞰する視点を、仮想視点として用いてもよい。なお、対象車両の現在位置を表す情報は、情報配信装置の車両情報受信手段により、路上に設置された各種のセンサを介して間接的に受信してもよいし、交差点に接近中の対象車両を介して直接的に受信してもよい。

このように上方からの俯瞰視点の画像を提供する場合、死角領域に存在する車両や人などの危険性の高い物体と、自車両との相対的な位置関係（距離，方位）を、より直観的にドライバに認識させることができる。

ちなみに、情報配信装置の死角画像取得手段は、死角撮像手段として交差点付近に配置されたカメラ等から死角画像を取得してもよいし、請求項７に記載のように、死角撮像手段として死角領域に向かって走行中の車両（情報提供車両）に搭載されたカメラ等から死角画像を取得してもよい。

ところで、車載装置の情報表示手段は、情報受信手段により受信した合成画像を表示するが、対象車両が交差点に進入する直前に合成画像を表示してしまうと、ドライバの目視による最終的な安全確認が疎かになる可能性がある。

そこで、請求項８に記載のように、本発明の車両用視界支援システムでは、対象車両が交差点に対して予め設定された距離内に位置する場合に、表示禁止手段が、車載装置の画像表示手段による合成画像の表示を禁止することが望ましい。

このように構成された本発明の車両用視界支援システムによれば、対象車両が交差点に対して所定の距離内の位置に差し掛かる時には、そこではドライバが合成画像による安全確認ができないため、必然的に目視による安全確認をドライバに促すことができる。

なお、請求項９に記載のように、本発明の車両用視界支援システムにおける表示禁止手段は、例えば、情報配信装置の合成禁止手段が、配信側受信手段により受信した車両情報に基づいて、対象車両が交差点に対して予め設定された距離内に位置する場合に、画像生成手段による合成画像の生成を禁止することで実現されてもよい。

さらに、請求項１０に記載のように、本発明の車両用視界支援システムにおいて、情報配信装置の配信側送信手段が、合成禁止手段により合成画像を生成する処理を禁止した場合に、合成画像の代わりに、対象車両のドライバに対して目視を促すための警告画像を送信し、車載装置の画像表示手段が、車載側受信手段により警告画像を受信した場合に、受信した警告画像を表示するとよい。

このように構成された車両用視界支援システムによれば、対象車両が交差点に対して所定の距離内の位置に差し掛かると、車載装置の画像表示手段が警告画像を表示するため、ドライバに対して目視による安全確認をより促すことができる。

また、請求項１１に記載のように、本発明の車両用視界支援システムにおいて、情報配信装置と車載装置とは、以下のような路車間通信を行うことが望ましい。
即ち、車載装置では、車載側送信手段が、情報配信装置と通信可能な領域に位置しているか否かを確認するために予め設定された照合信号を送信し、情報配信装置では、この照合信号を、配信側受信手段を介して受信した場合に、応答手段が、配信側送信手段を介して、予め設定された応答信号を送信する。そして、車載装置は、この応答信号を、車載側受信手段を介して受信した場合に、車載側送信手段を介して車両情報を送信する。

この場合、本発明の車両用視界支援システムによれば、車載装置は、情報配信装置と通信可能な領域に位置している間だけ車両情報を送信するため、自装置の制御負担を軽減することができる。

さて、車載装置の車載側送信手段が送信する車両情報、及び、情報配信装置の死角画像取得手段が取得する死角情報には、情報配信装置の画像生成手段にて死角画像および前方画像の視点変換を行う際に使用される撮像情報が含まれている。

そして、車両情報に含まれる撮像情報には、車載装置の前方撮像手段の内部パラメータが含まれている必要がある。また、死角情報に含まれる撮像情報には、死角撮像手段の内部パラメータが含まれている必要がある。これらの各情報は対応する画像の視点変換時に必要となる情報で、内部パラメータには、前方撮像手段または死角撮像手段が画像を撮像する焦点距離や画角、画素数などが含まれている（請求項１２，１３）。

さらに、車両情報に含まれる撮像情報には、車載装置の前方撮像手段の外部パラメータが含まれている必要がある。また、死角情報に含まれる撮像情報には、死角撮像手段の外部パラメータが含まれている必要がある。これらの各情報は対応する画像の視点変換時に必要となる情報で、外部パラメータには、前方撮像手段または死角撮像手段が画像を撮像する向きを表す向き情報と、前方撮像手段が画像を撮像する位置を表す位置情報とが含まれている（請求項１２，１３）。

なお、前方撮像手段の外部パラメータの取得には、例えば、ナビゲーション装置などに搭載された周知のジャイロセンサや地磁気センサ、ＧＰＳ受信機を利用すればよく、具体的には、ジャイロセンサや地磁気センサにより取得した対象車両の向きに基づいて、カメラの姿勢（即ち、向き情報）を算出し、ＧＰＳ受信機により取得した対象車両の現在位置、及び、対象車両上のカメラの設置位置に基づいて、カメラの位置（即ち、位置情報）を算出すればよい。

また、死角撮像手段の内部パラメータと外部パラメータは、設置の際に予め求めておくこともできる。
これにより、前方画像と死角画像それぞれの内部パラメータと外部パラメータの情報が得られ、２つのカメラの位置関係が分かるため、例えば、死角画像を前方画像の視点に視点変換することも可能となる（例えば、出口光一郎著『ロボットビジョンの基礎』（コロナ社）２０００年、ｐｐ１２−２４参照）。

なお、請求項１４に記載のように、車載側送信手段および車載側受信手段は、無線信号を送信および受信可能に構成されており、配信側送信手段および配信側受信手段は、無線信号を送信および受信可能に構成されている。そして、車載側送信手段と配信側受信手段との間の信号、及び、配信側送信手段と車載側受信手段との間の信号の送受信は、上記無線信号によってなされる。

さて、請求項１５に記載の車載装置は、本発明の車両用視界支援システムを構成する場合に好適に用いられる。

なお、請求項１６に記載の情報配信装置は、本発明の車両用視界支援システムを構成する場合に好適に用いられる。

以下に本発明の実施形態を図面と共に説明する。
図１は、本発明が適用された車両用視界支援システムの構成を示したブロック図である。

＜車両用視界支援システムの構成＞
図１に示すように、車両用視界支援システム１は、路車間通信により、交差点に接近する車両（以下、対象車両という）のドライバの運転支援を行うためのものであり、路側に設置された情報配信装置２０と、車側に搭載された車載装置１０とから構成されている。

＜車載装置の構成＞
車載装置１０は、ドライバの前方視界に近い画像を撮像するように自車両の前方部（例えば、フロントバンパ）に配置された車載カメラ（例えば、ＣＣＤカメラ）１１と、自車両の現在位置および進行方向を検出する位置検出器１２と、外部との間で無線信号にて通信可能な外部通信機１３と、ユーザからの各種指示を入力するための操作スイッチ群１４と、各種画像を表示するための表示部１５と、各種のガイド音声などを出力するための音声出力部１７と、車載カメラ１１，位置検出器１２，外部通信機１３，操作スイッチ群１４からの入力に応じて各種処理を実行し、外部通信機１３，表示部１５，音声出力部１７を制御する制御部１６とを備えている。

このうち、位置検出器１２は、ＧＰＳ（Global Positioning System）用の人工衛星からの電波を図示しないＧＰＳアンテナを介して受信してその受信信号を出力するＧＰＳ受信機１２ａと、車両に加えられる回転運動の大きさを検出するジャイロスコープ１２ｂと、地磁気から車両の進行方位を検出するための地磁気センサ１２ｃとを備えている。

なお、表示部１５は、カラー表示装置であり、周知の半透過型の液晶ディスプレイ，一般的な液晶ディスプレイ，有機ＥＬディスプレイ，ＣＲＴ，ヘッドアップディスプレイなどがあるが、そのいずれを用いてもよい。また、表示部１５は、ドライバの視認しやすい位置に配置され、例えば、半透過型の液晶ディスプレイを用いる場合には、フロントガラス，サイドガラス，サイドミラー，ルームミラーのいずれに配置されてもよい。さらに言えば、表示部１５は、当該装置に専用のものを設けてもよいし、ナビゲーション装置など、他の車載装置のために既に設置されているものを使用してもよい。

制御部１６は、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ及びこれらの構成要素を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されており、このうち、ＲＯＭには、車載カメラ１１の特性を表す内部パラメータＳＰ１（即ち、レンズの焦点距離，画角，画素数）と、自車両の前方向に対する車載カメラ１１の相対的な向き、及び、平均的なドライバの目の位置に対する車載カメラ１１の相対的な高さを表す相対情報ＳＩとが格納されている領域がある。また、制御部１６は、ＲＯＭに記憶されたプログラムに基づいて、以下の車側制御処理を実行する。

＜車側制御処理＞
ここで、車載装置１０の制御部１６が実行する車側制御処理を、図２に示すフローチャートに沿って詳しく説明する。なお、本実施形態の車側制御処理は、操作スイッチ群１４を介して、ユーザから本処理を起動するための指示が入力された場合に実行される。

まず、Ｓ１１０では、自車両が情報配信装置２０と通信可能な領域に位置しているか否かを確認するために、予め設定された自車両の識別コードＳＤ１が付与された照合信号を、外部通信機１３を介して送信する。

続くＳ１２０では、Ｓ１１０にて送信した照合信号に対する情報配信装置２０からの応答であることを示す識別コードＳＤ２が付与された応答信号を、外部通信機１３を介して受信したか否かを判断し、肯定判断した場合にはＳ１３０に進み、否定判断した場合にはそのまま待機する。

Ｓ１３０では、位置検出器１２からの検出結果に基づいて、自車両の現在位置および進行方向を表す位置情報ＳＮ１及び向き情報ＳＮ２を生成する。
続くＳ１４０では、Ｓ１３０にて生成された位置情報ＳＮ１及び向き情報ＳＮ２と、車載カメラ１１により実時間に撮像された画像を表す前方画像データ（図７（ａ）参照）と、制御部１６のＲＯＭに格納されている内部パラメータＳＰ１及び相対情報ＳＩとを含む車両情報Ｓを生成する。

続くＳ１５０では、Ｓ１４０にて生成された車両情報Ｓを、応答信号に対する送信であることを示す識別コードＳＤ３と共に、外部通信機１３を介して送信する。
続くＳ１６０では、Ｓ１５０にて送信した車両情報Ｓに対する情報配信装置２０からの応答であることを示す識別コードＳＤ４共に、後述する配信画像データを、外部通信機１３を介して受信したか否かを判断し、肯定判断した場合にはＳ１７０に進み、否定判断した場合にはそのまま待機する。

Ｓ１７０では、Ｓ１６０にて受信した配信画像データに含まれる画像を表示部１５に表示し、再びＳ１１０に戻る。
＜情報配信装置２０の構成＞
図１に戻り、情報配信装置２０は、交差点に至る道路のうち死角領域を常時撮像するための交差点カメラ群２１と、外部との間で無線信号にて通信可能な外部通信機２２と、交差点カメラ群２１，外部通信機２２から入力される情報に基づいて、各種処理を実行すると共に、対象車両に配信するための合成画像を生成する画像処理サーバ３０とを備えている。

このうち、交差点カメラ群２１は、図３に示すように、複数のカメラからなり、ある方向から交差点に向かって走行中の車両のドライバから視界遮蔽物によって死角となる領域（以下、死角領域という）を、異なる方向から撮像することにより、広範囲の死角領域が撮影できるように構成されている。なお、図３では、説明の便宜上、一つの死角領域と、一つの死角領域を撮像する交差点カメラ群２１とを図示しているが、実際には死角領域は交差点付近に複数存在し、この複数の死角領域を交差点カメラ群２１は撮像するように構成されている。

また、交差点カメラ群２１の各カメラが実時間で撮像した画像データ（以下、死角画像データという）は、画像処理サーバ３０に随時送信される。なお、交差点カメラ群２１は、光ファイバケープル等により画像処理サーバ３０と有線で接続されていてもよいし、指向性通信などの通信方式により画像処理サーバ３０と無線で通信可能となるように通信機を備えていてもよい。

＜画像処理サーバ３０の構成＞
図４は、本発明が適用された情報配信装置が有する画像処理サーバの構成を示したブロック図である。なお、画像処理サーバは、コンピュータを主要部とする画像データ等の処理を行う電子制御装置であり、機能的構成として以下の構成を有する。

図４に示すように、画像処理サーバ３０は、交差点カメラ群２１により過去に撮像され、車両や人などの物体が撮像されずに建物や道路などの背景が撮像されている死角領域を表す背景画像データなどを記憶する画像記憶部３１と、交差点カメラ群２１から受信する死角画像データや、外部通信機２２を介して受信する車両情報Ｓ及び各種信号を一時的に格納する情報保持部３２と、情報保持部３２に格納される死角画像データからこの死角画像データに映し出される車両や人などの物体を含む部分を表す部分死角画像を抽出する画像抽出部３３と、外部通信機２２を介して受信する車両情報Ｓに基づき、この車両情報Ｓに含まれている前方画像データと、画像抽出部３３にて抽出された部分死角画像データとを、対象車両のドライバから見た画像データに視点変換を行う画像変換部３４と、画像変換部３４にて視点変換された各画像データを合成する画像合成部３５と、これら各部３１〜３５を制御する制御部３６とを備えている。

このうち、画像記憶部３１は、背景画像データと共に、対象車両のドライバに対して目視を促すための警告画像データを記憶している。
制御部３６は、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ及びこれらの構成要素を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されており、このうち、ＲＯＭには、交差点カメラ群２１の各カメラの特性を表す内部パラメータＣＰ１（即ち、レンズの焦点距離，画角，画素数）と、交差点カメラ群２１の各カメラの位置および向きを表す位置情報ＣＮ１および向き情報ＣＮ２からなる外部パラメータＣＰ２とが格納されている領域がある。また、制御部３６は、ＲＯＭに記憶されたプログラムに基づいて、後述する路側制御処理を実行する。

なお、画像変換部３４が行う視点変換は、例えば、以下のように、周知のカメラパラメータを用いた方法により行われる。
具体的には、まず（１）に示すように、画像を撮像するカメラの特性を表す内部パラメータＡは、カメラの焦点距離ｆ、画角および画素数に基づいて得られる２次元座標Ｍの画像中心（ｕ０，ｖ０）、画像の実質的な縦横の大きさの逆数であるスケールファクタｋｕ，ｋｖ、２次元座標Ｍの座標軸が空間的になす角度φからなる３次元行列で表される（例えば、出口光一郎著『ロボットビジョンの基礎』（コロナ社）２０００年、ｐｐ１２−２４参照）。

次に、（２）式に示す関係を利用して、内部パラメータＡに基づき、実空間中の３次元座標Ｘは画像上の２次元座標Ｍに変換される。

そして、（３）式に示す関係を利用して、二つの画像を撮像した各カメラの内部パラメータＡ１，Ａ２と、カメラの向きを表す向き情報ＳＮ１，ＣＮ１、及び、カメラの位置を表す位置情報ＳＮ２，ＣＮ２から得られる各カメラの回転パラメータＲ１、Ｒ２及び並進パラメータＴ１、Ｔ２に基づき、一方の画像（２次元座標Ｍ２）は、他方の画像（２次元座標Ｍ１）を撮像したカメラからの視点に変換される（例えば、出口光一郎著『ロボットビジョンの基礎』（コロナ社）２０００年、ｐｐ２７−３１参照）。

＜路側制御処理＞
ここで、情報配信装置２０の制御部３６が実行する路側制御処理を、図５に示すフローチャートに沿って詳しく説明する。

まず、Ｓ２１０では、車載装置１０から送信される照合信号を、外部通信機２２を介して受信したか否かを判断し、肯定判断した場合にはＳ２１５に進み、否定判断した場合にはそのまま待機する。

Ｓ２１５では、Ｓ２１０にて受信した照合信号に含まれている識別コードＳＤ１に基づいて、情報配信装置２０からの応答であることを示す識別コードＳＤ２を生成し、この識別コードＳＤ２が付与された応答信号を、外部通信機２２を介して送信する。

続くＳ２２０では、車載装置１０から送信される車両情報Ｓ及び識別コードＳＤ３を、外部通信機２２を介して受信したか否かを判断し、肯定判断した場合にはＳ２２５に進み、否定判断した場合にはそのまま待機する。なお、受信した車両情報Ｓは、交差点カメラ群２１から受信する死角画像データと共に、情報保持部３２に格納される。

Ｓ２２５では、Ｓ２２０にて受信した車両情報Ｓに含まれている位置情報ＳＮ１に基づいて、対象車両が交差点に対して予め設定された距離内に位置するか否かを判断し、肯定判断した場合にはＳ２３０に進み、否定判断した場合にはＳ２３５に進む。

Ｓ２３０では、対象車両に配信するための配信画像データを、画像記憶部３１に記憶されている警告画像データに設定して、Ｓ２７５に進む。
一方、Ｓ２３５では、画像記憶部３１に記憶されている背景画像データと、情報保持部３２に格納された死角画像データとの差分を表す差分画像データを、画像抽出部３３に抽出させる。

続くＳ２４０では、Ｓ２３５にて抽出した差分画像データに、車両や人などの物体（以下、対象物体という）が映し出されているか否かを判断し、肯定判断した場合にはＳ２４５に進み、否定判断した場合にはＳ２５０に進む。

Ｓ２４５では、情報保持部３２に格納されている死角画像データから、差分画像データに映し出されている対象物体を含むように、予め設定されたサイズ（以下、設定サイズという）で切り取られた部分死角画像データを、画像抽出部３３に抽出させる。

一方、Ｓ２４０にて差分画像データに対象物体が映し出されていないと判断した場合に進むＳ２５０では、情報保持部３２に格納されている死角画像データから、死角領域の中心位置を含むように設定サイズで切り取られた部分死角画像データを、画像抽出部３３に抽出させる。

このようにして、画像抽出部３３では、画像記憶部３１に記憶される背景画像データと、情報保持部３２に格納される死角画像データとに基づいて、部分死角画像データが抽出される。

続くＳ２６０では、制御部３６のＲＯＭに格納されている内部パラメータＣＰ１，外部パラメータＣＰ２と、Ｓ２２０にて受信した車両情報Ｓに含まれている内部パラメータＳＰ１，位置情報ＳＮ１，向き情報ＳＮ２とに基づいて、画像抽出部により抽出された部分死角画像データを、情報保持部３２に格納された前方画像データを撮像したカメラからの視点に変換する視点変換を、画像変換部３４に行わせる。

続くＳ２６５では、画像変換部３４により視点変換された部分死角画像データと、情報保持部３２に格納された前方画像データとを、このうち部分死角画像データが透かし画像となるように、以下のような周知の重み付け合成による方法により、画像合成部３５に合成させて、合成画像データを生成させる（図７（ｂ）参照）。

即ち、部分死角画像データの画素値αに対する重み（透過係数Ｔα；但し、０＜Ｔα＜１）を予め設定しておき、画素値αに透過係数Ｔαを乗じたものと、前方画像データの画素値βに透過係数Ｔβ（＝１−Ｔα）を乗じたものとを加算したものを、合成画像データの画素値γとして、各画像データを合成する。なお、部分死角画像データと前方画像データとを合成する際に、各画像に対して、周知の拡大・縮小処理や、輪郭強調処理、色変換（ＹＵＶ→ＲＧＢ変換など）・増色・減色処理などを施してもよい。

続くＳ２７０では、対象車両に配信するための配信画像データを、画像合成部３５により生成された合成画像データに設定して、Ｓ２７５に進む。
Ｓ２７５では、Ｓ２３０又はＳ２７０にて設定された配信画像データを、車両情報Ｓに対する応答であることを示す識別コードＳＤ４と共に、外部通信機２２を介して送信し、Ｓ２１０に戻る。

＜動作＞
次に、車両用視界支援システム１の動作を、図６に示すシーケンス図に沿って説明する。

まず、車載装置１０は、ユーザから車側制御処理を起動するための指示を受け付けると、図６に示すように、周期的に照合信号を送信する。なお、この照合信号には、車側制御処理によって対象車両から送信された信号であることを示す識別コードＳＤ１が付与される。

次に、この照合信号を受信した情報配信装置２０は、応答信号を返送する。なお、この応答信号には、受信した照合信号の識別コードＳＤ１に、この照合信号に対する応答であることを示す付加コードＡ１を付加した識別コードＳＤ２が付与される。

そして、この応答信号を受信した車載装置１０は、情報要求信号を送信する。なお、この情報要求信号は、受信した応答信号の識別コードＳＤ２に、この応答信号に対する送信であることを示す付加コードＡ２を付加した識別コードＳＤ３と、車両情報Ｓとからなる。

さらに、この情報要求信号を受信した情報配信装置２０は、情報配信信号を送信する。なお、この情報配信信号は、受信した車両情報Ｓに対する応答であることを示す付加コードＡ３を付加した識別コードＳＤ４と、配信画像データとからなる。

このようにして、車両用視界支援システム１において、車載装置１０は、識別コードＳＤ１，ＳＤ２により、情報配信装置２０と通信可能な領域に自車両が位置していることを確認し、情報配信装置２０は、識別コードＳＤ３，ＳＤ４により、車両情報Ｓの配信元である対象車両に対して配信画像データを配信している。

なお、上記実施形態において、情報保持部３２が死角画像取得手段、Ｓ２１０，Ｓ２１５，Ｓ２２０が配信側受信手段、Ｓ２６０〜Ｓ２７０が画像生成手段、Ｓ２７５が配信側送信手段、Ｓ１２０，Ｓ１６０が車載側受信手段、表示部１５が画像表示手段、画像抽出部３３が部分抽出手段、Ｓ２２５が表示禁止手段および合成禁止手段、車載カメラ１１が前方撮像手段、交差点カメラ群２１が死角撮像手段、Ｓ１４０が前方画像取得手段、Ｓ１１０，Ｓ１５０が車載側送信手段の各一例にそれぞれ相当する。

＜本実施形態の効果＞
以上説明したように、本実施形態の車両用視界支援システム１において、情報配信装置２０は、交差点カメラ群２１により撮像される死角画像データを前方画像データからの視点に変換して、視点変換された死角画像データと前方画像データとを合成することにより得られる合成画像データを生成し、この合成画像データを車載装置１０に送信する。

したがって、本実施形態の車両用視界支援システム１によれば、情報配信装置２０により生成される合成画像データは、対象車両のドライバからの視点に変換されて合成されたものであるため、直観的に認識しやすい合成画像を、対象車両に配信することができる。

また、本実施形態の車両用視界支援システム１によれば、情報配信装置２０が画像データの視点変換および合成を行うため、車載装置１０の処理負荷を軽減することができる。
さらに、情報配信装置２０は、交差点カメラ群２１及び車載カメラ１１の内部パラメータＣＰ１，ＳＰ１と、交差点カメラ群２１の外部パラメータＣＰ２と、対象車両の位置情報ＳＮ１及び向き情報ＳＮ２とに基づいて、画像データの視点変換および合成を行う。

このため、車両用視界支援システム１によれば、配信する画像の視点変換および合成を精度よく行うことができる。
そして、情報配信装置２０は、対象車両の位置情報ＳＮ１に基づいて、対象車両が交差点に対して予め設定された距離内に位置する場合には、合成画像データの代わりに、ドライバに対して目視を促すための警告画像データを対象車両に配信する。

したがって、車両用視界支援システム１によれば、対象車両が交差点に対して所定の距離内の位置に差し掛かると、警告画像データが配信されるため、ドライバに対して目視による安全確認を促すことができる。

［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態では、対象車両の位置情報ＳＮ１及び向き情報ＳＮ２に基づいて、部分死角画像データを、前方画像データを撮像したカメラからの視点に変換して、視点変換された部分死角画像データと前方画像データとを合成しているが、これに限定されるものではない。

具体的には、対象車両の進行方向に対する車載カメラ１１の相対的な向き、及び、ドライバの目の位置に対する車載カメラ１１の相対的な高さ（即ち、車両情報Ｓに含まれている相対情報ＳＩ）に基づいて、部分死角画像データ及び前方画像データを対象車両のドライバからの視点に変換して、視点変換された各画像データを合成してもよい。

この場合、情報配信装置２０は、ドライバの前方視界をより反映した合成画像データを生成するため、より違和感のない画像を対象車両のドライバに提供することができる。
なお、車載装置１０が、対象車両の位置情報ＳＮ１及び向き情報ＳＮ２と、相対情報ＳＩとに基づいて、車載カメラ１１の位置および向きを表す情報を生成して、生成した情報を含む車両情報Ｓを、情報配信装置２０に送信してもよい。

また、部分死角画像データの代わりに、路側制御処理のＳ２３５で抽出される差分画像データを、前方画像データを撮像したカメラからの視点に変換して、視点変換された差分画像データと前方画像データとを合成してもよい。また、各画像データの合成の際に、差分画像データに対して、周知の輪郭強調処理や増色処理などを施してもよい。さらに言えば、部分死角画像データを生成せずに、死角画像データをそのまま視点変換して前方画像データと合成してもよいし、差分画像データで抽出された対象物体を強調し、その他の背景を薄くした死角画像データを生成して前方画像データと合成してもよい。

或いは、死角画像データに映し出される車両や人などと、対象車両の現在位置とを含む領域内を、交差点の上方から俯瞰した視点に、各画像データを変換して、視点変換された各画像データを合成（即ち、鳥瞰画像を生成）してもよい。なお、交差点カメラ群２１及び車載カメラ１１で撮像した画像を変換して鳥瞰画像を生成する処理は、公知技術であるので、詳しい説明は省略する。

この際、情報配信装置２０は、図８に示すように、対象車両の位置情報ＳＮ１に基づいて、対象車両の現在位置を示すマークを鳥瞰画像に合成してもよい。さらに言えば、死角画像データに映し出される物体の代わりに、車両や人などを示すマークを鳥瞰画像に合成してもよい。

このように構成された車両用視界支援システム１によれば、死角領域に存在する他車両や人などの物体と、自車両との相対的な位置関係（距離，方位）を、より直観的にドライバに認識させることができる。

また、図９に示すように、画像処理サーバ３０は、複数の死角領域を常時撮像するために、交差点付近の複数のポイントに設置された交差点カメラ群２１により撮像される各死角画像データを受信してもよいし、死角領域に向かって走行中の車両に搭載された車載カメラにより撮像される死角画像データを受信してもよい。

そして、車側制御処理は、ナビゲーション装置による周知のナビゲーション処理と並列して実行され、情報配信装置２０から送信される配信画像データを受信した時に、表示部１５にナビゲーション画面から鳥瞰画像などの合成画像に表示を切り替えるようにしてもよい。

さらに言えば、ドライバの前方視界に近い前方画像を撮像するために、交差点に向かって走行する対象車両が通過するポイントに、センサ，カメラ，及び送信機を設置して、センサが対象車両を検出した時に撮像された前方画像を、送信機を介して画像処理サーバ３０に送信してもよい。

この場合、車載装置１０の装置構成から車載カメラ１１を省略することができると共に、車側制御処理で周期的に照合信号を送信しなくて済むため、車載装置１０の処理負荷を軽減することができる。

また、情報配信装置２０は、対象車両の現在位置に応じた音声データを、配信画像データと共に送信してもよい。具体的には、車両情報Ｓに含まれている位置情報ＳＮ１に基づいて、交差点から対象車両の現在位置までの距離を報知するための音声データや、路側制御処理で合成画像データを生成するまでに要した時間に基づいて、対象車両に配信される配信画像データが、いつ撮像された死角画像データ及び前方画像データに対応しているかを表す音声データなどを送信すればよい。なお、この音声データを受信した車載装置１０は、音声データに基づく報知を音声出力部１７に出力させればよい。

車両用視界支援システムの構成を示すブロック図。 車載装置の制御部が実行する車側制御処理の詳細を示すフローチャート。 情報配信装置の交差点カメラ群が撮像する死角領域の一例を示す説明図。 情報配信装置の画像処理サーバの構成を示すブロック図。 情報配信装置の制御部が実行する路側制御処理の詳細を示すフローチャート。 車両用視界支援システムの動作を示すシーケンス図。 前方画像データ及び合成画像データが表す画像の一例を示す概略図。 合成画像データが表す画像の一例を示す概略図。 前方画像データ及び死角画像データの撮像元を示す説明図。

符号の説明

１…車両用視界支援システム、１０…車載装置、１１…車載カメラ、１２…位置検出器、１３…外部通信機、１４…操作スイッチ群、１５…表示部、１６…制御部、１７…音声出力部、２０…情報配信装置、２１…交差点カメラ群、２２…外部通信機、３０…画像処理サーバ、３１…画像記憶部、３２…情報保持部、３３…画像抽出部、３４…画像変換部、３５…画像合成部、３６…制御部。

Claims (16)

1. 交差点に接近する車両を対象車両として、
   該対象車両に搭載され、
   該対象車両のドライバの前方視界の現在状況を表す前方画像を撮像する前方撮像手段と、
   該前方撮像手段により撮像した前方画像と、該前方撮像手段の内部パラメータ及び外部パラメータとを含む車両情報を送信する車載側送信手段と、
   を備える車載装置と、
   前記対象車両のドライバの前方視界のうち死角領域の現在状況を表す死角画像を撮像する死角撮像手段から、該死角画像と、該死角撮像手段の内部パラメータ及び外部パラメータとを含む死角情報を取得する死角画像取得手段と、
   前記車載側送信手段から送信される前記車両情報を受信する配信側受信手段と、
   該配信側受信手段により受信した車両情報に含まれる前記前方撮像手段の内部パラメータ及び外部パラメータと、前記死角画像取得手段にて取得した死角情報に含まれる前記死角撮像手段の内部パラメータ及び外部パラメータとに基づいて、前記車両情報に含まれる前方画像と、前記死角情報に含まれる死角画像とを、予め設定された同一の仮想視点から見た画像に変換する視点変換を行って、該視点変換後の各画像を合成することにより、合成画像を生成する画像生成手段と、
   該画像生成手段により生成された前記合成画像を送信する配信側送信手段と、
   を備える情報配信装置と、
   からなり、
   前記車載装置は、
   前記配信側送信手段から送信される前記合成画像を受信する車載側受信手段と、
   該車載側受信手段により受信した前記合成画像を表示する画像表示手段と、
   をさらに備えることを特徴とする車両用視界支援システム。
2. 前記仮想視点としては、前記前方画像の視点を用いることを特徴とする請求項１に記載の車両用視界支援システム。
3. 前記画像生成手段は、前記死角画像が透かし画像となるように合成することを特徴とする請求項２に記載の車両用視界支援システム。
4. 前記死角画像に映し出される車両や人などの物体を対象物体として、
   前記情報配信手段は、前記死角画像から前記対象物体を含む部分を表す部分死角画像を抽出する部分抽出手段を備え、
   前記画像生成手段は、前記部分抽出手段により抽出される前記部分死角画像と、前記前方画像とを合成することを特徴とする請求項２または請求項３に記載の車両用視界支援システム。
5. 前記部分抽出手段は、前記死角画像取得手段により過去に取得した前記死角領域の背景を表す背景画像と、前記死角画像取得手段により取得した前記死角画像との差分を表す差分画像を抽出し、
   前記画像生成手段は、前記部分抽出手段により抽出される前記差分画像と前記前方画像とを合成することを特徴とする請求項４に記載の車両用視界支援システム。
6. 前記死角画像に映し出される車両や人などの物体を対象物体として、
   前記仮想視点としては、前記死角画像に映し出された対象物体と、前記対象車両の現在位置とを含む領域内を、前記交差点の上方から俯瞰する視点を用いることを特徴とする請求項１ないし請求項５のいずれか１項に記載の車両用視界支援システム。
7. 前記死角撮像手段は、前記死角領域に向かって走行中の車両である情報提供車両に搭載されており、
   前記死角画像取得手段は、前記情報提供車両から前記死角画像を取得することを特徴とする請求項１ないし請求項６のいずれか１項に記載の車両用視界支援システム。
8. 前記対象車両が前記交差点に対して予め設定された距離内に位置する場合に、前記画像表示手段による前記合成画像の表示を禁止する表示禁止手段を備えることを特徴とする請求項１ないし請求項７のいずれか１項に記載の車両用視界支援システム。
9. 前記表示禁止手段は、前記情報配信装置に設けられ、前記車両情報受信手段により受信した前記車両情報に基づいて、前記対象車両が前記交差点に対して予め設定された距離内に位置する場合に、前記画像生成手段が前記合成画像を生成する処理を禁止する合成禁止手段により実現されることを特徴とする請求項８に記載の車両用視界支援システム。
10. 前記配信側送信手段は、前記合成禁止手段により前記合成画像を生成する処理を禁止した場合に、前記合成画像の代わりに、前記対象車両のドライバに対して目視による確認を促すための警告画像を送信し、
    前記車載装置が備える前記画像表示手段は、前記車載側受信手段により前記警告画像を受信した場合に、該警告画像を表示することを特徴とする請求項９に記載の車両用視界支援システム。
11. 前記車載側送信手段は、前記情報配信装置と通信可能な領域に位置しているか否かを確認するために予め設定された照合信号を送信し、
    前記情報配信装置は、
    前記配信側受信手段を介して前記照合信号を受信した場合に、前記配信側送信手段を介して予め設定された応答信号を送信し、
    前記車載装置は、
    前記車載側受信手段を介して前記応答信号を受信した場合に、前記車載側送信手段を介して前記車両情報を送信することを特徴とする請求項１ないし請求項１０のいずれか１項に記載の車両用視界支援システム。
12. 前記前方撮像手段の内部パラメータ及び外部パラメータは、前記前方画像の視点変換に必要な情報であり、
    前記前方撮像手段の内部パラメータには、前記前方撮像手段が前記前方画像を撮像する焦点距離、画角、及び画素数が含まれており、
    前記前方撮像手段の外部パラメータには、前記前方撮像手段が前記前方画像を撮像する向き及び位置を表す情報が含まれていることを特徴とする請求項１ないし請求項１１のいずれか１項に記載の車両用視界支援システム。
13. 前記死角撮像手段の内部パラメータ及び外部パラメータは、前記死角画像の視点変換に必要な情報であり、
    前記死角撮像手段の内部パラメータには、前記死角撮像手段が前記死角画像を撮像する焦点距離、画角、及び画素数が含まれており、
    前記死角撮像手段の外部パラメータには、前記死角撮像手段が前記死角画像を撮像する向き及び位置を表す情報が含まれていることを特徴とする請求項１ないし請求項１２のいずれか１項に記載の車両用視界支援システム。
14. 前記車載側送信手段及び前記車載側受信手段は、無線信号を送信及び受信可能に構成されており、
    前記配信側送信手段及び前記配信側受信手段は、無線信号を送信及び受信可能に構成されており、
    前記車載側送信手段と前記配信側受信手段との間の信号、及び、前記配信側送信手段と前記車載側受信手段との間の信号の送受信は、前記無線信号によってなされることを特徴とする請求項１ないし請求項１３のいずれか１項に記載の車両用視界支援システム。
15. 請求項１ないし請求項１４のいずれか１項に記載の車両用視界支援システムを構成する車載装置。
16. 請求項１ないし請求項１４のいずれか１項に記載の車両用視界支援システムを構成する情報配信装置。