JP2009040107A - 画像表示制御装置及び画像表示制御システム - Google Patents

Abstract

【課題】車両の周囲の障害物の実際の危険度に応じた適切な強調表示が可能な画像表示制御装置及び画像表示制御システムを提供すること。
【解決手段】画像表示制御装置１では、ステップ１００にて、走行状態認識処理を行う。走行状態認識処理とは、車速センサ９や操舵角センサ１１などから得られた信号に基づいて、車両の走行状態を認識する処理である。ステップ１１０では、走行環境認識処理を行う。走行環境認識処理とは、周辺監視カメラ５によって撮影された画像やレーダ７によって得られた障害物の情報に基づいて、車両の周囲の環境や障害物を認識する処理である。ステップ１２０では、走行環境認識処理により、対象物（障害物等）が認識されたか否かを判定する。強調表示処理を行う。強調表示処理とは、走行環境認識処理によって認識された対象物の危険度を判定し、その危険度に応じて対象物の強調表示を行うものである。
【選択図】図３

Description

本発明は、例えば自動車に搭載され、自車の前方等の周囲の画像を表示できる画像表示制御装置及び画像表示制御システムに関する。

従来より、車両の運転を安全に行うために、カメラやレーダ等によって、歩行者や他の車両等の要注意対象物を検出し、その対象物（障害物）の画像を自車の周囲の画像とともにディスプレイ等に表示する画像表示制御装置が提案されている。

例えば特許文献１では、レーダ等の移動体検出手段からの情報に基づいて、移動体の画面上での位置を計算し、画像中の移動体の存在する画像領域に強調表示を加えたり、移動体の危険度によって強調表示の点滅速度を変える技術が提案されている。

また、特許文献２では、カメラの撮影画像に基づいて、車両が走行する軌跡の推定範囲にある走行予想軌跡範囲内に、少なくとも１つ以上の障害物が存在すると推定された場合に、障害物の中から走行方向に対して最も車両に近い位置に存在すると推定される障害物の強調画像表示を行う技術が提案されている。

更に、特許文献３では、障害物と自車両との距離に基づいて、自車両に近い位置に存在する障害物を判別し、その判定結果に従って、車両に近い位置に存在する障害物ほど強調表示する技術が提案されている。
特開平７−２２３４８７号公報 特開平１０−１１７３４０号公報 特開２００１−７６２９８号公報

しかしながら、前記特許文献１の技術では、強調表示の点滅速度を変化させるための危険度は、障害物の自車両からの距離及び自車両に対する接近速度によって設定されるものであるので、本当の危険度に応じた表示ができないことがあった。

例えば道路端に道路標識がある場合や人が立っている場合には、同じ危険度と判定されてしまうという問題があった。
また、前記特許文献２及び特許文献３の技術では、自車両に近い位置に存在する対象物ほど強調して表示されるので、実際の危険度に対応していないことがあるという問題があった。

例えば、他の車両が自車両に近づいてくる場合も遠ざかる場合も同じ危険度と判定されてしまうという問題があった。
本発明は、かかる問題を鑑みてなされたものであり、車両の周囲の障害物の実際の危険度に応じた適切な強調表示が可能な画像表示制御装置及び画像表示制御システムを提供することを目的とする。

（１）請求項１の発明は、自車両の周囲に存在する対象物を検出して、該対象物の自車両に対する危険度を設定し、その危険度に応じて、画面上の前記対象物を示す画像に対する強調表示を行う画像表示制御装置において、前記自車両の速度と前記対象物までの距離と前記対象物の種類とを検出し、前記自車両の速度と前記対象物までの距離と前記対象物の種類とに応じて、前記対象物の危険度を設定し、その設定結果に応じて、前記対象物を示す画像の強調表示を制御することを特徴する。

本発明では、自車両の速度と対象物までの距離と対象物の種類とに応じて、対象物の危険度を設定し、その設定結果に応じて対象物を示す画像の強調表示を制御するので、本当の危険度に応じた適切な強調表示を行うことができる。

（２）請求項２の発明では、前記対象物を示す画像は、前記対象物の画像自身及び前記対象物を指定するマークのうち、少なくとも１種であることを特徴とする。
本発明では、強調表示を行う場合には、対象物の画像自身を点滅したり明るさを変更したりして強調することができる。また、画像自身ではなく、歩行者や車両等の画像を示す（指定する）マーク、例えば画像を囲むよう設けたフレームなどを強調することにより画像を強調することができる。

（３）請求項３の発明では、前記自車両の走行予想軌跡内及び走行予想軌跡の近傍に存在する対象物のうち、少なくとも前記走行予想軌跡内に存在する対象物に対して、前記危険度の設定を行うことを特徴とする。

車両の走行予想軌跡（例えば走行予定の車線）は、実際に車両が走行する可能性が高く、また、その軌跡に沿った近傍（車線から所定幅の領域）は、障害物が車両に衝突する可能性が高いので、その軌跡内や近傍の領域にある対象物の危険度を高くする。なお、軌跡の近傍よりは軌跡内にある対象物の危険度を上げることが望ましい。

（４）請求項４の発明では、前記対象物の移動方向に応じて、前記危険度を設定して、前記強調表示を調節することを特徴とする。
対象物が車両に近づいてきたり、走行予想軌跡の方向に移動している場合には、車両と衝突する可能性が高いので、対象物の危険度を高く設定する。

（５）請求項５の発明では、前記対象物を示す画像の点滅速度によって、前記強調表示を調節することを特徴とする。
本発明では、強調表示の方法として、対象物を示す画像（例えばフレーム又は対象物自身）の点滅速度を変更する。例えば危険度が大きいほど、点滅速度を早くする。

（６）請求項６の発明では、前記対象物を示す画像を、画面上で振動させて強調表示することを特徴とする。
本発明では、強調表示の方法として、対象物を示す画像（例えば歩行者等の画像自身やフレーム）を画面上で振動させる。例えば危険度が大きいほど、振動の回数や振れ幅を大きくする。

（７）請求項７の発明では、前記対象物が複数ある場合（例えばＡ、Ｂ、Ｃとある場合）には、前記危険度の高いものから順に、前記対象物を示す画像を強調表示することを特徴とする。

例えば危険度の高い順番が、Ａ、Ｂ、Ｃとなっている場合には、危険度の高いものから順番に例えば点滅表示を行うので（即ちＡ→Ｂ→Ｃの順番で点滅させるので）、危険度の高いものを容易に認識することができる、
（８）請求項８の発明では、運転者の視線を検出し、前記運転者の見ていない方向の前記対象物を示す画像を強調表示することを特徴とする。

本発明では、運転者が見ていない方向にある対象物の画像を強調表示するので、運転者が見落としがちな状況においても、危険性のある対象物を効果的に報知することができる。これにより、安全性が大きく向上する。

（９）請求項９の発明では、前記危険度が高い対象物ほど、前記強調表示を強くすることを特徴とする。
本発明では、危険度の高いものほど強調の程度を大きくするので、危険度の高いものを容易に認識することができる。

（１０）請求項１０の発明（画像表示制御システム）は、前記請求項１〜９のいずれかに記載の画像表示制御装置に、少なくとも撮像装置（例えば周辺監視カメラ）及び画像表示装置（例えばディスプレイ）を備えたことを特徴とする。

本発明は、画像表示制御装置を用いたシステム構成を示したものである。なお、撮像装置以外に、レーダや各種のセンサ等を用いることができる。

以下に本発明の実施形態を図面と共に説明する。
［第１の実施形態］
本実施形態の画像表示制御装置及び画像表示制御システムは、車両の周囲の対象物（障害物）を検出し、その危険度に応じてディスプレイ等に障害物等の画像の表示の制御を行う装置及びシステムである。

ａ）まず、本実施形態で用いる画像表示制御装置の構成について説明する。
図１に示す様に、本実施形態の画像表示制御装置１は、車両に搭載された画像表示制御システム３において、画像の強調表示等の制御を行うものであり、周知のマイクロコンピュータを主要部とする処理部である電子制御装置から構成されている。

この画像表示制御装置１には、車両の前方等を撮影する周辺監視カメラ（図２参照）５、車両の前方等の障害物などを検出するレーダ７、車速を検出する車速センサ９、操舵角を検出する操舵角センサ１１、ナビゲーション装置１３、画像を表示する出力部であるディスプレイ１５などが接続されている。

前記画像表示制御装置１は、後に詳述する様に、周辺監視カメラ５、レーダ７、車速センサ９、操舵角センサ１１、ナビゲーション装置１３などから得られる情報に基づいて、走行環境の認識、走行状態の認識、対象物の強調表示等の処理を行い、その処理結果に基づいて、ディスプレイ１３に障害物などの画像の表示を行う。

例えば、画像表示制御装置１では、周辺監視カメラ５からの信号に基づいて、対象物の種類を認識したり、対象物の移動方向や移動速度を求めることができる。また、レーダ７により、対象物との距離、対象物の移動速度、対象物との相対速度などを求めることができる。

そして、後述する様に、それらの情報に基づいて、対象物の危険度を設定し、危険度に応じて強調表示を行うことができる。
ｂ）次に、画像表示制御装置１で行われる処理内容を説明する。

(1)まず、主要な処理について、図１のフローチャートに基づいて説明する。
図３に示す様に、画像表示制御装置１では、ステップ（Ｓ）１００にて、走行状態認識処理を行う。

この走行状態認識処理とは、車速センサ９や操舵角センサ１１などから得られた信号に基づいて、車両の走行状態を認識する処理である。
続くステップ１１０では、走行環境認識処理を行う。

この走行環境認識処理とは、周辺監視カメラ５によって撮影された画像やレーダ７によって得られた（障害物を含む）周囲の情報に基づいて、車両の周囲の環境や障害物を認識する処理である。なお、ナビゲーション情報を加味することにより、道路状態などを一層正確に把握することができる。

例えば、歩行者は次のようにして認識することができる。
図４（ａ）に示す様に、予め歩行者と非歩行者の画像データを用いて学習を行うことにより、歩行者であるかどうかを判定させるための歩行者識別器（例えば画像表示制御装置１に記憶されるソフトにより実現される識別器）を作製しておき、この歩行者識別器を用いて、検出した障害物が歩行者かどうかを判定する。

具体的には、図４（ｂ）に示す様に、歩行者識別器を用い、画像データにより検出した障害物の形状の特徴やレーダ７により検出した障害物との距離等の未知のデータを、学習データと対比することにより、その障害物が歩行者であるかどうかを識別する。

なお、車両や道路標識も、同様な識別器を用いることにより認識することができる。
続くステップ１２０では、上述した走行環境認識処理により、対象物（障害物等）が認識されたか否かを判定する。ここで肯定判断されるとステップ１３０に進み、一方否定判断されると一旦本処理を終了する。

ステップ１３０では、強調表示処理を行い、一旦本処理を終了する。
この強調表示処理とは、後述するように、前記走行環境認識処理によって認識された対象物の危険度を判定し、その危険度に応じて対象物の強調表示（例えば画像補正、検出領域を振動、近いものから順次表示等）を行うものである。

(2)次に、前記強調表示処理について、図５のフローチャートに基づいて説明する。
図５のステップ２００では、認識した対象物が歩行者か否かを判定する。歩行者である場合は、ステップ２１０に進み、そうでない場合はステップ２３０に進む。

ステップ２１０では、自車両の速度Ｖと歩行者までの距離Ｌを用いるとともに、歩行者の移動方向を考慮して、その歩行者の危険度を設定する。なお、歩行者の移動方向により危険度を考慮する場合には、自車速と操舵角から自車の走行予想範囲及びその近傍の範囲を求めておき、この走行予想範囲に対して歩行者が近づいているか否かを考慮する。

そして、例えば図６に示す様に、この危険度を、歩行者を示す画像（例えばディスプレイ１３に歩行者の画像を表示する際にその周囲を囲む強調表示用のフレーム）の点滅速度で示す場合には、設定された危険度に応じて強調表示用のフレームの点滅速度Ｖ’を決定する。

例えば、図７（ａ）に示す演算式（１）又は（２）により、歩行者を示すフレームの点滅速度Ｖ’を決定する。この式（１）、（２）は、自車両の速度Ｖと歩行者までの距離Ｌを用いるとともに、自車速の重みα_ped、距離の重みβ_ped、歩行者の移動方向の重みγ_pedを加味したものである。

ここで、自車速の重みα_ped、距離の重みβ_pedとしては、例えば定数を採用できる。また、歩行者の移動方向の重みγ_pedは、歩行者の移動方向が、自車両又は自車の走行予想軌跡に近づいてくる場合には、危険度が大きくなるので、大きく設定する。

なお、歩行者の移動方向は、例えば図８に示す様に、時刻ｔと時刻ｔ＋１の画像データに基づいて、歩行者の画像が時刻ｔから時刻ｔ＋１から変化した場合に、歩行者の画像の特徴点の移動方向から求めることができる。また、走行予想軌跡は、自車速と操舵角から求めることができるが、更に、ナビゲーション情報を加味して、精度を上げてもよい。

従って、前記式（１）、（２）を用いることにより、例えば自車速が早い場合には、点滅速度を速くし、距離が遠い場合は、点滅速度を遅く、歩行者の移動方向が車両の進行方向に近づいている場合は、点滅速度を速くすることができる。つまり、対象物である歩行者の危険度が大きいほど、歩行者を示すフレームの点滅速度を早く設定できる。

続くステップ２２０では、強調表示するパターンや強調度合いを決定し、ディスプレイ１５に強調表示するための信号を出力して、一旦本処理を終了する。
例えば強調表示するパターンとしてフレームを選択し、その強調度合いをフレームの点滅速度により調節する場合には、前記ステップ２１０にて設定された点滅速度に基づいて、フレームを点滅させるための処理を行う。

なお、ここでは、危険度に応じてフレームの点滅速度を変化させる場合を例に挙げたが、他の方法で、危険度が大きいほど強調表示の程度を強くしてもよい。
例えば、歩行者等の対象物を強調するために、対象物に対して、「枠で囲む」、「コントラスト補正」、「明度補正」、「鮮鋭性補正（輪郭強調）」、「色相補正」、「検出領域を振動」により、強調表示を行ってもよい。

一方、前記ステップ２００にて歩行者でないと判断されて進むステップ２３０では、認識した対象物が車両（他車両）か否かを判定する。他車両である場合は、ステップ２４０に進み、そうでない場合はステップ２６０に進む。

ステップ２４０では、例えば自車両の速度Ｖと他車両までの距離Ｌを用いるとともに、他車両の移動方向を考慮して、ディスプレイ１３に他車両の画像を表示する際に用いる強調表示用のフレームの点滅速度Ｖ’を決定する。

例えば、図７（ｂ）に示す演算式により、他車両を示すフレームの点滅速度Ｖ’を決定する。この式（３）、（４）は、自車両の速度Ｖと他車両までの距離Ｌを用いるとともに、自車速の重みα_veh、距離の重みβ_veh、他車両の移動方向の重みγ_vehを加味した演算式である。

ここで、自車速の重みα_veh、距離の重みβ_vehとしては、例えば定数を採用できる。また、他車両の移動方向の重みγ_vehは、他車両の移動方向が、自車両又は自車の走行予想軌跡に近づいてくる場合には、危険度が大きくなるので、大きく設定する。

なお、他車両の移動方向は、上述した歩行者と同様にして求めることができる。
従って、前記式（３）、（４）を用いることにより、例えば自車速が早い場合には、点滅速度を速くし、距離が遠い場合は、点滅速度を遅く、他車両の移動方向が車両の進行方向に近づいている場合は、点滅速度を速くすることができる。つまり、対象物である他車両の危険度が大きいほど、他車両を示すフレームの点滅速度を早く設定できる。

続くステップ２５０では、例えば前記ステップ２４０にて設定された点滅速度に基づいて、前記ステップ２２０と同様に、フレームを点滅させるための処理を行い、一旦本処理を終了する。

一方、前記ステップ２３０にて車両でないと判断されて進むステップ２６０では、認識した対象物が標識（道路標識）か否かを判定する。標識である場合は、ステップ２７０に進み、そうでない場合はステップ２９０に進む。

ステップ２７０では、例えば自車両の速度Ｖと標識までの距離Ｌを用いるとともに、標識の種類を考慮して、ディスプレイ１３に標識の画像を表示する際に用いる強調表示用のフレームの点滅速度Ｖ’を決定する。

例えば、図７（ｃ）に示す演算式により、標識を示すフレームの点滅速度Ｖ’を決定する。この式（５）、（６）は、自車両の速度Ｖと標識までの距離Ｌを用いるとともに、自車速の重みα_sign、距離の重みβ_sign、標識の種類の重みγ_signを加味した演算式である。

ここで、自車速の重みα_sign、距離の重みβ_signとしては、例えば定数を採用できる。また、標識の重みγ_signは、標識の内容の重要度が大きい場合（例えば一旦停止の標識は前方がカーブの標識よりは重要度が大きいとする）には、危険度が大きくなるので、大きく設定する。

従って、前記式（５）、（６）を用いることにより、例えば自車速が早い場合には、点滅速度を速くし、距離が遠い場合は、点滅速度を遅く、標識の重要度が高い場合は、点滅速度を速くすることができる。つまり、対象物である標識が示す危険度が大きいほど、標識を示すフレームの点滅速度を早く設定できる。

続くステップ２８０では、例えば前記ステップ２７０にて設定された点滅速度に基づいて、前記ステップ２２０と同様に、フレームを点滅させるための処理を行い、一旦本処理を終了する。

一方、前記ステップ２６０にて標識でないと判断されて進むステップ２９０では、歩行者でも車両でも標識でない対象物であるので、例えば、自車両の速度Ｖと対象物までの距離Ｌを用いて、その対象物のフレームの点滅速度Ｖ’を決定する。

従って、例えば自車速が早い場合には、点滅速度を速くし、距離が遠い場合は、点滅速度を遅くすることができる。なお、点滅速度を所定の固定の点滅速度としてもよい。
続くステップ３００では、例えば前記ステップ２９０にて設定された点滅速度に基づいて、前記ステップ２２０と同様に、フレームを点滅させるための処理を行い、一旦本処理を終了する。

ｃ）この様に、本実施形態では、自車両の速度と対象物までの距離と対象物の種類とに応じて、対象物の危険度を設定し、その設定結果に応じて、対象物を示す画像（例えば画像を囲むフレーム）の強調表示を、点滅速度を変化させることにより制御している。

詳しくは、自車両の速度と対象物までの距離とに加えて、対象物の種類を加味し、更に、対象物の移動方向をも考慮し、自車両の走行予想軌跡内及びその近傍に存在する対象物に対して、危険度の設定を行っている。そして、危険度が高い対象物ほど、強調表示を強くしている。

これによって、運転者は、対象物が複数ある場合にも、本当に危険度の大きな対象物を確実に認識できるので、運転の安全性が大きく向上するという顕著な効果を奏する。
［第２の実施形態］
次に、第２の実施形態について説明するが、前記第１の実施形態と同様な内容の説明は省略する。

本実施形態では、運転者の視線を検出し、その視線に応じて強調表示を行うものである。
図９に示す様に、本実施形態の画像表示制御システム２１では、前記第１の実施形態と同様に、画像表示制御装置２３、周辺監視カメラ２５、レーダ２７、車速センサ２９、操舵角センサ３１、ナビゲーション装置３３、ディスプレイ３５などを備えるとともに、車内を撮影する車内監視カメラ３７、強調表示を解除する強調表示解除スイッチ３９を備えている。

この車内監視カメラ３７は、運転者の顔を撮影するものであり、その撮影された画像から、運転者の視線検出を行う。
例えば顔の画像における目の位置から、顔が車両の前方を向いているかや側方を向いているかを判断することができる。また、目の画像における黒目の位置からも視線を検出することが可能である。

そして、視線を検出した場合には、運転者の見ていない方向の対象物の画像を強調表示することで、運転者の注意を喚起することができる。
尚、本発明は上記実施形態に限定されるものではなく、様々な態様にて実施することが可能である。

（１）例えば強調表示の手法として、運転者等の注意を喚起するものであれば、特に限定はない。例えば、対象物を示す画像を、画面上で振動させて強調表示してもよい。また、対象物が複数ある場合には、危険度の高いものから順に、対象物を示す画像を順次強調表示してもよい。

（２）また、本発明は、上述したアルゴリズムに基づいて強調表示の処理などを実行させるプログラムやそのプログラムを記憶している記録媒体にも適用できる。
この記録媒体としては、マイクロコンピュータとして構成される電子制御装置、マイクロチップ、フレキシブルディスク、ハードディスク、ＤＶＤ、光ディスク等の各種の記録媒体が挙げられる。つまり、上述した画像表示制御装置の処理を実行させることができるプログラムを記憶したものであれば、特に限定はない。

尚、前記プログラムは、単に記録媒体に記憶されたものに限定されることなく、例えばインターネットなどの通信ラインにて送受信されるプログラムにも適用される。

第１の実施形態における画像表示制御システム全体を示すブロック図である。 車両に搭載された周辺監視カメラの視野を示す説明図である。 第１の実施形態の主要な処理を示すメインのフローチャートである。 歩行者識別器を示す説明図である。 第１の実施形態の強調表示処理を示すフローチャートである。 ディスプレイに表示された画面を示す説明図である。 点滅速度の演算式を示す説明図である。 移動方向検知方法を示す説明図である。 第２の実施形態における画像表示制御システム全体を示すブロック図である。

符号の説明

１、２３…画像表示製御装置
３、２１…画像表示制御システム
５、２５…周辺監視カメラ
７、２７…レーダ
１３、３５…ディスプレイ
３７…車内監視カメラ

Claims (10)

1. 自車両の周囲に存在する対象物を検出して、該対象物の自車両に対する危険度を設定し、その危険度に応じて、画面上の前記対象物を示す画像に対する強調表示を行う画像表示制御装置において、
   前記自車両の速度と前記対象物までの距離と前記対象物の種類とを検出し、前記自車両の速度と前記対象物までの距離と前記対象物の種類とに応じて、前記対象物の危険度を設定し、その設定結果に応じて、前記対象物を示す画像の強調表示を制御することを特徴する画像表示制御装置。
2. 前記対象物を示す画像は、前記対象物の画像自身及び前記対象物を指定するマークのうち、少なくとも１種であることを特徴とする請求項１に記載の画像表示制御装置。
3. 前記自車両の走行予想軌跡内及び走行予想軌跡の近傍に存在する対象物のうち、少なくとも前記走行予想軌跡内に存在する対象物に対して、前記危険度の設定を行うことを特徴とする請求項１又は２に記載の画像表示制御装置。
4. 前記対象物の移動方向に応じて、前記危険度を設定して、前記強調表示を調節することを特徴とする請求項１〜３のいずれかに記載の画像表示制御装置。
5. 前記対象物を示す画像の点滅速度によって、前記強調表示を調節することを特徴とする請求項１〜４のいずれかに記載の画像表示制御装置。
6. 前記対象物を示す画像を、画面上で振動させて強調表示することを特徴とする請求項１〜５のいずれかに記載の画像表示制御装置。
7. 前記対象物が複数ある場合には、前記危険度の高いものから順に、前記対象物を示す画像を強調表示することを特徴とする請求項１〜６のいずれかに記載の画像表示制御装置。
8. 運転者の視線を検出し、前記運転者の見ていない方向の前記対象物を示す画像を強調表示することを特徴とする請求項１〜７のいずれかに記載の画像表示制御装置。
9. 前記危険度が高い対象物ほど、前記強調表示を強くすることを特徴とする請求項１〜８のいずれかに記載の画像表示制御装置。
10. 前記請求項１〜９のいずれかに記載の画像表示制御装置に、少なくとも撮像装置及び画像表示装置を備えたことを特徴とする画像表示制御システム。