JP4334686B2

JP4334686B2 - Vehicle image display device

Info

Publication number: JP4334686B2
Application number: JP19243399A
Authority: JP
Inventors: 弘服部; 孝之辻; 正人渡辺; 伸治長岡
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1999-07-07
Filing date: 1999-07-07
Publication date: 2009-09-30
Anticipated expiration: 2019-07-07
Also published as: JP2001023091A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置などにより車両の進行方向に存在する対象物を検出して、ヘッドアップディスプレイに表示する車両の画像表示装置に関する。
【０００２】
【従来の技術】
車両の前方に存在する障害物を検出し、その障害物の危険度が高いときは、ヘッドアップディスプレイによりその障害物を赤枠で囲む表示をすることにより、運転者に確実に危険を知らせるようにした危険情報警報装置が従来より知られている（特開平６−２１５３００号公報）。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の装置では、検出した障害物の実物の像と表示される赤枠とがフロントウインドウ上で重畳して示されるように赤枠の表示位置の計算を行い、ヘッドアップディスプレイの表示制御を行うようにしているので、表示制御が複雑化するという問題や、遠方に存在する障害物の実物像は小さいので運転者が容易に視認できないという問題がある。
【０００４】
本発明はこのような点に着目してなされたものであり、車両の進行方向に存在する対象物を検出し、運転者が容易且つ確実に周辺状況を把握できるようにした画像表示装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、車両の進行方向に存在する対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の表示を行うヘッドアップディスプレイとを備えた車両の画像表示装置において、前記ヘッドアップディスプレイの表示画面は、該表示画面の上端から下端に達する垂直方向の分割線によって水平方向に３分割された左領域、中央領域、及び右領域から成り、前記対象物検出手段により、当該車両の進行方向で、前記対象物が存在し続ければ当該車両と前記対象物が衝突する可能性が高い領域に設定される接近判定領域内で対象物が検出されたときは、前記中央領域にその対象物の検出された位置に応じた、当該位置を運転者が認識できる表示を行うように前記ヘッドアップディスプレイを制御し、前記対象物検出手段により、当該車両の進行方向で、前記接近判定領域の左右の外側に設定される侵入判定領域内で対象物が検出されたときは、前記右領域もしくは左領域にその対象物が前記侵入判定領域のいずれかに存在することを示す情報を表示するように前記ヘッドアップディスプレイを制御する表示制御手段とを備え、前記対象物検出手段は、前記車両の前方を撮像するカメラを含み、前記対象物検出手段により、前記接近判定領域内で対象物が検出されたときは、前記中央領域に前記カメラにより撮像された画像を表示し、前記検出した対象物を強調表示することを特徴とする。
【０００６】
この構成によれば、当該車両の進行方向で、対象物が存在し続ければ当該車両と対象物が衝突する可能性が高い領域に設定される接近判定領域内で対象物が検出されたときは、ヘッドアップディスプレイの表示画面の中央領域にその対象物の検出された位置に応じた、当該位置を運転者が認識できる表示が行われ、当該車両の進行方向で、接近判定領域の左右の外側に設定される侵入判定領域内で対象物が検出されたときは、その対象物が左右の侵入判定領域のいずれかに存在することを示す情報がヘッドアップディスプレイの表示画面の右領域若しくは左領域に表示されるので、接近判定領域内あるいは左右の侵入判定領域のいずれかに対象物が存在するか否かを運転者が容易に視認することができ、さらに接近判定領域内に存在する対象物についてはその位置についての認識も容易に得ることが可能となる。また接近判定領域内で対象物が検出されたときは、中央領域にカメラにより撮像された画像が表示され、検出した対象物が強調表示されるので、運転者は表示像の大きさにより当該対象物までの距離を視覚的に容易に認識することができる。
【０００７】
請求項２に記載の発明は、請求項１に記載の車両の画像表示装置において、前記対象物検出手段により、前記侵入判定領域内で対象物が検出されたときは、前記右領域もしくは左領域に検出した対象物に対応するアイコンを表示することを特徴とする。
また前記中央領域に検出した対象物に対応するアイコンを表示して、当該車両とその対象物との距離が近いほどそのアイコンが大きくなるように制御するようにしてもよい。
【０００８】
また前記右領域もしくは左領域に検出した対象物に対応するアイコンを表示する際に、当該車両とその対象物との距離が近いほどそのアイコンが大きくなるように制御するようにしてもよい。
本発明の他の特徴は、車両の進行方向に存在する対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の表示を行うヘッドアップディスプレイとを備えた車両の画像表示装置において、前記対象物検出手段により、当該車両の進行方向に対象物が検出されたときは、その対象物の位置に応じたアイコンを表示するように前記ヘッドアップディスプレイを制御する表示制御手段を備えることである。
【０００９】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる画像表示装置を含む、車両の周辺監視装置の構成を示す図であり、この装置は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データの基づいて車両前方の動物等の対象物を検出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４とを備えている。
【００１０】
カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【００１１】
画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。
ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４１が表示されるように設けられている。
【００１２】
図３は画像処理ユニット２における対象物の位置検出処理の手順を示すフローチャートであり、先ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像は、輝度情報を含んだグレースケール画像である。図５（ａ）（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られるグレースケール画像（カメラ１Ｒにより右画像が得られ、カメラ１Ｌにより左画像が得られる）を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。右画像と左画像では、同一の対象物の画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１３】
図３のステップＳ１４では、右画像を基準画像とし、その画像信号の２値化、すなわち、実験的に決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。図６に図５（ａ）の画像を２値化した画像を示す。この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。
【００１４】
続くステップＳ１５では、２値化した画像データをランレングスデータに変換する処理を行う。図７（ａ）はこれを説明するための図であり、この図では２値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。
【００１５】
ステップＳ１６、Ｓ１７では、図７（ｂ）に示すように対象物のラベリングをすることにより、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１，２を付加する。この処理により、例えば図６に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
なお以上説明した図３のステップＳ１４〜Ｓ１７の処理は、２値化した基準画像（本実施形態では、右画像）ついて実行する。
【００１６】
図３のステップＳ１８では、図８に示すように右画像に含まれる対象物像Ｒ１に対応する左画像中の対象物像Ｒ２を求め、右画像のｘ方向の中心線ＬＣＴＲと対象物像Ｒ１の重心との距離ΔｄＲ、及び左画像の中心線ＬＣＴＲと対象物像Ｒ２の重心との距離ΔｄＬを算出し、下記式（１）にこれらを適用して自車両１０からその対象物までの距離ｚを算出する。
【数１】

【００１７】
ここで、Ｂは基線長、すなわち図９に示すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カメラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１Ｌ内の画素間隔であり、Δｄ（＝ｄＲ＋ｄＬ）が視差量である。またｆは、焦点距離Ｆと画素間隔ｐの比である。
【００１８】
ステップＳ１９では、画像内の座標（ｘ，ｙ）及び式（１）により算出した距離ｚを下記式（２）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する。ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図１０（ａ）に示すように、カメラ１Ｒ、１Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標は同図（ｂ）に示すように、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【数２】

【００１９】
ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、実空間原点Ｏとの相対位置関係に基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またｆは、焦点距離Ｆと画素間隔ｐとの比である。
図３のステップＳ２０では、図４に示す表示制御処理を実行する。この処理は、検出した対象物の位置に応じてＨＵＤ４の画面４１の表示状態を制御するものである。
【００２０】
図１１は、カメラ１Ｒ、１Ｌで監視可能な領域を、太い実線で示す外側の三角形の領域ＡＲ０で示し、さらに領域ＡＲ０内の、自車両１０に近い領域ＡＲ１，ＡＲ２，ＡＲ３を、警報判定領域としている。ここで領域ＡＲ１は、自車両１０の進行方向に、車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域、換言すれば自車両１０の横方向の中心軸の両側に（α／２＋β）の幅を有する領域であって、対象物がそのままの存在し続ければ衝突の可能性がきわめて高いので、接近判定領域と呼ぶ。領域ＡＲ２，ＡＲ３は、接近判定領域よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域であり、この領域内にある対象物でも車両１０の進行方向と垂直の方向に進行して車両１０に接近してくる対象物は衝突の可能性が高いので侵入判定領域と呼ぶ。接近判定領域ＡＲ１及び侵入判定領域ＡＲ２，ＡＲ３内で検出された対象物については、図４の処理によりＨＵＤ４に表示するとともに、図示しない処理により衝突の可能性の判定を行い、可能性が高いときはスピーカ３を介して音声と、ＨＵＤ４の画面４１の表示とより運転者に警報を発する。
【００２１】
図４のステップＳ４１では、検出された対象物が接近判定領域ＡＲ１内にあるか否かを判別し、接近判定領域ＡＲ１内にあるときは、図１２に示すように画面４１の中央領域４１ａにカメラ１Ｒにより撮像されている画像を表示するとともに、検出した対象物ＯＢＪ１の強調表示（例えば枠で囲んで示す）を行う（ステップＳ４２）。このように画面の中央領域４１ａには、カメラ１Ｒで実際に撮像された対象物像が表示されるので、遠くに存在するものほど表示像が小さくなり、表示像の大きさにより運転者は対象物までの距離を視覚的に容易に認識することができる。
【００２２】
また接近判定領域ＡＲ１内に対象物がないときは、侵入判定領域ＡＲ２，ＡＲ３内に存在する対象物があるか否かを判別し（ステップＳ４３）、図１２に示すように侵入判定領域ＡＲ２内で対象物ＯＢＪ２が検出されているときは、画面４１の右領域４１ｂに対象物ＯＢＪ２に対応したアイコンＩＣＲを表示し、侵入判定領域ＡＲ３内で対象物ＯＢＪ３が検出されているときは、画面４１の左領域４１ｃに対象物ＯＢＪ３に対応したアイコンＩＣＬを表示する（ステップＳ４４）。アイコンＩＣＲ，ＩＣＬは、例えば歩行者の外形に似たものを予め用意しておき、該当する対象物を検出したときに実際に表示されるように制御する。
【００２３】
侵入判定領域内に存在する対象物のうち衝突の可能性の高い対象物は、車両１０から見た対象物の方向がほぼ一定となる傾向があり、カメラ１Ｒまたは１Ｌにより得られる画像内での動きがほとんどない状態となるので、画面上にアイコン表示することにより、その存在を運転者に明確に知らせることができる。すなわち、運転者はそのような対象物の存在を容易に視認することができる。
【００２４】
なお、接近判定領域ＡＲ１内で検出された対象物ＯＢＪ１との衝突の可能性が高いと判定されたときは、強調表示の枠を点滅させたり、表示色を一定周期で変化させるなどの制御を行い、また侵入判定領域ＡＲ２，ＡＲ３内で検出された対象物ＯＢＪ２，ＯＢＪ３との衝突の可能性が高いと判定されたときは、アイコンを点滅させたり、あるいは表示色を一定周期で変化させたりするなどの制御を行う。
【００２５】
以上のように本実施形態では、車両１０の進行方向に設定される接近判定領域ＡＲ１内で対象物が検出されたときは、カメラ１Ｒにより得られる画像、すなわち対象物の位置に応じた表示を行うようにＨＵＤ４を制御し、接近判定領域の外側に設定される侵入判定領域ＡＲ２，ＡＲ３内で対象物が検出されたときは、その対象物に対応するアイコンＩＣＲ，ＩＣＬ、すなわちその対象物が存在することを示す情報を表示するようにＨＵＤ４を制御するようにしたので、接近判定領域内あるいは侵入判定領域内に対象物が存在するか否かを運転者が容易に視認することができ、さらに接近判定領域内に存在する対象物についてはその位置についての認識も容易に得ることが可能となる。
【００２６】
本実施形態では、画像処理ユニット２及びＨＵＤ４により画像表示装置が構成される。より具体的には、カメラ１Ｒ、１Ｌ及び図３のステップＳ１１〜Ｓ１９が対象物検出手段に相当し、図４の処理が表示制御手段に相当する。
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、上述した実施形態では、ＨＵＤ４の画面の中央領域には、カメラ１Ｒにより得られる画像を表示するようにしたが、中央領域４１ａにも図１３に示すようにアイコンＩＣＣを表示するようにしてもよい。この場合、検出した対象物の位置に応じて中央領域４１ａ内のアイコン表示位置を制御し、さらに自車両１０に近い対象物ほど大きいアイコンで表示するようにして、対象物の距離（Ｚ座標）に応じた表示を行う。すなわち、図１３に示す例では、アイコンＩＣＣ１に対応する対象物が最も近くに存在し、次いでアイコンＩＣＣ２に対応する対象物が存在し、アイコンＩＣＣ３に対応する対象物が最も遠くに存在することを示している。
【００２７】
また、同図に示すように右領域４１ｂ及び左領域４２ｃに表示する侵入判定領域にある対象物についても、その距離Ｚが近いほど大きいアイコンを表示するようにしてもよい。
また対象物の検出は、赤外線カメラに限るものではなく、可視光を検出するＣＣＤカメラ、あるいはレーザなどにより行うようにしてもよい。
【００２８】
【発明の効果】
以上詳述したように本発明によれば、当該車両の進行方向で、対象物が存在し続ければ当該車両と対象物が衝突する可能性が高い領域に設定される接近判定領域内で対象物が検出されたときは、ヘッドアップディスプレイの表示画面の中央領域にその対象物の検出された位置に応じた、当該位置を運転者が認識できる表示が行われ、当該車両の進行方向で、接近判定領域の左右の外側に設定される侵入判定領域内で対象物が検出されたときは、その対象物が左右の侵入判定領域のいずれかに存在することを示す情報がヘッドアップディスプレイの表示画面の右領域若しくは左領域に表示されるので、接近判定領域内あるいは左右の侵入判定領域のいずれかに対象物が存在するか否かを運転者が容易に視認することができ、さらに接近判定領域内に存在する対象物についてはその位置についての認識も容易に得ることが可能となる。また接近判定領域内で対象物が検出されたときは、中央領域にカメラにより撮像された画像が表示され、検出した対象物が強調表示されるので、運転者は表示像の大きさにより当該対象物までの距離を視覚的に容易に認識することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる画像表示装置を含む、車両の周辺監視装置の構成を示す図である。
【図２】赤外線カメラの取り付け位置を説明するための図である。
【図３】図１の画像処理ユニットにおける処理の手順を示すフローチャートである。
【図４】図３の表示制御処理を詳細に示すフローチャートである。
【図５】赤外線カメラにより得られるグレースケール画像を説明するために、中間階調部にハッチングを付して示す図である。
【図６】グレースケール画像を２値化した画像を説明するために、黒の領域をハッチングを付して示す図である。
【図７】ランレングスデータへの変換処理及びラベリングを説明するための図である。
【図８】視差の算出方法を説明するための図である。
【図９】視差から距離を算出する手法を説明するための図である。
【図１０】本実施形態における座標系を示す図である。
【図１１】車両前方の領域区分を説明するための図である。
【図１２】ヘッドアップディスプレイ上の表示を説明するための図である。
【図１３】ヘッドアップディスプレイ上の表示の変形例を説明するための図である。
【符号の説明】
１Ｒ、１Ｌ赤外線カメラ（対象物検出手段）
２画像処理ユニット（対象物検出手段、表示制御手段）
４ヘッドアップディスプレイ
４１表示画面
４１ａ中央領域
４１ｂ右領域
４１ｃ左領域[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image display device for a vehicle that detects an object existing in the traveling direction of the vehicle with an imaging device or the like and displays the object on a head-up display.
[0002]
[Prior art]
If an obstacle in front of the vehicle is detected and the obstacle is at high risk, the head-up display will indicate the obstacle in a red frame to ensure that the driver is informed of the danger. A danger information alarm device having the above structure is conventionally known (Japanese Patent Laid-Open No. 6-215300).
[0003]
[Problems to be solved by the invention]
However, in the above conventional apparatus, the display position of the head-up display is calculated by calculating the display position of the red frame so that the actual image of the detected obstacle and the displayed red frame are superimposed on the front window. Since the control is performed, there is a problem that display control is complicated, and a real image of an obstacle present in the distance is small, so that the driver cannot easily see.
[0004]
The present invention has been made paying attention to such points, and provides an image display device that detects an object existing in the traveling direction of a vehicle and allows a driver to easily and reliably grasp the surrounding situation. The purpose is to do.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 is directed to an object detection means for detecting an object existing in the traveling direction of the vehicle, and a head-up for displaying the object detected by the object detection means. In the vehicle image display device including the display, the display screen of the head-up display includes a left region, a center region, and a horizontal region that are horizontally divided by a vertical dividing line that extends from the upper end to the lower end of the display screen. In an approach determination area that is set to an area that is likely to collide with the object if the object continues to exist in the traveling direction of the vehicle by the object detection means. when the object is detected, in accordance with the detected position of the object before Symbol in central region, the head-up disk-flop to the position the driver performs display recognizable Controls Lee, by the object detecting means, in the traveling direction of the vehicle, wherein when the object intrusion judging area set outside the left and right approach determination region is detected, prior Symbol right area or Display control means for controlling the head-up display so as to display information indicating that the object is present in any of the intrusion determination areas in the left area, and the object detection means includes: A camera that images the front, and when the object is detected in the approach determination area by the object detection means, an image captured by the camera is displayed in the center area, and the detected object to highlight the features of the Rukoto.
[0006]
According to this configuration, when an object is detected in an approach determination area set in an area where the object is likely to collide with the object if the object continues to exist in the traveling direction of the vehicle. In the center area of the display screen of the head-up display, a display that allows the driver to recognize the position according to the detected position of the target object is performed, and the left and right outer sides of the approach determination area in the traveling direction of the vehicle When an object is detected within the intrusion determination area set to, information indicating that the object exists in either the left or right intrusion determination area is the right area or the left area of the display screen of the head-up display because it is displayed on the subject to the driver whether the object exists in any of the approach determination region or lateral intrusion determination areas can be easily visible, additionally present the approach determination region For it is possible to easily obtain also aware of its location. When an object is detected in the approach determination area, an image captured by the camera is displayed in the center area, and the detected object is highlighted, so that the driver can select the object according to the size of the display image. The distance to the object can be easily recognized visually.
[0007]
According to a second aspect of the invention, in the image display apparatus for a vehicle according to claim 1, and more on the object detection hand stage, when the object with the intrusion determination area is detected, the right area or An icon corresponding to the detected object is displayed in the left area.
Further, an icon corresponding to the detected object may be displayed in the central area, and control may be performed so that the icon becomes larger as the distance between the vehicle and the object is shorter.
[0008]
Further, when an icon corresponding to the detected object is displayed in the right area or the left area, the icon may be controlled to be larger as the distance between the vehicle and the object is shorter.
Another feature of the present invention is that the vehicle includes: an object detection unit that detects an object that exists in the traveling direction of the vehicle; and a head-up display that displays the object detected by the object detection unit. In the image display device, when the object is detected in the traveling direction of the vehicle by the object detection means, display control for controlling the head-up display to display an icon corresponding to the position of the object Providing means.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a diagram showing a configuration of a vehicle periphery monitoring device including an image display device according to an embodiment of the present invention. This device includes two

infrared cameras

1R and 1L capable of detecting far infrared rays, Obtained by a yaw rate sensor 5 that detects the yaw rate of the vehicle, a vehicle speed sensor 6 that detects the travel speed (vehicle speed) VCAR of the vehicle, a brake sensor 7 that detects the amount of brake operation, and these

cameras

1R and 1L. An image processing unit 2 that detects an object such as an animal in front of the vehicle based on the image data and issues a warning when there is a high possibility of a collision; a speaker 3 that issues a warning by sound; and a

camera

1R or 1L The head-up display (hereinafter referred to as “HUD”) for displaying the image obtained by the above and for allowing the driver to recognize an object having a high possibility of collision. And a 4.
[0010]
As shown in FIG. 2, the

cameras

1R and 1L are arranged in front of the vehicle 10 at almost target positions with respect to the central axis in the lateral direction of the vehicle 10. The optical axes of the two

cameras

1R and 1L are They are parallel to each other and fixed so that their height from the road surface is equal. The

infrared cameras

1R and 1L have a characteristic that the output signal level increases (the luminance increases) as the temperature of the object increases.
[0011]
The image processing unit 2 includes an A / D conversion circuit that converts an input analog signal into a digital signal, an image memory that stores a digitized image signal, a CPU (Central Processing Unit) that performs various arithmetic processes, and data that is being calculated by the CPU Output circuit for outputting RAM (Random Access Memory) used for storing CPU, ROM (Read Only Memory) for storing programs and tables executed by CPU, map, etc., driving signal for speaker 3, display signal for HUD4, etc. The output signals of the

cameras

1R and 1L and the sensors 5 to 7 are converted into digital signals and input to the CPU.
As shown in FIG. 2, the HUD 4 is provided so that a screen 41 is displayed at a front position of the driver on the front window of the vehicle 10.
[0012]
FIG. 3 is a flowchart showing the procedure of object position detection processing in the image processing unit 2. First, the output signals of the

cameras

1R and 1L are A / D converted and stored in the image memory (steps S11, S12, S13). . The image stored in the image memory is a grayscale image including luminance information. FIGS. 5A and 5B are diagrams for explaining gray scale images obtained by the

cameras

1R and 1L (a right image is obtained by the camera 1R and a left image is obtained by the camera 1L), respectively. The hatched area is an intermediate gradation (gray) area, and the area surrounded by a thick solid line has a high luminance level (at a high temperature) and is an area of an object displayed as white on the screen (hereinafter, “ It is referred to as a “high luminance region”. In the right image and the left image, the horizontal positions of the same target object on the screen are shifted and displayed, and the distance to the target object can be calculated from this shift (parallax).
[0013]
In step S14 of FIG. 3, the right image is used as a reference image, and binarization of the image signal, that is, an area brighter than the experimentally determined luminance threshold value ITH is set to “1” (white), and a dark area is set to “0”. ”(Black). FIG. 6 shows an image obtained by binarizing the image of FIG. This figure shows that the hatched area is black and the high luminance area surrounded by the thick solid line is white.
[0014]
In the subsequent step S15, the binarized image data is converted into run-length data. FIG. 7A is a diagram for explaining this, and in this figure, whitened areas by binarization are shown as lines L1 to L8 at the pixel level. Each of the lines L1 to L8 has a width of one pixel in the y direction and is actually arranged with no gap in the y direction, but is shown separated for the sake of explanation. The lines L1 to L8 have lengths of 2 pixels, 2 pixels, 3 pixels, 8 pixels, 7 pixels, 8 pixels, 8 pixels, and 8 pixels, respectively, in the x direction. The run length data includes the coordinates of the start point of each line (the leftmost point of each line) and the length (number of pixels) from the start point to the end point (the rightmost point of each line). It is shown. For example, since the line L3 includes three pixels (x3, y5), (x4, y5), and (x5, y5), the run length data is (x3, y5, 3).
[0015]
In steps S16 and S17, processing for extracting an object is performed by labeling the object as shown in FIG. 7B. That is, of the lines L1 to L8 converted to run length data, the lines L1 to L3 having portions overlapping in the y direction are regarded as one object 1, the lines L4 to L8 are regarded as one object 2, and the run length data The object labels 1 and 2 are added to. By this processing, for example, the high luminance regions shown in FIG. 6 are grasped as the objects 1 to 4, respectively.
Note that the processing in steps S14 to S17 in FIG. 3 described above is executed for a binarized reference image (right image in the present embodiment).
[0016]
In step S18 of FIG. 3, the object image R2 in the left image corresponding to the object image R1 included in the right image is obtained as shown in FIG. 8, and the center line LCTR in the x direction of the right image and the object image R1 are obtained. The distance ΔdR from the center of gravity of the left image and the distance ΔdL between the center line LCTR of the left image and the center of gravity of the object image R2 are calculated and applied to the following equation (1) to obtain the distance from the vehicle 10 to the object. z is calculated.
[Expression 1]

[0017]
Here, B is the base line length, that is, the distance in the horizontal direction (x direction) between the center position of the image sensor 11R of the camera 1R and the center position of the image sensor 11L of the camera 1L as shown in FIG. Axis spacing), F is the focal length of the

lenses

12R and 12L, p is the pixel spacing in the

image sensors

11R and 11L, and Δd (= dR + dL) is the amount of parallax. F is the ratio of the focal length F and the pixel interval p.
[0018]
In step S19, the coordinates (x, y) in the image and the distance z calculated by the equation (1) are applied to the following equation (2) to convert to real space coordinates (X, Y, Z). Here, as shown in FIG. 10A, the real space coordinates (X, Y, Z) are obtained by setting the position of the midpoint of the attachment position of the

cameras

1R, 1L (position fixed to the host vehicle 10) to the origin O. The coordinates in the image are defined as x in the horizontal direction and y in the vertical direction with the center of the image as the origin, as shown in FIG.
[Expression 2]

[0019]
Here, (xc, yc) is the coordinate (x, y) on the right image based on the relative position relationship between the mounting position of the camera 1R and the real space origin O and the center of the image. Are converted into coordinates in a virtual image. F is a ratio between the focal length F and the pixel interval p.
In step S20 of FIG. 3, the display control process shown in FIG. 4 is executed. This process controls the display state of the screen 41 of the HUD 4 according to the detected position of the object.
[0020]
FIG. 11 shows an area that can be monitored by the

cameras

1R and 1L as an outer triangular area AR0 indicated by a thick solid line, and areas AR1, AR2, and AR3 that are close to the host vehicle 10 in the area AR0. It is said. Here, the area AR1 is an area corresponding to a range in which a margin β (for example, about 50 to 100 cm) is added to both sides of the vehicle width α in the traveling direction of the host vehicle 10, in other words, in the lateral direction of the host vehicle 10. This is an area having a width of (α / 2 + β) on both sides of the central axis, and if the object continues to exist as it is, the possibility of a collision is extremely high, so it is called an approach determination area. Areas AR <b> 2 and AR <b> 3 are areas in which the absolute value of the X coordinate is larger than the approach determination area (outside in the lateral direction of the approach determination area), and even an object in this area travels in a direction perpendicular to the traveling direction of the vehicle 10. An object approaching the vehicle 10 is called an intrusion determination area because it has a high possibility of collision. When the object detected in the approach determination area AR1 and the intrusion determination areas AR2 and AR3 is displayed on the HUD 4 by the process of FIG. 4, the possibility of collision is determined by a process not shown, and the possibility is high. Issues a warning to the driver through the speaker 3 and voice and the display on the screen 41 of the HUD 4.
[0021]
In step S41 in FIG. 4, it is determined whether or not the detected object is in the approach determination area AR1, and when it is in the approach determination area AR1, the center area 41a of the screen 41 is displayed as shown in FIG. The image picked up by the camera 1R is displayed and the detected object OBJ1 is highlighted (for example, surrounded by a frame) (step S42). In this way, the object image actually captured by the camera 1R is displayed in the center area 41a of the screen. Therefore, the display image becomes smaller as the object is farther away, and the driver can select the object according to the size of the display image. The distance to the object can be easily recognized visually.
[0022]
When there is no object in the approach determination area AR1, it is determined whether or not there is an object present in the intrusion determination areas AR2 and AR3 (step S43). As shown in FIG. When the object OBJ2 is detected, the icon ICR corresponding to the object OBJ2 is displayed in the right area 41b of the screen 41, and when the object OBJ3 is detected in the intrusion determination area AR3, the screen 41 is displayed. The icon ICL corresponding to the object OBJ3 is displayed in the left area 41c (step S44). The icons ICR and ICL are prepared , for example, in advance so as to resemble the outer shape of a pedestrian, and are controlled so that they are actually displayed when a corresponding object is detected.
[0023]
Among objects existing in the intrusion determination area, objects that are highly likely to collide tend to have a substantially constant direction of the object as viewed from the vehicle 10, and in the image obtained by the

camera

1R or 1L. Since there is almost no movement, it is possible to clearly notify the driver of the presence by displaying an icon on the screen. That is, the driver can easily visually recognize the presence of such an object.
[0024]
When it is determined that there is a high possibility of a collision with the object OBJ1 detected in the approach determination area AR1, control such as blinking the highlight frame or changing the display color at a constant cycle is performed. And when it is determined that there is a high possibility of collision with the objects OBJ2 and OBJ3 detected in the intrusion determination areas AR2 and AR3, the icon is blinked or the display color is changed at a constant cycle. Control such as to do.
[0025]
As described above, in the present embodiment, when an object is detected in the approach determination area AR1 set in the traveling direction of the vehicle 10, an image obtained by the camera 1R, that is, a display corresponding to the position of the object is displayed. When the HUD 4 is controlled so that the object is detected in the intrusion determination areas AR2 and AR3 set outside the approach determination area, the icons ICR and ICL corresponding to the object, that is, the object is Since the HUD 4 is controlled so as to display information indicating that it exists, the driver can easily see whether or not there is an object in the approach determination area or the intrusion determination area, Furthermore, it is possible to easily recognize the position of an object existing in the approach determination area.
[0026]
In the present embodiment, the image processing unit 2 and the HUD 4 constitute an image display device. More specifically, the

cameras

1R and 1L and steps S11 to S19 in FIG. 3 correspond to the object detection unit, and the process in FIG. 4 corresponds to the display control unit.
The present invention is not limited to the embodiment described above, and various modifications can be made. For example, in the above-described embodiment, the image obtained by the camera 1R is displayed in the center area of the screen of the HUD 4, but the icon ICC is also displayed in the center area 41a as shown in FIG. Also good. In this case, the icon display position in the central area 41a is controlled according to the detected position of the object, and the object closer to the host vehicle 10 is displayed with a larger icon so that the distance of the object (Z coordinate). Display according to. That is, in the example shown in FIG. 13, the object corresponding to the icon ICC1 exists closest, the object corresponding to the icon ICC2 exists next, and the object corresponding to the icon ICC3 exists farthest. Show.
[0027]
Also, as shown in the figure, for objects in the intrusion determination area displayed in the right area 41b and the left area 42c, a larger icon may be displayed as the distance Z is shorter.
The detection of the object is not limited to the infrared camera, and may be performed by a CCD camera that detects visible light, a laser, or the like.
[0028]
【The invention's effect】
As described above in detail, according to the present invention, in the direction of travel of the vehicle, if the object continues to exist , the object is within the proximity determination area that is set to an area where the vehicle and the object are likely to collide . Is detected in the center area of the display screen of the head-up display according to the detected position of the object , so that the driver can recognize the position and approach in the direction of travel of the vehicle. when the object intrusion judging area set outside the left and right of the determination area is detected, the display screen of the information the head-up display to indicate that the object is present in either of the right and left penetration determination area because it is displayed on the right area or the left area, can the driver whether the object exists in any of the approach determination region or lateral intrusion determination area is easily visible, further approach determination region The object existing in it is possible to obtain easily be recognized for that position. When an object is detected in the approach determination area, an image captured by the camera is displayed in the center area, and the detected object is highlighted, so that the driver can select the object according to the size of the display image. The distance to the object can be easily recognized visually.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a vehicle periphery monitoring device including an image display device according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining an attachment position of an infrared camera.
FIG. 3 is a flowchart showing a processing procedure in the image processing unit of FIG. 1;
4 is a flowchart showing in detail the display control process of FIG. 3;
FIG. 5 is a diagram showing hatching in an intermediate gradation part in order to explain a grayscale image obtained by an infrared camera.
FIG. 6 is a diagram showing a black region with hatching in order to explain an image obtained by binarizing a grayscale image.
FIG. 7 is a diagram for explaining conversion processing and labeling into run-length data.
FIG. 8 is a diagram for explaining a parallax calculation method;
FIG. 9 is a diagram for explaining a method of calculating a distance from parallax.
FIG. 10 is a diagram showing a coordinate system in the present embodiment.
FIG. 11 is a diagram for explaining an area division in front of the vehicle.
FIG. 12 is a diagram for explaining a display on a head-up display.
FIG. 13 is a diagram for explaining a modification of the display on the head-up display.
[Explanation of symbols]
1R, 1L infrared camera (object detection means)
2 Image processing unit (object detection means, display control means)
4 Head-up display 41 Display screen

41a Center area

41b Right area 41c Left area

Claims

In an image display device for a vehicle, comprising: an object detection unit that detects an object present in a traveling direction of the vehicle; and a head-up display that displays an object detected by the object detection unit.
The display screen of the head-up display is composed of a left region, a center region, and a right region that are horizontally divided into three by a vertical dividing line that extends from the upper end to the lower end of the display screen ,
If the object continues to exist in the traveling direction of the vehicle, the object detection means detects the object in an approach determination area set as an area where the vehicle and the object are likely to collide. and time, in accordance with the detected position of the object before Symbol in central region, and controls the head-up display to the position the driver performs display that can be recognized,
By the object detecting means, the progressive direction of the vehicle, the approaching when the object intrusion determination area where the left and right are set outside the determination area is detected, the subject prior Symbol right area or the left area Display control means for controlling the head-up display to display information indicating that an object is present in any of the intrusion determination areas ;
The object detection means includes a camera that images the front of the vehicle, and when the object is detected in the approach determination area by the object detection means, the object is imaged in the central area by the camera. display image, an image display device for a vehicle characterized that you highlight an object that the detection.

By the object detecting means, wherein when the object intrusion determination area has been detected, according to claim 1, characterized in that to display the icon corresponding to the detected object in the right area or the left area Vehicle image display device.