JP2004147083A

JP2004147083A - 運転支援装置

Info

Publication number: JP2004147083A
Application number: JP2002309831A
Authority: JP
Inventors: Kazufumi Mizusawa; 水澤　和史
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-10-24
Filing date: 2002-10-24
Publication date: 2004-05-20

Abstract

【課題】二次元のモニタ画面上で車両軌跡を直感的に立体視できるようにする。
【解決手段】車載カメラと、前記車載カメラの撮像画像を表示する車載モニタと、前記車載モニタに前記撮像画像を表示するとき車両の進行予測方向を示す車両軌跡画像を前記撮像画像に重畳する画像合成手段と、前記車両軌跡画像を車両進行方向の地面上の軌跡面と車両両側面の軌跡面とでなるＵ字形状で表示すると共に前記車両両側面の軌跡面間を１本または２本の線１１５で結んで前記車載モニタに表示させる運転支援データ生成手段とを備える。線１１５が存在することで、車両両側面の軌跡面が地面から立ち上がった面として直感的に把握でき、車両軌跡画像を瞬時に立体視することができる。
【選択図】　図７

Description

【０００１】
【発明の属する技術分野】
本発明は車載カメラで撮像した画像を車載モニタに表示し車両運転を支援する運転支援装置に係り、特に、車両が進行する領域をモニタ画面上で直感的に把握させることが可能な運転支援装置に関する。
【０００２】
【従来の技術】
車載カメラを車両のリアトランク部等に後ろ向きに設置し、この車載カメラで撮影した車両後方の撮像画像を運転者に提示する運転支援装置が普及し始めている。従来の特開２００１―１８０４０５号公報（特許文献１）に記載された操舵支援装置は、車載カメラによる撮像画像に加え、車幅ラインを示すガイド線を車両後方に延びる様にモニタ画面上に重畳表示し、このガイド線の向きをハンドル操作に合わせて移動させ、車両進行方向を運転者が容易に認識できるようにしている。
【０００３】
また、この従来技術では、車幅ラインを示すガイド線のうち車両が曲がる内側すなわち他車と接触する可能性の高い側のガイド線を、地面からバンパ位置まで立ち上がる曲面で表示し、車両の最も出っ張っている部分であるバンパが障害物に接触するか否かの判断を容易にしようとしている。
【０００４】
【特許文献１】
特開２００１―１８０４０５号公報（図７）
【０００５】
【発明が解決しようとする課題】
しかしながら、車載モニタにガイド線を重畳表示する場合、そのガイド線が何を意味しているのか、見た瞬間に直感的に認識できるものである必要がある。上述した従来技術に係るガイド線、特に、地面上のガイド線からバンパ位置まで立ち上がる三次元の曲面で表示しようとしたガイド線は、これが車載モニタの二次元画面上に表示されたとき、このガイド線を見た運転者が三次元の曲面であると直感的に把握するか否かの保証はなく、道路の表面上に描かれた面であると誤認識する虞がある。
【０００６】
本発明の目的は、車両進行方向の予測軌跡を三次元表示したときモニタ画面上で運転者等がこの軌跡を三次元表示されているということを容易に把握することができる運転支援装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成する運転支援装置は、車載カメラと、前記車載カメラの撮像画像を表示する車載モニタと、前記車載モニタに前記撮像画像を表示するとき車両の進行予測方向を示す車両軌跡画像を前記撮像画像に重畳する画像合成手段と、前記車両軌跡画像を車両進行方向の地面上の軌跡面と車両両側面の軌跡面とでなるＵ字形状で表示するとき前記車両両側面の軌跡面間を前記地面上の軌跡面から浮いた位置の１本または２本の線で結んで前記車載モニタに表示させる運転支援データ生成手段とを備えたことを特徴とする。
【０００８】
この構成により、車両両側面の軌跡面が地面から立ち上がる面として認識容易となり、モニタ画面上で車両軌跡を立体として把握することができ、車両軌跡と重なる障害物との干渉の判断が容易となる。
【０００９】
好適には、上記において、前記撮像画像及び前記車両軌跡画像は視点変換した画像として前記車載モニタに表示されることを特徴とする。この構成により、モニタの表示画像を様々な視点から見た画像に変換し運転者に提供可能となる。
【００１０】
更に好適には、上記において、前記車両両側面の軌跡面は、高さを車高またはバンパ位置までとすることを特徴とする。この構成により、高さ方向の距離感が出て立体感が強調される。
【００１１】
更に好適には、上記において、前記車両両側面の軌跡面中にバンパ位置を強調表示したことを特徴とする。この構成により、車両側部で最も出っ張る位置に対して注意が喚起され、バンパと他車などの障害物との干渉の有無の判断が容易となる。
【００１２】
更に好適には、上記において、前記バンパ位置の強調表示は、所定幅の面で表示されることを特徴とする。この構成により、バンパ位置に対する注意喚起が更に強まると共に、立体感が更に向上する。
【００１３】
更に好適には、上記において、前記地面上の軌跡面中は距離表示を非表示としたことを特徴とする。この構成により、画面中の煩雑さが軽減され、見やすい画面となる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【００１５】
図１は、本発明の一実施の形態に係る運転支援装置の構成を示すブロック図である。本実施の形態に係る運転支援装置は、画角内の景色をカラー撮影するカメラ１０と、車両のハンドルの切れ角を検出するハンドル角度センサ２０と、ハンドル角度センサ２０の検出値から操舵角を演算して求める操舵角演算部３０と、カメラ１０の撮像画像と操舵角演算部３０の演算結果とを取り込んで後述するように運転支援画像データを生成する画像処理部４０と、画像処理部４０で生成された運転支援画像データを映像信号に変換する表示制御部５０と、表示制御部５０からの映像信号を画面に表示するカラー液晶等のモニタ６０とを備える。
【００１６】
画像処理部４０は、画像処理全体を司るＣＰＵ（中央処理装置）４１と、ＣＰＵ４１の制御プログラムを記憶するプログラムメモリ４２と、ＣＰＵ４１による画像処理作業に使用される作業メモリ４３とで構成される。
【００１７】
作業メモリ４３は、カメラ１０に接続された画像記憶部４４と、画像記憶部４４に接続された視点変換マップデータ格納部４５と、操舵角演算部３０及び視点変換マップデータ格納部４５に接続された運転支援データ生成部４６と、運転支援データ生成部４６に接続された軌跡マップデータ格納部４７と、画像記憶部４４及び運転支援データ生成部４６に接続された画像合成部４８とからなる。
【００１８】
視点変換マップデータ格納部４５には、視点変換に用いられる所定の視点変換マップデータが格納されている。視点変換とは、カメラ１０の実視点で撮影された画像を所望する他の仮想視点位置から観た画像に変換することをいう。また、視点変換マップデータは、視点変換とレンズの歪補正の両方を含めた変換マップデータとしてもよい。
【００１９】
画像記憶部４４は、カメラ１０で撮影された実画像を取り込んだとき、この実画像の画素データを、視点変換マップデータ格納部４５に格納されている視点変換マップデータに従って配置し直し、視点変換画像として記憶する。
【００２０】
軌跡マップデータ格納部４７には、軌跡マップデータが車輪の操舵角毎にそれぞれ格納されており、運転支援データ生成部４６は、操舵角演算部３０で演算された車輪の操舵角に従って、対応する軌跡マップデータを軌跡マップデータ格納部４７から取得する。
【００２１】
また、運転支援データ生成部４６は、画像記憶部４４で行った処理と同様に、視点変換マップデータ格納部４５に格納されている視点変換マップデータに従って、軌跡マップデータに対し所定の視点変換を施した軌跡画像を生成する。
【００２２】
画像合成部４８は、画像記憶部４４で生成された視点変換画像と運転支援データ生成部４６で生成された軌跡画像とを合成して運転支援画像データを生成し、所定のタイミングで表示制御部５０へ出力する。
【００２３】
典型的には、プログラムメモリ４２、視点変換マップデータ格納部４５及び軌跡マップデータ格納部４７は、リードオンリーメモリのような読み出し専用メモリで構成され、画像記憶部４４、画像支援データ生成部４６及び画像合成部４８は、ランダムアクセスメモリの様な読み書き可能なメモリで構成される。
【００２４】
図２は、図１で説明した運転支援装置を車両１に搭載したときのイメージ図である。この車両１には、その後方の周囲を撮影するカメラ１０が後方上部に設置されている。また、カメラ１０は、その撮影範囲（視界範囲）内に、車両後部バンパー３等の車両１の一部が写り込むように設置されている。
【００２５】
車両１の運転席には、モニタ６０が設けられている。車両１にナビゲーション装置が搭載されている場合、モニタ６０は、ナビゲーション装置の表示部としても機能する。またこの場合、モニタ６０は、通常はナビゲーション装置の表示部として使用され、運転席に設けられたシフトレバー５がバック走行位置に操作されたとき、カメラ１０で撮影される画像が表示可能な状態に切り換えられるようになっている。
【００２６】
同様に、画像処理部４０は、シフトレバー５がバック走行位置に操作された場合だけ、上述した画像処理を所定の周期（例えば、１秒間に３０フレームの画像を処理する周期）で行う。なお、シフトレバー５がバック走行位置に操作されたか否かは、シフトレバー５の位置を検知するスイッチを別途設けて判断すれば容易である。
【００２７】
操舵輪である前輪７ａ及び７ｂは、ハンドル８の操作によって操舵される。ハンドル角度センサ２０は、ハンドル８に対して所定の位置に設けられ、運転者によって操作されたハンドル８の切れ角θを検出する。操舵角演算部３０は、ハンドル角度センサ２０で検出された切れ角θから、前輪７ａ及び７ｂの操舵角（タイヤ切れ角）βを演算する。この操舵角βは、切れ角θに所定の係数Ｋを掛けることで求められる（β＝Ｋθ）。
【００２８】
図１に示す画像処理部４０、操舵角演算部３０、表示制御部５０は、車両１内部の電子機器搭載に適した適宜箇所に設置される（図２には図示省略）。
【００２９】
次に、軌跡マップデータ格納部４７に予め格納される軌跡マップデータの作成方法について説明する。
【００３０】
まず、図３に示す世界座標系による地面上の軌跡面データが設計される。図３において、車両１の車幅をＷと、ホイールベース長をＬと、後輪７ｃ及び７ｄの中心間距離をＴｒとすると、リヤアクスル中央（後輪７ｃと後輪７ｄとの中点）Ｏｖの転回半径Ｒｍｉｄ　、リヤアクスル中心線Ａｘと転回中心Ｏに対して車体外側（後輪７ｃの外側）との交点の転回半径Ｒｏｕｔ　、及びリヤアクスル中心線Ａｘと転回中心Ｏに対して車体内側（後輪７ｄの内側）との交点の転回半径Ｒｉｎは、操舵角βを含む次式（１）〜（３）でそれぞれ表される。
【００３１】
Ｒｍｉｄ　＝　（Ｌ／ｔａｎβ）−（Ｔｒ／２）　　　　　　　（１）
Ｒｏｕｔ　＝　Ｒｍｉｄ＋Ｗ／２
＝　（Ｌ／ｔａｎβ）−（Ｔｒ／２）＋Ｗ／２　　　（２）
Ｒｉｎ　＝　Ｒｍｉｄ−Ｗ／２
＝　（Ｌ／ｔａｎβ）−（Ｔｒ／２）−Ｗ／２　　　（３）
【００３２】
そして、世界座標系での軌跡データ、すなわち車両が後退する予測進路Ｇｉｎ及びＧｏｕｔ　は、中点Ｏｖが転回半径Ｒｍｉｄ　の軌跡Ｇｍｉｄ　上を０〜３００ｃｍ後退する範囲において、後輪７ｃ及び７ｄの移動位置が２５ｃｍ間隔でそれぞれ１３箇所計算されることで求められる。この予測進路Ｇｉｎ及びＧｏｕｔ　を、操舵角βが取り得る値の範囲（例えば、０度〜３７度の左右方向）について、１度刻みで求める。なお、計算の範囲及び箇所数については、上記の例以外であってもよい。また、操舵角βを刻む単位は、１度以外であっても構わない。
【００３３】
これにより、図４（ａ）（ｂ）のような地面上の軌跡面データが作成される。図４（ａ）は直進後退の軌跡面データであり、図４（ｂ）はカーブして後退するときの軌跡面データである。図４（ａ）（ｂ）の例では、図３に示す予測進路Ｇｉｎ及びＧｏｕｔ　をライン１０１及び１０２で、車両後部バンパー３の後端が１ｍ、２ｍ及び３ｍ後退した時の位置を、それぞれライン１０３、ライン１０４及びライン１０５で表現している。
【００３４】
次に、この作成された地面上の軌跡面データの予測進路Ｇｉｎ及びＧｏｕｔ　上に、図５（ａ）（ｂ）のように、車両１の両側面の予測軌跡面１１０、１１１を表現する。この軌跡面１１０、１１１は、地面から車両１の車体最頂部までの高さを示すが、地面から車両１のバンパ位置までの高さとすることでもよい。尚、車両１の側面の軌跡は、車両側面の形状に忠実に倣う必要はなく、この例では、車両側面の外接線の軌跡とする。
【００３５】
上記の様にして作成された世界座標系での地面上の軌跡面データ及び両側面の軌跡面データが軌跡マップデータ格納部４７に格納されており、運転支援データ生成部４６は、この世界座標系での軌跡面データを視点変換マップデータに基づいて視点変換及びレンズ歪み補正を行い、カメラ１０の撮像画像を視点変換した画像に画像合成部４８が合成することで、運転支援画像を生成する。
【００３６】
この場合、本実施の形態では、世界座標系での軌跡面データを視点変換及びレンズ歪み補正するとき、単に視点変換やレンズ歪み補正を行うのではなく、モニタ６０の画面上で車両軌跡を三次元的に直感的に把握しやすい画像に強調補正を行うこととしている。
【００３７】
図６は、世界座標系での直進後退の車両軌跡データを単に視点変換及びレンズ歪み補正した画像である。仮想視点位置は、図２に示すカメラ１０の実設置位置より約５０ｃｍ上方としている。この図６の画像に表されている軌跡データは、車両の車幅を示す線１０１ａ、１０２ａと、地面上の車両後方１ｍ、２ｍ、３ｍを夫々示す線１０３ａ、１０４ａ、１０５ａと、車両両側面の軌跡面１１０ａ、１１１ａである。
【００３８】
この図６の画像は、三次元の図形であると意識して見れば三次元の車両軌跡として見ることができる。しかし、この画像がモニタ６０の二次元画面に表示されたとき、瞬時に三次元の画像であると把握するのは難しく、車両両側面の軌跡面１１０ａ、１１１ａも地面に描かれた画像として認識されてしまう虞が高い。
【００３９】
そこで、本実施の形態では、この図６の画像を直感的に三次元の軌跡であると瞬時に把握できるように、図７で説明する様に強調補正し、この強調補正を施した車両軌跡の画像をカメラの撮像画像に重畳表示することとしている。
【００４０】
図７は、図６の画像を強調補正した画像である。本実施の形態では、車両の側面軌跡を示す軌跡面１１０ａと軌跡面１１１ａとを結ぶ立体視補助用の強調線１１５を１本だけ表示している。この強調線１１５が表示されることで、軌跡面１１０ａと軌跡面１１１ａとが地面から立ち上がった三次元的な面として直感的に把握可能となる。この例では、立体視補助用の強調線１１５の始点と終点は、地面上の軌跡面から浮いた位置の車高を示す高さの、面１１０ａ、１１１ａの手前側上端位置としているが、これに限るものではない。
【００４１】
本実施の形態では更に、軌跡面１１０ａと軌跡面１１１ａの端線すなわち、車両後端０ｍを示す端線１１０ｂ、１１１ｂと、地面上の車幅を示す線１０１ａ、１０２ａとを結ぶ車両後端０ｍを示す線１０６ａも表示し、地面上の軌跡面すなわち線１０１ａ、１０２ａ、１０５ａ、１０６ａで囲まれる枠内は空白とし、中間の距離データの表示は削除している。
【００４２】
即ち、図６に示す線１０３ａ、１０４ａに相当する距離データ用の線は非表示としている。これらの線１０３ａ、１０４ａはそれぞれ車両後端１ｍ、２ｍを示すものであるが、図７に示す例では、車両両側の軌跡面１１０ａ、１１１ａの中の縦線１１０ｃ、１１１ｃが５０ｃｍ毎の距離表示となっている。
【００４３】
更に、本実施の形態では、車両側部で最も出っ張っている箇所すなわちバンパ位置を示すバンパ線１２０ａ、１２１ａを、車両側面の軌跡面１１０ａ、１１１ａ中に輝線表示あるいは色替え表示することで、運転者に注意を喚起するようにしている。この例では、バンパ線１２０ａ、１２１ａはガードレールの様にある程度幅のある面として強調表示し、バンパ位置が立体として容易に把握できるようにしている。
【００４４】
また、強調表示する場合、このガードレール状の帯部分を輝線表示や色分け表示する代わりに、この帯部分を窓の様に開けることで強調することも可能である。このようにすると、帯部分内に来るカメラの撮像画像が邪魔されずに見える利点がある。
【００４５】
図８は、運転支援装置の画像処理部４０で行われる処理手順を示すフローチャートである。車両１のシフトレバー５がバック走行位置に切り換えられたとき、ハンドル角度センサ２０で検出されたハンドル８の切れ角θに応じた操舵角βが、操舵角演算部３０で演算される（ステップＳ８１）。次に、運転支援データ生成部４６において、操舵角βに対応する軌跡マップデータが、軌跡マップデータ格納部４７から読み出される（ステップＳ８２）。
【００４６】
次に、運転支援データ生成部４６において、必要な視点変換と図７で説明した強調補正が行われて車両軌跡画像が生成される（ステップＳ８３）。次に、カメラ１０で撮影されかつ必要な視点変換が行われた視点変換画像が、画像記憶部４４から画像合成部４８に書き込まれたか否かが判断される（ステップＳ８４）。この書き込みが完了すると、画像合成部４８において、車両軌跡画像が視点変換画像に重畳されて表示制御部５０へ出力される（ステップＳ８５，Ｓ８６）。以上の処理は、車両１のシフトレバー５がバック走行位置にある間、繰り返して行われる（ステップＳ８７）。
【００４７】
以上のように、本発明の一実施の形態に係る運転支援装置によれば、車両の軌跡をモニタ６０の二次元画面に直感的に立体視可能な画像として表示されるため、車両後退時に近接する他車両と自車両との距離感や障害物の地面からの高さを、運転者に容易に把握させることが可能となる。
【００４８】
図９は、本発明の別実施の形態に係る強調補正例を示す車両軌跡画像である。この実施の形態では、車両の側面軌跡を示す面１１０ａ、１１１ａの中にバンパ位置を強調するバンパ線１２２ａ、１２３ａを表示し、更に、線１２２ａ、１２３ａの端点同士を接続する立体視補助用の強調線１２５ａ、１２６ａを表示することで、車両側面の軌跡面１１０ａ、１１１ａ間を結び、軌跡面１１０ａ、１１１ａが地面から立ち上がった面であることを容易に把握可能としている。
【００４９】
また、この実施の形態でも、図７に示す実施の形態と同様に、Ｕ字形状の車両軌跡の上面部を閉塞するような多数の線や面は表示していない。これにより、車両軌跡の上面部を通して地面上の状態が良く見えるようになり、見やすい画像を運転者に提供することができる。
【００５０】
車両側面の軌跡面１１０ａ、１１１ａの高さは、上記実施の形態では車高としているが、必ずしも車高とする必要はなく、車両側部に最も出っ張るバンパ位置までの高さとすることでもよい。
【００５１】
尚、上述した実施の形態に係る運転支援装置では、１台のカメラ１０で撮影された実画像を用いた場合を説明したが、２台以上のカメラで撮影された実画像を合成した画像を用いることも可能である。また、カメラは、カラー撮影できるものに限られず、白黒撮影用のカメラでも十分であり、モニタも白黒表示用のもので十分である。この場合、上述した各線や各面を色別表示する代わりに、輝度の違いや線幅の違いで表現すればよい。
【００５２】
更に、車両を後退させるときを例に説明したが、車両を前進させるときに車両進行予測軌跡をモニタ画面上で立体視させる場合にも上述した実施の形態を適用可能である。また、実施の形態では、カメラの撮像画像や軌跡データに対して視点変換及びレンズ歪み補正を行ったが、視点変換やレンズ歪み補正は必ずしも必要な訳ではない。しかし、視点変換等と組み合わせることで、運転者に様々な視点からの映像を見やすい画像にして提供することが可能となる。
【００５３】
【発明の効果】
本発明によれば、車両軌跡画像を二次元のモニタ画面上で直感的に立体視することが可能な運転支援装置を提供可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る運転支援装置の構成を示すブロック図
【図２】本発明の一実施の形態に係る運転支援装置を車両に搭載したときのイメージ図
【図３】本発明の一実施の形態に係る運転支援装置で世界座標系における地面上の軌跡面データを算出するときの説明図
【図４】本発明の一実施の形態に係る運転支援装置で算出した地面上の軌跡面データの画面表示例を示す図
【図５】本発明の一実施の形態に係る運転支援装置で算出した車両側面の軌跡面データを地面上の軌跡データに合成した図
【図６】本発明の一実施の形態に係る運転支援装置で算出した車両軌跡データを画面に表示した画像例を示す図
【図７】本発明の一実施の形態に係る運転支援装置で算出した車両軌跡データを強調補正した画像例を示す図
【図８】本発明の一実施の形態に係る運転支援装置における処理手順を示すフローチャート
【図９】本発明の別実施の形態に係る運転支援装置における車両軌跡データの強調補正例を示す図
【符号の説明】
１　車両
３　車両後部バンパ
５　シフトレバー
７ａ〜７ｄ　車輪
８　ハンドル
１０　カメラ
２０　ハンドル角度センサ
３０　操舵角演算部
４０　画像処理部
４１　ＣＰＵ
４２　プログラムメモリ
４３　作業メモリ
４４　画像記憶部
４５　視点変換マップデータ格納部
４６　運転支援データ生成部
４７　軌跡マップデータ格納部
４８　画像合成部
５０　表示制御部
６０　モニタ
１１０ａ、１１１ａ　車両側面の軌跡面
１１５、１２５ａ、１２６ａ　立体視補助用の強調線
１２０ａ、１２１ａ、１２２ａ、１２３ａ　バンパ位置を示す強調線

Claims

車載カメラと、前記車載カメラの撮像画像を表示する車載モニタと、前記車載モニタに前記撮像画像を表示するとき車両の進行予測方向を示す車両軌跡画像を前記撮像画像に重畳する画像合成手段と、前記車両軌跡画像を車両進行方向の地面上の軌跡面と車両両側面の軌跡面とでなるＵ字形状で表示すると共に前記車両両側面の軌跡面間を前記地面上の軌跡面から浮いた位置の１本または２本の線で結んで前記車載モニタに表示させる運転支援データ生成手段とを備えたことを特徴とする運転支援装置。
前記撮像画像及び前記車両軌跡画像は視点変換した画像として前記車載モニタに表示されることを特徴とする請求項１に記載の運転支援装置。
前記車両両側面の軌跡面は、高さを車高またはバンパ位置までとすることを特徴とする請求項１または請求項２に記載の運転支援装置。
前記車両両側面の軌跡面中にバンパ位置を強調表示したことを特徴とする請求項１乃至請求項３のいずれかに記載の運転支援装置。
前記バンパ位置の強調表示は、所定幅の面で表示されることを特徴とする請求項４に記載の運転支援装置。
前記地面上の軌跡面中は距離表示を非表示としたことを特徴とする請求項１乃至請求項５のいずれかに記載の運転支援装置。