JP7162427B2

JP7162427B2 - 車両用後方画像表示装置

Info

Publication number: JP7162427B2
Application number: JP2018002699A
Authority: JP
Inventors: 敬大谷口; 佳洋勝山
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2018-01-11
Filing date: 2018-01-11
Publication date: 2022-10-28
Anticipated expiration: 2038-01-11
Also published as: JP2019122010A

Description

本発明は、車両に搭載されて後方を撮像して表示する車両用後方画像表示装置に関する。

従来から、車両に取り付けられたカメラで車両前方を撮像し、得られた画像に含まれる各画素の画素値が飽和レベルに達している飽和状態の画素が所定画素数以上隣接して存在する場合に、次にカメラが撮像する際の画素値・明るさ特性を高輝度部分が抑え込まれる方向に変更するようにした車載カメラ制御装置が知られている（例えば、特許文献１参照。）。このような処理を行うことにより、カメラの撮像した画像に対向車のヘッドライト、先行車のテールランプやブレーキランプ等の高輝度部分が存在する場合、カメラの有する画素値・明るさ特性として、明るさに対する画素値の変化の感度を低くするとともに、明るさのレベルが高いほど画素値の変化の割合が小さい画素値・明るさ特性に変更されるため、画像全体の明るさを抑えつつ、微妙なコントラストを検出することが可能となる。

特開２００６－３３９９９４号公報

ところで、最近は、車両後方にカメラを設置し、このカメラで撮像した車両後方画像を、ルームミラー部に配置したＬＣＤパネルに描画することで、ルームミラーを電子ミラー化する手法が実用化されつつある。このような手法を用いて車両後方画像を表示する場合に、夜間運転時には周辺道路の照度が低く、後続車両によるヘッドライトによるハレーションにより後方視界は極めて悪くなる。一方、ＣＭＳ（カメラモニタリングシステム）の規格ではＰＬＳ（Point Light Source）に対応するためには、後方２５０ｍに位置する後続車ヘッドライト２点を２つの光源として分けて描画する必要がある。

このような要請に応えるために、上述した特許文献１の手法を用いることが考えられる。しかし、後続車両のヘッドライトの明るさに合わせて、その都度カメラの様々な光学要素の制御を行って画素値・明るさ特性を変更しようとすると、処理負担が大きくなるという問題があった。一方で、後続車両の左右のヘッドライトを分離して描画することができたとしても、自車両から後続車両までの間が暗いと、暗闇の中に突然後続車両の左右のヘッドライトが現れることになり、自車両から後続車両までの距離間が把握しづらいという問題があった。

本発明は、このような点に鑑みて創作されたものであり、その目的は、車両後方画像に含まれる後続車両の左右のヘッドライトを分けて描画するとともに、自車両から後続車両までの距離間を容易に把握することができる車両用後方画像表示装置を提供することにある。

上述した課題を解決するために、本発明の車両用後方画像表示装置は、後続車両の左右のヘッドライトの点灯時にこれら左右のヘッドライトを分離して描画可能なゲインに設定されており、車両の後方を撮像する第１の撮像手段と、自車両の左右のヘッドライトに照らされた車両の前方を撮像する第２の撮像手段と、第２の撮像手段による撮像によって得られた前方画像の一部を切り出すことにより部分画像を抽出する部分画像抽出手段と、第１の撮像手段による撮像によって得られた後方画像に、部分画像抽出手段によって抽出された部分画像を重畳して合成画像を生成する画像合成手段と、画像合成手段によって合成された合成画像を表示する表示手段とを備えている。

第１の撮像手段のゲイン調整を行うことにより、後方画像に含まれる後続車両の左右のヘッドライトを分けて描画することができ、しかも、前方画像の一部を切り出した部分画像を後方画像に重畳するだけであるため、処理負担を軽減することができる。

また、上述した画像合成手段は、自車両の移動に伴って第２の撮像手段による撮像によって得られた複数の前方画像のそれぞれから部分画像抽出手段によって抽出された複数の部分画像を、後方画像に重畳することが望ましい。これにより、後方画像において自車両から後続車両までの間を、自車両のヘッドライトで照らされた路面に対応する部分画像を用いて描画することができ、後続車両の分離された左右のヘッドライトとともにこのような路面を表示することで、自車両から後続車両までの距離間が把握しやすくなる。

また、前方画像から上述した部分画像抽出手段によって抽出される部分画像は、自車両の走行車線の幅よりも広い範囲を含むことが望ましい。これにより、実際の車線（道路）の幅を再現した後方画像を表示することができ、違和感のない表示を行うことが可能となる。

また、上述した画像合成手段は、後方画像上に自車両の走行状態に対応した走行軌跡を設定し、この走行軌跡に沿って、複数の部分画像を撮像時刻順に配置することにより画像合成を行うことが望ましい。特に、上述した走行状態には、自車両の向き、速度、蛇角が含まれていることが望ましい。これにより、自車両の走行状態に合わせて、後方画像における道路形状を変更することができ、合成画像を用いることによる違和感をさらに低減することができる。

また、上述した表示手段は、ルームミラーの一部に合成画像を表示することが望ましい。これにより、実際に見える後方画像と合成画像を並べて表示することができ、これらの画像を見比べることにより、さらに自車両から後続車両までの距離間が把握しやすくなる。

一実施形態の車両用後方画像表示装置の構成を示す図である。夜間走行時に後方画像において後続車両の左右のヘッドライトを分離する際に行われる画像合成の動作手順を示す流れ図である。前方画像から部分画像を抽出する具体例を示す図である。設定された走行軌跡を示す図である。図４に示す走行軌跡に沿って部分画像を配置する説明図である。合成画像の表示例を示す図である。

以下、本発明を適用した一実施形態の車両用後方画像表示装置について、図面を参照しながら説明する。

図１は、一実施形態の車両用後方画像表示装置の構成を示す図である。図１に示すように、本実施形態の車両用後方画像表示装置１は、前カメラ１０Ｆ、後カメラ１０Ｒ、前画像格納部２０Ｆ、後画像格納部２０Ｒ、部分画像抽出部３０、重畳画像格納部４０、走行状態検出部５０、画像合成部６０、表示部７０を備えている。

前カメラ１０Ｆは、自車両の前方を撮像する。撮像範囲は、自車両のヘッドライトを点灯させたときに照明が当たる路面を含む範囲であって、走行中の車線の幅よりも広い路面の範囲が少なくとも含まれる。

後カメラ１０Ｒは、物理的なルームミラーが備わっていると仮定したときに、車両の運転者から見てこのルームミラーに映る領域が撮像範囲に含まれるように、自車両の後方を撮像する。また、本実施形態では、自車両の後ろを走行している後続車両の左右のヘッドライトの点灯時に、これら左右のヘッドライトを分離して描画可能となるように後カメラ１０Ｒのゲインが設定されている。

前カメラ１０Ｆによる撮像によって得られた画像（前方画像）は前画像格納部２０Ｆに格納される。また、後カメラ１０Ｒによる撮像によって得られた画像（後方画像）は後画像格納部２０Ｒに格納される。

部分画像抽出部３０は、前カメラ１０Ｆによって撮像されて前画像格納部２０Ｆに格納された前方画像の一部を切り出すことにより部分画像を抽出する。前カメラ１０Ｆによる所定の時間間隔で前方画像の撮像が行われると、それぞれの前方画像を対象に部分画像が順次抽出され、重畳画像格納部４０に格納される。

走行状態検出部５０は、走行状態として少なくとも自車両の向き、速度、蛇角を検出する。例えば、ＧＰＳ装置や加速度センサを用いることにより自車両の向きを検出することができる。また、車速パルスの出力間隔を計測することにより自車両の速度を検出することができる。さらに、ハンドルの操作角度をセンサによって測定することにより、蛇角を検出することができる。なお、検出の具体的方法はこれら以外の方法を用いるようにしてもよい。

画像合成部６０は、後画像格納部２０Ｒから読み出した後方画像上に、走行状態検出部５０によって検出された自車両の走行状態に対応した自車両の走行軌跡を設定し、重畳画像格納部４０に格納されている撮像時刻が異なる複数の部分画像をこの走行軌跡に沿って配置することにより、後方画像上に複数の部分画像を重畳して合成画像を生成する。ここで設定される走行軌跡は、自車両の後方に見える道路形状に対応するものであり、例えばある走行速度で走行中に右にハンドルを回したことが走行状態検出部５０によって検出されると、走行速度に対応する曲率半径で右側にカーブした道路軌跡が設定される。なお、後方画像上では、このようなカーブした形状に対して運転者の視点位置に着目した視点変換を行った後の走行軌跡形状となる。

表示部７０は、画像合成部６０によって生成された合成画像を表示する。例えば、表示部７０は液晶表示装置によって構成されており、ルームミラーの一部に埋め込まれている。

上述した後カメラ１０Ｒが第１の撮像手段に、前カメラ１０Ｆが第２の撮像手段に、部分画像抽出部３０、重畳画像格納部４０が部分画像抽出手段に、画像合成部６０が画像合成手段に、表示部７０が表示手段にそれぞれ対応する。

本実施形態の車両用後方画像表示装置１はこのような構成を有しており、次に、その動作を説明する。

本実施形態では、夜間走行時に、後カメラ１０Ｒで撮像した後続車両の左右のヘッドライトの照明光によってハレーションが生じ、これら左右のヘッドライトが分離できなくなるおそれがあることを考慮し、これら左右のヘッドライトを分離するために、後カメラ１０Ｒのゲイン（感度）を下げて画素値が飽和しないようにしている。また、この後カメラ１０Ｒで撮像された後方画像に、前カメラ１０Ｆで撮像された前方画像から切り出された部分画像を合成する処理が行われる。

このため、このような処理を実施するタイミングとしては、（１）後続車両の左右のヘッドライトに対応する高輝度領域を抽出し、この高輝度領域が左右２つに分離できないことを検出したとき、（２）自車両周囲が暗くなったことをセンサ（図示せず）によって検出したとき、（３）自車両のヘッドライトを点灯させたとき、などが考えられる。

図２は、夜間走行時に後方画像において後続車両の左右のヘッドライトを分離する際に行われる画像合成の動作手順を示す流れ図である。この動作手順は所定の時間間隔で繰り返される。

まず、前カメラ１０Ｆと後カメラ１０Ｒによってそれぞれの撮像範囲を撮像する（ステップ１００）。夜間走行時を想定しているため、自車両のヘッドライトが点灯し、自車両前方の路面を含む所定範囲が明るくなっており、この明るい路面が前カメラ１０Ｆによって撮像される。また、車両後方を撮像する後カメラ１０Ｒは、ゲインが低く設定されているため、ヘッドライトを点灯させた後続車両が視界（撮像範囲）に入ってきても、後方画像において左右のヘッドライトに対応する領域を分離することができる。前カメラ１０Ｆによる撮像によって得られた前方画像は前画像格納部２０Ｆに格納される。また、後カメラ１０Ｒによる撮像によって得られた後方画像は後画像格納部２０Ｒに格納される。

次に、部分画像抽出部３０は、前画像格納部２０Ｆに格納されている前方画像を読み出して、その一部を切り出して部分画像を抽出する（ステップ１０２）。このようにして抽出された部分画像は、順次、重畳画像格納部４０に格納される。

図３は、前方画像から部分画像を抽出する具体例を示す図である。図３において、Ｐは部分画像を切り出す領域を示している。この領域Ｐは、自車両から所定距離（例えば３ｍ）前方の横長領域であり、自車両が走行中の車線の幅よりも広い横幅を有している。

次に、走行状態検出部５０は、自車両の走行状態、具体的には自車両の向き、速度、蛇角を検出する（ステップ１０４）。

次に、画像合成部６０は、後画像格納部２０Ｒから後方画像を読み出し、検出された走行状態に対応する自車両の走行軌跡を後方画像上に設定する（ステップ１０６）。また、画像合成部６０は、重畳画像格納部４０に格納されている撮像時刻が異なる複数の部分画像を読み出し、この走行軌跡に沿って配置することにより、後方画像上に複数の部分画像を重畳して合成画像を生成する（ステップ１０８）。このようにして生成された合成画像は、表示部７０に表示される（ステップ１１０）。

図４は、設定された走行軌跡を示す図である。図４において、Ｔ１、Ｔ２は、自車両の走行状態に対応して設定された走行軌跡である。これら２本の走行軌跡Ｔ１、Ｔ２は、例えば、自車両の左右のタイヤ跡に対応するものであるが、左右のタイヤの間隔（幅）よりも広いあるいは狭い２本の走行軌跡を用いたり、１本の走行規制を用いるようにしてもよい。

図５は、図４に示す走行軌跡Ｔ１、Ｔ２に沿って部分画像を配置する説明図である。図５において、Ｓ１、Ｓ２、Ｓ３、Ｓ４、・・・は、撮像時刻が異なる前方画像から抽出した複数の部分画像を示している。Ｓ１が最も撮像時刻が新しい前方画像から抽出した部分画像であり、Ｓ２、Ｓ３、Ｓ４の順で撮像時刻が古くなる。各部分画像Ｓ１、Ｓ２、・・・の幅は、走行軌跡Ｔ１、Ｔ２の間隔に合わせて、横方向の幅が適宜縮小（ある拡大）される。

図６は、合成画像の表示例を示す図である。図６において、ＨＬは後続車両の左側ヘッドライトを、ＨＲは後続車両の右側ヘッドライトを示している。また、ハッチングは、後方画像に含まれる暗闇（コントラストがはっきりしない背景部分）を表している。図６に示すように、合成画像では、後続車両の左右のヘッドライトＨＬ、ＨＲが２つに分離して描画されているとともに、この後続車両に向かう路面が明るく照らし出された様子が描画されている。実際には、前方画像から抽出した部分画像を後方画像に重畳しているため、部分画像を抽出した実際の位置と描画位置との間には数ｍのずれが生じるが、この点を除けば、実際に撮像した路面の画像を用いて画像合成を行っているため、臨場感のある合成画像を生成することができる。

このように、本実施形態の車両用後方画像表示装置１では、後カメラ１０Ｒのゲイン調整を行うことにより、後方画像に含まれる後続車両の左右のヘッドライトを分けて描画することができ、しかも、前方画像の一部を切り出した部分画像を後方画像に重畳するだけで合成画像を生成しており、処理負担を軽減することができる。

また、後方画像において自車両から後続車両までの間を、自車両のヘッドライトで照らされた路面に対応する部分画像を用いて描画することができ、後続車両の分離された左右のヘッドライトとともにこのような路面を表示することで、自車両から後続車両までの距離間が把握しやすくなる。

また、自車両の走行車線の幅よりも広い範囲を含む部分画像を用いることにより、実際の車線（道路）の幅を再現した後方画像を表示することができ、違和感のない表示を行うことが可能となる。

また、後方画像上に自車両の走行状態（例えば、自車両の向き、速度、蛇角）に対応した走行軌跡を設定し、この走行軌跡に沿って、複数の部分画像を撮像時刻順に配置することにより画像合成を行っており、自車両の走行状態に合わせて、後方画像における道路形状を変更することができ、合成画像を用いることによる違和感をさらに低減することができる。

また、ルームミラーの一部に合成画像を表示することにより、実際に見える後方画像と合成画像を並べて表示することができ、これらの画像を見比べることにより、さらに自車両から後続車両までの距離間が把握しやすくなる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、表示部７０をルームミラーの一部に設けたが、表示部７０をルームミラー以外の位置に設けるようにしてもよい。

上述したように、本発明によれば、第１の撮像手段のゲイン調整を行うことにより、後方画像に含まれる後続車両の左右のヘッドライトを分けて描画することができ、しかも、前方画像の一部を切り出した部分画像を後方画像に重畳するだけであるため、処理負担を軽減することができる。

１車両用後方画像表示装置
１０Ｆ前カメラ
１０Ｒ後カメラ
２０Ｆ前画像格納部
２０Ｒ後画像格納部
３０部分画像抽出部
４０重畳画像格納部
５０走行状態検出部
６０画像合成部
７０表示部

Claims

後続車両の左右のヘッドライトの点灯時にこれら左右のヘッドライトを分離して描画可能なゲインに設定されており、車両の後方を撮像する第１の撮像手段と、
自車両の左右のヘッドライトに照らされた車両の前方を撮像する第２の撮像手段と、
前記第２の撮像手段による撮像によって得られた前方画像の一部を切り出すことにより部分画像を抽出する部分画像抽出手段と、
前記第１の撮像手段による撮像によって得られた後方画像に、前記部分画像抽出手段によって抽出された前記部分画像を重畳して合成画像を生成する画像合成手段と、
前記画像合成手段によって合成された前記合成画像を表示する表示手段と、
を備えることを特徴とする車両用後方画像表示装置。
前記画像合成手段は、自車両の移動に伴って前記第２の撮像手段による撮像によって得られた複数の前記前方画像のそれぞれから前記部分画像抽出手段によって抽出された複数の前記部分画像を、前記後方画像に重畳することを特徴とする請求項１に記載の車両用後方画像表示装置。
前記部分画像抽出手段によって抽出される前記部分画像は、自車両の走行車線の幅よりも広い範囲を含むことを特徴とする請求項１または２に記載の車両用後方画像表示装置。
前記画像合成手段は、前記後方画像上に自車両の走行状態に対応した走行軌跡を設定し、この走行軌跡に沿って、複数の前記部分画像を撮像時刻順に配置することにより画像合成を行うことを特徴とする請求項１～３のいずれか一項に記載の車両用後方画像表示装置。
前記走行状態には、自車両の向き、速度、蛇角が含まれていることを特徴とする請求項４に記載の車両用後方画像表示装置。
前記表示手段は、ルームミラーの一部に前記合成画像を表示することを特徴とする請求項１～５のいずれか一項に記載の車両用後方画像表示装置。