JP4786076B2 - 運転支援表示装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は車載カメラで撮影した車両周辺の画像を画面に表示する運転支援表示装置に係り、特に、二次元の表示画面で車両周辺の画像を立体的に知覚させるのに好適な運転支援表示装置に関する。
【０００２】
【従来の技術】
運転支援のために車載カメラの映像を運転者に提示する装置として、車両後方に設置した広角カメラ映像を運転者にそのまま提示するリアビューシステムが一般的である。このリアビューシステムは、主として、車両を後退させる時の安全確認と、駐車の支援を目的としている。
【０００３】
図１８は、従来のリアビューシステムの説明図である。このリアビューシステムは、車両１の後部に設置し車両後方を撮像する広角カメラ２と、広角カメラ２の撮像画像を画像合成し視点変換する画像合成変換装置３と、画像合成変換装置３の生成した画像を表示するモニタ４とを備える。
【０００４】
広角のカメラ２は、車両１の後方を撮影するように設置されており、この広角カメラ２が取得した映像は、画像合成変換装置３によりレンズ歪みが除去され、更に、あたかも任意の仮想視点から撮影したかのような映像に変換され、モニタ４に表示される。運転者は、この映像により車両後方の安全を確認することができる。
【０００５】
図１８では、１台の広角カメラ２のみを図示したが、複数台のカメラで広角カメラの代用をすることが可能である。例えば、米国特許５９４９３３１号公報に示されたシステムの様に、複数のカメラ映像を合成して一つの画面として提示する場合、個々のカメラは必ずしも広角カメラである必要はないが、結果として、広角の映像がモニタ４に表示される。
【０００６】
これとは別に、特開平１１−３３８０７４号公報に記載されている従来技術では、ブラインドコーナーモニタにおいて左右のカメラ映像を表示する際に、左右の画面の形状を、例えば図１７に示すように、モニタ画面５を２つの子画面５ａ、５ｂに分割して表示している。運転者は、これら２つの子画面５ａ、５ｂに映し出される映像により、ブラインドとなる車両左右の状況を確認する。
【０００７】
更に、従来のリアビューシステムを駐車支援に使用する際、図１９のモニタ画面６に示す様に、広角カメラによって撮像された自車両後端のバンパの映像６ａに、自車両の車幅を示すガイド線６ｂや、自車両後端からの距離を示すガイド線６ｃを重畳して表示するようにしている。運転者は、この提示された車両後方のバンパの映像６ａや、それに重畳されたガイド線６ｂ、６ｃを補助情報として、車両の駐車操作を実行する。
【０００８】
【発明が解決しようとする課題】
上述した従来のリアビューシステムでは、図１４に示す様な場面、即ち、２本の平行な直線１０、１１と、直線１０上に離間して配置された２つのドラム缶形状物体１２、１３と、直線１０上の２つのドラム缶形状物体１２、１３間に描かれたマーク１４とを、広角カメラ２で撮影すると、例えば、図１５あるいは図１６に示す様に、モニタ画面７には、直線１０、１１の大きく湾曲した画像１０ａ、１１ａや、湾曲した画像１０ａ上のドラム缶形状物体画像１２ａ、１３ａ、マーク画像１４ａが表示される。
【０００９】
このように、広角カメラ２の撮像画像をそのままモニタ画面に表示すると、ドラム缶形状物体１２、１３や直線１０、１１等の被写体の位置とその形状は大きく歪み、運転者は、モニタ画面７内の全ての領域において違和感なく且つ直感的に表示画像を理解するということができない。
【００１０】
つまり、ドラム缶形状物体１２、１３等の立体物の鉛直線は、モニタ画面７内での鉛直線と一致せず、そのため、立体物が存在する方向を直感的に理解できるような画面にはなっていない。例えば、立体物の位置を分かりやすく表示するには、図１５に示すドラム缶形状物体１２、１３の鉛直線の傾き具合によって方角を指示する構成とするのがよいが、しかしこれでは、立体物の鉛直線が画面の鉛直線と一致せずに、傾いて表示される。
【００１１】
図１５の例では、ドラム缶形状物体１２、１３はまるで球の表面に設置されているかのように感じられる。また、ドラム缶形状物体１２、１３等の立体物の鉛直線が画面の鉛直線と一致するように表示すると、カメラの方角が直感とは全く一致せず、立体物の位置が分かり難くなってしまう。
【００１２】
図１６に示す例では、直角方向が、画面７の両端の上部方向へ行くに従って次第に収束していくため、ドラム缶形状物体１２、１３の位置は車両後方の実際とは異なった位置にあり、直線１０、１１は、車両から斜め後方に向かって伸びる曲線１０ａ、１１ａのような印象を運転者に与えてしまう。
【００１３】
これに対し、左右の独立した映像を同一画面に表示する場合、図１７に示す従来技術では、左右の画面の形状を設定することで、左右２カメラの向く方向を直感的に理解させ、且つ、夫々の画像内の立体物を違和感なく表示することが可能である。しかし、図１７に示す従来技術は、広角カメラの撮影範囲のように広い視野を一つの画面内にどのように表示するかという問題は解決していない。
【００１４】
図１９に示す駐車支援を行う従来のリアビューシステムのモニタ画面６では、自車両後端のバンパとその後方が映るようにカメラを設置する。しかし、従来のリアビューシステムでは、広角のカメラ映像をそのままモニタ画面６に表示しているため、バンパの画像６ａが実際よりも大きく曲がって映ってしまう。同様に、自車両の車幅を示すガイド線６ｂや、自車両後端からの距離を示すガイド線６ｃも、実際は直線となるにも関わらず、画面上では曲線として表示されてしまう。これでは、自車両と車両周辺の物体との位置関係が分かり難くなってしまう。
【００１５】
本発明の目的は、広角のカメラ映像を１画面内に表示するとき運転者に違和感無く直感的に理解できるように表示する運転支援表示装置を提供することにある。
【００１６】
【課題を解決するための手段】
上記目的を達成する運転支援表示装置は、多面体の内側を撮影した場合に得られる前記多面体の各面に対応してモニタ画面を複数の子画面領域に分割し、車載カメラの撮像画像を画像処理すると共に処理画像を前記子画面領域に対応して分割し、各分割画像を対応する前記子画面領域に表示する画像処理手段を備えたことを特徴とする。
【００１７】
これにより、各面の向きに対応した方向の映像を表示する画面構成とすることができ、各子画面が表示する映像の方向を直感的に理解でき、且つ、違和感のない映像が運転者に提示可能となる。
【００１８】
好適には、上記において、前記多面体の各面のうち一部の面に対応する前記分割画像は前記モニタ画面に表示させないことを特徴とする。これにより、不要な画像を運転者に見せないようにすることができる。
【００１９】
更に好適には、隣接する前記子画面領域の間が離間して前記モニタ画面に表示されることを特徴とする。あるいは、表示倍率の異なる前記分割画像を表示するとき対応する前記子画面領域を前記表示倍率に合わせて拡大し縮小することを特徴とする。これにより、更に見やすい画像を運転者に提示可能となる。
【００２０】
更に好適には、隣接する前記子画面領域に夫々表示する前記分割画像は、前記隣接する部分で画像が連続することを特徴とし、あるいは、隣接する前記子画面領域に夫々表示する前記分割画像は、前記隣接する部分で同一の画像がオーバーラップしていることを特徴とする。これにより、子画面間の関係が容易に理解でき、子画面間をまたがって物体が移動した場合でも、容易に対応付けて理解することが可能となる。
【００２１】
更に好適には、前記子画面領域のうち、自車両進行方向下面の映像を表示する子画面領域には、自車両の車幅範囲の撮像画像を表示し、前記車幅範囲から外れる撮像画像は隣接する子画面領域に表示することを特徴とする。これにより、自車両の進行方向にある物体であるか自車両の進行によって接触あるいは衝突する物体であるかの判断が容易となる。
【００２２】
【発明の実施の形態】
以下、本発明の一実施形態を図面を参照して説明する。
【００２３】
（第１の実施の形態）
本発明の第１の実施の形態を図２から図５を用いて説明する。尚、本発明の運転支援表示装置のハードウェア構成は、図１８に示す構成と同じであり、広角のリアビューカメラ２は、自車両１の後方を撮影するように設置されており、この広角カメラ２が取得した映像は、画像合成変換装置（画像処理手段）３によりレンズ歪みが除去され、更に、あたかも任意の仮想視点から撮影したかのような映像に変換され、モニタ４に表示される。
【００２４】
図２（ａ）は、直方体１５を横後方斜め下から見た状態を示し、図２（ｂ）は、その直方体１５を横前方斜め上から見た状態を示す。この直方体１５をカメラ１６で撮像する。直方体１５は、６つの面（各面を、ａ面、ｂ面、ｃ面、ｄ面、ｅ面、ｆ面とする。）から構成される。
【００２５】
カメラ１６はｂ面に対向しており、カメラ１６が、ｂ面を取り除いた直方体１５を撮影すると、図３に示す様な映像が取得できる。このとき、図３の領域Ａは直方体１５の左側面であるａ面を、領域Ｃは右側面であるｃ面を、領域Ｄは正面であるｄ面を、領域Ｅは上面であるｅ面を、領域Ｆは下面であるｆ面を、それぞれ示していることが、各領域の形状と位置関係とから直感的に理解できる。
【００２６】
そこで、領域の境界に線を描くなどして、各領域の形状をはっきりと知覚できるようにして、領域Ａには左側を撮影した画像を、領域Ｃには右側を撮影した画像を、領域Ｄには正面を撮像した画像を、領域Ｅには上面を撮像した画像を、領域Ｆには下側を撮影した画像をそれぞれ貼り付ける。
【００２７】
こうすることにより、領域の形状から直感的に理解されるその領域のもつ方向と、その領域内に表示される映像の空間的な向きとが一致し、各領域に表示される映像の空間的な向きを直感的に理解することが可能となる。
【００２８】
即ち、本実施形態では、モニタの表示画面を、図３に示す領域Ａ、Ｃ、Ｄ、Ｅ、Ｆの５面の子画面に分割し、直方体の各面が向いている方向と同じ向きを撮影した映像を広角の撮像画像から分割し、各子画面に貼り付けて表示することを基本とする。
【００２９】
表示画面の構成としては、必ずしも、全ての面を使用する必要はなく、例えば、図４の表示画面１７に示す様に、Ａ面（左側面）、Ｃ面（右側面）、Ｄ面（正面）の３面のみを使用して画面を構成してもよい。また、これらの面同士は、境界で接している必要はなく、図５の表示画面１７に示す様に、各面の相対位置関係は維持したまま、各面を切り離して配置することも可能である。
【００３０】
図５では、Ａ面、Ｃ面、Ｄ面の他に、Ｆ面（下面）を加えて画面を構成し、更に、左右方向への運転者の注意を促すために、Ａ面、Ｃ面の子画面を、他の子画面よりも拡大表示している。また、図４、図５では、子画面の形状として、直方体の各面の映像領域そのものを採用しているが、例えば、角を丸めたり、境界線を曲線にするなど、各面の相対位置関係が直感的に理解できる範囲で、即ち、直感的に各面の指し示す方向が理解できる限りにおいて、子画面の形状を任意に変形することも可能である。
【００３１】
（第２の実施の形態）
次に、本発明の第２の実施の形態を、図６から図９を用いて説明する。図６は、ａ面、ｂ面、ｃ面、ｄ面、ｅ面、ｆ面の６面構成の直方体１５とカメラ１６との配置関係を示した図である。この図６では、カメラ１６を、直方体の斜め上方に配置している。そして、この直方体１５のｂ面とｅ面を取り除いた状態のカメラ撮像画像は、図７に示す表示画面１７に示す様になる。
【００３２】
このとき、図７の領域Ａは直方体１５の左側面であるａ面を、領域Ｃは右側面であるｃ面を、領域Ｄは正面であるｄ面を、領域Ｆは下面であるｆ面を、それぞれ示していることが、各領域の形状と位置関係とから直感的に理解できる。
【００３３】
図６において、直方体１５のｂ面とｅ面を取り除き、ａ面とｆ面、並びに、ｃ面とｆ面を、それぞれ境界線で切り離し、ａ面、ｃ面をそれぞれ直方体１５の外側方向へ開き、カメラ１６で撮像すると、図８の様な映像が表示画面１７に表示される。この図８においても、図７と同様に、領域Ａは左側面であるａ面を、領域Ｃは右側面であるｃ面を、領域Ｄは正面であるｄ面を、領域Ｆは下面であるｆ面を、それぞれ示していることが、各領域の形状と位置関係とから直感的に理解できる。
【００３４】
また、カメラ１６を、直方体１５のａ面、ｄ面、ｆ面が交わる頂点方向に向け、ｂ面、ｃ面、ｅ面を取り除いた直方体１６を撮影すると、図９のような映像が取得され表示画面１７に表示される。この図９においても、領域Ａは左側面であるａ面を、領域Ｄは右側面であるｄ面を、領域Ｆは下面であるｆ面を、それぞれ示していることが、各領域の形状と位置関係とから直感的に理解できる。
【００３５】
このため、図７、図８、図９の各領域Ａ、Ｃ、Ｄ、Ｆに対応する各子画面に、夫々の方向を撮像した画像を貼り付けることで、運転者にカメラの撮像画像を立体的に把握させることが可能となる。
【００３６】
（第３の実施の形態）
次に、本発明の第３の実施の形態を、図１０から図１３及び図１を用いて説明する。図１０において、本実施形態では、ａ面、ｂ面、ｃ面、ｄ面、ｅ面、ｆ面の６面構成の直方体１５の中央に仮想（入力）カメラ１８を配置し、仮想（出力）カメラ１９を直方体１５から離間した斜め上方に配置している。
【００３７】
仮想カメラ１８で撮影する被写体は、この例では、路面上に立設された３本のドラム缶形状物体２０、２１、２２と、路面上に描画された直線２３及びマーク２４とする。仮想カメラ１８で、直方体１５の左右に位置するａ面、ｃ面と、正面に位置するｄ面を通して、前記の被写体を撮影すると、ａ面、ｂ面、ｃ面の各面では、図１１に示す様な３枚の連続する画像を撮像することができる。なお、図１１では、ａ面、ｄ面、ｃ面を一枚の平面として開いた形状で表示している。各面内には、ドラム缶形状物体画像２０ａ、２１ａ、２２ａと、直線の画像２３ａと、マーク画像２４ａとが表示される。
【００３８】
次に、図１１に示すａ面の映像、ｄ面の映像、ｃ面の映像を、夫々、直方体１５のａ面、ｄ面、ｃ面の内側に貼り付け、今度は、仮想カメラ１９で撮影する。この仮想カメラ１９の撮像画像は、図１２に示すような画像となる。
【００３９】
この図１２で、領域Ａはａ面に、領域Ｃはｃ面に、領域Ｄはｄ面にそれぞれ対応している。この時、各領域の形状から、領域Ａは左側面の方向の画像を、領域Ｃは右側面の方向の画像を、領域Ｄは正面方向の画像を、それぞれ表示していることが直感的に理解できる。
【００４０】
図１２では、各面の境界で映像が連続しているため、画面間の位置関係が明確であり、物体画像が面をまたがって存在する場合でも、容易に全体像を把握できる。このように、境界で連続するように表示することで、面をまたがって存在したり、移動したりする物体でも、容易に１つの物体として認識できる。
【００４１】
図１２は、仮想（入力）カメラ１８によりａ面、ｄ面、ｃ面と撮影した画像を各面の境界で連続するように表示した例であるが、ａ面とｄ面、ならびに、ｄ面とｃ面とがそれぞれオーバーラップ領域を持つように撮影することも可能である。
【００４２】
図１３は、領域Ａ、領域Ｃ、領域Ｄの各領域を切り離した構成としたものであり、各面がオーバーラップ領域を持つ場合を示している。即ち、図１３の例では、マーク画像２４ａは領域Ａの隅に存在するが、このマーク画像２４ａを領域Ａに隣接する領域Ｄの隅にも表示する。これにより、各領域が境界面で分離していても、それぞれの領域の形状から、各領域が示す方向は直感的に理解でき、しかも、各領域がオーバーラップ領域をもつことで、それぞれの領域の対応が容易に理解できる。
【００４３】
このように、オーバーラップ領域を持たせることで、各面の拡大率が異なる場合でも、容易に対応付けが可能となる。また、ある面の境界で物体の一部が隠されていても、他の面では少なくともそれ以上は写っているので、対応付けが容易かつ認識しやすいという効果がある。
【００４４】
図１は、図１４で説明した被写体を、図１２で説明した実施形態と同様に、各面の境界で映像が連続するように仮想（入力）カメラ１８により撮影し、直方体の各面に貼り付けたものである。この図１によれば、直線が直線画像として表示され、垂直に立設された物体は垂直に立設した物体画像として表示されるため、また、各子画面の表示画像が平面画像として歪みのない画像として表示されるため、直感的に見やすく、しかも、立体的に自車両と障害物等との関係を把握することが可能となる。
【００４５】
なお、各面を向いている方向を撮影した映像としては、必ずしも、実際に撮影した映像である必要はなく、例えば、図１８の画像合成変換装置３により、広角カメラ２の撮影映像から、特定の面を向いている仮想視点を設定し、この仮想視点に設置したカメラで撮影したかのように変換した映像で良い。また、必ずしも、特定の面を向いた仮想視点を設定する必要はなく、例えば単一の仮想視点と単一の広角カメラを設定し、得られた広角画像から、仮想視点位置からみた特定の面の向きの映像を切り出して表示しても良い。
【００４６】
（第４の実施の形態）
次に、本発明の第４の実施形態を説明する。この実施形態では、自車両の後方または前方を表示するに際し、下面に相当する表示領域に、自車両の幅もしくはそれよりもやや広めの映像を表示し、任意の物体が自車両の直進進路上にあるか否かを容易に判断できるようにする。これにより、運転者はこの任意の物体の存在位置を直感的に把握可能となる。以下、図５と図１８を用いて第４の実施形態を説明する。
【００４７】
図１８に示すように、自車両の後方を撮影するようにカメラ２を設置する。図１８では、１台のみ描いているが、複数台設置しても良い。これらのカメラによる映像を入力とし、画像合成変換装置３は、図５に示す出力画像を生成する。このとき、図５において、Ｆ面には自車両後方の下面方向の映像が表示され、Ａ面には自車両後方の左側面方向の映像が表示され、Ｃ面には自車両後方の右側面方向の映像が表示され、Ｂ面には自車両後方の映像が表示される。
【００４８】
このとき、Ｆ面が表示する幅を、自車両の幅、もしくは、自車両の幅よりもやや広めになるように、Ｆ面の幅、もしくは、表示する画像を調整する。これにより、Ｆ面には、常に、自車両が直進で後退した場合に通過する領域のみが表示されることになる。つまり、Ｆ面に写っているものは、自車両の後方に位置し、それ以外、例えばＡ面に写っているものは、自車両の左後方にあることが一目で理解できる。
【００４９】
このように、本発明の第４の実施形態によれば、下面を表示する子画面には、自車両の車幅範囲の映像だけ、あるいはそれより若干広い範囲の映像だけを表示し、自車両の車幅範囲から外れる物体画像は表示しないため、自車両の進行方向にある物体であるか自車両の進行によって接触あるいは衝突する物体であるかの判断が容易となる。
【００５０】
【発明の効果】
本発明によれば、車載カメラの撮像画像を容易に立体的に把握でき、直感的に自車両との関係を判断できる映像として表示することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る運転支援表示装置の表示例の模式図
【図２】本発明の第１実施形態に係る運転支援表示装置の表示画面分割方法の説明図
【図３】本発明の第１実施形態に係る運転支援表示装置の表示画面分割方法の説明図
【図４】本発明の第１実施形態に係る運転支援表示装置の表示画面分割例を示す図
【図５】本発明の第１実施形態に係る運転支援表示装置の表示画面分割例の別例を示す図
【図６】本発明の第２実施形態に係る運転支援表示装置の表示画面分割方法の説明図
【図７】本発明の第２実施形態に係る運転支援表示装置の表示画面分割方法の説明図
【図８】本発明の第２実施形態に係る運転支援表示装置の表示画面分割例を示す図
【図９】本発明の第２実施形態に係る運転支援表示装置の表示画面分割例の別例を示す図
【図１０】本発明の第３実施形態に係る運転支援表示装置の表示画面分割方法の説明図
【図１１】本発明の第３実施形態に係る運転支援表示装置の表示画面分割方法の説明図
【図１２】本発明の第３実施形態に係る運転支援表示装置の表示画面分割例を示す図
【図１３】本発明の第３実施形態に係る運転支援表示装置の表示画面分割例の別例を示す図
【図１４】本発明の一実施形態に係る運転支援表示装置による画面表示と従来の運転支援表示装置による画面表示とを比較する車載カメラの被写体説明図
【図１５】従来の運転支援表示装置の表示例を示す図
【図１６】従来の運転支援表示装置の表示例を示す図
【図１７】従来の運転支援表示装置の表示例を示す図
【図１８】従来及び本発明の一実施形態に係る運転支援表示装置の構成図
【図１９】従来の運転支援表示装置の表示例を示す図
【符号の説明】
１ 車両
２ リアビューカメラ
３ 画像合成変換装置（画像処理手段）
４ モニタ
１５ 直方体（多面体の一例）
１６ カメラ
１７ モニタ表示画面
１８ 仮想（入力）カメラ
１９ 仮想（出力）カメラ
Ａ、Ｃ、Ｄ、Ｆ 子画面領域

Claims (7)

1. 車両周辺を撮影する撮像装置と、
   前記車両周辺を撮影する撮像装置から出力される映像を変換する画像合成変換装置と、
   前記画像合成変換装置の出力を表示する表示装置とから構成される運転支援表示装置であって、
   前記画像合成変換装置は、
   仮想的な撮像装置により任意の多面体を撮影した場合に、
   前記多面体を構成する各平面から任意の複数個の平面を選択して、前記選択された平面毎に対応する子画面を生成し、
   前記子画面を前記多面体を構成する各平面が前記仮想的な撮像装置上に映し出されるのと同じ位置関係で出力画像上に配置し、
   生成された前記子画面は、
   前記仮想的な撮像装置上に映し出される前記多面体を構成するそれぞれの子画面に対応する平面と同じ形状であり、
   前記子画面にはそれぞれの子画面が対応する前記多面体を構成する平面が指し示す方向の前記車両周辺を撮影する撮像装置で撮影した映像の一部が表示されることを特徴とする運転支援表示装置。
2. 前記多面体の各面のうち一部の面に対応する分割画像は前記表示装置に表示させないことを特徴とする請求項１記載の運転支援表示装置。
3. 隣接する前記子画面の領域の間が離間して前記表示装置に表示されることを特徴とする請求項１または請求項２に記載の運転支援表示装置。
4. 表示倍率の異なる前記分割画像を表示するとき対応する前記子画面の領域を前記表示倍率に合わせて拡大し縮小することを特徴とする請求項２または請求項３に記載の運転支援表示装置。
5. 隣接する前記子画面の領域に夫々表示する前記分割画像は、前記隣接する部分で画像が連続することを特徴とする請求項２乃至請求項４のいずれか一項に記載の運転支援表示装置。
6. 隣接する前記子画面の領域に夫々表示する前記分割画像は、前記隣接する部分で同一の画像がオーバーラップしていることを特徴とする請求項２乃至請求項４のいずれか一項に記載の運転支援表示装置。
7. 前記子画面の領域のうち、自車両進行方向下面の映像を表示する子画面の領域には、自車両の車幅範囲の撮像画像を表示し、前記車幅範囲から外れる撮像画像は隣接する子画面の領域に表示することを特徴とする請求項１記載の運転支援表示装置。

Images