JP2019154018A - 車両周辺表示システム、表示制御装置およびコンピュータプログラム - Google Patents

Abstract

【課題】車両周辺を撮像した画像から好適な表示用の画像を生成する。【解決手段】撮像装置１０は、車両Ｃ１周辺を撮像し、撮像した画像を表示制御装置２０へ出力する。表示制御装置２０は、撮像装置１０により撮像された画像に所定のガイド線を重畳させた表示用画像を生成する。表示装置１２は、表示制御装置２０により生成された表示用画像を表示する。表示制御装置２０は、ガイド線とは異なる色の複数の点を、互いに間隔を置きつつガイド線に沿って配置した表示用画像を生成する。【選択図】図１Ａ

Description

本開示はデータ処理技術に関し、特に車両周辺の映像を表示する技術に関する。

運転者は、車両を安全に運転するために、車両周辺の状況を目視によって確認する必要がある。直接目視できない領域を確認するために、これまでサイドミラー等が利用されてきたが、車載カメラにより車両周辺の状況を撮像し、撮像した画像をモニタ等に表示するカメラモニタリングシステムが車両に搭載されることもある。

特開２０１０−４７２５３号公報

カメラモニタリングシステムの画像において、ガイド線の強調手段として影線を付す場合、背景画像の視認性が低下する可能性がある。

本開示はこうした状況に鑑みてなされたものであり、１つの目的は、車両周辺を撮像した画像から好適な表示用の画像を生成する技術を提供することにある。

上記課題を解決するために、本開示のある態様の車両周辺表示システムは、車両の周辺を撮像する撮像装置と、撮像装置により撮像された画像に所定のガイド線を重畳させた表示用画像を生成する表示制御装置と、表示制御装置により生成された表示用画像を表示する表示装置と、を備える。表示制御装置は、ガイド線とは異なる色の複数の点を、互いに間隔を置きつつガイド線に沿って配置した表示用画像を生成する。

本開示の別の態様は、表示制御装置である。この装置は、撮像装置により撮像された車両周辺の画像を取得する取得部と、取得部により取得された画像に所定のガイド線を重畳させた表示用画像を生成する生成部と、生成部により生成された表示用画像を表示装置に出力する出力部と、を備える。生成部は、ガイド線とは異なる色の複数の点を、互いに間隔を置きつつガイド線に沿って配置した表示用画像を生成する。

なお、以上の構成要素の任意の組合せ、本開示の表現を、方法、コンピュータプログラム、コンピュータプログラムを記録した記録媒体、本装置を搭載した車両などの間で変換したものもまた、本開示の態様として有効である。

本開示によれば、車両周辺を撮像した画像から好適な表示用の画像を生成することができる。

実施例の車両の構成を模式的に示す図である。 実施例の車両の構成を模式的に示す図である。 図１の表示制御装置のハードウェア構成の例を示す図である。 実施例に係る車両周辺表示システムの機能構成を示すブロック図である。 実施例に係る表示用画像の例を示す図である。 第１変形例に係る補助点の配置例を示す図である。 第２変形例に係る補助点の配置例を示す図である。

実施例を具体的に説明する前に概要を述べる。車載カメラにより撮像された車両周辺の画像に、距離の目安等を示す仮想的な線であるガイド線が付加されることがある。このガイド線に対して強調手段としての影線を付加すると、ガイド線と影線により隠される領域が大きくなり、後続車両の像等を含む背景画像の視認性が低下することがある。また、背景が明るい場合、暗い影線と明るい背景との輝度差により影線が目立ちすぎることがある。また、影線付近の背景画像が、大きな輝度差のために確認しにくいことがある。

実施例の車両周辺表示システムは、カメラモニタリングシステムとも言え、自車両の後方または側方を撮像した画像を乗員（以下、運転者とする）に提示する。また、実施例の車両周辺表示システムは、自車両の後方または側方を走行する他車両が自車両からどれくらい離れているかの視認性を向上させた画像（以下「表示用画像」とも呼ぶ。）を運転者に提示する。表示用画像には、ガイド線の強調手段を設け、その強調手段は、背景画像の視認性を維持する態様で設定される。実施例では、表示用画像に付加するガイド線を、自車両からの距離の目安を示す「距離目安線」とする。ただし、距離目安線以外のガイド線（例えば駐車支援用の車幅線等）にも実施例の技術を適用可能であり、すなわち、実施例で説明する強調手段の付加対象となり得る。

図１Ａおよび図１Ｂは、実施例の車両Ｃ１の構成を模式的に示す。特に、図１Ａは、車両Ｃ１の全体の構成を示す。車両Ｃ１には、後述する車両周辺表示システム２２が搭載される。車両周辺表示システム２２では、撮像装置１０、表示制御装置２０、表示装置１２が連携して、後述の映像を車両Ｃ１の運転者に提示する。車両Ｃ１は、サイドミラーＣ２と総称される第１サイドミラーＣ２ａ、第２サイドミラーＣ２ｂ、撮像装置１０と総称される第１撮像装置１０ａ、第２撮像装置１０ｂ、表示制御装置２０、表示装置１２を含む。第１サイドミラーＣ２ａは車両Ｃ１の右側に設置され、第２サイドミラーＣ２ｂは車両Ｃ１の左側に設置される。また、第１サイドミラーＣ２ａには、第１撮像装置１０ａ、第１ミラー４０ａが搭載され、第２サイドミラーＣ２ｂには、第２撮像装置１０ｂ、第２ミラー４０ｂが搭載される。ここで、車両Ｃ１は、右ハンドルであるとする。

図１（ｂ）は、車両Ｃ１の第１サイドミラーＣ２ａの構成を示す。第１サイドミラーＣ２ａにおける車両Ｃ１のボディの付け根部分に第１撮像装置１０ａが配置される。第２サイドミラーＣ２ｂも第１サイドミラーＣ２ａと同様の構造を有する。図１（ａ）に戻る。第１撮像装置１０ａは、車両Ｃ１の右側の後方を撮像する。第１撮像装置１０ａによって撮像される領域は、「第１撮像装置１０ａの撮像領域」と示される。また、第２撮像装置１０ｂは、車両Ｃ１の左側の後方を撮像する。第２撮像装置１０ｂによって撮像される領域は、「第２撮像装置１０ｂの撮像領域」と示される。また、車両周辺表示システム２２は、撮像装置１０において撮像した映像を表示装置１２に表示する。なお、「第１撮像装置１０ａの撮像領域」および「第２撮像装置１０ｂの撮像領域」には、ドアノブを含む車両Ｃ１の側面ボディの一部が含まれる。

図２は、図１の表示制御装置２０のハードウェア構成の例を示す。表示制御装置２０は、入力装置２００、出力装置２０２、ＣＰＵ２０４、ＲＯＭ２０６、ＲＡＭ２０８、記憶装置２１０、読取装置２１２、送受信装置２１４を備え、これらの要素がバス２１６を介して接続される。表示制御装置２０の複数の機能ブロック（図３に関連して後述する）に対応する複数のモジュールを含むコンピュータプログラムがＲＯＭ２０６または記憶装置２１０にインストールされてもよい。ＣＰＵ２０４は、そのコンピュータプログラムをＲＡＭ２０８に読み出して実行することで各機能ブロックの機能を発揮してもよい。

図３は、実施例に係る車両周辺表示システム２２の機能構成を示すブロック図である。一部既述したように、車両周辺表示システム２２は、撮像装置１０、表示制御装置２０、表示装置１２、操作スイッチ３０を備える。これらの装置は、ＭＯＳＴ（Media Oriented Systems Transport）等、公知の車載ネットワークを介して接続されてもよい。

本開示のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのＣＰＵ・メモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。

撮像装置１０は、図１Ａに示したように、車両Ｃ１の後方を撮像し、車両Ｃ１の後方を示す画像（映像）を生成するビデオカメラである。撮像装置１０は、撮像した画像を表示制御装置２０へ出力する。表示制御装置２０は、撮像装置１０による撮像画像に基づいて、表示装置１２に表示させる表示用画像を生成する情報処理装置である。表示制御装置２０は、ＥＣＵ（Electronic Control Unit）として実装されてもよい。表示用画像は、車両Ｃ１の運転を支援するための運転支援画像とも表現され、表示制御装置２０は、運転支援装置とも表現される。

表示装置１２は、表示制御装置１８により生成された表示用画像を画面に表示する。表示装置１２は、第１表示装置１２ａと第２表示装置１２ｂを含む。第１表示装置１２ａは、第１撮像装置１０ａにおいて撮像された画像が表示され、第２表示装置１２ｂは、第２撮像装置１０ｂにおいて撮像された画像が表示される。

表示装置１２は、カーナビゲーション装置等（不図示）の表示部と兼用であってもよく、車両周辺表示システム２２の専用装置であってもよい。実施例の表示装置１２は、車両Ｃ１の内部（居室内）に設けられることとするが、サイドミラーＣ２のミラー４０に代えてその場所に表示装置１２を設けてもよい。例えば、第１サイドミラーＣ２ａの第１ミラー４０ａの位置に第１表示装置１２ａを設けてもよく、第２サイドミラーＣ２ｂの第２ミラー４０ｂの位置に第２表示装置１２ｂを設けてもよい。

操作スイッチ３０は、表示制御装置２０に対する各種操作の入力を受け付ける。操作スイッチ３０は、車両周辺表示システム２２の専用のハードウェアとして設けられてもよい。また、操作スイッチ３０は、カーナビゲーション装置等（不図示）の表示部に画像オブジェクトとして表示されてもよい。操作スイッチ３０を介して、運転者の指示が表示制御装置２０に入力され、表示制御装置２０は、運転者の指示に応じて、距離目安線を含む表示用画像を生成する。

表示制御装置２０を詳細に説明する。表示制御装置２０は、取得部６０で総称される第１取得部６０ａ、第２取得部６０ｂ、生成部６２、出力部６４を含む。取得部６０は、撮像装置１０からの画像を取得する。取得部６０は、例えば、揮発性メモリにより構成され、画像を無加工で一時的に蓄えるが、画像に対して所定の処理がなされていてもよい。第１取得部６０ａは、第１撮像装置１０ａにより撮像された車両Ｃ１後方の画像を取得し、第２取得部６０ｂは、第２撮像装置１０ｂにより撮像された車両Ｃ１後方の画像を取得する。取得部６０は、取得した画像を生成部６２に出力する。

生成部６２は、第１撮像装置１０ａにより撮像され、第１取得部６０ａにおいて取得された画像を加工した表示用画像を生成する。出力部６４は、その表示用画像を第１表示装置１２ａへ出力して表示させる。また、生成部６２は、第２撮像装置１０ｂにより撮像され、第２取得部６０ｂにおいて取得された画像を加工した表示用画像を生成する。出力部６４は、その表示用画像を第２表示装置１２ｂへ出力して表示させる。

以下、第１取得部６０ａにおいて取得した画像（以下「撮像画像」とも呼ぶ。）から表示用画像を生成する処理を詳細に説明する。第２取得部６０ｂにおいて取得した画像から表示用画像を生成する処理も同様である。

生成部６２は、車両Ｃ１から所定距離離れた位置を示す距離目安線を撮像画像に重畳させた表示用画像を生成する。実施例では、生成部６２は、車両Ｃ１からの距離が異なる複数の位置に複数の距離目安線を配置した表示用画像を生成する。

また、生成部６２は、距離目安線の強調手段としての点であって、距離目安線とは異なる色の複数の点（実施例では１ピクセルの点、以下「補助点」とも呼ぶ。）を、互いに間隔を置きつつ複数の距離目安線のそれぞれに沿って配置した表示用画像を生成する。生成部６２は、複数の補助点の色として距離目安線の補色を設定する。

図４は、実施例に係る表示用画像の例を示す。表示用画像１００には、車両Ｃ１自身（車体左側面）の像である自車両像１０２と、車両Ｃ１の後方（例えば隣接車線の後方）を走行する他車両の像である他車両像１０４が映っている。生成部６２は、複数の距離目安線１１０を表示用画像１００に配置する。具体的には、生成部６２は、車両Ｃ１から縦方向（前後方向）に５メートル離れた位置（後方位置）に第１距離目安線１１０ａを配置し、１０メートル離れた位置に第２距離目安線１１０ｂを配置し、１５メートル離れた位置に第３距離目安線１１０ｃを配置する。

図４の例では、生成部６２は、距離目安線１１０（第１距離目安線１１０ａ、第２距離目安線１１０ｂ、第３距離目安線１１０ｃ）の上下両方に、複数の補助点１１２を１ピクセルおきに横に並べて配置する。具体的には、生成部６２は、距離目安線１１０の上下両方に、複数の補助点１１２を横に並べた列を２つ配置する。図４の例では、補助点１１２を並べた２つの列を１ピクセルずらして配置しており、いわゆる市松模様の配置となっている。

実施例の車両周辺表示システム２２が提供する表示用画像１００では、複数の補助点１１２を間欠的に配置することにより、距離目安線１１０に対してベタ塗りの強調線を付加する場合と比べて、背景を隠す幅が小さくなる。例えば、図４に示すように、補助点１１２が並ぶ列においても他車両像１０４の確認が容易になる。

このように実施例の車両周辺表示システム２２によると、補助点１１２により距離目安線１１０を強調しつつ、背景画像の視認性低下を抑制した表示用画像１００を運転者へ提供できる。また、補助点１１２の色を距離目安線１１０の補色とすることにより、距離目安線１１０の視認性を高めることができる。例えば、背景が距離目安線１１０と同系色であっても、補助点１１２との対比により距離目安線１１０を目立たせることができる。

なお、生成部６２は、距離目安線１１０の上下何れか一方に補助点１１２の列を付加してもよい。また、距離目安線１１０に付加する補助点１１２の列は１列でもよく、３列以上でもよい。また、補助点１１２は、１ピクセルより大きい点、例えばＮ×Ｍピクセルの点（ＮとＭは自然数）（ブロックとも言える）であってもよい。また、補助点１１２の間隔は２ピクセル以上であってもよい。このような構成でも上記効果を奏する。

また、補助点１１２の色は、距離目安線１１０の補色であることが好ましいが、少なくとも距離目安線１１０と異なる色であればよい。例えば、距離目安線１１０が黒色以外である場合に、補助点１１２は黒色であってもよい。このような構成でも、距離目安線１１０の視認性を高めることができ、また、背景画像の視認性低下を抑制できる。

以上、本開示を実施例をもとに説明した。この実施例は例示であり、実施例の各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

第１変形例を説明する。表示制御装置２０の生成部６２は、複数の補助点１１２を配置する列を複数設け、距離目安線１１０に相対的に近い列における補助点１１２の密度が、距離目安線１１０から相対的に遠い列における補助点１１２の密度より高くなるよう各列に補助点１１２を配置してもよい。また、生成部６２は、複数の列のうち距離目安線１１０に近い位置の列ほど補助点１１２の密度が高くなるよう各列に補助点１１２を配置してもよい。補助点１１２の色は、距離目安線１１０の補色であってもよい。

既述したように、距離目安線１１０の上下何れか一方のみに補助点１１２の列を付加してもよい。また、補助点１１２の列は、距離目安線１１０に密着させてもよく、距離目安線１１０から所定の間隔を置いて配置してもよい。

図５は、第１変形例に係る補助点の配置例を示す。図５の例では、生成部６２は、距離目安線１１０の上側に補助点１１２を３列に並べた上側補助線１１６を配置している。また、生成部６２は、距離目安線１１０の下側に補助点１１２を３列に並べた下側補助線１１８を配置している。上側補助線１１６は、補助点１１２の列として、上側第１列１２０ａ、上側第２列１２０ｂおよび上側第３列１２０ｃを含む。下側補助線１１８は、補助点１１２の列として、下側第１列１２２ａ、下側第２列１２２ｂ、下側第３列１２２ｃを含む。

距離目安線１１０からの距離が最も短い（例えば距離目安線１１０に接する）上側第１列１２０ａおよび下側第１列１２２ａでは、１ピクセル間隔で補助点１１２が配置される。また、距離目安線１１０からの距離が中程度である上側第２列１２０ｂおよび下側第２列１２２ｂでは、２ピクセル間隔で補助点１１２が配置される。また、距離目安線１１０からの距離が最も遠い上側第３列１２０ｃおよび下側第３列１２２ｃでは、３ピクセル間隔で補助点１１２が配置される。

第１変形例の補助点１１２の配置態様によると、距離目安線１１０に近い位置ほど補助点１１２の密度を高めることにより、補助点１１２とのコントラストにより距離目安線１１０の視認性を高めることができる。また、距離目安線１１０から遠い位置では、背景画像の視認性を一層高めることができる。

第２変形例を説明する。表示制御装置２０の生成部６２は、距離目安線１１０の上側の辺に沿って複数の補助点１１２を配置し、複数の補助点１１２の色として距離目安線１１０の色より明度が高い色を設定してもよい。また、生成部６２は、距離目安線１１０の下側の辺に沿って複数の補助点１１２を配置し、複数の補助点１１２の色として距離目安線１１０より明度が低い色を設定してもよい。

補助点１１２の色相および彩度に制約はない。例えば、生成部６２は、距離目安線１１０の上側の補助点１１２と、距離目安線１１０の下側の補助点１１２の両方に、距離目安線１１０の補色を設定してもよい。この場合、距離目安線１１０の上側の補助点１１２と、距離目安線１１０の下側の補助点１１２は、同じ色相であるが、明度が異なってもよい（下側の明度が低い）。

また、第２変形例では、生成部６２は、距離目安線１１０の上側と下側の両方に補助点１１２の列を設けるが、距離目安線１１０の上下何れか一方のみに補助点１１２の列を付加してもよい。また、補助点１１２の列は、距離目安線１１０に密着させてもよく、距離目安線１１０から所定の間隔を置いて配置してもよい。

図６は、第２変形例に係る補助点の配置例を示す。図６における補助点１１２の配置位置は、第１変形例（図５）と同様であり、すなわち、距離目安線１１０に近いほど補助点１１２の密度が高くなるよう補助点１１２を配置している。また、生成部６２は、上側補助線１１６を構成する補助点１１２に、距離目安線１１０より明度が高い色を設定する。また、生成部６２は、下側補助線１１８を構成する補助点１１２に、距離目安線１１０より明度が低い色を設定する。すなわち、図６の要素を明度が高い順に並べると、上側補助線１１６、距離目安線１１０、下側補助線１１８となる。

第２変形例の補助点１１２の色設定態様によると、距離目安線１１０、上側補助線１１６および下側補助線１１８間に明度の差を設けることで、距離目安線１１０の視認性を一層高めることができる。

上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

実施例および変形例に記載の技術は、以下の項目によって特定されてもよい。
［項目１］
車両の周辺を撮像する撮像装置と、
前記撮像装置により撮像された画像に所定のガイド線を重畳させた表示用画像を生成する表示制御装置と、
前記表示制御装置により生成された表示用画像を表示する表示装置と、
を備え、
前記表示制御装置は、前記ガイド線とは異なる色の複数の点を、互いに間隔を置きつつ前記ガイド線に沿って配置した表示用画像を生成する、
車両周辺表示システム。
この車両周辺表示システムによると、ガイド線の視認性を高めつつ、背景画像の視認性低下を抑制することができる。
［項目２］
前記表示制御装置は、前記複数の点の色として前記ガイド線の補色を設定する、
項目１に記載の車両周辺表示システム。
この車両周辺表示システムによると、ガイド線の視認性を一層高めることができる。
［項目３］
前記表示制御装置は、前記ガイド線の上側の辺に沿って前記複数の点を配置し、それらの点の色として前記ガイド線より明度が高い色を設定する、
項目１または２に記載の車両周辺表示システム。
この車両周辺表示システムによると、ガイド線の視認性を一層高めることができる。
［項目４］
前記表示制御装置は、前記ガイド線の下側の辺に沿って前記複数の点を配置し、それらの点の色として前記ガイド線より明度が低い色を設定する、
項目１から３のいずれかに記載の車両周辺表示システム。
この車両周辺表示システムによると、ガイド線の視認性を一層高めることができる。
［項目５］
前記表示制御装置は、前記複数の点を配置する列を複数設け、前記ガイド線に近い列における点の密度が、前記ガイド線から遠い列における点の密度より高くなるよう各列に点を配置する、
項目１から４のいずれかに記載の車両周辺表示システム。
この車両周辺表示システムによると、ガイド線の視認性を一層高めることができる。
［項目６］
撮像装置により撮像された車両周辺の画像を取得する取得部と、
前記取得部により取得された画像に所定のガイド線を重畳させた表示用画像を生成する生成部と、
前記生成部により生成された表示用画像を表示装置に出力する出力部と、
を備え、
前記生成部は、前記ガイド線とは異なる色の複数の点を、互いに間隔を置きつつ前記ガイド線に沿って配置した表示用画像を生成する、
表示制御装置。
この表示制御装置によると、ガイド線の視認性を高めつつ、背景画像の視認性低下を抑制することができる。
［項目７］
撮像装置により撮像された車両周辺の画像を取得し、
取得された画像に所定のガイド線を重畳させた表示用画像であって、前記ガイド線とは異なる色の複数の点を、互いに間隔を置きつつ前記ガイド線に沿って配置した表示用画像を生成し、
生成された表示用画像を表示装置に出力する、
ことをコンピュータに実行させるためのコンピュータプログラム。
このコンピュータプログラムによると、ガイド線の視認性を高めつつ、背景画像の視認性低下を抑制することができる。

Ｃ１ 車両、 １０ 撮像装置、 １２ 表示装置、 ２０ 表示制御装置、 ２２ 車両周辺表示システム、 ６０ 取得部、 ６２ 生成部、 ６４ 出力部。

Claims (7)

1. 車両の周辺を撮像する撮像装置と、
   前記撮像装置により撮像された画像に所定のガイド線を重畳させた表示用画像を生成する表示制御装置と、
   前記表示制御装置により生成された表示用画像を表示する表示装置と、
   を備え、
   前記表示制御装置は、前記ガイド線とは異なる色の複数の点を、互いに間隔を置きつつ前記ガイド線に沿って配置した表示用画像を生成する、
   車両周辺表示システム。
2. 前記表示制御装置は、前記複数の点の色として前記ガイド線の補色を設定する、
   請求項１に記載の車両周辺表示システム。
3. 前記表示制御装置は、前記ガイド線の上側の辺に沿って前記複数の点を配置し、それらの点の色として前記ガイド線より明度が高い色を設定する、
   請求項１または２に記載の車両周辺表示システム。
4. 前記表示制御装置は、前記ガイド線の下側の辺に沿って前記複数の点を配置し、それらの点の色として前記ガイド線より明度が低い色を設定する、
   請求項１から３のいずれかに記載の車両周辺表示システム。
5. 前記表示制御装置は、前記複数の点を配置する列を複数設け、前記ガイド線に近い列における点の密度が、前記ガイド線から遠い列における点の密度より高くなるよう各列に点を配置する、
   請求項１から４のいずれかに記載の車両周辺表示システム。
6. 撮像装置により撮像された車両周辺の画像を取得する取得部と、
   前記取得部により取得された画像に所定のガイド線を重畳させた表示用画像を生成する生成部と、
   前記生成部により生成された表示用画像を表示装置に出力する出力部と、
   を備え、
   前記生成部は、前記ガイド線とは異なる色の複数の点を、互いに間隔を置きつつ前記ガイド線に沿って配置した表示用画像を生成する、
   表示制御装置。
7. 撮像装置により撮像された車両周辺の画像を取得し、
   取得された画像に所定のガイド線を重畳させた表示用画像であって、前記ガイド線とは異なる色の複数の点を、互いに間隔を置きつつ前記ガイド線に沿って配置した表示用画像を生成し、
   生成された表示用画像を表示装置に出力する、
   ことをコンピュータに実行させるためのコンピュータプログラム。

Images