JP2018162030A - 車両用表示装置 - Google Patents

Abstract

【課題】省スペースで搭載可能であり、コストの低廉化を図ることができるとともに、車両の周囲を映像で視認する際に、焦点が合わなくても、車両の周囲の物体を確実に視認させて運転者の安全確認を行うことができる車両用表示装置を実現すること。【解決手段】車両の外界を撮像する車載カメラからの映像を表示する表示部と、運転者の視線移動を検知する視線検知部と、運転者の表示部への視線移動が検知されたときに、表示部に表示される映像中の物体を強調表示する強調表示制御部とを有する。【選択図】図１

Description

本発明は、車両の後方等の車両の外界を撮像した画像を表示する車両用表示装置に関する。

近年、車両の後方を撮像する車載カメラと、車載カメラで撮像した画像を表示するリアビューモニタとしての電子ミラーとを組み合わせた電子ミラー装置が検討され、電子ミラーをルームミラー等の室内後写鏡等に代わるものとして期待されている。

従来のルームミラーは、後部座席の乗員や荷物によって、視界が遮られるケースがある。これに対して、電子ミラー装置では、車両後部に設置された車載カメラによって車両の後方が撮像されるので、視界を遮られることなく車両の後方を確認することができる。

電子ミラーに表示されるモニター映像により車両の後方を視認する場合、実際の車両の後方を写す鏡のルームミラーとは異なり、焦点距離が近いことが知られている。

よって、運転中における運転者の車両前方視認時と、車両の後方のモニター映像視認時とでは、焦点距離の差異が増大する。これにより、老眼等の焦点（所謂ピント）調節機能が低下した運転者にとっては焦点が合わず、ぼやけて見えるため、一時的に正確に視認できない問題が存在する。

これに対して、例えば、特許文献１では、運転者の運転中の焦点差異を低減するために別途虚像を表示する装置が開示されている。

特開２０１５−０５４５９８号公報

しかしながら、特許文献１の装置では、別途虚像を表示するための投影装置を置くスペースが必要になるとともに、投影装置を含むコストの問題が存在する。

本発明の目的は、省スペースで搭載可能であり、コストの低廉化を図ることができるとともに、車両の周囲を映像で視認する際に、焦点が合わなくても、車両の周囲の物体を確実に視認させて運転者の安全確認を行うことができる車両用表示装置を提供することである。

本発明に係る車両用表示装置は、
車両の外界を撮像する車載カメラからの映像を表示する表示部と、
運転者の視線移動を検知する視線検知部と、
前記運転者の前記表示部への視線移動が検知されたときに、前記表示部に表示される映像中の物体を強調表示する強調表示処理部と、
を有する。

本発明によれば、省スペースで搭載可能であり、コストの低廉化を図ることができるとともに、車両の周囲を映像で視認する際に、焦点が合わなくても、車両の周囲の物体を確実に視認させて運転者の安全確認を行うことができる。

本発明の実施の形態に係る車両用表示装置の構成例を示すブロック図 強調表示を行う特定の物体と車両との位置関係を模式的に示す図 本発明の実施の形態に係る車両用表示装置の動作例を示すフローチャート 本発明の実施の形態に係る車両用表示装置が表示する強調表示の一例を示す図

以下、本発明の実施の形態について、図面を参照して説明する。

本発明の実施の形態に係る車両用表示装置１００の構成について、図１を用いて説明する。図１は、本発明の実施の形態に係る車両用表示装置の構成例を示す図である。

図１に示す車両用表示装置１００は、運転者の視線移動を検知して、車両の外界の映像を表示する表示画面中の物体を強調表示する。

車両用表示装置１００は、車載カメラで撮像した車両の外界の映像中の物体を運転者に視認させるものである。車両の外界の映像としては、車両側方の映像等も挙げられるが、本実施の形態では、車両の後方を撮像する車載カメラ（後方カメラ１４０）からの画像に基づく車両の後方の映像とする。

また、外界の映像の表示は、車内に配置された表示部１０で表示される。表示部１０はフロントパネルに配置されてもよいが、本実施の形態では、後方及び後側方を視認する電子ルームミラーとする。

車両用表示装置１００は、視線検知カメラ１１０、視線検知部１２０、判別部１３０、後方カメラ１４０、映像処理部１５０、距離測定ユニット１６０、距離測定部１７０、強調表示処理部１８０（強調表示決定部１８５、画像重畳部１９０）を有する。なお、視線検知部１２０、判別部１３０、映像処理部１５０、距離測定部１７０、強調表示処理部１８０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により形成される。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、画像表示装置１００の各ブロックの動作を集中制御する。

視線検知カメラ１１０は、車内の運転者の頭部を撮像し、運転者の視線移動方向情報を検出するために用いられる撮像した画像の画像データを視線検知部１２０へ出力する。

視線検知カメラ１１０は、例えばＣＣＤ（Charge Coupled Devise Image Sensor）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を備えたカメラである。視線検知カメラ１１０は、運転者が正面を向いている場合には運転者の目を含む顔面を撮像し、運転者が後方を向いている場合には運転者の後頭部を撮像することができるような位置に設けられる。例えば、視線検知カメラ１１０は、運転席のメータパネルの付近またはルームミラーの付近に設置される。

視線検知部１２０は、運転者の視線移動を検知する。視線検知部１２０は、視線検知カメラ１１０から入力される画像データ（例えば、視線移動前の画像データと、視線移動後の画像データ）に基づいて、運転者の視線方向情報を検出し、この視線方向の変化により運転者の視線移動を検知する。
視線検知部１２０は、視線検知カメラ１１０より入力した画像データを解析して運転者の視線方向及び視線移動を検知する。例えば、視線検知部１２０は、運転者の耳、鼻及び髪型をパターン化した画像と、視線方向とを対応付けた対応情報を予め記憶しており、視線検知カメラ１１０から入力した画像データを解析した結果と上記のテーブルとに基づいて視線方向及び視線方向の移動を検知する。

判別部１３０は、視線検知部１２０により検知される視線の種類を判別して画像重畳部１９０に出力する。判別部１３０は、具体的には、運転席に着座した運転者が表示部１０に視線を向ける前に向いていた視線の違いによる表示部１０への視線の種類を判別する。表示部１０に視線を移動する前の視線が何処を向いていたかの違いにより、表示部１０に表示される映像に視線を向けて映像を視認する際の焦点距離は、移動前に視線を向けていて視認していた際の焦点距離との差異が大きく異なる場合がある。例えば、運転者の表示部１０への視線移動の前に向いていた視線が運転者からみて正面中央であれば、運転者の焦点は車両前方に合っていた状態であり、表示部１０よりも遠く焦点距離が大きく異なる。一方、運転者の表示部１０への視線移動の前に向いていた視線が正面下に向いていた場合では、正面下に配置されるメータ等が設置されるフロントパネル（インストルメントパネルともいう）から表示部１０への視線移動であり、移動前に視線を向けて視認していた際の焦点距離と、表示部１０の映像に視線を向けて視認する際の焦点距離の差異は小さい。

後方カメラ１４０は、車両の後方を撮像するものであり、車両に設けられ、車両の後方の画像を撮像し、撮像した画像を示す映像信号を映像処理部１５０へ出力する。後方カメラ１４０は、車両後部に設けてもよいし、表示部１０であるルームミラーに設けても良い。後方カメラ１４０は、例えばＣＣＤ（Charge Coupled Devise Image Sensor撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を備えたデジタルビデオカメラである。なお、画像データの映像処理部１５０への出力は、無線通信又は有線通信によって行われる。

映像処理部１５０は、後方カメラ１４０で撮像した映像を示す映像信号を画像処理するものあり、後方カメラ１４０から入力される映像信号に対して所定の処理を行い、処理後の映像信号を画像重畳部１９０に出力する。所定の処理とは、例えば、入力映像信号に対して、色補正、階調補正、コントラスト補正等の周知の補正処理を施すことである。

距離測定部１７０は、距離測定ユニット１６０に接続され、後方カメラ１４０で撮像される画像中における物体（自車両の後方に位置する他車両、人等）の物体までの距離を測定し、測定した物体までの距離を示す信号を、強調表示決定部１８５に出力する。

距離測定ユニット１６０は、距離測定部１７０に自車両から物体までの距離を測定させるための距離信号に基づいて、自車両から車両の外部（ここでは車両の後方）に位置する物体（例えば、後方に位置する後方車両）までの距離を測定する。
ここで距離測定ユニット１６０として、例えば、車両の後方の画像を取得するための可視光又は赤外光用のステレオのカメラを適用すると、距離測定部１７０は、ステレオのカメラによって撮影された２枚からなるステレオ画像を基にして、画像内の各画素の距離を算出する。なお、ステレオ画像による測距アルゴリズムとしてはＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）、ＮＣＣ（Normalized Cross-Correlation）などを使用する。

また、距離測定ユニット１６０として、超音波の送受信により物体までの距離が測定可能な超音波センサを用いてもよい。

強調表示処理部１８０は、表示部１０の映像に表示される物体を強調表示するものであり、強調表示決定部１８５と、画像重畳部１９０とを有する。

強調表示決定部１８５は、表示部１０に表示される映像中の物体の強調表示を決定する。なお、強調表示は、表示された映像中の物体を他の部分と比較して視認し易くする表示である。強調表示の形態として、例えば、円形状や四角状等の枠状の図形で物体を囲む形態、或いは、物体自体の画像を他の部位とのコントラストを強くした加工や画像で表示する形態等が挙げられる。また、これら強調表示の形態は、着色して強調してもよい。

強調表示決定部１８５は、車両から特定の距離までに存在する物体を選定して強調表示の決定を行う。また、物体が存在する範囲を規定する特定の距離に応じて、強調表示する時間が設定されたテーブルを有し、このテーブルに基づいて決定した強調表示の表示時間を決定する。

図２は強調表示を行う物体と車両との位置関係を模式的に示す図である。
特定の距離としては、図２に示すように、第１距離と第２距離とが設定される。第１距離及び第２距離はそれぞれ、車両から測られる距離であり、第１距離は、第２距離より短い距離である。

第１距離は、車両が後方の物体（例えば、後方の人）に近く、車両が物体に接近している距離であり、視線移動検知の有無に関わらず、運転者に物体の強調表示をする距離である。例えば、第１距離としては３ｍとし、第１距離内の範囲を第１範囲とし、第１範囲は、３ｍ未満の距離に存在する範囲であり、この範囲の物体に対しては強調表示する。

第２距離は、後方の物体が比較的近いが接近しておらず（第１距離よりも長い）、視線検知により物体の強調表示を行う範囲を規定する距離である。第２距離から第１距離を除いた範囲を第２範囲とし、この範囲内の物体に対しては、視線検知により物体の強調表示を行う。例えば、第２距離を１０ｍとし、第１距離を３ｍとして、第２範囲は３−１０ｍを想定する。
すなわち、強調表示決定部１８５は、距離測定部１７０により入力される物体までの距離が第１距離未満の第１範囲内であれば、常に当該物体の強調表示を決定し、第１距離以上第２距離以下の第２範囲内であれば、運転者の視線検知により強調表示を決定する。また、距離測定部１７０により入力される物体までの距離が１０ｍより長ければ、つまり物体が車両から１０ｍ以上離れていれば、当該物体の強調表示は行わない。

画像重畳部１９０は、映像信号が示す映像に表示される物体に、生成した強調表示画像を重畳して、表示部１０に表示する。
画像重畳部１９０は、判別部１３０からの視線の種類を示す信号と、映像処理部１５０からの映像信号と、強調表示決定部１８５からの強調表示決定を示す信号とに基づいて、運転者の表示部１０へ視線移動したときに、表示部１０に表示される物体の強調表示を行う。

画像重畳部１９０は、時間計測が可能なタイマを有し、判別部１３０からの視線の種類を示す信号に応じて設定された表示時間で物体を強調表示できる。例えば、正面から表示部１０へ移動した視線は、車両前方視認時からの視線移動であるので、メータなどの計器のある正面下から表示部１０へ移動した視線よりも、物体の強調表示時間を長くする。

表示時間の設定は、例えば、視線の種類に強調表示の表示時間が対応付けられたテーブルを用いて行われる。画像重畳部１９０は、判別された視線の種類に応じた強調表示時間となるように、タイマを用いて強調表示の経過時間の測定の開始及び終了を行う。
なお、画像重畳部１９０は、物体が特定の距離内にあるときは、特定の距離内での強調表示形態で強調表示を続ける。

次に、車両用表示装置１００における物体の強調表示処理を説明する。
図３は、本発明の実施の形態に係る車両用表示装置の動作例を示すフローチャートである。

図３に示すように、車両用表示装置１００では、まず、ステップＳ１１において、搭載される車両が駆動開始する（本実施の形態では、エンジン始動としたが、電気自動車である場合は電源ＯＮ）ことにより各部は駆動する。ステップＳ１２では、距離測定ユニット１６０を介して距離測定部１７０は、車両の後方の物体（例えば、後方車両）までの距離を測定する。

ステップＳ１３では、強調表示決定部１８５は、物体までの距離が第１範囲内にあるか第２範囲内にあるかを判定する。
第１距離であれば、物体が第１範囲内に存在する、つまり、図２に示す第１距離により規定される第１範囲内に物体が存在するので、ステップＳ１４に移行する。

ステップＳ１４では、強調表示処理部１８０の画像重畳部１９０は、後方カメラ１４０、映像処理部１５０を介して入力される映像中において対象となる物体を強調表示する。 表示部１０の映像中の物体を強調表示した例を図４に示す。
図４に示すように、画像重畳部１９０により、表示部１０に表示される映像中の物体（図では「後方車両」）は、強調表示画像Ｍが重畳されて強調表示される。

また、ステップＳ１３において、物体までの距離が第２距離であれば、物体が第２距離範囲内に存在する、つまり、図２に示す第１距離と第２距離とで規定される第２範囲に物体が存在するので、ステップＳ１５に移行する。また、物体までの距離が第１距離及び第２距離以外である場合、つまり、第２距離内に物体が存在していない場合は、ステップＳ１２に戻り処理を繰り返す。

ステップＳ１５では、視線検知部１２０は、視線検知カメラ１１０からの画像データに基づいて、運転者の視線移動方向情報を検出し、検出した視線移動方向情報に基づいて、運転者の視線移動を検知した場合、ステップＳ１６に移行する。ステップＳ１５において視線移動を検知しない場合、ステップＳ１２に戻り以降の処理をくり返す。

ステップＳ１６では、判別部１３０が、視線検知部１２０により検知される視線の種類を判別する。ステップＳ１６では、判別部１３０が、運転者の表示部１０に視線を向ける前の視線方向の違いによる表示部１０への視線の種類を判別することにより、視線移動後の焦点距離の差異の大きさを判別することになる。

運転者の視線方向が表示部１０に表示される映像に向く場合、映像に対する焦点距離は小さい。よって、運転者の表示部１０への視線移動した際の移動前に視線を向けた方向で視認していた際の焦点距離が小さい場合は、視線移動による焦点距離の差異は小さくなる。一方、運転者の表示部１０への視線移動前に視線を向けて視認していた際の焦点距離が大きい場合は、視線移動による焦点距離の差異は大きくなる。
よって、運転者の表示部１０へ視線を向ける前の視線が、正面下に向いていた視線である場合等、視線移動前の焦点距離が小さく、表示部１０の映像までの焦点距離の差異が小さい視線の線種を判別した場合はステップＳ１７に移行する。

ステップＳ１７では、強調表示処理部１８０は、表示部１０に表示される映像において物体を強調表示し、ステップＳ１８では、所定時間後（例えば、２秒後）に強調表示を非表示にする（図４参照）。
一方、運転者の表示部１０への視線が、運転者からみて正面中央から移動した視線である場合等、視線移動前の焦点距離が大きく、表示部１０の映像までの焦点距離の差異が大きい視線の線種を判別した場合はステップＳ１９に移行する。
ステップＳ１９では、強調表示処理部１８０は、表示部１０に表示される映像において物体を強調表示（図４参照）し、ステップＳ２０では、焦点距離の差異が小さい場合よりも長い時間後（例えば、５秒後）に強調表示を非表示にする。

ステップＳ１４における強調表示処理では、ステップＳ１７及びステップＳ１９における強調表示処理よりも、強調表示する物体（例えば、後方車両或いは人）との距離が近い（第１範囲内に存在する）。よって、ステップＳ１４における強調表示は、ステップＳ１７及びステップＳ１９における強調表示の色よりも視認し易い色で行う。すなわち、物体までの距離に応じて、異なる態様で強調表示する。例えば、第１範囲内の物体に対する強調表示は、赤色等で行い、第２範囲内における物体の強調表示は黄色等で行う。なお、ステップＳ１６において、検知した視線移動の視線方向が表示部１０に向かない場合は、ステップＳ２１に移行して、強調表示しない処理を行う。上述したステップＳ１２〜ステップＳ２１までの処理は、エンジンが停止するまで、つまり、車両駆動が停止するまで実行される。

本実施の形態によれば、運転者の視線移動の方向に応じて、表示部１０に表示される映像中の物体を強調表示できる。よって、運転中における運転者の車両前方視認時と、表示部１０であるルームミラーの映像を視認した時とにおいて、焦点距離の差異が増大しても、表示部１０において強調表示された物体（後方車両或いは人）を容易に視認することができる。これにより、老眼等の焦点（所謂ピント）調節機能が低下した運転者であり、表示部１０の映像を視認した時に、焦点距離の差異により焦点が合わず、ぼやけて見えても、強調表示された物体を視認することができ、運転者の安全確認を行うことができる。

よって、省スペースで搭載可能であり、コストの低廉化を図ることができるとともに、車両の周囲を映像で視認する際に、焦点が合わなくても、車両の周囲の物体を確実に視認させて運転者の安全確認を行うことができる。

また、本実施の形態によれば、運転者の視線移動を検知して、表示部１０に表示される映像の物体を強調表示できるため、強調表示処理部１８０は、表示部１０への視線移動の方向が、表示部１０が表示する映像中の特定部位である場合、当該特定部位の周囲にある物体を強調表示するようにしてもよい。例えば、表示部１０に表示される映像に強調表示された複数の物体を表示する場合、運転者の視線方向付近に位置する物体だけを強調表示するようにしてもよい。これにより、運転者が表示部１０の映像を視認する際に、焦点が合い易くなり、危険となる物体を確認させ、運転者の安全確認を支援できる。

本発明は、車両用電子ミラー装置に適用されるものとして好適である。

１０ 表示部
１００ 車両用表示装置
１１０ 視線検知カメラ
１２０ 視線検知部
１３０ 判別部
１４０ 後方カメラ
１５０ 映像処理部
１６０ 距離測定ユニット
１７０ 距離測定部
１８０ 強調表示処理部
１８５ 強調表示決定部
１９０ 画像重畳部
Ｍ 強調表示画像

Claims (5)

1. 車両の外界を撮像する車載カメラからの映像を表示する表示部と、
   運転者の視線移動を検知する視線検知部と、
   前記運転者の前記表示部への視線移動が検知されたときに、前記表示部に表示される映像中の物体を強調表示する強調表示処理部と、
   を有する、
   車両用表示装置。
2. 検知した視線移動に基づいて前記表示部への視線移動方向を判別する判別部を有し、
   前記強調表示処理部は、前記視線移動前に向いていた視線の方向に応じて、前記強調表示の表示時間を変更する、
   請求項１記載の車両用表示装置。
3. 前記車両から前記物体までの距離を測定する距離測定部を有し、
   前記強調表示処理部は、前記車両から測られる第１距離と、前記車両から測られ、且つ、前記第１距離よりも長い第２距離とを設定し、
   前記強調表示処理部は、
   前記運転者の前記表示部への視線移動が検知されたときに、映像中の物体において前記第２距離から前記第１距離を除いた範囲内にある物体を強調表示し、
   前記第１距離内の物体は、視線移動検知に関わらず強調表示する、
   請求項１または２記載の車両用表示装置。
4. 前記強調表示処理部は、前記第１距離による範囲に前記物体が存在する場合と、前記第２距離から前記第１距離を除いた範囲に前記物体が存在する場合とで、それぞれの前記物体を異なる態様で強調表示する、
   請求項３記載の車両用表示装置。
5. 前記強調表示処理部は、前記表示部への視線移動の方向が、前記表示部の映像中の特定部位である場合、当該特定部位の周囲にある物体を強調表示する、
   請求項１または２に記載の車両用表示装置。

Images