JP2015174643A - 表示制御装置 - Google Patents

Abstract

【課題】サイドガラスの背景の影響を受けずに、サイドガラスに移動体の左右後方の画像を表示する。【解決手段】表示制御装置は、移動体の左右の後方の撮影画像を取得し、サイドガラスの第１領域にその撮影画像に基づく表示画像を表示する。透過度制御部は、撮影画像に特徴物が含まれている場合に、サイドガラスの第１領域の透過度を下げる。これにより、サイドガラスの第１領域に表示された表示画像を見やすくすることができる。【選択図】図９

Description

本発明は、撮影画像を用いて車両の左右後方の情報を運転者に提示する手法に関する。

車両の左右に設けられたカメラにより撮影された車両後方の画像を表示して、サイドミラーの補助を行う手法が提案されている。例えば、特許文献１は、サイドミラーの死角をカメラで撮影し、撮影画像をサイドガラスに設けたホログラムコンバイナに投影して表示する車両用表示装置を記載している。

また、特許文献２は、カメラで撮影した車両後方の画像をフロントガラスに表示する車両用視覚補助装置を記載している。また、この文献は、違和感をなくすために、車両後方の画像を仮想サイドミラーの画像とともにフロントガラスに表示する手法を記載している。

特開２０００−７１８７７号公報 特開２００８−１４１５７４号公報

特許文献１は、撮影画像をサイドガラス上に設けたホログラムコンバイナに投影して表示するため、サイドガラスの背後の実際の景色と表示画像とが重なることにより、表示画像が見にくくなってしまうという欠点がある。

特許文献２は、車両のフロントガラスのほぼ全面を表示対象とするヘッドアップディスプレイを用いる必要があるためコストがかかる。また、車両後方の画像をフロントガラスに表示するため、表示画像が前方の景色の視認の妨げとなる恐れがあり、仮想サイドミラー画像を表示しているエリアでは特に前方の視認性が悪くなる。さらに、車両のボンネット部分の形状や角度によっては、仮想サイドミラーが浮いているように表示され、違和感が生じる場合もある。

本発明は、上記のような課題を解決するためになされたものであり、サイドガラスの背景の影響を受けずに、サイドガラスに移動体の左右後方の画像を表示することが可能な表示制御装置を提供することを主な目的とする。

請求項に記載の発明は、表示制御装置であって、移動体の左右の後方を撮影する撮影部による撮影画像を取得する取得部と、前記移動体のサイドガラスの第１領域の透過度を制御する透過度制御部と、前記サイドガラスの第１領域に、前記取得部が取得した画像に基づく表示画像を表示する表示制御部と、を備えることを特徴とする。

実施例の表示システムを適用した車両を模式的に示す平面図である 車両の車内前方を模式的に示す。 運転者がサイドコンバイナの表示画像を見る様子を示す。 サイドコンバイナの構成を示す。 表示システムの概略構成を示すブロック図である。 サイドカメラにより後方を撮影する状況の一例を示す。 図６の状況における表示画像の例を示す。 サイドコンバイナによる表示画像の表示例を示す。 表示制御のフローチャートである。 変形例による表示画像の表示例を示す。 他の変形例を説明する図である。

本発明の好適な実施形態では、表示制御装置は、移動体の左右の後方を撮影する撮影部による撮影画像を取得する取得部と、前記移動体のサイドガラスの第１領域の透過度を制御する透過度制御部と、前記サイドガラスの第１領域に、前記取得部が取得した画像に基づく表示画像を表示する表示制御部と、を備える。

上記の表示制御装置は、移動体の左右の後方の撮影画像を取得し、サイドガラスの第１領域にその撮影画像に基づく表示画像を表示する。透過度制御部は、サイドガラスの第１領域の透過度を制御する。

上記の表示制御装置の一態様では、前記透過度制御部は、前記撮影画像に特徴物が含まれている場合に、前記透過度を下げる。これにより、サイドガラスの第１領域に表示された表示画像を見やすくすることができる。

上記の表示制御装置の他の一態様では、前記表示制御部は、前記移動体の速度に応じて、前記透過度を制御する。これにより、移動体の速度に応じて、サイドガラスの第１領域に表示された表示画像の見やすさを制御することができる。

上記の表示制御装置の他の一態様では、前記表示制御部は、前記撮影画像に特徴物が含まれている場合には前記サイドガラスの第１領域の全体に前記表示画像を表示し、前記撮影画像に特徴物が含まれていない場合には前記サイドガラスの第１領域の一部に前記表示画像を表示する。これにより、撮影画像に含まれる特徴物を運転者に明瞭に見せることができる。

好適な例では、前記表示制御部は、前記サイドガラスの第１領域に、前記表示画像に対応する光を照射することにより、前記表示画像を表示する。

以下、図面を参照して本発明の好適な実施例について説明する。

［システム構成］
図１は、実施例に係る表示システムを適用した車両を模式的に示す。図１は、車両１を上方から見た平面図である。車両１は、左右のサイドミラーの位置に取り付けられたサイドカメラ２と、車両の後方に取り付けられたバックカメラ３とを備える。サイドカメラ２は車両１の左右の後方の画像を撮影する。バックカメラ３は車両１の後方の画像を撮影する。

図２は、車両１の車内前方を模式的に示す。具体的に、図２は、車内の運転席又は助手席から車両１の前方を見た様子を示す。車内の中央にはフロントガラス１１があり、その左右にはサイドガラス１２がある。

フロントガラス１１の上部中央付近にはルームコンバイナ１３が設けられており、図示しない車室の天井にはレーザプロジェクタ１４が配置されている。レーザプロジェクタ１４は、バックカメラ３が撮影した車両１の後方の画像をルームコンバイナ１３に照射する。ルームコンバイナ１３はハーフミラーであり、レーザプロジェクタ１４から照射された画像に対応する光（以下、「画像光」とも呼ぶ。）を運転者へ反射することにより、運転者に画像光の虚像を視認させる。ルームコンバイナ１３は、ルームミラーの役割を有する。

同様に、左右のサイドガラス１２には、通常のサイドミラーが配置される位置付近にサイドコンバイナ１５が設けられている。また、サイドコンバイナ１５の前方にはレーザプロジェクタ１６が設けられている。レーザプロジェクタ１６は、サイドカメラ２が撮影した車両１の後方画像に対応する画像光をサイドコンバイナ１５に照射する。これにより、運転者は、サイドカメラ２で撮影した画像をサイドコンバイナ１５の背後に虚像として視認する。

このように、ルームコンバイナ１３をルームミラーとして機能させ、サイドコンバイナ１５をサイドミラーとして機能させることにより、車両の構成からルームミラーとサイドミラーを取り除くことができる。

以下の説明では、サイドカメラ２が撮影した画像を「撮影画像」と呼び、サイドコンバイナ１５を利用して運転者に視認させる画像を「表示画像」と呼ぶ。また、レーザプロジェクタ１６が画像光をサイドコンバイナ１５に照射して運転者が表示画像の虚像を視認できるようにすることを、単に「サイドコンバイナ１５に表示画像を表示する」と表現する。

図３は、運転者７がサイドコンバイナ１５を見ている様子を示す。なお、この例では、車両１は右ハンドル車であり、運転者７は車両の右側の運転席に座っているものとする。運転者７は、通常の右側サイドミラーがある方向を見ることにより、サイドコンバイナ１５に表示された表示画像を見ることができる。

図４は、サイドガラス１２の構成例を示す。図４（ａ）に示すように、サイドガラス１２にはサイドコンバイナ１５が設けられている。本例では、サイドコンバイナ１５は、いわゆる調光ガラスとして構成される。図４（ｂ）は、サイドコンバイナ１５の層構成を模式的に示す。サイドコンバイナ１５は、中心に配置される液晶シート１５ｃを一対の中間膜１５ｂで挟み、さらにその両面に板ガラス１５ａを重ねて形成される。なお、サイドコンバイナ１５は、サイドガラス１２と独立に作成したものをサイドガラス１２上に設置すればよい。その場合、サイドガラス１２を外側（車内と反対側）の板ガラス１５ａとして使用してもよい。

中央の液晶シート１５ｃに電圧を印加して液晶の配向を制御することにより、サイドコンバイナ１５の透過度を透過状態（透過度１００％）と不透過状態（透過度０％）との間で変更することができる。なお、図４に示す構成は一例に過ぎず、本実施例では、電気的な制御により透過度を調整できれば他の構成の調光ガラスを使用しても構わない。

図５は、本実施例に係る表示システムの構成を示すブロック図である。表示システム３０は、サイドカメラ２と、サイドコンバイナ１５と、レーザプロジェクタ１６と、画像認識部３３と、車両情報取得部３４と、制御部３６とが共通のバス３１に接続されて構成される。

サイドカメラ２は図１に示すものであり、サイドコンバイナ１５及びレーザプロジェクタ１６は図３に示すものである。画像認識部３３は、サイドカメラ２から出力される撮影画像に基づいて画像認識を行い、予め決められた特徴物を抽出する。ここで、「特徴物」とは、事故・危険防止の観点から運転者に知らせる必要がある対象物であり、例えば、歩行者、バイク、自転車、自動車、路上においてある障害物などを含む。画像認識部３３が車道と歩道との間の白線や縁石など（以下、「境界線」と呼ぶ。）を検出している場合には、その境界線よりも車道側にあるもの全てを特徴物としてもよい。また、車両の速度に応じて、車両が一定速度以上の場合は境界線の外側にあるものを特徴物とせず、車両が一定速度以下の場合は境界線の外側にあるもの（例えば歩道にいる歩行者など）も特徴物に含めてもよい。

車両情報取得部３４は、車両情報、例えば、車両の速度、運転者による方向指示器（ウィンカー）の操作状態などの情報を取得する。車両情報取得部３４は、車両の制御部（コンピュータ）から情報を取得することができる。また、車両の速度などはナビゲーション装置から取得することもできる。

制御部３５は、レーザプロジェクタ１６及びサイドコンバイナ１５を制御する。具体的には、制御部３５はまずサイドカメラ２による撮影画像をレーザプロジェクタ１６に供給する。これにより、レーザプロジェクタ１６は、撮影画像に対応する画像光をサイドコンバイナ１５に照射し、運転者に画像の虚像を視認させる。

なお、サイドコンバイナ１５に表示される表示画像においては、画像処理により特徴物を強調表示してもよい。また、画像処理部３３により車道と歩道との間の境界線が検出されている場合には、その境界線より車道側に存在するものを全て強調表示したり、表示される画像の領域の輪郭を強調して表示したり、その境界線より車道側にあるもののみを表示画像に含めて表示したりしてもよい。

また、制御部３５は、画像認識部３３により特徴物が検出されたか否かに応じて、サイドコンバイナ１５の透過度を制御する。具体的には、制御部３５は、画像認識部３３により特徴物が検出された場合には、その特徴物を運転者に見やすく表示するために、サイドコンバイナ１５の透過度を０％とする（以下、「不透過モード」と呼ぶ。）。即ち、撮影画像に特徴物が含まれる場合には、制御部３５は、サイドコンバイナ１５をいわゆる曇りガラスのような状態とする。これにより、運転者にはサイドコンバイナ１５の背後の実際の風景が見えなくなる。よって、レーザプロジェクタ１６によりサイドコンバイナ１５に表示された表示画像が、サイドガラス２の背後の実際の風景と重なって、表示画像中の特徴物が見にくくなることを防止できる。つまり、サイドコンバイナ１５に表示された表示画像中の特徴物を運転者に明瞭に見せることができる。

一方、制御部３５は、画像認識部３３により特徴物が検出されていない場合には、サイドコンバイナ１５の透過度を１００％とする（以下、「透過モード」と呼ぶ。）。即ち、撮影画像に特徴物が含まれない場合には、表示画像を運転者に見せる必要性は高くないので、制御部３５は、サイドコンバイナ１５を透明なガラスの状態とする。これにより、運転者はサイドコンバイナ１５の背後の実際の風景を見ることができる。特に、透過モードと不透過モードの切り替えは透過度を段階的に変化させるようにする。これは、運転者がモードの切り替えを確認しやすくするためである。

なお、撮影画像に基づいて車道と歩道の間の境界線を検出できている場合、制御部３５は、特徴物が検出されたときに、表示画像における境界線より内側（車道側）に対応するサイドコンバイナ１５の領域のみを不透過モードとしてもよい。

上記の構成において、サイドカメラ２は本発明の撮影部の一例であり、制御部３５は本発明の取得部、透過度制御部及び表示制御部の一例である。

［表示制御］
次に、本実施例の表示制御について詳しく説明する。図６は、車両１を含む道路状況の一例を示す。図６の例では、車両１は車道を走行している。車道の右側には歩道があり、車道と歩道とは境界線２１により分けられている。歩道には、所定の間隔で電柱２２が設けられている。また、車両１の後方をバイク２３が走行している。

図６の道路状況において、車両１の右側のサイドコンバイナ１５に表示される表示画像の例を図７に示す。この表示画像は、車両１の右側のサイドカメラ２で撮影した画像を左右反転したものである。即ち、車両後方の画像をサイドミラーに写っているのと同じように運転者に見せるため、サイドカメラ２による撮影画像は左右反転されて表示画像としてサイドコンバイナ１５に表示される。図６の道路状況に示すように、表示画像は、路上の境界線２１と、車両１の右後方にある電柱２２と、車両１の後方を走っているバイク２３とを含んでいる。なお、図６の道路状況において、車両１の後方にバイク２３がいない場合には、表示画像は、図７の表示画像においてバイク２３を除去したものとなる。

次に、サイドガラス１２上での表示画像の表示例について説明する。図８は、表示画像がサイドコンバイナ１５に表示されている状態のサイドガラス１２を運転席から見た様子を模式的に示す。

まず、図８（ａ）は、図６の道路状況においてバイク２３がいない場合の例である。運転者には、サイドガラス１２の向こう側に路上の境界線２１と電柱２２とが見える。即ち、境界線２１と電柱２２は、サイドガラス１２越しに見える実物である。これに加えて、サイドコンバイナ１５には、レーザプロジェクタ１６により、サイドカメラ２が撮影した画像が表示画像として表示される。サイドコンバイナ１５上の表示画像は、境界線２１と電柱を含む。この例では、サイドカメラ２の撮影画像には、前述のバイク、自転車などの特徴物は含まれていない。よって、制御部３５は、サイドコンバイナ１５を透過モードに設定する。この場合、表示画像がサイドコンバイナ１５に表示されているが、運転者は透過モードのサイドコンバイナ１５を通して、その背後の実際の風景を見ることができる。よって、運転者には、サイドコンバイナ１５の背後の実際の電柱２２と、サイドコンバイナ１５に表示された表示画像とが重なって見える。しかし、この場合、撮影画像には特徴物は含まれておらず、運転者に特に表示画像を注視させる必要もないので問題はない。

しかし、上記のようにサイドコンバイナ１５を透過モードとした場合、仮に図８（ｂ）の例のように撮影画像に特徴物であるバイク２３が含まれているとすると、表示画像中のバイク２３と、サイドコンバイナ１５の背後の実際の電柱２２とが重なってしまい、特徴物であるバイク２３が見にくくなってしまう。そこで、撮影画像に特徴物が含まれる場合には、制御部３５はサイドコンバイナ１５を不透過モードに設定する。これにより、図８（ｃ）に示すように、サイドコンバイナ１５は曇りガラスのような状態となり、サイドコンバイナ１５の領域内では、その背後にある実際の電柱２２は見えない。制御部３５は、このようにサイドコンバイナ１５を不透過モードとした上で、サイドコンバイナ１５にレーザプロジェクタ１６からの画像光を照射し、表示画像を表示させる。こうすると、図８（ｄ）に示すように、サイドコンバイナ１５内に表示されている表示画像において、特徴物であるバイク２３は、背後にある実際の電柱２２と重なることなく明瞭に視認可能となる。

このように、本実施例の表示制御では、制御部３５は、撮影画像に特徴物が含まれる場合にはサイドコンバイナ１５を不透過モードとし、背後の実際の風景が見えないようにした上で表示画像を表示する。よって、特徴物を含む表示画像を明瞭に運転者に視認させることができる。

［処理フロー］
次に、上記の表示制御の処理フローについて説明する。図９は、本実施例の表示制御のフローチャートである。この表示制御は前述の制御部３５により実行される。また、この表示制御は、車両のエンジンが始動されたときに実行され、車両のエンジンが停止されたときに終了する。

まず、制御部３５はサイドカメラ２を起動して撮影を開始させ、表示画像をサイドコンバイナ１５に表示する（ステップＳ１１）。即ち、制御部３５は、サイドカメラ２が撮影した画像に対応する画像光をレーザプロジェクタ１６によりサイドコンバイナ２に照射させて、運転者が視認できるようにする。

次に、制御部３５は、サイドコンバイナ１５を透過モードにする（ステップＳ１２）。これにより、図８（ａ）に例示するように、透過モードの状態で表示画像がサイドコンバイナ１５に表示される。サイドコンバイナ１５が透過モードであるので、運転者には、サイドコンバイナ１５の領域においてもその背後の実際の景色が見える。

次に、制御部３５は、画像認識部３３の認識結果により、サイドカメラ２の撮影画像に特徴物が含まれている否かを判定する（ステップＳ１３）。特徴物が含まれていない場合（ステップＳ１３：Ｎｏ）、制御部３５は透過モードでの表示を継続する。一方、サイドカメラ２の撮影画像に特徴物が含まれている場合（ステップＳ１３：Ｙｅｓ）、その特徴物を運転者に明瞭に見せる必要があるので、制御部３５はサイドコンバイナ１５を不透過モードにする（ステップＳ１４）。これにより、サイドコンバイナ１５は曇りガラスのような状態となり、図８（ｄ）に例示するようにサイドコンバイナ１５の後方にある実際の風景が見えなくなる。よって、運転者はサイドコンバイナ１５に表示された表示画像に含まれる特徴物を明瞭に視認することができる。

次に、制御部３５は、サイドカメラ２の撮影画像に特徴物が含まれているか否かを判定する（ステップＳ１５）。撮影画像に特徴物が含まれている場合（ステップＳ１５：Ｙｅｓ）、処理はステップＳ１４へ戻り、制御部３５は不透過モードでの表示を継続する。

一方、撮影画像に特徴物が含まれなくなった場合（ステップＳ１５：Ｎｏ）、処理はステップＳ１２へ戻り、制御部３５は、サイドコンバイナ１５を透過モードにする。

こうして、制御部３５は、撮影画像に特徴物が含まれていない場合には透過モードで表示画像の表示を行い、撮影画像に特徴物が含まれている場合には不透過モードで表示画像の表示を行う。

［変形例］
（変形例１）
上記の実施例では、撮影画像に特徴物が含まれるか否かに応じて、サイドコンバイナ１５の透過モードと不透過モードとを切り替えている。その代わりに、又は、それに加えて、車両の速度に応じてサイドコンバイナ１５の透過モードと不透過モードを切り替えてもよい。例えば、車両が停車中及び低速走行中である場合には運転者に後方の画像をよく見せるためにサイドコンバイナ１５を不透過モードとし、車両が中速及び高速走行中の場合にはサイドコンバイナ１５を透過モードとしてもよい。さらには、右左折時の方向指示器（ウィンカー）の操作に応じてサイドコンバイナ１５の透過モードと不透過モードとを切り替えてもよい。例えば、運転者により方向指示がなされている場合にはサイドコンバイナ１５を不透過モードとし、右左折時の車両後方の様子を見やすく表示するのが好ましい。

（変形例２）
上記の実施例では、サイドカメラ２の撮影画像に特徴物が含まれていない場合でも、撮影画像をサイドコンバイナ１５の全体に表示している。その代わりに、サイドカメラ２の撮影画像に特徴物が含まれていない場合には、図１０（ａ）に示すように、サイドコンバイナ１５の一部の領域のみに表示画像を表示する、即ち縮小画像１５ｓを表示することとしてもよい。これは、撮影画像に特徴物が含まれていない場合には、表示画像を運転者に見せる必要性がそれほど高くないので、むしろ表示画像を小さくして、その背後の実際の風景をより見やすくした方がよいと考えられるからである。なお、図１０（ａ）の例では、縮小画像１５ｓはサイドコンバイナ１５の領域の左下に配置されているが、これに限らず、サイドコンバイナ１５内の任意の領域に縮小画像１５ｓを表示することができる。

（変形例３）
上記の実施例では、サイドコンバイナ１５を矩形とし、サイドコンバイナ１５の形状に合わせて表示画像を表示している。しかし、実際には運転者はフロントガラス１１方向を向いてシートに座り、すぐ横のサイドガラス１２上の表示画像を見ることになる。そこで、運転者による見易さを考慮し、例えば図１０（ｂ）の画像１５ｘに示すように、表示画像を手前側の縦方向の長さが短い台形としてもよい。この場合、サイドコンバイナ１５は上記の実施例のように矩形に構成し、ユーザの選択により矩形の表示と台形の表示を切り替えられるようにするのが好ましい。

（変形例４）
上記の実施例では、サイドコンバイナ１５の大きさは、通常のサイドミラー程度の大きさとしている。その代わりに、サイドコンバイナ１５を通常のサイドミラーより大きく構成しても良い。この場合、サイドカメラ２の撮影範囲（画角）も通常のサイドミラーに映る範囲よりも大きくすることが好ましい。こうすると、通常のサイドミラーの死角となる領域もサイドカメラ２で撮影して、サイドコンバイナ１５に表示することができる。

具体的には、図１１に示すように、サイドガラス１２にサイドコンバイナ１５Ｌを設ける。ここで、サイドコンバイナ１５Ｌは通常のサイドミラーよりも大きく、図１１の領域１５Ｎが通常のサイドミラーと同程度の大きさとなっている。こうして、サイドコンバイナ１５Ｌを通常のサイドミラーより大きくした上で、サイドコンバイナ１５Ｌの全体を利用して画像を表示するフルモードと、通常のサイドミラー程度の大きさの領域１５Ｎのみを利用して画像を表示するサイドミラーモードとを切り替えて表示を行うこととしてもよい。なお、サイドミラーモードでは、サイドコンバイナ１５Ｌ内の任意の位置に画像を表示することができる。

フルモードとサイドミラーモードとの切り替えについては、例えば、撮影画像に特徴物が含まれる場合にフルモードで表示し、特徴物が含まれない場合にサイドミラーモードで表示することとしてもよい。この場合も、制御部３５は、撮影画像に特徴物が含まれる場合にはサイドコンバイナ１５Ｌを不透過モードとし、特徴物が含まれない場合はサイドコンバイナ１５Ｌを透過モードとすることが好ましい。また、車両の速度に応じてフルモードとサイドミラーモードを切り替えてもよい。さらには、運転者が予めいずれのモードを使用するかを設定するようにしてもよい。

１ 車両
２ サイドカメラ
１１ フロントガラス
１２ サイドガラス
１５ サイドコンバイナ
１６ レーザプロジェクタ
３３ 画像認識部
３５ 制御部

Claims (5)

1. 移動体の左右の後方を撮影する撮影部による撮影画像を取得する取得部と、
   前記移動体のサイドガラスの第１領域の透過度を制御する透過度制御部と、
   前記サイドガラスの第１領域に、前記取得部が取得した画像に基づく表示画像を表示する表示制御部と、
   を備えることを特徴とする表示制御装置。
2. 前記透過度制御部は、前記撮影画像に特徴物が含まれている場合に、前記透過度を下げることを特徴とする請求項１に記載の表示制御装置。
3. 前記表示制御部は、前記移動体の速度に応じて、前記透過度を制御することを特徴とする請求項１又は２に記載の表示制御装置。
4. 前記表示制御部は、前記撮影画像に特徴物が含まれている場合には前記サイドガラスの第１領域の全体に前記表示画像を表示し、前記撮影画像に特徴物が含まれていない場合には前記サイドガラスの第１領域の一部に前記表示画像を表示することを特徴とする請求項１乃至３のいずれか一項に記載の表示制御装置。
5. 前記表示制御部は、前記サイドガラスの第１領域に、前記表示画像に対応する光を照射することにより、前記表示画像を表示することを特徴とする請求項１乃至４のいずれか一項に記載の表示制御装置。

Images