JP6364702B2 - 画像表示制御装置、画像表示システム、および表示ユニット - Google Patents

Description

本発明の実施形態は、画像表示制御装置、画像表示システム、および表示ユニットに関する。

従来、車室内に設けられたミラーと、当該ミラーの左右両側に設けられた表示装置とが一体化されたミラー一体型表示ユニットが知られている。

特開２００８−２３０５５８号公報

この種の装置では、一例としては、表示装置に表示される画像をより効果的に用いることができれば好ましい。

本発明の実施形態にかかる画像表示制御装置は、一例として、ドライバの視点の位置の検出結果および表示装置の角度の検出結果のうち少なくとも一方に基づいて、車内画像および車外画像を用いてルームミラーの写像に似せた出力画像であって窓枠内の第一領域の車外画像と窓枠外の第二領域における車内画像および車外画像の重ね合わせによる合成画像とを含む出力画像を作成する、画像作成部と、上記画像作成部で作成された出力画像が表示されるよう、上記表示装置を制御する表示制御部と、上記第二領域の合成画像における車外画像の比率を変更する比率変更部と、を備え、上記比率変更部は、車両の後進による駐車動作時に、上記第二領域の合成画像における車外画像の比率を高める。
また、本発明の実施形態にかかる画像表示制御装置では、一例として、上記比率変更部は、車両が駐車目標位置に接近する場合に、車両が上記駐車目標位置に接近しない場合よりも上記第二領域の合成画像における車外画像の比率を高める。
また、本発明の実施形態にかかる画像表示制御装置は、一例として、車両の後進による駐車動作時に、出力画像の表示範囲を左右方向に拡大するとともに、上記表示範囲を車両の移動する方向に動かす表示範囲決定部、を備える。
また、本発明の実施形態にかかる画像表示制御装置は、一例として、車外の物体を検出する物体検出部と、出力画像に追加する画像を作成する追加画像作成部と、を備え、上記追加画像作成部は、上記物体検出部により検出された物体の画像を取り囲む枠状の強調表示を出力画像に追加する。
また、本発明の実施形態にかかる画像表示制御装置は、一例として、出力画像に追加する画像を作成する追加画像作成部を備え、上記追加画像作成部は、路面上の線の画像と重なった帯状の強調表示を出力画像に追加する。
よって、本実施形態によれば、一例としては、表示装置に、ルームミラーの写像と同様の出力画像を表示することができる。また、このような構成によれば、車両の駐車動作時に、運転者が車両の周囲や進行する方向の車外の状況を把握しやすくなる。

本発明の実施形態にかかる画像表示制御装置では、一例として、上記画像作成部は、作成された車外画像の一部を上記出力画像とする。よって、本実施形態によれば、一例としては、表示装置の表示範囲を、比較的容易に変更することができる。

本発明の実施形態にかかる画像表示制御装置は、一例として、ドライバの視点の位置の検出結果および表示装置の角度の検出結果のうち少なくとも一方に基づいて、車外画像を撮像する撮像部の撮像範囲が変更されるように制御する撮像範囲制御部を備える。よって、本実施形態によれば、一例としては、ドライバの視点の位置あるいは表示装置の角度に対応した範囲を撮像した画像から、より不都合の少ない画像が得られやすい。

本発明の実施形態にかかる画像表示制御装置では、一例として、上記画像作成部は、車外の物体を検出する物体検出部で検出された上記物体の位置に応じて上記出力画像に含まれる上記物体の画像の大きさを変更する。よって、本実施形態によれば、一例としては、表示装置に、車外の物体の画像のサイズが、より精度良く表示されやすい。

本発明の実施形態にかかる画像表示制御装置では、一例として、上記表示装置の表示画面がハーフミラーで覆われ、上記表示制御部は、上記ハーフミラーが全透過状態となる輝度で上記出力画像を表示するよう、上記表示装置を制御する。よって、本実施形態によれば、一例としては、表示装置の出力画像とハーフミラーの写像との誤差によって、画像あるいは写像が見えにくくなる事象が生じるのが抑制されやすい。

本発明の実施形態にかかる画像表示制御装置では、一例として、上記表示装置の表示画面がハーフミラーで覆われ、上記画像作成部は、車外の情景を示す上記出力画像を作成し、上記表示制御部は、上記ハーフミラーが半透過状態となる輝度で上記出力画像を表示するよう、上記表示装置を制御する。よって、本実施形態では、一例として、表示装置から出力された車外画像にハーフミラーの写像による車内画像を重ねることができる。

本発明の実施形態にかかる画像表示制御装置では、一例として、上記表示装置の表示画面がハーフミラーで覆われ、上記ハーフミラーでの透過状態が全透過状態および半透過状態のうち一方に維持される範囲で、車内の明るさを検出する明るさ検出部で検出された当該車内の明るさが明るいほど上記表示装置の輝度あるいは上記出力画像の輝度値を大きくする輝度変更部を備える。よって、本実施形態によれば、一例としては、車内の明るさの変化に応じてハーフミラーの透過状態が変化することによって画像あるいは写像が見えにくくなるのが抑制されやすい。

本発明の実施形態にかかる画像表示制御装置では、一例として、上記表示装置の表示画面がハーフミラーで覆われ、上記画像作成部は、上記ハーフミラーの写像中の車両の窓の領域に対応した上記出力画像を作成する。よって、本実施形態によれば、一例としては、窓から見える車外画像がより明確に視認されやすい場合がある。

本発明の実施形態にかかる画像表示制御装置では、一例として、上記表示装置の表示画面がハーフミラーで覆われ、上記表示制御部は、少なくとも、上記ハーフミラーの全透過状態と、上記ハーフミラーの半透過状態と、が切り替え可能となるよう、上記表示装置を制御可能である。よって、本実施形態によれば、一例としては、表示装置に、運転状況やドライバの好み等に対応した画像が表示されやすい。

本発明の実施形態にかかる画像表示システムは、一例として、上記画像表示制御装置と、車外または車内の情景を撮像する撮像部と、を備える。よって、本実施形態によれば、一例としては、表示装置に、ルームミラーの写像と同様の出力画像を表示することができる。

本発明の実施形態にかかる表示ユニットは、一例として、上記画像表示制御装置に含まれる上記表示装置と、上記表示装置の表示画面を覆うハーフミラーと、を備える。よって、本実施形態によれば、一例としては、ドライバは、表示装置が使用できない状態では、ハーフミラーを使って後方を確認することができる。

図１は、実施形態にかかる画像表示システムの一例の概略構成図である。 図２は、実施形態にかかる画像表示システムに含まれる表示ユニットの一例の斜視図である。 図３は、実施形態にかかる画像表示システムに含まれる表示ユニットの一例の側面図である。 図４は、実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像、透過度＝０）の一例である。 図５は、実施形態にかかる画像表示システムの撮像部による撮像範囲の一例の平面図である。 図６は、実施形態にかかる画像表示システムの撮像部による撮像範囲の一例の側面図である。 図７は、実施形態にかかる画像表示システムの撮像部による撮像範囲の別の一例の平面図である。 図８は、実施形態にかかる画像表示システムの撮像部による撮像範囲の別の一例の側面図である。 図９は、実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例であって、透過度が０の状態での図である。 図１０は、実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例であって、透過度が０より大きく１より小さい状態での図である。 図１１は、実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例であって、透過度が１の状態での図である。 図１２は、実施形態にかかる画像表示システムで得られる車外画像の全域と表示範囲との一例が示された説明図である。 図１３は、実施形態にかかる画像表示システムの一例におけるドライバの視点の位置の変化に対応したハーフミラー（ルームミラー）の写像として見える範囲の変化の概念図である。 図１４は、実施形態にかかる画像表示システムの一例における表示ユニットの角度の変化に対応したハーフミラー（ルームミラー）の写像として見える範囲の変化の概念図である。 図１５は、実施形態にかかる画像表示システムにおける車両と物体との距離と当該物体の画像の倍率との相関関係の一例が示されたグラフである。 図１６は、実施形態にかかる画像表示システムに含まれるＥＣＵの機能ブロック図の一例である。 図１７は、実施形態にかかる画像表示システムの処理手順の一例が示されたフローチャートである。 図１８は、実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例であって、車線変更される前の状態での図である。 図１９は、実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例であって、車線変更されている状態での図である。 図２０は、実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例であって、車線変更されている状態で車外に物体が検出された場合の図である。 図２１は、駐車時における車両の位置と当該位置での実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例とが示された概念図であって、駐車が開始される前の状態での図である。 図２２は、駐車時における車両の位置と当該位置での実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例とが示された概念図であって、車両が駐車目標位置に到達する前の状態での図である。 図２３は、駐車時における車両の位置と当該位置での実施形態にかかる画像表示システムの表示装置で表示される画像（出力画像）の一例とが示された概念図であって、図２２よりも車両が駐車目標位置に近付いた状態での図である。 図２４は、実施形態にかかる画像表示システムの輝度変更に関する処理手順の一例が示されたフローチャートである。 図２５は、第１変形例にかかる画像表示システムの一例におけるドライバの視点の位置の変化に対応したハーフミラー（ルームミラー）の写像として見える範囲ならびに撮像部による撮像範囲の変化の概念図である。 図２６は、第２変形例にかかる画像表示システムに含まれる表示ユニットの一例の斜視図であって、展開状態が示された図である。 図２７は、第２変形例にかかる画像表示システムに含まれる表示ユニットの一例の斜視図であって、折り畳み状態が示された図である。

＜実施形態＞
以下の実施形態ならびに変形例には、同様の構成要素が含まれている。よって、以下では、それら同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。

本実施形態では、一例として、車両１に装備される画像表示システム１００は、図１に示されるように、表示装置１０に表示される画像を制御するＥＣＵ１１（electronic control unit、制御部、画像表示制御装置）を備えている。

また、本実施形態では、一例として、後方視認用のルームミラー（バックミラー）に替えて、図２，３に示されるような表示ユニット３０（表示装置、ミラーユニット、後方確認ユニット）が設けられている。表示ユニット３０は、表示装置１０（表示パネル）と、ハーフミラー３１と、接続部３２と、を有する。表示装置１０は、略車両後方に向けられた表示画面１０ａを有する。表示装置１０は、正面視では、左右方向（車幅方向）に長い四角形状（長方形状）の外観を呈し、扁平な直方体状に構成されている。表示装置１０は、一例としては、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electro-luminescent display）等である。表示装置１０には、車内（車室内）および車外（車室外）に設けられた撮像部１２で撮像された画像とは左右逆の画像が表示される。表示装置１０には、ＥＣＵ１１の画像処理によって、ハーフミラー３１で反射される写像に対応した（似た、適合した、マッチした、位置合わせされた）画像が表示される。

また、図２，３に示されるように、ハーフミラー３１は、表示装置１０の表示画面１０ａを覆う。ハーフミラー３１は、正面視では、左右方向（車幅方向）に長い四角形状（長方形状）の外観を呈し、扁平な直方体状に構成されている。ここで、本実施形態では、一例として、ハーフミラー３１は、表示画面１０ａとの間に隙間ｇをあけて設けられている。このような隙間ｇが設けられたことにより、表示装置１０の表示画面１０ａに表示された画像（映像）が、ハーフミラー３１で反射された写像のように見える。また、支持部１ｄは、車両１（例えば、ルーフパネル、図示されず）に固定されている。支持部１ｄと接続部３２とは、例えばボールジョイント機構（図示されず）を介して、三次元的に姿勢変更可能（回動可能、かつ各姿勢で停止可能）に接続されている。また、接続部３２には、表示装置１０（表示ユニット３０）の三次元での角度を検出する角度センサ２５（図１参照、図２，３では図示されず、一例としてはジャイロセンサ等）が設けられている。また、ハーフミラー３１は、表示装置１０と平行で当該表示装置１０の表示画面１０ａを覆った被覆位置Ｐ１（第一の位置）と、表示画面１０ａを覆わず当該表示画面１０ａから離間した開放位置Ｐ２（第二の位置、離間位置）との間で、往復可能（開閉可能）であり、かつ少なくともそれら各位置Ｐ１，Ｐ２で静止可能に構成されている。すなわち、ドライバは、ハーフミラー３１を手指等で動かして開放位置Ｐ２に移動することで、表示画面１０ａに表示された画像を、ハーフミラー３１を介さずに視認することができる。

本実施形態にかかる表示ユニット３０は、ハーフミラー３１と表示装置１０とを組み合わせた種々のモードで使用することができる。例えば、表示装置１０に画像を比較的高い輝度で表示させ、ハーフミラー３１を全透過状態とし、ハーフミラー３１をミラーとしては使用しないモード（全透過モード）がある。また、表示装置１０に画像を表示させず、ハーフミラー３１をミラーとして使用するモード（全反射モード、ミラーモード）がある。また、ハーフミラー３１で光を反射させつつ、表示装置１０の画像を表示させるモード（半透過モード）がある。また、半透過モードでは、局所的に（例えば、窓枠１ａ内に対応する領域のみで）画像の輝度を高めることができる（局所強調モード）。以下では、特に断らない限り、全透過モードでの演算処理について説明する。

全透過モードでは、表示装置１０に表示される画像（出力画像Ｉｍ）には、一例としては、図４に示されるように、車内の情景を示す車内画像Ｉｍｉ（ピラーや、ドア、シート、トリム、ルーフ等の他、乗員、荷物、物品等を含む車内の画像）と、窓１ｃ（窓枠Ｉａ内）に対応した部分の車外の情景を示す車外画像Ｉｍｏとが含まれる。車内画像Ｉｍｉは、図５〜８に示される車内に設けられた撮像部１２Ｉ（１２）によって取得される。撮像部１２は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１２は、所定のフレームレートで画像データ（動画データ、フレームデータ）を出力することができる。また、本実施形態では、一例として、表示装置１０で車内の比較的広い範囲での各位置について車内画像Ｉｍｉを表示することができるよう、車内の撮像部１２Ｉ（１２）によって、車内の比較的広い範囲が撮像される。車内の撮像部１２Ｉ（１２）は、一つでもよいし、複数でもよい。車内の撮像部１２Ｉ（１２）は、一例としては、車内の前部に設けられ、表示装置１０の近傍に、あるいは表示装置１０と一体的に、設けられうる。なお、車内に複数の撮像部１２が設けられる場合、ＥＣＵ１１（制御部）が、それら複数の撮像部１２で取得された画像を合成する。

車外画像Ｉｍｏは、車外の複数の撮像部１２によって取得される。ＥＣＵ１１は、それら複数の撮像部１２で取得された画像を公知の技術で合成して一連の車外画像Ｉｍｏ（パノラマ画像、図１２参照）を得る。本実施形態では、一例として、表示装置１０で比較的広い範囲での各位置について車外画像Ｉｍｏを表示することができるよう、車外の複数の撮像部１２によって、車両１の後方の比較的広い範囲が撮像される。図５，６の例では、車外の撮像部１２は、車両１（車体）の両側部（一例としては、左右のドアミラー）のそれぞれに設けられるとともに、車両１の後端部１ｂに設けられる。また、図７，８の例では、車外の撮像部１２は、車両１の後端部１ｂの両側部（一例としては、車両１の後方側の角部の比較的上方）のそれぞれに設けられるとともに、車両１の後端部１ｂに設けられる。また、撮像部１２のそれぞれの撮像範囲を上下に異ならせることができる。

また、本実施形態では、一例として、ＥＣＵ１１は、車内画像Ｉｍｉと車外画像Ｉｍｏとを重ね合わせて（合成して）、車内の構成（ピラーや、ドア、シート、トリム、ルーフ、乗員、荷物、物品等）を透過して車外の情景が見える合成画像Ｉｍｓ（図８参照）を作成する。また、図９〜１１に示されるように、ＥＣＵ１１は、透過度α（比率）が異なる合成画像Ｉｍｓを作成することができる。図９には（α＝０）の合成画像Ｉｍｓ（＝車内画像Ｉｍｉ）が示され、図１０には（０＜α＜１）の合成画像Ｉｍｓが示され、図１１には（α＝１）の合成画像Ｉｍｓ（＝車外画像Ｉｍｏ）が示されている。比較的簡単な例では、車内画像Ｉｍｉと車外画像Ｉｍｏとが互いに位置合わせされた状態での各点について、車内画像Ｉｍｉの輝度がｘ１、車外画像Ｉｍｏの輝度がｘ２、透過度がα（０≦α≦１）である場合に、当該各点での重ね合わせた合成画像Ｉｍｓの輝度ｘは、ｘ＝（１−α）×ｘ１＋α×ｘ２であることができる。なお、図９〜１１からも明らかとなるように、かかる画像の合成は、窓１ｃを除く領域（車内の構造物や物体等が存在する領域）について実行され、窓１ｃに対応する領域（車内の構造物や物体等が存在せず、窓１ｃを介して車外の情景が見える領域）については実行されない（車外画像Ｉｍｏのみが出力画像Ｉｍとなる）。車外画像Ｉｍｏは、窓１ｃの内側も外側も一連の形状を有するが、窓１ｃの内側と外側とで車外画像Ｉｍｏの輝度は異なる場合がある。なお、透過度αは、任意の値に設定することができる。

さらに、本実施形態では、一例として、ＥＣＵ１１は、車内画像Ｉｍｉおよび車外画像Ｉｍｏにおける表示範囲Ａｄを変更することができる。一例としては、図１２に示されるように、ＥＣＵ１１は、撮像部１２から取得された比較的広い範囲の車外画像Ｉｍｏから、その表示範囲Ａｄを決定（移動）することができる。なお、車内画像Ｉｍｉについても同様に表示範囲を変更することができる。

また、本実施形態では、一例として、ＥＣＵ１１は、車両１の状況に応じて、透過度αや表示範囲Ａｄを変更することができる。ＥＣＵ１１は、透過度αや表示範囲Ａｄを変更するトリガ（信号、データ）として、各種のセンサの検出結果を用いることができる。具体的には、例えば、ＥＣＵ１１は、図１に示される非接触計測装置１３や、舵角センサ１４（前輪用）、後輪操舵システム１５の舵角センサ１５ａ、ＧＰＳ１６（global positioning system）、車輪速センサ１７、ブレーキシステム１８のブレーキセンサ１８ａ、アクセルセンサ１９、前輪操舵システム２０のトルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ（モニタ装置２４）等の指示信号（制御信号、切替信号、操作信号、入力信号、データ）、物体検出部１１９（図１６参照）の検出結果、車両位置取得部１２０（図１６参照）によって取得された車両１の位置等、に応じて、透過度αや表示範囲Ａｄを変更することができる。図１に示されるように、画像表示システム１００に含まれる電気部品（すなわち、非接触計測装置１３や、舵角センサ１４、舵角センサ１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２、操作入力部２４ｂ等）は、一例としては、車内ネットワーク２３（例えばＣＡＮ（controller area network））を介して電気的に接続されうる。なお、各電気部品は、ＣＡＮ以外を介して電気的に接続されてもよい。

非接触計測装置１３（測距部、物体検出装置）は、例えば、超音波や電波を発射してその反射波を捉えるソナー（ソナーセンサ、超音波探知器）やレーダ等である。ＥＣＵ１１は、非接触計測装置１３の検出結果により、車両１の周囲に位置された物体Ｂ（障害物、図２０参照）の有無や距離を測定することができる。すなわち、非接触計測装置１３は、物体検出部の一例である。

舵角センサ１４は、操舵部（一例としてステアリングホイール、図示されず）の操舵量（回動角度）を検出するセンサであり、一例としては、ホール素子などを用いて構成される。また、舵角センサ１５ａは、後輪２Ｒ（図６参照）の操舵量（回動角度）を検出するセンサであり、一例としては、ホール素子などを用いて構成される。

車輪速センサ１７は、車輪２（図６参照、前輪２Ｆまたは後輪２Ｒ）の回転量や単位時間当たりの回転数を検出するセンサであり、一例としては、ホール素子などを用いて構成される。ＥＣＵ１１は、車輪速センサ１７から取得したデータに基づいて車両１の移動量などを演算することができる。車輪速センサ１７は、ブレーキシステム１８に設けられる場合もある。

ブレーキシステム１８は、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ（図示されず）を介して、車輪２（車両１）に制動力を与える。ブレーキセンサ１８ａは、ブレーキペダルの操作量を検出するセンサである。

アクセルセンサ１９は、アクセルペダルの操作量を検出するセンサである。トルクセンサ２０ａは、運転者が操舵部に与えるトルクを検出する。シフトセンサ２１は、一例としては、変速操作部の可動部（レバーや、アーム、ボタン等、図示されず）の位置を検出するセンサ（スイッチ）であり、変位センサなどを用いて構成される。なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、あくまで一例であって、種々に設定（変更）することができる。方向指示器２２は、方向指示用のライトの点灯（点滅）を指示する信号を出力する。

また、車内には、表示装置１０とは別の表示装置２４ａや、音声出力装置２４ｃが設けられている。表示装置２４ａは、例えば、ＬＣＤや、ＯＥＬＤ等である。音声出力装置２４ｃは、例えば、スピーカである。さらに、表示装置２４ａは、透明な操作入力部２４ｂ（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部２４ｂを介して表示装置２４ａの表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置２４ａの表示画面に表示される映像（画像）に対応した位置にて手指等で操作入力部２４ｂを触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。そして、これら表示装置２４ａや、操作入力部２４ｂ、音声出力装置２４ｃ等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置２４に設けられている。モニタ装置２４は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。モニタ装置２４は、ナビゲーションシステムやオーディオシステムと兼用されうる。なお、モニタ装置２４の表示装置２４ａに、表示装置１０と同様の画像を表示させることができる。

ＥＣＵ１１は、一例として、ＣＰＵ１１ａ（central processing unit）や、ＲＯＭ１１ｂ（read only memory）、ＲＡＭ１１ｃ（random access memory）、ＳＳＤ１１ｄ（solid state drive、フラッシュメモリ）、表示制御部１１ｅ、音声制御部１１ｆ等を有している。ＣＰＵ１１ａは、各種演算を実行することができる。ＣＰＵ１１ａは、ＲＯＭ１１ｂやＳＳＤ１１ｄ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１１ｃは、ＣＰＵ１１ａでの演算で用いられる各種のデータを一時的に記憶する。また、ＳＳＤ１１ｄは、書き換え可能な不揮発性の記憶部であり、ＥＣＵ１１の電源がオフされた場合にあってもデータを記憶することができる。また、表示制御部１１ｅは、ＥＣＵ１１での演算処理のうち、主として、撮像部１２で得られた画像データを用いた画像処理や、表示装置１０，２４ａで表示される画像データの画像処理（一例としては合成等）等を実行する。また、音声制御部１１ｆは、ＥＣＵ１１での演算処理のうち、主として、音声出力装置２４ｃで出力される音声データの処理を実行する。なお、ＣＰＵ１１ａや、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１１は、ＣＰＵ１１ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１１ｄに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１１ｄやＨＤＤは、ＥＣＵ１１とは別に設けられてもよい。

また、本実施形態では、一例として、上述したように、表示装置１０には、ＥＣＵ１１の画像処理によって、ハーフミラー３１の写像に対応した（似た、適合した、マッチした、位置合わせされた）出力画像Ｉｍが表示される。車外画像Ｉｍｏや車内画像Ｉｍｉ（複数が合成された画像も含む）からハーフミラー３１の写像に対応した出力画像Ｉｍへの座標変換を行う関数（変換式や、変換行列等）や、係数、定数、データ等は、車外や車内に実際に配置した複数のマーカのハーフミラー３１の写像中での位置を実際に取得したり（撮像によるキャリブレーションを行ったり）、幾何学的な演算を行ったりすることによって、得ることができる。

さらに、本実施形態では、一例として、ドライバＤの視点Ｐｉ（目の位置）や、表示ユニット３０の角度（姿勢）によって、表示装置１０に表示される出力画像Ｉｍが変化する。上述したように、表示装置１０では、ハーフミラー３１の写像に対応した出力画像Ｉｍが表示される。ハーフミラー３１の写像は、ドライバＤの視点Ｐｉ（目の位置）や、表示ユニット３０の角度（姿勢）に応じて変化するため、表示装置１０の出力画像Ｉｍも、ハーフミラー３１の写像の変化に応じて（変化と同様に）変化する。すなわち、図１３に示されるように、視点Ｐｉが左右方向（車幅方向）の一方側（一例として右側）に移動すると、視点Ｐｉから見たハーフミラー３１の写像に写される領域Ｖは、視点Ｐｉの移動前よりも他方側（左側）へ移動する。よって、ＥＣＵ１１は、表示装置１０に表示される出力画像Ｉｍも、ハーフミラー３１の写像に合わせて、視点Ｐｉの移動前よりも他方側（左側）へ移動するよう、表示装置１０を制御する。視点Ｐｉの位置は、撮像部１２Ｅ（１２）によって撮像されたドライバＤの顔の画像からパターンマッチング等を含む公知の画像処理によって取得されうる。視点Ｐｉが移動した場合の表示装置１０の出力画像Ｉｍの変化を示す関数等は、車外や車内に実際に配置した複数のマーカのハーフミラー３１の写像中での位置を実際に取得したり（撮像によるキャリブレーションを行ったり）、幾何学的な演算を行ったりすることによって、得ることができる。なお、逆方向に移動した場合や、移動量が異なる場合、前後方向に移動した場合等も、ＥＣＵ１１は、同様の手法で出力画像Ｉｍの変化を演算することができる。

図１４に示されるように、表示ユニット３０が左右方向（車幅方向）の一方側（一例として右側）を向くように回動すると、視点Ｐｉから見たハーフミラー３１の写像に写される領域Ｖは、視点Ｐｉの移動前よりも一方側（右側）へ移動する。よって、ＥＣＵ１１は、表示装置１０に表示される出力画像Ｉｍも、ハーフミラー３１の写像に合わせて、視点Ｐｉの移動前よりも一方側（右側）へ移動するよう、表示装置１０を制御する。表示ユニット３０の回動角度（回動量）は、角度センサ２５によって検出されうる。表示ユニット３０の姿勢が変化した場合の表示装置１０の出力画像Ｉｍの変化を示す関数等は、車外や車内に実際に配置した複数のマーカのハーフミラー３１の写像中での位置を実際に取得したり（撮像によるキャリブレーションを行ったり）、幾何学的な演算を行ったりすることによって、得ることができる。なお、逆方向に移動した場合や、移動量が異なる場合等も、ＥＣＵ１１は、同様の手法で出力画像Ｉｍの変化を演算することができる。

なお、ハーフミラー３１が設けられない構成の場合は、例えば、表示装置１０の表示画面１０ａの位置に鏡面を有したミラーが設けられたものと仮定し、表示装置１０には、当該ミラーの写像に対応した出力画像Ｉｍを表示させる。以上のような構成および制御により、ドライバは、表示装置１０（表示ユニット３０）を、仮想的なルームミラーとして用いることができる。また、出力画像Ｉｍの座標変換や移動の演算等に用いられる関数や、係数、定数、データ等は、ＲＯＭ１１ｂやＳＳＤ１１ｄ等の不揮発性の記憶部に記憶される。

また、本実施形態では、一例として、ＥＣＵ１１は、車外で検出された物体Ｂの画像Ｉｍｂの大きさを、車両１と物体Ｂとの距離に応じて調整する。大きさの調整に関する関数や、係数、定数、データ等は、車外や車内に実際に配置した複数のマーカのハーフミラー３１の写像中での位置を実際に取得したり（撮像によるキャリブレーションを行ったり）、幾何学的な演算を行ったりすることによって、得ることができる。図１５には、画像Ｉｍｂの大きさを調整する係数の一例が示されている。ＥＣＵ１１は、一例としては図１５の相関関係に基づいて、物体Ｂまでの距離から対応する係数Ｋ（倍率）を取得する。そして、ＥＣＵ１１は、車外画像Ｉｍｏの大きさを、当該係数Ｋを乗算した大きさに変更する。

また、本実施形態では、一例として、ＥＣＵ１１は、ハードウエアとソフトウエア（プログラム）との協働によって、上述した演算を実行する画像表示制御装置の少なくとも一部として機能（動作）する。すなわち、本実施形態では、一例として、図１６に示されるように、ＥＣＵ１１は、表示制御部１１ｅ（図１参照）ならびに音声制御部１１ｆ（図１参照）の他、車外画像作成部１１０や、車内画像作成部１１１、表示モード取得部１１２、視点位置取得部１１３、角度取得部１１４、明るさ取得部１１５、領域特定部１１６、撮像範囲制御部１１７、輝度変更部１１８、物体検出部１１９、車両位置取得部１２０、物体位置判断部１２１、比率変更部１２２、表示範囲決定部１２３、追加画像作成部１２４、画像作成部１２５等として機能（動作）する。なお、プログラムには、一例としては、図１６に示される各ブロックに対応したモジュールが含まれうる。また、画像処理は、表示制御部１１ｅの他、ＣＰＵ１１ａでも実行されうる。

車外画像作成部１１０は、一例としては、車外の撮像部１２で撮像された複数（本実施形態では、一例として三つ）の画像を、それらの境界部分を重なり合わせることで繋ぎ、一連の車外画像Ｉｍｏ（パノラマ画像）を作成する。また、車外画像作成部１１０は、車外画像Ｉｍｏを座標変換等することで、視点Ｐｉからのビューがハーフミラー３１（または、表示装置１０の替わりに置かれたミラー）の写像と視覚的に位置合わせされた車外画像Ｉｍｏを作成する。

車内画像作成部１１１は、一例として、車内に複数の撮像部１２Ｉ（１２）がある場合には、車内の撮像部１２Ｉ（１２）で撮像された複数（本実施形態では、一例として三つ）の画像を、それらの境界部分を重なり合わせることで繋ぎ、一連の車内画像Ｉｍｉ（パノラマ画像）を作成する。また、 車内画像作成部１１１は、車内画像Ｉｍｉを座標変換等することで、視点Ｐｉからのビューがハーフミラー３１（または、表示装置１０の替わりに置かれたミラー）の写像と視覚的に位置合わせされた車内画像Ｉｍｉを作成する。

表示モード取得部１１２は、一例として、操作入力部２４ｂその他の操作によって入力（選択）された表示モードを取得する。

視点位置取得部１１３は、一例として、視点検出用の撮像部１２Ｅ（１２）で撮像された画像から、公知の手法によって、視点の位置を算出（決定、特定）する。

角度取得部１１４は、一例として、角度センサ２５（図１参照）の検出結果から、表示ユニット３０の姿勢（角度）を算出（決定、特定）する。

明るさ取得部１１５は、一例として、車内（車室内）の代表位置（例えば、表示ユニット３０の近傍のルーフ等）に設けられた明るさセンサ２６（図１参照、明るさ検出部）の検出結果から、車内の明るさを取得（決定、特定）する。

領域特定部１１６は、一例としては、車内画像Ｉｍｉを画像処理することにより、車内画像Ｉｍｉのうち窓１ｃ（窓枠内）に対応した第一領域Ａ１と、車内画像Ｉｍｉのうち当該第一領域Ａ１以外の（窓枠外に対応した）第二領域Ａ２とを区別（区分、特定）する。具体的に、領域特定部１１６は、例えば、画素の輝度値（明るさ）や、色、動きの有無の差違等に基づいて画像処理を行うことで、第一領域Ａ１と第二領域Ａ２とを区別することができる。また、予め取得した窓枠１ａ（第一領域Ａ１と第二領域Ａ２との境界）の位置、あるいは前回の演算タイミングで判明した窓枠１ａの位置を、ＳＳＤ１１ｄ等の記憶部に記憶しておくことにより、当該位置の近傍で、より効率良く第一領域Ａ１と第二領域Ａ２との境界を検出すること、すなわち、第一領域Ａ１と第二領域Ａ２とを区別することができる。なお、窓に、乗員や、荷物等の物体が重なっていた場合、当該物体を除く領域が第一領域Ａ１となる。

撮像範囲制御部１１７は、一例として、撮像部１２が可動式の場合や、ズームを切り替え可能な構成である場合に、当該撮像部１２の向き（光軸）や位置、ズーム等を制御して、撮像範囲が変化するよう、撮像部１２を制御することができる。

輝度変更部１１８（明るさ変更部、輝度値変更部）は、一例として、表示装置１０の表示画面１０ａに表示される出力画像Ｉｍの全体的あるいは局所的な輝度（明るさ、輝度値）を変更する。輝度変更部１１８は、出力画像Ｉｍの明るさ（輝度値）を変更してもよいし、表示装置１０の輝度を変更してもよい。ハーフミラー３１を用いる場合、出力画像Ｉｍの明るさ（輝度値）や表示装置１０の輝度を変更すると、ハーフミラー３１における透過状態が変化する。よって、輝度変更部１１８は、ハーフミラー３１の透過状態を変更する（切り替える）透過状態変更部（透過状態切替部）の一例である。

物体検出部１１９は、一例としては、車外画像Ｉｍｏ（例えば、車外画像作成部１１０で作成された車外画像Ｉｍｏ）を画像処理することにより、車外の物体Ｂ（車両や、人等）を検出する。物体Ｂの検出に際しては、パターンマッチング等が用いられうる。また、物体検出部１１９は、非接触計測装置１３から得られたデータから、車外の物体Ｂを検出することができるし、車外画像Ｉｍｏを画像処理した結果と非接触計測装置１３から得られたデータとから、車外の物体Ｂを検出することができる。また、物体検出部１１９は、車外画像Ｉｍｏを画像処理した結果あるいは非接触計測装置１３から得られたデータから、車両１から物体Ｂまでの距離を取得することもできる。

車両位置取得部１２０は、一例としては、ＧＰＳ１６からのデータや、非接触計測装置１３の検出結果、車輪速センサ１７によって検出された車輪速、舵角センサ１４，１５ａによって検出された舵角、撮像部１２が取得した車外画像Ｉｍｏの画像処理結果等から、車両１の位置を取得することができる。

物体位置判断部１２１は、一例としては、車内画像Ｉｍｉを画像処理することにより、車内画像Ｉｍｉ中に含まれる人や荷物等の物体を検出するとともに、当該検出された物体が、車内に位置しているのか、あるいは車外に位置しているのかを判断（決定）する。例えば、窓枠１ａの位置が記憶部に記憶されている場合は、検出された物体の画像が、窓枠１ａ内のみに存在する場合には、物体位置判断部１２１は、検出された物体は車外であると判断することができる。一方、物体位置判断部１２１は、検出された物体の画像が窓枠１ａを跨いで存在している場合には、検出された物体は車内に位置されると判断することができる。そして、物体位置判断部１２１で、検出された物体が車外であると判断された場合には、領域特定部１１６は、当該車外の物体の画像が存在する領域を第一領域Ａ１とし、検出された物体が車内であると判断された場合には、領域特定部１１６は、当該車内の物体の画像が存在する領域を第二領域Ａ２とする。

比率変更部１２２は、一例としては、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ等の指示信号、物体検出部１１９の検出結果、車両位置取得部１２０によって取得された車両１の位置等に応じて、透過度αを変更することができる。

表示範囲決定部１２３は、一例としては、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ等の指示信号、物体検出部１１９の検出結果、車両位置取得部１２０によって取得された車両１の位置等に応じて、表示範囲Ａｄを変更することができる。

追加画像作成部１２４は、一例としては、出力画像Ｉｍに、追加画像Ｉｍａ（例えば、物体検出部１１９によって検出された物体の強調表示（例えば、枠等）や、車線や駐車枠等の線の表示（例えば、線等）など、人工的な画像）を追加することができる。

画像作成部１２５は、一例としては、第二領域Ａ２の車内画像Ｉｍｉと、当該車内画像Ｉｍｉと位置合わせされ第二領域Ａ２に対応した車外画像Ｉｍｏと、が設定された透過度α（比率）で重ね合わせられた合成画像Ｉｍｓ（枠外画像）と、第一領域Ａ１の車外画像Ｉｍｏ（枠内画像）と、を含む出力画像Ｉｍを、少なくとも表示装置１０で表示される表示範囲Ａｄについて作成する。

本実施形態にかかる画像表示システム１００は、一例としては、図１７に示されるような手順で処理を実行することができる。まず、ＥＣＵ１１は、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ等の指示信号、物体検出部１１９の検出結果等を取得して、それぞれの参照値と比較して、透過度αを変更する条件を満たすか否かを判断する（ステップＳ１）。透過度αを変更する条件が満たされる場合（ステップＳ１でＹｅｓ）、ＥＣＵ１１は、比率変更部１２２として機能し、当該条件に応じた透過度αに変更する（ステップＳ２）。なお、ステップＳ２の例については、後述する。次に、ＥＣＵ１１は、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ等の指示信号、物体検出部１１９の検出結果、車両位置取得部１２０によって取得された車両１の位置等を取得して、それぞれの参照値と比較して、表示範囲Ａｄを変更する条件を満たすか否かを判断する（ステップＳ３）。表示範囲Ａｄを変更する条件が満たされる場合（ステップＳ３でＹｅｓ）、ＥＣＵ１１は、表示範囲決定部１２３として機能し、表示範囲Ａｄを当該条件に応じた位置や広さに変更する（ステップＳ４）。次に、ＥＣＵ１１は、物体検出部１１９として機能し、車両１の周囲（所定範囲内）で物体Ｂを検出する（ステップＳ５）。物体Ｂが検出された場合には（ステップＳ５でＹｅｓ）、当該物体Ｂの画像Ｉｍｂの大きさを調整する（ステップＳ６）。なお、物体Ｂに対応した画像Ｉｍｂの大きさの調整は、車外画像Ｉｍｏについて行ってもよいし、出力画像Ｉｍについて行ってもよい。そして、ＥＣＵ１１は、車外画像作成部１１０や、領域特定部１１６、物体位置判断部１２１等として機能するとともに、画像作成部１２５として機能し、設定（変更）された透過度αならびに表示範囲Ａｄに対応する出力画像Ｉｍを作成する（ステップＳ７）。なお、ステップＳ７では、追加画像を含む出力画像Ｉｍを作成することができる。そして、表示制御部１１ｅは、作成された出力画像Ｉｍが表示されるよう、表示装置１０を制御する（ステップＳ８）。

図１８，１９には、一例として、車両１が左側のレーンに車線変更を行う場合の出力画像Ｉｍ（表示装置１０で表示される画像）が示されている。図１８では、車両１は直進状態にあるが、この状態では、出力画像Ｉｍは、表示範囲Ａｄが狭く、後方にほぼ真っ直ぐ向いており、透過度αは０（ゼロ）である。比率変更部１２２および表示範囲決定部１２３は、車両１の車線変更動作時に各部で得られる検出結果や、信号、データを取得し、それらが予め設定された条件を満たす場合に、透過度αならびに表示範囲Ａｄを変更する。図１９では、例えば、方向指示器２２の左側方向への移動を指示する信号（運転者による運転操作に伴って得られた信号）や、車両１の車線変更に対応した各部（例えば、舵角センサ１４，１５ａ、車輪速センサ１７、トルクセンサ２０ａ等）の値（例えば、各車輪２の操舵角や、車両１の位置、車両１の速度等）が得られた場合に、表示範囲決定部１２３は、出力画像Ｉｍの表示範囲Ａｄを横に（左右方向）拡大するとともに、表示範囲Ａｄを移動するレーンの方向（左側）にスライドして（動かして）いる。よって、本実施形態によれば、一例としては、運転者は、車両１の周囲や進行する方向の車外の状況をより把握しやすい。さらに、図１９では、比率変更部１２２は、第二領域Ａ２での透過度αを高めて例えば０．６程度とする。よって、本実施形態によれば、一例としては、運転者は、車両１のピラーや、ルーフ、シート、トリム等の構造物が透けるため、車両１の周囲や進行する方向の車外の状況をより一層把握しやすい。また、図２０に示されるように、物体検出部１１９で車両１の左側後方の所定距離以内に接近する物体Ｂ（車両）が検出された場合には、表示範囲決定部１２３は、一例としては、当該物体Ｂの画像Ｉｍｂが含まれるように表示範囲Ａｄを決定することができる。また、図２０の場合、比率変更部１２２は、一例としては、物体Ｂが検出されなかった場合より透過度αを高く設定することができる。これにより、運転者は、物体Ｂを視認しやすいとともに、物体Ｂの車両１からの距離や相対位置を把握しやすい。さらに、図２０では、一例として、追加画像作成部１２４は、検出された物体Ｂの画像Ｉｍｂに、当該画像Ｉｍｂを取り囲む枠状の強調表示Ｉｍｆ１を追加するとともに、路面の車線Ｌの画像Ｉｍｌに、当該画像Ｉｍｌと重なった帯状の強調表示Ｉｍｆ２を追加する。よって、本実施形態によれば、一例としては、運転者は、車両１の周囲や、進行する方向の車外の状況、物体Ｂ等を、より一層視認しやすい。なお、上述した制御は、逆方向（右方向）へ車線変更する場合にも同様に実施可能である。

図２１〜２３には、一例として、車両１が左側に旋回しながら駐車目標位置Ｐまで後進する駐車（所謂車庫入れ）を行う場合の出力画像Ｉｍ（表示装置１０で表示される画像）が示されている。図２１では、車両１は直進状態にあるが、この状態では、出力画像Ｉｍは、表示範囲Ａｄが狭く、後方にほぼ真っ直ぐ向いており、透過度αは０（ゼロ）である。比率変更部１２２および表示範囲決定部１２３は、車両１の駐車動作時に各部で得られる検出結果や、信号、データを取得し、それらが予め設定された条件を満たす場合に、透過度αならびに表示範囲Ａｄを変更する。図２２では、例えば、シフトセンサ２１からのリバース（バック）モードが選択された信号（運転者による運転操作に伴って得られた信号）や、車両１の旋回しながらの所定速度以下での後進に対応した各部（例えば、舵角センサ１４，１５ａ、車輪速センサ１７、トルクセンサ２０ａ等）の値（例えば、各車輪２の操舵角や、車両１の位置、車両１の速度等）が得られた場合に、表示範囲決定部１２３は、出力画像Ｉｍの表示範囲Ａｄを横（左右方向）に拡大するとともに、表示範囲Ａｄを旋回する方向（左側）にスライドして（動かして）いる。よって、本実施形態によれば、一例としては、運転者は、車両１の周囲や進行する方向の車外の状況をより把握しやすい。さらに、図２２では、比率変更部１２２は、第二領域Ａ２での透過度αを高めて例えば０．６程度とする。よって、本実施形態によれば、一例としては、運転者は、車両１のピラーや、ルーフ、シート、トリム等の構造物が透けるため、車両１の周囲や進行する方向の車外の状況をより一層把握しやすい。また、図２２では、一例として、追加画像作成部１２４は、検出された物体Ｂの画像Ｉｍｂに、当該画像Ｉｍｂを取り囲む枠状の強調表示Ｉｍｆ１を追加し、路面の枠線Ｌの画像Ｉｍｌに、当該画像Ｉｍｌと重なった帯状の強調表示Ｉｍｆ２を追加し、駐車目標位置Ｐを示す画像Ｉｍｆ３を追加し、さらに、駐車目標位置Ｐや舵角等から予想される移動経路を示す線状の画像Ｉｍｆ４を追加している。よって、本実施形態によれば、一例としては、運転者は、車両１の周囲や、進行する方向の車外の状況、駐車目標位置Ｐ、今後の移動経路等を、より把握しやすい。さらに、図２３では、車両１は駐車目標位置Ｐに接近した状態にあるが、この状態では、比率変更部１２２は、一例として、第二領域Ａ２での透過度αをさらに高めて例えば１とする。よって、本実施形態によれば、一例としては、運転者は、車両１のピラーや、ルーフ、シート、トリム等の構造物が完全に透けて、周囲の物体Ｂ（障害物、車両、人など）の画像Ｉｍｂをより一層視認しやすくなるとともに、車両１と当該車両１の周囲の障害物（物体Ｂ）や駐車目標位置Ｐとの距離や相対位置を把握しやすい。また、本実施形態では、一例として、車外画像Ｉｍｏに車両１の車体の一部（図２３の例ではバンパ）が含まれるように撮像しているため、透過度αが１となった場合にあっても、運転者は、車両１と当該車両１の周囲の障害物（物体Ｂ）や駐車目標位置Ｐとの距離や相対的な位置関係をより一層把握しやすい。なお、上述した制御は、逆方向（右方向）に旋回しながら駐車する場合にも同様に実施可能である。

また、本実施形態では、一例として、物体位置判断部１２１が、車内画像Ｉｍｉ中に車両１（車体）の構造物とは別の物体Ｂ（人、荷物、物品等）の画像Ｉｍｂが含まれていると判断した場合には、画像作成部１２５は、出力画像Ｉｍから当該物体Ｂの画像Ｉｍｂを削除することができる。この場合、物体Ｂの画像Ｉｍｂを削除するか否か、複数の物体Ｂのうちどの物体Ｂの画像Ｉｍｂを削除するか等は、任意に設定することができる。また、画像作成部１２５は、車内画像Ｉｍｉのうち物体Ｂの画像Ｉｍｂを削除した領域を、車内に物体Ｂが存在しない状態での車内画像Ｉｍｂ（イニシャル画像）で埋めることができる。当該車内に物体Ｂが存在しない状態での車内画像Ｉｍｂは、ＳＳＤ１１ｄ等の記憶部に、予め、記憶されている。このように車内の物体Ｂの画像Ｉｍｂが削除された場合には、一例としては、車内の物体Ｂの画像Ｉｍｂを含む出力画像Ｉｍに比べて、窓枠１ａ内の領域、すなわち、車外画像Ｉｍｏが表示される領域が広がり、視認性がより高まりやすい場合がある。なお、物体位置判断部１２１は、車内に設けられた物体Ｂそのものを検出するセンサ（一例としては、赤外線センサ等、図示されず）の検出結果を利用することで、物体Ｂの判断の精度をより高めることができる。

また、本実施形態では、一例として、ＥＣＵ１１は、車内の明るさに応じて、表示装置１０の表示画面１０ａの出力画像Ｉｍの輝度（明るさ）を調整する。本実施形態にかかる画像表示システム１００は、一例としては、図２４に示されるような手順で処理を実行することができる。まず、ＥＣＵ１１は、所定のタイミングとなった時点で（ステップＳ１１でＹｅｓ）、明るさ取得部１１５として機能し、明るさセンサ２６の検出結果から、車内の明るさを取得する（ステップＳ１２）。次に、ＥＣＵ１１は、その時点での透過度αを取得する。透過度αは、車両１の状況や、ドライバの選択（設定）に応じて変化するからである（ステップＳ１３）。次に、ＥＣＵ１１は、輝度変更部１１８として機能し、取得した透過度αおよび車内の明るさに応じた関数や、係数、定数、データ等を取得する。そして、輝度変更部１１８は、車内の明るさおよび透過度αに応じた表示装置１０の輝度あるいは出力画像Ｉｍの輝度値を、当該関数や、係数、定数、データ等を用いて算出し、当該算出した値に変更する（ステップＳ１４）。

図２４の処理に関し、表示装置１０に表示される出力画像Ｉｍの輝度（明るさ）は、表示モード（全透過モード、半透過モード、局所強調モード、ハーフミラー３１における光の透過状態）によって異なる。まず、表示ユニット３０が全透過モード（ハーフミラー３１の写像を利用しない状態）で使用されている場合、表示装置１０に表示される出力画像Ｉｍの輝度（明るさ）は、比較的大きく（高く）設定される。しかし、夜や、車両１が日陰、トンネル内に位置する場合のように車内が暗くなる場合と、昼や、車両１が日なたに位置する場合のように車内が明るくなる場合とで、画像が同じ輝度（明るさ）で表示されると、画像が見えにくい上、ドライバの目に負担が大きくなりやすい。そこで、本実施形態では、一例として、輝度変更部１１８として機能するＥＣＵ１１は、ハーフミラー３１の全域で全透過状態となる範囲内で、明るさセンサ２６の検出結果に応じて、表示装置１０の輝度あるいは出力画像Ｉｍの輝度を変更する。すなわち、車内が明るいほど、表示装置１０の輝度あるいは出力画像Ｉｍの輝度が大きく（高く）なり、車内が暗いほど、表示装置１０の輝度あるいは出力画像Ｉｍの輝度が小さく（低く）なる。

また、ハーフミラー３１の透過状態は、ハーフミラー３１の前後の明るさによって変化する。よって、表示ユニット３０が半透過モードや局所強調モードで使用されている状態では、表示画面１０ａの輝度が一定である場合に車内の明るさが変化すると、ハーフミラー３１の透過状態が変化する虞がある。この場合には、ドライバからの画像や写像の見え方が変化してしまう。そこで、本実施形態では、一例として、半透過モードや局所強調モードの場合にも、図２４に示されるのと同様の手順で、表示装置１０の輝度が調整される。ただし、この場合に取得される関数や、係数、定数、データ等は、上述した全透過モードでの関数や、係数、定数、データ等とは異なる。

そして、図１８〜２３と同様のビュー（見え方、眺め）は、半透過モードや局所強調モードによっても得られる。すなわち、表示装置１０は、窓枠１ａ外の第二領域Ａ２では、車内構成に対応した車内画像Ｉｍｉを表示しない。よって、ドライバは、第二領域Ａ２については、ハーフミラー３１の写像によって、車内構成を視認する。この場合は、輝度変更部１１８として機能するＥＣＵ１１は、透過度αに応じて、表示装置１０が第二領域Ａ２で車外画像Ｉｍｏを表示する輝度（明るさ）を調整する。具体的には、図１８，２１のように透過度αが０である場合（α＝０）、表示装置１０は、第二領域Ａ２については車外画像Ｉｍｏを表示せず、第一領域Ａ１についてのみ車外画像Ｉｍｏを表示する。この場合には、輝度変更部１１８として機能するＥＣＵ１１は、明るさセンサ２６の検出結果に応じて、表示装置１０の輝度あるいは出力画像Ｉｍの輝度を変更することで、第一領域Ａ１に表示される車外画像Ｉｍｏの輝度（明るさ）を調整する。すなわち、輝度変更部１１８は、第一領域Ａ１での車外画像Ｉｍｏの輝度（明るさ）を、ハーフミラー３１が当該第一領域Ａ１で局所的に全透過状態となる範囲で、車内の明るさが明るいほど、当該第一領域Ａ１での局所的な車外画像Ｉｍｏの輝度（明るさ）を高くする。よって、第一領域Ａ１で、ハーフミラー３１の写像と表示装置１０の画像（車外画像Ｉｍｏ）とが重なり、例えば、物体が僅かにずれた状態で多重に見えるような不都合が抑制され、よりクリアなビューが得られる。

また、図１９，２０，２２の場合（０＜α＜１）、輝度変更部１１８として機能するＥＣＵ１１は、明るさセンサ２６の検出結果に応じて、第二領域Ａ２に表示される車外画像Ｉｍｏの輝度（明るさ）を調整する。すなわち、輝度変更部１１８は、ハーフミラー３１が第二領域Ａ２に重なる部分では局所的に半透過状態となる範囲で（局所的なハーフミラー３１の半透過状態が略一定に維持されるように）、車内の明るさが明るいほど、当該第二領域Ａ２での局所的な車外画像Ｉｍｏの輝度（明るさ）を高くする。また、図１９，２０，２２の場合（０＜α＜１）、輝度変更部１１８として機能するＥＣＵ１１は、明るさセンサ２６の検出結果に応じて、第一領域Ａ１に表示される車外画像Ｉｍｏの輝度（明るさ）を調整する。すなわち、輝度変更部１１８は、ハーフミラー３１が第一領域Ａ１と重なる部分では局所的に全透過状態となる範囲で、車内の明るさが明るいほど、当該第一領域Ａ１での局所的な車外画像Ｉｍｏの輝度（明るさ）を高くする。すなわち、図１９，２０，２２の場合（０＜α＜１）には、ＥＣＵ１１は、第一領域Ａ１と第二領域Ａ２とで、一連の車外画像Ｉｍｏが表示されるよう、表示装置１０を制御するが、第一領域Ａ１の輝度を、第二領域Ａ２の輝度よりも高くする（大きくする）。これにより、第一領域Ａ１で、ハーフミラー３１の写像と表示装置１０の画像（車外画像Ｉｍｏ）とが重なり、例えば、物体が僅かにずれた状態で多重に見えるような不都合が抑制され、よりクリアなビューが得られる。図２３に示される透過度αが１である場合（α＝１）には、ＥＣＵ１１は、上述した全透過モードでの処理（制御）を実行する。

また、ハーフミラー３１を利用する場合には、図１７の手順で示される種々の状況に応じた（第二領域Ａ２での）透過度αの変更（ステップＳ２）を、輝度変更部１１８や画像作成部１２５が、当該状況に応じて、表示装置１０の輝度や、出力画像Ｉｍの輝度値を変更することで、実現することができる。したがって、輝度変更部１１８や画像作成部１２５は、比率変更部の一例である。また、輝度変更部１１８や画像作成部１２５は、ハーフミラー３１を利用した場合に表示モード（全透過モード（全透過状態）、半透過モード（半透過状態）、局所強調モード、ハーフミラー３１における光の透過状態）を切り替える表示モード切替部の一例でもある。

上述した図２４の処理に関連した車内の明るさに対応した輝度を示す（輝度を得るための）関数や、係数、定数、データ等は、ＲＯＭ１１ｂやＳＳＤ１１ｄ等の不揮発性の記憶部に記憶されている。以上の説明から、車内の明るさに対応した輝度を示す（輝度を得るための）関数や、係数、定数、データ等は、透過度α毎に記憶されうることが、理解できるであろう。あるいは、輝度変更部１１８は、画像データ（各画素の輝度値）に、透過度αが高くなるほど大きくなる係数を乗算することで、透過度αが高くなるほど、第二領域Ａ２での車外画像Ｉｍｏの輝度（明るさ）が大きく（高く）なるように、表示装置１０を制御することができる。

以上、説明したように、本実施形態では、一例として、ＥＣＵ１１（画像表示制御装置）は、一例として、ドライバＤの視点の位置Ｐｉの検出結果および表示装置１０の角度の検出結果のうち少なくとも一方に基づいて、少なくとも車外画像Ｉｍｏを用いてルームミラーの写像に似せた出力画像Ｉｍを作成する画像作成部１２５と、画像作成部１２５で作成された出力画像Ｉｍが表示されるよう、表示装置１０を制御する表示制御部１１ｅと、を備える。よって、本実施形態によれば、一例としては、表示装置１０に、ルームミラーの写像と同様の出力画像Ｉｍを表示することができる。また、視点の位置Ｐｉの変化や表示装置１０の角度の変化に対応した出力画像Ｉｍの変化が、ルームミラーと同様であるため、ドライバは、表示装置１０をルームミラーとして用いることができる。

また、本実施形態では、一例として、画像作成部１２５は、作成された車外画像Ｉｍｏの一部を出力画像Ｉｍとする。よって、本実施形態によれば、一例としては、表示装置１０の表示範囲を、比較的容易に変更することができる。

また、本実施形態では、一例として、画像作成部１２５は、車外の物体Ｂを検出する物体検出部１１９で検出された物体Ｂの位置に応じて出力画像Ｉｍに含まれる物体Ｂの画像Ｉｍｂの大きさを変更する。よって、本実施形態によれば、一例としては、表示装置１０に、車外の物体Ｂの画像Ｉｍｂのサイズが、より精度良く表示されやすい。

また、本実施形態では、一例として、表示装置１０の表示画面１０ａがハーフミラー３１で覆われ、表示制御部１１ｅは、ハーフミラー３１が全透過状態となる輝度で出力画像Ｉｍを表示するよう、表示装置１０を制御する。よって、本実施形態によれば、一例としては、ハーフミラー３１の写像を使わない状態で表示装置１０を使用することができる。よって、一例としては、表示装置１０の出力画像Ｉｍとハーフミラー３１の写像との誤差によって、画像あるいは写像が見えにくくなる事象が生じるのが抑制されやすい。

また、本実施形態では、一例として、表示装置１０の表示画面１０ａがハーフミラー３１で覆われ、画像作成部１２５は、車外の情景を示す出力画像Ｉｍ（車外画像Ｉｍｏ）を作成し、表示制御部１１ｅは、ハーフミラー３１が半透過状態となる輝度で出力画像Ｉｍを表示するよう、表示装置１０を制御する。よって、本実施形態では、一例として、表示装置１０から出力された車外画像Ｉｍｏにハーフミラー３１の写像による車内画像Ｉｍｉを重ねることができる。

また、本実施形態では、一例として、表示装置１０の表示画面１０ａがハーフミラー３１で覆われ、ハーフミラー３１での透過状態が全透過状態および半透過状態のうち一方に維持される範囲で、車内の明るさを検出する明るさセンサ２６（明るさ検出部）で検出された当該車内の明るさが明るいほど表示装置１０の輝度あるいは出力画像Ｉｍの輝度値を大きくする輝度変更部１１８を備える。よって、本実施形態によれば、一例としては、車内の明るさの変化に応じてハーフミラー３１の透過状態が変化することによって画像あるいは写像が見えにくくなるのが抑制されやすい。

また、本実施形態では、一例として、表示装置１０の表示画面１０ａがハーフミラー３１で覆われ、画像作成部１２５は、ハーフミラー３１の写像中の車両１の窓１ｃの領域に対応した出力画像Ｉｍ（車外画像Ｉｍｏ）を作成する。よって、本実施形態によれば、一例としては、窓１ｃから見える車外画像Ｉｍｏがより明確に視認されやすい場合がある。

また、本実施形態では、一例として、表示装置１０の表示画面１０ａがハーフミラー３１で覆われ、表示制御部１１ｅは、少なくとも、ハーフミラー３１の全透過状態と、ハーフミラー３１の半透過状態と、が切り替え可能となるよう、表示装置１０を制御可能である。よって、本実施形態によれば、一例としては、表示装置１０に、運転状況やドライバの好み等に対応した出力画像Ｉｍが表示されやすい。

＜第１変形例＞
図２５に示される本変形例は、上記実施形態と同様の構成を備えている。よって、本変形例によっても、同様の構成に基づく同様の結果（効果）が得られる。ただし、本変形例では、図２５に示されるように、車外の撮像部１２がアクチュエータ（例えば、モータ等）によって移動可能（回動可能）に構成されている。撮像部１２の移動（回動）に伴って、撮像範囲Ｃが変化する。撮像範囲制御部１１７として機能するＥＣＵ１１は、撮像範囲Ｃが変化するよう、撮像部１２（のアクチュエータ）を制御する。そして、本変形例では、撮像範囲制御部１１７は、ドライバＤの視点の位置Ｐｉの変化や、表示装置１０の角度の変化（図示されず）に応じて、撮像範囲Ｃを制御（変更）する。こうすることで、撮像部１２は、より歪みの少ない車外画像Ｉｍｏを得ることができる。よって、本変形例によれば、一例としては、ドライバＤの視点の位置Ｐｉあるいは表示装置１０の角度に対応した範囲を撮像した車外画像Ｉｍｏから、より不都合の少ない（一例としては、歪みの少ない）出力画像Ｉｍが得られやすい。得られた出力画像Ｉｍを用いた処理は、上記実施形態と同様である。

＜第２変形例＞
図２６，２７も、上記実施形態と同様の構成を備えている。よって、本変形例によっても、同様の構成に基づく同様の結果（効果）が得られる。ただし、本変形例にかかる表示ユニット３０Ａでは、図２６に示される展開状態と、図２７に示される折り畳み状態とで、表示装置１０ならびにハーフミラー３１を折り畳む（屈曲する）ことができる。すなわち、本変形例では、表示装置１０は、フレキシブルディスプレイとして構成されている。図２６の展開状態では、演算処理等は、上記実施形態と同様に行われる。ただし、図２７の折り畳み状態では、下部を上側に跳ね上げるように折り畳むことによってドライバ側（車両後方側）に露出する表示装置１０の面１０ｂ（裏面）に、ミラー３３が取り付けられている。よって、図２７に示されるように、折り畳み状態では、ミラー３３（ルームミラー）を利用することができる。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。これら実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態の構成や形状は、部分的に入れ替えて実施することも可能である。また、各構成や形状等のスペック（構造や、種類、方向、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、材質等）は、適宜に変更して実施することができる。

１…車両、１ｃ…窓、１０…表示装置、１０ａ…表示画面、１１…ＥＣＵ（画像表示制御装置）、１１ｅ…表示制御部、１２…撮像部、２６…明るさセンサ（明るさ検出部）、３０…表示ユニット、３１…ハーフミラー、１１７…撮像範囲制御部、１１８…輝度変更部、１１９…物体検出部、１２５…画像作成部、Ｂ…物体、Ｃ…撮像範囲、Ｄ…ドライバ、Ｐｉ…視点、Ｉｍ…出力画像、Ｉｍｏ…車外画像、Ｉｍｂ…物体の画像。

Claims (15)

1. ドライバの視点の位置の検出結果および表示装置の角度の検出結果のうち少なくとも一方に基づいて、車内画像および車外画像を用いてルームミラーの写像に似せた出力画像であって窓枠内の第一領域の車外画像と窓枠外の第二領域における車内画像および車外画像の重ね合わせによる合成画像とを含む出力画像を作成する、画像作成部と、
   前記画像作成部で作成された出力画像が表示されるよう、前記表示装置を制御する表示制御部と、
   前記第二領域の合成画像における車外画像の比率を変更する比率変更部と、
   を備え、
   前記比率変更部は、車両の後進による駐車動作時に、前記第二領域の合成画像における車外画像の比率を高める、画像表示制御装置。
2. 前記比率変更部は、車両が駐車目標位置に接近する場合に、車両が前記駐車目標位置に接近しない場合よりも前記第二領域の合成画像における車外画像の比率を高める、請求項１に記載の画像表示制御装置。
3. 車両の後進による駐車動作時に、出力画像の表示範囲を左右方向に拡大するとともに、前記表示範囲を車両の移動する方向に動かす表示範囲決定部、を備えた、請求項１または２に記載の画像表示制御装置。
4. 車外の物体を検出する物体検出部と、
   出力画像に追加する画像を作成する追加画像作成部と、
   を備え、
   前記追加画像作成部は、前記物体検出部により検出された物体の画像を取り囲む枠状の強調表示を出力画像に追加する、請求項１〜３のうちいずれか一つに記載の画像表示制御装置。
5. 出力画像に追加する画像を作成する追加画像作成部を備え、
   前記追加画像作成部は、路面上の線の画像と重なった帯状の強調表示を出力画像に追加する、請求項１〜４のうちいずれか一つに記載の画像表示制御装置。
   
6. 前記画像作成部は、作成された車外画像の一部を前記出力画像とする、請求項１〜５のうちいずれか一つに記載の画像表示制御装置。
7. ドライバの視点の位置の検出結果および表示装置の角度の検出結果のうち少なくとも一方に基づいて、車外画像を撮像する撮像部の撮像範囲が変更されるように制御する撮像範囲制御部を備えた、請求項１〜５のうちいずれか一つに記載の画像表示制御装置。
8. 前記画像作成部は、車外の物体を検出する物体検出部で検出された前記物体の位置に応じて前記出力画像に含まれる前記物体の画像の大きさを変更する、請求項１〜７のうちいずれか一つに記載の画像表示制御装置。
9. 前記表示装置の表示画面がハーフミラーで覆われ、
   前記表示制御部は、前記ハーフミラーが全透過状態となる輝度で前記出力画像を表示するよう、前記表示装置を制御する、請求項１〜８のうちいずれか一つに記載の画像表示制御装置。
10. 前記表示装置の表示画面がハーフミラーで覆われ、
    前記画像作成部は、車外の情景を示す前記出力画像を作成し、
    前記表示制御部は、前記ハーフミラーが半透過状態となる輝度で前記出力画像を表示するよう、前記表示装置を制御する、請求項１〜８のうちいずれか一つに記載の画像表示制御装置。
11. 前記表示装置の表示画面がハーフミラーで覆われ、
    前記ハーフミラーでの透過状態が全透過状態および半透過状態のうち一方に維持される範囲で、車内の明るさを検出する明るさ検出部で検出された当該車内の明るさが明るいほど前記表示装置の輝度あるいは前記出力画像の輝度値を大きくする輝度変更部を備えた、請求項１〜８のうちいずれか一つに記載の画像表示制御装置。
12. 前記表示装置の表示画面がハーフミラーで覆われ、
    前記画像作成部は、前記ハーフミラーの写像中の車両の窓の領域に対応した前記出力画像を作成する、請求項１〜８のうちいずれか一つに記載の画像表示制御装置。
13. 前記表示装置の表示画面がハーフミラーで覆われ、
    前記表示制御部は、少なくとも、前記ハーフミラーの全透過状態と、前記ハーフミラーの半透過状態と、が切り替え可能となるよう、前記表示装置を制御可能な、請求項１〜１２のうちいずれか一つに記載の画像表示制御装置。
14. 請求項１〜１３のうちいずれか一つに記載の画像表示制御装置と、
    車外または車内の情景を撮像する撮像部と、
    を備えた、画像表示システム。
15. 請求項１〜１４のうちいずれか一つに記載の画像表示制御装置に含まれる前記表示装置と、
    前記表示装置の表示画面を覆うハーフミラーと、
    を備えた、表示ユニット。

Images