JP6446925B2 - 画像表示制御装置および画像表示システム - Google Patents

Description

本発明の実施形態は、画像表示制御装置および画像表示システムに関する。

従来、車内からの視線でピラーが透けた画像を作成して表示する車両の画像処理装置が知られている。

特開２００３−１９６６４５号公報

この種の装置では、例えば、他の車両等の物体をより認識しやすい画像表示制御装置および画像表示システムが得られれば、有意義である。

実施形態の画像表示制御装置は、例えば、車体の後部に取り付けられた撮像部によって少なくとも車両の後方および側方が撮像された撮像画像の少なくとも一部に基づく車両の後方および側方の車外画像の鏡像を含む、表示装置に表示される表示画像、を生成する画像生成部と、車体の側部の画像を含まず車体の後部のみを線画として示す参照画像を、車両の前進中に、上記表示画像のうち上記車両の後方の車外画像の鏡像に含めるとともに上記表示画像のうち上記車両の側方の車外画像の鏡像に含めない画像、として設定しうる、参照画像設定部と、上記表示画像が表示されるよう上記表示装置を制御する表示制御部と、を備える。よって、本実施形態によれば、例えば、参照画像によって、車両の後方に位置する他の車両等の物体との相対的な位置関係が把握されやすい。

また、上記画像表示制御装置は、例えば、上記表示画像中で上記参照画像の左右の少なくともいずれか一方に位置されて車両の斜め後方に対応した注意領域を示す注意領域画像を、上記表示画像に含める画像として設定しうる、注意領域画像設定部を備える。よって、例えば、注意領域画像によって、車両の斜め後方に他の車両等の物体が存在することが把握されやすい。

また、上記画像表示制御装置は、例えば、物体を検出する物体検出部を備え、上記注意領域画像設定部は、上記物体検出部によって上記注意領域に対応する位置に物体が検出された場合に、上記注意領域画像を設定する。よって、例えば、物体が存在せず注意領域画像の必要性が低い場合には、当該注意領域画像が表示されない。

また、上記画像表示制御装置では、例えば、上記注意領域画像設定部は、検出された物体の位置に応じて異なる上記注意領域画像を設定する。よって、例えば、注意領域画像が変化するため、車両の斜め後方に他の車両等の物体が存在することがより一層把握されやすい。

また、実施形態の画像表示システムは、例えば、車体の後部に取り付けられ少なくとも車両の後方および側方を撮像する撮像部と、表示装置と、画像表示制御装置と、を備え、上記画像表示制御装置は、上記撮像部によって撮像された撮像画像の少なくとも一部に基づく車両の後方および側方の車外画像を含む、上記表示装置に表示される表示画像、を生成する画像生成部と、車体の側部の画像を含まず車体の後部のみを線画として示す参照画像を、車両が前進中に、上記表示画像のうち上記車両の後方の車外画像の鏡像に含めるとともに上記表示画像のうち上記車両の側方の車外画像の鏡像に含めない画像、として設定しうる、参照画像設定部と、上記表示画像が表示されるよう上記表示装置を制御する表示制御部と、を有する。よって、本実施形態によれば、例えば、参照画像によって、車両の後方に位置する他の車両等の物体との相対的な位置関係が把握されやすい。

図１は、実施形態の画像表示システムの例示的な概略構成図である。 図２は、実施形態の画像表示システムによる表示画像の一例が示された図である。 図３は、実施形態の画像表示システムによる表示画像の別の一例が示された図である。 図４は、実施形態の画像表示システムの撮像部による撮像範囲の一例の平面図である。 図５は、実施形態の画像表示システムの撮像部による撮像範囲の一例の側面図である。 図６は、実施形態の画像表示システムによる表示画像に含まれる車外画像の一例が示された図である。 図７は、実施形態の画像表示システムで追加される車体画像の一例が示された図である。 図８は、実施形態の画像表示システムの撮像部による撮像範囲の別の一例の平面図である。 図９は、実施形態の画像表示システムの撮像部による撮像範囲の別の一例の側面図である。 図１０は、実施形態の画像表示システムにおける車外画像中の表示範囲の一例が示された図である。 図１１は、実施形態の画像表示システムに含まれるＥＣＵの例示的なブロック図である。 図１２は、実施形態の画像表示システムの処理手順の例示的なフローチャートである。 図１３は、実施形態の画像表示システムによる出力画像の一例が示された図である。 図１４は、実施形態の画像表示システムによる出力画像の別の一例が示された図である。 図１５は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図１６は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図１７は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図１８は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図１９は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図２０は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図２１は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図２２は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図２３は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図２４は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図２５は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図２６は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。 図２７は、実施形態の画像表示システムによる出力画像のさらに別の一例が示された図である。

以下、本発明の例示的な実施形態および変形例が開示される。以下に示される実施形態および変形例の構成、ならびに当該構成によってもたらされる作用、結果、および効果は一例である。本発明は、以下の実施形態および変形例に開示される構成以外によっても実現可能である。また、本発明によれば、構成によって得られる種々の効果や派生的な効果のうち少なくとも一つを得ることが可能である。

また、以下に開示される実施形態や例示には、同様の構成要素が含まれる。以下では、同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。

車両１に装備される画像表示システム１００は、図１に示されるように、表示装置としての表示部１０ａに表示される画像を制御するＥＣＵ１１（electronic control unit）を備えている。ＥＣＵ１１は、表示制御部あるいは画像表示制御装置の一例である。表示部１０ａは、例えば、車室内の前部かつ上部に設けられた後方視認用の不図示のルームミラーに替えて設けられる。表示部１０ａには、撮像部１２で撮像された画像に基づいて、図２に例示されるような、車室内の前部かつ上部に設けられたルームミラーに映る鏡像に似せた画像が表示される。運転者等の乗員は、表示部１０ａをルームミラーとして、あるいはルームミラーの代わりに用いることができる。なお、ルームミラーはバックミラーとも称されうる。

ルームミラーが設けられている車両１の場合、筐体１０の表示部１０ａは、例えば、ルームミラーの鏡面を覆うように取付具やアタッチメント等によってルームミラーに装着されうる。表示部１０ａには、車外すなわち車室外に設けられた撮像部１２で撮像された画像とは左右逆の画像、すなわち鏡像が表示される。表示部１０ａは、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electro-luminescent display）、プロジェクタ装置等として、構成されうる。ＥＣＵ１１は、表示部１０ａの筐体１０内に収容されてもよいし、表示部１０ａとは別の場所に設けられた筐体１０内に収容されてもよい。なお、表示部１０ａの表面側すなわち後側には、不図示のハーフミラーが設けられてもよい。この場合、画像表示システム１００が使用されず表示部１０ａに画像が表示されていない状態では、当該ハーフミラーがルームミラーとして用いられうる。また、ハーフミラーのうち、表示部１０ａが部分的に画像を表示していない領域、例えばブラックアウトされた領域、を覆う部分は、ルームミラーとして用いられうる。また、筐体１０には、室内画像を撮像する図８，９に示されるような撮像部１２Ｉが設けられてもよい。

図２，３に例示されるように、表示部１０ａで表示される画像としての出力画像Ｉｍには、実線で示される車外画像Ｉｍｏと破線で示される車体画像Ｉｍｉとが含まれている。車外画像Ｉｍｏは、一つまたは複数の撮像部１２によって撮像された画像から生成されうる。出力画像Ｉｍは、表示画像とも称されうる。車外画像Ｉｍｏ、すなわち撮像部１２によって撮像された画像は、撮像画像とも称されうる。また、車体画像Ｉｍｉは、追加画像とも称されうる。なお、図２等では、図面中で車外画像Ｉｍｏと区別するため、便宜上、車外画像Ｉｍｏが実線で示され、車体画像Ｉｍｉが破線で示されている。実際の車外画像Ｉｍｏは、実線には限定されないし、車体画像Ｉｍｉは、破線には限定されない。車体画像Ｉｍｉは、参照画像の一例であり、追加画像の一例でもある。

撮像部１２は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１２は、所定のフレームレートで画像データすなわち動画データを出力することができる。

図４，５の例では、車体２には、車外を撮像する撮像部１２としては、車体２の後部に設けられた撮像部１２Ｒのみが設けられている。撮像部１２Ｒは、車両１の後方かつ側方すなわち車室外の後方かつ側方を撮像する。撮像部１２Ｒは、例えば、広角レンズまたは魚眼レンズである。また、この場合、撮像部１２Ｒによる撮像範囲は、図５に破線で示されているように、少なくとも、車体２の後端部２ｂが映る方向から車両１の後方の水平方向Ｌｒｈよりも上方までの範囲が含まれるよう、設定される。これにより、撮像部１２Ｒによる撮像画像から、走行中における車両後方の画像、および駐車時における車両後方の路面近傍の画像の、双方を得ることができる。なお、図４，５に例示される撮像範囲は一例であって、撮像部１２Ｒによる撮像範囲は、図４，５の例には限定されない。図６には、撮像部１２による撮像画像から得られた車外画像Ｉｍｏの一例が示されている。また、ここでの水平方向Ｌｒｈとは、車両１を基準とする水平方向であって、車両１が水平面上に位置された場合に水平となる方向である。

また、図２，３，７の例では、車体画像Ｉｍｉには、車体２の構造を示す立体的なフレーム状に描かれた表示要素としての輪郭線Ｌｏまたは縁が含まれている。輪郭線Ｌｏによって示される車体構成要素は、例えば、車体２の角部、縁部、窓、ピラー、ドア、床、天井、トリム、車輪、車軸、ディファレンシャルギヤ等である。車体画像Ｉｍｉは、乗員が車体２の位置や形状を大まかに認識できるものであればよく、必ずしも車体形状そのものでなくてもよい。車体画像Ｉｍｉは、模式化されたものであってもよい。輪郭線Ｌｏの間の領域は、車外画像Ｉｍｏが透過される状態で着色されてもよい。

また、図２，３，７の例では、車体画像Ｉｍｉは、線画（線図）である。線画に含まれる表示要素としての線は、種々の表示態様を有することができる。表示態様としては、例えば、種類、面密度、幅、太さ、濃度、透過度、色、模様等がある。種類には、例えば、実線や、破線、一点鎖線、二点鎖線、折れ線、ギザギザ線、波線等がある。面密度は、画面または画像の単位面積あたりの密度である。例えば、同じ太さの場合、実線の面密度が破線の面密度よりも大きい。また、線画には、局所的に表示態様の異なる複数の線が含まれうる。また、線画には、部分的に、点や、記号、文字、図形等も含まれうる。これらの線画の表示態様は、例えば、走行状態や操作状態等の車両状態に応じて、設定されうるし、変更されうる。

図２，３に例示されるように、表示部１０ａに車外画像Ｉｍｏとともに車体画像Ｉｍｉを含む出力画像Ｉｍが表示されることで、乗員は、車両１と車外の物体Ｂとの相対的な位置や、車両１と物体Ｂとの距離、物体Ｂの方向、物体Ｂの大きさ等を認識しやすい。また、車体画像Ｉｍｉには、図２，３，７に示されるように、車体２の車幅方向の端部を示す部分Ｐｗ、車体２の後端部を示す部分Ｐｒ、ならびに車体２の下部を示す部分Ｐｂが、含まれうる。さらに、車体画像Ｉｍｉには、車体２の下部の車幅方向の端部を示す部分Ｐｂｗや、車体２の下部の車両前後方向の後端部を示す部分Ｐｂｒ、車体２の側部の車両前後方向の後端部を示す部分Ｐｓｒ等が、含まれうる。また、車体画像Ｉｍｉは、車体２の少なくとも下部が平面的すなわち二次元的に認識できるよう作成されている。よって、乗員は、例えば、車体２の平面的な大きさや、形状、部位等を認識しやすい。また、乗員は、例えば、車体画像Ｉｍｉを基準として、車室外の物体Ｂの大きさや、高さ、物体Ｂの水平方向の位置関係等を認識しやすい。

車体画像Ｉｍｉは、不揮発性の記憶部に予め記憶されている。記憶部には、複数の車種毎の車体画像Ｉｍｉが記憶されうる。この場合、合成画像には、例えば車両１の車種や使用者の嗜好等に応じて選択された車体画像Ｉｍｉが用いられうる。なお、記憶部は、例えば、図１に示されるＳＳＤ１１ｄ等であってもよい。また、ＥＣＵ１１は、キャリブレーション等の設定作業における操作入力部１０ｂでの入力指示や操作等に基づいて、車体画像Ｉｍｉを変形することができる。具体的には、例えば、車体画像Ｉｍｉは、上側に向かうほど左右に引き延ばされたり、上下に引き延ばされたり、上下左右の位置を変更されたり、というように、変形されたり、位置が変更されたりする。この場合、変更された車体画像Ｉｍｉが記憶部に記憶され、合成画像には、当該変更された車体画像Ｉｍｉが用いられる。なお、車体画像Ｉｍｉとして、図８に例示されるような撮像部１２Ｉが撮像した室内画像や、当該室内画像が変更された画像等が用いられてもよい。

ＥＣＵ１１は、車体画像Ｉｍｉの透過度αすなわち車外画像Ｉｍｏとの合成比率を設定したり変更したりすることができる。比較的簡単な例では、車外画像Ｉｍｏと車体画像Ｉｍｉとが互いに位置合わせされた状態での各点について、車体画像Ｉｍｉの輝度がｘ１、車外画像Ｉｍｏの輝度がｘ２、透過度がα（０≦α≦１）である場合に、当該各点での重ね合わせた合成画像の輝度ｘは、ｘ＝（１−α）×ｘ１＋α×ｘ２であることができる。なお、透過度αは、任意の値に設定することができる。

一方、図８，９の例では、車体２には、撮像部１２として、車両１の側方すなわち車室外の側方を撮像する撮像部１２Ｓと、車両１の後方すなわち車室外の後方を撮像する撮像部１２Ｒとが、設けられている。また、撮像部１２Ｓ，１２Ｒは、それぞれ、車両１の後方および側方の双方が含まれる画像を撮像してもよい。撮像部１２Ｓは、車体２の左右それぞれに設けられるとともに、撮像部１２Ｒは、車体２の後端部２ｂに設けられている。例えば、撮像部１２Ｓはドアミラーに設けられ、撮像部１２Ｒはリヤハッチに設けられうる。なお、図示されないが、撮像部１２は、例えば、車体２の後端部２ｂの左端および右端にそれぞれ設けられてもよい。また、車室内および車室外のうち少なくとも一方を撮像する撮像部１２は、車室内に設けられてもよい。また、複数の撮像部１２が設けられる場合、複数の撮像部１２のそれぞれの撮像範囲は、上下に異なってもよい。また、撮像部１２は、それぞれ、広角レンズまたは魚眼レンズであってもよい。

図８，９に例示されるように、車体２に複数の撮像部１２が設けられる場合、ＥＣＵ１１は、複数の撮像部１２で取得された画像を公知の技術で合成して、図１０に例示されるような一連の車外画像Ｉｍｏを得ることができる。車外画像Ｉｍｏは、パノラマ画像であってもよい。この場合、比較的広い範囲の各位置での車外画像Ｉｍｏを、表示部１０ａで表示することができるよう、複数の撮像部１２によって、車両１の後方かつ側方の比較的広い範囲が撮像される。そして、図１０に示されるように、広い範囲の中の一部が、出力画像Ｉｍとしての合成画像に用いられる、すなわち表示される。

また、ＥＣＵ１１は、車両１の状況に応じて、出力画像Ｉｍおよび車外画像Ｉｍｏの表示範囲Ａｄを変更することができる。ＥＣＵ１１は、表示範囲Ａｄを変更するトリガとなる信号あるいはデータとして、各種のセンサの検出結果や、指示信号等を用いることができる。検出結果は、例えば、図１に示される非接触計測装置１３や、前輪用の舵角センサ１４、後輪操舵システム１５の舵角センサ１５ａ、ＧＰＳ１６（global positioning system）、車輪速センサ１７、ブレーキシステム１８のブレーキセンサ１８ａ、アクセルセンサ１９、前輪操舵システム２０のトルクセンサ２０ａ、シフトセンサ２１等の検出結果である。指示信号は、例えば、方向指示器２２や、操作入力部２４ｂ等から取得した指示信号である。なお、指示信号は、例えば、制御信号や、切替信号、操作信号、入力信号、指示データ等とも称されうる。

また、ＥＣＵ１１は、図１１に示される進行方向取得部１１１によって取得された車両１の進行方向や、車両位置取得部１１２によって取得された車両１の位置、物体検出部１１３による検出結果等に応じて、出力画像Ｉｍおよび車外画像Ｉｍｏの表示範囲Ａｄや、車体画像Ｉｍｉの透過度α、色（色相）、輝度、彩度等を、設定したり変更したりすることができる。また、車体画像Ｉｍｉが線画の場合、ＥＣＵ１１は、車体画像Ｉｍｉの輪郭線Ｌｏの太さや陰影の有無等を設定したり変更したりしてもよい。

図１に示されるように、画像表示システム１００に含まれる電気部品は、例えば、車内ネットワーク２３を介して電気的にあるいは通信可能に接続される。電気部品は、例えば、非接触計測装置１３や、舵角センサ１４、舵角センサ１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２、操作入力部２４ｂ等である。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）である。なお、各電気部品は、ＣＡＮ以外を介して電気的にあるいは通信可能に接続されてもよい。

非接触計測装置１３は、例えば、超音波や電波を発射してその反射波を捉えるソナーやレーダ等である。ＥＣＵ１１は、非接触計測装置１３の検出結果により、車両１の周囲に位置された図２に示されるような障害物としての物体Ｂの有無や物体Ｂまでの距離を測定することができる。すなわち、非接触計測装置１３は、測距部、物体検出部の一例である。

舵角センサ１４は、操舵部としての不図示のステアリングホイールの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。また、舵角センサ１５ａは、後輪３Ｒの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。なお、操舵量は、例えば、回転角度として検出される。

車輪速センサ１７は、車輪３（３Ｆ，３Ｒ）の回転量や単位時間当たりの回転数を検出するセンサであり、例えば、ホール素子などを用いて構成される。ＥＣＵ１１は、車輪速センサ１７から取得したデータに基づいて車両１の移動量などを演算することができる。車輪速センサ１７は、ブレーキシステム１８に設けられる場合もある。

ブレーキシステム１８は、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強する電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、不図示のアクチュエータを介して、車輪３に制動力を与え、車両１を減速する。ブレーキセンサ１８ａは、例えば、ブレーキペダルの操作量を検出するセンサである。

アクセルセンサ１９は、アクセルペダルの操作量を検出するセンサである。トルクセンサ２０ａは、運転者が操舵部に与えるトルクを検出する。シフトセンサ２１は、例えば、変速操作部の可動部の位置を検出するセンサであり、変位センサなどを用いて構成される。可動部は、例えば、レバーや、アーム、ボタン等である。なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は一例であって、種々に設定したり変更したりすることができる。方向指示器２２は、方向指示用のライトの点灯、消灯、点滅等を指示する信号を出力する。

また、表示部１０ａは、透明な操作入力部１０ｂで覆われうる。操作入力部１０ｂは、例えば、タッチパネル等である。乗員等は、操作入力部１０ｂを介して表示部１０ａの表示画面に表示される画像を視認することができる。また、乗員等は、表示部１０ａの表示画面に表示される画像に対応した位置にて手指等で操作入力部１０ｂを触れたり押したり動かしたりして操作することで、画像表示システム１００における種々の操作入力を実行することができる。なお、操作入力部１０ｂとは別に、筐体１０には、操作入力部１０ｃが設けられてもよい。この場合、操作入力部１０ｃは、例えば、押しボタン、スイッチ、つまみ等として構成されうる。

また、車内には、表示部１０ａとは別の表示部２４ａや、音声出力装置２４ｃが設けられている。表示部２４ａは、例えば、ＬＣＤや、ＯＥＬＤ等である。音声出力装置２４ｃは、例えば、スピーカである。さらに、表示部２４ａは、透明な操作入力部２４ｂで覆われている。操作入力部２４ｂは、例えば、タッチパネル等である。乗員等は、操作入力部２４ｂを介して表示部２４ａの表示画面に表示される画像を視認することができる。また、乗員等は、表示部２４ａの表示画面に表示される画像に対応した位置にて手指等で操作入力部２４ｂを触れたり押したり動かしたりして操作することで、操作入力を実行することができる。そして、これら表示部２４ａや、操作入力部２４ｂ、音声出力装置２４ｃ等は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２４に設けられうる。モニタ装置２４は、例えば、スイッチや、ダイヤル、ジョイスティック、押しボタン等の図示されない操作入力部を有することができる。モニタ装置２４は、ナビゲーションシステムやオーディオシステムと兼用されうる。なお、ＥＣＵ１１は、モニタ装置２４の表示部２４ａに、表示部１０ａと同様の画像を表示させることができる。

ＥＣＵ１１は、例えば、ＣＰＵ１１ａ（central processing unit）や、ＲＯＭ１１ｂ（read only memory）、ＲＡＭ１１ｃ（random access memory）、ＳＳＤ１１ｄ（solid state drive）、表示制御部１１ｅ、音声制御部１１ｆ等を有している。ＳＳＤ１１ｄは、フラッシュメモリであってもよい。ＣＰＵ１１ａは、各種演算を実行することができる。ＣＰＵ１１ａは、ＲＯＭ１１ｂやＳＳＤ１１ｄ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１１ｃは、ＣＰＵ１１ａでの演算で用いられる各種のデータを一時的に記憶する。また、ＳＳＤ１１ｄは、書き換え可能な不揮発性の記憶部であり、ＥＣＵ１１の電源がオフされた場合にあってもデータを記憶することができる。また、表示制御部１１ｅは、ＥＣＵ１１での演算処理のうち、主として、撮像部１２で得られた画像データを用いた画像処理や、表示部１０ａ，２４ａで表示される画像データの画像処理等を実行することができる。また、音声制御部１１ｆは、ＥＣＵ１１での演算処理のうち、主として、音声出力装置２４ｃで出力される音声データの処理を実行することができる。なお、ＣＰＵ１１ａや、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１１は、ＣＰＵ１１ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１１ｄに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１１ｄやＨＤＤは、ＥＣＵ１１とは別に設けられてもよい。

また、本実施形態では、例えば、表示部１０ａには、ＥＣＵ１１の画像処理によって、ルームミラーの鏡像に対応した出力画像Ｉｍが表示される。この場合、車外画像Ｉｍｏからルームミラーの写像に対応した出力画像Ｉｍへの座標変換を行う関数や、係数、定数、データ等は、車外や車内に実際に配置した複数のマーカのルームミラーの写像中での位置を実際に取得したり、撮像によるキャリブレーションを行ったり、幾何学的な演算を行ったりすることによって、得ることができる。なお、関数は、変換式や、変換行列等であってもよい。また、出力画像Ｉｍは、例えば、ルームミラーの写像に似た画像や、位置合わせされた画像、適合した画像等である。また、車体画像Ｉｍｉの合成位置や、大きさ、形状等も、車外や車内に実際に配置した複数のマーカのルームミラーの写像中での位置を実際に取得したり、撮像によるキャリブレーションを行ったり、幾何学的な演算を行ったりすることによって、得ることができる。

また、本実施形態では、例えば、ＥＣＵ１１は、ハードウエアとソフトウエア（プログラム）との協働によって、画像表示制御装置の少なくとも一部として機能する。すなわち、本実施形態では、例えば、図１１に示されるように、ＥＣＵ１１は、図１にも示されている表示制御部１１ｅや音声制御部１１ｆの他、画像生成部１１０や、進行方向取得部１１１、車両位置取得部１１２、物体検出部１１３、撮像画像取得部１１０ａ、範囲決定部１１０ｂ、表示態様決定部１１０ｃ、鏡像作成部１１０ｄ、画像補正部１１０ｅ、参照画像設定部１１０ｆ、注意領域画像設定部１１０ｇ、追加画像取得部１１０ｈ、画像合成部１１０ｉ等として機能する。画像生成部１１０は、例えばＣＰＵ１１ａであり、記憶部１１ｇは、例えばＳＳＤ１１ｄである。記憶部１１ｇは、例えば、演算で用いられるデータや、演算結果等を記憶する。なお、画像生成部１１０で実行される画像処理の少なくとも一部は表示制御部１１ｅで実行されてもよい。図１１の各部は、プログラムのモジュールに対応してもよいし、ハードウエアとして構成されてもよい。なお、図１，１１に示されるＥＣＵ１１の構成は、一例である。

進行方向取得部１１１は、シフトセンサ２１による検出結果や、車輪速センサ１７による検出結果、不図示の加速度センサによる検出結果、不図示の他のＥＣＵからのデータ等に基づいて、車両１の進行方向を取得することができる。進行方向取得部１１１は、車両１が前進中であるか後退中であるかを取得する。

車両位置取得部１１２は、例えば、車輪速センサ１７によって検出された車輪速や、舵角センサ１４，１５ａによって検出された舵角、ＧＰＳ１６からのデータ、非接触計測装置１３の検出結果、撮像部１２が取得した車外画像Ｉｍｏの画像処理結果、他の不図示のＥＣＵからのデータ等に基づいて、車両１の位置を取得することができる。車両１の位置は、例えば、駐車支援システムにおける現在位置や目標位置との相対的な位置であってもよい。

物体検出部１１３は、例えば、画像生成部１１０で作成された車外画像Ｉｍｏを画像処理することにより、車外の物体Ｂを検出することができる。物体Ｂは、例えば、車両や、物、人等である。物体Ｂの検出に際しては、例えば、パターンマッチング等が用いられうる。また、物体検出部１１３は、非接触計測装置１３から得られたデータから、車外の物体Ｂを検出することができるし、車外画像Ｉｍｏを画像処理した結果と非接触計測装置１３から得られたデータとから、車外の物体Ｂを検出することができる。また、物体検出部１１３は、車外画像Ｉｍｏを画像処理した結果あるいは非接触計測装置１３から得られたデータから、車両１から物体Ｂまでの距離を取得してもよい。

撮像画像取得部１１０ａは、少なくとも一つの撮像部１２で撮像された車外画像Ｉｍｏを取得する。複数の撮像部１２が設けられている場合、撮像画像取得部１１０ａは、複数の撮像部１２で撮像された複数（例えば三つ）の撮像画像を、それらの境界部分を合成することで繋ぎ、一連の車外画像Ｉｍｏを作成することができる。

範囲決定部１１０ｂは、車外画像Ｉｍｏのうち出力画像Ｉｍに用いる表示範囲Ａｄを決定する。範囲決定部１１０ｂは、例えば、進行方向取得部１１１によって取得された車両１の進行方向や、車両位置取得部１１２によって取得された車両１の位置、物体検出部１１３による検出結果等に応じて、出力画像Ｉｍおよび車外画像Ｉｍｏの表示範囲Ａｄを設定することができる。また、範囲決定部１１０ｂは、他のセンサやデバイスによる検出結果や、信号、データ等に応じて、表示範囲Ａｄを決定してもよい。他のセンサやデバイスは、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等である。

表示態様決定部１１０ｃは、表示部１０ａ，２４ａにおける出力画像Ｉｍの表示態様を決定する。表示態様決定部１１０ｃは、例えば、進行方向取得部１１１によって取得された車両１の進行方向や、車両位置取得部１１２によって取得された車両１の位置、物体検出部１１３による検出結果等に応じて、出力画像Ｉｍの表示態様を設定したり変更したりすることができる。また、表示態様決定部１１０ｃは、他のセンサやデバイスによる検出結果や、信号、データ等に応じて、出力画像Ｉｍの表示態様を設定したり変更したりしてもよい。他のセンサやデバイスは、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等である。また、表示態様決定部１１０ｃは、例えば、車体画像Ｉｍｉの透過率αや、色、輝度、彩度等を設定したり変更したりすることができる。また、合成画像に室内画像が含まれる場合、表示態様決定部１１０ｃは、室内画像の透過度等を設定したり変更したりすることができる。

鏡像作成部１１０ｄは、撮像画像、車外画像Ｉｍｏ、あるいは出力画像Ｉｍの鏡像を作成することができる。出力画像Ｉｍに撮像画像の鏡像となる車外画像Ｉｍｏが含まれていればよく、鏡像作成部１１０ｄは、どの段階で鏡像を作成してもよい。

画像補正部１１０ｅは、撮像部１２で撮像された撮像画像を補正する。画像補正部１１０ｅは、例えば、撮像部１２で撮像された撮像画像の歪みを補正することができる。撮像部１２が、広角レンズあるいは魚眼レンズである場合、画像の中心から離れるほど画像の歪みが大きい。そこで、画像補正部１１０ｅは、矩形の画角で表示された場合に、より違和感の少ない画像となるよう、例えば、座標変換や補完処理等を施すことで、撮像画像を補正する。また、画像補正部１１０ｅは、撮像部１２で撮像された撮像画像の視点を変換する処理を実行することができる。画像補正部１１０ｅは、例えば、撮像部１２の撮像点と、ルームミラーでの写像の視点との差が大きい場合に、より違和感の少ない画像となるよう、例えば、座標変換や補完処理等を施すことで、より前方からの視点、例えばルームミラーの写像の視点での画像に近付くように、撮像画像を補正する。座標変換は、例えば、マップや関数等によって与えられる。なお、画像補正部１１０ｅによる車外画像Ｉｍｏの補正は、ルームミラーが設けられた場合の鏡像と完全に位置合わせされている必要は無い。また、画像補正部１１０ｅは、歪み補正や視点変換処理以外の補正をも実行しうる。

参照画像設定部１１０ｆは、出力画像Ｉｍに含まれる参照画像を設定する。参照画像は、車両１の後方の位置の目安となる画像であって、例えば、車両１の後方に離間した位置に対応した画像や、車体２の後部の形状を模した画像等である。参照画像設定部１１０ｆは、運転者等の乗員による操作入力部１０ｂ，１０ｃ，２４ｂ等の操作入力によって、予め記憶されている複数の参照画像の候補の中から、出力画像Ｉｍに含める参照画像を選択し、設定することができる。また、参照画像設定部１１０ｆは、例えば、進行方向取得部１１１によって取得された車両１の進行方向や、車両位置取得部１１２によって取得された車両１の位置、物体検出部１１３による検出結果等に応じて、参照画像を設定したり変更したりすることができる。また、参照画像設定部１１０ｆは、他のセンサやデバイスによる検出結果や、信号、データ等に応じて、参照画像を設定したり変更したりしてもよい。他のセンサやデバイスは、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等である。各パラメータに対応して設定あるいは変更される参照画像を示すデータは、記憶部１１ｇに記憶されうる。

注意領域画像設定部１１０ｇは、出力画像Ｉｍに含まれる注意領域画像を設定する。注意領域画像は、参照画像の左右少なくともいずれか一方に位置され、車両１の斜め後方に対応した注意領域を示す画像である。注意領域画像は、例えば、車外画像Ｉｍｏを透過する透過画像として設定される。注意領域画像設定部１１０ｇは、運転者等の乗員による操作入力部１０ｂ，１０ｃ，２４ｂ等の操作入力によって、予め記憶されている複数の注意領域画像の候補の中から、出力画像Ｉｍに含める注意領域画像を選択し、設定することができる。また、注意領域画像設定部１１０ｇは、例えば、進行方向取得部１１１によって取得された車両１の進行方向や、車両位置取得部１１２によって取得された車両１の位置、物体検出部１１３による検出結果等に応じて、注意領域画像を設定したり変更したりすることができる。また、注意領域画像設定部１１０ｇは、他のセンサやデバイスによる検出結果や、信号、データ等に応じて、注意領域画像を設定したり変更したりしてもよい。他のセンサやデバイスは、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等である。各パラメータに対応して設定あるいは変更される注意領域画像を示すデータは、記憶部１１ｇに記憶されうる。

追加画像取得部１１０ｈは、車外画像Ｉｍｏとは別に出力画像Ｉｍに含まれる画像を取得する。本実施形態では、出力画像Ｉｍに含まれる画像のうち、車外画像Ｉｍｏでは無い画像が、追加画像と称される。追加画像は、例えば、車体画像Ｉｍｉや、参照画像、注意領域画像、路面の枠線の画像、物体の画像、進行方向を示す画像、目標位置を示す画像、過去の軌跡を示す画像、物体検出部１１３によって検出された物体の強調表示、文字画像等の、種々の画像である。また、追加画像取得部１１０ｈは、例えば、進行方向取得部１１１で取得された進行方向や、車両位置取得部１１２で取得された車両１の位置、物体検出部１１３で検出された物体、範囲決定部１１０ｂで決定された表示範囲Ａｄ、表示態様決定部１１０ｃで決定された表示態様等に対応する追加画像を、取得することができる。また、追加画像取得部１１０ｈは、追加画像として、車室内を撮像する撮像部１２Ｉ（図８，９等参照）に基づく室内画像を取得してもよい。なお、複数の追加画像は、例えば、記憶部１１ｇに記憶されうる。また、各パラメータの値に応じて追加画像を特定するデータは、例えば、記憶部１１ｇに記憶されうる。

画像合成部１１０ｉは、車外画像Ｉｍｏと追加画像とを合成し、出力画像Ｉｍを生成する。追加画像として室内画像が含まれる場合、画像合成部１１０ｉでは、画像処理により窓の部分がくり抜かれた室内画像が、透過画像として重畳されうる。

本実施形態にかかる画像表示システム１００は、例えば、図１２に示されるような手順で処理を実行することができる。まず、撮像画像取得部１１０ａは、撮像部１２が撮像した画像を取得する（Ｓ１）。次に、鏡像作成部１１０ｄは、撮像部１２が撮像した画像の鏡像を作成する（Ｓ２）。次に、物体検出部１１３は、物体を検出する（Ｓ３）。次に、画像補正部１１０ｅは、表示態様決定部１１０ｃで設定された表示態様を取得し（Ｓ４）、取得した表示態様に応じて、車外画像Ｉｍｏを補正する（Ｓ５）。参照画像設定部１１０ｆは、参照画像を設定し（Ｓ６）、注意領域画像設定部１１０ｇは、注意領域画像を設定する（Ｓ７）。次に、追加画像取得部１１０ｈは、追加画像を取得し（Ｓ８）、画像合成部１１０ｉは、追加画像取得部１１０ｈで取得された追加画像と車外画像Ｉｍｏとを合成して、出力画像Ｉｍを得る（Ｓ９）。次に、表示制御部１１ｅは、出力画像Ｉｍが表示されるよう、表示部１０ａを制御する（Ｓ１０）。

図１３〜１６には、出力画像Ｉｍの例が示されている。参照画像設定部１１０ｆは、図１３〜１６に示されるように、出力画像Ｉｍに含まれる種々の参照画像を設定することができる。参照画像は、追加画像の一例である。図１３の例では、参照画像として、車体２の後部、側部、および底部に対応し、当該各部を模した車体画像Ｉｍｉが含まれている。これに対し、図１４の例では、参照画像として、車体２の後部のみに対応した車体画像Ｉｍｉが含まれている。参照画像設定部１１０ｆは、運転者等の乗員による操作入力部１０ｂ，１０ｃ，２４ｂ等の操作入力に応じて、予め記憶されている複数の参照画像の候補の中から、出力画像Ｉｍに含める参照画像を選択し、設定することができる。よって、出力画像Ｉｍには、運転者等の乗員の嗜好に応じた参照画像が含まれうる。また、天気等の状況に応じてより見やすい参照画像が設定されうる。図１３の例では、車両１の後方および側方の双方で、他の車両等の物体Ｂの画像Ｉｍｂとの位置関係が把握されやすい。一方、図１４の例では、車両１の斜め側方や側方では、車体画像Ｉｍｉが無い分、物体Ｂの画像Ｉｍｂをより視認しやすい。

図１５の例では、出力画像Ｉｍに、図１４に例示される参照画像としての車体画像Ｉｍｉに加えて、注意領域画像Ｉｍａが追加されている。注意領域画像Ｉｍａは、出力画像Ｉｍ中、参照画像に対する左右両側のうち少なくともいずれか一方に、含まれる。図１５の例では、出力画像Ｉｍには、参照画像としての車体画像Ｉｍｉの左右両側に注意領域画像Ｉｍａが含まれている。出力画像Ｉｍの中央の領域は、車両１の後方に対応した領域であり、出力画像Ｉｍの左右両側の領域は、車両１の斜め後方に対応した領域である。また、物体Ｂの画像Ｉｍｂが出力画像Ｉｍの左右両端部の近くに位置するほど、当該物体Ｂは車両１の前部により近い位置にある。そこで、本実施形態では、車両１の斜め後方の注意領域に対応した注意領域画像Ｉｍａを出力画像Ｉｍに含めることで、運転者は、車両１の前部により近い位置にある物体Ｂに、より注意を払うことができる場合がある。注意領域画像Ｉｍａは、例えば、物体Ｂの画像Ｉｍｂの視認に支障を来さない程度に薄く色づけられた透過画像、すなわち車外画像Ｉｍや、物体Ｂの画像Ｉｍｂ等が透けて見える画像として、設定されうる。注意領域画像Ｉｍａの色は、一般的に注意を惹きやすい黄色や、ピンク色、オレンジ色、赤色等に設定されうる。また、図１５の例では、注意領域画像Ｉｍａは、該当する領域全体に施されているが、これには限定されず、例えば枠として表示されてもよいし、斜線等のパターンや、ドットパターン等で示されてもよい。また、注意領域画像Ｉｍａは、車両１の斜め後方に対応する領域の一部、例えば、出力画像Ｉｍ中の下側の一部などに、表示されてもよい。なお、注意領域は、車両１の斜め側方から車両１の側方にかけての領域であってもよい。

図１６の例では、出力画像Ｉｍに、図１３〜１５とは異なる参照画像として、車両１の後方の位置に対応した後方位置画像Ｉｍｒが追加されている。後方位置画像Ｉｍｒは、車体２のフロアの後端部からの距離の目安となる画像であり、図１６には、後方位置画像Ｉｍｒは、六つの要素としての点Ｐ１〜Ｐ３として描画されている。これら後方位置画像Ｉｍｒのうち、最も下側に位置された二つの点Ｐ１は、例えば、車体２の後端部かつ左右両側の側端部に対応し、当該点Ｐ１よりも上側に位置された二つの点Ｐ２は、例えば、車体２の後端部かつ左右両側の端部よりも所定距離（例えば２ｍ）後方の位置に対応し、当該点Ｐ２よりも上側に位置された二つの点Ｐ３は、例えば、車体２の後端部かつ左右両側の端部よりも所定距離（例えば４ｍ）後方の位置に対応して配置されている。このような後方位置画像Ｉｍｒが、出力画像Ｉｍに含まれることにより、運転者等の乗員は、例えば、車両１の後方に位置する他の車両等の物体Ｂの相対的な位置や、物体Ｂの大きさ等をより精度良くあるいはより容易に認識しやすい。なお、図示されないが、参照画像には、後方位置画像Ｉｍｒと車体画像Ｉｍｉとの双方が含まれてもよい。

図１７〜図２１には、車両１の前進中の出力画像Ｉｍの変化の一例が示されている。ＥＣＵ１１は、各図に例示されるような出力画像Ｉｍが表示されるよう、表示部１０ａを制御する。

図１７には、車両１の後方の比較的狭い領域に対応した出力画像Ｉｍの例が、示されている。出力画像Ｉｍには、車外画像Ｉｍｏとともに、参照画像としての車体画像Ｉｍｉが追加されている。車体画像Ｉｍｉには、車体２の後部に対応する画像のみが含まれ、車体２の側部に対応する画像は含まれていない。図１７の例では、表示部１０ａのうち中央部の比較的狭い幅の領域のみに、出力画像Ｉｍが表示されている。なお、図１７の出力画像Ｉｍは一例であって、より幅の広い領域の出力画像Ｉｍであってもよい。

図１８には、図１７の出力画像Ｉｍよりも右側に拡大された出力画像Ｉｍの例が、示されている。出力画像Ｉｍには、図１７よりも右側に拡大された車外画像Ｉｍｏとともに、車体２の後部に対応した参照画像としての車体画像Ｉｍｉと、当該車体画像Ｉｍｉの右側に位置された注意領域画像Ｉｍａとが含まれている。ＥＣＵ１１は、方向指示器２２による操作入力や、舵角センサ１４による舵角の検出結果等に基づいて、図１７の出力画像Ｉｍを図１８の出力画像Ｉｍに切り替えることができる。具体的には、例えば、方向指示器２２で右側への移動を指示する操作入力が行われた場合、あるいは舵角センサ１４によって右方向への操舵を示す所定角度（閾値）以上の舵角が検出された場合等に、範囲決定部１１０ｂは、図１７よりも右側に拡大された出力画像Ｉｍの表示範囲Ａｄを設定するとともに、注意領域画像設定部１１０ｇは、参照画像としての車体画像Ｉｍｉの右側に、注意領域画像Ｉｍａを設定する。これにより、表示部１０ａには、右側に注意領域画像Ｉｍａが追加された出力画像Ｉｍが表示される。よって、例えば、運転者等の乗員は、車線変更等の転舵の際の旋回方向の領域を、注意すべき領域として認識しやすい。なお、図１８の例は一例であって、参照画像としての車体画像Ｉｍｉや注意領域画像Ｉｍａ等が他の表示態様でも良いことは勿論である。また、車両１が左側に転舵する際、表示部１０ａには、図１８とは逆に当該左側に拡張された出力画像Ｉｍが表示される。

図１９には、図１８の注意領域画像Ｉｍａと対応する位置に他の車両等の物体Ｂが現れ、出力画像Ｉｍ中でも注意領域画像Ｉｍａ中に当該物体Ｂの画像Ｉｍｂが含まれた場合が例示されている。物体検出部１１３によって、物体Ｂが出力画像Ｉｍ中で注意領域画像Ｉｍａと重なる位置に検出された場合、追加画像取得部１１０ｈは、出力画像Ｉｍに、当該物体Ｂの画像Ｉｍｂの外枠に沿った強調画像Ｉｍｆ１を追加することができる。強調画像Ｉｍｆ１は、例えば、黄色等の注意を惹きやすい色が付けられた所定の太さの枠線として設定されうる。なお、図１９の強調画像Ｉｍｆ１は、一例であって、例えば、枠内が透過する状態で塗り潰されるなどしてもよいし、ハッチングや網掛け等のパターンが追加されてもよい。

図２０には、図１９の状態から他の車両等の物体Ｂが車両１に対して相対的に前進した状態での出力画像Ｉｍが、例示されている。図２０の状態で、物体Ｂは、当該物体Ｂの画像Ｉｍｂが出力画像Ｉｍの右側の端部Ｉｍｅと重なる位置に到達している。物体検出部１１３は、画像処理結果等により、画像Ｉｍｂが出力画像Ｉｍの端部Ｉｍｅと接するかあるいは重なる状態であることを検出することができる。この場合、注意領域画像設定部１１０ｇは、図１９とは異なる注意領域画像Ｉｍａを設定することができる。具体的には、例えば、注意領域画像Ｉｍａの色は、図１９の注意領域画像Ｉｍａとは異なる色であったり、注意領域画像Ｉｍａにグラデーションやパターンが設定されたりしてもよい。また、追加画像取得部１１０ｈも、出力画像Ｉｍに、図１９の強調画像Ｉｍｆ１とは異なる追加画像としての強調画像Ｉｍｆ２を追加することができる。具体的には、例えば、強調画像Ｉｍｆ２の色や線種は、図１９の強調画像Ｉｍｆ１とは異なる色や線種であってもよい。例えば、強調画像Ｉｍｆ２の色は赤色であったり、強調画像Ｉｍｆ２の線の幅は強調画像Ｉｍｆ１より太かったりしてもよい。なお、注意領域画像設定部１１０ｇは、物体検出部１１３による物体Ｂの検出結果によって、物体Ｂの車両１からの距離が所定距離（閾値）以内となった場合に、図２０の例のように注意領域画像Ｉｍａを変更してもよい。

さらに、図２１には、強調画像Ｉｍｆ３が追加された出力画像Ｉｍが、例示されている。追加画像取得部１１０ｈは、図２０と同じ状況で、出力画像Ｉｍに、さらに強調画像Ｉｍｆ３を追加することができる。強調画像Ｉｍｆ３は、例えば、出力画像Ｉｍの右側の端部Ｉｍｅに沿った一定幅の帯状の画像である。強調画像Ｉｍｆ３は、所定の時間間隔で点滅してもよい。図２０，２１のような出力画像Ｉｍにより、運転者等の乗員は、他の車両等の物体Ｂが、車両１の前部のより近くに位置し、より注意が必要な状況であることを認識しやすい。

また、参照画像設定部１１０ｆは、図２２に示されるように、出力画像Ｉｍに追加される参照画像として、図１７〜２１の車体画像Ｉｍｉに替えて後方位置画像Ｉｍｒを設定してもよい。この場合、出力画像Ｉｍには、注意領域画像Ｉｍａとともに、後方位置画像Ｉｍｒが含まれる。

また、参照画像設定部１１０ｆは、図２３〜２７に例示されるような、種々の形態の後方位置画像Ｉｍｒを設定することができる。図２３には、車両前後方向に延びた線と車幅方向に延びた線とを含む梯子状の後方位置画像Ｉｍｒが例示されている。図２４には、車両前後方向に沿った線と車幅方向に沿った線とが結合された複数のＴ字状の要素を含む後方位置画像Ｉｍｒが例示されている。図２５には、車幅方向に沿った線と車両上下方向に沿った線とが結合された複数のＬ字状の要素と遠方を示す点状の要素とを含む後方位置画像Ｉｍｒが例示されている。図２６には、距離により異なる複数のＬ字状の要素を含む後方位置画像Ｉｍｒが例示されている。図２７には、線状の複数の要素と点状の複数の要素とを含む後方位置画像Ｉｍｒが例示されている。このような後方位置画像Ｉｍｒによっても、車両１の後方に位置する他の車両等の物体Ｂとの相対的な位置が把握されやすい。なお、図２３〜２７は、後方位置画像Ｉｍｒの一例であって、後方位置画像Ｉｍｒは、これらには限定されない。

また、範囲決定部１１０ｂや、表示態様決定部１１０ｃは、運転者等の乗員の操作入力によって、車外画像Ｉｍｏや、車体画像Ｉｍｉ、追加画像、出力画像Ｉｍの範囲や表示態様を決定することができる。この場合、例えば、運転者等の乗員は、表示部１０ａで好みの範囲や表示態様で表示された出力画像Ｉｍを視認することができる。操作入力は、運転者等の乗員による、操作入力部１０ｂ，１０ｃ，２４ｂや、ステアリングの操作によって行われる。ステアリングの操作に基づく操作入力は、舵角センサ１４の検出結果から得られる。

以上、説明したように、本実施形態では、例えば、車両１が前進中の出力画像Ｉｍ（表示画像）に、車両１の後方に離間した位置に対応した後方位置画像Ｉｍｒ（参照画像）が含まれうる。よって、本実施形態によれば、例えば、後方位置画像Ｉｍｒによって、車両１の後方に位置する他の車両等の物体Ｂとの相対的な位置関係が把握されやすい。

また、本実施形態では、例えば、後方位置画像Ｉｍｒには、車両１からの距離が異なる複数の要素が含まれている。よって、例えば、当該複数の要素によって、他の車両等の物体Ｂの車両１からの位置がより把握されやすい。

また、本実施形態では、例えば、車両１が前進中の出力画像Ｉｍに、後方位置画像Ｉｍｒおよび車体２の後部を示す車体画像Ｉｍｉのうち少なくとも一方が含まれうる。よって、例えば、車両１の後方に位置する他の車両等の物体Ｂとの相対的な位置関係がより一層把握されやすい。また、例えば、運転者等の乗員は、嗜好に応じて後方位置画像Ｉｍｒおよび車体画像Ｉｍｉを選択できたり、状況に応じて見やすい画像を選択できたりする。

また、本実施形態では、例えば、車両１が前進中の出力画像Ｉｍに、車両１の斜め後方に対応した注意領域を示す注意領域画像Ｉｍａが含まれうる。よって、車両１の斜め後方に他の車両等の物体Ｂが存在することが把握されやすい。

また、本実施形態では、例えば、注意領域画像Ｉｍａは、当該注意領域画像Ｉｍａに対応する位置に他の車両等の物体Ｂが検出された場合に表示される。よって、例えば、物体Ｂが存在せず注意領域画像Ｉｍａの必要性が低い場合には、当該注意領域画像Ｉｍａが表示されない。よって、例えば、電力消費が抑制されやすい。また、例えば、注意領域画像Ｉｍａの表示の有無が切り替わることにより、注意領域における物体Ｂの存在がより一層把握されやすくなる場合がある。

また、本実施形態では、例えば、注意領域画像Ｉｍａは、物体Ｂの位置に応じて変化する。よって、例えば、注意領域画像Ｉｍａが変化しない場合に比べて、注意領域における物体Ｂの存在がより一層把握されやすくなる場合がある。

以上、本発明の実施形態を例示したが、上記実施形態は一例であって、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各例の構成や形状は、部分的に入れ替えて実施することも可能である。また、各構成や形状等のスペック（構造や、種類、方向、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、色、パターン等）は、適宜に変更して実施することができる。

また、出力画像（表示画像）は、複数の表示装置で表示されてもよいし、ルームミラーの位置以外の表示装置で表示されてもよい。表示装置は、フロントウインドウや車内のスクリーン等に画像を映し出す装置であってもよいし、車内のダッシュボードやセンターコンソール等に設けられた表示パネルであってもよい。なお、表示パネルは、コックピットモジュール、インストルメントパネル、フェイシア等に設けられてもよい。

１…車両、２…車体、１０ａ…表示部（表示装置）、１１…ＥＣＵ（画像表示制御装置）、１１ｅ…表示制御部、１２，１２Ｒ…撮像部、１００…画像表示システム、１１０…画像生成部、１１０ｆ…参照画像設定部、１１０ｇ…注意領域画像設定部、１１３…物体検出部、Ｉｍ…出力画像（表示画像）、Ｉｍｏ…車外画像、Ｉｍｒ…後方位置画像（参照画像）、Ｉｍｉ…車体画像（参照画像）、Ｉｍａ…注意領域画像。

Claims (5)

1. 車体の後部に取り付けられた撮像部によって少なくとも車両の後方および側方が撮像された撮像画像の少なくとも一部に基づく車両の後方および側方の車外画像の鏡像を含む、表示装置に表示される表示画像、を生成する画像生成部と、
   車体の側部の画像を含まず車体の後部のみを線画として示す参照画像を、車両の前進中に、前記表示画像のうち前記車両の後方の車外画像の鏡像に含めるとともに前記表示画像のうち前記車両の側方の車外画像の鏡像に含めない画像、として設定しうる、参照画像設定部と、
   前記表示画像が表示されるよう前記表示装置を制御する表示制御部と、
   を備えた、画像表示制御装置。
2. 前記表示画像中で前記参照画像の左右の少なくともいずれか一方に位置されて車両の斜め後方に対応した注意領域を示す注意領域画像を、前記表示画像に含める画像として設定しうる、注意領域画像設定部を備えた、請求項１に記載の画像表示制御装置。
3. 物体を検出する物体検出部を備え、
   前記注意領域画像設定部は、前記物体検出部によって前記注意領域に対応する位置に物体が検出された場合に、前記注意領域画像を設定する、請求項２に記載の画像表示制御装置。
4. 前記注意領域画像設定部は、検出された物体の位置に応じて異なる前記注意領域画像を設定する、請求項３に記載の画像表示制御装置。
5. 車体の後部に取り付けられ少なくとも車両の後方および側方を撮像する撮像部と、
   表示装置と、
   画像表示制御装置と、
   を備え、
   前記画像表示制御装置は、
   前記撮像部によって撮像された撮像画像の少なくとも一部に基づく車両の後方および側方の車外画像を含む、前記表示装置に表示される表示画像、を生成する画像生成部と、
   車体の側部の画像を含まず車体の後部のみを線画として示す参照画像を、車両が前進中に、前記表示画像のうち前記車両の後方の車外画像の鏡像に含めるとともに前記表示画像のうち前記車両の側方の車外画像の鏡像に含めない画像、として設定しうる、参照画像設定部と、
   前記表示画像が表示されるよう前記表示装置を制御する表示制御部と、
   を有した、画像表示システム。

Images