JP6720729B2 - 表示制御装置 - Google Patents

Description

本発明の実施形態は、車両の表示制御装置に関する。

従来、車両に設置されたカメラで車両の周辺環境を撮像し、撮像された画像を車室内に設けられた表示画面を介して運転者に提供する技術がある。

国際公開第２０１１／０１０３４６号

しかしながら、例えば、運転者は、岩場などの路外地形（オフロード）を走行中において、表示画面上でいったん着目した岩が、運転を続けるうちに、表示画面のどこに表示されているのか、わからなくなってしまう場合がある。

本発明の課題の一つは、ユーザが着目している対象をわかりやすく表示する表示制御装置を提供することである。

本発明の実施形態の表示制御装置は、一例として、車室内に設けられた表示画面に表示されている第１のタイミングにおける車両の周辺環境を示す第１の画像上の第１のポイントを指定する入力を受け付ける受け付け部と、第１の画像上の第１のポイントに第１の表示オブジェクトを表示する表示処理部と、第１のポイントに写っている第１の対象が、第１のタイミングの後の第２のタイミングにおける車両の周辺環境を示す第２の画像において写っている第２のポイントを、車両の移動量および車両の向きから演算された車両の状態の変化量に基づいて特定する特定部と、第２の画像とともに、第２の画像上の第２のポイントに第１の表示オブジェクトを表示する更新部と、を備えた。よって、第１の表示オブジェクトがユーザが指定した対象が写っている位置に追従せしめられるので、表示制御装置は、ユーザが着目している対象をわかりやすく表示することができる。
また、本発明の実施形態の表示制御装置は、一例として、車室内に設けられた表示画面に表示されている第１のタイミングにおける車両の周辺環境を示す第１の画像上の第１のポイントを指定する入力を受け付ける受け付け部と、第１の画像上の第１のポイントに第１の表示オブジェクトを表示する表示処理部と、第１のポイントに写っている第１の対象が、第１のタイミングの後の第２のタイミングにおける車両の周辺環境を示す第２の画像において写っている第２のポイントを特定する特定部と、第２の画像とともに、第２の画像上の第２のポイントに第１の表示オブジェクトを表示する更新部と、を備え、第１の画像は、車両に設けられた撮像装置によって第１のタイミングに撮像された画像であり、第２の画像は、車両の床下を示す画像であり、表示処理部は、第２のタイミングよりも前の第５のタイミングに撮像装置によって撮像された第５の画像から第２の画像を生成する。よって、表示制御装置は、車両の床下を示す画像を表示することができるとともに、指定された対象が写っている位置にマーキングすることができるので、ユーザにとっての利便性が向上する。

また、本発明の実施形態の表示制御装置では、一例として、受け付け部は、表示画面に表示された第３の画像上の第３のポイントを指定する入力を受け付け、第３の画像は、前記第１の表示オブジェクトが表示され、第３のタイミングにおける車両の周辺環境を示す画像であり、表示処理部は、第３の画像上の第３のポイントに第２の表示オブジェクトを表示し、特定部は、第１の対象が、第３のタイミングの後の第４のタイミングにおける車両の周辺環境を示す第４の画像において写っている第４のポイントと、第３のポイントに写っている第２の対象が第４の画像において写っている第５のポイントと、を特定し、更新部は、第４の画像とともに、第４の画像上の第４のポイントに第１の表示オブジェクトを、第４の画像上の第５のポイントに第２の表示オブジェクトを、それぞれ表示する。表示制御装置は、複数の表示オブジェクトを表示し、複数の表示オブジェクトをそれぞれ対応する対象が写っている位置に追従させることができるので、ユーザによっての利便性が向上する。

また、本発明の実施形態の表示制御装置では、一例として、第１の表示オブジェクトの表示様態と第２の表示オブジェクトの表示様態とが異なる。よって、ユーザは、例えば、避けて通りたい対象と、通りたいルート上の対象とを、区別してマーキングするなどの運用が可能となるので、ユーザによっての利便性がさらに向上する。

また、本発明の実施形態の表示制御装置は、一例として、車室内に設けられた表示画面に表示されている第１のタイミングにおける車両の周辺環境を示す第１の画像上の第１のポイントを指定する入力を受け付ける受け付け部と、第１の画像上の第１のポイントに第１の表示オブジェクトを表示する表示処理部と、第１のポイントに写っている第１の対象が、第１のタイミングの後の第２のタイミングにおける車両の周辺環境を示す第２の画像において写っている第２のポイントを特定する特定部と、第２の画像とともに、第２の画像上の第２のポイントに第１の表示オブジェクトを表示する更新部と、を備え、入力は、第１のポイントを２つ指定する入力であり、特定部は、２つの第１のポイントのそれぞれに写っている第１の対象毎に、第２のポイントを特定し、表示処理部によって表示される第１の表示オブジェクトは、第１のポイント間を結ぶ線分であり、更新部によって表示される第１の表示オブジェクトは、第２のポイント間を結ぶ線分である。よって、ユーザは、例えば、通りたい軌跡を表示画面上に描画させ、描画された軌跡に沿って車両が進行するように操舵する、といった運用が可能となるので、ユーザによっての利便性が向上する。

また、本発明の実施形態の表示制御装置では、一例として、第１の画像は、車両に設けられ、第１の方向に向けられた第１の撮像装置によって撮像された画像であり、第２の画像は、車両に設けられ、第１の方向とは異なる第２の方向に向けられた第２の撮像装置によって撮像された画像である。指定された対象の位置が第１の撮像装置の撮像範囲から外れたとしても、指定された対象が他の撮像装置の撮像範囲に入っていれば、指定された対象の表示位置に表示オブジェクトが表示されるので、表示制御装置は、ユーザが着目している対象をわかりやすく表示することができる。

図１は、実施形態の表示制御装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態の表示制御装置を搭載する車両の一例が示された平面図（鳥瞰図）である。 図３は、実施形態の表示制御装置を含む表示制御システムの一例が示されたブロック図である。 図４は、実施形態のポイントを指定する入力の一例を示す図である。 図５は、実施形態のマークの表示例を示す図である。 図６は、更新後の実施形態の表示例を示す図である。 図７は、実施形態の表示画面の別の例を示す図である。 図８は、実施形態のＥＣＵの機能的構成を示すブロック図である。 図９は、実施形態の補助情報を生成するための仮想空間の一例を示す図である。 図１０は、実施形態の表示制御装置の動作の一例を示すフローチャートである。 図１１は、実施形態のマークの別の表示例を示す図である。 図１２は、実施形態の軌跡を指定する入力の一例を示す図である。 図１３は、実施形態の軌跡の表示例を示す図である。 図１４は、実施形態の鳥瞰画像の表示例を示す図である。 図１５は、実施形態の鳥瞰画像の表示例を示す図である。 図１６は、車両の床下を表示する実施形態の表示例を示す図である。

以下、本実施形態の表示制御装置を車両１に搭載した例をあげて説明する。

＜実施形態＞
実施形態の車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車または燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式、数、およびレイアウト等は、種々に設定することができる。

図１は、実施形態の表示制御装置を搭載する車両１の車室２ａの一部が透視された状態の一例が示された斜視図である。図２は、実施形態の表示制御装置を搭載する車両１の一例が示された平面図（鳥瞰図）である。図３は、実施形態の表示制御装置を有する表示制御システム１００の構成の一例を示すブロック図である。

図１に例示されるように、車体２は、不図示のユーザが乗車する車室２ａを構成している。車室２ａ内には、ユーザとしての運転者の座席２ｂに臨む状態で、操舵部４、加速操作部５、制動操作部６、および変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボードから突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、および変速操作部７は、これらには限定されない。

また、車室２ａ内には、表示画面８を有するモニタ装置１０が設けられている。表示画面８は、例えば、ＬＣＤ（liquid crystal display）またはＯＥＬＤ（organic electroluminescent display）等によって構成される。また、表示画面８は透明な操作入力部９で覆われている。操作入力部９は、例えばタッチパネルである。ユーザは、操作入力部９を介して表示画面８に表示される画像を視認することができる。また、ユーザは、表示画面８に表示される画像に対応した位置で手指等で操作入力部９を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。モニタ装置１０は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に設けられている。また、モニタ装置１０は、タッチパネル以外の操作入力部を備え得る。例えば、モニタ装置１０は、他の操作入力部として、スイッチ、ダイヤル、ジョイスティック、または押しボタンが設けられていてもよい。モニタ装置１０は、例えば、ナビゲーションシステムやオーディオシステムと兼用され得る。

また、図１、図２に示されるように、本実施形態では、例えば、車両１は、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。そして、例えば前輪３Ｆのタイヤ角が操舵部４の操作に対応して変化する。図３に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１２を有している。操舵システム１２は、アクチュエータ１２ａと、トルクセンサ１２ｂとを有する。操舵システム１２は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータ１２ａを動作させる。操舵システム１２は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１２は、アクチュエータ１２ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１２ａによって車輪３を転舵したりする。この場合、アクチュエータ１２ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１２ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

また、本実施形態では、図２に示されるように、車両１には、車両１の周辺環境を撮像するための撮像部１５（ここでは４つの撮像部１５ａ〜１５ｄ）が設けられている。各撮像部１５は、例えば、ＣＣＤ（charge coupled device）、またはＣＩＳ（ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ）、等の撮像素子を内蔵し、撮像素子によって、周辺環境が写った画像を撮像することができる、撮像装置である。各撮像部１５は、所定のフレームレートで画像データを出力することができる。

本実施形態では、撮像部１５ａは、車体２の前側の端部２ｃ（例えばフロントグリル）に設置されている。撮像部１５ａは、車両１の前方向の周辺環境を撮像することができる。ただし、座席２ｂに着座した運転者が正面を向く方向、すなわち運転者からみたフロントガラス側を、車両１の前方向および車体２の前側としている。撮像部１５ｂは、車体２の左側の端部２ｄ、より詳しくは、左側のドアミラー２ｇに設けられている。撮像部１５ｂは、車両１の左方向の周辺環境を撮像することができる。撮像部１５ｃは、車体２の後側の端部２ｅ、より詳しくは、リアトランクのドア２ｈの下方の壁部に設けられている。撮像部１５ｃは、車両１の後方向の周辺環境を撮像することができる。撮像部１５ｄは、車体２の右側の端部２ｆ、より詳しくは、右側のドアミラー２ｇに設けられている。撮像部１５ｄは、車両１の右方向の周辺環境を撮像することができる。

なお、周辺環境は、車両１の周辺の状況をいう。一例では、周辺環境は、車両１の周辺の路面を含む。また、各撮像部１５が車両１の周辺環境が写っている画像を出力することができる限り、各撮像部１５の構成、撮像部１５の数、各撮像部１５の設置箇所、および各撮像部１５の向きは、上記した内容に限定されない。複数の撮像部１５が写すことができる範囲が重複してもよいし、重複していなくてもよい。

図３に示されるように、表示制御システム１００では、モニタ装置１０、加速度センサ１３、ＥＣＵ（electronic control unit）１４、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２が、車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、加速度センサ１３、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、および車輪速センサ２２等の検出結果を受け取ることができる、また、ＥＣＵ１４は、操作入力部９等からの指示信号を受け取ることができる。ＥＣＵ１４は、表示制御装置の一例である。

ここで、表示制御装置の主たる特徴を説明する。

表示制御装置は、周辺環境が写っている画像を表示画面８に表示する。図４は、表示画面８の表示の一例を示す図である。この例では、表示画面８には、撮像部１５ａによって得られた、車両１の前方向の周辺環境を写した画像が表示されている。表示画面８には、車両１の前側の端部２ｃを示す線分２０１と、車体２の前側の端部２ｃからの距離が所定値である２本の線分２０２と、車両１が直進した場合に車体２の左右の端部２ｄ、２ｆが進む経路を示す２本の線分２０３と、車両１が直進した場合に車体２の中心が通る経路を示す線分２０４と、左右二つの前輪３Ｆの予測経路を示す２つの表示オブジェクト２０５とが、車両１の前方向の周辺環境を写した画像に重畳されている。表示オブジェクト２０５は、例えば図４に示されるように、タイヤの幅に対応した幅を有する枠線である。以降、各線分２０１〜２０４および表示オブジェクト２０５を、補助情報と表記する。

図４の状態で、表示制御装置は、操作入力部９を介して、表示中の画像上のポイントを指定する操作入力を受け付けることができる。画像上のポイントは、換言すると、画像上の位置であり、画像上の座標値である。例えば運転者がポイント３０１をタッチすると、表示制御装置は、ポイント３０１にマーク４０１を表示する。

図５は、マーク４０１が表示されている状態の表示画面８の表示の一例を示す図である。ここでは、マーク４０１は、円形の枠線を有する表示オブジェクトである。

マーク４０１は、予め専用に用意された表示オブジェクトである。マーク４０１の表示様態（形状、色彩、および大きさ）は、任意に設計可能である。マーク４０１は、ポイント３０１に写っている対象を指し示すためのものであり、換言すると、ポイント３０１に写っている対象を表示画面８上でマーキングするためのものである。したがって、一例では、マーク４０１は、ポイント３０１に写っている対象がマーク４０１を介して視認可能なように、半透明に処理された表示オブジェクトである。マーク４０１は、枠線のみを有する表示オブジェクトであってもよい。また、マーク４０１の形状は、例えば、円形、矩形、または旗形である。また、表示制御装置は、マーク４０１の種々の表示様態をユーザに提示し、選択を促してもよい。表示制御装置は、選択された表示様態のマーク４０１をポイント３０１に表示してもよい。

マーク４０１が表示された後に運転者が車両１の運転を行うと、車両１の移動に応じて周辺環境が車両１に対して相対的に変化する。表示制御装置は、一定の周期で画像を取得して、取得した画像で表示画面８を逐次更新する。即ち、表示制御装置は、周辺環境が変化した後、表示画面８上の画像を変化後の周辺環境を写した画像で更新する。

図６は、更新後の表示画面８の表示の一例を示す図である。表示制御装置は、図４の画像においてポイント３０１に写っていた対象が、更新後の画像において写っている位置を特定し、特定した位置に、マーク４０１を表示する。例えば、表示制御装置が、あるタイミングの周辺環境を写した画像において、ある対象（例えば岩）が写っているポイントにマーク４０１を表示し、その後のタイミングの周辺環境を写した更新後の画像において、その対象が写っている位置が移動した場合、その対象が写っている位置にマーク４０１を追従させる。運転者は、着目している対象を表示画面８上で指定することで、対象が表示されている位置にマーク４０１を表示させることが可能であり、かつ、運転によりその対象が写っている位置が移動した場合に、その対象が写っている位置にマーク４０１が追従するので、ユーザは、表示画面８上で対象を見失うことがない。即ち、実施形態の表示制御装置は、ユーザが着目している対象をわかりやすく表示することができる。

なお、運転者は、補助情報を操舵のための参考にすることができる。表示制御装置が補助情報を表示することによって、運転者は、着目している対象と車両１の現在位置との位置関係と、着目している対象と予測される車両１の位置との位置関係とを、容易に把握することが可能である。なお、表示制御装置は、補助情報を必ずしも表示しなくてもよい。また、表示制御装置は、補助情報のうちの一部を表示しなくてもよい。また、表示制御装置は、補助情報の表示と非表示とを、ユーザからの操作入力に応じて切り替えてもよい。

また、表示制御装置は、表示画面８に、他の情報を並べて表示してもよい。図７は、表示画面８の表示の他の例を示す図である。図７においては、表示画面８の領域８１には、撮像部１５ａによって得られた車両１の前方向の周辺環境を写した画像が、図４〜６に示した例と同様の様態で表示されている。また、表示画面８の領域８２には、撮像部１５ｂによって得られた車両１の左方向の周辺環境を写した画像が表示されている。また、表示画面８の領域８３には、撮像部１５ｄによって得られた車両１の右方向の周辺環境を写した画像が表示されている。また、表示画面８の領域８４には、車両１の左右方向の傾きを示す画像が表示されている。車両１の左右方向の傾きは、例えば、加速度センサ１３による検出値に基づいて演算される。

図３に説明を戻す。ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ１４ｂ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ１４ｃ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、表示制御部１４ｄ、およびＳＳＤ１４ｅ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、およびフラッシュメモリ）を有している。ＣＰＵ１４ａは、車両１全体の制御を行う。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、各撮像部１５で得られた画像を用いた画像処理と、表示画面８で表示される画像の処理（例えば合成等）等とを実行する。ＳＳＤ１４ｅは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａ、ＲＯＭ１４ｂ、およびＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｅに替えてＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）が設けられてもよいし、ＳＳＤ１４ｅやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

図８は、実施形態のＥＣＵ１４の機能的構成を示すブロック図である。ＥＣＵ１４は、受け付け部１４１と、表示処理部１４２とを主に備えている。

受け付け部１４１は、操作入力部９に入力された、表示画面８に表示されている画像上のポイントを指定する操作入力を、受け付けることができる。また、受け付け部１４１は、操作入力部９に入力された、マーク４０１の表示を解除する操作入力を、受け付けることができる。

マーク４０１の表示を解除する操作入力の入力方法としては、任意の入力方法が採用可能である。例えば、表示中のマーク４０１がタッチされた場合に、受け付け部１４１は、そのマーク４０１の表示を解除する操作入力として認識する。

以降、画像上のポイントを指定する操作入力を、マーキング指示と表記する。また、マーク４０１の表示を解除する操作入力を、表示解除指示と表記する。

表示処理部１４２は、周辺環境を示す画像を表示画面８に表示する。

複数の撮像部１５から得られた画像のうちのいずれを表示画面８に表示するかは、任意に設計され得る。例えば、表示処理部１４２は、各撮像部１５から得られた画像のうちから、操作入力部９からの操作入力に基づいて、または予め設定された内容にしたがって、一部の画像を選択する。そして、表示処理部１４２は、選択した画像を表示画面８に表示する。例えば、車両１の前方向の画像を表示するモードが選択されたり、予め設定されたりしている場合には、表示処理部１４２は、撮像部１５ａから得られた画像を選択して表示する。

また、表示処理部１４２は、表示画面８に、撮像部１５からの画像を加工して表示してもよい。加工は、切り抜き、マスキング、複数の画像の合成、画像の一部または全体のフィルタ処理、上記以外の任意の表示オブジェクトの表示、補正、ならびに視点変換、を含む。複数の画像の合成とは、一例では、撮像部１５ａによって得られた車両１の前方向の周辺環境を写した画像と、撮像部１５ｂおよび撮像部１５ｄによって得られた車両１の左右方向の周辺環境を写した画像と、をシームレスに接続することである。補正は、例えば、歪曲補正またはガンマ補正である。視点変換は、一例では、各撮像部１５によって得られた画像から鳥瞰画像を生成することである。

以降、特に断りが無い限り、画像は、加工されていない画像だけでなく、加工された画像も含むこととする。各撮像部１５から得られた画像は、表示画面８に表示されるまでの間の任意のタイミングで加工され得る。

また、表示処理部１４２は、表示画面８に画像を表示中に、マーキング指示が受け付け部１４１によって受け付けられた場合、指定されたポイントにマーク４０１を表示する。また、表示処理部１４２は、マーク４０１を表示中に、表示解除指示が受け付け部１４１によって受け付けられた場合、マーク４０１の表示を終了する。

また、表示処理部１４２は、画像に補助情報を表示する。補助情報は、後述の補助情報演算部１４３によって演算される。

また、表示処理部１４２は、撮像部１５から所定のフレームレートで出力される画像を逐次取得する。

表示処理部１４２は、さらに、補助情報演算部１４３と、特定部１４４と、更新部１４５とを備えている。

更新部１４５は、撮像部１５から逐次取得される画像で、表示画面８に表示する画像を更新する。なお、更新のレートは、撮像部１５が画像を出力するフレームレートと異なっていてもよい。

更新部１４５は、表示画面８に表示する画像を更新する際に、マーク４０１の表示位置を更新する。更新後の画像におけるマーク４０１の表示位置は、特定部１４４によって特定される。また、更新部１４５は、画像を更新する際に、補助情報を更新する。

特定部１４４は、指定されたポイントに写っていた対象が、更新部１４５によって更新される画像、即ち、ポイントを指定する入力を受け付けた時の画像よりも後のタイミングにおける車両１の周辺環境を示す画像、において写っている位置を特定する。そして、特定部１４４は、特定した位置を更新部１４５に通知する。

なお、指定されたポイントに写っていた対象とは、実施形態では、画像上で指定されたポイントに写っている、周辺環境の状況をいう。特定部１４４は、指定されたポイントに何が写っているかを特定しなくてもよい。例えば、指定されたポイントに水たまりが写っていたとしても、特定部１４４は、指定されたポイントに写っている対象を水たまりとして識別しなくてもよい。

以降、マーキング指示によって指定されたポイントに写っている対象を、指定された対象、と表記する。また、指定された対象が写っている、画像上の位置を、指定された対象の表示位置、と表記する。

指定された対象の表示位置の特定の手法としては、任意の手法が採用可能である。一例では、特定部１４４は、指定されたポイントの周辺の特徴量を演算し、記憶する。特定部１４４は、更新後の画像上の各箇所の特徴量を演算し、記憶している特徴量と一致または最も近い特徴量を有する位置を探索する。そして、特定部１４４は、探索によって求められた位置を、指定された対象の表示位置として特定する。

特徴量は、画像の特徴が数値化されたものである。特徴量の演算アルゴリズムは任意である。また、特徴量を取得する範囲は任意である。例えば、特定部１４４は、指定されたポイントに位置する画素を中心とする範囲であって、縦方向に３画素分、横方向に３画素分のサイズを有する矩形の範囲に含まれる、合計９個の画素のデータから、特徴量を演算する。

また、特定部１４４は、特徴量に基づく探索の速度および精度を向上するために、車両１の状態の変化量を使用してもよい。例えば、特定部１４４は、舵角センサ１９、アクセルセンサ２０、車輪速センサ２２、加速度センサ１３、および不図示のＧＰＳ、等からの検出信号に基づいて、車両１の移動量、車両１の向きの変化量、またはその両方を、車両１の状態の変化量として演算する。そして、特定部１４４は、車両１の状態の変化量から、撮像部１５の位置の変化量および撮像部１５の光軸の向きの変化量を演算する。そして、特定部１４４は、指定された対象の表示位置を、演算された撮像部１５の位置の変化量および撮像部１５の光軸の向きの変化量に基づいて推定し、推定された位置を重点的に探索する。

別の例として、特定部１４４は、車両１の状態の変化量のみに基づいて位置を特定してもよい。即ち、特定部１４４は、撮像部１５の位置の変化量および撮像部１５の光軸の向きの変化量を演算し、指定された対象の表示位置を、演算された撮像部１５の位置の変化量および撮像部１５の光軸の向きの変化量に基づいて特定する。

さらに別の例では、特定部１４４は、指定された対象の、周辺環境内における位置を取得してもよい。例えば、車両１は、レーザーレンジスキャナ、ソナー、またはステレオカメラなど、対象までの距離および対象が写っている方角が測定可能な装置を備える。撮像部１５は、ステレオカメラであってもよい。特定部１４４は、ポイントを指定する入力が操作入力部９によって受け付けられた時、指定された位置に写っている対象までの距離および対象が写っている方角を取得し、記憶する。そして、特定部１４４は、記憶している距離および方角と、車両１の状態の変化量とに基づいて、指定された位置に写っていた対象が、更新部１４５によって更新される画像において写っている位置を演算する。

このように、特定部１４４は、指定された対象の表示位置を、任意の手法で特定することができる。実施形態の説明においては、特定部１４４は、特徴量に基づいて指定された対象の表示位置を特定することとする。

なお、本実施形態では、特定部１４４は、特定された位置の特徴量を、上書き形式で記憶し、次の更新タイミングにおける探索に使用することとする。指定された対象と、車両１との位置関係は、車両１の運転によって逐次変化する。従って、指定された対象の表示位置の特徴量は、画像が撮像されたタイミングに応じて徐々に変化する場合がある。特定部１４４は、指定された対象の表示位置の特徴量に関し、最新の画像から得られる特徴量を上書き形式で記憶し、次の更新タイミングにおける探索に使用することによって、特定に成功する確率および特定の精度を向上させることができる。

なお、特定部１４４は、記憶する特徴量を必ずしも更新しなくてもよい。

補助情報演算部１４３は、画像の更新毎に補助情報を演算する。補助情報の演算の手法としては、任意の手法が採用可能である。

一例では、補助情報演算部１４３は、車両１を車体２の真上から俯瞰する仮想空間を内部に設定する。仮想空間では、車体２の平面図が設定される。補助情報演算部１４３は、図９に例示されるように、まず、仮想空間２００上で補助情報を作成する。補助情報演算部１４３は、仮想空間２００上で、端部２ｃに線分２１１を設定し、端部２ｃからの距離が所定値である２本の線分２１２を設定し、左右の端部２ｄ、２ｆの車両１の前方の延長線上に線分２１３を設定し、左右の端部２ｄ、２ｆの中心線上に線分２１４を設定する。また、補助情報演算部１４３は、現在の舵角を舵角センサ１９から取得して、取得した舵角で前進した場合に左右二つの前輪３Ｆが進行する経路を演算する。図９に点線で示される２つの円弧２１６は、左右二つの前輪３Ｆが進行する経路を示している。円弧２１６は、現在の舵角で運転を継続した場合に左右二つの前輪３Ｆが辿る円形軌跡の一部である。補助情報演算部１４３は、仮想空間２００上で、所定の短い時間後までに左右二つの前輪３Ｆが進行する経路を示す表示オブジェクト２１５を、点線で示される円弧上に設定する。補助情報演算部１４３は、仮想空間２００に設定された線分２１１〜２１４および表示オブジェクト２１５を視点変換することによって、表示画面８の画像に表示される補助情報を演算する。

受け付け部１４１、表示処理部１４２、補助情報演算部１４３、特定部１４４、および更新部１４５のうちの一部または全部は、ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたプログラムを実行することで実現される。受け付け部１４１、表示処理部１４２、補助情報演算部１４３、特定部１４４、および更新部１４５のうちの一部または全部は、表示制御部１４ｄによって実現されてもよい。受け付け部１４１、表示処理部１４２、補助情報演算部１４３、特定部１４４、および更新部１４５のうちの一部または全部は、ハードウェア回路によって実現されてもよい。特定部１４４は、例えば、ＳＳＤ１４ｅまたはＲＡＭ１４ｃに特徴量を格納する。

次に、以上のように構成された実施形態の表示制御装置の動作について説明する。図１０は、実施形態の表示制御装置の動作の一例を示すフローチャートである。ここでは一例として、表示制御装置は、図４〜６に示した表示例のように、車両１の前方向の周辺環境を写した画像を表示画面８に表示することとして説明する。即ち、図１０の処理では、表示制御装置は、撮像部１５ａから出力される画像を表示画面８に表示する。

まず、表示処理部１４２は、撮像部１５ａが出力した画像を取得する（Ｓ１）。補助情報演算部１４３は、補助情報を演算する（Ｓ２）。表示処理部１４２は、取得した画像に補助情報を重畳し（Ｓ３）、補助情報が重畳された画像を表示画面８に表示する（Ｓ４）。

続いて、表示処理部１４２は、マーキング指示が入力されたか否かを判断する（Ｓ５）。マーキング指示が入力されていないと表示処理部１４２によって判断された場合には（Ｓ５：Ｎｏ）、処理はＳ１に戻る。即ち、Ｓ１において、表示処理部１４２は、新しい画像を撮像部１５ａから取得する。

表示処理部１４２は、マーキング指示が入力されたと判断した場合（Ｓ５：Ｙｅｓ）、指定されたポイントにマーク４０１を表示する（Ｓ６）。Ｓ６の処理では、表示処理部１４２は、表示画面８に表示されている画像の上からマーク４０１を重畳する。特定部１４４は、指定された対象の表示位置の特徴量を演算し、記憶する（Ｓ７）。

続いて、表示処理部１４２は、新しい画像を取得する（Ｓ８）。Ｓ８の処理によって取得される新しい画像は、表示中の画像よりも後のタイミングの周辺環境を写した画像である。

補助情報演算部１４３は、新しい画像に重畳される補助情報を演算する（Ｓ９）。特定部１４４は、指定された対象の、新しい画像における表示位置を、記憶している特徴量に基づいて特定する（Ｓ１０）。その後、特定部１４４は、記憶している特徴量を更新する（Ｓ１１）。即ち、特定部１４４は、指定された対象の、新しい画像における表示位置の特徴量を、上書き形式で記憶する。

更新部１４５は、特定された表示位置にマーク４０１を重畳し（Ｓ１２）、新しい画像に補助情報を重畳し（Ｓ１３）、補助情報とマーク４０１とが重畳された新しい画像で表示画面８の表示内容を更新する（Ｓ１４）。即ち、更新部１４５は、新しい画像とともに、当該新しい画像上の特定された表示位置にマーク４０１を表示する。なお、更新部１４５は、表示画面８の表示内容を新しい画像で更新した後に、補助情報およびマーク４０１を重畳してもよい。

表示処理部１４２は、表示解除指示が入力されたか否かを判断する（Ｓ１５）。表示解除指示が入力されていないと表示処理部１４２によって判断された場合には（Ｓ１５：Ｎｏ）、処理はＳ８に戻る。表示解除指示が入力されたと表示処理部１４２によって判断された場合には（Ｓ１５：Ｙｅｓ）、処理はＳ１に戻る。

このように、実施形態によれば、表示処理部１４２は、あるタイミングにおける車両１の周辺環境を写した画像を取得し（Ｓ１）、マーキング指示が入力されると（Ｓ５：Ｙｅｓ）、マーキング指示によって指定されたポイントにマーク４０１を表示する（Ｓ６）。その後、表示処理部１４２は、Ｓ１の処理によって取得される画像よりも後のタイミングの周辺環境を写した画像を取得する（Ｓ８）。特定部１４４は、指定された対象の、新しい画像における表示位置を特定する（Ｓ１０）。更新部１４５は、新しい画像とともに、当該新しい画像上の特定された表示位置にマーク４０１を表示する（Ｓ１２，Ｓ１４）。これにより、マーク４０１がユーザが指定した対象が写っている位置に追従するので、表示制御装置は、ユーザが着目している対象をわかりやすく表示することができる。

なお、ここでは、１つのマーク４０１が表示される例について説明した。表示制御装置は、複数のマーク４０１を表示画面８に表示してもよい。具体的には、例えば、Ｓ６の処理によって、またはＳ１４の処理によって１つのマーク４０１を表示中に、受け付け部１４１は、新たなマーキング指示を受け付けることができる。表示処理部１４２は、新たに入力されたマーキング指示に応じてＳ６の処理を実行することによって、新たに入力されたマーキング指示によって指定された新たなポイントに、マーク４０１の表示を追加する。即ち、表示制御装置は、既存のマーク４０１と、新たなマーク４０１とを、表示画面８に表示する。その後、表示処理部１４２は、既存のマーク４０１と新たなマーク４０１とが重畳された表示中の画像よりも、さらに後のタイミングの周辺画像を写した画像を取得する。特定部１４４は、既存のマーク４０１の表示位置に写っていた対象が新たに取得された画像に写っている位置と、新たなマーク４０１の表示位置に写っていた対象が新たに取得された画像に写っている位置と、をそれぞれ特定する。そして、更新部１４５は、新たな画像を表示し、既存のマーク４０１の表示位置に写っていた対象が新たに取得された画像に写っている位置に既存のマーク４０１を表示し、新たなマーク４０１の表示位置に写っていた対象が新たに取得された画像に写っている位置に新たなマーク４０１を表示する。このように、表示制御装置は、複数のマーク４０１を表示し、複数のマーク４０１をそれぞれ対応する対象が写っている位置に追従させることができるので、ユーザによっての利便性が向上する。例えばユーザは、複数の避けるべきポイント、または通りたいルート上のポイントをマーキングすることによって、各マーク４０１を、ルートの検討の助けとすることが可能となる。

また、表示制御装置は、複数のマーク４０１を表示画面８に表示する場合、各マーク４０１の表示様態をマーク４０１毎に変更してもよい。例えば、図１１に示すように、一つのマーク４０１ａは、円形の形状を有し、他のマーク４０１ｂは、矩形の形状を有する。このように、表示制御装置は、マーク４０１毎にそれぞれ異なる表示様態の表示オブジェクトを表示し、マーク４０１ａ、４０１ｂの表示位置を、それぞれ個別に対応する対象のが写っている位置に追従させる。これにより、ユーザは、例えば、避けて通りたい対象と、通りたいルート上の対象とを、区別してマーキングするなどの運用が可能となるので、ユーザによっての利便性がさらに向上する。なお、表示処理部１４２は、複数の表示オブジェクトをユーザに提示し、マーク４０１毎に表示オブジェクトの表示様態が選択可能に構成されてもよい。

また、表示制御装置は、複数のマーク４０１を表示画面８に表示する場合、表示解除指示の入力を、マーク４０１毎に個別に受け付けるように構成され得る。例えば、受け付け部１４１は、表示中の複数のマーク４０１のうちの一をタッチする入力を受け付けた場合、その入力を、タッチされたマーク４０１の表示を解除する指示の入力として認識する。それに応じて、更新部１４５は、次にＳ７の処理が実行されるときから、タッチされたマーク４０１の重畳表示を行わない。特定部１４４は、表示解除指示によって指定された対象に関し、記憶している特徴量を削除してもよい。

また、表示制御装置は、全てのマーク４０１の表示を一括して解除する指示の入力を受け付け可能に構成され得る。例えば、表示処理部１４２は、一括消去ボタンを表示画面８に表示する。受け付け部１４１は、一括消去ボタンをタッチする入力を受け付けた場合、その入力を、全てのマーク４０１の表示を一括して解除する表示解除指示として認識する。全てのマーク４０１の表示を一括して解除する表示解除指示が受け付け部１４１によって受け付けられた場合、表示制御装置は、Ｓ１の処理を実行する。

なお、表示解除指示の入力を受け付ける操作入力部は、タッチパネルだけに限定されない。表示制御装置は、任意の操作入力部の操作によって表示解除指示の入力が可能に構成され得る。

また、マーク４０１の表示の解除の条件は、表示解除指示の入力だけに限定されない。一例では、表示制御装置は、指定された対象の表示位置が表示画面８内の所定領域から外れた場合、または、表示画面８内の所定領域に入った場合、対応するマーク４０１の表示を解除してもよい。

また、表示制御装置は、表示中の画像上で軌跡を指定する入力を受け付け、指定された軌跡に沿う線状の表示オブジェクトを表示してもよい。表示制御装置は、線状の表示オブジェクトを、表示画面８上で、周辺環境の変化に応じて追従させる。

軌跡の管理方法としては、任意の管理方法が採用可能である。一例では、表示制御装置は、軌跡を、ポイントの集合として管理する。図１２に例示されるように、ユーザが、ポイント３０２から、ポイント３０３およびポイント３０４を経由して、ポイント３０５まで、操作入力部９としてのタッチパネル上で指をスライドさせた場合、受け付け部１４１は、その入力を、ポイント３０２を起点とし、ポイント３０５を終点とし、ポイント３０３およびポイント３０４を経由する軌跡を指定する入力として認識する。すると、表示処理部１４２は、図１３に例示されるように、ポイント３０２とポイント３０３とを結ぶ線分と、ポイント３０３とポイント３０４とを結ぶ線分と、ポイント３０４とポイント３０５とを結ぶ線分とを、軌跡に沿う線状の表示オブジェクト４０２として表示する。ポイント間を結ぶ各線分は、直線であってもよいし、曲線であってもよい。曲線は、円弧であってもよいし、二次曲線であってもよい。新しい画像が取得されたとき、特定部１４４は、ポイント３０２〜３０５のそれぞれの位置に写っている対象について、新しい画像における表示位置の特定を行い、更新部１４５は、特定された表示位置間を線分で結ぶことによって、新たな画像上の軌跡に沿う線状の表示オブジェクトを生成する。

なお、軌跡を構成するポイントの集合を取得する手法としては、任意の手法が採用可能である。一例では、表示制御装置は、軌跡の始点と終点とを、軌跡を構成するためのポイントの集合として管理してもよい。別の例では、表示制御装置は、ユーザが指をスライドさせる間、ユーザの指がタッチしたポイントを一定の時間間隔で順次検出し、順次検出された複数のポイントを、軌跡を構成するポイントの集合として取得してもよい。さらに別の例では、表示制御装置は、軌跡上の複数のポイントを一定の距離毎に順次検出し、順次検出された複数のポイントを、軌跡を構成するポイントの集合として取得してもよい。取得するポイントの数は、例えば２以上である。

表示制御装置が軌跡を表示することが可能に構成されることにより、ユーザは、例えば、通りたい軌跡を表示画面８上に描画させ、描画された軌跡に沿って車両１が進行するように操舵する、といった運用が可能となるので、ユーザによっての利便性が向上する。また、補助情報が同時に重畳表示される場合には、ユーザは、例えば描画された軌跡に、前輪３Ｆの予想経路を示す表示オブジェクト２０５を沿わせるように操舵する、といった運用が可能となる。描画された軌跡の消去方法は任意に設計可能である。描画された軌跡は、車両１が通過した後に消去されてもよいし、消去されなくてもよい。また、描画された軌跡は、表示画面８上の所定範囲から外れた部分から消去されてもよい。

また、表示制御装置は、図１４に例示されるように、鳥瞰画像を表示画面８に表示してもよい。また、表示制御装置は、図５に例示される画像の表示中に、ユーザからのモード切り替えの操作入力が入力された場合、表示画面８に表示する画像を、図１４に例示される鳥瞰画像に切り替えてもよい。表示処理部１４２は、撮像部１５ａによって撮像された画像と、撮像部１５ｂによって撮像された画像と、撮像部１５ｃによって撮像された画像と、撮像部１５ｄによって撮像された画像と、を視点変換して合成することによって、鳥瞰画像を生成する。図１４の例では、参考のために、各撮像部１５からの画像の継ぎ目部分に点線を表示している。

また、表示制御装置は、画像の切り替えの前においてマーク４０１を表示していた場合で、かつ、切り替え後の画像に、指定された対象が写っている場合、指定された対象が切り替え後の画像において写っている位置にマーク４０１を表示してもよい。図１４の例では、鳥瞰画像のうちの撮像部１５ａによって撮像された部分に、マーク４０１が表示されている。

表示処理部１４２は、撮像部１５からの画像に更新部１４５によってマーク４０１が重畳された後に、視点変換と合成とによって、マーク４０１が重畳された鳥瞰画像を生成してもよい。また、表示処理部１４２は、鳥瞰画像を生成した後に、特定部１４４にマーク４０１の表示位置を特定させ、更新部１４５にマーク４０１を鳥瞰画像に重畳させてもよい。特定部１４４は、指定された対象の表示位置を鳥瞰画像上で特定してもよいし、指定された対象の表示位置を鳥瞰画像が生成される前の複数の画像上で特定してもよい。

また、図７の表示例または図１４の表示例のように、複数の撮像部１５からの画像をそのまま、または加工して表示画面８に表示する場合においては、特定部１４４は、探索の範囲を、一の撮像部１５からの画像だけでなく、他の撮像部１５からの画像に広げてもよい。例えば、一の撮像部１５からの画像を介してマーキング指示が入力され、その後のタイミングにおいて、向けられた方向が一の撮像部１５とは異なる他の撮像部１５からの画像に、指定された対象が写っている場合がある。その場合、特定部１４４は、他の撮像部１５からの画像を探索することによって、指定された対象の、他の撮像部１５からの画像上の表示位置を特定する。更新部１４５は、他の撮像部１５からの画像上において特定された表示位置に、マーク４０１を表示する。

例えば、図１４に例示される画像が表示画面８に表示された後、運転が継続されることによって、指定された対象の周辺環境内の位置が車両１の左側に移動した場合、表示制御装置は、図１５に例示されるように、鳥瞰画像のうちの撮像部１５ｂによって撮像された、車両１の左方向を写した部分に、マーク４０１を移動する。

このように、表示制御装置は、指定された対象の表示位置を、撮像した撮像部１５が異なる複数の画像から特定し、特定した位置にマーク４０１を表示する。表示制御装置は、指定された対象が一の撮像部１５の撮像範囲から外れたとしても、対象が他の撮像部１５の撮像範囲に入っていれば、対象の表示位置にマーク４０１を表示することができるので、ユーザが着目している対象をわかりやすく表示することができる。

なお、表示制御装置は、複数の撮像部１５からの画像を表示画面８に個別に表示する場合において、指定された対象が複数の画像に写っている場合、マーク４０１を指定された対象が写っている複数の画像に表示してもよい。

また、表示処理部１４２は、過去に撮像部１５から取得された画像を保存しておき、保存された過去の画像に基づいて現在の周辺環境を示す画像を生成し、表示画面８に表示してもよい。また、表示処理部１４２は、過去の画像に基づいて生成された現在の周辺環境を示す画像に、マーク４０１を表示してもよい。また、特定部１４４は、過去の画像に基づいて生成された現在の周辺環境を示す画像から、指定された対象の表示位置を特定し、更新部１４５は、特定された表示位置にマーク４０１を表示してもよい。

例えば、表示制御装置は、図１６に例示されるように、車両１の床下を示す画像を表示画面８に表示してもよい。図１６において、表示オブジェクト２２０は、車体２の輪郭を示す枠線である。表示オブジェクト２２０で囲まれた領域は、車両１の床下の路面を示している。そして、車両１の床下を示す画像に、マーク４０１が表示されている。表示処理部１４２は、過去に撮像部１５ａ〜１５ｄから取得した各画像を保存しておき、保存された各画像に基づいて、床下を示す画像を生成する。例えば車両１が直進する場合、あるタイミングに撮像部１５ａによって撮像された画像に写っている路面上を、その後のタイミングに車両１が通過する。よって、表示処理部１４２は、撮像部１５ａによって少し前のタイミングに撮像された画像を保存しておくことで、その画像を、車両１が通過中の路面の状況を示す画像として使用することができる。表示処理部１４２は、進行方向によっては、撮像部１５ａ以外の撮像部１５によって撮像された画像を使用してもよいし、複数の撮像部１５によって撮像された画像を合成し、合成された画像を使用してもよい。表示処理部１４２は、保存された画像が撮像されたタイミングから、現在のタイミングまでの車両１の状態の変化量を演算し、演算された変化量を用いることによって、現在のタイミングにおける床下を示す画像を生成してもよい。表示処理部１４２は、保存された画像に対し、切り抜きまたは視点変換、などの加工を行うことによって、車両１が通過中の路面の状況を示す画像を生成してもよい。

このように、表示処理部１４２は、現在のタイミングよりも前のタイミングに撮像部１５によって撮像された画像に基づいて、現在のタイミングにおける床下の路面の状態を示す画像を生成してもよい。そして、特定部１４４は、指定された対象が、現在のタイミングにおける床下の路面の状態を示す画像に写っている場合には、その画像における指定された対象の表示位置を特定し、更新部１４５は、その画像を表示するとともに、特定された表示位置にマーク４０１を表示してもよい。これにより、表示制御装置は、撮像部１５の撮像範囲外の周辺環境を示す画像を表示することができるとともに、その画像において指定された対象が写っている位置にマーキングすることができるので、ユーザにとっての利便性が向上する。

なお、車両１の床下を示す画像の取得方法は、上記に限定されない。車両１の床下に撮像部１５が設けられ、床下の撮像部１５によって車両１の床下を写した画像を取得してもよい。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

１…車両、２…車体、２ａ…車室、２ｂ…座席、２ｃ，２ｄ，２ｅ，２ｆ…端部、２ｇ…ドアミラー、２ｈ…ドア、３…車輪、３Ｆ…前輪、３Ｒ…後輪、４…操舵部、５…加速操作部、６…制動操作部、７…変速操作部、８…表示画面、９…操作入力部、１０…モニタ装置、１２…操舵システム、１２ａ…アクチュエータ、１２ｂ…トルクセンサ、１３…加速度センサ、１４ｄ…表示制御部、１５，１５ａ，１５ｂ，１５ｃ，１５ｄ…撮像部、１８…ブレーキシステム、１８ｂ…ブレーキセンサ、１９…舵角センサ、２０…アクセルセンサ、２１…シフトセンサ、２２…車輪速センサ、２３…車内ネットワーク、８１，８２，８３，８４…領域、１００…表示制御システム、１４１…受け付け部、１４２…表示処理部、１４３…補助情報演算部、１４４…特定部、１４５…更新部、２００…仮想空間、２０１，２０２，２０３，２０４，２１１，２１２，２１３，２１４…線分、２０５，２１５，２２０，４０２…表示オブジェクト、２１６…円弧、３０１，３０２，３０３，３０４，３０５…ポイント、４０１，４０１ａ，４０１ｂ…マーク。

Claims (6)

1. 車室内に設けられた表示画面に表示されている第１のタイミングにおける車両の周辺環境を示す第１の画像上の第１のポイントを指定する入力を受け付ける受け付け部と、
   前記第１の画像上の前記第１のポイントに第１の表示オブジェクトを表示する表示処理部と、
   前記第１のポイントに写っている第１の対象が、前記第１のタイミングの後の第２のタイミングにおける前記車両の周辺環境を示す第２の画像において写っている第２のポイントを、前記車両の移動量および前記車両の向きから演算された前記車両の状態の変化量に基づいて特定する特定部と、
   前記第２の画像とともに、前記第２の画像上の前記第２のポイントに前記第１の表示オブジェクトを表示する更新部と、
   を備えた表示制御装置。
2. 車室内に設けられた表示画面に表示されている第１のタイミングにおける車両の周辺環境を示す第１の画像上の第１のポイントを指定する入力を受け付ける受け付け部と、
   前記第１の画像上の前記第１のポイントに第１の表示オブジェクトを表示する表示処理部と、
   前記第１のポイントに写っている第１の対象が、前記第１のタイミングの後の第２のタイミングにおける前記車両の周辺環境を示す第２の画像において写っている第２のポイントを特定する特定部と、
   前記第２の画像とともに、前記第２の画像上の前記第２のポイントに前記第１の表示オブジェクトを表示する更新部と、
   を備え、
   前記第１の画像は、前記車両に設けられた撮像装置によって前記第１のタイミングに撮像された画像であり、
   前記第２の画像は、前記車両の床下を示す画像であり、
   前記表示処理部は、前記第２のタイミングよりも前の第５のタイミングに前記撮像装置によって撮像された第５の画像から前記第２の画像を生成する、
   表示制御装置。
3. 前記受け付け部は、前記表示画面に表示された第３の画像上の第３のポイントを指定する入力を受け付け、
   前記第３の画像は、前記第１の表示オブジェクトが表示され、第３のタイミングにおける前記車両の周辺環境を示す画像であり、
   前記表示処理部は、前記第３の画像上の前記第３のポイントに第２の表示オブジェクトを表示し、
   前記特定部は、前記第１の対象が、前記第３のタイミングの後の第４のタイミングにおける前記車両の周辺環境を示す第４の画像において写っている第４のポイントと、前記第３のポイントに写っている第２の対象が前記第４の画像において写っている第５のポイントと、を特定し、
   前記更新部は、前記第４の画像とともに、前記第４の画像上の前記第４のポイントに前記第１の表示オブジェクトを、前記第４の画像上の前記第５のポイントに前記第２の表示オブジェクトを、それぞれ表示する、
   請求項１または２に記載の表示制御装置。
4. 前記第１の表示オブジェクトの表示様態と前記第２の表示オブジェクトの表示様態とが異なる、請求項３に記載の表示制御装置。
5. 車室内に設けられた表示画面に表示されている第１のタイミングにおける車両の周辺環境を示す第１の画像上の第１のポイントを指定する入力を受け付ける受け付け部と、
   前記第１の画像上の前記第１のポイントに第１の表示オブジェクトを表示する表示処理部と、
   前記第１のポイントに写っている第１の対象が、前記第１のタイミングの後の第２のタイミングにおける前記車両の周辺環境を示す第２の画像において写っている第２のポイントを特定する特定部と、
   前記第２の画像とともに、前記第２の画像上の前記第２のポイントに前記第１の表示オブジェクトを表示する更新部と、
   を備え、
   前記入力は、前記第１のポイントを２つ指定する入力であり、
   前記特定部は、前記２つの第１のポイントのそれぞれに写っている第１の対象毎に、前記第２のポイントを特定し、
   前記表示処理部によって表示される前記第１の表示オブジェクトは、前記第１のポイント間を結ぶ線分であり、
   前記更新部によって表示される前記第１の表示オブジェクトは、前記第２のポイント間を結ぶ線分である、
   表示制御装置。
6. 前記第１の画像は、前記車両に設けられ、第１の方向に向けられた第１の撮像装置によって撮像された画像であり、
   前記第２の画像は、前記車両に設けられ、前記第１の方向とは異なる第２の方向に向けられた第２の撮像装置によって撮像された画像である、
   請求項１、３〜５のいずれか一項に記載の表示制御装置。

Images