[go: up one dir, main page]

JP6455193B2 - 電子ミラーシステム及び画像表示制御プログラム - Google Patents

電子ミラーシステム及び画像表示制御プログラム Download PDF

Info

Publication number
JP6455193B2
JP6455193B2 JP2015020329A JP2015020329A JP6455193B2 JP 6455193 B2 JP6455193 B2 JP 6455193B2 JP 2015020329 A JP2015020329 A JP 2015020329A JP 2015020329 A JP2015020329 A JP 2015020329A JP 6455193 B2 JP6455193 B2 JP 6455193B2
Authority
JP
Japan
Prior art keywords
speed
image
additional image
follow
movement amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015020329A
Other languages
English (en)
Other versions
JP2016143326A (ja
JP2016143326A5 (ja
Inventor
櫂 伊東
櫂 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015020329A priority Critical patent/JP6455193B2/ja
Priority to DE112016000612.8T priority patent/DE112016000612T5/de
Priority to US15/546,703 priority patent/US10076998B2/en
Priority to PCT/JP2016/000456 priority patent/WO2016125475A1/ja
Publication of JP2016143326A publication Critical patent/JP2016143326A/ja
Publication of JP2016143326A5 publication Critical patent/JP2016143326A5/ja
Application granted granted Critical
Publication of JP6455193B2 publication Critical patent/JP6455193B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、オブジェクト画像に対して付加画像を合成して表示する画像表示制御装置を備えた電子ミラーシステム及び画像表示制御プログラムに関する。
従来より、オブジェクト画像(例えばキャラクタを示すキャラクタ画像等)に対して付加画像(例えばキャラクタの発言内容を示す吹き出し画像等)を合成して表示する画像表示制御装置が供されている(例えば特許文献1から4参照)。
特開2001−351125号公報 特開2013−125328号公報 特開2011−60254号公報 特開2013−231655号公報
近年、車両に搭載可能な電子ミラーシステムが普及しつつある。オブジェクト画像に対して付加画像を合成して表示する技術を電子ミラーシステムに適用した構成では、車両後方を撮影して取得した映像内の後続車両を示す後続車両画像をオブジェクト画像とし、その後続車両画像に対して付加画像を合成して表示することが想定される。例えば後続車両の車速を特定し、その特定した後続車両の車速を示す画像を付加画像として合成して表示することで、後続車両の存在だけでなく、その後続車両の車速をもユーザに知らせることができる。
ところで、自車両と後続車両とが走行中では、自車両に搭載されている撮影手段と、その撮影手段により撮影される後続車両とが相対的に動き続ける。そのため、上記した構成では、後続車両画像の移動(表示位置の変化)に対して付加画像を適切に追従表示させることができない虞があり、その結果、ユーザの視認性の低下を招くことが懸念される。
本発明は、上記した事情に鑑みてなされたものであり、その目的は、オブジェクト画像の移動に対して付加画像を適切に追従表示させることができ、ユーザの視認性の低下を回避することができる電子ミラーシステム及び画像表示制御プログラムを提供することにある。
請求項1に記載した発明によれば、車両周囲を撮影して取得した映像を画像表示制御装置に出力する撮影手段と、画像表示制御装置から入力した映像を表示する表示手段とを備える。画像表示制御装置において、移動量算出手段は、撮影手段により取得された映像内のオブジェクトを示すオブジェクト画像が表示手段の表示領域内において所定の経過時間で移動した移動量をオブジェクト画像の移動量として算出する。追従速度決定手段は、移動量算出手段により算出されたオブジェクトの移動量に基づいてオブジェクト画像に対する付加画像の追従速度を決定する。経過時間算出手段は、経過時間を算出する。移動量決定手段は、追従速度決定手段により決定された付加画像の追従速度及び経過時間算出手段により算出された経過時間に基づいて付加画像の移動量を決定する。付加画像合成手段は、移動量決定手段により決定された付加画像の移動量に基づいてオブジェクト画像に対して付加画像を合成する。表示制御手段は、付加画像合成手段によりオブジェクト画像に対して付加画像が合成された映像を表示手段に表示させる。
表示手段の表示領域内においてオブジェクト画像が移動(表示位置が変化)すると、そのオブジェクト画像の移動量に基づいて付加画像の追従速度を決定して移動量を決定するようにした。即ち、付加画像の追従速度をオブジェクト画像の移動量に関係なく一律に決定するのではなく、付加画像の追従速度をオブジェクト画像の移動量に追従して決定するようにした。これにより、オブジェクト画像が移動する環境であっても、そのオブジェクト画像の移動に対して付加画像を適切に追従表示させることができ、ユーザの視認性の低下を回避することができる。
本発明の一実施形態を示す機能ブロック図 追従速度変換テーブルを示す図 フローチャート 追従速度を決定する態様を示す図(その1) 追従速度を決定する態様を示す図(その2) 追従速度を決定する態様を示す図(その3) 追従速度を決定する態様を示す図(その4) 追従速度を決定する態様を示す図(その5) 追従速度を決定する態様を示す図(その6)
以下、本発明を車両に搭載可能な電子ミラーシステムに適用した一実施形態について図面を参照して説明する。電子ミラーシステム1は、車両に設置されるフェンダミラーやドアミラー等のサイドミラーに代わりに車両後方及び車両側方等の運転者の死角となる領域をカメラにより撮影し、その撮影した映像を表示器に表示する。電子ミラーシステムは、サイドミラーやドアミラー等が不要となるので、走行中の空気抵抗が低減して燃費が向上すると共に、車両デザインの自由度が高まるという点で有用である。
電子ミラーシステム1は、画像表示制御装置2と、カメラ3(撮影手段に相当)と、表示器4(表示手段に相当)と、測距器5と、速度計測器6と、角速度計測器7とが通信バス8を介して相互接続されて構成されている。電子ミラーシステム1は、例えばACC(アクセサリ)信号のオフからオンへの切換えにより起動し(ウェイクアップ状態へ移行し)、ACC信号のオンからオフへの切換えにより停止する(スリープ状態へ移行する)。
カメラ3は、車両後方及び車両側方を撮影し、その撮影して取得した映像を含む撮影信号を通信バス8を介して画像表示制御装置2に出力する。表示器4は、画像表示制御装置2から通信バス8を介して映像信号を入力すると、その映像信号に含まれている映像を表示する。測距器5は、レーザー測距器、ミリ波レーダー、ステレオカメラ、複眼カメラ等であり、自車両(電子ミラーシステム1を搭載している車両)と後続車両との間の距離(車間距離)を計測し、その計測した距離を含む距離計測信号を通信バス8を介して画像表示制御装置2に出力する。速度計測器6は、車速センサ等であり、自車両の速度(車速)を計測し、その計測した速度を含む速度計測信号を通信バス8を介して画像表示制御装置2に出力する。角速度計測器7は、ハンドル舵角センサ、ジャイロセンサ等であり、自車両の角速度を計測し、その計測した角速度を含む角速度計測信号を通信バス8を介して画像表示制御装置2に出力する。
画像表示制御装置2は、制御部9(制御手段に相当)と、入出力インタフェース部10と、メモリ11と、記憶媒体12とを有する。制御部9は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)及びI/O(Input/Output)を有するマイクロコンピュータにより構成されている。制御部9は、メモリ11に記憶されているコンピュータプログラム(画像表示制御プログラムを含む)を実行し、画像表示制御装置2の動作全般を制御する。入出力インタフェース部10は、通信バス8との間で各種信号の入出力を制御する。記憶媒体12は、オブジェクト画像(後続車両を示す後続車両画像)に対して合成する付加画像を記憶していると共に、付加画像の追従速度を決定する追従速度変換テーブルを記憶している。
本実施形態では、記憶媒体12は、図2に示すように、追従速度を決定する方法毎に異なる複数の追従速度変換テーブルを記憶している。制御部9は、記憶媒体12に記憶されている追従速度変換テーブルを用いて付加画像の追従速度を決定する。以下、追従速度変換テーブルについて説明する。ここでは、オブジェクト画像の移動量をN[pic]、付加画像の全体の追従速度をS[pic/s]、付加画像の一部の追従速度をS1[pic/s]、付加画像の残りの一部の追従速度をS2[pic/s]、自車両と後続車両との間の相対速度をCs[km/h]、自車両の進行方向に作用する角速度をCr[rps]とする。尚、図2に示す数値は例示である。
追従速度変換テーブルAは、付加画像の追従速度を全体で同じ値とし、Nに基づいてSを決定するテーブルである。制御部9は、追従速度変換テーブルAを用いるときには、例えばN<50[pic](所定量未満)であればS=0[pic/s]に決定し、N≧50[pic](所定量以上)であればS=50[pic/s]に決定する。追従速度変換テーブルBは、付加画像の追従速度を全体で同じ値とし、Nに基づいてSを決定するテーブルである。制御部9は、追従速度変換テーブルBを用いるときには、例えばN<50[pic]であればS=0[pic/s]に決定し、N≧50[pic]であればNに応じてSを決定し、50≦N≦300[pic]で比例関係を維持するように50≦S≦200[pic/s]に決定する。
追従速度変換テーブルCは、付加画像の追従速度を全体で同じ値とし、N及びCsに基づいてSを決定するテーブルである。制御部9は、追従速度変換テーブルCを用いるときには、例えばN<50[pic]であればCsに関係なくS=0[pic/s]に決定し、N≧50[pic]であればCsに応じてSを決定し、10≦Cs≦100[km/h]で比例関係を維持するように50≦S≦200[pic/s]に決定する。追従速度変換テーブルDは、付加画像の追従速度を全体で同じ値とし、N及びCrに基づいてSを決定するテーブルである。制御部9は、追従速度変換テーブルDを用いるときには、N<50[pic]であればCrに関係なくS=0[pic/s]に決定し、N≧50[pic]であればCrに応じてSを決定し、0.02≦Cr≦0.08[rps]で比例関係を維持するように50≦S≦200[pic/s]に決定する。
追従速度変換テーブルEは、付加画像の追従速度を部分的に異なる値とし、Nに基づいてS1、S2を決定するテーブルである。制御部9は、追従速度変換テーブルEを用いるときには、N<50[pic]であればS1=0[pic/s]、S2=0[pic/s]に決定し、N≧50[pic]であればS1=50[pic/s]、S2=100[pic/s]に決定する。追従速度変換テーブルFは、付加画像の追従速度を部分的に異なる値とし、Nに基づいてS1、S2を決定するテーブルである。制御部9は、追従速度変換テーブルFを用いるときには、N<20[pic]であればS1=0[pic/s]、S2=0[pic/s]に決定し、20≦N<50[pic]であればS1=0[pic/s]、S2=50[pic/s]に決定し、N≧50[pic/s]であればS1=50[pic/s]、S2=100[pic/s]に決定する。
制御部9は、移動量算出部9a(移動量算出手段に相当)と、追従速度決定部9b(追従速度決定手段に相当)と、経過時間算出部9c(経過時間算出手段に相当)と、移動量決定部9d(移動量決定手段に相当)と、付加画像合成部9e(付加画像合成手段に相当)と、表示制御部9f(表示制御手段に相当)とを有する。これら移動量算出部9a、追従速度決定部9b、経過時間算出部9c、移動量決定部9d、付加画像合成部9e、表示制御部9fは、制御部9が実行する上記したコンピュータプログラムにより構成されており、ソフトウェアにより実現されている。
移動量算出部9aは、カメラ3から撮影信号を入力すると、その入力した撮影信号に含まれている映像を解析し、映像内の後続車両を示す後続車両画像が表示器4の表示領域内において所定の経過時間で移動した移動量を後続車両画像の移動量として算出する。追従速度決定部9bは、記憶媒体12に記憶されている追従速度変換テーブルを用いて付加画像の追従速度を決定する。経過時間算出部9cは、経過時間を算出する。移動量決定部9dは、追従速度決定部9により決定された付加画像の追従速度及び経過時間算出部9cにより算出された経過時間に基づいて付加画像の移動量を決定する。付加画像合成部9eは、移動量決定部9dにより決定された付加画像の移動量に基づいて後続車両画像に対して付加画像を合成する。表示制御部9fは、付加画像合成部9eにより後続車両画像に対して付加画像が合成された映像を表示器4に表示させる。
次に、上記した構成の作用について図3から図9を参照して説明する。制御部9は、電子ミラーシステム1が起動中であるときには映像更新のイベントが発生したか否かを監視している。制御部9は、車両後方や車両側方のイベントが発生したと判定すると、図3に示す映像更新処理を開始する。制御部9は、映像更新処理を開始すると、カメラ3から入力した撮影信号に含まれている映像を解析して後続車両を特定し、測距器5から入力した距離計測信号に含まれている距離により自車両と後続車両との間の距離を特定し、速度計測器6から入力した速度計測信号に含まれている速度により自車両の速度を特定し、角速度計測器7から入力した角速度計測信号に含まれている角速度により自車両の角速度を特定する(S1)。
次いで、制御部9は、その特定した後続車両の前回の(前回の映像更新のイベントが発生したことで特定した)表示位置から今回の表示位置までの移動量をオブジェクト画像の移動量として算出する(S2、第1の手順)。具体的には、制御部9は、オブジェクト画像内に基準点を予め設定しておき、その基準点の座標の移動距離を特定し、オブジェクト画像の移動量を算出する。そして、制御部9は、オブジェクト画像の移動量を算出すると、記憶媒体12に記憶されている追従速度変換テーブルを用いて付加画像の追従速度を決定する(S3、第2の手順)。即ち、制御部9は、記憶媒体12に記憶されている複数の追従速度変換テーブルのうち何れを用いるかを予め設定しており、その追従速度変換テーブルを用いて付加画像の追従速度を決定する。以下、制御部9が付加画像の追従速度を決定する態様を図4から図9を参照して説明する。尚、ここでは、表示器4の表示領域においてオブジェクト画像Xと付加画像Yとが点Pで接続(結合)されて表示されている状態からオブジェクト画像が運転者から見て左方向に移動した場合を説明する。又、付加画像Yとして後続車両の車速を含む画像を表示する場合を説明する。
制御部9は、追従速度変換テーブルAを用いるときには、図4に示すように、例えばオブジェクト画像Xの移動量が50[pic]未満であれば付加画像Yの全体の追従速度を0[pic/s]に決定する。一方、制御部9は、オブジェクト画像Xの移動量が50[pic/s]以上であれば付加画像Yの全体の追従速度を50[pic/s]に決定する。制御部9は、追従速度変換テーブルBを用いるときには、図5に示すように、例えばオブジェクト画像Xの移動量が50[pic]であれば付加画像Yの全体の追従速度を50[pic/s]に決定する。又、制御部9は、オブジェクト画像Xの移動量が300[pic]であれば付加画像Yの全体の追従速度を200[pic/s]に決定する。
制御部9は、追従速度変換テーブルCを用いるときには、図6に示すように、例えばオブジェクト画像Xの移動量が50[pic]以上であり且つ相対速度が10[km/h]であれば付加画像Yの全体の追従速度を50[pic/s]に決定する。又、制御部9は、オブジェクト画像Xの移動量が50[pic]以上であり且つ相対速度が100[km/h]であれば付加画像Yの全体の追従速度を200[pic/s]に決定する。制御部9は、追従速度変換テーブルDを用いるときには、図7に示すように、例えばオブジェクト画像Xの移動量が50[pic]以上であり且つ角速度が0.02[rps]であれば付加画像Yの全体の追従速度を50[pic/s]に決定する。又、制御部9は、オブジェクト画像Xの移動量が50[pic]以上であり且つ角速度0.08[rps]であれば付加画像Yの全体の追従速度を200[pic/s]に決定する。
制御部9は、追従速度変換テーブルEを用いるときには、図8に示すように、例えばオブジェクト画像Xの移動量が50[pic]以上であれば付加画像Yの本体部分Y1の追従速度を50[pic/s]に決定すると共に付加画像Yの引き出し部分Y2の追従速度を100[pic/s]に決定する。制御部9は、追従速度変換テーブルFを用いるときには、図9に示すように、例えばオブジェクト画像Xの移動量が20[pic/s]であれば付加画像Yの本体部分Y1の追従速度を0[pic/s]に決定すると共に付加画像Yの引き出し部分Y2の追従速度を50[pic/s]に決定する。又、制御部9は、例えばオブジェクト画像Xの移動量が50[pic/s]であれば付加画像Yの本体部分Y1の追従速度を50[pic/s]に決定すると共に付加画像Yの引き出し部分Y2の追従速度を100[pic/s]に決定する。
次いで、制御部9は、前回の映像更新のイベントが発生した時点から今回の映像更新のイベントが発生した時点までの経過時間を算出する(S4、第3の手順)。制御部9は、経過時間を算出すると、これよりも先に決定した付加画像の追従速度と算出した経過時間とを乗算し、付加画像の移動量を決定する(S5、第4の手順)。次いで、制御部9は、その決定した付加画像の移動量に基づいてオブジェクト画像に対して付加画像を合成する(S6、第5の手順)。そして、制御部9は、そのオブジェクト画像に対して付加画像を合成した映像を含む映像信号を表示器4に出力し、オブジェクト画像に対して付加画像を合成した映像を表示器4に表示させる(S7、第6の手順)。
以上に説明したように本実施形態によれば、次に示す作用効果を得ることができる。
電子ミラーシステム1の表示器4の表示領域内においてオブジェクト画像(後続車両画像)が移動すると、そのオブジェクト画像の移動量に基づいて付加画像の追従速度を決定して移動量を決定するようにした。即ち、付加画像の追従速度をオブジェクト画像の移動量に関係なく一律に決定するのではなく、付加画像の追従速度をオブジェクト画像の移動量に追従して決定するようにした。これにより、オブジェクト画像が移動する環境であっても、そのオブジェクト画像の移動に対して付加画像を適切に追従表示させることができ、ユーザの視認性の低下を回避することができる。即ち、オブジェクト画像の移動量の大小に基づいて追従表示の程度(強弱)を可変にすることで、ユーザの視認性の低下を回避することができる。
追従速度変換テーブルAを用いる場合には、オブジェクト画像の移動量が50[pic]未満であれば付加画像の全体の追従速度を0[pic/s]に決定し、オブジェクト画像の移動量が50[pic/s]以上であれば付加画像の全体の追従速度を50[pic/s]に決定するようにした。これにより、オブジェクト画像の僅かな移動に追従して付加画像の全体が移動してしまう事態(所謂ブレ)を回避することができる。
追従速度変換テーブルBを用いる場合には、オブジェクト画像の移動量が50[pic]以上から300[pic]以下の範囲で比例関係を維持するように付加画像の全体の追従速度を50[pic/s]以上から200[pic]以下の範囲に決定するようにした。これにより、オブジェクト画像の移動量の大小に応じて付加画像の全体の追従速度の大小を決定することができる。追従速度変換テーブルCを用いる場合には、自車両と後続車両との間の相対速度を用い、相対速度が10[km/h]以上から100[km/h]以下の範囲で比例関係を維持するように付加画像の全体の追従速度を50[pic/s]以上から200[pic]以下の範囲に決定するようにした。これにより、相対速度の大小に応じて付加画像の全体の追従速度の大小を決定することができる。
追従速度変換テーブルDを用いる場合には、自車両の進行方向に作用する角速度を用い、角速度が0.02[rps]以上から0.08[rps]以下の範囲で比例関係を維持するように付加画像の全体の追従速度を50[pic/s]以上から200[pic]以下の範囲に決定するようにした。これにより、角速度の大小に応じて付加画像の全体の追従速度の大小を決定することができる。追従速度変換テーブルE、Fを用いる場合には、付加画像の本体部分と引き出し部分とで追従速度を異なるように決定した。これにより、オブジェクト画像の僅かな移動に追従して少なくとも付加画像の本体部分が移動してしまう事態(所謂ブレ)を回避することができる。
本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形又は拡張することができる。
車両以外の用途に適用しても良く、電子ミラーシステム1以外に適用しても良い。即ち、オブジェクトを撮影する撮影手段と、そのオブジェクトとが相対的に動き続ける環境で用いられるシステムであれば、どのようなシステムに適用しても良い。
本実施形態では、付加画像として後続車両の車速を表示するようにしたが、後続車両の車速以外の情報を表示しても良く、例えば警告やガイドライン等の情報を表示しても良い。
幾つかの追従速度変換テーブルを組み合わせても良く、例えば自車両と後続車両との間の相対速度と自車両の進行方向に作用する角速度とを組み合わせて付加画像の追従速度を決定しても良い。
図面中、1は電子ミラーシステム、2は画像表示制御装置、3はカメラ(撮影手段)、4は表示器(表示手段)、9は制御部(制御手段)、9aは移動量算出部(移動量算出手段)、9bは追従速度決定部(追従速度決定手段)、9cは経過時間算出部(経過時間算出手段)、9dは移動量決定部(移動量決定手段)、9eは付加画像合成部(付加画像合成手段)、9fは表示制御部(表示制御手段)である。

Claims (7)

  1. 車両周囲を撮影して取得した映像を画像表示制御装置(2)に出力する撮影手段(3)と、
    前記画像表示制御装置から入力した映像を表示する表示手段(4)と、を備え、
    前記画像表示制御装置は、
    前記撮影手段により取得された映像内のオブジェクトを示すオブジェクト画像が前記表示手段の表示領域内において所定の経過時間で移動した移動量を前記オブジェクト画像の移動量として算出する移動量算出手段(9a)と、
    前記移動量算出手段により算出された前記オブジェクトの移動量に基づいて前記オブジェクト画像に対する付加画像の追従速度を決定する追従速度決定手段(9b)と、
    前記経過時間を算出する経過時間算出手段(9c)と、
    前記追従速度決定手段により決定された前記付加画像の追従速度及び前記経過時間算出手段により算出された前記経過時間に基づいて前記付加画像の移動量を決定する移動量決定手段(9d)と、
    前記移動量決定手段により決定された前記付加画像の移動量に基づいて前記オブジェクト画像に対して前記付加画像を合成する付加画像合成手段(9e)と、
    前記付加画像合成手段により前記オブジェクト画像に対して前記付加画像が合成された映像を前記表示手段に表示させる表示制御手段(9f)と、を備えたことを特徴とする電子ミラーシステム(1)
  2. 請求項1に記載した電子ミラーシステムにおいて、
    前記追従速度決定手段は、前記移動量算出手段により算出された移動量が所定量未満であるときに前記付加画像の追従速度を零に決定し、前記移動量算出手段により算出された移動量が所定量以上であるときに前記付加画像の追従速度を零以外に決定することを特徴とする電子ミラーシステム
  3. 請求項2に記載した電子ミラーシステムにおいて、
    前記追従速度決定手段は、前記移動量算出手段により算出された移動量が所定量以上であるときに当該移動量に基づいて前記付加画像の追従速度を可変に決定することを特徴とする電子ミラーシステム
  4. 請求項2に記載した電子ミラーシステムにおいて、
    前記追従速度決定手段は、前記移動量算出手段により算出された移動量が所定量以上であるときに自装置と前記オブジェクトとの間の相対速度に基づいて前記付加画像の追従速度を可変に決定することを特徴とする電子ミラーシステム
  5. 請求項2に記載した電子ミラーシステムにおいて、
    前記追従速度決定手段は、前記移動量算出手段により算出された移動量が所定量以上であるときに自装置に作用する角速度に基づいて前記付加画像の追従速度を可変に決定することを特徴とする電子ミラーシステム
  6. 請求項2に記載した電子ミラーシステムにおいて、
    前記追従速度決定手段は、前記移動量算出手段により算出された移動量が所定量以上であるときに前記付加画像の追従速度を当該付加画像において部分的に異なるように決定することを特徴とする電子ミラーシステム
  7. 両周囲を撮影して取得した映像を画像表示制御装置(2)に出力する撮影手段(3)と、前記画像表示制御装置から入力した映像を表示する表示手段(4)と、を備えた電子ミラーシステム(1)において前記画像表示制御装置の制御手段(9)に、
    前記撮影手段により取得された映像内のオブジェクトを示すオブジェクト画像が前記表示手段の表示領域内において所定の経過時間で移動した移動量を前記オブジェクト画像の移動量として算出する第1の手順と、
    前記第1の手順により算出した前記オブジェクトの移動量に基づいて前記オブジェクト画像に対する付加画像の追従速度を決定する第2の手順と、
    前記経過時間を算出する第3の手順と、
    前記第2の手順により決定した前記付加画像の追従速度及び前記第3の手順により算出した前記経過時間に基づいて前記付加画像の移動量を決定する第4の手順と、
    前記第4の手順により決定した前記付加画像の移動量に基づいて前記オブジェクト画像に対して前記付加画像を合成する第5の手順と、
    前記第5の手順により前記オブジェクト画像に対して前記付加画像を合成した映像を前記表示手段に表示させる第6の手順と、を実行させることを特徴とする画像表示制御プログラム。
JP2015020329A 2015-02-04 2015-02-04 電子ミラーシステム及び画像表示制御プログラム Expired - Fee Related JP6455193B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015020329A JP6455193B2 (ja) 2015-02-04 2015-02-04 電子ミラーシステム及び画像表示制御プログラム
DE112016000612.8T DE112016000612T5 (de) 2015-02-04 2016-01-29 Bildanzeigesteuervorrichtung, elektronisches Spiegelsystem und Bildanzeigesteuerprogramm
US15/546,703 US10076998B2 (en) 2015-02-04 2016-01-29 Image display control apparatus, electronic mirror system, and image display control program
PCT/JP2016/000456 WO2016125475A1 (ja) 2015-02-04 2016-01-29 画像表示制御装置、電子ミラーシステム及び画像表示制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015020329A JP6455193B2 (ja) 2015-02-04 2015-02-04 電子ミラーシステム及び画像表示制御プログラム

Publications (3)

Publication Number Publication Date
JP2016143326A JP2016143326A (ja) 2016-08-08
JP2016143326A5 JP2016143326A5 (ja) 2017-04-13
JP6455193B2 true JP6455193B2 (ja) 2019-01-23

Family

ID=56563829

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015020329A Expired - Fee Related JP6455193B2 (ja) 2015-02-04 2015-02-04 電子ミラーシステム及び画像表示制御プログラム

Country Status (4)

Country Link
US (1) US10076998B2 (ja)
JP (1) JP6455193B2 (ja)
DE (1) DE112016000612T5 (ja)
WO (1) WO2016125475A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6642306B2 (ja) * 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742264A (en) * 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
JP4200343B2 (ja) * 1999-02-19 2008-12-24 ソニー株式会社 モニタ装置
JP2001351125A (ja) 2000-03-30 2001-12-21 Sega Corp 画像表示方法
JP3879696B2 (ja) * 2003-04-25 2007-02-14 日産自動車株式会社 運転支援装置
JP4513318B2 (ja) * 2003-12-10 2010-07-28 日産自動車株式会社 後側方画像制御装置および方法
JP5117003B2 (ja) * 2006-07-11 2013-01-09 本田技研工業株式会社 運転支援装置
JP5070809B2 (ja) * 2006-11-10 2012-11-14 アイシン精機株式会社 運転支援装置、運転支援方法、及び、プログラム
JP2009081592A (ja) * 2007-09-26 2009-04-16 Hitachi Ltd 映像記録装置
US9129644B2 (en) * 2009-06-23 2015-09-08 Disney Enterprises, Inc. System and method for rendering in accordance with location of virtual objects in real-time
US9728006B2 (en) * 2009-07-20 2017-08-08 Real Time Companies, LLC Computer-aided system for 360° heads up display of safety/mission critical data
JP2011060254A (ja) 2009-09-11 2011-03-24 Toru Kikuchi 拡張現実システム、拡張現実装置および仮想オブジェクト表示方法
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
JP2014143453A (ja) * 2011-05-19 2014-08-07 Panasonic Corp 動画像編集再生装置
JP2013055416A (ja) * 2011-09-01 2013-03-21 Alpine Electronics Inc 車外映像提供システム
JP2013125328A (ja) 2011-12-13 2013-06-24 Stella Green Corp 拡張現実感表示方法
JP2013140223A (ja) * 2011-12-28 2013-07-18 Sharp Corp 情報表示装置、情報表示装置の制御方法、制御プログラム、制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP5921320B2 (ja) 2012-04-27 2016-05-24 富士通テン株式会社 表示システム、携帯装置、車載装置、及び、プログラム
JP2014137667A (ja) * 2013-01-16 2014-07-28 Mitsubishi Electric Corp 制御装置及び制御方法
US9361733B2 (en) * 2013-09-02 2016-06-07 Lg Electronics Inc. Portable device and method of controlling therefor
KR101478135B1 (ko) * 2013-12-02 2014-12-31 현대모비스(주) 프로젝션 유닛을 이용한 증강현실 차선변경 보조 시스템
US9625270B2 (en) * 2014-12-01 2017-04-18 Thinkware Corporation Electronic apparatus, control method thereof, computer program, and computer-readable recording medium

Also Published As

Publication number Publication date
JP2016143326A (ja) 2016-08-08
US10076998B2 (en) 2018-09-18
DE112016000612T5 (de) 2017-10-12
US20180009379A1 (en) 2018-01-11
WO2016125475A1 (ja) 2016-08-11

Similar Documents

Publication Publication Date Title
EP2487906B1 (en) Control device and vehicle surrounding monitoring device
JP7006460B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム
JP5321267B2 (ja) 車両用画像表示装置及び俯瞰画像の表示方法
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP2016091055A (ja) 車載注意喚起システム、報知制御装置
JPWO2019216087A1 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
JP6471522B2 (ja) カメラパラメータ調整装置
US10209857B2 (en) Display control apparatus and display system
JP2009065483A (ja) 駐車支援装置
US20220144169A1 (en) Rear-view camera system for a trailer hitch system
JP2010116086A (ja) 車載用表示装置、表示方法および表示プログラム
JP6890288B2 (ja) 画像処理装置、画像表示システムおよび画像処理方法
JP2019064431A (ja) 駐車支援装置
WO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
JP2010184588A (ja) 車両周辺監視装置
JP2019188855A (ja) 車両用視認装置
JP2004201223A (ja) 車両周辺監視装置および舵角検出方法
JP6455193B2 (ja) 電子ミラーシステム及び画像表示制御プログラム
KR20180094717A (ko) Avm을 이용한 운전 지원 장치 및 시스템
US20200231099A1 (en) Image processing apparatus
JP6620962B2 (ja) 駐車支援装置
JP7281728B2 (ja) 駐車支援装置
JP2018074558A (ja) 車両用撮影表示装置及び車両用撮影表示プログラム
JP7122697B2 (ja) 駐車支援装置
JP2016063352A (ja) 車載用表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170308

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181203

R151 Written notification of patent or utility model registration

Ref document number: 6455193

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees