JP6744744B2 - Display device - Google Patents
Display device Download PDFInfo
- Publication number
- JP6744744B2 JP6744744B2 JP2016071098A JP2016071098A JP6744744B2 JP 6744744 B2 JP6744744 B2 JP 6744744B2 JP 2016071098 A JP2016071098 A JP 2016071098A JP 2016071098 A JP2016071098 A JP 2016071098A JP 6744744 B2 JP6744744 B2 JP 6744744B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- virtual viewpoint
- angle
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、自動車等の車両の周囲の状況を表示する表示装置に関し、特に後方からの他車両接近状況を容易に把握可能なものに関する。 The present invention relates to a display device for displaying a situation around a vehicle such as an automobile, and more particularly to a display device capable of easily grasping a situation of approaching another vehicle from behind.
自動車等の車両において、自車両前方の状況を、各種の周辺認識手段によって認識し、車線形状や障害物等に関する情報を画像表示する表示装置が各種提案されている。
このような表示装置を用いると、乗員自らが目視により得られる以上の情報を得ることができ、乗員が運転者として運転する場合の運転支援としても、また、自動運転を行う車両において、乗員が自動運転制御の妥当性を監視するためにも有用である。
また、このような表示装置を用いて、自車両後方側から接近する他車両等を監視することが提案されている。
2. Description of the Related Art In vehicles such as automobiles, various display devices have been proposed for recognizing the situation in front of the own vehicle by various peripheral recognition means and displaying information on lane shapes, obstacles, etc. as an image.
By using such a display device, it is possible to obtain more information than the occupant can obtain visually, and as driving assistance when the occupant drives as a driver, or in a vehicle that performs automatic driving, It is also useful for monitoring the adequacy of automatic driving control.
Further, it has been proposed to monitor another vehicle or the like approaching from the rear side of the own vehicle using such a display device.
このような表示装置に関する従来技術として、例えば特許文献1には、第1の道路から第2の道路に合流する際に、第2の道路の走行車両を運転者に告知する走行支援装置において、自車両後側方を撮像した画像等に基づいて、合流箇所における道路形状の平面図、及び、他車両の分布を表示することが記載されている。
特許文献2には、車両周囲状況監視装置において、後側方から接近する車両が後続車両の死角に入る場合であっても、運転者が後方の状況を瞬時に理解可能とするために、後側方カメラにより撮像された画像にクロップ、左右反転等の所定の処理を施すことが記載されている。
As a conventional technique related to such a display device, for example, in
In Patent Document 2, in a vehicle surrounding situation monitoring device, even if a vehicle approaching from the rear side enters a blind spot of a following vehicle, the driver can instantly understand the situation behind the vehicle. It is described that an image captured by a side camera is subjected to a predetermined process such as cropping or left-right reversal.
近年、運転支援技術や自動運転技術の高度化が進み、ユーザ(手動運転時のドライバ)が運転操作や各種判断を車両に委ねて走行する機会が増加しつつある。
自動運転を行う車両においては、ユーザは、自動運転中の車両の周囲の状況を監視し、必要に応じて手動運転への切替等を行うことが要求される。
自車両周囲の環境を表示する表示装置は、こうしたユーザの監視負担を軽減するために有用であると考えられる。
しかし、こうした表示装置を用いた場合であっても、自車両前方の監視は、変化点の認識や、それに対する反応が比較的容易であるが、後方からの他車両の接近等を直感的に認識することは、自動運転等によりユーザの意識が運転から遠ざかっている場合には困難となる。
上述した問題に鑑み、本発明の課題は、後方からの他車両接近状況を容易に把握可能な表示装置を提供することである。
In recent years, the sophistication of driving assistance technology and automatic driving technology has advanced, and there are increasing opportunities for users (drivers during manual driving) to drive while entrusting driving operations and various judgments to the vehicle.
In a vehicle that performs automatic driving, the user is required to monitor the surroundings of the vehicle during automatic driving, and switch to manual driving if necessary.
A display device that displays the environment around the host vehicle is considered to be useful for reducing the monitoring burden on the user.
However, even when such a display device is used, monitoring the front of the own vehicle is relatively easy to recognize the change point and react to it, but intuitively seeing another vehicle approaching from behind. It is difficult to recognize when the user's consciousness is away from driving due to automatic driving or the like.
In view of the above-mentioned problems, an object of the present invention is to provide a display device that can easily grasp the approaching situation of another vehicle from behind.
本発明は、以下のような解決手段により、上述した課題を解決する。
請求項1に係る発明は、自車両周囲の環境を認識する環境認識手段と、前記環境認識手段の認識結果に基づいて自車両周囲の環境を表示する画像を生成する画像生成手段と、前記画像を表示する画像表示手段とを備える表示装置であって、前記画像は、自車両の上方かつ後方側に設定された仮想視点から見た状態を示す俯瞰図であって、前記画像生成手段は、前記環境認識手段が自車両後方から接近する他車両を検出した場合に、自車両と前記仮想視点とを結ぶ直線が水平面に対してなす角度である仮想視点見上げ角を増加させるとともに、前記仮想視点見上げ角を増加させる際に、自車両の前記画像内における位置を前方側へ変位させることを特徴とする表示装置である。
これによれば、画像内において自車両を俯瞰する角度を変化させることによって、ユーザに対して自車両後方に変化点が生じていることを直感的に認識させ、後方からの他車両接近状況を容易に把握させることができる。
The present invention solves the above-mentioned problems by the following solving means.
The invention according to
According to this, by changing the angle of looking down at the own vehicle in the image, the user can intuitively recognize that there is a change point behind the own vehicle, and the other vehicle approach situation from behind can be recognized. It can be easily grasped.
また、画像内において後方から接近する他車両をより早期に表示してユーザに認識させることができる。
Further, another vehicle approaching from the rear in the image can be displayed earlier so that the user can recognize it.
請求項2に係る発明は、自車両周囲の環境を認識する環境認識手段と、前記環境認識手段の認識結果に基づいて自車両周囲の環境を表示する画像を生成する画像生成手段と、前記画像を表示する画像表示手段とを備える表示装置であって、前記画像は、自車両の上方かつ後方側に設定された仮想視点から見た状態を示す俯瞰図であって、前記画像生成手段は、前記環境認識手段が自車両後方から接近する他車両を検出した場合に、自車両と前記仮想視点とを結ぶ直線が水平面に対してなす角度である仮想視点見上げ角を除変させて増加させるとともに、前記仮想視点見上げ角の単位時間あたり増加率を、前記他車両の接近速度増加に応じて大きくすることを特徴とする表示装置である。
これによれば、画像内における俯瞰の角度が徐々に変化することによって、ユーザに対して何らかの変化が生じていることを直感的に認識させることができる。
According to a second aspect of the present invention, environment recognition means for recognizing the environment around the own vehicle, image generation means for generating an image for displaying the environment around the own vehicle based on the recognition result of the environment recognition means, and the image A display device including an image display unit for displaying, wherein the image is a bird's-eye view showing a state viewed from a virtual viewpoint set on the upper side and the rear side of the host vehicle, wherein the image generation unit is When the environment recognition means detects another vehicle approaching from the rear of the own vehicle, the virtual viewpoint looking-up angle, which is an angle formed by a straight line connecting the own vehicle and the virtual viewpoint with respect to the horizontal plane, is gradually changed and increased. The display device is characterized in that the rate of increase of the virtual viewpoint looking-up angle per unit time is increased in accordance with an increase in the approach speed of the other vehicle.
According to this, the angle of the bird's-eye view in the image gradually changes, so that the user can intuitively recognize that some change has occurred.
また、他車両の接近速度が速く自車両に接近するまでの時間的余裕に乏しい場合に、俯瞰する角度の変化を早期に終了させて他車両を確実に表示することができる。
Further, when the approaching speed of the other vehicle is fast and there is not enough time to approach the own vehicle, the change of the bird's-eye view can be ended early and the other vehicle can be displayed reliably.
請求項3に係る発明は、自車両周囲の環境を認識する環境認識手段と、前記環境認識手段の認識結果に基づいて自車両周囲の環境を表示する画像を生成する画像生成手段と、前記画像を表示する画像表示手段とを備える表示装置であって、前記画像は、自車両の上方かつ後方側に設定された仮想視点から見た状態を示す俯瞰図であって、前記画像生成手段は、前記環境認識手段が自車両後方から接近する他車両を検出した場合に、自車両と前記仮想視点とを結ぶ直線が水平面に対してなす角度である仮想視点見上げ角を増加させるとともに、前記他車両が自車両の走行車線と異なる車線を走行する場合に、前記仮想視点見上げ角の増加に応じて前記他車両が走行する車線が画像の中央に近づくよう前記画像の表示位置を車線幅方向に変位させることを特徴とする表示装置である。
これによれば、他車両が自車両を追い越す際に、ユーザの注意をひきやすい画像の中央部に他車両を表示することによって、ユーザにより高レベルの注意を喚起することができる。
The invention according to claim 3 is environment recognition means for recognizing the environment around the own vehicle, image generation means for generating an image for displaying the environment around the own vehicle based on the recognition result of the environment recognition means, and the image. A display device including an image display unit for displaying, wherein the image is a bird's-eye view showing a state viewed from a virtual viewpoint set on the upper side and the rear side of the host vehicle, wherein the image generation unit is When the environment recognition unit detects another vehicle approaching from the rear of the own vehicle, the virtual viewpoint look-up angle that is an angle formed by a straight line connecting the own vehicle and the virtual viewpoint with respect to a horizontal plane is increased, and the other vehicle is When the vehicle travels in a lane different from the driving lane of the host vehicle, the display position of the image is displaced in the lane width direction so that the lane in which the other vehicle travels approaches the center of the image in accordance with the increase in the virtual viewpoint looking-up angle. a Viewing device you characterized thereby.
According to this, when the other vehicle overtakes the own vehicle, the other vehicle is displayed in the center portion of the image that easily draws the user's attention, so that the user can be alerted to a higher level.
以上説明したように、本発明によれば、後方からの他車両接近状況を容易に把握可能な表示装置を提供することができる。 As described above, according to the present invention, it is possible to provide a display device capable of easily grasping the approaching state of another vehicle from behind.
本発明は、後方からの他車両接近状況を容易に把握可能な表示装置を提供する課題を、後方からの他車両の接近に応じて俯瞰図における仮想視点の見上げ角を増加させ、自車両後方の領域が画像内に占める比率を増加させることによって解決した。 An object of the present invention is to provide a display device capable of easily grasping the approaching state of another vehicle from the rear, and to increase the look-up angle of a virtual viewpoint in a bird's-eye view in accordance with the approaching of another vehicle from the rear side, and rearward The problem was solved by increasing the ratio of the area in the image.
以下、本発明を適用した表示装置の実施例について説明する。
図1は、本発明を適用した表示装置の実施例が設けられる車両の構成を模式的に示すブロック図である。
実施例の表示装置は、例えば、自動運転機能を有する乗用車等の自動車である車両1に設けられ、ユーザ(例えば手動運転時のドライバ)等のユーザ等に対して、自車両周辺のリスクに関する情報等を画像表示するものである。
ユーザは、表示装置が提示する情報に基づいて、自車両前方の車線形状や障害物を監視するとともに、自動運転制御の実行時においては、自動運転制御の妥当性を検証することができる。
また、後述するように、表示装置は、自車両後方から他車両が接近した際に、これをユーザに認識させる機能を有する。
Examples of the display device to which the present invention is applied will be described below.
FIG. 1 is a block diagram schematically showing the configuration of a vehicle provided with an embodiment of a display device to which the present invention is applied.
The display device of the embodiment is provided, for example, in a
Based on the information presented by the display device, the user can monitor the lane shape and obstacles in front of the host vehicle and verify the validity of the automatic driving control when executing the automatic driving control.
Further, as will be described later, the display device has a function of causing a user to recognize when another vehicle approaches from behind the own vehicle.
図1に示すように、車両1は、エンジン制御ユニット10、トランスミッション制御ユニット20、挙動制御ユニット30、電動パワーステアリング(EPS)制御ユニット40、自動運転制御ユニット50、環境認識ユニット60、ステレオカメラ制御ユニット70、レーザスキャナ制御ユニット80、後側方レーダ制御ユニット90、ナビゲーション装置100、路車間通信装置110、車車間通信装置120、画像生成ユニット200、ディスプレイ210等を備えている。
上述した各ユニットは、例えば、CPU等の情報処理手段、RAMやROM等の記憶手段、入出力インターフェイス、及び、これらを接続するバス等を有するユニットとして構成される。これらの各ユニットは、例えばCAN通信システム等の車載LANシステムを介して相互に通信が可能となっている。
As shown in FIG. 1, a
Each unit described above is configured as a unit including, for example, an information processing unit such as a CPU, a storage unit such as a RAM or a ROM, an input/output interface, and a bus connecting these. Each of these units can communicate with each other via an in-vehicle LAN system such as a CAN communication system.
エンジン制御ユニット10は、車両1の走行用動力源であるエンジン及びその補機類を統括的に制御するものである。
エンジンとして、例えば、4ストロークガソリンエンジンが用いられる。
エンジン制御ユニット(ECU)10は、エンジンのスロットルバルブ開度、燃料噴射量及び噴射時期、点火時期等を制御することによって、エンジンの出力トルクを制御することが可能である。
車両1がドライバの運転操作に応じて運転される状態においては、エンジン制御ユニット10は、アクセルペダルの操作量等に基いて設定されるドライバ要求トルクに、エンジンの実際のトルクが近づくようエンジンの出力を制御する。
また、車両1が自動運転を行う場合には、エンジン制御ユニット10は、自動運転制御ユニット50からの指令に応じてエンジンの出力を制御する。
The
As the engine, for example, a 4-stroke gasoline engine is used.
The engine control unit (ECU) 10 can control the output torque of the engine by controlling the throttle valve opening of the engine, the fuel injection amount and the injection timing, the ignition timing, and the like.
In a state in which the
Further, when the
トランスミッション制御ユニット(TCU)20は、エンジンの回転出力を変速するとともに、車両の前進、後退を切り替える図示しない変速機及び補機類を統括的に制御するものである。
車両1が自動運転を行う場合には、トランスミッション制御ユニット20は、自動運転制御ユニット50からの指令に応じて、前後進等のレンジ切替や変速比の設定を行う。
変速機として、例えば、チェーン式、ベルト式、トロイダル式等のCVTや、複数のプラネタリギヤセットを有するステップAT、DCT、AMT等の各種自動変速機を用いることができる。
変速機は、バリエータ等の変速機構部のほか、例えばトルクコンバータ、乾式クラッチ、湿式クラッチ等の発進デバイスや、前進走行レンジと後退走行レンジとを切替える前後進切替機構等を有して構成されている。
The transmission control unit (TCU) 20 shifts the rotational output of the engine, and controls the transmission and auxiliary devices (not shown) that switch between forward and backward movements of the vehicle.
When the
As the transmission, for example, a chain type, a belt type, a toroidal type CVT, or various automatic transmissions such as step AT, DCT, and AMT having a plurality of planetary gear sets can be used.
In addition to a transmission mechanism such as a variator, the transmission includes a starting device such as a torque converter, a dry clutch, a wet clutch, and a forward/reverse switching mechanism that switches between a forward traveling range and a reverse traveling range. There is.
トランスミッション制御ユニット20には、前後進切替アクチュエータ21、レンジ検出センサ22等が接続されている。
前後進切替アクチュエータ21は、前後進切替機構に油圧を供給する油路を切り替える前後進切替バルブを駆動し、車両の前後進を切替えるものである。
前後進切替アクチュエータ21は、例えば、ソレノイド等の電動アクチュエータである。
レンジ検出センサ22は、変速機において現在選択されているレンジが前進用のものであるか、後退用のものであるかを判別するセンサ(スイッチ)である。
A forward/
The forward-
The forward/
The
挙動制御ユニット30は、左右前後輪にそれぞれ設けられた液圧式サービスブレーキのホイルシリンダ液圧を個別に制御することによって、アンダーステアやオーバステア等の車両挙動を抑制する挙動制御や、制動時のホイルロックを回復させるアンチロックブレーキ制御を行うものである。
挙動制御ユニット30には、ハイドロリックコントロールユニット(HCU)31、車速センサ32等が接続されている。
The
A hydraulic control unit (HCU) 31, a
HCU31は、液圧式サービスブレーキの作動流体であるブレーキフルードを加圧する電動ポンプ、及び、各車輪のホイルシリンダに供給される液圧を個別に調節するバルブ等を有する。
車両1が自動運転を行う場合には、HCU31は、自動運転制御ユニット50からの制動指令に応じて、各車輪のホイルシリンダに制動力を発生させる。
車速センサ32は、各車輪のハブ部に設けられ、車輪の回転速度に比例する周波数の車速パルス信号を発生するものである。
車速パルス信号の周波数を検出し、所定の演算処理を施すことによって、車両の走行速度(車速)を算出することが可能である。
The
When the
The
It is possible to calculate the traveling speed (vehicle speed) of the vehicle by detecting the frequency of the vehicle speed pulse signal and performing a predetermined calculation process.
電動パワーステアリング(EPS)制御ユニット40は、ドライバによる操舵操作を電動モータによってアシストする電動パワーステアリング装置、及び、その補機類を統括的に制御するものである。
EPS制御ユニット40には、モータ41、舵角センサ42等が接続されている。
The electric power steering (EPS)
A
モータ41は、車両の操舵系にアシスト力を付与してドライバによる操舵操作をアシストし、あるいは、自動運転時に舵角を変更する電動アクチュエータである。
車両1が自動運転を行う場合には、モータ41は、自動運転制御ユニット50からの操舵指令に応じて、操舵系の舵角が所定の目標舵角に近づくように操舵系にトルクを付与して転舵を行わせる。
舵角センサ42は、車両の操舵系における現在の舵角を検出するものである。
舵角センサ42は、例えば、ステアリングシャフトの角度位置を検出する位置エンコーダを備えている。
The
When the
The
The
自動運転制御ユニット50は、自動運転モードが選択されている場合に、上述したエンジン制御ユニット10、トランスミッション制御ユニット20、挙動制御ユニット30、EPS制御ユニット40等に制御指令を出力し、車両を自動的に走行させる自動運転制御を実行するものである。
When the automatic driving mode is selected, the automatic
自動運転制御ユニット50は、自動運転モードが選択された時に、環境認識ユニット60から提供される自車両周辺の状況に関する情報、及び、図示しないドライバからの指令等に応じて、自車両が進行すべき目標走行軌跡を設定し、車両の加速(発進)、減速(停止)、前後進切替、転舵などを自動的に行い、予め設定された目的地まで車両を自動的に走行させる自動運転を実行する。
また、自動運転モードは、ユーザが手動運転を希望する場合、あるいは、自動運転の続行が困難である場合等に、ユーザからの所定の解除操作に応じて中止され、ドライバによる手動運転を行う手動運転モードへの復帰が可能となっている。
When the automatic driving mode is selected, the automatic
In addition, the automatic operation mode is stopped in response to a predetermined release operation from the user when the user desires manual operation or when it is difficult to continue automatic operation, and the manual operation is performed by the driver. It is possible to return to the operation mode.
自動運転制御ユニット50には、入出力装置51が接続されている。
入出力装置51は、自動運転制御ユニット50からユーザへの警報や各種メッセージ等の情報を出力するとともに、ユーザからの各種操作の入力を受け付けるものである。
入出力装置51は、例えば、LCD等の画像表示装置、スピーカ等の音声出力装置、タッチパネル等の操作入力装置等を有して構成されている。
An input/
The input/
The input/
環境認識ユニット60は、自車両周囲の情報を認識するものである。
環境認識ユニット60は、ステレオカメラ制御ユニット70、レーザスキャナ制御ユニット80、後側方レーダ制御ユニット90、ナビゲーション装置100、路車間通信装置110、車車間通信装置120等からそれぞれ提供される情報に基づいて、自車両周辺の駐車車両、走行車両、建築物、地形、歩行者、サイクリスト等の障害物や、自車両が走行する道路の車線形状等を認識するものである。
The
The
ステレオカメラ制御ユニット70は、車両の周囲に複数組設けられるステレオカメラ71を制御するとともに、ステレオカメラ71から伝達される画像を画像処理するものである。
個々のステレオカメラ71は、例えば、レンズ等の撮像用光学系、CMOS等の固体撮像素子、駆動回路、及び、信号処理装置等からなるカメラユニットを、並列に例えば一対配列して構成されている。
ステレオカメラ制御ユニット70は、公知のステレオ画像処理技術を利用した画像処理結果に基づいて、ステレオカメラ71によって撮像された被写体の形状及び自車両に対する相対位置を認識する。
ステレオカメラ制御ユニット70は、例えば、自車両前方の車線両端部の白線を検出し、車線形状を認識することが可能である。
レーザスキャナ制御ユニット80は、レーザスキャナ81を制御するとともに、レーザスキャナ81の出力に基づいて車両周囲の車両や障害物等の各種物体を3D点群データとして認識するものである。
The stereo
Each
The stereo
The stereo
The laser
後側方レーダ制御ユニット90は、車両の左右側部にそれぞれ設けられる後側方レーダ91を制御するとともに、後側方レーダ91の出力に基づいて自車両後側方に存在する物体を検出するものである。
後側方レーダ91は、例えば、自車両の後側方から接近する他車両を検知可能となっている。
後側方レーダ91として、例えば、レーザレーダ、ミリ波レーダ等のレーダが用いられる。
The rear side
The
As the
図2は、実施例の車両において車両周囲を認識するセンサ類の配置を示す模式図である。
ステレオカメラ71は、車両1の前部、後部、左右側部にそれぞれ設けられている。
レーザスキャナ81は、車両1の周囲に実質的に死角が生じないよう分布して複数設けられている
後側方レーダ91は、例えば、車両1の車体左右側部に配置され、検知範囲を車両後方側かつ車幅方向外側に向けて配置されている。
FIG. 2 is a schematic diagram showing the arrangement of sensors for recognizing the vehicle surroundings in the vehicle of the embodiment.
The
A plurality of
ナビゲーション装置100は、例えばGPS受信機等の自車両位置測位手段、予め準備された地図データを蓄積したデータ蓄積手段、自車両の前後方向の方位を検出するジャイロセンサ等を有する。
地図データは、道路、交差点、インターチェンジ等の道路情報を車線レベルで有する。
道路情報は、3次元の車線形状データのほか、各車線(レーン)の右左折可否や、一時停止位置、制限速度等の走行上の制約となる情報も含む。
ナビゲーション装置100は、インストルメントパネルに組み込まれたディスプレイ101を有する。
ディスプレイ101は、ナビゲーション装置100がドライバに対して出力する各種情報が表示される画像表示装置である。
ディスプレイ101は、タッチパネルを有して構成され、ドライバからの各種操作入力が行われる入力部としても機能する。
The
The map data has road information such as roads, intersections, and interchanges at the lane level.
The road information includes, in addition to three-dimensional lane shape data, information such as whether or not each lane (lane) can be turned to the right or left, information on driving conditions such as a temporary stop position, a speed limit, and the like.
The
The
The
路車間通信装置110は、所定の規格に準拠する通信システムによって、図示しない地上局と通信し、渋滞情報、交通信号機点灯状態、道路工事、事故現場、車線規制、天候、路面状況などに関する情報を取得するものである。
The road-to-
車車間通信装置120は、所定の規格に準拠する通信システムによって、図示しない他車両と通信し、他車両の位置、方位角、加速度、速度等の車両状態に関する情報や、車種、車両サイズ等の車両属性に関する情報を取得するものである。
The vehicle-to-
画像生成ユニット200は、環境認識ユニット60から伝達される環境認識結果に基づいて、ディスプレイ210により表示される自車両周辺の環境に関する情報を含む画像(環境画像)を生成するものである。
The
ディスプレイ210は、車両の乗員と対向して配置された画像表示装置である。
ディスプレイ210は、例えば、インストルメントパネル等の内装部材に組み込まれたLCDを有する。
The
The
次に、実施例の表示装置における画像表示時の動作、及び、画面表示の例について説明する。
図3は、実施例の表示装置の動作を示すフローチャートである。
以下、図3のステップ毎に順を追って説明する。
Next, an operation at the time of displaying an image on the display device of the embodiment and an example of screen display will be described.
FIG. 3 is a flowchart showing the operation of the display device of the embodiment.
Hereinafter, each step of FIG. 3 will be described step by step.
<ステップS01:自車両周囲環境認識>
環境認識ユニット60は、自車両周囲の道路形状、車線形状、他車両等の障害物等に関する情報を取得する環境認識処理を行う。
他車両に関する情報は、例えば、自車両に対する相対位置、及び、相対速度に関する情報等を含む。
その後、ステップS02に進む。
<Step S01: Recognition of Surrounding Environment of Own Vehicle>
The
The information about the other vehicle includes, for example, information about the relative position and the relative speed with respect to the own vehicle.
Then, it progresses to step S02.
<ステップS02:後方車両接近判断>
環境認識ユニット60は、自車両の後方に、自車両との相対距離が所定の閾値以下であり、かつ、自車両に対して接近する相対速度を有する他車両が存在するか判別する。
このような他車両が検出された場合は、ステップS04に進み、その他の場合はステップS03に進む。
<Step S02: Judgment of approaching vehicle behind>
The
When such another vehicle is detected, the process proceeds to step S04, and otherwise, the process proceeds to step S03.
<ステップS03:仮想視点見上げ角θ=θ1>
画像生成ユニット200は、自車両1を上方側かつ後方側に設定された仮想視点Pから見たときの俯瞰図を生成する際の、自車両1から仮想視点Pを見上げた角度である仮想視点見上げ角θを、予め設定された所定値であるθ1に設定する。
図4は、実施例の表示装置における仮想視点見上げ角を示す図である。
仮想視点見上げ角θ(図4におけるθ1、θ2)は、自車両1と仮想視点Pとを結んだ直線が、水平面(平坦路走行時における路面)に対してなす角度である。
ここで、自車両1側の基準となる点は、例えば、車体のいずれかの部位に任意に設けられた基準点を用いることができる。例えば、車両1の重心点や、車体寸法上の中央部等に基準点を設定することができる。
その後、ステップS05に進む。
<Step S03: Virtual View Point Up Angle θ=θ1>
The
FIG. 4 is a diagram showing a virtual viewpoint looking-up angle in the display device of the embodiment.
The virtual viewpoint look-up angle θ (θ1, θ2 in FIG. 4) is an angle formed by a straight line connecting the
Here, as the reference point on the
Then, it progresses to step S05.
<ステップS04:仮想視点見上げ角θ=θ2>
画像生成ユニット200は、仮想視点見上げ角θを、予め設定された所定値でありかつθ1よりも大きいθ2に設定する。
その後、ステップS05に進む。
<Step S04: Virtual View Point Look-Up Angle θ=θ2>
The
Then, it progresses to step S05.
<ステップS05:俯瞰画像生成>
画像生成ユニット200は、ステップS03又はS04において設定された見上げ角を有する仮想視点Pから、自車両及び道路、他車両等を見た俯瞰図を、例えばディテールを省略して簡素化、模式化してレンダリングしたコンピュータグラフィックスにより生成する。
画像生成ユニット200は、このような処理が可能なレンダリング手段を有する。
その後、ステップS06に進む。
<Step S05: Overhead image generation>
The
The
Then, it progresses to step S06.
<ステップS06:画像表示出力>
画像生成ユニット200は、生成された画像データを出力し、ディスプレイ210によって表示画像211として表示させ、ユーザに提示させる。
その後、一連の処理を終了(リターン)させる。
<Step S06: Image display output>
The
Then, a series of processing is ended (return).
以下、実施例の表示装置における表示例について説明する。
図5は、実施例の表示装置における通常時の画面表示の一例を模式的に示す図である。
図5に示す例においては、自車両1は、右側から順に追越車線LP、第1走行車線L1、第2走行車線L2を有する片側三車線の直線道路において、中央に設けられた第1走行車線L1を走行している。(図6,7において同じ)
図5に示す通常時(後方から接近する他車両が検出されない場合)においては、仮想視点見上げ角θは比較的小さく設定され、その結果、表示画像211は、道路の比較的遠方までを見通せる構図となっているが、反面自車両1の後方の視野は限定されたものとなっている。
Hereinafter, a display example on the display device of the embodiment will be described.
FIG. 5 is a diagram schematically showing an example of a screen display in a normal state on the display device of the embodiment.
In the example shown in FIG. 5, the
In the normal state shown in FIG. 5 (when no other vehicle approaching from the rear is detected), the virtual viewpoint looking-up angle θ is set to be relatively small, and as a result, the
図6は、実施例の表示装置における他車両接近時の画面表示の一例を模式的に示す図である。
図6に示す例においては、仮想視点見上げ角θを大きくするとともに、自車両1が表示画像211内において占める位置を上方とすることによって、自車両1の後方における視野(表示領域)を拡大している。
図6に示す例においては、追越車線LPを走行する他車両V1が、自車両1を追い越す直前の状態を示している。
なお、仮想視点見上げ角θを、θ1からθ2まで増加させる際に、例えば仮想視点Pの自車両1からの距離を遠ざけたり、視野角を広角化することによって、自車両1の後方の視野を拡大させるようにしてもよい。
FIG. 6 is a diagram schematically illustrating an example of a screen display when another vehicle approaches the display device of the embodiment.
In the example shown in FIG. 6, the virtual viewpoint look-up angle θ is increased and the position occupied by the
In the example shown in FIG. 6, another vehicle V1 traveling in the overtaking lane LP immediately before passing the
When increasing the virtual viewpoint look-up angle θ from θ1 to θ2, for example, the distance from the
また、画像生成ユニット200は、仮想視点見上げ角θを、θ1からθ2へ変更する場合には、仮想視点見上げ角θを除変させるようにする。
さらに、仮想視点見上げ角θを増加させる際の単位時間あたり増加率(増加速度)は、検出された他車両の自車両に接近する相対速度の増加に応じて大きくなるように設定される。
すなわち、相対速度が大きく緊急性が高い場合には、仮想視点Pの移動が早期に完了するようになっている。
Further, the
Furthermore, the increase rate (increasing speed) per unit time when increasing the virtual viewpoint looking-up angle θ is set to increase in accordance with the increase in the detected relative speed of the other vehicle approaching the own vehicle.
That is, when the relative speed is high and the urgency is high, the movement of the virtual viewpoint P is completed early.
また、図7は、実施例の表示装置における他車両接近時の画面表示の他の例を模式的に示す図である。
図7においては、図6に対して、他車両V1が走行する追越車線LPが、表示画像211の左右方向における中央部寄りとなるように、表示内容を全体にオフセットしている。
このような表示は、他車両V1が自車両1に対して追い越しを行うことが予想される場合に、ユーザのより高いレベルの注意を喚起できるため好ましい。
FIG. 7 is a diagram schematically showing another example of the screen display when another vehicle approaches the display device of the embodiment.
In FIG. 7, as compared with FIG. 6, the display content is offset as a whole so that the overtaking lane LP on which the other vehicle V1 travels is closer to the central portion in the left-right direction of the
Such a display is preferable because it can call the user's higher level of attention when the other vehicle V1 is expected to pass the
以上説明した実施例によれば、以下の効果を得ることができる。
(1)自車両1の後方から接近する他車両V1を検出した際に、表示画像211内において自車両1を俯瞰する角度である仮想視点見上げ角θを増加させることによって、ユーザに対して自車両1の後方に変化点が生じていることを直感的に認識させ、後方からの他車両V1の接近状況を容易に把握させることができる。
(2)仮想視点見上げ角θの増加とともに、自車両1が表示画像211内で占める位置を上方側(前方側)に変化させることによって、表示画像211内において後方から接近する他車両V1をより早期に表示してユーザに認識させることができる。
(3)仮想視点見上げ角θを除変させ、表示画像211内における俯瞰の角度が徐々に変化することによって、ユーザに対して何らかの変化が生じていることを直感的に認識させることができる。
(4)仮想視点見上げ角θを除変させる際の変化速度を他車両V1の相対速度増加に応じて大きくすることによって、他車両V1の接近速度が速く自車両1に接近するまでの時間的余裕に乏しい場合に、俯瞰する角度の変化を早期に終了させて他車両V1を確実に表示することができる。
(5)他車両V1が自車両1を追い越す際に、ユーザの注意をひきやすい表示画像211の中央部に他車両V1を表示することによって、ユーザにより高レベルの注意を喚起することができる。
According to the embodiment described above, the following effects can be obtained.
(1) When the other vehicle V1 approaching from the rear of the
(2) By changing the position occupied by the
(3) By gradually changing the virtual viewpoint looking-up angle θ and gradually changing the bird's-eye view angle in the
(4) By increasing the changing speed when the virtual viewpoint looking-up angle θ is changed according to the increase in the relative speed of the other vehicle V1, the approaching speed of the other vehicle V1 is fast and the time until the vehicle approaches the
(5) When the other vehicle V1 overtakes the
(変形例)
本発明は、以上説明した実施例に限定されることなく、種々の変形や変更が可能であって、それらも本発明の技術的範囲内である。
(1)表示装置の構成や、車両の構成は、上述した実施例に限定されず適宜変更することが可能である。また、実施例において車両は乗用車であるが、本発明は貨物車等の商用車、トラック、バス、自動二輪車、その他各種特殊車両などにも適用することが可能である。
(2)実施例において、車両はエンジンを走行用動力源とするものであったが、本発明はこれに限らず、電動モータや、エンジンと電動モータとを組み合わせたハイブリッドシステムを走行用動力源として用いることも可能である。
(3)自車両周辺の環境認識を行うセンサの種類や配置は、上述した実施例には限定されず、適宜変更することが可能である。例えば、実施例におけるセンサ類と併用あるいは代用して、ミリ波レーザ、レーザレーダ、単眼カメラ、超音波ソナー等の各種センサを用いることが可能である。
また、車両自体に搭載されているセンサ類などと併用あるいは代用して、路車間通信や車車間通信によって得た情報や、GPS等の測位手段及びナビゲーション装置等が有する地図データを用いて環境認識を行ってもよい。
(Modification)
The present invention is not limited to the embodiments described above, and various modifications and changes can be made, which are also within the technical scope of the present invention.
(1) The configuration of the display device and the configuration of the vehicle are not limited to the above-described embodiments, and can be changed as appropriate. Although the vehicle is a passenger vehicle in the embodiments, the present invention can be applied to commercial vehicles such as freight vehicles, trucks, buses, motorcycles, and other various special vehicles.
(2) In the embodiment, the vehicle uses the engine as the driving power source, but the present invention is not limited to this, and an electric motor or a hybrid system combining the engine and the electric motor is used as the driving power source. It is also possible to use
(3) The type and arrangement of the sensor for recognizing the environment around the own vehicle are not limited to those in the above-described embodiments, and can be changed as appropriate. For example, various sensors such as a millimeter wave laser, a laser radar, a monocular camera, and an ultrasonic sonar can be used in combination with or instead of the sensors in the embodiments.
In addition, the environment recognition is performed by using information obtained by road-to-vehicle communication or vehicle-to-vehicle communication, or map data included in positioning means such as GPS and navigation device, in combination with or in place of sensors installed in the vehicle itself. You may go.
1 車両 10 エンジン制御ユニット
20 トランスミッション制御ユニット 21 前後進切替アクチュエータ
22 レンジ検出センサ 30 挙動制御ユニット
31 ハイドロリックコントロールユニット(HCU)
32 車速センサ
40 電動パワーステアリング(EPS)制御ユニット
41 モータ 42 舵角センサ
50 自動運転制御ユニット 51 入出力装置
60 環境認識ユニット 70 カメラ制御ユニット
71 ステレオカメラ
80 レーザスキャナ制御ユニット
81 レーザスキャナ 90 後側方レーダ制御ユニット
91 後側方レーダ 100 ナビゲーション装置
101 ディスプレイ
110 路車間通信装置 120 車車間通信装置
200 画像生成ユニット 210 ディスプレイ
211 表示画像
LP 追越車線 L1 第1走行車線
L2 第2走行車線 V1 他車両
P 仮想視点
θ1 通常時見上げ角 θ2 後続車接近時見上げ角
1
32
Claims (3)
前記環境認識手段の認識結果に基づいて自車両周囲の環境を表示する画像を生成する画像生成手段と、
前記画像を表示する画像表示手段と
を備える表示装置であって、
前記画像は、自車両の上方かつ後方側に設定された仮想視点から見た状態を示す俯瞰図であって、
前記画像生成手段は、前記環境認識手段が自車両後方から接近する他車両を検出した場合に、自車両と前記仮想視点とを結ぶ直線が水平面に対してなす角度である仮想視点見上げ角を増加させるとともに、前記仮想視点見上げ角を増加させる際に、自車両の前記画像内における位置を前方側へ変位させること
を特徴とする表示装置。 Environment recognition means for recognizing the environment around the vehicle,
Image generation means for generating an image displaying the environment around the vehicle based on the recognition result of the environment recognition means;
A display device comprising an image display means for displaying the image,
The image is a bird's-eye view showing a state viewed from a virtual viewpoint set above and behind the own vehicle,
When the environment recognition unit detects another vehicle approaching from behind the own vehicle, the image generation unit increases a virtual viewpoint look-up angle which is an angle formed by a straight line connecting the own vehicle and the virtual viewpoint with respect to a horizontal plane. It is allowed Rutotomoni, wherein in increasing the virtual viewpoint looking up angle, the display device characterized by displacing the position in the image of the vehicle to the front side.
前記環境認識手段の認識結果に基づいて自車両周囲の環境を表示する画像を生成する画像生成手段と、 Image generation means for generating an image displaying the environment around the vehicle based on the recognition result of the environment recognition means;
前記画像を表示する画像表示手段と Image display means for displaying the image;
を備える表示装置であって、 A display device comprising:
前記画像は、自車両の上方かつ後方側に設定された仮想視点から見た状態を示す俯瞰図であって、 The image is a bird's-eye view showing a state viewed from a virtual viewpoint set above and behind the own vehicle,
前記画像生成手段は、前記環境認識手段が自車両後方から接近する他車両を検出した場合に、自車両と前記仮想視点とを結ぶ直線が水平面に対してなす角度である仮想視点見上げ角を除変させて増加させるとともに、前記仮想視点見上げ角の単位時間あたり増加率を、前記他車両の接近速度増加に応じて大きくすること When the environment recognition unit detects another vehicle approaching from the rear of the own vehicle, the image generation unit excludes a virtual viewpoint looking-up angle which is an angle formed by a straight line connecting the own vehicle and the virtual viewpoint with respect to a horizontal plane. And increasing the rate of increase of the virtual viewpoint look-up angle per unit time in accordance with the approach speed of the other vehicle.
を特徴とする表示装置。 A display device characterized by.
前記環境認識手段の認識結果に基づいて自車両周囲の環境を表示する画像を生成する画像生成手段と、
前記画像を表示する画像表示手段と
を備える表示装置であって、
前記画像は、自車両の上方かつ後方側に設定された仮想視点から見た状態を示す俯瞰図であって、
前記画像生成手段は、前記環境認識手段が自車両後方から接近する他車両を検出した場合に、自車両と前記仮想視点とを結ぶ直線が水平面に対してなす角度である仮想視点見上げ角を増加させるとともに、前記他車両が自車両の走行車線と異なる車線を走行する場合に、前記仮想視点見上げ角の増加に応じて前記他車両が走行する車線が画像の中央に近づくよう前記画像の表示位置を車線幅方向に変位させること
を特徴とする表示装置。
Environment recognition means for recognizing the environment around the vehicle,
Image generation means for generating an image displaying the environment around the vehicle based on the recognition result of the environment recognition means;
Image display means for displaying the image;
A display device comprising:
The image is a bird's-eye view showing a state viewed from a virtual viewpoint set above and behind the own vehicle,
When the environment recognition unit detects another vehicle approaching from behind the own vehicle, the image generation unit increases a virtual viewpoint look-up angle which is an angle formed by a straight line connecting the own vehicle and the virtual viewpoint with respect to a horizontal plane. In addition , when the other vehicle travels in a lane different from the traveling lane of the own vehicle, the display position of the image so that the lane in which the other vehicle travels approaches the center of the image in accordance with the increase in the virtual viewpoint looking-up angle. Viewing device characterized by displacing the lane width direction.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016071098A JP6744744B2 (en) | 2016-03-31 | 2016-03-31 | Display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016071098A JP6744744B2 (en) | 2016-03-31 | 2016-03-31 | Display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017182585A JP2017182585A (en) | 2017-10-05 |
JP6744744B2 true JP6744744B2 (en) | 2020-08-19 |
Family
ID=60006204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016071098A Active JP6744744B2 (en) | 2016-03-31 | 2016-03-31 | Display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6744744B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10580299B2 (en) | 2017-10-13 | 2020-03-03 | Waymo Llc | Lane change notification |
JP7331415B2 (en) * | 2019-03-29 | 2023-08-23 | 株式会社アドヴィックス | vehicle controller |
JP7560989B2 (en) | 2020-10-13 | 2024-10-03 | 株式会社Subaru | Vehicle driving environment display device |
WO2024111324A1 (en) * | 2022-11-23 | 2024-05-30 | 株式会社デンソー | Display control device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101558586B1 (en) * | 2009-06-15 | 2015-10-07 | 현대자동차일본기술연구소 | VEHICLE VIDEO DISPLAY AND METHOD |
JP5681569B2 (en) * | 2011-05-31 | 2015-03-11 | 富士通テン株式会社 | Information processing system, server device, and in-vehicle device |
US9743002B2 (en) * | 2012-11-19 | 2017-08-22 | Magna Electronics Inc. | Vehicle vision system with enhanced display functions |
JP6236950B2 (en) * | 2013-07-22 | 2017-11-29 | 日産自動車株式会社 | Vehicle display device |
JP6586849B2 (en) * | 2015-10-01 | 2019-10-09 | 日産自動車株式会社 | Information display device and information display method |
-
2016
- 2016-03-31 JP JP2016071098A patent/JP6744744B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017182585A (en) | 2017-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6294905B2 (en) | Display device | |
JP6688655B2 (en) | Vehicle condition monitoring device | |
JP6383376B2 (en) | Peripheral risk display device | |
JP6542708B2 (en) | Display device | |
JP6773433B2 (en) | Peripheral risk display device | |
JP6313355B2 (en) | Vehicle perimeter monitoring device | |
JP6305456B2 (en) | Display device | |
JP7100421B2 (en) | Display device | |
JP6688656B2 (en) | Surrounding risk display device | |
US11180139B2 (en) | Driving support device and driving support method | |
JP6838821B2 (en) | Vehicle control device | |
JP6744744B2 (en) | Display device | |
JP6633957B2 (en) | Peripheral risk display | |
JP6757585B2 (en) | Display device | |
JP6757586B2 (en) | Abnormality notification device | |
JP6889587B2 (en) | Image display device | |
JP6667346B2 (en) | Peripheral risk display | |
JP7489415B2 (en) | Driving assistance device, driving assistance method, and program | |
JP6667347B2 (en) | Display device | |
JP2017182566A (en) | Peripheral risk display device | |
JP7505203B2 (en) | Driving Support Devices | |
JP2023164171A (en) | Drive assistance device | |
JP2018171953A (en) | Image display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6744744 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |