[go: up one dir, main page]

JP7037764B2 - 移動ルート案内装置、移動体、移動ルート案内方法及びプログラム - Google Patents

移動ルート案内装置、移動体、移動ルート案内方法及びプログラム Download PDF

Info

Publication number
JP7037764B2
JP7037764B2 JP2018064559A JP2018064559A JP7037764B2 JP 7037764 B2 JP7037764 B2 JP 7037764B2 JP 2018064559 A JP2018064559 A JP 2018064559A JP 2018064559 A JP2018064559 A JP 2018064559A JP 7037764 B2 JP7037764 B2 JP 7037764B2
Authority
JP
Japan
Prior art keywords
route
image
route guidance
driver
routes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018064559A
Other languages
English (en)
Other versions
JP2019174349A (ja
Inventor
敬太 片桐
賢一郎 齊所
真人 草▲なぎ▼
紘史 山口
友規 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2018064559A priority Critical patent/JP7037764B2/ja
Priority to PCT/JP2019/012343 priority patent/WO2019188891A1/en
Priority to EP19716592.1A priority patent/EP3775779A1/en
Priority to US16/963,114 priority patent/US11668579B2/en
Publication of JP2019174349A publication Critical patent/JP2019174349A/ja
Application granted granted Critical
Publication of JP7037764B2 publication Critical patent/JP7037764B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3658Lane guidance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Instructional Devices (AREA)

Description

本発明は、移動ルート案内装置、移動体、移動ルート案内方法及びプログラムに関するものである。
この種の移動ルート案内装置としては、移動体の運転者へ移動ルートを案内するルート案内画像を、移動体進行方向前方の所定の表示エリアに画像投写手段によって表示させるものが知られている。
例えば、特許文献1には、自動車(移動体)のフロントガラス(光透過部材)に画像光を投写し、フロントガラスを介して運転者が視認する前方風景に重ねて、運転者へルート案内画像を表示するヘッドアップディスプレイ装置(HUD装置)が開示されている。このHUD装置では、例えば自動車前方の交差点に互いに近接した2つの左折ルートが存在し、そのうちの奥側の左折ルートを案内する場合、運転者が手前の左折ルートと間違えないようにする目的で、交差点の基準位置(交差点の中心付近)と当該奥側の左折ルートの入口位置とを結ぶ連結線に沿って、矢印のようなルート案内画像を表示する。
ところが、移動体進行方向の前方風景に重なるようにルート案内画像を表示させて移動体の運転者へ移動ルートを案内する場合、互いに近接した複数の移動可能ルートが存在すると、前記特許文献1に開示のHUD装置を含む従来の装置では、そのうちのいずれの移動可能ルートが、表示されるルート案内画像の案内する移動ルートであるのかを、運転者へ的確に認識させることが困難であった。
上述した課題を解決するために、本発明は、移動体の運転者へ移動ルートを案内するルート案内画像を、移動体進行方向前方の所定の表示エリアに画像投写手段によって表示させる移動ルート案内装置であって、前記移動体の位置情報に基づいて、前記ルート案内画像の内容及び表示位置の少なくとも一方を変更する表示制御を行う表示制御手段を有し、前記ルート案内画像は、互いに近接した複数の移動可能ルートにそれぞれ対応し、かつ、該複数の移動可能ルートにおける前記運転者による視認位置関係又は予め決められた基準位置に対応させて表示される複数のルート識別画像と、前記複数の移動可能ルートのうち前記ルート案内画像が案内する移動ルートに対応したルート識別画像に関連づけて表示されるルート指示画像とを含み、前記表示制御手段は、前記ルート識別画像に対応する移動可能ルートの運転者による視認位置が前記所定の表示エリアに重ならないとき、該移動可能ルートに対する運転者の視線上に重なる該所定の表示エリア内の位置に、該ルート識別画像を表示させることを特徴とする。
本発明によれば、互いに近接した複数の移動可能ルートのいずれが、ルート案内画像の案内する移動ルートであるのかを、運転者は的確に認識することが可能となる。
実施形態において、フロントガラス越しに運転者から見る自車両の前方風景に重ねて表示エリアに表示される虚像の一例を示す説明図。 実施形態における自動車用HUD装置を搭載した自動車の構成を模式的に表した模式図。 同自動車用HUD装置の内部構成を模式的に表した模式図。 同自動車用HUD装置における制御系のハードウェアブロック図。 実施形態における移動ルート案内システムの概略構成を示すブロック図。 同移動ルート案内システムにおける物体認識装置のハードウェア構成を示す説明図。 同自動車用HUD装置における画像制御装置の主要なハードウェアを示すハードウェアブロック図。 交差点などの進路変更地点で進路変更する状況の画像例を模式的に示した説明図。 交差点などの進路変更地点で進路変更する状況の他の画像例を模式的に示した説明図。 (a)~(c)は、自車両と2つの左折可能ルートとの距離ごとの画像例を模式的に示した説明図 ルート識別画像やルート指示画像を変更する表示制御の流れをフローチャート。 交差点などの進路変更地点で進路変更する状況の更に他の画像例を模式的に示した説明図。 交差点などの進路変更地点で進路変更する状況の更に他の画像例を模式的に示した説明図。 (a)~(c)は、変形例1における自車両と2つの左折可能ルートとの距離ごとの画像例を模式的に示した説明図。 変形例2における進路変更(車線変更)を案内するルート案内画像の画像例を模式的に示した説明図。 変形例2における進路変更(車線変更)を案内するルート案内画像の他の画像例を模式的に示した説明図。
以下、本発明に係る移動ルート案内装置を備えた画像投写装置としての自動車用ヘッドアップディスプレイ(HUD)装置を含む移動ルート案内システムに適用した一実施形態について説明する。
図1は、フロントガラス302越しに運転者300から見る自車両301の前方風景に重ねて表示エリア700に表示される虚像の一例を示す説明図である。
図2は、本実施形態における自動車用HUD装置を搭載した自動車の構成を模式的に表した模式図である。
図3は、本実施形態における自動車用HUD装置の内部構成を模式的に表した模式図である。
本実施形態における自動車用HUD装置200は、例えば、移動体としての自車両301のダッシュボード内に設置される。ダッシュボード内の自動車用HUD装置200から発せられる画像光である投写光Lが光透過部材としてのフロントガラス302で反射され、運転者300に向かう。これにより、運転者300は、後述するナビゲーション画像等のHUD表示画像を虚像Gとして視認することができる。なお、フロントガラス302の内壁面に光透過部材としてのコンバイナを設置し、コンバイナによって反射する投写光Lによって運転者に虚像を視認させるように構成してもよい。
自動車用HUD装置200は、HUD本体230内に、赤色、緑色、青色のレーザー光源201R,201G,201Bと、各レーザー光源に対して設けられるコリメータレンズ202,203,204と、2つのダイクロイックミラー205,206と、光量調整部207と、光走査手段としての光走査装置208と、自由曲面ミラー209と、光発散部材としてのマイクロレンズアレイ210と、光反射部材としての投写ミラー211とから構成されている。本実施形態における光源ユニット220は、レーザー光源201R,201G,201B、コリメータレンズ202,203,204、ダイクロイックミラー205,206が、光学ハウジングによってユニット化されている。
レーザー光源201R,201G,201BとしてはLD(半導体レーザ素子)を利用することができる。赤色レーザー光源201Rから射出される光束の波長は例えば640nmであり、緑色レーザー光源201Gから射出される光束の波長は例えば530nmであり、青色レーザー光源201Bから射出される光束の波長は例えば445nmである。
本実施形態の自動車用HUD装置200は、マイクロレンズアレイ210上に結像される中間像を自車両301のフロントガラス302に投写することで、その中間像の拡大画像を運転者300に虚像Gとして視認させる。レーザー光源201R,201G,201Bから発せられる各色レーザー光は、それぞれ、コリメータレンズ202,203,204で略平行光とされ、2つのダイクロイックミラー205,206により合成される。合成されたレーザー光は、光量調整部207で光量が調整された後、光走査装置208のミラーによって二次元走査される。光走査装置208で二次元走査された走査光L’は、自由曲面ミラー209で反射されて歪みを補正された後、マイクロレンズアレイ210に集光され、中間像を描画する。
なお、本実施形態では、中間像の画素(中間像の一点)ごとの光束を個別に発散させて出射する光発散部材として、マイクロレンズアレイ210を用いているが、他の光発散部材を用いてもよい。また、中間像G’の形成方法としては、例えば液晶ディスプレイ(LCD)や蛍光表示管(VFD)を利用した他の方式でもよい。
ただし、大きな虚像Gを高い輝度で表示させるには、本実施形態のようにレーザー走査方式が好ましい。
また、液晶ディスプレイ(LCD)や蛍光表示管(VFD)などを利用した方式では、虚像Gが表示される表示領域内の非画像部分にも僅かながら光が照射され、これを完全に遮断することが難しい。そのため、当該非画像部分を通じた自車両301の前方風景の視認性が悪いというデメリットがある。これに対し、本実施形態のようにレーザー走査方式によれば、虚像Gの表示領域内の非画像部分については、レーザー光源201R,201G,201Bを消灯させることにより当該非画像部分に光が照射されるのを完全に遮断することができる。よって、当該非画像部分を通じた自車両301の前方風景の視認性が自動車用HUD装置200から照射される光によって低下する事態を回避でき、前方風景の視認性が高いというメリットがある。
更に、表示画像の輝度を段階的に高めるような表示制御を行う場合、表示エリア700内に表示されている各種表示画像のうち対象となる表示画像の輝度だけを段階的に高めるという表示制御が必要になる。このように表示エリア700内の一部の画像について部分的に輝度を高めるような表示制御を行う場合も、レーザー走査方式が好適である。液晶ディスプレイ(LCD)や蛍光表示管(VFD)などを利用した方式では、表示エリア700内に表示されている画像以外の画像についても輝度が高まってしまい、表示画像間の輝度差を広げることができず、画像の輝度を段階的に高める効果が十分に得られないからである。
光走査装置208は、MEMS(Micro Electro Mechanical Systems)等の公知のアクチュエータ駆動システムでミラーを主走査方向及び副走査方向に傾斜動作させ、ミラーに入射するレーザー光を二次元走査(ラスタスキャン)する。ミラーの駆動制御は、レーザー光源201R,201G,201Bの発光タイミングに同期して行われる。光走査装置208は、本実施形態の構成に限らず、例えば、互いに直交する2つの軸回りをそれぞれ揺動あるいは回動する2つのミラーからなるミラー系で構成してもよい。
図4は、本実施形態の自動車用HUD装置200における制御系のハードウェアブロック図である。
自動車用HUD装置200の制御系は、主に、FPGA251、CPU252、ROM253、RAM254、I/F255、バスライン256、LDドライバ257、MEMSコントローラー258を備えている。FPGA251は、LDドライバ257により、光源ユニット220のレーザー光源201R,201G,201Bを動作制御し、MEMSコントローラー258により、光走査装置208のMEMS208aを動作制御する。CPU252は、自動車用HUD装置200の各機能を制御する。ROM253は、CPU252が自動車用HUD装置200の各機能を制御するために実行する画像処理用プログラム等の各種プログラムを記憶している。RAM254はCPU252のワークエリアとして使用される。I/F255は、外部コントローラー等と通信するためのインターフェイスであり、例えば、自車両301のCAN(Controller Area Network)を介して、後述の物体認識装置100、車両ナビゲーション装置400、各種センサ装置500等に接続される。
図5は、本実施形態における移動ルート案内システムの概略構成を示すブロック図である。
本実施形態の移動ルート案内システムは、物体認識装置100、車両ナビゲーション装置400、センサ装置500などが含まれている。本実施形態における自動車用HUD装置200は、主に、画像投写手段としてのHUD本体230と、表示制御手段としての画像制御装置250とから構成される。
本実施形態の移動ルート案内装置としては、画像制御装置250と車両ナビゲーション装置400とから構成されてもよいし、更にHUD本体230を含む構成であってもよい。また、本実施形態における移動ルート案内システムでは、その構成装置がすべて自車両301に搭載されているが、一部の構成装置が自車両301の外部に設置されていてもよい。
図6は、本実施形態における物体認識装置100のハードウェア構成を示す説明図である。
本実施形態の物体認識装置100は、自車両301の前方領域を撮像領域として撮像する撮像手段としてのステレオカメラ部110と、ステレオカメラ部110によって撮像した撮像画像データに基づいて撮像領域内に存在する所定の認識対象物を認識する画像処理を実行する画像処理手段としての情報処理部120とから構成されている。なお、ステレオカメラ部110に代えて、撮像手段としての単眼カメラと測距手段としてのレーザレーダ(ミリ波レーダ)とを組み合わせた構成を採用してもよい。
ステレオカメラ部110は、左目用となる第1のカメラ部110Aと、右目用となる第2のカメラ部110Bとの、2台のカメラ部が平行に組みつけられて構成されている。各カメラ部110A,110Bは、それぞれレンズ115、画像センサ116、センサコントローラ117を備えている。画像センサ116は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)で構成されるイメージセンサを用いることができる。センサコントローラ117は、画像センサ116の露光制御、画像読み出し制御、外部回路との通信および画像データの送信制御等を行う。ステレオカメラ部110は、自車両301のフロントガラス302のルームミラー付近に設置される。
情報処理部120は、データバスライン121、シリアルバスライン122、CPU(Central Processing Unit)123、FPGA(Field-Programmable Gate Array)124、ROM(Read Only Memory)125、RAM(Random Access Memory)126、シリアルIF(Interface)127、およびデータIF128を有している。
ステレオカメラ部110は、データバスライン121およびシリアルバスライン122を介して情報処理部120と接続されている。CPU123は、ステレオカメラ部110の各センサコントローラ117の制御、情報処理部120全体の動作、画像処理等を実行制御する。各カメラ部110A,110Bの画像センサ116で撮像された撮像画像の輝度画像データは、データバスライン121を介して情報処理部120のRAM126に書き込まれる。CPU123またはFPGA124からのセンサ露光値の変更制御データ、画像読み出しパラメータの変更制御データ、および各種設定データ等は、シリアルバスライン122を介して送受信される。
FPGA124は、RAM126に保存された画像データに対してリアルタイム性が要求される処理、例えばガンマ補正、ゆがみ補正(左右画像の平行化)、ブロックマッチングによる視差演算を行って、視差画像を生成し、RAM126に再度書き込む。ROM125には、車両や歩行者等の立体物、あるいは、路面上の白線等の車線境界線や路面側部に存在する縁石や中央分離帯などの所定の認識対象物を認識するための認識プログラムが記憶されている。認識プログラムは、画像処理プログラムの一例である。
CPU123は、データIF128を介して、例えば自車両301のCANを介して、車速、加速度、舵角、ヨーレート等のCAN情報を、センサ装置500から取得する。そして、CPU123は、ROM125に記憶されている認識プログラムに従って、RAM126に記憶されている輝度画像および視差画像を用いて画像処理を実行し、例えば先行車両350や車線境界線等の認識対象物の認識を行う。
認識対象物の認識結果データは、シリアルIF127を介して、例えば、画像制御装置250、車両走行制御ユニット等の外部機器へ供給される。車両走行制御ユニットは、認識対象物の認識結果データを用いて、自車両301のブレーキ制御、速度制御、ステアリング制御などを行い、例えば、予め設定された車間距離を維持するように自車両301を先行車両に自動追尾させるクルーズコントロールや、前方の障害物との衝突を回避、軽減するための自動ブレーキ制御などを実現する。
本実施形態における車両ナビゲーション装置400は、HUD本体230を用いて、自車両301の運転者300へ移動ルート(走行ルート)を案内するルート案内画像を表示させて、目的地に設定された地点までの移動ルートを運転者に案内する。車両ナビゲーション装置400からは、虚像Gに表示させるルートナビゲーション画像を生成するために必要な情報が出力され、この情報は画像制御装置250に入力される。例えば、図1に示すように、自車両301が走行している道路の車線(走行レーン)の数、次に進路変更(右折、左折、分岐等)すべき地点までの距離、次に進路変更する方向などの情報を示す画像が含まれている。これらの情報が車両ナビゲーション装置400から画像制御装置250に入力されることで、画像制御装置250の制御の下、自動車用HUD装置200によって、走行レーン指示画像711、進路指定画像721、残り距離画像722、交差点等名称画像723などのナビゲーション画像が、表示エリア700の上段表示領域Aに表示される。
また、図1に示した画像例では、表示エリア700の下段表示領域Bに、道路の固有情報(道路名、制限速度等)を示す画像が表示される。この道路の固有情報も、車両ナビゲーション装置400から画像制御装置250に入力される。画像制御装置250は、当該道路固有情報に対応する道路名表示画像701、制限速度表示画像702、追い越し禁止表示画像703等を、自動車用HUD装置200によって表示エリア700の下段表示領域Bに表示させる。
本実施形態におけるセンサ装置500は、自車両301の挙動、自車両301の状態、自車両301の周囲の状況などを示す各種情報を検出するための1又は2以上のセンサで構成されている。センサ装置500からは、虚像Gとして表示させる画像を生成するために必要なセンシング情報が出力され、このセンシング情報は画像制御装置250に入力される。例えば、図1に示した画像例には、自車両301の車速を示す車速表示画像704(図1では「83km/h」という文字画像)を、表示エリア700の下段表示領域Bに表示させる。そのため、自車両301のCAN情報に含まれる車速情報がセンサ装置500から画像制御装置250に入力され、画像制御装置250の制御の下、自動車用HUD装置200によって当該車速を示す文字画像が表示エリア700の下段表示領域Bに表示される。
センサ装置500は、自車両301の車速を検出するセンサ以外にも、例えば、自車両301の周囲(前方、側方、後方)に存在する他車両、歩行者、建造物(ガードレールや電柱等)との距離を検出するレーザーレーダー装置や撮像装置、自車両の外部環境情報(外気温、明るさ、天候等)を検出するためのセンサ、運転者300の運転動作(ブレーキ操作、アクセル開閉度等)を検出するためのセンサ、自車両301の燃料タンク内の燃料残量を検出するためのセンサ、エンジンやバッテリー等の各種車載機器の状態を検出するセンサなどが挙げられる。このような情報をセンサ装置500で検出して画像制御装置250へ送ることで、それらの情報を虚像Gとして自動車用HUD装置200により表示して運転者300へ提供することができる。
図7は、画像制御装置250の主要なハードウェアを示すハードウェアブロック図である。
画像制御装置250は、CPU252、RAM254、ROM253、IF255が、データバスラインによって互いに接続されている。IF255には、物体認識装置100から出力される各種認識結果データ、センサ装置500から出力されるセンシング情報、車両ナビゲーション装置400から出力される各種情報などが入力される。また、IF255からは、自動車用HUD装置200の制御信号等が出力される。CPU252は、ROM253等に記憶されている情報提供用制御プログラムなどの各種コンピュータプログラムを実行して、画像制御装置250に後述する各種制御や各種処理を行わせる。
次に、自動車用HUD装置200によって表示される虚像Gについて説明する。
図8は、交差点などの進路変更地点で進路変更する状況の画像例を模式的に示した説明図である。
本実施形態において、進路変更地点で進路変更する状況になったら、図1に示す画像例から、図8に示すような画像例に切り替わる。図8に示す画像例において、当該進路変更地点で案内される移動ルートは、左折させるルートであるが、この進路変更地点には、図8に示すように、互いに近接する2つの左折可能ルート(移動可能ルート)L1,L2が存在している。ここでは、2つの左折可能ルートL1,L2のうち、奥側に位置する第一左折可能ルートL1へ案内する例について説明する。
運転者300は、このように近接した2つの左折可能ルートL1,L2の実際の地点(自車両301が走行中の道路に面している各左折可能ルートの入口)間における位置の違いを、各左折可能ルートL1,L2の視認位置(各左折可能ルートL1,L2の入口の視認位置)の違いによって認識する。ここで、互いに近接した2つの左折可能ルートL1,L2の実際の地点は、自車両進行方向(運転者が視認する奥行き方向)に異なっているため、横方向や縦方向に異なっている場合とは違って、その視認位置(上下方向の位置)の違いが小さい。そのため、運転者300は、2つの左折可能ルートL1,L2の実際の地点間における位置の違いを認識しにくい。
従来の装置は、ルート案内画像(進路方向を指し示す矢印画像など)を移動ルートの実際の地点に対応するように表示させることで、自車両301を進行させるべき進路(案内すべき移動ルート)を運転者に直感的に認識させようとしている。しかしながら、従来の装置では、本例のように互いに近接する2つの左折可能ルートL1,L2のうちのいずれか(第一左折可能ルートL1)に案内させる場合、2つの左折可能ルートL1,L2の視認位置が近すぎて、ルート案内画像の表示位置がどちらの左折可能ルートL1,L2に対応して表示されているのかを運転者300が的確に認識することが難しい。
そこで、本実施形態では、図8に示すように、互いに近接した2つの左折可能ルートL1,L2のいずれか(第一左折可能ルートL1)を案内する場合、2つの左折可能ルートL1,L2にそれぞれ対応した2つのルート識別画像724-1,724-2を、2つの左折可能ルートL1,L2の運転者300による視認位置関係に対応するように、表示エリア700の上段表示領域A内に表示させる。
ここでいう視認位置関係とは、運転者300が実際に視認する2つの左折可能ルートL1,L2の視認位置の相対位置関係を意味する。図8の例では、第一左折可能ルートL1の視認位置が第二左折可能ルートL2の視認位置よりも上側に位置するという視認位置関係であるため、第一左折可能ルートL1に対応する第一ルート識別画像724-1が第二左折可能ルートL2に対応する第二ルート識別画像724-2よりも上側に表示されている。また、図8の例では、第一左折可能ルートL1の視認位置(第一左折可能ルートL1の入口の視認位置)が第二左折可能ルートL2の視認位置(第二左折可能ルートL2の入口の視認位置)よりも右側に位置するという視認位置関係であるため、第一左折可能ルートL1に対応する第一ルート識別画像724-1が第二左折可能ルートL2に対応する第二ルート識別画像724-2よりも右側に表示されている。
なお、2つのルート識別画像724-1,724-2の表示位置は、2つの左折可能ルートL1,L2の運転者300による視認位置関係に厳格に対応している必要はなく、各ルート識別画像724-1,724-2と各左折可能ルートL1,L2との対応関係を直感的に把握できる程度に対応していればよい。
本実施形態においては、このように表示される2つのルート識別画像724-1,724-2のうち、案内すべきルートに対応したルート識別画像に関連づけて、ルート指示画像725が表示される。図8の画像例では、2つの左折可能ルートL1,L2のうち案内すべきルートは第一左折可能ルートL1であるため、第一左折可能ルートL1に対応する第一ルート識別画像724-1に関連づけて、ルート指示画像725が表示されている。
案内すべきルートに対応したルート識別画像とルート指示画像との関連づけは、ルート指示画像725が2つのルート識別画像724-1,724-2のうちのどちらを選択しているかを運転者が直感的に把握できる程度の関連性を有していればよい。図8の画像例では、ルート指示画像725が矢印画像であるため、その矢印画像の矢印方向の先に第一ルート識別画像724-1が位置するように、ルート指示画像725が表示されている。
このように、本実施形態は、互いに近接する2つの左折可能ルートL1,L2の実際の位置ではなく、これらの左折可能ルートL1,L2に対応するルート識別画像724-1,724-2を別途表示させ、案内すべきルートに対応するルート識別画像724-1をルート指示画像725によって指示することで、いずれの左折可能ルートL1,L2が、案内されている目的の左折ルートなのかを運転者へ案内する。これによれば、互いに近接した2つの左折可能ルートL1,L2の実際の地点間における位置の違いが認識しにくい状況であっても、2つの左折可能ルートL1,L2のうちのいずれが、案内すべき左折ルートであるのかを、運転者は的確に認識することが可能となる。
なお、本実施形態におけるルート識別画像724-1,724-2は、円形画像であるが、その画像の形状、大きさ、色などの画像の内容に特に制限はない。ただし、案内すべきルート(第一左折可能ルートL1)に対応した第一ルート識別画像726-1の方が第二ルート識別画像726-2よりも強調されるように、第一ルート識別画像726-1の形状、大きさ、色などの内容を決めるのが好ましい。
図9は、交差点などの進路変更地点で進路変更する状況の他の画像例を模式的に示した説明図である。
図8に示した画像例は、ルート識別画像724-1,724-2及びルート指示画像725からなるルート案内画像を表示可能な表示エリアである上段表示領域Aが、互いに近接する2つの左折可能ルートL1,L2の視認位置と重なっている例であった。そのため、図8に示した画像例においては、各ルート識別画像724-1,724-2を、それぞれ対応する左折可能ルートL1,L2の実際の位置(各左折可能ルートL1,L2の入口位置)に重なるように表示させることで、各ルート識別画像724-1,724-2と各左折可能ルートL1,L2との対応関係をより明確なものとしている。
これに対し、図9に示す画像例は、2つの左折可能ルートL1,L2のうちの第一左折可能ルートL1の視認位置が上段表示領域Aに重ならない例である。この例では、第一ルート識別画像724-1については、対応する第一左折可能ルートL1の実際の位置(第一左折可能ルートL1の入口位置)に重なるように表示させることができない。
しかしながら、このような場合であっても、本実施形態では、2つの左折可能ルートL1,L2にそれぞれ対応した2つのルート識別画像724-1,724-2を、2つの左折可能ルートL1,L2の運転者300による視認位置関係に対応するように、表示エリア700の上段表示領域A内に表示させている。これにより、第一ルート識別画像724-1が、対応する第一左折可能ルートL1の実際の位置(第一左折可能ルートL1の入口位置)に重なって表示されていなくても、実際に視認している2つの左折可能ルートL1,L2が、それぞれ、2つのルート識別画像724-1,724-2のどちらに対応しているのかを、運転者300は直感的に把握することができる。
しかも、図9の画像例においては、上段表示領域Aに重ならない第一左折可能ルートL1に対応する第一ルート識別画像724-1を、当該第一左折可能ルートL1に対する運転者300の視線S1上に重なる上段表示領域A内の位置に表示させている。これにより、第一ルート識別画像724-1が視線の先にある実際の第一左折可能ルートL1に対応していることを、運転者300に、より直感的に把握させやすい。
なお、運転者300の視線S1を決めるためには、運転者300の視点300aを特定する必要がある。運転者300の視点300aは、予め規定されている自動車の運転者アイレンジ内の特定地点を定めても良いし、運転者の頭部位置や目の位置を検出するためのカメラやセンサなどを設け、その検出結果に基づいて運転者300の視点300aを特定するようにしてもよい。
また、自車両301が進行するにつれて、自車両前方に存在する2つの左折可能ルートL1,L2と自車両301との距離が短くなっていく。そのため、運転者300が視認する実際の2つの左折可能ルートL1,L2の視認位置(左折可能ルートL1,L2の入口位置)や視認の大きさが、自車両301の進行に伴って変化する。本実施形態では、車両ナビゲーション装置400において、2つの左折可能ルートL1,L2の位置情報を含む地図情報と、GPS(グローバル・ポジショニング・システム)位置情報などの自車両301の位置情報とを把握している。本実施形態における画像制御装置250は、これらの地図情報及び位置情報に基づき、ルート識別画像724-1,724-2やルート指示画像725の内容及び表示位置の少なくとも一方を変更する。
図10(a)~(c)は、自車両301と2つの左折可能ルートL1,L2との距離ごとの画像例を模式的に示した説明図である。
図11は、ルート識別画像やルート指示画像を変更する表示制御の流れをフローチャートである。
2つの左折可能ルートL1,L2までの距離がまだ長い状況では、例えば、図10(a)に示すように、手前側の第二左折可能ルートL2の視認位置(第二左折可能ルートL2の入口位置)は上段表示領域Aに重なるものの、奥側の第一左折可能ルートL1の視認位置(第一左折可能ルートL1の入口位置)は上段表示領域Aに重ならない。このような場合、画像制御装置250は、第二ルート識別画像724-2については、対応する第二左折可能ルートL2の視認位置に重なるように表示させる一方、第一ルート識別画像724-1については、対応する第一左折可能ルートL1の視認位置には重ねずに、第一左折可能ルートL1に対する運転者300の視線S1上に重なる上段表示領域A内の位置に表示させる。
具体的には、画像制御装置250は、地図情報から得られる2つの左折可能ルートL1,L2の位置情報(入口位置の情報)と、自車両301の位置情報と、運転者300の視点300aの位置情報とを取得する(S1)。そして、これらの情報から、運転者の視点300aと各左折可能ルートL1,L2の位置(入口位置)とを結ぶ運転者300の視線S1,S2とを算出する(S2)。
次に、算出した視線S1,S2から、2つの左折可能ルートL1,L2の入口位置(視認位置)が上段表示領域Aに重なっているか否かを判断する(S3)。この判断において、入口位置が上段表示領域Aに重なっていると判断される第二左折可能ルートL2については、図10(a)に示すように、上段表示領域A上における第二左折可能ルートL2の視認位置に、第二ルート識別画像724-2を表示させる(S4)。一方、入口位置が上段表示領域Aに重なっていないと判断される第一左折可能ルートL1については、図10(a)に示すように、第一左折可能ルートL1に対する運転者300の視線S1が通る上段表示領域A上の端部位置に、第一ルート識別画像724-1を表示させる(S5)。
以上の表示制御は、自車両301が左折可能ルートL1,L2を通過するなどの表示終了条件が満たされるまで繰り返し行われる(S6)。したがって、例えば、自車両301が進行して、第一左折可能ルートL1についても、その入口位置が上段表示領域A内に重なるようになれば(S3のYes)、図10(b)に示すように、上段表示領域A上における第一左折可能ルートL1の視認位置に、第一ルート識別画像724-1が表示されるようになる(S4)。
自車両301が進行するにつれて、第一左折可能ルートL1に対する視線S1と、第二左折可能ルートL2に対する視線S2とのなす角(視線角度)θは、図10(a)~(c)に示すように、刻々に変化していく。また、自車両301が進行するにつれて、上段表示領域A上における左折可能ルートL1,L2の入口位置も、刻々に変化していく。そして、本実施形態では、このように刻々と変化する中でも、上段表示領域A内のルート識別画像724-1,724-2の表示位置や第一ルート識別画像724-1に関連づけられたルート指示画像725の位置や向き(矢印の向き)などが刻々と変化する。これにより、移動中の自車両301の運転者300は、視認する実際の2つの左折可能ルートL1,L2の視認位置や視認の大きさなどが刻々と変化する中でも、表示されるルート識別画像724-1,724-2やルート指示画像725と実際の左折可能ルートL1,L2との関係性を認識し続けることができる。
ルート識別画像724-1,724-2の変化は、表示位置に限らず、例えば、大きさ、色彩、形状などの画像内容を変化させるようにしてもよい。例えば、左折可能ルートL1,L2の入口位置までの距離が短くなるにつれて、ルート識別画像724-1,724-2が大きくなるように変化させたり、ルート識別画像724-1,724-2の輝度が低下するように変化させたりしてもよい。
特に、運転者300の視点300aから各左折可能ルートL1,L2の入口位置までの視線S1,S2のなす角θは、自車両301が各左折可能ルートL1,L2の入口位置に近づくにつれて、図10(a)~(c)に示すように刻々に広がっていき、各左折可能ルートL1,L2間の空間的な位置の違いを運転者300が認識しやすくなっていく。そのため、自車両301が各左折可能ルートL1,L2の入口位置に近づくにつれて、ルート識別画像724-1,724-2の必要性も低くなっていく。よって、ルート識別画像724-1,724-2の内容を変化させる場合、自車両301が各左折可能ルートL1,L2の入口位置に近づくにつれて、ルート識別画像724-1,724-2の視認性が低くなるように変化させるのが好ましい。
ルート識別画像724-1,724-2の変更方法としては、視線角度θが一段又は二段以上の各閾値を超えるたびにルート識別画像724-1,724-2が段階的に変化するようにしてもよいし、閾値を用いずに視線角度θに基づく演算結果に応じてルート識別画像724-1,724-2が連続的に変化するようにしてもよい。例えば、ルート識別画像724-1,724-2の変更対象となるパラメータ(輝度、大きさ等)に対する重みを「W」(0≦W≦1)としたとき、下記の式(1)より視線角度θから求める重みWを用いてルート識別画像724-1,724-2のパラメータを変更して、ルート識別画像724-1,724-2を変化させてもよい。
W = (2π-θ)/2π ・・・(1)
なお、ルート指示画像725の変化についても、同様に、表示位置に限らず、例えば、大きさ、色彩、形状などの画像内容を変化させるようにしてもよい。
また、各左折可能ルートL1,L2に対する運転者の視線S1,S2の算出精度を高めるために、物体認識装置100による各左折可能ルートL1,L2の入口の認識結果を利用してもよい。具体的には、例えば、物体認識装置100によって、自車両前方の路端又は路側帯を認識し、その認識結果から路端又は路側帯の切れ目を各左折可能ルートL1,L2の入口として検出する。この検出結果から特定される各左折可能ルートL1,L2の入口位置の情報によって運転者の視線S1,S2の算出結果を補正する。
また、本実施形態において、左折可能ルートL1,L2の入口位置(視認位置)が上段表示領域Aに重ならない状況における表示方法は、左折可能ルートL1,L2に対する運転者300の視線S1が通る上段表示領域A上の端部位置にルート識別画像724-1,724-2を表示させるという方法であるが、これに限られない。
例えば、ルート識別画像724-1,724-2及びルート指示画像725からなるルート案内画像を表示可能な表示エリアである上段表示領域Aが狭い場合、2つの左折可能ルートL1,L2の入口位置のいずれもが上段表示領域Aに重ならない場合がある。このような場合、各左折可能ルートL1,L2に対する運転者300の視線S1,S2が通る上段表示領域A上の端部位置に各ルート識別画像724-1,724-2を表示させる方法だと、図12に示すような画像例となるおそれがある。この画像例では、第一ルート識別画像724-1を指し示しているルート指示画像725が、第二左折可能ルートL2の入口位置を指し示しているように誤認されるおそれがある。
一方、例えば、図13に示すように、2つの左折可能ルートL1,L2の運転者300による視認位置関係に対応しつつ、自車両301が走行している道路の路端又は路側帯に沿って、ルート識別画像724-1,724-2を上段表示領域A内に表示させる方法を採用してもよい。すなわち、自車両301が走行している道路の路端又は路側帯に沿って、奥側の第一左折可能ルートL1に対応する第一ルート識別画像724-1を上側(実空間上の奥側)に、手前側の第二左折可能ルートL2に対応する第二ルート識別画像724-2を下側(実空間上の手前側)に、表示させるようにしてもよい。
〔変形例1〕
次に、上述した実施形態におけるルート案内画像の一変形例(以下、本変形例を「変形例1」という。)について説明する。
図14(a)~(c)は、本変形例1における自車両301と2つの左折可能ルートL1,L2との距離ごとの画像例を模式的に示した説明図である。
図14(a)~(c)に示す画像例は、ルート案内画像を構成するルート識別画像及びルート指示画像の他の例を示すものである。この例において、互いに近接する2つの左折可能ルートL1,L2にそれぞれ対応する2つのルート識別画像726-1,726-2が、2つの左折可能ルートL1,L2ごとに分岐した分岐画像によって構成されている。そして、案内すべきルート(第一左折可能ルートL1)に対応したルート識別画像726-1に関連づけて表示されるルート指示画像727は、当該ルート識別画像726-1に連続する矢印画像で構成されている。
案内すべきルート(第一左折可能ルートL1)に対応した第一ルート識別画像726-1及びルート指示画像727からなる矢印は、当該第一左折可能ルートL1に対する運転者300の視線S1に平行な向きであって、その視線S1に重なるように表示される。一方、第二ルート識別画像726-2は、第一ルート識別画像726-1及びルート指示画像727からなる矢印の基点と、第二左折可能ルートL2の入口位置(視認位置)とを結ぶ線分に沿って表示される長尺な図形であり、その先端は矢印になっていない。しかも、第二ルート識別画像726-2よりも第一ルート識別画像726-1の方が強調されるように、第二ルート識別画像726-2は、第一ルート識別画像726-1よりも、太さが細く、短いものとなっている。
〔変形例2〕
次に、上述した実施形態におけるルート案内画像の他の変形例(以下、本変形例を「変形例2」という。)について説明する。
上述した実施形態や変形例1は、自車両301を左折させて進路変更する場合の例であったが、本変形例2は、片側3車線の道路を走行している自車両301の車線を変更する進路変更の場合の例である。
図15は、本変形例2における進路変更(車線変更)を案内するルート案内画像の画像例を模式的に示した説明図である。
図15に示す画像例において、自車両301は、片側3車線の右側車線ルートL3を走行しているときに、片側3車線における互いに近接する残り2つの車線ルート(中央車線ルートL4を走行するルートと左側車線ルートL5を走行するルート)のうちの中央車線ルートL4へ車線変更するように、ルート案内画像によって案内(奨励)するものである。
本変形例2においては、図15に示すように、3つの車線ルートL3,L4,L5にそれぞれ対応した3つのルート識別画像728-1,728-2,728-3を、3つの車線ルートL3,L4,L5の運転者300による視認位置関係に対応するように、表示エリア700の上段表示領域A内に表示させる。図15の例では、右側車線ルートL3の視認位置が中央車線ルートL4の視認位置よりも右側に位置し、中央車線ルートL4の視認位置が左側車線ルートL5の視認位置よりも右側に位置するという視認位置関係である。そのため、右側車線ルートL3に対応する第一ルート識別画像728-1が中央車線ルートL4に対応する第二ルート識別画像728-2よりも右側に表示され、中央車線ルートL4に対応する第二ルート識別画像728-2が左側車線ルートL5に対応する第三ルート識別画像728-3よりも右側に表示されている。
本変形例2においても、このように表示される3つのルート識別画像728-1,728-2,728-3のうち、案内すべきルートに対応したルート識別画像に関連づけて、ルート指示画像729が表示される。図15の画像例では、3つの車線ルートL3,L4,L5のうち案内すべきルートは中央車線ルートL4であるため、中央車線ルートL4に対応する第二ルート識別画像728-2に関連づけて、ルート指示画像729が表示されている。
具体的には、互いに近接する3つの車線ルートL3,L4,L5にそれぞれ対応する3つのルート識別画像728-1,728-2,728-3が、3つの車線ルートL3,L4,L5ごとに分岐した分岐画像によって構成されている。そして、案内すべきルート(中央車線ルートL4)に対応した第二ルート識別画像728-2に関連づけて表示されるルート指示画像729は、当該ルート識別画像728-2と連結された矢印画像で構成されている。また、案内すべきルート(中央車線ルートL4)に対応した第二ルート識別画像728-2の方が残り2つのルート識別画像728-1,728-3よりも強調されるように、当該2つのルート識別画像728-1,728-3を破線で構成し、第二ルート識別画像726-2を実線で構成している。
3つのルート識別画像728-1,728-2,728-3は、図15に示すように、それぞれの車線ルートL3,L4,L5の中心線に沿って運転者に視認されるように、それぞれの車線ルートL3,L4,L5の中心線に重ねて表示される。
このように、本変形例2においては、互いに近接する3つの車線ルートL3,L4,L5の実際の位置ではなく、これらの車線ルートL3,L4,L5に対応するルート識別画像728-1,728-2,728-3を別途表示させ、案内すべきルートに対応するルート識別画像728-2をルート指示画像729によって指示することで、いずれの車線ルートL3,L4,L5が、案内されている目的の車線ルートなのかを運転者へ案内する。これによれば、互いに近接した3つの車線ルートL3,L4,L5の実際の地点間における位置の違いが認識しにくい状況であっても、3つの車線ルートL3,L4,L5のうちのいずれが、案内すべき車線ルートであるのかを、運転者は的確に認識することが可能となる。
また、図16に示すように、ルート識別画像728-1,728-2,728-3及びルート指示画像729からなるルート案内画像を表示可能な表示エリアである上段表示領域Aが狭い場合、車線ルートL4,L5が上段表示領域Aに重ならない場合がある。このような場合、ルート識別画像728-2,728-3は、対応する車線ルートL4,L5の中心線に重ねて表示させることができない。この場合であっても、図16に示すように、これらのルート識別画像728-2,728-3を、対応する車線ルートL4,L5の運転者300による視認位置関係に対応するように、表示エリア700の上段表示領域A内に表示させることで、各ルート識別画像728-2,728-3がそれぞれどの車線ルートL4,L5に対応しているのかを、運転者300は直感的に把握することができる。
なお、本実施形態(変形例を含む。)については、移動体の位置情報として、位置情報取得手段(例えば車両ナビゲーション装置400)で取得されるGPS位置情報などの位置情報を用いているが、これに限られない。すなわち、移動体の位置情報は、移動可能ルートの位置に対する移動体の相対的な位置を特定できるものであればよく、例えば、移動体の進行方向前方を撮像する撮像手段(例えばステレオカメラ部110)による撮像画像を用いてもよい。この場合、撮像画像を解析して、その撮像画像に映し出されている移動可能ルートの位置に対する移動体の相対的な位置を特定する。
以上に説明したものは一例であり、次の態様毎に特有の効果を奏する。
[第1態様]
第1態様は、移動体(例えば自車両301)の運転者300へ移動ルート(例えば第一左折可能ルートL1、中央車線ルートL4)を案内するルート案内画像を、移動体進行方向前方の所定の表示エリアに画像投写手段によって表示させる移動ルート案内装置であって、前記移動体の位置情報に基づいて、前記ルート案内画像の内容及び表示位置の少なくとも一方を変更する表示制御を行う表示制御手段(例えば画像制御装置250)を有し、前記ルート案内画像は、互いに近接した複数の移動可能ルート(左折可能ルートL1,L2、車線ルートL3,L4,L5)にそれぞれ対応し、かつ、該複数の移動可能ルートにおける前記運転者による視認位置関係又は予め決められた基準位置に対応させて表示される複数のルート識別画像724-1,724-2,726-1,726-2,728-1,728-2,728-3と、前記複数の移動可能ルートのうち前記ルート案内画像が案内する移動ルートに対応したルート識別画像724-1,726-1,728-2に関連づけて表示されるルート指示画像725,727,729とを含むことを特徴とする。
本態様によれば、移動体の位置情報に基づいてルート案内画像の内容及び表示位置の少なくとも一方が変更されるので、運転者が視認する実際の移動可能ルートの視認位置や視認の大きさが移動体の移動に伴って変化しても、その変化に応じてルート案内画像の内容や表示位置が変更される。よって、移動中の移動体の運転者は、視認する実際の移動ルートの視認位置や視認の大きさなどが刻々と変化する中でも、表示されるルート案内画像と当該ルート案内画像の案内する実際の移動ルートとの関係性を認識し続けることができる。
ここで、運転者は、複数の移動可能ルートの実際の地点間における位置の違いを、各移動可能ルートの視認位置の違いによって認識する。このとき、特に、互いに近接した複数の移動可能ルートの実際の地点が移動体進行方向(運転者が視認する奥行き方向)に異なっていると、横方向や縦方向とは違って、その視認位置の違いが小さいため、運転者は、当該複数の移動可能ルートの実際の地点間における位置の違いを認識しにくい。このため、移動ルートのルート案内画像をその移動ルートの実際の地点に対応するように表示させる従来の装置においては、互いに近接する複数の移動可能ルートのうちのいずれが、ルート案内画像の案内する移動ルートであるのかを、運転者が認識しにくい。
本態様では、互いに近接した複数の移動可能ルートにそれぞれ対応した複数のルート識別画像が、当該複数の移動可能ルートの運転者による視認位置関係又は予め決められた基準位置(移動可能ルートの実際の地点には対応しない位置)に対応するように表示される。そして、これらのルート識別画像のうち、ルート案内画像が案内する移動ルートに対応したルート識別画像に関連づけて、ルート指示画像が表示される。これにより、互いに近接した複数の移動可能ルートの実際の地点間における位置の違いが認識しにくい状況であっても、当該複数の移動可能ルートのうちのいずれが、ルート案内画像の案内する移動ルートであるのかを、運転者は的確に認識することが可能となる。
[第2態様]
第2態様は、第1態様において、前記移動体の進行方向前方を撮像する撮像手段(例えばステレオカメラ部110)を有し、前記表示制御手段は、前記位置情報と前記撮像手段による撮像画像とに基づいて、前記表示制御を行うことを特徴とする。
これによれば、複数の移動可能ルートに対する運転者の視認位置をより正確に把握することが可能となり、対応する複数のルート識別画像をより適切に表示することができる。
[第3態様]
第3態様は、第1又は第2態様において、前記表示制御手段は、前記ルート識別画像のうち、前記ルート案内画像が案内する移動ルートに対応したルート識別画像を他のルート識別画像よりも強調表示させることを特徴とする。
これによれば、案内されるべき移動ルートに対応するルート識別画像がいずれであるかを運転者がより把握しやすくなる。
[第4態様]
第4態様は、第1乃至第3態様のいずれかにおいて、前記表示制御手段は、前記ルート識別画像に対応する移動可能ルートの運転者による視認位置が前記所定の表示エリアに重ならないとき、該移動可能ルートに対する運転者の視線S1,S2上に重なる該所定の表示エリア内の位置に、該ルート識別画像を表示させることを特徴とする。
これによれば、ルート識別画像に対応する移動可能ルートの運転者による視認位置が所定の表示エリアに重ならない状況であっても、当該ルート識別画像と、対応する移動可能ルートとの対応関係を運転者が把握しやすい。
[第5態様]
第5態様は、第1乃至第4態様のいずれかにおいて、前記表示制御手段は、前記複数の移動可能ルートと前記移動体との距離が短いほど、前記ルート識別画像の視認性が低下するように、該ルート識別画像を表示させることを特徴とする。
複数の移動可能ルートと移動体との距離が短くなるほど、複数の移動可能ルート間における視認位置の違いが明確になってくるので、ルート識別画像の必要性が低くなってくる。このように必要性が低くなった状況のルート識別画像を視認性を低下させることで、移動体進行方向前方の視認性を高めることができる。
[第6態様]
第6態様は、第1乃至第5態様のいずれかにおいて、前記ルート指示画像は、前記複数のルート識別画像とは離間した別画像(例えばルート指示画像725)であることを特徴とする。
これによれば、複数のルート識別画像とルート指示画像とを、それぞれ独立して、表示位置や画像内容を変更しやすく、変更の自由度を高めることができる。
[第7態様]
第7態様は、第1乃至第5態様のいずれかにおいて、前記複数のルート識別画像は、前記複数の移動可能ルートごとに分岐した分岐画像によって構成され、前記ルート指示画像は、前記ルート案内画像が案内する移動ルートに対応したルート識別画像に連続する矢印画像であることを特徴とする。
これによれば、ルート指示画像と、対応するルート識別画像と関連づけが明確で、ルート指示画像に関連づけられているルート識別画像を運転者がより的確に把握することができる。
[第8態様]
第8態様は、第1乃至第7態様のいずれかにおいて、前記画像投写手段(例えばHUD本体230)を備えていることを特徴とする。
これによれば、画像投写手段を備えた移動ルート案内装置において、互いに近接した複数の移動可能ルートのいずれがルート案内画像の案内する移動ルートであるのかを、運転者は的確に認識することが可能となる。
[第9態様]
第9態様は、移動体(例えば自車両301)であって、第8態様に係る移動ルート案内装置を備えることを特徴とする。
これによれば、互いに近接した複数の移動可能ルートのいずれがルート案内画像の案内する移動ルートであるのかを、運転者は的確に認識することが可能な移動体を提供することができる。
[第10態様]
第10態様は、移動体の運転者へ移動ルートを案内するルート案内画像を、移動体進行方向前方の所定の表示エリアに画像投写手段によって表示させる移動ルート案内方法であって、前記移動体の位置情報を取得する位置情報取得工程と、前記位置情報取得工程で取得する位置情報に基づいて、前記ルート案内画像の内容及び表示位置の少なくとも一方を変更する表示制御を行う表示制御工程とを有し、前記ルート案内画像は、互いに近接した複数の移動可能ルートにそれぞれ対応し、かつ、該複数の移動可能ルートにおける前記運転者による視認位置関係又は予め決められた基準位置に対応させて表示される複数のルート識別画像と、前記複数の移動可能ルートのうち前記ルート案内画像が案内する移動ルートに対応したルート識別画像に関連づけて表示されるルート指示画像とを含むことを特徴とする。
本態様によれば、移動体の位置情報に基づいてルート案内画像の内容及び表示位置の少なくとも一方が変更されるので、運転者が視認する実際の移動可能ルートの視認位置や視認の大きさが移動体の移動に伴って変化しても、その変化に応じてルート案内画像の内容や表示位置が変更される。よって、移動中の移動体の運転者は、視認する実際の移動ルートの視認位置や視認の大きさなどが刻々と変化する中でも、表示されるルート案内画像と当該ルート案内画像の案内する実際の移動ルートとの関係性を認識し続けることができる。
ここで、運転者は、複数の移動可能ルートの実際の地点間における位置の違いを、各移動可能ルートの視認位置の違いによって認識する。このとき、特に、互いに近接した複数の移動可能ルートの実際の地点が移動体進行方向(運転者が視認する奥行き方向)に異なっていると、横方向や縦方向とは違って、その視認位置の違いが小さいため、運転者は、当該複数の移動可能ルートの実際の地点間における位置の違いを認識しにくい。このため、移動ルートのルート案内画像をその移動ルートの実際の地点に対応するように表示させる従来の装置においては、互いに近接する複数の移動可能ルートのうちのいずれが、ルート案内画像の案内する移動ルートであるのかを、運転者が認識しにくい。
本態様では、互いに近接した複数の移動可能ルートにそれぞれ対応した複数のルート識別画像が、当該複数の移動可能ルートの運転者による視認位置関係又は予め決められた基準位置(移動可能ルートの実際の地点には対応しない位置)に対応するように表示される。そして、これらのルート識別画像のうち、ルート案内画像が案内する移動ルートに対応したルート識別画像に関連づけて、ルート指示画像が表示される。これにより、互いに近接した複数の移動可能ルートの実際の地点間における位置の違いが認識しにくい状況であっても、当該複数の移動可能ルートのうちのいずれが、ルート案内画像の案内する移動ルートであるのかを、運転者は的確に認識することが可能となる。
100 :物体認識装置
110 :ステレオカメラ部
120 :情報処理部
200 :自動車用HUD装置
220 :光源ユニット
230 :HUD本体
250 :画像制御装置
300 :運転者
300a :視点
301 :自車両
302 :フロントガラス
400 :車両ナビゲーション装置
500 :センサ装置
700 :表示エリア
724-1,724-2,726-1,726-2,728-1,728-2,728-3:ルート識別画像
725,727,729:ルート指示画像
A :上段表示領域
B :下段表示領域
G :虚像
L1,L2 :左折可能ルート
L3,L4,L5:車線ルート
S1,S2 :視線
特開2016-24004号公報

Claims (11)

  1. 移動体の運転者へ移動ルートを案内するルート案内画像を、移動体進行方向前方の所定の表示エリアに画像投写手段によって表示させる移動ルート案内装置であって、
    前記移動体の位置情報に基づいて、前記ルート案内画像の内容及び表示位置の少なくとも一方を変更する表示制御を行う表示制御手段を有し、
    前記ルート案内画像は、互いに近接した複数の移動可能ルートにそれぞれ対応し、かつ、該複数の移動可能ルートにおける前記運転者による視認位置関係又は予め決められた基準位置に対応させて表示される複数のルート識別画像と、前記複数の移動可能ルートのうち前記ルート案内画像が案内する移動ルートに対応したルート識別画像に関連づけて表示されるルート指示画像とを含み、
    前記表示制御手段は、前記ルート識別画像に対応する移動可能ルートの運転者による視認位置が前記所定の表示エリアに重ならないとき、該移動可能ルートに対する運転者の視線上に重なる該所定の表示エリア内の位置に、該ルート識別画像を表示させることを特徴とする移動ルート案内装置。
  2. 請求項1に記載の移動ルート案内装置において、
    前記表示制御手段は、前記複数の移動可能ルートと前記移動体との距離が短いほど、前記ルート識別画像の視認性が低下するように、該ルート識別画像を表示させることを特徴とする移動ルート案内装置。
  3. 移動体の運転者へ移動ルートを案内するルート案内画像を、移動体進行方向前方の所定の表示エリアに画像投写手段によって表示させる移動ルート案内装置であって、
    前記移動体の位置情報に基づいて、前記ルート案内画像の内容及び表示位置の少なくとも一方を変更する表示制御を行う表示制御手段を有し、
    前記ルート案内画像は、互いに近接した複数の移動可能ルートにそれぞれ対応し、かつ、該複数の移動可能ルートにおける前記運転者による視認位置関係又は予め決められた基準位置に対応させて表示される複数のルート識別画像と、前記複数の移動可能ルートのうち前記ルート案内画像が案内する移動ルートに対応したルート識別画像に関連づけて表示されるルート指示画像とを含み、
    前記表示制御手段は、前記複数の移動可能ルートと前記移動体との距離が短いほど、前記ルート識別画像の視認性が低下するように、該ルート識別画像を表示させることを特徴とする移動ルート案内装置。
  4. 請求項1乃至3のいずれか1項に記載の移動ルート案内装置において、
    前記移動体の進行方向前方を撮像する撮像手段を有し、
    前記表示制御手段は、前記位置情報と前記撮像手段による撮像画像とに基づいて、前記表示制御を行うことを特徴とする移動ルート案内装置。
  5. 請求項1乃至4のいずれか1項に記載の移動ルート案内装置において、
    前記表示制御手段は、前記ルート識別画像のうち、前記ルート案内画像が案内する移動ルートに対応したルート識別画像を他のルート識別画像よりも強調表示させることを特徴とする移動ルート案内装置
  6. 求項1乃至5のいずれか1項に記載の移動ルート案内装置において、
    前記ルート指示画像は、前記複数のルート識別画像とは離間した別画像であることを特徴とする移動ルート案内装置。
  7. 請求項1乃至5のいずれか1項に記載の移動ルート案内装置において、
    前記複数のルート識別画像は、前記複数の移動可能ルートごとに分岐した分岐画像によって構成され、
    前記ルート指示画像は、前記ルート案内画像が案内する移動ルートに対応したルート識別画像に連続する矢印画像であることを特徴とする移動ルート案内装置。
  8. 請求項1乃至7のいずれか1項に記載の移動ルート案内装置において、
    前記画像投写手段を備えていることを特徴とする移動ルート案内装置。
  9. 請求項8に記載の移動ルート案内装置を備えることを特徴とする移動体。
  10. 移動体の運転者へ移動ルートを案内するルート案内画像を、移動体進行方向前方の所定の表示エリアに移動ルート案内装置の画像投写手段によって表示させる移動ルート案内方法であって、
    前記移動ルート案内装置が、前記移動体の位置情報を取得する位置情報取得工程と、
    前記移動ルート案内装置が、前記位置情報取得工程で取得する位置情報に基づいて、前記ルート案内画像の内容及び表示位置の少なくとも一方を変更する表示制御を行う表示制御工程とを有し、
    前記ルート案内画像は、互いに近接した複数の移動可能ルートにそれぞれ対応し、かつ、該複数の移動可能ルートにおける前記運転者による視認位置関係又は予め決められた基準位置に対応させて表示される複数のルート識別画像と、前記複数の移動可能ルートのうち前記ルート案内画像が案内する移動ルートに対応したルート識別画像に関連づけて表示されるルート指示画像とを含み、
    前記表示制御工程では、前記ルート識別画像に対応する移動可能ルートの運転者による視認位置が前記所定の表示エリアに重ならないとき、該移動可能ルートに対する運転者の視線上に重なる該所定の表示エリア内の位置に、該ルート識別画像を表示させることを特徴とする移動ルート案内方法。
  11. 移動体の運転者へ移動ルートを案内するルート案内画像を、移動体進行方向前方の所定の表示エリアに画像投写手段によって表示させる移動ルート案内装置のコンピュータに実行されるプログラムであって、
    前記移動体の位置情報に基づいて、前記ルート案内画像の内容及び表示位置の少なくとも一方を変更する表示制御を行う表示制御手段として、前記プログラムを機能させるものであり、
    前記ルート案内画像は、互いに近接した複数の移動可能ルートにそれぞれ対応し、かつ、該複数の移動可能ルートにおける前記運転者による視認位置関係又は予め決められた基準位置に対応させて表示される複数のルート識別画像と、前記複数の移動可能ルートのうち前記ルート案内画像が案内する移動ルートに対応したルート識別画像に関連づけて表示されるルート指示画像とを含み、
    前記表示制御手段は、前記ルート識別画像に対応する移動可能ルートの運転者による視認位置が前記所定の表示エリアに重ならないとき、該移動可能ルートに対する運転者の視線上に重なる該所定の表示エリア内の位置に、該ルート識別画像を表示させることを特徴とするプログラム。
JP2018064559A 2018-03-29 2018-03-29 移動ルート案内装置、移動体、移動ルート案内方法及びプログラム Active JP7037764B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018064559A JP7037764B2 (ja) 2018-03-29 2018-03-29 移動ルート案内装置、移動体、移動ルート案内方法及びプログラム
PCT/JP2019/012343 WO2019188891A1 (en) 2018-03-29 2019-03-25 Moving route guidance device, moving body, and moving route guidance method
EP19716592.1A EP3775779A1 (en) 2018-03-29 2019-03-25 Moving route guidance device, moving body, and moving route guidance method
US16/963,114 US11668579B2 (en) 2018-03-29 2019-03-25 Moving route guidance device, moving body, and moving route guidance method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018064559A JP7037764B2 (ja) 2018-03-29 2018-03-29 移動ルート案内装置、移動体、移動ルート案内方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019174349A JP2019174349A (ja) 2019-10-10
JP7037764B2 true JP7037764B2 (ja) 2022-03-17

Family

ID=66102168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018064559A Active JP7037764B2 (ja) 2018-03-29 2018-03-29 移動ルート案内装置、移動体、移動ルート案内方法及びプログラム

Country Status (4)

Country Link
US (1) US11668579B2 (ja)
EP (1) EP3775779A1 (ja)
JP (1) JP7037764B2 (ja)
WO (1) WO2019188891A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7120963B2 (ja) * 2019-05-21 2022-08-17 矢崎総業株式会社 表示ユニット

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4497316B2 (ja) 2005-10-26 2010-07-07 株式会社デンソー 車両用情報表示装置
EP3184365A2 (en) 2015-12-24 2017-06-28 Lg Electronics Inc. Display device for vehicle and control method thereof

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010052000A1 (de) 2010-11-19 2012-05-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausgabe von Navigationshinweisen
JP2013061554A (ja) 2011-09-14 2013-04-04 Ricoh Co Ltd 画像形成装置、画像形成装置を搭載した車両
US9158124B2 (en) 2012-12-21 2015-10-13 Ricoh Company, Ltd. Image display device and vehicle incorporating the same
US11008017B2 (en) * 2012-12-21 2021-05-18 Harman Becker Automotive Systems Gmbh System for a vehicle and communication method
JP5682692B2 (ja) 2012-12-21 2015-03-11 株式会社リコー 画像表示装置
JP6387589B2 (ja) 2013-08-30 2018-09-12 株式会社リコー 画像形成装置、車両、及び画像形成装置の制御方法
WO2015118859A1 (ja) * 2014-02-05 2015-08-13 パナソニックIpマネジメント株式会社 車両用表示装置および車両用表示装置の表示方法
JP6340807B2 (ja) 2014-02-05 2018-06-13 株式会社リコー 画像表示装置及び移動体
JP6497158B2 (ja) 2014-05-16 2019-04-10 株式会社リコー 表示装置、移動体
JP2016024004A (ja) 2014-07-18 2016-02-08 日産自動車株式会社 車両用表示装置
EP3300941B1 (en) * 2014-12-10 2020-05-13 Ricoh Company, Ltd. Information provision device, and information provision method
CN110641354B (zh) * 2015-04-10 2023-03-24 麦克赛尔株式会社 车辆
EP3093194B1 (en) 2015-04-24 2021-09-22 Ricoh Company, Ltd. Information provision device
KR101750876B1 (ko) 2015-05-28 2017-06-26 엘지전자 주식회사 차량용 디스플레이 장치 및 차량
WO2017056953A1 (ja) 2015-10-02 2017-04-06 株式会社リコー 表示装置
EP3246664A3 (en) 2016-05-19 2018-02-14 Ricoh Company, Ltd. Information processing system and information display apparatus
JP6870447B2 (ja) 2016-05-20 2021-05-12 株式会社リコー Hud装置、車両装置、情報表示方法。
US10917619B2 (en) * 2016-06-20 2021-02-09 Kyocera Corporation Display apparatus, display system, moveable body, and display method
JP6717088B2 (ja) 2016-07-07 2020-07-01 オムロンヘルスケア株式会社 低周波治療器、低周波治療器用の本体部、および、低周波治療器用のパッドとホルダとの組み合わせ
JP6972549B2 (ja) 2016-12-28 2021-11-24 株式会社リコー Hud装置、車両装置及び表示方法
JP2018105838A (ja) 2016-12-28 2018-07-05 株式会社リコー 情報表示装置及び車両装置
JP6930120B2 (ja) 2017-02-02 2021-09-01 株式会社リコー 表示装置、移動体装置及び表示方法。
EP3376280B1 (en) 2017-03-15 2023-04-05 Ricoh Company, Ltd. Display device and apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4497316B2 (ja) 2005-10-26 2010-07-07 株式会社デンソー 車両用情報表示装置
EP3184365A2 (en) 2015-12-24 2017-06-28 Lg Electronics Inc. Display device for vehicle and control method thereof

Also Published As

Publication number Publication date
US11668579B2 (en) 2023-06-06
WO2019188891A1 (en) 2019-10-03
JP2019174349A (ja) 2019-10-10
EP3775779A1 (en) 2021-02-17
US20210123760A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
US11951834B2 (en) Information provision device, information provision method, and recording medium storing information provision program for a vehicle display
US10852818B2 (en) Information provision device and information provision method
JP6806097B2 (ja) 画像表示装置及び画像表示方法
US10696159B2 (en) Information providing apparatus
JP6504431B2 (ja) 画像表示装置、移動体、画像表示方法及びプログラム
JP6516151B2 (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
JPWO2017138527A1 (ja) 情報提供装置
JP6945933B2 (ja) 表示システム
JP7300112B2 (ja) 制御装置、画像表示方法及びプログラム
JP2016107947A (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP7037764B2 (ja) 移動ルート案内装置、移動体、移動ルート案内方法及びプログラム
JP6814416B2 (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP7054483B2 (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP7385834B2 (ja) 画像表示方法及び画像表示装置
JP6726412B2 (ja) 画像表示装置、移動体、画像表示方法及びプログラム
JP7552018B2 (ja) 車載表示装置およびプログラム
JP2021117987A (ja) 画像表示装置、画像表示方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220217

R151 Written notification of patent or utility model registration

Ref document number: 7037764

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151