[go: up one dir, main page]

JP2024124855A - 車両用制御装置 - Google Patents

車両用制御装置 Download PDF

Info

Publication number
JP2024124855A
JP2024124855A JP2023032804A JP2023032804A JP2024124855A JP 2024124855 A JP2024124855 A JP 2024124855A JP 2023032804 A JP2023032804 A JP 2023032804A JP 2023032804 A JP2023032804 A JP 2023032804A JP 2024124855 A JP2024124855 A JP 2024124855A
Authority
JP
Japan
Prior art keywords
vehicle
glasses
unit
feature point
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023032804A
Other languages
English (en)
Inventor
隆行 青木
Takayuki Aoki
龍佑 太田
Ryusuke Ota
大輔 板垣
Daisuke Itagaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2023032804A priority Critical patent/JP2024124855A/ja
Priority to US18/411,281 priority patent/US12288354B2/en
Publication of JP2024124855A publication Critical patent/JP2024124855A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G05D1/2462—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM] using feature-based mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ＡＲグラスに設けたセンサを用いてＡＲグラスの位置を精度良く特定することを可能とする。
【解決手段】携帯端末３０の抽出部３４は、ＡＲグラス１２に設けられたカメラ１８による撮影結果に基づいて、カメラ１８の撮影範囲内から複数の特徴点を抽出する。また、判定部３６は、車両５０の移動時における複数の特徴点の移動ベクトルの不連続性に基づいて、カメラ１８の撮影範囲内における車室内に対応する第１領域と車室外に対応する第２領域との境界を判定する。そして特定部３８は、判定部３６による判定結果に基づいてＡＲグラス１２の位置を特定する。
【選択図】図３

Description

本開示は車両用制御装置に関する。
特許文献１には、乗員の頭部に装着されると共に、装着状態で乗員の目の前に配置される表示部を備えたウェアラブル端末（ＡＲ（Augmented Reality：拡張現実）グラス）が開示されている。
特開２０１９－１２５１８８号公報
ユーザがＡＲグラスを介して視認する車室外の景色に対し、矢印などのコンテンツが任意の位置に重畳されるようにＡＲグラスの表示部にコンテンツを表示させるためには、ＡＲグラスの位置（車室外の物体とＡＲグラスとの相対位置）を特定する必要がある。ここで、車室外の物体がセンサの検出範囲内に入るようにＡＲグラスにセンサを設けた場合には、センサによる検出結果から特徴点を抽出し、抽出した特徴点の情報からＡＲグラスの位置を特定することは原理的には可能である。
しかし、センサによる検出結果から抽出した特徴点は、車室内に位置している物体（例えば車両のピラーなど）に対応する第１の特徴点と、車室外に位置している物体（例えば歩行者など）に対応する第２の特徴点と、が混在している。このため、センサによる検出結果から抽出した特徴点の情報を全て用いてＡＲグラスの位置特定を行ったとすると、ＡＲグラスの位置特定の精度が著しく不足するという問題がある。
本開示は上記事実を考慮して成されたもので、ＡＲグラスに設けたセンサを用いてＡＲグラスの位置を精度良く特定することが可能な車両用制御装置を得ることが目的である。
第１の態様に係る車両用制御装置は、ＡＲグラスに設けられたセンサによる検出結果に基づいて、前記センサの検出範囲内から複数の特徴点を抽出する抽出部と、車両の移動時における前記複数の特徴点の移動ベクトルの不連続性に基づいて、前記検出範囲内における車室内に対応する第１領域と車室外に対応する第２領域との境界を判定する判定部と、前記判定部による判定結果に基づいてＡＲグラスの位置を特定する特定部と、を含んでいる。
第１の態様において、ＡＲグラスに設けられたセンサの検出範囲内から抽出部によって抽出される複数の特徴点には、車室内に位置している物体に対応する第１の特徴点と、車室外に位置している物体に対応する第２の特徴点と、が混在している。しかし、第１の特徴点の移動ベクトルは、ＡＲグラスを装着したユーザの動きに応じた向きおよび大きさになるのに対し、第２の特徴点の移動ベクトルは、車両の移動時に車両の移動に対応した向きおよび大きさになる。このため、車両の移動時には、センサの検出範囲内のうち車室内に対応する領域と車室外に対応する領域との境界を挟んで、特徴点の移動ベクトルが不連続になる（移動ベクトルの向きおよび大きさの少なくとも一方が明瞭に変化する）。
第１の態様はこれを利用し、判定部は、車両の移動時における複数の特徴点の移動ベクトルの不連続性に基づいて、センサの検出範囲内における車室内に対応する第１領域と車室外に対応する第２領域との境界を判定する。そして特定部は、判定部による判定結果に基づいてＡＲグラスの位置を特定する。これにより、特定部によるＡＲグラスの位置特定において、第１の特徴点と第２の特徴点とを分けて位置特定を行うことが可能となる。従って、第１の態様によれば、ＡＲグラスに設けたセンサを用いてＡＲグラスの位置を精度良く特定することが可能となる。
第２の態様は、第１の態様において、前記判定部は、前記複数の特徴点のうち、前記移動ベクトルの向きおよび大きさの少なくとも一方が前記車両の移動に対応していない第１の特徴点であって、前記移動ベクトルの向きおよび大きさが前記車両の移動に対応している第２の特徴点との距離が最小の前記第１の特徴点を前記境界上の特徴点と判定する。
第２の態様では、移動ベクトルの向きおよび大きさが車両の移動に対応しているか否かに基づいて、複数の特徴点を第１の特徴点または第２の特徴点へと弁別し、第１の特徴点のうち第２の特徴点との距離が最小の特徴点を境界上の特徴点と判定する。これにより、車室内に対応する第１領域と車室外に対応する第２領域との境界を簡易な処理で精度良く判定することができる。
第３の態様は、第１の態様において、前記特定部は、前記検出範囲内のうち前記第１領域内に位置している第１の特徴点の情報から、車両とＡＲグラスとの相対位置を特定すると共に、前記検出範囲内のうち前記第２領域内に位置している第２の特徴点の情報から、車両と車室外の物体との相対位置を特定する。
第３の態様では、ＡＲグラスの位置（車室外の物体とＡＲグラスとの相対位置）を、車両とＡＲグラスとの相対位置と、車両と車室外の物体との相対位置と、に分け、第１の特徴点の情報から車両とＡＲグラスとの相対位置を特定すると共に、第２の特徴点の情報から車両と車室外の物体との相対位置を特定する。これにより、ＡＲグラスに設けたセンサを用いてＡＲグラスの位置を精度良く特定することができる。
第４の態様は、第３の態様において、前記特定部は、前記車両と前記ＡＲグラスとの相対位置の特定および前記車両と車室外の物体との相対位置の特定を、ＳＬＡＭ（Simultaneous Localization And Mapping）技術における自己位置推定（Localization）のアルゴリズムにより行う。
第４の態様では、特定部が、車両とＡＲグラスとの相対位置の特定および車両と車室外の物体との相対位置の特定を、既存のＳＬＡＭ技術における自己位置推定のアルゴリズムにより行う。これにより、特定部を容易に構成することができ、本開示に係る車両用制御装置の開発コストを削減することができる。
第５の態様は、第１の態様において、前記特定部によって特定された前記ＡＲグラスの位置に基づいて、前記ＡＲグラスを介して視認される車外の景色に対してコンテンツが所定の位置に重畳されるように、前記ＡＲグラスに設けられた表示部のうち前記所定の位置に対応する位置にコンテンツを表示させる表示制御部をさらに含んでいる。
第５の態様によれば、ＡＲグラスの表示部に表示させるコンテンツを、ＡＲグラスを介して視認される車外の景色に対して任意の位置に重畳させることができる。
本開示は、ＡＲグラスに設けたセンサを用いてＡＲグラスの位置を精度良く特定することが可能になる、という効果を有する。
実施形態に係る車両用制御システムの概略構成を示すブロック図である。 グラス位置推定／表示制御処理の一例を示すフローチャートである。 ＡＲグラスを装着したユーザが車両のシートに着座している状態を示す斜視図である。 車両用制御システムの他の概略構成を示すブロック図である。
以下、図面を参照して本開示の実施形態の一例を詳細に説明する。図１には本実施形態に係る車両用制御システム１０が示されている。車両用制御システム１０は、ユーザの頭部に装着されるＡＲグラス１２と、ユーザに所持されるスマートフォン、タブレット端末などから成る携帯端末３０と、車両５０に搭載された車両側システム５２と、を含んでいる。
ＡＲグラス１２は、携帯端末３０などと無線通信を行う無線通信部１４と、表示部１６（詳細は後述）と、ＡＲグラス１２の前方を撮影するカメラ１８と、を含んでいる。図示は省略するが、ＡＲグラス１２は、左右のテンプルの基部が取り付けられたフレームに、光透過性を有する左右のグラス部が取り付けられている。グラス部の内側の面（ＡＲグラス１２を装着したユーザの眼部と対向する面）には、画像を表示可能な表示部１６が各々設けられている。
表示部１６は、グラス部の外側の面からグラス部に入射した光が、表示部１６を透過して、ＡＲグラス１２を装着した乗員の眼部に入射されるように、シースルー型とされている。これにより、表示部１６に画像を表示すると、ＡＲグラス１２を装着した乗員には、グラス部を通じた実視野（例えば車両５０の前方の実像）に、表示部１６に表示された画像（虚像）が重畳されて視認される。
図３に示すように、本実施形態では、カメラ１８がＡＲグラス１２のテンプルに取り付けられているが、カメラ１８の配置はこれに限られるものではなく、ＡＲグラス１２のグラス部などにカメラ１８が取り付けられていてもよい。
携帯端末３０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリ、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの不揮発性の記憶部および無線通信部３２を含んでいる。記憶部には制御プログラムが記憶されている。携帯端末３０は、ＣＰＵが制御プログラムを実行することで抽出部３４、判定部３６、特定部３８および表示制御部４０として機能し、後述するグラス位置特定／表示制御処理（図２）を行う。
抽出部３４は、ＡＲグラス１２に設けられたカメラ１８による撮影結果に基づいて、カメラ１８の撮影範囲内から複数の特徴点を抽出する。また判定部３６は、車両５０の移動時における複数の特徴点の移動ベクトルの不連続性に基づいて、カメラ１８の撮影範囲内における車室内に対応する第１領域と車室外に対応する第２領域との境界を判定する。そして特定部３８は、判定部３６による判定結果に基づいてＡＲグラス１２の位置を特定する。
表示制御部４０は、特定部３８によって特定されたＡＲグラス１２の位置に基づいて、ＡＲグラス１２を介して視認される車外の景色に対してコンテンツが所定の位置（車両側システム５２から指示された位置）に重畳されるように、ＡＲグラス１２の表示部１６のうち前記所定の位置に対応する位置にコンテンツを表示させる。なお、図１に示す態様において、携帯端末３０は本開示に係る車両用制御装置の一例として機能する。
車両側システム５２は、１つ以上のＥＣＵ（Electronic Control Unit）（図示省略）、携帯端末３０などと無線通信を行う無線通信部５４、車両５０の周囲環境がどのような状況かを検出する周辺状況センサ５６および車両５０の車速を検出する車速センサ６０を含んでいる。周辺状況センサ５６としては、例えば、カメラ、レーダおよびライダ（LiDAR： Light Detection And RangingまたはLaser Imaging Detection And Ranging）の少なくとも１つが適用される。また、車速センサ６０によって検出された車両５０の車速を表す車速情報は、無線通信部５４を介して携帯端末３０へ適宜（例えば周期的に）送信される。
車両側システム５２に含まれる所定のＥＣＵはコンテンツ表示指示部５８として機能する。コンテンツ表示指示部５８は、ＡＲグラス１２の表示部１６にコンテンンツを表示させるタイミングが到来したか否かを監視し、前記タイミングが到来したと判断すると、ＡＲグラス１２の表示部１６に表示させるコンテンンツの種類、３次元位置などを含むコンテンツ情報を無線通信部５４経由で携帯端末３０へ送信する。
一例として、コンテンツ表示指示部５８は、車両５０に搭載されたナビゲーション装置から取得した車両５０の走行予定ルートの情報と、車両５０に搭載されたＧＮＳＳ（Global Navigation Satellite System）センサから取得した車両５０の現在位置と、を照合することで、車両５０を曲折させる場所に差し掛かったか否かを監視する。そして、車両５０を曲折させる場所に差し掛かったと判断した場合、コンテンツ表示指示部５８は、車両の曲折方向を示す矢印を、曲折先の道路に重畳表示させることを指示するコンテンツ情報を携帯端末３０へ送信する。
次に本実施形態の作用として、ユーザが車両５０に乗車しかつＡＲグラス１２を頭部に装着した状況で、携帯端末３０で実行されるグラス位置特定／表示制御処理について、図２を参照して説明する。なお、グラス位置特定／表示制御処理は、例えば、車両５０に乗車しかつＡＲグラス１２を装着したユーザにより、携帯端末３０を介してグラス位置特定／表示制御処理の起動を指示する所定の操作が行われたことをトリガとして実行される。
ステップ７０において、抽出部３４は、カメラ１８によって撮影された画像（車室内に対応する領域と車室外に対応する領域とを含む画像）を表す画像情報をＡＲグラス１２から取得する。また、ステップ７２において、抽出部３４は、ステップ７０で取得した画像情報から特徴点を抽出する。なお、本実施形態では、ステップ７０，７２が実行される時点では車両５０が停車中であると想定しており、車両５０の停車中には、ステップ７２で抽出された特徴点が車室内に位置する物体に対応する特徴点であるか車室外に位置する物体に対応する特徴点であるかは区別されない。
次のステップ７４において、抽出部３４は、携帯端末３０が車両側システム５２から取得した車速情報が表す車両５０の車速が０km/hよりも大きいか否かに基づいて、車両５０が走行中か否か判定する。ステップ７４の判定が否定された場合はステップ７０に戻り、ステップ７４の判定が肯定される迄、ステップ７０～ステップ７４を繰り返す。また、ステップ７４の判定が肯定された場合はステップ７６へ移行する。ステップ７６において、抽出部３４は、先に説明したステップ７０と同様に、ＡＲグラス１２から画像情報を取得し、ステップ７８において、抽出部３４は、先に説明したステップ７２と同様に、取得した画像情報から特徴点を抽出する。
また、本実施形態では、カメラ１８による撮影範囲のうち車室内に対応する車室内領域と車室外に対応する車室外領域との境界を判定する判定処理（ステップ８２，８４）を、ステップ８０以降の処理を最初に実行する第１タイミング（判定処理の初回実行時）、および、判定処理を前回実行してから所定時間が経過した第２タイミングで各々行う。このため、次のステップ８０において、判定部３６は、現タイミングが第１タイミングまたは第２タイミングか否かを判定する。なお、第２タイミングを規定する所定時間は、固定的に定めておくことに限定されるものではなく、例えば車速に応じて変化させる（一例としては車速が高くなるに従って所定時間を小さくする）ようにしてもよい。
ステップ８０の判定が肯定された場合はステップ８２へ移行する。ステップ８２において、判定部３６は、ステップ７８で抽出された個々の特徴点について移動ベクトルを各々算出する。図３には、個々の特徴点についての移動ベクトルの一例を矢印で示す。
例として図３に示すように、車室内領域内に位置している第１の特徴点Ｐ1は、ＡＲグラス１２を装着しているユーザの頭部が静止している間は、移動ベクトルの大きさが０になり、ユーザが首を振るなどの動作を行った場合に、移動ベクトルがユーザの動作に応じた向きおよび大きさになる。一方、車室外領域内に位置している第２の特徴点Ｐ2は、その移動ベクトルの向きが、カメラ１８による撮影画像上の消失点から個々の特徴点Ｐ2へ向かう向きとなり、移動ベクトルの大きさが車両５０の車速に対応する大きさとなる。このため、車両５０の走行中には、個々の特徴点における移動ベクトルの向きおよび大きさが、車室内領域と車室外領域との境界を挟んで不連続になる（移動ベクトルの向きおよび大きさの少なくとも一方が前記境界を挟んで明瞭に変化する）。
次のステップ８４ではこれを利用し、車両５０の移動時における複数の特徴点の移動ベクトルの不連続性に基づいて、カメラ１８による撮影範囲内における車室内に対応する第１領域と車室外に対応する第２領域との境界を判定する。第１領域と第２領域との境界を判定する処理は、具体的には、例えば以下の処理により実現される。
すなわち、まず判定部３６は、各特徴点の移動ベクトルが車両５０の移動に対応する向きおよび大きさになっているか否かを各々判定することで、各特徴点を、移動ベクトルの向きおよび大きさの少なくとも一方が車両５０の移動に対応していない第１の特徴点、または、移動ベクトルの向きおよび大きさが車両５０の移動に対応している第２の特徴点へと弁別する。また判定部３６は、弁別した個々の第１の特徴点について、カメラ１８による撮影画像上で最も近い第２の特徴点との距離を各々算出する。
次に判定部３６は、カメラ１８による撮影画像に対して当該撮影画像よりも面積の小さい探索領域を設定し、設定した探索領域内に存在する第１の特徴点であって、第２の特徴点との距離が最小の第１の特徴点を探索・抽出する処理を、撮影画像上における探索領域の位置をずらしながら繰り返す。そして判定部３６は、探索領域の各位置で抽出した、第２の特徴点との距離が最小の第１の特徴点を、第１領域と第２領域との境界上の特徴点と判定し、第１領域と第２領域との境界を設定する。例として図３には、設定される第１領域と第２領域との境界の一例に符号「６２」を付して太線で示す。上記の処理により、カメラ１８による撮影範囲内が車室内に対応する第１領域と車室外に対応する第２領域とに区分される。
ステップ８６において、特定部３８は、第１領域内の第１の特徴点の情報から、ＳＬＡＭ技術における自己位置推定のアルゴリズムにより、車両５０とＡＲグラス１２との相対位置を特定する。また、次のステップ８８において、特定部３８は、第２領域内の第２の特徴点の情報から、ＳＬＡＭ技術における自己位置推定のアルゴリズムにより、車両と車室外の物体との相対位置を特定する。
ステップ９０において、表示制御部４０は、車両側システム５２のコンテンツ表示指示部５８からＡＲグラス１２へのコンテンツの表示が指示されたか否か判定する。ステップ９０の判定が否定された場合はステップ７４に戻り、ステップ７４～９０の処理が繰り返される。また、コンテンツ表示指示部５８からコンテンツ情報を受信した場合は、ステップ９０の判定が肯定されてステップ９２へ移行する。
ステップ９２において、表示制御部４０は、ユーザがＡＲグラス１２を通じて視認する実像に対し、車両側システム５２から受信したコンテンツ情報で指示された３次元位置にコンテンツを重畳表示させるための、ＡＲグラス１２の表示部１６におけるコンテンツの表示位置を演算する。この表示位置の演算は、先のステップ８６で特定した車両５０とＡＲグラス１２との相対位置と、先のステップ８８で特定した車両と車室外の物体との相対位置と、から求まる、車室外の物体とＡＲグラス１２との相対位置に基づいて行われる。
ステップ９４において、表示制御部４０は、ＡＲグラス１２の表示部１６のうちステップ９２で演算した表示位置にコンテンツが表示させるようにＡＲグラス１２を制御する。これにより、ＡＲグラス１２の表示部１６に表示されたコンテンツ（虚像）は、ユーザがＡＲグラス１２を通じて視認する実像に対し、コンテンツ情報で指示された３次元位置に重畳されたように視認されることになる。ステップ９４の処理を行うとステップ７４に戻り、ステップ７４以降の処理を繰り返す。
以上説明したように、本実施形態において、抽出部３４は、ＡＲグラス１２に設けられたカメラ１８による撮影結果に基づいて、カメラ１８の撮影範囲内から複数の特徴点を抽出する。また判定部３６は、車両５０の移動時における複数の特徴点の移動ベクトルの不連続性に基づいて、カメラ１８の撮影範囲内における車室内に対応する第１領域と車室外に対応する第２領域との境界を判定する。そして特定部３８は、判定部３６による判定結果に基づいてＡＲグラス１２の位置を特定する。これにより、ＡＲグラス１２に設けたカメラ１８を用いてＡＲグラス１２の位置を精度良く特定することが可能となる。
また、本実施形態において、判定部３６は、抽出部３４によって抽出された複数の特徴点のうち、移動ベクトルの向きおよび大きさの少なくとも一方が車両５０の移動に対応していない第１の特徴点であって、移動ベクトルの向きおよび大きさが車両５０の移動に対応している第２の特徴点との距離が最小の第１の特徴点を、車室内に対応する第１領域と車室外に対応する第２領域との境界上の特徴点と判定する。これにより、車室内に対応する第１領域と車室外に対応する第２領域との境界を簡易な処理で精度良く判定することができる。
また、本実施形態において、特定部３８は、カメラ１８による撮影範囲内のうち車室内に対応する第１領域内に位置している第１の特徴点の情報から、車両５０とＡＲグラス１２との相対位置を特定すると共に、カメラ１８による撮影範囲内のうち車室外に対応する第２領域内に位置している第２の特徴点の情報から、車両５０と車室外の物体との相対位置を特定する。これにより、ＡＲグラス１２に設けたカメラ１８を用いてＡＲグラス１２の位置を精度良く特定することができる。
また、本実施形態において、特定部３８は、車両５０とＡＲグラス１２との相対位置の特定および車両５０と車室外の物体との相対位置の特定を、ＳＬＡＭ技術における自己位置推定のアルゴリズムにより行う。これにより、特定部３８を容易に構成することができ、携帯端末３０を本開示に係る車両用制御装置として機能させるための制御プログラムの開発コストを削減することができる。
また、本実施形態において、表示制御部４０は、特定部３８によって特定されたＡＲグラス１２の位置に基づいて、ＡＲグラス１２を介して視認される車外の景色に対してコンテンツが所定の位置に重畳されるように、ＡＲグラス１２に設けられた表示部１６のうち所定の位置に対応する位置にコンテンツを表示させる。これにより、ＡＲグラス１２の表示部１６に表示させるコンテンツを、ＡＲグラス１２を介して視認される車外の景色に対して任意の位置に重畳させることができる。
なお、上記の実施形態では、本開示におけるセンサの一例として、ＡＲグラス１２に設けられたカメラ１８を適用した態様を説明した。しかし、本開示におけるセンサは、例えばライダや距離画像センサなどであってもよい。
また、上記の実施形態では、車両と車室外の物体との相対位置をＡＲグラス１２に設けられたカメラ１８によって検出された画像から特定する態様を説明したが、本開示はこれに限定されるものではない。例えば、車両に搭載されたカメラ、ライダなどのセンサによって車両前方を検出した結果から、車両と車室外の物体との相対位置を特定するようにしてもよい。
また、上記の実施形態では、携帯端末３０を本開示に係る車両用制御装置の一例として機能させる態様を説明したが、本開示はこれに限定されるものではない。例として図４に示すように、車両側システム５２に含まれる何れかのＥＣＵを本開示に係る車両用制御装置の一例として機能させるようにしてもよい。この場合、前記ＥＣＵは、図４に示すように、ＡＲグラス１２と直接通信を行うように構成することで、携帯端末３０を省略することも可能である。
１０ 車両用制御システム
１２ ＡＲグラス
１６ 表示部
１８ カメラ（センサ）
３０ 携帯端末（車両用制御装置）
３４ 抽出部
３６ 判定部
３８ 特定部
４０ 表示制御部
５０ 車両
５２ 車両側システム
５８ コンテンツ表示指示部
６０ 車速センサ

Claims (5)

  1. ＡＲグラスに設けられたセンサによる検出結果に基づいて、前記センサの検出範囲内から複数の特徴点を抽出する抽出部と、
    車両の移動時における前記複数の特徴点の移動ベクトルの不連続性に基づいて、前記検出範囲内における車室内に対応する第１領域と車室外に対応する第２領域との境界を判定する判定部と、
    前記判定部による判定結果に基づいてＡＲグラスの位置を特定する特定部と、
    を含む車両用制御装置。
  2. 前記判定部は、前記複数の特徴点のうち、前記移動ベクトルの向きおよび大きさの少なくとも一方が前記車両の移動に対応していない第１の特徴点であって、前記移動ベクトルの向きおよび大きさが前記車両の移動に対応している第２の特徴点との距離が最小の前記第１の特徴点を前記境界上の特徴点と判定する請求項１記載の車両用制御装置。
  3. 前記特定部は、前記検出範囲内のうち前記第１領域内に位置している第１の特徴点の情報から、前記車両と前記ＡＲグラスとの相対位置を特定すると共に、前記検出範囲内のうち前記第２領域内に位置している第２の特徴点の情報から、前記車両と車室外の物体との相対位置を特定する請求項１記載の車両用制御装置。
  4. 前記特定部は、前記車両と前記ＡＲグラスとの相対位置の特定および前記車両と車室外の物体との相対位置の特定を、ＳＬＡＭ技術における自己位置推定のアルゴリズムにより行う請求項３記載の車両用制御装置。
  5. 前記特定部によって特定された前記ＡＲグラスの位置に基づいて、前記ＡＲグラスを介して視認される車外の景色に対してコンテンツが所定の位置に重畳されるように、前記ＡＲグラスに設けられた表示部のうち前記所定の位置に対応する位置にコンテンツを表示させる表示制御部をさらに含む請求項１記載の車両用制御装置。
JP2023032804A 2023-03-03 2023-03-03 車両用制御装置 Pending JP2024124855A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023032804A JP2024124855A (ja) 2023-03-03 2023-03-03 車両用制御装置
US18/411,281 US12288354B2 (en) 2023-03-03 2024-01-12 Vehicle control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023032804A JP2024124855A (ja) 2023-03-03 2023-03-03 車両用制御装置

Publications (1)

Publication Number Publication Date
JP2024124855A true JP2024124855A (ja) 2024-09-13

Family

ID=92677496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023032804A Pending JP2024124855A (ja) 2023-03-03 2023-03-03 車両用制御装置

Country Status (2)

Country Link
US (1) US12288354B2 (ja)
JP (1) JP2024124855A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025074883A1 (ja) * 2023-10-03 2025-04-10 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、システム、プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7043845B2 (ja) 2018-01-17 2022-03-30 トヨタ自動車株式会社 車両用表示連携制御装置
US11514617B2 (en) * 2020-08-14 2022-11-29 Htc Corporation Method and system of providing virtual environment during movement and related non-transitory computer-readable storage medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025074883A1 (ja) * 2023-10-03 2025-04-10 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、システム、プログラム

Also Published As

Publication number Publication date
US12288354B2 (en) 2025-04-29
US20240354986A1 (en) 2024-10-24

Similar Documents

Publication Publication Date Title
EP3496033A1 (en) Travel assistance device and computer program
US10169923B2 (en) Wearable display system that displays a workout guide
US11525694B2 (en) Superimposed-image display device and computer program
JPWO2006035755A1 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JP2014181927A (ja) 情報提供装置、及び情報提供プログラム
JP6708785B2 (ja) 走行経路提供システムおよびその制御方法、並びにプログラム
US11110933B2 (en) Driving support device, wearable device, driving support system, driving support method, and computer-readable recording medium
JP2018173862A (ja) 走行支援装置及びコンピュータプログラム
CN110998409A (zh) 增强现实眼镜、确定增强现实眼镜的姿态的方法、适于使用该增强现实眼镜或方法的机动车
KR20150051671A (ko) 차량 및 사용자 동작 인식에 따른 화면 제어 장치 및 그 운영방법
US10996469B2 (en) Method and apparatus for providing driving information of vehicle, and recording medium
CN113492864A (zh) 驾驶辅助装置以及数据收集系统
KR20130003521A (ko) 센서를 이용한 운전 안내 시스템
US12288354B2 (en) Vehicle control device
JPWO2004048895A1 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JPWO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2005214730A (ja) 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
JP7376996B2 (ja) 車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム
WO2016088227A1 (ja) 映像表示装置及び方法
JP2014174091A (ja) 情報提供装置、及び情報提供プログラム
JP2014174879A (ja) 情報提供装置、及び情報提供プログラム
JP2014174880A (ja) 情報提供装置、及び情報提供プログラム
KR101744718B1 (ko) 차량용 표시 시스템 및 그 제어방법
JP7383549B2 (ja) 画像記録システム及び画像記録方法
US12307708B2 (en) Vehicle control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250319