JP7216699B2 - 車両制御システム及び自車線特定方法 - Google Patents
車両制御システム及び自車線特定方法 Download PDFInfo
- Publication number
- JP7216699B2 JP7216699B2 JP2020219157A JP2020219157A JP7216699B2 JP 7216699 B2 JP7216699 B2 JP 7216699B2 JP 2020219157 A JP2020219157 A JP 2020219157A JP 2020219157 A JP2020219157 A JP 2020219157A JP 7216699 B2 JP7216699 B2 JP 7216699B2
- Authority
- JP
- Japan
- Prior art keywords
- lane
- map
- vehicle
- lanes
- marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 36
- 230000008859 change Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 230000010391 action planning Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000881 depressing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3658—Lane guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
まず、車両システム2について説明する。車両システム2は、推進装置4、ブレーキ装置5、ステアリング装置6、外界センサ7、車両センサ8、通信装置9、GNSS受信機10、ナビゲーション装置11、運転操作子12、運転操作センサ13、HMI14、スタートスイッチ15、及び制御装置16を有している。車両システム2の各構成要素は、CAN(Controller Area Network)等の通信手段によって信号伝達可能に互いに接続されている。
次に、地図サーバ3について説明する。図1に示すように、地図サーバ3は、ネットワークN(本実施形態では、インターネット)及び通信装置9を介して制御装置16に接続されている。地図サーバ3は、CPU、ROM、RAM、及び、HDDやSSD等の記憶装置を備えたコンピュータである。地図サーバ3の記憶装置には、ダイナミックマップデータが記憶されている。
次に、図2を参照して、ローカルマップ上で車両Vが走行している自車線R(以下、「LM自車線R」と称する)を特定するための自車線特定制御(自車線特定方法の一例)の概要について説明する。なお、図2の「Yes」は、LM自車線Rが特定されたことを示し、図2の「No」は、LM自車線Rが特定されなかったことを示している。
次に、図3、図4を参照して、自車線特定制御における第1特定処理(ステップS1)について説明する。図3は車両Vがある位置を走行しているときのローカルマップを例示しており、図4は車両Vが図3とは異なる位置を走行しているときのローカルマップを例示している。
次に、図5を参照して、自車線特定制御における第2特定処理(ステップS2)について説明する。図5(A)は車両Vがある位置を走行しているときにカメラ画像から得られる情報を例示しており、図5(B)、図5(C)は車両Vが図5(A)と同じ位置を走行しているときのローカルマップを例示している。
次に、図6及び図7を参照して、自車線特定制御における第3特定処理(ステップS3)について説明する。図6(A)は車両Vがある位置を走行しているときにカメラ画像から得られる情報を例示しており、図6(B)は車両Vが図6(A)と同じ位置を走行しているときのローカルマップを例示している。図7(A)は車両Vがある位置を走行しているときにカメラ画像から得られる情報を例示しており、図7(B)は車両Vが図7(A)と同じ位置を走行しているときのローカルマップを例示している。
(条件1)カメラ自車線Bの左右両側及びカメラ自車線Bの左右の隣接車線F(以下、「カメラ隣接車線F」と称する)の左右両側に区画線が存在すること
(条件2)ローカルマップ上の特定領域Yに3本のLM車線Aが存在すること
次に、図8、図9を参照して、ローカルマップ上で車両Vが車線変更したか否かを判定するための車線変更判定制御について説明する。図8は車両Vがある位置を走行しているときのローカルマップを例示しており、図9は車両Vが図8とは異なる位置を走行しているときのローカルマップを例示している。
次に、自車線特定制御によって特定されたLM自車線Rの車線番号(LM自車線Rに関する情報の一例)をリセットするための自車線リセット制御について説明する。
(条件1)特定したLM自車線Rに誤りがあること
(条件2)LM生成部53から位置特定部54にローカルマップが出力されないこと
(条件3)車両Vの前方でLM車線Aの区画線A1の情報がなくなったこと
(条件4)ローカルマップ上における車両Vの位置(以下、「LM自車位置」と称する)を推定できなくなったこと
(条件1-1)カメラ区画線の種別を特定可能であること
(条件1-2)今回の自車線特定制御によって新たに特定したLM自車線Rの車線番号と前回の自車線特定制御によって既に特定しているLM自車線Rの車線番号(車線変更判定制御によって切り替えられたものを含む)とが一致しないこと
本実施形態では、ローカルマップ上の特定領域Yに1本のLM車線Aのみが存在する場合に、位置特定部54は、その1本のLM車線AをLM自車線Rとして特定する。また、特定領域Yに複数本のLM車線Aが存在する場合に、位置特定部54は、カメラ自車線Bの区画線B1の種別と複数本のLM車線Aの区画線A1の種別とを照合する。カメラ自車線Bの区画線B1の種別と複数本のLM車線Aのうちの1本のみの区画線A1の種別とが一致する場合に、位置特定部54は、複数本のLM車線Aのうちの1本をLM自車線Rとして特定する。このように特定領域Yに存在するLM車線Aの数に応じてLM自車線Rの特定方法を変えることで、LM自車線Rを効率的に特定することができる。
18 車外カメラ(撮像装置の一例)
32 移動量算出部
53 LM生成部(地図生成部の一例)
54 位置特定部(自車線特定部の一例)
A LM車線(地図上の車線の一例)
A1 LM車線の区画線
B カメラ自車線(撮像自車線の一例)
B1 カメラ自車線の区画線
D 路肩
F カメラ隣接車線
F1 カメラ隣接車線の区画線
P GNSS自車位置(地図上の車両の位置の一例)
R LM自車線(地図上の自車線の一例)
V 車両
Y 特定領域
Claims (5)
- 車両が走行する走行路の画像を撮影する撮像装置と、
前記車両の周辺領域の地図を生成する地図生成部と、
前記地図上で前記車両が走行している自車線を特定する自車線特定部と、を備えた車両制御システムであって、
前記自車線特定部は、
前記地図上で前記車両の位置を推定し、
前記地図上で前記車両の位置を含む特定領域に存在する車線の数を算出し、
前記地図上の前記特定領域に1本の前記車線のみが存在する場合に、1本の前記車線を前記地図上の前記自車線として特定し、
前記地図上の前記特定領域に複数本の前記車線が存在する場合に、前記撮像装置が撮影した画像から認識される自車線である撮像自車線の区画線の種別と前記地図上の複数本の前記車線の区画線の種別とを照合し、前記撮像自車線の前記区画線の種別と前記地図上の複数本の前記車線のうちの1本のみの前記車線の前記区画線の種別とが一致する場合に、前記地図上の複数本の前記車線のうちの前記1本を前記地図上の前記自車線として特定し、
前記撮像装置が撮影した画像から認識される区画線の種別を特定可能であるという条件と、新たに特定した前記地図上の前記自車線の車線番号と既に特定している前記地図上の前記自車線の車線番号とが一致しないという条件と、が両方とも成立する場合に、前記地図上の前記自車線の車線番号をリセットすることを特徴とする車両制御システム。 - 前記自車線特定部は、前記撮像自車線の前記区画線の種別と前記地図上の複数本の前記車線の前記区画線の種別とが一致し、且つ、前記撮像自車線の左右一方側に路肩が存在する場合に、前記地図上の複数本の前記車線のうちで前記左右一方側の端部に位置する前記車線を前記地図上の前記自車線として特定することを特徴とする請求項1に記載の車両制御システム。
- 前記自車線特定部は、前記撮像自車線の前記区画線の種別と前記地図上の複数本の前記車線の前記区画線の種別とが一致し、前記撮像自車線の左右両側及び前記撮像自車線の左右の隣接車線の左右両側に前記区画線が存在し、且つ、前記地図上の前記特定領域に3本の前記車線が存在する場合に、3本の前記車線のうちの真ん中の前記車線を前記地図上の前記自車線として特定することを特徴とする請求項1に記載の車両制御システム。
- 前記自車線特定部は、前記地図上の前記自車線を特定した後、前記地図上で前記車両が車線変更を行ったと判定した場合に、前記車線変更の方向に応じて前記地図上の前記自車線を変更することを特徴とする請求項1~3のいずれか1項に記載の車両制御システム。
- 地図上で車両が走行している自車線を特定するための自車線特定方法であって、
前記地図上で前記車両の位置を推定するステップと、
前記地図上で前記車両の位置を含む特定領域に存在する車線の数を算出するステップと、
前記地図上の前記特定領域に1本の前記車線のみが存在する場合に、1本の前記車線を前記地図上の前記自車線として特定するステップと、
前記地図上の前記特定領域に複数本の前記車線が存在する場合に、撮影された画像から認識される自車線である撮像自車線の区画線の種別と前記地図上の複数本の前記車線の区画線の種別とを照合し、前記撮像自車線の前記区画線の種別と前記地図上の複数本の前記車線のうちの1本のみの前記車線の前記区画線の種別とが一致する場合に、前記地図上の複数本の前記車線のうちの前記1本を前記地図上の前記自車線として特定するステップと、
撮影された前記画像から認識される区画線の種別を特定可能であるという条件と、新たに特定した前記地図上の前記自車線の車線番号と既に特定している前記地図上の前記自車線の車線番号とが一致しないという条件と、が両方とも成立する場合に、前記地図上の前記自車線の車線番号をリセットするステップと、を含むことを特徴とする自車線特定方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020219157A JP7216699B2 (ja) | 2020-12-28 | 2020-12-28 | 車両制御システム及び自車線特定方法 |
CN202111569954.0A CN114689076B (zh) | 2020-12-28 | 2021-12-21 | 车辆控制系统和本车道识别方法 |
US17/559,147 US11867527B2 (en) | 2020-12-28 | 2021-12-22 | Vehicle control system and own lane identifying method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020219157A JP7216699B2 (ja) | 2020-12-28 | 2020-12-28 | 車両制御システム及び自車線特定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022104134A JP2022104134A (ja) | 2022-07-08 |
JP7216699B2 true JP7216699B2 (ja) | 2023-02-01 |
Family
ID=82120145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020219157A Active JP7216699B2 (ja) | 2020-12-28 | 2020-12-28 | 車両制御システム及び自車線特定方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11867527B2 (ja) |
JP (1) | JP7216699B2 (ja) |
CN (1) | CN114689076B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7540375B2 (ja) * | 2021-03-22 | 2024-08-27 | トヨタ自動車株式会社 | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム |
JP7505443B2 (ja) * | 2021-05-07 | 2024-06-25 | トヨタ自動車株式会社 | 遠隔監視装置、遠隔監視システム、遠隔監視方法、及び遠隔監視プログラム |
DE102021210924A1 (de) * | 2021-09-29 | 2023-03-30 | Volkswagen Aktiengesellschaft | Verfahren zum Querführen eines Kraftfahrzeugs auf einer Straße mit wenigstens zwei Fahrspuren sowie Kraftfahrzeug |
CN115574805B (zh) * | 2022-12-02 | 2023-04-28 | 小米汽车科技有限公司 | 车道线关系的识别方法、装置、车辆和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005215985A (ja) | 2004-01-29 | 2005-08-11 | Fujitsu Ltd | 走行車線判定プログラムおよびその記録媒体、走行車線判定装置ならびに走行車線判定方法 |
JP2010071810A (ja) | 2008-09-18 | 2010-04-02 | Aisin Aw Co Ltd | レーン判定装置及びレーン判定プログラム、並びにそれを用いたナビゲーション装置 |
JP2015212944A (ja) | 2014-05-06 | 2015-11-26 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド | 道路の車線識別子を決定する方法及び装置 |
JP6342104B1 (ja) | 2017-03-27 | 2018-06-13 | 三菱電機株式会社 | 車両位置推定装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8676492B2 (en) * | 2006-01-19 | 2014-03-18 | GM Global Technology Operations LLC | Map-aided vision-based lane sensing |
JP4861850B2 (ja) * | 2007-02-13 | 2012-01-25 | アイシン・エィ・ダブリュ株式会社 | レーン判定装置及びレーン判定方法 |
US10503983B2 (en) * | 2015-08-19 | 2019-12-10 | Mitsubishi Electric Corporation | Lane recognition apparatus and lane recognition method |
JP2017161501A (ja) * | 2016-03-07 | 2017-09-14 | 株式会社デンソー | 走行位置検出装置、走行位置検出方法 |
WO2018179616A1 (ja) * | 2017-03-27 | 2018-10-04 | 三菱電機株式会社 | 車両位置推定装置 |
JP6666304B2 (ja) | 2017-06-02 | 2020-03-13 | 本田技研工業株式会社 | 走行制御装置、走行制御方法、およびプログラム |
JP6627153B2 (ja) * | 2017-09-11 | 2020-01-08 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
CN118603128A (zh) * | 2018-05-15 | 2024-09-06 | 御眼视觉技术有限公司 | 用于自主车辆导航的系统和方法 |
WO2021261304A1 (ja) * | 2020-06-23 | 2021-12-30 | 株式会社Soken | 自車位置推定装置、走行位置推定方法 |
-
2020
- 2020-12-28 JP JP2020219157A patent/JP7216699B2/ja active Active
-
2021
- 2021-12-21 CN CN202111569954.0A patent/CN114689076B/zh active Active
- 2021-12-22 US US17/559,147 patent/US11867527B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005215985A (ja) | 2004-01-29 | 2005-08-11 | Fujitsu Ltd | 走行車線判定プログラムおよびその記録媒体、走行車線判定装置ならびに走行車線判定方法 |
JP2010071810A (ja) | 2008-09-18 | 2010-04-02 | Aisin Aw Co Ltd | レーン判定装置及びレーン判定プログラム、並びにそれを用いたナビゲーション装置 |
JP2015212944A (ja) | 2014-05-06 | 2015-11-26 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド | 道路の車線識別子を決定する方法及び装置 |
JP6342104B1 (ja) | 2017-03-27 | 2018-06-13 | 三菱電機株式会社 | 車両位置推定装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114689076B (zh) | 2024-11-05 |
US20220205810A1 (en) | 2022-06-30 |
US11867527B2 (en) | 2024-01-09 |
JP2022104134A (ja) | 2022-07-08 |
CN114689076A (zh) | 2022-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7216699B2 (ja) | 車両制御システム及び自車線特定方法 | |
JP7150900B2 (ja) | 推奨レーンを判定する車両システム | |
JP2022107907A (ja) | 推奨レーンを判定する車両システム | |
US11788863B2 (en) | Map information system | |
JP7212078B2 (ja) | 推奨レーンを判定する車両システム | |
JP7241784B2 (ja) | 地図データの更新方法及び地図情報システム | |
JP2022108028A (ja) | 経路データ変換方法、経路データ変換プログラム、及び、経路データ変換装置 | |
JP7144504B2 (ja) | 車両制御システム | |
JP7164639B2 (ja) | 車両システム | |
JP7164640B2 (ja) | 車両システム | |
US11879748B2 (en) | Map information system | |
US20220258772A1 (en) | Vehicle control apparatus | |
JP7197554B2 (ja) | 車両制御システム及び区画線推定方法 | |
US20220204023A1 (en) | Vehicle control system and road shoulder entry determining method | |
JP7132368B2 (ja) | 車両システム | |
JP7341176B2 (ja) | 地図データの更新方法及び地図情報システム | |
WO2023188095A1 (ja) | 走路推定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220920 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7216699 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |