JP6514736B2 - 車外環境認識装置 - Google Patents
車外環境認識装置 Download PDFInfo
- Publication number
- JP6514736B2 JP6514736B2 JP2017097773A JP2017097773A JP6514736B2 JP 6514736 B2 JP6514736 B2 JP 6514736B2 JP 2017097773 A JP2017097773 A JP 2017097773A JP 2017097773 A JP2017097773 A JP 2017097773A JP 6514736 B2 JP6514736 B2 JP 6514736B2
- Authority
- JP
- Japan
- Prior art keywords
- wheel
- area
- dimensional object
- environment recognition
- bicycle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/801—Lateral distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
図1は、車外環境認識システム100の接続関係を示したブロック図である。車外環境認識システム100は、撮像装置110と、車外環境認識装置120と、車両制御装置(ECU:Engine Control Unit)130とを含んで構成される。
図3は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。図3に示すように、車外環境認識装置120は、I/F部150と、データ保持部152と、中央制御部154とを含んで構成される。
図4は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、まず、立体物領域特定部160が、画面から立体物が存在する立体物領域を特定する立体物領域特定処理(S200)、車輪領域特定部162が、立体物領域から自転車の車輪に相当する車輪候補が存在する車輪領域を特定する車輪領域特定処理(S202)が実行される。そして、車輪判定部164が、特定された車輪領域毎に、車輪領域における、距離情報に基づき自車両1との相対距離が所定範囲となる部位の面積比率が所定値未満であるか否か判定する車輪判定処理(S204)、複数の車輪領域全てに対し車輪らしさを判定したか確認する完了確認処理(S206)が実行される。最後に、自転車判定部166が、車輪判定処理の結果に基づいて、その立体物が自転車であるか否か判定する自転車判定処理(S208)が実行される。
図5は、立体物領域特定処理S200を説明するための説明図である。立体物領域特定部160は、撮像装置110が生成した連続する(時分割された)複数の輝度画像126を参照し、生成時刻の異なる輝度画像126同士の差分により、輝度画像126外から輝度画像126内に進入してきた所定の条件を満たす立体物210を検出する。ここで、所定の条件とは、距離画像128において当該立体物210の自車両1に対する相対距離が所定距離(例えば15m)以内であること、地面からの高さが所定高さ(例えば2m)以内であることである。
図6〜図8は、車輪領域特定処理S202を説明するための説明図である。車輪領域特定部162は、立体物210の移動方向に基づいて、立体物領域特定部160が特定した立体物領域212から、自転車の車輪に相当する車輪候補が存在する車輪領域214を特定する。具体的に、車輪領域特定部162は、図6(a)のように、立体物210の移動方向が左向きであれば、立体物領域212の左端部212aと、立体物領域212の下端部212bとを基準に、一辺が所定の大きさの正方形の領域を車輪領域214として特定し、図6(b)のように、立体物210の移動方向が右向きであれば、立体物領域212の右端部212cと、立体物領域212の下端部212bとを基準に、一辺が所定の大きさの正方形の領域を車輪領域214として特定する。なお、所定の大きさは、自転車の車輪の大きさとして想定される、例えば、27インチ(約69cm)の車輪に対し、検出誤差を踏まえたマージン(例えば、3インチ)を加えた大きさである。なお、本明細書における27インチ等の大きさを示す指標は、それぞれ画面中の大きさ(画素数)等を相対距離に基づいて実際の大きさに置き換えたものである。
図9は、車輪判定処理S204を説明するための説明図である。車輪判定部164は、再特定された車輪領域214について、その中に含まれている立体物が車輪であるか否か、車輪らしさを判定する。ここで、自転車の車輪の特徴を述べる。自転車の車輪は、中央の軸部や、タイヤ部にはある程度大きさを有しているので、その部位の距離情報を得られる。一方、タイヤ部と軸部を結ぶスポークは、画面上の占有面積が小さく、その部位に距離情報を取得不能な背景しか認識できず、有意な距離情報を得られないことが多い。したがって、車輪領域214の中央近傍(スポークが位置する部分)に距離情報が含まれていない場合、もしくは、背景に相当する距離情報しか得られない場合、車輪である可能性が高いと言える。一方、円形状を有する道路標識等では、その中央近傍も円形状の位置と同様に距離情報を有しているので、車輪ではないと判断できる。そこで、本実施形態では、車輪領域214における、自車両1との相対距離が所定範囲となる部位(ここではタイヤ部)の占有面積の比率を導出することで、車輪らしさを判定する。
車輪判定部164は、抽出された複数の車輪領域214全てに対し車輪らしさを判定したか否か確認する。その結果、複数の車輪領域214全てに対し車輪らしさを判定していれば、自転車判定処理S208に処理を移し、車輪領域214全てに対し車輪らしさを判定していなければ、また車輪らしさを判定していない車輪領域214を対象とし車輪判定処理S204に処理を移す。
自転車判定部166は、車輪判定部164が車輪領域214に含まれる立体物が車輪であると(車輪である可能性が高いと)判定すると、他の情報も踏まえ、総合的に、その車輪領域214を移動方向下部に有する立体物領域212に含まれる立体物210を自転車(正確には人が乗車している自転車)であると判定する。
160 立体物領域特定部
162 車輪領域特定部
164 車輪判定部
166 自転車判定部
Claims (3)
- コンピュータが、
画面中の立体物が存在する立体物領域を特定する立体物領域特定部と、
前記立体物領域から自転車の車輪に相当する車輪候補が存在する車輪領域を特定する車輪領域特定部と、
前記車輪領域における、自車両との相対距離が所定範囲となる部位の面積比率が所定値未満であるか否か判定する車輪判定部、
として機能する車外環境認識装置。 - 前記車輪判定部は、車輪の軸部の半径Rc、車輪のタイヤ部の内周の半径Rin、外周の半径Routを導出し、(π(Rc)2+π(Rout2−Rin2))/(2×Rout)2を面積比率とする請求項1に記載の車外環境認識装置。
- 前記車輪領域特定部は、ハフ変換により前記車輪領域に含まれる車輪の中心を導出し、前記車輪の中心に基づいて前記車輪領域を再特定する請求項2に記載の車外環境認識装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017097773A JP6514736B2 (ja) | 2017-05-17 | 2017-05-17 | 車外環境認識装置 |
US15/961,772 US10643083B2 (en) | 2017-05-17 | 2018-04-24 | Vehicle exterior environment recognition apparatus |
CN201810375804.8A CN108944926B (zh) | 2017-05-17 | 2018-04-25 | 车外环境识别装置 |
DE102018110972.5A DE102018110972A1 (de) | 2017-05-17 | 2018-05-08 | Fahrzeugaußenumgebung-Erkennungsvorrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017097773A JP6514736B2 (ja) | 2017-05-17 | 2017-05-17 | 車外環境認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018195037A JP2018195037A (ja) | 2018-12-06 |
JP6514736B2 true JP6514736B2 (ja) | 2019-05-15 |
Family
ID=64272486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017097773A Active JP6514736B2 (ja) | 2017-05-17 | 2017-05-17 | 車外環境認識装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10643083B2 (ja) |
JP (1) | JP6514736B2 (ja) |
CN (1) | CN108944926B (ja) |
DE (1) | DE102018110972A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109977793B (zh) * | 2019-03-04 | 2022-03-04 | 东南大学 | 基于变尺度多特征融合卷积网络的路侧图像行人分割方法 |
CN111857111B (zh) | 2019-04-09 | 2024-07-19 | 商汤集团有限公司 | 对象三维检测及智能驾驶控制方法、装置、介质及设备 |
JP7336367B2 (ja) * | 2019-11-22 | 2023-08-31 | 株式会社Subaru | 車外環境認識装置 |
JP7384131B2 (ja) * | 2020-08-31 | 2023-11-21 | トヨタ自動車株式会社 | 車両の運転支援装置、車両の運転支援方法、およびプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3349060B2 (ja) | 1997-04-04 | 2002-11-20 | 富士重工業株式会社 | 車外監視装置 |
JP2008134877A (ja) | 2006-11-29 | 2008-06-12 | Alpine Electronics Inc | 周辺監視装置 |
JP2010108264A (ja) * | 2008-10-30 | 2010-05-13 | Honda Motor Co Ltd | 車両周辺監視装置 |
DE112008004159B4 (de) * | 2008-12-09 | 2014-03-13 | Toyota Jidosha Kabushiki Kaisha | Objekterfassungsvorrichtung und Objekterfassungsverfahren |
CN102637257B (zh) * | 2012-03-22 | 2014-07-02 | 北京尚易德科技有限公司 | 一种基于视频的交通车辆检测识别系统和方法 |
US9317781B2 (en) * | 2013-03-14 | 2016-04-19 | Microsoft Technology Licensing, Llc | Multiple cluster instance learning for image classification |
JP5641379B1 (ja) * | 2014-03-10 | 2014-12-17 | 俊之介 島野 | 車種判別システム |
EP3282392B1 (en) * | 2015-08-28 | 2021-09-29 | Veoneer Sweden AB | Vision system and method for a motor vehicle |
JP6132411B2 (ja) * | 2015-09-10 | 2017-05-24 | 株式会社Subaru | 車外環境認識装置 |
JP6623046B2 (ja) | 2015-11-27 | 2019-12-18 | サッポロビール株式会社 | ポイント管理システム、ポイント管理方法、およびポイント管理プログラム |
WO2017158983A1 (ja) * | 2016-03-18 | 2017-09-21 | 株式会社Jvcケンウッド | 物体認識装置、物体認識方法及び物体認識プログラム |
-
2017
- 2017-05-17 JP JP2017097773A patent/JP6514736B2/ja active Active
-
2018
- 2018-04-24 US US15/961,772 patent/US10643083B2/en active Active
- 2018-04-25 CN CN201810375804.8A patent/CN108944926B/zh active Active
- 2018-05-08 DE DE102018110972.5A patent/DE102018110972A1/de active Pending
Also Published As
Publication number | Publication date |
---|---|
CN108944926B (zh) | 2022-10-18 |
US10643083B2 (en) | 2020-05-05 |
US20180336422A1 (en) | 2018-11-22 |
DE102018110972A1 (de) | 2018-11-22 |
CN108944926A (zh) | 2018-12-07 |
JP2018195037A (ja) | 2018-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6514736B2 (ja) | 車外環境認識装置 | |
US10803605B2 (en) | Vehicle exterior environment recognition apparatus | |
US10672141B2 (en) | Device, method, system and computer-readable medium for determining collision target object rejection | |
EP3545464A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium | |
JP2012243051A (ja) | 環境認識装置および環境認識方法 | |
US10102437B2 (en) | Vehicle driving hazard recognition and avoidance apparatus and vehicle control device | |
US11145063B2 (en) | Image processing apparatus | |
CN112758086B (zh) | 车外环境识别装置 | |
JP6174884B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
JP6764378B2 (ja) | 車外環境認識装置 | |
JP7229032B2 (ja) | 車外物体検出装置 | |
WO2017154305A1 (ja) | 画像処理装置、機器制御システム、撮像装置、画像処理方法、及び、プログラム | |
JP7071102B2 (ja) | 車外環境認識装置 | |
JP6569416B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法及び画像処理プログラム | |
JP6731020B2 (ja) | 車外環境認識装置および車外環境認識方法 | |
JP2019114150A (ja) | 車外環境認識装置 | |
JP2022040651A (ja) | 車外環境認識装置 | |
JP6273156B2 (ja) | 歩行者認識装置 | |
JP5890816B2 (ja) | フィルタリング装置および環境認識システム | |
JP7336367B2 (ja) | 車外環境認識装置 | |
WO2018097269A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium | |
JP2018088237A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム | |
CN112334944B (zh) | 摄像机装置的标志识别方法及标志识别装置 | |
JP6313667B2 (ja) | 車外環境認識装置 | |
JP5152592B2 (ja) | 物体下端位置検出装置及び物体下端位置検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190412 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6514736 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |