[go: up one dir, main page]

JP2013191072A - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP2013191072A
JP2013191072A JP2012057632A JP2012057632A JP2013191072A JP 2013191072 A JP2013191072 A JP 2013191072A JP 2012057632 A JP2012057632 A JP 2012057632A JP 2012057632 A JP2012057632 A JP 2012057632A JP 2013191072 A JP2013191072 A JP 2013191072A
Authority
JP
Japan
Prior art keywords
object detection
image
vehicle
risk
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012057632A
Other languages
English (en)
Inventor
Takeshi Shima
健 志磨
Miki Higuchi
未来 樋口
Haruki Matono
春樹 的野
Taisetsu Tanimichi
太雪 谷道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to JP2012057632A priority Critical patent/JP2013191072A/ja
Priority to US14/379,711 priority patent/US20150015384A1/en
Priority to PCT/JP2013/052653 priority patent/WO2013136878A1/ja
Priority to DE112013001424.6T priority patent/DE112013001424T5/de
Publication of JP2013191072A publication Critical patent/JP2013191072A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】ドライバが違和感を受けることのない追従走行制御を可能とする物体検出装置を得ること。
【解決手段】本発明の物体検出装置104は、自車両103に搭載された撮像装置105,106から車外を撮像した画像に基づいて自車両前方の対象物102を検出し、該対象物102との相対距離または相対速度を算出する物体検出装置104であって、前記画像に基づいて、自車両103の走行リスクとなるリスク要因の有無を判定するリスク要因判定部111を有することを特徴としている。
【選択図】図１

Description

本発明は、例えば車外の画像情報から先行車両を検出する物体検出装置に関する。
車両の安全な走行を実現するために、車両の周囲の危険な事象を検出して、検出した危険な事象を回避するために、車両の操舵、アクセル、ブレーキを自動制御する装置に関して研究開発が行われており、一部の車両には既に搭載されている。その中でも、車両に搭載したセンサで先行車両を検知して先行車両に追突しないように追従走行を行うアダプティブ・クルーズ・コントロールは、車両の安全性向上やドライバの利便性向上の面で有効である。アダプティブ・クルーズ・コントロールは、物体検出装置により先行車両を検出し、その検出結果に基づいて制御を行う。
特開2004-17763号公報 特願2005-210895号公報 特願2010-128949号公報
「大塚裕史 他："エッジペア特徴空間法を用いた車両検知技術の開発"VIEW2005 ビジョン技術の実用化ワークショップ講演論文集 pp160-165, 2005」 「三井相和, 山内悠嗣, 藤吉弘亘、Joint HOG特徴を用いた2段階AdaBoostによる人検出 第14回画像センシングシンポジウム SSII08, IN1-06, 2008」
しかしながら、例えば坂道の頂上手前やカーブなどの自車両前方の見通しが悪い場所や、雨や霧などで視界不良となっている場合など、ドライバが車両を安全に走行させるのにリスクを感じる状況にも関わらず、先行車両の検出結果に基づく画一的な追従走行制御が行われると、ドライバに違和感を与えるおそれがある。
本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、ドライバが違和感を受けることのない追従走行制御を可能とする物体検出装置を提供することにある。
上記課題を解決する本発明の物体検出装置は、自車両に搭載された撮像装置から車外を撮像した画像に基づいて自車両前方の対象物を検出し、該対象物との相対距離または相対速度を算出する物体検出装置であって、前記画像に基づいて、自車両の走行リスクとなるリスク要因の有無を判定するリスク要因判定手段を有することを特徴としている。
本発明によれば、対象物を検出する際に、画像に基づいて自車両の走行リスクとなるリスク要因の有無を判定するので、かかる検出結果を追従走行制御に用いた場合に、自車両周辺のリスク要因を考慮して、車両の加減速を制御することができ、より安全で安心感のある車両制御を行うことが可能となる。
本発明の概要を示す図。 対象物検出部における処理フローを示した図。 車両領域出力処理の出力内容を示した図。 信頼度算出部の処理フローを示した図。 リスク要因判定部の処理フローを示した図。 先行車両との相対距離を求める処理の内容を示した図。 前方見通し判定処理の内容を示した図。
以下、本実施の形態について図面を参照しつつ詳細に説明する。
本実施の形態では、本発明の物体検出装置を、車両に搭載されたステレオカメラの映像を用いて先行車両を検出する装置に適用した場合について説明する。
まず、図１を用いて本実施の形態における車両システムの概要について説明する。
図１において、符号104は、車両（自車両）103に搭載されたステレオカメラ装置であり、車両103の前方を走行する先行車両102の存在を検出し、車両103から先行車両102までの相対距離または相対速度を算出する。
ステレオカメラ装置104は、車両103の前方を撮像する左撮像部105と右撮像部106の２つのカメラを有しており、左撮像部105で撮像した左画像が左画像入力部107に入力され、右撮像部106で撮像した右画像が右画像入力部108に入力される。
対象物検出部109は、左画像入力部107に入力された左画像中を探索し、先行車両102が撮像されている部分を抽出し、同時に、左画像と右画像に撮像された先行車両102の画像上のずれ量を用いて、車両103から先行車両102までの相対距離または相対速度を算出する。対象物検出部109の処理の詳細については後述する。
信頼度算出部110では、対象物検知部109で検出した先行車両102についての検知結果に関する信頼度を算出する。信頼度算出部110の詳細については後述する。
リスク要因判定部（リスク要因判定手段）111では、対象物検知部109で先行車両102を検出した際の、検出結果の信頼度低下につながる周囲環境のリスク要因の有無を判定する。ここで、リスク要因は、自車両の走行リスクとなるものであり、例えば、車両103のフロントガラスやステレオカメラ装置104の左右撮像部105、106のレンズに水滴や汚れがついているか否か、車両103の前方の視界が、霧や降雨、降雪によって悪くなっている（視界不良）か否か、車両103の前方の道路線形の見通し（起伏やカーブ）が悪くなっているか否か、等の要因をいう。リスク要因判定部111の詳細については後述する。
検知結果出力部112では、対象物検知部109で検出した先行車両102の存在の有無、車両103（自車両）との相対距離・相対速度、信頼度算出部110で算出した先行車両102の検知結果に関する信頼度、リスク要因判定部111で判定したリスク要因の判定結果を出力する。検知結果出力部112の詳細については後述する。
車両103の車両制御ユニット113では、ステレオカメラ装置104の出力結果である、対象物検出部109で算出した先行車両102との相対距離・相対速度と、信頼度算出部110で算出した先行車両102の検知結果に関する信頼度と、リスク要因判定部111で判定したリスク要因の判定結果とに基づき、先行車両102に追従走行するためのアクセル制御量、ブレーキ制御量、ステアリング制御量を算出し、車両103の加減速などの車両制御を行う。
次に、図２を用いて、ステレオカメラ装置104の対象物検出部109で行う処理について説明する。図２は、対象物検出部109で行われる処理フローである。まず、左右画像取得処理201において、ステレオカメラ装置104の左画像入力部107に入力された左撮像部105で撮像された左画像と、右画像入力部108に入力された右撮像部106で撮像された右画像を取得する。
次に、処理領域決定処理202において、左右画像取得処理201で取得した左右画像のうち、左画像中から先行車両102が撮像されている部分を抽出する処理を行う領域を決定する。処理領域の決定方法の１つとして、例えば、左撮像部105で撮像された左画像中から、車両103が走行する道路101の走行車線の両側の2本の車線境界線114を検出し、検出した2本の車線境界線114に挟まれる領域を処理領域とする方法がある。
次に、縦エッジペア抽出処理203において、処理領域決定処理202で決定した画像の処理領域内において、画像の縦方向に画像輝度のエッジ成分がペアとなって存在する縦エッジペアを抽出する。縦エッジペアの抽出では、画像を横方向に走査し、画像の輝度値の勾配が一定閾値以上の部分が、画像の縦方向に連続して存在する部分を検出する処理が行われる。
次に、パターンマッチ処理204において、縦エッジペア抽出処理203で抽出した縦エッジペアを囲む矩形領域に対して、学習データ205との輝度パターンの類似性を計算し、矩形領域が、先行車両102を撮像した部分であるかを判定する。類似性の判定には、ニューラルネットワークやサポートベクターマシンといった手法を使う。また、学習データ205は、予め様々な先行車両102の背面を撮像した多数のポジティブデータ画像と、先行車両102の背面ではない被写体を撮像した多数のネガティブデータ画像を準備しておくものとする。
次に、先行車両領域抽出処理206において、パターンマッチ処理204で先行車両102との類似性の度合いがある一定閾値以上の画像中の矩形領域(図3の302)の座標値(u1,v1)、(u1, v2)、(u2,v1)、(u2,v2)を出力する。
次に、相対距離・相対速度算出処理207において、先行車両領域抽出処理206で抽出した領域中の先行車両102と車両103との相対距離または相対速度を算出する。ステレオカメラ装置104から検出対象物までの相対距離算出方法について図6を用いて説明する。図6は、ステレオカメラ装置104の左画像611と右画像612の対応点601（左右カメラで撮像された同一物体）のカメラからの距離を算出する方法を説明したものである。
図6において、左撮像部105は、レンズ602と撮像面603から成る焦点距離f、光軸608のカメラであり、右撮像部106は、レンズ604と撮像面605から成る焦点距離f、光軸609のカメラである。カメラ前方にある点601は、左の撮像部105の撮像面603の点606（光軸608からd2の距離）へ撮像され、左画像611では点606（光軸608からd4画素の位置）となる。同様に、カメラ前方にある点601は、右撮像部106の撮像面605の点607（光軸609からd3の距離）に撮像され、右画像612では点607（光軸609からd5画素の位置）となる。
このように同一の物体の点601が、左画像611では光軸608から左へd4画素の位置、右画像612では光軸609から右へd5の位置に撮像され、d4+d5画素の視差が発生する。このため、左の撮像部105の光軸608と点601との距離をxとすると、以下の式により、ステレオカメラ装置104から点601までの距離Dを求めることができる。
点601と左の撮像部105との関係から d2 : f = x : D
点601と右の撮像部106との関係から d3 : f = (d-x) : D
従って、D = f × d / (d2 + d3) = f × d / { (d4 + d5 ) × a} となる。ここで、aは撮像面603、605の撮像素子のサイズである。
ステレオカメラ装置104から検出対象物までの相対速度算出に関しては、先に求めた検出対象物までの相対距離の時系列の微分値をとることで相対速度とする。
最後に、検出結果出力処理208において、縦エッジペア抽出処理203で抽出した縦エッジに関するデータと、パターンマッチ処理204にて処理したパターンマッチの判定値に関するデータと、先行車両領域抽出処理206で算出した先行車両までの相対距離・相対速度を出力する。
次に、図4を用いて信頼度算出部110において行われる処理について説明する。図4は、信頼度算出部110で行われる処理フローである。
まず、車両検出結果取得処理401において、対象物検出部109の検出結果出力処理208で出力されたデータを取得する。取得するデータは、縦エッジペア抽出処理203で抽出した縦エッジに関するデータと、パターンマッチ処理204にて処理したパターンマッチの判定値に関するデータと、先行車両領域抽出処理206で算出した先行車両までの相対距離・相対速度である。
次に、縦エッジペアの信頼度算出処理402において、車両検出結果取得処理401で取得したデータのうち、縦エッジペア抽出処理203で抽出した縦エッジに関するデータを利用して、検出した縦エッジペアの検出に関する信頼度を算出する。縦エッジに関するデータとは、縦エッジを抽出した際の輝度勾配値の平均値と、ペアを算出する際の投票値である。投票値は、２本の縦エッジの中心位置に対応するハフ空間中の位置に投票を行った値である（例えば、非特許文献１を参照）。
ここで、最も鮮明に先行車両102が撮像されている時の縦エッジの輝度勾配値の平均値と、ペア算出する際の投票値の合計の値をaとして、検出した縦エッジの輝度勾配値の平均値とペアを算出する際の投票値の合計をaで除算した値を縦エッジペアの信頼度とする。
次に、パターンマッチ信頼度算出処理403において、車両検出結果取得処理401で取得したデータのうち、パターンマッチ処理204にて処理したパターンマッチの判定値に関するデータを利用して、検出した車両領域に関する信頼度を算出する。パターンマッチの判定値に関するデータとは、縦エッジペア抽出処理203で抽出した２つの縦エッジで囲まれる矩形の領域に対して、学習データ205との輝度パターンの類似性を計算した際の類似度である。
ここで、最も鮮明に先行車両102が撮像されている時の類似度をbとして、２つの縦エッジで囲まれる矩形領域と学習データとの類似度をbで除算した値をパターンマッチ信頼度とする。
次に、相対距離・相対速度信頼度算出処理404において、車両検出結果取得処理401で取得したデータのうち、先行車両領域抽出処理206で算出した先行車両までの相対距離・相対速度のばらつきを利用して、算出した相対距離・相対速度に関する信頼度を算出する。
ここで、相対速度と相対距離を過去のある時点から現在までの値の時系列の分散値を計算し、最も安定して先行車両102が検出された時の相対距離の分散値をc、相対速度の分散値をdとして、算出した相対距離の分散値をcで除算した値の逆数を相対距離に関する信頼度とし、算出した相対速度の分散値をdで除算した値の逆数を相対速度に関する信頼度とする。
車両検知信頼度算出処理405において、縦エッジペアの信頼度算出処理402とパターンマッチ信頼度算出処理403と相対距離・相対速度信頼度算出処理でそれぞれ算出した全ての信頼度の積を算出し、車両検知信頼度とする。
次に、図5を用いてリスク要因判定部111において行われる処理について説明する。図5は、リスク要因判定部111で行われる処理フローである。
まず、水滴・汚れ付着判定処理501において、車両103のフロントガラスや、ステレオカメラ装置104の左右撮像部105、106のレンズに水滴や汚れが付着しているか否か判定する。ステレオカメラ装置104が車内に設置されており、フロントガラスを通して車両前方を撮像している場合は、フロントガラスに水滴や汚れが付着しているか否かを判定する。
水滴の付着の判定に関しては、車両103に装着されているフロントガラスの雨滴センサのデータを取得するか、または、ステレオカメラ装置104に装着したLED光照射装置からLED光をフロントガラスに照射し、水滴による散乱光をステレオカメラ装置104で検出し、散乱光が検出される場合は水滴が付着していると判定する。この際、散乱光の散乱度合いを水滴付着の度合い（リスク度合い）として出力する（リスク度合い算出手段）。
また、汚れの付着の判定に関しては、ステレオカメラ装置104の左撮像部105で撮像した画像に関して、現時点の画像と１フレーム前の画像の画像全体の各画素の差分を算出し、その差分値を過去のある時点から現時点まで累積をとり、差分値の累積値が予め定めた閾値以下の部分の画素が、ある一定以上の面積を占めている場合に、フロントガラスに汚れが付着していると判定する。この際、差分値の累積値が閾値以下の部分の面積値を、汚れ付着の度合い（リスク度合い）として出力する（リスク度合い算出手段）。
また、ステレオカメラ装置104が車外に設置されている場合は、ステレオカメラ装置104の左撮像部105と右撮像部106のレンズに水滴が付着しているか否かを判定する。
水滴の付着の判定に関しては、例えば、ステレオカメラ装置104の左撮像部105で撮像した画像に関して、画像全体の輝度エッジを算出し、その輝度エッジの勾配の値を、過去のある時点から現時点まで累積し、累積値が予め定めた閾値以上の画素がある一定以上の面積を占めている場合に、水滴が付着していると判定する。この際、輝度エッジの勾配の累積値が閾値以上の部分の面積値を、水滴の付着度合い（リスク度合い）として出力する（リスク度合い算出手段）。レンズへの汚れの付着の判定に関しては、フロントガラスに汚れが付着しているか判定する方法と同じであるのでその詳細な説明は省略する。
次に、視界度判定処理502において、車両103の前方の視界が、霧や降雨、降雪によって悪くなっている（視界不良）か否かを判定する。視界度を判定するために、例えば、ステレオカメラ装置104の左撮像部105で撮像した画像中の、道路101を撮像している一定面積の画像領域を抽出する。そして、矩形内の各画素の輝度値の平均値が予め定めた閾値以上の場合に、霧や降雨、降雪によって道路面が白く見え、視界が悪くなっていると判定する。また、その際、矩形内の求めた輝度値の平均値に関して、予め求めた閾値からの偏差を算出し、偏差の値を視界度（リスク度合い）として出力する（リスク度合い算出手段）。
次に、前方見通し判定処理503において、車両103の前方の道路線形の見通し（起伏やカーブ）が悪くなっているか否かを判定する。まず、道路の起伏に関しては、前方が坂の頂上付近であるかどうかを判定する。そのために、ステレオカメラ装置104の左撮像部105で撮像した画像中から、道路101の消失点位置を求め、消失点が空領域中にあるか否かを判定する。
図7において、符号701は、車両103が上り勾配の頂上手前を走行している際のステレオカメラ装置104からの視野を示しており、この結果、ステレオカメラ装置104の左撮像部105で撮像した画像は、画像702のようになる。画像702から道路101の車線境界線114を検出し、複数の車線境界線を延長して交差した点703を消失点として求める。
一方、画像702中の上部において、エッジ成分を検出し、エッジ成分の量が予め定めた閾値以下の領域を空領域704と判定する。そして、先に求めた消失点703が、空領域704の内部に存在する場合、車両103は、上り勾配の坂の頂上付近を走行していると判定する。この際、空領域704の画像縦方向に閉める割合を、坂の頂上への接近度合い（リスク度合い）として出力する（リスク度合い算出手段）。すなわち、空領域704の画像縦方向に閉める割合が小さいと、坂の頂上への接近度合いが低いことを意味し、空領域704の画像縦方向に閉める割合が大きいと、坂の頂上への接近度合いが高いことを意味する。
道路のカーブに関しては、例えば特許文献３に記載されている方法により、ステレオカメラ装置104を用いて車両103前方の道路の形状を検出することができ、前方にカーブが存在するか否かが判定できる。ここでは、カーブの形状を判定する際に利用した車両103前方の立体物の情報から、カーブに沿った立体物までの距離を算出し、その距離をカーブまでの距離とする。
次に、歩行者数判定処理504において、車両103の前方に存在する歩行者の数を検出する。歩行者数の検出は、ステレオカメラ装置104の左撮像部105で撮像した画像を用いて行われ、例えば、非特許文献２に記載されている既知の技術を用いて行われる。そして、検出された歩行者の数が予め設定された閾値よりも多いか否かが判定される。また、検出された歩行者の数と閾値との割合を、歩行者数の度合い（リスク度合い）として出力する（リスク度合い算出手段）なお、この歩行者には、歩いている者以外に、立ち止まっている者や、自転車に乗っている者も含まれる。
最後に、リスク要因出力処理505において、水滴・汚れ付着判定処理501、視界度判定処理602、前方見通し判定処理503、歩行者数判定処理504で判定した内容を出力する。具体的には、水滴・汚れ付着判定処理501からは、水滴の付着の有無と付着度合い、汚れの付着の有無と付着度合いの情報が出力され、視界度判定処理502からは、視界度の情報が出力される。そして、前方見通し判定処理503からは、上り勾配の坂の頂上付近であるか否かと坂の頂上への接近度合いの情報と、前方のカーブの有無とカーブまでの距離の情報が出力される。そして、歩行者数判定処理504からは、車両前方に存在する歩行者数とその度合いの情報が出力される。
次に、ステレオカメラ装置104の検知結果出力部112の処理を説明する。ここでは、対象物検出部109で検出した先行車両102の有無と、先行車両102までの相対距離および相対速度、信頼度算出部110で算出した検出した対象物の信頼度、リスク要因判定部111で判定したリスク要因の判定結果の情報を、ステレオカメラ装置104から出力する。
リスク要因の判定結果の情報には、リスク要因の有無と、リスク要因の度合いが含まれており、具体的には、水滴の付着の有無と付着度合い、汚れの付着の有無と付着度合い、車両前方の視界度、上り勾配の坂の頂上付近であるか否かと坂の頂上への接近度合い、前方のカーブの有無とカーブまでの距離、歩行者数とその度合いの情報が含まれている。なお、これらのリスク要因は一例であり、他のリスク要因が含まれていてもよく、また、すべてが含まれている必要はなく、少なくとも一つが含まれていればよい。
次に、車両103に搭載された車両制御ユニット113の処理を説明する。ここでは、ステレオカメラ装置104の検知結果出力部112から出力されたデータのうち、先行車両102の有無と先行車両102までの相対距離または相対速度を用いて、先行車両102に追突せずに追従走行を行うようなアクセル制御量、ブレーキ制御量を算出する。
また、この際、検知結果出力部112から出力されたデータのうち、検出した対象物の信頼度が予め定めた閾値以上の場合に、先行車両への追従走行を行うアクセル制御量、ブレーキ制御量の算出を行い、検出した対象物の信頼度が閾値以下の場合には、車両制御を行わず、ドライバに前方に車両が存在する可能性がある旨をメータ部分に表示し、ドライバに前方の注意喚起を促す。
これにより、検出した先行車両102の信頼度が低く、車両103が先行車両102に追突せずに追従走行を行う制御が可能な状態でない場合においても、ドライバに前方の注意喚起を行うと同時に、システムが先行車両102を検知しつつある状態であることをドライバが把握することができ、より安全で安心感のある車両制御を行うことが可能となる。
また、先行車両102の存在がない場合、検知結果出力部112から出力されたデータのうち、水滴または汚れの付着の有無と付着度合いが予め定めた閾値以上のとき、車両前方の視界度が予め定めた閾値以下のとき、坂の頂上付近への接近度合いが予め定めた閾値以上のとき、前方カーブまでの距離が予め定めた閾値以下のとき、歩行者数が予め定めた閾値以上のときは、車両のブレーキ制御を行い、予め定めた車両速度まで減速する。
これにより、先行車両102が存在していても、ステレオカメラ装置104が先行車両102を検知できない状況においては予め車両の速度を落とす。
このように、ステレオカメラ装置から出力する検知対象の信頼度や、周辺のリスク要因を考慮して車両の加減速制御を行うことで、先行車両102との追突のリスクを軽減し、より安全で安心感のある車両制御を行うことが可能となる。
１０１ 道路
１０２ 先行車両（対象物）
１０３ 車両（自車両）
１０４ ステレオカメラ装置
１０５ 左撮像部（撮像装置）
１０６ 右撮像部（撮像装置）
１０９ 対象物検出部
１１０ 信頼度算出部
１１１ リスク要因判定部（リスク要因判定手段）
１１２ 検知結果出力部
１１３ 車両制御ユニット

Claims (12)

  1. 自車両に搭載された撮像装置から車外を撮像した画像に基づいて自車両前方の対象物を検出し、該対象物との相対距離または相対速度を算出する物体検出装置であって、
    前記画像に基づいて、自車両の走行リスクとなるリスク要因の有無を判定するリスク要因判定手段を有することを特徴とする物体検出装置。
  2. 前記リスク要因判定手段は、前記画像に基づいて、前記撮像装置のレンズとフロントガラスの少なくとも一方に、水滴と汚れの少なくとも一方が付着しているか否かを判定する水滴・汚れ付着判定処理手段を有することを特徴とする請求項１に記載の物体検出装置。
  3. 前記リスク要因判定手段は、前記画像に含まれる道路面の画像領域の輝度値に基づいて、視界不良か否かを判定する視界度判定処理手段を有することを特徴とする請求項１に記載の物体検出装置。
  4. 前記リスク要因判定手段は、前記画像から求めた自車前方の道路形状に基づいて、前方の見通しが悪いか否かを判定する見通し判定処理手段を有することを特徴とする請求項１に記載の物体検出装置。
  5. 前記リスク要因判定手段は、前記画像から求めた自車前方の歩行者数に基づいて、走行が容易か否かを判定する歩行者数判定処理手段を有することを特徴とする請求項１に記載の物体検出装置。
  6. 前記リスク要因判定手段は、前記画像に基づいて、前記リスク要因の度合いを算出するリスク度合い算出手段を有することを特徴とする請求項１から請求項５のいずれか一項に記載の物体検出装置。
  7. 前記リスク度合い算出手段は、前記水滴・汚れの付着度合いを算出することを特徴とする請求項６に記載の物体検出装置。
  8. 前記リスク度合い算出手段は、前記自車両前方の視界度を算出することを特徴とする請求項６に記載の物体検出装置。
  9. 前記リスク度合い算出手段は、前記自車両前方の見通しの度合いを算出することを特徴とする請求項６に記載の物体検出装置。
  10. 前記リスク度合い算出手段は、前記自車両前方のカーブまでの距離を前記見通しの度合いとして算出することを特徴とする請求項９に記載の物体検出装置。
  11. 前記リスク度合い算出手段は、自車両前方の上り坂の頂上までの距離を前記見通しの度合いとして算出することを特徴とする請求項９に記載の物体検出装置。
  12. 前記画像に基づいて、前記対象物の検出の信頼度を算出する信頼度算出手段を有することを特徴とする請求項１から請求項１１のいずれか一項に記載の物体検出装置。
JP2012057632A 2012-03-14 2012-03-14 物体検出装置 Pending JP2013191072A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012057632A JP2013191072A (ja) 2012-03-14 2012-03-14 物体検出装置
US14/379,711 US20150015384A1 (en) 2012-03-14 2013-02-06 Object Detection Device
PCT/JP2013/052653 WO2013136878A1 (ja) 2012-03-14 2013-02-06 物体検出装置
DE112013001424.6T DE112013001424T5 (de) 2012-03-14 2013-02-06 Objekterkennungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012057632A JP2013191072A (ja) 2012-03-14 2012-03-14 物体検出装置

Publications (1)

Publication Number Publication Date
JP2013191072A true JP2013191072A (ja) 2013-09-26

Family

ID=49160797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012057632A Pending JP2013191072A (ja) 2012-03-14 2012-03-14 物体検出装置

Country Status (4)

Country Link
US (1) US20150015384A1 (ja)
JP (1) JP2013191072A (ja)
DE (1) DE112013001424T5 (ja)
WO (1) WO2013136878A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016024160A (ja) * 2014-07-24 2016-02-08 株式会社日本自動車部品総合研究所 立体物認識装置
JP2016099713A (ja) * 2014-11-19 2016-05-30 トヨタ自動車株式会社 自動運転車両システム
JP2016200929A (ja) * 2015-04-09 2016-12-01 トヨタ自動車株式会社 衝突回避支援装置
JP2018060422A (ja) * 2016-10-06 2018-04-12 株式会社Ｓｏｋｅｎ 物体検出装置
CN110741424A (zh) * 2017-06-22 2020-01-31 三菱电机株式会社 危险信息收集装置
US10755384B2 (en) 2015-11-06 2020-08-25 Clarion Co., Ltd. Object detection method and object detection system
US12105198B2 (en) 2018-06-22 2024-10-01 Mitsubishi Electric Corporation Sensor control apparatus, vehicle, sensing method, and computer readable medium

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9361575B2 (en) * 2013-12-11 2016-06-07 Volvo Car Corporation Method of programming a neural network computer
JP6246014B2 (ja) * 2014-02-18 2017-12-13 クラリオン株式会社 外界認識システム、車両、及びカメラの汚れ検出方法
JP6407626B2 (ja) * 2014-08-26 2018-10-17 日立オートモティブシステムズ株式会社 物体認識装置及び車両制御システム
KR102366402B1 (ko) * 2015-05-21 2022-02-22 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
KR20190080974A (ko) * 2015-08-04 2019-07-08 닛산 지도우샤 가부시키가이샤 단차 검출 장치 및 단차 검출 방법
US10282623B1 (en) * 2015-09-25 2019-05-07 Apple Inc. Depth perception sensor data processing
DE102015225241A1 (de) * 2015-12-15 2017-06-22 Volkswagen Aktiengesellschaft Verfahren und System zur automatischen Steuerung eines Folgefahrzeugs mit einem Vorderfahrzeug
JP6511406B2 (ja) * 2016-02-10 2019-05-15 クラリオン株式会社 キャリブレーションシステム、キャリブレーション装置
DE102016104044A1 (de) * 2016-03-07 2017-09-07 Connaught Electronics Ltd. Verfahren zum Erkennen einer Ablagerung auf einem optischen Element einer Kamera durch einen Merkmalsraum und eine Hyperebene, sowie Kamerasystem und Kraftfahrzeug
JP6706196B2 (ja) * 2016-12-26 2020-06-03 株式会社デンソー 走行制御装置
DE102017203328B4 (de) 2017-03-01 2023-09-28 Audi Ag Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
US10339812B2 (en) 2017-03-02 2019-07-02 Denso International America, Inc. Surrounding view camera blockage detection
US11273830B2 (en) 2017-06-15 2022-03-15 Hitachi Astemo, Ltd. Vehicle control device
WO2021008712A1 (en) * 2019-07-18 2021-01-21 Toyota Motor Europe Method for calculating information relative to a relative speed between an object and a camera
JP7667952B2 (ja) * 2021-02-22 2025-04-24 スズキ株式会社 車両制御システム
US20250024136A1 (en) * 2023-07-14 2025-01-16 Deere & Company Adjusting Visual Output Of Stereo Camera Based On Lens Obstruction

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07318650A (ja) * 1994-05-24 1995-12-08 Mitsubishi Electric Corp 障害物検知装置
JP2001199260A (ja) * 2000-01-20 2001-07-24 Matsushita Electric Ind Co Ltd 車間距離制御装置、車両走行状況表示装置、車速制御解除装置、及び車両急制動警告装置
JP2003159958A (ja) * 2001-11-26 2003-06-03 Nissan Motor Co Ltd 車間距離制御装置
JP2007208865A (ja) * 2006-02-06 2007-08-16 Clarion Co Ltd カメラ状態検知システム
JP2008146549A (ja) * 2006-12-13 2008-06-26 Toyota Central R&D Labs Inc 運転支援装置、マップ生成装置、及びプログラム
JP2010105553A (ja) * 2008-10-30 2010-05-13 Nissan Motor Co Ltd 運転操作支援装置及び運転操作支援方法
JP2010164519A (ja) * 2009-01-19 2010-07-29 Alpine Electronics Inc 地図表示装置
JP2012035795A (ja) * 2010-08-09 2012-02-23 Toyota Motor Corp 車両制御装置、車両制御システムおよび管制装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07318650A (ja) * 1994-05-24 1995-12-08 Mitsubishi Electric Corp 障害物検知装置
JP2001199260A (ja) * 2000-01-20 2001-07-24 Matsushita Electric Ind Co Ltd 車間距離制御装置、車両走行状況表示装置、車速制御解除装置、及び車両急制動警告装置
JP2003159958A (ja) * 2001-11-26 2003-06-03 Nissan Motor Co Ltd 車間距離制御装置
JP2007208865A (ja) * 2006-02-06 2007-08-16 Clarion Co Ltd カメラ状態検知システム
JP2008146549A (ja) * 2006-12-13 2008-06-26 Toyota Central R&D Labs Inc 運転支援装置、マップ生成装置、及びプログラム
JP2010105553A (ja) * 2008-10-30 2010-05-13 Nissan Motor Co Ltd 運転操作支援装置及び運転操作支援方法
JP2010164519A (ja) * 2009-01-19 2010-07-29 Alpine Electronics Inc 地図表示装置
JP2012035795A (ja) * 2010-08-09 2012-02-23 Toyota Motor Corp 車両制御装置、車両制御システムおよび管制装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016024160A (ja) * 2014-07-24 2016-02-08 株式会社日本自動車部品総合研究所 立体物認識装置
JP2016099713A (ja) * 2014-11-19 2016-05-30 トヨタ自動車株式会社 自動運転車両システム
JP2016200929A (ja) * 2015-04-09 2016-12-01 トヨタ自動車株式会社 衝突回避支援装置
US10755384B2 (en) 2015-11-06 2020-08-25 Clarion Co., Ltd. Object detection method and object detection system
JP2018060422A (ja) * 2016-10-06 2018-04-12 株式会社Ｓｏｋｅｎ 物体検出装置
CN110741424A (zh) * 2017-06-22 2020-01-31 三菱电机株式会社 危险信息收集装置
US12105198B2 (en) 2018-06-22 2024-10-01 Mitsubishi Electric Corporation Sensor control apparatus, vehicle, sensing method, and computer readable medium

Also Published As

Publication number Publication date
DE112013001424T5 (de) 2014-12-24
US20150015384A1 (en) 2015-01-15
WO2013136878A1 (ja) 2013-09-19

Similar Documents

Publication Publication Date Title
WO2013136878A1 (ja) 物体検出装置
US12249153B2 (en) Method and device for recognizing and evaluating roadway conditions and weather-related environmental influences
JP6238905B2 (ja) ３ｄカメラを用いた車両周辺部の凹凸プロファイルの割り出し
US10627228B2 (en) Object detection device
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
JP6014440B2 (ja) 移動物体認識装置
CN107093180B (zh) 使用轮胎向后飞溅的基于视觉的潮湿路面状况检测
RU2707409C1 (ru) Способ и устройство для помощи при парковке
Haloi et al. A robust lane detection and departure warning system
WO2014084121A1 (ja) 車載用制御装置
CN202169907U (zh) 车外环境识别装置
CN106463064A (zh) 物体识别装置和使用该物体识别装置的车辆行驶控制装置
CN106841196A (zh) 使用轮胎轨迹的基于视觉的潮湿路面状况检测
US20090052742A1 (en) Image processing apparatus and method thereof
US10108866B2 (en) Method and system for robust curb and bump detection from front or rear monocular cameras
JP7454685B2 (ja) 車両走行路内のデブリの検出
CN108776767A (zh) 一种有效判别车辆压线及预先提示系统
EP3428902A1 (en) Image processing device, imaging device, mobile apparatus control system, image processing method, and program
JP2016206881A (ja) レーン検出装置及びその方法、並びにレーン表示装置及びその方法
KR101709402B1 (ko) 운전 지원 시스템 및 운전 지원 방법
Javadi et al. A robust vision-based lane boundaries detection approach for intelligent vehicles
KR20140104516A (ko) 차선 인식 방법 및 장치
Kim et al. Speed-adaptive ratio-based lane detection algorithm for self-driving vehicles
JP6763198B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
KR20140087622A (ko) 촬영 영상의 휘도를 이용한 차선 추출 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140513

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140924