[go: up one dir, main page]

JP6547785B2 - 物標検出装置 - Google Patents

物標検出装置 Download PDF

Info

Publication number
JP6547785B2
JP6547785B2 JP2017044243A JP2017044243A JP6547785B2 JP 6547785 B2 JP6547785 B2 JP 6547785B2 JP 2017044243 A JP2017044243 A JP 2017044243A JP 2017044243 A JP2017044243 A JP 2017044243A JP 6547785 B2 JP6547785 B2 JP 6547785B2
Authority
JP
Japan
Prior art keywords
target
detection target
image
image detection
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017044243A
Other languages
English (en)
Other versions
JP2018026096A (ja
Inventor
崇弘 馬場
崇弘 馬場
祐輔 横井
祐輔 横井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to PCT/JP2017/027126 priority Critical patent/WO2018021444A1/ja
Priority to US16/321,171 priority patent/US11086007B2/en
Publication of JP2018026096A publication Critical patent/JP2018026096A/ja
Application granted granted Critical
Publication of JP6547785B2 publication Critical patent/JP6547785B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411Identification of targets based on measurements of radar reflectivity
    • G01S7/412Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185Controlling the brakes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93271Sensor installation details in the front of the vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Geophysics And Detection Of Objects (AREA)

Description

本発明は、物標を検出する物標検出装置に関する。
車両の衝突回避システムでは、他の車両や歩行者等の物標を精度よく検出することが求められる。そこで、レーダ及び画像センサを用いて物標を検出する構成が提案されている(特許文献1参照)。具体的には、レーダ及び画像センサによりそれぞれ独立して物標を検出し、それら物標の位置関係が判断基準を満たしている場合に、それらの物標が同一物標であると判定する(以下、フュージョン判定と呼称)。
特開2014−122873号公報
特許文献1では、単眼カメラから送信される画像信号を解析して、予め登録されている特定物標の物標モデルを用いたマッチング処理を行うことで、画像検出物標を検出している。特定物標は、衝突を回避する対象である車両や歩行者が主となっている。この場合、例えば、横断歩道を収めた画像に対してマッチング処理を行うと、横断歩道を特定物標の物標モデルの特定方向のシルエットとして誤検出するおそれがある。このとき、例えば、誤検出した画像検出物標の位置付近において、レーダがマンホールや道路標識などの物標を検出した場合、これらの物標が同一物標であると誤判定するおそれがある。
本発明は、上記課題を解決するためになされたものであり、その主たる目的は、特定物標についてレーダ検出物標と画像検出物標とが同一物標であると誤判定することを抑制する事が可能な物標検出装置を提供することにある。
本発明は、車両の進行方向前方に探査波を送信し、物標により反射された反射波を受信するレーダ装置からその反射波に基づく反射情報を取得し、その一方で前記車両の進行方向前方を撮像する単眼カメラから画像情報を取得する物体検出装置であって、前記反射情報に基づいて検出した物標であるレーダ検出物標の位置を検出するレーダ検出物標位置検出部と、前記画像情報に基づいて前記車両に衝突するおそれのある特定物標を検出し、検出した前記特定物標である画像検出物標の位置を検出する画像検出物標位置検出部と、前記レーダ検出物標と前記画像検出物標との位置関係が所定関係となった場合に、前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定する同一物標仮判定部と、前記画像検出物標が、前記車両が通過可能な所定物標であるか否かの判定を行う所定物標判定部と、前記同一物標仮判定部により前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定され、且つ、前記所定物標判定部により前記画像検出物標が前記所定物標であると判定された場合に、前記レーダ検出物標と前記画像検出物標とは同一物標ではないと判定し、一方で、前記同一物標仮判定部により前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定され、且つ、前記所定物標判定部により前記画像検出物標が前記所定物標ではないと判定された場合に、前記レーダ検出物標と前記画像検出物標とは同一物標であると判定する同一物標判定部と、を備えることを特徴とする。
上記構成によれば、レーダ検出物標と画像検出物標との位置関係が所定関係となった場合に、同一物標仮判定部によりレーダ検出物標と画像検出物標とは同一物標であると仮判定される。このとき、車両に衝突するおそれのある特定物標を画像検出物標として正確に検出することができず、車両が通行可能な所定物標を特定物標だとして誤検出している場合がある。この場合、誤検出した画像検出物標の位置情報に基づいて同一物標であると判定すると、特定物標に関する同一物標の判定精度が低くなる。
この対策として、所定物標判定部が備わっている。同一物標仮判定部によりレーダ検出物標と画像検出物標とは同一物標であると仮判定され、且つ、所定物標判定部により画像検出物標が所定物標であると判定された場合に、レーダ検出物標と画像検出物標とは同一物標ではないと同一物標判定部により判定される。これにより、検出対象ではない所定物標を特定物標であるとして誤検出し、誤検出した画像検出物標を基に、特定物標に関する同一物標判定を実施することを抑制することが可能となる。一方で、同一物標仮判定部によりレーダ検出物標と画像検出物標とは同一物標であると仮判定され、且つ、所定物標判定部により画像検出物標が所定物標でないと判定された場合に、レーダ検出物標と画像検出物標とは同一物標であると同一物標判定部により判定される。画像検出物標が所定物標でなければ、それだけ正常に特定物標を画像検出物標として検出している可能性が高くなり、特定物標に関する同一物標判定の精度を向上させることが可能となる。
本実施形態に係る走行支援装置の概略構成図である。 レーダ検出物標と画像検出物標とが同一物標であると判定される状態を示す図である。 本実施形態に係る検出ECUが実施する制御フローチャートである。 図3に記載のステップS150のサブルーチン処理である。 図3に記載のステップS160のサブルーチン処理である。 図3に記載のステップS170のサブルーチン処理である。 別例に係る検出ECUが実施する制御フローチャートである。 図7に記載のステップS375のサブルーチン処理である。
図1に記載の走行支援装置100は、車両(自車両)に搭載され、自車両の進行方向前方等の周囲に存在する物標を検知し、走行支援制御を実施する。この走行支援制御は、物標との衝突を回避すべく、若しくは衝突被害を軽減すべく制御を行うPCSシステムとして機能する。
図1において、走行支援装置100は、検出ECU10、レーダ装置21、及び単眼カメラ22とから構成されている。
レーダ装置21は、例えば、ミリ波帯の高周波信号を送信波とする公知のミリ波レーダであり、自車両の前端部に設けられ、所定の検知角に入る領域を物標を検知可能な検知範囲とし、検知範囲内の物標(レーダ検出物標と呼称)の位置を検出する。具体的には、所定周期で探査波を送信し、複数のアンテナにより反射波を受信する。この探査波の送信時刻と反射波の受信時刻とにより、レーダ検出物標との距離を算出する。また、レーダ検出物標に反射された反射波の、ドップラー効果により変化した周波数により、相対速度を算出する。加えて、複数のアンテナが受信した反射波の位相差により、レーダ検出物標の方位を算出する。なお、レーダ検出物標の位置及び方位が算出できれば、そのレーダ検出物標の、自車両に対する相対位置を特定することができる。レーダ装置21は、所定周期毎に、探査波の送信、反射波の受信、反射位置及び相対速度の算出を行い、算出した反射位置と相対速度とを検出ECU10に送信する。
単眼カメラ22は、自車両の車幅方向中央の所定高さに取り付けられることで、自車両前方へ向けて所定角度範囲で広がる領域を俯瞰視点から撮像する。そして、撮像した画像情報を検出ECU10に送信する。
検出ECU10には、レーダ装置21と単眼カメラ22とが接続されている。検出ECU10は、CPU11、RAM12、ROM13、I/O等を備えたコンピュータである。この検出ECU10は、CPU11が、ROM13にインストールされているプログラムを実行することで各機能を実現する。このため、検出ECU10は物標検出装置として機能することができるので、レーダ検出物標位置検出部と、画像検出物標位置検出部と、同一物標仮判定部と、所定物標判定部と、同一物標判定部と、カウント部と、フロー演算部と、道路標識判定部と、衝突抑制部と、に該当する。
本実施形態において、ROM13にインストールされているプログラムは複数あり、具体的にはパターンマッチングプログラムと、同一物標仮判定プログラムと、走行支援プログラムと、がある。
パターンマッチングプログラムは、単眼カメラ22により送信された画像情報内の輝度を検出し、検出した輝度に基づいて、予め記憶された特定物標に関する物標テンプレートとのパターンマッチングを行う。特定物標に関する物標テンプレートとは、車両及び歩行者の少なくとも一方に関する物標テンプレートである。つまり、本実施形態において、パターンマッチングプログラムは、画像情報内から車両及び歩行者の少なくとも一方を検出する処理である。
具体的なパターンマッチング方法は以下の通りである。画像上において所定の順序で微小量ずつ縦方向及び横方向に特定物標に関する物標テンプレートを動かし、各位置においてパターンマッチングを行う。各位置におけるパターンマッチングとは、その位置における画像の輝度と特定物標に関する物標テンプレートの輝度との一致の度合いを算出し、算出した一致の度合いが基準値よりも大きいか否かを判定する判定処理を指す。この判定処理にて、その位置における画像内の輝度と特定物標に関する物標テンプレートの輝度との一致の度合いが基準値よりも大きいと判定した場合に、特定物標に関する物標テンプレートと適合(マッチング)する輝度情報を有する箇所が画像内に存在すると判定し、その箇所を画像検出物標として検出する。
同一物標仮判定プログラムは、レーダ検出物標の情報と画像検出物標の情報とに基づいて、それぞれの物標が同一の物標を示しているのか否かを仮判定する。具体的には、レーダ検出物標から得られる位置であるレーダ検出物標位置と、パターンマッチングにより検出された画像検出物標から得られる位置である画像検出物標位置とについて、近傍に位置するものを、同じ物標に基づくものであるとして対応付ける。
詳しくは、図2に記載されるように、自車両の車幅方向をX軸、自車両の車長方向をY軸としたXY平面を構築し、検出された画像検出物標位置及びレーダ検出物標位置を中心に、それぞれXY座標における誤差範囲を構築する。そして、レーダ検出物標位置を中心とする誤差範囲(以降、レーダ探索範囲と呼称)と、画像検出物標位置を中心とする誤差範囲(以降、画像探索範囲と呼称)と、で重なる箇所が存在するか否かを判定する。なお、レーダ探索範囲及び画像探索範囲の設定方法は周知であるため、詳細な説明は省略する。レーダ探索範囲と画像検探索範囲とで重なる箇所が存在する場合に、レーダ探索範囲内に実際に物標が存在する可能性が高い。この、レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できている状態を、フュージョン状態と称する。フュージョン状態であると判定した物標については、その位置に物標(以下、同一物標と呼称)が存在していると仮判定する。
走行支援プログラムについては後述する。
このような構成の検出ECU10では、横断歩道や路面模様が収められた画像を単眼カメラ22から取得した場合に、取得した画像に対して物標テンプレートとのパターンマッチングを行うと、横断歩道や路面模様を特定物標に関する物標テンプレートの特定方向のシルエットとして誤検出するおそれがある。このとき、例えば、誤検出した画像検出物標の位置付近において、レーダ装置21がマンホールや道路標識などの物標を検出した場合、これらの物標が同一物標であると誤判定するおそれがある。
一方で、レーダ装置21から取得した情報のみではレーダ検出物標がどのような物標であるか、検出ECU10が判別することは困難である。したがって、物標の種類を区別する事無く、レーダ検出物標として検出することになるため、例えば道路標識をレーダ検出物標として検出している場合がある。この場合、画像情報から道路標識付近に存在する特定物標を画像検出物標として検出すると、画像検出物標とレーダ検出物標とが同一物標であると誤判定するおそれがある。
この対策として、ROM13には、更に所定物標判定プログラムと道路標識判定プログラムと同一物標判定プログラムとが備わっている。
所定物標判定プログラムは、画像情報内の画像探索範囲内に所定物標が存在するか否かの判定を行う。所定物標とは、車両が通過可能な物標であり、且つ、特定物標に関する物標テンプレートとのパターンマッチングで画像検出物標と誤検出するおそれのある物標のことである。本実施形態において、所定物標は、横断歩道及び路面模様を想定している。このとき、画像探索範囲内に横断歩道が存在するか否かの判定と、画像探索範囲内に路面模様が存在するか否かの判定とでは、判定方法が異なるため、所定物標判定プログラムは、それぞれの判定を個別に実施する。
画像情報内の画像探索範囲内に横断歩道が存在するか否かの判定方法は以下の通りである。横断歩道の多くは、車道を横切る方向に、白線が間欠的に複数描かれた領域であるため、画像情報内において横断歩道が存在する箇所では、輝度が所定パターンで検出されることが想定される。これを考慮し、画像情報内の画像探索範囲内において、輝度が所定パターンで変化する箇所がある場合に、その輝度の変化回数をカウントする。そして、カウントした輝度の変化回数が所定回数よりも多い場合に、画像探索範囲内に横断歩道が存在しており、横断歩道を画像検出物標として検出している可能性があると判定する。
画像情報内の画像探索範囲内に路面模様が存在するか否かの判定方法は以下の通りである。道路には、横断歩道以外にも、例えば白線で書かれた文字や矢印などの路面模様が存在する。このような路面模様は、車線を区画する白線や横断歩道を構成する白線と比較して、複雑な構成をしていることが想定される。したがって、複雑な構成をした路面模様は、横断歩道のように輝度が所定パターンで変化するものではないことが想定されるため、輝度変化から路面模様を検出することは困難である。よって、路面模様を直接判別するのではなく、画像探索範囲内には路面が存在するのみか否かを判定し、画像探索範囲内に路面が存在するのみであれば、路面模様を画像検出物標として検出している可能性があると判定する。
具体的には、画像探索範囲内(すなわち画像検出物標)のオプティカルフローを演算し、演算したオプティカルフローと、予め記憶された路面のオプティカルフローモデルと、の類似判定を実施する。オプティカルフローとは、画像中において輝度変化した境界線を構築する点としての境界点を複数検出し、検出した複数の境界点を動きベクトルとして表したものである。ここで、画像検出物標が平面上の物体である場合と立体物である場合とで、オプティカルフローに相違が生じる。このため、境界点を多く検出し、それら全ての動きベクトルを表すことで、画像検出物標が平面なのか立体物なのかを精密に判定することができる。このことから、演算された画像探索範囲内のオプティカルフローと、予め記憶された路面のオプティカルフローモデルと、の類似度が閾値よりも高い場合に、画像探索範囲内に路面模様が存在しており、路面模様を画像検出物標として検出している可能性があると判定する。
道路標識判定プログラムは、レーダ探索範囲内に道路標識が存在するか否かを単眼カメラ22から取得した画像情報に基づいて判定する。具体的には、画像情報内のレーダ探索範囲に該当する範囲内の輝度を網羅的に検出する。そして、道路標識に関する物標テンプレートを所定の順序で動かし、その位置における輝度と道路標識に関する物標テンプレートとの一致度合いを算出する。算出した一致度合いが基準値よりも大きい箇所が存在すると判定した場合に、レーダ探索範囲内に道路標識が存在しており、道路標識をレーダ検出物標として検出している可能性があると判定する。
同一物標判定プログラムは、レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できており、同一物標が存在すると同一物標仮判定プログラムにより仮判定され、且つ、所定物標を画像検出物標として検出している可能性があると所定物標判定プログラムにより判定された場合に、レーダ検出物標と画像検出物標とが同一物標ではないと判定する。又は、レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できており、同一物標が存在すると同一物標仮判定プログラムにより仮判定され、且つ、道路標識をレーダ検出物標として検出している可能性があると道路標識判定プログラムにより判定された場合に、レーダ検出物標と画像検出物標とが同一物標ではないと判定する。
一方で、レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できており、同一物標が存在すると同一物標仮判定プログラムにより仮判定され、且つ、所定物標を画像検出物標として検出している可能性は低いと所定物標判定プログラムにより判定され、且つ、道路標識をレーダ検出物標として検出している可能性は低いと道路標識判定プログラムにより判定された場合に、レーダ検出物標と画像検出物標とが同一物標であると判定する。
本実施形態において、走行支援プログラムは、レーダ検出物標と画像検出物標とが同一物標であると同一物標判定プログラムにより判定されたことを条件として、自車両と同一物標との位置関係に基づいて、規定の走行支援処理を実施させる。
本実施形態において、走行支援処理とは、自車両前方に存在する特定物標と衝突する可能性が懸念される場合に自車両を制動させる制動処理(抑制制御に該当)に該当する。したがって、自車両には、検出ECU10からの制御指令により駆動する安全装置として、ブレーキ装置31が備えられている。
ブレーキ装置31は、自車両を制動する制動装置である。例えば、検出ECU10が、同一物標が自車両と衝突するまでの時間である衝突予測時間(TTC:Time−to−collision)を算出し、衝突予測時間が所定時間よりも縮まり、物標に自車両が衝突する可能性が高まったと判定した場合に、検出ECU10からの制御指令により、ブレーキ装置31が作動する。具体的には、ドライバによるブレーキ操作に対する制動力をより強くしたり(ブレーキアシスト機能)、ドライバによりブレーキ操作が行われてなければ自動制動を行ったりする(自動ブレーキ機能)。
本実施形態では、検出ECU10により後述する図3に記載の同一物標判定制御を実施する。図3に示す同一物標判定制御は、検出ECU10が電源オンしている期間中に検出ECU10によって所定周期で繰り返し実施される。
まず、ステップS100にて、レーダ装置21により検出されたレーダ検出物標の位置情報を取得する。ステップS110では、取得したレーダ検出物標の位置情報を中心としてレーダ探索範囲を構築する。
ステップS120では、単眼カメラ22から取得した画像情報より画像検出物標を検出する。ステップS130では、検出した画像検出物標の位置情報を中心として画像探索範囲を設定する。
ステップS140では、設定したレーダ探索範囲と画像探索範囲とで重なる箇所が存在するか否かを判定することで、レーダ検出物標と画像検出物標とが同一物標であるか否かを仮判定する。レーダ探索範囲と画像探索範囲とで重なる箇所が存在せず、レーダ検出物標と画像検出物標とが同一物標ではないと判定した場合には(S140:NO)、本制御を終了する。レーダ探索範囲と画像探索範囲とで重なる箇所が存在し、レーダ検出物標と画像検出物標とが同一物標であると仮判定した場合には(S140:YES)、ステップS150に進む。
ステップS150では、レーダ探索範囲内に道路標識が存在するか否かを単眼カメラ22から取得した画像情報に基づいて判定する。レーダ探索範囲内に道路標識が存在しないと判定した場合には(S150:NO)、ステップS160に進む。ステップS160では、画像情報内の画像探索範囲内に横断歩道が存在するか否かを判定する。画像情報内の画像探索範囲内に横断歩道が存在しないと判定した場合には(S160:NO)、ステップS170に進む。ステップS170では、画像情報内の画像探索範囲内に路面模様が存在するか否かを判定する。画像情報内の画像探索範囲内に路面模様が存在しないと判定した場合には(S170:NO)、ステップS180に進む。ステップS180では、レーダ検出物標と画像検出物標とが同一物標であると判定し、ステップS190に進む。
ステップS190では、ステップS180で判定した同一物標が自車両と衝突する可能性があるか否かを判定する。同一物標が自車両と衝突する可能性は低いと判定した場合には(S190:NO)、そのまま本制御を終了する。同一物標が自車両と衝突する可能性があると判定した場合には(S190:YES)、ステップS200に進み、ブレーキ装置31による制動処理(規定の走行支援処理)を実施させ、本制御を終了する。
一方で、レーダ探索範囲内に道路標識が存在すると判定した場合(S150:YES)、画像情報内の画像探索範囲内に横断歩道が存在すると判定した場合(S160:YES)、画像情報内の画像探索範囲内に路面模様が存在すると判定した場合(S170:YES)、ステップS210に進む。ステップS210では、レーダ検出物標と画像検出物標とが同一物標ではないと判定し、本制御を終了する。
次に、図4を参照して、図3に記載のステップS150に相当するサブルーチン処理である道路標識判定制御について説明する。道路標識判定制御はECU10により実施される。
まず、ステップS152では、画像情報内においてレーダ探索範囲に該当する範囲の輝度を網羅的に検出する。ステップS154では、道路標識に関する物標テンプレートを所定の順序で動かし、その位置における輝度と物標テンプレートの輝度との一致度合いを算出する。
ステップS156では、ステップS154で算出した一致度合いが基準値よりも大きい箇所が存在したか否かを判定する。物標テンプレートの輝度との一致度合いが基準値よりも大きい箇所が存在しないと判定した場合には(S156:NO)、本制御を終了する。物標テンプレートの輝度との一致度合いが基準値よりも大きい箇所が存在したと判定した場合には(S156:YES)、ステップS158に進み、レーダ探索範囲内に道路標識が存在しており、道路標識をレーダ検出物標として検出している可能性があると判定し、本制御を終了する。
次に、図5を参照して、図3に記載のステップS160に相当するサブルーチン処理である横断歩道判定制御について説明する。横断歩道判定制御はECU10により実施される。
まず、ステップS162では、画像探索範囲内に輝度が横断歩道に対応する所定パターンで変化する箇所が存在するか否かを判定する。画像探索範囲内に輝度が所定パターンで変化する箇所が存在しないと判定した場合には(S162:NO)、本制御を終了する。画像探索範囲内に輝度が所定パターンで変化する箇所が存在すると判定した場合には(S162:YES)、ステップS164に進む。
ステップS164では、輝度が変化する箇所の輝度の変化回数をカウントする。ステップS166では、カウントした輝度の変化回数が所定回数よりも多いか否かを判定する。カウントした輝度の変化回数が所定回数よりも多くないと判定した場合には(S166:NO)、本制御を終了する。カウントした輝度の変化回数が所定回数よりも多いと判定した場合には(S166:YES)、ステップS168に進み、画像探索範囲内に横断歩道が存在しており、横断歩道を画像検出物標として検出している可能性があると判定して、本制御を終了する。
次に、図6を参照して、図3に記載のステップS170に相当するサブルーチン処理である路面模様判定制御について説明する。路面模様判定制御はECU10により実施される。
ステップS172では、画像探索範囲内のオプティカルフローを演算する。ステップS174では、予め記憶された路面のオプティカルフローモデルを読み込む。
ステップS176では、演算した画像探索範囲内のオプティカルフローと、読み込んだ路面のオプティカルフローモデルと、の類似度が閾値よりも大きいか否かを判定する。演算した画像探索範囲内のオプティカルフローと、読み込んだ路面のオプティカルフローモデルと、の類似度が閾値よりも大きくないと判定した場合には(S176:NO)、そのまま本制御を終了する。演算した画像探索範囲内のオプティカルフローと、読み込んだ路面のオプティカルフローモデルと、の類似度が閾値よりも大きいと判定した場合には(S176:YES)、ステップS178に進む。ステップS178では、画像探索範囲内に路面模様が存在しており、路面模様を画像検出物標として検出している可能性があると判定して、本制御を終了する。
上記構成により、本実施形態は、以下の効果を奏する。
・レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できており、同一物標が存在すると仮判定され、且つ、所定物標を画像検出物標として検出している可能性があると判定された場合に、レーダ検出物標と画像検出物標とが同一物標ではないと判定される。又は、レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できており、同一物標が存在すると仮判定され、且つ、道路標識をレーダ検出物標として検出している可能性があると判定された場合に、レーダ検出物標と画像検出物標とが同一物標ではないと判定される。これにより、検出対象ではない所定物標を画像検出物標であるとして誤検出した可能性がある状況、又は、道路標識をレーダ検出物標として検出した可能性がある状況では、レーダ検出物標と画像検出物標とが同一物標ではないと判定することが可能となる。
一方で、レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できており、同一物標が存在すると仮判定され、且つ、画像情報内の画像探索範囲内に所定物標が存在しないと判定され、且つ、レーダ探索範囲内に道路標識が存在しないと判定された場合に、レーダ検出物標と画像検出物標とが同一物標であると判定される。画像探索範囲内に所定物標が存在しない場合、それだけ正常に特定物標を画像検出物標として検出している可能性が高くなる。また、レーダ探索範囲内に道路標識が存在しないことを判定することで、それだけ正常に特定物標をレーダ検出物標として検出している可能性が高くなる。よって、レーダ検出物標及び画像検出物標がどちらも正常に特定物標を検出している可能性の高い状況で同一物標判定を行うことができるので、特定物標に関する同一物標判定の精度を向上させることが可能となる。
・所定物標には横断歩道が含まれる。これにより、横断歩道が画像検出物標として検出された上で、レーダ検出物標と画像検出物標とが同一物標であると仮判定されたとしても、横断歩道を画像検出物標として検出している可能性があると判定することができる。このため、横断歩道を画像検出物標として検出している可能性があると判定された場合に、レーダ検出物標と画像検出物標とが同一物標ではないと判定することが可能となる。
・画像情報内の画像探索範囲内において、輝度が所定パターンで変化する箇所がある場合に、その輝度の変化回数がカウントされる。そして、カウントされた輝度の変化回数が所定回数よりも多い場合に、画像探索範囲内に横断歩道が存在し、横断歩道を画像検出物標として検出している可能性があると判定することができる。
・所定物標には路面模様が含まれる。これにより、路面模様が画像検出物標として検出された上で、レーダ検出物標と画像検出物標とが同一物標であると仮判定されたとしても、路面模様を画像検出物標として検出している可能性があると判定することができる。このため、路面模様を画像検出物標として検出している可能性があると判定された場合に、レーダ検出物標と画像検出物標とが同一物標ではないと判定することが可能となる。
・画像情報内の画像検出物標のオプティカルフローと、予め記憶された路面のオプティカルフローモデルと、の類似度が閾値よりも高い場合に、画像探索範囲内に路面模様が存在しており、路面模様を画像検出物標として検出している可能性があると判定することができる。
・レーダ検出物標と画像検出物標とが同一物標であると判定されたことを条件として、走行支援処理が行われる。このため、同一物標と判定された物標が特定物標である可能性が高い状況で走行支援処理を適宜実施する事が可能となる。
・走行中の車両と衝突するおそれのある物標は、主に歩行者や車両のように動く移動物体である。したがって、画像情報から車両の進行方向前方に存在する歩行者や車両を画像検出物標として検出し、検出した画像検出物標との位置関係が所定関係となるレーダ検出物標を取得できれば、画像検出物標の位置情報をレーダ検出物標の位置情報から精度高く取得することができる。つまり、車両前方に存在する人や車両の動向を精度高く把握することができる。
上記実施形態を、以下のように変更して実施することもできる。
・上記実施形態において、特定物標に関する物標テンプレートとは、車両及び歩行者の少なくとも一方に関する物標テンプレートであった。このことについて、特定物標に関する物標テンプレートに自転車を追加し、車両、歩行者、及び自転車の少なくとも一方に関するテンプレートとしてもよい。
・上記実施形態において、走行支援処理とは、自車両前方に存在する特定物標と衝突する可能性が懸念される場合に、ブレーキ装置31により自車両を制動させる制動処理に該当していた。このことについて、電動式パワーステアリングを備えさせ、自車両前方に存在する特定物標と衝突する可能性が懸念される場合に、同一物標との衝突を回避する方向に電動式パワーステアリングを制御する走行支援処理を実施してもよい。
・上記実施形態において、道路標識判定プログラムは、レーダ探索範囲内に道路標識が存在するか否かを単眼カメラ22から取得した画像情報に基づいて判定していた。この道路標識判定プログラムによる判定は、必ずしも実施する必要はない。かかる構成によっても、上記実施形態に準じた作用と効果が奏される。
・上記実施形態において、同一物標仮判定プログラムは、レーダ探索範囲と画像検探索範囲とで重なる箇所が存在する場合に、レーダ検出物標と画像検出物標とが同一物標であると仮判定していた。このことについて、必ずしもレーダ探索範囲を構築する必要はなく、画像探索範囲内にレーダ検出物標が含まれる場合にレーダ検出物標と画像検出物標とが同一物標であると仮判定してもよい。
・上記実施形態では、レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できており、同一物標が存在すると同一物標仮判定プログラムにより仮判定された場合に、同一物標判定プログラムは、所定物標判定プログラム又は道路標識判定プログラムの判定結果に基づいて、レーダ検出物標と画像検出物標とが同一物標であるか否かを判定していた。このことについて、同一物標仮判定プログラムを削除し、同一物標判定確認プログラムを加えた構成としてもよい。本構成において、同一物標判定プログラムは、上記実施形態に係る同一物標仮判定プログラムと同じ判定処理を行う。このとき、レーダ装置21及び単眼カメラ22により物標の位置が精度よく取得できており、同一物標が存在すると同一物標判定プログラムにより判定された場合、同一物標判定確認プログラムは、所定物標判定プログラム又は道路標識判定プログラムの判定結果に基づいて、レーダ検出物標と画像検出物標とが同一物標であるとの同一物標判定プログラムの判定結果を肯定又は否定する。かかる構成によっても、上記実施形態と同様の作用と効果が奏される。
・上記実施形態において、レーダ探索範囲内に道路標識が存在するか否かを単眼カメラ22から取得した画像情報に基づいて判定していた。このことについて、判定の対象に横断歩道橋とマンホールを追加してもよい。道路標識だけでなく、横断歩道橋やマンホールもまたレーダ検出物標として検出されることがあり、この場合にレーダ検出物標付近に存在する特定物標を画像検出物標として検出すると、レーダ検出物標と画像検出物標とが同一物標であると誤判定されるおそれがある。この対策として、レーダ探索範囲内に道路標識、横断歩道橋、及びマンホールの少なくとも一方が存在するか否かが単眼カメラ22から取得した画像情報に基づいて判定される。この判定処理を行う事で、正常に特定物標をレーダ検出物標として検出している可能性を更に高めることができ、ひいては、特定物標に関する同一物標判定の精度を向上させることが可能となる。
・上記実施形態において、所定物標は、横断歩道及び路面模様に該当していた。このことについて、横断歩道及び路面模様の他、マンホールを所定物標に含めてもよい。
(1)上記実施形態において、横断歩道や路面模様が収められた画像を単眼カメラ22から取得した場合に、取得した画像に対して物標テンプレートとのパターンマッチングを行うと、横断歩道や路面模様を特定物標に関する物標テンプレートの特定方向のシルエットとして誤検出するおそれがあると記載した。しかし、誤検出するおそれのあるものは横断歩道や路面模様に限らない。
パターンマッチングでは、特定物標に関する物標テンプレートの輝度との一致の度合いが基準値よりも大きい箇所が画像内にある場合に、その箇所が画像検出物標として検出される。このとき、検出された画像検出物標について、その高さや車幅方向における長さ(以降、横幅と呼称)は考慮されない。したがって、画像内に中央分離帯や歩道に植えられた木が写りこみ、木が存在する位置の輝度と歩行者に関する物標テンプレートの輝度との一致度合いが基準値よりも大きいと判定されると、木と歩行者とでは高さが大きく異なるにも関わらず、中央分離帯や歩道に植えられた木を歩行者と誤検出する可能性がある。あるいは、画像内に高架橋が写りこみ、高架橋が存在する位置の輝度と車両に関する物標テンプレートの輝度との一致度合いが基準値よりも大きいと判定されると、高架橋と車両とでは横幅が大きく異なるにも関わらず、高架橋を車両と誤検出する可能性がある。
この対策として、上記実施形態に係るROM13に、物標種類判定プログラムと、寸法算出プログラムと、異常サイズ判定プログラムと、を更に備えさせてもよい。なお、本別例において、特定物標に関する物標テンプレートとは、車両、歩行者、及び自転車の少なくとも一つに関するテンプレートに該当する。
物標種類判定プログラムは、パターンマッチングプログラムにより画像検出物標が検出された場合に、画像内における画像検出物標が検出された位置の輝度が、車両、歩行者、及び自転車のうちいずれの物標テンプレートの輝度と一致度合いが基準値よりも高かったかで、画像検出物標の種類(車両,歩行者,自転車)を判定する。例えば、画像内における画像検出物標が検出された位置の輝度と、車両に関する物標テンプレートの輝度との一致度合いが基準値よりも高かった場合には、画像検出物標は車両であると判定する。このため、物標種類判定プログラムは、種類判定部に該当する。
以下、物標種類判定プログラムにより判定された種類において、横幅(又は全長)及び高さのうちより長いことが想定される寸法を長寸法として呼称する。寸法算出プログラムは、物標種類判定プログラムにより判定された画像検出物標の種類に基づいて算出するべき長寸法を定め(横幅(又は全長)を長寸法とするか、高さを長寸法とするかを定め)、実空間における画像検出物標の長寸法(以下、実長寸法と呼称)を算出する。このため、寸法算出プログラムは、長寸法算出部に該当する。
寸法算出プログラムについて、より詳細に説明する。物標種類判定プログラムにより画像検出物標が車両であると判定された場合、車両の多くは高さよりも横幅の方が長いことから、横幅を長寸法として定め、寸法算出プログラムは実空間における画像検出物標の横幅を算出する。物標種類判定プログラムにより画像検出物標が歩行者であると判定された場合、歩行者は横幅よりも高さの方が長いことから、高さを長寸法として定め、寸法算出プログラムは実空間における画像検出物標の高さを算出する。物標種類判定プログラムにより画像検出物標が自転車であると判定された場合、自転車の向く方向によって、横幅と高さの関係は変化する。したがって、自転車が自車両の進行方向と平行な方向に移動している自転車(以降、縦向き自転車と呼称)である場合、横幅よりも高さの方が長くなる為、高さを長寸法として定め、寸法算出プログラムは実空間における画像検出物標の高さを算出する。一方で、自転車が自車両の進行方向と直交する方向に移動している自転車(以降、横向き自転車と呼称)である場合、高さよりも全長の方が長くなる為、全長を長寸法として定め、寸法算出プログラムは実空間における画像検出物標の全長を算出する。
実空間における画像検出物標の長寸法の具体的な算出法を以下に説明する。
実空間における単眼カメラ22のレンズから画像検出物標までの距離(以降、実距離と呼称)を、画像内における単眼カメラ22のレンズから画像検出物標までの距離(以降、画像距離)で割った値は、実長寸法を、画像内における画像検出物標の長寸法(以降、画像長寸法と呼称)で割った値に等しい。この関係に基づいて、(1)式に示される実長寸法を算出するための式が導出される。
実長寸法=(実距離×画像長寸法)/画像距離…(1)
このとき、実距離は、画像内における画像検出物標の位置が画像の縦方向の中央からどれだけ下(あるいは上)の位置にいるかで、実空間上における画像検出物標までの距離を算出する。画像長寸法は、画像検出物標において算出したい高さ又は幅をピクセル数で算出し、算出したピクセル数に画像の解像度の逆数を掛けることにより算出される。画像距離は、画像検出物標までの距離をピクセル数で算出し、算出したピクセル数に画像の解像度の逆数を掛けることにより算出される。
なお、本別例において、実長寸法の長さをメートル単位で算出する場合、画像の解像度は1メートルあたりのピクセル数として規定される。このため、画像検出物標において算出したい高さ又は幅をピクセル数で算出した値と、解像度の逆数との積を算出することで、画像上における画像検出物標の高さ又は幅をメートル単位に換算することができる。同様に、画像検出物標までの距離をピクセル数で算出した値と解像度の逆数との積を算出することで、画像上における画像検出物標までの距離をメートル単位に換算することができる。つまり、画像長寸法及び画像距離の単位をメートルに統一することができる。
異常サイズ判定プログラムは、寸法算出プログラムにより算出された実寸法が判定値よりも長いか否かを判定することで、画像検出物標が異常サイズであるか否かを判定する。このため、異常サイズ判定プログラムは、異常サイズ判定部に該当する。
本別例において、判定値は、画像検出物標が特定物標である場合に想定される寸法の上限値よりも所定値(検出誤差を考慮した値)長く設定される。より具体的には、物標種類判定プログラムにより画像検出物標が車両であると判定された場合、想定される車両の横幅の上限値よりも所定値長く設定される(例えば、上限値を3.5mとすると判定値は4.5mに設定される)。物標種類判定プログラムにより画像検出物標が歩行者であると判定された場合、想定される歩行者の高さの上限値よりも所定値長く設定される(例えば、上限値を2.5mとすると判定値は3.5mに設定される)。物標種類判定プログラムにより画像検出物標が横向き自転車であると判定された場合、想定される横向きバイクの全長の上限値よりも所定値長く設定される(例えば、上限値を2.5mとすると判定値は3.5mに設定される)。物標種類判定プログラムにより画像検出物標が縦向き自転車であると判定された場合、想定される縦向き自転車の高さの上限値よりも所定値長く設定される(例えば、上限値を1.5mとすると判定値は3.0mに設定される)。このように、判定値は、物標種類判定プログラムにより判定された画像検出物標の種類によって可変に設定される。
図7は、図3のフローチャートの一部を変容したものである。すなわち、ステップS170に該当するステップS370と、ステップS180に該当するステップS380との間には、ステップS375が挿入される。
ステップS370の判定処理にてNO判定だった場合には、ステップS375に進む。ステップS375では、検出した画像検出物標が異常サイズであるか否かを判定する。画像検出物標が異常サイズであると判定した場合には(S375:YES)、ステップS210に該当するステップS410に進む。画像検出物標が異常サイズではないと判定した場合には(S375:NO)、ステップS380に進む。
それ以外のステップについて、図7の各ステップS300,310,320,330,340,350,360,390,及び400の処理は、それぞれ、図3の各ステップS100,110,120,130,140,150,160,190,及び200の処理と同一である。
次に、図8を参照して、図7に記載のステップS375に相当するサブルーチン処理である異常サイズ判定制御について説明する。異常サイズ判定制御はECU10により実施される。
まずステップS500では、画像検出物標が、特定物標のうち、車両、歩行者、及び自転車のいずれの物標に該当するかで、画像検出物標の種類を判定する。ステップS510では、ステップS500で判定された物標の種類に基づいて、判定値を設定する。
ステップS520では、単眼カメラ22から取得した画像情報に基づいて、単眼カメラ22のレンズから画像検出物標までの、実距離及び画像距離と、画像内における画像検出物標の長寸法と、を算出する。ステップS530では、ステップS520で算出した実距離,画像距離,画像長寸法に基づいて、実空間における画像検出物標の実長寸法を算出する。
ステップS540では、ステップS530で算出した実長寸法がステップS510で設定した判定値よりも長いか否かを判定する。実長寸法が判定値よりも長いと判定した場合には(S540:YES)、ステップS550に進み、判定した物標種類のサイズよりも画像検出物標は大きく、異常サイズであると判定し、本制御を終了する。実長寸法が判定値よりも長くないと判定した場合には(S540:NO)、そのまま本制御を終了する。
上記構成により、本別例は、以下の効果を奏する。
・本別例に係る異常サイズ判定制御が行われる事で、特定物標として想定されるサイズの上限を超えて大きい画像検出物標について特定物標ではないとして、レーダ検出物標と画像検出物標とが同一物標ではないと判定することが可能となる。
・例えば、木と人とを比較すると、横幅の差よりも高さに大きな差が生じる。また、高架橋と車両とを比較すると、高さの差よりも横幅により大きな差が生じる。このように、実長寸法は、特定物標と誤検出する可能性のある物標とで顕著な差が生じる傾向にある長さであるといえる。したがって、実長寸法を判定対象とすることで、より正確な異常サイズ判定を実施することができる。
(1)に係る別例を、以下のように変更して実施することもできる。
・(1)に係る別例では、実長寸法を判定対象として、異常サイズ判定を実施していた。このことについて、実短寸法を判定対象として、異常サイズ判定を実施してもよい。短寸法は、物標種類判定プログラムにより判定された種類において、横幅(又は全長)及び高さのうちより短い寸法のことである。そして、実短寸法は、実空間における画像検出物標の短寸法のことである。
・(1)に係る別例では、道路標識判定制御(図7におけるステップS350)と、横断歩道判定制御(図7におけるステップS360)と、路面模様判定制御(図7におけるステップS370)と、の後に、異常サイズ判定制御(図7におけるステップS375)を実施していた。これらの判定制御の順序は上記に限定されるものではなく、適宜変更可能である。
・(1)に係る別例では、物標種類判定プログラムにより画像検出物標の種類が判定されていた。このことについて、物標種類判定プログラムを削除した構成としてもよい。この場合、実空間における画像検出物標の高さ及び横幅(又は全長)が寸法算出プログラムによりそれぞれ算出され、算出された画像検出物標の高さ及び横幅がそれぞれに対して設定される判定値よりも長いか否かが異常サイズ判定プログラムにより判定される。そして、画像検出物標の高さ及び横幅のうち少なくとも一方が判定値よりも長いと判定された場合に、画像検出物標は異常サイズであると判定される。このとき、高さに対する判定値は、特定物標に含まれる種類のうち最も高さの上限値が大きい物標(例えば車両)の高さ上限値に設定される。また、横幅に対する判定値は、特定物標に含まれる種類のうち最も横幅の上限値が大きい物標(例えば車両)の横幅上限値に設定される。
10…検出ECU、21…レーダ装置、22…単眼カメラ。

Claims (13)

  1. 車両の進行方向前方に探査波を送信し、物標により反射された反射波を受信するレーダ装置(21)からその反射波に基づく反射情報を取得し、その一方で前記車両の進行方向前方を撮像する単眼カメラ(22)から画像情報を取得する物標検出装置(10)であって、
    前記反射情報に基づいて検出した物標であるレーダ検出物標の位置を検出するレーダ検出物標位置検出部と、
    前記画像情報に基づいて前記車両に衝突するおそれのある特定物標を検出し、検出した前記特定物標である画像検出物標の位置を検出する画像検出物標位置検出部と、
    前記レーダ検出物標と前記画像検出物標との位置関係が所定関係となった場合に、前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定する同一物標仮判定部と、
    前記画像検出物標が、前記車両が通過可能な所定物標であるか否かの判定を行う所定物標判定部と、
    前記同一物標仮判定部により前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定され、且つ、前記所定物標判定部により前記画像検出物標が前記所定物標であると判定された場合に、前記レーダ検出物標と前記画像検出物標とは同一物標ではないと判定し、一方で、前記同一物標仮判定部により前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定され、且つ、前記所定物標判定部により前記画像検出物標が前記所定物標ではないと判定された場合に、前記レーダ検出物標と前記画像検出物標とは同一物標であると判定する同一物標判定部と、
    を備えることを特徴とする物標検出装置。
  2. 前記所定物標は、横断歩道を含むことを特徴とする請求項1に記載の物標検出装置。
  3. 前記単眼カメラにより検出された前記画像情報内の前記画像検出物標の位置において、輝度が所定パターンで変化する箇所がある場合に、前記輝度の変化回数をカウントするカウント部を備え、
    所定物標判定部は、前記カウント部によりカウントされた前記変化回数が所定回数よりも多い場合に、前記画像検出物標を前記横断歩道であると判定することを特徴とする請求項2に記載の物標検出装置。
  4. 前記所定物標は、路面模様を含むことを特徴とする請求項1乃至3のいずれか1項に記載の物標検出装置。
  5. 前記単眼カメラから取得された前記画像情報内の前記画像検出物標のオプティカルフローを演算するフロー演算部を備え、
    前記所定物標判定部は、前記フロー演算部により演算された前記オプティカルフローと、予め記憶された路面のオプティカルフローモデルと、の類似度が閾値よりも高い場合に、前記画像検出物標を前記路面模様と判定することを特徴とする請求項4に記載の物標検出装置。
  6. 前記レーダ検出物標位置検出部により検出された前記レーダ検出物標の位置に、道路標識が存在するか否かを前記単眼カメラから取得した前記画像情報に基づいて判定する道路標識判定部を備え、
    前記同一物標判定部は、前記同一物標仮判定部により前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定され、且つ、前記道路標識判定部により前記画像情報内に前記道路標識が存在すると判定された場合に、前記レーダ検出物標と前記画像検出物標とは同一物標ではないと判定することを特徴とする請求項1乃至5のいずれか1項に記載の物標検出装置。
  7. 前記同一物標判定部により前記レーダ検出物標と前記画像検出物標とが同一物標であると判定されたことを条件として、前記車両と前記同一物標との位置関係に基づいて、前記車両と前記同一物標との衝突を抑制する抑制制御を行う衝突抑制部(31)を備えることを特徴とする請求項1乃至6のいずれか1項に記載の物標検出装置。
  8. 前記特定物標は、車両及び歩行者の少なくとも一方を含むことを特徴とする請求項1乃至7のいずれか1項に記載の物標検出装置。
  9. 実空間における前記画像検出物標のサイズが、前記特定物標である場合に想定されるサイズよりも大きい異常サイズであるか否かを判定する異常サイズ判定部を備え、
    前記同一物標判定部は、前記同一物標仮判定部により前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定され、且つ、前記所定物標判定部により前記画像検出物標が前記所定物標ではないと判定され、且つ、前記異常サイズ判定部により前記画像検出物標が前記異常サイズであると判定された場合に、前記レーダ検出物標と前記画像検出物標とは同一物標ではないと判定し、一方で、前記同一物標仮判定部により前記レーダ検出物標と前記画像検出物標とは同一物標であると仮判定され、且つ、前記所定物標判定部により前記画像検出物標が前記所定物標ではないと判定され、且つ、前記異常サイズ判定部により前記画像検出物標が前記異常サイズではないと判定された場合に、前記レーダ検出物標と前記画像検出物標とは同一物標であると判定することを特徴とする請求項1乃至7のいずれか1項に記載の物標検出装置。
  10. 前記特定物標は、複数種類の前記物標を含み、
    前記画像検出物標位置検出部により検出された前記画像検出物標が、前記特定物標のうちいずれの種類の物標であるかを判定する種類判定部と、
    前記種類判定部により判定された前記種類において車幅方向の長さとしての横幅と高さとのうちより長いことが想定される寸法としての長寸法を定め、実空間における前記画像検出物標の前記長寸法を算出する長寸法算出部と、
    を備え、
    前記異常サイズ判定部は、前記長寸法算出部により算出された実空間における前記画像検出物標の前記長寸法が、前記種類判定部により特定された前記種類において想定される前記長寸法の上限値以上に長く設定された判定値よりも長いか否かで、前記画像検出物標が前記異常サイズであるか否かを判定する請求項9に記載の物標検出装置。
  11. 前記特定物標は、歩行者を含み、
    前記長寸法算出部は、前記種類判定部により前記画像検出物標が前記歩行者であると判定された場合に、実空間における前記画像検出物標の高さを算出し、
    前記異常サイズ判定部は、前記長寸法算出部により算出された実空間における前記画像検出物標の前記高さが前記判定値よりも長いか否かで、前記画像検出物標が前記異常サイズであるか否かを判定する請求項10に記載の物標検出装置。
  12. 前記特定物標は、車両を含み、
    前記長寸法算出部は、前記種類判定部により前記画像検出物標が前記車両であると判定された場合に、実空間における前記画像検出物標の横幅を算出し、
    前記異常サイズ判定部は、前記長寸法算出部により算出された実空間における前記画像検出物標の前記横幅が前記判定値よりも長いか否かで、前記画像検出物標が前記異常サイズであるか否かを判定する請求項10又は11に記載の物標検出装置。
  13. 前記特定物標は、自転車を含み、
    前記画像検出物標位置検出部により検出された前記画像検出物標が、前記特定物標のうちいずれの種類の物標であるかを判定する種類判定部と、
    前記種類判定部により判定された前記種類において車幅方向の長さとしての全長と高さとのうちより長いことが想定される寸法としての長寸法を定め、実空間における前記画像検出物標の前記長寸法を算出する長寸法算出部と、
    を備え、
    前記異常サイズ判定部は、前記種類判定部により前記画像検出物標が縦向き自転車であると判定された場合、前記長寸法算出部により算出された実空間における前記画像検出物標の前記高さが前記判定値よりも長いか否かで、前記画像検出物標が前記異常サイズであるか否かを判定し、前記種類判定部により前記画像検出物標が横向き自転車であると判定された場合、前記長寸法算出部により算出された実空間における前記画像検出物標の前記全長が前記判定値よりも長いか否かで、前記画像検出物標が前記異常サイズであるか否かを判定する請求項10に記載の物標検出装置。
JP2017044243A 2016-07-29 2017-03-08 物標検出装置 Active JP6547785B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/027126 WO2018021444A1 (ja) 2016-07-29 2017-07-26 物標検出装置
US16/321,171 US11086007B2 (en) 2016-07-29 2017-07-26 Target detection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016149673 2016-07-29
JP2016149673 2016-07-29

Publications (2)

Publication Number Publication Date
JP2018026096A JP2018026096A (ja) 2018-02-15
JP6547785B2 true JP6547785B2 (ja) 2019-07-24

Family

ID=61193933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017044243A Active JP6547785B2 (ja) 2016-07-29 2017-03-08 物標検出装置

Country Status (2)

Country Link
US (1) US11086007B2 (ja)
JP (1) JP6547785B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7069061B2 (ja) * 2019-01-31 2022-05-17 株式会社デンソー 物体判定装置
JP7135908B2 (ja) * 2019-02-04 2022-09-13 トヨタ自動車株式会社 衝突前制御装置
JP7115502B2 (ja) 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
US11735051B2 (en) * 2020-03-27 2023-08-22 Toyota Research Institute, Inc. Detection of bicyclists near ego vehicles
JP7359735B2 (ja) 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
CN112668460A (zh) * 2020-12-25 2021-04-16 北京百度网讯科技有限公司 目标检测方法、电子设备、路侧设备和云控平台
CN115457353A (zh) * 2021-05-21 2022-12-09 魔门塔(苏州)科技有限公司 一种多传感器数据的融合方法及装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3684776B2 (ja) * 1997-07-23 2005-08-17 株式会社デンソー 車両用障害物認識装置
JP2002189075A (ja) * 2000-12-20 2002-07-05 Fujitsu Ten Ltd 道路上方静止物検知方法
DE102005024716B4 (de) * 2005-05-30 2023-09-21 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung und Klassifizierung von Objekten
JP4595833B2 (ja) * 2006-02-24 2010-12-08 トヨタ自動車株式会社 物体検出装置
JP2009031053A (ja) * 2007-07-25 2009-02-12 Fujitsu Ten Ltd 前方障害物検出装置
CN101952688A (zh) * 2008-02-04 2011-01-19 电子地图北美公司 用于与传感器检测到的对象进行地图匹配的方法
JP2010127717A (ja) * 2008-11-26 2010-06-10 Sumitomo Electric Ind Ltd 対象物検出装置及び対象物検出システム
JP4858574B2 (ja) * 2009-05-19 2012-01-18 トヨタ自動車株式会社 物体検出装置
JP5372680B2 (ja) * 2009-09-24 2013-12-18 日立オートモティブシステムズ株式会社 障害物検知装置
KR101404924B1 (ko) * 2009-12-25 2014-06-09 가부시키가이샤 리코 물체 식별 장치, 이동체 제어 장치, 및 정보 제공 장치
JP5503578B2 (ja) * 2011-03-10 2014-05-28 パナソニック株式会社 物体検出装置及び物体検出方法
US9170329B2 (en) * 2011-04-28 2015-10-27 Honda Motor Co., Ltd. Object detection apparatus for vehicle
JP2013002927A (ja) * 2011-06-15 2013-01-07 Honda Elesys Co Ltd 障害物検知装置及びコンピュータプログラム
JP2013186663A (ja) * 2012-03-07 2013-09-19 Toyota Motor Corp 横断歩道認識装置および横断歩道認識方法
JP5812064B2 (ja) 2012-11-22 2015-11-11 株式会社デンソー 物標検出装置
JP6054777B2 (ja) * 2013-03-01 2016-12-27 日立オートモティブシステムズ株式会社 ステレオカメラ装置
US9582886B2 (en) * 2013-07-08 2017-02-28 Honda Motor Co., Ltd. Object recognition device
US9248832B2 (en) * 2014-01-30 2016-02-02 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signal details
JP6036724B2 (ja) * 2014-02-17 2016-11-30 トヨタ自動車株式会社 車両周辺状況認識装置および車両制御装置
JP2016001464A (ja) * 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP6407626B2 (ja) * 2014-08-26 2018-10-17 日立オートモティブシステムズ株式会社 物体認識装置及び車両制御システム
JP6281460B2 (ja) * 2014-09-24 2018-02-21 株式会社デンソー 物体検出装置
JP6233345B2 (ja) * 2015-04-17 2017-11-22 トヨタ自動車株式会社 路面勾配検出装置
US10565468B2 (en) * 2016-01-19 2020-02-18 Aptiv Technologies Limited Object tracking system with radar/vision fusion for automated vehicles
US10403037B1 (en) * 2016-03-21 2019-09-03 URC Ventures, Inc. Verifying object measurements determined from mobile device images

Also Published As

Publication number Publication date
JP2018026096A (ja) 2018-02-15
US11086007B2 (en) 2021-08-10
US20190179006A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
JP6547785B2 (ja) 物標検出装置
US10274598B2 (en) Navigation based on radar-cued visual imaging
CN109844762B (zh) 车载用图像处理装置
CN106463064B (zh) 物体识别装置和使用该物体识别装置的车辆行驶控制装置
JP5089545B2 (ja) 道路境界検出判断装置
JP4420011B2 (ja) 物体検知装置
JP4650079B2 (ja) 物体検出装置、および方法
JP4615038B2 (ja) 画像処理装置
CN110045736B (zh) 一种基于无人机的弯道障碍物避让方法
TW201704067A (zh) 防撞方法、實現該防撞方法之電腦程式產品及防撞系統
JP6313081B2 (ja) 車載用画像処理装置およびそれを用いた車両システム
CN101135558A (zh) 一种基于机器视觉的汽车防撞预警方法及装置
JP6614108B2 (ja) 車両制御装置、車両制御方法
CN104584097A (zh) 物体检测装置和驾驶辅助装置
JP6985089B2 (ja) 立体物接地判定装置
JP5482672B2 (ja) 移動物体検出装置
JP3666332B2 (ja) 歩行者検知装置
JP2017076235A (ja) 車両制御装置、車両制御方法
WO2019065970A1 (ja) 車両用外界認識装置
JP2020134981A (ja) 運転支援装置
CN109195849B (zh) 摄像装置
JP6143184B2 (ja) 走行可否判定装置
Suzuki et al. Sensor fusion-based pedestrian collision warning system with crosswalk detection
WO2018021444A1 (ja) 物標検出装置
JP3586938B2 (ja) 車載用距離測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190610

R151 Written notification of patent or utility model registration

Ref document number: 6547785

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250