JP2021131385A - 物体検出装置 - Google Patents
物体検出装置 Download PDFInfo
- Publication number
- JP2021131385A JP2021131385A JP2021018327A JP2021018327A JP2021131385A JP 2021131385 A JP2021131385 A JP 2021131385A JP 2021018327 A JP2021018327 A JP 2021018327A JP 2021018327 A JP2021018327 A JP 2021018327A JP 2021131385 A JP2021131385 A JP 2021131385A
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- point cloud
- detection device
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
Description
[1.構成]
図1に示す物体検出装置1は、車両に搭載して使用され、光を照射し、照射した光を反射する物体からの反射光を受光することで、車両前方に存在する物体を検出する。
照射部2は、車両の前方における測距エリアにレーザ光を照射する。測距エリアは、水平方向及び鉛直方向のそれぞれに所定の角度範囲で広がるエリアである。照射部2は、レーザ光を水平方向に走査する。
種別情報とは、検出対象とする物体の種別のことである。検出対象とする物体には、歩行者、先行車両などの、運転者が運転時に注目すべき物体が含まれる。
画像生成部61は、環境光画像と、距離画像と、反射強度画像と、を生成する。距離画像とは、照射部2により照射されたレーザ光が物体で反射した反射点までの距離を画素ごとに表した画像である。反射強度画像とは、照射部2により照射されたレーザ光が物体で反射した反射光を受光部3が受光する強度を画素ごとに表した画像である。各画像は、解像度を切り替え可能である。
切替部55は、切替処理として解像度を切り替える。鉛直方向における解像度については、受光部3において、1画素に使用する受光素子の数を減らし、鉛直方向における画素数を増やすことで、解像度は高くなる。物体検出装置1は、複数の受光素子のうち第1の個数の受光素子を1画素とする第1の解像度と、複数の受光素子のうち第1の個数よりも数が少ない第2の個数の受光素子を1画素とする第2の解像度と、に切り替え可能に構成されている。本実施形態では、物体検出装置1は、横6個×縦4個の計24個の受光素子を1画素とするデフォルトの解像度と、横6個×縦2個の計12個の受光素子を1画素とする高水準の解像度と、に切り替え可能に構成されている。一方、水平方向における解像度については、照射部2において、レーザ光を走査する間隔を狭くし、水平方向における画素数を増やすことで、解像度は高くなる。本実施形態では、高水準の解像度の場合、横1000画素、縦200画素の解像度の画像が環境光画像として生成される。また、本実施形態では、点群解像度は上述した画像の解像度と一致するように設定される。具体的には、高水準の場合は、水平方向に1000個、鉛直方向に200個の分割エリアにおいて検出された反射点の群として点群が生成される。
[2.処理]
物体検出装置1の処理部5が実行する物体検出処理について、図6及び図7のフローチャートを用いて説明する。物体検出処理は、測距エリア全体の測距が完了する度に実行される。なお、物体検出処理の開始時には、解像度はデフォルトの解像度に設定されている。なお、本処理の説明において、単に解像度というときは、画像の解像度と点群の点群解像度との両方を含む。
続いて、S102で、処理部5は、点群をクラスタリングすることにより複数のクラスタを生成する。生成された各クラスタは、初期値として種別情報をもたない。なお、S102が、クラスタ生成部52としての処理に相当する。
以上詳述した実施形態によれば、以下の効果が得られる。
(3a)物体検出装置1は、点群と環境光画像とに基づいて、所定の物体を検出する。このような構成によれば、環境光画像を利用せずに点群において所定の物体を検出する場合と比較して、点群において物体の種別や単位を識別しやすい。また、前回生成されたクラスタと、今回生成されたクラスタと、の一致度を計算し物体を検出する場合と比較して、初回の測距時にも2回目以降の測距時と同等の精度で物体を検出することができる。よって、物体検出装置1によれば、より高精度に物体を正しい単位で検出することができる。
[4.第2実施形態]
[4−1.第1実施形態との相違点]
第2実施形態は、基本的な構成及び処理は第1実施形態と同様であるため、共通する構成及び処理については説明を省略し、相違点を中心に説明する。
第2実施形態の物体検出装置1の処理部5が実行する物体検出処理について、図8のフローチャートを用いて説明する。
続いて、S203で、処理部5は、外部の明るさに応じた解像度の画像を生成する。具体的には、処理部5は、S201で外部の明るさが所定の閾値よりも明るいと判定した場合、S201で外部の明るさが所定の閾値よりも明るくないと判定された場合よりも、解像度が相対的に高い環境光画像を生成し、解像度が相対的に低い距離画像及び反射強度画像を生成する。一方、処理部5は、S201で外部の明るさが所定の閾値よりも明るくないと判定した場合、解像度が相対的に低い環境光画像を生成し、解像度が相対的に高い距離画像及び反射強度画像を生成する。
以上詳述した第2実施形態によれば、以下の効果が得られる。
(4a)物体検出装置1は、外部の明るさが明るいと判定した場合、外部の明るさが明るくないと判定した場合と比較して相対的に解像度の高い環境光画像と、相対的に解像度の低い距離画像及び反射強度画像と、に基づいて物体を検出する。このような構成によれば、環境光画像においては、高解像度の環境光画像から画像物標が検出されるため、画像認識精度が高くなる。また、距離画像及び反射強度画像においては、SNが向上するため、検知距離が延びる傾向にある。よって、より遠方まで物体の検出が可能となる。なお、SNとは、信号とノイズの比のことである。
[4−4.第2実施形態の変形例]
(i)上記実施形態では、環境光画像、距離画像及び反射強度画像の3種類の画像に基づいて物体が検出された。しかし、用いられる画像の種類の数はこれに限定されるものではない。例えば、環境光画像、距離画像及び反射強度画像のうち少なくとも1種類が用いられてもよい。また、環境光画像と、距離画像及び反射強度画像のうち少なくとも一方と、が用いられてもよい。
このような構成によれば、点群の点群解像度と画像の解像度とを、それぞれ独立して適切な値に設定できる。
続いて、S207で、処理部5は、物体を検出する。このとき、S205で画像物標が示す物体までの距離が適切であると判定され、かつ、S206で画像物標が示す物体のサイズが適切であると判定された場合、画像物標対応クラスタは、種別情報をもつ物体として検出される。その後、処理部5は、図9の物体検出処理を終了する。
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
(5f)上記実施形態では、画像物標対応クラスタの画素数が画像物標の画素数と比較して、所定の画素数以上多い場合、過結合クラスタが存在すると判定した。しかし、例えば、画像物標に対応する点群における部分に存在するクラスタを構成するすべての反射点の点数である全体点数と、画像物標に対応する部分の反射点の点数である部分点数と、を比較することによって、過結合クラスタが存在するか否かを判定してもよい。また例えば、全体点数を部分点数で割った値が、1よりも大きい所定値以上である場合、過結合クラスタが存在すると判定してもよい。
Claims (16)
- 所定の測距エリアに光を照射するように構成された照射部(2)と、
前記照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成された受光部(3)と、
前記反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成された検出部(51〜54)と、
を備え、
前記点群は、測距エリア全体で検出された反射点の群であり、
前記画像は、前記環境光に基づく画像である環境光画像、前記反射光に基づき検出される前記物体までの距離に基づく画像である距離画像及び前記反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも1つである、物体検出装置。 - 請求項1に記載の物体検出装置であって、
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより生成された複数のクラスタのうち2以上のクラスタが前記画像物標に対応する前記点群における部分に存在すると判定した場合、前記2以上のクラスタを1つの前記物体として検出する、物体検出装置。 - 請求項1又は請求項2に記載の物体検出装置であって、
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより生成された複数のクラスタのうち前記画像物標に対応する前記点群における部分と比較してサイズが大きな過結合クラスタが前記画像物標に対応する前記点群における部分に存在していると判定した場合、前記過結合クラスタのうち前記画像物標に対応する部分を分離して前記物体として検出する、物体検出装置。 - 請求項3に記載の物体検出装置であって、
前記過結合クラスタのうち前記画像物標に対応する部分である対象クラスタと、前記過結合クラスタのうち前記画像物標に対応する部分を除いた部分である隣接クラスタと、の最短距離が、前記対象クラスタにおける隣り合う2点間の距離の中で最大となる距離よりも大きくなり、かつ、隣接クラスタにおける隣り合う2点間の距離の中で最大となる距離よりも大きくなるように前記過結合クラスタを分割する、物体検出装置。 - 請求項1から請求項4までのいずれか1項に記載の物体検出装置であって、
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記画像物標が示す前記物体の種別に応じて、前記物体のサイズが、あらかじめ設定されたサイズの範囲内であると判定した場合、前記画像物標に対応する前記点群における部分を前記物体として検出する、物体検出装置。 - 請求項1から請求項5までのいずれか1項に記載の物体検出装置であって、
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記画像物標が示す前記物体の種別に応じて、前記物体までの距離が、あらかじめ設定された距離の範囲内であると判定した場合、前記画像物標に対応する前記点群における部分を前記物体として検出する、物体検出装置。 - 請求項1から請求項6までのいずれか1項に記載の物体検出装置であって、
前記検出部は、第1の解像度の前記画像と、前記点群を構成する複数の前記反射点を検出する単位の数を示す第1の点群解像度の前記点群と、に基づいて前記物体を検出可能であるとともに、前記第1の解像度よりも高い第2の解像度の前記画像と、前記第1の点群解像度よりも高い第2の点群解像度の前記点群と、に基づいて前記物体を検出可能である、物体検出装置。 - 請求項7に記載の物体検出装置であって、
前記受光部は、複数の受光素子を有し、
前記検出部は、前記複数の受光素子のうち第1の個数の受光素子を1画素とする前記第1の解像度と、前記複数の受光素子のうち前記第1の個数よりも数が少ない第2の個数の受光素子を1画素とする前記第2の解像度と、に切り替え可能である、物体検出装置。 - 請求項7又は請求項8に記載の物体検出装置であって、
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより複数のクラスタを生成し、
前記検出部は、前記複数のクラスタのうち2以上のクラスタが前記画像物標に対応する前記点群における部分に存在すると判定された場合、又は、前記複数のクラスタのうち前記画像物標に対応する前記点群における部分と比較してサイズが大きな結合クラスタが前記画像物標に対応する前記点群における部分に存在していると判定された場合、前記画像の解像度を前記第1の解像度から前記第2の解像度に切り替え、前記画像物標を検出し、前記点群の点群解像度を前記第1の点群解像度から前記第2の点群解像度に切り替え、前記点群をクラスタリングする、物体検出装置。 - 請求項1から請求項9までのいずれか1項に記載の物体検出装置であって、
前記照射部は、前記測距エリアにおける少なくとも一部の範囲に光を照射する回数を、第1の照射回数と、前記第1の照射回数よりも多い第2の照射回数と、に切り替え可能である、物体検出装置。 - 請求項10に記載の物体検出装置であって、
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより複数のクラスタを生成し、
前記照射部は、前記複数のクラスタのうち2以上のクラスタが前記画像物標に対応する前記点群における部分に存在すると判定された場合、又は、前記複数のクラスタのうち前記画像物標に対応する前記点群における部分と比較してサイズが大きな過結合クラスタが前記画像物標に対応する前記点群における部分に存在していると判定された場合、前記第1の照射回数から前記第2の照射回数に切り替え、
前記検出部は、光を照射する回数が前記第1の照射回数から前記第2の照射回数に切り替えられた場合、前記第2の照射回数において、前記画像物標を検出し、前記点群をクラスタリングする、物体検出装置。 - 請求項1から請求項11までのいずれか1項に記載の物体検出装置であって、
前記検出部は、前記点群と、前記点群を構成する複数の前記反射点を検出する単位の数を示す点群解像度とは異なる解像度の前記画像と、に基づいて前記物体を検出可能である、物体検出装置。 - 請求項12に記載の物体検出装置であって、
前記検出部は、前記点群と、前記点群の前記点群解像度とは異なる解像度の前記環境光画像と、に基づいて前記物体を検出可能である、物体検出装置。 - 請求項1から請求項13までのいずれか1項に記載の物体検出装置であって、
前記検出部は、第3の解像度を有する前記環境光画像と、前記第3の解像度とは異なる第4の解像度を有する前記距離画像及び前記反射強度画像のうちの少なくとも1つと、に基づいて前記物体を検出可能である、物体検出装置。 - 請求項14に記載の物体検出装置であって、
前記点群を構成する複数の前記反射点を検出する単位の数を示す点群解像度は、前記距離画像及び前記反射強度画像のうちの少なくとも1つの解像度と一致する、物体検出装置。 - 請求項14又は請求項15に記載の物体検出装置であって、
外部の明るさを判定する明るさ判定部を更に備え、
前記検出部は、前記明るさ判定部により外部の明るさが所定の閾値よりも明るいと判定された場合、外部の明るさが前記所定の閾値よりも明るくないと判定された場合と比較して相対的に解像度の高い前記環境光画像と、相対的に解像度の低い前記距離画像及び前記反射強度画像のうちの少なくとも1つと、に基づいて前記物体を検出する、物体検出装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/005722 WO2021166912A1 (ja) | 2020-02-18 | 2021-02-16 | 物体検出装置 |
CN202180015257.2A CN115176175B (zh) | 2020-02-18 | 2021-02-16 | 物体检测装置 |
US17/820,505 US20220392194A1 (en) | 2020-02-18 | 2022-08-17 | Object detection device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020025300 | 2020-02-18 | ||
JP2020025300 | 2020-02-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021131385A true JP2021131385A (ja) | 2021-09-09 |
JP7501398B2 JP7501398B2 (ja) | 2024-06-18 |
Family
ID=77550869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021018327A Active JP7501398B2 (ja) | 2020-02-18 | 2021-02-08 | 物体検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7501398B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023116424A (ja) * | 2022-02-09 | 2023-08-22 | 42ドット・インコーポレイテッド | 歩行者の位置を決定する方法及び装置 |
JP7647543B2 (ja) | 2021-12-28 | 2025-03-18 | トヨタ自動車株式会社 | 画像処理方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4232167B1 (ja) * | 2007-08-27 | 2009-03-04 | 三菱電機株式会社 | 対象特定装置、対象特定方法および対象特定プログラム |
JP2011247872A (ja) * | 2010-04-27 | 2011-12-08 | Denso Corp | 距離測定装置、距離測定方法、および距離測定プログラム |
EP2562688A2 (en) * | 2011-08-22 | 2013-02-27 | Samsung Electronics Co., Ltd. | Method of Separating Object in Three Dimensional Point Cloud |
JP2013054522A (ja) * | 2011-09-02 | 2013-03-21 | Pasuko:Kk | 道路付属物検出装置、道路付属物検出方法、及びプログラム |
JP2013092459A (ja) * | 2011-10-26 | 2013-05-16 | Denso Corp | 距離測定装置、および距離測定プログラム |
WO2018170472A1 (en) * | 2017-03-17 | 2018-09-20 | Honda Motor Co., Ltd. | Joint 3d object detection and orientation estimation via multimodal fusion |
CN109100741A (zh) * | 2018-06-11 | 2018-12-28 | 长安大学 | 一种基于3d激光雷达及图像数据的目标检测方法 |
CN109345510A (zh) * | 2018-09-07 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | 物体检测方法、装置、设备、存储介质及车辆 |
WO2019186742A1 (ja) * | 2018-03-28 | 2019-10-03 | 日本電気株式会社 | 監視制御装置、監視システム、監視制御方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
WO2019187216A1 (ja) * | 2018-03-30 | 2019-10-03 | Necソリューションイノベータ株式会社 | 物体識別装置、物体識別方法、及び制御プログラムを格納する非一時的なコンピュータ可読媒体 |
WO2020179065A1 (ja) * | 2019-03-07 | 2020-09-10 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記録媒体 |
JP2021043633A (ja) * | 2019-09-10 | 2021-03-18 | 株式会社豊田中央研究所 | 物体識別装置、及び物体識別プログラム |
JP2021063800A (ja) * | 2019-10-16 | 2021-04-22 | 株式会社デンソー | 車載の異常検出装置 |
-
2021
- 2021-02-08 JP JP2021018327A patent/JP7501398B2/ja active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4232167B1 (ja) * | 2007-08-27 | 2009-03-04 | 三菱電機株式会社 | 対象特定装置、対象特定方法および対象特定プログラム |
JP2011247872A (ja) * | 2010-04-27 | 2011-12-08 | Denso Corp | 距離測定装置、距離測定方法、および距離測定プログラム |
EP2562688A2 (en) * | 2011-08-22 | 2013-02-27 | Samsung Electronics Co., Ltd. | Method of Separating Object in Three Dimensional Point Cloud |
JP2013054522A (ja) * | 2011-09-02 | 2013-03-21 | Pasuko:Kk | 道路付属物検出装置、道路付属物検出方法、及びプログラム |
JP2013092459A (ja) * | 2011-10-26 | 2013-05-16 | Denso Corp | 距離測定装置、および距離測定プログラム |
WO2018170472A1 (en) * | 2017-03-17 | 2018-09-20 | Honda Motor Co., Ltd. | Joint 3d object detection and orientation estimation via multimodal fusion |
WO2019186742A1 (ja) * | 2018-03-28 | 2019-10-03 | 日本電気株式会社 | 監視制御装置、監視システム、監視制御方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
WO2019187216A1 (ja) * | 2018-03-30 | 2019-10-03 | Necソリューションイノベータ株式会社 | 物体識別装置、物体識別方法、及び制御プログラムを格納する非一時的なコンピュータ可読媒体 |
CN109100741A (zh) * | 2018-06-11 | 2018-12-28 | 长安大学 | 一种基于3d激光雷达及图像数据的目标检测方法 |
CN109345510A (zh) * | 2018-09-07 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | 物体检测方法、装置、设备、存储介质及车辆 |
WO2020179065A1 (ja) * | 2019-03-07 | 2020-09-10 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記録媒体 |
JP2021043633A (ja) * | 2019-09-10 | 2021-03-18 | 株式会社豊田中央研究所 | 物体識別装置、及び物体識別プログラム |
JP2021063800A (ja) * | 2019-10-16 | 2021-04-22 | 株式会社デンソー | 車載の異常検出装置 |
JP7420038B2 (ja) * | 2019-10-16 | 2024-01-23 | 株式会社デンソー | 車載の異常検出装置 |
Non-Patent Citations (1)
Title |
---|
大谷駿介,榎田修一: "「LIDARによる歩行者検出のためのk−means++法を用いた歩行者群分割」", 第25回 画像センシングシンポジウム SSII2019, JPN6021005407, 12 June 2019 (2019-06-12), ISSN: 0005238110 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7647543B2 (ja) | 2021-12-28 | 2025-03-18 | トヨタ自動車株式会社 | 画像処理方法 |
JP2023116424A (ja) * | 2022-02-09 | 2023-08-22 | 42ドット・インコーポレイテッド | 歩行者の位置を決定する方法及び装置 |
JP7532569B2 (ja) | 2022-02-09 | 2024-08-13 | 42ドット・インコーポレイテッド | 歩行者の位置を決定する方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7501398B2 (ja) | 2024-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10832064B2 (en) | Vacant parking space detection apparatus and vacant parking space detection method | |
JP6851985B2 (ja) | 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法 | |
CN113646804B (zh) | 物体检测装置 | |
JP6863342B2 (ja) | 光測距装置 | |
US20220011440A1 (en) | Ranging device | |
JP6358552B2 (ja) | 画像認識装置および画像認識方法 | |
CN103987575A (zh) | 用于识别制动情况的方法和设备 | |
US9506859B2 (en) | Method and device for determining a visual range in daytime fog | |
JP2012226513A (ja) | 検知装置、及び検知方法 | |
JP2010088045A (ja) | ナイトビューシステム、夜間歩行者表示方法 | |
JP2021131385A (ja) | 物体検出装置 | |
US20230266450A1 (en) | System and Method for Solid-State LiDAR with Adaptive Blooming Correction | |
JP2007248146A (ja) | レーダ装置 | |
CN114930192A (zh) | 红外成像组件 | |
JP2007114831A (ja) | 物体検出装置 | |
WO2021166912A1 (ja) | 物体検出装置 | |
US20220299614A1 (en) | Object detection apparatus and control method of object detection apparatus | |
JP2004325202A (ja) | レーザレーダ装置 | |
JP2019007744A (ja) | 物体検知装置、プログラムおよび物体検知システム | |
JP5310162B2 (ja) | 車両灯火判定装置 | |
JP7673764B2 (ja) | ノイズ除去装置、物体検出装置およびノイズ除去方法 | |
US20240385298A1 (en) | Noise removal apparatus, object detection apparatus, and noise removal method | |
WO2023047886A1 (ja) | 車両検出装置、車両検出方法、及び車両検出プログラム | |
WO2021070713A1 (ja) | 物体認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211220 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7501398 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |