[go: up one dir, main page]

JP7165630B2 - 認識システム、車両制御システム、認識方法、およびプログラム - Google Patents

認識システム、車両制御システム、認識方法、およびプログラム Download PDF

Info

Publication number
JP7165630B2
JP7165630B2 JP2019136089A JP2019136089A JP7165630B2 JP 7165630 B2 JP7165630 B2 JP 7165630B2 JP 2019136089 A JP2019136089 A JP 2019136089A JP 2019136089 A JP2019136089 A JP 2019136089A JP 7165630 B2 JP7165630 B2 JP 7165630B2
Authority
JP
Japan
Prior art keywords
vehicle
unit
recognition
road surface
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019136089A
Other languages
English (en)
Other versions
JP2021021967A (ja
Inventor
亦楊 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019136089A priority Critical patent/JP7165630B2/ja
Priority to CN202010707780.9A priority patent/CN112286178B/zh
Publication of JP2021021967A publication Critical patent/JP2021021967A/ja
Application granted granted Critical
Publication of JP7165630B2 publication Critical patent/JP7165630B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、認識システム、車両制御システム、認識方法、およびプログラムに関する。
従来、道路形状を認識する道路形状認識部と、認識された道路形状を用いて走行経路を作成する走行経路作成部と、走行経路に従って自動走行を実現させる車両走行制御装置とを備え、道路形状認識部は、平面座標と高さ情報とを対応付けた複数の座標情報を取得する座標情報取得部と、複数の前記座標情報の中から高低差が所定値以上である複数の注目座標を抽出する座標抽出部と、抽出された複数の注目座標を統計的に処理することにより道路形状を特定する形状特定部とを具備する自動走行車両の発明が開示されている(特許文献1)。
特開2010-250743号公報
従来の技術では、高低差が所定値以上である部分を例えば路肩や溝と認識し、そうでない部分を道路面として認識している。しかしながら、この手法では、道路面自体の湾曲によって道路面の一部を道路面と認識しなかったり、所定値を大きくすることでサイズの小さい障害物を看過してしまったりする場合があった。
本発明は、このような事情を考慮してなされたものであり、より正確に道路面を特定することができる認識システム、車両制御システム、認識方法、およびプログラムを提供することを目的の一つとする。
この発明に係る認識システム、車両制御システム、認識方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る認識システムは、車両に搭載される認識システムであって、前記車両の周辺に存在する物体の位置を検出する検出部と、前記検出部の検出結果に基づいて、前記車両の周辺における道路面を特定する特定部と、を備え、前記特定部は、前記検出部の検出結果を二次元平面上で細分化した個別領域ごとに所定のアルゴリズムを用いて平面であるか否かを判定し、前記個別領域ごとの判定結果を集約して前記車両の周辺における道路面を特定するものである。
(2):上記(1)の態様において、前記検出部がライダーであるものである。
(3):上記(2)の態様において、前記検出部は、仰角または俯角と方位角を変えながらレーザーを前記車両の周辺に照射するものであり、前記特定部は、仰角または俯角、方位角、および距離で少なくとも表される物体の位置を二次元平面に射影したポイントクラウドデータを細分化した個別領域ごとに、前記所定のアルゴリズムを用いて平面であるか否かを判定するものである。
(4):上記(1)から(3)のいずれかの態様において、前記特定部は、前記二次元平面における前記車両からの距離に基づいて、前記個別領域のサイズを異ならせるものである。
(5):上記(1)から(4)のいずれかの態様において、前記特定部は、前記車両の周辺における物体の分布を示す情報を取得し、前記取得した物体の分布を示す情報に基づいて、前記個別領域のサイズを変更するものである。
(6):上記(1)から(5)のいずれかの態様において、前記特定部は、前記車両が存在する道路の種別に関する情報を取得し、前記取得した道路の種別に関する情報が特定の種別の道路を示す場合、前記取得した道路の種別に関する情報が特定の種別の道路を示さない場合に比して、前記個別領域のサイズを大きくするものである。
(7):上記(1)から(6)のいずれかの態様の認識システムと、前記認識システムにおける前記検出部の検出結果から、前記特定部により特定された道路面に相当する部分を除外した情報に基づいて、前記車両の走行制御を行う走行制御装置と、を備える車両制御システムである。
(8):本発明の他の態様に係る認識方法は、車両に搭載されたコンピュータが、車両の周辺に存在する物体の位置を検出する検出部の検出結果を取得し、前記検出結果に基づいて、前記車両の周辺における道路面を特定し、前記特定する際に、前記検出結果を二次元平面上で細分化した個別領域ごとに所定のアルゴリズムを用いて平面であるか否かを判定し、前記個別領域ごとの判定結果を集約して前記車両の周辺における道路面を特定するものである。
(9):本発明の他の態様に係るプログラムは、車両に搭載されたコンピュータに、車両の周辺に存在する物体の位置を検出する検出部の検出結果を取得させ、前記検出結果に基づいて、前記車両の周辺における道路面を特定させ、前記特定させる際に、前記検出結果を二次元平面上で細分化した個別領域ごとに所定のアルゴリズムを用いて平面であるか否かを判定させ、前記個別領域ごとの判定結果を集約して前記車両の周辺における道路面を特定させるものである。
上記(1)~(9)の態様によれば、より正確に道路面を特定することができる。
車両に認識システムおよび車両制御システムが搭載された様子を示す図である。 物体認識装置の構成図である。 ポイントクラウドデータの一例を示す図である。 設定されるグリッドを示す図である。 比較例の手法によって道路面と判定した部分の座標を除去したポイントクラウドデータを示す図である。 実施形態の手法によって道路面と判定した部分の座標を除去したポイントクラウドデータを示す図である。 実施形態の手法によって道路面と判定した部分の座標を除去したポイントクラウドデータを示す図である。 認識システムによって実行される処理の流れの一例を示すフローチャートである。
以下、図面を参照し、本発明の認識システム、車両制御システム、認識方法、およびプログラムの実施形態について説明する。
図1は、車両Mに認識システムおよび車両制御システムが搭載された様子を示す図である。車両Mには、例えば、ライダー(Light Detection and Ranging:LIDAR)10(「検出部」の一例)と、カメラ20と、レーダ装置30と、物体認識装置50と、走行制御装置100とが搭載される。ライダー10と物体認識装置50を合わせたものが「認識システム」の一例であり、これに走行制御装置100を加えたものが「車両制御システム」の一例である。検出部として、ライダー以外の検出装置が用いられてもよい。
ライダー10は、光を照射して反射光を検出し、照射から検出までの時間を測定することで物体までの距離を検出する。ライダー10は、光の照射方向を、仰角または俯角(以下、上下方向の照射方向φ)と、方位角(水平方向の照射方向θ)との双方について変更可能である。ライダー10は、例えば、照射方向φを固定して照射方向θを変えながらスキャンを行い、次いで上下方向の照射方向φを変更し、変更した角度で照射方向φを固定して照射方向θを変えながらスキャンを行う、という動作を繰り返し行う。以下、照射方向φのことを「レイヤ」と称し、レイヤを固定して照射方向θを変えながら行う一回のスキャンのことを「サイクル」と称し、全てのレイヤについてスキャンを行うことを「1スキャン」と称する。レイヤは、例えばL1~Lnまで有限数で設定される(nは自然数)。レイヤの変更は、例えば、前回のサイクルで照射した光が今回のサイクルにおける検知に干渉しないように、L0→L4→L2→L5→L1…というように角度に関して不連続に行われる。なお、これに限らず、レイヤの変更が角度に関して連続的に行われても構わない。
ライダー10は、例えば、{φ,θ,d,p}を一つの単位とするデータセット(ライダーデータ)を物体認識装置50に出力する。dは距離であり、pは反射光の強度である。物体認識装置50は、車両Mにおける任意の箇所に設置される。図1では、ライダー10は車両Mのルーフ上に設置され、照射方向θを360度で変更可能なものとしているが、この配置はあくまで一例であり、例えば、車両Mの前部に設けられて車両Mの前方を中心に照射方向θを180度で変更可能なライダーと、車両Mの後部に設けられて車両Mの後方を中心に照射方向θを180度で変更可能なライダーとが車両Mに搭載されてもよい。
カメラ20は、車両Mの周辺(特に前方または後方)を撮像可能な任意の位置に設置される。例えば、カメラ20は、フロントウインドシールドの上部に設置される。カメラ20は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を備えるデジタルカメラであり、所定周期で繰り返し車両Mの周辺を撮像する。
レーダ装置30は、車両Mの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置30は、車両Mの任意の箇所に取り付けられる。例えば、レーダ装置30は、車両Mのフロントグリルの内部に取り付けられる。
図2は、物体認識装置50の構成図である。物体認識装置50は、例えば、ライダーデータ処理部60と、カメラ画像処理部70と、レーダデータ処理部80と、センサフュージョン部90とを備える。ライダーデータ処理部60は、例えば、ポイントクラウドデータ生成部61と、情報取得部62と、道路面特定部63(「特定部」の一例)と、非道路面物体抽出部64と、道路区画線認識部65とを備える。道路面特定部63は、例えば、グリッド設定部63Aと、平面抽出処理部63Bとを備える。これらの構成要素は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
ポイントクラウドデータ生成部61は、ライダーデータに基づいて、ポイントクラウドデータを生成する。本実施形態におけるポイントクラウドデータは、ライダーデータから認識される物体の三次元空間上の位置を、上空から見た二次元平面上の位置に射影したものである。図3は、ポイントクラウドデータの一例を示す図である。ポイントクラウドデータを規定する二次元平面(図中、X軸とY軸で表される二次元平面)は、例えば、ライダー10から見た相対的な二次元平面である。図では現れていないが、ポイントクラウドデータの各座標には、高さの情報(X軸とY軸に直交する方向の変位)が付与されている。高さの情報は、座標間の連続性や散らばりと、レイヤ間の照射角度の差などに基づいて、ポイントクラウドデータ生成部61により計算される。
情報取得部62は、グリッド設定部63Aがグリッドを設定する際に利用する各種情報を取得する。
例えば、情報取得部62は、車両Mの周辺における物体の分布を示す情報を取得する。車両Mの周辺における物体の分布とは、例えば、認識システムの認識可能範囲内における車両の数、歩行者の数、自転車の数、信号や横断歩道、交差点の数などのうち一部または全部を指標化した値(混雑指数)を取得する。混雑指数は、例えば、上記した要素が高密度に存在する程、高い値を示すものである。情報取得部62は、混雑指数を自ら計算してもよいし、カメラ画像処理部70やレーダデータ処理部80などから取得してもよい。
また、情報取得部62は、車両Mが存在する道路の種別に関する情報を取得してもよい。情報取得部62は、道路の種別に関する情報を、車両Mに搭載されたナビゲーション装置(不図示)から取得してもよいし、カメラ画像処理部70がカメラ画像から道路標識を認識した結果から導出してもよい。
道路面特定部63のグリッド設定部63Aは、ポイントクラウドデータを規定する二次元平面を分割した個別領域である複数のグリッドを仮想的に設定する。図4は、設定されるグリッドGを示す図である。グリッド設定部63Aは、例えば、グリッドGを矩形(正方形でも長方形でもよい)で設定する。グリッド設定部63Aは、同じサイズのグリッドGを設定してもよいし、二次元平面における車両Mからの距離に基づいて、グリッドGのサイズを異ならせてもよい。例えば、グリッド設定部63Aは、図示するように、車両Mから遠くなるほどグリッドGのサイズを大きくしてもよい。グリッド設定部63Aは、認識システムの過去の認識結果を参照することで得られる認識不要領域(例えば、ガードレールの向こう側、建物等の道路外領域)についてはグリッドGを設定しなくてもよい。グリッド設定部63Aは、三角形や六角形等の任意の多角形で(二以上の種類の多角形が含まれてもよい)グリッドGを設定してもよいし、不定形でグリッドGを設定してもよい。
また、グリッド設定部63Aは、混雑指数に基づいてグリッドGのサイズを決定してもよい。例えば、グリッド設定部63Aは、混雑指数が高いほどグリッドGのサイズを小さくしてもよい。
また、グリッド設定部63Aは、道路の種別に基づいてグリッドGのサイズを決定してもよい。例えば、グリッド設定部63Aは、道路の種別が高速道路や自動車専用道路などの車両以外の交通参加者が少ない特定の種別である場合、特定の種別でない場合に比して、グリッドGのサイズを大きくしてもよい。
平面抽出処理部63Bは、グリッドGごとに、グリッドGに包含されるポイントクラウドデータに対して、RANSAC(Random Sample Consensus)などのロバスト推定手法による平面抽出処理を行い、そのグリッドGが道路面(上に物体が存在しないもの)であるか否かを判定して、判定結果をグリッドGのそれぞれに対応付ける。なお、平面抽出処理部63Bは、RANSACに代えて、他の種類の平面抽出処理を行ってもよい。
RANSACは、例えば、以下の手順で行われる。まず、データ集合から、モデルの決定に必要な数以上の(全部ではない)サンプルをランダムに選択し、選択したサンプルから最小二乗法などで仮モデルを導出し、仮モデルをデータに当てはめてみて、外れ値がそれほど多くなければモデル候補に加える。この処理を何度か繰り返し実行し、最もデータ集合の全体に合致するモデル候補を正解モデルとする。本実施形態において、平面抽出処理部63Bは、正解モデルが平面となったグリッドGについて、道路面であると判定する。
非道路面物体抽出部64は、平面抽出処理部63Bにより道路面と判定されたグリッドG以外のグリッドGについて、ポイントクラウドデータを解析してグリッドGの上に存在する物体の輪郭を抽出し、輪郭に基づいて、その輪郭に対応する物体の位置を認識する。或いは、非道路面物体抽出部64は、ライダーデータのうち、平面抽出処理部63Bにより道路面と判定されたグリッドG以外のグリッドGに対応するデータに基づいて、物体の輪郭を抽出し、輪郭に基づいて、その輪郭に対応する物体の位置を認識してもよい。
道路区画線認識部65は、ライダーデータにおける反射光の強度pに着目し、道路面と、白線や黄線等の道路区画線との色の違いから生じる強度pの変化率が高い部分を、道路区画線の輪郭と認識する。これによって、道路区画線認識部65は、白線等の道路区画線の位置を認識する。
非道路面物体抽出部64および道路区画線認識部65の処理結果は、センサフュージョン部90に出力される。センサフュージョン部90には、カメラ画像処理部70やレーダデータ処理部80の処理結果も入力される。
カメラ画像処理部70は、カメラ20から取得したカメラ画像に対して種々の画像処理を行い、車両Mの周辺に存在する物体の位置、サイズ、種類などを認識する。カメラ画像処理部70が行う画像処理は、機械学習によって得られた学習済みモデルにカメラ画像を入力する処理や、エッジ点を抽出してエッジ点を連ねた輪郭線から物体を認識する処理を含んでもよい。
レーダデータ処理部80は、レーダ装置30から取得したレーダデータに対して種々の物体抽出処理を行い、車両Mの周辺に存在する物体の位置、サイズ、種類などを認識する。レーダデータ処理部80は、例えば、物体からの反射波の強度に基づいて物体の材質を推定し、それによって物体の種類を推定する。
センサフュージョン部90は、ライダーデータ処理部60、カメラ画像処理部70、およびレーダデータ処理部80のそれぞれから入力された処理結果を統合し、物体や道路区画線の位置を決定して走行制御装置100に出力する。センサフュージョン部90の処理には、例えば、それぞれの処理結果に対して論理和、論理積、加重和等を求める処理が含まれてよい。
上記のように処理を行うことで、認識システムは、より正確に道路面を特定することができる。図5は、比較例の手法によって道路面と判定した部分の座標を除去したポイントクラウドデータを示す図である。比較例の手法とは、ライダーデータの全体に対して(グリッドGに区分せずに)RANSACを適用し、道路面と判定された領域の座標を除去する手法である。図示するように、比較例の手法では、道路面に対応する領域A1、A2においても、多くの座標が残っている。特に領域A1は車両Mから見て登り坂になっており、データ全体に対してRANSACを適用した場合に道路面と認識されにくくなっている。また、一般的な道路構造は、道路の中央部が高く、端部に向かうにつれて低くなっているため、比較例の手法では、道路の中央部と端部の高低差によって道路面でないと判定してしまう可能性がある。更に、道路には細かい凹部などが存在するため、部分的に道路面でないと認識してしまう可能性がある。
これに対し、図6および図7は、実施形態の手法によって道路面と判定した部分の座標を除去したポイントクラウドデータを示す図である。図6は、正方形であるグリッドGの一辺をX1とした場合の結果を示しており、図7は、正方形であるグリッドGの一片をX2とした場合の結果を示している(X1>X2)。これらの図に示すように、実施形態の手法によれば、道路面に対応する領域A1、A2において座標が多く除去されており、これによって、実際には存在しない物体を障害物と認識してしまう可能性が低減される。なお、グリッドGの一辺を小さくした方が(すなわちグリッドGのサイズを小さくした方が)道路面と判定する精度を向上させることができるが、グリッドGのサイズを小さくした方が処理負荷が高くなるため、これらはトレードオフの関係にある。この点、車両Mから遠くなるほどグリッドGのサイズを大きくすることで、誤認識があっても影響の小さい遠方に関しては低負荷で処理を行うことができ、認識精度と処理負荷とのバランスの良い処理を行うことができる。また、混雑指数が高いほどグリッドGのサイズを小さくすることで、市街地などの交通参加者が多い場所においては、認識精度を優先した処理を行い、そうでない場所では処理負荷の軽減を優先した処理を行うため、認識精度と処理負荷とのバランスの良い処理を行うことができる。また、道路の種別が特定の種別である場合、特定の種別でない場合に比して、グリッドGのサイズを大きくすることで、交通参加者が少ない場所においては処理負荷の軽減を優先した処理を行い、そうでない場所では認識精度を優先した処理を行うため、認識精度と処理負荷とのバランスの良い処理を行うことができる。
走行制御装置100は、例えば、車両Mの加減速と操舵の双方を制御する自動運転制御装置である。走行制御装置100は、物体認識装置50により出力された物体や白線等の位置に基づいて、設定された車線内を物体に接触しないように自動的に車両Mを走行させたり、必要に応じて車線変更、追い抜き、分岐、合流、停止などの自動制御を行う。これに代えて、走行制御装置100は、物体の接近時に自動停止を行う運転支援装置などであってもよい。このように、走行制御装置100は、非道路面物体抽出部64が、平面抽出処理部63Bにより道路面と判定されたグリッドG以外のグリッドGについて認識した物体の位置(特定された道路面に相当する部分を除外した情報)がセンサフュージョン部90を経て出力された情報に基づいて、車両Mの走行制御を行う。
図8は、認識システムによって実行される処理の流れの一例を示すフローチャートである。ライダー10は、物体を検出し、ライダーデータを繰り返しライダーデータ処理部60に出力する(ステップS100)。
ライダーデータ処理部60は、1スキャン分のライダーデータを取得するまで待機し(ステップS102)。1スキャン分のライダーデータを取得すると、ステップS106に処理を進める。
一方、情報取得部62は、例えば、ライダーデータ処理部60のうち情報取得部62以外の構成要素とは非同期で動作し、グリッドGの設定のための情報を取得し、道路面特定部63に提供する(ステップS104)。
ポイントクラウドデータ生成部61は、ライダーデータからポイントクラウドデータを生成する(ステップS106)。グリッド設定部63Aは情報取得部62から提供された情報に基づいて、グリッドGを設定する(ステップS108)。
平面抽出処理部63Bは、グリッドG毎に、道路面であるか否かを特定する(ステップS110)。非道路面物体抽出部64は、道路面と特定されなかった非道路面のグリッドGに関して、物体認識を行う(ステップS112)。そして、ライダーデータ処理部60は、非道路面物体抽出部64および道路区画線認識部65の処理結果をセンサフュージョン部90に出力する(ステップS114)。これによって図8のフローチャートのルーチンが終了する。
以上説明した実施形態の認識システムによれば、車両(M)の周辺に存在する物体の位置を検出する検出部(ライダー10)と、検出部の検出結果に基づいて、車両の周辺における道路面を特定する特定部(道路面特定部63)と、を備え、特定部は、検出部の検出結果を二次元平面上で細分化した個別領域(グリッドG)ごとに所定のアルゴリズム(RANSAC)を用いて平面であるか否かを判定し、個別領域ごとの判定結果を集約して車両の周辺における道路面を特定するため、より正確に道路面を特定することができる。
なお、認識システムは、カメラ20、レーダ装置30、カメラ画像処理部70、レーダデータ処理部80、センサフュージョン部90のうち一部または全部を備えないものであってもよい。例えば、認識システムは、ライダー10とライダーデータ処理部60を含み、非道路面物体抽出部64および道路区画線認識部65の処理結果を走行制御装置100に出力してもよい。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
10 ライダー
50 物体認識装置
60 ライダーデータ処理部
61 ポイントクラウドデータ生成部
62 情報取得部
63 道路面特定部
63A グリッド設定部
63B 平面抽出処理部
64 非道路面物体抽出部
65 道路区画線認識部
100 走行制御装置

Claims (6)

  1. 車両に搭載される認識システムであって、
    前記車両の周辺に存在する物体の位置を検出する検出部と、
    前記検出部の検出結果に基づいて、前記車両の周辺における道路面を特定する特定部と、を備え、
    前記特定部は、前記検出部の検出結果を二次元平面上で細分化した個別領域ごとに所定のアルゴリズムを用いて平面であるか否かを判定し、前記個別領域ごとの判定結果を集約して前記車両の周辺における道路面を特定し、
    前記所定のアルゴリズムは、前記個別領域ごとの前記検出部の検出結果であるデータ集合から所定数のサンプルをランダムに選択し、選択したサンプルに基づいてモデル候補を導出し、モデル候補をデータに当てはめた場合の外れ値が規定数以下のモデル候補のうち、最もデータ集合の全体に合致するモデル候補を正解モデルとし、正解モデルが平面となった場合に、当該個別領域が道路面であると判定するアルゴリズムであ
    前記検出部は、仰角または俯角と方位角を変えながらレーザーを前記車両の周辺に照射するライダーであり、
    前記特定部は、
    仰角または俯角、方位角、および距離で少なくとも表される物体の位置を二次元平面に射影したポイントクラウドデータを細分化した個別領域ごとに、前記所定のアルゴリズムを用いて平面であるか否かを判定し、
    前記二次元平面における前記車両からの距離に基づいて、前記個別領域のサイズを異ならせ、
    前記認識システムの過去の認識結果を参照することで得られる認識不要領域については前記個別領域を設定しない、
    認識システム。
  2. 前記特定部は、前記車両の周辺における物体の分布を示す情報を取得し、前記取得した物体の分布を示す情報に基づいて、前記個別領域のサイズを変更する、
    請求項1記載の認識システム。
  3. 前記特定部は、前記車両が存在する道路の種別に関する情報を取得し、前記取得した道路の種別に関する情報が特定の種別の道路を示す場合、前記取得した道路の種別に関する情報が特定の種別の道路を示さない場合に比して、前記個別領域のサイズを大きくする、 請求項1または2記載の認識システム。
  4. 請求項1から3のうちいずれか1項記載の認識システムと、
    前記認識システムにおける前記検出部の検出結果から、前記特定部により特定された道路面に相当する部分を除外した情報に基づいて、前記車両の走行制御を行う走行制御装置と、
    を備える車両制御システム。
  5. 車両に搭載されたコンピュータが、
    車両の周辺に存在する物体の位置を検出する検出部の検出結果を取得し、
    前記検出結果に基づいて、前記車両の周辺における道路面を特定し、
    前記特定する際に、
    前記検出結果を二次元平面上で細分化した個別領域ごとに所定のアルゴリズムを用いて平面であるか否かを判定し、
    前記個別領域ごとの判定結果を集約して前記車両の周辺における道路面を特定し、
    前記所定のアルゴリズムは、前記個別領域ごとの前記検出部の検出結果であるデータ集合から所定数のサンプルをランダムに選択し、選択したサンプルに基づいてモデル候補を導出し、モデル候補をデータに当てはめた場合の外れ値が規定数以下のモデル候補のうち、最もデータ集合の全体に合致するモデル候補を正解モデルとし、正解モデルが平面となった場合に、当該個別領域が道路面であると判定するアルゴリズムであ
    前記検出部は、仰角または俯角と方位角を変えながらレーザーを前記車両の周辺に照射するライダーであり、
    前記特定する際に、
    仰角または俯角、方位角、および距離で少なくとも表される物体の位置を二次元平面に射影したポイントクラウドデータを細分化した個別領域ごとに、前記所定のアルゴリズムを用いて平面であるか否かを判定し、
    前記二次元平面における前記車両からの距離に基づいて、前記個別領域のサイズを異ならせ、
    前記コンピュータの過去の認識結果を参照することで得られる認識不要領域については前記個別領域を設定しない、
    認識方法。
  6. 車両に搭載されたコンピュータに、
    車両の周辺に存在する物体の位置を検出する検出部の検出結果を取得させ、
    前記検出結果に基づいて、前記車両の周辺における道路面を特定させ、
    前記特定させる際に、
    前記検出結果を二次元平面上で細分化した個別領域ごとに所定のアルゴリズムを用いて平面であるか否かを判定させ、
    前記個別領域ごとの判定結果を集約して前記車両の周辺における道路面を特定させ、
    前記所定のアルゴリズムは、前記個別領域ごとの前記検出部の検出結果であるデータ集合から所定数のサンプルをランダムに選択し、選択したサンプルに基づいてモデル候補を導出し、モデル候補をデータに当てはめた場合の外れ値が規定数以下のモデル候補のうち、最もデータ集合の全体に合致するモデル候補を正解モデルとし、正解モデルが平面となった場合に、当該個別領域が道路面であると判定するアルゴリズムであ
    前記検出部は、仰角または俯角と方位角を変えながらレーザーを前記車両の周辺に照射するライダーであり、
    前記特定させる際に、
    仰角または俯角、方位角、および距離で少なくとも表される物体の位置を二次元平面に射影したポイントクラウドデータを細分化した個別領域ごとに、前記所定のアルゴリズムを用いて平面であるか否かを判定させ、
    前記二次元平面における前記車両からの距離に基づいて、前記個別領域のサイズを異ならせることを行わせ、
    前記コンピュータの過去の認識結果を参照することで得られる認識不要領域については前記個別領域を設定させない、
    プログラム。
JP2019136089A 2019-07-24 2019-07-24 認識システム、車両制御システム、認識方法、およびプログラム Active JP7165630B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019136089A JP7165630B2 (ja) 2019-07-24 2019-07-24 認識システム、車両制御システム、認識方法、およびプログラム
CN202010707780.9A CN112286178B (zh) 2019-07-24 2020-07-21 识别系统、车辆控制系统、识别方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019136089A JP7165630B2 (ja) 2019-07-24 2019-07-24 認識システム、車両制御システム、認識方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2021021967A JP2021021967A (ja) 2021-02-18
JP7165630B2 true JP7165630B2 (ja) 2022-11-04

Family

ID=74420120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019136089A Active JP7165630B2 (ja) 2019-07-24 2019-07-24 認識システム、車両制御システム、認識方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP7165630B2 (ja)
CN (1) CN112286178B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022152402A (ja) * 2021-03-29 2022-10-12 本田技研工業株式会社 認識装置、車両システム、認識方法、およびプログラム
WO2024218879A1 (ja) * 2023-04-18 2024-10-24 日本電信電話株式会社 推定装置、推定方法、及び推定プログラム
JP2025015988A (ja) * 2023-07-21 2025-01-31 日立Astemo株式会社 障害物検知装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011191239A (ja) 2010-03-16 2011-09-29 Mazda Motor Corp 移動体位置検出装置
JP2013140515A (ja) 2012-01-05 2013-07-18 Toyota Central R&D Labs Inc 立体物検出装置及びプログラム
JP2017117038A (ja) 2015-12-22 2017-06-29 いすゞ自動車株式会社 道路面推定装置
JP2018112887A (ja) 2017-01-11 2018-07-19 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム
US20180364717A1 (en) 2017-06-14 2018-12-20 Zoox, Inc. Voxel Based Ground Plane Estimation and Object Segmentation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010071942A (ja) * 2008-09-22 2010-04-02 Toyota Motor Corp 物体検出装置
JP6385745B2 (ja) * 2014-07-22 2018-09-05 日立建機株式会社 鉱山用作業車両
CN108828621A (zh) * 2018-04-20 2018-11-16 武汉理工大学 基于三维激光雷达的障碍检测和路面分割算法
CN109359614B (zh) * 2018-10-30 2021-06-11 百度在线网络技术(北京)有限公司 一种激光点云的平面识别方法、装置、设备和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011191239A (ja) 2010-03-16 2011-09-29 Mazda Motor Corp 移動体位置検出装置
JP2013140515A (ja) 2012-01-05 2013-07-18 Toyota Central R&D Labs Inc 立体物検出装置及びプログラム
JP2017117038A (ja) 2015-12-22 2017-06-29 いすゞ自動車株式会社 道路面推定装置
JP2018112887A (ja) 2017-01-11 2018-07-19 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム
US20180364717A1 (en) 2017-06-14 2018-12-20 Zoox, Inc. Voxel Based Ground Plane Estimation and Object Segmentation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高橋将史,"超高速3Dレーザースキャナシステム「RobotEye RE05-3D」による移動物体の3Dトラッキング機能と複数台同期システムの紹介",映像情報インダストリアル,日本,産業開発機構(株),2017年10月01日,第49巻, 第10号,p.41-46

Also Published As

Publication number Publication date
CN112286178B (zh) 2023-12-01
JP2021021967A (ja) 2021-02-18
CN112286178A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN111352110B (zh) 处理雷达数据的方法和装置
JP7069927B2 (ja) 物体認識装置、及び物体認識方法
JP6662388B2 (ja) 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム
US8184159B2 (en) Forward looking sensor system
US8260539B2 (en) Object and vehicle detection and tracking using 3-D laser rangefinder
JP5407898B2 (ja) 対象物検出装置及びプログラム
JP4650079B2 (ja) 物体検出装置、および方法
JP6657789B2 (ja) 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム
JP5145585B2 (ja) 物標検出装置
JP5822255B2 (ja) 対象物識別装置及びプログラム
JP2017223511A (ja) 道路構造化装置、道路構造化方法、及び道路構造化プログラム
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
JP7165630B2 (ja) 認識システム、車両制御システム、認識方法、およびプログラム
CN111046719A (zh) 用于转换图像的设备和方法
JP2006234494A (ja) 物体認識装置
EP3115933A1 (en) Image processing device, image capturing device, mobile body control system, image processing method, and computer-readable recording medium
EP3410345B1 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
US12243321B2 (en) Method for determining a semantic free space
JP5974923B2 (ja) 道路端検出システム、方法およびプログラム
JP6038422B1 (ja) 車両判定装置、車両判定方法及び車両判定プログラム
JP5888275B2 (ja) 道路端検出システム、方法およびプログラム
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP2020148601A (ja) 認識装置、車両制御装置、認識方法、およびプログラム
JP2006234493A (ja) 物体認識装置及び方法
JP2007114056A (ja) 物体認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221024

R150 Certificate of patent or registration of utility model

Ref document number: 7165630

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150