JP7107015B2

JP7107015B2 - 点群処理装置、点群処理方法およびプログラム

Info

Publication number: JP7107015B2
Application number: JP2018116202A
Authority: JP
Inventors: 真隆福泉; 美智代松井
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2018-06-19
Filing date: 2018-06-19
Publication date: 2022-07-27
Anticipated expiration: 2038-06-19
Also published as: JP2019219248A

Description

本発明は、点群処理装置、点群処理方法およびプログラムに関する。

近年、実空間の３次元計測および計測データの３次元モデル化の需要が高まっている。実空間の３次元計測および計測データの３次元モデル化を実現する方法には、例えばＬＩＤＡＲ（Laser Imaging Detection and Ranging）のように、アクティブ光（近赤外光）に対する反応を検知する３次元レーザーセンサを利用する方法が挙げられる。

３次元計測に関し、特許文献１には、ＬＩＤＡＲを用いて得られた点群において点密度が希薄な領域に対して、画像センサから得られた情報を処理して生成した新たな点群を追加することで、点群の高解像度化を行う技術が開示されている。また、赤外線ドットによりデプスマップを得る方法では、赤外線を十分に反射しない領域がデプスマップにおける欠損領域になる。この点に関し、特許文献２には、ＲＧＢの色情報を持つ画像を用いて欠損領域を補間する方法が開示されている。なお、当該デプスマップは点群の生成に用いられることがある。

特許第５７７８２３７号特表２０１６－５２２９２３号公報

特許文献１および特許文献２に記載の技術によれば、ある時点での実空間を表現する点群またはデプスマップを得ることができる。しかし、特許文献１および特許文献２には、実空間の床または壁などの背景領域に属する背景点群を全体の点群から抽出する技術は開示されていない。ある時点での測定により得られた全体の点群から背景点群を抽出する技術があったとしても、一部の背景領域が物体に隠れている場合、背景点群の一部が欠損してしまう。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、実空間の背景領域に属する背景点群をより高精度に得ることが可能な、新規かつ改良された点群処理装置、点群処理方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、複数のタイミングの各々で同一地点から実空間をＬＩＤＡＲで測定することにより得られた、各タイミングに対応する３次元の点群から、各タイミングに対応する３次元の点群の分布に基づいて、背景領域に属する点群である背景点群を抽出する背景抽出部と、前記複数のタイミングの各々に対応する点群から抽出された各背景点群の少なくとも一部を統合することにより、統合背景点群を生成する背景統合部と、を備え、前記背景統合部は、前記背景抽出部により抽出された新たな背景点群から新たな部分点群を抽出し、前記新たな部分点群を前記統合背景点群に統合することを繰り返すことにより、前記統合背景点群を繰り返し更新し、前記統合背景点群を構成する点の数が上限値を上回る場合に、前記統合背景点群を構成する一部の点を削除する、点群処理装置が提供される。また、上記課題を解決するために、本発明のある観点によれば、複数のタイミングの各々で同一地点から実空間をＬＩＤＡＲで測定することにより得られた、各タイミングに対応する３次元の点群から、各タイミングに対応する３次元の点群の分布に基づいて、背景領域に属する点群である背景点群を抽出する背景抽出部と、前記複数のタイミングの各々に対応する点群から抽出された各背景点群の少なくとも一部を統合することにより、統合背景点群を生成する背景統合部と、を備え、前記背景統合部は、前記背景抽出部により抽出された新たな背景点群からランダムに新たな部分点群を抽出し、前記新たな部分点群を前記統合背景点群に統合することを繰り返すことにより、前記統合背景点群を繰り返し更新する、点群処理装置が提供される。

前記統合背景点群を構成する一部の点は、前記統合背景点群を構成するランダムな点であってもよい。

前記背景統合部は、前記新たな背景点群からランダムに前記新たな部分点群を抽出してもよい。

前記背景統合部は、複数の前記新たな背景点群の各々で異なる範囲内からランダムに前記新たな部分点群を抽出してもよい。

前記点群処理装置は、ある点群と前記統合背景点群の差分を計算することにより、物体が存在する領域を検出する物体検出部をさらに備えてもよい。

前記物体検出部は、第１のタイミングに対応する点群と、前記第１のタイミングより前の第２のタイミングに対応する点群から抽出された部分点群の統合により得られた統合背景点群との差分を計算することにより、物体が存在する領域を検出してもよい。

前記背景領域は、床面領域および壁面領域の少なくともいずれかを含んでもよい。

また、上記課題を解決するために、本発明の別の観点によれば、複数のタイミングの各々で同一地点から実空間をＬＩＤＡＲで測定することにより得られた、各タイミングに対応する３次元の点群から、各タイミングに対応する３次元の点群の分布に基づいて、背景領域に属する点群である背景点群を抽出することと、前記複数のタイミングの各々に対応する点群から抽出された各背景点群の少なくとも一部を統合することにより、統合背景点群を生成することと、を含み、前記統合背景点群を生成することは、抽出された新たな背景点群から新たな部分点群を抽出し、前記新たな部分点群を前記統合背景点群に統合することを繰り返すことにより、前記統合背景点群を繰り返し更新し、前記統合背景点群を構成する点の数が上限値を上回る場合に、前記統合背景点群を構成する一部の点を削除することを含む、点群処理方法が提供される。また、上記課題を解決するために、本発明の別の観点によれば、複数のタイミングの各々で同一地点から実空間をＬＩＤＡＲで測定することにより得られた、各タイミングに対応する３次元の点群から、各タイミングに対応する３次元の点群の分布に基づいて、背景領域に属する点群である背景点群を抽出することと、前記複数のタイミングの各々に対応する点群から抽出された各背景点群の少なくとも一部を統合することにより、統合背景点群を生成することと、を含み、前記統合背景点群を生成することは、抽出された新たな背景点群からランダムに新たな部分点群を抽出し、前記新たな部分点群を前記統合背景点群に統合することを繰り返すことにより、前記統合背景点群を繰り返し更新することを含む、点群処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、複数のタイミングの各々で同一地点から実空間をＬＩＤＡＲで測定することにより得られた、各タイミングに対応する３次元の点群から、各タイミングに対応する３次元の点群の分布に基づいて、背景領域に属する点群である背景点群を抽出する背景抽出部と、前記複数のタイミングの各々に対応する点群から抽出された各背景点群の少なくとも一部を統合することにより、統合背景点群を生成する背景統合部と、を備え、前記背景統合部は、前記背景抽出部により抽出された新たな背景点群から新たな部分点群を抽出し、前記新たな部分点群を前記統合背景点群に統合することを繰り返すことにより、前記統合背景点群を繰り返し更新し、前記統合背景点群を構成する点の数が上限値を上回る場合に、前記統合背景点群を構成する一部の点を削除する、点群処理装置として機能させるための、プログラムが提供される。また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、複数のタイミングの各々で同一地点から実空間をＬＩＤＡＲで測定することにより得られた、各タイミングに対応する３次元の点群から、各タイミングに対応する３次元の点群の分布に基づいて、背景領域に属する点群である背景点群を抽出する背景抽出部と、前記複数のタイミングの各々に対応する点群から抽出された各背景点群の少なくとも一部を統合することにより、統合背景点群を生成する背景統合部と、を備え、前記背景統合部は、前記背景抽出部により抽出された新たな背景点群からランダムに新たな部分点群を抽出し、前記新たな部分点群を前記統合背景点群に統合することを繰り返すことにより、前記統合背景点群を繰り返し更新する、点群処理装置として機能させるための、プログラムが提供される。

以上説明した本発明によれば、実空間の背景領域に属する背景点群をより高精度に得ることが可能である。

本発明の実施形態による点群処理システムを示す説明図である。実空間の具体例を示す説明図である。図２に示した実空間の点群から抽出された背景点群を示す説明図である。本発明の実施形態による点群処理装置２００の構成を示す説明図である。部分点群Ｐｉの抽出の具体例を示す説明図である。統合背景点群の具体例を示す説明図である。本発明の実施形態による点群処理装置２００の動作を示すフローチャートである。第１の変形例を示す説明図である。第２の変形例を示す説明図である。点群処理装置２００のハードウェア構成を示したブロック図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。

＜点群処理システムの概要＞
本発明の実施形態は、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）による実空間の測定により得られた点群を処理することで実空間に存在する物体を検出する点群処理システムに関する。本発明の実施形態の詳細な説明に先立ち、本発明の実施形態による点群処理システムの概要を説明する。

図１は、本発明の実施形態による点群処理システムを示す説明図である。図１に示したように、本発明の実施形態による点群処理システムは、ＬＩＤＡＲ１００および点群処理装置２００を有する。ＬＩＤＡＲ１００と点群処理装置２００は、有線で接続されてもよいし、無線で接続されてもよいし、ネットワークを介して接続されてもよい。

（ＬＩＤＡＲ）
ＬＩＤＡＲ１００は、実空間の３次元環境を測定する測定装置である。ＬＩＤＡＲ１００は、例えば図１に示したように三脚１１０により支持されることである地点に設置される。ＬＩＤＡＲ１００は、設置された同一地点から複数フレームに亘ってレーザーを用いた測定を繰り返し、各フレームの３次元の点群を得る。ＬＩＤＡＲ１００は、測定により得た点群を点群処理装置２００に出力する。

なお、ＬＩＤＡＲ１００に設けられるレーザー送受信センサの数、レーザーの走査方式および測定可能範囲は特に限定されない。例えば、レーザー送受信センサの数は、８個、１６個、３２個、６４個または１２８個などであってもよい。また、レーザーの走査方式は、水平方向に沿ってレーザーの向きを変化させる方式であってもよいし、垂直方向に沿ってレーザーの向きを変化させる方式であってもよい。また、測定可能範囲は、水平視野において１２０°または全方位などであり、垂直視野角において２０°、３０°または４０°などであってもよい。

（点群処理装置）
点群処理装置２００は、ＬＩＤＡＲ１００から入力される点群に基づき、実空間で物体が存在する物体領域を検出する。物体領域の検出は、ＬＩＤＡＲ１００から入力される点群から、背景領域（床および壁などの固定物）に属する点群を分離（セグメンテーション）することにより実現され得る。このため、点群処理装置２００は、ＬＩＤＡＲ１００から入力される点群から背景領域に属する点群である背景点群を抽出する機能も有する。なお、点群処理装置２００が検出対象とする物体は特に限定されず、例えば、点群処理装置２００は人または車両などの動物体を検出対象としてもよい。ここで、図２および図３を参照し、点群処理装置２００による背景点群の抽出の具体例を説明する。

図２は、実空間の具体例を示す説明図である。図２に示した実空間は、床面Ｆおよび壁面Ｗで囲まれる空間であり、床面Ｆには物体Ｏが存在する。なお、本明細書においては、ＸＹ平面が床面Ｆに水平な面であり、ＸＺ平面またはＹＺ平面が壁面Ｗに水平な面となるようにＬＩＤＡＲ１００が設置されたものとする。

図３は、図２に示した実空間の点群から抽出された背景点群を示す説明図である。図３に示したように、背景点群は、床面Ｆおよび壁面Ｗにおいて物体Ｏに遮蔽された部分以外の領域に散在する。なお、図３は背景点群を簡易的に示しているに過ぎず、実際には、より多くの点からなる背景点群が得られてもよいし、円弧状に点が分布してもよい。

（課題の整理）
上記の物体検出は、不足の無い背景点群を用いることにより、正確に行うことが可能である。一方、図３に示したように、物体Оに遮蔽された部分の点群が欠損している背景点群では、背景領域として扱われるべき点群の一部が物体として検出される恐れがある。

そこで、本件発明者は上記事情を着眼点にして本発明の実施形態を創作するに至った。本発明の実施形態による点群処理装置２００は、実空間の背景領域に属する背景点群をより高精度に得ることが可能である。以下、このような本発明の実施形態による点群処理装置２００の構成および動作を順次詳細に説明する。

＜点群処理装置の構成＞
図４は、本発明の実施形態による点群処理装置２００の構成を示す説明図である。図４に示したように、本発明の実施形態による点群処理装置２００は、点群記憶部２２０、背景抽出部２３０、背景点群記憶部２４０、背景統合部２５０、物体検出部２６０、表示制御部２７０および表示部２８０を有する。

（点群記憶部）
点群記憶部２２０は、ＬＩＤＡＲ１００から入力された各フレームの点群を記憶する。当該点群には、背景領域に属する背景点群、および物体領域に属する物体点群が区別されずに混在していることが想定される。ＬＩＤＡＲ１００から入力された点群を以下では点群Ｐｏと称する場合がある。

（背景抽出部）
背景抽出部２３０は、点群記憶部２２０に記憶された点群Ｐｏから背景領域に属する背景点群を抽出する。背景領域には例えば床面および壁面が該当し、背景点群には、図３に示したように、床面に属する床面点群Ｐｏｆおよび壁面に属する壁面点群Ｐｏｗが含まれ得る。床面は、ＸＹ平面と水平な点群Ｐｏにおいて最も巨大な平面であり、壁面はＸＺ平面またはＹＺ平面と水平な点群Ｐｏにおいて最も巨大な平面であると推定される。このため、背景抽出部２３０は、ＲＡＮＳＡＣ（ＲａｎｄｏｍＳａｍｐｌｉｎｇＣｏｎｓｅｎｓｕｓ）を実行することにより床面点群Ｐｏｆおよび壁面点群Ｐｏｗを得る。以下、平面形状を構成する点群のＲＡＮＳＡＣによる点群の推定手順を説明した後に、ＲＡＮＳＡＣにより床面点群Ｐｏｆおよび壁面点群Ｐｏｗを得る具体的な方法を説明する。

点群Ｐｏに対して３つのパラメータを用いてＲＡＮＳＡＣを実行することにより、平面形状を構成する点群Ｐ＿ｐｌａｎｅが出力される。３つのパラメータには、推定したい平面形状の法線方向ｖｐｌ、平面を構成する点群と平面との距離の誤差しきい値ｄｉｓｔ＿ｐｌ、平面を構成する点群と平面との角度の誤差しきい値ａｎｇｌｅ＿ｐｌが該当する。これらパラメータは人的に設定され得る。上記を要すると、点群Ｐ＿ｐｌａｎｅは以下のように表現される。
Ｐ＿ｐｌａｎｅ:=ＲＡＮＳＡＣ（Ｐｏ,ｖｐｌ,ｄｉｓｔ＿ｐｌ,ａｎｇｌｅ＿ｐｌ）

そして、背景抽出部２３０は、上述したｖｐｌにＺ軸方向を適用することにより、床面点群Ｐｏｆを得ることができる。当該床面点群Ｐｏｆを得る処理は、以下のように表現される。
Ｐｏｆ:=ＲＡＮＳＡＣ（Ｐｏ,Ｚ,ｄｉｓｔ＿ｐｌ,ａｎｇｌｅ＿ｐｌ）

さらに、背景抽出部２３０は、上述したｖｐｌにＹ軸方向を適用することにより、ＸＺ平面と水平な壁面に属する壁面点群Ｐｏｗ＿Ｙを得ることができる。また、背景抽出部２３０は、上述したｖｐｌにＸ軸方向を適用することにより、ＹＺ平面と水平な壁面に属する壁面点群Ｐｏｗ＿Ｘを得ることができる。これら壁面点群Ｐｏｗ＿Ｙおよび壁面点群Ｐｏｗ＿Ｘが組み合わされた点群が壁面点群Ｐｏｗである。当該壁面点群Ｐｏｗを得る処理は、以下のように表現される。
Ｐｏｗ＿Ｙ:=ＲＡＮＳＡＣ（Ｐｏ,Ｙ,ｄｉｓｔ＿ｐｌ,ａｎｇｌｅ＿ｐｌ）
Ｐｏｗ＿Ｘ:=ＲＡＮＳＡＣ（Ｐｏ,Ｘ,ｄｉｓｔ＿ｐｌ,ａｎｇｌｅ＿ｐｌ）
Ｐｏｗ:= Ｐｏｗ＿Ｙ＋Ｐｏｗ＿Ｘ

（背景点群記憶部）
背景点群記憶部２４０は、背景点群を記憶する。具体的には、上述した処理により背景抽出部２３０により抽出された床面点群Ｐｏｆおよび壁面点群Ｐｏｗが１フレーム目の点群Ｐｏから抽出された点群である場合、背景点群記憶部２４０は、これら床面点群Ｐｏｆおよび壁面点群Ｐｏｗを初期背景点群として記憶する。また、背景点群記憶部２４０は、後述する背景統合部２５０により得られる統合背景点群を記憶する。

（背景統合部）
背景統合部２５０は、背景点群記憶部２４０に記憶された初期背景点群と、新たなフレームから抽出された背景点群（床面点群Ｐｏｆおよび壁面点群Ｐｏｗ）の部分点群Ｐｉを統合することにより、統合背景点群Ｐｂを生成する。また、背景統合部２５０は、既に統合背景点群Ｐｂが背景点群記憶部２４０に記憶されている場合には、当該統合背景点群Ｐｂと新たなフレームから抽出された背景点群の部分点群Ｐｉを統合することにより、統合背景点群Ｐｂを更新する。

ここで、新たなフレームから抽出された床面点群Ｐｏｆおよび壁面点群Ｐｏｗの部分点群Ｐｉは、床面点群Ｐｏｆおよび壁面点群Ｐｏｗからランダムに抽出された点群であってもよいし、ユーザにより指定されたルールに従って抽出された点群であってもよい。このような当該部分点群Ｐｉを背景統合部２５０が抽出する処理は以下のように表現される。Ｐｉ＿ｓｉｚｅは部分点群Ｐｉに含まれる点の数であり、ユーザにより与えられるパラメータである。Ｐｉ＿ｓｉｚｅの数は、例えば、新たなフレームから抽出された床面点群Ｐｏｆおよび壁面点群Ｐｏｗの点の数の０．３％～１．０％であってもよい。
Ｐｉ:=Ｅｘｔｒａｃｔ＿ｐｉ（Ｐｏｗ＋Ｐｏｆ，ｒａｎｄｏｍｏｒｕｓｅｒｒｕｌｅ，Ｐｉ＿ｓｉｚｅ）

そして、背景統合部２５０は、初期背景点群または統合背景点群Ｐｂに上述した部分点群Ｐｉを追加することで、統合背景点群Ｐｂを生成または更新する。当該処理は以下のように表現される。
Ｐｂ:=Ｐｂ＋Ｐｉ

上述した部分点群Ｐｉの抽出、および統合背景点群Ｐｂの生成について、図５および図６を参照してより具体的に説明する。

図５は、部分点群Ｐｉの抽出の具体例を示す説明図である。図５には、図３に示したフレームの次のフレームで背景抽出部２３０により抽出された床面点群Ｐｏｆおよび壁面点群Ｐｏｗが示されている。図３と図５を比較すると、物体Ｏが移動しており、物体Ｏに遮蔽されて点群が欠損している位置が異なる。

背景統合部２５０は、図５に示した床面点群Ｐｏｆおよび壁面点群Ｐｏｗから、図５において太線で示した例えば６つの部分点群Ｐｉを抽出する。そして、背景統合部２５０は、図３に示した初期背景点群に部分点群Ｐｉを追加することにより、図６に示した統合背景点群Ｐｂを生成する。図６に示した統合背景点群Ｐｂでは、図３において物体Ｏにより遮蔽されて点群が欠損していた位置に点群が追加されている。このような部分点群Ｐｉの追加を複数フレームに亘って繰り返して統合背景点群Ｐｂを更新することにより、統合背景点群Ｐｂの精度を向上していくことが可能である。

ただし、部分点群Ｐｉの追加が繰り返されていくと、統合背景点群Ｐｂの点数が増加し過ぎて、記憶領域および計算資源が圧迫されてしまう。そこで、統合背景点群Ｐｂの点数の上限値として最大点数Ｎｐｂｍａｘを設定し、背景統合部２５０は、統合背景点群Ｐｂの点数と最大点数Ｎｐｂｍａｘの関係に応じて統合背景点群Ｐｂに関する処理を実行してもよい。

具体的には、統合背景点群Ｐｂの点数が最大点数Ｎｐｂｍａｘ未満である場合、背景統合部２５０は、統合背景点群Ｐｂに部分点群Ｐｉを追加することにより統合背景点群Ｐｂを更新する。

一方、統合背景点群Ｐｂの点数が最大点数Ｎｐｂｍａｘ以上である場合、背景統合部２５０は、統合背景点群Ｐｂから部分点群Ｐｉと同数の点Ｐ＿ｄをランダムに消去する。そして、背景統合部２５０は、点Ｐｂ＿ｄの消去後の統合背景点群Ｐｂに対して部分点群Ｐｉを追加することにより統合背景点群Ｐｂを更新する。

上記の処理は、以下のように整理される。
Ｐｂ:=Ｐｂ＋Ｐｉ（最大点数Ｎｐｂｍａｘ＞Ｐｂの点数である場合）
Ｐｂ:=Ｐｂ－Ｐｂ＿ｄ＋Ｐｉ（最大点数Ｎｐｂｍａｘ≦Ｐｂの点数である場合）

（物体検出部）
物体検出部２６０は、点群Ｐｏおよび統合背景点群Ｐｂを用いて、物体が存在する領域（物体領域）を検出する。そのために、物体検出部２６０は、点群Ｐｏおよび統合背景点群Ｐｂの差分を計算する。当該差分を高速に計算するために、物体検出部２６０は、点群Ｐｏおよび統合背景点群ＰｂをＯｃｔｒｅｅ構造に変換してＯｃｔ＿ＰｏおよびＯｃｔ＿Ｐｂを得る。そして、物体検出部２６０は、Ｏｃｔ＿ＰｏとＯｃｔ＿Ｐｂの差分の点群情報Ｄｉｆｆ＿Ｐｏ＿Ｐｂを得る。さらに、物体検出部２６０は、Ｄｉｆｆ＿Ｐｏ＿Ｐｂを点群Ｐｏに適用することで、点群Ｐｏおよび統合背景点群Ｐｂの差分である差分点群Ｐｄを得る。

上述した差分点群Ｐｄを得るための処理は以下のように表現される。
Ｏｃｔ＿Ｐｏ:=Ｏｃｔｒｅｅ（Ｐｏ）
Ｏｃｔ＿Ｐｂ:=Ｏｃｔｒｅｅ（Ｐｂ）
Ｄｉｆｆ＿Ｐｏ＿Ｐｂ:=Ｏｃｔｄｉｆｆ（Ｏｃｔ＿Ｐｏ，Ｏｃｔ＿Ｐｂ）
Ｐｄ:=Ｏｃｔｉｎｄｉｃｅ（Ｐｏ，Ｄｉｆｆ＿Ｐｏ＿Ｐｂ）

そして、物体検出部２６０は、差分点群Ｐｄに対してクラスタリングを行うことにより物体領域Ｒｅｇｉｏｎ＿ｄを得る。具体的には、物体検出部２６０は、まずクラスタリングを行うために差分点群ＰｄをＫｄｔｒｅｅ構造に変換して、Ｋｄ＿Ｐｄを得る。そして、物体検出部２６０は、Ｋｄ＿Ｐｄ、各クラスタ間の許容距離ｄｉｓｔ＿ｃ、最小のクラスタ点群点数Ｎｃｍｉｎ、および最大のクラスタ点群点数Ｎｃｍａｘを用いてクラスタリングを行い、物体を構成する点群のクラスタＰｃを得る。当該クラスタリングによって、０個から複数個のＰｃが得られる。なお、ｄｉｓｔ＿ｃ、ＮｃｍｉｎおよびＮｃｍａｘはユーザにより指定されるパラメータであってもよい。

さらに、物体検出部２６０は、Ｐｃ群から物体が存在する物体領域Ｒｅｇｉｏｎ＿ｄを計算する。Ｒｅｇｉｏｎ＿ｄはリスト構造になっており、各要素には各Ｐｃの点群数、クラスタの最大・最小座標、クラスタサイズ、クラスタの重心、クラスタからＬＩＤＡＲ１００までの距離、物体の種類などが格納される。物体検出部２６０は、Ｐｃの点群を探索することで、点群数とクラスタの座標を計算し、点群数およびクラスタの座標からクラスタサイズ、クラスタの重心、クラスタからＬＩＤＡＲ１００までの距離、および物体の種類などを計算可能である。

上述したクラスタリングから物体領域Ｒｅｇｉｏｎ＿ｄの検出までの処理は以下のように表現される。なお、ＫｄｔｒｅｅはＫｄｔｒｅｅ構造に引数を変換する関数であり、Ｃｌｕｓｔｅｒｉｎｇは点群中の物体を構成するクラスタ群を出力する関数であり、Ｒｅｇｉｏｎ＿ｆは各クラスタの点群数、クラスタの最大・最小座標、クラスタサイズ、クラスタの重心、クラスタからＬＩＤＡＲ１００までの距離、および物体の種類を含む構造体のリストを出力する関数である。
Ｋｄ＿Ｐｄ:=Ｋｄｔｒｅｅ（Ｐｄ）
Ｐｃ:=Ｃｌｕｓｔｅｒｉｎｇ（Ｋｄ＿Ｐｄ，ｄｉｓｔ＿ｃ，Ｎｃｍｉｎ，Ｎｃｍａｘ）
Ｒｅｇｉｏｎ＿ｄ:=Ｒｅｇｉｏｎ＿ｆ（Ｐｃ）

（表示制御部）
表示制御部２７０は、点群記憶部２２０から読み出した点群Ｐｏと物体領域Ｒｅｇｉｏｎ＿ｄを用いて、点群Ｐｏにおける物体の検出結果を示す検出結果画面を生成する。検出結果画面の生成方法は、点群Ｐｏを配置すること、Ｒｅｇｉｏｎ＿ｄより得られるクラスタの最大・最小座標を用いたクラスタの領域（立方体）を配置すること、および、最大・最小座標を用いることで立方体の各頂点を計算し、立方体の辺となるように各立方体の頂点間で線を描画すること、をＲｅｇｉｏｎ＿ｄに存在する各物体に対して行うこと、を含む。

（表示部）
表示部２８０は、表示制御部２７０により生成された検出結果画面を表示する。これにより、点群Ｐｏに存在する全ての物体領域が可視化される。

＜点群処理装置の動作＞
以上、本発明の実施形態による点群処理装置２００の構成を説明した。続いて、図７を参照し、本発明の実施形態による点群処理装置２００の動作を説明する。

図７は、本発明の実施形態による点群処理装置２００の動作を示すフローチャートである。図７に示したように、まず、点群記憶部２２０はＬＩＤＡＲ１００から入力された１フレーム目の点群Ｐｏを記憶する（Ｓ３０４）。

そして、背景抽出部２３０は、点群記憶部２２０に記憶された点群Ｐｏから背景領域に属する背景点群（床面点群Ｐｏｆおよび壁面点群Ｐｏｗ）を抽出する（Ｓ３０８）。背景点群記憶部２４０は、背景抽出部２３０により抽出された背景点群を初期背景点群として記憶する（Ｓ３１２）。

その後、ＬＩＤＡＲ１００から新たなフレームの点群Ｐｏが入力されると、点群記憶部２２０は当該新たなフレームの点群Ｐｏを記憶する（Ｓ３１６）。続いて、背景抽出部２３０が新たなフレームの点群Ｐｏから背景点群を抽出し（Ｓ３２０）、背景統合部２５０が、当該背景点群から部分点群Ｐｉを抽出する（Ｓ３２４）。

ここで、背景点群記憶部２４０に統合背景点群Ｐｂが記憶されている場合、背景統合部２５０は、統合背景点群Ｐｂの点数が最大点数Ｎｐｂｍａｘ以上であるか否かを判断する（Ｓ３２８）。統合背景点群Ｐｂの点数が最大点数Ｎｐｂｍａｘ以上である場合、または背景点群記憶部２４０に統合背景点群Ｐｂが記憶されていない場合（Ｓ３２８／Ｎｏ）、処理はＳ３３６に進む。一方、統合背景点群Ｐｂの点数が最大点数Ｎｐｂｍａｘ以上である場合（Ｓ３２８／Ｙｅｓ）、背景統合部２５０は、統合背景点群Ｐｂから部分点群Ｐｉと同数の点群を消去する（Ｓ３３２）。

続いて、背景統合部２５０は、統合背景点群Ｐｂ（１周目は初期背景点群）に部分点群Ｐｉを統合して統合背景点群Ｐｂを更新（生成）する（Ｓ３３６）。そして、物体検出部２６０が新たなフレームの点群Ｐｏおよび統合背景点群Ｐｂの差分を計算して物体領域を検出し（Ｓ３４０）、表示部２８０が新たなフレームの点群Ｐｏに物体領域を重畳して表示する（Ｓ３４４）。

その後、Ｓ３１６～Ｓ３４４の処理がＬＩＤＡＲ１００による計測が終了するまで繰り返される（Ｓ３４８）。

＜作用効果＞
以上説明した本発明の実施形態によれば、多様な作用効果が得られる。

例えば、背景統合部２５０は、新たなフレームの背景点群から一部の部分点群Ｐｉを抽出し、当該部分点群Ｐｉを追加することで統合背景点群Ｐｂを更新する。対比的に、新たなフレームの全ての背景点群を追加していき、統合背景点群Ｐｂの点数が最大点数Ｎｐｂｍａｘに達した後は統合背景点群Ｐｂの一部の点群を新たなフレームの全ての背景点群に入れ替える方法も考えられる。しかし、当該方法では、物体が移動すると、移動前の物体の位置における背景点群の欠損は補えるものの、移動後の物体の位置において、元々はあった背景点群が急速に欠損していってしまう。これに対し、本発明の実施形態によれば、物体の移動に対する統合背景領域Ｐｂのロバスト性を向上することが可能である。

また、背景統合部２５０は、新たなフレームの背景点群から部分点群Ｐｉをランダムに（確率的に）抽出する。かかる構成によれば、背景点群において点群が欠損している場所を特定することなく、点群の欠損を補間することが可能である。

また、背景統合部２５０は、統合背景点群Ｐｂの点数が最大点数Ｎｐｂｍａｘに達した後は、統合背景点群Ｐｂに含まれる点をランダムに消去する。かかる構成によれば、仮に統合背景点群Ｐｂに背景領域に属さない点群が含まれてしまった場合でも、当該点群を次第に淘汰することが可能であり、結果、統合背景点群Ｐｂの精度を向上することが可能である。

＜変形例＞
以上、本発明の実施形態を説明した。以下では、本発明の実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本発明の実施形態に適用されてもよいし、組み合わせで本発明の実施形態に適用されてもよい。また、各変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の実施形態で説明した構成に対して追加的に適用されてもよい。

（第１の変形例）
上記では、背景統合部２５０が背景点群の全体からランダムに部分点群Ｐｉを抽出する例を説明した。第１の変形例は、この部分点群Ｐｉの抽出に関する変形例である。背景統合部２５０は、フレームごとに異なる範囲内からランダムに部分点群Ｐｉを抽出してもよい。図８を参照し、当該第１の変形例をより具体的に説明する。

図８は、第１の変形例を示す説明図である。図８に示したように、背景統合部２５０は、背景点群を複数の領域Ｄ１～Ｄ３に区分し、１のフレームの背景点群では領域Ｄ１～Ｄ３のいずれかに含まれる点群からランダムに部分点群Ｐｉを抽出してもよい。例えば、背景統合部２５０は、第ｎフレームにおいては、太線で示した５個の点群のように、領域Ｄ１に含まれる点群からランダムに部分点群Ｐｉを抽出してもよい。そして、背景統合部２５０は、第ｎ＋１フレームにおいては領域Ｄ２に含まれる点群からランダムに部分点群Ｐｉを抽出し、第ｎ＋２フレームにおいては領域Ｄ３に含まれる点群からランダムに部分点群Ｐｉを抽出してもよい。

（第２の変形例）
上記では、新たなフレームの点群Ｐｏを用いて統合背景点群Ｐｂを更新し、統合背景点群Ｐｂの更新後に、統合背景点群Ｐｂを用いて物体検出を行う例を説明した。第２の変形例は、統合背景点群Ｐｂの更新と物体検出の関係に関する変形例である。第２の変形例では、物体検出部２６０は、フレームｎの点群Ｐｏ（ｎ）と、以前に得られたフレームｎ－１の点群Ｐｏ（ｎ－１）から抽出された部分点群Ｐｉ（ｎ－１）の統合により得られた統合背景点群Ｐｂ（ｎ－１）との差分を計算することにより、物体領域を検出する。以下、図９を参照し、第２の変形例をより具体的に説明する。

図９は、第２の変形例を示す説明図である。Ｓ３０４～Ｓ３１６の処理は図７を参照して説明した通りである。図９に示したように、背景統合部２５０は新たなフレームの点群Ｐｏを用いて統合背景点群Ｐｂを更新する（Ｓ３２０、Ｓ３２４、Ｓ３２８、Ｓ３３２、Ｓ３３６）。物体検出部２６０は、背景統合部２５０による統合背景点群Ｐｂの更新と並行して物体領域の検出を行う。

すなわち、物体検出部２６０は、新たなフレームの点群Ｐｏと、前フレームで更新された統合背景点群Ｐｂとの差分を計算し、物体領域を検出する（Ｓ３２２）。そして、表示部２８０が新たなフレームの点群Ｐｏに物体領域を重畳して表示する（Ｓ３２６）。

かかる構成によれば、新たなフレームの点群Ｐｏを用いて統合背景点群Ｐｂが更新されることを待たずに物体検出を行うことができるので、物体領域の表示に関する応答性および即時性を向上することが可能である。

＜ハードウェア構成＞
以上、本発明の実施形態を説明した。上述した背景点群の抽出および統合背景点群の更新などの情報処理は、ソフトウェアと、以下に説明する点群処理装置２００のハードウェアとの協働により実現される。

図１０は、点群処理装置２００のハードウェア構成を示したブロック図である。点群処理装置２００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２０１と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２０２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、点群処理装置２００は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、表示装置２０９と、音声出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、ネットワークインタフェース２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って点群処理装置２００内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。これらＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、上述した背景抽出部２３０、背景統合部２５０、物体検出部２６０および表示制御部２７０などの機能が実現され得る。

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサ、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。点群処理装置２００のユーザは、該入力装置２０８を操作することにより、点群処理装置２００に対して各種のデータを入力したり処理動作を指示したりすることができる。

表示装置２０９は、例えば、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）装置およびランプなどの表示装置を含む。また、音声出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。

ストレージ装置２１１は、本実施形態にかかる点群処理装置２００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）またはＳＳＤ（ＳｏｌｉｄＳｔｒａｇｅＤｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置２１１は、ストレージを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

ドライブ２１２は、記憶媒体用リーダライタであり、点群処理装置２００に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３またはストレージ装置２１１に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

ネットワークインタフェース２１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース２１５は、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

＜補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書の点群処理装置２００の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、点群処理装置２００の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、上記では初期背景点群に対して部分点群を追加することにより統合背景点群Ｐｂを生成する例を説明したが、複数のフレームの背景点群から抽出された各部分点群Ｐｉを統合することにより統合背景点群Ｐｂを生成してもよい。

また、本発明の実施形態によるＬＩＤＡＲ１００により計測される対象は特に限定されない。例えば、ＬＩＤＡＲ１００により計測される対象は、屋内であってもよいし、屋外であってもよいし、建設現場であってもよい。

また、点群処理装置２００に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した点群処理装置２００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１００ＬＩＤＡＲ
１１０三脚
２００点群処理装置
２２０点群記憶部
２３０背景抽出部
２４０背景点群記憶部
２５０背景統合部
２６０物体検出部
２７０表示制御部
２８０表示部

Claims

複数のタイミングの各々で同一地点から実空間をＬＩＤＡＲで測定することにより得られた、各タイミングに対応する３次元の点群から、各タイミングに対応する３次元の点群の分布に基づいて、背景領域に属する点群である背景点群を抽出する背景抽出部と、
前記複数のタイミングの各々に対応する点群から抽出された各背景点群の少なくとも一部を統合することにより、統合背景点群を生成する背景統合部と、
を備え、
前記背景統合部は、前記背景抽出部により抽出された新たな背景点群から新たな部分点群を抽出し、前記新たな部分点群を前記統合背景点群に統合することを繰り返すことにより、前記統合背景点群を繰り返し更新し、前記統合背景点群を構成する点の数が上限値を上回る場合に、前記統合背景点群を構成する一部の点を削除する、点群処理装置。
複数のタイミングの各々で同一地点から実空間をＬＩＤＡＲで測定することにより得られた、各タイミングに対応する３次元の点群から、各タイミングに対応する３次元の点群の分布に基づいて、背景領域に属する点群である背景点群を抽出する背景抽出部と、
前記複数のタイミングの各々に対応する点群から抽出された各背景点群の少なくとも一部を統合することにより、統合背景点群を生成する背景統合部と、
を備え、
前記背景統合部は、前記背景抽出部により抽出された新たな背景点群からランダムに新たな部分点群を抽出し、前記新たな部分点群を前記統合背景点群に統合することを繰り返すことにより、前記統合背景点群を繰り返し更新する、点群処理装置。
前記統合背景点群を構成する一部の点は、前記統合背景点群を構成するランダムな点である、請求項１に記載の点群処理装置。
前記背景統合部は、前記新たな背景点群からランダムに前記新たな部分点群を抽出する、請求項１または３に記載の点群処理装置。
前記背景統合部は、複数の前記新たな背景点群の各々で異なる範囲内からランダムに前記新たな部分点群を抽出する、請求項２に記載の点群処理装置。
前記点群処理装置は、
ある点群と前記統合背景点群の差分を計算することにより、物体が存在する領域を検出する物体検出部をさらに備える、請求項１～５のいずれか一項に記載の点群処理装置。
前記物体検出部は、第１のタイミングに対応する点群と、前記第１のタイミングより前の第２のタイミングに対応する点群から抽出された部分点群の統合により得られた統合背景点群との差分を計算することにより、物体が存在する領域を検出する、請求項６に記載の点群処理装置。
前記背景領域は、床面領域および壁面領域の少なくともいずれかを含む、請求項１～７のいずれか一項に記載の点群処理装置。
複数のタイミングの各々で同一地点から実空間をＬＩＤＡＲで測定することにより得られた、各タイミングに対応する３次元の点群から、各タイミングに対応する３次元の点群の分布に基づいて、背景領域に属する点群である背景点群を抽出することと、
前記複数のタイミングの各々に対応する点群から抽出された各背景点群の少なくとも一部を統合することにより、統合背景点群を生成することと、
を含み、
前記統合背景点群を生成することは、抽出された新たな背景点群から新たな部分点群を抽出し、前記新たな部分点群を前記統合背景点群に統合することを繰り返すことにより、前記統合背景点群を繰り返し更新し、前記統合背景点群を構成する点の数が上限値を上回る場合に、前記統合背景点群を構成する一部の点を削除することを含む、点群処理方法。
複数のタイミングの各々で同一地点から実空間をＬＩＤＡＲで測定することにより得られた、各タイミングに対応する３次元の点群から、各タイミングに対応する３次元の点群の分布に基づいて、背景領域に属する点群である背景点群を抽出することと、
前記複数のタイミングの各々に対応する点群から抽出された各背景点群の少なくとも一部を統合することにより、統合背景点群を生成することと、
を含み、
前記統合背景点群を生成することは、抽出された新たな背景点群からランダムに新たな部分点群を抽出し、前記新たな部分点群を前記統合背景点群に統合することを繰り返すことにより、前記統合背景点群を繰り返し更新することを含む、点群処理方法。
コンピュータを、
複数のタイミングの各々で同一地点から実空間をＬＩＤＡＲで測定することにより得られた、各タイミングに対応する３次元の点群から、各タイミングに対応する３次元の点群の分布に基づいて、背景領域に属する点群である背景点群を抽出する背景抽出部と、
前記複数のタイミングの各々に対応する点群から抽出された各背景点群の少なくとも一部を統合することにより、統合背景点群を生成する背景統合部と、
を備え、
前記背景統合部は、前記背景抽出部により抽出された新たな背景点群から新たな部分点群を抽出し、前記新たな部分点群を前記統合背景点群に統合することを繰り返すことにより、前記統合背景点群を繰り返し更新し、前記統合背景点群を構成する点の数が上限値を上回る場合に、前記統合背景点群を構成する一部の点を削除する、点群処理装置として機能させるための、プログラム。
コンピュータを、
複数のタイミングの各々で同一地点から実空間をＬＩＤＡＲで測定することにより得られた、各タイミングに対応する３次元の点群から、各タイミングに対応する３次元の点群の分布に基づいて、背景領域に属する点群である背景点群を抽出する背景抽出部と、
前記複数のタイミングの各々に対応する点群から抽出された各背景点群の少なくとも一部を統合することにより、統合背景点群を生成する背景統合部と、
を備え、
前記背景統合部は、前記背景抽出部により抽出された新たな背景点群からランダムに新たな部分点群を抽出し、前記新たな部分点群を前記統合背景点群に統合することを繰り返すことにより、前記統合背景点群を繰り返し更新する、点群処理装置として機能させるための、プログラム。