JP7610741B2

JP7610741B2 - 地物管理システム

Info

Publication number: JP7610741B2
Application number: JP2024010759A
Authority: JP
Inventors: 成典田中; 健二中村; 龍一今井; 義典塚田; 喜政梅▲原▼; 順俊平野; 庄治大月; 恭介田中; 義和川村; 博楠本
Original assignee: Intelligent Style Co Ltd
Current assignee: Intelligent Style Co Ltd
Priority date: 2019-03-29
Filing date: 2024-01-29
Publication date: 2025-01-08
Anticipated expiration: 2039-03-29
Also published as: JP2020165778A; JP2024039070A; JP7467722B2; JP2023083310A; JP7307908B2

Description

この発明は、地物を計測した点群データを用いた地物管理システムに関するものである。

無人航空機（ＵＡＶ）や自動車などにレーザ測量装置を搭載し、地表面の形状や地物を計測することが行われている。たとえば、自動車を用いたＭＭＳ（モービル・マッピング・システム）では、自動車の天井にＧＰＳ受信機、動画撮像カメラ、ＩＭＵ、レーザスキャナを搭載し、自動車によって道路などを走行しながら計測を行う。動画撮像カメラは、アナログ、ディジタルどちらでもよい。

このような計測によって、地表面や地物外形を示す三次元点群データを得ることができる。ＧＰＳによって得た位置およびレーザスキャナの走査方向と距離によって、それぞれの三次元点群データには、絶対座標（平面直角座標、緯度・経度・標高など）による位置が付されている。また、動画撮像カメラによって地表面や地物が撮像されて動画データ（静止画データ）が生成される。この動画データには、刻々と変化する撮像位置が紐付けられて記録される。

三次元点群データを得ることで、地表面や地物の現状を知ることができ、保守、地図作成などに役立てることができる。

発明者らは、三次元点群データ中の地物に対して、その領域を絶対座標で示すデータや名称などを含む属性データを付与することを提唱している。

しかしながら、上記属性データによって、標準化が進みデータ蓄積の豊富化が進んでいるが、その一方で、当該属性データを保守等に利用する際に、効率良く地物を管理することのできるシステムが望まれている。たとえば、各地物の外観を撮像した写真を適切に管理することが望まれている。

この発明は、上記のような問題点を解決して、地物を効率よく管理することのできるシステムを提供することを目的とする。

この発明の独立して適用可能な特徴を以下に列挙する。

(1)(2)(3)この発明に係る地物管理システムは、サーバ装置と前記サーバ装置と通信可能な端末装置とを備えた地物管理システムであって、前記サーバ装置は、位置の定義された地物を含む三次元点群データを記録する記録部と、前記端末装置から送信されてきた地物を含む撮像画像と撮像位置を受信する受信手段と、前記受信した撮像位置を中心として、前記三次元点群データを、異なる角度から平面投影して、複数の角度からの二次元投影画像を生成し、前記受信した地物を含む撮像画像と前記生成された各二次元投影画像との比較に基づいて、地物の撮像画像と地物の三次元点群データとを対応付ける撮像画像・点群データ対応手段とを備え、前記端末装置は、カメラによって撮像された地物を含む撮像画像を撮像位置とともに地物管理サーバ装置に送信する画像送信手段とを備えたことを特徴としている。

したがって、地物の三次元点群データに対応付けて、当該地物を撮像した写真を記録しておくことができる。

(4)この発明に係る地物管理システムは、撮像画像・点群データ対応手段が、前記撮像画像中の地物の外形形状を示す撮像画像外形形状生成手段と、前記各二次元投影画像中の地物の外形形状を示す二次元投影画像外形形状生成手段と、前記撮像画像中の地物の外形形状と前記各二次元投影画像中の地物の外形形状を比較して、外形形状が合致する二次元投影画像を選択し、地物の撮像画像と地物の三次元点群データとを対応付ける手段とを備えることを特徴としている。

したがって、角度によって変化が明確な外形形状を用いることで、マッチング処理を容易に行うことができる。

(5)この発明に係る地物管理システムは、サーバ装置の記録部は、地物の外形を囲った外形領域、地物名を記録しており、前記撮像画像・点群データ対応手段は、前記撮像画像中から地物部分を抽出して地物名を推定する地物推定手段を有し、前記受信した撮像位置を中心として、推定した地物名と同じ地物名を有する地物の三次元点群データを、異なる角度から平面投影して、複数の角度からの二次元投影画像を生成し、前記受信した地物部分の撮像画像と前記生成された各二次元投影画像との比較に基づいて、地物の撮像画像と地物の三次元点群データとを対応付けることを特徴としている。

したがって、所定の地物のみを対象としてマッチングを行うことができ、その精度を高めることができる。

(6)この発明に係る地物管理システムは、サーバ装置の記録部は、地物の外形を囲った外形領域、地物名を記録しており、前記端末装置の画像送信手段は、操作者の入力を受けて、撮像画像中の地物のバウンダリボックスおよび地物名を付与してサーバ装置に送信し、前記撮像画像・点群データ対応手段は、前記受信した撮像位置を中心として、送信されてきた地物名と同じ地物名を有する地物の三次元点群データを、異なる角度から平面投影して、複数の角度からの二次元投影画像を生成し、前記受信した地物部分の撮像画像と前記生成された各二次元投影画像との比較に基づいて、地物の撮像画像と地物の三次元点群データとを対応付けることを特徴としている。

(7)この発明に係る地物管理システムは、撮影画像・点群データ対応手段が、前記撮像位置の近傍に仮想撮像位置を複数個生成し、各仮想撮像位置を基準として三次元点群データを平面投影した二次元投影画像を生成することを特徴としている。

したがって、より正確に撮像位置を特定することができる。

(8)この発明に係る地物管理システムは、撮影画像・点群データ対応手段が、地物に対する撮像位置および撮像方向も特定することを特徴としている。

したがって、撮像位置だけでなく撮像方向も特定し、この情報を利用することができる。

(9)この発明に係る地物管理システムは、端末装置から送信される地物の撮影画像には、撮像方向も付されており、前記撮影画像・点群データ対応手段は、前記撮影方向に基づいて、前記二次元投影画像を生成する角度を絞り込むことを特徴としている。

したがって、マッチング処理を迅速化することができる。

(10)この発明に係る地物管理システムは、三次元点群データ、前記属性データの外形領域は、絶対座標にて示されることを特徴としている。

したがって、属性データと三次元点群データとを独立して記録することができ、三次元点群データから生成した属性データを他の三次元点群データのために用いることができる。

(11)この発明に係る地物管理システムは、地物抽出手段が、過去の地物の撮像位置と撮像方向に基づいて、地物の外形領域データまたは地物の三次元点群データを平面に投影し、過去二次元投影画像を生成して、これを第２の端末装置に送信し、当該第２の端末装置は、カメラによる撮像の際に、カメラのファインダー画像に前記位置二次元投影画像を重ねて表示することを特徴としている。

したがって、過去の撮像時と同じ位置同じ角度から地物を撮像することが容易となる。

(12)この発明に係る地物管理システムは、サーバ装置が、前記三次元点群データを記録する点群データサーバ装置と、前記外形領域を含む属性データを記録する属性データサーバ装置とを備えることを特徴としている。

したがって、独立して属性データを記録する属性データサーバ装置を設け、これを利用することができる。

(13)この発明に係る地物管理システムは、地物を含む撮像画像を撮像した際の撮像位置を中心として、前記三次元点群データを、異なる角度から平面投影して、複数の角度からの二次元投影画像を生成し、前記撮像画像と前記生成された各二次元投影画像との比較に基づいて、地物の撮像画像と地物の三次元点群データとを対応付けることを特徴としている。

(14)(15)(16)この発明に係る地物管理システムは、サーバ装置が、位置の定義された第１領域および第２領域の区別がなされた三次元点群データを記録する記録部と、前記端末装置から送信されてきた第１領域および第２領域を含む撮像画像と撮像位置を受信する受信手段と、前記撮像画像に基づいて、第１領域および第２領域を他の部分から区別して抽出する領域推定手段と、前記受信した撮像位置を中心として、第１領域および第２領域の区別された前記三次元点群データを、異なる角度から平面投影して、複数の角度からの二次元投影画像を生成し、前記第１領域および第２領域の区別された撮像画像と前記生成された各二次元投影画像との比較に基づいて、撮影画像と三次元点群データとを対応付ける撮像画像・点群データ対応手段とを備え、前記端末装置は、カメラによって撮像された第１領域および第２領域を含む撮像画像を撮像位置とともに地物管理サーバ装置に送信する画像送信手段とを備えたことを特徴としている。

したがって、地物全体ではなくその一部である部分的な領域しか撮像されていなくとも、撮像位置や方向を特定することができる。

(17)(18)(19)この発明に係る地物管理システムは、サーバ装置が、地物を含む三次元点群データおよび過去の撮像位置、撮像方向を記録する記録部と、前記過去の撮像位置、撮像方向に基づいて、地物の三次元点群データまたはその三次元モデルを平面に投影して過去二次元投影画像を生成し、端末装置に送信する過去二次元投影画像生成手段とを備え、端末装置が、地物を撮像するためのカメラのファインダー画像に、サーバ装置から受信した過去二次元投影画像を透過画像として重ねて表示部に表示する表示手段とを備えたことを特徴としている。

したがって、過去の画像を参照しながら撮像位置を合わせて、過去の撮像時と同じ位置・方向にて撮像を行うことができる。

(20)この発明に係る地物管理方法は、地物を含む三次元点群データおよび過去の撮像位置、撮像方向を記録しておき、前記過去の撮像位置、撮像方向に基づいて、地物の三次元点群データまたはその三次元モデルを平面に投影して過去二次元投影画像を生成し、カメラのファインダー画像に、過去二次元投影画像を重ねて表示することを特徴としている。

(21)(22)この発明に係る地物管理システムは、サーバ装置と当該サーバ装置と通信可能な携帯端末装置とを備えた地物管理システムであって、前記サーバ装置が、地物を含む三次元点群データおよび過去の撮像位置、撮像方向を記録する記録部と、撮像位置、撮像方向を端末装置に送信する送信手段とを備え、前記端末装置は、受信した撮像位置、撮像方向を、表示部において地図上に表示する表示手段を備えたことを特徴としている。

したがって、過去の撮像位置、撮像方向を容易に知ることができる。

(23)(24)(25)この発明に係る地物管理システムは、サーバ装置と当該サーバ装置と通信可能な端末装置とを備えた地物管理システムであって、前記サーバ装置は、道路表示地物を含む反射強度付きの三次元点群データおよび前記道路表示地物の外形を囲った外形領域データを記録しており、前記端末装置は、前記サーバ装置から前記道路表示地物の外形領域データを取得する外形領域データ取得手段と、当該道路表示地物の外形領域データに対応する三次元点群データを、前記サーバ装置から取得する三次元点群データ取得手段と、取得した道路表示地物の外形領域と三次元点群データとを重ねて表示部に表示する表示手段とを備えたことを特徴としている。

したがって、道路表示地物の劣化の程度を容易に判定することができる。

(26)この発明に係る地物管理方法は、道路表示地物を含む反射強度付きの三次元点群データおよび前記道路表示地物の外形を囲った外形領域データを記録しておき、前記道路表示地物の外形領域データを取得し、当該道路表示地物の外形領域データに対応する三次元点群データを取得し、取得した道路表示地物の外形領域と三次元点群データとを重ねて表示部に表示することを特徴としている。

「受信手段」は、実施形態においては、ステップＳ６０２に対応して属性データサーバ装置６０が行う処理がこれに対応する。

「撮像画像・点群データ対応手段」は、実施形態においては、ステップＳ７０１～Ｓ７０７がこれに対応する。

「画像送信手段」は、実施形態においては、ステップＳ６０２がこれに対応する。

「外形領域データ取得手段」は、実施形態においては、ステップＳ６５１がこれに対応する。

「三次元点群データ取得手段」は、実施形態においては、ステップＳ６５２がこれに対応する。

「表示手段」は、実施形態においては、ステップＳ６５３がこれに対応する。

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。

この発明の一実施形態による地物管理システムの機能ブロック図である。地物管理システムのシステム構成である。携帯端末装置２１のハードウエア構成である。属性サーバ装置６０のハードウエア構成である。端末プログラムのフローチャートである。三次元点群データの例である。地盤点を検出するための処理を示す図である。地物の設計データの例である。地物の平面図に三次元点群データを重ねた状態を示す図である。地物の三次元点群データ例である。属性データの項目例である。地物の三次元点群データに基づいて地物名を推定する処理を説明するための図である。地物管理処理のフローチャートである。地物管理処理のフローチャートである。地物管理処理のフローチャートである。ユーザによって撮像された地物の撮像画像である。三次元点群データに基づいて生成した地物の三次元モデルを示す図である。角度を変えて投影して生成した二次元投影画像の例である。撮像画像から地物の輪郭を抽出した輪郭画像である。二次元投影画像の地物の輪郭線に基づいて切り出した地物の撮像画像である。撮像位置Ｐと仮想位置Ｐ1、Ｐ2・・・Ｐ23、Ｐ24を示す図である。ユーザによって地物がマークされた撮像画像を示す図である。カメラのファインダー画面に前回画像を重ねて表示した例である。第２の実施形態による地物管理システムの機能ブロック図である。地物管理処理のフローチャートである。センターラインの輝度つき三次元点群データと外形領域とを重ねて表示した状態を示す図である。この発明の第３の実施形態による点群データ管理システムの機能ブロック図である。点群データ管理システムのシステム構成である。端末装置のハードウエア構成である。地物の三次元点群データの取得と三次元モデル生成のフローチャートである。地物の三次元点群データの取得と三次元モデル生成のフローチャートである。地物の外形形状の表示例である。図３３Ａは第１の方向からの地物の第１三次元点群データであり、図３３Ｂは第２の方向からの地物の第２三次元点群データである。合成された三次元点群データである。図３５Ａは生成された三次元モデルである。図３５Ｂは、計測方向の表示例である。図３６Ａは第１三次元点群データ、図３６Ｂは第２三次元点群データ、図３６Ｃは合成三次元点群データである。第４の実施形態による点群データ管理システムの機能ブロック図である。経時変化取得のためのフローチャートである。経時変化取得のためのフローチャートである。地物の経時変化の表示例である。日時の異なる三次元点群データの選択を求める画面例である。第５の実施形態による地物検索システムの機能ブロック図である。地物検索システムのシステム構成である。地物検索のフローチャートである。動画データの構成を示す図である。撮像エリアを示す図である。動画抽出のフローチャートである。各時刻における撮像軌跡２００と地物１０６との関係を示す図である。検索対象地物にマークが付された画像を示す図である。

１．第１の実施形態
1.1全体構成
図１に、この発明の一実施形態による地物管理システムの全体構成を示す。サーバ装置２１０の記録部２１４には、地物を含む絶対座標による三次元点群データ２２２が記録されている。

携帯端末装置２４０は、カメラ２４４を備えている。カメラ２４４によって撮像された地物の撮像画像は、画像送信手段２４２によってサーバ装置２１０に送信される。この際、カメラ２４４に撮像位置付加機能があれば当該撮像位置（絶対座標による位置）が併せてサーバ装置２１０に送信される。カメラ２４４にかかる機能がなければ、ＧＰＳ等による撮像位置が付されてサーバ装置２１０に送信される。

サーバ装置２１０の受信手段２１６は、撮像画像および撮像位置を受信する。二次元投影画像生成手段２１８は、撮像位置に基づいて、当該撮像位置から周囲の三次元点群データを見た時の二次元投影画像を複数の角度について生成する。比較手段２２０は、生成された複数の二次元投影画像のうち、受信した撮像画像と最も良く合致する二次元投影画像を選択する。

これにより、当該撮像された地物の画像を選択された二次元投影画像の地物と対応付けて記録する。このようにして、三次元点群データに対し、外観状況などを示す撮像画像を関連づけて記録することができる。

1.2システム構成
図２に、一実施形態による点群データ管理システムのシステム構成を示す。この実施形態では、点群サーバ装置４０ａ、４０ｂ・・・４０ｎおよび属性データサーバ装置６０によって、サーバ装置が構成されている。

インターネット上には点群サーバ装置４０ａ、４０ｂ・・・４０ｎが設けられている。また、属性データサーバ装置６０も設けられている。これらサーバ装置４０ａ、４０ｂ・・・４０ｎ、６０に、インターネットを介して通信可能に端末装置２０ａ・・・２０ｎ、携帯端末装置２０ａ・・・２０ｎが設けられている。

携帯端末装置２１のハードウエア構成を、図３に示す。ＣＰＵ（ＧＰＵ等でもよい。以下同じ）８０には、メモリ８２、タッチ・ディスプレイ８４、不揮発性メモリ８６、通信回路９２、カメラ８８、ＧＰＳ受信機９８が接続されている。通信回路９２は、インターネットに接続するためのものである。携帯端末装置２１としては、スマートフォン、タブレット、ウエアラブルコンピュータなどを用いることができる。

不揮発性メモリ８６には、オペレーティングシステム９４、携帯端末プログラム９６が記録されている。携帯端末プログラム９６は、オペレーティングシステム９４と協働してその機能を発揮するものである。

属性データサーバ装置６０のハードウエア構成を、図４に示す。ＣＰＵ８１には、メモリ８３、ディスプレイ８５、ハードディスク８７、ＤＶＤ－ＲＯＭドライブ８９、キーボード／マウス９１、通信回路９３が接続されている。通信回路９３は、インターネットに接続するためのものである。

ハードディスク８７には、オペレーティングシステム９５、属性サーバプログラム９７が記録されている。属性サーバプログラム９７は、オペレーティングシステム９５と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ－ＲＯＭ９９に記録されていたものを、ＤＶＤ－ＲＯＭドライブ８９を介して、ハードディスク８７にインストールしたものである。

端末装置２０ａ・・・２０ｎ、点群サーバ装置４０ａ、４０ｂ・・・４０ｎのハードウエア構成も同様である。ただし、端末装置２０ａにおいては、属性サーバプログラム９７に代えて端末プログラムが記録されている。また、点群サーバ装置４０ａ、４０ｂ・・・４０ｎにおいては、属性サーバプログラム９７に代えて点群サーバプログラムが記録されている。

1.3点群データの公開処理
測量事業者は、自動車などに搭載したＭＭＳなどにより道路および地物の三次元点群データおよび動画を生成する。生成された三次元点群データは、たとえば、ＤＶＤ－ＲＯＭなどの記録媒体に記録され、端末装置２０のハードディスク８７に取り込まれる。

ここで、地物とは、たとえば、道路設計基準情報（距離標、道路中心線、測点など）、道路面地物（車道部、歩道部、軌道敷など）、道路面と領域を共有する地物（停止線、区画線、横断歩道、路面標示など）、道路面以外の地物（標識柱、照明柱、信号機、歩道橋など）、道路面を指示する地物（擁壁、橋梁、法面、トンネル、シェッド等）である。なお、道路地物には限らない。

測量事業者は、端末プログラムを起動し記録された三次元点群データに基づいて属性データを生成する。図５に、端末プログラム９６における属性データ生成処理のフローチャートを示す。

端末装置２０ａのＣＰＵ８１は、まず、記録されている三次元点群データを読み出す（ステップＳ１）。三次元点群データの例を図６に示す。この実施形態では、測定対象の色、レーザの反射強度も含めて計測を行った三次元点群データとしている。また、三次元点群データには、測定方法・測定機器の情報が記録されている。

ＣＰＵ８０は、この三次元点群データにおいて、所定距離内にある点同士をクラスタとしてまとめる。これにより、さまざまな大きさのクラスタが形成されることになる。そして、ＣＰＵ８１は、所定体積、所定点群数以下、所定点群密度以下などのクラスタをノイズとして除去する（ステップＳ２）。

続いて、ＣＰＵ８１は、Cloth Simulation（クロスシミュレーション）手法などを用いて、地盤点（地表面）の抽出を行う（ステップＳ２）。地盤点抽出において、まず、ＣＰＵ８０は、三次元点群データの標高値を反転する。たとえば、図７Ａに示すような断面の三次元点群データ（図においては点群を線として表している）があれば、図７Ｂに示すような反転三次元点群データが得られる。

次に、ＣＰＵ８１は、反転三次元点群データに対して上方向から布をかけたようにシミュレーションを行う。図７Ｃに、シミュレーションされた布を破線にて示す。続いてＣＰＵ８１は、当該シミュレーションされた布が接する三次元点群データを地盤点として抽出する。次に、ＣＰＵ８１は標高値を再反転して、図７Ｄに示すような地盤点を得る。

このようにして抽出された地盤点は、概ね正確であるが、図７Ｄに示すように、地物の存在する近傍１００において一部地物を含んでしまうことがある。そこで、抽出された各地盤点によって形成される線の法線方向を算出し、当該法線が上下方向に対して所定角度以上（たとえば３０度以上）の部分を地盤点から除く。これにより、図７Ｅに示すような地盤点を得ることができる。

なお、この実施形態では、地盤点抽出にCloth Simulation（クロスシミュレーション）を用いたが、最下点抽出方法など他の方法によって地盤点を抽出してもよい。

以上のようにして地盤点を抽出すると、ＣＰＵ８１は、三次元点群データから地盤点を取り除く。これにより、地盤の上に存在する地物のみの三次元点群データが得られる（ステップＳ４）。

次に、ＣＰＵ８１は、ハードディスク８７に記録されている地物の平面的配置を示す設計データを読み出す。この設計データは、上記三次元点群データを計測した地物の設計時の図面である。図８に、設計図の例を示す。ＣＰＵ８０は、この設計データに基づいて、各地物の平面形状を抽出する（ステップＳ５）。この実施形態では、地物の平面外形形状を内包する矩形として平面形状を抽出するようにしている。なお、各地物の平面外形形状をそのまま平面形状として抽出するようにしてもよい。

続いて、ＣＰＵ８１は、この平面形状に地物のみの三次元点群データを重ねる。平面形状の基となった設計データの絶対座標と、三次元点群データの絶対座標を合致させて重ね合わせを行う。なお、この際、平面形状の高さ方向の位置を、三次元点群データの地盤点（地表面）の高さ（標高）に合わせるようにする。合致させた状態を示すのが図９である。図９においては、図７、図８の地物のうち歩道橋の部分のみを示している。枠線３００で示すのが歩道橋（地物）の平面外形形状を囲う矩形の平面形状であり、この平面形状３００と歩道橋（地物）の三次元点群データの位置が合致していることがわかる。なお、平面外形形状は、本来平面で表されるものであるが、図９においては、分かりやすくするため高さを持たせて示している。

ＣＰＵ８１は、各地物について、地物の平面形状に対応する三次元点群データのうち最も標高の高いものを選択する。その高さを平面形状に与えて、地物の領域を決定する。これにより、図１０に示すように、地物を囲う立体形状（直方体）を特定することができる。ＣＰＵ８１は、このようにして生成した立体形状を外形領域データとして記録する。この実施形態では、平面形状と水平方位高の絶対座標による位置と高さとによって外形領域データを記録するようにしている。

次に、ＣＰＵ８１は、三次元点群データに各地物の領域を重ねて、ディスプレイ８４に表示する。操作者は、この画面をみて各地物の領域をマウス９１によって選択する。これにより、地物名などの属性データの入力画面が表示されるので、操作者がこの入力を行う。また、外形領域データの立体形状の頂点の座標に基づいて、中心位置（その他、地物を代表する位置を用いてもよい）の座標を算出し地物の座標位置とする。このようにして、属性データを生成し記録することができる。図１１に、この実施形態における属性データの項目を示す。作成日時は、三次元点群データの作成日時（計測日時）である。地物名は、地物の名称である。地物領域は、上記地物の外形を示す外形データである。地物位置は、上記にて算出した中心位置である。この実施形態では、三次元点群データは、ＸＭＬ形式にて記録するようにしている。

なお、上記では、地物名を操作者が入力するようにしているが、三次元点群データに基づいて地物名を推定するようにしてもよい。たとえば、図１２に示すように、地物の三次元点群データ６を異なる角度の平面に投影して、当該投影した画像と地物名を学習データとして深層学習プログラム（その他の機械学習プログラムを用いてもよい）を学習させる。さまざまな地物について学習を行い、学習済みの地物推定プログラムを得る。この地物推定プログラムに、地物の推定を行う対象の三次元点群データを与え、自動的に地物名を推定して付与するようにしてもよい。あるいは、推定した地物名を表示し、操作者に確認をさせるようにしてもよい。

また、三次元点群データ６と外形領域がずれている可能性もあるので、ディスプレイ８５に表示し、両者の位置が合致するように操作者がマウスなどで位置合わせをするようにしてもよい。

以上のようにして属性データを得ることができる。

なお、上記では、平面データに高さを与えることによって地物の外形領域を決定するようにしている。しかし、設計データなどの平面データが無い場合には、三次元点群データ自体から外形領域を決定するようにしてもよい。

たとえば、次のようにして外形領域を決定する。三次元空間を小さな立方体グリッドで分割し、上下左右斜めに隣接するグリッドに点が存在する場合、これらを一つにまとめていく。たとえば、コネクテッド・コンポーネントを用いた空間ラベリングの手法を用いることができる。

点の存在するグリッドとしてまとめられた各領域について、所定体積、所定点群数以下、所定点群密度以下などの領域はノイズであるとして除去する。残った各領域が地物に対応する領域となる。各領域について、その外形を囲う直方体を設定する。この直方体が地物の外形領域である。

以上のようにして、端末装置２０において三次元点群データに対応する属性データを生成することができる。測量事業者は、納品先にこの三次元点群データと属性データを納品する。

また、測量事業者の判断により、属性データのみを属性データサーバ装置６０にアップロードすることができる。これにより、三次元点群データを必要とする企業が、属性データサーバ装置６０にアクセスして属性データを参照することができる。属性データに、対応する三次元点群データの提供企業の情報を記録しておけば、三次元点群データを必要とする企業が、これに基づいて測量事業者に三次元点群データの入手依頼を行うことができる。

また、三次元点群データを点群サーバ装置４０にアップロードするようにしてもよい。三次元点群データの依頼者が地方公共団体などである場合、所定の点群サーバ装置４０にアップロードするように求めることもある。これにより、三次元点群データと属性データが、インターネット上で公開されることになる。

さらに、三次元点群データや属性データの外形領域データは、絶対座標にて示されている。したがって、異なる事業者が、それぞれ異なる点群サーバ装置にアップロードした同一地物についての三次元点群データが複数個ある場合、少なくとも一つの属性データがアップロードされていれば、これら複数の三次元点群データを取得することができる。たとえば、同一地物について、事業者によって異なる方向からの三次元点群データがある場合、両者を取得することで、より完全な三次元点群データを得ることができる。

1.4地物管理処理
図１３に、地物管理処理のフローチャートを示す。たとえば損傷の生じている地物の近くに行って、ユーザ（当該地物の管理担当者など）が携帯端末装置２１のカメラ８８にて、地物を撮像する（ステップＳ６０１）。携帯端末装置２１のＣＰＵ８０（以下、携帯端末装置２１と省略することがある）は、ユーザの操作に応じて、このようにして生成された撮像画像を、属性データサーバ装置６０に送信する（ステップＳ６０２）。この際、携帯端末装置２１は、撮像時にＧＰＳ受信機９８にて取得した位置（撮像位置）を、併せて送信する。図１６に、撮像画像の例を示す。

これを受けた属性データサーバ装置６０のＣＰＵ８１（以下属性データサーバ装置６０と省略することがある）は、当該撮像位置の近傍の地物の属性データを取得する（ステップＳ７０１）。属性データには、地物の種別（地物名）や地物の位置が記録されているので、撮像位置から所定距離内にある地物を抽出する。

次に、属性データサーバ装置６０は、抽出した地物の外形領域に基づいて、各点群サーバ装置４０ａ、４０ｂ・・・４０ｎに対して、当該外形領域に含まれる三次元点群データ（すなわち地物の三次元点群データ）を記録していれば送信するように依頼する（ステップＳ７０２）。

点群サーバ装置４０ａ、４０ｂ・・・４０ｎのうち、対応する三次元点群データを記録保持している点群サーバ装置４０は、これに応じて当該地物の三次元点群データを属性データサーバ装置６０に返信する（ステップＳ８０１）。

属性データサーバ装置６０は、受信した地物の三次元点群データに基づいて外形を表す三次元モデル（絶対座標にて特定される三次元モデル）を生成する（ステップＳ７０３）。なお、この三次元モデルは、予め生成して記録しておいてもよい。各地物について生成された三次元モデルの例を、図１７に示す。

次に、各地物について生成された三次元モデルについて、図１７に示す撮像位置ＰＨを中心として、角度を変えながら二次元投影画像を生成する（ステップＳ７０４）。生成された二次元投影画像の例を図１８Ａ、Ｂ、Ｃに示す。図１８は、３つの角度からの二次元投影画像のみを示しているが、他の角度からの二次元投影画像も同様に生成される。

続いて、属性データサーバ装置６０は、撮像画像に写し出された地物の輪郭画像を生成する。撮像画像から、そこに写し出された所定のオブジェクト（ここでは地物）の輪郭を抽出する処理は、たとえばＭａｓｋＲ－ＣＮＮ（https://github.com/matterport/Mask_RCNN）によって行うことができる。図１９に輪郭画像を示す。

属性データサーバ装置６０は、図１９の輪郭化された撮像画像と、図１８に示す各二次元投影画像とを比較し、最も良くマッチングするものを選択する（ステップＳ７０５）。このマッチングには、たとえばＳＩＦＴ、ＳＵＲＦ、ＫＡＺＥ、Ａ－ＫＡＺＥを用いることができる。たとえば、図１８Ｂの二次元投影画像が選択されたものとする。このマッチングにより、図１８Ｂを生成した際の角度に基づいて、撮像方向も得ることができる。

次に、属性データサーバ装置６０は、選択された二次元投影画像の中にある地物の外形を抽出する。さらに、この外形に基づいて撮像画像を切り取り、地物のみの撮像画像を得る（ステップＳ７０６）。切り取って得られた地物画像を図２０に示す。

属性データサーバ装置６０は、地物画像および撮像位置、撮像方向を当該地物の属性データに対応付けて記録する（ステップＳ７０７）。

したがって、各端末装置２０ａ・・・２０ｎや各携帯端末装置２１ａ・・・２１ｎから、属性データサーバ装置６０にアクセスして、各地物の撮像画像を閲覧・取得することができる。これによって、各地物の管理を容易に行うことができる。また、現場において撮像を行う者も、自ら地物の三次元点群データに対する紐付けを行う必要なく、対応づけを自動的に行うことができる。

1.5その他
(1)上記実施形態では、二次元投影画像を生成する際に、携帯端末装置２１から受信した撮像位置をそのまま用いている。しかし、その位置精度に問題がある場合には、図２１に示すように、受信した撮像位置Ｐの周りに仮想位置Ｐ1、Ｐ2・・・Ｐ23、Ｐ24を設定し、それぞれを中心として二次元投影画像を生成するようにしてもよい。

これらによって生成された二次元投影画像について撮像画像とのマッチングを行い、最も良く合致する二次元投影画像を選択する。選択された二次元投影画像に対応する仮想位置を、修正された撮像位置として記録する。

また、平面的な位置（緯度経度）だけでなく、高さ（標高）についても受信した高さに対して上下に変化させて仮想位置を設定するようにしてもよい。

(2)上記実施形態では、撮像画像の地物の輪郭と、二次元投影画像の地物の輪郭（三次元モデル）とを比較してマッチングを行うようにしている。しかし、三次元点群データを二次元投影し、点群データと撮像画像とを比較するようにしてもよい。この場合、撮像画像がカラーであれば、二次元投影した点群データも計測時の色データに基づいてカラーとし、色も含めたマッチングを行うことで合致度の判定精度を高めることができる。

(3)上記実施形態では、撮像位置から所定範囲内にある地物の全てについて二次元投影画像を生成し、撮像画像全体とマッチングを行うようにしている。しかし、撮像画像中に地物が実質的に一つだけ撮像されているような場合には、撮像画像中の地物名を特定し、特定された地物名の三次元点群データのみを対象として二次元投影画像を生成し、地物の撮像画像とのマッチングを行うようにしてもよい。

この場合、たとえば、図２２に示すように、携帯端末装置２１を操作して、ユーザが撮像画像中から注目する地物の部分にマークを付して、属性データサーバ装置６０に送信するようにしてもよい。この際、ユーザは、携帯端末装置２１を操作し、地物名（予め定められた地物名のプルダウンメニューから選択することが好ましい）を入力し、併せて送信する。

属性サーバ装置６０においては、撮像位置から所定範囲内にある地物のうち、送られてきた地物名のものを選択し、二次元投影画像を生成する。この時、各地物ごとに異なる角度からの二次元投影画像を生成する。

マッチングにおいては、ユーザが選択した地物の撮像画像と、各地物の二次元投影画像とを比較する。最も良く合致した地物の二次元投影画像に対応付けて地物の撮像画像を記録する。

なお、マッチングは、三次元モデルを用いてもよいし、点群データにて行うようにしてもよい。

また、上記では、ユーザが地物名を入力するようにしている。しかし、携帯端末装置２１または属性データサーバ装置６０において、撮像された画像中のオブジェクトを識別し、地物名を判別するようにしてもよい。各地物の画像と地物名とを学習データとして学習したディープラーニング等の学習モデルを用い、画像中の地物を抽出してその地物名を得ることができる（たとえば、ＹＯＬＯ、ＭａｓｋＲ－ＣＮＮなどのプログラムを用いることができる）。この場合、ユーザが撮像画像中から地物を選択し、選択された地物の地物名を携帯端末装置２１または属性データサーバ装置６０が自動的に判定するようにすることが好ましい。

(4)上記実施形態では、撮像位置から所定範囲内にある地物について二次元投影画像を生成し、撮像画像とマッチングを行うようにしている。そのマッチングにおいては、画像情報のみを用いている。

しかし、撮像画像中の各地物の地物名をユーザが入力し、あるいは携帯端末装置２１や属性データサーバ装置６０にて自動判定（上述のＹＯＬＯ等を用いる）し、当該地物名も含めてマッチングを行うようにしてもよい。

また、複数の地物が撮像画像中にある場合画像から各地物名を特定し、一方、
属性データから各地物の地物名を取得し、これら地物名の位置関係（画像上での順番）も含めてマッチングを行うようにしてもよい。

(5)上記実施形態では、三次元点群データおよび属性データにおいて絶対座標を用いて表現するようにしている。しかし、三次元点群データと属性データが対応付けられていれば、必ずしも絶対座標である必要はない。

(6)上記実施形態では、撮像位置の周囲に地物が多く存在すればマッチングの精度が向上する。しかし、道路と法面しか撮像画像中に写っていないような場合であっても、撮像位置を特定することができる。

たとえば、標識などの地物のない山間の道路において事故が生じ、その現場の撮像写真に基づいて、事故現場を特定する場合になどにも用いることができる。この場合、撮像画像を画像セグメンテーション手法の一つであるSegNetなどの深層学習によって学習されたモデルにて、道路面と法面に分離する。一方、三次元点群データにて各位置からの道路面と法面を分離した二次元平面画像を生成する。両者が最も良く合致する点が、撮像位置（事故現場）であると判定することができる。

また、一つの地物において同じような構造が複数箇所ある場合（たとえば橋の橋桁）に、各箇所ごとに上述の仮想撮像位置、撮像方向を設定して二次元投影画像を生成してマッチングを行うことにより、撮像された位置が特定できる。これにより、いずれの箇所（複数あるうちのいずれの橋桁）が撮像されたのかを特定することができる。

(7)上記実施形態では、携帯端末装置２１から撮像画像、撮像位置を属性データサーバ装置６０に送信するようにしている。しかし、携帯端末装置２１に地磁気センサ（方位を取得）、ジャイロセンサ（ピッチ、ロール等の傾き）などを設けて、撮像方向も送信するようにしてもよい。属性データサーバ装置６０では、受信した撮像方向に基づいて、その前後の角度についてのみ二次元平面画像を生成する。これにより、マッチング精度を高めることができる。

(8)上記実施形態では、カメラにて地物を撮像する際に、過去の履歴は用いられていなかった。しかし、カメラにて地物を撮像する際に、その撮像位置、撮像方向を属性データサーバ装置６０に送信し、過去に近傍において同様の方向から撮像された結果が保存されていれば、これを取得するようにしてもよい。属性データサーバ装置６０は、過去の撮像位置、撮像方向に基づいて二次元投影画像を生成し、これを携帯端末装置２１に送信する。過去二次元投影画像を受信した携帯端末装置２１は、図２３に示すように、その過去画像ＩＭをカメラのファインダー画面に透過画像として重ねて表示する。図２３では、一部の地物の過去画像ＩＭのみを表示しているが、過去画像全体を表示するようにしてもよい。

これにより、過去に撮像した位置と同じ位置にて撮像を行う必要がある場合に、その位置や方向を合致させるのが容易となる。たとえば、特定の地物の経時変化を観測する場合などに有効である。

なお、過去の二次元投影画像に代えて、過去の撮像画像を透過画像として重ねて表示するようにしてもよい。

さらに、過去の画像を重ねて表示することに代えて、あるいはこれに加えて、地図上に過去の撮像時の撮像位置と撮像方向を示すようにしてもよい。この際、現在の撮像位置と撮像方向も示すことで、過去の撮像位置と撮像方向に合致させて撮像を行うことが容易となる。

(9)上記実施形態では、撮像画像中の地物を特定してその輪郭と、三次元点群データの輪郭とに基づいてマッチングを行うようにしている。しかし、撮像画像中から、地物及び地物以外の全ての輪郭（エッジ）を抽出し、これと三次元点群データの輪郭とをマッチングさせるようにしてもよい。撮像画像からのエッジ抽出には、たとえば、プレウイット・フィルタ、ソーベル・フィルタ、ラプラシアン・フィルタ、LoGフィルタ、DoGフィルタ、Canny方、Hough変換などを用いることができる。

(10)上記実施形態では、第１点群サーバ装置４０ａ、第２点群サーバ装置４０ｂが別のサーバ装置として構築されていたが、単一のサーバ装置として構築されていてもよい。

(11)上記実施形態では、第１点群サーバ装置４０ａ、第２点群サーバ装置４０ｂと属性データサーバ装置６０とが別のサーバ装置として構築されていたが、単一のサーバ装置として構築されていてもよい。

(12)上記実施形態では、属性データサーバ装置によってステップＳ７０２、Ｓ７０３、Ｓ７０４、Ｓ７０５、Ｓ７０６の処理を行っている。しかし、これを携帯端末装置や端末装置において実行し、抽出した地物の画像を属性データサーバ装置に送信して記録するようにしてもよい。

(13)上記実施形態では、携帯端末装置によって地物を撮像し、撮像した画像を送信するようにしている。しかし、カメラなどで撮像した画像をＰＣ等の端末装置に取り込んで、送信するようにしてもよい。

(14)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実行可能である。

２．第２の実施形態
2.1全体構成
図２４に、第２の実施形態による地物管理システムの機能ブロック図を示す。この実施形態においては、属性サーバ装置２１１と三次元点群サーバ装置２１３とによってサーバ装置が構成されている。

端末装置２６０の外形領域データ取得手段２６２は、属性サーバ装置２１１から道路表示物（地物）の外形領域データ２２４を取得する。この外形領域データは、センターラインなど道路標示物の設置時のものを用いることが好ましい。

三次元点群データ取得手段２６４は、外形領域データ２２４に基づいて当該外形領域に含まれる道路表示物の三次元点群データ２２２を取得する。この三次元点群データ２２２には、各点の輝度も含まれている。

表示手段２６６は、上記取得した外形領域データによる外形領域と三次元点群データの各点を輝度付き（輝度が高いと明るく低いと暗く）で表示する。これにより、道路表示物の設置時の状況が外形領域として示され、現在の状況が三次元点群データの輝度として示される。したがって、道路表示物の補修の必要性、補修箇所などを知ることができる。

2.2システム構成
システム構成は、第１の実施形態において示した図２と同様である。また、点群サーバ装置４０、属性データサーバ装置６０、端末装置２０、携帯端末装置２１のハードウエア構成も、第１の実施形態と同様である。

2.3地物管理処理
図２５に、地物管理処理のフローチャートを示す。図において、端末装置として示しているのは端末プログラムのフローチャート、属性データサーバ装置として示しているのは属性データサーバプログラムのフローチャート、点群サーバ装置として示しているのは点群サーバプログラムのフローチャートである。

まず、端末装置２０ｂのＣＰＵ８１（以下端末装置２０ｂと省略することがある）は、属性データサーバ装置６０にアクセスし、所望の道路表示物の存在する場所を指定する（ステップＳ６５１）。場所の指定は、たとえば緯度経度などで範囲を指定して行う。住所を入力するようにし、これを緯度経度の範囲に変換してもよい。

これを受けて、属性サーバ装置６０のＣＰＵ（以下属性サーバ装置と省略することがある）は、属性データを検索し当該指定された場所内にある道路表示物の外形領域データを抽出する（ステップＳ７５１）。ここで、道路表示物とは、地物の一つであり、道路面に表示された識別マークである。たとえば、センターライン、横断歩道などである。

属性サーバ装置６０は、抽出した外形領域データ（平面形状データとその絶対座標における位置と高さ）、地物名（センターライン、横断歩道など）などを端末装置２０ｂに送信する。外形領域データが複数抽出されている場合には、これら複数の外形領域データを送信する。

端末装置２０ｂは、各点群サーバ装置４０ａ・・・４０ｎにアクセスし、受信した外形領域データの三次元点群データを返信するように要求する（ステップＳ６５２）。なお、同一の道路表示物について複数の外形領域データが存在する場合には、端末装置２０ｂにおいて外形領域データの測定日時を表示し、ユーザに選択させるようにしてもよい。ユーザは、最も古い、あるいは道路表示物の設置時の外形領域データを選択する。端末装置２０ｂは、選択された外形領域データに基づいて、三次元点群データを要求する。

これを受けて、点群サーバ装置４０ａ・・・４０ｎのうち、当該外形領域データに含まれる三次元点群データを記録している点群サーバ装置は、当該三次元点群データを、各外形領域データに対応付けて端末装置２０ｂに送信する（ステップＳ８５１）。

端末装置２０ｂは、受信した外形領域データに三次元点群データの輝度を重ねて表示する（ステップＳ６５３）。その表示例を図２６に示す。ここでは、センターラインの道路表示物を例として示す。外形領域データに基づいて表示されているのが外形領域６００である。高輝度領域６０２は、輝度の高い三次元点群データによって表示される領域である。三次元点群データは点であるが、図２６においては、集合しているため領域として示されている。

外形領域６００の中が、全て高輝度領域６０２にて埋まっていれば、当該センターラインは剥がれ等がなく健全であると判断できる。センターラインに、剥がれや傷などがあれば当該部分のレーザの反射強度は低くなる。したがって、図２６に示すように、外形領域６００の中に、低輝度領域６０４が表示されることになる。これにより、補修の必要なセンターラインや補修箇所を知ることができる。

2.4その他
(1)上記実施形態では、平面的な領域を持つ矩形の地物（道路表示物）を対象として説明を行った。しかし、立体的な領域をつ直方体の地物であって、表面が他の部分よりも反射強度の高い地物を対象として、同様の処理を行うことができる。

(2)上記実施形態では、矩形の道路表示物を対象としている。しかし、外形領域データとして道路表示物に沿った形状（たとえば道路上に表示された文字の形状）を外形形状データとして記録していれば、そのような形状の道路表示物にも適用することができる。

(3)上記実施形態では、三次元点群データの輝度を、外形形状と比較するようにしている。しかし、三次元点群データ自体（輝度値なし）を表示して、外形形状と比較するようにしてもよい。

(4)上記実施形態では、第１点群サーバ装置４０ａ、第２点群サーバ装置４０ｂが別のサーバ装置として構築されていたが、単一のサーバ装置として構築されていてもよい。

(5)上記実施形態では、第１点群サーバ装置４０ａ、第２点群サーバ装置４０ｂと属性データサーバ装置６０とが別のサーバ装置として構築されていたが、単一のサーバ装置として構築されていてもよい。

(6)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実行可能である。

３．第３の実施形態
3.1全体構成
図２７に、この発明の第３の実施形態による点群データ管理システムの全体構成を示す。第１点群サーバ装置４０ａには、地物を含む絶対座標による第１方向からの第１三次元点群データファイルが記録されている。第２点群サーバ装置４０ｂには、地物を含む絶対座標による第２方向からの第２三次元点群データファイルが記録されている。属性データサーバ装置６０には、地物の外形を囲った絶対座標による外形領域データが記録されている。

端末装置２０は、これらサーバ装置と通信可能である。端末装置２０の三次元点群データ取得手段２２は、所望の地物の外形領域データを、属性データサーバ装置６０から取得する。三次元点群データ取得手段２２は、取得した地物の外形領域データに基づいて、第１点群サーバ装置４０ａにアクセスし、当該領域に含まれる三次元点群データを第１三次元点群データとして取得する。さらに、三次元点群データ取得手段２２は、取得した地物の外形領域データに基づいて、第１点群サーバ装置４０ｂにアクセスし、当該領域に含まれる三次元点群データを第２三次元点群データとして取得する。

三次元モデル構築手段２４は、上記取得した第１三次元点群データと第２三次元点群データに基づいて、当該地物の三次元形状を構築する。このように、絶対座標の付された外形領域データであることを利用して、インターネット上などに分散して記録されている、対象となる地物の異なる方向からの三次元点群データを集めることができる。したがって、より完全な地物の三次元モデルを形成することができる。

3.2システム構成
図２８に、第３の実施形態による点群データ管理システムのシステム構成を示す。インターネット上には点群サーバ装置４０ａ、４０ｂ・・・４０ｎが設けられている。また、属性データサーバ装置６０も設けられている。これらサーバ装置４０ａ、４０ｂ・・・４０ｎ、６０に、インターネットを介して通信可能に端末装置２０ａ、２０ｂ・・・２０ｎが設けられている。

端末装置２０のハードウエア構成を、図２９に示す。ＣＰＵ８０には、メモリ８２、ディスプレイ８４、ハードディスク８６、ＤＶＤ－ＲＯＭドライブ８８、キーボード／マウス９０、通信回路９２が接続されている。通信回路９２は、インターネットに接続するためのものである。

ハードディスク８６には、オペレーティングシステム９４、端末プログラム９６が記録されている。端末プログラム９６は、オペレーティングシステム９４と協働してその機能を発揮するものである。これらプログラムは、ＤＶＤ－ＲＯＭ９８に記録されていたものを、ＤＶＤ－ＲＯＭドライブ８８を介して、ハードディスク８６にインストールしたものである。

点群サーバ装置４０、属性データサーバ装置６０も、同様のハードウエア構成である。ただし、点群サーバ装置４０においては、端末プログラム９６に代えて、点群サーバプログラムが記録されている。また、属性データサーバ装置６０においては、端末プログラム９６に代えて、属性データサーバプログラムが記録されている。

3.3三次元モデル構築処理
次に、上記のようにして公開された複数の三次元点群データに基づいて、三次元モデルを構築する処理について説明する。

以下では、特定の地物についての三次元モデルを構築する場合について説明する。

図３０、図３１に、三次元モデル構築のフローチャートを示す。図において、端末装置として示しているのは端末プログラムのフローチャート、属性データサーバ装置として示しているのは属性データサーバプログラムのフローチャート、点群サーバ装置として示しているのは点群サーバプログラムのフローチャートである。

まず、端末装置２０ｂのＣＰＵ８０（以下端末装置２０ｂと省略することがある）は、属性データサーバ６０にアクセスし、所望の地物の存在する場所を指定する（ステップＳ１１）。場所の指定は、たとえば緯度経度などで範囲を指定して行う。住所、地名を入力（あるいは検索）するようにし、これを緯度経度の範囲に変換してもよい。また、地図上でクリックや選択した範囲を緯度経度の範囲に変換してもよい。

これを受けて、属性サーバ装置６０のＣＰＵ（以下属性サーバ装置と省略することがある）は、属性データを検索し当該指定された場所内（場所外の近傍を含めてもよい）にある外形領域データを抽出する（ステップＳ２１）。属性サーバ装置６０は、抽出した外形領域データ（平面形状データとその絶対座標における位置と高さ）、地物名などを端末装置２０ｂに送信する。

端末装置２０ｂは、受信した外形領域データに基づいて外形領域と地物名をディスプレイ８４に表示する（ステップＳ１２）。表示例を、図３２に示す。各地物の外形領域１０２～１１２が示され、その近傍に地物名が示されている。

ユーザは、端末装置２０ｂのマウス９０を操作し、所望の地物の外形領域を選択する。ここでは、建物の外形領域１１０が選択されたものとして説明を進める。この選択を受けて、端末装置２０ｂは、建物の外形領域１１０の外形領域データを指定して、三次元点群データの要求を各点群サーバ装置４０ａ～４０ｎに送信する（ステップＳ１３）。

この要求を受けた各点群サーバ装置４０ａ～４０ｎは、当該外形領域１１０内の三次元点群データを自らが保持しているかどうかを判断し、保持していれば返送する。ここでは、点群サーバ装置４０ａ～４０ｎのうち、点群サーバ装置４０ａ、４０ｂの２つが、建物の外形領域１１０の三次元点群データを保持しているものとして説明を進める。

点群サーバ装置４０ａのＣＰＵ（以下、点群サーバ装置４０ａと省略することがある）は、当該建物の外形領域１１０の三次元点群データを、端末装置２０ｂに返信する（ステップＳ３１）。

同様に、点群サーバ装置４０ｂのＣＰＵ（以下、点群サーバ装置４０ｂと省略することがある）は、当該建物の外形領域１１０の三次元点群データを、端末装置２０ｂに返信する（ステップＳ４１）。

なお、点群サーバ装置４０ａ、４０ｂは、指定された外形領域１１０に対して、計測誤差を考慮して広くした領域の三次元点群データを送信するようにしている。計測誤差は、計測方法・機器によって異なるので、当該三次元点群データがどのような計測方法・機器によって計測されたのかにより異なる。したがって、計測方法・機器により上記の広くした領域は異なる。

端末装置２０ｂは、点群サーバ装置４０ａからの三次元点群データ（第１三次元点群データ）と、点群サーバ装置４０ｂからの三次元点群データ（第２三次元点群データ）とを受信する。図３３Ａに第１三次元点群データ、図３３Ｂに第２三次元点群データの例を示す。図３３Ａ、図３３Ｂに示すように、第１三次元点群データは、紙面に向かって、直方体の手前側から計測したものである。第２三次元点群データは、紙面に向かって、直方体の後ろ側から計測したものである。

端末装置２０ｂは、第１三次元点群データと第２三次元点群データの位置を合わせて合成し、図３４に示すような合成三次元点群データを生成する（ステップＳ１４）。この図からも明らかなように、第１三次元点群データ、第２三次元点群データ単独の場合よりも、情報量の多い（手前側と後ろ側からの計測データの双方を持つ）三次元点群データを得ることができる。

このようにして得られた合成三次元点群データは、様々な用途に用いることができる。この実施形態では、合成三次元点群データに基づいて、地物の三次元モデルを生成するようにしている。

端末装置２０ｂは、合成三次元点群データに基づいて、地物の外形面を生成する（ステップＳ１５）。この処理は、たとえば、三次元凸包アルゴリズム（http:/www.qhull.org/download/）によって行うことができる。図３５Ａに、生成された地物の三次元モデルを示す。第１三次元点群データのみで生成した三次元モデル、第２三次元点群データのみで生成した三次元モデルよりも完成度の高い三次元モデルを生成することができる。端末装置２０ｂは、これをディスプレイ８４に表示するとともに、ハードディスク８６に記録する（ステップＳ１５）。

この実施形態によれば、同一地物について、インターネット上に点在する複数の三次元点群データを容易に検索し、これを合成して合成三次元点群データを得ることができる。また、同一地物についての複数の三次元点群データのうちいずれか一つに基づいて、一つの属性データが生成されていれば、上記の検索や合成を行うことができる。これは、属性データが三次元点群データとは独立しており、属性データの外形領域データが絶対座標にて定義されているからである。

3.4その他
(1)上記実施形態では、２つの三次元点群データを取得して合成三次元点群データを得ている。しかし、３つ以上の三次元点群データを取得して合成三次元点群データを生成してもよい。

(2)上記実施形態では、一つの地物についての合成三次元点群データを得るようにしている。しかし、複数の地物についての合成三次元点群データを得るようにしてもよい。また、所定範囲内にある地物全てについての合成三次元データを得るようにしてもよい。このような例を、図３６Ａ、図３６Ｂ、図３６Ｃに示す。図３６Ａが第１三次元点群データ、図３６Ｂが第２三次元点群データ、図３６Ｃが合成三次元点群データである。

(3)上記実施形態においては、計測方向の異なる三次元点群データを合成している。しかし、地物までの計測距離の異なる三次元点群データや計測機器の異なる（たとえば、ＭＭＳとＵＡＶによる計測）三次元点群データを合成してもよい。

(4)上記実施形態においては、ステップＳ２１において、場所に対して属性データが一つだけ見いだされた場合について説明した。しかし、異なる測定事業者が同一の場所について三次元点群データを作成し、それぞれが属性データをアップロードしている場合や、同一の事業者であっても、異なる時期に同一の場所について三次元点群データを作成し、それぞれが属性データをアップロードしている場合がある。このような場合には、指定された場所に対して複数の属性データが見いだされる。この場合、属性データサーバ装置６０は、複数の属性データがある旨を端末装置２０ｂに送信する。端末装置２０ｂは、複数の属性データについて作成日時、作成機器などをディスプレイ８４に表示し、操作者に選択させる。選択された属性データに基づいて、外形領域を送信する（ステップＳ２１）。

(5)上記実施形態では、端末装置２０ｂが三次元点群データ要求を行っている（ステップＳ１３）。しかし、属性データサーバ装置６０がこれを行い、その結果を端末装置２０ｂに送信するようにしてもよい。

(6)上記実施形態では、端末装置２０ｂにおいて三次元点群データの合成や三次元モデルの生成を行っている。しかし、いずれか一方または双方を、属性データサーバ装置６０にて行い、その結果を端末装置２０ｂに送信するようにしてもよい。

(7)上記実施形態では、ステップＳ１４において、端末装置２０ｂが三次元点群データを取得した際に、いずれの方向から計測したものであるかを表示していない。しかし、これを明確にするために、取得した三次元点群データに付されているデータに基づいて、図３５Ｂに示すように、矢印にて、地物に対する計測方向と距離を表示するようにしてもよい。矢印の根元が計測位置、矢印の方向が計測方向である。図３５Ｂの場合であれば、２カ所から計測された三次元点群データが存在することが明確となる。

したがって、この画面表示に基づいて、次に計測を行う場合、合成三次元点群データの品質を向上するのであれば、矢印とは異なる方向から計測することが好ましいことが分かる。また、地物の時間的な変化を知りたいのであれば、矢印と同じ位置、方向から計測を行うのが好ましい。

(8)上記実施形態では、第１・第２の三次元点群データを単純に合成して合成三次元点群データを生成している。しかし、三次元点群データのうち、同一箇所について第１三次元点群データと第２三次元点群データが存在する場合、当該箇所においては、測定精度の高い三次元点群データのみを採用して合成三次元点群データを生成するようにしてもよい。

(9)上記実施形態では、第１点群サーバ装置４０ａ、第２点群サーバ装置４０ｂが別のサーバ装置として構築されていたが、単一のサーバ装置として構築されていてもよい。

(10)上記実施形態では、第１点群サーバ装置４０ａ、第２点群サーバ装置４０ｂと属性データサーバ装置６０とが別のサーバ装置として構築されていたが、単一のサーバ装置として構築されていてもよい。

(11)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実行可能である。

４．第４の実施形態
4.1全体構成
図３７に、この発明の第２の実施形態による点群データ管理システムの全体構成を示す。第１点群サーバ装置４０ａには、地物を含む絶対座標による第１日時における第１三次元点群データファイルが記録されている。第２点群サーバ装置４０ｂには、地物を含む絶対座標による第２日時における第２三次元点群データファイルが記録されている。属性データサーバ装置６０には、地物の外形を囲った絶対座標による外形領域データが記録されている。

経時変化取得手段２５は、取得した第１日時における第１三次元点群データと第２日時における第２三次元点群データとに基づいて、第１日時と第２日時における地物の形状変化を算出する。

4.2システム構成
システム構成は、第３の実施形態と同じである。

4.3経時変化算出処理
次に、公開された複数の三次元点群データに基づいて、地物の経時変化を取得する処理について説明する。

図３８、図３９に、地物の経時変化取得のフローチャートを示す。図において、端末装置として示しているのは端末プログラムのフローチャート、属性データサーバ装置として示しているのは属性データサーバプログラムのフローチャート、点群サーバ装置として示しているのは点群サーバプログラムのフローチャートである。

これを受けて、属性サーバ装置６０のＣＰＵ（以下属性サーバ装置と省略することがある）は、属性データを検索し当該指定された場所内にある外形領域データを抽出する（ステップＳ２１）。属性サーバ装置６０は、抽出した外形領域データ（平面形状データとその絶対座標における位置と高さ）、地物名などを端末装置２０ｂに送信する。

端末装置２０ｂは、点群サーバ装置４０ａからの三次元点群データ（第１三次元点群データ）と、点群サーバ装置４０ｂからの三次元点群データ（第２三次元点群データ）とを受信する。ここで、第１三次元点群データと第２三次元点群データは、実質的に同じ方向から地物を計測したものである。ただし、その計測日時が異なっている。

端末装置２０ｂは、第１三次元点群データに基づいて地物の第１日時における三次元モデルを生成する（ステップＳ１７）。また、第２三次元点群データに基づいて地物の第２日時における三次元モデルを生成する（ステップＳ１７）。

端末装置２０ｂは、生成した第１日時の三次元モデルと第２日時の三次元モデルを、ディスプレイ８４に比較可能に表示する（ステップＳ１８）。たとえば、図４０に示すように、第１日時の三次元モデル１２０と第２日時の三次元モデル１２２を表示する。その下には、地物名と計測年月日が示されている。したがって、図４０の例であれば、２０１０年２月２４日におけるビルの外形と、２０１９年３月５日におけるビルの外形が変化していることが比較して分かる。

なお、比較を容易にするために、両者を異なる色で重ねて表示するようにしてもよい。

また、たとえば、第１日時において地物が存在せず、第２日時において地物が存在するような状況があれば（たとえば、道路標識が新たに設置されたなど）、第２日時において当該場所の計測データがあれば地物の三次元点群データを得ることができる。ただし、第１日時において当該場所の計測データがあったとしても、地物の三次元点群データは得られない。したがって、これに基づく三次元モデルを表示することで、第１日時には地物がなく、第２日時には地物が存在することが明確となる。

なお、上記のような経時比較の目的からは、地物に対する計測方向が同じ（あるいは類似した）三次元点群データを用いることが好ましい。

4.4その他
(1)上記実施形態では、２つの日時における三次元点群データによってそれぞれ三次元モデルを生成し、比較を行うようにしている。しかし、３つ以上の日時における三次元点群データを取得して、それぞれ三次元モデルを生成し、比較を行うようにしてもよい。

(2)上記実施形態では、一つの地物についての経時比較を行うようにしている。しかし、複数の地物についての経時比較を行うようにしてもよい。また、所定範囲内にある地物全てについての経時比較を行うようにしてもよい。

(3)上記実施形態では、端末装置２０ｂが三次元点群データ要求を行っている（ステップＳ１３）。しかし、属性データサーバ装置６０がこれを行い、その結果を端末装置２０ｂに送信するようにしてもよい。

(6)上記実施形態では、端末装置２０ｂにおいて三次元モデルの生成を行っている。しかし、属性データサーバ装置６０にて行い、その結果を端末装置２０ｂに送信するようにしてもよい。

(7)上記実施形態では、ステップＳ１７において、端末装置２０ｂが三次元点群データを取得した際に、各三次元点群データがいつ計測されたものであるかを表示していない。しかし、これを明確にするために、取得した三次元点群データに付されているデータに基づいて、図４１に示すように、各三次元点群データの測定日時を表示するようにしてもよい。多くの日時の三次元点群データが存在する場合には、このような表示を行うことが好ましい。ユーザは、これを見て、比較したい年月日を所定数選択し、三次元モデルを表示させることができる。

(8)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実行可能である。たとえば、同一日時（同一月や同一年でもよい）において異なる方向からの複数の三次元点群データがある場合には、合成三次元点群データを生成して三次元モデルを生成し、これを他の日時の三次元モデルと比較するようにしてもよい。

(11)上記実施形態では、検索された動画データを端末装置において再生するようにしている。この際、当該動画を撮像した近傍の地図や三次元点群データなどを併せて表示するようにしてもよい。また、動画の再生に合致するように、時間とともに変化する撮像位置から見た三次元点群データを表示するようにしてもよい。

(12)上記実施形態では、２つの時点の地物の三次元モデルを比較表示するようにしている。しかし、両者について、三次元モデルの外形線の法線ベクトルを表示して、表面の角度変化を分かりやすくしてもよい。

また、微小エリア（２５ｃｍ立方領域）に区分して、当該エリア内の点の数を比較して表示してもよい。これにより、地物表面の粗さ度合いを比較することができる。

さらにまた、各点や各エリアの反射強度を比較してもよい。これによって、表面の滑らかさを比較することができる。

また、三次元モデルの体積を比較するようにしてもよい。これにより、植栽などの成長、葉の付き具合などを比較できる。

(13)上記実施形態および変形例は、その本質に反しない限り、他の実施形態と組み合わせて実行可能である。

５．第５の実施形態
5.1全体構成
図４２に、この発明の第５の実施形態による地物検索システムの機能ブロック図を示す。地物検索サーバ装置１５０の記録部１５８には、三次元点群データの地物名、外形領域、位置などの属性データ、動画データが記録されている。

地物検索サーバ装置１５０の属性データ送信手段１５０は、記録部１５８に記録されている三次元点群データに対応する地物名または外形領域を読み出して、端末装置４０に送信する。端末装置４０の地物属性データ表示手段１８２は受信した地物の地物名または外形領域を、表示部１８８に表示する。

端末装置４０を操作する操作者は、マウス９０を用いて表示された地物の地物名または外形領域を見て、動画を検索したい地物を選択する。選択情報送信手段１８４は、いずれの地物が選択されたかを、地物検索サーバ装置１５０に送信する。

地物検索サーバ装置１５０の地物位置取得手段１５４は、選択された地物の位置を取得する。動画データ送信手段１５６は、動画データを時間順に探索し、地物位置の近傍の撮像位置情報が付された部分を抽出する。抽出した動画データを、端末装置４０に送信する。端末装置４０の動画再生手段１８６は、受信した動画データを表示部１８８において再生する。

これにより、膨大な量の動画データ中から、所望の地物が撮像されている箇所を容易に検索して表示することができる。

5.2システム構成
図４３に、第３の実施形態による点群データ管理システムのシステム構成を示す。インターネット上には点群サーバ装置４０ａ、４０ｂ・・・４０ｎが設けられている。また、地物検索サーバ装置６２も設けられている。点群サーバ装置４０ａ、４０ｂ・・・４０ｎには、計測された地物の三次元点群データと計測時に撮像された動画データ（撮像位置情報付き）が記録されている。地物検索サーバ装置６２には、図１１に示すような属性データが記録されている。これらサーバ装置４０ａ、４０ｂ・・・４０ｎ、６０に、インターネットを介して通信可能に端末装置２０ａ、２０ｂ・・・２０ｎが設けられている。

端末装置２０のハードウエア構成は、図２９と同様である。点群サーバ装置４０、地物検索サーバ装置６２も、同様のハードウエア構成である。ただし、点群サーバ装置４０においては、端末プログラム９６に代えて、点群サーバプログラムが記録されている。また、地物検索サーバ装置６２においては、端末プログラム９６に代えて、地物検索サーバプログラムが記録されている。

5.3地物検索処理
図４４に、地物検索のフローチャートを示す。図において、端末装置として示しているのは端末プログラムのフローチャート、地物検索サーバ装置として示しているのは地物検索サーバプログラムのフローチャートである。

まず、端末装置２０ｂのＣＰＵ８０（以下端末装置２０ｂと省略することがある）は、地物検索サーバ装置６２にアクセスし、所望の地物の存在する場所を指定する（ステップＳ１１）。場所の指定は、たとえば緯度経度などで範囲を指定して行う。住所、地名を入力（あるいは検索）するようにし、これを緯度経度の範囲に変換してもよい。また、地図上でクリックや選択した範囲を緯度経度の範囲に変換してもよい。

これを受けて、地物検索サーバ装置６２のＣＰＵ（以下地物検索サーバ装置６２と省略することがある）は、属性データを検索し当該指定された場所内にある外形領域データを抽出する（ステップＳ５１）。地物検索サーバ装置６２は、抽出した外形領域データ（平面形状データとその絶対座標における位置と高さ）、地物名などを端末装置２０ｂに送信する。

ユーザは、端末装置２０ｂのマウス９０を操作し、所望の地物の外形領域を選択する。ここでは、標識の外形領域１０６が選択されたものとして説明を進める。この選択を受けて、端末装置２０ｂは、標識の外形領域１０６の外形領域データを指定して、この標識が撮像されている動画の部分を検索する指示を、地物検索サーバ装置６２に送信する（ステップＳ１９）。

地物検索サーバ装置６２は、指定された地物の属性データを読み出し、地物の位置（絶対座標による位置）を取得する（ステップＳ５２）。次に、地物検索サーバ装置６２は、この地物位置に基づいて、撮像動画データ１６２において当該地物が撮像されている部分を抽出する（ステップＳ５３）。

図４５に、撮像動画データ１６２のデータ構成を示す。動画本体データ１７０に関連づけて、撮像時刻を示すタイムスタンプＴＳ1、ＴＳ2・・・が関連づけて記録されている。また、撮像したカメラ（もしくはカメラを搭載した車など）の位置が絶対座標にて記録されている。また、図示していないが、撮像動画データ１６２には、当該動画全体としての撮像エリア情報が関連づけられて記録されている。

図４６に撮像エリア情報の考え方を示す。実線で示すのが撮像経路Ｒである。開始点Ｓから撮像を開始し、終了点Ｅまで撮像を行ったことが示されている。この撮像経路Ｒを外包する破線にて示すのが撮像エリアＡＲである。撮像エリアＡＲは、たとえば、対角の絶対座標（撮像エリア情報）によって特定される。

図４７に、ステップＳ５３の動画部分の抽出処理の詳細を示す。地物検索サーバ装置６２は、検索対象である地物の位置に基づいて、当該計測位置が撮像エリア内に含まれる動画データ１６２を選択する（ステップＳ５３１）。このようにして選択された動画データ１６２には、地物を撮像した部分が含まれる可能性がある。地物検索サーバ装置６２は、選択された動画データ１６２のそれぞれについて、当該撮像された部分があるかどうかを検索する。

ステップＳ５３３において、地物検索サーバ装置６２は、動画データ１６２に記録された撮像位置を時刻順に読み出す（ステップＳ５３３）。図４５の例であれば、撮像位置ＰＳ1、ＰＳ2・・・ＰＳnを読み出すことになる。

地物検索サーバ装置６２は、読み出した撮像位置ＰＳ1、ＰＳ2・・・ＰＳnのうち、最も地物の位置に近い撮像位置ＰＳfを特定する（ステップＳ５３４）。地物検索サーバ装置６２は、最も近い撮像位置ＰＳfと地物位置との距離が所定値以下であるかどうかを判断する（ステップＳ５３５）。所定値以下であれば、当該箇所に地物が撮像されていることになる。地物検索サーバ装置６２は、特定した撮像位置ＰＳfの前後所定時間分の動画データを抽出する（ステップＳ５３６）。撮像位置ＰＳfと地物位置との距離が所定値を超えていれば、動画部分の抽出は行わない。

以上の処理を、ステップＳ５３１にて選択した動画全てについて行う（ステップＳ５３２、Ｓ５３７）。

以上のようにして、動画データの部分を抽出すると、地物検索サーバ装置６２は、これを端末装置２０ｂに送信する（ステップＳ５４）。

端末装置２０ｂは、これを受けて、ディスプレイ８４に抽出した動画データの部分を表示する（ステップＳ２０）。なお、複数の動画データがある場合には、再生前に、撮像日時とともに動画データを一覧表示し、ユーザに選択させて再生することが好ましい。

ユーザは、この動画を見て、検索対象とした地物の状況を画像として把握することができる。たとえば、図３２の画面表示にて特定することが可能な地物の状態（ボルトやナットに付された緩み検出マーク（たとえば合いマーク）の確認、外観劣化状況の確認など）を知りたい時などに用いることができる。

なお、上記の検出マークの確認や、外観劣化状況の確認は、画像処理やＡＩによって端末装置が行うようにしてもよい。

5.4その他
(1)上記実施形態では、属性データの地物位置および動画データの撮像位置を絶対座標にて示している。したがって、動画データのそれぞれに対応する属性データを用意しなくとも、属性データが一つあれば複数の動画データから地物を検索することができる。

なお、各動画データに対応して属性データを設ける場合であれば、地物位置および撮像位置は、両データ間で整合が取れていればよく絶対座標とする必要はない。また、動画データに対応した属性データがある場合には、地物位置と撮像位置に基づく検索ではなく、地物の三次元点群データを作成した日時と撮影日時に基づく検索を行うこともできる。

(2)上記実施形態では、図３２に示すように外形領域と地物名とによって検索したい地物を特定するようにしている。しかし、外形領域を表示せず、地物名だけを表示してユーザに選択させるようにしてもよい。

(3)上記実施形態では、地物が撮像されている動画の部分を抽出して再生するようにしている。しかし、これに加えて、動画中の地物にマークを施して再生するようにしてもよい。

地物検索サーバ装置６２は、以下のような処理を行うことで、これを実現することができる。たとえば、図４８に示すような地物の外形領域があるとき、標識１０６を検索対象としたとする。この外形領域が配置された空間に、動画を撮像した際の軌跡２００を描く。この軌跡２００には時刻が付されているので各点における撮像時刻を知ることができる。各撮像時刻ｔ１、ｔ２・・・において、対象とする地物１０６がいずれの方向に、どのような距離で存在するかを判定する。

この方向と距離に基づいて、撮像動画の対応する同時刻において、地物１０６がどのように撮像されるかを算出する。このようにして生成した地物１０６の外形領域の各時刻における見え方を、抽出した動画に重ねて、端末装置２０ｂに送信する。

端末装置２０ｂにおいてこれを再生すると、図４９に示すように、画像中の目的とする地物を囲うように外形領域の枠が表示されることになる。したがって、ユーザは、目的とする地物を容易に動画中から見いだすことができる。

(4)上記実施形態では、点群サーバ装置４０と検索サーバ装置６２とが別のサーバ装置として構築されていたが、単一のサーバ装置として構築されていてもよい。

(5)上記実施形態では、動画を検索する場合について説明した。しかし、同様の処理にて、撮像場所と撮像時間の付された静止画を検索することもできる。

Claims

サーバ装置と当該サーバ装置と通信可能な端末装置とを備えた地物管理システムであって、
前記サーバ装置は、道路表示地物を含む反射強度付きの三次元点群データおよび前記道路表示地物の外形を囲った外形領域データを記録しており、
前記端末装置は、
前記サーバ装置から前記道路表示地物の外形領域データを取得する外形領域データ取得手段と、
当該道路表示地物の外形領域データに対応する三次元点群データを、前記サーバ装置から取得する三次元点群データ取得手段と、
取得した道路表示地物の外形領域と三次元点群データとを重ねて表示部に表示する表示手段と、
を備えたことを特徴とする地物管理システム。
サーバ装置から前記道路表示地物の外形領域データを取得する外形領域データ取得手段と、
当該道路表示地物の外形領域データに対応する三次元点群データを、前記サーバ装置から取得する三次元点群データ取得手段と、
取得した道路表示地物の外形領域と三次元点群データとを重ねて表示部に表示する表示手段と、
を備えた端末装置。
コンピュータによって端末装置を実現するためのサーバプログラムであって、コンピュータを、
サーバ装置から前記道路表示地物の外形領域データを取得する外形領域データ取得手段と、
当該道路表示地物の外形領域データに対応する三次元点群データを、前記サーバ装置から取得する三次元点群データ取得手段と、
取得した道路表示地物の外形領域と三次元点群データとを重ねて表示部に表示する表示手段として機能させるための端末プログラム。
道路表示地物を含む反射強度付きの三次元点群データおよび前記道路表示地物の外形を囲った外形領域データを記録しておき、
前記道路表示地物の外形領域データを取得し、
当該道路表示地物の外形領域データに対応する三次元点群データを取得し、
取得した道路表示地物の外形領域と三次元点群データとを重ねて表示部に表示することを特徴とする地物管理方法。