JP7369653B2 - ガイド表示システムおよびこれを備えたクレーン - Google Patents

Description

本発明は、ガイド表示システムおよびこれを備えたクレーンに関する。

従来、吊荷と吊荷周辺の地物について、位置および標高に関する情報をオペレータに提示できるガイド表示システムが公知となっている。かかるガイド表示システムは、特許文献１に開示されている。

特許文献１に開示されたガイド表示システムは、レーザスキャナが取得した点群データを用いてグリッドごとに代表点を算出するとともに代表点に基づいて三次元地図を作成するデータ処理部を備えている。データ処理部は、吊荷や地物を取り囲むガイド枠図形などのガイド情報を生成し、カメラが撮影した画像に対してガイド情報を重ね合わせてデータ表示部に表示する。このようなガイド表示システムによれば、吊荷と吊荷周辺の地物について、位置および標高に関する情報をオペレータに提示できる。

特開２０１９－２４１５１号公報

しかしながら、特許文献１に開示されたガイド表示システムは、カメラが撮影した画像に対してガイド情報を重ね合わせてデータ表示部に表示したときに、吊荷や地物に対してガイド枠図形がズレる場合があり、ガイド情報を的確に表示することができないという課題があった。

本発明は、このような課題を鑑みてなされたものであり、カメラが撮影した画像に対してガイド情報を重ね合わせてデータ表示部に表示するときに、吊荷や地物に対するガイド枠図形のズレを抑制することが可能なガイド表示システムを提供することを目的としている。

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。

即ち、本発明に係るガイド表示システムは、吊荷の上方から当該吊荷ならびに地表面および地物を走査するレーザスキャナと、前記吊荷の上方から当該吊荷ならびに前記地表面および地物を撮影するカメラと、前記レーザスキャナが取得した点群データを用いて、当該吊荷ならびに前記地表面および地物の三次元地図と、前記吊荷および前記地物の輪郭を表すガイド枠図形と、を生成するデータ処理部と、前記カメラが撮影した画像を表示するデータ表示部と、を備え、前記データ表示部に表示した前記カメラが撮影した前記吊荷および前記地物の画像に、前記データ処理部により生成した前記ガイド枠図形を重ねて表示するクレーンのガイド表示システムであって、前記データ処理部は、前記カメラの計測領域を算出し、前記カメラの視点からの前記計測領域における前記三次元地図をキャプチャして第一画像を生成するとともに、前記カメラの画像を前記三次元地図の粒度に合わせてモザイク処理して第二画像を生成し、前記第一画像と前記第二画像をレジストレーション処理して、前記第一画像と前記第二画像のズレ量を算出し、算出したズレ量に基づいて、前記吊荷および前記地物の画像に対する前記ガイド枠図形の配置位置を補正しつつ、前記データ表示部に、前記吊荷および前記地物の画像と前記ガイド枠図形を重ねて表示することを特徴とする。

また、本発明に係るガイド表示システムにおいて、前記データ処理部は、画像処理により、前記第一画像と前記第二画像をレジストレーション処理することを特徴とする。

また、本発明に係るガイド表示システムにおいて、前記データ処理部は、テンプレートマッチング法による画像処理により、前記第一画像と前記第二画像をレジストレーション処理することを特徴とする。

また、本発明に係るガイド表示システムにおいて、前記データ処理部は、前記第二画像における前記吊荷を含まない位置の画像をテンプレート画像とすることを特徴とする。

また、本発明に係るクレーンは、前記ガイド表示システムの何れかを備えることを特徴とする。

本発明の効果として、以下に示すような効果を奏する。

本発明に係るガイド表示システムによれば、カメラが撮影した画像に対してガイド情報を重ね合わせてデータ表示部に表示するときに、吊荷や地物に対するガイド枠図形のズレを抑制することができる。これにより、ガイド表示システムにおけるガイド情報を的確に表示することができる。

また、本発明に係るガイド表示システムによれば、カメラで撮影した画像と、レーザスキャナで取得した点群データに基づく三次元地図の位置を容易に同期させることができる。

また、本発明に係るガイド表示システムによれば、カメラで撮影した画像と、レーザスキャナで取得した点群データに基づく三次元地図の位置を精度よく同期させることができる。

また、本発明に係るガイド表示システムによれば、カメラで撮影した画像と、レーザスキャナで取得した点群データに基づく三次元地図の位置をより精度よく同期させることができる。

また、ガイド表示システムを備えたクレーンにおいて、オペレータに対してガイド情報を的確に提示することができる。

本発明の一実施形態に係るクレーンを示す図。 本発明の一実施形態に係るガイド表示システムを示す図。 レーザスキャナによる走査態様を示す図。 データ処理部による処理の流れを示す図。 点群データ補正工程の概要を示す図。 三次元地図作成工程の概要を示す図。 クラスタリング工程の概要を示す図。 作業領域可視化工程の概要を示す図。 三次元地図更新処理の流れを示す図。 三次元地図更新処理の概要を示す図。 三次元地図更新処理を経て作成された三次元地図を示す図。 同一領域推定処理の流れを示す図。 同一領域推定処理の概要を示す図。 同一領域推定処理を経て生成されたガイド情報を示す図。 オクルージョン領域の発生によって誤認識が生じる状況を示す図。 地物領域推定処理と画像による地物領域推定処理の流れを示す図。 画像による地物領域推定処理の概要を示す図。 領域可視化処理の流れを示す図。 第一画像と第二画像の生成およびレジストレーション処理の概要を示す図。 テンプレート画像の概要を示す図。

まず、本発明の一実施形態に係るクレーン１について説明する。

図１に示すように、クレーン１は、不特定の場所に移動可能な移動式クレーンである。クレーン１は、走行車両２とクレーン装置６を備えている。

走行車両２は、クレーン装置６を搬送するものである。走行車両２は、複数の車輪３を有し、エンジン４を動力源として走行する。走行車両２には、アウトリガ５が設けられている。アウトリガ５は、走行車両２の幅方向に延伸するビームと地表面Ｆに接地して走行車両２を支持するジャッキシリンダで構成されている。

クレーン装置６は、吊荷Ｗを吊り上げた状態で搬送するものである。クレーン装置６は、ブーム７を備えている。ブーム７には、ワイヤロープ８が架け渡されている。ブーム７の先端部分から垂下するワイヤロープ８には、フック９が取り付けられている。また、ブーム７の基端側近傍には、ウインチ１０が配置されている。尚、クレーン装置６は、ブーム７の側方にキャビン１１を備えている。キャビン１１の内部には、旋回操作具１９や伸縮操作具２０、起伏操作具２１、巻回操作具２２などが設けられている（図２参照）。

ブーム７は、アクチュエータによって旋回自在となっている。本願においては、かかるアクチュエータを旋回用モータ１２と定義する。旋回用モータ１２は、電磁比例切換弁である旋回用バルブ２３によって適宜に稼動する（図２参照）。つまり、旋回用モータ１２は、旋回用バルブ２３が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、旋回用バルブ２３は、制御装置１８の指示に基づいて稼動する。ブーム７の旋回角度は、旋回用センサ２７によって検出される（図２参照）。

また、ブーム７は、アクチュエータによって伸縮自在となっている。本願においては、かかるアクチュエータを伸縮用シリンダ１３と定義する。伸縮用シリンダ１３は、電磁比例切換弁である伸縮用バルブ２４によって適宜に稼動する（図２参照）。つまり、伸縮用シリンダ１３は、伸縮用バルブ２４が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、伸縮用バルブ２４は、制御装置１８の指示に基づいて稼動する。ブーム７の伸縮長さは、伸縮用センサ２８によって検出される（図２参照）。

更に、ブーム７は、アクチュエータによって起伏自在となっている。本願においては、かかるアクチュエータを起伏用シリンダ１４と定義する。起伏用シリンダ１４は、電磁比例切換弁である起伏用バルブ２５によって適宜に稼動する（図２参照）。つまり、起伏用シリンダ１４は、起伏用バルブ２５が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、起伏用バルブ２５は、制御装置１８の指示に基づいて稼動する。ブーム７の起伏角度は、起伏用センサ２９によって検出される（図２参照）。

加えて、フック９は、アクチュエータによって昇降自在となっている。本願においては、かかるアクチュエータを巻回用モータ１５と定義する。巻回用モータ１５は、電磁比例切換弁である巻回用バルブ２６によって適宜に稼動する（図２参照）。つまり、巻回用モータ１５は、巻回用バルブ２６が作動油の流量や流動方向を切り替えることで適宜に稼動する。尚、巻回用バルブ２６は、制御装置１８の指示に基づいて稼動する。フック９の吊下長さは、巻回用センサ３０によって検出される（図２参照）。

ところで、本願においては、クレーン１に対してＸＹＺ座標系を規定している。ＸＹＺ座標系におけるＸ軸方向（奥行方向とも呼ぶ）は、ブーム７の起伏支点の軸方向に対して垂直、かつ重力方向に対して垂直な方向となっている。また、ＸＹＺ座標系におけるＹ軸方向（水平方向とも呼ぶ）は、ブーム７の起伏支点の軸方向に対して平行、かつ重力方向に対して垂直な方向となっている。更に、ＸＹＺ座標系におけるＺ軸方向（鉛直方向とも呼ぶ）は、ブーム７の起伏支点の軸方向に対して垂直、かつ重力方向に対して平行な方向となっている。

次に、本発明の一実施形態に係るガイド表示システム５０について説明する。

図２に示すように、ガイド表示システム５０は、クレーン１の制御装置１８と連携している。ガイド表示システム５０は、データ取得部６０とデータ処理部７０とデータ表示部８０とデータ入力部９０を備えている。

データ取得部６０は、後述するガイド情報を生成するために必要な情報を取得するものである。データ取得部６０は、カメラ６１とレーザスキャナ６２と慣性計測装置６３と第一測位装置６４が一体に構成されたセンサユニット６６を有している。センサユニット６６は、ブーム７の先端部分にジンバルを介して取り付けられている（図１参照）。

カメラ６１は、作業領域の一部を撮影するものである。カメラ６１は、適宜なスペックを有しており、撮影した画像をデータ処理部７０へ出力する。尚、カメラ６１は、吊荷Ｗの上方から吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）を撮影する。そのため、データ処理部７０は、吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）についての画像を取得することができる。

レーザスキャナ６２は、作業領域の一部について点群データＰを取得するものである（図３参照）。レーザスキャナ６２は、適宜なスペックを有しており、取得した点群データＰをデータ処理部７０へ出力する。尚、レーザスキャナ６２は、吊荷Ｗの上方から吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）を走査する。そのため、データ処理部７０は、吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）についての点群データＰを取得することができる。

慣性計測装置（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：以下「ＩＭＵ」とする）６３は、センサユニット６６の姿勢に関する情報（具体的にはカメラ６１とレーザスキャナ６２の姿勢に関する情報）を取得するものである。ＩＭＵ６３は、適宜なスペックを有しており、取得したカメラ６１とレーザスキャナ６２の姿勢に関する情報をデータ処理部７０へ出力する。そのため、データ処理部７０は、カメラ６１とレーザスキャナ６２の姿勢に関する情報を取得することができる。

第一測位装置（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ：以下「ＧＮＳＳ受信機」とする）６４は、ＧＮＳＳ衛星から発せられた電波を受信することでセンサユニット６６の緯度、経度、標高値（具体的にはレーザスキャナ６２の座標値）を取得するものである。ＧＮＳＳ受信機６４は、適宜なスペックを有しており、取得したレーザスキャナ６２の座標値をデータ処理部７０へ出力する。そのため、データ処理部７０は、レーザスキャナ６２の座標値を取得することができる。

加えて、データ取得部６０においては、第二測位装置６５がクレーン装置６の旋回中心位置に配置されている。第二測位装置（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ：以下「ＧＮＳＳ受信機」とする）６５は、ＧＮＳＳ衛星から発せられた電波を受信することでクレーン装置６の旋回中心の緯度、経度、標高値（具体的にはクレーン装置６の旋回中心の座標値）を取得するものである。ＧＮＳＳ受信機６５は、適宜なスペックを有しており、取得した旋回中心の座標値をデータ処理部７０へ出力する。そのため、データ処理部７０は、クレーン装置６の旋回中心の座標値を取得することができる。

このように、ガイド表示システム５０は、レーザスキャナ６２の座標値とクレーン装置６の旋回中心の座標値によってブーム７を基線としたＧＮＳＳコンパスを構成している。このため、データ処理部７０は、レーザスキャナ６２の向きを算出することができる。また、ガイド表示システム５０では、点群データＰおよびＩＭＵ６３の計測時刻がＧＮＳＳ衛星の原子時計の時刻（以下「ＧＮＳＳ時刻」とする）で同期していることを要件としている。尚、ＧＮＳＳ受信機６４とＧＮＳＳ受信機６５には、測位精度の高いＲＴＫ（Ｒｅａｌ Ｔｉｍｅ Ｋｉｎｅｍａｔｉｃ）測位方式を採用している。但し、ＲＴＫ測位方式に限定せず、他の測位方式を採用していてもよい。

データ処理部７０は、データ取得部６０と接続されており、様々な処理を行うものである。データ処理部７０は、例えば汎用のコンピュータによって構成されている。尚、データ処理部７０は、センサユニット６６の近傍に配置されている。但し、データ処理部７０は、キャビン１１の内部など他の場所に配置されていてもよい。もちろん持ち運び可能なものであってもよい。

データ表示部８０は、データ処理部７０と接続されており、様々な情報を映し出すものである。データ表示部８０は、例えば汎用のモニタによって構成されている。尚、データ表示部８０は、キャビン１１の内部に配置されている。そのため、クレーン１のオペレータに対して情報を提示できる。もちろんデータ処理部７０が持ち運び可能なものである場合などでは、一体となったモニタであってもよい。

データ入力部９０は、データ処理部７０と接続されており、様々な数値を入力或いは設定を変更するものである。データ入力部９０は、例えば汎用のキーボードやマウス、タッチパネルによって構成されている。尚、データ入力部９０も、キャビン１１の内部に配置されている。そのため、クレーン１のオペレータが自在に数値を入力或いは設定を変更できる。もちろんデータ処理部７０が持ち運び可能なものである場合などでは、一体となったキーボードやマウス、タッチパネルであってもよい。

次に、レーザスキャナ６２による走査態様について説明する。

図３に示すように、レーザスキャナ６２は、地表面Ｆに対して上方からレーザ光を照射する。レーザスキャナ６２は、複数のレーザ発信機ならびにレーザ受信機を備えており、同時に複数本のレーザ光を照射して同時に複数個の点データｐ（点データｐの集合が点群データＰである）を取得できる。

具体的に説明すると、レーザスキャナ６２は、合計１６個のレーザ発信機を備えており、同時に１６本のレーザ光を照射できる。それぞれのレーザ発信機は、Ｙ軸方向を中心に２°ずつ照射角度を異にしている。また、それぞれのレーザ発信機は、Ｘ軸を中心に連続的に位相角を変えて照射可能に構成されている。そのため、レーザスキャナ６２は、地表面Ｆの所定の範囲に対してレーザ光を照射できる。

更に、レーザスキャナ６２は、合計１６個のレーザ受信機を備えており、同時に１６本のレーザ光の反射光を検出できる。それぞれのレーザ受信機は、Ｙ軸方向を中心に２°ずつ検出角度を異にしている。また、それぞれのレーザ受信機は、レーザ発信機から発信されたレーザ光と同じ光路で反射光を検出可能に構成されている。こうして、レーザスキャナ６２は、地表面Ｆを覆う点群データＰを取得できるのである。尚、点群データＰを取得できる範囲は、カメラ６１によって撮影される範囲である計測領域Ｒを含んでいる。

このように構成することで、データ処理部７０は、計測領域Ｒを含む範囲について点群データＰを取得できる。レーザスキャナ６２は、吊荷Ｗの上方から吊荷Ｗならびに吊荷Ｗ周辺の地表面Ｆ（地物Ｅを含む）を走査するため、点群データＰには、吊荷Ｗ、地表面Ｆ、地物Ｅが表れることとなる（図８（Ｂ）参照）。点群データＰを構成する各点データｐには、ＩＭＵ６３やＧＮＳＳ受信機６４・６５によって取得された様々な情報が付加される。例えば姿勢情報や位置情報などである。

次に、データ処理部７０による処理の流れについて説明する。

図４に示すように、データ処理部７０は、点群データ補正工程ＳＴＥＰ－１と三次元地図作成工程ＳＴＥＰ－２とクラスタリング工程ＳＴＥＰ－３と作業領域可視化工程ＳＴＥＰ－４を行う。これらの工程は、所定時間ごとに繰り返し行われる。

点群データ補正工程ＳＴＥＰ－１は、レーザスキャナ６２、ＩＭＵ６３、ＧＮＳＳ６４・６５による情報を基に現在時刻から最も近い時刻の点群データＰ、姿勢情報および位置情報を取得し、レーザスキャナ６２の向きを算出する。そして、姿勢情報、位置情報および向きを用いて点群データＰの位置と傾きを補正し、これを補正済みの点群データＰとして出力する（図５参照）。

具体的に説明すると、点群データ補正工程ＳＴＥＰ－１は、時刻同期処理ＳＴＥＰ－１１と剛体変換処理ＳＴＥＰ－１２で構成されている。

時刻同期処理ＳＴＥＰ－１１は、現在時刻から最も近い時刻で、かつ計測領域Ｒの端から端までを一巡したレーザスキャナ６２、ＩＭＵ６３、ＧＮＳＳ６４・６５による情報同士をＧＮＳＳ時刻にて同期する。そして、同期済みの点データｐ、姿勢情報、位置情報の組み合わせを出力する。

剛体変換処理ＳＴＥＰ－１２は、同期済みの点データｐ、姿勢情報、位置情報の組み合わせを一つ取得する。そして、取得した姿勢情報を用いて点データｐの座標値を剛体変換し、点データｐの座標系を平面直角座標系に変換して傾き、位置および向きを補正した点群データＰを出力する。

三次元地図作成工程ＳＴＥＰ－２は、異なる時期や位置から取得した補正済みの点群データＰ同士を重ね合わせ、格子状のグリッド（複数の点データｐを含む格子状に分割された領域である）Ｇに分割し、グリッドＧごとに代表点Ｐｒを算出する（図６（Ａ）参照）。そして、代表点Ｐｒに基づいて面を生成することで、これを作業領域の三次元地図Ｍとして出力する（図６（Ｂ）参照）。

具体的に説明すると、三次元地図作成工程ＳＴＥＰ－２は、グリッド生成処理ＳＴＥＰ－２１と三次元地図更新処理ＳＴＥＰ－２２で構成されている。

グリッド生成処理ＳＴＥＰ－２１は、補正済みの点群データＰ同士を重ね合わせて格子状のグリッドＧに分割する。そして、グリッドＧに含まれる点データｐの標高値（座標値の高さ成分）について平均値を算出し、グリッドＧの重心位置に高さ成分を平均値とした代表点Ｐｒを算出する。

三次元地図更新処理ＳＴＥＰ－２２は、グリッドＧごとに新たに算出された代表点Ｐｒを取得する。また、前回に算出された既存の代表点Ｐｒも取得する。そして、新たに算出された代表点Ｐｒと既存の代表点Ｐｒが異なる場合に新たに算出された代表点Ｐｒに基づく面を生成して三次元地図Ｍを出力する。このとき取得する既存の代表点Ｐｒとしては、後述する画像による地物領域推定処理（ＳＴＥＰ－３４）による処理結果が反映されており、ＳＴＥＰ－３４において推定された地物Ｅが三次元地図Ｍに反映される。

クラスタリング工程ＳＴＥＰ－３は、上下左右に隣り合うグリッドＧの代表点Ｐｒについて互いの代表点Ｐｒの高さ成分の関係性から特定領域に対してラベルＬを付与する（図７（Ａ）参照）。なお、図７（Ａ）等に示す丸囲み数字がラベルＬを表している。そして、同じラベルＬが付された特定領域について吊荷Ｗに相当する特定領域を吊荷Ｗとし、地表面Ｆに相当する特定領域を地表面Ｆとして出力する（図７（Ｂ）参照）。更に、それ以外の特定領域を地物Ｅとして出力する（図７（Ｃ）参照）。

具体的に説明すると、クラスタリング工程ＳＴＥＰ－３は、ラベリング処理ＳＴＥＰ－３１、同一領域推定処理ＳＴＥＰ－３２、地物領域推定処理ＳＴＥＰ－３３、画像による地物領域推定処理ＳＴＥＰ－３４で構成されている。

ラベリング処理ＳＴＥＰ－３１は、格子状に並ぶグリッドＧを画素に見立てる。また、各グリッドＧに存在する代表点Ｐｒの高さ成分を輝度値に見立てる。そして、上下左右に隣り合うグリッドＧの輝度値を所定の定めに基づいて比較し、特定領域に対してラベルＬを付与する。

同一領域推定処理ＳＴＥＰ－３２は、同じラベルＬが付された特定領域を一つの平面に見立てる。そして、同じラベルＬが付された特定領域の中でオペレータが手動操作によって選択した特定領域を吊荷Ｗとして出力する。また、最も点データｐが多い特定領域を地表面Ｆとして出力する。

地物領域推定処理ＳＴＥＰ－３３は、吊荷Ｗや地表面Ｆとされた特定領域以外の領域を、地物Ｅであるか否かを確認する。具体的な処理の流れについては後述する。

画像による地物領域推定処理ＳＴＥＰ－３４は、地物領域推定処理ＳＴＥＰ－３３において地表面Ｆとされた領域について、同領域をカメラ６１で撮影した画像データに基づいて、当該確認領域が地物Ｅであるか否かを再度確認する。具体的な処理の流れについては後述する。

作業領域可視化工程ＳＴＥＰ－４は、吊荷Ｗや地物Ｅを取り囲むガイド枠図形ＧＤ１などのガイド情報（標高を表す数値ＧＤ２・ＧＤ３を含む）を生成し、カメラ６１が撮影した画像に対してガイド情報を重ね合わせてデータ表示部８０に出力する（図８（Ａ）参照）。また、吊荷Ｗ、地表面Ｆ、地物Ｅの三次元的な位置関係を表す三次元地図Ｍについて可視化して出力する（図８（Ｂ）参照）。

具体的に説明すると、作業領域可視化工程ＳＴＥＰ－４は、領域可視化処理ＳＴＥＰ－４１と三次元地図可視化処理ＳＴＥＰ－４２で構成されている。

領域可視化処理ＳＴＥＰ－４１は、レーザスキャナ６２の位置と向きに基づいて吊荷Ｗや地物Ｅの画像上における位置を算出する。そして、吊荷Ｗや地物Ｅを取り囲むガイド枠図形ＧＤ１を生成し、カメラ６１が撮影した画像における吊荷Ｗや地物Ｅに対してガイド枠図形ＧＤ１を重ね合わせて出力する。また、吊荷Ｗの標高を表す数値ＧＤ２や地物Ｅの標高を表す数値ＧＤ３についても出力する。

三次元地図可視化処理ＳＴＥＰ－４２は、ラベルＬが付された吊荷Ｗ、地表面Ｆ、地物ＥについてグリッドＧごとに代表点Ｐｒの座標値を取得する。そして、グリッドＧごとに代表点Ｐｒを重心とする面を生成する。このとき、面の一辺の幅は、グリッドＧの幅と同じとする。その後、吊荷Ｗ、地表面Ｆ、地物Ｅごとに着色を行って、これを三次元地図Ｍとして可視化するのである。

次に、三次元地図更新処理ＳＴＥＰ－２２の流れについて説明する。

前述したように、データ処理部７０は、三次元地図作成工程ＳＴＥＰ－２にて三次元地図更新処理ＳＴＥＰ－２２を行う。

図９に示すように、三次元地図更新処理ＳＴＥＰ－２２は、グリッドＧごとに行われる複数の処理によって構成されている。以下に説明する処理の流れは、本ガイド表示システム５０に採用された一例である。但し、本願に掲げる発明を実現できればよく、処理の流れについて限定するものではない。

第一処理ＳＴＥＰ－２２１において、データ処理部７０は、グリッドＧにおける最新の代表点Ｐｒ１を取得する（図１０（Ａ）参照）。「代表点Ｐｒ１」とは、現在時刻から最も近い時刻に算出された代表点Ｐｒを指している。代表点Ｐｒ１を取得した後には、第二処理ＳＴＥＰ－２２２へ移行する。

第二処理ＳＴＥＰ－２２２において、データ処理部７０は、グリッドＧにおける既存の代表点Ｐｒ２を取得する（図１０（Ｂ）参照）。「代表点Ｐｒ２」とは、代表点Ｐｒ１が算出される前に算出された代表点Ｐｒを指している。代表点Ｐｒ２を取得した後には、第三処理ＳＴＥＰ－２２３へ移行する。ここで取得する「代表点Ｐｒ２」には、後述する画像による地物領域推定処理ＳＴＥＰ－３４における処理結果が反映されている。

第三処理ＳＴＥＰ－２２３において、データ処理部７０は、最新の代表点Ｐｒ１と既存の代表点Ｐｒ２が異なるか否かを判断する。代表点Ｐｒ１と代表点Ｐｒ２が異なる場合には、第四処理ＳＴＥＰ－２２４へ移行し、代表点Ｐｒ１と代表点Ｐｒ２が異ならない場合は、第八処理ＳＴＥＰ－２２８へ移行する。

第四処理ＳＴＥＰ－２２４において、データ処理部７０は、かかるグリッドＧがオクルージョン領域Ｒｏに含まれるか否かを判断する。ここでいう、「オクルージョン領域」とは、図１５に示すように、吊荷の影になる領域のことである。グリッドＧがオクルージョン領域Ｒｏに含まれる場合には、第五処理ＳＴＥＰ－２２５へ移行し、グリッドＧがオクルージョン領域Ｒｏに含まれない場合は、第九処理ＳＴＥＰ－２２９へ移行する。

第五処理ＳＴＥＰ－２２５において、データ処理部７０は、吊荷Ｗの標高値Ｈを取得する（図８（Ｂ）参照）。つまり、オクルージョン領域Ｒｏから吊荷Ｗの上面までの距離を取得する。標高値Ｈを取得した後には、第六処理ＳＴＥＰ－２２６へ移行する。

第六処理ＳＴＥＰ－２２６において、データ処理部７０は、吊荷Ｗの高さ寸法ｈを取得する（図８（Ｂ）参照）。吊荷Ｗの高さ寸法ｈは、吊荷Ｗが地表面Ｆに載置された状態（地物Ｅである状態）のときから引き継がれた標高値に相当する。高さ寸法ｈを取得した後には、第七処理ＳＴＥＰ－２２７へ移行する。

第七処理ＳＴＥＰ－２２７において、データ処理部７０は、吊荷Ｗの標高値Ｈが吊荷Ｗの高さ寸法ｈに基づいて定まる閾値（本ガイド表示システム５０においては高さ寸法ｈに等しい値としている）を超えるか否かを判断する。標高値Ｈが閾値を超えている場合には、第八処理ＳＴＥＰ－２２８へ移行し、標高値Ｈが閾値を超えていない場合には、第九処理ＳＴＥＰ－２２９へ移行する。

第八処理ＳＴＥＰ－２２８において、データ処理部７０は、かかるグリッドＧにおける代表点Ｐｒ１を削除する（図１０（Ｃ）参照）。そして、かかるグリッドＧにあっては、既存の代表点Ｐｒ２に基づいて面を生成する。このようにすることで、最新の代表点Ｐｒ１と既存の代表点Ｐｒ２が異ならない場合に更新されないこととなる。また、最新の代表点Ｐｒ１と既存の代表点Ｐｒ２が異なっていても、グリッドＧがオクルージョン領域Ｒｏに含まれており、吊荷Ｗの標高値Ｈが吊荷Ｗの高さ寸法ｈに基づいて定まる閾値を超えている場合に更新されないこととなる。

他方、第九処理ＳＴＥＰ－２２９において、データ処理部７０は、かかるグリッドＧにおける代表点Ｐｒ２を削除する（図１０（Ｃ）参照）。そして、かかるグリッドＧにあっては、最新の代表点Ｐｒ１に基づいて面を生成する。このようにすることで、最新の代表点Ｐｒ１と既存の代表点Ｐｒ２が異なり、グリッドＧがオクルージョン領域Ｒｏに含まれない場合に更新されることとなる。また、最新の代表点Ｐｒ１と既存の代表点Ｐｒ２が異なり、グリッドＧがオクルージョン領域Ｒｏに含まれていても、吊荷Ｗの標高値Ｈが吊荷Ｗの高さ寸法ｈに基づいて定まる閾値を超えていない場合に更新されることとなる。

このように、ガイド表示システム５０は、三次元地図Ｍに吊荷Ｗの影であるオクルージョン領域Ｒｏが発生すると、新たに算出された代表点Ｐｒ１と既存の代表点Ｐｒが異なる場合であってもオクルージョン領域Ｒｏについて更新を行わないものであり、オクルージョン領域Ｒｏが発生しても同一の地物Ｅを異なる複数の地物Ｅ或いは地表面Ｆであると誤認識することがない（図１３参照）。加えて、ガイド表示システム５０は、吊荷Ｗの標高値Ｈが吊荷Ｗの高さ寸法ｈに基づいて定まる閾値を超えると、新たに算出された代表点Ｐｒ１と既存の代表点Ｐｒ２が異なる場合であってもオクルージョン領域Ｒｏについて更新を行わない。

データ処理部７０は、吊荷Ｗの影を含む広い領域をオクルージョン領域Ｒｏと認識する。具体的に説明すると、データ処理部７０は、吊荷Ｗの外縁にあたるグリッドＧの境界線Ｂ１を特定し、この境界線Ｂ１から外側へ一つ又は複数のグリッドＧを隔てた境界線Ｂ２を特定する（図１０（Ｃ）参照）。そして、境界線Ｂ２に囲まれた領域をオクルージョン領域Ｒｏと認識する。ガイド表示システム５０では、吊荷Ｗの外縁から外側へ所定距離を取った領域をオクルージョン領域Ｒｏと認識するため、吊荷Ｗが搬送されたり振れたりしていても三次元地図Ｍにおける吊荷Ｗ周辺の精度が向上される。

次に、同一領域推定処理ＳＴＥＰ－３２の流れについて説明する。

前述したように、データ処理部７０は、クラスタリング工程ＳＴＥＰ－３にて同一領域推定処理ＳＴＥＰ－３２を行う。

図１２に示すように、同一領域推定処理ＳＴＥＰ－３２は、グリッドＧごとに行われる複数の処理によって構成されている。以下に説明する処理の流れは、ガイド表示システム５０に採用された一例である。但し、本願に掲げる発明を実現できればよく、処理の流れについて限定するものではない。

第一処理ＳＴＥＰ－３２１において、データ処理部７０は、時系列に並んだ複数のフレームｆ・ｆ・ｆ・・・を取得する（図１３（Ａ）参照）。「フレームｆ」とは、ある時刻の点群データＰに基づいて作成された三次元地図Ｍを指している。フレームｆを取得した後には、第二処理ＳＴＥＰ－３２２へ移行する。

第二処理ＳＴＥＰ－３２２において、データ処理部７０は、各フレームｆの同じラベルＬが付された特定領域についてグリッドＧごとに標高値の平均値を算出する（図１３（Ｂ）参照）。ガイド表示システム５０においては、かかる平均値を小数点一桁で表している。平均値を算出した後には、第三処理ＳＴＥＰ－３２３へ移行する。

第三処理ＳＴＥＰ－３２３において、データ処理部７０は、最新のフレームｆの特定領域における標高値と平均値との差が閾値を超えるか否かを判断する。これらの差が閾値を超えている場合には、第四処理ＳＴＥＰ－３２４へ移行し、これらの差が閾値を超えていない場合には、第五処理ＳＴＥＰ－３２５へ移行する。

第四処理ＳＴＥＰ－３２４において、データ処理部７０は、かかる特定領域を動体ｍであると認定する（図１３（Ｃ）参照）。尚、このような特定領域の中には、吊荷Ｗが含まれることがある。吊荷Ｗは、オペレータが手動操作によって選択した特定領域であることから、見分けることが可能である。このようにすることで、搬送される吊荷Ｗについて見失うことなく追跡することができ、吊荷Ｗを取り囲むガイド枠図形ＧＤ１を吊荷Ｗの搬送に応じて動かすことができるのである。

他方、第五処理ＳＴＥＰ－３２５において、データ処理部７０は、かかる特定領域を静止体ｓであると認定する（図１３（Ｃ）参照）。このような特定領域の中には、吊荷Ｗが含まれることがある。吊荷Ｗは、オペレータが手動操作によって選択した特定領域であることから、見分けることが可能である。このようにすることで、搬送を停止された吊荷Ｗについても見失うことなく追跡することができ、吊荷Ｗを取り囲むガイド枠図形ＧＤ１を吊荷Ｗの停止に応じて止めることができるのである。

ところで、同一領域推定処理ＳＴＥＰ－３２においては、吊荷Ｗの上面を捉えた点データｐの数が少ない場合など、何らかの原因によって吊荷Ｗを追跡できない事態（吊荷Ｗの位置を正確に特定できない事態を含む）が想定される。

このような事態にあっては、最新のフレームｆを除いた過去のフレームｆ・ｆ・ｆ・・・から吊荷Ｗに相当する特定領域のラベルＬを削除した上で同じ処理を行うものとする。このようにすることで、過去のフレームｆ・ｆ・ｆ・・・における吊荷Ｗを反映した三次元地図Ｍが作成されるのを防ぐことができる。ひいては、ガイド枠図形ＧＤ１が実際の吊荷Ｗの形状よりも大きく生成（図１４における二点鎖線Ｖ参照）されるのを防ぐことができるのである。

このように、ガイド表示システム５０は、現在のフレームｆで吊荷Ｗを追跡できなかった場合に過去のフレームｆ・ｆ・ｆ・・・から吊荷Ｗの存在を削除して三次元地図Ｍを更新する、としたものである。かかるガイド表示システム５０によれば、前述の効果に加え、吊荷Ｗが搬送されたり振れたりしていても三次元地図Ｍにおける吊荷Ｗの上面形状の精度を向上できる（ひいては三次元地図Ｍに基づいて生成されたガイド枠図形ＧＤ１が吊荷Ｗの上面形状に即したものとなる：図１４参照）。

加えて、ガイド表示システム５０は、カメラ６１が撮影した画像に対して三次元地図Ｍに基づいて生成されたガイド情報（ガイド枠図形ＧＤ１など）を重ね合わせてデータ表示部８０に表示する、としたものである。かかるガイド表示システム５０によれば、前述の効果に加え、画像とともに精度の高いガイド情報（ガイド枠図形ＧＤ１や標高を表す数値ＧＤ２・ＧＤ３）をオペレータに提示できる。

次に、地物領域推定処理ＳＴＥＰ－３３および画像による地物領域推定処理ＳＴＥＰ－３４の流れについて説明する。

図１６に示すように、データ処理部７０は、クラスタリング工程ＳＴＥＰ－３にて地物領域推定処理ＳＴＥＰ－３３を行う。

地物領域推定処理ＳＴＥＰ－３３では、まず、吊荷Ｗや地表面Ｆとされた特定領域以外の領域を地物領域（地物Ｅが存在する領域）であるか否かを確認する領域（以下、確認領域と呼ぶ）として設定し、当該確認領域における代表点Ｐｒの集合を取得し、その確認領域に含まれる代表点Ｐｒの高さ成分の平均値である平均標高値Ｈｂを算出する（ＳＴＥＰ－３３１）。

次に、当該確認領域に最も近い地表面Ｆとされた特定領域を取得し、その特定領域に含まれる代表点Ｐｒの高さ成分の平均値である平均標高値Ｈａを算出する（ＳＴＥＰ－３３２）。

そして、データ処理部７０は、平均標高値Ｈａと平均標高値Ｈｂとの差に基づく判定を行う（ＳＴＥＰ－３３３）。平均標高値Ｈａと平均標高値Ｈｂとの差が所定の閾値よりも大きい場合、当該確認領域を地物Ｅと推定する（ＳＴＥＰ－３３５）。一方、データ処理部７０は、平均標高値Ｈａと平均標高値Ｈｂとの差が所定の閾値以下である場合、当該確認領域を地表面Ｆと推定する（ＳＴＥＰ－３３４）。

クラスタリング工程ＳＴＥＰ－３では、地物領域推定処理ＳＴＥＰ－３３において、設定した確認領域が地表面Ｆと推定されたときには、さらに、当該確認領域に対する画像による地物領域推定処理ＳＴＥＰ－３４に移行する。

データ処理部７０は、地物領域推定処理ＳＴＥＰ－３３により、確認領域が地表面Ｆと推定されたとき、カメラ６１で取得した画像データを画像処理して、画像データに含まれるエッジＥｇを抽出する（ＳＴＥＰ－３４１）。

次に、データ処理部７０は、抽出されたエッジＥｇの画像を、地表面Ｆと推定された当該確認領域を含んだ三次元地図Ｍ（図１７（Ａ）参照）に重ね合わせる（ＳＴＥＰ－３４２）。

次に、データ処理部７０は、当該確認領域において抽出したエッジＥｇが通過するグリッドＧｃを特定し、特定されたグリッドＧｃを中心とした合計９個のグリッドＧからなる近傍範囲Ｍａ（図１７（Ｂ）参照）を設定する（ＳＴＥＰ－３４３）。

次に、データ処理部７０は、当該近傍範囲Ｍａに含まれる各グリッドＧについて、最新のフレームｆから所定時間（例えば、１秒間）過去に遡った複数のフレームｆ・ｆ・・・（例えば、３０フレーム分）における点群データＰを記憶する（ＳＴＥＰ－３４４）。

次に、データ処理部７０は、記憶された複数フレーム分の点群データＰを、高さ方向に所定の厚さでスライスし、所定の厚さを有する複数の層に区分する。そして、区分した複数の層の内で点群データＰが含まれる最も上側の層（以下、最上層と呼ぶ）を特定する（ＳＴＥＰ－３４５）。

小さい地物にレーザを照射した場合、地物がレーザの側線間隔の間に入り込んでしまい、直近に測定された１フレーム分の点群データＰのみでは、当該地物を捉えた点データｐが少ない（あるいは点データｐが全くない）可能性がある。直近より前に測定した数フレーム分の点群データＰを累積しておき、累積した複数フレーム分の点群データＰを用いることで、当該地物にレーザが当たったときの点データｐが累積して顕在化され、小さい地物Ｅが存在すること、およびその地物Ｅの大まかな位置を捉えることが可能になる。

次に、データ処理部７０は、特定した最上層に含まれる点群データＰの高さの平均値を算出し、この算出した平均値を当該グリッドＧｃの代表点Ｐｒの標高値として更新する（ＳＴＥＰ－３４６）。この代表点Ｐｒの標高値の更新は、エッジＥｇが通過するものとして抽出された全てのグリッドＧｃに対して実行される。ここで標高値が更新された代表点Ｐｒは、次回に三次元地図更新処理ＳＴＥＰ－２２が実施される際の第二処理ＳＴＥＰ－２２２において、「代表点Ｐｒ２」として取得され、画像による地物領域推定処理ＳＴＥＰ－３４の処理結果が、三次元地図更新処理ＳＴＥＰ－２２において、三次元地図Ｍに反映される。

次に、データ処理部７０は、代表点Ｐｒの更新された標高値に基づいて、平均標高値Ｈｂを再算出する（ＳＴＥＰ－３４７）。

そして、データ処理部７０は、平均標高値Ｈａと再算出した平均標高値Ｈｂとの差に基づく再判定を行う（ＳＴＥＰ－３４８）。平均標高値Ｈａと平均標高値Ｈｂとの差が所定の閾値よりも大きい場合、当該確認領域を地物Ｅと推定し、その確認領域を地物Ｅとして出力する（ＳＴＥＰ－３４９）。一方、データ処理部７０は、平均標高値Ｈａと平均標高値Ｈｂとの差が所定の閾値以下である場合、当該確認領域を地表面Ｆと推定する（ＳＴＥＰ－３５０）。

そして、ガイド表示システム５０において、データ処理部７０は、画像による地物領域推定処理ＳＴＥＰ－３４においてエッジＥｇを認識し、地物Ｅを推定した情報を蓄積し、三次元地図Ｍに反映させる。ガイド表示システム５０では、このように一旦地物Ｅと推定された情報を蓄積していくことによって、小さい地物Ｅを確実に認識することが可能となる。

カメラ６１で撮影した画像データには、地表面Ｆとされた特定領域においてレーザスキャナ６２では捉えきれない小さい地物Ｅが含まれている可能性がある。ガイド表示システム５０では、カメラ６１で撮影した画像データを併用し、画像処理結果から地物Ｅが存在する位置を大まかに把握し、その把握した位置近傍の点群データＰを累積して平均化処理することによって、レーザスキャナ６２では捉えきれない小さい地物Ｅの検出漏れを抑制することができる。このため、ガイド表示システム５０では、地物Ｅの大きさ（幅や奥行き）に関わらず、地物Ｅの高さを取得することができる。

次に、画像による地物領域推定処理ＳＴＥＰ－３４における画像処理の手法について説明する。

ガイド表示システム５０では、地物ＥのエッジＥｇを抽出する工程（ＳＴＥＰ－３４１）において行う画像処理の手法としてＣａｎｎｙ法を採用している。Ｃａｎｎｙ法は、画像の輪郭部分（エッジＥｇ）を検出する一般的な画像処理のアルゴリズムである。Ｃａｎｎｙ法による画像処理は、輪郭の検出漏れや誤検出が少ないという特徴があるため、画像による地物領域推定処理ＳＴＥＰ－３４における地物ＥのエッジＥｇの抽出に適している。Ｃａｎｎｙ法を採用した画像処理によるエッジＥｇの抽出方法について、以下に述べる。

データ処理部７０は、まず、平滑化フィルタを用いて画像データを平滑化し、画像データのノイズを削減する。具体的には、平滑化フィルタとしてガウシアンフィルタを使用する。ガウシアンフィルタは、ガウス関数を利用して、注目画素からの距離に応じてその注目画素近傍の画素の輝度に重み付け処理をするフィルタであり、平滑化フィルタとして一般的に用いられているものである。

次に、データ処理部７０は、平滑化した画像データに輪郭を抽出するための空間フィルタを用いて、画像データ上のエッジＥｇを抽出する。空間フィルタとしては、ソーベルフィルタを使用する。ソーベルフィルタは、平滑化フィルタに微分フィルタを組み合わせた空間フィルタであり、注目画素からの距離に応じて重み付け量を変化させつつ、注目画素近傍の画素の輝度に重み付け処理をするものである。

次に、データ処理部７０は、抽出した輪郭の強度が極大となっている部分（即ち、輪郭の法線方向において輝度が極大となっている部分）だけを残し、その他の部分の画像を削除して、輪郭を細線化する。

次に、データ処理部７０は、細線化処理された輪郭の画像に対して大小２つの所定の閾値を適用して、２枚の２値化画像を生成する。小さい方の閾値は、該閾値が適用された２値化画像においてエッジＥｇであることが確実ではない輪郭が含まれるように設定される。大きい方の閾値は、該閾値が適用された２値化画像においてエッジＥｇであることが確実な輪郭のみが含まれるように設定される。そして、このようにして生成した２枚の２値化画像を重ね合わせて、その輪郭の重なり部分を最終的にエッジＥｇとして抽出する。

なお、地物ＥのエッジＥｇを抽出する工程（ＳＴＥＰ－３４１）において行う画像処理の手法は、Ｃａｎｎｙ法に限定されるものではなく、ソーベルフィルタのみでエッジＥｇを抽出する方法やラプラシアンフィルタのみでエッジＥｇを抽出する方法等を採用してもよく、エッジＥｇを抽出することが可能なその他種々の手法を採用することができる。Ｃａｎｎｙ法では、線形情報を成すもののみをエッジＥｇとして抽出するため、ソーベルフィルタのみやラプラシアンフィルタのみでエッジＥｇを抽出する画像処理の手法に比べて扱う情報量が少なくて済み、データ処理部７０の処理速度が低下する可能性も低い。このため、ＳＴＥＰ－３４１のように、地物ＥのエッジＥｇの位置を大まかに捉えられればよい場面においては、Ｃａｎｎｙ法を採用することが好適である。

そして、このようなガイド表示システム５０を備えたクレーン１では、ガイド表示システム５０によって、小さい地物Ｅがある場所を、地物が無い地表面であると誤認識することなく、確実にガイド表示がなされるため、オペレータが小さい地物Ｅを確実に認識することができ、作業性の向上が図られる。

即ち、本実施形態に示すガイド表示システム５０は、吊荷Ｗの上方から当該吊荷Ｗならびに地表面Ｆおよび地物Ｅを走査するレーザスキャナ６２と、吊荷Ｗの上方から当該吊荷Ｗならびに地表面Ｆおよび地物Ｅを撮影するカメラ６１と、レーザスキャナ６２が取得した点群データＰを用いて、当該吊荷Ｗならびに地表面Ｆおよび地物Ｅの三次元地図Ｍと、吊荷Ｗおよび地物Ｅの輪郭を表すガイド枠図形ＧＤ１と、を生成するデータ処理部７０と、カメラ６１が撮影した計測領域Ｒの画像を表示するデータ表示部８０と、を備え、データ表示部８０に表示したカメラ６１が撮影した吊荷Ｗおよび地物Ｅの画像に、データ処理部７０により生成したガイド枠図形ＧＤ１を重ねて表示するクレーン１のガイド表示システム５０である。

次に、領域可視化処理ＳＴＥＰ－４１における画像処理について説明する。

図１８に示す如く、領域可視化処理ＳＴＥＰ－４１では、データ処理部７０によって、カメラ６１の現在位置と姿勢から、三次元地図Ｍの座標系（平面直角座標系）におけるカメラ６１の計測領域Ｒ（図３（Ｂ）参照）に対応する領域を算出する（ＳＴＥＰ－４１１）。なお、以下では算出された計測領域Ｒを、計測領域Ｒｘと記載して区別する。

領域可視化処理ＳＴＥＰ－４１では、次に、データ処理部７０によって、カメラ６１の現在位置における視点から見た三次元地図Ｍを、算出した計測領域Ｒｘにおいてキャプチャし、第一画像Ｐ１（図１９参照）を生成する（ＳＴＥＰ－４１２）。

なお、領域可視化処理ＳＴＥＰ－４１では、三次元地図Ｍとして、カラー処理（色付け）した三次元地図Ｍを使用している。三次元地図Ｍに対するカラー処理は、レーザスキャナ６２により取得した点群データＰに基づいて行うものであり、カメラ６２により取得した画像から、各グリッドＧの代表点Ｐｒの位置に対応する位置の色情報を抽出し、その抽出した色情報に対応する色で各グリッドＧを塗りつぶすことによって生成する。

領域可視化処理ＳＴＥＰ－４１では、次に、データ処理部７０によって、カメラ６１の現在位置における視点から見た計測領域Ｒの画像を、三次元地図Ｍの画素数に合わせた粒度でモザイク処理して、第二画像Ｐ２（図１９参照）を生成する（ＳＴＥＰ－４１３）。

領域可視化処理ＳＴＥＰ－４１では、次に、データ処理部７０によって、図１８および図１９に示すように、第一画像Ｐ１と第二画像Ｐ２のレジストレーション処理（位置合わせする処理）を行う（ＳＴＥＰ－４１４）。このレジストレーション処理では、第一画像Ｐ１と第二画像Ｐ２に含まれる特徴点を用いたり、あるいは、第一画像Ｐ１と第二画像Ｐ２における画素の輝度値の差分等を用いたりすることができる。そして、ＳＴＥＰ－４１４では、第一画像Ｐ１と第二画像Ｐ２の位置合わせを行うとともに、第一画像Ｐ１と第二画像Ｐ２のズレ量Ｄを算出する。カメラ６１の計測領域Ｒと、データ処理部７０により算出した計測領域Ｒｘは一致することが理想的であるが、測定誤差等に起因して計測領域Ｒと計測領域Ｒｘには通常はズレが生じてしまうため、ズレ量Ｄを算出して補正する。

また、領域可視化処理ＳＴＥＰ－４１では、データ処理部７０によって、レーザスキャナ６２の位置と向きに基づいて、カメラ６１により撮影した画像上における吊荷Ｗや地物Ｅの位置を算出する（ＳＴＥＰ－４１５）。

そして、領域可視化処理ＳＴＥＰ－４１では、データ処理部７０によって、吊荷Ｗや地物Ｅを取り囲むガイド枠図形ＧＤ１を生成し、カメラ６１が撮影した画像における吊荷Ｗや地物Ｅに対してガイド枠図形ＧＤ１を重ね合わせて出力する（ＳＴＥＰ－４１６）。

このＳＴＥＰ－４１６において、データ処理部７０は、ＳＴＥＰ－４１４で求めたズレ量Ｄに基づいて、吊荷Ｗや地物Ｅに対するガイド枠図形ＧＤ１の位置を補正して、ガイド情報を表示する。

即ち、データ処理部７０は、画像処理により、第一画像Ｐ１と第二画像Ｐ２をレジストレーション処理するものであり、カメラ６１で撮影した画像と、レーザスキャナ６２で取得した点群データＰに基づく三次元地図Ｍの位置を容易に同期させることができる。

即ち、ガイド表示システム５０において、データ処理部７０は、カメラ６１の計測領域Ｒｘを算出し、カメラ６１の視点からの計測領域Ｒｘにおける三次元地図Ｍをキャプチャして第一画像Ｐ１を生成するとともに、カメラ６１の画像を三次元地図Ｍの粒度に合わせてモザイク処理して第二画像Ｐ２を生成し、第一画像Ｐ１と第二画像Ｐ２をレジストレーション処理して、第一画像Ｐ１と第二画像Ｐ２のズレ量Ｄを算出し、算出したズレ量Ｄに基づいて、吊荷Ｗおよび地物Ｅの画像に対するガイド枠図形ＧＤ１の配置位置を補正しつつ、データ表示部８０に、吊荷Ｗおよび地物Ｅの画像とガイド枠図形ＧＤ１を重ねて表示する。

このような構成のガイド表示システム５０によれば、カメラ６１が撮影した画像に対してガイド情報を重ね合わせてデータ表示部８０に表示するときに、吊荷Ｗや地物Ｅに対するガイド枠図形ＧＤ１のズレを抑制することが可能になる。これにより、ガイド表示システム５０において、ガイド情報（即ち、吊荷Ｗや地物Ｅに対するガイド枠図形ＧＤ１）を的確に表示することができる。

次に、領域可視化処理ＳＴＥＰ－４１における画像処理によるレジストレーション処理について説明する。

本実施形態の領域可視化処理ＳＴＥＰ－４１では、（ＳＴＥＰ－４１４）のレジストレーション処理において、「テンプレートマッチング」の手法を採用している。

「テンプレートマッチング」は、画像処理によって、ある画像と同じパターンが別の画像内に存在するか否かを探索する手法である。具体的には、１）テンプレート画像の各画素の値（輝度値）と、探索対象領域の画像における各画素の値（輝度値）の差分の二乗和を算出し、２）探索対象領域の画像に対してテンプレート画像を上下左右に移動させて、１）で算出した差分の二乗和が最小となる位置を検出する。そして、「テンプレートマッチング」では、検出したその位置を、探索対象領域においてテンプレート画像に対応する画像がある位置であると特定する。

具体的には、第二画像Ｐ２の少なくとも一部をテンプレート画像として設定する。そして、設定したテンプレート画像の各画素における輝度値と、第一画像Ｐ１における対応する各画素における輝度値との差分を算出し、その差分の二乗和が最小となるときのテンプレート画像の位置を算出する。

即ち、ガイド表示システム５０において、データ処理部７０は、テンプレートマッチング法による画像処理により、第一画像Ｐ１と第二画像Ｐ２をレジストレーション処理する構成とすることで、カメラ６１で撮影した画像と、レーザスキャナ６２で取得した点群データＰに基づく三次元地図Ｍの位置を精度よく同期させることが可能になる。

クレーン１を用いた作業において、吊荷Ｗは揺れる可能性があるため、テンプレート画像から除外することが好ましい。このため、ガイド表示システム５０においては、図２０に示すように、テンプレート画像を、第二画像Ｐ２における吊荷Ｗを含まない画像の範囲に設定している。このような構成とすることで、第一画像Ｐ１と第二画像Ｐ２のレジストレーション処理をより精度よく行うことが可能になり、ひいては、ズレ量Ｄの算出精度が向上される。

即ち、ガイド表示システム５０において、データ処理部７０は、第二画像Ｐ２における吊荷Ｗを含まない位置の画像をテンプレート画像とし、撮影中に変位する吊荷Ｗの画像をテンプレート画像から除外することによって、カメラ６１で撮影した画像と、レーザスキャナ６２で取得した点群データＰに基づく三次元地図Ｍの位置をより精度よく同期させることが可能になる。

そして、理想的には一致する計測領域Ｒと計測領域Ｒｘの各画像Ｐ１・Ｐ２をテンプレートマッチングにより位置合わせしたときの外枠のズレた距離を求めることにより、ズレ量Ｄが算出される。なお、ズレ量Ｄには、ＸＹＺ座標系におけるＸ軸方向のズレ量ＤｘとＹ軸方向のズレ量Ｄｙが含まれている。

なお、本実施形態では、領域可視化処理ＳＴＥＰ－４１におけるレジストレーション処理の手法として、「テンプレートマッチング」を採用した場合を例示しているが、ガイド表示システム５０により実行する領域可視化処理ＳＴＥＰ－４１におけるレジストレーション処理の手法がこれに限定されるものではない。領域可視化処理ＳＴＥＰ－４１におけるレジストレーション処理の手法としては、例えば「ＢＲＩＳＫ」「ＯＲＢ」「ＡＫＡＺＥ」等を採用してもよい。

「ＢＲＩＳＫ」は、画像処理によって対応点を探索するための手法であり、スケール（拡大および縮小）や回転に依存しない特徴量を算出することができる。具体的には、１）画像中から規則的に決められた同心円状の全６０か所の画素を設定し、それらの画素値を用いる。２）その中からランダムに２画素を選択し、画素値の閾値をもとに、長距離ペアと短距離ペアに分類する。３）長距離ペアから画素値の平均勾配ベクトルを算出し、大局的な画素値の勾配方向をとらえる。４）算出した平均勾配ベクトルを用いて、輝度値を回転させて規格化する。５）規格化した輝度値に対して、短距離ペアの輝度値を比較し、バイナリコードの各ビットを特徴量として算出する。そして、第一画像Ｐ１と第二画像Ｐ２において、「ＢＲＩＳＫ」の手法によって対応点を探索し、検出された対応点同士を位置合わせすることによって、レジストレーション処理を行うことができる。

「ＯＲＢ」は、「ＢＲＩＳＫ」と同様に、画像処理によって対応点を探索するための手法であり、スケール（拡大および縮小）や回転に依存しない特徴量を算出することができる。「ＢＲＩＳＫ」とは、長距離ペアおよび短距離ペアを選定する際に、Ｇｒｅｅｄｙアルゴリズムを用いてサンプリング位置を検定する点が相違している。「ＯＲＢ」は、「ＢＲＩＳＫ」と比較して、バイナリコードのビット分散が大きく、バイナリコードのビット間の相関が小さいという特徴がある。

「ＡＫＡＺＥ」は、画像内の特徴点を抽出する手法であり、スケール（拡大および縮小）や回転により影響されにくいという特徴がある。具体的には、１）対象画像に対して、非線形拡散フィルタにより平滑化画像を生成する。２）生成した平滑化画像において、隣接する画素の値との差分が大きい箇所を特徴点として抽出する。

そして、本実施形態で示したクレーン１は、以上の説明で示したガイド表示システム５０を備えることによって、オペレータに対してガイド情報（即ち、吊荷Ｗや地物Ｅに対するガイド枠図形ＧＤ１）を的確に提示することが可能になる。

１ クレーン
５０ ガイド表示システム
６１ カメラ
６２ レーザスキャナ
６６ センサユニット
７０ データ処理部
８０ データ表示部
Ｅ 地物
Ｆ 地表面
ＧＤ１ ガイド枠図形（ガイド情報）
Ｍ 三次元地図
Ｐ 点群データ
Ｗ 吊荷
Ｒ 計測領域
Ｒｘ （算出した）計測領域
Ｐ１ 第一画像
Ｐ２ 第二画像

Claims (5)

1. 吊荷の上方から当該吊荷ならびに地表面および地物を走査するレーザスキャナと、
   前記吊荷の上方から当該吊荷ならびに前記地表面および地物を撮影するカメラと、
   前記レーザスキャナが取得した点群データを用いて、当該吊荷ならびに前記地表面および地物の三次元地図と、前記吊荷および前記地物の輪郭を表すガイド枠図形と、を生成するデータ処理部と、
   前記カメラが撮影した画像を表示するデータ表示部と、を備え、
   前記データ表示部に表示した前記カメラが撮影した前記吊荷および前記地物の画像に、前記データ処理部により生成した前記ガイド枠図形を重ねて表示するクレーンのガイド表示システムであって、
   前記データ処理部は、
   前記カメラの計測領域を算出し、前記カメラの視点からの前記計測領域における前記三次元地図をキャプチャして第一画像を生成するとともに、前記カメラの画像を前記三次元地図の粒度に合わせてモザイク処理して第二画像を生成し、
   前記第一画像と前記第二画像をレジストレーション処理して、前記第一画像と前記第二画像のズレ量を算出し、算出したズレ量に基づいて、前記吊荷および前記地物の画像に対する前記ガイド枠図形の配置位置を補正しつつ、前記データ表示部に、前記吊荷および前記地物の画像と前記ガイド枠図形を重ねて表示する、
   ことを特徴とするガイド表示システム。
2. 前記データ処理部は、
   画像処理により、前記第一画像と前記第二画像をレジストレーション処理する、ことを特徴とする請求項１に記載のガイド表示システム。
3. 前記データ処理部は、
   テンプレートマッチング法による画像処理により、前記第一画像と前記第二画像をレジストレーション処理する、ことを特徴とする請求項２に記載のガイド表示システム。
4. 前記データ処理部は、前記第二画像における前記吊荷を含まない位置の画像をテンプレート画像とする、ことを特徴とする請求項３に記載のガイド表示システム。
5. 請求項１～請求項４の何れか一項に記載のガイド表示システムを備えたクレーン。

Images