JP6832806B2 - ガイド情報表示装置、クレーンおよびガイド情報の生成方法 - Google Patents

Description

本発明は、オペレータによるクレーン作業を補助するガイド情報表示装置、これを備えたクレーン、およびガイド情報の生成方法の技術に関する。

特許文献１には、ブームの先端近傍に取り付けられる撮像部と、撮像部によって撮像された画像を表示する表示部と、移動式クレーンの姿勢を制御するクレーンコントローラと、他の移動式クレーンと相互に情報を送受信するための通信部と、他の移動式クレーンから受信した他の移動式クレーンの情報を、表示部の画像に重ねて表示するための画像コントローラと、を備える移動式クレーンの表示装置が開示されている。

画像コントローラは、他の移動式クレーンの情報として、他の移動式クレーンの吊荷の移動限界線を、表示部の画像に重ねて表示するように構成される。画像コントローラは、クレーンコントローラが取得する吊荷荷重とアウトリガ張出量とに基づいて、ブームの旋回中心を中心とした最大作業半径を演算する。画像コントローラは、撮像部（ムービーカメラ）のズーム倍率、チルト角やパン角、高さ位置に基づいて、旋回中心を原点にして撮像されている範囲の座標を求める。撮像部の高さは、クレーンコントローラが取得するブーム長さおよび起伏角度に基づいて演算される。そして、画像コントローラは、最大作業半径の領域を示す曲線である移動限界線を、撮影部が撮像する画像が属する絶対座標系に変換して、画像に重ねて表示する。

特開２０１６−１９０７１９号公報

特許文献１に記載の移動式クレーンの表示装置では、撮像部の高さは、クレーン情報として取得されるクレーン長さおよび起伏角により求められているが、例えば、吊荷周辺の地表面が、ブームを有する作業機の設置面に比べて隆起又は沈下していると、撮像部から地表面までの距離を算定する際に、物体周辺の地表面の隆起量もしくは沈下量を考慮することができないため、撮像部の高さを正確に算定することができなかった。そのため、吊荷の動線情報（現在の作業半径での動線情報）を正確に表示することができない場合があった。

本発明は、斯かる現状の課題に鑑みてなされたものであり、吊荷の動線を正確に表したガイド情報を表示することができるガイド情報表示装置およびガイド情報表示装置を備えたクレーンと、吊荷の動線を正確に表したガイド情報を生成することができるガイド情報の生成方法を提供することを目的とする。

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。

即ち、本発明に係るガイド情報表示装置は、ブームから垂下されるワイヤによって吊り下げられ、前記ブームの動作に応じて移動される吊荷の上方から、前記吊荷と地表面と、を少なくとも含む領域の映像を撮影するカメラと、前記領域において、前記吊荷の上方から点群データを取得するレーザスキャナと、を備えたデータ取得部と、前記カメラの映像を表示するデータ表示部と、前記レーザスキャナで取得した点群データに基づいて、前記カメラの映像に重畳して表示するガイド情報を生成するデータ処理部と、を備え、前記データ処理部は、前記レーザスキャナで取得した点群データに基づいて前記地表面の基準高を推定するとともに、前記地表面の基準高に基づいて前記カメラの撮影範囲を算出し、前記カメラの撮影範囲に基づいて、前記吊荷の動線を表す前記ガイド情報を生成することを特徴とする。
このような構成のガイド情報表示装置によれば、吊荷の動線を正確に表したガイド情報を表示することができる。

また、本発明に係るガイド情報表示装置は、前記データ処理部は、前記ガイド情報として、前記カメラの撮影範囲に基づいて、前記ブームの旋回中心の位置を基準とした前記吊荷の旋回方向への動線を表す作業半径線情報を生成することを特徴とする。
このような構成のガイド情報表示装置によれば、吊荷の動線を正確に表した作業半径線情報を表示することができる。

また、本発明に係るガイド情報表示装置は、前記データ処理部は、前記ガイド情報として、前記カメラの撮影範囲に基づいて、前記ブームの旋回中心と前記データ取得部の位置とを基準とした前記吊荷の前記ブームの軸線方向への動線を表す軸線情報を生成することを特徴とする。
このような構成のガイド情報表示装置によれば、吊荷の動線を正確に表した軸線情報を表示することができる。

また、本発明に係るガイド情報表示装置において、前記データ処理部は、前記ガイド情報を破線によって出力し、かつ、該破線の長さおよび間隔を前記地表面の基準高に基づいて算出した前記カメラの撮影範囲に応じて設定することを特徴とする。
このような構成のガイド情報表示装置によれば、オペレータは測定対象物に対する距離感を容易に把握することができる。

また、本発明に係るガイド情報表示装置において、前記データ処理部は、前記領域を、平面視において格子状に分割し、同一形状で、かつ、同一面積を有する複数の小領域を生成し、前記小領域において、前記レーザスキャナのレーザ中心位置からの鉛直方向の距離が最大である点データを抽出し、前記小領域において、前記距離が最大である点データに対する他の点データの前記距離の離れ量を算出するとともに、前記距離の離れ量が所定の閾値以下である点データを、地表面を構成する点データとして抽出し、前記地表面を構成する点データに基づいて前記小領域における前記地表面の基準高を推定することを特徴とする。
このような構成のガイド情報表示装置によれば、吊荷の動線を正確に表したガイド情報を表示することができる。

また、本発明に係るクレーンは、ガイド情報表示装置を備えることを特徴とする。
このような構成のクレーンによれば、吊荷の動線を正確に表したガイド情報を表示することができる。

また、本発明に係るガイド情報の生成方法は、カメラによって、ブームから垂下されるワイヤによって吊り下げられ、前記ブームの動作に応じて移動される吊荷の上方から、前記吊荷と地表面と、を少なくとも含む領域を撮影する撮影工程と、レーザスキャナによって、前記吊荷の上方から、前記領域において点群データを取得する点群データ取得工程と、前記レーザスキャナで取得した点群データに基づいて、前記カメラの映像に重畳して表示するガイド情報を生成するデータ処理手段によって、前記点群データに基づいて前記地表面の基準高を推定する地表面推定工程と、前記地表面の基準高に基づいて前記カメラの撮影範囲を算出する撮影範囲算出工程と、前記カメラの撮影範囲に基づいて、前記吊荷の動線を表す前記ガイド情報を生成する動線情報生成工程と、を備えることを特徴とする。
このような構成のガイド情報の生成方法によれば、吊荷の動線を正確に表したガイド情報を生成することができる。

また、本発明に係るガイド情報の生成方法は、前記動線情報生成工程において、前記ガイド情報として、前記カメラの撮影範囲に基づいて、前記ブームの旋回中心の位置を基準とした前記吊荷の旋回方向への動線を表す作業半径線情報を生成することを特徴とする。
このような構成のガイド情報の生成方法によれば、吊荷の動線を正確に表したガイド情報を生成することができる。

また、本発明に係るガイド情報の生成方法は、前記動線情報生成工程において、前記ガイド情報として、前記カメラの撮影範囲に基づいて、前記ブームの旋回中心と前記カメラの位置とを基準とした前記吊荷の前記ブームの軸線方向への動線を表す軸線情報を生成することを特徴とする。
このような構成のガイド情報の生成方法によれば、吊荷の動線を正確に表したガイド情報を生成することができる。

また、本発明に係るガイド情報の生成方法は、前記データ処理手段によって、前記ガイド情報を破線によって出力し、かつ、該破線の長さおよび間隔を前記カメラの撮影範囲に応じて設定する動線情報表示工程を、さらに備えることを特徴とする。
このような構成のガイド情報の生成方法によれば、オペレータは測定対象物に対する距離感を容易に把握することができる。

本発明の効果として、以下に示すような効果を奏する。

本発明に係るガイド情報表示装置、クレーンおよびガイド情報の生成方法によれば、吊荷の動線を正確に表したガイド情報を表示することができる。

本発明の一実施形態に係るクレーンの全体構成を示す模式図。 吊荷領域を説明する平面模式図。 本発明の一実施形態に係るガイド情報表示装置の全体構成を示す模式図。 吊荷領域を説明する側面模式図。 カメラ空間座標系およびカメラの画角の説明図、（Ａ）Ｚ軸方向視模式図、（Ｂ）Ｘ軸方向視模式図。 レーザスキャナによるレーザの照射状況の説明図、（Ａ）Ｘ軸方向視模式図、（Ｂ）Ｙ軸方向視模式図。 データ取得部を示す模式図、（Ａ）Ｙ軸方向視見上げ図、（Ｂ）図７（Ａ）におけるＡ−Ａ断面図。 ガイド情報の表示状態を示す図、（Ａ）映像Ｍを表示したデータ表示部を示す図、（Ｂ）映像Ｍとガイド情報ＧＤを重畳表示したデータ表示部を示す図。 ガイド情報表示装置の別構成を示す模式図、（Ａ）データ処理部、データ表示部、データ入力部をタブレットＰＣで構成した場合、（Ｂ）データ表示部、データ入力部をタッチパネル式ディスプレイ装置で構成した場合。 吊荷領域とレーザ側線の関係を示す模式図。 レーザスキャナによるレーザの照射状況を説明するＺ軸方向視模式図。 データ処理部によるデータ処理の流れを示すフロー図。 データ取得部によって取得した点群データを示す図、（Ａ）点群データをＸＹＺ座標系にプロットした図、（Ｂ）ＸＹＺ座標系にプロットした点群データを複数のグループに分けた図。 地表面推定方法のフロー図。 地表面の指定時における基準高の算出方法の説明図、（Ａ）基準高の算出方法を示す図、（Ｂ）吊荷領域の分割状況を示す模式図。 オペレータによる地表面の指定状況を示す模式図。 平面クラスタの生成方法の説明図。 平面の推定手順を示すフロー図。 平面の推定手順（ＳＴＥＰ−３０１〜３０２）の説明図。 平面の推定手順（ＳＴＥＰ−３０３〜３０５）の説明図。 平面の推定手順（ＳＴＥＰ−３０６〜３０８）の説明図。 平面の推定手順（ＳＴＥＰ−３０６〜３０８（２回目））の説明図。 平面の推定手順（上面の推定状況）の説明図。 異なるグループに存在する平面の結合方法のフロー図。 異なるグループに存在する平面の結合方法の説明図。 同一領域のクラスタリング処理の説明図。 階層的クラスタリングの説明図、（Ａ）第一の例の地物の場合、（Ｂ）第二の例の地物の場合。 ガイド枠の生成手順の説明図。 階層的クラスタリングにおける同一領域クラスタの設定例を示す図、（Ａ）全体を囲む同一領域クラスタとする場合、（Ｂ）標高値が最も高い平面クラスタを別の同一領域クラスタとして設定する場合、（Ｃ）標高値の差分が閾値以上である平面クラスタを全て含む別の同一領域クラスタを設定する場合。 作業半径線情報の生成手順の説明図。 軸線情報の生成手順の説明図。 作業半径を示すクレーンの側面模式図。 吊荷の動線情報であるガイド情報の生成方法のフロー図。 データ表示部における警報表示を示す模式図。 除外領域の設定状況の説明図。

次に、発明の実施の形態を説明する。
図１に示す如く、クレーン１は、本発明の一実施形態に係るガイド情報表示装置を備えたクレーンの一例であり、所望の場所に移動可能な移動式クレーンである。
クレーン１は、走行車両１０、クレーン装置２０を備えている。

走行車両１０は、クレーン装置２０を搬送するものであり、複数（本実施形態では４個）の車輪１１を有し、エンジン（図示せず）を動力源として走行する。
走行車両１０の四方角部には、アウトリガ１２が設けられている。アウトリガ１２は、走行車両１０の幅方向両側に油圧によって延伸可能な張り出しビーム１２ａと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダ１２ｂとから構成されている。そして、走行車両１０は、ジャッキシリンダ１２ｂを接地させることにより、クレーン１を作業可能な状態とすることができ、張り出しビーム１２ａの延伸長さを大きくすることにより、クレーン１の作業可能範囲（作業半径）を広げることができる。

クレーン装置２０は、吊荷Ｗをワイヤロープによって吊り上げるものであり、旋回台２１、伸縮ブーム２２、メインフックブロック２３、サブフックブロック２４、起伏シリンダ２５、メインウインチ２６、メインワイヤロープ２７、サブウインチ２８、サブワイヤロープ２９、キャビン３０を備えている。

旋回台２１は、クレーン装置２０を旋回可能に構成するものであり、円環状の軸受を介して走行車両１０のフレーム上に設けられる。円環状の軸受は、その回転中心が走行車両１０の設置面に対して垂直になるように配置されている。旋回台２１は、円環状の軸受の中心を回転中心として一方向と他方向とに回転自在に構成されている。また、旋回台２１は、油圧式の旋回モータ（図示せず）によって回転される。

伸縮ブーム２２は、吊荷Ｗを吊り上げ可能な状態にワイヤロープを支持するものである。伸縮ブーム２２は、複数のブーム部材であるベースブーム部材２２ａ、セカンドブーム部材２２ｂ、サードブーム部材２２ｃ、フォースブーム部材２２ｄ、フィフスブーム部材２２ｅ、トップブーム部材２２ｆから構成されている。各ブーム部材は、断面積の大きさの順に入れ子式に挿入されている。伸縮ブーム２２は、各ブーム部材を図示しない伸縮シリンダで移動させることで軸方向に伸縮自在に構成されている。伸縮ブーム２２は、ベースブーム部材２２ａの基端が旋回台２１上に揺動可能に設けられている。これにより、伸縮ブーム２２は、走行車両１０のフレーム上で水平回転可能かつ揺動自在に構成されている。

メインフックブロック２３は、吊荷Ｗを引掛けて吊り下げるためのものであり、メインワイヤロープ２７が巻き掛けられる複数のフックシーブと、吊荷Ｗを吊るメインフック３２とが設けられている。
クレーン装置２０は、メインフックブロック２３の他に、吊荷Ｗを引掛けて吊り下げるためのサブフックブロック２４をさらに備えており、サブフックブロック２４には、吊荷Ｗを吊るサブフック３３が設けられている。

起伏シリンダ２５は、伸縮ブーム２２を起立および倒伏させ、伸縮ブーム２２の姿勢を保持するものである。起伏シリンダ２５はシリンダ部とロッド部とからなる油圧シリンダから構成されている。

メインウインチ２６は、メインワイヤロープ２７の繰り入れ（巻き上げ）および繰り出し（巻き下げ）を行うものであり、本実施形態では油圧ウインチによって構成している。
メインウインチ２６は、メインワイヤロープ２７が巻きつけられるメインドラムがメイン用油圧モータによって回転されるように構成されている。メインウインチ２６は、メイン用油圧モータが一方向へ回転するように作動油が供給されることでメインドラムに巻きつけられているメインワイヤロープ２７を繰り出し、メイン用油圧モータが他方向へ回転するように作動油が供給されることでメインワイヤロープ２７をメインドラムに巻きつけて繰り入れるように構成されている。

また、サブウインチ２８は、サブワイヤロープ２９の繰り入れおよび繰り出しを行うものであり、本実施形態では、油圧ウインチによって構成している。

キャビン３０は、オペレータが着座する運転座席３１を覆うものであり、旋回台２１における伸縮ブーム２２の側方に設けられている。

このように構成されるクレーン１は、走行車両１０を走行させることで、任意の位置にクレーン装置２０を移動させることができ、また、起伏シリンダ２５で伸縮ブーム２２を任意の起伏角度に起立させることで、伸縮ブーム２２を任意の伸縮ブーム長さに延伸させることができる。

また、クレーン１は、旋回台２１、伸縮ブーム２２、起伏シリンダ２５等の動作（即ち、クレーン１の動作）を制御するコントローラ３４を備えている。コントローラ３４は、旋回台２１、伸縮ブーム２２、起伏シリンダ２５等の動作状態に係る情報や、クレーン１固有の性能に係る情報、および吊荷Ｗの重量等を外部に出力することが可能である。

尚、本説明では、伸縮ブーム２２の起伏支点の軸方向を基準として、図１に示すようなＸＹＺ座標系を規定している（以下の説明においても同様）。
Ｘ軸方向（側線方向とも呼ぶ）は、伸縮ブーム２２の起伏支点の軸方向に対して平行な水平方向である。また、Ｙ軸方向（標高方向とも呼ぶ）は、鉛直方向である。さらに、Ｚ軸方向（奥行方向とも呼ぶ）は、伸縮ブーム２２の起伏支点の軸方向に対して垂直な水平方向である。即ち、ＸＹＺ座標系は、図２に示すように、伸縮ブーム２２を基準としたローカル座標系として規定している。

次に、本発明の一実施形態に係るガイド情報表示装置について、説明する。
クレーン１は、図３に示すようなガイド情報表示装置５０を備えている。
ガイド情報表示装置５０は、本発明に係るガイド情報表示装置の一例であり、図１に示すようなクレーン１による作業を効率よく、かつ、安全に行うことを可能にするために、吊荷Ｗを含む領域（以下、吊荷領域ＷＡと言う）の情報（以下、ガイド情報と言う）を映像で表示し、オペレータに提示するための装置である。

ここでいう「吊荷領域ＷＡ」とは、図２および図４に示すように、クレーン１の作業領域ＳＡ内で、Ｙ軸方向視において吊荷Ｗを含む領域として設定されるものであり、「ガイド情報」を生成する対象となる領域である。
「吊荷領域ＷＡ」は、クレーン１における伸縮ブーム２２のトップブーム部材２２ｆの直下を含む領域として設定され、吊荷領域ＷＡ内に存在する吊荷Ｗ、地表面Ｆ、地物Ｃが、ガイド情報表示装置５０による測定対象物となる。「吊荷領域ＷＡ」は、伸縮ブーム２２の旋回動作、起伏動作、伸縮動作に応じて変位する。

また、ここで言う「ガイド情報」は、オペレータがクレーン１によって吊荷Ｗを搬送するときに、伸縮ブーム２２の長さ・旋回位置・起伏角度、ワイヤロープの巻き出し量等の良否について、オペレータの判断を補助する情報であり、吊荷領域ＷＡの映像情報、吊荷Ｗおよび地物Ｃの形状に係る情報、吊荷Ｗの高さ情報、地物Ｃの高さ情報、吊荷Ｗの動線に係る情報等が含まれる。

図３および図４に示す如く、ガイド情報表示装置５０は、データ取得部６０と、データ処理部７０と、データ表示部８０と、データ入力部９０によって、構成されている。

データ取得部６０は、吊荷領域ＷＡにおけるガイド情報を生成するために必要なデータを取得する部位であり、図３に示すように、カメラ６１、レーザスキャナ６２、慣性計測装置（ＩＭＵ）６３を備えている。

図４に示すように、データ取得部６０は、クレーン１の伸縮ブーム２２の先端に位置しているトップブーム部材２２ｆに付設されており、吊荷Ｗの真上に位置するブーム先端から真下の状況を捉えることができる状態で配置されている。尚、ここでいう吊荷Ｗの「真上」は、吊荷Ｗの鉛直上方の位置と、その位置を基準とした一定範囲（例えば、吊荷Ｗの上面の範囲）の位置と、を含む概念である。

データ取得部６０は、伸縮ブーム２２の先端部のトップブーム部材２２ｆに対してジンバル６７（図１参照）を介して付設されており、伸縮ブーム２２が起伏動作、旋回動作、伸縮動作をしたときに、データ取得部６０の姿勢（Ｙ軸方向に向けた姿勢）を略一定に保持することができるように構成されている。これにより、カメラ６１とレーザスキャナ６２を常に吊荷Ｗに向けておくことができる。このため、データ取得部６０は、カメラ６１とレーザスキャナ６２によって、吊荷Ｗとその下方に存在する地表面Ｆ（即ち、吊荷領域ＷＡ）から、常にデータを取得することができる。また、吊荷領域ＷＡに地物Ｃが存在する場合には、カメラ６１とレーザスキャナ６２によって、地物Ｃのデータを取得することができる。

図５（Ａ）（Ｂ）に示すように、カメラ６１は、吊荷領域ＷＡの映像を撮影するためのデジタルビデオカメラであり、撮影した映像をリアルタイムで外部に出力する機能を有している。カメラ６１は、図５（Ａ）（Ｂ）に示すような画角（水平画角θｈおよび垂直画角θｖ）を有している。また、カメラ６１は、適切なガイド情報の生成に必要なデータ量を考慮した画素数、フレームレート、画像伝送レートを有している。

図３に示すように、レーザスキャナ６２は、測定対象物にレーザを照射し、そのレーザの測定対象物における反射光を受光することによって、その反射点に係る情報を取得し、測定対象物の点群データを取得する装置である。レーザスキャナ６２の測定対象物は、吊荷Ｗ、地物Ｃ、地表面Ｆである。また、レーザスキャナ６２には、測定時刻を取得するための第一ＧＮＳＳ受信機６５が接続されている。
ガイド情報表示装置５０では、レーザスキャナ６２によって、リアルタイムに平面的な三次元点群データを取得する。

図６に示すように、レーザスキャナ６２は、合計１６個のレーザ送受信センサを備えており、同時に１６本のレーザを測定対象物に照射して、測定対象物の点群データを取得することができるものである。レーザスキャナ６２の１６個の各レーザ送受信センサは、Ｚ軸方向において２°ずつ照射角度を異ならせて配置されており、測定対象物に対して、全体で３０°の拡がりを持ってレーザを照射可能に構成されている。また、レーザスキャナ６２の各レーザ送受信センサは、Ｚ軸回りに３６０°（全方位）回転可能に構成されている。尚、以下の説明では、吊荷領域ＷＡに向けて照射されるレーザが描く軌跡をレーザ側線と呼ぶ。レーザ側線は、Ｘ軸方向に対して平行であり、レーザスキャナ６２では、１６本のレーザ側線が同時に描かれる。

そして、レーザスキャナ６２は、レーザ側線がＸ軸方向に対して平行となるように配置されている。また、レーザスキャナ６２は、レーザの照射角度を変更する基準軸が、Ｚ軸方向に対して平行とされている。

図３に示すように、慣性計測装置（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ、以下ＩＭＵと呼ぶ）６３は、データ取得時におけるカメラ６１とレーザスキャナ６２の姿勢データを取得するための装置である。ＩＭＵ６３は、リアルタイムで姿勢角を測定することが可能であり、レーザスキャナ６２によって取得した点群データの補正に利用可能な測定精度を有している。また、ＩＭＵ６３には、測定時刻を取得するための第二ＧＮＳＳ受信機６６が接続されている。

図７（Ａ）（Ｂ）に示すように、データ取得部６０はカメラ６１、レーザスキャナ６２、慣性計測装置（ＩＭＵ）６３をフレーム体６４に対して固定し、一体に構成したセンサユニットである。
フレーム体６４は、５枚の板材を組み合わせて構成された略直方体状の物体である。フレーム体６４は、４枚の板材で直方体の四方の側面部を構成するとともに、残り１枚の板材で、直方体の上面部を構成し、下方に開口部を有する形状に構成されている。データ取得部６０では、カメラ６１とレーザスキャナ６２を、フレーム体６４の側面部内側に付設し、ＩＭＵ６３を、フレーム体６４の上面部に付設している。図７（Ａ）に示すように、カメラ６１の撮像素子中心位置とレーザスキャナ６２のレーザ中心位置は、Ｙ軸方向視において、Ｚ軸方向に距離Δｚｈで離間している。尚、レーザ中心位置とは、レーザスキャナ６２におけるレーザの回転中心であり、Ｚ軸上に位置している。
また、図７（Ｂ）に示すように、カメラ６１の撮像素子中心位置とレーザスキャナ６２のレーザ中心位置は、Ｘ軸方向視において、Ｙ軸方向に距離Δｙｖで離間している。
データ取得部６０は、フレーム体６４の四方の側面部のうち、対面する一対の側面部の一方がＺ軸に対して垂直となり、対面する一対の側面部の他方がＸ軸に対して垂直となる姿勢で配置される。また、データ取得部６０は、フレーム体６４の上面部が、Ｙ軸に対して垂直となる姿勢で配置される。

次に、ＸＹＺ座標系における点（ｘ，ｙ）のＸ座標を、カメラ空間座標系におけるＸｃ座標に変換する方法について、説明する。

ガイド情報表示装置５０では、カメラ６１で撮影した映像Ｍ上に後述するガイド情報ＧＤを重畳してデータ表示部８０に表示するために、ＸＹＺ座標系とカメラ空間座標系の間で座標値の変換処理を行う。ガイド情報表示装置５０では、カメラ６１の映像空間において、三次元のカメラ空間座標系Ｘｃ・Ｙｃ・Ｚｃを規定している。

図５（Ａ）に示すように、カメラ６１のレンズ中心から延ばした垂線から点（ｘ，ｙ）までのＸ軸方向の距離をｄｈ、カメラ６１の水平方向の最大画面幅をｗｈとする。また、点（ｘ，ｙ）は、画面中心からＸ軸方向の位置をｘとしている。このとき、カメラ空間における点（ｘ，ｙ）のＸｃ座標は、以下の数式（１）（２）で表される。
尚、以下の数式では、カメラ６１の撮像素子とレーザ中心の位置の水平方向の差分をΔｚｈとし（図７（Ａ）参照）、カメラ画像の横幅をｗｈ、カメラ６１の水平画角をθｈ、一時変数をｔｍｐ１としている。
ｔｍｐ１＝（ｙ−Δｚｈ）×ｔａｎ（π×θｈ／３６０）・・・（１）
Ｘｃ＝ｗｈ／２−ｗｈ×ｘ／（２×ｔｍｐ１）・・・（２）

次に、ＸＹＺ座標系における点（ｙ，ｚ）のＺ座標を、カメラ空間座標系におけるＺｃ座標に変換する方法について、説明する。
図５（Ｂ）に示すように、点（ｙ，ｚ）からレーザ中心までのＺ軸方向の距離をｄｖ、カメラ６１の水平方向の最大画面幅をｗｖとしている。また、点（ｙ，ｚ）は、画面中心からＺ軸方向の位置をｚとしている。このとき、カメラ空間における点（ｙ，ｚ）のＺｃ座標は、以下の数式（３）（４）で表される。
尚、以下の数式では、カメラ６１の撮像素子とレーザスキャナ６２のレーザ中心の位置の垂直方向の差分をΔｙｖ（図７（Ｂ）参照）、カメラ画像の縦幅をｗｖ、カメラ６１の垂直画角をθｖ、一時変数をｔｍｐ２としている。
ｔｍｐ２＝Ｙ×ｔａｎ（π×θｖ／３６０）・・・（３）
Ｚｃ＝ｗｖ／２＋ｗｖ×（Ｚ−Δｙｖ）／（２×ｔｍｐ２）・・・（４）

ガイド情報表示装置５０では、上記数式（１）〜（４）を用いて、ＸＹＺ座標系においてレーザスキャナ６２等によって取得した点群データの座標を、カメラ空間座標系に変換することによって、カメラ６１で撮影した映像Ｍ上にガイド情報ＧＤを位置合わせして表示する。

尚、レーザスキャナ６２としては、伸縮ブーム２２の最高到達高さを考慮して、その最高到達高さ（例えば、約１００ｍ）から測定対象物の三次元形状を測定可能な機器を選択する。また、レーザスキャナ６２としては、適切なガイド情報を生成するために必要なデータ量およびデータ精度を考慮して、測定スピード、測定ポイント数、測定精度等の各仕様について所定の性能を有する機器を選択する。

尚、本実施形態では、合計１６個のレーザ送受信センサを備えたレーザスキャナ６２を用いる場合を例示しているが、本発明に係るガイド情報表示装置は、レーザスキャナを構成するレーザ送受信センサの個数によっては限定されない。即ち、本発明に係るガイド情報表示装置では、クレーンのブーム（ジブ）の最高到達高さ等に応じて、最適な仕様のレーザスキャナを適宜選択する。

データ取得部６０によって吊荷領域ＷＡにおいて取得するデータには、吊荷Ｗと、吊荷Ｗの下方の地表面Ｆと、吊荷Ｗの周囲に存在する地物Ｃをカメラ６１によって撮影した映像データが含まれる。また、データ取得部６０によって吊荷領域ＷＡにおいて取得するデータには、吊荷Ｗと、地表面Ｆと、地物Ｃをレーザスキャナ６２によってスキャンして取得した点群データが含まれる。尚、ここでいう地表面Ｆには、吊荷Ｗの搬送元および搬送先となる面を広く含み、地上面のみならず、建物屋上の床面や屋根面等も含まれる。

図３に示すように、データ処理部７０は、データ取得部６０で取得したデータを処理して、オペレータに提示するガイド情報ＧＤを生成するための部位であり、本実施形態では、所定のデータ処理プログラムがインストールされた汎用のパーソナルコンピュータによって構成している。
また、データ処理部７０は、クレーン１のコントローラ３４と電気的に接続されており、コントローラ３４から出力される「クレーン情報」が、データ処理部７０に入力される。

データ表示部８０は、オペレータに提示するガイド情報ＧＤを表示するための部位であり、データ処理部７０に接続されたディスプレイ装置により構成される。
データ表示部８０には、図８（Ａ）に示すように、カメラ６１によって撮影した吊荷領域ＷＡの映像Ｍをリアルタイムに表示する。

ガイド情報ＧＤには、図８（Ｂ）に示すように、吊荷Ｗ・地物ＣのＹ軸方向視における外形形状を表すガイド枠ＧＤ１や、吊荷Ｗの下面の高さ情報ＧＤ２、地物Ｃの上面の高さ情報ＧＤ３、吊荷Ｗの動線を示す作業半径線情報ＧＤ４、伸縮ブーム２２の軸線方向を示す軸線情報ＧＤ５等が含まれる。
そして、データ表示部８０には、データ処理部７０で生成したガイド情報ＧＤと映像Ｍが重畳して表示される。

図３に示す如く、データ入力部９０は、データ処理部７０に対して、設定値等を入力するための部位であり、タッチパネル、マウス、キーボード装置等により構成される。

尚、ガイド情報表示装置５０は、図９（Ａ）に示すように、データ処理部７０とデータ表示部８０とデータ入力部９０をタブレット型の汎用パーソナルコンピュータ（以下、タブレットＰＣとも呼ぶ）によって、一体的に構成することが好ましい。また、ガイド情報表示装置５０は、図９（Ｂ）に示すように、データ表示部８０とデータ入力部９０をタッチパネル式ディスプレイ装置によって一体で構成し、当該タッチパネル式ディスプレイ装置に汎用ＰＣたるデータ処理部７０を接続する構成としてもよい。

図４に示すように、データ表示部８０とデータ入力部９０は、キャビン３０内の運転座席３１の前方のオペレータが見やすい位置に配置する。データ処理部７０は、データ取得部６０の近傍に配置することが好ましい。尚、データ処理部７０とデータ表示部８０とデータ入力部９０をタブレットＰＣによって一体的に構成した場合には、データ処理部７０をキャビン３０内に配置する構成としてもよい。
データ取得部６０とデータ処理部７０間のデータの伝送は、有線ＬＡＮによることが好ましい。尚、データ取得部６０とデータ処理部７０間のデータの伝送は、無線ＬＡＮを採用してもよく、あるいは、電力線通信を採用してもよい。

尚、ガイド情報表示装置５０は、図９（Ａ）に示すように、データ処理部７０とデータ表示部８０とデータ入力部９０をタブレット型の汎用パーソナルコンピュータ（以下、タブレットＰＣとも呼ぶ）によって、一体的に構成することが好ましい。また、ガイド情報表示装置５０は、図９（Ｂ）に示すように、データ表示部８０とデータ入力部９０をタッチパネル式ディスプレイ装置によって一体で構成し、当該タッチパネル式ディスプレイ装置に汎用ＰＣたるデータ処理部７０を接続する構成としてもよい。

ここで、データ取得部６０によるデータの取得状況を説明する。
データ取得部６０では、カメラ６１によって、吊荷領域ＷＡを連続的に撮影し、吊荷領域ＷＡの映像Ｍを取得する。

図１０に示すように、データ取得部６０では、レーザスキャナ６２によって、吊荷領域ＷＡを連続的にスキャンし、吊荷領域ＷＡにおける測定対象物の点群データを取得する。以下では、レーザスキャナ６２によって取得する点群データを、点群データＰと呼ぶ。点群データＰは、点データｐの集合であり、点データｐは、吊荷領域ＷＡに存在する地表面Ｆ、吊荷Ｗ、地物Ｃの上面に位置する点を表している。そして、点データｐには、図１１に示すように、測定対象物（例えば地物Ｃ）からレーザスキャナ６２までの距離ａと、その点データｐを取得したときのレーザスキャナ６２の照射角度ｂの情報が含まれている。

図３に示すように、レーザスキャナ６２には、第一ＧＮＳＳ受信機６５を接続しており、点群データＰを取得すると同時に、第一ＧＮＳＳ受信機６５によって複数の測位衛星から時間情報を受信する。そして、データ処理部７０は、点データｐに対して、該点データｐの取得時間に係る情報を付与する。即ち、点データｐに係る情報には、距離ａ、照射角度ｂの他、取得時間ｔｐが含まれている。

また、データ取得部６０では、レーザスキャナ６２によって、点群データＰを取得すると同時に、ＩＭＵ６３によって、所定の周期でレーザスキャナ６２の姿勢データＱを取得する。姿勢データＱには、レーザスキャナ６２のＸ・Ｙ・Ｚ軸の各軸方向に対する角度と加速度に係る情報が含まれる。尚、ＩＭＵ６３による姿勢データＱの取得周期は、レーザスキャナ６２による点群データＰの取得周期よりも短くする。姿勢データＱは、測定周期ごとに測定される個別姿勢データｑの集合である。

ＩＭＵ６３には、第二ＧＮＳＳ受信機６６を接続しており、姿勢データＱを取得すると同時に、第二ＧＮＳＳ受信機６６によって、複数の測位衛星から時間情報を受信する。データ処理部７０は、個別姿勢データｑに対して、該個別姿勢データｑの取得時間に係る情報として取得時間ｔｑを付与する。即ち、個別姿勢データｑに係る情報には、取得時間ｔｑが含まれている。

次に、データ処理部７０によるデータの処理状況を説明する。

図１２に示す如く、データ処理部７０によるデータ処理では、まず「フレーム抽出処理」を行う（ＳＴＥＰ−１０１）。
データ処理部７０による点群データＰのデータ処理では、点群データＰのストリームデータから、１フレーム分の点群データＰを切り出して出力する。１フレーム分の点群データＰは、レーザスキャナ６２によるレーザの照射方向がＺ軸回りに１周する間に取得する点データｐの集合である。

図１２に示す如く、データ処理部７０によるデータ処理では、次に「点群データと姿勢データの同期処理」を行う（ＳＴＥＰ−１０２）。
データ処理部７０は、１フレーム分の点群データＰに含まれる点データｐを、ＩＭＵ６３によって取得した姿勢データＱと同期させる。
具体的には、個々の点データｐにおいて、その点データｐの取得時間ｔｐに最も近い個別姿勢データｑの取得時間ｔｑを探索し、該取得時間ｔｑにおける個別姿勢データｑを、その点データｐに対応付けることで同期する。

このようにしてデータ処理部７０は、個別姿勢データｑに同期された点データｐを出力する。
そして、図１１に示すように、データ処理部７０は、距離ａおよび照射角度ｂとに基づいて、レーザスキャナ６２のレーザ中心位置から点データｐまでの距離ｈを算出する。尚、ここで言う「距離ｈ」は、レーザスキャナ６２のレーザ中心位置から点データｐが存在する水平面までの距離、つまり、レーザスキャナ６２のレーザ中心位置から点データｐまでの鉛直方向の距離である。

また、データ処理部７０では、点データｐの距離ｈを算出する際に、その点データｐに対応する個別姿勢データｑを用いて補正を行う。これによって、レーザスキャナ６２の姿勢に起因する誤差を解消し、より精度よく点データｐの距離ｈを算出することができる。

即ち、ガイド情報表示装置５０において、データ取得部６０は、レーザスキャナ６２の姿勢データＱを取得するＩＭＵ６３を備え、データ処理部７０は、ＩＭＵ６３で取得したレーザスキャナ６２の姿勢データＱに基づいて、点群データＰを補正している。
ガイド情報表示装置５０では、このような構成によって、オペレータに対して、より的確なガイド情報ＧＤを提示することが可能になっている。

１フレーム分の点群データＰをＸＹＺ座標系にプロットすると、図１３（Ａ）のように表される。図１３（Ａ）はＺ軸方向から見た点群データＰ（点データｐの集合）である。

図１２に示す如く、データ処理部７０によるデータ処理では、次に「地表面推定処理」を行う（ＳＴＥＰ−１０３）。データ処理部７０は、吊荷領域ＷＡに存在する地表面Ｆの基準高Ｈ０を推定する処理を行う。

ここでは、まず、地表面Ｆを自動的に推定する場合を説明する。

（点群データ取得工程）
データ処理部７０は、まず、１フレーム分の点群データＰを取得する。点群データＰは、測定対象物たる吊荷Ｗおよび地物Ｃの上方から、吊荷Ｗおよび地物Ｃおよび地表面Ｆを含む吊荷領域ＷＡにおいて取得したものである。

図１４および図１５（Ｂ）に示すように、データ処理部７０は、吊荷領域ＷＡを、平面視（Ｙ軸方向視）において、格子状に複数の小領域Ｓに分割する（領域分割工程：ＳＴＥＰ−２０１）。データ処理部７０は、Ｚ軸方向に対して平行な分割線によってレーザ側線を等間隔に分割し、分割されたレーザ側線を基準とする同一形状で、かつ、同一面積を有する小領域Ｓに分割している。本実施形態において、データ処理部７０は、レーザ側線を１０分割することで、１６０個の小領域Ｓに分割している。

次に、データ処理部７０は、各小領域Ｓにおいて、距離ｈが最も大きい（距離ｈが最大距離ｈｍａｘである）点データｐを抽出する（最大点データ抽出工程：ＳＴＥＰ−２０２）。最大距離ｈｍａｘである点データｐは、最も低い位置に存在している点データｐであると推測される。そして、図１４および図１５（Ａ）に示すように、データ処理部７０は、最大距離ｈｍａｘである点データｐに対する他の点データの距離ｈの離れ量Ｄを算出する（離れ量算出工程：ＳＴＥＰ−２０３）。データ処理部７０は、最大距離ｈｍａｘを基準として、距離ｈの離れ量Ｄが所定の閾値ｒ１以内（本実施形態では離れ量Ｄが７ｃｍ以内）にある点データｐを、地表面Ｆを構成する点データとして抽出する（地表面点データ抽出工程：ＳＴＥＰ−２０４）。

次に、データ処理部７０は、各小領域Ｓにおいて、抽出した点データｐの距離ｈに基づいて各小領域Ｓの地表面Ｆの基準高Ｈ０を推定する（小領域地表面推定工程：ＳＴＥＰ−２０５）。本実施形態では、データ処理部７０は、抽出した点データｐの距離ｈの平均値を、小領域Ｓにおける地表面Ｆの基準高Ｈ０としている。
データ処理部７０では、このような構成によって、任意の小領域Ｓにおいて、地表面Ｆの基準高Ｈ０を推定することができる。

さらに、データ処理部７０は、各小領域Ｓにおける地表面Ｆの基準高Ｈ０に基づいて吊荷領域ＷＡの地表面Ｆの基準高Ｈ０を推定する（領域地表面推定工程：ＳＴＥＰ−２０６）。本実施形態では、データ処理部７０は、各小領域Ｓにおける地表面Ｆの基準高Ｈ０（距離ｈの平均値）をさらに全ての小領域Ｓで平均した値を、吊荷領域ＷＡの地表面Ｆの基準高Ｈ０としている。
データ処理部７０では、このような構成によって、吊荷領域ＷＡの地表面Ｆの基準高Ｈ０を推定することができる。そして、データ処理部７０は、距離ｈと基準高Ｈ０から、点データｐの標高値Ｈを算出する。図１０に示すように、標高値Ｈは、点データｐの基準高Ｈ０からの高さである。

（ＳＴＥＰ−２０６）において、データ処理部７０は、吊荷領域ＷＡにおける地表面Ｆの基準高Ｈ０に対する一の小領域Ｓにおける地表面Ｆの基準高Ｈ０の差異が所定の閾値よりも大きい場合に、地表面Ｆを構成しない点データｐを抽出したものと判断し、一の小領域Ｓにおける地表面Ｆの基準高Ｈ０の代わりに、一の小領域Ｓに隣接する小領域Ｓのうち、差異が所定の閾値未満となる小領域Ｓの地表面Ｆの基準高Ｈ０を用いて、吊荷領域ＷＡにおける地表面Ｆの基準高Ｈ０を補正してもよい。
データ処理部７０では、このような構成によって、地表面Ｆを構成しない点データｐを抽出したものと推定される場合に、一の小領域Ｓの代わりに、一の小領域Ｓに隣接する小領域Ｓのうち、差異が所定の閾値未満となる小領域Ｓの地表面Ｆの基準高Ｈ０を用いることで、吊荷領域ＷＡの地表面Ｆの基準高Ｈ０をより正確に推定することができる。

また、（ＳＴＥＰ−２０６）において、吊荷領域ＷＡにおける地表面Ｆの基準高Ｈ０を推定する際に、全ての小領域Ｓのうち、地表面Ｆを構成しない点データｐを抽出したものと推定される小領域Ｓを除外してもよい。例えば、各小領域Ｓにおいて算出される地表面Ｆの基準高Ｈ０のうち、最小である一の小領域Ｓにおける地表面Ｆの基準高Ｈ０を基準として、所定の閾値以内にある小領域Ｓの地表面Ｆの基準高Ｈ０のみを用いて平均値を算出してもよい。以上のように、吊荷領域ＷＡにおける地表面Ｆの基準高Ｈ０を推定する際に、全ての小領域Ｓの基準高Ｈ０を用いる必要はなく、特定の小領域Ｓの基準高Ｈ０のみを用いてもよい。
データ処理部７０では、このような構成によって、地表面Ｆを構成する点データを抽出できていないと推定される小領域Ｓを除外することができる。そのため、正確に吊荷領域ＷＡにおける基準高Ｈ０の推定を行うことができる。

以上のように、地表面推定方法では、レーザスキャナ６２によって、地表面Ｆを含む吊荷領域ＷＡにおいて点群データＰを取得する点群データ取得工程と、吊荷領域ＷＡを、平面視において格子状に分割し、同一形状で、かつ、同一面積を有する複数の小領域Ｓを生成する領域分割工程と、小領域Ｓにおいて、距離ｈが最大である点データｐを抽出する最大点データ抽出工程と、小領域Ｓにおいて、距離ｈが最大である点データｐに対する他の点データｐの距離ｈの離れ量Ｄを算出する離れ量算出工程と、小領域Ｓにおいて、距離ｈの離れ量Ｄが所定の閾値ｒ１以内である点データｐを抽出する地表面点データ抽出工程と、地表面点データ抽出工程において抽出される点データｐに基づいて小領域Ｓの地表面Ｆの基準高Ｈ０を推定する小領域地表面推定工程と、各小領域Ｓの地表面Ｆの基準高Ｈ０に基づいて吊荷領域ＷＡの地表面Ｆの基準高Ｈ０を推定する領域地表面推定工程と、を備えている。

ガイド情報表示装置５０では、上記処理によって精度よく取得した地表面Ｆの基準高Ｈ０に基づいて、ガイド情報ＧＤを生成する構成としている。このため、ガイド情報表示装置５０では、地表面Ｆの基準高Ｈ０に基づいて、吊荷Ｗの高さ情報、地物Ｃの高さ情報を、精度良く算出することができる。

次に、映像上の特定の位置を基準として、地表面Ｆを推定する場合を説明する。尚、ここでは、映像上の特定の位置を、オペレータが手動で指定する場合を例示するが、データ処理部７０が、映像上の特定の位置を自動的に決定し指定する構成としてもよい。

ガイド情報表示装置５０では、データ表示部８０およびデータ入力部９０において地表面の位置を指定することで、基準となる地表面Ｆを決定することができる。
手動による場合、まず図１６上図に示すように、オペレータがデータ表示部８０に表示される映像上で、地表面であることが明らかな位置を指定する。すると、データ処理部７０は、図１６中図に示すように、その指定された位置（点）を中心とする所定半径の基準円を生成する。そして、データ処理部７０は、図１６下図に示すように、レーザ側線上にある点データｐとの重なりを検出し、基準円内に含まれる複数の点データｐを選択する。

そして、データ処理部７０は、図１５（Ａ）に示すように、選択された複数の点データｐからまず、距離ｈが最も大きい（距離ｈが最大距離ｈｍａｘである）点データｐを抽出する。そして、データ処理部７０は、最大距離ｈｍａｘである点データｐに対する他の点データの距離ｈの離れ量Ｄを算出する。データ処理部７０は、最大距離ｈｍａｘを基準として、距離ｈの離れ量Ｄが所定の閾値ｒ１以内（本実施形態では離れ量Ｄが７ｃｍ以内）にある点データｐを地表面Ｆを構成する点データとして抽出する。データ処理部７０は、抽出した点データｐの距離ｈに基づいて地表面Ｆの基準高Ｈ０を推定する。本実施形態では、データ処理部７０は、抽出した点データｐの距離ｈの平均値を地表面Ｆの基準高Ｈ０として採用する。

図１２に示す如く、データ処理部７０によるデータ処理では、次に「平面の推定処理」を行う（ＳＴＥＰ−１０４）。データ処理部７０は、以下に示す上面推定方法によって、吊荷領域ＷＡに存在する測定対象物たる吊荷Ｗと地物Ｃの上面を推定する。

１フレーム分の点群データＰをＸＹＺ座標系で示した吊荷領域ＷＡ上にプロットすると、図１３（Ａ）に示すように表される。そして、このような吊荷領域ＷＡにある点群データＰを模式的に表すと、図１７上図のように表される。

データ処理部７０は、図１７上図に示すような吊荷領域ＷＡにおいて取得した点群データＰを、図１７中図に示すように、Ｙ軸方向に所定の厚みｄで層状に分割し、点群データＰを複数のグループに振り分ける（図１３（Ｂ）参照）。
このときデータ処理部７０は、分割した各グループに個別のグループＩＤ（ここでは、ＩＤ：００１〜００６とする）を付与し、各点データｐをグループＩＤに関連付ける。

そして、データ処理部７０は、各グループにおいて、そのグループに含まれる複数の点データｐを用いて、平面を推定する。ここで言う「平面」は、吊荷Ｗおよび地物Ｃにおいて上向きに存在する平面であり、即ち、吊荷Ｗおよび地物Ｃの「上面」である。

具体的には、まず、データ処理部７０は、図１８および図１９上図に示すように、同一グループに含まれる複数の点データｐ・ｐ・・・から２つの点データｐ・ｐを選択する（２点選択工程：ＳＴＥＰ−３０１）。
そして、データ処理部７０は、図１８および図１９下図に示すように、選択した２つの点データｐ・ｐの２点間距離Ｌ１を算出する（点間距離算出工程：ＳＴＥＰ−３０２）。

次に、データ処理部７０は、図１８および図２０上図に示すように、２点間距離Ｌ１が所定の閾値ｒ２以下であれば（ＳＴＥＰ−３０３）、その２点（点線で示した２つの点データｐ・ｐ）は同一平面上にあるものとみなす（２点平面みなし工程：ＳＴＥＰ−３０４）。そして、データ処理部７０は、図１８および図２０下図に示すように、同一平面上にあるとみなされた各点（ここでは、選択した２点）の重心Ｇ１を算出する（重心算出工程：ＳＴＥＰ−３０５）。仮に、（ＳＴＥＰ−３０３）において、「ｎｏ」と判定された場合には、（ＳＴＥＰ−３０１）に戻って、新たな２点を選択し直す。

次に、データ処理部７０は、図１８および図２１上図に示すように、算出した重心Ｇ１に対する近傍点となる点データｐを探索する（近傍点探索工程：ＳＴＥＰ−３０６）。ここで言う「近傍点」とは、重心Ｇ１に対する点間距離が閾値ｒ２以下の点である。
そして、データ処理部７０は、図１８および図２１下図に示すように、近傍点たる点データｐが見つかれば（ＳＴＥＰ−３０７）、その近傍点たる点データｐも、先に選択した２つの点データｐ・ｐと同一平面上にあるものとみなす（近傍点平面みなし工程：ＳＴＥＰ−３０８）。

そして、データ処理部７０は、図１８および図２２上図に示すように、（ＳＴＥＰ−３０５）に戻って、同一平面上にあるとみなされた各点（ここでは、点線で示した３つの点データｐ・ｐ・ｐ）から、新たな重心Ｇ２を算出する。

データ処理部７０は、（ＳＴＥＰ−３０６）に移行して、重心Ｇ２に対する近傍点となる点データｐをさらに探索する。そして、データ処理部７０は、図１８および図２２下図に示すように、近傍点たる点データｐがさらに見つかれば（ＳＴＥＰ−３０７）、その近傍点たる点データｐも、先に選択した各点と同一平面上にある点データｐであるものとみなす（ＳＴＥＰ−３０８）。
そして、データ処理部７０は、新たな重心を算出しながら近傍点を探索し、近傍点たる点データｐが検出されなくなるまで（ＳＴＥＰ−３０５）から（ＳＴＥＰ−３０８）までの処理を順に繰り返して行う。

そして、データ処理部７０は、図１８および図２３に示すように、新たな近傍点が見つからなければ、（ＳＴＥＰ−３０７）で「ｎｏ」と判定し、同一平面上にあるとみなされた点データｐの部分集合（クラスタ）をクラスタリングして、平面を推定する（ＳＴＥＰ−３０９）。ここで言う「クラスタリング」とは、点データｐの集合である点群データＰをクラスタに切り分けて、各クラスタに含まれる点データｐが、同一平面上にあるという共通の特徴を持つようにする処理である。
データ処理部７０は、点群データＰを、同一平面上にあるとみなされた点データｐに切り分けて、平面クラスタＣＬ１を設定する（図１７下図参照）。平面クラスタＣＬ１に属する各点データｐによれば、平面（即ち、吊荷Ｗおよび地物Ｃの「上面」）を規定することができる。尚、同一のグループＩＤが付与されたグループ内には、複数の平面クラスタＣＬ１が存在する場合もある。

そして、データ処理部７０は、平面クラスタＣＬ１に属する点データｐの、Ｘ座標の最大値と最小値から平面の「幅」を推定し、Ｚ座標の最大値と最小値から平面の「奥行」を推定する。データ処理部７０は、このようにして、平面クラスタＣＬ１が形成する平面を規定する。尚、ここで規定する平面は、矩形以外の多角形であってもよい。

このような上面推定方法では、レーザスキャナ６２で取得した上面に対応する点群データＰのみに基づいて吊荷Ｗおよび地物Ｃの上面を推定することができる。このため本実施形態で示した上面推定方法では、レーザスキャナ６２で取得した点群データＰに基づいて、短時間で吊荷Ｗおよび地物Ｃの上面を推定することが可能になり、ひいては、リアルタイムに吊荷Ｗおよび地物Ｃの上面を推定することが実現できる。

また、このような上面推定方法では、統計的手法を用いずに吊荷Ｗおよび地物Ｃの上面を推定することができ、統計的手法を用いる場合に比べて、吊荷Ｗおよび地物Ｃの上面の推定に要する計算量を低減することができる。このため本実施形態で示した上面推定方法では、レーザスキャナ６２で取得した点群データＰに基づいて、より短時間で吊荷Ｗおよび地物Ｃの上面を推定することが可能になる。

尚、本実施形態で示した吊荷Ｗおよび地物Ｃの上面推定方法では、クレーン１において、伸縮ブーム２２のトップブーム部材２２ｆにデータ取得部６０を設け、レーザスキャナ６２によって、吊荷Ｗの鉛直上方から吊荷Ｗ、地物Ｃ、地表面Ｆに係る点群データＰを取得する場合を例示しているが、本発明に係る測定対象物の上面推定方法は、クレーンの吊荷とその吊荷の周囲に存在するものを測定対象物とする場合に適用するものとして限定されるものではない。
即ち、本実施形態で示した上面推定方法は、例えば、ブームを備える作業車両（例えば、高所作業車等）のブーム先端部やドローン等にレーザスキャナを設けて、上空からその鉛直下方に存在する測定対象物の点群データを取得し、取得した点群データに基づいて測定対象物の上面を推定する場合に広く適用することができる。

次に、データ処理部７０は、推定した各平面クラスタＣＬ１（上面）を結合する。
データ処理部７０は、図２４および図２５上図に示すように、推定された平面クラスタＣＬ１のうち、異なるグループＩＤが付与された２つの平面クラスタＣＬ１・ＣＬ１を選択し、各平面クラスタＣＬ１の標高値Ｈの差異ｄＨを算出する（ＳＴＥＰ−４０１：標高値差異算出工程）。

ここで、データ処理部７０は、差異ｄＨが閾値ｒ３以内である組み合わせを探索する（ＳＴＥＰ−４０２）。ここでいう平面クラスタＣＬ１の標高値Ｈとは、平面クラスタＣＬ１に属する各点データｐの標高値Ｈの平均値である。

次に、データ処理部７０は、図２４および図２５中図に示すように、標高値Ｈの差異ｄＨが閾値ｒ３以内である平面クラスタＣＬ１の組み合わせが検出されたときには、それらの平面クラスタＣＬ１・ＣＬ１についてＸ軸方向における重なりｄＷを検出する（ＳＴＥＰ−４０３：重なり検出工程）。ここでいう「重なり」とは、平面クラスタＣＬ１によって規定される平面のＸ軸方向における重複度合および離間度合であり、図２４および図２５に示すように、「幅」の重複量ｄＷ１が検出された場合（ｄＷ１＞０）か、もしくは、離間量ｄＷ２が所定の閾値ｒ４以下である場合（０≦ｄＷ２≦ｒ４）に、「重なり」を検出するものとする。

そして、データ処理部７０は、図２４および図２５に示すように、「重なり」が検出された場合には（ＳＴＥＰ−４０４）、それらの平面クラスタＣＬ１・ＣＬ１に属する点データｐが同一平面上に存在するものとみなし、二つの平面クラスタＣＬ１・ＣＬ１を結合し、新たな平面クラスタＣＬ１として更新する（ＳＴＥＰ−４０５：平面結合工程）。また、このとき、新たな平面クラスタＣＬ１に属する各点データｐから、新たな標高値Ｈを算出する。

データ処理部７０は、図２４に示すように、以上の処理を、条件を満たす平面クラスタＣＬ１・ＣＬ１の組み合わせが無くなるまで繰り返して行い（ＳＴＥＰ−４０６）、複数のグループに跨って存在する平面を推定する。

そして、データ処理部７０は、以上の結合処理によって結合した平面（即ち、平面クラスタＣＬ１）を出力する。
平面クラスタＣＬ１によって規定される平面は、吊荷Ｗおよび地物Ｃにおいて上向きに存在する平面であり、即ち、吊荷Ｗおよび地物Ｃの上面である。

このような平面の推定方法では、点群データＰの法線ベクトルを用いずに平面を推定することができる。このため、点群データＰの法線ベクトルを用いて平面を推定する場合に比べて、計算量が少なくて済むという特徴がある。
また、このような平面の推定方法では、吊荷Ｗや地物Ｃの上面を推定することによって、吊荷Ｗや地物Ｃの側面の点データｐを取得せずに、吊荷Ｗや地物Ｃの立体的形状を把握することができる。

図１２に示す如く、データ処理部７０によるデータ処理では、次に「同一領域のクラスタリング処理」を行う（ＳＴＥＰ−１０５）。ここで言う「クラスタリング」とは、データの集合である点群データＰを、クラスタに切り分けて、各クラスタに含まれる点データｐが、「同一領域」にあるという共通の特徴を持つようにする処理である。

ここで行う「同一領域のクラスタリング処理」は、生成した平面クラスタＣＬ１（平面）を、同一平面を構成するか否かとは無関係に、「同一領域」に存在するか否かという異なる観点でクラスタリングする処理である。

具体的には、図２６上図に示すように、データ処理部７０は、標高値Ｈが最大値Ｈｈである点データｐを含む平面クラスタＣＬ１と、この平面クラスタＣＬ１に未結合である平面クラスタＣＬ１を抽出する。そして、データ処理部７０は、抽出した各平面クラスタＣＬ１の標高値Ｈの差分ΔＨを算出し、差分ΔＨが所定の閾値以下であれば、次の判定に移行する。

次の判定に移行すると、データ処理部７０は、図２６中図に示すように、差分ΔＨが所定の閾値以下の二つの平面クラスタＣＬ１・ＣＬ１について、Ｙ軸方向視における重なりを確認する。
ここで、二つの平面クラスタＣＬ１・ＣＬ１が、Ｙ軸方向視において重なっている場合には、データ処理部７０は、図２６下図に示すように、これらの平面クラスタＣＬ１・ＣＬ１を「同一領域」にあるものとみなし、これらの平面クラスタＣＬ１・ＣＬ１によって、同一領域クラスタＣＬ２を形成する。

そして、データ処理部７０は、標高値Ｈの最大値Ｈｈを有する点データｐを含む平面クラスタＣＬ１と、この平面クラスタＣＬ１に未結合である平面クラスタＣＬ１をさらに探索し、未結合の平面クラスタＣＬ１が抽出されれば、差分ΔＨによる判定と、Ｙ軸方向視における重なりの確認を行い、上記条件に合致する平面クラスタＣＬ１があれば、上記同一領域クラスタＣＬ２にさらに追加する。

データ処理部７０は、このような処理を、標高値Ｈの最大値Ｈｈを有する点データｐを含む平面クラスタＣＬ１に対して未結合の平面クラスタＣＬ１が見つからなくなるまで繰り返して行う。データ処理部７０は、以上のような処理によって、同一領域クラスタＣＬ２を形成する。

そして、このようにして形成された同一領域クラスタＣＬ２に属する点データｐは、後述するガイド情報ＧＤの表示において、形状的に一つのまとまりがあるものとして扱われ、同一領域クラスタＣＬ２を囲むようにガイド枠ＧＤ１が表示される。

尚、このような「同一領域のクラスタリング処理」は、図２７（Ａ）（Ｂ）に示すような、標高値に基づく木構造を用いた階層的クラスタリングとすることが好ましい。データ処理部７０は、「同一領域のクラスタリング処理」において、地物Ｃごとに、標高値Ｈを用いて木構造を作成する。ここでは、図２７（Ａ）に示した第一の例の地物Ｃについて木構造を用いた階層的クラスタリングを行った場合と、図２７（Ｂ）に示した第二の例の地物Ｃについて木構造を用いた階層的クラスタリングを行った場合を例示している。

標高値に基づく木構造を用いた階層的クラスタリングでは、データ処理部７０は、標高値Ｈの平均値が最も小さい平面クラスタＣＬ１を「根（ルート）」として設定する。また、データ処理部７０は、「根」を構成する平面クラスタＣＬ１に対して、Ｙ軸方向視において重なりを持つ平面クラスタＣＬ１があれば、「根」から「枝（ブランチ）」を伸ばし、「枝」の先に、その重なりを持つ平面クラスタＣＬ１を追加する。そして、データ処理部７０は、標高値Ｈの平均値が最も大きい平面クラスタＣＬ１を「子」として設定する。

ここで、ガイド枠ＧＤ１の生成方法について、説明する。
データ処理部７０は、「同一領域のクラスタリング処理」において作成した地物Ｃの木構造を取得する。そして、データ処理部７０は、木構造を構成する各平面クラスタＣＬ１に含まれる点データｐを取得する。
次に、データ処理部７０は、図２８上図に示すように、「子」の平面クラスタＣＬ１の点データｐから、Ｚ軸方向において最も奥に位置するレーザ側線上の各点データｐを取得する。そして、データ処理部７０は、隣り合うレーザ側線との距離の１／２だけＺ軸方向に離れており、かつ、各点データｐを囲むことができるＸ軸方向の幅を有する矩形を作成する。

次に、データ処理部７０は、作成した矩形に隣接するレーザ側線上に点データｐが存在する場合には、図２８下図に示すように、該当するレーザ側線上の点データｐを全て含むように矩形を変形させて、外形線を作成する。
そして、データ処理部７０は、対象となるレーザ側線上の点データｐが無くなるまで隣接するレーザ側線上に点データｐを探索し、上記処理を繰り返す。
最後に、データ処理部７０は、選択した木構造に含まれる全ての平面クラスタＣＬ１を外包する外形線を作成する。

そして、データ処理部７０は、作成した外形線の中から、条件に合う外形線のみをガイド枠ＧＤ１として出力する。
ガイド枠ＧＤ１として出力する条件は、例えば、図２９（Ａ）に示すように、地物Ｃの大枠たる外形線のみを表示する条件を選択することができる。この条件を選択した場合には、データ表示部８０には、その地物Ｃに対して、地物Ｃの全体を囲む一つのガイド枠ＧＤ１が表示される。

また、ガイド枠ＧＤ１として出力する条件としては、例えば、図２９（Ｂ）に示すように、地物Ｃの大枠たる外形線に加えて、「根」に対する標高値Ｈの差（差分ΔＨ）が、閾値以上である外形線（小枠）のうち、各枝で標高値Ｈが最も高い平面クラスタＣＬ１に係る外形線を表示する条件を選択することができる。この条件を選択した場合には、データ表示部８０には、その地物Ｃの全体を囲む一つ目のガイド枠ＧＤ１と、一つ目のガイド枠ＧＤ１の内側に包含される二つ目のガイド枠ＧＤ１が表示され、地物Ｃの立体的形状が考慮されたより詳細なガイド情報ＧＤが表示される。

さらに、ガイド枠ＧＤ１として出力する条件としては、例えば、図２９（Ｃ）に示すように、地物Ｃの大枠たる外形線に加えて、「根」に対する標高値Ｈの差（差分ΔＨ）が、閾値以上である外形線（小枠）を全て表示する条件を選択することができる。この条件を選択した場合にも、データ表示部８０には、地物Ｃの全体を囲む一つ目のガイド枠ＧＤ１と、その内側に包含される二つ目のガイド枠ＧＤ１が表示され、地物Ｃの立体的形状が考慮されたより詳細なガイド情報ＧＤが表示される。

このような表示条件は、差分ΔＨの閾値を調整することによっても行うことができる。オペレータは、ガイド情報ＧＤの表示がより見易くなるように、ガイド枠ＧＤ１の表示条件を適宜選択することができる。

即ち、ガイド情報表示装置５０では、同一領域クラスタＣＬ２に基づいてガイド枠ＧＤ１を生成することによって、地物Ｃの立体的形状を考慮して、地物Ｃをより詳細に表現したガイド枠ＧＤ１を生成することが可能になる。また、ガイド情報表示装置５０では、同一領域に存在する平面クラスタＣＬ１をまとめて囲むガイド枠ＧＤ１を生成することが可能になる。即ち、ガイド情報表示装置５０によれば、より詳細で見易いガイド情報ＧＤを提示することができる。

図１２に示す如く、データ処理部７０によるデータ処理では、次に「点群データとカメラ映像の同期処理」を行う（ＳＴＥＰ−１０６）。
ここでは、図５（Ａ）（Ｂ）に示した通り、ＸＹＺ座標系で取得した点群データＰをカメラ空間座標系の座標値に変換して、カメラ６１によって撮影した映像Ｍ上に同期（位置合わせ）して、データ表示部８０へと出力する。

図１２に示す如く、データ処理部７０によるデータ処理では、次に「ガイド表示処理」を行う（ＳＴＥＰ−１０７）。
データ処理部７０は、生成した同一領域クラスタＣＬ２の情報に基づいて、ガイド情報ＧＤを生成し、データ表示部８０に出力する。
尚、「ガイド表示処理」に際しては、クレーン１のコントローラ３４から出力される「クレーン情報」を利用する。ここで利用する「クレーン情報」には、伸縮ブーム２２の長さ、起伏角度、クレーン１の作業半径、吊荷Ｗの重量等に係る情報が含まれる。

データ処理部７０によるデータ処理の一連の流れを説明したが、このような構成では、測定対象物の側面における点データｐを取得する必要がなく、少ない演算量で、吊荷Ｗや地物Ｃの立体的形状を的確に把握して、ガイド情報ＧＤを生成することができる。このような構成は、データ演算量が少なくて済むため、リアルタイムに吊荷Ｗや地物Ｃの形状を把握する用途に適しており、簡易なハードウェア構成のデータ処理部７０を用いることができる。

次に、ガイド情報ＧＤの内容について、説明する。
ガイド情報表示装置５０では、データ表示部８０によって、ガイド情報ＧＤを表示する。データ表示部８０によって表示するガイド情報ＧＤには、図８（Ｂ）に示すような、オペレータによる地表面Ｆの指定位置に係る情報が含まれている。

また、ガイド情報表示装置５０では、吊荷Ｗを指定することができる。オペレータが地表面Ｆを指定する場合と同様に、画面上で吊荷Ｗを指示することで、その指定位置に存在する平面（上面）が吊荷Ｗの上面を表すものとして設定される。吊荷Ｗとして指定された後は、吊荷Ｗに係るガイド枠ＧＤ１と地物Ｃに係るガイド枠ＧＤ１は、線色や線太さ等を変えて区別して表示することが好ましい。
地表面Ｆと吊荷Ｗの指定位置に係る情報は、円等の図形で表したマーカーによって表示される。

また、データ表示部８０によって表示するガイド情報ＧＤには、データ処理部７０によって生成したガイド枠ＧＤ１が含まれている。

データ処理部７０は、設定された同一領域クラスタＣＬ２に基づいて、ガイド枠ＧＤ１を出力する。尚、データ処理部７０は、吊荷Ｗのガイド枠ＧＤ１としては、衝突を確実に回避するための余裕を設けることができ、吊荷Ｗの外形線から所定の距離だけ外側にオフセットさせた枠線を、ガイド枠ＧＤ１として出力することができる。このようなガイド枠ＧＤ１は、吊荷Ｗおよび地物Ｃにおいて推定された上面（平面クラスタＣＬ１）を線分で囲う枠表示となっている。

また、データ表示部８０によって表示するガイド情報ＧＤには、基準高Ｈ０から吊荷Ｗの下面までの高さ情報ＧＤ２と、基準高Ｈ０から地物Ｃの上面までの高さ情報ＧＤ３と、が含まれている。

吊荷Ｗの高さ情報ＧＤ２は、データ表示部８０の画面上の見やすい位置に独立したエリアを設けて、そのエリアに表示する構成とすることが好ましい。
ガイド情報表示装置５０では、このような構成によって、吊荷Ｗの高さ情報ＧＤ２と地物Ｃの高さ情報ＧＤ３を見間違えることがないようにしている。

データ処理部７０は、高さ情報ＧＤ２を、吊荷Ｗの上面であると推定した平面クラスタＣＬ１の上面高さから吊荷Ｗの高さを引くことによって算出する。
ガイド情報表示装置５０では、オペレータが、吊荷Ｗに係る情報（以下「吊荷情報」と呼ぶ）を、予めデータ処理部７０に入力する。このオペレータによる「吊荷情報」の入力は、データ入力部９０から行われる。そして、データ処理部７０は、「吊荷情報」を利用して、吊荷Ｗの高さを取得する。

ガイド情報表示装置５０では、地物Ｃの高さ情報ＧＤ３を、地物Ｃを囲むガイド枠ＧＤ１の内側に表示する構成としている。あるいは、ガイド情報表示装置５０では、ガイド枠ＧＤ１が小さい場合には、ガイド枠ＧＤ１と一部が重なるように表示する構成としている。
ガイド情報表示装置５０では、このような構成によって、地物Ｃと高さ情報ＧＤ３の対応関係を明確にしている。

また、ガイド情報表示装置５０では、データ処理部７０によって、そのガイド枠ＧＤ１に対応する平面クラスタＣＬ１の標高値Ｈに応じて、ガイド枠ＧＤ１の線色を変える構成としている。
ガイド情報表示装置５０では、このような構成によって、オペレータがガイド枠ＧＤ１を見ることで、吊荷Ｗや地物Ｃのおおまかな標高値（高さ）を感覚的に知覚することができる。このため、ガイド情報表示装置５０では、吊荷Ｗと地物Ｃの高さをより的確に提示することができる。

さらに、ガイド情報表示装置５０では、データ処理部７０によって、そのガイド枠ＧＤ１に対応する平面クラスタＣＬ１の標高値Ｈに応じて、高さ情報ＧＤ２のフォント色を変える構成としている。
ガイド情報表示装置５０では、このような構成によって、オペレータが高さ情報ＧＤ２を見ることで、吊荷Ｗや地物Ｃのおおまかな標高値（高さ）を感覚的に知覚できる。このため、ガイド情報表示装置５０では、吊荷Ｗと地物Ｃの高さをより的確に提示することができる。

図３０および図３１に示すように、ガイド情報表示装置５０によって行うガイド情報ＧＤの表示には、吊荷Ｗの動線情報が含まれている。吊荷Ｗの動線情報には、クレーン１の作業半径線情報ＧＤ４と、クレーン１の伸縮ブーム２２の軸線情報ＧＤ５が含まれる。尚、ここでいう「吊荷Ｗの動線情報」は、「メインフック３２の動線情報」と換言してもよく、作業半径線情報ＧＤ４と軸線情報ＧＤ５は、「メインフック３２の動線情報」としても利用することができる。

作業半径線情報ＧＤ４は、伸縮ブーム２２を旋回動作させるときの吊荷Ｗの動線の目安となるものであり、吊荷Ｗは作業半径線情報ＧＤ４として示す円弧に沿って移動する。軸線情報ＧＤ５は、伸縮ブーム２２を起伏動作および伸縮動作させるときの吊荷Ｗの動線の目安となるものであり、吊荷Ｗは軸線情報ＧＤ５として示す直線に沿って移動する。

図３２を用いて、作業半径線情報ＧＤ４の生成に用いるクレーン１の作業半径Ｒの算出方法について説明する。ここでいう、クレーン１の作業半径Ｒとは、クレーン１における伸縮ブーム２２の旋回中心から、メインフック３２の中心（本実施形態では、カメラ６１のレンズ中心）を通る鉛直線までの水平距離を指す。
尚、本説明においてのみ、カメラ座標系の原点Ｏ１（カメラ６１のレンズ中心）を基準として、図３２に示すようなＸＹＺ座標系を規定している。Ｘ軸方向は、伸縮ブーム２２の起伏支点の軸方向に対して平行な水平方向である。また、Ｙ軸方向は、鉛直方向である。さらに、Ｚ軸方向は、伸縮ブーム２２の起伏支点の軸方向に対して垂直な水平方向である。

カメラ座標系の原点Ｏ１を基準として表される伸縮ブーム２２の旋回中心をＯ２（ｘ１，ｙ１，ｚ１）、カメラ座標系の原点Ｏ１を基準として表される伸縮ブーム２２の起伏支点をＯ３（ｘ２，ｙ２，ｚ２）、伸縮ブーム２２のブーム長さをＬ、伸縮ブーム２２の起伏角をθとしたとき、作業半径Ｒは、以下の数式（５）（６）で算出することができる。尚、以下の数式では、一時変数をｔｍｐ３としている。
ｔｍｐ３＝｛（ｘ１−ｘ２）^２＋（ｙ１−ｙ２）^２｝／１０００・・・（５）
Ｒ＝ｔｍｐ３＋Ｌ×ｃｏｓθ・・・（６）
尚、データ処理部７０は、上記数式（５）（６）に基づいて作業半径Ｒを算出する場合のほか、クレーン１から「クレーン情報」として入力される作業半径Ｒを用いてもよい。

ここで、動線情報たるガイド情報ＧＤの生成方法について、説明する。
図３３に示す如く、まず、データ処理部７０は、カメラ６１が撮影した映像Ｍを取得する（撮影工程：ＳＴＥＰ−５０１）。カメラ６１の映像Ｍは、旋回動作と起伏動作と伸縮動作とが可能な伸縮ブーム２２を備えたクレーン１によって吊り上げた吊荷Ｗの上方から、吊荷Ｗと地表面Ｆと、を少なくとも含む吊荷領域ＷＡにおいて取得したものである。

次に、データ処理部７０は、１フレーム分の点群データＰを取得する（点群データ取得工程：ＳＴＥＰ−５０２）。点群データＰは、吊荷Ｗの上方から、吊荷Ｗと地表面Ｆと、を少なくとも含む吊荷領域ＷＡにおいて取得したものである。

そして、データ処理部７０は、前述した地表面推定処理（図１４〜図１６参照）によって、任意の小領域Ｓ（例えば、カメラ６１のレンズ中心から延ばした垂線と交わる所定の小領域Ｓ）又は吊荷領域ＷＡの地表面Ｆの基準高Ｈ０を推定する（地表面推定工程：ＳＴＥＰ−５０３）。

データ処理部７０は、地表面Ｆの基準高Ｈ０に基づいて、図３０上図、図３１上図および図３３に示すように、実空間上におけるカメラ６１の撮影範囲である横幅ｗｈおよび縦幅ｗｖを算出する（撮影範囲算出工程：ＳＴＥＰ−５０４）。

また、データ処理部７０は、図３０中図に示すように、カメラ座標系の原点Ｏ１および作業半径Ｒから、カメラ６１の撮影範囲に対するクレーン１の旋回中心を算出する。そして、図３０下図および図３３に示すように、データ処理部７０は、クレーン１の旋回中心点Ｏ２および作業半径Ｒからガイド情報ＧＤである作業半径線情報ＧＤ４を生成する（動線情報生成工程：ＳＴＥＰ−５０５）。

さらに、（ＳＴＥＰ−５０５）において、データ処理部７０は、図３１下図に示すように、カメラ座標系の原点Ｏ１および伸縮ブーム２２の旋回中心点Ｏ２に基づいて、各点Ｏ１・Ｏ２を通る線分から伸縮ブーム２２の軸線方向を算出してガイド情報ＧＤである軸線情報ＧＤ５を生成する。
尚、（ＳＴＥＰ−５０５）においては、データ処理部７０によって、作業半径線情報ＧＤ４と軸線情報ＧＤ５のいずれを先に生成してもよい。また、（ＳＴＥＰ−４０５）では、作業半径線情報ＧＤ４と軸線情報ＧＤ５のいずれか一方だけを生成する構成としてもよい。

そして、データ処理部７０は、図３０下図および図３３に示すように、データ表示部８０に作業半径線情報ＧＤ４を出力し、データ表示部８０において、映像Ｍに作業半径線情報ＧＤ４を重畳させて表示する（動線情報表示工程：ＳＴＥＰ−５０６）。

さらに、（ＳＴＥＰ−５０６）において、データ処理部７０は、図３１下図および図３３に示すように、軸線情報ＧＤ５をデータ表示部８０に出力し、データ表示部８０において、映像Ｍに軸線情報ＧＤ５を重畳させて表示する。本実施形態では、カメラ６１の撮影範囲における縦方向および伸縮ブーム２２の軸線方向は常に一致しているため、映像Ｍにおいて軸線情報ＧＤ５はＺ軸方向に沿うように表示される。
尚、（ＳＴＥＰ−５０６）において、作業半径線情報ＧＤ４と軸線情報ＧＤ５は、図３４に示すように、データ表示部８０において同時に表示してもよい。

また、（ＳＴＥＰ−５０６）において、データ処理部７０は、図３０下図、図３１下図に示すように、作業半径線情報ＧＤ４および軸線情報ＧＤ５を表示する線を破線によって出力し、かつ、その破線の長さおよび間隔を、地表面Ｆの基準高Ｈ０に基づいて算出したデータ取得部６０の高さ（撮影範囲）に応じて設定する。まず、破線の長さおよび間隔の目安となる長さ（以下、基準長さと呼ぶ）を設定する。例えば、基準長さを１ｍとした場合、作業半径情報ＧＤ４と軸線情報ＧＤ５は、地表面Ｆの基準高Ｈ０に基づいて算出したデータ取得部６０の高さ（撮影範囲の大きさ）に応じて表示上では破線の長さおよび間隔を変更し、そのときのスケールにおいて、地表面Ｆで１ｍに相当する長さおよび間隔として表示される。つまり、データ取得部６０の高さが高くなるほど、表示上での破線の長さおよび間隔が短くなり、データ取得部６０の高さが低いほど、表示上での破線の長さおよび間隔が長くなるように設定される。
以上のように、ガイド情報表示装置５０では、作業半径線情報ＧＤ４および軸線情報ＧＤ５の破線の長さおよび間隔が、基準長さで表示されることによって、オペレータはガイド情報ＧＤから地表面Ｆを含む測定対象物に対する距離感を容易に把握することができる。

尚、本実施形態では、地表面推定処理を用いて、吊荷Ｗ周辺の地表面Ｆの基準高Ｈ０を算出し、該地表面Ｆの基準高Ｈ０に基づいて、カメラ６１の撮影範囲を算出しているが、撮影範囲の算出方法はこれに限定されない。例えば、「クレーン情報」から算出されるクレーン１の設置面に対するカメラ６１の高さに基づいて、カメラ６１の撮影範囲を算出してもよい。また、カメラ６１がズーム機能を有している場合であれば、ズーム倍率を考慮して、カメラ６１の撮影範囲を算出してもよい。

即ち、本発明の一実施形態に係るガイド情報表示装置は、伸縮ブーム２２から垂下されるメインワイヤロープ２７によって吊り下げられ、伸縮ブーム２２の動作に応じて移動される吊荷Ｗの上方から、吊荷Ｗと吊荷Ｗの下方に存在する地表面Ｆと、を少なくとも含む吊荷領域ＷＡの映像を撮影するカメラ６１と、吊荷領域ＷＡにおいて、吊荷Ｗの上方から点群データＰを取得するレーザスキャナ６２と、を備えたデータ取得部６０と、カメラ６１の映像Ｍを表示するデータ表示部８０と、レーザスキャナ６２で取得した点群データＰに基づいて、カメラ６１の映像Ｍに重畳して表示するガイド情報ＧＤを生成するデータ処理部７０と、を備え、データ処理部７０は、レーザスキャナ６２で取得した点群データＰに基づいて地表面Ｆの基準高Ｈ０を推定するとともに、地表面Ｆの基準高Ｈ０に基づいてカメラ６１の撮影範囲（横幅ｗｈおよび縦幅ｗｖ）を算出し、カメラ６１の撮影範囲に基づいて、吊荷Ｗの動線を表すガイド情報ＧＤを生成する。
そして、このような構成のガイド情報表示装置では、吊荷Ｗの動線を正確に表したガイド情報ＧＤである作業半径線情報ＧＤ４および軸線情報ＧＤ５を表示することができる。

さらに、ガイド情報表示装置５０によって行うガイド情報ＧＤの表示には、吊荷Ｗと地物Ｃの接触を防止するための警報表示が含まれている。
データ処理部７０は、吊荷Ｗと地物Ｃを水平面に投影した際の水平距離が、所定の閾値（例えば、１ｍ）以下であり、かつ、鉛直方向の距離が所定の閾値（例えば、１ｍ）以下であった場合に、接触の恐れがあるものと判断する。

このときデータ処理部７０は、図３４に示すように、吊荷Ｗと接触する恐れがある地物Ｃのガイド枠ＧＤ１および高さ情報ＧＤ２を強調させる態様で、地物Ｃのガイド枠ＧＤ１および高さ情報ＧＤ２を出力する。あるいは、データ処理部７０は、地物Ｃのガイド枠ＧＤ１および高さ情報ＧＤ２を点滅させる態様で、地物Ｃのガイド枠ＧＤ１および高さ情報ＧＤ２を出力する。ガイド情報表示装置５０では、データ処理部７０によって、警報表示たる地物Ｃのガイド枠ＧＤ１および高さ情報ＧＤ２を出力し、データ表示部８０に表示することで、オペレータの注意を促すことができる。

また、ガイド情報表示装置５０では、データ処理部７０によってガイド情報ＧＤを生成するにあたって、図３５に示すように、吊荷Ｗとトップブーム部材２２ｆの間に除外領域ＪＡを設定する。そして、データ処理部７０は、当該除外領域ＪＡ内で取得された点データｐを、データ処理の対象から除外する構成としている。

除外領域ＪＡには、メインワイヤロープ２７が通過している。ガイド情報表示装置５０では、メインワイヤロープ２７をガイド情報ＧＤの生成対象（測定対象物）に含めないようにすることで、より正確で見やすいガイド情報ＧＤを提示する構成としている。尚、除外領域ＪＡは、吊荷Ｗのガイド枠ＧＤ１の生成に影響を及ぼさないように考慮して、その下端高さを、吊荷Ｗの上面から所定の距離だけ離れた位置に設定することが好ましい。

このような構成のガイド情報表示装置５０では、クレーン１のオペレータに対して、吊荷Ｗと吊荷Ｗの周辺に存在する地物Ｃについて、その形状を示すガイド枠ＧＤ１と、高さを示す高さ情報ＧＤ２・ＧＤ３を含むガイド情報ＧＤを的確に提示することができる。そして、このような構成のガイド情報表示装置５０を用いれば、例えば、オペレータが吊荷Ｗを直接視認することができない状況においても、オペレータは、ガイド情報表示装置５０によって提示されるガイド情報ＧＤに基づいて、効率よく、かつ、安全にクレーン１による作業を行うことができる。

１ クレーン
６１ カメラ
６２ レーザスキャナ
７０ データ処理部
Ｄ 離れ量
Ｆ 地表面
Ｐ 点群データ
ｐ 点データ
Ｓ 小領域
Ｗ 吊荷
Ｃ 地物
ＷＡ 吊荷領域
ｈ 距離

Claims (10)

1. ブームから垂下されるワイヤによって吊り下げられ、前記ブームの動作に応じて移動される吊荷の上方から、前記吊荷と地表面と、を少なくとも含む領域の映像を撮影するカメラと、
   前記領域において、前記吊荷の上方から点群データを取得するレーザスキャナと、
   を備えたデータ取得部と、
   前記カメラの映像を表示するデータ表示部と、
   前記レーザスキャナで取得した点群データに基づいて、前記カメラの映像に重畳して表示するガイド情報を生成するデータ処理部と、を備え、
   前記データ処理部は、前記レーザスキャナで取得した点群データに基づいて前記地表面の基準高を推定するとともに、前記地表面の基準高に基づいて前記カメラの撮影範囲を算出し、前記カメラの撮影範囲に基づいて、前記吊荷の動線を表す前記ガイド情報を生成する、
   ことを特徴とするガイド情報表示装置。
2. 前記データ処理部は、前記ガイド情報として、前記カメラの撮影範囲に基づいて、前記ブームの旋回中心の位置を基準とした前記吊荷の旋回方向への動線を表す作業半径線情報を生成する、
   ことを特徴とする請求項１に記載のガイド情報表示装置。
3. 前記データ処理部は、前記ガイド情報として、前記カメラの撮影範囲に基づいて、前記ブームの旋回中心と前記データ取得部の位置とを基準とした前記吊荷の前記ブームの軸線方向への動線を表す軸線情報を生成する、
   ことを特徴とする請求項１または請求項２に記載のガイド情報表示装置。
4. 前記データ処理部は、
   前記ガイド情報を破線によって出力し、かつ、該破線の長さおよび間隔を前記地表面の基準高に基づいて算出した前記カメラの撮影範囲に応じて設定する、
   ことを特徴とする請求項１から請求項３の何れか一項に記載のガイド情報表示装置。
5. 前記データ処理部は、
   前記領域を、平面視において格子状に分割し、同一形状で、かつ、同一面積を有する複数の小領域を生成し、
   前記小領域において、前記レーザスキャナのレーザ中心位置からの鉛直方向の距離が最大である点データを抽出し、
   前記小領域において、前記距離が最大である点データに対する他の点データの前記距離の離れ量を算出するとともに、前記距離の離れ量が所定の閾値以下である点データを、地表面を構成する点データとして抽出し、
   前記地表面を構成する点データに基づいて前記小領域における前記地表面の基準高を推定する、
   ことを特徴とする請求項１から請求項４の何れか一項に記載のガイド情報表示装置。
6. 請求項１から請求項５の何れか一項に記載のガイド情報表示装置を備える、
   ことを特徴とするクレーン。
7. カメラによって、ブームから垂下されるワイヤによって吊り下げられ、前記ブームの動作に応じて移動される吊荷の上方から、前記吊荷と地表面と、を少なくとも含む領域を撮影する撮影工程と、
   レーザスキャナによって、前記吊荷の上方から、前記領域において点群データを取得する点群データ取得工程と、
   前記レーザスキャナで取得した点群データに基づいて、前記カメラの映像に重畳して表示するガイド情報を生成するデータ処理手段によって、
   前記点群データに基づいて前記地表面の基準高を推定する地表面推定工程と、
   前記地表面の基準高に基づいて前記カメラの撮影範囲を算出する撮影範囲算出工程と、
   前記カメラの撮影範囲に基づいて、前記吊荷の動線を表す前記ガイド情報を生成する動線情報生成工程と、
   を備える、
   ことを特徴とするガイド情報の生成方法。
8. 前記動線情報生成工程において、
   前記ガイド情報として、前記カメラの撮影範囲に基づいて、前記ブームの旋回中心の位置を基準とした前記吊荷の旋回方向への動線を表す作業半径線情報を生成する、
   ことを特徴とする請求項７に記載のガイド情報の生成方法。
9. 前記動線情報生成工程において、
   前記ガイド情報として、前記カメラの撮影範囲に基づいて、前記ブームの旋回中心と前記カメラの位置とを基準とした前記吊荷の前記ブームの軸線方向への動線を表す軸線情報を生成する、
   ことを特徴とする請求項７または請求項８に記載のガイド情報の生成方法。
10. 前記データ処理手段によって、
    前記ガイド情報を破線によって出力し、かつ、該破線の長さおよび間隔を前記カメラの撮影範囲に応じて設定する動線情報表示工程を、
    さらに備える、
    ことを特徴とする請求項７から請求項９の何れか一項に記載のガイド情報の生成方法。

Images