JP4727068B2 - 施工監視システム、施工管理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、ダムや発電所のような大規模構造物や宅地造成等の製作・施工作業に用いて好適な画像測定表示装置、画像測定表示システム、施工管理方法に関し、特に製作・施工担当者が設計図どおりに製作・施工できているか容易に把握できるものに関する。また、本発明は、施工管理事務所にて製作・施工対象物の製作・施工状態を把握する画像測定表示装置、画像測定表示システム、施工管理方法に関し、特に製作・施工対象物の詳細な計測と設計図との比較を正確に行えるものに関する。さらに、本発明は、毎日の製作・施工作業の進捗状況を正確に把握して、施工計画に適合するように製作・施工作業を再計画するのに有益な施工状態監視システムに関する。
【０００２】
【従来の技術】
従来は、土木関係において、施工する際に設計図通りに作業するために、設計形状を示す縄や目印となるもの（位置、向き等）をいわゆる丁張として作業者が設置し、その丁張を目安として作業を進めていた。近年では、一歩進めた方法として施工作業をするパワーショベルやブルドーザのような作業機械にセンサーをとりつけ、水平位置をレーザーで作業者がモニターしながら作業したり、あるいは自動制御しながら施工する方法が開発されている（例えば、本出願人の提案にかかる特開平１１−２３６７１６号公報参照）。また、遠隔操作により監視カメラで施工状態を撮影し、監視カメラによる施工状態撮影画像と設計画像を重ねて、施工担当者による施工を行おうという提案も行われている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述の施工管理手法によれば、施工担当者にとって実際に設計図通りに施工していくのが難しく、時間がかかると同時に修正が多かった。
▲１▼ 丁張を設置する方法では、設計図との大まかな比較しかできないため概略しかわからず、さらに施工現場によっては地形が急峻で設置の難しい場合も多い。
また丁張設置作業も作業者が行わざるを得ず、特に地山の状態では非常に時間の係る場合も少なくない。
▲２▼ レーザーを利用する方法では、水平位置の制御を主目的としており、傾斜地や法面の施工には補助機器が必要である。この補助機器の設置において、地山の状態により地形が急峻で設置の難しい場合も多いことは丁張設置と同様である。
▲３▼ 監視カメラにより遠隔操作にて施工状態を撮影して、撮影画像と設計図と比較して施工する方法は、その設計図であるＣＧ(Computer Graphics)画像と実画像を重ね合わせが旨く行かず、設計画像が実画像に埋もれてしまいよく見えないという課題がある。また、施工担当者にとって更なる問題は、カメラの撮影する画像の視点が、実際に作業機械を操作する施工担当者の視点とかなり相違しているため、撮影画像と設計図の相違を少なくするように作業機械を操作する為には、かなりの熟練を要するという課題があった。
【０００４】
他方、施工管理担当者においては、日々の施工状態の進捗状況を把握することが難しく、現在の状態から、現在ならびに今後の工数や施工状態、施工予定等を迅速に把握し決定することが困難であるという課題があった。大規模構造物の製作・施工作業においては設備投資額も高額になるため、納期や工期を確実に守ることが施主に対して必要となり、大規模構造物の受注条件に適合するように施工管理することは極めて大切である。
【０００５】
本発明は、上述する課題を解決するもので、第１の目的は製作・施工対象物の詳細な計測と設計図との比較を正確に行える画像測定表示装置を提供することである。第２の目的は、製作・施工担当者が設計図どおりに製作・施工できているか容易に把握でき、設計図どおりの施工が簡便に行なうことを可能とする画像測定表示装置を提供することである。第３の目的は、毎日の製作・施工作業の進捗状況を正確に把握して、施工計画に適合するように製作・施工作業を柔軟に構築するのに有益な施工状態監視システムを提供することにある
【０００６】
【課題を解決するための手段】
前記第１の目的を達成する画像測定表示装置に関する第１の発明は、図１又は図２１に示すように、画像撮影部２２０で撮影した対象物の一対のステレオ画像から対象物の形状データを測定する形状測定部３５０と、対象物の画像に関連した目標データを記憶する記憶部３４０と、対象物の一対のステレオ画像と前記目標データに基づく前記対象物のステレオ目標データ画像とを重畳させて表示する画像表示部３３０、１１０ａと、前記対象物の形状データと前記目標データとを比較し、画像表示部３３０、１１０ａの前記重畳させた表示において前記比較結果を反映させる比較表示処理部３６０を備えている。
【０００７】
このように構成された装置においては、形状測定部３５０により画像撮影部２２０で撮影した対象物の一対のステレオ画像から対象物の形状データを測定することで、施工現場の施工状況を遠隔測定している。記憶部３４０には、対象物の画像に関連した目標データが記憶されており、施工現場の完成目標となる目標データが格納されている。画像表示部３３０、１１０ａは、対象物の一対のステレオ画像と前記目標データに基づく前記対象物のステレオ目標データ画像とを重畳させて表示するもので、例えば作業機械の操縦室や作業機械から離れた作業管理者の近傍に配置される。比較表示処理部３６０、１２０ａは、前記対象物の形状データと前記目標データとを比較し、画像表示部３３０、１１０ａの重畳させた表示において比較結果を反映させるもので、作業者又は作業管理者はこの比較結果の重畳表示によって施工現場の現況と目標データとの関連性を容易に把握できる。
【０００８】
前記第１の目的を達成する画像測定表示装置に関する第２の発明は、図１又は図２１に示すように、画像撮影部２２０で撮影した対象物の一対のステレオ画像から対象物の形状データを測定する形状測定部３５０と、画像撮影部２２０の撮影位置を測定するカメラ位置取得部２５０及び自動追尾式測量機２５２が相当する撮影位置測定部と、対象物の画像に関連した目標データを記憶する記憶部３４０と、撮影位置測定部（２５０、２５２）で測定された撮影位置に基づき、前記対象物の画像と前記目標データに基づく目標データ画像とを重畳させて表示する画像表示部３３０、１１０ａと、撮影位置測定部（２５０、２５２）で測定された撮影位置に基づき、前記対象物の形状と前記目標データに対応する目標データ対応形状とを比較し、画像表示部３３０、１１０ａの重畳させた表示において前記比較結果を反映させる比較表示処理部３６０、１２０ａとを備えている。
【０００９】
このように構成された装置においては、撮影位置測定部（２５０、２５２）にて画像撮影部２２０の撮影位置を測定している。そこで、画像表示部３３０、１１０ａや比較表示処理部３６０、１２０ａの対象物の形状と前記目標データに対応する目標データ対応形状の比較や重ね合わせにおいて、撮影位置測定部（２５０、２５２）で測定された撮影位置情報を用いることで、重ね合わせに必要とされる画像変換処理が円滑に行える。
【００１０】
好ましくは、第１および第２の発明において、比較表示処理部３６０、１２０ａによる前記比較結果の反映は、前記対象物の形状と前記目標データ対応形状との比較結果が略一致した個所について、画像表示部３３０、１１０ａに前記略一致した個所を識別可能に表示されるように構成されていると、目標データに到達したか否かを基準とする施工状態が容易に分かる。好ましくは、第１および第２の発明において、比較表示処理部３６０、１２０ａの比較結果として前記対象物と前記目標データとの距離又は間隔を対応させ、前記対象物と前記目標データとの大小関係を識別可能に画像表示部３３０、１１０ａにて表示されるように構成されていると、前記対象物と前記目標データとの大小関係を用いて施工状態が目標データに到達したか否かを容易に判別できる。好ましくは、第１および第２の発明において、比較表示処理部３６０、１２０ａ並びに画像表示部３３０、１１０ａの目標データとして、前記対象物の施工段階ごとの中間目標データを設定する中間目標データ設定手段３７０を備え、比較表示処理部３６０、１２０ａは、前記対象物の形状と前記中間目標データに対応する中間目標データ対応形状とを比較するように構成されていると、日々の作業の進捗状態に合わせた的確な中間目標データが作業担当者や作業管理者に把握できる状態で表示される。
【００１１】
前記第２の目的を達成する画像測定表示装置に関する第３の発明は、図１に示すように、画像撮影部２２０で撮影した対象物の一対のステレオ画像から対象物の形状データを測定する形状測定部３５０と、対象物の画像に関連した目標データを記憶する記憶部３４０と、目標データに関連した対象物を目視できる状態で、前記目標データに基づく前記対象物のステレオ目標データ画像を重畳させて表示する画像観察部１１０と、形状測定部３５０で測定された対象物の形状と前記目標データに対応する形状とを比較し、画像観察部１１０のステレオ目標データ画像表示において前記比較結果を反映させる比較観察表示処理部１２０とを備えている。
【００１２】
このように構成された装置においては、形状測定部３５０により画像撮影部２２０で撮影した対象物の一対のステレオ画像から対象物の形状データを測定することで、施工現場の施工状況を遠隔測定している。記憶部３４０には、対象物の画像に関連した目標データを記憶されており、施工現場の完成目標となる目標データが格納されている。画像観察部１１０は、目標データに関連した対象物を目視できる状態で、目標データに基づく前記対象物のステレオ目標データ画像を重畳させて表示する。比較観察表示処理部１２０は、形状測定部３５０で測定された対象物の形状と前記目標データに対応する形状とを比較し、画像観察部１１０のステレオ目標データ画像表示において前記比較結果を反映させる。
【００１３】
前記第２の目的を達成する画像測定表示装置に関する第４の発明は、図１に示すように、画像撮影部２２０で撮影した対象物の一対のステレオ画像から対象物の形状データを測定する形状測定部３５０と、画像撮影部２２０の撮影位置を測定する撮影位置測定部（２５０、２５２）と、対象物の画像に関連した目標データを記憶する記憶部３４０と、撮影位置測定部（２５０、２５２）で測定された撮影位置に基づき、目標データに関連した対象物を目視できる状態で、前記目標データに基づく前記対象物のステレオ目標データ画像を重畳させて表示する画像観察部１１０と、撮影位置測定部（２５０、２５２）で測定された撮影位置に基づき、形状測定部３５０で測定された対象物の形状と前記目標データに対応する形状とを比較し、画像観察部１１０のステレオ目標データ画像表示において前記比較結果を反映させる比較観察表示処理部１２０とを備えている。
【００１４】
このように構成された装置においては、撮影位置測定部（２５０、２５２）にて画像撮影部２２０の撮影位置を測定している。そこで、画像観察部１１０や比較観察表示処理部１２０の対象物の形状と前記目標データに対応する目標データ対応形状の比較や重ね合わせにおいて、撮影位置測定部（２５０、２５２）で測定された撮影位置情報を用いることで、ステレオ目標データ画像表示を現実の対象物の見える像を重ね合わせるのに必要とされる画像変換処理が円滑に行える。
【００１５】
好ましくは、第３および第４の発明において、画像観察部１１０はヘッドアップディスプレイ又はヘッドマウントディスプレイの少なくとも一方を含む構成とすると、作業担当者の肉眼で対象物を見ながらステレオ目標データ画像を見ることが視線を動かすことなく容易に行える。好ましくは、第３および第４の発明において、比較観察表示を行うための画像を形成する画像処理部１２０による前記比較結果の反映は、前記対象物の形状と前記目標データ対応形状との比較結果が略一致した個所について、画像観察部１１０に前記略一致した個所を識別可能に表示するように構成されていると、目標データに到達したか否かを基準とする施工状態が容易に分かる。好ましくは、第３および第４の発明において、比較観察表示を行うための画像を形成する画像処理部１２０の比較結果として前記対象物と前記目標データとの距離又は間隔を対応させ、前記対象物と前記目標データとの大小関係を識別可能に画像観察部１１０にて表示するように構成されていると、前記対象物と前記目標データとの大小関係を用いて施工状態が目標データに到達したか否かを容易に判別できる。
【００１６】
前記第１および第２の目的を達成する画像測定表示システムに関する第５の発明は、図１に示すように、対象物の一対のステレオ画像を取得する画像撮影部２２０と、画像撮影部２２０で取得した画像を表示する画像観察部１１０と、前記対象物の画像に関連した目標データを記憶する記憶部３４０、前記画像撮影部で得た対象物の画像に基づき画像処理を行う画像演算処理部３２０を含む施工状態計測装置３００とを備え、画像撮影部２２０、画像観察部１１０並びに施工状態計測装置３００間でデータの授受を行う画像測定表示システムに関する。施工状態計測装置３００は、さらに、画像撮影部２２０で得た前記対象物の一対のステレオ画像から対象物の形状を測定する形状測定部３５０と、形状測定部３５０で測定された対象物の形状と前記目標データに対応する形状とを比較する比較表示処理部３６０とを備えている。画像観察部１１０は、画像撮影部２２０で得られた対象物の画像と施工状態計測装置３００から送られてきた前記目標データに基づく目標データ画像とを重畳させて表示するように構成されている。
【００１７】
好ましくは、画像撮影部２２０を含む監視ユニット２００、画像観察部１１０を含む施工表示装置１００、並びに施工状態計測装置３００間でデータの授受は、無線、光通信、インターネット、電線のいずれか一つを用いると既設の通信インフラを利用できて好ましい。
【００１８】
前記第２の目的を達成する施工管理方法に関する第６の発明は、図４に示すように、施工表示装置１００の三次元位置を撮影位置測定部（２５０、２５２）により求め（Ｒ１０）、マルチステレオ画像にて距離画像をリアルタイムで面的に取得し（Ｒ１０）、施工表示装置１００の三次元位置により目標データと施工中の対象物のステレオ画像を重ね合わせて表示し（Ｓ４０、Ｓ６０）、目標データと施工中の対象物に関するステレオ画像の偏差情報に基づいて、作業機械の作業を行わせる（Ｒ４０、Ｒ５０）工程を含むものである。
【００１９】
前記第１の目的を達成する施工管理方法に関する第７の発明は、図４に示すように、施工表示装置１００の三次元位置を撮影位置測定部（２５０、２５２）により求め（Ｒ１０）、マルチステレオ画像にて距離画像をリアルタイムで面的に取得し（Ｒ１０）、前記マルチステレオ画像の計測を行い（Ｓ５０）、目標データと施工中の対象物の現況から施工進行状況を解析し（Ｓ７０）、前記目標データを実現する施工計画を施工進行状況の解析結果に基づいて随時更新する（Ｓ８５）、工程を含むものである。
【００２０】
前記第３の目的を達成する施工状態監視システムに関する第８の発明は、図１に示すように、段落０００６〜段落００１０に記載の画像測定表示装置（施工表示装置１００、監視ユニット２００、施工状態計測装置３００）と、比較表示処理部３６０の比較結果から、対象物を目標データに加工又は処理を行うまでの作業関連データを算定する施工計画立案修正手段３８０とを備える。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号又は類似符号を付し、重複した説明は省略する。図１は本発明に係る施工表示装置と施工状態計測装置とを備える施工監視システム全体の構成ブロック図である。施工表示装置１００は、施工現場にて稼動する作業機械の操縦席に設置されたり、施工現場の現場監督者や作業者がヘルメットに装着したりするもので、施工現場の現況と設計図に基づく作業目標とを容易に対比できるようにしている。監視ユニット２００は施工現場の現況を撮影するもので、施工表示装置１００を利用する作業機械若しくは作業者が施工している状態を監視できる位置に配置する。
【００２２】
施工状態計測装置３００は、例えば施工管理事務所に設置されるもので、予め設計図あるいは予想される最終結果の三次元データ（以下「目標データ」という）を記録している。そして、施工現場に設置された監視ユニット２００から撮影された現場状況のステレオ画像を読込んで、詳細な計測演算処理を行い、目標データと比較して施工計画、見積もり等の策定を行う。ここで、施工管理事務所は、実際の施工現場とは遠く離れた遠隔地や、施工現場の近くに設置されている建屋に設けられる。また、施工現場とは対象物に対して実際に施工を行おうとする場所で、例えば法面工事、用地造成工事、遺跡発掘工事、防災工事等が施工される現場である。
【００２３】
施工表示装置１００は、画像観察部としての実像／仮想画像観察部１１０、比較観察表示処理部としての画像視点変換演算を行う画像処理部１２０、姿勢センサ１３０、データ送受信部１４０、施工位置取得部１５０を備えている。実像／仮想画像観察部１１０には、光学的透視画像(Optical See-Trough)タイプのＨＵＤ（ヘッドアップディスプレイ）又はＨＭＤ（ヘッドマウントディスプレイ）を用いると良い。光学的透視画像タイプは、実際に施工する場所を見ている施工担当者の視野に目標データ画像としてのＣＧ画像が合成される構成で、ＣＧ画像が虚像ではないため、施工担当者が違和感無くリアルタイムで作業するのに適している。
【００２４】
画像処理部１２０は、姿勢センサ１３０で測定した施工表示装置１００の姿勢と、施工位置取得部１５０で取得した施工表示装置１００の三次元位置とを用いて、施工状態計測装置３００から送信された目標データ画像としてのＣＧ画像を施工担当者の視点基準に変換する。さらに画像処理部１２０では、作業機械にて対象物を施工している作業者の視点に準拠して、目標データ画像としてのＣＧ画像を位置あわせして、実像／仮想画像観察部１１０に送る。これにより、実像／仮想画像観察部１１０では作業者の視野中で目標データ画像としてのＣＧ画像が対象物の実像に重ね合わされた状態で表示される。
【００２５】
姿勢センサ１３０は、施工表示装置１００の姿勢、例えば上下、左右、前後のような３軸の角度を測定する。データ送受信部１４０においては、監視ユニット２００からの画像や、施工状態計測装置３００からの設計画像、データ、自動追尾式測量機２５２やＧＰＳからの三次元座標を受信する。
【００２６】
施工位置取得部１５０は、施工表示装置１００の三次元位置を取得するもので、例えばＧＰＳ(Global Positioning System)、移動体通信における携帯端末の位置検出サービス、自動追尾式測量機と追尾用ターゲットを組合せたもの等がある。自動追尾式測量機は、例えば本出願人の提案にかかる特開平６−３０７８５３号公報に開示されている。追尾用ターゲットは、プリズムや反射シートなどを用いる。さらに、姿勢センサ１３０に加速度計とジャイロを組み合わせ、移動方向と移動距離を検出できるようにすることで、基準位置に対する相対的移動距離を検出して、補助的に三次元位置を取得してもよい。
【００２７】
監視ユニット２００は、施工状態を常に撮像している施工用ステレオカメラ２１０、画像撮影部としての計測用ステレオカメラ２２０、動画像処理部２３０、データ送受信部２４０、撮影位置測定部としてのカメラ位置取得部２５０を備えている。
【００２８】
自動追尾式測量機２５２を使用する場合、カメラ位置取得部２５０としては反射用プリズムもしくは反射シート等を監視ユニット２００に装着する。自動追尾式測量機２５２によって監視ユニット２００の位置を取得し、その位置データをデータ送受信部２４０で受け取る。受け取った位置データは、取得されたステレオカメラの画像と同期させてデータ送受信部２４０から施工状態計測装置３００のデータ送受信部３１０に送信する。こうすることで、監視ユニット２００と施工表示装置１００の位置関係がわかり、目標データ画像と施工画像の位置あわせが容易に可能となる。
【００２９】
施工用ステレオカメラ２１０は、作業中に目標データと比較するためにリアルタイムで施工中に対象物との距離を面的に計測するものである。計測用ステレオカメラ２２０は、施工の結果、施工前後の状態を詳細に計測し、見積もり、計画等策定のために使用するもので、計測精度の関係から施工用ステレオカメラ２１０より高精細なものを用意する。また、精度の問題から計測用ステレオカメラ２２０は基線（カメラ間距離）を長くとる必要があるが、施工用ステレオカメラ２１０は、施工状態をリアルタイムで監視、施工し、対象物までの距離を求める目的に沿う精度で足りる。従って施工用ステレオカメラ２１０の基線は、計測用ステレオカメラ２２０の基線に比較して、長くする必要がない。
【００３０】
精度の要求されないような対象物によっては、施工用ステレオカメラ２１０と計測用ステレオカメラ２２０を同一のものとしてもよい。しかし、機能としては、施工用ステレオカメラ２１０と計測用ステレオカメラ２２０にわけて使用するため、それらのステレオ画像処理はそれぞれ異なるものとなる。また、計測用ステレオカメラ２２０、施工用ステレオカメラ２１０共にカメラは２つ以上、複数個を利用してマルチステレオとしてよい。２個以上使用することで、オクリュージョン（隠蔽）の問題を回避でき、また信頼性を高めることが可能となる。
【００３１】
施工状態計測装置３００は、データ送受信部３１０、画像処理部としての画像演算処理部３２０、画像表示部としての映像／仮想画像表示部３３０、記憶部としての三次元目標データ記憶部３４０、形状測定部としてのステレオ画像形状測定部３５０、比較表示処理部としての目標データ比較表示処理部３６０、中間目標データ設定手段３７０並びに施工計画立案修正手段３８０を備えている。
【００３２】
データ送受信部３１０は、施工表示装置１００とデータをインタラクティブに通信にてやりとりするもので、インターネット接続可能なＰＨＳ(Personal Handy-phone System)、移動体通信端末、固定通信端末等、画像データをやりとりできるものであれば良い。画像データとしては、静止画像のほかに動画情報を加えても良い。画像演算処理部３２０はパソコン等のコンピュータから構成されるもので、施工現場の監視ユニット２００から送られてきたステレオ画像をステレオ画像形状測定部３５０により詳細に三次元計測させる。さらに、画像演算処理部３２０は、施工現場の監視ユニット２００から送られてきたステレオ画像と、三次元目標データ記憶部３４０に用意された目標データ画像とを画像変換処理して、同一縮尺同一座標系にて比較できるように画像変換処理する。
【００３３】
映像／仮想画像表示部３３０は、実際の施工現場で計測したステレオ画像と目標データ画像としてのＣＧ画像を三次元で合成して重ね合わせ表示するもので、映像透視型(Video See-Trough type)を用いる。映像透視型とは、計測用ステレオカメラ２２０で撮影された実画像とコンピュータで作成された目標データを表すＣＧ画像を重ね合わせて観察者に表示するものである。映像／仮想画像表示部３３０としては、３Ｄモニタ、３Ｄプロジェクタ、ＨＵＤ、ＨＭＤ、ホログラム等、３Ｄ表示可能なものであれば良い。ステレオ画像形状測定部３５０は、データ送受信部３１０から送られてきたステレオ画像データを三次元計測する。三次元計測の詳細は、例えば図７に示すステレオ画像計測にて説明されている。
【００３４】
目標データ比較表示処理部３６０は、計測用ステレオカメラ２２０の撮影した施工現場のステレオ画像と三次元目標データ記憶部３４０に用意された目標データ画像としてのＣＧ画像とを比較演算して、対象物の形状データと目標データとを比較し、映像／仮想画像表示部３３０の重畳させた表示において比較結果を反映させる。比較結果の反映には、例えば図１２に示す計測比較処理フローを用いる。中間目標データ設定手段３７０は、対象物の施工段階毎の中間目標データを設定する。中間目標データは、例えば日々の施工目標に適合させて設定しても良く、また工程管理における中間目標毎に設けても良い。施工計画立案修正手段３８０は、目標データ比較表示処理部３６０の比較結果から、対象物を目標データに加工又は処理を行うまでの作業関連データを算定するもので、三次元目標データ記憶部３４０に記憶された目標データを参照している。
【００３５】
図３は、施工表示装置の施工現場での第１の使用形態を表す構成ブロック図である。図２は、施工表示装置の施工現場での使用形態を表す構成斜視図である。施工表示装置１００は、施工を行うパワーシャベル等の作業機械、あるいは施工作業者にとりつけられる。施工表示装置１００は、施工する視点の画像と設計画像、監視ユニット２００の画像位置合わせのために、自動追尾式測量機２５２にて三次元位置を常に計測されている。軌道周回衛星からの電波が受信できるところであれば、自動追尾式測量機２５２のかわりにＧＰＳを施工位置取得部１５０として使用してもよい。施工範囲が広大でない限りは、自動追尾式測量機を利用した方がその取得位置精度は高く信頼性が高いものとなる。自動追尾式測量機とＧＰＳの何れを採択するかは、施工条件により適宜選択する。
【００３６】
次に、本発明の実施の形態における処理手続きの流れをフローチャートによって説明する。図４は、本発明の実施の形態における処理手続きの流れを示すフローチャートである。ここでは、施工現場の配置は図２及び図３に準拠している場合として説明し、施工位置取得部１５０及びカメラ位置取得部２５０として自動追尾式測量機を用いる例で説明する。なお、施工位置取得部１５０及びカメラ位置取得部２５０としてＧＰＳを使用する場合は、施工表示装置１００と監視ユニット２００の位置を画像と同期させてＧＰＳデータを送信すればよい。ここで、ＧＰＳデータとはＧＰＳ軌道周回衛星からの電波信号を受信した場所の緯度、経度並びに標高を示すものである。
【００３７】
まず、施工管理事務所では、予め用意された施工完了後の対象物に関する三次元目標データを、施工状態計測装置３００の三次元目標データ記憶部３４０に記憶する（Ｓ１０）。他方、施工現場においては、自動追尾式測量機２５２にて監視ユニット２００、施工表示装置１００、そして施工対象に配置された基準点を計測する（Ｒ１０）。さらに、作業担当者は対象物の施工前の状態を計測用ステレオカメラ２２０にて撮影する。そして、施工表示装置１００は自動追尾式測量機２５２にて計測された位置情報をデータ送受信部１４０にて送信する（Ｒ２０）。また監視ユニット２００は対象物の施工前の画像データをデータ送受信部２４０にて送信する（Ｒ２０）。
【００３８】
すると、施工状態計測装置３００側では、データ送受信部３１０にて施工表示装置１００から送信されたデータを受信する（Ｓ２０）。そして、施工状態計測装置３００は、施工前の現場のステレオ画像作成を行う（Ｓ３０）。ここで、計測用ステレオカメラ２２０は予め基線がわかっているので、その位置関係により立体視可能なステレオ画像が作成できる。あるいは、基線がわかっていなくとも、基準点データを利用すれば、標定処理を行うことにより立体視可能なステレオ画像が作成できる。ここで、標定処理とは航空写真測量などにおいて立体視を行う為の準備処理で、カメラの位置と傾きを求めるものであり、基準点は６点以上あればよい。また、立体視可能なステレオ画像とは、縦視差が除去されていて、対象物に対して平行な画像で、航空写真測量などでは偏位修正画像と呼ばれている。
【００３９】
次に、施工状態計測装置３００は、目標データ画像と現場画像の画像位置あわせと合成を行う（Ｓ４０）。この場合、自動追尾式測量機２５２による基準点データからステレオ画像の絶対座標系がわかるので、座標系を変換することで重ね合わせが可能となる。
【００４０】
次に、施工状態計測装置３００はステレオ画像計測並びに解析を行う（Ｓ５０）。ステレオ画像計測の詳細については図７を用いて後で説明する。続いて、施工状態計測装置３００は、三次元表示を映像／仮想画像表示部３３０にて行う（Ｓ６０）。この際に、目標データのステレオ画像と計測用ステレオカメラ２２０のステレオ画像とを、見たい視点側における基線長（計測用ステレオカメラ２２０間の間隔）Ｂ、撮影距離Ｈ、並びにレンズの焦点距離ｆの場合に変換して表示する。なお、計測用ステレオカメラ２２０の視点に代えて、施工用ステレオカメラ２１０の視点や施工表示装置１００の視点を用いても良い。
【００４１】
画像演算処理部３２０における画像変換処理について説明する。画像演算処理部３２０では、図７に示すような座標系ｘｙｚを用いるとする。すると、前後左右方向ｘ、ｙの分解能をΔｘｙ、奥行き方向ｚの分解能をΔｚとすれば、以下の関係式が成立する。
Δｘｙ＝Ｈ・δｐ／ｆ
Δｚ＝Ｈ^２・δｐ／（Ｂ・ｆ）
ここでδｐは画素分解能である。これにより、目標データのステレオ画像と計測用ステレオカメラ２２０のステレオ画像とを、施工担当者の視点で比較できる。
【００４２】
次に、施工状態計測装置３００は、目標データと対象物の現況データとを比較・検討する（Ｓ７０）。再構築像は、対象物の現況データを表す計測用ステレオカメラ２２０のステレオ画像を、画像演算処理部３２０により画像変換処理した画像である。再構築像から容積や正確な形状寸法がわかるため、対象物と目標データとの比較が可能となる。土工量であれば、目標データと差分をとることにより、どのくらいの量を施工するのかが定量的に把握することができる。また形状を比較することで、施工の進め方や方法が検討できる。また土工量とかかった作業量から、予定作業量等も把握検討できる。
【００４３】
続いて、施工状態計測装置３００は、目標データと比較して、全作業が終了していれば、Ｓ１００へ進み、終了していなければＳ８５へいく（Ｓ８０）。Ｓ８５では、施工計画立案修正手段３８０により次の施工データを設定する。すなわち、次に作業を行いたい位置データを設定する。この位置データは、最初から最終段階の設計図から得た目標データでも良いか、例えばＳ７０で検討した結果から、次の作業量を決めてその位置を次の作業の最終目標（図面）として、三次元目標データを設定してもよい。このようにすると、日々の作業量が明確になり、計画通り進めることが可能となる。そして、施工状態計測装置３００は、これら解析データを現場に送信する（Ｓ９０）。
【００４４】
次に、施工現場では、施工状態計測装置３００から送信された解析データを施工表示装置１００にて受け取る（Ｒ３０）。そして、解析データにより施工準備を行う（Ｒ４０）。作業機械若しくは施工担当者は施工予定位置へ移動して、施工を行う（Ｒ５０）。Ｒ５０での詳細は、後述の図８に示すリアルタイム施工フローにて詳細に説明する。そして、施工が終了すればＲ１０に戻って、施工結果を計測し、施工結果を目標データとしての設計図とを比較して検討する。終了しなければ施工を継続し、施工が終了するまでＳ２０〜Ｓ９０並びにＲ１０〜Ｒ５０のルーチンを繰り返す。
【００４５】
全作業終了の場合には、施工管理事務所では計測したデータから、作業量全体をまとめる（Ｓ１００）。例えば、施工状態計測装置３００を利用して、日数や施工量、工数、使用機材、その他まとめ、算出する。そして、施工管理事務所では作業報告書を作成する（Ｓ１１０）。このようにして、施工状態計測装置３００により、施工作業の日々の進捗状況から最終結果までを系統的に視覚的、定量的に管理できるようになるため、施工計画にたいし、進行状況、見積もり、その他が容易に行われる。例えば、計画に対し遅れているときの対策なども適切に行うことができるようになる。
【００４６】
図５はステレオ画像計測の詳細を説明する流れ図で、ステレオ画像計測は図４のＳ５０にて示されている。まず、Ｓ３０により作成された偏位修正画像を利用して、ステレオマッチングを行う（Ｓ５２）。ステレオマッチングには画像相関処理等のアルゴリズムを使用することができる。ここでは、特に精度が必要なため、画像相関処理のなかでも正規化相関処理を利用する。
【００４７】
［正規化相関処理の説明］
図６は正規化相関処理の説明図である。図に示すように、例えば右画像上のＮ１×Ｎ１画素領域の位置を左画像上で探索したいとき、このＮ１×Ｎ１画素の画像をテンプレート画像として、左画像上の対応領域を検出する。標定及び偏位修正処理がなされていれば、左画像上の同一ライン上のみを探索することで対応点を検出することができる。
【００４８】
探索領域（左画像）において、下式のＣ(a,b)が最大になるようなテンプレート画像の位置を求めて、テンプレート画像に対し探索されたとみなす。
【数１】

ただし、
【数２】

なお、左画像、右画像のテンプレート、探索領域は逆でもよい。また、マルチステレオ画像の場合は、ステレオペアごとに前記処理をペア分行って、対応領域を決定する。そして、ステレオマッチングの結果により、各画像上の三次元座標を算出する（Ｓ５４）。
【００４９】
［ステレオ画像計測の原理］
図７はステレオ画像計測の原理説明図である。物体上の任意の点ｐ（ｘ、ｙ、ｚ）は、カメラレンズ１を経由して画像１に点Ｐ１（ｘ１、ｙ１）として投影され、カメラレンズ２を経由して画像２に点Ｐ２（ｘ２、ｙ２）として投影されている。画像１、２は予め標定及び偏位修正がなされており、それぞれの光軸ｚ１、ｚ２は平行でカメラレンズ１、２の主点からＣＣＤ(Charge Coupled Device)面までの距離ａが等しく、ＣＣＤは光軸に直角に置かれているように変換されている。２つの光軸間距離（基線長）をＢとすると、点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。
【００５０】
ｘ１＝ａｘ／ｚ −−−（１）
ｙ１＝ｙ２＝ａｙ／ｚ −−−（２）
ｘ２−ｘ１＝ａＢ／ｚ −−−（３）
但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラ１のレンズ主点にとるものとする。（３）式よりｚを求め、これを用いて（１）式、（２）式よりｘ、ｙが求められる。すなわち、Ｓ５２の処理で、左右画像の対応点（ｘ１、ｘ２）が求まっているので、カメラ１のレンズ主点から物体上の任意の点ｐまでの距離ｚが求められる。
【００５１】
図５に戻り、求められた三次元座標により、計測対象の再構築を行う（Ｓ５６）。すなわち、正規化相関処理やステレオ法により求められた各三次元座標を、施工現場の現況に即して結び合わせることにより、ワイヤーフレーム等の表現が可能となり、土工量のような容積等が求められるようになる。次に、目標データ画像と再構築画像の重ね合わせを行う。これは、施工現場に設けられた位置座標が既知の基準点データにより、施工に必要な実際の寸法に変換するものである（Ｓ５８）。このようにして、ステレオ画像計測が行われる。
【００５２】
図８は、施工現場で行われるリアルタイム施工フローについての説明図で、リアルタイム施工フローは図４のステップＲ５０に示してある。施工表示装置１００では、図４のＲ３０にて受信された解析データと、施工表示装置１００の三次元位置及び姿勢センサ１３０のデータにより、画像を施工表示装置１００の視点位置に画像処理部１２０により変換する（Ｒ５２）。この場合、送信されたデータが施工表示装置１００の視点に変換してあれば変換する必要はない。
【００５３】
次に、実像／仮想画像観察部１１０により三次元表示を行う（Ｒ５４）。図９は施工前の合成された画像の一例を示す図である。実像／仮想画像観察部１１０の三次元表示画像は、まだ施工前なので図９のように当初地形データが実線で表され、目標データは破線で示されている。ここでは、目標データは四角錐台形状をしており、当初地形データは目標データよりも大きな台地形状をしている。そして、施工が逐次進行するにつれて、図１０、図１１のように変化する。図１０は施工開始後、目標データとなる法面が作業対象の台地の斜面に現れた状態を示している。図１１は施工が進行して、目標データとなる四角錐台形状の大部分が作業対象の台地に現れた状態を示している。このようにして、施工対象の地山に対して目標データと比較しながら施工が行えることになる。
【００５４】
そして、施工担当者は作業機械を用いて施工作業を行う（Ｒ５６）。そして、施工担当者は監視ユニット２００により、計測比較処理を行う（Ｒ５８）。計測比較処理の詳細は、図１２を用いて後で説明する。そして、判定表示を行う（Ｒ６０）。この判定表示処理の詳細は、図１３を用いて後で説明する。そして、これら処理が目標データどおり終了するまで作業者は、映像／仮想画像表示部３３０をみながら作業を繰り返す（Ｒ６２）。
【００５５】
実像／仮想画像観察部１１０を利用した施工作業の利点は、作業者は実像／仮想画像観察部１１０と施工場所をみることで、施工中に施工面が目標データに到達したことを認識でき、過剰な施工を行うことがなくなる点にある。また施工面が目標データに近くなれば仮想壁(Virtual Wall)が現れ、残りの作業量が視覚的に認識できることである。仮想壁表示を行うことにより、数値と違い視覚的にわかるので、作業機械の操作作業に反映させることが大変楽になると同時に、迅速正確に施工が行える。さらに、掘る場合だけでなく、逆に埋めたり、ものを組み立てたり作ったりする場合にも、目標データ位置や残り作業量を実像／仮想画像観察部１１０に３Ｄ表示して、確認しながら作業を行うことができる。
【００５６】
図１２は、計測比較処理フローについての説明図で、計測比較処理フローは図８のステップＲ５８に示してある。まず、施工用ステレオカメラ２１０により画像１を取得する（Ｒ７０）。次に、施工用ステレオカメラ２１０により次の画像２を取得する（Ｒ７２）。そして、動画像処理部２３０にて、画像２から画像１を差分することにより変化領域を抽出する（Ｒ７４）。続いて、変化領域についてのみ左右画像のマッチングを行う（Ｒ７６）。このマッチング処理は、リアルタイム性が必要なため、残差逐次検定法による画像相関処理を行う。
【００５７】
［残差逐次検定（ＳＳＤＡ）法］
ここでは、動画像を扱いリアルタイム処理が必要なため、残差逐次検定法を使用し処理の高速化をはかる。画像相関は図６に示す正規化相関処理と同様の原理で、右画像に対する左画像の対応点、若しくは左画像に対する右画像の対応点を求める処理である。以下、残差逐次検定法の式を示す。
【数３】

【００５８】
ここで、残差Ｒ（a,b）が最小になる点が求める画像の位置である。処理の高速化をはかるため、数３の加算において、Ｒ（a,b）の値が過去の残差の最小値を越えたら加算を打ち切り、次のテンプレート画像の左上座標(a,b)に移るよう計算処理を行う。このようにすることで、動画像に対応できるようになる。また、複数カメラの場合は、各ステレオペアにつき残差逐次検定法の処理を行うことでリアルタイム処理が可能である。
【００５９】
次に、求められた左右画像の対応点により、その領域の三次元座標を算出する（Ｒ７８）。これにより、施工中の対象物までの変化部分の距離が求まる（距離画像）。そして、図８のＲ６０に戻り判定表示を行う。この判定表示処理は図１３のようになる。図１３は、判定表示処理フローについての説明図で、判定表示処理フローは図８並びに図１２のステップＲ６０に示してある。まず、変化（施工）領域の距離画像から変化領域の目標データを比較（差分）する（Ｒ８０）。
【００６０】
図１４は、施工領域の距離画像から変化領域の目標データを比較する場合の説明図で、（Ａ）は施工前、（Ｂ）は施工途中を示している。施工している位置における対象物までの距離をａ、目標データはｂであるとすれば、画像上の変化（施工）領域の各点において、ａ−ｂを計算する。この結果により、以下のケース１〜３の３通りの処理表示を行う。
【００６１】
ケース１：＝０のとき（ａ＝ｂ：Ｒ８２）。この条件に該当するときは、目標データに達したということで、変化領域の到達点のところに仮想壁(Virtual Wall)を表示する（Ｒ８４）。すなわち、図１０に示されるように、斜線で示された仮想壁を表示し、設計位置に達したことを示す。好ましくは、到達した点が目標データの一部であれば、その部分だけ例えば異なった色で表示され、その位置はもう加工する必要が無いことを示すとよい。
【００６２】
ケース２：＞０（ａ＞ｂ：Ｒ８６）。この条件に該当するときは、目標データを超えてしまった場合で、警告表示を行う（Ｒ８８）。この場合も、目標データを超えた領域に関して面的に色を変え、更に文字表示などを行っても良い。
【００６３】
ケース３：＜０（ａ＜ｂ：Ｒ９０）。この条件に該当するときは、目標データにまだ到達していないことを表示する（Ｒ９２）。例えば、目標データに近くなったら、後どのくらいであるか、という表示を施工表示装置１００上に表示すれば、それだけ施工が行いやすくなる。数値であらわすだけでなく、例えば現在の施工面の目標データまでの距離によって、画像上の施工部分の色彩を面的に何段階かに分けて表示すると、施工効率が格段に良いものになる。判定基準は各点におけるａ−ｂの値により閾値を設けて、例えば緑→黄色→赤などと色彩を変更すればよい。これら仮想壁表示は、対象物に対して、距離判定により前、後ろ、あるいは透かして表示することが可能である。例えば、到達していない箇所は色をつけて透かすようにするとよい。
【００６４】
次に第２の実施の形態として、遺跡発掘現場における作業について説明する。計測用ステレオカメラにて遺跡発掘現場を計測することにより、現場状況の三次元図面を製作し、その上にあるべき建造物その他を推定し、その位置を特定させて発掘調査を行うものである。
【００６５】
図１５は本発明を遺跡発掘調査に適用した場合の処理手続きを示す流れ図である。まず、遺跡の予想三次元データを三次元目標データ記憶部３４０に記憶する。他方、計測用ステレオカメラ２２０にて遺跡現場を撮影、また自動追尾式測量機２５２によって基準点や施工表示装置１００と監視ユニット２００の位置を計測する（Ｒ５００）。そして、これら位置計測データを施工状態計測装置３００に送信する（Ｒ５１０）。
【００６６】
施工状態計測装置３００では、送信された位置計測データをデータ送受信部３１０により受け取る（Ｓ５００）。そして、施工状態計測装置３００は受信した位置計測データに基づき、計測、解析する（Ｓ５１０）。この場合は、画像演算処理部３２０にて、自動追尾式測量機２５２の基準点データと、ステレオ画像からステレオ画像を作成し、ステレオマッチングをおこなうことにより三次元座標を算出する。これら処理は、図４のＳ３０〜Ｓ５０の処理と同様である。そして、作成された三次元データを映像／仮想画像表示部３３０に表示する（Ｓ５２０）。
【００６７】
この際に、目標データのステレオ画像と計測用ステレオカメラ２２０のステレオ画像とを、見たい視点側における基線長（カメラ間間隔）Ｂ、撮影距離Ｈ、並びにレンズの焦点距離ｆの場合に変換して表示する。ここで、予め三次元目標データ記憶部３４０に記憶された遺跡の予想三次元データあるいは図面と、対象物としての遺跡の計測データとを、重ね合わせて映像／仮想画像表示部３３０に３Ｄ表示し、検討する（Ｓ５３０）。もし予め予想三次元データが無ければ、Ｓ５３０にて予想を行う。
【００６８】
そして、検討の結果、発掘する必要が無ければ、Ｓ５７０へいき、そうでなければＳ５５０へ進む（Ｓ５４０）。次に、映像／仮想画像表示部３３０の３Ｄ表示を見ながら、次の発掘位置データを設定する（Ｓ５５０）。このときにもし予想と異なっていた場合は、発掘位置データを修正して配置する。そして、実像／仮想画像観察部１１０側の視点にステレオ画像を表示できるように変換する。発掘位置を設定したら、その予想位置並びに図面上での位置データを施工表示装置１００側に送信する（Ｓ５６０）。
【００６９】
施工表示装置１００は、データ送受信部１４０にてデータを受け取る（Ｒ５２０）。そして、施工表示装置１００の位置データにより、発掘位置を画像処理部１２０にて位置あわせを行い、実像／仮想画像観察部１１０に合成表示する（Ｒ５３０）。発掘作業者は実像／仮想画像観察部１１０の表示をみながら発掘位置へ移動する（Ｒ５４０）。そして、発掘作業者は発掘を行う（Ｒ５５０）。ここでの発掘作業は、図８のリアルタイム施工フローのフローチャートと同様の手順である。発掘作業者の発掘は、予想三次元データに従って作業される。作業が終了したら、発掘作業者は、再びステレオ撮影を行う（Ｒ５００）。Ｒ５１０から後の処理は、先に説明したＳ５００以下と同様の処理である。
【００７０】
そして、作業が終了したら、全体の作業日数、作業量、出土数、その他まとめて解析を行う（Ｓ５７０）。そして、遺跡発掘調査管理担当者は、レポート作成する（Ｓ５８０）。このように、実像／仮想画像観察部１１０を用いて予想三次元データと視覚的に比較しながら実作業が行えるので、作業効率が大変良いものになる。
【００７１】
続いて、図１６は本発明を防災予防に適用した場合の処理手続きを説明する流れ図である。まず、現場にて計測用ステレオカメラ２２０でステレオ撮影する（Ｒ７００）。また現場状況は自動追尾式測量機２５２にて、また立ち入ることのできないような危険地帯であれば自動追尾式測量機２５２としてプリズムを用いない自動追尾式測量機を用いて基準点になる位置等を測定する。この場合は、施工表示装置１００として遠隔操作可能なものを利用するとよい。そして、位置測定データをデータ送受信部１４０にて送信する（Ｒ７１０）。
【００７２】
すると、施工状態計測装置３００は送信された位置計測データをデータ送受信部３１０にて受け取る（Ｓ７００）。そして、位置計測データをもとに画像演算処理部３２０にて、三次元計測と解析を行う（Ｓ７１０）。これら処理は、図４のＳ３０〜Ｓ５０の処理と同様である。もしＳ７１０にて、以前計測したデータがあれば、その変化領域、変化量を画像による差分から抽出して求める。そして、現場状況の三次元表示を映像／仮想画像表示部３３０で行う（Ｓ７２０）。
【００７３】
この際に、目標データのステレオ画像と計測用ステレオカメラ２２０のステレオ画像とを、見たい視点側における基線長（カメラ間間隔）Ｂ、撮影距離Ｈ、並びにレンズの焦点距離ｆの場合に変換して表示する。防災担当者は、映像／仮想画像表示部３３０の表示をみながら、気象情報や、地盤情報、その他の情報を合わせて補強地点等を検討し、それら位置、施工情報を三次元データ上に合成し、表示させる（Ｓ７３０）。もし、以前の計測データがある場合は、計測変化領域や過去の状態等を映像／仮想画像表示部３３０に重ね合わせ３Ｄ表示し、検討する。そして、もし、防災する必要がなければＳ７５０へいき、そうでない場合は、Ｓ７６０へいく（Ｓ７４０）。
【００７４】
防災が必要な場合は、施工図面を作成しその三次元データを設定する（Ｓ７６０）。そして、実像／仮想画像観察部１１０側の視点にステレオ画像を表示できるように変換する。そして、設定した三次元データをデータ送受信部３１０にて送信する（Ｓ７７０）。すると、施工表示装置１００は送信された三次元データをデータ送受信部１４０にて受け取る（Ｒ７２０）。防災担当者は、施工表示装置１００の位置情報と解析データをあわせ、実像／仮想画像観察部１１０上に表示させ、防災予定位置を確認する（Ｒ７３０）。そして、防災担当者は防災予定位置へ移動する。また、現地で必要があれば危険地域やその他その旨情報の通報、表示等を行う（Ｒ７４０）。そして、防災担当者は防災施工を行う（Ｒ７５０）。ここでの防災施工処理は図８のリアルタイム施工フローのフローチャートと同様の手順である。
【００７５】
防災施工が終了したら、現場状況を計測、検討するためにステレオ撮影を行い、データ送信する（Ｒ７００）。あとの手順は、Ｓ７００以下の繰り返しとなる。そして、防災施工は完了したので、このあとの災害に備え、防災領域の観測を続けるか決める（Ｓ７５０）。もし、観測を続けるのであれば、Ｒ７００に戻り、Ｒ７００〜Ｓ７４０を繰り返し計測し続け変化量をモニタする。観測の途中で、防災の可能性が大きくなった場合はＲ７６０へいき、さらに防災を補強する。
【００７６】
防災施工が終わり、観測する必要も無くなれば、全体作業のまとめを行う（Ｓ７８０）。ここで、防災施工にかかわった作業量や日数、工数などを今までのデータから算出する。レポートを作成、終了する（Ｓ７９０）。
【００７７】
図１７は実像／仮想画像表示部や映像／仮想画像表示部に用いられるＨＵＤ又はＨＭＤの説明図である。ＨＵＤ（ヘッドアップディスプレイ）又はＨＭＤ（ヘッドマウントディスプレイ）には、前述したように光学的透視画像(Optical See-Trough)タイプと映像透視型(Video See-Trough type)とがある。光学的透視画像タイプのＨＵＤ又はＨＭＤは、ＣＧ画像を実像が透視できる状態で映し出し、作業者が実像とＣＧ画像とを対比して観察できるようにしている。
【００７８】
図１８は施工表示装置の施工現場での第２の使用形態を表す構成ブロック図である。施工表示装置１００と監視ユニット２００を一体化して、自動追尾式測量機により位置測定を行う配置を示している。このように構成すると、作業機械の施工位置に施工用ステレオカメラ２１０があるので、実際の施工の視点から距離画像が得られる。この場合の監視ユニット２００と作業機械の位置関係の一例を図１９に示す。監視ユニット２００は作業機械の操縦室の天井部位に設置されている。
【００７９】
図２０は施工表示装置の施工現場での第３の使用形態を表す構成ブロック図である。施工現場側に監視ユニット２００をとりつけ、施工表示装置１００を遠隔地に置いて、自動追尾式測量機により位置測定を行う配置を示している。すなわち、施工表示装置を施工管理事務所側においても良い。このような構成にすると、施工担当者が実際に施工現場にいなくとも遠隔操作が可能になり、砂漠や鉱山のように危険若しくは過重な労働条件の為に、作業機械の無人運転が必要な場合に適する。このような作業機械の無人運転の場合には、図１７に示されるように、観察者の目で見る実際の像の上に仮想的にコンピュータで作成したＣＧ画像を合成し、作業機械の操作担当者の面前に表示せしめる。
【００８０】
なお、施工表示装置の施工現場での第１の使用形態では、図２に示すように施工表示装置１００と監視ユニット２００を固定として、安定した施工中の動画像が取得可能な場合を示しているが、施工表示装置１００と監視ユニット２００は可動式としてもよい。また、第１の使用形態では、施工用ステレオカメラ２１０と計測用ステレオカメラ２２０を監視ユニット２００内に一体に収容する場合を説明したが、施工表示装置１００内部に施工用ステレオカメラ２１０を収容し、監視ユニット２００内に計測用ステレオカメラ２２０を振り分けて配置してもよい。施工表示装置１００内部に施工用ステレオカメラ２１０を収容すると、例えば作業機械の無人運転や運転指導に役立つ。
【００８１】
図２１は、図１に示す施工表示装置と施工状態計測装置とを備える施工監視システムの変形実施例を示す構成ブロック図で、施工表示装置の施工現場での第４の使用形態を示している。図１に示す施工表示装置１００では実像と仮想画像とを重ねて表示する構成であったが、第４の使用形態に用いる施工表示装置１００ａでは対象物画像と仮想画像を重ねて表示することもできるように構成してある。図２１において、図１に示す構成要素と共通するものには同一符号を付して説明を省略し、相違する点を中心に説明する。
【００８２】
図２１において、監視ユニット２００ａは、施工用ステレオカメラ２１０又は計測用ステレオカメラ２２０の何れか一方から、対象物のステレオ画像をデータ送受信部２４０ａを介して、施工表示装置１００ａのデータ送受信部１４０ａへ送信する。
【００８３】
そして、施工表示装置１００ａの比較表示処理部１２０ａは、姿勢センサ１３０で測定した施工表示装置１００ａの姿勢と、施工位置取得部１５０で取得した施工表示装置１００ａの三次元位置を用いて、施工状態計測装置３００から送信された目標データ画像と、監視ユニット２００ａから施工表示装置１００ａへ送信された対象物のステレオ画像とを、施工担当者の視点基準に変換した上で、目標データ画像と対象物のステレオ画像とを位置あわせして画像／仮想画像表示部１１０ａに送る。これにより、画像／仮想画像表示部１１０ａでは、作業者が目標データ画像と対象物のステレオ画像とが一体となったＣＧ画像によって施工状態を観察することができる。
【００８４】
この場合に、図１に示す施工表示装置１００の実像と仮想画像とを重ねて表示する機能と、図２１に示す施工表示装置１００ａの目標データ画像と対象物のステレオ画像とが一体となったＣＧ画像を表示する機能とを選択式として、作業者の利便性に応じて適宜両者を切替えるように構成しても良い。
【００８５】
【発明の効果】
以上のように、本発明の画像測定表示装置によれば、画像撮影部で撮影した対象物の一対のステレオ画像から対象物の形状データを測定する形状測定部と、対象物の画像に関連した目標データを記憶する記憶部と、対象物の一対のステレオ画像と前記目標データに基づく前記対象物のステレオ目標データ画像とを重畳させて表示する画像表示部と、前記対象物の形状データと前記目標データとを比較し、画像表示部の前記重畳させた表示において前記比較結果を反映させる比較表示処理部を備えているので、作業者や作業管理者は製作・施工対象物の詳細な計測と設計図との比較を正確に行える。
【００８６】
本発明の画像測定表示装置によれば、画像撮影部で撮影した対象物の一対のステレオ画像から対象物の形状データを測定する形状測定部と、対象物の画像に関連した目標データを記憶する記憶部と、目標データに関連した対象物を目視できる状態で、前記目標データに基づく前記対象物のステレオ目標データ画像を重畳させて表示する画像観察部と、形状測定部で測定された対象物の形状と前記目標データに対応する形状とを比較し、画像観察部のステレオ目標データ画像表示において前記比較結果を反映させる比較観察表示処理部とを備えているので、作業者や作業管理者は、製作・施工対象物が設計図どおりに製作・施工できているか容易に把握でき、設計図どおりの施工を簡便に行なうことができる。
【００８７】
本発明の施工状態監視システムによれば、段落０００６〜段落００１０に記載の画像測定表示装置と、比較表示処理部の比較結果から、対象物を目標データに加工又は処理を行うまでの作業関連データを算定する施工計画立案修正手段とを備える構成としたので、作業管理者が毎日の製作・施工作業の進捗状況を正確に把握して、施工計画に適合するように製作・施工作業を柔軟に構築するのに有益である。
【図面の簡単な説明】
【図１】 本発明に係る施工表示装置と施工状態計測装置とを備える施工監視システム全体の構成ブロック図である。
【図２】 施工表示装置の施工現場での使用形態を表す構成斜視図である。
【図３】 施工表示装置の施工現場での第１の使用形態を表す構成ブロック図である。
【図４】 本発明の実施の形態における処理手続きの流れを示すフローチャートである。
【図５】 ステレオ画像計測の詳細を説明する流れ図である。
【図６】 相関処理の説明図である。
【図７】 ステレオ画像計測の原理説明図である。
【図８】 施工現場で行われるリアルタイム施工フローについての説明図である。
【図９】 施工前の合成された画像の一例を示す図である。
【図１０】 施工開始後、目標データとなる法面が作業対象の地山の斜面に現れた状態を示している。
【図１１】 施工が進行して、目標データとなる四角錐台形状の大部分が作業対象の台地に現れた状態を示している。
【図１２】 計測比較処理フローについての説明図である。
【図１３】 判定表示処理フローについての説明図である。
【図１４】 施工領域の距離画像から変化領域の目標データを比較する場合の説明図である。
【図１５】 本発明を遺跡発掘調査に適用した場合の処理手続きを示す流れ図である。
【図１６】 本発明を防災予防に適用した場合の処理手続きを説明する流れ図である。
【図１７】 実像／仮想画像表示部や映像／仮想画像表示部に用いられるＨＵＤ又はＨＭＤの説明図である。
【図１８】 施工表示装置の施工現場での第２の使用形態を表す構成ブロック図である。
【図１９】 第２の使用形態における監視ユニットと作業機械の位置関係の一例を示す図である。
【図２０】 施工表示装置の施工現場での第３の使用形態を表す構成ブロック図である。
【図２１】 図１に示す施工表示装置と施工状態計測装置とを備える施工監視システムの変形実施例を示す構成ブロック図で、施工表示装置の施工現場での第４の使用形態を示している。
【符号の説明】
１００ 施工表示装置
１１０ 実像／仮想画像観察部（画像観察部）
１１０ａ 画像／仮想画像表示部
１２０ 画像処理部（比較観察表示処理部）
１２０ａ 比較表示処理部
１３０ 姿勢センサ
１４０ データ送受信部
１５０ 施工位置取得部
２００ 監視ユニット
２１０ 施工用ステレオカメラ
２２０ 計測用ステレオカメラ（画像撮影部）
２３０ 動画像処理部
２４０ データ送受信部
２５０ カメラ位置取得部
２５２ 自動追尾式測量機
３００ 施工状態計測装置
３１０ データ送受信部
３２０ 画像演算処理部
３３０ 映像／仮想画像表示部（画像表示部）
３４０ 三次元目標データ記憶部（記憶部）
３５０ ステレオ画像形状測定部（形状測定部）
３６０ 目標データ比較表示処理部（比較表示処理部）
３７０ 中間目標データ設定手段
３８０ 施工計画立案修正手段

Claims (12)

1. 画像撮影部で撮影した対象物の一対のステレオ画像から対象物の形状データを測定する形状測定部と；
   前記画像撮影部の撮影位置を測定する撮影位置測定部と；
   前記対象物の画像に関連した目標データを記憶する記憶部と；
   前記撮影位置測定部で測定された撮影位置に基づき、前記対象物の画像と前記目標データに基づく目標データ画像とを重畳させて表示する画像表示部と；
   前記撮影位置測定部で測定された撮影位置に基づき、前記対象物の形状と前記目標データに対応する目標データ対応形状とを比較し、前記画像表示部の前記重畳させた表示において前記比較結果を反映させる比較表示処理部と；を備えることを特徴とする、
   施工監視システム。
2. 請求項１に記載の施工監視システムにおいて；
   前記比較表示処理部による前記比較結果の反映は、前記対象物の形状と前記目標データ対応形状との比較結果が略一致した個所について、前記画像表示部に前記略一致した個所を識別可能に表示するように構成されていることを特徴とする、
   施工監視システム。
3. 請求項１または請求項２に記載の施工監視システムにおいて；
   前記比較表示処理部の比較結果として前記対象物と前記目標データとの距離又は間隔を対応させ、前記対象物と前記目標データとの大小関係を識別可能に前記画像表示部にて表示するように構成されていることを特徴とする、
   施工監視システム。
4. 請求項１乃至請求項３の何れか一つに記載の施工監視システムにおいて；
   前記比較表示処理部並びに前記画像表示部の目標データとして、前記対象物の施工段階ごとの中間目標データを設定する中間目標データ設定手段を備え；
   前記比較表示処理部は、前記対象物の形状と前記中間目標データに対応する中間目標データ対応形状とを比較するように構成されていることを特徴とする、
   施工監視システム。
5. 請求項１乃至請求項４の何れか一つに記載の施工監視システムにおいて；
   前記目標データに関連した対象物を目視できる状態で、前記目標データに基づく前記対象物のステレオ目標データ画像を重畳させて表示する画像観察部と；
   前記形状測定部で測定された対象物の形状と前記目標データに対応する形状とを比較し、前記画像観察部の前記ステレオ目標データ画像表示において前記比較結果を反映させる比較観察表示処理部と；を備えることを特徴とする、
   施工監視システム。
6. 請求項５に記載の施工監視システムにおいて；
   前記画像観察部は、ヘッドアップディスプレイ又はヘッドマウントディスプレイの少なくとも一方を含むことを特徴とする、
   施工監視システム。
7. 請求項５または請求項６に記載の施工監視システムにおいて；
   前記比較観察表示処理部による前記比較結果の反映は、前記対象物の形状と前記目標データ対応形状との比較結果が略一致した個所について、前記画像観察部に前記略一致した個所を識別可能に表示するように構成されていることを特徴とする、
   施工監視システム。
8. 請求項５乃至請求項７の何れか一つに記載の施工監視システムにおいて；
   前記比較観察表示処理部の比較結果として前記対象物と前記目標データとの距離又は間隔を対応させ、前記対象物と前記目標データとの大小関係を識別可能に前記画像観察部にて表示するように構成されていることを特徴とする、
   施工監視システム。
9. 請求項１乃至請求項８の何れか一つに記載の施工監視システムにおいて；
   前記画像撮影部や前記画像表示部とのデータの授受は、無線、光通信、インターネット、電線のいずれか一つを用いることを特徴とする、
   施工監視システム。
10. 請求項１乃至請求項９の何れか一つに記載の施工監視システムを用いた施工管理方法であって；
    マルチステレオ画像にて距離画像をリアルタイムで面的に取得し；
    目標データと施工中の対象物のステレオ画像を重ね合わせて表示し；
    前記目標データと施工中の対象物に関するステレオ画像の偏差情報に基づいて、作業機械の作業を行わせる；工程を含む、
    施工管理方法。
11. 請求項１乃至請求項９の何れか一つに記載の施工監視システムを用いた施工管理方法であって；
    マルチステレオ画像にて距離画像をリアルタイムで面的に取得し；
    前記マルチステレオ画像の計測を行い；
    目標データと施工中の対象物の現況から施工進行状況を解析し；
    前記目標データを実現する施工計画を施工進行状況の解析結果に基づいて随時更新する；
    施工管理方法。
12. 請求項１乃至請求項９の何れか一つに記載の施工監視システムと；
    前記比較表示処理部の比較結果から、対象物を目標データに加工又は処理を行うまでの作業関連データを算定する施工計画立案修正手段と；を備える、
    施工監視システム。

Images