JP6966218B2 - 撮像装置の校正装置、作業機械および校正方法 - Google Patents

Description

本発明は、撮像装置の校正装置、作業機械、および校正方法に関する。

特許文献１には、作業機と撮像装置とを有する作業機械における撮像装置の校正を行う技術が開示されている。具体的には、特許文献１に記載の校正システムは、撮像装置が作業機に設けられたターゲットを撮像し、画像から撮像装置とターゲットとの位置関係を求め、作業機の姿勢と画像から求めた位置関係とに基づいて、撮像装置の校正を行う。

国際公開第２０１６／１４８３０９号

一方で、作業機械の本体から作業機を伸ばすことができる距離は有限である。つまり、特許文献１に記載の技術によれば、作業機の作業範囲内における撮像対象（掘削前、掘削中、掘削後の施工現場など）について、撮像装置に基づいてスケール等を精度よく計測することができる。作業範囲とは、作業機の操作によりバケットの刃先が到達し得る範囲をいう。一方で、特許文献１に記載の技術によれば、校正において作業機の作業範囲より遠い点の位置情報を用いることができないため、作業機の作業範囲より遠い領域における撮像対象について撮像装置に基づいて計測した場合、スケール等を精度よく計測することが困難である。そこで、作業機の作業範囲より遠い点についてスケール等を精度よく計測したいという要望がある。
本発明の態様は、作業機の作業範囲より遠い領域における撮像対象についてスケール等を精度よく計測できるように撮像装置を校正することができる撮像装置の校正装置、作業機械、および校正方法を提供することを目的とする。

本発明の第１の態様によれば、撮像装置の校正装置は、作業機を備える作業機械に設けられた少なくとも１つの撮像装置によって撮像された、前記作業機の作業範囲外における既知の位置に設置される既知外部ターゲットの撮像データおよび前記作業機に設けられた作業機ターゲットの撮像データを取得する撮像データ取得部と、前記既知外部ターゲットの現場座標系における位置を取得する外部ターゲット位置取得部と、前記作業機の車体座標系における位置を特定することで、前記作業機ターゲットの車体座標系における位置を算出する作業機位置特定部と、前記外部ターゲット位置取得部により取得された前記既知外部ターゲットの位置および前記作業機位置特定部によって算出された前記作業機ターゲットの位置を同一の座標系に係る位置に変換する位置変換部と、変換された各位置と前記撮像データ取得部により取得された前記既知外部ターゲットの撮像データおよび前記作業機ターゲットの撮像データとに基づいて前記撮像装置を校正する校正部と、を備える。

上記態様によれば、作業機の作業範囲より遠い領域における撮像対象について精度よく計算できるように撮像装置を校正することができる。

油圧ショベルと座標系との関係を示す図である。 第１の実施形態に係る構成システムを備えた油圧ショベルの外観を示す斜視図である。 第１の実施形態に係る油圧ショベルの制御系の構成を示す概略ブロック図である。 作業機の姿勢の例を示す図である。 第１の実施形態に係る校正方法の実行に用いられる作業機ターゲットの例を示す図である。 第１の実施形態においてステレオカメラによって撮像される作業機ターゲットの位置を示す図である。 第１の実施形態に係る校正方法の実行に用いられる外部ターゲットの例を示す図である。 第１の実施形態においてステレオカメラによって撮像される外部ターゲットの第１の位置を示す図である。 第１の実施形態における外部ターゲットの設置要領を示す図である。 第１の実施形態においてステレオカメラによって撮像される外部ターゲットの第２の位置を示す図である。 第１の実施形態に係る油圧ショベルの制御装置の構成を示すブロック図である。 第１の実施形態に係るステレオカメラの校正方法を示すフローチャートである。 第２の実施形態に係るステレオカメラの校正方法を示すフローチャートである。 第３の実施形態においてステレオカメラによって撮像される外部ターゲットの位置を示す図である。 第３の実施形態に係るステレオカメラの校正方法を示すフローチャートである。 他の実施形態に係る位置計測システムの構成を概略図である。

〈座標系〉
図１は、油圧ショベルと座標系との関係を示す図である。
以下の説明においては、三次元の現場座標系（Ｘｇ、Ｙｇ、Ｚｇ）、三次元の車体座標系（Ｘｍ、Ｙｍ、Ｚｍ）、および三次元のカメラ座標系（Ｘｃ、Ｙｃ、Ｚｃ）を規定して、これらに基づいて位置関係を説明する。

現場座標系は、施工現場に設けられたＧＮＳＳ基準局Ｃの位置を基準点として南北に伸びるＸｇ軸、東西に伸びるＹｇ軸、上下に伸びるＺｇ軸から構成される座標系である。ＧＮＳＳの例としては、ＧＰＳ（Global Positioning System）が挙げられる。ＧＮＳＳ基準局Ｃは、現場座標系における位置が既知な現場基準点の一例である。

車体座標系は、後述する油圧ショベル１００の旋回体１２０に規定された代表点Ｏを基準として前後に伸びるＸｍ軸、左右に伸びるＹｍ軸、上下に伸びるＺｍ軸から構成される座標系である。旋回体１２０の代表点Ｏを基準として前方を＋Ｘｍ方向、後方を−Ｘｍ方向、左方を＋Ｙｍ方向、右方を−Ｙｍ方向、上方向を＋Ｚｍ方向、下方向を−Ｚｍ方向とよぶ。

カメラ座標系は、後述する油圧ショベル１００のステレオカメラ１２５を構成する１つのカメラ（例えば第１カメラ１２５１）の位置を基準として、カメラの上下方向に伸びるＸｃ軸、カメラの幅方向に伸びるＹｃ軸、カメラの光軸方向に伸びるＺｃ軸から構成される座標系である。

後述する油圧ショベル１００の制御装置１２６は、演算により、ある座標系における位置を、他の座標系における位置に変換することができる。例えば、制御装置１２６は、カメラ座標系における位置を車体座標系における位置に変換することができ、その逆の座標系にも変換することができる。また制御装置１２６は、現場座標系における位置を車体座標系における位置に変換することができ、その逆の座標系にも変換することができる。

〈第１の実施形態〉
《油圧ショベルの構成》
図２は、第１の実施形態に係る校正システムを備えた油圧ショベルの外観を示す斜視図である。
作業機械である油圧ショベル１００は、油圧により作動する作業機１１０と、作業機１１０を支持する旋回体１２０と、旋回体１２０を支持する走行体１３０とを備える。

《油圧ショベルの作業機》
作業機１１０は、ブーム１１１と、アーム１１２と、バケット１１３と、ブームシリンダ１１４と、アームシリンダ１１５と、バケットシリンダ１１６とを備える。

ブーム１１１は、アーム１１２およびバケット１１３を支える支柱である。ブーム１１１の基端部は、旋回体１２０の前部にブームピンＰ１を介して取り付けられる。
アーム１１２は、ブーム１１１とバケット１１３とを連結する。アーム１１２の基端部は、ブーム１１１の先端部にアームピンＰ２を介して取り付けられる。
バケット１１３は、土砂などを掘削するための刃を有する容器である。バケット１１３の基端部は、アーム１１２の先端部にバケットピンＰ３を介して取り付けられる。

ブームシリンダ１１４は、ブーム１１１を作動させるための油圧シリンダである。ブームシリンダ１１４の基端部は、旋回体１２０に取り付けられる。ブームシリンダ１１４の先端部は、ブーム１１１に取り付けられる。
アームシリンダ１１５は、アーム１１２を駆動するための油圧シリンダである。アームシリンダ１１５の基端部は、ブーム１１１に取り付けられる。アームシリンダ１１５の先端部は、アーム１１２に取り付けられる。
バケットシリンダ１１６は、バケット１１３を駆動するための油圧シリンダである。バケットシリンダ１１６の基端部は、アーム１１２に取り付けられる。バケットシリンダ１１６の先端部は、バケット１１３に取り付けられる。

《油圧ショベルの車体》
旋回体１２０には、オペレータが搭乗する運転室１２１が備えられる。運転室１２１は、旋回体１２０の前方かつ作業機１１０の左側（＋Ｙｍ側）に備えられる。

運転室１２１の内部には、作業機１１０を操作するための操作装置１２１１が設けられる。操作装置１２１１の操作量に応じて、ブームシリンダ１１４、アームシリンダ１１５、およびバケットシリンダ１１６に作動油が供給され、作業機１１０が駆動する。

運転室１２１の上部には、ステレオカメラ１２５が設けられる。ステレオカメラ１２５は、運転室１２１内の前方（＋Ｘｍ方向）かつ上方（＋Ｚｍ方向）に設置される。ステレオカメラ１２５は、運転室１２１前面のフロントガラスを通して、運転室１２１の前方（＋Ｘｍ方向）を撮像する。ステレオカメラ１２５は、少なくとも１対のカメラを備える。第１の実施形態においては、ステレオカメラ１２５は、２対のカメラを備えるため、ステレオカメラ１２５は、４個のカメラを備えることとなる。具体的には、ステレオカメラ１２５は、右側（−Ｙｍ側）から順に、第１カメラ１２５１、第２カメラ１２５２、第３カメラ１２５３、および第４カメラ１２５４を備える。各カメラの例としては、例えばＣＣＤ（Charge Coupled Device）センサ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いたカメラが挙げられる。

第１カメラ１２５１と第３カメラ１２５３は、対をなすカメラである。第１カメラ１２５１と第３カメラ１２５３は、それぞれ光軸が運転室１２１の床面に対して略平行となるように、左右方向（±Ｙｍ方向）に間隔を空けて設置される。第２カメラ１２５２と第４カメラ１２５４は、対をなすカメラである。第２カメラ１２５２と第４カメラ１２５４は、それぞれ光軸が略平行となるように、かつその光軸が運転室１２１の床面に対して運転室１２１前方（＋Ｘｍ方向）より下方向（−Ｚｍ方向）に傾くように、左右方向（±Ｙｍ方向）に間隔を空けて設置される。

ステレオカメラ１２５及び第１カメラ１２５１、第２カメラ１２５２、第３カメラ１２５３、第４カメラ１２５４は、撮像装置の一例である。ステレオカメラ１２５のうち少なくとも１対のカメラが撮像した１対の撮像データを用いることで、ステレオカメラ１２５と撮像対象との距離を算出することができる。なお、他の実施形態においては、ステレオカメラ１２５は、１対のカメラによって構成されてもよいし、３対以上のカメラによって構成されてもよい。また他の実施形態においては、ステレオカメラ１２５に代えて、撮像装置として、例えば、ＴＯＦ（Time Of Flight）カメラのような、画像と三次元データを表す距離画像との両方が得られるセンサを用いてもよい。また、撮像装置として、距離画像を得ることができるカメラを用いてもよい。

《油圧ショベルの制御系》
図３は、第１の実施形態に係る油圧ショベルの制御系の構成を示す概略ブロック図である。
油圧ショベル１００は、作業機位置検出器１１７、位置方位演算器１２３、傾斜検出器１２４、ステレオカメラ１２５、制御装置１２６を備える。

作業機位置検出器１１７は、作業機１１０の姿勢角を検出する。第１の実施形態に係る作業機位置検出器１１７は、ブームシリンダ１１４、アームシリンダ１１５、およびバケットシリンダ１１６のそれぞれのストローク長を検出するストローク検出器である。これにより、後述する制御装置１２６は、ブームシリンダ１１４、アームシリンダ１１５、およびバケットシリンダ１１６のそれぞれのストローク長に基づいて作業機１１０の姿勢角を検出することができる。他方、他の実施形態においては、これに限られず、作業機位置検出器１１７として、ストローク検出器に代えて、またはストローク検出器と併用して、ロータリーエンコーダや水平器等の角度検出器を用いてもよい。

位置方位演算器１２３は、旋回体１２０の位置および旋回体１２０が向く方位を演算する。位置方位演算器１２３は、ＧＮＳＳ（Global Navigation Satellite System）を構成する人工衛星から測位信号を受信する第１受信器１２３１および第２受信器１２３２を備える。第１受信器１２３１および第２受信器１２３２は、それぞれ旋回体１２０の異なる位置に設置される。位置方位演算器１２３は、第１受信器１２３１が受信した測位信号に基づいて、現場座標系における旋回体１２０の代表点Ｏ（車体座標系の原点）の位置を検出する。
位置方位演算器１２３は、第１受信器１２３１が受信した測位信号と、第２受信器１２３２が受信した測位信号とを用いて、検出された第１受信器１２３１の設置位置に対する第２受信器１２３２の設置位置の関係として、旋回体１２０の方位を演算する。

傾斜検出器１２４は、旋回体１２０の加速度および角速度を計測し、計測結果に基づいて旋回体１２０の傾き（例えば、Ｘｍ軸に対する回転を表すロール、Ｙｍ軸に対する回転を表すピッチ、およびＺｍ軸に対する回転を表すヨー）を検出する。傾斜検出器１２４は、例えば運転室１２１の下面に設置される。傾斜検出器１２４は、例えば、慣性計測装置であるＩＭＵ（Inertial Measurement Unit）を用いることができる。

制御装置１２６は、プロセッサ９１０、メインメモリ９２０、ストレージ９３０、インタフェース９４０を備える。

ストレージ９３０には、作業機１１０を制御するためのプログラムが記憶されている。ストレージ９３０の例としては、ＨＤＤ（Hard Disk Drive）、不揮発性メモリ等が挙げられる。ストレージ９３０は、制御装置１２６のバスに直接接続された内部メディアであってもよいし、インタフェース９４０または通信回線を介して制御装置１２６に接続される外部メディアであってもよい。

プロセッサ９１０は、ストレージ９３０からプログラムを読み出してメインメモリ９２０に展開し、プログラムに従って処理を実行する。またプロセッサ９１０は、プログラムに従ってメインメモリ９２０に記憶領域を確保する。インタフェース９４０は、作業機位置検出器１１７、操作装置１２１１、位置方位演算器１２３、傾斜検出器１２４、ステレオカメラ１２５およびその他の周辺機器と接続され、信号の授受を行う。

制御装置１２６は、プログラムの実行によりステレオカメラ１２５が撮像した撮像画像に基づいて施工現場等の撮像対象の計測を行う。制御装置１２６は、ステレオカメラが撮像した撮像データから撮像対象の形状を表す三次元データを生成する。三次元データの例としては、点群データ、ポリゴンデータ、およびボクセルデータが挙げられる。制御装置１２６は、ステレオカメラ１２５の位置を基準として互いに直交するＸｃ軸、Ｙｃ軸、Ｚｃ軸から構成されるカメラ座標系における三次元データを生成する。また制御装置１２６は、プログラムの実行によりステレオカメラ１２５の校正（外部校正および車体校正）の計算を行う。外部校正とは、ステレオカメラ１２５を構成する１対のカメラ間の位置及び姿勢を求めることである。また車体校正とは、ステレオカメラ１２５と旋回体１２０との位置関係を求めることである。つまり、制御装置１２６は、撮像装置の校正装置の一例である。

《作業機の姿勢》
図４は、作業機の姿勢の例を示す図である。
制御装置１２６は、作業機位置検出器１１７の検出結果に基づいて、作業機１１０の姿勢を算出する。具体的には、制御装置１２６は、作業機１１０の姿勢として、ブーム１１１の姿勢角α、アーム１１２の姿勢角β、バケット１１３の姿勢角γ、およびバケット１１３の刃先Ｅの位置を算出する。

ブーム１１１の姿勢角αは、ブームピンＰ１から旋回体１２０の上方向（＋Ｚｍ方向）に伸びる半直線と、ブームピンＰ１からアームピンＰ２へ伸びる半直線とがなす角によって表される。なお、旋回体１２０の傾き（ピッチ角）θによって、旋回体１２０の上方向と鉛直上方向は必ずしも一致しない。
アーム１１２の姿勢角βは、ブームピンＰ１からアームピンＰ２へ伸びる半直線と、アームピンＰ２からバケットピンＰ３へ伸びる半直線とがなす角によって表される。
バケット１１３の姿勢角γは、アームピンＰ２からバケットピンＰ３へ伸びる半直線と、バケットピンＰ３からバケット１１３の刃先Ｅへ伸びる半直線とがなす角によって表される。
ここで、ブーム１１１の姿勢角α、アーム１１２の姿勢角β、およびバケット１１３の姿勢角γの和を、作業機１１０の姿勢角ηとよぶ。作業機１１０の姿勢角ηは、バケットピンＰ３から旋回体１２０の上方向（＋Ｚ方向）に伸びる半直線と、バケットピンＰ３からバケット１１３の刃先Ｅへ伸びる半直線とがなす角に等しい。

車体座標系におけるバケット１１３の刃先Ｅの位置は、ブーム１１１の寸法Ｌ１、アーム１１２の寸法Ｌ２、バケット１１３の寸法Ｌ３、ブーム１１１の姿勢角α、アーム１１２の姿勢角β、バケット１１３の姿勢角γ、旋回体１２０の代表点Ｏの位置、および代表点ＯとブームピンＰ１との位置関係から求められる。ブーム１１１の寸法Ｌ１は、ブームピンＰ１からアームピンＰ２までの距離である。アーム１１２の寸法Ｌ２は、アームピンＰ２からバケットピンＰ３までの距離である。バケット１１３の寸法Ｌ３は、バケットピンＰ３から刃先Ｅまでの距離である。代表点ＯとブームピンＰ１との位置関係は、例えば、代表点Ｏを基準としたブームピンＰ１の車体座標系の位置で表される。また代表点ＯとブームピンＰ１との位置関係は、例えば、代表点ＯからブームピンＰ１までの距離、代表点ＯからブームピンＰ１へ伸びる半直線のＸｍ軸方向の傾き、およびＹｍ軸方向の傾きによって表されてもよい。

《ステレオカメラの校正》
ステレオカメラ１２５が備える１対のカメラ（第１カメラ１２５１と第３カメラ１２５３、または第２カメラ１２５２と第４カメラ１２５４）のカメラ座標系における姿勢の関係は、以下の式（１）で表すことができる。
Ｐｃ１＝Ｒｃｙ・Ｒｃｐ・Ｒｃｒ・Ｐｃ３＋Ｔｃ ・・・ （１）
ここで、Ｐｃ１は第１カメラ１２５１のカメラ座標系における位置、Ｐｃ３は第３カメラ１２５３のカメラ座標系における位置を示す。Ｒｃｙは、第３カメラ１２５３のヨー角を第１カメラ１２５１のヨー角に変換するための回転行列である。Ｒｃｐは、第３カメラ１２５３のピッチ角を第１カメラ１２５１のピッチ角に変換するための回転行列である。Ｒｃｒは、第３カメラ１２５３のロール角を第１カメラ１２５１のロール角に変換するための回転行列である。Ｔｃは位置Ｐｃ３を位置Ｐｃ１に変換するための並進行列である。
式（１）の各行列の要素を明示すると、以下の式（２）のようになる。

ここで、ｘ_１は、第１カメラ１２５１のカメラ座標系のＸｃ座標における位置を示す。
ｙ_１は、第１カメラ１２５１のカメラ座標系のＹｃ座標における位置を示す。ｚ_１は、第１カメラ１２５１のカメラ座標系のＺｃ座標における位置を示す。ｘ_３は、第３カメラ１２５３のカメラ座標系のＸｃ座標における位置を示す。ｙ_３は、第３カメラ１２５３のカメラ座標系のＹｃ座標における位置を示す。ｚ_３は、第３カメラ１２５３のカメラ座標系のＺｃ座標における位置を示す。θ_ｙは、第１カメラ１２５１に対するＸｃ軸回りの第３カメラ１２５３の相対角度（ヨー角）を示す。θ_ｐは、第１カメラ１２５１に対するＹｃ軸回りの第３カメラ１２５３の相対角度（ピッチ角）を示す。θ_ｒは、第１カメラ１２５１に対するＺｃ軸回りの第３カメラ１２５３の相対角度（ロール角）を示す。Ｔｘは、第１カメラ１２５１に対するＸｃ軸方向の第３カメラ１２５３の相対位置を示す。Ｔｙは、第１カメラ１２５１に対するＹｃ軸方向の第３カメラ１２５３の相対位置を示す。Ｔｚは、第１カメラ１２５１に対するＺｃ軸方向の第３カメラ１２５３の相対位置を示す。

なお、上記説明では第１カメラ１２５１と第３カメラ１２５３の対を例に式（１）、式（２）について説明したが、第２カメラ１２５２と第４カメラ１２５４の対の姿勢の関係についても同様である。
第１の実施形態に係る校正では、上記式（１）を構成する行列Ｒｃｙ、Ｒｃｐ、Ｒｃｒ、Ｔｃを求める。すなわち、第１の実施形態に係る校正では、上記式（２）を構成するパラメータθ_ｙ、θ_ｐ、θ_ｒ、Ｔｘ、Ｔｙ、Ｔｚを求める。

またステレオカメラ１２５が備える各カメラ（第１カメラ１２５１、第２カメラ１２５２、第３カメラ１２５３、第４カメラ１２５４）と旋回体１２０との位置関係は、以下の式（３）で表すことができる。
Ｐｍ１＝Ｒｍｙ・Ｒｍｐ・Ｒｍｒ・Ｐｃ１＋Ｔｍ ・・・ （３）
ここで、Ｐｃ１は第１カメラ１２５１のカメラ座標系における位置を示す。Ｒｍｙは、カメラ座標系における第１カメラ１２５１のヨー角（Ｘｃ軸回りの角度）を車体座標系におけるヨー角（Ｘｍ軸回りの角度）に変換するための回転行列である。Ｒｍｐは、カメラ座標系における第１カメラ１２５１のピッチ角（Ｙｃ軸回りの角度）を車体座標系におけるピッチ角（Ｙｍ軸回りの角度）に変換するための回転行列である。Ｒｍｒは、カメラ座標系における第１カメラ１２５１のロール角（Ｚｃ軸回りの角度）を車体座標系におけるロール角（Ｚｍ軸回りの角度）に変換するための回転行列である。Ｔｍは位置Ｐｃ１を位置Ｐｍ１に変換するための並進行列である。
なお、上記説明では第１カメラ１２５１を例に上記式（３）について説明したが、第２カメラ１２５２、第３カメラ１２５３、および第４カメラ１２５４についても同様である。つまり、上記式（３）を各カメラに適用することで、第１カメラ１２５１、第２カメラ１２５２、第３カメラ１２５３、および第４カメラ１２５４のそれぞれについて、旋回体１２０との位置関係を示す式を表すことができる。
第１の実施形態に係る校正では、上記式（３）を構成する行列Ｒｍｙ、Ｒｍｐ、Ｒｍｒ、Ｔｍを求める。これらが求められると、制御装置１２６は、カメラ座標系における位置を車体座標系に変換することができる。

第１の実施形態に係る油圧ショベル１００の制御装置１２６は、ステレオカメラ１２５が作業機ターゲットＴｍおよび外部ターゲットＴｇを撮像することで、ステレオカメラ１２５の校正を行う。作業機ターゲットＴｍとは、ステレオカメラ１２５の撮像画像に明瞭に写る作業機１１０に付された図形である。外部ターゲットＴｇとは、ステレオカメラ１２５の撮像画像に明瞭に写る施工現場に設けられた図形である。第１の実施形態に係る作業機ターゲットＴｍおよび外部ターゲットＴｇは、例えば、白地の板に黒点が記されたものである。このような図形であることで、撮像画像においてコントラストが明瞭になり、作業機ターゲットＴｍおよび外部ターゲットＴｇの位置を確実に特定することができる。

図５は、第１の実施形態に係る校正方法の実行に用いられる作業機ターゲットの例を示す図である。
作業機ターゲットＴｍは、バケット１１３の刃における所定の位置に取り付けられる。第１の実施形態においては、作業機ターゲットＴｍは、バケット１１３の刃のうち、中央の刃に取り付けられる。制御装置１２６の演算により、車体座標系におけるバケット１１３の中央の刃の刃先の位置を算出することができるため、バケット１１３の刃先と作業機ターゲットＴｍの中心位置との位置関係が既知であれば、制御装置１２６は、中央の刃に取り付けられた作業機ターゲットＴｍの中心位置を正確に算出することができる。なお、他の実施形態においては、作業機ターゲットＴｍは、複数の刃に取り付けられてもよく、例えば中央の刃および左右両端の刃の計３つの刃に取り付けられてもよい。また、他の実施形態においては、作業機ターゲットＴｍは、ステレオカメラ１２５の各カメラが撮像可能な作業機１１０上の位置であれば、バケット１１３の刃以外の箇所に取り付けられてもよく、例えば作業機に取り付けられた棒状のアタッチメントの先に作業機ターゲットＴｍが取り付けられてもよい。なお、制御装置１２６の演算によって算出される作業機ターゲットＴｍの位置情報には、ＧＮＳＳの誤差およびその他誤差が含まれる。一方で制御装置１２６の演算によって算出される作業機ターゲットＴｍの位置情報の精度は、ステレオカメラ１２５の校正前におけるパラメータの精度より高い。そのため、本実施形態ではステレオカメラ１２５のパラメータ校正に作業機ターゲットＴｍの位置情報を用いている。なお、中心位置が既知である作業機ターゲットＴｍは、作業範囲内に位置する既知点ターゲットの一例である。

ここで、作業機ターゲットＴｍは、バケット１１３の中央の刃に取り付けられる。

図６は、第１の実施形態においてステレオカメラによって撮像される作業機ターゲットの位置を示す図である。
ステレオカメラ１２５の校正を実行する際、油圧ショベル１００のオペレータは、各作業機ターゲットＴｍが、例えば図６に示す位置ｐ１、位置ｐ２、位置ｐ３、位置ｐ４、位置ｐ５、位置ｐ６、位置ｐ７、位置ｐ８に来るように作業機１１０を制御する。そして、ステレオカメラ１２５を構成する各カメラは、各位置において作業機ターゲットＴｍを撮像する。このとき、制御装置１２６は、ステレオカメラ１２５による撮像の際に、作業機位置検出器１１７から作業機の位置を示す情報を取得する。
なお、位置ｐ１からｐ８の位置は必ずしも図６に示す位置である必要はなく油圧ショベル１００のオペレータは、作業機ターゲットＴｍを任意の位置に移動させて撮像を行ってもよい。また作業機ターゲットＴｍの位置の数も必ず８点である必要はなく任意の複数点であればよい。

図７は、第１の実施形態に係る校正方法の実行に用いられる外部ターゲットの例を示す図である。
外部ターゲットＴｇは、図７に示すように、地面に面する接地板Ｔｇ１と、接地板Ｔｇ１から垂直に立ち上がり既定の図形が描かれた表示板Ｔｇ２とを備える。なお、外部ターゲットＴｇの構造は、必ずしも接地板Ｔｇ１と表示板Ｔｇ２とを備えるものでなくてもよく、ステレオカメラ１２５の撮像画像からその位置を認識できるものであればどのようなものであってもよい。例えば、他の実施形態に係る外部ターゲットＴｇは、表示板Ｔｇ２のみを備え、地面や壁などに取り付けられるものであってもよい。また、他の実施形態に係る外部ターゲットＴｇは、表示板Ｔｇ２を備えず、地面や壁に直接描かれた図形であってもよいし、表示板Ｔｇ２に図形が描かれないものであってもよい。また、表示板Ｔｇ２に描かれる図形も位置を認識できるものであればどのような形状、色、模様の図形であってもよい。第１の実施形態に係る校正においては、外部ターゲットＴｇは、施工現場の任意の複数の位置（すなわち、現場座標系における位置が未知である複数の位置）と、現場座標系における位置が既知である位置とに設置される。以下、ある座標系における位置が未知である位置を未知点、ある座標系における位置が既知である位置を既知点ともいう。また、未知点に配置された外部ターゲットＴｇを未知外部ターゲット、既知点に配置された外部ターゲットＴｇを既知外部ターゲットともいう。

図８は、第１の実施形態においてステレオカメラによって撮像される外部ターゲットの第１の位置を示す図である。
ステレオカメラ１２５の校正を実行する際、油圧ショベル１００のオペレータは、各外部ターゲットＴｇを、例えば図８に示す位置ｐ１１、位置ｐ１２、位置ｐ１３、位置ｐ１４、位置ｐ１５、位置ｐ１６、位置ｐ１７、位置ｐ１８、位置ｐ１９に設置する。位置ｐ１１〜ｐ１９は、いずれも未知点である。つまり、各外部ターゲットＴｇの設置位置は正確でなくてよく、また現場座標系における位置が未知である。なお、外部ターゲットＴｇの数は必ず９点である必要はなく任意の複数の未知点であればよい。
このとき、位置ｐ１１〜ｐ１９は、ステレオカメラ１２５の撮像範囲において分散して配置されることが好ましい。

制御装置１２６は、各カメラについて、位置ｐ１〜ｐ８における作業機ターゲットＴｍおよび、位置ｐ１１〜ｐ１９における外部ターゲットＴｇを撮像した撮像画像における作業機ターゲットＴｍの中心位置を特定する。なお、撮像画像における作業機ターゲットＴｍの中心位置は、作業機ターゲットＴｍの撮像データの一例である。また制御装置１２６は、作業機位置検出器１１７が検出したバケット１１３の刃先位置、バケット１１３の姿勢角η、および作業機ターゲットＴｍの中心と刃先との位置関係に基づいて、車体座標系における作業機ターゲットＴｍの中心位置（位置ｐ１〜ｐ８の車体座標系における位置）を求める。そして、制御装置１２６は、位置ｐ１〜ｐ８および位置ｐ１１〜ｐ１９の各カメラの撮像画像における位置と、位置ｐ１〜ｐ８の車体座標系における位置とを用いて収束計算をすることで、各カメラのパラメータを求める。具体的には、制御装置１２６は、上記収束計算により、各カメラについて上記式（３）を構成する行列Ｒｍｙ、Ｒｍｐ、Ｒｍｒ、Ｔｍをそれぞれ求めることで、上記式（１）を構成する行列Ｒｃｙ、Ｒｃｐ、Ｒｃｒ、Ｔｃを得ることができる。
なお、他の実施形態においては、制御装置１２６は、位置ｐ１〜ｐ８の各カメラの撮像画像における位置および位置ｐ１〜ｐ８の車体座標系における位置を用いた収束計算と、位置ｐ１１〜ｐ１９の各カメラの撮像画像における位置を用いた収束計算とをそれぞれ並列に計算して、各カメラのパラメータを求めてもよい。

ここで、制御装置１２６は、位置ｐ１〜ｐ８の各カメラの撮像画像における位置と、位置ｐ１〜ｐ８の車体座標系における位置とを用いて収束計算を行うことで、少なくとも位置ｐ１〜ｐ８で囲われる範囲において、ステレオ計測の精度が担保されるようにカメラのパラメータを求めることができる。また、制御装置１２６は、位置ｐ１１〜ｐ１９の各カメラの撮像画像における位置を用いた収束計算を行うことで、位置ｐ１１〜ｐ１９で囲われる範囲において、ステレオ計測の成立が担保されるようにカメラのパラメータを求めることができる。一方、位置ｐ１１〜ｐ１９の車体座標系における位置は不明であるため、位置ｐ１１〜ｐ１９で囲われる範囲においてステレオ計測の精度は担保されない。つまり、位置ｐ１１〜ｐ１９で囲われる範囲内の任意の位置について、ステレオ計測により距離を算出することはできる一方で、その距離の精度が低い可能性がある。なお、他の実施形態においては、制御装置１２６は、未知点の位置（位置ｐ１１〜ｐ１９）を用いずに収束計算を行ってもよい。

そこで、制御装置１２６は、上記手順によって各カメラのパラメータを求めた後に、さらに位置が既知である外部ターゲットＴｇの撮像画像を用いて、さらに各カメラのパラメータを調整することで、位置ｐ１〜ｐ８で囲われる範囲より外側の範囲における距離の精度を向上させる。

図９は、第１の実施形態における外部ターゲットの設置要領を示す図である。
第１の実施形態においては、上記外部ターゲットＴｇを現場座標系における位置が既知の位置ｐ２０（既知点）に配置し、これを撮像することで、各カメラのパラメータを調整する。第１の実施形態では、外部ターゲットＴｇは、例えば表示板Ｔｇ２に描かれた図形の直下にＧＮＳＳ基準局Ｃの中心がくるように、施工現場に設置される。ＧＮＳＳ基準局Ｃの現場座標系における位置（Ｘｇ_０，Ｙｇ_０，Ｚｇ_０）は既知であり、また外部ターゲットＴｇの接地板Ｔｇ１の底面から表示板Ｔｇ２に描かれた図形の中心点までの距離ｈが既知であることから、現場座標系における外部ターゲットＴｇの図形の中心位置ｐ２０（Ｘｇ_０，Ｙｇ_０，Ｚｇ_０＋ｈ）を正確に特定することができる。なお、他の実施形態においてＧＮＳＳ基準局Ｃは、必ずしも現場座標系における基準点（原点）である必要はない。なお、既知の外部ターゲットＴｇの位置情報は、トータルステーション等の高精度のセンサを用いて計測されるため、その精度はステレオカメラ１２５の校正前におけるパラメータの精度より高い。そのため、本実施形態ではステレオカメラ１２５のパラメータ校正に外部ターゲットＴｇの位置情報を用いることで、ステレオ計測の精度を向上させることができる。

図１０は、第１の実施形態においてステレオカメラによって撮像される外部ターゲットの第２の位置を示す図である。
また、油圧ショベル１００のオペレータは、作業機ターゲットＴｍ、および未知点である外部ターゲットＴｇを用いた校正の後に、位置ｐ２０に設置された既知点である外部ターゲットＴｇが作業機１１０の作業範囲（ｐ１〜ｐ８を含む範囲）より遠方になるように油圧ショベル１００を移動させる。なお、作業範囲とは、車体座標系において作業機１１０の操作によりバケット１１３の刃先Ｅが到達し得る範囲をいう。そして、ステレオカメラ１２５を構成する各カメラは、位置ｐ２０の外部ターゲットＴｇを撮像する。なお、図１０に示す例では、ステレオカメラ１２５は現場座標系における位置が既知の外部ターゲットＴｇを１回撮像するが、これに限られない。制御装置１２６は、ステレオカメラ１２５と現場座標系における位置が既知の外部ターゲットＴｇとの相対位置を異ならせながら、当該相対位置ごとに、ステレオカメラ１２５に現場座標系における位置が既知の外部ターゲットＴｇを複数回撮像させてもよい。この場合、現場座標系における位置が既知の外部ターゲットＴｇを１回撮像する場合より、より精度よくステレオカメラ１２５のパラメータを求めることができる。なお、作業範囲外に設置された既知点である外部ターゲットＴｇは、作業範囲外に位置する既知点ターゲットの一例である。また、作業範囲内に設置された既知点である外部ターゲットＴｇは、作業範囲内に位置する既知点ターゲットの一例である。

制御装置１２６は、位置ｐ２０における外部ターゲットＴｇを撮像した撮像画像に基づくステレオ計測によってカメラ座標系における外部ターゲットＴｇの中心位置を算出し、パラメータ記憶部２０４が記憶するステレオカメラ１２５の位置および姿勢を示すパラメータに基づいて、これを車体座標系における外部ターゲットＴｇの中心位置（第１位置）に変換する。また制御装置１２６は、現場座標系における外部ターゲットＴｇの中心位置を座標変換し、車体座標系における外部ターゲットＴｇの中心位置（第２位置）を求める。そして、制御装置１２６は、第１位置と第２位置との位置の差（距離）が最小となるように、各カメラのパラメータを調整する。
なお、パラメータ記憶部２０４には車体座標系における各カメラの位置および姿勢を示すパラメータが記憶されているため、第１位置および第２位置を算出することで、カメラと外部ターゲットＴｇとの位置関係が分かる。つまり、第１位置とパラメータ記憶部２０４が記憶するパラメータとの組み合わせは、カメラと外部ターゲットＴｇとの位置関係である第１位置関係の一例である。また第２位置とパラメータ記憶部２０４が記憶するパラメータとの組み合わせは、カメラと外部ターゲットＴｇとの位置関係である第２位置関係の一例である。

なお、他の実施形態においては、制御装置１２６は、カメラ座標系における外部ターゲットＴｇの中心位置でなく、ステレオカメラ１２５と外部ターゲットＴｇの間の距離に基づいて各カメラのパラメータを調整してもよい。具体的には、制御装置１２６は、以下の手順でカメラのパラメータを調整してもよい。制御装置１２６は、位置ｐ２０における外部ターゲットＴｇを撮像した撮像画像に基づくステレオ計測によってステレオカメラ１２５と外部ターゲットＴｇの中心位置との間の距離（第１距離）を求める。また制御装置１２６は、現場座標系における外部ターゲットＴｇの中心位置と車体座標系におけるステレオカメラ１２５の位置とに基づいて、座標系の変換により、ステレオカメラ１２５と外部ターゲットＴｇの中心位置との間の距離（第２距離）を求める。そして、制御装置１２６は、第１距離と第２距離との差が最小となるように、各カメラのパラメータを調整する。第１距離および第２距離は、いずれもステレオカメラ１２５と外部ターゲットＴｇの位置関係を表す値である。

《油圧ショベルの制御装置》
図１１は、第１の実施形態に係る油圧ショベルの制御装置の構成を示すブロック図である。
制御装置１２６は、撮像データ取得部２００、作業機械情報記憶部２０１、作業機位置特定部２０２、第１校正部２０３、パラメータ記憶部２０４、変換パラメータ算出部２０５、外部ターゲット位置算出部２０６、外部ターゲット位置取得部２０７、外部ターゲット位置変換部２０８、第２校正部２０９を備える。

撮像データ取得部２００は、ステレオカメラ１２５の各カメラが撮像した画像を取得し、ステレオ計測により撮像対象の三次元データを生成する。画像および三次元データは撮像データの一例である。

作業機械情報記憶部２０１は、ブーム１１１の寸法Ｌ１、アーム１１２の寸法Ｌ２、バケット１１３の寸法Ｌ３、バケット１１３の輪郭形状、および旋回体１２０の代表点Ｏの位置とブームピンＰ１との位置関係等を記憶する。

作業機位置特定部２０２は、作業機位置検出器１１７が検出したブームシリンダ１１４、アームシリンダ１１５およびバケットシリンダ１１６のストローク量と、作業機械情報記憶部２０１が記憶する諸元の値に基づいてバケット１１３の位置及び姿勢を特定する。これにより、作業機位置特定部２０２は、車体座標系における作業機ターゲットＴｍの位置を特定する。

第１校正部２０３は、作業機位置特定部２０２が特定した車体座標系における作業機ターゲットＴｍの位置（位置ｐ１〜ｐ８）と、位置ｐ１〜ｐ８における作業機ターゲットＴｍの各カメラの撮像画像における位置と、未知点である位置ｐ１１〜ｐ１８における外部ターゲットＴｇの各カメラの撮像画像における位置に基づく収束計算により、ステレオカメラ１２５のパラメータを計算し更新、すなわち校正を行う。第１校正部２０３は、計算により得られたパラメータ（例えば、式（１）、式（３）の各行列）をパラメータ記憶部２０４に記録する。

パラメータ記憶部２０４は、ステレオカメラ１２５のパラメータを記憶する。

変換パラメータ算出部２０５は、位置方位演算器１２３が演算した旋回体１２０の位置および方位、ならびに傾斜検出器１２４が検出した旋回体１２０の傾斜角に基づいて、現場座標系と車体座標系との間の変換パラメータを算出する。これにより、パラメータ記憶部２０４に記憶されている車体座標系におけるステレオカメラ１２５の位置および姿勢を示すパラメータを座標変換することにより、現場座標系におけるステレオカメラ１２５の位置及び姿勢を特定することができる。変換パラメータ算出部２０５は、撮像装置の位置を取得する撮像装置位置取得部の一例である。

外部ターゲット位置算出部２０６は、撮像データ取得部２００がステレオ計測によって得たカメラ座標系における外部ターゲットＴｇの位置を、パラメータ記憶部２０４が記憶するステレオカメラ１２５のパラメータを用いて座標変換することで、車体座標系における外部ターゲットＴｇの位置を算出する。外部ターゲット位置算出部２０６は、ステレオカメラ１２５の撮像画像に基づいて、ステレオカメラ１２５と外部ターゲットＴｇとの位置関係である第１位置関係を特定する第１位置関係特定部の一例である。

外部ターゲット位置取得部２０７は、既知のＧＮＳＳ基準局Ｃの現場座標系における位置に、外部ターゲットＴｇの図形中心までの高さｈを加算することで、外部ターゲットＴｇの現場座標系における位置ｐ２０を算出する。第１の実施形態において、既知のＧＮＳＳ基準局Ｃの現場座標系における位置および外部ターゲットＴｇの図形中心までの高さｈは予め制御装置１２６を動作させるためのプログラムに組み込まれている。なお、他の実施形態においては、ＧＮＳＳ基準局Ｃの現場座標系における位置および高さｈがオペレータの操作等によりインタフェース９４０を介して入力され、入力された値がストレージ９３０に記録され、外部ターゲット位置取得部２０７がこれを読み出すものであってもよい。また他の実施形態において、図形中心の直下に現場座標系における位置が既知の点がこない場合（例えば、表示板Ｔｇ２の左下をＧＮＳＳ基準局Ｃに合わせる場合など）、外部ターゲット位置取得部２０７は、高さｈに代えて、現場座標系における位置が既知の点と図形中心との相対位置を示す情報を用いて位置ｐ２０を算出する。

外部ターゲット位置変換部２０８は、変換パラメータ算出部２０５が算出した変換パラメータを用いて、外部ターゲット位置取得部２０７が算出した外部ターゲットＴｇの現場座標系における位置を、車体座標系の位置に変換する。つまり、外部ターゲット位置変換部２０８は、車体座標系におけるステレオカメラ１２５と外部ターゲットＴｇの位置関係を特定することができる。外部ターゲット位置変換部２０８は、ステレオカメラ１２５の位置と外部ターゲットＴｇの位置とに基づいて、ステレオカメラ１２５と外部ターゲットＴｇとの位置関係である第２位置関係を特定する第２位置関係特定部の一例である。

第２校正部２０９は、外部ターゲット位置算出部２０６が算出したステレオカメラ１２５と外部ターゲットＴｇとの位置関係である第１位置関係と、外部ターゲット位置変換部２０８が得たステレオカメラ１２５と外部ターゲットＴｇとの位置関係である第２位置関係との差が最小になるようにステレオカメラ１２５のパラメータ（車体座標系における位置および姿勢）を修正する計算を、第１位置関係と第２位置関係との差が所定値以下になるまで繰り返し実行する（収束計算する）ことで、パラメータ記憶部２０４が記憶するパラメータを更新する。

《ステレオカメラの校正方法》
図１２は、第１の実施形態に係るステレオカメラの校正方法を示すフローチャートである。
ステレオカメラ１２５の校正を開始する前に、予め作業機械情報記憶部２０１には、作業機１１０の各種寸法が記憶される（ステップＳ０）。
油圧ショベル１００のオペレータは、作業機ターゲットＴｍが所定の位置、例えば図６に示す位置ｐ１からｐ８のそれぞれの位置に来るように操作装置１２１１を操作し、作業機１１０を駆動させる。

オペレータは、作業機ターゲットＴｍが位置ｐ１からｐ８のそれぞれの位置に来たときに、操作装置１２１１を操作し、ステレオカメラ１２５に撮像指示を出力する。これにより、制御装置１２６の撮像データ取得部２００は、作業機ターゲットＴｍのそれぞれの位置（位置ｐ１からｐ８）について、ステレオカメラ１２５の各カメラが撮像した画像を取得する（ステップＳ１）。このとき、作業機位置特定部２０２は、作業機位置検出器１１７が検出したブームシリンダ１１４、アームシリンダ１１５およびバケットシリンダ１１６のストローク量と、作業機械情報記憶部２０１が記憶する諸元の値に基づいて、作業機ターゲットＴｍのそれぞれの位置について、車体座標系における作業機ターゲットＴｍの位置を特定する（ステップＳ２）。

また、施工現場の作業者は、外部ターゲットＴｇを任意の位置、例えば図８に示す位置ｐ１１からｐ１９のそれぞれの位置に設置する。このとき、外部ターゲットＴｇが設置される位置は未知点である。すなわち、作業者は位置ｐ１１からｐ１９の正確な位置を知らなくてよい。

オペレータは、外部ターゲットＴｇが任意の位置に設置された後に、操作装置１２１１を操作し、ステレオカメラ１２５に撮像指示を出力する。制御装置１２６の撮像データ取得部２００は、ステレオカメラ１２５の各カメラが撮像した画像を取得する（ステップＳ３）。

第１校正部２０３は、各撮像画像における位置ｐ１〜ｐ８、ｐ１１〜ｐ１９の中心位置と、各位置ｐ１〜ｐ８の車体座標系における位置とに基づく収束計算により、ステレオカメラ１２５のパラメータを算出する（ステップＳ４）。第１校正部２０３は、パラメータを求めると、得られたパラメータをパラメータ記憶部２０４に記録・更新する（ステップＳ５）。

次に、オペレータは、ＧＮＳＳ基準局Ｃの直上（既知点）に設けられた外部ターゲットＴｇが図１０に示すように、作業機１１０の作業範囲外に位置するように、操作装置１２１１を操作し、油圧ショベル１００を移動させる。オペレータは、外部ターゲットＴｇが作業機１１０の作業範囲外に位置すると判断したときに、操作装置１２１１を操作し、ステレオカメラ１２５に撮像指示を出力する。制御装置１２６の撮像データ取得部２００は、ステレオカメラ１２５の各カメラが撮像した画像を取得し、当該画像に基づいてステレオ計測をすることで、カメラ座標系における外部ターゲットＴｇの位置を算出する（ステップＳ６）。

次に、変換パラメータ算出部２０５は、位置方位演算器１２３が演算した旋回体１２０の位置および方位、ならびに傾斜検出器１２４が検出した旋回体１２０の傾斜角に基づいて、現場座標系と車体座標系との間の変換パラメータを算出する（ステップＳ７）。

外部ターゲット位置算出部２０６は、パラメータ記憶部２０４が記憶するステレオカメラ１２５のパラメータを用いて、ステップＳ８で撮像データ取得部２００がステレオ計測によって得たカメラ座標系における外部ターゲットＴｇの位置を、車体座標系における外部ターゲットＴｇの位置に変換算出する（ステップＳ８）。

外部ターゲット位置取得部２０７は、既知のＧＮＳＳ基準局Ｃの現場座標系における位置に、外部ターゲットＴｇの図形中心までの高さを加算することで、外部ターゲットＴｇの現場座標系における中心位置を算出する（ステップＳ９）。次に、外部ターゲット位置変換部２０８は、変換パラメータ算出部２０５が算出した現場座標系と車体座標系との間の変換パラメータを用いて、外部ターゲット位置取得部２０７が算出した外部ターゲットＴｇの現場座標系における位置を、車体座標系の位置に変換する（ステップＳ１０）。

第２校正部２０９は、外部ターゲット位置算出部２０６が算出した外部ターゲットＴｇの位置と、外部ターゲット位置変換部２０８が得た外部ターゲットＴｇの位置との差が最小になるようにステレオカメラのパラメータを収束計算し、パラメータ記憶部２０４が記憶するパラメータを更新する（ステップＳ１１）。なお、第２校正部２０９は、少なくともパラメータ記憶部２０４が記憶するパラメータのうちステレオ計測におけるスケールに係るものを更新してもよい。これにより、制御装置１２６は、作業機１１０の作業範囲より遠い点についてより精度よく距離を計算できるようにステレオカメラ１２５を校正することができる。なお、上述したように、第２校正部２０９は、ステップＳ１１においてカメラと外部ターゲットＴｇとの距離（第１距離と第２距離）の差が最小となるようにカメラのパラメータを校正するようにしてもよい。

《作用・効果》
このように、第１の実施形態によれば、制御装置１２６は、ステレオカメラ１２５の撮像画像に基づいたステレオ計測によって特定されたステレオカメラ１２５と外部ターゲットＴｇとの第１位置関係と、ステレオカメラ１２５の位置と外部ターゲットＴｇの位置とに基づいて特定された第２位置関係とに基づいてステレオカメラ１２５を校正する。外部ターゲットＴｇが作業機１１０上に設けられるものでなく施工現場に設けられるため、ステレオカメラ１２５と外部ターゲットＴｇとの距離を任意に設定してステレオカメラ１２５を校正することができる。したがって、制御装置１２６は、ステレオカメラ１２５と外部ターゲットＴｇとの距離を作業機１１０の作業範囲外に設定することで、作業機１１０の作業範囲より遠い点におけるスケールの計測精度が高くなるようにステレオカメラ１２５を校正することができる。

また、第１の実施形態によれば、外部ターゲットＴｇは、ＧＮＳＳ基準局Ｃの直上に設けられる。これにより、制御装置１２６は、外部ターゲットＴｇの現場座標系における位置を確実に特定することができる。

また、第１の実施形態によれば、制御装置１２６は、まず作業機１１０に設けられた作業機ターゲットＴｍ、及び未知点の外部ターゲットＴｇに基づいてステレオカメラ１２５のパラメータを校正し、その後、既知点の外部ターゲットＴｇに基づいてステレオカメラ１２５のパラメータを更新する。これにより、既知点の外部ターゲットＴｇを用いた構成の前に、少なくとも作業機１１０の作業範囲において精度が高くなるようにステレオカメラ１２５のパラメータを求められた状態となる。その後、制御装置１２６は、既知点の外部ターゲットＴｇに基づく校正を行うことで、作業機１１０の作業範囲外においても精度が高くなるようにステレオカメラ１２５のパラメータを更新することができる。なお、他の実施形態においてはこれに限られず、制御装置１２６は、例えば作業機ターゲットＴｍおよび未知点の外部ターゲットＴｇに基づくステレオカメラ１２５のパラメータの校正と、既知点の外部ターゲットＴｇに基づくステレオカメラ１２５のパラメータの構成とを同時に行ってもよい。

また、第１の実施形態においては、作業機ターゲットＴｍが、中央の刃に取り付けられ、制御装置１２６がこれに基づいて収束計算を行うが、これに限られない。例えば、他の実施形態においては、作業機ターゲットＴｍが複数の刃に取り付けられてもよく、例えば中央の刃および左右両端の刃の計３つの刃に取り付けられてもよい。ここで、中央の刃以外に設けられた作業機ターゲットＴｍの車体座標系における位置は正確に分かっていなくてもよい。つまり作業機ターゲットＴｍの少なくとも１つが既知点に設置されていれば、他の作業機ターゲットＴｍは未知点に設置されていてもよい。以下の第２実施形態においても同様に、作業機ターゲットＴｍが複数の刃に取り付けられてもよい。

〈第２の実施形態〉
第２の実施形態について説明する。
第１の実施形態に係る油圧ショベル１００の制御装置１２６は、作業機ターゲットＴｍ、及び未知点である外部ターゲットＴｇを用いた校正の後に、現場座標系の位置が既知の外部ターゲットＴｇを用いた校正を行うという、２段階の校正を行う。これに対し、第２の実施形態に係る制御装置１２６は、作業機ターゲットＴｍと、未知点である外部ターゲットＴｇと、現場座標系の位置が既知の外部ターゲットＴｇとを用いて一度にステレオカメラ１２５の校正を行う。

《ステレオカメラの校正方法》
図１３は、第２の実施形態に係るステレオカメラの校正方法を示すフローチャートである。
ステレオカメラ１２５の校正を開始する前に、予め作業機械情報記憶部２０１には、作業機１１０の各種寸法が記憶される（ステップＳ１００）。
油圧ショベル１００のオペレータは、作業機ターゲットＴｍが所定の位置、例えば図６に示す位置ｐ１からｐ８のそれぞれの位置に来るように操作装置１２１１を操作し、作業機１１０を駆動させる。

オペレータは、作業機ターゲットＴｍの位置ｐ１からｐ８のそれぞれの位置に来たときに、操作装置１２１１を操作し、ステレオカメラ１２５に撮像指示を出力する。これにより制御装置１２６の撮像データ取得部２００は、それぞれの位置（位置ｐ１からｐ８）について、ステレオカメラ１２５の各カメラが撮像した画像を取得する（ステップＳ１０１）。このとき、作業機位置特定部２０２は、作業機位置検出器１１７が検出したブームシリンダ１１４、アームシリンダ１１５およびバケットシリンダ１１６のストローク量と、作業機械情報記憶部２０１が記憶する諸元の値に基づいて、それぞれの位置について、車体座標系における作業機ターゲットＴｍの位置を特定する（ステップＳ１０２）。

また、施工現場の作業者は、外部ターゲットＴｇを任意の位置（未知点）、例えば図８に示す位置ｐ１１からｐ１９のそれぞれの位置に設置する。

オペレータは、外部ターゲットＴｇが位置ｐ１１からｐ１９のいずれかの位置に設置されたと判断するたびに、操作装置１２１１を操作し、ステレオカメラ１２５に撮像指示を出力する。制御装置１２６の撮像データ取得部２００は、それぞれの位置（位置ｐ１１からｐ１９）について、ステレオカメラ１２５の各カメラが撮像した画像を取得する（ステップＳ１０３）。

次に、オペレータは、ＧＮＳＳ基準局Ｃの直上（既知点）に設けられた外部ターゲットＴｇが図１０に示すように、作業機１１０の作業範囲外に位置するように、操作装置１２１１を操作し、油圧ショベル１００を移動させる。オペレータは、外部ターゲットＴｇが作業機１１０の作業範囲外になったと判断したときに、操作装置１２１１を操作し、ステレオカメラ１２５に撮像指示を出力する。制御装置１２６の撮像データ取得部２００は、ステレオカメラ１２５の各カメラが撮像した画像を取得し、当該撮像画像における外部ターゲットＴｇの中心位置を求める（ステップＳ１０４）。なお、撮像画像における外部ターゲットＴｇの中心位置は、外部ターゲットＴｇの撮像データの一例である。

次に、変換パラメータ算出部２０５は、位置方位演算器１２３が演算した旋回体１２０の位置および方位、ならびに傾斜検出器１２４が検出した旋回体１２０の傾斜角に基づいて、現場座標系と車体座標系との間の変換パラメータを算出する（ステップＳ１０５）。

外部ターゲット位置取得部２０７は、既知のＧＮＳＳ基準局Ｃの現場座標系における位置に、外部ターゲットＴｇの図形中心までの高さを加算することで、外部ターゲットＴｇの現場座標系における中心位置を算出する（ステップＳ１０６）。次に、外部ターゲット位置変換部２０８は、変換パラメータ算出部２０５が算出した現場座標系と車体座標系との間の変換パラメータを用いて、外部ターゲット位置取得部２０７が算出した外部ターゲットＴｇの現場座標系における位置を、車体座標系の位置に変換する（ステップＳ１０７）。

そして、第１校正部２０３は、撮像画像における位置ｐ１〜ｐ８、ｐ１１〜ｐ１９、ｐ２０の中心位置と、位置ｐ１〜ｐ８および位置ｐ２０の車体座標系における位置とに基づく収束計算により、ステレオカメラ１２５のパラメータを算出する（ステップＳ１０８）。第１校正部２０３は、得られたパラメータをパラメータ記憶部２０４に記録する（ステップＳ１０９）。

このように、第２の実施形態によれば、撮像画像における位置ｐ１〜ｐ８、ｐ１１〜ｐ１９、ｐ２０の中心位置と、位置ｐ１〜ｐ８および位置ｐ２０の車体座標系における位置とに基づく収束計算をすることで、１段階のステレオカメラ１２５の校正作業にて、作業機１１０の作業範囲内におけるステレオ計測の精度および作業機１１０の作業範囲より遠方の領域におけるステレオ計測の精度を担保することができる。

なお、第２の実施形態において、制御装置１２６は、車体座標系における作業機ターゲットＴｍの位置を特定し、これを用いて収束計算を行うが、これに限られない。例えば、他の実施形態に係る制御装置１２６は、車体座標系における作業機ターゲットＴｍの位置を用いずに、既知の外部ターゲットＴｇの車体座標系における位置と、撮像画像における作業機ターゲットＴｍおよび外部ターゲットＴｇの中心位置と、に基づいて収束計算を行ってもよい。

〈第３の実施形態〉
第３の実施形態について説明する。
第１、第２の実施形態に係る油圧ショベル１００の制御装置１２６は、作業機ターゲットＴｍを用いて校正を行う。これに対し、第３の実施形態に係る制御装置１２６は、作業機ターゲットＴｍを用いずにステレオカメラ１２５の校正を行う。

図１４は、第３の実施形態においてステレオカメラによって撮像される既知点の外部ターゲットＴｇの位置を示す図である。
第３の実施形態において、作業機１１０の作業範囲外に設置した既知点の外部ターゲットＴｇを用いてステレオカメラ１２５の校正を実行する際、油圧ショベル１００のオペレータは、図１４に示すように、外部ターゲットＴｇに対して旋回体１２０を旋回させ、ステレオカメラ１２５から見て異なる角度に位置する外部ターゲットＴｇを撮像する。つまり、オペレータは、旋回体１２０が位置ｐ１０１、位置ｐ１０２、位置ｐ１０３に来るように旋回体１２０を制御する。このとき、油圧ショベル１００のオペレータは、走行体１３０を駆動させ、異なる距離から複数回外部ターゲットＴｇを撮像してもよい。そして、ステレオカメラ１２５を構成する各カメラは、各位置において外部ターゲットＴｇを撮像する。
そして、制御装置１２６は、各カメラの撮像画像における位置ｐ１０１〜ｐ１０３の中心位置と、位置ｐ１０１〜ｐ１０３の車体座標系における位置とに基づく収束計算により、ステレオカメラ１２５のパラメータを算出する。つまり、制御装置１２６は、ステレオカメラ１２５と既知点の外部ターゲットＴｇとの複数の相対位置を用いてステレオカメラ１２５の校正を行う。

《ステレオカメラの校正方法》
図１５は、第３の実施形態に係るステレオカメラの校正方法を示すフローチャートである。
パラメータ記憶部２０４には、ステレオカメラ１２５の校正を開始する前に、予め作業機械情報記憶部２０１には、作業機１１０の各種寸法が記憶される（ステップＳ２００）。まず外部ターゲット位置取得部２０７は、既知のＧＮＳＳ基準局Ｃの現場座標系における位置に、外部ターゲットＴｇの図形中心までの高さｈを加算することで、外部ターゲットＴｇの現場座標系における位置を算出する（ステップＳ２０１）。
次に、油圧ショベル１００のオペレータは、油圧ショベル１００と外部ターゲットＴｇとの相対位置が作業機１１０の作業範囲外になるように油圧ショベル１００を走行した上で、旋回体１２０が任意の位置、例えば図１４に示す位置ｐ１０１からｐ１０３のそれぞれの位置に来るように操作装置１２１１を操作し、旋回体１２０を旋回させる。

オペレータは、旋回体１２０を位置ｐ１０１からｐ１０３のそれぞれの位置に移動させると、操作装置１２１１を操作し、ステレオカメラ１２５に撮像指示を出力する。これにより、制御装置１２６の撮像データ取得部２００は、それぞれの位置（位置ｐ１０１からｐ１０３）について、ステレオカメラ１２５の各カメラが撮像した画像を取得し、当該撮像画像における外部ターゲットＴｇの中心位置を求める（ステップＳ２０２）。

次に、変換パラメータ算出部２０５は、位置方位演算器１２３が演算した旋回体１２０の位置および方位、ならびに傾斜検出器１２４が検出した旋回体１２０の傾斜角に基づいて、それぞれの位置について、現場座標系と車体座標系との間の変換パラメータを算出する（ステップＳ２０３）。

次に、外部ターゲット位置変換部２０８は、変換パラメータ算出部２０５が算出した変換パラメータを用いて、外部ターゲット位置取得部２０７が算出した外部ターゲットＴｇの現場座標系における位置を、それぞれの位置について、車体座標系の位置に変換する（ステップＳ２０４）。

第１校正部２０３は、位置ｐ１０１〜ｐ１０３の撮像画像における画像中心位置と、位置ｐ１０１〜ｐ１０３の車体座標系における位置とに基づいてステレオカメラ１２５のパラメータを算出する（ステップＳ２０５）。第１校正部２０３は、パラメータを求めると、得られたパラメータをパラメータ記憶部２０４に記録する（ステップＳ２０６）。

《作用・効果》
このように、第３の実施形態によれば、制御装置１２６は、ステレオカメラ１２５と外部ターゲットＴｇとの距離を作業機１１０の作業範囲より遠くに設定することで、作業機１１０の作業範囲より遠い点についてより精度よく距離を計算できるようにステレオカメラ１２５を校正することができる。

また、第３の実施形態によれば、制御装置１２６は、ステレオカメラ１２５と外部ターゲットＴｇとの相対位置ごとに、外部ターゲットＴｇの撮像画像における中心位置と、外部ターゲットＴｇの現場座標系の位置から変換された車体座標系における位置とを特定し、これらに基づいてステレオカメラ１２５を校正する。これにより、制御装置１２６は、ステレオカメラ１２５のパラメータをより精度よく求めることができる。また、これにより、作業機ターゲットＴｍを用いた校正を省略して、外部ターゲットＴｇを用いて直接ステレオカメラ１２５を校正することができる。

なお、第３の実施形態に係る制御装置１２６は、油圧ショベル１００の旋回により、ステレオカメラ１２５と外部ターゲットＴｇとの複数の相対位置について、相対位置ごとに撮像画像を取得するが、これに限られない。例えば、他の実施形態においては、油圧ショベル１００の走行により、複数の相対位置について、相対位置ごとに撮像画像を取得してもよい。例えば、外部ターゲットＴｇが作業機１１０の作業範囲内となる位置（近距離）と、外部ターゲットＴｇが作業機１１０の作業範囲外となる位置（遠距離）となるよう油圧ショベル１００を走行させ、それぞれの位置において撮像画像を取得するようにしてもよい。

また、他の実施形態においては、複数の既知点のそれぞれに外部ターゲットＴｇを設置することで、ステレオカメラ１２５と複数の外部ターゲットＴｇのそれぞれの相対位置について撮像画像を取得してもよい。この場合、制御装置１２６は、複数の外部ターゲットＴｇの位置と、複数の外部ターゲットＴｇの撮像データとに基づいて撮像装置を校正する。また、他の実施形態においては、複数の任意の位置に外部ターゲットＴｇを設置し、それぞれの外部ターゲットＴｇの位置を高精度のセンサにより計測して既知点の外部ターゲットＴｇとして用いてもよい。また、他の実施形態において制御装置１２６は、油圧ショベル１００の旋回または走行により、ステレオカメラ１２５と複数の外部ターゲットＴｇとの相対位置を異ならせ、相対位置ごとに撮像画像を取得してもよい。この場合、制御装置１２６は、位置関係ごとの複数の外部ターゲットＴｇの位置と、位置関係ごとの複数の外部ターゲットＴｇの撮像データとに基づいて撮像装置を校正する。すなわち、外部ターゲットＴｇの数は１つでも複数でもよく、撮像時におけるステレオカメラ１２５と外部ターゲットＴｇとの相対位置の数は１つでも複数でもよい。つまり、ステレオカメラ１２５は、１つの外部ターゲットＴｇを、油圧ショベル１００の姿勢を変えずに１回撮像してもよいし、複数の外部ターゲットＴｇを、油圧ショベル１００の姿勢を変えずに１回撮像してもよいし、１つの外部ターゲットＴｇを、油圧ショベル１００の姿勢を変えて複数回撮像してもよいし、複数の外部ターゲットＴｇを、油圧ショベル１００の姿勢を変えて複数回撮像してもよい。

また、第３の実施形態に係る制御装置１２６は、既知点の外部ターゲットＴｇの撮像画像における中心位置、および既知点に係る外部ターゲットＴｇの現場座標系の位置に基づいて収束計算を行を行うが、これに限られない。例えば、他の実施形態に係る制御装置１２６は、既知点に係る外部ターゲットＴｇの撮像画像における中心位置、未知点に係る外部ターゲットＴｇの撮像画像における中心位置、および既知点に係る外部ターゲットＴｇの現場座標系の位置に基づいて収束計算を行ってもよい。

〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、第１の実施形態によれば、作業機ターゲットＴｍを撮像した後に外部ターゲットＴｇを撮像するが、これに限られない。例えば、他の実施形態に係る制御装置１２６は、外部ターゲットＴｇを撮像した後に作業機ターゲットＴｍを撮像してもよいし、一の画像に作業機ターゲットＴｍと外部ターゲットＴｇの両方を写すことで、作業機ターゲットＴｍと外部ターゲットＴｇとを同時に撮像してもよい。

また、上述した実施形態においては作業機械が油圧ショベル１００である場合について説明したが、これに限られない。例えば、他の実施形態においては、ホイルローダやブルドーザがステレオカメラ１２５を備え、上述の校正を行うものであってもよい。

また、上述した実施形態においては、制御装置１２６が、式（１）に示すパラメータ（いわゆる外部パラメータ）および式（３）に示すパラメータを求める場合について説明したが、これに限られない。例えば、制御装置１２６は、各カメラの内部パラメータを変化させることで、ステレオカメラ１２５の校正を行ってもよい。内部パラメータの例としては、カメラの光学系の焦点距離、カメラの光学系の光軸とイメージセンサの撮像面との交点の位置（ｘ、ｙ）、カメラレンズの半径方向の歪係数が挙げられる。

また、上述した実施形態においては、既知点の外部ターゲットＴｇが施工現場のＧＮＳＳ基準局Ｃ上に設置されるが、これに限られない。例えば、他の実施形態においては、ＧＮＳＳアンテナの近傍に外部ターゲットＴｇが設置されることで、外部ターゲットＴｇの現場座標系における位置を既知としてもよい。また例えば、外部ターゲットＴｇを他の油圧ショベル１００に設け、当該他の油圧ショベル１００が外部ターゲットＴｇの位置を現場座標系に変換することで、外部ターゲットＴｇの現場座標系における位置を既知としてもよい。また、外部ターゲットＴｇは、必ずしも施工現場に設置される必要はなく、例えば工場などに設置されてもよいし、屋内に設置されてもよい。

また、上述した実施形態においては、制御装置１２６がカメラ座標系および現場座標系の位置を車体座標系に変換することで、ステレオカメラ１２５と作業機ターゲットＴｍまたは外部ターゲットＴｇとの位置関係を特定するが、これに限られない。例えば、他の実施形態においては、車体座標系の位置をカメラ座標系または現場座標系に変換することで、ステレオカメラ１２５と作業機ターゲットＴｍまたは外部ターゲットＴｇとの位置関係を特定してもよい。

なお、第１、第２の実施形態では、制御装置１２６は既知点の外部ターゲットＴｇを１回撮像し、撮像画像と、このときのステレオカメラ１２５と既知点の外部ターゲットＴｇの位置関係とに基づいてステレオカメラ１２５のパラメータを更新するが、これに限られない。例えば、他の実施形態では、制御装置１２６は、既知点の外部ターゲットＴｇを複数回撮像し、各撮像画像と、それぞれの撮像タイミングにおけるステレオカメラ１２５と既知点の外部ターゲットＴｇの位置関係とに基づいてステレオカメラ１２５のパラメータを更新してもよい。この場合、図１２に示すフローチャートのステップＳ６からステップＳ１１の処理、または図１３に示すフローチャートのステップＳ１０４からステップＳ１０９の処理を、図１５に示すフローチャートのステップＳ２０１からステップＳ２０６に置き換えることで実現できる。既知点の外部ターゲットＴｇを複数回撮像することで、ステレオカメラ１２５と既知点の外部ターゲットＴｇの位置関係の算出結果に含まれるＧＮＳＳやＩＭＵの誤差による影響を小さくすることができ、より精度よくステレオカメラ１２５のパラメータを求めることができる。

図１６は、他の実施形態に係る校正システムの構成を概略図である。
上述した実施形態においては、制御装置１２６が単独でステレオカメラ１２５の校正を行うが、これに限られない。例えば、他の実施形態において、校正システム５００が油圧ショベル１００、サーバ５０１、通信回線５０２、端末装置５０３を備える場合に、制御装置１２６が他の装置と共働してステレオカメラ１２５の校正を行ってもよい。図１６に示す例では、制御装置１２６は、通信回線５０２を介して、油圧ショベル１００の遠隔に設けられているサーバ５０１および端末装置５０３とデータ通信することができる。サーバ５０１の例としては、コンピュータシステムが挙げられる。端末装置５０３の例としては、パーソナルコンピュータや携帯端末が挙げられる。通信回線５０２の例としては、インターネット、ローカルエリアネットワーク、携帯電話通信網、および衛星通信網が挙げられる。

このような実施形態において、サーバ５０１は、制御装置１２６の一部又は全部の機能を有していてよい。すなわち、サーバ５０１は、撮像データ取得部２００、作業機械情報記憶部２０１、作業機位置特定部２０２、第１校正部２０３、パラメータ記憶部２０４、変換パラメータ算出部２０５、外部ターゲット位置算出部２０６、外部ターゲット位置取得部２０７、外部ターゲット位置変換部２０８、第２校正部２０９の少なくとも1つを有する。この場合、位置方位演算器１２３、傾斜検出器１２４、ステレオカメラ１２５、および作業機位置検出器１１７が検出したデータが、通信回線５０２を介してサーバ５０１に供給される。例えば、サーバ５０１は、制御装置１２６から撮像画像、現場座標系における各ターゲットの位置を受信し、これらに基づく収束計算を行うことで、カメラのパラメータを算出し、算出されたパラメータを制御装置１２６に送信する。

また、このような実施形態において、端末装置５０３が、制御装置１２６の一部又は全部の機能を有していてよい。すなわち、端末装置５０３は、撮像データ取得部２００、作業機械情報記憶部２０１、作業機位置特定部２０２、第１校正部２０３、パラメータ記憶部２０４、変換パラメータ算出部２０５、外部ターゲット位置算出部２０６、外部ターゲット位置取得部２０７、外部ターゲット位置変換部２０８、第２校正部２０９の少なくとも１つを有する。

１００ 油圧ショベル
１１０ 作業機
１２０ 旋回体
１２５ ステレオカメラ
１２５１ 第１カメラ
１２５２ 第２カメラ
１２５３ 第３カメラ
１２５４ 第４カメラ
１２６ 制御装置
２００ 撮像データ取得部
２０１ 作業機械情報記憶部
２０２ 作業機位置特定部
２０３ 第１校正部
２０４ パラメータ記憶部
２０５ 変換パラメータ算出部
２０６ 外部ターゲット位置算出部
２０７ 外部ターゲット位置取得部
２０８ 外部ターゲット位置変換部
２０９ 第２校正部
Ｔｍ 作業機ターゲット
Ｔｇ 外部ターゲット

Claims (12)

1. 作業機を備える作業機械に設けられた少なくとも１つの撮像装置によって撮像された、前記作業機の作業範囲外における既知の位置に設置される既知外部ターゲットの撮像データおよび前記作業機に設けられた作業機ターゲットの撮像データを取得する撮像データ取得部と、
   前記既知外部ターゲットの現場座標系における位置を取得する外部ターゲット位置取得部と、
   前記作業機の車体座標系における位置を特定することで、前記作業機ターゲットの車体座標系における位置を算出する作業機位置特定部と、
   前記外部ターゲット位置取得部により取得された前記既知外部ターゲットの位置および前記作業機位置特定部によって算出された前記作業機ターゲットの位置を同一の座標系に係る位置に変換する位置変換部と、
   変換された各位置と前記撮像データ取得部により取得された前記既知外部ターゲットの撮像データおよび前記作業機ターゲットの撮像データとに基づいて前記撮像装置を校正する校正部と、
   を備える撮像装置の校正装置。
2. 前記撮像データ取得部は、少なくとも１対の撮像装置から前記既知外部ターゲットの撮像データを取得し、
   前記校正部は、前記外部ターゲット位置取得部により取得された前記既知外部ターゲットの位置と、前記撮像データ取得部により取得された前記撮像データに基づいてステレオ計測された前記既知外部ターゲットの位置とに基づいて前記撮像装置を校正する、
   請求項１に記載の撮像装置の校正装置。
3. 前記既知外部ターゲットのステレオ計測結果に基づいて、前記撮像装置と前記既知外部ターゲットとの位置関係である第１位置関係を特定する第１位置関係特定部と、
   前記外部ターゲット位置取得部により取得された前記既知外部ターゲットの位置に基づいて、前記撮像装置と前記既知外部ターゲットとの位置関係である第２位置関係を特定する第２位置関係特定部と、
   を備え、
   前記校正部は、前記第１位置関係と前記第２位置関係とに基づいて前記撮像装置を校正する、
   請求項２に記載の撮像装置の校正装置。
4. 前記校正部は、前記外部ターゲット位置取得部により取得された前記既知外部ターゲットの位置と、前記撮像データ取得部が取得した撮像データである画像における前記既知外部ターゲットの位置とに基づいて前記撮像装置を校正する、
   請求項１に記載の撮像装置の校正装置。
5. 前記撮像データ取得部は、前記撮像装置によって撮像された、未知の位置に設置される未知外部ターゲットの撮像データを取得し、
   前記校正部は、前記撮像データ取得部が取得した撮像データである画像における前記未知外部ターゲットの位置を用いて前記撮像装置を校正する、
   請求項１から請求項４の何れか１項に記載の撮像装置の校正装置。
6. 前記撮像データ取得部は、前記撮像装置によって撮像された複数の既知外部ターゲットの撮像データを取得し、
   前記外部ターゲット位置取得部は、前記複数の既知外部ターゲットそれぞれの位置を取得し、
   前記校正部は、前記外部ターゲット位置取得部により取得された前記複数の既知外部ターゲットの位置と、前記撮像データ取得部により取得された前記複数の既知外部ターゲットの撮像データとに基づいて前記撮像装置を校正する、
   請求項１から請求項５の何れか１項に記載の撮像装置の校正装置。
7. 前記撮像データ取得部は、前記撮像装置と前記既知外部ターゲットとの相対位置ごとに撮像データを取得し、
   前記外部ターゲット位置取得部は、前記相対位置ごとに前記既知外部ターゲットの位置を取得し、
   前記校正部は、前記外部ターゲット位置取得部により取得された前記相対位置ごとの既知外部ターゲットの位置と、前記撮像データ取得部により取得された前記相対位置ごとの前記既知外部ターゲットの撮像データとに基づいて前記撮像装置を校正する、
   請求項１から請求項６の何れか１項に記載の撮像装置の校正装置。
8. 前記撮像データ取得部は、前記作業機の作業範囲内の既知の位置に設けられた既知点ターゲットの撮像データを取得し、
   前記校正部は、前記既知外部ターゲットおよび前記既知点ターゲットの位置と、前記撮像装置による前記既知外部ターゲットおよび前記既知点ターゲットの撮像データとに基づいて前記撮像装置を校正する、
   請求項１から請求項７の何れか１項に記載の撮像装置の校正装置。
9. 前記校正部は、前記撮像装置の前記作業機械における設置位置および姿勢を規定するパラメータを校正する、
   請求項１から請求項８の何れか１項に記載の撮像装置の校正装置。
10. 前記既知外部ターゲットは、前記作業機の作業範囲より遠方に設けられ、
    前記校正部は、前記作業機ターゲットの位置と前記作業機ターゲットの撮像データに基づいて前記撮像装置を校正した後に、前記既知外部ターゲットの位置と前記既知外部ターゲットの撮像データとに基づいて前記撮像装置を校正する
    請求項１から請求項９の何れか１項に記載の撮像装置の校正装置。
11. 前記作業機と、
    請求項１から請求項１０の何れか１項に記載の撮像装置の校正装置と
    を備える作業機械。
12. 作業機を備える作業機械に設けられた少なくとも１つの撮像装置によって撮像された、前記作業機の作業範囲外における既知の位置に設置される既知外部ターゲットの撮像データおよび前記作業機に設けられた作業機ターゲットの撮像データを取得することと、
    前記既知外部ターゲットの現場座標系における位置を取得することと、
    前記作業機の車体座標系における位置を特定することで、前記作業機ターゲットの車体座標系における位置を算出することと、
    取得された前記既知外部ターゲットの位置および算出された前記作業機ターゲットの位置を同一の座標系に係る位置に変換することと、
    変換された各位置と取得された前記既知外部ターゲットの撮像データおよび前記作業機ターゲットの撮像データとに基づいて前記撮像装置を校正することと、
    を含む撮像装置の校正方法。

Images