JP7533402B2 - 姿勢推定装置、産業車両、姿勢推定プログラム、及び記憶媒体 - Google Patents

Description

本開示は、姿勢推定装置、産業車両、姿勢推定プログラム、及び記憶媒体に関する。

マーカをカメラによって撮影し、マーカの見かけ上の歪みを基にマーカとカメラとの間の姿勢を推定する姿勢推定方法が知られている。従来の姿勢推定方法では、例えばマーカとカメラとが正対する位置付近でマーカが撮影されると、マーカの見かけ上の歪みが小さくなり、姿勢推定の結果の精度が低下し得る。高精度な姿勢推定の結果を得るための従来の方法として、特許文献１に記載の姿勢推定方法がある。特許文献１に記載のマーカの周囲には、標準可変モアレパターン及び標準可変モアレパターンよりも視線角度の分解能が高い高感度可変モアレパターンが配置されている。この姿勢推定方法では、標準可変モアレパターンを用いて仮決定された視線角度と、高感度可変モアレパターンを用いて求められた視線角度の候補値とに基づいて、視線角度を推定する。

国際公開２０１８／１３５０６３号

特許文献１に記載のマーカでは、２種類の可変モアレパターンとしてレンチキュラーレンズ又はレンズアレイが用いられているため、製造コストが高くなると共にマーカのサイズの拡大が困難である。一方、一般的なマーカを用いた姿勢推定では、姿勢推定の結果の精度が低下し得る課題がなお存在している。

本開示は、上記課題の解決のためになされたものであり、製造コストの増大を抑制しつつ、姿勢推定の結果が一定の精度を有することを担保できる姿勢推定装置、姿勢推定装置を搭載した産業車両、姿勢推定プログラム及び姿勢推定プログラムを記憶した記憶媒体を提供することを目的とする。

本開示の一側面に係る姿勢推定装置は、マーカの撮影画像からマーカを認識し、撮影画像におけるマーカの元座標を取得する認識部と、マーカの少なくとも一点の座標を元座標からずらすことによってずらし座標を生成する生成部と、元座標を用いた第１姿勢推定結果と、ずらし座標を用いた第２姿勢推定結果とを生成する推定部と、第２姿勢推定結果と予め設定された閾値との比較に基づいて、第１姿勢推定結果の信頼性の有無を判定する判定部と、を備える。

この姿勢推定装置では、元座標の少なくとも一部が移動してずらし座標が生成される。ずらし座標によって示されるマーカは、元座標によって示されるマーカよりも見かけ上の歪みが大きくなる。この姿勢推定装置では、このずらし座標を用いた第２姿勢推定結果を閾値と比較することで、第１姿勢推定結果の信頼性の有無を精度良く判定することができる。また、この姿勢推定装置は、ずらし座標の算出と閾値との比較に要する計算コストのみを考慮すればよく、マーカ自体の加工が不要となるため、製造コストの増大を抑制することができる。

生成部は、マーカの四隅の座標を元座標からずらして複数のずらし座標を生成してもよい。この場合、マーカの形状（四角形）を特定しやすくなるため、第２姿勢推定結果に要する処理時間の短縮化が図られる。

生成部は、マーカの四隅の座標のそれぞれを元座標からＸ軸の正負方向及びＹ軸の正負方向にそれぞれ移動させることによって複数のずらし座標を生成してもよい。この場合、マーカの四隅の座標のそれぞれが４方向に移動することによって、多数のずらし座標が生成される。多数の第２姿勢推定結果に基づいて閾値との比較を行うことで、第１姿勢推定結果の信頼性の有無を一層精度良く判定することができる。

生成部は、マーカの四隅の座標のそれぞれを１ピクセル分移動させてもよい。この場合、１ピクセル分の歪みの変化が第２姿勢推定結果に反映される。これにより、座標の移動を最小限にしつつ、第１姿勢推定結果の信頼性の有無の判定精度をさらに向上させることができる。

判定部は、第２姿勢推定結果における最大値と最小値との差分を算出し、差分と閾値とを比較してもよい。この場合、簡単な演算で第１姿勢推定結果の信頼性の有無の判定精度を担保できる。

判定部は、第２姿勢推定結果における分散を算出し、分散と閾値とを比較してもよい。この場合、簡単な演算で第１姿勢推定結果の信頼性の判定精度を担保できる。

判定部は、第１姿勢推定結果の信頼性が無いと判定した場合に、第２姿勢推定結果のうち閾値外の値を除外し、除外後の値の平均値を算出することによってみなし推定結果を生成してもよい。この場合、マーカの元座標の再取得を省略しつつ、一定の信頼性が確保されたみなし推定結果によって姿勢推定の結果を得ることができる。

判定部は、第１姿勢推定結果の信頼性が無いと判定した場合に、第１姿勢推定結果を破棄してもよい。この場合、信頼性の無い第１姿勢推定結果が姿勢推定の結果として得られることを抑制できる。

判定部は、第１姿勢推定結果及び第２姿勢推定結果と、閾値との比較に基づいて、第１姿勢推定結果の信頼性の有無を判定してもよい。第１姿勢推定結果自身を信頼性の有無の判定にさらに用いることにより、第１姿勢推定結果の信頼性の有無の判定精度をさらに向上させることができる。

推定部は、ロール角、ピッチ角、ヨー角、及び位置情報の少なくとも一つを第１姿勢推定結果及び第２姿勢推定結果として生成してもよい。この場合、姿勢推定に必要な情報を適切に得ることができる。

本開示の一側面に係る産業車両は、マーカを撮影するカメラ及び上記姿勢推定装置を搭載してなる。この産業車両では、元座標の少なくとも一部が移動してずらし座標が生成される。ずらし座標によって示されるマーカは、元座標によって示されるマーカよりも見かけ上の歪みが大きくなる。この産業車両では、このずらし座標を用いた第２姿勢推定結果を閾値と比較することで、第１姿勢推定結果の信頼性の有無を精度良く判定することができる。また、この産業車両は、ずらし座標の算出と閾値との比較に要する計算コストのみを考慮すればよく、マーカ自体の加工が不要となるため、製造コストの増大を抑制することができる。

本開示の一側面に係る姿勢推定プログラムは、マーカの撮影画像からマーカを認識し、撮影画像におけるマーカの元座標を取得するステップと、マーカの少なくとも一点の座標を元座標からずらすことによってずらし座標を生成するステップと、元座標を用いた第１姿勢推定結果と、ずらし座標を用いた第２姿勢推定結果とを生成するステップと、第２姿勢推定結果と予め設定された閾値との比較に基づいて、第１姿勢推定結果の信頼性の有無を判定するステップと、をコンピュータに実行させる。また、本開示の一側面に係る記憶媒体は、姿勢推定プログラムを記憶した、コンピュータ読み取り可能な記憶媒体である。

この姿勢推定プログラム及び記憶媒体では、元座標の少なくとも一部が移動してずらし座標が生成される。ずらし座標によって示されるマーカは、元座標によって示されるマーカよりも見かけ上の歪みが大きくなる。この姿勢推定プログラム及び記憶媒体では、このずらし座標を用いた第２姿勢推定結果を閾値と比較することで、第１姿勢推定結果の信頼性の有無を精度良く判定することができる。また、この姿勢推定プログラム及び記憶媒体は、ずらし座標の算出と閾値との比較に要する計算コストのみを考慮すればよく、マーカ自体の加工が不要となるため、製造コストの増大を抑制することができる。

本開示によれば、製造コストの増大を抑制しつつ、姿勢推定の結果が一定の精度を有することを担保できる。

姿勢推定装置の構成を示すブロック図である。 マーカの撮影画像の一例を示す図である。 ずらし座標の生成手法の一例を示す図である。 第１姿勢推定結果及び第２姿勢推定結果の一例を示す図である。 第１姿勢推定結果及び第２姿勢推定結果の別の例を示す図である。 姿勢推定装置の動作の一例を示すフローチャートである。 姿勢推定装置の動作の別例を示すフローチャートである。 姿勢推定プログラムの構成及び記憶媒体を示す図である。

以下、図面を参照しながら、本開示の一側面に係る姿勢推定装置、産業車両、姿勢推定プログラム、及び記憶媒体の好適な実施形態について詳細に説明する。

図１は、本開示の一実施形態に係る姿勢推定装置の構成を示すブロック図である。姿勢推定装置１０は、マーカＭの撮影画像に基づいて、当該姿勢推定装置１０が搭載される産業車両１の姿勢を推定する装置である。マーカＭは、例えばＡＲマーカ等の四角形状の平面マーカである（図２参照）。マーカＭは、例えば産業車両１の周囲に存在する物体に対し、予め印刷或いは貼り付けによって付与される。姿勢推定装置１０が適用される産業車両１としては、例えばフォークリフトが挙げられる。産業車両１は、マーカＭを撮影するためのカメラ２０を備えている。カメラ２０は、マーカＭの撮影画像を取得し、該撮影画像のデータを姿勢推定装置１０に出力する。

姿勢推定装置１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read OnlyMemory）、ＲＡＭ（Random Access Memory）等を有する電子制御ユニットである。姿勢推定装置１０では、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。姿勢推定装置１０は、機能要素として認識部１１、生成部１２、推定部１３、判定部１４、及び出力部１５を有している。

認識部１１は、マーカＭの撮影画像からマーカＭを認識する。例えば、認識部１１は、撮影画像に対するパターンマッチング又はエッジ検出等によって、マーカＭの有無を検出する。マーカＭの認識手法は上記に限定されず、例えば入力画像に対し輪郭抽出及び二値化を行い、その二値化画像から連結成分（ピクセルの集合）を抽出することによってマーカＭを認識する手法でもよい。

認識部１１は、撮影画像におけるマーカＭの元座標を取得する。撮影画像における画像の座標系は、例えば撮影画像の左上を原点とするＸＹ座標で表される。画像の座標系はピクセル値で表すこともできる。例えば、認識部１１は、撮影画像におけるマーカＭの四隅の座標を元座標として取得する。四隅の座標とは、四つの角それぞれの頂点に対応する座標をいう。元座標は、マーカＭの形状を特定可能な座標であれば四隅の座標に限定されない。例えば、マーカＭは多角形（Ｌ字形状等）であってもよい。元座標は、多角形のマーカＭを示すピクセルのうち、８方向（上、右上、右、右下、下、左下、左、左上）の頂点に対応する座標であってもよい。

生成部１２は、マーカＭの少なくとも一点の座標を元座標からずらすことによってずらし座標を生成する。「ずらし座標」とは、画像の座標系上で元座標の値を変動させることによって生成した新しい座標である。例えば、生成部１２は、マーカＭの四隅の座標のそれぞれを元座標からＸ軸の正負方向及びＹ軸の正負方向にそれぞれ移動させることによって複数のずらし座標を生成する。このとき、生成部１２は、マーカＭの四隅の座標のそれぞれを１ピクセル分移動させてもよい。ずらし座標の各々を結ぶことでずらしマーカが形成される。ずらしマーカは、撮影画像におけるマーカＭに見かけ上の歪みを追加したものとなる。

推定部１３は、元座標を用いた第１姿勢推定結果と、ずらし座標を用いた第２姿勢推定結果とを生成する。例えば、推定部１３は、ロール角、ピッチ角、ヨー角、及び位置情報の少なくとも一つを第１姿勢推定結果及び第２姿勢推定結果として生成する。

判定部１４は、第２姿勢推定結果と予め設定された閾値との比較に基づいて、第１姿勢推定結果の信頼性の有無を判定する。判定部１４は、例えば１ピクセル分の移動等によるずらし座標の生成手法に応じて予め閾値を算出し、その閾値を保持しておく。判定部１４は、第２姿勢推定結果における最大値と最小値との差分を算出し、差分と閾値とを比較してもよい。判定部１４は、第２姿勢推定結果における分散を算出し、分散と閾値とを比較してもよい。判定部１４は、第１姿勢推定結果及び第２姿勢推定結果と、閾値との比較に基づいて、第１姿勢推定結果の信頼性の有無を判定してもよい。

第１姿勢推定結果の信頼性が有る場合には、第１姿勢推定結果が一定の精度を有していることを示す。一方、第１姿勢推定結果の信頼性が無い場合には、第１姿勢推定結果が一定の精度を有していないことを示す。判定部１４は、第１姿勢推定結果の信頼性が無いと判定した場合に、第２姿勢推定結果のうち閾値外の値を除外し、除外後の値の平均値を算出することによってみなし推定結果を生成してもよい。判定部１４は、第１姿勢推定結果の信頼性が無いと判定した場合に、第１姿勢推定結果を破棄してもよい。

出力部１５は、第１姿勢推定結果又はみなし推定結果をＥＣＵ（Electronic Control Unit）、或いは自動走行制御装置等の他の装置に出力する。出力部１５は、通信ネットワークを介して他のシステム等に送信してもよい。

図２に示される撮影画像Ｐは、マーカＭの撮影画像の一例である。図２に示されるように、マーカＭは四角形状であり、白色の領域及び黒色の領域によって構成された平面パターンを有している。撮影画像ＰにおけるマーカＭは、カメラ２０とマーカＭとの位置関係によって見かけ上の歪みが変化する。図２の撮影画像Ｐは、カメラ２０がマーカＭに対しほぼ正面から撮影した例である。

撮影画像Ｐにおける画像の座標系は、左上端が原点であり、右方向がＸ軸の正方向であり、下方向がＹ軸の正方向である。認識部１１は、撮影画像ＰにおけるマーカＭの四隅の座標を元座標として取得する。例えば、認識部１１は点Ｃ１（ｘ_１，ｙ_１），点Ｃ２（ｘ_２，ｙ_２），点Ｃ３（ｘ_３，ｙ_３），及び点Ｃ４（ｘ_４，ｙ_４）を元座標として取得する。

続いて図３を参照しながら、ずらし座標の生成手法の一例について説明する。図３は、四隅の座標のうち、一点の座標をそれぞれ四方向に移動させる例を示す。四方向とは、画像の座標系におけるＸ軸の正負方向及びＹ軸の正負方向をいう。破線枠Ｇ１，Ｇ２，Ｇ３，及びＧ４は、それぞれ元座標のうち点Ｃ１のみ、点Ｃ２のみ、点Ｃ３のみ、又は点Ｃ４のみを四方向にずらすパターンを示す。

破線枠Ｇ１内において、斜線付きの丸印は点Ｃ１を示し、矢印は点Ｃ１をずらす方向を示し、四角形は点Ｃ１をずらすことによって形成されるずらしマーカを示す。点Ｃ１を四方向にそれぞれずらすことによって、四つのずらし座標が生成される。破線枠Ｇ１内では、四つのずらしマーカが形成されている。

破線枠Ｇ１で説明したずらし座標の生成手法は、破線枠Ｇ２，Ｇ３，及びＧ４にも適用される。例えば破線枠Ｇ２内において、点Ｃ２のみを四方向にそれぞれずらすことによって四つのずらし座標が生成される。破線枠Ｇ３及び破線枠Ｇ４も同様の処理によって、合計１６個のずらし座標が生成される。

図４は、第１姿勢推定結果Ｒ１及び第２姿勢推定結果Ｒ２の一例を示す図である。推定部１３は、元座標を用いた第１姿勢推定結果Ｒ１ａと、複数のずらし座標を用いた第２姿勢推定結果Ｒ２ａとを生成する。第１姿勢推定結果Ｒ１ａ及び第２姿勢推定結果Ｒ２ａは、例えばヨー角の値である。図４の例では、第１姿勢推定結果Ｒ１ａの値は［２］である。第２姿勢推定結果Ｒ２ａは１６個の値［１，１，５，２，３，２，１，１，３，０，４，２，１，２，３，１］を含んでいる。第２姿勢推定結果Ｒ２ａのうち、最大値は［５］であり、最小値は［０］である。

図５は第１姿勢推定結果Ｒ１及び第２姿勢推定結果Ｒ２の別の例を示す。推定部１３は、元座標を用いた第１姿勢推定結果Ｒ１ｂと、複数のずらし座標を用いた第２姿勢推定結果Ｒ２ｂとを生成する。第１姿勢推定結果Ｒ１ｂ及び第２姿勢推定結果Ｒ２ｂは、例えばヨー角の値である。図５の例では、第１姿勢推定結果Ｒ１ｂの値は［２］である。第２姿勢推定結果Ｒ２ｂは１６個の値［２，４，８，３，４，８，２，３，３，２，２，５，２，１，３，１４］を含んでいる。第２姿勢推定結果Ｒ２ｂのうち、最大値は［１４］であり、最小値は［１］である。

図６を参照して、姿勢推定装置１０の動作の一例を説明する。図６は、姿勢推定装置１０の動作を処理フローＳ１として示すフローチャートである。まず、産業車両１のカメラ２０によって、図２に示したマーカＭの撮影画像Ｐが取得される（ステップＳ１１）。

認識部１１は、マーカＭの撮影画像ＰからマーカＭを認識する（ステップＳ１２）。撮影画像Ｐ内にマーカＭが有る場合（ステップＳ１３においてＹＥＳ）、処理はステップＳ１４に進む。一方、撮影画像Ｐ内にマーカＭが無い場合（ステップＳ１３においてＮＯ）、以降の処理は終了する。処理フローＳ１は、例えば所定の時間経過後に再度実行される。一例では、ステップＳ１１の処理が所定の時間間隔で実行されることにより、処理フローＳ１が定期的に実行される。

認識部１１は、撮影画像ＰにおけるマーカＭの元座標を取得する（ステップＳ１４）。例えば、認識部１１は点Ｃ１（ｘ_１，ｙ_１），点Ｃ２（ｘ_２，ｙ_２），点Ｃ３（ｘ_３，ｙ_３），及び点Ｃ４（ｘ_４，ｙ_４）を元座標として取得する。

生成部１２は、マーカＭの少なくとも一点の座標を元座標からずらすことによってずらし座標を生成する（ステップＳ１５）。例えば、生成部１２は、マーカＭの四隅の座標のそれぞれを元座標からＸ軸の正負方向及びＹ軸の正負方向にそれぞれ移動させることによって複数のずらし座標を生成する。生成部１２は、マーカＭの四隅の座標のそれぞれを１ピクセル分移動させてもよい。一例では、生成部１２は、点Ｃ１（ｘ_１，ｙ_１）をＸ軸の負方向に１ピクセル分ずらした位置の座標（ｘ_１－１，ｙ_１）に移動させる。生成部１２は、元座標のうち点Ｃ１のみ、点Ｃ２のみ、点Ｃ３のみ、又は点Ｃ４のみをそれぞれ四方向にずらすことにより、１６個のずらし座標を生成する。

推定部１３は、元座標を用いた第１姿勢推定結果Ｒ１と、ずらし座標を用いた第２姿勢推定結果Ｒ２とを生成する（ステップＳ１６）。推定部１３は、ロール角、ピッチ角、ヨー角、及び位置情報の少なくとも一つを第１姿勢推定結果Ｒ１及び第２姿勢推定結果Ｒ２として生成する。

判定部１４は、第２姿勢推定結果Ｒ２と予め設定された閾値との比較に基づいて、第１姿勢推定結果Ｒ１の信頼性の有無を判定する（ステップＳ１７）。判定部１４は、予め設定された閾値を保持している。ここでは、閾値は［５］である。判定部１４は、第２姿勢推定結果Ｒ２と閾値とを比較し、第２姿勢推定結果Ｒ２に含まれる値の全てが閾値以下であれば第１姿勢推定結果Ｒ１の信頼性が有ると判定し、第２姿勢推定結果Ｒ２に含まれる値のいずれか一つでも閾値を超えていれば第１姿勢推定結果Ｒ１の信頼性が無いと判定する。

ステップＳ１７では、判定部１４は、第２姿勢推定結果Ｒ２における最大値と最小値との差分を算出し、差分と閾値とを比較してもよい。図４の例では、第２姿勢推定結果Ｒ２ａにおける最大値［５］と最小値［０］との差分は、［５］と算出される。この例では、差分［５］が閾値［５］以下であるため、判定部１４は第１姿勢推定結果Ｒ１ａの信頼性が有ると判定する。図５の例では、差分［１３］が閾値［５］を超えているため、判定部１４は第１姿勢推定結果Ｒ１ｂの信頼性が無いと判定する。

ステップＳ１７では、判定部１４は、第２姿勢推定結果Ｒ２における分散を算出し、分散と閾値とを比較してもよい。図４の例では、第２姿勢推定結果Ｒ２ａの値［１，１，５，２，３，２，１，１，３，０，４，２，１，２，３，１］における分散は、［１．７３］と算出される。この例では、分散［１．７３］が閾値［５］以下であるため、判定部１４は、第１姿勢推定結果Ｒ１ａの信頼性が有ると判定する。図５の例では、第２姿勢推定結果Ｒ２ｂの値［２，４，８，３，４，８，２，３，３，２，２，５，２，１，３，１４］における分散は、［１１．０５］と算出される。この例では、分散［１１．０５］が閾値［５］を超えているため、判定部１４は、第１姿勢推定結果Ｒ１ｂの信頼性が無いと判定する。

ステップＳ１７では、判定部１４は、第１姿勢推定結果Ｒ１及び第２姿勢推定結果Ｒ２と、閾値との比較に基づいて、第１姿勢推定結果Ｒ１の信頼性の有無を判定してもよい。換言すると、判定部１４は、閾値との比較の際に、第１姿勢推定結果Ｒ１をさらに用いてもよい。

第１姿勢推定結果Ｒ１の信頼性が有る場合（ステップＳ１７においてＹＥＳ）、処理はステップＳ１８に進む。一方、第１姿勢推定結果Ｒ１の信頼性が無い場合（ステップＳ１７においてＮＯ）、処理はステップＳ１９に進む。

出力部１５は、第１姿勢推定結果Ｒ１を他の装置に出力する（ステップＳ１８）。例えば、出力部１５は、第１姿勢推定結果Ｒ１ａを他の装置に出力する。

判定部１４は、第１姿勢推定結果Ｒ１を破棄する（ステップＳ１９）。例えば、判定部１４は、第１姿勢推定結果Ｒ１ｂを破棄する。

処理フローＳ１は、例えば所定の時間経過後に再度実行される。一例では、ステップＳ１１の処理が所定の時間間隔で実行されることにより、処理フローＳ１が定期的に実行される。

図７を参照して、姿勢推定装置１０の動作の別例を説明する。図７は、姿勢推定装置１０の動作を処理フローＳ２として示すフローチャートである。処理フローＳ２は、処理フローＳ１と比較すると、ステップＳ１９に代えてステップＳ２０の処理を備えている点で異なる。以下、処理フローＳ１と同一のステップについては、説明を省略する。

判定部１４は、第２姿勢推定結果Ｒ２と予め設定された閾値との比較に基づいて、第１姿勢推定結果Ｒ１の信頼性の有無を判定する（ステップＳ１７）。判定部１４は、予め設定された閾値を保持している。ここでは、閾値は［５］である。判定部１４は、第２姿勢推定結果Ｒ２と閾値とを比較し、第２姿勢推定結果Ｒ２に含まれる値の全てが閾値以下であれば第１姿勢推定結果Ｒ１の信頼性が有ると判定し、第２姿勢推定結果Ｒ２に含まれる値のいずれか一つでも閾値を超えていれば第１姿勢推定結果Ｒ１の信頼性が無いと判定する。図４の例では、最大値［５］が閾値［５］以下であるため、判定部１４は第１姿勢推定結果Ｒ１ａの信頼性が有ると判定する。図５の例では、最大値［１４］が閾値［５］を超えているため、判定部１４は第１姿勢推定結果Ｒ１ｂの信頼性が無いと判定する。

第１姿勢推定結果Ｒ１の信頼性が有る場合（ステップＳ１７においてＹＥＳ）、処理はステップＳ１８に進む。出力部１５は、第１姿勢推定結果Ｒ１を他の装置に出力する（ステップＳ１８）。例えば、出力部１５は、第１姿勢推定結果Ｒ１ａを他の装置に出力する。

第１姿勢推定結果Ｒ１の信頼性が無い場合（ステップＳ１７においてＮＯ）、処理はステップＳ２０に進む。判定部１４は、第２姿勢推定結果Ｒ２に基づいてみなし推定結果を生成する（ステップＳ２０）。例えば、判定部１４は、第２姿勢推定結果Ｒ２のうち閾値外の値を除外し、除外後の値の平均値を算出することによってみなし推定結果を生成する。図５の例では、第２姿勢推定結果Ｒ２ｂの値［２，４，８，３，４，８，２，３，３，２，２，５，２，１，３，１４］のうち、閾値［５］を超える値［８，８，１４］が除外される。そして、除外後の値［２，４，３，４，２，３，３，２，２，５，２，１，３］の平均値は［２．７７］と算出される。この例では、平均値［２．７７］がみなし推定結果となる。そして、出力部１５は、みなし推定結果を他の装置に出力する。

引き続いて、上述した一連の姿勢推定装置１０による処理を実行させるための姿勢推定プログラムを説明する。図８に示すように、姿勢推定プログラム１００は、コンピュータに挿入されてアクセスされる、あるいはコンピュータが備える、コンピュータ読み取り可能な記憶媒体１１０に形成されたプログラム格納領域１１１内に格納される。記憶媒体１１０は、非一時的な記憶媒体であってもよい。

姿勢推定プログラム１００は、認識モジュール１０１と、生成モジュール１０２と、推定モジュール１０３と、判定モジュール１０４と、出力モジュール１０５とを備えて構成される。認識モジュール１０１と、生成モジュール１０２と、推定モジュール１０３と、判定モジュール１０４と、出力モジュール１０５とを実行させることにより実現される機能は、上述した姿勢推定装置１０の認識部１１と、生成部１２と、推定部１３と、判定部１４と、出力部１５との機能とそれぞれ同様である。

姿勢推定プログラム１００は、その一部又は全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信されて記録（インストールを含む）される構成としてもよい。また、姿勢推定プログラム１００の各モジュールは、１つのコンピュータでなく、複数のコンピュータのいずれかにインストールされてもよい。その場合、当該複数のコンピュータによるコンピュータシステムよって上述した一連の処理が行われる。

以上説明したように、姿勢推定装置１０では、元座標の少なくとも一部が移動してずらし座標が生成される。ずらし座標によって示されるマーカＭは、元座標によって示されるマーカＭよりも見かけ上の歪みが大きくなる。この姿勢推定装置１０では、このずらし座標を用いた第２姿勢推定結果Ｒ２を閾値と比較することで、第１姿勢推定結果Ｒ１の信頼性の有無を精度良く判定することができる。また、この姿勢推定装置１０は、ずらし座標の算出と閾値との比較に要する計算コストのみを考慮すればよく、マーカ自体の加工が不要となるため、製造コストの増大を抑制することができる。

本実施形態では、生成部１２は、マーカＭの四隅の座標を元座標からずらして複数のずらし座標を生成している。この場合、マーカＭの形状（四角形）を特定しやすくなるため、第２姿勢推定結果Ｒ２に要する処理時間の短縮化が図られる。

本実施形態では、生成部１２は、マーカＭの四隅の座標のそれぞれを元座標からＸ軸の正負方向及びＹ軸の正負方向にそれぞれ移動させることによって複数のずらし座標を生成している。この場合、マーカＭの四隅の座標のそれぞれが４方向に移動することによって、多数のずらし座標が生成される。多数の第２姿勢推定結果Ｒ２に基づいて閾値との比較を行うことで、第１姿勢推定結果Ｒ１の信頼性の有無を一層精度良く判定することができる。

本実施形態では、生成部１２は、マーカＭの四隅の座標のそれぞれを１ピクセル分移動させている。この場合、１ピクセル分の歪みの変化が第２姿勢推定結果Ｒ２に反映される。これにより、座標の移動を最小限にしつつ、第１姿勢推定結果Ｒ１の信頼性の有無の判定精度をさらに向上させることができる。

本実施形態では、判定部１４は、第２姿勢推定結果Ｒ２における最大値と最小値との差分を算出し、差分と閾値とを比較している。この場合、簡単な演算で第１姿勢推定結果Ｒ１の信頼性の有無の判定精度を担保できる。

本実施形態では、判定部１４は、第２姿勢推定結果Ｒ２における分散を算出し、分散と閾値とを比較している。この場合、簡単な演算で第１姿勢推定結果Ｒ１の信頼性の判定精度を担保できる。

本実施形態では、判定部１４は、第１姿勢推定結果Ｒ１の信頼性が無いと判定した場合に、第２姿勢推定結果Ｒ２のうち閾値外の値を除外し、除外後の値の平均値を算出することによってみなし推定結果を生成している。この場合、マーカＭの元座標の再取得を省略しつつ、一定の信頼性が確保されたみなし推定結果によって姿勢推定の結果を得ることができる。

本実施形態では、判定部１４は、第１姿勢推定結果Ｒ１の信頼性が無いと判定した場合に、第１姿勢推定結果Ｒ１を破棄している。この場合、信頼性の無い第１姿勢推定結果Ｒ１が姿勢推定の結果として得られることを抑制できる。

本実施形態では、判定部１４は、第１姿勢推定結果Ｒ１及び第２姿勢推定結果Ｒ２と、閾値との比較に基づいて、第１姿勢推定結果Ｒ１の信頼性の有無を判定している。第１姿勢推定結果Ｒ１自身を信頼性の有無の判定にさらに用いることにより、第１姿勢推定結果Ｒ１の信頼性の有無の判定精度をさらに向上させることができる。

本実施形態では、推定部１３は、ロール角、ピッチ角、ヨー角、及び位置情報の少なくとも一つを第１姿勢推定結果Ｒ１及び第２姿勢推定結果Ｒ２として生成している。この場合、姿勢推定に必要な情報を適切に得ることができる。

産業車両１は、マーカＭを撮影するカメラ２０及び上記姿勢推定装置１０を搭載してなる。この産業車両１では、元座標の少なくとも一部が移動してずらし座標が生成される。ずらし座標によって示されるマーカＭは、元座標によって示されるマーカＭよりも見かけ上の歪みが大きくなる。この産業車両１では、このずらし座標を用いた第２姿勢推定結果Ｒ２を閾値と比較することで、第１姿勢推定結果Ｒ１の信頼性の有無を精度良く判定することができる。また、この産業車両１は、ずらし座標の算出と閾値との比較に要する計算コストのみを考慮すればよく、マーカ自体の加工が不要となるため、製造コストの増大を抑制することができる。

姿勢推定プログラム１００は、マーカＭの撮影画像からマーカＭを認識し、撮影画像におけるマーカＭの元座標を取得するステップと、マーカＭの少なくとも一点の座標を元座標からずらすことによってずらし座標を生成するステップと、元座標を用いた第１姿勢推定結果Ｒ１と、ずらし座標を用いた第２姿勢推定結果Ｒ２とを生成するステップと、第２姿勢推定結果Ｒ２と予め設定された閾値との比較に基づいて、第１姿勢推定結果Ｒ１の信頼性の有無を判定するステップと、をコンピュータに実行させる。また、記憶媒体１１０は、姿勢推定プログラム１００を記憶した、コンピュータ読み取り可能な記憶媒体１１０である。

この姿勢推定プログラム１００及び記憶媒体１１０では、元座標の少なくとも一部が移動してずらし座標が生成される。ずらし座標によって示されるマーカＭは、元座標によって示されるマーカＭよりも見かけ上の歪みが大きくなる。この姿勢推定プログラム１００及び記憶媒体１１０では、このずらし座標を用いた第２姿勢推定結果Ｒ２を閾値と比較することで、第１姿勢推定結果Ｒ１の信頼性の有無を精度良く判定することができる。また、この姿勢推定プログラム１００及び記憶媒体１１０は、ずらし座標の算出と閾値との比較に要する計算コストのみを考慮すればよく、マーカ自体の加工が不要となるため、製造コストの増大を抑制することができる。

上記実施形態では、生成部１２は、マーカＭの四隅の座標のそれぞれを１ピクセル分移動させているが、１ピクセル以上（例えば２ピクセル又は３ピクセル等）移動させてもよい。また、上記実施形態では、生成部１２は、複数のずらし座標として１６個のずらし座標を生成しているが、ずらし座標の個数はこれに限られず、任意の数としてもよい。

１…産業車両、１０…姿勢推定装置、１１…認識部、１２…生成部、１３…推定部、１４…判定部、１５…出力部、２０…カメラ、１００…姿勢推定プログラム、１１０…記憶媒体、１０１…認識モジュール、１０２…生成モジュール、１０３…推定モジュール、１０４…判定モジュール、１０５…出力モジュール、Ｍ…マーカ、Ｐ…撮影画像。

Claims (13)

1. マーカの撮影画像から前記マーカを認識し、前記撮影画像における前記マーカの元座標を取得する認識部と、
   前記マーカの少なくとも一点の座標を前記元座標からずらすことによってずらし座標を生成する生成部と、
   前記元座標を用いた第１姿勢推定結果と、前記ずらし座標を用いた第２姿勢推定結果とを生成する推定部と、
   前記第２姿勢推定結果と予め設定された閾値との比較に基づいて、前記第１姿勢推定結果の信頼性の有無を判定する判定部と、
   を備えた姿勢推定装置。
2. 前記生成部は、前記マーカの四隅の座標を前記元座標からずらして複数のずらし座標を生成する、請求項１記載の姿勢推定装置。
3. 前記生成部は、前記マーカの四隅の座標のそれぞれを前記元座標からＸ軸の正負方向及びＹ軸の正負方向にそれぞれ移動させることによって前記複数のずらし座標を生成する、請求項２記載の姿勢推定装置。
4. 前記生成部は、前記マーカの四隅の座標のそれぞれを１ピクセル分移動させる、請求項３記載の姿勢推定装置。
5. 前記判定部は、前記第２姿勢推定結果における最大値と最小値との差分を算出し、前記差分と前記閾値とを比較する、請求項２～４のいずれか一項記載の姿勢推定装置。
6. 前記判定部は、前記第２姿勢推定結果における分散を算出し、前記分散と前記閾値とを比較する、請求項２～４のいずれか一項記載の姿勢推定装置。
7. 前記判定部は、前記第１姿勢推定結果の信頼性が無いと判定した場合に、前記第２姿勢推定結果のうち前記閾値外の値を除外し、除外後の値の平均値を算出することによってみなし推定結果を生成する、請求項２～６のいずれか一項記載の姿勢推定装置。
8. 前記判定部は、前記第１姿勢推定結果の信頼性が無いと判定した場合に、前記第１姿勢推定結果を破棄する、請求項１～６のいずれか一項記載の姿勢推定装置。
9. 前記判定部は、前記第１姿勢推定結果及び前記第２姿勢推定結果と、前記閾値との比較に基づいて、前記第１姿勢推定結果の信頼性の有無を判定する、請求項１～８のいずれか一項記載の姿勢推定装置。
10. 前記推定部は、ロール角、ピッチ角、ヨー角、及び位置情報の少なくとも一つを前記第１姿勢推定結果及び前記第２姿勢推定結果として生成する、請求項１～９のいずれか一項記載の姿勢推定装置。
11. 前記マーカを撮影するカメラ及び請求項１～１０のいずれか一項に記載の姿勢推定装置を搭載してなる産業車両。
12. マーカの撮影画像から前記マーカを認識し、前記撮影画像における前記マーカの元座標を取得するステップと、
    前記マーカの少なくとも一点の座標を前記元座標からずらすことによってずらし座標を生成するステップと、
    前記元座標を用いた第１姿勢推定結果と、前記ずらし座標を用いた第２姿勢推定結果とを生成するステップと、
    前記第２姿勢推定結果と予め設定された閾値との比較に基づいて、前記第１姿勢推定結果の信頼性の有無を判定するステップと、
    をコンピュータに実行させる姿勢推定プログラム。
13. 請求項１２に記載の姿勢推定プログラムを記憶した、コンピュータ読み取り可能な記憶媒体。
    
    

Images