JP7372029B2 - 表示制御装置、表示制御システムおよび表示制御方法 - Google Patents

Description

本発明は、表示制御装置、表示制御システムおよび表示制御方法に関する。

特許文献１には、バックホウを遠隔操作する際に、オペレータにバケットと施工対象の位置関係を把握させるために、バックホウに設けられた撮像装置が撮像した画像に、バケットの刃先を地表面に投影した刃先位置画像を重ねる技術が開示されている。また特許文献１には、ローディングショベルを遠隔操作する際に、オペレータにバケットと施工対象の位置関係を把握させるために、撮像装置が撮像した画像に、バケットの刃先を水平方向に投影した刃先位置画像を重ねる技術が開示されている。

特開２０１６－１６０７４１号公報

ところで、ローディングショベルやホイールローダなど、バケットの刃先が作業機械の前方を向く場合、刃先位置画像は、施工対象の掘削面に写る。しかしながら、この場合、オペレータは、バケットの奥行感覚を認識することが困難であり、バケットが掘削面に刺さっているか否かを判断することが困難であった。
本発明の目的は、上述した課題を解決する表示制御装置、表示制御システムおよび表示制御方法を提供することにある。

本発明の第１の態様によれば、表示制御装置は、刃先を有するバケットが、作業機械の後方から前方へ動作することで掘削面を掘削する前記作業機械の操作のために用いられる画像を表示させる表示制御装置であって、前記バケットの姿勢を表すバケット姿勢情報を取得する姿勢取得部と、前記掘削面を有する施工対象の三次元形状を示す地形情報を取得する地形取得部と、前記バケット姿勢情報および前記地形情報に基づいて、前記バケットの刃先を前記施工対象の前記掘削面より手前側の地表面に投影した地表投影図形を含む投影画像を生成する投影画像生成部と、前記投影画像を表示するための表示信号を出力する表示制御部とを備える。

上記態様によれば、表示制御システムは、刃先が前方を向くバケットを備える作業機械の操作のために、バケットの奥行感覚を認識させるための投影画像を表示させることができる。

第１の実施形態に係る遠隔操作システムの構成を示す概略図である。 第１の実施形態に係る作業機械の外観図である。 第１の実施形態に係る作業機械における撮像装置および深度検出装置の設置位置を示す上面図である。 第１の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。 仮想空間における三次元マップとレンダリングカメラの関係の例を示す図である。 第１の実施形態に係る表示画像の例を示す図である。 第１の実施形態に係る遠隔運転室の制御装置による表示制御処理を示すフローチャートである。 第２の実施形態に係る作業機械の外観図である。 第２の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。 第２の実施形態に係る遠隔運転室の制御装置による表示制御処理を示すフローチャートである。

〈第１の実施形態〉
《作業システム》
図１は、第１の実施形態に係る遠隔操作システムの構成を示す概略図である。
作業システム１は、作業機械１００と、遠隔運転室５００とを備える。作業機械１００は、作業現場（例えば、鉱山、採石場）で稼働する。遠隔運転室５００は、作業現場から離れた地点（例えば、市街、作業現場内）に設けられる。つまり、オペレータは、作業機械１００を視認できない距離から、当該作業機械１００を遠隔操作する。

作業機械１００は、遠隔運転室５００から送信される操作信号に基づいて遠隔操作される。作業機械１００と遠隔運転室５００とは、アクセスポイント３５０を介した通信により接続される。遠隔運転室５００において受け付けたオペレータの操作を示す操作信号は、アクセスポイント３５０を介して作業機械１００に送信される。作業機械１００は、遠隔運転室５００から受信した操作信号に基づいて動作する。つまり、作業システム１は、作業機械１００と遠隔運転室５００とから構成される遠隔運転システムを備える。アクセスポイント３５０は、遠隔運転システムの通信に用いられる。また、作業機械１００は、施工対象の画像を撮像し、当該画像は遠隔運転室５００において表示される。つまり、作業システム１は、表示制御システムの一例である。

《作業機械》
図２は、第１の実施形態に係る作業機械の外観図である。
第１の実施形態に係る作業機械１００は、ローディングショベル（フェイスショベル）である。なお、他の実施形態に係る作業機械１００は、ホイールローダやブルドーザなどの、刃先が前方を向くバケットを有する他の作業機械であってもよい。
作業機械１００は、走行体１１０と、走行体１１０に支持される旋回体１２０と、油圧により作動し旋回体１２０に支持される作業機１３０とを備える。旋回体１２０は旋回中心Ｏ（図５を参照）を中心として旋回自在に支持される。作業機１３０は、旋回体１２０の前部に設けられる。

作業機１３０は、ブーム１３１と、アーム１３２と、バケット１３３とを備える。作業機１３０は、ブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６が伸縮することにより駆動する。ブーム１３１、アーム１３２、およびバケット１３３には、それぞれブーム角度センサ１３７、アーム角度センサ１３８、およびバケット角度センサ１３９が装着されている。

ブーム１３１の基端部は、旋回体１２０にピンを介して取り付けられる。
アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にピンを介して取り付けられる。
バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための容器とを備える。バケット１３３の基端部は、アーム１３２の先端部にピンを介して取り付けられる。

ブームシリンダ１３４は、ブーム１３１を作動させるための油圧シリンダである。ブームシリンダ１３４の基端部は、旋回体１２０に取り付けられる。ブームシリンダ１３４の先端部は、ブーム１３１に取り付けられる。
アームシリンダ１３５は、アーム１３２を駆動するための油圧シリンダである。アームシリンダ１３５の基端部は、ブーム１３１に取り付けられる。アームシリンダ１３５の先端部は、アーム１３２に取り付けられる。
バケットシリンダ１３６は、バケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３６の基端部は、ブーム１３１に取り付けられる。バケットシリンダ１３６の先端部は、バケット１３３に取り付けられる。

ブーム角度センサ１３７は、ブーム１３１に取り付けられ、ブーム１３１の傾斜角を検出する。
アーム角度センサ１３８は、アーム１３２に取り付けられ、アーム１３２の傾斜角を検出する。
バケット角度センサ１３９は、バケット１３３に取り付けられ、バケット１３３の傾斜角を検出する。
第１の実施形態に係るブーム角度センサ１３７、アーム角度センサ１３８、およびバケット角度センサ１３９は、地平面に対する傾斜角を検出する。なお、他の実施形態に係る角度センサはこれに限られず、他の基準面に対する傾斜角を検出してもよい。例えば、他の実施形態においては、角度センサは、ブーム１３１、アーム１３２およびバケット１３３の基端部に設けられたポテンショメータによって相対回転角を検出してもよいし、ブームシリンダ１３４、アームシリンダ１３５およびバケットシリンダ１３６のシリンダ長さを計測し、シリンダ長さを角度に変換することで傾斜角を検出するものであってもよい。

図３は、第１の実施形態に係る作業機械における撮像装置および深度検出装置の設置位置を示す上面図である。
旋回体１２０には、運転室１２１が備えられる。運転室１２１には、撮像装置１２２が設けられる。撮像装置１２２は、運転室１２１内の前部かつ上部に設置される。撮像装置１２２は、運転室１２１前部のフロントガラスを通して、運転室１２１の前方を撮像する。ここで、「前方」とは、旋回体１２０において作業機１３０が装着された方向をいい、「後方」は「前方」の逆方向をいう。「側方」とは、前後方向に対して交差する方向（左右方向）をいう。撮像装置１２２の例としては、例えばＣＣＤ（Charge Coupled Device）センサ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いた撮像装置が挙げられる。なお、他の実施形態においては、撮像装置１２２は、必ずしも運転室１２１内に設けられなくてもよく、撮像装置１２２は、図３に示すように、少なくとも施工対象と作業機１３０とを撮像可能な位置に設けられていればよい。つまり、撮像装置１２２の撮像範囲Ｒ１には、少なくとも作業機１３０の一部が含まれる。

作業機械１００は、撮像装置１２２、位置方位演算器１２３、傾斜計測器１２４、油圧装置１２５、深度検出装置１２６、制御装置１２７を備える。

位置方位演算器１２３は、旋回体１２０の位置および旋回体１２０が向く方位を演算する。位置方位演算器１２３は、ＧＮＳＳを構成する人工衛星から測位信号を受信する２つの受信器を備える。２つの受信器は、それぞれ旋回体１２０の異なる位置に設置される。位置方位演算器１２３は、受信器が受信した測位信号に基づいて、現場座標系における旋回体１２０の代表点（ショベル座標系の原点）の位置を検出する。
位置方位演算器１２３は、２つの受信器が受信した各測位信号を用いて、一方の受信器の設置位置に対する他方の受信器の設置位置の関係として、旋回体１２０の向く方位を演算する。
なお、他の実施形態においては、位置方位演算器１２３は、ロータリーエンコーダやＩＭＵの計測値に基づいて旋回体１２０が向く方位を検出してもよい。

傾斜計測器１２４は、旋回体１２０の加速度および角速度を計測し、計測結果に基づいて旋回体１２０の姿勢（例えば、ロール角、ピッチ角、ヨー角）を検出する。傾斜計測器１２４は、例えば旋回体１２０の下面に設置される。傾斜計測器１２４は、例えば、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を用いることができる。

油圧装置１２５は、作動油タンク、油圧ポンプ、および流量制御弁を備える。油圧ポンプは、図示しないエンジンの動力で駆動し、流量制御弁を介してブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６に作動油を供給する。流量制御弁はロッド状のスプールを有し、スプールの位置によってブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６に供給する作動油の流量を調整する。スプールは、制御装置１２７から受信する制御指令に基づいて駆動される。つまり、ブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６に供給される作動油の量は、制御装置１２７によって制御される。

深度検出装置１２６は、検出範囲Ｒ２における深度を検出する。深度検出装置１２６は、旋回体１２０の両側面に設けられ、旋回体１２０の幅方向に伸びる軸を中心とする検出範囲Ｒ２において、施工対象を含む周囲の物体の深度を検出する。深度とは、深度検出装置１２６から対象までの距離である。これにより、作業機械１００が作業機１３０によって土砂を掘削しているときに、深度検出装置１２６は、作業機械１００の側方に停車する土砂の積込対象の運搬車両（図示せず）の深度を検出することができる。また、作業機械１００が土砂を運搬車両に積み込んでいるときに、深度検出装置１２６は、施工対象の深度を検出することができる。
図３に示すように、深度検出装置１２６は、その検出範囲Ｒ２に作業機１３０が干渉しない位置に設けられる。深度検出装置１２６の例としては、例えば、ＬｉＤＡＲ装置、レーダ装置、ステレオカメラなどが挙げられる。

制御装置１２７は、撮像装置１２２が撮像した画像、旋回体１２０の旋回速度、位置、方位および傾斜角、ブーム１３１、アーム１３２およびバケット１３３の傾斜角、走行体１１０の走行速度、ならびに深度検出装置１２６が検出した深度情報を、遠隔運転室５００に送信する。バケット１３３の刃先の位置および向きは、旋回体１２０の旋回速度、位置、方位および傾斜角、ブーム１３１、アーム１３２およびバケット１３３の傾斜角を用いて計算することができる。以下、バケット１３３の刃先の位置および向きをバケット１３３の姿勢を表すバケット姿勢情報ともいう。また、バケット１３３の刃先の位置および向きの算出に用いられる旋回体１２０の旋回速度、位置、方位および傾斜角、ブーム１３１、アーム１３２およびバケット１３３の傾斜角等の情報も、バケット姿勢情報の一例である。つまり、位置方位演算器１２３、傾斜計測器１２４、ブーム角度センサ１３７、アーム角度センサ１３８、およびバケット角度センサ１３９は、姿勢検出装置の一例である。また、以下、旋回体１２０の位置、方位および傾斜角を、旋回体１２０の姿勢を表す旋回体姿勢情報ともいう。
制御装置１２７は、遠隔運転室５００から操作信号を受信する。制御装置１２７は、受信した操作信号に基づいて、作業機１３０、旋回体１２０、または走行体１１０を駆動させる。

《遠隔運転室》
遠隔運転室５００は、運転席５１０、表示装置５２０、操作装置５３０、制御装置５４０を備える。
表示装置５２０は、運転席５１０の前方に配置される。表示装置５２０は、オペレータが運転席５１０に座ったときにオペレータの眼前に位置する。表示装置５２０は、並べられた複数のディスプレイによって構成されてもよいし、図１に示すように、１つの大きなディスプレイによって構成されてもよい。また、表示装置５２０は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。

操作装置５３０は、遠隔運転システム用の操作装置である。操作装置５３０は、オペレータの操作に応じて、ブームシリンダ１３４の操作信号、アームシリンダ１３５の操作信号、バケットシリンダ１３６の操作信号、旋回体１２０の左右への旋回操作信号、走行体１１０の前後進のための走行操作信号を生成し制御装置５４０に出力する。操作装置５３０は、例えばレバー、ノブスイッチおよびペダル（図示略）により構成される。
操作装置５３０は、運転席５１０の近傍に配置される。操作装置５３０は、オペレータが運転席５１０に座ったときにオペレータの操作可能な範囲内に位置する。

制御装置５４０は、作業機械１００から受信した情報に基づいて表示画像を生成し、表示画像を表示装置５２０に表示させる。また制御装置５４０は、操作装置５３０の操作を表す操作信号を作業機械１００に送信する。制御装置５４０は、表示制御装置の一例である。

図４は、第１の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。
制御装置５４０は、プロセッサ５１００、メインメモリ５２００、ストレージ５３００、インタフェース５４００を備えるコンピュータである。ストレージ５３００は、プログラムを記憶する。プロセッサ５１００は、プログラムをストレージ５３００から読み出してメインメモリ５２００に展開し、プログラムに従った処理を実行する。制御装置５４０は、インタフェース５４００を介してネットワークに接続される。

ストレージ５３００の例としては、ＨＤＤ、ＳＳＤ、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等が挙げられる。ストレージ５３００は、制御装置５４０の共通通信線に直接接続された内部メディアであってもよいし、インタフェース５４００を介して制御装置５４０に接続される外部メディアであってもよい。ストレージ５３００は、一時的でない有形の記憶媒体である。

プログラムの実行により、プロセッサ５１００は、メインメモリ５２００に、マップ記憶部５２０１の記憶領域を確保する。
マップ記憶部５２０１は、施工対象の三次元形状を示す三次元マップを記憶する。三次元マップにおいて、施工対象の座標は、現場座標系で表される。三次元マップは、地形情報の一例である。

プロセッサ５１００は、プログラムの実行により、検出情報取得部５１０１、座標変換部５１０２、マップ生成部５１０３、作業機姿勢特定部５１０４、撮像範囲特定部５１０５、刃先位置図形生成部５１０６、深度画像生成部５１０７、占有領域特定部５１０８、表示画像生成部５１０９、表示制御部５１１０、操作信号入力部５１１１、操作信号出力部５１１２を備える。

検出情報取得部５１０１は、制御装置１２７から、撮像装置１２２が撮像した画像、旋回体１２０の旋回速度、位置、方位および傾斜角、ブーム１３１、アーム１３２およびバケット１３３の傾斜角、走行体１１０の走行速度、ならびに深度検出装置１２６が検出した深度情報を受信する。

座標変換部５１０２は、旋回体１２０の位置、方位および傾斜角に基づいて、深度情報の座標系を現場座標系に変換する。深度情報の座標系を表す深度座標系は、深度検出装置１２６の位置を原点とする相対座標系である。現場座標系に変換された深度情報は、深度検出装置１２６の検出範囲Ｒ２における施工対象の三次元形状を表す。

マップ生成部５１０３は、マップ記憶部５２０１が記憶する三次元マップのうち、深度検出装置１２６の検出範囲Ｒ２に相当する部分を座標変換部５１０２によって現場座標系に変換された深度情報が示す三次元形状に更新する。つまり、マップ生成部５１０３は、異なるタイミングに得られた深度情報と旋回体姿勢情報の組み合わせに基づいて、作業機械１００の周囲の形状を表す三次元マップを生成する。三次元マップは、地形情報の一例であり、マップ生成部５１０３は、地形取得部の一例である。異なるタイミングは、例えば、所定旋回角度ごとのタイミングもしくは旋回動作中の所定周期ごとのタイミング、またはこれに旋回動作前もしくは旋回動作後のタイミングを加えたタイミングであってよい。

作業機姿勢特定部５１０４は、ブーム１３１、アーム１３２およびバケット１３３の傾斜角に基づいて、車体座標系における作業機１３０の姿勢を特定する。車体座標系は、旋回体１２０の位置を原点とする相対座標系である。具体的には、作業機姿勢特定部５１０４は、ブーム１３１の傾斜角と既知のブーム１３１の長さ（基端部のピンから先端部のピンまでの距離）とに基づいて、ブーム１３１の先端の座標および絶対角度を求める。ここで、絶対角度とは、旋回体１２０を基準としたブーム１３１、アーム１３２およびバケット１３３の角度をいう。絶対角度は、ブーム角度センサ１３７、アーム角度センサ１３８、およびバケット角度センサ１３９が検出した傾斜角に傾斜計測器１２４が検出したピッチ角をそれぞれ加算することにより求められる。同様に、作業機姿勢特定部５１０４は、アーム１３２の先端の座標および絶対角度、ならびにバケット１３３の先端（刃先）の座標および絶対角度を求める。つまり、作業機姿勢特定部５１０４は、バケット姿勢情報を取得する姿勢取得部の一例である。作業機姿勢特定部５１０４は、旋回体１２０の位置、方位および傾斜角に基づいて、作業機１３０の姿勢の座標系を現場座標系に変換する。
なお、他の実施形態において、作業機姿勢特定部５１０４は、シリンダ長さと既知の寸法とに基づいて、旋回体１２０に対するブーム１３１の相対角度、ブーム１３１に対するアーム１３２の相対角度、およびアーム１３２に対するバケット１３３の相対角度を算出して作業機１３０の姿勢を特定してもよい。

撮像範囲特定部５１０５は、旋回体１２０の位置、方位および傾斜角に基づいて、撮像装置１２２の撮像範囲Ｒ１を特定する。具体的には、撮像範囲特定部５１０５は、旋回体１２０の位置、方位および傾斜角に基づいて、撮像装置１２２の位置と、撮像装置１２２の光軸の向きとを特定する。撮像範囲特定部５１０５は、特定した位置および光軸の向きと、既知の撮像装置１２２の画角とに基づいて、撮像装置１２２の撮像範囲Ｒ１を特定することができる。
図５は、仮想空間における三次元マップとレンダリングカメラの関係の例を示す図である。
撮像範囲特定部５１０５は、特定した撮像範囲に基づいて、三次元形状をレンダリングするためのレンダリングカメラＣのパラメータを決定する。レンダリングカメラＣは、現場座標系で表される仮想空間に配置された三次元形状から二次元画像を描画するための視点を示す仮想的なカメラである。

刃先位置図形生成部５１０６は、マップ記憶部５２０１が記憶する三次元マップＭと、作業機姿勢特定部５１０４が特定したバケット１３３の刃先の座標に基づいて、刃先を地表面に投影した座標を表す図形である刃先位置図形Ｆを生成する。第１の実施形態に係る刃先位置図形Ｆは、三次元マップＭに刃先を鉛直下向きに投影した下方投影線Ｆ１、下方投影線Ｆ１を旋回体１２０の旋回方向に、地表面に沿って延長した下方延長線Ｆ２、刃先と下方投影線Ｆ１とを結ぶ下方補助線Ｆ３、三次元マップＭに刃先を作業機前方に投影した前方投影線Ｆ４、前方投影線Ｆ４をその延在方向に、地表面に沿って延長した前方延長線Ｆ５、および刃先と前方投影線Ｆ４とを結ぶ前方補助線Ｆ６を含む。前方投影線Ｆ４は、下方投影線Ｆ１が伸びる方向に直交する方向へ伸びることが好ましい。
下方投影線Ｆ１および下方延長線Ｆ２は、バケット１３３の刃先を施工対象の地表面に投影した点を表す地表投影図形の一例である。前方投影線Ｆ４および前方延長線Ｆ５は、バケット１３３の刃先を施工対象の掘削面に投影した点を表す前方投影図形の一例である。なお、他の実施形態に係る地表投影図形および前方投影図形は、例えば刃先の中心点を投影した点であってもよい。つまり、地表投影図形および前方投影図形は、必ずしも線でなくてもよい。
刃先位置図形生成部５１０６は、撮像範囲特定部５１０５が決定したレンダリングカメラＣのパラメータに基づいて、刃先位置図形Ｆをレンダリングすることで、刃先位置画像を得る。刃先位置画像は、投影画像の一例であり、刃先位置図形生成部５１０６は、投影画像生成部の一例である。

深度画像生成部５１０７は、マップ記憶部５２０１が記憶する三次元マップＭと、撮像範囲特定部５１０５が決定したレンダリングカメラＣのパラメータとに基づいて、撮像範囲Ｒ１における深度を表す深度画像を生成する。具体的には、深度画像生成部５１０７は、格子テクスチャＴを三次元マップＭ上に鉛直上方から平面投影する。深度画像生成部５１０７は、レンダリングカメラＣのパラメータに基づいて、格子テクスチャＴが投影された三次元マップＭをレンダリングすることで、深度画像を得る。

占有領域特定部５１０８は、作業機姿勢特定部５１０４が特定した作業機１３０の姿勢に基づいて、撮像画像において作業機１３０に占有される領域（占有領域）を特定する。例えば、占有領域特定部５１０８は、作業機姿勢特定部５１０４が特定したブーム１３１、アーム１３２およびバケット１３３の先端の座標および絶対角度に基づいて、仮想空間に既知のブーム１３１、アーム１３２およびバケット１３３の三次元形状を配置する。占有領域特定部５１０８は、レンダリングカメラＣのパラメータに基づいて、ブーム１３１、アーム１３２およびバケット１３３の三次元形状をレンダリングすることで作業機画像を得る。占有領域特定部５１０８は、得られた作業機画像のうち、ブーム１３１、アーム１３２およびバケット１３３が写る領域を占有領域と特定する。

図６は、第１の実施形態に係る表示画像の例を示す図である。
表示画像生成部５１０９は、受信した撮像画像と深度画像と刃先位置画像とを合成することで、表示装置５２０に表示するための表示画像を生成する。具体的には、表示画像生成部５１０９は、以下の手順で表示画像を生成する。表示画像生成部５１０９は、刃先位置画像および深度画像のうち占有領域に係る部分を削除する。表示画像生成部５１０９は、検出情報取得部５１０１が受信した撮像画像に、占有領域に係る部分を削除した刃先位置画像および深度画像を合成することで、表示画像を生成する。図６に示すように、表示画像には、作業機１３０および施工対象と、格子テクスチャＴおよび刃先位置図形Ｆとが写っている。
刃先位置画像および深度画像のうち占有領域に係る部分が削除されることにより、表示画面において作業機１３０に対応する部分には格子テクスチャＴおよび刃先位置図形Ｆが表示されない。これにより、表示装置５２０は、作業者にとって見やすい画面を表示することができる。

表示制御部５１１０は、表示画像を表示するための表示信号を表示装置５２０に出力する。

操作信号入力部５１１１は、操作装置５３０から操作信号の入力を受け付ける。操作信号には、走行体１１０の走行操作信号、旋回体１２０の旋回操作信号、ブーム１３１の上下操作信号、アーム１３２の押し引き操作信号、バケット１３３の回動操作信号が含まれる。
操作信号出力部５１１２は、操作信号入力部５１１１に入力された操作信号を作業機械１００に出力する。

《表示制御方法》
図７は、第１の実施形態に係る遠隔運転室の制御装置による表示制御処理を示すフローチャートである。
遠隔運転室５００による作業機械１００の遠隔運転を開始すると、制御装置５４０は、一定時間ごとに、図７に示す表示制御処理を実行する。
検出情報取得部５１０１は、作業機械１００の制御装置１２７から、撮像装置１２２が撮像した画像、旋回体１２０の位置、方位および傾斜角、ブーム１３１、アーム１３２およびバケット１３３の傾斜角、走行体１１０の走行速度、ならびに深度検出装置１２６が検出した深度情報を受信する（ステップＳ１）。次に、座標変換部５１０２は、受信した旋回体１２０の位置、方位および傾斜角に基づいて、深度検出装置１２６の現場座標系における位置、光軸が向く方位、および光軸の傾斜角を特定する（ステップＳ２）。深度検出装置１２６は、旋回体１２０の規定の箇所に固定されているため、座標変換部５１０２は所定のオフセットおよび回転の計算により、旋回体１２０の姿勢に基づいて深度検出装置１２６の姿勢を特定することができる。座標変換部５１０２は、深度検出装置１２６の現場座標系における位置、光軸が向く方位、および光軸の傾斜角に基づいて、受信した深度情報の座標系を現場座標系に変換する（ステップＳ３）。

マップ生成部５１０３は、ステップＳ２で特定された深度検出装置１２６の現場座標系における位置、光軸が向く方位、および光軸の傾斜角に基づいて、マップ記憶部５２０１が記憶する三次元マップのうち、検出範囲Ｒ２に相当する部分を特定する（ステップＳ４）。すなわち、マップ生成部５１０３は、マップ記憶部５２０１が記憶する三次元マップにおいて、深度検出装置１２６の位置から光軸を中心とする既知の画角内の範囲を、検出範囲Ｒ２と特定する。マップ生成部５１０３は、特定した範囲の三次元マップの値を、現場座標系に変換された深度情報が示す値に更新する（ステップＳ５）。

作業機姿勢特定部５１０４は、ブーム１３１、アーム１３２およびバケット１３３の傾斜角、ならびに旋回体１２０の位置、方位および傾斜角に基づいて、現場座標系における作業機１３０の姿勢を特定する（ステップＳ６）。撮像範囲特定部５１０５は、旋回体姿勢情報に基づいて、撮像装置１２２の撮像範囲Ｒ１を特定する（ステップＳ７）。撮像範囲特定部５１０５は、撮像範囲Ｒ１に基づいて、仮想空間におけるレンダリングカメラＣのパラメータを決定する（ステップＳ８）。

刃先位置図形生成部５１０６は、マップ記憶部５２０１が記憶する三次元マップＭと、作業機姿勢特定部５１０４が特定したバケット１３３の刃先の座標に基づいて、刃先位置図形Ｆを生成する（ステップＳ９）。刃先位置図形生成部５１０６は、ステップＳ８で決定したレンダリングカメラＣのパラメータに基づいて刃先位置図形Ｆをレンダリングし、刃先位置画像を生成する（ステップＳ１０）。

深度画像生成部５１０７は、格子テクスチャＴを三次元マップＭ上に鉛直上方から平面投影する（ステップＳ１１）。深度画像生成部５１０７は、ステップＳ８で決定したレンダリングカメラＣのパラメータに基づいて、格子テクスチャＴが投影された三次元マップＭをレンダリングすることで、深度画像を生成する（ステップＳ１２）。

占有領域特定部５１０８は、作業機姿勢特定部５１０４が特定したブーム１３１、アーム１３２およびバケット１３３の先端の座標および絶対角度に基づいて、仮想空間に既知のブーム１３１、アーム１３２およびバケット１３３の三次元形状を配置する（ステップＳ１３）。占有領域特定部５１０８は、ステップＳ８で決定されたレンダリングカメラＣのパラメータに基づいて、ブーム１３１、アーム１３２およびバケット１３３の三次元形状をレンダリングすることで、画像において作業機１３０が写る占有領域を特定する（ステップＳ１４）。なお、他の実施形態に係る作業機械１００は、旋回角度によって走行体１１０の一部が画像に写ることがある。この場合、占有領域特定部５１０８は、仮想空間にさらに既知の走行体１１０の三次元形状を配置し、画像において走行体１１０および作業機１３０が写る占有領域を特定してもよい。また、他の実施形態に係る作業機械１００は、旋回体１２０の一部（ピラーや通路の手すりなど）が画像に写ることがある。撮像装置１２２が旋回体１２０に固定されるため、画像に写る旋回体１２０の位置は、作業機械１００の姿勢によって変化しない。この場合、占有領域特定部５１０８は、画像において旋回体１２０の一部が写る既知の占有領域をさらに特定してもよい。

表示画像生成部５１０９は、ステップＳ１０で生成した刃先位置画像およびステップＳ１２で生成した深度画像のうち、ステップＳ１４で特定した占有領域に係る部分を削除する（ステップＳ１５）。次に、表示画像生成部５１０９は、検出情報取得部５１０１が受信した撮像画像に、占有領域に係る部分を削除した刃先位置画像および深度画像を合成することで、表示画像を生成する（ステップＳ１６）。そして、表示制御部５１１０は、表示画像を表示するための表示信号を表示装置５２０に出力する（ステップＳ１７）。
これにより、表示装置５２０には、図６に示すような表示画像が表示される。

《作用・効果》
このように、第１の実施形態によれば、制御装置５４０は、バケット姿勢情報と地形情報である三次元マップＭとに基づいて、バケット１３３の刃先を施工対象の地表面に投影した点を表す下方投影線Ｆ１を含む刃先位置画像を生成する。これにより、表示装置５２０には、掘削面より手前側の地表面に下方投影線Ｆ１が表示されるため、下方投影線Ｆ１と掘削面との距離を目視することで、バケット１３３と掘削面との距離を認識することができる。
つまり、第１の実施形態によれば、オペレータは、バケット１３３の刃先が前方を向く作業機械１００において、バケット１３３の奥行感覚を容易に認識することができる。

また、第１の実施形態によれば、制御装置５４０は、下方投影線Ｆ１に加え、前方投影線Ｆ４を含む刃先位置画像を生成する。下方投影線Ｆ１と前方投影線Ｆ４との距離は、バケット１３３が掘削面に近づくほど短くなる。特に、バケット１３３の刃先が掘削面に接するとき、下方投影線Ｆ１と前方投影線Ｆ４とが重なる。これにより、オペレータは、下方投影線Ｆ１と前方投影線Ｆ４との距離を視認することで、バケット１３３と掘削面との距離を認識することができる。
また、第１の実施形態に係る前方投影線Ｆ４は、バケット１３３の刃先を施工対象に水平前方へ向けて投影した図形である。つまり、前方投影線Ｆ４は、バケット１３３の高さを維持して前進した場合に刃先が掘削面に当たる位置を表す。これにより、オペレータは、バケット１３３と掘削面との位置関係を明確に認識することができる。

また、第１の実施形態によれば、制御装置５４０は、バケット１３３の刃先を施工対象の地表面に投影した線を延長した線である下方延長線Ｆ２を含む刃先位置画像を生成する。下方投影線Ｆ１がバケット１３３に隠れてしまう場合にも、オペレータは、下方延長線Ｆ２を視認することで、バケット１３３と掘削面との距離を認識することができる。下方延長線Ｆ２は、刃先を施工対象の掘削面に投影した線を旋回体１２０の旋回方向に延長した線である。これにより、オペレータは、旋回体１２０を旋回させた場合の地表面との刃先との位置関係を認識することができる。

また、第１の実施形態によれば、制御装置５４０は、バケット１３３の刃先を施工対象の掘削面に投影した線を延長した線である前方延長線Ｆ５を含む刃先位置画像を生成する。前方投影線Ｆ４がバケット１３３に隠れてしまう場合にも、前方延長線Ｆ５を視認することで、オペレータは、バケット１３３と掘削面との距離を認識することができる。前方延長線Ｆ５は、刃先を施工対象の掘削面に投影した線を当該線の延在方向に延長した線である。これにより、オペレータは、旋回体１２０を旋回させた場合の掘削面との刃先との位置関係を認識することができる。

〈第２の実施形態〉
第１の実施形態に係る作業システム１は、異なるタイミングに得られた複数の深度情報に基づいて生成された三次元マップＭに基づいて刃先位置画像を生成する。これに対し、第２の実施形態に係る作業システム１は、深度情報の瞬時データに基づいて刃先位置画像を生成する。

《作業機械》
図８は、第２の実施形態に係る作業機械の外観図である。
第２の実施形態に係る作業機械１００の深度検出装置１２６は、運転室１２１内に、撮像装置１２２と並んで設けられる。そのため、深度検出装置１２６の検出範囲Ｒ２は、撮像装置１２２の撮像範囲Ｒ１と略同一となる。

《遠隔運転室の制御装置》
図９は、第２の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。
第２の実施形態に係る遠隔運転室５００の制御装置５４０は、第１の実施形態のマップ生成部５１０３および占有領域特定部５１０８を備えず、占有領域補完部５１１３を備える。占有領域補完部５１１３は、深度情報のうち占有領域に係る部分を除去し、占有領域の周辺の情報に基づいて、占有領域に係る部分を補完する。例えば、占有領域補完部５１１３は深度情報のうち、占有領域を除去した深度情報に係る点群に基づいて、除去された領域にポリゴンを貼ることで、深度情報の占有領域に係る部分を補完することができる。

《表示制御方法》
図１０は、第２の実施形態に係る遠隔運転室の制御装置による表示制御処理を示すフローチャートである。
遠隔運転室５００による作業機械１００の遠隔運転を開始すると、制御装置５４０は、一定時間ごとに、図１０に示す表示制御処理を実行する。
検出情報取得部５１０１は、作業機械１００の制御装置１２７から、撮像装置１２２が撮像した画像、旋回体１２０の位置、方位および傾斜角、ブーム１３１、アーム１３２およびバケット１３３の傾斜角、走行体１１０の走行速度、ならびに深度検出装置１２６が検出した深度情報を受信する（ステップＳ５１）。次に、座標変換部５１０２は、受信した旋回体１２０の位置、方位および傾斜角に基づいて、深度検出装置１２６の現場座標系における位置、光軸が向く方位、および光軸の傾斜角を特定する（ステップＳ５２）。座標変換部５１０２は、深度検出装置１２６の現場座標系における位置、光軸が向く方位、および光軸の傾斜角に基づいて、受信した深度情報の座標系を現場座標系に変換する（ステップＳ５３）。

作業機姿勢特定部５１０４は、ブーム１３１、アーム１３２およびバケット１３３の傾斜角、ならびに旋回体１２０の位置、方位および傾斜角に基づいて、現場座標系における作業機１３０の姿勢を特定する（ステップＳ５４）。撮像範囲特定部５１０５は、旋回体姿勢情報に基づいて、撮像装置１２２の撮像範囲Ｒ１を特定する（ステップＳ５５）。撮像範囲特定部５１０５は、撮像範囲Ｒ１に基づいて、仮想空間におけるレンダリングカメラＣのパラメータを決定する（ステップＳ５６）。

占有領域補完部５１１３は、作業機姿勢特定部５１０４が特定したブーム１３１、アーム１３２およびバケット１３３の先端の座標および絶対角度に基づいて、仮想空間に座標変換後の深度情報が示す施工対象の形状と、既知のブーム１３１、アーム１３２およびバケット１３３の三次元形状を配置する（ステップＳ５７）。占有領域補完部５１１３は、ステップＳ５６で決定されたレンダリングカメラＣを中心とするレイトレーシングにより、施工対象の形状のうち、作業機１３０の影となる占有領域を特定する。占有領域補完部５１１３は、深度情報から占有領域に係る部分を除去する（ステップＳ５８）。占有領域補完部５１１３は、占有領域に係る部分を除去した深度情報のうち占有領域に係る部分を補完する（ステップＳ５９）。

次に、刃先位置図形生成部５１０６は、占有領域に係る部分を補完した深度情報と、作業機姿勢特定部５１０４が特定したバケット１３３の刃先の座標に基づいて、刃先位置図形Ｆを生成する（ステップＳ６０）。刃先位置図形生成部５１０６は、ステップＳ５６で決定したレンダリングカメラＣのパラメータに基づいて刃先位置図形Ｆをレンダリングし、刃先位置画像を生成する（ステップＳ６１）。

深度画像生成部５１０７は、格子テクスチャＴを深度情報が表す施工対象の形状に鉛直上方から平面投影する（ステップＳ６２）。深度画像生成部５１０７は、ステップＳ５６で決定したレンダリングカメラＣのパラメータに基づいて、格子テクスチャＴが投影された施工対象の形状をレンダリングすることで、深度画像を生成する（ステップＳ６３）。

次に、表示画像生成部５１０９は、検出情報取得部５１０１が受信した撮像画像に、占有領域に係る部分を削除した刃先位置画像および深度画像を合成することで、表示画像を生成する（ステップＳ６４）。そして、表示制御部５１１０は、表示画像を表示するための表示信号を表示装置５２０に出力する（ステップＳ６５）。

《作用・効果》
このように、第２の実施形態によれば、第１の実施形態と同様に、制御装置５４０は、バケット姿勢情報と、地形情報である深度情報とに基づいて、バケット１３３の刃先を施工対象の地表面に投影した点を表す下方投影線Ｆ１を含む刃先位置画像を生成する。これにより、表示装置５２０には、掘削面より手前側の地表面に下方投影線Ｆ１が表示されるため、下方投影線Ｆ１と掘削面との距離を目視することで、バケット１３３と掘削面との距離を認識することができる。

また、第２の実施形態によれば、制御装置５４０は、深度情報のうち作業機１３０の影となる占有領域を補完し、これに基づいて刃先位置画像を生成する。これにより、深度情報の一部が作業機１３０の影となる場合にも、適切に刃先位置画像を生成することができる。なお、他の実施形態においては、深度検出装置１２６を作業機１３０の側面より外側に設け、刃先を施工対象に投影した線の一部が深度検出装置１２６の検出範囲Ｒ２に含まれるようにすることで、制御装置５４０が占有領域の補完処理を行わないようにしてもよい。

〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。

上述の実施形態に係る表示情報は、撮像画像と深度画像とを重ね合わせたものであるが、これに限られない。例えば、他の実施形態に係る表示情報は、撮像画像に代えて三次元マップＭまたは深度情報、および作業機械１００のモデルから生成されたコンピュータグラフィックスを含むものであってもよい。

上述の実施形態に係る制御装置５４０は、刃先位置画像と深度画像とを別個に生成するが、これに限られない。例えば、他の実施形態に係る制御装置５４０は、格子テクスチャＴが投影された三次元マップＭまたは深度情報と刃先位置図形Ｆとを一緒にレンダリングすることで、格子テクスチャＴと刃先位置図形Ｆとが写る深度画像を生成してもよい。
また、他の実施形態に係る制御装置５４０は、撮像画像に刃先位置画像と深度画像とを重ね合わせるが、これに限られない。例えば、他の実施形態に係る制御装置５４０は、撮像画像に刃先位置画像および深度画像の一方だけを重ね合わせてもよい。なお、刃先位置画像は、三次元マップＭに基づいて生成された深度を表す画像であるため、深度画像の一例でもある。

他の実施形態に係る刃先位置図形Ｆは、必ずしも下方投影線Ｆ１、下方延長線Ｆ２、下方補助線Ｆ３、前方投影線Ｆ４、前方延長線Ｆ５、および前方補助線Ｆ６のすべてを含むものでなくてもよい。また、他の実施形態に係る刃先位置図形Ｆは、他の図形であってもよい。例えば、刃先位置図形Ｆは、バケット１３３の形状を投影したバケット影図形、バケット１３３の刃先の中心点を投影した刃先中心プロットなどの他の図形であってよい。
なお、バケット１３３の形状を地表面に投影したバケット影図形、およびバケット１３３の刃先の中心点を地表面に投影した刃先中心プロットは、いずれも地表投影図形の一例である。また、バケット１３３の形状を掘削面に投影したバケット影図形、およびバケット１３３の刃先の中心点を掘削面に投影した刃先中心プロットは、いずれも前方投影図形の一例である。

上述の実施形態に係る制御装置５４０は、刃先位置画像および深度画像から占有領域に係る部分を除去して撮像画像に重ね合わせるが、これに限られない。例えば、他の実施形態に係る制御装置５４０は、刃先位置画像および深度画像から占有領域に係る部分を除去することなく撮像画像に重ね合わせて表示画像を生成してもよい。この場合、撮像画像のうち作業機１３０が写る部分にも、当該作業機１３０に隠れた刃先位置図形Ｆおよび深度を表す格子テクスチャＴが描画されることとなる。これにより、オペレータは、作業機１３０に隠れた部分についても遠近感を持つことができる。

上述の実施形態において制御装置５４０による深度画像の計算に用いられる深度情報および三次元マップＭは、制御装置５４０の操作対象となる作業機械１００に搭載された深度検出装置１２６によって検出されたものであるが、これに限られない。例えば、他の実施形態に係る制御装置５４０は、他の作業機械１００に搭載された深度検出装置１２６、またはドローンなどの他の装置に搭載された深度検出装置１２６によって検出された深度情報を用いて深度画像を計算してよい。この場合、制御装置５４０は、他の作業機械１００に搭載された深度検出装置１２６、またはドローンなどの他の装置に搭載された深度検出装置１２６によって検出された深度情報を用いて三次元マップＭを生成してもよい。

上述の実施形態においては、制御装置５４０が表示制御装置として機能するが、これに限られない。例えば、他の実施形態に係る作業システム１では、制御装置１２７が表示制御装置として機能してもよい。すなわち、他の実施形態に係る作業システム１は、制御装置１２７が深度画像を生成し、当該深度画像を遠隔運転室５００の表示装置５２０に表示させるものであってもよい。また、他の実施形態においては、表示制御装置が作業機械１００および遠隔運転室５００と別個に設けられていてもよい。また、他の実施形態においては、表示制御装置のいくつかの機能部が遠隔運転室５００に設けられ、残りの機能部が作業機械１００に設けられていてもよい。この場合、作業機械１００と遠隔運転室５００の組み合わせによって表示制御装置が実現される。

１…作業システム １００…作業機械 １１０…走行体 １２０…旋回体 １２１…運転室 １２２…撮像装置 １２３…位置方位演算器 １２４…傾斜計測器 １２５…油圧装置 １２６…深度検出装置 １２７…制御装置 １３０…作業機 １３１…ブーム １３２…アーム １３３…バケット １３４…ブームシリンダ １３５…アームシリンダ １３６…バケットシリンダ １３７…ブーム角度センサ １３８…アーム角度センサ １３９…バケット角度センサ ３５０…アクセスポイント ５００…遠隔運転室 ５１０…運転席 ５２０…表示装置 ５３０…操作装置 ５４０…制御装置 ５１００…プロセッサ ５２００…メインメモリ ５３００…ストレージ ５４００…インタフェース ５１０１…検出情報取得部 ５１０２…座標変換部 ５１０３…マップ生成部 ５１０４…作業機姿勢特定部 ５１０５…撮像範囲特定部 ５１０６…刃先位置図形生成部 ５１０７…深度画像生成部 ５１０８…占有領域特定部 ５１０９…表示画像生成部 ５１１０…表示制御部 ５１１１…操作信号入力部 ５１１２…操作信号出力部 ５１１３…占有領域補完部 ５２０１…マップ記憶部 Ｒ１…撮像範囲 Ｒ２…検出範囲 Ｃ…レンダリングカメラ Ｍ…三次元マップ Ｆ…刃先位置図形 Ｆ１…下方投影線 Ｆ２…下方延長線 Ｆ３…下方補助線 Ｆ４…前方投影線 Ｆ５…前方延長線 Ｆ６…前方補助線 Ｔ…格子テクスチャＴ

Claims (10)

1. 刃先を有するバケットが、ローディングショベルの後方から前方へ動作することで掘削面を掘削する前記ローディングショベルの操作のために用いられる画像を表示させる表示制御装置であって、
   前記バケットの姿勢を表すバケット姿勢情報を取得する姿勢取得部と、
   前記掘削面を有する施工対象の三次元形状を示す地形情報を取得する地形取得部と、
   前記バケット姿勢情報および前記地形情報に基づいて、前記バケットの刃先を前記施工対象の前記掘削面より手前側の地表面に投影した地表投影図形を含む投影画像を生成する投影画像生成部と、
   前記投影画像を表示するための表示信号を出力する表示制御部と
   を備える表示制御装置。
2. 前記地表投影図形は、前記刃先を鉛直下向きへ向けて投影した図形である
   請求項１に記載の表示制御装置。
3. 前記投影画像生成部は、前記バケット姿勢情報および前記地形情報に基づいて、前記地表投影図形と、前記刃先を前記施工対象の掘削面に投影した前方投影図形を含む前記投影画像を生成する
   請求項１または請求項２に記載の表示制御装置。
4. 前記前方投影図形は、前記刃先を前記施工対象に水平前方へ向けて投影した図形である
   請求項３に記載の表示制御装置。
5. 前記前方投影図形は、前記刃先を前記施工対象の掘削面に投影した線を延長した線である
   請求項３または請求項４に記載の表示制御装置。
6. 前記前方投影図形は、前記刃先を前記施工対象の掘削面に投影した線を当該線の延在方向に延長した線である
   請求項５に記載の表示制御装置。
7. 前記地表投影図形は、前記刃先を地表面に投影した線を延長した線である
   請求項１から請求項６の何れか１項に記載の表示制御装置。
8. 前記地表投影図形は、前記刃先を地表面に投影した線を前記ローディングショベルの旋回方向に延長した線である
   請求項７に記載の表示制御装置。
9. ローディングショベルと、表示制御装置とを備える表示制御システムであって、
   前記ローディングショベルは、
   刃先を有し、前記ローディングショベルの後方から前方へ動作することで掘削面を掘削するバケットと、
   前記掘削面を有する施工対象の地形情報を検出する地形検出装置と、
   前記バケットの姿勢を表すバケット姿勢情報を検出する姿勢検出装置と
   を備え、
   前記表示制御装置は、
   前記バケット姿勢情報および前記地形情報に基づいて、前記バケットの刃先を前記施工対象の前記掘削面より手前側の地表面に投影した地表投影図形を含む投影画像を生成する投影画像生成部と、
   前記投影画像を表示するための表示信号を出力する表示制御部と
   を備える表示制御システム。
10. 刃先を有するバケットが、ローディングショベルの後方から前方へ動作することで掘削面を掘削する前記ローディングショベルの操作のために用いられる画像を表示させる表示制御方法であって、
    前記バケットの姿勢を表すバケット姿勢情報を取得するステップと、
    前記掘削面を有する施工対象の三次元形状を示す地形情報を取得するステップと、
    前記バケット姿勢情報および前記地形情報に基づいて、前記バケットの刃先を前記施工対象の前記掘削面より手前側の地表面に投影した地表投影図形を含む投影画像を生成するステップと、
    前記投影画像を表示するステップと
    を備える表示制御方法。

Images