JP7420733B2 - 表示制御システムおよび表示制御方法 - Google Patents

Description

本発明は、作業車両を遠隔操作するための遠隔運転室の表示装置を制御する表示制御システムおよび表示制御方法に関する。
本願は、２０１８年１０月３１日に日本に出願された特願２０１８－２０５９０５号について優先権を主張し、その内容をここに援用する。

作業車両を遠隔操作する技術が知られている。作業車両を遠隔操作するためには、外部から作業車両の周囲の状況が認識可能である必要がある。そのため、遠隔操作される作業車両は、周囲の状況を撮像する撮像装置と撮像された画像を外部に送信する通信機を備える。これにより、オペレータは、作業車両から送信される画像を視認しながら操作を行うことができる（例えば、特許文献１を参照）。

特開２０１３－１６８７７８号公報

オペレータは、画像の視認によって作業車両の状況を認識し、当該状況に基づいて作業車両を操作する。しかしながら、遠隔操作の場合、オペレータは、作業車両の傾きなど、実際に作業車両に乗っている場合に得ることができる感覚を得ることができない。そのため、オペレータは、作業車両に乗っている場合には、これらの感覚から作業車両の状態を推測して作業をすることができるが、遠隔操作の場合、オペレータは作業車両の状態を推測することが困難となる。
本発明の態様は、遠隔操作であるためにオペレータが得ることができない感覚の欠乏を補足することができる表示制御システムおよび表示制御方法を提供することを目的とする。

本発明の第１の態様によれば、表示制御システムは、作業車両の外部に設けられる表示装置を制御する表示制御装置であって、前記作業車両に搭載された撮像装置が撮像した撮像画像を取得する撮像画像取得部と、前記作業車両に係る情報を表す画像である補足画像を取得する補足画像取得部と、前記撮像画像のうち、前記作業車両の一部が写り得る領域に前記補足画像を配置した表示画像を生成する表示画像生成部と、前記表示画像を表示させる表示信号を、前記表示装置に出力する表示制御部とを備える。

上記態様によれば、表示制御システムは、遠隔操作であるがゆえにオペレータが得ることができない感覚を補足することができる。

第１の実施形態に係る遠隔操作システムの構成を示す概略図である。 第１の実施形態に係る作業車両の外観図である。 第１の実施形態に係る作業車両の撮像装置が撮像する画像の例である。 第１の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。 前方カメラが撮像した画像から切り出される画像の例を示す図である。 姿勢画像の例を示す図である。 周辺画像の例を示す図である。 第１の実施形態に係る表示装置に表示される表示画像の例を示す図である。 第１の実施形態に係る遠隔運転室の制御装置によるレイアウト情報の設定方法を示すフローチャートである。 第１の実施形態に係る遠隔運転室の制御装置による表示制御方法を示すフローチャートである。

〈第１の実施形態〉
《遠隔操作システム》
図１は、第１の実施形態に係る遠隔操作システムの構成を示す概略図である。
遠隔操作システム１は、遠隔操作により動作する作業車両１００と、遠隔操作を行うための遠隔運転室５００とを備える。作業車両１００は、作業現場（例えば、鉱山、採石場）において稼動する。遠隔運転室５００は、作業車両１００から離れた地点（例えば、市街、作業現場内）に設けられる。作業車両１００と遠隔運転室５００とは、インターネットなどの通信手段を介して接続される。
遠隔操作システム１は、遠隔運転室５００を用いて作業車両１００を操作するためのシステムである。

作業車両１００は、遠隔運転室５００から受信する操作信号に従って動作する。
遠隔運転室５００は、オペレータの操作により、作業車両１００の操作を受け付け、操作信号を作業車両１００に送信する。

《作業車両》
図２は、第１の実施形態に係る作業車両の外観図である。
第１の実施形態に係る作業車両１００は、油圧ショベルである。なお、他の実施形態に係る作業車両１００は、油圧ショベル以外の例えばホイールローダ、ブルドーザ等の作業車両であってもよい。
作業車両１００は、油圧により駆動する作業機１３０と、作業機１３０を支持する旋回体１２０と、旋回体１２０を支持する走行体１１０とを備える。

作業機１３０は、ブーム１３１と、アーム１３２と、バケット１３３とを備える。作業機１３０は、ブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６が伸縮することにより駆動する。ブーム１３１、アーム１３２、およびバケット１３３には、それぞれブーム角度センサ１３７、アーム角度センサ１３８、およびバケット角度センサ１３９が装着されている。

ブーム１３１の基端部は、旋回体１２０にピンを介して取り付けられる。
アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にピンを介して取り付けられる。ブーム１３１およびアーム１３２は、バケット１３３を支持する支持部材の一例である。
バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための容器とを備える。バケット１３３の基端部は、アーム１３２の先端部にピンを介して取り付けられる。バケット１３３は、作業具の一例である。他の実施形態においては、作業具としてバケット１３３以外のアタッチメントが用いられてもよい。

ブームシリンダ１３４は、例えばブーム１３１を駆動させるための油圧シリンダである。ブームシリンダ１３４の基端部は、旋回体１２０に取り付けられる。ブームシリンダ１３４の先端部は、ブーム１３１に取り付けられる。
アームシリンダ１３５は、例えばアーム１３２を駆動するための油圧シリンダである。アームシリンダ１３５の基端部は、ブーム１３１に取り付けられる。アームシリンダ１３５の先端部は、アーム１３２に取り付けられる。
バケットシリンダ１３６は、例えばバケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３６の基端部は、ブーム１３１に取り付けられる。バケットシリンダ１３６の先端部は、バケット１３３に取り付けられる。

ブーム角度センサ１３７は、ブーム１３１に取り付けられ、ブーム１３１の傾斜角を検出する。
アーム角度センサ１３８は、アーム１３２に取り付けられ、アーム１３２の傾斜角を検出する。
バケット角度センサ１３９は、バケット１３３に取り付けられ、バケット１３３の傾斜角を検出する。
第１の実施形態に係るブーム角度センサ１３７、アーム角度センサ１３８、およびバケット角度センサ１３９は、地平面に対する傾斜角を検出する。なお、他の実施形態に係る角度センサはこれに限られず、他の基準面に対する傾斜角を検出してもよい。例えば、他の実施形態においては、角度センサは、ブーム１３１、アーム１３２およびバケット１３３の基端部に設けられたポテンショメータによって相対回転角を検出してもよいし、ブームシリンダ１３４、アームシリンダ１３５およびバケットシリンダ１３６のシリンダ長さを計測し、シリンダ長さを角度に変換することで傾斜角を検出するものであってもよい。

旋回体１２０には、運転室１２１が備えられる。運転室１２１は、作業機１３０の左側に設けられる。運転室１２１には、前方カメラ１２２が設けられる。前方カメラ１２２は、運転室１２１内の前部かつ上部に設置される。前方カメラ１２２は、運転室１２１前部のフロントガラスを通して、運転室１２１の前方を撮像する。ここで、「前方」とは、旋回体１２０において作業機１３０が装着された方向をいい、「後方」は「前方」の逆方向をいう。「側方」とは、前後方向に対して交差する方向（左右方向）をいう。前方カメラ１２２の例としては、例えばＣＣＤ（Charge Coupled Device）センサ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いた撮像装置が挙げられる。他の実施形態に係る作業車両１００は、遠隔操作または無人運転により駆動する場合に、運転室１２１を備えなくてもよい。この場合、前方カメラ１２２は、旋回体１２０の前部に、前方を向くように設置される。
図３は、第１の実施形態に係る作業車両の撮像装置が撮像する画像の例である。前方カメラ１２２は、作業機１３０および運転室１２１の前方の作業対象が写る範囲を撮像する。つまり、前方カメラ１２２が撮像する画像Ｐ１には、図３に示すように、作業機１３０および運転室１２１の前方の作業対象が写る。また、運転室１２１が作業機１３０の左側に設けられるため、画像Ｐ１の右側部分には、ブーム１３１の一部が写りこんでいる。なお、他の実施形態に係る作業車両１００の作業機１３０は、運転室１２１の右側に搭載されていてもよい。この場合、ブーム１３１の一部は、画像Ｐ１の左側部分に写りこむ。作業機１３０は、例えば掘削作業中に画像Ｐ１に写りこむ。

作業車両１００は、前方カメラ１２２、バケットカメラ１２３、複数の周辺監視カメラ１２４、位置方位演算器１２５、傾斜計測器１２６、油圧装置１２７、制御装置１２８を備える。

バケットカメラ１２３は、アーム１３２の前面に設けられ、バケット１３３の内部を撮像する。
複数の周辺監視カメラ１２４は、それぞれ旋回体１２０の周面に設けられ、作業車両１００の近傍を撮像する。各周辺監視カメラ１２４は、隣り合う周辺監視カメラ１２４の撮像範囲を互いにオーバーラップするように配置されている。これにより、作業車両１００の全周を同時に撮影することができる。周辺監視カメラ１２４は、例えば、旋回体１２０の前部、左前部、右前部、左後部、右後部、後部、およびカウンターウェイトの下部にそれぞれ設けられる。

位置方位演算器１２５は、旋回体１２０の位置および旋回体１２０が向く方位を演算する。位置方位演算器１２５は、ＧＮＳＳを構成する人工衛星から測位信号を受信する２つの受信器を備える。２つの受信器は、それぞれ旋回体１２０の異なる位置に設置される。位置方位演算器１２５は、受信器が受信した測位信号に基づいて、現場座標系における旋回体１２０の代表点（ショベル座標系の原点）の位置を検出する。
位置方位演算器１２５は、２つの受信器が受信した各測位信号を用いて、一方の受信器の設置位置に対する他方の受信器の設置位置の関係として、旋回体１２０の向く方位を演算する。
なお、他の実施形態においては、位置方位演算器１２５は、ロータリーエンコーダやＩＭＵの計測値に基づいて旋回体１２０が向く方位を検出してもよい。なお、他の実施形態に係る作業車両１００は位置方位演算器１２５を備えなくてもよい。

傾斜計測器１２６は、旋回体１２０の加速度および角速度を計測し、計測結果に基づいて旋回体１２０の姿勢（例えば、ロール角、ピッチ角、ヨー角）を検出する。傾斜計測器１２６は、例えば旋回体１２０の下面に設置される。傾斜計測器１２６は、例えば、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を用いることができる。傾斜計測器１２６は、加速度および角速度によらずに傾斜角を検出する傾斜計であってもよい。また、他の実施形態に係る作業車両１００は傾斜計測器１２６を備えなくてもよい。

油圧装置１２７は、作動油タンク、油圧ポンプ、および流量制御弁を備える。油圧ポンプは、図示しないエンジンまたは電動モータの動力で駆動し、流量制御弁を介してブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６に作動油を供給する。流量制御弁はロッド状のスプールを有し、スプールの位置によってブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６に供給する作動油の流量を調整する。スプールは、制御装置１２８から受信する制御指令に基づいて駆動される。つまり、ブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６に供給される作動油の量は、制御装置１２８によって制御される。

制御装置１２８は、前方カメラ１２２、バケットカメラ１２３、および複数の周辺監視カメラ１２４が撮像した画像、旋回体１２０の旋回速度、位置、方位および傾斜角、ブーム１３１、ならびにアーム１３２およびバケット１３３の傾斜角の情報を、遠隔運転室５００に送信する。以下、作業車両１００が備える各種センサやカメラによって取得され、制御装置１２８が送信する情報を、車体情報ともいう。
制御装置１２８は、遠隔運転室５００から操作信号を受信する。制御装置１２８は、受信した操作信号に基づいて、作業機１３０、旋回体１２０、または走行体１１０を駆動させる。

《遠隔運転室》
遠隔運転室５００は、運転席５１０、第１表示装置５２０、第２表示装置５３０、操作装置５４０、制御装置５５０を備える。
第１表示装置５２０は、運転席５１０の前方に配置される。第１表示装置５２０は、オペレータが運転席５１０に座ったときにオペレータの眼前に位置する。第１表示装置５２０は、図１に示すように、並べられた中央ディスプレイ５２１、左ディスプレイ５２２、右ディスプレイ５２３、上ディスプレイ５２４、下ディスプレイ５２５によって構成される。左ディスプレイ５２２は中央ディスプレイ５２１の左側に設けられる。右ディスプレイ５２３は中央ディスプレイ５２１の右側に設けられる。上ディスプレイ５２４は中央ディスプレイ５２１の上側に設けられる。下ディスプレイ５２５は中央ディスプレイ５２１の下側に設けられる。
なお、他の実施形態においては、第１表示装置５２０を構成するディスプレイの数はこれに限られない。例えば、第１表示装置５２０は１つのディスプレイによって構成されてもよい。また、第１表示装置５２０は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。

第２表示装置５３０は、運転席５１０の斜め前方に配置される。第２表示装置５３０には、作業車両１００から送信された車体情報（例えば燃料残量、エンジン水温）や、作業車両１００の異常の通知などが表示される。なお、他の実施形態においては、第２表示装置５３０の位置は、オペレータによって視認が可能な位置であれば、運転席５１０の斜め前方でなくてもよい。また他の実施形態に係る遠隔運転室５００は第２表示装置５３０を備えなくてもよい。遠隔運転室５００が第２表示装置５３０を備えない場合、上記の車体情報および通知が第１表示装置５２０に表示されてよい。

操作装置５４０は、運転席５１０の近傍に配置される。操作装置５４０は、オペレータが運転席５１０に座ったときにオペレータの操作可能な範囲内に位置する。操作装置５４０は、例えば電気式レバーおよび電気式ペダルを備える。オペレータが電気式レバーおよび電気式ペダルを操作することで、操作装置５４０は、ブーム１３１、アーム１３２およびバケット１３３の操作信号、旋回体１２０の旋回操作信号、ならびに走行体１１０の走行操作信号を出力する。

制御装置５５０は、作業車両１００から受信した画像および車体情報を、第１表示装置５２０に表示させる。つまり、制御装置５５０は、表示制御システムの一例である。表示制御システムは、制御装置５５０を含む遠隔運転室５００であってもよいし、さらに作業車両１００の制御装置１２８および前方カメラ１２２を含むものであってもよい。また制御装置５５０は、操作装置５４０に入力された操作信号を作業車両１００に送信する。

《遠隔運転室の制御装置》
図４は、第１の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。
制御装置５５０は、プロセッサ９１０、メインメモリ９３０、ストレージ９５０、インタフェース９７０を備えるコンピュータである。ストレージ９５０は、プログラムを記憶する。プロセッサ９１０は、プログラムをストレージ９５０から読み出してメインメモリ９３０に展開し、プログラムに従った処理を実行する。

ストレージ９５０の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９５０は、制御装置５５０の共通通信線に直接接続された内部メディアであってもよいし、インタフェース９７０を介して制御装置５５０に接続される外部メディアであってもよい。ストレージ９５０は、一時的でない有形の記憶媒体である。なお、他の実施形態においては、制御装置５５０は、上記構成に加えて、または上記構成に代えて、ＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）またはＡＳＩＣ（Application Specific Integrated Circuit）などのセミカスタムＬＳＩを備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ９１０によって実現される機能の一部または全部が当該集積回路によって実現されてよい。

プロセッサ９１０は、プログラムの実行により、車体情報受信部９１１、画像切出部９１２、姿勢画像生成部９１３、俯瞰画像生成部９１４、表示画像生成部９１５、レイアウト受付部９１６、表示制御部９１７、操作信号送信部９１８を備える。また、プロセッサ９１０は、プログラムの実行により、メインメモリ９３０にレイアウト記憶部９３１の記憶領域を確保する。

車体情報受信部９１１は、例えば前方カメラ１２２、バケットカメラ１２３、および複数の周辺監視カメラ１２４が撮像した画像、旋回体１２０の旋回速度、位置、方位および傾斜角、ならびにブーム１３１、アーム１３２およびバケット１３３の傾斜角の情報を、作業車両１００から受信する。つまり、車体情報受信部９１１は、撮像画像取得部の一例である。なお、バケットカメラ１２３が撮像した画像を、以下バケット内部画像Ｐ４という。
バケット内部画像Ｐ４は、作業車両１００に乗っているときに得られる感覚の欠乏を補足するための補足画像の一例である。つまり、車体情報受信部９１１は、補足画像取得部の一例である。オペレータは、実際に作業車両１００に乗ることで、作業車両１００の微小な傾きの変化を感じ取ることができる。作業車両１００を操作し、バケット１３３に土砂が収容されると、土砂の重みによって作業車両１００が前方に傾く。これにより、オペレータは、バケット１３３に収容された土砂の量を推測することができる。他方、遠隔操作の場合、オペレータは、作業車両１００の傾きの変化を感じ取ることができない。一方で、オペレータは、バケット内部画像Ｐ４を視認することで、バケット１３３に収容された土砂の量を推測することができる。つまり、バケット内部画像Ｐ４により、作業車両１００の微小な傾きの変化の欠乏を補足することができる。

図５は、前方カメラが撮像した画像Ｐ１から切り出される画像の例を示す図である。
画像切出部９１２は、車体情報受信部９１１が受信した前方カメラ１２２が撮像した画像Ｐ１から、中央ディスプレイ５２１に表示させるための中央画像Ｐ１１、左ディスプレイ５２２に表示させるための左画像Ｐ１２、右ディスプレイ５２３に表示させるための右画像Ｐ１３、上ディスプレイ５２４に表示させるための上画像Ｐ１４、下ディスプレイ５２５に表示させるための下画像Ｐ１５をそれぞれ切り出す。中央画像Ｐ１１は、画像Ｐ１のうち運転室の前方の景色が写る領域に相当する。左画像Ｐ１２は、画像Ｐ１のうち運転室の左方の景色が写る領域に相当する。右画像Ｐ１３は、画像Ｐ１のうち運転室の右方の景色が写る領域に相当する。すなわち、左画像Ｐ１２および右画像P１３には、運転室の側方の景色が写る。上画像Ｐ１４は、画像Ｐ１のうち運転室の上方の景色が写る領域に相当する。下画像Ｐ１５は、画像Ｐ１のうち運転室の下方の景色が写る領域に相当する。図５に示すように、右画像Ｐ１３の多くの部分には、ブーム１３１の基端側の側面部分が写りこんでいる。すなわち、右画像Ｐ１３の多くの部分には、作業機１３０の基端部が写りこんでいる。以下、画像において作業車両１００の一部が写りこむ領域を、「作業車両１００の一部が写り得る領域」ともいう。つまり、「作業車両１００の一部が写り得る領域」は、作業車両１００の姿勢によらず作業車両１００の一部が常に写る領域に限られない。「作業車両１００の一部が写り得る領域」は、表示画像のうち作業車両１００の一部が実際に写っている領域、表示画像のうち作業中の過半の期間において作業車両１００の一部が写る領域、表示画像のうち作業車両１００の一部が写る可能性がある領域、複数のディスプレイの表示画像のうち過半の領域に作業車両が写っている表示画像、を含み、そのいずれか１つに該当するものであればよい。作業車両１００の一部が写る可能性がある領域は、作業機１３０の可動領域に対応する領域、例えば掘削作業中に作業車両１００の一部が写る可能性がある領域を含む。なお、第１表示装置５２０が１つのディスプレイから構成される場合、画像切出部９１２は画像の切り出しを行わなくてもよい。なお、中央画像Ｐ１１、上画像P１４および下画像P１５は、画像Ｐ１のうち作業具であるバケット１３３が写り得る領域である。他方、左画像P１２および右画像P１３は、バケット１３３が写り得る領域とは異なる領域である。また、左画像P１２および右画像P１３は、支持部材であるブーム１３１の側面が写り得る領域である。

図６は、作業車両１００の姿勢画像の例を示す図である。
姿勢画像生成部９１３は、車体情報受信部９１１が受信したブーム１３１、アーム１３２およびバケット１３３の傾斜角の情報に基づいて、作業機１３０の現在の姿勢を表す姿勢画像Ｐ２を生成する。姿勢画像Ｐ２は、作業車両１００の側面を描く作業車両画像Ｐ２１と、長さの目安となるグリッドＰ２２とを含む。姿勢画像Ｐ２において、旋回体１２０を表すの旋回体画像Ｐ２１ａは固定位置に描画される。姿勢画像生成部９１３は、ブーム１３１を表すブーム画像Ｐ２１ｂを、ブーム１３１の傾斜角だけ傾けて、旋回体画像Ｐ２１ａのピンの位置に基端部が位置するように描画する。姿勢画像生成部９１３は、アーム１３２を表すアーム画像Ｐ２１ｃを、アーム１３２の傾斜角だけ傾けて、ブーム画像Ｐ２１ｂのピンの位置に基端部が位置するように描画する。姿勢画像生成部９１３は、バケット１３３を表すバケット画像Ｐ２１ｄを、バケット１３３の傾斜角だけ傾けて、アーム画像Ｐ２１ｃのピンの位置に基端部が位置するように描画する。旋回体画像Ｐ２１ａ、ブーム画像Ｐ２１ｂ、アーム画像Ｐ２１ｃ、およびバケット画像Ｐ２１ｄは、例えば予めストレージ９５０に記憶されていてよい。なお、第１の実施形態に係る姿勢画像Ｐ２において旋回体画像Ｐ２１ａは固定位置に描画されるが、他の実施形態においては、傾斜計測器１２６の計測値に基づいて旋回体画像Ｐ２１ａを傾けてもよい。
姿勢画像Ｐ２は、作業車両１００に乗っているときに得られる感覚の欠乏を補足するための補足画像の一例である。姿勢画像生成部９１３は、姿勢画像Ｐ２を生成することで、姿勢画像Ｐ２を取得する。つまり、姿勢画像生成部９１３は、補足画像取得部の一例である。なお、本明細書において「取得する」とは、新たな値を得ることである。例えば、「取得する」は、値を受信すること、値の入力を受け付けること、記憶装置から値を読み出すこと、ある値から他の値を算出すること、値を生成することを含む。
オペレータは、実際に作業車両１００に乗ることで、作業車両１００の前方の視界の奥行きを認識することができる。作業機１３０は、作業車両１００の前方の視界に映るため、オペレータは、作業機１３０の奥行きを認識することで、作業機１３０の位置および姿勢を推測することができる。他方、奥行きの情報は、前方カメラ１２２が撮像する画像において抜け落ちる。そのため、遠隔操作の場合、オペレータは、作業機１３０の奥行きを認識することができない。一方で、オペレータは、姿勢画像Ｐ２を視認することで、作業機１３０の位置および姿勢を認識することができる。つまり、姿勢画像Ｐ２により、奥行きの情報の欠乏を補足することができる。なお、他の実施形態に係る姿勢画像には、グリッドＰ２２が含まれなくてもよい。

図７は、周辺画像の例を示す図である。
俯瞰画像生成部９１４は、車体情報受信部９１１が受信した複数の周辺監視カメラ１２４が撮像した画像に基づいて、図７に示す俯瞰画像Ｐ３を生成する。例えば、俯瞰画像生成部９１４は、旋回体１２０の前部、左前部、右前部、左後部、右後部、および後部にそれぞれ設けられた周辺監視カメラ１２４が撮像した画像に基づいて俯瞰画像Ｐ３を生成する。俯瞰画像生成部９１４は、周辺監視カメラ１２４の配置に基づいてあらかじめ定められた変形式に基づいて、周辺監視カメラ１２４が撮像した画像を変形して部分俯瞰画像Ｐ３１を生成し、これを俯瞰画像Ｐ３のあらかじめ定められた位置に配置する。部分俯瞰画像Ｐ３１は、俯瞰画像Ｐ３の一部分を構成する上面視の画像である。そして、俯瞰画像生成部９１４は、俯瞰画像Ｐ３の中心に、作業車両１００の上面を描く作業車両画像Ｐ３２を描画する。
俯瞰画像Ｐ３は、作業車両１００に乗っているときに得られる感覚の欠乏を補足するための補足画像の一例である。つまり、俯瞰画像生成部９１４は、補足画像取得部の一例である。オペレータは、実際に作業車両１００に乗っている場合、運転席５１０の側面に設けられた窓またはミラーから、作業車両１００の周辺の様子を認識することができる。他方、遠隔操作の場合、第１表示装置５２０に表示される画像において、オペレータが姿勢を変えても表示される範囲は変わらない。例えば、オペレータが窓の外を覗き込んだときの視界は、第１表示装置５２０に表示される画像によって再現することができない。そのため、オペレータは、作業車両１００の周囲の様子を認識することが困難である。一方で、オペレータは、俯瞰画像Ｐ３を視認することで、作業機１３０の周囲の様子を認識することができる。なお、他の実施形態においては、俯瞰画像Ｐ３に代えて、周辺監視カメラ１２４が撮像した画像、または固定カメラによって撮像された画像を補足画像として用いてもよい。

図８は、第１の実施形態に係る表示装置に表示される表示画像の例を示す図である。
表示画像生成部９１５は、レイアウト記憶部９３１が記憶するレイアウト情報に従って、姿勢画像Ｐ２、俯瞰画像Ｐ３、およびバケット内部画像Ｐ４を、画像切出部９１２が切り出した右画像Ｐ１３の配置領域Ｒに配置することで、表示用右画像Ｐ１３ａを生成する。配置領域Ｒは、右画像Ｐ１３において、ブーム１３１を含む作業車両１００の一部が写り得る領域である。図８に示す例においては、配置領域Ｒは、作業機１３０の可動領域に対応する領域Ｒ１および旋回体１２０の一部が常に写る領域Ｒ２に重なる領域である。レイアウト情報は、配置領域Ｒにおける複数の補足画像のレイアウトを示す情報である。例えば、レイアウト情報は、複数の補足画像の配置順を指定する情報であってもよいし、複数の補足情報それぞれの配置座標を指定する情報であってもよい。

レイアウト受付部９１６は、図示しないタブレット装置等を介したオペレータの操作により、レイアウト情報の入力または変更を受け付ける。

表示制御部９１７は、中央ディスプレイ５２１に中央画像Ｐ１１を表示させる。左ディスプレイ５２２に左画像Ｐ１２を表示させる。制御装置５５０は、右ディスプレイ５２３に表示用右画像Ｐ１３ａを表示させる。制御装置５５０は、上ディスプレイ５２４に上画像Ｐ１４を表示させる。制御装置５５０は、下ディスプレイ５２５に下画像Ｐ１５を表示させる。つまり、表示制御部９１７は、第２表示装置５３０が表示する車体情報とは別個に、第１表示装置５２０の配置領域に補足画像を表示させる。

操作信号送信部９１８は、オペレータによる操作装置５４０の操作に基づいて操作信号を生成し、作業車両１００に送信する。

《遠隔運転室の表示制御方法》
図９は、第１の実施形態に係る遠隔運転室の制御装置によるレイアウト情報の設定方法を示すフローチャートである。
作業車両１００の遠隔操作を行う前に、オペレータは、予め図示しないタブレット端末等を操作し、右ディスプレイ５２３の配置領域Ｒにおける補足情報のレイアウトを入力しておく。制御装置５５０のレイアウト受付部９１６は、レイアウト情報の入力を受け付け（ステップＳ０１）、入力されたレイアウト情報をメインメモリ９３０に記憶させる（ステップＳ０２）。なお、他の実施形態においては補足情報のレイアウトが固定されていてもよい。この場合、制御装置５５０はレイアウト受付部９１６を備えなくてよく、図９の処理を行わなくてよい。

図１０は、第１の実施形態に係る遠隔運転室の制御装置による表示制御方法を示すフローチャートである。作業車両１００の遠隔操作が開始されると、制御装置５５０は、以下に示す表示制御を所定の周期で実行する。
車体情報受信部９１１は、作業車両１００の制御装置１２８から車体情報を受信する（ステップＳ１１）。次に、画像切出部９１２は、受信した車体情報のうち前方カメラ１２２が撮像した画像Ｐ１から、中央画像Ｐ１１、左画像Ｐ１２、右画像Ｐ１３、上画像Ｐ１４、および下画像Ｐ１５をそれぞれ切り出す（ステップＳ１２）。

姿勢画像生成部９１３は、受信した車体情報のうちブーム１３１、アーム１３２およびバケット１３３の傾斜角に基づいて、作業機１３０の現在の姿勢を表す姿勢画像Ｐ２を生成する（ステップＳ１３）。俯瞰画像生成部９１４は、受信した車体情報のうち複数の周辺監視カメラ１２４が撮像した画像に基づいて俯瞰画像Ｐ３を生成する（ステップＳ１４）。

表示画像生成部９１５は、レイアウト記憶部９３１が記憶するレイアウト情報に従って、姿勢画像Ｐ２、俯瞰画像Ｐ３、およびバケット内部画像Ｐ４を、右画像Ｐ１３の配置領域Ｒに配置することで、表示用右画像Ｐ１３ａを生成する（ステップＳ１５）。表示制御部９１７は、中央画像Ｐ１１、左画像Ｐ１２、表示用右画像Ｐ１３ａ、上画像Ｐ１４、および下画像Ｐ１５を、第１表示装置５２０に表示させるための表示信号を生成し、第１表示装置５２０に送信する（ステップＳ１６）。

《作用・効果》
このように、第１の実施形態に係る遠隔運転室５００の制御装置５５０は、前方カメラ１２２による撮像画像のうち、作業車両１００の一部が写り得る領域に、作業車両１００に乗っているときに得られる感覚の欠乏を補足するための補足画像を配置した表示画像を、第１表示装置５２０に表示させる。これによりオペレータは、遠隔操作であるためにオペレータが得ることができない感覚の欠乏を補足して作業車両１００の遠隔操作を行うことができる。例えば、オペレータは、補足画像であるバケット内部画像Ｐ４を視認することで、遠隔操作のために作業車両１００の傾きの変化を感じ取れなくても、バケット１３３に収容された土砂の量を推測することができる。またオペレータは、姿勢画像Ｐ２を視認することで、遠隔操作のために作業機１３０の奥行きを認識できなくても、作業機１３０の位置および姿勢を認識することができる。またオペレータは、俯瞰画像Ｐ３を視認することで、姿勢を変えて窓の外を覗き込めなくても、作業機１３０の周囲の様子を認識することができる。また、配置画像が作業車両１００の一部が写り得る領域に表示されることで、表示画像において作業対象を隠すことなく配置画像を表示することができる。これにより、配置画像がオペレータによる作業車両１００の操作の邪魔になることを防ぐことができる。

特に、第１の実施形態においては、配置画像は表示画像において作業機１３０が写り得る領域に配置される。運転室１２１と作業機１３０とが並んでいる場合、作業機１３０は、前方カメラ１２２の撮像画像に写りこみ、作業対象を遮ることとなる。したがって、制御装置５５０は表示画像のうち作業機１３０が写り得る領域を配置領域Ｒとすることで、補足画像を配置するための広い配置領域Ｒを確保することができる。なお、他の実施形態においてはこれに限られず、例えば上画像Ｐ１４における運転室１２１の天井が写りこんでいる領域など、作業車両１００の他の部分が写り得る領域を配置領域Ｒとしてもよい。

また、第１の実施形態に係る制御装置５５０は、複数の補足画像のレイアウトの指示を受け付け、当該指示に従って補足画像を並べて配置する。これにより、オペレータは、第１表示装置５２０に好みのレイアウトで補足情報を表示させることができる。例えば、オペレータは、確認する頻度が高い補足画像を、視線と同程度の高さの位置に配置し、確認する頻度が低い補足画像を、視線から離れた位置に配置することができる。なお、他の実施形態においてはこれに限られず、固定のレイアウトに基づいて複数の補足画像が配置されてもよい。この場合、設計上のオペレータの視線高さと同じ高さの位置に少なくとも１つの補足画像が配置されることが好ましい。

〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述した実施形態では、補足画像として、姿勢画像Ｐ２、俯瞰画像Ｐ３およびバケット内部画像Ｐ４を表示するが、これに限られない。例えば、他の実施形態においては、作業車両１００の傾きを表す傾斜計、作業車両１００のバケット１３３の刃先が作業対象に接触したか否かを表す刃先インジケータなど、他の補足画像を表示してもよい。なお、傾斜計は、作業車両１００の傾きの感覚の欠乏を補足する補足画像である。刃先インジケータは、バケット１３３が作業対象に接触したときに作業車両１００にかかる衝撃の感覚の欠乏を補足する補足画像である。
また例えば、他の実施形態においては、補足画像の数は３つでなくてもよい。例えば、他の実施形態に係る補足画像は１つまたは２つでもよく、４つ以上であってもよい。また複数の補足画像のうち一部の補足画像のみが表示されるものであってもよい。

また、上述した実施形態では、作業車両１００から受信した車両情報に基づいて制御装置５５０が補足画像を生成するが、これに限られない。例えば、他の実施形態においては、作業車両１００の制御装置１２８や、外部のサーバ装置が補足画像を生成し、制御装置５５０がこれを受信して表示するものであってもよい。

また、上述した実施形態では、遠隔操作システム１に表示制御装置が実装されるが、これに限られない。例えば、他の実施形態においては、作業車両１００の外部であって作業車両１００を視認できる位置において無線通信により作業車両１００を操作するラジオコントロールシステムに表示制御装置を適用してもよい。ラジオコントロールシステムに表示制御装置を適用する場合、制御装置が表示装置を備えていてもよい。

上記態様によれば、表示制御システムは、遠隔操作であるがゆえにオペレータが得ることができない感覚を補足することができる。

１…遠隔操作システム １００…作業車両 １３０…作業機 １２０…旋回体 １１０…走行体 １２２…前方カメラ １２３…バケットカメラ １２４…周辺監視カメラ １２５…位置方位演算器 １２６…傾斜計測器 １２７…油圧装置 １２８…制御装置 ５００…遠隔運転室 ５１０…運転席 ５２０…第１表示装置 ５３０…第２表示装置 ５４０…操作装置 ５５０…制御装置 ９１１…車体情報受信部 ９１２…画像切出部 ９１３…姿勢画像生成部 ９１４…俯瞰画像生成部 ９１５…表示画像生成部 ９１６…レイアウト受付部 ９１７…表示制御部 ９１８…操作信号送信部 ９２１…レイアウト記憶部

Claims (4)

1. 作業具と前記作業具を支持する支持部材を有する作業機を備える作業車両の外部に設けられる表示装置を制御する表示制御システムであって、
   前記作業車両に搭載された撮像装置が撮像した撮像画像を取得する撮像画像取得部と、
   前記作業車両に係る情報を表し、前記作業車両に乗っているときに得られる感覚の欠乏を補足するための画像である補足画像を取得する補足画像取得部と、
   前記撮像画像のうち、前記支持部材の側面が写り得る領域に前記補足画像を配置した表示画像を生成する表示画像生成部と、
   前記表示画像を表示させる表示信号を、前記表示装置に出力する表示制御部と
   を備え、
   前記支持部材は、前記作業車両に対して上下方向に回転可能に支持され、前記撮像装置の側方であって前記撮像装置の撮像範囲に含まれる位置に設けられる
   表示制御システム。
2. 前記支持部材は、アームおよび前記アームを支持するブームを備え、
   前記表示画像生成部は、前記撮像画像のうち前記ブームの側面が写り得る領域に前記補足画像を配置した前記表示画像を生成する
   請求項１に記載の表示制御システム。
3. 複数の補足画像のレイアウトの指示を受け付けるレイアウト受付部を備え、
   前記表示画像生成部は、前記レイアウトの指示に従って、前記撮像画像の前記領域に複数の補足画像を並べて配置する
   請求項１または請求項２に記載の表示制御システム。
4. 作業具と前記作業具を支持する支持部材を有する作業機を備える作業車両を遠隔操作するための遠隔運転室の表示装置の表示制御方法であって、
   前記作業車両に搭載された撮像装置が撮像した撮像画像を取得するステップと、
   前記作業車両に係る情報を表し、前記作業車両に乗っているときに得られる感覚の欠乏を補足するための画像である補足画像を取得するステップと、
   前記撮像画像のうち、前記支持部材の側面が写り得る領域に前記補足画像を配置した表示画像を生成するステップと、
   前記表示画像を前記表示装置に表示するステップと
   を備え、
   前記支持部材は、前記作業車両に対して上下方向に回転可能に支持され、前記撮像装置の側方であって前記撮像装置の撮像範囲に含まれる位置に設けられる
   表示制御方法。

Images