JP7260502B2 - 情報提示装置、遠隔操作システムおよびプログラム - Google Patents

Description

本発明は、情報提示装置、遠隔操作システムおよびプログラムに関する。

本技術分野の背景技術として、下記特許文献１には、「無人移動体の傾きの変化をオペレータが好適に検知することを可能とする」、「遠隔操縦システム１は、無人移動体２と、オペレータにより操作され当該無人移動体２との間で無線通信を行い当該無人移動体２の動作を制御する遠隔操縦装置３と、を含み、無人移動体２の傾斜角を検出する傾斜角検出部１９と、傾斜角検出部１９からの無人移動体の傾斜角に係る情報に基づいて、出力量を算出する出力量算出部３３と、オペレータに対して、出力量算出部３３により算出された前記出力量に対応する力触覚を提示する力触覚提示部としての操作部３１と、を有する。」と記載されている（要約参照）。

特開２０１８－１４２１２３号公報

ところで、上述した技術においては、触覚刺激によって提示できる情報項目の種類が少ないという問題があった。
この発明は上述した事情に鑑みてなされたものであり、触覚刺激によって多種類の情報項目を提示できる情報提示装置、遠隔操作システムおよびプログラムを提供することを目的とする。

上記課題を解決するため本発明の情報提示装置は、ユーザによる操作デバイスに対する操作状態を表す操作情報と、前記操作情報に応じて遠隔操作される操作対象機器の稼働状態を表す機器稼働情報と、に基づいて、優先度が定められている複数の情報項目の中から、発生している一または複数の機器状況に対応する前記情報項目を推定する機器状況推定部と、推定した前記情報項目の中から、最も優先度の高い前記情報項目を、前記ユーザに報知すべき報知項目として選択する報知項目設定部と、前記報知項目を表す報知項目情報を出力する報知項目通知部と、前記報知項目に対応して、前記ユーザに付与する触覚刺激の内容を表す触覚提示情報を出力する触覚提示情報出力部と、を備えることを特徴とする。

本発明によれば、触覚刺激によって多種類の情報項目を提示できる。

好適な第１実施形態による遠隔操作システムのブロック図である。 第１実施形態における情報項目の例を示す図である。 操作デバイスおよび触覚提示デバイスの模式図である。 情報提示ルーチンのフローチャートである。

［実施形態の前提］
近年、掘削機等の建設機械の運転において人手不足が深刻化しており、遠隔地から建設機械を遠隔操作する需要がある。しかし、建設機械を遠隔操作すると、搭乗感覚の欠如から、作業性が悪くなる可能性が高まる。これは、遠隔操作室等においては、工事現場に居れば身体で感じられていたような傾斜感や遠心力等の様々な身体知覚情報が欠落するためである。また、同様の理由により、遠隔操作を行うユーザは、搭乗感覚の欠如によって、不適切な操作を引き起こし易くなり、これによって建設機械を転倒させ、あるいは機体にダメージを与える可能性が高まる。

その対策として、欠落してしまう身体知覚情報を、メーターや数値等によって、ユーザに視覚的に通知することが考えられる。しかし、これでは、視覚的な情報が多量になり、読み取りのための認知的コストが高まり、ユーザにおいて疲労や作業効率の低下を引きおこす可能性がある。そこで、後述する好適な実施形態は、遠隔操作によって抜け落ちる情報を、触覚刺激を用いて通知することで、情報を直観的に知覚可能にし、視覚の認知負荷を下げようとするものである。

特に、遠隔操作において、実搭乗に対して欠落する搭乗感覚を高めるために、ユーザに触覚フィードバックを行うことが有効であり、これによってユーザの自己主体感が向上できると考えられる。そして、同じ触覚刺激であっても、状況によって異なった感覚想起（意味づけ）を行うことによって、多種類の情報を提示できると考えられる。

ここで、様々な情報を同時並行的に触覚フィードバックによってユーザに伝達すると、ユーザの混乱を招く虞が高くなる。そこで、同時並行的に伝達する情報の数を少なくしながら、触覚フィードバックによって伝達する情報を切り替えることが好ましいと考えられる。これにより、ユーザの視覚の認知負荷を下げつつ、ユーザに多種類の情報を提示することができ、作業性や安全性を向上させることができる。

［第１実施形態］
〈実施形態の構成〉
図１は、好適な第１実施形態による遠隔操作システム１０のブロック図である。
図１において、遠隔操作システム１０は、制御装置１６（情報提示装置、コンピュータ）と、ユーザ状態検出部２２と、情報出力部２４と、操作デバイス２６と、触覚提示デバイス２８と、操作対象機器３０と、機器情報検出部４２と、環境状態検出部４４と、を備えている。そして、制御装置１６と、他の構成要素とは、ネットワーク１８を介して双方向通信する。

操作対象機器３０は、工事現場１４に配置され遠隔操作される機器であり、図示の例ではパワーショベルである。そして、図示の例において、操作対象機器３０は、バケット３２と、アーム３４と、車体３６と、履帯３８と、を備えている。バケット３２およびアーム３４は油圧駆動され、工事現場１４の土砂等を掘削する。また、操作対象機器３０は、履帯３８を駆動することによって自走する。そして、車体３６は、アーム３４およびバケット３２とともに、履帯３８に対して旋回可能である。

操作対象機器３０は、制御装置１６から操作情報Ｄ３０を受信し、この操作情報Ｄ３０に基づいて各部を駆動する。機器情報検出部４２は、操作対象機器３０における各種情報を検出し、検出結果を機器稼働情報Ｄ４２として制御装置１６に出力する。また、環境状態検出部４４は、工事現場１４における各種環境を計測し、その結果を環境情報Ｄ４４として制御装置１６に出力する。

より具体的には、機器情報検出部４２は、履帯３８の傾斜角である機体傾斜角を計測するチルトセンサ、バケット３２の積載量を計測する積載量センサ、バケット３２およびアーム３４の各部の油圧を計測する油圧センサ、操作対象機器３０の振動量を計測する振動センサ、バケット先端距離センサ、操作対象機器３０の重心位置を計測する重心位置センサ、履帯３８の走行速度センサ、車体３６の旋回速度センサ等を備えている（何れも図示略）。なお、バケット先端距離センサは、「バケット先端距離」を計測するものであり、これは、「バケット３２の先端位置から地盤等の対象物までの距離」を意味する。

また、環境状態検出部４４は、周囲の人を検出する人感センサ、周囲音を収集する周囲音センサ、運転席からバケット３２の方向を撮像する運転席カメラ、操作対象機器３０の周辺映像を撮像する周辺カメラ、地面の状態（地面の凹凸状態、地面のぬかるみの状態、土壌硬度地盤の材質等）を計測する土壌センサ、風速計、雨量計等を備えている（何れも図示略）。

また、ユーザ状態検出部２２、情報出力部２４、操作デバイス２６および触覚提示デバイス２８は、遠隔操作室１２に設けられている。操作デバイス２６は、操作対象機器３０を遠隔操作するためのデバイスであり、ユーザ５２に操作される。そして、操作デバイス２６に対する操作内容は、操作情報Ｄ２６として制御装置１６に供給される。制御装置１６は、この操作情報Ｄ２６に基づいて、上述した操作情報Ｄ３０を生成し、操作対象機器３０に供給する。但し、制御装置１６は、操作情報Ｄ２６をそのまま操作情報Ｄ３０として、操作対象機器３０に供給してもよい。

触覚提示デバイス２８は、制御装置１６から受信した触覚提示情報Ｄ２８に基づいてユーザに触覚フィードバックを行う。例えば、触覚提示デバイス２８は、操作デバイス２６を振動させることによって、ユーザに触覚刺激を伝達する。そして、本実施形態においては、触覚提示デバイス２８は、複数の情報項目のうち何れか一項目に対するデータ値を、触覚フィードバックによってユーザに報知する。ここで、触覚刺激に係る量を「刺激量」と呼ぶ。例えば、刺激量は、触覚提示デバイス２８の振動振幅とすることができる。また、触覚提示デバイス２８が所定の周期で振動のオン／オフを繰り返す場合には、「振動がオン状態になる期間の長さ」を刺激量とすることができる。

図２は、本実施形態における情報項目の例を示す図である。
図示の例では、Ａ１～Ａ３，Ｂ４～Ｂ７，Ｃ８，Ｃ９の合計９種類の情報項目の中から、ユーザに報知すべき情報項目（以下、報知項目と呼ぶ）が選択される。また、各情報項目には、対応する「機器状況（操作対象機器３０等の状況）」が存在する。そして、その機器状況が生じた場合に、当該情報項目が報知項目として選択される可能性が生じる。例えば、情報項目Ａ１（周辺物距離）は、「周辺物接近」（何らかの物体が操作対象機器３０に接近している）という機器状況に対応するため、その機器状況が生じた際に、報知項目として選択され得る。また、情報項目Ａ３（遠心力）は、「遠心力大」（バケット３２に生じる遠心力が大きい）という機器状況が生じた際に、報知項目として選択され得る。

これら情報項目には、ユーザ５２に報知する優先度が定められており、図２において上の欄ほど優先度が高くなっている。すなわち、情報項目Ａ１～Ａ３は、主として安全確保に関する項目であるため、最も優先度が最も高い。また、情報項目Ｂ４～Ｂ７は、主として作業の効率化や機体保全に関する項目であるから、次に優先度が高い項目になる。また、情報項目Ｃ８，Ｃ９は、主として操作ミスの防止に関する項目であり、優先度が最も低くなっている。なお、図２に示す各情報項目および機器状況の詳細については後述する。

図１に戻り、情報出力部２４は、ディスプレイ２４ａと、スピーカ２４ｂと、を備えている。ディスプレイ２４ａはフラットパネルディスプレイであっても、ヘッドマウントディスプレイであってもよい。そして、情報出力部２４は、制御装置１６から報知項目情報Ｄ２４と、一般情報Ｄ２５と、を受信し、これらの内容を映像および音声によってユーザ５２に報知する。

ここで、報知項目情報Ｄ２４とは、上述した報知項目をユーザ５２に通知するものである。また、一般情報Ｄ２５とは、報知項目情報Ｄ２４以外の各種情報である。例えば、一般情報Ｄ２５は、操作対象機器３０の運転席に設けられた運転席カメラ（図示せず）で撮影した動画、操作対象機器３０の周辺映像、操作対象機器３０の周辺音声、操作対象機器３０における各種状態を示すデータ等を含んでいる。

ユーザ状態検出部２２は、操作情報Ｄ２６以外のユーザ５２の状態を計測し、その結果をユーザ状態情報Ｄ２２として出力する。ユーザ状態検出部２２は、ユーザ５２を撮影するユーザ撮影カメラ（図示せず）、該ユーザ撮影カメラの画像に基づいて、ユーザ５２の視線を検出する視線検出装置、ユーザ５２の体温を検出する体温計ユーザ５２の心拍数を検出する心拍計等を備えている。

制御装置１６は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）等、一般的なコンピュータとしてのハードウエアを備えており、ＳＳＤには、ＯＳ（Operating System）、アプリケーションプログラム、各種データ等が格納されている。ＯＳおよびアプリケーションプログラムは、ＲＡＭに展開され、ＣＰＵによって実行される。図１において、制御装置１６の内部は、アプリケーションプログラム等によって実現される機能を、ブロックとして示している。

すなわち、制御装置１６は、入出力部６０と、データベース部７０と、演算部８０と、を備えている。入出力部６０は、遠隔操作室１２および工事現場１４における各機器との間で、ネットワーク１８を介して、上述した各種情報Ｄ２２～Ｄ４４を送受信する。そして、データベース部７０は、関係データベース７２と、作業関連データベース７４と、作業者個人データベース７６と、を備えている。関係データベース７２は、制御装置１６に入力される情報Ｄ２２，Ｄ２６，Ｄ４２，Ｄ４４と、推定される「機器状況」（図２参照）との関係を規定する。

また、作業関連データベース７４は、工事現場１４における作業工程や、施工図データ等を格納する。また、作業者個人データベース７６は、ユーザ５２の種々の個人情報を記憶する。特に、作業者個人データベース７６は、ユーザ５２の好みに応じて、刺激量を補正する個人補正情報を記憶する。例えば、ユーザ５２がベテランである場合は、刺激量を弱くすることが考えられる。

また、演算部８０は、機器状況推定部８２と、報知項目設定部８４（報知項目設定手段）と、報知項目通知部８６（報知項目通知手段）と、映像遅延計測部８８と、触覚提示情報出力部９０（触覚提示情報出力手段）と、を備えている。そして、触覚提示情報出力部９０は、データ値算出部９２と、刺激量算出部９４と、を備えている。機器状況推定部８２は、制御装置１６に入力される情報Ｄ２２，Ｄ２６，Ｄ４２，Ｄ４４と、関係データベース７２の内容と、に基づいて、発生している一または複数の機器状況（図２参照）と、対応する情報項目とを推定する。さらに、機器状況推定部８２は、推定した情報項目の中から、最も優先度の高い情報項目（図２の中で最も上の欄にある情報項目）である最優先項目を特定する。

報知項目設定部８４は、機器状況推定部８２が特定した最優先項目を、ユーザにデータを報知しようとする報知項目として設定するか否かを決定する。また、報知項目通知部８６は、設定された報知項目を、報知項目情報Ｄ２４として、入出力部６０およびネットワーク１８を介して情報出力部２４に出力する。

触覚提示情報出力部９０におけるデータ値算出部９２は、最優先項目に対するデータ値を算出する。また、触覚提示情報出力部９０における刺激量算出部９４は、報知項目に対応するデータ値と、作業者個人データベース７６と、に基づいて、ユーザ５２に対応した刺激量を算出する。そして、触覚提示情報出力部９０は、算出した刺激量を指定する触覚提示情報Ｄ２８を、入出力部６０およびネットワーク１８を介して触覚提示デバイス２８に出力する。

図３は、操作デバイス２６および触覚提示デバイス２８の模式図である。
操作デバイス２６は、左作業レバー２６ＷＬと、右作業レバー２６ＷＲと、左走行レバー２６ＤＬと、右走行レバー２６ＤＲと、を備えている。左右の作業レバー２６ＷＬ，２６ＷＲは、バケット３２、アーム３４の操作および車体３６の旋回操作に用いられる。また、左右の走行レバー２６ＤＬ，２６ＤＲは、履帯３８の走行操作に用いられる。従って、操作情報Ｄ２６（図１参照）には、バケット３２の操作、アーム３４の操作、車体３６の旋回操作、および履帯３８の走行操作に関する情報が含まれる。

また、触覚提示デバイス２８は、４個の振動部２８ＷＲ，２８ＷＬ，２８ＤＲ，２８ＤＬを備えている。振動部２８ＷＲ，２８ＷＬ，２８ＤＲ，２８ＤＬは、それぞれ、各レバー２６ＷＲ，２６ＷＬ，２６ＤＲ，２６ＤＬの下部に装着され、触覚提示情報Ｄ２８に基づいて振動すると、対応するレバーが振動する。これにより、振動したレバーをユーザ５２が把持していると、ユーザ５２の手に、振動による触覚刺激が伝達される。触覚提示情報Ｄ２８が触覚提示デバイス２８に供給された際、全ての振動部２８ＷＲ，２８ＷＬ，２８ＤＲ，２８ＤＬを振動させてもよく、報知項目情報Ｄ２４に対応した一部の振動部を振動させてもよい。

〈情報項目および機器状況の詳細〉
ここで、再び図２を参照して、各々の情報項目および機器状況の詳細を説明する。
・Ａ１（周辺物距離）：
情報項目Ａ１（周辺物距離）に対応する機器状況は、「周辺物接近」である。これは、操作対象機器３０の周辺（例えば操作対象機器３０から所定距離内）に、「人」や「物」等の周辺物が存在することを意味する。そして、情報項目Ａ１におけるデータ値の意味は、操作対象機器３０から周辺物までの「距離」になる。仮に、ユーザが操作対象機器３０の周辺物に気づかなかった場合、接触事故が生じる虞がある。そのため、ユーザ５２は、操作対象機器３０と周辺物との距離を把握しておくことが好ましい。周辺物および操作対象機器３０から周辺物までの距離の検出は、環境情報Ｄ４４に含まれる人感センサ値または周辺カメラ映像によって検出するとよい。

また、ユーザ状態情報Ｄ２２に含まれるユーザ５２の視線情報によって、ユーザ５２が周辺物（より正確にはディスプレイ２４ａに表示された周辺物の像）を注視しているか否かを判別できる。そこで、ユーザ５２が周辺物を注視していない場合に、この情報項目Ａ１を有効化してもよい。そして、触覚提示情報Ｄ２８で指定される刺激量は、この「距離」が長くなるほど減少させるとよい。例えば、刺激量を「距離」に反比例させるとよい。

・Ａ２（機体傾斜指数）：
情報項目Ａ２の「機体傾斜指数」とは、例えば機体傾斜角である。そして、これに対応する機器状況は、「機体傾斜指数大」である。これは、機体傾斜指数が所定値よりも大きい状況で、操作対象機器３０が走行を続けていることを意味する。そして、情報項目Ａ２におけるデータ値の意味は、操作対象機器３０の機体傾斜指数である。操作対象機器３０が走行している場合には、機体傾斜指数が変化するため、ユーザ５２がその変化を見落とすと、操作対象機器３０が転倒する可能性が生じる。このため、操作対象機器３０の走行中は、ユーザ５２によって機体傾斜指数の変化を連続的に把握できることが好ましい。

機体傾斜指数は、機器稼働情報Ｄ４２に含まれる機体傾斜角をそのまま適用することが考えられる。但し、機体傾斜角に対して若干の補正を施した値を機体傾斜指数として採用してもよい。例えば、工事現場１４における地面の凹凸や、ぬかるみが大きい場合、風速や雨量が大きい場合には、機体傾斜角が急激に変化することがある。そこで、環境情報Ｄ４４に含まれる地面の凹凸状態、地面のぬかるみの状態、風速、雨量等が所定値よりも大きい場合は、機体傾斜指数を、機体傾斜角よりも大きな値に補正してもよい。

また、ユーザ状態情報Ｄ２２に含まれるユーザ５２の視線情報によって、ユーザが走行レバー２６ＤＬ，２６ＤＲ等を注視していることが検出された場合にも、機体傾斜指数を機体傾斜角よりも大きくしてもよい。また、操作情報Ｄ２６によって、ユーザ５２が走行操作（走行レバー２６ＤＬ，２６ＤＲの操作）を行っている場合に、この情報項目Ａ２を有効化してもよい。そして、触覚提示情報Ｄ２８で指定される刺激量は、この機体傾斜指数が大きくなるほど増加させるとよい。例えば、刺激量を機体傾斜指数に比例させるとよい。

・Ａ３（遠心力）：
情報項目Ａ３（遠心力）に対応する機器状況は「遠心力大」である。これは、操作対象機器３０にかかる遠心力が所定値よりも大きい状況で、車体３６が旋回していることを意味する。そして、情報項目Ａ３におけるデータ値の意味は、「操作対象機器３０にかかる遠心力」である。遠心力が過大になると、操作対象機器３０を転倒させる可能性があるため、遠心力が大きい場合には、ユーザ５２が遠心力を連続的に把握できることが好ましい。

遠心力は、機器稼働情報Ｄ４２に含まれる「バケットの積載量センサ値」によって求めることができる。また、操作情報Ｄ２６によって、ユーザ５２がバケット３２の旋回操作を行っている場合に、この情報項目Ａ３を有効化してもよい。さらに、ユーザ状態情報Ｄ２２に含まれるユーザ５２の視線情報によって、ユーザが、バケット３２の移動先を注視している場合に、この情報項目Ａ３を有効化してもよい。そして、触覚提示情報Ｄ２８で指定される刺激量は、この遠心力が大きくなるほど増加させるとよい。例えば、刺激量を遠心力に比例させるとよい。

・Ｂ４（バケット積載量）：
情報項目Ｂ４（バケット積載量）に対応する機器状況は「バケット積載量大」である。これは、バケット３２の積載量が所定重量よりも大きいことを意味する。そして、情報項目Ｂ４におけるデータ値は、「バケット３２の積載量」である。バケット３２内の土砂に水が多く含まれている場合等には、バケット３２の積載量は、見た目よりも重くなる。そのため、バケット３２の積載量が大きい場合には、その大きさをユーザ５２が把握しておくことが好ましい。バケット積載量は、「バケットにおける油圧変化量」、「バケットの積載量センサ値」、環境情報Ｄ４４に含まれる「地盤計測結果」等に応じて求めることができる。そして、触覚提示情報Ｄ２８で指定される刺激量は、この積載量が大きくなるほど増加させるとよい。例えば、刺激量を積載量に比例させるとよい。

・Ｂ５（土壌硬度）：
情報項目Ｂ５に対応する機器状況は「土壌硬度大」である。これは、作業対象となる地盤の土壌硬度が所定値よりも大きいことを意味し、より詳細には、バケット３２を地面に挿入した際にバケット３２に印加される負荷が所定値よりも大きいことを意味する。そして、情報項目Ｂ５におけるデータ値は、「作業対象となる地盤の土壌硬度」である。作業対象の土壌硬度が大きいと、バケット３２を地面に挿入した際に操作対象機器３０の一部が地面から浮き上がり、操作対象機器３０が傾く。この傾きが大きいと、操作対象機器３０の転倒を招くため、ユーザは、作業対象の土壌硬度を把握しておくことが好ましい。

土壌硬度、すなわちバケット３２に印加される負荷は、機器稼働情報Ｄ４２に含まれる「バケット３２における油圧」の変化量によって求めることができる。また、バケット３２を地盤に挿入した際の、操作対象機器３０における振動量（これは機器稼働情報Ｄ４２に含まれる）や、周囲音すなわち衝撃音の大きさ（これは環境情報Ｄ４４に含まれる）によっても土壌硬度を求めることができる。さらに、環境情報Ｄ４４における「地盤の材質」（例えば、岩石の組成や、水の含有量等）によっても、間接的に土壌硬度を求めることができる。そして、触覚提示情報Ｄ２８で指定される刺激量は、土壌硬度が大きくなるほど増加させるとよい。例えば、刺激量を、土壌硬度に比例させるとよい。

・Ｂ６（バケット先端距離）：
上述のように、バケット先端距離とは、バケット３２の先端位置から地盤等の対象物までの距離である。そして、これに対応する機器状況は、「バケット先端距離小」である。これは、バケット先端距離が所定値以下であることを意味する。ここで、「対象物」は、地盤に限られず、水溜まりの底面や土中の埋没物であってもよい。そして、情報項目Ｂ６におけるデータ値は、「バケット先端距離」になる。

バケット３２が高速で地盤等の対象物に衝突すると、操作対象機器３０に無理な力が加わり、機体にダメージが生じることがある。そのため、ユーザ５２は、バケット３２が対象物に近接している場合には、バケット先端距離を把握しておくことが好ましい。バケット先端距離は、機器稼働情報Ｄ４２に含まれる「バケット先端距離センサの値」や、環境情報Ｄ４４に含まれる「バケット周辺の映像情報」によって求めることができる。そして、触覚提示情報Ｄ２８で指定される刺激量は、バケット先端距離が長くなるほど、減少させるとよい。例えば、刺激量を、バケット先端距離に反比例させるとよい。

・Ｂ７（リリーフ残距離）：
操作対象機器３０のアーム３４（図１参照）を伸ばしきった状態を「リリーフ状態」と呼ぶ。そして、「リリーフ残距離」とは、リリーフ状態におけるアーム３４の長さから、アーム３４の現状の長さを減算した結果である。情報項目Ｂ７に対応する機器状況は、「リリーフ残距離小」である。これは、リリーフ残距離が所定値以下であることを意味する。そして、情報項目Ｂ７におけるデータ値は、「リリーフ残距離」である。

操作対象機器３０がリリーフ状態であるときに、バケット３２やアーム３４に強い力が印加されると、機体にダメージが生じることがある。そのため、ユーザ５２は、アーム３４がリリーフ状態に近い場合には、リリーフ残距離を把握しておくことが好ましい。リリーフ残距離は、機器稼働情報Ｄ４２に含まれる「アーム３４の油圧」の変化量によって求めることができる。ここで、リリーフ残距離は、特に掘削操作を行っている場合に問題となる。そこで、操作情報Ｄ２６またはＤ３０において、「掘削操作」が検出された場合に情報項目Ｂ７を有効化してもよい。そして、触覚提示情報Ｄ２８で指定される刺激量は、リリーフ残距離が長くなるほど、減少させるとよい。例えば、刺激量を、リリーフ残距離に反比例させるとよい。

・Ｃ８（走行速度変化量）：
情報項目Ｃ８の走行速度変化量とは、例えば操作対象機器３０の走行速度に対する加速度の絶対値である。また、これに対応する機器状況は、「走行速度変化量大」、すなわち走行速度変化量が所定値以上であることを意味する。そして、情報項目Ｃ８におけるデータ値は、上述した走行速度変化量である。操作対象機器３０が走行状態である場合、工事現場１４の地面の状態によって、走行速度が変化する場合がある。

その際、遠隔操作室１２に在室するユーザ５２が走行速度の変化に気づかないと、事故につながる可能性がある。そこで、走行速度の変化が大きい場合には、その旨をユーザ５２に報知できれば好ましい。走行速度変化量は、機器稼働情報Ｄ４２に含まれる走行速度に基づいて求めることができる。そして、触覚提示情報Ｄ２８で指定される刺激量は、走行速度変化量が大きくなるほど、増加させるとよい。例えば、刺激量を走行速度変化量に比例させるとよい。

・Ｃ９（映像遅延時間）：
上述したように、一般情報Ｄ２５には、映像信号が含まれている。そして、情報項目Ｃ９は、ネットワーク１８における該映像信号の遅延時間である。そして、対応する機器状況（映像遅延時間・長）は、この映像遅延時間が所定時間以上であることを意味する。そして、情報項目Ｃ９におけるデータ値は、上述した映像遅延時間である。ユーザ５２が映像信号の遅延に気づいていないと、事故につながることがある。そこで、映像信号の遅延時間が大きい場合には、ユーザ５２に対して遅延時間を報知することが好ましい。映像遅延時間は、映像遅延計測部８８（図１参照）が計測する。そして、触覚提示情報Ｄ２８で指定される刺激量は、映像遅延時間が長くなるほど、増加させるとよい。例えば、刺激量を遅延時間に比例させるとよい。

〈第１実施形態の動作〉
図４は、制御装置１６において実行される情報提示ルーチンのフローチャートである。
図４において処理がステップＳ２に進むと、入出力部６０（図１参照）は、遠隔操作室１２および工事現場１４の各機器から、情報Ｄ２２，Ｄ２６，Ｄ４２，Ｄ４４を受信する。次に、処理がステップＳ４に進むと、機器状況推定部８２（図１参照）は、関係データベース７２の内容、情報Ｄ２２，Ｄ２６，Ｄ４２，Ｄ４４等に基づいて、操作対象機器３０等に発生している一または複数の機器状況および対応する情報項目（図２参照）を推定する。また、機器状況推定部８２は、ステップＳ４において複数の情報項目が推定された場合には、これら情報項目の優先度を比較し、最も優先度の高い情報項目である最優先項目を特定する。

次に、処理がステップＳ６に進むと、データ値算出部９２（図１参照）は、特定された最優先項目について、データ値を算出する。次に、処理がステップＳ８に進むと、報知項目設定部８４は、計算されたデータ値に基づいて、当該最優先項目は報知項目に設定すべき設定条件を充足しているか否かを判定する。この設定条件は、例えば、「最優先項目のデータ値が、当該最優先項目に対応する所定の閾値よりも大きい」のような条件である。

ステップＳ８において「Ｎｏ」と判定されると、処理はステップＳ２に戻る。以降は、ステップＳ８において「Ｙｅｓ」と判定されるまで、ステップＳ２～Ｓ８の動作が繰り返される。そして、ステップＳ８において「Ｙｅｓ」と判定されると、処理はステップＳ１０に進み、報知項目設定部８４は、最優先項目を報知項目に設定する。

次に、処理がステップＳ１２に進むと、報知項目設定部８４は、報知項目に変更が生じたか否かを判定する。すなわち、報知項目設定部８４は、上述したステップＳ１０が実行された際に設定された報知項目が、それ以前に設定されていた報知項目から変化したか否かを判定する。ステップＳ１２において「Ｙｅｓ」と判定されると、処理はステップＳ１４に進み、「Ｎｏ」と判定されると、処理はステップＳ１６に進む。

ステップＳ１４においては、報知項目通知部８６（図１参照）は、入出力部６０を介して、報知項目が変更された旨を通知する報知項目情報Ｄ２４を、情報出力部２４に送信する。情報出力部２４は、報知項目が変更された旨をユーザ５２に通知する。例えば変更後の報知項目が「Ａ１：周辺物距離」（図２参照）である場合には、ディスプレイ２４ａ（図１参照）に「周辺物距離」の点滅する文字列を表示することが考えられる。また、これに代えて（またはこれに加えて）、スピーカ２４ｂから、「報知項目は周辺物距離に変更されました」という音声を放音してもよい。

図４に戻り、次に処理がステップＳ１６に進むと、触覚提示情報出力部９０（図１参照）は、先にステップＳ６において算出されたデータ値と、作業者個人データベース７６の内容と、に基づいて、ユーザに与えるべき刺激量を算出する。次に、処理がステップＳ１８に進むと、触覚提示情報出力部９０は、算出した刺激量を触覚提示デバイス２８（図１参照）に通知する触覚提示情報Ｄ２８を出力する。これにより、触覚提示デバイス２８は、触覚提示情報Ｄ２８に応じた刺激量の触覚刺激をユーザ５２に伝達する。ステップＳ１８の処理が終了すると、処理はステップＳ２に戻り、上述した動作が繰り返される。

〈第１実施形態の効果〉
以上のように好適な実施形態によれば、情報提示装置（１６）は、ユーザ５２による操作デバイス２６に対する操作状態を表す操作情報Ｄ２６と、操作情報Ｄ２６に応じて遠隔操作される操作対象機器３０の稼働状態を表す機器稼働情報Ｄ４２と、に基づいて、複数の情報項目の中から、ユーザ５２に報知すべき情報項目である報知項目を選択する報知項目設定部８４と、報知項目を表す報知項目情報Ｄ２４を出力する報知項目通知部８６と、報知項目に対応して、ユーザ５２に付与する触覚刺激の内容を表す触覚提示情報Ｄ２８を出力する触覚提示情報出力部９０と、を備える。これにより、情報提示装置（１６）は、触覚刺激に対して、報知項目に応じた多種類の意味を提示できる。

また、報知項目設定部８４は、操作情報Ｄ２６と、機器稼働情報Ｄ４２と、に加えて、操作対象機器３０の周辺環境の情報である環境情報Ｄ４４に基づいて報知項目を選択すると、さらに好ましい。これにより、周辺環境に応じて、触覚刺激の意味を切り替えることができる。

また、報知項目設定部８４は、操作情報Ｄ２６と、機器稼働情報Ｄ４２と、環境情報Ｄ４４と、に加えて、操作情報Ｄ２６以外のユーザ５２の状態を表す情報であるユーザ状態情報Ｄ２２に基づいて報知項目を選択すると、さらに好ましい。これにより、例えばユーザ５２の視線や体調等に応じて、報知項目を選択することができる。

また、触覚提示情報出力部９０は、操作情報Ｄ２６、機器稼働情報Ｄ４２、操作対象機器３０の周辺環境の情報である環境情報Ｄ４４、および操作情報Ｄ２６以外のユーザ５２の状態を表す情報であるユーザ状態情報Ｄ２２からなる群から選ばれた一または複数の情報に基づいて触覚提示情報Ｄ２８を算出すると、さらに好ましい。これにより、操作情報Ｄ２６、機器稼働情報Ｄ４２、環境情報Ｄ４４または触覚提示情報Ｄ２８に基づいて、ユーザ５２に適切な触覚刺激を与えることができる。

［変形例］
本発明は上述した実施形態に限定されるものではなく、種々の変形が可能である。上述した実施形態は本発明を理解しやすく説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成に他の構成を追加してもよく、構成の一部について他の構成に置換をすることも可能である。また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、製品上で必要な全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。上記実施形態に対して可能な変形は、例えば以下のようなものである。

（１）上述した実施形態においては、複数の情報項目の中から触覚刺激によってユーザ５２にデータ値を報知する報知項目は、一項目のみ選択された。しかし、報知項目は一項目のみに限定されるわけではない。例えば、複数の報知項目を選択し、４個の振動部２８ＷＲ，２８ＷＬ，２８ＤＲ，２８ＤＬ（図３参照）をこれら複数の報知項目に割り当てることにより、複数の報知項目に対するデータ値をユーザ５２に同時に報知できる。

（２）上記実施形態における制御装置１６のハードウエアは一般的なコンピュータによって実現できるため、図４に示したフローチャート、その他上述した各種処理を実行するプログラム等を記憶媒体に格納し、または伝送路を介して頒布してもよい。

（３）また、上記実施形態においては、情報項目選択部８４は、ユーザ状態情報Ｄ２２に含まれる視線情報によって、報知項目を選択したが、ユーザ状態情報Ｄ２２に含まれる体温、心拍数等に基づいてユーザ５２の体調を判定し、ユーザ５２の体調に基づいて報知項目を選択してもよい。

（４）図４に示した処理、その他上述した各処理は、上記実施形態ではプログラムを用いたソフトウエア的な処理として説明したが、その一部または全部をＡＳＩＣ(Application Specific Integrated Circuit；特定用途向けＩＣ)、あるいはＦＰＧＡ(Field Programmable Gate Array)等を用いたハードウエア的な処理に置き換えてもよい。また、図１に示したデータベース部７０は、ネットワーク１８に接続されたクラウド（図示せず）に設けてもよい。

（５）また、上記実施形態においては、操作対象機器３０としてパワーシャベルを例示したが、操作対象機器３０はパワーシャベルに限られるものではなく、他の土木・建設機器、工業機器、自動車、鉄道車両、船舶等であってもよい。

１０ 遠隔操作システム
１６ 制御装置（情報提示装置、コンピュータ）
２４ 情報出力部
２６ 操作デバイス
２８ 触覚提示デバイス
３０ 操作対象機器
５２ ユーザ
８４ 報知項目設定部（報知項目設定手段）
８６ 報知項目通知部（報知項目通知手段）
９０ 触覚提示情報出力部（触覚提示情報出力手段）
Ｄ２２ ユーザ状態情報
Ｄ２４ 報知項目情報
Ｄ２６ 操作情報
Ｄ２８ 触覚提示情報
Ｄ４２ 機器稼働情報
Ｄ４４ 環境情報

Claims (6)

1. ユーザによる操作デバイスに対する操作状態を表す操作情報と、前記操作情報に応じて遠隔操作される操作対象機器の稼働状態を表す機器稼働情報と、に基づいて、優先度が定められている複数の情報項目の中から、発生している一または複数の機器状況に対応する前記情報項目を推定する機器状況推定部と、
   推定した前記情報項目の中から、最も優先度の高い前記情報項目を、前記ユーザに報知すべき報知項目として選択する報知項目設定部と、
   前記報知項目を表す報知項目情報を出力する報知項目通知部と、
   前記報知項目に対応して、前記ユーザに付与する触覚刺激の内容を表す触覚提示情報を出力する触覚提示情報出力部と、を備える
   ことを特徴とする情報提示装置。
2. 前記報知項目設定部は、前記操作情報と、前記機器稼働情報と、に加えて、前記操作対象機器の周辺環境の情報である環境情報に基づいて前記報知項目を選択するものであり、
   前記操作対象機器は、土砂を掘削するバケットを備えるものであり、前記機器稼働情報は、前記バケットの積載量と、前記操作対象機器の機体傾斜角と、を含む
   ことを特徴とする請求項１に記載の情報提示装置。
3. 前記報知項目設定部は、前記操作情報と、前記機器稼働情報と、前記環境情報と、に加えて、前記操作情報以外の前記ユーザの状態を表す情報であるユーザ状態情報に基づいて前記報知項目を選択するものであり、
   前記ユーザ状態情報は、前記ユーザの視線、体温または心拍数を含む
   ことを特徴とする請求項２に記載の情報提示装置。
4. 前記触覚提示情報出力部は、前記操作情報、前記機器稼働情報、前記操作対象機器の周辺環境の情報である環境情報、および前記操作情報以外の前記ユーザの状態を表す情報であるユーザ状態情報からなる群から選ばれた一または複数の情報に基づいて前記触覚提示情報を算出する
   ことを特徴とする請求項１に記載の情報提示装置。
5. ユーザによる操作デバイスに対する操作状態を表す操作情報と、前記操作情報に応じて遠隔操作される操作対象機器の稼働状態を表す機器稼働情報と、に基づいて、優先度が定められている複数の情報項目の中から、発生している一または複数の機器状況に対応する前記情報項目を推定する機器状況推定部と、
   推定した前記情報項目の中から、最も優先度の高い前記情報項目を、前記ユーザに報知すべき報知項目として選択する報知項目設定部と、
   前記報知項目を表す報知項目情報を出力する報知項目通知部と、
   前記報知項目に対応して、前記ユーザに付与する触覚刺激の内容を表す触覚提示情報を出力する触覚提示情報出力部と、を備える
   前記操作デバイスと、
   前記操作対象機器と、
   前記触覚提示情報に基づいて前記ユーザに触覚刺激を与える触覚提示デバイスと、
   前記報知項目情報に基づいて前記ユーザに前記報知項目を通知する情報出力部と、を備える
   ことを特徴とする遠隔操作システム。
6. コンピュータを、
   ユーザによる操作デバイスに対する操作状態を表す操作情報と、前記操作情報に応じて遠隔操作される操作対象機器の稼働状態を表す機器稼働情報と、に基づいて、優先度が定められている複数の情報項目の中から、発生している一または複数の機器状況に対応する前記情報項目を推定する機器状況推定手段、
   推定した前記情報項目の中から、最も優先度の高い前記情報項目を、前記ユーザに報知すべき報知項目として選択する報知項目設定手段、
   前記報知項目を表す報知項目情報を出力する報知項目通知手段、
   前記報知項目に対応して、前記ユーザに付与する触覚刺激の内容を表す触覚提示情報を出力する触覚提示情報出力手段、
   として機能させるためのプログラム。

Images