JP2021010101A - 遠隔作業支援システム - Google Patents

Abstract

【課題】複数のユーザが適切に協働できる遠隔作業支援システムを提供する。
【解決手段】作業現場Ｗ１において作業する第１のユーザ１０に装着される第１の表示装置１００と、作業現場Ｗ１に配置される周囲撮像装置２００と、所定箇所Ｃ１に設けられ、第１の表示装置１００および周囲撮像装置２００と通信可能に構成され、第２のユーザ２０によって操作される情報処理装置３００と、を備え、第１の表示装置１００は、情報処理装置３００に対して第１の映像データＶ１を送信する第１の通信部を備え、周囲撮像装置２００は、情報処理装置３００に対して第２の映像データＶ２を送信する第２の通信部を備え、情報処理装置３００は、第１および第２の映像データＶ１，Ｖ２を表示する第２の表示装置３７６，３７８と、データを入力する操作部と、操作部を介して第２のユーザ２０が入力したデータを第１の表示装置１００に送信する第３の通信部と、を備える。
【選択図】図１

Description

本発明は、遠隔作業支援システムに関する。

近年、眼鏡型のヘッドマウント ディスプレイを用いて所定のＡＲ(Argumented Reality)、ＭＲ(Mixed Reality)、またはＶＲ(Virtual Reality)情報を表示する、いわゆるウェアラブル情報表示端末等が市場に登場し始めている。また、ＡＲ、ＭＲ、ＶＲ以外にも、音声、表示、振動、温度、臭い、味、電気信号、刺激等、人の五感に訴えるインタフェースを備えたウェアラブル端末も市場に登場し始めている。これに伴い、この種のウェアラブル端末においては、ＡＲ情報表示端末等の制御や各種活用に関する手法も種々提案されている。その一例として、下記特許文献１の明細書段落０１１８、０１１９には、『使用者Ｕの行動状態が、上述したような加速度センサ等からの検出結果により、「非歩行時」であると判断されたとき、自動的に詳細モードに切り替わる。さらに図１７に示したテーブルに従って、「発信者」、「タイトル」、「発信時刻」、「Ｃｃ」、「本文」の表示フィールドから、そのアイテムが選択される。この結果、図１６の（ｂ）に示すように、詳細な文字情報が画面全体を使って表示される。』、『これに対して、使用者Ｕの行動状態が、加速度センサ等からの検出結果により、「歩行時」であると判断されたとき、自動的に要約モードに切り替わる。さらに図１７に示したテーブルに従って、「アイコン」と「発信者」の表示フィールドから、そのアイテムが選択される。この結果、使用者Ｕは、図１６の(ａ)に示すように、アイコンと発信者名のみが画面中央領域の一部を使って、しかも文字は詳細モードの時よりも大きな文字で表示される。』と記載されている。

特開２００７−１６３６３４号公報

ところで、ウェアラブル端末を産業用途や、保守用途等に適用する場合、例えば現場の作業者がウェアラブル端末を装着することになる。それと同時に、例えば遠隔地に居る管理者等がウェアラブル端末から収集したデータをネットワーク経由で取得し、作業状況を確認したい、という要望がある。しかし、ウェアラブル端末から収集したデータを管理者等に送信するのみでは、作業者および管理者等が適切に協働できない場合がある。
この発明は上述した事情に鑑みてなされたものであり、複数のユーザが適切に協働できる遠隔作業支援システムを提供することを目的とする。

上記課題を解決するため本発明の遠隔作業支援システムは、作業現場において作業する第１のユーザに装着される第１の表示装置と、前記作業現場に配置される周囲撮像装置と、所定箇所に設けられ、前記第１の表示装置および前記周囲撮像装置と通信可能に構成され、第２のユーザによって操作される情報処理装置と、を備え、前記第１の表示装置は、前記第１のユーザに対して情報を表示する第１の表示部と、前記第１の表示装置の前方を撮影し、第１の映像データを出力する第１の撮像部と、前記情報処理装置に対して前記第１の映像データを送信する第１の通信部と、を備え、前記周囲撮像装置は、前記第１の映像データの撮像範囲とは異なる撮像範囲を含む第２の映像データを出力する第２の撮像部と、前記第２の映像データに対して、必要に応じて低解像度化または高解像度化を行う送信制御部と、前記情報処理装置に対して前記第２の映像データを送信する第２の通信部と、を備え、前記情報処理装置は、前記第１および第２の映像データを表示する第２の表示装置と、データを入力する操作部と、前記操作部を介して前記第２のユーザが入力したデータを前記第１の表示装置に送信する通信部と、を備えることを特徴とする。

本発明によれば、複数のユーザが適切に協働できる。

本発明の一実施形態による遠隔作業支援システムの全体構成図である。 ウェアラブル端末の構成の一例を示すブロック図である。 周囲カメラの構成の一例を示すブロック図である。 情報処理装置の構成の一例を示すブロック図である。 作業開始手順の一例を示すシーケンス図である。 作業開始手順においてディスプレイに表示される各種画面を示す図である。 管理者２０が作業支援を行う環境を示す模式図である。 ２台のディスプレイの表示例を示す図である。 拡大表示動作の説明図である。 ２台のディスプレイの他の表示例を示す図である。 スクロール動作の説明図である。 ２台のディスプレイの他の表示例を示す図である。 各種仮想画面の例を示す図である。 低解像度化処理を行う環境を示す模式図である。 低解像度化処理ルーチンのフローチャートである。 注目箇所通知ルーチンのフローチャートである。 各種仮想画面の他の例を示す図である。 詳細注目箇所通知ルーチンのフローチャートである。 レーザーポインタによる注目箇所通知動作を示す模式図である。 サーモグラフィ画像を重畳したディスプレイの表示例を示す図である。

〈実施形態の構成〉
（全体構成）
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらは互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

図１は、本発明の一実施形態による遠隔作業支援システム１の全体構成図である。
図１において、遠隔作業支援システム１は、ウェアラブル端末１００と、周囲カメラ２００と、情報処理装置３００と、視線検出センサ４００と、測距センサ５００（姿勢検出部）と、を備えている。ここで、作業現場Ｗ１に赴いている作業者１０（第１のユーザ）は、ウェアラブル端末１００を装着して各種作業を行う。ウェアラブル端末１００は、略眼鏡状の形態を有しており、透過型ＨＭＤ（ヘッドマウントディスプレイ）や、カメラ等を備えている（図示略）。特に、ウェアラブル端末１００に装着されたカメラは、作業者１０の視点における映像を撮影する。また、周囲カメラ２００は、作業者１０の近傍に配置されている。

また、管理センタＣ１（所定箇所）は、作業現場Ｗ１から離れた遠隔地に設けられている。管理センタＣ１には、熟練者である管理者２０（第２のユーザ）が配置され、管理者２０の周囲には、上述した情報処理装置３００、視線検出センサ４００、および測距センサ５００が設置されている。

作業者１０は、作業現場Ｗ１に到着すると、顔面にウェアラブル端末１００（第１の表示装置）を装着し、周囲カメラ２００（周囲撮像装置）を任意の場所に設置する。ここで、周囲カメラ２００は、全天球カメラ、３６０度カメラ、１８０度カメラとも呼ばれているものであり、上下左右全方位の３６０度パノラマ画像・動画や半球にあたる１８０度パノラマ画像・動画を撮影するカメラを指す。周囲カメラ２００は、持ち運び可能な形態であり、作業者１０が作業現場を移動する毎に持ち運んで設置するものである。周囲カメラ２００の設置位置は、例えば作業者１０を俯瞰し、あたかも管理センタＣ１にいる管理者２０が傍に立って作業状況を見ているかのように、作業者の傍に設置するとよい。

なお、他の作業現場Ｗ２，Ｗ３においても、作業現場Ｗ１と同様に作業者１０、ウェアラブル端末１００および周囲カメラ２００が配置され（図示略）、管理者２０は、情報処理装置３００を介して、これら作業現場Ｗ１，Ｗ２，Ｗ３の状態を確認することができる。ウェアラブル端末１００、周囲カメラ２００および情報処理装置３００は、通信ネットワーク６００を介して双方向通信することが可能である。なお、通信ネットワーク６００は、ＷＡＮ（広域ネットワーク，Wide Area Network）、ＬＡＮ（Local Area Network）、４Ｇ（ＬＴＥ:Long Term Evolution）／５Ｇ等のネットワークの何れであってもよい。

例えば、情報処理装置３００は、周囲カメラ２００およびウェアラブル端末１００から供給された映像を受信し、複数の（図示の例では２台の）ディスプレイ３７６，３７８（第２の表示装置）に、これら映像をそれぞれ表示する。管理者２０は、これら映像を目視することによって、作業者１０の作業状況と現場周囲の状況を同時に把握することができる。ここで、管理者２０が高い臨場感で映像を見るために、ウェアラブル端末１００からの映像を表示するディスプレイ３７６には小中型のディスプレイを適用するとよい。また、周囲カメラ２００からの映像を表示するディスプレイ３７８には、ディスプレイ３７６よりも大型のディスプレイを適用するとよい。特に、大型のディスプレイ３７８は、フラットパネルディスプレイに限らず、全天球ディスプレイや半天球ディスプレイを適用してもよい。また、ウェアラブル端末１００からの映像を出力する小中型のディスプレイ３７６は、管理者２０の目前に設置し、その後方に大型のディスプレイ３７８を設置し、管理者２０が直感的に何れの映像であるかを判断できるようにすると好ましい。

管理センタＣ１における視線検出センサ４００および測距センサ５００は、管理者２０の各種の動作を検出する。例えば、視線検出センサ４００は、管理者２０がどのディスプレイに目視しているか、また、当該ディスプレイのどの箇所を目視しているかを検出し、ディスプレイ上の座標を取得することができる。このため、視線検出センサ４００は、赤外線カメラ、近赤外線カメラ、可視光カメラ、光源等を備えており、管理者２０の視線方向を検出する機能を有している。また、測距センサ５００は、三次元センサとも呼ばれ、ＴＯＦ（Time Of Flight）センサやステレオカメラ等を使用して、管理者２０の体や頭、手、腕等の三次元位置情報を取得する機能を備えている。測距センサ５００は、管理者２０の体や頭、手、腕等の部位と自機との距離を検出することによって、管理者２０の体や頭、手、腕等の動作を検出する。詳細は後述するが、情報処理装置３００は、測距センサ５００が検出した管理者２０に動作に基づいて、ディスプレイ上に表示している周囲カメラ２００の映像を非接触でスクロールすることができる。

クラウド３０は、サーバ機等の複数の情報処理装置とストレージとを備えている。クラウド３０は、通信ネットワーク６００に接続され、ウェアラブル端末１００や周囲カメラ２００からの映像を蓄積する他、作業者１０や管理者２０に関する情報や、各作業現場Ｗ１，Ｗ２，Ｗ３のネットワーク構成情報を蓄積する。また、クラウド３０は、ウェアラブル端末１００に搭載した各種センサや作業現場に設置された各種センサのデータを分析し、管理者２０にとって価値ある情報を変換した後、管理者２０の情報処理装置３００に送信する。例えば、クラウド３０は、ウェアラブル端末１００に搭載したバイタル計測部１６４（図２参照）で測定した作業者１０のバイタルデータを分析し、作業者１０の疲労度あるいはストレス度を数値化して、管理者２０に通知することができる。また、クラウド３０は、各作業現場Ｗ１，Ｗ２，Ｗ３の装置や端末等の管理・監視を行い、エラーが発生した場合に管理者２０に通知する。

このように、図１に示した遠隔作業支援システム１によれば、管理者２０は、小中型のディスプレイ３７６を介して、作業者１０の視点の映像を確認することができる。さらに、管理者２０は、大型のディスプレイ３７８を介して、現場周囲の映像を自分自身で操作して目視することができる。そして、あたまも管理者２０自身が作業現場Ｗ１に居るかのように視点を動かすことができるため、作業者１０を含む現場の状況を詳細に把握することができる。

（ウェアラブル端末１００）
図２は、ウェアラブル端末１００の構成の一例を示すブロック図である。なお、図示の例では、作業者１０（図１参照）の頭部に装着する表示装置に操作機能と演算処理機能が一体となっている。
図２においてウェアラブル端末１００は、通信部１０２（第１の通信部）と、電源部１０３と、光源部１０４と、制御部１１０と、操作部１３０と、センサ部１６０と、記憶部１７０と、表示部１８０と、を備えている。

通信部１０２は、制御部１１０の制御の下、通信ネットワーク６００（図１参照）を介して、クラウド３０、情報処理装置３００等との間で各種データを送受信する。さらに、通信部１０２は、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＰＷＡ（Low-Power Wide Area）、ＵＳＢ（Universal Serial Bus）等の近距離通信のインタフェースも備えている。これにより、通信部１０２に追加の入出力装置（図示せず）を接続することができ、追加の入出力装置を介して操作コマンド等を入出力することもできる。

電源部１０３は、内蔵または外付けのバッテリ等を備えており、ウェアラブル端末１００の各部に対して電源を供給する。光源部１０４は、センサ部１６０を利用する場合や、周囲環境が暗い場合等に、ウェアラブル端末１００の前方およびその周辺を照明する一または複数の光源（図示せず）を備えている。特に、光源の照射範囲が狭い場合は、複数の光源を備えることが好ましい。また、光源部１０４を、ウェアラブル端末１００の両端に設置することによって広い照射範囲を実現することができる。

ここで、操作部１３０は、入力操作部１３１と、音声入出力部１３２と、を備えている。入力操作部１３１は、作業者１０（図１参照）によって各種データが入力できるように、ボタン、タッチパネル、スイッチ、ダイヤル、外付けのマウス、キーボード等の入力デバイス（図示せず）と、デバイス制御用のドライバ（図示せず）と、を備えている。また、音声入出力部１３２は、マイク、イヤホン、スピーカ等（図示せず）を備えている。作業者１０はマイクを介して制御部１１０に音声データを入力することができ、制御部１１０は、イヤホン、スピーカ等を介して作業者１０に音声データを出力することができる。

また、センサ部１６０は、撮像部１６１（第１の撮像部）と、慣性計測部１６２と、環境計測部１６３と、バイタル計測部１６４と、を備えている。撮像部１６１は、ユーザである作業者１０の正面すなわち作業者１０の視界を撮影対象とし、４ｋ／８ｋ解像度の静止画または動画を撮影し、映像データＶ１（第１の映像データ）を出力する。

慣性計測部１６２は、加速度センサ、ジャイロセンサ、地磁気センサ、ＧＰＳ（Global Positioning System）装置等を備えている（図示せず）。これにより、慣性計測部１６２は、作業者１０の視線方向や視線位置、姿勢、現在位置等を取得し、または推定する。環境計測部１６３は、照度計、温度計、湿度計、環境マイク等を備えており（図示せず）、作業者１０の周囲環境に関する情報を取得し、または推定する。また、環境計測部１６３は、温度計等の計測結果に基づいて、サーモグラフィ画像６１２（図２０参照）を生成する。バイタル計測部１６４は、心拍計、体温計、血圧計、脈拍計、脳波計等を備えている（図示せず）。これにより、バイタル計測部１６４は、作業者１０の身体情報を取得し、作業者１０の体調や感情を推定する。

また、記憶部１７０は、認証部１７１と、スキル管理部１７２と、通信先登録部１７３と、を備えている。より具体的には、記憶部１７０は、ＲＯＭ、ＦＲＯＭ（Flash ＲＯＭ）等の不揮発性メモリを有し、ここに各種のパラメータ、プログラム等が格納されている。これらパラメータ、プログラム等によって、認証部１７１、スキル管理部１７２、通信先登録部１７３等の機能が実現されている。

認証部１７１は、ウェアラブル端末１００と情報処理装置３００またはクラウド３０との間で通信を行う際、個人認証、機器認証、サービス認証等のアクセス制限を行う。スキル管理部１７２は、作業者１０になり得る複数のユーザの氏名、所属、職種、職務経歴、経験年数、所有する資格等の静的情報を管理する。通信先登録部１７３は、通信部１０２を介して通信する端末やサービスのアドレス情報等を管理する。例えば、クラウド３０のサービスを利用する場合は、「http://（クラウド３０のＩＰアドレス）：（ポート番号）/サービスＩＤ」等のＵＲＬを設定する。なお、記憶部１７０は、ウェアラブル端末１００の外部に設けてもよい。例えば、ネットワークを介して接続されているクラウド３０に記憶部１７０を設け、ウェアラブル端末１００が必要に応じて記憶部１７０にアクセスしてもよい。

表示部１８０は、表示制御部１８２と、左表示部１８４（第１の表示部）と、右表示部１８６（第１の表示部）と、を備えている。上述したように、ウェアラブル端末１００は、眼鏡型の形態を有しており、左表示部１８４および右表示部１８６は、左右のアイグラスに対応する位置に設けられている。表示制御部１８２は、左表示部１８４および右表示部１８６に表示する画面の位置やタイミングを制御する。これにより、左表示部１８４および右表示部１８６は、透過型ＨＭＤとして機能し、作業者１０に対して仮想画面１９０を提示する。なお、図２には、１個の仮想画面１９０を示しているが、表示部１８０は、複数の仮想画面１９０を作業者１０に提示することができる。

制御部１１０は、ウェアラブル端末１００全体の制御処理、リアルタイム画像処理等を実行するものである。制御部１１０は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等、一般的なコンピュータとしてのハードウエアを備えており、ＲＯＭには、ＣＰＵによって実行される制御プログラム、ＤＳＰによって実行されるマイクロプログラムおよび各種データ等が格納されている。図２において、制御部１１０の内部は、制御プログラムおよびマイクロプログラム等によって実現される機能を、ブロックとして示している。

すなわち、制御部１１０は、送信制御部１１２と、仮想画面制御部１１４（画面制御部）と、を備えている。ここで、送信制御部１１２は、映像データＶ１を通信部１０２から送信するか否かを切り替え、また、送信する場合には、そのデータレートを設定する。また、仮想画面制御部１１４は、情報処理装置３００（図１参照）から供給されたデータを、表示部１８０を介して仮想画面１９０に表示させる。
なお、ウェアラブル端末１００は、作業者１０に装着できるものであれば、眼鏡型でなくてもよい。また、制御部１１０は、センサ部１６０や操作部１３０等と一体に構成されていてもよい。

（周囲カメラ２００）
図３は、周囲カメラ２００の構成の一例を示すブロック図である。
周囲カメラ２００は、通信部２０２（第２の通信部）と、電源部２０３と、光源部２０４と、表示部２０８と、歪曲補正・画像合成部２０９（第２の撮像部）と、制御部２１０と、操作部２５０と、センサ部２６０と、記憶部２７０と、レーザーポインタ２２２（方向表示部）と、を備えている。
ここで、通信部２０２、電源部２０３、光源部２０４、操作部２５０は、ウェアラブル端末１００（図２参照）の通信部１０２、電源部１０３、光源部１０４、操作部１３０と同様に構成されている。

センサ部２６０は、撮像部２６１，２６２（第２の撮像部）と、慣性計測部２６３と、環境計測部２６４と、を備えている。撮像部２６１，２６２は、広角レンズ（図示せず）を備えている。そして、撮像部２６１，２６２は、全周囲を対象として高解像度な上下左右の３６０°パノラマ４ｋ／８ｋ解像度の静止画または動画を撮影し、各々映像データＶＸ１，ＶＸ２を出力する。また、慣性計測部２６３および環境計測部２６４は、ウェアラブル端末１００（図２参照）の慣性計測部１６２および環境計測部１６３と同様に構成されている。

歪曲補正・画像合成部２０９は、映像データＶＸ１，ＶＸ２において発生する周辺部分の歪みを補正し、両者を合成して、静止画または動画であるパノラマ映像データＶ２（第２の映像データ）を出力する。
レーザーポインタ２２２は、作業者１０に対して特定の場所を指し示す等の目的のため、制御部２１０によって指定された座標方向に向けてレーザを照射する。なお、レーザーポインタ２２２に代えて、周囲カメラ２００の筐体表面に複数の光源（ＬＥＤ等）を配置し、該当する方向の光源を点灯するようにしてもよい。

表示部２０８は、例えばフラットパネルディスプレイであり、制御部２１０の制御の下、各種情報を表示する。
記憶部２７０は、ＲＯＭ、ＦＲＯＭ（Flash ＲＯＭ）等の不揮発性メモリを有し、ここに各種のパラメータ、プログラム等が格納されている。記憶部２７０は、通信先登録部２７２を有しており、その内容は、上述したウェアラブル端末１００（図２参照）の通信先登録部１７３と同様である。

制御部２１０は、ＣＰＵ、ＤＳＰ、ＧＰＵ、ＲＡＭ、ＲＯＭ等、一般的なコンピュータとしてのハードウエアを備えており、ＲＯＭには、ＣＰＵによって実行される制御プログラム、ＤＳＰによって実行されるマイクロプログラムおよび各種データ等が格納されている。図３において、制御部２１０の内部は、制御プログラムおよびマイクロプログラム等によって実現される機能を、ブロックとして示している。すなわち、制御部２１０は、送信制御部２１２を備えている。ここで、送信制御部２１２は、パノラマ映像データＶ２を通信部２０２から送信するか否かを切り替え、また、送信する場合には、そのデータレートを設定する。

（情報処理装置３００）
図４は、情報処理装置３００の構成の一例を示すブロック図である。
情報処理装置３００は、例えば一般的なパーソナルコンピュータやサーバ装置であり、通信部３０２（第３の通信部）と、電源部３０３と、光源部３０４と、制御部３１０と、操作部３５０と、記憶部３６０と、表示部３７０と、を備えている。また、制御部３１０には、視線検出センサ４００と、測距センサ５００と、が接続されている。視線検出センサ４００は、管理者２０（図１参照）の視線方向を表すデータを、視線方向データＧＤとして制御部３１０に供給する。また、測距センサ５００は、管理者２０の姿勢や動作を、姿勢・動作データＰＭとして制御部３１０に供給する。

ここで、通信部３０２、電源部３０３、光源部３０４、操作部３５０は、ウェアラブル端末１００（図２参照）の通信部１０２、電源部１０３、光源部１０４、操作部１３０と同様に構成されている。
表示部３７０は、上述したディスプレイ３７６，３７８と、これらディスプレイを制御する表示制御部３７２，３７４と、を備えている。
記憶部３６０は、ＲＯＭ、ＦＲＯＭ（Flash ＲＯＭ）等の不揮発性メモリを有し、ここに各種のパラメータ、プログラム等が格納されている。記憶部３６０は、認証部３６１およびスキル管理部３６２を備えており、これらの内容は、上述したウェアラブル端末１００（図２参照）の認証部１７１およびスキル管理部１７２と同様である。

制御部３１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＧＰＵ、ＳＳＤ等、一般的なコンピュータとしてのハードウエアを備えており、ＳＳＤには、ＯＳ（Operating System）、アプリケーションプログラム、各種データ等が格納されている。ＯＳおよびアプリケーションプログラムは、ＲＡＭに展開され、ＣＰＵによって実行される。図４において、制御部３１０の内部は、アプリケーションプログラム等によって実現される機能を、ブロックとして示している。

すなわち、制御部３１０は、重畳制御部３１２と、スクロール制御部３１４と、視線対応制御部３１６と、目視映像判定部３１８と、を備えている。これらにより、制御部３１０は、ウェアラブル端末１００、周囲カメラ２００、クラウド３０等から受信した映像や情報を、表示部３７０に出力する。

重畳制御部３１２は、映像データＶ１およびパノラマ映像データＶ２に対して、必要に応じて、他の情報を重畳させる。スクロール制御部３１４は、視線方向データＧＤまたは姿勢・動作データＰＭに基づいて、大型のディスプレイ３７８に表示されているパノラマ映像データＶ２を上下方向または左右方向にスクロールさせる。また、目視映像判定部３１８は、視線方向データＧＤに基づいて、管理者２０が映像データＶ１またはパノラマ映像データＶ２のうち何れを目視しているかを判定し、目視している座標位置を検出する。

また、視線対応制御部３１６は、姿勢・動作データＰＭに基づいて、管理者２０が所定の姿勢（例えば前屈みの姿勢）を取っているか否かを判定する。そして、視線対応制御部３１６は、管理者２０が所定の姿勢を取っており、かつ、所定時間以上、ほぼ一定の座標位置を注目していた場合には、映像データＶ１またはパノラマ映像データＶ２のうち、その座標位置の周囲範囲を拡大表示させる。

〈実施形態の動作〉
（作業開始手順）
図５は、作業開始手順の一例を示すシーケンス図である。また、図６は、作業開始手順においてディスプレイ３７６，３７８に表示される各種画面を示す図である。
図５において、クラウド３０が管理・監視する装置、端末の何れかでエラー発生を検知すると、情報処理装置３００は、表示部３７０を介して、管理者２０に対してエラー通知を行う（ステップＳ５０１）。例えば、情報処理装置３００は、図６に示すエラー画面６０１を、小中型のディスプレイ３７６に表示する。

管理者２０は、エラー画面６０１を操作することによって発生したエラーの詳細を確認し、対策として発生現場への作業者派遣が必要であると判断したとする。すると、管理者２０は、任意の作業者１０の携帯端末に出動要求を送信する（ステップＳ５０２）。その際、エラーの詳細と発生現場の情報も作業者１０に送信するとよい。作業者１０は、出動要求を受信し（ステップＳ５０３）、エラーの詳細と発生現場の情報を確認する。次に、作業者１０は、ウェアラブル端末１００と周囲カメラ２００（図１参照）を携えて、エラー発生現場に移動する（ステップＳ５０４）。ここで、エラー発生現場は、例えば図１に示す作業現場Ｗ１であったとする。

作業者１０は、エラー発生現場すなわち作業現場Ｗ１に到着すると、ウェアラブル端末１００を装着し、電源部１０３（図２参照）を操作してオン状態にする（ステップＳ５０５）。電源がオン状態にされたウェアラブル端末１００は、スキル管理部１７２（図２参照）に記憶されたユーザ情報（ユーザに関する情報）を取得する。また、ウェアラブル端末１００は、慣性計測部１６２から現在位置情報を取得する。次に、ウェアラブル端末１００の制御部１１０は、通信先登録部１７３に記憶されたクラウド３０のアドレス情報や、管理者２０が管理する情報処理装置３００のアドレス情報を取得し、通信部１０２を介して、情報処理装置３００にアクセスする。そして、ウェアラブル端末１００は、取得したユーザ情報と現在位置情報を送信するとともに、撮像部１６１で撮像した映像データＶ１のライブストリーミング配信を開始する。

一方、管理者２０は、情報処理装置３００を介して、ウェアラブル端末１００からの通知や映像を受信することで作業者１０の出動を検知する（ステップＳ５０６）。その際、小中型のディスプレイ３７６には、例えば、図６に示す画面６０３，６０４が表示される。次に、作業者１０は、作業現場Ｗ１の任意の場所に周囲カメラ２００を設置し、その電源部２０３（図３参照）を操作してオン状態にする（ステップＳ５０７）。電源がオン状態にされた周囲カメラ２００は、慣性計測部２６３（図３参照）から現在位置を取得する。周囲カメラ２００の制御部２１０は、通信先登録部２７２に記憶されたクラウド３０のアドレス情報や、管理者２０が管理する情報処理装置３００のアドレス情報を取得し、通信部２０２を介して、情報処理装置３００にアクセスする。

そして、周囲カメラ２００は、取得した現在位置情報を送信するとともに、パノラマ映像データＶ２のライブストリーミング配信を開始する。情報処理装置３００は、大型のディスプレイ３７８（図４参照）を介して、これらの情報を表示する。これにより、管理者２０は、ディスプレイ３７８を介して、周囲カメラ２００からの通知や映像を視認し、周囲カメラ２００が設置された旨を検知する（ステップＳ５０８）。その際、ディスプレイ３７８には、パノラマ映像データＶ２に基づいて、例えば、図６に示す画面６０５，６０６の何れかが表示される。

次に、管理者２０は、作業者１０が実行すべき手順書や図面を準備し、作業者１０のウェアラブル端末１００に送付する（ステップＳ５０９）。この際、管理者２０は、情報処理装置３００の音声入出力部３５２を介して、音声で実施内容を入力し、その音声内容をテキスト化したものを手順書としてもよい。手順書や図面を受信したウェアラブル端末１００は、表示部１８０（図２参照）によって生成される仮想画面１９０に、それらを表示する。

作業者１０は、表示された手順書や図面の内容を確認し、必要な作業準備を実行する（ステップＳ５１０）。次に、作業者１０が音声入出力部１３２を用いて、「作業開始」という音声を入力すると、その内容が通信部１０２を介して情報処理装置３００へ送信され、ディスプレイ３７６，３７８（図４参照）に表示される。管理者２０は、ディスプレイ３７６，３７８に表示された映像を見ながら、作業者１０への作業支援を開始する（ステップＳ５１１）。

（一部の拡大表示動作）
図７は、管理者２０が作業支援を行う環境を示す模式図である。図示の例では、大型のディスプレイ３７８の下方に、小中型のディスプレイ３７６が配置されている。そして、上述のように、ディスプレイ３７８には、周囲カメラ２００からのパノラマ映像データＶ２等が表示され、ディスプレイ３７６には、ウェアラブル端末１００からの映像データＶ１等が表示される。管理者２０は、これらディスプレイ３７６，３７８の映像を見ながら、作業現場Ｗ１の様子を把握することができる。

また、視線検出センサ４００はディスプレイ３７６，３７８の下方に設置され、測距センサ５００は管理者２０の側方または上方に設置される。ここで、視線検出センサ４００は、複数設置してもよく、例えばディスプレイ３７６の下方と、ディスプレイ３７８の下方とに設置してもよい。同様に、測距センサ５００も複数設置してもよく、例えば、管理者２０の側方と上方とにそれぞれ設置してもよい。
図８は、２台のディスプレイ３７６，３７８の表示例を示す図である。図示の例では、大型のディスプレイ３７８には、パノラマ映像データＶ２に基づいて、図６に示した画面６０６が表示されている。また、小中型のディスプレイ３７６には、映像データＶ１に基づいて、図６に示した画面６０４が表示されている。

図９は、拡大表示動作の説明図である。
図９に示す姿勢２２は、管理者２０の通常の姿勢である。また、姿勢２４は、管理者２０がディスプレイ３７６，３７８を前屈みで覗き込む姿勢である。管理者２０は、姿勢２２の状態でディスプレイ３７６，３７８の映像を目視している際、映像の特定部分を詳しく見たいと希望する場合がある。その場合、管理者２０は、その特定部分を前屈みで覗き込むような姿勢２４を取る。すると、測距センサ５００がその姿勢２４を検出し、情報処理装置３００の制御部３１０（図４参照）にその旨を示す姿勢・動作データＰＭを出力する。

次に、目視映像判定部３１８は、視線方向データＧＤに基づいて、管理者２０が映像データＶ１またはパノラマ映像データＶ２のうち何れを目視しているかを判定し、目視している座標位置を検出する。これにより、視線対応制御部３１６は、映像データＶ１またはパノラマ映像データＶ２のうち、その座標位置の周囲範囲を拡大表示させる。ここで、管理者２０の姿勢が元の姿勢２２（図９参照）に戻ると、測距センサ５００がその姿勢を検出し、その旨を示す姿勢・動作データＰＭを情報処理装置３００の制御部３１０に出力する。これに対して、制御部３１０は、映像データＶ１またはパノラマ映像データＶ２の表示状態を、元の状態（図８参照）に戻す。

図１０は、２台のディスプレイ３７６，３７８の他の表示例を示す図である。一例として、ディスプレイ３７６，３７８において、図８に示した画面６０４，６０６が表示されていたとする。そして、管理者２０が前屈みで覗き込むような姿勢２４（図９参照）で画面６０６の中央付近を注目していたと仮定する。すると、図１０に示すように、ディスプレイ３７８には、画面６０６の中央付近を拡大した画面６０８が表示される。なお、ディスプレイ３７６には、図８の場合と同様の画面６０４が表示されている。以上により、管理者２０の自然な動作により、映像の拡大縮小表示が可能となる。

（スクロール動作＃１）
図１１は、スクロール動作の説明図である。
図示の姿勢２２は、図７に示した管理者２０の姿勢と同様である。ここで、管理者２０が、大型のディスプレイ３７８に表示されているパノラマ映像データＶ２をスクロールしたい、と希望する場合がある。この場合、姿勢２６に示すように、管理者２０は、手または腕を、スクロール方向へ振る動作を実行する。測距センサ５００は、この動作を検出し、対応する姿勢・動作データＰＭを情報処理装置３００の制御部３１０に供給する。そして、制御部３１０におけるスクロール制御部３１４（図４参照）は、この姿勢・動作データＰＭに基づいて、管理者２０が手または腕を振っている方向に、パノラマ映像データＶ２をスクロールする。なお、パノラマ映像データＶ２をスクロールする方向は、例えば左右方向または上下方向である。

図１２は、２台のディスプレイ３７６，３７８の他の表示例を示す図である。一例として、ディスプレイ３７６，３７８において、図８に示した画面６０４，６０６が表示されていたとする。そして、図１１の姿勢２６に示すように、管理者２０が手または腕を、スクロール方向へ振る動作を実行したと仮定する。すると、図１２に示すように、ディスプレイ３７８には、画面６０６（図８参照）をスクロールした画面６１０が表示される。なお、ディスプレイ３７６には、図８の場合と同様の画面６０４が表示されている。

（スクロール動作＃２）
また、ディスプレイ３７８のパノラマ映像データＶ２をスクロールするために、別の方法を採用することもできる。それは、「管理者２０がスクロールしたい方向へ視線を所定の速度で動かす」というものである。視線検出センサ４００は、管理者２０の視線の動きを表す視線方向データＧＤを情報処理装置３００の制御部３１０（図４参照）に供給する。すると、スクロール制御部３１４は、この視線方向データＧＤに基づいて、視線が動いた方向に、パノラマ映像データＶ２をスクロールする。以上により、管理者２０の自然な動作により、非接触でパノラマ映像データＶ２をスクロールすることができる。

（作業者１０に対する情報伝達）
図１３は、各種仮想画面の例を示す図である。
管理者２０は、情報処理装置３００の操作部３５０（図４参照）を操作し、ウェアラブル端末１００に対して各種情報を送信することができる。これにより、ウェアラブル端末１００には、例えば、図１３に示すような仮想画面１００１〜１００３が表示される。仮想画面１００１は、管理者２０が特定したエラー原因を示している。また、仮想画面１００２は、管理者２０が指定した、次に作業者１０が実行すべき作業を表示している。また、仮想画面１００３は、移動先の地図を示している。

（低解像度化処理）
図１において、通信ネットワーク６００を介して情報処理装置３００に供給される映像データＶ１およびパノラマ映像データＶ２は、通常は高解像度のデータである。しかし、通信ネットワーク６００等に障害が生じ、通信状態が悪くなると、高解像度の映像データＶ１およびパノラマ映像データＶ２を伝送させると、映像が途切れる場合がある。そこで、本実施形態においては、映像データＶ１またはパノラマ映像データＶ２のうち何れかを低解像度化する処理、すなわち、データレートを下げる処理を行う。

図１４は、低解像度化処理を行う環境を示す模式図である。
図１４において、管理者２０が大型のディスプレイ３７８を目視する際、その視線の範囲を「エリアＱＡ」と呼ぶ。また、小中型のディスプレイ３７６を目視する際、その視線の範囲を「エリアＱＢ」と呼ぶ。また、ディスプレイ３７６には映像データＶ１が表示され、ディスプレイ３７８にはパノラマ映像データＶ２が表示されていることとする。目視映像判定部３１８（図４参照）は、視線検出センサ４００の視線方向データＧＤによって、管理者２０の視線方向がエリアＱＡ，ＱＢの何れに属するかを判定する。

図１５は、制御部３１０において実行される低解像度化処理ルーチンのフローチャートである。
図において処理がステップＳ１１０１に進むと、目視映像判定部３１８（図４参照）は、視線検出センサ４００からの視線方向データＧＤを取得する。次に、処理がステップＳ１１０２に進むと、目視映像判定部３１８は、管理者２０が見ている範囲がエリアＱＡ，ＱＢのうち何れであるかを判定する。次に、処理がステップＳ１１０３に進むと、目視映像判定部３１８は、管理者２０が、エリアＱＡ，ＱＢのうち何れか一方を所定時間注視し続けているか否か（視線位置が停滞しているか否か）を判定する。

ステップＳ１１０３において「Ｎｏ」と判定されると、処理はステップＳ１１０１に戻り、上述した動作が繰り返される。一方、ステップＳ１１０３において「Ｙｅｓ」と判定されると、処理はステップＳ１１０４に進み、目視映像判定部３１８は、注視範囲はエリアＱＡ（すなわちパノラマ映像データＶ２）であるか否かを判定する。ここで「Ｙｅｓ」と判定されると、処理はステップＳ１１０５に進む。ステップＳ１１０５においては、目視映像判定部３１８は、ウェアラブル端末１００に対して、低解像度化を要求する信号を送信する。

この信号をウェアラブル端末１００が受信すると、ウェアラブル端末１００の送信制御部１１２（図２参照）は、映像データＶ１のデータレートを下げ、低解像度化する。例えば、元々の解像度が「４ｋ／３０ｆｐｓ」であったものを、「ハイビジョン／１５ｆｐｓ」に低解像度化する。これにより、以降は、低解像度化された映像データＶ１が小中型のディスプレイ３７６に表示されるようになる。一方、注視範囲がエリアＱＢ（すなわち映像データＶ１）であった場合、ステップＳ１１０４において「Ｎｏ」と判定され、処理はステップＳ１１０６に進む。

ステップＳ１１０６においては、目視映像判定部３１８は、周囲カメラ２００に対して、低解像度化を要求する信号を送信する。この信号を周囲カメラ２００が受信すると、周囲カメラ２００の送信制御部２１２は、パノラマ映像データＶ２のデータレートを下げ、低解像度化する。これにより、以降は、低解像度化されたパノラマ映像データＶ２が、大型のディスプレイ３７８に表示されるようになる。

以上のように、本実施形態によれば、映像データＶ１またはパノラマ映像データＶ２のうち、管理者２０が注視している映像を高画質化状態に保持し、注視していない映像は低画質化することで、通信ネットワーク６００上のデータ量を削減することができる。なお、通信環境がさらに悪化した場合、送信制御部１１２，２１２は、映像データＶ１またはパノラマ映像データＶ２の送信を停止させてもよい。

（注目箇所通知処理＃１）
次に、作業現場Ｗ１の作業者１０が、管理者２０の注目箇所を通知する処理を説明する。
図１６は、注目箇所通知ルーチンのフローチャートである。図１６においてステップＳ１２０１，Ｓ１２０２，Ｓ１２０３の処理は、図１５におけるステップＳ１１０１，Ｓ１１０２，Ｓ１１０３と同様である。すなわち、ステップＳ１２０３において「Ｙｅｓ」と判定される場合とは、管理者２０が、エリアＱＡ，ＱＢのうち何れか一方を所定時間注視し続けていた場合である。ステップＳ１２０３において「Ｙｅｓ」と判定されると、処理はステップＳ１２０４に進み、ウェアラブル端末１００に対して、管理者２０が見ている範囲を通知する。これにより、本ルーチンの処理が終了する。

図１７は、各種仮想画面の他の例を示す図である。
上述したステップＳ１２０４による通知をウェアラブル端末１００が受信すると、ウェアラブル端末１００には、例えば、図１７に示すような仮想画面１２０５，１２０６が表示される。
これにより、作業者１０は管理者２０が映像データＶ１またはパノラマ映像データＶ２のうち何れの画像を注目しているかを把握することができるため、間違いや状況変化に気付き易くなる。

（注目箇所通知処理＃２）
図１８は、詳細注目箇所通知ルーチンのフローチャートである。
本ルーチンは、管理者２０がパノラマ映像データＶ２を注目している場合に、作業者１０がそのさらに詳細な視線方向を把握できるようにしたものである。図１８において、処理がステップＳ１３０１に進むと、目視映像判定部３１８（図４参照）は、視線検出センサ４００からの視線方向データＧＤを取得する。次に、処理がステップＳ１３０２に進むと、目視映像判定部３１８は、管理者２０が見ている範囲がエリアＱＡであるか否かを判定する。ここで、「Ｎｏ」と判定されると、処理がステップＳ１３０１に戻る。

一方、ステップＳ１３０２において「Ｙｅｓ」と判定されると、処理はステップＳ１３０３に進む。ここでは、目視映像判定部３１８は、管理者２０が、エリアＱＡを所定時間注視し続けているか否かを判定する。ここで「Ｎｏ」と判定されると、処理はステップＳ１３０１に戻る。一方、「Ｙｅｓ」と判定されると、処理はステップＳ１３０４に進み、目視映像判定部３１８は、周囲カメラ２００に対して、視線方向の座標位置を通知する。すなわち、目視映像判定部３１８は、管理者２０の視線位置が３６０度パノラマ画像であるパノラマ映像データＶ２の何れの位置に該当するかを判定し、その座標位置を周囲カメラ２００に対して通知する。以上により、本ルーチンの処理は終了する。

一方、周囲カメラ２００の制御部２１０（図３参照）は、上述した座標位置を受信すると、この座標位置に対してレーザを照射するように、レーザーポインタ２２２を制御する。
図１９は、レーザーポインタ２２２による注目箇所通知動作を示す模式図である。図示のように、レーザーポインタ２２２が、管理者２０の注目箇所にレーザ光を照射することにより、作業者１０は、管理者２０の注目箇所を容易に把握できる。これにより、作業者１０は、間違いや状況変化に気付き易くなり、管理者２０が注視している部分を作業対象として正確に把握することができる。

なお、上述した処理では、レーザーポインタ２２２によって管理者２０の注目箇所を表示したが、ウェアラブル端末１００において注目箇所を通知してもよい。すなわち、大型のディスプレイ３７８において管理者２０が注視している画像部分を切り出し、その画像部分をウェアラブル端末１００に送信し、表示部１８０に表示させてもよい。

（サーモグラフィ表示処理）
上述したように、ウェアラブル端末１００の環境計測部１６３（図２参照）は、撮像部１６１の視野に映る対象のサーモグラフィ画像を生成する。管理者２０が小中型のディスプレイ３７６（図４参照）においてウェアラブル端末１００からの映像データＶ１を目視していたとする。ここで、管理者２０が操作部３５０において「サーモグラフィ表示」を指定する所定の操作を行うと、その旨が通信部３０２を介してウェアラブル端末１００に通知される。

すると、それ以降、ウェアラブル端末１００は、映像データＶ１とともに、サーモグラフィ画像を情報処理装置３００に送信する。情報処理装置３００が映像データＶ１とサーモグラフィ画像とを受信すると、重畳制御部３１２は両者を重畳してディスプレイ３７６に表示させる。

図２０は、サーモグラフィ画像を重畳したディスプレイ３７６の表示例を示す図である。図示の例において、ディスプレイ３７６には、図１２に示したものと同様の画面６０４に加えて、サーモグラフィ画像６１２が重畳されて表示されている。なお、図示の例においてサーモグラフィ画像６１２はディスプレイ３７６の中央部に表示されているが、重畳制御部３１２は、管理者２０の指令に基づいて、サーモグラフィ画像６１２の表示位置を任意に調節することができる。

以上のように、本実施形態によれば、ウェアラブル端末１００の環境計測部１６３を用いて作業現場Ｗ１のサーモグラフィ画像を取得することができ、作業者１０のみならず、管理者２０も現場対象を可視化することができるため、問題の早期発見が可能になる。

〈実施形態の効果〉
以上のように本実施形態の遠隔作業支援システム（１）は、第１の表示装置（１００）は、第１のユーザ（１０）に対して情報を表示する第１の表示部（１８４，１８６）と、第１の表示装置（１００）の前方を撮影し、第１の映像データ（Ｖ１）を出力する第１の撮像部（１６１）と、情報処理装置（３００）に対して第１の映像データ（Ｖ１）を送信する第１の通信部（１０２）と、を備え、
周囲撮像装置（２００）は、第１の映像データ（Ｖ１）の撮像範囲とは異なる撮像範囲を含む第２の映像データ（Ｖ２）を出力する第２の撮像部（２０９，２６１，２６２）と、第２の映像データ（Ｖ２）に対して、必要に応じて低解像度化または高解像度化を行う送信制御部（２０１）と、情報処理装置（３００）に対して第２の映像データ（Ｖ２）を送信する第２の通信部（２０２）と、を備え、
情報処理装置（３００）は、第１および第２の映像データ（Ｖ１，Ｖ２）を表示する第２の表示装置（３７６，３７８）と、データを入力する操作部（３５０）と、操作部（３５０）を介して第２のユーザ（２０）が入力したデータを第１の表示装置（１００）に送信する第３の通信部（３０２）と、を備える。
これにより、第１および第２のユーザ（１０，２０）が適切に協働できる。

また、遠隔作業支援システム（１）は、第２のユーザ（２０）の視線を検出する視線検出センサ（４００）と、第２の表示装置（３７６，３７８）に対して、第２の映像データ（Ｖ２）のうち視線に対応する箇所を拡大表示させる視線対応制御部（３１６）と、をさらに備える。
これにより、第２のユーザ（２０）が、視線を動かす事によって、所望の箇所を拡大表示させることができる。

また、遠隔作業支援システム（１）は、第２のユーザ（２０）の視線が所定状態である場合に、第２の表示装置（３７６，３７８）に表示された第２の映像データ（Ｖ２）を、左右方向または上下方向にスクロールさせるスクロール制御部（３１４）をさらに備える。
これにより、第２のユーザ（２０）は、視線を所定状態にすることによって、第２の映像データ（Ｖ２）をスクロールさせることができる。

また、遠隔作業支援システム（１）は、第２のユーザ（２０）の姿勢を検出する姿勢検出部（５００）をさらに備え、視線対応制御部（３１６）は、姿勢検出部（５００）が第２のユーザ（２０）の所定の姿勢を検出した場合に、第２の表示装置（３７６，３７８）に対して、第２の映像データ（Ｖ２）のうち視線に対応する箇所を拡大表示させる。
これにより、第２のユーザ（２０）は、所定の姿勢を取ると、視線に対応する箇所を拡大表示させることができる。

また、スクロール制御部（３１４）は、姿勢検出部（５００）が、第２のユーザ（２０）の所定の運動状態を検出すると、第２の表示装置（３７６，３７８）に表示された第２の映像データ（Ｖ２）を、左右方向または上下方向にスクロールさせる機能をさらに備える。
これにより、第２のユーザ（２０）は、所定の運動を行うことによって、第２の映像データ（Ｖ２）をスクロールさせることができる。

また、遠隔作業支援システム（１）は、第２のユーザ（２０）の視線を検出する視線検出センサ（４００）と、検出した視線に基づいて、第２のユーザ（２０）が第１および第２の映像データ（Ｖ１，Ｖ２）のうち何れを目視しているか判定する目視映像判定部（３１８）と、目視映像判定部（３１８）の判定結果に基づいて、第１または第２の映像データ（Ｖ１，Ｖ２）のデータレートを制御し、または送信を停止させる送信制御部（１１２，２１２）と、をさらに備える。
これにより、例えば、通信環境が悪化した場合に、第１または第２の映像データ（Ｖ１，Ｖ２）のデータレートを下げ、または送信を停止させ、通信を続行させることができる。

また、遠隔作業支援システム（１）は、目視映像判定部（３１８）の判定結果を第１の表示部（１８４，１８６）を介して第１のユーザ（１０）に通知する画面制御部（１１４）をさらに備える。
これにより、第１のユーザ（１０）は、第２のユーザ（２０）が着目している箇所を容易に把握することができる。

また、遠隔作業支援システム（１）は、周囲撮像装置（２００）に装着され、座標位置に対応する方向を表示する方向表示部（２２２）をさらに備える。
これにより、第１のユーザ（１０）は、方向表示部（２２２）の表示によって、第２のユーザ（２０）が着目している箇所を容易に把握することができる。

〈変形例〉
本発明は上述した実施形態に限定されるものではなく、種々の変形が可能である。上述した実施形態は本発明を理解しやすく説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成に他の構成を追加してもよく、構成の一部について他の構成に置換をすることも可能である。また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、製品上で必要な全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。上記実施形態に対して可能な変形は、例えば以下のようなものである。

（１）上記実施形態においては、「姿勢検出部」の具体例として測距センサ５００を適用した例を説明した。しかし、管理者２０の姿勢や動きを検出できるものであれば、それを測距センサ５００に代えて適用することができる。例えば、管理者２０の動画を撮影して管理者２０の姿勢を検出するモーションキャプチャシステムを適用することができる。また、管理者２０に、各部の関節の曲げ角度を検出するセンサを装着し、これによって管理者２０の姿勢や動きを検出してもよい。

（２）上記実施形態における情報処理装置３００のハードウエアは一般的なコンピュータによって実現できるため、図１５，図１６，図１８に示したフローチャート、その他上述した各種処理を実行するプログラム等を記憶媒体に格納し、または伝送路を介して頒布してもよい。

（３）図１５，図１６，図１８に示した処理、その他上述した各処理は、上記実施形態ではプログラムを用いたソフトウエア的な処理として説明したが、その一部または全部をＡＳＩＣ(Application Specific Integrated Circuit；特定用途向けＩＣ)、あるいはＦＰＧＡ(Field Programmable Gate Array)等を用いたハードウエア的な処理に置き換えてもよい。

１０ 作業者（第１のユーザ）
２０ 管理者（第２のユーザ）
１００ ウェアラブル端末（第１の表示装置）
１０２ 通信部（第１の通信部）
１１２ 送信制御部
１１４ 仮想画面制御部（画面制御部）
１６１ 撮像部（第１の撮像部）
１８４ 左表示部（第１の表示部）
１８６ 右表示部（第１の表示部）
２００ 周囲カメラ（周囲撮像装置）
２０２ 通信部（第２の通信部）
２０９ 歪曲補正・画像合成部（第２の撮像部）
２１２ 送信制御部
２２２ レーザーポインタ（方向表示部）
２６１，２６２ 撮像部（第２の撮像部）
３００ 情報処理装置
３０２ 通信部（第３の通信部）
３１４ スクロール制御部
３１６ 視線対応制御部
３１８ 目視映像判定部
３５０ 操作部
３７６，３７８ ディスプレイ（第２の表示装置）
４００ 視線検出センサ
５００ 測距センサ（姿勢検出部）
Ｃ１ 管理センタ（所定箇所）
Ｖ１ 映像データ（第１の映像データ）
Ｖ２ パノラマ映像データ（第２の映像データ）
Ｗ１ 作業現場

Claims (8)

1. 作業現場において作業する第１のユーザに装着される第１の表示装置と、
   前記作業現場に配置される周囲撮像装置と、
   所定箇所に設けられ、前記第１の表示装置および前記周囲撮像装置と通信可能に構成され、第２のユーザによって操作される情報処理装置と、を備え、
   前記第１の表示装置は、
   前記第１のユーザに対して情報を表示する第１の表示部と、
   前記第１の表示装置の前方を撮影し、第１の映像データを出力する第１の撮像部と、
   前記情報処理装置に対して前記第１の映像データを送信する第１の通信部と、を備え、
   前記周囲撮像装置は、
   前記第１の映像データの撮像範囲とは異なる撮像範囲を含む第２の映像データを出力する第２の撮像部と、
   前記情報処理装置に対して前記第２の映像データを送信する第２の通信部と、を備え、
   前記情報処理装置は、
   前記第１および第２の映像データを表示する第２の表示装置と、
   データを入力する操作部と、
   前記操作部を介して前記第２のユーザが入力したデータを前記第１の表示装置に送信する第３の通信部と、を備える
   ことを特徴とする遠隔作業支援システム。
2. 前記第２のユーザの視線を検出する視線検出センサと、
   前記第２の表示装置に対して、前記第２の映像データのうち前記視線に対応する箇所を拡大表示させる視線対応制御部と、をさらに備える
   ことを特徴とする請求項１に記載の遠隔作業支援システム。
3. 前記第２のユーザの視線が所定状態である場合に、前記第２の表示装置に表示された前記第２の映像データを、左右方向または上下方向にスクロールさせるスクロール制御部をさらに備える
   ことを特徴とする請求項２に記載の遠隔作業支援システム。
4. 前記第２のユーザの姿勢を検出する姿勢検出部をさらに備え、
   前記視線対応制御部は、前記姿勢検出部が前記第２のユーザの所定の姿勢を検出した場合に、前記第２の表示装置に対して、前記第２の映像データのうち前記視線に対応する箇所を拡大表示させる
   ことを特徴とする請求項２に記載の遠隔作業支援システム。
5. 前記姿勢検出部が、前記第２のユーザの所定の運動状態を検出すると、前記第２の表示装置に表示された前記第２の映像データを、左右方向または上下方向にスクロールさせるスクロール制御部をさらに備える
   ことを特徴とする請求項４に記載の遠隔作業支援システム。
6. 前記第２のユーザの視線を検出する視線検出センサと、
   検出した前記視線に基づいて、前記第２のユーザが前記第１および第２の映像データのうち何れを目視しているか判定する目視映像判定部と、
   前記目視映像判定部の判定結果に基づいて、前記第１または第２の映像データのデータレートを制御し、または送信を停止させる送信制御部と、をさらに備える
   ことを特徴とする請求項１に記載の遠隔作業支援システム。
7. 前記第２のユーザの視線を検出する視線検出センサと、
   検出した前記視線に基づいて、前記第２のユーザが前記第１および第２の映像データのうち何れを目視しているか判定する目視映像判定部と、
   前記目視映像判定部の判定結果を前記第１の表示部を介して前記第１のユーザに通知する画面制御部と、をさらに備える
   ことを特徴とする請求項１に記載の遠隔作業支援システム。
8. 前記第２のユーザの視線を検出する視線検出センサと、
   検出した前記視線に基づいて、前記第２のユーザが前記第１および第２の映像データのうち何れを目視しているかを判定し、前記第２の映像データを目視している場合に、目視している座標位置を検出する目視映像判定部と、
   前記周囲撮像装置に装着され、前記座標位置に対応する方向を表示する方向表示部と、をさらに備える
   ことを特徴とする請求項１に記載の遠隔作業支援システム。