JPH11213154A - 遠隔操縦支援装置 - Google Patents

Abstract

(57)【要約】 【課題】遠隔操縦対象の作業機に搭載されたカメラから
作業対象までの距離感や画像内の物の大きさを客観的に
把握することができ、遠隔操縦作業の操縦性を格段に向
上させ、作業効率をも高めることができる。 【解決手段】遠隔操縦される作業機Ａの作業部４には多
眼カメラ１が設置され、多眼カメラ１は作業対象である
被写体３を所定の視差をもって２つの白黒画像を撮像す
る。２つの撮像画像は、距離画像生成部６により所定の
視差をもとに距離画像を生成し、各画素毎、距離に応じ
た色を割り当てる。画像合成部７は、１つの白黒画像の
各画素に対応する画素に割り当てられた色を着色するこ
とにより、白黒画像と距離画像とを重ね合わせ、擬似的
な３次元画像である合成画像を生成し、遠隔操縦装置Ｂ
側に伝送する。遠隔操縦装置Ｂでは、この伝送された合
成画像を画像モニタ１３に表示出力し、遠隔操作者の遠
隔操縦を支援する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、作業機側で撮像さ
れた作業対象の画像を無線あるいは有線で遠隔操縦装置
に伝送し、この伝送された作業対象の画像によって、作
業機の遠隔操縦を支援する遠隔操縦支援装置に関する。

【０００２】

【従来の技術】従来、危険性のある場所等で、バックホ
ー作業機、ローディング作業機等の作業機をラジコン等
で遠隔操縦して作業する場合、遠隔操縦を行う者が作業
機から５０メートル以上離れると、掘削する土等の作業
対象の状態を目視できないことから、作業対象の状態を
把握できず、遠隔操縦を行うことができなかった。

【０００３】このため、作業機に作業対象の状態を撮像
するカメラを搭載し、この撮像した画像を、遠隔操縦を
行う遠隔操縦装置側に無線伝送し、遠隔操縦者がこの画
像をもとに作業対象の状態を間接的に把握することによ
って、遠隔操縦者が作業機から５０メートル以上離れて
も、作業が行えるようにしている。

【０００４】

【発明が解決しようとする課題】しかしながら、遠隔操
縦装置側に伝送された画像は２次元画像であるため、作
業機に搭載されたカメラから作業対象までの距離感や画
像内の物の大きさを確実に把握することができず、遠隔
作業の操作性及び効率が極端に低下するとともに、所望
の作業を確実に行うことができない場合があるという問
題点があった。

【０００５】特に、作業機の作業対象は、土等の凹凸で
あるため距離を把握しにくく、遠隔操縦による事故が生
じやすいという問題点があった。

【０００６】そこで、本発明は、かかる問題点を除去
し、遠隔操縦対象の作業機に搭載されたカメラから作業
対象までの距離感や画像内の物の大きさを客観的に把握
することができ、遠隔操縦作業の操縦性を格段に向上さ
せ、作業効率をも高めることができる遠隔操縦支援装置
を提供することを目的とする。

【０００７】

【課題を解決するための手段および効果】第１の発明
は、遠隔操縦される作業機から遠隔操縦装置に伝送され
た作業対象の画像をもとに前記作業機の遠隔操縦を行う
遠隔操縦支援装置において、前記作業機に搭載され、前
記作業対象を所定の視差をもつ複数の白黒画像として撮
像する多眼カメラと、前記多眼カメラによって撮像され
た複数の白黒画像から前記所定の視差をもとに該白黒画
像を構成する各画素毎に前記多眼カメラと前記作業対象
との間の距離を求め、この距離に応じて割り当てられた
色情報をもつ距離画像を生成する距離画像生成手段と、
前記白黒画像に、前記距離画像の色情報を各画素毎に重
ね合わせた合成画像を生成する合成画像生成手段と、前
記遠隔操縦装置に搭載され、前記合成画像を表示出力す
る合成画像出力手段とを具備したことを特徴とする。

【０００８】これにより、遠隔操縦者は距離情報をもつ
合成画像をもとに遠隔操縦することができるため、作業
対象までの客観的な距離感や物の大きさ等を容易に把握
することができ、遠隔作業の操作性を格段に向上させる
ことができる。

【０００９】第２の発明は、第１の発明において、前記
作業機は、前記距離画像生成手段及び前記合成画像生成
手段を有するとともに、前記合成画像生成手段が生成し
た合成画像を前記遠隔操縦装置に送信する送信手段をさ
らに具備し、前記遠隔操縦装置は、前記送信手段によっ
て送信された合成画像を受信する受信手段をさらに具備
したことを特徴とする。

【００１０】これにより、遠隔操縦装置側では、距離画
像の生成及び／又は合成画像の生成を行う必要がなく、
合成画像のみを表示出力すればよいので、遠隔操縦装置
の小型化を実現でき、ひいては携帯性も向上する。

【００１１】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。

【００１２】図１は、本発明の実施の形態である遠隔操
縦支援装置を含む遠隔操縦システムの概要構成を示す図
である。この遠隔操縦システムは、大きくは、遠隔操縦
される作業機Ａと、遠隔操縦を行う遠隔操縦装置Ｂとか
らなる。

【００１３】図１において、作業機Ａは、作業部４と作
業機本体５からなる。作業部４は、掘削等の作業を行う
部分であり、図１では、作業機本体５に取り付けられた
ブーム４ｃがブームシリンダ４ｄによって駆動され、こ
のブーム４ｃの先端にアーム４ｂが支承され、さらにこ
のアーム４ｂの先端に支承されたバケット４ａを有した
バックホー作業機である。作業部４には、該作業部４の
作業対象である被写体３を撮像する多眼カメラ１を有
し、図１では、アーム４ｂに取り付けられている。多眼
カメラ１の取付位置は、被写体３が所定の画角２内に入
るような位置に取り付ければよい。

【００１４】多眼カメラ１は、１つの多眼カメラ１内に
複数のカメラが所定間隔で配置され、同一被写体を同時
に撮像するものであり、ＣＣＤ固体撮像素子あるいはＭ
ＯＳ型固体撮像素子によって実現されている。

【００１５】この多眼カメラ１を用いるのは、カメラの
個数が２台の場合、図２（ａ），（ｂ）に示すように、
多眼カメラ１によって撮像された画像３０ａ，３０ｂの
うちの一方の画像３０ａのある所定の画像３１の距離を
求める場合に有効で、画像３１の周囲のウィンドウ３２
（画素３１を含む）の輝度値（明度）パターンに最もよ
く似ているパターンを、他方の画像３０ｂの中のエキシ
ポーラ線上で探索し、対応するパターン３２’を求める
ことによって、画素３１に対応する画像３０ｂ内の画素
の位置を求め、その画素のズレすなわち視差から距離を
求めることができ、この距離を画素３１の距離とし、他
の画素も同様に距離の情報を持たせることにより、一方
の画像３０ａに対応した距離情報をもった画像を得るこ
とができる。

【００１６】多眼カメラ１によって撮像された白黒の撮
像画像（以下、白黒画像という）は線１ａを介して作業
機本体５の距離画像生成部６及び画像合成部７に入力さ
れる。

【００１７】距離画像生成部６は、上述したように、多
眼カメラ１が撮像したカメラの個数分の白黒画像の所定
の視差を用いて（図２参照）、距離画像を生成する（図
３（ｂ）参照）。

【００１８】図３（ａ）は、多眼カメラ１が撮像したカ
メラの個数分の白黒画像のうちの１つの白黒画像の一例
を示し、図３（ｂ）は、図３（ａ）の白黒画像に対応し
た距離画像を示している。なお、図３に示す被写体は、
作業機Ａの作業対象ではなく、白黒画像と距離画像との
関係を示すための一例として示している。図３（ｂ）に
示す距離画像は、図３（ａ）に示す人の被写体４０とそ
の背景４１とを所定の距離、例えば２メートルによって
区分し、２メートル以内の距離の画素を領域５０とし、
２メートルを超える距離の画素を領域５１として示して
いる。

【００１９】図３（ｂ）に示す距離画像は、距離分解能
が２である場合を示しているが、さらに距離分解能を高
めることができる。例えば、距離分解能を１００とする
と、距離が多眼カメラ１の近傍から遠くになるにつれ
て、各距離領域に適切な色を割り当て、各距離領域に割
り当てられた色を着色することにより、カラーの距離画
像が生成される。この着色は、距離が近くから遠くにな
るにつれて、例えば、赤→…→黄→…→青のごとく段階
的に着色すると、信号のように、距離が近い部分の領域
は、赤色に着色され、作業対象に近いことあるいは危険
等を示唆し、感覚的にも距離を把握しやすくなる。

【００２０】一方、画像合成部７は、距離画像生成部６
によって各距離領域が着色された距離画像と多眼カメラ
１から送出された白黒画像とを合成する。すなわち、距
離画像が有する着色された色情報を白黒画像に重ね合わ
せる。このようにして合成された合成画像は、白黒画像
に対して距離に応じた色が着色されることになり、白黒
画像自体がもつ距離感にさらに客観的な距離感が付加さ
れ、いわば擬似的な３次元画像となる。

【００２１】この画像合成部７によって生成された合成
画像は、画像送信制御部８からアンテナ１１ａを介して
無線情報として送出され、遠隔操縦装置Ｂ側に伝送され
る。

【００２２】作業機本体５には、さらに作業機Ａ内の各
部を制御する作業機制御部９と送受信制御部１０とを有
する。作業機制御部９は、アンテナ１１ｃを介して送受
信制御部１０に入力される、遠隔操縦装置Ｂ側から無線
伝送されたデータを受け取って、作業機内各部、すなわ
ち作業部４の駆動制御及び走行部１６の駆動制御等を行
うとともに、制御結果あるいは制御状態を送受信制御部
１０及びアンテナ１１ｃを介して遠隔操縦装置Ｂ側に無
線データとして伝送する。

【００２３】一方、遠隔操縦装置Ｂは、遠隔操縦者の遠
隔操縦に供する装置であり、アンテナ１１ｂを介して作
業機Ａ側から無線伝送された合成画像を受信する画像受
信制御部１２、この合成画像を表示出力する画像モニタ
１３を有するとともに、作業機Ａの遠隔操縦操作の指示
入力あるいは制御結果出力等を行う遠隔操作入／出力部
１４、アンテナ１１ｄを介して作業機Ａの遠隔操縦に関
するデータを送信し、あるいは受信する送受信制御部１
５を有する。

【００２４】このように本遠隔操縦システムは、多眼カ
メラ１、距離画像生成部６、画像合成部７、画像送信制
御部８、アンテナ１１ａ，１１ｂ、画像受信制御部１
２、及び画像モニタ１３からなる画像伝送系と、作業制
御部９、送受信制御部１０、アンテナ１１ｃ，１１ｄ、
送受信制御部１５、及び遠隔操作入・出力部１４からな
るデータ伝送系とを有し、遠隔操縦者は、画像モニタ１
３に表示出力された合成画像を参照して、客観的な距離
感を把握しつつ、遠隔操作入／出力部１４を用いて、的
確な遠隔操縦作業を操作性よく行うことができる。

【００２５】次に、本発明の実施の形態の変形例につい
て説明する。図４は、図１に示した遠隔操縦システムの
第１の変形例の構成を示す図である。図４に示す遠隔操
縦システムは、画像合成部７と同一構成の画像合成部７
Ａを遠隔操縦装置Ｂ側に配置した点で図１に示す遠隔操
縦システムと異なり、その他の構成は図１に示す遠隔操
縦システムと同じ構成である。

【００２６】すなわち、図４に示す遠隔操縦システムで
は、作業機Ａ側において、多眼カメラ１が撮像した白黒
画像と、この白黒画像をもとに距離画像生成部６が生成
した距離画像とをそのまま画像送信制御部８を介して遠
隔操縦装置Ｂ側に伝送し、遠隔操縦装置Ｂ側において、
伝送された白黒画像と、距離画像とを画像合成部７Ａが
合成し、この合成画像を画像モニタ１３から表示出力す
るようにしている。

【００２７】このような構成にしても、図１に示す遠隔
操縦システムと同様な作用効果を有する。

【００２８】また、図５は、図１に示した遠隔操縦シス
テムの第２の変形例の構成を示す図であり、この遠隔操
縦システムは、画像合成部７と同一構成の画像合成部７
Ｂと、距離画像生成部６と同一構成の距離画像生成部６
Ｂとを遠隔操縦装置Ｂ側に配置した点で図１に示す遠隔
操縦システムと異なり、その他の構成は図１に示す遠隔
操縦システムと同じ構成である。

【００２９】すなわち、図５に示す遠隔操縦システムで
は、作業機Ａ側において、多眼カメラ１が撮像したカメ
ラの個数分の白黒画像をそのまま画像送信制御部８を介
して遠隔操縦装置Ｂ側に伝送し、遠隔操縦装置Ｂ側にお
いて、距離画像生成部６Ｂが伝送されたカメラの個数分
の白黒画像から距離画像を生成し、画像合成部７Ｂがこ
の距離画像と白黒画像とを合成した合成画像を生成し、
この生成した合成画像を画像モニタ１３から表示出力す
るようにしている。

【００３０】このような構成にしても、図１に示す遠隔
操縦システムと同様な作用効果を有する。

【００３１】特に、第１及び第２の変形例では、作業機
Ａ側に配置すべき画像伝送系の構成が少ないため、本発
明の適用に際し、既存の遠隔操縦用の作業機Ａを容易に
改良することができる。

【００３２】逆に、図１に示す遠隔操縦システムでは、
距離画像生成部６及び画像合成部７を作業機Ａ側に搭載
しているので、遠隔操縦装置Ｂの構成が簡単となり、小
型軽量化を実現でき、携帯性を向上させることができ
る。

【００３３】なお、上述した発明の実施の形態では、作
業機Ａと遠隔操縦装置Ｂとの間の伝送媒体は無線であっ
たが、これに限らず有線であってもよい。この有線が適
用される場合は、例えば、無線通信が困難な場所で、し
かも危険を伴うような場所での作業、例えば有毒ガスが
発生し、複雑な形状の洞道内作業等を行う場合である。

【００３４】また、上述した発明の実施の形態では、多
眼カメラ１を作業機Ａに１つ設置した場合について説明
したが、これに限らず、複数の多眼カメラを設置するよ
うにしてもよい。例えば、作業機Ａ自体が走行部１６に
よって移動する場合や、作業部４の旋回を行う場合にお
ける作業機Ａ周囲の状態を撮像するようにしてもよい。
この場合、画像モニタ１３を複数設けたり、複数の合成
画像をウィンドウ表示するようにするとよい。

【図面の簡単な説明】

【図１】本発明の実施の形態である遠隔操縦支援装置を
含む遠隔操縦システムの概要構成を示す図である。

【図２】多眼カメラを用いた距離画像の生成原理を説明
する図である。

【図３】白黒画像及び距離画像の具体例を示す図であ
る。

【図４】図１に示す遠隔操縦システムの第１の変形例の
構成を示す図である。

【図５】図１に示す遠隔操縦システムの第２の変形例の
構成を示す図である。

【符号の説明】

１…多眼カメラ １ａ…線 ２…画角 ３…被写体 ４
…作業部 ４ａ…バケット ４ｂ…アーム ４ｃ…ブーム ４ｄ…
ブームシリンダ ５…作業機本体 ６…距離画像生成部 ７…画像合成部 ８…画像送信制御部 ９…作業機制御部 １０，１５…
送受信制御部 １１ａ〜１１ｄ…アンテナ １２…画像受信制御部 １
３…画像モニタ １４…遠隔操作入／出力部 １６…走行部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｇ０９Ｇ 5/36 ５１０ Ｇ０６Ｆ 15/66 ４５０

Claims (2)

【特許請求の範囲】
1. 【請求項１】 遠隔操縦される作業機から遠隔操縦装置
   に伝送された作業対象の画像をもとに前記作業機の遠隔
   操縦を行う遠隔操縦支援装置において、 前記作業機に搭載され、前記作業対象を所定の視差をも
   つ複数の白黒画像として撮像する多眼カメラと、 前記多眼カメラによって撮像された複数の白黒画像から
   前記所定の視差をもとに該白黒画像を構成する各画素毎
   に前記多眼カメラと前記作業対象との間の距離を求め、
   この距離に応じて割り当てられた色情報をもつ距離画像
   を生成する距離画像生成手段と、 前記白黒画像に、前記距離画像の色情報を各画素毎に重
   ね合わせた合成画像を生成する合成画像生成手段と、 前記遠隔操縦装置に搭載され、前記合成画像を表示出力
   する合成画像出力手段とを具備したことを特徴とする遠
   隔操縦支援装置。
2. 【請求項２】 前記作業機は、 前記距離画像生成手段及び前記合成画像生成手段を有す
   るとともに、前記合成画像生成手段が生成した合成画像
   を前記遠隔操縦装置に送信する送信手段をさらに具備
   し、 前記遠隔操縦装置は、 前記送信手段によって送信された合成画像を受信する受
   信手段をさらに具備したことを特徴とする請求項１に記
   載の遠隔操縦支援装置。