JP5064976B2 - 建設・土木作業車両の作業安全監視システム - Google Patents

Description

本発明は、油圧ショベル等のように、旋回動作やアームの伸長度合いにより可動域が変化する建設・土木作業車両の作業安全監視システムに関する。

建設・土木作業車両の一例である油圧ショベルは、バケットを下向きにつけるバックホーの形式で運用されることが多いが、ブレーカー（圧搾空気、油圧等で操作される削岩機状のコンクリート破砕機）、リフティングマグネット（鋼材等の廃棄物分類用）、グラップル（クチバシ状の木造家屋解体、廃棄物分類用）等のアタッチメントに付け替え、その用途に合わせて運用されている。これは形状も大きさも違っており、作業車両の旋回等を行う際の可動半径が微妙に異なる。

また、操作方法自体もクローラと呼ばれる無限軌道（キャタピラー）の操作方法は共通であるが、実際の現場で作業を行う場合の作業装置自体の操作方法は、例えば、JIS方式やコマツ方式や三菱方式等、機種により違いがあり不慣れな形式の場合、操作ミスにつながりかねない。

上記操作ミスが生じても、誰も居ない原野であれば問題は生じないが、色々な作業者が混在する作業現場では、わずかのミスが人命に関わる事故につながることもあり何らかの対策が必要とされていた。

通常、それらバケット等のアタッチメントを付けた場合の旋回動作やその他の操作による危険範囲の認識は、操作者の経験と勘に頼るところが大きく、外部監督者による危険回避のための視認による確認作業や周囲で作業を行う作業者自身の注意等により、その危険性を回避していたのが現状であった。

このような状況に対し、各作業者全員に特殊な端末を所持させることで、各人の位置を把握し、これらの危険を回避しようとする土木工事現場における作業安全監視システムが提案されている。例えば、GPS等の位置情報を検出可能な手段及びそのデータや音声データの送受信機能を持ち、更に油圧ショベル側にある装置本体とのデータリンクが可能である様な機器を所持させ、これを用いての危険回避を図るようにしている（例えば、特許文献１参照）。
特開２００２−１３８５１８号公報

従来の土木工事現場における作業安全監視システムの場合、確かに、危険領域に作業者が存在することを人が介在すること無く機械的に情報を提供することが可能で有り、非常に有効な手段である。しかし、これは現行の技術では非常に高価な物となり、又、各作業者全員に配布することが必須であるため、普及に難があった。更に、未配布の作業者、見学者、突然の来訪者等が存在する場合、これらの人員にはその恩恵は無く、逆に機械制御を行っている作業者にとっては警告が無いことで安心して作業機械の操作を行ってしまい、却って安全性を損なうことになりかねない、という問題があった。

本発明は、上記問題に着目してなされたもので、大規模なシステムを組むこと無く、作業車両にのみ取り付けることで完結する安価な構成でありながら、操作者による作業の安全確認に寄与することができる建設・土木作業車両の作業安全監視システムを提供することを目的とする。

上記目的を達成するため、本発明では、旋回動作やアームの伸長度合いにより可動域が変化する建設・土木作業車両の作業安全監視システムにおいて、
前記建設・土木作業車両に搭載され、作業車両周囲のカメラ映像データを取得するカメラと、
前記建設・土木作業車両に搭載され、操作者による操作ミスを想定した最大可動域を危険領域と判定する危険領域判定処理部と、前記カメラからのカメラ映像データに、判定された危険領域を重ね合わせるスーパーインポーズ処理部を有する安全監視コントローラと、
前記建設・土木作業車両の操作室に設定され、カメラ映像に危険領域を重畳した画像を内部警告表示として映し出す画像モニターと、
を備えたことを特徴とする。

よって、本発明の建設・土木作業車両の作業安全監視システムにあっては、安全監視コントローラの危険領域判定処理部において、操作者による操作ミスを想定した最大可動域が危険領域と判定される。そして、安全監視コントローラのスーパーインポーズ処理部において、建設・土木作業車両に搭載されたカメラからのカメラ映像データに、判定された危険領域が重ね合わせられる。そして、建設・土木作業車両の操作室に設定された画像モニターにおいて、カメラ映像に危険領域を重畳した画像が内部警告表示として映し出される。
すなわち、システム構成要素であるカメラと安全監視コントローラと画像モニターは、いずれも建設・土木作業車両に搭載されているため、作業車両にのみ取り付けることでシステムが完結する。そして、建設・土木作業車両の操作室内の操作者は、カメラ映像に危険領域を重畳した画像を映し出す画像モニターを見ることで、作業環境の中で危険領域が占める位置関係を視覚情報として常に得ることができる。この位置関係情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための操作者に対する内部警告となる。
この結果、大規模なシステムを組むこと無く、作業車両にのみ取り付けることで完結する安価な構成でありながら、操作者による作業の安全確認に寄与することができる。

以下、本発明の建設・土木作業車両の作業安全監視システムを実現する最良の形態を、図面に示す実施例１および実施例２に基づいて説明する。

まず、構成を説明する。
図１は、実施例１の油圧ショベル（建設・土木作業車両の一例）の作業安全監視システムを示す制御系全体システム図である。図２は、実施例１の作業安全監視システムが適用された油圧ショベルの各部名称を説明するための概略側面図である。図３は、実施例１の作業安全監視システムが適用された油圧ショベルへのカメラの設定位置を説明するための平面図である。図４は、実施例１の作業安全監視システムが適用された油圧ショベルへのレーザー投光器の設定位置を説明するための斜視図である。

実施例１の油圧ショベルＡの作業安全監視システムは、図１に示すように、カメラ１と、駆動系センサー２と、安全監視コントローラ３と、メッセージ発生用外部手動スイッチ４と、外部スピーカー５と、画像モニター６と、レーザー発光・駆動装置７と、強制発光用外部警告スイッチ８と、近赤外線レーザー投光器９（投光器）と、可視光レーザー投光器１０（投光器）と、を備えている。

前記油圧ショベルＡは、図２に示すように、下部走行体２０と、上部旋回体２１と、操作室２２と、ブーム２３と、アーム２４と、アタッチメント（バケット）２５と、を備えている。

前記カメラ１は、油圧ショベルＡの周囲映像（作業環境）を映し出すCCDカメラやCMOSカメラ等による撮像手段であり、第１カメラ１ａと、第２カメラ１ｂと、第３カメラ１ｃと、第４カメラ１ｄと、の４台のカメラを搭載している。これらのカメラ１ａ，１ｂ，１ｃ，１ｄの代表的な取り付け位置は、図３に示すように、下部走行体２０の前方側に第１カメラ１ａを取り付け、下部走行体２０の右側方側に第２カメラ１ｂを取り付け、下部走行体２０の左側方側に第３カメラ１ｃを取り付け、下部走行体２０の後方側に第４カメラ１ｄを取り付けている。これによって、作業によるブーム２３やアーム２４の旋回動作に対して、モニター画面の視界が変化しないで、油圧ショベルＡの全周囲を監視できるカメラシステムを構築している。

前記駆動系センサー２は、油圧ショベルＡの上部旋回体２１が下部走行体２０に対して旋回動作をした際、ブーム２３，アーム２４，アタッチメント２５の旋回移動による危険領域を判定するための入力情報を提供するセンサーである。この駆動系センサー２としては、油圧ショベルＡのブーム２３とアーム２４の各関節部の角度を検出する第１関節部角度センサー２ａ，第２関節部角度センサー２ｂ，第３関節部角度センサー２ｃと、上部旋回体２１に取り付けられた旋回部角度センサー２ｄと、油圧ショベルＡの作業姿勢を検出するジャイロセンサー２ｅ等を備えている。前記関節部角度センサー２ａ，２ｂ，２ｃは、パワーショベルの腕であるブーム２３のうち付け根に近い部分と、アーム２４のうち腕の先端に近い部分と、アタッチメント２５の取り付け関節部分に取り付けている。また、旋回部角度センサー２ｄは、上部旋回体２１が下部走行体２０に対してどの様な状態にあるかを検知する。

前記安全監視コントローラ３は、基本的に、入力されたカメラ映像へ画像処理を施し、その状況にあった映像を画像モニター６へ出力する。そして、カメラ映像中に判定された危険領域をスーパーインポーズし、これを操作者に警告する構成となっている。
この安全監視コントローラ３は、図１に示すように、画像メモリ３ａと、画像処理部３ｂと、画像認識処理部３ｃと、危険領域判定処理部３ｄと、画像処理用基本情報ROM３ｅと、スーパーインポーズ処理部３ｆと、表示制御系３ｇと、警告メッセージ発生器３ｈと、警告音発生器３ｉと、危険領域外部表示制御部３ｊと、を備えている。

前記画像処理部３ｂは、各カメラ１ａ，１ｂ，１ｃ，１ｄから入力されたカメラ映像データを一時的に出力画像メモリ３ａへ保存し、保存したカメラ映像データのうち、危険領域判定処理部３ｄにて判定された危険領域を含むカメラ映像データを、あたかも上空から見下ろした様に見える俯瞰映像データに視点変換する画像処理を施す。

前記画像認識処理部３ｃは、画像処理部３ｂにより生成された俯瞰映像データの危険領域内に作業者の存在を認識するための画像認識処理を行う。

前記危険領域判定処理部３ｄは、油圧ショベルＡの各関節部に取り付けられた関節部角度センサー２ａ，２ｂ，２ｃや上部旋回体２１に取り付けられた旋回部角度センサー２ｄ等の情報と、画像処理用基本情報ROM３ｅにより、初期値として与えられている各パラメータ（アーム・ブームの長さカメラ取り付け角度等）の情報に基づき、現時点でのブーム２３やアーム２４やアタッチメント２５等の可動域を計算する。そして、計算された可動域から、万が一予期しない操作ミスにより旋回・バケットの掬い動作などが起こった場合の危険領域を判定する。

前記スーパーインポーズ処理部３ｆは、前記画像処理部３ｂにより取得された油圧ショベルＡとその周囲をあらわす俯瞰映像データに、前記危険領域判定処理部３ｄにより判定された危険領域を重ね合わせるスーパーインポーズ処理を行う。そして、画像認識処理部３ｃにおいて、危険領域内に作業者等の存在が認識された場合には、危険領域に入り込んでいる作業者等を囲む特定枠（赤枠等）の表示をさらに重ね合わせる。

前記表示制御系３ｇは、前記スーパーインポーズ処理部３ｆからの映像データを画像モニター６に表示するためのモニター表示出力信号に変換する。

前記警告メッセージ発生器３ｈは、前記メッセージ発生用外部手動スイッチ４に対するスイッチON操作時であって、前記画像認識処理部３ｃにおいて危険領域内に作業者の存在が認識された場合、外部スピーカー５により音声や楽曲等を発するスピーカー駆動信号を出力する。

前記警告音発生器３ｉは、前記画像認識処理部３ｃにおいて危険領域内に作業者の存在が認識された場合、スイッチ操作等の条件を加えることなく、外部スピーカー５により警告音を発するスピーカー駆動信号を出力する。また、前記強制発光用外部警告スイッチ８に対するスイッチON操作時、外部スピーカー５により警告音を発するスピーカー駆動信号を出力する。

前記危険領域外部表示制御部３ｊは、前記強制発光用外部警告スイッチ８に対するスイッチOFF操作時、前記表示制御系３ｇからのモニター表示出力信号に基づき、常時監視するために危険領域を近赤外線レーザー投光器９からのレーザー照射により描画するレーザー発光走査駆動指令をレーザー発光・駆動装置７に出力する。また、前記強制発光用外部警告スイッチ８に対するスイッチON操作時、前記表示制御系３ｇからのモニター表示出力信号に基づき、注意喚起のために危険領域を可視光レーザー投光器１０からのレーザー発振により描画するレーザー発光走査駆動指令をレーザー発光・駆動装置７に出力する。

前記メッセージ発生用外部手動スイッチ４は、操作室２２内の操作者から手が届く位置に設定され、危険領域内に作業者の存在が認識された場合、点滅誘導に基づきON操作を促すことで、定められた音声・音楽・警告音を外部スピーカー５より出力する。

前記外部スピーカー５は、油圧ショベルＡの操作室２２の外側上部位置等に設けられ、警告メッセージ発生器３ｈまたは警告音発生器３ｉからのスピーカー駆動信号により所定の音を外部の作業者に向けて発する。

前記画像モニター６は、油圧ショベルＡの操作室２２内部のうち、操作者から視認し易い位置に設けられる。

前記レーザー発光・駆動装置７は、強制発光用外部警告スイッチ８がOFFである常時監視時、近赤外線レーザー投光器９に対しレーザー発光走査駆動指令を出力し、強制発光用外部警告スイッチ８がONである注意喚起時、可視光レーザー投光器１０に対しレーザー発光走査駆動指令を出力する。

前記強制発光用外部警告スイッチ８は、危険領域内に作業者の存在が認識された場合、強制的にONへ切り替えることで、危険領域を可視光レーザー投光器１０からのレーザー発振により描画する。なお、手動操作により強制発光用外部警告スイッチ８のON/OFFも行うことができる。

前記可視光レーザー投光器９および前記近赤外線レーザー投光器１０は、油圧ショベルＡの高所数点から危険領域を描画できるように設けられる。具体的には、図４に示すように、操作室２２の外側上部の４箇所位置に、第１可視光レーザー投光器９ａおよび第１近赤外線レーザー投光器１０ａと、第２可視光レーザー投光器９ｂおよび第２近赤外線レーザー投光器１０ｂと、第３可視光レーザー投光器９ｃおよび第３近赤外線レーザー投光器１０ｃと、第４可視光レーザー投光器９ｄおよび第４近赤外線レーザー投光器１０ｄと、が取り付けられている。

図５は、実施例１の画像認識機能を有する安全監視コントローラ３にて実行される油圧ショベル作業の安全監視制御処理の流れを示すフローチャートであり、以下、各ステップについて説明する。

ステップＳ51では、駆動系センサー２の初期値を取得し、ステップＳ52へ移行する。
ここで、駆動系センサー２からのセンサー値は、２つの記録エリア（「記録エリア１」と「記録エリア２」）へ代入される。記録エリア１には、初期値を除き、１サイクル前の駆動系センサー２の値が入る。記録エリア２には、初期値を除き、現在の駆動系センサー２の値が入る。

ステップＳ52では、ステップＳ51での駆動系センサー２の初期値取得に続き、初期条件での危険領域を画像モニター６へ表示し、ステップＳ53へ移行する。

ステップＳ53では、ステップＳ52での初期条件での危険領域のモニター表示に続き、強制発光用外部警告スイッチ８はOFFであるか否かを判断し、Yesの場合（強制発光用外部警告スイッチ８がOFF）はステップＳ56へ移行し、Noの場合（強制発光用外部警告スイッチ８がON）はステップＳ54へ移行する。

ステップＳ54では、ステップＳ53での強制発光用外部警告スイッチ８がONであるとの判断に続き、外部作業者への警告動作として、可視光レーザー投光器９を用い、レーザー発振による外部作業エリアに対し危険領域の描画動作を行い、ステップＳ55へ移行する。

ステップＳ55では、ステップＳ54での可視光レーザーによる危険領域の描画に続き、外部スピーカー５により外部の作業者へ警告音を鳴らし、ステップＳ56へ移行する。

ステップＳ56では、ステップＳ53での強制発光用外部警告スイッチ８がOFFであるとの判断、あるいは、ステップＳ55での警告音の吹鳴に続き、駆動系センサー２の現在値を取得し、ステップＳ57へ移行する。

ステップＳ57では、ステップＳ56での駆動系センサー２の現在値取得に続き、駆動系センサー２の現在値を記録エリア２へ代入し、ステップＳ58へ移行する。

ステップＳ58では、ステップＳ57での現在値の記録エリア２への代入に続き、記録エリア１の１サイクル前の駆動系センサー２の値と、記録エリア２へ代入された駆動系センサー２の現在値を比較し、駆動系センサー２の値に変化があるか否かを判断し、Yesの場合（アーム２４の伸長に変化有り）はステップＳ59へ移行し、Noの場合（アーム２４の伸長に変化無し）はステップＳ53へ戻る。

ステップＳ59では、ステップＳ58での駆動系センサー２の値に変化があるとの判断に続き、記録エリア２のデータ値（現在値）に基づき、危険領域を演算し、ステップＳ60へ移行する。

ステップＳ60では、ステップＳ59での危険領域の演算に続き、操作者への危険領域の表示として、カメラ映像データに基づく俯瞰映像に、演算された危険領域を重ね合わせてスーパーインポーズ化し、これを画像モニター６に表示し、ステップＳ61へ移行する。

ステップＳ61では、ステップＳ60での画像モニター６への表示に続き、駆動系センサー２の現在値を記憶（記録エリア１へ記録）し、ステップＳ62へ移行する。

ステップＳ62では、ステップＳ61での駆動系センサー２の現在値の記憶に続き、近赤外線レーザー投光器９から外部の危険作業エリアへ近赤外線レーザービームを照射し、ステップＳ63へ移行する。

ステップＳ63では、ステップＳ62での近赤外線レーザービームの照射に続き、作業者が危険エリアに存在するか否かを判断し、Yesの場合はステップＳ64へ移行し、Noの場合はステップＳ53へ移行する。
ここで、操作者の画像モニター６上では、危険エリアに居る外部作業者が、近赤外線レーザービームの照射により、鮮明に浮かび上がる。これを利用した画像認識処理（例えば、白い部分の形を認識する二値化処理等）により、作業者が危険エリアに存在するか否かを判断する。

ステップＳ64では、ステップＳ63での画像認識処理により作業者が危険エリアに存在するとの判断に続き、強制発光用外部警告スイッチ８を強制的にONにし、ステップＳ65へ移行する。

ステップＳ65では、ステップＳ64での強制発光用外部警告スイッチ８のONに続き、メッセージ発生用外部手動スイッチ４はOFFであるか否かを判断し、Yesの場合（メッセージ発生用外部手動スイッチ４はOFF）はステップＳ67へ移行し、Noの場合（メッセージ発生用外部手動スイッチ４はON）はステップＳ66へ移行する。

ステップＳ66では、ステップＳ65でのメッセージ発生用外部手動スイッチ４はONであるとの判断に続き、定められた音声・音楽・警告音を外部スピーカー５により出力し、ステップＳ67へ移行する。

ステップＳ67では、ステップＳ65でのメッセージ発生用外部手動スイッチ４はOFFであるとの判断、あるいは、ステップＳ66での警告メッセージの発生に続き、ΔＴ時間が経過したか否かを判断し、Yesの場合（ΔＴ時間の経過後）はステップＳ53へ戻り、Noの場合（ΔＴ時間の経過前）はステップＳ67の判断を繰り返す。
ここで、ΔＴ時間は、設定可能な待ち時間（ウェイト時間）であり、初期設定はΔＴ＝０を想定する。

次に、作用を説明する。
実施例１の油圧ショベルの作業安全監視システムにおける作用を、「危険領域に作業者等の存在が認識されない場合の作業安全監視作用」、「危険領域内に入り込んだ作業者等の存在認識作用」、「危険領域に作業者等の存在が認識された場合の作業安全監視作用」に分けて説明する。

［危険領域に作業者等の存在が認識されない場合の作業安全監視作用］
まず、安全監視制御処理の流れを説明する。
危険領域に作業者等の存在が認識されない場合、図５のフローチャートにおいて、ステップＳ51→ステップＳ52→ステップＳ53→ステップＳ56→ステップＳ57→ステップＳ58→ステップＳ59→ステップＳ60→ステップＳ61→ステップＳ62→ステップＳ63へと進む。そして、ステップＳ63にてNoとの判断に基づき、ステップＳ53へ戻り、駆動系センサー２の値に変化がない限り、ステップＳ53→ステップＳ56→ステップＳ57→ステップＳ58へと進む流れが繰り返される。そして、駆動系センサー２の値に変化があると、ステップＳ58からステップＳ59→ステップＳ60→ステップＳ61→ステップＳ62→ステップＳ63へと進み、再びステップＳ53へ戻る流れとなる。

この場合、ステップＳ59では、記録エリア２のデータ値（現在値）に基づき、危険領域が演算される。この危険領域は、アーム２４・ブーム２３・上部旋回体２１・アタッチメント（バケット）２５等の関節部に取り付けられた各関節部角度センサー２ａ，２ｂ，２ｃの情報に基づき演算される。つまり、現時点で作業用のアーム２４の伸張度合いや下部走行体２０に対しての角度に基づき、仮に現時点で操作ミスや何らかの不具合が生じた時にバケット２５やアーム２４がぶつかり得る範囲を計算することとなる。腕の長さは、初期値として与えられているため、各関節部の角度が解れば簡単な三角関数でも旋回半径は求められる。これらの計算は、リアルタイムに計算され、危険領域は常時更新され表示される。

次に、操作者への内部警告表示について説明する。
ステップＳ60では、操作者への危険領域の内部警告表示として、カメラ映像データに基づく俯瞰映像に、演算された危険領域を重ね合わせてスーパーインポーズ化され、これが画像モニター６に表示される。

したがって、油圧ショベルＡの操作室２２内の操作者は、カメラ映像に危険領域を重畳した画像を映し出す画像モニター６を見ることで、作業環境の中で危険領域が占める位置関係を視覚情報として常に得ることができる。この位置関係情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための操作者に対する内部警告となり、操作者による作業の安全確認に寄与することができる。以下、画像モニター６への表示例を説明する。

図６は、俯瞰映像にスーパーインポーズ機能を用いて危険領域を表示したモニター画面の一例を示す図である。
この図６では各カメラ映像を画像処理し、油圧ショベルＡとその周囲状況が、あたかも上空から見下ろした様に見える俯瞰図に変換して表示される。そして、この映像の油圧ショベルＡの周りに、スーパーインポーズ機能を用いて内側から、下部走行体２０の旋回運動による危険領域ａと、上部旋回体２１の旋回運動による危険領域ｂと、アーム伸長時の危険領域ｃと、が重畳表示されている。危険領域ａは、クローラ（キャタピラー）の駆動による巻き込み事故を想定した場合の線である。危険領域ｂは、上部旋回体２１自体が回転したときに突起物による危険領域を想定した場合の線である。危険領域ｃは、アーム２４が伸長し、かつ、上部旋回体２１が回転したことを想定したときの危険領域を示す線である。

図７は、実際の油圧ショベルＡの挙動と危険領域を示すイメージ図である。
この図７では、アーム２４とブーム２３が動くことにより、危険領域が、内側のアーム収納時の旋回軌道から現在の最先端部までの旋回軌道までの範囲にて変化することを表している。

図８は、旋回による危険領域に加えバケット２５の掘削作業によるより危険度の高い領域を別枠で表示する一例を示す図である。
この図８では、危険度の高い領域を別枠で表示することで、危険領域のうち、危険度の高い領域を知ることができる。

次に、作業者等への外部警告表示について説明する。
ステップＳ62では、近赤外線レーザー投光器９から外部の危険作業エリアへ近赤外線レーザービームを照射する。

上記画像モニター６への表示により、危険領域を油圧ショベルＡの操作者に伝達できることになるが、外部で作業を行っている者へはこの情報が伝わらない。特に、日中の様な明るい時は距離感も掴み易く、危険度は比較的低めであるが、夕闇が迫る薄暮の時間帯や夜間作業の際には、作業者の勘も鈍り危険度が増すことになる。

そこで、実施例１では、薄暮の状況でも比較的視認性の良い可視光レーザー光線を用いて、外部作業現場にも危険領域を表示するようにしている。つまり、俯瞰映像上にスーパーインポーズされる危険領域データを、可視光レーザー投光器１０からのレーザー発光を用いて実際の工事現場の地表面に表示するものである。

したがって、油圧ショベルＡの近くで作業している作業者等は、可視光レーザー投光器１０からのレーザー発光を用いた危険領域の地表面表示を見ることで、工事現場の中で危険領域を視覚情報として常に得ることができる。この危険領域情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための作業者等に対する外部警告となり、作業者等による作業の安全確認に寄与することができる。以下、レーザー発光を用いた危険領域の地表面表示例を説明する。

図９は、外部への危険領域の理想的な表示イメージを示す図である。図１０はレーザー光による危険領域の理想的な外部表示イメージを示す図である。図１１は、レーザー光による危険領域の現実的な外部表示イメージを示す図である。

理想的には、図９および図１０に示す様に、作業車両の上空から車両の旋回軸を中心とした円が表示されることをイメージしている。しかし、実際には車体自身が影となり描画の際に死角を生じてしまうため、図１１に示す様に、作業車両の高所数点から危険領域を分割して描画・表示することになる。図１１では、近赤外線レーザー投光器９を設定した各々の点（実施例１では４点）から分割し、走査することで、危険領域を描画しようとしている。

この場合の描画は、危険領域の境界のみをレーザー光にて描画しても良いが、実施例１では、危険領域内を上下左右に空間的に走査し、危険領域全体を浮かび上がらせる形としている。また、強力なレーザー光であると、光が視覚負担を及ぼす可能性もあるため、実施例１では、通常は、非常に弱い光である近赤外線レーザー光線により走査を行い、危険領域内に外部作業者等が侵入してきたとき、つまり、危険喚起を要する場合にのみ、強い光による可視光レーザーを用いる形を取っている。

［危険領域内に入り込んだ作業者等の存在認識作用］
ステップＳ63では、作業者が危険エリアに存在するか否かを判断する。つまり、操作者の画像モニター６上では、危険領域に居る外部作業者が、近赤外線レーザービームの照射により、鮮明に浮かび上がる。これを利用した画像認識処理により、作業者等が危険領域に存在するか否かを判断する。

上記のように、危険領域内に作業者等の存在が認識できないとき、弱い光による近赤外線レーザー光を用いることで、光による視覚負担を軽減できて有用であるが、近赤外線レーザー光を用いる場合は次の利点も生じる。

前述の様に、斜め高所から照射される近赤外線レーザーは、平面である地面に対しては乱反射を除き、反射光は生じないため、CCDカメラで見ても知覚できない。しかし、危険領域内に入り込んだ人体の様な立体物に対しては、高さを持っている分、反射光を生じ、何らかの物体が危険領域内に入り込んだことが、より判り易くなってくる。

言い換えれば、薄暮・夜間では危険領域内の立体物のみが、浮かび上がることになり、人間の認識が非常に容易になると共に、操作者の安全操作に寄与できる。例えば、図１２に示すように、近赤外線で照らし出された作業者等は、近赤外線が照射された足のみが白くハッキリと浮かび上がることになる。

［危険領域に作業者等の存在が認識された場合の作業安全監視作用］
まず、安全監視制御処理の流れを説明する。
危険領域に作業者等の存在が認識された場合、図５のフローチャートにおいて、ステップＳ63からステップＳ64→ステップＳ65→ステップＳ67へと進む。そして、ウェイト時間を経過すると、ステップＳ67からステップＳ53→ステップＳ54→ステップＳ55→ステップＳ56→ステップＳ57→ステップＳ58→ステップＳ59→ステップＳ60→ステップＳ61→ステップＳ62→ステップＳ63へと進む。そして、メッセージ発生用外部手動スイッチ４のON操作を行うと、ステップＳ63からステップＳ64→ステップＳ65→ステップＳ66→ステップＳ67へと進む流れとなる。

次に、操作者への内部警告表示について説明する。
ステップＳ60では、危険領域に作業者等の存在が認識されると、操作者への危険領域の内部警告表示として、カメラ映像データに基づく俯瞰映像に、演算された危険領域と認識された作業者等を赤枠で囲んだ表示を重ね合わせてスーパーインポーズ化され、これが画像モニター６に表示される。

したがって、油圧ショベルＡの操作室２２内の操作者は、カメラ映像に危険領域と侵入者表示を重畳した画像を映し出す画像モニター６を見ることで、作業環境の中で危険領域のどの位置に侵入者が存在しているかを視覚情報として得ることができる。この侵入者の位置情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための操作者に対する内部警告となり、操作者による作業の安全確認に寄与することができる。

次に、作業者等への外部警告表示について説明する。
ステップＳ54では、危険領域に作業者等の存在が認識されると、近赤外線レーザー発光に代え、可視光レーザー投光器１０から外部の危険作業エリアへ可視光レーザー発振による描画動作が行われる。

したがって、危険領域内に入り込んだ作業者等は、可視光レーザー投光器１０からの視認性が高い強い光による可視光レーザーを用いた危険領域の描画表示を見ることで、直ちに危険領域から脱出すべきことを視覚情報として得ることができる。この危険領域の描画表示情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための作業者等に対する外部警告となり、作業者等による作業の安全確認に寄与することができる。

次に、作業者等への警告音発生について説明する。
ステップＳ55では、危険領域に作業者等の存在が認識されると、外部スピーカー５から警告音が鳴らされる。

したがって、危険領域内に入り込んでいることを知らずに熱心に作業を継続している作業者等に対し、外部スピーカー５から警告音により、直ちに危険領域から脱出すべきことを聴覚情報として得ることができる。この聴覚情報は、作業を安全に進めるため、あるいは、事故を未然に防ぐための作業者等に対する視覚情報を補助する外部警告となり、作業者等による作業の安全確認に寄与することができる。

さらに、外部スピーカー５から警告音を発しても、工事現場の騒音等により、作業者等に対し危険領域に入っていることを知らせることができない場合には、操作者が手動によりメッセージ発生用外部手動スイッチ４をON操作すると、ステップＳ66において、定められた音声・音楽・警告音が外部スピーカー５から発せられる。

したがって、作業者等への外部警告として、レーザー光による描画表示、警告音、メッセージ音というように、３通りの外部警告を行うことで、確実に作業者等に危険領域から脱出すべきことを伝えることができる。

そして、実施例１の油圧ショベルＡの作業安全監視システムでは、下記に述べるようなメリットを期待することができる。
・カメラシステムからの映像に危険領域を表示するため、各作業者の存在を認知した時に、危険な範囲に存在するか否かが、直感的に判り易く、危険回避が容易である。
・外部作業者、監督者に何処までが危険領域か、現在のアタッチメントやブーム・アームの伸長状態で旋回した場合の危険領域が一目で判るため、危険領域に作業者が入るミスを防げる、又、重機操作者への注意喚起を促せる。
・近赤外線を用いて、常時監視を行い、注意喚起の場合のみ外部作業者へレーザー光による危険領域の描画を用いることで、薄暮・夜間の作業の安全効率UPが図れる。
・各作業者一人一人へ、端末を配布すること無く、油圧ショベルの様な重機一台ずつで完結するシステムを組めるため、コストが下がり普及が容易である。
・人体の画像認識との組み合わせにて、より安全なシステムへの発展が望める。

次に、効果を説明する。
実施例１の油圧ショベルＡの作業安全監視システムにあっては、下記に列挙する効果を得ることができる。

(1) 旋回動作やアームの伸長度合いにより可動域が変化する油圧ショベルＡの作業安全監視システムにおいて、前記油圧ショベルＡに搭載され、作業車両周囲のカメラ映像データを取得するカメラ１と、前記油圧ショベルＡに搭載され、操作者による操作ミスを想定した最大可動域を危険領域と判定する危険領域判定処理部３ｄと、前記カメラ１からのカメラ映像データに、判定された危険領域を重ね合わせるスーパーインポーズ処理部３ｆを有する安全監視コントローラ３と、前記油圧ショベルＡの操作室２２に設定され、カメラ映像に危険領域を重畳した画像を内部警告表示として映し出す画像モニター６と、を備えたため、大規模なシステムを組むこと無く、作業車両にのみ取り付けることで完結する安価な構成でありながら、操作者による作業の安全確認に寄与することができる。

(2) 前記カメラ１は、前記油圧ショベルＡの可動域が変化しても視界が変化しない下部走行体２０に複数取り付けられ、前記安全監視コントローラ３は、前記複数のカメラ１ａ，１ｂ，１ｃ，１ｄからのカメラ映像データを、前記油圧ショベルＡとその周囲を真上から見下ろした俯瞰映像データに視点変換する画像処理部３ｂを有するため、油圧ショベルＡの可動域が変化してもモニター画面の視界変化が無く、カメラシステムからの俯瞰映像に危険領域を重畳した操作者が視認し易い内部警告表示を行うことができる。

(3) 前記油圧ショベルＡによる旋回動作やアームの伸長度合いによる可動域の変化を検出する駆動系センサー２を設け、前記安全監視コントローラ３は、前記危険領域判定処理部３ｄにおいて、前記駆動系センサー２からの検出値が変化する毎に危険領域を判定し、前記スーパーインポーズ処理部３ｆにおいて、カメラ映像に重畳する危険領域をリアルタイムに更新して表示するため、作業中に危険領域が変化しても応答良く追従して変化する危険領域をモニター画面に重畳表示することができる。

(4) 前記油圧ショベルＡに、車両外部の作業者等が視認できる光線を用いて領域表示する投光器９，１０を設け、前記安全監視コントローラ３は、前記危険領域判定処理部３ｄにより危険領域が判定されると、前記画像モニター６による内部警告表示と共に、前記投光器９，１０により危険領域を外部警告表示するため、車両内部の操作者への内部警告表示と車両外部の作業者等への外部警告表示により、操作者と車両外部の作業者等の両方への警告表示により、操作者のみへの警告表示に比べ、より高い作業安全性の確保に寄与することができる。

(5) 前記投光器９，１０は、投光ビームにより危険領域内を上下左右に素早く走査することにより、危険領域の空間を描画表示するため、車両外部の作業者等に対し視認性の高い外部警告表示を行うことができる。

(6) 前記近赤外線レーザー投光器９は、近赤外線レーザー光を照射するものであり、前記安全監視コントローラ３は、危険領域に作業者等が入ってきた場合、近赤外線レーザー光が照射された部分が白く浮かび上がることを利用し、これを映し出すカメラ画像データから外部作業者等の存在を認識する画像認識処理部３ｃを有するため、危険領域に作業者等が入ってきた場合、応答良く、かつ、確実に危険領域に作業者等が存在することを検知することができる。

(7) 前記安全監視コントローラ３のスーパーインポーズ処理部３ｆは、前記画像認識処理部３ｃにより外部作業者等の存在が認識された場合、外部作業者等をあらわす侵入者表示を重畳し、前記画像モニター６は、カメラ映像に危険領域と侵入者表示を重畳した画像を内部警告表示として映し出すため、危険領域に作業者等が入ってきた場合、操作者に応答良く危険領域に作業者等が存在することを知らせることができると共に、作業者等の行動をモニター画面上で確認することができる。

(8) 前記安全監視コントローラ３は、前記画像認識処理部３ｃにより外部作業者等の存在が認識されると、近赤外線レーザー光に代え、近赤外線レーザー光より視認性の高い可視光レーザーにより危険領域を外部警告表示するため、危険領域に入ってきた外部作業者等に対し、素早く危険領域から脱出することを促すことができる。

(9) 前記安全監視コントローラ３は、前記画像認識処理部３ｃにより外部作業者等の存在が認識されると、前記画像モニター６による内部警告表示と前記可視光レーザー投光器１０による外部警告表示に加え、外部スピーカー５により警告音を発生するため、誤って危険領域に入ってきた外部作業者等に対し、視覚情報と聴覚情報とも併用により素早く危険領域から脱出することを促すことができる。

実施例２は、実施例１が危険領域内への侵入者を認識する画像認識機能を有するのに対し、画像認識機能を有さない例である。

まず、構成を説明する。
図１４は、実施例２の油圧ショベル（建設・土木作業車両の一例）の作業安全監視システムを示す制御系全体システム図である。

実施例２の油圧ショベルＡの作業安全監視システムは、図１４に示すように、カメラ１と、駆動系センサー２と、安全監視コントローラ３と、画像モニター６と、レーザー発光・駆動装置７と、強制発光用外部警告スイッチ８と、近赤外線レーザー投光器９（投光器）と、可視光レーザー投光器１０（投光器）と、を備えている。

前記安全監視コントローラ３は、図１４に示すように、画像メモリ３ａと、画像処理部３ｂと、危険領域判定処理部３ｄと、画像処理用基本情報ROM３ｅと、スーパーインポーズ処理部３ｆと、表示制御系３ｇと、危険領域外部表示制御部３ｊと、を備えている。

すなわち、作業安全監視システムから、メッセージ発生用外部手動スイッチ４と外部スピーカー５を省略した点で実施例１とは相違する。また、安全監視コントローラ３から、画像認識処理部３ｃと警告メッセージ発生器３ｈと警告音発生器３ｉを省略した点で実施例１とは相違する。なお、他の構成は、実施例１と同様であるので、各構成の説明を省略する。

図１５は、実施例２の画像認識機能の無い安全監視コントローラ３にて実行される油圧ショベル作業の安全監視制御処理の流れを示すフローチャートである。

ステップＳ151〜ステップＳ154の各ステップは、図５に示すフローチャートのステップＳ51〜ステップＳ54の各ステップと対応する。ステップＳ156〜ステップＳ162の各ステップは、図５に示すフローチャートのステップＳ56〜ステップＳ62の各ステップと対応する。ステップＳ167は、図５に示すフローチャートのステップＳ67と対応する。したがって、図１５の各ステップについての説明を省略する。

実施例２の油圧ショベルＡの作業安全監視システムの作用としては、実施例１の「危険領域に作業者等の存在が認識されない場合の作業安全監視作用」と同様の作用を示す。

また、実施例２の油圧ショベルＡの作業安全監視システムの効果としては、実施例１の(1)〜(5)に列挙した効果を奏する。

以上、本発明の建設・土木作業車両の作業安全監視システムを実施例１，２に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

実施例１，２では、各カメラ映像を画像処理し、あたかも上空から見下ろした様に見える俯瞰図に変換していた例を示したが、例えば、図１３に示すように、通常のカメラ映像をそのまま流用し、通常のカメラ映像に、そのレンズ歪や取り付け位置等に考慮したスーパーインポーズを計算し、危険領域を重畳表示するようにしても良い。

実施例１，２では、便宜的に４個のカメラを用いたシステムの例を示した。しかし、カメラの個数や設置場所に関しては、これを問わないものとする。また、カメラは下部走行体に取り付けられ、モニター画面の視界が変化しないものとしての説明を行っているが、上部旋回体にカメラを装着する形でも何ら問題はない。

実施例１，２では、危険領域の表示を、スーパーインポーズによる線表示する例を示した。しかし、危険領域の全体を半透明色によって重畳表示しても良い。また、危険領域の危険度に合わせ段階的に表示色を変える等の工夫を行っても良い。

実施例１，２では、外部への警告表示として、近赤外線レーザーと可視光レーザーを用いる例を示した。しかし、この例に限られるものではなく、必要に応じてレーザーポインタの様な低出力レーザーやハロゲン投光器の様な昼間でも判り易い光源を用いて、危険エリアを照らす投光機能を持つ表示装置を用いても良い。

実施例１，２では、関節部角度センサーと旋回部角度センサーとジャイロセンサーを用いて危険領域を判定する例を示した。しかし、各センサー情報と危険領域の関係として、実際には、各アームの角度のみならず、車体自体の動揺具合、車両水平角の異常による横転の危険性、アタッチメントの変更等による重量バランスのミスマッチの動揺等、様々な外部要因があるため、これらを考慮してセンサーを増やし、危険領域の判定精度を高めても良い。

実施例１では、人間を画像処理データから分離認識し、危険領域に存在する場合に、その映像を赤枠などで囲み操作者に注意喚起を行う例を示したが、操作室内に設定したスピーカーからの音声を用いて警告を発すること等を併用しても良い。

実施例１では、画像認識により、危険領域に作業者等が存在する場合、その位置を判別し、侵入者表示を重畳する例を示した。しかし、危険領域に存在する作業者等の位置認識に基づき、作業車両が旋回稼動できないように、可動エリアを制限する機構を作業車両に備える構成としても良い。

実施例１，２では、建設・土木作業車両として油圧ショベルへの適用例を示したが、油圧ショベル以外の作業車両、例えば、バックホーやクレーン車等へも適用することができる。要するに、旋回動作やアームの伸長度合いにより可動域が変化する建設・土木作業車両であれば適用できる。

実施例１の油圧ショベル（建設・土木作業車両の一例）の作業安全監視システムを示す制御系全体システム図である。 実施例１の作業安全監視システムが適用された油圧ショベルの各部名称を説明するための概略側面図である。 実施例１の作業安全監視システムが適用された油圧ショベルへのカメラの設定位置を説明するための平面図である。 実施例１の作業安全監視システムが適用された油圧ショベルへのレーザー投光器の設定位置を説明するための斜視図である。 実施例１の画像認識機能を有する安全監視コントローラ３にて実行される油圧ショベル作業の安全監視制御処理の流れを示すフローチャートである。 俯瞰映像にスーパーインポーズ機能を用いて危険領域を表示したモニター画面の一例を示す図である。 実際の油圧ショベルＡの挙動と危険領域を示すイメージ図である。 旋回による危険領域に加えバケット２５の掘削作業によるより危険度の高い領域を別枠で表示する一例を示す図である。 外部への危険領域の理想的な表示イメージを示す図である。 レーザー光による危険領域の理想的な外部表示イメージを示す図である。 レーザー光による危険領域の現実的な外部表示イメージを示す図である。 近赤外線レーザー光を危険領域内に侵入してきた作業者等に照射したときの様子を示す図である。 カメラ映像をそのまま用いて危険領域をスーパーインポーズ処理した場合の画像モニターでの表示イメージを示す図である。 実施例２の油圧ショベル（建設・土木作業車両の一例）の作業安全監視システムを示す制御系全体システム図である。 実施例２の画像認識機能の無い安全監視コントローラ３にて実行される油圧ショベル作業の安全監視制御処理の流れを示すフローチャートである。

符号の説明

Ａ 油圧ショベルＡ（建設・土木作業車両の一例）
１ カメラ
２ 駆動系センサー
３ 安全監視コントローラ
３ａ 画像メモリ
３ｂ 画像処理部
３ｃ 画像認識処理部
３ｄ 危険領域判定処理部
３ｅ 画像処理用基本情報ROM
３ｆ スーパーインポーズ処理部
３ｇ 表示制御系
３ｈ 警告メッセージ発生器
３ｉ 警告音発生器
３ｊ 危険領域外部表示制御部
４ メッセージ発生用外部手動スイッチ
５ 外部スピーカー
６ 画像モニター
７ レーザー発光・駆動装置
８ 強制発光用外部警告スイッチ
９ 近赤外線レーザー投光器（投光器）
１０ 可視光レーザー投光器（投光器）

Claims (9)

1. 旋回動作やアームの伸長度合いにより可動域が変化する建設・土木作業車両の作業安全監視システムにおいて、
   前記建設・土木作業車両に搭載され、作業車両周囲のカメラ映像データを取得するカメラと、
   前記建設・土木作業車両に搭載され、操作者による操作ミスを想定した最大可動域を危険領域と判定する危険領域判定処理部と、前記カメラからのカメラ映像データに、判定された危険領域を重ね合わせるスーパーインポーズ処理部を有する安全監視コントローラと、
   前記建設・土木作業車両の操作室に設定され、カメラ映像に危険領域を重畳した画像を内部警告表示として映し出す画像モニターと、
   を備えたことを特徴とする建設・土木作業車両の作業安全監視システム。
2. 請求項１に記載された建設・土木作業車両の作業安全監視システムにおいて、
   前記カメラは、前記建設・土木作業車両の可動域が変化しても視界が変化しない下部走行体に複数取り付けられ、
   前記安全監視コントローラは、前記複数のカメラからのカメラ映像データを、前記建設・土木作業車両とその周囲を真上から見下ろした俯瞰映像データに視点変換する画像処理部を有することを特徴とする建設・土木作業車両の作業安全監視システム。
3. 請求項１または請求項２に記載された建設・土木作業車両の作業安全監視システムにおいて、
   前記建設・土木作業車両による旋回動作やアームの伸長度合いによる可動域の変化を検出する駆動系センサーを設け、
   前記安全監視コントローラは、前記危険領域判定処理部において、前記駆動系センサーからの検出値が変化する毎に危険領域を判定し、前記スーパーインポーズ処理部において、カメラ映像に重畳する危険領域をリアルタイムに更新して表示することを特徴とする建設・土木作業車両の作業安全監視システム。
4. 請求項１乃至請求項３の何れか１項に記載された建設・土木作業車両の作業安全監視システムにおいて、
   前記建設・土木作業車両に、車両外部の作業者等が視認できる光線を用いて領域表示する投光器を設け、
   前記安全監視コントローラは、前記危険領域判定処理部により危険領域が判定されると、前記画像モニターによる内部警告表示と共に、前記投光器により危険領域を外部警告表示することを特徴とする建設・土木作業車両の作業安全監視システム。
5. 請求項４に記載された建設・土木作業車両の作業安全監視システムにおいて、
   前記投光器は、投光ビームにより危険領域内を上下左右に素早く走査することにより、危険領域の空間を描画表示することを特徴とする建設・土木作業車両の作業安全監視システム。
6. 請求項５に記載された建設・土木作業車両の作業安全監視システムにおいて、
   前記投光器は、近赤外線レーザー光を照射するものであり、
   前記安全監視コントローラは、危険領域に作業者等が入ってきた場合、近赤外線レーザー光が照射された部分が白く浮かび上がることを利用し、これを映し出すカメラ画像データから外部作業者等の存在を認識する画像認識処理部を有することを特徴とする建設・土木作業車両の作業安全監視システム。
7. 請求項６に記載された建設・土木作業車両の作業安全監視システムにおいて、
   前記安全監視コントローラのスーパーインポーズ処理部は、前記画像認識処理部により外部作業者等の存在が認識された場合、外部作業者等をあらわす侵入者表示を重畳し、
   前記画像モニターは、カメラ映像に危険領域と侵入者表示を重畳した画像を内部警告表示として映し出すことを特徴とする建設・土木作業車両の作業安全監視システム。
8. 請求項６または請求項７に記載された建設・土木作業車両の作業安全監視システムにおいて、
   前記安全監視コントローラは、前記画像認識処理部により外部作業者等の存在が認識されると、近赤外線レーザー光に代え、近赤外線レーザー光より視認性の高い可視光レーザーにより危険領域を外部警告表示することを特徴とする建設・土木作業車両の作業安全監視システム。
9. 請求項６乃至請求項８の何れか１項に記載された建設・土木作業車両の作業安全監視システムにおいて、
   前記安全監視コントローラは、前記画像認識処理部により外部作業者等の存在が認識されると、前記画像モニターによる内部警告表示と前記投光器による外部警告表示に加え、外部スピーカーにより警告音を発生することを特徴とする建設・土木作業車両の作業安全監視システム。

Images