JP2017162102A - 保守支援方法、保守支援システム、及び保守支援プログラム - Google Patents

Abstract

【課題】保守作業を正確に記録することに優れた保守支援方法を提供すること。【解決手段】保守支援方法は、異なる方向を撮影するアウトカメラ及びインカメラを備えたウェアラブルデバイスが、アウトカメラより撮影された第１の画像から、保守対象位置の識別情報を検出し、検出に対応して、前記識別情報とインカメラにより撮影された第２の画像とを情報処理装置へ送信する。情報処理装置は、前記識別情報と第２の画像とを受信し、第２の画像からウェアラブルデバイスを装着したユーザの状況を判定し、前記識別情報に関連付けてユーザの状況を記録する。【選択図】図４

Description

本発明の実施形態は、保守支援方法、保守支援システム、及び保守支援プログラムに関する。

紙葉類処理システムにおいて、搬送路の点検のために、確認者が稼働中の搬送路を目で確認する定期的な保守作業がある。確認者は目で、搬送路に異物や残留物、その他異常が無いか確認し、その保守作業の結果をチェックリストなどの用紙に記録する。確認者はその用紙を提出することで目視点検を実施したこととされる。つまり、その保守作業を遂行した実績と記録は、確認者と管理者の信頼関係で成り立っている。

また、保守作業の効率化を図るため、作業者端末と作業場所から離れて設置される中央制御装置との間で通信し、作業者端末で作業情報を表示する技術が知られている。

特開２００４−１０２７２７号公報

上記した確認者による保守の申告では、確認者の不正行為を防ぐことができない。保守作業を遂行した実績と記録は、確認者と管理者の信頼関係で成り立っており、その遂行記録が正しいものかどうかは確認者に委ねられている。そのため、確認者が目視確認せずに遂行記録をつけた場合や遂行記録を改竄しても、それを検出して防止する術がない。

また、チェックリスト記入へのヒューマンエラーを防止できない。確認者は手入力によって目視点検の実施記録を記入するため、ヒューマンエラーによる誤記入や点検項目を間違えるケースを防ぐことができない。例えば、搬送路Ａを目視確認したが、チェックリストに記入する際に間違えて搬送路Ｂにチェックを記入してしまった場合や、点検項目として搬送路Ａを確認するはずだが、誤って搬送路Ｃを見て「搬送路Ａを目視点検した」と記録してしまうなどが起こり得る。

また、視る角度が個人差で変わってしまう。目視点検する箇所を予め決めて手順化しても、確認者がその箇所を見る角度には個人差がある。よって目視点検の質には個人差があり、指定の角度と位置から点検箇所を目視するように強制できない。また事前に確認者へ視る角度や位置を教育しても、実際の目視点検で指示通りに目視するかは確認者次第である。

本発明の目的は、保守作業を正確に記録することに優れた保守支援方法、保守支援システム、及び保守支援プログラムを提供することである。

実施形態の保守支援方法は、異なる方向を撮影する第１及び第２のカメラを備えたウェアラブルデバイスは、前記第１のカメラより撮影された第１の画像から、保守対象位置の識別情報を検出し、前記識別情報の検出に対応して、前記識別情報と前記第２のカメラにより撮影された第２の画像とを情報処理装置へ送信し、前記情報処理装置は、前記識別情報と前記第２の画像とを受信し、前記第２の画像から前記ウェアラブルデバイスを装着したユーザの状況を判定し、前記識別情報に関連付けて前記ユーザの状況を記録する。

実施形態に係る保守支援システムの一例を示す概念図である。 実施形態に係る保守支援システムによる保守支援処理の一例を示す概念図である。 実施形態に係る保守支援システムの一例を示すブロック図である。 実施形態に係る保守支援システムによる保守支援処理の一例を示すフローチャートである。

図１は、実施形態に係る保守支援システムの一例を示す概念図である。また、図２は、実施形態に係る保守支援システムによる保守支援処理の一例を示す概念図である。また、図３は、実施形態に係る保守支援システムの一例を示すブロック図である。

図１〜図３に示すように、保守支援システムは、確認者（保守員）が使用するウェアラブル端末（ウェアラブルデバイス）１００と、このウェアラブル端末１００と通信し目視点検等の保守作業を記録する情報処理端末（情報処理装置）２００を備える。

例えば、ウェアラブル端末１００は、異なる方向を撮影するアウトカメラとインカメラが搭載されたグラス型の端末である。なお、ウェアラブル端末１００は、スマートフォン又はタブレット端末などの電子機器でもよい。確認者は、ウェアラブル端末１００を装着して、紙葉類を処理する紙葉類処理システム等の保守対象機器３００を目視する。また、保守対象機器３００の複数の保守対象位置（搬送路等）３０１には、識別情報の一例としての2次元バーコード３０２が貼り付けられたり、又は2次元バーコード３０２が表示されたりする。例えば、保守対象機器３００は、動作モード等に応じて、保守対象位置の2次元バーコード３０２の表示を切り替えることができる。つまり、各保守対象位置に表示される2次元バーコード３０２は動作モード等に応じた識別情報となる。情報処理装置２００は、保守作業の実施を記録するデータベースＤＢを備える。なお、識別情報は、2次元バーコード３０２以外の識別情報であってもよい。

図３に示すように、ウェアラブル端末１００は、制御部１１１、データメモリ１１２、ＲＡＭ１１３、ＲＯＭ１１４、通信部１１５、入力部１１６、表示部１１７、アウトカメラ１１８、インカメラ１１９を備える。制御部１１１は、ＣＰＵ（Central Processing Unit）等により構成され、データメモリ１１２に記憶された保守支援アプリケーションを実行し、保守支援処理を実行する。データメモリ１１２は、ＥＥＰＲＯＭ（登録商標）、ＦＲＡＭ（登録商標）、又はＦＬＡＳＨ等の不揮発性メモリであり、保守支援アプリケーション等を記憶する。ＲＡＭ１１３は、ワーキングメモリとして機能し、ＲＯＭ１１４は、制御部１１１により実行されるプログラムを保持する。

なお、本実施形態では、外部からダウンロードされる保守支援アプリケーションをデータメモリ１１２が記憶するケースについて説明するが、保守支援アプリケーションを記憶したＲＯＭ１１４を持たせてウェアラブル端末１００を出荷するようもよい。

入力部１１６は、ユーザからの各種入力を受け付ける。表示部１１７は、例えば透過型ディスプレイであり、確認者は、表示部１１７を介して保守対象機器３００（保守対象位置３０１）を目視することができ、また、表示部１１７に表示される各種情報を見ることもできる。或いは、表示部１１７は、投影機能を有し、投影画像とともに保守対象機器３００（保守対象位置３０１）を目視することができる。通信部１１５は、情報処理端末２００と通信し、各種情報を送信する。

アウトカメラ１１８とインカメラ１１９は、異なる方向（例えば反対方向）を撮影する。例えば、アウトカメラ１１８は、ユーザがウェアラブル端末１００を装着した際、ユーザの視点（方向）と同じ方向を撮影し、インカメラ１１９はユーザの瞳孔を撮影する。アウトカメラ１１８とインカメラ１１９により撮影された映像を解析することにより、ユーザの目視画像を記録することができ、また、目視状況を分析することもできる。

情報処理端末２００は、汎用コンピュータ等であり、制御部２１１、情報記憶部２１２、ＲＡＭ２１３、ＲＯＭ２１４、通信部２１５、入力部２１６、表示部２１７を備える。制御部２１１は、ＣＰＵ等により構成され、情報記憶部２１２に記憶された保守支援アプリケーションを実行し、保守支援処理を実行する。情報記憶部２１２は、ハードディスク等の大容量記憶装置であり、保守支援アプリケーション及び保守作業記録を保持するデータベース等を記憶する。ＲＡＭ２１３は、ワーキングメモリとして機能し、ＲＯＭ２１４は、制御部２１１により実行されるプログラムを保持する。

以下、図２〜図４を参照して、保守支援処理の一例について説明する。

例えば、情報処理端末２００の情報記憶部２１２は、保守作業（例えば目視点検）のタイムスケジュールを記憶する。制御部２１１は、タイムスケジュール及び現在時刻に基づき、目視作業の開始時刻を検出する（手順（１））（ＳＴ２０１）。制御部２１１は、目視作業の開始時刻を検出し、通信部２１５は、目視作業（作業開始）に関する情報を送信する（ＳＴ２０２）。

ウェアラブル端末１００の通信部１１５は、目視作業に関する情報を受信し、表示部１１７は、目視作業に関する情報を表示し（ＳＴ１０３）、確認者に保守作業の実施を促す。例えば、表示部１１７は、点検箇所（2次元バーコード３０２の位置）を案内表示する。

ウェアラブル端末１００を装着した確認者が点検箇所を目視すると、ウェアラブル端末１００のアウトカメラ１１８は点検箇所に対応して貼り付けられた2次元バーコード３０２を撮影することができる（手順（２））。或いは、ウェアラブル端末１００に代わるスマートフォン又はタブレット端末を用いる場合には、スマートフォン又はタブレット端末のアウトカメラを2次元バーコード３０２にかざし、2次元バーコード３０２が撮影されている状態で、スマートフォン又はタブレット端末越しに、点検箇所を目視する。

ウェアラブル端末１００のアウトカメラ１１８は確認者の視点方向を撮影し、制御部１１１は、アウトカメラ１１８により撮影された画像から2次元バーコード３０２を検出し2次元バーコード３０２を認識し（ＳＴ１０４）、認識された2次元バーコード３０２のIDと2次元バーコード３０２の検出開始時刻と終了時刻をデータメモリ１１２へ記録する（手順（３））（ＳＴ１０５）。なお、表示部１１７が、2次元バーコード３０２のIDと2次元バーコード３０２の検出開始時刻と終了時刻を表示し、これら表示される情報をデータメモリ１１２へ記録するようにしてもよい。

また、ウェアラブル端末１００インカメラ１１９は、2次元バーコード３０２の検出中に、確認者の瞳孔を撮影し（ＳＴ１０６）、制御部１１１は瞳孔画像とその撮影時刻をデータメモリ１１２へ記録する（手順（４））（ＳＴ１０７）。例えば、2次元バーコード３０２の検出開始後に、インカメラ１１９が確認者の瞳孔を撮影し、制御部１１１は撮影時刻と瞳孔画像をデータメモリ１１２へ記録する。或いは、インカメラ１１９が継続的に確認者の瞳孔を撮影し、制御部１１１は、2次元バーコード３０２の検出開始後に、撮影された瞳孔画像を取得し、取得された瞳孔画像とその取得時刻をデータメモリ１１２へ記録する。これにより、2次元バーコード３０２の検出開始時刻と終了時刻の間の確認者の瞳孔画像が取得される。

さらに、ウェアラブル端末１００の通信部１１５は、2次元バーコード３０２のIDと、2次元バーコード３０２の検出開始時刻と終了時刻と、確認者の瞳孔画像と、確認者の瞳孔画像の撮影時刻を送信する（手順（５））（ＳＴ１０８）。

情報処理端末２００の通信部２１５は、2次元バーコード３０２のIDと、2次元バーコード３０２の検出開始時刻と終了時刻と、確認者の瞳孔画像と、確認者の瞳孔画像の撮影時刻を受信する（ＳＴ２０９）。また、情報処理端末２００の制御部２１１は、2次元バーコード３０２の検出開始時刻と終了時刻の間に確認者の瞳孔の撮影時刻が含まれていることを確認した上で、確認者の瞳孔画像を解析する。制御部２１１は、確認者の瞳孔の撮影画像の解析結果に基づき、確認者の目視確認状況を判定する（ＳＴ２１０）。例えば、制御部２１１は、確認者の瞳孔の向きを検出し、正面を向いていることが検出されれば、アウトカメラ１１８の撮影方向を見ていると判断する（手順（６））。

情報処理端末２００の制御部２１１は、2次元バーコード３０２のIDと確認者の瞳孔の撮影時刻と目視確認状況等をデータベースへ記録する（ＳＴ２１１）。例えば、目視確認状況が良好と判断された場合には、2次元バーコード３０２のIDに対応する点検箇所は目視確認により正しく点検されたことを記録する（手順（７））。

本実施形態によれば、以下の作用効果が得られる。

例えば、確認者の不正行為を防ぐことができる。確認者の瞳孔が正面を向いている場合に、目視点検を実施したとみなされるので、確認者が目視点検作業を実施しない場合には、目視点検を実施したことは記録されない。

また、チェックリスト記入へのヒューマンエラーを防止できる。瞳孔の撮影は、ウェアラブル端末１００により2次元バーコード３０２が検出されている間、又はウェアラブル端末１００に2次元バーコード３０２が表示されている間に実施される。このため、確認者は的確に点検箇所を見ていることとなる。よって点検箇所ではない箇所（2次元バーコード３０２の無い箇所）を目視確認しても、目視点検の実施は記録されず、ヒューマンエラーを防ぐことができる。また全ての手順は機械で自動処理されるため、誤記入などのヒューマンエラーも防ぐことができる。

また、決まった角度と位置で目視点検が実行されたことを記録できる。ウェアラブル端末１００は2次元バーコード３０２を決まった角度と位置で認識する。このため、決まった角度と位置で目視点検された場合に、正しく目視点検されたことが記録される。

さらに、本実施形態の保守支援システムによれば、以下のような保守支援も可能である。

例えば、情報処理端末２００の情報記憶部２１２は、保守作業毎に、ＩＤに関連付けられた保守作業情報（例えば保守作業マニュアル）を記憶する。例えば、保守作業情報は、保守作業の手順（作業優先順位）等を含む。ウェアラブル端末１００は、上記説明したように、2次元バーコード３０２を認識して得られたＩＤを情報処理端末２００へ送信する。情報処理端末２００は、受信したＩＤに関連付けられた保守作業情報を検索し、検索された保守作業情報をウェアラブル端末１００へ送信する。ウェアラブル端末１００は、受信した保守作業情報を表示する。つまり、上記したように、確認者が、ウェアラブル端末１００を介して、保守対象位置（搬送路等）３０１を目視するだけで、ウェアラブル端末１００が、保守対象位置の2次元バーコード３０２を検出し、2次元バーコード３０２のＩＤに関連付けられた保守作業情報を表示することができる。なお、ウェアラブル端末１００が、事前に、保守作業毎に、ＩＤに関連付けられた保守作業情報を記憶し、2次元バーコード３０２のＩＤに基づき、保守作業情報を検索し表示するようにしてもよい。これにより、情報処理端末２００のデータベースには、保守作業情報に対応した作業結果（目視確認状況等）が記録されることになる。

また、ウェアラブル端末１００が保守対象機器３００と通信することにより、或いは、ウェアラブル端末１００が情報処理端末２００を介して保守対象機器３００と通信することにより、保守作業手順の進行に合わせて、ウェアラブル端末１００の保守作業情報の表示内容を更新することもできる。例えば、保守対象機器３００がジャム処理完了、消耗品交換完了などを検知すると保守完了情報をウェアラブル端末１００へ直接又は間接的に送信する。ウェアラブル端末１００は、この保守完了情報に基づき保守作業情報の表示内容を更新（消去）することができる。

また、保守対象機器３００が紙葉類処理装置である場合には、ウェアラブル端末１００が紙葉（紙幣）の画像を読み取り、紙葉画像から紙葉の記番号を抽出し認識し、記番号を記録することもできる。さらに、ウェアラブル端末１００が、この記番号を情報処理端末２００へ送信することもできる。これにより、情報処理装置２００は、ウェアラブル端末１００を装着した確認者がどのような記番号の紙葉を取り扱ったか記録、管理することができる。例えば、紙葉類処理装置が紙葉照合／追跡リスト（記番号リスト）を記憶する場合には、ウェアラブル端末１００から送信される記番号が追跡／照合リストに含まれるか否かを判定し、判定結果をウェアラブル端末１００へ送信することができる。この場合、ウェアラブル端末１００は、判定結果を表示することができる。なお、ウェアラブル端末１００が、紙葉照合／追跡リスト（記番号リスト）を記憶し、読み取られた記番号が紙葉照合／追跡リスト（記番号リスト）に含まれるか否かを判定するようにしてもよい。

また、ウェアラブル端末１００のアウトカメラ１１８による撮影を連続動作させることにより、セキュリティの向上を図ることもできる。つまり、常時、確認者の作業（手元）が撮影されることから、確認者の不正行為等の抑止につながる。また、ウェアラブル端末１００は、位置検出により、撮影禁止領域では撮影しない、又は撮影範囲を自動的に限定することもできる。例えば、ウェアラブル端末１００は、画像から検出された2次元バーコード３０２のサイズ、傾きに基づき、2次元バーコード３０２に対する位置検出が可能となる。さらに、ウェアラブル端末１００がジャイロセンサーを持ち、ジャイロセンサーによる傾きを含め、2次元バーコード３０２に対する位置検出を行うようにしてもよい。

また、リモートでオペレータからサポートを受ける際も、ウェアラブル端末１００のアウトカメラ１１８で撮影された画像が情報処理端末２００へ送信されているので、この画像をオペレータが目視することにより、オペレータは、情報処理端末２００から適切な情報（余計な情報を含まない）をウェアラブル端末１００へ送信することができる。さらに、ウェアラブル端末１００のインカメラ１１９で撮影された画像（顔画像）が情報処理端末２００へ送信されているので、この画像をオペレータが目視することにより、オペレータは、情報処理端末２００から、確認者がどこに注目して作業をしているかを見ながら適切な情報（余計な情報を含まない）をウェアラブル端末１００へ送信することができる。或いは情報処理端末２００が、アウトカメラ１１８で撮影された画像とインカメラ１１９で撮影された画像から確認者が目視している画像を抽出することにより、オペレータは、情報処理端末２００から、確認者がどこに注目して作業をしているかを見ながら適切な情報（余計な情報を含まない）をウェアラブル端末１００へ送信することができる。以上により、操作性向上、保守性向上に活用可能である。加えて、リモートでのサポート（指示出し）でも活用できる。

また、手鑑査のサポートとしても適用が可能である。ウェアラブル端末１００のアウトカメラ１１８により、赤外線画像（ＩＲ画像）や蛍光画像（Ｆ画像）、波形等を取得することができ、これらの参照が可能である。例えば、上記した記番号に基づくデータ検索を利用することにより、銀行窓口係やスーパーのレジ係はウェアラブル端末１００を装着し業務を行うと、ウェアラブル端末１００で取得された各種画像等が情報処理端末２００へ送信され、情報処理端末２００が瞬時で紙幣の真偽を判定し、ウェアラブル端末１００が判定結果を表示する。

また、ウェアラブル端末１００を用いることにより、鑑査現物に触れずに手鑑査することも可能となる。これにより、離れた場所からも鑑査が可能となる。クラウド内のプログラムで鑑査を行ない、鑑査結果はデータセンタから受信する。

従来は、紙葉類処理装置等でジャムや不具合が起きると遠隔にいる保守員にその旨が通知され、保守員が現地に向かい保守作業を行なう。保守員が現地に到着するまでの間、紙葉類処理装置等は稼働停止しており、この時間が稼働効率を低下させる大きな原因となっていた。本実施形態によれば、ウェアラブル端末１００が次の作業指示を出力するので、オペレータは作業指示に従い保守作業を行うことができる。これにより、機器稼働効率の向上を図ることができる。

また、ウェアラブル端末１００は、保守対象位置に応じた保守マニュアルを表示することもできるので、保守マニュアルの閲覧性の向上を図ることもできる。また、ウェアラブル端末１００からの画像に含まれた記番号に基づくデータ管理が可能となる。これにより、紙葉類の真偽判定等が可能となる。

なお、ウェアラブル端末１００及び情報処理端末２００での全ての処理はいくつかのソフトウェア（保守支援プログラム）によって実行することが可能である。このため、上記処理の手順を実行するいくつかのプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこれらプログラムをウェアラブル端末１００及び情報処理端末２００へインストールして実行するだけで、上記処理を容易に実現することができる。例えば、ウェアラブル端末１００及び情報処理端末２００は、上記プログラムをネットワーク経由でダウンロードし、ダウンロードしたプログラムを記憶し、プログラムのインストールを完了することができる。或いは、ウェアラブル端末１００及び情報処理端末２００は、上記プログラムを情報記憶媒体から読み取り、読み取ったプログラムを記憶し、プログラムのインストールを完了することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１００…ウェアラブル端末、１１１…制御部、１１２…データメモリ、１１３…ＲＡＭ、１１４…ＲＯＭ、１１５…通信部、１１６…入力部、１１７…表示部、１１８…アウトカメラ、１１９…インカメラ、２００…情報処理端末、２１１…制御部、２１２…情報記憶部、２１３…ＲＡＭ、２１４…ＲＯＭ、２１５…通信部、２１６…入力部、２１７…表示部。

Claims (6)

1. 異なる方向を撮影する第１及び第２のカメラを備えたウェアラブルデバイスは、前記第１のカメラより撮影された第１の画像から、保守対象位置の識別情報を検出し、前記識別情報の検出に対応して、前記識別情報と前記第２のカメラにより撮影された第２の画像とを情報処理装置へ送信し、
   前記情報処理装置は、前記識別情報と前記第２の画像とを受信し、前記第２の画像から前記ウェアラブルデバイスを装着したユーザの状況を判定し、前記識別情報に関連付けて前記ユーザの状況を記録する保守支援方法。
2. 前記ウェアラブルデバイスは、前記第１の画像から、前記保守対象位置の２次元バーコードを検出し、前記２次元バーコードのＩＤと前記２次元バーコードの検出開示時刻と検出終了時刻と前記第２の画像と前記第２の画像の撮影時刻とを前記情報処理装置へ送信し、
   前記情報処理装置は、前記ＩＤと前記検出開示時刻と前記検出終了時刻と前記第２の画像と前記撮影時刻を受信し、前記検出開示時刻と前記検出終了時刻と前記第２の画像と前記撮影時刻からユーザの状況を判定し、前記識別情報に関連付けて前記ユーザの状況を記録する請求項１の保守支援方法。
3. 前記情報処理装置は、前記第２の画像から前記ユーザの瞳孔を検出し、前記瞳孔からユーザの目視方向を検出し、前記目視方向から前記ユーザによる前記保守対象位置の目視確認状況を判定し、前記識別情報に関連付けて前記ユーザの目視確認状況を記録する請求項２の保守支援方法。
4. 前記ウェアラブルデバイスは、前記検出開示時刻と前記検出終了時刻の間に撮影された前記第２の画像を前記情報処理装置へ送信する請求項２又は３の保守支援方法。
5. ウェアラブルデバイスの第１及び第２のカメラのうちの前記第１のカメラにより撮影された第１の画像から、保守対象位置の識別情報を検出し、前記識別情報の検出に対応して、前記識別情報と前記第２のカメラにより撮影された第２の画像とを送信する手順と、
   前記識別情報と前記第２の画像とを受信し、前記第２の画像から前記ウェアラブルデバイスを装着したユーザの状況を判定する手順と、前記識別情報に関連付けて前記ユーザの状況を記録する手順とを実行させる保守支援プログラム。
6. 異なる方向を撮影する第１及び第２のカメラを備えたウェアラブルデバイスは、前記第１のカメラより撮影された第１の画像から、保守対象位置の識別情報を検出する手段と、前記識別情報の検出に対応して、前記識別情報と前記第２のカメラにより撮影された第２の画像とを情報処理装置へ送信する手段とを備え、
   前記情報処理装置は、前記識別情報と前記第２の画像とを受信する手段と、前記第２の画像から前記ウェアラブルデバイスを装着したユーザの状況を判定する手段と、前記識別情報に関連付けて前記ユーザの状況を記録する手段とを備える保守支援システム。