JP2022155853A - 作業指示システム - Google Patents

Abstract

【課題】作業者並びに部品およびジグ等に検出用機器を取り付けない簡単な構成で、次工程における作業手順を作業者に確実に認識させる。【解決手段】作業者の現在の作業状況に基づいて、次工程の作業手順を作業者に対して自動表示する作業指示システム１である。作業者の姿態に関する情報を取得するカメラ３および入力部１１と、作業者の姿態に関する情報に基づいて、作業者の骨格情報を算出し、作業者の動作を推定する動作推定部１３と、推定された作業者の動作と、予め定められた複数の工程における作業手順と、に基づいて、作業者が行っている現在工程を特定する工程特定部１５と、各工程における作業手順を示す画像を、作業者に対して表示することが可能なタブレット端末５と、特定された現在工程の次工程における作業手順をタブレット端末５に表示させる指示部１７と、を備えている。【選択図】図１

Description

本発明は、作業指示システムに関し、特に、セル生産方式において、作業者に対して次工程の作業手順を自動表示する作業指示システムに関するものである。

従来、産業機器や電子機器等の生産工場では、各々単一または少数の作業を担当する作業者をベルトコンベアの流れ方向に多人数配置し、これら多人数の作業者で製品を完成させる、少品種多量生産に適したライン生産方式が主流であった。もっとも、最近では、多数の作業を担当する一人乃至少人数の作業者で製品を完成させる、多品種少量生産に適したセル生産方式が多用されてきている。

かかるセル生産方式によれば、消費者ニーズの多様化に応えることができるものの、一人の作業者が担当する工程が多数に上ることから、各工程における作業手順を定めた作業手順書が複雑化する傾向にあり、作業手順の確認が作業者にとって負担となっているという問題がある。

そこで、作業者に対する作業指示や、作業が適正に行われているか否かの監視等を自動化する提案が従来からなされている。

例えば特許文献１には、作業者の手首や腕に装着されたＲＦＩＤリーダによって、ジグまたは部品等のオブジェクトに貼付されたＲＦＩＤタグを検知した場合に、オブジェクトと対応付けられたタスクの組立マニュアルデータを、ディスプレイ装置等で標準時間だけ再生するようにした組立指示表示装置が開示されている。

また、特許文献２には、作業者の頭部に装着されたヘッドマウントディスプレイによって、作業者の手の動き（手の輪郭または手の輪郭の変化）を検出し、これと、適正な作業内容を表す基準作業情報における手の動きとが一致するか比較し、この比較結果に基づいて、作業者の動作が、全作業工程における何れの作業フェーズのものであるのかを判定し、作業フェーズの欠落や手順の矛盾を自動的に検証するようにした作業監視システムが開示されている。

特開２００８－２０３９２２号公報 特開２００８－００３７８１号公報

しかしながら、上記特許文献１のものには、ＲＦＩＤタグが貼付されるジグや部品等を使用しない作業には適用することが困難であるという問題や、作業者に装着される検出用機器（ＲＦＩＤリーダ等）を紛失したような場合には、作業者に対する組立マニュアルデータの表示が困難となり、作業が停滞してしまうという問題がある。

また、上記特許文献２のものには、作業者の体格等によってヘッドマウントディスプレイの画角が異なってしまい、手の輪郭の検出精度が低下するおそれや、手の輪郭の検出誤差により、誤った作業フェーズが判定されるおそれがある上、上記特許文献１のものと同様、ヘッドマウントディスプレイを紛失したような場合には、作業が停滞してしまうという問題がある。

本発明はかかる点に鑑みてなされたものであり、その目的とするところは、作業者並びに部品およびジグ等に検出用機器を取り付けない簡単な構成で、次工程における作業手順を作業者に確実に認識させる技術を提供することにある。

前記目的を達成するため、本発明に係る作業指示システムでは、作業者の姿態に基づいて、作業者が行っている現在工程を特定し、次工程における作業手順を作業者に対して自動表示するようにしている。

具体的には、本発明は、作業者の現在の作業状況に基づいて、次工程における作業手順を当該作業者に対して自動表示する作業指示システムを対象としている。

そして、この作業指示システムは、上記作業者の姿態に関する情報を取得する情報取得部と、上記情報取得部によって取得された情報に基づいて、上記作業者の骨格情報を算出し、当該作業者の動作を推定する動作推定部と、上記動作推定部によって推定された上記作業者の動作と、予め定められた、複数の工程における作業手順と、に基づいて、当該作業者が行っている現在工程を特定する工程特定部と、各工程における作業手順を示す画像を、作業者に対して表示することが可能な表示部と、上記工程特定部によって特定された現在工程の次工程における作業手順を上記表示部に表示させる指示部と、を備えていることを特徴とするものである。

この構成によれば、情報取得部によって取得された作業者の姿態に関する情報に基づいて、作業者の骨格情報を算出することで、作業者の動作を推定することから、作業者の輪郭等を検出する場合に比して、作業者の動作を高い精度で推定することができる。また、作業者の動作を推定するために、作業者並びに部品およびジグ等に取り付けられる検出用機器を省略することから、ジグや部品等を使用しない作業にも対応可能であるともに、検出用機器の紛失等に起因して作業が停滞するのを抑えることができる。

さらに、推定された作業者の動作と、複数の工程における作業手順と、に基づいて、作業者が行っている現在工程を特定し、かかる特定された現在工程の次工程における作業手順を、表示部を用いて作業者に対して表示することから、次工程に先立ち、次工程の作業手順を作業者に確実に認識させることができる。これにより、作業手順書が複雑化する傾向にあるセル生産方式においても、作業者が次工程における作業手順を確認するために、一々作業手順書を見る必要がなくなるので、作業者の負担を軽減することが可能となる。

もっとも、作業者の動作が、作業手順書に記載された、いずれかの作業手順に常に該当するとは限らず、失念や勘違い等により、作業者が行っている作業内容と工程とが乖離してしまうケースも想定される。

そこで、上記作業指示システムでは、上記作業者に対して警告を発することが可能な警告部をさらに備え、上記工程特定部は、上記動作推定部によって推定された上記作業者の動作が、複数の工程における作業手順のいずれにも対応していない場合には、当該作業者の動作が作業手順から逸脱していると判定するように構成されており、上記指示部は、上記工程特定部によって逸脱していると判定された場合に、上記警告部を作動させるように構成されていてもよい。

この構成によれば、作業者に対して警告を発することで、自己の動作が作業手順から逸脱していることを、作業者に容易に認識させることができる。

以上説明したように、本発明に係る作業指示システムによれば、作業者並びに部品およびジグ等に検出用機器を取り付けない簡単な構成で、次工程における作業手順を作業者に確実に認識させることができる。

本発明の実施形態に係る作業指示システムを模式的に示すブロック図である。 作業手順書の一例を模式的に示す図である。 作業者の動作推定手法を模式的に説明する図である。 作業者に表示される作業手順の一例を模式的に示す図である。 作業指示システムによる処理手順の一例を示すフローチャートである。

以下、本発明を実施するための形態を図面に基づいて説明する。

図１は、本実施形態に係る作業指示システム１を模式的に示すブロック図であり、図２は、作業手順書２０の一例を模式的に示す図である。なお、図２に示す作業手順書２０は、飽くまで本実施形態を説明するための仮想のものであり、実際の製造手順を規定するものではない。

この作業指示システム１は、生産工場等において、一人の作業者Ｐ（図３参照）で製品を完成させるセル生産方式に適用されるものであり、作業者Ｐの現在の作業状況に基づいて、作業手順書２０に記載された複数の工程の中から、作業者Ｐが現在行っている工程を自動的に特定して、次工程における作業手順を作業者Ｐに対して自動表示するように構成されている。

より詳しくは、多品種少量生産に適したセル生産方式では、消費者ニーズの多様化に応えることができるものの、一人の作業者Ｐが担当する工程が多数に上ることから、各工程における作業手順を定めた作業手順書２０が複雑化する傾向にある。例えば、図２に示す作業手順書２０には、４つの工程２１，２２，２３，２４が記載されているとともに、各工程につき様々な手順や手順ポイントが記載されており、作業手順の確認が作業者Ｐにとって負担となっている。

そこで、本実施形態に係る作業指示システム１では、カメラ３で撮像した作業者Ｐの現在の作業状況に基づいて、作業者Ｐが行っている現在工程を制御装置１０で特定し、次工程に先立って、その作業手順を、タブレット端末５を用いて作業者Ｐに示すことで、次工程についての作業指示を的確に行うようにしている。以下、このような作業指示を可能とする作業指示システム１について詳細に説明する。

本実施形態に係る作業指示システム１は、図１に示すように、制御装置１０と、カメラ３と、タブレット端末５と、スピーカー７と、を備えている。これらのカメラ３、タブレット端末５およびスピーカー７は、有線または無線によってそれぞれ制御装置１０と接続されている。

制御装置１０は、例えばパソコン等のコンピュータであり、各種の演算処理を実行するＣＰＵ（Central Processing Unit）や、プログラムやデータが記憶されたＲＯＭ（Read Only Memory）や、ＣＰＵによる演算処理の実行中に生成されたデータや情報を一時的に保持するＲＡＭ（Random Access Memory）等を中心に構成されている。制御装置１０は、図１に示すように、入力部１１と、動作推定部１３と、工程特定部１５と、指示部１７と、を有していて、ＲＯＭに記憶された各種のプログラムをＣＰＵ上で実行することにより、これら入力部１１、動作推定部１３、工程特定部１５および指示部１７の制御処理を実現するように構成されている。

カメラ３は、作業者Ｐが作業を行う作業台３０（図３参照）の近傍に設置されていて、作業中の作業者Ｐや作業台３０の上面等を連続的に撮像して、撮像した画像データを入力部１１に送信するように構成されている。なお、本実施形態では、一人の作業者Ｐを１台のカメラ３で撮像するが、これに限らず、一人の作業者Ｐを複数台のカメラ３で撮像するようにしてもよい。

入力部１１は、カメラ３から送信された画像データを処理して、作業者Ｐの姿態（ある姿勢をとったり動いたりしているときの姿）を、例えば撮像時刻やカメラ３の撮像角度等と関連付けて記憶（取得）するように構成されている。これらにより、請求項との関係では、本実施形態のカメラ３および入力部１１が、本発明でいうところの「作業者の姿態に関する情報を取得する情報取得部」に相当する。

図３は、作業者Ｐの動作推定手法を模式的に説明する図である。動作推定部１３は、カメラ３および入力部１１によって取得された情報に基づいて、作業者Ｐの骨格情報を算出し、作業者Ｐの動作を推定するように構成されている。より詳しくは、動作推定部１３は、連続的に撮像された画像データから、図３に示すように、作業者Ｐの可動部（関節Ｊ）を抽出する。そうして、動作推定部１３は、抽出した関節Ｊに基づいて、骨格情報（図３の骨格モデルＳ参照）を算出することで、作業者Ｐの特定の動作を検出（推定）するように構成されている。

これにより、作業者ＰがＲＦＩＤリーダを装着したり、モーションキャプチャー等を用いたりすることなく、作業者Ｐの動作分析を精度高く行うことが可能になる。また、作業者ＰがＲＦＩＤリーダ等の検出用機器を装着する手法では、検出用機器を紛失したような場合には、作業者Ｐの動作を検出することが困難となり、作業が停滞してしまうことが想定されるが、画像データから作業者Ｐの動作を推定する本実施形態では、検出用機器の紛失等に起因して作業が停滞するのを抑えることができる。

工程特定部１５は、動作推定部１３によって推定された作業者Ｐの動作と、予め定められた、複数の工程２１，２２，２３，２４における作業手順と、に基づいて、作業者Ｐが現在行っている工程（現在工程）を特定するように構成されている。具体的には、工程特定部１５は、ＡＩ（Artificial Intelligence）を用いた機械学習を利用して、推定された作業者Ｐの動作が、作業手順書２０に記載された４つの工程２１，２２，２３，２４における、どの作業に当たるのかを自動判別することによって、作業者Ｐが行っている現在工程を特定するように構成されている。

このように、作業者Ｐの動作がどの作業に当たるのかを判定する際には、例えば、（１）作業台３０上における作業者Ｐの手の位置、（２）作業台３０上で作業者Ｐが何を触ったか、（３）作業者Ｐの手の静止時間や動作の種類、および、（４）これら（１）～（３）のシーケンス等が一つの判断要素となる。

例えば、工程特定部１５は、（１）推定された作業者Ｐの動作と、作業台３０の上面の画像データとから、作業者Ｐの右手または左手が作業台３０上における、どの領域に入っているかを推測し、これを判断要素の一つとする。また、工程特定部１５は、（２）推定された作業者Ｐの動作と、作業台３０の上面の画像データとから、作業者Ｐが特定の部品３１や特定の工具３３を触ったことを推測し、これも判断要素の一つとする。さらに、工程特定部１５は、（３）推定された作業者Ｐの動作から、作業者Ｐの手が或る領域に一定時間留まった（静止した）ことや、作業者Ｐの手が何かを回した・押した・叩いた等（動作の種類）を推測し、これらも判断要素の一つとする。加えて、工程特定部１５は、（４）これら（１）～（３）の順序や連続の有無も現在工程を特定する際の判断要素の一つとする。このような判断要素を積み重ねることで、作業者Ｐが行っている現在工程を高い精度で特定することが可能となる。

もっとも、作業者Ｐの動作が、作業手順書２０に記載された４つの工程２１，２２，２３，２４における、いずれかの作業手順に常に該当するとは限らず、失念や勘違い等により、作業者Ｐが行っている作業内容と工程とが乖離してしまうケースも想定される。

そこで、本実施形態では、動作推定部１３によって推定された作業者Ｐの動作が、複数の工程２１，２２，２３，２４における作業手順のいずれにも対応していない場合には、作業者Ｐの動作が作業手順から逸脱していると判定するように、工程特定部１５を構成している。つまり、工程特定部１５は、作業者Ｐが行っている現在工程を特定する機能のみならず、作業者Ｐの動作が作業手順から逸脱していると判定する機能をも有している。

より詳しくは、工程特定部１５は、先ず、動作推定部１３によって推定された作業者Ｐの動作が、作業手順書２０に記載された工程２１，２２，２３，２４における、作業手順のいずれかに該当するか否かを判定し、該当する場合には、作業者Ｐが行っている現在工程を特定する一方、該当しない場合には、作業者Ｐの動作が作業手順から逸脱していると判定するように構成されている。

指示部１７は、工程特定部１５によって、作業者Ｐの動作が作業手順から逸脱していると判定された場合に、スピーカー（警告部）７を作動させて、作業者Ｐに対して警告を発するように構成されている。このように、スピーカー７を用いて作業者Ｐに対して警告を発することで、自己の動作が作業手順から逸脱していることを、作業者Ｐに容易に認識させることができる。

図４は、作業者Ｐに表示される作業手順の一例を模式的に示す図である。タブレット端末（表示部）５は、例えば作業台３０上における作業者Ｐが見易い位置に配置されていて、図４に示すように、作業手順書２０を電子データ化した、各工程における作業手順を示す画像を、ディスプレイ５ａを通じて、作業者Ｐに表示することが可能になっている。

そうして、工程特定部１５によって作業者Ｐが行っている現在工程が特定された場合には、指示部１７は、特定された現在工程の次の工程（次工程）における作業手順を、次工程に先立って、タブレット端末５に表示させるように構成されている。例えば、工程特定部１５によって作業者Ｐが行っている現在工程が、作業手順書２０に記載された工程２１と特定された場合には、指示部１７は、図４に示すように、次工程２２における作業手順を、タブレット端末５のディスプレイ５ａに表示させる。これにより、作業手順書２０が複雑化する傾向にあるセル生産方式においても、作業者Ｐが次工程における作業手順を確認するために、一々作業手順書２０を見る必要がなくなるので、作業者Ｐの負担を軽減することが可能となる。

次に、図５に示すフローチャートを用いて、作業指示システム１による処理手順の一例を説明する。

先ず、ステップＳ１では、カメラ３が、作業中の作業者Ｐや作業台３０の上面等を連続的に撮像する。そうして、入力部１１がカメラ３から送信された画像データを処理することで、作業者Ｐの姿態に関する情報を取得する。

次のステップＳ２では、動作推定部１３が、連続的に撮像された画像データから、作業者Ｐの関節Ｊを抽出し、抽出した関節Ｊに基づいて、作業者Ｐの骨格情報を算出する。次のステップＳ３では、動作推定部１３が、ステップＳ２で算出した骨格情報に基づいて、作業者Ｐの特定の動作を推定する。

次のステップＳ４では、工程特定部１５が、ＡＩを用いた機械学習を利用して、推定された作業者Ｐの動作が、作業手順書２０に記載された工程２１，２２，２３，２４における、作業手順に該当するか否かを判定する。このステップＳ４での判定がＮＯの場合、すなわち、ステップＳ３で推定された作業者Ｐの動作が、複数の工程２１，２２，２３，２４における作業手順のいずれにも対応していない場合には、ステップＳ６に進む。

次のステップＳ６では、工程特定部１５が、作業者Ｐの動作が作業手順から逸脱していると判定し、ステップＳ８に進む。次のステップＳ８では、指示部１７が、スピーカー７を作動させて、作業者Ｐに対して警告を発した後、ＥＮＤする。

これに対し、ステップＳ４での判定がＹＥＳの場合には、ステップＳ５に進み、工程特定部１５が、作業者Ｐが行っている現在工程を特定した後、ステップＳ７に進む。次のステップＳ７では、指示部１７が、ステップＳ５で特定された現在工程の次工程における作業手順を、タブレット端末５のディスプレイ５ａを通じて、作業者Ｐに対して表示した後、ＥＮＤする。

なお、図５に示す処理手順は、作業者Ｐによる作業中、繰り返し実行されるようになっている。それ故、ステップＳ８において作業者Ｐに対して警告が発せられた場合には、再びＳＴＡＲＴに戻り、自己の動作が作業手順から逸脱していることを認識した作業者Ｐが適正な作業手順を行えば、ステップＳ７において、次工程における作業手順が作業者Ｐに対して表示されることになる。

（その他の実施形態）
本発明は、実施形態に限定されず、その精神又は主要な特徴から逸脱することなく他の色々な形で実施することができる。

上記実施形態では、カメラ３を用いて作業者Ｐの姿態に関する情報を取得するようにしたが、これに限らず、例えば三次元センサ（図示せず）を用いて、作業者Ｐの姿態に関する情報を取得するようにしてもよいし、カメラ３と三次元センサとを併用して、作業者Ｐの姿態に関する情報を取得するようにしてもよい。

また、上記実施形態では、スピーカー７を用いて作業者Ｐに対して警告を発するようにしたが、これに限らず、例えばスピーカー７を省略して、タブレット端末５の音声機能を用いたり、タブレット端末５のディスプレイ５ａを点滅させたりすることにより、作業者Ｐに対して警告を発するようにしてもよい。

さらに、上記実施形態では、作業者Ｐの動作が作業手順から逸脱していると判定された場合に、作業者Ｐに対して警告を発するようしたが、これに限らず、例えば、警告を発するとともに、現在行うべき適正な作業手順を、タブレット端末５のディスプレイ５ａに表示するようにしてもよい。

また、上記実施形態では、タブレット端末５を用いて次工程における作業手順を表示するようにしたが、これに限らず、例えば作業者Ｐの近傍に設置されたスクリーンや、モニターや、作業者Ｐが携帯するスマートフォン等に、次工程における作業手順を表示するようにしてもよい。

このように、上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

本発明によると、作業者並びに部品およびジグ等に検出用機器を取り付けない簡単な構成で、次工程における作業手順を作業者に確実に認識させることができるので、作業手順を作業者に対して自動表示する作業指示システムに適用して極めて有益である。

１ 作業指示システム
３ カメラ（情報取得部）
５ タブレット端末（表示部）
７ スピーカー（警告部）
１１ 入力部（情報取得部）
１３ 動作推定部
１５ 工程特定部
１７ 指示部
Ｐ 作業者

Claims (2)

1. 作業者の現在の作業状況に基づいて、次工程における作業手順を当該作業者に対して自動表示する作業指示システムであって、
   上記作業者の姿態に関する情報を取得する情報取得部と、
   上記情報取得部によって取得された情報に基づいて、上記作業者の骨格情報を算出し、当該作業者の動作を推定する動作推定部と、
   上記動作推定部によって推定された上記作業者の動作と、予め定められた、複数の工程における作業手順と、に基づいて、当該作業者が行っている現在工程を特定する工程特定部と、
   各工程における作業手順を示す画像を、作業者に対して表示することが可能な表示部と、
   上記工程特定部によって特定された現在工程の次工程における作業手順を上記表示部に表示させる指示部と、
   を備えていることを特徴とする作業指示システム。
2. 上記請求項１に記載の作業指示システムにおいて、
   上記作業者に対して警告を発することが可能な警告部をさらに備え、
   上記工程特定部は、上記動作推定部によって推定された上記作業者の動作が、複数の工程における作業手順のいずれにも対応していない場合には、当該作業者の動作が作業手順から逸脱していると判定するように構成されており、
   上記指示部は、上記工程特定部によって逸脱していると判定された場合に、上記警告部を作動させるように構成されていることを特徴とする作業指示システム。

Images