JP7665986B2 - 作業レベル変換装置、作業レベル変換方法及び作業レベル変換プログラム - Google Patents

Description

本発明は、作業レベル変換装置、作業レベル変換方法及び作業レベル変換プログラムに関する。

工場等の生産現場では、作業者の動作を分析して作業者が実施した作業を認識し、その作業の内容を評価することが行われている。例えば、下記特許文献１には、物体とその物体を用いて作業した作業者の体の部位との関連付けを行って、その作業者が実施した作業を認識し、その認識結果に基づいて作業の内容を評価する作業認識装置が開示されている。

特許第６４４４５７３号公報

ところで、生産現場において実施される作業は、粒度が異なる作業レベルに分けることができる。例えば、箱詰めの作業は、箱を治具に固定する作業と製品を箱に収納する作業とに分けることができる。この場合、箱詰めの作業が、上位レベルの作業となり、箱を治具に固定する作業及び製品を箱に収納する作業が、下位レベルの作業となる。この下位レベルの作業に分けられた箱を治具に固定する作業は、箱を把持する作業と箱を運搬する作業と箱を調整する作業とにさらに分けることができる。この場合、箱を治具に固定する作業が、上位レベルの作業となり、箱を把持する作業、箱を運搬する作業及び箱を調整する作業が、下位レベルの作業となる。

作業の内容を評価する場合、作業レベルごとに評価の内容を設定することがある。したがって、作業を認識するときに、異なるレベルの作業を認識できると、より有効な評価を行うことが可能となる。

しかしながら、特許文献１では、同じレベルの作業を認識することにとどまっており、認識する作業を異なるレベルの作業に変換することはできない。

ここで、本願出願人による特願２０１９－２００８２６には、対象となる動作に基づく作業を、部品単位の作業に分割することで、上位レベルの作業を下位レベルの複数の作業に変換する手法が記載されている。しかしながら、下位レベルの複数の作業を上位レベルの作業に変換する手法については記載がない。

そこで、本発明は、下位レベルの複数の作業を上位レベルの作業に変換することができる作業レベル変換装置、作業レベル変換方法及び作業レベル変換プログラムを提供する。

本開示の一態様に係る作業レベル変換装置は、作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報の系列データを生成する生成部と、対象動作及び付帯情報の組合せにより特定される下位レベルの作業系列データを、複数の下位レベルの作業により構成される上位レベルの作業系列データに変換する変換器、並びに対象動作情報の系列データに基づいて、対象動作情報の系列データを上位レベルの作業系列データに変換して出力する変換出力部と、を備える。

この態様によれば、作業者の動作に関する時系列情報から検出された対象動作及び付帯情報に基づいて対象動作情報の系列データを生成し、対象動作及び付帯情報の組合せにより特定される下位レベルの作業系列データを上位レベルの作業系列データに変換する変換器と対象動作情報の系列データとに基づいて、対象動作情報の系列データを上位レベルの作業系列データに変換して出力することができる。

上記態様において、変換器は、教師データとして下位レベルの作業系列データと上位レベルの作業系列データとの対応関係を示す作業情報を用い、対象動作情報の系列データを入力として、上位レベルの作業系列データに変換して出力するように学習させた学習済モデルにより構成されることとしてもよい。

これにより、学習済モデルに対象動作情報の系列データを入力することで、上位レベルの作業系列データを取得することができる。

上記態様において、変換出力部は、対象動作により上位レベルの作業が開始されたかどうかを示す開始タイミング情報を、対象動作ごとに、さらに出力することとしてもよい。

これにより、上位レベルの作業が開始されたタイミングを特定することができる。

上記態様において、付帯情報には、時系列情報から認識できる情報、及び時系列情報にアノテーションされている情報が含まれることとしてもよい。

これにより、対象動作を特定する精度を向上させることができる。

本開示の他の態様に係る作業レベル変換方法は、プロセッサにより実行される方法であって、作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報の系列データを生成することと、対象動作及び付帯情報の組合せにより特定される下位レベルの作業系列データを、複数の下位レベルの作業により構成される上位レベルの作業系列データに変換する変換器、並びに対象動作情報の系列データに基づいて、対象動作情報の系列データを上位レベルの作業系列データに変換して出力することと、を含む。

この態様によれば、作業者の動作に関する時系列情報から検出された対象動作及び付帯情報に基づいて対象動作情報の系列データを生成し、対象動作及び付帯情報の組合せにより特定される下位レベルの作業系列データを上位レベルの作業系列データに変換する変換器と対象動作情報の系列データとに基づいて、対象動作情報の系列データを上位レベルの作業系列データに変換して出力することができる。

本開示の他の態様に係る作業レベル変換プログラムは、コンピュータを、作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報の系列データを生成する生成部、対象動作及び付帯情報の組合せにより特定される下位レベルの作業系列データを、複数の下位レベルの作業により構成される上位レベルの作業系列データに変換する変換器、並びに対象動作情報の系列データに基づいて、対象動作情報の系列データを上位レベルの作業系列データに変換して出力する変換出力部、として機能させる。

この態様によれば、作業者の動作に関する時系列情報から検出された対象動作及び付帯情報に基づいて対象動作情報の系列データを生成し、対象動作及び付帯情報の組合せにより特定される下位レベルの作業系列データを上位レベルの作業系列データに変換する変換器と対象動作情報の系列データとに基づいて、対象動作情報の系列データを上位レベルの作業系列データに変換して出力することができる。

本発明によれば、下位レベルの複数の作業を上位レベルの作業に変換することができる作業レベル変換装置、作業レベル変換方法及び作業レベル変換プログラムを提供することができる。

本発明の実施形態に係る作業レベル変換装置を含むシステムの概要を例示する図である。 作業レベル変換装置を含むシステムの機能構成を例示する図である。 作業レベル変換装置に記憶される対象動作情報を例示する図である。 作業レベル変換装置に記憶される作業情報を例示する図である。 作業レベル変換装置のハードウェア構成を例示する図である。 作業レベル変換装置で実行される作業レベル変換処理の一例を説明するためのフローチャートである。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。本実施形態に係る作業レベル変換装置１０を含むシステム１００は、ある作業領域Ｒで行われる作業者Ａの動作を画像センサ２０ａ、２０ｂ、２０ｃで撮影し、その撮影した動画を取得した作業レベル変換装置１０が、動画から検出した下位レベルの作業に相当する対象動作に基づいて、上位レベルの作業を出力する。作業レベルの上位、下位について以下に説明する。

粒度が異なる作業レベルを設定した場合に、より粒度が粗い（高い）作業レベルに設定された作業が上位レベルの作業となり、より粒度が細かい（低い）作業レベルに設定された作業が下位レベルの作業となる。

例えば、「箱詰めの作業」が、「箱を治具に固定する作業」と「製品を箱に収納する作業」とにより構成される場合、「箱詰めの作業」が上位レベルの作業となり、「箱を治具に固定する作業」と「製品を箱に収納する作業」とが下位レベルの作業となる。

また、下位レベルとなった「箱を治具に固定する作業」が、「箱を把持する作業」と「箱を運搬する作業」と「箱を調整する作業」とにより構成される場合、「箱を治具に固定する作業」が上位レベルの作業となり、「箱を把持する作業」と「箱を運搬する作業」と「箱を調整する作業」とが下位レベルの作業となる。

ここで、把持は、作業対象に手を移動して掴む動作として定義され、例えば、部品や器具を掴みに行く動作が該当する。運搬は、作業対象を目的の場所に移動させる動作として定義され、例えば、組み立てている製品に向けて部品や器具を運ぶ動作が該当する。調整は、作業を目標状態に移行する動作として定義され、例えば、部品の組み立てを行う動作が該当する。

本願発明は、下位レベルの作業系列データと上位レベルの作業系列データとの対応関係をモデルに学習させて、作業レベル変換用の学習済モデルを生成し、その学習済モデルに、動画から検出した作業系列のデータを入力し、変換された後の上位レベルの作業系列データを学習済モデルから出力させることとしたものである。

これにより、動画から検出された複数の作業からなる作業系列データを、上位レベルの作業系列データに変換させることが可能となる。

すなわち、本実施形態に係る作業レベル変換装置１０によれば、下位レベルの複数の作業を上位レベルの作業に変換させることができる。

§２ 構成例
［機能構成］
次に、図２を参照し、本実施形態に係る作業レベル変換装置１０を含むシステム１００の機能構成について、その一例を説明する。システム１００は、三台の画像センサ２０ａ、２０ｂ、２０ｃと、作業レベル変換装置１０と、を備える。以下において、三台の画像センサ２０ａ、２０ｂ、２０ｃを特に区別して記載する必要がない場合には、画像センサ２０と記載する。作業レベル変換装置１０は、機能的な構成として、例えば、取得部１１、検出部１２、生成部１３、変換出力部１４及び記憶部１９を有する。記憶部１９は、例えば、動画１９ａ、対象動作情報１９ｂ、作業情報１９ｃ及び学習済モデル１９ｄを記憶する。

作業レベル変換装置１０を含むシステム１００が有する各機能構成の詳細を、以下において順次説明する。

＜画像センサ＞
画像センサ２０は、例えば、汎用のカメラであり、作業者Ａが作業領域Ｒで動作を行っている場面を含む動画を撮影する。画像センサ２０は、機能的な構成として、例えば、検知部を有する。検知部は、作業者Ａの動作を検知し、その動作を示す動画を時系列情報として出力する。

各画像センサ２０ａ、２０ｂ、２０ｃは、作業領域Ｒの全域及び作業者Ａの全身を撮影できるように配置される。この場合、例えば、各画像センサ２０ａ、２０ｂ、２０ｃのそれぞれが、作業領域Ｒの全域及び作業者Ａの全身を撮影できるように配置されてもよいし、各画像センサ２０ａ、２０ｂ、２０ｃのそれぞれが、作業領域Ｒ及び作業者Ａの一部分を撮影し、それぞれの動画を合わせることで作業領域Ｒの全域及び作業者Ａの全身をカバーできるように配置されてもよい。また、各画像センサ２０ａ、２０ｂ、２０ｃが、それぞれ異なる倍率で作業領域Ｒ及び作業者Ａを撮影することとしてもよい。画像センサ２０は、三台備える必要はなく、少なくとも一台以上備えることとすればよい。

＜取得部＞
取得部１１は、作業者Ａが行った動作に関する時系列情報（本実施形態では動画）を画像センサ２０から取得する。取得部１１が取得した時系列情報は、記憶部１９に伝送され、動画１９ａとして記憶される。取得部１１は、記憶部１９に記憶された動画１９ａを取得することも行う。

＜検出部＞
検出部１２は、動画１９ａの中から、作業者Ａの手が存在する画像上の位置を認識し、認識した位置での動きに基づいて対象動作を検出する。対象動作として、例えば、把持、運搬、調整を設定することができる。また、把持に対応する動きとして、例えば、箱又は部品を掴む動きを設定し、運搬に対応する動きとして、例えば、箱又は部品を運ぶ動きを設定し、調整に対応する動きとして、例えば、箱又は部品を固定又は組み込む動きを設定することができる。対象動作及びその対象動作に対応する動きは、作業内容に応じて適宜設定することができ、それらの対応関係を予め記憶部１９に記憶させておくことが好ましい。

具体的に、検出部１２は、作業者Ａの手が存在する動画１９ａ上の位置を認識し、作業者Ａが部品を掴む動きをしていると判定した場合に、対象動作として把持を検出する。

＜生成部＞
生成部１３は、検出部１２により検出された対象動作と、その対象動作に付帯する付帯情報とを対応付けた対象動作情報１９ｂを生成する。図３を参照し、対象動作情報１９ｂについて説明する。

対象動作情報１９ｂは、データ項目として、例えば、ＮＯ項目、対象動作項目及び付帯情報項目を有する系列データである。ＮＯ項目は、対象動作が発生した順番を格納する。なお、対象動作が発生した順番に替えて、対象動作が発生した時間や、作業開始からの経過時間を格納することとしてもよい。対象動作項目は、対象動作の内容を格納する。付帯情報項目は、対象動作に付帯する付帯情報を格納する。付帯情報として、例えば、動画１９ａから認識できる情報や、動画１９ａにアノテーションされている情報を含むことができる。具体的に、部品や箱等の物体、部品や箱と手との接触分離状態、作業者、作業工程、動画の撮影時に判明している情報等が該当する。

例えば、図３のＮＯが“１”である対象動作情報は、対象動作として“把持”が格納され、付帯情報として“箱”が格納されている。この対象動作情報により、ＮＯ“１”の時点では、作業者が箱を把持する作業を行っていると特定することができる。また、ＮＯが“４”である対象動作情報は、対象動作として“把持”が格納され、付帯情報として“部品１”が格納されている。この対象動作情報により、ＮＯ“４”の時点では、作業者が部品１を把持する作業を行っていると特定することができる。さらに、ＮＯが“６”である対象動作情報は、対象動作として“運搬”が格納され、付帯情報として“部品１”が格納されている。この対象動作情報により、ＮＯ“６”の時点では、作業者が箱を把持する作業を行っていると特定することができる。

＜変換出力部＞
図２の説明に戻る。変換出力部１４は、生成部１３により生成された対象動作情報１９ｂの系列データを学習済モデル１９ｄに入力し、変換された後の上位レベルの作業系列データを学習済モデル１９ｄから出力させる。

学習済モデル１９ｄは、作業レベル変換用の学習済モデルであり、例えば、下位レベルの作業系列データと上位レベルの作業系列データとの対応関係をモデルに学習させて生成する。学習済モデルとして、例えば、Transformer等の自然言語処理（ＮＬＰ）分野で使用される深層学習モデルを用いることができる。

本実施形態では、例示的に、対象動作及び付帯情報の組合せにより特定される下位レベルの作業系列データと、上位レベルの作業系列データとの対応関係を示す作業情報１９ｃを教師データとして用い、学習済モデル１９ｄを生成する。

図４を参照し、作業情報１９ｃについて説明する。図４では、例示的に、作業レベルとして“レベル１”、“レベル２”及び“レベル３”が設定されている。“レベル１”が最下位に位置するレベルであり、“レベル３”が最上位に位置するレベルであり、“レベル２”が中間に位置するレベルである。

“レベル１”には、作業の最小単位となる対象動作の内容と、その対象動作に付帯する付帯情報との組み合わせを時系列に並べた下位レベルの作業系列データが設定される。

“レベル２”には、下位レベルの作業系列データを構成する各時系列データのそれぞれに対応する上位レベルの作業系列データが設定される。“レベル２”の作業系列データには、“レベル２”の各作業が開始されたタイミングを示す開始タイミング情報が設定される。例えば、作業が開始されたデータに“１”が設定され、それ以外のデータに“０”が設定される。

例えば、レベル２の上段にある三つのデータは、“箱を治具に固定する”作業で共通し、最上段にあるデータの開始タイミング情報に“１”が設定されている。したがって、開始タイミング情報に“１”が設定されている作業を特定することで、“箱を治具に固定する”作業が開始されたタイミングを特定することができる。

レベル２の下段にある五つのデータは“部品１を箱に入れる”作業と“部品２を箱に入れる”作業とが交互に並んでいるが、例えば、右手で“部品１を箱に入れる”作業を行い、並行して左手で“部品２を箱に入れる”作業を行う場合に、このような作業系列データが設定される。このような作業では、右手で“部品１を箱に入れる”作業が開始されたタイミング、及び左手で“部品２を箱に入れる”作業が開始されたタイミングに対応する開始タイミング情報に、それぞれ“１”が設定されることになる。

なお、“レベル２”のように、各作業項目に“レベル１”の付帯情報が含まれている場合には、付帯情報の設定を省略することができる。

“レベル３”には、“レベル１”及び“レベル２”の作業系列データを構成する各時系列データのそれぞれに対応する最上位レベルの作業系列データが設定される。なお、“レベル３”のように、最上位レベルとして一つの作業が設定されている場合には、付帯情報及び開始タイミング情報の各設定を省略することができる。

ここで、変換出力部１４は、変換後の上位レベルの作業系列データを出力する際に、開始タイミング情報を作業（対象動作）ごとにさらに出力することとしてもよい。

［ハードウェア構成］
次に、図５を用いて、本実施形態に係る作業レベル変換装置１０のハードウェア構成について、その一例を説明する。作業レベル変換装置１０は、演算装置に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部１９に相当するＲＡＭ（Random Access Memory）１０ｂ及びＲＯＭ（Read only Memory）１０ｃと、通信装置１０ｄと、入力装置１０ｅと、表示装置１０ｆとを有する。これらの各構成は、バスを介して相互にデータを送受信できるように接続される。なお、本実施形態では作業レベル変換装置１０が一台のコンピュータで構成される場合について説明するが、作業レベル変換装置１０は、複数のコンピュータを用いて実現されてもよい。

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムを実行し、データの演算や加工を行う制御部として機能する。ＣＰＵ１０ａは、入力装置１０ｅや通信装置１０ｄから種々の入力データを受信し、入力データを演算した結果を表示装置１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。

ＲＡＭ１０ｂは、例えば半導体記憶素子で構成され、書き換え可能なデータを記憶する。ＲＯＭ１０ｃは、例えば半導体記憶素子で構成され、読み出し可能かつ書き換え不可能なデータを記憶する。

通信装置１０ｄは、作業レベル変換装置１０を外部機器に接続するインターフェースである。通信装置１０ｄは、例えば、画像センサ２０とＬＡＮ（Local Area Network）やインターネット等の通信ネットワークにより接続され、画像センサ２０から動画を受信する。

入力装置１０ｅは、ユーザからデータの入力を受け付けるインターフェースであり、例えば、キーボード、マウス及びタッチパネルを含むことができる。

表示装置１０ｆは、ＣＰＵ１０ａによる演算結果等を視覚的に表示するインターフェースであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成することができる。

プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信装置１０ｄにより接続される通信ネットワークを介して提供されてもよい。作業レベル変換装置１０は、ＣＰＵ１０ａがプログラムを実行することで、図２に示す取得部１１、検出部１２、生成部１３及び変換出力部１４の動作を行う。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、作業レベル変換装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃとを一体化したＬＳＩ（Large-Scale Integration）を備えることとしてもよい。

§３ 動作例
図６は、本実施形態に係る作業レベル変換装置１０で実行される作業レベル変換処理の一例を示すフローチャートである。

最初に、作業レベル変換装置１０の取得部１１は、作業者Ａの動作に関する時系列情報である動画を画像センサ２０から取得する（ステップＳ１０１）。この取得した動画は、動画１９ａとして記憶部１９に記憶される。

続いて、作業レベル変換装置１０の検出部１２は、動画１９ａに基づいて、作業者Ａの手が存在する画像上の位置を認識し、対象動作を検出する（ステップＳ１０２）。

続いて、作業レベル変換装置１０の生成部１３は、上記ステップＳ１０２で検出された対象動作及び対象動作に付帯する付帯情報に基づいて、対象動作情報１９ｂを生成する（ステップＳ１０３）。この生成した対象動作情報１９ｂは、記憶部１９に記憶される。

続いて、作業レベル変換装置１０の変換出力部１４は、上記ステップＳ１０３で生成された対象動作情報１９ｂの系列データを学習済モデル１９ｄに入力し、変換された後の上位レベルの作業系列データを学習済モデル１９ｄから出力させる（ステップＳ１０４）。そして、作業レベル変換処理を終了する。

前述したように、本実施形態に係る作業レベル変換装置１０によれば、作業者Ａの動作に関する動画１９ａから検出された対象動作及び付帯情報に基づいて対象動作情報１９ｂの系列データを生成し、対象動作及び付帯情報の組合せにより特定される下位レベルの作業系列データを上位レベルの作業系列データに変換する学習済モデル１９ｄと対象動作情報１９ｂの系列データとに基づいて、対象動作情報１９ｂの系列データを上位レベルの作業系列データに変換して出力することができる。

それゆえ、本実施形態に係る作業レベル変換装置１０によれば、下位レベルの複数の作業を上位レベルの作業に変換させることができる。

§４ 変形例
なお、本発明は、前述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。

例えば、前述した実施形態では、下位レベルの作業系列データを上位レベルの作業系列データに変換する際に、学習済モデル（変換器）を用いているが、これに限定されない。例えば、図４に示すような作業情報テーブル（変換器）を用いて下位レベルの作業系列データを上位レベルの作業系列データに変換することとしてもよい。

また、前述した実施形態では、時系列情報が動画である場合について説明したが、時系列情報は動画に限定されない。具体的に、時系列情報は、画像センサ２０の替わりに備えるモーションキャプチャによって測定される作業者Ａの動作を示す座標値に関する情報であったり、画像センサ２０の替わりに、加速度センサやジャイロセンサを作業者Ａに装着させることによって測定される作業者Ａの動作を示す情報であったりしてもよい。また、時系列情報は、画像センサ２０の替わりに作業領域Ｒに配置した圧力センサによって測定される圧力値の変化状態を示す情報であったり、画像センサ２０の替わりに作業領域Ｒに配置した光電センサによって検知されるイベントの変化を示す情報であったりしてもよい。さらに、時系列情報は、上記の各情報を個別に用いることに限定されず、上記の各情報を二つ以上組合せることとしてもよい。

また、本発明の実施形態は、以下の付記のようにも記載され得る。ただし、本発明の実施形態は、以下の付記に記載した形態に限定されない。また、本発明の実施形態は、付記間の記載を置換したり、組み合わせたりした形態であってもよい。

［付記１］
作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報（１９ｂ）の系列データを生成する生成部（１３）と、
前記対象動作及び前記付帯情報の組合せにより特定される下位レベルの作業系列データを、複数の前記下位レベルの作業により構成される上位レベルの作業系列データに変換する変換器、並びに前記対象動作情報（１９ｂ）の系列データに基づいて、前記対象動作情報（１９ｂ）の系列データを前記上位レベルの作業系列データに変換して出力する変換出力部（１４）と、
を備える作業レベル変換装置（１０）。

［付記２］
前記変換器は、教師データとして前記下位レベルの作業系列データと前記上位レベルの作業系列データとの対応関係を示す作業情報（１９ｃ）を用い、前記対象動作情報（１９ｂ）の系列データを入力として、前記上位レベルの作業系列データに変換して出力するように学習させた学習済モデル（１９ｄ）により構成される、
付記１記載の作業レベル変換装置（１０）。

［付記３］
前記変換出力部（１４）は、前記対象動作により上位レベルの作業が開始されたかどうかを示す開始タイミング情報を、前記対象動作ごとに、さらに出力する、
付記２記載の作業レベル変換装置（１０）。

［付記４］
前記付帯情報には、前記時系列情報から認識できる情報、及び前記時系列情報にアノテーションされている情報が含まれる、
付記２記載の作業レベル変換装置（１０）。

［付記５］
プロセッサにより実行される方法であって、
作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報（１９ｂ）の系列データを生成することと、
前記対象動作及び前記付帯情報の組合せにより特定される下位レベルの作業系列データを、複数の前記下位レベルの作業により構成される上位レベルの作業系列データに変換する変換器、並びに前記対象動作情報（１９ｂ）の系列データに基づいて、前記対象動作情報（１９ｂ）の系列データを前記上位レベルの作業系列データに変換して出力することと、
を含む作業レベル変換方法。

［付記６］
コンピュータを、
作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報（１９ｂ）の系列データを生成する生成部（１３）、
前記対象動作及び前記付帯情報の組合せにより特定される下位レベルの作業系列データを、複数の前記下位レベルの作業により構成される上位レベルの作業系列データに変換する変換器、並びに前記対象動作情報（１９ｂ）の系列データに基づいて、前記対象動作情報（１９ｂ）の系列データを前記上位レベルの作業系列データに変換して出力する変換出力部（１４）、
として機能させる作業レベル変換プログラム。

１０…作業レベル変換装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信装置、１０ｅ…入力装置、１０ｆ…表示装置、１１…取得部、１２…検出部、１３…生成部、１４…変換出力部、１９…記憶部、１９ａ…動画、１９ｂ…対象動作情報、１９ｃ…作業情報、１９ｄ…学習済モデル、２０…画像センサ、１００…システム、Ａ…作業者、Ｒ…作業領域

Claims (4)

1. 作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報の系列データを生成する生成部と、
   前記対象動作及び前記付帯情報の組合せにより特定される下位レベルの作業系列データと、複数の前記下位レベルの作業により構成される上位レベルの作業系列データと、を対応付けた作業情報を、教師データとして用い、前記対象動作情報の系列データを入力とし、入力した前記対象動作情報の系列データを前記上位レベルの作業系列データに変換して出力するように学習させた学習済モデルと、
   を備え、
   前記学習済モデルは、前記上位レベルの作業系列データに含まれる上位レベルの作業が開始されたタイミングであるかどうかを示す開始タイミング情報を、前記対象動作ごとに設定した前記上位レベルの作業系列データを出力する、
   作業レベル変換装置。
2. 前記付帯情報には、前記時系列情報から認識できる情報、及び前記時系列情報にアノテーションされている情報が含まれる、
   請求項１記載の作業レベル変換装置。
3. プロセッサにより実行される方法であって、
   作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報の系列データを生成することと、
   前記対象動作及び前記付帯情報の組合せにより特定される下位レベルの作業系列データと、複数の前記下位レベルの作業により構成される上位レベルの作業系列データと、を対応付けた作業情報を、教師データとして用い、前記対象動作情報の系列データを入力とし、入力した前記対象動作情報の系列データを前記上位レベルの作業系列データに変換して出力するように学習させて学習済モデルを生成することと、
   を含み、
   前記学習済モデルは、前記上位レベルの作業系列データに含まれる上位レベルの作業が開始されたタイミングであるかどうかを示す開始タイミング情報を、前記対象動作ごとに設定した前記上位レベルの作業系列データを出力する、
   作業レベル変換方法。
4. コンピュータを、
   作業者の作業に関する時系列情報から検出された対象動作と当該対象動作に付帯する付帯情報とを対応付けた対象動作情報の系列データを生成する生成部、
   前記対象動作及び前記付帯情報の組合せにより特定される下位レベルの作業系列データと、複数の前記下位レベルの作業により構成される上位レベルの作業系列データと、を対応付けた作業情報を、教師データとして用い、前記対象動作情報の系列データを入力とし、入力した前記対象動作情報の系列データを前記上位レベルの作業系列データに変換して出力するように学習させた学習済モデル、
   として機能させ、
   前記学習済モデルは、前記上位レベルの作業系列データに含まれる上位レベルの作業が開始されたタイミングであるかどうかを示す開始タイミング情報を、前記対象動作ごとに設定した前記上位レベルの作業系列データを出力する、
   作業レベル変換プログラム。