JP2022139741A

JP2022139741A - Instruction description support system, instruction description support method and instruction description support program

Info

Publication number: JP2022139741A
Application number: JP2021040255A
Authority: JP
Inventors: 篤志大城; Atsushi Oshiro
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2021-03-12
Filing date: 2021-03-12
Publication date: 2022-09-26
Also published as: WO2022190434A1

Abstract

To provide a technique that can create instruction describing robot operation according to motions inherent in a robot.SOLUTION: An instruction description support system includes: a calculation part which, from a score indicating similarity between waveform data in time interval set to motion waveform data that indicates motions of an object robot and an eigenvector, calculates binary code indicating the motion in the time interval; an estimation part which refers to a motion element model, and estimates a motion element from the binary code; and a generating part which refers to database in which an inherent motion configured from one or more motion elements are registered, determines one or more inherent motions indicating the motions of the object robot, and generates inherent motion code, that indicates the determined one or more inherent motions, as instruction code.SELECTED DRAWING: Figure 1

Description

本発明は、命令記述支援システム、命令記述支援方法および命令記述支援プログラムに関する。 The present invention relates to an instruction description support system, an instruction description support method, and an instruction description support program.

様々な分野において、ロボットの導入および実用化が進行している。一般的には、ロボットの動作を指示するための命令を記述する必要がある。ロボットが高い自由度で動作する場合には、動作を指示するための命令の記述も複雑化し得る。 Introduction and practical use of robots are progressing in various fields. In general, it is necessary to write instructions for directing the motion of the robot. When the robot operates with a high degree of freedom, the description of the instructions for instructing the motion may become complicated.

このような課題に対して、例えば、特開２０１９－１８８５４５号公報（特許文献１）は、教示者が簡単に制御プログラムの作成を行える技術を開示する。また、特開２０１９－１７７４２２号公報（特許文献２）は、高度なプログラミング技術を有さないユーザーでも容易にプログラミング可能な制御装置を開示する。さらに、特開２０１９－１７１４９８号公報（特許文献３）は、ロボットのティーチングを行うときに、ロボットの具体的な動きに対する教示を容易にする方法等を開示する。 To address such a problem, for example, Japanese Patent Laying-Open No. 2019-188545 (Patent Document 1) discloses a technique that allows a teacher to easily create a control program. Japanese Patent Laying-Open No. 2019-177422 (Patent Document 2) discloses a control device that can be easily programmed even by a user who does not have advanced programming skills. Further, Japanese Patent Application Laid-Open No. 2019-171498 (Patent Document 3) discloses a method for facilitating teaching of specific movements of a robot when teaching the robot.

あるいは、特開２０２０－００９８９９号公報（特許文献４）は、組立作業用ロボットに対する組立作業の教示を自動で行う自動教示システムを開示する。 Alternatively, Japanese Patent Application Laid-Open No. 2020-009899 (Patent Document 4) discloses an automatic teaching system that automatically teaches assembly work to an assembly work robot.

特開２０１９－１８８５４５号公報JP 2019-188545 A 特開２０１９－１７７４２２号公報JP 2019-177422 A 特開２０１９－１７１４９８号公報JP 2019-171498 A 特開２０２０－００９８９９号公報JP 2020-009899 A

漆原理乃、小林一郎，「人の動作および物体認識に基づく動画像からの文生成」，言語処理学会第２４回年次大会発表論文集，２０１８年３月Rino Urushibara, Ichiro Kobayashi, "Sentence generation from video images based on human motion and object recognition", Proceedings of the 24th Annual Conference of the Association for Natural Language Processing, March 2018

上述した先行技術文献に開示される技術は、いずれもロボットに対するプログラミングを容易化するというものである。このような技術を用いることで、ロボットの動作を記述することはできるが、同じ動作であっても、作成者のスキルや考え方などに依存して、様々な記述が存在することになる。 All of the techniques disclosed in the prior art documents mentioned above facilitate programming of robots. By using such technology, it is possible to describe the motion of a robot, but even for the same motion, there are various descriptions depending on the creator's skill and way of thinking.

本発明は、ロボットに固有の動作に応じて、ロボットの動作を記述する命令を作成できる技術を提供することを目的としている。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a technology capable of creating instructions describing the motion of a robot according to the motion unique to the robot.

本発明のある局面に従う命令記述支援システムは、対象のロボットの動作を示す動作波形データに設定される時間区間の波形データと固有ベクトルとの類似度を示すスコアから、当該時間区間の動作を示すバイナリコードを算出する算出部と、動作要素モデルを参照して、バイナリコードから動作要素を推定する推定部と、１または複数の動作要素で構成される固有動作を登録したデータベースを参照して、対象のロボットの動作を示す１または複数の固有動作を決定するとともに、当該決定した１または複数の固有動作を示す固有動作コードを命令コードとして生成する生成部とを含む。 A command description support system according to an aspect of the present invention is a system that uses a score indicating the similarity between waveform data and eigenvectors in a time interval set in motion waveform data indicating the motion of a target robot to obtain a binary code indicating the motion in the time interval. A calculator that calculates a code, an estimator that estimates a motion element from a binary code by referring to a motion element model, and a database in which eigen motions composed of one or more motion elements are registered. a generation unit that determines one or more unique motions indicating the motion of the robot and generates a unique motion code indicating the determined one or more unique motions as an instruction code.

この構成によれば、対象のロボットの動作を示す動作波形データから固有動作を決定することで、命令コードを生成できる。固有動作は、ロボットの動作を記述する基本的な単位として用いられるので、ロボットの動作を記述する命令を標準化することができるとともに、属人化を抑制できる。 According to this configuration, the instruction code can be generated by determining the unique motion from the motion waveform data representing the motion of the target robot. Since the peculiar motion is used as a basic unit for describing the motion of the robot, it is possible to standardize the commands describing the motion of the robot and to suppress individualization.

命令記述支援システムは、動作波形データから固有ベクトルを抽出する抽出部と、複数のバイナリコードをクラスタリングすることにより、動作要素モデルを構成するモデル構成部とをさらに含んでいてもよい。この構成によれば、動作波形データに含まれる固有ベクトルに基づいて動作要素を抽出して、動作要素モデルを構成できる。 The instruction description support system may further include an extractor that extracts eigenvectors from the motion waveform data, and a model constructor that configures a motion element model by clustering a plurality of binary codes. According to this configuration, a motion element model can be configured by extracting motion elements based on the eigenvectors included in the motion waveform data.

算出部は、複数の固有ベクトルのそれぞれに対する時間区間の波形データの類似度をそれぞれ算出し、算出された類似度のうちランダムに選択される２つの類似度間の大小関係に応じて、バイナリコードを構成する各ビットの値を決定するようにしてもよい。この構成によれば、動作要素を特定するための特徴量を効率的に算出できる。 The calculation unit calculates the similarity of the waveform data in the time interval with respect to each of the plurality of eigenvectors, and converts the binary code according to the magnitude relationship between two similarities that are randomly selected from the calculated similarities. You may make it determine the value of each bit which comprises. According to this configuration, it is possible to efficiently calculate the feature amount for specifying the motion element.

算出部は、動作波形データに設定される時間区間を時間軸に沿ってシフトさせてもよい。この構成によれば、ロボットの連続的な動作に対して、対応する動作要素を順次決定できる。 The calculator may shift the time interval set in the operating waveform data along the time axis. According to this configuration, it is possible to sequentially determine corresponding motion elements for continuous motions of the robot.

命令記述支援システムは、ロボットが所定の動作を行ったときの動作波形データから動作要素モデルを用いて推定される一連の動作要素と、当該所定の動作を示す動詞とを対応付けることで、当該所定の動作に含まれる、１または複数の動作要素で構成される固有動作を決定し、当該決定した固有動作を示す固有動作コードをデータベースに登録するデータベース構成部をさらに含んでいてもよい。この構成によれば、対象のロボットについて、１または複数の動作要素で構成される固有動作を決定する。決定された固有動作は、ロボットの動作を記述する基本的な単位として用いることができる。 The instruction description support system associates a series of motion elements estimated using a motion element model from motion waveform data when a robot performs a predetermined motion with verbs representing the predetermined motion, thereby and determining a unique action composed of one or more motion elements included in the motion, and registering in a database a unique action code indicating the determined unique action. According to this configuration, a unique motion composed of one or more motion elements is determined for the target robot. The determined eigenmotion can be used as a basic unit for describing the motion of the robot.

命令記述支援システムは、所定の動作を行うロボットを撮影した動画像を動作認識することで、所定の動作を示す動詞を決定する動作認識部をさらに含んでいてもよい。この構成によれば、ロボットの各動作に対して、手動ではなく、自動でラベルを付与できる。 The command description support system may further include a motion recognition unit that determines a verb indicating a predetermined motion by recognizing a moving image of a robot performing a predetermined motion. According to this configuration, each motion of the robot can be labeled automatically instead of manually.

本発明の別の局面に従う命令記述支援方法は、対象のロボットの動作を示す動作波形データに設定される時間区間の波形データと固有ベクトルとの類似度を示すスコアから、当該時間区間の動作を示すバイナリコードを算出するステップと、動作要素モデルを参照して、バイナリコードから動作要素を推定するステップと、１または複数の動作要素で構成される固有動作を登録したデータベースを参照して、対象のロボットの動作を示す１または複数の固有動作を決定するとともに、当該決定した１または複数の固有動作を示す固有動作コードを命令コードとして生成するステップとを含む。 A command description support method according to another aspect of the present invention indicates a motion of a target robot based on a score indicating the degree of similarity between waveform data and eigenvectors in a time interval set in the motion waveform data indicating the motion of the target robot. a step of calculating a binary code; a step of estimating a motion element from the binary code with reference to a motion element model; Determining one or more unique motions indicating the motion of the robot, and generating a unique motion code indicating the determined one or more unique motions as an instruction code.

本発明の別の局面に従う命令記述支援プログラムは、コンピュータに、対象のロボットの動作を示す動作波形データに設定される時間区間の波形データと固有ベクトルとの類似度を示すスコアから、当該時間区間の動作を示すバイナリコードを算出するステップと、動作要素モデルを参照して、バイナリコードから動作要素を推定するステップと、１または複数の動作要素で構成される固有動作を登録したデータベースを参照して、対象のロボットの動作を示す１または複数の固有動作を決定するとともに、当該決定した１または複数の固有動作を示す固有動作コードを命令コードとして生成するステップとを実行させる。 An instruction description support program according to another aspect of the present invention provides a computer with a score indicating the similarity between waveform data and eigenvectors in a time interval set in motion waveform data representing the motion of a target robot. a step of calculating a binary code representing a motion; a step of estimating a motion element from the binary code by referring to a motion element model; , determining one or more unique motions indicating motions of the target robot, and generating a unique motion code indicating the determined one or more unique motions as an instruction code.

本発明によれば、ロボットに固有の動作に応じて、ロボットの動作を記述する命令を作成できる技術を提供できる。 According to the present invention, it is possible to provide a technology capable of creating instructions describing the motion of the robot according to the motion unique to the robot.

本実施の形態に係る命令記述支援システムにおける処理の概要を説明するための模式図である。FIG. 3 is a schematic diagram for explaining an outline of processing in the instruction description support system according to the embodiment; 本実施の形態に係る命令記述支援システムを含むシステム構成例を概略する模式図である。1 is a schematic diagram outlining a system configuration example including an instruction description support system according to an embodiment; FIG. 本実施の形態に係る制御装置のハードウェア構成例を示す模式図である。2 is a schematic diagram showing a hardware configuration example of a control device according to the present embodiment; FIG. 本実施の形態に係るロボットコントローラのハードウェア構成例を示す模式図である。2 is a schematic diagram showing a hardware configuration example of a robot controller according to the present embodiment; FIG. 本実施の形態に係る情報処理装置のハードウェア構成例を示す模式図である。1 is a schematic diagram showing a hardware configuration example of an information processing apparatus according to an embodiment; FIG. 本実施の形態に係る命令記述支援システムが実行する全体処理の処理手順を示すフローチャートである。4 is a flow chart showing a processing procedure of overall processing executed by the instruction description support system according to the embodiment; 本実施の形態に係る命令記述支援システムにおけるＥＣＴスコアを算出する処理を説明するための図である。FIG. 4 is a diagram for explaining processing for calculating an ECT score in the instruction description support system according to the embodiment; 本実施の形態に係る命令記述支援システムにおけるバイナリコードを算出する処理を説明するための図である。FIG. 4 is a diagram for explaining processing for calculating a binary code in the instruction description support system according to the embodiment; 本実施の形態に係る命令記述支援システムにおける動作要素モデルを構成するためのクラスタリング処理を説明するための図である。FIG. 4 is a diagram for explaining clustering processing for constructing behavioral element models in the instruction description support system according to the present embodiment; 本実施の形態に係る命令記述支援システムにおける動作要素モデルを構成するためのラベリング処理を説明するための図である。FIG. 4 is a diagram for explaining labeling processing for constructing an action element model in the instruction description support system according to the embodiment; 本実施の形態に係る命令記述支援システムにおける動作要素モデルを構成するための類似度を評価する処理を説明するための図である。FIG. 10 is a diagram for explaining similarity evaluation processing for constructing an action element model in the instruction description support system according to the present embodiment; 本実施の形態に係る命令記述支援システムにおける動作定義データベースを構成する処理を説明するための図である。FIG. 4 is a diagram for explaining processing for configuring an action definition database in the instruction description support system according to the embodiment; 本実施の形態に係る命令記述支援システムにおける動作定義データベースおよび動作要素の関係を説明するための図である。FIG. 2 is a diagram for explaining the relationship between an action definition database and action elements in the instruction description support system according to the embodiment; 本実施の形態に係る命令記述支援システムの動作定義データベースを構成するための機能構成例を示す模式図である。2 is a schematic diagram showing an example of functional configuration for configuring an action definition database of the instruction description support system according to the present embodiment; FIG. 本実施の形態に係る命令記述支援システムの命令コードを生成するための機能構成例を示す模式図である。1 is a schematic diagram showing a functional configuration example for generating an instruction code of an instruction description support system according to the present embodiment; FIG. 本実施の形態に係る命令記述支援システムにより生成される命令コードの一例を示す図である。4 is a diagram showing an example of an instruction code generated by the instruction description support system according to the embodiment; FIG.

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。 Embodiments of the present invention will be described in detail with reference to the drawings. The same or corresponding parts in the drawings are given the same reference numerals, and the description thereof will not be repeated.

＜Ａ．適用例＞
まず、図１を参照して、本発明が適用される場面の一例について説明する。 <A. Application example>
First, with reference to FIG. 1, an example of a scene to which the present invention is applied will be described.

図１は、本実施の形態に係る命令記述支援システム１における処理の概要を説明するための模式図である。図１を参照して、ロボットの動作を定義する命令コード７２を命令記述支援システム１が出力する処理の一例について説明する。 FIG. 1 is a schematic diagram for explaining an outline of processing in an instruction description support system 1 according to this embodiment. An example of a process in which the instruction description support system 1 outputs the instruction code 72 defining the motion of the robot will be described with reference to FIG.

命令記述支援システム１は、対象のロボットの動作を示す動作波形データ（所定のサンプリング周期毎に収集された動作特徴ベクトルの時系列データ）などに基づいて、動作要素モデル４８（図１０参照）および動作定義データベース６０を構成する（ステップＳ１）。 The instruction description support system 1 creates a motion element model 48 (see FIG. 10) and a An action definition database 60 is configured (step S1).

動作要素モデル４８は、動作要素の特徴に基づいて構成されるものであり、任意の動作波形データに含まれる動作要素（動作要素コード）を特定するために用いることができる。 The motion element model 48 is configured based on the features of motion elements, and can be used to identify motion elements (motion element codes) included in arbitrary motion waveform data.

動作定義データベース６０は、１または複数の動作要素で構成される固有動作６４に割り当てられた固有動作コード６６を格納する。動作定義データベース６０において、１または複数の固有動作６４を１または複数の動作区分に分類してもよい。 Action definition database 60 stores unique action codes 66 that are assigned to unique actions 64 that are composed of one or more action elements. In action definition database 60, one or more unique actions 64 may be classified into one or more action categories.

本明細書において、「固有動作」は、対象のロボットに固有の動作を定義する単位であり、１または複数の「動作要素」で構成される。「動作要素」は、「固有動作」をさらに詳細な単位動作に分解した個々の動作を意味する。 In this specification, a “specific motion” is a unit that defines a motion unique to a target robot, and is composed of one or more “motion elements”. "Action elements" mean individual actions obtained by decomposing "specific actions" into more detailed unit actions.

次に、対象のロボットの動作から動作要素の特徴を抽出し、動作定義データベース６０から当該抽出した動作要素の特徴に対応する固有動作を検索する（ステップＳ１）。検索結果に基づいて、対象のロボットの動作を構成する固有動作を決定する（ステップＳ２）。決定された固有動作に対応する固有動作コードから命令コード７２が生成される（ステップＳ３）。すなわち、命令コード７２は、１または複数の固有動作６４の組み合わせとして定義される。 Next, the feature of the motion element is extracted from the motion of the target robot, and the unique motion corresponding to the feature of the extracted motion element is searched from the motion definition database 60 (step S1). Based on the search results, a unique action that constitutes the action of the target robot is determined (step S2). An instruction code 72 is generated from the unique action code corresponding to the determined unique action (step S3). That is, instruction code 72 is defined as a combination of one or more unique operations 64 .

以上のように、本実施の形態に係る命令記述支援システム１は、ロボットの固有動作６４を定義するとともに、固有動作６４を示す固有動作コード６６を組み合わせることで、対象のロボットに実行させる動作を指示するための命令コード７２を決定する。固有動作６４の単位で命令を記述することで、命令あるいはプログラムの属人化を抑制できるとともに、テンプレート化などを容易に実現できる。 As described above, the instruction description support system 1 according to the present embodiment defines the unique motion 64 of the robot, and combines the unique motion code 66 indicating the unique motion 64, so that the motion to be executed by the target robot is determined. Determine the instruction code 72 for the instruction. Describing instructions in units of specific actions 64 makes it possible to suppress personalization of instructions or programs, and to easily implement templates.

＜Ｂ．ハードウェア構成例＞
次に、本実施の形態に係る命令記述支援システム１のハードウェア構成例について説明する。 <B. Hardware configuration example>
Next, a hardware configuration example of the instruction description support system 1 according to this embodiment will be described.

（ｂ１：全体構成）
図２は、本実施の形態に係る命令記述支援システム１を含むシステム構成例を概略する模式図である。図２を参照して、命令記述支援システム１は、制御装置１００と、フィールドネットワーク１０を介して制御装置１００に接続されたロボットコントローラ２５０とを含む。制御装置１００は、典型的には、ＰＬＣにより実現されてもよい。 (b1: overall configuration)
FIG. 2 is a schematic diagram outlining a system configuration example including the instruction description support system 1 according to the present embodiment. Referring to FIG. 2 , instruction description support system 1 includes control device 100 and robot controller 250 connected to control device 100 via field network 10 . Control device 100 may typically be realized by a PLC.

ロボットコントローラ２５０は、ロボット２００の制御を担当する。より具体的には、ロボットコントローラ２５０は、ロボット２００との間のインターフェイスとして機能し、制御装置１００からの指令に従って、ロボット２００を駆動するための指令を出力するとともに、ロボット２００の状態値を取得して制御装置１００へ出力する。 A robot controller 250 is responsible for controlling the robot 200 . More specifically, the robot controller 250 functions as an interface with the robot 200, outputs commands for driving the robot 200, and obtains state values of the robot 200 in accordance with commands from the control device 100. and output to the control device 100 .

フィールドネットワーク１０には、産業用ネットワーク用のプロトコルである、ＥｔｈｅｒＣＡＴ（登録商標）やＥｔｈｅｒＮｅｔ／ＩＰなどを用いることができる。 For the field network 10, protocols for industrial networks such as EtherCAT (registered trademark) and EtherNet/IP can be used.

制御装置１００は、上位ネットワーク２０を介して、情報処理装置３００および表示装置４００に接続されている。上位ネットワーク２０には、産業用ネットワーク用のプロトコルであるやＥｔｈｅｒＮｅｔ／ＩＰなどを用いることができる。 Control device 100 is connected to information processing device 300 and display device 400 via host network 20 . For the upper network 20, a protocol for industrial networks such as EtherNet/IP can be used.

命令記述支援システム１は、ロボット２００を撮影して動画像を収集するためのカメラ４を含んでいてもよい。 The instruction description support system 1 may include a camera 4 for photographing the robot 200 and collecting moving images.

なお、命令記述支援システム１は、制御装置１００、ロボット２００，ロボットコントローラ２５０、および表示装置４００などを必ずしも含んでいる必要はなく、後述するような命令コードを生成する処理を実行できる処理主体が存在すればよい。 Note that the instruction description support system 1 does not necessarily include the control device 100, the robot 200, the robot controller 250, the display device 400, and the like, and the processing subject capable of executing the processing for generating the instruction code as described later is Existence is fine.

（ｂ２：制御装置１００）
図３は、本実施の形態に係る制御装置１００のハードウェア構成例を示す模式図である。図３を参照して、制御装置１００は、プロセッサ１０２と、メインメモリ１０４と、ストレージ１１０と、メモリカードインターフェイス１１２と、上位ネットワークコントローラ１０６と、フィールドネットワークコントローラ１０８と、ローカルバスコントローラ１１６と、ＵＳＢ（Universal Serial Bus）インターフェイスを提供するＵＳＢコントローラ１２０とを含む。これらのコンポーネントは、プロセッサバス１１８を介して接続されている。 (b2: control device 100)
FIG. 3 is a schematic diagram showing a hardware configuration example of the control device 100 according to this embodiment. Referring to FIG. 3, control device 100 includes processor 102, main memory 104, storage 110, memory card interface 112, host network controller 106, field network controller 108, local bus controller 116, USB and a USB controller 120 that provides a (Universal Serial Bus) interface. These components are connected via processor bus 118 .

プロセッサ１０２は、制御演算を実行する演算処理部に相当し、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで構成される。具体的には、プロセッサ１０２は、ストレージ１１０に格納されたプログラムを読み出して、メインメモリ１０４に展開して実行することで、制御対象に対する制御演算を実現する。 The processor 102 corresponds to an arithmetic processing unit that executes control arithmetic, and includes a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like. Specifically, the processor 102 reads a program stored in the storage 110, develops it in the main memory 104, and executes it, thereby implementing control calculations for the controlled object.

メインメモリ１０４は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などの揮発性記憶装置などで構成される。ストレージ１１０は、例えば、ＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）などの不揮発性記憶装置などで構成される。 The main memory 104 is composed of a volatile storage device such as a DRAM (Dynamic Random Access Memory) or an SRAM (Static Random Access Memory). The storage 110 is configured by, for example, a non-volatile storage device such as SSD (Solid State Drive) or HDD (Hard Disk Drive).

ストレージ１１０には、基本的な機能を実現するためのシステムプログラム１１０２、および、制御対象に応じて作成されたＩＥＣプログラム１１０４およびロボットプログラム１１０６などが格納される。 The storage 110 stores a system program 1102 for realizing basic functions, an IEC program 1104 and a robot program 1106 created according to the control target, and the like.

ＩＥＣプログラム１１０４は、ＰＬＣプログラムとも称され、ロボット２００を制御する処理以外の処理を実現するために必要な命令を含む。ＩＥＣプログラム１１０４は、国際電気標準会議（ＩＥＣ：International Electrotechnical Commission）が定めるＩＥＣ６１１３１－３で規定されるいずれかの言語で記述されてもよい。 The IEC program 1104 is also called a PLC program, and includes instructions necessary to implement processes other than the process of controlling the robot 200 . The IEC program 1104 may be written in any language defined by IEC61131-3 defined by the International Electrotechnical Commission (IEC).

ロボットプログラム１１０６は、ロボット２００を制御するための命令を含む。ロボットプログラム１１０６は、所定のプログラミング言語（例えば、Ｖ＋言語などのロボット制御用プログラミング言語やＧコードなどのＮＣ制御に係るプログラミング言語）で記述された命令を含んでいてもよい。 Robot program 1106 contains instructions for controlling robot 200 . The robot program 1106 may include instructions written in a predetermined programming language (for example, a programming language for robot control such as V+ language or a programming language for NC control such as G code).

メモリカードインターフェイス１１２は、着脱可能な記憶媒体の一例であるメモリカード１１４を受け付ける。メモリカードインターフェイス１１２は、メモリカード１１４に対して任意のデータの読み書きが可能になっている。 Memory card interface 112 accepts memory card 114, which is an example of a removable storage medium. The memory card interface 112 is capable of reading/writing arbitrary data from/to the memory card 114 .

上位ネットワークコントローラ１０６は、上位ネットワーク２０を介して、任意の情報処理装置（図２に示される情報処理装置３００および表示装置４００など）との間でデータをやり取りする。 Host network controller 106 exchanges data with arbitrary information processing devices (information processing device 300 and display device 400 shown in FIG. 2, etc.) via host network 20 .

フィールドネットワークコントローラ１０８は、フィールドネットワーク１０を介して、ロボットコントローラ２５０などのデバイスとの間でデータをやり取りする。 Field network controller 108 exchanges data with devices such as robot controller 250 via field network 10 .

ローカルバスコントローラ１１６は、ローカルバス１２２を介して、制御装置１００に含まれる任意の機能ユニット１３０との間でデータをやり取りする。 Local bus controller 116 communicates data to and from any functional unit 130 included in controller 100 via local bus 122 .

ＵＳＢコントローラ１２０は、ＵＳＢ接続を介して、任意の情報処理装置との間でデータをやり取りする。 The USB controller 120 exchanges data with any information processing device via a USB connection.

（ｂ３：ロボットコントローラ２５０）
図４は、本実施の形態に係るロボットコントローラ２５０のハードウェア構成例を示す模式図である。図４を参照して、ロボットコントローラ２５０は、フィールドネットワークコントローラ２５２と、制御処理回路２６０とを含む。 (b3: robot controller 250)
FIG. 4 is a schematic diagram showing a hardware configuration example of the robot controller 250 according to this embodiment. Referring to FIG. 4, robot controller 250 includes field network controller 252 and control processing circuit 260 .

フィールドネットワークコントローラ２５２は、フィールドネットワーク１０を介して、主として、制御装置１００との間でデータをやり取りする。 Field network controller 252 mainly exchanges data with control device 100 via field network 10 .

制御処理回路２６０は、ロボット２００を駆動するために必要な演算処理を実行する。一例として、制御処理回路２６０は、プロセッサ２６２と、メインメモリ２６４と、ストレージ２７０と、インターフェイス回路２６８とを含む。 The control processing circuit 260 executes arithmetic processing required to drive the robot 200 . By way of example, control processing circuitry 260 includes processor 262 , main memory 264 , storage 270 and interface circuitry 268 .

プロセッサ２６２は、ロボット２００を駆動するための制御演算を実行する。メインメモリ２６４は、例えば、ＤＲＡＭやＳＲＡＭなどの揮発性記憶装置などで構成される。ストレージ２７０は、例えば、ＳＳＤやＨＤＤなどの不揮発性記憶装置などで構成される。 Processor 262 executes control operations for driving robot 200 . The main memory 264 is composed of, for example, a volatile memory device such as DRAM or SRAM. The storage 270 is configured by, for example, a non-volatile storage device such as SSD or HDD.

ストレージ２７０には、ロボット２００を駆動するための制御を実現するためのシステムプログラム２７２が格納される。システムプログラム２７２は、ロボット２００の動作に係る制御演算を実行する命令、および、ロボット２００との間のインターフェイスに係る命令を含む。 The storage 270 stores a system program 272 for realizing control for driving the robot 200 . The system program 272 includes commands for executing control operations related to the operation of the robot 200 and commands related to interfacing with the robot 200 .

インターフェイス回路２６８は、ロボット２００との間でデータをやり取りする。 Interface circuit 268 exchanges data with robot 200 .

（ｂ４：情報処理装置３００）
図５は、本実施の形態に係る情報処理装置３００のハードウェア構成例を示す模式図である。図５を参照して、情報処理装置３００は、ＣＰＵやＭＰＵなどのプロセッサ３０２と、メインメモリ３０４と、ストレージ３１０と、ネットワークコントローラ３２０と、ＵＳＢコントローラ３２４と、入力部３２６と、表示部３２８とを含む。これらのコンポーネントは、バス３０８を介して接続される。 (b4: information processing device 300)
FIG. 5 is a schematic diagram showing a hardware configuration example of the information processing apparatus 300 according to this embodiment. 5, information processing apparatus 300 includes processor 302 such as a CPU or MPU, main memory 304, storage 310, network controller 320, USB controller 324, input unit 326, and display unit 328. including. These components are connected via bus 308 .

プロセッサ３０２は、ストレージ３１０に格納された各種プログラムを読み出して、メインメモリ３０４に展開して実行することで、情報処理装置３００で必要な処理を実現する。 The processor 302 reads various programs stored in the storage 310 , develops them in the main memory 304 , and executes them, thereby realizing necessary processing in the information processing apparatus 300 .

ストレージ３１０は、例えば、ＨＤＤやＳＳＤなどで構成される。ストレージ３１０には、典型的には、ＯＳ３１２と、後述するような処理を実現するための命令記述支援プログラム３１４とが格納される。なお、ストレージ３１０には、図５に示すプログラム以外の必要なプログラムが格納されてもよい。 The storage 310 is composed of, for example, an HDD, an SSD, or the like. The storage 310 typically stores an OS 312 and an instruction description support program 314 for realizing processing as described later. Note that the storage 310 may store necessary programs other than the programs shown in FIG.

ネットワークコントローラ３２０は、任意のネットワークを介して、任意の情報処理装置との間でデータをやり取りする。 The network controller 320 exchanges data with any information processing device via any network.

ＵＳＢコントローラ３２４は、ＵＳＢ接続を介して、任意の情報処理装置との間でデータをやり取りする。 The USB controller 324 exchanges data with any information processing device via a USB connection.

入力部３２６は、マウス、キーボード、タッチパネルなどで構成され、ユーザからの指示を受け付ける。表示部３２８は、ディスプレイ、各種インジケータなどで構成され、プロセッサ３０２からの処理結果などを出力する。 The input unit 326 is composed of a mouse, keyboard, touch panel, etc., and receives instructions from the user. A display unit 328 includes a display, various indicators, and the like, and outputs processing results from the processor 302 and the like.

情報処理装置３００は、光学ドライブ３０６を有していてもよい。光学ドライブ３０６は、コンピュータ読取可能なプログラムを非一過的に格納する記録媒体３０７（例えば、ＤＶＤ（Digital Versatile Disc）などの光学記録媒体）からプログラムを読み取って、ストレージ３１０などに格納する。 The information processing device 300 may have an optical drive 306 . The optical drive 306 reads the program from a recording medium 307 (for example, an optical recording medium such as a DVD (Digital Versatile Disc)) that stores a computer-readable program non-transitory, and stores the program in a storage 310 or the like.

情報処理装置３００で実行される各種プログラムは、コンピュータ読取可能な記録媒体３０７を介してインストールされてもよいが、ネットワーク上の任意のサーバからダウンロードする形でインストールするようにしてもよい。 Various programs executed by the information processing apparatus 300 may be installed via the computer-readable recording medium 307, or may be installed by being downloaded from any server on the network.

（ｂ５：表示装置４００）
本実施の形態に係る表示装置４００は、一例として、汎用パソコンを用いて実現されてもよい。表示装置４００の基本的なハードウェア構成例は、周知であるので、ここでは詳細な説明は行わない。 (b5: display device 400)
Display device 400 according to the present embodiment may be implemented using a general-purpose personal computer as an example. Since the basic hardware configuration example of the display device 400 is well known, detailed description thereof will not be given here.

（ｂ６：その他の形態）
図３～図５には、１または複数のプロセッサがプログラムを実行することで必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）など）を用いて実装してもよい。 (b6: other forms)
3 to 5 show configuration examples in which one or more processors execute programs to provide necessary functions. It may be implemented using a hardware circuit (for example, ASIC (Application Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array)).

また、情報処理装置３００が本実施の形態に係る命令記述支援の処理のすべてを実行するのではなく、１または複数の情報処理装置３００が連携して必要な処理を実行するようにしてもよい。さらに、本実施の形態に係る命令記述支援の処理の一部または全部を、いわゆるクラウド上のコンピュータリソースを用いて実行するようにしてもよい。 Further, instead of the information processing device 300 executing all of the instruction description support processing according to the present embodiment, one or a plurality of information processing devices 300 may cooperate to execute necessary processing. . Furthermore, part or all of the instruction description support processing according to the present embodiment may be executed using so-called computer resources on the cloud.

本実施の形態に係る命令記述支援の処理をどのようなハードウェアリソースおよびソフトウェアリソースを用いて実現するのかについては、任意に設計および選択できる事項である。 What kind of hardware resources and software resources are used to realize the instruction description support processing according to the present embodiment can be arbitrarily designed and selected.

＜Ｃ．命令コードを生成するための処理＞
次に、本実施の形態に係る命令記述支援システム１が実行する命令コードを生成するための処理について説明する。 <C. Processing for Generating Instruction Code>
Next, a process for generating an instruction code to be executed by the instruction description support system 1 according to this embodiment will be described.

（ｃ１：全体処理）
図６は、本実施の形態に係る命令記述支援システム１が実行する全体処理の処理手順を示すフローチャートである。図６に示す各ステップは、典型的には、情報処理装置３００のプロセッサ３０２が命令記述支援プログラム３１４を実行することで実現される。 (c1: overall processing)
FIG. 6 is a flow chart showing a processing procedure of overall processing executed by the instruction description support system 1 according to the present embodiment. Each step shown in FIG. 6 is typically implemented by processor 302 of information processing apparatus 300 executing instruction description support program 314 .

図６を参照して、情報処理装置３００は、対象のロボットから動作波形データ３０および動画像４６を収集する（ステップＳ１００）。情報処理装置３００は、所定量の動作波形データ３０の収集が完了すると、収集された動作波形データ３０から固有ベクトルを抽出する（ステップＳ１０２）。すなわち、情報処理装置３００は、対象のロボットの動作を示す動作波形データ３０から固有ベクトルを抽出する。 Referring to FIG. 6, information processing apparatus 300 collects motion waveform data 30 and moving image 46 from a target robot (step S100). When the collection of the predetermined amount of operation waveform data 30 is completed, the information processing apparatus 300 extracts eigenvectors from the collected operation waveform data 30 (step S102). That is, the information processing device 300 extracts eigenvectors from the motion waveform data 30 representing the motion of the target robot.

続いて、情報処理装置３００は、対象のロボットから収集された１つの動作波形データ３０を選択する（ステップＳ１０４）。 Subsequently, the information processing device 300 selects one motion waveform data 30 collected from the target robot (step S104).

情報処理装置３００は、選択した動作波形データ３０に対して窓関数３２を設定し（ステップＳ１０６）、抽出した固有ベクトルと、設定した窓関数３２に含まれる動作波形データ３０の特徴量とに基づいて、当該設定した窓関数３２についてのＥＣＴスコアを算出する（ステップＳ１０８）。ＥＣＴスコアは、時間区間である窓関数３２に含まれる動作波形データ３０の特徴量と各固有ベクトルとの類似度を示す値である。 The information processing apparatus 300 sets the window function 32 for the selected operating waveform data 30 (step S106), and based on the extracted eigenvector and the feature amount of the operating waveform data 30 included in the set window function 32. , the ECT score for the set window function 32 is calculated (step S108). The ECT score is a value indicating the degree of similarity between the feature quantity of the operating waveform data 30 included in the window function 32, which is a time interval, and each eigenvector.

情報処理装置３００は、算出したＥＣＴスコアからバイナリコードを算出する（ステップＳ１１０）。情報処理装置３００は、次の時間区間に窓関数３２をシフトさせる（ステップＳ１１２）。ステップＳ１０６～Ｓ１１２の処理は、動作波形データ３０に対して設定される窓関数３２の数だけ繰り返される。 The information processing device 300 calculates a binary code from the calculated ECT score (step S110). The information processing device 300 shifts the window function 32 to the next time interval (step S112). The processes of steps S106 to S112 are repeated by the number of window functions 32 set for the operating waveform data 30. FIG.

情報処理装置３００は、対象のロボットから収集された別の動作波形データ３０を選択し（ステップＳ１１４）、ステップＳ１０６～Ｓ１１２の処理を繰り返す。ステップＳ１０４～Ｓ１１４の処理は、対象の動作波形データ３０の数だけ繰り返される。 The information processing device 300 selects another motion waveform data 30 collected from the target robot (step S114), and repeats the processes of steps S106 to S112. The processing of steps S104 to S114 is repeated by the number of target operation waveform data 30 .

続いて、情報処理装置３００は、算出したバイナリコードをハイパー空間３８にプロットし（ステップＳ１１６）、ハイパー空間３８上に形成された動作特徴量を示す１または複数のクラスタ４０を決定する（ステップＳ１１８）。そして、情報処理装置３００は、決定したクラスタ４０の各々に対して、動作要素をラベリングするとともに、動作要素に対応する動作要素コード４４を割り当てる（ステップＳ１２０）。 Subsequently, the information processing device 300 plots the calculated binary code in the hyperspace 38 (step S116), and determines one or a plurality of clusters 40 representing motion feature amounts formed in the hyperspace 38 (step S118). ). Then, the information processing apparatus 300 labels each of the determined clusters 40 with an action element and assigns an action element code 44 corresponding to the action element (step S120).

以上の処理によって、動作要素モデル４８が構成される。動作要素モデル４８は、バイナリコードの入力に対して、対応する動作要素および当該動作要素を示す動作要素コード４４を出力する。 By the above processing, the action element model 48 is constructed. The action element model 48 outputs a corresponding action element and an action element code 44 indicating the action element in response to the binary code input.

続いて、動作定義データベース６０が構成される。より具体的には、情報処理装置３００は、任意のロボット動作に対応する動作波形データ３０から窓関数毎にバイナリコードを算出し（ステップＳ１２２）、算出したバイナリコードを動作要素モデル４８に順次入力することで、動作要素コード４４のデータ列を算出する（ステップＳ１２４）。動作要素コード４４のデータ列は、ロボットの動作要素を時系列に並べたものに相当する。 Subsequently, the action definition database 60 is constructed. More specifically, the information processing device 300 calculates a binary code for each window function from the action waveform data 30 corresponding to an arbitrary robot action (step S122), and sequentially inputs the calculated binary codes to the action element model 48. By doing so, the data string of the action element code 44 is calculated (step S124). The data string of the motion element code 44 corresponds to the motion elements of the robot arranged in chronological order.

情報処理装置３００は、ステップＳ１２２においてバイナリコードを算出したロボット動作に対応する動画像４６から動作認識を行って、ロボットの動作要素に対応する動詞（単語）の列を決定する（ステップＳ１２６）。このように、情報処理装置３００は、所定の動作を行うロボットを撮影した動画像４６を動作認識することで、当該所定の動作を示す動詞を決定する。なお、動画像４６に代えて、あるいは、動画像４６に加えて、対象のロボットのパスプランを用いてもよい。また、現実にロボットを撮影して得られる動画像４６ではなく、ロボットを仮想的に撮影して得られる動画像４６を用いてもよい。 The information processing device 300 performs motion recognition from the moving image 46 corresponding to the robot motion for which the binary code was calculated in step S122, and determines a string of verbs (words) corresponding to the motion elements of the robot (step S126). In this way, the information processing apparatus 300 determines the verb indicating the predetermined action by recognizing the motion image 46 of the robot performing the predetermined action. Instead of the moving image 46, or in addition to the moving image 46, the path plan of the target robot may be used. Also, the moving image 46 obtained by virtually capturing the robot may be used instead of the moving image 46 obtained by actually capturing the robot.

情報処理装置３００は、ステップＳ１２４において算出した動作要素コード４４のデータ列と、ステップＳ１２６において決定した動詞とを組み合わせることで、固有動作６４の動作定義を決定し（ステップＳ１２８）、固有動作６４の各々を特定するための固有動作コード６６を割り当てる（ステップＳ１３０）。そして、情報処理装置３００は、固有動作６４および対応する固有動作コード６６を動作定義データベース６０に登録する（ステップＳ１３２）。 The information processing apparatus 300 determines the action definition of the unique action 64 by combining the data string of the action element code 44 calculated in step S124 and the verb determined in step S126 (step S128). A unique action code 66 is assigned to identify each (step S130). Then, the information processing device 300 registers the unique action 64 and the corresponding unique action code 66 in the action definition database 60 (step S132).

なお、情報処理装置３００は、必要に応じて、複数の固有動作６４からなる連動作６８、または、複数の連動作６８からなる工程７０の単位で動作定義データベース６０に登録してもよい。 The information processing apparatus 300 may register in the action definition database 60 in units of continuous actions 68 including a plurality of unique actions 64 or steps 70 including a plurality of linked actions 68 as necessary.

以上の処理によって動作定義データベース６０が構成される。動作定義データベース６０を用いて、任意のロボット動作に対応する命令コード７２を生成する。 The action definition database 60 is configured by the above processing. Using the action definition database 60, an instruction code 72 corresponding to an arbitrary robot action is generated.

より具体的には、情報処理装置３００は、任意のロボット動作に対応する動作波形データ３０から窓関数毎にバイナリコードを算出し（ステップＳ１３４）、算出したバイナリコードを動作要素モデル４８に順次入力することで、動作要素コード４４のデータ列を算出する（ステップＳ１３６）。すなわち、情報処理装置３００は、動作要素モデル４８を参照して、バイナリコードから動作要素を推定する。動作要素コード４４のデータ列は、ロボットの動作要素を時系列に並べたものに相当する。 More specifically, the information processing apparatus 300 calculates a binary code for each window function from the motion waveform data 30 corresponding to an arbitrary robot motion (step S134), and sequentially inputs the calculated binary codes to the motion element model 48. By doing so, the data string of the action element code 44 is calculated (step S136). That is, the information processing device 300 refers to the motion element model 48 and estimates motion elements from the binary code. The data string of the motion element code 44 corresponds to the motion elements of the robot arranged in chronological order.

情報処理装置３００は、動作定義データベース６０を参照して、動作要素コード４４のデータ列に合致あるいは最も類似する固有動作６４を検索する（ステップＳ１３８）。最終的に、情報処理装置３００は、動作要素コード４４のデータ列に合致あるいは最も類似する固有動作６４に対応する固有動作コード６６を順次出力する（ステップＳ１４０）。順次出力される固有動作コード６６の集合が命令コード７２となる。 The information processing device 300 refers to the action definition database 60 to search for the unique action 64 that matches or is most similar to the data string of the action element code 44 (step S138). Finally, the information processing device 300 sequentially outputs unique action codes 66 corresponding to unique actions 64 that match or are most similar to the data string of the action element code 44 (step S140). A set of peculiar operation codes 66 that are sequentially output becomes an instruction code 72 .

このように、情報処理装置３００は、１または複数の動作要素で構成される固有動作６４を登録した動作定義データベース６０を参照して、対象のロボットの動作を示す１または複数の固有動作６４を決定するとともに、当該決定した１または複数の固有動作６４を示す固有動作コード６６を命令コード７２として生成する。 In this way, the information processing apparatus 300 refers to the action definition database 60 in which the unique actions 64 composed of one or more action elements are registered, and determines the one or more unique actions 64 indicating the action of the target robot. Along with the determination, a unique operation code 66 indicating the determined one or more unique operations 64 is generated as an instruction code 72 .

（ｃ２：動作波形データの収集および固有ベクトルの抽出）
まず、動作波形データを収集および固有ベクトルを抽出する処理（ステップＳ１００，Ｓ１０２）について説明する。 (c2: Collection of operating waveform data and extraction of eigenvectors)
First, the process of collecting operating waveform data and extracting eigenvectors (steps S100 and S102) will be described.

情報処理装置３００は、対象のロボットから所定量の動作波形データを収集する。動作波形データは、所定のサンプリング周期毎に収集された動作特徴ベクトルの時系列データに相当する。動作特徴ベクトルは、対象のロボットの動作に係る複数の特徴量により規定される多次元ベクトルである。特徴量としては、例えば、対象のロボットのＴＣＰ姿勢（各軸の位置）、関節トルク、ＴＣＰ速度、ＴＣＰ加速度、ＴＣＰ加加速度などが挙げられる。 The information processing device 300 collects a predetermined amount of motion waveform data from a target robot. The motion waveform data corresponds to time-series data of motion feature vectors collected for each predetermined sampling period. A motion feature vector is a multi-dimensional vector defined by a plurality of feature amounts relating to the motion of the target robot. The feature values include, for example, the TCP posture (position of each axis), joint torque, TCP velocity, TCP acceleration, TCP jerk, etc. of the target robot.

例えば、マニピュレータ（６軸多関節ロボット）では、ＴＣＰ姿勢（Ｘ，Ｙ，Ｚ，Ｒｘ，Ｒｙ，Ｒｚ）、関節回転角度（６軸）、関節トルク（６軸）、ＴＣＰ速度（Ｖｘ，Ｖｙ，Ｖｚ，Ｖｒｘ，Ｖｒｙ，Ｖｒｚ）の合計２４次元の特徴量を用いてもよい。また、モバイルロボットでは、現在の姿勢（Ｘ，Ｙ，θ）、ドライブトレイントルク（Ｌトルク，Ｒトルク）、速度、ＩＭＵデータ（速度、回転位置、回転速度）の合計２４次元の特徴量を用いてもよい。 For example, in a manipulator (6-axis articulated robot), TCP posture (X, Y, Z, Rx, Ry, Rz), joint rotation angle (6-axis), joint torque (6-axis), TCP velocity (Vx, Vy, Vz, Vrx, Vry, Vrz) may be used. In addition, the mobile robot uses a total of 24-dimensional feature values, including the current posture (X, Y, θ), drive train torque (L torque, R torque), speed, and IMU data (speed, rotational position, rotational speed). may

なお、対象のロボットの動作を規定する情報であれば、どのような特徴量を用いてもよい。 Note that any feature amount may be used as long as it is information that defines the motion of the target robot.

情報処理装置３００は、収集された動作波形データに対して主成分分析を行うことで、１または複数の固有ベクトルを抽出する。固有ベクトルの抽出は、任意の方法を採用できる。抽出された固有ベクトルは、対象のロボットの基本的な動作の特徴を示すと考えられる。 The information processing device 300 extracts one or more eigenvectors by performing principal component analysis on the collected operating waveform data. Any method can be used to extract eigenvectors. The extracted eigenvectors are believed to represent the basic motion characteristics of the robot of interest.

（ｃ３：ＥＣＴスコアの算出）
次に、ＥＣＴスコアを算出する処理について説明する（ステップＳ１０６，Ｓ１０８）。 (c3: Calculation of ECT score)
Next, processing for calculating the ECT score will be described (steps S106 and S108).

図７は、本実施の形態に係る命令記述支援システム１におけるＥＣＴスコアを算出する処理を説明するための図である。上述したように、動作波形データ３０は、所定のサンプリング周期毎に収集された動作特徴ベクトルの時系列データに相当する。 FIG. 7 is a diagram for explaining processing for calculating an ECT score in the instruction description support system 1 according to this embodiment. As described above, the motion waveform data 30 corresponds to time-series data of motion feature vectors collected at predetermined sampling intervals.

情報処理装置３００は、動作波形データ３０に対して、所定の時間幅を有する窓関数３２を時間軸に沿ってシフトさせて順次適用する。すなわち、情報処理装置３００は、動作波形データ３０に設定される時間区間である窓関数３２を時間軸に沿ってシフトさせる。情報処理装置３００は、窓関数３２を用いて、予め抽出された固有ベクトルのうち、動作波形データ３０と合致する固有ベクトルを抽出する。 The information processing apparatus 300 sequentially applies a window function 32 having a predetermined time width to the operating waveform data 30 while shifting the window function 32 along the time axis. That is, the information processing apparatus 300 shifts the window function 32, which is the time interval set in the operating waveform data 30, along the time axis. The information processing apparatus 300 uses the window function 32 to extract eigenvectors that match the operating waveform data 30 from the eigenvectors extracted in advance.

より具体的には、まず、情報処理装置３００は、窓関数３２に含まれる対象のデータとレファレンスデータとの時間相関行列を算出する。そして、情報処理装置３００は、時間相関行列と固有ベクトルとの比較、および、時間相関行列から固有値を算出する。固有値としては、例えば、ベクトルのドット積（＜ｖ１，ｖ２＞＝Σｖ_１ｉ，ｖ_２ｉ）を用いて規定されるベクトルの方向を用いることができる。ここで、ドット積は、２つのベクトルがどの程度類似しているかを－１～１の範囲の値で示す。さらに、ドット積を０～１００％の範囲に規格化することで、窓関数３２における相関行列の固有ベクトル内積を示すＥＣＴスコアを算出できる。 More specifically, first, the information processing device 300 calculates a time correlation matrix between the target data included in the window function 32 and the reference data. Information processing apparatus 300 then compares the time correlation matrix and the eigenvector, and calculates the eigenvalue from the time correlation matrix. As the eigenvalue, for example, the direction of the vector defined using the vector dot product (<v1, v2>=Σv _1i , v _2i ) can be used. Here, the dot product indicates how similar two vectors are with values ranging from -1 to 1. Furthermore, by normalizing the dot product in the range of 0 to 100%, an ECT score indicating the eigenvector inner product of the correlation matrix in the window function 32 can be calculated.

すなわち、情報処理装置３００は、動作波形データ３０に設定される窓関数３２毎に、各固有ベクトルについてのスコア（ＥＣＴスコア）を算出する。算出されたＥＣＴスコアは、ＥＣＴスコアリスト３４として出力される。 That is, the information processing apparatus 300 calculates a score (ECT score) for each eigenvector for each window function 32 set in the operating waveform data 30 . The calculated ECT scores are output as an ECT score list 34. FIG.

このように、情報処理装置３００は、所定数の固有ベクトルに対して、動作波形データ３０と時系列的に合致する固有ベクトルを決定し、ノルムの積で除算することで、当該決定した固有ベクトル内積の角度を算出し、算出した角度を正規化してＥＣＴスコアとして算出する。 In this way, the information processing apparatus 300 determines an eigenvector that chronologically matches the operating waveform data 30 for a predetermined number of eigenvectors, and divides the determined eigenvector inner product angle by the norm product. is calculated, and the calculated angle is normalized and calculated as an ECT score.

（ｃ４：バイナリコードの算出）
次に、バイナリコードを算出する処理について説明する（ステップＳ１１０）。 (c4: calculation of binary code)
Next, processing for calculating a binary code will be described (step S110).

図８は、本実施の形態に係る命令記述支援システム１におけるバイナリコード３６を算出する処理を説明するための図である。図８を参照して、バイナリコード３６は、テストパッチに基づいて算出される。テストパッチは、予め算出されたＥＣＴスコアリスト３４に含まれるＥＣＴスコア群からランダムに選択された２つのＥＣＴスコア（ＥＣＴ_ｘおよびＥＣＴ_ｙ）からなる組み合わせである。 FIG. 8 is a diagram for explaining the process of calculating the binary code 36 in the instruction description support system 1 according to this embodiment. Referring to FIG. 8, binary code 36 is calculated based on test patches. A test patch is a combination of two ECT scores (ECT _x and ECT _y ) randomly selected from the group of ECT scores included in the pre-calculated ECT score list 34 .

例えば、図８においては、ＥＣＴスコアリスト３４の１番目と３番目のＥＣＴスコアとが第１の組み合わせとして選択され、ＥＣＴスコアリスト３４の１番目と２番目のＥＣＴスコアとが第２の組み合わせとして選択され、ＥＣＴスコアリスト３４の２番目と５番目のＥＣＴスコアとが第３の組み合わせとして選択されている。以下、２つのＥＣＴスコアがランダムに順次選択される。 For example, in FIG. 8, the first and third ECT scores in the ECT score list 34 are selected as the first combination, and the first and second ECT scores in the ECT score list 34 are selected as the second combination. selected, the second and fifth ECT scores in the ECT score list 34 are selected as the third combination. Below, two ECT scores are randomly selected sequentially.

パッチに含まれる２つのＥＣＴスコアを比較して、第１のＥＣＴスコア（ＥＣＴ_ｘ）が第２のＥＣＴスコア（ＥＣＴ_ｙ）以上であれば「１」を割り当て、第１のＥＣＴスコア（ＥＣＴ_ｘ）が第２のＥＣＴスコア（ＥＣＴ_ｙ）より小さければ「０」を割り当てる。このように、情報処理装置３００は、複数の固有ベクトルのそれぞれに対する窓関数３２に相当する時間区間の波形データの類似度をそれぞれ算出し、算出された類似度のうちランダムに選択される２つの類似度間の大小関係に応じて、バイナリコード３６を構成する各ビットの値を決定する。 Compare the two ECT scores contained in the patch, assigning "1" if the first ECT score (ECT _x ) is greater than or equal to the second ECT score (ECT _y ), assigning the first ECT score (ECT _x ) is less than the second ECT score (ECT _y ), assign a '0'. In this way, the information processing apparatus 300 calculates the similarity of the waveform data in the time interval corresponding to the window function 32 for each of the plurality of eigenvectors, and selects two similarities randomly selected from the calculated similarities. The value of each bit forming the binary code 36 is determined according to the magnitude relationship between degrees.

バイナリコード３６の長さは、ＥＣＴスコアリスト３４に含まれるＥＣＴスコアの組み合わせの数（例えば、図８に示すように９個のＥＣＴスコアであれば、_９Ｃ_２＝３６個）となる。例えば、動作特徴量として、３６ビットのバイナリコード３６が算出される。 The length of the binary code 36 is the number of ECT score combinations included in the ECT score list 34 (eg, ₉ C ₂ =36 for 9 ECT scores as shown in FIG. 8). For example, a 36-bit binary code 36 is calculated as the motion feature amount.

算出されたバイナリコード３６は、窓関数３２の時間区間におけるロボットの動作を示すコードに相当する。 The calculated binary code 36 corresponds to a code representing the motion of the robot in the time interval of the window function 32 .

このように、情報処理装置３００は、動作波形データ３０に設定される時間区間である窓関数３２の波形データと固有ベクトルとの類似度を示すＥＣＴスコアから、当該時間区間の動作を示すバイナリコード３６を算出する。 In this way, the information processing apparatus 300 uses the ECT score, which indicates the similarity between the waveform data of the window function 32, which is a time interval set in the operation waveform data 30, and the eigenvector, to obtain the binary code 36 indicating the operation in the time interval. Calculate

（ｃ５：動作要素モデル４８の構成）
次に、動作要素モデル４８を構成する処理について説明する（ステップＳ１１６，Ｓ１１８，Ｓ１２０）。 (c5: Configuration of action element model 48)
Next, processing for configuring the action element model 48 will be described (steps S116, S118, S120).

図９は、本実施の形態に係る命令記述支援システム１における動作要素モデル４８を構成するためのクラスタリング処理を説明するための図である。図９を参照して、上述したような手順によって算出された多数のバイナリコード３６をハイパー空間３８にプロットする。バイナリコード３６がプロットされるハイパー空間３８は、バイナリコード３６を構成するビット数と同数の次元（上述の例では、３６次元）を有している。 FIG. 9 is a diagram for explaining clustering processing for constructing behavioral element model 48 in instruction description support system 1 according to the present embodiment. Referring to FIG. 9, a number of binary codes 36 calculated by the procedure as described above are plotted in hyperspace 38. FIG. The hyperspace 38 in which the binary code 36 is plotted has the same number of dimensions as the number of bits forming the binary code 36 (36 dimensions in the above example).

ハイパー空間３８にプロットされた多数のバイナリコード３６によって、動作要素に対応する１または複数のクラスタ４０が形成される。クラスタ４０の各々は、動作要素の特徴を示すことになる。 A number of binary codes 36 plotted in hyperspace 38 form one or more clusters 40 corresponding to action elements. Each of the clusters 40 will exhibit characteristics of an operating element.

図１０は、本実施の形態に係る命令記述支援システム１における動作要素モデル４８を構成するためのラベリング処理を説明するための図である。図１０を参照して、クラスタリングによって得られた動作特徴量に対して、「まがる」、「とまる」、「直進」といった動作要素５６をラベリングするとともに、動作要素５６に対応する動作要素コード４４を割り当てる。動作要素５６は、収集した動作波形データが対象とするロボットの動作内容から決定できる。 FIG. 10 is a diagram for explaining the labeling process for constructing the action element model 48 in the instruction description support system 1 according to this embodiment. Referring to FIG. 10, motion elements 56 such as "turn", "stop", and "go straight" are labeled with respect to the motion feature values obtained by clustering, and motion element codes 44 corresponding to the motion elements 56 are added. assign. The motion element 56 can be determined from the details of the motion of the robot targeted by the collected motion waveform data.

以上のようなクラスタリング処理およびラベリング処理によって、動作要素モデル４８が構成される。すなわち、情報処理装置３００は、複数のバイナリコード３６をクラスタリングすることにより、動作要素モデル４８を構成する。なお、動作要素モデル４８は、図１０に示すようなハイパー空間３８を有する必要は必ずしもなく、公知の分類器の形で実装されてもよい。 A motion element model 48 is configured by the clustering processing and labeling processing as described above. That is, the information processing device 300 configures the action element model 48 by clustering the plurality of binary codes 36 . Note that the action element model 48 does not necessarily need to have the hyperspace 38 as shown in FIG. 10, and may be implemented in the form of a known classifier.

図１１は、本実施の形態に係る命令記述支援システム１における動作要素モデル４８を構成するための類似度を評価する処理を説明するための図である。図１１を参照して、図９に示すようなハイパー空間３８にプロットされたバイナリコード３６によって形成された動作要素５６を示すクラスタ４０のヒストグラム４２が算出される。ヒストグラム４２においては、動作特徴量のベクトルの方向が互いに類似するほど、動作特徴量の類似度が高いことが示される。 FIG. 11 is a diagram for explaining the similarity evaluation process for constructing the action element model 48 in the instruction description support system 1 according to the present embodiment. Referring to FIG. 11, a histogram 42 of clusters 40 showing action elements 56 formed by binary code 36 plotted in hyperspace 38 as shown in FIG. 9 is computed. The histogram 42 indicates that the more similar the directions of the vectors of the motion feature amounts, the higher the similarity of the motion feature amounts.

例えば、カルバック・ライブラー情報量（Kullback-Leibler divergence）を用いることで、各分布の類似度を評価できる。すなわち、カルバック・ライブラー情報量（ＫＬ情報量）は、確率分布Ｐ（ｉ）と確率分布Ｑ（ｉ）との間がどの程度類似しているかを示す。ＫＬ情報量がゼロに近付くほど、２つの確率分布は類似度が高いことを意味する。ＫＬ情報量Ｄ_ＫＬは図１２に示すような式に従って算出でき、ＫＬ情報量Ｄ_ＫＬを評価することで、動作要素モデル４８の識別性能を高めることができる。 For example, the Kullback-Leibler divergence can be used to evaluate the similarity of each distribution. That is, the Kullback-Leibler information amount (KL information amount) indicates how similar the probability distribution P(i) and the probability distribution Q(i) are. The closer the KL information amount is to zero, the higher the degree of similarity between the two probability distributions. The KL information amount D _KL can be calculated according to the formula shown in FIG. 12, and by evaluating the KL information amount D _KL , the identification performance of the motion element model 48 can be enhanced.

なお、図１１に適用されるアルゴリズムは、画像処理および物体検出アルゴリズムで利用される「Bag-of-Visual Words」と同様の内容である。 Note that the algorithm applied to FIG. 11 has the same content as "Bag-of-Visual Words" used in image processing and object detection algorithms.

（ｃ６：動作定義データベース６０の構成）
次に、動作定義データベース６０を構成する処理について説明する（ステップＳ１２２～Ｓ１３２）。 (c6: Configuration of action definition database 60)
Next, the process of configuring the action definition database 60 will be described (steps S122 to S132).

図１２は、本実施の形態に係る命令記述支援システム１における動作定義データベース６０を構成する処理を説明するための図である。 FIG. 12 is a diagram for explaining the process of configuring the action definition database 60 in the instruction description support system 1 according to this embodiment.

図１２を参照して、情報処理装置３００は、任意のロボット動作についての動作波形データを収集するとともに、当該ロボット動作を撮影することで動画像などを収集する。 Referring to FIG. 12, information processing apparatus 300 collects motion waveform data of an arbitrary robot motion, and also collects moving images and the like by photographing the robot motion.

情報処理装置３００は、上述の図７および図８に示す処理手順に従って、収集した動作波形データから窓関数毎のバイナリコード３６を算出する（バイナリコードリスト５０）。そして、情報処理装置３００は、窓関数毎のバイナリコード３６が図１０に示すハイパー空間３８上のいずれのクラスタ４０に分類されるのかを決定する（動作要素モデル４８を用いたクラス分類処理５２）。 The information processing apparatus 300 calculates the binary code 36 for each window function from the collected operating waveform data (binary code list 50) according to the processing procedure shown in FIGS. 7 and 8 described above. Then, the information processing device 300 determines to which cluster 40 on the hyperspace 38 shown in FIG. 10 the binary code 36 for each window function is classified (class classification processing 52 using the motion element model 48). .

その結果、窓関数毎に対応する動作要素５６が決定あるいは推定される。決定された動作要素５６を示す動作要素コード４４（「８８」，「２３２」，「２３５」，「３４３」など）が命令記述の基本的な要素となる。 As a result, the operating element 56 corresponding to each window function is determined or estimated. An action element code 44 ("88", "232", "235", "343", etc.) indicating the determined action element 56 is a basic element of the instruction description.

一方、情報処理装置３００は、対応する動画像などから動作認識を行って、一連の動作に対応する動詞（単語）を決定する（動作認識に基づく動作（単語）決定処理５４）。なお、一連の動作に対応する動詞を決定する処理は、例えば、非特許文献１に開示される手法を用いることができる。 On the other hand, the information processing apparatus 300 performs action recognition from the corresponding moving image or the like, and determines a verb (word) corresponding to a series of actions (action (word) determination processing 54 based on action recognition). Note that the method disclosed in Non-Patent Document 1, for example, can be used for the process of determining a verb corresponding to a series of actions.

１または複数の動作要素５６が固有動作６４（例えば、「拭く（wipe）」）を構成する。情報処理装置３００は、決定した固有動作６４に対して、固有動作コード６６を割り当てる。 One or more action elements 56 constitute a unique action 64 (eg, "wipe"). The information processing device 300 assigns a unique action code 66 to the determined unique action 64 .

上述したように、窓関数３２毎に対応する動作要素５６を推定することで、一連の動作要素５６を決定し、当該決定した一連の動作要素５６に対して動詞を割り当てることで、固有動作６４および固有動作６４を特定する固有動作コード６６を決定する。このように決定された固有動作コード６６が命令コード７２の基本単位となる。 As described above, by estimating the motion element 56 corresponding to each window function 32, a series of motion elements 56 is determined, and by assigning verbs to the determined series of motion elements 56, the eigen motion 64 and a unique action code 66 that identifies the unique action 64 . The unique operation code 66 thus determined is the basic unit of the instruction code 72 .

図１３は、本実施の形態に係る命令記述支援システム１における動作定義データベース６０および動作要素５６の関係を説明するための図である。図１３を参照して、動作定義データベース６０は、複数の固有動作６４および対応する固有動作コード６６を含む。 FIG. 13 is a diagram for explaining the relationship between the action definition database 60 and the action elements 56 in the instruction description support system 1 according to this embodiment. Referring to FIG. 13, action definition database 60 includes a plurality of unique actions 64 and corresponding unique action codes 66 .

固有動作６４の各々は、固有動作６４を構成する１または複数の動作要素５６が対応付けられている。動作要素５６の各々には、動作要素コード４４が割り当てられている。固有動作コード６６は、１または複数の動作要素コード４４に対応付けることができる。 Each eigenmotion 64 is associated with one or more motion elements 56 that make up the eigenmotion 64 . Each action element 56 is assigned an action element code 44 . A unique action code 66 may correspond to one or more action element codes 44 .

以上のような処理によって、動作定義データベース６０が構成される。 The action definition database 60 is configured by the above processing.

（ｃ７：命令コード７２の生成）
次に、命令コード７２を生成する処理について説明する（ステップＳ１３４～Ｓ１４０）。 (c7: Generation of instruction code 72)
Next, the processing for generating the instruction code 72 will be described (steps S134 to S140).

情報処理装置３００は、上述の図７および図８に示す処理手順に従って、命令コード７２を生成する対象となるロボット動作に対応する動作波形データ３０から窓関数毎にバイナリコード３６を算出する。そして、情報処理装置３００は、算出した窓関数毎にバイナリコード３６を動作要素モデル４８に入力して、窓関数毎に対応する動作要素コード４４を決定する。すなわち、情報処理装置３００は、窓関数毎のバイナリコード３６に対応する一連の動作要素コード４４を算出する。 The information processing device 300 calculates the binary code 36 for each window function from the operation waveform data 30 corresponding to the robot operation for which the instruction code 72 is to be generated, according to the processing procedure shown in FIGS. Then, the information processing apparatus 300 inputs the binary code 36 to the motion element model 48 for each calculated window function, and determines the motion element code 44 corresponding to each window function. That is, the information processing device 300 calculates a series of motion element codes 44 corresponding to the binary code 36 for each window function.

そして、情報処理装置３００は、動作定義データベース６０を参照して、算出した一連の動作要素コード４４に対応する固有動作を決定する。すなわち、情報処理装置３００は、図１３に示す動作要素５６および動作要素コード４４の組み合わせに合致あるいは最も類似する固有動作６４を検索する。 Then, the information processing device 300 refers to the action definition database 60 to determine a unique action corresponding to the series of calculated action element codes 44 . That is, the information processing apparatus 300 searches for the unique motion 64 that matches or is most similar to the combination of the motion element 56 and the motion element code 44 shown in FIG.

情報処理装置３００は、検索により得られた１または複数の固有動作６４に対応する固有動作コード６６の組み合わせを命令コード７２として出力する。 The information processing device 300 outputs a combination of unique action codes 66 corresponding to one or more unique actions 64 obtained by searching as an instruction code 72 .

以上のように、情報処理装置３００は、動作要素モデル４８および動作定義データベース６０を参照して、任意のロボット動作を示す動作波形データ３０から命令コード７２を生成する。 As described above, the information processing apparatus 300 refers to the motion element model 48 and the motion definition database 60 to generate the instruction code 72 from the motion waveform data 30 representing an arbitrary robot motion.

＜Ｄ．機能構成＞
図１４は、本実施の形態に係る命令記述支援システム１の動作定義データベース６０を構成するための機能構成例を示す模式図である。図１５は、本実施の形態に係る命令記述支援システム１の命令コード７２を生成するための機能構成例を示す模式図である。 <D. Functional configuration>
FIG. 14 is a schematic diagram showing a functional configuration example for configuring the action definition database 60 of the instruction description support system 1 according to this embodiment. FIG. 15 is a schematic diagram showing a functional configuration example for generating the instruction code 72 of the instruction description support system 1 according to this embodiment.

図１４および図１５に示される機能は、典型的には、情報処理装置３００のプロセッサ３０２が命令記述支援プログラム３１４を実行することで実現される。 The functions shown in FIGS. 14 and 15 are typically realized by processor 302 of information processing apparatus 300 executing instruction description support program 314. FIG.

図１４を参照して、情報処理装置３００は、動作定義データベース６０を構成するための機能構成として、固有ベクトル抽出部３５０と、窓関数設定部３５２と、ＥＣＴスコア算出部３５４と、バイナリコード算出部３５６と、動作要素モデル構成部３５８と、動作要素決定部３６０と、動作認識部３６２と、動作定義データベース構成部３６４とを含む。 Referring to FIG. 14, information processing apparatus 300 includes an eigenvector extraction unit 350, a window function setting unit 352, an ECT score calculation unit 354, and a binary code calculation unit as the functional configuration for configuring action definition database 60. 356 , an action element model configuration unit 358 , an action element determination unit 360 , an action recognition unit 362 , and an action definition database configuration unit 364 .

固有ベクトル抽出部３５０は、ロボットから収集された動作波形データ３０から固有ベクトルあるいは固有ベクトルの候補を抽出する。すなわち、固有ベクトル抽出部３５０は、対象のロボットの動作を示す動作波形データ３０から固有ベクトルを抽出する。 The eigenvector extractor 350 extracts eigenvectors or eigenvector candidates from the motion waveform data 30 collected from the robot. That is, the eigenvector extraction unit 350 extracts eigenvectors from the motion waveform data 30 representing the motion of the target robot.

窓関数設定部３５２は、ロボットから収集された動作波形データ３０に対して、窓関数３２を設定するとともに、窓関数３２を時間軸に沿って順次シフトさせる。 The window function setting unit 352 sets the window function 32 for the motion waveform data 30 collected from the robot, and sequentially shifts the window function 32 along the time axis.

ＥＣＴスコア算出部３５４は、固有ベクトル抽出部３５０により抽出された固有ベクトルと、窓関数設定部３５２により設定された窓関数３２に含まれる動作波形データ３０の特徴量とに基づいて、ＥＣＴスコアを算出する。 The ECT score calculator 354 calculates an ECT score based on the eigenvector extracted by the eigenvector extractor 350 and the feature amount of the operating waveform data 30 included in the window function 32 set by the window function setter 352. .

バイナリコード算出部３５６は、ＥＣＴスコア算出部３５４により算出されたＥＣＴスコアからバイナリコード３６を算出する。すなわち、バイナリコード算出部３５６は、動作波形データ３０に設定される時間区間（窓関数３２）の波形データと固有ベクトルとの類似度を示すＥＣＴスコアから、当該時間区間の動作を示すバイナリコード３６を算出する。 The binary code calculator 356 calculates the binary code 36 from the ECT score calculated by the ECT score calculator 354 . That is, the binary code calculator 356 calculates the binary code 36 representing the operation in the time interval from the ECT score, which indicates the similarity between the waveform data in the time interval (window function 32) set in the operation waveform data 30 and the eigenvector. calculate.

動作要素モデル構成部３５８は、複数のバイナリコード３６をクラスタリングすることにより、動作要素５６を推定するための動作要素モデル４８を構成する。より具体的には、動作要素モデル構成部３５８は、バイナリコード算出部３５６により算出されたバイナリコード３６をハイパー空間３８にプロットするとともに、プロットされたバイナリコード３６の集合からクラスタ４０を決定する。動作要素モデル構成部３５８は、各クラスタ４０に対して、動作要素５６をラベリングするとともに、動作要素５６に対応する動作要素コード４４を割り当てることで、動作要素モデル４８を構成する。 The action element model constructing unit 358 constructs the action element model 48 for estimating the action element 56 by clustering the plurality of binary codes 36 . More specifically, the action element model constructing unit 358 plots the binary code 36 calculated by the binary code calculating unit 356 in the hyperspace 38 and determines the cluster 40 from the set of plotted binary codes 36 . The action element model constructing unit 358 constructs the action element model 48 by labeling the action element 56 and assigning the action element code 44 corresponding to the action element 56 to each cluster 40 .

動作要素決定部３６０は、バイナリコード算出部３５６が算出する窓関数毎のバイナリコード３６を動作要素モデル４８に入力して、動作波形データ３０に対応する動作要素５６および対応する動作要素コード４４を順次出力する。 The motion element determination unit 360 inputs the binary code 36 for each window function calculated by the binary code calculation unit 356 to the motion element model 48, and determines the motion element 56 corresponding to the motion waveform data 30 and the corresponding motion element code 44. Output sequentially.

動作認識部３６２は、動画像４６に基づいて、動作波形データ３０に対応する動詞（単語）を出力する。すなわち、動作認識部３６２は、所定の動作を行うロボットを撮影した動画像を動作認識することで、当該所定の動作を示す動詞を決定する。 The motion recognition unit 362 outputs verbs (words) corresponding to the motion waveform data 30 based on the moving image 46 . That is, the motion recognition unit 362 determines the verb indicating the predetermined motion by recognizing the motion image of the robot performing the predetermined motion.

動作定義データベース構成部３６４は、動作要素決定部３６０から時系列に出力される動作要素コード４４と、動作認識部３６２から時系列に出力される動詞とを組み合わせて、動作定義データベース６０を構成する。すなわち、動作定義データベース構成部３６４は、ロボットが所定の動作を行ったときの動作波形データ３０から動作要素モデル４８を用いて推定される一連の動作要素と、当該所定の動作を示す動詞とを対応付けることで、当該所定の動作に含まれる、１または複数の動作要素で構成される固有動作６４を決定し、当該決定した固有動作６４を示す固有動作コード６６を動作定義データベース６０に登録する。 The action definition database construction section 364 constructs the action definition database 60 by combining the action element codes 44 output in time series from the action element determination section 360 and the verbs output in time series from the action recognition section 362 . . That is, the action definition database constructing unit 364 stores a series of action elements estimated using the action element model 48 from the action waveform data 30 when the robot performs a predetermined action, and a verb indicating the predetermined action. By doing so, a unique action 64 composed of one or more action elements included in the predetermined action is determined, and a unique action code 66 indicating the determined unique action 64 is registered in the action definition database 60 .

上述したような機能構成を用いて構成された動作定義データベース６０は、例えば、以下のような態様で命令コード７２の生成に利用される。 The action definition database 60 configured using the functional configuration as described above is used to generate the instruction code 72 in the following manner, for example.

図１５を参照して、情報処理装置３００は、命令コード７２を生成するための機能構成として、窓関数設定部３５２と、ＥＣＴスコア算出部３５４と、バイナリコード算出部３５６と、動作要素推定部３７０と、命令コード生成部３７２とを含む。 Referring to FIG. 15, information processing apparatus 300 includes a window function setting unit 352, an ECT score calculation unit 354, a binary code calculation unit 356, a motion element estimation unit, and a functional configuration for generating instruction code 72. 370 and an instruction code generator 372 .

窓関数設定部３５２、ＥＣＴスコア算出部３５４、およびバイナリコード算出部３５６は、図１４に示す構成と実質的に同一である。但し、図１５に示す機能構成においては、命令コード７２の生成を希望するロボット動作に対応する動作波形データ３０が入力される。そのため、算出されるバイナリコード３６についても、命令コード７２の生成を希望するロボット動作を示すものとなる。 A window function setting unit 352, an ECT score calculation unit 354, and a binary code calculation unit 356 are substantially the same in configuration as shown in FIG. However, in the functional configuration shown in FIG. 15, the operation waveform data 30 corresponding to the robot operation for which the instruction code 72 is desired to be generated is input. Therefore, the calculated binary code 36 also indicates the robot motion for which the instruction code 72 is desired to be generated.

動作要素推定部３７０は、動作要素モデル４８を参照して、バイナリコード３６から動作要素を推定する。より具体的には、動作要素推定部３７０は、動作波形データ３０から順次算出されるバイナリコード３６を動作要素モデル４８に順次入力することで、動作要素コード４４のデータ列を算出する。 The motion element estimator 370 refers to the motion element model 48 and estimates motion elements from the binary code 36 . More specifically, the motion element estimator 370 sequentially inputs the binary code 36 sequentially calculated from the motion waveform data 30 to the motion element model 48 to calculate the data string of the motion element code 44 .

命令コード生成部３７２は、動作定義データベース６０を参照して、動作要素コード４４のデータ列に合致あるいは最も類似する固有動作６４を検索する。最終的に、命令コード生成部３７２は、動作要素コード４４のデータ列に合致あるいは最も類似する固有動作６４に対応する固有動作コード６６を順次出力する。順次出力される固有動作コード６６の集合が命令コード７２となる。 The instruction code generator 372 refers to the action definition database 60 to search for the unique action 64 that matches or is most similar to the data string of the action element code 44 . Finally, the instruction code generator 372 sequentially outputs unique operation codes 66 corresponding to unique operations 64 that match or are most similar to the data string of the operation element code 44 . A set of peculiar operation codes 66 that are sequentially output becomes an instruction code 72 .

このように、命令コード生成部３７２は、１または複数の動作要素で構成される固有動作６４を登録した動作定義データベース６０を参照して、対象のロボットの動作を示す１または複数の固有動作６４を決定するとともに、当該決定した１または複数の固有動作６４を示す固有動作コード６６を命令コード７２として生成する。 In this way, the instruction code generator 372 refers to the action definition database 60 in which unique actions 64 composed of one or more action elements are registered, and generates one or more unique actions 64 representing actions of the target robot. is determined, and a unique operation code 66 indicating the determined one or more unique operations 64 is generated as an instruction code 72 .

上述したような機能構成を用いて、任意のロボット動作に対応する命令コード７２が生成される。 Using the functional configuration as described above, an instruction code 72 corresponding to an arbitrary robot motion is generated.

＜Ｅ．応用例＞
図１６は、本実施の形態に係る命令記述支援システム１により生成される命令コード７２の一例を示す図である。図１６を参照して、命令コード７２は、複数の固有動作６４の組み合わせで定義される。固有動作６４の各々は、１または複数の動作要素５６から構成される。 <E. Application example>
FIG. 16 is a diagram showing an example of an instruction code 72 generated by the instruction description support system 1 according to this embodiment. Referring to FIG. 16, instruction code 72 is defined by a combination of multiple unique operations 64 . Each unique motion 64 is composed of one or more motion elements 56 .

なお、動作要素５６の各々には、動作を具体化するためのパラメータが設定可能になっており、ユーザは、所望の動作となるように、パラメータを適宜設定あるいは変更してもよい。 It should be noted that each of the action elements 56 can be set with parameters for embodying actions, and the user may appropriately set or change the parameters so as to achieve desired actions.

＜Ｆ．付記＞
上述したような本実施の形態は、以下のような技術思想を含む。 <F. Note>
The present embodiment as described above includes the following technical ideas.

［構成１］
対象のロボット（２００）の動作を示す動作波形データ（３０）に設定される時間区間（３２）の波形データと固有ベクトルとの類似度を示すスコアから、当該時間区間の動作を示すバイナリコード（３６）を算出する算出部（３５４）と、
動作要素モデル（４８）を参照して、前記バイナリコードから動作要素を推定する推定部（３７０）と、
１または複数の動作要素で構成される固有動作を登録したデータベース（６０）を参照して、前記対象のロボットの動作を示す１または複数の固有動作（６４）を決定するとともに、当該決定した１または複数の固有動作を示す固有動作コード（６６）を命令コード（７２）として生成する生成部（３７２）とを備える、命令記述支援システム。 [Configuration 1]
A binary code (36 ), a calculation unit (354) for calculating
an estimator (370) for estimating a motion element from the binary code with reference to the motion element model (48);
By referring to a database (60) in which unique motions composed of one or more motion elements are registered, one or more unique motions (64) indicating motions of the target robot are determined, and the determined one Alternatively, an instruction description support system comprising a generator (372) that generates a unique operation code (66) representing a plurality of unique operations as an instruction code (72).

［構成２］
前記動作波形データから固有ベクトルを抽出する抽出部（３５０）と、
複数の前記バイナリコードをクラスタリングすることにより、前記動作要素モデル（４８）を構成するモデル構成部（３５８）とをさらに備える、構成１に記載の命令記述支援システム。 [Configuration 2]
an extraction unit (350) for extracting eigenvectors from the operating waveform data;
The instruction description support system according to configuration 1, further comprising a model construction unit (358) that constructs the behavioral element model (48) by clustering a plurality of the binary codes.

［構成３］
前記算出部は、複数の前記固有ベクトルのそれぞれに対する前記時間区間の波形データの類似度をそれぞれ算出し、算出された類似度のうちランダムに選択される２つの類似度間の大小関係に応じて、前記バイナリコードを構成する各ビットの値を決定する。構成１または２に記載の命令記述支援システム。 [Configuration 3]
The calculating unit calculates a similarity of the waveform data in the time interval with respect to each of the plurality of eigenvectors, and according to a magnitude relationship between two similarities randomly selected from the calculated similarities, A value of each bit constituting the binary code is determined. 3. An instruction description support system according to configuration 1 or 2.

［構成４］
前記算出部は、前記動作波形データに設定される前記時間区間を時間軸に沿ってシフトさせる、構成１～３のいずれか１項に記載の命令記述支援システム。 [Configuration 4]
4. The instruction description support system according to any one of configurations 1 to 3, wherein the calculation unit shifts the time interval set in the operation waveform data along the time axis.

［構成５］
前記ロボットが所定の動作を行ったときの動作波形データから前記動作要素モデルを用いて推定される一連の動作要素（５６）と、当該所定の動作を示す動詞とを対応付けることで、当該所定の動作に含まれる、１または複数の動作要素で構成される固有動作を決定し、当該決定した固有動作（６４）を示す固有動作コード（６６）をデータベース（６０）に登録するデータベース構成部（３６４）をさらに備える、構成１～４のいずれか１項に記載の命令記述支援システム。 [Configuration 5]
By associating a series of motion elements (56) estimated using the motion element model from motion waveform data when the robot performs a predetermined motion with verbs indicating the predetermined motion, A database configuration unit (364) that determines a unique motion composed of one or more motion elements included in the motion and registers a unique motion code (66) indicating the determined unique motion (64) in the database (60) ), the instruction description support system according to any one of configurations 1 to 4.

［構成６］
前記所定の動作を行う前記ロボットを撮影した動画像（４６）を動作認識することで、前記所定の動作を示す動詞を決定する動作認識部（３６２）をさらに備える、構成５に記載の命令記述支援システム。 [Configuration 6]
The command description according to configuration 5, further comprising an action recognition unit (362) that determines a verb indicating the predetermined action by recognizing the motion image (46) of the robot performing the predetermined action. support system.

［構成７］
対象のロボット（２００）の動作を示す動作波形データ（３０）に設定される時間区間（３２）の波形データと固有ベクトルとの類似度を示すスコアから、当該時間区間の動作を示すバイナリコード（３６）を算出するステップ（Ｓ１３４）と、
動作要素モデル（４８）を参照して、前記バイナリコードから動作要素を推定するステップ（Ｓ１３６）と、
１または複数の動作要素で構成される固有動作を登録したデータベース（６０）を参照して、前記対象のロボットの動作を示す１または複数の固有動作（６４）を決定するとともに、当該決定した１または複数の固有動作を示す固有動作コード（６６）を命令コード（７２）として生成するステップ（Ｓ１３８，Ｓ１４０）とを備える、命令記述支援方法。 [Configuration 7]
A binary code (36 ) of calculating (S134);
a step of estimating a motion element from the binary code (S136) with reference to the motion element model (48);
By referring to a database (60) in which unique motions composed of one or more motion elements are registered, one or more unique motions (64) indicating motions of the target robot are determined, and the determined one Alternatively, an instruction description support method comprising steps (S138, S140) of generating a unique operation code (66) indicating a plurality of unique operations as an instruction code (72).

［構成８］
コンピュータ（３００）に、
対象のロボット（２００）の動作を示す動作波形データ（３０）に設定される時間区間（３２）の波形データと固有ベクトルとの類似度を示すスコアから、当該時間区間の動作を示すバイナリコード（３６）を算出するステップ（Ｓ１３４）と、
動作要素モデル（４８）を参照して、前記バイナリコードから動作要素を推定するステップ（Ｓ１３６）と、
１または複数の動作要素で構成される固有動作を登録したデータベース（６０）を参照して、前記対象のロボットの動作を示す１または複数の固有動作（６４）を決定するとともに、当該決定した１または複数の固有動作を示す固有動作コード（６６）を命令コード（７２）として生成するステップ（Ｓ１３８，Ｓ１４０）とを実行させる、命令記述支援プログラム。 [Configuration 8]
to the computer (300),
A binary code (36 ) of calculating (S134);
a step of estimating a motion element from the binary code (S136) with reference to the motion element model (48);
By referring to a database (60) in which unique motions composed of one or more motion elements are registered, one or more unique motions (64) indicating motions of the target robot are determined, and the determined one Alternatively, an instruction description support program for executing steps (S138, S140) of generating a unique operation code (66) representing a plurality of unique operations as an instruction code (72).

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 It should be considered that the embodiments disclosed this time are illustrative in all respects and not restrictive. The scope of the present invention is indicated by the scope of the claims rather than the above description, and is intended to include all modifications within the scope and meaning equivalent to the scope of the claims.

１命令記述支援システム、４カメラ、１０フィールドネットワーク、２０上位ネットワーク、３０動作波形データ、３２窓関数、３４スコアリスト、３６バイナリコード、３８ハイパー空間、４０クラスタ、４２ヒストグラム、４４動作要素コード、４６動画像、４８動作要素モデル、５０バイナリコードリスト、５２クラス分類処理、５４決定処理、５６動作要素、６０動作定義データベース、６４固有動作、６６固有動作コード、６８連動作、７０工程、７２命令コード、１００制御装置、１０２，２６２，３０２プロセッサ、１０４，２６４，３０４メインメモリ、１０６上位ネットワークコントローラ、１０８，２５２フィールドネットワークコントローラ、１１０，２７０，３１０ストレージ、１１２メモリカードインターフェイス、１１４メモリカード、１１６ローカルバスコントローラ、１１８プロセッサバス、１２０，３２４ＵＳＢコントローラ、１２２ローカルバス、１３０機能ユニット、２００ロボット、２５０ロボットコントローラ、２６０制御処理回路、２６８インターフェイス回路、２７２，１１０２システムプログラム、３００情報処理装置、３０６光学ドライブ、３０７記録媒体、３０８バス、３１２ＯＳ、３１４命令記述支援プログラム、３２０ネットワークコントローラ、３２６入力部、３２８表示部、３５０固有ベクトル抽出部、３５２窓関数設定部、３５４スコア算出部、３５６バイナリコード算出部、３５８動作要素モデル構成部、３６０動作要素決定部、３６２動作認識部、３６４動作定義データベース構成部、３７０動作要素推定部、３７２命令コード生成部、４００表示装置、１１０４ＩＥＣプログラム、１１０６ロボットプログラム。 1 instruction description support system, 4 camera, 10 field network, 20 upper network, 30 motion waveform data, 32 window function, 34 score list, 36 binary code, 38 hyperspace, 40 cluster, 42 histogram, 44 motion element code, 46 Moving image, 48 action element model, 50 binary code list, 52 class classification process, 54 decision process, 56 action element, 60 action definition database, 64 unique action, 66 unique action code, 68 continuous action, 70 process, 72 instruction code , 100 control device, 102,262,302 processor, 104,264,304 main memory, 106 host network controller, 108,252 field network controller, 110,270,310 storage, 112 memory card interface, 114 memory card, 116 local Bus Controller, 118 Processor Bus, 120, 324 USB Controller, 122 Local Bus, 130 Functional Unit, 200 Robot, 250 Robot Controller, 260 Control Processing Circuit, 268 Interface Circuit, 272, 1102 System Program, 300 Information Processing Device, 306 Optics Drive, 307 recording medium, 308 bus, 312 OS, 314 instruction description support program, 320 network controller, 326 input unit, 328 display unit, 350 eigenvector extraction unit, 352 window function setting unit, 354 score calculation unit, 356 binary code calculation Section 358 Action element model configuration section 360 Action element determination section 362 Action recognition section 364 Action definition database configuration section 370 Action element estimation section 372 Instruction code generation section 400 Display device 1104 IEC program 1106 Robot program .

Claims

a calculation unit for calculating a binary code representing the motion in the time interval from a score indicating the similarity between the waveform data in the time interval set in the motion waveform data indicating the motion of the target robot and the eigenvector;
an estimating unit that estimates a motion element from the binary code by referring to the motion element model;
By referring to a database in which unique motions composed of one or more motion elements are registered, one or more unique motions indicating motions of the target robot are determined, and the determined one or more unique motions are determined. an instruction description support system, comprising: a generation unit that generates a specific operation code to be indicated as an instruction code.

an extraction unit for extracting eigenvectors from the operating waveform data;
2. The instruction description support system according to claim 1, further comprising a model construction unit that constructs the behavioral element model by clustering a plurality of the binary codes.

The calculating unit calculates a similarity of the waveform data in the time interval with respect to each of the plurality of eigenvectors, and according to a magnitude relationship between two similarities randomly selected from the calculated similarities, 3. The instruction description support system according to claim 1, wherein the value of each bit constituting said binary code is determined.

4. The instruction description support system according to claim 1, wherein said calculator shifts said time interval set in said operating waveform data along a time axis.

By associating a series of motion elements estimated using the motion element model from motion waveform data when the robot performs a predetermined motion with verbs indicating the predetermined motion, 5, further comprising a database configuration unit that determines a unique action composed of one or more motion elements, and registers a unique action code indicating the determined unique action in a database. The instruction description support system described in .

6. The instruction description support system according to claim 5, further comprising a motion recognition unit that determines a verb indicating said predetermined motion by recognizing a moving image of said robot performing said predetermined motion.

a step of calculating a binary code indicating the motion of the target robot from a score indicating the degree of similarity between the waveform data of the time interval set in the motion waveform data indicating the motion of the target robot and the eigenvector;
estimating a behavioral element from the binary code with reference to a behavioral element model;
By referring to a database in which unique motions composed of one or more motion elements are registered, one or more unique motions indicating motions of the target robot are determined, and the determined one or more unique motions are determined. and generating a specific operation code to indicate as an instruction code.

to the computer,
a step of calculating a binary code indicating the motion of the target robot from a score indicating the degree of similarity between the waveform data of the time interval set in the motion waveform data indicating the motion of the target robot and the eigenvector;
estimating a behavioral element from the binary code with reference to a behavioral element model;
By referring to a database in which unique motions composed of one or more motion elements are registered, one or more unique motions indicating motions of the target robot are determined, and the determined one or more unique motions are determined. and a step of generating the indicated unique operation code as an instruction code.