[go: up one dir, main page]

JP2023183533A - Article determination system - Google Patents

Article determination system Download PDF

Info

Publication number
JP2023183533A
JP2023183533A JP2022097098A JP2022097098A JP2023183533A JP 2023183533 A JP2023183533 A JP 2023183533A JP 2022097098 A JP2022097098 A JP 2022097098A JP 2022097098 A JP2022097098 A JP 2022097098A JP 2023183533 A JP2023183533 A JP 2023183533A
Authority
JP
Japan
Prior art keywords
article
target
sample
person
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022097098A
Other languages
Japanese (ja)
Other versions
JP7239120B1 (en
Inventor
大介 木村
Daisuke Kimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AJIRA CO Ltd
Original Assignee
AJIRA CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AJIRA CO Ltd filed Critical AJIRA CO Ltd
Priority to JP2022097098A priority Critical patent/JP7239120B1/en
Application granted granted Critical
Publication of JP7239120B1 publication Critical patent/JP7239120B1/en
Publication of JP2023183533A publication Critical patent/JP2023183533A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

To provide an article determination system which determines an article moved by a person included in a video, in a simple and low-load configuration.SOLUTION: An article determination method in an article determination system includes a learning step and a determination step. The learning step includes: detecting motion of a target section of the body of a sample person Z1 from a sample video Y1 obtained when the sample person Z1 moves a sample article P1; and learning, regarding a plurality of sample persons Z1 and a plurality of sample articles P1, the detection motion in association with article information including at least one of weight, shape and size of the sample article P1. The article is registered in association with the article information. The determination step includes: detecting motion of a target section of a target person Z from a target video Y obtained when the target person Z moves a target article P; extracting article information corresponding to the detected motion by referring to the learned data; and determining that an article corresponding to the extracted article information to be the target article P, by referring to the registered data.SELECTED DRAWING: Figure 3

Description

本発明は、映像に映った人物が移動させた物品を簡易かつ低負荷な構成で判別することが可能な物品判別システムに関する。 The present invention relates to an article discrimination system that is capable of discriminating articles moved by a person in a video with a simple and low-load configuration.

従来より、時系列データに映った人間の関節等から姿勢を検知し、当該姿勢の変化に応じて行動を認識する装置が知られている。(例えば、特許文献1参照)。 2. Description of the Related Art Conventionally, devices have been known that detect postures from human joints and the like reflected in time-series data and recognize actions according to changes in the postures. (For example, see Patent Document 1).

特許第6525179号Patent No. 6525179

しかしながら、上記技術では、例えば、人間が物品を“持ち上げる”という行動を認識することは可能であるが、どのような物品を持ち上げているかを認識するためには、物品自体を認識するための構成が別途必要になってしまう。 However, with the above technology, it is possible to recognize, for example, the action of "lifting" an object by a human, but in order to recognize what kind of object is being lifted, it is necessary to have a configuration for recognizing the object itself. will be required separately.

物品自体を認識するための構成としては、例えば、物品ごとにシルエット等を登録しておき、シルエット等が一致するか否かを判別する等が考えられるが、この場合、物品の向きに応じて何十~何百通りものシルエットを登録しておき、その中から上記判別を行うこととなってしまうので、コンピュータにかかる負荷が大幅に増大してしまう。 As a configuration for recognizing the articles themselves, for example, a silhouette etc. may be registered for each article and it may be determined whether the silhouettes etc. match. Since tens to hundreds of silhouettes must be registered and the above-mentioned determination must be made from among them, the load on the computer increases significantly.

そこで、本発明は、映像に映った人物が移動させた物品を簡易かつ低負荷な構成で判別することが可能な物品判別システムを提供することを目的としている。 SUMMARY OF THE INVENTION Therefore, an object of the present invention is to provide an article discrimination system that is capable of discriminating articles moved by a person shown in a video with a simple and low-load configuration.

本発明は、サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第1の取得部と、前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第1の検出部と、複数のサンプル人物及び複数のサンプル物品に関して、前記第1の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習する学習部と、物品を、その前記物品情報と紐づけて登録可能な登録部と、対象人物が対象物品を移動させる際の対象映像を取得する第2の取得部と、前記対象映像に映った対象人物の体の対象部分の動きを検出する第2の検出部と、前記学習部を参照して、前記第2の検出部により検出された動きに対応する物品情報を抽出する抽出部と、前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、を備えたことを特徴とする物品判別システムを提供している。 The present invention includes: a first acquisition unit that acquires a sample image when a sample person moves a sample article; and a first detection unit that detects a movement of a target part of the sample person's body reflected in the sample image. , learn by linking the movements detected by the first detection unit with respect to the plurality of sample persons and the plurality of sample articles with article information including at least one of the weight, shape, and size of the sample articles. a learning section; a registration section capable of registering an article in association with the article information; a second acquisition section that acquires a target image when a target person moves the target article; a second detection unit that detects a movement of a target part of the body of a target person; and an extraction unit that refers to the learning unit and extracts article information corresponding to the movement detected by the second detection unit; An article discrimination system is provided, comprising: a discrimination section that refers to the registration section and discriminates an article corresponding to the extracted article information from the target article.

このような構成によれば、対象人物の体の対象部分の動きを検出することで対象人物が移動させた対象物品を判別することができるので、対象物品自体を検出する必要がなく、これにより、コンピュータにかかる負荷が大幅に低減される。また、個別の物品について学習を行う必要がなく、動作の学習を行うだけよいので、この点においても、コンピュータにかかる負荷が大幅に低減される。 According to such a configuration, the target article moved by the target person can be determined by detecting the movement of the target part of the target person's body, so there is no need to detect the target article itself, and thereby , the load on the computer is significantly reduced. Further, since there is no need to perform learning for each individual item, it is only necessary to perform learning for the motion, the load on the computer is significantly reduced in this respect as well.

また、前記登録部は、物品を、更にその色彩と紐づけて登録可能であり、前記第2の検出部は、前記対象人物の前記対象部分に接し、前記対象人物の動きに連動して動く部分の色彩を更に検出し、前記判別部は、前記登録部を参照して、前記第2の検出部により検出された色彩、及び、前記抽出された物品情報の両方に対応する物品を前記対象物品と判別することが好ましい。 Further, the registration unit is capable of registering the article in association with its color, and the second detection unit is in contact with the target part of the target person and moves in conjunction with the movement of the target person. Further detecting the color of the part, the discrimination section refers to the registration section and selects the article corresponding to both the color detected by the second detection section and the extracted article information as the object. It is preferable to distinguish it as an article.

このような構成によれば、対象部分の周囲の色彩を検出することにより、対象部分に接しているであろう対象物品の色彩を検出していることとなるので、登録部に登録された複数の物品の中から候補を絞り込みやすくなり、結果として、対象物品を高精度に判別することが可能となる。 According to such a configuration, by detecting the color around the target part, the color of the target article that is likely to be in contact with the target part is detected. It becomes easier to narrow down the candidates from among the articles, and as a result, it becomes possible to identify the target article with high accuracy.

また、前記学習部は、前記第1の検出部により検出された動きを更に前記サンプル人物の体格情報と紐づけて学習し、前記第2の検出部は、前記対象映像に映った対象人物の体格を更に検出し、前記抽出部は、前記学習部を参照して、前記第2の検出部により検出された動き及び体格の両方に対応する物品情報を抽出することが好ましい。 Further, the learning unit further learns by linking the movement detected by the first detection unit with the physique information of the sample person, and the second detection unit learns the movement detected by the first detection unit, and the second detection unit learns the movement detected by the first detection unit. Preferably, a physique is further detected, and the extraction section refers to the learning section to extract article information corresponding to both the movement and the physique detected by the second detection section.

このような構成によれば、体格に応じた動きの違いまで考慮して物品情報が抽出されるので、正解である物品情報が抽出される確率を増加させることが可能となる。 According to such a configuration, the article information is extracted taking into account the difference in movement depending on the physique, so it is possible to increase the probability that correct article information will be extracted.

また、前記学習部は、前記第1の検出部により検出された動きを更に前記サンプル人物の姿勢と紐づけて学習し、前記第2の検出部は、前記対象映像に映った対象人物の姿勢を更に検出し、前記抽出部は、前記学習部を参照して、前記第2の検出部により検出された動き及び姿勢の両方に対応する物品情報を抽出することが好ましい。 Further, the learning unit further learns by linking the movement detected by the first detection unit with the posture of the sample person, and the second detection unit learns the movement detected by the first detection unit, and the second detection unit learns the movement detected by the first detection unit. It is preferable that the extraction unit further detects, and the extraction unit refers to the learning unit and extracts article information corresponding to both the movement and posture detected by the second detection unit.

このような構成によれば、姿勢に応じた動きの違いまで考慮して物品情報が抽出されるので、正解である物品情報が抽出される確率を増加させることが可能となる。 According to such a configuration, the article information is extracted taking into account the difference in movement depending on the posture, so it is possible to increase the probability that correct article information will be extracted.

また、前記抽出された物品情報を短期記憶情報として記憶可能な短期記憶部を更に備え、前記抽出された物品情報が前記短期記憶部に記憶されている短期記憶情報から所定以上変化した場合に、前記短期記憶情報は前記短期記憶部から消去されることが好ましい。 The invention further includes a short-term memory unit capable of storing the extracted article information as short-term memory information, and when the extracted article information changes by a predetermined amount or more from the short-term memory information stored in the short-term memory unit, Preferably, the short-term memory information is erased from the short-term memory.

このような構成によれば、映像を構成する複数フレームにおいて抽出された物品情報が所定以上変化した場合には、対象物品が変更されたものと判断することができるので、抽出された物品情報を消去してコンピュータの容量の使用量を低減させることが可能となる。 According to such a configuration, if the extracted article information in multiple frames constituting the video changes by more than a predetermined value, it can be determined that the target article has been changed, so the extracted article information can be changed. It becomes possible to reduce the amount of computer capacity used by erasing the data.

また、本発明の別の観点によれば、上記物品判別システムに対応する物品判別プログラム、物品判別方法、上記判別システムに含まれる物品判別装置(物品判別プログラム、及び、物品判別方法)、及び、学習装置(学習プログラム、及び、学習方法)を提供している。 Further, according to another aspect of the present invention, an article discrimination program, an article discrimination method, an article discrimination device (article discrimination program and article discrimination method) included in the discrimination system, which correspond to the article discrimination system, and We provide learning devices (learning programs and learning methods).

本発明の物品判別システムによれば、映像に映った人物が移動させた物品を簡易かつ低負荷な構成で判別することが可能となる。 According to the article discrimination system of the present invention, it is possible to discriminate an article moved by a person appearing in a video with a simple and low-load configuration.

本発明の実施の形態による物品判別システムの使用環境の説明図An explanatory diagram of the usage environment of the article discrimination system according to the embodiment of the present invention 本発明の実施の形態による物品判別システムのブロック図Block diagram of an article discrimination system according to an embodiment of the present invention 本発明の実施の形態による物品判別のフローチャートFlowchart of article discrimination according to an embodiment of the present invention

以下、本発明の実施の形態による物品判別システム1について、図1-図3を参照して説明する。 An article classification system 1 according to an embodiment of the present invention will be described below with reference to FIGS. 1 to 3.

物品判別システム1は、図1に示すように、撮影手段Xによって撮影された対象映像Y(図1では、映像を構成するフレーム)に映った対象人物Zが移動させた対象物品Pを判別するためのものである。本実施の形態では、対象人物Zが対象物品P(図1では、鈍器(バット))を持ち上げる際の対象映像Yを用いて、当該対象物品P(物品名)を判別する例を用いて説明を行う。また、本実施の形態では、対象人物Zとして人間を採用し、理解容易のため、対象人物Zを骨格だけで簡易的に表示する。 As shown in FIG. 1, the article discrimination system 1 discriminates a target article P moved by a target person Z appearing in a target image Y (in FIG. 1, frames constituting the image) photographed by a photographing means X. It is for. In this embodiment, an example will be described in which the target article P (item name) is determined using the target image Y when the target person Z lifts the target article P (a blunt instrument (bat) in FIG. 1). I do. Further, in this embodiment, a human being is employed as the target person Z, and the target person Z is simply displayed using only a skeleton for easy understanding.

物品判別システム1は、図2に示すように、学習装置2と、判別装置3と、を備えており、学習装置2によって学習されたデータを参照して、判別装置3が、対象人物Zが移動させた対象物品P(物品名)を判別する。 As shown in FIG. 2, the article discrimination system 1 includes a learning device 2 and a discrimination device 3. Referring to the data learned by the learning device 2, the discrimination device 3 determines whether the target person Z is The moved target article P (article name) is determined.

学習装置2は、第1の記憶部21と、第1の取得部22と、第1の検出部23と、学習部24と、を備えている。 The learning device 2 includes a first storage section 21, a first acquisition section 22, a first detection section 23, and a learning section 24.

第1の記憶部21には、“関節識別基準”と、“行動体識別基準”と、が記憶されている。 The first storage unit 21 stores “joint identification criteria” and “behavior identification criteria”.

“関節識別基準”は、人間の複数の関節を識別するためのものであり、関節ごとに、それぞれを識別するための形状、方向、サイズ等を示したものである。 The "joint identification standard" is for identifying a plurality of human joints, and indicates the shape, direction, size, etc. for identifying each joint.

“行動体識別基準”は、人間の様々なバリエーション(“歩行”、“直立”等)の “基本姿勢“、”各関節の可動域“、一の人間における”各関節間の距離“等を示したものである。 The “behavior identification standards” are based on the “basic posture” of various human variations (“walking”, “standing upright”, etc.), the “range of motion of each joint”, the “distance between each joint in a single person”, etc. This is what is shown.

第1の取得部22は、サンプル人物Z1がサンプル物品P1を移動させる際のサンプル映像Y1を取得する。例えば、犯罪防止を目的として物品判別システム1を使用する場合には、鈍器やナイフを持ち上げる動作に関するサンプル映像Y1を取得する。但し、物品判別システム1の使用目的を限定することなく様々なサンプル映像Y1を取得してもよい。 The first acquisition unit 22 acquires a sample image Y1 when a sample person Z1 moves a sample article P1. For example, when using the article discrimination system 1 for the purpose of crime prevention, a sample video Y1 related to an action of lifting a blunt instrument or a knife is acquired. However, various sample images Y1 may be acquired without limiting the purpose of use of the article discrimination system 1.

第1の検出部23は、サンプル映像Y1に映ったサンプル人物Z1の体の対象部分の動きを検出する。図1の例では、サンプル人物Z1が鈍器を持ち上げる際の手や腕の動きを検出することとなる。 The first detection unit 23 detects the movement of the target part of the body of the sample person Z1 shown in the sample video Y1. In the example of FIG. 1, the movement of the hand and arm of the sample person Z1 when lifting a blunt object is detected.

サンプル人物Z1の検出に当たっては、まず、サンプル映像Y1に映ったサンプル人物Z1を特定する。 In detecting the sample person Z1, first, the sample person Z1 shown in the sample video Y1 is specified.

本実施の形態では、第1の記憶部21に記憶された“関節識別基準”に該当する複数の関節を検出した上で、“行動体識別基準”を参照して、一のサンプル人物Z1に含まれる複数の関節を特定する。 In the present embodiment, after detecting a plurality of joints that correspond to the "joint identification criteria" stored in the first storage unit 21, one sample person Z1 is Identify multiple joints involved.

学習部24は、複数のサンプル人物Z1及び複数のサンプル物品P1に関して、第1の検出部23により検出された動きをサンプル物品P1の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習する。 The learning unit 24 converts the movements detected by the first detection unit 23 with respect to the plurality of sample persons Z1 and the plurality of sample articles P1 into article information including at least one of the weight, shape, and size of the sample articles P1. Learn by linking it with

これは、学習部24が、ある重さ、形状、サイズの物品を移動させる場合に、サンプル人物Z1がどのような動き(移動軌跡、速度、加速度、関節角度の変化等)をするかを学習することを意味している。特に、重力、遠心力等により加速度が生じる場合に、動きに大きな特徴が現れる。 This is because the learning unit 24 learns how the sample person Z1 moves (changes in movement trajectory, speed, acceleration, joint angles, etc.) when moving an object of a certain weight, shape, and size. It means to do. In particular, when acceleration is caused by gravity, centrifugal force, etc., significant characteristics appear in the movement.

サンプル物品P1の重さ、形状、及び、サイズとしては、予め計測しておいたものを紐づければよい。 The weight, shape, and size of the sample article P1 may be linked to those measured in advance.

また、本実施の形態では、学習部24は、第1の検出部23により検出された動きを更にサンプル人物Z1の体格情報と紐づけて学習する。 Furthermore, in the present embodiment, the learning unit 24 learns by further linking the movement detected by the first detection unit 23 with the physique information of the sample person Z1.

これは、同じ物品を移動させる場合であっても、サンプル人物Z1の体格によって、その動き(移動軌跡、速度、加速度、関節角度の変化等)が異なることを考慮したものである。 This is done in consideration of the fact that even when moving the same article, its movement (changes in movement trajectory, speed, acceleration, joint angle, etc.) will differ depending on the physique of the sample person Z1.

体格情報は、サンプル人物Z1の身長や背格好をユーザが入力してもよいし、第1の検出部23がサンプル人物Z1の身長や背格好まで検出し、検出された身長や背格好を体格情報として用いてもよい。 As for the physique information, the user may input the height and back appearance of the sample person Z1, or the first detection unit 23 detects the height and back appearance of the sample person Z1, and converts the detected height and back appearance into the physique. It may also be used as information.

上記した学習は、様々な重さ、形状、及び、サイズを有するサンプル物品P1、及び、様々な体格情報を有するサンプル人物Z1に対して行われることが好ましい。 It is preferable that the above-described learning is performed on sample articles P1 having various weights, shapes, and sizes, and sample persons Z1 having various physique information.

判別装置3は、登録部31と、第2の記憶部32と、第2の取得部33と、第2の検出部34と、抽出部35と、判別部36と、短期記憶部37と、を備えている。 The discrimination device 3 includes a registration section 31, a second storage section 32, a second acquisition section 33, a second detection section 34, an extraction section 35, a discrimination section 36, a short-term storage section 37, It is equipped with

登録部31は、物品を、その物品情報(重さ、形状、及び、サイズの少なくとも1つを含む)と紐づけて登録可能である。 The registration unit 31 can register articles in association with article information (including at least one of weight, shape, and size).

例えば、犯罪防止を目的とする場合には、“金属バット”、“ナイフ”等の一般名称や、それらの型式を、その物品情報と紐づけて登録しておくことが考えられる。 For example, if the purpose is to prevent crime, it may be possible to register general names such as "metal bat" and "knife" and their models in association with the product information.

本実施の形態では、更に物品を、その色彩と紐づけて登録可能なものとする。 In this embodiment, it is also possible to register articles in association with their colors.

物品の色彩は、単に“赤”、“青”のようにユーザが入力してもよいし、検出部等により検出した色彩の特徴量を登録してもよい。 The color of the article may be simply inputted by the user, such as "red" or "blue," or the feature quantity of the color detected by a detection unit or the like may be registered.

第2の記憶部32には、第1の記憶部21と同様に、“関節識別基準”と、“行動体識別基準”と、が記憶されている。 Similar to the first storage unit 21, the second storage unit 32 stores “joint identification criteria” and “behavior identification criteria”.

第2の取得部33は、対象人物Zが対象物品Pを移動させる際の対象映像Yを取得する。 The second acquisition unit 33 acquires the target image Y when the target person Z moves the target article P.

第2の検出部34は、対象映像Yに映った対象人物Zの体の対象部分の動きを検出する。本実施の形態では、第1の検出部23と同様の方法で検出を行うものとする。 The second detection unit 34 detects the movement of the target part of the body of the target person Z shown in the target video Y. In this embodiment, it is assumed that detection is performed using a method similar to that of the first detection unit 23.

また、本実施の形態では、第2の検出部34は、対象人物Zの対象部分に接し、対象人物Zの動きに連動して動く部分の色彩を更に検出する。 Furthermore, in the present embodiment, the second detection unit 34 further detects the color of a portion that is in contact with the target portion of the target person Z and moves in conjunction with the movement of the target person Z.

図1の例では、対象人物Zの手(対象部分)に握られているバット(対象物品P)が、“対象人物Zの対象部分に接し、対象人物Zの動きに連動して動く部分”に相当するので、バットの色彩を検出することとなる。 In the example of FIG. 1, the bat (target article P) held in the hand (target part) of the target person Z is "a part that touches the target part of the target person Z and moves in conjunction with the movement of the target person Z." Since this corresponds to , the color of the bat will be detected.

また、本実施の形態では、第2の検出部34は、対象映像Yに映った対象人物Zの体格を更に検出する。体格としては、大まかな身長だけでもよいし、関節やシルエット等を検出することで背格好まで検出してもよい。 Further, in the present embodiment, the second detection unit 34 further detects the physique of the target person Z shown in the target video Y. As for the physique, only the approximate height may be used, or even the height may be detected by detecting joints, silhouette, etc.

抽出部35は、学習部24を参照して、第2の検出部34により検出された動きに対応する物品情報を抽出する。 The extraction unit 35 refers to the learning unit 24 and extracts article information corresponding to the movement detected by the second detection unit 34 .

これは、対象人物Zが対象物品Pを移動させる動きに応じて、移動させている対象物品Pの重さ、形状、サイズを推定していることを意味する。 This means that the weight, shape, and size of the target article P being moved are estimated according to the movement of the target person Z in moving the target article P.

なお、抽出する物品情報は1つに限定されず、複数の候補を抽出してもよい。 Note that the number of article information to be extracted is not limited to one, and a plurality of candidates may be extracted.

また、本実施の形態では、抽出部35は、学習部24を参照して、第2の検出部34により検出された動き及び体格の両方に対応する物品情報を抽出するものとする。 Further, in the present embodiment, the extraction unit 35 refers to the learning unit 24 and extracts article information corresponding to both the movement and the physique detected by the second detection unit 34.

これにより、体格に応じた動きの違いまで考慮して物品情報が抽出されるので、正解である物品情報が抽出される確率を増加させることが可能となる。 As a result, article information is extracted taking into account the difference in movement depending on the physique, so it is possible to increase the probability that correct article information will be extracted.

判別部36は、登録部31を参照して、抽出された物品情報に対応する物品を対象物品Pと判別する。 The determining unit 36 refers to the registration unit 31 and determines that the article corresponding to the extracted article information is the target article P.

これは、予め登録されている物品の中から、対象人物Zの動きに対応した物品情報を有する物品を選択することで、対象人物Zが移動させた対象物品Pを判別していることを意味する。 This means that the target article P moved by the target person Z is determined by selecting an article having article information corresponding to the movement of the target person Z from among the articles registered in advance. do.

本実施の形態では、判別部36は、登録部31を参照して、第2の検出部34により検出された色彩、及び、抽出された物品情報の両方に対応する物品を対象物品Pと判別する。 In the present embodiment, the determination unit 36 refers to the registration unit 31 and determines, as the target article P, an article that corresponds to both the color detected by the second detection unit 34 and the extracted article information. do.

これにより、対象部分の周囲の色彩を検出することにより、対象部分に接しているであろう対象物品Pの色彩を検出していることとなるので、登録部31に登録された複数の物品の中から候補を絞り込みやすくなり、結果として、対象物品Pを高精度に判別することが可能となる。 As a result, by detecting the color around the target part, the color of the target article P that is likely to be in contact with the target part is detected. It becomes easier to narrow down the candidates from among them, and as a result, it becomes possible to discriminate the target article P with high precision.

なお、必ずしも、抽出された物品情報は、登録されている物品情報と正確に一致するとは限らないので、「所定の一致度を有していれば一致している」として判別を行うことが好ましい。また、対象物品Pと判別する物品は1つに限定されず、複数の候補を出力してもよい。 Note that the extracted product information does not necessarily exactly match the registered product information, so it is preferable to make a determination that "if they have a predetermined degree of matching, they match". . Further, the number of articles to be determined as the target article P is not limited to one, and a plurality of candidates may be output.

短期記憶部37は、抽出された物品情報を短期記憶情報として記憶可能であり、抽出された物品情報が短期記憶部37に記憶されている短期記憶情報から所定以上変化した場合に、当該短期記憶情報は短期記憶部37から消去される。 The short-term memory section 37 can store the extracted article information as short-term memory information, and when the extracted article information changes by more than a predetermined value from the short-term memory information stored in the short-term memory section 37, the short-term memory section 37 stores the extracted article information as short-term memory information. The information is erased from short-term memory 37.

これは、持ち上げる対象物品Pが変更されると、短期記憶情報が消去されることを意味している。 This means that when the object P to be lifted is changed, the short-term memory information is erased.

本実施の形態では、抽出された物品情報以外にも、第2の検出部34により検出された動きを短期記憶情報として記憶可能であり、抽出された物品情報が短期記憶部37に記憶されている短期記憶情報から所定以上変化した場合に、第2の検出部34により検出された動きも短期記憶部37から消去される。短期記憶部37からの消去は、抽出部35が行ってもよいし、その他の制御部等が行ってもよい。 In this embodiment, in addition to the extracted article information, the movement detected by the second detection section 34 can be stored as short-term memory information, and the extracted article information is stored in the short-term memory section 37. When the movement detected by the second detection unit 34 is changed from the current short-term memory information by more than a predetermined value, the movement detected by the second detection unit 34 is also deleted from the short-term memory unit 37. The deletion from the short-term memory section 37 may be performed by the extraction section 35 or another control section or the like.

このような構成によれば、映像を構成する複数フレームにおいて抽出された物品情報が短期記憶部37に記憶されている短期記憶情報から所定以上変化した場合には、対象物品Pが変更されたものと判断することができるので、抽出された物品情報を消去してコンピュータの容量の使用量を低減させることが可能となる。 According to such a configuration, when the article information extracted in a plurality of frames constituting the video changes from the short-term memory information stored in the short-term memory unit 37 by a predetermined amount or more, the target article P is changed. Therefore, it is possible to delete the extracted article information and reduce the amount of computer capacity used.

上記構成を有する物品判別システム1は、様々な用途で利用することが可能である。例えば、犯罪防止を目的とする場合、対象人物Zが保持している鈍器やナイフを判別することで、事件や事故の発生を未然に防止することが可能となる。同様に、物品の窃盗を判別することも可能である。また、物品判別システム1は、見守りの目的で利用することも可能である。例えば、別室にいる幼児が保持しているものを判別することで、危険性のある物品を保持していることを発見することが可能となる。更に、物品判別システム1は、福祉の目的で使用することも可能である。例えば、バスに乗り込む高齢者が重い物品を保持していることを判別すれば、早めに介助に向かうことなどが可能となる。 The article discrimination system 1 having the above configuration can be used for various purposes. For example, when the purpose is to prevent crime, it is possible to prevent incidents and accidents from occurring by determining which blunt instrument or knife is being held by the target person Z. Similarly, it is also possible to determine theft of goods. Furthermore, the article discrimination system 1 can also be used for the purpose of monitoring. For example, by determining what an infant in a separate room is holding, it is possible to discover that the child is holding a potentially dangerous item. Furthermore, the article discrimination system 1 can also be used for welfare purposes. For example, if the system determines that an elderly person boarding a bus is carrying heavy items, it is possible to quickly provide assistance.

続いて、図3のフローチャートを用いて、物品判別システム1による物品の判別について説明する。 Next, article discrimination by the article discrimination system 1 will be described using the flowchart of FIG. 3.

物品の判別は、“学習段階”と“判別段階”の2段階で行われる。 Discrimination of articles is performed in two stages: a "learning stage" and a "discrimination stage".

(1)学習段階 (1) Learning stage

学習段階では、まず、サンプル映像Y1が取得されると(S1)、サンプル映像Y1に映ったサンプル人物Z1の体の対象部分の動きが検出される(S2)。 In the learning stage, first, when the sample video Y1 is acquired (S1), the movement of the target part of the body of the sample person Z1 shown in the sample video Y1 is detected (S2).

続いて、S2で検出された動きをサンプル物品P1の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけた学習が行われる(S3)。この際、S2で検出された動きを更にサンプル人物Z1の体格情報と紐づけて学習が行われることが好ましい。 Subsequently, learning is performed in which the movement detected in S2 is linked to article information including at least one of the weight, shape, and size of the sample article P1 (S3). At this time, it is preferable that learning is performed by further linking the movement detected in S2 with the physique information of the sample person Z1.

S1及びS2は、異なる複数のサンプル映像Y1に対して行われ、多数のサンプル人物Z1及び多数のサンプル物品P1に関して学習が行われることが好ましい。 Preferably, S1 and S2 are performed on a plurality of different sample videos Y1, and learning is performed on a large number of sample people Z1 and a large number of sample articles P1.

(2)検出段階 (2) Detection stage

続いて、検出段階では、まず、対象映像Yが取得されると(S4)、対象映像Yに映った対象人物Zの体の対象部分の動きが検出される(S5)。この際、対象人物Zの対象部分に接し、対象人物Zの動きに連動して動く部分の色彩が更に検出されることが好ましい。また、対象映像Yに映った対象人物Zの体格が更に検出されることが好ましい。 Subsequently, in the detection stage, first, when the target image Y is acquired (S4), the movement of the target part of the body of the target person Z shown in the target image Y is detected (S5). At this time, it is preferable that the color of a part that is in contact with the target part of the target person Z and moves in conjunction with the movement of the target person Z is further detected. Further, it is preferable that the physique of the target person Z shown in the target image Y is further detected.

続いて、S3の学習によって得られたデータを参照して、S5で検出された動きに対応する物品情報が抽出される(S6)。この際、S3の学習によって得られたデータを参照して、S5で検出された動き及び体格の両方に対応する物品情報が抽出されることが好ましい。 Next, article information corresponding to the movement detected in S5 is extracted with reference to the data obtained through the learning in S3 (S6). At this time, it is preferable that article information corresponding to both the movement and physique detected in S5 be extracted with reference to the data obtained through the learning in S3.

なお、S5で検出された動き、及び、S6で抽出された物品情報は、それぞれ短期記憶情報として短期記憶部37に記憶される。 Note that the movement detected in S5 and the article information extracted in S6 are each stored in the short-term memory section 37 as short-term memory information.

続いて、登録部31を参照して、抽出された物品情報に対応する物品が対象物品Pであると判別される(S7)。この際、検出された色彩、及び、抽出された物品情報の両方に対応する物品が対象物品Pであると判別されることが好ましい。 Subsequently, with reference to the registration unit 31, it is determined that the article corresponding to the extracted article information is the target article P (S7). At this time, it is preferable that an article corresponding to both the detected color and the extracted article information be determined to be the target article P.

なお、登録部31への物品情報等の登録は、遅くともS7までには行われている必要がある。 Note that the registration of article information and the like in the registration unit 31 needs to be completed by S7 at the latest.

連続して判別を行う場合には、S4-S7までのステップを繰り返すこととなるが、S6で抽出された物品情報が短期記憶部37に記憶されている短期記憶情報から所定以上変化した場合に、当該短期記憶情報は短期記憶部37から消去される。 In the case of continuous determination, the steps from S4 to S7 are repeated, but if the article information extracted in S6 changes from the short-term memory information stored in the short-term memory unit 37 by more than a predetermined value, , the short-term memory information is deleted from the short-term memory section 37.

以上説明したように、本実施の形態による物品判別システム1では、予め登録されている物品の中から、対象人物Zの動きに対応した物品情報を有する物品を選択することで、対象人物Zが移動させた対象物品Pを判別する。 As explained above, in the article discrimination system 1 according to the present embodiment, by selecting an article having article information corresponding to the movement of the target person Z from among the articles registered in advance, the target person Z can be identified. The moved target article P is determined.

このような構成によれば、対象人物Zの体の対象部分の動きを検出することで対象人物Zが移動させた対象物品Pを判別することができるので、対象物品P自体を検出する必要がなく、これにより、コンピュータにかかる負荷が大幅に低減される。また、個別の物品について学習を行う必要がなく、動作の学習を行うだけよいので、この点においても、コンピュータにかかる負荷が大幅に低減される。 According to such a configuration, the target article P moved by the target person Z can be determined by detecting the movement of the target part of the body of the target person Z, so there is no need to detect the target article P itself. This greatly reduces the load on the computer. Further, since there is no need to perform learning for each individual item, it is only necessary to perform learning for the motion, the load on the computer is significantly reduced in this respect as well.

また、本実施の形態による物品判別システム1では、登録部31を参照して、第2の検出部34により検出された色彩、及び、抽出された物品情報の両方に対応する物品を対象物品Pと判別する。 In addition, in the article discrimination system 1 according to the present embodiment, with reference to the registration section 31, an article corresponding to both the color detected by the second detection section 34 and the extracted article information is selected as a target article P. It is determined that

このような構成によれば、対象部分の周囲の色彩を検出することにより、対象部分に接しているであろう対象物品Pの色彩を検出していることとなるので、登録部31に登録された複数の物品の中から候補を絞り込みやすくなり、結果として、対象物品Pを高精度に判別することが可能となる。 According to such a configuration, by detecting the color around the target part, the color of the target article P that is likely to be in contact with the target part is detected, so that the color of the target article P that is likely to be in contact with the target part is detected. It becomes easier to narrow down the candidates from among the plurality of articles, and as a result, it becomes possible to identify the target article P with high precision.

また、本実施の形態による物品判別システム1では、学習部24を参照して、第2の検出部34により検出された動き及び体格の両方に対応する物品情報を抽出する。 Furthermore, the article discrimination system 1 according to the present embodiment refers to the learning section 24 to extract article information corresponding to both the movement and the physique detected by the second detection section 34.

このような構成によれば、体格に応じた動きの違いまで考慮して物品情報が抽出されるので、正解である物品情報が抽出される確率を増加させることが可能となる。 According to such a configuration, the article information is extracted taking into account the difference in movement depending on the physique, so it is possible to increase the probability that correct article information will be extracted.

また、本実施の形態による物品判別システム1では、抽出された物品情報が短期記憶部37に記憶されている短期記憶情報から所定以上変化した場合に、当該短期記憶情報は短期記憶部37から消去される。 Further, in the article discrimination system 1 according to the present embodiment, when the extracted article information changes more than a predetermined value from the short-term memory information stored in the short-term memory section 37, the short-term memory information is deleted from the short-term memory section 37. be done.

このような構成によれば、映像を構成する複数フレームにおいて抽出された物品情報が所定以上変化した場合には、対象物品Pが変更されたものと判断することができるので、抽出された物品情報を消去してコンピュータの容量の使用量を低減させることが可能となる。 According to such a configuration, when the extracted article information in multiple frames constituting the video changes by more than a predetermined value, it can be determined that the target article P has been changed, so that the extracted article information It becomes possible to reduce the amount of computer capacity used by erasing the data.

尚、本発明の物品判別システムは、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。 Note that the article discrimination system of the present invention is not limited to the embodiments described above, and various modifications and improvements can be made within the scope of the claims.

例えば、上記実施の形態では、対象人物Zが対象物品Pを持ち上げる動きを検出したが、持ち運ぶ・振り上げる・振り下ろす等の他の動きを検出してもよい。また、物品情報と紐づけられる対象部分の動きは、腕の動きに限定されない。例えば、対象部分を足にすれば、どのような重さ、形状、及び、サイズを有する物品を蹴ったのかを判別することも可能である。 For example, in the embodiment described above, the movement of the target person Z lifting the target article P was detected, but other movements such as carrying, swinging up, swinging down, etc. may also be detected. Further, the movement of the target part associated with the article information is not limited to the movement of the arm. For example, if the target part is a foot, it is also possible to determine what weight, shape, and size the object has been kicked.

また、上記実施の形態では、サンプル人物Z1(対象人物Z)の検出に当たって、まず、サンプル映像Y1(対象映像Y)に映ったサンプル人物Z1(対象人物Z)を特定したが、必ずしも人物を特定する必要はなく、例えば、手や腕だけ検出するだけでも本発明の物品判別は可能である。 Further, in the above embodiment, when detecting the sample person Z1 (target person Z), first the sample person Z1 (target person Z) shown in the sample video Y1 (target video Y) is identified, but it is not always necessary to identify the person. There is no need to do this; for example, the article identification of the present invention is possible by simply detecting only the hand or arm.

また、対象人物Zの姿勢によって力の入りやすさも異なり、それにより対象部分の動きも異なってくることが考えられる。従って、より高精度に物品を判別するために、物品情報の抽出に当たり、対象人物Zの姿勢を考慮してもよい。なお、この場合には、例えば、学習段階において、公知の方法を用いて、第1の検出部23が、サンプル映像Y1に映ったサンプル人物Z1の姿勢を推定し、学習部24において物品情報と紐づけて学習しておき、判別段階において、学習によって得られたデータを参照して、第2の検出部34により動き及び姿勢の両方に対応する物品情報を抽出すればよい。 Furthermore, the ease with which force is applied may vary depending on the posture of the target person Z, and the movement of the target portion may also vary accordingly. Therefore, in order to identify the article with higher accuracy, the posture of the target person Z may be taken into consideration when extracting the article information. In this case, for example, in the learning stage, the first detection unit 23 estimates the posture of the sample person Z1 shown in the sample video Y1 using a known method, and the learning unit 24 estimates the posture of the sample person Z1 in the sample video Y1. It is sufficient to learn the association and, in the discrimination stage, refer to the data obtained by the learning and use the second detection unit 34 to extract article information corresponding to both the movement and the posture.

また、上記実施の形態では、第1の記憶部21と第2の記憶部32、第1の取得部22と第2の取得部33、及び、第1の検出部23と第2の検出部34は、学習装置2と判別装置3にそれぞれ設けられていたが、これらは共通して使用されてもよい。また、学習装置2と判別装置3は一体であってもよい。これらの場合も本発明の範囲に含まれる。更に、登録部31は、判別装置3と別体であってもよい。 Further, in the above embodiment, the first storage unit 21 and the second storage unit 32, the first acquisition unit 22 and the second acquisition unit 33, and the first detection unit 23 and the second detection unit 34 was provided in the learning device 2 and the discriminating device 3, respectively, but they may be used in common. Further, the learning device 2 and the discriminating device 3 may be integrated. These cases are also included within the scope of the present invention. Furthermore, the registration unit 31 may be separate from the discrimination device 3.

また、学習装置2においてデータ(多数の行動)がある程度蓄積した後は、判別装置3のみを作動させることも可能である。 Furthermore, after a certain amount of data (a large number of actions) has been accumulated in the learning device 2, it is also possible to operate only the discriminating device 3.

また、本実施の形態による物品の判別は、対象映像Yに対してリアルタイムで行うのが効果的ではあるが、物品判別システム1の使用目的によっては録画した対象映像Yに対して後から行ってもよい。 In addition, although it is effective to perform the product identification according to the present embodiment on the target video Y in real time, depending on the purpose of use of the product classification system 1, it may be performed on the recorded target video Y later. Good too.

また、上記実施の形態では複数の関節の動きに基づいて行動体の行動を検出したが、関節を検出することなく他の方法で行動体の行動を検出してもよい。 Furthermore, in the above embodiments, the behavior of the behavioral object is detected based on the movements of a plurality of joints, but the behavior of the behavioral object may be detected by other methods without detecting the joints.

また、本発明は、コントローラとしての第1の取得部22、第1の検出部23、学習部24、第2の取得部33、第2の検出部34、抽出部35、及び、判別部36が行う処理に相当するプログラム及び方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体としては、CD-ROM等が考えられるが、それに限定されるものではない。 Further, the present invention includes a first acquisition unit 22, a first detection unit 23, a learning unit 24, a second acquisition unit 33, a second detection unit 34, an extraction unit 35, and a determination unit 36 as a controller. The present invention can also be applied to programs and methods corresponding to the processing performed by , and to recording media that store the programs. In the case of a recording medium, the program will be installed on a computer or the like. Here, the recording medium storing the program may be a non-transitory recording medium. A CD-ROM or the like may be considered as a non-transitory recording medium, but is not limited thereto.

1 物品判別システム
2 学習装置
3 判別装置
21 第1の記憶部
22 第1の取得部
23 第1の検出部
24 学習部
31 登録部
32 第2の記憶部
33 第2の取得部
34 第2の検出部
35 抽出部
36 判別部
37 短期記憶部
1 Article discrimination system 2 Learning device 3 Discrimination device 21 First storage unit 22 First acquisition unit 23 First detection unit 24 Learning unit 31 Registration unit 32 Second storage unit 33 Second acquisition unit 34 Second Detection unit 35 Extraction unit 36 Discrimination unit 37 Short-term memory unit

Claims (13)

サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第1の取得部と、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第1の検出部と、
複数のサンプル人物及び複数のサンプル物品に関して、前記第1の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習する学習部と、
物品を、その前記物品情報と紐づけて登録可能な登録部と、
対象人物が対象物品を移動させる際の対象映像を取得する第2の取得部と、
前記対象映像に映った対象人物の体の対象部分の動きを検出する第2の検出部と、
前記学習部を参照して、前記第2の検出部により検出された動きに対応する物品情報を抽出する抽出部と、
前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、
を備えたことを特徴とする物品判別システム。
a first acquisition unit that acquires a sample image when a sample person moves a sample article;
a first detection unit that detects movement of a target part of the sample person's body shown in the sample video;
Learning by linking the movements detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample articles with respect to a plurality of sample people and a plurality of sample articles. Department and
a registration unit capable of registering an article in association with the article information;
a second acquisition unit that acquires a target image when the target person moves the target article;
a second detection unit that detects movement of a target part of the body of the target person shown in the target video;
an extraction unit that refers to the learning unit and extracts article information corresponding to the movement detected by the second detection unit;
a determination unit that refers to the registration unit and determines an article corresponding to the extracted article information as the target article;
An article discrimination system characterized by comprising:
前記登録部は、物品を、更にその色彩と紐づけて登録可能であり、
前記第2の検出部は、前記対象人物の前記対象部分に接し、前記対象人物の動きに連動して動く部分の色彩を更に検出し、
前記判別部は、前記登録部を参照して、前記第2の検出部により検出された色彩、及び、前記抽出された物品情報の両方に対応する物品を前記対象物品と判別することを特徴とする請求項1に記載の物品判別システム。
The registration unit is capable of registering the article in association with its color;
The second detection unit further detects the color of a part that is in contact with the target part of the target person and moves in conjunction with the movement of the target person,
The discrimination section refers to the registration section and discriminates an article corresponding to both the color detected by the second detection section and the extracted article information from the target article. The article discrimination system according to claim 1.
前記学習部は、前記第1の検出部により検出された動きを更に前記サンプル人物の体格情報と紐づけて学習し、
前記第2の検出部は、前記対象映像に映った対象人物の体格を更に検出し、
前記抽出部は、前記学習部を参照して、前記第2の検出部により検出された動き及び体格の両方に対応する物品情報を抽出することを特徴とする請求項1に記載の物品判別システム。
The learning unit further learns by linking the movement detected by the first detection unit with physique information of the sample person,
The second detection unit further detects the physique of the target person shown in the target video,
The article discrimination system according to claim 1, wherein the extraction section refers to the learning section and extracts article information corresponding to both the movement and physique detected by the second detection section. .
前記学習部は、前記第1の検出部により検出された動きを更に前記サンプル人物の姿勢と紐づけて学習し、
前記第2の検出部は、前記対象映像に映った対象人物の姿勢を更に検出し、
前記抽出部は、前記学習部を参照して、前記第2の検出部により検出された動き及び姿勢の両方に対応する物品情報を抽出することを特徴とする請求項1に記載の物品判別システム。
The learning unit further learns by linking the movement detected by the first detection unit with the posture of the sample person,
The second detection unit further detects the posture of the target person shown in the target video,
The article discrimination system according to claim 1, wherein the extraction section refers to the learning section and extracts article information corresponding to both the movement and posture detected by the second detection section. .
前記抽出された物品情報を短期記憶情報として記憶可能な短期記憶部を更に備え、
前記抽出された物品情報が前記短期記憶部に記憶されている短期記憶情報から所定以上変化した場合に、前記短期記憶情報は前記短期記憶部から消去されることを特徴とする請求項1に記載の物品判別システム。
further comprising a short-term memory unit capable of storing the extracted article information as short-term memory information,
2. The short-term memory information is deleted from the short-term memory when the extracted article information changes by a predetermined amount or more from the short-term memory information stored in the short-term memory. article identification system.
物品を、その物品情報と紐づけて登録可能なコンピュータに実行させるプログラムであって、
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出するステップと、
複数のサンプル人物及び複数のサンプル物品に関して、前記第1の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習するステップと、
対象人物が対象物品を移動させる際の対象映像を取得するステップと、
前記対象映像に映った対象人物の体の対象部分の動きを検出するステップと、
前記学習によって得られたデータを参照して、前記検出された前記対象人物の体の対象部分の動きに対応する物品情報を抽出するステップと、
前記登録されたデータを参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別するステップ部と、
を備えたことを特徴とする物品判別プログラム。
A program that causes a computer that can register an item to link the item to the item information to execute the program,
acquiring a sample video of the sample person moving the sample article;
detecting the movement of a target part of the sample person's body shown in the sample video;
learning about the plurality of sample persons and the plurality of sample articles by linking the movements detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample articles; and,
acquiring a target image when the target person moves the target article;
detecting the movement of a target part of the body of the target person shown in the target video;
extracting article information corresponding to the detected movement of the target part of the target person's body with reference to the data obtained by the learning;
a step unit that refers to the registered data and determines an article corresponding to the extracted article information as the target article;
An article discrimination program characterized by comprising:
物品を、その物品情報と紐づけて登録可能なコンピュータで実行される方法であって、
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出するステップと、
複数のサンプル人物及び複数のサンプル物品に関して、前記第1の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習するステップと、
対象人物が対象物品を移動させる際の対象映像を取得するステップと、
前記対象映像に映った対象人物の体の対象部分の動きを検出するステップと、
前記学習によって得られたデータを参照して、前記検出された前記対象人物の体の対象部分の動きに対応する物品情報を抽出するステップと、
前記登録されたデータを参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別するステップ部と、
を備えたことを特徴とする物品判別方法。
A computer-implemented method capable of registering an article in association with its article information, the method comprising:
acquiring a sample video of the sample person moving the sample article;
detecting the movement of a target part of the sample person's body shown in the sample video;
learning about the plurality of sample persons and the plurality of sample articles by linking the movements detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample articles; and,
acquiring a target image when the target person moves the target article;
detecting the movement of a target part of the body of the target person shown in the target video;
extracting article information corresponding to the detected movement of the target part of the target person's body with reference to the data obtained by the learning;
a step unit that refers to the registered data and determines an article corresponding to the extracted article information as the target article;
An article discrimination method characterized by comprising:
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第1の取得部と、前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第1の検出部と、複数のサンプル人物及び複数のサンプル物品に関して、前記第1の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習する学習部と、を有する学習装置と通信可能な物品判別装置であって、
物品を、その前記物品情報と紐づけて登録可能な登録部と、
対象人物が対象物品を移動させる際の対象映像を取得する第2の取得部と、
前記対象映像に映った対象人物の体の対象部分の動きを検出する第2の検出部と、
前記学習部を参照して、前記第2の検出部により検出された動きに対応する物品情報を抽出する抽出部と、
前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、
を備えたことを特徴とする物品判別装置。
a first acquisition unit that acquires a sample image when a sample person moves a sample article; a first detection unit that detects a movement of a target part of the sample person's body reflected in the sample image; and a plurality of samples. a learning unit that learns about a person and a plurality of sample articles by linking the movement detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample article; An article discrimination device capable of communicating with a learning device having
a registration unit capable of registering an article in association with the article information;
a second acquisition unit that acquires a target image when the target person moves the target article;
a second detection unit that detects movement of a target part of the body of the target person shown in the target video;
an extraction unit that refers to the learning unit and extracts article information corresponding to the movement detected by the second detection unit;
a determination unit that refers to the registration unit and determines an article corresponding to the extracted article information as the target article;
An article discrimination device comprising:
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第1の取得部と、前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第1の検出部と、複数のサンプル人物及び複数のサンプル物品に関して、前記第1の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習する学習部と、物品を、その前記物品情報と紐づけて登録可能な登録部と、を有する学習装置と通信可能、かつ、物品を、その物品情報と紐づけて登録可能なコンピュータに実行させるプログラムであって、
対象人物が対象物品を移動させる際の対象映像を取得するステップと、
前記対象映像に映った対象人物の体の対象部分の動きを検出するステップと、
前記学習によって得られたデータを参照して、前記検出された前記対象人物の体の対象部分の動きに対応する物品情報を抽出するステップと、
前記登録されたデータを参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別するステップ部と、
を備えたことを特徴とする物品判別プログラム。
a first acquisition unit that acquires a sample image when a sample person moves a sample article; a first detection unit that detects a movement of a target part of the sample person's body reflected in the sample image; and a plurality of samples. a learning unit that learns about a person and a plurality of sample articles by linking the movement detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample article; A program executed by a computer capable of communicating with a learning device having a registration unit capable of registering an article in association with the article information, and registering an article in association with the article information,
acquiring a target image when the target person moves the target article;
detecting the movement of a target part of the body of the target person shown in the target video;
extracting article information corresponding to the detected movement of the target part of the target person's body with reference to the data obtained by the learning;
a step unit that refers to the registered data and determines an article corresponding to the extracted article information as the target article;
An article discrimination program characterized by comprising:
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第1の取得部と、前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第1の検出部と、複数のサンプル人物及び複数のサンプル物品に関して、前記第1の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習する学習部と、物品を、その前記物品情報と紐づけて登録可能な登録部と、を有する学習装置と通信可能、かつ、物品を、その物品情報と紐づけて登録可能なコンピュータで実行される方法であって、
対象人物が対象物品を移動させる際の対象映像を取得するステップと、
前記対象映像に映った対象人物の体の対象部分の動きを検出するステップと、
前記学習によって得られたデータを参照して、前記検出された前記対象人物の体の対象部分の動きに対応する物品情報を抽出するステップと、
前記登録されたデータを参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別するステップ部と、
を備えたことを特徴とする物品判別方法。
a first acquisition unit that acquires a sample image when a sample person moves a sample article; a first detection unit that detects a movement of a target part of the sample person's body reflected in the sample image; and a plurality of samples. a learning unit that learns about a person and a plurality of sample articles by linking the movement detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample article; A method executed by a computer capable of communicating with a learning device having a registration unit capable of registering an article in association with the article information, and registering an article in association with the article information. ,
acquiring a target image when the target person moves the target article;
detecting the movement of a target part of the body of the target person shown in the target video;
extracting article information corresponding to the detected movement of the target part of the target person's body with reference to the data obtained by the learning;
a step unit that refers to the registered data and determines an article corresponding to the extracted article information as the target article;
An article discrimination method characterized by comprising:
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第1の取得部と、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第1の検出部と、
複数のサンプル人物及び複数のサンプル物品に関して、前記第1の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習する学習部と、
を備え、
物品を、その前記物品情報と紐づけて登録可能な登録部と、対象人物が対象物品を移動させる際の対象映像を取得する第2の取得部と、前記対象映像に映った対象人物の体の対象部分の動きを検出する第2の検出部と、前記学習部を参照して、前記第2の検出部により検出された動きに対応する物品情報を抽出する抽出部と、前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、を有する物品判別装置と通信可能であることを特徴とする学習装置。
a first acquisition unit that acquires a sample image when a sample person moves a sample article;
a first detection unit that detects movement of a target part of the sample person's body shown in the sample video;
Learning by linking the movements detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample articles with respect to a plurality of sample people and a plurality of sample articles. Department and
Equipped with
a registration unit that can register an item in association with the item information, a second acquisition unit that acquires a target image when a target person moves the target item, and a body of the target person reflected in the target image. a second detection unit that detects a movement of a target portion of the object; an extraction unit that refers to the learning unit and extracts article information corresponding to the movement detected by the second detection unit; and a registration unit. A learning device capable of communicating with an article discriminating device including a discriminating unit that refers to and discriminates an article corresponding to the extracted article information from the target article.
物品を、その物品情報と紐づけて登録可能な登録部を有する学習装置と通信可能、かつ、物品を、その物品情報と紐づけて登録可能なコンピュータに実行させるプログラムであって、
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出するステップと、
複数のサンプル人物及び複数のサンプル物品に関して、前記第1の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習するステップと、
を備え、
前記学習装置は、対象人物が対象物品を移動させる際の対象映像を取得する第2の取得部と、前記対象映像に映った対象人物の体の対象部分の動きを検出する第2の検出部と、前記学習部を参照して、前記第2の検出部により検出された動きに対応する物品情報を抽出する抽出部と、前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、を有することを特徴とする学習プログラム。
A program that can be executed by a computer that can communicate with a learning device that has a registration unit that can register an article in association with the article information, and that can register the article in association with the article information,
acquiring a sample video of the sample person moving the sample article;
detecting the movement of a target part of the sample person's body shown in the sample video;
learning about the plurality of sample persons and the plurality of sample articles by linking the movements detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample articles; and,
Equipped with
The learning device includes a second acquisition unit that acquires a target image when a target person moves a target article, and a second detection unit that detects a movement of a target part of the target person's body that is reflected in the target image. an extraction section that refers to the learning section and extracts article information corresponding to the movement detected by the second detection section; and an extraction section that refers to the registration section and extracts article information corresponding to the extracted article information. A learning program comprising: a discrimination unit that discriminates an article from the target article.
物品を、その物品情報と紐づけて登録可能な登録部を有する学習装置と通信可能、かつ、物品を、その物品情報と紐づけて登録可能なコンピュータで実行される方法であって、
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出するステップと、
複数のサンプル人物及び複数のサンプル物品に関して、前記第1の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習するステップと、
を備え、
前記学習装置は、対象人物が対象物品を移動させる際の対象映像を取得する第2の取得部と、前記対象映像に映った対象人物の体の対象部分の動きを検出する第2の検出部と、前記学習部を参照して、前記第2の検出部により検出された動きに対応する物品情報を抽出する抽出部と、前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、を有することを特徴とする学習方法。
A method executed by a computer capable of communicating with a learning device having a registration unit capable of registering an article in association with the article information, and registering the article in association with the article information, the method comprising:
acquiring a sample video of the sample person moving the sample article;
detecting the movement of a target part of the sample person's body shown in the sample video;
learning about the plurality of sample persons and the plurality of sample articles by linking the movements detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample articles; and,
Equipped with
The learning device includes a second acquisition unit that acquires a target image when a target person moves a target article, and a second detection unit that detects a movement of a target part of the target person's body that is reflected in the target image. an extraction section that refers to the learning section and extracts article information corresponding to the movement detected by the second detection section; and an extraction section that refers to the registration section and extracts article information corresponding to the extracted article information. A learning method comprising: a discrimination unit that discriminates an article from the target article.
JP2022097098A 2022-06-16 2022-06-16 Article identification system Active JP7239120B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022097098A JP7239120B1 (en) 2022-06-16 2022-06-16 Article identification system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022097098A JP7239120B1 (en) 2022-06-16 2022-06-16 Article identification system

Publications (2)

Publication Number Publication Date
JP7239120B1 JP7239120B1 (en) 2023-03-14
JP2023183533A true JP2023183533A (en) 2023-12-28

Family

ID=85556210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022097098A Active JP7239120B1 (en) 2022-06-16 2022-06-16 Article identification system

Country Status (1)

Country Link
JP (1) JP7239120B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007216381A (en) * 2004-07-13 2007-08-30 Matsushita Electric Ind Co Ltd robot
JP2021184540A (en) * 2020-05-22 2021-12-02 国立大学法人 東京大学 Motion capture camera system and video data acquisition method using the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007216381A (en) * 2004-07-13 2007-08-30 Matsushita Electric Ind Co Ltd robot
JP2021184540A (en) * 2020-05-22 2021-12-02 国立大学法人 東京大学 Motion capture camera system and video data acquisition method using the same

Also Published As

Publication number Publication date
JP7239120B1 (en) 2023-03-14

Similar Documents

Publication Publication Date Title
JP7552799B2 (en) OBJECT IDENTIFICATION METHOD, OBJECT IDENTIFICATION DEVICE, AND OBJECT IDENTIFICATION PROGRAM
TWI778030B (en) Store apparatus, store management method and program
CN111415461B (en) Article identification method and system and electronic equipment
JP6013241B2 (en) Person recognition apparatus and method
CN113642361B (en) Fall behavior detection method and equipment
CN109271847B (en) Abnormity detection method, device and equipment in unmanned settlement scene
JP4198951B2 (en) Group attribute estimation method and group attribute estimation apparatus
CN109685780B (en) A Recognition Method of Retail Commodities Based on Convolutional Neural Networks
TW201913510A (en) Shop device, store system, store management method and program
US8634595B2 (en) Method for dynamically setting environmental boundary in image and method for instantly determining human activity
JP2008304268A5 (en)
JP6464737B2 (en) Prospective customer location information detection system, method and program
WO2020195376A1 (en) Monitoring device, suspicious object detecting method, and recording medium
US11238597B2 (en) Suspicious or abnormal subject detecting device
CN110674680A (en) Living body identification method, living body identification device and storage medium
AU2020300066B2 (en) Systems and methods for determining actions performed by objects within images
JP7239120B1 (en) Article identification system
KR102504320B1 (en) Garbage dumper detection system and method using multi-characteristic information in surveillance camera environment
US20240282147A1 (en) Action recognition method, action recognition device, and non-transitory computer readable recording medium
Bansal et al. Elderly people fall detection system using skeleton tracking and recognition
US11983242B2 (en) Learning data generation device, learning data generation method, and learning data generation program
CN118511205A (en) Detection method and device for detecting a person falling, picking up or putting back behavior
CN118276669A (en) Method and device for determining relative position, extended reality system, device and medium
CN115565138A (en) Smoking behavior control method, device, equipment and storage medium for logistics area
JP2022083232A (en) Image processing device, image processing method, and image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230106

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230221

R150 Certificate of patent or registration of utility model

Ref document number: 7239120

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150