JP2023183533A - Article determination system - Google Patents
Article determination system Download PDFInfo
- Publication number
- JP2023183533A JP2023183533A JP2022097098A JP2022097098A JP2023183533A JP 2023183533 A JP2023183533 A JP 2023183533A JP 2022097098 A JP2022097098 A JP 2022097098A JP 2022097098 A JP2022097098 A JP 2022097098A JP 2023183533 A JP2023183533 A JP 2023183533A
- Authority
- JP
- Japan
- Prior art keywords
- article
- target
- sample
- person
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims abstract description 12
- 230000006403 short-term memory Effects 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 13
- 238000012850 discrimination method Methods 0.000 claims description 4
- 230000036544 posture Effects 0.000 description 11
- 230000006399 behavior Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、映像に映った人物が移動させた物品を簡易かつ低負荷な構成で判別することが可能な物品判別システムに関する。 The present invention relates to an article discrimination system that is capable of discriminating articles moved by a person in a video with a simple and low-load configuration.
従来より、時系列データに映った人間の関節等から姿勢を検知し、当該姿勢の変化に応じて行動を認識する装置が知られている。(例えば、特許文献1参照)。 2. Description of the Related Art Conventionally, devices have been known that detect postures from human joints and the like reflected in time-series data and recognize actions according to changes in the postures. (For example, see Patent Document 1).
しかしながら、上記技術では、例えば、人間が物品を“持ち上げる”という行動を認識することは可能であるが、どのような物品を持ち上げているかを認識するためには、物品自体を認識するための構成が別途必要になってしまう。 However, with the above technology, it is possible to recognize, for example, the action of "lifting" an object by a human, but in order to recognize what kind of object is being lifted, it is necessary to have a configuration for recognizing the object itself. will be required separately.
物品自体を認識するための構成としては、例えば、物品ごとにシルエット等を登録しておき、シルエット等が一致するか否かを判別する等が考えられるが、この場合、物品の向きに応じて何十~何百通りものシルエットを登録しておき、その中から上記判別を行うこととなってしまうので、コンピュータにかかる負荷が大幅に増大してしまう。 As a configuration for recognizing the articles themselves, for example, a silhouette etc. may be registered for each article and it may be determined whether the silhouettes etc. match. Since tens to hundreds of silhouettes must be registered and the above-mentioned determination must be made from among them, the load on the computer increases significantly.
そこで、本発明は、映像に映った人物が移動させた物品を簡易かつ低負荷な構成で判別することが可能な物品判別システムを提供することを目的としている。 SUMMARY OF THE INVENTION Therefore, an object of the present invention is to provide an article discrimination system that is capable of discriminating articles moved by a person shown in a video with a simple and low-load configuration.
本発明は、サンプル人物がサンプル物品を移動させる際のサンプル映像を取得する第1の取得部と、前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第1の検出部と、複数のサンプル人物及び複数のサンプル物品に関して、前記第1の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習する学習部と、物品を、その前記物品情報と紐づけて登録可能な登録部と、対象人物が対象物品を移動させる際の対象映像を取得する第2の取得部と、前記対象映像に映った対象人物の体の対象部分の動きを検出する第2の検出部と、前記学習部を参照して、前記第2の検出部により検出された動きに対応する物品情報を抽出する抽出部と、前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、を備えたことを特徴とする物品判別システムを提供している。 The present invention includes: a first acquisition unit that acquires a sample image when a sample person moves a sample article; and a first detection unit that detects a movement of a target part of the sample person's body reflected in the sample image. , learn by linking the movements detected by the first detection unit with respect to the plurality of sample persons and the plurality of sample articles with article information including at least one of the weight, shape, and size of the sample articles. a learning section; a registration section capable of registering an article in association with the article information; a second acquisition section that acquires a target image when a target person moves the target article; a second detection unit that detects a movement of a target part of the body of a target person; and an extraction unit that refers to the learning unit and extracts article information corresponding to the movement detected by the second detection unit; An article discrimination system is provided, comprising: a discrimination section that refers to the registration section and discriminates an article corresponding to the extracted article information from the target article.
このような構成によれば、対象人物の体の対象部分の動きを検出することで対象人物が移動させた対象物品を判別することができるので、対象物品自体を検出する必要がなく、これにより、コンピュータにかかる負荷が大幅に低減される。また、個別の物品について学習を行う必要がなく、動作の学習を行うだけよいので、この点においても、コンピュータにかかる負荷が大幅に低減される。 According to such a configuration, the target article moved by the target person can be determined by detecting the movement of the target part of the target person's body, so there is no need to detect the target article itself, and thereby , the load on the computer is significantly reduced. Further, since there is no need to perform learning for each individual item, it is only necessary to perform learning for the motion, the load on the computer is significantly reduced in this respect as well.
また、前記登録部は、物品を、更にその色彩と紐づけて登録可能であり、前記第2の検出部は、前記対象人物の前記対象部分に接し、前記対象人物の動きに連動して動く部分の色彩を更に検出し、前記判別部は、前記登録部を参照して、前記第2の検出部により検出された色彩、及び、前記抽出された物品情報の両方に対応する物品を前記対象物品と判別することが好ましい。 Further, the registration unit is capable of registering the article in association with its color, and the second detection unit is in contact with the target part of the target person and moves in conjunction with the movement of the target person. Further detecting the color of the part, the discrimination section refers to the registration section and selects the article corresponding to both the color detected by the second detection section and the extracted article information as the object. It is preferable to distinguish it as an article.
このような構成によれば、対象部分の周囲の色彩を検出することにより、対象部分に接しているであろう対象物品の色彩を検出していることとなるので、登録部に登録された複数の物品の中から候補を絞り込みやすくなり、結果として、対象物品を高精度に判別することが可能となる。 According to such a configuration, by detecting the color around the target part, the color of the target article that is likely to be in contact with the target part is detected. It becomes easier to narrow down the candidates from among the articles, and as a result, it becomes possible to identify the target article with high accuracy.
また、前記学習部は、前記第1の検出部により検出された動きを更に前記サンプル人物の体格情報と紐づけて学習し、前記第2の検出部は、前記対象映像に映った対象人物の体格を更に検出し、前記抽出部は、前記学習部を参照して、前記第2の検出部により検出された動き及び体格の両方に対応する物品情報を抽出することが好ましい。 Further, the learning unit further learns by linking the movement detected by the first detection unit with the physique information of the sample person, and the second detection unit learns the movement detected by the first detection unit, and the second detection unit learns the movement detected by the first detection unit. Preferably, a physique is further detected, and the extraction section refers to the learning section to extract article information corresponding to both the movement and the physique detected by the second detection section.
このような構成によれば、体格に応じた動きの違いまで考慮して物品情報が抽出されるので、正解である物品情報が抽出される確率を増加させることが可能となる。 According to such a configuration, the article information is extracted taking into account the difference in movement depending on the physique, so it is possible to increase the probability that correct article information will be extracted.
また、前記学習部は、前記第1の検出部により検出された動きを更に前記サンプル人物の姿勢と紐づけて学習し、前記第2の検出部は、前記対象映像に映った対象人物の姿勢を更に検出し、前記抽出部は、前記学習部を参照して、前記第2の検出部により検出された動き及び姿勢の両方に対応する物品情報を抽出することが好ましい。 Further, the learning unit further learns by linking the movement detected by the first detection unit with the posture of the sample person, and the second detection unit learns the movement detected by the first detection unit, and the second detection unit learns the movement detected by the first detection unit. It is preferable that the extraction unit further detects, and the extraction unit refers to the learning unit and extracts article information corresponding to both the movement and posture detected by the second detection unit.
このような構成によれば、姿勢に応じた動きの違いまで考慮して物品情報が抽出されるので、正解である物品情報が抽出される確率を増加させることが可能となる。 According to such a configuration, the article information is extracted taking into account the difference in movement depending on the posture, so it is possible to increase the probability that correct article information will be extracted.
また、前記抽出された物品情報を短期記憶情報として記憶可能な短期記憶部を更に備え、前記抽出された物品情報が前記短期記憶部に記憶されている短期記憶情報から所定以上変化した場合に、前記短期記憶情報は前記短期記憶部から消去されることが好ましい。 The invention further includes a short-term memory unit capable of storing the extracted article information as short-term memory information, and when the extracted article information changes by a predetermined amount or more from the short-term memory information stored in the short-term memory unit, Preferably, the short-term memory information is erased from the short-term memory.
このような構成によれば、映像を構成する複数フレームにおいて抽出された物品情報が所定以上変化した場合には、対象物品が変更されたものと判断することができるので、抽出された物品情報を消去してコンピュータの容量の使用量を低減させることが可能となる。 According to such a configuration, if the extracted article information in multiple frames constituting the video changes by more than a predetermined value, it can be determined that the target article has been changed, so the extracted article information can be changed. It becomes possible to reduce the amount of computer capacity used by erasing the data.
また、本発明の別の観点によれば、上記物品判別システムに対応する物品判別プログラム、物品判別方法、上記判別システムに含まれる物品判別装置(物品判別プログラム、及び、物品判別方法)、及び、学習装置(学習プログラム、及び、学習方法)を提供している。 Further, according to another aspect of the present invention, an article discrimination program, an article discrimination method, an article discrimination device (article discrimination program and article discrimination method) included in the discrimination system, which correspond to the article discrimination system, and We provide learning devices (learning programs and learning methods).
本発明の物品判別システムによれば、映像に映った人物が移動させた物品を簡易かつ低負荷な構成で判別することが可能となる。 According to the article discrimination system of the present invention, it is possible to discriminate an article moved by a person appearing in a video with a simple and low-load configuration.
以下、本発明の実施の形態による物品判別システム1について、図1-図3を参照して説明する。 An article classification system 1 according to an embodiment of the present invention will be described below with reference to FIGS. 1 to 3.
物品判別システム1は、図1に示すように、撮影手段Xによって撮影された対象映像Y(図1では、映像を構成するフレーム)に映った対象人物Zが移動させた対象物品Pを判別するためのものである。本実施の形態では、対象人物Zが対象物品P(図1では、鈍器(バット))を持ち上げる際の対象映像Yを用いて、当該対象物品P(物品名)を判別する例を用いて説明を行う。また、本実施の形態では、対象人物Zとして人間を採用し、理解容易のため、対象人物Zを骨格だけで簡易的に表示する。 As shown in FIG. 1, the article discrimination system 1 discriminates a target article P moved by a target person Z appearing in a target image Y (in FIG. 1, frames constituting the image) photographed by a photographing means X. It is for. In this embodiment, an example will be described in which the target article P (item name) is determined using the target image Y when the target person Z lifts the target article P (a blunt instrument (bat) in FIG. 1). I do. Further, in this embodiment, a human being is employed as the target person Z, and the target person Z is simply displayed using only a skeleton for easy understanding.
物品判別システム1は、図2に示すように、学習装置2と、判別装置3と、を備えており、学習装置2によって学習されたデータを参照して、判別装置3が、対象人物Zが移動させた対象物品P(物品名)を判別する。
As shown in FIG. 2, the article discrimination system 1 includes a
学習装置2は、第1の記憶部21と、第1の取得部22と、第1の検出部23と、学習部24と、を備えている。
The
第1の記憶部21には、“関節識別基準”と、“行動体識別基準”と、が記憶されている。
The
“関節識別基準”は、人間の複数の関節を識別するためのものであり、関節ごとに、それぞれを識別するための形状、方向、サイズ等を示したものである。 The "joint identification standard" is for identifying a plurality of human joints, and indicates the shape, direction, size, etc. for identifying each joint.
“行動体識別基準”は、人間の様々なバリエーション(“歩行”、“直立”等)の “基本姿勢“、”各関節の可動域“、一の人間における”各関節間の距離“等を示したものである。 The “behavior identification standards” are based on the “basic posture” of various human variations (“walking”, “standing upright”, etc.), the “range of motion of each joint”, the “distance between each joint in a single person”, etc. This is what is shown.
第1の取得部22は、サンプル人物Z1がサンプル物品P1を移動させる際のサンプル映像Y1を取得する。例えば、犯罪防止を目的として物品判別システム1を使用する場合には、鈍器やナイフを持ち上げる動作に関するサンプル映像Y1を取得する。但し、物品判別システム1の使用目的を限定することなく様々なサンプル映像Y1を取得してもよい。
The
第1の検出部23は、サンプル映像Y1に映ったサンプル人物Z1の体の対象部分の動きを検出する。図1の例では、サンプル人物Z1が鈍器を持ち上げる際の手や腕の動きを検出することとなる。
The
サンプル人物Z1の検出に当たっては、まず、サンプル映像Y1に映ったサンプル人物Z1を特定する。 In detecting the sample person Z1, first, the sample person Z1 shown in the sample video Y1 is specified.
本実施の形態では、第1の記憶部21に記憶された“関節識別基準”に該当する複数の関節を検出した上で、“行動体識別基準”を参照して、一のサンプル人物Z1に含まれる複数の関節を特定する。
In the present embodiment, after detecting a plurality of joints that correspond to the "joint identification criteria" stored in the
学習部24は、複数のサンプル人物Z1及び複数のサンプル物品P1に関して、第1の検出部23により検出された動きをサンプル物品P1の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習する。
The
これは、学習部24が、ある重さ、形状、サイズの物品を移動させる場合に、サンプル人物Z1がどのような動き(移動軌跡、速度、加速度、関節角度の変化等)をするかを学習することを意味している。特に、重力、遠心力等により加速度が生じる場合に、動きに大きな特徴が現れる。
This is because the
サンプル物品P1の重さ、形状、及び、サイズとしては、予め計測しておいたものを紐づければよい。 The weight, shape, and size of the sample article P1 may be linked to those measured in advance.
また、本実施の形態では、学習部24は、第1の検出部23により検出された動きを更にサンプル人物Z1の体格情報と紐づけて学習する。
Furthermore, in the present embodiment, the
これは、同じ物品を移動させる場合であっても、サンプル人物Z1の体格によって、その動き(移動軌跡、速度、加速度、関節角度の変化等)が異なることを考慮したものである。 This is done in consideration of the fact that even when moving the same article, its movement (changes in movement trajectory, speed, acceleration, joint angle, etc.) will differ depending on the physique of the sample person Z1.
体格情報は、サンプル人物Z1の身長や背格好をユーザが入力してもよいし、第1の検出部23がサンプル人物Z1の身長や背格好まで検出し、検出された身長や背格好を体格情報として用いてもよい。
As for the physique information, the user may input the height and back appearance of the sample person Z1, or the
上記した学習は、様々な重さ、形状、及び、サイズを有するサンプル物品P1、及び、様々な体格情報を有するサンプル人物Z1に対して行われることが好ましい。 It is preferable that the above-described learning is performed on sample articles P1 having various weights, shapes, and sizes, and sample persons Z1 having various physique information.
判別装置3は、登録部31と、第2の記憶部32と、第2の取得部33と、第2の検出部34と、抽出部35と、判別部36と、短期記憶部37と、を備えている。
The
登録部31は、物品を、その物品情報(重さ、形状、及び、サイズの少なくとも1つを含む)と紐づけて登録可能である。
The
例えば、犯罪防止を目的とする場合には、“金属バット”、“ナイフ”等の一般名称や、それらの型式を、その物品情報と紐づけて登録しておくことが考えられる。 For example, if the purpose is to prevent crime, it may be possible to register general names such as "metal bat" and "knife" and their models in association with the product information.
本実施の形態では、更に物品を、その色彩と紐づけて登録可能なものとする。 In this embodiment, it is also possible to register articles in association with their colors.
物品の色彩は、単に“赤”、“青”のようにユーザが入力してもよいし、検出部等により検出した色彩の特徴量を登録してもよい。 The color of the article may be simply inputted by the user, such as "red" or "blue," or the feature quantity of the color detected by a detection unit or the like may be registered.
第2の記憶部32には、第1の記憶部21と同様に、“関節識別基準”と、“行動体識別基準”と、が記憶されている。
Similar to the
第2の取得部33は、対象人物Zが対象物品Pを移動させる際の対象映像Yを取得する。 The second acquisition unit 33 acquires the target image Y when the target person Z moves the target article P.
第2の検出部34は、対象映像Yに映った対象人物Zの体の対象部分の動きを検出する。本実施の形態では、第1の検出部23と同様の方法で検出を行うものとする。
The
また、本実施の形態では、第2の検出部34は、対象人物Zの対象部分に接し、対象人物Zの動きに連動して動く部分の色彩を更に検出する。
Furthermore, in the present embodiment, the
図1の例では、対象人物Zの手(対象部分)に握られているバット(対象物品P)が、“対象人物Zの対象部分に接し、対象人物Zの動きに連動して動く部分”に相当するので、バットの色彩を検出することとなる。 In the example of FIG. 1, the bat (target article P) held in the hand (target part) of the target person Z is "a part that touches the target part of the target person Z and moves in conjunction with the movement of the target person Z." Since this corresponds to , the color of the bat will be detected.
また、本実施の形態では、第2の検出部34は、対象映像Yに映った対象人物Zの体格を更に検出する。体格としては、大まかな身長だけでもよいし、関節やシルエット等を検出することで背格好まで検出してもよい。
Further, in the present embodiment, the
抽出部35は、学習部24を参照して、第2の検出部34により検出された動きに対応する物品情報を抽出する。
The
これは、対象人物Zが対象物品Pを移動させる動きに応じて、移動させている対象物品Pの重さ、形状、サイズを推定していることを意味する。 This means that the weight, shape, and size of the target article P being moved are estimated according to the movement of the target person Z in moving the target article P.
なお、抽出する物品情報は1つに限定されず、複数の候補を抽出してもよい。 Note that the number of article information to be extracted is not limited to one, and a plurality of candidates may be extracted.
また、本実施の形態では、抽出部35は、学習部24を参照して、第2の検出部34により検出された動き及び体格の両方に対応する物品情報を抽出するものとする。
Further, in the present embodiment, the
これにより、体格に応じた動きの違いまで考慮して物品情報が抽出されるので、正解である物品情報が抽出される確率を増加させることが可能となる。 As a result, article information is extracted taking into account the difference in movement depending on the physique, so it is possible to increase the probability that correct article information will be extracted.
判別部36は、登録部31を参照して、抽出された物品情報に対応する物品を対象物品Pと判別する。
The determining
これは、予め登録されている物品の中から、対象人物Zの動きに対応した物品情報を有する物品を選択することで、対象人物Zが移動させた対象物品Pを判別していることを意味する。 This means that the target article P moved by the target person Z is determined by selecting an article having article information corresponding to the movement of the target person Z from among the articles registered in advance. do.
本実施の形態では、判別部36は、登録部31を参照して、第2の検出部34により検出された色彩、及び、抽出された物品情報の両方に対応する物品を対象物品Pと判別する。
In the present embodiment, the
これにより、対象部分の周囲の色彩を検出することにより、対象部分に接しているであろう対象物品Pの色彩を検出していることとなるので、登録部31に登録された複数の物品の中から候補を絞り込みやすくなり、結果として、対象物品Pを高精度に判別することが可能となる。 As a result, by detecting the color around the target part, the color of the target article P that is likely to be in contact with the target part is detected. It becomes easier to narrow down the candidates from among them, and as a result, it becomes possible to discriminate the target article P with high precision.
なお、必ずしも、抽出された物品情報は、登録されている物品情報と正確に一致するとは限らないので、「所定の一致度を有していれば一致している」として判別を行うことが好ましい。また、対象物品Pと判別する物品は1つに限定されず、複数の候補を出力してもよい。 Note that the extracted product information does not necessarily exactly match the registered product information, so it is preferable to make a determination that "if they have a predetermined degree of matching, they match". . Further, the number of articles to be determined as the target article P is not limited to one, and a plurality of candidates may be output.
短期記憶部37は、抽出された物品情報を短期記憶情報として記憶可能であり、抽出された物品情報が短期記憶部37に記憶されている短期記憶情報から所定以上変化した場合に、当該短期記憶情報は短期記憶部37から消去される。
The short-
これは、持ち上げる対象物品Pが変更されると、短期記憶情報が消去されることを意味している。 This means that when the object P to be lifted is changed, the short-term memory information is erased.
本実施の形態では、抽出された物品情報以外にも、第2の検出部34により検出された動きを短期記憶情報として記憶可能であり、抽出された物品情報が短期記憶部37に記憶されている短期記憶情報から所定以上変化した場合に、第2の検出部34により検出された動きも短期記憶部37から消去される。短期記憶部37からの消去は、抽出部35が行ってもよいし、その他の制御部等が行ってもよい。
In this embodiment, in addition to the extracted article information, the movement detected by the
このような構成によれば、映像を構成する複数フレームにおいて抽出された物品情報が短期記憶部37に記憶されている短期記憶情報から所定以上変化した場合には、対象物品Pが変更されたものと判断することができるので、抽出された物品情報を消去してコンピュータの容量の使用量を低減させることが可能となる。
According to such a configuration, when the article information extracted in a plurality of frames constituting the video changes from the short-term memory information stored in the short-
上記構成を有する物品判別システム1は、様々な用途で利用することが可能である。例えば、犯罪防止を目的とする場合、対象人物Zが保持している鈍器やナイフを判別することで、事件や事故の発生を未然に防止することが可能となる。同様に、物品の窃盗を判別することも可能である。また、物品判別システム1は、見守りの目的で利用することも可能である。例えば、別室にいる幼児が保持しているものを判別することで、危険性のある物品を保持していることを発見することが可能となる。更に、物品判別システム1は、福祉の目的で使用することも可能である。例えば、バスに乗り込む高齢者が重い物品を保持していることを判別すれば、早めに介助に向かうことなどが可能となる。 The article discrimination system 1 having the above configuration can be used for various purposes. For example, when the purpose is to prevent crime, it is possible to prevent incidents and accidents from occurring by determining which blunt instrument or knife is being held by the target person Z. Similarly, it is also possible to determine theft of goods. Furthermore, the article discrimination system 1 can also be used for the purpose of monitoring. For example, by determining what an infant in a separate room is holding, it is possible to discover that the child is holding a potentially dangerous item. Furthermore, the article discrimination system 1 can also be used for welfare purposes. For example, if the system determines that an elderly person boarding a bus is carrying heavy items, it is possible to quickly provide assistance.
続いて、図3のフローチャートを用いて、物品判別システム1による物品の判別について説明する。 Next, article discrimination by the article discrimination system 1 will be described using the flowchart of FIG. 3.
物品の判別は、“学習段階”と“判別段階”の2段階で行われる。 Discrimination of articles is performed in two stages: a "learning stage" and a "discrimination stage".
(1)学習段階 (1) Learning stage
学習段階では、まず、サンプル映像Y1が取得されると(S1)、サンプル映像Y1に映ったサンプル人物Z1の体の対象部分の動きが検出される(S2)。 In the learning stage, first, when the sample video Y1 is acquired (S1), the movement of the target part of the body of the sample person Z1 shown in the sample video Y1 is detected (S2).
続いて、S2で検出された動きをサンプル物品P1の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけた学習が行われる(S3)。この際、S2で検出された動きを更にサンプル人物Z1の体格情報と紐づけて学習が行われることが好ましい。 Subsequently, learning is performed in which the movement detected in S2 is linked to article information including at least one of the weight, shape, and size of the sample article P1 (S3). At this time, it is preferable that learning is performed by further linking the movement detected in S2 with the physique information of the sample person Z1.
S1及びS2は、異なる複数のサンプル映像Y1に対して行われ、多数のサンプル人物Z1及び多数のサンプル物品P1に関して学習が行われることが好ましい。 Preferably, S1 and S2 are performed on a plurality of different sample videos Y1, and learning is performed on a large number of sample people Z1 and a large number of sample articles P1.
(2)検出段階 (2) Detection stage
続いて、検出段階では、まず、対象映像Yが取得されると(S4)、対象映像Yに映った対象人物Zの体の対象部分の動きが検出される(S5)。この際、対象人物Zの対象部分に接し、対象人物Zの動きに連動して動く部分の色彩が更に検出されることが好ましい。また、対象映像Yに映った対象人物Zの体格が更に検出されることが好ましい。 Subsequently, in the detection stage, first, when the target image Y is acquired (S4), the movement of the target part of the body of the target person Z shown in the target image Y is detected (S5). At this time, it is preferable that the color of a part that is in contact with the target part of the target person Z and moves in conjunction with the movement of the target person Z is further detected. Further, it is preferable that the physique of the target person Z shown in the target image Y is further detected.
続いて、S3の学習によって得られたデータを参照して、S5で検出された動きに対応する物品情報が抽出される(S6)。この際、S3の学習によって得られたデータを参照して、S5で検出された動き及び体格の両方に対応する物品情報が抽出されることが好ましい。 Next, article information corresponding to the movement detected in S5 is extracted with reference to the data obtained through the learning in S3 (S6). At this time, it is preferable that article information corresponding to both the movement and physique detected in S5 be extracted with reference to the data obtained through the learning in S3.
なお、S5で検出された動き、及び、S6で抽出された物品情報は、それぞれ短期記憶情報として短期記憶部37に記憶される。
Note that the movement detected in S5 and the article information extracted in S6 are each stored in the short-
続いて、登録部31を参照して、抽出された物品情報に対応する物品が対象物品Pであると判別される(S7)。この際、検出された色彩、及び、抽出された物品情報の両方に対応する物品が対象物品Pであると判別されることが好ましい。
Subsequently, with reference to the
なお、登録部31への物品情報等の登録は、遅くともS7までには行われている必要がある。
Note that the registration of article information and the like in the
連続して判別を行う場合には、S4-S7までのステップを繰り返すこととなるが、S6で抽出された物品情報が短期記憶部37に記憶されている短期記憶情報から所定以上変化した場合に、当該短期記憶情報は短期記憶部37から消去される。
In the case of continuous determination, the steps from S4 to S7 are repeated, but if the article information extracted in S6 changes from the short-term memory information stored in the short-
以上説明したように、本実施の形態による物品判別システム1では、予め登録されている物品の中から、対象人物Zの動きに対応した物品情報を有する物品を選択することで、対象人物Zが移動させた対象物品Pを判別する。 As explained above, in the article discrimination system 1 according to the present embodiment, by selecting an article having article information corresponding to the movement of the target person Z from among the articles registered in advance, the target person Z can be identified. The moved target article P is determined.
このような構成によれば、対象人物Zの体の対象部分の動きを検出することで対象人物Zが移動させた対象物品Pを判別することができるので、対象物品P自体を検出する必要がなく、これにより、コンピュータにかかる負荷が大幅に低減される。また、個別の物品について学習を行う必要がなく、動作の学習を行うだけよいので、この点においても、コンピュータにかかる負荷が大幅に低減される。 According to such a configuration, the target article P moved by the target person Z can be determined by detecting the movement of the target part of the body of the target person Z, so there is no need to detect the target article P itself. This greatly reduces the load on the computer. Further, since there is no need to perform learning for each individual item, it is only necessary to perform learning for the motion, the load on the computer is significantly reduced in this respect as well.
また、本実施の形態による物品判別システム1では、登録部31を参照して、第2の検出部34により検出された色彩、及び、抽出された物品情報の両方に対応する物品を対象物品Pと判別する。
In addition, in the article discrimination system 1 according to the present embodiment, with reference to the
このような構成によれば、対象部分の周囲の色彩を検出することにより、対象部分に接しているであろう対象物品Pの色彩を検出していることとなるので、登録部31に登録された複数の物品の中から候補を絞り込みやすくなり、結果として、対象物品Pを高精度に判別することが可能となる。 According to such a configuration, by detecting the color around the target part, the color of the target article P that is likely to be in contact with the target part is detected, so that the color of the target article P that is likely to be in contact with the target part is detected. It becomes easier to narrow down the candidates from among the plurality of articles, and as a result, it becomes possible to identify the target article P with high precision.
また、本実施の形態による物品判別システム1では、学習部24を参照して、第2の検出部34により検出された動き及び体格の両方に対応する物品情報を抽出する。
Furthermore, the article discrimination system 1 according to the present embodiment refers to the
このような構成によれば、体格に応じた動きの違いまで考慮して物品情報が抽出されるので、正解である物品情報が抽出される確率を増加させることが可能となる。 According to such a configuration, the article information is extracted taking into account the difference in movement depending on the physique, so it is possible to increase the probability that correct article information will be extracted.
また、本実施の形態による物品判別システム1では、抽出された物品情報が短期記憶部37に記憶されている短期記憶情報から所定以上変化した場合に、当該短期記憶情報は短期記憶部37から消去される。
Further, in the article discrimination system 1 according to the present embodiment, when the extracted article information changes more than a predetermined value from the short-term memory information stored in the short-
このような構成によれば、映像を構成する複数フレームにおいて抽出された物品情報が所定以上変化した場合には、対象物品Pが変更されたものと判断することができるので、抽出された物品情報を消去してコンピュータの容量の使用量を低減させることが可能となる。 According to such a configuration, when the extracted article information in multiple frames constituting the video changes by more than a predetermined value, it can be determined that the target article P has been changed, so that the extracted article information It becomes possible to reduce the amount of computer capacity used by erasing the data.
尚、本発明の物品判別システムは、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。 Note that the article discrimination system of the present invention is not limited to the embodiments described above, and various modifications and improvements can be made within the scope of the claims.
例えば、上記実施の形態では、対象人物Zが対象物品Pを持ち上げる動きを検出したが、持ち運ぶ・振り上げる・振り下ろす等の他の動きを検出してもよい。また、物品情報と紐づけられる対象部分の動きは、腕の動きに限定されない。例えば、対象部分を足にすれば、どのような重さ、形状、及び、サイズを有する物品を蹴ったのかを判別することも可能である。 For example, in the embodiment described above, the movement of the target person Z lifting the target article P was detected, but other movements such as carrying, swinging up, swinging down, etc. may also be detected. Further, the movement of the target part associated with the article information is not limited to the movement of the arm. For example, if the target part is a foot, it is also possible to determine what weight, shape, and size the object has been kicked.
また、上記実施の形態では、サンプル人物Z1(対象人物Z)の検出に当たって、まず、サンプル映像Y1(対象映像Y)に映ったサンプル人物Z1(対象人物Z)を特定したが、必ずしも人物を特定する必要はなく、例えば、手や腕だけ検出するだけでも本発明の物品判別は可能である。 Further, in the above embodiment, when detecting the sample person Z1 (target person Z), first the sample person Z1 (target person Z) shown in the sample video Y1 (target video Y) is identified, but it is not always necessary to identify the person. There is no need to do this; for example, the article identification of the present invention is possible by simply detecting only the hand or arm.
また、対象人物Zの姿勢によって力の入りやすさも異なり、それにより対象部分の動きも異なってくることが考えられる。従って、より高精度に物品を判別するために、物品情報の抽出に当たり、対象人物Zの姿勢を考慮してもよい。なお、この場合には、例えば、学習段階において、公知の方法を用いて、第1の検出部23が、サンプル映像Y1に映ったサンプル人物Z1の姿勢を推定し、学習部24において物品情報と紐づけて学習しておき、判別段階において、学習によって得られたデータを参照して、第2の検出部34により動き及び姿勢の両方に対応する物品情報を抽出すればよい。
Furthermore, the ease with which force is applied may vary depending on the posture of the target person Z, and the movement of the target portion may also vary accordingly. Therefore, in order to identify the article with higher accuracy, the posture of the target person Z may be taken into consideration when extracting the article information. In this case, for example, in the learning stage, the
また、上記実施の形態では、第1の記憶部21と第2の記憶部32、第1の取得部22と第2の取得部33、及び、第1の検出部23と第2の検出部34は、学習装置2と判別装置3にそれぞれ設けられていたが、これらは共通して使用されてもよい。また、学習装置2と判別装置3は一体であってもよい。これらの場合も本発明の範囲に含まれる。更に、登録部31は、判別装置3と別体であってもよい。
Further, in the above embodiment, the
また、学習装置2においてデータ(多数の行動)がある程度蓄積した後は、判別装置3のみを作動させることも可能である。
Furthermore, after a certain amount of data (a large number of actions) has been accumulated in the
また、本実施の形態による物品の判別は、対象映像Yに対してリアルタイムで行うのが効果的ではあるが、物品判別システム1の使用目的によっては録画した対象映像Yに対して後から行ってもよい。 In addition, although it is effective to perform the product identification according to the present embodiment on the target video Y in real time, depending on the purpose of use of the product classification system 1, it may be performed on the recorded target video Y later. Good too.
また、上記実施の形態では複数の関節の動きに基づいて行動体の行動を検出したが、関節を検出することなく他の方法で行動体の行動を検出してもよい。 Furthermore, in the above embodiments, the behavior of the behavioral object is detected based on the movements of a plurality of joints, but the behavior of the behavioral object may be detected by other methods without detecting the joints.
また、本発明は、コントローラとしての第1の取得部22、第1の検出部23、学習部24、第2の取得部33、第2の検出部34、抽出部35、及び、判別部36が行う処理に相当するプログラム及び方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体としては、CD-ROM等が考えられるが、それに限定されるものではない。
Further, the present invention includes a
1 物品判別システム
2 学習装置
3 判別装置
21 第1の記憶部
22 第1の取得部
23 第1の検出部
24 学習部
31 登録部
32 第2の記憶部
33 第2の取得部
34 第2の検出部
35 抽出部
36 判別部
37 短期記憶部
1
Claims (13)
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第1の検出部と、
複数のサンプル人物及び複数のサンプル物品に関して、前記第1の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習する学習部と、
物品を、その前記物品情報と紐づけて登録可能な登録部と、
対象人物が対象物品を移動させる際の対象映像を取得する第2の取得部と、
前記対象映像に映った対象人物の体の対象部分の動きを検出する第2の検出部と、
前記学習部を参照して、前記第2の検出部により検出された動きに対応する物品情報を抽出する抽出部と、
前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、
を備えたことを特徴とする物品判別システム。 a first acquisition unit that acquires a sample image when a sample person moves a sample article;
a first detection unit that detects movement of a target part of the sample person's body shown in the sample video;
Learning by linking the movements detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample articles with respect to a plurality of sample people and a plurality of sample articles. Department and
a registration unit capable of registering an article in association with the article information;
a second acquisition unit that acquires a target image when the target person moves the target article;
a second detection unit that detects movement of a target part of the body of the target person shown in the target video;
an extraction unit that refers to the learning unit and extracts article information corresponding to the movement detected by the second detection unit;
a determination unit that refers to the registration unit and determines an article corresponding to the extracted article information as the target article;
An article discrimination system characterized by comprising:
前記第2の検出部は、前記対象人物の前記対象部分に接し、前記対象人物の動きに連動して動く部分の色彩を更に検出し、
前記判別部は、前記登録部を参照して、前記第2の検出部により検出された色彩、及び、前記抽出された物品情報の両方に対応する物品を前記対象物品と判別することを特徴とする請求項1に記載の物品判別システム。 The registration unit is capable of registering the article in association with its color;
The second detection unit further detects the color of a part that is in contact with the target part of the target person and moves in conjunction with the movement of the target person,
The discrimination section refers to the registration section and discriminates an article corresponding to both the color detected by the second detection section and the extracted article information from the target article. The article discrimination system according to claim 1.
前記第2の検出部は、前記対象映像に映った対象人物の体格を更に検出し、
前記抽出部は、前記学習部を参照して、前記第2の検出部により検出された動き及び体格の両方に対応する物品情報を抽出することを特徴とする請求項1に記載の物品判別システム。 The learning unit further learns by linking the movement detected by the first detection unit with physique information of the sample person,
The second detection unit further detects the physique of the target person shown in the target video,
The article discrimination system according to claim 1, wherein the extraction section refers to the learning section and extracts article information corresponding to both the movement and physique detected by the second detection section. .
前記第2の検出部は、前記対象映像に映った対象人物の姿勢を更に検出し、
前記抽出部は、前記学習部を参照して、前記第2の検出部により検出された動き及び姿勢の両方に対応する物品情報を抽出することを特徴とする請求項1に記載の物品判別システム。 The learning unit further learns by linking the movement detected by the first detection unit with the posture of the sample person,
The second detection unit further detects the posture of the target person shown in the target video,
The article discrimination system according to claim 1, wherein the extraction section refers to the learning section and extracts article information corresponding to both the movement and posture detected by the second detection section. .
前記抽出された物品情報が前記短期記憶部に記憶されている短期記憶情報から所定以上変化した場合に、前記短期記憶情報は前記短期記憶部から消去されることを特徴とする請求項1に記載の物品判別システム。 further comprising a short-term memory unit capable of storing the extracted article information as short-term memory information,
2. The short-term memory information is deleted from the short-term memory when the extracted article information changes by a predetermined amount or more from the short-term memory information stored in the short-term memory. article identification system.
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出するステップと、
複数のサンプル人物及び複数のサンプル物品に関して、前記第1の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習するステップと、
対象人物が対象物品を移動させる際の対象映像を取得するステップと、
前記対象映像に映った対象人物の体の対象部分の動きを検出するステップと、
前記学習によって得られたデータを参照して、前記検出された前記対象人物の体の対象部分の動きに対応する物品情報を抽出するステップと、
前記登録されたデータを参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別するステップ部と、
を備えたことを特徴とする物品判別プログラム。 A program that causes a computer that can register an item to link the item to the item information to execute the program,
acquiring a sample video of the sample person moving the sample article;
detecting the movement of a target part of the sample person's body shown in the sample video;
learning about the plurality of sample persons and the plurality of sample articles by linking the movements detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample articles; and,
acquiring a target image when the target person moves the target article;
detecting the movement of a target part of the body of the target person shown in the target video;
extracting article information corresponding to the detected movement of the target part of the target person's body with reference to the data obtained by the learning;
a step unit that refers to the registered data and determines an article corresponding to the extracted article information as the target article;
An article discrimination program characterized by comprising:
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出するステップと、
複数のサンプル人物及び複数のサンプル物品に関して、前記第1の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習するステップと、
対象人物が対象物品を移動させる際の対象映像を取得するステップと、
前記対象映像に映った対象人物の体の対象部分の動きを検出するステップと、
前記学習によって得られたデータを参照して、前記検出された前記対象人物の体の対象部分の動きに対応する物品情報を抽出するステップと、
前記登録されたデータを参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別するステップ部と、
を備えたことを特徴とする物品判別方法。 A computer-implemented method capable of registering an article in association with its article information, the method comprising:
acquiring a sample video of the sample person moving the sample article;
detecting the movement of a target part of the sample person's body shown in the sample video;
learning about the plurality of sample persons and the plurality of sample articles by linking the movements detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample articles; and,
acquiring a target image when the target person moves the target article;
detecting the movement of a target part of the body of the target person shown in the target video;
extracting article information corresponding to the detected movement of the target part of the target person's body with reference to the data obtained by the learning;
a step unit that refers to the registered data and determines an article corresponding to the extracted article information as the target article;
An article discrimination method characterized by comprising:
物品を、その前記物品情報と紐づけて登録可能な登録部と、
対象人物が対象物品を移動させる際の対象映像を取得する第2の取得部と、
前記対象映像に映った対象人物の体の対象部分の動きを検出する第2の検出部と、
前記学習部を参照して、前記第2の検出部により検出された動きに対応する物品情報を抽出する抽出部と、
前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、
を備えたことを特徴とする物品判別装置。 a first acquisition unit that acquires a sample image when a sample person moves a sample article; a first detection unit that detects a movement of a target part of the sample person's body reflected in the sample image; and a plurality of samples. a learning unit that learns about a person and a plurality of sample articles by linking the movement detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample article; An article discrimination device capable of communicating with a learning device having
a registration unit capable of registering an article in association with the article information;
a second acquisition unit that acquires a target image when the target person moves the target article;
a second detection unit that detects movement of a target part of the body of the target person shown in the target video;
an extraction unit that refers to the learning unit and extracts article information corresponding to the movement detected by the second detection unit;
a determination unit that refers to the registration unit and determines an article corresponding to the extracted article information as the target article;
An article discrimination device comprising:
対象人物が対象物品を移動させる際の対象映像を取得するステップと、
前記対象映像に映った対象人物の体の対象部分の動きを検出するステップと、
前記学習によって得られたデータを参照して、前記検出された前記対象人物の体の対象部分の動きに対応する物品情報を抽出するステップと、
前記登録されたデータを参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別するステップ部と、
を備えたことを特徴とする物品判別プログラム。 a first acquisition unit that acquires a sample image when a sample person moves a sample article; a first detection unit that detects a movement of a target part of the sample person's body reflected in the sample image; and a plurality of samples. a learning unit that learns about a person and a plurality of sample articles by linking the movement detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample article; A program executed by a computer capable of communicating with a learning device having a registration unit capable of registering an article in association with the article information, and registering an article in association with the article information,
acquiring a target image when the target person moves the target article;
detecting the movement of a target part of the body of the target person shown in the target video;
extracting article information corresponding to the detected movement of the target part of the target person's body with reference to the data obtained by the learning;
a step unit that refers to the registered data and determines an article corresponding to the extracted article information as the target article;
An article discrimination program characterized by comprising:
対象人物が対象物品を移動させる際の対象映像を取得するステップと、
前記対象映像に映った対象人物の体の対象部分の動きを検出するステップと、
前記学習によって得られたデータを参照して、前記検出された前記対象人物の体の対象部分の動きに対応する物品情報を抽出するステップと、
前記登録されたデータを参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別するステップ部と、
を備えたことを特徴とする物品判別方法。 a first acquisition unit that acquires a sample image when a sample person moves a sample article; a first detection unit that detects a movement of a target part of the sample person's body reflected in the sample image; and a plurality of samples. a learning unit that learns about a person and a plurality of sample articles by linking the movement detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample article; A method executed by a computer capable of communicating with a learning device having a registration unit capable of registering an article in association with the article information, and registering an article in association with the article information. ,
acquiring a target image when the target person moves the target article;
detecting the movement of a target part of the body of the target person shown in the target video;
extracting article information corresponding to the detected movement of the target part of the target person's body with reference to the data obtained by the learning;
a step unit that refers to the registered data and determines an article corresponding to the extracted article information as the target article;
An article discrimination method characterized by comprising:
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出する第1の検出部と、
複数のサンプル人物及び複数のサンプル物品に関して、前記第1の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習する学習部と、
を備え、
物品を、その前記物品情報と紐づけて登録可能な登録部と、対象人物が対象物品を移動させる際の対象映像を取得する第2の取得部と、前記対象映像に映った対象人物の体の対象部分の動きを検出する第2の検出部と、前記学習部を参照して、前記第2の検出部により検出された動きに対応する物品情報を抽出する抽出部と、前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、を有する物品判別装置と通信可能であることを特徴とする学習装置。 a first acquisition unit that acquires a sample image when a sample person moves a sample article;
a first detection unit that detects movement of a target part of the sample person's body shown in the sample video;
Learning by linking the movements detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample articles with respect to a plurality of sample people and a plurality of sample articles. Department and
Equipped with
a registration unit that can register an item in association with the item information, a second acquisition unit that acquires a target image when a target person moves the target item, and a body of the target person reflected in the target image. a second detection unit that detects a movement of a target portion of the object; an extraction unit that refers to the learning unit and extracts article information corresponding to the movement detected by the second detection unit; and a registration unit. A learning device capable of communicating with an article discriminating device including a discriminating unit that refers to and discriminates an article corresponding to the extracted article information from the target article.
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出するステップと、
複数のサンプル人物及び複数のサンプル物品に関して、前記第1の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習するステップと、
を備え、
前記学習装置は、対象人物が対象物品を移動させる際の対象映像を取得する第2の取得部と、前記対象映像に映った対象人物の体の対象部分の動きを検出する第2の検出部と、前記学習部を参照して、前記第2の検出部により検出された動きに対応する物品情報を抽出する抽出部と、前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、を有することを特徴とする学習プログラム。 A program that can be executed by a computer that can communicate with a learning device that has a registration unit that can register an article in association with the article information, and that can register the article in association with the article information,
acquiring a sample video of the sample person moving the sample article;
detecting the movement of a target part of the sample person's body shown in the sample video;
learning about the plurality of sample persons and the plurality of sample articles by linking the movements detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample articles; and,
Equipped with
The learning device includes a second acquisition unit that acquires a target image when a target person moves a target article, and a second detection unit that detects a movement of a target part of the target person's body that is reflected in the target image. an extraction section that refers to the learning section and extracts article information corresponding to the movement detected by the second detection section; and an extraction section that refers to the registration section and extracts article information corresponding to the extracted article information. A learning program comprising: a discrimination unit that discriminates an article from the target article.
サンプル人物がサンプル物品を移動させる際のサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル人物の体の対象部分の動きを検出するステップと、
複数のサンプル人物及び複数のサンプル物品に関して、前記第1の検出部により検出された動きを前記サンプル物品の重さ、形状、及び、サイズの少なくとも1つを含む物品情報と紐づけて学習するステップと、
を備え、
前記学習装置は、対象人物が対象物品を移動させる際の対象映像を取得する第2の取得部と、前記対象映像に映った対象人物の体の対象部分の動きを検出する第2の検出部と、前記学習部を参照して、前記第2の検出部により検出された動きに対応する物品情報を抽出する抽出部と、前記登録部を参照して、前記抽出された物品情報に対応する物品を前記対象物品と判別する判別部と、を有することを特徴とする学習方法。 A method executed by a computer capable of communicating with a learning device having a registration unit capable of registering an article in association with the article information, and registering the article in association with the article information, the method comprising:
acquiring a sample video of the sample person moving the sample article;
detecting the movement of a target part of the sample person's body shown in the sample video;
learning about the plurality of sample persons and the plurality of sample articles by linking the movements detected by the first detection unit with article information including at least one of the weight, shape, and size of the sample articles; and,
Equipped with
The learning device includes a second acquisition unit that acquires a target image when a target person moves a target article, and a second detection unit that detects a movement of a target part of the target person's body that is reflected in the target image. an extraction section that refers to the learning section and extracts article information corresponding to the movement detected by the second detection section; and an extraction section that refers to the registration section and extracts article information corresponding to the extracted article information. A learning method comprising: a discrimination unit that discriminates an article from the target article.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022097098A JP7239120B1 (en) | 2022-06-16 | 2022-06-16 | Article identification system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022097098A JP7239120B1 (en) | 2022-06-16 | 2022-06-16 | Article identification system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7239120B1 JP7239120B1 (en) | 2023-03-14 |
JP2023183533A true JP2023183533A (en) | 2023-12-28 |
Family
ID=85556210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022097098A Active JP7239120B1 (en) | 2022-06-16 | 2022-06-16 | Article identification system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7239120B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007216381A (en) * | 2004-07-13 | 2007-08-30 | Matsushita Electric Ind Co Ltd | robot |
JP2021184540A (en) * | 2020-05-22 | 2021-12-02 | 国立大学法人 東京大学 | Motion capture camera system and video data acquisition method using the same |
-
2022
- 2022-06-16 JP JP2022097098A patent/JP7239120B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007216381A (en) * | 2004-07-13 | 2007-08-30 | Matsushita Electric Ind Co Ltd | robot |
JP2021184540A (en) * | 2020-05-22 | 2021-12-02 | 国立大学法人 東京大学 | Motion capture camera system and video data acquisition method using the same |
Also Published As
Publication number | Publication date |
---|---|
JP7239120B1 (en) | 2023-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7552799B2 (en) | OBJECT IDENTIFICATION METHOD, OBJECT IDENTIFICATION DEVICE, AND OBJECT IDENTIFICATION PROGRAM | |
TWI778030B (en) | Store apparatus, store management method and program | |
CN111415461B (en) | Article identification method and system and electronic equipment | |
JP6013241B2 (en) | Person recognition apparatus and method | |
CN113642361B (en) | Fall behavior detection method and equipment | |
CN109271847B (en) | Abnormity detection method, device and equipment in unmanned settlement scene | |
JP4198951B2 (en) | Group attribute estimation method and group attribute estimation apparatus | |
CN109685780B (en) | A Recognition Method of Retail Commodities Based on Convolutional Neural Networks | |
TW201913510A (en) | Shop device, store system, store management method and program | |
US8634595B2 (en) | Method for dynamically setting environmental boundary in image and method for instantly determining human activity | |
JP2008304268A5 (en) | ||
JP6464737B2 (en) | Prospective customer location information detection system, method and program | |
WO2020195376A1 (en) | Monitoring device, suspicious object detecting method, and recording medium | |
US11238597B2 (en) | Suspicious or abnormal subject detecting device | |
CN110674680A (en) | Living body identification method, living body identification device and storage medium | |
AU2020300066B2 (en) | Systems and methods for determining actions performed by objects within images | |
JP7239120B1 (en) | Article identification system | |
KR102504320B1 (en) | Garbage dumper detection system and method using multi-characteristic information in surveillance camera environment | |
US20240282147A1 (en) | Action recognition method, action recognition device, and non-transitory computer readable recording medium | |
Bansal et al. | Elderly people fall detection system using skeleton tracking and recognition | |
US11983242B2 (en) | Learning data generation device, learning data generation method, and learning data generation program | |
CN118511205A (en) | Detection method and device for detecting a person falling, picking up or putting back behavior | |
CN118276669A (en) | Method and device for determining relative position, extended reality system, device and medium | |
CN115565138A (en) | Smoking behavior control method, device, equipment and storage medium for logistics area | |
JP2022083232A (en) | Image processing device, image processing method, and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230106 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7239120 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |