[go: up one dir, main page]

JP6525181B1 - 行動推定装置 - Google Patents

行動推定装置 Download PDF

Info

Publication number
JP6525181B1
JP6525181B1 JP2018101097A JP2018101097A JP6525181B1 JP 6525181 B1 JP6525181 B1 JP 6525181B1 JP 2018101097 A JP2018101097 A JP 2018101097A JP 2018101097 A JP2018101097 A JP 2018101097A JP 6525181 B1 JP6525181 B1 JP 6525181B1
Authority
JP
Japan
Prior art keywords
options
estimation
time
probability
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018101097A
Other languages
English (en)
Other versions
JP2019204464A (ja
Inventor
木村　大介
大介 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asilla Inc
Original Assignee
Asilla Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asilla Inc filed Critical Asilla Inc
Priority to JP2018101097A priority Critical patent/JP6525181B1/ja
Priority to PCT/JP2019/015403 priority patent/WO2019230199A1/ja
Priority to US17/057,720 priority patent/US11048924B1/en
Application granted granted Critical
Publication of JP6525181B1 publication Critical patent/JP6525181B1/ja
Publication of JP2019204464A publication Critical patent/JP2019204464A/ja
Priority to US17/324,190 priority patent/US20210279452A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Epidemiology (AREA)
  • Veterinary Medicine (AREA)
  • General Business, Economics & Management (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Social Psychology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Economics (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】 複数の時系列画像に映った対象の行動を高精度に推定することが可能な行動推定装置を提供する。【解決手段】 行動推定装置１は、対象Ｚが映った複数の時系列画像Ｙを取得する推定側取得部１２と、各時系列画像Ｙに映った複数の関節Ａを検出する推定側検出部１３と、検出された複数の関節Ａの各時系列画像Ｙにおける座標を計測する推定側計測部１４と、計測された複数の関節Ａの座標の複数の時系列画像Ｙにおける変位に基づき、対象Ｚの行動を推定する推定部１５と、を備えており、推定側検出部１３は、各時系列画像Ｙに映った背景を更に検出し、推定部１５は、対象Ｚの行動の推定に当たり、検出された背景も考慮する。【選択図】図５

Description

本発明は、複数の時系列画像に映った対象の行動を推定するための行動推定装置に関する。
従来より、時系列データに映った人間の関節等から姿勢を検知し、当該姿勢の変化に応じて行動を認識する装置が知られている。（例えば、特許文献１参照）。
特開２０１７−２２８１００号公報
ところで、行動の推定というものは、検知された姿勢に基づき、複数の選択肢の中から可能性の高いものを選択するのが一般的であるところ、選択肢の選択を精度よく行うことが、精度の高い行動推定に繋がる。
そこで、本発明は、複数の時系列画像に映った対象の行動を高精度に推定することが可能な行動推定装置を提供することを目的としている。
本発明は、対象が映った複数の時系列画像を取得する推定側取得部と、各時系列画像に映った複数の関節を検出する推定側検出部と、前記検出された複数の関節の各時系列画像における座標を計測する推定側計測部と、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定する推定部と、を備え、前記推定側検出部は、各時系列画像に映った背景を更に検出し、前記推定部は、前記対象の行動の推定に当たり、前記検出された背景も考慮することを特徴とする行動推定装置を提供している。
このような構成によれば、背景を考慮することで、実際に起こる可能性の高い行動に焦点を当てることができるので、高精度な行動推定を実現することが可能となる。
また、本発明は、推定される行動の複数の選択肢を記憶した記憶部を更に備え、前記推定部は、前記対象の行動の推定に当たり、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記検出された背景に基づき、前記算出された複数の選択肢の確率を補正することが好ましい。
このような構成によれば、実際に起こる可能性の低い行動の確率を低下させたり、実際に起こる可能性の高い行動の確率を増加させたりすることができるので、より高精度な行動推定を実現することが可能となる。
また、本発明は、推定される行動の複数の選択肢を記憶した記憶部を更に備え、前記推定部は、前記対象の行動の推定に当たり、前記検出された背景に基づき、前記複数の選択肢から一又は複数の選択肢を除外することが好ましい。
このような構成によれば、最終的にユーザに提示される行動の数が減るので、推定された行動についてより把握しやすくなる。また、選択肢の確率を算出する前に一又は複数の選択肢を除外することで、除外されなかった選択肢の確率だけを効率よく算出することができると共に、ＣＰＵへの負荷を軽減させることが可能となる。
また、前記記憶部には、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、前記推定部は、前記対象の行動の推定に当たり、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることが好ましい。
このような構成によれば、「投球」と「転倒」のような途中まで似たような動作のうち、一方を除外した場合、他方の可能性が高まるので、より高精度の行動推定を行うことが可能となる。
また、本発明の別の観点によれば、コンピュータにインストールされるプログラムであって、対象が映った複数の時系列画像を取得するステップと、各時系列画像に映った複数の関節を検出するステップと、前記検出された複数の関節の各時系列画像における座標を計測するステップと、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定するステップと、各時系列画像に映った背景を検出するステップと、を備え、前記推定するステップでは、前記検出された背景も考慮することを特徴とする行動推定プログラムを提供している。
また、前記コンピュータには、推定される行動の複数の選択肢が記憶されており、前記推定するステップでは、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記検出された背景に基づき、前記算出された複数の選択肢の確率を補正することが好ましい。
また、前記コンピュータには、推定される行動の複数の選択肢が記憶されており、前記推定するステップでは、前記検出された背景に基づき、前記複数の選択肢から一又は複数の選択肢を除外することが好ましい。
また、前記コンピュータには、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、前記推定するステップでは、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることが好ましい。
また、本発明の別の観点によれば、対象が映った複数の時系列画像を取得する推定側取得部と、各時系列画像に映った複数の関節を検出する推定側検出部と、各時系列画像に映った前記複数の関節の座標を計測する推定側計測部と、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定する推定部と、前記対象の行動の推定の目的又は用途が設定される設定部と、を備え、前記推定部は、前記対象の行動の推定に当たり、前記設定された目的又は用途を考慮することを特徴とする行動推定装置を提供している。
このような構成によれば、目的又は用途を考慮することで、実際に起こる可能性の高い行動に焦点を当てることができるので、高精度な行動推定を実現することが可能となる。
また、本発明は、推定される行動の複数の選択肢を記憶した記憶部を更に備え、前記推定部は、前記対象の行動の推定に当たり、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記設定された目的又は用途に基づき、前記算出された複数の選択肢の確率を補正することが好ましい。
また、本発明は、推定される行動の複数の選択肢を記憶した記憶部を更に備え、前記推定部は、前記対象の行動の推定に当たり、前記設定された目的又は用途に基づき、前記複数の選択肢から一又は複数の選択肢を除外することが好ましい。
また、前記記憶部には、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、前記推定部は、前記対象の行動の推定に当たり、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることが好ましい。
また、本発明の別の観点によれば、対象の行動の推定の目的又は用途が設定されたコンピュータにインストールされるプログラムであって、対象が映った複数の時系列画像を取得するステップと、各時系列画像に映った複数の関節を検出するステップと、前記検出された複数の関節の各時系列画像における座標を計測するステップと、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定するステップと、を備え、前記推定するステップでは、前記設定された目的又は用途を考慮することを特徴とする行動推定プログラムを提供している。
また、前記コンピュータには、推定される行動の複数の選択肢が記憶されており、前記推定するステップでは、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記設定された目的又は用途に基づき、前記算出された複数の選択肢の確率を補正することが好ましい。
また、前記コンピュータには、推定される行動の複数の選択肢が記憶されており、前記推定するステップでは、前記設定された目的又は用途に基づき、前記複数の選択肢から一又は複数の選択肢を除外することが好ましい。
また、前記コンピュータには、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、前記推定するステップでは、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることが好ましい。
本発明の行動推定装置によれば、複数の時系列画像に映った対象の行動を高精度に推定することが可能となる。
本発明の実施の形態による行動推定装置の使用状態の説明図 本発明の実施の形態による学習装置及び行動推定装置のブロック図 本発明の実施の形態による関節群の説明図 本発明の実施の形態による背景に応じた行動の選択肢の補正の説明図 本発明の実施の形態による行動推定装置による行動推定のフローチャート 本発明の変形例による行動推定装置の使用状態の説明図
以下、本発明の実施の形態による行動推定装置１について、図１−図５を参照して説明する。
行動推定装置１は、図１に示すように、撮影手段Ｘによって撮影された複数の時系列画像Ｙ（動画を構成する各フレーム等）に映った対象Ｚの行動を推定するためのものである（本実施の形態では、理解容易のため、対象Ｚを骨格だけで簡易的に表示している）。行動の推定に当たっては、学習装置２（図２参照）により学習され記憶部３に記憶された情報を参照する。
まず、学習装置２の構成について説明する。
学習装置２は、図２に示すように、学習側識別器２１と、学習側取得部２２と、学習側検出部２３と、正解取得部２４と、学習側計側部２５と、学習部２６と、を備えている。
学習側識別器２１は、対象Ｚの複数の関節Ａ（本実施の形態では、首、右肘、左肘、腰、右膝、左膝）を識別するためのものであり、関節Ａごとに、それぞれを識別するための形状、方向、サイズ等の基準として、関節識別情報が記憶されている。また、学習側識別器２１には、対象Ｚの様々なバリエーション（“歩行”、“直立”等）の “基本姿勢“、”各関節Ａの可動域“、”各関節Ａ間の距離“に関する基準として、補足識別情報も記憶されている。
更に、学習側識別器２１には、背景（“病室”、“オフィス”、“屋外”等）を識別するための基準として、背景識別情報（物体の有無・色彩・角度、人物の有無等）も記憶されている。
学習側取得部２２は、行動が既知の映像として、複数の時系列画像Ｙを取得する。この複数の時系列画像Ｙは、行動推定装置１のユーザにより入力される。
学習側検出部２３は、各時系列画像Ｙに映った複数の関節Ａを検出する。具体的には、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてモデリングされた推論モデルにより、学習側識別器２１に記憶された関節識別情報に該当する部位を検出する。検出された各関節Ａ（図１では、Ａ１−Ａ６）は、表示部（図示せず）上に、選択可能に表示される。
また、学習側検出部２３は、各時系列画像Ｙに映った背景も検出する。詳細には、各時系列画像Ｙの中で、学習側識別器２１に記憶された背景識別情報に該当する部位を検出する。
正解取得部２４は、複数の時系列画像Ｙに映った対象Ｚの正解となる行動（以下、正解行動という）を、学習側検出部２３により検出された各関節Ａについて取得する。この正解行動は、行動推定装置１のユーザにより入力される。具体的には、図１に示すように、複数の時系列画像Ｙが対象Ｚが転倒した際のものであった場合には、ユーザは、表示部（図示せず）上で各関節Ａを選択し、正解行動“転倒”を入力することとなる。
更に、本実施の形態では、正解取得部２４は、複数の時系列画像Ｙに映った正解背景も取得する。例えば、正解背景が“病室”の場合には、ユーザは、“病室”というタグを入力することになる。なお、正解行動、及び、正解背景の選択肢は、記憶部３に記憶されている。
学習側計側部２５は、学習側検出部２３により検出された複数の関節Ａの座標及び深度を計測する。この計測は、各時系列画像Ｙに対して行われる。
例えば、時刻ｔ１の時系列画像Ｙにおける関節Ａ１の座標及び深度は、（ＸＡ１（ｔ１）、ＹＡ１（ｔ１）、ＺＡ１（ｔ１））のように表すことができる。なお、深度に関しては、必ずしも座標で表す必要はなく、複数の時系列画像Ｙにおける相対的な深度で表してもよい。なお、深度は、既知の方法により測定してもよいが、正解取得部２４において各関節Ａの深度を入力しておき、その入力された深度をそのまま用いてもよい。この場合には、後述する学習部２６は、例えば、「この関節のサイズ、角度等であれば、○○ｍの距離である」と学習していくことになる。
学習部２６は、各対象Ｚに属する複数の関節Ａの全体としての座標及び深度の複数の時系列画像Ｙにおける変位を学習する。具体的には、正解取得部２４において特定された各対象Ｚに属する複数の関節Ａを関節群Ｂ（図３参照）と識別した上で、当該関節群Ｂ全体としての座標及び深度の複数の時系列画像Ｙにおける変位を学習する。
関節群Ｂの全体としての座標及び深度の変位としては、検出された全ての関節Ａの座標の中心点の座標及び深度の変位や、体の動きと密接に関連した重心の座標及び深度の変位を用いることが考えられる。また、これらの両方を用いたり、これらに加えて各関節Ａの座標及び深度の変位も考慮して、より精度を高めてもよい。なお、重心の座標及び深度は、各関節Ａの座標及び深度と、各関節Ａ（筋肉、脂肪等を含む）の重量と、を考慮して算出することが考えられる。この場合、各関節Ａの重量は、学習側識別器２１等に記憶させておけばよい。
そして、学習部２６は、上記学習された関節群Ｂの全体としての座標及び深度の複数の時系列画像Ｙにおける変位を、正解取得部２４で入力された正解行動と対応付けて学習する。例えば、正解行動“前方への転倒”の場合、関節群Ｂの全体としての座標の変位は、“第１の距離だけ下方へ進む”、関節群Ｂの全体としての深度の変位は、“第２の距離だけ前方へ進む”というように学習することになる。
また、学習部２６は、学習側検出部２３により検出された背景（背景識別情報）と、正解取得部２４により取得された正解背景と、を対応付けて学習する。これにより、「このような背景識別情報の場合の背景は“病室”」、「このような背景識別情報の場合、背景が“病室”である確率が８０％」等の推定を行うことが可能になる。
更に、本実施の形態では、学習部２６は、正解取得部２４により取得された正解行動と正解背景との関連性を決定する。例えば、背景が“病室”の場合、「歩行」が最も多く、「転倒」は時折起こり、「走行」はめったに起こらず、「投球」は全く起こらない、という関連性が見えてくることが考えられる。従って、背景が“病室”の場合、例えば、「歩行：高」、「転倒：中」、「走行：低」、「投球：無」という関連性が決定されることになる。このようにして決定された関連性は、記憶部３に記憶される。
なお、学習部２６では、上記した複数の時系列画像Ｙ以外にも、様々な観点の画像を大量に集めて学習させることが好ましい。例えば、“病室”の場合、「様々な角度で撮影された病室」、「様々な色彩の病室」、「看護師や患者の有無に応じた病室」等の大量の画像を集めて学習させることが考えられる。
記憶部３は、上記した学習部２６による学習結果の他に、正解取得部２４でユーザにより選択される様々な行動や背景の選択肢を記憶している。
続いて、行動推定装置１の構成について説明する。
行動推定装置１は、図２に示すように、推定側識別器１１と、推定側取得部１２と、推定側検出部１３と、推定側計側部１４と、推定部１５と、を備えている。
推定側識別器１１は、対象Ｚの複数の関節Ａ（本実施の形態では、首、右肘、左肘、腰、右膝、左膝）を識別するためのものであり、関節Ａごとに、それぞれを識別するための形状、方向、サイズ等の基準として、関節識別情報が記憶されている。また、推定側識別器１１には、対象Ｚの様々なバリエーション（“歩行”、“直立”等）の“基本姿勢“、”各関節Ａの可動域“、”各関節Ａ間の距離“に関する基準として、補足識別情報も記憶されている。本実施の形態では、学習側識別器２１と同一の情報が記憶されているものとする。
更に、推定側識別器１１には、背景（“病室”、“オフィス”、“屋外”等）を識別するための基準として、背景識別情報（物体の有無・色彩・角度、人物の有無等）も記憶されている。本実施の形態では、学習側識別器２１と同一の情報が記憶されているものとする。
推定側取得部１２は、撮影手段Ｘに接続されており、撮影手段Ｘにより撮影された映像、すなわち、複数の時系列画像Ｙを取得する。本実施の形態では、複数の時系列画像Ｙをリアルタイムで取得するものとするが、行動推定装置１の使用目的によっては、後から取得するようにしてもよい。
推定側検出部１３は、各時系列画像Ｙに映った複数の関節Ａを検出する。具体的には、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてモデリングされた推論モデルにより、推定側識別器１１に記憶された関節識別情報に該当する部位を検出する。推定側検出部１３が関節Ａを検出した場合には、時系列画像Ｙに対象Ｚが映っていると考えることができる。
また、推定側検出部１３は、各時系列画像Ｙに映った背景も検出する。詳細には、各時系列画像Ｙの中で、推定側識別器１１に記憶された背景識別情報に該当する部位を検出し、記憶部３に記憶された学習部２６による学習結果を参照して、背景を決定する。例えば、図１では、“ベッド”と“点滴”が存在することから、「背景は病室である」と決定することになる。
推定側計側部１４は、推定側検出部１３により検出された複数の関節Ａの座標及び深度を計測する。この計測は、各時系列画像Ｙに対して行われる。
例えば、時刻ｔ１の時系列画像Ｙにおける関節Ａ１の座標及び深度は、（ＸＡ１（ｔ１）、ＹＡ１（ｔ１）、ＺＡ１（ｔ１））のように表すことができる。なお、深度に関しては、必ずしも座標で表す必要はなく、複数の時系列画像Ｙにおける相対的な深度で表してもよい。なお、深度は、既知の方法により測定してもよいが、学習部２６によって深度の学習が行われている場合には、学習部２６を参照して深度を特定してもよい。
推定部１５は、関節群Ｂの全体としての座標及び深度の複数の時系列画像Ｙにおける変位に基づき、対象Ｚの行動を推定する。具体的には、記憶部３に記憶された学習部２６による学習結果を参照して、様々な行動の選択肢（「転倒」、「歩行」、「走行」、「投球」等）の中から、確率の高い一又は複数の行動が選択されることになる。すなわち、行動推定装置１では、各対象Ｚの関節群Ｂ全体としての座標及び深度を、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）を用いた時系列の推論モデルにインプットし、「ｗａｌｋｉｎｇ」「ｓｔａｎｄｉｎｇ」といった行動識別ラベルをアウトプットすることになる。
ここで、本実施の形態では、推定部１５は、対象Ｚの行動の推定に当たり、時系列画像Ｙに映った背景も考慮する。詳細には、記憶部３に記憶された正解行動と正解背景との関連性を参照して、推定側検出部１３により検出（決定）された背景に応じて行動の選択肢の確率を補正する。
例えば、背景が“病室”であるが、背景を考慮せずに対象Ｚの行動を推定すると、図４（ａ）に示すように、「歩行：６５％」、「転倒：７５％」、「走行：４５％」、「投球：６５％」となる場合について考える。
ここでは、「投球」は、「転倒」と途中まで似たような動作であるため、高い確率で推定されているが、「投球」は、“病室”で実際に起こる可能性が極めて低い行動である。
そこで、「背景：病室」に対して、「歩行：高」、「転倒：中」、「走行：低」、「投球：無」と関連性が決定されていた場合、本実施の形態では、図４（ｂ）に示すように、「走行：４５％→３０％」、「投球：６５％→１５％」のように、“病室”で実際に起こる可能性の低い行動の確率を低下させる補正を行う。また、逆に、「歩行：６５％→８０％」、「転倒：７５％→８５％」のように、“病室”で実際に起こる可能性の高い行動の確率を増加させる補正を行うことも考えられる。
また、“病室”で実際に起こる可能性の低い行動の確率を低下させる補正を行った結果、所定以下の確率となった行動は、行動の選択肢から除外することも考えられる。例えば、「３０％以下となった行動は除外する」場合には、図４（ｃ）に示すように、「走行」と「投球」を除外することが考えられる。
また、記憶部３において、「転倒」と「投球」のように、互いの動作に所定以上の関連性のある行動を紐付けておき、紐付けられた行動のいずれかを除外や低下させた場合、他方の行動の確率を増加させることも考えられる。図４の例では、（ｄ）に示すように、「投球」を除外したため、「転倒」の確率を増加させている。
このように、本実施の形態による行動推定装置１では、対象Ｚの行動の推定に当たり、時系列画像Ｙに映った背景も考慮することで、より高精度な行動推定を行うことが可能となっている。
続いて、図５のフローチャートを用いて、行動推定装置１による “対象Ｚの行動の推定”について説明する。
まず、推定側取得部１２が複数の時系列画像Ｙを取得すると（Ｓ１）、推定側検出部１３により、各時系列画像Ｙに映った複数の関節Ａ及び背景が検出される（Ｓ２）。
続いて、推定側計側部１４により、Ｓ２で検出された複数の関節Ａの座標及び深度が計測される（Ｓ３）。この計測は、各時系列画像Ｙに対して行われる。
続いて、推定部１５により、Ｓ３で計測された複数の関節Ａの座標及び深度の複数の時系列画像Ｙにおける変位に基づき、対象Ｚの行動を推定する（Ｓ４）。
最後に、検出された背景に応じて、推定された行動の確率を補正する（Ｓ５）。
このような構成を有する行動推定装置１は、例えば、介護施設において、被介護者がいる室内を常時撮影し、撮影された映像に基づき被介護者（対象Ｚ）が転倒したこと等を推定した場合に、その旨を介護者へ報知する等の用途で用いることができる。
以上説明したように、本実施の形態による行動推定装置１では、対象Ｚの行動の推定に当たり、時系列画像Ｙに映った背景も考慮する。
このような構成によれば、背景を考慮することで、実際に起こる可能性の高い行動に焦点を当てることができるので、高精度な行動推定を実現することが可能となる。
また、本実施の形態による行動推定装置１では、対象Ｚの行動の推定に当たり、計測された複数の関節Ａの座標の複数の時系列画像Ｙにおける変位に基づき、複数の選択肢の確率をそれぞれ算出し、検出された背景に基づき、算出された複数の選択肢の確率を補正する。
このような構成によれば、実際に起こる可能性の低い行動の確率を低下させたり、実際に起こる可能性の高い行動の確率を増加させたりすることができるので、より高精度な行動推定を実現することが可能となる。
また、本実施の形態による行動推定装置１では、対象Ｚの行動の推定に当たり、検出された背景に基づき、複数の選択肢から一又は複数の選択肢を除外する。
このような構成によれば、最終的にユーザに提示される行動の数が減るので、推定された行動についてより把握しやすくなる。また、選択肢の確率を算出する前に一又は複数の選択肢を除外することで、除外されなかった選択肢の確率だけを効率よく算出することができると共に、ＣＰＵへの負荷を軽減させることが可能となる。
また、本実施の形態による行動推定装置１では、複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、対象Ｚの行動の推定に当たり、紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、紐付けられた複数の選択肢のうち除外又は確率が低下されなかったものの確率を増加させる。
このような構成によれば、「投球」と「転倒」のような途中まで似たような動作のうち、一方を除外した場合、他方の可能性が高まるので、より高精度の行動推定を行うことが可能となる。
尚、本発明の行動推定装置は、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。
例えば、上記実施の形態では、対象Ｚの行動の推定に当たり、背景を考慮したが、目的や用途を考慮することもできる。
例えば、オフィスにおいて社員のゼスチャーを認識することを目的とする場合には、上記「転倒」、「歩行」、「走行」、「投球」は必要がないため、これらの選択肢の確率を低下又は除外し、逆に、「腕の移動」、「顔の移動」等の確率を増加させることが考えられる。この場合には、図６に示すように、行動推定装置１に設定部１６を設け、ユーザが目的又は用途（防犯、医療介護等）を設定することになる。そして、記憶部３に正解行動と目的又は用途との関連性を記憶しておき、推定部１５が、対象Ｚの行動を推定する際に、当該関連性を参照して、設定部１６で設定された目的又は用途に応じて行動の選択肢の確率を補正すればよい。
また、上記実施の形態では、正解行動と正解背景との関連性は、学習部２６により学習されたものを記憶部３に記憶したが、設定値を予め記憶部３に記憶しておいてもよい。
また、上記実施の形態では、記憶部３は、行動推定装置１と学習装置２とは別体として設けられていたが、行動推定装置１側や学習装置２側に設けてもよい。
また、上記実施の形態では、対象Ｚの行動推定に当たり、関節群Ｂの座標及び深度の複数の時系列画像Ｙにおける変位を考慮したが、単純に各関節Ａの複数の時系列画像Ｙにおける変位に基づいて行動を推定してもよい。
また、上記実施の形態では、対象Ｚとして人間を例に説明したが、動物やロボットの行動を推定するために使用することも可能である。また、上記実施の形態では、複数の関節Ａとして、首、右肘、左肘、腰、右膝、左膝を例に説明を行ったが、その他の関節や、より多くの関節Ａを用いてもよいことは言うまでもない。
また、本発明は、行動推定装置１が行う処理に相当するプログラムや、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体としては、ＣＤ−ＲＯＭ等が考えられるが、それに限定されるものではない。
１ 行動推定装置
２ 学習装置
３ 記憶部
１１ 推定側識別器
１２ 推定側取得部
１３ 推定側検出部
１４ 推定側計側部
１５ 推定部
１６ 設定部
２１ 学習側識別器
２２ 学習側取得部
２３ 学習側検出部
２４ 正解取得部
２５ 学習側計側部
２６ 学習部

Claims (12)

  1. 対象が映った複数の時系列画像を取得する推定側取得部と、
    各時系列画像に映った複数の関節を検出する推定側検出部と、
    前記検出された複数の関節の各時系列画像における座標を計測する推定側計測部と、
    前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定する推定部と、
    推定される行動の複数の選択肢を記憶した記憶部と、
    を備え、
    前記推定側検出部は、各時系列画像に映った背景を更に検出し、
    前記推定部は、前記対象の行動の推定に当たり、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記検出された背景に基づき、前記算出された複数の選択肢の確率を補正することを特徴とする行動推定装置。
  2. 前記推定部は、前記対象の行動の推定に当たり、前記検出された背景に基づき、前記複数の選択肢から一又は複数の選択肢を除外することを特徴とする請求項１に記載の行動推定装置。
  3. 前記記憶部には、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、
    前記推定部は、前記対象の行動の推定に当たり、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることを特徴とする請求項１又は２に記載の行動推定装置。
  4. コンピュータにインストールされるプログラムであって、前記コンピュータには、推定される行動の複数の選択肢が記憶されており、
    対象が映った複数の時系列画像を取得するステップと、
    各時系列画像に映った複数の関節を検出するステップと、
    前記検出された複数の関節の各時系列画像における座標を計測するステップと、
    前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定するステップと、
    各時系列画像に映った背景を検出するステップと、
    を備え、
    前記推定するステップでは、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記検出された背景に基づき、前記算出された複数の選択肢の確率を補正することを特徴とする行動推定プログラム。
  5. 前記推定するステップでは、前記検出された背景に基づき、前記複数の選択肢から一又は複数の選択肢を除外することを特徴とする請求項４に記載の行動推定プログラム。
  6. 前記コンピュータには、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、
    前記推定するステップでは、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることを特徴とする請求項４又は５に記載の行動推定プログラム。
  7. 対象が映った複数の時系列画像を取得する推定側取得部と、
    各時系列画像に映った複数の関節を検出する推定側検出部と、
    各時系列画像に映った前記複数の関節の座標を計測する推定側計測部と、
    前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定する推定部と、
    前記対象の行動の推定の目的又は用途が設定される設定部と、
    推定される行動の複数の選択肢を記憶した記憶部と、
    を備え、
    前記推定部は、前記対象の行動の推定に当たり、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記設定された目的又は用途に基づき、前記算出された複数の選択肢の確率を補正することを特徴とする行動推定装置。
  8. 前記推定部は、前記対象の行動の推定に当たり、前記設定された目的又は用途に基づき、前記複数の選択肢から一又は複数の選択肢を除外することを特徴とする請求項７に記載の行動推定装置。
  9. 前記記憶部には、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、
    前記推定部は、前記対象の行動の推定に当たり、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることを特徴とする請求項７又は８に記載の行動推定装置。
  10. コンピュータにインストールされるプログラムであって、前記コンピュータには、推定される行動の複数の選択肢が記憶され、対象の行動の推定の目的又は用途が設定されており、
    対象が映った複数の時系列画像を取得するステップと、
    各時系列画像に映った複数の関節を検出するステップと、
    前記検出された複数の関節の各時系列画像における座標を計測するステップと、
    前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定するステップと、
    を備え、
    前記推定するステップでは、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記設定された目的又は用途に基づき、前記算出された複数の選択肢の確率を補正することを特徴とする行動推定プログラム。
  11. 前記推定するステップでは、前記設定された目的又は用途に基づき、前記複数の選択肢から一又は複数の選択肢を除外することを特徴とする請求項１０に記載の行動推定プログラム。
  12. 前記コンピュータには、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、
    前記推定するステップでは、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることを特徴とする請求項１０又は１１に記載の行動推定プログラム。
JP2018101097A 2018-05-27 2018-05-27 行動推定装置 Active JP6525181B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018101097A JP6525181B1 (ja) 2018-05-27 2018-05-27 行動推定装置
PCT/JP2019/015403 WO2019230199A1 (ja) 2018-05-27 2019-04-09 行動推定装置
US17/057,720 US11048924B1 (en) 2018-05-27 2019-04-09 Action-estimating device
US17/324,190 US20210279452A1 (en) 2018-05-27 2021-05-19 Action-estimating device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018101097A JP6525181B1 (ja) 2018-05-27 2018-05-27 行動推定装置

Publications (2)

Publication Number Publication Date
JP6525181B1 true JP6525181B1 (ja) 2019-06-05
JP2019204464A JP2019204464A (ja) 2019-11-28

Family

ID=66730618

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018101097A Active JP6525181B1 (ja) 2018-05-27 2018-05-27 行動推定装置

Country Status (3)

Country Link
US (2) US11048924B1 (ja)
JP (1) JP6525181B1 (ja)
WO (1) WO2019230199A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7012111B2 (ja) * 2020-03-13 2022-01-27 エヌ・ティ・ティ・ビズリンク株式会社 動物行動推定システム、動物行動推定支援装置、動物行動推定方法及びプログラム
JP6966038B2 (ja) * 2020-03-13 2021-11-10 エヌ・ティ・ティ・ビズリンク株式会社 動物行動推定装置、動物行動推定方法及びプログラム
JP7260922B2 (ja) 2020-07-01 2023-04-19 国立研究開発法人農業・食品産業技術総合研究機構 学習用データ生成装置、学習装置、行動分析装置、行動型分析装置、プログラム、及び記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7200266B2 (en) * 2002-08-27 2007-04-03 Princeton University Method and apparatus for automated video activity analysis
US20070132597A1 (en) * 2005-12-09 2007-06-14 Valence Broadband, Inc. Methods and systems for monitoring patient support exiting and initiating response
US8755569B2 (en) * 2009-05-29 2014-06-17 University Of Central Florida Research Foundation, Inc. Methods for recognizing pose and action of articulated objects with collection of planes in motion
US20140157209A1 (en) * 2012-12-03 2014-06-05 Google Inc. System and method for detecting gestures
US10592812B2 (en) * 2014-01-20 2020-03-17 Sony Corporation Information processing apparatus and information processing method
JP2016099982A (ja) 2014-11-26 2016-05-30 日本電信電話株式会社 行動認識装置、行動学習装置、方法、及びプログラム
JP6166297B2 (ja) 2015-03-12 2017-07-19 セコム株式会社 姿勢推定装置
EP3361443A4 (en) * 2015-10-06 2018-08-29 Konica Minolta, Inc. Action detecting system, action detecting device, action detecting method, and action detecting program
JP2017102808A (ja) 2015-12-04 2017-06-08 ソニー株式会社 画像処理装置および方法
JP6658331B2 (ja) * 2016-06-23 2020-03-04 コニカミノルタ株式会社 行動認識装置及び行動認識プログラム
JP2018057596A (ja) * 2016-10-05 2018-04-12 コニカミノルタ株式会社 関節位置推定装置および関節位置推定プログラム
US10402837B2 (en) * 2016-10-27 2019-09-03 Conduent Busness System, LLC Method and system for predicting behavioral characteristics of customers in physical stores
JP7067023B2 (ja) * 2017-11-10 2022-05-16 富士通株式会社 情報処理装置、背景更新方法および背景更新プログラム
WO2019198696A1 (ja) 2018-04-11 2019-10-17 株式会社アジラ 行動推定装置

Also Published As

Publication number Publication date
US20210279452A1 (en) 2021-09-09
US20210201006A1 (en) 2021-07-01
WO2019230199A1 (ja) 2019-12-05
JP2019204464A (ja) 2019-11-28
US11048924B1 (en) 2021-06-29

Similar Documents

Publication Publication Date Title
US9700242B2 (en) Motion information processing apparatus and method
US9710920B2 (en) Motion information processing device
US11298050B2 (en) Posture estimation device, behavior estimation device, storage medium storing posture estimation program, and posture estimation method
US20150320343A1 (en) Motion information processing apparatus and method
JP6525181B1 (ja) 行動推定装置
CN113490945A (zh) 人动作过程采集系统
Procházka et al. The MS kinect image and depth sensors use for gait features detection
CN112036267A (zh) 一种目标检测方法、装置、设备和计算机可读存储介质
CN114601454A (zh) 一种病人卧床姿势的监控方法
US11482046B2 (en) Action-estimating device
JP6525179B1 (ja) 行動推定装置
JP6525180B1 (ja) 対象数特定装置
Casas et al. Human pose estimation from pressure sensor data
CN117635695A (zh) 一种适用于居家养老场景的步行轨迹重心分析方法及系统
KR101398193B1 (ko) 캘리브레이션 장치 및 방법
US20240260854A1 (en) Physical-ability estimation system, physical-ability estimation method, and recording medium
CN114821672A (zh) 一种人体卧姿实时检测及识别方法
JP2020134971A (ja) 現場学習評価プログラム、現場学習評価方法、および現場学習評価装置
JP2024087325A (ja) 行動解析結果出力方法、行動解析結果出力プログラム、および行動解析結果出力システム
KR20210117135A (ko) 이미지를 이용한 비대면 체력측정 시스템
JP6320702B2 (ja) 医用情報処理装置、プログラム及びシステム
Steele et al. A system to facilitate early and progressive ambulation using fiducial markers
US20240206769A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP7481843B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2022002065A (ja) 行動推定システム、モデル学習システム、行動推定方法、モデル学習方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181122

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181122

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190423

R150 Certificate of patent or registration of utility model

Ref document number: 6525181

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250