JP2021144631A - 動物行動推定システム、動物行動推定支援装置、動物行動推定方法及びプログラム - Google Patents

Abstract

【課題】画像に基づく動物の行動推定を行う装置の負荷を軽減する。【解決手段】動物行動推定システムは、動物行動推定支援装置と動物行動推定装置とを有する。動物行動推定支援装置は、特徴点取得部と、送信部とを備える。特徴点取得部は、行動推定対象の動物である推定対象動物が撮影された画像データから、推定対象動物における特徴点であって、動物の行動の推定に用いられる特徴点の位置の情報を取得する。送信部は、時系列の画像データそれぞれについて特徴点取得部が取得した特徴点の位置の情報を示す時系列特徴点位置情報を動物行動推定装置に送信する。動物行動推定装置は、行動推定部を備える。行動推定部は、動物行動推定支援装置から受信した時系列特徴点位置情報に基づいて推定対象動物の行動の種別を推定する。【選択図】図１

Description

本発明は、動物行動推定システム、動物行動推定支援装置、動物行動推定方法及びプログラムに関する。

従来、動画像から得られた人間の関節等の位置の変位に基づき、行動を推定する技術がある（例えば、特許文献１、２参照）。また、動画像から個々の人間の属する関節を識別する技術がある（例えば、特許文献３参照）。

特許第６５２５１７９号公報 特許第６５２５１８１号公報 特許第６５２５１８０号公報

人間や動物の行動を推定する場合、行動推定対象を撮影した動画や映像を、推定を行う装置に直接入力し、分析を行っていた。そのため、推定を行う装置の処理負荷が高く、推定に時間がかかることや、並行して多数の行動推定を行うことが困難な場合があった。

上記事情に鑑み、本発明は、画像に基づく動物の行動推定を行う装置の負荷を軽減することができる動物行動推定システム、動物行動推定支援装置、動物行動推定方法及びプログラムを提供することを目的としている。

本発明の一態様は、動物行動推定支援装置と動物行動推定装置とを有する動物行動推定システムであって、前記動物行動推定支援装置は、行動推定対象の動物である推定対象動物が撮影された画像データから、前記推定対象動物における特徴点であって、動物の行動の推定に用いられる前記特徴点の位置の情報を取得する特徴点取得部と、時系列の前記画像データそれぞれについて前記特徴点取得部が取得した前記特徴点の位置の情報を示す時系列特徴点位置情報を前記動物行動推定装置に送信する送信部とを備え、前記動物行動推定装置は、前記動物行動推定支援装置から受信した前記時系列特徴点位置情報に基づいて前記推定対象動物の行動の種別を推定する行動推定部を備える、動物行動推定システムである。

本発明の一態様は、上述の動物行動推定システムであって、前記動物行動推定支援装置は、時系列の前記画像データそれぞれについて前記特徴点取得部が取得した前記特徴点の位置の情報を示す時系列特徴点位置情報に基づいて前記推定対象動物の行動が正常であるか否かを判定する判定部をさらに備え、前記送信部は、前記判定部において正常ではないと判定された前記時系列特徴点位置情報を前記動物行動推定装置に送信する。

本発明の一態様は、上述の動物行動推定システムであって、前記判定部は、行動が正常である場合の時系列の複数種類の特徴点の位置の情報を学習データとして機械学習された正常行動判定モデルと前記時系列特徴点位置情報とに基づいて前記推定対象動物の行動が正常であるか否かを推定する。

本発明の一態様は、上述の動物行動推定システムであって、前記行動推定部は、時系列の複数種類の特徴点の位置の情報及び正解の行動の種別を学習データとして機械学習された行動推定モデルと前記時系列特徴点位置情報とに基づいて前記推定対象動物の行動の種別を推定する。

本発明の一態様は、上述の動物行動推定システムであって、前記特徴点取得部は、前記推定対象動物における特徴点に、前記画像データから取得した前記推定対象動物の識別情報を付加する。

本発明の一態様は、上述の動物行動推定システムであって、前記動物行動推定装置は、前記行動推定部により推定された前記推定対象動物の行動の種別が異常行動である場合に、前記推定対象動物の識別情報を通知する通知部をさらに備える。

本発明の一態様は、上述の動物行動推定システムであって、前記動物行動推定支援装置と前記動物行動推定装置とは、予め決められたインターフェース及びプロトコルにより通信する。

本発明の一態様は、上述の動物行動推定システムであって、前記特徴点取得部は、前記画像データから、前記推定対象動物における特徴点を検出する特徴点検出部と、前記特徴点検出部が検出した前記特徴点の位置に基づいて、動物の行動の推定に用いられる複数種類の特徴点のうち前記特徴点検出部において検出されなかった種類の特徴点の位置を推定する特徴点位置推定部とを有する。

本発明の一態様は、行動推定対象の動物である推定対象動物が撮影された画像データから、前記推定対象動物における特徴点であって、動物の行動の推定に用いられる前記特徴点の位置の情報を取得する特徴点取得部と、時系列の前記画像データそれぞれについて前記特徴点取得部が取得した前記特徴点の位置の情報を示す時系列特徴点位置情報を、前記時系列特徴点位置情報に基づいて前記推定対象動物の行動の種別を推定する動物行動推定装置に送信する送信部と、を備える動物行動推定支援装置である。

本発明の一態様は、上述の動物行動推定支援装置であって、時系列の前記画像データそれぞれについて前記特徴点取得部が取得した前記特徴点の位置の情報を示す時系列特徴点位置情報に基づいて前記推定対象動物の行動が正常であるか否かを判定する判定部をさらに備え、前記送信部は、前記判定部において正常ではないと判定された前記時系列特徴点位置情報を前記動物行動推定装置に送信する。

本発明の一態様は、動物行動推定支援装置と動物行動推定装置とを有する動物行動推定システムにおける動物行動推定方法であって、前記動物行動推定支援装置が、行動推定対象の動物である推定対象動物が撮影された画像データから、前記推定対象動物における特徴点であって、動物の行動の推定に用いられる前記特徴点の位置の情報を取得する特徴点取得ステップと、前記動物行動推定支援装置が、時系列の前記画像データそれぞれについて前記特徴点取得ステップにおいて取得した前記特徴点の位置の情報を示す時系列特徴点位置情報を前記動物行動推定装置に送信する送信ステップと、前記動物行動推定装置が、前記動物行動推定支援装置から受信した前記時系列特徴点位置情報に基づいて前記推定対象動物の行動の種別を推定する行動推定ステップと、を有する動物行動推定方法である。

本発明の一態様は、上述の動物行動推定方法であって、前記動物行動推定支援装置が、時系列の前記画像データそれぞれについて前記特徴点取得ステップにおいて取得した前記特徴点の位置の情報を示す時系列特徴点位置情報に基づいて前記推定対象動物の行動が正常であるか否かを判定する判定ステップをさらに有し、前記送信ステップにおいては、前記判定ステップにおいて正常ではないと判定された前記時系列特徴点位置情報を前記動物行動推定装置に送信する。

本発明の一態様は、コンピュータを、上述したいずれかの動物行動推定支援装置として機能させるためのプログラムである。

本発明により、画像に基づく動物の行動推定を行う装置の負荷を軽減することが可能となる。

本発明の一実施形態による動物行動推定システムの全体構成例を示す図である。 同実施形態による学習装置の構成を示すブロック図である。 同実施形態によるデータ収集装置の構成を示すブロック図である。 同実施形態による動物行動推定装置の構成を示すブロック図である。 同実施形態による牛の標本点を示す図である。 同実施形態によるデータ収集装置が取得した特徴点の例を示す図である。 同実施形態による時系列特徴点位置情報の例を示す図である。 同実施形態による学習装置の処理を示すフロー図である。 同実施形態による動物行動推定システムの処理を示すフロー図である。 同実施形態によるデータ収集装置のアーキテクチャを示す図である。

以下、図面を参照しながら本発明の実施形態を詳細に説明する。本実施形態は、エッジ側とクラウド／フォグ側に処理を分離し、エッジ側では、動物行動を推定するためのデータのうち不要なデータを廃棄し、有効なデータのみを最小限に圧縮して、動物行動の推定を実行するクラウド／フォグ側の上位サーバに転送する。エッジ側が動物行動推定支援装置に相当し、上位サーバが動物行動推定装置に相当する。エッジ側とクラウド／フォグ側の上位サーバとは直結でもよく、ネットワークを介して接続されてもよい。なお、フォグとは、クラウドとデバイス（エッジコンピューティング）の間にある分散したデータ処理環境である。

エッジ側の動物行動推定支援装置では、行動推定対象の動物（以下、推定対象動物と記載する。）の映像を取得して推定対象動物の標本点を割り付け、割り付けた各標本点を多次元座標で表したデータを、推定対象動物の行動の推定に用いるデータとして取得する。動物行動推定支援装置は、ＡＩ（人工知能）推論エンジンを用いて正常行動と推定された推定対象動物に関するデータをカットし、正常行動ではないと推定された推定対象動物に関するデータのみを上位サーバの動物行動推定装置に送信する。動物行動推定装置は、動物行動推定支援装置から多次元座標表現された標本点のデータを受信し、推定対象動物の行動の時系列推定を行う。このように、行動推定対象の動物が多数いることを前提とし、動物行動推定装置は、予め定義された異常な行動を示す行動推定対象動物のデータのみを受信して行動推定に用いる。これにより、動物行動推定支援装置から動物行動推定装置へ送信するデータ送信量を最小限にして通信量の削減を図るとともに、動物行動推定装置の負担を軽減することができる。動物行動推定装置は、異常行動が推定された場合には、警告又は通知を出力する。

図１は、本発明の一実施形態による動物行動推定システム１の全体構成例を示す図である。動物行動推定システム１は、学習装置１００と、データ収集装置２００と、動物行動推定装置３００と、カメラ４００と、利用者装置５００とを有する。学習装置１００と、データ収集装置２００と、動物行動推定装置３００と、利用者装置５００とは、ネットワーク６００に接続される。同図では、データ収集装置２００、カメラ４００及び利用者装置５００を１台ずつ示しているが、データ収集装置２００、カメラ４００及び利用者装置５００の数は任意である。例えば、動物の異常行動の検出を行うサービスを提供する事業者が学習装置１００及び動物行動推定装置３００を保有し、そのサービスの利用者がデータ収集装置２００、カメラ４００及び利用者装置５００を保有する。なお、学習装置１００と動物行動推定装置３００とが物理的に同一の装置でもよい。また、データ収集装置２００が利用者装置５００を兼ねてもよい。

学習装置１００は、推定対象動物の行動の推定に用いる各種モデルを学習する。データ収集装置２００は、動物行動推定支援装置の一例である。データ収集装置２００は、推定対象動物が撮影された動画又は静止画から推定対象動物の関節等の標本点の位置の情報を取得する。データ収集装置２００は、推定対象動物の行動の推定を簡易モデル化したＡＩ推論エンジンを用いて、時系列の標本点の位置の変化から推定対象動物の行動が正常であるか否かを推定する。データ収集装置２００は、正常な行動ではないと推定した推定対象動物の標本点の位置を、多次元座標で表したデータを動物行動推定装置３００へ送信する。動物行動推定装置３００は、データ収集装置２００から受信した情報に基づいて、データ収集装置２００が正常な行動ではないと推定した推定対象動物の行動の種別を推定する。

データ収集装置２００と動物行動推定装置３００とは、規格化されたあるいは独自の通信形式により通信する。この通信には、例えば、ＯＳＩ（Open Systems Interconnection）参照モデルに基づくプロトコルや、ネットワークサービスや、アプリケーションサービスが用いられる。但し、独自の通信方式を用いる場合は、クラウドとエッジの間でＶＰＮ（virtual private network）等により専用の通信路を確立して通信する。このように、データ収集装置２００と動物行動推定装置３００とは、予め決められた通信インターフェース及び通信制御（プロトコル）によりデータの送受信を行う。もしくは、データ収集装置２００と動物行動推定装置３００とは、共通のネットワーク接続装置あるいは周辺装置において通信プロトコル変換を行って接続してもよい。

カメラ４００は、動画又は静止画を撮像する撮像装置である。カメラ４００は、例えば、ウェブカメラでもよく、ＴｏＦ（Time of Flight）カメラやデプスカメラなどのセンシングカメラでもよい。ＴｏＦカメラやデプスカメラは、奥行き距離を画素ごとに計測できるセンシングカメラである。また、カメラ４００は、可視光で観測した動画又は静止画を撮影してもよく、可視光以外の波長で観測した動画又は静止画を撮影してもよい。カメラ４００として、フルハイビジョンの高画質カメラを用いることで、耳標など推定対象動物につけられたタグに印刷されている文字を読み取ることができる。カメラ４００は、推定対象動物を撮影した動画データをデータ収集装置２００に出力する。例えば、牛などの家畜の場合、カメラ４００は、畜舎内や放牧場内に設置される。動画データは、時系列のフレームからなる。各フレームは、静止画のデータである。動画データに含まれる各フレームには、撮影時刻又は撮影順序を表す情報が付加されているか、動画データに各フレームの撮影時刻又は撮影順序を取得可能な情報が付加されている。カメラ４００は、異なるタイミングで撮影した静止画のデータをデータ収集装置２００に出力してもよい。以下では、動画データに含まれるフレームと、静止画のデータとを総称して画像データと記載する。また、以下では、カメラ４００が動画データを撮影する場合を例に説明する。

利用者装置５００は、例えば、利用者のパーソナルコンピュータ、スマートフォン、タブレット端末などである。利用者装置５００は、動物行動推定装置３００から受信した通知を画面に表示したり、音声により出力したりする。

ネットワーク６００は、例えば、ＷｉＦｉ（登録商標）及びＬＴＥ（Long Term Evolution）などを用いたＩＰ（Internet Protocol）網等である。ネットワーク６００は、クラウドコンピューティングとフォグコンピューティングとにより構成してもよい。この場合、データ収集装置２００はエッジサーバであり、動物行動推定装置３００はクラウドサーバ（上位サーバ）である。フォグコンピューティングは、クラウドとエッジとの間で、エッジのデータの集約及びセキュリティの確保を行う。また、ネットワーク６００を介してデータの送受信を行う際は、基本的に、エッジ側が起動トリガとなって通信が開始されるが、クラウド側からの起動要求により通信を開始してもよい。

図２は、学習装置１００の構成を示すブロック図である。学習装置１００は、例えば、１台以上のコンピュータ装置により実現される。学習装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、学習部１５０とを有する。

通信部１１０は、ネットワーク６００を介して他の装置とデータを送受信する。入力部１２０は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。入力部１２０は、ユーザの指示を学習装置１００に入力する際にユーザによって操作される。入力部１２０は、ネットワークを介して接続される図示しないユーザのコンピュータ装置からユーザの指示を受信してもよい。表示部１３０は、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置である。表示部１３０は、データを表示する。表示部１３０は、ネットワークを介して接続される図示しないユーザのコンピュータ装置にデータを送信し、表示させてもよい。

記憶部１４０は、学習用画像記憶部１４１と、学習データ記憶部１４２と、特徴点検出モデル記憶部１４３と、特徴点位置推定モデル記憶部１４４と、正常行動判定モデル記憶部１４５と、行動推定モデル記憶部１４６とを備える。

学習用画像記憶部１４１は、動物が撮影された学習用の動画、又は、静止画のデータを記憶する。学習データ記憶部１４２は、学習データを記憶する。学習データは、特徴点学習データと、行動推定学習データとを含む。特徴点学習データは、画像データと、画像データにおける特徴点の種類及び位置とを対応付けたデータである。行動推定学習データは、時系列の各種類の特徴点それぞれの位置と、正解の動物の行動とを対応付けたデータである。特徴点として、動物の行動の推定に用いられる標本点を使う。

特徴点検出モデル記憶部１４３は、特徴点検出モデルを記憶する。特徴点検出モデルは、画像データから得られる特徴量を入力として、画像データに含まれている動物の特徴点の位置を検出するためのモデルである。特徴量として、例えば、画素値、輝度などを用いることができる。特徴点位置推定モデル記憶部１４４は、特徴点位置推定モデルを記憶する。特徴点検出モデルは、予め決められた複数種類の特徴点のうち一部の種類の特徴点それぞれの位置を入力として、他の種類の特徴点の位置を同定するためのモデルである。

正常行動判定モデル記憶部１４５は、正常行動判定モデルを記憶する。正常行動判定モデルは、時系列特徴点位置情報を入力として、動物の行動が正常であるか否かの推定結果を出力するためのモデルである。時系列特徴点位置情報は、時系列の特徴点位置情報を示す。特徴点位置情報は、各種類の特徴点それぞれの位置を示す。時系列特徴点位置情報の記述には、テンソル、ＪＳＯＮ（JavaScript（登録商標） Object Notation）、行列などを用いることができる。

行動推定モデル記憶部１４６は、行動推定モデルを記憶する。行動推定モデルは、時系列特徴点位置情報を入力として、行動の種別の推定結果を出力する。

学習部１５０は、学習データ生成部１５１と、特徴点検出モデル学習部１５２と、特徴点位置推定モデル学習部１５３と、正常行動判定モデル学習部１５４と、行動推定モデル学習部１５５と、配信部１５６とを備える。

学習データ生成部１５１は、学習用画像記憶部１４１から読み出した画像データに、入力部１２０を用いたユーザの入力に従って特徴点の種類と位置の情報を付加して特徴点学習データを生成し、学習データ記憶部１４２に書き込む。また、学習データ生成部１５１は、入力部１２０を用いたユーザの入力に従って、時系列特徴点位置情報と、その時系列特徴点位置情報が得られた動物の正解の行動とを対応付けた行動推定学習データを生成し、学習データ記憶部１４２に書き込む。

特徴点検出モデル学習部１５２は、学習データ記憶部１４２に記憶される特徴点学習データを用いて、機械学習により各種類の特徴点ごとに特徴点検出モデルを学習して特徴点検出モデル記憶部１４３に書き込む。特徴点位置推定モデル学習部１５３は、学習データ記憶部１４２に記憶される特徴点学習データから得られる動物の個体ごとの特徴点位置情報を用いて、機械学習により特徴点位置推定モデルを学習して特徴点位置推定モデル記憶部１４４に書き込む。正常行動判定モデル学習部１５４は、学習データ記憶部１４２に記憶される行動推定学習データを用いて、機械学習により正常行動判定モデルを学習して正常行動判定モデル記憶部１４５に書き込む。行動推定モデル学習部１５５は、学習データ記憶部１４２に記憶される行動推定学習データを用いて、機械学習により行動種別推定モデルを学習して行動推定モデル記憶部１４６に書き込む。配信部１５６は、学習された特徴点検出モデル、特徴点位置推定モデル、正常行動判定モデルをデータ収集装置２００に配信し、学習された行動推定モデルを動物行動推定装置３００に配信する。

なお、学習装置１００として、従来技術のアノテーションツールを用いることができる。例えば、人間の特徴点に関するアノテーションを行うための既存のアプリケーションを実装したコンピュータ装置を、学習装置１００として用いてもよい。

図３は、データ収集装置２００の構成を示すブロック図である。データ収集装置２００は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェア、又は、タブレット端末、パーソナルコンピュータ等の小型のコンピュータ装置により実現される。データ収集装置２００は、通信部２１０と、記憶部２２０と、画像入力部２３０と、処理部２４０と、表示部２５０とを備える。

通信部２１０は、ネットワーク６００を介して他の装置とデータを送受信する。記憶部２２０は、特徴点検出モデル記憶部２２１と、特徴点位置推定モデル記憶部２２２と、正常行動判定モデル記憶部２２３と、画像記憶部２２４と、分析情報記憶部２２５とを備える。特徴点検出モデル記憶部２２１は、学習装置１００が学習した特徴点検出モデルを記憶する。特徴点位置推定モデル記憶部２２２は、学習装置１００が学習した特徴点位置推定モデルを記憶する。正常行動判定モデル記憶部２２３は、学習装置１００が学習した正常行動判定モデルを記憶する。画像記憶部２２４は、推定対象動物が撮影された動画データを記憶する。分析情報記憶部２２５は、動物行動の推定を行う対象の時系列特徴点位置情報や、時系列特徴点位置情報を生成するための情報を記憶する。

画像入力部２３０は、カメラ４００が撮影した動画データを入力し、画像記憶部２２４に書き込む。動画データに含まれるフレームに撮影時刻又は撮影順序が付加されていない場合、画像入力部２３０は、動画データに設定されている情報を用いて算出した撮影時刻又は撮影順序の情報をフレームに付加する。なお、画像入力部２３０は、カメラ４００から異なるタイミングにおいて撮影された静止画のデータを順次入力し、画像記憶部２２４に書き込んでもよい。

処理部２４０は、更新部２４１と、特徴点取得部２４２と、判定部２４３と、送信部２４４と、状況表示処理部２４５とを備える。

更新部２４１は、学習装置１００から配信された特徴点検出モデル、特徴点位置推定モデル、正常行動判定モデルをそれぞれ、特徴点検出モデル記憶部２２１、特徴点位置推定モデル記憶部２２２、正常行動判定モデル記憶部２２３に書き込む。なお、特徴点検出モデル記憶部２２１、特徴点位置推定モデル記憶部２２２及び正常行動判定モデル記憶部２２３のそれぞれに、学習装置１００が学習した特徴点検出モデル、特徴点位置推定モデル及び正常行動判定モデルが予め記憶され、更新されない場合、処理部２４０は更新部２４１を備えなくてもよい。

特徴点取得部２４２は、画像データから推定対象動物の特徴点を取得する。特徴点取得部２４２は、特徴点検出部２４２１と特徴点位置推定部２４２２とを有する。

特徴点検出部２４２１は、特徴点検出モデル記憶部２２１に記憶されている特徴点検出モデルを用いて各画像データにおける推定対象動物の特徴点を検出し、その特徴点の位置を得る。特徴点検出部２４２１が検出した特徴点を検出特徴点と記載する。特徴点検出部２４２１は、画像データに複数の推定対象動物が撮影されている場合、検出特徴点の種類及び位置に基づいて、検出特徴点を個体別に分類する。

特徴点位置推定部２４２２は、個体ごとに、特徴点検出部２４２１が検出した検出特徴点の位置と特徴点位置推定モデル記憶部２２２に記憶されている特徴点位置推定モデルとに基づいて、特徴点検出部２４２１において検出されなかった種類の特徴点の位置を推定する。特徴点位置推定部２４２２が位置を推定した特徴点を推定特徴点と記載する。特徴点位置推定部２４２２は、特徴点検出部２４２１が検出した検出特徴点の位置の情報に、推定特徴点の位置の情報を加えて特徴点位置情報を生成し、分析情報記憶部２２５に書き込む。

判定部２４３は、所定数の時系列の画像データそれぞれについて生成された特徴点位置情報を時刻順に並べた時系列特徴点位置情報を個体ごとに生成する。判定部２４３は、時系列特徴点位置情報と正常行動判定モデル記憶部２２３に記憶されている正常行動判定モデルとに基づいて、推定対象動物の行動が正常であるか否か、又は、推定対象動物の行動が正常か異常かを個体ごとに判定する。

送信部２４４は、判定部２４３が正常ではないと判定した時系列特徴点位置情報を動物行動推定装置３００に送信し、行動の種別の推定を要求する。状況表示処理部２４５は、データ収集装置２００の稼働状態や、動物行動推定装置３００から通知された情報などを表示部２５０に表示する。動物行動推定装置３００から通知される情報は、動物行動推定装置３００が異常行動と推定した推定対象動物に関する情報を含む。この情報は、例えば、時系列特徴点位置情報や推定された異常行動の種別などを示す数値やテキスト等のデータである。

表示部２５０は、液晶ディスプレイ、有機ＥＬディスプレイ、ＣＲＴディスプレイ等の画像表示装置である。表示部２５０は、データを表示する。

図４は、動物行動推定装置３００の構成を示すブロック図である。動物行動推定装置３００は、例えば、１台以上のサーバコンピュータにより実現される。動物行動推定装置３００は、通信部３１０と、記憶部３２０と、処理部３３０とを有する。

通信部３１０は、ネットワーク６００を介して他の装置とデータを送受信する。記憶部３２０は、行動推定モデル記憶部３２１と、利用者情報記憶部３２２と、分析対象情報記憶部３２３とを備える。行動推定モデル記憶部３２１は、学習装置１００が学習した行動推定モデルを記憶する。利用者情報記憶部３２２は、利用者情報を記憶する。利用者情報は、サービス利用者の識別情報と、利用者アドレスとを含む。利用者アドレスは、通知の出力先となる利用者装置５００のアドレスである。サービス利用者の識別情報として、データ収集装置２００のアドレス等の識別子を用いてもよい。分析対象情報記憶部３２３は、データ収集装置２００から受信した時系列特徴点位置情報を記憶する。

処理部３３０は、更新部３３１と、行動推定部３３２と、通知部３３３と、異常データ送信部３３４とを備える。更新部３３１は、学習装置１００から配信された行動推定モデルを、行動推定モデル記憶部３２１に書き込む。なお、行動推定モデル記憶部３２１に、学習装置１００が学習した行動推定モデルが予め記憶され、更新されない場合、処理部３３０は更新部３３１を備えなくてもよい。行動推定部３３２は、データ収集装置２００から受信した時系列特徴点位置情報と、行動推定モデル記憶部３２１に記憶されている行動推定モデルとを用いて、推定対象動物の行動の種別を判定する。通知部３３３は、行動推定部３３２が推定した行動の種別が異常行動である場合、利用者装置５００に異常行動の検出と推定した行動の種別とを通知する。異常データ送信部３３４は、行動推定部３３２が推定した行動の種別が異常行動である場合、異常行動と推定された時系列特徴点位置情報や異常行動の種別などを含む数値やテキスト等のデータをデータ収集装置２００に送信する。

図５は、四肢動物のうち、例として牛の標本点を示す図である。本実施形態では、頭頂、右耳、左耳、右目、左目、鼻、口元、牛舌中腹、牛舌先端、右肘頭、左肘頭、右前膝、左前膝、右前繋、左前繋、右後膝、左後膝、右飛節、左飛節、右後繋、左後繋、背、尾根部、尻尾付根、尻尾中部、尻尾先端の２６種類の標本点を用いた例であるが、標本点は２６種類でなくてもよい。頭頂、右耳、左耳、右目、左目、鼻、口元は、顔の特徴点である。なお、図５において、標本点の種類の名称の前に付加された数字は、標本点の種類を特定する識別子である。

人間の場合、肩の位置は姿勢を表すために重要な標本点であるが、牛の場合は肩の位置は重要ではないため、標本点に用いていない。一方で、背や尾根部は牛にとって重要な標本点の一つである。背から頭頂への方向によって、頭がどちらに向いているのかがわかる。また、背と尾根部とを結ぶ背筋のラインは牛の方向を表す。さらに、背と足の付け根である右肘頭及び左肘頭のそれぞれとを結ぶラインにより、肢体の方向がわかる。また、牛の異常行動として、例えば、舌遊びがある。このような特有の異常行動は、舌の標本点を特徴点として用いることに検出が可能である。また、尻尾の部分の標本点も、人間にはない標本点である。

図６は、データ収集装置２００が取得した特徴点を示す図である。図６に示すように、牛の個体ごとに特徴点を結んだ線により、牛の姿勢がわかる。データ収集装置２００は、個体ごとに特徴点を分類し、その個体を識別する個体識別情報を付加する。これにより、各個体をスケルトン化（骨格化）することができる。スケルトン化した姿勢を時系列で並べることにより、各個体の動きがわかる。例えば、１つの静止画から得られた各特徴点の位置からは、牛が座った結果その姿勢になったのか、転んだ結果その姿勢になったのかを判定することは困難である。時系列の各特徴点の位置の変化を入力に用いることによって、牛が座る正常行動であるか、転んでしまった異常行動であるのかを判定可能とする。個体識別番号は、例えば、画像内の牛の耳標を文字認識して得られる。

図７は、時系列特徴点位置情報を示す図である。同図に示すように、時系列特徴点位置情報は、時刻と、個体識別情報（ＩＤ）と、各特徴点の位置とを対応付けた情報である。図７においては、特徴点の位置を２次元平面上の座標によって示している。なお位置の情報は、相対位置でもよく、絶対位置でもよく、極座標でもよい。相対位置の場合、画像の所定の画素を原点とするｘ−ｙ座標における座標値により位置が表される。例えば、カメラ４００が画像の深度の情報を含んだ映像データ又は画像データを生成する場合、特徴点の位置を三次元座標上の座標値により表してもよい。

続いて、動物行動推定システム１の動作について説明する。
図８は、学習装置１００における学習処理を示す処理フローである。まず、学習装置１００の学習データ生成部１５１は、特徴点学習データを生成する（ステップＳ１１０）。学習データ生成部１５１は、ユーザが入力部１２０により入力した指示に従って、学習用画像記憶部１４１から学習データとして用いる画像データを読み出し、表示部１３０に表示する。牛の構造の知識を有するユーザは、入力部１２０により、各標本点に対応した特徴点の種類及び位置を個体単位で入力する。ユーザは、外観から見えている標本点を入力することに加え、外観から見えない特徴点、例えば、左右の部分のうち陰になっている部分の標本点や、他の牛と重なっている部分における標本点、胴体の中にある標本点の位置を、画像から推定可能な限り入力する。これは、四肢動物の場合、人間とは異なり、左右や前後の動きは対象ではないため、見える部分だけでなく、見えない部分についてもスケルトンで学習を行い、行動推定に用いるためである。これにより、動物固有の行動を含め、動物の行動の推定精度を飛躍的に向上させることができる。学習データ生成部１５１は、画像データに、ユーザが入力した各牛の特徴点の種類及び位置の情報を示す特徴点位置情報を付加して特徴点学習データを生成し、学習データ記憶部１４２に書き込む。

続いて、学習データ生成部１５１は、行動推定学習データを生成する（ステップＳ１２０）。学習データ生成部１５１は、ユーザが入力部１２０により指定した時系列の特徴点学習データそれぞれから、ユーザが入力部１２０により指定した個体の特徴点位置情報を取得する。学習データ生成部１５１は、各特徴点学習データから得られた時系列の特徴点位置情報を設定した時系列特徴点位置情報と、ユーザが入力部１２０により入力した動物の正解の行動とを対応付けた行動推定学習データを生成する。正常行動判定モデルの学習に用いる行動推定学習データ（以下、正常行動判定モデル学習データと記載）の場合、正解の行動は、正常な行動であるか否か、又は、正常な行動と異常な行動とのいずれであるかであり、行動推定モデルに用いる行動推定学習データ（以下、行動推定モデル学習データと記載）の場合、正解の行動は、行動の種別である。行動の種別には、例えば、牛の怪我、牛の喧嘩、牛の虐待、牛の病気、牛の発情、牛の出産、牛の転倒、牛の舌遊びなどの異常行動や、歩行している、餌を食べている、などの正常行動がある。学習データ生成部１５１は、生成した行動推定学習データを学習データ記憶部１４２に書き込む。

入力部１２０により特徴点検出モデルの学習開始指示が入力されると、特徴点検出モデル学習部１５２は、学習データ記憶部１４２から特徴点学習データを読み出し、特徴点学習データに含まれる画像データから得られる画像の特徴量と、その画像データに付加されている特徴点位置情報とを用いて、特徴点検出モデルを機械学習する。特徴点検出モデルとして、画像データから人間の目や関節等の特徴点を検出する任意の従来技術を用いることができる。例えば、特徴点検出モデルは、ＣＮＮ（畳み込みニューラルネットワーク、Convolutional neural network）である。特徴点検出モデル学習部１５２は、機械学習した特徴点検出モデルを、特徴点検出モデル記憶部１４３に書き込む（ステップＳ１３０）。

入力部１２０により特徴点位置推定モデルの学習開始指示が入力されると、特徴点位置推定モデル学習部１５３は、学習データ記憶部１４２から特徴点学習データに付加されている特徴点位置情報を読み出し、個体ごとの特徴点位置情報を複数用いて、特徴点位置推定モデルの機械学習を行う。特徴点位置推定モデル学習部１５３は、学習した特徴点位置推定モデルを特徴点位置推定モデル記憶部１４４に書き込む（ステップＳ１４０）。なお、特徴点位置推定モデルの学習には、画像データにおいて見えている特徴点の位置と、画像データにおいて見えていない特徴点の位置との両方が含まれる特徴点位置情報を用いてもよく、画像データにおいて見えている特徴点の位置のみを用いて特徴点位置推定モデルを学習してもよい。画像データにおいて見えている特徴点の位置のみを用いて特徴点位置推定モデルを学習する場合、ユーザは、ステップＳ１１０において、特徴点の種類及び位置に加えて、画像において欠落あるいは背景上、判別しにくい特徴点であるか否かの情報も入力する。

入力部１２０により正常行動判定モデルの学習開始指示が入力されると、正常行動判定モデル学習部１５４は、学習データ記憶部１４２から正常行動判定モデル学習データを読み出す。正常行動判定モデル学習部１５４は、読み出した正常行動判定モデル学習データを用いて、正常行動判定モデルを機械学習する（ステップＳ１５０）。正常行動判定モデルとして、例えば、ＳＶＭ（サポートベクターマシン）が用いられる。正常行動判定モデル学習部１５４は、学習した正常行動判定モデルを正常行動判定モデル記憶部１４５に書き込む。

入力部１２０により行動推定モデルの学習開始指示が入力されると、行動推定モデル学習部１５５は、学習データ記憶部１４２から行動推定モデル学習データを読み出す。行動推定モデル学習部１５５は、読み出した行動推定モデル学習データ用いて、行動推定モデルを機械学習する（ステップＳ１６０）。例えば、行動推定モデル学習部１５５は、行動の種別ごとにＳＶＭを用いた行動推定モデルを作成する。あるいは、行動推定モデル学習部１５５は、時系列特徴点位置情報を入力する入力ノードと、行動の種別それぞれに対応し、その種別の行動である確率を表す値を出力する出力ノードとを有するＤＮＮ（Deep Neural Network）等を行動推定モデルとして学習してもよい。行動推定モデル学習部１５５は、学習した行動推定モデルを行動推定モデル記憶部１４６に書き込む。

配信部１５６は、入力部１２０により配信が指示された特徴点検出モデル、特徴点位置推定モデル及び正常行動判定モデルをデータ収集装置２００に配信し、入力部１２０により配信が指示された行動推定モデルを動物行動推定装置３００に配信する（ステップＳ１７０）。データ収集装置２００の更新部２４１は、受信した特徴点検出モデルを特徴点検出モデル記憶部２２１に、特徴点位置推定モデルを特徴点位置推定モデル記憶部２２２に、正常行動判定モデルを正常行動判定モデル記憶部２２３に書き込む。動物行動推定装置３００の更新部３３１は、行動推定モデルを行動推定モデル記憶部３２１に書き込む。

なお、学習装置１００は、図８に示す各ステップの処理の順序を可能なものについては入れ替えて実行してもよい。図８に示す学習処理を繰り返し行うことによって各種モデルを更新することができる。

図９は、動物行動推定システム１における動物行動推定処理を示すフロー図である。データ収集装置２００の画像入力部２３０は、カメラ４００が撮影した行動推定対象の動画データをリアルタイムで入力し、あるいは異なるタイミングで撮影された静止画のデータを順次入力し、画像記憶部２２４に書き込んでいる。データ収集装置２００は、所定周期で図９の処理を起動する。

特徴点検出部２４２１は、撮影時刻が現在時刻と現在時刻から所定時間だけ遡った時刻との間である複数の画像データを画像記憶部２２４から読み出す。特徴点検出部２４２１は、読み出した画像データごとに、画像データから得られた特徴量と、各特徴点の特徴点検出モデルとを用いて、画像データにおける推定対象動物の各特徴点を検出する。検出される特徴点には、画像データにおいて推定対象動物の外観から視認できる特徴点に加え、外観から視認できない特徴点が含まれ得る。特徴点検出部２４２１は、検出された特徴点、すなわち、検出特徴点の種類と位置とに基づいて、個体ごとの検出特徴点の集合に分類する。この分類には、複数人が撮影されている画像データから個人別の特徴点を得るための任意の従来技術を用いることができる。例えば、特徴点検出部２４２１は、同じ種類の検出特徴点がある場合、それらはそれぞれ別の個体の特徴点と判定する。また、特徴点検出部２４２１は、ある種類の検出特徴点から１又は複数の他の種類の検出特徴点への方向や距離が１個体の特徴点であると判定される所定の範囲内にあるか否かに基づいて、それら検出特徴点が同じ個体の特徴点であるか否かを判定する。これらの判定を組み合わせることによって、特徴点検出部２４２１は検出特徴点を個体ごとに分類する。特徴点検出部２４２１は、画像データの撮影時刻と、個体ごとの各検出特徴点の種類及び位置の情報とを対応付けた特徴点位置情報を生成し、画像データ又は画像データの識別情報と対応付けて分析情報記憶部２２５に書き込む（ステップＳ２１０）。

さらに特徴点検出部２４２１は、画像データを解析して、各個体の識別情報を得る。例えば、各個体の右耳及び左耳に個体識別番号が表示された耳標が付けられている場合、個体識別番号を予め記憶部２２０に記憶しておく。特徴点検出部２４２１は、画像データの右耳及び左耳それぞれの検出特徴点の近傍の領域の文字認識を行う。特徴点検出部２４２１は、認識した文字が個体識別番号と一致した場合、その検出特徴点の位置が設定されている特徴点位置情報に個体識別番号を付加する（ステップＳ２２０）。なお、特徴点検出部２４２１は、各個体の外観から得ることができる生体的な特徴を用いて各個体を識別してもよい。この場合、個体識別番号と、各個体の生体的な特徴を表す生体特徴情報とを予め記憶部２２０に記憶しておく。生体的な特徴として、例えば、牛の個体固有の行動の癖を用いることができる。行動の癖は、例えば、時系列の特徴点位置情報により表される。特徴点検出部２４２１は、画像から得られた個体の生体的な特徴の情報と、記憶部２２０に記憶されている生体特徴情報とを照合し、一致する生体特徴情報に対応した個体識別番号を記憶部２２０から読み出す。

特徴点位置推定部２４２２は、各画像データの個体ごとに、特徴点位置情報に設定されている各検出特徴点の位置と特徴点位置推定モデルとを用いて、特徴点検出部２４２１において検出されなかった種類の特徴点である推定特徴点の位置を算出する。特徴点位置推定部２４２２は、特徴点位置情報に各推定特徴点の種類及び位置を追加する（ステップＳ２３０）。

判定部２４３は、ステップＳ２１０において読み出された画像データに対応付けられた特徴点位置情報を時系列で並べた時系列特徴点位置情報を個体ごとに生成する（ステップＳ２４０）。判定部２４３は、時系列特徴点位置情報と正常行動判定モデルとを用いて、行動が正常であるか否かを個体ごとに判定する（ステップＳ２５０）。判定部２４３は、行動が正常であるか異常であるかを判定してもよい。送信部２４４は、判定部２４３が正常ではない又は異常と判定した時系列特徴点位置情報に利用者識別及びカメラ識別情報を付加して動物行動推定装置３００に送信し、推定を要求する（ステップＳ２６０）。カメラ識別情報は、時系列特徴点位置情報が得られた画像データを撮影したカメラ４００を識別する情報である。

動物行動推定装置３００の処理部３３０は、データ収集装置２００から時系列特徴点位置情報を受信し、分析対象情報記憶部３２３に記憶する（ステップＳ３１０）。行動推定部３３２は、時系列特徴点位置情報と、行動推定モデルとを用いて行動の種別を推定する（ステップＳ３２０）。行動推定部３３２は、推定した行動の種別が正常である又は異常ではないと判定した場合（ステップＳ３３０：ＮＯ）、処理を終了する。

行動推定部３３２は、推定した行動の種別が異常行動であると判定した場合（ステップＳ３３０：ＹＥＳ）、通知部３３３に時系列特徴点位置情報から読み出した利用者識別、個体識別情報及びカメラ識別情報と、推定した異常行動の種別を出力する。通知部３３３は、利用者識別に対応して読み出した利用者アドレス宛に、個体識別情報及びカメラ識別情報と推定した異常行動の種別の情報とを設定したアラーム情報を送信する（ステップＳ３４０）。利用者装置５００は、通知部３３３から受信したアラーム情報を画面に表示したり、音声により出力したりする。なお、ユーザが、通知対象の異常行動の種類を選択し、選択された異常行動の種類を示す通知対象異常行動情報を利用者識別と対応付けて利用者情報記憶部３２２に登録しておいてもよい。通知部３３３は、推定された異常行動の種類が、利用者識別に対応して読み出した通知対象異常行動情報に通知対象として設定されている場合に、アラーム情報を送信する。

異常データ送信部３３４は、異常行動と判定された時系列特徴点位置情報の送信元のデータ収集装置２００に、その時系列特徴点位置情報と異常行動の種別とを数値やテキストで記述した異常データ情報を送信する（ステップ３５０）。データ収集装置２００の状況表示処理部２４５は、動物行動推定装置３００から送信された異常データ情報を、表示部２５０に表示する（ステップＳ２７０）。

なお、動物行動推定システム１は、特徴点位置推定モデルを使用しなくてもよい。この場合、学習装置１００は、特徴点位置推定モデル記憶部１４４及び特徴点位置推定モデル学習部１５３を備えなくてもよく、データ収集装置２００は、特徴点位置推定モデル記憶部２２２及び特徴点位置推定部２４２２を備えてなくてもよい。学習装置１００は、図８のステップＳ１４０の処理を行わず、配信部１５６は、ステップＳ１７０において、特徴点位置推定モデルの配信を行わない。また、データ収集装置２００は、図９のステップＳ２３０の処理を行わず、判定部２４３は、ステップＳ２４０において、推定特徴点の種類及び位置が含まれない時系列特徴点位置情報を生成する。

なお、データ収集装置２００が正常行動判定モデル記憶部２２３及び判定部２４３を有さない構成としてもよい。この場合、データ収集装置２００は、図９のステップＳ２５０の処理を行わない。送信部２４４は、図９のステップＳ２６０において、全ての時系列特徴点位置情報について動物行動推定装置３００に推定要求を行う。学習装置１００は、正常行動判定モデルを学習しなくてもよい。

上述した学習装置１００、データ収集装置２００、動物行動推定装置３００は、バスで接続されたＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサやメモリや補助記憶装置などを備え、プロセッサがプログラムを実行することによって上記の機能を実現する。なお、学習装置１００、データ収集装置２００、動物行動推定装置３００の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

また、学習装置１００、データ収集装置２００、動物行動推定装置３００をそれぞれ複数のコンピュータ装置により実現してもよい。この場合、学習装置１００、データ収集装置２００、動物行動推定装置３００の各機能部を、これら複数のコンピュータ装置のいずれにより実現するかは任意とすることができる。また、同一の機能部を複数のコンピュータ装置により実現してもよい。例えば、学習装置１００の記憶部１４０を他の機能部とは別のコンピュータ装置により実現してもよく、動物行動推定装置３００の行動推定部３３２を複数のコンピュータ装置により実現し、分散処理を行ってもよい。

図１０は、データ収集装置２００のアーキテクチャの例を示す図である。図１０では、データ収集装置２００は、ＦＰＧＡを用いて構成され、ＯＳ（Operation System）の例としてＷｉｎｄｏｗｓ（登録商標）、Ｌｉｎｕｘ（登録商標）、および個別に開発したＯＳ等が用いられる。アプリケーション上でＰｙｔｈｏｎやＣ言語で記述された骨格化処理部とＡＩ推論エンジンが動作する。骨格化処理部は、特徴点取得部２４２に相当し、ＡＩ推論エンジンは、判定部２４３に相当する。

上述のように、データ収集装置２００は、小型のコンピュータで実現され、取集した画像データから推定対象動物の特徴点位置を検出して座標化し、正常行動判定モデルに時系列の特徴点位置情報を入力して異常・正常を判断する。データ収集装置２００は、異常と判断した時系列の特徴点位置情報を上位の動物行動推定装置３００に送信する。さらに、データ収集装置２００は、状況表示などを行う。このように、小型コンピュータであるデータ収集装置２００は、コンパクトに複数の動作を実行しつつ、動物行動推定装置３００の負荷を軽減する。

学習装置１００及び動物行動推定装置３００を実現するクラウドシステムは、複数の計算機（ノード）により構成される。各ノードは、ＧＰＵを備えており、各種モデルの機械学習や行動推定を分散処理する。クラウドシステムのＯＳとしてＬｉｎｕｘ（登録商標）やＷｉｎｄｏｗｓ（登録商標）等が用いられる。クラウドシステムは、データを高速で分散処理するフレームワークを搭載し、ＯＳ上ではさらに、異常行動が推定された場合にアラームを出力するツールなどを含む各種ツールが動作する。

上記実施形態によれば、上位サーバ側において教師付きデータにより機械学習した判定モデルをエッジ側の装置に記憶させ、エッジ側の装置は判定モデルを用いた推論エンジンによって、予めラベリングされた事象との判定を行う。エッジ側の装置は、判定結果に応じて不要なデータを削除し、必要なデータのみを規格化して上位サーバ側に送信する。このように、各ＩｏＴ（Internet of Things）からの収集データをエッジサーバまたはＦＰＧＡ回路で処理することで、クラウド処理の一部の処理及び不要データを削除して、クラウドに収集データを送信し、処理させることができる。

以上説明した実施形態によれば、動物行動推定システムは、動物行動推定支援装置と動物行動推定装置とを有する。動物行動推定支援装置は、例えば、実施形態におけるデータ収集装置２００である。動物行動推定支援装置は、特徴点取得部と、送信部とを備える。特徴点取得部は、行動推定対象の動物である推定対象動物が撮影された画像データから、推定対象動物における特徴点の位置の情報を取得する。特徴点は、動物の行動の推定に用いられる標本点である。送信部は、時系列の画像データそれぞれについて特徴点取得部が取得した特徴点の位置の情報を示す時系列特徴点位置情報を動物行動推定装置に送信する。動物行動推定装置は、行動推定部を備える。行動推定部は、動物行動推定支援装置から受信した時系列特徴点位置情報に基づいて推定対象動物の行動の種別を推定する。

動物行動推定支援装置は、時系列の前記画像データそれぞれについて特徴点取得部が取得した特徴点の位置の情報を示す時系列特徴点位置情報に基づいて推定対象動物の行動が正常であるか否かを判定する判定部をさらに備えてもよい。送信部は、判定部において正常ではないと判定された時系列特徴点位置情報を動物行動推定装置に送信する。

判定部は、行動が正常である場合の時系列の複数種類の特徴点の位置の情報を学習データとして機械学習された正常行動判定モデルと時系列特徴点位置情報とに基づいて推定対象動物の行動が正常であるか否かを推定してもよい。また、動物行動推定システムは、正常行動判定モデルを機械学習し、機械学習した正常行動判定モデルを動物行動推定支援装置に配信する学習装置をさらに備えてもよい。

行動推定部は、時系列の複数種類の特徴点の位置の情報及び正解の行動の種別を学習データとして機械学習された行動推定モデルと時系列特徴点位置情報とに基づいて推定対象動物の行動の種別を推定してもよい。また、動物行動推定システムは、行動推定モデルを機械学習し、機械学習した行動推定モデルを動物行動推定装置に配信する学習装置をさらに備えてもよい。

また、特徴点取得部は、推定対象動物における特徴点に、画像データから取得した推定対象動物の識別情報を付加してもよい。動物行動推定装置は、行動推定部により推定された推定対象動物の行動の種別が異常行動である場合に、推定対象動物の識別情報を通知する通知部をさらに備えてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…動物行動推定システム、
１００…学習装置、
１１０、２１０、３１０…通信部、
１２０…入力部、
１３０…表示部、
１４０、２２０、３２０…記憶部、
１４１…学習用画像記憶部、
１４２…学習データ記憶部、
１４３、２２１…特徴点検出モデル記憶部、
１４４、２２２…特徴点位置推定モデル記憶部、
１４５、２２３…正常行動判定モデル記憶部、
１４６、３２１…行動推定モデル記憶部、
１５０…学習部、
１５１…学習データ生成部、
１５２…特徴点検出モデル学習部、
１５３…特徴点位置推定モデル学習部、
１５４…正常行動判定モデル学習部、
１５５…行動推定モデル学習部、
１５６…配信部、
２００…データ収集装置、
２２０…記憶部、
２２４…画像記憶部、
２２５…分析情報記憶部、
２３０…画像入力部、
２４０、３３０…処理部、
２４１、３３１…更新部、
２４２…特徴点取得部、２４３…判定部、
２４４…送信部、
２４５…状況表示処理部、
２５０…表示部、
３００…動物行動推定装置、
３２０…記憶部、
３２２…利用者情報記憶部、
３２３…分析対象情報記憶部、
３３２…行動推定部、
３３３…通知部、
３３４…異常データ送信部、
４００…カメラ、
５００…利用者装置、
６００…ネットワーク、
２４２１…特徴点検出部、
２４２２…特徴点位置推定部

本発明の一態様は、動物行動推定支援装置と動物行動推定装置とを有する動物行動推定システムであって、前記動物行動推定支援装置は、行動推定対象の動物である推定対象動物が撮影された画像データから、前記推定対象動物における特徴点であって、動物の行動の推定に用いられる前記特徴点の位置の情報を取得する特徴点取得部と、時系列の前記画像データそれぞれについて前記特徴点取得部が取得した前記特徴点の位置の情報を示す時系列特徴点位置情報に基づいて前記推定対象動物の行動が正常であるか否かを判定する判定部と、前記時系列特徴点位置情報のうち、前記判定部において正常ではないと判定された前記行動に係る前記時系列特徴点位置情報を前記動物行動推定装置に送信し、前記判定部において正常であると判定された前記行動に係る前記時系列特徴点位置情報を送信しない送信部とを備え、前記動物行動推定装置は、前記動物行動推定支援装置から受信した前記時系列特徴点位置情報に基づいて前記推定対象動物の行動の種別を推定する行動推定部を備える、動物行動推定システムである。

本発明の一態様は、上述の動物行動推定システムであって、前記特徴点取得部は、前記推定対象動物における特徴点の位置の情報を示す前記時系列特徴点位置情報に、前記画像データから取得した前記推定対象動物の識別情報を付加する。

本発明の一態様は、上述の動物行動推定システムであって、前記送信部は、前記判定部において正常ではないと判定された前記行動に係る前記時系列特徴点位置情報に利用者識別を付加し、前記動物行動推定装置は、前記行動推定部により推定された前記推定対象動物の行動の種別が異常行動である場合に、前記時系列特徴点位置情報に付加された前記利用者識別により特定される通知先に、前記時系列特徴点位置情報に付加された前記推定対象動物の識別情報を通知する通知部をさらに備える。

本発明の一態様は、行動推定対象の動物である推定対象動物が撮影された画像データから、前記推定対象動物における特徴点であって、動物の行動の推定に用いられる前記特徴点の位置の情報を取得する特徴点取得部と、時系列の前記画像データそれぞれについて前記特徴点取得部が取得した前記特徴点の位置の情報を示す時系列特徴点位置情報に基づいて前記推定対象動物の行動が正常であるか否かを判定する判定部と、前記時系列特徴点位置情報のうち、前記判定部において正常ではないと判定された前記行動に係る前記時系列特徴点位置情報を、前記時系列特徴点位置情報に基づいて前記推定対象動物の行動の種別を推定する動物行動推定装置に送信し、前記判定部において正常であると判定された前記行動に係る前記時系列特徴点位置情報を送信しない送信部と、を備える動物行動推定支援装置である。

本発明の一態様は、動物行動推定支援装置と動物行動推定装置とを有する動物行動推定システムにおける動物行動推定方法であって、前記動物行動推定支援装置が、行動推定対象の動物である推定対象動物が撮影された画像データから、前記推定対象動物における特徴点であって、動物の行動の推定に用いられる前記特徴点の位置の情報を取得する特徴点取得ステップと、時系列の前記画像データそれぞれについて前記特徴点取得ステップにおいて取得した前記特徴点の位置の情報を示す時系列特徴点位置情報に基づいて前記推定対象動物の行動が正常であるか否かを判定する判定ステップと、前記時系列特徴点位置情報のうち、前記判定ステップにおいて正常ではないと判定された前記行動に係る前記時系列特徴点位置情報を前記動物行動推定装置に送信し、前記判定ステップにおいて正常であると判定された前記行動に係る前記時系列特徴点位置情報を送信しない送信ステップとを実行し、前記動物行動推定装置が、前記動物行動推定支援装置から受信した前記時系列特徴点位置情報に基づいて前記推定対象動物の行動の種別を推定する行動推定ステップを実行する、動物行動推定方法である。

Claims (13)

1. 動物行動推定支援装置と動物行動推定装置とを有する動物行動推定システムであって、
   前記動物行動推定支援装置は、
   行動推定対象の動物である推定対象動物が撮影された画像データから、前記推定対象動物における特徴点であって、動物の行動の推定に用いられる前記特徴点の位置の情報を取得する特徴点取得部と、
   時系列の前記画像データそれぞれについて前記特徴点取得部が取得した前記特徴点の位置の情報を示す時系列特徴点位置情報を前記動物行動推定装置に送信する送信部とを備え、
   前記動物行動推定装置は、
   前記動物行動推定支援装置から受信した前記時系列特徴点位置情報に基づいて前記推定対象動物の行動の種別を推定する行動推定部を備える、
   動物行動推定システム。
2. 前記動物行動推定支援装置は、
   時系列の前記画像データそれぞれについて前記特徴点取得部が取得した前記特徴点の位置の情報を示す時系列特徴点位置情報に基づいて前記推定対象動物の行動が正常であるか否かを判定する判定部をさらに備え、
   前記送信部は、前記判定部において正常ではないと判定された前記時系列特徴点位置情報を前記動物行動推定装置に送信する、
   請求項１に記載の動物行動推定システム。
3. 前記判定部は、行動が正常である場合の時系列の複数種類の特徴点の位置の情報を学習データとして機械学習された正常行動判定モデルと前記時系列特徴点位置情報とに基づいて前記推定対象動物の行動が正常であるか否かを推定する、
   請求項２に記載の動物行動推定システム。
4. 前記行動推定部は、時系列の複数種類の特徴点の位置の情報及び正解の行動の種別を学習データとして機械学習された行動推定モデルと前記時系列特徴点位置情報とに基づいて前記推定対象動物の行動の種別を推定する、
   請求項１から請求項３のいずれか一項に記載の動物行動推定システム。
5. 前記特徴点取得部は、前記推定対象動物における特徴点に、前記画像データから取得した前記推定対象動物の識別情報を付加する、
   請求項１から請求項４のいずれか一項に記載の動物行動推定システム。
6. 前記動物行動推定装置は、
   前記行動推定部により推定された前記推定対象動物の行動の種別が異常行動である場合に、前記推定対象動物の識別情報を通知する通知部をさらに備える、
   請求項１から請求項５のいずれか一項に記載の動物行動推定システム。
7. 前記動物行動推定支援装置と前記動物行動推定装置とは、予め決められたインターフェース及びプロトコルにより通信する、
   請求項１から請求項６のいずれか一項に記載の動物行動推定システム。
8. 前記特徴点取得部は、
   前記画像データから、前記推定対象動物における特徴点を検出する特徴点検出部と、
   前記特徴点検出部が検出した前記特徴点の位置に基づいて、動物の行動の推定に用いられる複数種類の特徴点のうち前記特徴点検出部において検出されなかった種類の特徴点の位置を推定する特徴点位置推定部とを有する、
   請求項１から請求項７のいずれか一項に記載の動物行動推定システム。
9. 行動推定対象の動物である推定対象動物が撮影された画像データから、前記推定対象動物における特徴点であって、動物の行動の推定に用いられる前記特徴点の位置の情報を取得する特徴点取得部と、
   時系列の前記画像データそれぞれについて前記特徴点取得部が取得した前記特徴点の位置の情報を示す時系列特徴点位置情報を、前記時系列特徴点位置情報に基づいて前記推定対象動物の行動の種別を推定する動物行動推定装置に送信する送信部と、
   を備える動物行動推定支援装置。
10. 時系列の前記画像データそれぞれについて前記特徴点取得部が取得した前記特徴点の位置の情報を示す時系列特徴点位置情報に基づいて前記推定対象動物の行動が正常であるか否かを判定する判定部をさらに備え、
    前記送信部は、前記判定部において正常ではないと判定された前記時系列特徴点位置情報を前記動物行動推定装置に送信する、
    請求項９に記載の動物行動推定支援装置。
11. 動物行動推定支援装置と動物行動推定装置とを有する動物行動推定システムにおける動物行動推定方法であって、
    前記動物行動推定支援装置が、行動推定対象の動物である推定対象動物が撮影された画像データから、前記推定対象動物における特徴点であって、動物の行動の推定に用いられる前記特徴点の位置の情報を取得する特徴点取得ステップと、
    前記動物行動推定支援装置が、時系列の前記画像データそれぞれについて前記特徴点取得ステップにおいて取得した前記特徴点の位置の情報を示す時系列特徴点位置情報を前記動物行動推定装置に送信する送信ステップと、
    前記動物行動推定装置が、前記動物行動推定支援装置から受信した前記時系列特徴点位置情報に基づいて前記推定対象動物の行動の種別を推定する行動推定ステップと、
    を有する動物行動推定方法。
12. 前記動物行動推定支援装置が、時系列の前記画像データそれぞれについて前記特徴点取得ステップにおいて取得した前記特徴点の位置の情報を示す時系列特徴点位置情報に基づいて前記推定対象動物の行動が正常であるか否かを判定する判定ステップをさらに有し、
    前記送信ステップにおいては、前記判定ステップにおいて正常ではないと判定された前記時系列特徴点位置情報を前記動物行動推定装置に送信する、
    請求項１１に記載の動物行動推定方法。
13. コンピュータを、
    請求項９又は請求項１０のいずれか一項に記載の動物行動推定支援装置として機能させるためのプログラム。

Images