JP7618186B1

JP7618186B1 - 異常行動通知システム

Info

Publication number: JP7618186B1
Application number: JP2024094080A
Authority: JP
Inventors: 大介木村
Original assignee: Asilla Inc
Current assignee: Asilla Inc
Priority date: 2024-06-11
Filing date: 2024-06-11
Publication date: 2025-01-21
Anticipated expiration: 2044-06-11

Abstract

【課題】映像に映った行動体の異常行動等の異常行動が検出された際に、行動体の属性等に応じて適切な通知を行うことが可能な異常行動通知システムを提供する。
【解決手段】異常行動通知システム１では、記憶された特徴点の変位と、各時系列画像Ｙから検出された特徴点の変位と、に基づき、異常行動が行われたか否かを判定する判定部５と、検出された特徴点又は対象行動体の外観に基づき、対象行動体Ｚの属性又は大きさを推定する推定部６と、異常行動が行われたと判定された場合に通知を行う通知部７と、を備えている。通知部７は、異常行動が行われたと判定された場合であっても、属性又は大きさが第１の所定の条件を満たし、かつ、異常行動が属性又は大きさに対して設定された第２の所定の条件を満たす場合には、通知を行わない。
【選択図】図３

Description

本発明は、映像に映った行動体の異常行動等の異常行動が検出された際に、行動体の属性等に応じて適切な通知を行うことが可能な異常行動通知システムに関する。

従来より、時系列画像に映った行動体の行動が、予め決定された“通常の行動”と異なる場合、“通常の行動”と異なる行動を行った行動体を時系列画像の中から抽出する技術が知られている（例えば、特許文献１参照）。

特許第６５２５１７９号

上記技術を用いることで、“通常の行動”と異なる行動が行われた際に「異常行動が行われた」と判定し、異常行動が行われた施設の管理者や警備員等にその旨の通知を行うことが考えられる。

しかしながら、例えば、子供は、異常行動と判定されるような行動を行うことが多いが、その中には、行動体が大人であれば異常行動であるが、子供であれば異常行動とは言えないようなものも存在する。このような状況で、大人でも子供でも一律に通知を行ってしまうと、頻繁な通知が煩わしくなる上に、通知に対する信頼性も損ねてしまうことが考えられる。

そこで、本発明は、映像に映った行動体の異常行動が検出された際に、行動体の属性等に応じて適切な通知を行うことが可能な異常行動通知システムを提供することを目的としている。

本発明は、撮影手段により撮影された時系列画像を取得する取得部と、前記時系列画像に映った対象行動体の特徴点を検出する検出部と、行動体が異常行動を行った場合の前記行動体の特徴点の変位を記憶した記憶部と、前記記憶された特徴点の変位と、各時系列画像から検出された特徴点の変位と、に基づき、前記異常行動が行われたか否かを判定する判定部と、前記検出された特徴点又は前記対象行動体の外観に基づき、前記対象行動体の属性又は大きさを推定する推定部と、前記異常行動が行われたと判定された場合に通知を行う通知部と、を備え、前記通知部は、前記異常行動が行われたと判定された場合であっても、前記属性又は大きさが第１の所定の条件を満たし、かつ、前記異常行動が前記属性又は大きさに対して設定された第２の所定の条件を満たす場合には、前記通知を行わないことを特徴とする異常行動通知システムを提供している。

このような構成によれば、時系列画像において対象行動体の異常行動等の異常行動が検出された際に、対象行動体の属性等に応じて適切な通知を行うことが可能となる。例えば、子供の所定の異常行動に対しては通知が行われないように第１の所定の条件及び第２の所定条件を設定することで、頻繁な通知が抑制され、通知に対する信頼性が損なわれることも抑制される。

また、本発明の別の観点では、上記異常行動通知システムに対応する異常行動通知プログラム及び異常行動通知方法を提供している。

本発明の異常行動通知システムによれば、映像に映った行動体の異常行動等の異常行動が検出された際に、行動体の属性等に応じて適切な通知を行うことが可能となる。

本発明の第１の実施の形態による時系列画像の説明図本発明の第１の実施の形態による異常行動通知システムのブロック図本発明の第１の実施の形態による異常行動通知システムのフローチャート本発明の第２の実施の形態による異常行動通知システムのブロック図

以下、本発明の第１の実施の形態による異常行動通知システム１について、図１－図３を参照して説明する。

異常行動通知システム１は、図１に示すように、撮影手段Ｘによって撮影された時系列画像Ｙ（図１では、映像を構成するフレーム）に映った対象行動体Ｚの行動の種類に応じた通知を行うためのものである。本実施の形態では、対象行動体Ｚとして人間を採用し、理解容易のため、対象行動体Ｚを骨格だけで簡易的に表示する。

異常行動通知システム１は、図２に示すように、取得部２と、検出部３と、記憶部４と、判定部５と、推定部６と、通知部７と、を備えている。また、本実施の形態では、異常行動通知システム１は、撮影手段Ｘと一体に設けられているものとする。

取得部２は、撮影手段Ｘにより撮影された時系列画像Ｙを取得する。

検出部３は、時系列画像Ｙに映った対象行動体Ｚの特徴点を検出する。

特徴点としては、様々なものが考えられるが、本実施の形態では、特徴点として関節を検出する例を用いて説明を行う。

特徴点として関節を検出する場合には、例えば、以下のような方法が考えられる。

まず、記憶部（記憶部４であっても、他の記憶部であっても良い）に、“関節識別基準”と、“行動体識別基準”と、を記憶しておく。

“関節識別基準”は、人間の複数の関節を識別するためのものであり、関節ごとに、それぞれを識別するための形状、方向、サイズ等を示したものである。

“行動体識別基準”は、人間の様々なバリエーション（“歩行”、“直立”等）の “基本姿勢“、”各関節の可動域“、一の人間における”各関節間の距離“等を示したものである。

上記“関節識別基準”に該当する複数の関節を検出した上で、“行動体識別基準”を参照して、一の対象行動体Ｚに含まれる複数の関節を特定することで、対象行動体Ｚそれぞれに含まれる関節を特定することが可能となる。

なお、特徴点は、時系列画像Ｙごとに個別に検出しても良いし、時系列の順番が特定できれば複数の時系列画像Ｙからまとめて検出しても良い。

記憶部４は、行動体が異常行動を行った場合の行動体の特徴点の変位を記憶している。特徴点として関節を検出する場合には、複数の関節の変位を記憶しておくこととなる。

異常行動としては、例えば、転倒、殴る、蹴る等の行動が考えられ、１つに限らず複数の行動を記憶しても良い。また、異常行動としては、万引きの予備動作等の“予兆行動”を記憶しても良い。なお、記憶部４には、異常行動以外の行動（歩行、立ち止まる等）を推定するために、それらの行動が生じた場合の特徴点情報の変位を記憶しておいても良い。

判定部５は、記憶された特徴点の変位と、各時系列画像Ｙから検出された特徴点の変位と、に基づき、異常行動が行われたか否かを判定する。

例えば、検出された特徴点の変位が、異常行動の特徴点の変位と所定以上一致している場合に、「当該異常行動が行われた」と判定することが考えられる。

推定部６は、検出された特徴点又は対象行動体Ｚの外観に基づき、対象行動体Ｚの属性又は大きさを推定する。

対象行動体Ｚの属性又は大きさは、公知の方法により推定すれば良い。

例えば、上記したように関節により対象行動体Ｚを特定する場合には、頭部の関節点と、足首の関節点と、の距離を判定することで、対象行動体Ｚの大きさを推定することが考えられる。

また、属性は、上記した大きさに加えて、姿勢、骨格等の特徴点や、服装、髪の毛の長さ、髪の毛の色等の外観から推定することが考えられる。

通知部７は、異常行動が行われたと判定された場合に通知を行う。

例えば、撮影手段Ｘが設置された施設の管理者や警備員等の情報端末等に無線でその旨の通知を行うことが考えられる。

ところで、例えば、大人であれば「走る」ことが適切でない場所であっても、子供であれば悪意なく走ってしまうことも考えられるが、悪意や危険性が低いにも関わらず「走る」という行動に対して一律に通知を行うことは適切ではない。

そこで、本実施の形態では、通知部７は、異常行動が行われたと判定された場合であっても、属性又は大きさが第１の所定の条件を満たし、かつ、異常行動が属性又は大きさに対して設定された第２の所定の条件を満たす場合には、通知を行わない。

例えば、第１の所定条件を「子供」、第２の所定条件を「走る（低速）」に設定しておくことで、「子供が低速で走る」場合には、通知を行わないことが考えられる。なお、上記設定では、子供であっても高速で走る場合には、通知は行われることとなるが、第２の所定条件を「走る」に設定すれば、高速で走る場合にも通知は行われなくなる。

また、子供はよく転倒するので、第１の所定条件を「子供」、第２の所定条件を「転倒」に設定しておくことで、「子供の転倒」の場合には、通知を行わないことが考えられる。一方で、高齢者の場合には、転倒により怪我が生じている可能性が高くなるので、第１の所定条件に「高齢者」を設定しなければ、高齢者の転倒は、通知が行われることとなる。

また、手持ち無沙汰な男性がゴルフスイングの動作をゆっくりと行うことがあるが、この場合も、悪意も危険性も低い。従って、第１の所定条件を「男性」、第２の所定条件を「ゴルフスイング（低速）」に設定しておくことで、「男性がゆっくりとゴルフスイングを行っている」場合には、通知を行わないことが考えられる。但し、ゴルフスイングであっても高速で行っている場合には、危険性が高い又は悪意がある可能性があるので、通知を行うように設定することが考えられる。

更には、子供の異常行動には悪意がないことが多いので、第１の所定条件を「子供」、第２の所定条件を「全ての異常行動」に設定しておくことで、「子供の異常行動」に関しては、全て通知を行わないようにしても良い。

一方、若い男性の異常行動の場合には、悪意があることも比較的多いので、危険度に関係なく通知を行うことが考えられる。この場合には、例えば、第１の所定条件に「若い男性」を設定しなければ良い。

但し、若い男性であっても小走り程度は悪意なく行うことが考えられるので、第１の所定条件を「若い男性」、第２の所定条件を「小走り」に設定することで、「若い男性であっても小走り」の場合には、通知は行わないことも可能である。

なお、上記したように、“属性又は大きさ”に関する第１の所定条件と、“異常行動”に関する第２の所定条件と、の組み合わせは様々なものが考えられるため、様々な組み合わせを設定しておいても良い。

また、第１の条件及び第２の条件は、異常行動通知システム１に設定部を設け、ユーザが設定可能としても良い。

更に、単純に、対象行動体Ｚの大きさが第１の所定の条件を満たす場合（例えば、「対象行動体Ｚの大きさ（背の高さ）が所定値よりも小さい」場合等）に、同様の制御を行っても良い。

このようにして、本実施の形態による異常行動通知システム１では、時系列画像Ｙにおいて対象行動体Ｚの異常行動等の異常行動が検出された際に、対象行動体Ｚの属性等に応じて適切な通知を行うことが可能となる。

続いて、図３のフローチャートを用いて、本実施の形態による通知の流れについて説明する。

まず、取得部２により時系列画像Ｙが取得されると（Ｓ１）、検出部３により時系列画像Ｙに映った対象行動体Ｚの特徴点が検出される（Ｓ２）。

また、Ｓ２で検出された特徴点又は対象行動体Ｚの外観に基づき、対象行動体Ｚの属性又は大きさが推定される（Ｓ３）。

続いて、記憶部４に記憶された特徴点の変位と、Ｓ２で検出された特徴点の変位と、に基づき、異常行動が行われたか否かが判定される（Ｓ４）。Ｓ３とＳ４は、逆の順序で行われても良い。

異常行動が行われたと判定された場合には（Ｓ４：ＹＥＳ）、Ｓ３で推定された属性又は大きさが第１の所定の条件を満たし、かつＳ４で判定された異常行動が属性又は大きさに対して設定された第２の所定の条件を満たすか否かが判定される（Ｓ５）。

第１の所定の条件及び第２の所定条件を満たさない場合には（Ｓ５：ＮＯ）、異常行動が行われた旨の通知が行われる（Ｓ６）。

一方、第１の所定の条件及び第２の所定条件を満たす場合には（Ｓ５：ＹＥＳ）、通知を行わない（Ｓ７）。

以上説明したように、本実施の形態による異常行動通知システム１では、異常行動が行われたと判定された場合であっても、属性又は大きさが第１の所定の条件を満たし、かつ、異常行動が属性又は大きさに対して設定された第２の所定の条件を満たす場合には、通知を行わない。

このような構成によれば、時系列画像Ｙにおいて対象行動体Ｚの異常行動等の異常行動が検出された際に、対象行動体Ｚの属性等に応じて適切な通知を行うことが可能となる。例えば、子供の所定の異常行動に対しては通知が行われないように第１の所定の条件及び第２の所定条件を設定することで、頻繁な通知が抑制され、通知に対する信頼性が損なわれることも抑制される。

続いて、図４を用いて、本発明の第２の実施の形態による異常行動通知システム１００について説明する。なお、第１の実施の形態と同一の部材については同一の符号を付し、その説明を省略する。

本実施の形態では、記憶部４に記憶される異常行動を学習により決定する。

詳細には、異常行動通知システム１００は、第１の実施の形態の構成に加えて、学習側取得部１１と、学習側検出部１２と、決定部１３と、を備えている。

学習側取得部１１は、所定範囲を撮影するように設置された撮影手段Ｘにより撮影されたサンプル映像（複数のサンプル時系列画像）を取得する。

学習側検出部１２は、サンプル映像に映ったサンプル行動体の行動を検出する。

サンプル行動体の行動の検出は、サンプル行動体が所定の行動を行った場合の特徴点の変位（各関節の動き等）を記憶部（記憶部４であっても、他の記憶部であっても良い）に記憶しておき、検出部３と同様に特徴点を検出した上で、検出された特徴点情報の変位が、記憶された特徴点の変位と所定以上一致している場合に、「当該所定の行動が行われた」と検出することが考えられる。

決定部１３は、学習側検出部１２によって検出された多数の行動に基づき、所定範囲における一又は複数の“通常の行動”を決定する。本実施の形態では、決定された“通常の行動”は、記憶部４に異常行動として記憶される。

“通常の行動”は、様々な基準で決定することが可能であるが、例えば、検出された全行動の中で所定（閾値）以上の割合を有する行動を“通常の行動”として決定することが考えられる。

そして、判定部５は、各時系列画像Ｙから検出された特徴点の変位が“通常の行動”に相当しない場合に、異常行動が行われたと判定する。

詳細には、各時系列画像Ｙから検出された特徴点の変位が“通常の行動”に相当しない場合、すなわち、異常行動が生じたと判定された場合（図３のＳ４：ＹＥＳ）、第１の実施の形態と同様に、図３のＳ５－Ｓ７の動作が行われることとなる。

以上説明したように、本実施の形態による異常行動通知システム１００では、各時系列画像Ｙから検出された特徴点の変位が、学習により決定された“通常の行動”に相当しない場合に、異常行動が行われたと判定する。

このような構成によれば、暴力行動や転倒のような明らかな（予め定められた）異常行動ではない行動であっても、その場（所定範囲）にふさわしくない行動を異常行動とみなし、通知を行うことが可能となる。但し、このような構成の場合、例えば、子供の行動は、異常行動と判定される可能性が更に高くなるが、このような場合であっても、属性又は大きさが第１の所定の条件を満たす場合には、通知を行わないことで、“子供”等の異常行動により頻繁な通知が生じることが抑制される。

尚、本発明の異常行動通知システムは、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。

例えば、上記実施の形態では、全ての部材が一体に設けられていたが、例えば、一部の部材（記憶部４、判定部５、推定部６等）が異なる場所（クラウド等）に設けられていることを除外するものではない。

また、本発明は、コントローラとしての各部材が行う処理に相当するプログラム及び方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体としては、ＣＤ－ＲＯＭ等が考えられるが、それに限定されるものではない。

１異常行動通知システム
２取得部
３検出部
４記憶部
５判定部
６推定部
７通知部
１１学習側取得部
１２学習側検出部
１３決定部
１００異常行動通知システム
Ｘ撮影手段
Ｙ時系列画像
Ｚ対象行動体

Claims

撮影手段により撮影された時系列画像を取得する取得部と、
前記時系列画像に映った対象行動体の特徴点を検出する検出部と、
行動体が異常行動を行った場合の前記行動体の特徴点の変位を記憶した記憶部と、
前記記憶された特徴点の変位と、各時系列画像から検出された特徴点の変位と、に基づき、前記異常行動が行われたか否かを判定する判定部と、
前記検出された特徴点又は前記対象行動体の外観に基づき、前記対象行動体の属性又は大きさを推定する推定部と、
前記異常行動が行われたと判定された場合に通知を行う通知部と、
を備え、
前記通知部は、前記異常行動が行われたと判定された場合であっても、前記属性又は大きさが第１の所定の条件を満たし、かつ、前記異常行動が前記属性又は大きさに対して設定された第２の所定の条件を満たす場合には、前記通知を行わないことを特徴とする異常行動通知システム。
所定範囲を撮影するように設置された前記撮影手段により撮影されたサンプル映像を取得する学習側取得部と、
前記サンプル映像に映ったサンプル行動体の行動を検出する学習側検出部と、
前記学習側検出部によって検出された多数の前記行動に基づき、前記所定範囲における一又は複数の通常の行動を決定する決定部と、
を更に備え、
前記判定部は、各時系列画像から検出された特徴点の変位が前記通常の行動に相当しない場合に、前記異常行動が行われたと判定することを特徴とする請求項１に記載の異常行動通知システム。
行動体が異常行動を行った場合の前記行動体の特徴点の変位を記憶したコンピュータで実行されるプログラムであって、
撮影手段により撮影された時系列画像を取得するステップと、
前記時系列画像に映った対象行動体の特徴点を検出するステップと、
前記記憶された特徴点の変位と、各時系列画像から検出された特徴点の変位と、に基づき、前記異常行動が行われたか否かを判定するステップと、
前記検出された特徴点又は前記対象行動体の外観に基づき、前記対象行動体の属性又は大きさを推定するステップと、
前記異常行動が行われたと判定された場合に通知を行うステップと、
を備え、
前記通知を行うステップでは、前記異常行動が行われたと判定された場合であっても、前記属性又は大きさが第１の所定の条件を満たし、かつ、前記異常行動が前記属性又は大きさに対して設定された第２の所定の条件を満たす場合には、前記通知を行わないことを特徴とする異常行動通知プログラム。
行動体が異常行動を行った場合の前記行動体の特徴点の変位を記憶したコンピュータで実行される方法であって、
撮影手段により撮影された時系列画像を取得するステップと、
前記時系列画像に映った対象行動体の特徴点を検出するステップと、
前記記憶された特徴点の変位と、各時系列画像から検出された特徴点の変位と、に基づき、前記異常行動が行われたか否かを判定するステップと、
前記検出された特徴点又は前記対象行動体の外観に基づき、前記対象行動体の属性又は大きさを推定するステップと、
前記異常行動が行われたと判定された場合に通知を行うステップと、
を備え、
前記通知を行うステップでは、前記異常行動が行われたと判定された場合であっても、前記属性又は大きさが第１の所定の条件を満たし、かつ、前記異常行動が前記属性又は大きさに対して設定された第２の所定の条件を満たす場合には、前記通知を行わないことを特徴とする異常行動通知方法。