[go: up one dir, main page]

JP7371595B2 - 装置、システム、方法およびプログラム - Google Patents

装置、システム、方法およびプログラム Download PDF

Info

Publication number
JP7371595B2
JP7371595B2 JP2020154941A JP2020154941A JP7371595B2 JP 7371595 B2 JP7371595 B2 JP 7371595B2 JP 2020154941 A JP2020154941 A JP 2020154941A JP 2020154941 A JP2020154941 A JP 2020154941A JP 7371595 B2 JP7371595 B2 JP 7371595B2
Authority
JP
Japan
Prior art keywords
subject
surveillance camera
sound
abnormal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020154941A
Other languages
English (en)
Other versions
JP2022048889A (ja
Inventor
修 小嶋
篤士 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to JP2020154941A priority Critical patent/JP7371595B2/ja
Priority to US17/409,831 priority patent/US11610460B2/en
Priority to EP21196054.7A priority patent/EP3968294B8/en
Priority to CN202111079600.8A priority patent/CN114189650A/zh
Publication of JP2022048889A publication Critical patent/JP2022048889A/ja
Application granted granted Critical
Publication of JP7371595B2 publication Critical patent/JP7371595B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/188—Data fusion; cooperative systems, e.g. voting among different detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Emergency Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、装置、システム、方法およびプログラムに関する。
従来、監視カメラを用いた種々の警備システムが提案されている（例えば、特許文献１参照）。
［特許文献１］ 特開２０１５－１６２２３２号公報
本発明の第１の態様においては、装置が提供される。装置は、音声出力の可能な監視カメラが撮影した画像に基づいて、被写体についての異常の可能性を判定する判定部を備えてよい。装置は、異常の可能性があると判定されたことに応じて、被写体に対して音声を発することを監視カメラに指示する指示部を備えてよい。装置は、音声に対する被写体の反応を監視カメラから取得する取得部を備えてよい。装置は、音声に対する被写体の反応に基づいて、被写体を異常と検知する検知部を備えてよい。
装置は、検知部により被写体が異常と検知されたことに応じ、監視カメラを介して当該装置のオペレータと被写体との間の通話を開始する通話処理部を備えてよい。
装置は、検知部により被写体が異常と検知されたことに応じてアラート信号を出力する出力部を備えてよい。
指示部は、音声として警報音を発することを監視カメラに指示してよい。
指示部は、被写体に特定の動作を要求する音声を発することを監視カメラに指示してよい。
検知部は、被写体が特定の動作を行わないことに応じて、被写体を異常と検知してよい。
特定の動作は、監視カメラに近づく動作であってよい。
特定の動作は、監視カメラに向けて証明書を見せる動作であってよい。
検知部は、監視カメラにより撮影された証明書の内容に応じて被写体を異常と検知してよい。
検知部は、監視カメラを介して被写体に対して音声を発して音声に対する被写体の反応を取得する処理を指示部および取得部が複数回繰り返した結果に基づいて被写体を異常と検知してよい。
検知部は、監視カメラによる監視領域に対して被写体が立ち入り権限を有しないことに応じて当該被写体を異常と検知し、当該被写体が故意または過失の何れにより監視領域に入ったかを更に検知してよい。
指示部は、監視カメラから取得される被写体の画像または音声の少なくとも一方と、当該被写体に対して警備員が発した音声とを含む学習データを用いて学習処理が行われたモデルであって、被写体の画像または音声の少なくとも一方が入力されることに応じて、被写体に対して発するべき音声に対応する信号を出力するモデルを用いて、監視カメラに発生させる音声を決定してよい。
本発明の第２の態様においては、システムが提供される。システムは、第１の態様の装置を備えてよい。システムは、撮影した画像を装置に供給する監視カメラを備えてよい。
本発明の第３の態様においては、方法が提供される。方法は、音声出力の可能な監視カメラが撮影した画像に基づいて、被写体についての異常の可能性を判定する判定段階を備えてよい。方法は、異常の可能性があると判定されたことに応じて、被写体に対して音声を発することを監視カメラに指示する指示段階を備えてよい。方法は、音声に対する被写体の反応を監視カメラから取得する取得段階を備えてよい。方法は、音声に対する被写体の反応に基づいて、被写体を異常と検知する検知段階を備えてよい。
本発明の第４の態様においては、プログラムが提供される。プログラムは、コンピュータを、音声出力の可能な監視カメラが撮影した画像に基づいて、被写体についての異常の可能性を判定する判定部として機能させてよい。プログラムは、コンピュータを、異常の可能性があると判定されたことに応じて、被写体に対して音声を発することを監視カメラに指示する指示部として機能させてよい。プログラムは、コンピュータを、音声に対する被写体の反応を監視カメラから取得する取得部として機能させてよい。プログラムは、コンピュータを、音声に対する被写体の反応に基づいて、被写体を異常と検知する検知部として機能させてよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る警備システム１を示す。 装置４の動作を示す。 本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
［１．警備システム１］
図１は、本実施形態に係る警備システム１を示す。警備システム１は、監視カメラ２と、装置４とを備える。
ここで本実施形態では一例として、監視カメラ２と装置４とは直接接続されてもよいし、通信ネットワークを介して接続されてもよい。通信ネットワークは、インターネット、広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク等の各種ネットワークまたはその組み合わせを含んで構成されてよい。通信ネットワークは、有線および無線の少なくとも一方による接続ポイントを含んでよい。通信ネットワークは、インターネットなどの公衆回線から分離された専用回線により実現されてもよい。
［１．１．監視カメラ２］
監視カメラ２は、監視領域の撮影を行い、撮影した画像を装置４に供給する。監視カメラ２は、常時、撮影を行って動画像（映像とも称する）データを生成してよい。一例として各監視カメラ２は３０ｆ／ｓで撮影を行ってよい。監視カメラ２は可視光のカメラであってもよいし、赤外線や紫外線（一例としてＸ線）のカメラであってもよい。監視カメラ２は、撮影した動画像データを内部の記憶領域（図示せず）に記憶してもよい。
監視カメラ２は、スピーカ２０を有してよく、音声出力が可能であってよい。例えば、スピーカ２０は、装置４からの指示に応じて音声を出力してよい。本実施形態においては一例として、音声とは、言語音（声とも称する）であってよい。
また、監視カメラ２は、マイク２１を有してよい。この場合、監視カメラ２により撮影される動画像データには、音声データが結合されてよい。また、監視カメラ２は、被写体の発する音声をマイク２１によって電気信号に変換し、装置４に供給してよい。
なお、被写体は人であってもよいし、野生動物や家畜などの動物であってもよいし、自動車や自転車などの車両であってもよい。
監視カメラ２は、道路や駐車場、街灯、電柱に配置されてもよいし、設備の出入り口や通路などに配置されてもよい。設備は、プラントでもよいし、学校や住宅、駅、空港、博物館、病院、店舗（一例として飲食店）などであってもよいし、テーマパークや遊園地、それらのアトラクション用施設などであってもよい。プラントとしては、化学やバイオ等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等が挙げられる。設備の出入り口とは、設備の内側と外側との境界に設けられた出入り口であってもよいし、設備内の一の領域と他の領域との境界に設けられた出入り口であってもよい。
［１．２．装置４］
装置４は、監視カメラ２と協働して設備の警備を支援する。装置４は、通信部４０と、判定部４１と、モデル４２と、指示部４３と、取得部４４と、検知部４５と、通話処理部４６と、出力部４７とを有する。
［１．２．１．通信部４０］
通信部４０は、監視カメラ２と装置４の各部との間で通信を行う。
［１．２．２．判定部４１］
判定部４１は、監視カメラ２が撮影した画像に基づいて、被写体についての異常の可能性を判定する。例えば、判定部４１は、異常の可能性の有無を判定してよい。判定部４１は、異常の可能性があると判定したことに応じて、その旨を示す信号を指示部４３に供給してよい。判定部４１は、異常の可能性があると判定したことに応じて、その判定の元となった画像をさらに指示部４３に供給してよい。
なお、被写体の異常とは、一例として、被写体が道に迷っていることであってもよいし、体調が悪いことであってもよいし、監視カメラ２の監視領域に不正に侵入していることであってもよい。
［１．２．３．モデル４２］
モデル４２は、被写体の画像または音声の少なくとも一方が入力されることに応じて、当該被写体に対して発するべき音声に対応する信号を出力する。被写体に対して発するべき音声は、被写体が正常であるか異常であるかを識別し得る反応を被写体に生じさせる音声であってよい。また、被写体に対して発するべき音声は、被写体が監視カメラ２の監視領域に立ち入り権限を有するか否かを識別し得る反応を被写体に生じさせる音声であってもよい。また、被写体に対して発するべき音声は、被写体が立ち入り権限を持たない監視領域に故意または過失の何れにより入ったかを識別し得る反応を被写体に生じさせる音声であってもよい。発するべき音声に対応する信号は、音声の内容を示す識別番号であってもよいし、音声をテキスト化したテキストデータであってもよい。
モデル４２は、監視カメラ２から取得される被写体の画像または音声の少なくとも一方と、当該被写体に対して警備員が発した音声とを含む学習データを用いて学習処理が行われていてよい。
なお、モデル４２は、入力される画像や音声を解析する解析部と、解析結果に応じて推奨する音声を出力する機械学習アルゴリズムとを有してよい。解析部は、被写体の画像から被写体の動作、または、被写体の外観の特徴の少なくとも１つを検出してもよいし、被写体や警備員の音声を音声認識してテキスト化し、当該テキストを形態素解析して複数の形態素を検出してもよい。機械学習アルゴリズムは、本実施形態では一例としてリカレント型またはタイムディレイ型などのニューラルネットワークであるが、ランダムフォレスト、勾配ブースティング、ロジスティック回帰、および、サポートベクタマシン（ＳＶＭ）などを含む他の機械学習アルゴリズムであってもよい。ニューラルネットワークは、解析部により検出され得る各要素に対応するノードを入力層に含み、推奨する音声に対応するノードを出力層に含んでよい。入力層および出力層の間には、１または複数のノードを含む中間層（隠れ層）が介在してよい。ニューラルネットワークは、ノード間をつなぐエッジの重み、および、出力ノードのバイアス値を調整することで学習処理が行われてよい。
［１．２．４．指示部４３］
指示部４３は、被写体について異常の可能性があると判定されたことに応じて、被写体に対して音声を発することを監視カメラ２に指示する。指示部４３は、オペレータの操作を必要とせずに、自動的に監視カメラ２に指示を行ってよい。
指示部４３は、モデル４２を用いて、監視カメラ２に発生させる音声を決定してよい。例えば、指示部４３は、被写体の画像または音声の少なくとも一方をモデル４２に供給して、発するべき音声に対応する信号をモデル４２から取得してよい。指示部４３は、モデル４２から取得した信号を監視カメラ２に供給してよい。
［１．２．５．取得部４４］
取得部４４は、監視カメラ２から発せられた音声に対する被写体の反応を監視カメラ２から取得する。取得部４４は被写体の反応として、監視カメラ２により撮影された動画像データを取得してもよいし、動画像データから抽出される静止画像データや、動画像データに結合された音声データを取得してもよい。取得部４４は、取得した反応を検知部４５に供給してよい。
［１．２．６．検知部４５］
検知部４５は、音声に対する被写体の反応に基づいて、被写体を異常または正常と検知する。検知部４５は、被写体を異常と検知したことに応じて、その旨を示す信号を通話処理部４６および出力部４７に供給してよい。
また、検知部４５は、被写体を異常と検知しなかったことに応じて、処理の繰り返しを指示する信号を指示部４３に供給してよい。これにより、監視カメラ２を介して被写体に対して音声を発する処理と、音声に対する被写体の反応を取得する処理とが指示部４３および取得部４４により改めて行われる。この場合に、検知部４５は、監視カメラ２を介して被写体に対して音声を発して音声に対する被写体の反応を取得する処理を指示部４３および取得部４４が複数回繰り返した結果に基づいて被写体を異常または正常と検知してよい。検知部４５は、処理の繰り返しを指示する信号を指示部４３に供給する場合には、取得部４４から供給された被写体の反応を指示部４３にさらに供給してよい。
［１．２．７．通話処理部４６］
通話処理部４６は、検知部４５により被写体が異常と検知されたことに応じて、監視カメラ２を介して装置４のオペレータ（警備員とも称する）と被写体との間の通話を開始する。通話処理部４６は、通話に用いられるスピーカ４６０およびマイク４６１を有してよい。
［１．２．８．出力部４７］
出力部４７は、検知部４５により被写体が異常と検知されたことに応じてアラート信号を出力する。例えば、出力部４７は、アラート信号をモニタ（図示せず）に表示してよい。この場合には、モニタでアラート信号を確認したオペレータは監視カメラ２の画像を確認して、現場に警備員を派遣してよい。また、出力部４７は、予め設定された送信先にアラート信号を送信してもよい。送信先は、監視カメラ２を設置した警備会社であってもよいし、設備のオーナーや管理会社であってもよいし、設備を含む地域の警察や病院であってもよい。
［１．３．装置４から得られる効果］
以上の装置４によれば、被写体について異常の可能性があると判定されたことに応じて監視カメラ２から音声が発せられ、当該音声に対する被写体の反応に基づいて被写体が異常または正常と検知される。従って、監視カメラ２を介して異常な被写体を速やかに検知することができる。
また、被写体が異常と検知されたことに応じて、監視カメラ２を介して装置４のオペレータと被写体との間の通話が開始されるので、オペレータから被写体への指示を即座に行うことができる。
また、被写体が異常と検知されたことに応じて、アラート信号が出力されるので、異常な被写体の発生を即座に報知することができる。
また、監視カメラ２から取得される被写体の画像または音声の少なくとも一方と、当該被写体に対して警備員が発した音声とを含む学習データを用いて学習処理が行われたモデル４２を用いて、監視カメラ２に発生させる音声が決定させるので、適切な音声を監視カメラ２に発生させることができる。
また、監視カメラ２を介して被写体に対して音声を発して被写体の反応を取得する処理を取得部４４および検知部４５が複数回繰り返した結果に基づいて検知部４５が被写体を異常または正常と検知するので、異常な被写体を正確に検知することができる。
［２．装置４の動作］
図２は、装置４の動作を示す。装置４は、ステップＳ１１～Ｓ３１の処理を行うことにより設備の警備を支援する。なお、監視カメラ２は、この動作とは無関係に撮影を行って、動画像データを逐次、装置４に供給してよい。
ステップＳ１１において、判定部４１は、監視カメラ２が撮影した画像に基づいて、被写体についての異常の可能性を判定する。
判定部４１は、動画像から検出される被写体の動作から異常可能性を判定してよい。例えば、判定部４１は、他の被写体と異なる不審な動作から異常可能性を判定してよい。一例として、判定部４１は、監視カメラ２から顔を隠し続ける動作や、同じ場所を行き来する動作、しゃがみ込む動作、泣き続ける動作を検出したことに応じて、異常の可能性があると判定してよい。
これに加えて、または、これに代えて、判定部４１は、動画像内の静止画像（フレームとも称する）から検出される被写体の外観の特徴から異常可能性を判定してもよい。例えば、判定部４１は、泣き顔や、危険物（一例としてナイフや拳銃など）、ピッキングの道具などを検出したことに応じて、異常の可能性があると判定してよい。また、判定部４１は、以前に撮影された被写体やその外観の特徴データを蓄積記憶しておき、これまでに撮影されたことのない被写体を検出したことに応じて、異常の可能性があると判定してよい。また、判定部４１は、被写体の顔が頭髪やサングラス、帽子、マスクなどで覆われていて顔の特徴が検出できないことに応じて、異常の可能性があると判定してよい。
ステップＳ１３において、装置４は、異常の可能性があったか否かを判定する。異常の可能性があったと判定された場合（ステップＳ１３；Ｙｅｓ）にはステップＳ１５に処理が移行される。異常の可能性がなかったと判定された場合（ステップＳ１３；Ｎｏ）にはステップＳ１１に処理が移行される。
ステップＳ１５において指示部４３は、被写体に対して音声を発することを監視カメラ２に指示する。これにより、監視カメラ２から被写体に対して音声が発せられる。
ここで、監視カメラ２から発生される音声は、モデル４２を用いて決定されてよい。監視カメラ２から発せられる音声は、被写体に対して特定の動作を要求する音声であってよい。また、監視カメラ２から発生される音声は、被写体が監視カメラ２の監視領域に立ち入り権限を有するか否かや、被写体が立ち入り権限を持たない監視領域に故意または過失の何れにより入ったかを識別し得る反応を被写体に生じさせる音声であってもよい。
例えば、特定の動作は、監視カメラ２に向けて証明書を見せる動作であってよい。証明書は、社員証や通行証、入場許可証などであってよい。
また、特定の動作は、監視カメラ２に近づく動作であってもよい。また、特定の動作は、予め設定されたキーワード（合言葉とも称する）を発する動作であってもよい。また、特定の動作は、予め設定されたジェスチャを行う動作であってもよい。合言葉やジェスチャは、被写体に監視領域への立ち入り権限があることを示してよく、監視カメラ２が設置された設備の警備会社などによって任意に設定され、監視領域に立ち入り権限を持つ人それぞれに予め教えられてよい。
また、指示部４３からの指示により監視カメラ２から発せられる音声は、被写体に対して動作を要求しない音声であってもよい。例えば、発せられる音声は、監視領域が部外者に立ち入り禁止であることを知らせる音声（一例として「このエリアは立ち入り禁止です」という音声）であってもよい。
ステップＳ１７において取得部４４は、音声に対する被写体の反応を監視カメラ２から取得する。例えば、取得部４４は、動作を要求された被写体の反応を監視カメラ２から取得してよい。
ステップＳ１９において検知部４５は、音声に対する被写体の反応に基づいて、被写体を異常または正常と検知する。検知部４５は、被写体の反応が異常であることに応じて、被写体を異常と検知してよい。例えば、検知部４５は、被写体の反応がないこと（一例として、判定部４１が異常可能性ありと判定した動作を被写体が継続すること）に応じて、被写体を異常と検知してよい。これにより、被写体が体調の悪化により動けない場合に、被写体が異常と検知されてよい。
被写体に対して特定の動作を要求する音声がステップＳ１５の処理により発せられている場合には、検知部４５は、被写体が当該特定の動作を行わないことに応じて、被写体を異常と検知してもよい。また、被写体が監視カメラ２の監視領域に立ち入り権限を有するか否かを識別し得る反応を被写体に生じさせる音声がステップＳ１５の処理により発せられている場合には、検知部４５は、被写体が立ち入り権限を有しないと識別したことに応じて、被写体を異常と検知してもよい。
例えば、証明書を見せるよう要求する音声が発せられている場合には、検知部４５は、被写体が証明書を見せないことに応じて、被写体を異常と検知してよい。また、検知部４５は、監視カメラ２により撮影された証明書の内容に応じて被写体を異常と検知してもよい。
この場合には、検知部４５は、証明書の撮影画像から抽出される証明書の内容に応じて被写体を異常と検知してよい。例えば、検知部４５は、証明書に含まれる顔写真の顔と、被写体の顔とが異なることに応じて被写体を異常と検知してよい。一例として、検知部４５は、画像解析により両者の顔の特徴（例えば、特徴点の位置関係や、瞳や皮膚、頭髪の色など）を抽出して顔の異同を判定してよい。検知部４５は、各証明書の内容を格納した警備用サーバ（図示せず）にアクセス可能である場合には、撮影された証明書のテキストを文字認識して、当該証明書の所有者の登録情報を警備用サーバから取得し、被写体の顔と、撮影された証明書の所有者の顔とが異なることに応じて被写体を異常と検知してもよい。また、検知部４５は、撮影された証明書のテキストの内容が警備用サーバ内の何れの証明書の内容とも一致しないことに応じて被写体を異常と検知してもよい。
また、合言葉を発するよう要求する音声が発せられている場合には、検知部４５は、被写体が発する音声を音声認識して、正しい合言葉を発しないことに応じて被写体を異常と検知してよい。
監視カメラ２による監視領域に対して被写体が立ち入り権限を有しない場合には、検知部４５は、当該被写体が故意または過失の何れにより監視領域に入ったかを更に検知してよい。一例として、検知部４５は、被写体が監視カメラ２に顔を向けない場合や、被写体が監視カメラ２から遠ざかる場合に、当該被写体が故意に監視領域に入ったと検知してよい。なお、ステップＳ１９において検知部４５は、被写体を異常とも正常とも検知できない場合には、検知不能としてもよい。
ステップＳ２１において装置４は、被写体が異常と検知されたか否かを判定する。被写体が異常と判定された場合（ステップＳ２１；Ｙｅｓ）には、ステップＳ２７に処理が移行される。被写体が異常と判定されなかった場合（ステップＳ２１；Ｎｏ）には、ステップＳ２３に処理が移行される。被写体が異常と判定されなかった場合とは、被写体が正常と検知された場合であってもよいし、検知不能であるとされた場合であってもよい。
ステップＳ２３において検知部４５は、既定回数（例えば３回）だけ指示部４３および取得部４４の処理（本実施形態では一例としてステップＳ１５およびステップＳ１７の処理）が繰り返されたか否かを判定する。
既定回数だけ処理が繰り返されたと判定した場合（ステップＳ２３；Ｙｅｓ）には、ステップＳ１１に処理が移行する。この場合には、判定部４１により他の被写体についての異常の可能性が判定されてよい。既定回数だけ処理が繰り返されていないと判定した場合（ステップＳ２３；Ｎｏ）には、ステップＳ２５に処理が移行する。
ステップＳ２５において、検知部４５は、指示部４３に対し処理の繰り返しを指示する信号を供給する。これにより、ステップＳ１５の処理が改めて行われ、指示部４３からの指示により、同じ被写体に対して監視カメラ２から改めて音声が発せられる。このようにしてステップＳ１５の処理が行われる毎に同じ被写体に音声が発せられる場合には、各回のステップＳ１５の処理において音声は同一であってもよいし、異なってもよい。
例えば、検知部４５は、処理の繰り返しを指示する信号とともに、ステップＳ１７で取得された被写体の反応を指示部４３に供給してよい。この場合には、指示部４３は、供給された被写体の反応をモデルに供給して、発するべき音声に対応する信号をモデル４２から取得してよい。一例として、１回目のステップＳ１５の処理において発せられる音声は、監視領域が部外者に立ち入り禁止であることを知らせる音声であってよく、２回目のステップＳ１５の処理において発せられる音声は、現在地が立ち入り禁止エリアであることを理解したか否かをジェスチャで示すことを被写体に要求する音声（一例として「理解している場合には手を挙げてください」という音声）であってよい。
ステップＳ２７において通話処理部４６は、監視カメラ２を介して装置４のオペレータと被写体との間の通話を開始する。これにより、オペレータは道に迷った被写体に対し、目的地への道順を教えてもよいし、監視領域に不正に侵入した被写体に対し、その場に留まるよう指示してもよい。なお、ステップＳ２７の処理においては、出力部４７がアラート信号を出力してもよい。本実施形態では一例として、ステップＳ２７の処理において出力部４７は、装置４のモニタ（図示せず）にアラート信号を表示してよい。
ステップＳ２９において装置４は、被写体が故意または過失の何れにより監視領域に入ったとステップＳ１９で検知されたかを判定する。被写体が故意に監視領域に入っていない、つまり過失により監視領域に入ったと検知された場合（ステップＳ２９；Ｎｏ）には、装置４は動作を終了する。被写体が故意に監視領域に入ったと検知された場合（ステップＳ２９；Ｙｅｓ）には、ステップＳ３１に処理が移行される。
ステップＳ３１において出力部４７は、アラート信号を出力する。本実施形態では一例として、ステップＳ３１の処理において出力部４７は、監視カメラ２を設置した警備会社や、設備を含む地域の警察にアラート信号を出力してよい。
以上の動作によれば、被写体に特定の動作を要求する音声を発することが監視カメラ２に指示されるので、被写体が正常であるか異常であるかを識別し得る反応を被写体に生じさせることができる。従って、異常な被写体を正確に検知することができる。
また、要求された特定の動作を被写体が行わないことに応じて、被写体が異常と検知されるので、異常な被写体を確実に検知することができる。
また、被写体に要求される特定の動作は、監視カメラ２に向けて証明書を見せる動作であるので、証明書を持たずに監視領域に不正に侵入した異常な被写体を検知することができる。
また、撮影された証明書の内容に応じて被写体の異常が検知されるので、正当な証明書を持たずに監視領域に不正に侵入した異常な被写体を検知することができる。
また、被写体に要求される特定の動作は、監視カメラ２に近づく動作であるので、撮影されるのを嫌がる異常な被写体を確実に検知することができる。
また、被写体が監視領域に立ち入り権限を有しないことに応じて被写体が異常と検知され、当該被写体が故意または過失の何れにより監視領域に入ったかが更に検知されるので、故意に監視領域に侵入した被写体を検知することができる。
［３．変形例］
なお、上記の実施形態においては、通話処理部４６は被写体が異常と検知されたことに応じて通話を開始することとして説明したが、オペレータの操作により任意のタイミング（一例としてオペレータが被写体を異常と判断したタイミング）で通話を開始してもよい。
また、装置４は学習済みのモデル４２を有することとして説明したが、モデル４２の学習処理を行う学習処理部をさらに有してもよい。学習処理部は、オペレータが被写体を異常と判断して通話を開始した場合に監視カメラ２から取得される被写体の画像または音声の少なくとも一方と、被写体に対してオペレータが発した音声とを含む学習データを用いてモデル４２の学習処理を行って良い。学習データに含まれる被写体の画像や音声は、被写体が異常であるという判断の元となった画像（一例として通話の開始操作が行われたタイミングの画像）であってもよいし、オペレータの発した音声に対する被写体の反応を示す画像や音声であってもよい。
また、装置４はモデル４２を有することとして説明したが、モデル４２を有しなくてもよい。この場合には、指示部４３は、装置４に外部接続されたモデル４２を用いて監視カメラ２に発生させる音声を決定してよい。これに代えて、監視カメラ２に発生させる音声は予め決定されてもよい。
また、装置４が通話処理部４６および出力部４７を有することとして説明したが、これらを有しないこととしてもよい。この場合には、装置４は、異常と検知された被写体の画像を内部に保存してよい。
また、指示部４３は言語としての音声、つまり言語音を発することを監視カメラ２に指示することとして説明したが、非言語音の音声を発することを監視カメラ２に指示してもよい。例えば、指示部４３は、警報音を発することを監視カメラ２に指示してもよい。この場合にも、正常および異常を識別し得る反応を被写体に生じさせることができるため、異常な被写体を正確に検知することができる。
また、本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図３は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。
本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インタフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。
ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。
通信インタフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。
ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。
プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。
例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２２２２に対し、通信処理を命令してよい。通信インタフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１ 警備システム
２ 監視カメラ
４ 装置
４０ 通信部
４１ 判定部
４２ モデル
４３ 指示部
４４ 取得部
４５ 検知部
４６ 通話処理部
４７ 出力部
２２００ コンピュータ
２２０１ ＤＶＤ－ＲＯＭ
２２１０ ホストコントローラ
２２１２ ＣＰＵ
２２１４ ＲＡＭ
２２１６ グラフィックコントローラ
２２１８ ディスプレイデバイス
２２２０ 入／出力コントローラ
２２２２ 通信インタフェース
２２２４ ハードディスクドライブ
２２２６ ＤＶＤ－ＲＯＭドライブ
２２３０ ＲＯＭ
２２４０ 入／出力チップ
２２４２ キーボード

Claims (22)

  1. 音声出力の可能な監視カメラが撮影した画像に基づいて、被写体についての異常の可能性を判定する判定部と、
    異常の可能性があると判定されたことに応じて、前記被写体に対して音声を発することを前記監視カメラに指示する指示部と、
    前記音声に対する前記被写体の反応を前記監視カメラから取得する取得部と、
    前記音声に対する前記被写体の反応に基づいて、前記被写体を正常または異常と検知する検知部と
    を備え、
    前記指示部は、前記監視カメラに近づく動作、または、前記監視カメラに向けて証明書を見せる動作を前記被写体に要求する前記音声を発することを前記監視カメラに指示し、
    前記検知部は、前記被写体が前記動作を行わないことに応じて、前記被写体を異常と検知する、装置。
  2. 音声出力の可能な監視カメラが撮影した画像に基づいて、被写体についての異常の可能性を判定する判定部と、
    異常の可能性があると判定されたことに応じて、前記被写体に対して音声を発することを前記監視カメラに指示する指示部と、
    前記音声に対する前記被写体の反応を前記監視カメラから取得する取得部と、
    前記音声に対する前記被写体の反応に基づいて、前記被写体を正常または異常と検知する検知部と
    を備え、
    前記指示部は、前記監視カメラの監視領域への立ち入り権限があることを示す合言葉を発声する動作、または、前記監視カメラの監視領域への立ち入り権限があることを示すジェスチャを行う動作を前記被写体に要求する前記音声を発することを前記監視カメラに指示し、
    前記検知部は、前記被写体が前記動作を行わないことに応じて、前記被写体を異常と検知する、装置。
  3. 音声出力の可能な監視カメラが撮影した画像に基づいて、被写体についての異常の可能性を判定する判定部と、
    異常の可能性があると判定されたことに応じて、前記被写体に対して音声を発することを前記監視カメラに指示する指示部と、
    前記音声に対する前記被写体の反応を前記監視カメラから取得する取得部と、
    前記音声に対する前記被写体の反応に基づいて、前記被写体を正常または異常と検知する検知部と
    を備え、
    前記指示部は、前記被写体に特定の動作を要求する前記音声を発することを前記監視カメラに指示し、
    前記特定の動作は、前記監視カメラに向けて証明書を見せる動作であり、
    前記検知部は、前記監視カメラにより撮影された前記証明書の内容に応じて前記被写体を異常と検知する、装置。
  4. 音声出力の可能な監視カメラが撮影した画像に基づいて、被写体についての異常の可能性を判定する判定部と、
    異常の可能性があると判定されたことに応じて、前記被写体に対して音声を発することを前記監視カメラに指示する指示部と、
    前記音声に対する前記被写体の反応を前記監視カメラから取得する取得部と、
    前記音声に対する前記被写体の反応に基づいて、前記被写体を正常または異常と検知する検知部と
    を備え、
    前記検知部は、前記監視カメラによる監視領域に対して前記被写体が立ち入り権限を有しないことに応じて当該被写体を異常と検知し、当該被写体が故意または過失の何れにより前記監視領域に入ったかを更に検知する、装置。
  5. 前記指示部は、前記被写体に特定の動作を要求する前記音声を発することを前記監視カメラに指示する、
    請求項４に記載の装置。
  6. 前記検知部は、前記被写体が前記特定の動作を行わないことに応じて、前記被写体を異常と検知する、
    請求項５に記載の装置。
  7. 前記特定の動作は、前記監視カメラに近づく動作である、
    請求項５または６に記載の装置。
  8. 前記特定の動作は、前記監視カメラに向けて証明書を見せる動作である、
    請求項５または６に記載の装置。
  9. 前記検知部により前記被写体が異常と検知されたことに応じ、前記監視カメラを介して当該装置のオペレータと前記被写体との間の通話を開始する通話処理部を備える、
    請求項１から８の何れか一項に記載の装置。
  10. 前記検知部により前記被写体が異常と検知されたことに応じてアラート信号を出力する出力部を備える、
    請求項１から９の何れか一項に記載の装置。
  11. 前記指示部は、前記音声として警報音を発することを前記監視カメラに指示する、
    請求項１から１０の何れか一項に記載の装置。
  12. 前記検知部は、前記監視カメラを介して前記被写体に対して前記音声を発して前記音声に対する前記被写体の反応を取得する処理を前記指示部および前記取得部が複数回繰り返した結果に基づいて前記被写体を異常または正常と検知する、
    請求項１から１１の何れか一項に記載の装置。
  13. 前記指示部は、
    監視カメラから取得される被写体の画像または音声の少なくとも一方と、当該被写体に対して警備員が発した音声とを含む学習データを用いて学習処理が行われたモデルであって、被写体の画像または音声の少なくとも一方が入力されることに応じて、被写体に対して発するべき音声に対応する信号を出力するモデルを用いて、前記監視カメラに発生させる音声を決定する、
    請求項１から１２の何れか一項に記載の装置。
  14. 請求項１から１３の何れか一項に記載の装置と、
    撮影した画像を前記装置に供給する監視カメラと、
    を備えるシステム。
  15. 音声出力の可能な監視カメラが撮影した画像に基づいて、被写体についての異常の可能性を判定する判定段階と、
    異常の可能性があると判定されたことに応じて、前記被写体に対して音声を発することを前記監視カメラに指示する指示段階と、
    前記音声に対する前記被写体の反応を前記監視カメラから取得する取得段階と、
    前記音声に対する前記被写体の反応に基づいて、前記被写体を異常または正常と検知する検知段階と
    を備え、
    前記指示段階では、前記監視カメラに近づく動作、または、前記監視カメラに向けて証明書を見せる動作を前記被写体に要求する前記音声を発することを前記監視カメラに指示し、
    前記検知段階では、前記被写体が前記動作を行わないことに応じて、前記被写体を異常と検知する方法。
  16. 音声出力の可能な監視カメラが撮影した画像に基づいて、被写体についての異常の可能性を判定する判定段階と、
    異常の可能性があると判定されたことに応じて、前記被写体に対して音声を発することを前記監視カメラに指示する指示段階と、
    前記音声に対する前記被写体の反応を前記監視カメラから取得する取得段階と、
    前記音声に対する前記被写体の反応に基づいて、前記被写体を異常または正常と検知する検知段階と
    を備え、 前記指示段階では、前記監視カメラの監視領域への立ち入り権限があることを示す合言葉を発声する動作、または、前記監視カメラの監視領域への立ち入り権限があることを示すジェスチャを行う動作を前記被写体に要求する前記音声を発することを前記監視カメラに指示し、
    前記検知段階では、前記被写体が前記動作を行わないことに応じて、前記被写体を異常と検知する方法。
  17. 音声出力の可能な監視カメラが撮影した画像に基づいて、被写体についての異常の可能性を判定する判定段階と、
    異常の可能性があると判定されたことに応じて、前記被写体に対して音声を発することを前記監視カメラに指示する指示段階と、
    前記音声に対する前記被写体の反応を前記監視カメラから取得する取得段階と、
    前記音声に対する前記被写体の反応に基づいて、前記被写体を異常または正常と検知する検知段階と
    を備え、
    前記指示段階では、前記被写体に特定の動作を要求する前記音声を発することを前記監視カメラに指示し、
    前記特定の動作は、前記監視カメラに向けて証明書を見せる動作であり、
    前記検知段階では、前記監視カメラにより撮影された前記証明書の内容に応じて前記被写体を異常と検知する方法。
  18. 音声出力の可能な監視カメラが撮影した画像に基づいて、被写体についての異常の可能性を判定する判定段階と、
    異常の可能性があると判定されたことに応じて、前記被写体に対して音声を発することを前記監視カメラに指示する指示段階と、
    前記音声に対する前記被写体の反応を前記監視カメラから取得する取得段階と、
    前記音声に対する前記被写体の反応に基づいて、前記被写体を異常または正常と検知する検知段階と
    を備え、
    前記検知段階では、前記監視カメラによる監視領域に対して前記被写体が立ち入り権限を有しないことに応じて当該被写体を異常と検知し、当該被写体が故意または過失の何れにより前記監視領域に入ったかを更に検知する方法。
  19. コンピュータを、
    音声出力の可能な監視カメラが撮影した画像に基づいて、被写体についての異常の可能性を判定する判定部と、
    異常の可能性があると判定されたことに応じて、前記被写体に対して音声を発することを前記監視カメラに指示する指示部と、
    前記音声に対する前記被写体の反応を前記監視カメラから取得する取得部と、
    前記音声に対する前記被写体の反応に基づいて、前記被写体を異常または正常と検知する検知部
    として機能させ、
    前記指示部は、前記監視カメラに近づく動作、または、前記監視カメラに向けて証明書を見せる動作を前記被写体に要求する前記音声を発することを前記監視カメラに指示し、
    前記検知部は、前記被写体が前記動作を行わないことに応じて、前記被写体を異常と検知するプログラム。
  20. コンピュータを、
    音声出力の可能な監視カメラが撮影した画像に基づいて、被写体についての異常の可能性を判定する判定部と、
    異常の可能性があると判定されたことに応じて、前記被写体に対して音声を発することを前記監視カメラに指示する指示部と、
    前記音声に対する前記被写体の反応を前記監視カメラから取得する取得部と、
    前記音声に対する前記被写体の反応に基づいて、前記被写体を異常または正常と検知する検知部
    として機能させ、
    前記指示部は、前記監視カメラの監視領域への立ち入り権限があることを示す合言葉を発声する動作、または、前記監視カメラの監視領域への立ち入り権限があることを示すジェスチャを行う動作を前記被写体に要求する前記音声を発することを前記監視カメラに指示し、
    前記検知部は、前記被写体が前記動作を行わないことに応じて、前記被写体を異常と検知するプログラム。
  21. コンピュータを、
    音声出力の可能な監視カメラが撮影した画像に基づいて、被写体についての異常の可能性を判定する判定部と、
    異常の可能性があると判定されたことに応じて、前記被写体に対して音声を発することを前記監視カメラに指示する指示部と、
    前記音声に対する前記被写体の反応を前記監視カメラから取得する取得部と、
    前記音声に対する前記被写体の反応に基づいて、前記被写体を異常または正常と検知する検知部
    として機能させ、
    前記指示部は、前記被写体に特定の動作を要求する前記音声を発することを前記監視カメラに指示し、
    前記特定の動作は、前記監視カメラに向けて証明書を見せる動作であり、
    前記検知部は、前記監視カメラにより撮影された前記証明書の内容に応じて前記被写体を異常と検知するプログラム。
  22. コンピュータを、
    音声出力の可能な監視カメラが撮影した画像に基づいて、被写体についての異常の可能性を判定する判定部と、
    異常の可能性があると判定されたことに応じて、前記被写体に対して音声を発することを前記監視カメラに指示する指示部と、
    前記音声に対する前記被写体の反応を前記監視カメラから取得する取得部と、
    前記音声に対する前記被写体の反応に基づいて、前記被写体を異常または正常と検知する検知部
    として機能させ、
    前記検知部は、前記監視カメラによる監視領域に対して前記被写体が立ち入り権限を有しないことに応じて当該被写体を異常と検知し、当該被写体が故意または過失の何れにより前記監視領域に入ったかを更に検知するプログラム。
JP2020154941A 2020-09-15 2020-09-15 装置、システム、方法およびプログラム Active JP7371595B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020154941A JP7371595B2 (ja) 2020-09-15 2020-09-15 装置、システム、方法およびプログラム
US17/409,831 US11610460B2 (en) 2020-09-15 2021-08-24 Apparatus, system, method and storage medium
EP21196054.7A EP3968294B8 (en) 2020-09-15 2021-09-10 Apparatus, system, method and program
CN202111079600.8A CN114189650A (zh) 2020-09-15 2021-09-15 装置、系统、方法以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020154941A JP7371595B2 (ja) 2020-09-15 2020-09-15 装置、システム、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2022048889A JP2022048889A (ja) 2022-03-28
JP7371595B2 true JP7371595B2 (ja) 2023-10-31

Family

ID=77710681

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020154941A Active JP7371595B2 (ja) 2020-09-15 2020-09-15 装置、システム、方法およびプログラム

Country Status (4)

Country Link
US (1) US11610460B2 (ja)
EP (1) EP3968294B8 (ja)
JP (1) JP7371595B2 (ja)
CN (1) CN114189650A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7371595B2 (ja) * 2020-09-15 2023-10-31 横河電機株式会社 装置、システム、方法およびプログラム
CN117238120B (zh) * 2023-11-13 2024-01-26 山西乐宸科技有限公司 安全监控方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002008161A (ja) 1998-05-08 2002-01-11 Masanobu Kujirada 携帯型の縫いぐるみ状保護装置
JP2002175581A (ja) 2000-12-07 2002-06-21 Mitsubishi Electric Corp 生活見守りシステム
JP2019045769A (ja) 2017-09-05 2019-03-22 京セラ株式会社 電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラム
US20190327448A1 (en) 2018-04-23 2019-10-24 Kuna Systems Corporation Wireless integration of security camera and door lock
JP2019197950A (ja) 2018-05-07 2019-11-14 キヤノン株式会社 情報処理装置、属性付与方法、コンピュータプログラム、及び記憶媒体

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087771A (ja) * 2001-09-07 2003-03-20 Oki Electric Ind Co Ltd 監視システム及び方法
US20040223054A1 (en) * 2003-05-06 2004-11-11 Rotholtz Ben Aaron Multi-purpose video surveillance
US8255006B1 (en) * 2009-11-10 2012-08-28 Fusionone, Inc. Event dependent notification system and method
US9830790B2 (en) * 2009-11-24 2017-11-28 Joseph Jones Smart door device
US9792817B2 (en) * 2013-12-24 2017-10-17 Intel Corporation Road hazard communication
JP6305110B2 (ja) 2014-02-28 2018-04-04 キヤノン株式会社 撮像装置、及び撮像システム
US9643722B1 (en) * 2014-02-28 2017-05-09 Lucas J. Myslinski Drone device security system
IL231789A0 (en) * 2014-03-27 2014-08-31 Fst21 Ltd System and method for detecting fraud attempts of an access control system
US10586114B2 (en) * 2015-01-13 2020-03-10 Vivint, Inc. Enhanced doorbell camera interactions
KR102319880B1 (ko) * 2016-04-12 2021-11-02 코닌클리케 필립스 엔.브이. 포커스 거리에 가까운 사운드 소스들을 강조하는 공간 오디오 처리
EP3236363A1 (en) * 2016-04-18 2017-10-25 Nokia Technologies Oy Content search
US20180005524A1 (en) * 2016-06-28 2018-01-04 Kcg Technologies Llc Systems and Methods for Alerting an Operator to an Emergency Vehicle and/or Automated Control of Vehicle
WO2018016142A1 (ja) * 2016-07-21 2018-01-25 ソニー株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム
CN109792510B (zh) 2016-09-21 2021-09-07 亚马逊技术有限公司 无线音频/视频记录和通信装置的包裹防盗
US10223877B2 (en) * 2016-09-21 2019-03-05 John Burke Visual characteristic-of-interest position indicator for machine conveyable material
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
US10666913B1 (en) * 2017-09-05 2020-05-26 Amazon Technologies, Inc. Input functionality for audio/video recording and communication doorbells
CA3230205A1 (en) * 2017-10-12 2019-04-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Optimizing audio delivery for virtual reality applications
US10531222B2 (en) * 2017-10-18 2020-01-07 Dolby Laboratories Licensing Corporation Active acoustics control for near- and far-field sounds
US11308333B1 (en) * 2017-11-28 2022-04-19 Vivint, Inc. Outdoor camera and neighborhood watch techniques
US11735018B2 (en) * 2018-03-11 2023-08-22 Intellivision Technologies Corp. Security system with face recognition
US10650651B1 (en) * 2018-03-30 2020-05-12 Sureview Systems, Inc. Automated geospatial security event grouping
US20190356885A1 (en) * 2018-05-16 2019-11-21 360Ai Solutions Llc Camera System Securable Within a Motor Vehicle
JP7243110B2 (ja) * 2018-10-02 2023-03-22 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びに荷物受け取り支援システム
US11462092B2 (en) * 2018-12-12 2022-10-04 Filo S.R.L. Safety system to prevent the abandonment of a child in a motor vehicle
EP3699751A1 (en) * 2019-02-21 2020-08-26 Nokia Technologies Oy Virtual scene
CA3136497A1 (en) * 2019-04-10 2020-10-15 Scott Charles Mullins Monitoring systems
US11809535B2 (en) * 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US20210231775A1 (en) * 2020-01-27 2021-07-29 Plato Systems, Inc. System and method for smart device control using radar
US11804039B2 (en) * 2020-05-28 2023-10-31 Science House LLC Systems, methods, and apparatus for enhanced cameras
JP7371595B2 (ja) * 2020-09-15 2023-10-31 横河電機株式会社 装置、システム、方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002008161A (ja) 1998-05-08 2002-01-11 Masanobu Kujirada 携帯型の縫いぐるみ状保護装置
JP2002175581A (ja) 2000-12-07 2002-06-21 Mitsubishi Electric Corp 生活見守りシステム
JP2019045769A (ja) 2017-09-05 2019-03-22 京セラ株式会社 電子機器、携帯端末、コミュニケーションシステム、見守り方法、およびプログラム
US20190327448A1 (en) 2018-04-23 2019-10-24 Kuna Systems Corporation Wireless integration of security camera and door lock
JP2019197950A (ja) 2018-05-07 2019-11-14 キヤノン株式会社 情報処理装置、属性付与方法、コンピュータプログラム、及び記憶媒体

Also Published As

Publication number Publication date
CN114189650A (zh) 2022-03-15
US20220084378A1 (en) 2022-03-17
EP3968294B8 (en) 2023-12-13
JP2022048889A (ja) 2022-03-28
EP3968294B1 (en) 2023-11-08
EP3968294A1 (en) 2022-03-16
US11610460B2 (en) 2023-03-21

Similar Documents

Publication Publication Date Title
US12217871B2 (en) Method and system for privacy-preserving health monitoring
US11735018B2 (en) Security system with face recognition
CN105608834B (zh) 用于检测出现关注事件的装置和方法
JP6814673B2 (ja) 移動経路予測装置、及び移動経路予測方法
US11216704B2 (en) Recognition system using multimodality dataset
US11113838B2 (en) Deep learning based tattoo detection system with optimized data labeling for offline and real-time processing
JP7371595B2 (ja) 装置、システム、方法およびプログラム
JP2019096179A (ja) 行動監視システム
US9355310B2 (en) Monitoring individuals using distributed data sources
JP2006163456A (ja) 入退室管理装置
Onie et al. The use of closed-circuit television and video in suicide prevention: narrative review and future directions
US11341774B2 (en) Information processing apparatus, data generation method, and non-transitory computer readable medium storing program
Anwary et al. Deep learning enabled fall detection exploiting gait analysis
WO2021080033A1 (ko) 음성 분석 방법 및 장치
JP2014215747A (ja) 追跡装置、追跡システム、及び、追跡方法
García‐Rodríguez et al. A simulation tool for monitoring elderly who suffer from disorientation in a smart home
Rathour et al. KlugOculus: A Vision‐Based Intelligent Architecture for Security System
US12175845B2 (en) Generation of follow-up action based on information security risks
KR20200088236A (ko) 추적 가능한 비식별화 방법, 장치 및 시스템
US12148277B2 (en) Electronic monitoring system using push notifications with custom audio alerts
JP7529241B2 (ja) 顔認証システムおよび顔認証方法
WO2023124451A1 (zh) 用于生成告警事件的方法、装置、设备和存储介质
JP2023098484A (ja) 情報処理プログラム、情報処理方法および情報処理装置
JP2023098506A (ja) 情報処理プログラム、情報処理方法および情報処理装置
Nandhini et al. IoT Based Smart Home Security System with Face Recognition and Weapon Detection Using Computer Vision

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231002

R150 Certificate of patent or registration of utility model

Ref document number: 7371595

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150