[go: up one dir, main page]

JP2003324720A - 監視システムと監視カメラ - Google Patents

監視システムと監視カメラ

Info

Publication number
JP2003324720A
JP2003324720A JP2002131308A JP2002131308A JP2003324720A JP 2003324720 A JP2003324720 A JP 2003324720A JP 2002131308 A JP2002131308 A JP 2002131308A JP 2002131308 A JP2002131308 A JP 2002131308A JP 2003324720 A JP2003324720 A JP 2003324720A
Authority
JP
Japan
Prior art keywords
characteristic information
information
surveillance camera
feature information
camera device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002131308A
Other languages
English (en)
Other versions
JP3999561B2 (ja
JP2003324720A5 (ja
Inventor
Kensuke Marutani
健介 丸谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2002131308A priority Critical patent/JP3999561B2/ja
Priority to US10/430,492 priority patent/US7227569B2/en
Publication of JP2003324720A publication Critical patent/JP2003324720A/ja
Publication of JP2003324720A5 publication Critical patent/JP2003324720A5/ja
Application granted granted Critical
Publication of JP3999561B2 publication Critical patent/JP3999561B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/009Signalling of the alarm condition to a substation whose identity is signalled to a central station, e.g. relaying alarm signals in order to extend communication range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654Details concerning communication with a camera
    • G08B13/19656Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】 複数のカメラを連携させて、移動体を追跡監
視することができる監視システムを提供する。 【解決手段】 複数の監視カメラ装置10が連携して追跡
対象の移動体の映像を捕捉する監視システムにおいて、
監視カメラ装置10の各々は画像認識機能12、13を備えて
おり、撮影した映像の中に移動体の特徴情報を認識した
監視カメラ装置は、前記映像を、ネットワーク80を介し
てモニター装置50に伝送するとともに、前記移動体の特
徴情報を、ネットワーク80を介して他の監視カメラ装置
10に伝送し、また、撮影した映像の中に他の監視カメラ
装置10から受信した特徴情報を認識した監視カメラ装置
10は、前記映像を、ネットワーク80を介してモニター装
置50に伝送するとともに、前記移動体の特徴情報を、ネ
ットワーク80を介して他の監視カメラ装置10に伝送する
ように構成している。そのため、この監視システムで
は、死角が多い空間でも、追跡対象を追跡し続けること
ができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数の監視カメラ
を備える監視システムと、このシステムで使用する監視
カメラに関し、特に、複数のカメラを連携させて、移動
する人物などの監視を実現するものである。
【0002】
【従来の技術】従来から、建物などに出入りする人の監
視を、監視カメラを用いて自動化するシステムが種々開
発されている。
【0003】特開2000−163600号公報には、
監視カメラに映る画像から顔の特徴を抽出し、データベ
ースに登録されている顔マスクと一致するかどうかを比
較する監視システムが記載されている。このシステムで
は、監視カメラの画像信号を解析する制御手段が、監視
カメラに映る人物の顔の位置を確認し、顔が画面の中央
に位置するように、監視カメラのパン、チルト及びズー
ムを制御して顔の動きを追跡する。そして、顔の停止画
像から目、鼻、口、眉毛の輪郭線を抽出し、この輪郭線
を基準として顔の特徴点を抽出し、データベースに登録
されている顔マスクと比較する。
【0004】また、特開平6−325180号公報に
は、複数のカメラを用いて移動体を追跡監視するシステ
ムが記載されている。このシステムは、図13に示すよ
うに、複数の監視カメラ装置1と、監視カメラ装置1の
映像を表示するモニター装置6と、監視カメラ装置1を
切り替えてモニター装置6への映像出力を変更するカメ
ラ切り替え装置2とを備えており、カメラ切り替え装置
2では、動き認識手段4が、移動体を映したモニター装
置6の画像から移動体の動きを検出し、カメラ切り替え
手段3が、カメラ設置情報5を参照して、移動体の移動
先の位置に設置された監視カメラ装置1の映像をモニタ
ー装置6に出力するように、監視カメラ装置1の切り替
えを行う。
【0005】
【発明が解決しようとする課題】しかし、屋内や屋外で
不審者などの移動を追跡監視する場合には、パン、チル
ト及びズームの制御が可能な監視カメラを使用しても、
一台のカメラで追跡できる範囲は限られる。また、複数
のカメラを用いるときでも、移動体の動きを検出して切
り替え先のカメラを決定する方式では、死角が発生した
ときに、移動体の位置・動き情報が途絶えるので、それ
以降、追跡が続けられなくなると言う問題がある。
【0006】そのため、広い場所や入り組んだ場所な
ど、カメラを網羅的に設置することが困難な環境では、
移動体の追跡は不可能である。また、カメラが故障した
ときも、同様に死角が発生するので、追跡が続けられな
くなる。また、この方式では、監視カメラの位置関係を
設定して、切り替え先のカメラを決定する必要があるた
め、監視カメラの移動や追加が容易ではないと言う問題
がある。
【0007】本発明は、こうした従来の問題点を解決す
るものであり、複数のカメラが連携して、移動体を追跡
監視することができる監視システムを提供し、また、そ
の監視カメラを提供することを目的としている。
【0008】
【課題を解決するための手段】そこで、本発明では、複
数の監視カメラ装置が連携して移動体の映像を捕捉する
監視システムにおいて、監視カメラ装置の各々は、撮影
した映像より移動体の特徴情報を抽出する画像認識機能
を備えており、撮影した映像の中に移動体の特徴情報を
認識した監視カメラ装置は、その映像をネットワークを
介して接続されたモニター装置に伝送し、前記移動体の
特徴情報が認識されなくなった場合には、他の監視カメ
ラ装置に追跡対象として前記移動体の特徴情報を伝送
し、撮影した映像の中に前記移動体の特徴情報を認識し
た他の監視カメラ装置は、その映像をネットワークを介
して接続されたモニター装置に伝送するように構成して
いる。
【0009】また、複数の監視カメラ装置が連携して追
跡対象の移動体の映像を捕捉する監視システムの監視カ
メラ装置において、映像を撮影してデジタル映像データ
を出力する画像撮影手段と、デジタル映像データを、画
像認識技術を用いて分析し移動体の特徴を示す特徴情報
を抽出する特徴情報抽出手段と、特徴情報抽出手段が抽
出した特徴情報と追跡対象の移動体の特徴情報とを比較
し、二つの特徴情報が同一であるか否かを判定する特徴
情報比較手段と、追跡対象の移動体の特徴情報を、ネッ
トワークを介して他の監視カメラ装置と交換する特徴情
報交換手段と、特徴情報比較手段が、双方の特徴情報を
同一であると判定したとき、画像撮影手段が撮影した映
像をネットワーク介してモニター装置に送信する映像伝
送手段とを設けている。
【0010】この監視システムでは、複数の監視カメラ
が相互間で追跡対象の特徴情報を受け渡し、その特徴情
報を用いて各監視カメラが追跡対象を追跡するので、死
角が多い空間でも、追跡対象を追跡し続けることができ
る。
【0011】
【発明の実施の形態】(第1の実施形態)本発明の第1
の実施形態における監視システムの監視カメラ装置は、
撮影した画像から移動体(人物)を認識する機能と、認
識した人物の情報を監視カメラ装置間で交換する機能と
を備えている。この監視システムは、図1に示すよう
に、複数の監視カメラ装置10と、監視カメラ装置10から
送られて来る追跡中の人物の映像を表示するモニター装
置50とを備えており、監視カメラ装置10の間、及び、監
視カメラ装置10とモニター装置50との間ではネットワー
ク80を介して、必要なデータの伝送が行われる。
【0012】各監視カメラ装置10(ここでは、監視カメ
ラ装置A、監視カメラ装置Bとする)は、映像を撮影し
デジタル映像データを出力する画像撮影手段11と、撮影
された画像の特徴情報を抽出する特徴情報抽出手段12
と、特徴情報抽出手段12が抽出した特徴情報と追跡中の
人物の特徴情報とを比較する特徴情報比較手段13と、追
跡中の人物の特徴情報が含まれる映像を、ネットワーク
80を介してモニター装置50に伝送する映像伝送手段14
と、追跡中の人物の特徴情報を、ネットワーク80を介し
て他の監視カメラ装置10との間で交換する特徴情報交換
手段15とを備えている。また、モニター装置50は、監視
カメラ装置10から送られて来る映像信号を受信する映像
受信手段51と、この映像を表示する表示手段52とを備え
ている。なお、モニター装置50は、表示手段52に代え
て、あるいは表示手段52とともに、映像信号を記録する
記録手段53を備えていても良い。
【0013】監視カメラ装置10の特徴情報抽出手段12が
抽出する特徴情報は、例えば、画像から切り出した移動
体の画像データであり、あるいは、形状、色、大きさな
どにより移動体を特定する情報であり、あるいは、顔の
目や鼻や口の形状、位置などを特定する情報である。こ
れらの特徴情報の抽出方法は、広く知られている。図2
は、画像から移動体の画像データを切り出す方法を模式
的に示している。この場合、フレームメモリに通常時の
画像(図2(a))を蓄積し、移動体を含む画像(図2
(b))との差分を取り、差分が存在する部分のオブジ
ェクトを抽出して、移動体だけを抽出する(図2
(c))。
【0014】また、図3は、抽出した移動体の画像か
ら、移動体を特定する形状、色、大きさなどの情報を作
る作り方について模式的に示している。この場合、画面
をブロックに分割し(図3(a))、各ブロックの代表
的な色などを抽出して、移動体の情報を抽象化する。ま
た、図4は、顔の特徴情報の作り方を模式的に示してお
り、顔の構成要素の形や位置の情報を抽出し、目、鼻、
口などの大きさや位置、形状の情報を取得する。この方
法は、前述する特開2000−163600号公報や、
特開2001−256496号公報などに詳述されてい
る。
【0015】次に、この監視システムの動作について説
明する。監視カメラ装置10の画像撮影手段11は、規定の
周期で画像データをデジタルデータに変換して、特徴情
報抽出手段12へ入力する。図5のフロー図は、特徴情報
抽出手段12の処理手順を示している。 ステップ1:特徴情報抽出手段12は、画像撮影手段11か
ら画像データが入力すると、 ステップ2:画像に移動体が含まれているか否かを識別
し、移動体がある場合には、 ステップ3:特徴情報を抽出し、 ステップ4:この特徴情報を特徴情報比較手段13に出力
する。 ステップ5:ステップ2において、画像に移動体が含ま
れていないときは、“移動体なし”を特徴情報比較手段
13に通知する。
【0016】特徴情報比較手段13は、図6に示すよう
に、追跡対象の特徴情報を示す追跡対象情報と、追跡を
継続する有効期限と、映像伝送手段14の伝送状態(映像
を伝送しているか否か)を示す情報とをメモリ130で保
持している。特徴情報比較手段13には、特徴情報抽出手
段12から特徴情報または“移動体なし”の情報が入力
し、また、特徴情報交換手段15が他の監視カメラ装置10
から受信した移動体の特徴情報が入力する。他の監視カ
メラ装置10から送られた移動体の特徴情報は、メモリ13
0に追跡対象情報として登録され、また、メモリ130に追
跡対象情報が登録されていないときに、特徴情報抽出手
段12から特徴情報が入力すると、この特徴情報が追跡対
象情報として登録される。
【0017】図7のフロー図は、特徴情報比較手段13の
処理手順を示している。 ステップ10:特徴情報比較手段13は、情報が入力する
と、 ステップ11:メモリ130の有効期限が有効か否かを識別
する。有効期限が切れているときは、 ステップ12:メモリ130の記録をすべて消去し、 ステップ13:映像伝送手段14が映像を伝送中であれば、 ステップ14:映像伝送の停止を指示する。
【0018】ステップ15:メモリ130の有効期限が有効
である場合、あるいは、メモリ130に何も記録されてい
ない場合(ステップ12でメモリを消去した場合を含む)
は、ステップ10で入力した情報の入力元を識別する。特
徴情報交換手段15から入力した情報であるときは、 ステップ16:この監視カメラ装置10での追跡対象が存在
していない場合に、 ステップ17:メモリ130に、追跡対象情報として特徴情
報を登録し、有効期限を現在時間+規定値に設定する。
【0019】また、ステップ15において、情報入力元が
特徴情報抽出手段12であるときは、 ステップ18:入力情報の種類を識別する。入力情報が特
徴情報のときは、 ステップ20:この監視カメラ装置10での追跡対象が存在
していない場合に、 ステップ17:メモリ130に、追跡対象情報として、入力
した特徴情報を登録し、有効期限を現在時間+規定値に
設定する。また、ステップ20において、追跡対象が存在
(メモリ130に追跡対象情報が存在)するときは、 ステップ21:入力した特徴情報と追跡対象の特徴情報と
を比較し、それらが同一か否かを識別する。
【0020】なお、画像を比較して同一性を判断する手
法は、良く知られている。簡単な方法では、例えば、特
徴情報が移動体の画像データやその抽象化したデータで
ある場合、 1.画像データの大きさと向きを、拡縮及び回転処理等
で補正する 2.画像データの差分を計算する 3.計算結果が規定の範囲以内であれば、同一と判定す
る と言った手順で判断が可能である。
【0021】また、その他の特徴情報も、多次元の数値
で表現できる情報へ変換できるので、各次元要素の差分
値の重み付き2乗和を利用すれば、同一性を判定でき
る。即ち、特徴情報(x1,y1,z1)と(x2,y2,z2)との同
一性は、 a1*(x1-x2)2+a2*(y1-y2)2+a3*(z1-z2)2 (但し、a1,a2,a3は特徴情報の種類により決定され
る)が一定値より小さければ、同一であると判定する。
【0022】また、より厳密な方法に関しては、下記の
文献 安居院 猛、長尾 智晴 共著「画像の処理と認識」株
式会社 昭晃堂 第6章「特徴空間とクラスタリング」 第7章「パターンマッチング」 などに示されている。
【0023】さて、ステップ21において、入力した特徴
情報と追跡対象の特徴情報とが同一であるときは、 ステップ22:追跡対象情報を、入力した特徴情報に更新
し、有効期限を現在時間+規定値に更新する。 ステップ23:映像伝送手段14が映像を伝送中でなけれ
ば、 ステップ24:映像伝送手段14に、画像撮影手段11が撮影
した映像の伝送を開始させる。
【0024】また、ステップ18において、入力情報が
“移動体なし”のときは、 ステップ19:この監視カメラ装置10が追跡対象を捉えて
いたか否かを識別し、捉えていたとき(即ち、いままで
監視カメラ装置10の映像に映っていた追跡対象の移動体
が画面から消えたとき)は、 ステップ26:映像伝送手段14が映像伝送中であれば、 ステップ27:映像伝送手段14に映像伝送を停止させ、 ステップ28:メモリ13に登録した追跡対象情報を特徴情
報交換手段15へ通知する。また、ステップ21において、
入力した特徴情報が追跡対象の特徴情報と異なる場合
も、追跡対象の移動体は画面から消えたと見られるの
で、ステップ26〜28の手順を行う。特徴情報交換手段15
は、特徴情報比較手段13より通知された特徴情報を他の
監視カメラ装置10の特徴情報交換手段15へ伝送する。
【0025】こうして、この監視システムでは、監視カ
メラ装置Aが追跡目標を見失うと、特徴情報抽出手段12
が抽出した特徴情報を、特徴情報交換手段15を用いて他
の監視カメラ装置に伝送し、他の監視カメラ装置Bは、
特徴情報交換手段15から受信した特徴情報と特徴情報抽
出手段12が抽出した特徴情報とを特徴情報比較手段13で
比較し、一致した場合に映像の伝送を開始する。こうし
て特徴情報交換手段15が、追跡対象を特定できる特徴情
報を受け渡すことで、複数の監視カメラ装置を用いて同
じ対象物を追跡することが可能になる。
【0026】図8は、建物内に監視カメラ装置A及び監
視カメラ装置Bが設置され、不審者が矢印の方向に移動
したときに(図8(a))、モニター装置50の表示画面
に映る映像(図8(b))を模式的に示している。監視
カメラ装置Aの映像から不審者が消えると、監視カメラ
装置Aから不審者の特徴情報を受け渡された監視カメラ
装置Bが不審者を捉えて、その映像をモニター装置50に
伝送する。
【0027】このように、この監視システムでは、死角
が多い空間でも、複数の監視カメラ装置が相互に情報交
換しながら同じ対象物を追跡することができる。
【0028】(第2の実施形態)第2の実施形態では、
モニター装置の側で追跡対象を指定できる監視システム
について説明する。このシステムのモニター装置は、図
9に示すように、監視カメラ装置10との間で特徴情報を
交換する特徴情報交換手段54と、監視者が追跡対象を指
示する追跡対象指示手段55とを備えている。その他の構
成は第1の実施形態(図1)と変わりがない。
【0029】この監視システムの動作を図10を使って
説明する。移動体の特徴情報を抽出した図10(a)の
監視カメラ装置Aは、画像撮影手段11で撮影した映像
(図10(a’))を映像伝送手段14からモニター装置
50に送信する。モニター装置50は、この映像を映像受信
手段51で受信して表示手段52に表示する。
【0030】モニター装置50の監視者は、表示された画
像から不審者を発見すると、追跡対象指示手段55から追
跡対象の不審者を指示する。モニター装置50の特徴情報
交換手段54は、この画像を送信した監視カメラ装置Aの
特徴情報交換手段15と通信して、追跡対象指示手段55が
指示した追跡対象の特徴情報を取得する(図9のの手
順)。次に、モニター装置50の特徴情報交換手段54は、
監視カメラ装置Aから取得した追跡対象の特徴情報を各
監視カメラ装置A、B、C、Dにブロードキャスト送信
する(図9のの手順)。各監視カメラ装置A、B、
C、Dの特徴情報交換手段54は、この特徴情報を受信し
て特徴情報比較手段13に出力し、この特徴情報が特徴情
報比較手段13のメモリ130に追跡対象情報として登録さ
れる。
【0031】その後の動作は、第1の実施形態と変わり
がない。即ち、追跡対象を画面に捉えている監視カメラ
装置Aは、追跡対象情報の有効期限を更新しながら、追
跡対象が撮影範囲から外れるまで、映像をモニター装置
50に送信し続け、追跡対象が撮影範囲から外れると、追
跡対象情報を他の監視カメラ装置B、C、Dに送信し
て、モニター装置50への映像の送信を停止する。
【0032】また、監視カメラ装置B、C、Dは、モニ
ター装置50から送られた特徴情報を有効期限が切れるま
でメモリ130に保持し、その間に追跡対象を画面で捉え
たときは、その映像をモニター装置50に送信する。モニ
ター装置50から送られた特徴情報の有効期限が切れた後
は、第1の実施形態と同様に、他の監視カメラ装置Aか
ら受信した特徴情報をメモリ130で保持することにな
る。
【0033】図10(b)において、監視カメラ装置
B、C、Dは、それぞれ移動体を検出するが、特徴情報
と一致する不審者を検出した監視カメラ装置Dだけが、
その映像(図10(b’))をモニター装置50に送信す
る。
【0034】このように、この監視システムでは、監視
者が追跡対象を指示し、この指示に応じて各監視カメラ
装置が自動的に追跡対象を追跡することができる。その
ため、人通りが多い場所等でも、追跡対象を明示的に指
定することができ、有効な追跡監視が可能になる。
【0035】(第3の実施形態)第3の実施形態では、
予め登録された人物以外の不審者だけを追跡する監視シ
ステムについて説明する。このシステムは、図11に示
すように、登録されたユーザの特徴情報が蓄積されたユ
ーザ特徴情報データベース70を備えている。その他の構
成は第1の実施形態(図1)と変わりがない。
【0036】このユーザ特徴情報データベース70には、
ユーザの特徴情報として、顔画像や、目、鼻、口などの
位置、形などの顔の特徴に関する情報、あるいは、虹彩
情報など、ユーザを一意に特定可能な情報を記述した登
録ユーザリストが格納されている。また、監視カメラ装
置10の特徴情報抽出手段12は、画像撮影手段11が撮影し
た画像から、これらの特徴情報を抽出する。特徴情報比
較手段13は、特徴情報抽出手段12から特徴情報が入力さ
れると、特徴情報交換手段15を介して、ユーザ特徴情報
データベース70から登録ユーザリストを取得し(図11
のの手順)、特徴情報抽出手段12から入力した特徴情
報が登録ユーザリストに載っているか否かを判定する。
そして、この特徴情報が登録ユーザリストに載っていな
い場合にのみ、メモリ130にその特徴情報を追跡対象情
報として記録する。
【0037】その後の動作は、第1の実施形態と変わり
がない。即ち、追跡対象を画面に捉えている監視カメラ
装置Aは、追跡対象が撮影範囲から外れるまで、映像を
モニター装置50に送信し続け、追跡対象が撮影範囲から
外れると、追跡対象情報を他の監視カメラ装置に送信し
て、モニター装置50への映像の送信を停止する。また、
他の監視カメラ装置10は、監視カメラ装置Aから受信し
た特徴情報をメモリ130で保持し、追跡対象を画面に捉
えたときに、その映像をモニター装置50に送信する。
【0038】このように、この監視システムでは、登録
ユーザリストに載っていない不審者のみが追跡対象とさ
れ、その不審者が映る監視カメラ装置10の映像だけがモ
ニター装置50に送られて表示または記録される。また、
逆に、登録ユーザリスト(所謂ブラックリスト)に載っ
ている人物のみを追跡対象とし、その人物が映る監視カ
メラ装置10の映像だけをモニター装置50に送って表示ま
たは記録することも可能である。
【0039】なお、虹彩認証の技術は、日本自動認識シ
ステム協会編、瀬戸洋一他著「これでわかったバイオメ
トリクス」(オーム社)などに記載されている。
【0040】(第4の実施形態)第4の実施形態では、
認証機能を異にする複数の監視カメラ装置が連携して追
跡対象を追跡する監視システムについて説明する。この
システムでは、図12に示すように、複数の認証機能を
備えた高機能監視カメラ装置20と、一つの認証機能を備
えた単機能監視カメラ装置30、40とがネットワーク80を
介して接続している。
【0041】高機能監視カメラ装置20は、画像撮影手段
11、映像伝送手段14、特徴情報交換手段15の他に、特徴
情報を他の監視カメラ装置との間で交換する際に、認識
能力についての能力交換を行う特徴情報調停手段16を備
え、また、特徴情報抽出手段及び特徴情報比較手段とし
て、例えば、追跡対象の顔に関する認識機能を有する特
徴情報抽出手段a(32)及び特徴情報比較手段a(33)
と、追跡対象の全体形状に関する認識機能を有する特徴
情報抽出手段b(42)及び特徴情報比較手段b(43)と
を備えている。また、単機能監視カメラ装置30は、画像
撮影手段11、映像伝送手段14、特徴情報交換手段15、及
び、特徴情報調停手段16と、追跡対象の顔に関する認識
機能を有する特徴情報抽出手段a(32)と特徴情報比較
手段a(33)とを備えている。
【0042】一方、単機能監視カメラ装置40は、画像撮
影手段11、映像伝送手段14、特徴情報交換手段15、及
び、特徴情報調停手段16と、追跡対象の全体形状に関す
る認識機能を有する特徴情報抽出手段b(42)と特徴情
報比較手段b(43)とを備えている。
【0043】次に、この監視システムの動作について説
明する。高機能監視カメラ装置20は、特徴情報交換手段
15を通じて、単機能監視カメラ装置30、40に特徴情報を
送信する場合、まず、特徴情報調停手段16により、認識
能力についての能力交換を行う(図12のの手順)。
能力交換は、H.323やSIP(Session Initiation
Protocol)などのマルチメディア情報通信プロトコル
に搭載される機能であり、相手と共通の通信方式を決定
するため、通信の始めに、自分が扱える情報を交換す
る。
【0044】例えば、高機能監視カメラ装置20は、通信
開始時に、通信開始要求と、高機能監視カメラ装置20が
自分で伝送できる特徴情報を列挙した特徴情報形式(顔
認識、物体認識)とを単機能監視カメラ装置30、40に送
信する。単機能監視カメラ装置30は、列挙された情報の
中から自分が利用できる情報を選択し、通信要求受理
と、特徴情報形式(顔認識)とを高機能監視カメラ装置
20に返信する。これを受けて、高機能監視カメラ装置20
は、単機能監視カメラ装置30に対しては、特徴情報抽出
手段a(32)が抽出した顔認識の特徴情報を単機能監視
カメラ装置30に送信する(図12のの手順)。
【0045】一方、単機能監視カメラ装置30は、列挙さ
れた情報の中から自分が利用できる情報を選択し、通信
要求受理と、特徴情報形式(物体認識)とを高機能監視
カメラ装置20に返信する。これを受けて、高機能監視カ
メラ装置20は、単機能監視カメラ装置40に対しては、特
徴情報抽出手段b(42)が抽出した物体認識の特徴情報
を単機能監視カメラ装置40に送信する。
【0046】このように、この監視システムでは、認証
機能を異にする複数の監視カメラ装置が、相互の間で共
通して扱うことができる特徴情報を交換しながら、連携
して追跡対象を追跡することが可能になる。
【0047】施設や特定地域を監視する場合には、次の
ような形態でこの監視システムを適用することにより、
効率的な監視を行うことができる。施設や地域の入口に
顔特徴情報(顔認証など特定の部位の高精度な特徴情
報)と全体特徴情報(体の形状や色情報などの低精度だ
が適用範囲の広い特徴情報)とを取得可能な高機能監視
カメラ装置を配置し、その他の場所には、全体特徴情報
のみが取得可能な単機能監視カメラ装置を配置する。ま
た、第3の実施形態で説明した登録ユーザリストに、施
設の利用が許可された会員や地域住民の顔特徴情報を登
録する。
【0048】入口に配置した高機能監視カメラ装置は、
入口を通過する人物の顔特徴情報を取得して、登録ユー
ザリストの顔特徴情報と比較し、登録ユーザリストに載
っていない不審者を認識すると、その映像をモニター装
置に送信するとともに、各単機能監視カメラ装置に不審
者の全体特徴情報を送信する。各単機能監視カメラ装置
は、撮影画像の中で不審者の全体特徴情報を捉えた場合
に、その映像をモニター装置に送信する。
【0049】このように、各設置場所に、その場所に合
った機能の監視カメラを配置して、各監視カメラを連携
させることにより、高度な監視が実現できる。また、高
機能カメラを一台だけ使用し、他は低機能カメラを使用
することにより、コストが削減できる。また、同様に、
人がよく通る廊下やホールに高機能カメラを一台配置
し、人が通らない場所や各部屋には単機能カメラを配置
するような応用も可能である。
【0050】
【発明の効果】以上の説明から明らかなように、本発明
の監視システムでは、知能化した複数の監視カメラ装置
が連携を取りながら、自律的に追跡対象を追跡し、その
映像をモニター装置に伝送する。従って、監視者は、特
別の操作を行わなくても、不審者などをモニター上で容
易に追跡監視することができる。
【0051】また、この監視システムでは、不審者が監
視カメラの死角に入ったときでも、その後、監視カメラ
が追跡対象者を映像に捉えた段階で、自動的に不審者の
追跡が再開される。そのため、死角が多い空間において
も、同じ対象物を追跡し続けることができる。また、監
視カメラの設置個数を減らすことも可能である。
【図面の簡単な説明】
【図1】本発明の第1の実施形態における監視システム
の構成を示すブロック図
【図2】第1の実施形態における監視カメラ装置の物体
切り出しによる画像認識方法を示す説明図
【図3】第1の実施形態における監視カメラ装置の物体
情報を抽象化する画像認識方法を示す説明図
【図4】第1の実施形態における監視カメラ装置の顔の
特徴情報を抽出する画像認識方法を示す説明図
【図5】第1の実施形態における特徴情報抽出手段の動
作を示すフロー図
【図6】第1の実施形態における特徴情報比較手段のメ
モリ構成を示す図
【図7】第1の実施形態における特徴情報比較手段の動
作を示すフロー図
【図8】第1の実施形態における監視システムのモニタ
ー表示を説明する図
【図9】本発明の第2の実施形態における監視システム
の構成を示すブロック図
【図10】第2の実施形態における監視システムのモニ
ター表示を説明する図
【図11】本発明の第3の実施形態における監視システ
ムの構成を示すブロック図
【図12】本発明の第4の実施形態における監視システ
ムの構成を示すブロック図
【図13】従来の監視システムの構成を示すブロック図
【符号の説明】
1 監視カメラ装置 2 カメラ切り替え装置 3 カメラ切り替え手段 4 動き認識手段 5 カメラ設置情報 6 モニター装置 10 監視カメラ装置 11 画像撮影手段 12 特徴情報抽出手段 13 特徴情報比較手段 14 映像伝送手段 15 特徴情報交換手段 16 特徴情報調停手段 20 高機能監視カメラ装置 30 単機能監視カメラ装置 32 特徴情報抽出手段a 33 特徴情報比較手段a 40 単機能監視カメラ装置 42 特徴情報抽出手段b 43 特徴情報比較手段b 50 モニター装置 51 映像受信手段 52 表示手段 53 記録手段 54 特徴情報交換手段 55 追跡対象指示手段 70 ユーザ特徴情報データベース 80 ネットワーク 130 メモリ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G08B 25/00 510 G08B 25/00 510M 25/04 25/04 E 25/10 25/10 D Fターム(参考) 5C054 CH08 DA09 EA01 EA03 FC12 FC15 HA18 HA19 5C084 AA02 AA07 BB33 CC17 DD12 EE02 FF02 FF08 FF27 GG07 GG09 GG43 GG78 HH10 HH12 HH13 5C087 AA02 AA03 AA09 AA24 AA25 BB12 BB13 BB20 BB65 BB73 BB74 DD05 EE05 EE19 FF01 FF03 FF04 FF17 FF19 FF20 GG02 GG11 GG18 GG20 GG21 GG70

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】 複数の監視カメラ装置が連携して移動体
    の映像を捕捉する監視システムであって、 前記監視カメラ装置の各々は、撮影した映像より移動体
    の特徴情報を抽出する画像認識機能を備えており、撮影
    した映像の中に移動体の特徴情報を認識した監視カメラ
    装置は、前記映像をネットワークを介して接続されたモ
    ニター装置に伝送し、前記移動体の特徴情報が認識され
    なくなった場合には、他の監視カメラ装置に追跡対象と
    して前記移動体の特徴情報を伝送し、撮影した映像の中
    に前記移動体の特徴情報を認識した他の監視カメラ装置
    は、前記映像をネットワークを介して接続されたモニタ
    ー装置に伝送することを特徴とする監視システム。
  2. 【請求項2】 前記モニター装置が、前記監視カメラ装
    置より伝送された前記映像の中から追跡対象の移動体を
    指定することを特徴とする請求項1に記載の監視システ
    ム。
  3. 【請求項3】 登録された特徴情報が格納された特徴情
    報データベースを備えており、撮影した映像の中に移動
    体の特徴情報を認識した前記監視カメラ装置は、ネット
    ワークを介して前記特徴情報データベースに登録された
    前記特徴情報を参照し、前記移動体を追跡対象とすべき
    か否かを判定することを特徴とする請求項1に記載の監
    視システム。
  4. 【請求項4】 前記特徴情報が、映像データから背景情
    報を取り除いて抽出した移動体の画像データであること
    を特徴とする請求項1から3のいずれかに記載の監視シ
    ステム。
  5. 【請求項5】 前記特徴情報が、映像データから背景情
    報を取り除いて抽出した移動体の画像データの形状、
    色、または大きさにより前記移動体を特定する情報を含
    んでいることを特徴とする請求項1から3のいずれかに
    記載の監視システム。
  6. 【請求項6】 前記特徴情報が、人間の顔の特徴を示す
    情報であることを特徴とする請求項1から3のいずれか
    に記載の監視システム。
  7. 【請求項7】 前記監視カメラ装置は、前記特徴情報
    を、ネットワークを介して他の監視カメラ装置に伝送す
    るとき、相手装置と画像認識機能に関する能力交換を実
    施して、伝送する前記特徴情報を決定することを特徴と
    する監視システム。
  8. 【請求項8】 人物の顔の特徴情報と人物全体の特徴情
    報とを認識する画像認識機能を備えた複合機能監視カメ
    ラ装置を入口に配置し、人物全体の特徴情報を認識する
    画像認識機能のみを備えた単機能監視カメラ装置をその
    他の場所に配置したことを特徴とする請求項7に記載の
    監視システム。
  9. 【請求項9】 人物の顔の特徴情報と人物全体の特徴情
    報とを認識する画像認識機能を備えた複合機能監視カメ
    ラ装置を廊下またはホールに配置し、人物全体の特徴情
    報を認識する画像認識機能のみを備えた単機能監視カメ
    ラ装置をその他の場所に配置したことを特徴とする請求
    項7に記載の監視システム。
  10. 【請求項10】 複数の監視カメラ装置が連携して追跡
    対象の移動体の映像を捕捉する監視システムの監視カメ
    ラ装置であって、 映像を撮影してデジタル映像データを出力する画像撮影
    手段と、 前記デジタル映像データを、画像認識技術を用いて分析
    し移動体の特徴を示す特徴情報を抽出する特徴情報抽出
    手段と、 前記特徴情報抽出手段が抽出した特徴情報と追跡対象の
    移動体の特徴情報とを比較し、二つの特徴情報が同一で
    あるか否かを判定する特徴情報比較手段と、 追跡対象の移動体の特徴情報を、ネットワークを介して
    他の監視カメラ装置と交換する特徴情報交換手段と、 前記特徴情報比較手段が、双方の特徴情報を同一である
    と判定したとき、前記画像撮影手段が撮影した映像をネ
    ットワーク介してモニター装置に送信する映像伝送手段
    とを備えることを特徴とする監視カメラ装置。
  11. 【請求項11】 前記特徴情報抽出手段が、前記デジタ
    ル映像データから背景情報を取り除いて移動体の画像デ
    ータを抽出することを特徴とする請求項10に記載の監
    視カメラ装置。
  12. 【請求項12】 前記特徴情報抽出手段が、前記デジタ
    ル映像データから背景情報を取り除いて移動体の画像デ
    ータを抽出し、前記画像データの形状、色、または大き
    さにより前記移動体を特定する情報を生成することを特
    徴とする請求項10に記載の監視カメラ装置。
  13. 【請求項13】 前記特徴情報抽出手段が、前記デジタ
    ル映像データから人間の顔の特徴を示す情報を抽出する
    ことを特徴とする請求項12に記載の監視カメラ装置。
  14. 【請求項14】 前記特徴情報抽出手段が、前記デジタ
    ル映像データから虹彩に関する情報を抽出することを特
    徴とする請求項10に記載の監視カメラ装置。
  15. 【請求項15】 前記特徴情報交換手段が、前記モニタ
    ー装置から追跡対象の移動体の特徴情報を受信し、前記
    特徴情報比較手段は、前記特徴情報抽出手段が抽出した
    特徴情報と前記特徴情報交換手段がモニター装置から受
    信した特徴情報とを比較して、二つの特徴情報が同一で
    あるか否かを判定することを特徴とする請求項10に記
    載の監視カメラ装置。
  16. 【請求項16】 前記特徴情報比較手段は、登録された
    特徴情報が格納されている特徴情報データベースを参照
    し、前記特徴情報データベースに格納されている特徴情
    報を判定の対象から除外することを特徴とする請求項1
    0に記載の監視カメラ装置。
  17. 【請求項17】 前記特徴情報抽出手段として、前記デ
    ジタル映像データを、異なる画像認識技術を用いて分析
    し移動体の特徴を示す複数種類の特徴情報を抽出する複
    数の特徴情報抽出手段を備え、前記特徴情報比較手段と
    して、前記特徴情報抽出手段が抽出した複数の特徴情報
    のそれぞれについて、追跡対象の移動体の特徴情報との
    同一性を判定する複数の特徴情報比較手段を備えること
    を特徴とする請求項10に記載の監視カメラ装置。
  18. 【請求項18】 前記特徴情報交換手段が他の監視カメ
    ラ装置と追跡対象の移動体の特徴情報を交換するとき、
    相手装置と画像認識機能に関する能力交換を行い、伝送
    する特徴情報の種類を決定する特徴情報調停手段を備え
    ることを特徴とする請求項10または請求項17に記載
    の監視カメラ装置。
JP2002131308A 2002-05-07 2002-05-07 監視システムと監視カメラ Expired - Lifetime JP3999561B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002131308A JP3999561B2 (ja) 2002-05-07 2002-05-07 監視システムと監視カメラ
US10/430,492 US7227569B2 (en) 2002-05-07 2003-05-06 Surveillance system and a surveillance camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002131308A JP3999561B2 (ja) 2002-05-07 2002-05-07 監視システムと監視カメラ

Publications (3)

Publication Number Publication Date
JP2003324720A true JP2003324720A (ja) 2003-11-14
JP2003324720A5 JP2003324720A5 (ja) 2005-09-15
JP3999561B2 JP3999561B2 (ja) 2007-10-31

Family

ID=29543989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002131308A Expired - Lifetime JP3999561B2 (ja) 2002-05-07 2002-05-07 監視システムと監視カメラ

Country Status (2)

Country Link
US (1) US7227569B2 (ja)
JP (1) JP3999561B2 (ja)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250887A (ja) * 2004-03-04 2005-09-15 Matsushita Electric Ind Co Ltd 監視装置、監視方法、監視プログラム及び記録媒体
JP2006059053A (ja) * 2004-08-19 2006-03-02 Hitachi Ltd 施設内情報提供システム及び施設内情報提供方法
WO2006075352A1 (en) * 2005-01-14 2006-07-20 Franco Valentini Surveillance method and surveillance device operating with said method
JP2006209585A (ja) * 2005-01-31 2006-08-10 Mitsubishi Electric Corp 防犯システム
JP2006245795A (ja) * 2005-03-01 2006-09-14 Toa Corp 動体追跡装置及び動体追跡表示装置
WO2007063970A1 (ja) * 2005-11-30 2007-06-07 Matsushita Electric Industrial Co., Ltd. 監視カメラシステム及び顔画像追跡記録方法
JP2007142527A (ja) * 2005-11-15 2007-06-07 Hitachi Ltd 移動体監視システム、移動体特徴量算出装置およびカメラ間移動体照合追跡装置
KR100744668B1 (ko) 2006-01-27 2007-08-02 덕성여자대학교 산학협력단 네트워크 카메라를 이용한 다중 사람추적 시스템
WO2007119355A1 (ja) 2006-03-15 2007-10-25 Omron Corporation 追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体
JP2007336035A (ja) * 2006-06-13 2007-12-27 Matsushita Electric Ind Co Ltd ネットワークカメラ及びネットワークカメラシステム
JP2010107114A (ja) * 2008-10-30 2010-05-13 Mitsubishi Electric Corp 撮像装置及び空気調和機
KR100964726B1 (ko) 2008-07-14 2010-06-21 한국산업기술대학교산학협력단 영상 카메라 시스템에서 이동 물체 특성을 이용한 이동물체 추적 방법
JP2011244154A (ja) * 2010-05-17 2011-12-01 Canon Inc 画像検出システム、画像検出方法および画像制御プログラム
JP2012015723A (ja) * 2010-06-30 2012-01-19 Panasonic Corp プレ録画データ保存装置及びプレ録画データ保存方法
US20120045096A1 (en) * 2009-07-22 2012-02-23 The University Of Tokyo Monitoring camera terminal
KR101130034B1 (ko) 2010-04-14 2012-03-28 부산대학교 산학협력단 다중 카메라 시스템
KR101136366B1 (ko) * 2010-02-26 2012-04-18 주식회사 비츠로시스 객체 자동 추적 시스템
KR101155184B1 (ko) 2010-04-01 2012-06-13 대덕대학산학협력단 복수의 촬영수단간 협업을 이용한 영상추적 시스템
JP2012128877A (ja) * 2012-03-19 2012-07-05 Toshiba Corp 不審行動検知システム及び方法
KR101187901B1 (ko) * 2007-07-03 2012-10-05 삼성테크윈 주식회사 지능형 감시 시스템 및 그의 제어방법
KR101224017B1 (ko) * 2011-04-21 2013-01-21 강원대학교산학협력단 지능형 영상 감시 시스템
JP2013118561A (ja) * 2011-12-05 2013-06-13 Nikon Corp 電子カメラおよび電子カメラの制御方法
JP2013145481A (ja) * 2012-01-16 2013-07-25 Toshiba Corp カメラ装置、通信システム及びカメラシステム
JP2013153304A (ja) * 2012-01-25 2013-08-08 Hitachi Kokusai Electric Inc 監視装置及び監視カメラシステム並びに映像送信方法
KR101324221B1 (ko) * 2008-08-27 2013-11-06 삼성테크윈 주식회사 영상 촬영을 통한 물체 추적 시스템 및 그 방법
KR101332820B1 (ko) * 2012-02-22 2013-11-27 주식회사 티앤이에스 객체 추적 시스템 및 방법, 객체관리장치 및 그 장치의 구동방법, 촬영장치 및 그 장치의 구동방법
CN104853150A (zh) * 2015-02-11 2015-08-19 居锦武 一种多摄像机目标协同跟踪技术
WO2016031720A1 (ja) * 2014-08-25 2016-03-03 株式会社日立国際電気 監視カメラシステム
JP2016042720A (ja) * 2015-10-30 2016-03-31 株式会社ニコン 電子機器およびプログラム
WO2016132769A1 (ja) * 2015-02-19 2016-08-25 シャープ株式会社 撮影装置、撮影装置の制御方法、および制御プログラム
WO2016151932A1 (ja) * 2015-03-20 2016-09-29 日本電気株式会社 監視システム、監視方法および監視プログラム
JP2017063266A (ja) * 2015-09-24 2017-03-30 富士通株式会社 情報処理方法、情報処理装置、及びプログラム
JP2019087824A (ja) * 2017-11-02 2019-06-06 日本信号株式会社 監視システム
JP2020107213A (ja) * 2018-12-28 2020-07-09 国立大学法人佐賀大学 分類器生成装置、対象者推定装置及びそれらのプログラム、並びに対象者推定システム
US10863142B2 (en) 2016-03-25 2020-12-08 Panasonic Intellectual Property Management Co., Ltd. Monitoring device and monitoring system
JP7672469B1 (ja) 2023-11-07 2025-05-07 ソフトバンク株式会社 システム、通信装置、プログラム、及び情報処理方法

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7292723B2 (en) * 2003-02-26 2007-11-06 Walker Digital, Llc System for image analysis in a network that is structured with multiple layers and differentially weighted neurons
JP4476744B2 (ja) * 2003-09-02 2010-06-09 富士フイルム株式会社 撮像システム、及びプログラム
JP4339762B2 (ja) * 2003-09-02 2009-10-07 富士フイルム株式会社 認証システム、及びプログラム
US20050084179A1 (en) * 2003-09-04 2005-04-21 Keith Hanna Method and apparatus for performing iris recognition from an image
JP2005159691A (ja) * 2003-11-26 2005-06-16 Hitachi Ltd 監視システム
US7924323B2 (en) 2003-12-24 2011-04-12 Walker Digital, Llc Method and apparatus for automatically capturing and managing images
JP4587166B2 (ja) * 2004-09-14 2010-11-24 キヤノン株式会社 移動体追跡システム、撮影装置及び撮影方法
US8902320B2 (en) * 2005-01-31 2014-12-02 The Invention Science Fund I, Llc Shared image device synchronization or designation
US7920169B2 (en) 2005-01-31 2011-04-05 Invention Science Fund I, Llc Proximity of shared image devices
US9325781B2 (en) 2005-01-31 2016-04-26 Invention Science Fund I, Llc Audio sharing
US9489717B2 (en) 2005-01-31 2016-11-08 Invention Science Fund I, Llc Shared image device
US8606383B2 (en) * 2005-01-31 2013-12-10 The Invention Science Fund I, Llc Audio sharing
US20060174203A1 (en) 2005-01-31 2006-08-03 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Viewfinder for shared image device
US20060170956A1 (en) 2005-01-31 2006-08-03 Jung Edward K Shared image devices
US7876357B2 (en) 2005-01-31 2011-01-25 The Invention Science Fund I, Llc Estimating shared image device operational capabilities or resources
US9082456B2 (en) 2005-01-31 2015-07-14 The Invention Science Fund I Llc Shared image device designation
US9124729B2 (en) 2005-01-31 2015-09-01 The Invention Science Fund I, Llc Shared image device synchronization or designation
US9910341B2 (en) 2005-01-31 2018-03-06 The Invention Science Fund I, Llc Shared image device designation
US20060221197A1 (en) * 2005-03-30 2006-10-05 Jung Edward K Image transformation estimator of an imaging device
US7760908B2 (en) * 2005-03-31 2010-07-20 Honeywell International Inc. Event packaged video sequence
US7801328B2 (en) * 2005-03-31 2010-09-21 Honeywell International Inc. Methods for defining, detecting, analyzing, indexing and retrieving events using video image processing
US9451200B2 (en) 2005-06-02 2016-09-20 Invention Science Fund I, Llc Storage access technique for captured data
US9167195B2 (en) 2005-10-31 2015-10-20 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US20070222865A1 (en) 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
US9093121B2 (en) 2006-02-28 2015-07-28 The Invention Science Fund I, Llc Data management of an audio data stream
US7782365B2 (en) 2005-06-02 2010-08-24 Searete Llc Enhanced video/still image correlation
US8072501B2 (en) * 2005-10-31 2011-12-06 The Invention Science Fund I, Llc Preservation and/or degradation of a video/audio data stream
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US9076208B2 (en) 2006-02-28 2015-07-07 The Invention Science Fund I, Llc Imagery processing
US9942511B2 (en) 2005-10-31 2018-04-10 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US8233042B2 (en) * 2005-10-31 2012-07-31 The Invention Science Fund I, Llc Preservation and/or degradation of a video/audio data stream
US9819490B2 (en) 2005-05-04 2017-11-14 Invention Science Fund I, Llc Regional proximity for shared image device(s)
US9967424B2 (en) 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US7872675B2 (en) * 2005-06-02 2011-01-18 The Invention Science Fund I, Llc Saved-image management
US9621749B2 (en) 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
US8964054B2 (en) 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
US9001215B2 (en) 2005-06-02 2015-04-07 The Invention Science Fund I, Llc Estimating shared image device operational capabilities or resources
US8681225B2 (en) 2005-06-02 2014-03-25 Royce A. Levien Storage access technique for captured data
US8253821B2 (en) * 2005-10-31 2012-08-28 The Invention Science Fund I, Llc Degradation/preservation management of captured data
US9191611B2 (en) 2005-06-02 2015-11-17 Invention Science Fund I, Llc Conditional alteration of a saved image
US20060269090A1 (en) * 2005-05-27 2006-11-30 Roman Sapiejewski Supra-aural headphone noise reducing
JP4947936B2 (ja) * 2005-08-11 2012-06-06 ソニー株式会社 モニタリングシステムおよび管理装置
EP1762994B1 (de) * 2005-09-07 2008-12-10 Siemens Building Technologies Fire & Security Products GmbH & Co. oHG Intelligente Überwachungskamera
US20070071404A1 (en) * 2005-09-29 2007-03-29 Honeywell International Inc. Controlled video event presentation
US20070120980A1 (en) 2005-10-31 2007-05-31 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Preservation/degradation of video/audio aspects of a data stream
DE102006010955B3 (de) * 2006-03-03 2007-10-04 Siemens Ag Verfahren zur visuellen Überwachung eines Raumbereiches
JP2007241377A (ja) * 2006-03-06 2007-09-20 Sony Corp 検索システム、撮像装置、データ保存装置、情報処理装置、撮像画像処理方法、情報処理方法、プログラム
WO2007147171A2 (en) * 2006-06-16 2007-12-21 Verificon Corporation Scalable clustered camera system and method for multiple object tracking
JP4148285B2 (ja) * 2006-07-27 2008-09-10 ソニー株式会社 監視装置、フィルタ較正方法及びフィルタ較正プログラム
JP2008035095A (ja) * 2006-07-27 2008-02-14 Sony Corp 監視装置、監視システム、監視方法及びプログラム
US8121356B2 (en) * 2006-09-15 2012-02-21 Identix Incorporated Long distance multimodal biometric system and method
CN101652999B (zh) * 2007-02-02 2016-12-28 霍尼韦尔国际公司 用于管理实况视频数据的系统和方法
US8760519B2 (en) * 2007-02-16 2014-06-24 Panasonic Corporation Threat-detection in a distributed multi-camera surveillance system
WO2009034465A1 (en) * 2007-09-12 2009-03-19 Digisensory Technologies Pty Ltd Smart network camera system-on-a-chip
JP4959535B2 (ja) * 2007-12-13 2012-06-27 株式会社日立製作所 撮像装置
US8693738B2 (en) 2008-01-29 2014-04-08 Canon Kabushiki Kaisha Imaging processing system and method and management apparatus
CN106657812B (zh) 2008-03-03 2020-04-03 威智伦分析公司 一种相机系统及动态物件分类方法
JP2009296331A (ja) * 2008-06-05 2009-12-17 Hitachi Ltd セキュリティシステム
TW201006230A (en) * 2008-07-24 2010-02-01 Novatek Microelectronics Corp Static image presentation method
US9277878B2 (en) * 2009-02-26 2016-03-08 Tko Enterprises, Inc. Image processing sensor systems
US9299231B2 (en) * 2009-02-26 2016-03-29 Tko Enterprises, Inc. Image processing sensor systems
US9740921B2 (en) 2009-02-26 2017-08-22 Tko Enterprises, Inc. Image processing sensor systems
WO2010099575A1 (en) 2009-03-04 2010-09-10 Honeywell International Inc. Systems and methods for managing video data
US8320617B2 (en) * 2009-03-27 2012-11-27 Utc Fire & Security Americas Corporation, Inc. System, method and program product for camera-based discovery of social networks
JP5155926B2 (ja) * 2009-03-31 2013-03-06 綜合警備保障株式会社 警備システムおよび警備方法
JP5202419B2 (ja) * 2009-03-31 2013-06-05 綜合警備保障株式会社 警備システムおよび警備方法
JP5227911B2 (ja) * 2009-07-22 2013-07-03 株式会社日立国際電気 監視映像検索装置及び監視システム
US8908033B2 (en) * 2009-09-29 2014-12-09 Avaya Inc. Utilizing presence information for the purpose of enhanced surveillance
TW201138466A (en) * 2010-04-23 2011-11-01 Hon Hai Prec Ind Co Ltd Video camera and method for monitoring videos of a person or an object
CZ2011285A3 (cs) * 2011-05-16 2013-05-29 Vysoké ucení technické v Brne Decentralizovaná dohledová sít umoznující dotazování a analýzu dohledových dat
US20130136298A1 (en) * 2011-11-29 2013-05-30 General Electric Company System and method for tracking and recognizing people
US9615015B2 (en) * 2012-01-27 2017-04-04 Disney Enterprises, Inc. Systems methods for camera control using historical or predicted event data
JP2013192154A (ja) 2012-03-15 2013-09-26 Omron Corp 監視装置、信頼度算出プログラム、および信頼度算出方法
JP6141079B2 (ja) 2013-04-08 2017-06-07 キヤノン株式会社 画像処理システム、画像処理装置、それらの制御方法、及びプログラム
JP2015088095A (ja) * 2013-11-01 2015-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
KR20150071504A (ko) * 2013-12-18 2015-06-26 한국전자통신연구원 카메라 추적 제어권 자동 전환 시스템 및 이의 카메라 추적 제어권 자동 전환 방법
EP3198572B1 (en) * 2014-09-25 2020-11-11 Guerzoni, Filippo Surveillance method, device and system
CN104320623B (zh) * 2014-11-03 2017-09-15 四川理工学院 一种智能监控系统记录异常目标移动路线的方法
JP6572535B2 (ja) * 2014-12-10 2019-09-11 株式会社リコー 画像認識システム、サーバ装置及び画像認識方法
US10043058B2 (en) * 2016-03-09 2018-08-07 International Business Machines Corporation Face detection, representation, and recognition
US10318836B2 (en) 2016-03-22 2019-06-11 Sensormatic Electronics, LLC System and method for designating surveillance camera regions of interest
US10665071B2 (en) * 2016-03-22 2020-05-26 Sensormatic Electronics, LLC System and method for deadzone detection in surveillance camera network
US10764539B2 (en) 2016-03-22 2020-09-01 Sensormatic Electronics, LLC System and method for using mobile device of zone and correlated motion detection
US11216847B2 (en) 2016-03-22 2022-01-04 Sensormatic Electronics, LLC System and method for retail customer tracking in surveillance camera network
US10347102B2 (en) 2016-03-22 2019-07-09 Sensormatic Electronics, LLC Method and system for surveillance camera arbitration of uplink consumption
US9965680B2 (en) 2016-03-22 2018-05-08 Sensormatic Electronics, LLC Method and system for conveying data from monitored scene via surveillance cameras
US10475315B2 (en) 2016-03-22 2019-11-12 Sensormatic Electronics, LLC System and method for configuring surveillance cameras using mobile computing devices
US10733231B2 (en) 2016-03-22 2020-08-04 Sensormatic Electronics, LLC Method and system for modeling image of interest to users
US10192414B2 (en) 2016-03-22 2019-01-29 Sensormatic Electronics, LLC System and method for overlap detection in surveillance camera network
US11601583B2 (en) 2016-03-22 2023-03-07 Johnson Controls Tyco IP Holdings LLP System and method for controlling surveillance cameras
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US10957171B2 (en) 2016-07-11 2021-03-23 Google Llc Methods and systems for providing event alerts
JP6885682B2 (ja) * 2016-07-15 2021-06-16 パナソニックi−PROセンシングソリューションズ株式会社 監視システム、管理装置、及び監視方法
JP2018133639A (ja) * 2017-02-14 2018-08-23 三菱電機株式会社 サイバーフィジカルセキュリティシステム
US11615566B2 (en) 2017-05-10 2023-03-28 Fotonation Limited Multi-camera vehicle vision system and method
US10331960B2 (en) 2017-05-10 2019-06-25 Fotonation Limited Methods for detecting, identifying and displaying object information with a multi-camera vision system
US10740627B2 (en) 2017-05-10 2020-08-11 Fotonation Limited Multi-camera vision system and method of monitoring
US10250812B2 (en) 2017-05-17 2019-04-02 Caterpillar Inc. Display system for machine
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10599950B2 (en) 2017-05-30 2020-03-24 Google Llc Systems and methods for person recognition data management
US10482613B2 (en) 2017-07-06 2019-11-19 Wisconsin Alumni Research Foundation Movement monitoring system
US10810414B2 (en) 2017-07-06 2020-10-20 Wisconsin Alumni Research Foundation Movement monitoring system
US11450148B2 (en) 2017-07-06 2022-09-20 Wisconsin Alumni Research Foundation Movement monitoring system
CA3071669A1 (en) 2017-08-02 2019-02-07 Objectvideo Labs, Llc Supervising property access with portable camera
US11134227B2 (en) 2017-09-20 2021-09-28 Google Llc Systems and methods of presenting appropriate actions for responding to a visitor to a smart home environment
US10664688B2 (en) * 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
TWI663580B (zh) * 2017-12-01 2019-06-21 Getac Technology Corporation 監視系統的控制方法
US10909826B1 (en) * 2018-05-01 2021-02-02 Amazon Technologies, Inc. Suppression of video streaming based on trajectory data
CN111291585B (zh) * 2018-12-06 2023-12-08 杭州海康威视数字技术股份有限公司 一种基于gps的目标跟踪系统、方法、装置及球机
US11803245B2 (en) 2019-01-09 2023-10-31 Harman International Industries, Incorporated Scalable distributed data architecture
US11587361B2 (en) 2019-11-08 2023-02-21 Wisconsin Alumni Research Foundation Movement monitoring system
US11893795B2 (en) 2019-12-09 2024-02-06 Google Llc Interacting with visitors of a connected home environment
JP7675617B2 (ja) * 2021-10-27 2025-05-13 株式会社東芝 検索処理装置、検索処理方法及びプログラム
CN116309442B (zh) * 2023-03-13 2023-10-24 北京百度网讯科技有限公司 挑拣信息的确定方法及目标对象的挑拣方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06325180A (ja) 1993-05-14 1994-11-25 Matsushita Electric Ind Co Ltd 移動体自動追跡装置
US5497430A (en) * 1994-11-07 1996-03-05 Physical Optics Corporation Method and apparatus for image recognition using invariant feature signals
US5886738A (en) * 1996-11-21 1999-03-23 Detection Dynamics Inc. Apparatus within a street lamp for remote surveillance
US6292098B1 (en) * 1998-08-31 2001-09-18 Hitachi, Ltd. Surveillance system and network system
GB2343945B (en) 1998-11-18 2001-02-28 Sintec Company Ltd Method and apparatus for photographing/recognizing a face
US6792144B1 (en) * 2000-03-03 2004-09-14 Koninklijke Philips Electronics N.V. System and method for locating an object in an image using models
US7035434B2 (en) * 2000-12-11 2006-04-25 Texas Instruments Incorporated Hough transform based motion detection image recording system and method

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250887A (ja) * 2004-03-04 2005-09-15 Matsushita Electric Ind Co Ltd 監視装置、監視方法、監視プログラム及び記録媒体
JP2006059053A (ja) * 2004-08-19 2006-03-02 Hitachi Ltd 施設内情報提供システム及び施設内情報提供方法
WO2006075352A1 (en) * 2005-01-14 2006-07-20 Franco Valentini Surveillance method and surveillance device operating with said method
JP2006209585A (ja) * 2005-01-31 2006-08-10 Mitsubishi Electric Corp 防犯システム
JP2006245795A (ja) * 2005-03-01 2006-09-14 Toa Corp 動体追跡装置及び動体追跡表示装置
JP2007142527A (ja) * 2005-11-15 2007-06-07 Hitachi Ltd 移動体監視システム、移動体特徴量算出装置およびカメラ間移動体照合追跡装置
WO2007063970A1 (ja) * 2005-11-30 2007-06-07 Matsushita Electric Industrial Co., Ltd. 監視カメラシステム及び顔画像追跡記録方法
KR100744668B1 (ko) 2006-01-27 2007-08-02 덕성여자대학교 산학협력단 네트워크 카메라를 이용한 다중 사람추적 시스템
WO2007119355A1 (ja) 2006-03-15 2007-10-25 Omron Corporation 追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体
US8599267B2 (en) 2006-03-15 2013-12-03 Omron Corporation Tracking device, tracking method, tracking device control program, and computer-readable recording medium
JP2007336035A (ja) * 2006-06-13 2007-12-27 Matsushita Electric Ind Co Ltd ネットワークカメラ及びネットワークカメラシステム
KR101187901B1 (ko) * 2007-07-03 2012-10-05 삼성테크윈 주식회사 지능형 감시 시스템 및 그의 제어방법
KR100964726B1 (ko) 2008-07-14 2010-06-21 한국산업기술대학교산학협력단 영상 카메라 시스템에서 이동 물체 특성을 이용한 이동물체 추적 방법
KR101324221B1 (ko) * 2008-08-27 2013-11-06 삼성테크윈 주식회사 영상 촬영을 통한 물체 추적 시스템 및 그 방법
JP2010107114A (ja) * 2008-10-30 2010-05-13 Mitsubishi Electric Corp 撮像装置及び空気調和機
US20120045096A1 (en) * 2009-07-22 2012-02-23 The University Of Tokyo Monitoring camera terminal
US8503727B2 (en) 2009-07-22 2013-08-06 Omron Corporation Monitoring camera terminal
KR101136366B1 (ko) * 2010-02-26 2012-04-18 주식회사 비츠로시스 객체 자동 추적 시스템
KR101155184B1 (ko) 2010-04-01 2012-06-13 대덕대학산학협력단 복수의 촬영수단간 협업을 이용한 영상추적 시스템
KR101130034B1 (ko) 2010-04-14 2012-03-28 부산대학교 산학협력단 다중 카메라 시스템
JP2011244154A (ja) * 2010-05-17 2011-12-01 Canon Inc 画像検出システム、画像検出方法および画像制御プログラム
US8942435B2 (en) 2010-06-30 2015-01-27 Panasonic Intellectual Property Management Co., Ltd. Pre-record data storage device and pre-record data storage method
JP2012015723A (ja) * 2010-06-30 2012-01-19 Panasonic Corp プレ録画データ保存装置及びプレ録画データ保存方法
KR101224017B1 (ko) * 2011-04-21 2013-01-21 강원대학교산학협력단 지능형 영상 감시 시스템
JP2013118561A (ja) * 2011-12-05 2013-06-13 Nikon Corp 電子カメラおよび電子カメラの制御方法
JP2013145481A (ja) * 2012-01-16 2013-07-25 Toshiba Corp カメラ装置、通信システム及びカメラシステム
JP2013153304A (ja) * 2012-01-25 2013-08-08 Hitachi Kokusai Electric Inc 監視装置及び監視カメラシステム並びに映像送信方法
KR101332820B1 (ko) * 2012-02-22 2013-11-27 주식회사 티앤이에스 객체 추적 시스템 및 방법, 객체관리장치 및 그 장치의 구동방법, 촬영장치 및 그 장치의 구동방법
JP2012128877A (ja) * 2012-03-19 2012-07-05 Toshiba Corp 不審行動検知システム及び方法
WO2016031720A1 (ja) * 2014-08-25 2016-03-03 株式会社日立国際電気 監視カメラシステム
JPWO2016031720A1 (ja) * 2014-08-25 2017-06-29 株式会社日立国際電気 監視カメラシステム
CN104853150A (zh) * 2015-02-11 2015-08-19 居锦武 一种多摄像机目标协同跟踪技术
WO2016132769A1 (ja) * 2015-02-19 2016-08-25 シャープ株式会社 撮影装置、撮影装置の制御方法、および制御プログラム
WO2016151932A1 (ja) * 2015-03-20 2016-09-29 日本電気株式会社 監視システム、監視方法および監視プログラム
JP2017063266A (ja) * 2015-09-24 2017-03-30 富士通株式会社 情報処理方法、情報処理装置、及びプログラム
JP2016042720A (ja) * 2015-10-30 2016-03-31 株式会社ニコン 電子機器およびプログラム
US10863142B2 (en) 2016-03-25 2020-12-08 Panasonic Intellectual Property Management Co., Ltd. Monitoring device and monitoring system
JP2019087824A (ja) * 2017-11-02 2019-06-06 日本信号株式会社 監視システム
JP7149063B2 (ja) 2017-11-02 2022-10-06 日本信号株式会社 監視システム
JP2020107213A (ja) * 2018-12-28 2020-07-09 国立大学法人佐賀大学 分類器生成装置、対象者推定装置及びそれらのプログラム、並びに対象者推定システム
JP7285536B2 (ja) 2018-12-28 2023-06-02 国立大学法人佐賀大学 分類器生成装置、対象者推定装置及びそれらのプログラム、並びに対象者推定システム
JP7672469B1 (ja) 2023-11-07 2025-05-07 ソフトバンク株式会社 システム、通信装置、プログラム、及び情報処理方法
JP2025077896A (ja) * 2023-11-07 2025-05-19 ソフトバンク株式会社 システム、通信装置、プログラム、及び情報処理方法

Also Published As

Publication number Publication date
JP3999561B2 (ja) 2007-10-31
US7227569B2 (en) 2007-06-05
US20050057653A1 (en) 2005-03-17

Similar Documents

Publication Publication Date Title
JP3999561B2 (ja) 監視システムと監視カメラ
CN110348348B (zh) 一种参建人员进场身份快速识别方法及预警系统
WO2020057355A1 (zh) 一种三维建模的方法及其装置
JP4378785B2 (ja) 画像処理機能を備えた画像入力装置
JP4984728B2 (ja) 被写体照合装置および被写体照合方法
US20070040903A1 (en) Camera controller and teleconferencing system
RU2268497C2 (ru) Система и способ автоматизированного видеонаблюдения и распознавания объектов и ситуаций
JP2016100696A (ja) 画像処理装置、画像処理方法、及び画像処理システム
KR102237086B1 (ko) 안면인식 기능에 기초하여 5g 이동통신망의 이용이 가능한 통신 단말기를 통해 영상감시가 가능한 로비폰 제어 장치 및 방법
WO2017166469A1 (zh) 一种基于智能电视机的安防方法、装置
WO2007063970A1 (ja) 監視カメラシステム及び顔画像追跡記録方法
JP2007158860A (ja) 撮影システム、撮影装置、画像切替装置、およびデータ保持装置
JP2000163600A (ja) 顔の撮影/認識方法とその装置
KR20200010690A (ko) 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법
JP4622301B2 (ja) 監視システム、および監視カメラ
CN110175587A (zh) 一种基于人脸识别和步态识别算法的视频追踪方法
JP5088463B2 (ja) 監視システム
JP4985742B2 (ja) 撮影システム、方法及びプログラム
CN118644922A (zh) 一种智慧楼宇安全控制方法、系统、终端及存储介质
JP2001094968A (ja) 映像処理装置
KR100536747B1 (ko) 팬/틸트/줌 카메라를 이용한 영상 보안 시스템 및 방법
KR101926510B1 (ko) 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템
JP2007067510A (ja) 映像撮影システム
KR20200010691A (ko) 이종 카메라를 활용한 인물인식 및 교통통제시스템
JP6632632B2 (ja) 監視システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070316

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070509

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070809

R150 Certificate of patent or registration of utility model

Ref document number: 3999561

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100817

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110817

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110817

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120817

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130817

Year of fee payment: 6

EXPY Cancellation because of completion of term