JP2001352537A - Supervisory system by moving picture - Google Patents
Supervisory system by moving pictureInfo
- Publication number
- JP2001352537A JP2001352537A JP2000172568A JP2000172568A JP2001352537A JP 2001352537 A JP2001352537 A JP 2001352537A JP 2000172568 A JP2000172568 A JP 2000172568A JP 2000172568 A JP2000172568 A JP 2000172568A JP 2001352537 A JP2001352537 A JP 2001352537A
- Authority
- JP
- Japan
- Prior art keywords
- moving
- vector
- monitoring area
- movement
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 114
- 239000013598 vector Substances 0.000 claims abstract description 79
- 230000007613 environmental effect Effects 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000012544 monitoring process Methods 0.000 claims description 74
- 238000000034 method Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 239000011435 rock Substances 0.000 abstract description 54
- 238000012545 processing Methods 0.000 description 26
- 230000003287 optical effect Effects 0.000 description 25
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 208000012661 Dyskinesia Diseases 0.000 description 5
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- -1 trees Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/23—Dune restoration or creation; Cliff stabilisation
Landscapes
- Pit Excavations, Shoring, Fill Or Stabilisation Of Slopes (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【0001】[0001]
【発明が属する技術分野】本発明は、対象を撮影して得
た動画像を用いて対象の動きを監視するためのシステム
に関し、特に屋外における例えば崖崩れや落石の監視に
好適なものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system for monitoring the movement of an object by using a moving image obtained by photographing the object, and is particularly suitable for outdoor monitoring of, for example, a landslide or a falling rock. .
【0002】[0002]
【従来の技術】従来、崖崩れや落石や侵入物体などの監
視は、接触センサからの検出信号やビデオカメラからの
動画像を処理することにより行われている。接触センサ
による監視は、センサを設置した特定のポイントのみに
監視に止まるのに対し、ビデオカメラからの動画像によ
る監視は、撮影エリア全体を監視できる利点がある。2. Description of the Related Art Conventionally, monitoring of landslides, falling rocks, and intruding objects has been performed by processing detection signals from contact sensors and moving images from video cameras. Monitoring with a contact sensor stops at only a specific point where the sensor is installed, whereas monitoring with a moving image from a video camera has the advantage that the entire shooting area can be monitored.
【0003】従来の動画像による監視は、連続する2フ
レーム間の差分を計算する差分画像解析の手法により、
崖崩れや落石や侵入物体など異常な動きを検出しようと
している。[0003] Conventional monitoring using a moving image is based on a difference image analysis technique of calculating a difference between two consecutive frames.
It is trying to detect abnormal movements such as landslides, falling rocks and intruding objects.
【0004】[0004]
【発明が解決しようとする課題】屋外においては、木々
が揺れたり、天気が変わったり、鳥が飛ぶというような
様々な自然な正常な動きが存在する。これらの正常な動
きと、上記の異常な動きとを精度良く識別することは、
従来の差分画像解析では難しい。そのため、従来の動画
像による監視は、屋外監視には不向きである。Outdoors, there are various natural normal movements such as trees swaying, the weather changing, and birds flying. Accurately distinguishing these normal movements from the abnormal movements described above,
It is difficult with conventional difference image analysis. Therefore, conventional monitoring using moving images is not suitable for outdoor monitoring.
【0005】従って、本発明の目的は、屋外のように正
常な動きが自然に存在するエリアにおいても、目的の動
きだけを精度良く検出することができる、動画像による
監視技術を提供することにある。SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a monitoring technique based on a moving image which can accurately detect only a desired movement even in an area where normal movements naturally exist, such as outdoors. is there.
【0006】[0006]
【課題を解決するための手段】本発明の第1の観点に従
う、監視エリアの動画像を分析することで監視エリア内
で目的の動きをする物体の有無を判断する監視システム
は、動画像に含まれる時間的に異なる2フレームの画像
から、フレーム内の各画素の移動ベクトルを計算するも
のであって、移動ベクトルを計算する際に、移動ベクト
ルの空間的な滑らかさの度合いを示すパラメータを用い
るように構成された移動ベクトル演算手段と、この移動
ベクトル演算手段よって計算された移動ベクトルに基づ
いて、目的の動きをする物体の有無を判断する対象検出
手段と、移動ベクトルの空間的な滑らかさの度合いを示
すパラメータを、監視エリアがもつ環境要素に応じて設
定するパラメータ設定手段とを備える。According to a first aspect of the present invention, a surveillance system for analyzing a moving image of a monitoring area to determine the presence or absence of an object performing a desired movement in the monitoring area is provided. A motion vector of each pixel in a frame is calculated from two temporally different images included in the image. When calculating the motion vector, a parameter indicating the degree of spatial smoothness of the motion vector is calculated. Movement vector calculation means configured to be used; object detection means for determining the presence or absence of an object performing a target movement based on the movement vector calculated by the movement vector calculation means; and spatial smoothing of the movement vector. Parameter setting means for setting a parameter indicating the degree of the degree according to the environmental element of the monitoring area.
【0007】この監視システムは、監視エリアの動画像
に含まれる時間的に異なる2フレームの画像から、フレ
ーム内の各画素の移動ベクトルを計算する際に、まず、
監視エリアがもつ環境要素に応じて、移動ベクトルの空
間的な滑らかさの度合いを示すパラメータを設定した上
で、そのパラメータを用いて移動ベクトルを計算する。
これにより、監視エリアの環境に応じて精度良く目的の
動きをする物体の移動ベクトルを求めることがができ
る。そして、その移動ベクトルに基づいて、目的の動き
をする物体の有無を判断するので、目的の物体を精度良
く検知することができる。[0007] This surveillance system, when calculating a motion vector of each pixel in a frame from two temporally different images included in a moving image of a surveillance area, first,
After setting a parameter indicating the degree of spatial smoothness of the movement vector according to the environmental element of the monitoring area, the movement vector is calculated using the parameter.
Thereby, it is possible to accurately obtain the movement vector of the object performing the desired movement according to the environment of the monitoring area. Then, based on the movement vector, it is determined whether or not there is an object performing a target movement, so that the target object can be accurately detected.
【0008】ここで、パラメータを決める基となる環境
要素とは、例えば、後述する好適な実施形態のように山
地での落石を監視する場合であれば、その山地の斜面の
傾斜方向や斜度、樹木の多寡や岩肌の露出割合、風速や
風向や降雨雪量などの天候要素、カメラからその場所ま
での距離などである。これらの環境要素は、カメラで撮
影した動画像上での、監視対象物である落石の移動方向
や移動速度や動きの複雑さ、樹木の揺動や降雨雪の動き
といった外乱となる動きの性質、落石と落石以外の物体
の動きとの相関関係などに影響し、その結果、監視エリ
ア内の諸物体の動きの連続性(つまり、移動ベクトルの
空間的な滑らかさ)の度合いに影響を与える。従って、
こうした環境要素に応じて、移動ベクトルの空間的な滑
らかさの度合いを示すパラメータを設定することで、目
的の物体の動きを良好に反映した移動ベクトルを求める
ことができる。例えば、樹木が多い場所や風の強い時に
は、移動ベクトルの空間的な滑らかさの度合いを示すパ
ラメータを大きい値に設定することで、風によって樹木
がいっせいに似た方向へ揺れ動くという外乱の動きが移
動ベクトルに反映され難くして、監視目的の落石の動き
を樹木の揺れ動きから識別し易くして、監視精度を高め
ることができる。[0008] Here, the environmental factors that are the basis for determining the parameters are, for example, in the case of monitoring rockfall in a mountain area as in a preferred embodiment described later, the inclination direction and gradient of the slope of the mountain area. , The number of trees, the exposure ratio of the rock surface, weather factors such as wind speed, wind direction, and the amount of rain and snow, the distance from the camera to the location, and the like. These environmental factors are the moving direction, speed and complexity of the falling rocks, the nature of the disturbing movements such as the rocking of trees and the movement of rain and snow on the video captured by the camera. Affects the correlation between falling rocks and the movement of objects other than falling rocks, and consequently affects the degree of continuity of movement of objects in the monitoring area (that is, the spatial smoothness of the movement vector). . Therefore,
By setting a parameter indicating the degree of spatial smoothness of the motion vector in accordance with such environmental factors, a motion vector that favorably reflects the motion of the target object can be obtained. For example, when there are many trees or when the wind is strong, setting the parameter indicating the degree of spatial smoothness of the movement vector to a large value will cause the movement of the disturbance that the trees sway in the same direction due to the wind. Since it is difficult to be reflected in the vector, the movement of the falling rock for the purpose of monitoring can be easily distinguished from the swinging motion of the tree, and the monitoring accuracy can be improved.
【0009】好適な実施形態では、パラメータを設定す
る際、監視エリアを環境的に異なる(例えば、山地の斜
面の傾斜方向や斜度や樹木の多寡などにおいて異なる)
複数の領域に分割し、個々の領域毎に最適なパラメータ
を設定している。In a preferred embodiment, when setting the parameters, the monitoring areas are environmentally different (for example, they differ in the direction of inclination of the slope of the mountain, the degree of inclination, the number of trees, etc.).
It is divided into a plurality of areas, and optimal parameters are set for each area.
【0010】さらに、好適な実施形態では、時々刻々変
化していくような環境要素(例えば、風速や風向などの
天候)については、その環境要素の変化に応じてパラメ
ータを調節するようにしている。Furthermore, in a preferred embodiment, for environmental elements that change from moment to moment (for example, weather such as wind speed and wind direction), the parameters are adjusted according to the changes in the environmental elements. .
【0011】本発明の第2の観点に従う、監視エリアの
動画像を分析することで監視エリア内で目的の動きをす
る物体の有無を判断する監視システムは、動画像に含ま
れる時間的に異なる2フレームの画像から、フレーム内
の各画素の移動ベクトルを計算する移動ベクトル演算手
段と、この移動ベクトル演算手段よって計算された移動
ベクトルの中から、所定の移動方向条件に合う移動ベク
トルを検出することにより、目的の動きをする物体の有
無を判断する対象検出手段と、その移動方向条件を、監
視エリアがもつ環境要素に応じて設定する移動方向条件
設定手段とを備える。According to a second aspect of the present invention, a surveillance system for analyzing a moving image of a monitoring area to determine the presence or absence of an object performing a desired movement in the surveillance area differs in time included in the moving image. A moving vector calculating means for calculating a moving vector of each pixel in the frame from the images of the two frames, and a moving vector which satisfies a predetermined moving direction condition is detected from the moving vectors calculated by the moving vector calculating means. Accordingly, there are provided a target detecting means for judging the presence or absence of an object performing a desired movement, and a moving direction condition setting means for setting a moving direction condition according to an environmental element of the monitored area.
【0012】この監視システムは、計算された移動ベク
トルに基づいて目的の動きをする物体の有無を検知する
際に、監視エリアがもつ環境要素に応じて移動方向条件
を設定した上で、その移動方向条件に合う移動ベクトル
を検出することにより、目的の動きをする物体の有無を
判断する。ここで、監視エリアがもつ環境要素とは、具
体的には上に述べたようなものであり、監視対象の移動
方向に影響を及ぼす。従って、その環境要素に応じて移
動方向条件を設定して、その移動方向条件に合う動きを
抽出することで、監視対象以外の外乱の動きをフィルタ
リングして、精度良く監視対象の動きだけを検出するこ
とができる。例えば、落石監視においては、斜面の最大
傾斜方向、斜度及び風速などによって、落石の移動方向
の範囲が変わってくるから、最大傾斜方向、斜度及び風
速に応じて落石の移動方向範囲を設定して、その範囲内
に移動方向が入る移動ベクトルだけを抽出することで、
木々の揺れなどの外乱の影響をあまり受けることなく、
対象の落石だけを精度良く検知することができる。When detecting the presence or absence of an object performing a desired movement based on a calculated movement vector, the monitoring system sets a movement direction condition in accordance with an environmental element of a monitoring area, and then sets the movement direction condition. By detecting a movement vector that satisfies the direction condition, the presence or absence of an object that moves in a desired manner is determined. Here, the environmental element of the monitoring area is specifically as described above, and affects the moving direction of the monitoring target. Therefore, by setting the moving direction condition according to the environmental element and extracting the motion that meets the moving direction condition, the motion of the disturbance other than the monitoring target is filtered, and only the motion of the monitoring target is accurately detected. can do. For example, in rockfall monitoring, the range of rockfall movement direction changes depending on the maximum slope direction, slope, and wind speed of the slope, so the range of rockfall movement direction is set according to the maximum slope direction, slope, and wind speed. By extracting only the movement vector whose movement direction falls within that range,
Without being affected by disturbances such as shaking trees,
Only the target rock fall can be detected with high accuracy.
【0013】好適な実施形態では、監視エリアを環境的
に異なる複数の領域(例えば、山地の斜面の傾斜方向や
斜度や樹木の多寡などにおいて異なる)複数の領域に分
割し、個々の領域毎に最適なパラメータを設定してい
る。In a preferred embodiment, the surveillance area is divided into a plurality of environmentally different areas (for example, different in the direction of inclination of a mountain slope, the degree of slope, the number of trees, and the like). Optimal parameters are set.
【0014】さらに、好適な実施形態では、時々刻々変
化していくような環境要素(例えば、風速や風向などの
天候)については、その環境要素の変化に応じて移動方
向条件を調節している。Furthermore, in a preferred embodiment, the moving direction condition is adjusted according to the change of the environmental element (for example, weather such as wind speed and wind direction) which changes every moment. .
【0015】[0015]
【発明の実施の形態】図1は、本発明の一実施形態にか
かる監視システムの構成を示す。この実施形態の監視シ
ステムは、山地などの落石の検知を目的とすることとし
て、以下の説明を行う。FIG. 1 shows a configuration of a monitoring system according to an embodiment of the present invention. The following description will be given assuming that the monitoring system of this embodiment is intended to detect a falling rock such as a mountain.
【0016】この監視システムは、落石が生じる可能性
のある場所(監視エリア)を撮影してその監視エリアの
動画像を出力するビデオカメラ1と、監視エリアに設置
された風速計3及び風向計5と、ビデオカメラ1からの
動画像を画面に表示するディスプレイ装置9と、ビデオ
カメラ1からの動画像データ、風速計3からの風速デー
タ及び風向計5からの風向データを取り込んで処理する
ことにより監視エリア内の物体の移動ベクトル(オプテ
ィカルフロー)を求めて監視エリア内の異常な移動物体
(つまり、落石)を検知する移動ベクトル処理装置11
と、移動ベクトル処理装置11が異常な移動物体を検知
すると警報を発信する警報発信装置17とを備える。移
動ベクトル処理装置11は、典型的にはコンピュータを
用いて構成され、監視用プログラムを実行することで、
監視エリア内の物体の移動ベクトル(オプティカルフロ
ー)を求めて監視エリア内の異常な移動物体(つまり、
落石)を検知し、そして、落石を検知する都度、その旨
を示す監視ログファイルを作成して監視ログファイルデ
ータベース13に蓄積し、かつ、監視エリアの動画像デ
ータから異常な移動物体を検知した時点のフレーム(監
視静止画)を抽出して監視静止画データベース15に蓄
積する。The surveillance system includes a video camera 1 for photographing a place (surveillance area) where a falling rock may occur and outputting a moving image of the surveillance area, an anemometer 3 and an anemometer installed in the surveillance area. 5, a display device 9 for displaying a moving image from the video camera 1 on a screen, and capturing and processing moving image data from the video camera 1, wind speed data from the anemometer 3, and wind direction data from the anemometer 5. Vector processing device 11 for obtaining a moving vector (optical flow) of an object in the monitoring area and detecting an abnormal moving object (that is, falling rock) in the monitoring area
And an alarm transmitting device 17 for transmitting an alarm when the moving vector processing device 11 detects an abnormal moving object. The motion vector processing device 11 is typically configured using a computer, and executes a monitoring program,
Obtain the movement vector (optical flow) of the object in the monitoring area to find an abnormal moving object (ie,
Every time a rockfall is detected, a monitoring log file indicating that fact is created and stored in the monitoring log file database 13, and an abnormal moving object is detected from the moving image data of the monitoring area. The frame at the time (monitoring still image) is extracted and stored in the monitoring still image database 15.
【0017】図2は、ビデオカメラ1から見た監視エリ
アの光景の一例を示す。FIG. 2 shows an example of a scene of the surveillance area viewed from the video camera 1.
【0018】図2の例では、監視エリア100内には2
つの山があり、この監視エリア100は、落石や木々な
どの動きの性質において異なる複数の領域にA〜Eに分
けられている。領域Aは空の領域である。領域BとE
は、樹木で覆われた森林領域である。領域Cは、な斜度
をもっと岩肌の露出した急崖領域である。領域Dは、緩
やかな斜度をもち岩肌の露出した緩崖領域である。これ
らの領域A〜Eでは、その領域内に存在する物体(岩
石、樹木、雲など)の動きの性質(落石の移動方向、移
動方向の分散の度合い、異なる木々や岩石の動きのばら
つき具合など)が領域によって異なる。そのため、移動
ベクトル処理装置11は、移動ベクトルを計算して異常
な移動物体を検知する処理を行なう際、後に詳述するよ
うに、その処理で用いる各種のパラメータに、領域毎の
異なる最適値を設定することになる。また、風速や風向
によっても、物体の動きの性質は変わってくる。そこ
で、移動ベクトル処理装置11は、後に詳述するよう
に、処理用のパラメータを風速や風向に応じて調節する
ことになる。In the example shown in FIG.
There are three mountains, and this monitoring area 100 is divided into A to E into a plurality of areas that differ in the nature of movement such as falling rocks and trees. The area A is an empty area. Regions B and E
Is an area of forest covered by trees. The region C is a steep cliff region where the rock surface is exposed at a higher slope. The area D is a gentle cliff area having a gentle slope and an exposed rock surface. In these areas A to E, the movement characteristics of objects (rocks, trees, clouds, etc.) existing in the areas (moving direction of falling rocks, degree of dispersion of moving directions, variation in movement of different trees and rocks, etc.) ) Varies by region. Therefore, when performing a process of calculating a motion vector and detecting an abnormal moving object, the motion vector processing device 11 assigns different optimal values for each region to various parameters used in the process, as described in detail later. Will be set. In addition, the nature of the movement of the object also changes depending on the wind speed and direction. Therefore, the movement vector processing device 11 adjusts the processing parameters according to the wind speed and the wind direction, as described later in detail.
【0019】以下、移動ベクトル処理装置11が行う処
理について詳細に説明する。Hereinafter, the processing performed by the movement vector processing device 11 will be described in detail.
【0020】この処理は、カメラ1から来る動画像の連
続する各2フレーム間で、前のフレームの各画素が次の
フレームでどこに移動したかを解析して、画像中の移動
ベクトル(オプティカルフロー)を推定するオプティカ
ルフロー推定処理と、その移動ベクトルを解析して画像
中の正常な動き(例えば、風による木々の左右の揺れや
雲の流れなど)と異常な動き(この実施形態では、落石
の落下)とを識別して、異常な動きをする物体(つま
り、落石)だけを検出する異常検出処理とから構成され
る。This process analyzes where each pixel of the previous frame has moved in the next frame between each two consecutive frames of the moving image coming from the camera 1, and calculates a motion vector (optical flow) in the image. ) And normal motions in the image (for example, swaying of trees due to wind and the flow of clouds, etc.) and abnormal motions (in this embodiment, falling rocks in this embodiment) And an abnormality detection process of detecting only an object that moves abnormally (that is, a falling rock).
【0021】前段のオプティカルフロー推定処理は、特
開平9−297851号などで紹介されている公知の正
則化手法に、本発明に従う改良を加えた方法で行う。こ
こで、正則化手法によるオプティカルフロー推定処理と
は、ある1つのフレームの画像上の各画素の座標点
(x,y)とその移動ベクトルつまりオプティカルフロ
ー(u,v)との間には、そのフレーム画像内の空間的
な明るさの勾配を(Ix,Iy)、そのフレームと次の
フレーム間の明るさの勾配をItとしたときに、以下の
式が成立することを用いた解析手法である。The optical flow estimating process in the preceding stage is performed by a method in which an improvement according to the present invention is added to a well-known regularization method introduced in Japanese Patent Application Laid-Open No. 9-297851 or the like. Here, the optical flow estimation processing by the regularization method means that the coordinate point (x, y) of each pixel on the image of a certain frame and its movement vector, that is, the optical flow (u, v), An analysis method using the following equation when the spatial brightness gradient in the frame image is (Ix, Iy) and the brightness gradient between the frame and the next frame is It. It is.
【0022】[0022]
【数1】 (Equation 1)
【0023】しかし、この式だけからは未知数u,vを
推定することができず、他の拘束条件が必要となる。こ
れについては、例えば、「Determining Optical Flow」
(Artificial Intelligence 17 185〜203頁(1981))
に記載された技術を利用する。この技術においては、
「画像中の移動物体が剛体である」および「画像中の近
傍領域でのオプティカルフロー分布は滑らかである」と
いう2つの仮定をそれぞれ評価関数で表し、弛緩法を用
いてこれらの2つの評価関数の和を最小化させることに
よってオプティカルフローの推定を行なう。具体的に
は、αを正則化パラメータとして、繰り返し演算によっ
て次の(2)式を最小するu,vを求める。However, the unknowns u and v cannot be estimated from this equation alone, and other constraints are required. About this, for example, "Determining Optical Flow"
(Artificial Intelligence 17 pp. 185-203 (1981))
Utilize the technology described in. In this technology,
The two assumptions of “the moving object in the image is a rigid body” and “the optical flow distribution in the neighboring area in the image is smooth” are respectively expressed by evaluation functions, and these two evaluation functions are expressed by using the relaxation method. The optical flow is estimated by minimizing the sum of Specifically, using α as a regularization parameter, u and v that minimize the following equation (2) are obtained by repeated calculation.
【0024】[0024]
【数2】 すなわち、(2)式の右辺において、Eaは移動物体の
剛体性を反映した評価関数であり、画像中の移動物体が
完全な剛体(つまり、変形せずそれ自体の輝度も変化し
ない物)に近いほど、(1)式が成立し易くなりEaは
ゼロに近づく。また、Ebはオプティカルフローの空間
分布の滑さを反映した評価関数であり、オプティカルフ
ローの空間分布が完全に滑らかな(つまり、オプティカ
ルフローが空間的に変化しない、つまり、画像内のどの
画素も全て同じ方向へ同じ距離だけ移動する)状態に近
いほど、Ebはゼロに近づく。要するに、(2)式の右
辺は、画像の積分領域における移動物体の剛体性とオプ
ティカルフローの空間分布の滑らかさとを統合的に評価
した関数であり、その積分範囲の領域で上記2つの仮定
「画像中の移動物体が剛体である」および「画像中の近
傍領域でのオプティカルフロー分布は滑らかである」が
良好に成立するほど、(2)式の右辺は小さい値とな
る。換言すれば、画像のある点の近傍領域で上記2つの
仮定が成立するなら、その近傍領域で(2)式の関数を
最小にするようなu,vがその点における妥当なオプテ
ィカルフローと推定される。(Equation 2) That is, on the right side of the equation (2), Ea is an evaluation function reflecting the rigidity of the moving object, and the moving object in the image is a completely rigid body (that is, an object that does not deform and does not change its own luminance). The closer the distance is, the more easily the expression (1) is satisfied, and Ea approaches zero. Eb is an evaluation function reflecting the smoothness of the spatial distribution of the optical flow, and the spatial distribution of the optical flow is completely smooth (that is, the optical flow does not change spatially, that is, any pixel in the image Eb is closer to zero as the state moves closer to the same direction in the same direction). In short, the right side of the equation (2) is a function that integrally evaluates the rigidity of the moving object and the smoothness of the spatial distribution of the optical flow in the integration region of the image, and the above two assumptions in the integration range region The more the “moving object in the image is a rigid body” and “the optical flow distribution in the near area in the image is smooth”, the smaller the value on the right side of the expression (2). In other words, if the above two assumptions are satisfied in the vicinity of a certain point in the image, u, v that minimizes the function of equation (2) in that vicinity are estimated as valid optical flows at that point. Is done.
【0025】ここで、正則化パラメータαは、(2)式
の右辺における「オプティカルフロー分布の滑らかさ」
の相対的な重みを反映している。つまり、αを大きく設
定するほど、オプティカルフロー分布の滑らかさを重視
していることになる。よって、正則化パラメータαは解
析する画像に応じ、その画像中に存在する各種物体の複
雑さや動きの性質や動きの大きさなどに関連して適切に
設定されるべきである。Here, the regularization parameter α is “the smoothness of the optical flow distribution” on the right side of the equation (2).
Reflects the relative weight of That is, as α is set to be larger, the smoothness of the optical flow distribution is emphasized. Therefore, the regularization parameter α should be set appropriately in accordance with the image to be analyzed, in relation to the complexity of various objects present in the image, the nature of the motion, the magnitude of the motion, and the like.
【0026】また、本実施形態では、特開平9−297
851号でもそうしていたように、前述の(2)式の評
価関数をそのまま用いるのではなく、前述の(1)式の
誤差を考慮するために、座標点(x,y)の近傍での
(1)式の左辺の値の分散σ2を(2)式に導入して、
以下の(3)式の評価関数を最小とするu,vを、弛緩
法を用いた反復演算によって求めるようにしている。Also, in the present embodiment, Japanese Patent Application Laid-Open No. 9-297
As in the case of No. 851, the evaluation function of the above-mentioned equation (2) is not used as it is, but in order to consider the error of the above-mentioned equation (1), the vicinity of the coordinate point (x, y) is taken into consideration. Introducing the variance σ2 of the value on the left side of equation (1) into equation (2),
U and v that minimize the evaluation function of the following equation (3) are obtained by an iterative operation using the relaxation method.
【0027】[0027]
【数3】 (Equation 3)
【0028】上記の方法でフレーム画像内の全画素座標
(x、y)についての移動ベクトルつまりオプティカル
(u,v)を求めた後、次に、それらの移動ベクトルを
解析して、それらの移動ベクトルの中から、物体の異常
な動き(つまり、落石)と見做し得るものだけを検出す
る。その方法として、落石の移動方向は特定の方向範囲
(例えば、斜面の最大傾斜方向を中心にした所定の角度
範囲)に限定されることに着目して、その特定の方向範
囲に移動する動きだけを抽出する。この場合、斜面によ
って最大傾斜方向や落石の方向が分散する幅が違ってく
るので、図2に例示した領域A〜E毎に上記の特定の方
向範囲を最適に設定することになる。また、風速や風向
によっても落石の移動方向が分散する幅が変わってくる
(例えば、水平方向の風速が強くなれば、落石の落下方
向が最大傾斜方向からずれる度合いが大きくなる)か
ら、風速や風向に応じて上記の特定の方向範囲を調節す
ることも行う。このような方法で、画像内の移動ベクト
ルの中から、風による木々の左右の揺れなどの正常な動
きと、落石という異常な動きとを峻別する。その結果、
異常な動きが検出できれば、落石が発生したと判断し、
検出できなければ、落石は発生していないと判断する。After the motion vector for all pixel coordinates (x, y) in the frame image, that is, the optical (u, v) is obtained by the above-described method, the motion vectors are analyzed, and the From the vectors, only those that can be regarded as abnormal movements of the object (that is, falling rocks) are detected. As a method, paying attention to the fact that the moving direction of the falling rock is limited to a specific direction range (for example, a predetermined angle range centered on the maximum slope direction of the slope), only the movement moving in the specific direction range is considered. Is extracted. In this case, the maximum inclination direction and the width at which the direction of the falling rock varies depending on the slope, so that the above-described specific direction range is optimally set for each of the regions A to E illustrated in FIG. In addition, the width in which the moving direction of the falling rock is dispersed also changes depending on the wind speed and the wind direction (for example, as the wind speed in the horizontal direction increases, the degree to which the falling direction of the falling rock shifts from the maximum inclination direction increases). The above specific direction range is also adjusted according to the wind direction. With such a method, normal movements such as swaying of trees due to the wind and the like and abnormal movements such as falling rocks are distinguished from the movement vectors in the image. as a result,
If abnormal movement can be detected, it is determined that a falling rock has occurred,
If it cannot be detected, it is determined that no rockfall has occurred.
【0029】図3は、以上説明した移動ベクトル処理装
置11が行う処理の具体的な流れを示すフローチャート
である。FIG. 3 is a flowchart showing a specific flow of the processing performed by the movement vector processing device 11 described above.
【0030】移動ベクトル処理装置11は、監視動作を
開始すると最初に、その処理で用いるパラメータを初期
設定する(S1)。ここで設定されるパラメータには、
弛緩法における計算の反復回数N、監視エリア内の領域
A〜E毎の正則化パラメータ基準値αiと落石移動方向
基準値θiと落石移動方向幅基準値βi、並びに正則化パ
ラメータ調節係数γ及び落石移動方向調節係数kがあ
る。When the monitoring operation is started, the movement vector processing device 11 initially sets parameters used in the processing (S1). The parameters set here include:
Number of repetitions N of calculation in the relaxation method, regularization parameter reference value αi, rockfall movement direction reference value θi, rockfall movement direction width reference value βi, and regularization parameter adjustment coefficient γ and rockfall for each of areas A to E in the monitoring area There is a moving direction adjustment coefficient k.
【0031】図4は、領域A〜E毎に初期設定された正
則化パラメータ基準値αiと落石移動方向基準値θiと落
石移動方向幅基準値βiの例を示している。FIG. 4 shows an example of the regularization parameter reference value αi, rockfall moving direction reference value θi, and rockfall moving direction width reference value βi, which are initially set for each of the regions A to E.
【0032】正則化パラメータ基準値αiとは、各領域
A〜Eの処理で用いる正則化パラメータαの標準値を与
えるものである。図4の例では、α0>α1>α2>α
3の大小関係がある場合に、空領域Aには最も大きい値
α0が設定され、森林領域BとEには2番目に大きい値
α1が、緩崖領域Dには3番目に大きい値α2が、そし
て、急崖領域Cには最も小さい値α3が設定されてい
る。これは、各領域A〜Eで予想される次のようなオプ
ティカルフローの滑らかさ(連続性)の度合いを反映し
たものである。すなわち、空領域Aでは、雲がその形を
大きく変えることなしに一方向に微速で移動するだけで
あるため、オプティカルフローの滑らかさ(連続性)の
度合いは最も大きいであろう。森林領域BとEでは、多
数の樹木が風でほぼ同方向へ低速で揺れることが多いた
め、オプティカルフローの滑らかさ(連続性)の度合い
は2番目に大きいであろう。また、緩崖領域Dと急崖領
域Cでは、安定した岩は不動であり不安定な岩だけが落
石として落下する動きがあるため、オプティカルフロー
の滑らかさ(連続性)の度合いは低くなるが、そのう
ち、緩崖領域Dでは、どの落石も最大斜度方向に沿った
類似の方向へ中程度の速さで落ちるのに対し、急崖領域
Cでは、落石は高速で落下し、しかも、他の岩石に当た
って方向を変えたり砕け散ったり他の落石を引き起こす
など複雑な動きをするので、急崖領域Eでのオプティカ
ルフローの滑らかさ(連続性)の度合いは最も低いであ
ろう。The regularization parameter reference value αi gives a standard value of the regularization parameter α used in the processing of each of the areas A to E. In the example of FIG. 4, α0>α1>α2> α
When there is a magnitude relationship of 3, the largest value α0 is set in the sky region A, the second largest value α1 is set in the forest regions B and E, and the third largest value α2 is set in the gentle cliff region D. The smallest value α3 is set in the steep cliff area C. This reflects the following degree of smoothness (continuity) of the optical flow expected in each of the regions A to E. That is, in the sky area A, the cloud only moves at a very low speed in one direction without largely changing its shape, so that the degree of smoothness (continuity) of the optical flow will be the largest. In forest areas B and E, the degree of smoothness (continuity) of the optical flow will be the second largest since many trees often sway in the same direction at a low speed in the wind. Further, in the gentle cliff region D and the steep cliff region C, the stable rock is immobile, and only the unstable rock moves as a falling rock, so that the degree of smoothness (continuity) of the optical flow is low. Among them, in the gentle cliff area D, every falling rock falls at a moderate speed in a similar direction along the maximum gradient direction, while in the steep cliff area C, the falling rock falls at a high speed. The rocks will make complex movements, such as changing directions, crushing, and other falling rocks, and will have the lowest degree of smoothness (continuity) of the optical flow in the steep cliff region E.
【0033】落石移動方向基準値θiとは、各領域A〜
Eにおける落石の落下方向の標準値を与えるものであ
り、原則的にその領域の斜面の最大斜度方向である。従
って、図4の例では、落石の生じない空領域Aには落石
移動方向基準値θiは設定されず、他の領域B〜Eには
それぞれの斜面の最大斜度方向θ1〜θ4が設定されて
いる。落石移動方向幅基準値βiとは、各領域A〜Eに
おける落石の落下方向が落石移動方向基準値θiからず
れる幅の標準値を与えるものであり、図4の例では、5
度<β2<β1<10度とした場合に、落石が単調な動
きをするであろう森林領域BとEと緩崖領域Dには小さ
い方の値β1が設定され、落石が複雑な動きをするであ
ろう急崖領域Cには大きい方の値β2が設定されてい
る。The falling rock moving direction reference value θi is defined as
The standard value of the falling direction of the falling rock in E is given, and is basically the maximum gradient direction of the slope in the area. Therefore, in the example of FIG. 4, the rockfall moving direction reference value θi is not set in the sky area A where no rockfall occurs, and the maximum slope directions θ1 to θ4 of the respective slopes are set in the other areas B to E. ing. The rockfall moving direction width reference value βi gives a standard value of a width in which the falling direction of the rockfall in each of the areas A to E deviates from the rockfall moving direction reference value θi. In the example of FIG.
If the degree <β2 <β1 <10 degrees, the smaller values β1 are set for the forest areas B and E and the gentle cliff area D where the rockfall will move monotonously, and The larger value β2 is set for the steep cliff region C that will be formed.
【0034】図5は、各領域A〜Eの正則化パラメータ
基準値αiと正則化パラメータ調節係数γが初期設定さ
れた結果として設定されることになる各領域A〜Eの正
則化パラメータαを示している。FIG. 5 shows the regularization parameter α of each of the regions A to E to be set as a result of the initialization of the regularization parameter reference value αi and the regularization parameter adjustment coefficient γ of each of the regions A to E. Is shown.
【0035】図5に示すように、各領域A〜Eの正則化
パラメータαは、各領域A〜Eの正則化パラメータ基準
値αiと正則化パラメータ調節係数γの和として設定さ
れる。正則化パラメータ調節係数γは、正則化パラメー
タ基準値αiよりは遥かに小さい値であるが、後述する
ように、初期設定後に随時にその値が風速や風向に応じ
て調節されるので、結果として、各領域A〜Eの正則化
パラメータαは、風速や風向に応じて調整されることに
なる。As shown in FIG. 5, the regularization parameter α for each of the regions A to E is set as the sum of the regularization parameter reference value αi and the regularization parameter adjustment coefficient γ for each of the regions A to E. The regularization parameter adjustment coefficient γ is a value much smaller than the regularization parameter reference value αi, but as will be described later, the value is adjusted according to the wind speed and the wind direction at any time after the initial setting. The regularization parameter α of each of the regions A to E is adjusted according to the wind speed and the wind direction.
【0036】図6は、各領域A〜Eの落石移動方向基準
値θiと落石移動方向幅基準値βiと落石移動方向調整係
数kが初期設定された結果として設定されることになる
各領域A〜Eの落石移動方向幅βと落石移動方向範囲θ
の例を示している。FIG. 6 shows each area A to be set as a result of the initial setting of the rockfall moving direction reference value θi, rockfall moving direction width reference value βi, and rockfall moving direction adjustment coefficient k of each of the areas A to E. ~ E falling rock moving direction width β and falling rock moving direction range θ
Is shown.
【0037】図6に示すように、各領域A〜Eの落石移
動方向幅βは、各領域A〜Eの落石移動方向幅基準値β
iと落石移動方向調整係数kとの積として設定され、そ
して、各領域A〜Eの落石移動方向範囲θは、各領域A
〜Eの落石移動方向基準値θiを中心として左右(プラ
ス・マイナス)に各領域A〜Eの落石移動方向幅βだけ
振らせた(つまり、プラス及びマイナスした)範囲とし
て設定される。そして、各領域A〜Eの落石移動方向範
囲θが、移動ベクトルの中から落石を示すものだけを抽
出するためのフィルタとして利用されることになる。こ
こで、落石移動方向調整係数kは、1.0〜2.0の範
囲内の値であり、後述するように、初期設定後に随時に
その値が風速や風向に応じて調節されるので、結果とし
て、各領域A〜Eの落石移動方向範囲θは、風速や風向
に応じて調整されることになる。As shown in FIG. 6, the rock moving direction width β of each of the regions A to E is the rock falling moving direction width reference value β of each of the regions A to E.
i is set as a product of the rockfall moving direction adjustment coefficient k, and the rockfall moving direction range?
Are set to the left and right (plus / minus) around the rockfall moving direction reference value θi of the range A to E by the width β of the rockfall moving direction of each of the regions A to E (that is, the ranges are plus and minus). Then, the falling rock moving direction range θ of each of the regions A to E is used as a filter for extracting only those indicating the falling rock from the movement vectors. Here, the rockfall moving direction adjustment coefficient k is a value within the range of 1.0 to 2.0, and as described later, the value is adjusted according to the wind speed and the wind direction as needed after initial setting. As a result, the falling rock moving direction range θ of each of the regions A to E is adjusted according to the wind speed and the wind direction.
【0038】再び図3を参照する。ステップS1で上述
した諸パラメータを初期設定した後、次に、移動ベクト
ル処理装置11は、カメラ1から現在のフレームの画像
I(x,y,t)を入力し、その入力フレーム画像I
(x,y,t)に対し、以下の(4)式でされるx,
y,t方向の輝度勾配画像Ix(x,y,t)、Iy
(x,y,t)、It(x,y,t)を生成する(S
2)。ここで、xとyは画像空間の水平軸と垂直軸上の
座標値を、tは時間軸上の座標値をそれぞれ示す。Referring again to FIG. After initializing the above-described parameters in step S1, the motion vector processing device 11 inputs the image I (x, y, t) of the current frame from the camera 1 and the input frame image I (x, y, t).
For (x, y, t), x,
Brightness gradient images Ix (x, y, t) and Iy in the y and t directions
(X, y, t) and It (x, y, t) are generated (S
2). Here, x and y indicate the coordinate values on the horizontal axis and the vertical axis of the image space, and t indicates the coordinate value on the time axis.
【0039】[0039]
【数4】 (Equation 4)
【0040】次に、移動ベクトル処理装置11は、x,
y,t方向の輝度勾配画像から、前述の(3)式を最小
にするような水平方向のフローuと垂直方向のフローv
とを弛緩法で求める。具体的には、次の(5)式で示さ
れる水平方向のフローuと垂直方向のフローvとを、弛
緩法によるN回の繰り返し演算で計算する(S3〜S
5)。Next, the motion vector processing device 11 calculates x,
From the luminance gradient images in the y and t directions, a horizontal flow u and a vertical flow v that minimize the aforementioned equation (3)
Are determined by the relaxation method. Specifically, the horizontal flow u and the vertical flow v shown by the following equation (5) are calculated by N repetitions of the relaxation method (S3 to S3).
5).
【0041】[0041]
【数5】 ここで、画像の任意の空間座標(i,j)における水平
方向及び垂直方向のフローu,vは、それぞれ(uij,
vij)と表されるが、(5)式では簡単のために(u,
v)と略記している。また、(5)式において、フロー
u,vの右上に付してある添え字n、n+1は、それぞ
れ、N回までの繰り返し計算の途中のn回目、n+1回
目の計算回で求めたフローu,vの値であることを意味
している。(Equation 5) Here, the horizontal and vertical flows u and v at arbitrary spatial coordinates (i, j) of the image are (uij,
vij), but in equation (5), (u,
v). In the equation (5), the subscripts n and n + 1 attached to the upper right of the flows u and v are the flow u obtained in the n-th and n + 1-th calculations during the repetitive calculations up to N times, respectively. , V.
【0042】N回の繰り返し計算で最終的な移動ベクト
ルつまりオプティカルフロー(uij,vij)が求まる
と、次に、移動ベクトル処理装置11は、落石の発生す
る可能性のある領域B〜Eついて、各領域の移動ベクト
ル(uij,vij)を解析して、図6に例示したような各
領域の落石移動方向範囲θ内に入る方向へ移動した物体
の有無をチェックする(S6)。その結果、その条件を
満たす移動物体が有れば、移動ベクトル処理装置11は
落石発生と判断して、警報発信装置17をして警報を発
信させ(S7)、そして、何時どの場所に落石が発生し
たかを示す監視ログファイルと、その時点のフレーム画
像(監視静止画)のファイルを作成して、それぞれのデ
ータベース13、15に格納する(S8)。When the final movement vector, that is, the optical flow (uij, vij) is obtained by N repetitive calculations, the movement vector processing device 11 next calculates the areas B to E in which rockfalls may occur. The movement vector (uij, vij) of each region is analyzed to check for the presence or absence of an object that has moved in a direction falling within the falling rock movement direction range θ of each region (S6). As a result, if there is a moving object that satisfies the condition, the motion vector processing device 11 determines that rockfall has occurred, causes the alarm transmitting device 17 to transmit an alarm (S7), and when and where the rockfall occurs. A monitoring log file indicating whether or not a frame has occurred and a frame image (monitoring still image) file at that time are created and stored in the respective databases 13 and 15 (S8).
【0043】その後、移動ベクトル処理装置11は、風
速計3と風向計5から風速データと風向データを取りこ
み、そのデータに基づいて調節係数γ、kを修正する
(S9)。図7、図8は調節係数γ、kを修正するため
の規則例を示す。図7に示すように、正則化パラメータ
調節係数γは、風速が大きくなればより大きい値に、風
速が小さくなればより小さい値へと修正する。これは、
風速が大きくなるほど、風によって物体が同一方向へ移
動する度合いが高くなって、オプティカルフローの滑ら
かさが増すため、正則化パラメータαをより大きい値に
設定するということを意味する。また、図8に示すよう
に、落石移動方向調節係数kは、カメラ1から見た水平
方向(左右方向)の風速(例えば、カメラ1が北を向い
ていれば東西方向の風速)が大きくなればより大きい値
に、その水平方向風速が小さくなればより小さい値へと
修正する。これは、水平方向の風速が大きくなるほど、
風によって落石の落下方向が斜面の最大斜度方向からず
れる度合いが増すため、落石移動方向範囲θをより大き
い範囲に設定することを意味する。Thereafter, the movement vector processing device 11 fetches wind speed data and wind direction data from the anemometer 3 and the anemometer 5, and corrects the adjustment coefficients γ and k based on the data (S9). 7 and 8 show examples of rules for correcting the adjustment coefficients γ and k. As shown in FIG. 7, the regularization parameter adjustment coefficient γ is corrected to a larger value as the wind speed increases, and to a smaller value as the wind speed decreases. this is,
As the wind speed increases, the degree of movement of the object in the same direction due to the wind increases, and the smoothness of the optical flow increases. This means that the regularization parameter α is set to a larger value. As shown in FIG. 8, the falling rock moving direction adjustment coefficient k increases the horizontal (horizontal) wind speed (for example, the east-west wind speed when the camera 1 is facing north) as viewed from the camera 1. If the horizontal wind speed decreases, the value is corrected to a lower value. This means that the higher the wind speed in the horizontal direction,
Since the direction in which the falling direction of the falling rock shifts from the maximum inclination direction of the slope due to the wind increases, this means that the falling rock moving direction range θ is set to a larger range.
【0044】このようにして、調整係数γとkを風速と
風向に応じて修正した後、移動ベクトル処理装置11
は、ステップS2へ戻り、新たなフレーム画像を入力し
て同様の処理を繰り返す。以上の処理は、監視動作の終
了を命じられるまで繰り返される(S10)。After correcting the adjustment coefficients γ and k according to the wind speed and the wind direction in this way, the movement vector processing device 11
Returns to step S2, inputs a new frame image, and repeats the same processing. The above processing is repeated until termination of the monitoring operation is commanded (S10).
【0045】以上、本発明の一実施形態を説明したが、
これは本発明の説明のための例示に過ぎない。従って、
本発明は上記実施形態以外の様々な態様でも実施するこ
とができる。例えば、本発明は屋外の落石検知だけでな
く、不審者の侵入検知や、屋内の物体監視など様々な監
視目的に適用することができる。監視目的や監視対象に
応じて、正則化パラメータや移動方向範囲の設定の仕方
や調節の仕方が異ならせてもよい。上記実施形態と同じ
落石監視であっても、パラメータの調節を、風速や風向
だけでなく、降雨量や降雪量などに応じて行ったり、調
節係数γ、kとして領域毎に異なる値を設定するなど、
様々な変形が採用し得る。The embodiment of the present invention has been described above.
This is merely an illustrative example of the invention. Therefore,
The present invention can be implemented in various aspects other than the above embodiment. For example, the present invention can be applied to various monitoring purposes such as detection of intrusion of a suspicious person and monitoring of an indoor object as well as outdoor rock fall detection. The method of setting and adjusting the regularization parameter and the moving direction range may be different depending on the monitoring purpose and the monitoring target. Even in the same rock fall monitoring as in the above embodiment, the parameters are adjusted according to not only the wind speed and the wind direction, but also the rainfall amount and the snowfall amount, and different values are set as the adjustment coefficients γ and k for each region. Such,
Various variations can be employed.
【図1】本発明の一実施形態にかかる監視システムの構
成を示すブロック図。FIG. 1 is a block diagram showing a configuration of a monitoring system according to an embodiment of the present invention.
【図2】ビデオカメラ1から見た監視エリアの光景の一
例を示す説明図。FIG. 2 is an explanatory diagram showing an example of a scene of a monitoring area viewed from a video camera 1.
【図3】移動ベクトル処理装置11が行う処理のフロー
チャート。FIG. 3 is a flowchart of a process performed by a movement vector processing device 11;
【図4】領域A〜E毎に初期設定された正則化パラメー
タ基準値αiと落石移動方向基準値θiと落石移動方向幅
基準値βiの例を示した説明図。FIG. 4 is an explanatory diagram showing an example of a regularization parameter reference value αi, a rockfall moving direction reference value θi, and a rockfall moving direction width reference value βi which are initially set for each of regions A to E;
【図5】領域A〜E毎に設定された正則化パラメータα
の例を示した説明図。FIG. 5 is a regularization parameter α set for each of areas A to E
FIG.
【図6】領域A〜E毎に設定された落石の移動方向幅β
と移動方向範囲θの例を示した説明図。FIG. 6 is a moving direction width β of a rockfall set for each of the regions A to E.
FIG. 6 is an explanatory diagram showing an example of a range θ of movement.
【図7】風速に応じて正則化パラメータ調節係数γを修
正するための規則の一例を示した説明図。FIG. 7 is an explanatory diagram showing an example of a rule for correcting a regularization parameter adjustment coefficient γ according to a wind speed.
【図8】水平方向風速に応じて落石移動方向調節係数k
を修正するための規則の一例を示した説明図。FIG. 8: Rockfall moving direction adjustment coefficient k according to horizontal wind speed
FIG. 4 is an explanatory diagram showing an example of a rule for correcting the.
1 ビデオカメラ 3 風速計 5 風向計 9 ディスプレイ装置 11 移動ベクトル処理装置 13 監視ログファイルDB 15 監視静止画DB 17 警報発信装置 Reference Signs List 1 video camera 3 anemometer 5 anemometer 9 display device 11 movement vector processing device 13 monitoring log file DB 15 monitoring still image DB 17 alarm transmission device
Claims (8)
視エリア内で目的の動きをする物体の有無を判断する監
視システムにおいて、 前記動画像に含まれる時間的に異なる2フレームの画像
から、フレーム内の各画素の移動ベクトルを計算するも
のであって、前記移動ベクトルを計算する際に、前記移
動ベクトルの空間的な滑らかさの度合いを示すパラメー
タを用いるように構成された移動ベクトル演算手段と、 前記移動ベクトル演算手段よって計算された前記移動ベ
クトルに基づいて、前記目的の動きをする物体の有無を
判断する対象検出手段と、 前記移動ベクトルの空間的な滑らかさの度合いを示すパ
ラメータを、前記監視エリアがもつ環境要素に応じて設
定するパラメータ設定手段とを備えた監視システム。1. A monitoring system for determining the presence or absence of an object performing a desired movement in a monitoring area by analyzing a moving image of the monitoring area, comprising: A moving vector calculating unit configured to calculate a moving vector of each pixel in a frame, wherein the calculating the moving vector uses a parameter indicating a degree of spatial smoothness of the moving vector. Based on the movement vector calculated by the movement vector calculation means, target detection means for determining the presence or absence of the object performing the desired movement, and a parameter indicating the degree of spatial smoothness of the movement vector And a parameter setting means for setting according to environmental factors of the monitoring area.
リアを環境的に異なる複数の領域に分割し、個々の領域
毎に前記パラメータを設定する請求項1記載の監視シス
テム。2. The monitoring system according to claim 1, wherein the parameter setting unit divides the monitoring area into a plurality of environmentally different areas and sets the parameter for each area.
リアにおける所定の環境要素の変化に応じて、前記パラ
メータを調節する請求項1記載の監視システム。3. The monitoring system according to claim 1, wherein the parameter setting unit adjusts the parameter according to a change in a predetermined environmental element in the monitoring area.
視エリア内で目的の動きをする物体の有無を判断する監
視システムにおいて、 前記動画像に含まれる時間的に異なる2フレームの画像
から、フレーム内の各画素の移動ベクトルを計算する移
動ベクトル演算手段と、 前記移動ベクトル演算手段よって計算された前記移動ベ
クトルの中から、所定の移動方向条件に合う移動ベクト
ルを検出することにより、前記目的の動きをする物体の
有無を判断する対象検出手段と、 前記移動方向条件を、前記監視エリアがもつ環境要素に
応じて設定する移動方向条件設定手段とを備えた監視シ
ステム。4. A monitoring system for determining the presence or absence of an object moving in a target area in a monitoring area by analyzing a moving image in the monitoring area, comprising: A moving vector calculating unit that calculates a moving vector of each pixel in a frame; and detecting a moving vector that satisfies a predetermined moving direction condition from the moving vectors calculated by the moving vector calculating unit. A surveillance system comprising: a target detection unit for judging the presence or absence of a moving object; and a movement direction condition setting unit for setting the movement direction condition according to an environmental element of the monitoring area.
エリアを環境的に異なる複数の領域に分割し、個々の領
域毎に前記移動方向条件を設定する請求項4記載の監視
システム。5. The monitoring system according to claim 4, wherein the moving direction condition setting means divides the monitoring area into a plurality of environmentally different regions, and sets the moving direction condition for each of the regions.
エリアにおける所定の環境要素の変化に応じて、前記移
動方向条件を調節する請求項4記載の監視システム。6. The monitoring system according to claim 4, wherein the moving direction condition setting means adjusts the moving direction condition according to a change in a predetermined environmental element in the monitoring area.
視エリア内で目的の動きをする物体の有無を判断するた
めに、 前記動画像に含まれる時間的に異なる2フレームの画像
から、フレーム内の各画素の移動ベクトルを計算するス
テップであって、前記移動ベクトルを計算する際に、前
記移動ベクトルの空間的な滑らかさの度合いを示すパラ
メータを用いるようにするステップと、 計算された前記移動ベクトルに基づいて、前記目的の動
きをする物体の有無を判断するステップと、 前記移動ベクトルの空間的な滑らかさの度合いを示すパ
ラメータを、前記監視エリアがもつ環境要素に応じて設
定するステップとをコンピュータに実行させるためのプ
ログラムを担持したコンピュータ読取可能な記録媒体。7. A method of analyzing a moving image in a monitoring area to determine the presence or absence of an object performing a desired movement in the monitoring area. Calculating a motion vector of each pixel in the motion vector, wherein, when calculating the motion vector, using a parameter indicating a degree of spatial smoothness of the motion vector; and A step of determining the presence or absence of the object performing the desired movement based on a movement vector; and a step of setting a parameter indicating a degree of spatial smoothness of the movement vector in accordance with an environmental element of the monitoring area. And a computer-readable recording medium carrying a program for causing a computer to execute the above.
視エリア内で目的の動きをする物体の有無を判断するた
めに、 前記動画像に含まれる時間的に異なる2フレームの画像
から、フレーム内の各画素の移動ベクトルを計算するス
テップと、 計算された前記移動ベクトルの中から、所定の移動方向
条件に合う移動ベクトルを検出することにより、前記目
的の動きをする物体の有無を判断するステップと、 前記移動方向条件を、前記監視エリアがもつ環境要素に
応じて設定するステップとをコンピュータに実行させる
ためのプログラムを担持したコンピュータ読取可能な記
録媒体。8. A method for analyzing a moving image in a monitoring area to determine whether or not there is an object performing a desired movement in the monitoring area. Calculating a motion vector of each pixel in the above, and detecting a motion vector that satisfies a predetermined moving direction condition from the calculated motion vectors to determine the presence or absence of the object performing the desired motion. A computer-readable recording medium carrying a program for causing a computer to execute the following steps: setting the moving direction condition according to an environmental element of the monitoring area.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000172568A JP3953710B2 (en) | 2000-06-08 | 2000-06-08 | Video surveillance system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000172568A JP3953710B2 (en) | 2000-06-08 | 2000-06-08 | Video surveillance system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001352537A true JP2001352537A (en) | 2001-12-21 |
JP3953710B2 JP3953710B2 (en) | 2007-08-08 |
Family
ID=18674947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000172568A Expired - Fee Related JP3953710B2 (en) | 2000-06-08 | 2000-06-08 | Video surveillance system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3953710B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006082618A (en) * | 2004-09-14 | 2006-03-30 | Fujitsu Ltd | Falling object detector |
JP2006277576A (en) * | 2005-03-30 | 2006-10-12 | Tokyo Univ Of Science | Image evaluation apparatus, image evaluation method, and image evaluation program |
JP2007324746A (en) * | 2006-05-30 | 2007-12-13 | Nippon Telegr & Teleph Corp <Ntt> | Video distribution system |
JP2008160462A (en) * | 2006-12-22 | 2008-07-10 | Matsushita Electric Works Ltd | Imaging device |
US20140294320A1 (en) * | 2013-03-29 | 2014-10-02 | Anil Kokaram | Pull frame interpolation |
JP2019201275A (en) * | 2018-05-15 | 2019-11-21 | 国際航業株式会社 | Monitoring system |
EP3492864A4 (en) * | 2016-07-29 | 2020-03-18 | Nikon-Trimble Co., Ltd. | MONITORING PROCEDURE, MONITORING SYSTEM AND PROGRAM |
CN113963512A (en) * | 2021-12-22 | 2022-01-21 | 四川省交通勘察设计研究院有限公司 | Rockfall monitoring system and method |
CN114898278A (en) * | 2022-06-09 | 2022-08-12 | 西南交通大学 | Non-contact rockfall protection dynamic response signal automatic identification and feedback method |
CN115060185A (en) * | 2022-06-07 | 2022-09-16 | 西南交通大学 | A non-contact visual monitoring system and method for a flexible protective structure for rockfall disasters |
-
2000
- 2000-06-08 JP JP2000172568A patent/JP3953710B2/en not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006082618A (en) * | 2004-09-14 | 2006-03-30 | Fujitsu Ltd | Falling object detector |
JP2006277576A (en) * | 2005-03-30 | 2006-10-12 | Tokyo Univ Of Science | Image evaluation apparatus, image evaluation method, and image evaluation program |
JP2007324746A (en) * | 2006-05-30 | 2007-12-13 | Nippon Telegr & Teleph Corp <Ntt> | Video distribution system |
JP2008160462A (en) * | 2006-12-22 | 2008-07-10 | Matsushita Electric Works Ltd | Imaging device |
US20140294320A1 (en) * | 2013-03-29 | 2014-10-02 | Anil Kokaram | Pull frame interpolation |
US9300906B2 (en) * | 2013-03-29 | 2016-03-29 | Google Inc. | Pull frame interpolation |
US11428527B2 (en) | 2016-07-29 | 2022-08-30 | Nikon-Trimble Co., Ltd. | Monitoring method, monitoring system, and program |
EP3492864A4 (en) * | 2016-07-29 | 2020-03-18 | Nikon-Trimble Co., Ltd. | MONITORING PROCEDURE, MONITORING SYSTEM AND PROGRAM |
JP2019201275A (en) * | 2018-05-15 | 2019-11-21 | 国際航業株式会社 | Monitoring system |
JP6995013B2 (en) | 2018-05-15 | 2022-01-14 | 国際航業株式会社 | Monitoring system |
CN113963512A (en) * | 2021-12-22 | 2022-01-21 | 四川省交通勘察设计研究院有限公司 | Rockfall monitoring system and method |
CN115060185A (en) * | 2022-06-07 | 2022-09-16 | 西南交通大学 | A non-contact visual monitoring system and method for a flexible protective structure for rockfall disasters |
WO2023236897A1 (en) * | 2022-06-07 | 2023-12-14 | 西南交通大学 | Non-contact visual monitoring system and method for flexible protection structure against rockfall disasters |
CN114898278A (en) * | 2022-06-09 | 2022-08-12 | 西南交通大学 | Non-contact rockfall protection dynamic response signal automatic identification and feedback method |
CN114898278B (en) * | 2022-06-09 | 2023-01-03 | 西南交通大学 | Non-contact rockfall protection dynamic response signal automatic identification and feedback method |
Also Published As
Publication number | Publication date |
---|---|
JP3953710B2 (en) | 2007-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102144974B1 (en) | Fire detection system | |
US10282622B2 (en) | Marine intrusion detection system and method | |
KR101071352B1 (en) | Apparatus and method for tracking object based on PTZ camera using coordinate map | |
US7385626B2 (en) | Method and system for performing surveillance | |
CN110400352B (en) | Camera calibration with feature recognition | |
US9047515B2 (en) | Method and system for wildfire detection using a visible range camera | |
JPH10512694A (en) | Method and apparatus for detecting movement of an object in a continuous image | |
CN110930428B (en) | Target tracking method and device, electronic equipment and storage medium | |
JP7272024B2 (en) | Object tracking device, monitoring system and object tracking method | |
WO2008054489A2 (en) | Wide-area site-based video surveillance system | |
US10789682B2 (en) | Apparatus, system, and method for enhancing an image | |
JP7271373B2 (en) | VIDEO PROCESSING DEVICE, VIDEO PROCESSING SYSTEM AND VIDEO PROCESSING METHOD | |
KR101548639B1 (en) | Apparatus for tracking the objects in surveillance camera system and method thereof | |
JP2002074370A (en) | System and method for monitoring based on moving image and computer readable recording medium | |
WO2022215409A1 (en) | Object tracking device | |
JP3953710B2 (en) | Video surveillance system | |
CN117593650B (en) | Moving point filtering vision SLAM method based on 4D millimeter wave radar and SAM image segmentation | |
CN113256689A (en) | High-altitude parabolic detection method and device | |
KR100659781B1 (en) | Smoke detection method and device in CD image | |
JP2002074369A (en) | System and method for monitoring based on moving image and computer readable recording medium | |
KR101038726B1 (en) | Unmanned surveillance method, unmanned surveillance system and unmanned surveillance system with high reliability | |
CN106898014B (en) | An Intrusion Detection Method Based on Depth Camera | |
JP7243372B2 (en) | Object tracking device and object tracking method | |
JP3848918B2 (en) | MOBILE BODY MONITORING DEVICE AND MOBILE BODY MONITORING METHOD | |
JP3736836B2 (en) | Object detection method, object detection apparatus, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040521 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20040526 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070425 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140511 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |