JP2002344949A

JP2002344949A - 動画像監視装置

Info

Publication number: JP2002344949A
Application number: JP2001149338A
Authority: JP
Inventors: Tatsuya Kimura; 達也木村; Hiroyuki Kobayashi; 広幸小林; Takeshi Nakajo; 健中條; Jun Ikeda; 旬池田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-05-18
Filing date: 2001-05-18
Publication date: 2002-11-29

Abstract

(57)【要約】【課題】より計算処理量の少ない動画像監視装置を提供
することを目的とする。【解決手段】動画像信号を取り込み、これをマクロブロ
ック信号に分割し、該各マクロブロック信号を符号化す
る動画像符号化装置２と、２からの符号化信号を受け取
り、これを復号化し動画像データを構成する動画像復号
化装置３を具備したものであって、３は少なくとも復号
化手段３２と、背景移動計算手段３３と、検出手段３４
を備え、３２は符号化信号を受け取り、画像データ及び
マクロブロック情報を出力するものであり、３３は３２
からの画像データ及びマクロブロック情報に基づき背景
の並行移動量を推定するものであり、３４は３３からの
背景移動量と、３２からの画像データ及びマクロブロッ
ク情報を入力し、前記背景に対して相対的に動く移動物
体を検出するものである動画像監視装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像をディジタ
ル符号化して伝送し、動画像の保存と変化検出を行う動
画像監視装置に関する。

【０００２】

【従来の技術】従来、監視カメラで取り込んだ動画像か
ら、物体の移動や色の変化など、動画像の変化を検出す
る技術は公知であり、その一例として、公知例（特開平
９−２５２４６７号公報「移動物体検出装置」）があ
る。この公知例は、移動物体検出手段として、ＩＴＵ−
ＴＨ．２６１、Ｈ．２６３、ＩＳＯ／ＩＥＣＭＰＥＧ
−４等の動画像符号化方式で符号化した際に計算される
ブロック毎の動き補償情報を利用するようにしたもので
ある。

【０００３】この場合、監視カメラを定期的に変更する
場合や、風などの外乱でカメラが揺れた場合、背景が移
動し背景全体を移動物体として検出する可能性がある。
このような場合、画像を直前の画像と比較することで、
背景の動きを判定し、検出手段において、背景の動きの
影響を除去することが考えられる。

【０００４】これらの処理は、画素毎の輝度の比較計算
を行う必要がある。

【０００５】しかし、画素値に関わる処理は、実は多く
の計算量を必要とするという問題がある。例えば、ＩＴ
Ｕ−ＴＨ．２６１、Ｈ．２６３、ＩＳＯ／ＩＥＣＭＰ
ＥＧ−４等でよく用いられるＣＩＦフォーマットの場
合、横３５２画素、縦２８８画素で合計１０１３７６画
素について、処理が必要となっていた。このような計算
量の多い処理に対しては、専用のハードウェアを用意す
る必要があったりして、コスト面でも大きな問題があっ
た。

【０００６】そこで、動画像全体の移動を検出する技術
として、『ディジタル画処理』（オーム社発行）の第１
３章の「動き検出」において記載されている、画像をブ
ロックに分割し、ブロック毎に直前の画像とのマッチン
グを取り、移動量を推定するマッチング法や、直前の画
像からの場所毎の輝度変化から移動量を推定する勾配法
を利用することが考えられる。

【０００７】

【発明が解決しようとする課題】しかし、このマッチン
グ法や勾配法では、背景移動量を求める場合、画素毎の
輝度の比較計算を行う必要があるため、計算処理量が膨
大となり、復号化装置で改めて計算するためには、復号
化装置に大きな計算処理能力を必要とする。

【０００８】そこで本発明では、より計算処理量の少な
い動画像監視装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】前記目的を達成するた
め、請求項１に対応する発明は、動画像信号を取り込
み、これをマクロブロック信号に分割し、該各マクロブ
ロック信号を符号化するものであって、動き補償に基づ
く動画像圧縮手法を用いた動画像符号化装置と、該動画
像符号化装置からの符号化信号を受け取り、これを復号
化し動画像データを構成する動画像復号化装置と、を具
備した動画像監視装置において、前記動画像復号化装置
は少なくとも復号化手段と、背景移動計算手段と、検出
手段を備え、前記復号化手段は前記符号化信号を受け取
り、画像データ及びマクロブロック情報を出力するもの
であり、前記背景移動計算手段は前記復号化手段からの
画像データ及びマクロブロック情報に基づき背景の並行
移動量を推定するものであり、前記検出手段は前記背景
移動計算手段からの背景移動量と、前記復号化手段から
の画像データ及びマクロブロック情報を入力し、前記背
景に対して相対的に動く移動物体を検出するものである
動画像監視装置である。

【００１０】請求項１に対応する発明によれば、背景に
相対的に移動する物体のみを検出する処理を行う場合、
動画像符号化データに含まれるマクロブロック毎の動き
ベクトル情報から背景移動量を求めるので、処理に必要
な計算量を削減することができる。

【００１１】前記目的を達成するため、請求項２に対応
する発明は、動画像信号を取り込み、これをマクロブロ
ック信号に分割し、該各マクロブロック信号を符号化す
るものであって、動き補償に基づく動画像圧縮手法を用
いた動画像符号化装置と、該動画像符号化装置からの符
号化信号を受け取り、これを復号化し動画像データを構
成する動画像復号化装置と、を具備した動画像監視装置
において、前記動画像復号化装置は少なくとも復号化手
段と、背景移動計算手段と、検出手段と、マスク画像形
成手段を備え、前記復号化手段は前記符号化信号を受け
取り、画像データ及びマクロブロック情報を出力するも
のであり、前記背景移動計算手段は前記復号化手段から
の画像データ及びマクロブロック情報に基づき背景の並
行移動量を推定するものであり、前記検出手段は前記背
景移動計算手段からの背景移動量と、前記復号化手段か
らの画像データ及びマクロブロック情報を入力し、前記
背景に対して相対的に動く移動物体を検出するものであ
り、前記マスク画像形成手段は前記検出手段による検出
範囲を指定するマスク画像を形成するものであり、該マ
スク画像を背景移動に合わせて移動させ、前記検出手段
は該マスク画像により指定された範囲内でのみ検出を行
う動画像監視装置である。

【００１２】請求項２に対応する発明によれば、マスク
画像により物体検出領域を制限した場合に、背景移動に
伴ってマスク画像を正しい位置に移動させることができ
るので、物体検出を正しく行うことができる。

【００１３】前記目的を達成するため、請求項３に対応
する発明は、前記マスク画像形成手段は該マスク画像を
ブロック単位で検出範囲を設定し、該マスク画像を背景
移動に合わせて移動させる場合にブロック単位で移動さ
せることを特徴とする請求項２に記載の動画像監視装置
である。

【００１４】請求項３に対応する発明によれば、マスク
画像がマクロブロック単位で指定されるので、物体検出
領域を制限した場合の検出処理が簡略化される。

【００１５】前記目的を達成するため、請求項４に対応
する発明は、動画像信号を取り込み、これをマクロブロ
ック信号に分割し、該各マクロブロック信号を符号化す
るものであって、動き補償に基づく動画像圧縮手法を用
いた動画像符号化装置と、該動画像符号化装置からの符
号化信号を受け取り、これを復号化し動画像データを構
成する動画像復号化装置と、を具備した動画像監視装置
において、前記動画像復号化装置は少なくとも復号化手
段と、背景移動計算手段と、検出手段と、マスク画像形
成手段と、背景画像蓄積手段を備え、前記復号化手段は
前記符号化信号を受け取り、画像データ及びマクロブロ
ック情報を出力するものであり、前記背景画像蓄積手段
は移動物体が無いときの背景画像を保存するものであ
り、前記背景移動計算手段は前記復号化手段からの画像
データ及びマクロブロック情報に基づき背景の並行移動
量を推定するものであって、該背景の並行移動量により
背景画像を移動させて現在の画像との比較を行い、背景
が移動したのか、その他の物体の移動による誤差なのか
を判別するものであり、前記検出手段は前記背景移動計
算手段からの背景移動量と、前記復号化手段からの画像
データ及びマクロブロック情報を入力し、前記背景に対
して相対的に動く移動物体を検出するものであり、前記
マスク画像形成手段は前記検出手段による検出範囲を指
定するマスク画像を形成するものであり、該マスク画像
を背景移動に合わせて移動させ、前記検出手段は該マス
ク画像により指定された範囲内でのみ検出を行う動画像
監視装置である。

【００１６】請求項４に対応する発明によれば、背景移
動計算手段で求めた移動量が正しいかどうか背景画像を
用いて検証することができるので、より正確に背景の移
動を求めることができる。

【００１７】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。

【００１８】（第１の実施形態）図１はカメラなどの映
像信号を用いて監視を行う実施形態を説明するためのブ
ロック図である。これは、動画像（映像）を取り込む映
像入力装置１、映像入力装置１により取り込んだ映像デ
ータの圧縮などの処理を行なうために符号化し、符号化
データを伝送する動画像符号化装置２、動画像符号化装
置２により伝送された符号化データを復号し、データ処
理を行なう動画像復号化装置３、動画像復号化装置３に
よりデータ処理された動画像を表示する表示装置４から
構成される。

【００１９】ここで、用いる動画像符号化装置２は映像
入力装置１に一体化されたものでも、映像入力装置１と
信号ケーブルで接続し動画像を取り込むようにした計算
機でもよい。また、映像入力装置１と動画像復号化装置
３が離れた場所にあるときには動画像符号化装置２と動
画像復号化装置３の間は有線、無線の計算機ネットワー
クや電話線、信号ケーブルで接続され、データが伝送さ
れる。ネットワークや電話線でデータを伝送する場合に
は動画像の更新周期を確保するため圧縮されたデータを
伝送することが必要になる。以下、映像入力装置１と動
画像復号化装置３が離れた場所にあり、動画像を符号化
して伝送する場合の実施形態を説明する。

【００２０】図１において、動画像符号化装置２は、映
像入力装置１からの信号をディジタルデータ化するキャ
プチャ手段２１、ディジタル化された動画像データを符
号化する動画像符号化手段（後述する）２２、符号化さ
れたデータを動画像復号化装置３へ送信する送信手段２
３からなる。

【００２１】送信手段２３は、動画像復号化装置３へ動
画像符号化データを伝送する。伝送手段としてはＬＡ
Ｎ、赤外線通信手段、電話回線、無線電話回線等を用い
る。

【００２２】次に、動画像復号化装置３の構成と動作に
ついて説明する。動画像復号化装置３は、動画像符号化
手段２から送られてくる動画像符号化データを受ける受
信手段３１、受信手段３１で受信された動画像符号化デ
ータを復号し、動画像を再生する復号化手段（後述す
る）３２、復号化手段３２からの再生画像、モード情
報、動き補償情報、から移動物体などを検出する検出手
段３４、再生画像を表示装置４で表示できる形にする表
示手段３５、背景の移動を検出しその移動量を求める背
景移動計算手段（後述する）３３からなる。

【００２３】図２は、動画像符号化手段２２の構成の一
例を示すブロック図である。図２において、カメラ部か
ら送られた入力動画像信号は、ブロック化部２２１で
（例えば１６×１６画素の大きさの）マクロブロックに
分割される。マクロブロックに分割された入力動画像信
号は、減算器２２２に入力され、動き補償部２３０で生
成された予測画像信号との差分がとられて、予測残差信
号が生成される。

【００２４】この予測残差信号と、ブロック化部２２１
からの入力動画像信号のいずれか一方が、モード選択ス
イッチ２２３によって選択され、ＤＣＴ（離散コサイン
変換）部２２４により離散コサイン変換される。ＤＣＴ
部２２４で得られたＤＣＴ係数データは、量子化部２２
５で量子化される。量子化部２２５で量子化された信号
は２分岐され、一方は可変長符号化部２３３で可変長符
号化される。

【００２５】一方、量子化部２２５で量子化され２分岐
された信号の他方は、逆量子化部２２６及びＩＤＣＴ
（逆離散コサイン変換）部２２７に入力される。逆量子
化部２２６及びＩＤＣＴ（逆離散コサイン変換）部２２
７では量子化部２２５およびＤＣＴ部２２４の処理と逆
の処理が行われ、加算器２２８でスイッチ２３１を介し
て入力される予測画像信号と加算されることにより、局
部復号信号が生成される。

【００２６】この局部復号信号は、フレームメモリ２２
９に蓄えられ、動き補償部２３０に入力される。動き補
償部２３０では、予測画像信号が生成されるとともに、
モード選択部２３２に必要な情報を送る。

【００２７】モード選択部２３２では、マクロブロック
単位に動き補償部２３０からの予測情報Ｐに基づいて、
フレーム間符号化をおこなうマクロブロックとフレーム
内符号化をおこなうマクロブロックを選択する。

【００２８】フレーム内符号化（イントラ符号化）をお
こなう場合は、モード選択スイッチ情報ＭをＡとし、ス
イッチ情報ＳをＡとする。フレーム間符号化（インター
符号化）をおこなう場合は、モード選択スイッチ情報Ｍ
をＢとし、スイッチ情報ＳをＢとする。モード選択スイ
ッチ２２３ではモード選択スイッチ情報Ｍに基づき、ス
イッチを変更し、また、スイッチ２３１ではスイッチ情
報Ｓに基づき、スイッチを変更する。

【００２９】ここで、モードとして、イントラモード
（ＩＮＴＲＡ）、インターモード（ＩＮＴＥＲ）、非符
号化モード（ＮＯＴ─ＣＯＤＥＤ）があり、各マクロブ
ロック毎に対応づけられる。ＩＮＴＲＡのマクロブロッ
クはフレーム内符号化される画像領域、ＩＮＴＥＲのマ
クロブロックはフレーム間符号化される画像領域、ＮＯ
Ｔ─ＣＯＤＥＤのマクロブロックは、符号化不要（再生
の際には直前の画像データがそのまま使用される）の画
像領域である。

【００３０】図３により動画像復号化手段３２の詳細な
構成を示す。図１の動画像復号化手段３２では、まず、
受信手段３１から渡された符号化データが入力バッファ
３２１に一度蓄えられ、可変長復号化部３２３に出力す
る。

【００３１】可変長復号化部３２３では、入力された可
変長符号から、マクロブロック毎のモード情報、量子化
ＤＣＴ係数情報、動きベクトル情報が復号される。モー
ド情報、量子化ＤＣＴ係数情報、動きベクトル情報はマ
クロブロック情報Ｄ２として背景移動計算手段３３に渡
される。

【００３２】マクロブロックのモードがＩＮＴＲＡなら
ば、モード切替スイッチ３２９ではオフが選択される。
可変長復号化部３２３で復号化された量子化ＤＣＴ係数
情報は、逆量子化部３２４で逆量子化され、ＩＤＣＴ部
３２５で逆離散コサイン変換処理されて、マクロブロッ
ク領域の再生画像信号が生成される。

【００３３】また、マクロブロックのモードがＩＮＴＥ
Ｒ及びＮＯＴ─ＣＯＤＥＤならば、モード切替スイッチ
３２９ではオンが選択され、動き補償部３２８では可変
長復号化部３２３で復号化された動きベクトル情報に基
づいて、フレームメモリ中の参照画像を動き補償した予
測画像信号が生成される。可変長復号化部３２３で復号
化された量子化ＤＣＴ係数情報は、逆量子化部３２４で
逆量子化され、ＩＤＣＴ部３２５で逆離散コサイン変換
処理され、加算器３２６で予測画像信号と足しあわされ
て、マクロブロック領域の再生画像信号が生成される。
この再生画像信号（再生画像）は、フレームメモリ３２
７に参照画像として蓄積される。

【００３４】背景移動計算手段３３では、復号化手段３
２により復号されたマクロブロック情報（モード情報、
量子化ＤＣＴ係数情報、動きベクトル情報）Ｄ２を用い
て、背景の平行移動を検出しその大きさを計算する。

【００３５】次に、図４により背景移動計算手段３３の
処理例について以下に説明する。背景移動計算手段３３
は、処理判定部３３１、画像比較による移動量推定処理
部３３２、移動ベクトル（動きベクトル）による移動量
推定処理部３３３、背景移動量記憶部３３４からなる。

【００３６】処理判定部３３１は、移動量を求めるため
に、移動量推定処理部３３２または移動量推定処理部３
３３のどちらを使うかを判定する。移動量推定処理部３
３２は、画像データＤ１をもとに背景移動量Ｄ３を推定
する。移動量推定処理部３３３は、マクロブロック情報
Ｄ２の動きベクトル情報から背景移動量Ｄ３を推定す
る。

【００３７】図５は図４に対応するフローチャートを示
す。Ｓ１０１、Ｓ１０２、Ｓ１０３は図４の処理判定部
３３１での処理に対応し、Ｓ１０４は移動ベクトルによ
る移動量推定処理部３３３に、又Ｓ１０５、Ｓ１０６は
背景移動量記憶部３３４に、更にＳ１０７は画像比較に
よる背景移動量推定処理部３３２にそれぞれ対応する。

【００３８】背景移動計算手段３３では、復号化手段３
２により１フレーム再生を行う毎に、後述するマクロブ
ロックの分類処理を行い（Ｓ１０１）、その後画像差分
の大きいブロックの数ｅは、しきい値Ｔｅ未満かどうか
の判断を行う（Ｓ１０２）。又Ｓ１０２においてしきい
値Ｔｅ未満と判断した場合には、移動ブロックの数ｍは
しきい値Ｔｍ以上かどうかの判断を行う（Ｓ１０３）。

【００３９】又Ｓ１０３において、しきい値Ｔｍ以上と
判断した場合には画面全体が動いたと判定して、移動ベ
クトルによる背景移動計算処理を行い、移動量ＭＶを求
める（Ｓ１０４）。

【００４０】Ｓ１０２において、しきい値Ｔｅ以上と判
断した場合には、画像の比較による積算移動量Ｐの背景
移動量推定処理を行う（Ｓ１０７）。具体的には、カメ
ラの向きが大きく変化して符号化の際に動き補償処理が
十分できなかった可能性がある。この場合、移動ベクト
ルから画面の移動量を求めることは不可能なので、現在
の再生画像と一つ前の再生画像との比較による背景移動
量計算処理を行い、移動量ＭＶを求める。

【００４１】Ｓ１０４及びＳ１０７で夫々求めた移動量
ＭＶにより積算移動量Ｐ、背景移動量ＳＶを更新する
［ＳＶ←ＭＶ、Ｐ←Ｐ＋ＭＶ］（１０５）。なお、背景
移動量ＳＶは、直前の画面からの移動量を与え、積算移
動量Ｐは、初期画面からのトータルの移動量を与える。

【００４２】Ｓ１０３において、しきい値Ｔｍ未満であ
ると判断した場合には画面は静止しているとして背景移
動量ＳＶを（０，０）にする（Ｓ１０６）。

【００４３】ここで、マクロブロックの分類処理（Ｓ１
０１）について図６を参照して説明する。画像は、横方
向Ｈ─ＭＡＸ個、縦方向Ｖ─ＭＡＸ個のマクロブロック
に分けられているものとする。Ｓ２０１において、画像
差分の大きいブロックの数（前回の画像との差分の大き
いブロックの数）をｅ、又移動ブロックの数をｍとし、
初期値として０を代入する。

【００４４】次に、横方向の位置をｉ、縦方向の位置を
ｊとして、ｉを０からＨ─ＭＡＸ−１まで変え（Ｓ２０
２、Ｓ２１３）、ｊを０からＶ─ＭＡＸ−１まで変え
（Ｓ２０３、Ｓ２１２）て、（ｉ，ｊ）で示されるマク
ロブロックについてＳ２０４〜Ｓ２１１の処理を行う。

【００４５】まず、Ｓ２０４において、（ｉ，ｊ）で示
されるマクロブロックが移動ブロックかどうかを示すフ
ラグＭ［ｉ］［ｊ］にＦＡＬＳＥを設定する。

【００４６】Ｓ２０５において、（ｉ，ｊ）で示される
マクロブロックのモードを調べる。Ｓ２０５において、
モードがＩＮＴＲＡと判断された場合、直前の画像の対
応するマクロブロックにおける、各画素の値の差の絶対
値の総和ＳＡＤが、しきい値Ｔ０より大きいかどうかを
判断する（Ｓ２０９）。

【００４７】総和ＳＡＤがしきい値Ｔ０より大きけれ
ば、ｅの値を１つ増やす（Ｓ２１０）。Ｓ２０５におい
て、モードがＩＮＴＥＲと判断された場合、ＤＣＴ係数
の絶対値の総和Σ｜ＣＯＥＦ｜が、しきい値Ｔ１より小
さいかどうかを判断する。

【００４８】Σ｜ＣＯＥＦ｜が、しきい値Ｔ１より小さ
ければ、Ｍ［ｉ］［ｊ］にＴＲＵＥを設定し（Ｓ２０
７）、ｍの値を１つ増やす（Ｓ２０８）。

【００４９】Σ｜ＣＯＥＦ｜がしきい値Ｔ１より小さく
なれば、ｅの値を１つ増やす（Ｓ２１１）。Ｓ２０５に
おいて、モードがＮＯＴ─ＣＯＤＥＤと判断された場
合、何もせず次のブロックの処理へ進む。

【００５０】以上の処理の結果、画像差分の大きいブロ
ックの数ｅ、及び、移動ブロックの数ｍが求まり、Ｍ
［ｉ］［ｊ］に（ｉ，ｊ）で示されるマクロブロックが
移動ブロックかを示すフラグが設定される。

【００５１】ここで、移動ベクトルによる背景移動量計
算処理（Ｓ１０４）の動作について図７のフローチャー
トを参照して説明する。Ｍ［ｉ］［ｊ］＝ＴＲＵＥであ
るブロックの移動ベクトルについて、図８に示す頻度表
を作成する（Ｓ３０１）。この頻度表は、同じベクトル
値を持つブロックの個数を表すものである。

【００５２】このような頻度表は、図９に示すフローチ
ャートに示すように作成される。

【００５３】Ｓ４０１で頻度表を初期化した後、横方向
の位置をｉ、縦方向の位置ｊとして、ｉを０からＨ─Ｍ
ＡＸ−１まで変え（Ｓ４０２、Ｓ４０９）、ｊを０から
Ｖ─ＭＡＸ−１まで変え（Ｓ４０３、Ｓ４０８）て、
（ｉ，ｊ）で示されるマクロブロックについてＳ４０４
〜Ｓ４０７による処理を行う。

【００５４】まず、Ｓ４０４において、Ｍ［ｉ］［ｊ］
がＴＲＵＥかどうかが判断される。

【００５５】Ｓ４０４において、Ｍ［ｉ］［ｊ］がＴＲ
ＵＥと判断された場合、頻度表にマクロブロック（ｉ，
ｊ）の移動ベクトルｍｖ［ｉ］［ｊ］と一致するベクト
ルがあるかどうかが判断される（Ｓ４０５）。

【００５６】Ｓ４０５において、一致するベクトルがあ
ると判断された場合には、そのベクトルの度数を１増や
す（Ｓ４０６）。Ｓ４０５において、一致するベクトル
が無いと判断された場合には、頻度表に新たに項目を追
加する（Ｓ４０７）。

【００５７】Ｓ４０４において、Ｍ［ｉ］［ｊ］がＴＲ
ＵＥでないと判断された場合には、何もせず次のブロッ
クの処理へ進む。

【００５８】以上のように作成されたベクトル頻度表の
中で最も頻度の大きい動きベクトル（ｍｘ，ｍｙ）を選
ぶ（図７のＳ３０２）。次に、（ｍｘ，ｍｙ）に近い値
を持つベクトルの数（頻度）ｍｍと平均値（ａｘ，ａ
ｙ）を求める（Ｓ３０３）。例えばｎ（ｘ，ｙ）を移動
ベクトル（ｘ，ｙ）の頻度として、（１）式で求める。

【００５９】ｍｍ＝Σｎ（ｘ，ｙ），ａｘ＝［Σｘ＊ｎ（ｘ，ｙ）］／ｍｍ，ａｙ＝［Σｙ＊ｎ（ｘ，ｙ）］／ｍｍｍｘ−１≦ｘ≦ｍｘ＋１，ｍｙ−１≦ｙ≦ｍｙ＋１（１）式そして、頻度ｍｍの大きさを調べ、ｍｍがしきい値Ｔｍ
ｍ以上かどうかを判断する（Ｓ３０４）。

【００６０】Ｓ３０４において、ｍｍがしきい値Ｔｍｍ
より大きければ、背景が移動したものとして（ａｘ，ａ
ｙ）を移動量ＭＶとする（Ｓ３０５）。また、Ｓ３０４
において、ｍｍがしきい値Ｔｍｍ未満のときは、背景は
静止しているものとしてＭＶ＝（０，０）とする（Ｓ３
０６）。

【００６１】ここで、図５の画像の比較による移動量推
定処理（Ｓ１０７）、すなわち、計算処理現在の再生画
像と１つ前の再生画像との比較による背景移動量計算処
理としては、例えば以下のように実施する。１／１６の
縮小画像を作成し、ｘ方向とｙ方向に１ピクセルずつ、
−７〜＋７ピクセルの範囲でずらしながら画像間の差の
絶対値を計算し、最も小さくなるｘ，ｙを求め、これを
ｍｘ，ｍｙとする。

【００６２】そして１／４の縮小画像を作成し、４＊ｍ
ｘ，４＊ｍｙを中心にｘ方向とｙ方向に１ピクセルず
つ、−２〜＋２ピクセルの範囲でずらしながら画像間の
差の絶対値を計算し、最も小さくなるｘ，ｙを求め、こ
れを新しいｍｘ，ｍｙとする。

【００６３】等倍画像を用いて、４＊ｍｘ，４＊ｍｙを
中心にｘ方向とｙ方向に１ピクセルずつ、−２〜＋２ピ
クセルの範囲でずらしながら画像間の差の絶対値を計算
し、最も小さくなるｘ，ｙを求め、これを新しいｍｘ，
ｍｙとする。

【００６４】最後のステップで求められた画像間の差の
絶対値がしきい値以下であれば、画像が移動したものと
して結果を移動量ＭＶとして出力する。しきい値以上で
あれば、ＭＶ＝（０，０）とする。

【００６５】この場合、各ステップで全画素を用いて計
算してもよいし、代表ブロックを選んで計算してもよ
い。なお、画像による移動量計算処理（Ｓ１０７）とし
て、上記以外の方法を用いてもよい。

【００６６】また、画角が広い場合、カメラが向きを変
えた場合の画面の移動量は中心と周辺で異なる。あらか
じめ画角がわかっていれば、マクロブロックの移動ベク
トルＶから、ブロックの位置に応じて（２）式により中
心での移動量に換算した移動ベクトルＶ’を求めて上記
計算を行うことでより正確な移動量を見積もることがで
きる。

【００６７】Ｖ’＝Ｒ^２／（Ｒ^２＋ｐｘ^２＋ｐｙ^２）＊ＶＲ＝ｗ／ｔａｎθ （２）式ｗ：画面の幅、θ：画角、（ｐｘ，ｐｙ）：画面中央を
原点としたマクロブロックの中心位置この（２）式換算はカメラが視線方向に直角な軸に対し
て回転運動をした場合にのみ有効である。

【００６８】図１の検出手段３４は、復号化手段３２に
より復号された再生画像、マクロブロック毎のモード情
報、動きベクトル情報を用いて、移動物体の検出や特定
色の検出等を行う。このとき、背景移動計算手段３３で
求められた移動ベクトルＳＶを用いて、背景の移動を相
殺する処理を行い、背景に相対的に移動している物体を
検出する。

【００６９】ここで、移動物体検出手段として例えば、
公知例（特開２０００─１９７０６４）の技術を使用す
る。これは、図１０に示すようにマクロブロックの静動
判定処理（Ｓ５０１）、移動物体の判定処理（Ｓ５０
２）、移動物体の表示処理（Ｓ５０３）の３つのステッ
プで実施される。

【００７０】このうち、マクロブロックの静動判定処理
（Ｓ５０１）について、図１１のフローチャートを参照
して説明する。

【００７１】マクロブロック（ＬＯＯＰ１，２）毎に以
下の処理を行う（Ｓ６０１，Ｓ６０２）。モード情報Ｍ
ＯＤＥの判定を行う（Ｓ６０３）。Ｓ６０３において、
ＭＯＤＥがＩＮＴＲＡならば、そのマクロブロックの再
生画像信号と１フレーム前のフレームメモリとの差分絶
対値和（ＳＡＤ）を計算し、これがしきい値Ｔ０より大
きいかどうかを判断する（Ｓ６０４）。

【００７２】Ｓ６０４において、ＳＡＤ＞Ｔ０ならば、
そのマクロブロックは動マクロブロックと判定し、Ｍ
［ｉ］［ｊ］にＴＲＵＥを代入する（Ｓ６０６）。Ｓ６
０４において、ＳＡＤ＞Ｔ０でない場合には、そのマク
ロブロックは静止マクロブロックと判定し、Ｍ［ｉ］
［ｊ］にＦＡＬＳＥを代入する（Ｓ６０７）。

【００７３】Ｓ６０３において、ＭＯＤＥがＩＮＴＥＲ
ならば、図３の可変長復号化部３２３からの動きベクト
ル情報とＤＣＴ係数情報から、そのマクロブロックの動
きベクトルの絶対値和Σ｜ＭＶ｜及び、ＤＣＴ係数の絶
対値和Σ｜ＣＯＦ｜を計算し、それぞれのしきい値Ｔ
１、Ｔ２と比較を行う（Ｓ６０５）。

【００７４】Ｓ６０５において、Σ｜ＭＶ｜＜Ｔ１かつ
Σ｜ＣＯＦ｜＜Ｔ２であれば、そのマクロブロックは静
止マクロブロックと判定し、Ｍ［ｉ］［ｊ］にＦＡＬＳ
Ｅを代入する（Ｓ６０７）。Ｓ６０５において、Σ｜Ｍ
Ｖ｜＜Ｔ１かつΣ｜ＣＯＦ｜＜Ｔ２でないと判断する
と、そのマクロブロックは静止マクロブロックと判定
し、Ｍ［ｉ］［ｊ］にＴＲＵＥを代入する（Ｓ６０
６）。

【００７５】Ｓ６０３において、ＭＯＤＥがＮＯＴ─Ｃ
ＯＤＥＤならば、そのマクロブロックは静止マクロブロ
ックと判定し、Ｍ［ｉ］［ｊ］にＦＡＬＳＥを代入する
（Ｓ６０７）。

【００７６】この後、雑音除去処理、移動物体包含処理
を実施して移動物体を検出する。

【００７７】ここで、図１１の変形例について図１２の
フローチャートを参照して説明する。図１２は図１１の
（Ｓ６０３）、（Ｓ６０４）、（Ｓ６０５）の処理を夫
々以下の（Ｓ６０３’）、（Ｓ６０４’）、（Ｓ６０
５’）のように変更したものである。マクロブロック毎
に以下の処理を行う（Ｓ６０１，Ｓ６０２）。

【００７８】モード情報ＭＯＤＥの判定を行う（Ｓ６０
３’）。Ｓ６０３’において、ＭＯＤＥがＩＮＴＲＡ、
またはＭＯＤＥがＮＯＴ─ＣＯＤＥＤでかつ｜ＳＶ｜≠
０ならば、そのマクロブロックの再生画像信号と背景移
動量ＳＶの分だけ移動した１フレーム前のフレームメモ
リとの差分絶対値和（ＳＡＤ）を計算し、これとしきい
値Ｔ０と比較を行う（Ｓ６０４’）。Ｓ６０４’におい
て、ＳＡＤ＞Ｔ０ならば、そのマクロブロックは動マク
ロブロックと判定し、Ｍ［ｉ］［ｊ］にＴＲＵＥを代入
する（Ｓ６０６）。Ｓ６０４’において、ＳＡＤ＞Ｔ０
でないと判定されれば、そのマクロブロックは静止マク
ロブロックと判定し、Ｍ［ｉ］［ｊ］にＦＡＬＳＥを代
入する（Ｓ６０７）。

【００７９】Ｓ６０３’において、ＭＯＤＥがＩＮＴＥ
Ｒと判定されれば、可変長復号化部３２３からの動きベ
クトル情報とＤＣＴ係数情報からそのマクロブロックの
動きベクトルと背景移動量ＳＶの差の絶対値和Σ｜ＭＶ
−ＳＶ｜及び、ＤＣＴ係数の絶対値和Σ｜ＣＯＦ｜を計
算し、これとそれぞれのしきい値Ｔ１、Ｔ２と比較を行
う（Ｓ６０５’）。

【００８０】Ｓ６０５’において、Σ｜ＭＶ｜＜Ｔ１か
つΣ｜ＣＯＦ｜＜Ｔ２と判定されれば、そのマクロブロ
ックは静止マクロブロックと判定し、Ｍ［ｉ］［ｊ］に
ＦＡＬＳＥを代入する（Ｓ６０７）。Ｓ６０５’におい
て、Σ｜ＭＶ｜＜Ｔ１かつΣ｜ＣＯＦ｜＜Ｔ２でないと
判定されれば、そのマクロブロックは動マクロブロック
と判定し、Ｍ［ｉ］［ｊ］にＴＲＵＥを代入する（Ｓ６
０６）。

【００８１】このようにすることで、画面全体の移動の
影響を除去することが可能である。

【００８２】なお、図１の検出手段３４として公知例の
技術を説明したが、検出手段３４は上記だけに限らず、
背景移動ベクトルを用いて相対的な移動を検出できれば
よい。

【００８３】以上述べた第１の実施形態によれば、背景
に相対的に移動する物体のみを検出する処理を行う場
合、動画像符号化データに含まれるマクロブロック毎の
動きベクトル情報から背景移動量を求めるので、処理に
必要な計算量を削減することができる。

【００８４】（第２の実施形態）第２の実施形態は、図
１３のブロック図に示すように、第１の実施形態の動画
像復号化装置３において、背景移動計算手段３３と検出
手段３４の間に、マスク画像形成手段３６を新たに追加
したものである。このマスク画像形成手段３６で形成さ
れるマスク画像は、例えば図１４に示すように、検出を
行う領域と検出を行わない領域（ハッチングされている
部分）の区別が分かるようになっている。マスク画像デ
ータとしては、例えば図１４のハッチングされていない
領域の画素には１を割り当て、ハッチングされた領域に
は０を割り当てる。

【００８５】図１３の検出手段３４は、第１の実施形態
と同様であるが、マスク画像で指定された範囲（図１４
のハッチングされていない領域）のみで移動物体の検出
や特定色の検出等を行う。

【００８６】前述の公知例のように検出手段３４をマク
ロブロック単位で行う場合は、図１５に示すようにマス
ク画像はマクロブロック単位で指定するように構成して
もよい。このときは、マスク画像は各マクロブロック対
応して０、１の値を持つ配列ｍａｓｋ［ｉ］［ｊ］とし
て持っておけばよい。検出処理は、フローチャート図１
２において、ｍａｓｋ［ｉ］［ｊ］＝１となるマクロブ
ロック（ｉ，ｊ）について行う。

【００８７】また、背景移動計算手段３３で求めた背景
移動量ＳＶが、図１６（ｂ）に示すように（０，０）で
ない場合、図１６（ａ）のようにマスク領域は画像とず
れることになる。

【００８８】そこで、初期マスク画像を用意しておき、
背景移動量ＳＶが（０，０）でないときは、図１７に示
すようにマスク画像を背景移動量ＳＶの分だけ移動させ
た新しいマスク画像を作成する。また、図１８に示すよ
うに移動量ＳＶを積算した積算移動量Ｐを用いて、初期
位置のマスク画像をＰだけ移動させて新しいマスク画像
を作成してもよい。更に、マスク画像の変更はリアルタ
イムに行ってもよいし、背景移動が停止してから行って
もよい。

【００８９】以上述べた第２の実施形態によれば、マス
ク画像により物体検出領域を制限した場合に、背景移動
に伴ってマスク画像を正しい位置に移動させることがで
きるので、物体検出を正しく行うことができる。

【００９０】（第３の実施形態）第３の実施形態は、前
述の第２の実施形態において、図１５に示すようにマス
ク画像をマクロブロック単位で設定するようにしたもの
である。ここで、背景移動計算手段３３で求めた背景移
動量ＳＶが（０，０）でない場合、第２の実施形態と同
様にマスク画像を移動させるが、マスク画像がマクロブ
ロック単位で設定されているのでＳＶをそのままでは使
えない。このため、積算移動量Ｐをマクロブロック単位
に換算した値Ｐ’を使用し、初期マスク画像をＰ’分移
動させた新しいマスク画像を生成するようにする。

【００９１】以上述べた第３の実施形態によれば、マス
ク画像がマクロブロック単位で指定されるので、物体検
出領域を制限した場合の検出処理が簡略化される。

【００９２】（第４の実施形態）第４の実施形態は、カ
メラを遮るように物体が移動した場合に、画面の移動を
間違えて検出しないようにするために、図１９に示すよ
うに、背景画像蓄積手段３７を新たに追加したものであ
る。この場合の背景画像としては、移動物体が検出され
なかった位置の画像を常時蓄積してもよいし、あらかじ
めカメラの全移動範囲について背景画像を作成してもよ
い。あらかじめ用意しておく場合は、カメラの移動角が
狭ければ、平面上に展開する。移動角が広ければ、例え
ば円柱面への射影画像を作成しておく。

【００９３】背景移動計算手段３３には、図２０に示す
ように移動量補正部３３５が新たに追加されたものであ
り、移動量補正部３３５では、以下の処理を行う。すな
わち、背景移動量ＳＶをもとに移動した背景画像を作成
する。そして、ブロック毎に背景画像との差の絶対値の
総和を求め、この値がしきい値以下のブロックの個数と
しきい値以上のブロックの個数を求める。背景画像が無
い領域ではこの計算を行わない。

【００９４】しきい値以下のブロックの個数が十分あれ
ば、移動量ＳＶは正しいとする。

【００９５】すこしづつずらしてマッチングをとること
で、正確な移動量を求めてもよい。

【００９６】しきい値以下のブロックの個数が十分でな
ければ、移動量は間違っているとし、画像による移動量
推定処理部３３３を用いて移動量を推定する。

【００９７】また、背景として一部の特徴的な領域の画
像と位置だけを求めておいてもよい。画面が移動して、
背景画像の特徴領域が画面内に入ると、実際のカメラ画
像と、用意しておいた背景画像とを比較する。計算位置
を中心としてパターンマッチングを実施し、最も一致す
る位置を求め、移動量を補正する。

【００９８】以上述べた第４の実施形によれば、背景移
動計算手段３３で求めた移動量が正しいかどうか背景画
像を用いて検証することができるので、より正確に背景
の移動を求めることができる。

【００９９】

【発明の効果】本発明によれば、従来の技術のように画
素毎の輝度の比較計算を行わないので、より計算処理量
の少ない動画像監視装置を提供することができる。

【０１００】具体的には、請求項１に対応する発明によ
れば、背景に相対的に移動する物体のみを検出する処理
を行う場合、動画像符号化データに含まれるマクロブロ
ック毎の動きベクトル情報から背景移動量を求めるの
で、処理に必要な計算量を削減することができる。

【０１０１】また、請求項２に対応する発明によれば、
マスク画像により物体検出領域を制限した場合に、背景
移動に伴ってマスク画像を正しい位置に移動させること
ができるので、物体検出を正しく行うことができる。

【０１０２】さらに請求項３に対応する発明によれば、
マスク画像がマクロブロック単位で指定されるので、物
体検出領域を制限した場合の検出処理が簡略化される。

【０１０３】請求項４に対応する発明によれば、背景移
動計算手段で求めた移動量が正しいかどうか背景画像を
用いて検証することができるので、より正確に背景の移
動を求めることができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る動画像監視装置の
ブロック図。

【図２】図１の同実施形態における動画像符号化手段の
構成を示す図。

【図３】図１の同実施形態における動画像復号化手段の
構成を示す図。

【図４】図１の同実施形態における背景移動計算手段の
構成を示す図。

【図５】図１の同実施形態における背景移動計算手段の
動作を説明するためのフローチャート。

【図６】図５におけるマクロブロック分類処理（Ｓ１０
１）を詳細に説明するためのフローチャート。

【図７】図５における、移動ベクトルによる移動量推定
処理（Ｓ１０４）を詳細に説明するためのフローチャー
ト。

【図８】図７のベクトル頻度表の一例を示す図。

【図９】図７のベクトル頻度表を作成する手順を説明す
るためのフローチャート。

【図１０】図１の同実施形態における検出手段の一例を
説明するためのフローチャート。

【図１１】図１０におけるマクロブロック静動判定処理
（Ｓ５０１）を詳細に説明するためのフローチャート。

【図１２】本発明におけるマクロブロック静動判定処理
（Ｓ５０１）を詳細に説明するためのフローチャート。

【図１３】本発明の第２及び第３の実施形態に係る動画
像監視装置のブロック図。

【図１４】図１３のマスク画像を説明するための図。

【図１５】図１３の第３の実施形態に係る動画像監視装
置のマクロブロック単位のマスク画像の例を示す図。

【図１６】図１３の第３の実施形態に係る動画像監視装
置における背景の移動によりマスク画像がずれることの
説明図。

【図１７】図１３の第３の実施形態に係る動画像監視装
置におけるマスク画像の移動処理の説明図。

【図１８】図１３の第３の実施形態に係る動画像監視装
置におけるマスク画像の移動処理の説明図。

【図１９】本発明の第４の実施形態に係る動画像監視装
置の構成を示すブロック図。

【図２０】図１９の実施形態に係る背景移動計算手段の
詳細な構成を説明するためのブロック図。

【符号の説明】

１…映像入力装置２…動画像符号化装置３…動画像復号化装置４…表示装置２１…キャプチャ手段２２…符号化手段２３…送信手段３１…受信手段３２…復号化手段３３…背景移動計算手段３４…検出手段３５…表示手段３６…マスク画像形成手段３７…背景画像蓄積手段２０１…入力バッファ２０２…多重化分離部２０３…可変長復号化部２０４…逆量子化部２０５…ＩＤＣＴ部２０６…加算器２０７…フレームメモリ２０８…動き補償部２０９…モード切替スイッチ２１０…動画像復号化部２１１…マクロブロック静動判定部２１２…減算器２１３…移動物体判定部２１４…移動物体合成表示部２１５…移動物体検出部３２１…入力バッファ３２３…可変長符号化部３２４…逆量子化部３２５…ＩＤＣＴ部３２６…加算器３２７…フレームメモリ３２８…動き補償部３２９…モード切替スイッチ３３１…処理判定部３３２…画像による背景移動処理部３３３…動きベクトルによる背景移動処理部３３４…背景移動量記憶部

───────────────────────────────────────────────────── フロントページの続き (72)発明者中條健神奈川県川崎市幸区小向東芝町１番地株式会社東芝研究開発センター内 (72)発明者池田旬神奈川県横浜市磯子区新杉田町８番地株式会社東芝横浜事業所内Ｆターム(参考） 5C054 DA07 EA00 EA01 EA03 FC13 FC15 FE25 GB14 HA18 HA19 HA31 5C059 KK15 MA04 MA05 MA23 MC11 ME01 NN02 NN24 NN28 NN41 PP29 SS06 SS14 TA66 TB07 TC12 TD11 UA02 UA05 5J064 AA02 AA04 BA09 BA16 BB01 BB03 BC01 BC22 BD02

Claims

【特許請求の範囲】

【請求項１】動画像信号を取り込み、これをマクロブ
ロック信号に分割し、該各マクロブロック信号を符号化
するものであって、動き補償に基づく動画像圧縮手法を
用いた動画像符号化装置と、該動画像符号化装置からの符号化信号を受け取り、これ
を復号化し動画像データを構成する動画像復号化装置
と、を具備した動画像監視装置において、前記動画像復号化装置は少なくとも復号化手段と、背景
移動計算手段と、検出手段を備え、前記復号化手段は前記符号化信号を受け取り、画像デー
タ及びマクロブロック情報を出力するものであり、前記背景移動計算手段は前記復号化手段からの画像デー
タ及びマクロブロック情報に基づき背景の並行移動量を
推定するものであり、前記検出手段は前記背景移動計算手段からの背景移動量
と、前記復号化手段からの画像データ及びマクロブロッ
ク情報を入力し、前記背景に対して相対的に動く移動物
体を検出するものである動画像監視装置。
【請求項２】動画像信号を取り込み、これをマクロブ
ロック信号に分割し、該各マクロブロック信号を符号化
するものであって、動き補償に基づく動画像圧縮手法を
用いた動画像符号化装置と、該動画像符号化装置からの符号化信号を受け取り、これ
を復号化し動画像データを構成する動画像復号化装置
と、を具備した動画像監視装置において、前記動画像復号化装置は少なくとも復号化手段と、背景
移動計算手段と、検出手段と、マスク画像形成手段を備
え、前記復号化手段は前記符号化信号を受け取り、画像デー
タ及びマクロブロック情報を出力するものであり、前記背景移動計算手段は前記復号化手段からの画像デー
タ及びマクロブロック情報に基づき背景の並行移動量を
推定するものであり、前記検出手段は前記背景移動計算手段からの背景移動量
と、前記復号化手段からの画像データ及びマクロブロッ
ク情報を入力し、前記背景に対して相対的に動く移動物
体を検出するものであり、前記マスク画像形成手段は前記検出手段による検出範囲
を指定するマスク画像を形成するものであり、該マスク画像を背景移動に合わせて移動させ、前記検出
手段は該マスク画像により指定された範囲内でのみ検出
を行う動画像監視装置。
【請求項３】前記マスク画像形成手段は該マスク画像
をブロック単位で検出範囲を設定し、該マスク画像を背
景移動に合わせて移動させる場合にブロック単位で移動
させることを特徴とする請求項２に記載の動画像監視装
置。
【請求項４】動画像信号を取り込み、これをマクロブ
ロック信号に分割し、該各マクロブロック信号を符号化
するものであって、動き補償に基づく動画像圧縮手法を
用いた動画像符号化装置と、該動画像符号化装置からの符号化信号を受け取り、これ
を復号化し動画像データを構成する動画像復号化装置
と、を具備した動画像監視装置において、前記動画像復号化装置は少なくとも復号化手段と、背景
移動計算手段と、検出手段と、マスク画像形成手段と、
背景画像蓄積手段を備え、前記復号化手段は前記符号化信号を受け取り、画像デー
タ及びマクロブロック情報を出力するものであり、前記背景画像蓄積手段は移動物体が無いときの背景画像
を保存するものであり、前記背景移動計算手段は前記復号化手段からの画像デー
タ及びマクロブロック情報に基づき背景の並行移動量を
推定するものであって、該背景の並行移動量により背景
画像を移動させて現在の画像との比較を行い、背景が移
動したのか、その他の物体の移動による誤差なのかを判
別するものであり、前記検出手段は前記背景移動計算手段からの背景移動量
と、前記復号化手段からの画像データ及びマクロブロッ
ク情報を入力し、前記背景に対して相対的に動く移動物
体を検出するものであり、前記マスク画像形成手段は前記検出手段による検出範囲
を指定するマスク画像を形成するものであり、該マスク画像を背景移動に合わせて移動させ、前記検出
手段は該マスク画像により指定された範囲内でのみ検出
を行う動画像監視装置。