JPH01291586A - 動画像の背景画像抽出方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、シーンチェンジと次なるシーンチェンジの間
に代表されるような一連の動画像から背景画像を抽出す
る方式に関するものである。

（従来の技術） 動画像の圧縮記録における高能率符号化方式に関しては
、次のような予測符号化方式が知られている。これは画
像信号からフレーム間予測回路、フレーム内予測回路及
び背景予測回路の何れかを利用して得た予測値を差し引
き、その差分を符号化するものである。ところで、通常
のテレビジョン信号ではフレーム間相関が高いので一般
にフレーム間予測が効率的であるが、動く被写体の背後
から現れてくる画像部分についてはフレーム間及びフレ
ーム内の両相間とも小さいので、背景画像を予測値とし
て用いる背景予測が行われる。この背景画像は、これか
ら符号化しようとする一連の動画像から動く被写体部分
をできる限り除いた背景部分から抽出する。

背景画像の抽出方式としては、特願昭６２−１６５９５
７号明細書により提案されているものがある。これは画
像内のある画素が背景を表示している期間は、前記画素
の信号レベルが殆ど変化しないことを利用するもので、
前記期間内の信号レベルから背景画像を抽出する。本例
の場合、先ずある画素の信号レベルの変化をシーンチェ
ンジと次なるシーンチェンジの間の一連の画像フレーム
で見渡した上で、連続した複数のフレームにわたり変化
の少ない期間をこの画素の平担領域とし、全フレーム期
間内で観測できる平担領域を全て抽出する。次に、前記
複数の平担領域から適当のものをいくつか選択し、その
領域に含まれる各フレーム上での信号レベルの平均値と
してこの画素の背景レベルを決定する。以上のことを全
ての画素について繰り返せば、動く被写体の影響の少な
い背景画像が生成される。第３図はその動作を説明する
フローチャートである。

すなわち、それぞれの画素Ｘに対して第ｉフレームでの
信号レベルをＸｉとしてシーンチェンジで囲まれる１シ
ーンケンスの間の背景レベルＡをこのフローチャートで
計算する。まず１シーケンスの中にいくつか含まれる画
素Ｘの平担領域をステップ（０１）から（０７）で全て
検出する。例えばある画素Ｘの第に番目の平担領域につ
いては、ステップ（０１）もしくは（０７）で平担領域
の先頭フレームＮｓ、終了フレームＮｅ及び領域内での
平均信号レベルＡｋの各々の初期値が与えられ、ステッ
プ（０３）でＡｋと次フレームでの信号レベルとの差分
が許容値８１より小さいと判断される限り、ＮｅとＡｋ
をステップ（０４）でフレーム毎に更新する。もし平担
領域が終了したと判断すれば、ステップ（０６）で第に
番目の平担領域の長さＮｋが決まり、ステップ（０７）
で次なる平担領域の検出のためＮｓ、　Ｎｅ及びＡｋが
再度初期設定される。

以上の処理がシーケンス内の全フレームについて終了す
ると、次にステップ（０８）でそれぞれの画素に対して
、前記抽出された各平担領域のレベルＡｋをその長さＮ
ｋで重み付けした加重平均Ａと加重二乗平均■及び分散
σ２を求める。そしてステップ（０９）で分散σ２があ
らかじめ設定された許容値８２以下であるならば、ステ
ップ（１０）において平担領域の平均値Ｘをこの画素Ｘ
の背景レベルＡに決定する。しかしそうでない場合には
、ステップ（１１）において加重平均τとのレベル差が
最大の平担領域を除外して再びステップ（０８）以下の
処理をもう一度繰り返す。

（発明が解決しようとする問題点） 上記従来の背景データ抽出方式では、画像内のある画素
が背景を表示している期間において、その信号レベルが
持続することを利用するものであるため、雑音等の影響
により画素信号のフレーム間相関が低下する場合には背
景データの抽出が困難となる。また実際の画像において
は静止部分でもフレーム間で画素幅程度のゆらぎを生じ
ることがあるため、特に背景の模様等境界部では信号レ
ベルの異なる複数の平担領域を検出し、前記平担領域か
ら背景画像を生成するに際して、本来同程度の信号レベ
ルである近傍位置にある画素どうしにおいても各々がレ
ベルの異なる平担領域から背景値を決定する場合があり
、背景画像の境界付近で予測値のバラツキによる歪が生
ずる。さらにある画素が動く被写体の一部分を表示して
いる期間においても、前記部分が同一フレーム上での画
素間信号レベルの変化のゆるやかな場合には、やはり平
担領域を検出することがあり、これを誤って背景データ
として抽出する場合がある。以上のように従来の方式で
は、画素単位での抽出誤りを起こし易い等の問題点があ
った。

本発明の目的は、画素の信号データを背景データとして
抽出する際に、画像をあらかじめ定められた大きさのブ
ロックに分割しておき、前記画素が含まれるブロック毎
にフレーム間相関を評価することで上述した問題点を緩
和した背景画像抽出方式を提供することにある。

（問題を解決するための手段） 本発明の背景画像抽出方式は、一定期間の動画像におい
て、前記期間内の各フレームをあらかじめ定められた大
きさのブロックに分割し、前記ブロック毎にフレーム間
での差分値を計算し、前記フレーム間差分値の小さなブ
ロックを静止ブロックと決定し、少なくとも前記静止ブ
ロックと判定されたブロック内に含まれる画素のデータ
のみから背景画像を抽出することを特徴とするものであ
る。

（作用） 本発明は、画像内の背景部分が２次元画像平面上に空間
的相関を持ち、ある画素が背景部分を表示している場合
に、同一画像フレーム上において前記画素の近傍の画素
についても背景部分を表示している可能性が高いという
フレーム内相関を利用するものである。

本発明では、まず画像を定められたブロックに分割し、
各画像フレームにおいて前記ブロック毎に静止ブロック
であるか否かを判定し、前記静止ブロックを一つの単位
として、すなわち静止ブロック内に含まれる全ての画素
の信号を同時に抽出するので、静止ブロック内に含まれ
るフレーム間相関の十分でない画素についても背景デー
タとして抽出することが可能となる。また同一ブロック
内に含まれるそれぞれの画素においては、同一の画像フ
レームの画素信号から背景データを抽出するので、背景
画像上での境界付近での予測値のバラツキや画素単位で
の抽出誤りを抑えることができる。

（実施例） 以下、本発明の実施例を第１図、第２図を用いて説明す
る。第１図は、本発明の一実施例を示すブロック図であ
る。まず入力された一連の動画像の各フレームを、静止
ブロック判定回路１においてあらかじめ定められた大き
さのブロックに分割し、これが静止ブロックであるか否
かを判定する。次に背景データ抽出回路２で各フレーム
のそれぞれの画素の中で、静止ブロックに含まれる信号
を背景データとして抽出する。背景画像生成回路３では
前記抽出背景データから各画素の背景値を決定し背景画
像を生成する。各画素の背景値の決定に際しては、回路
１で静止ブロックと判定されたもののうち、一連の画像
全体から判断して背景を表示していると認められるブロ
ックから抽出した背景データのみを用いることとする。

第２図は、上述の一連の動作を説明するためのフローチ
ャートで、第１図とはステップ（１０４）−（１０５）
が静止ブロック判定回路１に、ステップ（１０６）が背
景データ抽出回路２に、そしてステップ（１０８）−（
１１１）が背景画像生成回路３に対応する。

すなわち画像上のそれぞれの画素Ｘｐに対して第ｉフレ
ームでの信号レベルをＸｐ（ｉ）として、シーケンス内
の一連の信号レベルから前記画素の背景値Ａｐを決定す
る。まず人力画像信号はあらかじめ定められた大きさの
ブロックに分割され、ステップ（１０４）でそれぞれの
ブロック毎に前フレームとの差分値Ｅを計算する。実施
例ではブロック内のそれぞれの画素のフレーム間差分値
の絶対値和をブロックのフレーム間差分値Ｅとしている
。ステップ（１０５）で前記差分値Ｅがあらかじめ定め
られた許容値ｅ１以下ならば、当該ブロックは静止ブロ
ックと判定される。第ｉフレームで静止ブロックと判定
されたブロックについては、ステップ（１０６）で前記
ブロック内の全ての画素が背景を表示していると見なし
て、それぞれの信号レベルＸｐ（ｉ）を背景データとし
て抽出し、画素毎の累積値Ｓｐに加算すると共に二乗累
積値Ｓ２ｐ及び累積フレーム数Ｎｐを記録する。以上、
（１０４）から（１０６）の処理を全ブロックに対して
シーケンス内の一連の画像上で行う。しかる後にステッ
プ（１０８）で各ブロック毎にそこに含まれるそれぞれ
の画素に対して、背景データ累積値Ｓｐと二乗累積値Ｓ
２ｐ及び累積フレーム数Ｎｐから、静止ブロックでのレ
ベルの平均値局と二乗平均値へ−及び分散σｐ２を計算
する。そしてステップ（１０９）においてそれぞれの画
素の分散σｐ２のブロック内での総和が、あらかじめ定
められた許容値８２以下であるならば、ステップ（１１
０）で当該ブロック内のそれぞれの画素の平均値耶を背
景値Ａｐに決定する。もしそうでないブロックについて
は、ステップ（１１１）で、それぞれの画素における信
号レベルＸｐ（ｉ）と平均値耶との差分絶対値のブロッ
ク内総和が最大となる第ｊフレームの静止ブロックにお
ける各画素の背景データを累積データｓｐ、　Ｓ２ｐ及
びＮｐから除外して、再び（１０８）以下の処理を繰り
返す。こうして、画像データのそれぞれのブロック毎に
ブロック内及びフレーム間の相関を利用して収集された
背景データの中から、シーケンス内の一連の画像全体を
見渡した上で一定の条件を満たすものを選別し、これよ
り背景画像を生成することができる。

なお、ステップ（１０４）でそれぞれのブロックのフレ
ーム間差分値Ｅとしては、ブロック内のそれぞれの画素
信号のフレーム間差分の二乗和を用いてもよい。また、
ステップ（１１１）でブロック内におけるそれぞれの画
素の信号レベルＸｐ（ｉ）と平均値篩との差分絶対値の
ブロック内画素当たりの平均値が、それぞれの画素での
背景データの偏差σｐのブロック内画素当たりの平均値
σよりも大きくなる静止ブロックを背景データから除外
する方法を用いてもよい。

さらに上記の（１０２）−（１０６）の処理において、
背景未検出ブロック、すなわち一連の連続する画像全体
で静止ブロックと判定されることが一度もなかったブロ
ックに対しては、ステップ（１０５）における許容値ε
、を一定の値だけ大きくして、再び（１０１）−（１０
６）の処理をおこなう。または、前記の背景未検出ブロ
ックにおける一連の画像信号を更に小さな大きさのブロ
ックに分割した上で、前記再分割ブロックに対して（１
０１）−（１０６）の処理を再びおこなってもよい。こ
の再分割処理はブロックサイズが画素単位になるまで繰
り返すことができる。最終的に背景データの抽出ができ
なかった画素については、周囲画素の背景値から予測補
間する。

（発明の効果） 以上説明したように、本発明ではブロック単位でフレー
ム間差分をとり、背景を表示しているか否かを判断する
ので、フレーム間及びフレーム内の両方の相関を利用し
ており、画素単位での抽出誤り及び画素間での予測レベ
ルのバラツキの少ない背景画像を得ることができる。ま
たフレーム間−相関が十分でな〈従来の方式では背景デ
ータの抽出が困難であった画素についても背景値を得る
ことを可能としうる。これらの効果は特に背景の模様部
分及び背景物体間の境界部における、背景データの選別
誤りを抑えることに有効である。さらに動く被写体内部
に画素間でのレベル差の小さい平担部分が一部あっても
、これを背景データとして抽出することを抑えることが
できる。

【図面の簡単な説明】

第１図は、本発明の静止ブロック判定、背景データ抽出
方式を適用した背景画像抽出方式の一実施例を示すブロ
ック図、 第２図は、第１図に示した背景画像抽出方式の動作を説
明するためのフローチャート、 第３図は、従来の背景画像抽出方式の動作を説明するフ
ローチャートである。 １・・静止ブロック判定回路 ２・・背景データ抽出回路 ３・・背景画像生成回路

Claims (1)

【特許請求の範囲】
1. 一定期間の動画像から背景画像を抽出する背景画像抽出
   方式において、前記一定期間内の各フレームをあらかじ
   め定められた大きさのブロックに分割し、前記ブロック
   毎にフレーム間での差分値を計算し、前記フレーム間差
   分値の小さなブロックを静止ブロックと決定し、少なく
   とも前記静止ブロックと判定されたブロック内に含まれ
   る画素のデータのみから背景画像を抽出することを特徴
   とする背景画像抽出方式。