JP2001056863A - 画像処理方法および画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 文字領域の輝度値を利用せずに文字領域の高
精度な切り出しを可能とする。 【解決手段】 動き量検出部１１で入力フレーム中の移
動物体の推定動き量が検出される。複数の入力フレーム
を用い、中央値により予測背景が作成され、推定動き量
を打ち消すようにシフト後、中央値により予測物体が作
成される。差分Ｄ_m 計算部１７で、目標画素について、
予測物体と推定動き量を打ち消すようにシフトされた予
測背景との差分Ｄ_m が算出される。差分Ｄ_h 計算部１８
で、目標画素について、それぞれ推定動き量を打ち消す
ようにシフトされた予測背景と入力フレームとの差分Ｄ
_h が算出される。複数の入力フレームについて、差分Ｄ
_mおよび差分Ｄ_h の総和がそれぞれ求められ、比較部１
１で比較される。（差分Ｄ_h の総和＞差分Ｄ_m の総和）
であれば、目標画素が移動物体であるとされる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、映像中の移動領
域を静止した背景画像から高精度で切り出すことができ
る画像処理方法および画像処理装置に関する。

【０００２】

【従来の技術】現在では、動画などの画像信号をディジ
タル方式で扱うことが一般的に行われる。動画などの画
像信号の記録や伝送をディジタル方式で行う場合、画像
信号に対して画像圧縮を行い、データ量を削減する必要
がある。画像圧縮は、一般的には、画像信号の相関性を
利用してデータの冗長部分を除いて符号化することで、
データ量を削減する。

【０００３】

【発明が解決しようとする課題】一方、例えばテレビジ
ョン放送におけるテロップ表示などのように、自然画像
に対して人工的に生成された文字や図形などの画像を重
畳させて表示させることが一般的に行われている。この
ような、自然画像に人工的な画像を重畳させたディジタ
ル画像信号に対して、上述の画像圧縮やその他の信号処
理を行うと、重畳された画像の極めて急峻なエッジ成分
などの、自然画像には有り得ない特性のため、処理後の
画像に、画質の劣化が目立つ場合がある。

【０００４】そこで、上述の画面に重畳された文字や図
形の画像領域（以下、文字領域と称する）を、画面から
切り出す方法が検討されている。従来では、この文字領
域の切り出しを、文字画像の特徴である急峻なエッジや
文字画像の輝度値を利用して、しきい値処理により行っ
ていた。例えば、隣接する２画素の輝度値の差分が所定
のしきい値以上でるかどうかでエッジを判断する、ある
いは、一定面積以上の画素領域が所定のしきい値以上の
輝度値を有するかどうかで、文字領域の判断を行う、さ
らに、両者の方法を併用するなどの方法が考えられる。

【０００５】しかしながら、このような、しきい値によ
る文字領域の切り出しでは、想定したしきい値以外で
の、文字領域の切り出しが不可能であるという問題点が
あった。

【０００６】また、この従来の方法では、文字領域と背
景とが同様の輝度値を有する場合には、文字領域の切り
出しが不可能であるという問題点があった。

【０００７】したがって、この発明の目的は、文字領域
の輝度値を利用せずに文字領域の高精度な切り出しを可
能とする画像処理方法および画像処理装置を提供するこ
とにある。

【０００８】

【課題を解決するための手段】この発明は、上述した課
題を解決するために、画像中を移動する物体を切り出す
画像処理方法において、複数フレームの入力画像データ
を用いて背景の予測画と移動物体の予測画とをそれぞれ
作成し、背景の予測画および移動物体の予測画と、複数
フレームの入力画像データの各フレームとをそれぞれ比
較し、比較の結果に基づき移動物体を注目フレームから
切り出すようにしたことを特徴とする画像処理方法であ
る。

【０００９】また、この発明は、画像中を移動する物体
を切り出す画像処理装置において、複数フレームの入力
画像データを用いて背景の予測画と移動物体の予測画と
をそれぞれ作成し、背景の予測画および移動物体の予測
画と、複数フレームの入力画像データの各フレームとを
それぞれ比較し、比較の結果に基づき移動物体を注目フ
レームから切り出すようにしたことを特徴とする画像処
理装置である。

【００１０】また、この発明は、画像中を移動する物体
を切り出す画像処理方法において、入力フレーム中の移
動物体の推定動き量を検出する動き量検出のステップ
と、複数の入力フレームの画像に基づき背景の予測画を
作成する背景予測画作成のステップと、複数の入力フレ
ームの画像のそれぞれを、動き検出のステップにより検
出された推定動き量を打ち消すようにシフトさせ、シフ
トされた複数の入力フレームの画像に基づき移動物体の
予測画を作成する移動物体予測画作成のステップと、背
景予測画作成のステップによって作成された背景の予測
画と入力フレームとの第１の差分の絶対値を注目画素に
ついて求める第１の差分絶対値算出のステップと、移動
物体予測画作成のステップで作成された背景の予測画
と、入力フレームが動き量検出のステップで検出された
推定動き量を打ち消すようにシフトされた画像との第２
の差分の絶対値を注目画素について求める第２の差分絶
対値算出のステップと、第１の差分絶対値算出のステッ
プで求められた第１の差分の絶対値と、第２の差分絶対
値算出のステップで求められた第２の差分の絶対値とを
比較する比較のステップとを有し、比較のステップによ
る比較の結果、第１の差分の絶対値＞第２の差分の絶対
値であるときに、注目画素が移動物体を構成する画素で
あると判定するようにしたことを特徴とする画像処理方
法である。

【００１１】また、この発明は、画像中を移動する物体
を切り出す画像処理装置において、入力フレーム中の移
動物体の推定動き量を検出する動き量検出手段と、複数
の入力フレームの画像に基づき背景の予測画を作成する
背景予測画作成手段と、複数の入力フレームの画像のそ
れぞれを、動き検出手段により検出された推定動き量を
打ち消すようにシフトさせ、シフトされた複数の入力フ
レームの画像に基づき移動物体の予測画を作成する移動
物体予測画作成手段と、背景予測画作成手段によって作
成された背景の予測画と入力フレームとの第１の差分の
絶対値を注目画素について求める第１の差分絶対値算出
手段と、移動物体予測画作成手段で作成された背景の予
測画と、入力フレームが動き量検出手段で検出された推
定動き量を打ち消すようにシフトされた画像との第２の
差分の絶対値を注目画素について求める第２の差分絶対
値算出手段と、第１の差分絶対値算出手段で求められた
第１の差分の絶対値と、第２の差分絶対値算出手段で求
められた第２の差分の絶対値とを比較する比較手段とを
有し、比較手段による比較の結果、第１の差分の絶対値
＞第２の差分の絶対値であるときに、注目画素が移動物
体を構成する画素であると判定するようにしたことを特
徴とする画像処理装置である。

【００１２】上述したように、請求項１および請求項２
に記載の発明は、複数フレームの入力画像データを用い
て背景の予測画と移動物体の予測画とをそれぞれ作成
し、背景の予測画および移動物体の予測画と、複数フレ
ームの入力画像データの各フレームとをそれぞれ比較
し、比較の結果に基づき移動物体を注目フレームから切
り出すようにしているため、所定のしきい値による判定
を行わなくても背景から移動物体を切り出すことができ
る。

【００１３】また、請求項３および請求項５に記載の発
明は、複数の入力フレームの画像の統計値に基づき背景
の予測画を作成すると共に、複数の入力フレームの画像
のそれぞれを入力フレームより検出された推定動き量を
打ち消すようにシフトさせ、シフトされた複数の入力フ
レームの画像の統計値に基づき移動物体の予測画を作成
し、さらに、背景の予測画と入力フレームとの第１の差
分の絶対値を注目画素について求めると共に、背景の予
測画と入力フレームがシフトされた画像との第２の差分
の絶対値を注目画素について求め、第１の差分の絶対値
と第２の差分の絶対値とを比較した結果、第１の差分の
絶対値＞第２の差分の絶対値であるときに、注目画素が
移動物体を構成する画素であると判定するようにしてい
るため、所定のしきい値による判定を行わなくても、画
素単位で移動物体を検出することができる。

【００１４】

【発明の実施の形態】以下、この発明の実施の一形態に
ついて説明する。この発明では、画面中を移動する文字
領域の動き情報を検出し、検出された動き情報を積極的
に利用して、背景画像から移動する文字領域を抽出す
る。なお、この発明は、文字領域に限らず、画面中の移
動する任意の物体を切り出すことが可能な方法を提供す
る。以下の説明では、「移動する文字領域」を、「移動
物体」と表現する。

【００１５】この発明による画像処理方法は、（１）移
動物体の動き量の推定、（２）推定した動き量を用いて
の、移動物体の高精度な切り出し、これら２つのステッ
プからなる。先ず、（１）の、移動物体の動き量の推定
を行う方法について説明する。

【００１６】ここでは、一例として、テレビジョン放送
における文字テロップ表示のように、移動物体が等速に
例えば水平方向に移動する場合について考える。注目フ
レームから前後に例えば３０フレームの複数フレームを
用いた代表点マッチングを行い、移動物体の動き量を推
定する。

【００１７】例えば、注目フレームを所定のブロックに
分割し、分割されたそれぞれのブロックについて、代表
点を選択する。注目フレームの代表点と、相手側のフレ
ームの対応するブロック内の全画素との差分の絶対値を
積算した差分絶対値和を、代表点のそれぞれについて求
める。そして、求められた積算値を代表点全てについて
さらに積算し、差分絶対値和の総和を求める。評価値
は、注目フレームと、注目フレームから所定距離、例え
ば５の倍数分離れたフレームを相手側フレームとして求
めた、上述の差分絶対値の総和とする。これにより、１
フレーム当たりで１／５画素単位の動き量の推定を行
う。

【００１８】すなわち、ｔフレーム目の座標（ｘ，ｙ）
の画素値をｆ（ｔ，ｘ，ｙ）とすると、注目フレームＴ
における動き量ａの評価値Ｅ（ａ）は、次式（１）で表
すことができる。なお、フレーム毎の動き量は、ａ／５
画素となる。

【００１９】

【数１】

【００２０】この式（１）に基づき、動き量ａをパラメ
ータとした、注目フレームＴについての評価値テーブル
を作成する。作成された評価値テーブルを参照して、移
動物体の推定される動き量を求める。例えば、評価値テ
ーブルにおいて動き量０以外で最小の極小値をとる動き
量を、移動物体の推定動き量として用いることができ
る。

【００２１】図１は、評価値テーブルにおける動き量の
一例の分布を示すグラフである。横軸は、画面上のＸ方
向の動き量ａを表す。図１では、画面上のＹ方向の動き
量に関しては省略されている。縦軸は、評価値Ｅ（ａ）
を表す。評価値Ｅ（ａ）が極小となる動き量ａが、画面
における支配的な動きを示す。動き量が０の状態は、複
数のフレーム間で静止している画像であって、例えば移
動物体に対する背景画像と考えられる。この図１の例で
は、動き量が０の点が極小値となっている。一方、図１
の例では、動き量ａが＋１３の点も極小値をなしてい
る。これにより、比較的大きな移動物体が動き量＋１３
で画面上、Ｘの正方向に移動していると考えることがで
きる。この例では、この動き量＋１３の移動物体が画面
上のテロップ表示であると考えられる。

【００２２】次に、この発明の主旨である、上述した
（２）の、推定した動き量を用いて移動物体を高精度で
切り出す方法について説明する。図２は、推定した動き
量を用いて移動物体を高精度で切り出すための、この実
施の一形態による一例の構成を示す。上述したように、
この実施の一形態では、移動物体の動き量は、複数フレ
ームのデータを用いて求められる。入力された入力フレ
ームが画像メモリ１０に格納される。画像メモリ１０
は、例えば注目フレームおよび注目フレームの前後３０
フレーム分、すなわち全部で６１フレームの入力フレー
ムが格納可能にされている。

【００２３】画像メモリ１０から読み出された入力フレ
ームは、動き量検出部１１に供給され、上述した式
（１）に基づき評価値テーブルが作成される。作成され
た評価値テーブルは、例えばメモリ１２に格納される。
そして、動き量検出部１１によりメモリ１２に格納され
た評価値テーブルが参照され、動き量が検出される。

【００２４】画像メモリ１０から読み出された入力フレ
ームは、さらに、移動物体予測部１３、背景予測部１４
およびシフト部１５に供給される。移動物体予測部１３
に供給された入力フレームは、動き量検出部１１から出
力された動き量に基づき、注目フレームを基準として動
き量を打ち消す方向にシフトされる。そして、複数の入
力フレームの、シフト後の互いに対応する座標の画素の
中央値が画素毎に求められ、注目フレームにおける予測
移動物体データとされる。また、背景予測部１４では、
複数の入力フレームの同一座標の画素の中央値が画素毎
に求められ、予測背景データとされる。

【００２５】なお、ここでは、移動物体予測部１３およ
び背景予測部１４において、画素値の中央値を求めてい
るが、これはこの例に限定されず、平均値など他の統計
値を用いることもできる。

【００２６】背景予測部１４から出力された予測背景デ
ータは、シフト部１６に供給される。シフト部１６で
は、入力されたフレームを、動き量検出部１１から供給
された動き量に基づき、注目フレームを基準として動き
量を打ち消す方向にシフトさせる。シフト部１６の出力
は、差分Ｄ_h 計算部１８の一方の入力端に供給される。

【００２７】一方、移動物体予測部１３から出力された
予測移動物体データが差分Ｄ_m 計算部１７の一方の入力
端に供給されると共に、出力部２２に供給される。シフ
ト部１５の出力が差分Ｄ_m 計算部１７および差分Ｄ_h 計
算部１８それぞれの他方の入力端に供給される。

【００２８】差分Ｄ_m 計算部１７では、一方および他方
の入力端に供給された、予測移動物体データとシフト部
１５の出力との差分を、注目画素に関して求める。求め
られた差分は、累積部１９に供給され、差分の絶対値が
フレーム間で累積される。注目画素に関して、例えば６
１フレームにわたって累積部１９で累積された差分絶対
値和は、比較部２１の一方の入力端に入力される。

【００２９】差分Ｄ_h 計算部１８では、一方および他方
の入力端に供給された、シフト部１６の出力とシフト部
１５の出力との差分を、注目画素に関して求める。求め
られた差分は、累積部２０に供給され、差分の絶対値が
フレーム間で累積される。注目画素に関して、例えば６
１フレームにわたって累積部２０で累積された差分絶対
値和が比較部２１の他方の入力端に入力される。

【００３０】比較部２１では、一方および他方の入力端
にそれぞれ入力された差分絶対値和を比較する。比較結
果に基づき、注目画素が移動物体データを構成する画素
であるか、背景データを構成する画素であるかが判断さ
れる。比較部２１の出力は、例えば、注目画素が移動物
体データを構成する画素であれば値が１とされ、背景デ
ータを構成する画素であれば値が０とされる。この比較
部２１の出力は、例えばＡＮＤ回路を用いたゲート回路
からなる出力部２２の一方の入力端に供給される。他方
の入力端に供給された、移動物体予測部１３から出力さ
れた予測移動物体データは、上述した、一方の入力端に
供給された比較部２１の出力が１ならば出力され、０な
らば出力されないように制御される。これにより、出力
部２２からは、移動物体データが切り出されて出力され
る。

【００３１】なお、図２に示される構成の各部は、それ
ぞれ専用のハードウェアで実現してもよいし、ＣＰＵ(C
entral Processing Unit) を中心に構成し、ＣＰＵ上で
実行される所定のソフトウェアにより実現するようにし
てもよい。また、ＤＳＰ(Digital Signal Processor)を
用い、ＤＳＰを所定にプログラミングして実現すること
もできる。

【００３２】推定した動き量を用いて移動物体を高精度
で切り出す方法について、図３、図４および図５を用い
て、より詳細に説明する。図３は、この実施の一形態に
よる、推定した動き量を用いて移動物体を高精度で切り
出す一例の処理のフローチャートである。このフローチ
ャートでは、注目フレームについて、画素毎に移動物体
領域と背景領域とを判定して、移動物体の切り出しを行
う。またその際に、注目フレームの前後の複数フレーム
を用いて、移動物体の切り出しを行う。

【００３３】ここでは、説明のため、図４に例示される
時系列順の第１フレーム５０、第２フレーム５１および
第３フレーム５２の３フレーム分の入力フレームを用い
て、画像中の移動物体の切り出しを行うものとし、これ
らフレーム５０〜５２が画像メモリ１０に格納されてい
るものとする。この例では、家屋様の背景画像に対し
て、移動物体として、左側から右側へと水平に移動する
テロップ（文字列「ＡＢＣ」）が重畳されている。画像
メモリ１０からフレーム５０〜５２が入力フレームとし
て順次読み出されて、以下の処理がなされる。

【００３４】最初のステップＳ１０では、移動物体予測
部１３により、入力フレーム中の移動物体の予測値が生
成される。動き量検出部１１から供給された動き量に基
づき、あるフレームを基準にして、動き量を打ち消すよ
うに他のフレームをシフトさせる。そして、全フレーム
の対象画素の輝度値の中央値を適用することで、移動物
体の予測値が生成される。１フレーム全ての画素につい
て予測値を求めることで、図５Ｂに示される移動物体の
予測画５４が得られる。なお、中央値に限らず、平均値
や他の統計値を用いて予測値を生成してもよい。

【００３５】例えば動き量をａとして、基準となるフレ
ームを第２フレーム５１とした場合、図５Ｂに一例が示
されるように、第２フレーム５１に対して第１フレーム
５０が−ａ（右側にａ）だけシフトされると共に、第３
フレーム５２がａ（左側にａ）だけシフトされる。フレ
ーム５０〜５２のシフト後の同一座標の画素により、輝
度値の中央値が求められる。この中央値を、フレーム５
１の全画素について求めることで、移動物体の予測画５
４が生成される。予測画５４は、図５Ｂのように、移動
物体（テロップ）だけが鮮明に表示され、背景が不鮮明
な画像となる。

【００３６】なお、このステップＳ１０は、後述するス
テップＳ１１の処理と並列的に実行することが可能であ
る。

【００３７】次のステップＳ１１では、背景予測部１４
により、入力フレーム中の背景画像が予測される。全フ
レームの対象画素の輝度値の中央値を適用することで、
背景の予測値が生成される。１フレーム全ての画素につ
いて予測値を求めることで、図５Ａに示される背景の予
測値５３が得られる。なお、中央値に限らず、平均値や
他の統計値を用いてもよい。すなわち、図５Ａに一例が
示されるように、フレーム５０〜５２の同一座標の画素
のそれぞれについて、輝度値の中央値が求められてフレ
ーム５０〜５２が合成され、背景の予測画５３が生成さ
れる。予測画５３は、図５Ａのように、背景だけが鮮明
に表示され、移動物体が不鮮明な画像となる。

【００３８】

【数２】

【００３９】ここで、移動物体の動き量をｂ画素／フレ
ームとした場合、注目フレームＴの座標（ｘ，ｙ）にお
ける背景の予測値をＰ_h （Ｔ，ｘ，ｙ）とすると、Ｐ_h
（Ｔ，ｘ，ｙ）は、次に示す式（２）で表される。以
下、背景の予測値Ｐ_h （Ｔ，ｘ，ｙ）で示されるデータ
を、予測背景データと称する。

【００４０】なお、式（２）中で、「ｍｉｄ」は、続く
括弧内の値について、対応する閉じ括弧後に付される範
囲内（ｉ＝−３０〜＋３０）の中央値をとることを意味
する。「ｉ」は、対象フレームが注目フレームから何フ
レーム目であるかを示す。この表現は、以下の類似する
数式などにおいて、共通のものである。

【００４１】同様に、移動物体の予測値をＰ_m （Ｔ，
ｘ，ｙ）とすると、Ｐ_m （Ｔ，ｘ，ｙ）は、次に示す式
（３）で表される。以下、移動物体の予測値Ｐ_m （Ｔ，
ｘ，ｙ）で示されるデータを、予測移動物体データと称
する。

【００４２】

【数３】

【００４３】上述のステップＳ１０およびステップＳ１
１で、予測画５３および５４が生成されたら、処理は次
のステップＳ１２に移行し、画素毎の処理のループが開
始される。このループでは、例えば、所定の対象画素
（ｘ，ｙ）の処理が行われる。さらに、次のステップＳ
１３に移行して、フレーム毎の処理のループが開始され
る。このループは、例えば、注目フレームＴからｉ番目
のフレーム（Ｔ＋ｉ）の処理が行われる。ここでは、時
系列的に連続する、第１のフレーム５０、第２のフレー
ム５１および第３のフレーム５２の順で処理が行われる
ものとする。

【００４４】ステップＳ１４では、シフト部１５によ
り、対象とされる入力フレームが、動き量検出部１１か
ら供給された動き量（ｂ画素／フレーム）に基づきシフ
トされる。すなわち、移動物体が水平に移動している場
合、ｉフレーム目の入力フレームを表すｆ（Ｔ＋ｉ，
ｘ，ｙ）がＸ方向にｂ画素／フレーム×ｉフレームだけ
シフトされ、入力フレームがｆ（Ｔ＋ｉ，ｘ＋ｂｉ，
ｙ）とされる。次は、ステップＳ１５およびステップＳ
１８からの、並列的な処理が可能な２つの処理に分かれ
る。

【００４５】ステップＳ１５では、シフト部１６によ
り、背景予測部１４から出力された予測背景データが、
動き量検出部１１から供給された動き量（ｂ画素／フレ
ーム）に基づき、予測移動物体の動き量に合わせてシフ
トされる。すなわち、移動物体が水平に移動している場
合、予測背景Ｐ_h （Ｔ，ｘ，ｙ）がＸ方向にｂ画素／フ
レーム×ｉフレームだけシフトされ、Ｐ_h （Ｔ，ｘ＋ｂ
ｉ，ｙ）とされる。

【００４６】次のステップＳ１６で、入力フレームｆ
（Ｔ＋ｉ，ｘ＋ｂｉ，ｙ）と予測背景Ｐ_h （Ｔ，ｘ＋ｂ
ｉ，ｙ）とから、差分Ｄ_h 計算部１８によって、差分Ｄ
_h が算出される。計算された差分Ｄ_h が累積部２０に供
給され、次のステップＳ１７で、累積部２０により、こ
の差分Ｄ_h の絶対値が累積される。すなわち、ステップ
Ｓ１７では、上述したステップＳ１３のループにより、
差分Ｄ_h の絶対値が入力フレーム毎に累積され、差分Ｄ
_h の絶対値和である差分絶対値和Ｄ_h （Ｔ，ｘ，ｙ）が
求められる。この差分絶対値和Ｄ_h （Ｔ，ｘ，ｙ）は、
次に示す式（４）によって表される。差分Ｄ_h が累積さ
れると、処理はステップＳ１３に戻され、次のフレーム
（Ｔ＋ｉ＋１）について、ステップＳ１５からの同様な
処理がなされる。

【００４７】

【数４】

【００４８】一方、ステップＳ１８側の処理では、入力
フレームｆ（Ｔ＋ｉ，ｘ＋ｂｉ，ｙ）と予測移動物体Ｐ
_m （Ｔ，ｘ，ｙ）とから、差分Ｄ_m が算出される。次の
ステップＳ１９で、この差分Ｄ_m の絶対値が累積され
る。すなわち、ステップＳ１９では、上述したステップ
Ｓ１３のループにより、差分Ｄ_m の絶対値が入力フレー
ム毎に累積され、差分絶対値和Ｄ_m （Ｔ，ｘ，ｙ）が求
められる。この差分絶対値和Ｄ_m （Ｔ，ｘ，ｙ）は、次
に示す式（５）によって表される。差分Ｄ_m が累積され
ると、処理はステップＳ１３に戻され、次のフレーム
（Ｔ＋ｉ＋１）について、ステップＳ１８からの同様な
処理がなされる。

【００４９】

【数５】

【００５０】ステップＳ１３で、所定の対象画素（ｘ，
ｙ）について、対象の全フレームに対する処理が終了し
たとされたら、処理はステップＳ２０に移行する。ステ
ップＳ２０では、累積部１９および２０の出力が比較回
路２１の一方および他方の入力端にそれぞれ入力され
る。そして、上述のステップＳ１７およびステップＳ１
９でそれぞれ累積された、差分絶対値和Ｄ_h （Ｔ，ｘ，
ｙ）と、差分絶対値和Ｄ_m （Ｔ，ｘ，ｙ）とが比較部２
１で比較される。比較の結果、（差分絶対値和Ｄ_h ＞差
分絶対値和Ｄ_m ）であると判断されたら、ステップＳ２
１で、対象画素（ｘ，ｙ）が移動物体であると判定され
る。一方、ステップＳ２０での比較の結果、（差分絶対
値和Ｄ_h ＜差分絶対値和Ｄ_m ）であると判断されたら、
ステップＳ２２で、対象画素（ｘ，ｙ）が背景であると
判定される。

【００５１】対象画素（ｘ，ｙ）について上述の判定が
なされたら、処理はステップＳ１２に戻され、次の画
素、例えば画素（ｘ＋１，ｙ）を対象画素として、ステ
ップＳ１３〜ステップＳ２２まで、同様な処理がなされ
る。そして、注目フレームを構成する全画素に対して処
理がなされたら、一連の処理が終了される。さらに、例
えば、注目フレームを一つ進めて、次のフレームについ
て処理を行うこともできる。

【００５２】ここで、上述したステップＳ１６およびス
テップＳ１８での、差分Ｄ_h および差分Ｄ_m の算出につ
いて、より具体的な例を示して説明する。図６〜図８
は、時系列的に連続した入力フレーム５０〜５２につい
て差分Ｄ_h および差分Ｄ_m を算出する例を、それぞれ示
す。

【００５３】注目フレームＴであるフレーム５１に対し
て１フレーム前の、フレーム５０による差分Ｄ_h および
Ｄ_m の算出は、図６に一例が示されるように、先ず、入
力フレームであるフレーム５０が、ステップＳ１４によ
り予測移動物体に合わせてシフトされている。さらに、
ステップＳ１５で、背景の予測画５３が予測移動物体に
合わせてシフトされる。そのため、背景が全く移動して
いなければ、それぞれシフトされたフレーム５０と背景
の予測画５３とでは、背景画像が全く同一の位置に存在
することになり、背景画像を構成する画素は、フレーム
５０と背景の予測画５３とで互いに対応することにな
る。ステップＳ１６では、これらフレーム５０と背景の
予測画５３との差分が差分Ｄ_h として求められる。

【００５４】一方、ステップＳ１８では、シフトされた
入力フレーム５０と、移動物体の予測画５４との差分が
差分Ｄ_m として求められる。この場合には、フレーム５
０と移動物体の予測画５４とでは、予測移動物体が全く
同一の位置に存在することになり、予測移動物体を構成
する画素は、フレーム５０と移動物体の予測画５４とで
互いに対応することになる。ステップＳ１８では、図６
に３つの画像を貫く縦線で示される如くフレーム５０お
よび５４とが対応付けられ、これらフレーム５０と移動
物体の予測画５４との差分が差分Ｄ_m として求められ
る。

【００５５】続くフレーム５１および５２でも、図７お
よび図８にそれぞれ例示されるように、フレーム５０と
同様な処理がなされる。なお、図７に示される、注目フ
レーム５１に対する処理では、入力フレーム５１のシフ
ト量と、背景の予測画５３のシフト量とが共に０とな
る。

【００５６】ステップＳ１７およびステップＳ１９で、
差分Ｄ_h およびＤ_m がそれぞれ累積され、差分絶対値和
Ｄ_h （Ｔ，ｘ，ｙ）およびＤ_m （Ｔ，ｘ，ｙ）が求めら
れる。図６〜図８により、対象画素が予測移動物体を構
成する画素であるときには、差分Ｄ_m の値が例えば略０
となり、差分Ｄ_h ＞差分Ｄ_m となることがわかる。逆
に、対象画素が予測背景を構成する画素であるときに
は、差分Ｄ_h の値が例えば略０となり、差分Ｄ_h ＜差分
Ｄ_m となることがわかる。このことを利用して、ステッ
プＳ２０で、差分絶対値和Ｄ_h （Ｔ，ｘ，ｙ）と差分絶
対値和Ｄ_m （Ｔ，ｘ，ｙ）との比較を行い、その大小
で、対象とされた画素が移動物体であるか、背景である
かの判断を行っている。

【００５７】なお、上述では、移動物体は、Ｘ方向に直
進しているものとして説明しているが、これはこの例に
限定されず、例えばＹ方向の移動に対応させることは、
容易である。また、移動物体がさらに多方向に移動する
ような場合にも、対応させることが可能である。

【００５８】

【発明の効果】以上説明したように、この発明によれ
ば、背景画像中を移動する移動物体の切り出しに、移動
物体の輝度値を利用していないため、どのような輝度値
の画像でも切り出しが可能であるという効果がある。

【００５９】また、この発明では、移動物体の動き情報
を利用することにより、背景と移動物体領域とが同様な
輝度値を有しているような場合でも、移動物体の切り出
しを行えるという効果がある。

【図面の簡単な説明】

【図１】評価値テーブルにおける動き量の一例の分布を
示す略線図である。

【図２】推定した動き量を用いて移動物体を高精度で切
り出すためのこの実施の一形態による一例の構成を示す
ブロック図である。

【図３】実施の一形態による推定した動き量を用いて移
動物体を高精度で切り出す一例の処理のフローチャート
である。

【図４】入力フレームを概略的に説明するための略線図
である。

【図５】背景の予想画と移動物体の予想画とを説明する
ための略線図である。

【図６】差分Ｄ_h および差分Ｄ_m の算出を説明するため
の略線図である。

【図７】差分Ｄ_h および差分Ｄ_m の算出を説明するため
の略線図である。

【図８】差分Ｄ_h および差分Ｄ_m の算出を説明するため
の略線図である。

【符号の説明】

１０・・・画像メモリ、１１・・・動き量検出部、１２
・・・メモリ、１３・・・移動物体予測部、１４・・・
背景予測部、１５，１６・・・シフト部、１７・・・差
分Ｄ_m 計算部、１８・・・差分Ｄ_h 計算部、１９，２０
・・・累積部、２１・・・比較部、２２・・・出力部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 立平 靖 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 内田 真史 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C023 AA06 BA04 DA08 EA05 EA12 5C082 AA02 BA02 BA27 BA35 BA43 CA54 CA55 CB01 DA87 MM05 MM06 5L096 BA18 EA35 FA44 GA08 HA03

Claims (5)

【特許請求の範囲】
1. 【請求項１】 画像中を移動する物体を切り出す画像処
   理方法において、 複数フレームの入力画像データを用いて背景の予測画と
   移動物体の予測画とをそれぞれ作成し、上記背景の予測
   画および上記移動物体の予測画と、上記複数フレームの
   入力画像データの各フレームとをそれぞれ比較し、上記
   比較の結果に基づき上記移動物体を注目フレームから切
   り出すようにしたことを特徴とする画像処理方法。
2. 【請求項２】 画像中を移動する物体を切り出す画像処
   理装置において、 複数フレームの入力画像データを用いて背景の予測画と
   移動物体の予測画とをそれぞれ作成し、上記背景の予測
   画および上記移動物体の予測画と、上記複数フレームの
   入力画像データの各フレームとをそれぞれ比較し、上記
   比較の結果に基づき上記移動物体を注目フレームから切
   り出すようにしたことを特徴とする画像処理装置。
3. 【請求項３】 画像中を移動する物体を切り出す画像処
   理方法において、 入力フレーム中の移動物体の推定動き量を検出する動き
   量検出のステップと、 複数の入力フレームの画像に基づき背景の予測画を作成
   する背景予測画作成のステップと、 複数の入力フレームの画像のそれぞれを、上記動き検出
   のステップにより検出された上記推定動き量を打ち消す
   ようにシフトさせ、該シフトされた上記複数の入力フレ
   ームの画像に基づき上記移動物体の予測画を作成する移
   動物体予測画作成のステップと、 上記背景予測画作成のステップによって作成された上記
   背景の予測画と上記入力フレームとの第１の差分の絶対
   値を注目画素について求める第１の差分絶対値算出のス
   テップと、 上記移動物体予測画作成のステップで作成された上記背
   景の予測画と、上記入力フレームが上記動き量検出のス
   テップで検出された上記推定動き量を打ち消すようにシ
   フトされた画像との第２の差分の絶対値を注目画素につ
   いて求める第２の差分絶対値算出のステップと、 上記第１の差分絶対値算出のステップで求められた上記
   第１の差分の絶対値と、上記第２の差分絶対値算出のス
   テップで求められた上記第２の差分の絶対値とを比較す
   る比較のステップとを有し、 上記比較のステップによる比較の結果、上記第１の差分
   の絶対値＞上記第２の差分の絶対値であるときに、上記
   注目画素が上記移動物体を構成する画素であると判定す
   るようにしたことを特徴とする画像処理方法。
4. 【請求項４】 請求項３に記載の画像処理方法におい
   て、 上記比較のステップは、上記第１および第２の差分の絶
   対値のそれぞれを上記複数の入力フレームについて累積
   した、上記第１の差分の絶対値和と上記第２の差分の絶
   対値和とを比較するようにしたことを特徴とする画像処
   理方法。
5. 【請求項５】 画像中を移動する物体を切り出す画像処
   理装置において、 入力フレーム中の移動物体の推定動き量を検出する動き
   量検出手段と、 複数の入力フレームの画像に基づき背景の予測画を作成
   する背景予測画作成手段と、 複数の入力フレームの画像のそれぞれを、上記動き検出
   手段により検出された上記推定動き量を打ち消すように
   シフトさせ、該シフトされた上記複数の入力フレームの
   画像に基づき上記移動物体の予測画を作成する移動物体
   予測画作成手段と、 上記背景予測画作成手段によって作成された上記背景の
   予測画と上記入力フレームとの第１の差分の絶対値を注
   目画素について求める第１の差分絶対値算出手段と、 上記移動物体予測画作成手段で作成された上記背景の予
   測画と、上記入力フレームが上記動き量検出手段で検出
   された上記推定動き量を打ち消すようにシフトされた画
   像との第２の差分の絶対値を注目画素について求める第
   ２の差分絶対値算出手段と、 上記第１の差分絶対値算出手段で求められた上記第１の
   差分の絶対値と、上記第２の差分絶対値算出手段で求め
   られた上記第２の差分の絶対値とを比較する比較手段と
   を有し、 上記比較手段による比較の結果、上記第１の差分の絶対
   値＞上記第２の差分の絶対値であるときに、上記注目画
   素が上記移動物体を構成する画素であると判定するよう
   にしたことを特徴とする画像処理装置。