JP4378801B2

JP4378801B2 - 画像処理方法および画像処理装置

Info

Publication number: JP4378801B2
Application number: JP23385099A
Authority: JP
Inventors: 哲二郎近藤; 岳志宮井; 靖立平; 真史内田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-08-20
Filing date: 1999-08-20
Publication date: 2009-12-09
Anticipated expiration: 2019-08-20
Also published as: JP2001056863A

Description

【０００１】
【発明の属する技術分野】
この発明は、映像中の移動領域を静止した背景画像から高精度で切り出すことができる画像処理方法および画像処理装置に関する。
【０００２】
【従来の技術】
現在では、動画などの画像信号をディジタル方式で扱うことが一般的に行われる。動画などの画像信号の記録や伝送をディジタル方式で行う場合、画像信号に対して画像圧縮を行い、データ量を削減する必要がある。画像圧縮は、一般的には、画像信号の相関性を利用してデータの冗長部分を除いて符号化することで、データ量を削減する。
【０００３】
【発明が解決しようとする課題】
一方、例えばテレビジョン放送におけるテロップ表示などのように、自然画像に対して人工的に生成された文字や図形などの画像を重畳させて表示させることが一般的に行われている。このような、自然画像に人工的な画像を重畳させたディジタル画像信号に対して、上述の画像圧縮やその他の信号処理を行うと、重畳された画像の極めて急峻なエッジ成分などの、自然画像には有り得ない特性のため、処理後の画像に、画質の劣化が目立つ場合がある。
【０００４】
そこで、上述の画面に重畳された文字や図形の画像領域（以下、文字領域と称する）を、画面から切り出す方法が検討されている。従来では、この文字領域の切り出しを、文字画像の特徴である急峻なエッジや文字画像の輝度値を利用して、しきい値処理により行っていた。例えば、隣接する２画素の輝度値の差分が所定のしきい値以上でるかどうかでエッジを判断する、あるいは、一定面積以上の画素領域が所定のしきい値以上の輝度値を有するかどうかで、文字領域の判断を行う、さらに、両者の方法を併用するなどの方法が考えられる。
【０００５】
しかしながら、このような、しきい値による文字領域の切り出しでは、想定したしきい値以外での、文字領域の切り出しが不可能であるという問題点があった。
【０００６】
また、この従来の方法では、文字領域と背景とが同様の輝度値を有する場合には、文字領域の切り出しが不可能であるという問題点があった。
【０００７】
したがって、この発明の目的は、文字領域の輝度値を利用せずに文字領域の高精度な切り出しを可能とする画像処理方法および画像処理装置を提供することにある。
【００１０】
また、この発明は、画像中を移動する物体を切り出す画像処理方法において、入力フレーム中の移動物体の推定動き量を検出する動き量検出のステップと、複数フレームの同一座標の画素の中央値もしくは平均値に基づき背景の予測画を作成する背景予測画作成のステップと、複数の入力フレームの画像のそれぞれを、動き検出のステップにより検出された推定動き量を打ち消すようにシフトさせ、シフトされた複数の入力フレームの画像に基づき移動物体の予測画を作成する移動物体予測画作成のステップと、背景予測画作成のステップによって作成された背景の予測画と入力フレームとの第１の差分の絶対値を注目画素について求める第１の差分絶対値算出のステップと、移動物体予測画作成のステップで作成された背景の予測画と、入力フレームが動き量検出のステップで検出された推定動き量を打ち消すようにシフトされた画像との第２の差分の絶対値を注目画素について求める第２の差分絶対値算出のステップと、第１の差分絶対値算出のステップで求められた第１の差分の絶対値と、第２の差分絶対値算出のステップで求められた第２の差分の絶対値とを比較する比較のステップとを有し、比較のステップによる比較の結果、第１の差分の絶対値＞第２の差分の絶対値であるときに、注目画素が移動物体を構成する画素であると判定するようにしたことを特徴とする画像処理方法である。
【００１１】
また、この発明は、画像中を移動する物体を切り出す画像処理装置において、入力フレーム中の移動物体の推定動き量を検出する動き量検出手段と、複数フレームの同一座標の画素の中央値もしくは平均値に基づき背景の予測画を作成する背景予測画作成手段と、複数の入力フレームの画像のそれぞれを、動き検出手段により検出された推定動き量を打ち消すようにシフトさせ、シフトされた複数の入力フレームの画像に基づき移動物体の予測画を作成する移動物体予測画作成手段と、背景予測画作成手段によって作成された背景の予測画と入力フレームとの第１の差分の絶対値を注目画素について求める第１の差分絶対値算出手段と、移動物体予測画作成手段で作成された背景の予測画と、入力フレームが動き量検出手段で検出された推定動き量を打ち消すようにシフトされた画像との第２の差分の絶対値を注目画素について求める第２の差分絶対値算出手段と、第１の差分絶対値算出手段で求められた第１の差分の絶対値と、第２の差分絶対値算出手段で求められた第２の差分の絶対値とを比較する比較手段とを有し、比較手段による比較の結果、第１の差分の絶対値＞第２の差分の絶対値であるときに、注目画素が移動物体を構成する画素であると判定するようにしたことを特徴とする画像処理装置である。
【００１３】
また、請求項１および請求項３に記載の発明は、複数フレームの同一座標の画素の中央値もしくは平均値に基づき背景の予測画を作成すると共に、複数の入力フレームの画像のそれぞれを入力フレームより検出された推定動き量を打ち消すようにシフトさせ、シフトされた複数の入力フレームの画像の統計値に基づき移動物体の予測画を作成し、さらに、背景の予測画と入力フレームとの第１の差分の絶対値を注目画素について求めると共に、背景の予測画と入力フレームがシフトされた画像との第２の差分の絶対値を注目画素について求め、第１の差分の絶対値と第２の差分の絶対値とを比較した結果、第１の差分の絶対値＞第２の差分の絶対値であるときに、注目画素が移動物体を構成する画素であると判定するようにしているため、所定のしきい値による判定を行わなくても、画素単位で移動物体を検出することができる。
【００１４】
【発明の実施の形態】
以下、この発明の実施の一形態について説明する。この発明では、画面中を移動する文字領域の動き情報を検出し、検出された動き情報を積極的に利用して、背景画像から移動する文字領域を抽出する。なお、この発明は、文字領域に限らず、画面中の移動する任意の物体を切り出すことが可能な方法を提供する。以下の説明では、「移動する文字領域」を、「移動物体」と表現する。
【００１５】
この発明による画像処理方法は、
（１）移動物体の動き量の推定、
（２）推定した動き量を用いての、移動物体の高精度な切り出し、
これら２つのステップからなる。先ず、（１）の、移動物体の動き量の推定を行う方法について説明する。
【００１６】
ここでは、一例として、テレビジョン放送における文字テロップ表示のように、移動物体が等速に例えば水平方向に移動する場合について考える。注目フレームから前後に例えば３０フレームの複数フレームを用いた代表点マッチングを行い、移動物体の動き量を推定する。
【００１７】
例えば、注目フレームを所定のブロックに分割し、分割されたそれぞれのブロックについて、代表点を選択する。注目フレームの代表点と、相手側のフレームの対応するブロック内の全画素との差分の絶対値を積算した差分絶対値和を、代表点のそれぞれについて求める。そして、求められた積算値を代表点全てについてさらに積算し、差分絶対値和の総和を求める。評価値は、注目フレームと、注目フレームから所定距離、例えば５の倍数分離れたフレームを相手側フレームとして求めた、上述の差分絶対値の総和とする。これにより、１フレーム当たりで１／５画素単位の動き量の推定を行う。
【００１８】
すなわち、ｔフレーム目の座標（ｘ，ｙ）の画素値をｆ（ｔ，ｘ，ｙ）とすると、注目フレームＴにおける動き量ａの評価値Ｅ（ａ）は、次式（１）で表すことができる。なお、フレーム毎の動き量は、ａ／５画素となる。
【００１９】
【数１】

【００２０】
この式（１）に基づき、動き量ａをパラメータとした、注目フレームＴについての評価値テーブルを作成する。作成された評価値テーブルを参照して、移動物体の推定される動き量を求める。例えば、評価値テーブルにおいて動き量０以外で最小の極小値をとる動き量を、移動物体の推定動き量として用いることができる。
【００２１】
図１は、評価値テーブルにおける動き量の一例の分布を示すグラフである。横軸は、画面上のＸ方向の動き量ａを表す。図１では、画面上のＹ方向の動き量に関しては省略されている。縦軸は、評価値Ｅ（ａ）を表す。評価値Ｅ（ａ）が極小となる動き量ａが、画面における支配的な動きを示す。動き量が０の状態は、複数のフレーム間で静止している画像であって、例えば移動物体に対する背景画像と考えられる。この図１の例では、動き量が０の点が極小値となっている。一方、図１の例では、動き量ａが＋１３の点も極小値をなしている。これにより、比較的大きな移動物体が動き量＋１３で画面上、Ｘの正方向に移動していると考えることができる。この例では、この動き量＋１３の移動物体が画面上のテロップ表示であると考えられる。
【００２２】
次に、この発明の主旨である、上述した（２）の、推定した動き量を用いて移動物体を高精度で切り出す方法について説明する。図２は、推定した動き量を用いて移動物体を高精度で切り出すための、この実施の一形態による一例の構成を示す。上述したように、この実施の一形態では、移動物体の動き量は、複数フレームのデータを用いて求められる。入力された入力フレームが画像メモリ１０に格納される。画像メモリ１０は、例えば注目フレームおよび注目フレームの前後３０フレーム分、すなわち全部で６１フレームの入力フレームが格納可能にされている。
【００２３】
画像メモリ１０から読み出された入力フレームは、動き量検出部１１に供給され、上述した式（１）に基づき評価値テーブルが作成される。作成された評価値テーブルは、例えばメモリ１２に格納される。そして、動き量検出部１１によりメモリ１２に格納された評価値テーブルが参照され、動き量が検出される。
【００２４】
画像メモリ１０から読み出された入力フレームは、さらに、移動物体予測部１３、背景予測部１４およびシフト部１５に供給される。移動物体予測部１３に供給された入力フレームは、動き量検出部１１から出力された動き量に基づき、注目フレームを基準として動き量を打ち消す方向にシフトされる。そして、複数の入力フレームの、シフト後の互いに対応する座標の画素の中央値が画素毎に求められ、注目フレームにおける予測移動物体データとされる。また、背景予測部１４では、複数の入力フレームの同一座標の画素の中央値が画素毎に求められ、予測背景データとされる。
【００２５】
なお、ここでは、移動物体予測部１３および背景予測部１４において、画素値の中央値を求めているが、これはこの例に限定されず、平均値など他の統計値を用いることもできる。
【００２６】
背景予測部１４から出力された予測背景データは、シフト部１６に供給される。シフト部１６では、入力されたフレームを、動き量検出部１１から供給された動き量に基づき、注目フレームを基準として動き量を打ち消す方向にシフトさせる。シフト部１６の出力は、差分Ｄ_h計算部１８の一方の入力端に供給される。
【００２７】
一方、移動物体予測部１３から出力された予測移動物体データが差分Ｄ_m計算部１７の一方の入力端に供給されると共に、出力部２２に供給される。シフト部１５の出力が差分Ｄ_m計算部１７および差分Ｄ_h計算部１８それぞれの他方の入力端に供給される。
【００２８】
差分Ｄ_m計算部１７では、一方および他方の入力端に供給された、予測移動物体データとシフト部１５の出力との差分を、注目画素に関して求める。求められた差分は、累積部１９に供給され、差分の絶対値がフレーム間で累積される。注目画素に関して、例えば６１フレームにわたって累積部１９で累積された差分絶対値和は、比較部２１の一方の入力端に入力される。
【００２９】
差分Ｄ_h計算部１８では、一方および他方の入力端に供給された、シフト部１６の出力とシフト部１５の出力との差分を、注目画素に関して求める。求められた差分は、累積部２０に供給され、差分の絶対値がフレーム間で累積される。注目画素に関して、例えば６１フレームにわたって累積部２０で累積された差分絶対値和が比較部２１の他方の入力端に入力される。
【００３０】
比較部２１では、一方および他方の入力端にそれぞれ入力された差分絶対値和を比較する。比較結果に基づき、注目画素が移動物体データを構成する画素であるか、背景データを構成する画素であるかが判断される。比較部２１の出力は、例えば、注目画素が移動物体データを構成する画素であれば値が１とされ、背景データを構成する画素であれば値が０とされる。この比較部２１の出力は、例えばＡＮＤ回路を用いたゲート回路からなる出力部２２の一方の入力端に供給される。他方の入力端に供給された、移動物体予測部１３から出力された予測移動物体データは、上述した、一方の入力端に供給された比較部２１の出力が１ならば出力され、０ならば出力されないように制御される。これにより、出力部２２からは、移動物体データが切り出されて出力される。
【００３１】
なお、図２に示される構成の各部は、それぞれ専用のハードウェアで実現してもよいし、ＣＰＵ(Central Processing Unit) を中心に構成し、ＣＰＵ上で実行される所定のソフトウェアにより実現するようにしてもよい。また、ＤＳＰ(Digital Signal Processor)を用い、ＤＳＰを所定にプログラミングして実現することもできる。
【００３２】
推定した動き量を用いて移動物体を高精度で切り出す方法について、図３、図４および図５を用いて、より詳細に説明する。図３は、この実施の一形態による、推定した動き量を用いて移動物体を高精度で切り出す一例の処理のフローチャートである。このフローチャートでは、注目フレームについて、画素毎に移動物体領域と背景領域とを判定して、移動物体の切り出しを行う。またその際に、注目フレームの前後の複数フレームを用いて、移動物体の切り出しを行う。
【００３３】
ここでは、説明のため、図４に例示される時系列順の第１フレーム５０、第２フレーム５１および第３フレーム５２の３フレーム分の入力フレームを用いて、画像中の移動物体の切り出しを行うものとし、これらフレーム５０〜５２が画像メモリ１０に格納されているものとする。この例では、家屋様の背景画像に対して、移動物体として、左側から右側へと水平に移動するテロップ（文字列「ＡＢＣ」）が重畳されている。画像メモリ１０からフレーム５０〜５２が入力フレームとして順次読み出されて、以下の処理がなされる。
【００３４】
最初のステップＳ１０では、移動物体予測部１３により、入力フレーム中の移動物体の予測値が生成される。動き量検出部１１から供給された動き量に基づき、あるフレームを基準にして、動き量を打ち消すように他のフレームをシフトさせる。そして、全フレームの対象画素の輝度値の中央値を適用することで、移動物体の予測値が生成される。１フレーム全ての画素について予測値を求めることで、図５Ｂに示される移動物体の予測画５４が得られる。なお、中央値に限らず、平均値や他の統計値を用いて予測値を生成してもよい。
【００３５】
例えば動き量をａとして、基準となるフレームを第２フレーム５１とした場合、図５Ｂに一例が示されるように、第２フレーム５１に対して第１フレーム５０が−ａ（右側にａ）だけシフトされると共に、第３フレーム５２がａ（左側にａ）だけシフトされる。フレーム５０〜５２のシフト後の同一座標の画素により、輝度値の中央値が求められる。この中央値を、フレーム５１の全画素について求めることで、移動物体の予測画５４が生成される。予測画５４は、図５Ｂのように、移動物体（テロップ）だけが鮮明に表示され、背景が不鮮明な画像となる。
【００３６】
なお、このステップＳ１０は、後述するステップＳ１１の処理と並列的に実行することが可能である。
【００３７】
次のステップＳ１１では、背景予測部１４により、入力フレーム中の背景画像が予測される。全フレームの対象画素の輝度値の中央値を適用することで、背景の予測値が生成される。１フレーム全ての画素について予測値を求めることで、図５Ａに示される背景の予測値５３が得られる。なお、中央値に限らず、平均値や他の統計値を用いてもよい。すなわち、図５Ａに一例が示されるように、フレーム５０〜５２の同一座標の画素のそれぞれについて、輝度値の中央値が求められてフレーム５０〜５２が合成され、背景の予測画５３が生成される。予測画５３は、図５Ａのように、背景だけが鮮明に表示され、移動物体が不鮮明な画像となる。
【００３８】
【数２】

【００３９】
ここで、移動物体の動き量をｂ画素／フレームとした場合、注目フレームＴの座標（ｘ，ｙ）における背景の予測値をＰ_h（Ｔ，ｘ，ｙ）とすると、Ｐ_h（Ｔ，ｘ，ｙ）は、次に示す式（２）で表される。以下、背景の予測値Ｐ_h（Ｔ，ｘ，ｙ）で示されるデータを、予測背景データと称する。
【００４０】
なお、式（２）中で、「ｍｉｄ」は、続く括弧内の値について、対応する閉じ括弧後に付される範囲内（ｉ＝−３０〜＋３０）の中央値をとることを意味する。「ｉ」は、対象フレームが注目フレームから何フレーム目であるかを示す。この表現は、以下の類似する数式などにおいて、共通のものである。
【００４１】
同様に、移動物体の予測値をＰ_m（Ｔ，ｘ，ｙ）とすると、Ｐ_m（Ｔ，ｘ，ｙ）は、次に示す式（３）で表される。以下、移動物体の予測値Ｐ_m（Ｔ，ｘ，ｙ）で示されるデータを、予測移動物体データと称する。
【００４２】
【数３】

【００４３】
上述のステップＳ１０およびステップＳ１１で、予測画５３および５４が生成されたら、処理は次のステップＳ１２に移行し、画素毎の処理のループが開始される。このループでは、例えば、所定の対象画素（ｘ，ｙ）の処理が行われる。さらに、次のステップＳ１３に移行して、フレーム毎の処理のループが開始される。このループは、例えば、注目フレームＴからｉ番目のフレーム（Ｔ＋ｉ）の処理が行われる。ここでは、時系列的に連続する、第１のフレーム５０、第２のフレーム５１および第３のフレーム５２の順で処理が行われるものとする。
【００４４】
ステップＳ１４では、シフト部１５により、対象とされる入力フレームが、動き量検出部１１から供給された動き量（ｂ画素／フレーム）に基づきシフトされる。すなわち、移動物体が水平に移動している場合、ｉフレーム目の入力フレームを表すｆ（Ｔ＋ｉ，ｘ，ｙ）がＸ方向にｂ画素／フレーム×ｉフレームだけシフトされ、入力フレームがｆ（Ｔ＋ｉ，ｘ＋ｂｉ，ｙ）とされる。次は、ステップＳ１５およびステップＳ１８からの、並列的な処理が可能な２つの処理に分かれる。
【００４５】
ステップＳ１５では、シフト部１６により、背景予測部１４から出力された予測背景データが、動き量検出部１１から供給された動き量（ｂ画素／フレーム）に基づき、予測移動物体の動き量に合わせてシフトされる。すなわち、移動物体が水平に移動している場合、予測背景Ｐ_h（Ｔ，ｘ，ｙ）がＸ方向にｂ画素／フレーム×ｉフレームだけシフトされ、Ｐ_h（Ｔ，ｘ＋ｂｉ，ｙ）とされる。
【００４６】
次のステップＳ１６で、入力フレームｆ（Ｔ＋ｉ，ｘ＋ｂｉ，ｙ）と予測背景Ｐ_h（Ｔ，ｘ＋ｂｉ，ｙ）とから、差分Ｄ_h計算部１８によって、差分Ｄ_hが算出される。計算された差分Ｄ_hが累積部２０に供給され、次のステップＳ１７で、累積部２０により、この差分Ｄ_hの絶対値が累積される。すなわち、ステップＳ１７では、上述したステップＳ１３のループにより、差分Ｄ_hの絶対値が入力フレーム毎に累積され、差分Ｄ_hの絶対値和である差分絶対値和Ｄ_h（Ｔ，ｘ，ｙ）が求められる。この差分絶対値和Ｄ_h（Ｔ，ｘ，ｙ）は、次に示す式（４）によって表される。差分Ｄ_hが累積されると、処理はステップＳ１３に戻され、次のフレーム（Ｔ＋ｉ＋１）について、ステップＳ１５からの同様な処理がなされる。
【００４７】
【数４】

【００４８】
一方、ステップＳ１８側の処理では、入力フレームｆ（Ｔ＋ｉ，ｘ＋ｂｉ，ｙ）と予測移動物体Ｐ_m（Ｔ，ｘ，ｙ）とから、差分Ｄ_mが算出される。次のステップＳ１９で、この差分Ｄ_mの絶対値が累積される。すなわち、ステップＳ１９では、上述したステップＳ１３のループにより、差分Ｄ_mの絶対値が入力フレーム毎に累積され、差分絶対値和Ｄ_m（Ｔ，ｘ，ｙ）が求められる。この差分絶対値和Ｄ_m（Ｔ，ｘ，ｙ）は、次に示す式（５）によって表される。差分Ｄ_mが累積されると、処理はステップＳ１３に戻され、次のフレーム（Ｔ＋ｉ＋１）について、ステップＳ１８からの同様な処理がなされる。
【００４９】
【数５】

【００５０】
ステップＳ１３で、所定の対象画素（ｘ，ｙ）について、対象の全フレームに対する処理が終了したとされたら、処理はステップＳ２０に移行する。ステップＳ２０では、累積部１９および２０の出力が比較回路２１の一方および他方の入力端にそれぞれ入力される。そして、上述のステップＳ１７およびステップＳ１９でそれぞれ累積された、差分絶対値和Ｄ_h（Ｔ，ｘ，ｙ）と、差分絶対値和Ｄ_m（Ｔ，ｘ，ｙ）とが比較部２１で比較される。比較の結果、（差分絶対値和Ｄ_h＞差分絶対値和Ｄ_m）であると判断されたら、ステップＳ２１で、対象画素（ｘ，ｙ）が移動物体であると判定される。一方、ステップＳ２０での比較の結果、（差分絶対値和Ｄ_h＜差分絶対値和Ｄ_m）であると判断されたら、ステップＳ２２で、対象画素（ｘ，ｙ）が背景であると判定される。
【００５１】
対象画素（ｘ，ｙ）について上述の判定がなされたら、処理はステップＳ１２に戻され、次の画素、例えば画素（ｘ＋１，ｙ）を対象画素として、ステップＳ１３〜ステップＳ２２まで、同様な処理がなされる。そして、注目フレームを構成する全画素に対して処理がなされたら、一連の処理が終了される。さらに、例えば、注目フレームを一つ進めて、次のフレームについて処理を行うこともできる。
【００５２】
ここで、上述したステップＳ１６およびステップＳ１８での、差分Ｄ_hおよび差分Ｄ_mの算出について、より具体的な例を示して説明する。図６〜図８は、時系列的に連続した入力フレーム５０〜５２について差分Ｄ_hおよび差分Ｄ_mを算出する例を、それぞれ示す。
【００５３】
注目フレームＴであるフレーム５１に対して１フレーム前の、フレーム５０による差分Ｄ_hおよびＤ_mの算出は、図６に一例が示されるように、先ず、入力フレームであるフレーム５０が、ステップＳ１４により予測移動物体に合わせてシフトされている。さらに、ステップＳ１５で、背景の予測画５３が予測移動物体に合わせてシフトされる。そのため、背景が全く移動していなければ、それぞれシフトされたフレーム５０と背景の予測画５３とでは、背景画像が全く同一の位置に存在することになり、背景画像を構成する画素は、フレーム５０と背景の予測画５３とで互いに対応することになる。ステップＳ１６では、これらフレーム５０と背景の予測画５３との差分が差分Ｄ_hとして求められる。
【００５４】
一方、ステップＳ１８では、シフトされた入力フレーム５０と、移動物体の予測画５４との差分が差分Ｄ_mとして求められる。この場合には、フレーム５０と移動物体の予測画５４とでは、予測移動物体が全く同一の位置に存在することになり、予測移動物体を構成する画素は、フレーム５０と移動物体の予測画５４とで互いに対応することになる。ステップＳ１８では、図６に３つの画像を貫く縦線で示される如くフレーム５０および５４とが対応付けられ、これらフレーム５０と移動物体の予測画５４との差分が差分Ｄ_mとして求められる。
【００５５】
続くフレーム５１および５２でも、図７および図８にそれぞれ例示されるように、フレーム５０と同様な処理がなされる。なお、図７に示される、注目フレーム５１に対する処理では、入力フレーム５１のシフト量と、背景の予測画５３のシフト量とが共に０となる。
【００５６】
ステップＳ１７およびステップＳ１９で、差分Ｄ_hおよびＤ_mがそれぞれ累積され、差分絶対値和Ｄ_h（Ｔ，ｘ，ｙ）およびＤ_m（Ｔ，ｘ，ｙ）が求められる。図６〜図８により、対象画素が予測移動物体を構成する画素であるときには、差分Ｄ_mの値が例えば略０となり、差分Ｄ_h＞差分Ｄ_mとなることがわかる。逆に、対象画素が予測背景を構成する画素であるときには、差分Ｄ_hの値が例えば略０となり、差分Ｄ_h＜差分Ｄ_mとなることがわかる。このことを利用して、ステップＳ２０で、差分絶対値和Ｄ_h（Ｔ，ｘ，ｙ）と差分絶対値和Ｄ_m（Ｔ，ｘ，ｙ）との比較を行い、その大小で、対象とされた画素が移動物体であるか、背景であるかの判断を行っている。
【００５７】
なお、上述では、移動物体は、Ｘ方向に直進しているものとして説明しているが、これはこの例に限定されず、例えばＹ方向の移動に対応させることは、容易である。また、移動物体がさらに多方向に移動するような場合にも、対応させることが可能である。
【００５８】
【発明の効果】
以上説明したように、この発明によれば、背景画像中を移動する移動物体の切り出しに、移動物体の輝度値を利用していないため、どのような輝度値の画像でも切り出しが可能であるという効果がある。
【００５９】
また、この発明では、移動物体の動き情報を利用することにより、背景と移動物体領域とが同様な輝度値を有しているような場合でも、移動物体の切り出しを行えるという効果がある。
【図面の簡単な説明】
【図１】評価値テーブルにおける動き量の一例の分布を示す略線図である。
【図２】推定した動き量を用いて移動物体を高精度で切り出すためのこの実施の一形態による一例の構成を示すブロック図である。
【図３】実施の一形態による推定した動き量を用いて移動物体を高精度で切り出す一例の処理のフローチャートである。
【図４】入力フレームを概略的に説明するための略線図である。
【図５】背景の予想画と移動物体の予想画とを説明するための略線図である。
【図６】差分Ｄ_hおよび差分Ｄ_mの算出を説明するための略線図である。
【図７】差分Ｄ_hおよび差分Ｄ_mの算出を説明するための略線図である。
【図８】差分Ｄ_hおよび差分Ｄ_mの算出を説明するための略線図である。
【符号の説明】
１０・・・画像メモリ、１１・・・動き量検出部、１２・・・メモリ、１３・・・移動物体予測部、１４・・・背景予測部、１５，１６・・・シフト部、１７・・・差分Ｄ_m計算部、１８・・・差分Ｄ_h計算部、１９，２０・・・累積部、２１・・・比較部、２２・・・出力部

Claims

画像中を移動する物体を切り出す画像処理方法において、
入力フレーム中の移動物体の推定動き量を検出する動き量検出のステップと、
上記複数フレームの同一座標の画素の中央値もしくは平均値に基づき背景の予測画を作成する背景予測画作成のステップと、
複数の入力フレームの画像のそれぞれを、上記動き量検出のステップにより検出された上記推定動き量を打ち消すようにシフトさせ、該シフトされた上記複数の入力フレームの画像に基づき上記移動物体の予測画を作成する移動物体予測画作成のステップと、
上記背景予測画作成のステップによって作成された上記背景の予測画と上記入力フレームとの第１の差分の絶対値を注目画素について求める第１の差分絶対値算出のステップと、
上記移動物体予測画作成のステップで作成された上記背景の予測画と、上記入力フレームが上記動き量検出のステップで検出された上記推定動き量を打ち消すようにシフトされた画像との第２の差分の絶対値を注目画素について求める第２の差分絶対値算出のステップと、
上記第１の差分絶対値算出のステップで求められた上記第１の差分の絶対値と、上記第２の差分絶対値算出のステップで求められた上記第２の差分の絶対値とを比較する比較のステップと
を有し、
上記比較のステップによる比較の結果、上記第１の差分の絶対値＞上記第２の差分の絶対値であるときに、上記注目画素が上記移動物体を構成する画素であると判定するようにしたことを特徴とする画像処理方法。
請求項１に記載の画像処理方法において、
上記比較のステップは、上記第１および第２の差分の絶対値のそれぞれを上記複数の入力フレームについて累積した、上記第１の差分の絶対値和と上記第２の差分の絶対値和とを比較するようにしたことを特徴とする画像処理方法。
画像中を移動する物体を切り出す画像処理装置において、
入力フレーム中の移動物体の推定動き量を検出する動き量検出手段と、
上記複数フレームの同一座標の画素の中央値もしくは平均値に基づき背景の予測画を作成する背景予測画作成手段と、
複数の入力フレームの画像のそれぞれを、上記動き量検出手段により検出された上記推定動き量を打ち消すようにシフトさせ、該シフトされた上記複数の入力フレームの画像に基づき上記移動物体の予測画を作成する移動物体予測画作成手段と、
上記背景予測画作成手段によって作成された上記背景の予測画と上記入力フレームとの第１の差分の絶対値を注目画素について求める第１の差分絶対値算出手段と、
上記移動物体予測画作成手段で作成された上記背景の予測画と、上記入力フレームが上記動き量検出手段で検出された上記推定動き量を打ち消すようにシフトされた画像との第２の差分の絶対値を注目画素について求める第２の差分絶対値算出手段と、
上記第１の差分絶対値算出手段で求められた上記第１の差分の絶対値と、上記第２の差分絶対値算出手段で求められた上記第２の差分の絶対値とを比較する比較手段と
を有し、
上記比較手段による比較の結果、上記第１の差分の絶対値＞上記第２の差分の絶対値であるときに、上記注目画素が上記移動物体を構成する画素であると判定するようにしたことを特徴とする画像処理装置。