JP2001086507A - 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、媒体、並びに画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 一連の画像における前景を、効率良く符号化
する。 【解決手段】 前景抽出部４１において、第１乃至第Ｎ
フレームの各フレームから前景が抽出され、前景蓄積画
像構成部４３において、第１乃至第Ｎフレームの前景
を、未来側から見て重ね合わせた前方蓄積画像と、過去
側から見て重ね合わせた後方蓄積画像とが構成される。
そして、学習部４５において、前方蓄積画像および後方
蓄積画像を用いて、各フレームの前景を線形予測するた
めの予測係数が求められ、ＭＵＸ５１において、その予
測係数と、前方蓄積画像および後方蓄積画像とが、第１
乃至第Ｎフレームそれぞれの前景の符号化結果として出
力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化装置お
よび画像符号化方法、画像復号装置および画像復号方
法、媒体、並びに画像処理装置に関し、特に、画像を効
率的に符号化し、その符号化により得られた符号化デー
タを復号することができるようにする画像符号化装置お
よび画像符号化方法、画像復号装置および画像復号方
法、媒体、並びに画像処理装置に関する。

【０００２】

【従来の技術】従来より、画像を圧縮符号化する方法と
して、例えば、オブジェクト符号化がある。オブジェク
ト符号化では、一連の画像（１シーンまたは１カットの
画像）（例えば、あるシーンチェンジから次のシーンチ
ェンジまでのフレームなど）から、その前景と背景とが
抽出される。即ち、一連の画像が、Ｎフレームで構成さ
れるときは、そのＮフレームで表示される、１シーン全
体の背景（この背景は、例えば、ビデオカメラをパンニ
ングまたはチルティングして撮影されたシーンであれ
ば、横長または縦長の画像となる）と、Ｎフレームの中
に共通に存在する前景とが抽出される。そして、オブジ
ェクト符号化により得られたデータの復号は、背景に、
前景を配置することで行われる。

【０００３】

【発明が解決しようとする課題】ところで、上述のオブ
ジェクト符号化のように、前景と背景を抽出する符号化
では、例えば、抽出した前景を、どのように符号化する
かが、その符号化効率に大きく影響する。

【０００４】本発明は、このような状況に鑑みてなされ
たものであり、一連の画像における前景を、効率良く符
号化することができるようにするものである。

【０００５】

【課題を解決するための手段】本発明の画像符号化装置
は、一連の画像の各画面から前景を抽出する前景抽出手
段と、１枚以上の画像を構成する画素から、各画面の前
景を予測するための予測係数を求める予測係数演算手段
と、予測係数と１枚以上の画像とを、各画面の前景の符
号化結果として出力する出力手段とを含むことを特徴と
する。

【０００６】この画像符号化装置には、一連の画像の各
画面の背景の位置合わせを行った状態で、その各画面の
前景を、時間の進行方向に向かって見た場合に得られる
後方蓄積画像と、時間の進行方向と逆方向に向かってみ
た場合に得られる前方蓄積画像とを構成する蓄積画像構
成手段をさらに設けることができ、この場合、予測係数
演算手段には、後方蓄積画像および前方蓄積画像を構成
する画素から、各画面の前景を予測するための予測係数
を求めさせることができる。

【０００７】予測係数演算手段には、１枚以上の画像を
構成する画素から、各画面の前景を線形一次予測するた
めの予測係数を求めさせることができる。また、予測係
数演算手段には、一連の画像のすべての画面の前景につ
いて、１セットの予測係数を求めさせることができる。
さらに、予測係数演算手段には、一連の画像の各画面の
前景ごとに、１セットの予測係数を求めさせることがで
きる。

【０００８】本発明の画像符号化装置には、１枚以上の
画像と予測係数とから、各画面の前景の予測値を求める
予測値演算手段と、予測値の、前景に対する誤差を求め
る誤差演算手段と、予測値の誤差で構成される誤差画像
を生成する誤差画像生成手段とをさらに設けることがで
き、この場合、予測係数演算手段には、誤差画像を、１
枚以上の画像に新たに加えて、その１枚以上の画像を構
成する画素から、各画面の前景を予測するための新たな
予測係数を求めさせることができる。

【０００９】予測係数演算手段には、予測値の予測誤差
が所定値以下になるまで、新たな予測係数を求めること
を繰り返させることができる。

【００１０】本発明の画像符号化方法は、一連の画像の
各画面から前景を抽出する前景抽出ステップと、１枚以
上の画像を構成する画素から、各画面の前景を予測する
ための予測係数を求める予測係数演算ステップと、予測
係数と１枚以上の画像とを、各画面の前景の符号化結果
として出力する出力ステップとを含むことを特徴とす
る。

【００１１】本発明の媒体がコンピュータに実行させる
プログラムは、一連の画像の各画面から前景を抽出する
前景抽出ステップと、１枚以上の画像を構成する画素か
ら、各画面の前景を予測するための予測係数を求める予
測係数演算ステップと、予測係数と１枚以上の画像と
を、各画面の前景の符号化結果として出力する出力ステ
ップとを含むことを特徴とする。

【００１２】本発明の画像復号装置は、符号化データか
ら、１枚以上の画像と、その１枚以上の画像を構成する
画素から一連の画像の各画面の前景を予測するための予
測係数とを分離する分離手段と、１枚以上の画像と予測
係数とから、各画面の前景の予測値を求める予測値演算
手段とを含むことを特徴とする。

【００１３】１枚以上の画像には、一連の画像の各画面
の背景の位置合わせを行った状態で、その各画面の前景
を、時間の進行方向に向かって見た場合に得られる後方
蓄積画像と、時間の進行方向と逆方向に向かってみた場
合に得られる前方蓄積画像とを含ませることができる。
また、１枚以上の画像には、各画面の前景の予測値の、
前景に対する予測誤差でなる誤差画像をさらに含ませる
ことができる。

【００１４】予測値演算手段には、各画面の前景を線形
一次予測させることができる。

【００１５】抽出手段には、符号化データから、一連の
画像の背景も分離させることができ、この場合、背景
と、前景の予測値とを合成することで、一連の画像の各
画面を復号する合成手段をさらに設けることができる。

【００１６】本発明の画像復号方法は、符号化データか
ら、１枚以上の画像と、その１枚以上の画像を構成する
画素から一連の画像の各画面の前景を予測するための予
測係数とを分離する分離ステップと、１枚以上の画像と
予測係数とから、各画面の前景の予測値を求める予測値
演算ステップとを含むことを特徴とする。

【００１７】本発明の媒体がコンピュータに実行させる
プログラムは、符号化データから、１枚以上の画像と、
その１枚以上の画像を構成する画素から一連の画像の各
画面の前景を予測するための予測係数とを分離する分離
ステップと、１枚以上の画像と予測係数とから、各画面
の前景の予測値を求める予測値演算ステップとを含むこ
とを特徴とする。

【００１８】本発明の画像処理装置は、一連の画像の各
画面から前景を抽出する前景抽出手段と、１枚以上の画
像を構成する画素から、各画面の前景を予測するための
予測係数を求める予測係数演算手段と、予測係数と１枚
以上の画像とを、各画面の前景の符号化結果である符号
化データとして出力する出力手段と、符号化データか
ら、１枚以上の画像と予測係数とを分離する分離手段
と、１枚以上の画像と予測係数とから、各画面の前景の
予測値を求める予測値演算手段とを含むことを特徴とす
る。

【００１９】本発明の画像符号化装置および画像符号化
方法、並びに媒体においては、一連の画像の各画面から
前景が抽出され、１枚以上の画像を構成する画素から、
各画面の前景を予測するための予測係数が求められる。
そして、予測係数と１枚以上の画像とが、各画面の前景
の符号化結果として出力される。

【００２０】本発明の画像復号装置および画像復号方
法、並びに媒体においては、符号化データから、１枚以
上の画像と、その１枚以上の画像を構成する画素から一
連の画像の各画面の前景を予測するための予測係数とが
分離され、その１枚以上の画像と予測係数とから、各画
面の前景の予測値が求められる。

【００２１】本発明の画像処理装置においては、一連の
画像の各画面から前景が抽出され、その１枚以上の画像
を構成する画素から、各画面の前景を予測するための予
測係数が求められる。そして、その予測係数と１枚以上
の画像とが、各画面の前景の符号化結果である符号化デ
ータとして出力される。一方、符号化データから、１枚
以上の画像と予測係数とが分離され、１枚以上の画像と
予測係数とから、各画面の前景の予測値が求められる。

【００２２】

【発明の実施の形態】図１は、本発明を適用した画像伝
送装置の一実施の形態の構成例を示している。

【００２３】エンコーダ１には、ビデオカメラ等で撮影
された、符号化の対象となる画像（ここでは、動画像と
する）としてのディジタル画像データが供給されるよう
になっており、そこでは、その画像が符号化され、その
結果得られる符号化データが出力される。この符号化デ
ータは、例えば、衛星回線や、地上波、ＣＡＴＶ(Cable
Television)網、インターネット、ＩＳＤＮ(Integrate
d Service Digital Network)等の伝送媒体３を介して伝
送され、あるいは、光ディスクや、光磁気ディスク、磁
気ディスク、磁気テープ、相変化ディスク等の記録媒体
４に記録される。

【００２４】デコーダ２には、伝送媒体３を介して伝送
されてくる符号化データ、あるいは記録媒体４から再生
される符号化データが供給されるようになっており、デ
コーダ２では、そこに供給される符号化データが復号さ
れ、その結果得られる復号画像が、例えば、図示せぬモ
ニタ等に供給されて表示される。

【００２５】以上のような画像伝送装置は、例えば、離
れた位置において画像の送受信を行う装置や、画像の記
録再生を行う装置等に適用することができる。

【００２６】次に、図２は、図１のエンコーダ１の構成
例を示している。

【００２７】蓄積部１１は、例えば、半導体メモリや磁
気ディスク等で構成され、エンコーダ１に供給される画
像データを一時記憶する。ここで、蓄積部１１には、例
えば、あるシーンチェンジから次のシーンチェンジまで
等の一連の画像のフレーム単位で、画像データが入力さ
れて記憶されるようになっている。なお、ここでは、例
えば、図３に示すように、第１フレーム乃至第Ｎフレー
ムでなるＮフレームの画像データが、一連の画像とし
て、蓄積部１１に記憶されるものとする。

【００２８】蓄積部１１に、一連の画像としてのＮフレ
ームの画像が記憶されると、カメラ動き検出部１２は、
そのＮフレームの画像を蓄積部１１から読み出し、各フ
レームにおけるカメラ動きの方向と大きさを表すカメラ
動きベクトルを検出する。

【００２９】即ち、カメラ動き検出部１２は、例えば、
図４（Ａ）に示すように、第１フレームの左上の点を原
点とするとともに、その左から右方向、または上から下
方向を、それぞれｘ軸またはｙ軸とする座標系（以下、
適宜、基準座標系という）において、第１フレームのカ
メラ動きベクトルｖ₁を０（＝（０，０））に設定す
る。そして、カメラ動き検出部１２は、第２フレーム乃
至第Ｎフレームについて、各フレームの背景の位置合わ
せを行ったときに、第ｎフレームの左上の点が位置する
基準座表系の座標（ｘ，ｙ）を、その第ｎフレームのカ
メラ動きベクトルｖ_nとして求める。

【００３０】具体的には、カメラ動き検出部１２は、第
１フレームのカメラ動きベクトルｖ ₁を０に設定した
後、図４（Ｂ）に示すように、基準座標系において、第
１フレームと背景どうしが一致するような第２フレーム
の位置を求め、その位置における第２フレームの左上の
点の座標を、そのカメラ動きベクトルｖ₂として求め
る。さらに、カメラ動き検出部１２は、図４（Ｃ）に示
すように、基準座標系において、背景の位置合わせを行
った第１フレームおよび第２フレームと背景どうしが一
致するような第３フレームの位置を求め、その位置にお
ける第３フレームの左上の点の座標を、そのカメラ動き
ベクトルｖ₃として求める。

【００３１】以下、同様にして、カメラ動き検出部１２
は、第４フレーム乃至第Ｎフレームのカメラ動きベクト
ルｖ₄乃至ｖ_Nも求めていく。

【００３２】なお、ここでは、説明を簡単にするため
に、カメラ動きとしては、水平および垂直方向の動きの
みを考え、回転は考えないものとする。但し、本発明
は、カメラ動きに回転がある場合でも適用可能である。

【００３３】以上のようにして、カメラ動き検出部１２
で検出された、一連の画像としての第１フレーム乃至第
Ｎフレームのカメラ動きベクトルｖ₁乃至ｖ_Nは、カメラ
動きベクトル記憶部１３に供給されて記憶される。

【００３４】カメラ動きベクトル記憶部１３において、
カメラ動きベクトルｖ₁乃至ｖ_Nが記憶されると、背景抽
出部１４は、カメラ動きベクトル記憶部１３から、カメ
ラ動きベクトルｖ₁乃至ｖ_Nを読み出すとともに、蓄積部
１１から第１フレーム乃至第Ｎフレームの画像データを
読み出し、カメラ動きベクトルｖ₁乃至ｖ_Nに基づいて、
第１フレーム乃至第Ｎフレームの背景の位置合わせを行
うことで、その第１フレーム乃至第Ｎフレーム全体に亘
る背景（この背景は、例えば、一連の画像が、ビデオカ
メラをパンニングまたはチルティングして撮影されたも
のであれば、横長または縦長の画像となる）（以下、適
宜、全体背景という）を抽出する。背景抽出部１４で抽
出された全体背景は、背景メモリ１５に供給されて記憶
される。

【００３５】背景メモリ１５において、全体背景が記憶
されると、前景符号化部１６は、その全体背景のうち、
蓄積部１１に記憶された各フレームの背景を、カメラ動
きベクトル記憶部１３に記憶された各フレームのカメラ
動きベクトルに基づいて検出し、その検出された各フレ
ームの背景を、各フレームの画像から減算することで、
各フレームの前景を抽出する。さらに、前景符号化部１
６は、各フレームの前景を符号化し、その符号化結果
を、ＭＵＸ（マルチプレクサ）１７に出力する。

【００３６】ＭＵＸ１７は、前景符号化部１６から、前
景の符号化結果を受信すると、その前景の符号化結果
に、カメラ動きベクトル記憶部１３に記憶されたカメラ
動きベクトルと、背景メモリ１５に記憶された全体背景
とを多重化し、その多重化結果を、符号化データとして
出力する。

【００３７】エンコーダ１では、以上のように、画像デ
ータが、一連の画像単位で符号化される。

【００３８】次に、図５は、図２のカメラ動き検出部１
２の構成例を示している。

【００３９】重心算出部２１には、蓄積部１１（図２）
に記憶された一連の画像が、フレーム単位で供給される
ようになっており、重心算出部２１は、各フレームにつ
いて、後述するような重心を求めるようになっている。
さらに、重心算出部２１は、蓄積画像メモリ２４に記憶
された、後述する蓄積画像に対して、注目している注目
フレームのカメラ動きベクトルを検出するのに用いる範
囲（以下、適宜、動き検出範囲という）を設定し、その
動き検出範囲の重心も求めるようになっている。重心算
出部２１で求められる注目フレームおよび動き検出範囲
の重心は、ベクトル検出部２２に供給されるようになっ
ている。

【００４０】ベクトル検出部２２は、重心算出部２１か
ら供給される注目フレームおよび動き検出範囲の重心に
基づいて、注目フレームのカメラ動きベクトルを検出
し、カメラ動きベクトル記憶部１３（図２）に供給する
とともに、書き込み制御部２３に供給するようになって
いる。

【００４１】書き込み制御部２３は、ベクトル検出部２
２からのカメラ動きベクトルに基づいて、蓄積画像メモ
リ２４が注目フレームの画像データを記憶するアドレス
を制御するようになっている。蓄積画像メモリ２４は、
蓄積部１１（図２）から、注目フレームの画像データを
読み出し、書き込み制御部２３が指定するアドレスに記
憶するようになっている。

【００４２】次に、図６を参照して、図５のカメラ動き
検出部１２において行われる、カメラ動きベクトルを検
出するカメラ動き検出処理について説明する。

【００４３】カメラ動き検出部１２が行うカメラ動き検
出処理は、画像の重心が、カメラ動きによって移動する
ことに着目し、基本的には、各フレームの重心が一致す
るように、各フレームの位置合わせを行い、その位置合
わせを行った状態での、各フレームの左上の点が、各フ
レームのカメラ動きベクトルとして検出されるようにな
っている。

【００４４】即ち、いま、第ｎフレームを注目フレーム
とすると、蓄積画像メモリ２４には、注目フレームの前
のフレームまでのフレームである第１乃至第ｎ−１フレ
ームの画像データを、その順番で、各フレームの背景の
位置合わせを行って重ね合わせた状態の画像（蓄積画
像）が記憶されている。

【００４５】この場合、重心算出部２１は、図６（Ａ）
に示すように、注目フレームである第ｎフレームの重心
ｃ_nを求める。さらに、重心算出部２１は、図６（Ｂ）
に示すように、蓄積画像メモリ２４に記憶された蓄積画
像の中の、注目フレームの１フレーム前の第ｎ−１フレ
ームを包含する範囲を、動き検出範囲とし、その動き検
出範囲の重心ｃを求める。ここで、動き検出範囲として
は、例えば、第ｎ−１フレームの上下左右の各方向に、
所定の画素数だけ広い範囲が設定される。

【００４６】注目フレームの重心ｃ_n、および動き検出
範囲の重心ｃが求められると、ベクトル検出部２２で
は、図６（Ｃ）に示すように、動き検出範囲の重心ｃ
に、注目フレームの重心ｃ_nが一致した状態での、注目
フレームの左上の点の位置が求められ、その位置の座標
が、注目フレームである第ｎフレームのカメラ動きベク
トルｖ_nとして出力される。

【００４７】即ち、第ｎフレームを、注目フレームとし
て、そのカメラ動きベクトルｖ_nを求める場合には、そ
の１フレーム前までのカメラ動きベクトルは、既に求ま
っている。そこで、図６（Ｃ）に示すように、動き検出
範囲の重心ｃの、第ｎ−１フレームの左上の点を基準と
する位置をベクトルｖ’_cで表すとともに、注目フレー
ムである第ｎフレームの重心ｃ_nの、その第ｎフレーム
の左上の点を基準とする位置をベクトルｖ’_cnで表すと
すると、動き検出範囲の重心ｃと、注目フレームの重心
ｃ_nとが一致した状態での、注目フレームの左上の点の
位置の、基準座標系における座標が、注目フレームの動
きベクトルｖ_nとなる。そして、このカメラ動きベクト
ルｖ_nは、注目フレームの１フレーム前の第ｎ−１フレ
ームの動きベクトルｖ_n-1に、動き検出範囲の重心ｃの
位置を表すベクトルｖ’_cを加算し、さらに、注目フレ
ームの重心ｃ_nの位置を表すベクトルｖ’_cnを減算する
ことで求めることができる。即ち、注目フレームのカメ
ラ動きベクトルｖ_nは、式ｖ_n＝ｖ_n-1＋ｖ’_c−ｖ’_cnを
計算することで求めることができる。

【００４８】以上のようにして、注目フレームのカメラ
動きベクトルｖ_nが求められた後は、書き込み制御部２
３において、そのカメラ動きベクトルｖ_nに基づいて、
蓄積画像メモリ２４における注目フレームの画像データ
を書き込むための書き込みアドレスが制御される。即
ち、これにより、蓄積画像メモリ２４では、基準座標系
において、カメラ動きベクトルｖ_nによって示される点
に、その左上の点が位置するように、注目フレームの画
像データが、上書きする形で書き込まれ、その書き込み
の結果得られる画像が、次の第ｎ＋１フレームを注目フ
レームとして、そのカメラ動きベクトルｖ_n+1を検出す
る際の蓄積画像として用いられる。

【００４９】次に、図７のフローチャートを参照して、
図５のカメラ動き検出部１２におけるカメラ動き検出処
理について、さらに説明する。

【００５０】まず最初に、蓄積部１１に記憶された一連
の画像のうちの第１フレームが注目フレームとして読み
出され、重心算出部２１に供給されるとともに、蓄積画
像メモリ２４の記憶値がクリアされる。

【００５１】そして、重心算出部２１では、ステップＳ
１において、注目フレームが第１フレームであるかどう
かが判定される。ステップＳ１において、注目フレーム
が第１フレームであると判定された場合、ステップＳ２
に進み、ベクトル検出部２２は、そのカメラ動きベクト
ルｖ₁として０を設定し、カメラ動きベクトル記憶部１
３および書き込み制御部２３に出力して、ステップＳ６
に進む。

【００５２】ステップＳ６では、書き込み制御部２３
は、ベクトル検出部２２からのカメラ動きベクトルに基
づいて、蓄積画像メモリ２４における書き込みアドレス
を制御し、これにより、蓄積画像メモリ２４に、注目フ
レームを書き込む。即ち、いまの場合、注目フレームは
第１フレームであり、そのカメラ動きベクトルｖ₁は０
であるから、蓄積画像メモリ２４では、基準座標系にお
ける原点に、その左上の点が位置するように、第１フレ
ームの画像データが書き込まれる。

【００５３】その後、ステップＳ７に進み、蓄積部１１
に、一連の画像を構成する次のフレームがあるかどうか
が判定され、あると判定された場合、その、次のフレー
ムが、新たに注目フレームとして読み出され、重心算出
部２１に供給される。そして、ステップＳ１に戻り、以
下、同様の処理が繰り返される。

【００５４】一方、ステップＳ１において、注目フレー
ムが第１フレームでないと判定された場合、即ち、第２
フレーム乃至第Ｎフレームのうちのいずれかである場
合、ステップＳ３に進み、重心算出部２１において、注
目フレームの重心を求める重心算出処理が行われ、ステ
ップＳ４に進む。ステップＳ４では、重心算出部２１に
おいて、蓄積画像メモリ２４に記憶された蓄積画像の中
に、注目フレームに対する動き検出範囲が設定され、そ
の動き検出範囲の重心を求める重心算出処理が行われ、
ステップＳ５に進む。

【００５５】ステップＳ５では、ベクトル検出部２２に
おいて、重心算出部２１で求められた注目フレームの重
心と、動き検出範囲の重心とから、図６で説明したよう
にして、注目フレームのカメラ動きベクトルが求めら
れ、カメラ動きベクトル記憶部１３および書き込み制御
部２３に出力される。

【００５６】そして、ステップＳ６に進み、上述したよ
うに、書き込み制御部２３において、ベクトル検出部２
２からのカメラ動きベクトルに基づいて、蓄積画像メモ
リ２４における書き込みアドレスが制御され、これによ
り、蓄積画像メモリ２４に、注目フレームが書き込まれ
る。即ち、蓄積画像メモリ２４では、基準座標系におい
て、注目フレームのカメラ動きベクトルによって示され
る点に、その左上の点が位置するように、注目フレーム
の画像データが書き込まれる（上書きされる）。

【００５７】その後、ステップＳ７に進み、上述したよ
うに、蓄積部１１に、一連の画像を構成する次のフレー
ムがあるかどうかが判定され、ないと判定された場合、
即ち、一連の画像を構成する第１乃至第Ｎフレームそれ
ぞれのカメラ動きベクトルが求められた場合、カメラ動
き検出処理を終了する。

【００５８】次に、図８のフローチャートを参照して、
図７のステップＳ３において、重心算出部２１が行う処
理（注目フレームの重心算出処理）について詳述する。

【００５９】まず最初に、ステップＳ１１において、変
数ＸまたはＹに対して、注目フレームの横（水平方向）
の画素数、または縦（垂直方向）の画素数が、それぞれ
セットされ、ステップＳ１２に進む。

【００６０】ステップＳ１２では、注目フレームの各画
素のｙ座標を表す変数ｙに、初期値としての、例えば−
１がセットされ、ステップＳ２２に進み、変数ｙが１だ
けインクリメントされる。

【００６１】ここで、注目フレームを構成する各画素の
座標は、その最も左上の画素を原点とし、左から右方
向、または上から下方向に、それぞれｘ軸またはｙ軸を
とって表すものとする。

【００６２】その後、ステップＳ１４に進み、変数ｙ
が、注目フレームの縦の画素数Ｙ未満であるかどうかが
判定される。ステップＳ１４において、変数ｙがＹ未満
であると判定された場合、ステップＳ１５に進み、注目
フレームの各画素のｘ座標を表す変数ｘに、初期値とし
ての、例えば−１がセットされ、ステップＳ１６に進
む。

【００６３】ステップＳ１６では、変数ｘが１だけイン
クリメントされ、ステップＳ１７に進み、変数ｘが、注
目フレームの横の画素数Ｘ未満であるかどうかが判定さ
れる。ステップＳ１７において、変数ｘがＸ未満でない
と判定された場合、ステップＳ１３に戻り、以下、同様
の処理が繰り返される。

【００６４】また、ステップＳ１７において、変数ｘが
Ｘ未満であると判定された場合、ステップＳ１８に進
み、座標（ｘ，ｙ）にある画素ｐ（ｘ，ｙ）が注目画素
とされ、その注目画素が、その画素値に基づいて、あら
かじめ設定されたレベルのうちのいずれかに分類され
る。

【００６５】即ち、本実施の形態では、画素値としてと
り得る値の範囲が、幾つかの範囲に、あらかじめ分割さ
れている。そして、いま、例えば、画素値としてとり得
る値の範囲がＫ個の範囲に分割されており、このＫ個の
範囲を、画素値の小さい範囲から順番に、レベル１，
２，・・・，Ｋというものとすると、ステップＳ１８で
は、画素値がレベル１乃至Ｋのうちのいずれの範囲に属
するかによって、注目画素が分類される。

【００６６】さらに、ステップＳ１８では、注目画素の
レベル分類結果が、レベルテーブルに登録される。

【００６７】即ち、重心算出部２１は、その内蔵するメ
モリ（図示せず）に、例えば、図９に示すような、各レ
ベルｋ（ｋ＝１，２，・・・，Ｋ）について、そのレベ
ルｋに属する画素の度数ｆ_kと、レベルｋに属する画素
のｘ座標の積算値Σｘ_kおよびｙ座標の積算値Σｙ_kを対
応付けたレベルテーブルを記憶しており、例えば、注目
画素の画素値がレベルｋに属する場合には、レベルテー
ブルにおけるレベルｋについての度数ｆ_kを１だけイン
クリメントするとともに、ｘ座標の積算値Σｘ_kまたは
ｙ座標の積算値Σｙ_kに、注目画素のｘ座標またはｙ座
標をそれぞれ加算する。

【００６８】なお、レベルテーブルは、図８のフローチ
ャートにしたがった処理が開始されるごとに、０にクリ
アされるようになっている。

【００６９】そして、ステップＳ１６に戻り、以下、同
様の処理が繰り返される。

【００７０】一方、ステップＳ１４において、変数ｙが
Ｙ未満でないと判定された場合、即ち、注目フレームを
構成する各画素を注目画素として処理を行い、注目フレ
ームを構成するすべての画素を、レベルテーブルに登録
した場合、ステップＳ１９に進み、レベルテーブルの各
レベルに属する画素の重心が求められる。即ち、ステッ
プＳ１９では、レベルテーブルの各レベルｋにおけるｘ
座標の積算値Σｘ_kまたはｙ座標の積算値Σｙ_kそれぞれ
が、その度数ｆ_kで除算され、その除算値で表される座
標（Σｘ_k／ｆ_k，Σｙ_k／ｆ_k）が、各レベルｋに属する
画素の重心として求められる。

【００７１】そして、ステップＳ２０に進み、レベル１
乃至Ｋそれぞれに属する画素の重心の重心が、注目フレ
ームを構成する画素全体の重心として求められ、リター
ンする。

【００７２】即ち、ステップＳ２０では、レベル１乃至
Ｋそれぞれに属する画素の重心について、例えば、その
度数ｆ₁乃至ｆ_Kを重みとする重み付け平均値が求めら
れ、その重み付け平均値が、注目フレームを構成する画
素全体の重心として出力される。

【００７３】次に、図１０のフローチャートを参照し
て、図７のステップＳ４において、重心算出部２１が行
う処理（動き検出範囲の重心算出処理）について詳述す
る。

【００７４】まず最初に、ステップＳ３１において、動
き検出範囲が設定される。即ち、ステップＳ３１では、
蓄積画像メモリ２４に記憶された蓄積画像から、注目フ
レームの１フレーム前のフレームが書き込まれた範囲が
検出される。さらに、ステップＳ３１では、その検出さ
れた範囲が、例えば、上下左右方向に、それぞれ所定の
画素数だけ拡げられ、その拡げられた範囲が、動き検出
範囲として設定される。

【００７５】そして、ステップＳ３２に進み、変数Ｘま
たはＹに対して、動き検出範囲の横の画素数、または縦
の画素数が、それぞれセットされ、ステップＳ３３に進
む。

【００７６】その後、ステップＳ３３乃至Ｓ４１におい
ては、図８のステップＳ１２乃至Ｓ２０における場合と
それぞれ同様の処理が行われ、これにより、動き検出範
囲を構成する画素全体の重心が求められ、リターンす
る。

【００７７】以上のように、カメラ動き検出部１２で
は、蓄積画像の中の、注目フレームの１フレーム前のフ
レームを含む所定の範囲を、動き検出範囲として設定
し、その動き検出範囲の重心と、注目フレームの重心を
算出し、それらの重心に基づいて、注目フレームのカメ
ラ動きベクトルを求め、そのカメラ動きベクトルに基づ
いて、注目フレームを、蓄積画像に書き込むことを繰り
返すようにしたので、いわゆるブロックマッチングを行
う場合に比較して、カメラ動きベクトルを、簡易に求め
ることができる。

【００７８】なお、図７の実施の形態では、ステップＳ
３において、注目フレームの重心を求め、その後、ステ
ップＳ４において、動き検出範囲の重心を求めるように
したが、注目フレームの重心と、動き検出範囲の重心
は、どちらを先に求めても良いし、また、同時に求める
ようにすることも可能である。

【００７９】次に、図８の実施の形態では、注目フレー
ムの重心を、その注目フレームを構成する各画素を、そ
の画素値によって、幾つかのレベルのうちのいずれかに
分類（以下、適宜、レベル分類という）することで求め
るようにしたが、注目フレームの重心は、その他、例え
ば、その注目フレームを構成する各画素を、その周辺に
ある幾つかの画素（自身を含めても良いし、含めなくて
も良い）に基づいて、幾つかのクラスのうちのいずれか
に分類（以下、適宜、クラス分類という）することで行
うことも可能である。

【００８０】ここで、クラス分類について、簡単に説明
する。いま、例えば、注目画素について、その上下左右
にそれぞれ隣接する４画素と、注目画素自身との合計５
画素で、注目画素のクラス分類に用いるタップ（以下、
適宜、クラスタップという）を構成するものとする。こ
の場合、例えば、画素値が１ビットで表現される（０ま
たは１のうちのいずれかの値となる）ものとすると、注
目画素は、その注目画素について構成されるクラスタッ
プの５画素が取り得る画素値によって、３２（＝
（２¹）⁵）のパターンに分類することができる。このよ
うなパターン分けがクラス分類であり、いまの場合、注
目画素は、３２のクラスのうちのいずれかに分類される
ことになる。

【００８１】なお、一般には、画素に対して、８ビット
程度が割り当てられるが、画素に８ビットが割り当てら
れている場合には、上述のように５画素でなるクラスタ
ップを構成してクラス分類を行うと、そのクラス数は、
（２⁸）⁵という膨大な数になる。

【００８２】そこで、クラス分類は、注目画素について
構成されるクラスタップに対して、LビットADRC(Adapti
ve Dynamic Range Coding)処理し、そのADRC処理後のク
ラスタップに基づいて行うようにすることができる。

【００８３】ここで、LビットADRC処理においては、例
えば、クラスタップを構成する画素の画素値の最大値MA
Xと最小値MINが検出され、DR=MAX-MINを、集合の局所的
なダイナミックレンジとし、このダイナミックレンジDR
に基づいて、クラスタップを構成する画素がLビットに
再量子化される。即ち、クラスタップを構成する画素の
画素値の中から、最小値MINが減算され、その減算値がD
R/2^Lで除算（量子化）される。従って、クラスタップ
が、LビットADRC処理された場合には、そのクラスタッ
プを構成する各画素の画素値はLビットとされることに
なり、Lを、画素に割り当てられたビット数より小さい
値とすることで、クラスタップをADRC処理せずにクラス
分類を行う場合に比較して、クラス数を減少させること
ができる。

【００８４】なお、フレームの上端、下端、左端、また
は右端の画素が注目画素となった場合には、その上、
下、左、または右に隣接する画素は存在しないため、こ
の場合には、例えば、フレームの上側、下側、左側、ま
たは右側に、同一フレームが折り返して存在するものと
仮定して、クラスタップを構成するものとする。

【００８５】次に、図１１のフローチャートを参照し
て、注目フレームを構成する各画素を、その画素につい
てのクラスタップに基づいてクラス分類することによ
り、注目フレームの重心を求める場合の、重心算出部２
１で行われる処理（注目フレームの重心算出処理）につ
いて説明する。

【００８６】この場合、ステップＳ５１乃至Ｓ５７にお
いて、図８のステップＳ１１乃至Ｓ１７における場合と
それぞれ同様の処理が行われる。そして、図８のステッ
プＳ１８に対応するステップＳ５８では、座標（ｘ，
ｙ）にある画素ｐ（ｘ，ｙ）が注目画素とされ、その注
目画素についてクラスタップが構成される。そして、注
目画素が、そのクラスタップに基づいて、例えば、Ｋ個
のクラスのうちのいずれかにクラス分類され、そのクラ
ス分類結果が、クラステーブルに登録される。

【００８７】即ち、図１１の実施の形態においては、重
心算出部２１は、その内蔵するメモリに、例えば、図１
２に示すような、各クラスｋ（ｋ＝１，２，・・・，
Ｋ）について、そのクラスｋに属する画素の度数ｆ
_kと、クラスｋに属する画素のｘ座標の積算値Σｘ_kおよ
びｙ座標の積算値Σｙ_kを対応付けたクラステーブルを
記憶しており、例えば、注目画素がクラスｋに属する場
合には、クラステーブルにおけるクラスｋについての度
数ｆ_kを１だけインクリメントするとともに、ｘ座標の
積算値Σｘ_kまたはｙ座標の積算値Σｙ_kに、注目画素の
ｘ座標またはｙ座標をそれぞれ加算する。

【００８８】なお、クラステーブルは、レベルテーブル
と同様に、図１１のフローチャートにしたがった処理が
開始されるごとに、０にクリアされるようになってい
る。

【００８９】ステップＳ５８の処理後は、ステップＳ５
６に戻り、以下、同様の処理が繰り返される。

【００９０】一方、ステップＳ５４において、変数ｙが
Ｙ未満でないと判定された場合、ステップＳ５９に進
み、クラステーブルの各クラスに属する画素の重心が求
められる。即ち、ステップＳ５９では、クラステーブル
の各クラスｋにおけるｘ座標の積算値Σｘ_kまたはｙ座
標の積算値Σｙ_kそれぞれが、その度数ｆ_kで除算され、
その除算値で表される座標（Σｘ_k／ｆ_k，Σｙ_k／ｆ_k）
が、各クラスｋに属する画素の重心として求められる。

【００９１】そして、ステップＳ６０に進み、クラス１
乃至Ｋそれぞれに属する画素の重心の重心が、注目フレ
ームを構成する画素全体の重心として求められ、リター
ンする。

【００９２】即ち、ステップＳ６０では、クラス１乃至
Ｋそれぞれに属する画素の重心について、例えば、その
度数ｆ₁乃至ｆ_Kを重みとする重み付け平均値が求めら
れ、その重み付け平均値が、注目フレームを構成する画
素全体の重心として出力される。

【００９３】ここで、注目フレームを構成する各画素
を、その画素についてのクラスタップに基づいてクラス
分類することにより、注目フレームの重心を求める場合
には、動き検出範囲の重心も、その動き検出範囲を構成
する各画素についてクラスタップを構成し、そのクラス
タップに基づいてクラス分類を行うことにより求めるよ
うにするのが望ましい。

【００９４】なお、動き検出範囲の重心を、クラス分類
を行うことにより求める場合には、図１１のフローチャ
ートに示した処理において、そのステップＳ５１の処理
に替えて、図１０のフローチャートに示したステップＳ
３１およびＳ３２の処理を行う他は、図１１に示した場
合と同様であるため、その説明は省略する。

【００９５】次に、図１１の実施の形態では、注目フレ
ームを構成する各画素を、その画素についてのクラスタ
ップに基づいてクラス分類し、その結果得られるすべて
のクラスに属する画素の重心を用いて、注目フレームの
重心を求めるようにしたが、注目フレームの重心は、そ
の他、例えば、クラス分類の結果得られる特定のクラス
に属する画素の重心のみを用いて求めるようにすること
が可能である。

【００９６】即ち、注目フレームの重心は、例えば、エ
ッジになっている部分の画素（以下、適宜、エッジ画素
という）が属するクラスを、特定のクラスとして、その
特定のクラス（以下、適宜、エッジクラスという）に属
する画素（エッジ画素）の重心のみを用いて求めるよう
にすることが可能である。

【００９７】そこで、図１３のフローチャートを参照し
て、注目フレームを構成する各画素のクラス分類結果の
うち、エッジクラスに属するエッジ画素の重心のみを用
いて求める場合に、重心算出部２１で行われる処理（注
目フレームの重心算出処理）について説明する。

【００９８】この場合も、ステップＳ７１乃至Ｓ７７に
おいて、図８のステップＳ１１乃至Ｓ１７における場合
とそれぞれ同様の処理が行われる。そして、ステップＳ
７７において、変数ｘがＸ未満であると判定された場合
は、ステップＳ７８に進み、座標（ｘ，ｙ）にある画素
ｐ（ｘ，ｙ）が注目画素とされ、図１１のステップＳ５
８における場合と同様に、その注目画素がクラス分類さ
れる。

【００９９】その後、ステップＳ７９に進み、ステップ
Ｓ７８におけるクラス分類の結果得られるクラスがエッ
ジクラスかどうか、即ち、注目画素がエッジ画素かどう
かが判定される。

【０１００】ここで、例えば、上述したような５画素で
構成されるクラスタップを、２ビットADRC処理してから
クラス分類を行う場合には、注目画素は、１０２４（＝
（２ ²）⁵）クラスのうちのいずれかに分類される。とこ
ろで、クラスタップを、２ビットADRC処理した場合に
は、そのクラスタップを構成する画素の画素値は、００
Ｂ，０１Ｂ，１０Ｂ，１１Ｂのうちのいずれかの値とな
る（Ｂは、その前に配置された値が２進数であることを
表す）。従って、クラスタップが、上述したように、注
目画素と、その注目画素の上下左右にそれぞれ隣接する
４画素との合計５画素で構成される場合においては、注
目画素の画素値が、最小値である００Ｂであるととも
に、その上下左右にそれぞれ隣接する４画素の画素値が
００Ｂ以外であるときと、注目画素の画素値が、最大値
である１１Ｂであるとともに、その上下左右にそれぞれ
隣接する４画素の画素値が１１Ｂ以外であるときに、注
目画素がエッジ画素になっていると考えられる。

【０１０１】即ち、図１４（Ａ）に示すように、注目画
素の画素値が００Ｂであり、かつ、その上下左右にそれ
ぞれ隣接する４画素の画素値が、０１Ｂ，１０Ｂ，１１
Ｂのうちのいずれかである場合は、画素値が、注目画素
において、いわば谷（凹）になっている。また、図１４
（Ｂ）に示すように、注目画素の画素値が１１Ｂであ
り、かつ、その上下左右にそれぞれ隣接する４画素の画
素値が、００Ｂ，０１Ｂ，１０Ｂのうちのいずれかであ
る場合は、画素値が、注目画素において、いわば山
（凸）になっている。従って、図１４に示した場合にお
いては、注目画素がエッジ画素になっている。

【０１０２】なお、注目画素の画素値が００Ｂであり、
かつ、その上下左右にそれぞれ隣接する４画素の画素値
が、０１Ｂ，１０Ｂ，１１Ｂのうちのいずれかである場
合は、８１（＝３×３×３×３）通りあり、注目画素の
画素値が１１Ｂであり、かつ、その上下左右にそれぞれ
隣接する４画素の画素値が、００Ｂ，０１Ｂ，１０Ｂの
うちのいずれかである場合も同様に、８１通りある。従
って、エッジ画素が属するクラス（エッジクラス）は、
１６２（＝８１＋８１）通りある。

【０１０３】図１３に戻り、ステップＳ７９において、
注目画素がエッジ画素でないと判定された場合、即ち、
注目画素のクラスが、上述の１６２通りあるエッジクラ
スのうちのいずれでもない場合、ステップＳ７６に戻
る。

【０１０４】また、ステップＳ７９において、注目画素
がエッジ画素であると判定された場合、即ち、注目画素
のクラスが、上述の１６２通りあるエッジクラスのうち
のいずれかである場合、ステップＳ８０に進み、注目画
素のクラス分類結果が、クラステーブルに登録される。
即ち、ステップＳ８０では、図１２に示したようなクラ
ステーブルの、注目画素のクラスｋについての度数ｆ_k
が１だけインクリメントされるとともに、ｘ座標の積算
値Σｘ_kまたはｙ座標の積算値Σｙ_kに、注目画素のｘ座
標またはｙ座標がそれぞれ加算される。

【０１０５】なお、図１３の実施の形態では、エッジク
ラスに属する注目画素についてのみ、クラステーブルへ
の登録が行われるから、例えば、上述したように、５画
素で構成されるクラスタップを２ビットADRC処理した後
にクラス分類を行い、エッジクラスのみをクラステーブ
ルに登録する場合には、クラステーブルのクラス数Ｋ
は、上述したエッジクラスの数である１６２となる。

【０１０６】一方、５画素で構成されるクラスタップを
２ビットADRC処理した後にクラス分類を行い、すべての
クラスをクラステーブルに登録する場合には、注目画素
は、上述したように、１０２４クラスのうちのいずれか
に分類されるから、クラステーブルのクラス数Ｋは、１
０２４となる。

【０１０７】従って、図１３の実施の形態においては、
図１１の実施の形態における場合に比較して、クラステ
ーブルの大きさ（容量）を小さくすることができる。

【０１０８】ステップＳ８０の処理後は、ステップＳ７
６に戻り、以下、同様の処理が繰り返される。

【０１０９】一方、ステップＳ７４において、変数ｙが
Ｙ未満でないと判定された場合、ステップＳ８１に進
み、クラステーブルの各エッジクラスに属する画素の重
心が求められる。即ち、ステップＳ８１では、クラステ
ーブルの各エッジクラスｋにおけるｘ座標の積算値Σｘ
_kまたはｙ座標の積算値Σｙ_kそれぞれが、その度数ｆ_k
で除算され、その除算値で表される座標（Σｘ_k／ｆ_k，
Σｙ_k／ｆ_k）が、各エッジクラスｋに属する画素の重心
として求められる。

【０１１０】そして、ステップＳ８２に進み、エッジク
ラス１乃至Ｋそれぞれに属する画素の重心の重心が、注
目フレームを構成する画素全体の重心として求められ、
リターンする。

【０１１１】即ち、ステップＳ８２では、エッジクラス
１乃至Ｋそれぞれに属する画素の重心について、例え
ば、その度数ｆ₁乃至ｆ_Kを重みとする重み付け平均値が
求められ、その重み付け平均値が、注目フレームを構成
する画素全体の重心として出力される。

【０１１２】ここで、注目フレームの重心を、注目フレ
ームを構成する画素のうち、エッジクラスに属するもの
のみを用いて求める場合には、動き検出範囲の重心も、
その動き検出範囲を構成する画素のうち、エッジクラス
に属するもののみを用いて求めるようにするのが望まし
い。

【０１１３】なお、動き検出範囲の重心を、エッジクラ
スに属する画素のみを用いて求める場合には、図１３の
フローチャートに示した処理において、そのステップＳ
７１の処理に替えて、図１０のフローチャートに示した
ステップＳ３１およびＳ３２の処理を行う他は、図１３
に示した場合と同様であるため、その説明は省略する。

【０１１４】次に、注目フレームが、その１フレーム前
のフレームに対して、カメラ動きのないものである場合
には、注目フレームのカメラ動きベクトルは、その１フ
レーム前のフレームのカメラ動きベクトルに等しくなる
べきである。しかしながら、上述したようにして、フレ
ームのカメラ動きベクトルを求める場合には、前景の動
きが影響することにより、注目フレームが、カメラ動き
のないものであっても、そのカメラ動きベクトルとし
て、その１フレーム前のフレームのカメラ動きベクトル
と異なるものが求まる可能性がある。

【０１１５】そこで、図５に示したカメラ動き検出部１
２には、同図に点線で示すように、注目フレームが、そ
の１フレーム前のフレームに対して、カメラ動きのない
ものであるかどうかを判定する動きなし判定部２５を設
け、さらに、ベクトル検出部２２において、注目フレー
ムがカメラ動きのないものである場合には、その１フレ
ーム前のフレームのカメラ動きベクトルを、注目フレー
ムのカメラ動きベクトルとして出力し、注目フレームが
カメラ動きのあるものである場合には、上述したように
して、注目フレームおよび動き検出範囲の重心から、注
目フレームのカメラ動きベクトルを求めるようにするこ
とができる。

【０１１６】このようにすることで、注目フレームがカ
メラ動きのないものである場合には、注目フレームのカ
メラ動きベクトルを、その１フレーム前のフレームのカ
メラ動きベクトルと等しくすることができる。

【０１１７】そこで、図１５のフローチャートを参照し
て、動きなし判定部２５において行われる、注目フレー
ムがカメラ動きのないものであるかどうかを判定する処
理（動きなし判定処理）について説明する。

【０１１８】動きなし判定処理では、ステップＳ９１乃
至Ｓ９９において、図１３のステップＳ７１乃至Ｓ７９
における場合とそれぞれ同様の処理が行われる。

【０１１９】そして、ステップＳ９９において、注目画
素がエッジ画素であると判定された場合、ステップＳ１
００に進み、注目画素の画素値ｐ（ｘ，ｙ）が、その１
フレーム前の同一位置にある画素の画素値ｐ’（ｘ，
ｙ）に等しいかどうかが判定される。

【０１２０】ここで、ステップＳ１００における、ｐ
（ｘ，ｙ）がｐ’（ｘ，ｙ）に等しいとは、ｐ（ｘ，
ｙ）がｐ’（ｘ，ｙ）にほぼ等しい場合、即ち、｜ｐ
（ｘ，ｙ）−ｐ’（ｘ，ｙ）｜が、所定の微小値以内で
ある場合を含むものとする。

【０１２１】ステップＳ１００において、注目画素の画
素値ｐ（ｘ，ｙ）が、その１フレーム前の同一位置にあ
る画素の画素値ｐ’（ｘ，ｙ）に等しくないと判定され
た場合、ステップＳ１０１をスキップして、ステップＳ
９６に戻る。

【０１２２】また、ステップＳ１００において、注目画
素の画素値ｐ（ｘ，ｙ）が、その１フレーム前の同一位
置にある画素の画素値ｐ’（ｘ，ｙ）に等しいと判定さ
れた場合、即ち、エッジ画素である注目画素の画素値ｐ
（ｘ，ｙ）が、空間的に同一位置にある１フレーム前の
画素の画素値ｐ’（ｘ，ｙ）に等しい場合、ステップＳ
１０１に進み、変数ｃが１だけインクリメントされ、ス
テップＳ９６に戻る。

【０１２３】ここで、変数ｃは、図１５の動きなし判定
処理が開始される前に０にクリアされるようになってい
る。

【０１２４】その後、ステップＳ９４において、変数ｙ
がＹ未満でないと判定された場合、即ち、注目フレーム
を構成する画素すべてを注目画素として処理を行った場
合、ステップＳ１０２に進み、変数ｃが、所定の閾値ｔ
ｈ以上であるか否かが判定される。ステップＳ１０２に
おいて、変数ｃが、所定の閾値ｔｈ以上であると判定さ
れた場合、即ち、注目フレームのエッジ画素の中に、１
フレーム前の同一位置にある画素と同一（ほぼ同一）の
画素値となっている画素が、閾値ｔｈ以上存在する場
合、ステップＳ１０３に進み、注目フレームが、その１
フレーム前のフレームに対して、カメラ動きのないもの
であるかどうかの判定結果として、動きがない旨のメッ
セージが、ベクトル検出部２２に出力され、動きなし判
定処理を終了する。

【０１２５】また、ステップＳ１０２において、変数ｃ
が、所定の閾値ｔｈ以上でないと判定された場合、即
ち、注目フレームのエッジ画素の中に、１フレーム前の
同一位置にある画素と同一（ほぼ同一）の画素値となっ
ている画素が、閾値ｔｈ以上存在しない場合、ステップ
Ｓ１０４に進み、注目フレームが、その１フレーム前の
フレームに対して、カメラ動きのないものであるかどう
かの判定結果として、動きがある旨のメッセージが、ベ
クトル検出部２２に出力され、動きなし判定処理を終了
する。

【０１２６】なお、図１５の動きなし判定処理は、重心
算出部２１における、注目フレームおよび動き検出範囲
の重心を算出する処理に先だって行われ、さらに、第２
フレーム以降のフレームを対象に行われる。

【０１２７】次に、図１６は、図２の背景抽出部１４の
構成例を示している。

【０１２８】存在範囲検出部３１には、カメラ動きベク
トル記憶部１３（図２）に記憶された一連の画像として
の第１フレーム乃至第Ｎフレームのカメラ動きベクトル
ｖ₁乃至ｖ_Nが供給されるようになっており、存在範囲検
出部３１は、第１乃至第Ｎフレームの背景の位置合わせ
を行った状態で、基準座標系において、その第１乃至第
Ｎフレームの画像が存在する最小の矩形の領域（存在範
囲）を検出するようになっている。

【０１２９】即ち、存在範囲検出部３１は、第１フレー
ム乃至第Ｎフレームのカメラ動きベクトルｖ₁乃至ｖ_Nに
基づき、第１フレーム乃至第Ｎフレームについて、その
背景の位置合わせを行った状態を想定し、その位置合わ
せを行った状態で、第１乃至第Ｎフレームの画素が存在
する最小の矩形の領域である存在範囲を検出する。さら
に、存在範囲検出部３１は、その存在範囲の、基準座標
系における、例えば、最も左上の頂点の座標（Ｘ_min，
Ｙ_min）と、最も右下の頂点の座標（Ｘ_max，Ｙ_{m ax}）を
求め、読み出し部３２および書き込み部３５に供給す
る。

【０１３０】なお、第１フレーム乃至第Ｎフレームの背
景の位置合わせを行った状態は、図１７に示すように、
基準座標系において、第１フレーム乃至第Ｎフレーム
を、それぞれのカメラ動きベクトルｖ₁乃至ｖ_Nによって
示される座標に、フレームの左上の頂点が位置するよう
に配置することで想定することができる。

【０１３１】読み出し部３２は、蓄積部１１（図２）に
記憶されている第１フレーム乃至第Ｎフレームを構成す
る画素のうち、その第１フレーム乃至第Ｎフレームの背
景の位置合わせを行った状態で空間的に同一位置にある
画素を検出して読み出し、度数カウント部３３および書
き込み部３５に供給するようになっている。

【０１３２】即ち、読み出し部３２には、存在範囲検出
部２１から座標（Ｘ_min，Ｙ_min）および（Ｘ_max，
Ｙ_max）が供給される他、カメラ動きベクトル記憶部１
３（図２）に記憶されたカメラ動きベクトルｖ₁乃至ｖ_N
も供給されるようになっており、読み出し部３２は、ま
ず、存在範囲検出部３１と同様に、第１フレーム乃至第
Ｎフレームのカメラ動きベクトルｖ₁乃至ｖ_Nに基づき、
第１フレーム乃至第Ｎフレームについて、その背景の位
置合わせを行った状態を想定する。さらに、読み出し部
３２は、基準座標系の、存在範囲検出部２１から供給さ
れる座標（Ｘ_min，Ｙ_{m in}）および（Ｘ_max，Ｙ_max）によ
って規定される存在範囲内の座標を順次スキャンしてい
き、図１８に示すように、各座標（ｘ，ｙ）における、
背景の位置合わせを行った状態の第１フレーム乃至第Ｎ
フレームの画素を検出して読み出す。

【０１３３】なお、第１乃至第Ｎフレームの背景の位置
合わせを行った状態において、基準座標系の座標（ｘ，
ｙ）に位置する、第ｎフレームの画素の検出は、その第
ｎフレームの左上の画素を原点とした、いわばローカル
な座標系（以下、適宜、ローカル座標系という）を考え
た場合には、座標（ｘ，ｙ）から、カメラ動きベクトル
ｖ_nを減算した座標にある画素を検出することによって
行うことができる。

【０１３４】度数カウント部３３は、読み出し部３２か
ら供給される、第１乃至第Ｎフレームを構成する画素の
うち、その背景の位置合わせを行った状態で空間的に同
一位置にある画素（以下、適宜、位置合わせ状態での同
一位置画素という）の集合ごとに、例えば、上述した画
素値の各レベルに属する画素の度数を計数し、その計数
結果に基づいて、その後段の度数テーブル記憶部３４に
記憶された度数テーブルへの登録を行うようになってい
る。

【０１３５】度数テーブル記憶部３４は、例えば、図１
９に示すような度数テーブルを記憶するようになってい
る。即ち、度数テーブル記憶部３４は、存在範囲内の各
座標（ｘ，ｙ）について、位置合わせ状態での同一位置
画素の画素値の各レベルと、そのレベルに属する画素の
度数の、位置合わせ状態での同一位置画素の画素数に対
する割合とを対応付けて登録するための度数テーブルを
記憶している。

【０１３６】ここで、存在範囲内のある位置（座標）に
おける位置合わせ状態での同一位置画素の集合におい
て、度数のｍ番目に大きい画素値のレベルを、第ｍ度数
レベルという。

【０１３７】図１９の実施の形態では、度数テーブルに
は、第１度数レベルから第Ｍ度数レベルまでのＭ個のレ
ベルと、その度数の割合とが登録されるようになってい
る。従って、ここでは、度数カウント部３３は、度数
が、Ｍ＋１番目以降のレベルについては、度数の計数結
果を、度数テーブルに登録せず破棄するようになってい
る。但し、度数の計数結果は、すべてのレベルについ
て、度数テーブルに登録するようにすることも可能であ
る。

【０１３８】なお、上述したように、画素値としてとり
得る値の範囲を、Ｋ個のレベルに分割した場合には、上
述のＭは、Ｋ以下の値となる。

【０１３９】書き込み部３５は、度数テーブル記憶部３
４に記憶された度数テーブルと、読み出し部３２から供
給される画素とに基づき、背景メモリ１５（図２）の、
存在範囲検出部３１から供給される存在範囲内に相当す
る各アドレスに、全体背景を構成する背景画素を書き込
むようになっている。さらに、書き込み部３５は、背景
フラグメモリ３６への背景フラグの書き込みも行うよう
になっている。

【０１４０】背景フラグメモリ３６は、存在範囲内の各
画素について、背景画素が書き込まれているかどうかを
表す背景フラグを記憶するようになっている。即ち、書
き込み部３５は、背景メモリ１５のあるアドレスに背景
画素を書き込んだとき、そのアドレスに対応する、背景
フラグメモリ３６のアドレスに背景フラグを書き込むよ
うになっている。ここで、背景フラグは、例えば、１ビ
ットのフラグであるとし、背景画素が書き込まれている
アドレスに対応する背景フラグは１とされ、まだ書き込
まれていないアドレスに対応する背景フラグは０とされ
るものとする。

【０１４１】次に、図２０のフローチャートを参照し
て、図１６の背景抽出部１４において行われる、第１フ
レーム乃至第Ｎフレームから全体背景を抽出する背景抽
出処理について説明する。

【０１４２】まず最初に、存在範囲検出部３１は、ステ
ップＳ１１１において、カメラ動きベクトル記憶部１３
からカメラ動きベクトルを読み出し、図１７で説明した
ようにして、存在範囲を検出する。そして、その存在範
囲の、基準座標系における左上の点の座標（Ｘ_min，Ｙ
_min）と、右下の点の座標（Ｘ_max，Ｙ_max）を、存在範
囲を特定するための情報として、読み出し部３２および
書き込み部３５に供給する。

【０１４３】読み出し部３１は、存在範囲を特定するた
めの座標（Ｘ_min，Ｙ_min）および（Ｘ_max，Ｙ_max）を受
信すると、ステップＳ１１２において、存在範囲を、基
準座標系のｙ軸方向にスキャンするための変数ｙに、初
期値としてのＹ_min−１をセットし、ステップＳ１１３
に進み、その変数ｙを１だけインクリメントして、ステ
ップＳ１１４に進む。ステップＳ１１４では、変数ｙが
Ｙ_max以下であるかどうかが判定され、Ｙ_max以下である
と判定された場合、ステップＳ１１５に進む。ステップ
Ｓ１１５では、読み出し部３１は、存在範囲を、基準座
標系のｘ軸方向にスキャンするための変数ｘに、初期値
としてのＸ_min−１をセットし、ステップＳ１１６に進
み、その変数ｘを１だけインクリメントして、ステップ
Ｓ１１７に進む。ステップＳ１１７では、変数ｘがＸ
_max以下であるかどうかが判定され、Ｘ_max以下でないと
判定された場合、ステップＳ１１３に戻り、以下、同様
の処理が繰り返される。

【０１４４】また、ステップＳ１１７において、変数ｘ
がＸ_max以下であると判定された場合、ステップＳ１１
８に進み、蓄積部１１（図２）に記憶された一連の画像
としての第１フレーム乃至第Ｎフレームのフレーム数を
カウントするための変数ｎに、初期値としての０がセッ
トされ、ステップＳ１１９に進む。ステップＳ１１９で
は、変数ｎが１だけインクリメントされ、ステップＳ１
２０に進み、変数ｎが、蓄積部１１（図２）に記憶され
た一連の画像のフレーム数であるＮ以下であるかどうか
が判定される。

【０１４５】ステップＳ１２０において、変数ｎがＮ以
下であると判定された場合、ステップＳ１２１に進み、
読み出し部３２において、第１フレーム乃至第Ｎフレー
ムの背景の位置合わせを行った状態で、基準座標系の座
標（ｘ，ｙ）の位置にある第ｎフレームの画素が、蓄積
部１１（図２）から読み出される。即ち、読み出し部３
２は、第ｎフレームの左上の画素を原点としたローカル
座標系において、座標（ｘ，ｙ）から、カメラ動きベク
トルｖ_nを減算した座標（ｘ，ｙ）−ｖ_nにある画素を、
蓄積部１１（図２）から読み出す。

【０１４６】なお、カメラ動きベクトルｖ_nのｘ座標ま
たはｙ座標を、それぞれｘ_v#nまたはｙ_v#nと表すととも
に、１フレームの横または縦の画素数を、それぞれＸま
たはＹと表すこととすると、読み出し部３２は、第ｎフ
レームについてのローカル座標系における座標（ｘ−ｘ
_v#n，ｙ−ｙ_v#n）に位置する画素を読み出すこととなる
が、この場合、０≦ｘ−ｘ_v#n＜Ｘ、および０≦ｙ−ｙ
_v#n＜Ｙの範囲外における座標（ｘ−ｘ_v#n，ｙ−
ｙ_v#n）には、第ｎフレームの画素は存在しない。従っ
て、ステップＳ１２１における第ｎフレームの画素の読
み出しは、ｘ−ｘ_v#nが、０≦ｘ−ｘ_v#n＜Ｘの範囲内で
あり、かつｙ−ｙ_v#nが、０≦ｙ−ｙ_v#n＜Ｙの範囲内で
あるときのみ行われる。

【０１４７】読み出し部３２は、ステップＳ１２１にお
いて、蓄積部１１（図２）から、第ｎフレームの画素を
読み出すと、その画素を、度数カウント部３３および書
き込み部３５に供給し、ステップＳ１１９に戻る。そし
て、ステップＳ１２０において、変数ｎがＮ以下でない
と判定されるまで、ステップＳ１１９乃至Ｓ１２１の処
理が繰り返され、これにより、第１フレーム乃至第Ｎフ
レームの背景の位置合わせを行った状態で、基準座標系
の座標（ｘ，ｙ）の位置にある第１フレーム乃至第Ｎフ
レームの画素（位置合わせ状態での同一位置画素）が、
度数カウント部３３および書き込み部３５に供給され
る。但し、上述したように、フレームによっては、基準
座標系の座標（ｘ，ｙ）に画素が存在しない場合があ
り、この場合、そのフレームの画素は、度数カウント部
３３および書き込み部３５に供給される画素には含まれ
ない。

【０１４８】その後、ステップＳ１２０において、変数
ｎがＮ以下でないと判定されると、ステップＳ１２２に
進み、度数カウント部３３は、読み出し部３２から供給
される、基準座標系の座標（ｘ，ｙ）の位置にある、背
景の位置合わせを行った状態の第１乃至第Ｎフレームの
各画素を、その画素値が、例えば、レベル１乃至Ｋのう
ちのいずれの範囲に属するかによってレベル分類する。
さらに、度数カウント部３３は、各レベルに属する画素
の度数を計数し、その度数の割合（各レベルに属する画
素の総数に対する割合）を求める。

【０１４９】そして、ステップＳ１２３に進み、度数カ
ウント部３３は、度数の割合が第１位から第Ｍ位までの
レベル（第１度数レベル乃至第Ｍ度数レベル）と、その
各レベルに属する画素の度数の割合とを、度数テーブル
記憶部３４の、図１９に示したような度数テーブルにお
ける、座標（ｘ，ｙ）の欄（行）に登録し、ステップＳ
１１６に戻る。

【０１５０】一方、ステップＳ１１４において、変数ｙ
がＹ_max以下でないと判定された場合、即ち、存在範囲
内のすべての座標について処理を行った場合、ステップ
Ｓ１２４に進み、書き込み部３５は、度数テーブル記憶
部３４に記憶された度数テーブルにおいて、第１度数レ
ベルに属する画素の割合が所定値以上になっている座標
を検出し、その座標に対応する背景メモリ１５のアドレ
スに、その第１度数レベルに対応する画素値を、背景画
素の画素値として書き込む背景画素抽出処理を行い、ス
テップＳ１２５に進む。ステップＳ１２５では、書き込
み部３５は、ステップＳ１２４の背景画素抽出処理にお
いて画素値が書き込まれなかった存在範囲内の座標につ
いて、背景画素としての画素値を書き込む背景拡張処理
を行い、背景抽出処理を終了する。

【０１５１】次に、図２１のフローチャートを参照し
て、図２０のステップＳ１２４において書き込み部３５
が行う背景画素抽出処理について説明する。

【０１５２】背景画素抽出処理では、ステップＳ１３１
乃至Ｓ１３６において、図２０のステップＳ１１２乃至
１１７における場合とそれぞれ同様の処理が行われ、ス
テップＳ１３６において、変数ｘがＸ_max以下であると
判定された場合、ステップＳ３７に進み、度数テーブル
を参照することにより、座標（ｘ，ｙ）に対する第１度
数レベルの割合が所定の閾値Ｌ_th以上であるかどうかが
判定される。

【０１５３】ステップＳ１３７において、座標（ｘ，
ｙ）に対する第１度数レベルの割合が所定の閾値Ｌ_th以
上でないと判定された場合、即ち、背景の位置合わせを
行った状態の第１フレーム乃至第Ｎフレームを構成する
画素のうち、座標（ｘ，ｙ）に位置する画素の最も度数
の多い画素値の、その度数の割合が高くない場合、ステ
ップＳ１３８およびＳ１３９をスキップして、ステップ
Ｓ１３５に戻る。

【０１５４】従って、この場合、存在範囲における座標
（ｘ，ｙ）に対応する背景メモリ１５（図２）のアドレ
スには、背景画素の画素値は書き込まれない。

【０１５５】一方、ステップＳ１３７において、座標
（ｘ，ｙ）に対する第１度数レベルの割合が所定の閾値
Ｌ_th以上であると判定された場合、即ち、背景の位置合
わせを行った状態の第１フレーム乃至第Ｎフレームを構
成する画素のうち、座標（ｘ，ｙ）に位置する画素の最
も度数の多い画素値の、その度数の割合が高い場合、ス
テップＳ１３８に進み、書き込み部３５は、その度数の
割合が高い画素値を、座標（ｘ，ｙ）に位置する背景画
素の画素値として、背景メモリ１５に書き込む。

【０１５６】即ち、書き込み部３５は、背景の位置合わ
せを行った状態の第１フレーム乃至第Ｎフレームの、座
標（ｘ，ｙ）に位置する画素のうち、第１度数レベルに
属するものを、読み出し部３２から供給される画素から
抽出し、例えば、その平均値を計算する。そして、書き
込み部３５は、その平均値を、座標（ｘ，ｙ）に位置す
る背景画素の画素値として、背景メモリ１５に書き込
む。

【０１５７】ステップＳ１３８の処理後は、ステップＳ
１３９に進み、書き込み部３５は、背景フラグメモリ３
６の、座標（ｘ，ｙ）に対応するアドレスに記憶された
背景フラグを１にし（背景フラグをたて）、ステップＳ
１３５に戻り、以下、ステップＳ１３３において、変数
ｙがＹ_max以下でないと判定されるまで、同様の処理が
繰り返される。

【０１５８】そして、ステップＳ１３３において、変数
ｙがＹ_max以下でないと判定されると、リターンする。

【０１５９】ここで、背景フラグメモリ３６の記憶値
は、例えば、図２１の背景画素抽出処理が開始されると
きに、０にクリアされるようになっている。

【０１６０】次に、図２１で説明した背景画素抽出処理
では、上述したように、背景の位置合わせを行った状態
の第１フレーム乃至第Ｎフレームを構成する画素のう
ち、座標（ｘ，ｙ）に位置する画素の最も度数の多い画
素値の、その度数の割合が高くない場合においては、座
標（ｘ，ｙ）には、背景としての画素値が書き込まれな
い。

【０１６１】即ち、背景画素抽出処理では、背景の位置
合わせを行った状態の第１フレーム乃至第Ｎフレームを
構成する画素のうち、座標（ｘ，ｙ）に位置する画素の
最も度数の多い画素値の、その度数の割合が高い場合、
その度数の最も多い画素値が、座標（ｘ，ｙ）における
全体背景の画素値として確からしいものとして、背景メ
モリ１５に書き込まれる。従って、度数の最も多い画素
値が、座標（ｘ，ｙ）における全体背景の画素値として
確からしいとはいえない場合、即ち、ここでは、背景の
位置合わせを行った状態の第１フレーム乃至第Ｎフレー
ムを構成する画素のうち、座標（ｘ，ｙ）に位置する画
素の最も度数の多い画素値の、その度数の割合が高くな
い場合には、背景画素抽出処理では、座標（ｘ，ｙ）に
対応する背景メモリ１５のアドレスには、全体背景の画
素値は書き込まれない。

【０１６２】その結果、背景画素抽出処理によって、背
景メモリ１５に画素値が書き込まれることで構成される
全体背景は、いわば虫食い状態となっており、その虫食
い部分を埋めていく必要がある。このため、図２０の背
景抽出処理では、ステップＳ１２４で背景画素抽出処理
（図２１）が行われた後、ステップＳ１２５において、
虫食い部分を画素値で埋めることにより、いわば背景を
拡張していく背景拡張処理が行われるようになってい
る。

【０１６３】そこで、図２２のフローチャートを参照し
て、図２０のステップＳ１２５における背景拡張処理に
ついて説明する。

【０１６４】背景拡張処理では、ステップＳ１４１にお
いて、変数ｙに、初期値としてのＹ _min−１がセットさ
れ、ステップＳ１４２に進み、その変数ｙが１だけイン
クリメントされ、ステップＳ１４３に進む。ステップＳ
１４３では、変数ｙがＹ_max以下であるかどうかが判定
され、Ｙ_max以下であると判定された場合、ステップＳ
１４５に進む。ステップＳ１４５では、変数ｘに、初期
値としてのＸ_min−１がセットされ、ステップＳ１４６
に進み、その変数ｘが１だけインクリメントされて、ス
テップＳ１４７に進む。ステップＳ１４７では、変数ｘ
がＸ_max以下であるかどうかが判定され、Ｘ_max以下でな
いと判定された場合、ステップＳ１４２に戻り、以下、
同様の処理が繰り返される。

【０１６５】また、ステップＳ１４７において、変数ｘ
がＸ_max以下であると判定された場合、ステップＳ１４
８に進み、座標（ｘ，ｙ）に対応する背景フラグメモリ
３６のアドレスに記憶された背景フラグが０であるかど
うかが判定される。ステップＳ１４８において、座標
（ｘ，ｙ）に対応する背景フラグメモリ３６のアドレス
に記憶された背景フラグが０でないと判定された場合、
即ち、その背景フラグが１であり、従って、座標（ｘ，
ｙ）に対応する背景メモリ１５（図２）のアドレスに、
既に、全体背景としての画素値が書き込まれている場
合、ステップＳ１４６に戻り、以下、同様の処理が繰り
返される。

【０１６６】また、ステップＳ１４８において、座標
（ｘ，ｙ）に対応する背景フラグメモリ３６のアドレス
に記憶された背景フラグが０であると判定された場合、
即ち、座標（ｘ，ｙ）に対応する背景メモリ１５（図
２）のアドレスに、まだ、全体背景としての画素値が書
き込まれていない場合、ステップＳ１４９に進み、座標
（ｘ，ｙ）に位置する画素の周辺の画素としての、例え
ば、その上、下、左、右、左上、左下、右上、右下に隣
接する画素のうちのいずれかについての背景フラグが１
であるかどうかが、背景フラグメモリ３６を参照するこ
とで判定される。

【０１６７】ステップＳ１４９において、座標（ｘ，
ｙ）に位置する画素に隣接する画素のいずれの背景フラ
グも１でないと判定された場合、即ち、座標（ｘ，ｙ−
１），（ｘ，ｙ＋１），（ｘ−１，ｙ），（ｘ＋１，
ｙ），（ｘ−１，ｙ−１），（ｘ−１，ｙ＋１），（ｘ
＋１，ｙ−１），（ｘ＋１，ｙ＋１）それぞれに対応す
る背景メモリ１５（図２）のアドレスのいずれにも、ま
だ、全体背景としての画素値が書き込まれていない場
合、ステップＳ１４６に戻る。

【０１６８】また、ステップＳ１４９において、座標
（ｘ，ｙ）に位置する画素に隣接する画素のいずれかの
背景フラグが１であると判定された場合、即ち、座標
（ｘ，ｙ−１），（ｘ，ｙ＋１），（ｘ−１，ｙ），
（ｘ＋１，ｙ），（ｘ−１，ｙ−１），（ｘ−１，ｙ＋
１），（ｘ＋１，ｙ−１），（ｘ＋１，ｙ＋１）それぞ
れに対応する背景メモリ１５（図２）のアドレスのいず
れかに、既に、全体背景としての画素値が書き込まれて
いる場合、ステップＳ１５０に進む。

【０１６９】ここで、座標（ｘ，ｙ）に位置する画素に
隣接する画素（に対応する背景メモリ１５（図２）のア
ドレス）のうち、全体背景としての画素値が書き込まれ
ているものを、以下、適宜、既書き込み隣接画素とい
う。

【０１７０】ステップＳ１５０では、既書き込み隣接画
素の画素値と連続性のある画素値のレベルが、座標
（ｘ，ｙ）に対する第１乃至第Ｍ度数レベルのうちのい
ずれかとして、度数テーブルに登録されているかどうか
が判定される。ここで、連続性のある画素値とは、値が
近い画素値（同一の画素値を含む）どうしを意味する。

【０１７１】ステップＳ１５０において、既書き込み隣
接画素の画素値と連続性のある画素値のレベルが、座標
（ｘ，ｙ）に対する第１乃至第Ｍ度数レベルのうちのい
ずれかとして、度数テーブルに登録されていると判定さ
れた場合、即ち、背景の位置合わせを行った状態の第１
フレーム乃至第Ｎフレームを構成する、座標（ｘ，ｙ）
に位置する画素の中に、既書き込み隣接画素の画素値と
連続する画素値を有するものが、ある程度の割合以上存
在する場合、ステップＳ１５１に進み、その、ある程度
の割合以上存在する、既書き込み隣接画素の画素値と連
続する画素値に基づいて、座標（ｘ，ｙ）に位置する画
素の、全体背景としての画素値が算出され、背景メモリ
１５（図２）の対応するアドレスに書き込まれる。

【０１７２】即ち、既書き込み隣接画素の画素値と連続
性のある画素値のレベルが、座標（ｘ，ｙ）に対する第
１乃至第Ｍ度数レベルのうちの第ｍ度数レベルとして、
度数テーブルに登録されていたとすると、ステップＳ１
５１では、背景の位置合わせを行った状態の第１フレー
ム乃至第Ｎフレームを構成する、座標（ｘ，ｙ）に位置
する画素のうちの、第ｍ度数レベルに属する画素値の、
例えば平均値が算出され、その平均値が、座標（ｘ，
ｙ）に位置する画素の、全体背景としての画素値とし
て、背景メモリ１５（図２）の対応するアドレスに書き
込まれる。

【０１７３】ここで、上述したように、背景画素抽出処
理では、背景の位置合わせを行った状態の第１フレーム
乃至第Ｎフレームを構成する画素のうち、座標（ｘ，
ｙ）に位置する最も度数の多い画素値の、その度数の割
合が高い場合に、その度数の最も多い画素値が、座標
（ｘ，ｙ）における全体背景の画素値として確からしい
ものとして、背景メモリ１５に書き込まれるが、この背
景画素抽出処理によれば、例えば、ある風景を背景と
し、かつ、ある物体が前景として移動していくような、
Ｎフレームでなる一連の画像を考えた場合に、前景によ
って隠されずに、Ｎフレームのほとんどに亘って背景が
表示されている画素については、そのほとんどのフレー
ムに亘って表示されている画素値の度数の割合が高くな
ることから、その画素値が、背景の画素値として書き込
まれる。

【０１７４】しかしながら、前景が移動することによ
り、前景が表示されたり、背景が表示されたりする画素
（以下、適宜、中間画素という）は、前景を構成する画
素値となったり、背景を構成する画素値となったりする
ことから、中間画素については、度数の割合が高くなる
画素値が存在しないため、背景画素抽出処理では、画素
値の書き込みが行われない。

【０１７５】全体背景を得るためには、中間画素につい
ては、そこに背景が表示されているフレームの画素値を
書き込めば良いが、中間画素に背景が表示されているフ
レームを特定するのは困難である。そこで、背景拡張処
理では、中間画素に隣接する画素の中に、既に、全体背
景としての画素値が書き込まれているものがあり、か
つ、その画素値と近い画素値が、中間画素の画素値とし
て表示されたことがあれば、その表示されたことのある
画素値が、中間画素に背景が表示されたときの画素値と
して確からしいとして、背景メモリ１５（図２）に書き
込まれる。

【０１７６】従って、背景拡張処理によれば、極端に
は、ある１フレームにおいてだけ、背景が表示された画
素（中間画素）についても、その１フレームにおいて表
示された背景の画素値を書き込むことが可能となる。

【０１７７】一方、ステップＳ１５０において、既書き
込み隣接画素の画素値と連続性のある画素値のレベル
が、座標（ｘ，ｙ）に対する第１乃至第Ｍ度数レベルの
うちのいずれかとして、度数テーブルに登録されていな
いと判定された場合、即ち、背景の位置合わせを行った
状態の第１フレーム乃至第Ｎフレームを構成する、座標
（ｘ，ｙ）に位置する画素の中に、既書き込み隣接画素
の画素値と連続する画素値を有するものが存在しない場
合、ステップＳ１５２に進み、既書き込み隣接画素の画
素値に基づいて、座標（ｘ，ｙ）に位置する画素の、全
体背景としての画素値が算出され、背景メモリ１５（図
２）の対応するアドレスに書き込まれる。

【０１７８】即ち、中間画素に隣接する画素の中に、既
に、全体背景としての画素値が書き込まれているもの
（既書き込み隣接画素）があるが、その画素値と近い画
素値が、中間画素の画素値として表示されたことがない
場合には、ステップＳ１５２において、例えば、既書き
込み隣接画素の画素値（既書き込み隣接画素が複数存在
する場合には、例えば、その平均値）が、座標（ｘ，
ｙ）に位置する画素の、全体背景としての画素値とし
て、背景メモリ１５（図２）に書き込まれる。

【０１７９】ステップＳ１５１およびＳ１５２の処理後
は、いずれも、ステップＳ１５３に進み、ステップＳ１
５１またはＳ１５２で全体背景としての画素値が書き込
まれた画素の背景フラグ、即ち、背景フラグメモリ３６
の、座標（ｘ，ｙ）に対応するアドレスの背景フラグが
１にされ（たてられ）、ステップＳ１４６に戻り、以
下、同様の処理が繰り返される。

【０１８０】一方、ステップＳ１４３において、変数ｙ
がＹ_max以下でないと判定された場合、ステップＳ１４
４に進み、前景フラグメモリ３６に記憶された、存在範
囲内の各座標に対する背景フラグがすべて１であるかど
うかが判定される。ステップＳ１４３において、存在範
囲内の各座標に対応する背景フラグの中に、１でないも
のがあると判定された場合、即ち、存在範囲内の座標に
位置する画素の中に、まだ、全体背景としての画素値が
書き込まれていないものがある場合、ステップＳ１４１
に戻り、以下、同様の処理が繰り返される。

【０１８１】また、ステップＳ１４４において、存在範
囲内の各座標に対応する背景フラグの中に、１でないも
のがないと判定された場合、即ち、存在範囲内の座標に
位置する画素すべてに、全体背景としての画素値が書き
込まれた場合、リターンする。

【０１８２】図２２で説明した処理によれば、図２３に
示すように、既に、全体背景としての画素値が書き込ま
れた画素（同図において、●印で示す）に隣接する、ま
だ画素値が書き込まれていない画素Ｐ（ｘ，ｙ）（同図
において、斜線を付した○印で示す）が存在する場合に
は、その画素Ｐ（ｘ，ｙ）に隣接する既書き込み隣接画
素（同図においては、画素Ｐ（ｘ−１，ｙ），Ｐ（ｘ−
１，ｙ−１），Ｐ（ｘ，ｙ−１），Ｐ（ｘ＋１，ｙ＋
１））の画素値や、その画素値と連続性を有する画素値
等が、画素Ｐ（ｘ，ｙ）の全体背景としての画素値とし
て書き込まれ、これにより、全体背景が拡張されてい
く。このことから、図２２の処理を、背景拡張処理と呼
んでいる。

【０１８３】次に、図２４は、図２の前景符号化部１６
の構成例を示している。

【０１８４】前景抽出部４１には、蓄積部１１（図２）
に記憶された一連の画像としての第１フレーム乃至第Ｎ
フレーム、背景メモリ１５（図２）に記憶された全体背
景、およびカメラ動きベクトル記憶部１３（図２）に記
憶されたカメラ動きベクトルが供給されるようになって
おり、前景抽出部４１は、第１フレーム乃至第Ｎフレー
ムそれぞれから前景を抽出するようになっている。即
ち、前景抽出部４１は、全体背景の、基準座標系におい
てカメラ動きベクトルｖ_nだけずれた位置に、第ｎフレ
ームの左上の点が位置するように、第ｎフレームを配置
することで、全体背景と第ｎフレームとの位置合わせを
行い、第ｎフレームの各画素から、同一位置にある全体
背景の画素を減算することで、第ｎフレームから前景を
抽出する。

【０１８５】前景記憶部４２は、前景抽出部４１が抽出
した第１乃至第Ｎフレームの前景を記憶するようになっ
ている。

【０１８６】前景蓄積画像構成部４３には、カメラ動き
ベクトル記憶部１３（図２）に記憶されたカメラ動きベ
クトルが供給されるようになっており、前景蓄積画像構
成部４３は、そのカメラ動きベクトルに基づき、前景記
憶部４２に記憶された第１フレーム乃至第Ｎフレームの
前景を用いて、前方蓄積画像および後方蓄積画像を構成
するようになっている。即ち、前景蓄積画像構成部４３
は、図２５に示すように、カメラ動きベクトルに基づい
て、背景の位置合わせを行った状態の第１フレーム乃至
第Ｎフレームの前景を想定し、その第１フレーム乃至第
Ｎフレームの前景を、時間の進行方向に向かって見た場
合に得られる後方蓄積画像（過去から眺めた前景により
構成される画像）と、時間の進行方向と逆方向に向かっ
てみた場合に得られる前方蓄積画像（未来から眺めた前
景により構成される画像）とを構成する。

【０１８７】なお、前方蓄積画像は、背景の位置合わせ
を行った状態の第１フレーム乃至第Ｎフレームの前景の
画素値を、第１フレームから第Ｎフレームの順番で、メ
モリ等に上書きしていくことで得ることができる。同様
に、後方蓄積画像は、背景の位置合わせを行った状態の
第１フレーム乃至第Ｎフレームの前景の画素値を、第Ｎ
フレームから第１フレームの順番で、メモリ等に上書き
していくことで得ることができる。

【０１８８】前景蓄積画像記憶部４４は、前景蓄積画像
構成部４３において構成された前方蓄積画像および後方
蓄積画像を記憶するようになっている。

【０１８９】学習部４５は、前景蓄積画像記憶部４４に
記憶された前方蓄積画像および後方蓄積画像、さらに
は、必要に応じて、誤差画像記憶部４９に記憶された、
後述する誤差画像を構成する画素から、第１フレーム乃
至第Ｎフレームそれぞれの前景を構成する画素を予測す
るための予測係数を求める学習処理を行うようになって
いる。

【０１９０】予測係数記憶部４６は、学習部４５におい
て学習が行われることにより求められる予測係数を記憶
するようになっている。

【０１９１】適応処理部４７は、前景蓄積画像記憶部４
４に記憶された前方蓄積画像および後方蓄積画像を構成
する画素、予測係数記憶部４６に記憶された予測係数、
さらには、必要に応じて、誤差画像記憶部４９に記憶さ
れた誤差画像を用いて、第１フレーム乃至第Ｎフレーム
それぞれの前景を予測する適応処理を行うようになって
いる。

【０１９２】ここで、学習部４５において行われる学習
処理、および適応処理部４７において行われる適応処理
について説明する。

【０１９３】適応処理では、例えば、いま存在する画像
（ここでは、前方蓄積画像および後方蓄積画像や、誤差
画像）を構成する画素と、所定の予測係数との線形結合
により、所望の画像（ここでは、第１フレーム乃至第Ｎ
フレームそれぞれの前景）を構成する画素の予測値が求
められる。

【０１９４】一方、学習処理では、所望の画像（以下、
適宜、所望画像という）を教師データとするとともに、
その所望画像を求めようとするときに存在する画像（以
下、適宜、存在画像という）を生徒データとして、所望
画像を構成する画素（以下、適宜、所望画素という）の
画素値ｙの予測値Ｅ［ｙ］を、例えば、幾つかの存在画
素（存在画像を構成する画素）の画素値ｘ₁，ｘ₂，・・
・の集合と、所定の予測係数ｗ₁，ｗ₂，・・・の線形結
合により規定される線形１次結合モデルにより求めるた
めの予測係数が求められる。この場合、予測値Ｅ［ｙ］
は、次式で表すことができる。

【０１９５】 Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・・・・（１）

【０１９６】式（１）を一般化するために、予測係数ｗ
_jの集合でなる行列Ｗ、生徒データの集合でなる行列
Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、

【数１】 で定義すると、次のような観測方程式が成立する。

【０１９７】ＸＷ＝Ｙ’・・・（２） ここで、行列Ｘの成分ｘ_ijは、ｉ件目の生徒データの集
合（ｉ件目の教師データｙ_iの予測に用いる生徒データ
の集合）の中のｊ番目の生徒データを意味し、行列Ｗの
成分ｗ_jは、生徒データの集合の中のｊ番目の生徒デー
タとの積が演算される予測係数を表す。また、ｙ_iは、
ｉ件目の教師データを表し、従って、Ｅ［ｙ_i］は、ｉ
件目の教師データの予測値を表す。なお、式（１）の左
辺におけるｙは、行列Ｙの成分ｙ_iのサフィックスｉを
省略したものであり、また、式（１）の右辺におけるｘ
₁，ｘ₂，・・・も、行列Ｘの成分ｘ_ijのサフィックスｉ
を省略したものである。

【０１９８】そして、この観測方程式に最小自乗法を適
用して、所望画素の画素値ｙに近い予測値Ｅ［ｙ］を求
めることを考える。この場合、教師データとなる所望画
素の真の画素値ｙの集合でなる行列Ｙ、および所望画素
の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でな
る行列Ｅを、

【数２】 で定義すると、式（２）から、次のような残差方程式が
成立する。

【０１９９】ＸＷ＝Ｙ＋Ｅ・・・（３）

【０２００】この場合、所望画素の画素値ｙに近い予測
値Ｅ［ｙ］を求めるための予測係数ｗ_jは、自乗誤差

【数３】 を最小にすることで求めることができる。

【０２０１】従って、上述の自乗誤差を予測係数ｗ_jで
微分したものが０になる場合、即ち、次式を満たす予測
係数ｗ_jが、所望画素の画素値ｙに近い予測値Ｅ［ｙ］
を求めるため最適値ということになる。

【０２０２】

【数４】 ・・・（４）

【０２０３】そこで、まず、式（３）を、予測係数ｗ_j
で微分することにより、次式が成立する。

【０２０４】

【数５】 ・・・（５）

【０２０５】式（４）および（５）より、式（６）が得
られる。

【０２０６】

【数６】 ・・・（６）

【０２０７】さらに、式（３）の残差方程式における生
徒データｘ_ij、予測係数ｗ_j、教師データｙ_i、および残
差ｅ_iの関係を考慮すると、式（６）から、次のような
正規方程式を得ることができる。

【０２０８】

【数７】 ・・・（７）

【０２０９】式（７）の正規方程式を構成する各式は、
生徒データｘ_ijおよび教師データｙ _iのセットを、ある
程度の数だけ用意することで、求めるべき予測係数ｗ_j
の数Ｊと同じ数だけたてることができ、従って、式
（７）を解くことで（但し、式（７）を解くには、式
（７）において、予測係数ｗ_jにかかる係数で構成され
る行列が正則である必要がある）、最適な予測係数ｗ_j
を求めることができる。なお、式（７）を解くにあたっ
ては、例えば、掃き出し法（Gauss-Jordanの消去法）な
どを用いることが可能である。

【０２１０】以上のようにして、最適な予測係数ｗ_jを
求めるのが学習処理であり、また、その予測係数ｗ_jを
用い、式（１）により、所望画素の画素値ｙに近い予測
値Ｅ［ｙ］を求めるのが適応処理である。

【０２１１】即ち、学習部４５または適応処理部４７で
は、前景蓄積画像記憶部４４に記憶された前方蓄積画像
および後方蓄積画像、さらには、必要に応じて、誤差画
像記憶部４９に記憶された誤差画像を、存在画像とする
とともに、第１フレーム乃至第Ｎフレームそれぞれの前
景を、所望画像として、学習処理または適応処理がそれ
ぞれ行われる。

【０２１２】なお、適応処理は、存在画像には含まれて
いないが、所望画像に含まれる成分が再現される点で、
例えば、単なる補間処理とは異なる。即ち、適応処理で
は、式（１）だけを見る限りは、いわゆる補間フィルタ
を用いての補間処理と同一であるが、その補間フィルタ
のタップ係数に相当する予測係数ｗが、教師データｙを
用いての、いわば学習により求められるため、所望画像
に含まれる成分を再現することができる。このことか
ら、適応処理は、いわば画像の創造（解像度想像）作用
がある処理ということができる。

【０２１３】誤差計算部４８は、前景記憶部４２から第
１フレーム乃至第Ｎフレームそれぞれの前景を読み出
し、適応処理部４７で求められた、第１フレーム乃至第
Ｎフレームそれぞれの前景の予測値の予測誤差を計算す
るようになっている。即ち、誤差計算部４８は、例え
ば、第ｎフレームの前景を構成する画素の予測値から、
その画素の画素値の真値を減算することにより、画素ご
とに、予測誤差を求めるようになっている。

【０２１４】誤差画像記憶部４９は、誤差計算部４８で
求められた、第１フレーム乃至第Ｎフレームの前景の予
測誤差でなる画像（以下、適宜、誤差画像という）を記
憶するようになっている。

【０２１５】誤差判定部５０は、誤差画像記憶部４９に
記憶された誤差画像を構成する各画素の画素値としての
予測誤差の、例えば、絶対値和を演算し、その絶対値和
が所定の閾値以下（未満）になっているかどうかを判定
するようになっている。

【０２１６】ＭＵＸ（マルチプレクサ）５１は、誤差判
定部５０による判定結果に基づいて、前景蓄積画像記憶
部４４に記憶された前方蓄積画像および後方蓄積画像、
予測係数記憶部４６に記憶された予測係数、さらには、
必要に応じて、誤差画像記憶部４９に記憶された誤差画
像を多重化し、その結果得られる多重化データを、第１
フレーム乃至第Ｎフレームそれぞれの前景の符号化結果
として、マルチプレクサ１７（図２）に出力するように
なっている。

【０２１７】次に、図２６は、図２４の学習部４５の構
成例を示している。

【０２１８】予測タップ構成部６１には、前景蓄積画像
記憶部４４に記憶された前方蓄積画像および後方蓄積画
像（以下、適宜、両方含めて、前景蓄積画像という）、
さらには、必要に応じて、誤差画像記憶部４９に記憶さ
れた誤差画像が供給されるようになっている。そして、
予測タップ構成部６１は、背景の位置合わせを行った状
態での第１フレーム乃至第Ｎフレームそれぞれの前景を
構成する画素のうち、予測値を求めようとするものを、
注目画素として、基準座標系において、注目画素と空間
的に近い位置にある前方蓄積画像および後方蓄積画像の
画素や、誤差画像の画素を抽出し、注目画素の予測値を
適応処理により求めるのに用いる予測タップとして、正
規方程式構成部６２に出力する。

【０２１９】正規方程式構成部６２には、予測タップ構
成部６１から予測タップが供給される他、前景記憶部４
２に記憶された第１フレーム乃至第Ｎフレームそれぞれ
の前景を構成する画素が供給されるようになっている。
そして、正規方程式構成部６２は、注目画素となってい
る前景の画素（教師データ）と、予測タップ（生徒デー
タ）を対象とした足し込みを行う。

【０２２０】即ち、正規方程式構成部６２は、予測タッ
プを用い、式（７）の正規方程式の左辺における、予測
係数の乗数となっている、生徒データ（予測タップ）ど
うしの乗算（ｘ_ijｘ_{i ’ j ’}）と、サメーション（Σ）に
相当する演算を行う。

【０２２１】さらに、正規方程式構成部６２は、予測タ
ップおよび注目画素を用い、式（７）の正規方程式の右
辺における、生徒データ（予測タップ）と教師データ
（注目画素）の乗算（ｘ_ijｙ_j）と、サメーション
（Σ）に相当する演算を行う。

【０２２２】正規方程式構成部６２では、以上の処理
が、第１フレーム乃至第Ｎフレームそれぞれの前景を構
成する画素を、注目画素として行われ、これにより、式
（７）に示した正規方程式がたてられる。

【０２２３】そして、その後、予測係数算出部６３は、
正規方程式構成部６２において生成された正規方程式を
解くことにより、予測係数を求め、予測係数記憶部４６
（図２４）に供給して記憶させる。

【０２２４】ここで、本実施の形態では、図２４の適応
処理部４７において、背景の位置合わせを行った状態で
の第１フレーム乃至第Ｎフレームのうち、第ｎフレーム
の、基準座標系の存在範囲内における位置（ｘ，ｙ）に
ある画素の画素値Ａ_n（ｘ，ｙ）の予測値Ｅ［Ａ_n（ｘ，
ｙ）］が、例えば、次式にしたがって求められるように
なっている。

【０２２５】 Ｅ［Ａ_n（ｘ，ｙ）］＝ｇ（Ｆ，Ｂ，Ｅ，ｎ） ・・・（８） ここで、式（８）において、Ｆ，Ｂ，Ｅは、それぞれ前
方蓄積画像、後方蓄積画像、誤差画像を表し、関数ｇ
（Ｆ，Ｂ，Ｅ，ｎ）は、例えば、式（１）の線形一次式
に相当する次式で定義される。

【０２２６】 ｇ（Ｆ，Ｂ，Ｅ，ｎ）＝ｗ_F1×ｆ₁＋ｗ_F2×ｆ₂＋・・・ ＋ｗ_B1×ｂ₁＋ｗ_B2×ｂ₂＋・・・ ＋ｗ_E1×ｅ₁＋ｗ_E2×ｅ₂＋・・・ ＋ｗ×ｎ ・・・（９） ここで、式（９）において、ｗ_F1，ｗ_F2，・・・，
ｗ_B1，ｗ_B2，・・・，ｗ_E1，ｗ_E2，・・・，ｗは、予測
係数を表す。また、ｆ₁，ｆ₂，・・・は、前方蓄積画像
Ｆを構成する画素のうち、注目画素についての予測タッ
プを構成する画素を、ｂ₁，ｂ₂，・・・は、後方蓄積画
像Ｂを構成する画素のうち、注目画素についての予測タ
ップを構成する画素を、ｅ₁，ｅ₂，・・・は、誤差画像
Ｅを構成する画素のうち、注目画素についての予測タッ
プを構成する画素を、それぞれ表す。

【０２２７】関数ｇ（Ｆ，Ｂ，Ｅ，ｎ）が、式（９）に
よって定義される場合、図２６の正規方程式構成部６２
では、式（９）における予測係数ｗ_F1，ｗ_F2，・・・，
ｗ_B1，ｗ_B2，・・・，ｗ_E1，ｗ_E2，・・・，ｗを求める
ための正規方程式がたてられ、予測係数算出部６３で
は、その正規方程式を解くことで、予測係数ｗ_F1，
ｗ_F2，・・・，ｗ_B1，ｗ_B2，・・・，ｗ_E1，ｗ_E2，・・
・，ｗが求められる。従って、この場合、第１フレーム
乃至第Ｎフレームすべての前景について、１セットの予
測係数ｗ_F1，ｗ_F2，・・・，ｗ_B1，ｗ_B2，・・・，
ｗ_E1，ｗ_E2，・・・，ｗが求められる。

【０２２８】次に、図２７は、図２４の適応処理部４７
の構成例を示している。

【０２２９】予測タップ構成部７１には、前景蓄積画像
記憶部４４に記憶された前景蓄積画像、さらには、必要
に応じて、誤差画像記憶部４９に記憶された誤差画像が
供給されるようになっている。そして、予測タップ構成
部７１は、図２６の予測タップ構成部６１における場合
と同様に、背景の位置合わせを行った状態での第１フレ
ーム乃至第Ｎフレームそれぞれの前景を構成する画素の
うち、予測値を求めようとするものを、注目画素とし
て、基準座標系において、注目画素と空間的に近い位置
にある前方蓄積画像および後方蓄積画像の画素や、誤差
画像の画素を抽出し、予測タップとして、予測演算部７
２に出力する。

【０２３０】予測演算部７２には、予測タップ構成部７
１から予測タップが供給される他、予測係数記憶部４６
（図２４）に記憶された予測係数が供給されるようにな
っている。そして、予測演算部７２では、注目画素とな
っている前景の画素の予測値が、予測タップおよび予測
係数を用い、式（８）および（９）で定義される線形一
次式を演算することで求められ、誤差計算部４８に出力
される。

【０２３１】次に、図２８のフローチャートを参照し
て、図２４の前景符号化部１６において行われる、第１
フレーム乃至第Ｎフレームそれぞれの前景を符号化する
前景符号化処理について説明する。

【０２３２】まず最初に、ステップＳ１６１において、
前景抽出部４１は、カメラ動きベクトル記憶部１３（図
２）に記憶されたカメラ動きベクトル、および背景メモ
リ１５（図２）に記憶された全体背景を用いて、蓄積部
１１（図２）に記憶された第１フレーム乃至第Ｎフレー
ムの画像それぞれから、上述したようにして前景を抽出
し、前景記憶部４２に供給して記憶させる。

【０２３３】そして、ステップＳ１６２に進み、前景蓄
積画像構成部４３は、前景記憶部４２に記憶された第１
フレーム乃至第Ｎフレームそれぞれの前景から、図２５
で説明したような前方蓄積画像および後方蓄積画像を構
成し、前景蓄積画像記憶部４４に供給して記憶させ、ス
テップ１６３に進む。

【０２３４】ステップＳ１６３では、学習部４５におい
て、前景蓄積画像記憶部４４に記憶された前方蓄積画像
および後方蓄積画像、さらには、必要に応じて、誤差画
像記憶部４９に記憶された誤差画像を構成する画素を用
いて学習が行われ、これにより、第１フレーム乃至第Ｎ
フレームそれぞれの前景を構成する画素を予測するため
の予測係数が求められる。

【０２３５】ここで、ステップＳ１６３で最初に学習処
理が行われる場合においては、誤差画像記憶部４９に
は、まだ、誤差画像が記憶されていないため、誤差画像
は用いずに（用いることができない）、学習が行われ
る。

【０２３６】ステップＳ１６３における学習の結果得ら
れた予測係数は、学習部４５から予測係数記憶部４６に
供給され、上書きする形で記憶される。予測係数記憶部
４６に予測係数が記憶されると、ステップＳ１６４にお
いて、適応処理部４７は、前景蓄積画像記憶部４４に記
憶された前方蓄積画像および後方蓄積画像を構成する画
素、予測係数記憶部４６に記憶された予測係数、さらに
は、必要に応じて、誤差画像記憶部４９に記憶された誤
差画像を用いて、式（８）および（９）の線形一次式を
計算することにより、第１フレーム乃至第Ｎフレームそ
れぞれの前景を構成する各画素の予測値を求める適応処
理を行う。

【０２３７】ここで、ステップＳ１６４で最初に適応処
理が行われる場合においても、誤差画像記憶部４９に
は、まだ、誤差画像が記憶されていないため、誤差画像
は用いずに（用いることができない）、適応処理が行わ
れる。

【０２３８】ステップＳ１６４における適応処理の結果
得られた第１フレーム乃至第Ｎフレームそれぞれの前景
を構成する各画素の予測値は、誤差計算部４８に供給さ
れ、誤差計算部４８では、ステップＳ１６５において、
前景記憶部４２に記憶された第１フレーム乃至第Ｎフレ
ームそれぞれの前景を参照することで、その前景を構成
する各画素の予測値の予測誤差が求められる。

【０２３９】そして、ステップＳ１６６に進み、誤差計
算部４８は、基準座標系の存在範囲内における各位置に
ついて、その位置における予測誤差の絶対値が最大にな
っている画素を、第１フレーム乃至第Ｎフレームそれぞ
れの前景を構成する画素から抽出し、その抽出された画
素の予測誤差でなる画像を誤差画像として、誤差画像記
憶部４９に供給する。誤差画像記憶部４９では、誤差計
算部４８からの誤差画像が記憶される。

【０２４０】その後、ステップＳ１６７に進み、誤差判
定部５０において、誤差画像記憶部４９に記憶された誤
差画像を構成する各画素の画素値（予測誤差）の絶対値
の総和が求められ、その総和が、所定の閾値以下（未
満）であるかどうかが判定される。

【０２４１】ステップＳ１６７において、誤差画像を構
成する各画素の画素値（予測誤差）の絶対値の総和が、
所定の閾値以下でないと判定された場合、即ち、予測係
数と、前方蓄積画像および後方蓄積画像（さらには、必
要に応じて、誤差画像）とから得られる前景の予測値の
精度が高くない場合、ステップＳ１６３に戻り、以下、
同様の処理が繰り返される。

【０２４２】なお、この場合、誤差画像記憶部４９に
は、誤差画像が記憶されているので、次回のステップＳ
１６３またはＳ１６４では、図２９に示すように、前方
蓄積画像および後方蓄積画像の他、誤差画像も用いて予
測タップが構成され、学習処理または適応処理がそれぞ
れ行われる。

【０２４３】一方、ステップＳ１６７において、誤差画
像を構成する各画素の画素値（予測誤差）の絶対値の総
和が、所定の閾値以下であると判定された場合、即ち、
予測係数と、前方蓄積画像および後方蓄積画像（さらに
は、必要に応じて、誤差画像）とから得られる前景の予
測値の精度が高い場合、ステップＳ１６８に進み、誤差
判定部５０は、ＭＵＸ５１を制御し、前景蓄積画像記憶
部４４に記憶された前方蓄積画像および後方蓄積画像、
予測係数記憶部４６に記憶された予測係数、さらには、
誤差画像記憶部４９に誤差画像が記憶されている場合に
は、その誤差画像を読み出して多重化させる。そして、
ＭＵＸ５１は、その多重化の結果得られた多重化データ
を、第１フレーム乃至第Ｎフレームそれぞれの前景の符
号化結果として、マルチプレクサ１７（図２）に出力
し、前景符号化処理を終了する。

【０２４４】なお、誤差画像記憶部４９には、ステップ
Ｓ１６６の処理が行われるごとに得られる新たな誤差画
像を、既に記憶されている誤差画像に上書きする形で記
憶させるようにしても良いし、既に記憶されている誤差
画像をそのまま残して記憶させるようにしても良い。

【０２４５】新たな誤差画像を、誤差画像記憶部４９に
既に記憶されている誤差画像に上書きする形で記憶させ
る場合には、誤差画像は、予測係数の学習が繰り返し行
われても、常に、１枚であるため、前景の予測値の精度
の向上にある程度の限界があるが、多重化データのデー
タ量を少なくすることができる。

【０２４６】一方、新たな誤差画像を、誤差画像記憶部
４９に既に記憶されている誤差画像をそのまま残して記
憶させる場合には、誤差画像が複数枚になるため、多重
化データのデータ量が多少増加するが、図３０に示すよ
うに、前方蓄積画像および後方蓄積画像、並びに２枚以
上の誤差画像を用いて予測タップが構成され、学習処理
または適応処理がそれぞれ行われるため、前景の予測値
の精度をより向上させることができる。なお、図３０
は、誤差画像が２枚ある場合を示している。

【０２４７】また、上述の場合においては、学習処理に
より求めた予測係数を用いて適応処理を行うことにより
予測値を求め、その予測誤差が大きい場合には、誤差画
像も用いて学習処理を再度行い、予測誤差を小さくする
予測係数を求めるようにしたが、予測誤差の大小にかか
わらず、学習部４５による最初の学習処理の結果得られ
た予測係数を、前景蓄積画像記憶部４４に記憶された前
方蓄積画像および後方蓄積画像とともに、前景の符号化
結果として出力するようにすることも可能である。この
場合、前景符号化部１６は、適応処理部４７、誤差計算
部４８、誤差画像記憶部４９、および誤差判定部５０は
設けずに構成することが可能となる。

【０２４８】さらに、上述の場合には、前景の予測値を
求める関数ｇ（Ｆ，Ｂ，Ｅ，ｎ）を、式（９）によって
定義し、これにより、第１フレーム乃至第Ｎフレームす
べての前景の予測値を求めるのに共通に用いる１セット
の予測係数を求めるようにしたが、予測係数は、その
他、例えば、１フレームごとや、複数フレームごとに求
めることも可能である。

【０２４９】即ち、１フレームごとに予測係数を求める
場合には、関数ｇ（Ｆ，Ｂ，Ｅ，ｎ）を、例えば、式
（１０）に示すように定義し、各フレームごとに正規方
程式をたてて解くことにより、予測係数を求めるように
すれば良い。

【０２５０】 ｇ（Ｆ，Ｂ，Ｅ，ｎ）＝ｗ_{F1 n}×ｆ₁＋ｗ_F2n×ｆ₂＋・・・ ＋ｗ_B1n×ｂ₁＋ｗ_B2n×ｂ₂＋・・・ ＋ｗ_E1n×ｅ₁＋ｗ_E2n×ｅ₂＋・・・ ・・・（１０） ここで、式（１０）において、ｗ_F1n，ｗ_F2n，・・・，
ｗ_B1n，ｗ_B2n，・・・，ｗ_E1n，ｗ_E2n，・・・は、第ｎ
フレームの前景の予測値を求めるのに用いる予測係数を
表す。

【０２５１】また、ここでは、線形一次予測によって、
前景の予測値を求めるようにしたが、前景の予測値は、
その他、２次以上の高次の予測式によって求めるように
することも可能である。

【０２５２】さらに、ここでは、第１フレーム乃至第Ｎ
フレームそれぞれの前景から構成された前方蓄積画像お
よび後方蓄積画像を用いて、第１フレーム乃至第Ｎフレ
ームそれぞれの前景の予測値を求めるための予測係数の
学習を行うようにしたが、予測係数の学習は、前方蓄積
画像および後方蓄積画像以外の画像を用いて行うように
することも可能である。即ち、予測係数の学習は、例え
ば、雑音でなる１枚以上の画像を用いて、前景の予測値
の予測誤差を小さくするように、その雑音でなる画像の
画素値を操作して行うようにすること等が可能である。

【０２５３】次に、図３１は、図１のデコーダ２の構成
例を示している。

【０２５４】伝送媒体３（図１）を介して伝送されてく
る符号化データ、あるいは記録媒体４（図１）から再生
された符号化データは、ＤＭＵＸ（デマルチプレクサ）
８１に供給されるようになっており、ＤＭＵＸ８１は、
そこに供給される符号化データを、前方蓄積画像、後方
蓄積画像、予測係数、全体背景、カメラ動きベクトルに
分離するようになっている。なお、符号化データに、誤
差画像が含まれる場合には、ＤＭＵＸ８１は、その誤差
画像も、符号化データから分離するようになっている。

【０２５５】前方蓄積画像および後方蓄積画像、さらに
は、符号化データに誤差画像が含まれる場合にはその誤
差画像は、ＤＭＵＸ８１から画像記憶部８６に供給され
るようになっている。また、予測係数、全体背景、また
はカメラ動きベクトルは、ＤＭＵＸ８１から、予測係数
記憶部８２、背景メモリ８７、カメラ動きベクトル記憶
部８８にそれぞれ供給されるようになっている。

【０２５６】予測係数記憶部８２は、ＤＭＵＸ８１から
の予測係数を記憶するようになっている。適応処理部８
３は、予測係数記憶部８２に記憶された予測係数、並び
に画像記憶部８６に記憶された前方蓄積画像および後方
蓄積画像、さらには必要に応じて誤差画像を用い、図２
４の適応処理部４７における場合と同様の適応処理を行
うことで、第１フレーム乃至第Ｎフレームそれぞれの前
景の予測値を求めるようになっている。

【０２５７】前景記憶部８４は、適応処理部８３によっ
て求められる、第１フレーム乃至第Ｎフレームそれぞれ
の前景の予測値を、第１フレーム乃至第Ｎフレームそれ
ぞれの前景の復号結果として記憶するようになってい
る。

【０２５８】合成部８５は、背景メモリ８７に記憶され
た全体背景から、カメラ動きベクトル記憶部８８に記憶
された第ｎフレームのカメラ動きベクトルｖ_nに基づい
て、第ｎフレームの背景を切り出し（抽出し）、その第
ｎフレームの背景と、前景記憶部８４に記憶された第ｎ
フレームの前景の復号結果とを合成することで、第ｎフ
レームの画像を復号して出力するようになっている。

【０２５９】画像記憶部８６は、ＤＭＵＸ８１から供給
される前方蓄積画像および後方蓄積画像、並びに誤差画
像を記憶するようになっている。背景メモリ８７は、Ｄ
ＭＵＸ８１から供給される全体背景を記憶するようにな
っている。カメラ動きベクトル記憶部８８は、ＤＭＵＸ
８１から供給される第１フレーム乃至第Ｎフレームそれ
ぞれのカメラ動きベクトルを記憶するようになってい
る。

【０２６０】次に、図３２のフローチャートを参照し
て、図３１のデコーダ２において行われる、一連の画像
としての第１フレーム乃至第Ｎフレームの画像を復号す
る復号処理について説明する。

【０２６１】まず最初に、ステップＳ１７１において、
ＤＭＵＸ８１は、そこに供給される符号化データを、前
方蓄積画像、後方蓄積画像、必要な誤差画像、予測係
数、全体背景、カメラ動きベクトルに分離する。前方蓄
積画像、後方蓄積画像、および必要な誤差画像は、画像
記憶部８６に供給されて記憶される。また、予測係数、
全体背景、またはカメラ動きベクトルは、予測係数記憶
部８２、背景メモリ８７、カメラ動きベクトル記憶部８
８にそれぞれ供給されて記憶される。

【０２６２】その後、ステップＳ１７２に進み、適応処
理部８３は、予測係数記憶部８２に記憶された予測係
数、並びに画像記憶部８６に記憶された前方蓄積画像、
後方蓄積画像、および必要な誤差画像を用い、図２４の
適応処理部４７における場合と同様の適応処理を行うこ
とで、第１フレーム乃至第Ｎフレームそれぞれの前景の
予測値を求める。この予測値は、前景記憶部８４に供給
され、第１フレーム乃至第Ｎフレームそれぞれの前景の
復号結果として記憶される。

【０２６３】そして、ステップＳ１７３に進み、合成部
８５において、背景メモリ８７に記憶された全体背景か
ら、カメラ動きベクトル記憶部８８に記憶された第ｎフ
レームのカメラ動きベクトルｖ_nに基づいて、第ｎフレ
ームの背景が切り出され、その第ｎフレームの背景と、
前景記憶部８４に記憶された第ｎフレームの前景の復号
結果とが合成される。合成部８５では、以上の処理が、
第１フレーム乃至第Ｎフレームすべてについて行われ、
復号処理を終了する。

【０２６４】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
専用のハードウェアとしてのエンコーダ１やデコーダ２
に組み込まれているコンピュータ、または各種のプログ
ラムをインストールすることで各種の処理を行う汎用の
コンピュータ等にインストールされる。

【０２６５】そこで、図３３を参照して、上述した一連
の処理を実行するプログラムをコンピュータにインスト
ールし、コンピュータによって実行可能な状態とするた
めに用いられる媒体について説明する。

【０２６６】プログラムは、図３３（Ａ）に示すよう
に、コンピュータ１０１に内蔵されている記録媒体とし
てのハードディスク１０２や半導体メモリ１０３に予め
インストールした状態でユーザに提供することができ
る。

【０２６７】あるいはまた、プログラムは、図３３
（Ｂ）に示すように、フロッピー（登録商標）ディスク
１１１、CD-ROM(Compact Disc Read Only Memory)１１
２，MO(Magneto optical)ディスク１１３，DVD(Digital
Versatile Disc)１１４、磁気ディスク１１５、半導体
メモリ１１６などの記録媒体に、一時的あるいは永続的
に格納し、パッケージソフトウエアとして提供すること
ができる。

【０２６８】さらに、プログラムは、図３３（Ｃ）に示
すように、ダウンロードサイト１２１から、ディジタル
衛星放送用の人工衛星１２２を介して、コンピュータ１
０１に無線で転送したり、LAN(Local Area Network)、
インターネットといったネットワーク１３１を介して、
コンピュータ１２３に有線で転送し、コンピュータ１０
１において、内蔵するハードディスク１０２などに格納
させるようにすることができる。

【０２６９】本明細書における媒体とは、これら全ての
媒体を含む広義の概念を意味するものである。

【０２７０】また、本明細書において、媒体により提供
されるプログラムを記述するステップは、必ずしもフロ
ーチャートとして記載された順序に沿って時系列に処理
する必要はなく、並列的あるいは個別に実行される処理
（例えば、並列処理あるいはオブジェクトによる処理）
も含むものである。

【０２７１】次に、図３４は、図３３のコンピュータ１
０１の構成例を示している。

【０２７２】コンピュータ１０１は、図３４に示すよう
に、CPU(Central Processing Unit)１４２を内蔵してい
る。CPU１４２には、バス１４１を介して、入出力イン
タフェース１４５が接続されており、CPU１４２は、入
出力インタフェース１４５を介して、ユーザによって、
キーボードやマウス等で構成される入力部１４７が操作
されることにより指令が入力されると、それにしたがっ
て、図３３（Ａ）の半導体メモリ１０３に対応するROM
(Read Only Memory)１４３に格納されているプログラム
を実行する。あるいは、また、CPU１４２は、ハードデ
ィスク１０２に格納されているプログラム、衛星１２２
若しくはネットワーク１３１から転送され、通信部１４
８で受信されてハードディスク１０２にインストールさ
れたプログラム、またはドライブ１４９に装着されたフ
ロッピディスク１１１、CD-ROM１１２、MOディスク１１
３、DVD１１４、若しくは磁気ディスク１１５から読み
出されてハードディスク１０２にインストールされたプ
ログラムを、RAM(Random Access Memory)１４４にロー
ドして実行する。そして、CPU１４２は、その処理結果
を、例えば、入出力インタフェース１４５を介して、LC
D(Liquid CryStal Display)等で構成される表示部１４
６に、必要に応じて出力する。

【０２７３】

【発明の効果】本発明の画像符号化装置および画像符号
化方法、並びに媒体によれば、一連の画像の各画面から
前景が抽出され、１枚以上の画像を構成する画素から、
各画面の前景を予測するための予測係数が求められる。
そして、予測係数と１枚以上の画像とが、各画面の前景
の符号化結果として出力される。従って、一連の画像に
おける前景を、効率良く符号化することが可能となる。

【０２７４】本発明の画像復号装置および画像復号方
法、並びに媒体によれば、符号化データから、１枚以上
の画像と、その１枚以上の画像を構成する画素から一連
の画像の各画面の前景を予測するための予測係数とが分
離され、その１枚以上の画像と予測係数とから、各画面
の前景の予測値が求められる。従って、一連の画像にお
ける前景を効率良く符号化したものを復号することが可
能となる。

【０２７５】本発明の画像処理装置によれば、一連の画
像の各画面から前景が抽出され、その１枚以上の画像を
構成する画素から、各画面の前景を予測するための予測
係数が求められる。そして、その予測係数と１枚以上の
画像とが、各画面の前景の符号化結果である符号化デー
タとして出力される。一方、符号化データから、１枚以
上の画像と予測係数とが分離され、１枚以上の画像と予
測係数とから、各画面の前景の予測値が求められる。従
って、一連の画像における前景を、効率良く符号化し、
かつその符号化結果を復号することが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像伝送装置の一実施の形態
の構成例を示す図である。

【図２】図１のエンコーダ１の構成例を示すブロック図
である。

【図３】図２の蓄積部１１に記憶される一連の画像を示
す図である。

【図４】図２のカメラ動き検出部１２の処理を説明する
ための図である。

【図５】図２のカメラ動き検出部１２の構成例を示すブ
ロック図である。

【図６】図５のカメラ動き検出部１２によるカメラ動き
ベクトルの求め方を説明するための図である。

【図７】図５のカメラ動き検出部１２の処理（カメラ動
き検出処理）を説明するためのフローチャートである。

【図８】図７のステップＳ３における処理（注目フレー
ムの重心算出処理）の詳細の第１の例を説明するための
フローチャートである。

【図９】レベルテーブルを示す図である。

【図１０】図７のステップＳ４における処理（動き検出
範囲の重心算出処理）の詳細を説明するためのフローチ
ャートである。

【図１１】図７のステップＳ３における処理の詳細の第
２の例を説明するためのフローチャートである。

【図１２】クラステーブルを示す図である。

【図１３】図７のステップＳ３における処理の詳細の第
３の例を説明するためのフローチャートである。

【図１４】エッジ画素を説明するための図である。

【図１５】図５の動きなし判定部２５の処理（動きなし
判定処理）の詳細を説明するためのフローチャートであ
る。

【図１６】図２の背景抽出部１４の構成例を示すブロッ
ク図である。

【図１７】図１６の存在範囲検出部３１の処理を説明す
るための図である。

【図１８】図１６の読み出し部３２の処理を説明するた
めの図である。

【図１９】度数テーブルを示す図である。

【図２０】図１６の背景抽出部１４の処理（背景抽出処
理）を説明するためのフローチャートである。

【図２１】図２０のステップＳ１２４の処理（背景画素
抽出処理）の詳細を説明するためのフローチャートであ
る。

【図２２】図２０のステップＳ１２５の処理（背景拡張
処理）の詳細を説明するためのフローチャートである。

【図２３】図２２の背景拡張処理を説明するための図で
ある。

【図２４】図２の前景符号化部１６の構成例を示すブロ
ック図である。

【図２５】図２４の前景蓄積画像構成部４３の処理を説
明するための図である。

【図２６】図２４の学習部４５の構成例を示すブロック
図である。

【図２７】図２４の適応処理部４７の構成例を示すブロ
ック図である。

【図２８】図２４の前景符号化部１６の処理（前景符号
化処理）の詳細を説明するためのフローチャートであ
る。

【図２９】予測タップが、誤差画像を用いて構成される
様子を示す図である。

【図３０】予測タップが、２枚の誤差画像を用いて構成
される様子を示す図である。

【図３１】図１のデコーダ２の構成例を示すブロック図
である。

【図３２】図３１のデコーダ２の処理（復号処理）を説
明するためのフローチャートである。

【図３３】本発明を適用した媒体を説明するための図で
ある。

【図３４】図３３のコンピュータ１０１の構成例を示す
ブロック図である。

【符号の説明】

１ エンコーダ， ２ デコーダ， ３ 伝送媒体，
４ 記録媒体， １１蓄積部， １２ カメラ動き検出
部， １３ カメラ動きベクトル記憶部，１４ 背景抽
出部， １５ 背景メモリ， １６ 前景符号化部，
１７ ＭＵＸ， ２１ 重心算出部， ２２ ベクトル
検出部， ２３ 書き込み制御部，２４ 蓄積画像メモ
リ， ２５ 動きなし判定部， ３１ 存在範囲検出
部，３２ 読み出し部， ３３ 度数カウント部， ３
４ 度数テーブル記憶部，３５ 書き込み部， ３６
背景フラグメモリ， ４１ 前景抽出部， ４２前景記
憶部， ４３ 前景蓄積画像構成部， ４４ 前景蓄積
画像記憶部，４５ 学習部， ４６ 予測係数記憶部，
４７ 適応処理部， ４８ 誤差計算部， ４９ 誤
差画像記憶部， ５０ 誤差判定部， ５１ ＭＵＸ，
６１予測タップ構成部， ６２ 正規方程式構成部，
６３ 予測係数算出部，７１ 予測タップ構成部，
７２ 予測演算部， ８１ ＤＭＵＸ， ８２ 予測係
数記憶部， ８３ 適応処理部， ８４ 前景記憶部，
８５ 合成部，８６ 画像記憶部， ８７ 背景メモ
リ， ８８ カメラ動きベクトル記憶部，１０１ コン
ピュータ， １０２ ハードディスク， １０３ 半導
体メモリ， １１１ フロッピーディスク， １１２
CD-ROM， １１３ MOディスク，１１４ DVD， １１
５ 磁気ディスク， １１６ 半導体メモリ， １２１
ダウンロードサイト， １２２ 衛星， １３１ ネッ
トワーク， １４１バス， １４２ CPU， １４３ R
OM， １４４ RAM， １４５ 入出力インタフェー
ス， １４６ 表示部， １４７ 入力部， １４８
通信部， １４９ ドライブ

Claims (17)

【特許請求の範囲】
1. 【請求項１】 一連の画像の中の前景を符号化する画像
   符号化装置であって、 前記一連の画像の各画面から前景を抽出する前景抽出手
   段と、 １枚以上の画像を構成する画素から、前記各画面の前景
   を予測するための予測係数を求める予測係数演算手段
   と、 前記予測係数と前記１枚以上の画像とを、前記各画面の
   前景の符号化結果として出力する出力手段とを含むこと
   を特徴とする画像符号化装置。
2. 【請求項２】 前記一連の画像の各画面の背景の位置合
   わせを行った状態で、その各画面の前景を、時間の進行
   方向に向かって見た場合に得られる後方蓄積画像と、時
   間の進行方向と逆方向に向かってみた場合に得られる前
   方蓄積画像とを構成する蓄積画像構成手段をさらに含
   み、 前記予測係数演算手段は、前記後方蓄積画像および前方
   蓄積画像を構成する画素から、前記各画面の前景を予測
   するための予測係数を求めることを特徴とする請求項１
   に記載の画像符号化装置。
3. 【請求項３】 前記予測係数演算手段は、１枚以上の画
   像を構成する画素から、前記各画面の前景を線形一次予
   測するための予測係数を求めることを特徴とする請求項
   １に記載の画像符号化装置。
4. 【請求項４】 前記予測係数演算手段は、前記一連の画
   像のすべての画面の前景について、１セットの予測係数
   を求めることを特徴とする請求項１に記載の画像符号化
   装置。
5. 【請求項５】 前記予測係数演算手段は、前記一連の画
   像の各画面の前景ごとに、１セットの予測係数を求める
   ことを特徴とする請求項１に記載の画像符号化装置。
6. 【請求項６】 前記１枚以上の画像と予測係数とから、
   前記各画面の前景の予測値を求める予測値演算手段と、 前記予測値の、前記前景に対する誤差を求める誤差演算
   手段と、 前記予測値の誤差で構成される誤差画像を生成する誤差
   画像生成手段とをさらに含み、 前記予測係数演算手段は、前記誤差画像を、前記１枚以
   上の画像に新たに加えて、その１枚以上の画像を構成す
   る画素から、前記各画面の前景を予測するための新たな
   予測係数を求めることを特徴とする請求項１に記載の画
   像符号化装置。
7. 【請求項７】 前記予測係数演算手段は、前記予測値の
   予測誤差が所定値以下になるまで、新たな予測係数を求
   めることを繰り返すことを特徴とする請求項６に記載の
   画像符号化装置。
8. 【請求項８】 一連の画像の中の前景を符号化する画像
   符号化方法であって、 前記一連の画像の各画面から前景を抽出する前景抽出ス
   テップと、 １枚以上の画像を構成する画素から、前記各画面の前景
   を予測するための予測係数を求める予測係数演算ステッ
   プと、 前記予測係数と前記１枚以上の画像とを、前記各画面の
   前景の符号化結果として出力する出力ステップとを含む
   ことを特徴とする画像符号化方法。
9. 【請求項９】 一連の画像の中の前景を符号化する画像
   符号化処理を行うためのプログラムを、コンピュータに
   実行させる媒体であって、 前記一連の画像の各画面から前景を抽出する前景抽出ス
   テップと、 １枚以上の画像を構成する画素から、前記各画面の前景
   を予測するための予測係数を求める予測係数演算ステッ
   プと、 前記予測係数と前記１枚以上の画像とを、前記各画面の
   前景の符号化結果として出力する出力ステップとを含む
   ことを特徴とするプログラムを、コンピュータに実行さ
   せる媒体。
10. 【請求項１０】 一連の画像を符号化した符号化データ
    を復号する画像復号装置であって、 前記符号化データから、１枚以上の画像と、その１枚以
    上の画像を構成する画素から前記一連の画像の各画面の
    前景を予測するための予測係数とを分離する分離手段
    と、 前記１枚以上の画像と予測係数とから、前記各画面の前
    景の予測値を求める予測値演算手段とを含むことを特徴
    とする画像復号装置。
11. 【請求項１１】 前記１枚以上の画像は、前記一連の画
    像の各画面の背景の位置合わせを行った状態で、その各
    画面の前景を、時間の進行方向に向かって見た場合に得
    られる後方蓄積画像と、時間の進行方向と逆方向に向か
    ってみた場合に得られる前方蓄積画像とを含むことを特
    徴とする請求項１０に記載の画像復号装置。
12. 【請求項１２】 前記１枚以上の画像は、前記各画面の
    前景の予測値の、前記前景に対する予測誤差でなる誤差
    画像をさらに含むことを特徴とする請求項１１に記載の
    画像復号装置。
13. 【請求項１３】 前記予測値演算手段は、前記各画面の
    前景を線形一次予測することを特徴とする請求項１０に
    記載の画像復号装置。
14. 【請求項１４】 前記抽出手段は、前記符号化データか
    ら、前記一連の画像の背景も分離し、 前記背景と、前記前景の予測値とを合成することで、前
    記一連の画像の各画面を復号する合成手段をさらに含む
    ことを特徴とする請求項１０に記載の画像復号装置。
15. 【請求項１５】 一連の画像を符号化した符号化データ
    を復号する画像復号方法であって、 前記符号化データから、１枚以上の画像と、その１枚以
    上の画像を構成する画素から前記一連の画像の各画面の
    前景を予測するための予測係数とを分離する分離ステッ
    プと、 前記１枚以上の画像と予測係数とから、前記各画面の前
    景の予測値を求める予測値演算ステップとを含むことを
    特徴とする画像復号方法。
16. 【請求項１６】 一連の画像を符号化した符号化データ
    を復号する画像復号処理を行うためのプログラムを、コ
    ンピュータに実行させる媒体であって、 前記符号化データから、１枚以上の画像と、その１枚以
    上の画像を構成する画素から前記一連の画像の各画面の
    前景を予測するための予測係数とを分離する分離ステッ
    プと、 前記１枚以上の画像と予測係数とから、前記各画面の前
    景の予測値を求める予測値演算ステップとを含むことを
    特徴とするプログラムを、前記コンピュータに実行させ
    る媒体。
17. 【請求項１７】 一連の画像の中の前景を符号化する画
    像符号化装置と、 前記画像符号化装置が出力する符号化データを復号する
    画像復号装置とを備える画像処理装置であって、 前記画像符号化装置は、 前記一連の画像の各画面から前景を抽出する前景抽出手
    段と、 １枚以上の画像を構成する画素から、前記各画面の前景
    を予測するための予測係数を求める予測係数演算手段
    と、 前記予測係数と前記１枚以上の画像とを、前記各画面の
    前景の符号化結果である前記符号化データとして出力す
    る出力手段とを含み、 前記画像復号装置は、 前記符号化データから、前記１枚以上の画像と予測係数
    とを分離する分離手段と、 前記１枚以上の画像と予測係数とから、前記各画面の前
    景の予測値を求める予測値演算手段とを含むことを特徴
    とする画像処理装置。