JP2586715B2 - 動画像信号の符号化方式 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、帯域圧縮技術を用いた動画像信号の符号化
方式に関する。

（従来の技術） 従来の帯域圧縮技術を用いた動画像信号の符号化方式
としては、たとえば1989年電予情報通信学会春季全国大
会、資料番号Ｄ−233に記載の「ISDN対応カラー動画像
テレビ電話装置」などが知られている。この動画像信号
の符号化方式では、画面における顔領域を抽出してマッ
プを作成する。そして、画像符号化部ではフレーム間フ
レーム内適応予測を行い、この時もし顔の領域であれば
最終段まで符号化をし、それ以外の領域であれば１つ前
の段階で符号化を止めることにより符号化量を減らして
いる。

（発明が解決しようとする課題） しかしながら上述した従来の動画像信号の符号化方式
では、顔以外の背景の部分も粗く符号化するから背景部
分の雑音により無駄な情報が発生してしまう。また、連
続する画面間で背景部分から顔部分に変化したとする
と、粗い符号化から細かい符号化に変るから、予測画素
信号がここでもかなり発生してしまい、無駄な情報を符
号化することになってしまう。その結果符号化効率が低
下してしまう。

（課題を解決するための手段） 本発明の動画像信号の符号化方式は、画面間の相関を
利用した動画像信号の符号化方式であって、入力する動
画像信号の１画面を複数画素からなるブロックに分割
し、ブロック毎に前画面との差分を検出し、該差分値が
予め定められた第１の閾値以上のときには有効ブロック
とし、前記差分値が予め定められた第１の閾値未満のと
きには無効ブロックとしてフレーム毎に第１の有効ブロ
ックマップを作成する手段と、該第１の有効ブロックマ
ップに対して第１の重みづけを行う手段と、前画面にお
ける第６の有効ブロックマップに対して第２の重みづけ
を行う手段と、前記第１の重みづけを行った第１の有効
ブロックマップと、前記第２の重みづけを行った第６の
有効ブロックマップとを加算合成して重みづけが成され
た第２の有効ブロックマップを得る手段と、該第２の有
効ブロックマップに対して、各ブロックの近傍のブロッ
クを参照し、近傍のブロックおよび対象ブロックの値の
合計値が予め定められた第２の閾値以上のときには当該
対象ブロックを有効ブロックとし、第２の閾値未満のと
きには当該対象ブロックを無効ブロックとするセグメン
テーションを行って第３の有効ブロックマップを得る手
段と、該第３の有効ブロックマップ内の無効ブロックに
ついて、近傍のブロックを参照し、近傍のブロックの値
の合計値が予め定められた第３の閾値以上のときには当
該無効ブロックを有効ブロックに置き替え、第３の閾値
未満のときには当該無効ブロックを無効ブロックのまま
として第４の有効ブロックマップを得る手段と、該４の
有効ブロックマップの有効ブロック数が予め定められた
第４の閾値以上の場合は前記第４の有効ブロックマップ
の有効ブロックを全て無効ブロックに置き換えて第５の
有効ブロックマップとし、前記第４の有効ブロックマッ
プの有効ブロック数が予め定められた第４の閾値未満の
場合は前記第４の有効ブロックマップをそのままで第５
の有効ブロックマップとする手段と、該第５の有効ブロ
ックマップを１フレーム時間遅延させて第６の有効ブロ
ックマップを得る手段と、前記動画像信号の入力時から
前記第４の有効ブロックマップの生成時までの時間の遅
延を前記動画像信号に与える手段と、遅延を与えられた
前記動画像信号について、前記第４の有効ブロックマッ
プで有効ブロックとされた領域を、画面間の相関、画面
内の相関またはその両方を用いて符号化を行う手段とを
有する。

（作用） テレビ電話などにおいては、背景部分は固定でおもに
話者が動くことから、話者の部分を切出して符号化を行
えば、背景などからの雑音によって発生する無駄な符号
化情報量を除去でき符号化能率を上げることができる。

本発明においては、話者の部分を切出して話者部分の
みを符号化することにより、符号化効率を高める。話者
の切出し方について図面を参照しながら詳細に説明す
る。第１図の時刻t0,t1,t2に示すように話者が動いたと
仮定する。そして、時刻t0および時刻t1の画面間での差
分を求めると第２図の斜線で示される領域が求められ、
背景部分の孤立した斜線部分は背景の雑音により発生し
た差分信号であるとする。次に、画面を水平方向ｎ画素
×垂直方向ｎ画素の複数の画素からなるブロックに分割
し、各ブロック内の差分信号の絶対値和が予め定められ
た第１の閾値以上のときには、そのブロックを有効ブロ
ックとし、差分信号の絶対値和が第１の閾値未満のとき
にはそのブロックを無効ブロックとする。以上の処理に
よって得られた時刻t1における有効ブロックマップを第
３図（Ｂ）に示す。第３図（Ｂ）の黒く塗られた部分が
有効ブロックである。第３図（Ａ）は、時刻t0と時刻t0
よりも１画面前の時刻t0−１との画面間で求められた第
６の有効ブロックマップであるとする。そして、現画面
の有効ブロックマップ（第３図（Ｂ））すなわち第１の
有効ブロックマップに第一の重みづけを行い、前画面の
有効ブロックマップ（第３図（Ａ））である第６の有効
ブロックマップに対しては、第２の重みづけを行う。以
下に重みづけの一例を示す。例えば、前フレームの有効
ブロックを１とし、無効ブロックを０とする。現フレー
ムの有効ブロックは２とし、現フレームの無効ブロック
は前フレームの無効ブロックと同様に０とする。この様
にして重みづけを行った前フレームの有効ブロックマッ
プと、現フレームの有効ブロックマップとを加算合成
し、第２の有効ブロックマップを得る。第２の有効ブロ
ックマップは、第３図（Ｃ）の様になる。次に第３図
（Ｃ）の加算合成された第２の有効ブロックマップに対
して、セグメンテーンションを行う。セグメンテーショ
ンの一例を第３図および第４図を参照しながら説明す
る。例えば、第４図のｋをセグメンテーションの対象ブ
ロックとすると、ブロックｋの近傍のブロックa,b,c,d,
e,f,g,hの値を参照する。すなわち第３図（Ｃ）の第２
の有効ブロックマップの値を参照する。近傍のブロック
a,b,c,d,e,f,g,hおよびブロックｋの値の合計値が予め
定められた第２の閾値以上のときには、対象ブロックｋ
を有効ブロックとし、近傍のブロックa,b,c,d,e,f,g,h
およびブロックｋの値の合計値が予め定められた第２の
閾値未満のときには、対象ブロックｋを無効ブロックと
する。

新たにセグメンテーションによって得られた第３の有
効ブロックマップを第３図（Ｄ）に示す。第３の有効ブ
ロックマップには場合によって、動き部分に孤立無効ブ
ロック領域が発生することがある。これは、第１の有効
ブロックマップを得る際、動き部分において画面間での
差分が第１の閾値よりも少し低かったブロックは、無効
ブロックとなるから、動き部分に孤立した無効ブロック
領域が発生する。孤立無効ブロック領域の一例を第５図
に示す。第５図の様に孤立無効ブロック領域を含む第３
の有効ブロックマップ内の有効ブロック領域のみ符号化
を実行させると、有効ブロック領域内の孤立した無効ブ
ロック領域は、符号化が行われないから無効ブロックの
部分と周囲の部分とで符号化画像の連続性がなくなり、
符号化歪が発生してしまう。その結果、非常に見苦しい
符号化画像となってしまうことがある。そこで、孤立無
効ブロック領域の除去を行う。孤立無効ブロック領域の
除去方法としては、セグメンテーションと同様な処理を
無効ブロックを対象に行う。すなわち無効ブロックの近
傍のブロックを参照し、近傍のブロックの合計値が予め
定められた第３の閾値以上のときに、その対象となる無
効ブロックを有効ブロックを示す値に置き替える。以上
の処理により第５図で孤立無効ブロックであった領域を
除去し、第４の有効ブロックマップを得る。第４の有効
ブロックマップを第３図（Ｄ）に示す。

次に時刻t2における処理について説明する。時刻t1と
時刻t2の画面間での差分を求め、前記第１の閾値にした
がって有効無効判定を行うと、第６図（Ａ）に示す第１
の有効ブロックマップが得られる。この第１の有効ブロ
ックマップに対して第１の重みづけを行う。そして前画
面である時刻t1の有効ブロックマップが第３図（Ｄ）で
あるから、第３図（Ｄ）の有効ブロックマップに対して
第２の重みづけを行って第１の重みづけを行った第１の
有効ブロックマップと加算合成すると、第６図（Ｂ）に
示す第２の有効ブロックマップが得られる。第６図
（Ｂ）の第２の有効ブロックマップに対して、第２の閾
値を用いて前記セグメンテーションを行うと、第６図
（Ｃ）に示す第３の有効ブロックマップが得られる。次
に、第３の有効ブロックマップに対して、孤立無効ブロ
ック領域の除去を行う。第６図（Ｃ）の第３の有効ブロ
ックマップには、孤立無効ブロック領域が存在していな
かったので、第３の有効ブロックマップがそのまま第４
の有効ブロックマップとされ、セグメンテーションによ
って得られた話者領域となる。時刻t2における実際の話
者領域は、画面のほぼ左半分であるのに対し、セグメン
テーションによって得られた話者領域は、画面の右半分
の背景部分にだいぶはみだしているから、第６図（Ｃ）
の第４の有効ブロックマップをこのまま用いると、背景
の雑音も符号化してしまう可能性があり、あまり好まし
くない。時刻t1,t2の場合の様に動きが大きく、セグメ
ンテーションで得られた有効ブロックの数が多い場合に
は、前画面における有効ブロックマップの影響を受け
て、前画面の話者領域にふくらんでしまうからである。
従って画面間での動きが大きい場合、すなわち第４の有
効ブロックマップの有効ブロック数が予め定められた第
４の閾値以上の場合には、第４の有効ブロックマップに
対してリセットを行い、第４の有効ブロックマップ内の
有効ブロックを全て無効ブロックに置き換えて第５の有
効ブロックマップとする。第５の有効ブロックマップ
は、１フレーム時間遅延されて第６の有効ブロックマッ
プとなり、次の時刻においてセグメンテーションに用い
られる。たとえば、第３図（Ａ）を前フレームの第４の
有効ブロックマップとし、第３図（Ｂ）を現フレームの
有効ブロックマップすなわち第１の有効ブロックマップ
とする。そして、時刻t1において得られた第４の有効ブ
ロックマップの有効ブロック数が、前記第４の閾値以上
であったとすると、第４の有効ブロックマップ内の有効
ブロックを、全て無効ブロックに置き換えて第５の有効
ブロックマップとするから、第５の有効ブロックマップ
が１フレーム時間遅延されて得られる時刻t2における第
６の有効ブロックマップも全て無効ブロックとなる。そ
の結果、時刻t2における第１の有効ブロックマップが、
第６図（Ａ）であったとすると、重みづけが行われた第
２の有効ブロックマップは第６図（Ｄ）の様になり、こ
の第２の有効ブロックマップに対して第２の閾値を用い
て前記セグメンテーションを行うと、第６図（Ａ）に示
す様な第３の有効ブロックマップが得られる。この第３
の有効ブロックマップには孤立無効ブロック領域が含ま
れていなかったから、第３の有効ブロックマップがその
まま第４の有効ブロックマップとなり、背景部分を削除
することができる。

以上の様にして得た第４の有効ブロックマップの有効
ブロック領域内すなわち話者領域を、画面間の相関、画
面内の相関またはその両方を用いて符号化することによ
り、背景などの雑音により発生する無駄な情報を容易に
削除でき、符号化効率を高めることができる。

上記各閾値および重みづけの値については、予め統計
的に調べた最適値を用いる。また、セグメンテーション
および孤立無効ブロック除去における参照ブロックの配
置は、上記以外の配置およびブロック数でもかまわな
い。

（実施例） 次に、図面を参照しながら本発明の一実施例について
詳細に説明する。第７図に本発明の一実施例を示す。入
力する動画像信号は、線100を介して有効無効判定部１
および遅延部11に供給される。有効無効判定部１は、前
画面の動画像信号を蓄えておき、この前画面における動
画像信号と新たに線100を介して入力された動画像信号
とのフレーム差分信号を求め、このフレーム差分信号を
水平方向ｎ画素×垂直方向ｎ画素の複数画素からなるブ
ロックに分割し、それぞれのブロック毎に、ブロック内
のフレーム差分値の絶対値和を求める。求められたフレ
ーム差分値の絶対値和が予め定められた第１の閾値以上
であればそのブロックを有効ブロックとし、フレーム差
分値の絶対値和が第１の閾値未満のときはそのブロック
を無効ブロックとして、第１の有効ブロックマップを得
る。有効無効判定部１で得られた第１の有効ブロックマ
ップは、重みづけ部２に与えられる。重みづけ部２は、
有効無効判定部１から与えられた第１の有効ブロックマ
ップに対して、予め定められた第１の重みづけを行う。
重みづけ部２で重みづけが成された第１の有効ブロック
マップは、加算器４に与えられる。加算器４は、重みづ
け部２から与えられた第１の有効ブロックマップと、重
みづけ部３から与えられる前画面における有効ブロック
マップである第６の有効ブロックマップとを加算し、重
みづけが成された第２の有効ブロックマップを得る。加
算器４で得られた第２の有効ブロックマップは、セグメ
ンテーション部５に与えられる。セグメンテーション部
５は、加算器４から与えられた第２の有効ブロックマッ
プ内の全てのブロックに対して、セグメンテーション処
理を行う。例えば、第４図に示す様にセグメンテーショ
ンの対象となるブロックをｋとすると、ｋおよびｋの近
傍のa,b,c,d,e,f,g,hのブロックの値を参照し、それら
の値の合計値が予め定められた第２の閾値以上であれば
そのブロックｋを有効ブロックとし、近傍のブロックお
よびｋの値が第２の閾値未満の場合にはそのブロックｋ
を無効ブロックとして第３の有効ブロックマップを得
る。セグメンテーション部５で得られた第３の有効ブロ
ックマップは、孤立無効ブロック除去部６に与えられ
る。孤立無効ブロック除去部６は、セグメンテーション
部５から与えられた第３の有効ブロックマップに含まれ
ている無効ブロックに対して孤立無効ブロック除去の処
理を用い、有効ブロックの連結を行う。孤立無効ブロッ
クの処理は、セグメンテーションと同様に対象となる無
効ブロックの近傍のブロックを参照し、その近傍のブロ
ックの値の合計値が予め定められた第３の閾値以上の場
合は、その孤立無効ブロックを有効ブロックとする。近
傍のブロックの値の合計値が予め定められた第３の閾値
未満の場合は、その無効ブロックは無効ブロックのまま
とし、以上の処理によって孤立無効ブロックの除去を行
った第４の有効ブロックマップを得る。孤立無効ブロッ
ク除去部６で得られた第４の有効ブロックマップは、有
効ブロック数判定部８、有効ブロックリセット部９およ
び符号化部７に与えられる。有効ブロック数判定部８
は、孤立無効ブロック除去部６から与えられた第４の有
効ブロックマップの有効ブロック数が予め定められた第
４の閾値以上の場合には、有効ブロックリセット部９に
リセット実行の指示を与える。また、有効ブロック数判
定部８は、孤立無効ブロック除去部６から与えられた第
４の有効ブロックマップの有効ブロック数が予め定めら
れた第４の閾値未満の場合には、有効ブロックリセット
部９にリセット停止の指示を与える。有効ブロックリセ
ット部９は、有効ブロック数判定部８からリセット実行
の指示が与えられた場合には、孤立無効ブロック除去部
６から与えられた第４の有効ブロックマップの有効ブロ
ックを、全て無効ブロックに置き換えて第５の有効ブロ
ックマップとする。また、有効ブロックリセット部９
は、有効ブロック数判定部８からリセット停止の指示が
与えられた場合には、孤立無効ブロック除去部６から与
えられた第４の有効ブロックマップに何の処理も行わず
にそのままで第５の有効ブロックマップとする。有効ブ
ロックリセット部９で得られた第５の有効ブロックマッ
プは、フレーム遅延部10に与えられる。フレーム遅延部
10は、有効ブロックリセット部９から与えられた第５の
有効ブロックマップを１フレーム時間遅延し、第６の有
効ブロックマップを得る。フレーム遅延部10で得られた
第６の有効ブロックマップは、重みづけ部３に与えられ
る。重みづけ部３は、フレーム遅延部10から与えられた
第６の有効ブロックマップに対して、第２の重みづけを
行って加算器４に重みづけが成された第４の有効ブロッ
クマップを与える。遅延部11は、入力した動画像信号に
対して入力動画像信号が供給されてから第４の有効ブロ
ックマップが符号化部７に与えられるまでの遅延時間補
償を行い、第４の有効ブロックマップと入力動画像信号
の時間合せを行う。遅延部11の出力の時間補償された動
画像信号は、符号化部７に与えられる。符号化部７は、
孤立無効ブロック除去部６から与えられた第４の有効ブ
ロックマップ内の有効ブロック領域すなわち話者領域で
あると示されている部分についてのみ、遅延11から与え
られた動画像信号の符号化を行い、無効ブロックで示さ
れる背景部分は符号化を行わない。

符号化の方法としては、動き補償などの画面間の相関
を利用した方法、または直交交換などの画面内の相関を
利用した方法、あるいは画面間及画面内の両方の相関を
利用した符号化方法を用いる。

上記の各閾値および参照ブロック配置などについて
は、予め統計的に調べた最適値を用いる。一例として、
第１の重み付けで現フレームの有効ブロックを２、無効
ブロックを０とし、第２の重み付けで前フレームの有効
ブロックを１、無効ブロックを０とした場合には、第２
の閾値を８、第３の閾値を５とすることで実現できる。

（発明の効果） 以上に詳しく説明したように、本発明の動画像信号の
符号化方式は、セグメンテーションによって得た話者領
域内のみ符号化をすることにより、背景部分の雑音によ
り発生する無駄な情報を削除でき、符号化の効率を高め
ることができる。

【図面の簡単な説明】

第１図、第２図、第３図、第４図、第５図および第６図
は本発明の作用を説明する図、第７図は本発明の一実施
例を示す図である。 １……有効無効判定部、2,3……重みづけ部、４……加
算器、５……セグメンテーション部、６……孤立無効ブ
ロック除去部、７……符号化部、８……有効ブロック数
判定部、９……有効ブロックリセット部、10……フレー
ム遅延部、11……遅延部。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】画面間の相関を利用した動画像信号の符号
   化方式において、入力する動画像信号の１画面を複数画
   素からなるブロックに分割し、ブロック毎に前画面との
   差分を検出し、該差分値が予め定められた第１の閾値以
   上のときには有効ブロックとし、前記差分値が予め定め
   られた第１の閾値未満のときには無効ブロックとしてフ
   レーム毎に第１の有効ブロックマップを作成する手段
   と、該第１の有効ブロックマップに対して第１の重みづ
   けを行う手段と、前画面における第６の有効ブロックマ
   ップに対して第２の重みづけを行う手段と、前記第１の
   重み付けを行った第１の有効ブロックマップと、前記第
   ２の重みづけを行った第６の有効ブロックマップとを加
   算合成して重みづけが成された第２の有効ブロックマッ
   プを得る手段と、該第２の有効ブロックマップに対し
   て、各ブロックの近傍のブロックを参照し、近傍のブロ
   ックおよび対象ブロックの値の合計値が予め定められた
   第２の閾値以上のときには当該対象ブロックを有効ブロ
   ックとし、第２の閾値未満のときには当該対象ブロック
   を無効ブロックとするセグメンテーションを行って第３
   の有効ブロックマップを得る手段と、該第３の有効ブロ
   ックマップ内の無効ブロックについて近傍のブロックを
   参照し、近傍のブロックの値の合計値が予め定められた
   第３の閾値以上のときには当該無効ブロックを有効ブロ
   ックに置き替え、第３の閾値未満のときには当該無効ブ
   ロックを無効ブロックのままとして第４の有効ブロック
   マップを得る手段と、該４の有効ブロックマップの有効
   ブロック数が予め定められた第４の閾値以上の場合は前
   記第４の有効ブロックマップの有効ブロックを全て無効
   ブロックに置き換えて第５の有効ブロックマップとし、
   前記第４の有効ブロックマップの有効ブロック数が予め
   定められた第４の閾値未満の場合は前記第４の有効ブロ
   ックマップをそのままで第５の有効ブロックマップとす
   る手段と、該第５の有効ブロックマップを１フレーム時
   間遅延させて第６の有効ブロックマップを得る手段と、
   前記動画像信号の入力時から前記第４の有効ブロックマ
   ップの生成時までの時間の遅延を前記動画像信号に与え
   る手段と、遅延を与えられた前記動画像信号について、
   前記第４の有効ブロックマップで有効ブロックとされた
   領域を、画面間の相関、画面内の相関またはその両方を
   用いて符号化を行う手段とを有することを特徴とする動
   画像信号の符号化方式。