JP3186685B2 - 動き補償予測方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビ会議、テレ
ビ電話、ケーブルテレビなどに使用する動き補償予測方
法に関するものである。

【０００２】

【従来の技術】図５は従来の動き補償フレーム間予測符
号化装置の構成例を示すブロック図であり、図５におい
てデジタル化された信号（画像）は入力端子５０１より
加算器５０２に入力される。

【０００３】また加算器５０２はフレームメモリ５１０
より出力された予測値も入力され予測誤差信号を出力す
る。ここで、予測値は動き補償予測された予測値であ
る。したがってフレームメモリ５１０より出力される予
測値は動ベクトル検出部で検出された動きベクトルに従
って動き補償予測された予測値である（電子通信学会19
81年 Vol.J64-B，No.1 P.24-31（フレーム間符号化にお
ける動き補正予測方式））。具体的には、動きベクトル
が０の場合には入力フレームの被予測画素とフレーム内
の位置が同じ位置のフレームメモリ上の画素値を予測画
素とする。また、動きベクトルが０以外の場合には同様
に入力フレーム内の被予測画素とフレーム内の位置が同
じ位置を０として動きベクトルの値に対応する画素位置
の画素を予測画素とする。この場合、フレームメモリ５
１０内に動きベクトルの値に対応する画素位置に画素が
無い場合には、該当する画素位置の周辺の画素から補間
によって該当する画素位置の画素を算出し、予測画素と
する（1990年画像符号化シンポジウム（PCSJ90）P.175-
177（適応ライン補間フィールド間動き補償方式の検
討））。このように動きベクトルはフレーム内の予測画
素の相対的な位置を表すために用いられている。そし
て、この予測誤差信号は直交変換部５０３に入力されて
直交変換される。変換係数は量子化部５０４に入力さ
れ、量子化される。量子化された変換係数は逆量子化部
５０７および多重化部５０５に入力される。多重化部５
０５は量子化部５０４で量子化された変換係数と、動ベ
クトル検出部５１１で検出された動きベクトルを多重化
して出力端子５０６を通して出力する。

【０００４】一方逆量子化部５０７は量子化された変換
係数を逆量子化し、直交変換係数を得、これを逆直交変
換部５０８に出力する。逆直交変換部５０８にて逆直交
変換し、もとの予測誤差信号を出力する。逆直交変換に
よって得られた予測誤差信号は加算器５０９に与えられ
る。この加算器５０９はフレームメモリ５１０からの予
測値と逆直交変換部５０８からの予測誤差信号を加算
し、再生画素値をフレームメモリ５１０に出力する。こ
のフレームメモリ５１０は加算器５０９からの再生画素
値から再生画像をつくり、その再生画像を次フレームの
予測値として出力する。また動ベクトル検出部５１１は
入力端子５０１より入力された入力画像とフレームメモ
リ５１０からの再生画像から動ベクトルを求めフレーム
メモリ５１０及び多重化部５０５へ出力する。

【０００５】

【発明が解決しようとする課題】しかしながら、前記従
来の動き補償フレーム間予測符号化装置では前フレーム
のフレーム画像から予測画像をつくるため、１フレーム
の時間に垂直方向への奇数画素の運動の場合において、
正確な動ベクトルの検出が行われにくく、たとえ行われ
た場合でも異なったフィールドの画像を予測画像とする
ため精度の良い予測画像を得ることができず、圧縮効果
を悪化させるという問題があった。

【０００６】本発明は、前記従来技術の問題を解決する
ことに指向するものであり、異なったフィールド間予測
のための時間差による劣化を防ぎ、適切な予測画像を得
ることができる優れた動き補償予測方法を提供すること
を目的とする。

【０００７】

【課題を解決するための手段】この目的を達成するため
に、本発明に係る動き補償予測方法は、参照フレームと
被符号化フレームとの間の第１の動きベクトルおよび参
照フレームの第１フィールドを用い、かつ、第１の動き
ベクトルに所定の比を乗じて生成した第２の動きベクト
ルおよび参照フレームの第２フィールドを用いて、被符
号化フレームの第１フィールドについて動き補償を行う
動き補償予測方法であって、前記所定の比を、第１の動
きベクトルの時間間隔と第２の動きベクトルの時間間隔
との比より定めることを特徴とする。

【０００８】また、参照フレームと被符号化フレームと
の間の第１の動きベクトルおよび参照フレームの第２フ
ィールドを用い、かつ、第１の動きベクトルに所定の比
を乗じて生成した第２の動きベクトルおよび参照フレー
ムの第１フィールドを用いて、被符号化フレームの第２
フィールドについて動き補償を行う動き補償予測方法で
あって、前記所定の比を、第１の動きベクトルの時間間
隔と第２の動きベクトルの時間間隔との比より定めるこ
とを特徴とするようにしたものである。

【０００９】前記方法によれば、予測画像のフィールド
と入力画像のフィールドが常に一致し、１フレームあた
り垂直方向への奇数画素の運動の場合にも同じフィール
ドからの予測画像を作成するため、時間や位置のずれが
生ぜずスムースな動ベクトルの検出が可能となる。ま
た、より適切な予測画像が得られ圧縮効率を向上させる
ことができる。

【００１０】更に予測画像のフィールドと一致するフィ
ールドのみからでなく、もう一方のフィールド画像も動
ベクトルによって補正し、同フィールドの画像として利
用することにより、予測画像の解像度をあげることがで
き、より精度の高い予測画像の出力が可能となり圧縮効
果が向上し、画質を向上させることができる。

【００１１】

【発明の実施の形態】以下、図面を参照して本発明にお
ける実施の形態を詳細に説明する。

【００１２】（実施の形態１）図１は本発明の実施の形
態１の構成を示すブロック図であり、また、図２はフィ
ールド画像分割とオーバーサンプリングの原理を示すも
のである。

【００１３】入力端子１０１より入力された入力画像
（インターレーステレビジョン）信号は動ベクトル検出
部１１３、加算器１０２に夫々入力される。この加算器
１０２はフレーム合成部１１４から出力された予測画像
との差を直交変換部１０３に出力し、直交変換部１０３
は、たとえばＤＣＴのような直交変換を行い変換係数を
量子化部１０４に出力し、量子化部１０４は変換係数を
量子化し逆量子化部１０７、多重化部１０５に夫々出力
する。そして、多重化部１０５は動ベクトル検出部１１
３で検出された動ベクトルと量子化された変換係数を多
重化し、符号化して出力端子１０６を通して出力する。

【００１４】また、逆量子化部１０７は変換係数を逆量
子化し逆直交変換部１０８に出力し、逆直交変換部１０
８はもとの予測誤差信号に変換し、加算器１０９に出力
する。この加算器１０９はフレーム合成部１１４から出
力された予測画像とを加算し、フィールド画像分割部１
１０に再生画像を出力する。

【００１５】フィールド画像分割部１１０は第１フィー
ルド，第２フィールドの２つのフィールドに再生画像を
分割し、夫々オーバーサンプリング部１１１およびオー
バーサンプリング部１１２に出力する。そして、オーバ
ーサンプリング部１１１およびオーバーサンプリング部
１１２はそれぞれ入力されたフィールド画像の補間を行
い、夫々画像メモリ１１５および画像メモリ１１６に出
力しメモリに蓄えられる。

【００１６】画像メモリ１１５および画像メモリ１１６
は動ベクトル検出部１１３で検出された動ベクトルを基
に予測画像の夫々のフィールド画像をフレーム合成部１
１４に出力し、ここでフレームに合成され予測画像とし
て夫々加算器１０２，１０９に出力される。

【００１７】また、画像メモリ１１５および画像メモリ
１１６は動ベクトルを検出するために補間された再生画
像を動ベクトル検出部１１３に出力し、動ベクトル検出
部１１３は２つの画像メモリ１１５，１１６からの補間
された再生画像と入力端子１０１からの入力画像から動
ベクトルを検出する。ここで動ベクトル検出部１１３は
動ベクトル検出のために行うパターンマッチングの際
に、入力画像の対応するフィールドの再生フィールド画
像とのマッチングを行う。また、画像メモリ１１５，１
１６はそれぞれ予測画像の対応するフィールドの予測画
素のみを予測画像として出力する。

【００１８】図２にフィールド画像分割およびオーバー
サーンプリングの動作を示す。フィールド画像分割部１
１０に入力されたフレーム信号（ａ）は１ラインずつ交
互に第１フィールド，第２フィールドに分けられる
（ｂ）。この分割されたフィールド画像のライン数はも
とのフレームの１／２になっているので、今、動ベクト
ルの精度を１画素単位まで求めるとすると、ライン数を
もとのフレームと同じにしなければならない。

【００１９】したがって、オーバーサンプリング部１１
１，１１２で、もう１方のフィールドの画素位置の画素
を回りの画素から補間によって求められる（ｃ）。動ベ
クトルの検出はそれぞれ入力画像のフィールドに合わせ
たフィールド画像とのマッチングを行う。これにより常
に入力画像のフィールドと予測画像のフィールドとの対
応がとれることになり、フィールドが逆になることがな
くなり、より予測誤差の少ない予測画像を出力できると
いう効果を有する。

【００２０】（実施の形態２）図３は本発明の実施の形
態２の構成を示すブロック図であり、入力端子３０１か
ら入力された入力画像（インターレーステレビジョン信
号）は加算器３０２、動ベクトル検出部３１３に入力さ
れる。加算器３０２は画素補間部３１２により出力され
た予測画像と入力画像との差分を直交変換部３０３に出
力する。この差分を予測誤差信号という。

【００２１】この予測誤差信号は直交変換部３０３でＤ
ＣＴのような直交変換を行い変換係数を量子化部３０４
に出力し、量子化部３０４では入力された変換係数を量
子化し、これを多重化部３０５および逆量子化部３０７
に夫々出力する。そして、多重化部３０５は動ベクトル
検出部３１３で検出された動ベクトルと量子化された変
換係数を多重化し、出力端子３０６を通して出力する。

【００２２】また、逆量子化部３０７は量子化された変
換係数を逆量子化し、直交変換係数を得、これを逆直交
変換部３０８に出力する。この逆直交変換部３０８は入
力された直交変換係数を逆直交変換し予測誤差信号を得
る。この予測誤差信号は加算器３０９に入力され、画素
補間部３１２から出力された予測画像と加えられ再生画
像を得る。この再生画像は画像メモリ３１０に蓄えられ
る。

【００２３】画像メモリ３１０は第１の動ベクトルを検
出し、そして、次フレームの予測を行うために画像メモ
リ３１０に蓄えられている再生画像をフィールド調整部
３１１に出力する。フィールド調整部３１１は動ベクト
ル検出部３１３で検出された動ベクトルを基にフィール
ドの時間差による位置の補償を第２の動きベクトルで行
い、画素補間部３１２に出力する。この画素補間部３１
２はフィールド調整部３１１から出力された画像を基に
実際の予測画像の画素を計算し予測画像を加算器３０２
および加算器３０９に夫々出力する。

【００２４】図４に図３のフィールド調整部３１１の動
作を示す。画像メモリ３１０に蓄えられている再生画像
（以下、参照フレーム画像という）が第１フィールドと
第２フィールドで構成され、入力された入力フレーム画
像が第３フィールド，第４フィールドで構成されている
場合、第３フィールドの予測画像は第１フィールド時刻
の参照画像から、第４フィールドの画像は第２フィール
ド時刻の参照画像から予測を行うと参照画像の時間順序
と入力画像の時間順序が一致する。

【００２５】したがってフィールド調整部３１１は第１
フィールド，第２フィールドから元々のフィールド画像
より解像度の高いフィールド画像を第２の動きベクトル
を用いて作成する。すなわち解像度の高い第１フィール
ドを作成するために、時間的に後の第２フィールドの画
像を第１フィールドに第２の動きベクトルを用いて戻
す。第１の動きベクトルを（Ｖｘ，Ｖｙ）とすると第２
フィールドは第１フィールドに比ベ１フィールドの時間
分後の画像であり、第１の動きベクトルの時間の１／２
である。したがって動きに変化がないとすると第１フィ
ールドの時刻から第２フィールドの時刻までに（Ｖｘ／
２，Ｖｙ／２）動いていることになり、これを第２の動
きベクトルとする。したがってこの分を第２の動きベク
トルを用いて戻すことによって時間的に第１フィールド
を一致させることができる（ａ）。この動きベクトルに
よって戻すというのは、動きベクトルによる動き補償予
測と同様に動きベクトルが０の場合には第２フィールド
のフレーム内の画素位置を保ったまま合成し、動きベク
トルが０以外の場合には動きベクトルが０の画素位置を
基準に動きベクトルの値だけ画素位置を移動させて合成
し、解像度の高い第１フィールドを作成することであ
る。

【００２６】この動き補正した第２フィールドと第１フ
ィールドから新たな第１フィールドを作成することによ
り元々のフレーム画像と同じ解像度を持った第１フィー
ルドの画像を得ることができる。また、逆に第２フィー
ルドに対し時間的に１フィールド分遅い第１フィールド
を第２の動きベクトル（Ｖｘ／２，Ｖｙ／２）を用いて
動きを進ませることにより、第２フィールドの時間を一
致させることができ（ｂ）、同様にフレームと同じ解像
度を持った新たな第２フィールドを作成する。

【００２７】これら解像度の高いフィールド画像の画素
の位置は入力画像の画素の位置とは必ずしも一致しない
ため、画素補間部３１２にて入力画素の位置の近傍の画
素から補間によって予測画素値を作成する。具体的には
従来の動き補償予測と同様に第１の動きベクトルの値に
対応した画素位置の画素を予測画素とするため、対応す
る画素位置に画素が無い場合には、対応する画素位置の
周辺の画素からの補間によって予測画素を算出する。こ
の場合の周辺の画素は、すなわち新たな第１フィールド
の画素のうち、元の第１フィールドの画素は第１の動き
ベクトルで示される画素位置の周辺の画素となり、元の
第２フィールドの画素は第１の動きベクトルと第２の動
きベクトルの合成によって示される画素位置の周辺の画
素となる。これによって第３フィールドは第１フィール
ドから、第４フィールドは第２フィールドから予測画像
を常に得ることができる。また、予測参照画像の解像度
は元のフレームの解像度と同じになるのでより予測誤差
の少ない予測画像を得ることができる。これにより画像
の圧縮効率が上がり、再生画像の画質の向上が得られる
という効果を有する。

【００２８】

【発明の効果】以上説明したように、本発明によれば、
フィールド分割後、補間によってつくられた、それぞれ
のフィールド画像、または一方のフィールド画像を動ベ
クトルを基に補正して他方のフィールドと合わせ作成し
たフィールド画像からそのフィールド画像に対応したフ
ィールド画像を予測誤差に用いるため、動き量によって
予測画像のフィールドが逆転してしまうことがなくな
る。したがって、精度の良い予測画像を得ることができ
る。

【００２９】また、動ベクトルの検出のマッチングも同
様の予測画像をもとに行うため、より精度が良く細かな
動ベクトルを検出することができるという効果を奏す
る。

【図面の簡単な説明】

【図１】本発明における実施の形態１の構成を示すブロ
ック図

【図２】図１のフィールド画像分割部と、オーバーサン
プリング部の動作を説明するための図

【図３】本発明における実施の形態２の構成を示すブロ
ック図

【図４】図３のフィールド調整部の動作を説明するため
の図

【図５】従来の動き補償フレーム間予測符号化装置の構
成例を示すブロック図

【符号の説明】

１０１，３０１ 入力端子 １０２，１０９，３０２，３０９ 加算器 １０３，３０３ 直交変換部 １０４，３０４ 量子化部 １０５，３０５ 多重化部 １０６，３０６ 出力端子 １０７，３０７ 逆量子化部 １０８，３０８ 逆直交変換部 １１０ フィールド画像分割部 １１１，１１２ オーバーサンプリング部 １１３，３１３ 動ベクトル検出部 １１４ フレーム合成部 １１５，１１６，３１０ 画像メモリ ３１１ フィールド調整部 ３１２ 画素補間部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−130594（ＪＰ，Ａ) 特表 平６−504169（ＪＰ，Ａ) 1990年画像符号化シンポジウム（ＰＣ ＳＪ90）Ｐ．175−176（８−１適応ライ ン補間フィールド間動き補償方式の検 討)

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 参照フレームと被符号化フレームとの間
   の第１の動きベクトルおよび前記参照フレームの第１フ
   ィールドを用い、かつ、前記第１の動きベクトルに所定
   の比を乗じて生成した第２の動きベクトルおよび前記参
   照フレームの第２フィールドを用いて、 前記被符号化フレームの第１フィールドについて動き補
   償を行う動き補償予測方法であって、 前記所定の比は、前記第１の動きベクトルの時間間隔と
   前記第２の動きベクトルの時間間隔との比より定めるこ
   とを特徴とする動き補償予測方法。
2. 【請求項２】 参照フレームと被符号化フレームとの間
   の第１の動きベクトルおよび前記参照フレームの第２フ
   ィールドを用い、かつ、前記第１の動きベクトルに所定
   の比を乗じて生成した第２の動きベクトルおよび前記参
   照フレームの第１フィールドを用いて、 前記被符号化フレームの第２フィールドについて動き補
   償を行う動き補償予測方法であって、 前記所定の比は、前記第１の動きベクトルの時間間隔と
   前記第２の動きベクトルの時間間隔との比より定めるこ
   とを特徴とする動き補償予測方法。