JPH06326980A - 動き補償映像信号処理方式 - Google Patents

Abstract

(57)【要約】 【目的】 変換処理の質及び解像度をさほど低下させる
ことなく、必要とする映像信号処理装置の能力を軽減さ
せる。 【構成】 サブサンプリング器（１７０）が入力映像信
号（５０）の入力画像をサブサンプリングしてサブサン
プル画像を発生する。ブロック比較器（１９０）がサブ
サンプル画像の対からの画素のブロックを比較して複数
のオリジナル相関面を発生する。相関面処理装置（２０
０）がオリジナル相関面から補間により複数の補間相関
面を発生する。動きベクトル推定器（２１０）が、各補
間相関面内の相関値間で補間して補間相関面内の最大相
関の点を検出し、その点に応じて各補間相関面からそれ
ぞれの動きベクトルを発生する。動きベクトル選択器
（２３０）が、出力映像信号（６０）の出力画像のそれ
ぞれの画素の補間に使用するために動きベクトルを選択
する。動き補償補間器（１４０）が、それぞれの選択さ
れた動きベクトルに応じて、サブサンプル画像の前記対
に対応する入力映像信号の入力画像の対から出力画像を
補間する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動き補償映像信号処理
方式（装置及び方法）に関する。

【０００２】

【従来の技術】動き補償映像信号処理は、テレビジョン
標準方式変換、フィルム標準方式変換、及び映像（vide
o ）標準方式とフィルム標準方式との間の変換などの用
途に用いられる。

【０００３】英国特許出願公開公報第ＧＢ−Ａ−２２３
１７４９号に記載されている変換器などの動き補償テレ
ビジョン標準方式変換においては、連続する入力画像の
対が処理されて入力画像の前記対の間の画像の動きを示
す動きベクトルのセット（組）を発生する。前記処理
は、前記画像の別々のブロックに関して行われ、そのた
め各動きベクトルはそれぞれのブロックの内容の画像間
の動きを示す。

【０００４】次に、動きベクトルの各セットは、各ブロ
ックに対する動きベクトルの前記セットのサブセット
（小組）を得る動きベクトル低減器に供給される。次
に、前記サブセットは、動きベクトルの前記セットのサ
ブセットの１つを前記画像の各ブロック内の各画素（ピ
クセル）に割り当てる動きベクトル選択器に与えられ
る。各画素に対する前記選択された動きベクトルは動き
補償補間器に供給され、該補間器は、前記入力画像間の
動きを考慮に入れ、前記入力画像の順次走査されたもの
に関して動作して連続する出力画像を補間する。

【０００５】

【発明が解決しようとする課題】前述したような動き補
償映像信号処理は、入力画像の各対に対して動きベクト
ルを発生し処理するのに要求される非常に多数の計算を
行うための、強力で複雑な処理装置を必要とする。この
ことは、画像が高精細度フォーマットである場合か、あ
るいは、出力映像信号がリアルタイムに出力されるよう
に前記処理を入力映像信号に関して行うべきである場合
には、特にそうである。出力映像信号がリアルタイムに
出力されるようにする前述の場合には、利用可能な時間
（例えば、出力フィールド期間）内に各出力画像に対す
る動きベクトルのセットを発生するために、同じ装置の
多数のセットを並列に動作させることになる。

【０００６】本発明は、上述の点が改良された動き補償
映像信号処理装置及び方法を提供することを目的とす
る。

【０００７】

【課題を解決するための手段及び作用】本発明は、請求
項１に記載したように動き補償映像信号処理装置を構成
することによって、上記の課題を解決した。

【０００８】前述したように、動き補償映像信号処理
は、特に高精細度映像信号に対してリアルタイムで行う
べき場合には、映像信号処理装置に高い処理能力を要求
する。本発明は、動き補償処理の多くの特徴によって特
にそれが要求されていることを認識しており、これらの
特徴の前記処理の必要条件を軽減するための方策を提供
している。これによって、前記動きベクトルを発生し使
用するための並列処理に対する必要性を除去あるいは軽
減することができ、それによって前記装置の複雑さ（及
びそれに対応するコスト及びサイズ）を軽減することが
できる。

【０００９】本発明によって提供される方策は、次の通
りである。 １．前記入力画像から直接出力画像（例えば、フィール
ド又はフレーム）を補間すること。これによって、前記
入力画像（例えば、フィールド又はフレーム）のプログ
レッシブ（順次）走査変換の必要性が取り除かれる。 ２．前記入力画像のサブ（ダウン）サンプリングされた
ものから動きベクトルを発生すること。これによって、
ブロック突合せ（block matching）の処理費が軽減され
る。 ３．ブロック突合せによって発生された相関面からもっ
と多数の相関面を補間すること。各補間相関面は、その
後、補間において引き続いて使用するための動きベクト
ルを発生するのに用いることができる。 ４．サブピクセル（ピクセルより細かい）精度まで各補
間相関面内で最小点（相関が最大の点）の検出を行うこ
と。これは、前記サブサンプリング処理により生ずる前
記相関面の解像度のロスを軽減するのに役立つ。 ５．動きベクトル選択中に前記テストブロックにおいて
使用するために、画素値を補間すること。同様に、これ
は、前記サブサンプリング処理により生ずる前記相関面
の解像度のロスを軽減するのに役立つ。

【００１０】好ましくは、前記入力デジタル映像信号が
所定の解像度を有するとともに、前記装置は、デジタル
映像信号を受信する手段と、前記受信されたデジタル映
像信号が前記所定の解像度より低い解像度を有している
場合に、前記受信されたデジタル映像信号にダミー画素
値を加えて前記入力デジタル映像信号を発生する手段と
を含むのがよい。

【００１１】好適で単純な実施例においては、前記ダミ
ー画素値は黒色画素を示す画素値である。

【００１２】前記出力デジタル映像信号が高精細度映像
信号である場合であっても従来の精細度の装置を用いて
前記装置の出力の表示を見たり記録したり又は送信した
りできるようにするため、前記装置が前記最初に述べた
出力デジタル映像信号から第２の出力デジタル映像信号
を発生するダウン（格下げ）コンバータを含むことが好
ましい。該第２の出力デジタル映像信号は、前記最初に
述べた出力デジタル映像信号より低い解像度を有する。

【００１３】好ましくは、前記装置は、それぞれの出力
画像の補間において使用するために入力画像の対を選択
する第１の時間軸変更器と、サブサンプル画像の対であ
って前記第１の時間軸変更器により選択された入力画像
の前記対に対応するものを、サブサンプル画像の当該対
の間の画像の動きを示す動きベクトルのそれぞれのセッ
トの発生に使用するために、選択する第２の時間軸変更
器とを含むのがよい。

【００１４】好適実施例においては、前記第１の時間軸
変更器は、当該画像の補間に使用するために選択された
入力画像の前記対について各出力画像の時間位置を示す
制御信号を発生する手段を含み、前記第２の時間軸変更
器は、動きベクトルの前記発生に使用するために選択さ
れたサブサンプル画像の前記対について各出力画像の時
間位置を示す制御信号を発生する手段を含む。

【００１５】前記装置は従来の精細度（あるいは解像
度）の映像信号を処理するために用いられる場合にも有
用であるが、前記入力デジタル映像信号は高解像度映像
信号であることが好ましい。

【００１６】前記入力デジタル映像信号はインターレー
ス映像信号であることが好ましい。

【００１７】前記装置は多くの異なる映像信号形式に対
して有用である。しかしながら、前記入力デジタル映像
信号は、１１２５／６０、２：１のインターレース映像
信号、１１２５／３０、１：１のノンインターレース映
像信号、１２５０／５０、２：１のインターレース映像
信号、１２５０／２５、１：１のノンインターレース映
像信号、５２５／６０、２：１のインターレース映像信
号、５２５／３０、１：１のノンインターレース映像信
号、６２５／５０、２：１のインターレース映像信号、
６２５／２５、１：１のノンインターレース映像信号、
及び１１２５／２４、３２３２のプルダウン（pull-dow
n ）映像信号からなるグループから選択されることが好
ましい。

【００１８】同様に、前記装置は従来の精細度（あるい
は解像度）の映像信号を処理するために用いられる場合
に有用であるが、前記出力デジタル映像信号は高解像度
映像信号であることが好ましい。前記出力デジタル映像
信号はインターレース映像信号であることが好ましい。

【００１９】前記出力デジタル映像信号は、１１２５／
６０、２：１のインターレース映像信号、１１２５／３
０、１：１のノンインターレース映像信号、１２５０／
５０、２：１のインターレース映像信号、１２５０／２
５、１：１のノンインターレース映像信号、５２５／６
０、２：１のインターレース映像信号、５２５／３０、
１：１のノンインターレース映像信号、６２５／５０、
２：１のインターレース映像信号、６２５／２５、１：
１のノンインターレース映像信号、及び１１２５／２
４、３２３２のプルダウン映像信号からなるグループか
ら選択されることが好ましい。

【００２０】本発明による装置は、特にテレビジョン標
準方式変換、フィルム標準方式変換、あるいは映像標準
方式とフィルム標準方式との間の変換において有効に用
いられる。

【００２１】本発明は、第２の態様では、請求項１６に
記載したような動き補償映像信号処理方法を提供する。

【００２２】本発明の前記及び他の目的、特徴及び利点
は、添付図面に関連して述べる実施例の以下の詳細な説
明から明らかとなるであろう。

【００２３】

【実施例】図１は、動き補償テレビジョン標準方式変換
装置の概略ブロック図である。該装置は、入力インター
レースデジタル映像信号５０（例えば、１１２５／６
０、２：１の高精細度映像信号（ＨＤＶＳ）を受信し、
出力インターレースデジタル映像信号６０（例えば、１
２５０／５０ ２：１の信号）を発生する。

【００２４】入力映像信号５０は、まず、入力バッファ
／パッカー（buffer/packer ）１１０に供給される。従
来の精細度入力信号の場合には、入力バッファ／パッカ
ー１１０は、必要な場合に黒色画素を付け加えて、画像
データを高精細度（１６：９のアスペクト比）フォーマ
ットとする。ＨＤＶＳ入力に対しては、入力バッファ／
パッカー１１０は前記データを単にバッファするだけで
ある。

【００２５】前記データは、入力バッファ／パッカー１
１０からマトリクス回路１２０に与えられる。該マトリ
クス回路１２０において、（必要なら）前記入力映像信
号の測色（colorimetry ）が、標準「ＣＣＩＲ勧告６０
１」の（Ｙ，Ｃｒ，Ｃｂ）測色などの、前記所望の出力
信号の測色に変換される。

【００２６】マトリクス回路１２０から、前記入力映像
信号が、時間軸変更器及び遅延器（time base changer
and delay ）１３０に与えられるとともに、サブサンプ
リング器１７０を介してサブサンプル時間軸変更器及び
遅延器１８０に与えられる。時間軸変更器及び遅延器１
３０は、前記出力映像信号の各フィールドの時間位置を
決定するとともに、当該出力フィールドを補間する際に
用いるための、当該出力フィールドに時間的に最も近
い、前記入力映像信号の２つのフィールドを選択する。
前記出力映像信号の各フィールドに対して、前記時間軸
変更器により選択された前記２つの入力フィールドは、
当該出力フィールドを補間する補間器１４０に供給され
る前に、適切に遅延される。前記２つの選択された入力
フィールドについて各出力フィールドの時間位置を示す
制御信号ｔが、時間軸変更器及び遅延器１３０から補間
器１４０に供給される。

【００２７】サブサンプル時間軸変更器及び遅延器１８
０は、同様に動作するが、サブサンプリング器１７０に
より供給される空間的にサブサンプリングされたビデオ
映像を用いる。時間軸変更器１３０により選択された前
記対に対応するフィールドの対が、前記サブサンプリン
グされた映像からサブサンプル時間軸変更器及び遅延器
１８０により選択される。このフィールドの対は、動き
ベクトルの発生において用いられるものである。

【００２８】時間軸変更器１３０及び１８０は、前記入
力映像信号、前記出力映像信号又はその両方と関連した
同期信号に従って動作し得る。１つのみの同期信号が供
給される場合、前記２つの映像信号のうちの他のものの
フィールドのタイミングは、時間軸変更器１３０，１８
０内で決定して発生される。

【００２９】サブサンプル時間軸変更器及び遅延器１８
０により選択された前記サブサンプル入力映像信号のフ
ィールドの前記対は、動き処理装置１８５に供給され
る。該動き処理装置１８５は、ブロック突合せ器（bloc
k matcher ）１９０と、相関面処理装置２００と、動き
ベクトル推定器２１０と、動きベクトル低減器２２０
と、動きベクトル選択器２３０と、動きベクトル後処理
装置２４０とを含む。入力フィールドの前記対は、ま
ず、ブロック突合せ器１９０に供給される。ブロック突
合せ器１９０は、前記２つの選択された入力フィールド
のうちの時間的に早いものの内の探索ブロック（search
block）と前記２つの入力フィールドのうちの時間的に
遅いものの内の（より大きい）探索領域との間の空間的
相関を示す相関面を計算する。

【００３０】ブロック突合せ器１９０により出力された
前記相関面から、相関面処理装置２００は、より多くの
補間された相関面を発生する。これらの補間相関面は、
動きベクトル推定器２１０に与えられる。動きベクトル
推定器２１０は、前記補間相関面内の最も大きい相関の
点を検出する。（前記オリジナル相関面は前記２つの入
力フィールドのブロック間の差を実際に示し、これは、
前記最大相関の点が前記相関面上で実際は最小点である
ことを意味しており、以下「最小点」と呼ぶ。）最小点
を検出するために、前記相関面上の追加の点が補間さ
れ、前記面を発生するためにサブサンプル映像を用いる
ことによって生じた解像度のロスに対してある程度の補
償を与える。各相関面上の前記検出された最小点から、
動きベクトル推定器２１０は、動きベクトル低減器２２
０に供給される動きベクトルを発生する。

【００３１】動きベクトル推定器２１０は、また、各発
生された動きベクトルに関して信頼テスト（confidence
test ）を行って当該動きベクトルが平均データレベル
に関して有意である（significant ）か否かを確証する
とともに、前記信頼テストの結果を示す信頼フラグを各
動きベクトルに関連させる。前記信頼テストは、「閾
値」テストとして知られており、英国特許出願公開公報
第ＧＢ−Ａ−２２３１７４９号に（図１の装置の他のあ
る特徴と一緒に）記載されている。前記信頼テストは、
またあとで一層詳細に述べる。

【００３２】各ベクトルが偽物である（aliased ）か否
かを検出するためのテストも、動きベクトル推定器２１
０によって行われる。このテストにおいて、（前記検出
された最小点の周囲の除外区域から離れた）前記相関面
が調べられて次に最も低い最小点を検出する。この２番
目の最小点が前記除外区域の縁に位置していないなら
ば、前記オリジナルの最小点から得られた前記動きベク
トルは、潜在的にエイリアシングされている（偽物であ
るかもしれない）として、フラグが立てられる。

【００３３】動きベクトル低減器２２０は、前記動きベ
クトルが動きベクトル選択器２３０に供給される前に、
前記出力フィールドの各画素に対して可能な動きベクト
ルの選択を低減させるように動作する。前記出力フィー
ルドは概念上画素のブロックに分割される。各ブロック
は、前記選択された入力フィールドのうちの早いものの
内の探索ブロックの位置に対応する位置を、前記出力フ
ィールド内に有している。前記動きベクトル低減器は、
前記出力フィールドの各ブロックに関連させられるべき
４つの動きベクトルからなるグループをまとめる。この
とき、当該ブロック内の各画素は、結局は４つの動きベ
クトルからなる当該グループのうちの選択された１つを
用いて補間される。

【００３４】偽物であるとして既にフラグが立てられた
ベクトルは、それらが近くのブロック内のフラグが立て
られていないベクトルと同一ならば、ベクトル低減中に
再び資格が与えられる（re-qualified）。

【００３５】動きベクトル低減器２２０は、その機能の
一部として、「良い（good）」動きベクトル（すなわ
ち、前記信頼テスト及び前記偽物テストを通過するか、
あるいは偽物でないとして再び資格が与えられた、動き
ベクトル）を得るために用いられた前記入力フィールド
の前記ブロックの位置を考慮しないで、それらの「良
い」動きベクトルの発生の頻度をカウントする。前記良
い動きベクトルは、頻度が減る順に分類される。互いに
有意な異なる前記良い動きベクトルの最も一般的なもの
は、「グローバル（広域）」動きベクトルとして分類さ
れる。前記信頼テストを通過する３つの動きベクトル
が、出力画素の各ブロックに対して選択され、前記ゼロ
動きベクトルとともに、更なる処理のために動きベクト
ル選択器２３０に供給される。これらの３つの選択され
た動きベクトルは、所定の優先順序で、次の（ｉ）〜
（ｉｉｉ）から選択される。 （ｉ）対応する探索ブロックから発生された動きベクト
ル（「ローカル」動きベクトル） （ｉｉ）囲んでいる探索ブロックから発生された動きベ
クトル（「隣接した」動きベクトル） （ｉｉｉ）前記グローバル動きベクトル

【００３６】動きベクトル選択器２３０は、また、サブ
サンプル時間軸変換器及び遅延器１８０により選択され
るとともに前記動きベクトルを計算するのに用いられた
前記２つの入力フィールドを、入力として受ける。これ
らのフィールドは、これらのフィールドがこれらのフィ
ールドから得られるベクトルと同時に動き選択器２３０
に供給されるように、適切に遅延される。この動きベク
トルは、動きベクトル低減器２２０によって供給された
当該ブロックに対する前記４つの動きベクトルから選択
される。

【００３７】前記ベクトル選択処理は、テスト中の動き
ベクトルにより指示された前記２つの入力フィールドの
テストブロック間の相関の度合を検出することを含む。
前記テストブロック間の相関の最も大きい度合を有する
前記動きベクトルが、前記出力画素の補間において使用
するために選択される。前記ベクトル選択器によって、
「動きフラグ」も発生される。このフラグは、前記ゼロ
動きベクトルにより指示されたブロック間の相関の度合
が予め設定された閾値より大きいならば、「静的（stat
ic）」（動きがない）に設定される。

【００３８】前記ベクトル後処理装置は、動きベクトル
選択器２３０により選択された前記動きベクトルを、画
像のどんな垂直又は水平スケーリング（scaling ）も反
映するように再フォーマットし、この再フォーマットさ
れたベクトルを補間器１４０に供給する。前記動きベク
トルを用いて、補間器１４０は、補間器１４０に現在供
給されている前記動きベクトルによって示されるどんな
画像の動きも考慮して、時間軸変更器及び遅延器１３０
により選択された対応する２つの（サブサンプリングさ
れていない）インターレース入力フィールドから１つの
出力フィールドを補間する。

【００３９】現在の出力画素が画像の動いている又は時
間的に変化している部分内にあることを前記動きフラグ
が示すならば、前記補間器に供給された前記２つの選択
されたフィールドからの画素は、（前記制御信号ｔによ
り示されたように）前記２つの入力フィールドについて
前記出力フィールドの時間位置に応じた相対比で結合さ
れ、その結果、より近い入力フィールドのより大きい比
が用いられる。前記動きフラグが「静的」にセットされ
ていれば、前記時間的重み付けは各入力フィールドの５
０％で固定される。補間器１４０の出力は、高精細度出
力信号として出力するため出力バッファ１５０に与えら
れるとともに、前記動きフラグを用いて、従来の精細度
の出力信号１６５を発生するダウンコンバータ１６０に
与えられる。

【００４０】ダウンコンバータ１６０は、従来の精細度
の装置を用いて、前記装置の出力（例えば、高精細度映
像信号）の表示をモニタし送信し及び／又は記録するこ
とができるようにする。これは、従来の精細度の記録装
置が高精細度の装置に比べて著しく安価であるとともに
非常に普及しているので、有益である。例えば、従来の
精細度の映像及び高精細度の映像を同時に出力すること
が、地上チャンネル及び衛星チャンネルによるそれぞれ
の送信に要求されるであろう。

【００４１】サブサンプリング器１７０は、マトリクス
回路１２０から受けた前記入力映像フィールドの水平及
び垂直空間サブサンプリングを行ってから、それらの入
力フィールドを時間軸変更器１８０に供給する。（２：
１の水平デシメーション（間引き）の本例では）前記入
力フィールドが最初に半帯域幅ローパスフィルタにより
プリフィルタリングされ、次に各映像ラインに沿った１
つおきの映像サンプルが放棄され、それによって各映像
ラインに沿ったサンプル数が１／２に減らされる、とい
う点において、水平サブサンプリングは簡単な動作であ
る。

【００４２】入力フィールドの垂直サブサンプリング
は、本実施例では、入力映像信号５０がインターレース
されているという事実によって複雑となっている。これ
は、各インターレースフィールド内の映像サンプルの連
続するラインが事実上離れた２つの映像ラインであると
いうこと、及び、各フィールド内の前記ラインが完全な
フレームの１つの映像ラインだけ前又は後のフィールド
内のラインから垂直に変位されているということを意味
する。

【００４３】垂直サブサンプリングへの１つのアプロー
チは、（各々が１１２５ラインを有する連続する順次走
査された映像フレームを発生するための）順次（プログ
レッシブ）走査変換を行い、その後、前記順次走査され
たフレームを２の率によってサブサンプリングして前記
垂直サブサンプリングを行うことであるかもしれない。
しかし、効率の良い順次走査変換はある程度の動き補償
処理を要求するかもしれず、その処理は動き処理装置１
８５の動作に逆に影響するかもしれない。さらに、高精
細度映像信号のリアルタイムの順次走査変換は、特に強
力で複雑な処理装置を要求するかもしれない。

【００４４】垂直サブサンプリングへのより簡単なアプ
ローチが、図２に示されている。図２においては、前記
入力フィールドは、まず、（潜在的なエイリアシングを
軽減するために）前記垂直方向にローパスフィルタリン
グされ、次に、（偶数フィールドに対して）下方に又は
（奇数フィールドに対して）上方に映像ラインの半分だ
け垂直に各画素を実効的に変位させるフィルタリング動
作が行われる。その結果として生ずる変位されたフィー
ルドは、２の率により垂直にサブサンプリングされた順
次走査されたフレームと概して同等である。

【００４５】要約すると、したがって、前述したサブサ
ンプリング動作の結果は、動き処理装置１８５が水平及
び垂直方向に２の率により空間的にサブサンプリングさ
れた入力フィールドの対に関して動作するということで
ある。これは、動きベクトル推定に要求される処理を４
の率により軽減する。

【００４６】図３は相関面３００の概略図である。該相
関面は、それからこの面が発生される前記２つの入力フ
ィールドのうちの早いものの探索ブロックと前記２つの
入力フィールドのうちの遅いもの内の（より大きい）探
索領域との間の差を示す。したがって、相関におけるピ
ークは、相関面３００上の最小点３１０によって表され
る。相関面３００上の最小点３１０の位置は、当該相関
面から得られる動きベクトルの大きさと方向を決定す
る。

【００４７】図１の装置においては、各動きベクトル
は、それぞれの相関面上の最小点を検出することによっ
て発生される。総計で、動き処理装置１８５に供給され
た入力フィールドの各対に対して、８０００個の相関面
が８０００個の動きベクトルの発生に使用するためにベ
クトル推定器２１０に供給される。

【００４８】図１の装置の処理要件を軽減するために、
総数の１／４の相関面のみが、ブロック突合せ器１９０
に供給された前記２つのサブサンプル入力フィールドの
ブロックの比較によって、発生される。動きベクトルの
発生に用いられるべき相関面は、次に、ブロック突合せ
により発生された相関面から補間される。これは、２０
００個の「オリジナル」相関面がブロック突合せ器１９
０により発生されて相関面処理装置２００に供給される
ことを意味しており、該相関面処理装置２００は、次
に、前記２０００個のオリジナル相関面から８０００個
の「補間」相関面を発生する。該８０００個の補間相関
面は動きベクトル推定に用いられる。

【００４９】図４、図５及び図６は、相関面処理装置２
００により行われる相関面の補間を概略的に示す。

【００５０】図４を参照すると、各オリジナル相関面４
００が、サブサンプル入力フィールドの対のうちの早い
ものの内の特定の位置の探索ブロックをサブサンプル入
力フィールドの対のうちの他のものの内の（より大き
い）探索領域と比較することによって、（ブロック突合
せ器１９０により）発生される。図５に示されるよう
に、前記探索ブロックは、それぞれの入力フィールド上
に置かれた格子パターン４２０内のそれぞれの位置（例
えば、位置４１０）の中央に置かれる。前記探索ブロッ
クから発生された前記オリジナル相関面は、前記格子４
２０上の対応するそれぞれの位置４１０を有している。

【００５１】前述したように、相関面の数をブロック突
合せにより発生された２０００個から動きベクトル推定
器２１０により要求される８０００個に増やすために、
補間処理が相関面処理装置２００で行われ、それにより
各オリジナル相関面４００から４つの補間相関面４３
０，４４０，４５０，４６０が発生される。（実際に
は、囲んでいるオリジナル相関面の数に各補間相関面が
依存するように、フィルタリング処理が用いられる。

【００５２】前記補間相関面４３０，４４０，４５０，
４６０は、オリジナル相関面４００の実効位置を中央と
しているがオリジナル相関面４００の位置から水平及び
垂直にわずかに変位された実効位置（effective positi
ons ）を有している。その変位は、オリジナル相関面の
格子（即ち、探索ブロックの格子４２０）の水平及び垂
直の間隔の分数として、図４に示されている。特に、オ
リジナル相関面４００から発生された４つの補間相関面
（以下、相関面をＣＳと呼ぶことがある。）４３０，４
４０，４５０，４６０の変位は、次の通りである。 補間相関面４３０：（−１／４水平に、−１／４垂直
に） 補間相関面４４０：（−１／４水平に、＋１／４垂直
に） 補間相関面４５０：（＋１／４水平に、＋１／４垂直
に） 補間相関面４４０：（＋１／４水平に、−１／４垂直
に）

【００５３】前述の変位を用いて相関面を補間すること
の効果が、図６に示されている。図６は、前記補間相関
面の実効位置４８０の格子４７０を示している。比較の
ため、オリジナル相関面の位置を示す格子４２０も、図
６中に（破線で）示されている。

【００５４】動きベクトルを発生するための補間相関面
の使用を図７並びに図８の（ａ）及び（ｂ）を参照して
説明する。特に、図７はその中で垂直のバー５１０が時
計方向に回転する画像の一部５００の概略図であり、図
８の（ａ）及び（ｂ）はそれぞれ、バー５１０の動きを
表すために前記画像から発生されたオリジナル相関面及
び補間相関面を示す。

【００５５】図７において、バー５１０の頂部の動きの
水平成分は＋ｖａであり、バー５１０の底部の動きの水
平成分は−ｖａである。バー５１０の回転中心５２０に
おけるゼロを通って、前記バーの長さに沿って水平成分
が連続的に変化している。

【００５６】図８（ａ）に示すように、３つのオリジナ
ル相関面５３０，５４０，５５０が前記画像の部分５０
０から発生され、これらのオリジナル相関面の各々を通
るそれぞれの断面が示されている。相関面５３０におい
て、最小点５３５は、バー５１０の頂部の動きを表し、
＋ｖａの動きの水平成分に対応する。相関面５４０にお
いて、最小点５４５は、ゼロの動きを示す点にあり、し
たがって、バー５１０の中心５２０の動きを表す。最後
に、相関面５５０において、最小点５５５は、−ｖａの
水平成分を示す点にあり、したがって、前記バーの底部
の動きを表す。

【００５７】前述したように、オリジナル相関面５３
０，５４０，５５０は、動きベクトルの発生においてベ
クトル推定器２１０により使用されない。代わりに、前
記オリジナル相関面の水平及び垂直間隔の１／２の、補
間相関面が、動きベクトルの補間における使用のために
発生される。５つのそのような補間相関面５６０，５７
０，５８０，５９０，６００を通る断面が図８（ｂ）に
示されている。該５つの補間相関面５６０，５７０，５
８０，５９０，６００は、下記のそれぞれの水平動き成
分を示す、それぞれの最小点５６５，５７５，５８５，
５９５，６０５を有している。 最小点５６５：＋ｖａ （バー５１０の頂部の水
平の動き） 最小点５７５：＋ｖａ／２ （バー５１０の頂部と中
心５２０との間の点の水平の動き） 最小点５８５：０ （バー５１０の中心５２
０の水平の動き） 最小点５９５：−ｖａ／２ （バー５１０の中心５２
０と底部との間の点の水平の動き） 最小点６０５：−ｖａ （バー５１０の底部の水
平の動き）

【００５８】５つの補間相関面５６０，５７０，５８
０，５９０，６００は、したがって、オリジナル相関面
５３０，５４０，５５０の垂直空間解像度の２倍で回転
するバー５１０の動きを表す。

【００５９】図９及びこれに連続する図１０は、前記相
関面が補間される相関面処理装置２００の各半部を示す
概略ブロック図である。

【００６０】図９及び図１０の装置では、前記オリジナ
ル相関面を示す入力データ６１０が、ブロック突合せ器
１９０から多数の相関面遅延器６２０へシリアル（直
列）形式で供給される。各相関面遅延器６２０は、１つ
の相関面を示すデータの送信時間と同等の期間だけ入力
データ６１０を遅延させる。これは、相関面遅延器６２
０の各々の入力及び出力でのデータが２つの隣接する相
関面内の同一の点を表すことを意味する。

【００６１】入力データ６１０は、相関面の完全な１行
（row ）（すなわち、探索ブロックの完全な１行から発
生された相関面）の送信時間と同等の期間だけそのデー
タを遅延させる２つの行遅延器６３０，６４０にも供給
される。これは、行遅延器（６３０又は６４０）の入力
及び出力でのデータが２つの隣接する行内の対応する位
置での２つの相関面内の同一の点を表すことを意味す
る。行遅延器６３０，６４０の各々の出力は、直列の４
つの相関面遅延器６２０に供給される。

【００６２】入力データ６１０、相関面遅延器６２０の
各々の出力でのデータ、及び行遅延器６３０，６４０の
各々の出力でのデータは、加算器６５０により加算され
る前に、それぞれのフィルタ係数Ｃ００，Ｃ０１，・・
・，Ｃ４２が乗算される。加算器６５０の加算出力６６
０は、１つの補間相関面内の連続する点を表す。図９及
び図１０に示されたフィルタリングの構成を用いること
によって、各補間相関面は、１５個の囲んでいるオリジ
ナル相関面内の対応する位置を示すデータの、フィルタ
リングされた組合せによって得られる。

【００６３】図９及び図１０に示された装置を用いて前
記要求された８０００個の相関面を発生することによっ
て、８０００個の相関面がブロック突合せにより直接発
生される場合に要求されるより著しく少ないデータ処理
ハードウエアが要求される。

【００６４】図９及び図１０の装置により補間された相
関面が動きベクトル推定器２１０に与えられると、それ
らは調べられて各面内の最小の差の点（最大相関の点）
を検出する。該最小の差の点からそれぞれの動きベクト
ルが発生される。実際の最小の点の周りの除外領域から
離れた、２番目に最も低い最小点も前記相関面から検出
される。次に、信頼テストが行われて前記相関面の残り
について前記オリジナル最小点の有意性（significanc
e）が検出される。前記信頼テストを通過するこれらの
動きベクトルのみが、補間器１４０による引き続く使用
のために利用可能にされる。

【００６５】前記ブロック突合せ器に供給された入力フ
ィールドが空間的にサブサンプリングされるということ
は、前記オリジナル相関面の計算が、そうでない場合に
要求されるであろう強力な処理より少ない処理で済むと
いうことを意味する。しかしながら、前記サブサンプリ
ングは、前記オリジナル相関面及び前記補間相関面の空
間的解像度が対応する量だけ低減されるという結果もも
たらす。

【００６６】図１１は、動きベクトル推定器２１０の概
略ブロック図であり、前記入力フィールドの前記空間的
サブサンプリングにより引き起こされる前記相関面の空
間解像度の低減がいかにして克服され得るかを示してい
る。動きベクトル推定器２１０は、ブロック突合せ器１
９０からデジタル形式で相関面を受ける。動きベクトル
推定器２１０は、相関最大検出器２１２、相関面補間器
２１４及び改訂最大検出器２１６を含む。改訂最大検出
器２１６は、前記相関面からの動きベクトルを動きベク
トル低減器２２０に供給する。

【００６７】動きベクトル推定器２１０の動作を図１２
を参照して説明する。図１２は、前記相関面を通る（Ａ
−Ａ線に沿った）断面と一緒に、相関面上の点のアレイ
を示す。相関最大検出器２１２は、ブロック突合せ器１
９０から前記相関面を受け、「オリジナル」最大と呼ば
れる点２１８のような最大相関の点を検出する。相関最
大検出器２１２は、点２１８の値及び前記相関面上のそ
れの位置を出力する。

【００６８】前記相関面補間器２１４は、前記オリジナ
ル最大点２１８の位置を前記オリジナル相関面を表すデ
ータと一緒に受け、２次元補間器を用いて点２１８を囲
む８個の追加の点を補間する。前記補間点での補間相関
値は、前記補間相関値のいずれかが前記オリジナル最大
より大きい最大を示すかを検出する改訂最大検出器２１
６に、前記オリジナル最大値と一緒に、供給される。図
１２に示される例では、補間点２１９が点２１８より大
きい最大を示しているので、点２１９によって決まる動
きベクトルが発生されて動きベクトル低減器２２０に与
えられる。

【００６９】前述したように、動きベクトル低減器２２
０は、前記動きベクトルが動きベクトル選択器２３０に
供給される前に、前記出力フィールドの各画素に対する
可能な動きベクトルの選択を低減させるように、動作す
る。前記出力フィールドは概念上画素のブロックに分割
され、各ブロックは、前記選択された入力フィールドの
うちの早いもの内の探索ブロックの位置に対応する位置
を前記出力フィールド内に有する。前記動きベクトル低
減器は、前記出力フィールドの各ブロックに関連される
べき４つの動きベクトルからなるグループをまとめ、当
該ブロック内の各画素が結局は当該グループの４つの動
きベクトルのうちの選択された１つを用いて補間され
る。各ブロックに対する前記４つの動きベクトル（前記
ゼロ動きベクトル及び他の３つのベクトル）は、ベクト
ル選択器２３０に与えられる。

【００７０】動きベクトル選択器２３０は、各出力画素
の補間に使用するために、各ブロックに対応する前記４
つの動きベクトルのそれぞれの１つを選択する。この選
択は、前記４つの動きベクトルの各々により指示され
た、画素のテストブロックを比較して前記テストブロッ
ク間の最も高い度合の相関を有する動きベクトルを選択
することによって、行われる。空間的にサブサンプリン
グされた入力フィールドの使用がこの処理に与える影響
をより少なくするために、前記テストブロック内の画素
値は、以下に述べるように、囲んでいる画素から補間さ
れる。

【００７１】図１３及び図１４は、動きベクトル選択器
２３０により行われる画素の補間を示す。

【００７２】前述したように、動きベクトル選択器２３
０は、動きベクトル低減器２２０からのローカル動きベ
クトル及びグローバル動きベクトルと、前記２つのサブ
サンプリングされた入力フィールドであってこれらから
前記動きベクトルが発生された入力フィールドと、時間
軸変更器１８０からの前記制御信号ｔと、を受ける。現
在の出力フィールド７０５内の各画素７００に対して、
前記動きベクトル選択器は、当該画素に対する前記４つ
の可能な動きベクトルの各々を、前の入力フィールド７
１０及び後の入力フィールド７２０の各々内の当該動き
ベクトルにより指定された画素のブロックを比較するこ
とによって、テストする。この比較は、前記２つのブロ
ック内の対応する画素間の絶対輝度差の総和を計算する
ことによって、行われる。その総和が低いほど前記ブロ
ック間の相関は高い。しかしながら、入力フィールド７
１０，７２０が水平方向には２の率で垂直方向には２の
率でサブサンプリングされるので、１つおきの画素が前
記ブロックから欠けており、したがって、動きベクトル
選択中に行われる前記テストのため前記欠けている画素
を再構成するために、補間が用いられている。図１４に
おいて、補間されるべき欠けている画素は、Ｐ1 〜Ｐ5
によって表されており、存在している画素Ａ，Ｂ，Ｃ，
Ｄから次のようにして発生される。 Ｐ１＝（Ａ＋Ｂ）／２ Ｐ２＝（Ａ＋Ｃ）／２ Ｐ３＝（Ａ＋Ｂ＋Ｃ＋Ｄ）／４など。１つのインターレ
ース映像フォーマットをもう１つのインターレース映像
フォーマットに変換する例を述べてきたが、本装置は、
下記を含む多数のインターレース及びノンインターレー
スフィルム及び映像信号フォーマット間の変換に適して
いる。１１２５／６０、２：１のインターレース映像信
号、１１２５／３０、１：１のノンインターレース映像
信号、１２５０／５０、２：１のインターレース映像信
号、１２５０／２５、１：１のノンインターレース映像
信号、５２５／６０、２：１のインターレース映像信
号、５２５／３０、１：１のノンインターレース映像信
号、６２５／５０、２：１のインターレース映像信号、
６２５／２５、１：１のノンインターレース映像信号、
及び１１２５／２４、３２３２のプルダウン（pull-dow
n ）映像信号。

【００７３】ここでは添付図面を参照して本発明の図示
した実施例を詳細に説明してきたが、本発明は、それら
の厳密な実施例に限定されるものではなく、請求項によ
り定義される本発明の範囲及び精神を逸脱することな
く、それらの種々の変更及び修正を行い得るものであ
る。

【００７４】

【発明の効果】したがって、要約すると、本発明の多数
の特徴は、変換処理の質及び解像度を著しく低下させる
ことなく、高精細度映像信号への標準方式変換、高精細
度映像信号からの標準方式変換、及び、高精細度映像信
号から高精細度映像信号への標準方式変換の処理必要要
件を軽減するのに役立つ。これらの特徴は、以下の通り
である。 １．インターレース入力フィールドからの出力フィール
ドの補間。これによって、入力フィールドの順次走査の
必要性が取り除かれる。 ２．前記入力フィールドの空間的にサブサンプリングさ
れたものからの動きベクトルの発生。これによって、本
実施例では４の率で、ブロック突合せの処理費が軽減さ
れる。 ３．２０００個のオリジナル相関面から８０００個の相
関面を補間すること。８０００個の動きベクトルが発生
され引き続く補間において使用可能にされ得るが、ブロ
ック突合せ処理は２０００回行われるのみである。 ４．サブピクセル精度まで各補間相関面内で最小検出を
行うこと。これは、サブサンプリング処理により生ずる
相関面の解像度のロスを軽減するのに役立つ。 ５．動きベクトル選択中にテストブロックにおいて使用
するために画素値が補間される。これも、サブサンプリ
ング処理により生ずる相関面の解像度のロスを軽減する
のに役立つ。

【００７５】前述の方策を適用する結果として、前述の
処理必要要件を軽減するという効果との組合せて、（本
実施例では）高精細度映像信号フォーマット間でリアル
タイムに変換するように装置を構成できるという効果が
得られる。

【図面の簡単な説明】

【図１】本発明を用いた動き補償テレビジョン標準方式
変換装置の概略ブロック図である。

【図２】インターレース映像フィールドの垂直サブサン
プリングを説明する概略図である。

【図３】相関面の例を示す概略図である。

【図４】相関面の補間を概略的に説明する図（その１）
である。

【図５】相関面の補間を概略的に説明する図（その２）
である。

【図６】相関面の補間を概略的に説明する図（その３）
である。

【図７】回転バーを含む画像の一部の概略図である。

【図８】図７の画像から得られたオリジナル相関面及び
補間相関面の概略図である。

【図９】相関面処理装置の半部の概略ブロック図であ
る。

【図１０】図９と連続する図であって、前記相関面処理
装置の他の半部の概略図である。

【図１１】動きベクトル推定器の概略ブロック図であ
る。

【図１２】相関面上の点のアレイを説明する図である。

【図１３】動きベクトル選択中に行われる画素補間を概
略的に説明する図（その１）である。

【図１４】動きベクトル選択中に行われる画素補間を概
略的に説明する図（その２）である。

【符号の説明】

１４０ 補間器（動き補償補間器） １６０ ダウンコンバータ １７０ サブサンプリング器 １８０ 時間軸変更器及び遅延器 １８５ 動き処理装置 １９０ ブロック突合せ器（ブロック比較器） ２００ 相関面処理装置 ２１０ 動きベクトル推定器 ２２０ 動きベクトル低減器 ２３０ 動きベクトル選択器 ２４０ 動きベクトル後処理装置

フロントページの続き (31)優先権主張番号 ９３０７４１０：２ (32)優先日 1993年４月８日 (33)優先権主張国 イギリス（ＧＢ） (31)優先権主張番号 ９３０７４１１：０ (32)優先日 1993年４月８日 (33)優先権主張国 イギリス（ＧＢ） (31)優先権主張番号 ９３０７４４２：５ (32)優先日 1993年４月８日 (33)優先権主張国 イギリス（ＧＢ） (31)優先権主張番号 ９３０７４４８：２ (32)優先日 1993年４月８日 (33)優先権主張国 イギリス（ＧＢ） (31)優先権主張番号 ９３０７４７３：０ (32)優先日 1993年４月８日 (33)優先権主張国 イギリス（ＧＢ） (72)発明者 マーチン レックス ドリコット イギリス国 ハンプシャー，ベーシングス トーク，ベーシング，リングフィールド クロース ６ (72)発明者 カール ウィリアム ウォルターズ イギリス国 バークシャー，レディング, グレートノリス ストリート 139

Claims (16)

【特許請求の範囲】
1. 【請求項１】 入力デジタル映像信号の入力画像をサブ
   サンプリングして対応するサブサンプル画像を発生する
   サブサンプリング器と、 前記サブサンプル画像の対からの画素のブロックを比較
   して第１の複数個のオリジナル相関面を発生するブロッ
   ク比較器であって、前記オリジナル相関面の各々は前記
   それぞれの画素のブロック間の相関を示す相関値のアレ
   イを含むものであるブロック比較器と、 前記オリジナル相関面から補間によって第２の複数個の
   補間相関面を発生する手段であって、前記第２の複数個
   の数が前記第１の複数個の数より大きい相関面発生手段
   と、 各補間相関面内の相関値間を補間して前記補間相関面内
   の最大相関の点を検出する手段と、 前記補間相関面内の前記検出された最大相関の点に応じ
   て、各補間相関面からそれぞれの動きベクトルを発生す
   る手段と、 サブサンプル画像の前記対内の、テスト中の動きベクト
   ルにより指示されたテストブロックを比較することによ
   って、出力デジタル映像信号の出力画像のそれぞれの画
   素の補間に使用するための動きベクトルを選択する手段
   であって、各テストブロックが前記それぞれのサブサン
   プル画像の画素及び該画素から補間されたテスト値を含
   む動きベクトル選択手段と、 前記それぞれの選択された動きベクトルに応じて、サブ
   サンプル画像の前記対に対応する前記入力デジタル映像
   信号の入力画像の対から前記出力画像を補間する動き補
   償補間器とを含むことを特徴とする動き補償映像信号処
   理装置。
2. 【請求項２】 請求項１記載の動き補償映像信号処理装
   置であって、 前記入力デジタル映像信号が所定の解像度を有し、 デジタル映像信号を受信する手段と、前記受信されたデ
   ジタル映像信号が前記所定の解像度より低い解像度を有
   している場合に、前記受信されたデジタル映像信号にダ
   ミー画素値を加えて前記入力デジタル映像信号を発生す
   る手段とを含むことを特徴とする動き補償映像信号処理
   装置。
3. 【請求項３】 請求項２記載の動き補償映像信号処理装
   置であって、前記ダミー画素値が黒色画素を示す画素値
   であることを特徴とする動き補償映像信号処理装置。
4. 【請求項４】 請求項１記載の動き補償映像信号処理装
   置であって、前記最初に述べた出力デジタル映像信号か
   ら第２の出力デジタル映像信号を発生するダウンコンバ
   ータを含み、該第２の出力デジタル映像信号が前記最初
   に述べた出力デジタル映像信号より低い解像度を有する
   ことを特徴とする動き補償映像信号処理装置。
5. 【請求項５】 請求項１記載の動き補償映像信号処理装
   置であって、 それぞれの出力画像の補間に使用するために入力画像の
   対を選択する第１の時間軸変更器と、 サブサンプル画像の対であって前記第１の時間軸変更器
   により選択された入力画像の前記対に対応するものを、
   サブサンプル画像の当該対の間の画像の動きを示す動き
   ベクトルのそれぞれのセットの発生に使用するために、
   選択する第２の時間軸変更器とを含むことを特徴とする
   動き補償映像信号処理装置。
6. 【請求項６】 請求項５記載の動き補償映像信号処理装
   置であって、 前記第１の時間軸変更器は、当該画像の補間に使用する
   ために選択された入力画像の前記対について各出力画像
   の時間位置を示す制御信号を発生する手段を含み、 前記第２の時間軸変更器は、動きベクトルの前記発生に
   使用するために選択されたサブサンプル画像の前記対に
   ついて各出力画像の時間位置を示す制御信号を発生する
   手段を含むことを特徴とする動き補償映像信号処理装
   置。
7. 【請求項７】 請求項１記載の動き補償映像信号処理装
   置であって、前記入力デジタル映像信号が高解像度映像
   信号であることを特徴とする動き補償映像信号処理装
   置。
8. 【請求項８】 請求項１記載の動き補償映像信号処理装
   置であって、前記入力デジタル映像信号がインターレー
   ス映像信号であることを特徴とする動き補償映像信号処
   理装置。
9. 【請求項９】 請求項１記載の動き補償映像信号処理装
   置であって、 前記入力デジタル映像信号が、 １１２５／６０、２：１のインターレース映像信号、 １１２５／３０、１：１のノンインターレース映像信
   号、 １２５０／５０、２：１のインターレース映像信号、 １２５０／２５、１：１のノンインターレース映像信
   号、 ５２５／６０、２：１のインターレース映像信号、 ５２５／３０、１：１のノンインターレース映像信号、 ６２５／５０、２：１のインターレース映像信号、 ６２５／２５、１：１のノンインターレース映像信号、
   及び１１２５／２４、３２３２のプルダウン映像信号 からなるグループから選択されることを特徴とする動き
   補償映像信号処理装置。
10. 【請求項１０】 請求項１記載の動き補償映像信号処理
    装置であって、前記出力デジタル映像信号が高解像度映
    像信号であることを特徴とする動き補償映像信号処理装
    置。
11. 【請求項１１】 請求項１記載の動き補償映像信号処理
    装置であって、前記出力デジタル映像信号がインターレ
    ース映像信号であることを特徴とする動き補償映像信号
    処理装置。
12. 【請求項１２】 請求項１記載の動き補償映像信号処理
    装置であって、 前記出力デジタル映像信号が、 １１２５／６０、２：１のインターレース映像信号、 １１２５／３０、１：１のノンインターレース映像信
    号、 １２５０／５０、２：１のインターレース映像信号、 １２５０／２５、１：１のノンインターレース映像信
    号、 ５２５／６０、２：１のインターレース映像信号、 ５２５／３０、１：１のノンインターレース映像信号、 ６２５／５０、２：１のインターレース映像信号、 ６２５／２５、１：１のノンインターレース映像信号、
    及び１１２５／２４、３２３２のプルダウン映像信号 からなるグループから選択されることを特徴とする動き
    補償映像信号処理装置。
13. 【請求項１３】 請求項１記載の動き補償映像信号処理
    装置を含むことを特徴とするテレビジョン標準方式変換
    装置。
14. 【請求項１４】 請求項１記載の動き補償映像信号処理
    装置を含むことを特徴とするフィルム標準方式変換装
    置。
15. 【請求項１５】 フィルム標準方式とテレビジョン標準
    方式との間の変換を行う装置であって、請求項１記載の
    動き補償映像信号処理装置を含むことを特徴とする標準
    方式変換装置。
16. 【請求項１６】 入力デジタル映像信号の入力画像をサ
    ブサンプリングして対応するサブサンプル画像を発生す
    る段階と、 前記サブサンプル画像の対からの画素のブロックを比較
    して第１の複数個のオリジナル相関面を発生する段階で
    あって、前記オリジナル相関面の各々は前記それぞれの
    画素のブロック間の相関を示す相関値のアレイを含むも
    のである段階と、 前記オリジナル相関面から補間によって第２の複数個の
    補間相関面を発生する段階であって、前記第２の複数個
    の数が前記第１の複数個の数より大きい段階と、 各補間相関面内の相関値間で補間して前記補間相関面内
    の最大相関の点を検出する段階と、 前記補間相関面内の前記検出された最大相関の点に応じ
    て、各補間相関面からそれぞれの動きベクトルを発生す
    る段階と、 サブサンプル画像の前記対内のテストブロックであって
    テスト中の動きベクトルにより指示されたテストブロッ
    クを比較することによって、出力デジタル映像信号の出
    力画像のそれぞれの画素の補間に使用するために動きベ
    クトルを選択する段階であって、各テストブロックが前
    記それぞれのサブサンプル画像の画素及び該画素から補
    間されたテスト値を含むものである段階と、 前記それぞれの選択された動きベクトルに応じて、サブ
    サンプル画像の前記対に対応する前記入力デジタル映像
    信号の入力画像の対から前記出力画像を補間する段階と
    を含むことを特徴とする動き補償映像信号処理方法。