JPH03502628A

JPH03502628A - 動き推定回路

Info

Publication number: JPH03502628A
Application number: JP63507635A
Authority: JP
Inventors: パーク　イアン
Original assignee: ブリティシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニ
Priority date: 1987-09-25
Filing date: 1988-09-22
Publication date: 1991-06-13
Anticipated expiration: 2015-02-14
Also published as: EP0309251B1; WO1989003152A1; DK76990D0; IE61586B1; DE3885695D1; JP3009674B2; FI96563C; EP0309251A1; US5083202A; HK154596A; GB2229603A; IE882886L; FI96563B; CA1318970C; AU2484388A; FI901458A0; AU609536B2; GB8722612D0; GB2229603B; DE3885695T2

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】動き推定回路〔利用分野〕本発明は動きの推定に関する。特に、フレーム間差分符号化を用いた映像符号器に利用するに適するが、これに限定されるものではない。

〔背景技術〕

第１図は従来から知られている映像符号器の形態を示す。映像信号（一般にはディジタル形式）は入力端子１から入力される。減算器２はこの入力と予測回路３からの予測信号との差を生成する。生成された差出力は符号器４により符号化される。ここで行われる符号化は本発明にとって本質的なものではないが、例えば量子化や変換符号化のしきい値（零または微小な差異の伝送を抑圧するため）を含むものと考えられる。予測回路３の入力は、予測値と局部復号器６で復号化された符号化差信号との加算値であり（このため、符号化および復号化の処理による損失が予測ループ内に含まれる）、加算器５により求められる。

差分符号化が基本的にフレーム間で行われ、予測回路３は単純な１フレ一ム分の遅延回路により構成される。ただし、図示したように、動き推定回路７が設けられる。この動き推定回路７は、符号化される画像のフレームと、予測回路３に供給された前のフレームとを比較する。現在のフレームの各ブロック（このブロックに画像が分解されているとみなす）に対して、そのブロックに最も似ている前のフレームの領域を識別する。識別された領域と着目するブロックとの間の位置の差異をベクトルで表し、このベクトルを以下ｒ３きベクトル」という（これは、このベクトルが、通常はテレビジョン画面に表示された背景内での物質の移動を表すからである）。この動きベクトルは予測回路３に供給され、前のフレームの識別された領域を現在のフレームの対応するブロックの位置に移動させる。

これにより、予測回路３の出力する予測値の精度が高められる。この結果、減算器２の生成する差出力が平均的に小さくなり、符号器４による画像信号の符号化を低ビツト速度で行うことができる。

動き推定回路７は、典型的には、個々のブロックを前のフレームの対応するブロックおよびそのブロック位置から偏位した領域と比較しなければならず、処理量が非常に大量になり、場合によっては、二つのフレームをメモリに蓄えて何度も読み出す必要がある。

〔発明の開示〕

本発明は請求の範囲に記載の請求項により定義される。

本発明の一実施例について添付図面を参照して説明する。

〔図面の簡単な説明〕

第１図は公知の映像符号器を示すブロック構成図。

第２図はテレビジョン画面を表す図であり、座標および調査領域を示す図。

第３図は本発明実施例の動き推定回路の一部（第５図のＰＩ）を表すブロック図。

第４図は第２図における調査領域ＳＮを示す図。

第５図は動き推定回路の全体構成を示すブロック構成図。

第６図は第５図における比較・並べ替えユニッ）　ＣＳＯのブロック構成図。

〔発明の開示〕

ここで説明する動き推定回路は、一つのテレビジョン画面を表す符号化された「現在」のフレームについて、水平方向に８画素、鉛直方向に８走査線を含むブロックに分割して処理するものとする。

基本的にはインターレース方式の場合にも本発明を同様に実施できるが、説明を簡単にするため、ノン・インターレース方式の画像を仮定する。動き推定回路は、それぞれのブロックに対して動きベクトルを生成する。動きベクトルは、前のフレームの画像の指定された調査領域内で、着目しているブロックに最も似ている８画素×８走査線の領域の位置を示すものである。第２図は、８画素×８走査線のブロックＮ（斜線で示す）を含む画面フィールドを、このブロックＮに対する典型的な２３画素Ｘ２３走査線の調査領域を長方形Ｓ８とともに示す。水平方向の画素および鉛直方向の走査線を左上端の角を原点とする座標Ｘｓｙで表すとき、左上端の座標が：ＫＨ１ＹＮで表されるブロックに対する調査領域は、水平方向にｌ：ｘ、ｌ　８）から［ＸＮ　＋１４３　、鉛直方向に〔ｙ、Ｉ−８〕から〔ｙＨ斗１４〕の領域となる。

動きベクトルを得るためには、着目するブロックと、調査領域内にふける前のフレームの２５６個の８画素×８走査線領域、すなわち左上端の画素の座標がＸＮ　＋ｕ、’ｉ、４＋ｖでｕ、ｖが−８〜＋７の領域とをそれぞれ比較して調査する必要がある。動きベクトルはＵとＶとの値で表され、比較結果が最も似ているものを示す。どれだけ似ているかの試験は、従来からあるどのような方法を利用してもよく、例えば、「現在の」ブロック内のそれぞれの画素と前のフレームの対応する領域との間の差の絶対値の総和を求める方法を用いることができる。

したがって、現在のフレームの画素値がａ（ｉ、ｊ）で前のフレームの画素値がｂ（ｉ、ｊ）のとき、差の総和は、Ｅ　、、　、　（ｖ、　ｕ）　＝ Σ　　Σ　　Ｉ　　ａ　　（ｘ＋ｉ、ｙ＋ｊ）−ｂ　（ｘ＋ｕ＋ｉ、ｙ＋ｖ＋ｊ）１１−１１　　Ｊｍ＆となる。

一般には、調査を現在の画像の各ブロックに対して順番に行う。

しかし、一つブロックに関連する調査領域が多数のブロック　（画像の端から離れたブロックの場合には２４個の別のブロック）の調査領域と重なりあうので（第２図において破線によりブロックＮ＋１として示した調査領域を参照）、フレームメモリに蓄えられた前のフレーム情報に何度もアクセスする必要が生じる。

これは、時間を費やすとともに、他の符号化機能に悪影響を及ぼす。

ここで説明する動き推定回路は、（ａ）　　符号化しようとする画像の「現在の」フレームに対応するディジタル映像信号と、（ｂ）　　画像の前のフレームに対応するディジタル映像信号とが実時間で入力されるものと仮定する。

信号は、第一走査線上の連続する画素の輝度を表す８ビツトで１語のディジタル信号列（必要ならば色信号についても同様に処理する）と、これに続く第二、第三およびその後続の走査線に対する同様の信号列とを含む。

上述したブロック毎の処理とは異なり、この装置は、画像の特定の走査線を含む比較を連続的に実行する。これは、前のフレームに対して合計で１６走査線分の遅延に対応するメモリ容量が必要なだけである。

第３図は装置の一部を示し、その動作は第４図を参照して説明する。８画素×８走査線のブロックまたは領域の画像内における「位置」を、その左上画素のＸ％ｙ座標で定義する。したがって、第４図におけるブロックＮの位置はｘ、ｙである。第２図の装置は、ｘｌｙの位置の８画素×８走査線のブロックＮについて、［Ｘ＋Ｕ）、［ｙ＋ｖｌの位置の８画素×８走査線の領域と比較する。ここで、Ｕは−８〜＋７であり、ＶはＯ〜＋７である。すなわち、比較の対象となる領域は、その位置が第４図に破線で示された領域のうち下側の領域Ｓ１内にあるものである。第３図において、前のフレームは（９画素遅延回路ＸＤを経由して）入力端子Ｐ■から入力される（図中のすべての信号経路は、交差する線とそれに隣接する数字とで特に示さない限り８ビツトである）。入力されたフレームは、８個の一走査線遅延ユニッ）　ＬＤＩ〜ＬＤ８により構成されたタップ付遅延線に供給される。このタップ付遅延線により、画像の各走査線に対する信号が遅延ユニットＬＤ８から出力されるとともに、それに続く７本の走査線に対する信号が遅延ユニツ）　ＬＤ７　、ＬＤ６・・・から出力される。

現在の画像信号は、入力端子ＣＩを経由して、８個の遅延要素ＯＳＩ〜ＤＳ８を含む遅延線に供給される。それぞれの遅延要素ＤＳＩ〜ＤＳ８は一走査線分に相当する遅延ユニットを備え、各遅延要素ＯＳＩ〜ＤＳ８の半分により８走査線周期の遅延線を構成し、他の半分により循環メモリを形成する。８走査線を一つのグループとし、そのグループの最後の走査線が遅延線に入力されたときに、各遅延要素ＯＳＩ〜ＤＳ８の二つの部分の役割を反転させる。これにより、次の８走査線が遅延線に入力されているときに、既に入力された８走査線分のデータが循環メモリから繰り返し得られる。

したがって、第４図を参照すると（９画素のオフセットを無視し、ｙが最初のブロックであるき仮定する）、Ｘ＋７の走査線が入力されると、現在のフレームのｙ、Ｘ＋１、・・・Ｘ＋７の走査線のデータが遅延要素ＤＳ８　、ＯＳ？　、・・・ＤＳＩから出力され、その一方で、前のフレームのｙ１ｙ＋１、・・・Ｘ＋７が遅延ユニットＬＤ８　、ＬＤ？　、・・・ＬＤＩから出力される。

遅延ユニツ）　ＬＤ８の出力と遅延要素ＤＳ８の出力とは（どちらも８ビツト幅）、画素速度をクロックとして、それぞれ８段構成の直並列変換レジスタＰＳ８　、ＣＳ８に入力される。直並列変換レジ久りｃＳａの８出力は、フレームの水平ブロック構造に同期して１６画素毎に、ラッチ回路ＣＬ８にラッチされる。したがって、走査線ｙの画素Ｘ千７が直並列変換レジスタＣＳ８に入力されると、次のクロックパルスで、ラッチ回路ＣＬ８の出力に画素Ｘ〜［ｘ＋７］が得られる。このとき、画素ｘ−８〜ｘ−１が、直並列変換レジスタＰＳ８の出力に得られる　（９画素遅延回路ＸＤにより）。

直並列変換レジスタＰＳ８およびＣｌ３の出力は、減算器Ｍ８１〜Ｍ８８に供給され、差のモジュロ加算が加算善人８により求められる。したがって、上述した状況では、加算出力が、現在の画像ブロックＮの第一走査線と第４図の破線で示した領域の第一走査線との間の「差の総和」を表す。

遅延ユニッ）　Ｌ１２および遅延要素ＤＳ８の出力に設けられた直並列変換レジスタＰＳ８　、ＣＳ８　、ラッチ回路ＣＬ８、減算器１８１〜Ｍ８８および加算善人８の構成は、遅延ユニッ）　ＬＤ７〜ＬＤ！および遅延要素ＯＳ７〜ＤＳＩのそれぞれの組み合せに対しても同様に設けられる（第１図には図面の明確のため図示していない）。これらの動作は遅延ユニッ）　ＬＤ８および遅延要素ＤＳ８の出力に設けられたものと同等であるが、遅延線の上段のタップに接続されているので、処理の対象となるのは同じ画像の後の７走査線である。加算善人８〜Ａｌの出力は加算器ＡＡにより加算され、現在のブロックＮと、前のフレームのうち第４図に破線で示した８画素ｘ８走査線の領域との間の「差の総和」が生成される。この値が上述した式のＥ　、、　、　（−８，Ｏ）である。

１画素クロック周期の後には、直並列変換レジスタＰＳ８〜ＰＳ１が画素ｘ−８〜ｘ−１の代わりに、ｘ−７〜Ｘを蓄える。ラッチ回路ＣＬＩ３の出力は変化しないので、そのときの比較結果は現在のブロックとブロック〔ｘ−７）、０との間のものとなり、加算器ＡＡの出力はＥ　、、　、　（−７，０）となる。この処理は１６ブロツク周期にわたり続けられ、その結果、加算器ＡＡはＥ　、、　、　（−８，０）、Ｅ　、、　、　（−７，０）、・・・Ｅ　、、　、　（７，０）の１６個の値を生成する。このようにして、第４図の硫査領１ｔＳＬに対する最初のバスが終了する。

このときまでに、現在のフレームの一つおいて次のブロックＮ十２の画素（すなわち水平座標で（ｘ＋１６）〜（ｘ＋２３））が、新しく直並列変換レジスタＣＳ８・・・に蓄えられる。これらの画素はラッチ回路ＣＬ８・・・に入力され、これと同時に直並列変換レジスタＰＳ８からは、新しいブロックに対する調査点に対応して、画素（Ｘ＋８）〜（ｘ＋１６）が出力される。この状態でブロックＮ＋２に対して最初のバスを実行する。続いて、その走査線が終了するまで、連続的に一つおきのブロックを処理する。

走査線周期が終了すると、前のフレームの走査線ｙ−＋−１が遅延ユニットＬＤ８の出力に現れるが、遅延要素ＤＳ８の出力には、その巡回動作により、現在のフレームの走査線ｙが再び現れる。これにより、ブロックＮに対する第二のバスを処理する。このときには、第４図の破線で示した領域が１走査線だけ下にずれたものと比較する。このようにして、８走査線周期の後に、ブロックＮと領域Ｓ１で定義されたすべての領域との比較が完了する（同時に、一つの行における偶数番目のすべてのブロックに対する処理が完了する）。

このとき、遅延要素ＯＳ８〜ＤＳＩにクロックが供給され、現在のフレームの走査線ｙ＋８〜ｙ＋１５がその出力に得られる。これとほぼ同時に、前のフレームの走査線ｙ＋８が遅延ユニツ）　ＬＤ８の出力に現れ、次の行のブロックを処理できるようになる。

しかし、ブロックＮに対する調査処理は不完全である。すなわち、調査領域Ｓ２　（第４図）については処理されていない。また、奇数番目のブロックには注意が払われていない。第５図を参照すると、第２図の構成は、（９画素遅延回路ＸＤを除いて）処理回路Ｐ１として表される。第二の処理回路Ｐ２は上側の調査領域Ｓ２を処理する回路であり、その構成は処理回路Ｐ１と同等であるが、前のフレームの信号が８走査線分の遅延線（実用的には処理回路Ｐ１の遅延ユニッ）　ＬＤ８から取り出すことができるが、第５図には明示的にＥＬＤとして示す）を経由して供給され、調査領域Ｓ１より８走査線分前の調査領域Ｓ２を定義することができる。調査領域Ｓ。がこれより小さい場合（例えば１７Ｘ１７などの２３Ｘ２３より小さい場合）には、一つの処理回路（適当な処理時間）で十分である。

偶数番目のブロックについては、処理回路Ｐ１、Ｐ２と同等の処理回路Ｐ３、Ｐ４により処理する。処理回路Ｐ３、Ｐ４には、それぞれ処理回路Ｐ１、Ｐ２と同一の信号が入力される。ただし、処理回路Ｐ３、Ｐ４のラッチ回路ＣＬ８は、処理回路Ｐ１、Ｐ２に供給されるクロックと８画素分だけ位相の異なるクロックで（前と同様に１６画素毎に）駆動される。

ここでは処理回路Ｐ１〜Ｐ４が同等の回路構成をもつものとして説明する　（これはモジュール構成をハードウェアで実現できるので便利である）が、必要な場合には、処理回路内の一部の部品（例えば遅延要素ＤＳ８〜ＤＳＩ）を二辺上の処理回路で共用することもできる。

次に「差の総和」の値Ｅを求める処理について説明する。現在のフレームの各ブロックに対して、Ｅの値が最も小さくなる位置（ｕ。

■）を見つけることが必要である。あるブロックに対するＥの値は、同じ水平の行に含まれる他のブロックのＥ値とともに８走査線周期にわたり分散して出力されるので、並べ替えが必要となる。偶数ブロック、奇数ブロックのそれぞれに対する比較・並べ替えユニットＣＳＥ％Ｃ８Ｏを第５図に示す。この二つのユニー／　）　ＣＳＢ　、　ＣＳＯは、動きベクトル出力として、それぞれνＯＥ　、　ＶＯＯを出力する。

第６図にユニッ）　ＣＳＯの構成を示すが、ユニッ）　ＣＳＥの構成も同等である　（入力のタイミングは当然に異なる）。

このユニットには、処理回路ＰＩ、　Ｐ２の出力が供給される。ベクトル発生回路νＧは、画素クロック　（および走査線同期パルスならびにフィールド同期パルス）に同期して、処理回路ＰＬから受は取ったＥの値に対応するベクトル成分Ｕの値（４ビツト）および成分ｗｇ）下位３ビツトを生成する。

処理回路Ｐ１およびＰ２から同時に受は取った二つのＥ値は、常に現在の画像の同一ブロックに関するものである。したがって、比較回路Ｃ１により容易に比較できる。比較出力はデータ選択回路５ＥＬＬを制御し、受は取った値の小さい方を出力させる。比較出力はまた、ベクトル発生回路出力に付は加えられ、ベクトル成分Ｖの最下位ビットとなる。

ここまでの説明では、簡単化のため、着目するブロックが画面の端から８走査線以内または８画素以内のブロックであるときに生じる問題、すなわちｘ、ｙ％　ｕＳＶで定義された領域のあるものは走査線帰線期間またはフィールド帰線期間に重なるという問題を無視した。この問題は、そのような領域を無視することにより解決できる。境界検出回路ＢＧは、（ａ）　　画像の上部では、その領域に対する結果が処理回路Ｐ２により生成されるが、選択回路には処理回路ＰＩからの出力を通過させる、（ｂ）　　画像の下部では、その領域に対する結果が処理回路Ｐ１により生成されるが、選択回路には処理回路Ｐ２からの出力を通過させる、（Ｃ）　　画像の側部では、その領域に対する結果を双方の処理回路で生成するが、選択回路器の出力を最大値に設定し、その一方で、並べ替えのときに異なる値を選択させるように、選択回路５ＥＬＩの動作を強制的に制御する。

ファーストイン・ファーストアウトメモリＦＩＦＯＩは、一つの行の各奇数ブロックについて、最少のＥ値を蓄積する。すべての蓄積位置は、行の開始時点に最大値に設定される。それぞれの処理回路からは、どのブロックＮに対しても、連続して１６個のＥ値を生成する。

そのうちの最初のものを選択回路５ＥＬＩから受は取ると、比較回路Ｃ２は、対応するブロックに対してメモリに記録された以前の値と比較し、二つの値のどちらが小さい場合でも、選択回路５ＥＬ２を制御してラッチ回路に入力させる。このとき第二の選択回路５ＥＬ３は、ラッチ出力を比較回路Ｃ２（および選択回路５ＥＬＬ）に供給する。比較回路Ｃ２は、残りの１５個の値のそれぞれと、ラッチ回路Ｌ１に保持された値とを比較する。これに続いて選択回路５ＥＬＬは、再び二つのＥ値を比較してその小さい方を出力し、新しい値をラッチさせる。１６個の値を比較した後、ラッチ回路の内容が再びメモリに格納される。同様にして、選択回路５ＥＬ４．５ＥＬ５およびラッチ回路Ｌ２は、第二のメモリＦＩＦＯ２にアクセスするために、それに以前に蓄えられたベクトルと、（νＧおよびＣ１から）入力されたベクトルとのいずれかを選択する。

現在の行の八個のバスがすべて終了すると、メモ’Ｊ　ＰＩＰＤＩには、その行のそれぞれのブロックに対する最少のｒ差の総和」の値Ｅが蓄えられ、メモ１ＪＰＩＦＯ２には、対応するベクトルＵＳＶが蓄えられる。これらは、この後に読み出され、次の行の処理に先立って出力ｖ００として出力される。

ある状況では、ベクトル発生回路νＧでもっと容易にベクトルを生成できる場合がある。それは、出力において要求される符号化と異なる論理により符号化されたベクトルを生成する場合であり、ベクトル・マツピング・ユニットＶＭを用いればよい。ベクトル・マツピング・ユニットＶＭを単純なルック・アップ・テーブルで実現できる。

識別すべき前のフレームの領域が着目する現在のブロックと少ししか異なっていないものと仮定した。しかし、零ベクトルにバイアスを与える必要があることもある。例えば、領域ｕＳｖが、前のフレームのうちの動きのない領域に対する値Ｅ　（０，Ｏ）よりあらかじめ定められた値だけ小さい差の総和の値Ｅ（ｕ％Ｖ）を与えるとき、例えばＥ　（０，０）の７５％以下のときだけ、非零ベクトルを出力することにする。これは、通常は処理回路Ｐ１から受は取った値をそのまま出力し、ベクトル発生回路ＶＧからの信号ｖＯが位置（０，０＞を示したとき入力バルブを７５％の値にする回路、すなわちスケーリングユニットｚｖｓを用いることにより達成できる。

補正書の写しく翻訳文）提出書（特許法１８４条の８）１．特許出願の表示ＰＣＴ／ＧＢ８８１００７８１、発明の名称動き推定回路３、特許出願人住　所　　英国イージー１エイ　７エイジエイ・ロンドン・ニューゲートストリー）　８１番地名　称　　プリティシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニ５、補正書の提出年月日１９８９年７月１７日　（第３頁）１９８９年１０月２７日　（第４．７．７Ａ、１０〜１３頁）６、添付書類の目録（１）補正書の写しく翻訳文）　　　　１通るが、説明を簡単にするため、ノン・インターレース方式の画像を仮定する。動き推定回路は、それぞれのブロックに対して動きベクトルを生成する。動きベクトルは、前のフレームの画像の指定された調査領域内で、着目しているブロックに最も似ている８画素×８走査線の領域の位置を示すものである。第２図は、８画素×８走査線のブロックＮ（斜線で示す）を含む画面フィールドを、このブロックＮに対する典型的な２３画素Ｘ２３走査線の調査領域を長方形Ｓ１１とともに示す。水平方向の画素および鉛直方向の走査線を左上端の角を原点とする座＊　ｘ　ｓ　ｙで表すとき、左上端の座標がＸ　Ｈ％　ｙｍで表されるブロックに対する調査領域は、水平方向に（ｘ、−８３から［ＸＮ　＋１４）　％鉛直方向に［：ｙｍ　　８：ｌから［ｙｗ＋１４）の領域となる。

動きベクトルを得るためには、着目するブロックと、調査領域内における前のフレームの２５６個の８画素×８走査線領域、すなわち左上端の画素の座標がｘ、　十ｕ、ｙイ＋Ｖでｔｌ、ｖが−８〜＋７の領域とをそれぞれ比較して調査する必要がある。動きベクトルはＵとｖきの値で表され、比較結果が最も似ているものを示す。どれだけ似ているかの試験は、従来からあるどのような方法を利用してもよく、例えば、「現在の」ブロック内のそれぞれの画素と前のフレームの対応する領域との間の差の絶対値の総和（または他の単調増加偶関数）を求める方法を用いることができる。

したがって、現在のフレームの画素値がａ　（ｉ、　ｊ）で前のフレームの画素値がｂ（ｉ、ｊ）のとき、差の総和は、Ｅ　、、　、　（ｖ、　ｕ）　＝一般には、調査を現在の画像の各ブロックに対して順番に行う。

ここで説明する動き推定回路は、（ａ）　　符号化しようとする画像の「現在のｊフレームに対応するディジタル映像信号と、（′ｂ）画像の前のフレームに対応するディジタル映像信号とが実時間で入力されるものと仮定する。

第３図は装置の一部を示し、その動作は第４図を参照して説明する。８画素×８走査線のブロックまたは領域の画像内における「位ＭＪを、その左上画素のｘ、ｙ座標で定義する。したがって、第４図におけるブロックＮの位置はＸ１Ｖである。第２図の装置は、ｘｌｙの位置の８画素×８走査線のブロックＮについて、［ｘ＋ｕｌ、［ｙｌｖ］の位置の８画素×８走査線の領域と比較する。ここで、Ｕは−８〜＋７であり、Ｖは０〜＋７である。すなわち、比較の対象となる領域は、その位置が第４図に破線で示された領域のうち下側の領域Ｓｌ内にあるものである。、第３図において、前のフレームは２の画素（すなわち水平座標で（ｘ　＋１６）〜（Ｘ＋２３＞）が、新しく直並列変換レジスタＣＳ８・・・に蓄えられる。これらの画素はラッチ回路ＣＬ８・・・に入力され、これと同時に直並列変換レジスタＰＳ８からは、新しいブロックに対する調査点に対応して、画素（ｘ＋８）〜（ｘ＋１６）が出力される。この状態でブロックＮ＋２に対して最初のバスを実行する。続いて、その走査線が終了するまで、連続的に一つおきのブロックを処理する。

走査線周期が終了すると、前のフレームの走査線ｙ＋１が遅延ユニットＬＤ８の出力に現れるが、遅延要素ＤＳ８の出力には、その巡回動作により、現在のフレームの走査線ｙが再び現れる。これにより、ブロックＮに対する第二のバスを処理する。このときには、第４図の破線で示した領域が１走査線だけ下にずれたものと比較する。このようにして、８走査線周期の後に、ブロックＮと領域Ｓｌで定義されたすべての領域との比較が完Ｙする（同時に、一つの行における偶数番目のすべてのブロックに対する処理が完了する）。

このとき、遅延要素ＯＳ８〜［ＩＳｌにクロックが供給され、現在のフレームの走査線ｙ＋８〜ｙ＋１５がその出力に得られる。これとほぼ同時に、前のフレームの走査線ｙ＋８が遅延ユニツ）　ＬＤ８の出力に現れ、次の行のブロックを処理できるようになる。

したがって、減算器Ｍ１加算ユニツ）Ａおよび加算器ＡＡが演算手段を構成し、現在のフレームの各ブロックを前のフレームの対応する領域およびその偏位した複数の領域と比較する。前述したブロック毎の方法とは異なり、演算手段は、画像の特定の走査線を含むすべての比較を連続して実行する。上述したように、これは、前のフレーム用に合計で１６走査線分だけ遅延させるための蓄積容量が必要となる。

しかし、ブロックＮに対する調査処理は不完全である。すなわち、調査領域Ｓ２　（第４図）については処理されていない。また、奇数番目のブロックには注意が払われていない。第５図を参照すると、第２図の構成は、（９画素遅延回路ＸＤを除いて）処理回路Ｐｌとして表される。第二の処理回路Ｐ２は上側の調査領域Ｓ２を処理する回路であり、その構成は処理回路ＰＬと同等であるが、前のフレームの信号が８走査線分の遅延線（実用的には処理回路Ｐ１の遅延ユニッ）　ＬＤ８から取り出すことができるが、第５図には明示的にＥＬＤとして示す）を経由して供給され、調査領域Ｓ１より８走査線分前の調査領域Ｓ２をは、残りの１５個の値のそれぞれと、ラッチ回路Ｌ１に保持された値とを比較する。これに続いて選択回路５ＢＬＩは、再び二つのＥ値を比較してその小さい方を出力し、新しい値をラッチさせる。１６個の値を比較した後、ラッチ回路の内容が再びメモリに格納される。同様にして、選択回路５ＥＬ４．５ＩＥＬ５およびラッチ回路Ｌ２は、第二のメモリＰＩＦＯ２にアクセスするために、それに以前に蓄えられたベクトルと、（ＶＧおよびＣ１から）入力されたベクトルとのいずれかを選択する。

現在の行の八個のバスがすべて終了すると、メモ！Ｊ　ＰＩＦＯＩには、その行のそれぞれのブロックに対する最少の「差の総和」の値Ｅが蓄えられ、メモリＦＩＰＯ２には、対応するベクトルｕ１ｖが蓄えられる。これらは、この後に読み出され、次の行の処理に先立って出力ｖ００として出力される。

ある状況では、ベクトル発生回路ＶＧでもっと容易にベクトルを生成できる場合がある。それは、出力において要求される符号化と異なる論理により符号化されたベクトルを生成する場合であり、ベクトル・マツピング・ユニットＶＭを用いればよい。ベクトル・マツピング・ユニットシ賛を単純なルック・アップ・テーブルで実現できる。

識別すべき前のフレームの領域が着目する現在のブロックと少ししか異なっていないものと仮定した。しかし、零ベクトルにバイアスを与える必要があることもある。例えば、領域ｕＳｖが、前のフレームのうちの動きのない領域に対する値Ｅ　（０，０）よりあらかじめ定められた値だけ小さい差の総和の値Ｅ　（ｕ、ｖ）を与えるとき、例えばＥ　（０，０）の７５％以下のときだけ、非零ベクトルを出力することにする。これは、通常は処理回路ＰＩから受は取った値をそのまま出力し、ベクトル発生回路ＶＧからの信号ｖＯが位置（０，０）を示したとき入力値を７５％の値にする回路、すなわちスケーリングユニッ）　ＺＶＳを用いることにより達成できる。

請求の範囲１、画像の一つのフレームを表現する信号と他のフレームを表現する信号とを入力として一時的に蓄える手段（ＯＳ、　ＣＳ、　ＣＬ％ＬＤ、ＰＳ）と、前記一つのフレームが分割された複数のブロック（Ｎ）のそれぞれをあらかじめ定められた二次元の調査範囲（Ｓｌ）を表現する前記他のフレームの対応する領域ふよびその偏位した複数の領域と比較する演算手段（ＰＩおよびＰＳのＭ、ＡおよびＡＡ）と、前記他のフレームの領域のうち前記ブロックに似ていると判断された領域の位置が前記ブロックから偏位しているときにその偏位を表すベクトル情報を生成する手段とを備えた映像信号の動き検出器において、前記演算手段は、前記他のフレームのｎ番目の走査線を含む比較をそのフレームのｎ＋ｐ番目の走査線を含む比較を実行する前に行う構成であることを特徴とする動き検出器。

ただしｐはブロックを囲む走査線数である。

２、一時的に蓄える手段は、（ｉ）画像の走査線方向におけるあらかじめ定められた調査範囲に相当する期間に、前記１フレームのブロックに対応する画素のグループを同時に出力する遅延・蓄積手段（ＤＳＳＣＳ、　ＣＬ）と、（ｉｉ）前記ブロックと同じ大きさの他のフレームの領域に対応する画素のグループを同時に出力する遅延手段（ＬＤ、　ＰＳ）とを含み、前記１フレームのブロックに対応する画素のグループは、その一連のグループのうちの連続しているグループが互いに重なり合っていないブロックに対応し、前記遅延・蓄積手段はそのグループのシーケンスをｐ走査線周期毎に繰り返す構成であり、前記他のフレームの領域に対応する画素のグループは、その一連のグループのうちの連続しているグループが画像の走査線に沿って偏位した領域に対応し、前記一連のグループのシーケンスに続くシーケンスが直交方向に偏位した領域に対応する構成であり、演算手段は、ブロックから得られた画素と領域から得られた画素との差のモジュロ加算値または他の単調増加偶関数の加算値を求める構成であり、ベクトル情報を生成する手段（ＣＳＯ、Ｃ５Ｅ）は、ブロック毎に前記加算値により似ていると判断された領域に対応するベクトル情報を求める構成である請求項１記載の動き検出器。

３、走査線方向におけるあらかじめ定められた調査範囲はその方向におけるブロックの範囲の二倍以上であり、遅延・蓄積手段は、走査線方向におけるｑ番目のブロック毎に相当する画素のグループを含む複数ｑ個（ｑは１以上の整数）の異なるシーケンスを同時に生成する構成であり、演算手段は、それぞれのシーケンスに対する前記加算値を生成するための複数ｑ個の回路を含む請求項２記載の動き検出器。

４、遅延手段（または遅延・蓄積手段）は、最初のシーケンスに対してｐ走査線分だけ偏位した領域（またはブロック）に対応する付加的なシーケンスを同時に得る構成であり、この付加的なシーケンスに応答して、前記一つのフレームの個々のブロックを前記調査範囲の延長部（Ｓ２）を表す前記他のフレームの複数の偏位した領域と比較する付加的な演算手段（Ｐ２およびＰ４の輩、ＡおよびＡＡ）を備え、前記ベクトル情報を生成する手段（ＣＳＯ、Ｃ５Ｅ）は、前記演算手段（ＰＩ　、Ｐ３内の）および前記付加的な演算手段（Ｐ２、Ｐ４内の）の双方から加算値を受は取る構成である請求項２または３記載の動き検出器。

５、　ベクトル情報を生成する手段は、一つのブロックについての前記演算手段の出力とそのブロックに対して似ていると判断された前の値とを比較する手段（ＣＩ、Ｃ２）と、他のブロックに対する値を比較する間に中間段階の部分的な結果を蓄える手段（ＦＩＦ口１）とを含む請求項１ないし４のいずれかに記載の動き検出器。

６、　ベクトル情報を生成する手段は、演算出力の出力値により表現される領域に対応するベクトル値を生成する手段（ＶＧ）と、似ていると判断された最後の領域に対応するベクトル値を選択する切替手段（ＳＥＬ４、Ｌ２．５ＥＬ５）と、前記中間段階で蓄えられた部分的な結果に対応するベクトル値を蓄積する中間蓄積手段（ＦＩＦＯ２）とを含む請求項５記載の動き検出器。

７、偏位していない領域については前記加算値に対してあらかじめ定められた割合に等しい値、その他の領域については前記加算値に等しい値を比較値とし、この比較値がそのブロックに対する他の領域の比較値より小さいときにそのブロックとその領域とが似ていると判断する構成である請求項１ないし６のいずれかに記載の動き検出器。

８、添付図面を参照して実質的に説明した動き検出器。

国際調査報告一情向−＾−ｅｂ−＋−ＩＩＩＩｖ　　ＰＣＴ／ＧＢ　８８１００７８１国際調査報告０日８８００７８１Ｓ＾　２４３９１

Claims

【特許請求の範囲】

１．画像の一つのフレームを表現する信号と他のフレームを表現する信号とを入力として一時的に蓄える手段（ＤＳ、ＣＳ、ＣＬ、ＬＤ、ＰＳ）と、前記一つのフレームが分割された複数のブロックのそれぞれを前記他のフレームの対応する領域およびその領域から偏位した複数の領域と比較し、比較の対象となったブロックの位置とそのブロックと似ていると判断された他のフレームの領域の位置との間に偏位がある場合にはその偏位を表すベクトル情報を生成する比較手段とを備えた映像信号の動き検出器において、前記他のフレームのｎ番目の走査線を含む比較をそのフレームのｎ＋ｐ番目の走査線を含む比較を実行する前に行う構成であることを特徴とする動き検出器。ただしｐはブロックを囲む走査線数である。
２．一時的に蓄える手段は、（ｉ）面像の走査線方向におけるあらかじめ定められた調査範囲に相当する期間に、前記一つのフレームのブロックに対応する画素のグループを同時に出力する遅延・蓄積手段（ＤＳ、ＣＳ、ＣＬ）と、（ｉｉ）前記ブロックと同じ大きさの他のフレームの領域に対応する画素のグループを同時に出力する遅延手段（ＬＤ、ＰＳ）とを含み、前記一つのフレームのブロックに対応する画素のグループは、その一連のグループのうちの連続しているグループが互いに重なり合っていないブロックに対応し、前記遅延・蓄積手段はそのグループのシーケンスをｐ走査線周期毎に繰り返す構成であり、前記他のフレームの領域に対応する画素のグループは、その一連のグループのうちの連続しているグループが画像の走査線に沿って偏位した領域に対応し、前記一連のグループのシーケンスに続くシーケンスが直交方向に偏位した領域に対応する構成であり、比較手段は、ブロックから得られた画素と領域から得られた画素との差のモジュロ加算値または他の単調増加偶関数の加算値を求める演算手段と、ブロック毎に前記加算値により似ていると判断された領域に対応するベクトル情報を求める手段（ＣＳＯ、ＣＳＥ）とを含む請求項１記載の動き検出器。
３．走査線方向におけるあらかじめ定められた調査範囲はその方向におけるブロックの範囲の二倍以上であり、遅延・蓄積手段は、走査線方向におけるｑ番目のブロック毎に相当する画素のグループを含む複数ｑ個（ｑは１以上の整数）の異なるシーケンスを同時に生成する構成であり、演算手段は、それぞれのシーケンスに対する前記加算値を生成するための複数ｑ個の回路を含む請求項２記載の動き検出器。
４．遅延手段（または遅延・蓄積手段）は、最初のシーケンスに対してｐ走査線分だけ偏位した領域（またはブロック）に対応する付加的なシーケンス（または付加的な複数のシーケンス）を同時に得る構成であり、比較手段は、付加的なシーケンスを処理するための付加的な演算手段を含む請求項２または３に記載の動き検出器。
５．ベクトル情報を求める手段は、一つのブロックについての前記演算手段の出力とそのブロックに対して似ていると判断された前の値とを比較する手段（Ｃ１、Ｃ２）と、他のブロックに対する値を比較する間に中間段階の部分的な結果を蓄える手段（ＦＩＦＯ１）とを含む請求項５記載の動き検出器。
６．ベクトル情報を求める手段は、演算出力の出力値により表現される領域に対応するベクトル値を生成する手段（ＶＧ）と、似ていると判断された最後の領域に対応するベクトル値を選択する切替手段（ＳＥＬ４、Ｌ２、ＳＥＬ５）と、前記中間段階で蓄えられた部分的な結果に対応するベクトル値を蓄積する中間蓄積手段（ＦＩＦＯ２）とを含む請求項５記載の動き検出器。
７．偏位していない領域については前記加算値に対してあらかじめ定められた割合に等しい値、その他の領域については前記加算値に等しい値を比較値とし、この比較値がそのブロックに対する他の領域の比較値より小さいときにそのブロックとその領域とが似ていると判断する構成である請求項１ないし６のいずれかに記載の動き検出器。
８．添付図面を参照して実質的に説明した動き検出器。