JP3745425B2 - 動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタ - Google Patents
動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタ Download PDFInfo
- Publication number
- JP3745425B2 JP3745425B2 JP29656595A JP29656595A JP3745425B2 JP 3745425 B2 JP3745425 B2 JP 3745425B2 JP 29656595 A JP29656595 A JP 29656595A JP 29656595 A JP29656595 A JP 29656595A JP 3745425 B2 JP3745425 B2 JP 3745425B2
- Authority
- JP
- Japan
- Prior art keywords
- field
- signal
- detection
- filter
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Systems (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタに関するものである。
【０００２】
さらに詳述すると本発明は、映像信号の動きベクトル検出を行う際に、入力動画像から最適な動きベクトル検出用輝度信号を生成するのに好適な、動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタに関するものである。
【０００３】
【従来の技術】
飛び越し走査方式のテレビジョン信号の１フレーム信号は、垂直方向に空間的に互いに１走査線分ずれた２つのフィールド信号（奇数フィールドと偶数フィールド）から構成されている。
【０００４】
従って、２つのフィールド間のベクトル検出は、ベクトル検出精度を高め、さらにハードウェアを簡略化するために、奇数フィールドあるいは偶数フィールドの内、一方のフィールド信号から他方のフィールド信号の垂直方向の空間位置に画素標本点を合致させた順次走査信号を生成して、行っている。
【０００５】
図１（Ａ）および図２（Ａ）は、入力画像の垂直方向の走査線の位置関係と輝度信号の標本点の具体例を示す。図１（Ａ）および図２（Ａ）の走査線は図１（Ｃ）に示すような断面図を図示したもので、走査線は紙面を貫く方向に存在する。
【０００６】
従来、一方のフィールド信号を他方のフィールド信号の垂直方向の空間位置に標本点を合致させる場合、フィールド内でＬＰＦをかけることにより内挿した信号を生成していた。例えば、ｆ（ｔ＋１）フィールドの走査線の標本点をｆ（ｔ）フィールドの走査線の標本点に合わせるためにｆ（ｔ＋１）フィールドの上下の隣合う走査線上の画素値を足して２で割るようなフィルタをかけた場合、図１（Ｂ）と図２（Ｂ）のようなフィルタ出力になる。図１（Ｂ）の例からもわかるように、輝度レベル境界で内挿した標本点の輝度レベルが不適切であるため、静止領域で垂直方向の周波数成分を有する領域（例えば、輝度レベルの境界が存在する領域）では、同一空間位置の２つの疑似順次信号の信号差分は零にはならないため、零ベクトル（静止）を検出できなかった。また、図２（Ｂ）の例からもわかるように、インターレース構造を考慮したノイズ除去を行っていないため、ノイズ近傍では、誤った動きベクトルを検出してしまう場合が生ずる。
【０００７】
図３は、時空間フィルタを用いた前置フィルタの一実施例（論文「ＨＤＴＶ方式変換装置」野尻裕司他、ＴＶ学会誌Vol.48,No.1,pp.84 〜94,1994 ）を示す。勾配法すなわち、輝度勾配の相関を調べる動きベクトル検出方法を用いたベクトル検出方法で動きベクトル検出を行うために、図３のような前置フィルタを用いると、動物体の画像に時間方向に３タップの時間フィルタと水平垂直の空間フィルタをかけるため、動物体の画像にボケが無くても動きベクトル検出ができる。
【０００８】
しかし、図３に示した前置フィルタは、時間方向のフィルタ特性を持つため、ブロック・マッチング法すなわち、２つの画像の差分値の相関を調べる動きベクトル検出方法を用いた動きベクトル検出方法では、正しいマッチング値を計算しにくい問題点がある。また、時間フィルタの係数によっては、図１（Ｂ）に示すようなインターレース構造による影響が生ずることがある。
【０００９】
【発明が解決しようとする課題】
従来、複数のベクトル検出方法を縦続接続して用いる動きベクトル検出装置（「動きベクトルを用いたＴＶ方式変換装置」島野他、ＴＶ学会全国大会１９８９）、あるいは、複数のベクトル検出方法を切り換えて用いる動きベクトル検出装置において、ベクトル検出用輝度信号を生成するにあたっては、単一の前置フィルタを用いていたため、その単一の前置フィルタを、動きベクトル検出の対象となる検出領域の画像特性および複数のベクトル検出方法の全ての組み合わせにおいて常に最適なフィルタ特性とすることはできなかった。
【００１０】
また、ベクトル検出の対象となる検出領域毎に、その入力動画像の画像特性とベクトル検出方法の組み合わせに最適なフィルタ特性を有するフィルタを適応的に選択して、動きベクトル検出を行うという手法も提案されていない。
【００１１】
従って、従来の動きベクトル検出装置では、ベクトル検出に不適切なベクトル検出用輝度信号が生成される場合が発生し、この場合には、正確な動きベクトルを検出することができなかった。具体的には、以下のような不都合が生ずる。
【００１２】
テレビジョン信号のような飛び越し走査の信号を用いて、動きベクトル検出を行おうとした場合、垂直方向の周波数成分を持つ静止領域では、フィールド内の信号のみを対象にフィルタリング処理する従来の前置フィルタ（例えば、フィールド内の垂直ＬＰＦ、フィールド内の垂直方向のＤＤ（Digital-Digital ）変換フィルタ）の出力（例えば、図１（Ｂ）参照）を用いるとフィールド間の画像の差分値が零とならないため、フィールド間の相関を調べて動きベクトル検出を行う検出方法（例えば、ブロック・マッチング法）を組み合わせると、誤った動きベクトルを検出してしまうことになる。
【００１３】
また、飛び越し走査のテレビジョン信号でＳＮ比の悪い動画像を用いて動きベクトル検出を行おうとした場合、時間方向のフィルタ特性とフレーム内のフィルタ特性を持たない従来の前置フィルタ（例えば、フィールド内の垂直ＬＰＦ、フィールド内の垂直ＤＤ変換フィルタ）の出力（例えば、図２（Ｂ）参照）を用いるとノイズの影響や垂直方向の周波数成分の影響で、静止領域のフィールド間の画像の差分値が零とならないため、フィールド間の相関を調べて動きベクトル検出を行う検出方法（例えば、ブロック・マッチング法）を組み合わせると、静止領域で誤った動きベクトルを検出してしまうことになる。また、動領域でも誤った動きベクトルを検出してしまう。特に、検出領域を小さくした場合には、ノイズの影響が顕著となる。
【００１４】
さらに、ＣＧ（Computer Graphic）やシャッター付きのＣＣＤカメラの画像やＦ／Ｖ変換の画像（フィルムからテレビジョン信号に変換された画像）では、動物体の画像に動物体が動いたことによるボケがない。このような動画像を入力画像として、動物体が動いたことによる動物体の勾配を用いて動きベクトル検出を行う方法（例えば勾配法）に、時空間方向のフィルタ特性を持たない従来の前置フィルタ（例えば、フィールド内の垂直ＬＰＦ、フィールド内の垂直ＤＤ変換フィルタ）を組み合わせると、ベクトル検出が全くできない。
【００１５】
また、動物体の勾配を用いない動きベクトル検出方法（例えばブロック・マッチング法）に、時空間方向あるいは空間方向のフィルタ特性を持つ従来の前置フィルタ（例えば、時間フィルタ）を組み合わせると、時間フィルタの効果により静止領域に動物体の画像が合成されるため、正しい動きベクトルを検出しづらくなる。
【００１６】
さらに、ＳＮ比の極めて悪い画像に対して、動物体が移動しても動物体の輝度レベルが変化しないことを検出条件の一つとするベクトル検出方法（例えば、ブロック・マッチング法、勾配法）を用いると、ノイズや動物体の輝度レベルや背景の輝度レベルの変化によって誤ったベクトル検出を行うことがある。
【００１７】
動きベクトルを検出する場合に、ベクトル検出方法と整合しないベクトル検出用輝度信号を用いると、多くの誤った動きベクトルを検出してしまうのは、本来ベクトル検出を行う前にベクトル検出対象領域が、ベクトル検出方法の検出条件を満足していることを確認することが必要であるにも係わらず、これを確認せずに動きベクトル検出を行うため、検出条件に適さない検出領域で誤った動きベクトルを検出することに原因しているのである。
【００１８】
以上のように、複数のベクトル検出方法を縦続して用いる動きベクトル検出装置、あるいは、複数のベクトル検出方法を切り換えて用いる動きベクトル検出装置において、単一の前置フィルタを使用してベクトル検出用輝度信号を生成した場合、入力の画像特性とベクトル検出方法の組み合わせによっては、ベクトル検出を誤る場合が起こり得る。従って、このような動きベクトル検出装置において、ベクトル検出対象領域の画像特性とベクトル検出方法との全ての組み合わせに最適なフィルタを用いることはできなかった。
【００１９】
よって本発明の目的は、上述の点に鑑み、検出領域毎に入力動画像の画像特性を判定し、その画像特性とベクトル検出方法の組み合わせに最適なフィルタを適応的に選択することを可能とした、動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタを提供することにある。
【００２０】
【課題を解決するための手段】
上記の目的を達成するために、本発明に係る動きベクトル検出方法では、ベクトル検出用輝度信号を出力する特性の異なるフィルタを複数用意し、入力動画像の検出対象領域における画像特性およびベクトル検出方法に適したベクトル検出用輝度信号を出力するフィルタを検出対象領域毎に切り換えて使用することにより、動きベクトル検出を行うものである。
【００２１】
また、本発明に係る動きベクトル検出用適応切り替え型前置フィルタでは、フィルタ特性がそれぞれ異なる複数のフィルタ手段と、入力動画像の各検出領域毎に画像特性を判定する判定手段と、前記判定手段による判定結果と各種ベクトル検出方法との組み合わせに応じて前記フィルタ手段を検出領域毎に切り換える選択手段とを具備し、前記フィルタ手段から出力されるベクトル検出用輝度信号に基づいて動きベクトルを検出しようとするものである。
【００２２】
さらに、本発明を適用した他の形態では、飛び越し走査方式で表示される画像の動きベクトル検出装置の前段に接続される前置フィルタにおいて、該フィルタは、入力画像信号がそれぞれ入力される特性の異なる二以上のフィルタと、該二以上のフィルタを切り換えて、一のフィルタ処理結果を動きベクトル検出装置に出力するフィルタ切り替え部と、前記動きベクトル検出装置の出力である直前のフィールドの動きベクトル検出結果に基づき、直前のフィールド画像全体に大局的な動きがあると判断される場合には、大局的な動きの程度をグローバル・ベクトル検出値として出力し、大局的な動きがないと判断される場合にはグローバル・ベクトル非検出信号を出力するグローバル・ベクトル検出手段と、フィルタ処理単位である検出領域毎に該領域が動領域であるか静止領域であるかの判定結果を出力する静動判定手段と、フィールド毎に入力画像全体のＳＮ比を判定し、低ＳＮ領域であるか高ＳＮ領域であるかの判定結果を出力するＳＮ比判定手段と、前記グローバル・ベクトル検出結果、検出領域毎の前記直前のフィールドの動きベクトル検出結果、前記静動判定結果および前記ＳＮ比判定結果に基づき、前記検出領域毎の切り替え情報を前記フィルタ切り替え部に出力する切り替え情報デコーダとを備えたものである。
【００２３】
ここで、前記特性の異なる二以上のフィルタは、連続する３フィールドの２：１インターレース画像信号を入力信号とし、第一のフィールド信号と第二のフィールド信号から形成されるフレーム信号および第二のフィールド信号と第三のフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引くことにより、奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタＡと、連続する５フィールドの２：１インターレース画像信号を入力信号とし、第一ならびに第三のフィールド信号を加算平均して得られるフィールド信号と第二ならびに第四のフィールド信号を加算平均して得られるフィールド信号から形成されるフレーム信号および第二ならびに第四のフィールド信号を加算平均して得られるフィールド信号と第三ならびに第五のフィールド信号を加算平均して得られるフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引くことにより、奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタＢと、入力信号である２：１インターレース画像信号に出力信号を１フレーム遅延させた信号を任意の係数比で加算して出力する巡回フィルタと、該巡回フィルタの出力である連続する３フィールドの２：１インターレース画像信号を入力信号とし、第一のフィールド信号と第二のフィールド信号から形成されるフレーム信号および第二のフィールド信号と第三のフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引き奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタとを従属接続させてなるフィルタＣと、空間ローパスフィルタ出力と、該空間ローパスフィルタ出力の１フィールド遅延出力を、連続する２フィールドの２：１インターレース画像信号として出力するフィルタＥとを含み、前記切り替え情報デコーダは、前記検出領域が静止領域かつ高ＳＮ領域かつ当該検出領域における前記前フィールドの動きベクトル検出値が“０”である場合にはフィルタＡを、前記検出領域が静止領域かつ低ＳＮ領域かつ当該検出領域における前記前フィールドの動きベクトル検出値が“０”かつ“０”以外のグローバル・ベクトルの検出値若しくはグローバル・ベクトルの非検出信号が出力されている場合にはフィルタＢを、前記検出領域が静止領域かつ低ＳＮ領域かつ当該検出領域における前記前フィールドの動きベクトル検出値が“０”かつグローバル・ベクトルの検出値が“０”の場合にはフィルタＣを、前記検出領域が静止領域かつ当該検出領域における前記前フィールドの動きベクトル検出値が“０”以外である場合、若しくは、前記検出領域が動領域である場合にはフィルタＥを、選択する切り替え情報を出力する構成とするのが好適である。あるいは、前記特性の異なる二以上のフィルタは、連続する３フィールドの２：１インターレース画像信号を入力信号とし、第一のフィールド信号と第二のフィールド信号から形成されるフレーム信号および第二のフィールド信号と第三のフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引くことにより、奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタＡと、連続する５フィールドの２：１インターレース画像信号を入力信号とし、第一ならびに第三のフィールド信号を加算平均して得られるフィールド信号と第二ならびに第四のフィールド信号を加算平均して得られるフィールド信号から形成されるフレーム信号および第二ならびに第四のフィールド信号を加算平均して得られるフィールド信号と第三ならびに第五のフィールド信号を加算平均して得られるフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引くことにより、奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタＢと、入力信号である２：１インターレース画像信号に出力信号を１フレーム遅延させた信号を任意の係数比で加算して出力する巡回フィルタと、該巡回フィルタの出力である連続する３フィールドの２：１インターレース画像信号を入力信号とし、第一のフィールド信号と第二のフィールド信号から形成されるフレーム信号および第二のフィールド信号と第三のフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引き奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタとを従属接続させてなるフィルタＣと、連続する４フィールドの２：１インターレース画像信号を入力信号とし、連続する３フィールドの信号とそれぞれの１ライン遅延出力信号を任意の係数比で加算して順次走査信号を出力する時間ローパスフィルタおよび該順次走査信号をフィールド信号に変換する空間ローパスフィルタを従属接続させてなるフィルタを１対備え、該１対のフィルタの連続する３フィールドの入力信号は、第一、第二、第三のフィールド信号または、第二、第三、第四のフィールド信号であり、前記１対のフィルタ出力は、連続する２フィールドの２：１インターレース画像信号であるフィルタとＤ、空間ローパスフィルタ出力と、該空間ローパスフィルタ出力の１フィールド遅延出力を、連続する２フィールドの２：１インターレース画像信号として出力するフィルタＥとを含み、前記切り替え情報デコーダは、前記検出領域が静止領域かつ高ＳＮ領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”である場合にはフィルタＡを、前記検出領域が静止領域かつ低ＳＮ領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”かつ“０”以外のグローバル・ベクトルの検出値若しくはグローバル・ベクトルの非検出信号が出力されている場合にはフィルタＢを、前記検出領域が静止領域かつ低ＳＮ領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”かつグローバル・ベクトルの検出値が“０”の場合にはフィルタＣを、前記検出領域が静止領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”以外かつグローバル・ベクトルの検出値が“０”若しくはグローバル・ベクトルの非検出信号が出力されている場合にはフィルタＤを、前記検出領域が静止領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”以外かつ“０”以外のグローバル・ベクトルの検出値が出力されている場合、若しくは、前記検出領域が動領域かつ“０”以外のグローバル・ベクトルの検出値が出力されている場合にはフィルタＥを、前記検出領域が動領域かつグローバル・ベクトルの検出値が“０”若しくはグローバル・ベクトルの非検出信号が出力されている場合にはフィルタＤを、選択する切り替え情報を出力する構成とすることも可能である。
【００２４】
また、前記グローバル・ベクトル検出手段は、前記検出領域毎の前記直前のフィールドの動きベクトルを、許容誤差範囲内で相互に比較することにより、検出比率の大きい複数のベクトル値とその検出比率を特定し、該複数のベクトル値のうち、一定範囲内に含まれるベクトル値の検出比率の和が一定値を上回る場合に最多検出ベクトルの値をグローバル・ベクトルの検出値として出力し、一定値を下回る場合にはグローバル・ベクトルの非検出信号を出力するのが好適である。さらに、前記静動判定手段は、連続する５フィールドの２：１インターレース画像信号のうち、第一のフィールド信号と第三のフィールド信号、もしくは、第三のフィールド信号と第五のフィールド信号との間では、両者で同一空間位置を占める画素間で、第二のフィールド信号と第三のフィールド信号、若しくは、第三のフィールド信号と第四のフィールド信号との間では、時間的に前のフィールドの画素と該画素の空間位置に対応する位置の上下いずれかに位置する時間的に後のフィールドの画素間で、輝度信号レベルの差分の絶対値を、時間的に前のフィールドの画素の水平勾配の絶対値と垂直勾配の絶対値のうち大なる値で除した商が、前記四の場合すべてについて一定値を上回る場合にのみ動画素と判定し、前記検出領域内での動画素の数が一定値を上回る場合にのみ当該領域を動領域と判定し、一定値を下回る場合は静止領域と判定するのが好適である。さらに加えて、前記ＳＮ比判定手段は、前記静動判定手段により静止領域と判定された検出領域の割合が一定値を下回り、かつ、前記グローバル・ベクトルの検出値が“０”の場合には高ＳＮ領域と判定し、前記検出領域の割合が一定値を下回り、かつ、“０”以外のグローバル・ベクトルの検出値を有する場合若しくはグローバル・ベクトルの非検出信号が出力されている場合には低ＳＮ領域と判定し、前記静動判定手段により静止領域と判定された検出領域の割合が一定値を上回る場合には、該静止領域と判定された全検出領域内の全画素に対し、１フレーム後の全画素との間で画素毎に輝度信号レベルの差分の絶対値を求め、これらの全平均が一定値を下回る場合に高ＳＮ領域と判定し、一定値を上回る場合は低ＳＮ領域と判定する構成とすることも可能である。
【００２５】
このように、本発明の一形態による前置フィルタでは、上記問題点を解決し、検出精度の高い動きベクトル検出を行うために、飛び越し走査の画像信号を入力信号とし、ベクトル検出用輝度信号を出力するフィルタ特性の異なる複数の前置フィルタを用意して、これを適応的に切り換える構成を採用している。さらに、複数のフィルタを切り換えるために、入力動画像の検出領域毎に、画像特性を判定している。そして、判定結果の画像特性とベクトル検出方法の組み合わせに最適なフィルタを検出領域毎に選択的に切り換え、最適なベクトル検出用輝度信号を、べクトル検出のための回路に供給することとしている。
【００２６】
【発明の実施の形態】
本発明の実施の形態として、連続するフィールド間で動画像の動きベクトル検出を行う場合に使用する前置フィルタを開示する。
【００２７】
すなわち、ベクトル検出用輝度信号を作成するために、特性の異なる複数のフィルタ（例えば、空間ＬＰＦ、時間ＬＰＦ、時空間ＬＰＦ、時間方向の巡回フィルタ、順次走査変換フィルタ）を用意し、入力動画像の画像特性（例えば、静動状態、過去の動きベクトル、ＳＮ状態、動画像内の大局的な動きを表すグローバル・ベクトル）を調べ、その画像特性とベクトル検出方法（例えば、ブロック・マッチング法、勾配法、位相相関法）の組み合わせに応じて、最適な（例えば、ベクトル検出方法としてブロック・マッチング法を用いる場合には時間方向のフィルタ特性を持たないフィルタを用い、動物体に動いたことによるボケがない画像を用いて勾配法でベクトル検出する場合には時間方向のフィルタ特性を持つフィルタを用い、飛び越し走査のテレビジョンの映像を用いてベクトル検出する場合は順次走査変換を行うフィルタを用いる）フィルタ特性を有するフィルタを、複数のフィルタの中から選択し、その選択したフィルタの出力信号をベクトル検出用輝度信号とすることにより、ベクトル検出精度を高めるようにしている。
【００２８】
より具体的に述べると、
入力動画像からベクトル検出用輝度信号を生成し、ベクトル検出用輝度信号を小領域（以下、検出領域と言う。）に分けて、その検出領域毎のベクトル検出用輝度信号を用いて連続するフィールド間で動画像の動きベクトル検出を行うベクトル検出装置のベクトル検出用輝度信号を生成する前置フィルタ（図１５参照）において、
前置フィルタは、
並列に接続された前置フィルタＡ（１５１Ａ）と、前置フィルタＢ（１５１Ｂ）と、前置フィルタＣ（１５１Ｃ）と、前置フィルタＤ（１５１Ｄ）と、前置フィルタＥ（１５１Ｅ）と、
これら複数のフィルタの一つを選択して出力する切り換え手段（１５３）を含むと共に、
検出領域に該当する入力動画像領域の画像特性（例えば、その領域の静動状態、その領域の過去の動きベクトル、その領域を含む入力の動画像のＳＮ状態、入力の動画像内の大局的な動きを表すグローバル・ベクトル）を、その領域の静動状態（１５０）と、その領域の過去の動きベクトル（１５４，１５５）と、その領域を含む入力の動画像のＳＮ状態（１５７）と、入力の動画像内の大局的な動きを表す過去のグローバル・ベクトル（１５６）とを用いて、図１６および図１７に示した画像特性判定表によって判定する手段を備え、
さらに、前記切り換え手段（１５３）の制御信号として、入力動画像領域の画像特性の判定結果に従い、前記複数のフィルタのうち、ベクトル検出方法に最適な（例えば、ベクトル検出方法としてブロック・マッチング法を用いる場合には時間方向のフィルタ特性を持たないフィルタを用いる）フィルタ特性を有する一つのフィルタを選択する信号を出力するデコーダ（１５２）を備えている。
【００２９】
このように、画像特性とベクトル検出方法との組み合わせに整合したフィルタを用いた場合、すなわち、垂直方向の周波数成分を持つ静止領域とブロック・マッチング法の組み合わせにおいては、前置フィルタＡ（図６参照）あるいは前置フィルタＢ（図９参照）、動物体の画像にボケがない素材と勾配法の組み合わせにおいては、前置フィルタＣ（図１１参照）、あるいは前置フィルタＤ（図１２参照）、ＳＮ比の極めて悪い画像とブロック・マッチング法、あるいは、勾配法の組み合わせにおいては、前置フィルタＢ（図９参照）、あるいは、前置フィルタＣ（図１１参照）を用いた場合には、既述の従来例のような不都合を招来することがなくなる。
【００３０】
【実施例】
本発明を適用した前置フィルタについて説明するに先立って、前置フィルタの出力を画像特性に応じて選択するための制御情報を求める一方法を、以下に述べる。
【００３１】
ここでは、現フィールドの画像をｆ(t) 、 次フィールドの画像をｆ(t+1) 、次々フィールドの画像をｆ(t+2) 、前フィールドの画像をｆ(t-1) 、前々フィールドの画像をｆ(t-2) とする。
【００３２】
（Ｉ）検出領域の静動状態について
図４に示すように、ｆ(t) とｆ(t+1) 間の動き検出と、ｆ(t) とｆ(t+2) 間の動き検出と、ｆ(t) とｆ(t-1) 間の動き検出とｆ(t) とｆ(t-2) 間の動き検出を画素毎に行い、画像ｆ(t) 上の動領域と静止領域を検出する。動き検出は、例えば、ｆ(t) の画素の輝度レベルの水平勾配の絶対値と垂直勾配の絶対値の内、大きい方の値で、フィールド間の同一画素の輝度レベルの差分の絶対値を除する方法により求める。
【００３３】
具体的な動き検出の方法を、ｆ(t) 上の格子状に標本化された標本化点の一つの画素ｐを例にとって、以下に説明する。
【００３４】
ｆ(t) 上の画素ｐと同じ空間位置にあるｆ(t+1) 上の画素をｑとする。画像ｆ(t) が飛び越し走査信号の場合には、ｆ(t) とｆ(t+1) は１フィールド離れているので、ｆ(t) 上の画素ｐの空間位置に対応するｆ(t+1) 上の画素は存在しない。そこで、ｆ(t+1) 上の画素ｑとして、画素ｐの空間位置に対応する位置の上下のどちらかのｆ(t+1) 上の画素を選ぶ。画素ｐの空間位置を(x,y) とし、その輝度レベルをＦ(x,y) と表し、ｆ(t+1) 上の画素ｑとして選ばれた画素の輝度レベルをＧ(x,y) とする。
【００３５】
画素ｐの勾配▽ｐを、
【００３６】
【数１】
と定義すれば、画素ｐの動きｍ１は、
【００３７】
【数２】
【００３８】
と表せる。ここでノイズの影響を避けるため、ｍthを定義し、
ｍ１≧ｍth
のときは、動領域として
Ｍ１＝１
とし、
ｍ１＜ｍth
のときは、静止領域として
Ｍ１＝０
とする。
【００３９】
同様にして、ｆ(t) 上の画素ｐと、これと同じ空間位置にあるｆ(t+2) 上、ｆ(t-1) 上およびｆ(t-2) 上の各画素との間で動き検出を行い、それぞれの動き検出の結果をＭ２、Ｍ３、Ｍ４とする。
【００４０】
次に、
【００４１】
【数３】
Ｍｐ＝（Ｍ1 and Ｍ2 and Ｍ3 and Ｍ4 ） …(3)
を調べ、
Ｍｐ＝０のときは、画素ｐは静止領域
とし、
Ｍｐ＝１のときは、画素ｐは動領域
と判定する。
【００４２】
以上の処理をｆ(t) 上の全ての画素に対して行い、ｆ(t) 上の画素毎の動領域と静止領域を求める。
【００４３】
次に、ｆ(t) 上の検出領域毎の静動判定を行うために、検出領域内の画素の内、
Ｍｐ＝１
となる個数をｍとする。静動判定のためのｎthを定義し、
ｍ＞ｎth
のときは、検出領域は動領域とし、
Ｍ＝１
とし、
ｍ≦ｎth
のときは、検出領域は静止領域とし、
Ｍ＝０
と判定する。同様にして、ｆ(t) 上の全ての検出領域に対して静動判定を行う。
【００４４】
（II）ＳＮ比について
次に、ｆ(t) のＭ＝０となる全静止領域の全ての画素に対して、ｆ(t+2) 上にあるｆ(t) の静止領域と同じ空間位置を占める画素との間でフレーム間の輝度レベルの差分の絶対値を求め、全静止領域の１画素当たりの輝度レベルの差分の絶対値の平均Ｎを求める。ＳＮ比はフィールド単位で決定される。上記（Ｉ）の検出領域の静動状態を表すＭが画面内でＭ＝０となる検出領域の個数を数え、その数をＣとする。ここでパンニング画像では、静止領域がないかあるいは少ないため、しきい値Ｃthを導入し、
Ｃ≦Ｃth
のときは、別途求めた前フィールドのグローバル・ベクトルＶｇ（次に述べる（III ）を参照）を参照し、Ｖｇ≠０あるいはＶｇ＝無しのときはＳＮ比が悪いとし、
ｓｎ＝１
とし、Ｖｇ＝０のときはＳＮ比が良いとし、
ｓｎ＝０
とする。
【００４５】
Ｃ＞Ｃthのときは、ＳＮ比を判定するためのＮthを導入し、
Ｎ＜Ｎth
のときはＳＮ比が良いとし、
ｓｎ＝０
とする。
【００４６】
Ｎ≧Ｎth
のときはＳＮ比が悪いとし、
ｓｎ＝１
とする。
【００４７】
（III ）グローバル・ベクトルについて
図５に示すように、前フィールドのグローバル・ベクトルを求める。グローバル・ベクトルはフィールド単位に決定される。動きベクトル検出で検出した既知の前フィールドの検出領域毎の動きベクトルＶ(t-1) を用いて、画面内で最も多く検出したベクトル値の内、上位から１，２，３番目のベクトル値とその個数の画面内の総検出領域数に対する割合を調べ、次のようにベクトル値の比較をし、グローバル・ベクトルの値を決める。
【００４８】
ここで、グローバル・ベクトル値をＶｇとし、その確からしさをＲｇとし、検出ベクトル値と個数の割合を上位からそれぞれｖ１，ｖ２，ｖ３とｎ１，ｎ２，ｎ３と表すことにする。また、ベクトル値の比較は、誤差αを許容して行い、グローバル・ベクトル値決定の基礎とする。誤差αを許容したベクトル値の比較は、例えば、ある値ＶｎとＶｍを比較するものとすれば、Ｖｎ＝（Ｖnx，Ｖny）とＶｍ＝（Ｖmx，Ｖmy）のベクトル値が、
【００４９】
【数４】
を満足した場合に、ＶｎとＶｍは、等しいとみなすこととする。
【００５０】
グローバル・ベクトル検出は以下の手順で行う。
【００５１】
１）誤差α＝０を許容して検出ベクトル値を相互に比較し、最多検出ベクトル値の基データｖ１.orgを導出する。
【００５２】
２）次に、誤差α＝３を許容して検出ベクトル値を相互に比較し、ｖ１.orgと等しいあるいは、等しいと見なされた検出ベクトル値の割合を調べ、ｖ１＝ｖ１.orgとし、その割合をｎ１とする。
【００５３】
３）さらに、誤差α＝３を許容して検出ベクトル値を相互に比較し、ｖ１に相当するベクトル値を除いた検出ベクトル値の中から、２番目に多い検出ベクトル値ｖ２とその割合ｎ２を同様に調べる。ｖ２の値は、２番目に多い検出ベクトルの中から最初に選択されたものをｖ２の代表値とする。
【００５４】
４）上記同様の手順に従い、誤差α＝３を許容して検出ベクトル値を相互に比較し、ｖ１，ｖ２に相当するベクトル値を除いた検出ベクトル値の中から、３番目に多い検出ベクトル値ｖ３とその割合ｎ３を調べる。ｖ３の値は、３番目に多い検出ベクトルの中から最初に選択されたものをｖ３の代表値とする。
【００５５】
５）上記で求めたｖ１，ｖ２，ｖ３，ｎ１，ｎ２，ｎ３を用いて以下の条件に従い、初期値をＲｇ＝０として、Ｒｇにポイントを順次加算していき、グローバル・ベクトルの信頼度Ｒｇを求める。
【００５６】
ここで、ベクトル値ｖ１，ｖ２，ｖ３の相互の比較は、誤差β＝２０％を許容して行い、２つのベクトル値が等しい、
【００５７】
【外１】
【００５８】
２つのベクトル値が誤差β＝２０％を越えて異なる場合は、記号≠で表す。誤差βを許容したベクトル値の比較は、例えば、ある値ＶｎとＶｍを比較するものとすれば、Ｖｎ＝（Ｖnx，Ｖny）とＶｍ＝（Ｖmx，Ｖmy）のベクトル値が、
【００５９】
【数５】
を満足した場合に、ＶｎとＶｍは、等しいとみなすこととする。
【００６０】
（ａ） もし ｎ１＞８０％
ならば Ｒg に１０ポイント加算する。
【００６１】
（ｂ） もし ｎ１＞５０％
ならば Ｒg に４ポイント加算する。
【００６２】
【外２】
【００６３】
上記のように信頼度Ｒｇにポイント制を導入し、最終的なＲｇの値が６以上となれば、ｖ１をグローバル・ベクトルとし、
Ｖｇ＝ｖ１
とする。
【００６４】
Ｒｇが６未満の場合は、Ｖｇはグローバル・ベクトルではないとし、
Ｖｇ＝無し
とする。
【００６５】
動きベクトル検出法（例えば、ブロック・マッチング法，勾配法）で検出した既知の前フィールドの検出領域毎の動きベクトルをＶ(t-1) とする。
【００６６】
続いて、本発明を適用した前置フィルタの構成要素である複数の特性の異なるフィルタを図６，図９，図１１，図１２，図１４を参照して、個々に説明する。
【００６７】
イ）前置フィルタＡについて
図６に示した前置フィルタＡは、フレーム信号にタップ数の少ない（例えば３タップ）空間ＬＰＦをかけて１ラインおきに走査線を間引くことにより、フィールド信号を生成するフィルタ（６０Ａ，６０Ｂ）を２個並列に含むものである。
【００６８】
図６，図９，図１１で用いているフレーム→フィールド・サブサンプリングのＬＰＦについて、その構成例を図７に示し、その動作例を図８に示して以下に説明する。
【００６９】
入力のフィールド信号ｆ(t) は、飛び越し走査のテレビジョン信号であるため、ｆ(t-1) とｆ(t) 、ｆ(t) とｆ(t+1) は、垂直方向に１走査線分ずれている。しかし、フレーム間離れたｆ(t-1) とｆ(t+1) は、垂直方向のずれはない。ｆ(t) を奇数フィールドとすると、ｆ(t-1) とｆ(t+1) は偶数フィールドとなる。ここでｆ(t-1) とｆ(t) で構成されるフレーム信号をＦ(t) とし、ｆ(t) とｆ(t+1) で構成されるフレーム信号をＦ(t+1) とする。 フレーム信号Ｆ(t) 、Ｆ(t+1) 空間ＬＰＦをかけたフレーム信号をそれぞれＧ(t) 、Ｇ(t+1) とする。
【００７０】
フレーム信号Ｇ(t) を構成するフィールド信号の内、奇数フィールドをｇｏ(t) とし、偶数フィールドをｇｅ(t) とし、フレーム信号Ｇ(t+1) を構成するフィールド信号の内、奇数フィールドをｇｏ(t+1) とし、偶数フィールドをｇｅ(t+1) とする。
【００７１】
図７で入力画像のｆ(t) が奇数フィールドの場合、フレーム→フィールド・サブサンプリングのＬＰＦから出力されるベクトル検出用輝度信号のｆ'(t)とｆ'(t+1)は、前記のｇｏ(t) とｇｏ(t+1) を出力することとする。入力画像のｆ(t) が偶数フィールドの場合、フレーム→フィールド・サブサンプリングのＬＰＦから出力されるベクトル検出用輝度信号のｆ'(t)とｆ'(t+1)は、前記のｇｅ(t) ｇｅ(t+1) を出力する。つまり、ｆ(t) が奇数フィールドの場合、
ｆ'(t) ＝ｇｏ(t)
ｆ'(t+1)＝ｇｏ(t+1)
となる。従って、同時に出力されるフィールド信号ｇｏ(t) とｇｏ(t+1) は、走査線の垂直方向の空間位置が同じであるため、出力信号ｆ'(t)は走査線が半減された順次走査信号と等価である。
【００７２】
ここで、静止領域では、入力信号のｆ(t-1) とｆ(t+1) は
ｆ(t-1) ＝ｆ(t+1)
で同じ値であるため、ｆ(t-1) とｆ(t) 、ｆ(t) とｆ(t+1) で構成されるフレーム信号Ｆ(t) とＦ(t+1) は、
Ｆ(t) ＝Ｆ(t+1)
となる。従って、Ｆ(t) およびＦ(t+1) に空間ＬＰＦをかけたフレーム信号Ｇ(t) びＧ(t+1) は、
Ｇ(t) ＝Ｇ(t+1)
となる。従って、Ｇ(t) とＧ(t+1) を構成するフィールド信号ｇｏ(t) とｇｅ(t) 、
およびｇｏ(t+1) とｇｅ(t+1) は、
ｇｏ(t) ＝ｇｏ(t+1)
ｇｅ(t) ＝ｇｅ(t+1)
となる。従って、静止領域では、飛び越し走査信号を用いるにも拘らずフレーム→フィールド・サブサンプリングのＬＰＦの出力のベクトル検出用輝度信号を用いることにより、飛び越し走査による影響を避けて、零ベクトルを検出できる。
【００７３】
このようなフィルタを用いないと、入力信号が飛び越し走査の場合、静止領域では、１フレーム分離れたフィールド信号を用いていたために、静動領域の判定を間違えて、動領域であるにも拘らず静止処理を行ったり、静止領域であるにも係わらず動処理を行ったりと、誤った処理による不都合が発生していた。本実施例によるフレーム→フィールド・サブサンプリングのＬＰＦの出力を用いて動きベクトル検出を行うことにより、静止領域では前述のように正しく静止を検出することができ、動領域ではｇｏ(t) とｇｏ(t+1) あるいはｇｅ(t) とｇｅ(t+1) は時間方向に２タップのＬＰＦフィルタをかけたフィールド信号と等価になるため、正しく動きを検出することができる。
【００７４】
すなわち、前置フィルタＡは、図６に示すように３フィールドのデータを用いて、１フィールド分離れていながら走査線の垂直方向の空間位置が一致する信号をベクトル検出用輝度信号として同時に出力するフィルタである。これにより、ノイズの除去とフィールド間での動きを検出することができる。すなわち、テレビ信号のような飛び越し走査の信号を用いてフィールド間の動きベクトル検出を行う場合、垂直方向の周波数成分を持つ静止領域では、前置フィルタＡの出力を用いると１フィールド離れたベクトル検出用輝度信号間の画像の差分値がほぼ零となるため、ブロック・マッチング法あるいは勾配法のベクトル検出方法と組み合わせると零ベクトルを検出することができる。
【００７５】
また、動領域では、時間方向に２タップの時間フィルタをかけたものと等価になるため、勾配法のベクトル検出方法と組み合わせるとフィールド間の動きを検出することできる。
【００７６】
ロ）前置フィルタＢについて
図９の前置フィルタＢは、１フレーム分離れた２つのフィールド信号の加算平均をとることにより時間フィルタをかけ、その出力と１フィールド遅れた同様な出力とで構成されるフレーム信号に図７と同様な空間ＬＰＦをかけて、１ラインおきに走査線を間引くことによりフィールド信号を生成する。
【００７７】
すなわち、図１０に示すように、５フィールドのデータを用いて、１フィールド分離れていながら走査線の垂直方向の空間位置が一致する信号をベクトル検出用輝度信号として出力するフィルタである。用いる空間ＬＰＦは前置フィルタＡと同じタップ数の少ないフィルタであり、時間方向のフィルタリング処理によりノイズの影響を除去することができる。
【００７８】
ＳＮ比の悪い動画像を用いて動きベクトル検出を行う場合、前置フィルタＢの出力を用いると静止領域のベクトル検出用輝度信号間の画像の差分値がほぼ零となるため、ブロック・マッチング法あるいは勾配法のベクトル検出方法と組み合わせると、零ベクトルを検出することができる。また、動領域では、時間方向に４タップの時間フィルタをかけたものと等価になるため、勾配法のベクトル検出方法と組み合わせるとフィールド間の動きを検出することできる。
【００７９】
ハ）前置フィルタＣについて
図１１の前置フィルタＣは、フィールド信号に対して１フレームで巡回する時間方向の巡回フィルタをかけ、その出力と、１フィールド遅れた同様な出力とで構成されるフレーム信号に図７と同様な空間ＬＰＦをかけて、１ラインおきに走査線を間引くことによりフィールド信号を生成する。
【００８０】
すなわち、３フィールドのデータを用いて、１フィールド分離れていながら走査線の垂直方向の空間位置が一致する信号をベクトル検出用輝度信号として出力するフィルタである。これにより、タップ数の少ない空間フィルタや時間フィルタでは除去できないノイズ（例えば、Ｆ／Ｖ変換画像の粒状性ノイズやＳＮの極めて悪い動画像のノイズ）を取り除くことができる。
【００８１】
前置フィルタＣの出力を用いると静止領域のベクトル検出用輝度信号間の画像の差分値がほぼ零となるため、ブロック・マッチング法あるいは勾配法のベクトル検出方法と組み合わせると零ベクトルを検出することができる。また、動領域では、巡回フィルタにより動物体に疑似勾配が付くため、動物体の勾配を用いる動きベクトル検出方法（勾配法）での動きベクトル検出が容易になる。
【００８２】
ニ）前置フィルタＤについて
図１２の前置フィルタＤは、図１３に示すように、３フィールドにわたって連続するフィールド信号に時空間ＬＰＦをかけた信号をベクトル検出用輝度信号とするフィルタを２個並列に含むものである。空間フィルタは、水平フィルタ（例えば、タップ数５で係数が１／４，２／４，２／４，２／４，１／４の一次元のＬＰＦ）と垂直フィルタ（例えば、タップ数５で係数が１／４，２／４，２／４，２／４，１／４の一次元のＬＰＦ）を縦続接続したものである。すなわち、図１２に示すように、４フィールドのデータを用いて、連続する２フィールドのベクトル検出用輝度信号を同時に出力するフィルタである。
【００８３】
ＣＧやシャッター付きのＣＣＤカメラの画像やＦ／Ｖ変換の画像は、動物体が動いたことによるボケがないため、前置フィルタＤに含まれる時間フィルタにより動物体に疑似勾配を付けることで、動物体の勾配を用いる動きベクトル検出方法（勾配法）での動きベクトル検出が容易になる。
【００８４】
ホ）前置フィルタＥについて
図１４の前置フィルタＥは、動領域と静止領域の境界でフィルタリング処理による影響を避けるためにタップ数の少ない（例えば３タップ）空間ＬＰＦをフィールド信号にかけてノイズを除去し、連続する２フィールド分のベクトル検出用輝度信号を出力する。
【００８５】
動物体の勾配を用いない動きベクトル検出方法（ブロック・マッチング法）を用いた場合、時空間方向のフィルタ特性を持たない前置フィルタＥの出力を使用することにより、動物体の画像に疑似勾配が付かない。従って、ブロック・マッチング法のベクトル検出方法を用いた場合、２つのフィールド間の画像の輝度レベルの差分値の絶対値で表される相関平面において、正しい動きベクトルに相当する位置の相関のピークが顕著に現れるため、正しく動きベクトル検出を行うことができる。
【００８６】
次に、ＳＮ比を表すｓｎと前フィールドの検出ベクトルＶ(t-1) と前フィールドのグローバル・ベクトルＶｇと動領域，静止領域の情報を用いて、前置フィルタの特性を切り換える実施例を図１５に示す。本図において、検出領域の静動判定部１５０は、図４に示したブロック構成を有する。また、前置フィルタＡ〜Ｅ（１５１Ａ〜１５１Ｅ）は、それぞれ図６，図９，図１１，図１２，図１４に示した構成を有する。また、グローバルベクトル検出部１５６は、図５に示したブロック構成を有する。
【００８７】
既に述べた通り、本発明の主たる目的は、検出領域の静動状態により、前置フィルタを適応的に切り換えることである。静動判定は、１フレーム分離れた画像間の輝度レベルの差分値の絶対値をあるしきい値で比較して判定する従来の方法や、本発明で用いる図４に示すような方法では、２つの画像間の輝度レベルの相関が不定のところが有るため、１００％の確率で静動判定を行うことはできない。
【００８８】
そこで、本発明の一実施例では、図４に示す静動判定と前フィールドで検出した動きベクトルとを併用して静動判定の正確さを高める。本発明の一実施例において、静止領域と判定する条件は、図４の動き検出で静止領域と判定され、さらに前フィールドの検出ベクトルＶ(t-1) が零の場合である。
【００８９】
まず、静止領域は、主に２つの場合が考えられる。１つは、カメラが固定されて撮影された画像の静止領域と、カメラが動物体を追跡するために移動して撮影された画像の中の動物体の画像は、ほぼ静止領域になる。これらの判定は、グローバル・ベクトルＶｇで判定を行う。静止領域では、飛び越し走査の影響を避けるため、前置フィルタＡを使用する。また、静止領域ではノイズの影響を避けるためにＳＮ比の値により、ＳＮ比が悪い場合は、前置フィルタＣを使用し、カメラが移動して撮影した画像の静止領域では、静動判定の精度を考慮して、時間方向のフィルタ特性が少ない前置フィルタＢを使用する。
【００９０】
次に、動領域およびＶ(t-1) ≠０で動領域と判定された領域では、ブロック・マッチング法を動きベクトル検出方法として用いた場合は、時間方向のフィルタ特性を持たない前置フィルタＥを使用する。勾配法を動きベクトル検出方法として用いた場合は、動物体の画像に動物体が動いたことによるボケ（輝度レベルの勾配）が無くてはならない。ＣＧやシャッター付きカメラの画像やＦ／Ｖ変換画像が入力された場合は、入力画像の動物体の画像にはボケが少ない。
【００９１】
従って、入力画像の種別（ＣＧ等のボケの少ない画像、動画像のボケが大きい撮像管のカメラで撮影された画像）にかかわりなく、カメラが固定で撮影された動物体の画像の動領域に対しては、時間方向のフィルタ特性を持つ前置フィルタＤの出力を用い、カメラが移動して撮影された画像の動領域では、時空間フィルタをかけて疑似勾配を作らなくても動領域にボケが有るため、前置フィルタＥを使用する。
【００９２】
ベクトル検出方法としてブロック・マッチング法を用いる場合の前置フィルタの切り換えの一実施例を図１６に示す。
【００９３】
また、ベクトル検出方法として勾配法を用いる場合の前置フィルタの切り換えの一実施例を図１７に示す。
【００９４】
なお、ベクトル検出方法としてブロック・マッチング法と勾配法を切り換えて用いる場合は、図１５の切り換え情報デコーダ１５２の内容を図１６，図１７に従い切り換えて用いればよい。
【００９５】
【発明の効果】
以上説明した通り、本発明によれば、フィルタリング処理単位であるフィルタ入力信号の画像小領域毎に静動状態やＳＮ比を判定し、特性の異なる複数のフィルタの中からその領域の特性と動きベクトル検出方法との組み合わせに最適な前置フィルタを選択する構成としてあるので、領域毎の最適なフィルタリング処理が可能となり、動きベクトル検出精度を高めた動きベクトル検出が可能となる。
【００９６】
すなわち本発明では、ベクトル検出用輝度信号を出力する特性の異なるフィルタを複数用意し、検出対象領域の画像特性と検出方法に最適なベクトル検出用輝度信号を出力するフィルタを検出対象領域毎に切り換えて使用することにより、誤った動きベクトル検出を行わないようにすることができる。かくして、本発明を実施することにより、誤った動きベクトルを検出することがなくなるため、動きベクトル検出精度を高めることができるという格別な効果を奏することができる。
【図面の簡単な説明】
【図１】（Ａ）は飛び越し走査の垂直方向の走査線の位置関係を示す説明図、（Ｂ）は従来の前置フィルタの出力例を示す説明図、（Ｃ）は飛び越し走査線の時空間位置を示す説明図である。
【図２】（Ａ）は飛び越し走査の垂直方向の走査線の位置関係を示す説明図、（Ｂ）は従来の前置フィルタの出力例を示す説明図である。
【図３】従来の前置フィルタの回路の一実施例を示すブロック図である。
【図４】本発明の静動判定回路の一実施例を示すブロック図である。
【図５】本発明のグローバル・ベクトル検出の一実施例を示すブロック図である。
【図６】本発明の前置フィルタＡの回路の一実施例を示すブロック図である。
【図７】本発明の前置フィルタＡ，Ｂ，Ｃに含まれるフレーム→フィールド・サブサンプリングのＬＰＦの回路の一実施例を示すブロック図である。
【図８】本発明の前置フィルタＡ，Ｂ，Ｃに含まれるフレーム→フィールド・サブサンプリングのＬＰＦの回路の動作例を示す説明図である。
【図９】本発明の前置フィルタＢの回路の一実施例を示すブロック図である。
【図１０】本発明の前置フィルタＢの回路の動作例を示す説明図である。
【図１１】本発明の前置フィルタＣの回路の一実施例を示すブロック図である。
【図１２】本発明の前置フィルタＤの回路の一実施例を示すブロック図である。
【図１３】本発明の前置フィルタＤに含まれる時空間フィルタの回路の一実施例を示すブロック図である。
【図１４】本発明の前置フィルタＥの回路の一実施例を示すブロック図である。
【図１５】本発明の前置フィルタの切り換え回路の一実施例を示すブロック図である。
【図１６】本発明の前置フィルタのブロック・マッチング法に対応したデコーダにおける切り換えの一実施例を示す図である。
【図１７】本発明の前置フィルタの勾配法に対応したデコーダにおける切り換えの一実施例を示す図である。
【符号の説明】
１５０ 検出領域の静動判定部
１５１Ａ〜１５１Ｅ 前置フィルタＡ〜前置フィルタＥ
１５２ 切り換え情報デコーダ
１５３ ベクトル検出用輝度信号の選択部
１５４ 動きベクトル検出部
１５５ 動きベクトル値メモリ
１５６ グローバルベクトル検出部
１５７ ＳＮ比検出部
【発明の属する技術分野】
本発明は、動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタに関するものである。
【０００２】
さらに詳述すると本発明は、映像信号の動きベクトル検出を行う際に、入力動画像から最適な動きベクトル検出用輝度信号を生成するのに好適な、動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタに関するものである。
【０００３】
【従来の技術】
飛び越し走査方式のテレビジョン信号の１フレーム信号は、垂直方向に空間的に互いに１走査線分ずれた２つのフィールド信号（奇数フィールドと偶数フィールド）から構成されている。
【０００４】
従って、２つのフィールド間のベクトル検出は、ベクトル検出精度を高め、さらにハードウェアを簡略化するために、奇数フィールドあるいは偶数フィールドの内、一方のフィールド信号から他方のフィールド信号の垂直方向の空間位置に画素標本点を合致させた順次走査信号を生成して、行っている。
【０００５】
図１（Ａ）および図２（Ａ）は、入力画像の垂直方向の走査線の位置関係と輝度信号の標本点の具体例を示す。図１（Ａ）および図２（Ａ）の走査線は図１（Ｃ）に示すような断面図を図示したもので、走査線は紙面を貫く方向に存在する。
【０００６】
従来、一方のフィールド信号を他方のフィールド信号の垂直方向の空間位置に標本点を合致させる場合、フィールド内でＬＰＦをかけることにより内挿した信号を生成していた。例えば、ｆ（ｔ＋１）フィールドの走査線の標本点をｆ（ｔ）フィールドの走査線の標本点に合わせるためにｆ（ｔ＋１）フィールドの上下の隣合う走査線上の画素値を足して２で割るようなフィルタをかけた場合、図１（Ｂ）と図２（Ｂ）のようなフィルタ出力になる。図１（Ｂ）の例からもわかるように、輝度レベル境界で内挿した標本点の輝度レベルが不適切であるため、静止領域で垂直方向の周波数成分を有する領域（例えば、輝度レベルの境界が存在する領域）では、同一空間位置の２つの疑似順次信号の信号差分は零にはならないため、零ベクトル（静止）を検出できなかった。また、図２（Ｂ）の例からもわかるように、インターレース構造を考慮したノイズ除去を行っていないため、ノイズ近傍では、誤った動きベクトルを検出してしまう場合が生ずる。
【０００７】
図３は、時空間フィルタを用いた前置フィルタの一実施例（論文「ＨＤＴＶ方式変換装置」野尻裕司他、ＴＶ学会誌Vol.48,No.1,pp.84 〜94,1994 ）を示す。勾配法すなわち、輝度勾配の相関を調べる動きベクトル検出方法を用いたベクトル検出方法で動きベクトル検出を行うために、図３のような前置フィルタを用いると、動物体の画像に時間方向に３タップの時間フィルタと水平垂直の空間フィルタをかけるため、動物体の画像にボケが無くても動きベクトル検出ができる。
【０００８】
しかし、図３に示した前置フィルタは、時間方向のフィルタ特性を持つため、ブロック・マッチング法すなわち、２つの画像の差分値の相関を調べる動きベクトル検出方法を用いた動きベクトル検出方法では、正しいマッチング値を計算しにくい問題点がある。また、時間フィルタの係数によっては、図１（Ｂ）に示すようなインターレース構造による影響が生ずることがある。
【０００９】
【発明が解決しようとする課題】
従来、複数のベクトル検出方法を縦続接続して用いる動きベクトル検出装置（「動きベクトルを用いたＴＶ方式変換装置」島野他、ＴＶ学会全国大会１９８９）、あるいは、複数のベクトル検出方法を切り換えて用いる動きベクトル検出装置において、ベクトル検出用輝度信号を生成するにあたっては、単一の前置フィルタを用いていたため、その単一の前置フィルタを、動きベクトル検出の対象となる検出領域の画像特性および複数のベクトル検出方法の全ての組み合わせにおいて常に最適なフィルタ特性とすることはできなかった。
【００１０】
また、ベクトル検出の対象となる検出領域毎に、その入力動画像の画像特性とベクトル検出方法の組み合わせに最適なフィルタ特性を有するフィルタを適応的に選択して、動きベクトル検出を行うという手法も提案されていない。
【００１１】
従って、従来の動きベクトル検出装置では、ベクトル検出に不適切なベクトル検出用輝度信号が生成される場合が発生し、この場合には、正確な動きベクトルを検出することができなかった。具体的には、以下のような不都合が生ずる。
【００１２】
テレビジョン信号のような飛び越し走査の信号を用いて、動きベクトル検出を行おうとした場合、垂直方向の周波数成分を持つ静止領域では、フィールド内の信号のみを対象にフィルタリング処理する従来の前置フィルタ（例えば、フィールド内の垂直ＬＰＦ、フィールド内の垂直方向のＤＤ（Digital-Digital ）変換フィルタ）の出力（例えば、図１（Ｂ）参照）を用いるとフィールド間の画像の差分値が零とならないため、フィールド間の相関を調べて動きベクトル検出を行う検出方法（例えば、ブロック・マッチング法）を組み合わせると、誤った動きベクトルを検出してしまうことになる。
【００１３】
また、飛び越し走査のテレビジョン信号でＳＮ比の悪い動画像を用いて動きベクトル検出を行おうとした場合、時間方向のフィルタ特性とフレーム内のフィルタ特性を持たない従来の前置フィルタ（例えば、フィールド内の垂直ＬＰＦ、フィールド内の垂直ＤＤ変換フィルタ）の出力（例えば、図２（Ｂ）参照）を用いるとノイズの影響や垂直方向の周波数成分の影響で、静止領域のフィールド間の画像の差分値が零とならないため、フィールド間の相関を調べて動きベクトル検出を行う検出方法（例えば、ブロック・マッチング法）を組み合わせると、静止領域で誤った動きベクトルを検出してしまうことになる。また、動領域でも誤った動きベクトルを検出してしまう。特に、検出領域を小さくした場合には、ノイズの影響が顕著となる。
【００１４】
さらに、ＣＧ（Computer Graphic）やシャッター付きのＣＣＤカメラの画像やＦ／Ｖ変換の画像（フィルムからテレビジョン信号に変換された画像）では、動物体の画像に動物体が動いたことによるボケがない。このような動画像を入力画像として、動物体が動いたことによる動物体の勾配を用いて動きベクトル検出を行う方法（例えば勾配法）に、時空間方向のフィルタ特性を持たない従来の前置フィルタ（例えば、フィールド内の垂直ＬＰＦ、フィールド内の垂直ＤＤ変換フィルタ）を組み合わせると、ベクトル検出が全くできない。
【００１５】
また、動物体の勾配を用いない動きベクトル検出方法（例えばブロック・マッチング法）に、時空間方向あるいは空間方向のフィルタ特性を持つ従来の前置フィルタ（例えば、時間フィルタ）を組み合わせると、時間フィルタの効果により静止領域に動物体の画像が合成されるため、正しい動きベクトルを検出しづらくなる。
【００１６】
さらに、ＳＮ比の極めて悪い画像に対して、動物体が移動しても動物体の輝度レベルが変化しないことを検出条件の一つとするベクトル検出方法（例えば、ブロック・マッチング法、勾配法）を用いると、ノイズや動物体の輝度レベルや背景の輝度レベルの変化によって誤ったベクトル検出を行うことがある。
【００１７】
動きベクトルを検出する場合に、ベクトル検出方法と整合しないベクトル検出用輝度信号を用いると、多くの誤った動きベクトルを検出してしまうのは、本来ベクトル検出を行う前にベクトル検出対象領域が、ベクトル検出方法の検出条件を満足していることを確認することが必要であるにも係わらず、これを確認せずに動きベクトル検出を行うため、検出条件に適さない検出領域で誤った動きベクトルを検出することに原因しているのである。
【００１８】
以上のように、複数のベクトル検出方法を縦続して用いる動きベクトル検出装置、あるいは、複数のベクトル検出方法を切り換えて用いる動きベクトル検出装置において、単一の前置フィルタを使用してベクトル検出用輝度信号を生成した場合、入力の画像特性とベクトル検出方法の組み合わせによっては、ベクトル検出を誤る場合が起こり得る。従って、このような動きベクトル検出装置において、ベクトル検出対象領域の画像特性とベクトル検出方法との全ての組み合わせに最適なフィルタを用いることはできなかった。
【００１９】
よって本発明の目的は、上述の点に鑑み、検出領域毎に入力動画像の画像特性を判定し、その画像特性とベクトル検出方法の組み合わせに最適なフィルタを適応的に選択することを可能とした、動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタを提供することにある。
【００２０】
【課題を解決するための手段】
上記の目的を達成するために、本発明に係る動きベクトル検出方法では、ベクトル検出用輝度信号を出力する特性の異なるフィルタを複数用意し、入力動画像の検出対象領域における画像特性およびベクトル検出方法に適したベクトル検出用輝度信号を出力するフィルタを検出対象領域毎に切り換えて使用することにより、動きベクトル検出を行うものである。
【００２１】
また、本発明に係る動きベクトル検出用適応切り替え型前置フィルタでは、フィルタ特性がそれぞれ異なる複数のフィルタ手段と、入力動画像の各検出領域毎に画像特性を判定する判定手段と、前記判定手段による判定結果と各種ベクトル検出方法との組み合わせに応じて前記フィルタ手段を検出領域毎に切り換える選択手段とを具備し、前記フィルタ手段から出力されるベクトル検出用輝度信号に基づいて動きベクトルを検出しようとするものである。
【００２２】
さらに、本発明を適用した他の形態では、飛び越し走査方式で表示される画像の動きベクトル検出装置の前段に接続される前置フィルタにおいて、該フィルタは、入力画像信号がそれぞれ入力される特性の異なる二以上のフィルタと、該二以上のフィルタを切り換えて、一のフィルタ処理結果を動きベクトル検出装置に出力するフィルタ切り替え部と、前記動きベクトル検出装置の出力である直前のフィールドの動きベクトル検出結果に基づき、直前のフィールド画像全体に大局的な動きがあると判断される場合には、大局的な動きの程度をグローバル・ベクトル検出値として出力し、大局的な動きがないと判断される場合にはグローバル・ベクトル非検出信号を出力するグローバル・ベクトル検出手段と、フィルタ処理単位である検出領域毎に該領域が動領域であるか静止領域であるかの判定結果を出力する静動判定手段と、フィールド毎に入力画像全体のＳＮ比を判定し、低ＳＮ領域であるか高ＳＮ領域であるかの判定結果を出力するＳＮ比判定手段と、前記グローバル・ベクトル検出結果、検出領域毎の前記直前のフィールドの動きベクトル検出結果、前記静動判定結果および前記ＳＮ比判定結果に基づき、前記検出領域毎の切り替え情報を前記フィルタ切り替え部に出力する切り替え情報デコーダとを備えたものである。
【００２３】
ここで、前記特性の異なる二以上のフィルタは、連続する３フィールドの２：１インターレース画像信号を入力信号とし、第一のフィールド信号と第二のフィールド信号から形成されるフレーム信号および第二のフィールド信号と第三のフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引くことにより、奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタＡと、連続する５フィールドの２：１インターレース画像信号を入力信号とし、第一ならびに第三のフィールド信号を加算平均して得られるフィールド信号と第二ならびに第四のフィールド信号を加算平均して得られるフィールド信号から形成されるフレーム信号および第二ならびに第四のフィールド信号を加算平均して得られるフィールド信号と第三ならびに第五のフィールド信号を加算平均して得られるフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引くことにより、奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタＢと、入力信号である２：１インターレース画像信号に出力信号を１フレーム遅延させた信号を任意の係数比で加算して出力する巡回フィルタと、該巡回フィルタの出力である連続する３フィールドの２：１インターレース画像信号を入力信号とし、第一のフィールド信号と第二のフィールド信号から形成されるフレーム信号および第二のフィールド信号と第三のフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引き奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタとを従属接続させてなるフィルタＣと、空間ローパスフィルタ出力と、該空間ローパスフィルタ出力の１フィールド遅延出力を、連続する２フィールドの２：１インターレース画像信号として出力するフィルタＥとを含み、前記切り替え情報デコーダは、前記検出領域が静止領域かつ高ＳＮ領域かつ当該検出領域における前記前フィールドの動きベクトル検出値が“０”である場合にはフィルタＡを、前記検出領域が静止領域かつ低ＳＮ領域かつ当該検出領域における前記前フィールドの動きベクトル検出値が“０”かつ“０”以外のグローバル・ベクトルの検出値若しくはグローバル・ベクトルの非検出信号が出力されている場合にはフィルタＢを、前記検出領域が静止領域かつ低ＳＮ領域かつ当該検出領域における前記前フィールドの動きベクトル検出値が“０”かつグローバル・ベクトルの検出値が“０”の場合にはフィルタＣを、前記検出領域が静止領域かつ当該検出領域における前記前フィールドの動きベクトル検出値が“０”以外である場合、若しくは、前記検出領域が動領域である場合にはフィルタＥを、選択する切り替え情報を出力する構成とするのが好適である。あるいは、前記特性の異なる二以上のフィルタは、連続する３フィールドの２：１インターレース画像信号を入力信号とし、第一のフィールド信号と第二のフィールド信号から形成されるフレーム信号および第二のフィールド信号と第三のフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引くことにより、奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタＡと、連続する５フィールドの２：１インターレース画像信号を入力信号とし、第一ならびに第三のフィールド信号を加算平均して得られるフィールド信号と第二ならびに第四のフィールド信号を加算平均して得られるフィールド信号から形成されるフレーム信号および第二ならびに第四のフィールド信号を加算平均して得られるフィールド信号と第三ならびに第五のフィールド信号を加算平均して得られるフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引くことにより、奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタＢと、入力信号である２：１インターレース画像信号に出力信号を１フレーム遅延させた信号を任意の係数比で加算して出力する巡回フィルタと、該巡回フィルタの出力である連続する３フィールドの２：１インターレース画像信号を入力信号とし、第一のフィールド信号と第二のフィールド信号から形成されるフレーム信号および第二のフィールド信号と第三のフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引き奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタとを従属接続させてなるフィルタＣと、連続する４フィールドの２：１インターレース画像信号を入力信号とし、連続する３フィールドの信号とそれぞれの１ライン遅延出力信号を任意の係数比で加算して順次走査信号を出力する時間ローパスフィルタおよび該順次走査信号をフィールド信号に変換する空間ローパスフィルタを従属接続させてなるフィルタを１対備え、該１対のフィルタの連続する３フィールドの入力信号は、第一、第二、第三のフィールド信号または、第二、第三、第四のフィールド信号であり、前記１対のフィルタ出力は、連続する２フィールドの２：１インターレース画像信号であるフィルタとＤ、空間ローパスフィルタ出力と、該空間ローパスフィルタ出力の１フィールド遅延出力を、連続する２フィールドの２：１インターレース画像信号として出力するフィルタＥとを含み、前記切り替え情報デコーダは、前記検出領域が静止領域かつ高ＳＮ領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”である場合にはフィルタＡを、前記検出領域が静止領域かつ低ＳＮ領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”かつ“０”以外のグローバル・ベクトルの検出値若しくはグローバル・ベクトルの非検出信号が出力されている場合にはフィルタＢを、前記検出領域が静止領域かつ低ＳＮ領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”かつグローバル・ベクトルの検出値が“０”の場合にはフィルタＣを、前記検出領域が静止領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”以外かつグローバル・ベクトルの検出値が“０”若しくはグローバル・ベクトルの非検出信号が出力されている場合にはフィルタＤを、前記検出領域が静止領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”以外かつ“０”以外のグローバル・ベクトルの検出値が出力されている場合、若しくは、前記検出領域が動領域かつ“０”以外のグローバル・ベクトルの検出値が出力されている場合にはフィルタＥを、前記検出領域が動領域かつグローバル・ベクトルの検出値が“０”若しくはグローバル・ベクトルの非検出信号が出力されている場合にはフィルタＤを、選択する切り替え情報を出力する構成とすることも可能である。
【００２４】
また、前記グローバル・ベクトル検出手段は、前記検出領域毎の前記直前のフィールドの動きベクトルを、許容誤差範囲内で相互に比較することにより、検出比率の大きい複数のベクトル値とその検出比率を特定し、該複数のベクトル値のうち、一定範囲内に含まれるベクトル値の検出比率の和が一定値を上回る場合に最多検出ベクトルの値をグローバル・ベクトルの検出値として出力し、一定値を下回る場合にはグローバル・ベクトルの非検出信号を出力するのが好適である。さらに、前記静動判定手段は、連続する５フィールドの２：１インターレース画像信号のうち、第一のフィールド信号と第三のフィールド信号、もしくは、第三のフィールド信号と第五のフィールド信号との間では、両者で同一空間位置を占める画素間で、第二のフィールド信号と第三のフィールド信号、若しくは、第三のフィールド信号と第四のフィールド信号との間では、時間的に前のフィールドの画素と該画素の空間位置に対応する位置の上下いずれかに位置する時間的に後のフィールドの画素間で、輝度信号レベルの差分の絶対値を、時間的に前のフィールドの画素の水平勾配の絶対値と垂直勾配の絶対値のうち大なる値で除した商が、前記四の場合すべてについて一定値を上回る場合にのみ動画素と判定し、前記検出領域内での動画素の数が一定値を上回る場合にのみ当該領域を動領域と判定し、一定値を下回る場合は静止領域と判定するのが好適である。さらに加えて、前記ＳＮ比判定手段は、前記静動判定手段により静止領域と判定された検出領域の割合が一定値を下回り、かつ、前記グローバル・ベクトルの検出値が“０”の場合には高ＳＮ領域と判定し、前記検出領域の割合が一定値を下回り、かつ、“０”以外のグローバル・ベクトルの検出値を有する場合若しくはグローバル・ベクトルの非検出信号が出力されている場合には低ＳＮ領域と判定し、前記静動判定手段により静止領域と判定された検出領域の割合が一定値を上回る場合には、該静止領域と判定された全検出領域内の全画素に対し、１フレーム後の全画素との間で画素毎に輝度信号レベルの差分の絶対値を求め、これらの全平均が一定値を下回る場合に高ＳＮ領域と判定し、一定値を上回る場合は低ＳＮ領域と判定する構成とすることも可能である。
【００２５】
このように、本発明の一形態による前置フィルタでは、上記問題点を解決し、検出精度の高い動きベクトル検出を行うために、飛び越し走査の画像信号を入力信号とし、ベクトル検出用輝度信号を出力するフィルタ特性の異なる複数の前置フィルタを用意して、これを適応的に切り換える構成を採用している。さらに、複数のフィルタを切り換えるために、入力動画像の検出領域毎に、画像特性を判定している。そして、判定結果の画像特性とベクトル検出方法の組み合わせに最適なフィルタを検出領域毎に選択的に切り換え、最適なベクトル検出用輝度信号を、べクトル検出のための回路に供給することとしている。
【００２６】
【発明の実施の形態】
本発明の実施の形態として、連続するフィールド間で動画像の動きベクトル検出を行う場合に使用する前置フィルタを開示する。
【００２７】
すなわち、ベクトル検出用輝度信号を作成するために、特性の異なる複数のフィルタ（例えば、空間ＬＰＦ、時間ＬＰＦ、時空間ＬＰＦ、時間方向の巡回フィルタ、順次走査変換フィルタ）を用意し、入力動画像の画像特性（例えば、静動状態、過去の動きベクトル、ＳＮ状態、動画像内の大局的な動きを表すグローバル・ベクトル）を調べ、その画像特性とベクトル検出方法（例えば、ブロック・マッチング法、勾配法、位相相関法）の組み合わせに応じて、最適な（例えば、ベクトル検出方法としてブロック・マッチング法を用いる場合には時間方向のフィルタ特性を持たないフィルタを用い、動物体に動いたことによるボケがない画像を用いて勾配法でベクトル検出する場合には時間方向のフィルタ特性を持つフィルタを用い、飛び越し走査のテレビジョンの映像を用いてベクトル検出する場合は順次走査変換を行うフィルタを用いる）フィルタ特性を有するフィルタを、複数のフィルタの中から選択し、その選択したフィルタの出力信号をベクトル検出用輝度信号とすることにより、ベクトル検出精度を高めるようにしている。
【００２８】
より具体的に述べると、
入力動画像からベクトル検出用輝度信号を生成し、ベクトル検出用輝度信号を小領域（以下、検出領域と言う。）に分けて、その検出領域毎のベクトル検出用輝度信号を用いて連続するフィールド間で動画像の動きベクトル検出を行うベクトル検出装置のベクトル検出用輝度信号を生成する前置フィルタ（図１５参照）において、
前置フィルタは、
並列に接続された前置フィルタＡ（１５１Ａ）と、前置フィルタＢ（１５１Ｂ）と、前置フィルタＣ（１５１Ｃ）と、前置フィルタＤ（１５１Ｄ）と、前置フィルタＥ（１５１Ｅ）と、
これら複数のフィルタの一つを選択して出力する切り換え手段（１５３）を含むと共に、
検出領域に該当する入力動画像領域の画像特性（例えば、その領域の静動状態、その領域の過去の動きベクトル、その領域を含む入力の動画像のＳＮ状態、入力の動画像内の大局的な動きを表すグローバル・ベクトル）を、その領域の静動状態（１５０）と、その領域の過去の動きベクトル（１５４，１５５）と、その領域を含む入力の動画像のＳＮ状態（１５７）と、入力の動画像内の大局的な動きを表す過去のグローバル・ベクトル（１５６）とを用いて、図１６および図１７に示した画像特性判定表によって判定する手段を備え、
さらに、前記切り換え手段（１５３）の制御信号として、入力動画像領域の画像特性の判定結果に従い、前記複数のフィルタのうち、ベクトル検出方法に最適な（例えば、ベクトル検出方法としてブロック・マッチング法を用いる場合には時間方向のフィルタ特性を持たないフィルタを用いる）フィルタ特性を有する一つのフィルタを選択する信号を出力するデコーダ（１５２）を備えている。
【００２９】
このように、画像特性とベクトル検出方法との組み合わせに整合したフィルタを用いた場合、すなわち、垂直方向の周波数成分を持つ静止領域とブロック・マッチング法の組み合わせにおいては、前置フィルタＡ（図６参照）あるいは前置フィルタＢ（図９参照）、動物体の画像にボケがない素材と勾配法の組み合わせにおいては、前置フィルタＣ（図１１参照）、あるいは前置フィルタＤ（図１２参照）、ＳＮ比の極めて悪い画像とブロック・マッチング法、あるいは、勾配法の組み合わせにおいては、前置フィルタＢ（図９参照）、あるいは、前置フィルタＣ（図１１参照）を用いた場合には、既述の従来例のような不都合を招来することがなくなる。
【００３０】
【実施例】
本発明を適用した前置フィルタについて説明するに先立って、前置フィルタの出力を画像特性に応じて選択するための制御情報を求める一方法を、以下に述べる。
【００３１】
ここでは、現フィールドの画像をｆ(t) 、 次フィールドの画像をｆ(t+1) 、次々フィールドの画像をｆ(t+2) 、前フィールドの画像をｆ(t-1) 、前々フィールドの画像をｆ(t-2) とする。
【００３２】
（Ｉ）検出領域の静動状態について
図４に示すように、ｆ(t) とｆ(t+1) 間の動き検出と、ｆ(t) とｆ(t+2) 間の動き検出と、ｆ(t) とｆ(t-1) 間の動き検出とｆ(t) とｆ(t-2) 間の動き検出を画素毎に行い、画像ｆ(t) 上の動領域と静止領域を検出する。動き検出は、例えば、ｆ(t) の画素の輝度レベルの水平勾配の絶対値と垂直勾配の絶対値の内、大きい方の値で、フィールド間の同一画素の輝度レベルの差分の絶対値を除する方法により求める。
【００３３】
具体的な動き検出の方法を、ｆ(t) 上の格子状に標本化された標本化点の一つの画素ｐを例にとって、以下に説明する。
【００３４】
ｆ(t) 上の画素ｐと同じ空間位置にあるｆ(t+1) 上の画素をｑとする。画像ｆ(t) が飛び越し走査信号の場合には、ｆ(t) とｆ(t+1) は１フィールド離れているので、ｆ(t) 上の画素ｐの空間位置に対応するｆ(t+1) 上の画素は存在しない。そこで、ｆ(t+1) 上の画素ｑとして、画素ｐの空間位置に対応する位置の上下のどちらかのｆ(t+1) 上の画素を選ぶ。画素ｐの空間位置を(x,y) とし、その輝度レベルをＦ(x,y) と表し、ｆ(t+1) 上の画素ｑとして選ばれた画素の輝度レベルをＧ(x,y) とする。
【００３５】
画素ｐの勾配▽ｐを、
【００３６】
【数１】
【００３７】
【数２】
と表せる。ここでノイズの影響を避けるため、ｍthを定義し、
ｍ１≧ｍth
のときは、動領域として
Ｍ１＝１
とし、
ｍ１＜ｍth
のときは、静止領域として
Ｍ１＝０
とする。
【００３９】
同様にして、ｆ(t) 上の画素ｐと、これと同じ空間位置にあるｆ(t+2) 上、ｆ(t-1) 上およびｆ(t-2) 上の各画素との間で動き検出を行い、それぞれの動き検出の結果をＭ２、Ｍ３、Ｍ４とする。
【００４０】
次に、
【００４１】
【数３】
Ｍｐ＝（Ｍ1 and Ｍ2 and Ｍ3 and Ｍ4 ） …(3)
を調べ、
Ｍｐ＝０のときは、画素ｐは静止領域
とし、
Ｍｐ＝１のときは、画素ｐは動領域
と判定する。
【００４２】
以上の処理をｆ(t) 上の全ての画素に対して行い、ｆ(t) 上の画素毎の動領域と静止領域を求める。
【００４３】
次に、ｆ(t) 上の検出領域毎の静動判定を行うために、検出領域内の画素の内、
Ｍｐ＝１
となる個数をｍとする。静動判定のためのｎthを定義し、
ｍ＞ｎth
のときは、検出領域は動領域とし、
Ｍ＝１
とし、
ｍ≦ｎth
のときは、検出領域は静止領域とし、
Ｍ＝０
と判定する。同様にして、ｆ(t) 上の全ての検出領域に対して静動判定を行う。
【００４４】
（II）ＳＮ比について
次に、ｆ(t) のＭ＝０となる全静止領域の全ての画素に対して、ｆ(t+2) 上にあるｆ(t) の静止領域と同じ空間位置を占める画素との間でフレーム間の輝度レベルの差分の絶対値を求め、全静止領域の１画素当たりの輝度レベルの差分の絶対値の平均Ｎを求める。ＳＮ比はフィールド単位で決定される。上記（Ｉ）の検出領域の静動状態を表すＭが画面内でＭ＝０となる検出領域の個数を数え、その数をＣとする。ここでパンニング画像では、静止領域がないかあるいは少ないため、しきい値Ｃthを導入し、
Ｃ≦Ｃth
のときは、別途求めた前フィールドのグローバル・ベクトルＶｇ（次に述べる（III ）を参照）を参照し、Ｖｇ≠０あるいはＶｇ＝無しのときはＳＮ比が悪いとし、
ｓｎ＝１
とし、Ｖｇ＝０のときはＳＮ比が良いとし、
ｓｎ＝０
とする。
【００４５】
Ｃ＞Ｃthのときは、ＳＮ比を判定するためのＮthを導入し、
Ｎ＜Ｎth
のときはＳＮ比が良いとし、
ｓｎ＝０
とする。
【００４６】
Ｎ≧Ｎth
のときはＳＮ比が悪いとし、
ｓｎ＝１
とする。
【００４７】
（III ）グローバル・ベクトルについて
図５に示すように、前フィールドのグローバル・ベクトルを求める。グローバル・ベクトルはフィールド単位に決定される。動きベクトル検出で検出した既知の前フィールドの検出領域毎の動きベクトルＶ(t-1) を用いて、画面内で最も多く検出したベクトル値の内、上位から１，２，３番目のベクトル値とその個数の画面内の総検出領域数に対する割合を調べ、次のようにベクトル値の比較をし、グローバル・ベクトルの値を決める。
【００４８】
ここで、グローバル・ベクトル値をＶｇとし、その確からしさをＲｇとし、検出ベクトル値と個数の割合を上位からそれぞれｖ１，ｖ２，ｖ３とｎ１，ｎ２，ｎ３と表すことにする。また、ベクトル値の比較は、誤差αを許容して行い、グローバル・ベクトル値決定の基礎とする。誤差αを許容したベクトル値の比較は、例えば、ある値ＶｎとＶｍを比較するものとすれば、Ｖｎ＝（Ｖnx，Ｖny）とＶｍ＝（Ｖmx，Ｖmy）のベクトル値が、
【００４９】
【数４】
【００５０】
グローバル・ベクトル検出は以下の手順で行う。
【００５１】
１）誤差α＝０を許容して検出ベクトル値を相互に比較し、最多検出ベクトル値の基データｖ１.orgを導出する。
【００５２】
２）次に、誤差α＝３を許容して検出ベクトル値を相互に比較し、ｖ１.orgと等しいあるいは、等しいと見なされた検出ベクトル値の割合を調べ、ｖ１＝ｖ１.orgとし、その割合をｎ１とする。
【００５３】
３）さらに、誤差α＝３を許容して検出ベクトル値を相互に比較し、ｖ１に相当するベクトル値を除いた検出ベクトル値の中から、２番目に多い検出ベクトル値ｖ２とその割合ｎ２を同様に調べる。ｖ２の値は、２番目に多い検出ベクトルの中から最初に選択されたものをｖ２の代表値とする。
【００５４】
４）上記同様の手順に従い、誤差α＝３を許容して検出ベクトル値を相互に比較し、ｖ１，ｖ２に相当するベクトル値を除いた検出ベクトル値の中から、３番目に多い検出ベクトル値ｖ３とその割合ｎ３を調べる。ｖ３の値は、３番目に多い検出ベクトルの中から最初に選択されたものをｖ３の代表値とする。
【００５５】
５）上記で求めたｖ１，ｖ２，ｖ３，ｎ１，ｎ２，ｎ３を用いて以下の条件に従い、初期値をＲｇ＝０として、Ｒｇにポイントを順次加算していき、グローバル・ベクトルの信頼度Ｒｇを求める。
【００５６】
ここで、ベクトル値ｖ１，ｖ２，ｖ３の相互の比較は、誤差β＝２０％を許容して行い、２つのベクトル値が等しい、
【００５７】
【外１】
２つのベクトル値が誤差β＝２０％を越えて異なる場合は、記号≠で表す。誤差βを許容したベクトル値の比較は、例えば、ある値ＶｎとＶｍを比較するものとすれば、Ｖｎ＝（Ｖnx，Ｖny）とＶｍ＝（Ｖmx，Ｖmy）のベクトル値が、
【００５９】
【数５】
【００６０】
（ａ） もし ｎ１＞８０％
ならば Ｒg に１０ポイント加算する。
【００６１】
（ｂ） もし ｎ１＞５０％
ならば Ｒg に４ポイント加算する。
【００６２】
【外２】
上記のように信頼度Ｒｇにポイント制を導入し、最終的なＲｇの値が６以上となれば、ｖ１をグローバル・ベクトルとし、
Ｖｇ＝ｖ１
とする。
【００６４】
Ｒｇが６未満の場合は、Ｖｇはグローバル・ベクトルではないとし、
Ｖｇ＝無し
とする。
【００６５】
動きベクトル検出法（例えば、ブロック・マッチング法，勾配法）で検出した既知の前フィールドの検出領域毎の動きベクトルをＶ(t-1) とする。
【００６６】
続いて、本発明を適用した前置フィルタの構成要素である複数の特性の異なるフィルタを図６，図９，図１１，図１２，図１４を参照して、個々に説明する。
【００６７】
イ）前置フィルタＡについて
図６に示した前置フィルタＡは、フレーム信号にタップ数の少ない（例えば３タップ）空間ＬＰＦをかけて１ラインおきに走査線を間引くことにより、フィールド信号を生成するフィルタ（６０Ａ，６０Ｂ）を２個並列に含むものである。
【００６８】
図６，図９，図１１で用いているフレーム→フィールド・サブサンプリングのＬＰＦについて、その構成例を図７に示し、その動作例を図８に示して以下に説明する。
【００６９】
入力のフィールド信号ｆ(t) は、飛び越し走査のテレビジョン信号であるため、ｆ(t-1) とｆ(t) 、ｆ(t) とｆ(t+1) は、垂直方向に１走査線分ずれている。しかし、フレーム間離れたｆ(t-1) とｆ(t+1) は、垂直方向のずれはない。ｆ(t) を奇数フィールドとすると、ｆ(t-1) とｆ(t+1) は偶数フィールドとなる。ここでｆ(t-1) とｆ(t) で構成されるフレーム信号をＦ(t) とし、ｆ(t) とｆ(t+1) で構成されるフレーム信号をＦ(t+1) とする。 フレーム信号Ｆ(t) 、Ｆ(t+1) 空間ＬＰＦをかけたフレーム信号をそれぞれＧ(t) 、Ｇ(t+1) とする。
【００７０】
フレーム信号Ｇ(t) を構成するフィールド信号の内、奇数フィールドをｇｏ(t) とし、偶数フィールドをｇｅ(t) とし、フレーム信号Ｇ(t+1) を構成するフィールド信号の内、奇数フィールドをｇｏ(t+1) とし、偶数フィールドをｇｅ(t+1) とする。
【００７１】
図７で入力画像のｆ(t) が奇数フィールドの場合、フレーム→フィールド・サブサンプリングのＬＰＦから出力されるベクトル検出用輝度信号のｆ'(t)とｆ'(t+1)は、前記のｇｏ(t) とｇｏ(t+1) を出力することとする。入力画像のｆ(t) が偶数フィールドの場合、フレーム→フィールド・サブサンプリングのＬＰＦから出力されるベクトル検出用輝度信号のｆ'(t)とｆ'(t+1)は、前記のｇｅ(t) ｇｅ(t+1) を出力する。つまり、ｆ(t) が奇数フィールドの場合、
ｆ'(t) ＝ｇｏ(t)
ｆ'(t+1)＝ｇｏ(t+1)
となる。従って、同時に出力されるフィールド信号ｇｏ(t) とｇｏ(t+1) は、走査線の垂直方向の空間位置が同じであるため、出力信号ｆ'(t)は走査線が半減された順次走査信号と等価である。
【００７２】
ここで、静止領域では、入力信号のｆ(t-1) とｆ(t+1) は
ｆ(t-1) ＝ｆ(t+1)
で同じ値であるため、ｆ(t-1) とｆ(t) 、ｆ(t) とｆ(t+1) で構成されるフレーム信号Ｆ(t) とＦ(t+1) は、
Ｆ(t) ＝Ｆ(t+1)
となる。従って、Ｆ(t) およびＦ(t+1) に空間ＬＰＦをかけたフレーム信号Ｇ(t) びＧ(t+1) は、
Ｇ(t) ＝Ｇ(t+1)
となる。従って、Ｇ(t) とＧ(t+1) を構成するフィールド信号ｇｏ(t) とｇｅ(t) 、
およびｇｏ(t+1) とｇｅ(t+1) は、
ｇｏ(t) ＝ｇｏ(t+1)
ｇｅ(t) ＝ｇｅ(t+1)
となる。従って、静止領域では、飛び越し走査信号を用いるにも拘らずフレーム→フィールド・サブサンプリングのＬＰＦの出力のベクトル検出用輝度信号を用いることにより、飛び越し走査による影響を避けて、零ベクトルを検出できる。
【００７３】
このようなフィルタを用いないと、入力信号が飛び越し走査の場合、静止領域では、１フレーム分離れたフィールド信号を用いていたために、静動領域の判定を間違えて、動領域であるにも拘らず静止処理を行ったり、静止領域であるにも係わらず動処理を行ったりと、誤った処理による不都合が発生していた。本実施例によるフレーム→フィールド・サブサンプリングのＬＰＦの出力を用いて動きベクトル検出を行うことにより、静止領域では前述のように正しく静止を検出することができ、動領域ではｇｏ(t) とｇｏ(t+1) あるいはｇｅ(t) とｇｅ(t+1) は時間方向に２タップのＬＰＦフィルタをかけたフィールド信号と等価になるため、正しく動きを検出することができる。
【００７４】
すなわち、前置フィルタＡは、図６に示すように３フィールドのデータを用いて、１フィールド分離れていながら走査線の垂直方向の空間位置が一致する信号をベクトル検出用輝度信号として同時に出力するフィルタである。これにより、ノイズの除去とフィールド間での動きを検出することができる。すなわち、テレビ信号のような飛び越し走査の信号を用いてフィールド間の動きベクトル検出を行う場合、垂直方向の周波数成分を持つ静止領域では、前置フィルタＡの出力を用いると１フィールド離れたベクトル検出用輝度信号間の画像の差分値がほぼ零となるため、ブロック・マッチング法あるいは勾配法のベクトル検出方法と組み合わせると零ベクトルを検出することができる。
【００７５】
また、動領域では、時間方向に２タップの時間フィルタをかけたものと等価になるため、勾配法のベクトル検出方法と組み合わせるとフィールド間の動きを検出することできる。
【００７６】
ロ）前置フィルタＢについて
図９の前置フィルタＢは、１フレーム分離れた２つのフィールド信号の加算平均をとることにより時間フィルタをかけ、その出力と１フィールド遅れた同様な出力とで構成されるフレーム信号に図７と同様な空間ＬＰＦをかけて、１ラインおきに走査線を間引くことによりフィールド信号を生成する。
【００７７】
すなわち、図１０に示すように、５フィールドのデータを用いて、１フィールド分離れていながら走査線の垂直方向の空間位置が一致する信号をベクトル検出用輝度信号として出力するフィルタである。用いる空間ＬＰＦは前置フィルタＡと同じタップ数の少ないフィルタであり、時間方向のフィルタリング処理によりノイズの影響を除去することができる。
【００７８】
ＳＮ比の悪い動画像を用いて動きベクトル検出を行う場合、前置フィルタＢの出力を用いると静止領域のベクトル検出用輝度信号間の画像の差分値がほぼ零となるため、ブロック・マッチング法あるいは勾配法のベクトル検出方法と組み合わせると、零ベクトルを検出することができる。また、動領域では、時間方向に４タップの時間フィルタをかけたものと等価になるため、勾配法のベクトル検出方法と組み合わせるとフィールド間の動きを検出することできる。
【００７９】
ハ）前置フィルタＣについて
図１１の前置フィルタＣは、フィールド信号に対して１フレームで巡回する時間方向の巡回フィルタをかけ、その出力と、１フィールド遅れた同様な出力とで構成されるフレーム信号に図７と同様な空間ＬＰＦをかけて、１ラインおきに走査線を間引くことによりフィールド信号を生成する。
【００８０】
すなわち、３フィールドのデータを用いて、１フィールド分離れていながら走査線の垂直方向の空間位置が一致する信号をベクトル検出用輝度信号として出力するフィルタである。これにより、タップ数の少ない空間フィルタや時間フィルタでは除去できないノイズ（例えば、Ｆ／Ｖ変換画像の粒状性ノイズやＳＮの極めて悪い動画像のノイズ）を取り除くことができる。
【００８１】
前置フィルタＣの出力を用いると静止領域のベクトル検出用輝度信号間の画像の差分値がほぼ零となるため、ブロック・マッチング法あるいは勾配法のベクトル検出方法と組み合わせると零ベクトルを検出することができる。また、動領域では、巡回フィルタにより動物体に疑似勾配が付くため、動物体の勾配を用いる動きベクトル検出方法（勾配法）での動きベクトル検出が容易になる。
【００８２】
ニ）前置フィルタＤについて
図１２の前置フィルタＤは、図１３に示すように、３フィールドにわたって連続するフィールド信号に時空間ＬＰＦをかけた信号をベクトル検出用輝度信号とするフィルタを２個並列に含むものである。空間フィルタは、水平フィルタ（例えば、タップ数５で係数が１／４，２／４，２／４，２／４，１／４の一次元のＬＰＦ）と垂直フィルタ（例えば、タップ数５で係数が１／４，２／４，２／４，２／４，１／４の一次元のＬＰＦ）を縦続接続したものである。すなわち、図１２に示すように、４フィールドのデータを用いて、連続する２フィールドのベクトル検出用輝度信号を同時に出力するフィルタである。
【００８３】
ＣＧやシャッター付きのＣＣＤカメラの画像やＦ／Ｖ変換の画像は、動物体が動いたことによるボケがないため、前置フィルタＤに含まれる時間フィルタにより動物体に疑似勾配を付けることで、動物体の勾配を用いる動きベクトル検出方法（勾配法）での動きベクトル検出が容易になる。
【００８４】
ホ）前置フィルタＥについて
図１４の前置フィルタＥは、動領域と静止領域の境界でフィルタリング処理による影響を避けるためにタップ数の少ない（例えば３タップ）空間ＬＰＦをフィールド信号にかけてノイズを除去し、連続する２フィールド分のベクトル検出用輝度信号を出力する。
【００８５】
動物体の勾配を用いない動きベクトル検出方法（ブロック・マッチング法）を用いた場合、時空間方向のフィルタ特性を持たない前置フィルタＥの出力を使用することにより、動物体の画像に疑似勾配が付かない。従って、ブロック・マッチング法のベクトル検出方法を用いた場合、２つのフィールド間の画像の輝度レベルの差分値の絶対値で表される相関平面において、正しい動きベクトルに相当する位置の相関のピークが顕著に現れるため、正しく動きベクトル検出を行うことができる。
【００８６】
次に、ＳＮ比を表すｓｎと前フィールドの検出ベクトルＶ(t-1) と前フィールドのグローバル・ベクトルＶｇと動領域，静止領域の情報を用いて、前置フィルタの特性を切り換える実施例を図１５に示す。本図において、検出領域の静動判定部１５０は、図４に示したブロック構成を有する。また、前置フィルタＡ〜Ｅ（１５１Ａ〜１５１Ｅ）は、それぞれ図６，図９，図１１，図１２，図１４に示した構成を有する。また、グローバルベクトル検出部１５６は、図５に示したブロック構成を有する。
【００８７】
既に述べた通り、本発明の主たる目的は、検出領域の静動状態により、前置フィルタを適応的に切り換えることである。静動判定は、１フレーム分離れた画像間の輝度レベルの差分値の絶対値をあるしきい値で比較して判定する従来の方法や、本発明で用いる図４に示すような方法では、２つの画像間の輝度レベルの相関が不定のところが有るため、１００％の確率で静動判定を行うことはできない。
【００８８】
そこで、本発明の一実施例では、図４に示す静動判定と前フィールドで検出した動きベクトルとを併用して静動判定の正確さを高める。本発明の一実施例において、静止領域と判定する条件は、図４の動き検出で静止領域と判定され、さらに前フィールドの検出ベクトルＶ(t-1) が零の場合である。
【００８９】
まず、静止領域は、主に２つの場合が考えられる。１つは、カメラが固定されて撮影された画像の静止領域と、カメラが動物体を追跡するために移動して撮影された画像の中の動物体の画像は、ほぼ静止領域になる。これらの判定は、グローバル・ベクトルＶｇで判定を行う。静止領域では、飛び越し走査の影響を避けるため、前置フィルタＡを使用する。また、静止領域ではノイズの影響を避けるためにＳＮ比の値により、ＳＮ比が悪い場合は、前置フィルタＣを使用し、カメラが移動して撮影した画像の静止領域では、静動判定の精度を考慮して、時間方向のフィルタ特性が少ない前置フィルタＢを使用する。
【００９０】
次に、動領域およびＶ(t-1) ≠０で動領域と判定された領域では、ブロック・マッチング法を動きベクトル検出方法として用いた場合は、時間方向のフィルタ特性を持たない前置フィルタＥを使用する。勾配法を動きベクトル検出方法として用いた場合は、動物体の画像に動物体が動いたことによるボケ（輝度レベルの勾配）が無くてはならない。ＣＧやシャッター付きカメラの画像やＦ／Ｖ変換画像が入力された場合は、入力画像の動物体の画像にはボケが少ない。
【００９１】
従って、入力画像の種別（ＣＧ等のボケの少ない画像、動画像のボケが大きい撮像管のカメラで撮影された画像）にかかわりなく、カメラが固定で撮影された動物体の画像の動領域に対しては、時間方向のフィルタ特性を持つ前置フィルタＤの出力を用い、カメラが移動して撮影された画像の動領域では、時空間フィルタをかけて疑似勾配を作らなくても動領域にボケが有るため、前置フィルタＥを使用する。
【００９２】
ベクトル検出方法としてブロック・マッチング法を用いる場合の前置フィルタの切り換えの一実施例を図１６に示す。
【００９３】
また、ベクトル検出方法として勾配法を用いる場合の前置フィルタの切り換えの一実施例を図１７に示す。
【００９４】
なお、ベクトル検出方法としてブロック・マッチング法と勾配法を切り換えて用いる場合は、図１５の切り換え情報デコーダ１５２の内容を図１６，図１７に従い切り換えて用いればよい。
【００９５】
【発明の効果】
以上説明した通り、本発明によれば、フィルタリング処理単位であるフィルタ入力信号の画像小領域毎に静動状態やＳＮ比を判定し、特性の異なる複数のフィルタの中からその領域の特性と動きベクトル検出方法との組み合わせに最適な前置フィルタを選択する構成としてあるので、領域毎の最適なフィルタリング処理が可能となり、動きベクトル検出精度を高めた動きベクトル検出が可能となる。
【００９６】
すなわち本発明では、ベクトル検出用輝度信号を出力する特性の異なるフィルタを複数用意し、検出対象領域の画像特性と検出方法に最適なベクトル検出用輝度信号を出力するフィルタを検出対象領域毎に切り換えて使用することにより、誤った動きベクトル検出を行わないようにすることができる。かくして、本発明を実施することにより、誤った動きベクトルを検出することがなくなるため、動きベクトル検出精度を高めることができるという格別な効果を奏することができる。
【図面の簡単な説明】
【図１】（Ａ）は飛び越し走査の垂直方向の走査線の位置関係を示す説明図、（Ｂ）は従来の前置フィルタの出力例を示す説明図、（Ｃ）は飛び越し走査線の時空間位置を示す説明図である。
【図２】（Ａ）は飛び越し走査の垂直方向の走査線の位置関係を示す説明図、（Ｂ）は従来の前置フィルタの出力例を示す説明図である。
【図３】従来の前置フィルタの回路の一実施例を示すブロック図である。
【図４】本発明の静動判定回路の一実施例を示すブロック図である。
【図５】本発明のグローバル・ベクトル検出の一実施例を示すブロック図である。
【図６】本発明の前置フィルタＡの回路の一実施例を示すブロック図である。
【図７】本発明の前置フィルタＡ，Ｂ，Ｃに含まれるフレーム→フィールド・サブサンプリングのＬＰＦの回路の一実施例を示すブロック図である。
【図８】本発明の前置フィルタＡ，Ｂ，Ｃに含まれるフレーム→フィールド・サブサンプリングのＬＰＦの回路の動作例を示す説明図である。
【図９】本発明の前置フィルタＢの回路の一実施例を示すブロック図である。
【図１０】本発明の前置フィルタＢの回路の動作例を示す説明図である。
【図１１】本発明の前置フィルタＣの回路の一実施例を示すブロック図である。
【図１２】本発明の前置フィルタＤの回路の一実施例を示すブロック図である。
【図１３】本発明の前置フィルタＤに含まれる時空間フィルタの回路の一実施例を示すブロック図である。
【図１４】本発明の前置フィルタＥの回路の一実施例を示すブロック図である。
【図１５】本発明の前置フィルタの切り換え回路の一実施例を示すブロック図である。
【図１６】本発明の前置フィルタのブロック・マッチング法に対応したデコーダにおける切り換えの一実施例を示す図である。
【図１７】本発明の前置フィルタの勾配法に対応したデコーダにおける切り換えの一実施例を示す図である。
【符号の説明】
１５０ 検出領域の静動判定部
１５１Ａ〜１５１Ｅ 前置フィルタＡ〜前置フィルタＥ
１５２ 切り換え情報デコーダ
１５３ ベクトル検出用輝度信号の選択部
１５４ 動きベクトル検出部
１５５ 動きベクトル値メモリ
１５６ グローバルベクトル検出部
１５７ ＳＮ比検出部
Claims (10)
- 飛び越し走査方式で表示される画像の動きベクトル検出装置の前段に接続される前置フィルタとして、ベクトル検出用輝度信号を出力する特性の異なるフィルタを複数用意し、入力動画像の検出対象領域における画像特性およびベクトル検出方法に適したベクトル検出用輝度信号を出力するフィルタを検出対象領域毎に切り換えて使用することにより、動きベクトル検出を行うに際し、
前記特性の異なるフィルタとして、
連続する３フィールドの２：１インターレース画像信号を入力信号とし、第一のフィールド信号と第二のフィールド信号から形成されるフレーム信号および第二のフィールド信号と第三のフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引くことにより、奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタＡと、
連続する５フィールドの２：１インターレース画像信号を入力信号とし、第一ならびに第三のフィールド信号を加算平均して得られるフィールド信号と第二ならびに第四のフィールド信号を加算平均して得られるフィールド信号から形成されるフレーム信号および第二ならびに第四のフィールド信号を加算平均して得られるフィールド信号と第三ならびに第五のフィールド信号を加算平均して得られるフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引くことにより、奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタＢと、
入力信号である２：１インターレース画像信号に出力信号を１フレーム遅延させた信号を任意の係数比で加算して出力する巡回フィルタと、該巡回フィルタの出力である連続する３フィールドの２：１インターレース画像信号を入力信号とし、第一のフィールド信号と第二のフィールド信号から形成されるフレーム信号および第二のフィールド信号と第三のフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引き奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタとを従属接続させてなるフィルタＣと、
連続する４フィールドの２：１インターレース画像信号を入力信号とし、連続する３フィールドの信号とそれぞれの１ライン遅延出力信号を任意の係数比で加算して順次走査信号を出力する時間ローパスフィルタおよび該順次走査信号をフィールド信号に変換する空間ローパスフィルタを従属接続させてなるフィルタを１対備え、該１対のフィルタの連続する３フィールドの入力信号は、第一、第二、第三のフィールド信号または、第二、第三、第四のフィールド信号であり、前記１対のフィルタ出力は、連続する２フィールドの２：１インターレース画像信号であるフィルタＤと、
空間ローパスフィルタ出力と、該空間ローパスフィルタ出力の１フィールド遅延出力を、連続する２フィールドの２：１インターレース画像信号として出力するフィルタＥとを用い、
前記動きベクトル検出装置の出力である直前のフィールドの動きベクトル検出結果に基づき、直前のフィールド画像全体に大局的な動きがあると判断される場合には、大局的な動きの程度をグローバル・ベクトル検出値として出力し、大局的な動きがないと判断される場合にはグローバル・ベクトル非検出信号を出力するグローバル・ベクトル検出ステップと、
フィルタ処理単位である検出領域毎に該領域が動領域であるか静止領域であるかの判定結果を出力する静動判定ステップと、
フィールド毎に入力画像全体のＳＮ比を判定し、低ＳＮ領域であるか高ＳＮ領域であるかの判定結果を出力するＳＮ比判定ステップと、
前記グローバル・ベクトル検出結果、検出領域毎の前記直前のフィールドの動きベクトル検出結果、前記静動判定結果および前記ＳＮ比判定結果に基づき、前記検出領域毎の切 り替え情報を出力する切り替え情報出力ステップと、
前記検出領域毎の切り替え情報に基づき前記特性の異なるフィルタを切り換えて、一のフィルタ処理結果を前記動きベクトル検出装置に出力するフィルタ切り替えステップと、
を備え、
切り替え情報出力ステップは、
前記検出領域が静止領域かつ高ＳＮ領域かつ当該検出領域における前記前フィールドの動きベクトル検出値が“０”である場合にはフィルタＡを、
前記検出領域が静止領域かつ低ＳＮ領域かつ当該検出領域における前記前フィールドの動きベクトル検出値が“０”かつ“０”以外のグローバル・ベクトルの検出値若しくはグローバル・ベクトルの非検出信号が出力されている場合にはフィルタＢを、
前記検出領域が静止領域かつ低ＳＮ領域かつ当該検出領域における前記前フィールドの動きベクトル検出値が“０”かつグローバル・ベクトルの検出値が“０”の場合にはフィルタＣを、
前記検出領域が静止領域かつ当該検出領域における前記前フィールドの動きベクトル検出値が“０”以外である場合、若しくは、前記検出領域が動領域である場合にはフィルタＥを、
選択する切り替え情報を出力する、
ことを特徴とする、動きベクトル検出方法。 - 飛び越し走査方式で表示される画像の動きベクトル検出装置の前段に接続される前置フィルタとして、ベクトル検出用輝度信号を出力する特性の異なるフィルタを複数用意し、入力動画像の検出対象領域における画像特性およびベクトル検出方法に適したベクトル検出用輝度信号を出力するフィルタを検出対象領域毎に切り換えて使用することにより、動きベクトル検出を行うに際し、
前記特性の異なるフィルタとして、
連続する３フィールドの２：１インターレース画像信号を入力信号とし、第一のフィールド信号と第二のフィールド信号から形成されるフレーム信号および第二のフィールド信号と第三のフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引くことにより、奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタＡと、
連続する５フィールドの２：１インターレース画像信号を入力信号とし、第一ならびに第三のフィールド信号を加算平均して得られるフィールド信号と第二ならびに第四のフィールド信号を加算平均して得られるフィールド信号から形成されるフレーム信号および第二ならびに第四のフィールド信号を加算平均して得られるフィールド信号と第三ならびに第五のフィールド信号を加算平均して得られるフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引くことにより、奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタＢと、
入力信号である２：１インターレース画像信号に出力信号を１フレーム遅延させた信号を任意の係数比で加算して出力する巡回フィルタと、該巡回フィルタの出力である連続する３フィールドの２：１インターレース画像信号を入力信号とし、第一のフィールド信号と第二のフィールド信号から形成されるフレーム信号および第二のフィールド信号と第三のフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引き奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタとを従属接続させてなるフィルタＣと、
連続する４フィールドの２：１インターレース画像信号を入力信号とし、連続する３フィールドの信号とそれぞれの１ライン遅延出力信号を任意の係数比で加算して順次走査信号を出力する時間ローパスフィルタおよび該順次走査信号をフィールド信号に変換する空間ローパスフィルタを従属接続させてなるフィルタを１対備え、該１対のフィルタの連続する３フィールドの入力信号は、第一、第二、第三のフィールド信号または、第二、第三、第四のフィールド信号であり、前記１対のフィルタ出力は、連続する２フィールドの２：１インターレース画像信号であるフィルタＤと、
空間ローパスフィルタ出力と、該空間ローパスフィルタ出力の１フィールド遅延出力を、連続する２フィールドの２：１インターレース画像信号として出力するフィルタＥとを用い、
前記動きベクトル検出装置の出力である直前のフィールドの動きベクトル検出結果に基づき、直前のフィールド画像全体に大局的な動きがあると判断される場合には、大局的な動きの程度をグローバル・ベクトル検出値として出力し、大局的な動きがないと判断される場合にはグローバル・ベクトル非検出信号を出力するグローバル・ベクトル検出ステップと、
フィルタ処理単位である検出領域毎に該領域が動領域であるか静止領域であるかの判定結果を出力する静動判定ステップと、
フィールド毎に入力画像全体のＳＮ比を判定し、低ＳＮ領域であるか高ＳＮ領域であるかの判定結果を出力するＳＮ比判定ステップと、
前記グローバル・ベクトル検出結果、検出領域毎の前記直前のフィールドの動きベクトル検出結果、前記静動判定結果および前記ＳＮ比判定結果に基づき、前記検出領域毎の切り替え情報を出力する切り替え情報出力ステップと、
前記検出領域毎の切り替え情報に基づき前記特性の異なるフィルタを切り換えて、一のフィルタ処理結果を前記動きベクトル検出装置に出力するフィルタ切り替えステップと、
を備え、
切り替え情報出力ステップは、
前記検出領域が静止領域かつ高ＳＮ領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”である場合にはフィルタＡを、
前記検出領域が静止領域かつ低ＳＮ領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”かつ“０”以外のグローバル・ベクトルの検出値若しくはグローバル・ベクトルの非検出信号が出力されている場合にはフィルタＢを、
前記検出領域が静止領域かつ低ＳＮ領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”かつグローバル・ベクトルの検出値が“０”の場合にはフィルタＣを、
前記検出領域が静止領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”以外かつグローバル・ベクトルの検出値が“０”若しくはグローバル・ベクトルの非検出信号が出力されている場合にはフィルタＤを、
前記検出領域が静止領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”以外かつ“０”以外のグローバル・ベクトルの検出値が出力されている場合、若しくは、前記検出領域が動領域かつ“０”以外のグローバル・ベクトルの検出値が出力されている場合にはフィルタＥを、
前記検出領域が動領域かつグローバル・ベクトルの検出値が“０”若しくはグローバル・ベクトルの非検出信号が出力されている場合にはフィルタＤを、
選択する切り替え情報を出力する、
ことを特徴とする、動きベクトル検出方法。 - 請求項１または２において、
前記グローバル・ベクトル検出ステップは、
前記検出領域毎の前記直前のフィールドの動きベクトルを、許容誤差範囲内で相互に比較することにより、検出比率の大きい複数のベクトル値とその検出比率を特定し、該複数のベクトル値のうち、一定範囲内に含まれるベクトル値の検出比率の和が一定値を上回る場合に最多検出ベクトルの値をグローバル・ベクトルの検出値として出力し、一定値を下回る場合にはグローバル・ベクトルの非検出信号を出力する、
ことを特徴とする、動きベクトル検出方法。 - 請求項１または２において、
前記静動判定ステップは、
連続する５フィールドの２：１インターレース画像信号のうち、
第一のフィールド信号と第三のフィールド信号、もしくは、第三のフィールド信号と第五のフィールド信号との間では、両者で同一空間位置を占める画素間で、
第二のフィールド信号と第三のフィールド信号、若しくは、第三のフィールド信号と第四のフィールド信号との間では、時間的に前のフィールドの画素と該画素の空間位置に対応する位置の上下いずれかに位置する時間的に後のフィールドの画素間で、
輝度信号レベルの差分の絶対値を、時間的に前のフィールドの画素の水平勾配の絶対値と垂直勾配の絶対値のうち大なる値で除した商が、前記四の場合すべてについて一定値を上回る場合にのみ動画素と判定し、
前記検出領域内での動画素の数が一定値を上回る場合にのみ当該領域を動領域と判定し、一定値を下回る場合は静止領域と判定する、
ことを特徴とする、動きベクトル検出方法。 - 請求項１または２において、
前記ＳＮ比判定ステップは、
前記静動判定手段により静止領域と判定された検出領域の割合が一定値を下回り、かつ、前記グローバル・ベクトルの検出値が“０”の場合には高ＳＮ領域と判定し、前記検出領域の割合が一定値を下回り、かつ、“０”以外のグローバル・ベクトルの検出値を有する場合若しくはグローバル・ベクトルの非検出信号が出力されている場合には低ＳＮ領域と判定し、
前記静動判定手段により静止領域と判定された検出領域の割合が一定値を上回る場合には、該静止領域と判定された全検出領域内の全画素に対し、１フレーム後の全画素との間で画素毎に輝度信号レベルの差分の絶対値を求め、これらの全平均が一定値を下回る場合に高ＳＮ領域と判定し、一定値を上回る場合は低ＳＮ領域と判定する、
ことを特徴とする、動きベクトル検出方法。 - 飛び越し走査方式で表示される画像の動きベクトル検出装置の前段に接続される前置フィルタにおいて、
入力画像信号がそれぞれ入力される特性の異なるフィルタとして、
連続する３フィールドの２：１インターレース画像信号を入力信号とし、第一のフィールド信号と第二のフィールド信号から形成されるフレーム信号および第二のフィールド信号と第三のフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引くことにより、奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタＡと、
連続する５フィールドの２：１インターレース画像信号を入力信号とし、第一ならびに第三のフィールド信号を加算平均して得られるフィールド信号と第二ならびに第四のフィールド信号を加算平均して得られるフィールド信号から形成されるフレーム信号および第二ならびに第四のフィールド信号を加算平均して得られるフィールド信号と第三ならびに第五のフィールド信号を加算平均して得られるフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引くことにより、奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタＢと、
入力信号である２：１インターレース画像信号に出力信号を１フレーム遅延させた信号を任意の係数比で加算して出力する巡回フィルタと、該巡回フィルタの出力である連続する３フィールドの２：１インターレース画像信号を入力信号とし、第一のフィールド信号と第二のフィールド信号から形成されるフレーム信号および第二のフィールド信号と第三のフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引き奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタとを従属接続させてなるフィルタＣと、
連続する４フィールドの２：１インターレース画像信号を入力信号とし、連続する３フィールドの信号とそれぞれの１ライン遅延出力信号を任意の係数比で加算して順次走査信号を出力する時間ローパスフィルタおよび該順次走査信号をフィールド信号に変換する空間ローパスフィルタを従属接続させてなるフィルタを１対備え、該１対のフィルタの連続する３フィールドの入力信号は、第一、第二、第三のフィールド信号または、第二、第三、第四のフィールド信号であり、前記１対のフィルタ出力は、連続する２フィールドの２：１インターレース画像信号であるフィルタＤと、
空間ローパスフィルタ出力と、該空間ローパスフィルタ出力の１フィールド遅延出力を、連続する２フィールドの２：１インターレース画像信号として出力するフィルタＥと
を含んだ二以上のフィルタと、
該二以上のフィルタを切り換えて、一のフィルタ処理結果を動きベクトル検出装置に出力するフィルタ切り替え部と、
前記動きベクトル検出装置の出力である直前のフィールドの動きベクトル検出結果に基づき、直前のフィールド画像全体に大局的な動きがあると判断される場合には、大局的な動きの程度をグローバル・ベクトル検出値として出力し、大局的な動きがないと判断される場合にはグローバル・ベクトル非検出信号を出力するグローバル・ベクトル検出手段と、
フィルタ処理単位である検出領域毎に該領域が動領域であるか静止領域であるかの判定結果を出力する静動判定手段と、
フィールド毎に入力画像全体のＳＮ比を判定し、低ＳＮ領域であるか高ＳＮ領域であるかの判定結果を出力するＳＮ比判定手段と、
前記グローバル・ベクトル検出結果、検出領域毎の前記直前のフィールドの動きベクトル検出結果、前記静動判定結果および前記ＳＮ比判定結果に基づき、前記検出領域毎の切り替え情報を前記フィルタ切り替え部に出力する切り替え情報デコーダと、
を備え、
前記切り替え情報デコーダは、
前記検出領域が静止領域かつ高ＳＮ領域かつ当該検出領域における前記前フィールドの動きベクトル検出値が“０”である場合にはフィルタＡを、
前記検出領域が静止領域かつ低ＳＮ領域かつ当該検出領域における前記前フィールドの動きベクトル検出値が“０”かつ“０”以外のグローバル・ベクトルの検出値若しくはグローバル・ベクトルの非検出信号が出力されている場合にはフィルタＢを、
前記検出領域が静止領域かつ低ＳＮ領域かつ当該検出領域における前記前フィールドの動きベクトル検出値が“０”かつグローバル・ベクトルの検出値が“０”の場合にはフィルタＣを、
前記検出領域が静止領域かつ当該検出領域における前記前フィールドの動きベクトル検出値が“０”以外である場合、若しくは、前記検出領域が動領域である場合にはフィルタＥを、
選択する切り替え情報を出力する、
ことを特徴とする、動きベクトル検出用適応切り替え型前置フィルタ。 - 飛び越し走査方式で表示される画像の動きベクトル検出装置の前段に接続される前置フィルタにおいて、
入力画像信号がそれぞれ入力される特性の異なるフィルタとして、
連続する３フィールドの２：１インターレース画像信号を入力信号とし、第一のフィールド信号と第二のフィールド信号から形成されるフレーム信号および第二のフィールド信号と第三のフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引くことにより、奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタＡと、
連続する５フィールドの２：１インターレース画像信号を入力信号とし、第一ならびに第三のフィールド信号を加算平均して得られるフィールド信号と第二ならびに第四のフィ ールド信号を加算平均して得られるフィールド信号から形成されるフレーム信号および第二ならびに第四のフィールド信号を加算平均して得られるフィールド信号と第三ならびに第五のフィールド信号を加算平均して得られるフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引くことにより、奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタＢと、
入力信号である２：１インターレース画像信号に出力信号を１フレーム遅延させた信号を任意の係数比で加算して出力する巡回フィルタと、該巡回フィルタの出力である連続する３フィールドの２：１インターレース画像信号を入力信号とし、第一のフィールド信号と第二のフィールド信号から形成されるフレーム信号および第二のフィールド信号と第三のフィールド信号から形成されるフレーム信号のそれぞれに空間ローパスフィルタをかけて二の順次走査信号を生成した後、該二の順次走査信号のそれぞれに対し１ライン毎に走査線を間引き奇偶フィールド形式を一致させた二のフィールド信号を出力するフィルタとを従属接続させてなるフィルタＣと、
連続する４フィールドの２：１インターレース画像信号を入力信号とし、連続する３フィールドの信号とそれぞれの１ライン遅延出力信号を任意の係数比で加算して順次走査信号を出力する時間ローパスフィルタおよび該順次走査信号をフィールド信号に変換する空間ローパスフィルタを従属接続させてなるフィルタを１対備え、該１対のフィルタの連続する３フィールドの入力信号は、第一、第二、第三のフィールド信号または、第二、第三、第四のフィールド信号であり、前記１対のフィルタ出力は、連続する２フィールドの２：１インターレース画像信号であるフィルタＤと、
空間ローパスフィルタ出力と、該空間ローパスフィルタ出力の１フィールド遅延出力を、連続する２フィールドの２：１インターレース画像信号として出力するフィルタＥと
を含んだ二以上のフィルタと、
該二以上のフィルタを切り換えて、一のフィルタ処理結果を動きベクトル検出装置に出力するフィルタ切り替え部と、
前記動きベクトル検出装置の出力である直前のフィールドの動きベクトル検出結果に基づき、直前のフィールド画像全体に大局的な動きがあると判断される場合には、大局的な動きの程度をグローバル・ベクトル検出値として出力し、大局的な動きがないと判断される場合にはグローバル・ベクトル非検出信号を出力するグローバル・ベクトル検出手段と、
フィルタ処理単位である検出領域毎に該領域が動領域であるか静止領域であるかの判定結果を出力する静動判定手段と、
フィールド毎に入力画像全体のＳＮ比を判定し、低ＳＮ領域であるか高ＳＮ領域であるかの判定結果を出力するＳＮ比判定手段と、
前記グローバル・ベクトル検出結果、検出領域毎の前記直前のフィールドの動きベクトル検出結果、前記静動判定結果および前記ＳＮ比判定結果に基づき、前記検出領域毎の切り替え情報を前記フィルタ切り替え部に出力する切り替え情報デコーダと、
を備え、
前記切り替え情報デコーダは、
前記検出領域が静止領域かつ高ＳＮ領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”である場合にはフィルタＡを、
前記検出領域が静止領域かつ低ＳＮ領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”かつ“０”以外のグローバル・ベクトルの検出値若しくはグローバル・ベクトルの非検出信号が出力されている場合にはフィルタＢを、
前記検出領域が静止領域かつ低ＳＮ領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”かつグローバル・ベクトルの検出値が“０”の場合にはフィルタＣを、
前記検出領域が静止領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”以外かつグローバル・ベクトルの検出値が“０”若しくはグローバル・ベクトルの非検出信号が出力されている場合にはフィルタＤを、
前記検出領域が静止領域かつ当該検出領域における前フィールドの動きベクトル検出値が“０”以外かつ“０”以外のグローバル・ベクトルの検出値が出力されている場合、若しくは、前記検出領域が動領域かつ“０”以外のグローバル・ベクトルの検出値が出力されている場合にはフィルタＥを、
前記検出領域が動領域かつグローバル・ベクトルの検出値が“０”若しくはグローバル・ベクトルの非検出信号が出力されている場合にはフィルタＤを、
選択する切り替え情報を出力する、
ことを特徴とする、動きベクトル検出用適応切り替え型前置フィルタ。 - 請求項６または７において、
前記グローバル・ベクトル検出手段は、
前記検出領域毎の前記直前のフィールドの動きベクトルを、許容誤差範囲内で相互に比較することにより、検出比率の大きい複数のベクトル値とその検出比率を特定し、該複数のベクトル値のうち、一定範囲内に含まれるベクトル値の検出比率の和が一定値を上回る場合に最多検出ベクトルの値をグローバル・ベクトルの検出値として出力し、一定値を下回る場合にはグローバル・ベクトルの非検出信号を出力する、
ことを特徴とする、動きベクトル検出用適応切り替え型前置フィルタ。 - 請求項６または７において、
前記静動判定手段は、
連続する５フィールドの２：１インターレース画像信号のうち、
第一のフィールド信号と第三のフィールド信号、もしくは、第三のフィールド信号と第五のフィールド信号との間では、両者で同一空間位置を占める画素間で、
第二のフィールド信号と第三のフィールド信号、若しくは、第三のフィールド信号と第四のフィールド信号との間では、時間的に前のフィールドの画素と該画素の空間位置に対応する位置の上下いずれかに位置する時間的に後のフィールドの画素間で、
輝度信号レベルの差分の絶対値を、時間的に前のフィールドの画素の水平勾配の絶対値と垂直勾配の絶対値のうち大なる値で除した商が、前記四の場合すべてについて一定値を上回る場合にのみ動画素と判定し、
前記検出領域内での動画素の数が一定値を上回る場合にのみ当該領域を動領域と判定し、一定値を下回る場合は静止領域と判定する、
ことを特徴とする、動きベクトル検出用適応切り替え型前置フィルタ。 - 請求項６または７において、
前記ＳＮ比判定手段は、
前記静動判定手段により静止領域と判定された検出領域の割合が一定値を下回り、かつ、前記グローバル・ベクトルの検出値が“０”の場合には高ＳＮ領域と判定し、前記検出領域の割合が一定値を下回り、かつ、“０”以外のグローバル・ベクトルの検出値を有する場合若しくはグローバル・ベクトルの非検出信号が出力されている場合には低ＳＮ領域と判定し、
前記静動判定手段により静止領域と判定された検出領域の割合が一定値を上回る場合には、該静止領域と判定された全検出領域内の全画素に対し、１フレーム後の全画素との間で画素毎に輝度信号レベルの差分の絶対値を求め、これらの全平均が一定値を下回る場合に高ＳＮ領域と判定し、一定値を上回る場合は低ＳＮ領域と判定する、
ことを特徴とする、動きベクトル検出用適応切り替え型前置フィルタ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29656595A JP3745425B2 (ja) | 1995-11-15 | 1995-11-15 | 動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29656595A JP3745425B2 (ja) | 1995-11-15 | 1995-11-15 | 動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09139922A JPH09139922A (ja) | 1997-05-27 |
| JP3745425B2 true JP3745425B2 (ja) | 2006-02-15 |
Family
ID=17835198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29656595A Expired - Fee Related JP3745425B2 (ja) | 1995-11-15 | 1995-11-15 | 動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3745425B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010148037A (ja) * | 2008-12-22 | 2010-07-01 | Toshiba Corp | 動画像再生装置、動画像再生方法および動画像再生プログラム |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1075147A1 (en) * | 1999-08-02 | 2001-02-07 | Koninklijke Philips Electronics N.V. | Motion estimation |
| JP3648446B2 (ja) * | 2000-11-10 | 2005-05-18 | 日本電信電話株式会社 | 画像符号化装置および画像符号化方法 |
| JP4102973B2 (ja) | 2002-04-24 | 2008-06-18 | 日本電気株式会社 | 動画像の符号化方法および復号化方法、これを用いた装置とプログラム |
-
1995
- 1995-11-15 JP JP29656595A patent/JP3745425B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010148037A (ja) * | 2008-12-22 | 2010-07-01 | Toshiba Corp | 動画像再生装置、動画像再生方法および動画像再生プログラム |
| JP4564564B2 (ja) * | 2008-12-22 | 2010-10-20 | 株式会社東芝 | 動画像再生装置、動画像再生方法および動画像再生プログラム |
| US8045620B2 (en) | 2008-12-22 | 2011-10-25 | Kabushiki Kaisha Toshiba | Image processing apparatus, image processing method and computer readable medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09139922A (ja) | 1997-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6940557B2 (en) | Adaptive interlace-to-progressive scan conversion algorithm | |
| US5793435A (en) | Deinterlacing of video using a variable coefficient spatio-temporal filter | |
| US6118488A (en) | Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection | |
| De Haan et al. | Deinterlacing-an overview | |
| US9185431B2 (en) | Motion detection device and method, video signal processing device and method and video display device | |
| JP3850071B2 (ja) | 変換装置及び変換方法 | |
| US7280155B2 (en) | Method and system for converting interlaced formatted video to progressive scan video | |
| EP1143712A2 (en) | Method and apparatus for calculating motion vectors | |
| US20030103568A1 (en) | Pixel data selection device for motion compensated interpolation and method thereof | |
| KR20040009967A (ko) | 디인터레이싱장치 및 방법 | |
| JP2009515384A (ja) | フィールドベースのビデオに対する動き補償により支援された空間−時間デインターレーシングのための方法および装置 | |
| JP5133038B2 (ja) | 画像復元方法および画像復元装置 | |
| US20090167938A1 (en) | Synthesized image detection unit | |
| US7443448B2 (en) | Apparatus to suppress artifacts of an image signal and method thereof | |
| JP2001169252A (ja) | 順次走査変換装置及び方法 | |
| JP3745425B2 (ja) | 動きベクトル検出方法および動きベクトル検出用適応切り替え型前置フィルタ | |
| Lin et al. | Motion adaptive de-interlacing by horizontal motion detection and enhanced ela processing | |
| Lee et al. | A motion-adaptive deinterlacer via hybrid motion detection and edge-pattern recognition | |
| JP4179089B2 (ja) | 動画像補間用動き推定方法及び動画像補間用動き推定装置 | |
| JP2004320279A (ja) | 動画像時間軸補間方法及び動画像時間軸補間装置 | |
| US6760376B1 (en) | Motion compensated upconversion for video scan rate conversion | |
| GB2277004A (en) | Motion compensated video signal processing; motion/no motion flag | |
| JP3389984B2 (ja) | 順次走査変換装置及び方法 | |
| EP0648046A2 (en) | Method and apparatus for motion compensated interpolation of intermediate fields or frames | |
| JP3721941B2 (ja) | 走査線補間装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050128 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050329 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050819 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051018 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051111 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051117 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101202 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121202 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |