JP4168490B2 - 動き判定装置、その方法および画像情報変換装置 - Google Patents
動き判定装置、その方法および画像情報変換装置 Download PDFInfo
- Publication number
- JP4168490B2 JP4168490B2 JP24944898A JP24944898A JP4168490B2 JP 4168490 B2 JP4168490 B2 JP 4168490B2 JP 24944898 A JP24944898 A JP 24944898A JP 24944898 A JP24944898 A JP 24944898A JP 4168490 B2 JP4168490 B2 JP 4168490B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- telop
- output
- field
- inter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、画像信号の動き判定装置、その方法および画素情報変換装置に関する。
【０００２】
【従来の技術】
入力ディジタル画像信号を異なる走査線構造へ変換する画像信号変換装置、ディジタル画像信号を圧縮する高能率符号化等の画像処理において、画像の注目部分の静止、動きを判定する動き判定が使用される。従来の動き判定装置では、画像部分（例えば１フレームの画像を細分化したブロック）についてフレーム間差分の絶対値の和を求め、絶対値の和の大小によって、画像部分の動きの有無を判定するようにしていた。すなわち、フレーム間差分の絶対値和が大きい時には、画像部分に動きがありと決定し、これが小さい時には、静止と決定している。
【０００３】
【発明が解決しようとする課題】
従来の動き判定は、フレーム間差分を使用した判定であるために、テロップを動いている時には、動くテロップが存在するにもかかわらず、静止と誤って判定するおそれがあった。テロップは、画像に重畳される文字、記号を意味する。例えば「川」の文字が水平方向に動き、１フレーム後では、この文字の２本の縦の部分が重なるような場合では、１フレームの中間のフィールドでは、時間的に前のフィールドの画像と大きく異なっていても、フレーム間差分が小さいために、静止と判定してしまう。この判定に基づいて静止画に適用される画像処理を行うと、その部分が滑らかに動いているように見えず、不自然な処理結果が生じる。一方、画像全体で動き状態に適用される処理を行うと、その他の静止部分でも動き状態に適用される処理がなされるので、画像全体がぼけた感じになってしまう問題があった。
【０００４】
従って、この発明の目的は、テロップのような人工的な画像の動き判定をテロップ以外の画像の動き判定と分離して行うことにより、動き適応処理をより良好に行うことが可能な動き判定装置、その方法および画像情報変換装置を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、インタ−レス方式の入力画像信号の部分画像に関して動きを検出する動き判定装置において、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの複数のしきい値を生成し、複数のしきい値と、部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出部と、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出部と、
第１の動き検出部からの動きクラスと、第２の動き検出部からのテロップ判定出力とが供給され、テロップ判定出力がテロップの動きを示す場合には、出力としてテロップ判定出力を優先的に出力し、テロップ判定出力がテロップの動きを示すものでない場合に、動きクラスを出力する出力部とを有し、
第２の動き検出部は、
フィールド t-1 およびｔ間の、上向きのフィールド間差分 FiGu(t-1) と、フィールド t-1 およびｔ間の、下向きのフィールド間差分 FiGd(t-1) と、フィールドｔおよび t+1 間の、上向きのフィールド間差分 FiGu(t) と、フィールドｔおよび t+1 間の、下向きのフィール
ド間差分 FiGd(t) とをそれぞれ求め、
フィールド間差分 FiGu(t-1) 、 FiGd(t-1) 、 FiGu(t) 、および FiGd(t) を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする動き判定装置である。
Ａ＝ＳＧ sum ≧ｔｈ５
and min ｛｜ SG(t) − SG(t-1) ｜，｜ SG(t) − SG(t+1) ｜｝≧ｔｈ６
and ＦｒＧ≧ｔｈ７
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ５
and max ｛ FiGu(t-1),FiGu(t),FiGd(t-1),FiGd(t) ｝≧ｔｈ９
and ＦｒＧ≧ｔｈ１０
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配である。ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、部分画像に関して検出されたフレーム間差分である。ｔｈ５、ｔｈ６、ｔｈ７、ｔｈ９、ｔｈ１０は、しきい値である。
請求項２の発明は、インタ−レス方式の入力画像信号の部分画像に関して動きを検出する動き判定装置において、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの複数のしきい値を生成し、複数のしきい値と、部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出部と、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出部と、
第１の動き検出部からの動きクラスと、第２の動き検出部からのテロップ判定出力とが供給され、テロップ判定出力がテロップの動きを示す場合には、出力としてテロップ判定出力を優先的に出力し、テロップ判定出力がテロップの動きを示すものでない場合に、動きクラスを出力する出力部とを有し、
第２の動き検出部は、
フィールド t-1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第１の差分値、並びにフィールド t+1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第２の差分値を求め、
部分画像に関して発生した第１の差分値の絶対値和である第１のフィールド間差分Ｆｉ Ｇ１ (t) 、並びに部分画像に関して発生した第２の差分値の絶対値和である第２のフィールド間差分ＦｉＧ２ (t) を求め、第１および第２のフィールド間差分を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする動き判定装置である。
Ａ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ１ (t) ≧ｔｈ１３
and ＦｒＧ≧ｔｈ１４
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ２ (t) ≧ｔｈ１６
and ＦｒＧ≧ｔｈ１７
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配であり、ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、部分画像に関して検出されたフレーム間差分である。ｔｈ１２、ｔｈ１３、ｔｈ１４、ｔｈ１６、ｔｈ１７は、しきい値である。
【０００６】
請求項３の発明は、インタ−レス方式の入力画像信号の部分画像に関して動きを検出する動き判定方法において、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの複数のしきい値を生成し、複数のしきい値と、部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出ステップと、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出ステップと、
第１の動き検出ステップにおいて決定された動きクラスと、第２の動き検出ステップにおいて生成されたテロップ判定出力とが供給され、テロップ判定出力がテロップの動きを示す場合には、出力としてテロップ判定出力を優先的に出力し、テロップ判定出力がテロップの動きを示すものでない場合に、動きクラスを出力する出力ステップとを有し、
第２の動き検出ステップは、
フィールド t-1 およびｔ間の、上向きのフィールド間差分 FiGu(t-1) と、フィールド t-1 およびｔ間の、下向きのフィールド間差分 FiGd(t-1) と、フィールドｔおよび t+1 間の、上向きのフィールド間差分 FiGu(t) と、フィールドｔおよび t+1 間の、下向きのフィールド間差分 FiGd(t) とをそれぞれ求め、
フィールド間差分 FiGu(t-1) 、 FiGd(t-1) 、 FiGu(t) 、および FiGd(t) を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする動き判定方法である。
Ａ＝ＳＧ sum ≧ｔｈ５
and min ｛｜ SG(t) − SG(t-1) ｜，｜ SG(t) − SG(t+1) ｜｝≧ｔｈ６
and ＦｒＧ≧ｔｈ７
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ５
and max ｛ FiGu(t-1),FiGu(t),FiGd(t-1),FiGd(t) ｝≧ｔｈ９
and ＦｒＧ≧ｔｈ１０
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配である。ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、部分画像に関して検出されたフレーム間差分である。ｔｈ５、ｔｈ６、ｔｈ７、ｔｈ９、ｔｈ１０は、しきい値である。
請求項４の発明は、インタ−レス方式の入力画像信号の部分画像に関して動きを検出する動き判定方法において、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの複数のしきい値を生成し、複数のしきい値と、部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出ステップと、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出ステップと、
第１の動き検出ステップにおいて決定された動きクラスと、第２の動き検出ステップにおいて生成されたテロップ判定出力とが供給され、テロップ判定出力がテロップの動きを示す場合には、出力としてテロップ判定出力を優先的に出力し、テロップ判定出力がテロップの動きを示すものでない場合に、動きクラスを出力する出力ステップとを有し、
第２の動き検出ステップは、
フィールド t-1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第１の差分値、並びにフィールド t+1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第２の差分値を求め、
部分画像に関して発生した第１の差分値の絶対値和である第１のフィールド間差分ＦｉＧ１ (t) 、並びに部分画像に関して発生した第２の差分値の絶対値和である第２のフィー ルド間差分ＦｉＧ２ (t) を求め、第１および第２のフィールド間差分を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする動き判定方法である。
Ａ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ１ (t) ≧ｔｈ１３
and ＦｒＧ≧ｔｈ１４
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ２ (t) ≧ｔｈ１６
and ＦｒＧ≧ｔｈ１７
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配であり、ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、部分画像に関して検出されたフレーム間差分である。ｔｈ１２、ｔｈ１３、ｔｈ１４、ｔｈ１６、ｔｈ１７は、しきい値である。
【０００７】
請求項５の発明は、入力画像信号からより高い解像度を有する出力画像信号を形成するようにした画像情報変換装置において、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第１の画素を選択する第１のデータ選択手段と、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第２の画素を選択する第２のデータ選択手段と、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第３の画素を選択する第３のデータ選択手段と、
予め取得されている予測係数を記憶するメモリ手段と、
第１のデータ選択手段で選択された複数の第１の画素と予測係数の積和演算によって、出力画像信号の画素を生成する信号生成手段と、
第２のデータ選択手段で選択された複数の第２の画素に基づいて、空間クラスを形成し、第３のデータ選択手段で選択された複数の第３の画素に基づいて、動きクラスを形成し、空間クラスと動きクラスとを含むクラス情報に対応して予測係数をメモリ手段から読み出して信号生成手段に供給するクラス決定手段と、
信号生成手段に対して接続され、変換画像を指定された出力画像へ変換するための走査変換手段とを有し、
予測係数は、積和演算によって、出力画像信号の画素を生成した時に、生成された値と画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって求められてメモリ手段に記憶されており、
動きクラスを形成するための動き判定部は、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの複数のしきい値を生成し、複数のしきい値と、部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出部と、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出部と、
第１の動き検出部からの動きクラスと、第２の動き検出部からのテロップ判定出力とが供給され、テロップ判定出力がテロップの動きを示す場合には、出力としてテロップ判定出力を優先的に出力し、テロップ判定出力がテロップの動きを示すものでない場合に、動きクラスを出力する出力部とを有し、
第２の動き検出部は、
フィールド t-1 およびｔ間の、上向きのフィールド間差分 FiGu(t-1) と、フィールド t-1 およびｔ間の、下向きのフィールド間差分 FiGd(t-1) と、フィールドｔおよび t+1 間の、上向きのフィールド間差分 FiGu(t) と、フィールドｔおよび t+1 間の、下向きのフィールド間差分 FiGd(t) とをそれぞれ求め、
フィールド間差分 FiGu(t-1) 、 FiGd(t-1) 、 FiGu(t) 、および FiGd(t) を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする画像情報変換装置である。
Ａ＝ＳＧ sum ≧ｔｈ５
and min ｛｜ SG(t) − SG(t-1) ｜，｜ SG(t) − SG(t+1) ｜｝≧ｔｈ６
and ＦｒＧ≧ｔｈ７
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ５
and max ｛ FiGu(t-1),FiGu(t),FiGd(t-1),FiGd(t) ｝≧ｔｈ９
and ＦｒＧ≧ｔｈ１０
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配である。ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、部分画像に関して検出されたフレーム間差分である。ｔｈ５ 、ｔｈ６、ｔｈ７、ｔｈ９、ｔｈ１０は、しきい値である。
請求項６の発明は、入力画像信号からより高い解像度を有する出力画像信号を形成するようにした画像情報変換装置において、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第１の画素を選択する第１のデータ選択手段と、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第２の画素を選択する第２のデータ選択手段と、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第３の画素を選択する第３のデータ選択手段と、
予め取得されている予測係数を記憶するメモリ手段と、
第１のデータ選択手段で選択された複数の第１の画素と予測係数の積和演算によって、出力画像信号の画素を生成する信号生成手段と、
第２のデータ選択手段で選択された複数の第２の画素に基づいて、空間クラスを形成し、第３のデータ選択手段で選択された複数の第３の画素に基づいて、動きクラスを形成し、空間クラスと動きクラスとを含むクラス情報に対応して予測係数をメモリ手段から読み出して信号生成手段に供給するクラス決定手段と、
信号生成手段に対して接続され、変換画像を指定された出力画像へ変換するための走査変換手段とを有し、
予測係数は、積和演算によって、出力画像信号の画素を生成した時に、生成された値と画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって求められてメモリ手段に記憶されており、
動きクラスを形成するための動き判定部は、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの複数のしきい値を生成し、複数のしきい値と、部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出部と、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出部と、
第１の動き検出部からの動きクラスと、第２の動き検出部からのテロップ判定出力とが供給され、テロップ判定出力がテロップの動きを示す場合には、出力としてテロップ判定出力を優先的に出力し、テロップ判定出力がテロップの動きを示すものでない場合に、動きクラスを出力する出力部とを有し、
第２の動き検出部は、
フィールド t-1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第１の差分値、並びにフィールド t+1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第２の差分値を求め、
部分画像に関して発生した第１の差分値の絶対値和である第１のフィールド間差分ＦｉＧ１ (t) 、並びに部分画像に関して発生した第２の差分値の絶対値和である第２のフィールド間差分ＦｉＧ２ (t) を求め、第１および第２のフィールド間差分を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする画像情報変換装置である。
Ａ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ１ (t) ≧ｔｈ１３
and ＦｒＧ≧ｔｈ１４
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ２ (t) ≧ｔｈ１６
and ＦｒＧ≧ｔｈ１７
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配であり、ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、部分画像に関して検出されたフレーム間差分である。ｔｈ１２、ｔｈ１３、ｔｈ１４、ｔｈ１６、ｔｈ１７は、しきい値である。
【０００８】
この発明では、フィールド間差分を用いて動き検出を行うので、テロップのような人工的な画像の動き判定を行うことができる。また、人工的な画像の動き判定を、通常の画像例えば自然画と別に行うことによって、動きに適応した処理をより良好に行うことができる。
【０００９】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態の構成を示す。図１に示すように、入力端子１からの入力ディジタル画像信号がタップ構築回路２に供給される。一例として、入力ディジタル画像信号がインターレス信号であって、タップ構築回路２では、図２に示す５０個の画素が動き判定に使用するタップとして選択され、選択されたタップが出力される。図２は、ｔ−１，ｔ、ｔ＋１と時間的に連続する３フィールドの空間的に同一部分の画像を示している。図２中のドットが所定周波数でサンプリングされることが得られる画素を示す。例えば１画素は、８ビットの輝度値である。
【００１０】
時間ｔ−１のフィールドでは、時間的に連続する３ラインのそれぞれから対応する位置の５個のタップが選択される。同様に、時間t+1 のフィールドでは、時間的に連続する３ラインのそれぞれから対応する位置の５個のタップが選択される。これらのフィールドのタップの空間的な位置が同一である。また、現在（時間ｔ）のフィールドでは、時間的に連続する４ラインのそれぞれから対応する位置の５個のタップが選択される。インターレス方式であるために、これらの４ラインは、t-1 およびt+1 のフィールドのタップとは、空間的に１ラインずれている。そして、図２において、×で示す位置が注目点であり、この注目点に関しての動き判定がなされる。
【００１１】
タップ構築回路２に対してテロップ動き検出部３、フレーム間差分ＦｒＧ検出回路４および空間勾配ＳＧsum 検出回路５が接続される。テロップ動き検出部３に対して選択回路６が接続される。フレーム間差分ＦｒＧ検出回路４に対して比較器７，８，９が接続される。比較器７では、フレーム間差分ＦｒＧとしきい値ｔｈ２とが比較され、比較器８および９では、フレーム間差分ＦｒＧとしきい値ｔｈ３およびｔｈ４とがそれぞれ比較される。空間勾配ＳＧsum 検出回路５に対して比較器１０が選択される。比較器１０では、空間勾配ＳＧsum としきい値ｔｈ１とが比較される。
【００１２】
比較器７，８，９，１０は、入力値がしきい値より大きい時に、"1" （論理的な１）の出力を発生し、そうでない時に、"0" の出力を発生する。例えばＦｒＧ≧ｔｈ２の時には、比較器７の出力が"1" となり、ＦｒＧ＜ｔｈ２の時には、その出力が"0" （論理的な０）となる。さらに、空間勾配ＳＧsum 検出回路５に対して、しきい値発生部１２が接続される。しきい値の大小関係は、ｔｈ２＞ｔｈ３＞ｔｈ４である。しきい値発生部１２については後述する。
【００１３】
フレーム間差分ＦｒＧは、t-1 のフィールドの１５個のタップの画素値のそれぞれと、１フレーム後のt+1 のフィールドの空間的に同一位置の１５個のタップの画素値との差分を求め、求まった１５個のフレーム間差分を絶対値に変換し、さらに、フレーム間差分の絶対値を合計した値である。一般的には、フレーム間差分ＦｒＧが大きいほど、フレーム間の動きが大きいものと判定される。
【００１４】
空間勾配ＳＧsum は、t-1 のフィールドの空間勾配ＳＧ（t-1)、ｔのフィールドの空間勾配ＳＧ(t) 、t+1 のフィールドの空間勾配ＳＧ（t+1)の合計値である。これらの空間勾配は、空間アクティビティの一つである。各フィールドの空間勾配は、それぞれの画素と隣接画素との差分の絶対値を求め、差分の絶対値を合計した値である。例えばt-1 のフィールドにおいて、左上コーナーの画素の場合では、その真下の画素と右側の画素とが隣接画素であり、自分の画素値と各隣接画素の画素値の差分が計算される。同様に、他の画素に関しても、垂直方向および水平方向における隣接画素との差分値が計算される。そして、１５個の画素に関する差分値を合計することによって、t-1 のフィールドの空間勾配ＳＧ（t-1 ) が求められる。他のフィールドの空間勾配ＳＧ(t) およびＳＧ（t+1)も同様に求められる。
【００１５】
比較器７，８，９および１０の出力が動きクラス決定部１１に供給される。動きクラス決定部１１は、これらの比較器７〜１０の出力を受け取って例えば３ビットのコードの動きクラスＭＪを出力する。動きクラスＭＪは、０，１，２，３の値をとりうる。動きクラス０から動きクラス３に向かって、注目点の動きが大きいことを表す。動きクラスＭＪ決定部１１は、下記の条件によって動きクラスＭＪを決定し、動きクラスＭＪを選択回路６に出力する。
【００１６】
動きクラスＭＪ＝３
ＳＧsum ≧ｔｈ１ andＦｒＧ≧ｔｈ２（and は論理積の意味である）
動きクラスＭＪ＝２
ＳＧsum ≧ｔｈ１ andＦｒＧ≧ｔｈ３
動きクラスＭＪ＝１
ＳＧsum ≧ｔｈ１ andＦｒＧ≧ｔｈ４
動きクラス０
上記以外
しきい値発生部１２は、図３に示すように、空間勾配ＳＧsum の大きさに従って変化するしきい値ｔｈ２、ｔｈ３、ｔｈ４を発生する。各しきい値の変化の仕方が独立であるが、空間勾配ＳＧsum が大きくなるに従って各しきい値も大きくなる傾向を有する。発生したしきい値ｔｈ２、ｔｈ３およびｔｈ４が上述した比較器７、８、９に対してそれぞれ供給され、フレーム間差分ＦｒＧと比較される。それによって、上述した条件に従って、４種類の動きクラスＭＪが決定される。なお、しきい値ｔｈ１は、動き判定の対象である部分画像の空間勾配ＳＧsum がある程度以上大きいことを検出するために適切な値に選定される。
【００１７】
しきい値ｔｈ２を発生するために、空間勾配ＳＧsum が供給される区間判定回路２１および区間内位置判定回路２２と、区間判定回路２１の出力に対応したパラメータを出力するメモリ２３と、区間内位置判定回路２２の出力とメモリ２３からのパラメータを受け取ってしきい値ｔｈ２を発生するｔｈ２計算回路２４とが設けられている。図３に示すように、空間勾配ＳＧsum のＡ０、Ａ１、Ａ２、Ａ３で示す値によって、４個の区間が規定される。３個の区間（Ａ０−Ａ１）（Ａ１−Ａ２）（Ａ２−Ａ３）は、互いに等しい幅とされる。また、ＳＧsum ＞Ａ３以上の区間では、しきい値ｔｈ２、ｔｈ３、ｔｈ４の値が飽和したものとされる。区間判定回路２１によって、４個の区間の内の１つの区間が決定される。
【００１８】
また、空間勾配ＳＧsum の値Ａ０〜Ａ３にそれぞれと対応するしきい値レベルＢ１０、Ｂ１１、Ｂ１２、Ｂ１３が規定され、これらのレベルがメモリ２３から出力される。例えば区間（Ａ０−Ａ１）の場合では、レベルＢ１０およびＢ１１がメモリ２３からしきい値計算回路２４に対して出力される。３個の各区間の中は、均等に例えば６４分割される。区間内位置判定回路２２は、区間内の位置を決定する。区間内の位置が決定されると、しきい値計算回路２４は、線形補間によって、しきい値ｔｈ２を発生する。例えば区間（Ａ０−Ａ１）内の位置では、その位置に応じた係数をレベルＢ１０およびＢ１１に対してそれぞれ乗算し、乗算結果を加算することによって、しきい値ｔｈ２が得られる。
【００１９】
しきい値ｔｈ３を発生するために、区間判定回路３１、区間内位置判定回路３２、メモリ３３および計算回路３４が設けられる。しきい値ｔｈ４を発生するために、区間判定回路４１、区間内位置判定回路４２、メモリ４３および計算回路４４が設けられる。これらの構成は、上述したしきい値ｔｈ２を発生するための構成と同様に動作する。但し、メモリ３４には、しきい値ｔｈ３用のレベルＢ２０、Ｂ２１、Ｂ２２、Ｂ２３が格納され、メモリ４４には、しきい値ｔｈ４用のレベルＢ３０、Ｂ３１、Ｂ３２、Ｂ３３が格納されている。
【００２０】
上述したように決定された動きクラスＭＪが選択回路６に供給される。選択回路６では、テロップ動き検出部３からのテロップ判定出力と、動きクラスＭＪの一方が選択され、出力端子１３に出力される。一例として、テロップ判定出力に対して単一のクラス（モノクラス）を割り当てる。条件Ａまたは条件Ｂが成立する時に、テロップ判定出力がテロップの動きがあることを示す。
【００２１】
選択回路６は、テロップ判定出力がテロップの動きを示す場合には、出力としてテロップ判定出力を優先的に出力する。テロップの動きを示すものでない場合に、動きクラスＭＪを出力する。なお、動きクラス決定部１１の後に多数決判定部を接続し、多数決判定によって最終的な動きクラスを決定するようにしても良い。多数決判定処理によって、動きクラスの孤立点を除去し、空間的に近接した範囲の動きクラスの整合性を高めることができる。
【００２２】
テロップ判定出力をモノクラスとして扱う必要はなく、動きクラスの一部として扱っても良い。その場合には、下記の条件に従ってクラスが決定される。
【００２３】
動きクラスＭＪ＝３（条件ＡまたはＢが満たされる時に、テロップの動きと判定し、両条件が満たされない時に、テロップの動きではないと判定するテロップ判定出力が使用される）
Ａ andＢ andＦｒＧ≧ｔｈ２
動きクラスＭＪ＝２
ＳＧsum ≧ｔｈ１ andＦｒＧ≧ｔｈ３
動きクラスＭＪ＝１
ＳＧsum ≧ｔｈ１ andＦｒＧ≧ｔｈ４
動きクラス０
上記以外
次に、テロップ動き検出部３について説明する。テロップは、画像に重畳される文字、記号を意味する。但し、この発明は、テロップ以外の人工的に作成された画像である、コンピュータゲームの画像、コンピュータグラフィックス等の検出にも有効である。すなわち、これらの画像は、一定輝度の画素が時間的または空間的に連続し、文字、記号、図形を表現する画像信号としての性質を共通に有するからである。
【００２４】
図４は、テロップ動き検出部３の一例の構成を示す。タップ構築回路２に対して、空間勾配ＳＧ(t) 、ＳＧ(t-1) 、ＳＧ(t+1) をそれぞれ検出する検出回路５１、５２、５３と、フレーム間差分ＦｒＧ検出回路５４と、フィールド間差分検出回路５５と，ダイナミックレンジＤＲ検出回路５６とが接続される。ＳＧ(t) 、ＳＧ(t-1) 、ＳＧ(t+1) は、時間的に連続するフィールドt-1 、t 、t+1 のそれぞれの空間勾配である。ＳＧsum ＝ＳＧ(t-1) ＋ＳＧ(t) ＋ＳＧ(t+1) の関係にある。また、フレーム間差分ＦｒＧは、上述した動きクラス検出に使用するものと同じものである。従って、図１と図４では、別々の構成として示されているが、検出回路５１〜５４は、図１中の検出回路４および５と共用することが可能である。ダイナミックレンジＤＲは、切り出されたタップ（５０画素）の中の最大値と最小値の差であり、空間アクティビティを表すものである。
【００２５】
図５は、フィールド間差分を説明する図である。連続するフィールド間では、インターレス方式では、垂直方向のライン位置がずれている。従って、フィールド間差分としては、自分のラインより上側に位置する他のフィールドのラインとの差分（ｕの文字を付ける）と、自分のラインより下側に位置する他のフィールドのラインとの差分（ｄの文字を付ける）との２種類ある。
【００２６】
図５から分かるように、ＦｉＧｕt-1 は、フィールドt-1 およびｔ間の、上向きのフィールド間差分を表し、ＦｉＧｄt-1 は、フィールドt-1 およびｔ間の、下向きのフィールド間差分を表す。同様に、ＦｉＧｕt は、フィールドｔおよびt+1 間の、上向きのフィールド間差分を表し、ＦｉＧｄt は、フィールドｔおよびt+1 間の、下向きのフィールド間差分を表す。フレーム間差分ＦｒＧと同様に、５×３および５×４（図２参照）の各ブロックの各画素の差分値の絶対値和がフィールド間差分として検出される。フィールド間差分検出回路５５は、これらの４個のフィールド間差分を検出する。検出されたフィールド間差分を用いて下記の判定条件に従ってテロップ部分の動きの有無を検出する。すなわち、条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定する。
【００２７】
Ａ＝ＳＧsum ≧ｔｈ５
and min｛｜SG(t) −SG(t-1) ｜，｜SG(t) −SG(t+1) ｜｝≧ｔｈ６
and ＦｒＧ≧ｔｈ７
and ＤＲ≧ｔｈ８
Ｂ＝ＳＧsum ≧ｔｈ５
and max｛FiGu(t-1),FiGu(t),FiGd(t-1),FiGd(t) ｝≧ｔｈ９
and ＦｒＧ≧ｔｈ１０
and ＤＲ≧ｔｈ１１
図４に示す構成は、上述した条件Ａ、条件Ｂが満足されるかどうかを判定する構成とされている。検出回路５２、５３および５４でそれぞれ検出された各フィールドの空間的に同一位置のブロックの空間勾配ＳＧ(t) 、ＳＧ(t-1) 、ＳＧ(t+1) が加算器５７に供給され、これらの合計値ＳＧsum が計算される。ＳＧsum が比較器５８に供給され、比較器５８にてしきい値ｔｈ５と比較される。比較器５８の出力がアンド回路６５に供給される。
【００２８】
空間勾配ＳＧ(t) 、ＳＧ(t-1) 、ＳＧ(t+1) が最小値検出部５９に供給され、その中の最小値が検出される。検出された最小の空間勾配が比較器６０に供給され、比較器６０にてしきい値ｔｈ６と比較される。比較器６０の比較出力がアンド回路６１に供給される。検出回路５４で検出されたフレーム間差分ＦｒＧが比較器６２に供給され、比較器６２にてしきい値ｔｈ７と比較される。比較器６２の出力がアンド回路６１に供給される。検出回路５６で検出されたダイナミックレンジＤＲが比較器６３に供給され、比較器６３にてしきい値ｔｈ８と比較される。比較器６３の出力（ＤＲ１）がアンド回路６１に供給される。
【００２９】
後述する比較器を含む全ての比較器は、入力がしきい値以上の場合に、"1" となる比較出力を発生する。従って、アンド回路６１に入力される比較器６０、６２、６３の出力が全て"1" の時に、アンド回路６１の出力が"1" となる。アンド回路６１の出力がオア回路６４を介してアンド回路６５に供給される。アンド回路６５には、比較器５８の出力が供給されている。従って、アンド回路６１の出力が"1" であり、比較器５８の出力が"1" である場合に、アンド回路６５の出力が"1" となり、条件Ａを満たし、テロップ部分の動きであることを示す出力が発生する。出力が"0" である時は、テロップ部分の動きでないことを示す。
【００３０】
また、検出回路５５で検出されたフィールド間差分が最大値検出部６６に供給され、４個のフィールド間差分の中の最大値が検出される。検出された最大のフィールド間差分が比較器６７に供給され、比較器６７にてしきい値ｔｈ９と比較される。比較器６７の出力がアンド回路６８に供給される。検出回路５４で検出されたフレーム間差分ＦｒＧが比較器６９に供給され、比較器６９にてしきい値ｔｈ１０と比較される。比較器６９の出力がアンド回路６８に供給される。検出回路５６で検出されたダイナミックレンジＤＲが比較器７０に供給され、比較器７０にてしきい値ｔｈ１１と比較される。比較器７０の出力（ＤＲ２）がアンド回路６８に供給される。
【００３１】
アンド回路６８に入力される比較器６７、６９、７０の出力が全て"1" の時に、アンド回路６８の出力が"1" となる。アンド回路６８の出力がオア回路６４を介してアンド回路６５に供給される。アンド回路６５には、比較器５８の出力が供給されている。従って、アンド回路６８の出力が"1" であり、比較器５８の出力が"1" である場合に、アンド回路６５の出力が"1" となり、条件Ｂを満たし、テロップ部分の動きであることを示す出力が発生する。出力が"0" である時は、テロップ部分の動きでないことを示す。
【００３２】
上述したテロップ動き検出部２からのテロップ部分の動き／静止を示す出力が選択回路６（図１）に供給され、この出力がテロップ部分の動きがあることを示す時には、選択回路６によって"1" の出力が選択され、この出力がテロップ部分の動きがあることを示さない時には、動きクラスが選択される。動きクラスの０から３を３ビットで表現されている時には、テロップ部分の動きを示すテロップクラスとしては、動きクラスと区別できる３ビットを割り当て、選択回路６がテロップ動き検出部２の出力に応答してその３ビットのコードを発生する。
【００３３】
テロップ動き検出部２の他の例について、図６および図７を参照して説明する。他の例では、フィールド間差分として、垂直方向のフィルタ処理を行ったフィールド間差分を使用してテロップ部分の動きを判定するものである。図６は、テロップ動き検出部２の他の例の構成を示す。タップ構築回路２に対して、空間勾配ＳＧ(t) 、ＳＧ(t-1) 、ＳＧ(t+1) の合計値ＳＧsum を検出する検出回路７１と、フレーム間差分ＦｒＧ検出回路７２と、垂直方向のフィルタ７３と、ダイナミックレンジＤＲ検出回路７４とが接続される。ＳＧsum ＝ＳＧ(t-1) ＋ＳＧ(t) ＋ＳＧ(t+1) の関係にある。また、フレーム間差分ＦｒＧは、上述した動きクラス検出に使用するものと同じものである。なお、図１と図６とでは、別々の構成として示されているが、検出回路７１、７２、７４は、図１中の検出回路４および５と共用することが可能である。
【００３４】
フィルタ７３の出力信号が減算器７５に供給される。減算器７５には、タップ構築回路２の出力信号が供給される。減算器７５によって、垂直方向のフィルタ７３の処理がなされたフィールドと他のフィールドとのフィールド間差分が計算される。フィールド間差分生成回路７６は、フィールド間差分ＦｉＧ１(t) を発生し、フィールド間差分生成回路７７は、フィールド間差分ＦｉＧ２(t) を発生する。
【００３５】
図７は、フィールド間差分を説明する図である。連続するフィールド間では、インターレス方式では、垂直方向のライン位置がずれている。垂直方向のフィルタ７３は、破線の丸印で示すように、フィールドｔにおいて、上下のラインの画素ａおよびｂの平均値である補間値ｃ（＝０．５ａ＋０．５ｂ）を発生する。そして、減算器７５は、フィールドt-1 の画素とフィールドｔのフィルタ７３で発生した補間値との差分値、並びにフィールドt+1 の画素とフィールドｔのフィルタ７３で発生した補間値との差分値を発生する。
【００３６】
減算器７５の出力の中で、フィールドt-1 の画素とフィールドｔのフィルタ７３で発生した補間値との差分値がフィールド間差分生成回路７６において絶対値に変換される。１ブロック当たりで発生した１５個の差分の絶対値が積算され、フィールド間差分ＦｉＧ１(t) が生成される。同様に、フィールド間差分生成回路７７がフィルタ処理されたフィールドｔとフィールドt+1 との間の差分値の絶対値和である、フィールド間差分ＦｉＧ２(t) を生成する。検出されたフィールド間差分を用いて下記の判定条件に従ってテロップ部分の動きを検出する。すなわち、条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定する。なお、垂直方向のフィルタ処理をフィールドt-1 およびt+1 に対して行うようにしても良い。
【００３７】
Ａ＝ＳＧsum ≧ｔｈ１２
and ＦｉＧ１(t) ≧ｔｈ１３
and ＦｒＧ≧ｔｈ１４
and ＤＲ≧ｔｈ１５
Ｂ＝ＳＧsum ≧ｔｈ１２
and ＦｉＧ２(t) ≧ｔｈ１６
and ＦｒＧ≧ｔｈ１７
and ＤＲ≧ｔｈ１８
図６に示す構成は、上述した条件Ａ、条件Ｂが満足されるかどうかを判定する構成とされている。検出回路７１で検出された空間勾配の合計値ＳＧsum 比較器７８に供給され、比較器７８にてしきい値ｔｈ１２と比較される。比較器７８の出力がアンド回路８４に供給される。
【００３８】
フィールド間差分生成回路７６からのフィールド間差分ＦｉＧ１(t) が比較器７９に供給され、比較器７９にてしきい値ｔｈ１３と比較される。比較器７９の出力がアンド回路８２に供給される。検出回路７２で検出されたフレーム間差分ＦｒＧが比較器８０に供給され、比較器８０にてしきい値ｔｈ１４と比較される。比較器８０の出力がアンド回路８２に供給される。検出回路７４で検出されたダイナミックレンジＤＲが比較器８１に供給され、比較器８１にてしきい値ｔｈ１５と比較される。比較器８１の出力（ＤＲ１）がアンド回路８２に供給される。
【００３９】
アンド回路８２に入力される比較器７９、８０、８１の出力が全て"1" の時に、アンド回路８２の出力が"1" となる。アンド回路８２の出力がオア回路８３を介してアンド回路８４に供給される。アンド回路８４には、比較器７８の出力が供給されている。従って、アンド回路８２の出力が"1" であり、比較器７８の出力が"1" である場合に、アンド回路８４の出力が"1" となり、条件Ａを満たし、テロップ部分の動きであることを示す出力が発生する。出力が"0" である時は、テロップ部分の動きでないことを示す。
【００４０】
また、フィールド間差分生成回路７７からのフィールド間差分ＦｉＧ２(t) が比較器８５に供給され、比較器８５にてしきい値ｔｈ１６と比較される。比較器８５の出力がアンド回路８６に供給される。検出回路７２で検出されたフレーム間差分ＦｒＧが比較器８７に供給され、比較器８７にてしきい値ｔｈ１７と比較される。比較器８７の出力がアンド回路８６に供給される。検出回路７４で検出されたダイナミックレンジＤＲが比較器８８に供給され、比較器８８にてしきい値ｔｈ１８と比較される。比較器８８の出力（ＤＲ２）がアンド回路８６に供給される。
【００４１】
アンド回路８６に入力される比較器８５、８７、８８の出力が全て"1" の時に、アンド回路８６の出力が"1" となる。アンド回路８６の出力がオア回路８３を介してアンド回路８４に供給される。アンド回路８４には、比較器７８の出力が供給されている。従って、アンド回路８６の出力が"1" であり、比較器７８の出力が"1" である場合に、アンド回路８４の出力が"1" となり、条件Ｂを満たし、テロップ部分の動きであることを示す出力が発生する。出力が"0" である時は、テロップ部分の動きでないことを示す。
【００４２】
図６に示すテロップ動き検出部２の他の例からのテロップ部分の動きがあるか否かを示す出力が選択回路６（図１）に供給され、テロップ部分の動きを示す時には、選択回路６によって"1" の出力が選択され、テロップ部分の動きを示さない時には、動きクラスが選択される。
【００４３】
上述したテロップ動き検出部２の一例および他の例では、空間アクティビティとしてダイナミックレンジＤＲを使用し、ダイナミックレンジＤＲがしきい値以上である場合をテロップ検出の条件の一つとしている。このダイナミックレンジＤＲに代えて、図８の構成により検出した空間アクティビティを使用しても良い。
【００４４】
図８において、タップ構築回路９１によって接続された複数のタップ（図２に示す５０個のタップ）の画素値が最大値検出回路９２および最小値検出回路９３に供給される。検出された最大値および最小値がそれぞれ比較器９４および９５に供給され、しきい値ｔｈ１９およびｔｈ２０とそれぞれ比較される。比較器９４は、最大値がしきい値ｔｈ１９以上の場合に"1" の出力を発生し、比較器９５は、最小値がしきい値ｔｈ２０以上の場合に"1" の出力を発生する。アンド回路９６に対してこれらの比較器９４および９５の出力が供給され、アンド回路９６から出力が発生する。
【００４５】
アンド回路９６の出力は、最大値がしきい値ｔｈ１９以上で、最小値がしきい値ｔｈ２０以上であることを示す。ダイナミックレンジＤＲがしきい値以上であることを示す出力に代えて、アンド回路９６の出力を使用するようにしても良い。
【００４６】
上述したこの発明による動き判定装置は、画像信号変換装置における動きクラスの生成に対して適用することができる。この画像信号変換装置は、ＳＤ（Standard Definition ）信号が入力され、ＨＤ（High Definition ）信号を出力するものである。また、ＨＤ画素を生成する場合、生成するＨＤ画素の近傍にある、ＳＤ画素をクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで、より真値に近いＨＤ画素を得るものである。図９は、このような手法による画像信号変換装置である。
【００４７】
図９において、入力ＳＤ信号（５２５ｉ信号）が第１のタップ選択回路１０１、第２のタップ選択回路１０３および第３のタップ選択回路１０４に供給される。第１のタップ選択回路１０１は、予測に使用するＳＤ画素（予測タップと称する）を選択するものである。第２のタップ選択回路１０３は、生成するＨＤ画素の近傍のＳＤ画素のレベル分布のパターンに対応するクラス分類に使用するＳＤ画素（空間クラスタップと称する）を選択するものである。第３のタップ選択回路１０４は、生成するＨＤ画素の近傍のＳＤ画素に基づいて動きに対応するクラス分類に使用するＳＤ画素（動きクラスタップと称する）を選択するものである。
【００４８】
第１のタップ選択回路１０１により選択された予測タップが推定予測演算回路１０２に供給される。第２のタップ選択回路１０３により選択された空間クラスタップが空間クラス検出回路１０５に供給される。空間クラス検出回路１０５は、空間クラスを検出する。検出された空間クラスがクラス合成回路１０７に供給される。第３のタップ選択回路１０４により選択された動きクラスタップが動きクラス検出回路１０６に供給される。動きクラス検出回路１０６は、動きクラスを検出する。検出された動きクラスがクラス合成回路１０７に供給される。クラス合成回路１０７によって、空間クラスおよび動きクラスが統合され、最終的なクラスコードが形成される。
【００４９】
このクラスコードが係数メモリ１０８に対して、アドレスとして供給され、係数メモリ１０８からクラスコードに対応する係数データが読出される。係数データと予測タップとが推定予測演算回路１０２に供給される。推定予測演算回路１０２では、予測タップ（５２５ｉ信号の画素）と予測係数との線形推定式を用いて出力映像信号（５２５ｐ信号）のデータを算出する。推定予測演算回路１０２は、現存ライン上のデータ（ラインデータＬ１）と、生成ライン上のデータ（ラインデータＬ２）を出力する。同時に、推定予測演算回路１０２は、水平方向で２倍の数の画素を出力する。５２５ｉ信号は、ライン数が５２５本のインターレス信号を意味し、５２５ｐ信号は、ライン数が５２５本のプログレッシブ（ノンインターレス）信号を意味する。
【００５０】
推定予測演算回路１０２からのラインデータＬ１、Ｌ２が線順次変換回路１０９に供給される。線順次変換回路１０９は、ライン倍速の処理を行う。推定予測演算回路１０２は、５２５ｉ信号から５２５ｐ信号を生成するので、水平周期は、５２５ｉ信号と同一である。線順次変換回路１０９は、水平周期を２倍とするライン倍速処理を行う。線順次変換回路１０９から５２５ｐ信号が取り出される。
【００５１】
図１０は、１フィールドの画像の一部を拡大することによって、５２５ｉ信号と５２５ｐ信号との画素の配置を示すものである。大きなドットが５２５ｉ信号の画素であり、小さいドットが出力される５２５ｐ信号の画素である。この関係は、図１０以外の他の図面においても同様である。図１０は、あるフレーム（Ｆ）の奇数（Ｏ）フィールドの画素配置である。他のフィールド（偶数フィールド）では、５２５ｉ信号のラインが空間的に０．５ラインずれたものとなる。図１０ら分かるように、５２５ｉ信号のラインと同一位置のラインデータＬ１および５２５ｉ信号の上下のラインの中間位置のラインデータＬ２を形成し、また、各ラインの水平方向の画素数を２倍とする。従って、推定予測演算回路１０２によって、５２５ｐ信号の４画素のデータが同時的に生成される。
【００５２】
図１１は、ライン倍速処理をアナログ波形を用いて示すものである。推定予測演算回路１０２によって、ラインデータＬ１およびＬ２が同時に生成される。ラインデータＬ１には、順にａ１，ａ２，ａ３，・・・のラインが含まれ、ラインデータＬ２には、順にｂ１，ｂ２，ｂ３，・・・のラインが含まれる。線順次変換回路１０９は、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータをスイッチング回路によって交互に選択することによって、線順次出力（ａ０，ｂ０，ａ１，ｂ１，・・・）を形成する。
【００５３】
図示しないが、出力映像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力映像信号（５２５ｐ信号）を表示することが可能なように、その同期系が構成されている。入力映像信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一実施形態をテレビジョン受像機に内蔵することができる。
【００５４】
図１２は、第２のタップ選択回路１０３により選択されるタップ（ＳＤ画素）を示す。図１２は、時間的に連続するフレームＦ−１の奇数フィールドｏ（Ｆ−１／ｏと表記する）、Ｆ−１の偶数フィールド（Ｆ−１／ｅ）、Ｆ／ｏ、Ｆ／ｅのそれぞれの垂直方向の画素の配列を示す。
【００５５】
図１２に示すように、フィールドＦ／ｏのラインデータＬ１およびＬ２を予測する時の空間クラスタップは、このフィールドＦ／ｏの次のフィールドＦ／ｅに含まれ、生成すべき５２５ｐ信号の画素と空間的に近傍位置の入力画素Ｔ１およびＴ２と、フィールドＦ／ｏに含まれ、生成すべき５２５ｐ信号の画素の近傍の入力画素Ｔ３，Ｔ４，Ｔ５と、前のフィールドＦ−１／ｅの入力画素Ｔ６，Ｔ７である。フィールドＦ／ｅのラインデータＬ１およびＬ２を予測する時も同様にタップが選択される。なお、ラインデータＬ１の画素を予測するモード１では、Ｔ７の画素をクラスタップとして選択せず、ラインデータＬ２の画素を予測するモード２では、Ｔ４の画素をクラスタップとして選択しないようにしても良い。
【００５６】
ここで、前述したこの発明による動き判定装置は、動きクラス検出回路１０６に対して適用される。従って、タップ選択回路１０４により選択されるタップ、すなわち、動きクラスタップは、図２に示すような５０個のＳＤ画素である。そして、前述したように、テロップクラスまたは動きクラスＭＪが決定され、これが動きクラスとしてクラス合成回路１０７に供給される。この場合に、テロップの動きがあることを示すクラスを単独に設定するか、または動きの程度を示す複数のクラスの一部にテロップの動きを示すクラスを配置するようになされる。
【００５７】
タップ選択回路１０３で選択された空間クラスタップが空間クラス検出回路１０５に供給される。空間クラス検出回路１０５は、選択された空間クラスタップのレベル分布のパターンを検出する。この場合、各画素８ビットのＳＤデータを２ビットのＳＤデータへ圧縮するような処理を行う。一例として、ＡＤＲＣ（Adaptive Dynamic Range Coding ）によって、空間クラスタップのＳＤ画素のデータが圧縮される。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の圧縮手段を用いても良い。
【００５８】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recoder）向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ、ビット割当をｎ、空間クラスタップの画素のデータレベルをＬ、再量子化コードをＱとして、以下の式（１）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００５９】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （１）
ただし、｛ ｝は切り捨て処理を意味する。
【００６０】
予測係数メモリ１０８には、５２５ｉ信号のパターンと５２５ｐ信号の関係を学習することにより、取得された予測係数が各クラス毎に記憶されている。予測係数は、線形推定式により５２５ｉ信号を５２５ｐ信号へ変換するための情報である。なお、予測係数の取得方法については後述する。
【００６１】
予測係数メモリ１０８のクラスに対応したアドレスから、そのクラスの予測係数が読出される。この予測係数は、推定予測演算回路１０２に供給される。推定予測演算回路１０２は、タップ選択回路１０１からの予測タップ（画素値）Ｔ１，Ｔ２，・・・Ｔｉと、予測係数ｗ1 ，ｗ2 ，・・・ｗｉとの線形１次結合式（式（２））の演算を行うことにより、ラインデータＬ１、Ｌ２を算出する。但し、ラインデータＬ１およびＬ２との間では、使用する予測係数が相違する。
【００６２】
Ｌ１＝ｗ1 Ｔ１＋ｗ2 Ｔ２＋・・・・＋ｗｉＴｉ （２）
このように、予測係数が各クラス毎に予め学習により求められた上で、予測係数メモリ１０８に記憶しておき、入力される予測タップおよび読出された予測係数に基づいて演算が行われ、入力されたデータに対応する出力データを形成して出力することにより、入力データを単に補間処理したのとは異なり、高画質のプログレッシブ方式の映像信号を出力することができる。
【００６３】
次に、係数メモリ１０８に格納される係数データの作成方法（学習）について図１３を用いて説明する。係数データを学習によって得るためには、まず、既に知られているＨＤ画像（５２５ｐ信号）に対応し、ＨＤ画像の１／４の画素数のＳＤ画像を２次元間引きフィルタ１２０によって形成する。例えばＨＤデータの垂直方向の画素を垂直間引きフィルタによりフィールド内の垂直方向の周波数が１／２になるように間引き処理し、さらに水平間引きフィルタにより、ＨＤデータの水平方向の画素を間引き処理することにより、ＳＤデータを得る。
【００６４】
２次元間引きフィルタ１２０からのＳＤ信号がタップ選択回路１２１、タップ選択回路１２２およびタップ選択回路１２３にそれぞれ供給される。これらのタップ選択回路は、図９に示す信号変換装置におけるタップ選択回路１０１、１０３、１０４と同様に、予測タップ、空間クラスタップ、動きクラスタップを選択する。タップ選択回路１２１からの予測タップが正規方程式加算回路１２７に供給される。タップ選択回路１２２からの空間クラスタップが空間クラス検出回路１２４に供給される。タップ選択回路１２３からの動きクラスタップが動きクラス検出回路１２５に供給される。
【００６５】
信号変換装置における空間クラス検出回路１０５と同様に、空間クラス検出回路１２４は、空間クラスタップのデータをＡＤＲＣにより圧縮し、空間クラスコードを発生する。また、動きクラス検出回路１２５は、信号変換装置における動きクラス検出回路１０６と同様に、動きクラスタップから動きクラスコードを発生する。空間クラスコードと動きクラスコードとがクラス合成回路１２６によって合成され、最終的なクラスが形成される。クラス合成回路１２６からのクラスコードが正規方程式加算回路１２７へ供給される。
【００６６】
ここで、正規方程式加算回路１２７の説明のために、複数個のＳＤ画素からＨＤ画素への変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために学習をより一般化してｎ画素による予測を行う場合について説明する。予測タップとして選択されるＳＤ画素のレベルをそれぞれｘ1 、‥‥、ｘn とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数データｗ1 、‥‥、ｗn によるｎタップの線形推定式を設定する。これを下記の式（３）に示す。学習前は、ｗi が未定係数である。
【００６７】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （３）
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（３）にしたがって、以下に示す式（４）が設定される。
【００６８】
ｙk ＝ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn （４）
（ｋ＝１，２，‥‥ｍ）
ｍ＞ｎの場合、予測係数ｗi 、‥‥ｗn は、一意に決まらないので、誤差ベクトルｅの要素を以下の式（５）で定義して、式（６）を最小にする予測係数を求める。いわゆる、最小自乗法による解法である。
【００６９】
ｅk ＝ｙk −｛ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn｝ （５）
（ｋ＝１，２，‥‥ｍ）
【００７０】
【数１】
【００７１】
ここで、式（６）のｗi による偏微分係数を求める。それは以下の式（７）を `０' にするように、各係数ｗi を求めればよい。
【００７２】
【数２】
【００７３】
以下、式（８）、（９）のようにＸij、Ｙi を定義すると、式（７）は、行列を用いて式（１０）へ書き換えられる。
【００７４】
【数３】
【００７５】
【数４】
【００７６】
【数５】
【００７７】
この方程式は、一般に正規方程式と呼ばれている。図１３中の正規方程式加算回路１２７は、クラス合成回路１２６から供給されたクラス情報と、タップ選択回路１２１から供給された予測タップと、生成しようとするプログレッシブ画像の画素（教師信号）を用いて、この正規方程式の加算を行う。
【００７８】
学習に充分なフレーム数のデータの入力が終了した後、正規方程式加算回路１２７は、予測係数決定部１２８に正規方程式データを出力する。予測係数決定部１２８は、正規方程式を掃き出し法等の一般的な行列解法を用いて、ｗi について解き、予測係数を算出する。予測係数決定部１２８は、算出された予測係数を予測係数メモリ１２９に書込む。
【００７９】
以上のように学習を行った結果、予測係数メモリ１２９には、クラス毎に、プログレッシブ画像の注目画素ｙを推定するための、統計的にもっとも真値に近い推定ができる予測係数が格納される。予測係数メモリ１２９に格納された予測係数は、上述の画像情報変換装置において、予測係数メモリ１０８にロードされる。
【００８０】
以上の処理により、線形推定式により、インターレス画像のデータからプログレッシブ画像のデータを生成するための予測係数の学習が終了する。
【００８１】
なお、５２５本のライン数は、一例であって、他の走査線構造の出力画像信号を生成する場合に対してもこの発明を適用できる。例えば図１４に示すように、５２５ｉ信号を１０５０ｉ（ライン数１０５０本のインターレス）信号へ変換する場合に対しても同様にこの発明を適用できる。
【００８２】
【発明の効果】
この発明は、テロップ等の人工的な画像の動きを通常の自然画の動きとは別に検出するので、テロップ等の動きを正確に検出することができる。従って、動き適応処理を行う場合に、処理によって画像が劣化することを防止することができる。
【００８３】
また、この発明による画像情報変換装置では、入力映像信号の複数画素に基づいてクラスを検出し、各クラスで最適となる推定予測式を用いて画素値を生成するので、従来の画像情報変換装置と比較して、静止画、動画とも高画質とすることができる。さらに、動きの情報をクラスの情報に取り込むので、静止画／動画の検出と、検出による切り替えが不要とでき、切り替え時に画質の相違が目立つことを防止でき、また、動き検出の誤りによる劣化を大幅に少なくできる。
【図面の簡単な説明】
【図１】この発明による動き判定装置の一実施形態のブロック図である。
【図２】この発明の一実施形態において動き判定に使用するタップを示す略線図である。
【図３】この発明の一実施形態におけるしきい値を説明するための略線図である。
【図４】この発明の一実施形態におけるテロップ動き検出部の一例のブロック図である。
【図５】テロップ判定に使用するフィールド間差分の説明に用いる略線図である。
【図６】この発明の一実施形態におけるテロップ動き検出部の他の例のブロック図である。
【図７】テロップ判定に使用する垂直フィルタ処理をかけられたフィールド間差分の説明に用いる略線図である。
【図８】テロップ判定に使用する空間アクティビティを検出するための構成を示すブロック図である。
【図９】この発明を適用できる画像情報変換装置の一例のブロック図である。
【図１０】ＳＤ画素と５２５ｐの画素の位置関係を説明するための略線図である。
【図１１】線順次変換動作を説明するための波形図である。
【図１２】ＳＤ画素および５２５ｐの画素の位置関係と、空間クラスタップの一例を示す略線図である。
【図１３】係数データを取得するための構成の一例を示すブロック図である。
【図１４】ＳＤ画素と１０５０ｉの画素の位置関係を説明するための略線図である。
【符号の説明】
３・・・テロップ動き検出部、４・・・フレーム間差分検出回路、５・・・空間勾配検出回路、６・・・選択回路、７，８，９、１０・・・比較器、１１・・・動きクラス決定部、１０１、１０２、１０４・・・タップ選択回路、１０６・・・動きクラス検出回路、１０８・・・係数メモリ、１０９・・・線順次変換回路
【発明の属する技術分野】
この発明は、画像信号の動き判定装置、その方法および画素情報変換装置に関する。
【０００２】
【従来の技術】
入力ディジタル画像信号を異なる走査線構造へ変換する画像信号変換装置、ディジタル画像信号を圧縮する高能率符号化等の画像処理において、画像の注目部分の静止、動きを判定する動き判定が使用される。従来の動き判定装置では、画像部分（例えば１フレームの画像を細分化したブロック）についてフレーム間差分の絶対値の和を求め、絶対値の和の大小によって、画像部分の動きの有無を判定するようにしていた。すなわち、フレーム間差分の絶対値和が大きい時には、画像部分に動きがありと決定し、これが小さい時には、静止と決定している。
【０００３】
【発明が解決しようとする課題】
従来の動き判定は、フレーム間差分を使用した判定であるために、テロップを動いている時には、動くテロップが存在するにもかかわらず、静止と誤って判定するおそれがあった。テロップは、画像に重畳される文字、記号を意味する。例えば「川」の文字が水平方向に動き、１フレーム後では、この文字の２本の縦の部分が重なるような場合では、１フレームの中間のフィールドでは、時間的に前のフィールドの画像と大きく異なっていても、フレーム間差分が小さいために、静止と判定してしまう。この判定に基づいて静止画に適用される画像処理を行うと、その部分が滑らかに動いているように見えず、不自然な処理結果が生じる。一方、画像全体で動き状態に適用される処理を行うと、その他の静止部分でも動き状態に適用される処理がなされるので、画像全体がぼけた感じになってしまう問題があった。
【０００４】
従って、この発明の目的は、テロップのような人工的な画像の動き判定をテロップ以外の画像の動き判定と分離して行うことにより、動き適応処理をより良好に行うことが可能な動き判定装置、その方法および画像情報変換装置を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、インタ−レス方式の入力画像信号の部分画像に関して動きを検出する動き判定装置において、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの複数のしきい値を生成し、複数のしきい値と、部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出部と、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出部と、
第１の動き検出部からの動きクラスと、第２の動き検出部からのテロップ判定出力とが供給され、テロップ判定出力がテロップの動きを示す場合には、出力としてテロップ判定出力を優先的に出力し、テロップ判定出力がテロップの動きを示すものでない場合に、動きクラスを出力する出力部とを有し、
第２の動き検出部は、
フィールド t-1 およびｔ間の、上向きのフィールド間差分 FiGu(t-1) と、フィールド t-1 およびｔ間の、下向きのフィールド間差分 FiGd(t-1) と、フィールドｔおよび t+1 間の、上向きのフィールド間差分 FiGu(t) と、フィールドｔおよび t+1 間の、下向きのフィール
ド間差分 FiGd(t) とをそれぞれ求め、
フィールド間差分 FiGu(t-1) 、 FiGd(t-1) 、 FiGu(t) 、および FiGd(t) を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする動き判定装置である。
Ａ＝ＳＧ sum ≧ｔｈ５
and min ｛｜ SG(t) − SG(t-1) ｜，｜ SG(t) − SG(t+1) ｜｝≧ｔｈ６
and ＦｒＧ≧ｔｈ７
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ５
and max ｛ FiGu(t-1),FiGu(t),FiGd(t-1),FiGd(t) ｝≧ｔｈ９
and ＦｒＧ≧ｔｈ１０
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配である。ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、部分画像に関して検出されたフレーム間差分である。ｔｈ５、ｔｈ６、ｔｈ７、ｔｈ９、ｔｈ１０は、しきい値である。
請求項２の発明は、インタ−レス方式の入力画像信号の部分画像に関して動きを検出する動き判定装置において、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの複数のしきい値を生成し、複数のしきい値と、部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出部と、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出部と、
第１の動き検出部からの動きクラスと、第２の動き検出部からのテロップ判定出力とが供給され、テロップ判定出力がテロップの動きを示す場合には、出力としてテロップ判定出力を優先的に出力し、テロップ判定出力がテロップの動きを示すものでない場合に、動きクラスを出力する出力部とを有し、
第２の動き検出部は、
フィールド t-1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第１の差分値、並びにフィールド t+1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第２の差分値を求め、
部分画像に関して発生した第１の差分値の絶対値和である第１のフィールド間差分Ｆｉ Ｇ１ (t) 、並びに部分画像に関して発生した第２の差分値の絶対値和である第２のフィールド間差分ＦｉＧ２ (t) を求め、第１および第２のフィールド間差分を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする動き判定装置である。
Ａ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ１ (t) ≧ｔｈ１３
and ＦｒＧ≧ｔｈ１４
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ２ (t) ≧ｔｈ１６
and ＦｒＧ≧ｔｈ１７
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配であり、ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、部分画像に関して検出されたフレーム間差分である。ｔｈ１２、ｔｈ１３、ｔｈ１４、ｔｈ１６、ｔｈ１７は、しきい値である。
【０００６】
請求項３の発明は、インタ−レス方式の入力画像信号の部分画像に関して動きを検出する動き判定方法において、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの複数のしきい値を生成し、複数のしきい値と、部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出ステップと、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出ステップと、
第１の動き検出ステップにおいて決定された動きクラスと、第２の動き検出ステップにおいて生成されたテロップ判定出力とが供給され、テロップ判定出力がテロップの動きを示す場合には、出力としてテロップ判定出力を優先的に出力し、テロップ判定出力がテロップの動きを示すものでない場合に、動きクラスを出力する出力ステップとを有し、
第２の動き検出ステップは、
フィールド t-1 およびｔ間の、上向きのフィールド間差分 FiGu(t-1) と、フィールド t-1 およびｔ間の、下向きのフィールド間差分 FiGd(t-1) と、フィールドｔおよび t+1 間の、上向きのフィールド間差分 FiGu(t) と、フィールドｔおよび t+1 間の、下向きのフィールド間差分 FiGd(t) とをそれぞれ求め、
フィールド間差分 FiGu(t-1) 、 FiGd(t-1) 、 FiGu(t) 、および FiGd(t) を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする動き判定方法である。
Ａ＝ＳＧ sum ≧ｔｈ５
and min ｛｜ SG(t) − SG(t-1) ｜，｜ SG(t) − SG(t+1) ｜｝≧ｔｈ６
and ＦｒＧ≧ｔｈ７
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ５
and max ｛ FiGu(t-1),FiGu(t),FiGd(t-1),FiGd(t) ｝≧ｔｈ９
and ＦｒＧ≧ｔｈ１０
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配である。ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、部分画像に関して検出されたフレーム間差分である。ｔｈ５、ｔｈ６、ｔｈ７、ｔｈ９、ｔｈ１０は、しきい値である。
請求項４の発明は、インタ−レス方式の入力画像信号の部分画像に関して動きを検出する動き判定方法において、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの複数のしきい値を生成し、複数のしきい値と、部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出ステップと、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出ステップと、
第１の動き検出ステップにおいて決定された動きクラスと、第２の動き検出ステップにおいて生成されたテロップ判定出力とが供給され、テロップ判定出力がテロップの動きを示す場合には、出力としてテロップ判定出力を優先的に出力し、テロップ判定出力がテロップの動きを示すものでない場合に、動きクラスを出力する出力ステップとを有し、
第２の動き検出ステップは、
フィールド t-1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第１の差分値、並びにフィールド t+1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第２の差分値を求め、
部分画像に関して発生した第１の差分値の絶対値和である第１のフィールド間差分ＦｉＧ１ (t) 、並びに部分画像に関して発生した第２の差分値の絶対値和である第２のフィー ルド間差分ＦｉＧ２ (t) を求め、第１および第２のフィールド間差分を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする動き判定方法である。
Ａ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ１ (t) ≧ｔｈ１３
and ＦｒＧ≧ｔｈ１４
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ２ (t) ≧ｔｈ１６
and ＦｒＧ≧ｔｈ１７
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配であり、ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、部分画像に関して検出されたフレーム間差分である。ｔｈ１２、ｔｈ１３、ｔｈ１４、ｔｈ１６、ｔｈ１７は、しきい値である。
【０００７】
請求項５の発明は、入力画像信号からより高い解像度を有する出力画像信号を形成するようにした画像情報変換装置において、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第１の画素を選択する第１のデータ選択手段と、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第２の画素を選択する第２のデータ選択手段と、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第３の画素を選択する第３のデータ選択手段と、
予め取得されている予測係数を記憶するメモリ手段と、
第１のデータ選択手段で選択された複数の第１の画素と予測係数の積和演算によって、出力画像信号の画素を生成する信号生成手段と、
第２のデータ選択手段で選択された複数の第２の画素に基づいて、空間クラスを形成し、第３のデータ選択手段で選択された複数の第３の画素に基づいて、動きクラスを形成し、空間クラスと動きクラスとを含むクラス情報に対応して予測係数をメモリ手段から読み出して信号生成手段に供給するクラス決定手段と、
信号生成手段に対して接続され、変換画像を指定された出力画像へ変換するための走査変換手段とを有し、
予測係数は、積和演算によって、出力画像信号の画素を生成した時に、生成された値と画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって求められてメモリ手段に記憶されており、
動きクラスを形成するための動き判定部は、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの複数のしきい値を生成し、複数のしきい値と、部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出部と、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出部と、
第１の動き検出部からの動きクラスと、第２の動き検出部からのテロップ判定出力とが供給され、テロップ判定出力がテロップの動きを示す場合には、出力としてテロップ判定出力を優先的に出力し、テロップ判定出力がテロップの動きを示すものでない場合に、動きクラスを出力する出力部とを有し、
第２の動き検出部は、
フィールド t-1 およびｔ間の、上向きのフィールド間差分 FiGu(t-1) と、フィールド t-1 およびｔ間の、下向きのフィールド間差分 FiGd(t-1) と、フィールドｔおよび t+1 間の、上向きのフィールド間差分 FiGu(t) と、フィールドｔおよび t+1 間の、下向きのフィールド間差分 FiGd(t) とをそれぞれ求め、
フィールド間差分 FiGu(t-1) 、 FiGd(t-1) 、 FiGu(t) 、および FiGd(t) を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする画像情報変換装置である。
Ａ＝ＳＧ sum ≧ｔｈ５
and min ｛｜ SG(t) − SG(t-1) ｜，｜ SG(t) − SG(t+1) ｜｝≧ｔｈ６
and ＦｒＧ≧ｔｈ７
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ５
and max ｛ FiGu(t-1),FiGu(t),FiGd(t-1),FiGd(t) ｝≧ｔｈ９
and ＦｒＧ≧ｔｈ１０
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配である。ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、部分画像に関して検出されたフレーム間差分である。ｔｈ５ 、ｔｈ６、ｔｈ７、ｔｈ９、ｔｈ１０は、しきい値である。
請求項６の発明は、入力画像信号からより高い解像度を有する出力画像信号を形成するようにした画像情報変換装置において、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第１の画素を選択する第１のデータ選択手段と、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第２の画素を選択する第２のデータ選択手段と、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第３の画素を選択する第３のデータ選択手段と、
予め取得されている予測係数を記憶するメモリ手段と、
第１のデータ選択手段で選択された複数の第１の画素と予測係数の積和演算によって、出力画像信号の画素を生成する信号生成手段と、
第２のデータ選択手段で選択された複数の第２の画素に基づいて、空間クラスを形成し、第３のデータ選択手段で選択された複数の第３の画素に基づいて、動きクラスを形成し、空間クラスと動きクラスとを含むクラス情報に対応して予測係数をメモリ手段から読み出して信号生成手段に供給するクラス決定手段と、
信号生成手段に対して接続され、変換画像を指定された出力画像へ変換するための走査変換手段とを有し、
予測係数は、積和演算によって、出力画像信号の画素を生成した時に、生成された値と画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって求められてメモリ手段に記憶されており、
動きクラスを形成するための動き判定部は、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの複数のしきい値を生成し、複数のしきい値と、部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出部と、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出部と、
第１の動き検出部からの動きクラスと、第２の動き検出部からのテロップ判定出力とが供給され、テロップ判定出力がテロップの動きを示す場合には、出力としてテロップ判定出力を優先的に出力し、テロップ判定出力がテロップの動きを示すものでない場合に、動きクラスを出力する出力部とを有し、
第２の動き検出部は、
フィールド t-1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第１の差分値、並びにフィールド t+1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第２の差分値を求め、
部分画像に関して発生した第１の差分値の絶対値和である第１のフィールド間差分ＦｉＧ１ (t) 、並びに部分画像に関して発生した第２の差分値の絶対値和である第２のフィールド間差分ＦｉＧ２ (t) を求め、第１および第２のフィールド間差分を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする画像情報変換装置である。
Ａ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ１ (t) ≧ｔｈ１３
and ＦｒＧ≧ｔｈ１４
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ２ (t) ≧ｔｈ１６
and ＦｒＧ≧ｔｈ１７
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配であり、ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、部分画像に関して検出されたフレーム間差分である。ｔｈ１２、ｔｈ１３、ｔｈ１４、ｔｈ１６、ｔｈ１７は、しきい値である。
【０００８】
この発明では、フィールド間差分を用いて動き検出を行うので、テロップのような人工的な画像の動き判定を行うことができる。また、人工的な画像の動き判定を、通常の画像例えば自然画と別に行うことによって、動きに適応した処理をより良好に行うことができる。
【０００９】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明の一実施形態の構成を示す。図１に示すように、入力端子１からの入力ディジタル画像信号がタップ構築回路２に供給される。一例として、入力ディジタル画像信号がインターレス信号であって、タップ構築回路２では、図２に示す５０個の画素が動き判定に使用するタップとして選択され、選択されたタップが出力される。図２は、ｔ−１，ｔ、ｔ＋１と時間的に連続する３フィールドの空間的に同一部分の画像を示している。図２中のドットが所定周波数でサンプリングされることが得られる画素を示す。例えば１画素は、８ビットの輝度値である。
【００１０】
時間ｔ−１のフィールドでは、時間的に連続する３ラインのそれぞれから対応する位置の５個のタップが選択される。同様に、時間t+1 のフィールドでは、時間的に連続する３ラインのそれぞれから対応する位置の５個のタップが選択される。これらのフィールドのタップの空間的な位置が同一である。また、現在（時間ｔ）のフィールドでは、時間的に連続する４ラインのそれぞれから対応する位置の５個のタップが選択される。インターレス方式であるために、これらの４ラインは、t-1 およびt+1 のフィールドのタップとは、空間的に１ラインずれている。そして、図２において、×で示す位置が注目点であり、この注目点に関しての動き判定がなされる。
【００１１】
タップ構築回路２に対してテロップ動き検出部３、フレーム間差分ＦｒＧ検出回路４および空間勾配ＳＧsum 検出回路５が接続される。テロップ動き検出部３に対して選択回路６が接続される。フレーム間差分ＦｒＧ検出回路４に対して比較器７，８，９が接続される。比較器７では、フレーム間差分ＦｒＧとしきい値ｔｈ２とが比較され、比較器８および９では、フレーム間差分ＦｒＧとしきい値ｔｈ３およびｔｈ４とがそれぞれ比較される。空間勾配ＳＧsum 検出回路５に対して比較器１０が選択される。比較器１０では、空間勾配ＳＧsum としきい値ｔｈ１とが比較される。
【００１２】
比較器７，８，９，１０は、入力値がしきい値より大きい時に、"1" （論理的な１）の出力を発生し、そうでない時に、"0" の出力を発生する。例えばＦｒＧ≧ｔｈ２の時には、比較器７の出力が"1" となり、ＦｒＧ＜ｔｈ２の時には、その出力が"0" （論理的な０）となる。さらに、空間勾配ＳＧsum 検出回路５に対して、しきい値発生部１２が接続される。しきい値の大小関係は、ｔｈ２＞ｔｈ３＞ｔｈ４である。しきい値発生部１２については後述する。
【００１３】
フレーム間差分ＦｒＧは、t-1 のフィールドの１５個のタップの画素値のそれぞれと、１フレーム後のt+1 のフィールドの空間的に同一位置の１５個のタップの画素値との差分を求め、求まった１５個のフレーム間差分を絶対値に変換し、さらに、フレーム間差分の絶対値を合計した値である。一般的には、フレーム間差分ＦｒＧが大きいほど、フレーム間の動きが大きいものと判定される。
【００１４】
空間勾配ＳＧsum は、t-1 のフィールドの空間勾配ＳＧ（t-1)、ｔのフィールドの空間勾配ＳＧ(t) 、t+1 のフィールドの空間勾配ＳＧ（t+1)の合計値である。これらの空間勾配は、空間アクティビティの一つである。各フィールドの空間勾配は、それぞれの画素と隣接画素との差分の絶対値を求め、差分の絶対値を合計した値である。例えばt-1 のフィールドにおいて、左上コーナーの画素の場合では、その真下の画素と右側の画素とが隣接画素であり、自分の画素値と各隣接画素の画素値の差分が計算される。同様に、他の画素に関しても、垂直方向および水平方向における隣接画素との差分値が計算される。そして、１５個の画素に関する差分値を合計することによって、t-1 のフィールドの空間勾配ＳＧ（t-1 ) が求められる。他のフィールドの空間勾配ＳＧ(t) およびＳＧ（t+1)も同様に求められる。
【００１５】
比較器７，８，９および１０の出力が動きクラス決定部１１に供給される。動きクラス決定部１１は、これらの比較器７〜１０の出力を受け取って例えば３ビットのコードの動きクラスＭＪを出力する。動きクラスＭＪは、０，１，２，３の値をとりうる。動きクラス０から動きクラス３に向かって、注目点の動きが大きいことを表す。動きクラスＭＪ決定部１１は、下記の条件によって動きクラスＭＪを決定し、動きクラスＭＪを選択回路６に出力する。
【００１６】
動きクラスＭＪ＝３
ＳＧsum ≧ｔｈ１ andＦｒＧ≧ｔｈ２（and は論理積の意味である）
動きクラスＭＪ＝２
ＳＧsum ≧ｔｈ１ andＦｒＧ≧ｔｈ３
動きクラスＭＪ＝１
ＳＧsum ≧ｔｈ１ andＦｒＧ≧ｔｈ４
動きクラス０
上記以外
しきい値発生部１２は、図３に示すように、空間勾配ＳＧsum の大きさに従って変化するしきい値ｔｈ２、ｔｈ３、ｔｈ４を発生する。各しきい値の変化の仕方が独立であるが、空間勾配ＳＧsum が大きくなるに従って各しきい値も大きくなる傾向を有する。発生したしきい値ｔｈ２、ｔｈ３およびｔｈ４が上述した比較器７、８、９に対してそれぞれ供給され、フレーム間差分ＦｒＧと比較される。それによって、上述した条件に従って、４種類の動きクラスＭＪが決定される。なお、しきい値ｔｈ１は、動き判定の対象である部分画像の空間勾配ＳＧsum がある程度以上大きいことを検出するために適切な値に選定される。
【００１７】
しきい値ｔｈ２を発生するために、空間勾配ＳＧsum が供給される区間判定回路２１および区間内位置判定回路２２と、区間判定回路２１の出力に対応したパラメータを出力するメモリ２３と、区間内位置判定回路２２の出力とメモリ２３からのパラメータを受け取ってしきい値ｔｈ２を発生するｔｈ２計算回路２４とが設けられている。図３に示すように、空間勾配ＳＧsum のＡ０、Ａ１、Ａ２、Ａ３で示す値によって、４個の区間が規定される。３個の区間（Ａ０−Ａ１）（Ａ１−Ａ２）（Ａ２−Ａ３）は、互いに等しい幅とされる。また、ＳＧsum ＞Ａ３以上の区間では、しきい値ｔｈ２、ｔｈ３、ｔｈ４の値が飽和したものとされる。区間判定回路２１によって、４個の区間の内の１つの区間が決定される。
【００１８】
また、空間勾配ＳＧsum の値Ａ０〜Ａ３にそれぞれと対応するしきい値レベルＢ１０、Ｂ１１、Ｂ１２、Ｂ１３が規定され、これらのレベルがメモリ２３から出力される。例えば区間（Ａ０−Ａ１）の場合では、レベルＢ１０およびＢ１１がメモリ２３からしきい値計算回路２４に対して出力される。３個の各区間の中は、均等に例えば６４分割される。区間内位置判定回路２２は、区間内の位置を決定する。区間内の位置が決定されると、しきい値計算回路２４は、線形補間によって、しきい値ｔｈ２を発生する。例えば区間（Ａ０−Ａ１）内の位置では、その位置に応じた係数をレベルＢ１０およびＢ１１に対してそれぞれ乗算し、乗算結果を加算することによって、しきい値ｔｈ２が得られる。
【００１９】
しきい値ｔｈ３を発生するために、区間判定回路３１、区間内位置判定回路３２、メモリ３３および計算回路３４が設けられる。しきい値ｔｈ４を発生するために、区間判定回路４１、区間内位置判定回路４２、メモリ４３および計算回路４４が設けられる。これらの構成は、上述したしきい値ｔｈ２を発生するための構成と同様に動作する。但し、メモリ３４には、しきい値ｔｈ３用のレベルＢ２０、Ｂ２１、Ｂ２２、Ｂ２３が格納され、メモリ４４には、しきい値ｔｈ４用のレベルＢ３０、Ｂ３１、Ｂ３２、Ｂ３３が格納されている。
【００２０】
上述したように決定された動きクラスＭＪが選択回路６に供給される。選択回路６では、テロップ動き検出部３からのテロップ判定出力と、動きクラスＭＪの一方が選択され、出力端子１３に出力される。一例として、テロップ判定出力に対して単一のクラス（モノクラス）を割り当てる。条件Ａまたは条件Ｂが成立する時に、テロップ判定出力がテロップの動きがあることを示す。
【００２１】
選択回路６は、テロップ判定出力がテロップの動きを示す場合には、出力としてテロップ判定出力を優先的に出力する。テロップの動きを示すものでない場合に、動きクラスＭＪを出力する。なお、動きクラス決定部１１の後に多数決判定部を接続し、多数決判定によって最終的な動きクラスを決定するようにしても良い。多数決判定処理によって、動きクラスの孤立点を除去し、空間的に近接した範囲の動きクラスの整合性を高めることができる。
【００２２】
テロップ判定出力をモノクラスとして扱う必要はなく、動きクラスの一部として扱っても良い。その場合には、下記の条件に従ってクラスが決定される。
【００２３】
動きクラスＭＪ＝３（条件ＡまたはＢが満たされる時に、テロップの動きと判定し、両条件が満たされない時に、テロップの動きではないと判定するテロップ判定出力が使用される）
Ａ andＢ andＦｒＧ≧ｔｈ２
動きクラスＭＪ＝２
ＳＧsum ≧ｔｈ１ andＦｒＧ≧ｔｈ３
動きクラスＭＪ＝１
ＳＧsum ≧ｔｈ１ andＦｒＧ≧ｔｈ４
動きクラス０
上記以外
次に、テロップ動き検出部３について説明する。テロップは、画像に重畳される文字、記号を意味する。但し、この発明は、テロップ以外の人工的に作成された画像である、コンピュータゲームの画像、コンピュータグラフィックス等の検出にも有効である。すなわち、これらの画像は、一定輝度の画素が時間的または空間的に連続し、文字、記号、図形を表現する画像信号としての性質を共通に有するからである。
【００２４】
図４は、テロップ動き検出部３の一例の構成を示す。タップ構築回路２に対して、空間勾配ＳＧ(t) 、ＳＧ(t-1) 、ＳＧ(t+1) をそれぞれ検出する検出回路５１、５２、５３と、フレーム間差分ＦｒＧ検出回路５４と、フィールド間差分検出回路５５と，ダイナミックレンジＤＲ検出回路５６とが接続される。ＳＧ(t) 、ＳＧ(t-1) 、ＳＧ(t+1) は、時間的に連続するフィールドt-1 、t 、t+1 のそれぞれの空間勾配である。ＳＧsum ＝ＳＧ(t-1) ＋ＳＧ(t) ＋ＳＧ(t+1) の関係にある。また、フレーム間差分ＦｒＧは、上述した動きクラス検出に使用するものと同じものである。従って、図１と図４では、別々の構成として示されているが、検出回路５１〜５４は、図１中の検出回路４および５と共用することが可能である。ダイナミックレンジＤＲは、切り出されたタップ（５０画素）の中の最大値と最小値の差であり、空間アクティビティを表すものである。
【００２５】
図５は、フィールド間差分を説明する図である。連続するフィールド間では、インターレス方式では、垂直方向のライン位置がずれている。従って、フィールド間差分としては、自分のラインより上側に位置する他のフィールドのラインとの差分（ｕの文字を付ける）と、自分のラインより下側に位置する他のフィールドのラインとの差分（ｄの文字を付ける）との２種類ある。
【００２６】
図５から分かるように、ＦｉＧｕt-1 は、フィールドt-1 およびｔ間の、上向きのフィールド間差分を表し、ＦｉＧｄt-1 は、フィールドt-1 およびｔ間の、下向きのフィールド間差分を表す。同様に、ＦｉＧｕt は、フィールドｔおよびt+1 間の、上向きのフィールド間差分を表し、ＦｉＧｄt は、フィールドｔおよびt+1 間の、下向きのフィールド間差分を表す。フレーム間差分ＦｒＧと同様に、５×３および５×４（図２参照）の各ブロックの各画素の差分値の絶対値和がフィールド間差分として検出される。フィールド間差分検出回路５５は、これらの４個のフィールド間差分を検出する。検出されたフィールド間差分を用いて下記の判定条件に従ってテロップ部分の動きの有無を検出する。すなわち、条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定する。
【００２７】
Ａ＝ＳＧsum ≧ｔｈ５
and min｛｜SG(t) −SG(t-1) ｜，｜SG(t) −SG(t+1) ｜｝≧ｔｈ６
and ＦｒＧ≧ｔｈ７
and ＤＲ≧ｔｈ８
Ｂ＝ＳＧsum ≧ｔｈ５
and max｛FiGu(t-1),FiGu(t),FiGd(t-1),FiGd(t) ｝≧ｔｈ９
and ＦｒＧ≧ｔｈ１０
and ＤＲ≧ｔｈ１１
図４に示す構成は、上述した条件Ａ、条件Ｂが満足されるかどうかを判定する構成とされている。検出回路５２、５３および５４でそれぞれ検出された各フィールドの空間的に同一位置のブロックの空間勾配ＳＧ(t) 、ＳＧ(t-1) 、ＳＧ(t+1) が加算器５７に供給され、これらの合計値ＳＧsum が計算される。ＳＧsum が比較器５８に供給され、比較器５８にてしきい値ｔｈ５と比較される。比較器５８の出力がアンド回路６５に供給される。
【００２８】
空間勾配ＳＧ(t) 、ＳＧ(t-1) 、ＳＧ(t+1) が最小値検出部５９に供給され、その中の最小値が検出される。検出された最小の空間勾配が比較器６０に供給され、比較器６０にてしきい値ｔｈ６と比較される。比較器６０の比較出力がアンド回路６１に供給される。検出回路５４で検出されたフレーム間差分ＦｒＧが比較器６２に供給され、比較器６２にてしきい値ｔｈ７と比較される。比較器６２の出力がアンド回路６１に供給される。検出回路５６で検出されたダイナミックレンジＤＲが比較器６３に供給され、比較器６３にてしきい値ｔｈ８と比較される。比較器６３の出力（ＤＲ１）がアンド回路６１に供給される。
【００２９】
後述する比較器を含む全ての比較器は、入力がしきい値以上の場合に、"1" となる比較出力を発生する。従って、アンド回路６１に入力される比較器６０、６２、６３の出力が全て"1" の時に、アンド回路６１の出力が"1" となる。アンド回路６１の出力がオア回路６４を介してアンド回路６５に供給される。アンド回路６５には、比較器５８の出力が供給されている。従って、アンド回路６１の出力が"1" であり、比較器５８の出力が"1" である場合に、アンド回路６５の出力が"1" となり、条件Ａを満たし、テロップ部分の動きであることを示す出力が発生する。出力が"0" である時は、テロップ部分の動きでないことを示す。
【００３０】
また、検出回路５５で検出されたフィールド間差分が最大値検出部６６に供給され、４個のフィールド間差分の中の最大値が検出される。検出された最大のフィールド間差分が比較器６７に供給され、比較器６７にてしきい値ｔｈ９と比較される。比較器６７の出力がアンド回路６８に供給される。検出回路５４で検出されたフレーム間差分ＦｒＧが比較器６９に供給され、比較器６９にてしきい値ｔｈ１０と比較される。比較器６９の出力がアンド回路６８に供給される。検出回路５６で検出されたダイナミックレンジＤＲが比較器７０に供給され、比較器７０にてしきい値ｔｈ１１と比較される。比較器７０の出力（ＤＲ２）がアンド回路６８に供給される。
【００３１】
アンド回路６８に入力される比較器６７、６９、７０の出力が全て"1" の時に、アンド回路６８の出力が"1" となる。アンド回路６８の出力がオア回路６４を介してアンド回路６５に供給される。アンド回路６５には、比較器５８の出力が供給されている。従って、アンド回路６８の出力が"1" であり、比較器５８の出力が"1" である場合に、アンド回路６５の出力が"1" となり、条件Ｂを満たし、テロップ部分の動きであることを示す出力が発生する。出力が"0" である時は、テロップ部分の動きでないことを示す。
【００３２】
上述したテロップ動き検出部２からのテロップ部分の動き／静止を示す出力が選択回路６（図１）に供給され、この出力がテロップ部分の動きがあることを示す時には、選択回路６によって"1" の出力が選択され、この出力がテロップ部分の動きがあることを示さない時には、動きクラスが選択される。動きクラスの０から３を３ビットで表現されている時には、テロップ部分の動きを示すテロップクラスとしては、動きクラスと区別できる３ビットを割り当て、選択回路６がテロップ動き検出部２の出力に応答してその３ビットのコードを発生する。
【００３３】
テロップ動き検出部２の他の例について、図６および図７を参照して説明する。他の例では、フィールド間差分として、垂直方向のフィルタ処理を行ったフィールド間差分を使用してテロップ部分の動きを判定するものである。図６は、テロップ動き検出部２の他の例の構成を示す。タップ構築回路２に対して、空間勾配ＳＧ(t) 、ＳＧ(t-1) 、ＳＧ(t+1) の合計値ＳＧsum を検出する検出回路７１と、フレーム間差分ＦｒＧ検出回路７２と、垂直方向のフィルタ７３と、ダイナミックレンジＤＲ検出回路７４とが接続される。ＳＧsum ＝ＳＧ(t-1) ＋ＳＧ(t) ＋ＳＧ(t+1) の関係にある。また、フレーム間差分ＦｒＧは、上述した動きクラス検出に使用するものと同じものである。なお、図１と図６とでは、別々の構成として示されているが、検出回路７１、７２、７４は、図１中の検出回路４および５と共用することが可能である。
【００３４】
フィルタ７３の出力信号が減算器７５に供給される。減算器７５には、タップ構築回路２の出力信号が供給される。減算器７５によって、垂直方向のフィルタ７３の処理がなされたフィールドと他のフィールドとのフィールド間差分が計算される。フィールド間差分生成回路７６は、フィールド間差分ＦｉＧ１(t) を発生し、フィールド間差分生成回路７７は、フィールド間差分ＦｉＧ２(t) を発生する。
【００３５】
図７は、フィールド間差分を説明する図である。連続するフィールド間では、インターレス方式では、垂直方向のライン位置がずれている。垂直方向のフィルタ７３は、破線の丸印で示すように、フィールドｔにおいて、上下のラインの画素ａおよびｂの平均値である補間値ｃ（＝０．５ａ＋０．５ｂ）を発生する。そして、減算器７５は、フィールドt-1 の画素とフィールドｔのフィルタ７３で発生した補間値との差分値、並びにフィールドt+1 の画素とフィールドｔのフィルタ７３で発生した補間値との差分値を発生する。
【００３６】
減算器７５の出力の中で、フィールドt-1 の画素とフィールドｔのフィルタ７３で発生した補間値との差分値がフィールド間差分生成回路７６において絶対値に変換される。１ブロック当たりで発生した１５個の差分の絶対値が積算され、フィールド間差分ＦｉＧ１(t) が生成される。同様に、フィールド間差分生成回路７７がフィルタ処理されたフィールドｔとフィールドt+1 との間の差分値の絶対値和である、フィールド間差分ＦｉＧ２(t) を生成する。検出されたフィールド間差分を用いて下記の判定条件に従ってテロップ部分の動きを検出する。すなわち、条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定する。なお、垂直方向のフィルタ処理をフィールドt-1 およびt+1 に対して行うようにしても良い。
【００３７】
Ａ＝ＳＧsum ≧ｔｈ１２
and ＦｉＧ１(t) ≧ｔｈ１３
and ＦｒＧ≧ｔｈ１４
and ＤＲ≧ｔｈ１５
Ｂ＝ＳＧsum ≧ｔｈ１２
and ＦｉＧ２(t) ≧ｔｈ１６
and ＦｒＧ≧ｔｈ１７
and ＤＲ≧ｔｈ１８
図６に示す構成は、上述した条件Ａ、条件Ｂが満足されるかどうかを判定する構成とされている。検出回路７１で検出された空間勾配の合計値ＳＧsum 比較器７８に供給され、比較器７８にてしきい値ｔｈ１２と比較される。比較器７８の出力がアンド回路８４に供給される。
【００３８】
フィールド間差分生成回路７６からのフィールド間差分ＦｉＧ１(t) が比較器７９に供給され、比較器７９にてしきい値ｔｈ１３と比較される。比較器７９の出力がアンド回路８２に供給される。検出回路７２で検出されたフレーム間差分ＦｒＧが比較器８０に供給され、比較器８０にてしきい値ｔｈ１４と比較される。比較器８０の出力がアンド回路８２に供給される。検出回路７４で検出されたダイナミックレンジＤＲが比較器８１に供給され、比較器８１にてしきい値ｔｈ１５と比較される。比較器８１の出力（ＤＲ１）がアンド回路８２に供給される。
【００３９】
アンド回路８２に入力される比較器７９、８０、８１の出力が全て"1" の時に、アンド回路８２の出力が"1" となる。アンド回路８２の出力がオア回路８３を介してアンド回路８４に供給される。アンド回路８４には、比較器７８の出力が供給されている。従って、アンド回路８２の出力が"1" であり、比較器７８の出力が"1" である場合に、アンド回路８４の出力が"1" となり、条件Ａを満たし、テロップ部分の動きであることを示す出力が発生する。出力が"0" である時は、テロップ部分の動きでないことを示す。
【００４０】
また、フィールド間差分生成回路７７からのフィールド間差分ＦｉＧ２(t) が比較器８５に供給され、比較器８５にてしきい値ｔｈ１６と比較される。比較器８５の出力がアンド回路８６に供給される。検出回路７２で検出されたフレーム間差分ＦｒＧが比較器８７に供給され、比較器８７にてしきい値ｔｈ１７と比較される。比較器８７の出力がアンド回路８６に供給される。検出回路７４で検出されたダイナミックレンジＤＲが比較器８８に供給され、比較器８８にてしきい値ｔｈ１８と比較される。比較器８８の出力（ＤＲ２）がアンド回路８６に供給される。
【００４１】
アンド回路８６に入力される比較器８５、８７、８８の出力が全て"1" の時に、アンド回路８６の出力が"1" となる。アンド回路８６の出力がオア回路８３を介してアンド回路８４に供給される。アンド回路８４には、比較器７８の出力が供給されている。従って、アンド回路８６の出力が"1" であり、比較器７８の出力が"1" である場合に、アンド回路８４の出力が"1" となり、条件Ｂを満たし、テロップ部分の動きであることを示す出力が発生する。出力が"0" である時は、テロップ部分の動きでないことを示す。
【００４２】
図６に示すテロップ動き検出部２の他の例からのテロップ部分の動きがあるか否かを示す出力が選択回路６（図１）に供給され、テロップ部分の動きを示す時には、選択回路６によって"1" の出力が選択され、テロップ部分の動きを示さない時には、動きクラスが選択される。
【００４３】
上述したテロップ動き検出部２の一例および他の例では、空間アクティビティとしてダイナミックレンジＤＲを使用し、ダイナミックレンジＤＲがしきい値以上である場合をテロップ検出の条件の一つとしている。このダイナミックレンジＤＲに代えて、図８の構成により検出した空間アクティビティを使用しても良い。
【００４４】
図８において、タップ構築回路９１によって接続された複数のタップ（図２に示す５０個のタップ）の画素値が最大値検出回路９２および最小値検出回路９３に供給される。検出された最大値および最小値がそれぞれ比較器９４および９５に供給され、しきい値ｔｈ１９およびｔｈ２０とそれぞれ比較される。比較器９４は、最大値がしきい値ｔｈ１９以上の場合に"1" の出力を発生し、比較器９５は、最小値がしきい値ｔｈ２０以上の場合に"1" の出力を発生する。アンド回路９６に対してこれらの比較器９４および９５の出力が供給され、アンド回路９６から出力が発生する。
【００４５】
アンド回路９６の出力は、最大値がしきい値ｔｈ１９以上で、最小値がしきい値ｔｈ２０以上であることを示す。ダイナミックレンジＤＲがしきい値以上であることを示す出力に代えて、アンド回路９６の出力を使用するようにしても良い。
【００４６】
上述したこの発明による動き判定装置は、画像信号変換装置における動きクラスの生成に対して適用することができる。この画像信号変換装置は、ＳＤ（Standard Definition ）信号が入力され、ＨＤ（High Definition ）信号を出力するものである。また、ＨＤ画素を生成する場合、生成するＨＤ画素の近傍にある、ＳＤ画素をクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで、より真値に近いＨＤ画素を得るものである。図９は、このような手法による画像信号変換装置である。
【００４７】
図９において、入力ＳＤ信号（５２５ｉ信号）が第１のタップ選択回路１０１、第２のタップ選択回路１０３および第３のタップ選択回路１０４に供給される。第１のタップ選択回路１０１は、予測に使用するＳＤ画素（予測タップと称する）を選択するものである。第２のタップ選択回路１０３は、生成するＨＤ画素の近傍のＳＤ画素のレベル分布のパターンに対応するクラス分類に使用するＳＤ画素（空間クラスタップと称する）を選択するものである。第３のタップ選択回路１０４は、生成するＨＤ画素の近傍のＳＤ画素に基づいて動きに対応するクラス分類に使用するＳＤ画素（動きクラスタップと称する）を選択するものである。
【００４８】
第１のタップ選択回路１０１により選択された予測タップが推定予測演算回路１０２に供給される。第２のタップ選択回路１０３により選択された空間クラスタップが空間クラス検出回路１０５に供給される。空間クラス検出回路１０５は、空間クラスを検出する。検出された空間クラスがクラス合成回路１０７に供給される。第３のタップ選択回路１０４により選択された動きクラスタップが動きクラス検出回路１０６に供給される。動きクラス検出回路１０６は、動きクラスを検出する。検出された動きクラスがクラス合成回路１０７に供給される。クラス合成回路１０７によって、空間クラスおよび動きクラスが統合され、最終的なクラスコードが形成される。
【００４９】
このクラスコードが係数メモリ１０８に対して、アドレスとして供給され、係数メモリ１０８からクラスコードに対応する係数データが読出される。係数データと予測タップとが推定予測演算回路１０２に供給される。推定予測演算回路１０２では、予測タップ（５２５ｉ信号の画素）と予測係数との線形推定式を用いて出力映像信号（５２５ｐ信号）のデータを算出する。推定予測演算回路１０２は、現存ライン上のデータ（ラインデータＬ１）と、生成ライン上のデータ（ラインデータＬ２）を出力する。同時に、推定予測演算回路１０２は、水平方向で２倍の数の画素を出力する。５２５ｉ信号は、ライン数が５２５本のインターレス信号を意味し、５２５ｐ信号は、ライン数が５２５本のプログレッシブ（ノンインターレス）信号を意味する。
【００５０】
推定予測演算回路１０２からのラインデータＬ１、Ｌ２が線順次変換回路１０９に供給される。線順次変換回路１０９は、ライン倍速の処理を行う。推定予測演算回路１０２は、５２５ｉ信号から５２５ｐ信号を生成するので、水平周期は、５２５ｉ信号と同一である。線順次変換回路１０９は、水平周期を２倍とするライン倍速処理を行う。線順次変換回路１０９から５２５ｐ信号が取り出される。
【００５１】
図１０は、１フィールドの画像の一部を拡大することによって、５２５ｉ信号と５２５ｐ信号との画素の配置を示すものである。大きなドットが５２５ｉ信号の画素であり、小さいドットが出力される５２５ｐ信号の画素である。この関係は、図１０以外の他の図面においても同様である。図１０は、あるフレーム（Ｆ）の奇数（Ｏ）フィールドの画素配置である。他のフィールド（偶数フィールド）では、５２５ｉ信号のラインが空間的に０．５ラインずれたものとなる。図１０ら分かるように、５２５ｉ信号のラインと同一位置のラインデータＬ１および５２５ｉ信号の上下のラインの中間位置のラインデータＬ２を形成し、また、各ラインの水平方向の画素数を２倍とする。従って、推定予測演算回路１０２によって、５２５ｐ信号の４画素のデータが同時的に生成される。
【００５２】
図１１は、ライン倍速処理をアナログ波形を用いて示すものである。推定予測演算回路１０２によって、ラインデータＬ１およびＬ２が同時に生成される。ラインデータＬ１には、順にａ１，ａ２，ａ３，・・・のラインが含まれ、ラインデータＬ２には、順にｂ１，ｂ２，ｂ３，・・・のラインが含まれる。線順次変換回路１０９は、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータをスイッチング回路によって交互に選択することによって、線順次出力（ａ０，ｂ０，ａ１，ｂ１，・・・）を形成する。
【００５３】
図示しないが、出力映像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力映像信号（５２５ｐ信号）を表示することが可能なように、その同期系が構成されている。入力映像信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、この一実施形態をテレビジョン受像機に内蔵することができる。
【００５４】
図１２は、第２のタップ選択回路１０３により選択されるタップ（ＳＤ画素）を示す。図１２は、時間的に連続するフレームＦ−１の奇数フィールドｏ（Ｆ−１／ｏと表記する）、Ｆ−１の偶数フィールド（Ｆ−１／ｅ）、Ｆ／ｏ、Ｆ／ｅのそれぞれの垂直方向の画素の配列を示す。
【００５５】
図１２に示すように、フィールドＦ／ｏのラインデータＬ１およびＬ２を予測する時の空間クラスタップは、このフィールドＦ／ｏの次のフィールドＦ／ｅに含まれ、生成すべき５２５ｐ信号の画素と空間的に近傍位置の入力画素Ｔ１およびＴ２と、フィールドＦ／ｏに含まれ、生成すべき５２５ｐ信号の画素の近傍の入力画素Ｔ３，Ｔ４，Ｔ５と、前のフィールドＦ−１／ｅの入力画素Ｔ６，Ｔ７である。フィールドＦ／ｅのラインデータＬ１およびＬ２を予測する時も同様にタップが選択される。なお、ラインデータＬ１の画素を予測するモード１では、Ｔ７の画素をクラスタップとして選択せず、ラインデータＬ２の画素を予測するモード２では、Ｔ４の画素をクラスタップとして選択しないようにしても良い。
【００５６】
ここで、前述したこの発明による動き判定装置は、動きクラス検出回路１０６に対して適用される。従って、タップ選択回路１０４により選択されるタップ、すなわち、動きクラスタップは、図２に示すような５０個のＳＤ画素である。そして、前述したように、テロップクラスまたは動きクラスＭＪが決定され、これが動きクラスとしてクラス合成回路１０７に供給される。この場合に、テロップの動きがあることを示すクラスを単独に設定するか、または動きの程度を示す複数のクラスの一部にテロップの動きを示すクラスを配置するようになされる。
【００５７】
タップ選択回路１０３で選択された空間クラスタップが空間クラス検出回路１０５に供給される。空間クラス検出回路１０５は、選択された空間クラスタップのレベル分布のパターンを検出する。この場合、各画素８ビットのＳＤデータを２ビットのＳＤデータへ圧縮するような処理を行う。一例として、ＡＤＲＣ（Adaptive Dynamic Range Coding ）によって、空間クラスタップのＳＤ画素のデータが圧縮される。なお、情報圧縮手段としては、ＡＤＲＣ以外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の圧縮手段を用いても良い。
【００５８】
本来、ＡＤＲＣは、ＶＴＲ（Video Tape Recoder）向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ、ビット割当をｎ、空間クラスタップの画素のデータレベルをＬ、再量子化コードをＱとして、以下の式（１）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００５９】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （１）
ただし、｛ ｝は切り捨て処理を意味する。
【００６０】
予測係数メモリ１０８には、５２５ｉ信号のパターンと５２５ｐ信号の関係を学習することにより、取得された予測係数が各クラス毎に記憶されている。予測係数は、線形推定式により５２５ｉ信号を５２５ｐ信号へ変換するための情報である。なお、予測係数の取得方法については後述する。
【００６１】
予測係数メモリ１０８のクラスに対応したアドレスから、そのクラスの予測係数が読出される。この予測係数は、推定予測演算回路１０２に供給される。推定予測演算回路１０２は、タップ選択回路１０１からの予測タップ（画素値）Ｔ１，Ｔ２，・・・Ｔｉと、予測係数ｗ1 ，ｗ2 ，・・・ｗｉとの線形１次結合式（式（２））の演算を行うことにより、ラインデータＬ１、Ｌ２を算出する。但し、ラインデータＬ１およびＬ２との間では、使用する予測係数が相違する。
【００６２】
Ｌ１＝ｗ1 Ｔ１＋ｗ2 Ｔ２＋・・・・＋ｗｉＴｉ （２）
このように、予測係数が各クラス毎に予め学習により求められた上で、予測係数メモリ１０８に記憶しておき、入力される予測タップおよび読出された予測係数に基づいて演算が行われ、入力されたデータに対応する出力データを形成して出力することにより、入力データを単に補間処理したのとは異なり、高画質のプログレッシブ方式の映像信号を出力することができる。
【００６３】
次に、係数メモリ１０８に格納される係数データの作成方法（学習）について図１３を用いて説明する。係数データを学習によって得るためには、まず、既に知られているＨＤ画像（５２５ｐ信号）に対応し、ＨＤ画像の１／４の画素数のＳＤ画像を２次元間引きフィルタ１２０によって形成する。例えばＨＤデータの垂直方向の画素を垂直間引きフィルタによりフィールド内の垂直方向の周波数が１／２になるように間引き処理し、さらに水平間引きフィルタにより、ＨＤデータの水平方向の画素を間引き処理することにより、ＳＤデータを得る。
【００６４】
２次元間引きフィルタ１２０からのＳＤ信号がタップ選択回路１２１、タップ選択回路１２２およびタップ選択回路１２３にそれぞれ供給される。これらのタップ選択回路は、図９に示す信号変換装置におけるタップ選択回路１０１、１０３、１０４と同様に、予測タップ、空間クラスタップ、動きクラスタップを選択する。タップ選択回路１２１からの予測タップが正規方程式加算回路１２７に供給される。タップ選択回路１２２からの空間クラスタップが空間クラス検出回路１２４に供給される。タップ選択回路１２３からの動きクラスタップが動きクラス検出回路１２５に供給される。
【００６５】
信号変換装置における空間クラス検出回路１０５と同様に、空間クラス検出回路１２４は、空間クラスタップのデータをＡＤＲＣにより圧縮し、空間クラスコードを発生する。また、動きクラス検出回路１２５は、信号変換装置における動きクラス検出回路１０６と同様に、動きクラスタップから動きクラスコードを発生する。空間クラスコードと動きクラスコードとがクラス合成回路１２６によって合成され、最終的なクラスが形成される。クラス合成回路１２６からのクラスコードが正規方程式加算回路１２７へ供給される。
【００６６】
ここで、正規方程式加算回路１２７の説明のために、複数個のＳＤ画素からＨＤ画素への変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために学習をより一般化してｎ画素による予測を行う場合について説明する。予測タップとして選択されるＳＤ画素のレベルをそれぞれｘ1 、‥‥、ｘn とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数データｗ1 、‥‥、ｗn によるｎタップの線形推定式を設定する。これを下記の式（３）に示す。学習前は、ｗi が未定係数である。
【００６７】
ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （３）
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（３）にしたがって、以下に示す式（４）が設定される。
【００６８】
ｙk ＝ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn （４）
（ｋ＝１，２，‥‥ｍ）
ｍ＞ｎの場合、予測係数ｗi 、‥‥ｗn は、一意に決まらないので、誤差ベクトルｅの要素を以下の式（５）で定義して、式（６）を最小にする予測係数を求める。いわゆる、最小自乗法による解法である。
【００６９】
ｅk ＝ｙk −｛ｗ1 ｘk1＋ｗ2 ｘk2＋‥‥＋ｗn ｘkn｝ （５）
（ｋ＝１，２，‥‥ｍ）
【００７０】
【数１】
ここで、式（６）のｗi による偏微分係数を求める。それは以下の式（７）を `０' にするように、各係数ｗi を求めればよい。
【００７２】
【数２】
以下、式（８）、（９）のようにＸij、Ｙi を定義すると、式（７）は、行列を用いて式（１０）へ書き換えられる。
【００７４】
【数３】
【数４】
【数５】
この方程式は、一般に正規方程式と呼ばれている。図１３中の正規方程式加算回路１２７は、クラス合成回路１２６から供給されたクラス情報と、タップ選択回路１２１から供給された予測タップと、生成しようとするプログレッシブ画像の画素（教師信号）を用いて、この正規方程式の加算を行う。
【００７８】
学習に充分なフレーム数のデータの入力が終了した後、正規方程式加算回路１２７は、予測係数決定部１２８に正規方程式データを出力する。予測係数決定部１２８は、正規方程式を掃き出し法等の一般的な行列解法を用いて、ｗi について解き、予測係数を算出する。予測係数決定部１２８は、算出された予測係数を予測係数メモリ１２９に書込む。
【００７９】
以上のように学習を行った結果、予測係数メモリ１２９には、クラス毎に、プログレッシブ画像の注目画素ｙを推定するための、統計的にもっとも真値に近い推定ができる予測係数が格納される。予測係数メモリ１２９に格納された予測係数は、上述の画像情報変換装置において、予測係数メモリ１０８にロードされる。
【００８０】
以上の処理により、線形推定式により、インターレス画像のデータからプログレッシブ画像のデータを生成するための予測係数の学習が終了する。
【００８１】
なお、５２５本のライン数は、一例であって、他の走査線構造の出力画像信号を生成する場合に対してもこの発明を適用できる。例えば図１４に示すように、５２５ｉ信号を１０５０ｉ（ライン数１０５０本のインターレス）信号へ変換する場合に対しても同様にこの発明を適用できる。
【００８２】
【発明の効果】
この発明は、テロップ等の人工的な画像の動きを通常の自然画の動きとは別に検出するので、テロップ等の動きを正確に検出することができる。従って、動き適応処理を行う場合に、処理によって画像が劣化することを防止することができる。
【００８３】
また、この発明による画像情報変換装置では、入力映像信号の複数画素に基づいてクラスを検出し、各クラスで最適となる推定予測式を用いて画素値を生成するので、従来の画像情報変換装置と比較して、静止画、動画とも高画質とすることができる。さらに、動きの情報をクラスの情報に取り込むので、静止画／動画の検出と、検出による切り替えが不要とでき、切り替え時に画質の相違が目立つことを防止でき、また、動き検出の誤りによる劣化を大幅に少なくできる。
【図面の簡単な説明】
【図１】この発明による動き判定装置の一実施形態のブロック図である。
【図２】この発明の一実施形態において動き判定に使用するタップを示す略線図である。
【図３】この発明の一実施形態におけるしきい値を説明するための略線図である。
【図４】この発明の一実施形態におけるテロップ動き検出部の一例のブロック図である。
【図５】テロップ判定に使用するフィールド間差分の説明に用いる略線図である。
【図６】この発明の一実施形態におけるテロップ動き検出部の他の例のブロック図である。
【図７】テロップ判定に使用する垂直フィルタ処理をかけられたフィールド間差分の説明に用いる略線図である。
【図８】テロップ判定に使用する空間アクティビティを検出するための構成を示すブロック図である。
【図９】この発明を適用できる画像情報変換装置の一例のブロック図である。
【図１０】ＳＤ画素と５２５ｐの画素の位置関係を説明するための略線図である。
【図１１】線順次変換動作を説明するための波形図である。
【図１２】ＳＤ画素および５２５ｐの画素の位置関係と、空間クラスタップの一例を示す略線図である。
【図１３】係数データを取得するための構成の一例を示すブロック図である。
【図１４】ＳＤ画素と１０５０ｉの画素の位置関係を説明するための略線図である。
【符号の説明】
３・・・テロップ動き検出部、４・・・フレーム間差分検出回路、５・・・空間勾配検出回路、６・・・選択回路、７，８，９、１０・・・比較器、１１・・・動きクラス決定部、１０１、１０２、１０４・・・タップ選択回路、１０６・・・動きクラス検出回路、１０８・・・係数メモリ、１０９・・・線順次変換回路
Claims (8)
- インタ−レス方式の入力画像信号の部分画像に関して動きを検出する動き判定装置において、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの複数のしきい値を生成し、上記複数のしきい値と、上記部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出部と、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出部と、
上記第１の動き検出部からの上記動きクラスと、上記第２の動き検出部からの上記テロップ判定出力とが供給され、上記テロップ判定出力がテロップの動きを示す場合には、出力として上記テロップ判定出力を優先的に出力し、上記テロップ判定出力がテロップの動きを示すものでない場合に、上記動きクラスを出力する出力部とを有し、
上記第２の動き検出部は、
フィールド t-1 およびｔ間の、上向きのフィールド間差分 FiGu(t-1) と、フィールド t-1 およびｔ間の、下向きのフィールド間差分 FiGd(t-1) と、フィールドｔおよび t+1 間の、上向きのフィールド間差分 FiGu(t) と、フィールドｔおよび t+1 間の、下向きのフィールド間差分 FiGd(t) とをそれぞれ求め、
上記フィールド間差分 FiGu(t-1) 、 FiGd(t-1) 、 FiGu(t) 、および FiGd(t) を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする動き判定装置。
Ａ＝ＳＧ sum ≧ｔｈ５
and min ｛｜ SG(t) − SG(t-1) ｜，｜ SG(t) − SG(t+1) ｜｝≧ｔｈ６
and ＦｒＧ≧ｔｈ７
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ５
and max ｛ FiGu(t-1),FiGu(t),FiGd(t-1),FiGd(t) ｝≧ｔｈ９
and ＦｒＧ≧ｔｈ１０
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配である。ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、上記部分画像に関して検出されたフレーム間差分である。ｔｈ５、ｔｈ６、ｔｈ７、ｔｈ９、ｔｈ１０は、しきい値である。 - インタ−レス方式の入力画像信号の部分画像に関して動きを検出する動き判定装置において、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの複数のしきい値を生成し、上記複数のしきい値と、上記部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出部と、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出部と、
上記第１の動き検出部からの上記動きクラスと、上記第２の動き検出部からの上記テロップ判定出力とが供給され、上記テロップ判定出力がテロップの動きを示す場合には、出力として上記テロップ判定出力を優先的に出力し、上記テロップ判定出力がテロップの動きを示すものでない場合に、上記動きクラスを出力する出力部とを有し、
上記第２の動き検出部は、
フィールド t-1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第１の差分値、並びにフィールド t+1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第２の差分値を求め、
部分画像に関して発生した上記第１の差分値の絶対値和である第１のフィールド間差分ＦｉＧ１ (t) 、並びに部分画像に関して発生した上記第２の差分値の絶対値和である第２ のフィールド間差分ＦｉＧ２ (t) を求め、上記第１および第２のフィールド間差分を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする動き判定装置。
Ａ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ１ (t) ≧ｔｈ１３
and ＦｒＧ≧ｔｈ１４
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ２ (t) ≧ｔｈ１６
and ＦｒＧ≧ｔｈ１７
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配であり、ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、上記部分画像に関して検出されたフレーム間差分である。ｔｈ１２、ｔｈ１３、ｔｈ１４、ｔｈ１６、ｔｈ１７は、しきい値である。 - インタ−レス方式の入力画像信号の部分画像に関して動きを検出する動き判定方法において、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの複数のしきい値を生成し、上記複数のしきい値と、上記部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出ステップと、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出ステップと、
上記第１の動き検出ステップにおいて決定された上記動きクラスと、上記第２の動き検出ステップにおいて生成された上記テロップ判定出力とが供給され、上記テロップ判定出力がテロップの動きを示す場合には、出力として上記テロップ判定出力を優先的に出力し、上記テロップ判定出力がテロップの動きを示すものでない場合に、上記動きクラスを出力する出力ステップとを有し、
上記第２の動き検出ステップは、
フィールド t-1 およびｔ間の、上向きのフィールド間差分 FiGu(t-1) と、フィールド t-1 およびｔ間の、下向きのフィールド間差分 FiGd(t-1) と、フィールドｔおよび t+1 間の、上向きのフィールド間差分 FiGu(t) と、フィールドｔおよび t+1 間の、下向きのフィールド間差分 FiGd(t) とをそれぞれ求め、
上記フィールド間差分 FiGu(t-1) 、 FiGd(t-1) 、 FiGu(t) 、および FiGd(t) を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする動き判定方法。
Ａ＝ＳＧ sum ≧ｔｈ５
and min ｛｜ SG(t) − SG(t-1) ｜，｜ SG(t) − SG(t+1) ｜｝≧ｔｈ６
and ＦｒＧ≧ｔｈ７
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ５
and max ｛ FiGu(t-1),FiGu(t),FiGd(t-1),FiGd(t) ｝≧ｔｈ９
and ＦｒＧ≧ｔｈ１０
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配である。ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、上記部分画像に関して検出されたフレーム間差分である。ｔｈ５、ｔｈ６、ｔｈ７、ｔｈ９、ｔｈ１０は、しきい値である。 - インタ−レス方式の入力画像信号の部分画像に関して動きを検出する動き判定方法において、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの 複数のしきい値を生成し、上記複数のしきい値と、上記部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出ステップと、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出ステップと、
上記第１の動き検出ステップにおいて決定された上記動きクラスと、上記第２の動き検出ステップにおいて生成された上記テロップ判定出力とが供給され、上記テロップ判定出力がテロップの動きを示す場合には、出力として上記テロップ判定出力を優先的に出力し、上記テロップ判定出力がテロップの動きを示すものでない場合に、上記動きクラスを出力する出力ステップとを有し、
上記第２の動き検出ステップは、
フィールド t-1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第１の差分値、並びにフィールド t+1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第２の差分値を求め、
部分画像に関して発生した上記第１の差分値の絶対値和である第１のフィールド間差分ＦｉＧ１ (t) 、並びに部分画像に関して発生した上記第２の差分値の絶対値和である第２のフィールド間差分ＦｉＧ２ (t) を求め、上記第１および第２のフィールド間差分を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする動き判定方法。
Ａ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ１ (t) ≧ｔｈ１３
and ＦｒＧ≧ｔｈ１４
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ２ (t) ≧ｔｈ１６
and ＦｒＧ≧ｔｈ１７
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配であり、ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、上記部分画像に関して検出されたフレーム間差分である。ｔｈ１２、ｔｈ１３、ｔｈ１４、ｔｈ１６、ｔｈ１７は、しきい値である。 - 入力画像信号からより高い解像度を有する出力画像信号を形成するようにした画像情報変換装置において、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第１の画素を選択する第１のデータ選択手段と、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第２の画素を選択する第２のデータ選択手段と、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第３の画素を選択する第３のデータ選択手段と、
予め取得されている予測係数を記憶するメモリ手段と、
上記第１のデータ選択手段で選択された複数の第１の画素と上記予測係数の積和演算によって、出力画像信号の画素を生成する信号生成手段と、
上記第２のデータ選択手段で選択された複数の第２の画素に基づいて、空間クラスを形成し、上記第３のデータ選択手段で選択された複数の第３の画素に基づいて、動きクラスを形成し、上記空間クラスと上記動きクラスとを含むクラス情報に対応して上記予測係数を上記メモリ手段から読み出して上記信号生成手段に供給するクラス決定手段と、
上記信号生成手段に対して接続され、変換画像を指定された出力画像へ変換するための走査変換手段とを有し、
上記予測係数は、上記積和演算によって、出力画像信号の画素を生成した時に、生成された値と上記画素の真値との誤差を最小とするように、上記クラス情報毎に予め学習によって求められて上記メモリ手段に記憶されており、
上記動きクラスを形成するための動き判定部は、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの複数のしきい値を生成し、上記複数のしきい値と、上記部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出部と、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出部と、
上記第１の動き検出部からの上記動きクラスと、上記第２の動き検出部からの上記テロップ判定出力とが供給され、上記テロップ判定出力がテロップの動きを示す場合には、出力として上記テロップ判定出力を優先的に出力し、上記テロップ判定出力がテロップの動きを示すものでない場合に、上記動きクラスを出力する出力部とを有し、
上記第２の動き検出部は、
フィールド t-1 およびｔ間の、上向きのフィールド間差分 FiGu(t-1) と、フィールド t-1 およびｔ間の、下向きのフィールド間差分 FiGd(t-1) と、フィールドｔおよび t+1 間の、上向きのフィールド間差分 FiGu(t) と、フィールドｔおよび t+1 間の、下向きのフィールド間差分 FiGd(t) とをそれぞれ求め、
上記フィールド間差分 FiGu(t-1) 、 FiGd(t-1) 、 FiGu(t) 、および FiGd(t) を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする画像情報変換装置。
Ａ＝ＳＧ sum ≧ｔｈ５
and min ｛｜ SG(t) − SG(t-1) ｜，｜ SG(t) − SG(t+1) ｜｝≧ｔｈ６
and ＦｒＧ≧ｔｈ７
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ５
and max ｛ FiGu(t-1),FiGu(t),FiGd(t-1),FiGd(t) ｝≧ｔｈ９
and ＦｒＧ≧ｔｈ１０
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配である。ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、上記部分画像に関して検出されたフレーム間差分である。ｔｈ５、ｔｈ６、ｔｈ７、ｔｈ９、ｔｈ１０は、しきい値である。 - 入力画像信号からより高い解像度を有する出力画像信号を形成するようにした画像情報変換装置において、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第１の画素を選択する第１のデータ選択手段と、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第２の画素を選択する第２のデータ選択手段と、
出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数の第３の画素を選択する第３のデータ選択手段と、
予め取得されている予測係数を記憶するメモリ手段と、
上記第１のデータ選択手段で選択された複数の第１の画素と上記予測係数の積和演算によって、出力画像信号の画素を生成する信号生成手段と、
上記第２のデータ選択手段で選択された複数の第２の画素に基づいて、空間クラスを形成し、上記第３のデータ選択手段で選択された複数の第３の画素に基づいて、動きクラスを形成し、上記空間クラスと上記動きクラスとを含むクラス情報に対応して上記予測係数を上記メモリ手段から読み出して上記信号生成手段に供給するクラス決定手段と、
上記信号生成手段に対して接続され、変換画像を指定された出力画像へ変換するための走査変換手段とを有し、
上記予測係数は、上記積和演算によって、出力画像信号の画素を生成した時に、生成された値と上記画素の真値との誤差を最小とするように、上記クラス情報毎に予め学習によって求められて上記メモリ手段に記憶されており、
上記動きクラスを形成するための動き判定部は、
部分画像に関して検出された空間勾配に応じて大きくなり、且つ互いに異なるレベルの複数のしきい値を生成し、上記複数のしきい値と、上記部分画像に関して検出されたフレーム間差分とをそれぞれ比較し、該比較結果に対応して複数の動きクラスを決定する第１の動き検出部と、
テロップの動きの有無を示すテロップ判定出力を発生する第２の動き検出部と、
上記第１の動き検出部からの上記動きクラスと、上記第２の動き検出部からの上記テロップ判定出力とが供給され、上記テロップ判定出力がテロップの動きを示す場合には、出力として上記テロップ判定出力を優先的に出力し、上記テロップ判定出力がテロップの動きを示すものでない場合に、上記動きクラスを出力する出力部とを有し、
上記第２の動き検出部は、
フィールド t-1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第１の差分値、並びにフィールド t+1 およびフィールドｔの一方のフィールドの画素と他方のフィールドの垂直フィルタで発生した補間値との第２の差分値を求め、
部分画像に関して発生した上記第１の差分値の絶対値和である第１のフィールド間差分ＦｉＧ１ (t) 、並びに部分画像に関して発生した上記第２の差分値の絶対値和である第２のフィールド間差分ＦｉＧ２ (t) を求め、上記第１および第２のフィールド間差分を用いて下記の条件ＡまたはＢが満足される場合は、テロップ部分の動きとして判定し、そうでない場合は、テロップ部分の動きでないと判定することを特徴とする画像情報変換装置。
Ａ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ１ (t) ≧ｔｈ１３
and ＦｒＧ≧ｔｈ１４
and 部分画像の空間アクティビティがしきい値以上
Ｂ＝ＳＧ sum ≧ｔｈ１２
and ＦｉＧ２ (t) ≧ｔｈ１６
and ＦｒＧ≧ｔｈ１７
and 部分画像の空間アクティビティがしきい値以上
但し、ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) は、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配であり、ＳＧ sum ＝ＳＧ (t-1) ＋ＳＧ (t) ＋ＳＧ (t+1) である。フレーム間差分ＦｒＧは、上記部分画像に関して検出されたフレーム間差分である。ｔｈ１２、ｔｈ１３、ｔｈ１４、ｔｈ１６、ｔｈ１７は、しきい値である。 - 請求項５または６において、
インターレス方式入力画像信号からプログレッシブ方式出力画像信号を形成するようにしたことを特徴とする画像情報変換装置。 - 請求項５または６において、
さらに、水平方向に上記入力画像信号の２倍の画素数の出力画像信号を生成することを特徴とする画像情報変換装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24944898A JP4168490B2 (ja) | 1998-09-03 | 1998-09-03 | 動き判定装置、その方法および画像情報変換装置 |
| US09/387,994 US6597737B1 (en) | 1998-09-03 | 1999-09-01 | Motion determining apparatus, method thereof, and picture information converting apparatus |
| KR19990037080A KR100652467B1 (ko) | 1998-09-03 | 1999-09-02 | 움직임 판정 장치, 그 방법 및 화상 정보 변환 장치 |
| EP19990306982 EP0984624A3 (en) | 1998-09-03 | 1999-09-02 | Motion determining apparatus, method thereof, and picture information converting apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24944898A JP4168490B2 (ja) | 1998-09-03 | 1998-09-03 | 動き判定装置、その方法および画像情報変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000078539A JP2000078539A (ja) | 2000-03-14 |
| JP4168490B2 true JP4168490B2 (ja) | 2008-10-22 |
Family
ID=17193128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24944898A Expired - Fee Related JP4168490B2 (ja) | 1998-09-03 | 1998-09-03 | 動き判定装置、その方法および画像情報変換装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6597737B1 (ja) |
| EP (1) | EP0984624A3 (ja) |
| JP (1) | JP4168490B2 (ja) |
| KR (1) | KR100652467B1 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4691812B2 (ja) * | 2001-03-29 | 2011-06-01 | ソニー株式会社 | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法 |
| JP2003110659A (ja) * | 2001-09-28 | 2003-04-11 | Toshiba Corp | 移動通信端末 |
| US7423691B2 (en) * | 2001-11-19 | 2008-09-09 | Matsushita Electric Industrial Co., Ltd. | Method of low latency interlace to progressive video format conversion |
| EP1477929B1 (en) * | 2002-02-21 | 2010-04-07 | Sony Corporation | Signal processing |
| KR100517504B1 (ko) * | 2003-07-01 | 2005-09-28 | 삼성전자주식회사 | Ｂ-픽처의 움직임 보상 모드 결정방법 및 장치 |
| US7362378B2 (en) | 2005-01-10 | 2008-04-22 | Matsushita Electric Industrial Co., Ltd. | Method of edge based pixel location and interpolation |
| KR101299249B1 (ko) * | 2008-08-29 | 2013-08-22 | 삼성테크윈 주식회사 | 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체 |
| CN102946505B (zh) * | 2012-11-22 | 2015-02-18 | 四川虹微技术有限公司 | 一种基于图像分块统计的自适应运动检测方法 |
| CN102946504B (zh) * | 2012-11-22 | 2015-02-18 | 四川虹微技术有限公司 | 一种基于边缘检测的自适应运动检测方法 |
| CN111462190B (zh) * | 2020-04-20 | 2023-11-17 | 海信集团有限公司 | 一种智能冰箱及食材录入方法 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2634632B2 (ja) | 1988-06-15 | 1997-07-30 | 株式会社日立製作所 | 動き検出回路 |
| JP2830111B2 (ja) * | 1989-07-21 | 1998-12-02 | ソニー株式会社 | 高能率符号化装置 |
| US5539466A (en) * | 1991-07-30 | 1996-07-23 | Sony Corporation | Efficient coding apparatus for picture signal and decoding apparatus therefor |
| US5245436A (en) * | 1992-02-14 | 1993-09-14 | Intel Corporation | Method and apparatus for detecting fades in digital video sequences |
| US6226327B1 (en) * | 1992-06-29 | 2001-05-01 | Sony Corporation | Video coding method and apparatus which select between frame-based and field-based predictive modes |
| JP3036287B2 (ja) * | 1992-12-15 | 2000-04-24 | 富士ゼロックス株式会社 | 動画像シーン検出装置 |
| JP2591441B2 (ja) * | 1993-09-28 | 1997-03-19 | 日本電気株式会社 | 動画像信号の動ベクトル検出装置 |
| JP2823495B2 (ja) * | 1993-10-27 | 1998-11-11 | 三洋電機株式会社 | 動き検出回路及びテレビジョン受信機 |
| JP3845870B2 (ja) * | 1994-09-09 | 2006-11-15 | ソニー株式会社 | ディジタル信号処理用集積回路 |
| US5563651A (en) * | 1994-12-30 | 1996-10-08 | Thomson Consumer Electronics, Inc. | Method and apparatus for identifying video fields produced by film sources employing 2-2 and 3-2 pull down sequences |
| US5508750A (en) * | 1995-02-03 | 1996-04-16 | Texas Instruments Incorporated | Encoding data converted from film format for progressive display |
| JPH08265770A (ja) * | 1995-03-20 | 1996-10-11 | Sony Corp | 高能率符号化方法、高能率符号化装置、記録再生装置及び情報伝送システム |
| JPH08317301A (ja) * | 1995-05-22 | 1996-11-29 | Hitachi Ltd | 映像出力装置 |
| JP3669530B2 (ja) * | 1995-06-30 | 2005-07-06 | ソニー株式会社 | 画像信号変換装置及び画像信号変換方法 |
| US5946044A (en) | 1995-06-30 | 1999-08-31 | Sony Corporation | Image signal converting method and image signal converting apparatus |
| JP3504439B2 (ja) | 1996-07-25 | 2004-03-08 | 日本電信電話株式会社 | 映像検索方法 |
| US6104755A (en) * | 1996-09-13 | 2000-08-15 | Texas Instruments Incorporated | Motion detection using field-difference measurements |
| JP3609236B2 (ja) | 1997-05-16 | 2005-01-12 | 日本電信電話株式会社 | 映像テロップ検出方法および装置 |
| JP3470938B2 (ja) | 1997-05-20 | 2003-11-25 | 日本電信電話株式会社 | テロップ文字表示フレーム検出方法及び装置 |
| US6084641A (en) * | 1997-08-06 | 2000-07-04 | General Instrument Corporation | Fade detector for digital video |
| JPH1169356A (ja) * | 1997-08-25 | 1999-03-09 | Mitsubishi Electric Corp | 動画像符号化方式及び動画像復号方式 |
| JPH11168691A (ja) | 1997-12-04 | 1999-06-22 | Nippon Telegr & Teleph Corp <Ntt> | 映像蓄積表示装置 |
| JP4193233B2 (ja) * | 1998-08-12 | 2008-12-10 | ソニー株式会社 | 動き判定装置、その方法および画像情報変換装置 |
-
1998
- 1998-09-03 JP JP24944898A patent/JP4168490B2/ja not_active Expired - Fee Related
-
1999
- 1999-09-01 US US09/387,994 patent/US6597737B1/en not_active Expired - Fee Related
- 1999-09-02 KR KR19990037080A patent/KR100652467B1/ko not_active Expired - Fee Related
- 1999-09-02 EP EP19990306982 patent/EP0984624A3/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| KR100652467B1 (ko) | 2006-12-01 |
| EP0984624A2 (en) | 2000-03-08 |
| EP0984624A3 (en) | 2001-09-05 |
| KR20000022865A (ko) | 2000-04-25 |
| US6597737B1 (en) | 2003-07-22 |
| JP2000078539A (ja) | 2000-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100638500B1 (ko) | 정보 신호 처리 장치, 화상 정보 변환 장치, 및 화상 디스플레이 장치 | |
| JP4147632B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP4168490B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP4131048B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4193233B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP4078719B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JP4099555B2 (ja) | 画像情報変換装置 | |
| JP4123587B2 (ja) | 画像情報処理装置および方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP4470282B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4174891B2 (ja) | 画像情報変換装置および方法 | |
| JP4193236B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP3918759B2 (ja) | 画像データの生成装置および生成方法 | |
| JP4154768B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP4042121B2 (ja) | 画像情報処理装置及び画像情報処理方法 | |
| JPH07193791A (ja) | 画像情報変換装置 | |
| JP2000083223A (ja) | 画像情報変換装置および画像情報変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080623 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080715 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080728 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |