JP4339237B2 - Sequential scan converter - Google Patents
Sequential scan converter Download PDFInfo
- Publication number
- JP4339237B2 JP4339237B2 JP2004364323A JP2004364323A JP4339237B2 JP 4339237 B2 JP4339237 B2 JP 4339237B2 JP 2004364323 A JP2004364323 A JP 2004364323A JP 2004364323 A JP2004364323 A JP 2004364323A JP 4339237 B2 JP4339237 B2 JP 4339237B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- field image
- field
- progressive
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
本発明はインターレース画像をプログレッシブ画像に変換する順次走査変換装置に関し、特に、動き補償による順次走査変換を行う順次走査変換装置に関する。 The present invention relates to a progressive scan conversion device that converts an interlaced image into a progressive image, and more particularly to a progressive scan conversion device that performs progressive scan conversion by motion compensation.
液晶ディスプレイやプラズマディスプレイでは、一般にプログレッシブ方式の画像を表示する。従って、インターレース方式の画像を液晶ディスプレイやプラズマディスプレイに表示する場合には、インターレース画像をプログレッシブ画像へ変換する順次走査変換(I/P変換)が必要である。 A liquid crystal display or plasma display generally displays a progressive image. Accordingly, when displaying an interlaced image on a liquid crystal display or a plasma display, sequential scanning conversion (I / P conversion) for converting the interlaced image into a progressive image is necessary.
図5を参照して順次走査変換を説明する。順次走査変換では、入力フィールド画像に対し走査線が補間関係にある補間フィールド画像を生成し、両者を合成することによりプログレッシブ画像を生成する。 The progressive scan conversion will be described with reference to FIG. In the progressive scan conversion, an interpolated field image in which scanning lines are in an interpolating relationship with the input field image is generated, and a progressive image is generated by combining the two.
図5(a)は、インターレース方式のフィールド画像を示す。インターレース方式では、例えば、奇数行の走査線からなるトップフィールド画像101Aと、偶数行の走査線からなるボトムフィールド画像102Aが交互に表示される。トップフィールド画像101Aとボトムフィールド画像102Aを1フレームと称する。奇数行の走査線からなるトップフィールド画像101Aに対して偶数行の走査線からなる補間フィールド画像101Bを生成し、両者を合成することによりプログレッシブ画像が生成される。同様に、偶数行の走査線からなるボトムフィールド画像102Aに対して、奇数行の走査線からなる補間フィールド画像102Bを生成し、両者を合成することにより、プログレッシブ画像が生成される。こうして、全てのトップフィールド画像及びボトムフィールド画像に対して走査線が補間関係にある補間フィールド画像を生成し、両者を合成することによりプログラッシブ画像を生成する。
FIG. 5A shows an interlaced field image. In the interlace method, for example, a
順次走査変換には動き適応方式の順次走査変換と動き補償方式の順次走査変換が知られている。 As the progressive scan conversion, a motion adaptive type progressive scan conversion and a motion compensation type progressive scan conversion are known.
図5(b)を参照して動き適応方式を説明する。動き適応方式では、入力フィールド画像とそれより1フレーム期間過去のフィールド画像を比較し、動き検出を行う。静止画部分では、1フィールド期間過去の画像を使用して補間フィールド画像を生成する。これはフィールド間補間と呼ばれる。動画部分では、同一時刻のフィールド画像にて隣接する走査線間の平均を求めることにより補間フィールド画像を生成する。これはフィールド内補間と呼ばれる。例えば、ボトムフィールド画像102Aに対する補間フィールド画像102Bを生成する場合、動く物体像の部分では、フィールド内補間を行う。
The motion adaptation method will be described with reference to FIG. In the motion adaptation method, motion detection is performed by comparing an input field image with a field image in the past of one frame period. In the still image portion, an interpolated field image is generated using an image in the past of one field period. This is called inter-field interpolation. In the moving image portion, an interpolated field image is generated by obtaining an average between adjacent scanning lines in the field image at the same time. This is called intra-field interpolation. For example, when generating the
フィールド内補間には、上述のように、上下の走査線の画素値の平均値を補間画素の値とする方法や、フィールド画像に斜め線が含まれるときに斜め線を検出し斜め線の画質を損なわないように補間画素を生成する方法などが提案されている。一般的に、フィールド内補間は、同一時刻の情報を有する同一フィールド画像を用いて補間画素を生成するため、生成したプログレッシブ画像の垂直方向の解像度感は低くなる。 For intra-field interpolation, as described above, the average value of the pixel values of the upper and lower scanning lines is used as the value of the interpolated pixel, or when the field image includes diagonal lines, the diagonal lines are detected and the image quality of the diagonal lines is determined. There has been proposed a method of generating an interpolated pixel so as not to damage the image. In general, intra-field interpolation generates interpolated pixels using the same field image having information at the same time, so the sense of vertical resolution of the generated progressive image is low.
図5(c)を参照して動き補償方式を説明する。動き補償方式では、互いに異なる時刻のフレーム間又はフィールド間にて、動きベクトルを検出する。動きベクトルとは、互いに異なる時刻のフレーム間又はフィールド間にて、像の移動を示すベクトルである。動きベクトルを用いて、補間フィールド画像を生成する。例えば、ボトムフィールド画像102Aに対する補間フィールド画像102Bを生成する場合、2つのトップフィールド画像101A、103Aにて、動く物体像111A、113Aを検出し、両者を結ぶ動きベクトル150を生成する。トップフィールド画像101Aの物体像111Aを、動きベクトル150の半分のベクトルだけ移動させることにより、補間フィールド画像102Bの物体像112Bが生成される。動きベクトルを検出する方法として、ブロックマッチングが知られている。
The motion compensation method will be described with reference to FIG. In the motion compensation method, a motion vector is detected between frames or fields at different times. A motion vector is a vector indicating the movement of an image between frames or fields at different times. An interpolation field image is generated using the motion vector. For example, when generating the
図6を参照してブロックマッチングによる動きベクトル検出法を説明する。ブロックマッチングでは、フィールド画像を複数の画素から構成される領域(ブロック)に分割し、互いに異なる時刻の2つのフィールド画像間にて、ブロックを比較し、両者の相関度を評価し、相関度が最小のブロックを求める。こうして求められた2つのフィールド画像のブロックより動きベクトルが得られる。相関度として、2つのフィールド画像のブロックの画素間の差分絶対値の累積値SAD(Sum of Absolute Error)が使用される。即ち、SADが最小のブロックより動きベクトルが求められる。 A motion vector detection method based on block matching will be described with reference to FIG. In block matching, a field image is divided into regions (blocks) composed of a plurality of pixels, blocks are compared between two field images at different times, and the degree of correlation between the two is evaluated. Find the smallest block. A motion vector is obtained from the blocks of the two field images thus obtained. As the degree of correlation, a cumulative value SAD (Sum of Absolute Error) of absolute differences between pixels of two field image blocks is used. That is, the motion vector is obtained from the block having the smallest SAD.
動きベクトルを正確に検出するには、ブロックを正確に検出する必要がある。しかしながら、ブロックマッチングでは、SADの最小となるブロックを選択するため、正しくないブロックでもSADがゼロ又は小さい場合に、正しいブロックであると解釈される場合がある。 In order to accurately detect a motion vector, it is necessary to accurately detect a block. However, in block matching, since the block having the smallest SAD is selected, an incorrect block may be interpreted as a correct block when the SAD is zero or small.
図6(a)は、ブロックマッチングにてブロックが正確に検出されたため、動きベクトルが正確に検出された場合を示す。トップフィールド画像101Aにおけるブロック121と次のトップフィールド画像103Aにおけるブロック123は、正確に検出されたとする。即ち、動く物体像111Aを含むブロック121と動く物体像113Aを含むブロック123の間の相関度の計算値から、両ブロックが対応することが検出された。従って、両ブロックに基づいて得られた動きベクトル150は正確である。こうして正確な動きベクトル150を使用して、ボトムフィールド画像102Aに対する補間フィールド画像102Bを生成し、両者を合成してプログレッシブ画像を生成すると、正確なプログラッシブ画像が得られる。
FIG. 6A shows a case where a motion vector is accurately detected because a block is accurately detected by block matching. It is assumed that the
図6(b)は、ブロックマッチングにてブロックが不正確に検出されたため、動きベクトルが不正確に検出された場合を示す。トップフィールド画像101Aにおけるブロック131と次のトップフィールド画像103Aにおけるブロック133が誤って検出されたため、両ブロックに基づいて得られた動きベクトル151は不正確である。動きベクトル151の半分のベクトルによって指定された補間フィールド画像102B上のブロック132は静止画素であると誤判定される。こうして正確な動きベクトル151を使用して、ボトムフィールド画像102Aに対する補間フィールド画像102Bを生成し、両者を合成してプログレッシブ画像を生成すると、不正確なプログラッシブ画像202が得られる。
FIG. 6B shows a case where a motion vector is detected incorrectly because a block is detected incorrectly by block matching. Since the
動き補償方式の順次走査変換では、垂直方向の解像度は低いため、物体が垂直方向に移動している場合には、高画質のプログレッシブ画像を得ることができないが、物体が水平方向に移動している場合には、高画質のプログレッシブ画像を得ることができる。しかしながら、一定の速度で移動している物体が背景の物体と重なる場合などは、前述した動き検出により得られた動きベクトルと画面上の物体の動きが異なることがある。このような場合、動き補償による補間フィールド画像の画質はフィールド内補間処理による補間フィールド画像より悪くなることがある。 In the progressive scan conversion of motion compensation method, the vertical resolution is low, so if the object is moving in the vertical direction, a high-quality progressive image cannot be obtained, but the object moves in the horizontal direction. If it is, a high-quality progressive image can be obtained. However, when an object moving at a constant speed overlaps with a background object, the motion vector obtained by the motion detection described above may be different from the motion of the object on the screen. In such a case, the image quality of the interpolation field image by motion compensation may be worse than that of the interpolation field image by intra-field interpolation processing.
このような問題を解決するために、例えば特許文献1に記載された例がある。 In order to solve such a problem, there is an example described in Patent Document 1, for example.
図10を参照して、特許文献1に記載されている順次走査変換装置の例を説明する。この順次走査変換装置は、動きベクトル検出回路1001、動き補償補間回路1002、フィールド内補間回路1003、垂直帯域通過フィルタ1004、合成回路1005、及び倍速変換回路1006を有する。入力映像信号は動きベクトル検出回路1001、動き補償補間回路1002及びフィールド内補間回路1003にそれぞれ入力される。動きベクトル検出回路1001は、動きベクトルを検出し、それを、動き補償補間回路1002、及び合成回路1005に供給する。動き補償補間回路1002は、動きベクトルに応じて例えば前フィールドの映像信号を動き補償して出力する。垂直帯域通過フィルタ1004は、動き補償した前フィールドの映像信号から、垂直高域成分を抽出する。合成回路1005は、垂直高域成分と、フィールド内補間回路から得られる現フィールドの垂直低域成分とを合成し、それを走査線の補間信号として出力する。
With reference to FIG. 10, an example of the progressive scan conversion apparatus described in Patent Document 1 will be described. The progressive scan conversion apparatus includes a motion
倍速変換回路は、入力フィールド画像と合成回路1005より出力され補間フィールド画像より、プログレッシブ画像を構成する。こうして、動きベクトルが不正確な場合でも順次走査変換した画像の画質を維持できる。
The double speed conversion circuit forms a progressive image from the input field image and the interpolated field image output from the
しかしながら、図10の順次走査変換装置のように動き補償を垂直高域成分に限定しても、動きベクトルが物体の実際の動きを完全に検出できない場合は補償による画像の劣化を完全に防ぐことはできない。特に、順次走査変換装置に入力されるインターレース方式のフィールド画像が画面全体で不自然な動きを有する場合、動き補償による補間処理はフィールド内補間処理に比べて画質劣化が大きくなる。 However, even if the motion compensation is limited to the vertical high-frequency component as in the progressive scan converter of FIG. 10, if the motion vector cannot completely detect the actual motion of the object, the image deterioration due to the compensation is completely prevented. I can't. In particular, when an interlaced field image input to the progressive scan converter has an unnatural motion on the entire screen, the image quality degradation is larger in the interpolation processing by motion compensation than in the intra-field interpolation processing.
入力フィールド画面全体の動きが不自然な例として、プルダウン処理によりフィルム画像から変換されたインターレース方式のフィールド画像がある。 An example of an unnatural movement of the entire input field screen is an interlaced field image converted from a film image by pull-down processing.
図3は、2:2プルダウン処理によりプログレッシブ画像からインターレース方式のフィールド画像へ変換する処理を示す。2:2プルダウン処理では、フィルムやコンピュータグラフィックス等のプログレッシブ画面から走査周波数が2倍のインターレース画像に変換する。例えば、NTSC方式の場合、走査周波数が30フレーム/秒のプログレッシブ画像から走査周波数が60フィールド/秒のインターレース画像を生成する。PAL方式の場合、走査周波数が25フレーム/秒のプログレッシブ画像から走査周波数が50フィールド/秒のインターレース画像を生成する。図示のように、1枚のプログレッシブ画像の偶数ラインからトップフィールド画像、奇数ラインからボトムフィールド画像を生成する。 FIG. 3 shows processing for converting a progressive image into an interlaced field image by 2: 2 pull-down processing. In 2: 2 pull-down processing, a progressive screen such as film or computer graphics is converted into an interlaced image having a scanning frequency of twice. For example, in the case of the NTSC system, an interlaced image having a scanning frequency of 60 fields / second is generated from a progressive image having a scanning frequency of 30 frames / second. In the case of the PAL method, an interlaced image having a scanning frequency of 50 fields / second is generated from a progressive image having a scanning frequency of 25 frames / second. As shown in the figure, a top field image is generated from even lines of a progressive image, and a bottom field image is generated from odd lines.
2:2プルダウン処理では、同一のプログレッシブ画像101からトップフィールド画像101Aとボトムフィールド画像102Aの両者を生成するため、隣接するフィールド画像101A、102Aが同一時刻の情報を有することがある。そのため、2:2プルダウン処理によって生成されたインターレース画像から順次走査変換によりプログレッシブ画像を生成すると、生成したプログレッシブ画像の画質が劣化する。
In the 2: 2 pull-down process, since both the
例えば、トップフィールド画像103Aに対する補間フィールド画像103Bを、2つのボトムフィールド画像102A及び104Aから、動き補償により生成する場合を考える。補間フィールド画像103Bは、2つのボトムフィールド画像102A及び104Aの中間の時刻の情報を有するものとして生成される。一方、トップフィールド画像103Aはボトムフィールド画像104Aと同一時刻の情報を有する。従って、トップフィールド画像103Aと補間フィールド画像103Bを合成して生成されるプログレッシブ画像は互いに異なる時刻の情報を合成したものとなり、画像が劣化する。
For example, consider a case where an
特に、入力フィールド画像が動いている物体を含む場合、上下に隣接する偶数ラインと奇数ラインの画素値に大きな差が生じ、視覚上コーミングと呼ばれる現象が発生する。 In particular, when the input field image includes a moving object, a large difference occurs between the pixel values of the even lines and the odd lines that are vertically adjacent to each other, and a phenomenon called visual combing occurs.
図4は、3:2プルダウン処理によりプログレッシブ画像からインターレース方式のフィールド画像への変換する処理を示す。3:2プルダウン処理では、フィルムやコンピュータグラフィックス等のプログレッシブ画面から走査周波数が2.5倍のインターレース画像に変換する。例えば、NTSC方式の場合、走査周波数が24フレーム/秒のプログレッシブ画像から走査周波数が60フィールド/秒のインターレース画像を生成する。図示のように、1枚のプログレッシブ画像より2枚のフィールド画像と3枚のフィールド画像を交互に生成する。例えば、1枚のプログレッシブ画像101の偶数ラインからトップフィールド画像101A、奇数ラインからボトムフィールド画像102Aを生成し、次のプログレッシブ画像103の偶数ラインから2枚のトップフィールド画像103A、105A、奇数ラインから1枚のボトムフィールド画像104Aを生成する。
FIG. 4 shows processing for converting a progressive image into an interlaced field image by 3: 2 pull-down processing. In 3: 2 pull-down processing, a progressive screen such as film or computer graphics is converted into an interlaced image having a scanning frequency of 2.5 times. For example, in the case of the NTSC system, an interlaced image having a scanning frequency of 60 fields / second is generated from a progressive image having a scanning frequency of 24 frames / second. As shown in the drawing, two field images and three field images are alternately generated from one progressive image. For example, a
3:2プルダウン処理によって得られたフィールド画像より動き補償により補間フィールド画像を生成し、両者を合成してプログレッシブ画像を生成すると、2:2プルダウン処理によって得られたフィールド画像の場合と同様な画像劣化の問題が生じる。 When an interpolated field image is generated by motion compensation from a field image obtained by 3: 2 pull-down processing, and a progressive image is generated by synthesizing both, an image similar to the case of a field image obtained by 2: 2 pull-down processing is obtained. Deterioration issues arise.
インターレース方式のフィールド画像が不自然な動きを示す別の例として、通常のフィールド周波数で撮影された各フィールド画像を繰り返し表示することによりスローモーション表示させた画像がある。この処理では、スローモーションの再生速度によりフィールド画像の繰り返し表示回数が決定される。このような画像では、同じフィールド画像が繰り返し表示された場合にフィールド画像間の動きがゼロとなるため、前述の2:2プルダウン処理や3:2プルダウン処理と同様、隣接するフィールド画像間の動き量が不規則になる。結果として、動き補償による補間フィールド画像により生成されたプログレッシブ画像はコーミングが発生することがある。 Another example in which interlaced field images exhibit unnatural motion is an image that is displayed in slow motion by repeatedly displaying each field image captured at a normal field frequency. In this process, the number of repeated display of the field image is determined by the slow motion playback speed. In such an image, when the same field image is repeatedly displayed, the motion between the field images becomes zero. Therefore, the motion between adjacent field images is the same as the above-described 2: 2 pull-down processing and 3: 2 pull-down processing. The amount becomes irregular. As a result, the progressive image generated by the interpolation field image by motion compensation may be combed.
インターレース方式の画像が不自然な動きを示すもう一つの例として、スキャンレート変換処理された画像がある。例えば、NTSCとPALの間で変換された動画像は、前記スキャンレート変換処理の影響により、変換後のフィールド画像間の動きが不規則になることがある。結果として、動き補償による補間フィールド画像により生成されたプログレッシブ画像はコーミングが発生することがある。 Another example in which an interlaced image exhibits unnatural motion is an image that has been subjected to scan rate conversion processing. For example, a moving image converted between NTSC and PAL may have irregular motion between converted field images due to the influence of the scan rate conversion process. As a result, the progressive image generated by the interpolation field image by motion compensation may be combed.
本発明の目的は、このような不自然な動きを示す画像が入力された場合でも画質劣化を回避することができる動き補償による順次走査変換を行う装置を提供することにある。 An object of the present invention is to provide an apparatus that performs progressive scan conversion by motion compensation that can avoid image quality degradation even when an image showing such an unnatural motion is input.
本発明によると、順次走査変換装置は、入力されたフィールド画像を遅延させるフィールドメモリと、表示時刻の異なる2つのフィールド画像より動きベクトル及び相関情報を検出する動き検出部と、前記動きベクトルを用いて動き補償による補間フィールド画像を生成する動き補償部と、入力フィールド画像よりフィールド内補間フィールド画像を生成するフィールド内補間画像生成部と、前記動き補償による補間フィールド画像と前記フィールド内補間フィールド画像を所定のブレンド率にてブレンドすることにより補間フィールド画像を生成するブレンド部と、前記ブレンド部によって生成された補間フィールド画像と入力フィールド画像を組み合わせることによりプログレッシブ画像を生成するプログレッシブ画像生成部と、入力フィールド画像、前記動き補償による補間フィールド画像、及び、前記相関情報を用いて前記動き補償による補間フィールド画像の信頼性を判定する信頼性判定部とを有し、該信頼性判定部は、信頼性の判定結果に応じて前記ブレンド部のブレンド率を制御する。 According to the present invention, the progressive scan conversion apparatus uses a field memory that delays an input field image, a motion detection unit that detects a motion vector and correlation information from two field images having different display times, and the motion vector. A motion compensation unit for generating an interpolation field image by motion compensation, an intra-field interpolation image generation unit for generating an intra-field interpolation field image from an input field image, an interpolation field image by the motion compensation and the intra-field interpolation field image A blend unit that generates an interpolated field image by blending at a predetermined blend rate, a progressive image generating unit that generates a progressive image by combining the interpolated field image generated by the blend unit and the input field image, and an input F A reliability determination unit that determines reliability of the interpolation field image based on motion compensation using the correlation information, and a reliability determination unit that determines reliability of the field image, the interpolation field image based on motion compensation, and the correlation information. The blend ratio of the blend portion is controlled according to the determination result.
本発明によると、前記信頼性判定部は、信頼性の判定結果に応じて前記動き検出部からの動きベクトルの出力を制御する。 According to the present invention, the reliability determination unit controls the output of a motion vector from the motion detection unit according to a reliability determination result.
本発明によると、更に入力フィールド画像におけるシーンチェンジを検出するシーンチェンジ検出部を有し、該シーンチェンジ検出部がシーンチェンジを検出した後の一定期間、前記信頼性判定部が出力する信頼性判定結果を制御する。 According to the present invention, there is further provided a scene change detection unit for detecting a scene change in the input field image, and the reliability determination output from the reliability determination unit for a certain period after the scene change detection unit detects the scene change. Control the result.
本発明によると、更に入力フィールド画像がビデオ画像、2:2プルダウン処理によるフィールド画像及び3:2プルダウン処理によるフィールド画像のいずれであるかを検出するフィルム検出部を有し、該フィルム検出部が2:2プルダウン処理または3:2プルダウン処理を判定中の期間、前記信頼性判定部が出力する信頼性判定結果を制御する。 According to the present invention, there is further provided a film detection unit for detecting whether the input field image is a video image, a field image by 2: 2 pull-down processing, or a field image by 3: 2 pull-down processing, and the film detection unit The reliability determination result output by the reliability determination unit is controlled during a period during which 2: 2 pull-down processing or 3: 2 pull-down processing is being determined.
本発明によれば、不自然な動きを有する動画像を順次走査変換装置に入力した場合に、動き補償による画質劣化を防ぐことができる。 According to the present invention, it is possible to prevent image quality degradation due to motion compensation when a moving image having an unnatural motion is input to the progressive scan converter.
図1を参照して本発明の順次走査変換装置の第1の例を説明する。本例の順次走査変換装置は、第1のフィールドメモリ10、第2のフィールドメモリ11、動き検出部12、動き補償部13、フィールド内補間画像生成部14、ブレンド部15、プログレッシブ画像生成部16、及び、信頼性判定部17を有する。
A first example of the progressive scan converter of the present invention will be described with reference to FIG. The progressive scan conversion apparatus of this example includes a
入力フィールド画像21は、先ず、第1のフィールドメモリ10及び動き検出部12に供給される。第1のフィールドメモリ10からのフィールド画像22は、第2のフィールドメモリ11及びフィールド内補間画像生成部14に供給される。
First, the input field image 21 is supplied to the
第1及び第2のフィールドメモリ10、11は、それぞれ、1フィールド画像分だけ蓄積し、それを1フィールド期間毎に出力する。従って、第1のフィールドメモリ10からは、入力フィールド画像21より1フィールド期間過去のフィールド画像22が出力され、第2のフィールドメモリ11からは、入力フィールド画像21より2フィールド(1フレーム)期間過去のフィールド画像23が出力される。
Each of the first and
動き検出部12は、入力フィールド画像21とそれより2フィールド(1フレーム)期間過去のフィールド画像23の間で、ブロックマッチングを行い、動きベクトル29及び相関情報28を検出する。ブロックマッチングは、図6を参照して説明したように、フィールド画像をブロックに分割し、ブロック毎に、2つのフィールド画像を比較する処理であり、周知技術であり、ここでは詳細に説明しない。動き検出部12は、相関情報28を信頼性判定部17に出力し、動きベクトル29を動き補償部13に出力する。相関情報28として、動きベクトルが示すブロックの各画素に対する差分絶対値和SAD(Sum of Absolute Error)を用いてよい。以下に、相関情報28としてSADを用いる場合を説明する。
The
動き補償部13は、動き検出部12からの動きベクトル29を用いて、動き補償処理を行い、入力フィールド画像21より1フィールド期間過去の補間フィールド画像25を生成する。動き補償処理の例として、ブロック毎に、2フィールド(1フレーム)期間過去の入力フィールド画像23を動きベクトル29の半分の大きさだけ移動させることにより補間フィールド画像を生成する方法がある。また、別の動き補償処理の例として、ブロック毎に、2フィールド(1フレーム)期間過去の入力フィールド画像23を動きベクトル29の半分の大きさだけ移動させたフィールド画像と、入力フィールド画像21を動きベクトル29の半分の大きさだけ逆方向に移動させたフィールド画像を1対1の割合で混合させることにより補間フィールド画像を生成する方法がある。本発明は動き補償処理の動作を限定しないものとする。
The
動き補償部13によって生成された補間フィールド画像25は、信頼性判定部17及びブレンド部15に出力される。
The interpolated
フィールド内補間画像生成部14は、第1のフィールドメモリ10からのフィールド画像22を入力し、フィールド内補間を行い、入力フィールド画像21より1フィールド期間過去の補間フィールド画像24を生成する。フィールド内補間は、図5(b)を参照して説明したように、同一時刻フィールド画像にて、隣接する走査線の平均値を計算することにより走査線補間を行う処理であり、周知技術であり、ここでは詳細に説明しない。
The intra-field interpolated
信頼性判定部17は、先ず、動き補償部13によって生成された補間フィールド画像25の信頼性、即ち、動きベクトルの信頼性を判定する。信頼性の判定には、コーミングの検出数と動き検出部12からの相関情報を用いる。先ずコーミングについて説明する。信頼性判定部17は、第1フィールドメモリ10からのフィールド画像22と動き補償部13からの補間フィールド画像25を合成してコーミング検出用のプログレッシブ画像を生成する。動きベクトル29の信頼性が低い場合には、コーミング検出用のプログレッシブ画像にコーミングが生じる。従って、コーミング検出用のプログレッシブ画像よりコーミングを検出することによって、動きベクトル29の信頼性を判定することができる。
The
コーミングを判定するには、例えば、コーミング判定用のプログレッシブ画像において、垂直方向に連続する一定数の画素列を取り出し、上下に隣接する画素値の差分の絶対値を所定の閾値と比較する。全ての差分の絶対値が所定の閾値より大きい場合に、その画素列にコーミングがあると判定する。 In order to determine combing, for example, in a progressive image for combing determination, a certain number of pixel rows continuous in the vertical direction are extracted, and the absolute value of the difference between pixel values adjacent to each other is compared with a predetermined threshold value. When the absolute values of all the differences are larger than a predetermined threshold, it is determined that there is combing in the pixel column.
信頼性判定部17は、動き検出部12からの相関情報、即ち、SADの累積値又はSADの平均値が第1の閾値より大きい場合、又は、コーミング判定用のプログレッシブ画像にて検出したコーミングの総数が第2の閾値より多い場合、動きベクトルの信頼性は低いと判定する。尚、動き検出部12からの相関情報、即ち、SADが大きく、かつコーミング数が多い場合に、動きベクトルの信頼性が低いと判定してもよい。
The
信頼性判定部17は、次に、動きベクトルの信頼性の判定結果に基づいて、ブレンド率30を生成し、及び、動き検出部12の出力制御31を行う。ブレンド率30は、ブレンド部15において、フィールド内補間画像生成部14からの補間フィールド画像24に対する動き補償部13からの補間フィールド画像25の混合比率である。動きベクトル29の信頼性が低い場合には、動き補償部13からの補間フィールド画像25の比率を小さくする。例えば、動き補償部13からの補間フィールド画像25の比率を0%とする。動きベクトル29の信頼性が高い場合には、動き補償部13からの補間フィールド画像25の比率を大きくする。例えば、ブレンド率が20%(1:4)の場合、動き補償部13からの補間フィールド画像25とフィールド内補間画像生成部14からの補間フィールド画像24は、1:4の割合で混合される。
Next, the
信頼性判定部17は、ブレンド率30をブレンド部15に出力する。信頼性判定部17は、ブレンド率30を、第1フィールドメモリ10からのフィールド画像22のタイミングと同一のタイミングにて出力する。従って、信頼性判定部17における信頼性の判定は、第1フィールドメモリ10からのフィールド画像22のタイミングと同一のタイミングにて実行される。
The
信頼性判定部17は、動きベクトルの信頼性の判定結果に基づいて、動き検出部12から出力される動きベクトル29を調整する。動きベクトルの信頼性が低い場合には、動き検出部12から動き補償部13に出力される動きベクトル29を、例えば、ゼロに設定する。又は、動き検出部12が検出した動きベクトルがゼロでない場合に、ブロックのマッチングを評価する関数に一定値を加算することにより動きベクトルがゼロとなり易くなるように制御する。それにより、静止状態以外の不自然な動き量の検出を防止することができる。
The
ブレンド部15は、信頼性判定部17からのブレンド率30に基づいて、動き補償部13からの補間フィールド画像25とフィールド内補間画像生成部14からの補間フィールド画像24を混合し、最終的な補間フィールド画像26を生成する。ブレンド部15は、生成した補間フィールド画像26をプログレッシブ画像生成部16に出力する。尚、ブレンド部15からプログレッシブ画像生成部16に出力される補間フィールド画像26は、入力フィールド画像21より1フィールド期間過去のフィールド画像である。
The
プログレッシブ画像生成部16は、第1のフィールドメモリ10からのフィールド画像22とブレンド部15からの補間フィールド画像26とを組み合わせてプログレッシブ画像27を構成し出力する。プログレッシブ画像27は、入力フィールド画像21より1フィールド期間過去の画像である。
The progressive
図2を参照して本発明の順次走査変換装置の第2の例を説明する。本例の順次走査変換装置は、図1の第1の例と比較して、フィルム検出部18、及び、シーンチェンジ検出部19が付加的に設けられている点が異なる。ここでは、第1の例と異なる部分について説明する。
A second example of the progressive scan converter of the present invention will be described with reference to FIG. The progressive scan conversion apparatus of this example is different from the first example of FIG. 1 in that a
フィルム検出部18は、入力フィールド画像21を入力し、それが、インターレース方式のビデオ映像からの画像であるか、フィルム映像を2:2プルダウン処理したことによって得られたフィールド画像であるか、又は、3:2プルダウン処理によって得られたフィールド画像であるか、を検出し、検出結果32を信頼性判定部17及びプログレッシブ画像生成部16に出力する。
The
プルダウン処理による画像であるか否かを検出する一般的な方法として、隣接するフィールド画像が同一時刻のフィールド画像であるか否かを検出し、同一時刻のフィールド画像の連続期間又はその周期を調べればよい。例えば、図3に示したように、同一時刻のフィールド画像が2個ずつ連続する場合には、2:2プルダウン処理によるフィールド画像であると判定し、図4に示したように、同一時刻のフィールド画像が2個連続した後に3個連続する場合には、3:2プルダウン処理によるフィールド画像であると判定することができる。 As a general method for detecting whether or not an image is a pull-down process, it is possible to detect whether or not adjacent field images are field images at the same time, and examine the continuous period or period of the field images at the same time. That's fine. For example, as shown in FIG. 3, when two field images of the same time are consecutive, it is determined that the field image is a 2: 2 pull-down process, and as shown in FIG. When three field images continue after two field images, it can be determined that the field image is a 3: 2 pull-down process.
プルダウン処理による画像であるか否かを検出するには、入力フィールド画像を数フィールド期間に亘って、隣接するフィールド画像間の相関を評価する必要がある。特に誤検出を回避し、高精度にて検出するためには、より長期間に亘って、入力フィールド画像間の相関を評価する必要がある。従って、フィルム検出部18による検出結果は、入力フィールド画像の入力と同時に行うことはできない。
In order to detect whether or not the image is a pull-down process, it is necessary to evaluate the correlation between adjacent field images over several field periods of the input field image. In particular, in order to avoid erroneous detection and detect with high accuracy, it is necessary to evaluate the correlation between input field images over a longer period. Therefore, the detection result by the
図7は、フィルム検出のタイミングを示したものである。図7(a)は、入力フィールド画像が1/60秒毎に入力されている状態を模式的に示す。図7(b)は、入力フィールド画像の実際のソースを示す。時刻t1までの入力フィールド画像は、インターレース方式のビデオ映像をソースとし、時刻t1からの入力フィールド画像は、フィルム映像をソースとする画像であることを示す。即ち、入力フィールド画像は、時刻t1にて、インターレース方式のビデオ映像からフィルム映像をプルダウン処理したフィールド画像に切り替わったことを示す。 FIG. 7 shows the timing of film detection. FIG. 7A schematically shows a state in which an input field image is input every 1/60 seconds. FIG. 7B shows the actual source of the input field image. The input field image up to time t1 indicates that an interlaced video image is the source, and the input field image from time t1 is an image whose source is a film image. That is, the input field image indicates that, at time t1, the field image is switched from the interlace video image to the field image obtained by pulling down the film image.
図7(c)は、フィルム検出部18による検出結果の遅れを示す。図示のように、フィルム検出部18は、実際に入力フィールド画像のソースが変化した時刻t1より遅い時刻t2までの期間402、入力フィールド画像のソースがビデオ映像であるとの検出結果を出力する。時刻t1より後の時刻t2から時刻t3までの期間400にて、フィルム検出部18は、入力フィールド画像のソースを判定する。時刻t3にて、入力フィールド画像のソースが変化したとの判定結果を出力する。従って、フィルム検出部18は、入力フィールド画像のソースがフィルム画像であるとの検出結果を出力するのは、時刻t3より後の期間401である。
FIG. 7C shows a delay in the detection result by the
次に、シーンチェンジ検出部19について説明する。シーンチェンジ検出部19は、入力フィールド画像におけるシーンの変化点、即ち、シーンチェンジを検出し、検出結果33を信頼性判定部17に出力する。一般に、入力フィールド画像のソースが切り替わると、画像内容が変化し、シーンチェンジと判定する可能性が高い。従って、シーンチェンジの検出を、入力フィールド画像のソースが切り替わったとの判断材料の1つとして利用することができる。シーンチェンジを検出する一般的な方法として、隣接するフィールド画像の間の相関を評価し、相関が所定の閾値より小さいと判定されたときにシーンチェンジと判定する方法がある。
Next, the scene
入力フィールド画像のソースが切り替わった直後は、プログレッシブ画像の画質が劣化する可能性がある。本例では、入力フィールド画像のソースの切り替わりに起因するプログレッシブ画像の画質劣化を防止するために、以下の処理を行う。 Immediately after the source of the input field image is switched, the image quality of the progressive image may be deteriorated. In this example, the following processing is performed in order to prevent the deterioration of the image quality of the progressive image due to the switching of the source of the input field image.
シーンチェンジ検出部19は、シーンチェンジを検出した直後より一定期間403、シーンチェンジされたことを信頼性判定部17に出力する。
The scene
フィルム検出部18は検出結果、即ち、入力フィールド画像のソースがビデオ画像である、2:2プルダウン検出中である、3:2プルダウン検出中である、入力フィールド画像が2:2プルダウンによる画像である、入力フィールド画像が3:2プルダウンによる画像である、等を信頼性判定部17及びプログレッシブ画像生成部16に出力する。
The
信頼性判定部17は、第1の例にて使用した条件に追加して、シーンチェンジ検出部19からのシーンチェンジ直後の期間403、またはフィルム検出部18からの検出結果に基づいて、動き補償の動作を制限する。
The
プログレッシブ画像生成部16は、フィルム検出部18より2:2プルダウン画像が検出されたと出力されたときに、図8に示すように、補間フィールド画像を用いずに同一時刻のトッップフィールド画像及びボトムフィールド画像よりプログレッシブ画像を構成する。また、プログレッシブ画像生成部16は、フィルム検出部18より3:2プルダウン画像が検出されたと出力されたときに、図9に示すように、補間フィールド画像を用いずに同一時刻のトッップフィールド画像及びボトムフィールド画像又はボトムフィールド画像及びトップフィールド画像よりプログレッシブ画像を構成する。
When the progressive
こうして本例では、ビデオ画像からプルダウン処理による画像に切り替わって入力されたときに、プログレッシブ画像の画質を劣化させることなく、動き補償による順次走査変換を行う。 Thus, in this example, when a video image is switched to an image by pull-down processing and input, progressive scan conversion by motion compensation is performed without degrading the image quality of the progressive image.
以上、本発明の例を説明したが、本発明は上述の例に限定されるものではなく、特許請求の範囲に記載された発明の範囲にて様々な変更が可能であることは当業者に理解されよう。 The example of the present invention has been described above, but the present invention is not limited to the above-described example, and various modifications can be made by those skilled in the art within the scope of the invention described in the claims. It will be understood.
10、11…フィールドメモリ、12…動き検出部、13…動き補償部、14…フィールド内補間画像生成部、15…ブレンド部、16…プログレッシブ画像生成部、17…信頼性判定部、18…フィルム検出部、19…シーンチェンジ検出部、28…相関情報、29…動きベクトル
DESCRIPTION OF
Claims (4)
前記動き検出部は、前記2つのフィールド画像間でブロックマッチングを行いブロック間の画素値の差分絶対値和を前記相関情報として出力し、
前記信頼性判定部は、画面全体における前記差分絶対値和の累積値、または前記差分絶対値和の平均値が第1の閾値より大きい場合に、前記動き補償による補間フィールド画像の信頼性が低いと判定し、
更に、前記信頼性判定部は、上記入力フィールド画像と前記動き補償による補間フィールド画像を合成してコーミング判定用のプログレッシブ画像を生成し、前記コーミング判定用のプログレッシブ画像において、垂直方向に連続する一定数の画素列を取り出し、上下に隣接する画素値の差分の絶対値の全てが所定の閾値より大きい場合に、その画素列にコーミングがあると判定し、該コーミング判定用のプログレッシブ画像におけるコーミング数が第2の閾値より多いときに、前記動き補償による補間フィールド画像の信頼性が低いと判定し、
前記信頼性判定部は、信頼性の判断結果に応じて、前記ブレンド部のブレンド率を制御することを特徴とする順次走査変換装置。 A field memory that delays an input field image, a motion detection unit that detects a motion vector and correlation information from two field images having different display times, and a motion that generates an interpolation field image by motion compensation using the motion vector A compensation unit, an intra-field interpolated image generating unit that generates an intra-field interpolated field image from the input field image, and interpolating by blending the interpolated field image by the motion compensation and the intra-field interpolated field image at a predetermined blend rate A blend unit that generates a field image, a progressive image generation unit that generates a progressive image by combining the interpolated field image generated by the blend unit and the input field image, an input field image, and interpolation based on the motion compensation Field image, and, and a reliability determination unit configured to determine reliability of the interpolation field image by the motion compensation using the correlation information,
The motion detection unit performs block matching between the two field images and outputs a sum of absolute differences of pixel values between blocks as the correlation information,
The reliability determination unit has low reliability of the interpolation field image by the motion compensation when the cumulative value of the sum of absolute differences or the average value of the sum of absolute differences is larger than a first threshold value over the entire screen. And
Further, the reliability determination unit generates a progressive image for combing determination by synthesizing the input field image and the interpolation field image by motion compensation, and in the progressive image for combing determination, a constant continuous in the vertical direction is generated. When the absolute value of the difference between adjacent pixel values is larger than a predetermined threshold, it is determined that there is combing in the pixel column, and the number of combing in the progressive image for the combing determination Is more than the second threshold value, it is determined that the reliability of the interpolation field image by the motion compensation is low,
The reliability determination unit controls a blend rate of the blend unit in accordance with a reliability determination result .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004364323A JP4339237B2 (en) | 2004-12-16 | 2004-12-16 | Sequential scan converter |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004364323A JP4339237B2 (en) | 2004-12-16 | 2004-12-16 | Sequential scan converter |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006174123A JP2006174123A (en) | 2006-06-29 |
JP4339237B2 true JP4339237B2 (en) | 2009-10-07 |
Family
ID=36674394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004364323A Expired - Fee Related JP4339237B2 (en) | 2004-12-16 | 2004-12-16 | Sequential scan converter |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4339237B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5001684B2 (en) | 2006-09-13 | 2012-08-15 | 富士通株式会社 | Scan conversion device |
US8218632B2 (en) | 2006-09-20 | 2012-07-10 | Mitsubishi Electric Corporation | Frame interpolation apparatus and frame interpolation method |
EP1931136B1 (en) * | 2006-12-08 | 2016-04-20 | Panasonic Intellectual Property Corporation of America | Block-based line combination algorithm for de-interlacing |
JP4935632B2 (en) | 2007-11-07 | 2012-05-23 | ソニー株式会社 | Image processing apparatus, image processing method, and image processing program |
JP4331234B2 (en) | 2007-12-26 | 2009-09-16 | 株式会社東芝 | Sequential scan conversion device, progressive scan conversion method, and video display device |
JP5435242B2 (en) * | 2008-03-21 | 2014-03-05 | 日本電気株式会社 | Image processing method, image processing apparatus, and image processing program |
JP5006835B2 (en) * | 2008-05-07 | 2012-08-22 | ルネサスエレクトロニクス株式会社 | Error reduction method and error reduction device |
-
2004
- 2004-12-16 JP JP2004364323A patent/JP4339237B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006174123A (en) | 2006-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4396496B2 (en) | Frame rate conversion device, video display device, and frame rate conversion method | |
US7057665B2 (en) | Deinterlacing apparatus and method | |
US8497937B2 (en) | Converting device and converting method of video signals | |
KR100303728B1 (en) | Deinterlacing method of interlaced scanning video | |
US8115867B2 (en) | Image processing device | |
JP5001684B2 (en) | Scan conversion device | |
US20070053013A1 (en) | Image signal processing apparatus and interlace-to-progressive conversion method | |
KR101026298B1 (en) | Image processing apparatus and image processing method | |
JP3293561B2 (en) | Image display device and image display method | |
JP2005167887A (en) | Dynamic image format conversion apparatus and method | |
US7239353B2 (en) | Image format conversion apparatus and method | |
JP2009164729A (en) | Composite image detector | |
US7688386B2 (en) | De-interlacing apparatus, de-interlacing method, and video display apparatus | |
JP4339237B2 (en) | Sequential scan converter | |
JP4575431B2 (en) | Protection with corrected deinterlacing device | |
JP5241632B2 (en) | Image processing circuit and image processing method | |
KR100692597B1 (en) | Image processing apparatus and method thereof capable of field selection | |
US7379120B2 (en) | Image processing device and image processing method | |
JP2003289511A (en) | Image scan converting method and apparatus | |
TWI692980B (en) | Image processing system and method for image processing | |
JP4507841B2 (en) | Image signal processing apparatus and image signal processing method | |
JP2009077034A (en) | Video signal processor and video signal processing method | |
JP2008205769A (en) | Television receiver for performing three-dimensional ip conversion processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090331 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090623 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4339237 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120710 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120710 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130710 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |