JP2005318623A - Film mode extrapolation method, film mode detector and motion compensator - Google Patents
Film mode extrapolation method, film mode detector and motion compensator Download PDFInfo
- Publication number
- JP2005318623A JP2005318623A JP2005130598A JP2005130598A JP2005318623A JP 2005318623 A JP2005318623 A JP 2005318623A JP 2005130598 A JP2005130598 A JP 2005130598A JP 2005130598 A JP2005130598 A JP 2005130598A JP 2005318623 A JP2005318623 A JP 2005318623A
- Authority
- JP
- Japan
- Prior art keywords
- film mode
- motion vector
- image
- image area
- film
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- E—FIXED CONSTRUCTIONS
- E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
- E01F—ADDITIONAL WORK, SUCH AS EQUIPPING ROADS OR THE CONSTRUCTION OF PLATFORMS, HELICOPTER LANDING STAGES, SIGNS, SNOW FENCES, OR THE LIKE
- E01F15/00—Safety arrangements for slowing, redirecting or stopping errant vehicles, e.g. guard posts or bollards; Arrangements for reducing damage to roadside structures due to vehicular impact
- E01F15/14—Safety arrangements for slowing, redirecting or stopping errant vehicles, e.g. guard posts or bollards; Arrangements for reducing damage to roadside structures due to vehicular impact specially adapted for local protection, e.g. for bridge piers, for traffic islands
- E01F15/145—Means for vehicle stopping using impact energy absorbers
- E01F15/146—Means for vehicle stopping using impact energy absorbers fixed arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Architecture (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
Description
本発明は、改良されたフィルムモードの決定に関する。特に、本発明は、改良されたフィルムモードを決定する方法およびそれに対応するフィルムモード検出器に関する。 The present invention relates to improved film mode determination. In particular, the present invention relates to a method for determining an improved film mode and a corresponding film mode detector.
フィルムモード指標（film mode indications）は、ますます多くの用途に、特に最近のテレビジョン受信機のデジタル信号処理において使用される動き補償画像処理に用いられる。特に、最近のテレビジョン受信機は、再生画像の画質を向上させるために、特にアップコンバートあるいは動き補償アップコンバートの形式でフレームレート変換を行う。動き補償アップコンバートは、例えば、５０Ｈｚから６０Ｈｚ、６６．６７Ｈｚ、７５Ｈｚ、１００Ｈｚ等のより高いフィールド周波数またはフレーム周波数を有するビデオシーケンスに対して行なわれる。５０Ｈｚ入力信号周波数は主に、ＰＡＬあるいはＳＥＣＡＭ規格に基づいて放映されるテレビジョン信号に該当し、ＮＴＳＣに基づくビデオ信号は６０Ｈｚの入力周波数を有する。６０Ｈｚの入力ビデオ信号は７５Ｈｚ、８０Ｈｚ、９０Ｈｚ、１２０Ｈｚ等のより高い周波数にアップコンバートできる。 Film mode indications are used in an increasing number of applications, especially for motion compensated image processing used in the digital signal processing of modern television receivers. In particular, recent television receivers perform frame rate conversion, particularly in the form of up-conversion or motion-compensated up-conversion, in order to improve the quality of reproduced images. Motion compensated up-conversion is performed on video sequences having higher field or frame frequencies, such as, for example, 50 Hz to 60 Hz, 66.67 Hz, 75 Hz, 100 Hz. The 50 Hz input signal frequency mainly corresponds to a television signal broadcast based on the PAL or SECAM standard, and a video signal based on NTSC has an input frequency of 60 Hz. The 60 Hz input video signal can be upconverted to higher frequencies such as 75 Hz, 80 Hz, 90 Hz, 120 Hz.
アップコンバート時には、５０Ｈｚまたは６０Ｈｚの入力ビデオシーケンスでは表されない時間位置のビデオコンテンツを表す中間画像が生成される。この目的のためには、オブジェクトの動きによって生じる連続する画像間の変化を適切に反映するために、そのオブジェクトの動きを考慮する必要がある。オブジェクトの動きは、ブロック単位で算出され、動き補償は、前後の画像間に新たに生成された画像の相対的な位置と時間に基づいて実行される。 During up-conversion, an intermediate image is generated that represents video content at a time position that is not represented in the 50 Hz or 60 Hz input video sequence. For this purpose, it is necessary to consider the movement of the object in order to properly reflect the change between successive images caused by the movement of the object. The motion of the object is calculated in units of blocks, and motion compensation is performed based on the relative position and time of the newly generated image between the previous and next images.
動きベクトルを決定するために、各画像は複数のブロックに分割される。先の画像からのオブジェクトの移動を検出するために、各ブロックに対して動き検出が行われる。 In order to determine the motion vector, each image is divided into a plurality of blocks. Motion detection is performed on each block to detect the movement of the object from the previous image.
ＰＡＬあるいはＮＴＳＣ信号のようなインターレースビデオ信号とは異なり、動画像データは完全なフレームによって構成される。最も普及している動画像データのフレームレートは２４Ｈｚ（２４ｐ）である。動画像データをインターレースビデオシーケンスに変換してテレビジョン受信機に表示する（この変換をテレシネという）時、２４Ｈｚフレームレートは“プルダウン”技術を用いて変換される。 Unlike interlaced video signals such as PAL or NTSC signals, moving image data is composed of complete frames. The most popular frame rate of moving image data is 24 Hz (24p). When moving image data is converted to an interlaced video sequence and displayed on a television receiver (this conversion is called telecine), the 24 Hz frame rate is converted using a “pull-down” technique.
動画像フィルムを５０Ｈｚ（５０ｉ）のフィールドレートのＰＡＬ規格によるインターレース信号に変換するために、２−２プルダウン技術が用いられる。２−２プルダウン技術は、各フィルムフレームから２つのフィールドを生成する。動画像フィルムは毎秒２５フレーム（２５ｐ）再生される。その結果、２つの連続するフィールドは、同じフレームに由来し、ビデオコンテンツ、特に移動オブジェクトの同一の時間位置を表す情報を有する。 A 2-2 pull-down technique is used to convert a moving image film into an interlace signal according to the PAL standard with a field rate of 50 Hz (50i). The 2-2 pulldown technique generates two fields from each film frame. The moving image film is played back at 25 frames per second (25p). As a result, two consecutive fields come from the same frame and have information representing the same temporal position of the video content, in particular the moving object.
動画像フィルムを６０Ｈｚ（６０ｉ）のフィールドレートを持つ標準のＮＴＳＣ信号に変換する時、２４Ｈｚのフレームレートは、３−２プルダウン技術を用いて６０Ｈｚのフィールドレートに変換される。この３−２プルダウン技術は、前の（１枚目の）動画像フレームから２つのビデオフィールドを、そして次の（２枚目の）動画像フレームから３つのビデオフィールドを生成する。 When converting moving picture film to a standard NTSC signal having a field rate of 60 Hz (60i), the frame rate of 24 Hz is converted to a field rate of 60 Hz using a 3-2 pull-down technique. This 3-2 pull-down technique generates two video fields from the previous (first) video frame and three video fields from the next (second) video frame.
異なったテレビジョン規格に合わせてインターレースビデオシーケンスを生成するテレシネ変換処理を図２に示す。使用されるプルダウン技術の結果、同一の動きの位相を反映した２つのあるいは３つの隣接したフィールドを含むビデオシーケンスを生じる。異なるフィルムフレームに由来したフィールド間でのみ、フィールドの差異を動き検出で算出することができる。 A telecine conversion process for generating an interlaced video sequence according to different television standards is shown in FIG. The pull down technique used results in a video sequence that includes two or three adjacent fields that reflect the same motion phase. The field difference can be calculated by motion detection only between fields originating from different film frames.
画質の改良処理を適切に行うために、特にフィルム動き補償を用いるか否かを決定するために、使用される個々のプルダウンパターンの検出が必要である。各プルダウンパターンの検出は、例えば、特許文献１及び特許文献２において既に公知である。
本発明は、フィルムモード検出をさらに改良することと、改良されたフィルムモード検出方法と改良されたフィルムモード検出器を提供することを目的としている。 The present invention aims to further improve film mode detection, and to provide an improved film mode detection method and an improved film mode detector.
これは独立請求項の構成によって達成される。 This is achieved by the structure of the independent claims.
本発明の第一の局面では、現在の画像の複数の画像領域のフィルムモード指標を決定する方法が提供される。前記現在の画像は、画像シーケンスの一部である。前記方法は、現在の画像領域のフィルムモード指標を受け取り、前記現在の画像領域の動きベクトルを取得する。前記受け取った動きベクトルに基づいて、前記現在の画像のフィルムモード指標が訂正される。 In a first aspect of the present invention, a method is provided for determining film mode indicators for a plurality of image areas of a current image. The current image is part of an image sequence. The method receives a film mode indicator for a current image area and obtains a motion vector for the current image area. Based on the received motion vector, the film mode index of the current image is corrected.
本発明のさらなる局面では、現在の画像の複数の画像領域のフィルムモード指標を決定するフィルムモード検出器が提供される。前記現在の画像は、画像シーケンスの一部である。前記フィルムモード検出器は、入力手段と外挿手段を備える。前記入力手段は、現在の画像領域のフィルムモード指標と動きベクトルを取得する。前記外挿手段は、前記取得した動きベクトルに基づいて前記現在の画像のフィルムモード指標を訂正する。 In a further aspect of the invention, a film mode detector is provided for determining film mode indicators for a plurality of image areas of the current image. The current image is part of an image sequence. The film mode detector includes input means and extrapolation means. The input means acquires a film mode index and a motion vector of the current image area. The extrapolation unit corrects the film mode index of the current image based on the acquired motion vector.
局所ベースでフィルムモード指標を取得することでフィルムモード検出を改良し、現在の画像領域に対して決定される動きベクトルに応じて近接した画像領域に現在の画像領域のフィルムモード指標を外挿することは本発明の特有のアプローチである。この態様で、移動オブジェクトの先縁の周りでフィルムモード指標の正確さと信頼性を向上することができる。画像改良アルゴリズムによって達成できる画質は、従って向上される。 Improve film mode detection by obtaining film mode indicators on a local basis and extrapolate the film mode indicator of the current image area to the adjacent image area according to the motion vector determined for the current image area This is a unique approach of the present invention. In this manner, the accuracy and reliability of the film mode indicator can be improved around the leading edge of the moving object. The image quality achievable by the image improvement algorithm is thus improved.
従来では、移動オブジェクトが各画像領域の大部分を占めている場合にのみ、正確なフィルムモード指標が検出される。従って、移動オブジェクトが画像領域のわずかな部分だけを占める場合、正確なフィルムモード指標は検出されない。本発明によると、移動オブジェクトの前縁を含む画像領域のフィルムモード指標を正しいモードに変換することができる。 Conventionally, an accurate film mode index is detected only when the moving object occupies most of each image area. Therefore, if the moving object occupies only a small part of the image area, an accurate film mode indicator is not detected. According to the present invention, the film mode index of the image area including the leading edge of the moving object can be converted to the correct mode.
さらに、移動オブジェクトの前縁の周りの画像領域のフィルムモード指標は通常、フィルムモード指標の信頼性を上げるために導入された遅延によって新しく検出されたモードにすぐに切り替わらない。しかしながら、これは、移動オブジェクトの前縁に対するフィルムモードの決定の正しい決定を犠牲にしてのみ達成される。この短所は、本発明によるフィルムモード指標外挿を用いることで回避される。 Furthermore, the film mode indicator of the image area around the leading edge of the moving object usually does not immediately switch to the newly detected mode due to the delay introduced to increase the reliability of the film mode indicator. However, this is only achieved at the expense of a correct determination of the film mode determination for the leading edge of the moving object. This disadvantage is avoided by using the film mode index extrapolation according to the present invention.
好ましくは、現在の画像領域と動きベクトルによって向けられた画像領域の間に位置する画像領域は、現在の画像領域の受け取ったフィルムモード指標がフィルムモードである場合に、フィルムモードに設定される。従って、フィルムモードは、現在の画像領域に対して決定される動きベクトルに応じて外挿される。 Preferably, the image area located between the current image area and the image area directed by the motion vector is set to film mode when the received film mode indicator of the current image area is film mode. Thus, the film mode is extrapolated according to the motion vector determined for the current image area.
好ましくは、ターゲットブロック、つまり、動きベクトルによって向けられたブロック、がフィルムモードにない場合のみ、外挿が行なわれる。従って、動きベクトルが、現在の画像領域のモードとは異なる他のモードの画像領域に向いている場合のみ、外挿が行なわれる。 Preferably, extrapolation is performed only if the target block, i.e. the block directed by the motion vector, is not in film mode. Therefore, extrapolation is performed only when the motion vector is directed to an image area of another mode different from the mode of the current image area.
動きベクトルが、現在の画像領域から現在の画像の外部を差す場合のみ、動きベクトルの長さが好ましくはクリップされて、前記クリップされたベクトルが、現在の画像内にある位置に向く。 Only when the motion vector deviates from the current image area to the outside of the current image, the length of the motion vector is preferably clipped, and the clipped vector is directed to a position within the current image.
好ましくは、画像シーケンスの画像は複数のブロックに分割されて、フィルムモード指標及び動きベクトルがブロック単位で提供される、つまり、画像領域はブロック構造に相当する。従って、外挿を、既存の画像領域構造に基づいて簡単な態様で行うことができる。 Preferably, an image of an image sequence is divided into a plurality of blocks, and a film mode index and a motion vector are provided in units of blocks, that is, an image region corresponds to a block structure. Therefore, extrapolation can be performed in a simple manner based on the existing image region structure.
好ましくは、カレントブロックから伸びてターゲットブロックを差す動きベクトルは、画像ブロックのラスターに収まるように、量子化される。従って、フィルムモード外挿を簡単な態様で実行することができる。 Preferably, the motion vector extending from the current block and pointing to the target block is quantized to fit within the raster of the image block. Accordingly, film mode extrapolation can be performed in a simple manner.
フィルムモード外挿を行うときフィルムモードに設定される画像領域は、好ましくは既定の画像領域パターン、つまり、訂正される個々の画像領域を特定するパターン、に応じて選定される。この態様で、フィルムモード指標が訂正される必要のあるこれらの画像領域を確実かつ簡単な態様で決定することができる。 The image area set to film mode when performing film mode extrapolation is preferably selected according to a predetermined image area pattern, ie, a pattern that identifies the individual image areas to be corrected. In this manner, those image areas where the film mode index needs to be corrected can be determined reliably and in a simple manner.
この既定のパターンは、好ましくは、メモリ内の複数のあらかじめ記憶されたパターンから選定される。この選択は、現在の画像領域と対象画像領域の相対位置に基づいて行なわれる。従って、現在の画像領域に適用されるパターンを、迅速かつ簡単な態様で選定することができる。 This predetermined pattern is preferably selected from a plurality of pre-stored patterns in memory. This selection is performed based on the relative position between the current image area and the target image area. Therefore, the pattern applied to the current image area can be selected in a quick and simple manner.
好ましくは、あらかじめ記憶されたパターンは現在の画像領域と対象画像領域の相対位置の全ての可能な組み合わせを提供する。従って、フィルムモード指標が訂正されるべき画像領域を、確実な態様で決定することができる。 Preferably, the pre-stored pattern provides all possible combinations of the relative positions of the current image area and the target image area. Therefore, the image area whose film mode index is to be corrected can be determined in a reliable manner.
好ましい実施例によれば、フィルムモードに設定される画像領域は、現在の画像領域から始まる決定の繰り返しと対象画像領域に段階的に接近することに基づいて決定される。 According to a preferred embodiment, the image area to be set to film mode is determined based on repeated determinations starting from the current image area and stepwise approaching the target image area.
フィルムモードに設定する新しい画像領域を決定するためのステップサイズは好ましくは、動きベクトルの方向に基づいて決定される。最も好ましくは、前記ステップサイズは、横及び縦ベクトル成分の大きいベクトル成分を小さいベクトル成分で除算して設定される。 The step size for determining a new image area to set to film mode is preferably determined based on the direction of the motion vector. Most preferably, the step size is set by dividing a vector component having a large horizontal and vertical vector component by a small vector component.
好ましくは、現在の画像領域のフィルムモード指標が訂正されたか否かを示す画像領域の各々に関連した追加的な指標が、記憶される。この態様で、元のフィルムモード指標と訂正されたフィルム指標を確実な態様で識別できる。「訂正された」フィルムモード指標の発生が検出された場合、フィルムモード指標のさらなる外挿を禁止することができる。この態様で、一旦外挿されたフィルムモードは、さらなるフィルムモード外挿の基準とならない。 Preferably, an additional indicator associated with each of the image regions is stored that indicates whether the film mode indicator of the current image region has been corrected. In this manner, the original film mode indicator and the corrected film indicator can be identified in a reliable manner. If the occurrence of a “corrected” film mode indicator is detected, further extrapolation of the film mode indicator can be prohibited. In this manner, the film mode once extrapolated is not the basis for further film mode extrapolation.
好ましい実施例によると、現在の画像領域がビデオモードにある場合、現在の画像領域と対象画像領域の間の画像領域はビデオモードに設定される。この態様で、従って、フィルムモードの環境に挿入されたビデオモードの移動オブジェクトのフィルムモード指標を、ビデオモードを外挿することで正確に決定できる。 According to a preferred embodiment, if the current image area is in video mode, the image area between the current image area and the target image area is set to video mode. In this manner, therefore, the film mode indication of the moving object in the video mode inserted into the film mode environment can be accurately determined by extrapolating the video mode.
好ましくは、対象画像領域がフィルムモードにある場合のみ、ビデオモードが外挿される。 Preferably, the video mode is extrapolated only when the target image area is in film mode.
本発明の好ましい実施例は、従属請求項の主題である。 Preferred embodiments of the invention are the subject matter of the dependent claims.
本発明の他の実施例および利点は、好ましい実施例の以下の説明からさらに明らかになるであろう。 Other embodiments and advantages of the present invention will become more apparent from the following description of preferred embodiments.
本発明はデジタル信号処理に関し、特に最近のテレビジョン受信機におけるデジタル信号処理に関する。最近のテレビジョン受信機は、再生画質を高めるためにアップコンバート・アルゴリズムを用いている。この目的のために、中間画像は連続する２画像から生成される。中間画像の生成にあたって、補償画像が示す時点におけるオブジェクトの位置を適切に合わせるために、オブジェクトの動きを考慮しなくてはならない。 The present invention relates to digital signal processing, and more particularly to digital signal processing in modern television receivers. Modern television receivers use an up-conversion algorithm to enhance the playback image quality. For this purpose, the intermediate image is generated from two consecutive images. In generating the intermediate image, in order to appropriately align the position of the object at the time point indicated by the compensation image, the movement of the object must be considered.
動きベクトルを決定する動き検出及び、動き補償は、ブロック単位で行われる。この目的のために、例えば、図１に示されているように、各画像は複数のブロックに分割される。前の画像の中から最もマッチングするブロックを決定することで、各ブロックは個々に動き検出される。 Motion detection and motion compensation for determining a motion vector are performed in units of blocks. For this purpose, for example, as shown in FIG. 1, each image is divided into a plurality of blocks. Each block is individually motion-detected by determining the most matching block from the previous image.
動き補償を画像領域に正確に施すことができるように、フィルムモード指標の決定、すなわち、その画像領域がフィルムモードであるかビデオモードであるかの決定を行う必要である。検出されたフィルムモード指標に応じて正しい画質改良処理を適用することで、画像のアーチファクトが回避される。 In order to be able to accurately apply motion compensation to an image area, it is necessary to determine a film mode index, that is, whether the image area is in film mode or video mode. By applying a correct image quality improvement process according to the detected film mode index, image artifacts are avoided.
特にＨＤＴＶ表示装置のためには、プログレッシブ表示を行い、より高いフレームレートを用いるビデオ信号処理が要求される。テレビ放送のためにインターレース画像シーケンスに変換された動画像フィルム（以後、フィルムモードという）の検出は、信号処理にとって大変重要である。 Particularly for HDTV display devices, video signal processing using progressive display and a higher frame rate is required. Detection of a moving image film (hereinafter referred to as film mode) converted into an interlaced image sequence for television broadcasting is very important for signal processing.
画像改良処理のために、逆テレシネ処理、つまり偶数及び奇数フィールドの再インターリーブを用いると、インターレース／プログレシッブ変換（Ｉ／Ｐ）が可能である。３−２プルダウン方式で生じる画像シーケンスにおいて、３つに１つの余剰なフィールド（図２のグレー色のフィールド）が除去される。 Interlace / progressive conversion (I / P) is possible using inverse telecine processing, ie, re-interleaving of even and odd fields, for image enhancement processing. In the image sequence generated by the 3-2 pull-down method, one of three extra fields (gray field in FIG. 2) is removed.
さらに高度なアップコンバート・アルゴリズムは、動きベクトルに基づくフレーム内挿を用いる。出力フレームレートは入力フレームレートと同じ比率にはならず（an uneven fraction）、例えば、６０Ｈｚの入力信号周波数は、５：６の比率に相当する７２Ｈｚ出力周波数にアップコンバートできる。従って、移動オブジェクトの連続した動きの画像が保持されるときは、ただ１つの入力フィールド毎に６つの出力フレームが生成されうる。 More advanced up-conversion algorithms use frame interpolation based on motion vectors. The output frame rate does not have the same ratio as the input frame rate (an uneven fraction), for example, an input signal frequency of 60 Hz can be upconverted to a 72 Hz output frequency corresponding to a ratio of 5: 6. Thus, when an image of a continuous motion of a moving object is retained, six output frames can be generated for only one input field.
画像のフィルムモード特性は、画像単位で決定することができ、また、改良されたアプローチによれば、個々の画像領域の局部的な特性となるであろう。特に、テレビジョン信号は、動きのない領域（例えば、ロゴ、背景）、ビデオカメラ領域（例えば、ニューステッカー、ビデオ挿入）、及びフィルムモード領域（例えば、メインムービー、ＰＩＰ）などの異なった種類の画像領域で構成される。プルダウン方式の検出は、これらの画像領域の各々に対して別個に行われて、改良された画質のアップコンバート結果が得られる。 The film mode characteristics of an image can be determined on a per image basis and, according to an improved approach, will be a local characteristic of individual image areas. In particular, the television signal has different types of areas such as non-motion areas (eg logos, backgrounds), video camera areas (eg new stickers, video inserts), and film mode areas (eg main movies, PIP). Consists of image areas. Pull-down detection is performed separately for each of these image regions, resulting in improved image quality up-conversion results.
フィルムモード検出は通常、プルダウン様式の識別を伴う。従来は、画素の差が累積されて変位フレーム差（Ｄｉｓｐｌａｃｅｄ Ｆｒａｍｅ Ｄｉｆｆｅｒｅｎｃｅ：ＤＦＤ）になり、連続する画像間の動きを表す。視聴者に不安定な印象を与えるであろう検出フィルモード指標の突然の変更を避けるために、フィルムモードからビデオモードへの切り替え、及び、その逆の切り替えを生じさせるために検出遅延が用いられる。 Film mode detection usually involves pull-down style identification. Conventionally, pixel differences are accumulated to form a displaced frame difference (DFD), which represents a motion between successive images. Detection delay is used to cause a switch from film mode to video mode and vice versa to avoid abrupt changes in the detection fill mode indicator that would give the viewer an unstable impression .
フィルムモード指標の正確さを向上させるために、フィルムモード検出は、例えば図３に示されるように、ブロック単位で行われる。ｍ×ｎの画素サイズのブロック毎に、動きベクトル及びフィルムモード指標が決定される。 In order to improve the accuracy of the film mode indicator, the film mode detection is performed in units of blocks as shown in FIG. 3, for example. A motion vector and a film mode index are determined for each block having an mxn pixel size.
図３中のブロックには、画像ブロック毎に得られるデータを示している。このデータには、横（Ｘ）方向及び縦（Ｙ）方向の動きベクトル成分の他に、カレントブロック（the current block、現在のブロック）がフィルムモードかビデオモードかを示すフィルムモード指標（０／１）が含まれている。さらに、元のフィルムモード指標と後のフィルムモード指標との違いを識別するために、フィルムモード指標の訂正の有無が「アーティフィシャルモード」指標（０／１）で示される。 The blocks in FIG. 3 show data obtained for each image block. In addition to the motion vector components in the horizontal (X) direction and the vertical (Y) direction, the data includes a film mode index (0/0) indicating whether the current block is the film mode or the video mode. 1) is included. Further, in order to identify the difference between the original film mode index and the subsequent film mode index, whether or not the film mode index is corrected is indicated by an “artificial mode” index (0/1).
ブロック単位のフィルムモード検出とそれから生じる問題を図４に示す。用いられているデフォルト状態によれば、白く示されたブロック３０は全てビデオモード（ａ）にある。移動オブジェクト１０がブロック内のごく一部分だけを占めているときには、動き量（motion value）（ＤＦＤ）は既定の閾値を越えず、動きを検出することはできない。このときには、ブロックはビデオモード（ｂ，ｃ）にあると考えられ、また、これらのブロックに隣接した、同じ移動画像オブジェクト１０が属しているブロック２０は、フィルムモード（ｄ）にあると検出される。 FIG. 4 shows block mode film mode detection and the problems arising therefrom. According to the default state used, all blocks 30 shown in white are in video mode (a). When the moving object 10 occupies only a small part of the block, the motion value (DFD) does not exceed a predetermined threshold and no motion can be detected. At this time, the blocks are considered to be in the video mode (b, c), and the block 20 adjacent to these blocks to which the same moving image object 10 belongs is detected to be in the film mode (d). The
さらに、異なるモード間における頻繁な切り替えを避けるために導入された切り替え遅延（switching delay）のために、図４の画像Ｔ＝１に示すように、移動オブジェクト１０の前縁部分では、フィルムモードであることが適切に検出されない。前縁部分では、移動オブジェクト１０が各ブロックの大部分を占めているが、これらのブロックでは、移動オブジェクト１０がフィルムモードであるにも関わらず、ビデオモード（ｃ）であると検出される。 Furthermore, because of the switching delay introduced to avoid frequent switching between different modes, the leading edge portion of the moving object 10 is in film mode, as shown in image T = 1 in FIG. Something is not properly detected. In the leading edge portion, the moving object 10 occupies most of each block. In these blocks, it is detected that the moving object 10 is in the video mode (c) even though it is in the film mode.
この遅延によってさらに次のような問題も生じる。即ち、移動オブジェクト１０の後続ブロック（the trailing blocks）には移動オブジェクト１０が存在しないにも関わらず、移動オブジェクト１０の後縁が、フィルムモードブロック（ｄ）の後続画像領域に含まれてしまう（図４に示すＴ＝２およびＴ＝３の画像を参照）。この問題は、画像ブロック（ｍ×ｎ）の大きさより小さい大きさの移動オブジェクトについてはさらに深刻になる。従って、モード遅延、すなわち、フィルム遅延およびビデオ遅延は、空間モードオフセットを引き起こす。 This delay also causes the following problem. That is, although the moving object 10 does not exist in the trailing blocks of the moving object 10, the trailing edge of the moving object 10 is included in the subsequent image area of the film mode block (d) ( (See T = 2 and T = 3 images shown in FIG. 4). This problem becomes more serious for moving objects that are smaller than the size of the image block (m × n). Thus, mode delays, ie film delay and video delay, cause a spatial mode offset.
これらの欠点を解決するために、本発明は、アップコンバート処理を可能にしてさらに改良するために、画像ブロックの決定に動きベクトルを用いる。フィルムモード検出の外挿は、移動オブジェクトの先端の境界を含めることができる。本発明による改良されたフィルムモード検出の例を図５に示す。 In order to overcome these drawbacks, the present invention uses motion vectors in determining image blocks in order to enable and further improve the up-conversion process. The extrapolation of film mode detection can include the boundary of the tip of the moving object. An example of improved film mode detection according to the present invention is shown in FIG.
図５の左側の画像は外挿をしないフィルムモード検出を示している。フィルムモードの移動オブジェクト１０は、フィルムモードブロック２０によって部分的にのみ正確に検出される。特に移動オブジェクト１０の前縁部分の複数ブロックは、ビデオモードブロック３０であると誤判断される。動きベクトルに基づくフィルムモード検出結果の外挿を用いると、移動オブジェクトの前縁部分のブロックは、追加フィルムモードブロック２５となる。 The image on the left side of FIG. 5 shows film mode detection without extrapolation. The film mode moving object 10 is only partially accurately detected by the film mode block 20. In particular, a plurality of blocks at the front edge portion of the moving object 10 are erroneously determined to be video mode blocks 30. If the extrapolation of the film mode detection result based on the motion vector is used, the block of the leading edge portion of the moving object becomes the additional film mode block 25.
この目的のために、カレントブロックのフィルムモード検出は、図６に示すように外挿される。各フィルムモードブロック２０の動きベクトル１１０は、現在の画像の外部を差さないようにクリップされる。カレントブロック（the current block）１００のモードを、「ソースモード」と呼び、カレントブロック１００の動きベクトル１１０が差すブロックのモードを「ターゲットモード」と呼ぶ。動きベクトル１１０が、フィルムモードブロックから出発してビデオモードブロックを差しているときには、間の全てのブロックはフィルムモードに設定される。 For this purpose, the film mode detection of the current block is extrapolated as shown in FIG. The motion vector 110 of each film mode block 20 is clipped so as not to be outside the current image. The mode of the current block 100 is called “source mode”, and the mode of the block to which the motion vector 110 of the current block 100 points is called “target mode”. When the motion vector 110 starts from the film mode block and points to the video mode block, all the blocks in between are set to film mode.
動きベクトル１１０に応じてフィルムモード指標を外挿する本発明のアプローチを詳細に説明する。各フィールドは、図１に示すように複数の画像領域のブロックに分割される。各ブロックは複数の画素、好ましくはインターレースビデオ画像については８×４画素、プログレッシブ画像については８×８画素から構成される。従って、各ＮＴＳＣインターレースビデオ画像には９０×６０ブロックがある。フィルムモードの決定および動き検出はブロック毎に行われる。決定の結果は、図３に示すように、ブロック毎に別個に、図７に示すメモリ領域２００に保存される。図７はフィルムモード指標を外挿するための各ステップを図示し、図６はその各結果を示す。 The approach of the present invention for extrapolating a film mode index according to the motion vector 110 will be described in detail. Each field is divided into blocks of a plurality of image areas as shown in FIG. Each block is composed of a plurality of pixels, preferably 8 × 4 pixels for interlaced video images and 8 × 8 pixels for progressive images. Thus, each NTSC interlaced video image has 90 × 60 blocks. Film mode determination and motion detection are performed on a block-by-block basis. The determination result is stored in the memory area 200 shown in FIG. 7 separately for each block, as shown in FIG. FIG. 7 illustrates the steps for extrapolating the film mode index, and FIG. 6 illustrates the results.
外挿処理は、カレントブロック１００の動きベクトル及びソースモードを取得することで開始される（ステップＳ２２０）。ステップＳ２３０で、カレントブロック１００がフィルムモードであるとわかったならば、カレントブロック１００の動きベクトル１１０は、ブロックグリッド（ラスター）に収まるように量子化される（ステップＳ２４０）。動きベクトルが現在の画像の外部を差している場合、動きベクトルの長さは、画像の境界の各ブロックを差すようにクリップされる。 The extrapolation process is started by acquiring the motion vector and the source mode of the current block 100 (step S220). If it is determined in step S230 that the current block 100 is in the film mode, the motion vector 110 of the current block 100 is quantized so as to fit in the block grid (raster) (step S240). If the motion vector points outside the current image, the length of the motion vector is clipped to point to each block at the image boundary.
ターゲットブロック１２０、つまり、カレントブロック１００から出発した動きベクトルが差すブロック、を決定した後、ターゲットブロック１２０のモード（ターゲットモード）が決定される（ステップＳ２５０）。外挿は、以下の条件を満たす場合にのみ、行われる。
ソースモード＝フィルムモード
ターゲットモード＝ビデオモード
After the target block 120, that is, the block to which the motion vector starting from the current block 100 is determined, the mode (target mode) of the target block 120 is determined (step S250). Extrapolation is performed only if the following conditions are met:
Source mode = Film mode Target mode = Video mode
ステップＳ２５０で、ターゲットブロックがビデオモードにあると判定された場合のみ、外挿が行われる（ステップＳ２６０）。外挿は、カレントブロック１００からターゲットブロック１２０へ向いている動きベクトル１１０のもと各ブロック１３０をフィルムモードに設定することで行われる。 Extrapolation is performed only when it is determined in step S250 that the target block is in the video mode (step S260). Extrapolation is performed by setting each block 130 to film mode under the motion vector 110 from the current block 100 to the target block 120.
フィルムモードに設定されるブロックの決定は、カレントブロックインデックスのモジュロアドレッシングによって実行され得る。大きい値を有する横及び縦成分の動きベクトル成分を第一の軸Ｖ1とし、小さい動き成分は第二の軸Ｖ2を表すとする。各符号は、方向Ｄｉｒ1、Ｄｉｒ2を決定する。フィルムモードに設定するブロックを段階的に決定するためのステップ幅（ステップサイズ）は、下記のように大きい動きベクトル成分を小さい動きベクトル成分で整数除算することで算出される。 The determination of the block set to film mode can be performed by modulo addressing of the current block index. Let the horizontal and vertical motion vector components having a large value be the first axis V 1 , and the small motion component be the second axis V 2 . Each code determines directions Dir 1 and Dir 2 . The step width (step size) for deciding the block to be set in the film mode stepwise is calculated by dividing a large motion vector component by a small motion vector component as follows.
擬似的に設定されたこれらのフィルムモードブロック１３０（図６）の各々は、従って、図３に示すように、アーティフィシャルモードビットで示されることに留意すべきである。従って、各フィルムモード指標が識別されて、元のままに決定されるか、擬似的に設定されうる。このアーティフィシャルモードビットは、擬似的に設定されるこれらのフィルムモード指標をさらに外挿することを回避するために、外挿処理を始める前に求められる。 It should be noted that each of these film mode blocks 130 (FIG. 6) set in a pseudo manner are therefore indicated with an artifical mode bit, as shown in FIG. Thus, each film mode index can be identified and determined as is or set in a pseudo manner. The artifical mode bit is obtained before starting the extrapolation process in order to avoid extrapolating these film mode indicators that are set in a pseudo manner.
ソースブロック（カレントブロック）１００はアーティフィシャルモードに設定されない。フィルムモードに設定され、従ってアーティフィシャルビットが設定された第一のブロックは、第一の軸Ｖ1の符号の方向に決定される（Ｓｉｇｎ（Ｖ1））。 The source block (current block) 100 is not set to the artificial mode. The first block that is set to film mode and therefore has the artifical bit set is determined in the direction of the sign of the first axis V 1 (Sign (V 1 )).
ソースブロック（カレントブロック）１００とターゲットブロック１２０の間にブロック１３０を繰り返し決定する方法が図８に示されている。 A method of repeatedly determining the block 130 between the source block (current block) 100 and the target block 120 is shown in FIG.
モジュロアドレッシング法では、代表的なループ変数ｉおよびｊが用いられる。変数ｉは第一の方向Ｄｉｒ１に用いられ、変数ｊは第二の方向Ｄｉｒ２に用いられる。 In the modulo addressing method, typical loop variables i and j are used. The variable i is used in the first direction Dir1, and the variable j is used in the second direction Dir2.
元のままに決定されたソースブロック１００は、フィルムモードにあり、再び設定されてアーティフィシャルとして示されることはない。そのため、ステップＳ３２０で、処理は、インデックスｉにＤｉｒ１の符号を加算することで開始する。これは図９の位置１，０で「開始」と示されたブロックである。 The source block 100 determined in its original state is in the film mode and is set again and is not shown as an artifical. Therefore, in step S320, the process starts by adding the sign of Dir1 to the index i. This is the block labeled “Start” at positions 1, 0 in FIG.
ステップＳ３３０で、変数ｊが増分されるための条件が調べられ、ステップＳ３４０で第二の方向Ｄｉｒ２にアーティフィシャルとマークしている位置をインクリメントしなくてはならない。ｉが上記で算出された値「ステップ」の偶数倍に等しいならば条件は真である。これは。図９のインデックスポジション２、１の「ステップ＝２」として示される。 In step S330, the condition for the variable j to be incremented is examined, and in step S340, the position marked as artifical in the second direction Dir2 must be incremented. The condition is true if i is equal to an even multiple of the value “step” calculated above. this is. This is indicated as “step = 2” at index positions 2 and 1 in FIG.
ステップＳ３５０で、アーティフィシャルフィルムブロックの絶対位置が、現在のインデックスｉおよびｊをソースブロックの絶対位置に加えることで、算出される（インデックス１／２（ソース））。その結果は画像中の位置を示す変数ｋ及びｌに保持される。 In step S350, the absolute position of the artifical film block is calculated by adding the current indices i and j to the absolute position of the source block (index 1/2 (source)). The result is held in variables k and l indicating the position in the image.
アーティフィシャルビットおよびフィルムビットはステップＳ３６０で設定され、図９の１３０として示される。 The artifical bit and the film bit are set in step S360 and are shown as 130 in FIG.
第一の方向Ｄｉｒ１のインデックスｉがＶ１のベクトルの大きさに等しい値まで進んだ場合、モジュロアドレッシングはＳ３７０で終了（図９の「最後のブロック」）するか、あるいは、Ｓ３２０へジャンプする。 If the index i in the first direction Dir1 has advanced to a value equal to the magnitude of the vector in V1, the modulo addressing ends at S370 ("last block" in FIG. 9) or jumps to S320.
従って、多数のブロック１３０が図９のグレーで示されたブロックで示されるように決定される。 Accordingly, a number of blocks 130 are determined as indicated by the blocks shown in gray in FIG.
カレントブロック１００とターゲットブロック１２０の間にブロックを決定するアプローチを繰り返すことは、ある動きベクトルにとっては、ターゲットブロックに到達できず、その結果ターゲットブロック１２０に段階的に接近できないという短所を有する。 Repeating the approach of determining a block between the current block 100 and the target block 120 has the disadvantage that for some motion vectors, the target block cannot be reached and consequently the target block 120 cannot be accessed stepwise.
他の好ましい実施例によると、アーティフィシャルモードで示すことは、ｘ／yベクトル成分の全ての可能な組み合わせのルック・アップ・テーブル（ＬＵＴ）を用いることで実行される。ルック・アップ・テーブルへの各エントリは、擬似的に示されるべきこれらのブロックを特定する。この目的のために、記憶されるパターンは、どのブロックが次にマークされるべきかを示す。これは、２値表示に基づいて実行することができ、“０”は上／下ステップを示し、“１”は右／左ステップを示す。動きの方向は、各ベクトル成分の符号によって与えられる。図１０に示す例は、二つの正の成分ｘ＝＋３，ｙ＝＋４を有する動きベクトルに基づいている。テーブルエントリは０１０１０１０の７つのステップ、すなわち上、右、上、右・・・・を示す。 According to another preferred embodiment, showing in artistic mode is performed using a look-up table (LUT) of all possible combinations of x / y vector components. Each entry in the look-up table identifies these blocks that are to be simulated. For this purpose, the stored pattern indicates which block should be marked next. This can be performed based on a binary display, where “0” indicates an up / down step and “1” indicates a right / left step. The direction of motion is given by the sign of each vector component. The example shown in FIG. 10 is based on a motion vector having two positive components x = + 3, y = + 4. The table entry shows the seven steps of 01010110: top, right, top, right ...
このアプローチでは、横あるいは縦方向に隣接するブロックがないときには、斜め方向へのマークは許されない。この結果として、マークされるブロックの数は増加し、その結果より良いベクトル経路到達範囲を得る。 With this approach, if there are no horizontally or vertically adjacent blocks, marking in an oblique direction is not allowed. As a result, the number of marked blocks increases, resulting in a better vector path reach.
当業者なら、カレントブロックとターゲットブロックの間でフィルムモードに擬似的に設定するべきこれらのブロックを決定するための上述のアプローチは、上記実施例に限定されず、他のアプローチを用いても同じ結果をもたらすであろうことがわかるであろう。 Those skilled in the art will not be limited to the above-described embodiments for determining those blocks that should be set to film mode between the current block and the target block in a pseudo manner, and other approaches may be used as well. You will see that it will result.
上述の説明では、画像領域は動き検出からわかるブロックの大きさに相当するとしている。本発明は、フィルムモード決定のための、特にフィルムモード外挿のための、このような画像領域の大きさに限定されるものではない。ブロックより大きいあるいは小さい画像領域が定められてもよい。例えば、ブロックより小さい画像領域はフィルムモード解像度を上げる。フィルムモードの決定及び外挿は、全フィールドと一画素の間の大きさ、または、全フィールドとサブピクセルの間の大きさを有する画像領域単位で実行されてもよい。 In the above description, it is assumed that the image area corresponds to the size of a block that can be understood from motion detection. The present invention is not limited to such image area sizes for film mode determination, particularly for film mode extrapolation. An image area larger or smaller than the block may be defined. For example, an image area that is smaller than a block increases the film mode resolution. Film mode determination and extrapolation may be performed on an image area basis having a size between all fields and one pixel, or a size between all fields and sub-pixels.
さらに、フィルムモード指標のうちの、検出されたビデオモードの外挿を補助する動きベクトルをさらに用いることによって、フィルムモードの外挿を向上させることができる。ブロック毎のビデオモード検出が正しく、かつ、高い信頼性を持って行われ得るという前提のもとでは、ビデオモードオブジェクトの動き経路は、フィルムモードオブジェクトの動き経路を妨げない。 Furthermore, the extrapolation of the film mode can be improved by further using a motion vector that assists the extrapolation of the detected video mode among the film mode indicators. Under the premise that video mode detection for each block can be performed correctly and with high reliability, the motion path of the video mode object does not interfere with the motion path of the film mode object.
要約すると、本発明は、特に、移動オブジェクトの境界領域における改良されたフィルムモードの決定を可能にする。これはフィルムモードの外挿によって達成される。カレントブロックのフィルムモード指標は、同じブロックに対して決定された動きベクトルに合わせて外挿される。この方法で、より正確に現在の画像に対するモードを決定することができ、より良好な画質を生じる画像処理を行うことができる。 In summary, the present invention allows for improved film mode determination, particularly in the boundary area of moving objects. This is accomplished by film mode extrapolation. The film mode index of the current block is extrapolated to the motion vector determined for the same block. In this way, the mode for the current image can be determined more accurately, and image processing that produces better image quality can be performed.
本発明のフィルムモード外挿方法及びフィルムモード検出器並びに動き補償器は、テレビジョン受信機等に有用である。 The film mode extrapolation method, film mode detector, and motion compensator of the present invention are useful for television receivers and the like.
１０ 移動オブジェクト
２０ フィルムモードブロック
２５ 追加フィルムモードブロック
３０ ビデオモードブロック
１００ カレントブロック
１１０ 動きベクトル
１２０ ターゲットブロック
１３０ フィルムモードブロック
２００ メモリ領域
10 moving object 20 film mode block 25 additional film mode block 30 video mode block 100 current block 110 motion vector 120 target block 130 film mode block 200 memory area
Claims (36)
現在の画像領域のフィルムモード指標を受け取るステップと、
前記現在の画像領域の動きベクトルを取得するステップと、
前記受け取った動きベクトルに基づいて、前記現在の画像のフィルムモード指標を訂正するステップとを、備えたフィルムモード外挿方法。 A method for determining a film mode index of a plurality of image areas in a current image that is part of an image sequence, comprising:
Receiving a film mode indicator for the current image area;
Obtaining a motion vector of the current image region;
Correcting the film mode index of the current image based on the received motion vector; and a film mode extrapolation method comprising:
現在の画像に対して決定される動きベクトルを受け取るステップと、
前記現在の画像のフィルムモード指標を決定するステップと、
請求項１から１７のうちのいずれかによる方法を適用して前記現在の画像に対して決定される前記フィルムモード指標を訂正するステップと、
前記各フィルムモード指標による動き補償を適用して前記現在の画像の前記画像データに基づいて動き補償画像処理を行うステップとを、備えたフィルムモード外挿方法。 A method for performing motion compensation image processing,
Receiving a motion vector determined for the current image;
Determining a film mode indicator of the current image;
Applying the method according to any of claims 1 to 17 to correct the film mode indicator determined for the current image;
Applying a motion compensation based on each film mode index and performing motion compensated image processing based on the image data of the current image.
現在の画像領域のフィルムモード指標と動きベクトルを取得する入力手段と、
前記取得した動きベクトルに基づいて前記現在の画像のフィルムモード指標を訂正する外挿手段とを、備えたフィルムモード検出器。 A film mode detector for determining a film mode indicator of a plurality of image areas of a current image that is part of an image sequence,
Input means for obtaining a film mode index and a motion vector of the current image area;
A film mode detector comprising extrapolation means for correcting a film mode index of the current image based on the acquired motion vector.
前記外挿手段は、前記現在の画像領域と前記動きベクトルによって向けられた前記画像領域の相対位置に応じて、前記複数のあらかじめ記憶されたパターンから前記規定のパターンを選定する、請求項２５に記載のフィルムモード検出器。 A memory for storing a plurality of predetermined patterns;
26. The extrapolation means selects the prescribed pattern from the plurality of prestored patterns according to a relative position between the current image area and the image area directed by the motion vector. The film mode detector as described.
各画像の前記画像領域の外挿されるフィルムモード指標を決定するための請求項１９から３５のうちのいずれかによるフィルムモード検出器と、
前記各フィルムモード指標に応じた個々の画像領域の動き補償を選定する選択器を備えた動き補償器。
A motion compensator for processing an input image sequence according to a motion vector field and a film mode index of each image,
A film mode detector according to any of claims 19 to 35 for determining an extrapolated film mode indicator of the image area of each image;
A motion compensator comprising a selector for selecting motion compensation of individual image areas according to each film mode index.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP04010293A EP1592254A1 (en) | 2004-04-30 | 2004-04-30 | Film mode extrapolation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005318623A true JP2005318623A (en) | 2005-11-10 |
Family
ID=34924798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005130598A Withdrawn JP2005318623A (en) | 2004-04-30 | 2005-04-27 | Film mode extrapolation method, film mode detector and motion compensator |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20050243932A1 (en) |
| EP (1) | EP1592254A1 (en) |
| JP (1) | JP2005318623A (en) |
| KR (1) | KR20060047649A (en) |
| CN (1) | CN100425054C (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007052461A1 (en) | 2005-11-01 | 2007-05-10 | Calsonic Kansei Corporation | Heating-type reservoir tank |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE602004006966T2 (en) * | 2004-04-30 | 2007-10-18 | Matsushita Electric Industrial Co., Ltd., Kadoma | Reversal film mode extrapolation |
| TWI327863B (en) | 2006-06-19 | 2010-07-21 | Realtek Semiconductor Corp | Method and apparatus for processing video data |
| JP4615508B2 (en) * | 2006-12-27 | 2011-01-19 | シャープ株式会社 | Image display apparatus and method, image processing apparatus and method |
| KR101086434B1 (en) * | 2007-03-28 | 2011-11-25 | 삼성전자주식회사 | Method and device for displaying video data |
| US8842219B2 (en) * | 2008-07-23 | 2014-09-23 | Entropic Communications, Inc. | Frame rate up-conversion |
| US12307685B2 (en) * | 2022-09-13 | 2025-05-20 | Qualcomm Incorporated | Segmentation mask extrapolation |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5291280A (en) * | 1992-05-05 | 1994-03-01 | Faroudja Y C | Motion detection between even and odd fields within 2:1 interlaced television standard |
| US5828786A (en) * | 1993-12-02 | 1998-10-27 | General Instrument Corporation | Analyzer and methods for detecting and processing video data types in a video data stream |
| JP2795223B2 (en) * | 1995-07-18 | 1998-09-10 | 日本電気株式会社 | Image signal encoding method |
| KR100352253B1 (en) * | 1995-09-29 | 2003-01-08 | 마쯔시다덴기산교 가부시키가이샤 | A method and an apparatus for interleaving bit streams and recording and reproducing the same on a medium |
| FR2750558B1 (en) * | 1996-06-28 | 1998-08-28 | Thomson Multimedia Sa | FRAME INTERPOLATION METHOD FOR FILM MODE COMPATIBILITY |
| US6252873B1 (en) * | 1998-06-17 | 2001-06-26 | Gregory O. Vines | Method of ensuring a smooth transition between MPEG-2 transport streams |
| US6515706B1 (en) * | 1998-09-15 | 2003-02-04 | Dvdo, Inc. | Method and apparatus for detecting and smoothing diagonal features video images |
| US6700622B2 (en) * | 1998-10-02 | 2004-03-02 | Dvdo, Inc. | Method and apparatus for detecting the source format of video images |
| EP0994626A1 (en) * | 1998-10-12 | 2000-04-19 | STMicroelectronics S.r.l. | Detection of a 3:2 pulldown in a motion estimation phase and optimized video compression encoder |
| US6906743B1 (en) * | 1999-01-13 | 2005-06-14 | Tektronix, Inc. | Detecting content based defects in a video stream |
| US6400763B1 (en) * | 1999-02-18 | 2002-06-04 | Hewlett-Packard Company | Compression system which re-uses prior motion vectors |
| KR20020026153A (en) * | 2000-02-29 | 2002-04-06 | 요트.게.아. 롤페즈 | Film source video detection and encoding |
| US6553150B1 (en) * | 2000-04-25 | 2003-04-22 | Hewlett-Packard Development Co., Lp | Image sequence compression featuring independently coded regions |
| EP1198138A1 (en) * | 2000-10-13 | 2002-04-17 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for film mode detection in video fields |
| US6847406B2 (en) * | 2000-12-06 | 2005-01-25 | Koninklijke Philips Electronics N.V. | High quality, cost-effective film-to-video converter for high definition television |
| JP2004518341A (en) * | 2001-01-11 | 2004-06-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Recognition of film and video objects occurring in parallel in a single television signal field |
| US6700932B2 (en) * | 2001-03-06 | 2004-03-02 | Sony Corporation | MPEG video editing-cut and paste |
| US6549688B2 (en) * | 2001-07-06 | 2003-04-15 | Redfern Integrated Optics Pty Ltd | Monolithically-integrated optical device and method of forming same |
| US7245326B2 (en) * | 2001-11-19 | 2007-07-17 | Matsushita Electric Industrial Co. Ltd. | Method of edge based interpolation |
| US7423691B2 (en) * | 2001-11-19 | 2008-09-09 | Matsushita Electric Industrial Co., Ltd. | Method of low latency interlace to progressive video format conversion |
| JP2004007379A (en) * | 2002-04-10 | 2004-01-08 | Toshiba Corp | Method for encoding moving image and method for decoding moving image |
| US7154555B2 (en) * | 2003-01-10 | 2006-12-26 | Realnetworks, Inc. | Automatic deinterlacing and inverse telecine |
| DE602004006966T2 (en) * | 2004-04-30 | 2007-10-18 | Matsushita Electric Industrial Co., Ltd., Kadoma | Reversal film mode extrapolation |
-
2004
- 2004-04-30 EP EP04010293A patent/EP1592254A1/en not_active Withdrawn
-
2005
- 2005-04-27 JP JP2005130598A patent/JP2005318623A/en not_active Withdrawn
- 2005-04-28 US US11/116,188 patent/US20050243932A1/en not_active Abandoned
- 2005-04-29 KR KR1020050036145A patent/KR20060047649A/en not_active Withdrawn
- 2005-04-30 CN CNB200510066729XA patent/CN100425054C/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007052461A1 (en) | 2005-11-01 | 2007-05-10 | Calsonic Kansei Corporation | Heating-type reservoir tank |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1694496A (en) | 2005-11-09 |
| US20050243932A1 (en) | 2005-11-03 |
| EP1592254A1 (en) | 2005-11-02 |
| CN100425054C (en) | 2008-10-08 |
| KR20060047649A (en) | 2006-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7057665B2 (en) | Deinterlacing apparatus and method | |
| US7667773B2 (en) | Apparatus and method of motion-compensation adaptive deinterlacing | |
| US20050249282A1 (en) | Film-mode detection in video sequences | |
| US8355442B2 (en) | Method and system for automatically turning off motion compensation when motion vectors are inaccurate | |
| US9918041B1 (en) | Motion adaptive de-interlacing and advanced film mode detection | |
| EP0765572B1 (en) | Motion-compensated field rate conversion | |
| JP3855761B2 (en) | Image signal processing apparatus and method | |
| US8134643B2 (en) | Synthesized image detection unit | |
| US20050259950A1 (en) | Film mode correction in still areas | |
| JP5177828B2 (en) | Image rate conversion method and image rate conversion apparatus | |
| CN100417189C (en) | Inverse Film Mode Extrapolation | |
| JP2005318623A (en) | Film mode extrapolation method, film mode detector and motion compensator | |
| KR101140442B1 (en) | Image status information correction | |
| US8115865B2 (en) | De-interlacing system with an adaptive edge threshold and interpolating method thereof | |
| US7796189B2 (en) | 2-2 pulldown signal detection device and a 2-2 pulldown signal detection method | |
| JP3576618B2 (en) | Motion vector detection method and apparatus | |
| JPH05252486A (en) | Scanning converter for video signal | |
| JPH0795441A (en) | Television signal processing system | |
| JP2006041619A (en) | Image processing apparatus | |
| JP2000295581A (en) | Scan conversion processing circuit | |
| An et al. | Improved picture-rate conversion using classification-based LMS-filters |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080307 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20090827 |