JP2007081755A - Image data conversion apparatus - Google Patents
Image data conversion apparatus Download PDFInfo
- Publication number
- JP2007081755A JP2007081755A JP2005266074A JP2005266074A JP2007081755A JP 2007081755 A JP2007081755 A JP 2007081755A JP 2005266074 A JP2005266074 A JP 2005266074A JP 2005266074 A JP2005266074 A JP 2005266074A JP 2007081755 A JP2007081755 A JP 2007081755A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- frame
- sequence
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 68
- 230000000750 progressive effect Effects 0.000 claims abstract description 103
- 238000001514 detection method Methods 0.000 claims abstract description 68
- 230000015654 memory Effects 0.000 claims abstract description 64
- 230000008859 change Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 47
- 239000013598 vector Substances 0.000 claims description 37
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 8
- 238000009499 grossing Methods 0.000 abstract description 4
- 230000006872 improvement Effects 0.000 abstract description 3
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 239000000284 extract Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Television Systems (AREA)
Abstract
Description
本発明は、フィルムソースの原プログレッシブ画像データが2−3プルダウン方式で変換されたインターレース画像データを、このインターレース画像データとはフレーム周波数が等しいプログレッシブ画像データに変換する画像データ変換装置に関する。 The present invention relates to an image data conversion apparatus for converting interlaced image data obtained by converting original progressive image data of a film source by a 2-3 pulldown method into progressive image data having a frame frequency equal to that of the interlaced image data.
フィルムに記録された映画の画像を、DVD(Digital Versatile Disc)などの記録媒体に記録し、又はデジタル放送などによって伝送する場合、毎秒24コマの映画の画像を、フレーム周波数が24Hz、1フレームのライン(走査線)数が、例えば525本のプログレッシブ画像データとして記録媒体に記録し、又は伝送する。 When a movie image recorded on a film is recorded on a recording medium such as a DVD (Digital Versatile Disc) or transmitted by digital broadcasting or the like, a movie image of 24 frames per second has a frame frequency of 24 Hz and one frame. The number of lines (scanning lines) is recorded or transmitted on a recording medium as, for example, 525 progressive image data.
DVDプレーヤなどの再生装置や、デジタル放送受信機などの受信装置では、テレシネ変換装置や、MPEGデコーダなどにおいて、2−3プルダウン方式によって、フレーム周波数が24Hzの原プログレッシブ画像データをフィールド周波数が60Hzのインターレース画像データに変換する。この画像データ変換方法を、図6を用いて以下に説明する。 In a playback device such as a DVD player or a receiving device such as a digital broadcast receiver, an original progressive image data having a frame frequency of 24 Hz is converted to a field frequency of 60 Hz by a 2-3 pull-down method in a telecine conversion device or an MPEG decoder. Convert to interlaced image data. This image data conversion method will be described below with reference to FIG.
図6(a)に示すように、原プログレッシブ画像データ(以下、1フレーム分の画像データ又は1フィールド分の画像データを単に画像とも言う)が、フレーム周波数が24Hzのフレーム画像A、B、C、D、E、Fで構成されている。この原プログレッシブ画像データから、図6(b)に示すように、周波数が60Hzのインターレース画像データを生成する場合、原プログレッシブ画像データのフレーム画像Aの、奇数ラインを奇数フィールド画像Atとして、偶数ラインを偶数フィールド画像Abとして順次抽出し、原プログレッシブ画像データのフレーム画像Bの、奇数ラインを奇数フィールド画像Btとして、偶数ラインを偶数フィールド画像Bbとして、さらに、再度、奇数ラインを奇数フィールド画像Btとして順次抽出し、原プログレッシブ画像データのフレーム画像Cの、偶数ラインを偶数フィールド画像Cbとして、奇数ラインを奇数フィールド画像Ctとして順次抽出し、原プログレッシブ画像データのフレーム画像Dの、偶数ラインを偶数フィールド画像Dbとして、奇数ラインを奇数フィールド画像Dtとして、さらに、再度、偶数ラインを偶数フィールド画像Dbとして順次抽出し、以下、同様にして、原プログレッシブ画像データのフレーム画像Eの、奇数ラインを奇数フィールド画像Etとして、偶数ラインを偶数フィールド画像Ebとして順次抽出し、原プログレッシブ画像データのフレーム画像Fの、奇数ラインを奇数フィールド画像Ftとして、偶数ラインを偶数フィールド画像Fbとして、さらに、再度、奇数ラインを奇数フィールド画像Ftとして順次抽出する。 As shown in FIG. 6 (a), original progressive image data (hereinafter, image data for one frame or image data for one field is also simply referred to as an image) are frame images A, B, and C having a frame frequency of 24 Hz. , D, E, and F. When interlaced image data having a frequency of 60 Hz is generated from the original progressive image data, as shown in FIG. 6B, the odd lines of the frame image A of the original progressive image data are used as odd field images At. Are sequentially extracted as the even field image Ab, and the odd line of the frame image B of the original progressive image data is set as the odd field image Bt, the even line as the even field image Bb, and the odd line as the odd field image Bt again. Sequentially extracted, the even line of the frame image C of the original progressive image data is sequentially extracted as the even field image Cb, the odd line as the odd field image Ct, and the even line of the frame image D of the original progressive image data is even field. As the image Db, odd lines are extracted as odd field images Dt, and even lines are sequentially extracted as even field images Db. Similarly, the odd lines of the frame image E of the original progressive image data are extracted as odd fields. As the image Et, the even lines are sequentially extracted as the even field images Eb, the odd lines of the frame image F of the original progressive image data are set as the odd field images Ft, the even lines are set as the even field images Fb, and again the odd lines. Are sequentially extracted as odd field images Ft.
次に、インターレース画像データの奇数フィールド画像At及び偶数フィールド画像Abを2度にわたって読み取り、それぞれ単純に合成して逆変換画像データのフレーム画像A、Aを生成し、続いて、インターレース画像データの奇数フィールド画像Bt、偶数フィールド画像Bb及び奇数フィールド画像Btについて、隣接するフィールド画像を順次読み取り、それぞれ単純に合成して逆変換画像データのフレーム画像B、B、Bを生成する。以下、同様にして、逆変換画像データの逆パリティの画像を合成してフレーム画像C、C、D、D、D、E、E、F、F、Fを生成する。これによって、図6(c)に示すように、60Hzの逆変換画像データが得られる。 Next, the odd-numbered field image At and the even-numbered field image Ab of the interlaced image data are read twice, and are simply combined to generate the frame images A and A of the inverse-transformed image data. For the field image Bt, the even field image Bb, and the odd field image Bt, adjacent field images are sequentially read and simply combined to generate frame images B, B, and B of inversely transformed image data. Similarly, frame images C, C, D, D, D, E, E, F, F, and F are generated by synthesizing inverse parity images of the inversely converted image data. As a result, as shown in FIG. 6C, inversely converted image data of 60 Hz is obtained.
しかしながら、上述した画像データ変換方法では、図6(c)に示すとおり、フレーム画像Aが2フレーム出力された後、フレーム画像Bが3フレーム出力され、以降、同様の出力状態が繰り返される。このように、同じフレームが2フレーム続く場合と、別の同じフレームが3フレーム続く場合とが交互に出現するため、動画像では動きが滑らかでない場合があった。そこで、動画像の動きを滑らかにする複数の画像データ変換方法が提案されている(例えば、下記の特許文献1参照)。 However, in the image data conversion method described above, as shown in FIG. 6C, after two frame images A are output, three frame images B are output, and thereafter the same output state is repeated. As described above, since the case where the same frame continues for two frames and the case where another same frame continues for three frames appear alternately, the motion image may not be smooth. Therefore, a plurality of image data conversion methods that smooth the motion of moving images have been proposed (see, for example, Patent Document 1 below).
図7は動画の動きが滑らかに見えるように、図6(c)に示した逆変換画像データを更に、補間処理することによって、フレーム周波数が60Hzのプログレッシブ画像データを得る複数の方法を示した模式図である。ここで、図7(d)中に示した第1〜第5の方法のうち、第1の方法について説明すれば、第2〜第5の方法は図中の記載から容易に理解できると思われるので、第1の方法についてのみ説明し、第2〜第5の方法についてはそれらの説明を省略する。 FIG. 7 shows a plurality of methods for obtaining progressive image data having a frame frequency of 60 Hz by further interpolating the inversely transformed image data shown in FIG. 6C so that the motion of the moving image looks smooth. It is a schematic diagram. Here, if the first method among the first to fifth methods shown in FIG. 7D is described, the second to fifth methods can be easily understood from the description in the drawing. Therefore, only the first method will be described, and descriptions of the second to fifth methods will be omitted.
第1の方法では、プログレッシブ画像データ(d−1)として示すように、プログレッシブ画像データの第1フレームでは、逆変換画像データの第1フレームの画像Aを、そのまま当該フレームの画像とし、プログレッシブ画像データの第2フレーム及び第3フレームでは、それぞれ逆変換画像データの第2フレームの画像Aと第3のフレームの画像Bとを(1/2):(1/2)の比で合成した画像を当該フレームの画像とし、プログレッシブ画像データの第4フレームでは、逆変換画像データの第4フレームの画像Bをそのまま当該フレームの画像とし、プログレッシブ画像データの第5フレームでは、逆変換画像データの第5フレームの画像Bと第6フレームの画像Cとを(1/2):(1/2)の比で合成した画像を、当該フレームの画像とし、以下5フレームを1シーケンス(一巡周期)として、同様の補間処理を繰り返す。
しかしながら、上記の特許文献1に記載された第1〜第5の画像データ変換方法では、図7(c)に示す逆変換画像データを図7(d)に示すプログレッシブ画像データに変換する際、逆変換画像データの合成比率を1/2に固定したり、プログレッシブ画像データのフレームの位置によって1/2、1/4、3/4に変化させたり、あるいは1/2、1/3、2/3に変化させたりしている。これは、図7(c)に示すように、例えばフレーム画像Aが2フレーム出力された後、フレーム画像Bが3フレーム出力され、以降同様の出力状態が繰り返される逆変換画像データに対応させて合成比率を適宜に決定したと考えられる。この結果、隣接するフレーム間での合成比率の変化分がフレームによって異なることになり、動画像の動きを滑らかにする画質改善の効果が十分ではないという問題があった。
However, in the first to fifth image data conversion methods described in Patent Document 1 described above, when converting the inversely converted image data shown in FIG. 7C to the progressive image data shown in FIG. The composite ratio of the inversely converted image data is fixed to 1/2, changed to 1/2, 1/4, 3/4 depending on the frame position of the progressive image data, or 1/2, 1/3, 2 / 3. As shown in FIG. 7C, for example, the frame image A is output after 2 frames, and then the frame image B is
本発明は上記の問題点を解決するためになされたもので、その目的は、フィルムソースの原プログレッシブ画像データが2−3プルダウン方式で変換されたインターレース画像データを、このインターレース画像データとはフレーム周波数が等しいプログレッシブ画像データに変換する際、動画像の動きを滑らかにする画質の改善効果を更に高めることができる画像データ変換装置を提供することにある。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide interlaced image data obtained by converting original progressive image data of a film source by a 2-3 pulldown method. An object of the present invention is to provide an image data conversion device capable of further enhancing the image quality improvement effect of smoothing the motion of a moving image when converting to progressive image data having the same frequency.
上記の目的を達成するために、本発明は、フィルムソースを電気信号に変換した24コマ/秒のフィルム画像データが2−3プルダウン方式で変換されている60フィールド/秒のインターレース画像データを、60フレーム/秒のプログレッシブ画像データに変換する画像データ変換装置において、
前記フィルム画像データの少なくとも3コマ分の前記インターレース画像データを書き込み、前記フィルム画像データの1コマごとに前記インターレース画像データにおける奇数フィールドデータと偶数フィールドデータとを合成して前記フィルム画像データと同等画質の逆変換画像データを出力するように制御されるフレームメモリと、
前記インターレース画像データにおいて、前記フィルム画像データの第1のコマが変換されている連続する2フィールドと、前記フィルム画像データの第2のコマが変換されている連続する3フィールドとを合わせた連続する5フィールドを1シーケンスとして順次入力される、前記インターレース画像データが前記1シーケンス中に存在する前記5フィールドのうちいずれのフィールドのものであるかを検出するシーケンス検出手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フィルム画像データの連続する少なくとも3コマ分の前記インターレース画像データを前記フレームメモリに順次書き込むとともに、書き込まれた前記インターレース画像データを選択的に読み出す制御信号によって前記逆変換画像データを前記フレームメモリから順次読み出すメモリ制御手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フレームメモリから連続して読み出された2個の前記逆変換画像データを、それぞれの画像データ成分が2/5ずつ変化する割合で合成して補間フレーム画像データを生成する補間手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フレームメモリから読み出された1つの前記逆変換画像データが前記1シーケンス中のいずれか1つのフィールドに対応する位置に含まれ、前記補間手段で生成された4個の補間フレーム画像データが前記1シーケンス中の他の4つのフィールドにそれぞれ対応する位置に含まれ、かつ前記1シーケンスに含まれる前記逆変換画像データ及び前記補間フレーム画像データの時系列的な順序は前記逆変換画像データの成分が2/5ずつ変化するように、前記フレームメモリ及び前記補間手段から選択的に取り出して、前記プログレッシブデータとして出力する選択手段とを、
備えたことを特徴とする。
In order to achieve the above object, the present invention provides interlaced image data of 60 fields / second in which film image data of 24 frames / second obtained by converting a film source into an electrical signal is converted by a 2-3 pulldown method. In an image data converter for converting to progressive image data of 60 frames / second,
The interlaced image data for at least three frames of the film image data is written, and the odd field data and the even field data in the interlaced image data are synthesized for each frame of the film image data to have the same image quality as the film image data. A frame memory controlled to output the inverse transformed image data of
In the interlaced image data, two consecutive fields in which the first frame of the film image data is converted and three consecutive fields in which the second frame of the film image data is converted are combined. Sequence detection means for detecting which of the five fields present in the one sequence the interlaced image data is sequentially input with five fields as one sequence;
A control signal for sequentially writing the interlaced image data for at least three consecutive frames of the film image data in the frame memory and selectively reading the written interlaced image data based on the detection result of the sequence detecting means Memory control means for sequentially reading out the inversely transformed image data from the frame memory by:
Based on the detection result of the sequence detection means, the two inversely transformed image data read out continuously from the frame memory are combined and interpolated at a rate at which each image data component changes by 2/5. Interpolation means for generating frame image data;
Based on the detection result of the sequence detection means, one of the inversely transformed image data read from the frame memory is included in a position corresponding to any one field in the one sequence, and is generated by the interpolation means The four interpolated frame image data obtained are included in positions corresponding to the other four fields in the one sequence, respectively, and the time series of the inversely transformed image data and the interpolated frame image data included in the one sequence A selection means for selectively taking out from the frame memory and the interpolation means and outputting as the progressive data so that the components of the inversely transformed image data change by 2/5 each;
It is characterized by having.
また、本発明は、フィルムソースを電気信号に変換した24コマ/秒のフィルム画像データが2−3プルダウン方式で変換されている60フィールド/秒のインターレース画像データを、60フレーム/秒のプログレッシブ画像データに変換する画像データ変換装置において、
前記フィルム画像データの少なくとも3コマ分の前記インターレース画像データを書き込み、前記フィルム画像データの1コマごとに前記インターレース画像データにおける奇数フィールドデータと偶数フィールドデータとを合成して前記フィルム画像データと同等画質の逆変換画像データを出力するように制御されるフレームメモリと、
前記インターレース画像データにおいて、前記フィルム画像データの第1のコマが変換されている連続する2フィールドと、前記フィルム画像データの第2のコマが変換されている連続する3フィールドとを合わせた連続する5フィールドを1シーケンスとして順次入力される、前記インターレース画像データが前記1シーケンス中に存在する前記5フィールドのうちいずれのフィールドのものであるかを検出するシーケンス検出手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フィルム画像データの連続する少なくとも3コマ分の前記インターレース画像データを前記フレームメモリに順次書き込むとともに、書き込まれた前記インターレース画像データを選択的に読み出す制御信号によって前記逆変換画像データを前記フレームメモリから順次読み出すメモリ制御手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フレームメモリから連続して読み出された2つの前記逆変換画像データごとに、これら2つの前記逆変換画像データの相互間の動きベクトルを検出する動き検出手段と、
前記シーケンス検出手段の検出結果に基づいて、前記動き検出手段で検出された前記相互間の動きベクトルを、それぞれの成分が2/5ずつ変化する割合で内分し、この内分によって生成される2つの動きベクトルの成分をそれぞれ自身に対する動きベクトルとして前記逆変換画像データを動き補償補間し、得られた2つの動き補償補間データを平均して補間フレーム画像データを生成する動き補償手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フレームメモリから読み出された1つの前記逆変換画像データが前記1シーケンスのいずれか1つに対応する位置に含まれ、前記動き補償手段で生成された4個の補間フレーム画像データが前記1シーケンスの他の4つにそれぞれ対応する位置に含まれ、かつ前記1シーケンスに含まれる前記逆変換画像データ及び前記補間フレーム画像データの時系列的な順序は前記逆変換画像データの成分が順次2/5ずつ変化するように、前記フレームメモリ及び前記動き補償手段から選択的に取り出して、前記プログレッシブデータとして出力する選択手段とを、
備えたことを特徴とする。
The present invention also provides a 60-frame / second progressive image obtained by converting 60-field / second interlaced image data obtained by converting film image data of 24 frames / second obtained by converting a film source into an electrical signal using a 2-3 pull-down method. In an image data converter for converting data,
The interlaced image data for at least three frames of the film image data is written, and the odd field data and the even field data in the interlaced image data are synthesized for each frame of the film image data to have the same image quality as the film image data. A frame memory controlled to output the inverse transformed image data of
In the interlaced image data, two consecutive fields in which the first frame of the film image data is converted and three consecutive fields in which the second frame of the film image data is converted are combined. Sequence detection means for detecting which of the five fields present in the one sequence the interlaced image data is sequentially input with five fields as one sequence;
A control signal for sequentially writing the interlaced image data for at least three consecutive frames of the film image data in the frame memory and selectively reading the written interlaced image data based on the detection result of the sequence detecting means Memory control means for sequentially reading out the inversely transformed image data from the frame memory by:
A motion for detecting a motion vector between the two inversely transformed image data for each of the two inversely transformed image data continuously read from the frame memory based on the detection result of the sequence detecting means. Detection means;
Based on the detection result of the sequence detection means, the mutual motion vectors detected by the motion detection means are internally divided at a rate at which each component changes by 2/5, and generated by this internal division. Motion compensation means for motion-compensating and interpolating the inversely-transformed image data with two motion vector components as motion vectors for each of them, and averaging the obtained two motion compensation interpolation data to generate interpolated frame image data;
Based on the detection result of the sequence detection means, the one inversely transformed image data read from the frame memory is included in a position corresponding to any one of the one sequence, and is generated by the motion compensation means. The four interpolated frame image data are included in positions corresponding to the other four of the one sequence, respectively, and the time-series order of the inversely transformed image data and the interpolated frame image data included in the one sequence Selecting means for selectively taking out from the frame memory and the motion compensation means and outputting as the progressive data so that the components of the inversely transformed image data sequentially change by 2/5,
It is characterized by having.
ここで、前記動き検出手段は前記逆変換画像データを複数のブロックに分割し、前記ブロックのそれぞれについて動きベクトルを検出し、
前記動き補償手段は前記動きベクトルを、それぞれの成分が2/5ずつ変化する割合で内分して生成される2つの前記動きベクトルから2つの動き補償ブロックデータを生成し、これら動き補償ブロックデータを平均して補間ブロックデータとし、前記補間ブロックデータを1フレーム全体について合成したものを前記補間フレーム画像データとする、
ことを特徴とする。
Here, the motion detection means divides the inverse transformed image data into a plurality of blocks, detects a motion vector for each of the blocks,
The motion compensation means generates two motion compensation block data from the two motion vectors generated by dividing the motion vector at a rate at which each component changes by 2/5, and the motion compensation block data Are interpolated block data, and the interpolated block data synthesized for the entire frame is the interpolated frame image data.
It is characterized by that.
本発明は上記のように構成したことにより、2−3プルダウン方式で変換されたインターレース画像データからフィルムソースの原プログレッシブ画像データと同等の逆変換画像データを生成し、さらに、この逆変換画像データを用いて補間フレーム画像データを生成しているため、プログレッシブ画像データの各フレームに含まれる逆変換画像データの成分を順次2/5ずつ変化させることが可能となり、これによって動画像の動きを滑らかにする画質の改善効果を更に高めることができる。 According to the present invention configured as described above, reverse-converted image data equivalent to the original progressive image data of the film source is generated from the interlaced image data converted by the 2-3 pull-down method, and the reverse-converted image data Since the interpolated frame image data is generated using, it is possible to sequentially change the inversely converted image data component included in each frame of the progressive image data by 2/5, thereby smoothing the motion of the moving image. The effect of improving the image quality can be further enhanced.
以下、本発明を図面に示す好適な実施の形態に基づいて詳細に説明する。図1は本発明に係る画像データ変換装置によって実施する第1の画像データ変換方法を示す模式図である。図1(a)はフィルムソースの原プログレッシブ画像データであり、この原プログレッシブ画像データが2−3プルダウン方式で変換されて図1(b)に示すインターレース画像データとなる。本発明に係る画像データ変換装置は、図1(b)に示すインターレース画像データを入力として、まず、図1(c)に示す逆変換画像データを生成し、次に、この逆変換画像データから図1(d)に示すプログレッシブ画像データを生成するものであるが、理解を容易にするために図1(a)〜(d)に示す各画像データの構成について説明した後、画像データ変換装置の実施の形態について説明することとする。 Hereinafter, the present invention will be described in detail based on preferred embodiments shown in the drawings. FIG. 1 is a schematic diagram showing a first image data conversion method implemented by the image data conversion apparatus according to the present invention. FIG. 1A shows original progressive image data of a film source, and the original progressive image data is converted by the 2-3 pull down method to form interlaced image data shown in FIG. The image data conversion apparatus according to the present invention receives the interlaced image data shown in FIG. 1 (b) as an input, first generates the inversely converted image data shown in FIG. 1 (c), and then uses the inversely converted image data. The progressive image data shown in FIG. 1 (d) is generated. For the sake of easy understanding, the configuration of each image data shown in FIGS. The embodiment will be described.
図1(a)に示すように、原プログレッシブ画像データはフレーム周波数が24Hzのフレーム画像A、B、C、D、E、Fで構成されている。この原プログレッシブ画像データから、図1(b)に示すように、周波数が60Hzのインターレース画像データを生成する場合、原プログレッシブ画像データのフレーム画像Aの、奇数ラインを奇数フィールド画像Atとして、偶数ラインを偶数フィールド画像Abとして順次抽出し、原プログレッシブ画像データのフレーム画像Bの、奇数ラインを奇数フィールド画像Btとして、偶数ラインを偶数フィールド画像Bbとして、さらに、再度、奇数ラインを奇数フィールド画像Btとして順次抽出し、原プログレッシブ画像データのフレーム画像Cの、偶数ラインを偶数フィールド画像Cbとして、奇数ラインを奇数フィールド画像Ctとして順次抽出し、原プログレッシブ画像データのフレーム画像Dの、偶数ラインを偶数フィールド画像Dbとして、奇数ラインを奇数フィールド画像Dtとして、さらに、再度、偶数ラインを偶数フィールド画像Dbとして順次抽出し、以下、同様にして、原プログレッシブ画像データのフレーム画像Eの、奇数ラインを奇数フィールド画像Etとして、偶数ラインを偶数フィールド画像Ebとして順次抽出し、原プログレッシブ画像データのフレーム画像Fの、奇数ラインを奇数フィールド画像Ftとして、偶数ラインを偶数フィールド画像Fbとして、さらに、再度、奇数ラインを奇数フィールド画像Ftとして順次抽出する。 As shown in FIG. 1A, the original progressive image data is composed of frame images A, B, C, D, E, and F having a frame frequency of 24 Hz. When interlaced image data having a frequency of 60 Hz is generated from the original progressive image data, as shown in FIG. 1B, the odd lines of the frame image A of the original progressive image data are used as odd field images At. Are sequentially extracted as the even field image Ab, and the odd line of the frame image B of the original progressive image data is set as the odd field image Bt, the even line as the even field image Bb, and the odd line as the odd field image Bt again. Sequentially extracted, the even line of the frame image C of the original progressive image data is sequentially extracted as the even field image Cb, the odd line as the odd field image Ct, and the even line of the frame image D of the original progressive image data is even field. As the image Db, odd lines are extracted as odd field images Dt, and even lines are sequentially extracted as even field images Db. Similarly, the odd lines of the frame image E of the original progressive image data are extracted as odd fields. As the image Et, the even lines are sequentially extracted as the even field images Eb, the odd lines of the frame image F of the original progressive image data are set as the odd field images Ft, the even lines are set as the even field images Fb, and again the odd lines. Are sequentially extracted as odd field images Ft.
次に、図1(b)に示すインターレース画像データの奇数フィールド画像At及び偶数フィールド画像Abを合成して逆変換画像データの第1フレームの画像Aを生成し、続いて、インターレース画像データの奇数フィールド画像Bt及び偶数フィールド画像Bbを合成して逆変換画像データの第2フレームの画像Bを生成する。以下、同様にして、逆変換画像データの逆パリティの画像を合成して第3〜第6フレームの画像C、D、E、Fを生成する。これによって、図1(c)に示すように、原プログレッシブ画像データと同等の24Hzの逆変換画像データが得られる。 Next, the odd-numbered field image At and the even-numbered field image Ab of the interlaced image data shown in FIG. 1B are synthesized to generate the first frame image A of the inversely transformed image data. The field image Bt and the even field image Bb are combined to generate the image B of the second frame of the inversely converted image data. Thereafter, similarly, the inverse parity image of the inversely transformed image data is synthesized to generate the images C, D, E, and F of the third to sixth frames. As a result, as shown in FIG. 1C, 24 Hz inversely converted image data equivalent to the original progressive image data is obtained.
次に、図1(d)に示すように、プログレッシブ画像データの第1フレームでは、逆変換画像データの第1フレームの画像Aを、そのまま当該フレームの画像とし、プログレッシブ画像データの第2フレームでは、逆変換画像データの第1フレームの画像Aと第2フレームの画像Bとを(3/5):(2/5)の比で合成した画像を当該フレームの画像とし、プログレッシブ画像データの第3フレームでは、逆変換画像データの第1フレームの画像Aと第2フレームの画像Bとを(1/5):(4/5)の比で合成した画像を当該フレームの画像とし、プログレッシブ画像データの第4フレームでは、逆変換画像データの第2フレームの画像Bと第3フレームの画像Cとを(4/5):(1/5)の比で合成した画像を当該フレームの画像とし、プログレッシブ画像データの第5フレームでは、逆変換画像データの第2フレームの画像Bと第3フレームの画像Cとを(2/5):(3/5)の比で合成した画像を当該フレームの画像とし、以下5フレームを1シーケンスとして、同様の補間処理を繰り返す。これらの補間処理は、図1(b)に示すインターレース画像データのフィールド画像At、Ab、Bt、Bb、Bt、Cb、・・・・・・、Ftに同期して実行され、これによって60Hzのプログレッシブ画像データが得られる。 Next, as shown in FIG. 1D, in the first frame of the progressive image data, the first frame image A of the inversely converted image data is used as the image of the frame as it is, and in the second frame of the progressive image data. The image obtained by combining the image A of the first frame and the image B of the second frame of the inversely converted image data at a ratio of (3/5) :( 2/5) is used as the image of the frame, and the progressive image data In 3 frames, an image obtained by combining the image A of the first frame and the image B of the second frame of the inversely converted image data at a ratio of (1/5) :( 4/5) is used as an image of the frame, and a progressive image is obtained. In the fourth frame of data, an image obtained by combining the image B of the second frame and the image C of the third frame of the inversely converted image data at a ratio of (4/5) :( 1/5) is the image of the frame. In the fifth frame of the progressive image data, an image obtained by combining the second frame image B and the third frame image C of the inversely converted image data at a ratio of (2/5) :( 3/5). The same interpolation process is repeated with the following 5 frames as one sequence. These interpolation processes are executed in synchronism with the field images At, Ab, Bt, Bb, Bt, Cb,..., Ft of the interlaced image data shown in FIG. Progressive image data is obtained.
図2は本発明に係る画像データ変換装置によって実施する第2の画像データ変換方法を示す模式図である。ここで、図2(a)、(b)及び(c)間の変換処理は図1(a)、(b)及び(c)間の変換処理と全く同様であるためそれらの説明を省略し、図2(c)に示す逆変換画像データを図2(d)に示すプログレッシブ画像データに変換する場合についてのみ説明する。 FIG. 2 is a schematic diagram showing a second image data conversion method implemented by the image data conversion apparatus according to the present invention. Here, the conversion process between FIGS. 2 (a), (b) and (c) is exactly the same as the conversion process between FIGS. 1 (a), (b) and (c), and the description thereof will be omitted. Only the case where the inversely converted image data shown in FIG. 2C is converted into the progressive image data shown in FIG. 2D will be described.
図2(d)に示すように、プログレッシブ画像データの第1フレームでは、逆変換画像データの第1フレームの画像Aと第2フレームの画像Bとを(4/5):(1/5)の比で合成した画像を当該フレームの画像とし、プログレッシブ画像データの第2フレームでは、逆変換画像データの第1フレームの画像Aと第2フレームの画像Bとを(2/5):(3/5)の比で合成した画像を当該フレームの画像とし、プログレッシブ画像データの第3フレームでは、逆変換画像データの第2フレームの画像Bを、そのまま当該フレームの画像とし、プログレッシブ画像データの第4フレームでは、逆変換画像データの第2フレームの画像Bと第3フレームの画像Cとを(3/5):(2/5)の比で合成した画像を当該フレームの画像とし、プログレッシブ画像データの第5フレームでは、逆変換画像データの第2フレームの画像Bと第3フレームの画像Cとを(1/5):(4/5)の比で合成した画像を当該フレームの画像とし、以下5フレームを1シーケンスとして、同様の補間処理を繰り返す。これらの補間処理は、図2(b)に示すインターレース画像データのフィールド画像At、Ab、Bt、Bb、Bt、Cb、・・・・・・、Ftに同期して実行され、これによって60Hzのプログレッシブ画像データが得られる。 As shown in FIG. 2D, in the first frame of the progressive image data, the image A of the first frame and the image B of the second frame of the inversely converted image data are (4/5): (1/5). In the second frame of the progressive image data, the image A of the first frame and the image B of the second frame of the inversely converted image data are (2/5) :( 3 / 5) is used as the image of the corresponding frame, and in the third frame of the progressive image data, the second frame image B of the inversely converted image data is used as it is as the image of the corresponding frame, and the progressive image data In 4 frames, an image obtained by combining the image B of the second frame and the image C of the third frame of the inversely converted image data at a ratio of (3/5) :( 2/5) is used as the image of the frame, and In the fifth frame of the progressive image data, an image obtained by combining the image B of the second frame and the image C of the third frame of the inversely converted image data at a ratio of (1/5) :( 4/5) The same interpolation process is repeated with an image and 5 frames as one sequence. These interpolation processes are executed in synchronization with the field images At, Ab, Bt, Bb, Bt, Cb,..., Ft of the interlaced image data shown in FIG. Progressive image data is obtained.
このように、図1に示す第1の画像データ変換方法及び図2に示す第2の画像データ変換方法によって変換されたプログレッシブ画像データは、それぞれ逆変換画像データA、B、C、D、E、Fの成分がフレームごとに順次2/5ずつ変化するように配列されており、このような補間処理を行うことによって動画像の動きを滑らかにする画質の改善効果が高められる。 As described above, the progressive image data converted by the first image data conversion method shown in FIG. 1 and the second image data conversion method shown in FIG. 2 are inversely converted image data A, B, C, D, E, respectively. , F components are arranged so as to sequentially change by 2/5 for each frame. By performing such interpolation processing, the effect of improving the image quality that smoothes the motion of the moving image is enhanced.
次に、本発明に係る画像データ変換装置の実施の形態について説明する。
<第1の実施の形態>
図3は本発明に係る画像データ変換装置の第1の実施の形態の構成を示すブロック図である。第1の実施の形態は、入力インターレース信号が非テレシネ信号であるとき、通常の「インターレース→プログレッシブ変換処理」を行って出力プログレッシブ信号とする。反対に、入力インターレース信号がテレシネ信号と呼ばれる図1(b)に示すインターレース画像データであるとき図1(d)に示すプログレッシブ画像データを出力プログレッシブ信号として出力するように構成されている。
Next, an embodiment of the image data conversion apparatus according to the present invention will be described.
<First Embodiment>
FIG. 3 is a block diagram showing the configuration of the first embodiment of the image data conversion apparatus according to the present invention. In the first embodiment, when an input interlace signal is a non-telecine signal, an ordinary “interlace → progressive conversion process” is performed to obtain an output progressive signal. On the contrary, when the input interlace signal is the interlace image data shown in FIG. 1B called a telecine signal, the progressive image data shown in FIG. 1D is output as an output progressive signal.
図3において、入力インターレース信号はシーケンス検出回路1とスイッチ(図面ではswと略記する)2とに加えられる。このうち、シーケンス検出回路1は入力インターレース信号が2−3プルダウン方式で変換されたテレシネ信号であることを検出する。すなわち、シーケンス検出回路1はフィルムソースの第1のコマの原プログレッシブ画像データが変換された連続する2フィールドと、フィルムソースの第2のコマの原プログレッシブ画像データが変換された連続する3フィールドとを合わせた連続する5フィールドのインターレース画像データであることを検出し、さらに、5フィールドを1シーケンスとして、順次入力されるインターレース画像データが1シーケンスのどの位置のものであるかを検出する。スイッチ2はシーケンス検出回路1の検出結果に応じて、インターレース画像データがテレシネ信号であるか否かにより異なる端子から出力するものである。このスイッチ2の一方の出力端、すなわち非テレシネ信号の出力端には通常プログレッシブ変換回路3の入力端が接続され、他方の出力端、すなわちテレシネ信号の出力端にはテレシネ信号プログレッシブ変換回路4の入力端が接続されている。通常プログレッシブ変換回路3はこれに入力されるプログレッシブ画像データの出力タイミングを調整するもので、テレシネ信号プログレッシブ変換回路4はシーケンス検出回路1の検出結果に基づいて、インターレース画像データから24Hzの逆変換画像データを生成し、さらに、この逆変換画像データから60Hzのプログレッシブ画像データを生成するものである。そして、通常プログレッシブ変換回路3の出力端及びテレシネ信号プログレッシブ変換回路4の出力端はそれぞれ選択回路6の入力端に接続されている。選択回路6はシーケンス検出回路1の検出結果に基づき、入力インターレース信号がテレシネ信号でないとき通常プログレッシブ変換回路3の出力を選択し、入力インターレース信号がテレシネ信号であるときテレシネ信号プログレッシブ変換回路4の出力を選択してそれぞれ出力プログレッシブ信号とするものである。
In FIG. 3, an input interlace signal is applied to a sequence detection circuit 1 and a switch (abbreviated as sw in the drawing) 2. Among these, the sequence detection circuit 1 detects that the input interlace signal is a telecine signal converted by the 2-3 pull-down method. That is, the sequence detection circuit 1 includes two consecutive fields in which the original progressive image data of the first frame of the film source is converted, and three consecutive fields in which the original progressive image data of the second frame of the film source is converted. Are detected, and the interlaced image data that is sequentially input is detected at which position in one sequence. The
上述したテレシネ信号プログレッシブ変換回路4は、フィルムソースの3コマ分のインターレース画像データを書き込み、フィルムソースの1コマごとに奇数フィールドデータと偶数フィールドデータとを合成して原プログレッシブ画像データと同等の逆変換画像データを生成するためのフレームメモリ41、42、43と、シーケンス検出回路1の検出結果に基づいて、フィルムソースの連続する3コマ分のインターレース画像データをフレームメモリ41、42、43に順次書き込むとともに、フレームメモリ41、42、43で生成される逆変換画像データを順次読み出すメモリ制御部44と、シーケンス検出回路1の検出結果に基づいて、フレームメモリ41、42、43から連続して読み出された2個の逆変換画像データを、それぞれの成分が2/5ずつ変化する割合で合成して補間フレーム画像データを生成する補間回路45と、シーケンス検出回路1の検出結果に基づいて、フレームメモリ41、42、43から読み出された1つの逆変換画像データが1シーケンスのいずれか1つに対応する位置に含まれ、補間回路45で生成された4個の補間フレーム画像データが1シーケンスの他の4つにそれぞれ対応する位置に含まれ、かつ1シーケンスに含まれる逆変換画像データ及び補間フレーム画像データの順序が逆変換画像データの成分が順次2/5ずつ変化するものをフレームメモリ41、42、43及び補間回路45から選択的に取り出して、プログレッシブデータとして出力する選択回路46とを備えている。
The telecine signal
上記のように構成された第1の実施の形態の動作について以下に説明する。まず、入力インターレース信号はシーケンス検出回路1に入力され、2−3プルダウン方式で変換されたテレシネ信号であるか否かが検出され、さらに、テレシネ信号である場合には5フィールドを1シーケンスとしてどの位置のインターレース画像データであるかが検出される。スイッチ2は入力インターレース信号がテレシネ信号でないことが検出されたとき入力インターレース信号を通常プログレッシブ変換回路3に加え、入力インターレース信号がテレシネ信号であることが検出されたときインターレース画像データをテレシネ信号プログレッシブ変換回路4に加える。通常プログレッシブ変換回路3は、入力インターレース信号がシーケンス検出回路1においてテレシネ信号でないと判断された場合、その入力信号に「インターレース→プログレッシブ変換処理」を行って出力する。この処理は、例えば、入力のフィールド画像から画面内での補間を行って現在のフィールドと逆のパリティのフィールドを生成し、元のフィールドと合成してフレームを構成することによりプログレッシブ信号を生成する。テレシネ信号プログレッシブ変換回路4はインターレース画像データから逆変換画像データを生成し、さらに、逆変換画像データからプログレッシブ画像データを生成して出力する。選択回路6はシーケンス検出回路1の検出結果に基づき、入力インターレース信号がテレシネ信号でないとき通常プログレッシブ変換回路3の出力を選択し、入力インターレース信号がテレシネ信号であるときテレシネ信号プログレッシブ変換回路4の出力を選択して出力プログレッシブ信号とする。
The operation of the first embodiment configured as described above will be described below. First, the input interlace signal is input to the sequence detection circuit 1 to detect whether it is a telecine signal converted by the 2-3 pull-down method. Whether the position is interlaced image data is detected. The
次に、テレシネ信号プログレッシブ変換回路4の詳細な動作について説明する。シーケンス検出回路1によって、入力インターレース信号がテレシネ信号であると判定されたとき、メモリ制御部44の書き込み指令によって図1(b)に示すフィールド画像データAtとAbとがフレームメモリ41に書き込まれ、図1(b)に示すフィールド画像データBtとBbとがフレームメモリ42に書き込まれ、図1(b)に示すフィールド画像データCbとCtとがフレームメモリ43に書き込まれる。フレームメモリ41、42、43はそれぞれに書き込まれた2つのフィールド画像データを合成する機能を有し、メモリ制御部44の読み出し指令によって図1(c)に示すフレーム画像データA、B、Cが2つずつ順に読み出されて補間回路45と選択回路46とに加えられる。
Next, the detailed operation of the telecine signal
補間回路45は、図1(d)に示すように、逆変換画像データの第1フレームの画像Aと第2フレームの画像Bとを(3/5):(2/5)の比で合成し、次に、逆変換画像データの第1フレームの画像Aと第2フレームの画像Bとを(1/5):(4/5)の比で合成し、次に、逆変換画像データの第2フレームの画像Bと第3フレームの画像Cとを(4/5):(1/5)の比で合成し、次に、逆変換画像データの第2フレームの画像Bと第3フレームの画像Cとを(2/5):(3/5)の比で合成する。選択回路46は、図1(d)に示すように、フレームメモリ41から呼び出された画像データAが1シーケンスの第1フレームに配置され、補間回路45で順次合成して得られた4つの画像データが第2フレーム〜第5フレームに配置されるように選択して選択回路6に加える。
As shown in FIG. 1D, the
次に、メモリ制御部44の書き込み指令によって図1(b)に示すフィールド画像データCbとCtとがフレームメモリ41に転送され、図1(b)に示すフィールド画像データDbとDtとがフレームメモリ42に書き込まれ、図1(b)に示すフィールド画像データEtとEbとがフレームメモリ43に書き込まれる。そして、上述したと同様にして、フレームメモリ41、42、43からフレーム画像データC、D、Eが読み出されて次の1シーケンスのフレーム画像データの補間処理と選択とが実行される。
Next, the field image data Cb and Ct shown in FIG. 1B are transferred to the frame memory 41 by the write command of the
ここで、シーケンス検出回路1の動作原理について説明する。図1(b)に示すようなインターレース画像データに対して、現在のフィールドと2フィールド前のフィールドの輝度信号の差分の絶対値を画面全体について積算し、その値が所定の閾値以下である場合、現在のフィールドが繰り返しフィールドであると判定し、繰り返しフィールドが5フィールド周期で現れることを検出した場合にテレシネ信号であると判定し、繰り返しフィールドの次のフィールドから連続する5フィールドずつを1シーケンスとする。 Here, the operation principle of the sequence detection circuit 1 will be described. When the absolute value of the difference between the luminance signals of the current field and the field two fields before is integrated over the entire screen with respect to the interlaced image data as shown in FIG. 1B, and the value is below a predetermined threshold value When it is determined that the current field is a repetition field, and it is detected that the repetition field appears in a five-field period, it is determined that the signal is a telecine signal, and one sequence of five consecutive fields from the next field of the repetition field. And
以上、図1に示した第1の画像データ変換方法を実施する場合について説明したが、図2に示した第2の画像データ変換方法については、補間回路45によって各フレーム間の合成比率を変えて補間処理することによって4つの画像データを生成し、選択回路46によってフレームメモリ41からの画像データの呼び出しと補間回路45で合成された4つの画像データの選択順序を変更すれば容易に実施することができるのでその説明を省略する。
The case where the first image data conversion method shown in FIG. 1 is executed has been described above. However, in the second image data conversion method shown in FIG. If four image data are generated by performing interpolation processing and the
このようにして、第1の実施の形態によれば、図1に示した第1の画像データ変換方法及び図2に示した第2の画像データ変換方法を実施することが可能となり、これによって動画像の動きを滑らかにする画質の改善効果を従来装置以上に高めることができる。 Thus, according to the first embodiment, it is possible to implement the first image data conversion method shown in FIG. 1 and the second image data conversion method shown in FIG. The effect of improving the image quality that smoothes the motion of the moving image can be enhanced over that of the conventional apparatus.
<第2の実施の形態>
図4は本発明に係る画像データ変換装置の第2の実施の形態の構成を示すブロック図である。図中、第1の実施の形態と同一の符号を付したものはそれぞれ同一の要素を示している。第1の実施の形態ではフレームメモリ41、42、43、メモリ制御部44、補間回路45及び選択回路46で構成されるテレシネ信号プログレッシブ変換回路4を備えていたが、第2の実施の形態はその代わりにフレームメモリ51、52、53、メモリ制御部54、動き検出回路55、動き補償回路56及び選択回路57で構成されるテレシネ信号プログレッシブ変換回路5を備えた点が異なっている。そこで、第1の実施の形態と構成を異にするテレシネ信号プログレッシブ変換回路5についてのみ、図1に示した第1の画像データ変換方法を実施する場合についてその動作を説明する。
<Second Embodiment>
FIG. 4 is a block diagram showing the configuration of the second embodiment of the image data conversion apparatus according to the present invention. In the figure, the same reference numerals as those in the first embodiment denote the same elements. In the first embodiment, the telecine signal
シーケンス検出回路1によって、入力インターレース信号がテレシネ信号であると判定されたとき、メモリ制御部54の書き込み指令によって図1(b)に示すインターレース画像データAtとAbとがフレームメモリ51に書き込まれ、図1(b)に示すインターレース画像データBtとBbとがフレームメモリ52に書き込まれ、図1(b)に示すフィールド画像データCbとCtとがフレームメモリ53に書き込まれる。フレームメモリ51、52、53はそれぞれに書き込まれた2つのインターレース画像データを読み出し制御信号によって合成する機能を有し、メモリ制御部54の読み出し制御信号によって図1(c)に示す逆変換画像データA、B、Cが2つずつ読み出されて動き検出回路55と動き補償回路56と選択回路57とに加えられる。
When the sequence detection circuit 1 determines that the input interlace signal is a telecine signal, the interlace image data At and Ab shown in FIG. Interlaced image data Bt and Bb shown in FIG. 1B are written into the frame memory 52, and field image data Cb and Ct shown in FIG. 1B are written into the frame memory 53. The
動き検出回路55では現在のフレーム画像データ、例えばBを基準画像、過去のフレーム画像データ、例えばAを参照画像として検出領域ごとに動きベクトルの検出が行われる。
検出された動きベクトルは、シーケンス検出回路1の検出結果に基づいて所定の割合で内分され、2つの内分動きベクトルが算出される。その算出結果は動き補償回路56に伝達される。動き補償回路56ではこれらの内分動きベクトルの一方を過去のフレームからの動きベクトル、他方を現在のフレームからの動きベクトルとして、それぞれのフレームからの動き補償補間が行われ、2つの補償画像の平均を補償画像出力とする。そして、選択回路57において、シーケンス検出回路1の検出結果に応じて、例えば、フレームメモリ51から出力された逆変換画像データと、動き補償回路56で補償補間が行われた4つの補償画像出力とが選択され、プログレッシブ画像データとして出力される。
The
The detected motion vectors are internally divided at a predetermined ratio based on the detection result of the sequence detection circuit 1, and two internal motion vectors are calculated. The calculation result is transmitted to the
具体的には、フレームメモリ51にて図1(c)の逆変換画像データAが合成され、フレームメモリ52にて図1(c)の逆変換画像データBが合成されている場合、図1(d)に示すように、プログレッシブ画像データの第1フレームでは逆変換画像データAがそのまま当該フレームの画像となるが、プログレッシブ画像データの第2フレームでは図5に示した補間画像がその画像となる。この補間画像は以下に説明するようにして生成される。すなわち、画像Aから画像Bへの動きベクトルをMVとすると、MVを2:3で内分した2つの内分動きベクトルMVA及びMVBはそれぞれ次のようになる。
MVA=(2/5)×MV
MVB=−(3/5)×MV
そして、画像Aを内分動きベクトルMVAで動き補償して得られた動き補償補間データと画像Bを内分動きベクトルMVBで動き補償して得られた動き補償補間データとを平均して得られた補間画像データを第2フレームの画像とする。
Specifically, when the inversely converted image data A of FIG. 1C is synthesized in the
MVA = (2/5) × MV
MVB = − (3/5) × MV
Then, the motion compensation interpolation data obtained by motion compensation of the image A with the internal motion vector MVA and the motion compensation interpolation data obtained by motion compensation of the image B with the internal motion vector MVB are obtained. The interpolated image data is used as the second frame image.
同様にして、第3フレームについては、画像Aから画像Bへの動きベクトルMVを4:1で内分して次に示す2つの内分動きベクトルMVA及びMVBを求める。
MVA=(4/5)×MV
MVB=−(1/5)×MV
そして、画像Aを内分動きベクトルMVAで動き補償して得られた動き補償補間データと画像Bを内分動きベクトルMVBで動き補償して得られた動き補償補間データとを平均して得られた補間画像データを第3フレームの画像とする。
Similarly, for the third frame, the motion vector MV from the image A to the image B is internally divided by 4: 1, and the following two internal motion vectors MVA and MVB are obtained.
MVA = (4/5) × MV
MVB =-(1/5) * MV
Then, the motion compensation interpolation data obtained by motion compensation of the image A with the internal motion vector MVA and the motion compensation interpolation data obtained by motion compensation of the image B with the internal motion vector MVB are obtained. The interpolated image data is used as the third frame image.
また、第4及び第5フレームについても、フレームメモリ52で合成された逆変換画像データBと、フレームメモリ53で合成された逆変換画像データCとについて動きベクトルを求め、その動きベクトルを1:2及び3:2で内分した動きベクトルにより動き補償補間を行ってプログレッシブ画像データを求めることができる。 For the fourth and fifth frames, motion vectors are obtained for the inversely transformed image data B synthesized in the frame memory 52 and the inversely transformed image data C synthesized in the frame memory 53, and the motion vectors are set to 1: Progressive image data can be obtained by performing motion compensation interpolation using motion vectors internally divided by 2: 2 and 3: 2.
以上、図1に示した第1の画像データ変換方法を実施する場合について説明したが、図2に示した第2の画像データ変換方法については、動き検出回路55によって各逆変換画像データ間の動きベクトルの内分比率を変え、動き補償回路56によって動き補償補間することによって4つの画像データを生成し、選択回路57によってフレームメモリ52からの逆変換画像データの呼び出しと動き補償回路56で補償補間された4つの画像データの選択順序を変更すれば容易に実施することができるのでその説明を省略する。
The case where the first image data conversion method shown in FIG. 1 is performed has been described above. However, the second image data conversion method shown in FIG. Four image data are generated by changing the internal ratio of the motion vector and performing motion compensation interpolation by the
このようにして、第2の実施の形態によっても、図1に示した第1の画像データ変換方法及び図2に示した第2の画像データ変換方法を実施することが可能となり、これによって動画像の動きを滑らかにする画質の改善効果を従来装置以上に高めることができる。 In this way, the second embodiment can also implement the first image data conversion method shown in FIG. 1 and the second image data conversion method shown in FIG. The effect of improving the image quality that smoothes the movement of the image can be enhanced over that of the conventional apparatus.
<第3の実施の形態>
上記第2の実施の形態では、逆変換画像データごとに動きベクトルを検出したが、動き検出回路55が逆変換画像データを複数のブロックに分割し、このブロックのそれぞれについて動きベクトルを検出し、動き補償回路56が動き検出回路55で求められた動きベクトルを、それぞれの成分が2/5ずつ変化する割合で内分して生成される2つの内分動きベクトルから2つの動き補償ブロックデータを生成し、これら動き補償ブロックデータを平均して補間ブロックデータとし、補間ブロックデータを1フレーム全体について合成したものを補間フレーム画像データとすることも可能である。このように変形して実施しても、第1及び第2の実施の形態と同様に、動画像の動きを滑らかにする画質の改善効果を従来装置以上に高めることができる。
<Third Embodiment>
In the second embodiment, the motion vector is detected for each inversely transformed image data, but the
1 シーケンス検出回路
2 スイッチ
3 通常プログレッシブ変換回路
4、5 テレシネ信号プログレッシブ変換回路
6、46、57 選択回路
41〜43、51〜53 フレームメモリ
44、54 メモリ制御部
45 補間回路
55 動き検出回路
56 動き補償回路
DESCRIPTION OF SYMBOLS 1
Claims (3)
前記フィルム画像データの少なくとも3コマ分の前記インターレース画像データを書き込み、前記フィルム画像データの1コマごとに前記インターレース画像データにおける奇数フィールドデータと偶数フィールドデータとを合成して前記フィルム画像データと同等画質の逆変換画像データを出力するように制御されるフレームメモリと、
前記インターレース画像データにおいて、前記フィルム画像データの第1のコマが変換されている連続する2フィールドと、前記フィルム画像データの第2のコマが変換されている連続する3フィールドとを合わせた連続する5フィールドを1シーケンスとして順次入力される、前記インターレース画像データが前記1シーケンス中に存在する前記5フィールドのうちいずれのフィールドのものであるかを検出するシーケンス検出手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フィルム画像データの連続する少なくとも3コマ分の前記インターレース画像データを前記フレームメモリに順次書き込むとともに、書き込まれた前記インターレース画像データを選択的に読み出す制御信号によって前記逆変換画像データを前記フレームメモリから順次読み出すメモリ制御手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フレームメモリから連続して読み出された2個の前記逆変換画像データを、それぞれの画像データ成分が2/5ずつ変化する割合で合成して補間フレーム画像データを生成する補間手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フレームメモリから読み出された1つの前記逆変換画像データが前記1シーケンス中のいずれか1つのフィールドに対応する位置に含まれ、前記補間手段で生成された4個の補間フレーム画像データが前記1シーケンス中の他の4つのフィールドにそれぞれ対応する位置に含まれ、かつ前記1シーケンスに含まれる前記逆変換画像データ及び前記補間フレーム画像データの時系列的な順序は前記逆変換画像データの成分が2/5ずつ変化するように、前記フレームメモリ及び前記補間手段から選択的に取り出して、前記プログレッシブデータとして出力する選択手段とを、
備えたことを特徴とする画像データ変換装置。 Image data that converts interlaced image data of 60 fields / second obtained by converting film image data of 24 frames / second converted from a film source into an electrical signal by 2-3 pull-down method into progressive image data of 60 frames / second In the conversion device,
The interlaced image data for at least three frames of the film image data is written, and the odd field data and the even field data in the interlaced image data are synthesized for each frame of the film image data to have the same image quality as the film image data. A frame memory controlled to output the inverse transformed image data of
In the interlaced image data, two consecutive fields in which the first frame of the film image data is converted and three consecutive fields in which the second frame of the film image data is converted are combined. Sequence detection means for detecting which of the five fields present in the one sequence the interlaced image data is sequentially input with five fields as one sequence;
A control signal for sequentially writing the interlaced image data for at least three consecutive frames of the film image data in the frame memory and selectively reading the written interlaced image data based on the detection result of the sequence detecting means Memory control means for sequentially reading out the inversely transformed image data from the frame memory by:
Based on the detection result of the sequence detection means, the two inversely transformed image data read out continuously from the frame memory are combined and interpolated at a rate at which each image data component changes by 2/5. Interpolation means for generating frame image data;
Based on the detection result of the sequence detection means, one of the inversely transformed image data read from the frame memory is included in a position corresponding to any one field in the one sequence, and is generated by the interpolation means The four interpolated frame image data obtained are included in positions corresponding to the other four fields in the one sequence, respectively, and the time series of the inversely transformed image data and the interpolated frame image data included in the one sequence A selection means for selectively taking out from the frame memory and the interpolation means and outputting as the progressive data so that the components of the inversely transformed image data change by 2/5 each;
An image data conversion device comprising:
前記フィルム画像データの少なくとも3コマ分の前記インターレース画像データを書き込み、前記フィルム画像データの1コマごとに前記インターレース画像データにおける奇数フィールドデータと偶数フィールドデータとを合成して前記フィルム画像データと同等画質の逆変換画像データを出力するように制御されるフレームメモリと、
前記インターレース画像データにおいて、前記フィルム画像データの第1のコマが変換されている連続する2フィールドと、前記フィルム画像データの第2のコマが変換されている連続する3フィールドとを合わせた連続する5フィールドを1シーケンスとして順次入力される、前記インターレース画像データが前記1シーケンス中に存在する前記5フィールドのうちいずれのフィールドのものであるかを検出するシーケンス検出手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フィルム画像データの連続する少なくとも3コマ分の前記インターレース画像データを前記フレームメモリに順次書き込むとともに、書き込まれた前記インターレース画像データを選択的に読み出す制御信号によって前記逆変換画像データを前記フレームメモリから順次読み出すメモリ制御手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フレームメモリから連続して読み出された2つの前記逆変換画像データごとに、これら2つの前記逆変換画像データの相互間の動きベクトルを検出する動き検出手段と、
前記シーケンス検出手段の検出結果に基づいて、前記動き検出手段で検出された前記相互間の動きベクトルを、それぞれの成分が2/5ずつ変化する割合で内分し、この内分によって生成される2つの動きベクトルの成分をそれぞれ自身に対する動きベクトルとして前記逆変換画像データを動き補償補間し、得られた2つの動き補償補間データを平均して補間フレーム画像データを生成する動き補償手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フレームメモリから読み出された1つの前記逆変換画像データが前記1シーケンスのいずれか1つに対応する位置に含まれ、前記動き補償手段で生成された4個の補間フレーム画像データが前記1シーケンスの他の4つにそれぞれ対応する位置に含まれ、かつ前記1シーケンスに含まれる前記逆変換画像データ及び前記補間フレーム画像データの時系列的な順序は前記逆変換画像データの成分が順次2/5ずつ変化するように、前記フレームメモリ及び前記動き補償手段から選択的に取り出して、前記プログレッシブデータとして出力する選択手段とを、
備えたことを特徴とする画像データ変換装置。 Image data that converts interlaced image data of 60 fields / second obtained by converting film image data of 24 frames / second converted from a film source into an electrical signal by 2-3 pull-down method into progressive image data of 60 frames / second In the conversion device,
The interlaced image data for at least three frames of the film image data is written, and the odd field data and the even field data in the interlaced image data are synthesized for each frame of the film image data to have the same image quality as the film image data. A frame memory controlled to output the inverse transformed image data of
In the interlaced image data, two consecutive fields in which the first frame of the film image data is converted and three consecutive fields in which the second frame of the film image data is converted are combined. Sequence detection means for detecting which of the five fields present in the one sequence the interlaced image data is sequentially input with five fields as one sequence;
A control signal for sequentially writing the interlaced image data for at least three consecutive frames of the film image data in the frame memory and selectively reading the written interlaced image data based on the detection result of the sequence detecting means Memory control means for sequentially reading out the inversely transformed image data from the frame memory by:
A motion for detecting a motion vector between the two inversely transformed image data for each of the two inversely transformed image data continuously read from the frame memory based on the detection result of the sequence detecting means. Detection means;
Based on the detection result of the sequence detection means, the mutual motion vectors detected by the motion detection means are internally divided at a rate at which each component changes by 2/5, and generated by this internal division. Motion compensation means for motion-compensating and interpolating the inversely-transformed image data with two motion vector components as motion vectors for each of them, and averaging the obtained two motion compensation interpolation data to generate interpolated frame image data;
Based on the detection result of the sequence detection means, the one inversely transformed image data read from the frame memory is included in a position corresponding to any one of the one sequence, and is generated by the motion compensation means. The four interpolated frame image data are included in positions corresponding to the other four of the one sequence, respectively, and the time-series order of the inversely transformed image data and the interpolated frame image data included in the one sequence Selecting means for selectively taking out from the frame memory and the motion compensation means and outputting as the progressive data so that the components of the inversely transformed image data sequentially change by 2/5,
An image data conversion device comprising:
前記動き補償手段は前記動きベクトルを、それぞれの成分が2/5ずつ変化する割合で内分して生成される2つの前記動きベクトルから2つの動き補償ブロックデータを生成し、これら動き補償ブロックデータを平均して補間ブロックデータとし、前記補間ブロックデータを1フレーム全体について合成したものを前記補間フレーム画像データとする、
ことを特徴とする請求項2に記載の画像データ変換装置。
The motion detection means divides the inversely transformed image data into a plurality of blocks, detects a motion vector for each of the blocks,
The motion compensation means generates two motion compensation block data from the two motion vectors generated by dividing the motion vector at a rate at which each component changes by 2/5, and the motion compensation block data Are interpolated block data, and the interpolated block data synthesized for the entire frame is the interpolated frame image data.
The image data conversion apparatus according to claim 2, wherein
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005266074A JP2007081755A (en) | 2005-09-13 | 2005-09-13 | Image data conversion apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005266074A JP2007081755A (en) | 2005-09-13 | 2005-09-13 | Image data conversion apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007081755A true JP2007081755A (en) | 2007-03-29 |
Family
ID=37941599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005266074A Withdrawn JP2007081755A (en) | 2005-09-13 | 2005-09-13 | Image data conversion apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007081755A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011244330A (en) * | 2010-05-20 | 2011-12-01 | Sharp Corp | Frame rate conversion method and device |
-
2005
- 2005-09-13 JP JP2005266074A patent/JP2007081755A/en not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011244330A (en) * | 2010-05-20 | 2011-12-01 | Sharp Corp | Frame rate conversion method and device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2151996B1 (en) | Image signal processing unit and method of processing image signal | |
JP2005175671A (en) | Noise reduction circuit and method | |
US20050024534A1 (en) | Video signal conversion apparatus | |
US7295245B2 (en) | Method and apparatus for converting frame rate using time shifting and motion compensation | |
JP2005318612A (en) | Block mode adaptive motion compensation | |
JP2005167887A (en) | Dynamic image format conversion apparatus and method | |
US20140028909A1 (en) | Method for converting frame rate and video processing apparatus using the same | |
JP2013030862A (en) | Image processing apparatus, image processing method, and image display apparatus | |
JP3596521B2 (en) | Image signal processing apparatus and method | |
JP5177828B2 (en) | Image rate conversion method and image rate conversion apparatus | |
JP2584138B2 (en) | Television system converter | |
JP2007081755A (en) | Image data conversion apparatus | |
GB2281835A (en) | Phase locking system for video signals | |
KR20030091804A (en) | Video signal processing device | |
EP1606954B1 (en) | Arrangement for generating a 3d video signal | |
JP4847688B2 (en) | Interlace-progressive converter and conversion method thereof | |
JP2012227799A (en) | Image display device | |
JP5207866B2 (en) | Video signal processing method and video signal processing apparatus | |
JP2007300568A (en) | Video signal processing device | |
JP4230903B2 (en) | Video signal processing apparatus and video signal processing method | |
JP2002300537A (en) | Video frequency converter | |
JPWO2009098895A1 (en) | Video signal processing method, integrated circuit, and video reproduction apparatus | |
JP2007336239A (en) | Digital broadcast receiving apparatus and digital broadcast signal storage / playback method | |
JPH0795441A (en) | Television signal processing system | |
JP2010041633A (en) | Video signal processing apparatus, video display, and video signal processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20081202 |