JP2006115340A - Image filter circuit and filtering processing method - Google Patents
Image filter circuit and filtering processing method Download PDFInfo
- Publication number
- JP2006115340A JP2006115340A JP2004302091A JP2004302091A JP2006115340A JP 2006115340 A JP2006115340 A JP 2006115340A JP 2004302091 A JP2004302091 A JP 2004302091A JP 2004302091 A JP2004302091 A JP 2004302091A JP 2006115340 A JP2006115340 A JP 2006115340A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image data
- color difference
- image
- phase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims description 6
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000010363 phase shift Effects 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000009467 reduction Effects 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 abstract description 39
- 238000012888 cubic function Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Color Television Systems (AREA)
- Television Systems (AREA)
- Processing Of Color Television Signals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、画像データから補間画像データを生成する画像フィルタに関し、詳しくは、4:2:2フォーマットの画像データの画像スケーリング処理、高効率符号化方式の変換処理を一つの回路で実現する画像フィルタ回路及びフィルタリング処理方法に関する。 The present invention relates to an image filter that generates interpolated image data from image data, and more specifically, an image that realizes image scaling processing of 4: 2: 2 format image data and conversion processing of a high-efficiency encoding method with a single circuit. The present invention relates to a filter circuit and a filtering processing method.
地上波デジタルテレビ放送の普及などに伴い、デジタル映像信号に関する技術が注目されている。映像信号は、コンポーネント信号と呼ばれる輝度信号Yと、2つの色差信号Cb,Crによって構成されている。 With the spread of terrestrial digital television broadcasting, the technology related to digital video signals has attracted attention. The video signal is composed of a luminance signal Y called a component signal and two color difference signals Cb and Cr.
一般に人間の視覚特性は、輝度信号Yと比較して、色差信号Cb,Crに対して感度が低いため、色差信号について間引いた信号を用い、符号化情報量を低減させることができる。そこで、コンポーネント信号としては、輝度信号Yに対して色差信号Cb,Crを間引くことなく用意した4:4:4フォーマットに対して、水平方向の色差信号Cb,Crを輝度信号Yの1/2のサイズとした4:2:2フォーマット、さらに垂直方向の色差信号Cb,Crを輝度信号Yの1/2のサイズとした4:2:0フォーマットなどが規定されている。 In general, human visual characteristics are less sensitive to the color difference signals Cb and Cr than the luminance signal Y. Therefore, the amount of encoded information can be reduced by using a signal obtained by thinning out the color difference signals. Therefore, as the component signal, the color difference signals Cb and Cr in the horizontal direction are ½ of the luminance signal Y with respect to the 4: 4: 4 format prepared without thinning out the color difference signals Cb and Cr with respect to the luminance signal Y. The 4: 2: 2 format is used, and the 4: 2: 0 format is used in which the color difference signals Cb and Cr in the vertical direction are half the size of the luminance signal Y.
具体的には、4:2:2フォーマットでは、各走査線の輝度信号2サンプルに対して、色差信号1サンプルが配置されることになり、4:2:0フォーマットでは、垂直方向の輝度信号2サンプルに対して色差信号1サンプルが配置される。このような、コンポーネント信号をデジタル符号化することでデジタル映像信号が生成されることになる。 Specifically, in the 4: 2: 2 format, one sample of the color difference signal is arranged for two samples of the luminance signal of each scanning line, and in the 4: 2: 0 format, the luminance signal in the vertical direction. One sample of the color difference signal is arranged for two samples. A digital video signal is generated by digitally encoding such a component signal.
放送、通信、蓄積メディアなどで用いられるデジタル映像信号は、一般に、MPEG(Moving Picture Expert Group)技術によって、限られた周波数帯域幅での伝送を可能とするため高能率符号化、いわゆる圧縮符号化されている。例えば、MPEGは、主にCD−ROM(Compact Disk-Read Only Memory)、HD(Hard Disk)といった1.5Mbit/s程度の伝送レートを有するデジタル蓄積メディア用の画像音響符号化方式であるMPEG−1方式や、デジタル放送や、蓄積メディア、通信など汎用的に利用でき、さらに高ビットレートでの伝送を可能とした高品質の画像データを対象にしたMPEG−2方式などが標準化され、広く普及している。 Digital video signals used in broadcasting, communication, storage media, etc. are generally highly efficient encoding, so-called compression encoding, in order to enable transmission over a limited frequency bandwidth using MPEG (Moving Picture Expert Group) technology. Has been. For example, MPEG is an image-acoustic encoding method for digital storage media having a transmission rate of about 1.5 Mbit / s such as CD-ROM (Compact Disk-Read Only Memory) and HD (Hard Disk). MPEG-2 system for high-quality image data that can be used for general purposes such as 1 system, digital broadcasting, storage media, communication, and transmission at a high bit rate has been standardized and widely spread is doing.
ところでMPEG−2では、輝度信号(Y)・色差信号(Cr、Cb)フォーマットとして、4:2:0、4:2:2、4:4:4の3つのフォーマットを使用することができる。中でも、4:2:2フォーマットは、国際電気通信連合(ITU)の無線通信セクタ(ITU−R)においてITU−R勧告601として規定されており、スタジオ内などの業務用として用いられることが多く、4:2:0フォーマットに較べて高画質なフォーマットとなっている。テレビ信号の高能率符号化には、MPEG−2方式が主に利用されている。なお、MPEG−1では、4:2:0フォーマットの画像のみを扱うことができる。 By the way, in MPEG-2, three formats of 4: 2: 0, 4: 2: 2, and 4: 4: 4 can be used as the luminance signal (Y) / chrominance signal (Cr, Cb) format. In particular, the 4: 2: 2 format is defined as ITU-R Recommendation 601 in the International Telecommunications Union (ITU) radio communication sector (ITU-R) and is often used for business purposes in studios and the like. The format is higher in quality than the 4: 2: 0 format. The MPEG-2 system is mainly used for high-efficiency encoding of television signals. In MPEG-1, only 4: 2: 0 format images can be handled.
ところで、デジタル映像信号は、高画質な映像を出力するためにMPEG−2方式で高能率符号化するのが主流となっており、映像信号処理装置としても、4:2:2フォーマットのMPEG−2方式で高能率符号化されたデジタル映像信号に対応した回路構成となっている。 By the way, high-efficiency encoding of digital video signals by MPEG-2 method is mainly used to output high-quality video. As a video signal processing apparatus, MPEG-2 in 4: 2: 2 format is used. The circuit configuration corresponds to a digital video signal that is highly efficient encoded by two methods.
しかしながら、CD−ROMやHDなどに記録された映像コンテンツなどは、MPEG−1方式で高能率符号化されているため、別途、MPEG−1方式で高能率符号化されたデジタル映像信号を処理するための回路が必要となってしまい、回路規模が増大してしまう。そこで、従来の映像信号処理装置は、4:2:0フォーマットであるMPEG−1方式のデジタル映像信号を、4:2:2フォーマットに変換し、さらにMPEG1方式からMPEG−2方式に変換するMPEG変換処理回路を備えた構成となっている。 However, since video content recorded on a CD-ROM or HD is highly efficient encoded by the MPEG-1 system, a digital video signal that has been encoded by the MPEG-1 system is processed separately. Therefore, the circuit for this will be needed and the circuit scale will increase. Therefore, the conventional video signal processing apparatus converts the MPEG-2 system digital video signal in the 4: 2: 0 format into the 4: 2: 2 format, and further converts the MPEG1 system into the MPEG-2 system. The conversion processing circuit is provided.
具体的には、4:2:0フォーマットのMPEG−1方式のデジタル映像信号をデコードすると、xy平面上に配置された輝度データY、色差データCb,Crは、図12に示すようになる。これを、まず、図13に示すように4:2:2フォーマットに変換する。4:2:2フォーマットのMPEG−2方式のデジタル映像信号をデコードすると、図14に示すように、図13に示す輝度データYと、色差データCr、Cbとの位相関係と異なる位相関係になってしまう。 Specifically, when a 4: 2: 0 format MPEG-1 digital video signal is decoded, luminance data Y and color difference data Cb and Cr arranged on the xy plane are as shown in FIG. This is first converted into 4: 2: 2 format as shown in FIG. When a 4: 2: 2 format MPEG-2 digital video signal is decoded, as shown in FIG. 14, the phase relationship is different from the phase relationship between the luminance data Y and the color difference data Cr and Cb shown in FIG. End up.
したがって、図13に示すような輝度データYと、色差データCb,Crとの位相関係を、図14に示すようなMPEG−2方式のデジタル映像信号をデコードした輝度データYと、色差データCb,Crとの位相関係に揃えてやる必要がある。そこで、従来の映像信号処理装置が備えるMPEG変換処理回路では、図15に示すように、隣接する2点の色差データ、例えば、色差データD1、色差データD2からリニア補間を実行して色差データD2’を生成する。補間前輝度データ(Y Source data)と、補間前色差データ(C Source data)の隣り合うデータ同士の間隔を1に正規化すると、補間後色差データ(C destination data)は、Dn’=Dn×0.25+D(n+1)×0.75 (n=1,2,3・ ・ ・)というような一般式で表すことができる。 Therefore, the phase relationship between the luminance data Y as shown in FIG. 13 and the color difference data Cb, Cr is represented by the luminance data Y obtained by decoding the MPEG-2 digital video signal as shown in FIG. It is necessary to align with the phase relationship with Cr. Therefore, in the MPEG conversion processing circuit provided in the conventional video signal processing apparatus, as shown in FIG. 15, the color difference data D2 is obtained by executing linear interpolation from two adjacent color difference data, for example, the color difference data D1 and the color difference data D2. Generate '. When the interval between adjacent data of the luminance data before interpolation (Y Source data) and the color difference data before interpolation (C Source data) is normalized to 1, the color difference data after interpolation (C destination data) becomes Dn ′ = Dn × 0.25 + D (n + 1) × 0.75 (n = 1, 2, 3,...)
このようにMPEG変換処理回路は、輝度データYと、色差データCb,Crの位相合わせをすることで、MPEG−1方式のデジタル映像信号を、MPEG−2方式のデジタル映像信号に変換していた。 As described above, the MPEG conversion processing circuit converts the MPEG-1 digital video signal into the MPEG-2 digital video signal by aligning the phases of the luminance data Y and the color difference data Cb and Cr. .
一方、映像信号処理装置は、上述したMPEG変換処理回路以外に、画像処理の一機能として画像を縮小又は拡大する縮小拡大処理を実行して画像のサイズを変更する画像スケーリング回路を備えている。画像スケーリング回路は、補間フィルタを備えており、画像を縮小する場合は、元の画像データの画素数を、この補間フィルタを通して減少させ、逆に画像を拡大する場合は、元の画像データの画素数を、この補間フィルタを通して増加させる。このような画像スケーリング回路では、極力、元の画像の画質を劣化させずに縮小、拡大処理を実行するように、例えば、Cubic関数などの近似曲線アルゴリズムを使ったポリフェーズフィルタなどを補間フィルタとして用いることが知られている(特許文献1参照。)。 On the other hand, in addition to the above-described MPEG conversion processing circuit, the video signal processing apparatus includes an image scaling circuit that executes a reduction / enlargement process for reducing or enlarging an image as a function of image processing to change the size of the image. The image scaling circuit includes an interpolation filter. When the image is reduced, the number of pixels of the original image data is decreased through the interpolation filter. Conversely, when the image is enlarged, the pixels of the original image data are provided. The number is increased through this interpolation filter. In such an image scaling circuit, for example, a polyphase filter using an approximate curve algorithm such as a Cubic function is used as an interpolation filter so as to perform reduction and enlargement processing without degrading the image quality of the original image as much as possible. It is known to use (refer patent document 1).
図16に、上述したようなMPEG変換処理回路と、ポリフェーズフィルタである画像スケーリング回路とを備えている従来の映像信号処理装置100の概略構成を示す。図16に示すように、映像信号処理装置100は、輝度データに対する処理を実行する輝度データ処理系と、色差データに対する処理を実行する色差データ処理系とがあり、補間前輝度データ(Y Source data)、補間前色差データ(C Source data)に対して画像スケーリング処理を施すポリフェーズフィルタである画像スケーリング回路102、104をそれぞれ個別に備えている。
FIG. 16 shows a schematic configuration of a conventional video
また、上述したようにMPEG変換処理は、補間前色差データに対してのみ実行すればよいので、画像スケーリング回路104の前段にMPEG変換処理回路103が設けられている。さらに、輝度データ処理系には、色差データ処理系に、MPEG変換処理回路103が設けられていることによるレイテンシ(遅延)を調節するためのシフトレジスタ101が設けられている。
Further, as described above, the MPEG conversion processing need only be executed for the color difference data before interpolation, and therefore, the MPEG
このように、従来までの映像信号処理装置100では、MPEG−1方式で高能率符号化されたデジタル映像信号を再生する際にMPEG−2方式に変換するため、色差データCb,Crに対しては、MPEG変換処理回路103、画像のスケーリングを変更する画像スケーリング回路104をそれぞれ個別に備えた構成となっていたため回路規模が増大してしまうといった問題があった。
As described above, the conventional video
そこで、本発明は、上述したような問題を解決するために案出されたものであり、上述したようなMPEG変換処理回路が備える高効率符号化方式の変換処理機能と、画像スケーリング回路の備える画像スケーリング処理機能とを兼ね備えることで回路規模を大幅に削減した画像フィルタ回路及びフィルタリング処理方法を提供することを目的とする。 Therefore, the present invention has been devised to solve the above-described problems, and includes a conversion processing function of a high-efficiency encoding method provided in the above-described MPEG conversion processing circuit and an image scaling circuit. An object of the present invention is to provide an image filter circuit and a filtering processing method in which the circuit scale is greatly reduced by combining the image scaling processing function.
上述の目的を達成するために、本発明に係る画像フィルタ回路は、輝度データ、色差データからなる4:2:2フォーマットの画像データから、上記画像データの拡大率又は縮小率によって決まる位相データに基づいた補間演算処理をすることで上記画像データ間の補間画像データを生成する補間演算処理手段と、第1の高効率符号化方式に対応する4:2:2フォーマットの第1の画像データの色差データと、第2の高効率符号化方式に対応する4:2:2フォーマットの第2の画像データの色差データとの所定の位相ずれ分を、上記位相データに加算する加算手段と、上記第1の画像データから上記第2の画像データへの変換、又は上記第2の画像データから上記第1の画像データへの変換が指示されたことに応じて、上記加算手段による出力を選択し、上記位相ずれ分が加算された上記位相データを上記補間演算処理手段に供給する選択手段とを備え、上記補間演算処理手段は、上記位相ずれ分が加算された上記位相データに基づいて、上記色差データ間の補間色差データを生成することを特徴とする。 In order to achieve the above object, an image filter circuit according to the present invention converts from 4: 2: 2 format image data including luminance data and color difference data to phase data determined by the enlargement ratio or reduction ratio of the image data. Interpolating arithmetic processing means for generating interpolated image data between the image data by performing interpolating arithmetic processing based on the first image data in the 4: 2: 2 format corresponding to the first high-efficiency encoding method Adding means for adding a predetermined phase shift between the color difference data and the color difference data of the second image data in the 4: 2: 2 format corresponding to the second high-efficiency encoding method to the phase data; When the conversion from the first image data to the second image data or the conversion from the second image data to the first image data is instructed, the adding means Selection means for selecting the output and supplying the phase data to which the phase shift is added to the interpolation calculation processing means, and the interpolation calculation processing means adds the phase data to the phase data to which the phase shift has been added. Based on this, interpolated color difference data between the color difference data is generated.
また、上述の目的を達成するために本発明に係るフィルタリング処理方法は、輝度データ、色差データからなる4:2:2フォーマットの画像データから、上記画像データの拡大率又は縮小率によって決まる位相データに基づいた補間演算処理をすることで上記画像データ間の補間画像データを生成する補間演算処理工程と、第1の高効率符号化方式に対応する4:2:2フォーマットの第1の画像データの色差データと、第2の高効率符号化方式に対応する4:2:2フォーマットの第2の画像データの色差データとの所定の位相ずれ分を、上記位相データに加算する加算工程と、上記第1の画像データから上記第2の画像データへの変換、又は上記第2の画像データから上記第1の画像データへの変換が指示されたことに応じて、上記加算工程による出力を選択し、上記位相ずれ分が加算された上記位相データを上記補間演算処理工程に供給する選択工程とを備え、上記補間演算処理工程は、上記位相ずれ分が加算された上記位相データに基づいて、上記色差データ間の補間色差データを生成することを特徴とする。 In order to achieve the above-described object, the filtering processing method according to the present invention includes phase data determined by a magnification ratio or a reduction ratio of image data from 4: 2: 2 format image data including luminance data and color difference data. An interpolation calculation process for generating interpolated image data between the image data by performing an interpolation calculation process based on the first image data in the 4: 2: 2 format corresponding to the first high-efficiency encoding method An addition step of adding a predetermined amount of phase shift between the color difference data of the image data and the color difference data of the second image data in the 4: 2: 2 format corresponding to the second high-efficiency encoding method to the phase data; In response to an instruction for conversion from the first image data to the second image data, or from the second image data to the first image data, the addition is performed. And selecting the output by the step, and supplying the phase data to which the phase shift is added to the interpolation calculation processing step, and the interpolation calculation processing step includes the phase to which the phase shift is added. Interpolated color difference data between the color difference data is generated based on the data.
本発明は、画像スケーリング処理、高効率符号化方式の変換処理を、従来までの画像スケーリング回路である画像フィルタ回路にて同時に実現することができるため、大幅な回路削減が実現可能となると共に、不要になった回路分のシステムレイテンシを削減することを可能とする。 In the present invention, since image scaling processing and conversion processing of a high-efficiency encoding method can be realized simultaneously with an image filter circuit that is a conventional image scaling circuit, a significant circuit reduction can be realized, This makes it possible to reduce the system latency for circuits that are no longer needed.
以下、本発明を実施するための最良の形態について、図面を参照して詳細に説明をする。なお、本発明は、以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることはいうまでもない。 Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the drawings. In addition, this invention is not limited to the following examples, It cannot be overemphasized that it can change arbitrarily in the range which does not deviate from the summary of this invention.
{映像信号処理装置の装置構成}
図16で示したように、従来の映像信号処理装置100は、MPEG変換処理と、画像スケーリング処理を実行するために、色差データCb,Crに対する処理を実行する色差データ処理系において、それぞれ専用のMPEG変換処理回路103、画像スケーリング回路104を備えていた。また、映像信号処理装置100は、MPEG変換処理回路103が備えられたことに応じて、輝度データYに対する処理を実行する輝度データ処理系において、シフトレジスタ101を設けることが必須となってしまっており大幅な回路規模の増大を余儀なくされていた。
{Device configuration of video signal processing device}
As shown in FIG. 16, the conventional video
ここで、映像信号処理装置100が備える輝度データ処理系の画像スケーリング回路102と、色差データ処理系の画像スケーリング回路104について説明をする。画像スケーリング回路102、104は、例えば、Cubic関数を用いたポリフェーズフィルタである。このポリフェーズフィルタは、4タップ(tap)のFIR(Finite Impulse Response)フィルタで構成されているとする。
Here, the luminance data processing
ポリフェーズフィルタは、補間前データ(Source data)間の任意の位置に、補間後データ(Destination data)を生成する補間フィルタである。例えば、ポリフェーズフィルタを用いると、図1に示すように、補間前データであるデータsrc(1)と、データsrc(2)との間に、データsrc(1)からphaseで示される位相分だけずれた位置に補間後データであるデータdst(1)を生成することができる。 The polyphase filter is an interpolation filter that generates post-interpolation data (Destination data) at an arbitrary position between pre-interpolation data (Source data). For example, when a polyphase filter is used, as shown in FIG. 1, between the data src (1) and the data src (2) which are pre-interpolation data, the phase component indicated by phase from the data src (1) is obtained. Data dst (1), which is post-interpolation data, can be generated at a position shifted by a distance.
ここで使用するポリフェーズフィルタは、4タップフィルタであることから、タップ数分、つまり4つの補間フィルタ係数(Cubic係数)が必要となる。補間フィルタ係数は、図1に示すように、近似補間関数であるCubic関数の基準点(中心)を、補間データを生成する位置に合わせたときの、補間前データの位置におけるインパルス応答に相当する。 Since the polyphase filter used here is a 4-tap filter, the number of taps, that is, four interpolation filter coefficients (Cubic coefficients) are required. As shown in FIG. 1, the interpolation filter coefficient corresponds to the impulse response at the position of the pre-interpolation data when the reference point (center) of the Cubic function, which is an approximate interpolation function, is aligned with the position where the interpolation data is generated. .
この4つの補間フィルタ係数を重みとして、4つの補間前データに重み付けをして演算を施すことで、1つの補間後データを生成することができる。 One post-interpolation data can be generated by weighting the four pre-interpolation data using these four interpolation filter coefficients and performing an operation.
例えば、図2に示すように、補間フィルタ係数k1は、Cubic関数の基準点からのずれであるphaseをxとした場合に、(|x|−1)(|x|2−|x|−1|)というCubic関数に代入することで求めることができる。同様に残りの補間フィルタ係数k0、k2、k3もCubic関数から算出することができる。このとき、Cubic関数のゼロクロスするポイント間を補間前データのピッチに合わせることで、補間前データ間を1で正規化し、phaseを求める補間後データの位相と等価にすることができる。
For example, as shown in FIG. 2, the interpolation filter coefficient k1 is (| x | −1) (| x | 2 − | x | −) where x is a phase that is a deviation from the reference point of the Cubic function. It can be obtained by substituting it into the
このように、phaseが求まれば、Cubic関数を用いて補間フィルタ係数が算出され、自動的に補間後データを生成することができる。このphaseは、図1に示すように、補間前データを拡大する際の拡大率、又は縮小する際の縮小率の逆数であり、累積加算することで補間後データの画素位置を決定するdeltaと、補間前データの端部、補間後データの端部における位相のずれを示したoffsetとの関係から算出することができる。 Thus, if phase is obtained, interpolation filter coefficients are calculated using the Cubic function, and post-interpolation data can be automatically generated. As shown in FIG. 1, this phase is an enlargement rate when the pre-interpolation data is enlarged or a reciprocal of the reduction rate when the reduction is performed, and is a cumulative delta that determines the pixel position of the post-interpolation data. It can be calculated from the relationship between the end of the pre-interpolation data and the offset indicating the phase shift at the end of the post-interpolation data.
なお、補間後データの画素位置は、deltaを累積加算することで算出されるため、deltaが補間前データ間のピッチよりも長い場合、補間前データの数より、生成される補間後データの数が少なくなるため縮小処理となる。一方、deltaが補間前データ間のピッチよりも短い場合、補間前データの数より、生成される補間後データの数が多くなるため拡大処理となる。 Note that the pixel position of the post-interpolation data is calculated by accumulatively adding delta, so if delta is longer than the pitch between the pre-interpolation data, the number of post-interpolation data generated is greater than the number of pre-interpolation data. Therefore, reduction processing is performed. On the other hand, when delta is shorter than the pitch between pre-interpolation data, the number of post-interpolation data to be generated is larger than the number of pre-interpolation data.
以上のようにして、ポリフェーズフィルタである画像スケーリング回路102、104は、4個の補間前データと、phaseにより補間後データを生成し、画像の拡大又は縮小といった画像スケーリングを実現することになる。
As described above, the
このような処理を実現するために画像スケーリング回路102、104は、それぞれ図3(a)、(b)に示すような構成となっている。
In order to realize such processing, the
図3(a)に示すように、ポリフェーズフィルタである画像スケーリング回路102は、補間前輝度データをシフトさせるシフトレジスタ111、deltaを累積加算してphaseを求めるデルタアキュムレータ112、シフトレジスタ111から供給される4個の補間前輝度データと、アキュムレータ112から供給されるphaseを用いて、キュービック関数より、補間後輝度データを生成するキュービック関数ブロック113とを備えている。
As shown in FIG. 3A, the
また、画像スケーリング回路104は、補間前色差データをシフトさせるシフトレジスタ121、deltaを累積加算してphaseを求めるデルタアキュムレータ122、シフトレジスタ121から供給される4個の補間前色差データと、アキュムレータ122から供給されるphaseを用いて、キュービック関数より、補間後色差データを生成するキュービック関数ブロック123とを備えている。なお、シフトレジスタ121は、色差データCb,Crを交互に入力するため、シフトレジスタ111よりもフリップフロップの段数が多くなっている。
The
ところで、図16に示したように、従来の技術の映像信号処理装置100が備えるMPEG変換処理回路103では、MPEG−1方式のデジタル映像信号をデコードして、4:2:0フォーマットから4:2:2フォーマットへ変換した図13に示す画像データの色差データCb,Crをリニア補間することで輝度データYとの位相を揃えていた。
By the way, as shown in FIG. 16, the MPEG
なお、MPEG−1方式では、4:2:0フォーマットしか規定されていないが、説明のため、図12に示す4:2:0フォーマットの画像データを変換した、図13に示す4:2:2フォーマットの画像データをMPEG−1方式の4:2:2フォーマットと呼ぶことにする。 In the MPEG-1 system, only the 4: 2: 0 format is defined, but for the sake of explanation, the 4: 2: 0 format image data shown in FIG. 12 is converted, and the 4: 2: format shown in FIG. 13 is converted. The 2-format image data is referred to as the MPEG-1 4: 2: 2 format.
上述したように画像スケーリング回路104は、補間前色差データの任意の位置に、つまり任意の位相に補間後色差データを生成することができるポリフェーズフィルタである。したがって、このポリフェーズフィルタは、MPEG−1方式の4:2:2フォーマットの画像データの色差データCb,Crの位相を、輝度データYの位相と揃うようにフィルタリングすることもできると考えられる。つまり、ポリフェーズフィルタによって、画像のスケーリングを実行することはもちろんのこと、従来までは、MPEG変換処理回路103で担っていたMPEG−1方式からMPEG−2方式へと変換させることもできると考えられる。
As described above, the
そこで、本発明を実施するための最良の形態として示す映像信号処理装置では、色差データCb,Crを処理する色差データ処理系に関して、図4に示すようなMPEG方式の変換機能を備えたポリフェーズフィルタ10を備えるものとする。
Therefore, in the video signal processing apparatus shown as the best mode for carrying out the present invention, a polyphase having an MPEG conversion function as shown in FIG. 4 is used for the color difference data processing system for processing the color difference data Cb and Cr. Assume that a
図4に示すように、ポリフェーズフィルタ10は、補間前色差データをシフトさせるシフトレジスタ11、deltaを累積加算してphaseを求めるデルタアキュムレータ12、シフトレジスタ11から供給される4個の補間前色差データと、デルタアキュムレータ12から供給されるphaseを用いて、Cubic関数により、補間後色差データを生成するキュービック関数ブロック13と、offsetに固定値(例えば、0.75)を加算する加算器14と、offset又は固定値を加算されたoffsetのいずれかをセレクトし、デルタアキュムレータ12に供給するセレクタ15とを備えている。このように、ポリフェーズフィルタ10は、図3(b)で示した従来の画像スケーリング回路104に、加算器14と、セレクタ15とを加えた構成となっている。
As shown in FIG. 4, the
以下に、図3(b)に示した画像スケーリング回路104に加算器14と、セレクタ15とを備えたことで、ポリフェーズフィルタ10が、画像スケーリング機能に加え、MPEG方式の変換をも実行できることについて説明をする。
In the following, the
図5は、図13に示すMPEG−1方式の4:2:2フォーマットの画像データの水平方向の輝度データY、色差データCr、Cbを1ラインずつ抽出した様子を示している。輝度データYを補間前輝度データとし、色差データCb,Crを補間前色差データとする。このようなMPEG−1方式の画像データを、ポリフェーズフィルタ10にてMPEG−2方式に変換する場合、ポリフェーズフィルタ10を介して生成される補間後色差データを、図5に示すように、補間前輝度データと同じ位相に一つ置きで配置されるようにすればよい。
FIG. 5 shows a state where the horizontal luminance data Y and the color difference data Cr and Cb of the MPEG-1 4: 2: 2 format image data shown in FIG. 13 are extracted line by line. The luminance data Y is pre-interpolation luminance data, and the color difference data Cb and Cr are pre-interpolation color difference data. When such MPEG-1 format image data is converted into the MPEG-2 format by the
図1、図2を用いて説明したように、Cubic関数を用いる場合、Cubic関数のゼロクロスするポイント間を補間前データのピッチに合わせることで、補間前データ間を1で正規化し、phaseを求める補間後データの位相と等価にすることができる。したがって、補間前色差データC3に着目すると、輝度データYと同一位相である補間後色差データC3’とするには、0.25だけ左水平方向に位相をシフトすればよいことが分かる。 As described with reference to FIGS. 1 and 2, when the Cubic function is used, the data before interpolation is normalized by 1 by matching the zero crossing point of the Cubic function with the pitch of the data before interpolation, and the phase is obtained. It can be equivalent to the phase of the data after interpolation. Therefore, focusing on the color difference data C3 before interpolation, it can be seen that the phase difference in the left horizontal direction should be shifted by 0.25 to obtain the color difference data C3 'after interpolation having the same phase as the luminance data Y.
つまり、図2で示したphaseを0.75とすれば、このphaseと、4個の補間前色差データC1、C2、C3、C4を用いれば、ポリフェーズフィルタ10にて補間後色差データC3’を生成することができる。
That is, if the phase shown in FIG. 2 is 0.75, if this phase and the four pre-interpolation color difference data C1, C2, C3, and C4 are used, the
図4に示すポリフェーズフィルタ10では、加算器14でoffsetに0.75を加算し、MPEG−1方式から、MPEG−2方式へと変換する場合には、セレクタ15で、0.75を加算したoffsetを選択し、MPEG方式の変換をしない場合には、offsetを選択するようにしている。また、図6に示すポリフェーズフィルタ10’のように、デルタアキュムレータ12からの出力であるphaseに0.75を加算するような構成とした場合でも全く同じである。
In the
図5では、deltaを1として拡大処理、縮小処理を実行せずに、MPEG−1方式からMPEG−2方式への変換を実行している場合を示しており、図4、図6に示すポリフェーズフィルタ10、ポリフェーズフィルタ10’それぞれにおいてdeltaを1、offsetをゼロとし、0.75が加算された信号をセレクタ15で選択すれば、キュービック関数ブロック13にはphaseとして0.75が供給されることになる。これにより、ポリフェーズフィルタ10を介してフィルタリングされた補間後色差データは、MPEG−2方式の色差データの位相に変換されることになる。
FIG. 5 shows a case where conversion from the MPEG-1 system to the MPEG-2 system is executed without executing the enlargement process and the reduction process with delta being 1, and the poly-types shown in FIGS. In the
このように、ポリフェーズフィルタ10は、MPEG−1方式の4:2:2フォーマットの画像データを、MPEG−2方式の4:2:2フォーマットの画像データへと変換することができる。
As described above, the
つまり、ポリフェーズフィルタ10は、deltaを等倍として1を与えてやると、単にMPEG−1方式の4:2:2フォーマットの画像データを、MPEG−2方式の4:2:2フォーマットの画像データに変換する。
In other words, if the
また、deltaに、縮小、拡大をさせるような値を与えてやれば、上述したMPEG−1方式からMPEG−2方式の変換に加えて、通常の画像スケーリングを同時に実行することができる。例えば、図7では、delta=2を与えたため、縮小率1/2の縮小処理と同時に、MPEG−1方式からMPEG−2方式への変換を実行することができる。 Further, if a value for reducing or enlarging is given to delta, normal image scaling can be executed simultaneously in addition to the conversion from the MPEG-1 system to the MPEG-2 system described above. For example, in FIG. 7, since delta = 2 is given, conversion from the MPEG-1 system to the MPEG-2 system can be executed simultaneously with the reduction process with a reduction ratio of 1/2.
{端部処理について}
続いて、画像スケーリングを実行する際の端部処理について説明をする。4つの補間データから1つの補間後データを生成し、画像スケーリングする際、つまり補間演算処理をする際には、画像の左端、右端、つまり有効画像データの開始点及び終了点を、どの補間前データを用いて生成するかが重要となる。この端部処理には、画像の切り出し方によって様々な手法が考案されているが、一般には、図8に示すように、最初の有効画像データを重複して用いて、輝度データY1,Y1,Y2,Y3から補間後輝度データY1’、色差データC1,C1,C2,C3から補間後色差データC1’を生成している。図3(a),(b)に示した従来のポリフェーズフィルタである画像スケーリング回路102,104でも画像スケーリングの際には、このような端部処理が実行されることになる。
{End processing}
Next, edge processing when executing image scaling will be described. When one post-interpolation data is generated from four interpolation data and image scaling is performed, that is, when interpolation calculation processing is performed, the left end and right end of the image, that is, the start point and end point of the effective image data are determined before any interpolation. It is important to generate using data. Various methods have been devised for the edge processing depending on how the image is cut out. In general, as shown in FIG. 8, the first effective image data is used in duplicate and the luminance data Y1, Y1, Interpolated luminance data Y1 ′ is generated from Y2 and Y3, and post-interpolated color difference data C1 ′ is generated from the color difference data C1, C1, C2 and C3. In the
ところで、本発明のポリフェーズフィルタ10では、上述したように、MPEG−1方式の4:2:2フォーマットの画像データを、MPEG−2方式の4:2:2フォーマットの画像データへと変換することができるが、このときの色差データの端部処理を、図9に示すように実行する。つまり、左端にある有効画像データである色差データC1に対応した補間後色差データC1’を生成する場合には、4個の補間前色差データのうち、この色差データC1を3個用いた、色差データC1,C1,C1,C2を用いることにする。
By the way, as described above, the
{MPEG−2方式→MPEG−1方式}
実際には、あまり使用されることはないが、このポリフェーズフィルタ10では、MPEG−2方式の4:2:2:フォーマットの画像データを、MPEG−1方式の4:2:2フォーマットの画像データに変換することもできる。
{MPEG-2 system → MPEG-1 system}
In practice, this
MPEG−2方式からMPEG−1方式に変換するには、輝度データを右方向に0.25だけシフトすればよいので、図10に示すように、ポリフェーズフィルタ10に初期phaseとして0.25を与えればよいことになる。端部においては、左端にある有効画像データである輝度データC1に対応した補間後色差データC1’を生成する際に、4個の補間前色差データのうち、この色差データC1を2個用いた、色差データC1,C1,C2,C3を用いることになる。
In order to convert from the MPEG-2 system to the MPEG-1 system, it is only necessary to shift the luminance data to the right by 0.25. Therefore, as shown in FIG. 10, the
つまり、MPEG−1方式からMPEG−2方式への変換と同様に、ポリフェーズフィルタ10に対して、deltaを等倍として1を与えてやると、単にMPEG−2方式の4:2:2フォーマットの画像データを、MPEG−1方式の4:2:2フォーマットの画像データに変換する。また、deltaに縮小、拡大をさせるような値を与えてやれば、上述したMPEG−2方式からMPEG−1方式の変換に加えて、通常の画像スケーリングを同時に実行することができる。
That is, similarly to the conversion from the MPEG-1 system to the MPEG-2 system, if 1 is given to the
{ポリフェーズフィルタ10の実装例}
続いて、図4に示したポリフェーズフィルタ10の実装例について説明をする。例えば、ポリフェーズフィルタ10は、図11に示す集積回路50に実装される。図11に示す集積回路50は、アキュムレートデルタ(Accumulate Delta)51と、データシフタ52と、キュービックファンクション(Cubic Function)53と、ディレイ(2ck Delay)54と、セレクタ55と、ディレイ(1ck Delay)56とを備えている。
{Implementation example of polyphase filter 10}
Subsequently, an implementation example of the
アキュムレートデルタ51は、図4に示すデルタアキュムレータ12、セレクタ15、加算器14に相当し、deltaとしてhppf_delta、offsetとしてhppf_offsetが入力されることでphaseであるphase_hcを生成する。このアキュムレートデルタ51は、図示しないCPUによってレジスタmpeg1_mode=1と設定されたことに応じて、図4に示したセレクタ15を加算器14からの出力となるように切り換えることになる。これにより、MPEG−1方式の4:2:2フォーマットの画像データを、MPEG−2方式の4:2:2フォーマットの画像データに変換することができる。
The accumulating delta 51 corresponds to the
データシフタ52は、図4に示すシフトレジスタ11に相当し、キュービックファンクション53は、図4に示すキュービック関数ブロック13に相当する。また、ディレイ54は、色差データCb,Crによるレイテンシを調整し、ディレイ56は、輝度データYと、色差データCb,Crとのレイテンシ調整する。
The data shifter 52 corresponds to the
なお、図11にポリフェーズフィルタ10の実装例として示した集積回路50は、一例であって、本発明を限定するものではない。
Note that the
このようにして、ポリフェーズフィルタ10は、MPEG変換処理と、画像スケーリング処理を実行するために、色差データCb,Crに対する処理を実行する色差データ処理系において、図16に示すように従来の映像信号処理装置100が備えていたMPEG変換処理回路103、画像スケーリング回路104で実行される機能を、ポリフェーズフィルタ10のみにて実行することができる。
In this way, the
これにより、このようなポリフェーズフィルタ10を備えた場合、映像信号処理装置は、MPEG変換処理、画像スケーリング処理が実行できることをそのままとしながら、大幅な回路削減並びに当該映像信号処理装置のシステムレイテンシを削減することができる。
As a result, when such a
なお、本発明は、MPEG−1方式、MPEG−2方式といった高効率符号化方式の種別に限定されるものではなく、4:2:2フォーマットにおける色差データに位相ずれがある全ての画像データ間の変換にて有効となる。 The present invention is not limited to the type of high-efficiency encoding method such as MPEG-1 method or MPEG-2 method, but between all image data in which color difference data in 4: 2: 2 format has a phase shift. It becomes effective in the conversion of.
10 ポリフェーズフィルタ、11 シフトレジスタ、12 デルタアキュムレータ、13 キュービック関数ブロック、14 加算器、15 セレクタ 10 polyphase filter, 11 shift register, 12 delta accumulator, 13 cubic function block, 14 adder, 15 selector
Claims (3)
第1の高効率符号化方式に対応する4:2:2フォーマットの第1の画像データの色差データと、第2の高効率符号化方式に対応する4:2:2フォーマットの第2の画像データの色差データとの所定の位相ずれ分を、上記位相データに加算する加算手段と、
上記第1の画像データから上記第2の画像データへの変換、又は上記第2の画像データから上記第1の画像データへの変換が指示されたことに応じて、上記加算手段による出力を選択し、上記位相ずれ分が加算された上記位相データを上記補間演算処理手段に供給する選択手段とを備え、
上記補間演算処理手段は、上記位相ずれ分が加算された上記位相データに基づいて、上記色差データ間の補間色差データを生成すること
を特徴とする画像フィルタ回路。 Interpolated image data between the image data is obtained by performing interpolation calculation processing based on phase data determined by the enlargement ratio or reduction ratio of the image data from 4: 2: 2 format image data including luminance data and color difference data. Interpolating arithmetic processing means to generate,
Color difference data of the first image data in 4: 2: 2 format corresponding to the first high-efficiency encoding method and a second image in 4: 2: 2 format corresponding to the second high-efficiency encoding method Adding means for adding a predetermined amount of phase shift with the color difference data of the data to the phase data;
The output from the adding means is selected in response to an instruction to convert the first image data to the second image data, or from the second image data to the first image data. And selection means for supplying the phase data added with the amount of phase shift to the interpolation calculation processing means,
The image filter circuit, wherein the interpolation calculation processing means generates interpolated color difference data between the color difference data based on the phase data to which the phase shift is added.
上記第2の高効率符号化方式は、MPEG−2(Moving Picture Expert Group-2)方式であること
を特徴とする請求項1記載の画像フィルタ回路。 The first high-efficiency encoding method is MPEG-1 (Moving Picture Expert Group-1) method,
The image filter circuit according to claim 1, wherein the second high-efficiency encoding method is an MPEG-2 (Moving Picture Expert Group-2) method.
第1の高効率符号化方式に対応する4:2:2フォーマットの第1の画像データの色差データと、第2の高効率符号化方式に対応する4:2:2フォーマットの第2の画像データの色差データとの所定の位相ずれ分を、上記位相データに加算する加算工程と、
上記第1の画像データから上記第2の画像データへの変換、又は上記第2の画像データから上記第1の画像データへの変換が指示されたことに応じて、上記加算工程による出力を選択し、上記位相ずれ分が加算された上記位相データを上記補間演算処理工程に供給する選択工程とを備え、
上記補間演算処理工程は、上記位相ずれ分が加算された上記位相データに基づいて、上記色差データ間の補間色差データを生成すること
を特徴とするフィルタリング処理方法。 Interpolated image data between the image data is obtained by performing interpolation calculation processing based on phase data determined by the enlargement ratio or reduction ratio of the image data from 4: 2: 2 format image data including luminance data and color difference data. Interpolating operation process to generate;
Color difference data of the first image data in 4: 2: 2 format corresponding to the first high-efficiency encoding method and a second image in 4: 2: 2 format corresponding to the second high-efficiency encoding method An addition step of adding a predetermined phase shift amount with the color difference data of the data to the phase data;
In response to an instruction to convert the first image data to the second image data, or from the second image data to the first image data, the output in the addition step is selected. And a selection step for supplying the phase data to which the phase shift is added to the interpolation calculation processing step,
The filtering processing method, wherein the interpolation calculation processing step generates interpolated color difference data between the color difference data based on the phase data to which the amount of phase shift is added.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004302091A JP4752237B2 (en) | 2004-10-15 | 2004-10-15 | Image filter circuit and filtering processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004302091A JP4752237B2 (en) | 2004-10-15 | 2004-10-15 | Image filter circuit and filtering processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006115340A true JP2006115340A (en) | 2006-04-27 |
JP4752237B2 JP4752237B2 (en) | 2011-08-17 |
Family
ID=36383452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004302091A Expired - Fee Related JP4752237B2 (en) | 2004-10-15 | 2004-10-15 | Image filter circuit and filtering processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4752237B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015529066A (en) * | 2012-08-06 | 2015-10-01 | ヴィド スケール インコーポレイテッド | Sampling grid information for spatial layers in multi-layer video coding |
JP2016134896A (en) * | 2015-01-22 | 2016-07-25 | 三星ディスプレイ株式會社Samsung Display Co.,Ltd. | Image processing apparatus, image processing method, and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09261663A (en) * | 1996-03-15 | 1997-10-03 | Internatl Business Mach Corp <Ibm> | Video decoder provided with multi-phase finite impulse response horizontal filter |
JPH10126804A (en) * | 1996-10-21 | 1998-05-15 | Sony Corp | Video data processor and method therefor |
JPH10133618A (en) * | 1996-10-29 | 1998-05-22 | Sony Corp | Picture signal processing device |
JP2003122338A (en) * | 2001-10-18 | 2003-04-25 | Sony Corp | Image converting device, image display device and image converting method |
-
2004
- 2004-10-15 JP JP2004302091A patent/JP4752237B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09261663A (en) * | 1996-03-15 | 1997-10-03 | Internatl Business Mach Corp <Ibm> | Video decoder provided with multi-phase finite impulse response horizontal filter |
JPH10126804A (en) * | 1996-10-21 | 1998-05-15 | Sony Corp | Video data processor and method therefor |
JPH10133618A (en) * | 1996-10-29 | 1998-05-22 | Sony Corp | Picture signal processing device |
JP2003122338A (en) * | 2001-10-18 | 2003-04-25 | Sony Corp | Image converting device, image display device and image converting method |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015529066A (en) * | 2012-08-06 | 2015-10-01 | ヴィド スケール インコーポレイテッド | Sampling grid information for spatial layers in multi-layer video coding |
JP2018026863A (en) * | 2012-08-06 | 2018-02-15 | ヴィド スケール インコーポレイテッド | Sampling grid information for spatial layers in multi-layer video coding |
US9924166B2 (en) | 2012-08-06 | 2018-03-20 | Vid Scale, Inc. | Sampling grid information for spatial layers in multi-layer video coding |
US10666953B2 (en) | 2012-08-06 | 2020-05-26 | Vid Scale, Inc. | Sampling grid information for spatial layers in multi-layer video coding |
US11405621B2 (en) | 2012-08-06 | 2022-08-02 | Vid Scale, Inc. | Sampling grid information for spatial layers in multi-layer video coding |
JP2016134896A (en) * | 2015-01-22 | 2016-07-25 | 三星ディスプレイ株式會社Samsung Display Co.,Ltd. | Image processing apparatus, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP4752237B2 (en) | 2011-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8319892B2 (en) | Video signal processing apparatus, video displaying apparatus and high resolution method for video signal | |
JP2008312163A (en) | Image processing apparatus, image processing method, and program | |
JP2005176383A (en) | Coding framework of color space | |
JP2007124603A (en) | Apparatus and method for motion estimation supporting multiple video compression standards | |
JP2008146155A (en) | Image processing method and device | |
JP2012216109A (en) | Image processor and image processing method | |
JP2009033581A (en) | Image signal recording and playback device | |
JP4824703B2 (en) | Two-dimensional filter arithmetic apparatus and method | |
JPH07322218A (en) | Input signal processing device, sample processing filter, input signal filtering method, and high-definition television receiver | |
JP4455364B2 (en) | Resolution conversion method and apparatus | |
KR101816661B1 (en) | Ringing suppression in video scalers | |
JP4752237B2 (en) | Image filter circuit and filtering processing method | |
JP5235604B2 (en) | Image processing apparatus and image processing method | |
JPH11191861A (en) | Image processing unit and image processing system | |
JP2009033582A (en) | Image signal recording and playback device | |
JP2008098724A (en) | Image scaling circuit | |
CN101421760B (en) | Image scaling method and apparatus | |
JP2009130489A (en) | Image device, imaging/recording method, picked-up image recording and reproducing device, and picked-up image recording and reproducing method | |
JP2012004890A (en) | Video signal output device, and video signal output method | |
JP5742048B2 (en) | Color moving image structure conversion method and color moving image structure conversion device | |
US20040264809A1 (en) | Image processing apparatus, image processing method and image processing system | |
JP5369526B2 (en) | Image signal processing device, display device, recording / playback device, and image signal processing method | |
JP2009141445A (en) | Sampling rate conversion device and sampling rate conversion method | |
JP2000181418A (en) | Device and method for picture processing and providing medium | |
JPH05167920A (en) | Image expanding device and image signal recording and reproducing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070912 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100720 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110407 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110509 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140603 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140603 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |