[go: up one dir, main page]

JP2630282B2 - Digital video playback device - Google Patents

Digital video playback device

Info

Publication number
JP2630282B2
JP2630282B2 JP6311477A JP31147794A JP2630282B2 JP 2630282 B2 JP2630282 B2 JP 2630282B2 JP 6311477 A JP6311477 A JP 6311477A JP 31147794 A JP31147794 A JP 31147794A JP 2630282 B2 JP2630282 B2 JP 2630282B2
Authority
JP
Japan
Prior art keywords
moving picture
pallet
digital moving
palette
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP6311477A
Other languages
Japanese (ja)
Other versions
JPH08166784A (en
Inventor
大 皆川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
Nippon Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Electric Co Ltd filed Critical Nippon Electric Co Ltd
Priority to JP6311477A priority Critical patent/JP2630282B2/en
Publication of JPH08166784A publication Critical patent/JPH08166784A/en
Application granted granted Critical
Publication of JP2630282B2 publication Critical patent/JP2630282B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は、カラー動画像信号をデ
ジタル方式で記録したデジタル動画データを再生するデ
ジタル動画再生装置に関し、特にパーソナルコンピュー
タ等、表示装置にパレットを備えた、デジタル動画再生
装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a digital moving picture reproducing apparatus for reproducing digital moving picture data in which a color moving picture signal is recorded in a digital system, and more particularly to a digital moving picture reproducing apparatus provided with a pallet on a display device such as a personal computer. About.

【0002】[0002]

【従来の技術】一般に、この種の装置では、ハードディ
スク、CD−ROMなどの外部記憶装置に格納されたデ
ジタル方式で記録された画像データを、主記憶装置(R
AM)に読み込み、表示装置に適合した形式に変換し、
表示装置用の記憶装置(VRAM)に転送する。ディス
プレイコントローラは、VRAM上のデータを表示装置
に表示する。動画データは、時間軸に沿って記録された
1画面(フレーム)分の画像データの連続で構成されて
おり、デジタル動画再生装置は、これらのフレームを時
間軸に同期させて表示装置に連続的に表示することによ
り、動画を再生する。
2. Description of the Related Art Generally, in this type of apparatus, image data recorded in a digital system and stored in an external storage device such as a hard disk or a CD-ROM is stored in a main storage device (R).
AM), convert it to a format compatible with the display device,
The data is transferred to the storage device (VRAM) for the display device. The display controller displays data on the VRAM on a display device. The moving image data is composed of a series of image data for one screen (frame) recorded along the time axis, and the digital moving image reproducing apparatus continuously synchronizes these frames with the time axis to the display device. To play the moving image.

【0003】各フレームは、縦横に方眼上に並べられた
色の付いた画素で構成される。画素をデジタルで表現す
るには、RGBフォーマットが広く採用されている。R
GBフォーマットは、画素のR(レッド)、G(グリー
ン)、B(ブルー)の各成分がそれぞれの輝度を、ある
特定のビット数に量子化して表現される。一例として、
R、G、Bそれぞれに対して、8ビットを割当てること
で、1画素当たり24ビット(約1600万色)のカラ
ーを表現することができる。
Each frame is composed of colored pixels arranged vertically and horizontally on a grid. To represent pixels digitally, the RGB format is widely adopted. R
In the GB format, each of R (red), G (green), and B (blue) components of a pixel is represented by quantizing its luminance to a specific number of bits. As an example,
By allocating 8 bits to each of R, G, and B, it is possible to express a color of 24 bits (about 16 million colors) per pixel.

【0004】一方、パーソナルコンピュータ等の表示装
置においては、パレットを使用して、少ない記憶容量で
カラー表示を行う方式が広く使用されている(特開平0
4−350895,特開昭61−184589)。一例
として、24ビットのカラーを指定できる256個のパ
レットを持つパレットテーブルを備え、VRAM上に、
このパレットテーブルへのインデックスを格納し、ディ
スプレイコントローラによって、VRAM上の各画素に
対して、パレットテーブルのインデックスに対応するパ
レットに指定されているカラーを表示装置に発色させる
ことにより、各画素に対して8ビットの記憶容量で、約
1600万色の中から任意の256色を発色する装置が
ある。
On the other hand, in a display device such as a personal computer, a method of performing color display with a small storage capacity by using a pallet is widely used (Japanese Patent Laid-Open Publication No. Hei 0 (1999)).
4-350895, JP-A-61-184589). As an example, a palette table having 256 palettes that can specify 24-bit colors is provided.
The index to the palette table is stored, and the display controller causes the display device to generate a color specified in the palette corresponding to the index of the palette table for each pixel in the VRAM, thereby allowing each pixel to be displayed. There is a device that generates an arbitrary 256 colors from about 16 million colors with a storage capacity of 8 bits.

【0005】このような表示装置において、フルカラー
(約1600万色)で記録されたデジタル動画データを
再生するためには、デジタル動画データのカラーを表示
装置の最大表示色数(256色)に合わせて、画像デー
タを減色する必要がある。そこで、パレットテーブルに
予め適当な256色の色を指定しておき、デジタル動画
データを表示装置に転送する際に、各々の画素に対し
て、パレットテーブル中の最も近い色に変換することに
より、減色処理を行う。パレットテーブルに予め色を指
定するために、一般にパレッタイズ処理が行われる。パ
レッタイズ処理の一例として、再生するデジタル動画デ
ータに記録されている色の分布を調べ、最も多く出現す
る色を多い順からパレットに割り当てる方法がある。こ
のようにパレッタイズ処理を行うことにより、デジタル
動画データに記録された元の色に、より近い色で画像を
再生することができる。
In such a display device, in order to reproduce digital moving image data recorded in full color (approximately 16 million colors), the colors of the digital moving image data are adjusted to the maximum number of display colors (256 colors) of the display device. Therefore, it is necessary to reduce the color of the image data. Therefore, an appropriate 256 colors are designated in advance in the palette table, and when the digital moving image data is transferred to the display device, each pixel is converted into the closest color in the palette table, Perform color reduction processing. In general, palletizing processing is performed to designate colors in the palette table in advance. As an example of the palletizing process, there is a method of examining the distribution of colors recorded in digital moving image data to be reproduced and assigning the most frequently occurring colors to pallets in descending order. By performing the palletizing process in this manner, an image can be reproduced in a color closer to the original color recorded in the digital moving image data.

【0006】[0006]

【発明が解決しようとする課題】一般に、パレッタイズ
処理には大量の計算が必要であるため、各フレーム再生
時にパレッタイズ処理を行うのは、非効率である。そこ
で、従来のこの種のデジタル動画再生装置は、デジタル
動画データを再生前に、デジタル動画データのある適当
なフレームにおいて予めパレッタイズ処理を行い、複数
のフレームで同じ内容の固定のパレットテーブルを使用
してデジタル動画を再生していた。しかし、一般にデジ
タル動画データの色の分布は、フレーム毎に偏りがあ
り、固定のパレットを用いた場合、再生する全てのフレ
ームに対して、十分な色を再現することができないとい
う問題があった。また、パレッタイズ処理を行う為の適
当なフレームを選択する必要があり、人の操作と判断を
必要としていた。
Generally, since a large amount of calculation is required for the palletizing process, it is inefficient to perform the palletizing process at the time of reproducing each frame. Therefore, this type of conventional digital video playback apparatus performs a palletizing process on an appropriate frame of the digital video data before playing the digital video data, and uses a fixed pallet table having the same content in a plurality of frames. Playing digital video. However, in general, the color distribution of digital moving image data has a bias for each frame, and when a fixed palette is used, there is a problem that sufficient colors cannot be reproduced for all frames to be reproduced. . In addition, it is necessary to select an appropriate frame for performing the palletizing process, which requires human operation and judgment.

【0007】本発明の目的は、デジタル動画再生装置が
動画を再生中に、適当なパレットを効率的に得ることが
できるようなパレッタイズのタイミングを自動的に得る
ことである。
SUMMARY OF THE INVENTION It is an object of the present invention to automatically obtain a palletizing timing at which a digital moving picture reproducing apparatus can efficiently obtain an appropriate palette while reproducing a moving picture.

【0008】[0008]

【課題を解決するための手段】本発明は、フルカラーの
動画像信号をデジタル方式で記録したデジタル動画デー
タを、パレットを有する表示装置に再生する動画再生手
段と、再生しようとするデジタル動画データの、ある1
フレーム分のデータから、適当なパレットテーブルを生
成するパレッタイズ手段と、デジタル動画データから、
1フレームずつの画像データを次々と取得するフレーム
取得手段と、1フレーム分の画像データの各画像に対
し、パレットテーブルからパレットの色と画素の色との
RGB色空間上の距離が、ある一定のしきい値以下のパ
レットを検索するパレットサーチ手段と、1フレーム分
の画像データの各画素に対して、前記パレットサーチ手
段による検索に失敗した画素の数を計数するミスヒット
計数手段と、前記ミスヒット計数手段で計数した画素数
が、ある一定値以上になったときに、前記パレッタイズ
手段に対して、パレットの更新タイミングを伝えるパレ
ット更新通知手段とを有する。
SUMMARY OF THE INVENTION The present invention provides a moving picture reproducing means for reproducing digital moving picture data in which a full-color moving picture signal is recorded in a digital system on a display device having a palette, and a digital moving picture data to be reproduced. , One
Palletizing means for generating an appropriate palette table from data for frames, and digital video data
Frame acquisition means for successively acquiring image data for each frame; and for each image of image data for one frame, a distance in the RGB color space between a palette color and a pixel color from a palette table is fixed. A pallet search unit for searching a pallet equal to or less than the threshold value, a mishit counting unit for counting the number of pixels for which search by the pallet search unit has failed for each pixel of image data for one frame, Pallet update notification means for notifying the palletizing means of a pallet update timing when the number of pixels counted by the mishit counting means becomes equal to or more than a certain value.

【0009】[0009]

【実施例】以下、図面を参照して本発明の一実施例に係
るデジタル動画再生装置を説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A digital moving picture reproducing apparatus according to an embodiment of the present invention will be described below with reference to the drawings.

【0010】図1は、本実施例に係るデジタル動画再生
装置のブロック図である。
FIG. 1 is a block diagram of a digital moving picture reproducing apparatus according to this embodiment.

【0011】本装置は、CPU100,主記憶装置(R
AM)110、VRAM120、パレットテーブル13
0、ディスプレイコントローラ140、外部記憶装置1
50が、BUS170によって接続されている。表示装
置160は、ディスプレイコントローラに接続されてい
る。RAM110は、本装置を制御するプログラム、及
びデータを格納する。CPU100は、RAM110に
格納されたプログラムに従って、本装置全体を制御す
る。外部記憶装置150には、フルカラーのデジタル動
画データが格納されている。VRAM120は、表示装
置160に表示する画像のデータを格納する。パレット
テーブル130は、画素の色情報(パレット)を参照す
るためのテーブルで、パレットを256個格納する。V
RAM120に格納される画像データは、パレットテー
ブル130中のパレットへのインデックス値の形式で格
納される。ディスプレイコントローラは、VRAM12
0,及びパレットテーブル130に格納されている内容
に基づき、表示装置160に画像を表示する。
This apparatus comprises a CPU 100, a main storage device (R
AM) 110, VRAM 120, pallet table 13
0, display controller 140, external storage device 1
50 are connected by a BUS 170. The display device 160 is connected to a display controller. The RAM 110 stores a program for controlling the apparatus and data. The CPU 100 controls the entire device according to a program stored in the RAM 110. The external storage device 150 stores full-color digital moving image data. The VRAM 120 stores image data to be displayed on the display device 160. The palette table 130 is a table for referring to color information (palette) of pixels, and stores 256 palettes. V
The image data stored in the RAM 120 is stored in the form of an index value for a palette in the palette table 130. The display controller is a VRAM 12
0, and an image is displayed on the display device 160 based on the contents stored in the pallet table 130.

【0012】図2は、上記デジタル動画再生装置のデー
タフロー図である。
FIG. 2 is a data flow diagram of the digital moving picture reproducing apparatus.

【0013】フレーム取得手段200、パレットサーチ
手段210、ミスヒット計数手段220、パレット更新
通知手段230、パレッタイズ手段250、動画再生手
段270は、主記憶装置(RAM)110に格納され
た、本装置を制御するプログラムのモジュールである。
デジタル動画データ240は、時間軸に沿って毎秒30
フレームずつ記録されたフレームが時間順に連続して格
納されている。各々のフレームには、画素が方眼上に縦
160ドット×横320ドット並んでいる。各画素には
24ビットのRGBフォーマットで画素の色情報が格納
されている。フレーム取得手段200は、動画再生手段
260の動画再生と同期して、デジタル動画データ24
0から1フレームずつデジタル動画データを次々と取得
し、パレットサーチ手段210に渡す。パレットサーチ
手段210は、取得した各フレームのデータの各画素に
ついて、パレットテーブル130中のパレットの中か
ら、最も近い色のパレットをサーチし、ミスヒット計数
手段220に渡す。最も近い色とは、RGB色空間上の
距離が最短になる色である。RGB色空間とは、R,
G,Bを各軸とする3次元空間で、それぞれの座標は0
〜255の整数値をとる離散空間である。RGB空間上
では、色はR,G,Bの各値の組み合わせ、つまり点と
して表現される。例えば画素の色D(R1,G1,B
1)とパレット色P(R2,G2,B2)のRGB空間
上の距離|D−P|は、(R1−R2)2 +(G1−G
2)2 +(B1−B2)2 の平方根で計算される。ミス
ヒット計数手段220は、各画素について、サーチされ
たパレットの色と、実際の画素の色とのRGB色空間上
の距離がある値以上になった画素の数を計数し、パレッ
ト更新通知手段230に渡す。即ちパレットテーブル中
に、画素の元の色に近い色が存在しない画素を計数す
る。パレット更新通知手段230は、ミスヒットした画
素の数が、ある一定の値を越えたときに、パレッタイズ
手段250にパレットの更新タイミングを通知する。パ
レッタイズ手段250は、パレット更新通知手段230
からパレット更新のタイミングの通知を受けると、現在
再生中の1フレーム分のデータをデジタル動画データ2
40から読み出し、パレッタイズ処理を行い、パレット
テーブル130を更新する。動画再生手段260は、デ
ジタル動画データ240のフルカラーの画像データを、
パレットテーブル130中のパレットの内容に基づいて
256色に減色してから、表示装置160に画像を表示
する。
The frame acquisition means 200, the pallet search means 210, the miss hit counting means 220, the pallet update notifying means 230, the palletizing means 250, and the moving picture reproducing means 270 are provided by the present apparatus stored in the main storage device (RAM) 110. This is the module of the program to be controlled.
The digital moving image data 240 is 30 per second along the time axis.
Frames recorded on a frame-by-frame basis are stored consecutively in chronological order. In each frame, pixels are arranged on a grid by 160 dots vertically and 320 dots horizontally. Each pixel stores color information of the pixel in a 24-bit RGB format. The frame obtaining means 200 synchronizes with the video playback of the video playback means 260 and
Digital moving image data is acquired one by one from 0 to 1 frame and passed to the palette search means 210. The pallet search unit 210 searches for the closest color pallet from the pallets in the pallet table 130 for each pixel of the data of each acquired frame, and passes the pallet to the mishit counting unit 220. The closest color is a color with the shortest distance in the RGB color space. The RGB color space is R,
In a three-dimensional space with each axis of G and B, each coordinate is 0
This is a discrete space taking an integer value of ~ 255. In the RGB space, a color is represented as a combination of R, G, and B values, that is, a point. For example, the pixel color D (R1, G1, B
1) and palette color P (R2, G2, B2 distance on RGB space) | D-P | is, (R1-R2) 2 + (G1-G
2) 2 + (B1-B2 ) is calculated by the square root of 2. The miss hit counting means 220 counts the number of pixels for which the distance between the color of the searched palette and the color of the actual pixel in the RGB color space is equal to or larger than a certain value for each pixel. Hand over to 230. That is, the pixels in which no color close to the original color of the pixel exists in the palette table are counted. The pallet update notifying means 230 notifies the palletizing means 250 of the pallet update timing when the number of mishit pixels exceeds a certain value. The palletizing means 250 includes a pallet update notifying means 230.
Receives the notification of the pallet update timing from the digital video data 2
40, the palletizing process is performed, and the pallet table 130 is updated. The moving image reproducing means 260 converts the full-color image data of the digital moving image data 240
After the color is reduced to 256 colors based on the contents of the palette in the palette table 130, the image is displayed on the display device 160.

【0014】[0014]

【発明の効果】本発明によって、デジタル動画再生装置
が動画を再生中に、パレッタイズのタイミングを自動的
に得ることができる。即ち、人による操作や判断を必要
とせずに、適当なパレットを効率的に得ることができ
る。
According to the present invention, the timing of palletizing can be automatically obtained while the digital moving picture reproducing apparatus is reproducing a moving picture. That is, an appropriate pallet can be efficiently obtained without requiring any operation or judgment by a person.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の一実施例に係るデジタル動画再生装置
のブロック図である。
FIG. 1 is a block diagram of a digital moving picture reproducing apparatus according to an embodiment of the present invention.

【図2】図1に示したデジタル動画再生装置のデータフ
ロー図である。
FIG. 2 is a data flow diagram of the digital moving picture reproducing apparatus shown in FIG.

【符号の説明】[Explanation of symbols]

100 CPU 110 主記憶装置(RAM) 120 VRAM 130 パレットテーブル 140 ディスプレイコントローラ 150 外部記憶装置 160 表示装置 200 フレーム取得手段 210 パレットサーチ手段 220 ミスヒット計数手段 230 パレット更新通知手段 240 デジタル動画データ 250 パレッタイズ手段 260 動画再生手段 REFERENCE SIGNS LIST 100 CPU 110 Main storage device (RAM) 120 VRAM 130 Palette table 140 Display controller 150 External storage device 160 Display device 200 Frame acquisition means 210 Pallet search means 220 Mishit counting means 230 Palette update notification means 240 Digital video data 250 Palletizing means 260 Video playback means

Claims (3)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 フルカラーの動画像信号をデジタル方式
で記録したデジタル動画データをパレットを有する表示
装置に再生する動画再生手段を有するデジタル動画再生
装置において、再生しようとするデジタル動画データ
の、ある1フレーム分のデータから、適当なパレットテ
ーブルを生成するパレッタイズ手段と、デジタル動画デ
ータから、1フレームずつの画像データを次々と取得す
るフレーム取得手段と、1フレーム分の画像データの各
画素に対し、パレットテーブルからパレットの色と画素
の色とのRGB色空間上の距離が、ある一定のしきい値
以下のパレットを検索するパレットサーチ手段と、1フ
レーム分の画像データの各画素に対して、前記パレット
サーチ手段による検索に失敗した画素の数を計数するミ
スヒット計数手段と、前記ミスヒット計数手段で計数し
た画素数が、ある一定値以上になったときに、前記パレ
ッタイズ手段に対して、パレットの更新タイミングを伝
えるパレット更新通知手段とを有することを特徴とする
デジタル動画再生装置。
1. A digital moving picture reproducing apparatus having moving picture reproducing means for reproducing digital moving picture data in which a full-color moving picture signal is recorded in a digital system on a display device having a palette, wherein one of the digital moving picture data to be reproduced is Palletizing means for generating an appropriate pallet table from data for frames, frame obtaining means for sequentially obtaining image data for each frame from digital video data, and for each pixel of image data for one frame, Palette search means for searching a palette in which the distance between the color of the palette and the color of the pixel from the palette table in the RGB color space is equal to or less than a certain threshold value, and for each pixel of the image data for one frame, A mishit counting means for counting the number of pixels which failed to be searched by the pallet search means, Digital moving picture reproduction, comprising: a pallet update notifying means for notifying the palletizing means of a pallet update timing when the number of pixels counted by the mishit counting means becomes equal to or greater than a certain value. apparatus.
【請求項2】 請求項1記載のデジタル動画再生装置に
おいて、前記パレットテーブルは、前記パレットを25
6個格納していることを特徴とするデジタル動画再生装
置。
2. The digital moving picture reproducing apparatus according to claim 1, wherein the pallet table stores the pallets in 25.
A digital moving picture reproducing apparatus, wherein six digital moving pictures are stored.
【請求項3】 請求項1記載のデジタル動画再生装置に
おいて、前記動画再生手段、前記フレーム取得手段、前
記パレットサーチ手段、前記ミスヒット計数手段、前記
パレット更新通知手段、前記パレッタイズ手段は、主記
憶装置に格納された制御プログラムのモジュールである
ことを特徴とするデジタル動画再生装置。
3. The digital moving picture reproducing apparatus according to claim 1, wherein said moving picture reproducing means, said frame obtaining means, said pallet searching means, said mishit counting means, said pallet updating notifying means, and said palletizing means are main storages. A digital moving picture reproducing apparatus, which is a module of a control program stored in the apparatus.
JP6311477A 1994-12-15 1994-12-15 Digital video playback device Expired - Fee Related JP2630282B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6311477A JP2630282B2 (en) 1994-12-15 1994-12-15 Digital video playback device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6311477A JP2630282B2 (en) 1994-12-15 1994-12-15 Digital video playback device

Publications (2)

Publication Number Publication Date
JPH08166784A JPH08166784A (en) 1996-06-25
JP2630282B2 true JP2630282B2 (en) 1997-07-16

Family

ID=18017698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6311477A Expired - Fee Related JP2630282B2 (en) 1994-12-15 1994-12-15 Digital video playback device

Country Status (1)

Country Link
JP (1) JP2630282B2 (en)

Also Published As

Publication number Publication date
JPH08166784A (en) 1996-06-25

Similar Documents

Publication Publication Date Title
US4857994A (en) Color correction system and method
EP0491565B1 (en) Hierarchically ordered colour palettes with selectable colour depth
US5977946A (en) Multi-window apparatus
EP0574747A2 (en) Visual frame buffer architecture
JPH04151779A (en) Apparatus and method for color mapping
US6259439B1 (en) Color lookup table blending
JP2647033B2 (en) Lookup table creation method and lookup table creation device
WO2005006772A1 (en) Image display device and image display method
JP2630282B2 (en) Digital video playback device
JPH08248932A (en) Discrimination method of mixed picture pixel data format in data stream
US6747661B1 (en) Graphics data compression method and system
US5825918A (en) Method and apparatus for generating and reproducing of compressed colored video scenes
JP3834322B2 (en) Image display device and image display method
JPH1141625A (en) Color moving image data compression method
JPH087077A (en) Picture processor
JPH06324657A (en) Image display device
JPH02205982A (en) Picture processor
JPH07334701A (en) Animation image compositing device
KR0135869B1 (en) Method and device for adjusting color in subcode graphics system
JPH052612A (en) Method and system for picture reproduction
JPS6292992A (en) frame memory device
JPS63235990A (en) Color image display method
JP3038856B2 (en) Image data processing method
JPH0574857B2 (en)
JPH04298196A (en) Color picture information compression display method

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19970304

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080418

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090418

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100418

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110418

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 15

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 15

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 15

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130418

Year of fee payment: 16

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130418

Year of fee payment: 16

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130418

Year of fee payment: 16

LAPS Cancellation because of no payment of annual fees