KR100233835B1 - Bit rate control method for divided screen encoding - Google Patents
Bit rate control method for divided screen encoding Download PDFInfo
- Publication number
- KR100233835B1 KR100233835B1 KR1019960020307A KR19960020307A KR100233835B1 KR 100233835 B1 KR100233835 B1 KR 100233835B1 KR 1019960020307 A KR1019960020307 A KR 1019960020307A KR 19960020307 A KR19960020307 A KR 19960020307A KR 100233835 B1 KR100233835 B1 KR 100233835B1
- Authority
- KR
- South Korea
- Prior art keywords
- screen
- bit rate
- rate control
- divided
- bit
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
화질의 급격한 열화를 방지하는 동시에 부호기에서 일정한 비트율로 부호화 데이터를 발생시키기 위한 비트율 제어에 있어서 고선명 TV 화면을 분할하여 부호화 하는 비디오 인코더에 효과적으로 적용할 수 있도록 한 분할화면 비트율 제어를 위한 비트율 제어방법이 개시된다.A bit rate control method for dividing screen bit rate control that can be effectively applied to a video encoder that divides and encodes a high definition TV screen in a bit rate control for generating coded data at a constant bit rate in a coder while preventing rapid deterioration of picture quality .
Description
제1도는 일반적인 비트율 제어방법의 원리를 설명하기 위해 도시한 블럭도.FIG. 1 is a block diagram illustrating a principle of a general bit rate control method. FIG.
제2도는 종래의 비트율 제어방법을 설명하기 위해 도시한 플로우 챠트도.FIG. 2 is a flow chart illustrating a conventional bit rate control method. FIG.
제3도는 본 발명에 따른 비트율 제어방법을 설명하기 위해 도시한 플로우 차트도.FIG. 3 is a flowchart for explaining a bit rate control method according to the present invention; FIG.
* 도면의 주요부분에 대한 부호의 설명DESCRIPTION OF THE REFERENCE NUMERALS
1 : 영상 입력부 2 : 부호화부1: image input unit 2: encoding unit
3 : 버퍼부 4 : 비트율 제어부3: Buffer unit 4: Bit rate control unit
본 발명은 분할화면 부호화를 위한 비트율 제어방법에 관한 것으로, 특히 고선명 TV와 같이 비교적 큰 화면을 분할하여 병렬로 부호화하는 비디오 인코더에서 분할화면간 급격한 화질의 변화를 방지하면서 일정한 비트율로 부호화 데이터를 발생시키는데 적용할 수 있다.The present invention relates to a bit rate control method for a split-screen coding, and more particularly, to a video encoder for dividing a relatively large screen such as a high-definition TV and encoding in parallel, prevents encoded video data at a constant bit rate while preventing a sudden change in picture quality .
일반적으로 고선명 TV와 같이 동영상의 크기와 비교적 큰 화면을 부호화 하는 부호기 설계시 사용 가능한 하드웨어의 처리속도를 고려하여 주로 화면을 분할하여 병렬 처리하게 된다. 동영상를 부호화 하는데 있어서 일정한 화질을 유지하기 위해서는 화면의 특성에 따라 부호기에서 발생되는 비트량이 가변되어야 한다. 또한 부호기가 제한된 전송 채널을 통해 동영상 부호화 데이터를 일정하게 출력하는 동시에 일정한 화질을 유지하기 위해서는 비트율이 효과적으로 제어되어야 한다.Generally, in view of the processing speed of the hardware that can be used when designing an encoder that encodes a video image and a relatively large screen such as a high-definition TV, the screen is divided and processed in parallel. In order to maintain a constant image quality in encoding a moving picture, the amount of bits generated in the encoder must be variable according to the characteristics of the screen. In addition, the bit rate should be effectively controlled in order to output the coded moving image data constantly through a limited transmission channel and to maintain a constant image quality.
제1도는 일반적인 비트율 제어방법의 원리를 설명하기 위해 도시한 블록도로서, 영상 입력부(1)를 통해 영상이 입력되면 부호화부(2)에서 입력된 영상을 부호화 하고, 버퍼부(3)에서는 부호화된 값을 정하였다가 일정한 비트율로 부호화된 비트열을 외부로 출력하게 된다. 이때 비트율 제어부(4)는 상기 버퍼부(3)의 버퍼 상태를 이용하여 부호화부(2)의 발생 비트량을 조절한다.FIG. 1 is a block diagram for explaining the principle of a general bit rate control method. When an image is inputted through the image input unit 1, the image input from the encoding unit 2 is encoded. In the buffer unit 3, And then output the encoded bit stream at a constant bit rate to the outside. At this time, the bit rate control unit 4 adjusts the amount of bits generated by the encoding unit 2 using the buffer state of the buffer unit 3.
비디오 부호화에 있어 가장 널리 알려진 기존의 비트율 제어방법은 이미 공지의 사항인 ISO/ICE JTC1/SC29/WG11 MPEG(Moving Picture Experts Group)-2 TM(Test Model)에서 제시한 방법으로서 제2도에 도시한 바와 같이 동작한다.The most widely known bit rate control method known in the video coding is the method disclosed in the already known ISO / ICE JTC1 / SC29 / WG11 MPEG (Moving Picture Experts Group) -2 (Test Model) As shown in FIG.
제2도는 종래의 비트율 제어방법을 설명하기 위해 도시한 플로우 챠트도로서, 시작신호로부터 단계(101)에서 새로운 화면군(부호화 하려는 동영상의 임의 갯수의 화면들, 이하, 화면군 또는 GOP(Group Of Pictures)라 칭함) 단위의 부호화가 시작된 경우 단계(102)로 진행하여 제한된 전송률에 맞추어 사용 가능한 비트량을 계산한 후 단계(103)로 진행하게 된다. 그러나 상기 단계(101)에서 새로운 화면군 단위 부호화가 시작되지 않을 경우에는 곧바로 상기 단계(103)로 진행하게 된다. 상기 단계(103)에서는 새로운 화면단위 부호화가 시작된 경우 단계(104)로 진행하여 각 화면마다 영상특성을 고려하여 부호화 하는 화면의 순서에 따라 각 화면의 비트량을 계산한 후 단계(105)로 진행하고, 새로운 화면단위의 부호화가 시작되지 않을 경우 곧바로 상기 단계(105)로 진행하게 된다. 상기 단계(105)에서는 새로운 부호화 블록 단위의 부호화가 시작되지 않은 경우 화면군 단위의 부호화가 시작될 것인지의 여부를 판단하는 상기 단계(101)로 복귀되며, 부호화 블록 단위 부호화를 수행할 경우 단계(106)로 진행하여 화면에 대한 비트 할당 값을 부호화 블록수로 나눈 값과 실제로 각 부호화 블록을 부호화 하면서 발생한 비트량을 이용하여 가상 버퍼 충만도를 계산한 후 단계(107)로 진행하게 된다. 상기 단계(107)에서는 계산된 가상 버퍼 충만도를 이용하여 부호화 블록별로 양자화 파라미터 값을 계산한 후 단계(108)로 진행하게 된다. 상기 단계(108)에서는 계산된 양자화 파라미터 값을 부호화부(2)로 전달하여 발생하는 비트량을 조절하게 된다.FIG. 2 is a flow chart for explaining a conventional bit rate control method. In step 101, a new picture group (a certain number of pictures of a moving picture to be coded, hereinafter referred to as a screen group or GOP Pictures) is started, the process proceeds to step 102 to calculate a usable bit amount according to a limited data rate, and then proceeds to step 103. [ However, if the new picture group unit encoding is not started in step 101, the process proceeds to step 103 immediately. In step 103, if a new picture unit encoding is started, the process proceeds to step 104, and a bit amount of each picture is calculated according to the order of pictures to be coded considering the picture characteristics for each picture, and then the process proceeds to step 105 And if the encoding of the new picture unit is not started, the process directly proceeds to the step 105. If it is determined in step 105 that encoding of a new coded block has not been started, the process returns to step 101 to determine whether to start coding on a screen group basis. In step 105, The virtual buffer fullness is calculated using a value obtained by dividing the bit allocation value for the screen by the number of encoding blocks and a bit amount generated by actually encoding each encoding block, and then the process proceeds to step 107. In step 107, a quantization parameter value is calculated for each coded block using the calculated virtual buffer fullness, and the process proceeds to step 108. In step 108, the calculated quantization parameter value is transmitted to the encoding unit 2 to adjust the amount of bits generated.
이러한 종래의 비트율 제어방법은 비트율 제어를 화면군(GOP)단위, 화면(Picture)단위, 부호화 블록(Macroblock)단위로 3단계의 계층적인 비트율 제어를 수행한다. 이러한 비트율 제어방법은 단일 화면의 부호화 시에는 효과적으로 사용할 수 있는 반면에 고선명 TV(High Definition TeleVision) 화면과 같이 비교적 큰 화면을 분할하여 병렬로 부호화 하는 경우에는 그대로 사용할 수 없는 문제점을 갖고 있다.Such a conventional bit rate control method performs three levels of hierarchical bit rate control in a bit rate control in units of a GOP, a picture, and a macroblock. Such a bit rate control method can be effectively used when coding a single screen, but has a problem that it can not be used as it is when a relatively large screen such as a High Definition TeleVision screen is divided and encoded in parallel.
따라서 본 발명은 화질의 급격한 열화를 방지하는 동시에 부호기에서 일정한 비트율로 부호화데이타를 발생시키기 위한 비트율 제어에 있어서 고선명 TV 화면을 분할하여 부호화 하는 비디오 인코더에 효과적으로 적용할 수 있도록 함으로써, 상기한 단점을 해소할 수 있는 분할화면 비트율 제어를 위한 비트율 제어방법을 제공하는데 그 목적이 있다.Therefore, the present invention can effectively apply the present invention to a video encoder that divides and categorizes a high-definition TV screen in bit rate control for generating coded data at a constant bit rate in the coder while preventing sharp deterioration of image quality. And to provide a bit rate control method for a split screen bit rate control.
상술한 목적을 달성하기 위한 본 발명은 화면군 단위로 제한된 전송률에 맞추어 사용 가능한 비트량을 계산하는 단계와, 각각의 화면마다 영상 특성을 고려하여 부호화 하는 화면의 순서에 따라 각각의 화면에 비트 할당량을 계산하는 단계와, 상기 계산된 비트 할당량과 각 분할 화면에서 발생한 화면의 특성 정보를 이용하여 각 분할 화면에 차등적으로 비트량을 할당하는 단계와, 각각의 부호화 블록마다 각 분할 화면에 대한 비트 할당값을 부호화 블록 수로 나눈값과 실제로 부호화 하면서 발생한 비트량을 이용하여 가상 버퍼 충만도를 계산하는 단계와, 상기 계산된 가상 버퍼 충만도를 이용하여 부호화 블록별로 양자화 파라미터 값을 계산하는 단계와, 상기 계산된 양자화 파라미터 값을 부호화부로 전달하여 발생하는 비트량이 조절되는 단계로 이루어진 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for encoding a bitstream, the method comprising: calculating a usable bit rate in accordance with a limited data rate on a per screen group basis; Allocating a bit amount differentially to each divided screen by using the calculated bit allocation amount and characteristic information of a screen generated in each divided screen; Calculating a virtual buffer fullness by using a value obtained by dividing the allocation value by the number of encoding blocks and a bit amount generated by actually encoding; calculating a quantization parameter value for each encoding block using the calculated virtual buffer fullness; And transmitting the calculated quantization parameter value to the encoding unit to adjust a bit amount generated .
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
제3도는 본 발명에 따른 분할화면 비트율 제어를 위한 비트율 제어방법을 설명하기 위해 도시한 플로우 차트도이다. 본 발명은 4단계의 계층적 제어방법으로서 화면군(GOP)단위, 화면(Picture)단위, 분할화면(Sub-picture)단위, 부호화 블록(Macroblock)단위의 순으로 비트율 제어기능을 수행하는데 기존의 방식에 비하여 분할화면 단위의 비트율 제어기능이 추가된다. 화면군(GOP)단위, 분할화면(Sub-picture)단위의 비트율 제어는 각 분할 화면에서 발생한 정보를 총체적으로 집계하여 전체 비트율 제어를 수행하며, 부호화 블록 단위의 비트율 제어는 분할화면 내에서 독립적으로 비트율 제어를 수행하게 된다. 그러면, 제3도를 통해 분할화면 비튜율 제어를 위하 비트율 제어방법을 상세히 설명하면 다음과 같다.FIG. 3 is a flowchart for explaining a bit rate control method for dividing screen bit rate control according to the present invention. The present invention performs a bit rate control function in the order of a GOP, a picture, a sub-picture, and a macroblock as a hierarchical control method in four steps. The bit rate control function of the divided picture units is added. The bit rate control in units of a picture group (GOP) and a sub-picture unit performs total bit rate control by collectively collecting information generated in each divided screen, and the bit rate control in a coding block unit is performed independently Bit rate control. The bit rate control method for the divided screen vith ratio control will now be described in detail with reference to FIG. 3.
시작신호로부터 단계(201)에서 새로운 부호화 하려는 동영상의 임의 개수의화면군 단위의 부호화가 시작된 경우 단계(202)로 진행하여 제한된 전송률에 맞추어 사용 가능한 비트량을 계산한 후 단계(203)로 진행하게 된다. 그러나 상기 단계(201)에서 새로운 화면군 단위의 부호화가 시작되지 않은 경우 곧바로 상기 단계(203)로 진행하게 된다. 상기 단계(203)에서는 새로운 화면단위 부호화를 시작한 경우 단계(204)로 진행하여 각 화면마다 영상특성을 고려하여 부호화 하려는 화면의 순서에 따라 각 분할전 화면의 비트량을 계산한 후 단계(205)로 진행한다. 상기 단계(205)에서는 계산된 비트 할당량과 각 분할화면에서 발생한 화면의 특성 정보를 이용하여 각 분할화면에 차등적으로 비트량을 할당한 후 단계(206)로 진행하게 된다. 상기 단계(203)에서 새로운 화면단위 부호화가 시작되지 않은 경우에는 곧바로 상기 단계(206)로 진행하게 된다. 상기 단계(206)에서는 새로운 부호화 블록 단위의 부호화가 시작되지 않은 경우에는 곧바로 상기 단계(206)로 진행하게 된다. 상기 단계(206)에서는 새로운 부호화 블록 단위의 부호화가 시작되지 않은 경우 화면군 단위의 부호화가 시작될 것인지의 여부를 판단하는 상기 단계(201)로 복귀하며, 부호화 블록 단위의 부호화를 수행할 경우에는 단계(207)로 진행하여 분할 호면에 대한 비트 할당 값을 부호화 블록수로 나눈 값과 실제로 각 부호화 블록을 부호화 하면서 발생한 비트량을 이용하여 가상 버퍼 충만도를 계산한 후 단계(208)로 진행하게 된다. 상기 단계(208)에서는 계산된 가상 버퍼 충만도를 이용하여 부호화 블록별로 양자화 파라미터 값을 계산한 후 단계(209)로 진행하게 된다. 상기 단계(209)에서는 계산된 양자화 파라미터 값을 부호화부(2)로 전달하여 발생하는 비트량을 조절하게 된다.If coding of a certain number of moving pictures to be newly encoded is started in step 201 from the start signal, the flow advances to step 202 to calculate a usable bit amount according to a limited transmission rate, and then proceeds to step 203 do. However, if it is determined in step 201 that the encoding of a new picture group has not been started, the process directly proceeds to step 203. In step 203, if a new screen unit encoding is started, the process proceeds to step 204, and a bit amount of each before-split screen is calculated according to the order of a screen to be coded considering image characteristics for each screen, . In step 205, a bit amount is separately allocated to each divided screen using the calculated bit allocation amount and characteristic information of a screen generated in each divided screen, and then the process proceeds to step 206. If the new screen unit encoding is not started in step 203, the process directly proceeds to step 206. In step 206, if the encoding of the new encoding block is not started, the process proceeds to step 206 immediately. In step 206, if the encoding of a new encoding block is not started, the process returns to step 201, where it is determined whether to start encoding on a per screen group basis. When encoding is performed on a per encoding block basis, The process proceeds to step 207 where the virtual buffer fullness is calculated using a value obtained by dividing the bit allocation value for the divided arc plane by the number of coding blocks and a bit amount generated by actually encoding each coding block and then proceeds to step 208 . In step 208, a quantization parameter value is calculated for each encoding block using the calculated virtual buffer fullness, and then the process proceeds to step 209. In step 209, the calculated quantization parameter value is transmitted to the encoding unit 2 to control the amount of bits generated.
한편, 상기 각 분할화면의 비트량 할당 단계(205)에 대한 실시예를 들면 다음과 같다.An example of the bit allocation step 205 of each divided screen is as follows.
분할 화면단위 비트율 제어방식은 이전에 수행한 부호화 과정에서 발생한 정보를 전달받아 비트율을 제어하는 방법으로서, 분할 하기전의 전체화면에 할당한 비트수를 T라 하고, 이전화면과 같은 종류의 화면중 n번째 분할 화면에서 부호화한 결과로 발생한 비트수 및 평균 양자화 파라미터 값을 각각 Sn, Qrn이라 하고, 분할 화면의 수를 N이라 할 때, 분할전 전체화면에서의 화면의 복잡도 X는 Sn의 합과 Qrn의 평균의 곱으로 표현되며(식2), n번째 분할 화면에서의 화면의 복잡도 Xn은 Sn과 Qrn의 평균의 곱으로 표현된다(식3). 또한, 분할 화면에 할당되는 비트수 Tn은 전체 화면에서의 복잡도 X에 대한 분할 화면에서의 화면의 복잡도 Xn의 상대비에 전체화면에 할당한 비트수 T를 곱한 값으로 표현된다(식1). 이러한 비트량 할당방법을 수식으로 표현하면 다음과 같다.The bit rate control method is a method of controlling the bit rate by receiving information generated in the previous coding process. The bit rate is controlled by the number of bits allocated to the entire screen before division, and T Th screen and the average quantization parameter values are denoted by Sn and Qrn, respectively, and the number of divided screens is N, the complexity X of the screen in the full screen before division is calculated by summing the sum of Sn and Qrn (2), and the complexity Xn of the screen in the nth divided screen is expressed as the product of the average of Sn and Qrn (Equation 3). The number of bits Tn allocated to the divided screen is represented by a value obtained by multiplying the complexity Xn of the screen in the divided screen with the complexity X in the whole screen by the number of bits T allocated to the entire screen. This bit allocation method can be expressed as follows.
상술한 바와같이 본 발명에 의하면 동영상을 분할하여 부호화 하는 경우의 비트율 제어방법에 있어서, 이전의 화면들을 부호화 한 후에 발생하는 여러 가지 정보들을 이용하여 부호화하려는 분할전의 화면 및 분할된 화면에 적절한 비트를 할당 함으로써, 분할된 화면 사이의 화질의 큰 차이없이 보다 균일한 화질을 제공할 수 있는 탁월한 효과가 있다.As described above, according to the present invention, there is provided a bit rate control method for dividing and encoding a moving picture, the method comprising the steps of: dividing a moving picture into a plurality of pictures, There is an excellent effect that a more uniform image quality can be provided without a large difference in image quality between divided screens.
Claims (2)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019960020307A KR100233835B1 (en) | 1996-06-07 | 1996-06-07 | Bit rate control method for divided screen encoding |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019960020307A KR100233835B1 (en) | 1996-06-07 | 1996-06-07 | Bit rate control method for divided screen encoding |
Publications (2)
Publication Number | Publication Date |
---|---|
KR980007720A KR980007720A (en) | 1998-03-30 |
KR100233835B1 true KR100233835B1 (en) | 1999-12-01 |
Family
ID=19461062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019960020307A KR100233835B1 (en) | 1996-06-07 | 1996-06-07 | Bit rate control method for divided screen encoding |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100233835B1 (en) |
-
1996
- 1996-06-07 KR KR1019960020307A patent/KR100233835B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR980007720A (en) | 1998-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6493388B1 (en) | Rate control and buffer protection for variable bit rate video programs over a constant rate channel | |
US5956426A (en) | Multi-coding apparatus | |
US5719632A (en) | Motion video compression system with buffer empty/fill look-ahead bit allocation | |
JP4388598B2 (en) | A system for transmitting multiple video programs simultaneously via a transmission channel | |
JP3756346B2 (en) | Method and system for processing multiple streams of video frames | |
US20010031002A1 (en) | Image encoding apparatus and method of same, image decoding apparatus and method of same, image recording apparatus, and image transmitting apparatus | |
KR100777486B1 (en) | Hypothetical reference decoder with low start-up delays for compressed image and video | |
EP0998151A2 (en) | Joint data rate control for stereoscopic video signal coding | |
WO1996020568A2 (en) | Buffering for digital video signal encoders using joint bit-rate control | |
KR20010023674A (en) | Scalable video coding system | |
KR20030005320A (en) | Statistical multiplexer and remultiplexer that accommodates changes in structure of group of pictures | |
JPH08294130A (en) | Video compression using plurality of processors | |
JPH09149388A (en) | Transmitting method and receiver for a plurality of digital signal and statistical multiplexing device | |
CN1211876A (en) | Digital signal coding method and apparatus, signal recording medium, and signal transmission method | |
Perkins et al. | Statistical multiplexing of multiple MPEG-2 video programs in a single channel | |
US6570921B1 (en) | Data compression assembly having several data-compression channels | |
US6028896A (en) | Method for controlling data bit rate of a video encoder | |
KR100233835B1 (en) | Bit rate control method for divided screen encoding | |
KR100218424B1 (en) | Method and apparatus for controlling bit rate of video encoder | |
KR100273459B1 (en) | Bit string control method of image data | |
JP2002016911A (en) | Object video encoding device | |
KR100233260B1 (en) | Method of allocating bit at scene change | |
KR100389892B1 (en) | Bit rate control method considering contents | |
JPH07327229A (en) | Multiple encoding device | |
Hoang et al. | A lexicographic framework for MPEG rate control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 19960607 |
|
PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 19960607 Comment text: Request for Examination of Application |
|
N231 | Notification of change of applicant | ||
PN2301 | Change of applicant |
Patent event date: 19970402 Comment text: Notification of Change of Applicant Patent event code: PN23011R01D |
|
PG1501 | Laying open of application | ||
E801 | Decision on dismissal of amendment | ||
PE0801 | Dismissal of amendment |
Patent event code: PE08012E01D Comment text: Decision on Dismissal of Amendment Patent event date: 19990203 Patent event code: PE08011R01I Comment text: Amendment to Specification, etc. Patent event date: 19960902 |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 19990628 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 19990914 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 19990915 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PR1001 | Payment of annual fee |
Payment date: 20020830 Start annual number: 4 End annual number: 4 |
|
PR1001 | Payment of annual fee |
Payment date: 20030901 Start annual number: 5 End annual number: 5 |
|
PR1001 | Payment of annual fee |
Payment date: 20040831 Start annual number: 6 End annual number: 6 |
|
PR1001 | Payment of annual fee |
Payment date: 20050831 Start annual number: 7 End annual number: 7 |
|
PR1001 | Payment of annual fee |
Payment date: 20060830 Start annual number: 8 End annual number: 8 |
|
PR1001 | Payment of annual fee |
Payment date: 20070831 Start annual number: 9 End annual number: 9 |
|
PR1001 | Payment of annual fee |
Payment date: 20080905 Start annual number: 10 End annual number: 10 |
|
PR1001 | Payment of annual fee |
Payment date: 20090914 Start annual number: 11 End annual number: 11 |
|
PR1001 | Payment of annual fee |
Payment date: 20100906 Start annual number: 12 End annual number: 12 |
|
PR1001 | Payment of annual fee |
Payment date: 20110901 Start annual number: 13 End annual number: 13 |
|
FPAY | Annual fee payment |
Payment date: 20120904 Year of fee payment: 14 |
|
PR1001 | Payment of annual fee |
Payment date: 20120904 Start annual number: 14 End annual number: 14 |
|
FPAY | Annual fee payment |
Payment date: 20130904 Year of fee payment: 15 |
|
PR1001 | Payment of annual fee |
Payment date: 20130904 Start annual number: 15 End annual number: 15 |
|
LAPS | Lapse due to unpaid annual fee | ||
PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20150809 |