[go: up one dir, main page]

KR100196867B1 - 물체별 부호화 장치 - Google Patents

물체별 부호화 장치 Download PDF

Info

Publication number
KR100196867B1
KR100196867B1 KR1019950044809A KR19950044809A KR100196867B1 KR 100196867 B1 KR100196867 B1 KR 100196867B1 KR 1019950044809 A KR1019950044809 A KR 1019950044809A KR 19950044809 A KR19950044809 A KR 19950044809A KR 100196867 B1 KR100196867 B1 KR 100196867B1
Authority
KR
South Korea
Prior art keywords
block
image
unit
dct
dimensional dct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
KR1019950044809A
Other languages
English (en)
Other versions
KR970032130A (ko
Inventor
황덕동
Original Assignee
전주범
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주범, 대우전자주식회사 filed Critical 전주범
Priority to KR1019950044809A priority Critical patent/KR100196867B1/ko
Publication of KR970032130A publication Critical patent/KR970032130A/ko
Application granted granted Critical
Publication of KR100196867B1 publication Critical patent/KR100196867B1/ko
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 동영상을 이동 물체별로 분할하고 각 이동 물체에 대해 움직임 표현 파라메타를 추정하는 방식으로 물체별로 움직임을 보상하는 물체별 부호화 장치에 관한 것으로, 입력되는 프레임 단위의 영상을 독립적인 움직임의 이동 물체별로 분할하는 영상 분할부(21), 상기 이동 물체별로 분할된 영상을 기설정 블럭 단위로 분할하는 블럭 분할부(22), 상기 기 설정 블럭 단위로 분할된 각 블럭중 영상 조각을 포함한 블럭을 검출하는 영상 조각 블럭 검출부(23), 상기 영상 조각을 포함한 블럭내의 영상 조각을 이루는 각 픽셀값들을 일측 방향으로 시프트시켜 재정렬하는 일측 방향 재정렬부(24), 상기 일측 방향으로 재 정렬된 기설정 블럭의 영상을 일측 방향으로 1차원 DCT 변환하여 각 DCT변환 계수를 제공하는 일측 방향 1차원 DCT부(25), 상기 1차원 DCT변환부(25)에서 제공하는 각 DCT변환 계수들을 상기 일측 방향과 수직인 타측 방향으로 시프트시켜 재정렬 하는 타측 방향 재 정렬부(26), 상기 타측 방향으로 재 정렬된 기 설정 블럭의 각 DCT 계수들을 타측 방향으로 1차원 DCT 변환하는 타측 방향 1차원 DCT부(27)를 구비하여 구성함을 특징으로 한다.

Description

물체별 부호화 장치
제1도는 종래 기술의 블록별 부호화 기법을 설명하기 위한 도면.
제2도는 본 발명의 실시예를 나타내는 상세 구성도.
제3도는 본 발명에 따른 영상 조각의 수평 및 수직 방향 시프트 상태를 설명하기 위한 도면.
* 도면의 주요부분에 대한 부호의 설명
21 : 영상 분할부 22 : 블럭 분할부
23 : 영상 조각 블럭 검출부 24 : 수평 방향 재정렬부
25 : 수평 방향 1차원 DCT부 26 : 수직 방향 재정렬부
27 : 수직 방향 1차원 DCT부
본 발명은 동영상을 이동 물체별로 분할하고 각 이동 물체에 대해 움직임 표현 파라메타를 추정하는 방식으로 물체별로 움직임을 보상하는 물체별 부호화 장치에 있어서, 특히 움직임 파라메타로부터 신호 변화를 충분히 표현하지 못하는 MF(Model Failure) 영역의 픽셀 정보를 부호화하는물체별 부호화 장치에 관한 것이다.
최근 MPEG(Motion Picture Experts Group)4의 표준화를 앞두고 이에 수용할수 있는 저전송율 동영상 부호화기법에 대한 연구가 활발히 진행되고 있는데, 이동 물체를 포함한 연속 영상의 저전송을 부호화 하기 위해서는 이동 정보를 이용하는 데이타 감축 기법이 필수적이다.
한편 종래의 동영상 부호화 기법들은 이동 물체의 모양 및 전역 움직임(global motion)과 무관하게 지역적인 불럭 움직임에 근거하고 있다.
따라서 낮은 전송율에서, 블럭별 이동 보상 부호화를 적용함으로서 블럭화 현상, 모서리 떨림 현상, 반점 현상등과 같은 화질 저하가 재생 영상에 나타나게 된다.
MPEG4에서는 상기한 문제점을 해결하기 위한 새로운 부호화 방식으로서 영상신호의 통계적 특성만을 주로 고려하는 종래의 방법과는 다르게, 인간의 시각 특성에 바탕을 두고 주관적 화질을 중시하며 아울러 전송 데이타량의 대폭적인 감축을 도모하는 동영상 부호화 기법이 연구되어 지고 있으며, 이러한 새로운 부호화 기법중에 하나가 동영상을 이동 물체별로 분할하고, 각 이동 물체에 대해 움직임 표현 파라메타를 추정하는 방식으로 물체별로 움직임을 보상하는 물체별 부호화 기법이다.
물체별 부호화 기법은 먼저, 입력 영상을 독립적인 움직임의 이동 물체별로 분할하고 분할된 물체의 움직임 정보를 추정하는 과정을 통하여 윤곽선 정보, 움직임 정보, 색상 정보를 추출한후 추출된 윤곽선 정보, 움직임 정보, 색상 정보를 이동 물체별로 선택적으로 부호화하여 전송한다.
이러한 물체별 부호화 방식에서 대부분의 영역은 움직임 계수에 의해 이동 보상되어 질수 있으므로 움직임 정보와 윤곽선 정보만 전송하면 된다.
그러나 움직임 계수들로부터 신호 변화를 충분히 표현하지 못하는 영역이 발생하는데, 이러한 MF 영역은 이동 보상을 할 수 없기 때문에 윤곽선 정보뿐만 아니라 밝기 정보를 전송해야 한다.
즉, 물체별 부호화 방식에 의해 부호화를 수행할 경우 N*M 형태의 직사각형 영상이 아닌 임의의 모양의 조각들이 생기고 이를 부호화 할 필요가 있다.
따라서 종래에는 MF 영역 밝기 정보의 부호화를 위한 방법으로 Gilge에 의해 제안된 GOT(General Orthogonal Transform)와 Kaup and Aach에 의해 발표된 반복 부호화 기법(iterative coding scheme)이 있는데, 이는 윤곽선에 적응적으로 부호화를 하기 때문에 좋은 성능을 보이지만, 이러한 기법들은 직교하는 기저 함수가 윤곽선 형태에 따라 다르기 때문에 기저 함수를 구하는데 많은 시간과 계산이 소요된다.
또한 MF 영역 밝기 정보의 부호화를 위한 블럭별 변환 부호화 방식은 원하는 물체 영역 밖의 영역에 제로(zero), 평균값, 또한 그 영역의 미러(mirror)등을 채워넣는 다음 변환하는 방식으로, 제1도를 참조하여 설명하면 다음과 같다.
먼저, 제로 채워넣기(zero stuffing) 기법은 제1도 (a)에 나타난 바와 같이 물체 영역(1) 이외의 다른 영역(2)에 제로를 채워넣는 가장 단순한 방식으로서 물체와 제로 사이에 경계가 발생한다. 이때문에 원하지 않는 고주파 성분이 많이 포함되어 부호화 할때 압축률이 많이 떨어지는 문제점이 있다.
상기한 제로 채워넣기 기법의 문제점을 해결하기 위해서 제안된 방법들로서, MF 영역밖에 제로 이외의 다른 성분을 채워 넣음으로서 부호화 효율을 높이는 평균값 채워넣기 방식(제1도 (b))과 미러 이미지 확장 방식(제1도 (c))이 있다.
평균값 채워넣기 방식은 물체 영역(3)에 있는 밝기값의 평균값을 물체 영역 이외의 다른 영역(4)에 채워 넣는 방식이고, 미러 이미지 확장 방식은 물제 영역(5)의 밝기값을 물체 영역밖(6)에 대칭되도록 부여하는 방식으로서, 경계 지역에 대한 신호의 급격한 변화를 방지하기 때문에 고주파 성분을 줄일 수 있다는 장점이 있지만 물체 영역밖에 원하지 않는 정보를 채워 놓은 후 부호화를 수행하기 때문에 부호화 효율이 떨어지는 문제점이 있었다.
본 발명은 상기 문제점을 해결하기 위하여 안출한 것으로서, 임의의 모양을 갖는 영상 조각 영역을 수평 및 수직 방향으로 재 배열하여 1차원 DCT를 수행함으로써 부호화 효율을 높일 수 있는 물체별 부호화 장치를 제공함에 그 목적이 있다.
본 발명은 상기 목적을 달성하기 위하여 입력되는 프레임 단위의 영상을 독립적인 움직임의 이동 물체별로 분할하는 영상 분할부, 상기 이동 물체별로 분할된 영상을 기설정 블럭 단위로 분할하는 블럭 분할부, 상기 기 설정 블럭 단위로 분할된 각 블럭중 영상 조각을 포함한 블럭을 검출하는 영상 조각 블럭 검출부, 상기 영상 조각을 포함한 블럭 내의 영상 조각을 이루는 각 픽셀값들을 압축 방향으로 시프트시켜 재정렬하는 일측 방향 재정렬부, 상기 일측 방향으로 재 정렬된 기 설정 블럭의 영상을 일측 방향으로 1차원 DCT 변환하여 각 DCT변환 계수를 제공하는 일측 방향 1차원 DCT부, 상기 일측 방향 1차원 DCT변환부에서 제공하는 각 DCT변환 계수들을 상기 일측 방향과 수직인 타측 방향으로 시프트시켜 재정렬 하는 타측 방향 재 정렬부, 상기 타측 방향으로 재 정렬된 기 설정 블럭의 각 DCT 계수들을 타측 방향으로 1차원 DCT 변환하는 타측 방향 1차원 DCT부를 구비하여 구성함을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
제2도는 본 발명을 실시하기 위한 상세 구성도로서, 입력되는 프레임 단위의 영상을 독립적인 움직임의 이동 물체별로 분할하는 영상 분할부(21), 이동 물체별로 분할된 영상을 8×8 블럭 단위로 분할하는 블럭 분할부(22), 8×8 블럭 단위로 분할된 각 블럭중 영상 조각을 포함한 블럭을 검출하는 영상 조각 블럭 검출부(23), 영상 조각 블럭 검출부(23)에 의해 검출된 영상 조각을 포함한 블럭내의 영상 조각을 이루는 각 픽셀값들을 8×8 블럭의 일측 수평 방향으로 시프트시켜 재정렬하는 수평 방향 재정렬부(24), 수평 방향으로 재 정렬된 8×8 블럭의 영상을 수평 방향으로 1차원 DCT(Discrete Cosine Transform) 변환하여 각 DCT 변환 계수를 제공하는 수평 방향 1차원 DCT부(25), 1차원 DCT 변환부(25)에서 제공하는 각 DCT 변환 계수들을 일측 수직 방향으로 시프트시켜 재정렬하는 수직 방향 재 정렬부(26), 수직 방향으로 재 정렬된 8×8 블럭의 각 DCT 계수들을 수직 방향으로 1차원 DCT 변환하는 수직 방향 1차원 DCT부(27)로 구성한다.
상기와 같이 구성된 본 발명의 실시예에 대한 동작 설명은 다음과 같다.
먼저, 영상 분할부(21)는 입력되는 프레임 단위의 영상을 독립적인 움직임의 이동 물체별로 분할하여 분할된 물체의 움직임 정보를 추정하고 윤곽선 정보 및 새상 정보를 추출하여 이를 블럭 분할부(22)에 출력하고, 블럭 분할부(22)는 이동 물체별로 분할된 영상을 8×8 블럭 단위로 분할한다.
따라서 영상 조각 블럭 검출부(23)는 8×8 블럭 단위로 분할된 각 블럭중 영상 조각을 포함한 블럭을 검출하여 해당 블럭을 수평 방향 재 정렬부(24)에 제공하고, 수평 방향 재 정렬부(24)는 영상 조각 블럭 검출부(23)에 의해 검출된 영상 조각을 포함한 블럭내의 영상 조각을 이루는 각 픽셀값들을 8×8 블럭의 일측 수평 방향으로 시프트시켜 재정렬한다.
즉, 영상 조각 블럭 검출부(23)에 의해 검출된 영상 조각을 포함한 8×8 블럭내의 영상 조각(a)이 제3도 (a)도에 도시된 바와 같이 구성된다면 수평 방향 재 정렬부(24)는 이를 제3도 (b)와 같이 영상 조각을 이루는 각 픽셀값들을 좌측 방향으로 모두 이동시켜 재 정렬(b)하는 것이다.
제3도 (b)와 같이 8×8 블럭의 영상 조각을 이루는 각 픽셀값이 수평 방향으로 이동되면 수평 방향 1차원 DCT부(25)는 8×8 블럭의 각 수평 라인의 포인트수(N:정수)를 검출하여 각 수평 라인에 대한 N포인트 1차원 DCT 변환을 수행하여 각 DCT 변환 계수를 수직 방향 재 정렬부(26)에 제공하고, 수직 방향 재 정렬부(26)은 1차원 DCT 변환부(25)에서 제공하는 각 DCT 변환 계수들을 제3도 (c)도에 도시된 바와 같이 일측 수직 방향으로 시프트시켜 재정렬하여 수직 방향 1차원 DCT부(27)로 제공한다.
따라서 수직 방향 1차원 DCT부(27)는 수직 방향으로 재 정렬된 8×8 블럭의 각 DCT 계수들에 대한 수직 라인의 각 포인트수(M:정수)를 검출하여 M포인트 수직 방향 1차원 DCT 변환을 수행하여 각 DCT 변환 계수들을 전송한다.
상술한 바와 같이 본 발명의 바람직한 실시예는 영상 조각을 수평 방향으로 시프트시킨 후 이를 1차원 DCT변환하고, 다시 수직 방향으로 시프트시킨 후 1차원 DCT 변환을 수행하지만 본 발명의 물체별 부호화 방식이 반드시 이에 국한되어지는 것으로 이해되어서는 안될 것이며, 영상 조각을 수평 방향이 아닌 수직 방향으로 먼저 시프트시킨후 이를 1차원 DCT 변환하고, 다시 수평 방향으로 시프트 시킨 후 1차원 DCT 변환을 수행하더라도 그 결과는 동일함을 당업자라면 쉽게 알 수 있을 것이다.
상기한 바와 같이 본 발명은 영상 조각을 일정하게 시프트시켜 영상 조각에 대한 물체를 부호화함으로써, 부호화 효율을향상시킬 수 있는 효과가 있다.

Claims (2)

  1. 입력되는 프레임 단위의 영상을 독립적인 움직임이 이동 물체별로 분할하는 영상 분할부(21), 상기 이동 물체별로 분할된 영상을 기설정 블럭 단위로 분할하는 블럭 분할부(22), 상기 기 설정 블럭 단위로 분할된 각 블럭중 영상 조각을 포함한 블럭을 검출하는 영상 조각 블럭 검출부(23), 상기 영상 조각을 포함한 블럭내의 영상 조각을 이루는 각 픽셀값들을 일측 방향으로 시프트시켜 재정렬하는 일측 방향 재정렬부(24), 상기 일측 방향으로 재 정렬된 기 설정 블럭의 영상을 일측 방향으로 1차원 DCT 변환하여 각 DCT 변환 계수를 제공하는 일측 방향 1차원 DCT부(25), 상기 1차원 DCT 변환부(25)에서 제공하는 각 DCT 변환 계수들을 상기 일측 방향과 수직인 타측 방향으로 시프트시켜 재정렬하는 타측 방향 재정렬부(26), 상기 타측 방향으로 재 정렬된 기 설정 블럭의 각 DCT 계수들을 타측 방향으로 1차원 DCT 변환하는 타측 방향 1차원 DCT부(27)를 구비한 물체별 부호화 장치.
  2. 제1항에 있어서, 상기 기 설정 블럭은 8×8 블럭인 물체별 부호화 장치.
KR1019950044809A 1995-11-29 1995-11-29 물체별 부호화 장치 Expired - Lifetime KR100196867B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950044809A KR100196867B1 (ko) 1995-11-29 1995-11-29 물체별 부호화 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950044809A KR100196867B1 (ko) 1995-11-29 1995-11-29 물체별 부호화 장치

Publications (2)

Publication Number Publication Date
KR970032130A KR970032130A (ko) 1997-06-26
KR100196867B1 true KR100196867B1 (ko) 1999-06-15

Family

ID=19436466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950044809A Expired - Lifetime KR100196867B1 (ko) 1995-11-29 1995-11-29 물체별 부호화 장치

Country Status (1)

Country Link
KR (1) KR100196867B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100530566B1 (ko) * 1998-10-02 2006-05-17 주식회사 팬택앤큐리텔 적응적 변환방법을 이용하는 영상압축 부호화 및 복호화 장치및 그 방법

Also Published As

Publication number Publication date
KR970032130A (ko) 1997-06-26

Similar Documents

Publication Publication Date Title
KR970000683B1 (ko) 해상도 가변 적응적 화상압축/복원방법 및 장치
US6385248B1 (en) Methods and apparatus for processing luminance and chrominance image data
JP3856262B2 (ja) 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体
US4723161A (en) Method and arrangement of coding digital image signals utilizing interframe correlation
KR100203710B1 (ko) 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR960006762B1 (ko) 화상부호화를 위한 효율적인 2차원 데이타의 주사선택회로
KR100242406B1 (ko) 디지탈 비디오 동화상의 움직임 보상 방법
US6122321A (en) Methods and apparatus for reducing the complexity of inverse quantization operations
US5835148A (en) Apparatus for parallel decoding of digital video signals
JP2001112000A (ja) 映像信号符号化装置
KR0159559B1 (ko) 디지탈 화상의 적응적인 후처리 방법
US6553071B1 (en) Motion compensation coding apparatus using wavelet transformation and method thereof
US6148032A (en) Methods and apparatus for reducing the cost of video decoders
KR100229796B1 (ko) 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템
CN1878304B (zh) 编码和解码图像序列的方法和设备
JPH07143491A (ja) 画像信号処理方法
KR100209798B1 (ko) 확장-내삽을 이용한 윤곽선 물체의 부호화 장치
US6016365A (en) Decoder having adaptive function of eliminating block effect
KR100196867B1 (ko) 물체별 부호화 장치
CN1078795C (zh) 用在图象编码系统中的改进的运动补偿方法
JP2901656B2 (ja) 画像符号化装置
JPH09502840A (ja) テレビ画像サブバンド両立式符号化用エンコーダ／デコーダ及びツリー構造による階層的運動符号化へのその応用
JP2923875B2 (ja) 動画像符号化装置
KR100240620B1 (ko) 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치
KR100229795B1 (ko) 개선된 영상 복호화 시스템

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 19951129

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 19951129

Comment text: Request for Examination of Application

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 19981130

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 19990223

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 19990224

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20020129

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20030124

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20040130

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20050121

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20060125

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20070202

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20080201

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20090202

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20100201

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20110201

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20120201

Start annual number: 14

End annual number: 14

FPAY Annual fee payment

Payment date: 20130225

Year of fee payment: 15

PR1001 Payment of annual fee

Payment date: 20130225

Start annual number: 15

End annual number: 15

FPAY Annual fee payment

Payment date: 20140214

Year of fee payment: 16

PR1001 Payment of annual fee

Payment date: 20140214

Start annual number: 16

End annual number: 16

FPAY Annual fee payment

Payment date: 20150223

Year of fee payment: 17

PR1001 Payment of annual fee

Payment date: 20150223

Start annual number: 17

End annual number: 17

EXPY Expiration of term
PC1801 Expiration of term