[go: up one dir, main page]

KR100477647B1 - 영상의 움직임 보정 장치 및 방법 - Google Patents

영상의 움직임 보정 장치 및 방법 Download PDF

Info

Publication number
KR100477647B1
KR100477647B1 KR10-2002-0030895A KR20020030895A KR100477647B1 KR 100477647 B1 KR100477647 B1 KR 100477647B1 KR 20020030895 A KR20020030895 A KR 20020030895A KR 100477647 B1 KR100477647 B1 KR 100477647B1
Authority
KR
South Korea
Prior art keywords
motion
image
video signal
current frame
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR10-2002-0030895A
Other languages
English (en)
Other versions
KR20030093023A (ko
Inventor
박정훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2002-0030895A priority Critical patent/KR100477647B1/ko
Priority to CNB031035280A priority patent/CN1255992C/zh
Priority to US10/361,676 priority patent/US7171052B2/en
Publication of KR20030093023A publication Critical patent/KR20030093023A/ko
Application granted granted Critical
Publication of KR100477647B1 publication Critical patent/KR100477647B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 입력되는 영상신호를 움직임 추정하여 압축하는 영상처리시스템에 있어서, 압축효율을 향상시킬 수 있도록 프레임간 상관성을 고려하여 손 떨림이나 시스템의 진동에 따라 발생되는 영상의 움직임을 보정하기 위한 장치 및 방법이다.
본 발명에 따른 영상의 움직임 보정 장치는 적어도 프레임 메모리 및 움직임 추정 및 보정기를 포함한다. 프레임 메모리는 입력되는 영상신호를 현재 프레임 영상으로 저장한다. 움직임 추정 및 보정기는 현재 프레임 영상에서 소정의 움직임 추정 범위에 포함되는 영상 영역을 기준으로 이전 프레임 영상에 대한 움직임을 추정하여 현재 프레임 영상에서 압축할 영상 영역을 검출하고, 검출된 압축할 영상 영역을 정상적인 움직임 추정을 위한 현재 프레임의 영상 영역으로서 제공함으로써, 영상의 움직임을 보정한다.
따라서 움직임 추정에 의해 영상신호를 압축하는 영상처리 시스템에서 입력되는 영상신호에 대한 압축효율을 향상시킬 수 있다.

Description

영상의 움직임 보정 장치 및 방법{Motion correction apparatus for image and method thereof}
본 발명은 입력되는 영상신호를 압축하여 처리하는 영상처리시스템에 관한 것으로, 특히, 입력되는 영상신호의 압축효율을 향상시킬 수 있도록 사용자의 손 떨림이나 시스템의 진동으로 인해 발생되는 영상의 움직임을 보정하기 위한 장치 및 방법에 관한 것이다.
사용자의 손 떨림이나 시스템의 진동으로 인하여 발생되는 영상의 움직임을 보정하는 기능이 필요한 영상처리시스템은 휴대하면서 영상신호를 수집할 수 있는 시스템일 것이다. 이는 휴대용 영상 수집장치가 영상신호를 수집할 때 손 떨림이 발생되거나 시스템의 진동이 발생될 가능성이 높기 때문이다. 영상신호를 수집할 때 손 떨림이 발생되거나 시스템의 진동이 발생되면, 입력 영상 자체에 움직임이 없음에도 불구하고 입력된 영상에 움직임이 있는 것으로 취급되므로 상기 영상 처리 시스템에 상기 영상의 움직임을 보정하는 기능이 필요하다. 예를 들어 비디오 카메라가 상기 시스템에 해당될 수 있다.
기존의 비디오 카메라에 구비된 상기 영상의 움직임 보정 기능은, 진동센서를 이용하여 시스템의 진동 량을 검출하고, 검출된 진동 량을 토대로 렌즈의 상을 상하좌우로 이동시켜 영상의 움직임을 보정하고 있다. 또한, 상기 비디오 카메라는 상기 보정된 영상신호를 압축하여 저장하거나 다른 장치로 전송할 수 있다. 상기 비디오 카메라는 대부분 인트라(intra) 코딩방식으로 영상신호를 압축한다. 인트라 코딩은 다른 영상과의 상관성을 고려하지 않고 입력되는 영상신호를 압축하는 방식이다.
이와 같이 기존의 비디오 카메라는 손 떨림이나 시스템의 진동에 의해 발생되는 움직임 보정은 물론 영상신호를 압축할 때 프레임간의 상관관계를 고려하지 않고 있다. 따라서 기존의 비디오 카메라는 동영상과 같이 다량의 영상을 수집하는데 한계가 있다.
이를 해결하기 위하여, MPEG-2나 MPEG-4와 같이 인트라 코딩방식과 인터(inter) 코딩방식을 모두 사용하는 압축방식을 비디오 카메라와 같은 영상처리시스템에 적용하려는 시도가 이루어지고 있다. 상기 MPEG-2 또는 MPEG-4방식을 압축방식으로 채용할 경우에, 손 떨림이나 시스템의 진동에 따라 발생된 움직임을 상술한 바와 같이 보정한 영상신호를 그대로 사용하면, 인터 코딩 모드에서 영상신호에 대한 압축 효율이 저하될 수 있다. 이는 인터 코딩이 현재 프레임과 이전 프레임간의 상관관계를 고려하여 움직임을 추정 및 보정하고, 움직임 추정 및 보정에 의해 얻어진 차이 영상을 압축하는 방식으로 이루어진 반면에 상기 손 떨림이나 시스템의 진동에 따라 발생되는 움직임 보정은 다른 영상과의 상관관계를 전혀 고려하지 않고 화면단위로 이루어지기 때문이다.
본 발명은 상술한 문제를 해결하기 위한 것으로, 입력되는 영상신호를 움직임 추정하여 압축하는 영상처리시스템에 있어서, 압축효율을 향상시킬 수 있도록 손 떨림이나 시스템의 진동에 따라 발생되는 영상의 움직임을 보정하기 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 프레임간 상관성을 고려하여 손 떨림이나 시스템의 진동으로 인하여 발생되는 영상의 움직임을 보정하기 위한 장치 및 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 영상신호의 압축률을 향상시키기 위하여, 손 떨림이나 시스템의 진동으로 인하여 발생되는 영상의 움직임을 2단계로 나누어 보정하는 영상의 움직임 보정 장치 및 방법을 제공하는데 있다.
상기 목적들을 달성하기 위하여 본 발명에 따른 영상의 움직임 보정 장치는, 입력되는 영상신호의 움직임을 추정하여 압축하는 영상처리시스템에서 손 떨림이나 시스템의 진동에 따라 발생되는 영상의 움직임을 보정하는 장치에 있어서, 입력되는 영상신호를 현재 프레임 영상으로 저장하는 프레임 메모리; 현재 프레임 영상에서 소정의 움직임 추정 범위에 포함되는 영상 영역을 기준으로 이전 프레임 영상에 대한 움직임을 추정하여 현재 프레임 영상에서 압축할 영상 영역을 검출하고, 검출된 압축할 영상 영역을 정상적인 움직임 추정을 위한 현재 프레임의 영상 영역으로서 제공함으로써, 영상의 움직임을 보정하는 움직임 추정 및 보정기를 포함하는 것이 바람직하다.
상기 프레임 메모리로 입력되는 영상신호는 화면단위로 손 떨림이나 시스템의 진동에 따라 발생되는 영상의 움직임이 보정된 신호를 이용하는 것이 바람직하다. 상기 소정의 움직임 추정 범위는 실질적으로 발생된 영상의 움직임이 영상의 움직임 보정 대상이 되지 않도록 설정되는 것이 바람직하다.
상기 움직임 추정 및 보정기는 소정의 블록단위로 움직임 벡터를 검출하고, 검출된 움직임 벡터를 이용하여 소정의 움직임 추정 범위에 대한 움직임 벡터 평균을 구하고, 움직임 벡터 평균으로 상기 압축 할 영상 영역을 검출하도록 구성되는 것이 바람직하다.
상기 움직임 추정 및 보정기는 상기 검출된 움직임 벡터중에서 이전 프레임영상에서의 블록과 현재 프레임 영상에서의 블록간의 차이가 적은 블록의 움직임 벡터를 상기 정상적인 움직임 추정 시 이용할 수 있도록 제공하는 것이 바람직하다.
상기 또 다른 목적을 달성하기 위하여 본 발명에 따른 영상의 움직임 보정 장치는, 프레임간의 상관성을 고려하여 입력되는 영상신호에 대한 움직임을 추정하고 보정하여 압축하는 영상처리시스템에서 시스템의 진동에 따라 발생되는 영상의 움직임을 보정하는 장치에 있어서, 입력되는 영상신호를 화면단위로 진동에 따라 발생되는 영상의 움직임을 보정하는 움직임 보정부; 움직임 보정부에서 출력되는 영상신호를 현재 프레임 영상으로 저장하는 프레임 메모리; 현재 프레임 영상에서 소정의 움직임 추정 범위에 포함되는 영상 영역을 기준으로 이전 프레임 영상에 대한 움직임을 추정하여 소정의 움직임 추정 범위에서 압축 처리될 영상 영역을 검출하고, 검출된 압축 처리될 영상 영역을 정상적인 움직임 추정을 위한 현재 프레임의 영상 영역으로서 제공함으로써, 영상의 움직임을 보정하는 움직임 추정 및 보정기를 포함하는 것이 바람직하다.
상기 목적들을 달성하기 위하여 본 발명에 따른 영상의 움직임 보정 방법은, 입력되는 영상신호의 움직임을 추정하여 압축하는 영상 처리 시스템에서 손 떨림이나 시스템의 진동에 따라 발생되는 영상의 움직임을 보정하는 방법에 있어서, 입력되는 영상신호를 현재 프레임 영상으로 저장하는 단계; 현재 프레임 영상에서 소정의 움직임 추정 범위에 포함되는 영상 영역을 기준으로 이전 프레임 영상에 대한 움직임을 추정하여 상기 현재 프레임 영상에서 압축 처리될 영상 영역을 검출하는 단계; 검출된 압축 처리될 영상 영역을 정상적인 움직임 추정을 위한 현재 프레임의 영상 영역으로서 제공하는 단계를 포함하는 것이 바람직하다.
상기 압축 처리될 영상 영역을 검출하는 단계 및 제공 단계는 입력되는 영상신호에 대한 압축이 인터 코딩 모드일 때 수행되는 것이 바람직하다. 상기 소정의 움직임 추정 범위는 실질적으로 발생되는 영상의 움직임이 영상의 움직임 보정 대상이 되지 않도록 설정되는 것이 바람직하다.
상기 압축 처리될 영상 영역을 검출하는 단계는, 소정 블록단위로 움직임을 추정하여 움직임 벡터를 검출하는 단계; 검출된 움직임 벡터를 이용하여 소정의 움직임 추정 범위에 대한 움직임 벡터 평균을 구하는 단계; 움직임 벡터 평균을 이용하여 압축 처리될 영상 영역을 검출하는 단계를 포함하는 것이 바람직하다. 상기 입력되는 영상신호는 화면단위로 손 떨림이나 시스템의 진동에 따라 발생되는 영상의 움직임이 보정된 신호를 이용하는 것이 바람직하다.
상기 또 다른 목적을 달성하기 위하여 본 발명에 따른 영상의 움직임 보정 방법은, 프레임간 상관성을 고려하여 입력되는 영상신호에 대한 움직임을 추정하고 보정하여 압축하는 영상처리시스템에서 시스템의 진동에 따라 발생되는 영상의 움직임 보정 방법에 있어서, 입력되는 영상신호를 화면단위로 진동에 따라 발생되는 영상의 움직임을 보정하는 단계; 보정된 영상신호를 현재 프레임 영상으로 저장하는 단계; 영상처리시스템의 코딩 모드가 인터 코딩 모드이면, 저장단계에서 저장된 현재 프레임 영상에서 소정의 움직임 추정 범위에 포함되는 영상 영역을 기준으로 이전 프레임 영상에 대한 움직임을 추정하여 소정의 움직임 추정 범위에서 압축 처리될 영상 영역을 검출하는 단계; 검출된 압축 처리될 영상 영역을 정상적인 움직임 추정 시 현재 프레임의 영상 영역으로서 제공하는 단계를 포함하는 것이 바람직하다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 바람직한 실시 예에 따른 영상의 움직임 보정 장치를 구비한 영상처리시스템의 블록 도이다. 도 1을 참조하면, 영상처리시스템은 움직임 보정부(101), 제 1 프레임 메모리(102), 부호화부(103), 복호화부(104), 제 2 프레임 메모리(105), 움직임 추정 및 보정수단(110), 및 가산기(130)로 구성된다.
움직임 보정부(101)는 손 떨림이나 시스템의 진동에 따라 입력되는 영상신호에 포함되어 있는 움직임을 화면단위로 보정한다. 보정방식은 상술한 기존의 비디오 카메라에서와 같이 검출된 진동 량으로 렌즈의 상을 상하좌우로 이동시켜 움직임을 보정하도록 구현할 수 있다. 그러나, 그 외에도 기계적 또는 전자적인 제어로 상기 움직임을 보정하는 이미 알려진 기술 중에서 하나를 사용하여 움직임을 보정하도록 구현할 수 있다. 움직임 보정부(101)에서 화면단위로 움직임이 보정된 영상신호는 제 1 프레임 메모리(102)로 전송된다.
제 1 프레임 메모리(102)는 움직임 보정부(101)에서 1차적으로 움직임이 보정된 영상신호를 현재 프레임 영상으로 저장한다. 이 때, 저장되는 현재 프레임 영상은 전체 해상도를 포함하는 영상이다. 즉, 도 2에 도시된 화면 예에서 ((N+x)×(M+y))픽셀로 표현된 프레임 영상(201)이 제 1 프레임 메모리(102)에 저장된다.
해당되는 영상처리시스템의 압축모드가 인트라(intra) 코딩 모드이면, 제 1 프레임 메모리(102)에 저장된 현재 프레임 영상중에서 압축 처리될 영상 영역에 포함되는 영상신호만 부호화부(103)로 전송된다. 이 때, 압축 처리될 영상 영역은 도 2에 도시된 (N×M)픽셀로 표현되는 해상도 영역(202)이다. 이 압축 처리될 영상 영역(202)은 사전에 정해진 영역이다. 상기 압축 처리될 영상 영역은 입력되는 영상신호에서 실질적으로 디스플레이 될 영상 영역을 고려하여 결정된다.
그러나, 해당되는 영상 처리 시스템의 압축 모드가 인터(inter) 코딩 모드이면, 후술할 움직임 추정 및 보정 수단(110)에서 제공되는 영상 영역에 포함되는 영상 신호만 가산기(130)로 제공된다. 상기 영상 영역은 압축 처리될 영상 영역이다. 이 영상 영역은 상기 인트라 코딩 모드에서와 같이 (N×M)픽셀의 해상도를 갖는다. 그러나, 상기 영상 영역은 본 발명에 따라 프레임간의 상관성을 고려한 움직임 보정에 의해 얻어진 것이므로, 위치가 가변 될 수 있다. 따라서, 상기 압축 처리될 영상 영역은 도 2의 (202)영역이 될 수도 있고, (204)영역이 될 수도 있다.
가산기(130)는 인터 코딩 모드일 때, 제 1 프레임 메모리(102)로부터 출력되는 영상신호와 움직임 추정 및 보정 수단(110)에서 출력되는 영상신호간의 차이 영상을 부호화부(103)로 전송한다. 상기 차이 영상은 소정 블록단위로 검출될 수 있다.
인트라 코딩 모드일 때, 부호화부(103)는 제 1 프레임 메모리(102)로부터 전송되는 영상 신호를 이산 여현 변환(DCT)하고, 양자화하여 부호화된 비트스트림을 출력한다. 인터 코딩 모드일 때, 부호화부(103)는 가산기(130)로부터 전송되는 차이 영상을 이산 여현 변환하고, 양자화하여 부호화된 비트스트림을 출력한다. 부호화부(103)로부터 출력되는 비트스트림은 가변장 부호화와 같은 처리를 위하여 미 도시된 다음 단으로 전송되면서 복호화부(104)로 전송된다.
복호화부(104)는 입력되는 비트스트림을 부호화 이전의 형태로 복원한다. 이를 위하여 복호화부(104)는 부호화부(103)와 역 과정으로 신호처리를 하도록 구성된다. 즉, 복호화부(104)는 입력되는 비트스트림을 역 양자화하고, 역 이산 여현 변환한다.
상기 복원된 영상신호는 제 2 프레임 메모리(105)에 저장된다. 제 2 프레임 메모리(105)에 저장되는 영상신호는 도 2에서와 같은 (N×M)픽셀 사이즈의 해상도를 갖는다. 이는 영상신호의 프레임 영상신호에서 실질적으로 압축 처리되는 영상 영역이 (N×M)픽셀 영역이기 때문이다.
움직임 추정 및 보정 수단(110)은 도 1에 도시된 바와 같이 제 1 움직임 추정 및 보정기(111)와 제 2 움직임 추정 및 보정기(112)로 구성된다.
제 1 움직임 추정 및 보정기(111)는 손 떨림이나 시스템의 진동에 따라 발생된 영상신호의 움직임을 보정하기 위한 것이다. 즉, 제 1 움직임 추정 및 보정기(111)는 움직임 추정 범위 정보를 토대로 제 1 프레임 메모리(102)에 저장된 ((N+x)×(M+y))픽셀의 해상도를 갖는 영상 영역(201)에서 도 2의 (203)영역에 포함된 영상신호를 읽어온다. 상기 (203)영역은 움직임 추정 범위 영역이다. 제 1 움직임 추정 및 보정기(111)는 상기 (203)영역의 영상신호를 기준으로 제 2 프레임 메모리(105)에 저장되어 있는 이전 프레임 영상에 대한 움직임을 추정한다. 움직임 추정 방식은 소정 블록단위로 MPEG-2 또는 MPEG-4에서와 같은 방식으로 수행될 수 있다. 따라서, 소정 블록단위의 움직임 벡터가 구해진다.
그 다음, 제 1 움직임 추정 및 보정기(111)는 소정 블록단위로 검출된 움직임 벡터를 이용하여 (203)영역에 대한 움직임 벡터 평균(V(x, y))을 수학식 1과 같이 구한다.
수학식 1에서 M은 블록의 개수이다. Vm(x,y)는 m번째 블록의 움직임 벡터이다.
그 다음, 제 1 움직임 추정 및 보정기(111)는 검출된 움직임 벡터 평균을 이용하여 소정의 움직임 추정 범위(203)에서 압축 처리될 영상 영역을 검출한다. 도 2의 경우에는 (204) 영역이 움직임 추정에 의해 검출된 압축 처리될 영상 영역이다.
도 2에서 (201) 영역은 제 1 프레임 메모리(102)에 저장된 영상의 해상도이고, (202) 영역은 부호화부(103)에서 압축 처리될 영상의 해상도이고, (203) 영역은 소정의 움직임 추정 범위이고, (204) 영역은 입력된 영상에 포함되어 있는 손 떨림이나 시스템 진동에 의해 발생된 움직임을 보정하여 검출된 압축 처리될 영상 영역이다.
상기 움직임 추정 범위는 실질적인 움직임을 손 떨림이나 시스템의 진동에 따라 발생된 움직임으로 취급되는 일이 발생되지 않도록 설정된다. 이 움직임 추정 범위는 사용자가 사전에 설정하거나 시스템에 사전에 설정되어 있거나 움직임 보정부(101)에서 입력되는 영상신호를 보정하기 위하여 검출된 진동 량에 따라 설정될 수 있다. 만약 상기 움직임 추정 범위가 상기 진동 량에 따라 설정되는 경우에, 상기 움직임 추정 범위는 가변될 수 있다.
상술한 바와 같이 검출된 압축 처리될 영상 영역을 이용하여 인터 코딩방식에서 수행되었던 움직임 추정 및 보정을 수행하도록 함으로써, 손 떨림이나 시스템의 진동에 따라 발생된 영상의 움직임을 프레임간의 상관성을 고려하여 보상한 영상 신호로 정상적인 움직임 추정 및 보정을 수행하게 되는 것이다.
검출된 영상 영역에 대한 정보는 제 1 프레임 메모리(102)로 제공되어 가산기(130)로 출력되는 영상신호의 영역을 제어한다. 또한, 제 2 움직임 추정 및 보정기(112)로 현재 프레임에 해당되는 영상신호를 제공한다. 이 때, 제 1 움직임 추정 및 보정기(111)는 소정 블록단위로 검출된 움직임 벡터 중에서 일부 움직임 벡터를 제 2 움직임 추정 및 보정기(112)로 제공할 수 있다. 제 2 움직임 추정 및 보정기(112)로 제공되는 움직임 벡터는 현재 프레임 영상의 블록과 이전 프레임 영상의 블록간의 차이가 적은 것으로 간주되거나 움직임 벡터 값이 (0,0)인 블록의 움직임 벡터가 될 수 있다. 예를 들어 영상신호의 경계영역에 해당되는 블록이 움직임 벡터가 제공되는 블록이 될 수 있다. 이에 따라 제 2 움직임 추정 및 보정기(112)는 움직임 벡터가 제공된 블록에 대한 움직임 추정 및 보정은 수행하지 않을 수 있다.
제 2 움직임 추정 및 보정기(112)는 기존의 MPEG-2 또는 MPEG-4에서와 같이 입력 영상신호의 실질적인 움직임을 추정 및 보정한다. 즉, 본 발명에 따라 움직임이 보정된 현재 프레임과 제 2 프레임 메모리(105)에 저장된 영상신호간의 상관관계를 고려하여 입력되는 영상신호에 대한 움직임을 추정하고 보정한다. 제 2 움직임 추정 및 보정기(112)는 보정된 영상신호를 가산기(130)로 제공한다. 이와 같이 제 2 움직임 추정 및 보정기(112)는 손 떨림이나 시스템의 진동에 따라 발생되는 영상신호의 움직임을 보정한 영상신호에 대한 움직임 추정 및 보정을 한다.
도 3은 본 발명의 바람직한 실시 예에 따른 영상의 움직임 보정 방법의 동작 흐름 도이다.
먼저, 영상신호가 입력되면, 본 발명에 따른 장치를 구비한 시스템은 제 301 단계에서 화면 단위의 손 떨림 또는 시스템의 진동에 따라 발생된 움직임을 도 1의 움직임 보정부(101)에서와 같이 보정한다.
제 302 단계에서 상술한 바와 같이 화면단위로 움직임이 보정된 영상을 현재 프레임으로 제 1 프레임 메모리(102)에 저장한다. 저장된 영상신호는 ((N+x)×(M+y))픽셀의 해상도를 갖는다.
제 303 단계에서 해당되는 시스템의 현재 코딩 모드를 판단한다.
제 303 단계에서 현재 코딩 모드가 인트라 코딩 모드로 판단되면, 제 304 단계에서 해당되는 시스템은 상기 ((N+x)×(M+y))픽셀의 해상도를 갖는 영상에서 (N×M)픽셀의 해상도를 갖는 영상 영역에 포함되어 있는 영상신호를 상기 부호화부(103)에서와 같이 부호화한다. 상기 (N×M)픽셀의 영상 영역은 압축 처리될 영상 영역으로서 사전에 설정된 영역이다.
제 305 단계에서 부호화에 따라 생성된 비트스트림을 다음 단(예를 들어 가변장 부호화부)으로 전송하면서 복호화하여 원래의 영상신호로 복원한다. 복원된 영상신호는 이전 프레임 영상으로서 제 2 프레임 메모리(105)에 저장한다.
제 306 단계에서 영상신호가 입력되는지 판단한다. 제 306 단계에서 영상신호가 입력되는 것으로 판단되면, 제 301 단계로 리턴 된다. 그러나, 제 306 단계에서 영상신호가 입력되지 않는 것으로 판단되면, 작업을 종료한다.
제 303 단계에서 해당 시스템의 코딩 모드가 인터 코딩 모드로 판단되면, 제 307 단계에서 움직임 추정 범위에 포함되는 영상을 기준으로 이전 프레임 영상에 대한 움직임을 추정한다. 상기 움직임 추정 범위는 도 1에서 설명한 바와 같이 설정될 수 있다. 따라서 도 2의 ((N+x')×(M+y'))픽셀의 해상도 영역(203)이 움직임 추정 범위가 된다. 이전 프레임 영상은 제 2 프레임 메모리(105)에 저장된 영상이다. 움직임 추정은 소정 블록단위로 수행된다. 따라서 소정 블록단위로 움직임 벡터가 구해진다. 움직임 추정 방식은 도 1에서 언급한 바와 같이 MPEG-2 또는 MPEG-4를 통해 알려진 방식을 사용할 수 있다.
제 308 단계에서 ((N+x')×(M+y'))픽셀의 움직임 추정 범위(203)의 움직임 벡터 평균을 상기 수학식 1과 같이 구한다.
제 309 단계에서 상기 움직임 벡터 평균을 이용하여 움직임 보정된 영상 영역을 검출한다. 이 때 검출된 영상 영역은 압축 처리될 영상 영역이다. 따라서 (N×M) 픽셀의 해상도를 갖는다. 상기 검출된 영상 영역의 위치는 도 2의 ((N+x')×(M+y'))픽셀의 해상도 영역(203)내에서 가변적이다.
제 310 단계에서 상기 검출된 영상 영역에 포함된 영상과 복호화된 이전 프레임 영상을 이용하여 정상적인 움직임 추정 및 보정 처리를 수행한다. 상기 정상적인 움직임 추정 및 보정 처리는 도 1의 제 2 움직임 추정 및 보정기(112)에서 수행되는 것과 같다. 즉, 입력되는 영상신호에 존재하는 실질적인 움직임을 추정하고 보정한다.
제 311 단계에서 제 1 프레임 메모리(102)에 저장된 영상신호 중에서 상기 검출된 영상 영역에 포함되는 현재 프레임 영상신호와 상기 정상적인 움직임 추정 및 보정된 영상간의 차이영상을 검출한다. 검출된 차이영상은 부호화부(103)에서와 같이 부호화한다. 그 다음 해당되는 시스템의 동작은 제 305 단계로 리턴되어 상술한 과정을 수행한다.
상술한 본 발명에 의하면, 손 떨림 또는 시스템의 진동에 의해 발생되는 영상의 움직임을 화면단위로 보정한 뒤, 프레임간의 상관성을 고려하여 영상의 움직임을 좀더 미세하게 보정함으로써, 인트라 및 인터 코딩방식을 사용하여 입력되는 영상신호의 움직임을 추정하여 압축하는 영상처리시스템에서 영상신호에 대한 압축효율을 향상시킬 수 있다. 특히, 영상신호를 인터 코딩할 때, 움직임 추정 및 보정에 의해 얻어지는 차이 영상을 최소화하여 압축률 향상을 기대할 수 있다.
본 발명은 상술한 실시 예에 한정되지 않으며, 본 발명의 사상 내에서 당업자에 의한 변형이 가능함은 물론이다. 따라서, 본 발명에서 권리를 청구하는 범위는 상세한 설명의 범위 내로 정해지는 것이 아니라 후술하는 청구범위로 정해질 것이다.
도 1은 본 발명의 바람직한 실시 예에 따른 영상의 움직임 보정 장치를 구비한 영상처리시스템의 블록 도이다.
도 2는 도 1의 움직임 보정 장치의 동작을 설명하기 위한 프레임 영상의 화면 예이다.
도 3은 본 발명의 바람직한 실시 예에 따른 영상의 움직임 보정 방법의 동작 흐름 도이다.

Claims (18)

  1. 영상처리시스템에서 영상의 움직임을 보정하는 장치에 있어서,
    상기 영상처리시스템의 진동량에 기초하여 입력되는 영상신호에 포함된 움직임을 보정한 영상신호를 출력하는 움직임 보정부;
    상기 움직임 보정부로부터 출력되는 영상신호를 현재 프레임 영상신호로서 저장하는 제 1 프레임 메모리;
    이전 프레임 영상신호를 저장하는 제 2 프레임 메모리;
    상기 이전 프레임 영상신호를 참조하여 상기 제 1 프레임 메모리에 저장된 영상신호중에서 소정의 움직임 추정 범위에 포함되는 영상신호에 대한 움직임을 추정하여 상기 현재 프레임 영상신호에서 압축 처리될 영상 영역을 검출하는 제 1 움직임 추정 및 보정기; 및
    상기 이전 프레임 영상신호를 참조하여 상기 제 1 움직임 추정 및 보정기에서 검출된 압축 처리될 영상 영역에 포함되는 현재 프레임 영상 신호에 대한 움직임 추정 및 보정을 수행하는 제 2 움직임 추정 및 보정기를 포함하는 영상의 움직임 보정 장치.
  2. 삭제
  3. 제 1 항에 있어서, 상기 소정의 움직임 추정 범위는 상기 진동량에 기초하여 설정되고, 상기 소정의 움직임 추정 범위의 해상도는 상기 제 1 프레임 메모리에 저장된 현재 프레임 영상신호의 해상도보다 작고, 상기 압축 처리될 영상 영역의 해상도보다 큰 것을 특징으로 하는 영상의 움직임 보정 장치.
  4. 제 1 항에 있어서, 상기 제 1 움직임 추정 및 보정기는, 소정의 블록단위로 움직임 벡터를 검출하고, 상기 검출된 움직임 벡터를 이용하여 상기 소정 움직임 추정 범위에 대한 움직임 벡터의 평균을 구하고, 상기 움직임 벡터의 평균을 이용하여 상기 압축 처리될 영상 영역을 검출하는 것을 특징으로 하는 영상의 움직임 보정 장치.
  5. 제 4 항에 있어서, 상기 제 1 움직임 추정 및 보정기는 상기 소정의 블록단위로 검출된 움직임 벡터중 일부 움직임 벡터를 상기 제 2 움직임 추정 및 보정기로 제공하는 것을 특징으로 하는 영상의 움직임 보정 장치.
  6. 제 5 항에 있어서, 상기 일부 움직임 벡터는, 상기 이전 프레임 영상신호에서의 블록과 상기 현재 프레임 영상신호에서의 블록간의 차이가 작은 것을 나타내는 움직임 벡터이거나 (0, 0)값을 갖는 움직임 벡터인 것을 특징으로 하는 영상의 움직임 보정 장치.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 영상처리시스템에서 영상의 움직임을 보정하는 방법에 있어서,
    상기 영상처리시스템의 진동량에 기초하여 입력되는 영상신호에 포함된 움직임을 보정하는 단계;
    상기 움직임이 보정된 영상신호를 현재 프레임 영상신호로서 저장하는 단계;
    이전 프레임 영상신호를 이용하여 상기 현재 프레임 영상신호에서 소정의 움직임 추정 범위에 포함되는 영상신호의 움직임을 추정하여 상기 현재 프레임 영상신호에서 압축 처리될 영상 영역을 검출하는 단계; 및
    상기 이전 프레임 영상신호를 이용하여 상기 검출된 압축 처리될 영상 영역에 포함되는 현재 프레임 영상신호의 움직임을 추정 및 보정한 영상신호를 제공하는 단계를 포함하는 영상의 움직임 보정 방법.
  12. 제 11 항에 있어서, 상기 압축 처리될 영상 영역을 검출하는 단계 및 상기 움직임 추정 및 보정한 영상신호를 제공 단계는 상기 입력되는 영상신호에 대한 압축 모드가 인터 코딩 모드일 때 수행되는 것을 특징으로 하는 영상의 움직임 보정 방법.
  13. 제 11 항에 있어서, 상기 소정의 움직임 추정 범위는 상기 진동량에 기초하여 설정되고, 상기 소정의 움직임 추정 범위의 해상도는 상기 현재 프레임 영상신호의 해상도보다 작고, 상기 압축 처리될 영상 영역의 해상도보다 큰 것을 특징으로 하는 영상의 움직임 보정 방법.
  14. 제 11 항에 있어서, 상기 압축 처리될 영상 영역을 검출하는 단계는,
    소정 블록단위로 움직임을 추정하여 움직임 벡터를 검출하는 단계;
    상기 검출된 움직임 벡터를 이용하여 상기 소정 움직임 추정 범위에 대한 움직임 벡터 평균을 구하는 단계;
    상기 움직임 벡터 평균을 이용하여 상기 압축 처리될 영상 영역을 검출하는 단계를 포함하는 영상의 움직임 보정 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
KR10-2002-0030895A 2002-06-01 2002-06-01 영상의 움직임 보정 장치 및 방법 Expired - Fee Related KR100477647B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR10-2002-0030895A KR100477647B1 (ko) 2002-06-01 2002-06-01 영상의 움직임 보정 장치 및 방법
CNB031035280A CN1255992C (zh) 2002-06-01 2003-01-28 校正图像运动的装置和方法
US10/361,676 US7171052B2 (en) 2002-06-01 2003-02-11 Apparatus and method for correcting motion of image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0030895A KR100477647B1 (ko) 2002-06-01 2002-06-01 영상의 움직임 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20030093023A KR20030093023A (ko) 2003-12-06
KR100477647B1 true KR100477647B1 (ko) 2005-03-23

Family

ID=29578217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0030895A Expired - Fee Related KR100477647B1 (ko) 2002-06-01 2002-06-01 영상의 움직임 보정 장치 및 방법

Country Status (3)

Country Link
US (1) US7171052B2 (ko)
KR (1) KR100477647B1 (ko)
CN (1) CN1255992C (ko)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100442851C (zh) * 2004-10-28 2008-12-10 扬智科技股份有限公司 一种图像处理的运动补偿的参考地址计算装置及方法
US20090079874A1 (en) * 2004-11-22 2009-03-26 Koninklijke Philips Electronics, N.V. Display device with time-multiplexed led light source
JP4179279B2 (ja) * 2004-12-28 2008-11-12 セイコーエプソン株式会社 撮像装置並びにこれを備えた携帯機器及び携帯電話機
CN100341334C (zh) * 2005-01-14 2007-10-03 北京航空航天大学 基于有效区域的多参考帧快速运动估计方法
CN101305396B (zh) * 2005-07-12 2012-05-02 Nxp股份有限公司 用于去除运动模糊效应的方法和装置
US8130845B2 (en) * 2006-11-02 2012-03-06 Seiko Epson Corporation Method and apparatus for estimating and compensating for jitter in digital video
KR101286651B1 (ko) * 2009-12-21 2013-07-22 한국전자통신연구원 영상 보정 장치 및 이를 이용한 영상 보정 방법
KR101681589B1 (ko) * 2010-07-27 2016-12-01 엘지전자 주식회사 영상 처리 장치 및 그 방법
JP5550794B2 (ja) * 2011-11-18 2014-07-16 三菱電機株式会社 画像処理装置及び方法、並びに画像表示装置及び方法
KR101245057B1 (ko) * 2012-10-16 2013-03-18 (주)아이아이에스티 화재 감지 방법 및 장치
US10317512B2 (en) 2014-12-23 2019-06-11 Infineon Technologies Ag RF system with an RFIC and antenna system
US10725150B2 (en) 2014-12-23 2020-07-28 Infineon Technologies Ag System and method for radar
US10452148B2 (en) 2016-01-19 2019-10-22 Infineon Technologies Ag Wearable consumer device
US10181653B2 (en) 2016-07-21 2019-01-15 Infineon Technologies Ag Radio frequency system for wearable device
US10218407B2 (en) 2016-08-08 2019-02-26 Infineon Technologies Ag Radio frequency system and method for wearable device
US10466772B2 (en) 2017-01-09 2019-11-05 Infineon Technologies Ag System and method of gesture detection for a remote device
US10505255B2 (en) 2017-01-30 2019-12-10 Infineon Technologies Ag Radio frequency device packages and methods of formation thereof
US10602548B2 (en) 2017-06-22 2020-03-24 Infineon Technologies Ag System and method for gesture sensing
US10746625B2 (en) 2017-12-22 2020-08-18 Infineon Technologies Ag System and method of monitoring a structural object using a millimeter-wave radar sensor
US11346936B2 (en) 2018-01-16 2022-05-31 Infineon Technologies Ag System and method for vital signal sensing using a millimeter-wave radar sensor
US11278241B2 (en) 2018-01-16 2022-03-22 Infineon Technologies Ag System and method for vital signal sensing using a millimeter-wave radar sensor
US10795012B2 (en) 2018-01-22 2020-10-06 Infineon Technologies Ag System and method for human behavior modelling and power control using a millimeter-wave radar sensor
US10576328B2 (en) 2018-02-06 2020-03-03 Infineon Technologies Ag System and method for contactless sensing on a treadmill
US10705198B2 (en) 2018-03-27 2020-07-07 Infineon Technologies Ag System and method of monitoring an air flow using a millimeter-wave radar sensor
US10775482B2 (en) 2018-04-11 2020-09-15 Infineon Technologies Ag Human detection and identification in a setting using millimeter-wave radar
US10761187B2 (en) 2018-04-11 2020-09-01 Infineon Technologies Ag Liquid detection using millimeter-wave radar sensor
US10794841B2 (en) 2018-05-07 2020-10-06 Infineon Technologies Ag Composite material structure monitoring system
US10399393B1 (en) 2018-05-29 2019-09-03 Infineon Technologies Ag Radar sensor system for tire monitoring
US10903567B2 (en) 2018-06-04 2021-01-26 Infineon Technologies Ag Calibrating a phased array system
US11416077B2 (en) 2018-07-19 2022-08-16 Infineon Technologies Ag Gesture detection system and method using a radar sensor
US10928501B2 (en) 2018-08-28 2021-02-23 Infineon Technologies Ag Target detection in rainfall and snowfall conditions using mmWave radar
US11183772B2 (en) 2018-09-13 2021-11-23 Infineon Technologies Ag Embedded downlight and radar system
US11125869B2 (en) 2018-10-16 2021-09-21 Infineon Technologies Ag Estimating angle of human target using mmWave radar
US11360185B2 (en) 2018-10-24 2022-06-14 Infineon Technologies Ag Phase coded FMCW radar
US11397239B2 (en) 2018-10-24 2022-07-26 Infineon Technologies Ag Radar sensor FSM low power mode
EP3654053A1 (en) 2018-11-14 2020-05-20 Infineon Technologies AG Package with acoustic sensing device(s) and millimeter wave sensing elements
US11087115B2 (en) 2019-01-22 2021-08-10 Infineon Technologies Ag User authentication using mm-Wave sensor for automotive radar systems
US11355838B2 (en) 2019-03-18 2022-06-07 Infineon Technologies Ag Integration of EBG structures (single layer/multi-layer) for isolation enhancement in multilayer embedded packaging technology at mmWave
US11126885B2 (en) 2019-03-21 2021-09-21 Infineon Technologies Ag Character recognition in air-writing based on network of radars
US11454696B2 (en) 2019-04-05 2022-09-27 Infineon Technologies Ag FMCW radar integration with communication system
JP2022540858A (ja) * 2019-07-09 2022-09-20 ボヤージュ８１ リミテッド 移動シーンでのリアルタイム画像生成
TWI707583B (zh) * 2019-07-17 2020-10-11 瑞昱半導體股份有限公司 應用於影像感測電路的像素通道不平衡補償方法與系統
US11327167B2 (en) 2019-09-13 2022-05-10 Infineon Technologies Ag Human target tracking system and method
US11774592B2 (en) 2019-09-18 2023-10-03 Infineon Technologies Ag Multimode communication and radar system resource allocation
US11435443B2 (en) 2019-10-22 2022-09-06 Infineon Technologies Ag Integration of tracking with classifier in mmwave radar
US11808883B2 (en) 2020-01-31 2023-11-07 Infineon Technologies Ag Synchronization of multiple mmWave devices
US11614516B2 (en) 2020-02-19 2023-03-28 Infineon Technologies Ag Radar vital signal tracking using a Kalman filter
US11585891B2 (en) 2020-04-20 2023-02-21 Infineon Technologies Ag Radar-based vital sign estimation
US11567185B2 (en) 2020-05-05 2023-01-31 Infineon Technologies Ag Radar-based target tracking using motion detection
US11774553B2 (en) 2020-06-18 2023-10-03 Infineon Technologies Ag Parametric CNN for radar processing
US11704917B2 (en) 2020-07-09 2023-07-18 Infineon Technologies Ag Multi-sensor analysis of food
US11614511B2 (en) 2020-09-17 2023-03-28 Infineon Technologies Ag Radar interference mitigation
US11719787B2 (en) 2020-10-30 2023-08-08 Infineon Technologies Ag Radar-based target set generation
US11719805B2 (en) 2020-11-18 2023-08-08 Infineon Technologies Ag Radar based tracker using empirical mode decomposition (EMD) and invariant feature transform (IFT)
US12189021B2 (en) 2021-02-18 2025-01-07 Infineon Technologies Ag Radar-based target tracker
US11662430B2 (en) 2021-03-17 2023-05-30 Infineon Technologies Ag MmWave radar testing
US11950895B2 (en) 2021-05-28 2024-04-09 Infineon Technologies Ag Radar sensor system for blood pressure sensing, and associated method
US12307761B2 (en) 2021-08-06 2025-05-20 Infineon Technologies Ag Scene-adaptive radar
US12254670B2 (en) 2022-07-29 2025-03-18 Infineon Technologies Ag Radar-based activity classification

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6573930B2 (en) * 1996-11-15 2003-06-03 Canon Kabushiki Kaisha Image pickup apparatus for storing, reading-out and processing a signal during predetermined time periods
US6734901B1 (en) * 1997-05-20 2004-05-11 Canon Kabushiki Kaisha Vibration correction apparatus
US6630950B1 (en) * 1998-03-19 2003-10-07 Canon Kabushiki Kaisha Apparatus for improving image vibration suppression
CN1147159C (zh) 1999-04-27 2004-04-21 三星电子株式会社 实时运动图像编码的高速运动估计方法及其装置
JP4473363B2 (ja) 1999-05-26 2010-06-02 富士フイルム株式会社 手振れ補正装置およびその補正方法
US6760378B1 (en) * 1999-06-30 2004-07-06 Realnetworks, Inc. System and method for generating video frames and correcting motion

Also Published As

Publication number Publication date
KR20030093023A (ko) 2003-12-06
US7171052B2 (en) 2007-01-30
CN1255992C (zh) 2006-05-10
CN1463161A (zh) 2003-12-24
US20030223644A1 (en) 2003-12-04

Similar Documents

Publication Publication Date Title
KR100477647B1 (ko) 영상의 움직임 보정 장치 및 방법
US8532193B1 (en) Block error compensating apparatus of image frame and method thereof
KR0181069B1 (ko) 움직임 추정장치
US8179969B2 (en) Method and apparatus for encoding or decoding frames of different views in multiview video using global disparity
US7583302B2 (en) Image processing device having blur correction function
KR20020001331A (ko) 디지털 영상 안정화 장치
JP2009303236A (ja) 適応的画像安定
KR100941285B1 (ko) 영상 처리 장치 및 컴퓨터 판독가능 매체
KR20170117453A (ko) 촬영 정보에 기초하여 영상을 압축하는 방법 및 장치
US9066100B2 (en) Image coding apparatus and image coding method
KR101848221B1 (ko) 부호화 장치 및 부호화 방법
EP1014726A1 (en) Encoder and encoding method
JPH09261530A (ja) 映像記録装置
KR100842545B1 (ko) 조도값을 이용한 가중요소 결정 방법 및 이를 위한 이동통신 단말기
KR100196848B1 (ko) 영상복호기에서의 에러보상장치
JP2008199521A (ja) 画像処理装置およびその方法
JPH10191347A (ja) 動き検出装置、動き検出方法、及び、記憶媒体
JPH11355781A (ja) 動画像符号化装置
KR100312418B1 (ko) 동영상부호화장치에서인트라모드부호화선택방법
JP5880737B2 (ja) 動画像符号化装置
JP2011239240A (ja) 撮像装置
KR100745245B1 (ko) 휴대 단말기에서의 흔들림 움직임 보상 장치 및 방법
KR20070056229A (ko) 영상 부호기 및 이의 관심 영역 검출방법
JPH0865565A (ja) 撮像記録装置
KR20010037332A (ko) 화면 전체의 움직임을 고려한 움직임예측방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20020601

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20040723

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20050221

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20050310

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20050311

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20080228

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20090226

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20100225

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20110225

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20120228

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20130227

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20140227

Start annual number: 10

End annual number: 10

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20160209