[go: up one dir, main page]

KR101249791B1 - 차량 어라운드 뷰 영상 생성 방법 - Google Patents

차량 어라운드 뷰 영상 생성 방법 Download PDF

Info

Publication number
KR101249791B1
KR101249791B1 KR1020110048380A KR20110048380A KR101249791B1 KR 101249791 B1 KR101249791 B1 KR 101249791B1 KR 1020110048380 A KR1020110048380 A KR 1020110048380A KR 20110048380 A KR20110048380 A KR 20110048380A KR 101249791 B1 KR101249791 B1 KR 101249791B1
Authority
KR
South Korea
Prior art keywords
image
polygon
vertex
coordinate
correction
Prior art date
Application number
KR1020110048380A
Other languages
English (en)
Other versions
KR20120130798A (ko
Inventor
하수영
나경진
김진경
Original Assignee
아진산업(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아진산업(주) filed Critical 아진산업(주)
Priority to KR1020110048380A priority Critical patent/KR101249791B1/ko
Priority to PCT/KR2012/003482 priority patent/WO2012161431A2/ko
Publication of KR20120130798A publication Critical patent/KR20120130798A/ko
Application granted granted Critical
Publication of KR101249791B1 publication Critical patent/KR101249791B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 광각 카메라를 통해 획득되는 왜곡 영상 내의 폴리곤 좌표점을 추정하고, 추정된 폴리곤 좌표점을 기준 영상에 폴리곤 매핑되도록 하는 차량 어라운드 뷰 영상 생성 방법에 관한 것이다.
이를 위한, 본 발명의 차량의 어라운드 뷰 영상 생성 방법은, 복수의 광각 카메라로부터 획득된 영상의 방사 왜곡을 보정하여 어라운드 뷰 영상을 생성하는 방법에 있어서, 기준 그리드 패턴의 각 교차점에 대한 기준 좌표값을 설정하고 그리드 패턴 영상에 대하여 기준 꼭지점(A',B',C')을 갖는 복수의 기준 폴리곤으로 분할한 기준 영상을 생성하는 단계, 복수의 광각 카메라로 체크 보드 패턴을 촬상하여 각각의 왜곡 영상을 획득하는 단계, 각 왜곡 영상 내 체크 보드 패턴의 에지를 검출하는 단계, 검출된 에지 영역을 따라 라인 트레킹을 수행하면서 수직 방향과 수평 방향으로의 밝기 분포 변화량을 이용하여 복수의 보정점을 추정하고, 추정된 보정점들에 대한 보정 순서를 선정하는 단계, 각 왜곡 영상에 대하여 보정 꼭지점(A,B,C)으로 하는 복수의 왜곡 폴리곤으로 분할하는 단계, 보정 순서에 따라 왜곡 폴리곤이 기준 폴리곤에 대응되도록 왜곡 영상의 각 픽셀 좌표를 기준 좌표에 매핑하여 각각의 보정 영상을 획득하는 단계 및 각각의 보정 영상과 차량의 평면 영상을 조합하여 어라운드 뷰 영상을 생성하는 단계를 포함한다.

Description

차량 어라운드 뷰 영상 생성 방법{IMAGE GENERATING METHOD FOR AROUND VIEW OF VEHICLE}
본 발명은 차량 어라운드 뷰 영상 생성 방법에 관한 것으로, 특히 광각 카메라를 통해 획득되는 왜곡 영상 내의 폴리곤 좌표점을 추정하고, 추정된 폴리곤 좌표점을 기준 영상에 폴리곤 매핑되도록 하는 차량 어라운드 뷰 영상 생성 방법에 관한 것이다.
차량에는 주행의 편리성 제공, 교통 사고 발생시 사고 원인 분석 등의 목적으로 전, 후방 등 여러 위치에 카메라가 설치되는 경우가 많다. 특히, 근래에는 차량의 후측면에 카메라를 설치하여 차량 후진시 후방 영상을 제공하여 주차의 편리성을 제공하고 있다.
이러한 후방 영상 제공을 위해서는 넓은 시야를 확보할 수 있는 광각 카메라가 주로 사용되는데, 광각 카메라는 외각 부분으로 갈수록 해상도가 떨어질 뿐만 아니라 외각 부분으로 갈수록 영상이 휘어지는 왜곡, 즉 방사 왜곡(radial distortion)이 두드러진다.
따라서, 이러한 왜곡된 영상을 보정하는 처리가 필요하게 되는데, 왜곡 영상은 일반적으로 워핑 방정식을 이용하여 교정하는 것이 일반적이다. 워핑 방정식은 다음 수식과 같이 1차, 2차, 3차 방정식으로 표현된다.
수식 1
Figure 112011038175314-pat00001
Figure 112011038175314-pat00002
수식 2
Figure 112011038175314-pat00003
Figure 112011038175314-pat00004
수식 3
Figure 112011038175314-pat00005
Figure 112011038175314-pat00006
왜곡 영상의 교정에 있어서는 격자(바둑판) 형상의 표준 그리드 이미지를 이용하여 워핑 파라미터를 산출한 후이를 모든 픽셀에 적용하게 되는데 이러한 워핑 방정식을 적용하기 위해서는 표준 그리드 이미지의 교차점들의 좌표값과 광각 카메라로 촬상하여 얻어지는 왜곡 그리드 이미지 상의 교차점들의 좌표값을 알아야 한다.
그러나, 종래의 경우 이러한 표준 그리드 이미지의 교차점들의 좌표값과 광각 카메라로 촬상하여 얻어지는 왜곡 그리드 이미지 상의 교차점들의 좌표값들은 수작업을 통해 직접 구해야하므로 테스트 포인트가 많을 경우 시간이 많이 소요되는 단점이 있다.
한편, 차량의 후방 카메라의 경우 후방 주차시 상당한 도움이 되는 것은 사실이나, 차량의 후방 영상만 제공하므로 차량 전방이나 좌우방향의 상황을 파악할 수 없어 주변의 모든 상황을 완전하게 인지하지 못한 채로 주차를 하여야 한다는 단점도 있다.
또한, 종래의 왜곡 보정 방법은 워핑 방정식을 이용함에도 불구하고 왜곡이 완벽하게 보정되지 않는 단점이 있다.
배경 기술의 단점을 해결하기 위한 본 발명의 목적은 기준 그리드 패턴을 복수의 기준 폴리곤으로 분할 설정하고, 광각 카메라를 통해 획득되는 왜곡 영상을 복수의 왜곡 폴리곤으로 분할한 후에 각 왜곡 폴리곤의 좌표점을 자동으로 추정하고, 추정된 왜곡 폴리곤이 기준 폴리곤에 대응되도록 왜곡 폴리곤의 각 좌표점을 기준 폴리곤에 매핑하여, 왜곡된 영상의 선택 영역을 보정하고자 하는 위치로 자유 변형 및 위치 이동을 함으로써 왜곡을 보정할 수 있도록 하는 차량 어라운드 뷰 영상 생성 방법을 제공함에 있다.
본 발명의 다른 목적은 폴리곤 매핑 방식에 의해 보정된 차량의 전,후,좌,우에서 촬영한 외부 영상들을 조합하여 단일의 어라운드 뷰 영상을 생성 및 디스플레이하는 차량 어라운드 뷰 영상 생성 방법을 제공함에 있다.
과제를 해결하기 위한 본 발명의 차량의 어라운드 뷰 영상 생성 방법은, 복수의 광각 카메라로부터 획득된 영상의 방사 왜곡을 보정하여 어라운드 뷰 영상을 생성하는 방법에 있어서, 기준 그리드 패턴의 각 교차점에 대한 기준 좌표값을 설정하고 기준 그리드 패턴에 대하여 기준 꼭지점(A',B',C')을 갖는 복수의 기준 폴리곤으로 분할한 기준 영상을 생성하는 단계, 복수의 광각 카메라로 체크 보드 패턴을 촬상하여 각각의 왜곡 영상을 획득하는 단계, 각 왜곡 영상 내 체크 보드 패턴의 에지를 검출하는 단계, 검출된 에지를 따라 라인 트레킹을 수행하면서 수직 방향과 수평 방향으로의 밝기 분포 변화량을 이용하여 복수의 보정점을 추정하고, 추정된 보정점들에 대한 보정 순서를 선정하는 단계, 각 왜곡 영상에 대하여 상기 보정점들을 꼭지점(A,B,C)으로 하는 복수의 왜곡 폴리곤으로 분할하는 단계, 보정 순서에 따라 왜곡 폴리곤이 기준 폴리곤에 대응되도록 왜곡 영상의 각 픽셀 좌표를 기준 좌표에 매핑하여 각각의 보정 영상을 획득하는 단계 및 각각의 보정 영상과 차량의 평면 영상을 조합하여 어라운드 뷰 영상을 생성하는 단계를 포함한다.
여기서, 어라운드 뷰 영상 생성 단계는 복수의 보정 영상에서 상호 인접한 코너 영역의 중복 영상을 제거하되, 각 보정 영상들에 대하여 외측 모서리 부분에서 내측 방향으로 경사진 기준 선분을 설정하고, 인접한 보정 영상들을 기준 선분이 일치 되도록 중첩시켜 중복 영상을 제거한다.
또한, 상기 보정 순서에 따라 왜곡 폴리곤이 기준 폴리곤에 대응되도록 왜곡 영상의 각 픽셀 좌표를 기준 좌표에 매핑하여 각각의 보정 영상을 획득하는 단계는 매핑 대상 픽셀이 왜곡 폴리곤 내부에 위치하는지 판단하고, 매핑 대상 픽셀이 상기 왜곡 폴리곤 내부에 위치하는 경우에만 매핑을 수행한다.
그리고, 왜곡 영상의 픽셀 좌표를 기준 좌표에 매핑하는 단계는 꼭지점 A, B, C 중 어느 하나를 제 1 기준 꼭지점을 선정하고, 제 1 기준 꼭지점과 매핑 대상 픽셀(P)을 지나는 제 1 직선 및 상기 제 1 기준 꼭지점과 마주보는 선분과의 교차점 좌표를 산출하는 제 1 교차점 좌표 산출 단계와, 꼭지점 A, B, C 중 제 1 기준 꼭지점을 제외한 둘 중 하나를 제 2 기준 꼭지점으로 선정하고, 제 2 기준 꼭지점과 매핑 대상 픽셀(P)을 지나는 제 2 직선 및 상기 제 2 기준 꼭지점과 마주보는 선분과의 교차점 좌표를 산출하는 제 2 교차점 좌표 산출 단계와, 제 1 직선 상의 제 1 교차점 좌표비와 제 2 직선 상의 제 2 교차점 좌표비를 산출하는 단계와, 제 1 교차점 좌표비를 기준 폴리곤의 꼭지점(A',B',C')에 대응시켜 기준 폴리곤 상의 제 3 교차점 좌표를 산출하고, 제 2 교차점 좌표비를 기준 폴리곤의 꼭지점(A',B',C')에 대응시켜 기준 폴리곤 상의 제 4 교차점 좌표를 산출하는와, 제 3 교차점과 제 4 교차점 각각과 마주하는 제 3 꼭지점과 제 4 꼭지점을 추출하고, 제 3꼭지점과 제 3 교차점을 잇는 제 3 선분 및 제 4 교차점과 제 4꼭지점을 잇는 제 4 선분을 추출하여, 제 3 선분과 제 4 선분의 교차점(P')를 산출하는 단계, 및 매핑 대상 픽셀(P)을 교차점(P')에 대응시켜 매핑하는 단계를 포함한다.
또한, 제 1 기준 꼭지점 선정은 왜곡 폴리곤의 세 선분의 기울기를 산출하는 제 1 기울기 산출 단계와, 매핑 대상 픽셀(P)과 각 꼭지점(A,B,C)과의 거리를 산출하는 단계와, 매핑 대상 픽셀(P)과 각 꼭지점을 연결하여 3개의 삼각형을 구하고, 각각의 삼각형에 대하여 꼭지점과 매핑 대상 픽셀(P) 간의 거리가 가장 먼 꼭지점을 각각 추출하는 단계와, 매핑 대상 픽셀(P)과 거리가 가장 먼 꼭지점들과 매핑 대상 픽셀(P)과 기울기를 산출하는 제 2 기울기 산출 단계와, 제 1 기울기와 제 2 기울기의 차를 산출하고 기울기 차가 가장 작은 선분을 추출하는 단계와, 제 1 기울기와 제 2기울기의 차가 가장 작은 선분과 마주보는 꼭지점을 제 1 기준 꼭지점으로 선정하는 단계로 이루어진다.
또한, 제 2 기준 꼭지점은 매핑 대상 픽셀(P)과의 거리 산출 결과 거리가 가장 가까운 꼭지점으로 선정한다.
본 발명은 폴리곤 매핑 방식을 이용하여 왜곡된 영상의 선택 영역을 보정하고자 하는 위치로 자유 변형 및 위치 이동을 함으로써 왜곡을 완벽하게 보정할 수 있는 이점이 있다.
또한, 본 발명은 왜곡 영상 내의 복수의 왜곡 폴리곤이 기준 영상의 기준 폴리곤에 자동으로 추정되도록 함으로써, 왜곡 영상에 대한 보정이 자동으로 이루어지도록 하는 이점이 있다.
또한, 본 발명은 차량의 전,후,좌,우에서 촬영한 외부 영상들을 조합하여 단일의 어라운드 뷰 영상을 생성 및 디스플레이함으로써 주차시 사각지대를 제거할 수 있어 원활한 주차가 가능하도록 하는 이점이 있다.
도 1은 본 발명에 따른 차량 어라운드 뷰 영상 생성 방법을 순차로 나타낸 흐름도.
도 2 내지 도 7은 본 발명에 따른 차량 어라운드 뷰 영상 생성 과정을 설명하기 위한 참조도.
도 8은 본 발명에 따라 매핑 대상 픽셀이 왜곡 폴리곤 내부에 위치하는지 여부를 판단하기 위한 과정을 설명하기 위한 도면.
도 9는 본 발명에 따라 왜곡 폴리곤을 기준 폴리곤으로 매핑하는 방법을 설명하기 위한 도면.
도 10은 본 발명의 실시예에서 폴리곤 매핑시 기준이 되는 두개의 기준 꼭지점을 선정하는 과정을 설명하기 위한 흐름도.
도 11은 도 10의 방법을 설명하기 위한 참조 도면.
도 12는 본 발명에 따른 차량 어라운드 뷰 생성 방법에서 최종적으로 조합되는 어라운드 뷰 영상을 도시한 도면.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다.
도 1은 본 발명에 따른 차량 어라운드 뷰 영상 생성 방법을 순차로 나타낸 흐름도이고, 도 2 내지 도 7은 본 발명에 따른 차량 어라운드 뷰 영상 생성 과정을 설명하기 위한 참조도이다. 이하의 처리 과정은 PC를 통해 수행될 수 있고, 차량 내부의 프로세스에 의해 처리될 수도 있다.
우선, 본 발명은 도 2에 도시된 기준 체크 보드 패턴(10)에 대응하는 기준 그리드 패턴을 생성하고(S10), 그리드 패턴의 각 교차점에 대한 기준 좌표값을 설정한다(S20). 그리고, 기준 그리드 패턴을 복수의 기준 폴리곤(30)으로 분할 설정한 기준 영상(20)을 생성한다(S30). 이때, 복수의 기준 폴리곤(30)은 꼭지점(A',B',C')을 갖는 폴리곤 형태로 이루어진다.
다음으로, 복수의 광각 카메라로 각각 체크 보드 패턴을 촬상하여 도 3에 도시된 바와 같이 왜곡된 영상(40)을 획득한다(S40).
이어서, 왜곡 영상(40)의 체크 보드 패턴을 인식하고, 모폴로지 및 로버스트 연산을 통해 도 4에 도시된 바와 같이 왜곡 영상 내 체크 보드 패턴의 에지를 검출한다(S50).
체크 보드 패턴의 에지가 검출되면, 복수의 보정점을 추정하고 추정된 보정점들에 대한 보정 순서를 선정한다(S60). 이때, 보정점 추정은 도 5에 도시된 바와 같이 검출된 에지를 따라 라인 트레킹을 수행하면서, 수직 방향과 수평 방향으로의 밝기 분포 변화량을 이용하여 추정한다. 즉, 체크 보드 패턴에서의 각 교차점에서는 밝기 변화량이 크게 나타나므로, 라인 트레킹 과정에서 밝기 변화량이 크게 나타나는 점을 보정점으로 추정하고, 도 6에 도시된 바와 같이 보정점으로 추정된 순서에 따라 보정 순서를 선정한다.
이어서, 왜곡 영상에 대하여 보정점들을 꼭지점(A,B,C)으로 하는 갖는 복수의 왜곡 폴리곤으로 분할한다(S70).
그리고, 도 7에 도시된 바와 같이 선정된 보정 순서에 따라 왜곡 폴리곤이 기준 폴리곤에 대응되도록 왜곡 영상의 각 픽셀 좌표를 기준 좌표에 매핑하여 각각의 보정 영상을 획득한다(S80). 즉, 왜곡 폴리곤(50) 내의 각 픽셀을 기준 영상의 기준 폴리곤(30)에 매핑한다. 이때, 매핑 대상 픽셀이 왜곡 폴리곤 내부에 위치하는지 판단하고, 매핑 대상 픽셀이 왜곡 폴리곤 내부에 위치하는 경우 해당 픽셀의 좌표를 기준 좌표에 매핑하고, 매핑 대상 픽셀이 왜곡 폴리곤 내부에 위치하지 않을 경우 매핑 대상에서 제외한다.
이하에서는 도 8 내지 도 10을 참조하여 본 발명에 따른 왜곡 폴리곤을 기준 폴리곤으로 매핑하는 과정을 더욱 상세하게 설명하도록 한다.
도 8은 본 발명에 따라 매핑 대상 픽셀이 왜곡 폴리곤 내부에 위치하는지 여부를 판단하기 위한 과정을 설명하기 위한 도면으로서, 우선, 도 8의 (a)와 같이 검사 대상 픽셀(P)이 꼭지점 A,B,C로 이루어진 왜곡 폴리곤 내에 위치하는지 확인한다. 이를 위해서는, 도 8의 (b)와 같이 꼭지점 A,B,C를 포함하는 정사각형의 점 D와 E의 좌표를 구해야한다.
이때, D와 E의 좌표는 아래의 수식을 이용하여 구할 수 있다.
Figure 112011038175314-pat00007
Figure 112011038175314-pat00008
Figure 112011038175314-pat00009
Figure 112011038175314-pat00010
이와 같은 좌표를 구하고 매핑 대상 픽셀(P)이 꼭지점 A,B,C를 포함하는 정사각형 범위가 지정되면 이 좌표를 벗어나는 부분을 outside로 정할 수 있다. 이때, outside의 범위 조건은 if(Px<Dx ∥Px>Ex ∥ Py<Dy ∥Py>Ey)으로서, outside의 범위 조건을 만족하지 않을 경우 해당 매핑 대상 픽셀(P)이 사각형 내부에 위치하는 것을 알 수 있다.
그리고, 매핑 대상 픽셀(P)이 꼭지점 A,B,C를 포함하는 폴리곤 내부에 위치하는지 확인하기 위해서 도 8의 (c)와 같이
Figure 112011038175314-pat00011
와
Figure 112011038175314-pat00012
가 만나는 점 F의 좌표를 찾는다. 이때, F는 아래의 수식에 의해 구할 수 있다.
F=cross(
Figure 112011038175314-pat00013
,
Figure 112011038175314-pat00014
)
이렇게, 점 F의 좌표가 구해지면 매핑 대상 픽셀(P)이 왜곡 폴리곤 외부에 위치하는지 여부를 확인한다. 여기서, 매핑 대상 픽셀(P)이 왜곡 폴리곤 외부에 위치하기 위한 조건은 outside 범위 조건은 if(Fx<Dx ∥ Fx>Ex ∥ Fy<Dy ∥ Fy>Ey)로서, 점 F가 선분(
Figure 112011038175314-pat00015
)를 벗어난 경우로서 매핑 대상 픽셀(P)이 OUT1 또는 OUT2 영역에 위치하는 경우에 해당한다.
그리고, 도 8의 (d)에 도시된 바와 같이 매핑 대상 픽셀(P)을 기준으로 연결된 점 B와 F가 꼭지점이 되는 사각형의 점 G와 H의 좌표를 구한다.
이때, G와 H의 좌표는 아래의 수식을 이용하여 구할 수 있다.
Figure 112011038175314-pat00016
Figure 112011038175314-pat00017
Figure 112011038175314-pat00018
Figure 112011038175314-pat00019
이렇게, G와 H의 좌표가 구해지면 매핑 대상 픽셀(P)이 사각형(BGFH) 외부에 위치하는지 확인한다. 여기서, 매핑 대상 픽셀(P)이 왜곡 폴리곤 외부에 위치하기 위한 outside 범위 조건은 if(Px<Gx ∥ Px>Hx ∥Py <Gy ∥Py>Hy)로서, 매핑 대상 픽셀(P)이 사각형 BGFH 외부에 위치하는지 경우는 매핑 대상 픽셀이 OUT3 영역에 위치하는 경우에 해당한다.
이와 같은 outside 범위 조건 확인 결과 outside 범위 조건에 해당하지 않으면 매핑 대상 픽셀(P)이 왜곡 폴리곤 내부에 위치하는 것을 알 수 있다.
한편, 매핑 대상 픽셀(P)이 왜곡 폴리곤 내부에 위치하는 것으로 판단되면, 해당 픽셀을 기준 영상에 대응되도록 매핑한다.
도 9는 본 발명에 따라 왜곡 폴리곤을 기준 폴리곤으로 매핑하는 방법을 설명하기 위한 도면으로서, 우선 꼭지점 A, B, C 중 어느 하나를 제 1 기준 꼭지점(A)으로 선정하고, 제 1 기준 꼭지점(A)과 매핑 대상 픽셀(P)을 지나는 제 1 직선(
Figure 112011038175314-pat00020
) 및 제 1 기준 꼭지점(A)과 마주보는 선분(
Figure 112011038175314-pat00021
)이 교차하는 제 1 교차점(a)의 좌표를 산출한다. 그리고, 제 1 기준 꼭지점(A)을 제외한 둘 중 하나를 제 2 기준 꼭지점(B)으로 선정하고, 제 2 기준 꼭지점(B)과 매핑 대상 픽셀(P)을 지나는 제 2 직선(
Figure 112011038175314-pat00022
) 및 제 2 기준 꼭지점(B)과 마주보는 선분(
Figure 112011038175314-pat00023
)이 교차하는 제 2 교차점(b)의 좌표를 산출한다.
여기서, 제 1 교차점(a)과 제 2 교차점(b)의 좌표는 아래의 수식에 의해 구해진다.
a=CROSS(
Figure 112011038175314-pat00024
,
Figure 112011038175314-pat00025
)
b=CROSS(
Figure 112011038175314-pat00026
,
Figure 112011038175314-pat00027
)
이어서, 선분
Figure 112011038175314-pat00028
에 대한 b의 좌표비(
Figure 112011038175314-pat00029
:
Figure 112011038175314-pat00030
) 및 선분
Figure 112011038175314-pat00031
에 대한 a의 좌표비(
Figure 112011038175314-pat00032
:
Figure 112011038175314-pat00033
)를 산출하고, 산출된 b의 좌표비(
Figure 112011038175314-pat00034
:
Figure 112011038175314-pat00035
) 및 a의 좌표비(
Figure 112011038175314-pat00036
:
Figure 112011038175314-pat00037
)를 기준 폴리곤의 꼭지점(A',B',C')에 대응시켜 선분
Figure 112011038175314-pat00038
상의 점 a'의 좌표와 선분
Figure 112011038175314-pat00039
상의 점 b '의 좌표를 산출한다.
여기서, 점 a와 b의 좌표는 아래의 수식에 의해 산출된다.
Figure 112011038175314-pat00040
Figure 112011038175314-pat00041
이러한 방식에 의해 점 a'와 b'의 좌표가 산출되면 A'와 a'를 잇는 선분(
Figure 112011038175314-pat00042
)와 꼭지점 B'와 b'를 잇는 선분(
Figure 112011038175314-pat00043
)의 교차점(P')를 산출한다.
여기서, P'의 좌표는 아래의 수식에 의해 산출된다.
P'=CROSS(
Figure 112011038175314-pat00044
,
Figure 112011038175314-pat00045
)
이와 같이 교차점(P')의 좌표가 산출되면, 매핑 대상 픽셀(P)을 교차점(P')에 대응시켜 매핑한다.
그런데, 매핑 대상 픽셀(P)을 지나는 두개의 선분이 폴리곤의 어느 한 선분 근접하여 기울기의 차이가 거의 없을 때 프로그램을 두 선분을 거의 수평하게 인식하게 되어 오차가 발생한다. 따라서, 이러한 오차를 보정하기 위해서는 매핑 대상 픽셀(P)을 지나는 두개의 선분의 기울기가 폴리곤의 각 선분의 기울기보다 충분히 큰 선분과 마주보는 점을 기준 꼭지점으로 선정해야 한다.
도 10은 본 발명의 실시예에서 폴리곤 매핑시 기준이 되는 두개의 기준 꼭지점을 선정하는 과정을 설명하기 위한 흐름도이고, 도 11은 도 10의 방법을 설명하기 위한 참조 도면으로서, 삼각형 ABC내의 점 P를 삼각형 A'B'C'로 매핑하고자 할 경우 점 P의 좌표와 꼭지점 ABC의 좌표 및
Figure 112011038175314-pat00046
,
Figure 112011038175314-pat00047
,
Figure 112011038175314-pat00048
의 선분비가 필요하며, 점 P를 매핑하기 위해 최적의 선분비 2개를 선택해야 한다.
우선, 아래의 수식을 이용하여 왜곡 폴리곤 세 선분(
Figure 112011038175314-pat00049
)의 기울기를 산출한다(S100).
ab=SLOPE(A,B)
ac=SLOPE(A,C)
bc=SLOPE(B,C)
그리고, 각 꼭지점과 P의 거리를 비교하고, 점 P에서 거리가 먼 꼭지점과 점 P와의 거리 정보를 dap로 저장한다(S200).
구체적으로는, 아래의 수식과 같이 점 p에서 A, B의 길이를 비교하여 긴것을 dap에 저장하고, 점 p에서 A, C의 길이를 비교하여 긴것을 dbp에 저장하며, 점 p에서 B, C의 길이를 비교하여 긴 것을 dcp에 저장한다.
dap=DIST(A,B)
dbp=DIST(A,C)
dcp=DIST(B,C)
이어서, 점 P와 거리가 먼 꼭지점을 찾아 정보를 저장한다(S300).
구체적으로는, 아래의 수식과 같이 dap와 dbp의 길이를 비교하여 길이가 긴 것을 점 P와 가장 먼 꼭지점으로 판단하고 ABP에 저장하고, dap와 dcp의 길이를 비교하여 길이가 긴 것을 점 P와 가장 먼 꼭지점으로 판단하고 ACP에 저장하며, dbp와 dcp의 길이를 비교하여 길이가 긴 것을 점 P와 가장 먼 꼭지점으로 판단하고 긴 것을 BCP에 저장한다.
ABP=dap<dbp(=B) or dap>dbp(A)
ACP=dap<dcp(=C) or dap>dcp(A)
BCP=dbp<dcp(=C) or dbp>dcp(B)
그리고, 아래의 수식을 이용하여 P와 단계 S300에서 찾은 꼭지점과의 기울기를 산출한다(S400).
abp=SLOPE(P, ABP)
acp=SLOPE(P, ACP)
bcp=SLOPE(P, BCP)
이어서, S100 단계에서 산출한 기울기와, S400 단계에서 산출한 기울기의 차를 아래의 수식을 이용하여 산출한다(S500).
sdap=ABS(ab,abp)
sdbp=ABS(ab,abp)
sdap=ABS(ab,abp)
이러한 방식에 의해 산출된 값에 대한 절대값을 취하면 기울기 차를 산출할 수 있으며, "0"에 가까울수록 매핑 대상 픽셀(P)를 지나는 선분이 왜곡 폴리곤의 각 선분과 근접한 것이다.
이후, 산출된 기울기의 차가 가장 작은 선분(
Figure 112011038175314-pat00050
)을 찾고, 해당 선분(
Figure 112011038175314-pat00051
)과 마주보는 꼭지점(B)를 제 1 기준 꼭지점으로 선정하고(S600), 매핑 대상 픽셀(P)과 가장 가까운 꼭지점(C)을 제 2 기준 꼭지점으로 선정한다(S700). 이어서, 꼭지점 B,C를 기준으로 하는
Figure 112011038175314-pat00052
,
Figure 112011038175314-pat00053
의 선분비를 이용하여 매핑한다. 즉, 선택된 각 꼭지점(B,C)과 매핑 대상 픽셀(P)를 지나는 직선(
Figure 112011038175314-pat00054
,
Figure 112011038175314-pat00055
)과, 각 꼭지점(B,C)과 마주보는 선분(
Figure 112011038175314-pat00056
,
Figure 112011038175314-pat00057
)의 교차점(b,c)의 좌표를 산출하고(S800), 각 교차점(b,c)의 좌표비를 산출하고(S900), 이를 이용하여 매핑한다.
도 12는 본 발명에 따른 차량 어라운드 뷰 생성 방법에서 최종적으로 조합되는 어라운드 뷰 영상을 도시한 도면으로서, 상술한 방법에 의해 생성된 각각의 보정 영상을 차량의 평면 영상과 조합하여 어라운드 뷰 영상을 생성한다(S90).
이때, 복수의 보정 영상을 조합함에 있어서, 복수의 보정 영상에서 상호 인접한 코너 영역의 중복 영상을 제거해야 한다. 이를 위해서, 각 보정 영상들에 대하여 외측 모서리 부분에서 내측 방향으로 경사진 기준 선분을 설정하고, 인접한 보정 영상들을 상기 기준 선분이 일치 되도록 중첩시켜 중복 영상을 제거한다.
다음으로, 중복 영상이 제거되고 나면 추출된 차량의 평면 이미지의 상,하,좌,우에 4개의 교정된 영상을 배치하여 하나의 전체적인 어라운드 뷰 이미지를 생성하게 된다.
비록 본 발명이 상기 언급된 바람직한 실시 예와 관련하여 설명되어졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허청구의 범위는 본 발명의 요지에서 속하는 이러한 수정이나 변형을 포함할 것이다.
10 : 체크 보드 패턴 20 : 기준 영상
30 : 기준 폴리곤 40 :왜곡 영상
50 : 왜곡 폴리곤

Claims (6)

  1. 복수의 광각 카메라로부터 획득된 영상의 방사 왜곡을 보정하여 어라운드 뷰 영상을 생성하는 방법에 있어서,
    기준 그리드 패턴의 각 교차점에 대한 기준 좌표값을 설정하고 상기 기준 그리드 패턴에 대하여 기준 꼭지점(A',B',C')을 갖는 복수의 기준 폴리곤으로 분할한 기준 영상을 생성하는 단계;
    복수의 광각 카메라로 체크 보드 패턴을 촬상하여 각각의 왜곡 영상을 획득하는 단계;
    상기 각 왜곡 영상 내 체크 보드 패턴의 에지를 검출하는 단계;
    상기 검출된 에지를 따라 라인 트레킹을 수행하면서 수직 방향과 수평 방향으로의 밝기 분포 변화량을 이용하여 복수의 보정점을 추정하고, 추정된 보정점들에 대한 보정 순서를 선정하는 단계;
    상기 각 왜곡 영상에 대하여 상기 보정점들을 꼭지점(A,B,C)으로 하는 복수의 왜곡 폴리곤으로 분할하는 단계;
    상기 보정 순서에 따라 왜곡 폴리곤이 기준 폴리곤에 대응되도록 왜곡 영상의 각 픽셀 좌표를 기준 좌표에 매핑하여 각각의 보정 영상을 획득하는 단계; 및
    상기 각각의 보정 영상과 차량의 평면 영상을 조합하여 어라운드 뷰 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 차량 어라운드 뷰 영상 생성 방법.
  2. 제 1항에 있어서,
    상기 어라운드 뷰 영상 생성 단계는,
    복수의 보정 영상에서 상호 인접한 코너 영역의 중복 영상을 제거하되, 각 보정 영상들에 대하여 외측 모서리 부분에서 내측 방향으로 경사진 기준 선분을 설정하고, 인접한 보정 영상들을 상기 기준 선분이 일치 되도록 중첩시켜 중복 영상을 제거하는 것을 특징으로 하는 차량 어라운드 뷰 영상 생성 방법.
  3. 제 1항에 있어서,
    상기 보정 순서에 따라 왜곡 폴리곤이 기준 폴리곤에 대응되도록 왜곡 영상의 각 픽셀 좌표를 기준 좌표에 매핑하여 각각의 보정 영상을 획득하는 단계는,
    매핑 대상 픽셀이 상기 왜곡 폴리곤 내부에 위치하는지 판단하고, 상기 매핑 대상 픽셀이 상기 왜곡 폴리곤 내부에 위치하는 경우에만 매핑을 수행하는 것을 특징으로 하는 차량 어라운드 뷰 영상 생성 방법.
  4. 제 3항에 있어서,
    상기 왜곡 영상의 각 픽셀 좌표를 기준 좌표에 매핑하는 것은,
    상기 꼭지점 A, B, C 중 어느 하나를 제 1 기준 꼭지점을 선정하고, 제 1 기준 꼭지점과 매핑 대상 픽셀(P)을 지나는 제 1 직선 및 상기 제 1 기준 꼭지점과 마주보는 선분과의 교차점 좌표를 산출하는 제 1 교차점 좌표 산출 단계와,
    상기 꼭지점 A, B, C 중 제 1 기준 꼭지점을 제외한 둘 중 하나를 제 2 기준 꼭지점으로 선정하고, 제 2 기준 꼭지점과 매핑 대상 픽셀(P)을 지나는 제 2 직선 및 상기 제 2 기준 꼭지점과 마주보는 선분과의 교차점 좌표를 산출하는 제 2 교차점 좌표 산출 단계와,
    상기 제 1 직선 상의 제 1 교차점 좌표비와 제 2 직선 상의 제 2 교차점 좌표비를 산출하는 단계와,
    상기 제 1 교차점 좌표비를 기준 폴리곤의 꼭지점(A',B',C')에 대응시켜 기준 폴리곤 상의 제 3 교차점 좌표를 산출하고, 상기 제 2 교차점 좌표비를 기준 폴리곤의 꼭지점(A',B',C')에 대응시켜 기준 폴리곤 상의 제 4 교차점 좌표를 산출하는와,
    상기 제 3 교차점과 제 4 교차점 각각과 마주하는 제 3 꼭지점과 제 4 꼭지점을 추출하고, 제 3꼭지점과 제 3 교차점을 잇는 제 3 선분 및 제 4 교차점과 제 4꼭지점을 잇는 제 4 선분을 추출하여, 제 3 선분과 제 4 선분의 교차점(P')를 산출하는 단계, 및
    상기 매핑 대상 픽셀(P)을 교차점(P')에 대응시켜 매핑하는 단계를 포함함을 특징으로 하는 차량 어라운드 뷰 영상 생성 방법.
  5. 제 4항에 있어서,
    상기 제 1 기준 꼭지점 선정은,
    왜곡 폴리곤의 세 선분의 기울기를 산출하는 제 1 기울기 산출 단계와,
    매핑 대상 픽셀(P)과 각 꼭지점(A,B,C)과의 거리를 산출하는 단계와,
    상기 매핑 대상 픽셀(P)과 각 꼭지점을 연결하여 3개의 삼각형을 구하고, 상기 각각의 삼각형에 대하여 꼭지점과 매핑 대상 픽셀(P) 간의 거리가 가장 먼 꼭지점을 각각 추출하는 단계와,
    상기 매핑 대상 픽셀(P)과 거리가 가장 먼 꼭지점들과 매핑 대상 픽셀(P)과 기울기를 산출하는 제 2 기울기 산출 단계와,
    상기 제 1 기울기와 제 2 기울기의 차를 산출하고 기울기 차가 가장 작은 선분을 추출하는 단계와,
    상기 제 1 기울기와 제 2 기울기의 차가 가장 작은 선분과 마주보는 꼭지점을 제 1 기준 꼭지점으로 선정하는 단계로 이루어지는 것을 특징으로 하는 차량 어라운드 뷰 영상 생성 방법.
  6. 제 5항에 있어서,
    상기 제 2 기준 꼭지점은 매핑 대상 픽셀(P)과의 거리 산출 결과 거리가 가장 가까운 꼭지점으로 선정하는 것을 특징으로 하는 차량 어라운드 뷰 영상 생성 방법.
KR1020110048380A 2011-05-23 2011-05-23 차량 어라운드 뷰 영상 생성 방법 KR101249791B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110048380A KR101249791B1 (ko) 2011-05-23 2011-05-23 차량 어라운드 뷰 영상 생성 방법
PCT/KR2012/003482 WO2012161431A2 (ko) 2011-05-23 2012-05-03 차량 어라운드 뷰 영상 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110048380A KR101249791B1 (ko) 2011-05-23 2011-05-23 차량 어라운드 뷰 영상 생성 방법

Publications (2)

Publication Number Publication Date
KR20120130798A KR20120130798A (ko) 2012-12-04
KR101249791B1 true KR101249791B1 (ko) 2013-04-03

Family

ID=47217840

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110048380A KR101249791B1 (ko) 2011-05-23 2011-05-23 차량 어라운드 뷰 영상 생성 방법

Country Status (2)

Country Link
KR (1) KR101249791B1 (ko)
WO (1) WO2012161431A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9813619B2 (en) 2014-07-24 2017-11-07 Hyundai Motor Company Apparatus and method for correcting image distortion of a camera for vehicle
KR102124291B1 (ko) 2020-02-12 2020-06-17 김정석 광학식 정밀측정기의 렌즈 측정오차 교정방법
KR20220061334A (ko) 2020-11-05 2022-05-13 경기과학기술대학교 산학협력단 차량의 어라운드 뷰 제공 장치

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220548B (zh) * 2013-04-23 2015-07-29 上海纵目科技有限公司 用于全景泊车标定的测试现场及其建设方法
CN103761735B (zh) * 2014-01-08 2018-08-07 惠州华阳通用电子有限公司 一种车载环视系统标定装置及方法
DE102014209137B4 (de) * 2014-05-14 2023-02-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
KR102279026B1 (ko) * 2014-11-07 2021-07-19 삼성전자주식회사 적어도 하나의 객체를 포함하는 영상에서 객체를 추출하여 보정한 영상을 제공하는 장치 및 방법
KR101693820B1 (ko) * 2016-01-13 2017-01-06 광운대학교 산학협력단 Avm 영상 보정 장치 및 방법
KR101694651B1 (ko) * 2016-02-15 2017-01-09 이화여자대학교 산학협력단 3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법
CN107133911B (zh) * 2016-02-26 2020-04-24 比亚迪股份有限公司 一种倒车影像显示方法及装置
KR102441209B1 (ko) * 2016-03-28 2022-09-07 한국자동차연구원 Avm 시스템 어라운드 영상 정합성 평가방법 및 장치
KR102477480B1 (ko) * 2018-03-20 2022-12-14 주식회사 에이치엘클레무브 어라운드뷰 카메라의 캘리브레이션 장치 및 그 방법
KR102053099B1 (ko) * 2018-06-07 2019-12-06 현대오트론 주식회사 어라운드 뷰 모니터링 시스템 및 그것의 동작 방법
CN109754380B (zh) 2019-01-02 2021-02-02 京东方科技集团股份有限公司 一种图像处理方法及图像处理装置、显示装置
KR102154798B1 (ko) * 2019-01-14 2020-09-10 중앙대학교 산학협력단 주차면 만공차 감지 시스템 및 그 방법
KR102167828B1 (ko) * 2019-06-13 2020-10-20 주식회사 넥스트칩 왜곡 영상을 보정하는 방법 및 장치
CN110276716B (zh) * 2019-06-19 2023-06-20 北京茵沃汽车科技有限公司 车辆前后视鱼眼图像的180度矫正视图的生成方法
CN112734721B (zh) * 2021-01-08 2024-01-16 昆山丘钛微电子科技股份有限公司 一种光轴偏转角度检测方法、装置、设备和介质
CN113034616B (zh) * 2021-03-31 2024-10-01 黑芝麻智能科技(上海)有限公司 车辆环视系统的相机外参标定方法、系统及环视系统
CN115063739B (zh) * 2022-06-10 2023-06-16 嘉洋智慧安全科技(北京)股份有限公司 异常行为的检测方法、装置、设备及计算机存储介质
CN118707720B (zh) * 2024-08-28 2024-11-19 深圳市永泰光电有限公司 一种大景深超广角镜头的低形变控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100808536B1 (ko) * 2006-10-31 2008-03-06 (주) 이즈커뮤니케이션즈 패턴 영상을 이용한 캘리브레이션 방법
JP2008287426A (ja) * 2007-05-16 2008-11-27 Mitsubishi Electric Corp 歪み補正装置及びプログラム
JP2010257357A (ja) * 2009-04-28 2010-11-11 Renesas Electronics Corp 画像処理装置、半導体データ処理装置及びデータ処理システム
JP2011101265A (ja) * 2009-11-06 2011-05-19 Nippon Seiki Co Ltd 較正情報算出方法、較正情報算出装置、及び広角画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100808536B1 (ko) * 2006-10-31 2008-03-06 (주) 이즈커뮤니케이션즈 패턴 영상을 이용한 캘리브레이션 방법
JP2008287426A (ja) * 2007-05-16 2008-11-27 Mitsubishi Electric Corp 歪み補正装置及びプログラム
JP2010257357A (ja) * 2009-04-28 2010-11-11 Renesas Electronics Corp 画像処理装置、半導体データ処理装置及びデータ処理システム
JP2011101265A (ja) * 2009-11-06 2011-05-19 Nippon Seiki Co Ltd 較正情報算出方法、較正情報算出装置、及び広角画像処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9813619B2 (en) 2014-07-24 2017-11-07 Hyundai Motor Company Apparatus and method for correcting image distortion of a camera for vehicle
KR102124291B1 (ko) 2020-02-12 2020-06-17 김정석 광학식 정밀측정기의 렌즈 측정오차 교정방법
KR20220061334A (ko) 2020-11-05 2022-05-13 경기과학기술대학교 산학협력단 차량의 어라운드 뷰 제공 장치

Also Published As

Publication number Publication date
WO2012161431A2 (ko) 2012-11-29
KR20120130798A (ko) 2012-12-04
WO2012161431A3 (ko) 2013-01-17
WO2012161431A9 (ko) 2013-03-28

Similar Documents

Publication Publication Date Title
KR101249791B1 (ko) 차량 어라운드 뷰 영상 생성 방법
KR101305316B1 (ko) 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법
US9866818B2 (en) Image processing apparatus and method, image processing system and program
JP5961945B2 (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
KR100653200B1 (ko) 기하 정보를 교정하여 파노라마 영상을 제공하는 방법 및장치
EP3100234B1 (en) Data-processing system and method for calibration of a vehicle surround view system
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
US10378877B2 (en) Image processing device, image processing method, and program
US20090153669A1 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
JP6260891B2 (ja) 画像処理装置および画像処理方法
US8406511B2 (en) Apparatus for evaluating images from a multi camera system, multi camera system and process for evaluating
KR101239740B1 (ko) 폴리곤 매핑 및 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
US10205928B2 (en) Image processing apparatus that estimates distance information, method of controlling the same, and storage medium
CN103426160B (zh) 数据导出装置及数据导出方法
WO2019230726A1 (ja) 幾何変換行列推定装置、幾何変換行列推定方法、及びプログラム
WO2016204068A1 (ja) 画像処理装置および画像処理方法、ならびにプロジェクションシステム
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
JP6956051B2 (ja) 画像処理装置、運転支援システム、画像処理方法及びプログラム
EP3189493B1 (en) Depth map based perspective correction in digital photos
JP2019012915A (ja) 画像処理装置、画像変換方法
JP2008224323A (ja) ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム
TWI424259B (zh) 相機擺置角度校正法
JP2014225182A (ja) 画像投影システム、画像処理装置およびプログラム
JP5845151B2 (ja) あおり補正装置、あおり補正方法及びあおり補正用コンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110523

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120626

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20121227

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130327

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130327

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20160311

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20160311

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20170125

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20180212

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20180212

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20190218

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20190218

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20200213

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20200213

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20210225

Start annual number: 9

End annual number: 9

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20230108