[go: up one dir, main page]

KR101409851B1 - 카메라를 이용한 도로 정보 제공 장치 및 방법 - Google Patents

카메라를 이용한 도로 정보 제공 장치 및 방법 Download PDF

Info

Publication number
KR101409851B1
KR101409851B1 KR1020120154007A KR20120154007A KR101409851B1 KR 101409851 B1 KR101409851 B1 KR 101409851B1 KR 1020120154007 A KR1020120154007 A KR 1020120154007A KR 20120154007 A KR20120154007 A KR 20120154007A KR 101409851 B1 KR101409851 B1 KR 101409851B1
Authority
KR
South Korea
Prior art keywords
road information
image
vehicle
camera
information providing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020120154007A
Other languages
English (en)
Inventor
임기택
신대교
정한균
윤상훈
이세연
진성근
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020120154007A priority Critical patent/KR101409851B1/ko
Application granted granted Critical
Publication of KR101409851B1 publication Critical patent/KR101409851B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 카메라를 이용한 도로 정보 제공 장치 및 방법에 관한 것으로서, 본 발명에 따른 카메라를 이용한 도로 정보 제공 장치는고속으로 차량을 운전하는 운전자의 주의력을 분산시키지 않은 채 운전자가 정보 제공 시설물의 내용을 명확하고 편리하게 인지할 수 있도록 하는 것을 특징으로 한다. 본 발명에 따르면, 도로 정보 제공 시설물에 게시된 내용을 디지털 이미지 프로세싱을 통해 차량의 내부 화면에 표출할 수 있어서, 운전자는 도로 정보 제공 시설물 측으로 시선을 옮기지 않은 채 차량의 내부 화면을 통해 편리하게 게시된 내용을 확인할 수 있고, 특히 게시된 내용 확인을 위해 운전자가 시선을 도로 정보 제공 시설물 측으로 옮기지 않아도 되므로, 운전자의 안전운전을 유도할 수 있다.

Description

카메라를 이용한 도로 정보 제공 장치 및 방법{Apparatus and Method Providing Road Information Using Camera}
본 발명은 카메라를 이용한 도로 정보 제공 장치 및 방법에 관한 것으로서, 보다 구체적으로는 차량에 장착된 카메라를 통해 정보 제공 시설물에 게시된 내용을 촬영하여 표출하는 장치 및 방법에 관한 것이다.
종래에는 차량이 도로 표지판, 전광판과 같은 도로 정보 제공 시설물이 위치한 도로를 고속으로 주행할 경우, 차량 탑승자가 도로 정보 제공 시설물에 게시된 내용을 쉽사리 인지할 수 없다는 문제점이 있다.
즉, 전술한 바와 같이 종래에는 운전자가 차량을 고속으로 운전할 경우 도로 정보 제공 시설물에 게시된 내용을 인지할 수 없기 때문에, 운전자는 게시된 내용 인지를 위해 차량의 속력을 낮추고, 게시된 내용의 인지가 가능할 만큼 차량을 천천히 서행시키면서 전방 주시 시선을 도로 정보 제공 시설물이 위치한 곳으로 옮긴 채 게시된 내용을 확인해야 했다.
따라서, 종래에는 전방을 주시하던 운전자의 시선이 도로 정보 제공 시설물이 위치한 곳으로 옮겨가거나, 운전자가 도로 정보 제공 시설물에 게시된 내용 확인에 집중한 나머지 운전에 대한 주의력을 분산시킬 경우, 이러한 운전자의 일련의 행위가 운전 부주의를 유발시켜, 즉 운전자의 안전 운전을 방해하여 자칫 대형 사고로까지 이어지게 하는 원인으로 작용할 수 있다는 문제점이 있다.
본 발명은 상기와 같은 문제점을 감안하여 창출한 것으로서, 고속으로 차량을 운전하는 운전자의 주의력을 분산시키지 않은 채 운전자가 도로 정보 제공 시설물의 내용을 명확하고 편리하게 인지할 수 있도록 하는 카메라를 이용한 도로 정보 제공 장치 및 방법을 제공하는 데 그 목적이 있다.
전술한 목적을 달성하기 위하여, 본 발명의 일면에 따른 카메라를 이용한 도로 정보 제공 장치는 카메라를 포함하고, 상기 카메라를 통해 고속으로 주행중인 차량의 전방을 촬영하며, 촬영된 상기 차량의 전방 영상을 전달하는 카메라부; 상기 카메라부로부터 촬영된 상기 차량의 전방 영상을 전달받고, 전달된 상기 차량의 전방 영상에서 도로 정보 제공 시설물 이미지가 존재하는지 여부를 확인하며, 확인결과, 전달된 상기 차량의 전방 영상에서 도로 정보 제공 시설물 이미지가 존재할 경우, 차영상 기법을 이용하여 전달된 상기 차량의 전방 영상에서 도로 정보 제공 시설물 이미지를 추출하는 디지털 이미지 처리부; 및 상기 디지털 이미지 처리부로부터 전달된 도로 정보 제공 시설물 이미지를 표출하는 휴먼 인터페이스부; 및 상기 휴먼 인터페이스로부터 전달된 상기 도로 정보 제공 시설물 이미지를 표출하는 유저 인터페이스부를 포함하고, 상기 디지털 이미지 처리부는 추출된 상기 도로 정보 제공 시설물 이미지에서 텍스트 정보를 추출하며, 추출된 텍스트 정보를 상기 휴먼 인터페이스부에 전달하고, 상기 휴먼 인터페이스부는 추출된 상기 텍스트 정보를 표출하거나, 운전자의 시인성 향상을 위해 추출된 상기 도로 정보 제공 시설물 이미지 또는 추출된 상기 텍스트 정보를 상기 유저 인터페이스부를 통해 표출되기 적합한 형태로 처리하여 상기 유저 인터페이스부에 전달하는 것을 특징으로 한다.
본 발명의 다른 면에 따른 카메라를 이용한 도로 정보 제공 방법은 카메라를 이용한 도로 정보 제공 방법은 상기 카메라를 통해 촬영된 고속으로 주행중인 차량의 전방 영상에서 도로 정보 제공 시설물 이미지가 존재하는지 여부를 확인하는 단계; 확인결과, 촬영된 상기 차량의 전방 영상에서 도로 정보 제공 시설물 이미지가 존재할 경우, 차영상 기법을 이용하여 촬영된 상기 차량의 전방 영상에서 도로 정보 제공 시설물 이미지를 추출하는 단계; 추출된 상기 도로 정보 제공 시설물 이미지를 상기 차량의 휴먼 인터페이스를 통해 표출하는 단계; 및 추출된 상기 도로 정보 제공 시설물 이미지를 상기 휴먼 인터페이스를 거쳐 상기 차량의 유저 인터페이스를 통해 표출하는 단계를 포함하고, 상기 추출하는 단계는 추출된 상기 도로 정보 제공 시설물 이미지에서 텍스트 정보를 추출하는 단계를 포함하며, 상기 휴먼 인터페이스를 통해 표출하는 단계는 추출된 텍스트 정보를 표출하는 단계; 및 운전자의 시인성 향상을 위해 추출된 상기 도로 정보 제공 시설물 이미지 또는 추출된 상기 텍스트 정보를 상기 유저 인터페이스를 통해 표출되기 적합한 형태로 처리하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 운전자가 차량 운전시 전방 주시 시선을 도로 정보 제공 시설물 측으로 옮긴 채 게시된 내용을 확인하는 것과 같은 안전운전 방해 요소를 제거할 수 있는 효과가 있다.
즉, 도로 정보 제공 시설물에 게시된 내용을 디지털 이미지 프로세싱을 통해 차량의 내부 화면에 표출할 수 있어서, 운전자는 도로 정보 제공 시설물 측으로 시선을 옮기지 않은 채 차량의 내부 화면을 통해 편리하게 게시된 내용을 확인할 수 있다.
특히 게시된 내용 확인을 위해 운전자가 시선을 도로 정보 제공 시설물 측으로 옮기지 않아도 되므로, 운전자의 안전운전을 유도할 수 있다.
도 1은 본 발명의 일 실시예에 따른 카메라를 이용한 도로 정보 제공 장치를 설명하기 위한 블럭도.
도 2는 본 발명의 일 실시예에 따른 카메라를 이용한 도로 정보 제공 방법을 설명하기 위한 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 도 1을 참조하여 본 발명의 일 실시예에 따른 카메라를 이용한 도로 정보 제공 장치를 설명한다. 도 1은 본 발명의 일 실시예에 따른 카메라를 이용한 도로 정보 제공 장치를 설명하기 위한 블럭도이다.
도 1에 도시된 바와 같이, 본 발명의 카메라를 이용한 도로 정보 제공 장치는 카메라부(110), 디지털 이미지 처리부(120), 휴먼 인터페이스부(130) 및 유저 인터페이스부(140)를 포함한다.
카메라부(110)는 카메라(111)를 포함하며, 카메라(111)는 차량에 기장착된 것일 수 있고, 차량에 탑재된 블랙박스에 포함된 것일 수도 있으며, 카메라(111)를 통해 고속으로 주행중인 차량의 전방을 촬영하고, 촬영된 차량의 전방 영상을 디지털 이미지 처리부(120)에 전달한다.
디지털 이미지 처리부(120)는 카메라부(110)로부터 촬영된 차량의 전방 영상을 전달받고, 전달된 차량의 전방 영상에서 도로 정보 제공 시설물 이미지가 존재하는지 여부를 확인하며, 확인결과, 전달된 차량의 전방 영상에서 도로 정보 제공 시설물 이미지가 존재할 경우, 차영상 기법을 이용하여 전달된 차량의 전방 영상에서 도로 정보 제공 시설물 이미지를 추출하고, 추출된 도로 정보 제공 시설물 이미지를 휴먼 인터페이스부(130)에 전달하거나, 추출된 도로 정보 제공 시설물 이미지에서 텍스트 정보를 다시 추출하며, 추출된 텍스트 정보를 휴먼 인터페이스부(130)에 전달할 수 있다.
휴먼 인터페이스부(130)는 HUD(Head Up Display) 등일 수 있고, 디지털 이미지 처리부(130)로부터 전달된 도로 정보 제공 시설물 이미지 또는 텍스트 정보를 자체적으로 표출하거나 유저 인터페이스부(140)를 통해 표출되기 적합한 형태로 처리하여 유저 인터페이스부(140)에 전달한다.
유저 인터페이스부(140)는 휴먼 인터페이스부(130)로부터 전달된 도로 정보 제공 시설물 이미지 또는 텍스트 정보를 운전자가 시인하기 편리하도록 표출한다.
전술한 바와 같이, 본 발명에 따르면, 운전자가 차량 운전시 전방 주시 시선을 도로 정보 제공 시설물 측으로 옮긴 채 게시된 내용을 확인하는 것과 같은 안전운전 방해 요소를 제거할 수 있고, 즉 도로 정보 제공 시설물에 게시된 내용을 디지털 이미지 프로세싱을 통해 차량의 내부 화면에 표출할 수 있어서, 운전자는 도로 정보 제공 시설물 측으로 시선을 옮기지 않은 채 차량의 내부 화면을 통해 편리하게 도로 정보 제공 시설물에 게시된 내용을 확인할 수 있으며, 특히 게시된 내용 확인을 위해 운전자가 시선을 도로 정보 제공 시설물 측으로 옮기지 않아도 되므로, 운전자의 안전운전을 유도할 수 있다.
이상, 도 1을 참조하여 본 발명의 일 실시예에 따른 카메라를 이용한 도로 정보 제공 장치를 설명하였고, 이하에서는 도 2를 참조하여 본 발명의 일 실시예에 따른 카메라를 이용한 도로 정보 제공 방법을 설명한다. 도 2는 본 발명의 일 실시예에 따른 카메라를 이용한 도로 정보 제공 방법을 설명하기 위한 흐름도이다.
도 2에 도시된 바와 같이, 카메라(111)를 통해 고속으로 주행중인 차량의 전방을 촬영하고(S200), 촬영된 차량의 전방 영상에서 도로 정보 제공 시설물 이미지가 존재하는지 여부를 확인한다(S201).
확인결과, 촬영된 차량의 전방 영상에서 도로 정보 제공 시설물 이미지가 존재할 경우, 차영상 기법을 이용하여 전달된 차량의 전방 영상에서 도로 정보 제공 시설물 이미지를 추출한다(S202).
추출된 도로 정보 제공 시설물 이미지를 운전자가 시인하기 편리하도록 표출하거나(S203), 추출된 도로 정보 제공 시설물 이미지에서 텍스트 정보를 다시 추출하며, 추출된 텍스트 정보를 운전자가 시인하기 편리하도록 표출할 수 있다.
이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
110 : 카메라부 111 : 카메라
120 : 디지털 이미지 처리부 130 : 휴먼 인터페이스부
140 : 유저 인터페이스부

Claims (6)

  1. 카메라를 포함하고, 상기 카메라를 통해 고속으로 주행중인 차량의 전방을 촬영하며, 촬영된 상기 차량의 전방 영상을 전달하는 카메라부;
    상기 카메라부로부터 촬영된 상기 차량의 전방 영상을 전달받고, 전달된 상기 차량의 전방 영상에서 도로 정보 제공 시설물 이미지가 존재하는지 여부를 확인하며, 확인결과, 전달된 상기 차량의 전방 영상에서 도로 정보 제공 시설물 이미지가 존재할 경우, 차영상 기법을 이용하여 전달된 상기 차량의 전방 영상에서 도로 정보 제공 시설물 이미지를 추출하는 디지털 이미지 처리부; 및
    상기 디지털 이미지 처리부로부터 전달된 도로 정보 제공 시설물 이미지를 표출하는 휴먼 인터페이스부; 및
    상기 휴먼 인터페이스로부터 전달된 상기 도로 정보 제공 시설물 이미지를 표출하는 유저 인터페이스부를 포함하고,
    상기 디지털 이미지 처리부는
    추출된 상기 도로 정보 제공 시설물 이미지에서 텍스트 정보를 추출하며, 추출된 텍스트 정보를 상기 휴먼 인터페이스부에 전달하고,
    상기 휴먼 인터페이스부는 추출된 상기 텍스트 정보를 표출하거나, 운전자의 시인성 향상을 위해 추출된 상기 도로 정보 제공 시설물 이미지 또는 추출된 상기 텍스트 정보를 상기 유저 인터페이스부를 통해 표출되기 적합한 형태로 처리하여 상기 유저 인터페이스부에 전달하는 것
    인 카메라를 이용한 도로 정보 제공 장치.
  2. 제1항에 있어서,
    상기 카메라는 상기 차량에 기장착된 것이거나 상기 차량에 탑재된 블랙박스에 포함되는 것
    인 카메라를 이용한 도로 정보 제공 장치.
  3. 삭제
  4. 카메라를 이용한 도로 정보 제공 방법에 있어서,
    상기 카메라를 통해 촬영된 고속으로 주행중인 차량의 전방 영상에서 도로 정보 제공 시설물 이미지가 존재하는지 여부를 확인하는 단계;
    확인결과, 촬영된 상기 차량의 전방 영상에서 도로 정보 제공 시설물 이미지가 존재할 경우, 차영상 기법을 이용하여 촬영된 상기 차량의 전방 영상에서 도로 정보 제공 시설물 이미지를 추출하는 단계;
    추출된 상기 도로 정보 제공 시설물 이미지를 상기 차량의 휴먼 인터페이스를 통해 표출하는 단계; 및
    추출된 상기 도로 정보 제공 시설물 이미지를 상기 휴먼 인터페이스를 거쳐 상기 차량의 유저 인터페이스를 통해 표출하는 단계를 포함하고,
    상기 추출하는 단계는
    추출된 상기 도로 정보 제공 시설물 이미지에서 텍스트 정보를 추출하는 단계를 포함하며,
    상기 휴먼 인터페이스를 통해 표출하는 단계는
    추출된 텍스트 정보를 표출하는 단계; 및
    운전자의 시인성 향상을 위해 추출된 상기 도로 정보 제공 시설물 이미지 또는 추출된 상기 텍스트 정보를 상기 유저 인터페이스를 통해 표출되기 적합한 형태로 처리하는 단계를 포함하는 것
    인 카메라를 이용한 도로 정보 제공 방법.
  5. 제4항에 있어서,
    상기 카메라는 상기 차량에 기장착된 것이거나 상기 차량에 탑재된 블랙박스에 포함되는 것
    인 카메라를 이용한 도로 정보 제공 방법.
  6. 삭제
KR1020120154007A 2012-12-27 2012-12-27 카메라를 이용한 도로 정보 제공 장치 및 방법 Active KR101409851B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120154007A KR101409851B1 (ko) 2012-12-27 2012-12-27 카메라를 이용한 도로 정보 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120154007A KR101409851B1 (ko) 2012-12-27 2012-12-27 카메라를 이용한 도로 정보 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101409851B1 true KR101409851B1 (ko) 2014-06-19

Family

ID=51133499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120154007A Active KR101409851B1 (ko) 2012-12-27 2012-12-27 카메라를 이용한 도로 정보 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101409851B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002297654A (ja) 2001-03-30 2002-10-11 Toshiba Corp 情報提示方法および装置およびプログラム
JP2006506715A (ja) 2002-11-18 2006-02-23 フェン，ルミン インテリジェント交通システム
KR100721560B1 (ko) * 2005-11-30 2007-05-23 한국전자통신연구원 임의 시점을 가지는 3차원 차량정보 제공 시스템 및 그방법
KR20080020441A (ko) * 2006-08-30 2008-03-05 (주)로직아이텍 객체식별이 가능한 영상처리 감시시스템 및 감시방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002297654A (ja) 2001-03-30 2002-10-11 Toshiba Corp 情報提示方法および装置およびプログラム
JP2006506715A (ja) 2002-11-18 2006-02-23 フェン，ルミン インテリジェント交通システム
KR100721560B1 (ko) * 2005-11-30 2007-05-23 한국전자통신연구원 임의 시점을 가지는 3차원 차량정보 제공 시스템 및 그방법
KR20080020441A (ko) * 2006-08-30 2008-03-05 (주)로직아이텍 객체식별이 가능한 영상처리 감시시스템 및 감시방법

Similar Documents

Publication Publication Date Title
US9977243B2 (en) Method for executing vehicle function using wearable device and vehicle for carrying out the same
KR102118438B1 (ko) 차량용 헤드업 디스플레이 장치 및 그 방법
KR101116696B1 (ko) 횡단보도 정지 안내 장치
WO2015163205A1 (ja) 車両用表示システム
CN109204305A (zh) 丰富视野方法、观察员车辆和对象中使用的设备和机动车
CN105523041B (zh) 车道偏离警告系统和用于控制该系统的方法
US20180284432A1 (en) Driving assistance device and method
CN106132753B (zh) 信息显示系统
JP2009269551A (ja) 車両用表示装置
KR20180022374A (ko) 운전석과 보조석의 차선표시 hud와 그 방법
JP6104279B2 (ja) 運転者通知方法および運転者通知装置
CN106696824A (zh) 车辆行驶辅助方法及装置、车辆
KR20120007781U (ko) 증강현실과 헤드-업 디스플레이를 이용한 경로 안내 방법
CN106251698A (zh) 用于在自主车辆与乘客之间通信的方法和控制单元
JP2012218505A (ja) 車両用表示装置
CN112677740B (zh) 处理挡风玻璃使其隐形的装置和方法
CN103568946B (zh) 具有泊车定位功能的车辆后方摄像头系统及利用其的泊车支持系统
KR101209796B1 (ko) 전경 투과 기능을 갖는 차량용 표시장치 및 이의 표시방법
CN112102503A (zh) 一种车载增强现实应用的方法及系统
CN102729824A (zh) 图像处理判定装置
KR101409851B1 (ko) 카메라를 이용한 도로 정보 제공 장치 및 방법
JP6315427B2 (ja) 表示制御装置、表示制御方法、表示制御プログラム、および投影装置
JP6429069B2 (ja) 運転支援情報表示システム
Akaho et al. A study and evaluation on route guidance of a car navigation system based on augmented reality
JP2019080189A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20121227

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20131229

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140529

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140613

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140613

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20170512

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20170512

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180406

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20190313

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20190313

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20200504

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20210503

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20220502

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20240326

Start annual number: 11

End annual number: 11