[go: up one dir, main page]

KR20130088480A - 차량용 감시 카메라를 이용한 통합 관제 시스템 및 그 방법 - Google Patents

차량용 감시 카메라를 이용한 통합 관제 시스템 및 그 방법 Download PDF

Info

Publication number
KR20130088480A
KR20130088480A KR1020120009741A KR20120009741A KR20130088480A KR 20130088480 A KR20130088480 A KR 20130088480A KR 1020120009741 A KR1020120009741 A KR 1020120009741A KR 20120009741 A KR20120009741 A KR 20120009741A KR 20130088480 A KR20130088480 A KR 20130088480A
Authority
KR
South Korea
Prior art keywords
vehicle
information
surveillance camera
server
license plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020120009741A
Other languages
English (en)
Other versions
KR101783982B1 (ko
Inventor
이현진
임정은
김순기
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Priority to KR1020120009741A priority Critical patent/KR101783982B1/ko
Priority to US14/364,881 priority patent/US9779311B2/en
Priority to PCT/KR2012/009860 priority patent/WO2013115470A1/en
Publication of KR20130088480A publication Critical patent/KR20130088480A/ko
Application granted granted Critical
Publication of KR101783982B1 publication Critical patent/KR101783982B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량용 감시 카메라를 이용한 통합 관제 시스템 및 그 방법에 관한 것으로, 본 발명의 일 실시예에 따르면 차량용 감시 카메라가 촬상한 영상을 분석하여 획득한 차량 번호판 정보를 서버가 상기 차량용 감시 카메라로부터 전송받는 단계; 상기 차량용 감시 카메라로부터 상기 촬상한 영상이 생성된 시간 정보 및 위치 정보를 상기 서버가 전송받는 단계; 상기 서버가 전송받은 상기 차량 번호판 정보, 상기 시간 정보 및 상기 위치 정보 참조하여 데이터베이스를 구축하는 단계;를 포함하는 차량용 감시 카메라를 이용한 통합 관제 방법이 제공된다.

Description

차량용 감시 카메라를 이용한 통합 관제 시스템 및 그 방법{Integration Control System and Method Using Surveillance Camera for Vehicle}
본 발명은 차량용 감시 카메라를 이용한 통합 관제 시스템 및 방법에 관한 것으로, 보다 상세하게는 차량 내부에 설치된 카메라를 이용하여 주변 차량의 차량 정보를 획득하고, 차량 정보를 통합 관제 서버로 전송하여 데이터베이스를 생성함으로써 도로의 상황을 효율적으로 파악 및 검색할 수 있는 통합 관제 시스템 및 방법에 관한 것이다.
최근 들어 사고 경위 조사 및 운행 상태 기록을 위해 항공기뿐 아니라 자동차에도 블랙박스, 즉 감시 카메라가 설치되곤 한다. 블랙박스는 ‘EDR(Event Data Recorder)’이라고 부르기도 하는데, 주로 카메라 형식의 제품이 많다. 차량 내부의 룸미러 근처나 대시 보드 위에 주로 설치하며, 차량 전방의 영상을 촬영하여 동영상으로 기록, 교통 사고 발생 시 시시비비를 가리는 데 주로 사용한다.
차량용 감시 카메라는 제품에 따라서는 2대 이상의 카메라를 설치하며 전면뿐 아니라 후면, 측면도 동시에 촬영하는 경우도 있으며, 불특정 다수가 이용하는 택시나 버스 같은 차량의 경우에는 음성을 녹음하면서 차량 내부까지 촬영하는 블랙박스를 설치하기도 한다.
한국 공개특허 제2009-0046477에서는, 내장된 카메라렌즈부를 통해 녹화기능을 수행함과 아울러 외부음성 녹음기능을 수행하기 위한 마이크장치를 포함하는 블랙박스기능이 개시되어 있으며, 녹화/녹음된 데이터를 수신장치로 자동으로 전송하는 사용자 단말기가 개시되어 있었다.
한편, 최근의 도로 통합 관제 시스템은 도로의 차량 수를 파악하는 것에서 벗어나 사고 지점 통제, 정체 구간 관리 등 전반적인 도로 상황을 관리하기 위해 사용되고 있다.
본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
본 발명은 차량용 감시 카메라를 사용하여 주변 차량의 차량 번호판을 인식하고, 인식된 차량 번호판 정보와 현재 차량의 위치와 시간 정보를 사용하여 도로 상황을 메타데이터베이스화하여 도로 상황의 효율적인 파악 및 정보 검색이 가능한 시스템을 제공하는 것을 일 목적으로 한다.
본 발명은 도로 통합 관제 시스템에 있어서 차량용 감시 카메라가 획득 한 도로 정보를 통합 관제 서버에 영상 정보가 아닌 텍스트 정보의 형태로 전송하여 통신 트래픽을 감소시킬 수 있는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 실시예에 따르면, 차량용 감시 카메라가 촬상한 영상을 분석하여 획득한 차량 번호판 정보를 서버가 상기 차량용 감시 카메라로부터 전송받는 단계; 상기 차량용 감시 카메라로부터 상기 촬상한 영상이 생성된 시간 정보 및 위치 정보를 상기 서버가 전송받는 단계; 상기 서버가 전송받은 상기 차량 번호판 정보, 상기 시간 정보 및 상기 위치 정보 참조하여 데이터베이스를 구축하는 단계; 를 포함하는 차량용 감시 카메라를 이용한 통합 관제 방법이 제공된다.
본 발명에 있어서, 상기 전송받는 차량 번호판 정보, 상기 시간 정보 및 상기 위치 정보는 메타데이터화된 데이터인 것을 특징으로 한다.
본 발명에 있어서, 상기 전송받는 차량 번호판 정보, 상기 시간 정보 및 상기 위치 정보는 촬상한 영상을 프레임별로 분석하여 구조화시킨 데이터인 것을 특징으로 한다.
본 발명에 있어서, 상기 차량용 감시 카메라는 차의 전면, 측면, 후면 중 적어도 어느 하나의 면에 설치되는 것을 특징으로 한다.
본 발명에 있어서, 상기 서버가 전송받은 상기 차량 번호판 정보, 상기 시간 정보 및 상기 위치 정보는 암호화된 데이터인 것을 특징으로 한다.
본 발명에 있어서, 상기 서버가 사용자 단말기로부터 특정 위치와 특정 시간에 대한 차량 검색 요청을 받는 단계; 상기 서버가 상기 데이터베이스에서 상기 검색 요청에 부합하는 데이터를 추출하는 단계; 상기 서버가 상기 추출된 데이터에서 차량 번호를 추출하는 단계; 를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 사용자 단말기로부터 특정 차량의 번호 검색 요청을 받는 단계; 상기 서버가 상기 데이터베이스에서 상기 특정 차량의 상기 차량 번호판 정보를 포함하는 데이터를 모두 추출하는 단계; 상기 추출된 데이터에 대응하는 상기 시간 정보를 순서대로 나열하는 단계; 상기 나열된 데이터에 대응하는 상기 위치 정보를 사용하여 상기 특정 차량의 이동 경로를 획득하는 단계; 를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 서버가 출발 위치가 제1 위치이고 도착 위치가 제2 위치인 특정 구간의 이동 소요시간을 검색하고자 하는 경우, 상기 서버가 상기 데이터베이스에서 상기 제1 위치 정보 및 상기 제2 위치 정보를 모두 포함하는 상기 차량 번호판 정보를 추출하는 단계; 상기 서버가 상기 제1 위치 정보에 대응하는 시간 정보와 상기 제2 위치 정보에 대응하는 시간정보를 이용하여, 상기 추출된 차량 번호판을 가지는 차량의 상기 특정 구간에 대한 이동 소요시간을 계산하는 단계; 상기 추출된 차량 번호판을 가지는 차량의 상기 이동 소요시간의 평균값을 계산하는 단계; 를 더 포함하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르면, 차량용 감시 카메라가 촬상한 영상을 분석하여 획득한 차량 번호판 정보 및 상기 촬상한 영상이 생성된 시간 정보 및 위치 정보를 상기 차량용 감시 카메라로부터 전송받는 통신부; 상기 전송받은 상기 차량 번호판 정보, 상기 시간 정보 및 상기 위치 정보 참조하여 데이터베이스를 구축하는 데이터베이스 구축부; 사용자단말기로부터 차량 번호, 이동 소요시간, 이동 경로 중 적어도 하나에 대한 검색 요청을 받고, 상기 데이터베이스를 검색하여 상기 검색 요청에 부합하는 데이터를 상기 사용자 단말기에 제공하는 검색부; 를 포함하는 차량용 감시 카메라를 이용한 통합 관제 시스템을 제공한다.
본 발명에 의하면 차량용 감시 카메라를 사용하여 주변 차량의 차량 번호판을 인식하고, 인식된 차량 번호판 정보와 현재 차량의 위치와 시간 정보를 사용하여 도로 상황을 메타데이터베이스화하여 도로 상황의 효율적인 파악 및 정보 검색이 가능한 시스템을 제공할 수 있다.
본 발명은 도로 통합 관제 시스템에 있어서 차량용 감시 카메라가 획득 한 도로 정보를 통합 관제 서버에 영상 정보가 아닌 텍스트 정보의 형태로 전송하여 통신 트래픽을 감소시킬 수 있는 것을 다른 목적으로 한다.
도 1은 본 발명의 일 실시예에 따른 통합 관제 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라 통합 관제 시스템의 구체적인 구성을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따라 차량용 감시 카메라가 촬상할 수 있는 범위를 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 차량용 감시 카메라 획득한 영상을 데이터화한 예시이다.
도 5는 본 발명의 일 실시예에 따라 차량용 감시 카메라가 전송한 정보를 토대로 데이터베이스를 구축하는 단계를 나타내는 순서도이다.
도 6은 본 발명의 일 실시예에 따라 사고 추정 차량을 검색하는 단계를 나타내는 순서도이다.
도 7은 본 발명의 일 실시예에 따라 차량의 이동 경로를 검색하는 단계를 나타내는 순서도이다.
도 8은 본 발명의 일 실시예에 따라 특정 구간의 소요 시간을 계산하는 단계를 나타내는 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 통합 관제 시스템의 개략적인 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 통합 관제 시스템은 복수대의 차량 내에 위치하는 차량용 감시 카메라(100), 통합 관제 서버(200), 사용자 단말기(300), GPS(400)(지리 정보 시스템) 및 통신망(500)을 포함하여 이루어진다.
먼저, 복수대의 차량 내에 위치하는 차량용 감시 카메라(100)는 차량 외부의 상황을 동화상 또는 정지화상으로 촬상할 수 있는 공지의 블랙박스 구성 외에 차량 번호판을 인식할 수 있는 영상 처리 기능을 가질 수 있다. 차량 번호판 인식 기능은 촬상된 화상으로부터 문자 혹은 숫자를 추출하는 OCR(광학 문자 인식) 기술을 사용할 수 있다.
또한, 차량용 감시 카메라(100)는 GPS(400) 과 통신하여 블랙박스가 설치된 현재 차량의 위치를 획득할 수 있다. 차량용 감시 카메라(100)는 일반적으로 차량 내부에 설치되어 사고 경위를 조사하기 위해 사용될 수 있으나, 사고 발생 시각 외에는 주변의 상황을 모니터링하여 통합 관제 서버(200)에 주변 차량의 정보를 전송하는 역할을 수행할 수 있다.
다음으로, 통합 관제 서버(200)는 차량용 감시 카메라(100)로부터 화상이 촬상될 때의 위치, 시간 및 촬상된 화상에 존재하는 차량의 번호판 정보를 전달받아 메타데이터베이스(240)를 구축할 수 있다.
보다 상세히는, 통합 관제 서버(200)는 차량용 감시 카메라(100)로부터 주변 차량의 차량 번호 정보를 전송받은 후, 위치 정보와 시간 정보를 참조하여 데이터베이스(240)를 구축하고 검색 기능을 제공하는 역할을 수행한다. 통합 관제 서버(200)는 블랙박스로부터 전송받은 정보를 메타데이터화하여 데이터베이스(240)에 저장할 수 있다. 즉, 통합 관제 서버(200)는 특정 차량 번호에 대하여 해당 차량 번호가 촬상된 위치 정보 및 시간 정보를 구조화하여 데이터베이스(240)를 구축할 수 있다. 통합 관제 서버(200)에 관한 상세한 설명은 후술하기로 한다.
다음으로, 사용자 단말기(300)는 사용자가 통합 관제 서버(200)의 데이터를 검색하고자 할 때 혹은 통합 관제 서버(200)의 설정을 변경하고자 할 때 대응하는 인터페이스를 제공할 수 있다.
사용자는 사용자 단말기(300)를 사용하여 통합 관제 시스템을 검색하여 특정 차량의 경로를 검색하거나, 사고 차량을 검색하거나, 구간별 이동 시간을 조회할 수 있다.
또한, 사용자는 사용자 단말기(300)에서 통합 관제 서버(200)에 정보를 제공하는 차량용 감시 카메라(100)를 등록할 수 있다. 혹은, 사용자 단말기(300)에서 GPS(400)와 통신할 수 있고 차량 번호판 인식 기능을 가지는 모듈을 구비한 차량용 감시 카메라(100)를 자동으로 검색하여 등록하도록 설정할 수 있다.
다음으로, GPS(400)는 본 발명의 일 실시예에 따라 차량용 감시 카메라(100)와 통신하여 차량용 감시 카메라(100)에 현재의 위치 정보를 제공하거나, 통합 관제 서버(200)에 위치 정보를 직접 제공하는 역할을 수행할 수 있다.
다음으로, 통신망(500)은 통합 관제 서버(200), 차량용 감시 카메라(100), 사용자 단말기(300)가 통신할 수 있도록 하는 기능을 제공한다. 즉, 통신망(500)은 차량용 감시 카메라(100)가 차량 번호, 위치 정보 및 시간 정보를 통합 관제 서버(200)로 전송할 수 있도록 하고, 사용자 단말기(300)가 통합 관제 서버(200)의 데이터를 이용할 수 잇도록 접속 경로를 제공하는 통신망(500)을 의미한다.
도 2는 본 발명의 일 실시예에 따른 통합 관제 시스템의 구체적인 구성을 나타내는 도면이다.
도 2를 참조하면, 차량용 감시 카메라(100)는 통신부(150), 영상 처리부(110), 시간 설정부(120), 위치 정보 처리부(130), 데이터 가공부(140)를 포함하고, 통합 관제 서버(200)는 데이터 가공부(140), 메타데이터 구축부(220), 데이터 검색부(230) 및 데이터베이스(240)를 포함하는 것을 알 수 있다.
먼저, 차량용 감시 카메라(100)의 영상 처리부(110)는 촬상된 영상을 이용하여 해당 차량 주변의 차량 정보를 획득한다. 즉, 촬상된 영상에서 번호판이라고 인식되는 영역을 지정한 후, 문자 판독 기술에 촬상된 영상에 있는 차량의 번호를 인식한다. 추가적으로, 영상 처리부(110)는 촬상된 영상을 이용하여 차량의 색상 및 차량 종류 정보를 획득할 수도 있다.
기존의 차량용 감시 카메라는 예외적으로 차량의 갑작스러운 움직임을 감지하여 충돌 순간만을 촬영하는 제품, 혹은 주차 시에만 작동하는 제품이 있지만 일반적으로 충돌에 관계없이 주행 중에 상시 촬영을 하는 제품이 사용된다. 따라서 사고 시각 전후의 데이터를 제외한 대부분의 시간의 촬상 데이터는 무의미한 자료를 형성한다. 그에 반해 본 발명의 일 실시예에 따른 차량용 감시 카메라(100)는 일반 운행 중에도 촬상된 영상을 이용하여 주변의 차량 정보를 획득할 수 있어 기기를 효율적으로 사용할 수 있다.
또한, 기존의 도로 통합 관제 시스템은 CCTV로 도로 상황을 촬상하여 서버로 전송하는 방법을 사용하였지만, 이와 같은 방법은 데이터 전송량이 많고 현실적으로 모든 도로에 CCTV를 설치하지 못하여 전 도로 상황을 감시할 수 없는 문제점이 있었다. 이에 대하여 본 발명의 일 실시예에 따르면 영상 처리부(110)는 촬상 영상을 분석하여 차량 번호판 정보를 텍스트로 전송하게 되므로, 전송량을 줄이고 도로에 직접 CCTV를 설치하는 부담을 경감할 수 있다.
본 발명의 통합 관제 시스템은 차량용 감시 카메라(100)를 이용해 도로 상황을 효율적으로 입수할 수 있다. 특히, 일부 차량에 차량용 감시 카메라(100)가 설치되지 않았더라도 차량용 감시 키메라가 촬상할 수 있는 영상의 영역은 반드시 전방의 한정된 공간이 아니므로, 모든 차량에 감시 카메라(100)가 설치되지 않은 경우에도 전 범위의 도로 정보를 획득할 수 있다.
도 3은 본 발명의 일 실시예에 따라 차량용 감시 카메라(100)가 촬상할 수 있는 범위를 개략적으로 나타낸 도면이다.
도 3을 참조하면, 차량용 감시 카메라(100)가 설치된 차량(a, c, d, f, g, h, i)와 차량용 감시 카메라(100)가 설치되지 않은 차량(b, e, j)가 도로에 존재하는 경우를 상정할 수 있다. 이 경우, 차량용 감시 카메라(100)가 설치되지 않은 차량 e는 차량 b의 번호판을 전송하지 못하지만, 뒤에 존재하는 차량 g의 촬상 범위는 차량 b를 포함하므로, 차량용 감시 카메라(100)의 넓은 시야각을 사용하여 바로 전방이 아니더라도 한 화면에 잡히는 복수대의 차량 정보를 참조하여 도로 상황을 통합 관제 서버(200)로 전송할 수 있다.
다음으로, 시간 설정부(120)는 차량용 감시 카메라(100)가 영상을 촬상한 시간을 기록하는 역할을 한다. 시간 설정부(120)는 통합 관제 서버(200) 혹은 GPS(400)와 통신하여 시간 정보를 다운로드 할 수 있다. 혹은 시간 설정부(120)는 리얼타임클락(Real Time Clock) 기능을 사용하여 차량의 시동이 꺼진 상태에도 시간 기능을 작동하여 시간 오차를 줄일 수 있다.
다음으로, 위치 정보 처리부(130)는 GPS(400)로부터 차량용 감시 카메라(100)가 설치된 차량의 현재 위치를 저장하고, 데이터로 처리하는 기능을 수행할 수 있다. 위치 정보 처리부(130)는 특정 영상을 촬상하는 주기에 따라 GPS(400)로부터 차량의 위치를 획득할 수 있다.
데이터 가공부(140)는 영상 처리부(110), 시간 설정부(120), 위치 정보 처리부(130)가 획득한 데이터를 메타데이터 형식으로 구축하고 암호화하는 역할을 수행할 수 있다. 영상 처리부(110), 시간 설정부(120), 위치 정보 처리부(130)에서 얻은 정보는 특정 차량에 대한 구조화된 데이터로 생성될 수 있으며, 한 행의 구조화된 데이터는 촬상 영상 하나당 하나의 데이터로 생성될 수 있다.
도 4는 본 발명의 일 실시예에 따라 차량용 감시 카메라(100) 획득한 영상을 데이터화한 예시이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 차량 운행 정보는 시간, 위치(위도, 경도), 차량번호(좌측 앞, 정면 앞, 우측 앞), 현재 속도를 포함할 수 있다. 도 4를 참조하면 차량 번호 정보는 좌측 앞, 정면 앞, 우측 앞에 위치한 차량에 대한 번호 정보를 포함할 수 있지만, 반드시 이에 한정되지 않고 영상 처리부(110)에서 인식할 수 있는 차량 번호 정보를 모두 포함할 수 있다. 또한, 도 4에서는 현재 차량의 속도를 표시하고 있는데, 이는 GPS(400)로부터 획득하거나 차량 내에 설치된 속도 계기 장치로부터 획득한 정보일 수 있다.
도 4에 나타난 한 행의 데이터는 차량용 감시 카메라(100)가 촬상한 하나의 화상, 혹은 동화상의 한 프레임을 영상 처리부(110)가 분석한 결과이다. 즉, 하나의 화상이 생성된 시간 정보 및 위치 정보를 기록하고, 영상 처리부(110)에서 인식한 차량 번호들을 기록하여 하나의 단위 데이터를 생성할 수 있다. 이와 같은 단위 데이터들의 집합은 메타데이터 형태로 가공될 수 있다.
데이터 가공부(140)는 도 4와 같은 데이터를 연속적으로 작성한 후 암호화하여 통합 관제 서버(200)로 전송할 수 있다. 암호화 방법은 데이터를 일정 알고리즘을 이용하여 비트의 순서를 섞는 방법이나 데이터 단위를 블록화하는 방법 등이 사용될 수 있으며, 공지의 데이터 암호화 방법을 사용할 수 있다.
다음으로, 통합 관제 서버(200)의 데이터 재가공부(210)는 차량용 감시 카메라(100)로부터 전송받은 데이터의 암호화를 풀고 기존에 존재하는 다른 데이터에 통합하는 역할을 한다. 암호화 방법은 차량용 감시 카메라(100) 기기마다 상이할 수 있으므로 데이터 재가공부(210)는 전송받은 기기의 정보를 참고하여 암호화를 푸는 작업을 행할 수 있다.
다음으로, 메타데이터 구축부(220)는 데이터를 메타데이터 형식으로 데이터베이스(240)에 저장하는 역할을 한다. 보다 상세하게는, 메타데이터 구축부(220)는 도 4와 같은 데이터를 차량 번호에 대하여 정리하여 차량 번호에 대하여 구조화된 데이터 형식으로 데이터베이스(240)에 저장할 수도 있고, 시간 정보 혹은 위치 정보를 설명하는 구조화된 데이터 형식으로 데이터베이스(240)를 구축할 수도 있다.
도 5는 본 발명의 일 실시예에 따라 차량용 감시 카메라(100)가 전송한 정보를 토대로데이터베이스(240)를 구축하는 단계를 나타내는 순서도이다.
도 5를 참조하면, 먼저 차량용 감시 카메라(100)를 이용하여 차량 전방의 영상을 획득한다(S1). 상술한 바와 같이 차량용 감시 카메라(100)가 설치된 위치에 따라 전방, 후방, 혹은 측면의 영상을 획득할 수 있다.
다음으로, 번호판 인식 기능을 사용하여 획득된 영상을 분석하여 전방에 위치한 차량의 번호판 정보를 획득한다(S2).
다음으로, 시간 설정부(120) 및 위치 정보 처리부(130)는 해당 영상이 찍힌 차량의 시간 정보 및 위치 정보를 획득 및 저장한다(S3).
다음으로, 획득된 번호판 정보, 시간 정보, 위치 정보를 분류, 정리하여 통합 관제 서버(200)로 전송한다(S4).
다음으로, 통합 관제 서버(200)는 전송받은 정보를 토대로 메타데이터베이스(240)를 구축한다(S5).
다음으로, 데이터 검색부(230)는 사용자 단말기(300)에서 요청이 있는 경우 데이터베이스(240)를 검색하여 정보를 제공할 수 있다. 사용자 단말기(300)의 요청이 특정 차량을 검색하는 것일 경우 데이터 검색부(230)는 특정 차량 번호를 포함하는 모든 데이터를 제공하여 유의미한 정보를 제공할 수 있다. 또한, 사용자 단말기(300)의 요청이 특정 시간에 특정 위치 근방을 지나간 차량을 검색하는 것인 경우 그에 대응하는 정보를 제공할 수도 있다. 데이터 검색부(230)가 사용자의 요청에 따라 교통 상황 정보를 제공하는 것은 후술하는 도 5, 도 6, 도 7의 실시예에서 알아보기로 한다.
도 6은 본 발명의 일 실시예에 따라 사고 추정 차량을 검색하는 단계를 나타내는 순서도이다.
도 6을 참조하면, 먼저 사용자는 사용자 단말기(300)를 이용하여 사고 발생 추정 시각에 사고 지점 부근에 위치한 차량이 있었는지를 검색하는 요청을 한다(S11).
다음으로, 사고 지점 부근에 위치한 차량 중에서 블랙박스가 설치된 차량의 정보를 검색한다(S12).
다음으로, 해당 차량 내에 설치된 차량용 감시 카메라(100)에서 전송한 위치 정보, 시간 정보, 번호판 정보를 획득한다(S13).
마지막으로, 획득된 정보를 토대로 사고 추정 차량을 검출한다(S14). 이와 같은 방법으로 통합 관제 서버(200)는 뺑소니 사건에 있어서 가해 차량을 검출해낼 수 있다.
도 7은 본 발명의 일 실시예에 따라 차량의 이동 경로를 검색하는 단계를 나타내는 순서도이다.
도 7을 참조하면, 사용자는 사용자 단말기(300)를 사용하여 특정 차량 번호를 토대로 데이터베이스(240)에서 차량 번호에 관련된 데이터를 검색한다(S21).
다음으로, 요청을 받은 통합 관제 서버(200)는 특정 차량의 번호를 포함하고 있는 데이터를 시간대별로 나열한다(S22).
다음으로, 나열된 시간 정보에 대응하는 위치 정보를 지도상에서 연결한다(S23).
마지막으로, 지도상에서 연결된 위치 및 위치 정보에 대응하는 시간 정보를 참조하여 특정 차량의 이동 경로 및 이동 속력을 계산한다(S24).
이와 같은 실시예에 의해 사용자는 특정 차량이 어떤 경로 혹은 어떤 속도로 이동했는지 검색할 수 있다.
도 8은 본 발명의 일 실시예에 따라 특정 구간의 소요 시간을 계산하는 단계를 나타내는 순서도이다.
도 8을 참조하면, 사용자는 사용자 단말기(300)를 통해 제1 지점 및 제2 지점 사이의 소요시간을 검색하는 요청을 한다(S31).
다음으로, 통합 관제 서버(200)는 데이터베이스(240)를 검색하여 제1 지점 및 제2 지점을 통과한 특정 차량 번호를 검색한다(S32).
다음으로, 통합 관제 서버(200)는 검출된 차량 번호의 시간 정보를 이용하여 제1 지점과 제2 지점 사이의 소요시간을 획득한다(S33).
마지막으로, 제1 지점 및 제2 지점을 통과한 다른 차량 번호에 대해서도 S31~S32 단계를 반복하여 제1 지점과 제2 지점 사이의 소요시간의 평균값을 획득한다(S34).
이와 같은 단계를 통해 사용자는 특정 구간 사이의 평균 소요시간을 검색할 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 차량용 감시 카메라
110: 영상 처리부
120: 시간 설정부
130: 위치 정보 처리부
140: 데이터 가공부
150: 통신부
200: 통합 관제 서버
210: 데이터 재가공부
220: 메타데이터 구축부
230: 데이터 검색부
240: 데이터베이스

Claims (9)

  1. 차량용 감시 카메라가 촬상한 영상을 분석하여 획득한 차량 번호판 정보를 서버가 상기 차량용 감시 카메라로부터 전송받는 단계;
    상기 차량용 감시 카메라로부터 상기 촬상한 영상이 생성된 시간 정보 및 위치 정보를 상기 서버가 전송받는 단계;
    상기 서버가 전송받은 상기 차량 번호판 정보, 상기 시간 정보 및 상기 위치 정보 참조하여 데이터베이스를 구축하는 단계;
    를 포함하는 차량용 감시 카메라를 이용한 통합 관제 방법.
  2. 제1항에 있어서,
    상기 전송받는 차량 번호판 정보, 상기 시간 정보 및 상기 위치 정보는 메타데이터화된 데이터인 것을 특징으로 하는 차량용 감시 카메라를 이용한 통합 관제 방법.
  3. 제1항에 있어서,
    상기 전송받는 차량 번호판 정보, 상기 시간 정보 및 상기 위치 정보는 촬상한 영상을 프레임별로 분석하여 구조화시킨 데이터인 것을 특징으로 하는 차량용 감시 카메라를 이용한 통합 관제 방법.
  4. 제1항에 있어서,
    상기 차량용 감시 카메라는 차의 전면, 측면, 후면 중 적어도 어느 하나의 면에 설치되는 것을 특징으로 하는 차량용 감시 카메라를 이용한 통합 관제 방법.
  5. 제1항에 있어서,
    상기 서버가 전송받은 상기 차량 번호판 정보, 상기 시간 정보 및 상기 위치 정보는 암호화된 데이터인 것을 특징으로 하는 차량용 감시 카메라를 이용한 통합 관제 방법.
  6. 제1항에 있어서,
    상기 서버가 사용자 단말기로부터 특정 위치와 특정 시간에 대한 차량 검색 요청을 받는 단계;
    상기 서버가 상기 데이터베이스에서 상기 검색 요청에 부합하는 데이터를 추출하는 단계;
    상기 서버가 상기 추출된 데이터에서 차량 번호를 추출하는 단계;
    를 더 포함하는 것을 특징으로 하는 차량용 감시 카메라를 이용한 통합 관제 방법.
  7. 제1항에 있어서,
    사용자 단말기로부터 특정 차량의 번호 검색 요청을 받는 단계;
    상기 서버가 상기 데이터베이스에서 상기 특정 차량의 상기 차량 번호판 정보를 포함하는 데이터를 모두 추출하는 단계;
    상기 추출된 데이터에 대응하는 상기 시간 정보를 순서대로 나열하는 단계;
    상기 나열된 데이터에 대응하는 상기 위치 정보를 사용하여 상기 특정 차량의 이동 경로를 획득하는 단계;
    를 더 포함하는 것을 특징으로 하는 차량용 감시 카메라를 이용한 통합 관제 방법.
  8. 제1항에 있어서,
    상기 서버가 출발 위치가 제1 위치이고 도착 위치가 제2 위치인 특정 구간의 이동 소요시간을 검색하고자 하는 경우,
    상기 서버가 상기 데이터베이스에서 상기 제1 위치 정보 및 상기 제2 위치 정보를 모두 포함하는 상기 차량 번호판 정보를 추출하는 단계;
    상기 서버가 상기 제1 위치 정보에 대응하는 시간 정보와 상기 제2 위치 정보에 대응하는 시간정보를 이용하여, 상기 추출된 차량 번호판을 가지는 차량의 상기 특정 구간에 대한 이동 소요시간을 계산하는 단계;
    상기 추출된 차량 번호판을 가지는 차량의 상기 이동 소요시간의 평균값을 계산하는 단계;
    를 더 포함하는 것을 특징으로 하는 차량용 감시 카메라를 이용한 통합 관제 방법.
  9. 차량용 감시 카메라가 촬상한 영상을 분석하여 획득한 차량 번호판 정보 및 상기 촬상한 영상이 생성된 시간 정보 및 위치 정보를 상기 차량용 감시 카메라로부터 전송받는 통신부;
    상기 전송받은 상기 차량 번호판 정보, 상기 시간 정보 및 상기 위치 정보 참조하여 데이터베이스를 구축하는 데이터베이스 구축부;
    사용자단말기로부터 차량 번호, 이동 소요시간, 이동 경로 중 적어도 하나에 대한 검색 요청을 받고, 상기 데이터베이스를 검색하여 상기 검색 요청에 부합하는 데이터를 상기 사용자 단말기에 제공하는 검색부;
    를 포함하는 차량용 감시 카메라를 이용한 통합 관제 시스템.
KR1020120009741A 2012-01-31 2012-01-31 차량용 감시 카메라를 이용한 통합 관제 시스템 및 그 방법 Active KR101783982B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120009741A KR101783982B1 (ko) 2012-01-31 2012-01-31 차량용 감시 카메라를 이용한 통합 관제 시스템 및 그 방법
US14/364,881 US9779311B2 (en) 2012-01-31 2012-11-21 Integrated control system and method using surveillance camera for vehicle
PCT/KR2012/009860 WO2013115470A1 (en) 2012-01-31 2012-11-21 Integrated control system and method using surveillance camera for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120009741A KR101783982B1 (ko) 2012-01-31 2012-01-31 차량용 감시 카메라를 이용한 통합 관제 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130088480A true KR20130088480A (ko) 2013-08-08
KR101783982B1 KR101783982B1 (ko) 2017-10-11

Family

ID=48905473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120009741A Active KR101783982B1 (ko) 2012-01-31 2012-01-31 차량용 감시 카메라를 이용한 통합 관제 시스템 및 그 방법

Country Status (3)

Country Link
US (1) US9779311B2 (ko)
KR (1) KR101783982B1 (ko)
WO (1) WO2013115470A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101475037B1 (ko) * 2013-12-23 2014-12-22 한국교통대학교산학협력단 분산 교통 데이터 관리 시스템
WO2015099387A1 (ko) * 2013-12-23 2015-07-02 한국교통대학교산학협력단 지능형 교통 관리 시스템
CN111225339A (zh) * 2018-11-27 2020-06-02 丰田自动车北美公司 基于接近度的车辆标记
CN114155714A (zh) * 2020-09-15 2022-03-08 台州市远行客网络技术有限公司 一种机动车牌接力识别系统及车牌接力识别方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8872910B1 (en) 2009-06-04 2014-10-28 Masoud Vaziri Method and apparatus for a compact and high resolution eye-view recorder
US11367164B1 (en) 2009-06-04 2022-06-21 Masoud Vaziri Method and apparatus for super resolution imaging and eye tracking devices
US10064552B1 (en) * 2009-06-04 2018-09-04 Masoud Vaziri Method and apparatus for a compact and high resolution mind-view communicator
US11450113B1 (en) 2009-06-04 2022-09-20 Masoud Vaziri Method and apparatus for a wearable computer
CN103824037B (zh) * 2013-12-26 2017-05-03 苏州清研微视电子科技有限公司 车用防跟踪报警装置
DE102014203137A1 (de) 2014-02-21 2015-08-27 Bayerische Motoren Werke Aktiengesellschaft Erkennung von Unfällen anderer Verkehrsteilnehmer
KR102263731B1 (ko) 2014-11-11 2021-06-11 현대모비스 주식회사 주변차량의 위치정보 보정 시스템 및 방법
US10289919B2 (en) * 2015-01-27 2019-05-14 Hyundai Motor Company Vehicle and method of controlling the same
JP2016158186A (ja) * 2015-02-26 2016-09-01 カシオ計算機株式会社 撮像装置、撮像方法、撮像プログラム
KR101843538B1 (ko) * 2015-12-16 2018-03-30 엘지전자 주식회사 차량 운전 보조장치 및 이의 차량 운전 보조방법
US20180054569A1 (en) * 2016-08-19 2018-02-22 Delphi Technologies, Inc. Dual-focus camera for automated vehicles
KR102104417B1 (ko) * 2016-09-28 2020-04-24 한화테크윈 주식회사 데이터 분산 저장 방법 및 시스템
US11308591B1 (en) 2018-07-11 2022-04-19 Masoud Vaziri Method and apparatus for a software enabled high resolution ultrasound imaging device
JP6900942B2 (ja) * 2018-09-26 2021-07-14 株式会社デンソー ドライブレコーダ及び画像記憶システム
US11151387B2 (en) 2019-04-05 2021-10-19 Toyota Motor Engineering & Manufacturing North America, Inc. Camera system to detect unusual activities
CN110264730A (zh) * 2019-06-05 2019-09-20 上海易点时空网络有限公司 基于行车记录的追踪逃逸车辆的方法及系统
CN110417853A (zh) * 2019-06-14 2019-11-05 南京觉醒智能科技有限公司 一种基于车辆识别的智能挪车系统及挪车方法
US11800244B1 (en) 2022-08-13 2023-10-24 Mojtaba Vaziri Method and apparatus for an imaging device
CN115691143B (zh) * 2022-12-30 2023-04-07 北京码牛科技股份有限公司 交通卡口设备采集数据的时间的动态纠正方法和系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
KR100221401B1 (ko) 1996-07-16 1999-09-15 김용일 위성항법장치를 이용한 컴퓨터 수치지도상에의 동영상의 지원방법과 디스플레이방법 및 그 동영상의 지원시스템
KR19980010935U (ko) 1996-08-14 1998-05-25 배재식 바지 밑단 헤짐 방지용 철
CA2199999A1 (en) * 1997-03-14 1998-09-14 Peter Johann Kielland Parking regulation enforcement system
US6747687B1 (en) * 2000-01-11 2004-06-08 Pulnix America, Inc. System for recognizing the same vehicle at different times and places
KR100455877B1 (ko) * 2001-07-18 2004-11-06 주식회사 현재테크 감시 차량을 이용한 피감시 차량의 차량번호 자동인식시스템 및 방법
KR100413382B1 (ko) * 2001-07-31 2003-12-31 김관중 통신망을 이용한 감시 카메라의 통합 원격 제어 시스템 및방법과 이를 이용한 영상 데이터 처리 방법
US20030125981A1 (en) * 2001-12-21 2003-07-03 International Business Machines Corporation Device, system and method for enforcing traffic regulations
JP2003288672A (ja) * 2002-03-28 2003-10-10 Seiko Epson Corp ナビゲーション用データ管理サーバー、ナビゲーション端末及びプログラム
KR100489890B1 (ko) * 2002-11-22 2005-05-17 한국전자통신연구원 스테레오 비디오 또는/및 지리객체의 상세정보 제공 장치및 그방법
US20040201460A1 (en) * 2003-04-09 2004-10-14 Bucholz Andrew J. System and method of vehicle surveillance
ES2355384T3 (es) * 2003-05-22 2011-03-25 Pips Technology Inc. Seguridad automatizada de un sitio, sistema de monitorización y control de acceso.
US7466223B2 (en) * 2004-05-21 2008-12-16 Pips Technology, Inc. Automated site security, monitoring and access control system
KR20050113428A (ko) * 2004-05-28 2005-12-02 (주)삼일네테크 차량 정보 제공 장치 및 방법
WO2006020337A2 (en) * 2004-07-20 2006-02-23 E-Views Safety Systems, Inc. Distributed, roadside-based real-time id recognition system and method
US7579965B2 (en) * 2006-03-03 2009-08-25 Andrew Bucholz Vehicle data collection and processing system
US8462988B2 (en) * 2007-01-23 2013-06-11 Valeo Schalter Und Sensoren Gmbh Method and system for universal lane boundary detection
JP2009020774A (ja) 2007-07-13 2009-01-29 Oki Electric Ind Co Ltd 情報送信方法、情報受信方法、情報送受信方法、情報送受信装置、及び情報収集システム。
JP2009083815A (ja) 2007-10-03 2009-04-23 Fujitsu Ten Ltd ドライブレコーダ装置および事故解析シミュレーション装置
KR20090046477A (ko) 2007-11-06 2009-05-11 한규생 블랙박스기능을 가진 이동통신단말기 및 그의데이터제어방법
KR101537705B1 (ko) 2009-03-30 2015-07-22 엘지전자 주식회사 차량 내비게이션 방법 및 그 장치
US20100299021A1 (en) * 2009-05-21 2010-11-25 Reza Jalili System and Method for Recording Data Associated with Vehicle Activity and Operation
KR20110077454A (ko) 2009-12-30 2011-07-07 (주)마이크로인피니티 이동체의 위치 및 자세를 결정하는 시스템 및 방법
KR20110088012A (ko) 2010-01-28 2011-08-03 한국전자통신연구원 차량의 사고 영상 데이터 수집 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101475037B1 (ko) * 2013-12-23 2014-12-22 한국교통대학교산학협력단 분산 교통 데이터 관리 시스템
WO2015099387A1 (ko) * 2013-12-23 2015-07-02 한국교통대학교산학협력단 지능형 교통 관리 시스템
CN111225339A (zh) * 2018-11-27 2020-06-02 丰田自动车北美公司 基于接近度的车辆标记
CN111225339B (zh) * 2018-11-27 2023-11-07 丰田自动车北美公司 基于接近度的车辆标记
CN114155714A (zh) * 2020-09-15 2022-03-08 台州市远行客网络技术有限公司 一种机动车牌接力识别系统及车牌接力识别方法
CN114155714B (zh) * 2020-09-15 2022-11-08 深圳市软筑信息技术有限公司 一种机动车牌接力识别系统及车牌接力识别方法

Also Published As

Publication number Publication date
WO2013115470A1 (en) 2013-08-08
US9779311B2 (en) 2017-10-03
KR101783982B1 (ko) 2017-10-11
US20140375813A1 (en) 2014-12-25

Similar Documents

Publication Publication Date Title
KR101783982B1 (ko) 차량용 감시 카메라를 이용한 통합 관제 시스템 및 그 방법
US10229589B1 (en) Investigation assist device, investigation assist method and investigation assist system
CN105849790B (zh) 一种路况信息获取方法
US10796132B2 (en) Public service system and method using autonomous smart car
KR20170081920A (ko) 차량과 관련된 영상 정보를 공유하는 방법 및 장치
EP2682925B1 (en) Vehicle monitoring method and system
KR102029128B1 (ko) 운전자간 블랙박스 사고영상을 상호교환하기 위한 iot 플랫폼 및 그 구현 방법
KR101678004B1 (ko) 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법
KR101626377B1 (ko) Cctv와 차량내 블랙박스를 활용한 빅데이터 기반의 불법 주정차 단속 시스템
CN106529401A (zh) 一种车辆反跟踪方法、装置及系统
KR101492473B1 (ko) 사용자 기반 상황 인지형 씨씨티비 통합관제시스템
KR101153981B1 (ko) 영상감시 서비스 방법
KR101394201B1 (ko) 버스장착 무선cctv 촬영단속시스템
KR20140126852A (ko) 사고 영상 수집 시스템 및 그의 사고 영상 수집 방법
WO2016132769A1 (ja) 撮影装置、撮影装置の制御方法、および制御プログラム
JP2019091230A (ja) 車両監視システム、監視装置および情報共有方法
KR101686851B1 (ko) Cctv 카메라를 이용한 통합 관제 시스템
KR101263894B1 (ko) 수배차량의 추적장치 및 그 방법
KR20190087170A (ko) 휴대단말과의 연동을 이용한 블랙박스 정보 전달 시스템 및 그 전달방법
JP7146371B2 (ja) 映像情報共有装置、映像情報共有システム及び映像情報共有方法
JP7182121B2 (ja) 画像収集システム
KR101527003B1 (ko) 블랙박스시스템
KR20170018699A (ko) 사고 정보 수집 장치 및 그 제어 방법
JP2007158496A (ja) 地図連携映像監視方法及びその装置
KR20130103876A (ko) 블랙박스 데이터 검색 시스템

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120131

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20150908

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120131

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170123

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20170721

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20170123

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20170721

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20170323

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20170906

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20170821

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20170721

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20170323

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170926

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170927

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200826

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210825

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220823

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20240822

Start annual number: 8

End annual number: 8