[go: up one dir, main page]

KR100844909B1 - Incident information recording device and correction method for easy sensor calibration - Google Patents

Incident information recording device and correction method for easy sensor calibration Download PDF

Info

Publication number
KR100844909B1
KR100844909B1 KR1020070060860A KR20070060860A KR100844909B1 KR 100844909 B1 KR100844909 B1 KR 100844909B1 KR 1020070060860 A KR1020070060860 A KR 1020070060860A KR 20070060860 A KR20070060860 A KR 20070060860A KR 100844909 B1 KR100844909 B1 KR 100844909B1
Authority
KR
South Korea
Prior art keywords
sensor
acceleration
correction
camera
acceleration sensor
Prior art date
Application number
KR1020070060860A
Other languages
Korean (ko)
Inventor
김현철
Original Assignee
주식회사 피엘케이 테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피엘케이 테크놀로지 filed Critical 주식회사 피엘케이 테크놀로지
Priority to KR1020070060860A priority Critical patent/KR100844909B1/en
Application granted granted Critical
Publication of KR100844909B1 publication Critical patent/KR100844909B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D41/00Fittings for identifying vehicles in case of collision; Fittings for marking or recording collision areas
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D9/00Recording measured values
    • G01D9/005Solid-state data loggers
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

본 발명은 센서 보정이 용이한 사고 정보 기록장치 및 보정방법에 관한 것으로서, 더욱 상세하게는 차량의 전방을 향하도록 설치된 카메라에 가속도센서를 장착하여, 초기 설치 이후 가속도센서의 보정을 줄이고, 별도로 센서보정버튼을 구비하여 사용자가 용이하게 가속도센서를 보정할 수 있도록 하는 센서 보정이 용이한 사고 정보 기록장치 및 보정 방법에 관한 것이다.The present invention relates to an accident information recording apparatus and a correction method for easy sensor correction, and more particularly, by mounting an acceleration sensor on a camera installed to face the front of the vehicle, reducing the correction of the acceleration sensor after initial installation, and separately detecting the sensor. The present invention relates to an accident information recording device and a method for correcting a sensor, which are provided with a correction button so that a user can easily correct the acceleration sensor.

본 발명은, 영상 촬영 수단인 카메라와 상기 카메라에 장착되어 차량의 가속도를 감지하는 가속도센서로 구성되는 카메라부와, 카메라부에서 전송받은 영상 신호를 비롯한 입력 신호를 처리하여 운행 정보를 저장하는 본체부 및 상기 카메라부와 본체부 간의 유·무선 통신을 지원하는 유·무선 인터페이스로 구성된다. 또한, 상기 카메라부에는 별도의 센서보정버튼이 구비되어, 사용자가 버튼의 클릭으로 손쉽게 가속도센서의 3차원 좌표축의 보정을 수행한다.The present invention is a camera unit consisting of a camera which is an image capturing means and an acceleration sensor mounted on the camera to detect an acceleration of a vehicle, and a main body that stores driving information by processing an input signal including an image signal transmitted from the camera unit. And a wired / wireless interface for supporting wired / wireless communication between the camera unit and the main body unit. In addition, the camera unit is provided with a separate sensor correction button, the user can easily correct the three-dimensional coordinate axis of the acceleration sensor with the click of a button.

Description

센서 보정이 용이한 사고 정보 기록장치 및 보정방법{Accident data storing apparatus having easy sensor calibration for a vehicle and calibration method there of}Accident data storing apparatus having easy sensor calibration for a vehicle and calibration method there of}

도 1은 본 발명의 제 1실시예에 따른 센서 보정이 용이한 차량 사고 정보 기록장치의 구성을 나타내는 블록도이다.1 is a block diagram showing the configuration of a vehicle accident information recording apparatus that is easy to calibrate a sensor according to a first embodiment of the present invention.

도 2는 본 발명의 제 1실시예에 따른 센서 보정이 용이한 차량 사고 정보 기록장치를 장착한 차량을 나타낸 도면이다.FIG. 2 is a view showing a vehicle equipped with a vehicle accident information recording apparatus that is easy to calibrate a sensor according to a first embodiment of the present invention.

도 3은 본 발명의 제 2실시예에 따른 센서 보정이 용이한 차량 사고 정보 기록장치의 구성을 나타내는 블록도이다.3 is a block diagram showing the configuration of a vehicle accident information recording apparatus that is easy to calibrate a sensor according to a second embodiment of the present invention.

도 4는 본 발명의 일실시예에 따른 가속도센서의 보정과정을 나타내는 흐름도이다.4 is a flowchart illustrating a calibration process of an acceleration sensor according to an exemplary embodiment of the present invention.

*도면의 주요 부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *

100 : 카메라부 110 : 카메라100: camera unit 110: camera

120 : 가속도센서 130 : 센서보정버튼120: acceleration sensor 130: sensor calibration button

140 : 보정회로부 200 : 본체부140: correction circuit 200: main body

210 : 제어부 220 : 휘발성 메모리210: control unit 220: volatile memory

230 : 비휘발성 메모리 240 : 입출력단자230: non-volatile memory 240: input and output terminal

300 : 유·무선 인터페이스300: wired / wireless interface

본 발명은 센서 보정이 용이한 사고 정보 기록장치 및 보정 방법에 관한 것으로서, 더욱 상세하게는 차량의 전방을 향하도록 설치된 카메라에 가속도센서를 장착하여, 초기 설치 이후 가속도센서의 보정을 줄이고, 별도로 센서보정버튼을 구비하여 사용자가 용이하게 가속도센서를 보정할 수 있도록 하는 센서 보정이 용이한 사고 정보 기록장치 및 보정 방법에 관한 것이다.The present invention relates to an accident information recording apparatus and a correction method for easy sensor correction, and more particularly, by mounting an acceleration sensor on a camera installed to face the front of the vehicle, reducing the correction of the acceleration sensor after initial installation, and separately detecting the sensor. The present invention relates to an accident information recording device and a method for correcting a sensor, which are provided with a correction button so that a user can easily correct the acceleration sensor.

최근 들어, 차량 사고시의 정황과 당사자 간의 과실을 판단하기 위한 자료를 얻기 위하여, 차량 속도와 같은 각종 주행 정보를 기록하는 차량용 블랙박스에 대한 연구 및 개발이 활발히 진행되고 있다. 특히, 차량에 카메라를 구비하여 사고 당시의 외부 상황을 영상 정보로 기록함으로써, 각종 주행 정보와 더불어 사고 전후의 외부영상 정보를 활용하여 사고 원인을 규명할 수 있는 차량 사고 정보 기록장치가 최근 각광을 받고 있다. Recently, in order to obtain data for judging the situation at the time of a vehicle accident and the fault between the parties, research and development of a vehicle black box for recording various driving information such as the vehicle speed has been actively conducted. In particular, the vehicle accident information recording device which has a camera in the vehicle and records the external situation at the time of the accident as image information, and can determine the cause of the accident by using the external image information before and after the accident as well as various driving information has recently been spotlighted. I am getting it.

위와 같이 각종 주행 정보와 더불어 사고 전후의 외부영상 정보를 활용하여 사고 원인을 규명할 수 있는 차량 사고 정보 기록장치들을 살펴보면, 대부분 카메 라가 본체부 내부에 포함되어 구성되는 일체형 차량 사고 정보 기록장치와, 카메라가 본체부 외부에 분리되어 설치되는 분리형 차량 사고 정보 기록장치로 구분된다.Looking at the vehicle accident information recording devices that can determine the cause of the accident by using the external image information before and after the accident as well as the various driving information as described above, most of the integrated vehicle accident information recording device and the camera is included in the main body and In addition, the camera is divided into a separate vehicle accident information recording apparatus installed separately from the outside of the main body.

일체형 차량 사고 정보 기록장치를 이용하는 경우에는, 본체부 전체가 차량 전면부에 부착되어 고정되므로, 본체부에 포함된 가속도센서에 대한 보정(calibration)이 초기 설치시에만 필요하다. 그러나 본체부의 내부에 메모리와 가속도센서, 복수의 카메라 및 기타 회로구동이 필요하기 때문에 사이즈의 소형화에 한계가 있으며, 차량 전면부에 부착됨으로써 운전자의 시야를 가리는 문제점이 있었다.In the case of using the integrated vehicle accident information recording apparatus, since the whole body part is attached to the front part of the vehicle and fixed, the calibration of the acceleration sensor included in the body part is necessary only at the time of initial installation. However, since a memory, an acceleration sensor, a plurality of cameras, and other circuit driving are required inside the main body, there is a limit in size miniaturization.

분리형 차량 사고 정보 기록장치를 이용하는 경우에는, 가속도센서, 메모리, 제어부 및 기타 회로구동을 포함하는 본체부와 복수의 카메라가 분리된 구조로 구성되기 때문에 카메라의 사이즈가 아주 작아 카메라를 차량의 전, 후, 좌, 우, 사용자가 원하는 위치에 장착할 수 있다. 그러나 본체부는 메모리에 저장된 데이터 및 구동회로의 보호를 위해 통상 눈에 잘 띄지 않는 차량 내부에 위치 시켜야 하는데, 본체부의 크기로 인해 차량 내부의 적절한 위치를 선정하는데 공간의 제약을 많이 받게 된다. 또한 영상데이터 및 운행정보를 다운로드 받기 위하여 본체부를 차량에서 탈착하거나 위치를 변경시켜 데이터를 다운로드 한 경우 본체부에 저장되어 있던 X, Y, Z축의 기존 가속도 센서 값의 위치를 처음과 같은 위치에 정확히 위치시키기가 어려울 뿐더러, 센서의 민감성 때문에 본체부의 설정 위치가 변경될 때마다 매번 각 축에 따른 가속도센서의 재보정(recalibration)이 요구되는 문제점이 있었다.In case of using the separate vehicle accident information recording device, since the main body including the acceleration sensor, the memory, the control unit, and other circuit driving and the plurality of cameras are separated from each other, the size of the camera is very small. Afterwards, it can be mounted at a position desired by the user. However, in order to protect the data stored in the memory and the driving circuit, the main body should be located inside the vehicle, which is usually inconspicuous. Due to the size of the main body, there is a lot of space limitation in selecting an appropriate position inside the vehicle. In addition, when the main body is removed from the vehicle or the position is changed to download the image data and driving information, the position of the existing acceleration sensor values of the X, Y, and Z axes stored in the main body is exactly the same as the first position. In addition to the difficulty of positioning, whenever the set position of the main body portion is changed due to the sensitivity of the sensor, there is a problem that recalibration of the acceleration sensor along each axis is required.

본 발명은 상기한 종래 기술에 따른 차량 사고 정보 기록장치 및 보정방법의 문제점을 해결하기 위한 것이다. 즉, 본 발명의 목적은 차량의 전방을 향하도록 설치된 카메라에 가속도센서를 장착하여, 초기 설치 이후 가속도센서의 보정을 줄이고, 별도로 센서보정버튼을 구비하여 사용자가 용이하게 가속도센서를 보정할 수 있도록 하는 센서 보정이 용이한 사고 정보 기록장치 및 보정 방법을 제공한다.The present invention is to solve the problems of the vehicle accident information recording apparatus and the correction method according to the prior art. That is, an object of the present invention is to mount the acceleration sensor to the camera installed to face the front of the vehicle, reduce the correction of the acceleration sensor after the initial installation, and equipped with a separate sensor correction button so that the user can easily correct the acceleration sensor Provides an accident information recording device and a correction method that is easy to calibrate the sensor.

상기의 목적을 달성하기 위한 기술적 사상으로서의 본 발명은, 영상 촬영수단인 카메라와, 상기 카메라에 장착되어 차량의 충격량을 감지하는 가속도센서와, 상기 가속도센서의 3차원 좌표축 보정을 지시하는 센서보정버튼을 포함하는 카메라부와; 상기 카메라부에서 전송되는 데이터를 임시 저장하는 휘발성 메모리와, 사고 발생 시 사고 관련 정보를 저장해 두는 비휘발성 메모리와, 상기 비휘발성 메모리의 데이터를 외부로 전송하기 위한 입출력단자와, 상기 각 장치들을 제어하는 제어부를 포함하여 이루어지고, 상기 카메라부로부터 분리되어 독립적으로 구비되는 본체부 및; 상기 카메라부와 상기 본체부 간의 유·무선 통신을 지원하는 유·무선 인터페이스;를 포함하여 구성되며, 상기 카메라부에는, 사용자에 의한 상기 센서보정버튼의 클릭을 감지하여, 상기 가속도센서를 통해 검출된 3차원 좌표축 가속도값과, 기 설정된 기준좌표축에 대한 가속도 값을 비교하여 보정량을 설정하고, 상기 설정된 보정량을 적용한 가속도 값을 상기 유·무선 인터페이스를 통해 상기 본체부의 제어부로 전송하는 보정회로부가 더 포함되는 것을 특징으로 하는 센서 보정이 용이한 차량 사고 정보 기록 장치를 제공한다.The present invention as a technical concept for achieving the above object, the camera, which is an image photographing means, an acceleration sensor mounted on the camera to sense the impact amount of the vehicle, and a sensor correction button for instructing the three-dimensional coordinate axis correction of the acceleration sensor A camera unit including a; A volatile memory for temporarily storing data transmitted from the camera unit, a nonvolatile memory for storing accident related information when an accident occurs, an input / output terminal for transmitting data of the nonvolatile memory to the outside, and controlling the respective devices A main body part including a control part and separated from the camera part and independently provided; And a wired / wireless interface for supporting wired / wireless communication between the camera unit and the main body unit. The camera unit detects a click of the sensor correction button by a user and is detected by the acceleration sensor. A correction circuit unit configured to compare the three-dimensional coordinate axis acceleration value and the acceleration value of the preset reference coordinate axis, set a correction amount, and transmit the acceleration value to which the set correction amount is applied to the controller of the main body unit through the wired / wireless interface. Provided is a vehicle accident information recording apparatus that is easy to calibrate the sensor, characterized in that included.

또한, 사용자가 센서보정버튼을 클릭하면, 가속도센서가 현재 3차원 좌표축에 따른 가속도 값을 검출하는 단계와; 상기 검출된 가속도 값을 기 저장된 기준 좌표축에 따른 가속도 값과 비교하는 단계와; 상기 비교 결과 검출된 가속도 값이 기준 좌표축에 따른 가속도 값과 다를 경우, 상기 검출된 가속도 값을 각 축의 가 속도에 대한 보정량으로 설정하는 단계;로 이루어진 센서 보정이 용이한 차량 사고 정보 기록장치의 가속도센서 보정 방법을 제공한다.In addition, when the user clicks the sensor calibration button, the acceleration sensor detects the acceleration value according to the current three-dimensional coordinate axis; Comparing the detected acceleration value with an acceleration value along a pre-stored reference coordinate axis; If the detected acceleration value is different from the acceleration value along the reference coordinate axis, setting the detected acceleration value as a correction amount for acceleration of each axis; It provides a sensor calibration method.

이하, 본 발명의 바람직한 실시예를 첨부 도면에 의거하여 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 제 1실시예에 따른 센서 보정이 용이한 차량 사고 정보 기록장치의 구성을 나타내는 블록도이다.1 is a block diagram showing the configuration of a vehicle accident information recording apparatus that is easy to calibrate a sensor according to a first embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 제 1실시예에 따른 차량 사고 정보 기록장치는 영상 촬영 수단인 카메라(110)와 상기 카메라(110)에 장착되어 차량의 가속도를 감지하는 가속도센서(120)로 구성되는 카메라부(100)와, 카메라부(100)에서 전송받은 영상 신호를 비롯한 입력 신호를 처리하여 운행 정보를 저장하는 본체부(200) 및 상기 카메라부(100)와 본체부(200) 간의 유·무선 통신을 지원하는 유·무선 인터페이스(300)로 구성된다. 또한, 상기 카메라부(100)에는 별도 또는 기존의 버튼을 이용한 센서보정버튼(130)이 구비되어, 사용자가 버튼의 클릭으로 손쉽게 가속도센서(120)의 보정을 수행한다.As shown in FIG. 1, the vehicle accident information recording apparatus according to the first embodiment of the present invention includes an acceleration sensor 120 mounted on the camera 110 and the camera 110 as an image capturing means to detect the acceleration of the vehicle. A main body 200 configured to store the driving information by processing an input signal including a video signal transmitted from the camera unit 100 and the camera unit 100, and the camera unit 100 and the main body 200. It consists of a wired / wireless interface 300 to support wired / wireless communication. In addition, the camera unit 100 is provided with a sensor correction button 130 using a separate or existing button, the user can easily correct the acceleration sensor 120 by clicking the button.

카메라부(100)는 영상 촬영 수단인 카메라(110)와, 내부에 구비되어 차량의 가속도를 감지하는 가속도센서(120)를 포함한다. 여기서 카메라(110)는 CMOS 카메라가 사용되는 것이 바람직하지만, CCD 영상 센서, IR 카메라 등이 사용될 수도 있 다. 가속도센서(120)는 카메라부(100) 내부에 고정되어 카메라(110)와 일체로 회동하며, 임의의 각도로 회동한 상태에서 3차원 좌표축(x, y, z) 방향 가속도를 검출하게 된다. 상기 가속도센서(120)는 3차원 공간의 모든 방향에 대하여 상기 가속도를 측정할 수 있는 반도체 소자를 채용하며, 압저항형, 압전형, 터널링형, 용량형 등 다양한 가속도센서가 사용 가능하다.The camera unit 100 includes a camera 110, which is an image capturing means, and an acceleration sensor 120 provided inside to sense acceleration of the vehicle. In this case, the camera 110 may be a CMOS camera, but a CCD image sensor, an IR camera, or the like may be used. The acceleration sensor 120 is fixed to the inside of the camera unit 100 to rotate integrally with the camera 110, to detect the acceleration in the three-dimensional coordinate axis (x, y, z) in a state rotated at an arbitrary angle. The acceleration sensor 120 employs a semiconductor device that can measure the acceleration in all directions of the three-dimensional space, it is possible to use a variety of acceleration sensors, such as piezoresistive type, piezoelectric type, tunneling type, capacitive type.

카메라부(100) 설치시 사용자는 카메라(110)의 촬영 방향이 차량 전방을 향하도록 차량의 전면 유리(windshield)에 부착하는데, 운전자의 시야를 방해하지 않도록 전면 유리의 상부 또는 하부에 위치하도록 구비한다. 또한, 카메라(110)는 차량의 전방 외에도 후방 또는 양측에 추가로 구비되어 각 방향의 외부 영상을 촬영할 수도 있다.When the camera unit 100 is installed, the user attaches to the windshield of the vehicle so that the photographing direction of the camera 110 faces the front of the vehicle. The user is positioned above or below the windshield so as not to obstruct the driver's view. do. In addition, the camera 110 may be additionally provided at the rear or both sides in addition to the front of the vehicle to capture an external image in each direction.

본체부(200)는 데이터를 임시 저장하는 휘발성 메모리(220)와, 사고 발생 시 사고 관련 정보를 저장해 두는 비휘발성 메모리(230)와, 상기 비휘발성 메모리(230)의 데이터를 외부로 전송하기 위한 입출력단자(240)와, 상기 각 장치들을 제어하는 제어부(210)를 포함하여 구성된다.The main body 200 includes a volatile memory 220 for temporarily storing data, a nonvolatile memory 230 for storing accident related information when an accident occurs, and data for transmitting the data of the nonvolatile memory 230 to the outside. And an input / output terminal 240 and a controller 210 for controlling the devices.

휘발성 메모리(220)는 제어부(210)가 전송하는 각종 데이터를 일정량 저장한다. 본 발명에 있어서 저장되는 데이터의 종류는 예컨대, 영상데이터, 가속도, 사고 발생 추정 시각(충격 감지 시간) 및 매 데이터 수집 시간 또는 저장 시간과 같은 시각 정보 등이다. The volatile memory 220 stores a predetermined amount of various data transmitted from the controller 210. In the present invention, the types of data to be stored are, for example, image data, acceleration, estimated time of accident occurrence (shock detection time), and visual information such as data collection time or storage time.

비휘발성 메모리(230)는 사고발생 시에 제어부(210)의 지시에 따라 휘발성 메모리(220)에 저장되어 있는 데이터를 모두 독출하여 영구적으로 저장함으로써 향 후 사고 원인을 분석하기 위한 자료를 제공해준다.The nonvolatile memory 230 reads and permanently stores all data stored in the volatile memory 220 according to the instruction of the controller 210 at the time of an accident, thereby providing data for analyzing the cause of future accidents.

또한, 입출력단자(240)를 비휘발성 메모리(230)에 연결하여 구성함으로써, 사고 발생 후에 비휘발성 메모리(230)에 저장되어 있는 사고 전후의 운행 정보를 PC에서 재생하도록 할 수 있다. 즉, 입출력단자(240)와 PC를 USB 케이블로 연결하고, PC에 설치된 사고 정보 재생 프로그램을 가동하여 데이터 저장 수단에 저장되어 있는 사고 전후의 영상 정보 및 운행 정보를 재생함으로써, 사고 원인을 면밀하게 분석할 수 있다. 또한, 입출력단자를 통해 사고기록 데이터를 USB저장장치에 다운로드하여 PC에서 분석할 수도 있다.In addition, by connecting the input and output terminal 240 to the nonvolatile memory 230, it is possible to reproduce the driving information before and after the accident stored in the nonvolatile memory 230 after the accident on the PC. In other words, by connecting the input and output terminal 240 and the PC with a USB cable, and running the accident information playback program installed in the PC to reproduce the image information and driving information before and after the accident stored in the data storage means, the cause of the accident carefully Can be analyzed. In addition, the accident record data can be downloaded to a USB storage device through an input / output terminal and analyzed on a PC.

제어부(210)는 상기 각 장치들을 제어하며, 가속도센서(120)에서 출력된 가속도 값이 기준값 이상이 되는 경우 사고상황으로 판단하여, 휘발성 메모리(220)에 저장되어 있는 데이터를 모두 독출하여 비휘발성 메모리(230)에 영구적으로 저장한다. 여기서 제어부(210)는 2축 내지 1축 만의 가속도를 산출하여 차량의 전후 방향 또는 좌우 방향에 작용하는 가속도 값만으로 사고 발생을 감지할 수도 있다.The controller 210 controls the respective devices, and when the acceleration value output from the acceleration sensor 120 becomes equal to or greater than the reference value, the controller 210 determines the accident situation, reads all the data stored in the volatile memory 220, and then reads the nonvolatile data. Permanently stored in the memory 230. In this case, the controller 210 may calculate an acceleration of only two axes to one axis to detect an accident occurrence only by the acceleration value acting on the front-rear direction or the left-right direction of the vehicle.

유·무선 인터페이스(300)는 카메라부(100)와 본체부(200) 간의 유·무선 통신을 제공하며, 무선의 경우 블루투스(Bluetooth)나 무선 랜, RF 방식의 근거리 무선통신 채널을 통하여 상호 통신한다.The wired / wireless interface 300 provides wired / wireless communication between the camera unit 100 and the main body 200 and, in the case of wireless, communicates with each other through a short range wireless communication channel such as Bluetooth, WLAN, or RF. do.

도 2는 본 발명의 제 1실시예에 따른 센서 보정이 용이한 차량 사고 정보 기록장치를 장착한 차량을 나타낸 도면이다.FIG. 2 is a view showing a vehicle equipped with a vehicle accident information recording apparatus that is easy to calibrate a sensor according to a first embodiment of the present invention.

도시된 바와 같이 차량의 영상데이터 및 운행정보를 획득하는 카메라부(100) 는 카메라의 촬영 방향이 차량 전방을 향하도록 차량의 전면 유리에 부착되고, 유·무선 인터페이스를 통해 상기 카메라부(100)와 유·무선으로 연결되는 본체부(200)는 차량의 뒷면에 장착된다. 그러나 본체부(200)의 내부에는 메모리, 제어부 및 구동회로만 있어 기존의 분리형 차량 사고 정보 기록장치에 비해 본체부(200) 사이즈가 작아지며, 가속도센서가 본체부(200) 내에 존재하지 않기 때문에 차량 내의 어느 장소에 위치하여도 무방하게 되므로, 차량의 가장 안전한 곳에 설치하여 사고 발생시에도 데이터를 안전하게 보관 할 수 있게 된다.As shown, the camera unit 100 for acquiring the image data and the driving information of the vehicle is attached to the windshield of the vehicle so that the photographing direction of the camera faces the vehicle front, and the camera unit 100 through a wired / wireless interface. The main body 200 is connected to the wired and wireless and is mounted on the rear of the vehicle. However, since the main body 200 has only a memory, a control unit, and a driving circuit, the size of the main body 200 is smaller than that of the conventional detachable vehicle accident information recording apparatus, and since the acceleration sensor does not exist in the main body 200, Since it can be located anywhere in the vehicle, it can be installed in the safest place of the vehicle to keep the data safe even in the event of an accident.

또한, 차량의 전방에 부착되는 카메라부(100)는 본체부와 분리되어 있어, 영상데이터 및 운행정보를 다운로드 받기위해 본체부를 탈착시키더라도 카메라부 내부에 고정된 가속도센서는 설치된 위치가 변경되지 않아 초기설치시 외에는 가속도센서의 보정이 요구되지 않는다.In addition, the camera unit 100 attached to the front of the vehicle is separated from the main body, and even if the main body is removed to download the image data and driving information, the acceleration sensor fixed inside the camera does not change the installed position Acceleration sensor calibration is not required except at initial installation.

더불어 본 발명의 카메라부(100)에는 별도의 센서보정버튼이 구비되어 있어, 사용자가 카메라부(100) 내의 가속도센서의 위치를 임의로 변경시키거나, 차량의 충돌사고에 의한 충격으로 인해 가속도센서가 변경되었을 경우, 버튼의 클릭으로 손쉽게 가속도센서의 보정을 수행한다. In addition, the camera unit 100 of the present invention is provided with a separate sensor correction button, the user arbitrarily changes the position of the acceleration sensor in the camera unit 100, or the acceleration sensor due to the impact of the vehicle crash accident When changed, the accelerometer can be easily calibrated with the click of a button.

도 3은 본 발명의 제 2실시예에 따른 센서 보정이 용이한 차량 사고 정보 기록장치의 구성을 나타내는 블록도이다.3 is a block diagram showing the configuration of a vehicle accident information recording apparatus that is easy to calibrate a sensor according to a second embodiment of the present invention.

도 3에 도시된 바와 같이, 본 발명의 제 2실시예에 따른 차량 사고 정보 기록장치는 카메라부(100)에 보정회로부(140)를 추가로 구비하여, 카메라부(100) 내 에서 센서보정을 독립적으로 수행할 수 있다. 상기 보정회로부(140)는 사용자에 의한 센서보정버튼(130)의 클릭을 감지하여, 가속도센서(120)를 통해 검출된 3차원 좌표축에 대한 가속도 값과, 기 설정된 기준좌표축에 대한 가속도 값을 비교하여 가속도센서(120)의 보정필요유무를 판단하고, 보정필요시 상기 검출된 가속도 값을 보정량으로 설정하여, 이후 가속도센서(120)로부터 검출된 가속도 값에 보정량을 적용하여 제어부(210)로 전송한다.As shown in FIG. 3, the vehicle accident information recording apparatus according to the second embodiment of the present invention further includes a correction circuit unit 140 in the camera unit 100 to perform sensor correction in the camera unit 100. It can be done independently. The correction circuit unit 140 detects a click of the sensor correction button 130 by the user, and compares an acceleration value with respect to the three-dimensional coordinate axis detected by the acceleration sensor 120 and an acceleration value with respect to the preset reference coordinate axis. Determine whether the acceleration sensor 120 needs to be corrected, and if correction is required, set the detected acceleration value as a correction amount, and then apply the correction amount to the acceleration value detected from the acceleration sensor 120 to transmit it to the controller 210. do.

이와 같이, 센서 보정 기술을 카메라부 자체 내에 구비함으로써, 본체부의 영향을 받지 않는 정확한 센서보정이 가능하며, 장치고장에 따른 수리가 용이해지고, 본체부의 업그레이드마다 카메라부의 센서보정을 수행할 필요가 없어져 장치의 확장과 변경이 용이해진다.In this way, by providing the sensor correction technology in the camera unit itself, accurate sensor correction is possible without being affected by the main body part, and the repair is easy due to the failure of the device, and there is no need to perform the sensor correction for each upgrade of the main body part. It is easy to expand and change the device.

이하, 전술한 제 1 및 제 2 실시예에 따른 센서 보정이 용이한 차량 사고 정보 기록장치에서 가속도 센서를 보정하는 방법에 대하여 상세히 설명하기로 한다. 도 4는 본 발명의 일실시예에 따른 가속도센서의 보정과정을 나타내는 흐름도이다.Hereinafter, a method of calibrating the acceleration sensor in the vehicle accident information recording apparatus which is easy to calibrate the sensor according to the first and second embodiments will be described in detail. 4 is a flowchart illustrating a calibration process of an acceleration sensor according to an exemplary embodiment of the present invention.

먼저, 사용자가 차량이 정지된 정상 상태에서 카메라부에 별도로 구비된 센서보정버튼을 클릭하면(S312), 가속도센서는 현재 3차원 좌표축에 따른 정상상태에서의 가속도 값을 검출한다(S314). First, when the user clicks a sensor correction button separately provided in the camera unit in the normal state in which the vehicle is stopped (S312), the acceleration sensor detects an acceleration value in the normal state according to the current 3D coordinate axis (S314).

이어서, 검출된 가속도 값과 기 설정된 기준 좌표축에 따른 가속도 값을 비교하여 가속도센서의 3차원 좌표축이 변경되었는지 확인한다(S316). 즉, 검출된 가속도 값과 기준 좌표축에 따른 가속도 값이 일치할 경우, 가속도센서의 3차원 좌표 축이 변경되지 않은 것으로 판단하여 보정을 수행하지 않는다.Subsequently, it is checked whether the 3D coordinate axis of the acceleration sensor is changed by comparing the detected acceleration value with the acceleration value according to the preset reference coordinate axis (S316). That is, when the detected acceleration value and the acceleration value according to the reference coordinate axis coincide, it is determined that the three-dimensional coordinate axis of the acceleration sensor is not changed and the correction is not performed.

그러나 검출된 가속도 값과 기 저장된 기준 좌표축에 따른 가속도 값이 변경되었을 경우, 가속도센서의 3차원 좌표축이 변경된 것으로 판단하여, 상기 검출된 가속도 값으로부터 각 축의 가속도에 대한 보정량을 설정함으로써(S318) 좌표축 과정을 완료한다. 이후 제어부(또는 보정회로부)는 가속도센서로부터 검출되는 가속도에 상기 설정된 보정량을 적용하여, 3차원 좌표축 방향 가속도를 산출하게 된다(S320). However, when the detected acceleration value and the acceleration value according to the pre-stored reference coordinate axis are changed, it is determined that the three-dimensional coordinate axis of the acceleration sensor is changed, and by setting the correction amount for the acceleration of each axis from the detected acceleration value (S318) Complete the process. Thereafter, the controller (or the correction circuit unit) calculates the 3D coordinate axis direction acceleration by applying the set correction amount to the acceleration detected by the acceleration sensor (S320).

예를 들어, 가속도센서의 기준 좌표축에 따른 가속도 값이 (0, 0, 0)으로 설정되어 있을 때, 사용자가 카메라부의 센서보정버튼을 클릭하면, 가속도센서는 현재 3차원 좌표축에 따른 가속도 값을 검출하게 된다. 상기 검출된 가속도 값이 (2, 0, 1)이라고 한다면, 기 저장된 기준 좌표축에 따른 가속도 값인 (0, 0, 0)과 비교하여 X축과 Z축이 변경되었으므로, 현재 3차원 좌표축에 따른 가속도 값인 (2, 0, 1)을 각 축의 가속도에 대한 보정량으로 설정한다. 이후, 3차원 좌표축 방향 가속도가 (5, 1, 3)으로 검출되었을 경우, 제어부는 설정된 보정량인 (2, 0, 1)을 적용하여, (3, 1, 2)이라는 3차원 좌표축 방향 가속도를 정확하게 산출하게 된다.For example, when the acceleration value according to the reference coordinate axis of the acceleration sensor is set to (0, 0, 0), when the user clicks the sensor calibration button of the camera unit, the acceleration sensor displays the acceleration value according to the current 3D coordinate axis. Will be detected. If the detected acceleration value is (2, 0, 1), the X and Z axes are changed compared to the acceleration values (0, 0, 0) according to the previously stored reference coordinate axis, and thus the acceleration according to the current 3D coordinate axis. Set the value (2, 0, 1) as the compensation amount for the acceleration of each axis. Subsequently, when the 3D coordinate axis direction acceleration is detected as (5, 1, 3), the controller applies the set correction amount (2, 0, 1) to apply the 3D coordinate axis direction acceleration called (3, 1, 2). Will be calculated correctly.

따라서 가속도센서가 사용자 또는 외부의 영향으로 인해 좌표축이 변경되어도, 별도로 구비된 센서보정버튼을 클릭함으로써 가속도센서의 보정량을 새로 설정하여 가속도센서로부터 검출되는 각 축방향 가속도 값에 새로 설정된 보정량을 적용하여 정확한 가속도를 산출하기 때문에 사용자가 직접 가속도센서의 현재 좌표축을 기준좌표축과 일치시키기 위해 카메라부의 위치를 변경할 필요가 없어진다.Therefore, even if the accelerometer changes its coordinate axis due to user or external influences, the compensation amount of the acceleration sensor is newly set by clicking the sensor correction button provided separately, and the newly set correction amount is applied to each axial acceleration value detected from the acceleration sensor. Since accurate acceleration is calculated, the user does not need to change the position of the camera unit to directly match the current coordinate axis of the acceleration sensor with the reference coordinate axis.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백하다 할 것이다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and various substitutions, modifications, and changes are possible in the art without departing from the technical spirit of the present invention. It will be clear to those of ordinary knowledge.

이상에서와 같이, 본 발명에 따른 사고 정보 기록 장치는, 차량의 전방을 향하도록 설치된 카메라에 가속도센서를 장착하여, 초기 설치 이후 가속도센서의 보정을 줄이고, 별도로 센서보정버튼을 구비하여 사용자가 용이하게 가속도센서를 보정할 수 있도록 한다. 또한, 카메라부내에서 독립적으로 센서보정을 수행할 수 있어, 본체부의 영향을 받지 않는 정확한 센서보정이 가능하며, 확장과 변경이 용이한 이점을 극대화 할 수 있게 된다.As described above, the accident information recording apparatus according to the present invention, by mounting the acceleration sensor to the camera installed to face the front of the vehicle, reduce the correction of the acceleration sensor after the initial installation, and is equipped with a separate sensor correction button to facilitate the user The accelerometer can be calibrated. In addition, it is possible to perform the sensor correction independently in the camera unit, it is possible to accurately correct the sensor is not affected by the body portion, it is possible to maximize the advantages that can be easily expanded and changed.

더불어 사고 발생 시점을 보다 정확하게 감지하여 가벼운 접촉 사고나 보행자 추돌 사고 등을 포함하는 다양한 사고 상황에 대처할 수 있는 사고 정보를 제공할 수 있는 효과도 있다.In addition, it is possible to more accurately detect when an accident occurs, and provide accident information that can cope with various accident situations including light contact accidents or pedestrian collisions.

Claims (4)

삭제delete 삭제delete 차량 사고 정보 기록장치에 있어서,In the vehicle accident information recording apparatus, 영상 촬영수단인 카메라와, 상기 카메라에 장착되어 차량의 충격량을 감지하는 가속도센서와, 상기 가속도센서의 3차원 좌표축 보정을 지시하는 센서보정버튼을 포함하는 카메라부와;A camera unit including a camera as an image photographing means, an acceleration sensor mounted on the camera to sense an impact amount of the vehicle, and a sensor correction button for instructing the three-dimensional coordinate axis correction of the acceleration sensor; 상기 카메라부에서 전송되는 데이터를 임시 저장하는 휘발성 메모리와, 사고 발생 시 사고 관련 정보를 저장해 두는 비휘발성 메모리와, 상기 비휘발성 메모리의 데이터를 외부로 전송하기 위한 입출력단자와, 상기 각 장치들을 제어하는 제어부를 포함하여 이루어지고, 상기 카메라부로부터 분리되어 독립적으로 구비되는 본체부 및;A volatile memory for temporarily storing data transmitted from the camera unit, a nonvolatile memory for storing accident related information when an accident occurs, an input / output terminal for transmitting data of the nonvolatile memory to the outside, and controlling the respective devices A main body part including a control part and separated from the camera part and independently provided; 상기 카메라부와 상기 본체부 간의 유·무선 통신을 지원하는 유·무선 인터페이스;를 포함하여 구성되며,And a wired / wireless interface for supporting wired / wireless communication between the camera unit and the main body unit. 상기 카메라부에는,In the camera unit, 사용자에 의한 상기 센서보정버튼의 클릭을 감지하여, 상기 가속도센서를 통해 검출된 3차원 좌표축 가속도값과, 기 설정된 기준좌표축에 대한 가속도 값을 비교하여 보정량을 설정하고, 상기 설정된 보정량을 적용한 가속도 값을 상기 유·무선 인터페이스를 통해 상기 본체부의 제어부로 전송하는 보정회로부가 더 포함되는 것을 특징으로 하는 센서 보정이 용이한 차량 사고 정보 기록 장치.Detects a click of the sensor correction button by a user, sets a correction amount by comparing an acceleration value of a preset reference coordinate axis with a 3D coordinate axis acceleration value detected by the acceleration sensor, and applies an acceleration value to which the set correction amount is applied. And a correction circuit unit for transmitting the control unit to the control unit of the main body unit through the wired / wireless interface. 가속도센서와 센서보정버튼이 구비된 카메라부와, 본체부 및 유무선 인터페이스로 구성된 차량 사고 정보 기록장치의 센서 보정 방법에 있어서,In the sensor correction method of a vehicle accident information recording device comprising an camera unit having an acceleration sensor and a sensor correction button, a main body and a wired / wireless interface, 사용자가 센서보정버튼을 클릭하면, 가속도센서가 현재 3차원 좌표축에 따른 가속도 값을 검출하는 단계와;When the user clicks the sensor calibration button, detecting an acceleration value according to the current three-dimensional coordinate axis by the acceleration sensor; 상기 검출된 가속도 값을 기 저장된 기준 좌표축에 따른 가속도 값과 비교하는 단계와;Comparing the detected acceleration value with an acceleration value along a pre-stored reference coordinate axis; 상기 비교 결과 검출된 가속도 값이 기준 좌표축에 따른 가속도 값과 다를 경우, 상기 검출된 가속도 값을 각 축의 가속도에 대한 보정량으로 설정하는 단계;Setting the detected acceleration value as a correction amount for the acceleration of each axis when the detected acceleration value is different from the acceleration value along the reference coordinate axis; 로 이루어진 센서 보정이 용이한 차량 사고 정보 기록장치의 가속도센서 보정 방법.Acceleration sensor calibration method of the vehicle accident information recording device easy sensor correction consisting of.
KR1020070060860A 2007-06-21 2007-06-21 Incident information recording device and correction method for easy sensor calibration KR100844909B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070060860A KR100844909B1 (en) 2007-06-21 2007-06-21 Incident information recording device and correction method for easy sensor calibration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070060860A KR100844909B1 (en) 2007-06-21 2007-06-21 Incident information recording device and correction method for easy sensor calibration

Publications (1)

Publication Number Publication Date
KR100844909B1 true KR100844909B1 (en) 2008-07-09

Family

ID=39824097

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070060860A KR100844909B1 (en) 2007-06-21 2007-06-21 Incident information recording device and correction method for easy sensor calibration

Country Status (1)

Country Link
KR (1) KR100844909B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2465970A (en) * 2008-12-02 2010-06-09 Lawrence Turner In-vehicle camera for recording traffic accidents
KR101088797B1 (en) 2010-05-07 2011-12-01 주식회사 마인드웨어코퍼레이션즈 Mobile phone with built-in black box application to prevent shock malfunction by learning and its method
KR101544421B1 (en) 2014-05-23 2015-08-17 (주) 큐알온텍 METHOD AND APPARATUS FOR CONTROLLING BLACKBOX USING G sensor
KR101729306B1 (en) * 2014-12-05 2017-04-26 주식회사 에이티엠 Blind spot detecting system using blackbox
WO2021020893A1 (en) * 2019-07-30 2021-02-04 삼성전자 주식회사 Electronic device for performing correction for stylus, and operation method therefor

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000058154A (en) * 1999-02-26 2000-09-25 오하시 다마키 Image storage actuator in image recording system mounted in a vehicle
JP2001180408A (en) * 1999-12-24 2001-07-03 Hyundai Motor Co Ltd Sensor error minimizing method for vehicle accident recording device
KR20030014772A (en) * 2001-08-13 2003-02-20 지규인 Car accident recording device using global positioning system and micro electro mechanical system and accident moment reproducing method
JP2006290050A (en) * 2005-04-06 2006-10-26 Fuji Heavy Ind Ltd Vehicle collision object judgment device
JP2006321423A (en) * 2005-05-20 2006-11-30 Yazaki Corp Mounting state detection device, drive recorder and drive recorder analysis unit
KR20070028863A (en) * 2005-09-08 2007-03-13 주식회사 피엘케이 테크놀로지 Vehicle accident information recorder

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000058154A (en) * 1999-02-26 2000-09-25 오하시 다마키 Image storage actuator in image recording system mounted in a vehicle
JP2001180408A (en) * 1999-12-24 2001-07-03 Hyundai Motor Co Ltd Sensor error minimizing method for vehicle accident recording device
KR20030014772A (en) * 2001-08-13 2003-02-20 지규인 Car accident recording device using global positioning system and micro electro mechanical system and accident moment reproducing method
JP2006290050A (en) * 2005-04-06 2006-10-26 Fuji Heavy Ind Ltd Vehicle collision object judgment device
JP2006321423A (en) * 2005-05-20 2006-11-30 Yazaki Corp Mounting state detection device, drive recorder and drive recorder analysis unit
KR20070028863A (en) * 2005-09-08 2007-03-13 주식회사 피엘케이 테크놀로지 Vehicle accident information recorder

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2465970A (en) * 2008-12-02 2010-06-09 Lawrence Turner In-vehicle camera for recording traffic accidents
KR101088797B1 (en) 2010-05-07 2011-12-01 주식회사 마인드웨어코퍼레이션즈 Mobile phone with built-in black box application to prevent shock malfunction by learning and its method
KR101544421B1 (en) 2014-05-23 2015-08-17 (주) 큐알온텍 METHOD AND APPARATUS FOR CONTROLLING BLACKBOX USING G sensor
KR101729306B1 (en) * 2014-12-05 2017-04-26 주식회사 에이티엠 Blind spot detecting system using blackbox
WO2021020893A1 (en) * 2019-07-30 2021-02-04 삼성전자 주식회사 Electronic device for performing correction for stylus, and operation method therefor
US12001619B2 (en) 2019-07-30 2024-06-04 Samsung Electronics Co., Ltd. Electronic device for performing correction for stylus, and operation method therefor

Similar Documents

Publication Publication Date Title
EP3114430B1 (en) Calibration method, calibration device, and computer program product
JP4861034B2 (en) Car camera calibration system
JP7096053B2 (en) Methods and equipment for calibrating the vehicle camera of the vehicle
KR100844909B1 (en) Incident information recording device and correction method for easy sensor calibration
WO2016056197A1 (en) In-vehicle camera calibration device, image generation device, in-vehicle camera calibration method, and image generation method
CN108111828B (en) Projection equipment correction method and device and projection equipment
JP6520080B2 (en) Stereo camera calibration method, parallax calculation device, stereo camera and vehicle
CN101674414A (en) Image pickup apparatus
KR102452564B1 (en) Apparatus and method for estimating optical image stabilization motion
KR102194711B1 (en) Optical image stabilizer for camera module and gain calbration method thereof
US20080159594A1 (en) Bird view visual system with fisheye distortion calibration and method thereof
US10220783B2 (en) Vehicle-mounted stereo camera device and method for correcting the same
US11120527B2 (en) Vehicular camera and camera system
US20140016200A1 (en) Image stabilizer and image-shake correcting method
JP2014174067A (en) Calibration device of on-vehicle camera
CN118159892A (en) Method and device for determining the installation attitude of a vehicle-mounted inertial sensor device in a motor vehicle
JP2009212734A (en) Automatic calibration monocular stereo vision device
KR102121287B1 (en) Camera system and controlling method of Camera system
KR20130061876A (en) A camera module for automatically adjusting brightness
JP6923712B2 (en) Correction device, correction method and program for correction device
US10313658B2 (en) Vehicle-mounted stereo camera device and method for correcting the same
KR20150081231A (en) Apparatus and method for correcting image
EP3308535B1 (en) Motion capture system and method
JP6571571B2 (en) Imaging apparatus, in-vehicle camera, and image processing method
KR101402082B1 (en) Tolerance Compensating System and Method using Pose Sensor

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20070621

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20080219

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20080526

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20080702

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20080703

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20110704

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20120703

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20130701

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20130701

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20140701

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20140701

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20150701

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20160701

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20170613

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20170613

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20180612

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20180612

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20200615

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20220623

Start annual number: 15

End annual number: 15

PR1001 Payment of annual fee

Payment date: 20240702

Start annual number: 17

End annual number: 17