KR101731050B1 - Automatic incident detection apparatus using composite sensor of acoustic sensor, radar sensor and image sensor, and method for the same - Google Patents
Automatic incident detection apparatus using composite sensor of acoustic sensor, radar sensor and image sensor, and method for the same Download PDFInfo
- Publication number
- KR101731050B1 KR101731050B1 KR1020160148640A KR20160148640A KR101731050B1 KR 101731050 B1 KR101731050 B1 KR 101731050B1 KR 1020160148640 A KR1020160148640 A KR 1020160148640A KR 20160148640 A KR20160148640 A KR 20160148640A KR 101731050 B1 KR101731050 B1 KR 101731050B1
- Authority
- KR
- South Korea
- Prior art keywords
- sensor
- image sensor
- acoustic
- unexpected situation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 75
- 239000002131 composite material Substances 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims description 42
- 206010039203 Road traffic accident Diseases 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims description 65
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000013480 data collection Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000013500 data storage Methods 0.000 claims description 5
- 230000009474 immediate action Effects 0.000 abstract 1
- 238000007499 fusion processing Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 7
- 238000007796 conventional method Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 239000000428 dust Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용하여 교통사고, 정지차량, 낙하물, 보행자, 저속차량 등의 도로상 또는 터널의 돌발상황을 자동으로 검지하는 기술로서, 음향센서, 레이더센서 및 영상센서를 결합한 복합센서와 돌발상황 검지 알고리즘에 따라 돌발상황을 보다 정확하게 검지할 수 있고, 또한, 도로상 또는 터널 내부의 돌발상황의 신속한 검지를 통해 2차 사고를 예방할 수 있고, 또한, 도로상 또는 터널 내부의 교통사고의 즉각적인 조치를 통한 인명 및 재산을 보호할 수 있는, 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치 및 그 방법이 제공된다.A radar sensor, and an image sensor to detect an unexpected situation on a road or a tunnel such as a traffic accident, a stopped vehicle, a falling object, a pedestrian, or a low speed vehicle. It is possible to more precisely detect an unexpected situation according to a composite sensor combined with an image sensor and an unexpected situation detection algorithm and also to prevent a secondary accident through rapid detection of an unexpected situation on a road or in a tunnel, A radar sensor and an image sensor, which are capable of protecting persons and property through immediate action of a traffic accident inside a tunnel, and an automatic sudden situation detecting device using the same.
Description
본 발명은 복합센서를 이용한 돌발상황 자동 검지장치에 관한 것으로, 보다 구체적으로, 음향센서(Acoustic Sensor), 레이더센서(Radar Sensor) 및 영상센서(Image Sensor)를 결합한 복합센서(Composite Sensor)와 돌발상황 검지 알고리즘에 따라 교통사고, 정지차량, 낙하물, 보행자, 저속차량 등의 도로상 또는 터널 내부의 돌발상황(Incident)을 자동으로 검지하는, 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치 및 그 방법에 관한 것이다.The present invention relates to a device for automatically detecting an unexpected situation using a composite sensor, and more particularly, to a device for detecting an unexpected situation using a composite sensor, a composite sensor combining an acoustic sensor, a radar sensor and an image sensor, A composite sensor that combines an acoustic sensor, a radar sensor, and an image sensor that automatically detects incidents on roads or tunnels such as traffic accidents, stopped vehicles, falling objects, pedestrians, and low speed vehicles according to the situation detection algorithm And more particularly, to an apparatus and method for automatically detecting an unexpected situation.
최근 교통사고, 정지차량, 낙하물, 보행자, 저속차량 등의 도로상 또는 터널 내부의 돌발상황은 연쇄추돌 또는 2차 사고를 발생시킴으로써 자칫 대형 재난으로 이어질 가능성이 크므로, 돌발상황 발생시 이를 신속히 검지하여 도로전광표지, 노변방송, 차량-인프라간 통신(V2I) 등을 통해 후방차량에게 알려주어야 한다.Recently, an unexpected situation such as a traffic accident, a stopped vehicle, a falling object, a pedestrian, a low speed vehicle or the like on a road or inside a tunnel is likely to lead to a major disaster by causing a collision or a secondary accident. Therefore, Roadside lights, roadside broadcasting, and vehicle-to-infrastructure communication (V2I).
종래의 기술에 따르면, 이러한 도로상 돌발상황을 검지하기 위해 영상센서, 레이더센서 또는 음향센서 중 어느 하나의 단독 센서를 활용하거나 또는 단지 두 개의 센서를 활용하고 있다.According to the conventional technique, either an independent sensor of an image sensor, a radar sensor, or an acoustic sensor is used to detect such a road accident, or only two sensors are utilized.
한편, 선행기술로서, 대한민국 공개특허번호 제2013-127822호에는 "도로상 물체 분류 및 위치검출을 위한 이종 센서 융합처리 장치 및 방법"이라는 명칭의 발명이 개시되어 있는데, 도 1 및 도 2를 참조하여 설명한다.On the other hand, as a prior art, Korean Patent Laid-Open Publication No. 2013-127822 discloses an invention entitled " Device and method for heterogeneous sensor fusion processing for object classification and position detection on the road " .
도 1은 종래의 기술에 따른 도로상 물체 분류 및 위치검출을 위한 이종센서 융합처리 장치를 설명하기 위한 도면이고, 도 2는 도 1에 도시된 도로상 물체 분류 및 위치검출을 위한 이종 센서 융합처리 장치의 구성도이다.FIG. 1 is a view for explaining a heterogeneous sensor fusion processing apparatus for object classification and position detection on the road according to the prior art. FIG. 2 is a view for explaining the heterogeneous sensor fusion processing for the object classification and position detection on the road shown in FIG. Fig.
도 1을 참조하면, 종래의 기술에 따른 이종 센서 융합처리 장치(10)는, 도로(40)상에 설치된 이종 센서들로부터 수신한 정보를 이용하여 도로(40) 위에 위치한 물체(50)를 분류한다. 이를 위해서, 상기 이종 센서 융합처리 장치(10)는 유무선 네트워크를 통해 도로(40)상에 설치된 하나 이상의 레이저스캐너(30) 및 하나 이상의 카메라(20), 예를 들면, CCTV 등으로부터 정보를 수신한다.1, a heterogeneous sensor
구체적으로, 이종 센서 융합처리 장치(10)는 도로(40)상에 설치된 이종 센서들로부터 수신한 정보를 이용하여 기분류한 물체(50)의 위치를 검출한다. 이때, 이종 센서는 카메라(20), 레이저스캐너(30) 등이 사용된다.Specifically, the heterogeneous sensor
또한, 상기 이종 센서 융합처리 장치(10)는 카메라(20) 센서로부터 수신한 카메라 영상의 영상처리를 통해 1차적 데이터 처리를 수행한다. 또한, 상기 이종 센서 융합처리 장치(10)는 레이저스캐너(30)로부터 수신한 스캐닝 정보에 대한 1차 데이터 처리를 수행한다. 이에 따라 상기 이종 센서 융합처리 장치(10)는 카메라 영상 및 스캐닝 정보의 1차 데이터 처리 결과와 기저장된 센서 정보를 이용하여 도로(40) 위에 위치한 물체(50)를 분류하고, 해당 물체(50)의 위치를 검출한다.In addition, the heterogeneous sensor
이에 따라, 종래의 기술에 따른 이종 센서 융합처리 장치(10)는 도로(40)상에 위치하는 물체(50)를 차량(51), 보행자(52), 장애물(53) 등으로 분류하고, 분류한 물체(50)의 정확한 위치를 검출할 수 있다. 또한, 상기 이종센서 융합처리 장치(10)는 융합처리의 결과, 즉, 물체 분류 및 물체 위치를 유무선 차량 인프라간 통신 등의 방법으로 진입하는 차량이나 도로 운영자에게 전송한다.Accordingly, the heterogeneous sensor
구체적으로, 도 2에 도시된 바와 같이, 종래의 기술에 따른 이종 센서 융합처리 장치(10)는 카메라 영상 처리부(11), 레이저스캐너 처리부(12), 융합처리부(13), 저장부(14), 전송부(15)를 포함하여 구성된다.2, the heterogeneous sensor
카메라 영상 처리부(11)는 도로상에 설치된 하나 이상의 카메라(20)들로부터 수집된 카메라 영상들을 근거로 카메라 영상 처리 결과를 생성한다.The camera
레이저스캐너 처리부(12)는 상기 도로상에 설치된 하나 이상의 레이저스캐너들(30)로부터 수집된 스캐닝 정보들을 근거로 스캐닝 정보 처리 결과를 생성한다.The laser
융합처리부(13)는 상기 생성된 카메라 영상 처리 결과 및 상기 스캐닝 정보 처리 결과를 융합 처리하여 상기 도로상에 위치한 물체의 유형 및 최종 위치를 생성한다. The
저장부(14)는 센서 유형, 설치 위치, 설치 높이, 설치 각도, 도로 번호 중에 적어도 하나를 포함하는 이종 센서 정보, 및 도로 번호, 시작 노드, 끝 노드, 차로 수중에서 적어도 하나를 포함하는 도로 정보를 저장한다.The
전송부(15)는 상기 융합처리부(13)에서 생성된 융합처리 결과를 자동차 또는 다른 정보 서버에게로 전송한다.The transmitting
종래의 기술에 따른 도로상 물체 분류 및 위치검출을 위한 이종 센서 융합처리 장치 및 방법에 따르면, 이종 센서들을 통해 수집된 정보를 융합 처리하여 도로상의 물체를 분류하고 물체의 위치를 검출함으로써, 도로상의 물체들에 대한 분류 정확도를 증가시키고 각 물체의 정확한 위치를 검출할 수 있다. 또한, 이종 센서들을 통해 수집된 정보를 융합 처리하여 도로상의 물체를 분류하고 물체의 위치를 검출함으로써, 도로 위의 물체에 대한 식별 및 위치검출의 신뢰도를 높일 수 있다. 또한, 이종 센서가 설치된 도로에서의 인프라와 차량간의 무선통신기반 정보교환을 통해 실시간 장애물 정보를 제공할 수 있다.According to the heterogeneous sensor fusion processing apparatus and method for object classification and position detection on the road according to the prior art, the information collected through the heterogeneous sensors is fused to classify the object on the road and detect the position of the object, It is possible to increase the classification accuracy of objects and to detect the exact position of each object. In addition, the information collected through the heterogeneous sensors is fused to classify the object on the road and detect the position of the object, thereby improving the reliability of identification and position detection on the object on the road. In addition, real-time obstacle information can be provided through wireless communication based information exchange between the infrastructure and the vehicle on the road where the heterogeneous sensor is installed.
하지만, 종래의 기술에 따른 도로상 물체 분류 및 위치검출을 위한 이종 센서 융합처리 장치 및 방법의 경우, 이종 센서로서 영상센서인 카메라(20) 및 레이저센서인 레이저스캐너(30)가 사용되는데, 예를 들면, 전방의 대형차량에 의해 후방 교통사고 현장이 가려짐(Occlusion) 상황이 발생하는 경우, 돌발상황의 검지가 불가능하다는 문제점이 있었다.However, in the heterogeneous sensor fusion processing apparatus and method for object classification and position detection on the road according to the related art, a
한편, 다른 선행기술로서, 대한민국 등록특허번호 제10-1339456호에는 "스캐너를 이용한 터널 내 유고 검지 시스템"이라는 명칭의 발명이 개시되어 있는데, 도 3 및 도 4를 참조하여 설명한다.As another prior art, Korean Patent Registration No. 10-1339456 discloses an invention entitled " a system for detecting the intrusion of a tunnel using a scanner ", which will be described with reference to Figs. 3 and 4. Fig.
도 3은 종래의 기술에 따른 스캐너를 이용한 터널 내 유고 검지 시스템의 개략적인 구성도이고, 도 4는 도 3에 도시된 스캐너를 이용한 터널 내 유고 검지 시스템이 터널에 구현된 것을 나타내는 정면도이다.FIG. 3 is a schematic block diagram of an in-tunnel fault detection system using a scanner according to a conventional technique, and FIG. 4 is a front view showing that a tunnel fault detection system using the scanner shown in FIG. 3 is implemented in a tunnel.
도 3 및 도 4를 참조하면, 종래의 기술에 따른 스캐너를 이용한 터널 내 유고 검지 시스템은 차량 촬영부(61), 3D 스캐너(62), 광조사부(63), 조사영역부(64), 제어부(65), 통신부(66) 및 관리서버(67)를 포함한다.3 and 4, the in-tunnel moving image detecting system using the scanner according to the related art includes a
차량 촬영부(61)는, 도 4에 도시된 바와 같이, 터널(70)의 내부 환경을 촬영하도록 터널(70)의 내부에 일정 구간마다 설치되어 각각의 차선에 의해 구획된 도로로 주행중인 차량들(80)을 촬영한다.As shown in Fig. 4, the
3D 스캐너(62)는 터널(70)의 내부 환경을 측정하기 위해 터널(70) 내면의 천정 및 양측면에 일정한 간격으로 다수개 설치되어 일정한 거리를 두고 천정 및 양측면에서 사각 영역 또는 라운드 영역으로 터널(70) 내부 바닥 및 도로의 바닥면을 조사하며, 바닥에 형성된 조사영역부(64)를 스캔하고, 조사 시간을 임의로 설정한다.A plurality of
광조사부(63)는 상기 3D 스캐너(62)에서 전방으로 레이저빔(63a)을 조사한다.The light irradiating
조사영역부(64)는, 도 4에 도시된 바와 같이, 터널(70) 내에 설치되는 3D 스캐너에서 도로의 바닥면을 스캔방식으로 레이저빔(63a)을 연속적으로 조사하여 상기 레이저빔(63a)에 의해 터널(70)의 바닥에 터널(70) 내 차량(80)이 주행 중 매트릭스 구조의 영역으로 설정되도록 형성된다.4, the
제어부(65)는 상기 레이저빔(63a)이 발사 후 반사빔이 돌아오는 시간을 계산하여 도로 바닥면의 물체를 감지한다.The
통신부(66)는 상기 차량 촬영부 및 3D 스캐너의 영상신호를 외부로 송신한다.The
관리서버(67)는 상기 통신부에서 송신되는 신호들을 수신받아 관리자에게 통보한다.The
종래의 기술에 따른 스캐너를 이용한 터널 내 유고 검지 시스템에 따르면, 터널 안에서 도로상의 낙하물 또는 차량 사고의 발생을 초기에 감지하여 사고의 발생시에 신속하게 대처할 수 있도록 한 터널에서의 사고감시 시스템으로 3D 스캐너 또는 2D 스캐너를 이용하여 터널 내부의 상황을 실시간으로 정확하게 감시하며, 터널 내부에 설치된 카메라가 자동으로 촬영된 영상을 분석하여 유고상황을 감지하고, 사고위치를 관리서버에 통보하여 낙하물 또는 사고차량에 의해 차량 충돌로 인한 대형사고의 발생을 사전에 방지할 수 있다. 또한, 터널 내부의 물건 추락 및 낙하물을 예측할 수 있으며, 낙하되는 물건에 따른 2차 사고를 미연에 방지할 수 있다.According to the in-tunnel fault detection system using a scanner according to the related art, an accident monitoring system in a tunnel that detects the occurrence of a fall or a vehicle accident on a road in the early stage and copes with an accident in the early stage, Or a 2D scanner to accurately monitor the inside of the tunnel in real time. The camera installed inside the tunnel automatically analyzes the captured image to detect the unauthorized situation, notifies the accident location to the management server, It is possible to prevent occurrence of a major accident caused by a vehicle collision in advance. In addition, it is possible to predict the fall and fall of an object in the tunnel and to prevent a secondary accident caused by a falling object.
하지만, 종래의 기술에 따른 종래의 기술에 따른 스캐너를 이용한 터널 내 유고 검지 시스템의 경우, 이종 센서로서 영상센서인 차량 촬영부(61) 및 레이저센서인 3D 스캐너(62)가 사용되는데, 예를 들면, 전방의 대형차량에 의해 후방 교통사고 현장이 가려짐(Occlusion) 상황이 발생하는 경우, 돌발상황의 검지가 불가능하다는 문제점이 있었다.However, in the case of the in-tunnel interference detection system using the scanner according to the conventional technique according to the related art, the
다시 말하면, 종래의 기술에 따른 영상센서 또는 레이더센서의 단독센서의 경우, 전방의 대형차량에 의해 후방 교통사고 현장이 가려짐(Occlusion) 상황이 발생하는 경우, 돌발상황의 검지가 불가능하고, 또한, 음향 센서의 경우, 특히, 터널 등에서 교통사고 음이 터널 벽면 등에 반사되어 공진(Resonance) 현상이 발생하거나 또는 교통사고 음이 센서 주변의 소음(대형차량 경적 등)으로 인해 희석되는 마스킹(Masking) 현상이 발생할 경우, 검지율이 저하되는 단점이 존재한다. In other words, in the case of a single sensor of an image sensor or a radar sensor according to the related art, when an occlusion situation of a rear traffic accident occurs due to a large vehicle ahead, it is impossible to detect an unexpected situation, In the case of an acoustic sensor, in particular, when a traffic accident sound is reflected in a tunnel wall or the like in a tunnel or the like, a resonance phenomenon occurs, or a traffic accident sound is diluted due to a noise (large vehicle horn, etc.) When the phenomenon occurs, there is a disadvantage that the detection rate is lowered.
종래의 기술에 따른 음향센서와 레이더센서의 경우, 돌발상황 검지능력은 우수하지만, 교통사고, 정지차량, 낙하물, 보행자, 저속차량 등의 돌발상황 유형에 대한 분류 정확도는 저하되는 단점이 있다. 반면에 영상센서의 경우, 조도, 기상, 먼지 등 환경적 영향으로 인해 검지 성능은 다른 센서(음향센서와 레이더센서)에 비해 낮지만, 영상센서의 특성상 돌발상황 유형 분류 정확도는 다른 센서(음향센서와 레이더센서)에 비해 우수하고, 증거영상 획득이 용이하다는 장점이 있다.In the case of the acoustic sensor and the radar sensor according to the related art, although the abrupt situation detection capability is excellent, the classification accuracy of the type of the sudden situation such as traffic accidents, stopped vehicles, falling objects, pedestrians, and low speed vehicles is deteriorated. On the other hand, in the case of the image sensor, the detection performance is lower than other sensors (acoustic sensors and radar sensors) due to environmental influences such as illumination, weather, dust, etc. However, And radar sensors), and it is easy to acquire evidence images.
다음의 표 1은 센서 유형별 돌발상황 검지에 대한 장점 및 단점을 비교한 것을 나타낸다.Table 1 below shows the comparison of the advantages and disadvantages of detection of an unexpected situation by sensor type.
종래의 기술에 따르면, 도로상 또는 터널 내부의 돌발상황을 검지하기 위해 영상센서, 레이더센서 또는 음향센서 중 어느 하나의 단독 센서를 활용하거나 또는 단지 두 개의 센서를 활용하고 있기 때문에, 도로상 또는 터널 내부의 돌발상황을 정확하게 검지할 수 없다는 문제점이 있다.According to the related art, since either an independent sensor of an image sensor, a radar sensor, or an acoustic sensor is utilized or only two sensors are used to detect an unexpected situation on the road or in the tunnel, There is a problem in that it is not possible to accurately detect an internal accident situation.
전술한 문제점을 해결하기 위한 본 발명이 이루고자 하는 기술적 과제는, 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용하여 교통사고, 정지차량, 낙하물, 보행자, 저속차량 등의 도로상 또는 터널의 돌발상황을 자동으로 검지하는 기술로서, 음향센서, 레이더센서 및 영상센서를 결합한 복합센서와 돌발상황 검지 알고리즘에 따라 돌발상황을 보다 정확하게 검지할 수 있는, 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치 및 그 방법을 제공하기 위한 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems and it is an object of the present invention to provide a vehicle control system and a control method thereof that can prevent a traffic accident, a stop vehicle, a falling object, a pedestrian, It is a combination of acoustic sensor, radar sensor and image sensor which can detect the unexpected situation more precisely according to the unexpected situation detection algorithm. And a method for automatically detecting an unexpected situation using a sensor.
본 발명이 이루고자 하는 다른 기술적 과제는, 도로상 또는 터널 내부의 돌발상황의 신속한 검지를 통해 2차 사고를 예방할 수 있고, 도로상 또는 터널 내부의 교통사고의 즉각적인 조치를 통한 인명 및 재산을 보호할 수 있는, 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치 및 그 방법을 제공하기 위한 것이다.Another technical problem to be solved by the present invention is to prevent a secondary accident through prompt detection of an unexpected situation on the road or in a tunnel and to protect persons and property through immediate measures of traffic accidents on roads or in tunnels The present invention is to provide an automatic sudden situation detection apparatus using a composite sensor that combines an acoustic sensor, a radar sensor, and an image sensor, and a method thereof.
전술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명에 따른 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치는, 도로상 또는 터널 내부의 교통사고, 정지차량, 낙하물, 보행자, 저속차량을 포함한 돌발상황을 자동으로 검지하는 장치에 있어서, 사고음 발생시 시계열적인 아날로그 음향 데이터를 주파수 기반의 디지털 데이터로 변환한 후 기설정된 음향패턴 매칭 방식에 따라 사고발생 여부를 검지하는 음향센서; 도로 또는 터널의 검지영역 내를 통행하는 객체가 존재할 경우, 상기 객체를 지속적으로 추적하여 객체 속도와 객체 위치를 측정하고, 상기 객체 속도에 따라 돌발상황 발생 여부를 검지하는 레이더센서; 상기 음향센서 및 상기 레이더센서를 통해 검지한 돌발상황의 유형을 분류하거나 증거 영상을 수집하도록 소정 검지영역을 촬영하여 영상센서 신호를 생성하는 영상센서; 및 돌발상황 검지 알고리즘에 따라 상기 음향센서, 상기 레이더센서 및 상기 영상센서로부터 수집된 데이터를 융합 분석하여 돌발상황 유형을 교통사고, 정지차량, 낙하물, 보행자 또는 저속차량으로 분류하고, 돌발상황 유형을 교통관제센터 또는 교통상황 표시기로 통보하는 제어기를 포함하되, 상기 음향센서, 상기 레이더센서 및 상기 영상센서가 결합하여 복합센서를 형성하고, 상기 복합센서는 도로상 지주 또는 터널 벽면에 설치되어 상기 소정 검지영역 내의 차량 또는 보행자인 객체에 대한 돌발상황을 검지하며, 상기 음향센서 및 레이더 센서는 돌발상황을 검지하는 역할을 수행하고, 상기 영상센서는 상기 검지된 돌발상황의 유형을 분류하고 증거 영상을 수집하는 역할을 담당하는 것을 특징으로한다.As a means for achieving the above-mentioned object, an automatic sudden condition detecting apparatus using a composite sensor including an acoustic sensor, a radar sensor, and an image sensor according to the present invention is used for detecting a traffic accident, a stopped vehicle, The present invention relates to an apparatus for automatically detecting an unexpected situation including a pedestrian, a low speed vehicle, and the like, which converts time series analog sound data into frequency-based digital data in the event of an accident sound and detects an accident occurrence according to a predetermined sound pattern matching method sensor; A radar sensor for continuously tracking the object to measure an object speed and an object position when an object passing through the detection area of a road or a tunnel exists, and detecting whether an unexpected situation occurs according to the object speed; An image sensor for classifying the type of an unexpected situation detected through the acoustic sensor and the radar sensor, or an image sensor signal for photographing a predetermined detection area to collect an evidence image; And the data collected from the acoustic sensor, the radar sensor, and the image sensor according to an unexpected situation detection algorithm to classify the unexpected situation type as a traffic accident, a stationary vehicle, a falling object, a pedestrian or a low speed vehicle, The radar sensor and the image sensor are combined to form a composite sensor, and the composite sensor is installed on a roadside support or a wall surface of a tunnel, The acoustic sensor and the radar sensor detect an unexpected situation, and the image sensor classifies the type of the detected unexpected situation and outputs the evidence image And collecting the information.
삭제delete
삭제delete
여기서, 상기 제어기는, 상기 음향센서로부터 음향센서 신호를 수신하여 처리하고, 상기 레이더센서로부터 레이더센서 신호를 수신하여 처리하며, 상기 영상센서로부터 영상센서 신호를 수신하여 처리하는 데이터 수집 및 처리부; 상기 데이터 수집 및 처리부에서 처리된 음향센서 신호, 레이더센서 신호 및 영상센서 신호를 수신하여, 돌발상황 검지 알고리즘에 따라 돌발상황을 융합 분석하는 돌발상황 융합 분석부; 상기 데이터 수집 및 처리부의 수집 및 처리 데이터, 음향패턴과 영상패턴, 및 상기 돌발상황 융합 분석부의 분석 데이터를 저장하는 데이터 저장부; 및 상기 분류된 교통사고, 정지차량, 낙하물, 보행자, 저속차량의 돌발상황 유형에 따라 교통관제센터 또는 교통상황 표시기로 전송하는 데이터 송신 모듈을 포함할 수 있다.Here, the controller may include: a data collecting and processing unit for receiving and processing an acoustic sensor signal from the acoustic sensor, receiving and processing a radar sensor signal from the radar sensor, and receiving and processing an image sensor signal from the image sensor; An abrupt condition convergence analyzer for receiving the acoustic sensor signal, the radar sensor signal, and the image sensor signal processed by the data acquisition and processing unit and performing a convergence analysis of an unexpected situation according to an extreme situation detection algorithm; A data storage unit for storing collected and processed data of the data collection and processing unit, acoustic patterns and image patterns, and analysis data of the unexpected state fusion analysis unit; And a data transmission module for transmitting to the traffic control center or the traffic situation indicator according to the type of the unexpected situation of the classified traffic accident, the stopped vehicle, the falling object, the pedestrian, and the low speed vehicle.
여기서, 상기 데이터 수집 및 처리부는, 상기 음향센서로부터 음향센서 신호를 수신하는 음향센서 신호 수신부; 상기 레이더센서가 객체의 통행 궤적을 추적하여 측정된 객체 위치 및 객체 속도를 레이더센서 신호로 수신하는 레이더센서 신호 수신부; 상기 영상센서로부터 영상센서 신호를 수신하는 영상센서 신호 수신부; 상기 음향센서 신호인 시계열적인 아날로그 음향 데이터를 주파수 기반의 디지털 데이터로 고속 퓨리에 변환(FFT)하고, 상기 FFT 변환된 음향센서 신호를 기설정된 음향패턴과 매칭하며, 상기 음향패턴 매칭 결과에 대응하는 사고발생 여부를 검지하는 음향센서 신호 처리부; 상기 객체 속도가 0보다 작은지, 상기 객체 속도가 0인지 또는 상기 객체 속도가 기설정된 임계값보다 작은지를 판단하여 돌발상황 발생 여부를 검지하는 레이더센서 신호 처리부; 및 상기 영상센서가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시키고, 촬영된 영상에 따라 상기 객체의 크기가 소정의 임계값보다 작은지 확인하는 영상센서 신호 처리부를 포함할 수 있다.Here, the data collection and processing unit may include: a sound sensor signal receiving unit for receiving a sound sensor signal from the sound sensor; A radar sensor signal receiving unit for tracking the trajectory of the object by the radar sensor and receiving the measured object position and object speed as a radar sensor signal; An image sensor signal receiving unit for receiving an image sensor signal from the image sensor; (FFT) the time-series analog sound data, which is the acoustic sensor signal, into frequency-based digital data, matches the FFT-converted acoustic sensor signal with a preset acoustic pattern, An acoustic sensor signal processing unit for detecting whether or not an acoustic signal is generated; A radar sensor signal processor for detecting whether an unexpected event occurs by determining whether the object velocity is less than 0, the object velocity is 0, or the object velocity is less than a preset threshold value; And an image sensor signal processing unit for matching the image sensor signal generated by the image sensor with a predetermined image pattern and checking whether the size of the object is smaller than a predetermined threshold value according to the taken image.
여기서, 상기 레이더센서가 객체의 통행 궤적을 추적(Tracking)하여 객체 위치 및 객체 속도를 측정하여, 상기 객체 속도가 0보다 작은 경우, 상기 제어기가 돌발상황 유형을 차량 또는 보행자의 역주행으로 분류하고, 상기 객체 속도가 0인 경우, 상기 영상센서가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시키면, 상기 제어기가 돌발상황 유형을 단순 정지차량 또는 교통사고로 분류하며, 상기 객체 속도가 기설정된 임계값보다 작은 경우, 상기 객체의 크기가 소정의 임계값보다 크면 상기 제어기가 돌발상황 유형을 저속차량으로 분류하고, 상기 객체의 크기가 소정의 임계값보다 작으면 상기 영상센서가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시킨 후, 상기 제어기가 돌발상황 유형을 보행자 또는 낙하물로 분류한다.Here, the radar sensor measures an object position and an object velocity by tracking a trajectory of an object, and when the object velocity is less than 0, the controller classifies the incident situation type as an inverse of a vehicle or a pedestrian, If the object speed is 0, if the image sensor signal generated and photographed by the image sensor is matched with a predetermined image pattern, the controller classifies the sudden situation type into a simple stop vehicle or a traffic accident, If the size of the object is smaller than a predetermined threshold value, the controller classifies the unexpected situation type as a low speed vehicle, and if the size of the object is smaller than a predetermined threshold value, After an image sensor signal is matched with a predetermined image pattern, the controller classifies the unexpected state type into a pedestrian or a falling object All.
삭제delete
삭제delete
여기서, 상기 음향패턴 매칭 결과에 대응하는 사고발생 여부를 검지한 경우, 상기 영상센서가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시킨 후, 상기 제어기가 돌발상황 유형을 정지차량, 교통사고, 저속차량, 낙하물 또는 보행자로 분류한다.Here, if the occurrence of an accident corresponding to the acoustic pattern matching result is detected, after the image sensor signal generated by the image sensor is matched with a predetermined image pattern, the controller sets the type of the unexpected event as a stop vehicle, An accident, a low speed vehicle, a fall or a pedestrian.
한편, 전술한 기술적 과제를 달성하기 위한 다른 수단으로서, 본 발명에 따른 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지방법은, 도로상 또는 터널 내부의 교통사고, 정지차량, 낙하물, 보행자, 저속차량을 포함한 돌발상황을 자동으로 검지하는 방법에 있어서, a) 음향센서, 레이더센서 및 영상센서가 결합된 복합센서가 도로상 또는 터널 내부의 소정 검지영역을 통행하는 차량 또는 보행자 객체를 검지하는 단계; b) 레이더센서 알고리즘에 따라 상기 레이더센서가 검지한 레이더센서 신호 신호를 처리하는 단계; c) 음향센서 알고리즘에 따라 상기 음향센서가 검지한 음향센서 신호를 처리하는 단계; d) 영상센서 알고리즘에 따라 상기 영상센서가 검지한 영상센서 신호를 처리하는 단계; e) 제어기가 상기 음향센서 신호, 레이더센서 신호 및 영상센서 신호의 처리 결과에 따라 돌발상황을 융합 분석하여 돌발상황 유형을 분류하는 단계; 및 f) 상기 제어기(140)에서 분류된 교통사고, 정지차량, 낙하물, 보행자, 저속차량의 돌발상황 유형에 따라 교통관제센터 또는 교통상황 표시기(160)로 돌발상황을 통보하는 단계를 포함하되, 상기 음향센서, 상기 레이더센서 및 상기 영상센서가 결합하여 복합센서를 형성하고, 상기 복합센서는 도로상 지주 또는 터널 벽면에 설치되어 상기 소정 검지영역 내의 차량 또는 보행자인 객체에 대한 돌발상황을 검지하며, 상기 음향센서 및 레이더 센서는 돌발상황을 검지하는 역할을 수행하고, 상기 영상센서는 상기 검지된 돌발상황의 유형을 분류하고 증거 영상을 수집하는 역할을 담당하는 것을 특징으로 특징으로 한다.In another aspect of the present invention, there is provided a method for automatically detecting an unexpected situation using a composite sensor including an acoustic sensor, a radar sensor, and an image sensor according to the present invention, , A falling object, a pedestrian, and a low speed vehicle, the method comprising the steps of: a) detecting a composite sensor including an acoustic sensor, a radar sensor, and an image sensor on a road or in a vehicle passing through a predetermined detection area within the tunnel, Detecting a pedestrian object; b) processing a radar sensor signal signal detected by the radar sensor according to a radar sensor algorithm; c) processing the acoustic sensor signal detected by the acoustic sensor in accordance with an acoustic sensor algorithm; d) processing an image sensor signal detected by the image sensor according to an image sensor algorithm; e) analyzing an unexpected situation according to a processing result of the acoustic sensor signal, the radar sensor signal, and the image sensor signal and classifying the unexpected situation type; And f) informing the traffic control center or the traffic condition indicator 160 of an unexpected situation according to an unexpected situation type of a traffic accident, a stopped vehicle, a falling object, a pedestrian, or a low speed vehicle classified by the controller 140, The composite sensor is formed by combining the acoustic sensor, the radar sensor, and the image sensor, and the composite sensor detects an unexpected situation with respect to an object as a vehicle or a pedestrian in the predetermined detection area, The acoustic sensor and the radar sensor detect an unexpected situation, and the image sensor classifies the type of the detected unexpected situation and collects evidence images.
본 발명에 따르면, 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용하여 교통사고, 정지차량, 낙하물, 보행자, 저속차량 등의 도로상 또는 터널의 돌발상황을 자동으로 검지하는 기술로서, 음향센서, 레이더센서 및 영상센서를 결합한 복합센서와 돌발상황 검지 알고리즘에 따라 돌발상황을 보다 정확하게 검지할 수 있다.According to the present invention, there is provided a technology for automatically detecting an unexpected situation on roads or tunnels, such as traffic accidents, stopped vehicles, falling objects, pedestrians, and low speed vehicles, by using a composite sensor including an acoustic sensor, a radar sensor, It is possible to more precisely detect an unexpected situation by using a composite sensor combined with a sensor, a radar sensor and an image sensor and an unexpected situation detection algorithm.
본 발명에 따르면, 도로상 또는 터널 내부의 돌발상황의 신속한 검지를 통해 2차 사고를 예방할 수 있고, 또한, 도로상 또는 터널 내부의 교통사고의 즉각적인 조치를 통한 인명 및 재산을 보호할 수 있다.According to the present invention, it is possible to prevent a secondary accident through rapid detection of an unexpected situation on the road or in a tunnel, and also to protect people and property through immediate measures of traffic accidents on roads or tunnels.
도 1은 종래의 기술에 따른 도로상 물체 분류 및 위치검출을 위한 이종센서 융합처리 장치를 설명하기 위한 도면이다.
도 2는 도 1에 도시된 도로상 물체 분류 및 위치검출을 위한 이종 센서 융합처리 장치의 구성도이다.
도 3은 종래의 기술에 따른 스캐너를 이용한 터널 내 유고 검지 시스템의 개략적인 구성도이다.
도 4는 도 3에 도시된 스캐너를 이용한 터널 내 유고 검지 시스템이 터널에 구현된 것을 나타내는 정면도이다.
도 5는 본 발명의 실시예에 따른 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치의 구성도이다.
도 6은 본 발명의 실시예에 따른 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치가 터널 상에 설치된 것을 예시하는 도면이다.
도 7은 도 5에 도시된 검지기 내에 구현되는 데이터 수집 및 분석부의 구체적인 구성도이다.
도 8은 도 7에 도시된 음향센서 신호 처리부의 구체적인 구성도이다.
도 9는 도 7에 도시된 레이더센서 신호 처리부의 구체적인 구성도이다.
도 10은 도 7에 도시된 영상센서 신호 처리부의 구체적인 구성도이다.
도 11은 본 발명의 실시예에 따른 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지방법의 동작흐름도이다.
도 12는 본 발명의 실시예에 따른 복합센서를 이용한 돌발상황 자동 검지방법에서 레이더센서 알고리즘의 구체적인 동작흐름도이다.
도 13은 본 발명의 실시예에 따른 복합센서를 이용한 돌발상황 자동 검지방법에서 음향센서 알고리즘의 구체적인 동작흐름도이다.
도 14는 본 발명의 실시예에 따른 복합센서를 이용한 돌발상황 자동 검지방법에서 영상센서 알고리즘의 구체적인 동작흐름도이다.FIG. 1 is a view for explaining a heterogeneous sensor fusion processing apparatus for object classification and position detection on the road according to a conventional technique.
FIG. 2 is a configuration diagram of a heterogeneous sensor fusion processing apparatus for object classification and position detection on the road shown in FIG. 1. FIG.
3 is a schematic block diagram of an in-tunnel fault detection system using a scanner according to a conventional technique.
Fig. 4 is a front view showing the tunneling fault detection system using the scanner shown in Fig. 3 implemented in a tunnel. Fig.
FIG. 5 is a block diagram of an automatic sudden condition detection apparatus using a composite sensor including an acoustic sensor, a radar sensor, and an image sensor according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating an automatic sudden condition detection apparatus using a composite sensor including an acoustic sensor, a radar sensor, and an image sensor according to an embodiment of the present invention installed on a tunnel.
FIG. 7 is a specific configuration diagram of a data collection and analysis unit implemented in the detector shown in FIG. 5; FIG.
8 is a specific configuration diagram of the acoustic sensor signal processing unit shown in FIG.
9 is a specific configuration diagram of the radar sensor signal processing unit shown in FIG.
10 is a specific configuration diagram of the image sensor signal processing unit shown in FIG.
11 is a flowchart illustrating an automatic detection method of an unexpected situation using a composite sensor including an acoustic sensor, a radar sensor, and an image sensor according to an embodiment of the present invention.
FIG. 12 is a specific operation flowchart of a radar sensor algorithm in an automatic sudden situation detection method using a hybrid sensor according to an embodiment of the present invention.
13 is a specific operational flowchart of an acoustic sensor algorithm in an automatic sudden situation detection method using a composite sensor according to an embodiment of the present invention.
FIG. 14 is a specific operation flowchart of the image sensor algorithm in the automatic detection method of an unexpected situation using the composite sensor according to the embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the term "part" or the like, as described in the specification, means a unit for processing at least one function or operation, and may be implemented by hardware, software, or a combination of hardware and software.
[복합센서를 이용한 돌발상황 자동 검지장치(100)] [ Automatic Detection of Sudden Situation Using Complex Sensors (100) ]
도 5는 본 발명의 실시예에 따른 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치의 구성도이고, 도 6은 본 발명의 실시예에 따른 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치가 터널 상에 설치된 것을 예시하는 도면이다.FIG. 5 is a block diagram of an automatic sudden situation detection apparatus using a composite sensor including an acoustic sensor, a radar sensor, and an image sensor according to an embodiment of the present invention. FIG. 6 is a block diagram of an acoustic sensor, And an automatic sudden situation detection apparatus using a composite sensor in which an image sensor is combined is installed on a tunnel.
도 5를 참조하면, 본 발명의 실시예에 따른 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치(100)는, 도로상 또는 터널 내부의 사고, 정지차량, 낙하물, 보행자, 저속차량을 포함한 돌발상황을 자동으로 검지하는 장치로서, 음향센서(110), 레이더센서(120), 영상센서(130) 및 제어기(140)를 포함하며, 교통관제센터(150) 및 고통상황표시기(160)를 추가로 포함할 수 있다.Referring to FIG. 5, an automatic sudden
먼저, 본 발명의 실시예에 따른 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치(100)는, 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용하여 교통사고, 정지차량, 낙하물, 보행자, 저속차량 등의 도로상 또는 터널의 돌발상황을 자동으로 검지하는 기술로서, 음향센서(110), 레이더센서(120), 영상센서(130)를 결합한 복합센서와 돌발상황 검지 알고리즘에 따라, 기존의 음향센서(110), 레이더센서(120), 영상센서(130) 중 어느 하나를 이용하는 단독센서 또는 두개의 센서를 활용한 도로상 또는 터널의 돌발상황 검지 기술의 단점을 해결하도록 각각의 센서(110, 120, 130)가 갖는 장점을 극대화하고 단점을 보완할 수 있다.First, an automatic sudden
본 발명의 실시예에 따른 복합센서를 이용한 돌발상황 자동 검지장치(100)는, 음향센서(110), 레이더센서(120) 및 영상센서(130)가 동일한 구조물(200), 예를 들면, 도로상의 지주 또는 터널 벽면에 설치되어 상기 음향센서(110), 레이더센서(120) 및 영상센서(130) 각각으로부터 수집되는 센서신호를 하나의 제어기(140)를 통해 수집하고, 이와 같이 수집된 센서신호를 실시간으로 처리하여 돌발상황을 검지하게 된다.An automatic sudden
이때, 각각의 센서(110, 120, 130) 특성을 고려하여 각각의 센서(110, 120, 130)가, 도 6에 도시된 바와 같이, 별도의 구조물(200), 예를 들면, 도로상의 지주 또는 터널의 벽면(200)에 설치되어 운영될 수도 있지만, 이 경우에도 센서신호를 수집하는 제어기(140)는 동일하게 사용된다. 여기서, 도 6은 본 발명의 실시예에 따른 음향센서(110), 레이더센서(120) 및 영상센서(130)를 결합한 복합센서를 이용한 돌발상황 자동 검지장치가 터널 내부에 설치된 것을 예시한다.6, each of the
본 발명의 실시예에 따른 복합센서를 이용한 돌발상황 자동 검지 방법은 음향센서(110), 레이더센서(120) 및 영상센서(130)로부터 수집한 데이터를 융합 분석하는 방식으로 이루어지며, 거시적 관점에서 상기 음향센서(110) 및 레이더센서(120)는 돌발상황 발생시 돌발상황을 검지하는 역할을 수행하고, 상기 영상센서(130)는 검지된 돌발상황의 유형을 분류하고 증거 영상을 수집하는 역할을 담당한다.The method of automatically detecting an unexpected situation using the complex sensor according to the embodiment of the present invention is performed by a method of performing fusion analysis on data collected from the
이러한 상기 제어기(140)는 현장(도로상 또는 터널)에 설치될 수도 있고, 통신망의 용량이 충분할 경우, 모든 센서신호를 교통관제센터(150)에서 수집하여, 상기 교통관제센터(150)에서 돌발상황 검지 알고리즘을 수행할 수도 있다.When the capacity of the communication network is sufficient, the
먼저, 상기 음향센서(110)는 도로상 또는 터널 내부 등에서 사고음이 반사되어 공진현상이 일어나거나 음향센서 주변의 소음으로 인해 교통사고음이 마스킹(Masking)되는 경우, 이를 검지하지 못하는 단점이 발생하는데, 이러한 단점은 사고음의 공진, 마스킹(Masking) 시에도 돌발상황 검지가 가능한 레이더센서(120)를 통해 해결할 수 있다. 또한, 교통사고 심각도, 사고 영향권 등 돌발유형의 분류 정확도가 저하되는 문제는 영상센서(130) 기반 모니터링을 통해 해결할 수 있다.First, the
또한, 상기 레이더센서(120)는 전방 대형차랑 등에 의해 돌발상황 현장이 가려짐(Occlusion) 상황이 발생할 경우, 돌발상황의 검지가 불가능하다는 문제점이 있지만, 이러한 문제점은 음향센서(110)를 통해 해결할 수 있다. 또한, 교통사고, 정지차량, 낙하물, 보행자, 저속차량 등의 돌발상황 유형의 분류 정확도가 저하되는 문제는 영상센서(130)를 통해 해결할 수 있다.In addition, there is a problem that when the unexpected situation is occluded by the large-size front wheel, the
또한, 상기 영상센서(130)는 전술한 바와 같이 조명, 기상, 먼지, 벌레, 조명반사 등 환경적 영향에 취약하다는 문제점이 있지만, 이러한 영상센서(130)의 문제점은 해당 환경에 영향을 받지 않는 음향센서(110) 및 레이더센서(120)를 통해 해결할 수 있다.In addition, the
다음의 표 2는 본 발명의 실시예에 따른 복합센서를 이용한 센서별 각각의 문제점을 해결할 수 있는 방안을 나타낸다.The following Table 2 shows a solution for solving the problems of each sensor using the composite sensor according to the embodiment of the present invention.
구체적으로, 도 5를 참조하면, 음향센서(110)는 도로상 또는 터널 내부의 검지영역에서 사고음 발생시 시계열적인 아날로그 음향 데이터를 주파수 기반의 디지털 데이터로 변환한 후 기설정된 음향패턴 매칭 방식에 따라 사고발생 여부를 검지한다.5, the
레이더센서(120)는 도로 또는 터널의 검지영역 내를 통행하는 객체가 존재할 경우, 상기 객체를 지속적으로 추적(Tracking)하여 객체 속도와 객체 위치를 측정하고, 상기 객체 속도에 따라 돌발상황 발생 여부를 검지한다.The
영상센서(130)는 상기 음향센서(110) 및 상기 레이더센서(120)를 통해 검지한 돌발상황의 유형을 분류하거나 증거 영상을 수집한다. 여기서, 상기 음향센서(110), 상기 레이더센서(120) 및 상기 영상센서(130)가 결합하여 복합센서를 형성하고, 상기 음향센서(110) 및 레이더센서(120)는 돌발상황을 검지하는 역할을 수행하고, 상기 영상센서(130)는 상기 검지된 돌발상황의 유형을 분류하고 증거 영상을 수집하는 역할을 담당한다. 또한, 상기 음향센서(110), 상기 레이더센서(120) 및 상기 영상센서(130)를 결합한 복합센서는 도로상 지주 또는 터널 벽면에 설치되어 소정 검지영역 내의 차량 또는 보행자인 객체에 대한 돌발상황을 검지할 수 있다.The
제어기(140)는, 돌발상황 검지 알고리즘에 따라 상기 음향센서(110), 상기 레이더센서(120) 및 상기 영상센서(130)로부터 각각 수집된 데이터를 융합 분석한다. 또한, 상기 제어기(140)는 분류된 교통사고, 정지차량, 낙하물, 보행자, 저속차량의 돌발상황 유형에 따라 교통관제센터(150) 또는 교통상황 표시기(160)로 돌발상황을 유선/무선으로 통보할 수 있다.The
구체적으로, 상기 제어기(140)는, 데이터 수집 및 처리부(141), 돌발상황 검지 알고리즘(142), 돌발상황 융합 분석부(143), 데이터 저장부(144) 및 데이터 송신 모듈(145)을 포함한다.Specifically, the
데이터 수집 및 처리부(141)는 상기 음향센서(110)로부터 음향센서 신호를 수신하여 처리하고, 상기 레이더센서(120)로부터 레이더센서 신호를 수신하여 처리하며, 상기 영상센서(130)로부터 영상센서 신호를 수신하여 처리한다.The data acquisition and
돌발상황 융합 분석부(143)는 상기 데이터 수집 및 처리부(141)에서 처리된 음향센서 신호, 레이더센서 신호 및 영상센서 신호를 수신하여, 돌발상황 검지 알고리즘에 따라 돌발상황을 융합 분석한다.The unexpected
데이터 저장부(144)는 상기 데이터 수집 및 처리부(141)의 수집 및 처리 데이터, 음향패턴과 영상패턴, 및 상기 돌발상황 융합 분석부(143)의 분석 데이터를 저장한다.The
데이터 송신 모듈(145)은 상기 분류된 교통사고, 정지차량, 낙하물, 보행자, 저속차량의 돌발상황 유형에 따라 교통관제센터(150) 또는 교통상황 표시기(160)로 전송한다.The
한편, 한편, 도 7은 도 5에 도시된 검지기 내에 구현되는 데이터 수집 및 분석부의 구체적인 구성도이고, 도 8은 도 7에 도시된 음향센서 신호 처리부의 구체적인 구성도이며, 도 9는 도 7에 도시된 레이더센서 신호 처리부의 구체적인 구성도이고, 도 10은 도 7에 도시된 영상센서 신호 처리부의 구체적인 구성도이다.7 is a specific configuration diagram of a data collecting and analyzing unit implemented in the detector shown in FIG. 5, FIG. 8 is a specific configuration diagram of the acoustic sensor signal processing unit shown in FIG. 7, and FIG. FIG. 10 is a specific configuration diagram of the image sensor signal processing unit shown in FIG. 7. FIG.
상기 데이터 수집 및 처리부(141)는, 도 7에 도시된 바와 같이, 음향센서 신호 수신부(141-a), 레이더센서 신호 수신부(141-b), 영상센서 신호 수신부(141-c), 음향센서 신호 처리부(141-d), 레이더센서 신호 처리부(141-e) 및 영상센서 신호 처리부(141-f)를 포함한다.7, the data acquisition and
음향센서 신호 수신부(141-a)는 상기 음향센서(110)로부터 음향센서 신호를 수신하고, 레이더센서 신호 수신부(141-b)는 상기 레이더센서(120)가 객체의 통행 궤적을 추적(Tracking)하여 측정된 객체 위치 및 객체 속도를 레이더센서 신호로 수신하며, 영상센서 신호 수신부(141-c)는 상기 영상센서(130)가 상기 소정 검지영역을 촬영하여 생성한 영상센서 신호를 상기 영상센서(130)로부터 수신한다.The acoustic sensor signal receiving unit 141-a receives the acoustic sensor signal from the
음향센서 신호 처리부(141-d)는 상기 음향센서 신호인 시계열적인 아날로그 음향 데이터를 주파수 기반의 디지털 데이터로 고속 퓨리에 변환(FFT)하고, 상기 FFT 변환된 음향센서 신호를 기설정된 음향패턴과 매칭하며, 상기 음향패턴 매칭 결과에 대응하는 사고발생 여부를 검지한다. 구체적으로, 상기 음향센서 신호 처리부(141-d)는, 도 8에 도시된 바와 같이, FFT 변환기, 음향패턴 매칭부 및 사고발생 여부 검지부를 포함하며, 상기 음향패턴 매칭 결과에 대응하는 사고발생 여부를 검지한 경우, 상기 영상센서(130)가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시킨 후, 상기 제어기(140)가 돌발상황 유형을 정지차량, 교통사고, 저속차량, 낙하물 또는 보행자로 분류하게 된다.The acoustic sensor signal processor 141-d performs fast Fourier transform (FFT) of the time-series analog sound data, which is the acoustic sensor signal, into frequency-based digital data, and matches the FFT-converted acoustic sensor signal with a predetermined acoustic pattern , And detects occurrence of an accident corresponding to the acoustic pattern matching result. 8, the acoustic sensor signal processing unit 141-d includes an FFT converter, an acoustic pattern matching unit, and an accident occurrence detection unit. The acoustic sensor signal processing unit 141- The
레이더센서 신호 처리부(141-e)는 상기 객체 속도가 0보다 작은지, 상기 객체 속도가 0인지 또는 상기 객체 속도가 기설정된 임계값보다 작은지를 판단하여 돌발상황 발생 여부를 검지한다. 구체적으로, 상기 레이더센서 신호 처리부(141-e)는, 도 9에 도시된 바와 같이, 객체 통행 추적부, 객체 위치 및 객체 속도 측정부를 포함하며, 상기 레이더센서(120)가 객체의 통행 궤적을 추적(Tracking)하여 객체 위치 및 객체 속도를 측정하여, 상기 객체 속도가 0보다 작은 경우, 상기 제어기(140)가 돌발상황 유형을 차량 또는 보행자의 역주행으로 분류한다.The radar sensor signal processing unit 141-e detects whether the object velocity is less than 0, whether the object velocity is 0 or the object velocity is smaller than a predetermined threshold value, and detects whether an unexpected situation has occurred. 9, the radar sensor signal processing unit 141-e includes an object tracing unit, an object position and an object velocity measuring unit, and the radar sensor signal processing unit 141- Tracking the object position and object velocity to determine if the object velocity is less than zero, the
영상센서 신호 처리부(141-f)는 상기 영상센서(130)가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시키고, 촬영된 영상에 따라 상기 객체의 크기가 소정의 임계값보다 작은지 확인한다. 구체적으로, 상기 영상센서 신호 처리부(141-f)는, 도 10에 도시된 바와 같이, 상기 객체 속도가 0인 경우, 상기 영상센서(130)가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시키면, 상기 제어기(140)가 돌발상황 유형을 단순 정지차량 또는 교통사고로 분류한다. 또한, 상기 객체 속도가 기설정된 임계값보다 작은 경우, 상기 객체의 크기가 소정의 임계값보다 크면 상기 제어기(140)가 돌발상황 유형을 저속차량으로 분류하고, 상기 객체의 크기가 소정의 임계값보다 작으면 상기 영상센서(130)가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시킨 후, 상기 제어기(140)가 돌발상황 유형을 보행자 또는 낙하물로 분류한다.The image sensor signal processing unit 141-f matches the image sensor signal generated by the
결국, 본 발명의 실시예에 따르면, 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용하여 교통사고, 정지차량, 낙하물, 보행자, 저속차량 등의 도로상 또는 터널의 돌발상황을 자동으로 검지하는 기술로서, 음향센서, 레이더센서 및 영상센서를 결합한 복합센서와 돌발상황 검지 알고리즘에 따라 돌발상황을 보다 정확하게 검지할 수 있다.As a result, according to the embodiment of the present invention, a composite sensor that combines an acoustic sensor, a radar sensor, and an image sensor is used to automatically detect an unexpected situation on a road or a tunnel of a traffic accident, a stopped vehicle, a falling object, a pedestrian, , It is possible to more accurately detect an unexpected situation by using a composite sensor combined with an acoustic sensor, a radar sensor and an image sensor, and an unexpected situation detection algorithm.
[복합센서를 이용한 돌발상황 자동 검지방법] [ Automatic Detection of Unexpected Situation Using Multiple Sensors ]
도 11은 본 발명의 실시예에 따른 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지방법의 동작흐름도이고, 도 12는 레이더센서 알고리즘의 구체적인 동작흐름도이며, 도 13은 음향센서 알고리즘의 구체적인 동작흐름도이고, 도 14는 영상센서 알고리즘의 구체적인 동작흐름도이다.FIG. 11 is a flowchart illustrating a method of automatically detecting an unexpected situation using a composite sensor including an acoustic sensor, a radar sensor, and an image sensor according to an embodiment of the present invention, FIG. 12 is a specific operation flowchart of a radar sensor algorithm, 14 is a specific operation flowchart of the image sensor algorithm.
도 11 내지 도 14를 참조하면, 본 발명의 실시예에 따른 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지방법은, 도로상 또는 터널 내부의 교통사고, 정지차량, 낙하물, 보행자, 저속차량을 포함한 돌발상황을 자동으로 검지하는 방법으로서, 먼저, 음향센서(110), 레이더센서(120) 및 영상센서(130)가 결합된 복합센서가 도로상 또는 터널 내부의 소정 검지영역을 통행하는 차량 또는 보행자 객체를 검지한다(S110).11 to 14, a method of automatically detecting an unexpected situation using a composite sensor that combines an acoustic sensor, a radar sensor, and an image sensor according to an embodiment of the present invention includes detecting a traffic accident, A composite sensor in which the
다음으로, 레이더센서 알고리즘에 따라 상기 레이더센서(120)가 검지한 레이더센서 신호 신호를 처리한다(S120). 여기서, 상기 레이더센서 알고리즘은 검지영역 내에 차량 또는 보행자가 존재할 경우, 해당 객체를 지속적으로 추적(Tracking)하여 객체 속도와 객체 위치를 수집하고, 수집된 객체 속도를 이용하여 돌발상황 발생 여부를 검지한다. 이때, 해당 물체의 위치정보는 영상센서(130)에 전달되어 돌발상황 분류 및 증거영상 수집에 활용한다.Next, the
구체적으로, 도 12에 도시된 바와 같이, 상기 레이더센서 알고리즘은, 도로 또는 터널의 검지영역 내에 객체 통행시 상기 레이더센서(120)가 객체의 통행 궤적을 추적(Tracking)하여(S111), 객체 위치 및 객체 속도를 측정하고(S121), 상기 객체 속도가 0보다 작은 경우(122), 후술하는 바와 같이, 상기 제어기(140)가 돌발상황 유형을 차량 또는 보행자의 역주행으로 분류하며(S151), 또한, 상기 객체 속도가 0인 경우(S123)와 상기 객체 속도가 기설정된 임계값보다 작은지 여부를 판단한다(S124).Specifically, as shown in FIG. 12, the radar sensor algorithm tracks the trajectory of the object by the
다음으로, 음향센서 알고리즘에 따라 상기 음향센서(110)가 검지한 음향센서 신호를 처리한다(S130). 여기서, 상기 음향센서 알고리즘은 사고음 발생시 시계열적인 아날로그 음향센서 신호를 고속 퓨리에 변환(Fast Fourier Transform: FFT) 처리하여 주파수-기반의 디지털 데이터로 변환한 후, 기설정된 음향패턴 매칭 방식을 적용하여 사고 발생 여부를 검지한다.Next, the
구체적으로, 도 13에 도시된 바와 같이, 상기 음향센서 알고리즘은, 상기 음향센서(110)가 상기 검지 영역 내의 음향(사고음 발생)을 측정하여 음향센서 신호를 생성하면(S112), 측정된 음향센서 신호인 시계열적인 아날로그 음향 데이터를 주파수 기반의 디지털 데이터로 고속 퓨리에 변환(FFT)하고(S131), 상기 FFT 변환된 음향센서 신호를 기설정된 음향패턴과 매칭하며(S132), 상기 음향패턴 매칭 결과에 대응하는 사고발생 여부를 검지한다(S133).Specifically, as shown in FIG. 13, when the
다음으로, 영상센서 알고리즘에 따라 상기 영상센서(130)가 검지한 영상센서 신호를 처리한다(S140). 여기서, 상기 영상센서 알고리즘은 음향센서(110) 및 레이더 센서(!20)를 통해 검지한 돌발상황의 유형을 분류하거나, 증거 영상 수집용으로 활용되며, 후속적으로, 돌발상황의 적절한 조치를 위해서는 이러한 영상을 통한 모니터링이 필수적이다.Next, the
구체적으로, 도 14에 도시된 바와 같이, 상기 영상센서 알고리즘은, 상기 객체 속도가 0인 경우, 상기 영상센서(130)가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시킨 후(S141), 후술하는 바와 같이, 상기 제어기(140)가 돌발상황 유형을 단순 정지차량 또는 교통사고로 분류한다(S152).14, when the object velocity is 0, the image sensor algorithm matches an image sensor signal generated by the
또한, 도 14에 도시된 바와 같이, 상기 영상센서 알고리즘은, 상기 객체 속도가 기설정된 임계값보다 작은 경우, 상기 객체의 크기가 소정의 임계값보다 작은지 판단하여(S142), 상기 객체의 크기가 소정의 임계값보다 큰 경우, 상기 제어기(140)가 돌발상황 유형을 저속차량으로 분류하며(S153), 또한, 상기 객체의 크기가 소정의 임계값보다 작으면 상기 영상센서(130)가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시킨 후(S143), 후술하는 바와 같이, 상기 제어기(140)가 돌발상황 유형을 보행자 또는 낙하물로 분류한다(S154).14, the image sensor algorithm determines whether the size of the object is smaller than a predetermined threshold value when the object velocity is smaller than a preset threshold value (S142) The
또한, 도 14에 도시된 바와 같이, 상기 영상센서 알고리즘은, 상기 음향패턴 매칭 결과에 대응하는 사고발생 여부를 검지한 경우, 상기 영상센서(130)가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시킨 후(S144), 후술하는 바와 같이, 상기 제어기(140)가 돌발상황 유형을 정지차량, 교통사고, 저속차량, 낙하물 또는 보행자로 분류한다(S155).14, when detecting occurrence of an accident corresponding to the acoustic pattern matching result, the image sensor algorithm detects an image sensor signal generated by the
다음으로, 제어기(140)가 상기 음향센서 신호, 레이더센서 신호 및 영상센서 신호의 처리 결과에 따라 돌발상황을 융합 분석하여 돌발상황 유형을 분류한다(S150). 여기서, 상기 음향센서(110), 상기 레이더센서(120) 및 상기 영상센서(130)가 결합하여 복합센서를 형성하고, 상기 음향센서(110) 및 레이더 센서(120)는 돌발상황을 검지하는 역할을 수행하고, 상기 영상센서(130)는 상기 검지된 돌발상황의 유형을 분류하고 증거 영상을 수집하는 역할을 담당한다.Next, the
다음으로, 상기 제어기(140)에서 분류된 교통사고, 정지차량, 낙하물, 보행자, 저속차량의 돌발상황 유형에 따라 교통관제센터(150) 또는 교통상황 표시기(160)로 돌발상황을 통보할 수 있다(S160).Next, the
결국, 본 발명의 실시예에 따르면, 도로상 또는 터널 내부의 돌발상황의 신속한 검지를 통해 2차 사고를 예방할 수 있고, 또한, 도로상 또는 터널 내부의 교통사고의 즉각적인 조치를 통한 인명 및 재산을 보호할 수 있다.As a result, according to the embodiment of the present invention, it is possible to prevent a secondary accident through rapid detection of an unexpected situation on the road or in a tunnel, and to prevent a second accident from occurring on the road or in a tunnel, Can be protected.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
100: 복합센서를 이용한 돌발상황 자동 검지장치
110: 음향센서
120: 레이더센서
130: 영상센서
140: 제어기
150: 교통관제센터
160: 교통상황 표시기
141: 데이터 수집 및 처리부
142: 돌발상황 검지 알고리즘
143: 돌발상황 융합 분석부
144: 데이터 저장부
145: 데이터 송신 모듈
141-a: 음향센서 신호 수신부
141-b: 레이더센서 신호 수신부
141-c: 영상센서 신호 수신부
141-d: 음향센서 신호 처리부
141-e: 레이더센서 신호 처리부
141-f: 영상센서 신호 처리부
200: 구조물(도로상 지주 또는 터널 벽면)100: Automatic detection of sudden situation using multiple sensors
110: acoustic sensor
120: Radar sensor
130: Image sensor
140:
150: Traffic control center
160: traffic situation indicator
141: Data collection and processing unit
142: Alert detection algorithm
143: Unexpected Convergence Analysis Unit
144: Data storage unit
145: Data transmission module
141-a: Acoustic sensor signal receiving section
141-b: Radar sensor signal receiving section
141-c: image sensor signal receiving section
141-d: Acoustic sensor signal processing section
141-e: radar sensor signal processing section
141-f: image sensor signal processing section
200: Structures (on the road or tunnel walls)
Claims (16)
사고음 발생시 시계열적인 아날로그 음향 데이터를 주파수 기반의 디지털 데이터로 변환한 후 기설정된 음향패턴 매칭 방식에 따라 사고발생 여부를 검지하는 음향센서(110);
도로 또는 터널의 검지영역 내를 통행하는 객체가 존재할 경우, 상기 객체를 지속적으로 추적(Tracking)하여 객체 속도와 객체 위치를 측정하고, 상기 객체 속도에 따라 돌발상황 발생 여부를 검지하는 레이더센서(120);
상기 음향센서(110) 및 상기 레이더센서(120)를 통해 검지한 돌발상황의 유형을 분류하거나 증거 영상을 수집하도록 소정 검지영역을 촬영하여 영상센서 신호를 생성하는 영상센서(130); 및
돌발상황 검지 알고리즘에 따라 상기 음향센서(110), 상기 레이더센서(120) 및 상기 영상센서(130)로부터 수집된 데이터를 융합 분석하여 돌발상황 유형을 교통사고, 정지차량, 낙하물, 보행자 또는 저속차량으로 분류하고, 돌발상황 유형을 교통관제센터(150) 또는 교통상황 표시기(160)로 통보하는 제어기(140)
를 포함하되,
상기 음향센서(110), 상기 레이더센서(120) 및 상기 영상센서(130)가 결합하여 복합센서를 형성하고, 상기 복합센서는 도로상 지주 또는 터널 벽면에 설치되어 상기 소정 검지영역 내의 차량 또는 보행자인 객체에 대한 돌발상황을 검지하며, 상기 음향센서(110) 및 레이더 센서(120)는 돌발상황을 검지하는 역할을 수행하고, 상기 영상센서(130)는 상기 검지된 돌발상황의 유형을 분류하고 증거 영상을 수집하는 역할을 담당하는 것을 특징으로 하는 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치.An apparatus for automatically detecting an unexpected situation including a traffic accident on a road or a tunnel, a stopped vehicle, a falling object, a pedestrian, and a low speed vehicle,
A sound sensor 110 for converting time-series analog sound data into frequency-based digital data upon occurrence of an accident sound, and detecting an occurrence of an accident according to a predetermined sound pattern matching method;
A radar sensor 120 for detecting the occurrence of an unexpected event in accordance with the object velocity, measuring the object velocity and the object position by continuously tracking the object when the object passing through the detection area of the road or tunnel exists, );
An image sensor 130 for classifying the type of an unexpected situation detected through the acoustic sensor 110 and the radar sensor 120 or generating an image sensor signal by photographing a predetermined detection area to collect evidence images; And
The data collected from the acoustic sensor 110, the radar sensor 120 and the image sensor 130 are fused and analyzed according to an unexpected situation detection algorithm to detect an unexpected situation type as a traffic accident, a stationary vehicle, a falling object, a pedestrian, And notifies the traffic control center 150 or the traffic condition indicator 160 of an unexpected situation type,
, ≪ / RTI &
The acoustic sensor 110, the radar sensor 120, and the image sensor 130 are combined to form a composite sensor. The composite sensor is installed on a road or a wall of a tunnel to detect a vehicle or a pedestrian The acoustic sensor 110 and the radar sensor 120 detect an unexpected situation, and the image sensor 130 classifies the detected unexpected situations, And a sensor for detecting a sudden situation using a composite sensor including an acoustic sensor, a radar sensor, and an image sensor.
상기 음향센서(110)로부터 음향센서 신호를 수신하여 처리하고, 상기 레이더센서(120)로부터 레이더센서 신호를 수신하여 처리하며, 상기 영상센서(130)로부터 영상센서 신호를 수신하여 처리하는 데이터 수집 및 처리부(141);
상기 데이터 수집 및 처리부(141)에서 처리된 음향센서 신호, 레이더센서 신호 및 영상센서 신호를 수신하여, 돌발상황 검지 알고리즘에 따라 돌발상황을 융합 분석하는 돌발상황 융합 분석부(143);
상기 데이터 수집 및 처리부(141)의 수집 및 처리 데이터, 음향패턴과 영상패턴, 및 상기 돌발상황 융합 분석부(143)의 분석 데이터를 저장하는 데이터 저장부(144); 및
상기 분류된 교통사고, 정지차량, 낙하물, 보행자, 저속차량의 돌발상황 유형에 따라 교통관제센터(150) 또는 교통상황 표시기(160)로 전송하는 데이터 송신 모듈(145)
을 포함하는 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치.The apparatus of claim 1, wherein the controller (140)
A data acquisition and processing unit for receiving and processing an acoustic sensor signal from the acoustic sensor 110, receiving and processing a radar sensor signal from the radar sensor 120, receiving and processing an image sensor signal from the image sensor 130, A processing unit 141;
An unexpected situation convergence analyzer 143 for receiving the acoustic sensor signal, the radar sensor signal, and the image sensor signal processed by the data acquisition and processing unit 141 and performing convergence analysis of an unexpected situation according to an unexpected situation detection algorithm;
A data storage 144 for storing collected and processed data of the data collection and processing unit 141, acoustic patterns and image patterns, and analysis data of the unexpected state fusion analysis unit 143; And
A data transmission module 145 for transmitting the classified traffic accident to the traffic control center 150 or the traffic situation indicator 160 according to the type of the unexpected situation of the traffic accident, the stopped vehicle, the falling object, the pedestrian,
, A radar sensor, and an image sensor.
상기 음향센서(110)로부터 음향센서 신호를 수신하는 음향센서 신호 수신부(141-a);
상기 레이더센서(120)가 객체의 통행 궤적을 추적(Tracking)하여 측정된 객체 위치 및 객체 속도를 레이더센서 신호로 수신하는 레이더센서 신호 수신부(141-b);
상기 영상센서(130)로부터 영상센서 신호를 수신하는 영상센서 신호 수신부(141-c);
상기 음향센서 신호인 시계열적인 아날로그 음향 데이터를 주파수 기반의 디지털 데이터로 고속 퓨리에 변환(FFT)하고, 상기 FFT 변환된 음향센서 신호를 기설정된 음향패턴과 매칭하며, 상기 음향패턴 매칭 결과에 대응하는 사고발생 여부를 검지하는 음향센서 신호 처리부(141-d);
상기 객체 속도가 0보다 작은지, 상기 객체 속도가 0인지 또는 상기 객체 속도가 기설정된 임계값보다 작은지를 판단하여 돌발상황 발생 여부를 검지하는 레이더센서 신호 처리부(141-e); 및
상기 영상센서(130)가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시키고, 촬영된 영상에 따라 상기 객체의 크기가 소정의 임계값보다 작은지 확인하는 영상센서 신호 처리부(141-f)
를 포함하는 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치.5. The apparatus according to claim 4, wherein the data collection and processing unit (141)
An acoustic sensor signal receiver 141-a for receiving an acoustic sensor signal from the acoustic sensor 110;
A radar sensor signal receiving unit 141-b for tracking the trajectory of the object by the radar sensor 120 and receiving the measured object position and object velocity as a radar sensor signal;
An image sensor signal receiver 141-c for receiving an image sensor signal from the image sensor 130;
(FFT) the time-series analog sound data, which is the acoustic sensor signal, into frequency-based digital data, matches the FFT-converted acoustic sensor signal with a preset acoustic pattern, An acoustic sensor signal processing unit 141-d for detecting whether or not the signal is generated;
A radar sensor signal processor 141-e for determining whether the object velocity is less than 0, the object velocity is 0 or the object velocity is less than a predetermined threshold value to detect occurrence of an unexpected situation; And
An image sensor signal processing unit 141-f for matching the image sensor signal photographed by the image sensor 130 with a preset image pattern and checking whether the size of the object is smaller than a predetermined threshold value according to the photographed image, )
An automatic sensor for detecting an unexpected situation using a composite sensor that combines an acoustic sensor, a radar sensor, and an image sensor.
상기 레이더센서(120)가 객체의 통행 궤적을 추적하여 객체 위치 및 객체 속도를 측정하여, 상기 객체 속도가 0보다 작은 경우, 상기 제어기(140)가 돌발상황 유형을 차량 또는 보행자의 역주행으로 분류하며, 상기 객체 속도가 0인 경우, 상기 영상센서(130)가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시키면, 상기 제어기(140)가 돌발상황 유형을 단순 정지차량 또는 교통사고로 분류하고, 상기 객체 속도가 기설정된 임계값보다 작은 경우, 상기 객체의 크기가 소정의 임계값보다 크면 상기 제어기(140)가 돌발상황 유형을 저속차량으로 분류하고, 상기 객체의 크기가 소정의 임계값보다 작으면 상기 영상센서(130)가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시킨 후, 상기 제어기(140)가 돌발상황 유형을 보행자 또는 낙하물로 분류하는 것을 특징으로 하는 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치.6. The method of claim 5,
The radar sensor 120 tracks the trajectory of the object and measures the object position and the object velocity, and if the object velocity is less than 0, the controller 140 classifies the unexpected situation type as an inverse of the vehicle or pedestrian If the object speed is 0, the controller 140 matches the unexpected situation type to a simple stop vehicle or a traffic accident by matching the image sensor signal captured and generated by the image sensor 130 with a preset image pattern. If the object velocity is smaller than a predetermined threshold value, the controller 140 classifies the unexpected situation type as a low velocity vehicle if the size of the object is larger than a predetermined threshold value, and if the size of the object is smaller than a predetermined threshold value The controller 140 matches the unexpected state pattern to a pedestrian or a falling object such as a pedestrian, Incident automatically detecting apparatus using a composite sensor which combines an acoustic sensor, a radar sensor, and the image sensor characterized in that the classified.
상기 음향패턴 매칭 결과에 대응하는 사고발생 여부를 검지한 경우, 상기 영상센서(130)가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시킨 후, 상기 제어기(140)가 돌발상황 유형을 정지차량, 교통사고, 저속차량, 낙하물 또는 보행자로 분류하는 것을 특징으로 하는 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지장치.6. The method of claim 5,
After detecting the occurrence of an accident corresponding to the acoustic pattern matching result, the controller 140 matches the unexpected situation pattern to the predetermined image pattern after matching the image sensor signal generated by the image sensor 130 with the predetermined image pattern. An automatic sensor for detecting an unexpected situation using a composite sensor including an acoustic sensor, a radar sensor and an image sensor, characterized in that the vehicle is classified into a stationary vehicle, a traffic accident, a low speed vehicle, a falling object or a pedestrian.
a) 음향센서(110), 레이더센서(120) 및 영상센서(130)가 결합된 복합센서가 도로상 또는 터널 내부의 소정 검지영역을 통행하는 차량 또는 보행자 객체를 검지하는 단계;
b) 레이더센서 알고리즘에 따라 상기 레이더센서(120)가 검지한 레이더센서 신호 신호를 처리하는 단계;
c) 음향센서 알고리즘에 따라 상기 음향센서(110)가 검지한 음향센서 신호를 처리하는 단계;
d) 영상센서 알고리즘에 따라 상기 영상센서(130)가 검지한 영상센서 신호를 처리하는 단계;
e) 제어기(140)가 상기 음향센서 신호, 레이더센서 신호 및 영상센서 신호의 처리 결과에 따라 돌발상황을 융합 분석하여 돌발상황 유형을 분류하는 단계; 및
f) 상기 제어기(140)에서 분류된 교통사고, 정지차량, 낙하물, 보행자, 저속차량의 돌발상황 유형에 따라 교통관제센터(150) 또는 교통상황 표시기(160)로 돌발상황을 통보하는 단계
를 포함하되,
상기 음향센서(110), 상기 레이더센서(120) 및 상기 영상센서(130)가 결합하여 복합센서를 형성하고, 상기 복합센서는 도로상 지주 또는 터널 벽면에 설치되어 상기 소정 검지영역 내의 차량 또는 보행자인 객체에 대한 돌발상황을 검지하며, 상기 음향센서(110) 및 레이더 센서(120)는 돌발상황을 검지하는 역할을 수행하고, 상기 영상센서(130)는 상기 검지된 돌발상황의 유형을 분류하고 증거 영상을 수집하는 역할을 담당하는 것을 특징으로 하는 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지방법.A method for automatically detecting an unexpected situation including a traffic accident on a road or in a tunnel, a stopped vehicle, a falling object, a pedestrian, and a low speed vehicle,
a) detecting a vehicle or a pedestrian object passing through a predetermined detection area on the road or within a tunnel, the composite sensor including the acoustic sensor 110, the radar sensor 120, and the image sensor 130;
b) processing a radar sensor signal signal detected by the radar sensor 120 according to a radar sensor algorithm;
c) processing the acoustic sensor signal detected by the acoustic sensor 110 according to an acoustic sensor algorithm;
d) processing an image sensor signal detected by the image sensor 130 according to an image sensor algorithm;
e) analyzing the unexpected situation according to the processing result of the acoustic sensor signal, the radar sensor signal, and the image sensor signal and classifying the unexpected situation type by the controller 140; And
f) reporting an unexpected situation to the traffic control center 150 or the traffic situation indicator 160 according to an unexpected situation type of a traffic accident classified as the controller 140, a stopped vehicle, a falling object, a pedestrian,
, ≪ / RTI &
The acoustic sensor 110, the radar sensor 120, and the image sensor 130 are combined to form a composite sensor. The composite sensor is installed on a road or a wall of a tunnel to detect a vehicle or a pedestrian The acoustic sensor 110 and the radar sensor 120 detect an unexpected situation, and the image sensor 130 classifies the detected unexpected situations, And detecting the presence of the at least one of the at least one sensor, the at least one sensor, and the image sensor.
상기 b) 단계의 레이더센서 알고리즘은, 도로 또는 터널의 검지영역 내에 객체 통행시 상기 레이더센서(120)가 객체의 통행 궤적을 추적하여 객체 위치 및 객체 속도를 측정하고, 상기 객체 속도가 0보다 작은 경우, 상기 제어기(140)가 돌발상황 유형을 차량 또는 보행자의 역주행으로 분류하며, 상기 객체 속도가 0인 경우와 상기 객체 속도가 기설정된 임계값보다 작은지 여부를 판단하는 것을 특징으로 하는 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지방법.11. The method of claim 10,
The radar sensor algorithm in the step b) tracks an object position and an object velocity by tracking the trajectory of the object when the object passes through the detection area of a road or a tunnel and the object velocity is less than 0 , The controller (140) classifies the unexpected situation type as an inverse of the vehicle or a pedestrian, and determines whether the object velocity is 0 and whether the object velocity is smaller than a predetermined threshold value A method for automatic detection of an unexpected situation using a composite sensor combining a radar sensor and an image sensor.
상기 c) 단계의 음향센서 알고리즘은, 상기 음향센서(110)가 상기 검지 영역 내의 음향(사고음 발생)을 측정하여 음향센서 신호를 생성하면, 측정된 음향센서 신호인 시계열적인 아날로그 음향 데이터를 주파수 기반의 디지털 데이터로 고속 퓨리에 변환(FFT)하고, 상기 FFT 변환된 음향센서 신호를 기설정된 음향패턴과 매칭하며, 상기 음향패턴 매칭 결과에 대응하는 사고발생 여부를 검지하는 것을 특징으로 하는 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지방법.13. The method of claim 12,
The acoustic sensor algorithm in step c) is a method in which when the acoustic sensor 110 measures the sound (accident sound generation) in the detection area and generates an acoustic sensor signal, the analog acoustic data, which is the measured acoustic sensor signal, (FFT) with the digital data based on the FFT-converted acoustic sensor signal, matches the FFT-converted acoustic sensor signal with a predetermined acoustic pattern, and detects occurrence of an accident corresponding to the acoustic pattern matching result. An automatic detection method of sudden situation using a composite sensor combined with a radar sensor and an image sensor.
상기 d) 단계의 영상센서 알고리즘은, 상기 객체 속도가 0인 경우, 상기 영상센서(130)가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시킨 후, 상기 제어기(140)가 돌발상황 유형을 단순 정지차량 또는 교통사고로 분류하는 것을 특징으로 하는 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지방법.14. The method of claim 13,
If the object speed is 0, the image sensor algorithm of step d) matches the image sensor signal generated by the image sensor 130 with a preset image pattern, A method for automatically detecting an unexpected situation using a composite sensor including an acoustic sensor, a radar sensor, and an image sensor, characterized in that the type is classified into a simple stationary vehicle or a traffic accident.
상기 d) 단계의 영상센서 알고리즘은, 상기 객체 속도가 기설정된 임계값보다 작은 경우, 상기 객체의 크기가 소정의 임계값보다 크면 상기 제어기(140)가 돌발상황 유형을 저속차량으로 분류하며, 상기 객체의 크기가 소정의 임계값보다 작으면 상기 영상센서(130)가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시킨 후, 상기 제어기(140)가 돌발상황 유형을 보행자 또는 낙하물로 분류하는 것을 특징으로 하는 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지방법.14. The method of claim 13,
If the object speed is smaller than a predetermined threshold value and the size of the object is greater than a predetermined threshold value, the controller 140 classifies the unexpected situation type as a low speed vehicle, If the size of the object is smaller than a predetermined threshold value, the controller 140 matches the image sensor signal generated and photographed by the image sensor 130 with a predetermined image pattern, and then the controller 140 classifies the incident situation type as a pedestrian or a falling object And detecting an unexpected situation by using a composite sensor including an acoustic sensor, a radar sensor, and an image sensor.
상기 d) 단계의 영상센서 알고리즘은, 상기 음향패턴 매칭 결과에 대응하는 사고발생 여부를 검지한 경우, 상기 영상센서(130)가 촬영하여 생성한 영상센서 신호를 기설정된 영상패턴과 매칭시킨 후, 상기 제어기(140)가 돌발상황 유형을 정지차량, 교통사고, 저속차량, 낙하물 또는 보행자로 분류하는 것을 특징으로 하는 음향센서, 레이더센서 및 영상센서를 결합한 복합센서를 이용한 돌발상황 자동 검지방법.14. The method of claim 13,
The image sensor algorithm in the step d) may detect an occurrence of an accident corresponding to the acoustic pattern matching result, match the image sensor signal generated by the image sensor 130 with a preset image pattern, Wherein the controller (140) classifies the unexpected situation type as a stationary vehicle, a traffic accident, a low speed vehicle, a falling object, or a pedestrian, and a method for automatically detecting an unexpected situation using a combined sensor including an acoustic sensor, a radar sensor and an image sensor.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160148640A KR101731050B1 (en) | 2016-11-09 | 2016-11-09 | Automatic incident detection apparatus using composite sensor of acoustic sensor, radar sensor and image sensor, and method for the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160148640A KR101731050B1 (en) | 2016-11-09 | 2016-11-09 | Automatic incident detection apparatus using composite sensor of acoustic sensor, radar sensor and image sensor, and method for the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101731050B1 true KR101731050B1 (en) | 2017-04-28 |
Family
ID=58702209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160148640A Expired - Fee Related KR101731050B1 (en) | 2016-11-09 | 2016-11-09 | Automatic incident detection apparatus using composite sensor of acoustic sensor, radar sensor and image sensor, and method for the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101731050B1 (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102045222B1 (en) * | 2019-03-05 | 2019-12-02 | 사단법인 꿈드래장애인협회 | System for sensing and control unexpected situation using data fusion |
| KR20200009760A (en) * | 2018-07-20 | 2020-01-30 | 현대모비스 주식회사 | Apparatus and method for detecting and treating dangerous situation in vehicle |
| KR102188567B1 (en) * | 2020-05-18 | 2020-12-10 | (주) 안세기술 | System for monitoring the road using 3 dimension laser scanner |
| CN112099042A (en) * | 2020-08-07 | 2020-12-18 | 武汉万集信息技术有限公司 | Vehicle tracking method and system |
| KR102201356B1 (en) * | 2020-08-20 | 2021-01-11 | 주식회사 비알인포텍 | Lighting guidance display system using video transmission in road tunnel |
| KR20210009610A (en) * | 2019-07-17 | 2021-01-27 | 주식회사 미라클 | Method And Apparatus for Preventing Reverse Driving |
| KR20210023273A (en) * | 2019-08-22 | 2021-03-04 | 아이브스 주식회사 | Apparatus and method for judging tunnel situation |
| KR20210151415A (en) * | 2020-06-05 | 2021-12-14 | 한국건설기술연구원 | Road accident detection system and method using a lamppost-type structure |
| CN114693945A (en) * | 2020-12-28 | 2022-07-01 | 深圳云天励飞技术股份有限公司 | Vehicle engine abnormality detection method, device, electronic device and storage medium |
| CN114758297A (en) * | 2022-04-21 | 2022-07-15 | 中国公路工程咨询集团有限公司 | Traffic incident detection method and system based on fusion of radar and video |
| CN114881121A (en) * | 2022-04-19 | 2022-08-09 | 中国科学院深圳先进技术研究院 | A life detection method and device based on feature fusion |
| CN115527364A (en) * | 2022-08-25 | 2022-12-27 | 西安电子科技大学广州研究院 | Traffic accident tracing method and system based on radar vision data fusion |
| KR102540794B1 (en) * | 2022-11-01 | 2023-06-13 | 주식회사 에이엔제이솔루션 | Accident detection system |
| EP4151801A4 (en) * | 2020-05-13 | 2023-10-18 | SK Planet Co., Ltd. | Apparatus and system for detecting road surface condition and method for detecting road surface condition by using same |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003214942A (en) | 2002-01-21 | 2003-07-30 | Matsushita Electric Ind Co Ltd | Accident sound detector, method and program |
| US20060092043A1 (en) | 2004-11-03 | 2006-05-04 | Lagassey Paul J | Advanced automobile accident detection, data recordation and reporting system |
| KR101606782B1 (en) * | 2014-11-11 | 2016-03-28 | 메타빌드 주식회사 | Performance test system of detector for sensing unexpected accident and method of the same |
-
2016
- 2016-11-09 KR KR1020160148640A patent/KR101731050B1/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003214942A (en) | 2002-01-21 | 2003-07-30 | Matsushita Electric Ind Co Ltd | Accident sound detector, method and program |
| US20060092043A1 (en) | 2004-11-03 | 2006-05-04 | Lagassey Paul J | Advanced automobile accident detection, data recordation and reporting system |
| KR101606782B1 (en) * | 2014-11-11 | 2016-03-28 | 메타빌드 주식회사 | Performance test system of detector for sensing unexpected accident and method of the same |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200009760A (en) * | 2018-07-20 | 2020-01-30 | 현대모비스 주식회사 | Apparatus and method for detecting and treating dangerous situation in vehicle |
| KR102504984B1 (en) | 2018-07-20 | 2023-03-02 | 현대모비스 주식회사 | Apparatus and method for detecting and treating dangerous situation in vehicle |
| KR102045222B1 (en) * | 2019-03-05 | 2019-12-02 | 사단법인 꿈드래장애인협회 | System for sensing and control unexpected situation using data fusion |
| KR20210009610A (en) * | 2019-07-17 | 2021-01-27 | 주식회사 미라클 | Method And Apparatus for Preventing Reverse Driving |
| KR102211552B1 (en) * | 2019-07-17 | 2021-02-03 | 주식회사 미라클 | Method And Apparatus for Preventing Reverse Driving |
| KR20210023273A (en) * | 2019-08-22 | 2021-03-04 | 아이브스 주식회사 | Apparatus and method for judging tunnel situation |
| KR102295688B1 (en) * | 2019-08-22 | 2021-08-31 | 아이브스 주식회사 | Apparatus and method for judging tunnel situation |
| EP4151801A4 (en) * | 2020-05-13 | 2023-10-18 | SK Planet Co., Ltd. | Apparatus and system for detecting road surface condition and method for detecting road surface condition by using same |
| US12300101B2 (en) | 2020-05-13 | 2025-05-13 | Sk Planet Co., Ltd. | Apparatus and system for detecting road surface condition and method for detecting road surface condition by using same |
| KR102188567B1 (en) * | 2020-05-18 | 2020-12-10 | (주) 안세기술 | System for monitoring the road using 3 dimension laser scanner |
| KR20210151415A (en) * | 2020-06-05 | 2021-12-14 | 한국건설기술연구원 | Road accident detection system and method using a lamppost-type structure |
| KR102435281B1 (en) | 2020-06-05 | 2022-08-23 | 한국건설기술연구원 | Road accident detection system and method using a lamppost-type structure |
| CN112099042A (en) * | 2020-08-07 | 2020-12-18 | 武汉万集信息技术有限公司 | Vehicle tracking method and system |
| CN112099042B (en) * | 2020-08-07 | 2024-04-12 | 武汉万集信息技术有限公司 | Vehicle tracking method and system |
| KR102201356B1 (en) * | 2020-08-20 | 2021-01-11 | 주식회사 비알인포텍 | Lighting guidance display system using video transmission in road tunnel |
| CN114693945A (en) * | 2020-12-28 | 2022-07-01 | 深圳云天励飞技术股份有限公司 | Vehicle engine abnormality detection method, device, electronic device and storage medium |
| CN114881121A (en) * | 2022-04-19 | 2022-08-09 | 中国科学院深圳先进技术研究院 | A life detection method and device based on feature fusion |
| CN114758297A (en) * | 2022-04-21 | 2022-07-15 | 中国公路工程咨询集团有限公司 | Traffic incident detection method and system based on fusion of radar and video |
| CN115527364B (en) * | 2022-08-25 | 2023-11-21 | 西安电子科技大学广州研究院 | Traffic accident tracing method and system based on radar data fusion |
| CN115527364A (en) * | 2022-08-25 | 2022-12-27 | 西安电子科技大学广州研究院 | Traffic accident tracing method and system based on radar vision data fusion |
| KR102540794B1 (en) * | 2022-11-01 | 2023-06-13 | 주식회사 에이엔제이솔루션 | Accident detection system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101731050B1 (en) | Automatic incident detection apparatus using composite sensor of acoustic sensor, radar sensor and image sensor, and method for the same | |
| US20220270376A1 (en) | Deterioration diagnosis device, deterioration diagnosis system, deterioration diagnosis method, and storage medium for storing program | |
| CN111932901B (en) | Road vehicle tracking detection apparatus, method and storage medium | |
| KR102105162B1 (en) | A smart overspeeding vehicle oversee apparatus for analyzing vehicle speed, vehicle location and traffic volume using radar, for detecting vehicles that violate the rules, and for storing information on them as videos and images, a smart traffic signal violation vehicle oversee apparatus for the same, and a smart city solution apparatus for the same | |
| JP4923736B2 (en) | Road communication system and road communication method | |
| US9154741B2 (en) | Apparatus and method for processing data of heterogeneous sensors in integrated manner to classify objects on road and detect locations of objects | |
| JP4858761B2 (en) | Collision risk determination system and warning system | |
| KR101852057B1 (en) | unexpected accident detecting system using images and thermo-graphic image | |
| KR102279754B1 (en) | Method, apparatus, server, and computer program for preventing crash accident | |
| KR101923900B1 (en) | Multipurpose system of monitoring illegal trash dumping | |
| CN112885144A (en) | Early warning method and system for vehicle crash event in construction operation area | |
| CN105390027B (en) | A kind of road safety monitoring and early warning device and method | |
| KR101852058B1 (en) | unexpected accident detecting method using dual camera | |
| JP7135904B2 (en) | Traffic management system and its control method | |
| CN113627213A (en) | Vehicle abnormal behavior monitoring method, device and system | |
| KR101612836B1 (en) | Method and device for acquisiting accident image in vehicle, and computer readable medium for performing the method | |
| WO2020105527A1 (en) | Image analysis device, image analysis system, and control program | |
| CN114065844A (en) | A video-based detection system for moving fires | |
| JP4762830B2 (en) | Perimeter monitoring system | |
| KR102136676B1 (en) | System and method for monitoring and warning railway platform | |
| KR102264403B1 (en) | Vehicle number recognition system and traffic information system by detecting and tracking vehicles in the enforcement section using radar | |
| JP2003312408A (en) | Image diagnosing device, image diagnosing system of on- vehicle image monitoring device and passing vehicle monitoring device | |
| US20230367006A1 (en) | Methods and systems for vehicle-based tracking of nearby events | |
| KR102801803B1 (en) | a smart gate system | |
| KR102188567B1 (en) | System for monitoring the road using 3 dimension laser scanner |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20161109 |
|
| PA0201 | Request for examination | ||
| PA0302 | Request for accelerated examination |
Patent event date: 20161111 Patent event code: PA03022R01D Comment text: Request for Accelerated Examination Patent event date: 20161109 Patent event code: PA03021R01I Comment text: Patent Application |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20161222 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20170419 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20170421 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20170424 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20200408 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210401 Start annual number: 5 End annual number: 5 |
|
| PC1903 | Unpaid annual fee |
Termination category: Default of registration fee Termination date: 20240202 |