KR102286250B1 - Vehicle number recognition system using cctv - Google Patents
Vehicle number recognition system using cctv Download PDFInfo
- Publication number
- KR102286250B1 KR102286250B1 KR1020190136210A KR20190136210A KR102286250B1 KR 102286250 B1 KR102286250 B1 KR 102286250B1 KR 1020190136210 A KR1020190136210 A KR 1020190136210A KR 20190136210 A KR20190136210 A KR 20190136210A KR 102286250 B1 KR102286250 B1 KR 102286250B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- cctv
- processor
- predetermined
- embedded board
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 claims abstract description 17
- 238000003860 storage Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 15
- 230000033001 locomotion Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000002265 prevention Effects 0.000 description 3
- 238000011112 process operation Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/097—Supervising of traffic control systems, e.g. by giving an alarm if two crossing streets have green light simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
소정 CCTV와 통신을 수행하는 통신 장치; 상기 소정 CCTV로부터 획득된 소정 영상을 처리하는 그래픽 프로세서 기반의 임베디드 보드; 상기 임베디드 보드에서 획득된 데이터를 저장하는 스토리지; 프로세서; 및 상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리를 포함하고, 상기 프로세서는, 상기 명령어들을 실행함으로써, 외부 장치로부터 상기 통신 장치를 통해 제1 차량을 포함하는 제1 영상을 수신하고, 상기 임베디드 보드를 통해 상기 제1 영상에 기초하여, 상기 제1 차량의 제1 차량 번호를 추출하고, 상기 임베디드 보드를 통해, 미리 설정된 범위 내에 설치된 복수의 CCTV로부터 촬영된 영상으로부터 상기 제1 차량을 검색하고, 제1 CCTV로부터 촬영된 영상에서 상기 제1 차량이 검색되면, 상기 제1 CCTV의 주변의 CCTV로부터 상기 제1 차량의 이력 정보 또는 실시간 정보를 획득하고, 상기 통신 장치를 통해, 상기 제1 차량의 이력 정보 또는 실시간 정보를 복수의 차량을 관리하는 통합 관제 센터로 전송하는, 서버가 제공된다.a communication device for performing communication with a predetermined CCTV; a graphic processor-based embedded board for processing a predetermined image obtained from the predetermined CCTV; a storage for storing data obtained from the embedded board; processor; and a memory storing instructions executable by the processor, wherein the processor receives a first image including a first vehicle from an external device through the communication device by executing the instructions, and the embedded board based on the first image through, extracting the first vehicle number of the first vehicle, and searching for the first vehicle from images captured from a plurality of CCTVs installed within a preset range through the embedded board, When the first vehicle is found in the image taken from the first CCTV, history information or real-time information of the first vehicle is obtained from CCTVs around the first CCTV, and through the communication device, A server is provided that transmits historical information or real-time information to an integrated control center that manages a plurality of vehicles.
Description
차량 번호 인식 시스템에 관한 것이다.It relates to a vehicle number recognition system.
차량번호는 각 차량마다 부여된 고유한 식별번호로서, 사람의 주민등록번호와 동일한 역할을 한다. 이러한 차량번호를 통하여 자동차의 소유자, 종류, 제작사, 제작년도, 배기량 등 기본정보의 확인이 가능하고, 또한 차량등록 상태, 과태료 및 세금 미납 여부, 도난차량 여부 등과 같은 다양한 정보를 확인할 수 있다.The vehicle number is a unique identification number assigned to each vehicle and plays the same role as a person's resident registration number. Through such a vehicle number, it is possible to check basic information such as the owner, type, manufacturer, year of manufacture, and displacement of the vehicle, and also various information such as vehicle registration status, non-payment of fines and taxes, and whether the vehicle is stolen.
차량번호를 통하여 차량에 대한 다양한 정보를 확인할 수 있음에 따라, 차량번호를 인식하기 위한 기술이 활발히 연구되어 왔으며, 다양한 분야에서 활용되고 있다. 예를 들어, 도로에 설치된 과속감시카메라, 신호위반 감시카메라, 주정차 위반 단속 카메라, 주차장 출입 통제 장치 등 다양한 분야에서 차량번호 인식 시스템이 활용되고 있다.As various information about the vehicle can be checked through the vehicle number, the technology for recognizing the vehicle number has been actively studied and is being utilized in various fields. For example, a vehicle number recognition system is being used in various fields such as a speed camera installed on a road, a signal violation monitoring camera, a parking violation enforcement camera, and a parking lot access control device.
한국 등록 특허 제10-149630호 "차량번호인식 시스템"은 촬상 데이터를 분석하여 차량 번호판 영역을 구분하고 입체화하며, 번호판 영역을 평면화 및 확대 변환하여 차량번호를 인식하는 내용을 개시한다.Korean Patent No. 10-149630 "Vehicle Number Recognition System" analyzes the captured data to classify and three-dimensionalize the vehicle license plate area, and discloses the contents of recognizing the vehicle number by flattening and expanding the license plate area.
서버가 복수의 임베디드 보드를 수용할 수 있고, 임베디드 보드 각각은 복수의 CCTV와 연결되어 복수의 채널을 관리함으로써, 복수의 CCTV로부터 촬영된 영상에 대해 짧은 시간 동안 소정 차량을 모니터링 할 수 있다.The server can accommodate a plurality of embedded boards, and each embedded board is connected to a plurality of CCTVs to manage a plurality of channels, so that a predetermined vehicle can be monitored for a short time for images taken from a plurality of CCTVs.
서버가 복수의 임베디드 보드를 수용함으로써, 복수의 CCTV를 관리하는 물리적인 공간 제약을 극복하고자 한다.By accommodating a plurality of embedded boards in the server, it is intended to overcome the physical space constraint to manage a plurality of CCTVs.
서버는 차량 번호의 인식에 사용되는 영상을 방범용 CCTV로부터 획득함으로써, 추가적인 CCTV의 설치를 방지하고자 한다.The server attempts to prevent the installation of additional CCTV by acquiring the image used for recognizing the vehicle number from the CCTV for crime prevention.
일측에 따르면, 소정 CCTV와 통신을 수행하는 통신 장치; 상기 소정 CCTV로부터 획득된 소정 영상을 처리하는 그래픽 프로세서 기반의 임베디드 보드; 상기 임베디드 보드에서 획득된 데이터를 저장하는 스토리지; 프로세서; 및 상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리를 포함하고, 상기 프로세서는, 상기 명령어들을 실행함으로써, 외부 장치로부터 상기 통신 장치를 통해 제1 차량을 포함하는 제1 영상을 수신하고, 상기 임베디드 보드를 통해 상기 제1 영상에 기초하여, 상기 제1 차량의 제1 차량 번호를 추출하고, 상기 임베디드 보드를 통해, 미리 설정된 범위 내에 설치된 복수의 CCTV로부터 촬영된 영상으로부터 상기 제1 차량을 검색하고, 제1 CCTV로부터 촬영된 영상에서 상기 제1 차량이 검색되면, 상기 제1 CCTV의 주변의 CCTV로부터 상기 제1 차량의 이력 정보 또는 실시간 정보를 획득하고, 상기 통신 장치를 통해, 상기 제1 차량의 이력 정보 또는 실시간 정보를 복수의 차량을 관리하는 통합 관제 센터로 전송하는, 서버가 제공된다.According to one side, a communication device for performing communication with a predetermined CCTV; a graphic processor-based embedded board for processing a predetermined image obtained from the predetermined CCTV; a storage for storing data obtained from the embedded board; processor; and a memory storing instructions executable by the processor, wherein the processor receives a first image including a first vehicle from an external device through the communication device by executing the instructions, and the embedded board based on the first image through, extracting the first vehicle number of the first vehicle, and searching for the first vehicle from images captured from a plurality of CCTVs installed within a preset range through the embedded board, When the first vehicle is found in the image taken from the first CCTV, history information or real-time information of the first vehicle is obtained from CCTVs around the first CCTV, and through the communication device, A server is provided that transmits historical information or real-time information to an integrated control center that manages a plurality of vehicles.
다른 일측에 따르면, 외부 장치로부터 제1 차량을 포함하는 제1 영상을 수신하는 단계; 상기 제1 영상에 기초하여, 상기 제1 차량의 제1 차량 번호를 추출하는 단계; 미리 설정된 범위 내에 설치된 복수의 CCTV로부터 촬영된 영상으로부터 상기 제1 차량을 검색하는 단계; 제1 CCTV로부터 촬영된 영상에서 상기 제1 차량이 검색되면, 상기 제1 CCTV의 주변의 CCTV로부터 상기 제1 차량의 이력 정보 또는 실시간 정보를 획득하는 단계; 및 상기 제1 차량의 이력 정보 또는 실시간 정보를 복수의 차량을 관리하는 통합 관리 시스템으로 전송하는 단계를 포함하는, 그래픽 프로세서 기반의 임베디드 보드를 포함하는, 서버의 동작 방법이 제공된다.According to another aspect, receiving a first image including the first vehicle from an external device; extracting a first license plate number of the first vehicle based on the first image; retrieving the first vehicle from images taken from a plurality of CCTVs installed within a preset range; When the first vehicle is found in the image taken from the first CCTV, obtaining the history information or real-time information of the first vehicle from the CCTV around the first CCTV; and transmitting the history information or real-time information of the first vehicle to an integrated management system for managing a plurality of vehicles, including a graphics processor-based embedded board.
서버가 복수의 임베디드 보드를 수용할 수 있고, 임베디드 보드 각각은 복수의 CCTV와 연결되어 복수의 채널을 관리함으로써, 복수의 CCTV로부터 촬영된 영상에 대해 짧은 시간 동안 소정 차량을 모니터링 할 수 있다.The server can accommodate a plurality of embedded boards, and each embedded board is connected to a plurality of CCTVs to manage a plurality of channels, so that a predetermined vehicle can be monitored for a short time for images taken from a plurality of CCTVs.
서버가 복수의 임베디드 보드를 수용함으로써, 복수의 CCTV를 관리하는 물리적인 공간 제약을 극복할 수 있다.By accommodating a plurality of embedded boards by the server, it is possible to overcome the physical space constraints of managing a plurality of CCTVs.
서버는 차량 번호의 인식에 사용되는 영상을 방범용 CCTV로부터 획득함으로써, 추가적인 CCTV의 설치를 방지할 수 있다.The server can prevent the installation of additional CCTV by acquiring the image used for recognizing the vehicle number from the CCTV for crime prevention.
본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 일실시예에 따라, 복수의 CCTV로부터 획득된 영상에 기초하여, 소정 차량을 모니터링 하는 서버의 동작을 설명하기 위한 개념도이다.
도 2는 일실시예에 따라, 복수의 CCTV로부터 획득된 영상에 기초하여, 소정 차량을 모니터링 하는 서버의 동작을 설명하기 위한 흐름도이다.
도 3은 일실시예에 따라, 서버 내의 임베디드 보드가 소정 영상에서 차량 번호를 추출하는 과정을 설명하기 위한 도면이다.
도 4는 일실시예에 따라, 서버 내의 임베디드 보드가 복수의 CCTV로부터 촬영된 영상으로부터 소정 차량을 검색하는 과정을 설명하기 위한 도면이다.
도 5는 일실시예에 따라, 서버 내의 임베디드 보드의 구조 및 임베디드 보드와 연결된 채널을 설명하기 위한 도면이다.
도 6은 일실시예에 따라, 영상을 통해 추출된 차량 번호가 일부인 경우, 복수의 CCTV로부터 획득된 영상에 기초하여, 차량 번호를 결정하는 임베디드 보드의 동작을 설명하기 위한 도면이다.
도 7은 일실시예에 따라, 서버 내의 구성을 나타낸 블록도이다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention can be easily understood by the following detailed description and combination of the accompanying drawings, in which reference numerals mean structural elements.
1 is a conceptual diagram for explaining an operation of a server for monitoring a predetermined vehicle, based on images obtained from a plurality of CCTVs, according to an embodiment.
2 is a flowchart illustrating an operation of a server monitoring a predetermined vehicle based on images obtained from a plurality of CCTVs, according to an embodiment.
FIG. 3 is a diagram for explaining a process in which an embedded board in a server extracts a vehicle number from a predetermined image, according to an embodiment.
FIG. 4 is a diagram for explaining a process in which an embedded board in a server searches for a predetermined vehicle from images captured from a plurality of CCTVs, according to an embodiment.
5 is a diagram for explaining a structure of an embedded board in a server and a channel connected to the embedded board, according to an embodiment.
6 is a view for explaining the operation of the embedded board for determining the vehicle number, based on images obtained from a plurality of CCTVs, when the vehicle number extracted through the image is a part, according to an embodiment.
7 is a block diagram illustrating a configuration in a server, according to an embodiment.
이하에서는 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 이하에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략한다.Hereinafter, various embodiments will be described in detail with reference to the drawings. The embodiments described below may be modified and implemented in various different forms. In order to more clearly describe the characteristics of the embodiments, detailed descriptions of matters widely known to those of ordinary skill in the art to which the following embodiments belong will be omitted.
한편, 본 명세서에서 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 다른 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들 더 포함할 수도 있다는 것을 의미한다.On the other hand, in the present specification, when a component is "connected" with another component, it includes not only a case of 'directly connected', but also a case of 'connected with another component in the middle'. In addition, when a component "includes" another component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.
또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. Also, terms including an ordinal number such as 'first' or 'second' used in this specification may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.
도 1은 일실시예에 따라, 복수의 CCTV로부터 획득된 영상에 기초하여, 소정 차량을 모니터링 하는 서버의 동작을 설명하기 위한 개념도이다.1 is a conceptual diagram for explaining an operation of a server for monitoring a predetermined vehicle, based on images obtained from a plurality of CCTVs, according to an embodiment.
도 1을 참고하면, 서버(10)는 통합 관제 센터(20)로부터 제1 차량을 포함하는 제1 영상을 수신할 수 있다. 통합 관제 센터(20)는 서버(10)로 제1 영상에 포함된 제1 차량을 모니터링 한 결과를 요청할 수 있다.Referring to FIG. 1 , the
서버(10)의 차량 검지 동작(110)과 관련하여, 서버(10)는 제1 영상을 분석하여 제1 영상 내에서 제1 차량의 제1 차량 번호를 추출할 수 있다.In relation to the
서버(10)의 차량 분석 동작(120)과 관련하여, 서버(10)는 서버(10)와 연결된 복수의 CCTV로부터 획득된 영상들에서 제1 차량 번호를 갖는 제1 차량을 검색할 수 있다. 여기서, 서버(10)는 소정 CCTV로부터 획득된 소정 영상을 처리하는 그래픽 프로세서 기반의 임베디드 보드를 통해, 제1 차량을 검색할 수 있다. 서버(10)는 제1 차량을 검색한 결과에 기초하여, 제1 차량의 이력 정보 및 실시간 정보를 획득할 수 있다. 또한, 서버(10)는 외부 서버(30)로부터 제1 차량의 정보를 수신할 수 있다. 예를 들면, 제1 차량의 정보는, 제1 차량의 도난 여부 정보, 제1 차량의 세금 체납 여부 정보 등일 수 있고 이에 한정되지 않는다. 서버(10)는 차량을 분석한 결과를 통합 관제 센터(20)로 전송할 수 있다.In relation to the
서버(10)의 차량 정보 저장 동작(130)과 관련하여, 서버(10)는 서버(10) 내의 스토리지에 차량에 대한 분석 결과 정보를 저장할 수 있다. 또한, 서버(10)는 외부 서버(30)로부터 수신된 차량의 정보를 저장할 수도 있다.In relation to the vehicle
도 2는 일실시예에 따라, 복수의 CCTV로부터 획득된 영상에 기초하여, 소정 차량을 모니터링 하는 서버의 동작을 설명하기 위한 흐름도이다.2 is a flowchart illustrating an operation of a server monitoring a predetermined vehicle based on images obtained from a plurality of CCTVs, according to an embodiment.
도 2를 참고하면, 단계 S210에서, 서버(10)는 외부 장치로부터 제1 차량을 포함하는 제1 영상을 수신할 수 있다.Referring to FIG. 2 , in step S210 , the
단계 S220에서, 서버(10)는 제1 영상에 기초하여, 제1 차량의 제1 차량 번호를 추출할 수 있다.In step S220, the
예를 들면, 서버(10)는 서버(10) 내의 임베디드 보드를 제어하여, 제1 영상을 소정 차량 번호를 추출하는 학습 모델에 적용하여, 제1 차량의 제1 차량 번호를 추출할 수 있다.For example, the
예를 들면, 소정 차량 번호를 추출하는 학습 모델은, 소정 차량 번호를 포함하는 하나의 영상에 대해 밝기, 명암, 선명도, 해상도, 소정 차량 번호를 포함하는 영상에서 소정 차량 번호가 위치한 영역의 각도, 훼손 레벨 중 적어도 하나가 조정된 복수의 영상과 소정 차량 번호의 상관 관계를 학습한 결과에 기초하여 획득된 학습 모델일 수 있다.For example, the learning model for extracting a predetermined vehicle number may include brightness, contrast, sharpness, resolution, and angle of an area in which a predetermined vehicle number is located in an image including a predetermined vehicle number, brightness, contrast, sharpness, resolution for one image including a predetermined vehicle number, It may be a learning model obtained based on a result of learning a correlation between a plurality of images and a predetermined license plate number of which at least one of the damage levels is adjusted.
예를 들면, 제1 차량의 제1 차량 번호의 일부만 획득되는 경우, 서버(10)는 차량 번호에 대한 적어도 하나의 후보 번호를 결정할 수 있다. 서버(10)는 임베디드 보드에서, 적어도 하나의 후보 번호 각각에 대한 차량을 검색할 수 있다. 서버(10)는 임베디드 보드에서 적어도 하나의 후보 번호를 갖는 차량을 추적한 결과에 기초하여, 적어도 하나의 후보 번호 중에서 제1 차량 번호를 결정할 수 있다.For example, when only a part of the first vehicle number of the first vehicle is obtained, the
서버(10)는 적어도 하나의 후보 번호 중에서 제1 차량 번호를 결정한 결과에 기초하여, 소정 차량 번호를 추출하는 학습 모델을 업데이트 할 수 있다.The
단계 S230에서, 서버(10)는 미리 설정된 범위 내에 설치된 복수의 CCTV로부터 촬영된 영상으로부터 제1 차량을 검색할 수 있다.In step S230, the
예를 들면, 서버(10)는 미리 설정된 범위 내에 설치된 복수의 CCTV의 주변에 위치한 적어도 하나의 CCTV를 포함하는 제1 그룹을 선택할 수 있다. 서버(10)는 서버(10) 내의 임베디드 보드를 제어하여, 제1 그룹 내의 CCTV로부터 촬영된 영상들에서 제1 차량을 검색할 수 있다.For example, the
예를 들면, 임베디드 보드는 N 개의 임베디드 보드로 구성될 수 있다. 또한, N 개의 임베디드 보드 각각은 M 개의 CCTV와 연결 가능한 M 개의 채널로 구성될 수 있다. 서버(10)는 N 개의 임베디드 보드의 동작을 병렬적으로 처리하고, M x N 개의 채널로부터 제1 차량을 검색할 수 있다.For example, the embedded board may be composed of N embedded boards. In addition, each of the N embedded boards may be configured with M channels that can be connected to M CCTVs. The
예를 들면, 제1 그룹 내의 CCTV로부터 촬영된 영상들에서 제1 차량이 검색되지 않으면, 서버(10)는 복수의 CCTV 중에서 제1 그룹과 다른 제2 그룹의 CCTV를 선택할 수 있다. 서버(10)는 서버(10) 내의 임베디드 보드를 제어하여, 제2 그룹 내의 CCTV로부터 촬영된 영상들에서 제1 차량을 검색할 수 있다.For example, if the first vehicle is not found in the images taken from the CCTVs in the first group, the
예를 들면, 제1 차량을 검색하기 위한 소정 CCTV의 그룹의 선택에 따라, 제1 차량의 검출 실패 횟수가 소정 횟수를 초과하면, 서버(10)는 소정 경고음을 출력할 수 있다. 서버(10)는 미리 설정된 범위 내에서 주요 길목으로 설정된 위치에 대응되는 CCTV로부터 촬영된 영상으로부터 제1 차량을 검색할 수 있다.For example, when the number of failures in detection of the first vehicle exceeds a predetermined number according to selection of a group of predetermined CCTVs for searching for the first vehicle, the
단계 S240에서, 제1 CCTV로부터 촬영된 영상에서 제1 차량이 검색되면, 서버(10)는 제1 CCTV의 주변의 CCTV로부터 제1 차량의 이력 정보 또는 실시간 정보를 획득할 수 있다.In step S240, when the first vehicle is found in the image taken from the first CCTV, the
예를 들면, 제1 그룹 내의 CCTV로부터 촬영된 영상들에서 제1 차량이 검색되면, 서버(10)는 제1 차량이 검색된 제2 CCTV의 위치에 기초하여, 제1 차량의 제1 이동 경로를 예측할 수 있다. 서버(10)는 제1 이동 경로 상에 위치한 CCTV에 기초하여, 제1 차량을 추적할 수 있다.For example, when the first vehicle is searched for in the images taken from the CCTV in the first group, the
단계 S250에서, 서버(10)는 제1 차량의 이력 정보 또는 실시간 정보를 복수의 차량을 관리하는 통합 관제 센터로 전송할 수 있다.In step S250, the
도 3은 일실시예에 따라, 서버 내의 임베디드 보드가 소정 영상에서 차량 번호를 추출하는 과정을 설명하기 위한 도면이다.FIG. 3 is a diagram for explaining a process in which an embedded board in a server extracts a vehicle number from a predetermined image, according to an embodiment.
도 3을 참고하면, 단계 S310에서, 임베디드 보드(300)는 소정 차량 번호를 포함하는 하나의 영상에 대해 밝기, 명암, 선명도, 해상도, 소정 차량 번호를 포함하는 영상에서 소정 차량 번호가 위치한 영역의 각도, 훼손 레벨 중 적어도 하나가 조정된 복수의 영상을 획득할 수 있다.Referring to Figure 3, in step S310, the embedded
예를 들면, 임베디드 보드(300)는 복수의 차량 번호 각각에 대한 복수의 영상을 포함할 수 있다. 복수의 영상 각각은, 영상의 밝기, 명암, 선명도, 해상도 등이 다를 수 있다. 또한, 복수의 영상 각각은, 차량 번호가 위치한 영역의 각도가 다를 수 있다. 또한, 복수의 영상 각각은, 영상의 품질이 다를 수 있다. 영상의 품질이 낮으면, 차량 번호가 위치한 영역의 훼손 레벨은 높을 수 있다.For example, the embedded
예를 들면, 임베디드 보드(300)는 소정 차량 번호에 대한 복수의 영상을 외부 장치로부터 획득할 수 있다. 또한, 임베디드 보드(300)는 소정 차량 번호에 대한 하나의 영상에 대한 밝기, 명암, 선명도, 해상도, 소정 차량 번호를 포함하는 영상에서 소정 차량 번호가 위치한 영역의 각도, 훼손 레벨 중 적어도 하나를 조정하여, 복수의 영상을 획득할 수 있다. 복수의 영상은 차량 번호를 인식하는 학습 인자로 사용될 수 있다.For example, the embedded
단계 S320에서, 임베디드 보드(300)는 복수의 소정 차량 번호와 복수의 소정 차량 번호에 대한 복수의 영상 간의 상관 관계를 학습할 수 있다.In step S320 , the embedded
단계 S330에서, 임베디드 보드(300)는 학습한 결과에 기초하여, 소정 차량 번호를 추출하는 학습 모델을 생성할 수 있다.In step S330, the embedded
학습 모델은, 복수의 소정 차량 번호에 대한 복수의 영상에 기초하여 차량 번호를 결정하기 위해 이용되는 데이터 인식 모델일 수 있다. 여기서, 데이터 인식 모델은, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 또한, 학습 모델은, 예를 들어, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.The learning model may be a data recognition model used to determine a vehicle number based on a plurality of images for a plurality of predetermined vehicle numbers. Here, the data recognition model may be a model based on a neural network. In addition, as the learning model, for example, a model such as a deep neural network (DNN), a recurrent neural network (RNN), or a bidirectional recurrent deep neural network (BRDNN) may be used as a data recognition model, but is not limited thereto.
단계 S340에서, 임베디드 보드(300)는 외부 장치로부터 제1 차량이 포함된 제1 영상(350)을 획득할 수 있다. 임베디드 보드(300)는 제1 영상(350)을 소정 차량 번호를 추출하는 학습 모델에 적용하여, 제1 차량의 제1 차량 번호(360)를 추출할 수 있다.In operation S340 , the embedded
여기서, 소정 차량 번호를 추출하는 학습 모델은, 제1 영상(350)에 대응되는 영상이 입력 영상으로 입력되어도, 동일한 차량 번호를 추출할 수 있다. 제1 영상(350)에 대응되는 영상(351, 352, 353, 354, 355)은, 영상의 밝기, 명암, 선명도, 해상도 등이 다르거나, 차량 번호가 위치한 영역의 각도가 기울어져 있거나, 차량 번호가 위치한 영역이 훼손된 영상일 수 있다.Here, the learning model for extracting a predetermined vehicle number may extract the same vehicle number even when an image corresponding to the
도 4는 일실시예에 따라, 서버 내의 임베디드 보드가 복수의 CCTV로부터 촬영된 영상으로부터 소정 차량을 검색하는 과정을 설명하기 위한 도면이다.FIG. 4 is a diagram for explaining a process in which an embedded board in a server searches for a predetermined vehicle from images captured from a plurality of CCTVs, according to an embodiment.
도 4를 참고하면, 서버(10) 내의 프로세서는 미리 설정된 범위 내에서 제1 차량을 검색할 수 있다. 이 경우, 프로세서는 미리 설정된 범위 내에 설치된 복수의 CCTV에서 촬영된 영상에 기초하여, 제1 차량을 검색할 수 있다. 여기서, CCTV는 거리에 설치된 방범용 CCTV일 수 있다.Referring to FIG. 4 , the processor in the
예를 들어, 도 4는 미리 설정된 범위 내에 설치된 CCTV의 배열을 나타낸다. 설명의 편의상, 도 4에서는 CCTV의 배열을 일정 간격으로 도시하였다. 실제 도로나, 거리에 설치된 CCTV의 배열은 일정하지 않을 수 있다. 프로세서는 미리 설정된 범위 내에서 기준 위치를 설정할 수 있다. 프로세서는 기준 위치를 중심으로 설치된 CCTV에서 촬영된 영상들을 우선적으로 분석하여 제1 차량을 검색할 수 있다.For example, FIG. 4 shows an arrangement of CCTVs installed within a preset range. For convenience of explanation, the arrangement of CCTVs is shown at regular intervals in FIG. 4 . The arrangement of CCTVs installed on actual roads or streets may not be uniform. The processor may set the reference position within a preset range. The processor may search for the first vehicle by preferentially analyzing the images captured by the CCTV installed around the reference location.
예를 들면, 프로세서는 임베디드 보드를 통해, 미리 설정된 범위 내에 설치된 CCTV 중 제1 CCTV로부터 촬영된 영상에서 제1 차량을 검색할 수 있다. 프로세서는 제1 CCTV의 주변에 위치한 적어도 하나의 CCTV를 포함하는 제1 그룹을 선택할 수 있다. 도 4를 참고하면, 프로세서는 제1 CCTV 및 제1 CCTV의 주변 CCTV를 포함하여 4개의 CCTV를 제1 그룹(411)으로 선택할 수 있다. 프로세서는 임베디드 보드를 제어하여, 제1 그룹(411) 내의 CCTV로부터 촬영된 영상들에서 제1 차량을 검색할 수 있다. 제1 그룹(411) 내의 제2 CCTV로부터 촬영된 영상들에서 제1 차량이 검색되면, 프로세서는 제2 CCTV의 위치에 기초하여, 제1 차량의 제1 이동 경로를 예측할 수 있다.For example, the processor may search for the first vehicle in the image captured from the first CCTV among CCTVs installed within a preset range through the embedded board. The processor may select a first group including at least one CCTV located in the vicinity of the first CCTV. Referring to FIG. 4 , the processor may select four CCTVs as the
프로세서는 예측된 제1 이동 경로에 기초하여, 제2 CCTV 및 제2 CCTV의 주변 CCTV를 포함하여 4개의 CCTV를 제2 그룹(412)으로 선택할 수 있다. 마찬가지로, 프로세서는 임베디드 보드를 제어하여, 제2 그룹(412) 내의 CCTV로부터 촬영된 영상들에서 제1 차량을 검색할 수 있다. 제2 그룹(412) 내의 제3 CCTV로부터 촬영된 영상들에서 제1 차량이 검색되면, 프로세서는 제3 CCTV의 위치에 기초하여, 제1 차량의 제2 이동 경로를 예측할 수 있다. 마찬가지로, 프로세서는 소정 CCTV를 포함하는 제3 그룹(413), 제4 그룹(414)을 선택할 수 있다. 프로세서는 선택된 제3 그룹(413), 제4 그룹(414) 내의 CCTV를 통해 촬영된 영상들로부터 제1 차량을 검색하여, 제1 차량의 이력 정보 및 실시간 정보를 획득할 수 있다.The processor may select four CCTVs as the second group 412, including the second CCTV and the surrounding CCTVs of the second CCTV, based on the predicted first movement path. Similarly, the processor may control the embedded board to search for the first vehicle from the images captured from the CCTV in the second group 412 . When the first vehicle is retrieved from the images captured by the third CCTV in the second group 412 , the processor may predict the second movement path of the first vehicle based on the location of the third CCTV. Similarly, the processor may select the
반면에, 제2 그룹(412) 내의 CCTV로부터 촬영된 영상들에서 제1 차량이 검색되지 않으면, 프로세서는 제2 그룹(412)과 다른 제5 그룹(423)을 선택하고, 제5 그룹(423) 내의 CCTV를 통해 촬영된 영상들로부터 제1 차량을 검색하여, 제1 차량의 이력 정보 및 실시간 정보를 획득할 수 있다. 프로세서는 제5 그룹(423) 내에서 제1 차량이 검색된 CCTV의 위치에 기초하여, 제1 차량의 제3 이동 경로를 예측할 수 있다. 프로세서는 제3 이동 경로 상에 위치한 CCTV를 포함한 제6 그룹(424)을 선택할 수 있다. 프로세서는 제6 그룹(424) 내의 CCTV를 통해 촬영된 영상들로부터 제1 차량을 검색하여, 제1 차량의 이력 정보 및 실시간 정보를 획득할 수 있다.On the other hand, if the first vehicle is not found in the images captured from the CCTV in the second group 412, the processor selects a fifth group 423 different from the second group 412, and the fifth group 423 ), by searching for the first vehicle from the images captured through the CCTV, it is possible to obtain history information and real-time information of the first vehicle. The processor may predict the third movement path of the first vehicle based on the location of the CCTV in which the first vehicle is found in the fifth group 423 . The processor may select the
다른 예를 들면, 제1 차량을 검색하기 위한 소정 CCTV의 그룹의 선택에 따라, 제1 차량의 검출 실패 횟수가 소정 횟수를 초과하면, 서버(10)는 경고음을 출력할 수 있다. 서버(10)는 서버(10)와 연결된 전자 장치의 화면에 경고 메시지를 표시할 수 있다. 프로세서는 미리 설정된 범위 내에서 주요 길목으로 설정된 위치에 대응되는 CCTV(431, 432, 433, 434)로부터 촬영된 영상으로부터 제1 차량을 검색할 수 있다. 주요 길목의 위치는 소정 시간 동안 이동 차량의 누적 대수에 기초하여 결정될 수 있다.As another example, when the number of failed detections of the first vehicle exceeds a predetermined number according to selection of a group of predetermined CCTVs for searching for the first vehicle, the
도 5는 일실시예에 따라, 서버 내의 임베디드 보드의 구조 및 임베디드 보드와 연결된 채널을 설명하기 위한 도면이다.5 is a diagram for explaining a structure of an embedded board in a server and a channel connected to the embedded board, according to an embodiment.
도 5를 참고하면, 임베디드 보드(300)는 4개의 임베디드 보드(510, 520, 530, 540)로 구성될 수 있다. 임베디드 보드(300)는 4개 이하의 임베디드 보드로 구성될 수 있고, 4개 이상의 임베디드 보드로 구성될 수 있다. 예를 들면, 하나의 임베디드 보드(510, 520, 530, 540)는 5개의 CCTV와 연결 가능한 5개의 채널로 구성될 수 있다. 상기 채널의 수는 예시이다.Referring to FIG. 5 , the embedded
도 5에 도시된 바와 같이, 제1 임베디드 보드(510)는 5개의 CCTV(551, 552, 553, 554, 555)로 구성된 제1 그룹과 연결될 수 있다. 제1 그룹 내의 CCTV(551, 552, 553, 554, 555)는 소정 간격으로 배치된 CCTV일 수 있거나, 미리 설정된 범위 내의 CCTV일 수 있거나, 주요 길목으로 선정된 위치에 배치된 CCTV일 수 있다. 제1 임베디드 보드(510)는 CCTV(551, 552, 553, 554, 555)로부터 획득된 각각의 영상들에 대해 독립적으로 영상처리를 수행할 수 있다. 예를 들면, 제1 임베디드 보드(510)는 CCTV(551, 552, 553, 554, 555)로부터 획득된 각각의 영상들에 대해 병렬적으로 소정 차량 번호를 갖는 동일한 차량을 검색하거나, 서로 다른 차량 번호를 갖는 다른 차량을 검색할 수 있다.5, the first embedded
마찬가지로, 제2 임베디드 보드(520)는 5개의 CCTV로 구성된 제2 그룹(560)과 연결될 수 있고, 제3 임베디드 보드(530)는 5개의 CCTV로 구성된 제3 그룹(570)과 연결될 수 있고, 제4 임베디드 보드(540)는 5개의 CCTV로 구성된 제4 그룹(580)과 연결될 수 있다.Similarly, the second embedded
따라서, 서버는 제1 임베디드 보드(510), 제2 임베디드 보드(520), 제3 임베디드 보드(530), 제4 임베디드 보드(540) 각각을 병렬적으로 동작시킬 수 있고, 한 번에 20개의 채널을 모니터링 할 수 있다.Accordingly, the server may operate each of the first embedded
도 6은 일실시예에 따라, 영상을 통해 추출된 차량 번호가 일부인 경우, 복수의 CCTV로부터 획득된 영상에 기초하여, 차량 번호를 결정하는 임베디드 보드의 동작을 설명하기 위한 도면이다.6 is a diagram for explaining the operation of the embedded board for determining the vehicle number, based on images obtained from a plurality of CCTVs, when the vehicle number extracted through the image is a part, according to an embodiment.
소정 영상 내에서 차량 번호가 위치한 영역의 영상 품질이 소정 레벨 이하인 경우, 소정 영상 내에서 차량 번호는 제대로 획득되지 않을 수 있다. 또한, 차량에 달린 차량 번호판 자체에 물리적인 훼손이 있는 경우, 차량 번호판을 촬영한 각도, 촬영시의 외부 밝기 등에 의해 소정 영상 내에서 차량 번호는 제대로 획득되지 않을 수 있다.If the image quality of the area where the vehicle number is located in the predetermined image is below a predetermined level, the vehicle number may not be properly obtained in the predetermined image. In addition, if there is physical damage to the license plate itself attached to the vehicle, the license plate number may not be properly obtained in a predetermined image due to the angle at which the license plate was photographed, external brightness at the time of photographing, and the like.
예를 들면, 제1 차량의 실제 차량 번호가 "14나 5755(611)"인데, 차량 번호 중 "나"의 부분이 정확하게 획득되지 않는 경우, 서버 내의 프로세서는 "나"와 비슷한 형태를 갖는 글자체를 결정할 수 있다. 프로세서는 "나"의 형태를 실제로 정확하게 인지할 수 없기 때문에, "나", "너", "다", "더"가 차량 번호 내의 글자일 수 있다고 예측할 수 있다.For example, if the actual vehicle number of the first vehicle is "14 or 5755 (611)", but the part of "I" in the vehicle number is not accurately obtained, the processor in the server uses a font having a shape similar to "I" can be decided Since the processor cannot actually accurately recognize the shape of "I", it can predict that "I", "you", "da", and "more" may be letters in the license plate number.
서버 내의 프로세서는 "14나 5755(611)", "14너 5755(612)", "14다 5755(613)", 및 "14더 5755(614)"를 제1 차량의 차량 번호에 대한 후보 번호로 결정할 수 있다. 서버 내의 프로세서는 제1 소정 시간 동안에, 제1 임베디드 보드(510), 제2 임베디드 보드(520), 제3 임베디드 보드(530), 제4 임베디드 보드(540) 각각에서, "14나 5755(611)", "14너 5755(612)", "14다 5755(613)", 및 "14더 5755(614)"의 차량 번호를 검색할 수 있다. 서버 내의 프로세서는 차량 번호를 검색한 결과로 제1 추적 결과(620)를 획득할 수 있다. 예를 들면, "14나 5755(611)" 및 "14다 5755(613)"는 검출되고, "14너 5755(612)" 및 "14더 5755(614)"는 검출되지 않을 수 있다.The processor in the server selects "14 or 5755 (611)", "14 or 5755 (612)", "14 or 5755 (613)", and "14 or 5755 (614)" as candidates for the license plate number of the first vehicle. can be determined by number. The processor in the server, for a first predetermined time, in each of the first embedded
제1 추적 결과 이후에, 서버 내의 프로세서는 제2 소정 시간 동안에 제1 임베디드 보드(510), 제2 임베디드 보드(520), 제3 임베디드 보드(530), 제4 임베디드 보드(540) 각각에서, "14나 5755(611)", "14너 5755(612)", "14다 5755(613)", 및 "14더 5755(614)"의 차량 번호를 검색할 수 있다. 서버 내의 프로세서는 차량 번호를 검색한 결과로 제2 추적 결과(630)를 획득할 수 있다. 예를 들면, "14나 5755(611)"는 검출되고, "14너 5755(612)", "14다 5755(613)", 및 "14더 5755(614)"는 검출되지 않을 수 있다.After the first tracking result, the processor in the server for a second predetermined time in each of the first embedded
서버 내의 프로세서는 제1 추적 결과(620) 및 제2 추적 결과(630)에 기초하여, 후보 번호 중에서 연속적으로 검출된 후보 번호를 제1 차량의 차량 번호로 결정할 수 있다. 서버 내의 프로세서는 "14나 5755(611)", "14너 5755(612)", "14다 5755(613)", 및 "14더 5755(614)" 중에서, "14나 5755(611)"를 제1 차량의 차량 번호로 결정할 수 있다.Based on the
한편, 임베디드 보드는 "14X 5755"로 판단되었던 복수의 영상과 "14나 5755(611) 간의 상관 관계를 재학습하여, 소정 차량 번호를 추출하는 학습 모델을 업데이트 할 수 있다. 예를 들면, "14X 5755"로 판단되었던 복수의 영상은, "14나 5755(611)", "14너 5755(612)", "14다 5755(613)", 및 "14더 5755(614)" 중 적어도 하나로 판단되었던 영상이다.On the other hand, the embedded board can update the learning model for extracting a predetermined vehicle number by re-learning the correlation between a plurality of images determined as "
도 7은 일실시예에 따라, 서버 내의 구성을 나타낸 블록도이다.7 is a block diagram illustrating a configuration in a server, according to an embodiment.
도 7을 참고하면, 서버(10)는 통신 장치(710), 임베디드 보드(720), 스토리지(730), 메모리(740) 및 프로세서(750)를 포함할 수 있다. 도시된 구성 요소보다 많은 구성 요소에 의해 서버(10)가 구현될 수 있고, 그보다 적은 구성 요소에 의해 서버(10)가 구현될 수 있다. 이하, 상기 구성 요소들에 대해 살펴본다.Referring to FIG. 7 , the
통신 장치 (710)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행할 수 있다.The
임베디드 보드(720)는 소정 CCTV로부터 획득된 소정 영상을 처리하는 그래픽 프로세서를 포함할 수 있다. 임베디드 보드(720)는 N 개의 임베디드 보드로 구성될 수 있다. 또한, N 개의 임베디드 보드 각각은 M 개의 CCTV와 연결 가능한 M 개의 채널로 구성될 수 있다. 임베디드 보드(720)는 N 개의 임베디드 보드의 동작을 병렬적으로 처리하고, M x N 개의 채널로부터 제1 차량을 검색할 수 있다.The embedded
스토리지(730)는 복수의 CCTV로부터 촬영된 영상들을 저장할 수 있다. 또한, 스토리지(730)는 복수의 CCTV 별로 분석된 차량 정보를 저장할 수 있다. 또한, 스토리지(730)는 소정 차량에 대한 이력 정보 및 실시간 정보를 저장할 수 있다. 또한, 스토리지(730)는 소정 차량의 차량 번호를 인식하는 프로그램을 생성, 배포, 관리하는 데에 필요한 각종 소프트웨어 및 정보들을 저장할 수 있다.The
메모리(740)는 소정의 소프트웨어 및 또는 프로그램을 저장할 수 있다. 메모리(740)는 프로세서(750)에 의해 실행 가능한 명령어들을 저장할 수 있다. 예를 들면, 메모리(740)는 프로세서(750) 또는 임베디드 보드(720)가 소정 영상으로부터 소정 차량의 차량 번호를 인식하고, 소정 차량을 모니터링 하는 명령어를 저장할 수 있다.The
프로세서(750)는 메모리(740)에 저장된 프로그램을 실행시키거나, 메모리(740)에 저장된 데이터 또는 파일을 읽어오거나, 새로운 파일을 메모리(740)에 저장할 수 있다. 메모리(740)는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합으로 저장할 수 있다.The
프로세서(750)는 서버(10)의 전체적인 동작을 제어하며, CPU 등과 같은 적어도 하나의 프로세서를 포함할 수 있다. 프로세서(750)는 각 기능에 대응되는 특화된 프로세서를 적어도 하나 포함하거나, 하나로 통합된 형태의 프로세서일 수 있다.The
프로세서(750)는 통신 장치(710)를 통해 외부 장치로부터 제1 차량을 포함하는 제1 영상을 수신할 수 있다. 프로세서(750)는 제1 영상을 임베디드 보드(720)로 전달할 수 있다.The
임베디드 보드(720)는 제1 영상에 기초하여, 제1 차량의 제1 차량 번호를 추출할 수 있다.The embedded
임베디드 보드(720)는, 제1 영상을 소정 차량 번호를 추출하는 학습 모델에 적용하여, 제1 차량의 제1 차량 번호를 추출할 수 있다.The embedded
예를 들면, 소정 차량 번호를 추출하는 학습 모델은, 소정 차량 번호를 포함하는 하나의 영상에 대해 밝기, 명암, 선명도, 해상도, 소정 차량 번호를 포함하는 영상에서 소정 차량 번호가 위치한 영역의 각도, 훼손 레벨 중 적어도 하나가 조정된 복수의 영상과 소정 차량 번호의 상관 관계를 학습한 결과에 기초하여 획득된 학습 모델일 수 있다.For example, the learning model for extracting a predetermined vehicle number may include brightness, contrast, sharpness, resolution, and angle of an area in which a predetermined vehicle number is located in an image including a predetermined vehicle number, brightness, contrast, sharpness, resolution for one image including a predetermined vehicle number, It may be a learning model obtained based on a result of learning a correlation between a plurality of images and a predetermined license plate number of which at least one of the damage levels is adjusted.
예를 들면, 제1 차량의 제1 차량 번호의 일부만 획득되는 경우, 프로세서(750)는 차량 번호에 대한 적어도 하나의 후보 번호를 결정할 수 있다. 프로세서(750)는 임베디드 보드(720)를 제어하여, 적어도 하나의 후보 번호 각각에 대한 차량을 검색할 수 있다. 프로세서(750)는 임베디드 보드(720)에서 적어도 하나의 후보 번호를 갖는 차량을 추적한 결과에 기초하여, 적어도 하나의 후보 번호 중에서 제1 차량 번호를 결정할 수 있다.For example, when only a part of the first vehicle number of the first vehicle is obtained, the
프로세서(750)는 적어도 하나의 후보 번호 중에서 제1 차량 번호를 결정한 결과에 기초하여, 소정 차량 번호를 추출하는 학습 모델을 업데이트 할 수 있다.The
프로세서(750)는 임베디드 보드(720)를 제어하여, 미리 설정된 범위 내에 설치된 복수의 CCTV로부터 촬영된 영상으로부터 제1 차량을 검색할 수 있다.The
예를 들면, 프로세서(750)는 미리 설정된 범위 내에 설치된 복수의 CCTV의 주변에 위치한 적어도 하나의 CCTV를 포함하는 제1 그룹을 선택할 수 있다. 서버(10)는 서버(10) 내의 임베디드 보드(720)를 제어하여, 제1 그룹 내의 CCTV로부터 촬영된 영상들에서 제1 차량을 검색할 수 있다.For example, the
예를 들면, 임베디드 보드(720)는 N 개의 임베디드 보드로 구성될 수 있다. 또한, N 개의 임베디드 보드 각각은 M 개의 CCTV와 연결 가능한 M 개의 채널로 구성될 수 있다. 프로세서(10)는 N 개의 임베디드 보드의 동작을 병렬적으로 처리하고, M x N 개의 채널로부터 제1 차량을 검색할 수 있다.For example, the embedded
예를 들면, 제1 그룹 내의 CCTV로부터 촬영된 영상들에서 제1 차량이 검색되지 않으면, 프로세서(750)는 복수의 CCTV 중에서 제1 그룹과 다른 제2 그룹의 CCTV를 선택할 수 있다. 프로세서(750)는 임베디드 보드(720)를 제어하여, 제2 그룹 내의 CCTV로부터 촬영된 영상들에서 제1 차량을 검색할 수 있다.For example, if the first vehicle is not found in the images taken from the CCTVs in the first group, the
예를 들면, 제1 차량을 검색하기 위한 소정 CCTV의 그룹의 선택에 따라, 제1 차량의 검출 실패 횟수가 소정 횟수를 초과하면, 프로세서(750)는 소정 경고음을 출력할 수 있다. 프로세서(750)는 임베디드 보드(720)를 제어하여, 미리 설정된 범위 내에서 주요 길목으로 설정된 위치에 대응되는 CCTV로부터 촬영된 영상으로부터 제1 차량을 검색할 수 있다.For example, when the number of failed detections of the first vehicle exceeds a predetermined number according to selection of a group of predetermined CCTVs for searching for the first vehicle, the
제1 CCTV로부터 촬영된 영상에서 제1 차량이 검색되면, 프로세서(750)는 제1 CCTV의 주변의 CCTV로부터 제1 차량의 이력 정보 또는 실시간 정보를 획득할 수 있다.When the first vehicle is found in the image taken from the first CCTV, the
예를 들면, 제1 그룹 내의 CCTV로부터 촬영된 영상들에서 제1 차량이 검색되면, 프로세서(750)는 제1 차량이 검색된 제2 CCTV의 위치에 기초하여, 제1 차량의 제1 이동 경로를 예측할 수 있다. 프로세서(750)는 제1 이동 경로 상에 위치한 CCTV에 기초하여, 제1 차량을 추적할 수 있다.For example, when the first vehicle is searched for in the images taken from the CCTV in the first group, the
프로세서(750)는 통신 장치(710)를 통해, 제1 차량의 이력 정보 또는 실시간 정보를 복수의 차량을 관리하는 통합 관제 센터로 전송할 수 있다.The
상술한 서버(10)의 동작 방법은 컴퓨터 또는 프로세서에 의하여 실행 가능한 명령어 또는 데이터를 저장하는 컴퓨터 판독 가능 저장매체의 형태로 구현될 수 있다. 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터 판독 가능 저장매체를 이용하여 이와 같은 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 이와 같은 컴퓨터 판독 가능 저장매체는 ROM, RAM, flash memory, CD, DVD 마그네틱 테이프, 플로피 디스크, 광자기 데이터 저장 장치, 광학 데이터 저장 장치, 하드 디스크, 솔리드-스테이트 디스크(SSD), 그리고 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 저장할 수 있다.The above-described method of operating the
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible for those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the following claims as well as the claims and equivalents.
Claims (9)
상기 소정 CCTV로부터 획득된 소정 영상을 처리하는 그래픽 프로세서 기반의 임베디드 보드;
상기 임베디드 보드에서 획득된 데이터를 저장하는 스토리지;
프로세서; 및
상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리를 포함하고,
상기 프로세서는, 상기 명령어들을 실행함으로써,
외부 장치로부터 상기 통신 장치를 통해 제1 차량을 포함하는 제1 영상을 수신하고,
상기 임베디드 보드를 통해 상기 제1 영상에 기초하여, 상기 제1 차량의 제1 차량 번호를 추출하고,
상기 임베디드 보드를 통해, 미리 설정된 범위 내에 설치된 복수의 CCTV로부터 촬영된 영상으로부터 상기 제1 차량을 검색하고,
제1 CCTV로부터 촬영된 영상에서 상기 제1 차량이 검색되면, 상기 제1 CCTV의 주변의 CCTV로부터 상기 제1 차량의 이력 정보 또는 실시간 정보를 획득하고,
상기 통신 장치를 통해, 상기 제1 차량의 이력 정보 또는 실시간 정보를 복수의 차량을 관리하는 통합 관제 센터로 전송하고,
상기 임베디드 보드는 N 개의 임베디드 보드로 구성되고, 상기 N 개의 임베디드 보드 각각은, M 개의 CCTV와 연결 가능한 M 개의 채널로 구성되고,
상기 프로세서는, 상기 명령어들을 실행함으로써,
상기 N 개의 임베디드 보드의 동작을 병렬적으로 처리하고, M x N 개의 채널로부터 상기 제1 차량을 검색하는, 서버.a communication device for performing communication with a predetermined CCTV;
a graphic processor-based embedded board for processing a predetermined image obtained from the predetermined CCTV;
a storage for storing data obtained from the embedded board;
processor; and
a memory for storing instructions executable by the processor;
The processor, by executing the instructions,
Receiving a first image including a first vehicle from an external device through the communication device,
Based on the first image through the embedded board, extracting the first vehicle number of the first vehicle,
Searching for the first vehicle from images taken from a plurality of CCTVs installed within a preset range through the embedded board,
When the first vehicle is searched for in the image taken from the first CCTV, history information or real-time information of the first vehicle is obtained from CCTVs around the first CCTV,
Transmitting, through the communication device, the history information or real-time information of the first vehicle to an integrated control center that manages a plurality of vehicles,
The embedded board is composed of N embedded boards, and each of the N embedded boards is composed of M channels connectable to M CCTVs,
The processor, by executing the instructions,
A server that processes operations of the N embedded boards in parallel and retrieves the first vehicle from M x N channels.
상기 프로세서는, 상기 명령어들을 실행함으로써,
상기 미리 설정된 범위 내에 설치된 복수의 CCTV 중에서 상기 제1 CCTV의 주변에 위치한 적어도 하나의 CCTV를 포함하는 제1 그룹을 선택하고,
상기 임베디드 보드를 제어하여, 상기 제1 그룹 내의 CCTV로부터 촬영된 영상들에서 상기 제1 차량을 검색하고,
상기 제1 그룹 내의 CCTV로부터 촬영된 영상들에서 상기 제1 차량이 검색되면, 상기 제1 차량이 검색된 제2 CCTV의 위치에 기초하여, 상기 제1 차량의 제1 이동 경로를 예측하고,
상기 제1 이동 경로 상에 위치한 CCTV에 기초하여, 상기 제1 차량을 추적하는, 서버.According to claim 1,
The processor, by executing the instructions,
selecting a first group including at least one CCTV located in the vicinity of the first CCTV from among a plurality of CCTVs installed within the preset range,
Control the embedded board to search for the first vehicle in the images taken from the CCTV in the first group,
When the first vehicle is found in the images taken from the CCTV in the first group, based on the location of the second CCTV in which the first vehicle is found, the first movement path of the first vehicle is predicted,
Based on the CCTV located on the first movement path, the server for tracking the first vehicle.
상기 프로세서는, 상기 명령어들을 실행함으로써,
상기 제1 그룹 내의 CCTV로부터 촬영된 영상들에서 상기 제1 차량이 검색되지 않으면, 상기 복수의 CCTV 중에서 상기 제1 그룹과 다른 제2 그룹의 CCTV를 선택하고,
상기 임베디드 보드를 제어하여, 상기 제2 그룹 내의 CCTV로부터 촬영된 영상들에서 상기 제1 차량을 검색하는, 서버.3. The method of claim 2,
The processor, by executing the instructions,
If the first vehicle is not found in the images taken from the CCTVs in the first group, a CCTV of a second group different from the first group is selected from among the plurality of CCTVs,
A server that controls the embedded board to search for the first vehicle from images captured from CCTV in the second group.
상기 프로세서는, 상기 명령어들을 실행함으로써,
상기 제1 차량을 검색하기 위한 소정 CCTV의 그룹의 선택에 따라, 상기 제1 차량의 검출 실패 횟수가 소정 횟수를 초과하면, 경고음을 출력하고,
상기 미리 설정된 범위 내에서 주요 길목으로 설정된 위치에 대응되는 CCTV로부터 촬영된 영상으로부터 상기 제1 차량을 검색하는, 서버.4. The method of claim 3,
The processor, by executing the instructions,
According to the selection of a group of predetermined CCTVs for searching for the first vehicle, when the number of failed detections of the first vehicle exceeds a predetermined number of times, a warning sound is output,
A server that searches for the first vehicle from an image taken from a CCTV corresponding to a location set as a main road within the preset range.
상기 프로세서는, 상기 명령어들을 실행함으로써,
상기 임베디드 보드를 제어하여, 상기 제1 영상을 소정 차량 번호를 추출하는 학습 모델에 적용하여, 상기 제1 차량의 상기 제1 차량 번호를 추출하고,
상기 소정 차량 번호를 추출하는 학습 모델은,
상기 소정 차량 번호를 포함하는 하나의 영상에 대해 밝기, 명암, 선명도, 해상도, 상기 하나의 영상에서 상기 소정 차량 번호가 위치한 영역의 각도, 상기 영역의 훼손 레벨 중 적어도 하나가 조정된 복수의 영상과 상기 소정 차량 번호의 상관 관계를 학습한 결과에 기초하여 획득된, 서버.According to claim 1,
The processor, by executing the instructions,
By controlling the embedded board, applying the first image to a learning model for extracting a predetermined vehicle number to extract the first vehicle number of the first vehicle,
The learning model for extracting the predetermined vehicle number is,
A plurality of images in which at least one of brightness, contrast, sharpness, resolution, the angle of the area where the predetermined vehicle number is located in the one image, and the damage level of the area is adjusted for one image including the predetermined vehicle number; Obtained based on the result of learning the correlation of the predetermined vehicle number, the server.
상기 제1 차량의 상기 제1 차량 번호의 일부만 획득되는 경우, 상기 프로세서는, 상기 명령어들을 실행함으로써,
상기 차량 번호에 대한 적어도 하나의 후보 번호를 결정하고,
상기 임베디드 보드에서, 상기 적어도 하나의 후보 번호 각각에 대한 차량을 검색하고,
상기 임베디드 보드에서 상기 적어도 하나의 후보 번호를 갖는 차량을 추적한 결과에 기초하여, 상기 적어도 하나의 후보 번호 중에서 상기 제1 차량 번호를 결정하는, 서버.7. The method of claim 6,
When only a part of the first vehicle number of the first vehicle is obtained, the processor is configured to:
determine at least one candidate number for the vehicle number;
In the embedded board, searching for a vehicle for each of the at least one candidate number,
Based on a result of tracking a vehicle having the at least one candidate number in the embedded board, the server determines the first vehicle number from among the at least one candidate number.
상기 프로세서는, 상기 명령어들을 실행함으로써,
상기 적어도 하나의 후보 번호 중에서 상기 제1 차량 번호를 결정한 결과에 기초하여, 상기 소정 차량 번호를 추출하는 학습 모델을 업데이트 하는, 서버.8. The method of claim 7,
The processor, by executing the instructions,
Based on a result of determining the first vehicle number from among the at least one candidate number, for updating a learning model for extracting the predetermined vehicle number, the server.
상기 제1 영상에 기초하여, 상기 제1 차량의 제1 차량 번호를 추출하는 단계;
미리 설정된 범위 내에 설치된 복수의 CCTV로부터 촬영된 영상으로부터 상기 제1 차량을 검색하는 단계;
제1 CCTV로부터 촬영된 영상에서 상기 제1 차량이 검색되면, 상기 제1 CCTV의 주변의 CCTV로부터 상기 제1 차량의 이력 정보 또는 실시간 정보를 획득하는 단계; 및
상기 제1 차량의 이력 정보 또는 실시간 정보를 복수의 차량을 관리하는 통합 관리 시스템으로 전송하는 단계를 포함하는, 그래픽 프로세서 기반의 임베디드 보드를 포함하고,
상기 임베디드 보드는 N 개의 임베디드 보드로 구성되고, 상기 N 개의 임베디드 보드 각각은, M 개의 CCTV와 연결 가능한 M 개의 채널로 구성되고,
상기 제1 차량을 검색하는 단계는,
상기 N 개의 임베디드 보드의 동작을 병렬적으로 처리하고, M x N 개의 채널로부터 상기 제1 차량을 검색하는 단계를 포함하는, 서버의 동작 방법.Receiving a first image including a first vehicle from an external device;
extracting a first license plate number of the first vehicle based on the first image;
retrieving the first vehicle from images taken from a plurality of CCTVs installed within a preset range;
When the first vehicle is found in the image taken from the first CCTV, obtaining the history information or real-time information of the first vehicle from the CCTV around the first CCTV; and
and a graphic processor-based embedded board, comprising transmitting the history information or real-time information of the first vehicle to an integrated management system for managing a plurality of vehicles,
The embedded board is composed of N embedded boards, and each of the N embedded boards is composed of M channels connectable to M CCTVs,
The step of searching for the first vehicle,
and processing the operations of the N embedded boards in parallel, and searching for the first vehicle from M x N channels.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190136210A KR102286250B1 (en) | 2019-10-30 | 2019-10-30 | Vehicle number recognition system using cctv |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190136210A KR102286250B1 (en) | 2019-10-30 | 2019-10-30 | Vehicle number recognition system using cctv |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210051225A KR20210051225A (en) | 2021-05-10 |
KR102286250B1 true KR102286250B1 (en) | 2021-08-05 |
Family
ID=75918416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190136210A Active KR102286250B1 (en) | 2019-10-30 | 2019-10-30 | Vehicle number recognition system using cctv |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102286250B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102460733B1 (en) * | 2022-05-02 | 2022-10-31 | 주식회사 엠티오메가 | Method for machine learning for vehicle license plate image and apparatus for performing the method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009048225A (en) | 2007-08-13 | 2009-03-05 | Toshiba Corp | Vehicle recognition device and vehicle recognition method |
KR101071715B1 (en) | 2010-07-02 | 2011-10-11 | 윤형관 | IP-based license plate recognition system and method |
JP2014059655A (en) | 2012-09-14 | 2014-04-03 | Toshiba Corp | Road situation-monitoring device, and road situation-monitoring method |
KR101562870B1 (en) * | 2014-11-10 | 2015-10-29 | 주식회사 로보티어 | The Argos tower and Argos system offering a cctv monitor for anti-crime and anti-disaster with wi-fi direct service |
KR101743689B1 (en) * | 2016-09-07 | 2017-06-07 | 주식회사 엠제이비전테크 | Method for image processing of integrated intelligence surveillance CCTV(closed circuit television) and integrated intelligence surveillance CCTV system |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090073554A (en) * | 2007-12-31 | 2009-07-03 | 아진산업(주) | Embedded based vehicle image storage device and method |
KR102054061B1 (en) * | 2018-01-19 | 2019-12-09 | 한국기술교육대학교 산학협력단 | Recognition method of Vehicle Licence Plate |
-
2019
- 2019-10-30 KR KR1020190136210A patent/KR102286250B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009048225A (en) | 2007-08-13 | 2009-03-05 | Toshiba Corp | Vehicle recognition device and vehicle recognition method |
KR101071715B1 (en) | 2010-07-02 | 2011-10-11 | 윤형관 | IP-based license plate recognition system and method |
JP2014059655A (en) | 2012-09-14 | 2014-04-03 | Toshiba Corp | Road situation-monitoring device, and road situation-monitoring method |
KR101562870B1 (en) * | 2014-11-10 | 2015-10-29 | 주식회사 로보티어 | The Argos tower and Argos system offering a cctv monitor for anti-crime and anti-disaster with wi-fi direct service |
KR101743689B1 (en) * | 2016-09-07 | 2017-06-07 | 주식회사 엠제이비전테크 | Method for image processing of integrated intelligence surveillance CCTV(closed circuit television) and integrated intelligence surveillance CCTV system |
Also Published As
Publication number | Publication date |
---|---|
KR20210051225A (en) | 2021-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mandal et al. | Object detection and tracking algorithms for vehicle counting: a comparative analysis | |
CN102902955B (en) | Intelligent analysis method and system for vehicle behavior | |
Ling et al. | Identifying parking spaces & detecting occupancy using vision-based IoT devices | |
CN110753892A (en) | Method and system for instant object tagging via cross-modality verification in autonomous vehicles | |
CN110753953A (en) | Method and system for object-centric stereo vision in autonomous vehicles via cross-modality verification | |
US10922826B1 (en) | Digital twin monitoring systems and methods | |
CN114781479A (en) | Traffic incident detection method and device | |
KR102493930B1 (en) | Apparatus and method for controlling traffic signal based on reinforcement learning | |
Chang et al. | Video analytics in smart transportation for the AIC'18 challenge | |
CN113971795B (en) | Violation inspection system and method based on self-driving car visual sensing | |
JP2022502750A (en) | Methods and devices for analyzing sensor data flows, as well as methods for guiding vehicles. | |
CN112150814B (en) | Information processing method and device based on intelligent traffic and intelligent traffic system | |
CN111724607B (en) | Steering lamp use detection method and device, computer equipment and storage medium | |
KR102286250B1 (en) | Vehicle number recognition system using cctv | |
CN114882709A (en) | Vehicle congestion detection method and device and computer storage medium | |
CN111738185B (en) | Target identification method, device and equipment | |
KR20170095599A (en) | System and method for video searching | |
US12300106B2 (en) | Machine learning solutions for matching of vehicle exit to unmatched entry events | |
JP2019012496A (en) | Detection program, method, and apparatus | |
US11645838B2 (en) | Object detection system, object detection method, and program | |
KR20220085475A (en) | Vehicle number recognition system using cctv and lidar sensor | |
CN109740518B (en) | Method and device for determining object in video | |
CN114049771A (en) | Bimodal-based traffic anomaly detection method and system and storage medium | |
KR20220107679A (en) | Edge computing device for tracking object, method for controlling the same, and server | |
CN114495028A (en) | Vehicle fake plate identification method and device, electronic equipment and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20191030 |
|
PA0201 | Request for examination | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20210116 Patent event code: PE09021S01D |
|
PG1501 | Laying open of application | ||
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20210721 |
|
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20210730 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20210730 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
PR1001 | Payment of annual fee |
Payment date: 20240710 Start annual number: 4 End annual number: 4 |