[go: up one dir, main page]

KR102201241B1 - 다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 장치 및 방법 - Google Patents

다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 장치 및 방법 Download PDF

Info

Publication number
KR102201241B1
KR102201241B1 KR1020190137470A KR20190137470A KR102201241B1 KR 102201241 B1 KR102201241 B1 KR 102201241B1 KR 1020190137470 A KR1020190137470 A KR 1020190137470A KR 20190137470 A KR20190137470 A KR 20190137470A KR 102201241 B1 KR102201241 B1 KR 102201241B1
Authority
KR
South Korea
Prior art keywords
entity
channel
channel selection
input
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190137470A
Other languages
English (en)
Inventor
황광일
이정훈
정영빈
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020190137470A priority Critical patent/KR102201241B1/ko
Application granted granted Critical
Publication of KR102201241B1 publication Critical patent/KR102201241B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/42615—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific demultiplexing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 장치 및 방법은 채널 비디오 프레임을 입력받고, 개체 인식 결과에 따라 영상 프레임을 입력받는 입력채널의 순서를 선택하는 채널 선택 리스트를 적응적으로 변경하여 컴퓨팅 리소스의 증가없이 다채널의 CCTV 영상 프레임을 처리함으로써 CCTV 영상의 실시간 개체 인식을 효율적으로 수행한다.

Description

다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 장치 및 방법{Apaptive Object Recognizing Apparatus and Method for Processing Data Real Time In Multi Channel Video}
본 발명은 개체 인식 장치에 관한 것으로서, 특히 다채널 비디오 프레임을 입력받고, 개체 인식 결과에 따라 영상 프레임을 입력받는 입력채널의 순서를 선택하는 채널 선택 리스트를 적응적으로 변경하여 컴퓨팅 리소스의 증가없이 다채널의 CCTV 영상 프레임을 처리함으로써 CCTV 영상의 실시간 개체 인식을 효율적으로 수행하는 다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 장치 및 방법에 관한 것이다.
일반적으로 CCTV(Closed Circuit Television) 시스템은 실내 및 실외 보안이 필요한 여러 장소에 카메라를 설치하고, 그 카메라들로부터 수신되는 영상 신호를 단일 장소에 위치한 여러 TV 모니터에 표시하여 적은 감시 인력으로도 많은 장소를 동시에 감시할 수 있다. 또한, 카메라로부터 수신되는 영상신호는 VCR과 같은 저장매체에 기록되어, 도난이 발생한 경우 범인을 체포하는데 있어 도움이 될 뿐만 아니라 중요한 증거 자료로 사용될 수 있다.
그러나 CCTV에서의 영상은 아날로그 형태로 기록되어 있으므로 움직임 검출이나 개체 인식과 같이, 정밀 조사에 도움이 되는 영상 처리 기법을 적용하기가 어렵다. 최근의 디지털 기술의 발전에 힘입어 영상 신호를 디지털화하여 처리하는 기법이 소개되었다.
디지털 비디오 레코더(Digital Video Recorder, DVR) 또는 네트워크 비디오 레코더(Network Video Recorder, NVR) 시스템은 카메라를 통해 입력된 아날로그 방식의 영상 신호를 디지털 신호로 전환하여 동화상 국제 압축 방식인 MPEG으로 영상을 압축/복원하여 저장 및 재생한다.
이러한 DVR 또는 NVR은 사건에 대한 확인을 위해서 저장된 영상 정보를 재생하게 되는데, 복수의 CCTV 카메라와 연결되어 멀티 채널의 영상 정보를 저장하고 있다.
따라서, 종래의 무인 감시 CCTV 시스템은 영상 처리 기술을 이용하여 특정 지역에 침입, 배회 등을 실시간 모니터링하고, 의심 상황을 알람 자동 발생한다.
이러한 CCTV 시스템은 실시간 무인 감시를 위해 기계 학습 기반의 개체 인식 기술을 사용한다. 최근에는 영상 처리 기술을 Deep Learning 기반의 개체 인식 알고리즘이 개발되었고, 대표적으로 SSD(Single Object Detector), YOLO(You Only Look Once) 등이 있다.
이러한 딥러닝 기반의 알고리즘은 하나의 영상 파일에 딥러닝 분석을 수행하여 하나의 탐지 결과를 출력하는데, 복수의 CCTV 채널에 적용하기 위해서 개체 인식 모듈이 병렬로 동작해야 하므로 많은 용량의 메모리, GPU, MCU 등의 하드웨어 리소스를 필요로 하며, 추가적인 서버 구축에 따른 고가의 비용이 요구되는 문제점이 있다.
하지만 현재 대다수의 DVR와 NVR은 일반 PC를 사용하거나 PC급 성능의 시스템을 구축하고 있다. 따라서, 대다수의 DVR와 NVR은 다채널 CCTV로부터 실시간 개체 인식을 위해서 딥러닝 기반의 개체 인식 알고리즘을 적용할 수 없거나 제대로 동작하지 못하는 한계가 있다.
한국 등록특허번호 제10-1930940호
이와 같은 문제점을 해결하기 위하여, 본 발명은 다채널 비디오 프레임을 입력받고, 개체 인식 결과에 따라 영상 프레임을 입력받는 입력채널의 순서를 선택하는 채널 선택 리스트를 적응적으로 변경하여 컴퓨팅 리소스의 증가없이 다채널의 CCTV 영상 프레임을 처리함으로써 CCTV 영상의 실시간 개체 인식을 효율적으로 수행하는 다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 장치 및 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 장치는,
비디오 채널 멀티플렉서(Video Channel Multiplexer)로서 복수의 CCTV(Closed Circuit Television) 카메라의 출력 신호선들과 입력 포트가 각각 접속되는 먹스(Mux);
상기 먹스로부터 상기 복수의 CCTV 카메라 중에서 하나의 CCTV 카메라의 영상 프레임을 수신하고, 상기 수신한 영상 프레임에서 개체의 존재를 추정하여 개체 인식 결과를 출력하는 개체 인식 모듈;
상기 출력한 개체 인식 결과를 기초로 영상 프레임을 입력받는 입력채널의 순서를 선택하는 채널 선택 리스트를 적응적으로 변경하는 탐지 결과부; 및
상기 변경된 채널 선택 리스트에 따라 채널 선택 신호를 생성하여 상기 먹스로 전송하는 적응형 채널 선택부를 포함하며,
상기 먹스는 상기 적응형 채널 선택부의 채널 선택 신호에 따라 선택된 입력채널을 통해 영상 프레임을 선택적으로 입력받는 것을 특징으로 한다.
본 발명의 특징에 따른 다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 장치는,
비디오 채널 멀티플렉서(Video Channel Multiplexer)로서 복수의 CCTV(Closed Circuit Television) 카메라의 출력 신호선들과 입력 포트가 각각 접속되는 먹스(Mux);
상기 먹스로부터 상기 복수의 CCTV 카메라 중에서 하나의 CCTV 카메라의 영상 프레임을 수신하고, 상기 수신한 영상 프레임에서 개체의 존재를 추정하여 개체 인식 결과를 출력하며, 하나의 입력채널에 접속하여 영상 정보를 입력받아 상기 하나의 입력채널의 최대 프레임 인식률을 나타내는 프로세싱 성능(Processing Capability)을 측정하는 개체 인식 모듈;
상기 출력한 개체 인식 결과를 기초로 영상 프레임을 입력받는 입력채널의 순서를 선택하는 채널 선택 리스트를 적응적으로 변경하는 탐지 결과부; 및
상기 변경된 채널 선택 리스트에 따라 채널 선택 신호를 생성하여 상기 먹스로 전송하는 적응형 채널 선택부를 포함하며,
상기 채널 선택 리스트는 상기 프로세싱 성능 안에서 입력채널의 순서를 선택하는 우선 순위를 동적으로 할당하는 것을 특징으로 한다.
본 발명의 특징에 따른 다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 방법은,
복수의 CCTV(Closed Circuit Television) 카메라의 출력 신호선들과 입력 포트가 각각 접속되는 먹스(Mux)를 통해 상기 각각의 CCTV 카메라에서 영상 프레임을 순차적으로 수신하는 단계;
개체 인식 모듈을 이용하여 상기 각각의 CCTV 카메라에서 수신한 영상 프레임을 개체의 존재를 추정하여 개체 인식 결과를 각각 출력하는 단계;
상기 각각의 개체 인식 결과를 기초로 영상 프레임을 입력받는 입력채널의 순서를 선택하는 채널 선택 리스트를 적응적으로 변경하는 단계; 및
상기 변경된 채널 선택 리스트에 따라 채널 선택 신호를 생성하여 상기 먹스로 전송하고, 상기 먹스는 상기 채널 선택 신호에 따라 선택된 입력채널을 통해 영상 프레임을 선택적으로 입력받는 단계를 포함하는 것을 특징으로 한다.
전술한 구성에 의하여, 본 발명은 컴퓨팅 리소스의 증가없이 다채널의 CCTV 영상 프레임을 처리하여 CCTV 영상의 실시간 개체 인식을 효율적으로 수행할 수 있는 효과가 있다.
본 발명은 적응형 개체 인식 장치를 모듈화된 소프트웨어 구성을 통해 다양한 딥러닝 기반 개체 인식 모둘과의 호환이 가능한 효과가 있다.
본 발명은 CCTV의 개수의 증가에 따른 성능의 급격한 저하 또는 하드웨어 사양 증가가 불필요한 효과가 있다.
도 1은 본 발명의 실시예에 따른 다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 확장된 채널 선택 리스트의 모습을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 채널 선택 리스트에 따라 영상 프레임을 선택하여 입력받는 모습을 나타낸 도면이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 장치의 구성을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 확장된 채널 선택 리스트의 모습을 나타낸 도면이고, 도 3은 본 발명의 실시예에 따른 채널 선택 리스트에 따라 영상 프레임을 선택하여 입력받는 모습을 나타낸 도면이다.
본 발명의 실시예에 따른 다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 장치(100)는 먹스(Mux)(110), 개체 인식 모듈(120), 탐지 결과부(130), 이벤트 로그부(140) 및 적응형 채널 선택부(150)를 포함한다.
먹스(Mux)(110)는 비디오 채널 멀티플렉서(Video Channel Multiplexer)로서 복수의 CCTV(Closed Circuit Television) 카메라(160)의 출력 신호선들과 입력 포트가 각각 접속되고, CCTV(160)의 출력 신호선들에 디지털 비디오 레코더(Digital Video Recorder, DVR) 또는 네트워크 비디오 레코더(Network Video Recorder, NVR)(170)의 입력 신호선들이 각각 접속되어 있다.
도 3에 도시된 바와 같이, 먹스(110)는 선택된 입력채널의 프레임만을 입력받고, 나머지 입력채널의 프레임을 버린다.
DVR/NVR(170)은 복수의 CCTV 카메라(160)와 연결되어 멀티 채널의 영상 프레임을 저장한다.
먹스(110)는 하나의 입력채널의 선택 신호를 생성하는 경우, 해당 입력채널에 전기적으로 접속된 CCTV 카메라(160)로부터 영상 프레임을 수신하여 출력한다.
다시 말해, 먹스(110)는 복수의 CCTV 카메라(160)로부터 하나의 입력채널인 CCTV 카메라(160)를 선택하여 영상 프레임을 개체 인식 모듈(120)로 전송한다.
개체 인식 모듈(120)은 심층 신경망(Deep Neural Networks, DNN), 컨볼루션 신경망 (Convolutional deep Neural Networks, CNN), 순환 신경망(Reccurent Neural Network, RNN) 및 심층 신뢰 신경 망(Deep Belief Networks, DBN) 중 어느 하나의 신경망을 이용하여 입력 영상으로부터 특징맵을 추출한다.
개체 인식 모듈(120)은 딥러닝(Deep learning)을 기반으로 학습부에 의하여 이미 학습이 완료된 모델을 이용하여서 특징맵을 생성할 수 있다. 딥러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(Abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습(Machine Learning) 알고리즘의 집합으로 정의된다.
개체 인식 모듈(120)은 영상 프레임에서 개체가 존재할 것으로 추정되는 영역을 추출하고, 추출된 영역으로부터 특징을 나타내는 특징맵을 추출한다.
개체 인식 모듈(120)은 추출한 특징맵을 기초로 영상에서 개체의 존재가 추정되는 적어도 하나의 영역을 추출한다. 영역을 추출하는 방법은 예를 들어 faster RCNN, SSD(Single Shot MultiBox Detector), Yolo(You Only Look Once) 등이 있을 수 있다.
개체 인식 모듈(120)은 특징맵 중에서 영상의 영역별 클래스의 좌표를 포함하는 특징맵을 선정하고, 선정된 특징맵으로부터 영역을 구별하는 좌표를 식별한 뒤, 식별된 좌표를 개체의 존재가 추정되는 영역으로 추출할 수 있다.
개체 인식 모듈(120)은 물건, 사람, 동물 등 다양한 개체를 하나 또는 2개 이상으로 설정할 수 있다.
또한, 개체 인식 모듈(120)은 추출된 적어도 하나의 영역 각각에 대해서, 해당 객체의 최외곽을 둘러싸는 바운딩 박스(Bounding Box)로서 표시할 수 있다.
각각의 바운딩 박스는 영상에서 해당 바운딩 박스의 위치에 개체의 존재 가능성이 있음을 나타낸다.
개체 인식 모듈(120)은 영상 정보를 나타내는 프레임을 입력으로 받아 해당 프레임 내에서 개체의 위치 좌표((X1, Y1), (X2, Y2))를 바운딩 박스로 한 결과 정보를 출력한다.
개체 인식 모듈(120)은 영상 프레임을 입력받아 플레이 했을 때, 초당 15 내지 30 프레임을 처리해서 바운딩 박스가 표시된 영상 정보를 출력한다.
개체 인식 모듈(120)은 적응형 채널 선택부(150)에 의해 먹스(110)에서 선택된 입력채널의 영상 프레임을 입력받고, 개체 인식 알고리즘을 통해 개체 인식 결과를 생성하여 탐지 결과부(130)로 전송한다.
다시 말해, 개체 인식 모듈(120)은 먹스(110)로부터 복수의 CCTV 카메라(160) 중에서 하나의 CCTV 카메라(160)의 영상 프레임을 수신하고, 수신한 영상 프레임에서 개체의 존재를 추정하여 개체 인식 결과를 출력한다.
개체 인식 모듈(120)은 각각의 CCTV 카메라(160)로부터 입력되어 모니터링을 수행할 입력채널이 N개라고 가정하면, 하나의 입력채널에 접속하여 영상 프레임을 입력받아 플레이하면, 프로세싱 성능(Processing Capability)이 결과로 측정된다.
여기서, 프로세싱 성능은 C frame/sec 동영상을 처리하는 시스템 성능을 나타낸다.
예를 들면, 개체 인식 모듈(120)은 1초당 25 프레임, 30 프레임 등 동영상을 처리하는 프로세싱 성능이 결과로 측정된다.
이러한 프로세싱 성능은 각 시스템(PC, NVR, DVR)의 프로세싱 사양에 따라 달라질 수 있다.
탐지 결과부(130)는 개체 인식 모듈(120)로부터 프로세싱 성능(C frame/sec)을 수신하고, 데드라인 시간을 설정할 수 있다.
여기서, 데드라인 시간(Td)은 영상 프레임 내에 개체 이동에 따른 최대 허용 시간을 나타내며, 예를 들어 2초, 3초 등으로 설정된다.
탐지 결과부(130)는 프로세싱 성능을 데드라인 시간에 곱하여 채널 선택 리스트(152)의 최대 사이즈를 계산한다(M = C × Td).
탐지 결과부(130)는 최대로 지원할 수 있는 채널은 최대 사이즈(M)와 같거나 작게 설정하고, 이벤트 틱(Event Tick)을 1/C sec로 설정한다. 여기서, 이벤트 틱은 적응형 채널 선택부(150)가 먹스(110)에서 채널을 선택하는 이벤트 간격 시간을 나타낸다.
예를 들어, 적응형 채널 선택부(150)가 먹스(110)에서 1채널, 2채널, 4채널, 5채널 등 1/C sec(이벤트 간격 시간)마다 채널을 선택한다. 따라서, 이벤트 틱은 프레임 레이트(frame rate)를 따라 간다.
적응형 채널 선택부(150)는 최초에 채널 선택 리스트(152)의 사이즈를 N개로 설정하여 모든 채널이 순서대로 한 번씩 선택되도록 한다.
적응형 채널 선택부(150)는 모든 채널을 순서대로 한 번씩 선택되는 채널 선택 신호를 생성하여 먹스(110)로 전송한다.
이벤트 로그부(140)는 개체 인식 발생 시 로거(Logger)에 해당 정보를 저장한다. 이벤트 로그부(140)는 입력채널 정보, 시간, 감지된 개체수, 바운딩 박스 정보를 기록한다.
개체 인식 모듈(120)은 적응형 채널 선택부(150)에서 선택된 제1 입력채널부터 제n 입력채널까지 모든 입력채널에 대한 개체 인식의 수행이 완료되면, 개체 인식 알고리즘을 통해 개체 인식 결과를 생성하여 탐지 결과부(130)로 전송한다.
제1 채널부터 제n 채널까지 모든 채널에 대한 개체 인식의 수행이 완료되면 하나의 라운드가 끝났다고 표현한다.
탐지 결과부(130)는 하나의 라운드의 개별 영상 프레임마다 개체 인식 결과를 수신하여 저장한다. 개체 인식 결과는 바운딩 박스((X1, Y1), (X2, Y2)), 인식된 개체수, 개체 인식 확률을 포함할 수 있다.
탐지 결과부(130)는 수신한 개체 인식 결과를 분석하여 다음 라운드를 위한 채널 선택 리스트(152)를 적응적으로 변경할 수 있다.
탐지 결과부(130)는 출력한 개체 인식 결과를 기초로 영상 프레임을 입력받는 입력채널의 순서를 선택하는 채널 선택 리스트(152)를 적응적으로 변경하여 적응형 채널 선택부(150)로 전송한다.
적응형 채널 선택부(150)는 변경된 채널 선택 리스트(152)에 따라 채널 선택 신호를 생성하여 먹스(110)로 전송한다. 먹스(110)는 적응형 채널 선택부(150)의 채널 선택 신호에 따라 선택된 입력채널을 통해 영상 프레임을 선택적으로 입력받는다.
탐지 결과부(130)는 하나의 라운드 동안 생성된 개체 인식 결과를 저장하고, 개체 인식 결과를 분석하여 모든 입력채널의 영상 프레임에서 개체가 인식되지 못하는 경우, 다시 N개의 채널의 채널 선택 리스트(152)를 생성하여 적응형 채널 선택부(150)로 전송한다.
탐지 결과부(130)는 개체 인식 결과를 분석하여 하나 이상의 개체를 검출하게 되면, 채널 선택 리스트(152)의 최대 사이즈인 M(C × Td)으로 확장하고, 확장된 채널 선택 리스트(152)를 적응형 채널 선택부(150)로 전송한다.
C는 개체 인식 모듈(120)에서 하나의 입력채널의 최대 프레임 인식률이고, Td는 영상 프레임 내에서 개체 이동에 따른 기설정된 최대 허용 시간을 나타낸다.
여기서, 확장된 채널 선택 리스트(152)는 PA(Privileged Area)(152a)와 NPA(Non Privileged Area)(152b)의 2개의 영역으로 구분되고, PA(152a)는 이번 라운드에 개체가 인식된 채널들에 대한 선택 순서 리스트 영역이며, NPA(152b)는 이번 라운드에 개체가 인식되지 않은 채널들에 대한 영역을 나타낸다.
PA(152a)는 개체가 인식된 입력채널들에 대한 선택 순서를 나타내는 제1 리스트 영역이고, NPA(152b)는 개체가 인식되지 않은 입력채널들에 대한 선택 순서를 나타내는 제2 리스트 영역이다.
탐지 결과부(130)는 하나의 라운드가 완료되면, 각 입력채널별로 인식된 개체들, 개체 인식 확률, 개체마다 바운딩 박스 정보를 저장한다.
탐지 결과부(130)는 개체 인식 결과 중에서 각 입력채널마다 인식된 개체들의 개체 인식 확률의 최대값을 채널별로 추출한다.
탐지 결과부(130)는 적어도 1개 이상의 입력채널에서 개체가 인식되는 경우, 채널 선택 리스트(152)의 사이즈를 최대 사이즈(M = C × Td)로 확장하고, PA 구간의 사이즈를 계산한다.
탐지 결과부(130)는 PA 구간(152a)의 사이즈를 PA = M - NPA(N-D) 구간을 뺀 값으로 계산된다. 여기서, D는 인식된 입력채널의 개수를 나타낸다.
PA 구간(152a)의 사이즈는 개체가 인식될수록 증가하고, 개체가 인식되지 않을수록 감소한다.
PA 구간(152a)은 개체가 인식된 입력채널의 영상 프레임을 개체가 인식되지 않은 채널보다 한 번 이상이라도 더 개체 인식 모듈로 입력하여 개체 인식 과정을 수행하고자 하는 것이다.
탐지 결과부(130)는 PA 구간(152a)을 개체가 인식된 입력채널의 개수로 나눈 몫을 계산한다. 예를 들면, PA 구간(152a)이 14이고, 개체가 인식된 입력채널(D)이 3개라고 가정하면, 나눈 몫은 14/3 = 4가 된다.
PA 구간(152a)에서는 개체가 인식된 입력채널을 균등하게 번갈아가면서 할당한다.
예를 들면, 도 2에 도시된 바와 같이, PA 구간(152a)이 13이고, 채널이 인식된 입력채널(D)이 3개라고 가정하면, PA 구간(152a) 내에서 13/3(PA/D)=4, 즉, 개체가 인식된 채널인 3개를 균등하게 번갈아가면서 PA 구간(152a) 내에서 할당한다.
PA 구간 내에서 개체가 인식된 채널(ch[1], ch[2], ch[3])을 나눈 몫(4번)을 곱한 만큼 할당하게 된다. 즉, ch[1], ch[2], ch[3], ch[1], ch[2], ch[3], ch[1], ch[2], ch[3], ch[1], ch[2], ch[3]을 할당하게 된다.
탐지 결과부(130)는 PA 구간(152a)을 개체가 인식된 입력채널의 개수로 나눈 나머지를 계산한다. 예를 들면, PA 구간(152a)이 13이고, 개체가 인식된 입력채널(D)이 3개라고 가정하면, 나머지는 13 % 3 = 1이 된다.
PA 구간(152a)의 나머지 구간(1개)은 개체가 인식된 입력채널을 할당한 후 남은 구간으로 개체가 인식된 입력채널 중에서 개체 인식 확률이 높은 순서대로 입력채널을 할당한다.
다시 말해, 나머지 구간은 개체가 인식된 입력채널 중에서 상기 개체 인식 확률의 최대값을 비교하여 개체 인식 확률이 높은 순서대로 입력채널을 할당할 수 있다.
예를 들면, 도 2에 도시된 바와 같이, 개체 인식 확률이 높은 ch[1]을 PA 내 남은 구간(13 % 3 = 1)에 할당하게 된다.
탐지 결과부(130)는 NPA 구간(152b)에 ch[4] 내지 ch[N]을 순차적으로 한 번씩 할당한다. 이와 같이, 탐지 결과부(130)는 PA 구간(152a)과 NPA 구간(152b)에 채널 할당이 완료되면, 변경된 채널 선택 리스트(152)를 적응형 채널 선택부(150)로 전송한다.
적응형 채널 선택부(150)는 탐지 결과부(130)로부터 변경된 채널 선택 리스트(152)를 수신하고, 변경된 채널 선택 리스트(152)를 기초로 먹스(110)를 제어하여 다음 라운드를 수행한다.
채널 선택 리스트(152)는 탐지 결과부(130)에서 프로세싱 성능 안에서 입력채널의 순서를 선택하는 우선 순위를 동적으로 할당할 수 있다. 즉, 최대 프레임 내에서 멀티 입력채널로 나누어진다.
다른 실시예로서, DVR/NVR(170)은 내부에 먹스(Mux)(110), 개체 인식 모듈(120), 탐지 결과부(130), 이벤트 로그부(140) 및 적응형 채널 선택부(150)를 포함시킬 수도 있으며, 이러한 구성요소를 하드웨어 또는 소프트웨어 모듈로 구현할 수 있다.
본 발명은 적응형 개체 인식 장치를 모듈화된 소프트웨어 구성을 통해 다양한 딥러닝 기반 개체 인식 모둘과의 호환이 가능하며, CCTV의 개수의 증가에 따른 성능의 급격한 저하 또는 하드웨어 사양 증가가 불필요한 효과가 있다.
이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 적응형 개체 인식 장치 110: 먹스
120: 개체 인식 모듈 130: 탐지 결과부
140: 이벤트 로그부 150: 적응형 채널 선택부
160: CCTV 170: DVR/NVR

Claims (11)

  1. 비디오 채널 멀티플렉서(Video Channel Multiplexer)로서 복수의 CCTV(Closed Circuit Television) 카메라의 출력 신호선들과 입력 포트가 각각 접속되는 먹스(Mux);
    상기 먹스로부터 상기 복수의 CCTV 카메라 중에서 하나의 CCTV 카메라의 영상 프레임을 수신하고, 상기 수신한 영상 프레임에서 개체의 존재를 추정하여 개체 인식 결과를 출력하는 개체 인식 모듈;
    상기 출력한 개체 인식 결과를 기초로 영상 프레임을 입력받는 입력채널의 순서를 선택하는 채널 선택 리스트를 적응적으로 변경하는 탐지 결과부; 및
    상기 변경된 채널 선택 리스트에 따라 채널 선택 신호를 생성하여 상기 먹스로 전송하는 적응형 채널 선택부를 포함하며,
    상기 탐지 결과부는 상기 개체 인식 결과에 따라 상기 채널 선택 리스트의 사이즈가 확장되거나 축소되고,
    상기 먹스는 상기 적응형 채널 선택부의 채널 선택 신호에 따라 선택된 입력채널을 통해 영상 프레임을 선택적으로 입력받는 것을 특징으로 하는 적응형 개체 인식 장치.
  2. 비디오 채널 멀티플렉서(Video Channel Multiplexer)로서 복수의 CCTV(Closed Circuit Television) 카메라의 출력 신호선들과 입력 포트가 각각 접속되는 먹스(Mux);
    상기 먹스로부터 상기 복수의 CCTV 카메라 중에서 하나의 CCTV 카메라의 영상 프레임을 수신하고, 상기 수신한 영상 프레임에서 개체의 존재를 추정하여 개체 인식 결과를 출력하며, 하나의 입력채널에 접속하여 영상 정보를 입력받아 상기 하나의 입력채널의 최대 프레임 인식률을 나타내는 프로세싱 성능(Processing Capability)을 측정하는 개체 인식 모듈;
    상기 출력한 개체 인식 결과를 기초로 영상 프레임을 입력받는 입력채널의 순서를 선택하는 채널 선택 리스트를 적응적으로 변경하는 탐지 결과부; 및
    상기 변경된 채널 선택 리스트에 따라 채널 선택 신호를 생성하여 상기 먹스로 전송하는 적응형 채널 선택부를 포함하며,
    상기 채널 선택 리스트는 상기 프로세싱 성능 안에서 입력채널의 순서를 선택하는 우선 순위를 동적으로 할당하는 것을 특징으로 하는 적응형 개체 인식 장치.
  3. 제2항에 있어서,
    상기 탐지 결과부는 상기 개체 인식 결과에 따라 상기 채널 선택 리스트의 사이즈가 확장되거나 축소되는 것을 특징으로 하는 적응형 개체 인식 장치.
  4. 제1항 또는 제2항에 있어서,
    상기 탐지 결과부는 상기 개체 인식 결과가 적어도 하나 이상의 개체가 검출되는 경우, 상기 채널 선택 리스트를 최대 사이즈로 확장하며, 상기 최대 사이즈는 상기 개체 인식 모듈에서 하나의 입력채널의 최대 프레임 인식률과, 영상 프레임 내에서 개체 이동에 따른 기설정된 최대 허용 시간을 곱한 것을 특징으로 하는 적응형 개체 인식 장치.
  5. 제1항 또는 제3항에 있어서,
    상기 채널 선택 리스트는 개체가 인식된 입력채널들에 대한 선택 순서를 나타내는 제1 리스트 영역과, 개체가 인식되지 않은 입력채널들에 대한 선택 순서를 나타내는 제2 리스트 영역을 포함하고,
    상기 탐지 결과부는 상기 제1 리스트 영역의 사이즈를 상기 개체가 인식된 입력채널의 개수로 나눈 몫을 계산하고, 상기 제1 리스트 영역에는 상기 개체가 인식된 입력채널을 균등하게 번갈아가면서 할당하고, 상기 개체가 인식된 입력채널에 상기 계산한 몫을 곱한 만큼 순차적으로 할당하는 것을 특징으로 하는 적응형 개체 인식 장치.
  6. 제5항에 있어서,
    상기 탐지 결과부는 상기 제1 리스트 영역의 사이즈를 상기 개체가 인식된 입력채널의 개수로 나눈 나머지를 계산하고, 상기 제1 리스트 영역에서 상기 계산한 나머지 구간은 상기 개체가 인식된 입력채널 중에서 개체 인식 확률이 높은 순서대로 입력채널을 할당하는 것을 특징으로 하는 적응형 개체 인식 장치.
  7. 복수의 CCTV(Closed Circuit Television) 카메라의 출력 신호선들과 입력 포트가 각각 접속되는 먹스(Mux)를 통해 상기 각각의 CCTV 카메라에서 영상 프레임을 순차적으로 수신하는 단계;
    개체 인식 모듈을 이용하여 상기 각각의 CCTV 카메라에서 수신한 영상 프레임을 개체의 존재를 추정하여 개체 인식 결과를 각각 출력하는 단계;
    상기 각각의 개체 인식 결과를 기초로 영상 프레임을 입력받는 입력채널의 순서를 선택하는 채널 선택 리스트를 적응적으로 변경하는 단계; 및
    상기 변경된 채널 선택 리스트에 따라 채널 선택 신호를 생성하여 상기 먹스로 전송하고, 상기 먹스는 상기 채널 선택 신호에 따라 선택된 입력채널을 통해 영상 프레임을 선택적으로 입력받는 단계를 포함하며,
    상기 개체 인식 결과를 각각 출력하는 단계는,
    상기 개체 인식 모듈은 하나의 입력채널에 접속하여 영상 정보를 입력받아 플레이하면, 하나의 입력채널의 최대 프레임 인식률을 나타내는 프로세싱 성능(Processing Capability)이 측정되고, 영상 프레임 내에서 개체 이동에 따른 최대 허용 시간을 설정하는 단계를 포함하는 것을 특징으로 하는 적응형 개체 인식 방법.
  8. 삭제
  9. 제7항에 있어서,
    제1 입력채널부터 제n 입력채널까지 모든 입력채널에 대한 개체 인식을 순차적으로 수행하여 개체 인식 결과를 생성하는 단계;
    상기 각 입력채널마다 인식된 개체들의 개체 인식 확률의 최대값을 추출하는 단계; 및
    상기 생성한 개체 인식 결과에서 적어도 하나 이상의 개체가 검출되는 경우, 상기 프로세싱 성능과 상기 최대 허용 시간을 곱하여 상기 채널 선택 리스트를 최대 사이즈로 확장하는 단계를 포함하는 것을 특징으로 하는 적응형 개체 인식 방법.
  10. 제9항에 있어서,
    상기 확장한 채널 선택 리스트는 개체가 인식된 입력채널들에 대한 선택 순서를 나타내는 제1 리스트 영역과, 개체가 인식되지 않은 입력채널들에 대한 선택 순서를 나타내는 제2 리스트 영역을 포함하고,
    상기 제1 리스트 영역의 사이즈를 상기 개체가 인식된 입력채널의 개수로 나눈 몫을 계산하고, 상기 제1 리스트 영역에는 상기 개체가 인식된 입력채널을 균등하게 번갈아가면서 할당하고, 상기 개체가 인식된 입력채널에 상기 계산한 몫을 곱한 만큼 순차적으로 할당하는 단계를 포함하는 것을 특징으로 하는 적응형 개체 인식 방법.
  11. 제10항에 있어서,
    상기 제1 리스트 영역의 사이즈를 상기 개체가 인식된 입력채널의 개수로 나눈 나머지를 계산하고, 상기 제1 리스트 영역에서 상기 계산한 나머지 구간은 상기 개체가 인식된 입력채널 중에서 상기 개체 인식 확률의 최대값을 비교하여 개체 인식 확률이 높은 순서대로 입력채널을 할당하는 단계를 포함하는 것을 특징으로 하는 적응형 개체 인식 방법.
KR1020190137470A 2019-10-31 2019-10-31 다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 장치 및 방법 Active KR102201241B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190137470A KR102201241B1 (ko) 2019-10-31 2019-10-31 다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190137470A KR102201241B1 (ko) 2019-10-31 2019-10-31 다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102201241B1 true KR102201241B1 (ko) 2021-01-12

Family

ID=74129680

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190137470A Active KR102201241B1 (ko) 2019-10-31 2019-10-31 다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102201241B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950001571A (ko) * 1993-06-11 1995-01-03 다까노 야스아끼 위치결정장치
KR100193808B1 (ko) * 1995-02-28 1999-06-15 윤종용 감시용 시스템의 이상발생위치 집중감시방법
JP2007018324A (ja) * 2005-07-08 2007-01-25 Central Res Inst Of Electric Power Ind 画像処理による侵入物体検出装置および方法およびプログラム
KR101930940B1 (ko) 2017-07-20 2018-12-20 에스케이텔레콤 주식회사 영상 분석 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950001571A (ko) * 1993-06-11 1995-01-03 다까노 야스아끼 위치결정장치
KR100193808B1 (ko) * 1995-02-28 1999-06-15 윤종용 감시용 시스템의 이상발생위치 집중감시방법
JP2007018324A (ja) * 2005-07-08 2007-01-25 Central Res Inst Of Electric Power Ind 画像処理による侵入物体検出装置および方法およびプログラム
KR101930940B1 (ko) 2017-07-20 2018-12-20 에스케이텔레콤 주식회사 영상 분석 장치 및 방법

Similar Documents

Publication Publication Date Title
US12342105B2 (en) Analytics-driven summary views for surveillance networks
US8675065B2 (en) Video monitoring system
EP2283472B1 (en) A system and method for electronic surveillance
AU2004303397B2 (en) Computerized method and apparatus for determining field-of-view relationships among multiple image sensors
JP4847165B2 (ja) 映像記録再生方法及び映像記録再生装置
US8724891B2 (en) Apparatus and methods for the detection of abnormal motion in a video stream
US8922659B2 (en) Dynamically reconfigurable intelligent video surveillance system
GB2450478A (en) A security device and system
KR101747214B1 (ko) 다채널 영상 분석 방법 및 시스템
JP2008283230A (ja) 画像処理システム
KR101949676B1 (ko) 압축영상에 대한 신택스 기반의 객체 침입 감지 방법
US9628874B2 (en) Imaging apparatus and method of providing video summary
KR20160093253A (ko) 영상 기반 이상 흐름 감지 방법 및 그 시스템
JP2015154465A (ja) 表示制御装置、表示制御方法及びプログラム
JPH09252467A (ja) 移動体検出装置
KR102201241B1 (ko) 다채널 비디오 스트림을 실시간으로 데이터 처리하는 적응형 개체 인식 장치 및 방법
US10769907B2 (en) Counter-flow detection in compressed video
KR101060414B1 (ko) 감시 시스템 및 그 감시 방법
KR20210108691A (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
KR102015082B1 (ko) 압축영상에 대한 신택스 기반의 객체 추적 방법
KR20160074811A (ko) 가상라인을 이용하여 방향별 발생 이벤트를 감지할 수 있는 cctv모니터링 시스템 및 그 방법
KR20250014506A (ko) 실시간 영상분석과 통합 컨트롤러 시스템 및 방법.
KR20100008909U (ko) 디지털 비디오 레코더 겸용 감시용 카메라

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20191031

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200916

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20201208

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210105

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210106

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240109

Start annual number: 4

End annual number: 4