KR20220067733A - Vehicle lightweight deep learning processing device and method applying multiple feature extractor - Google Patents
Vehicle lightweight deep learning processing device and method applying multiple feature extractor Download PDFInfo
- Publication number
- KR20220067733A KR20220067733A KR1020200154274A KR20200154274A KR20220067733A KR 20220067733 A KR20220067733 A KR 20220067733A KR 1020200154274 A KR1020200154274 A KR 1020200154274A KR 20200154274 A KR20200154274 A KR 20200154274A KR 20220067733 A KR20220067733 A KR 20220067733A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- illuminance
- rgb
- deep learning
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000013135 deep learning Methods 0.000 title abstract description 31
- 238000012545 processing Methods 0.000 title abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims description 21
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
다중 특징 추출기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법이 제공된다. 본 발명의 실시예에 따른 객체 검출 방법은, 제1 타입의 제1 영상, 제2 타입의 제2 영상, 제3 타입의 제3 영상을 입력받고, 조도를 추정하며, 추정된 조도를 기초로 제1 영상, 제2 영상 및 제3 영상을 각기 다르게 융합하여, 하나의 Feature Map을 생성한 후 생성한 Feature Map을 분석하여 객체를 검출한다. 이에 의해, 경량의 임베디드향 딥러닝 네트워크로 차량에 설치된 이종의 센서들로부터 생성되는 영상들을 입력받아 객체를 검출/분류할 수 있게 된다.A lightweight deep learning processing apparatus and method for a vehicle to which a multi-feature extractor is applied are provided. An object detection method according to an embodiment of the present invention receives a first type of first image, a second type of second image, and a third type of third image, estimates illuminance, and based on the estimated illuminance The first image, the second image, and the third image are fused differently to generate a single feature map, and then an object is detected by analyzing the generated feature map. Thereby, it is possible to detect/classify objects by receiving images generated from heterogeneous sensors installed in the vehicle with a lightweight embedded deep learning network.
Description
본 발명은 인공지능 기술을 활용한 영상 처리 및 SoC(System on Chip) 기술에 관한 것으로, 더욱 상세하게는 이종의 센서들로부터 영상들을 입력받아 딥러닝으로 처리하는 장치 및 방법에 관한 것이다.The present invention relates to image processing and SoC (System on Chip) technology using artificial intelligence technology, and more particularly, to an apparatus and method for receiving images from heterogeneous sensors and processing them through deep learning.
카메라 등을 통해 생성한 영상 데이터로부터 추출한 특징 정보를 이용하여, 차량 외부에 대한 객체 검출, 차선 검출, 도로 검출 등 수 많은 응용에 대한 연구와 개발이 진행 중에 있다.Research and development of numerous applications such as object detection outside the vehicle, lane detection, and road detection are in progress by using feature information extracted from image data generated through a camera.
특히, 자율 주행 차량에 적용하기 위하여 외부에 RGB 카메라, 스테레오 카메라, ToF 센서, Lidar 등을 연동하여 외부 상황인지 개발에 대부분의 역량을 할애하고 있다.In particular, in order to apply it to autonomous vehicles, most of its capabilities are devoted to the development of external context awareness by linking an external RGB camera, stereo camera, ToF sensor, and lidar.
하지만, 차량 내부 카메라 시스템은 운전자 상태 검출 정도로 아직 영상 기반의 다양한 센서 응용이 미약한 실정이다. 특히, RGB 영상 센서와 함께 신종 RCCC, RGBIR 등 다기능 센서 신호 처리 전용 프로세서가 없어 고가의 DSP 및 GPU를 활용하고 있다.However, the application of various image-based sensors to the degree of driver state detection in the in-vehicle camera system is still weak. In particular, there is no processor dedicated to multi-function sensor signal processing such as new RCCC and RGBIR along with RGB image sensor, so expensive DSP and GPU are used.
뿐만 아니라, 차량 내부 시스템에 적용 가능한 초경량의 딥러닝 하드웨어 플랫폼도 전무한 실정이다.In addition, there is no ultra-light deep learning hardware platform applicable to in-vehicle systems.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 막대한 연산을 최소화 할 수 있는 퓨전 딥러닝 네트워크 구조를 적용하여, 임베디드 하드웨어에 구현 가능한 수준의 다중 센서 기반 객체 인지를 수행할 수 있는, 다중 특징 추출기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법을 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to apply a fusion deep learning network structure that can minimize enormous computation, and to recognize multi-sensor-based object recognition at a level that can be implemented in embedded hardware. An object of the present invention is to provide a lightweight deep learning processing apparatus and method for a vehicle to which a multi-feature extractor is applied.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 객체 검출 방법은, 제1 타입의 제1 영상을 입력받는 제1 입력단계; 제2 타입의 제2 영상을 입력받는 제2 입력단계; 제3 타입의 제3 영상을 입력받는 제3 입력단계; 조도를 추정하는 단계; 추정된 조도를 기초로 제1 영상, 제2 영상 및 제3 영상을 각기 다르게 융합하여, 하나의 Feature Map을 생성하는 단계; 생성한 Feature Map을 분석하여, 객체를 검출하는 단계;를 포함한다.According to an embodiment of the present invention, there is provided a method for detecting an object, comprising: a first input step of receiving a first image of a first type; a second input step of receiving a second type of second image; a third input step of receiving a third type of third image; estimating the illuminance; generating one feature map by differently fusing the first image, the second image, and the third image based on the estimated illuminance; and analyzing the generated feature map to detect an object.
생성 단계는, 추정된 조도를 기초로 제1 영상, 제2 영상 및 제3 영상 중 하나를 선택하고, 선택된 영상의 Feature Map을 생성할 수 있다.In the generating step, one of the first image, the second image, and the third image may be selected based on the estimated illuminance, and a feature map of the selected image may be generated.
추정 단계는, 픽셀 별로 조도를 추정하고, 생성 단계는, 픽셀 별 조도를 기초로, 픽셀 별 마다 제1 영상, 제2 영상 및 제3 영상 중 어느 하나를 선택하여, 하나의 Feature Map을 생성할 수 있다.In the estimating step, illuminance is estimated for each pixel, and in the generating step, a feature map is generated by selecting any one of the first image, the second image, and the third image for each pixel based on the illuminance per pixel. can
추정 단계는, 제1 영상을 이용하여, 조도를 추정할 수 있다.In the estimation step, the illuminance may be estimated using the first image.
추정 단계는, 픽셀 별로 조도를 추정하고, 제3 영상은, 추정된 조도를 기초로, 픽셀 별 마다 제1 영상 및 제2 영상 중 어느 하나를 선택하여, 생성된 영상일 수 있다.In the estimating step, illuminance is estimated for each pixel, and the third image may be an image generated by selecting any one of the first image and the second image for each pixel based on the estimated illuminance.
제1 영상은, RGB 영상이고, 제2 영상은, IR 영상이며, 제3 영상은, RGB 영상과 IR 영상을 융합한 영상일 수 있다.The first image may be an RGB image, the second image may be an IR image, and the third image may be a fusion image of the RGB image and the IR image.
그리고, 제3 영상은, 조도 정보를 기초로, RGB 영상과 IR 영상이 융합될 수 있다.In addition, the third image may be a fusion of an RGB image and an IR image based on the illuminance information.
한편, 본 발명의 다른 실시예에 따른, 객체 검출 장치는, 조도를 추정하는 추정기; 추정부에서 추정된 조도를 기초로 제1 영상, 제2 영상 및 제3 영상을 각기 다르게 융합하여, 하나의 Feature Map을 생성하는 융합기; 생성한 Feature Map을 분석하여, 객체를 검출하는 검출기;를 포함한다.Meanwhile, according to another embodiment of the present invention, an object detection apparatus includes an estimator for estimating illumination; a fusion device for generating a single feature map by differently fusing the first image, the second image, and the third image based on the illuminance estimated by the estimator; and a detector that analyzes the generated feature map and detects an object.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 경량의 임베디드향 딥러닝 네트워크로 차량에 설치된 이종의 센서들로부터 생성되는 영상들을 입력받아 객체를 검출/분류할 수 있게 된다.As described above, according to embodiments of the present invention, it is possible to detect/classify objects by receiving images generated from heterogeneous sensors installed in a vehicle through a lightweight embedded deep learning network.
또한, 본 발명의 실시예들에 따르면, 다양한 센서의 변경이 있어도 간단한 선택만으로 딥러닝 엔진 동작이 가능해진다.In addition, according to embodiments of the present invention, even if there are changes in various sensors, a deep learning engine operation is possible only by a simple selection.
도 1은 차량용 다중 센서 기반의 객체 검출용 딥러닝 네트워크의 구조를 도시한 도면,
도 2는 본 발명의 일 실시예에 따른 차량용 경량 딥러닝 처리 장치의 블럭도,
도 3은 차량용 경량 딥러닝 처리 장치의 설치 상태를 도시한 도면,
도 4는 RGB 영상 생성 과정의 설명에 제공되는 도면,
도 5는 IR 영상 생성 과정의 설명에 제공되는 도면,
도 6은 RGB/IR 영상 생성 과정의 설명에 제공되는 도면,
도 7 및 도 8은 성능 측정 결과,
도 9는 본 발명의 다른 실시예에 따른 차량 내부 객체 검출/분류 방법의 설명에 제공되는 흐름도이다.1 is a diagram showing the structure of a deep learning network for object detection based on multiple sensors for a vehicle;
2 is a block diagram of a lightweight deep learning processing device for a vehicle according to an embodiment of the present invention;
3 is a view showing an installation state of a lightweight deep learning processing device for a vehicle;
4 is a diagram provided for explanation of an RGB image generation process;
5 is a diagram provided for explanation of an IR image generation process;
6 is a diagram provided for explanation of an RGB/IR image generation process;
7 and 8 are performance measurement results,
9 is a flowchart provided to explain a method for detecting/classifying an object inside a vehicle according to another embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.
본 발명의 실시예에서는, 다중 센서를 위한 차량용 경량 딥러닝 처리 장치 및 방법을 제시한다.In an embodiment of the present invention, a lightweight deep learning processing apparatus and method for a vehicle for multiple sensors are provided.
구체적으로, 이종의 센서로 생성한 영상들인 RGB 영상과 IR 영상을 입력으로 하되 다중 특징 추출기를 적용하여 차량 내부의 객체를 검출/분류하는 딥러닝 네트워크의 새로운 구조를 제시한다.Specifically, we present a new structure of a deep learning network that uses RGB images and IR images, which are images generated by heterogeneous sensors, as inputs, and detects/classifies objects inside a vehicle by applying a multi-feature extractor.
본 발명의 실시예를 통해 제시하는 딥러닝 네트워크는, 다중 센서 기반의 차량 내부 객체 인식이 가능한 경량의 임베디드향 딥러닝 구조로, 모바일 반도체에 적용 가능하다.The deep learning network presented through an embodiment of the present invention is a lightweight embedded deep learning structure that can recognize objects inside a vehicle based on multiple sensors, and is applicable to mobile semiconductors.
도 1은 차량용 다중 센서 기반의 객체 검출용 딥러닝 네트워크의 구조를 도시한 도면이다. 도시된 바와 같이, RGB 센서에서 생성된 RGB 영상과 IR 센서에서 생성된 IR 영상이 각각의 채널로 객체 검출용 딥러닝 네트워크에 입력된다.1 is a diagram illustrating the structure of a deep learning network for object detection based on multiple sensors for a vehicle. As shown, the RGB image generated by the RGB sensor and the IR image generated by the IR sensor are input to the deep learning network for object detection through respective channels.
객체 검출용 딥러닝 네트워크는 입력된 RGB 영상으로부토 조도(Light Condition)를 추정하고, 추정된 조도 정보를 RGB 영상 및 IR 영상과 함께 퓨전 레이어에 입력시킨다.The deep learning network for object detection estimates the illuminance from the input RGB image, and inputs the estimated illuminance information together with the RGB image and the IR image to the fusion layer.
이에 의해, 객체 검출용 딥러닝 네트워크는, 하나의 네트워크로 RGB 영상와 IR 영상의 특징을 추출하며, 특징을 추출함에 있어서는 추정된 조도 정보까지 이용함으로써 조도 영향들을 보상하여 영상의 특징을 생성할 수 있다.Accordingly, the deep learning network for object detection extracts the features of the RGB image and the IR image with one network, and in extracting the features, even the estimated illuminance information is used to compensate for the illuminance effects to generate the image features. .
다음, 객체 검출용 딥러닝 네트워크는, 추출된 RGB 영상의 특징과 IR 영상의 특징을 이용하여, 영상에 존재하는 객체를 검출하고, 검출된 객체를 분류한다. 검출 및 분류 결과는 영상에서 객체를 표시한 BB(Boundary Boc)와 정확도/신뢰도를 나타내는 스코어로 제시된다.Next, the deep learning network for object detection detects an object existing in the image by using the extracted RGB image and the IR image, and classifies the detected object. The detection and classification results are presented as a BB (Boundary Boc) indicating an object in the image and a score indicating accuracy/reliability.
하지만, 이 구조는 조도 변화에 적응적이지 못하고, 신규 센서의 적용 및 장착 위치에 따라 해당 데이터의 형태 및 조건이 변화되어 다양한 변화 조건을 만족시킨 수 있는 Fusion 기법이 요구된다.However, this structure is not adaptive to changes in illuminance, and the form and condition of the corresponding data change depending on the application and mounting location of the new sensor, so a fusion technique that can satisfy various change conditions is required.
도 2는 본 발명의 일 실시예에 따른 차량용 경량 딥러닝 처리 장치의 블럭도이다. 본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치(100)는, 이종 센서들로부터 생성된 영상들에 대해 다중 특징 추출 기법을 적용한 후에, 차량 내부의 객체 검출/분류를 수행한다. 이를 위해, 본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치(100)는, 도 3에 도시된 바와 같이, 차량 내부에 설치된다.2 is a block diagram of a lightweight deep learning processing apparatus for a vehicle according to an embodiment of the present invention. The lightweight deep
이와 같은 기능을 수행하는 본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치는, 도 2에 도시된 바와 같이, 조도 추정기(110), 영상 융합기(120) 및 객체 검출/분류기(130)를 포함하여 구성된다.As shown in FIG. 2, the light-weight deep learning processing apparatus for a vehicle according to an embodiment of the present invention that performs such a function includes an
조도 추정기(110)는 차량 내부의 RGB 영상으로부터 차량 내부의 조도를 추정한다. 조도 추정기(110)는 RGB 영상의 픽셀 별로 조도 정보를 추정하고, 추정된 조도 정보의 평균을 차량 내부의 조도로 추정할 수 있다.The
조도 추정기(110)에 의해 추정된 조도 정보는 영상 융합기(120)로 전달된다. 도시되지 않았지만, 이 조도 정보는 영상 생성 과정을 제어하기 위한 정보로도 참조된다.The illuminance information estimated by the
영상 융합기(120)는 RGB 영상, IR 영상, RGB/IR 영상을 융합(Selection 및 Concatenation)하여, 하나의 Feature Map을 생성한다. 영상 융합은 조도 정보에 따라 각기 다른 방식으로 이루어진다.The
구체적으로, 조도를 기초로 RGB 영상, IR 영상, RGB/IR 영상 중 하나를 선택하고 선택한 영상으로부터 Feature Map을 생성할 수 있다. 조도가 높은 경우에는 RGB 영상을 선택하고, 조도가 낮은 경우에는 IR 영상을 선택하며, 조도가 중간인 경우에는 RGB/IR 영상을 선택하는 것으로 구현가능하지만, 다른 선택 방식을 적용할 수도 있음은 물론이다.Specifically, one of an RGB image, an IR image, and an RGB/IR image may be selected based on the illuminance, and a feature map may be generated from the selected image. It can be implemented by selecting the RGB image when the illuminance is high, selecting the IR image when the illuminance is low, and selecting the RGB/IR image when the illuminance is medium. to be.
RGB/IR 영상은 RGB 영상과 IR 영상을 융합하여 생성한 영상이다. 조도 정보를 참조하여 융합하는데, RGB/IR 영상 생성 방법에 대해서는 상세히 후술한다.The RGB/IR image is an image generated by fusion of the RGB image and the IR image. The fusion is performed with reference to the illuminance information, and a method of generating an RGB/IR image will be described later in detail.
위 선택 방식에서는 영상 단위로 선택이 이루어졌다. 하지만, 다른 방식으로 대체 가능한데, 이를 테면, 픽셀 단위로 선택이 이루어지도록 구현할 수 있다.In the above selection method, selection was made in units of images. However, it can be replaced in another way, for example, it can be implemented so that selection is made in units of pixels.
구체적으로, 영상 융합기(120)는 픽셀 별 조도를 기초로, 픽셀 별 마다 제1 영상, 제2 영상 및 제3 영상 중 어느 하나를 선택하여, 하나의 Feature Map을 구성할 수 있다.Specifically, the
이를 테면, 조도가 높은 픽셀에 대해서는 RGB 영상의 픽셀을 선택하고, 조도가 낮은 픽셀에 대해서는 IR 영상의 픽셀을 선택하며, 조도가 중간인 픽셀에 대해서는 RGB/IR 영상의 픽셀을 선택하는 것이다. 물론, 다른 선택 방식을 적용할 수도 있다.For example, RGB image pixels are selected for pixels with high illuminance, IR image pixels are selected for pixels with low illuminance, and RGB/IR image pixels are selected for pixels with medium illuminance. Of course, other selection methods may be applied.
이와 같이, 영상 융합기(120)는 다중 영상들로부터 특징들을 융합하는 다중 특징 추출기로 기능한다고 할 수 있다. 영상 융합기(120)는 RGB 영상, IR 영상, RGB/IR 영상 및 조도 정보를 입력받아, 하나의 Feature Map을 출력하는 딥러닝 네트워크로 구현할 수 있다.As such, it can be said that the
객체 검출/분류기(130)는 영상 융합기(120)에서 생성된 Feature Map을 분석하여, 차량 내부에 있는 객체들을 검출하고 검출된 객체를 분류한다. 객체 검출/분류기(130)는 Feature Map을 입력받아 객체 검출/분류 결과를 출력하는 딥러닝 네트워크로 구현할 수 있다.The object detector/
이하에서는, RGB 영상, IR 영상, RGB/IR 영상이 생성되는 과정에 대해 상세히 설명한다. 영상들을 생성함에 있어서는 조도 추정기(110)에 의해 추정된 조도 정보가 참조된다.Hereinafter, a process of generating an RGB image, an IR image, and an RGB/IR image will be described in detail. In generating the images, the illuminance information estimated by the
도 4는 RGB 영상 생성 과정의 설명에 제공되는 도면이다. 도시된 바와 같이, RGB 센서(11)에 의해 생성된 RGB 영상은 RGB 영상 처리기(12)에 의해 신호처리되는데, RGB 영상 제어기(13)는 조도 정보를 기초로 RGB 영상 처리기(12)의 잡읍 제거 필터(Noise filter)와 WDR(Wide Dynamic Range)를 제어한다. 이에 의해, 역광 상황에 대한 능동적인 대처가 가능하다.4 is a diagram provided to explain an RGB image generation process. As shown, the RGB image generated by the
도 5는 IR 영상 생성 과정의 설명에 제공되는 도면이다. 도시된 바와 같이, IR 센서(21)에 의해 생성된 IR 영상은 IR 영상 처리기(22)에 의해 신호처리되는데, IR 영상 제어기(24)는 조도 정보를 기초로 IR 조명(24)의 강도를 제어한다. 이에 의해, 저조도 상황에서 능동적인 대처가 가능하다.5 is a diagram provided to explain an IR image generation process. As shown, the IR image generated by the IR sensor 21 is signal-processed by the
도 6은 RGB/IR 영상 생성 과정의 설명에 제공되는 도면이다. 도시된 바와 같이, RGB/IR 영상 생성기(41)는 RGB 센서(11)에 의해 생성된 RGB 영상과 IR 센서(21)에 의해 생성된 IR 영상을 융합하여 RGB/IR 영상을 생성하는데, 이 과정에서 조도 정보가 참조된다.6 is a diagram provided to explain an RGB/IR image generation process. As shown, the RGB/
구체적으로, 조도가 기준 이상인 픽셀에 대해서는 RGB 영상의 픽셀을 선택하고, 조도가 기준 미만인 픽셀에 대해서는 IR 영상의 픽셀을 선택하여, 융합함으로써 RGB/IR 영상을 생성할 수 있다.Specifically, an RGB/IR image may be generated by selecting a pixel of an RGB image for a pixel having an illuminance equal to or greater than the reference, and selecting a pixel of an IR image for a pixel having an illuminance less than the reference and fusion.
도 7에 제시된 차량 내부 환경을 모사한 다양한 환경 데이터를 구축한 후 실영상을 이용하여, 본 발명의 실시예에 따른 차량용 경량 딥러닝 처리 장치를 학습시킨후 성능을 측정한 결과를 도 8에 제시하였다. 도시된 결과에 따르면, 차량 내부에서 객체가 높은 정확도로 인식되었음을 확인할 수 있다.After constructing various environmental data simulating the internal environment of the vehicle presented in FIG. 7, and using real images, the light-weight deep learning processing device for a vehicle according to an embodiment of the present invention is learned and then the performance measurement result is presented in FIG. did According to the illustrated result, it can be confirmed that the object inside the vehicle is recognized with high accuracy.
도 9는 본 발명의 다른 실시예에 따른 차량 내부 객체 검출/분류 방법의 설명에 제공되는 흐름도이다.9 is a flowchart provided to explain a method for detecting/classifying an object inside a vehicle according to another embodiment of the present invention.
도시된 바와 같이, 먼저, 차량 내부의 RGB 영상을 생성하고(S210), 차량 내부의 IR 영상을 생성하며(S220), RGB 영상과 IR 영상을 융합하여 RGB/IR 영상을 생성한다(S230),As shown, first, an RGB image inside the vehicle is generated (S210), an IR image inside the vehicle is generated (S220), and an RGB/IR image is generated by fusion of the RGB image and the IR image (S230),
다음, 조도 추정기(110)는 S210단계에서 생성된 RGB 영상을 이용하여, 차량 내부의 조도를 추정한다(S240).Next, the
그러면, 영상 융합기(120)는 S240단계에서 추정된 조도 정보를 참조하여, RGB 영상, IR 영상, RGB/IR 영상을 융합하여, 하나의 Feature Map을 생성한다(S250).Then, the
이후, 객체 검출/분류기(130)는 S250단계에서 생성된 Feature Map을 분석하여, 차량 내부에 있는 객체들을 검출하고 검출된 객체를 분류한다(S260).Thereafter, the object detection/
지금까지, 다중 특징 추출기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법에 대해 바람직한 실시예들을 들어 상세히 설명하였다.So far, preferred embodiments have been described in detail with respect to a light-weight deep learning processing apparatus and method for a vehicle to which a multi-feature extractor is applied.
본 발명의 실시예에서는, 막대한 연산을 최소화 할 수 있는 딥러닝 네트워크 구조를 적용하여, 임베디드 하드웨어에 구현 가능한 수준의 다중 센서 기반 객체 인지가 가능하게 하였다.In an embodiment of the present invention, a deep learning network structure capable of minimizing enormous computations was applied to enable multi-sensor-based object recognition at a level that can be implemented in embedded hardware.
특히, 이종 센서와 더불어 신규 센서가 추가된 경우에도 동시 적용 가능한 구조를 제시하였고, 유연한 딥러닝 장치 및 신종 센서 입력에도 유지보수가 가능한 모델을 제시하였다.In particular, a structure that can be applied simultaneously even when a new sensor is added along with a heterogeneous sensor is presented, and a model that can be maintained even with a flexible deep learning device and new sensor input is presented.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.On the other hand, it goes without saying that the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, the technical ideas according to various embodiments of the present invention may be implemented in the form of computer-readable codes recorded on a computer-readable recording medium. The computer-readable recording medium may be any data storage device readable by the computer and capable of storing data. For example, the computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like. In addition, the computer-readable code or program stored in the computer-readable recording medium may be transmitted through a network connected between computers.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention as claimed in the claims In addition, various modifications are possible by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
110 : 조도 추정기
120 : 영상 융합기
130 : 객체 검출/분류기110: illuminance estimator
120: image fusion device
130: object detection/classifier
Claims (8)
제2 타입의 제2 영상을 입력받는 제2 입력단계;
제3 타입의 제3 영상을 입력받는 제3 입력단계;
조도를 추정하는 단계;
추정된 조도를 기초로 제1 영상, 제2 영상 및 제3 영상을 각기 다르게 융합하여, 하나의 Feature Map을 생성하는 단계;
생성한 Feature Map을 분석하여, 객체를 검출하는 단계;를 포함하는 것을 특징으로 하는 객체 검출 방법.
a first input step of receiving a first image of a first type;
a second input step of receiving a second type of second image;
a third input step of receiving a third type of third image;
estimating the illuminance;
generating a single feature map by differently fusing the first image, the second image, and the third image based on the estimated illuminance;
and analyzing the generated feature map to detect the object.
생성 단계는,
추정된 조도를 기초로 제1 영상, 제2 영상 및 제3 영상 중 하나를 선택하고, 선택된 영상의 Feature Map을 생성하는 것을 특징으로 하는 객체 검출 방법.
The method according to claim 1,
The creation step is
An object detection method comprising selecting one of a first image, a second image, and a third image based on the estimated illuminance, and generating a feature map of the selected image.
추정 단계는,
픽셀 별로 조도를 추정하고,
생성 단계는,
픽셀 별 조도를 기초로, 픽셀 별 마다 제1 영상, 제2 영상 및 제3 영상 중 어느 하나를 선택하여, 하나의 Feature Map을 생성하는 것을 특징으로 하는 객체 검출 방법.
The method according to claim 1,
The estimation step is
Estimate the illuminance for each pixel,
The creation step is
An object detection method comprising generating one feature map by selecting any one of a first image, a second image, and a third image for each pixel based on the illuminance of each pixel.
추정 단계는,
제1 영상을 이용하여, 조도를 추정하는 것을 특징으로 하는 객체 검출 방법.
The method according to claim 1,
The estimation step is
An object detection method comprising estimating the illuminance by using the first image.
추정 단계는,
픽셀 별로 조도를 추정하고,
제3 영상은,
추정된 조도를 기초로, 픽셀 별 마다 제1 영상 및 제2 영상 중 어느 하나를 선택하여, 생성된 영상인 것을 특징으로 하는 객체 검출 방법.
The method according to claim 1,
The estimation step is
Estimate the illuminance for each pixel,
The third video is
An object detection method, characterized in that the image is generated by selecting any one of the first image and the second image for each pixel based on the estimated illuminance.
제1 영상은,
RGB 영상이고,
제2 영상은,
IR 영상이며,
제3 영상은,
RGB 영상과 IR 영상을 융합한 영상인 것을 특징으로 하는 객체 검출 방법.
The method according to claim 1,
The first video is
RGB image,
The second video is
IR image,
The third video is
An object detection method, characterized in that the image is a fusion of an RGB image and an IR image.
제3 영상은,
조도 정보를 기초로, RGB 영상과 IR 영상이 융합된 것을 특징으로 하는 객체 검출 방법.
7. The method of claim 6,
The third video is
An object detection method characterized in that an RGB image and an IR image are fused based on the illuminance information.
추정부에서 추정된 조도를 기초로 제1 영상, 제2 영상 및 제3 영상을 각기 다르게 융합하여, 하나의 Feature Map을 생성하는 융합기;
생성한 Feature Map을 분석하여, 객체를 검출하는 검출기;를 포함하는 것을 특징으로 하는 객체 검출 장치.
an estimator for estimating the roughness;
a fusion device for generating a single feature map by differently fusing the first image, the second image, and the third image based on the illuminance estimated by the estimator;
An object detection apparatus comprising: a detector that analyzes the generated feature map and detects an object.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200154274A KR20220067733A (en) | 2020-11-18 | 2020-11-18 | Vehicle lightweight deep learning processing device and method applying multiple feature extractor |
| PCT/KR2020/016311 WO2022107911A1 (en) | 2020-11-18 | 2020-11-19 | Lightweight deep learning processing device and method for vehicle, applying multiple feature extractor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200154274A KR20220067733A (en) | 2020-11-18 | 2020-11-18 | Vehicle lightweight deep learning processing device and method applying multiple feature extractor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220067733A true KR20220067733A (en) | 2022-05-25 |
Family
ID=81709143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200154274A Pending KR20220067733A (en) | 2020-11-18 | 2020-11-18 | Vehicle lightweight deep learning processing device and method applying multiple feature extractor |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20220067733A (en) |
| WO (1) | WO2022107911A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240152626A (en) * | 2023-04-13 | 2024-10-22 | (주)이오시스템 | Image Convergence Apparatus |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8781171B2 (en) * | 2012-10-24 | 2014-07-15 | Honda Motor Co., Ltd. | Object recognition in low-lux and high-lux conditions |
| KR102035355B1 (en) * | 2013-07-22 | 2019-11-18 | 현대모비스 주식회사 | Image Processing Method and Apparatus therefor |
| KR20180096101A (en) * | 2017-02-20 | 2018-08-29 | 엘아이지넥스원 주식회사 | Apparatus and Method for Intelligent Infrared Image Fusion |
| KR102708015B1 (en) * | 2019-07-08 | 2024-09-23 | 엘지전자 주식회사 | Inner Monitoring System of Autonomous Vehicle and System thereof |
| KR20190122606A (en) * | 2019-10-11 | 2019-10-30 | 엘지전자 주식회사 | Apparatus and method for monitoring object in vehicle |
-
2020
- 2020-11-18 KR KR1020200154274A patent/KR20220067733A/en active Pending
- 2020-11-19 WO PCT/KR2020/016311 patent/WO2022107911A1/en active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240152626A (en) * | 2023-04-13 | 2024-10-22 | (주)이오시스템 | Image Convergence Apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022107911A1 (en) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108388834B (en) | Object detection using recurrent neural networks and cascade feature mapping | |
| Khammari et al. | Vehicle detection combining gradient analysis and AdaBoost classification | |
| US11527077B2 (en) | Advanced driver assist system, method of calibrating the same, and method of detecting object in the same | |
| JP5782088B2 (en) | System and method for correcting distorted camera images | |
| US10878259B2 (en) | Vehicle detecting method, nighttime vehicle detecting method based on dynamic light intensity and system thereof | |
| KR101848019B1 (en) | Method and Apparatus for Detecting Vehicle License Plate by Detecting Vehicle Area | |
| KR20180056685A (en) | System and method for non-obstacle area detection | |
| JP7135665B2 (en) | VEHICLE CONTROL SYSTEM, VEHICLE CONTROL METHOD AND COMPUTER PROGRAM | |
| JP7311310B2 (en) | Information processing device, information processing method and program | |
| JP7185419B2 (en) | Method and device for classifying objects for vehicles | |
| US11593949B2 (en) | Method of detecting moving objects via a moving camera, and related processing system, device and computer-program product | |
| KR102333107B1 (en) | Deep Learning Processing Apparatus and Method for Multi-Sensor on Vehicle | |
| Liu et al. | Vehicle detection and ranging using two different focal length cameras | |
| US12243321B2 (en) | Method for determining a semantic free space | |
| WO2022179124A1 (en) | Image restoration method and apparatus | |
| CN112926461B (en) | Neural network training, driving control method and device | |
| US11373327B2 (en) | Image processing device and method that determine a stop position in a parking frame using images from two cameras | |
| US20220383510A1 (en) | Method For Training A Neural Network For Semantic Image Segmentation | |
| KR20220067733A (en) | Vehicle lightweight deep learning processing device and method applying multiple feature extractor | |
| CN114239736A (en) | Method and device for training optical flow estimation model | |
| Gu et al. | Drms: Dim-light robust monocular simultaneous localization and mapping | |
| KR20230003953A (en) | Vehicle lightweight deep learning processing device and method applying environment variance adaptive feature generator | |
| JP7466695B2 (en) | Image Processing Device | |
| JP7377483B1 (en) | Video summarization device, video summarization method | |
| Ozutemiz et al. | Adaptive unstructured road detection using close range stereo vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20201118 |
|
| PG1501 | Laying open of application |