[go: up one dir, main page]

KR20200142266A - System for recognizing object and method for recognizing object using the same - Google Patents

System for recognizing object and method for recognizing object using the same Download PDF

Info

Publication number
KR20200142266A
KR20200142266A KR1020190069301A KR20190069301A KR20200142266A KR 20200142266 A KR20200142266 A KR 20200142266A KR 1020190069301 A KR1020190069301 A KR 1020190069301A KR 20190069301 A KR20190069301 A KR 20190069301A KR 20200142266 A KR20200142266 A KR 20200142266A
Authority
KR
South Korea
Prior art keywords
interest
objects
unit
images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020190069301A
Other languages
Korean (ko)
Inventor
권충일
박영성
Original Assignee
(주)리터너블
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)리터너블 filed Critical (주)리터너블
Priority to KR1020190069301A priority Critical patent/KR20200142266A/en
Publication of KR20200142266A publication Critical patent/KR20200142266A/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/247—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

Provided, in the present invention, is an object recognition system including: a first image acquisition unit acquiring first images of objects disposed at positions set with intervals and positioned in the front; an object-of-interest setting unit performing primary image processing on the acquired first images, sequentially arranging the images within a preset reference range of interest, and setting the images as objects of interest; a second image acquisition unit acquiring second images with respect to the objects of interest set from the object-of-interest setting unit; and an object recognition unit recognizing the objects of interest by performing secondary image processing on the second images. The present invention also provides an object recognition method. According to the present invention, an object constituting a point of interest (POI) can be extracted with speed using a depth map acquired from low-resolution stereo cameras, is possible to acquire an image for object recognition by focusing a high-resolution stereo camera with the point-of-interest object, and object recognition can be expedited and made accurate in an image acquired in real-time using multiple stereo cameras.

Description

객체 인식 시스템 및 이를 사용한 객체 인식 방법{System for recognizing object and method for recognizing object using the same}Object recognition system and object recognition method using it {System for recognizing object and method for recognizing object using the same}

본 발명은 객체 인식 시스템 및 이를 사용한 객체 인식 방법에 관한 것으로서, 보다 상세하게는 저해상도 스테레오 카메라들로부터 취득한 깊이 맵을 사용하여 관심 대상(POI: Point Of Interest)을 이루는 객체를 고속으로 추출하고 고 해상도 스테레오 카메라의 포커스를 관심 대상 객체로 맞추어 객체 인식(Object Recogni tion)을 위한 영상을 취득할 수 있는 객체 인식 시스템 및 이를 사용한 객체 인식 방법에 관한 것이다.The present invention relates to an object recognition system and an object recognition method using the same, and more particularly, to extract an object that constitutes a point of interest (POI) using a depth map acquired from low-resolution stereo cameras at high speed An object recognition system capable of acquiring an image for object recognition by setting the focus of a stereo camera to an object of interest, and an object recognition method using the same.

최근에 들어 대량 고속의 그래픽 연산 유닛 (GPU: Graphical Processing Unit)의 발전과 대량의 이미지 데이터를 공유할 수 있는 웹 환경의 성장에 따라 깊은 신경망(Deep Neural Network)등을 사용한 이용한 기계의 객체인식 기술이 비약적으로 발전하고 있다.In recent years, with the development of high-speed graphic processing units (GPU) and the growth of a web environment that can share a large amount of image data, a machine object recognition technology using a deep neural network, etc. This is developing rapidly.

그러나 종래에는 고해상도 이미지의 처리를 실시하는 경우 일정 이상의 처리 시간이 지연된다. 또한 다수의 대상이 촬영된 이미지에서 관심 대상 만을 별도로 추출하여 분리하는 교사학습(Supervised Learning)용 데이터를 작성하는 데는 많은 수작업과 시간이 소요된다.However, conventionally, when processing a high-resolution image, a processing time of a certain amount or more is delayed. In addition, it takes a lot of manual work and time to create data for supervised learning that separates and separates only the objects of interest from images in which multiple objects are captured.

특히 세밀한 객체 인식이 고속 실시간으로 수행되어야 할 필요성은 자율 주 행 자동차의 예와 같이 점점 더 늘어나고 있는데 실시간 취득 영상에서는 여러 객체들이 혼재되어 있기 때문에 객체 인식 시스템의 정확도가 낮음과 아울러 처리 속도 역시 느리다.In particular, the need for detailed object recognition to be performed in high-speed real-time is increasing more and more, as in the case of an autonomous vehicle, and since several objects are mixed in real-time captured images, the accuracy of the object recognition system is low and the processing speed is also slow.

이에 근래에 들어 관심 대상(POI: Point Of Interest)을 이루는 객체를 고속으로 추출하고 별도의 고 해상도 스테레오 카메라의 포커스를 관심 대상 객체로 맞추어 객체 인식(Object Recogni tion)을 위한 영상을 취득하도록 하여 처리 시간을 효율적으로 단축할 수 있는 기술의 개발이 요구된다.Accordingly, in recent years, an object that constitutes a point of interest (POI) is extracted at high speed and the focus of a separate high-resolution stereo camera is adjusted to the object of interest, and an image for object recognition is acquired. There is a need to develop a technology that can efficiently shorten time.

본 발명과 관련된 선행문헌에는 대한민국 등록특허 등록번호 제10-1968101호(등록일자: 2019년 04월 05일)가 있다.Prior literature related to the present invention is Korean Patent Registration No. 10-1968101 (Registration Date: April 05, 2019).

본 발명의 제 1목적은 저해상도 스테레오 카메라들로부터 취득한 깊이 맵을 사용하여 관심 대상(POI: Point Of Interest)을 이루는 객체를 고속으로 추출하고 고 해상도 스테레오 카메라의 포커스를 관심 대상 객체로 맞추어 객체 인식(Object Recogni tion)을 위한 영상을 취득하도록 하는 객체 인식 시스템 및 이를 사용한 객체 인식 방법을 제공하는 것이다.The first object of the present invention is to extract an object constituting a point of interest (POI) at high speed using depth maps acquired from low-resolution stereo cameras, and to recognize the object by focusing the high-resolution stereo camera as the object of interest ( An object recognition system for acquiring an image for Object Recognition and an object recognition method using the same.

본 발명의 제 2목적은 다중 스테레오 카메라들을 사용하여 실시간으로 취득한 영상에서 객체인식의 속도를 빠르게 하는 동시에 정확도를 향상시킬 수 있는 객체 인식 시스템 및 이를 사용한 객체 인식 방법을 제공하는 것이다.A second object of the present invention is to provide an object recognition system and an object recognition method using the same, which can speed up object recognition and improve accuracy in images acquired in real time using multiple stereo cameras.

상기의 과제를 달성하기 위해, 일 실시예에 따라 본 발명은 객체 인식 시스템을 제공한다.In order to achieve the above object, according to an embodiment, the present invention provides an object recognition system.

상기 객체 인식 시스템은 간격을 이루어 설정된 위치에 배치되며, 전방에 위치되는 객체들에 대한 제 1영상들을 취득하는 제 1영상 취득부와; 취득된 상기 제 1영상들을 1차 이미지 처리하여 기설정된 관심 기준 범위 내에서 순차적으로 배열하여 관심 객체들로 설정하는 관심 객체 설정부와; 상기 관심 객체 설정부로부터 설정된 상기 관심 객체에 대한 제 2영상들을 취득하는 제 2영상 취득부; 및, 상기 제 2영상들을 2차 이미지 처리하여 상기 관심 객체들을 인식하는 객체 인식부;를 포함한다.The object recognition system comprises: a first image acquisition unit that is disposed at a location set at an interval and acquires first images of objects positioned in front; An interest object setting unit that processes the acquired first images as a primary image and sequentially arranges them within a preset interest reference range and sets them as interest objects; A second image acquisition unit that acquires second images of the interest object set from the interest object setting unit; And an object recognition unit configured to recognize the objects of interest by processing the second images as a secondary image.

상기 기설정된 관심 기준 범위는, 상기 객체들의 크기 또는 이동 속도에 의해 설정된다.The preset reference range of interest is set by the size or movement speed of the objects.

상기 1차 이미지 처리의 해상도는 상기 2차 이미지 처리의 해상도에 비해 낮게 처리한다.The resolution of the primary image processing is lower than that of the secondary image processing.

여기서 상기 제 1영상 취득부는, 제 1해상도를 기초로 상기 제 1영상을 취득하는 다수의 제 1카메라를 포함하고,Here, the first image acquisition unit includes a plurality of first cameras that acquire the first image based on a first resolution,

상기 제 2영상 취득부는, 상기 다수의 제 1카메라 각각의 측부에 배치되며, 상기 제 1해상도 보다 높은 제 2해상도를 기초로 상기 제 2영상을 취득하는 다수의 제 2카메라를 포함하는 것이 바람직하다.It is preferable that the second image acquisition unit includes a plurality of second cameras disposed on side portions of each of the plurality of first cameras and acquiring the second image based on a second resolution higher than the first resolution. .

그리고 상기 제 1해상도를 갖는 상기 제 1영상들을 1차 이미지 처리하여 1차 깊이 맵을 형성하는 1차 맵부와, 상기 1차 깊이 맵을 통해 상기 기설정된 관심 기준 범위 내에 포함되는 관심 객체들을 선정하는 선정부와, 상기 선정된 관심 객체들을 상기 기설정된 관심 기준 범위 내에서 순차적으로 배열하는 배열부를 포함하는 것이 바람직하다.And a first map unit for forming a first depth map by processing the first images having the first resolution, and selecting objects of interest included in the preset interest reference range through the first depth map. It is preferable to include a selection unit and an arrangement unit for sequentially arranging the selected objects of interest within the preset interest reference range.

또한 상기 객체 인식부는, 상기 제 2영상 취득부를 통해, 상기 배열부를 통해 배열된 상기 관심 객체들에 대한 상기 제 2영상들을 취득하도록 하는 객체 영상 인식부와, 상기 제 2해상도를 갖는 상기 제 2영상들을 상기 2차 이미지 처리하여 2차 깊이 맵을 형성하는 2차 맵부를 포함하는 것이 바람직하다.Further, the object recognition unit includes an object image recognition unit configured to acquire the second images of the objects of interest arranged through the arrangement unit through the second image acquisition unit, and the second image having the second resolution. It is preferable to include a second map unit for forming a second depth map by processing the second image.

또한 상기 위치 정보는, 상기 2차 깊이 맵을 통한 상기 관심 객체들까지의 거리값으로 산출되고,In addition, the location information is calculated as a distance value to the objects of interest through the second depth map,

상기 크기 정보는, 상기 2차 깊이 맵을 통한 상기 관심 객체들의 면적값으로 산출되고,The size information is calculated as area values of the objects of interest through the second depth map,

상기 속도 정보는, 상기 2차 깊이 맵을 통한 상기 관심 객체들의 이동 속도값으로 산출되고,The speed information is calculated as moving speed values of the objects of interest through the second depth map,

상기 정보 변환부는, 상기 2차 깊이 맵을 통해, 상기 관심 객체들의 위치 정보 및 속도 정보를 포함하는 상기 관심 정보로 산출하는 것이 바람직하다.It is preferable that the information conversion unit calculates the interest information including position information and speed information of the objects of interest through the second depth map.

다른 실시예에 있어서, 본 발명은 간격을 이루어 설정된 위치에 배치되는 제 1영상 취득부를 사용하여, 전방에 위치되는 객체들에 대한 제 1영상들을 취득하는 제 1영상 취득 단계와; 관심 객체 설정부를 사용하여, 취득된 상기 제 1영상들을 1차 이미지 처리하여 기설정된 관심 기준 범위 내에서 순차적으로 배열하여 관심 객체들로 설정하는 관심 객체 설정 단계와; 제 2영상 취득부를 사용하여, 상기 설정된 상기 관심 객체에 대한 제 2영상들을 취득하는 제 2영상 취득 단계; 및, 객체 인식부를 사용하여, 상기 제 2영상들을 2차 이미지 처리하여 상기 관심 객체들을 인식하는 객체 인식 단계;를 포함하는 객체 인식 방법을 제공한다.In another embodiment, the present invention includes a first image acquisition step of acquiring first images of objects positioned in front using a first image acquisition unit arranged at a set position with an interval; An interest object setting step of sequentially arranging the acquired first images within a preset interest reference range and setting them as interest objects using an object of interest setting unit; A second image acquisition step of acquiring second images of the set object of interest by using a second image acquisition unit; And an object recognition step of recognizing the objects of interest by processing the second images as a secondary image using an object recognition unit.

상기 기설정된 관심 기준 범위는, 상기 객체들의 크기 또는 이동 속도에 의해 설정된다.The preset reference range of interest is set by the size or movement speed of the objects.

상기 1차 이미지 처리의 해상도는 상기 2차 이미지 처리의 해상도에 비해 낮게 처리한다.The resolution of the primary image processing is lower than that of the secondary image processing.

여기서 상기 제 1영상 취득부는, 제 1해상도를 기초로 상기 제 1영상을 취득하는 다수의 제 1카메라를 포함하고,Here, the first image acquisition unit includes a plurality of first cameras that acquire the first image based on a first resolution,

상기 제 2영상 취득부는, 상기 다수의 제 1카메라 각각의 측부에 배치되며, 상기 제 1해상도 보다 높은 제 2해상도를 기초로 상기 제 2영상을 취득하는 다수의 제 2카메라를 포함하는 것이 바람직하다.It is preferable that the second image acquisition unit includes a plurality of second cameras disposed on side portions of each of the plurality of first cameras and acquiring the second image based on a second resolution higher than the first resolution. .

그리고 상기 관심 객체 설정부는, 상기 제 1해상도를 갖는 상기 제 1영상들을 1차 이미지 처리하여 1차 깊이 맵을 형성하는 1차 맵부와, 상기 1차 깊이 맵을 통해 상기 기설정된 관심 기준 범위 내에 포함되는 관심 객체들을 선정하는 선정부와, 상기 선정된 관심 객체들을 상기 기설정된 관심 기준 범위 내에서 순차적으로 배열하는 배열부를 포함하는 것이 바람직하다.In addition, the object of interest setting unit includes a first map unit for forming a first depth map by processing the first images having the first resolution to form a first depth map, and within the preset reference range of interest through the first depth map. It is preferable to include a selection unit for selecting objects of interest to be selected, and an arrangement unit for sequentially arranging the selected objects of interest within the preset interest reference range.

또한 상기 객체 인식부는, 상기 제 2영상 취득부를 통해, 상기 배열부를 통해 배열된 상기 관심 객체들에 대한 상기 제 2영상들을 취득하도록 하는 객체 영상 인식부와, 상기 제 2해상도를 갖는 상기 제 2영상들을 상기 2차 이미지 처리하여 2차 깊이 맵을 형성하는 2차 맵부를 포함하는 것이 바람직하다.Further, the object recognition unit includes an object image recognition unit configured to acquire the second images of the objects of interest arranged through the arrangement unit through the second image acquisition unit, and the second image having the second resolution. It is preferable to include a second map unit for forming a second depth map by processing the second image.

또한 상기 위치 정보는, 상기 2차 깊이 맵을 통한 상기 관심 객체들까지의 거리값으로 산출되고, 상기 크기 정보는, 상기 2차 깊이 맵을 통한 상기 관심 객체들의 면적값으로 산출되고, 상기 속도 정보는, 상기 2차 깊이 맵을 통한 상기 관심 객체들의 이동 속도값으로 산출되고,In addition, the location information is calculated as a distance value to the objects of interest through the second depth map, and the size information is calculated as an area value of the objects of interest through the second depth map, and the speed information Is calculated as a moving speed value of the objects of interest through the second depth map,

상기 정보 변환부는, 상기 2차 깊이 맵을 통해, 상기 관심 객체들의 위치 정보 및 속도 정보를 포함하는 상기 관심 정보로 산출하는 것이 바람직하다.It is preferable that the information conversion unit calculates the interest information including position information and speed information of the objects of interest through the second depth map.

상기의 해결 수단에 의해 본 발명은 저해상도 스테레오 카메라들로부터 취득한 깊이 맵을 사용하여 관심 대상(POI: Point Of Interest)을 이루는 객체를 고속으로 추출하고 고 해상도 스테레오 카메라의 포커스를 관심 대상 객체로 맞추어 객체 인식(Object Recogni tion)을 위한 영상을 취득하도록 하는 효과를 갖는다.By means of the above solution, the present invention extracts an object constituting a point of interest (POI) at high speed using a depth map obtained from low-resolution stereo cameras, and sets the focus of the high-resolution stereo camera to the object of interest. It has the effect of obtaining an image for Object Recognition.

또한 본 발명은 다중 스테레오 카메라들을 사용하여 실시간으로 취득한 영상에서 객체인식의 속도를 빠르게 하는 동시에 정확도를 향상시킬 수 있는 효과를 갖는다.In addition, the present invention has an effect of increasing the speed of object recognition in an image acquired in real time using multiple stereo cameras and improving accuracy at the same time.

도 1은 본 발명에 따른 객체 인식 시스템의 구성을 보여주는 모식도이다.
도 2는 본 발명에 따른 저해상도 스테레오 카메라로부터 분석된 정보에 따라 고해상도 스테레오 카메라들이 관심 객체를 촬영하는 예를 보여주는 도면이다.
도 3은 본 발명에 따른 객체 인식 방법을 보여주는 흐롬도이다.
도 4는 본 발명에 따른 객체 인식부를 보여주는 블록도이다.
도 5는 본 발명에 따른 객체 인식부의 구성을 보여주는 블록도이다.
도 6은 본 발명의 객체 인식 시스템의 다른 예를 보여주는 블록도이다.
도 7은 본 발명에 따른 정보 변환부가 출력부와 연결되는 구성을 보여주는 블록도이다.
도 8은 본 발명에 따른 객체 인식 방법의 다른 예을 보여주는 흐름도이다.
도 9는 본 발명에 따른 객체 인식 시스템의 다른 예의 흐름을 상세하게 보여주는 흐름도이다.1 is a schematic diagram showing the configuration of an object recognition system according to the present invention.
2 is a diagram showing an example in which high-resolution stereo cameras photograph an object of interest according to information analyzed from a low-resolution stereo camera according to the present invention.
3 is a flow diagram showing an object recognition method according to the present invention.
4 is a block diagram showing an object recognition unit according to the present invention.
5 is a block diagram showing a configuration of an object recognition unit according to the present invention.
6 is a block diagram showing another example of the object recognition system of the present invention.
7 is a block diagram showing a configuration in which an information conversion unit according to the present invention is connected to an output unit.
8 is a flowchart showing another example of an object recognition method according to the present invention.
9 is a flow chart showing in detail the flow of another example of the object recognition system according to the present invention.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings so that those skilled in the art can easily implement the present invention.

본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.The present invention may be implemented in various different forms, and is not limited to the embodiments described herein.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly describe the present invention, parts irrelevant to the description have been omitted, and the same reference numerals are assigned to the same or similar components throughout the specification.

이하에서 기재의 "상부 (또는 하부)" 또는 기재의 "상 (또는 하)"에 임의의 구성이 구비 또는 배치된다는 것은, 임의의 구성이 상기 기재의 상면 (또는 하면)에 접하여 구비 또는 배치되는 것을 의미한다.Hereinafter, it means that an arbitrary configuration is provided or arranged on the "upper (or lower)" or "upper (or lower)" of the substrate, wherein the arbitrary configuration is provided or arranged in contact with the upper (or lower) surface of the substrate. Means that.

또한, 상기 기재와 기재 상에 (또는 하에) 구비 또는 배치된 임의의 구성 사이에 다른 구성을 포함하지 않는 것으로 한정하는 것은 아니다.In addition, it is not limited to not including other configurations between the substrate and any configuration provided or disposed on (or under) the substrate.

이하, 첨부되는 도면들을 참조하여, 본 발명의 객체 인식 시스템 및 객체 인식 방법을 설명한다.Hereinafter, an object recognition system and an object recognition method of the present invention will be described with reference to the accompanying drawings.

먼저 본 발명의 객체 인식 시스템의 구성을 설명한다. 그리고 상기 객체 인식 시스템의 구성을 통한 객체 인식 방법을 설명한다.First, the configuration of the object recognition system of the present invention will be described. In addition, an object recognition method through the configuration of the object recognition system will be described.

도 1은 본 발명에 따른 객체 인식 시스템의 구성을 보여주는 모식도이다. 도 2는 본 발명에 따른 저해상도 스테레오 카메라로부터 분석된 정보에 따라 고해상도 스테레오 카메라들이 관심 객체를 촬영하는 예를 보여주는 도면이다. 도 3은 본 발명에 따른 객체 인식 방법을 보여주는 흐롬도이다. 도 4는 본 발명에 따른 객체 인식부를 보여주는 블록도이다. 도 5는 본 발명에 따른 객체 인식부의 구성을 보여주는 블록도이다.1 is a schematic diagram showing the configuration of an object recognition system according to the present invention. 2 is a diagram showing an example in which high-resolution stereo cameras photograph an object of interest according to information analyzed from a low-resolution stereo camera according to the present invention. 3 is a flow diagram showing an object recognition method according to the present invention. 4 is a block diagram showing an object recognition unit according to the present invention. 5 is a block diagram showing a configuration of an object recognition unit according to the present invention.

도 1 내지 도 5를 참조 하면, 본 발명에 따른 객체 인식 시스템은 제 1영상 취득부(100)와, 관심 객체 설정부(200)와, 제 2영상 취득부(300)와, 객체 인식부(400)를 포함한다.1 to 5, the object recognition system according to the present invention includes a first image acquisition unit 100, an object of interest setting unit 200, a second image acquisition unit 300, and an object recognition unit ( 400).

상기 제 1영상 취득부(100)는 다수의 제 1카메라(110)를 갖는다. 상기 다수의 제 1카메라(110)는 제 1해상도를 갖는 영상을 촬영한다.The first image acquisition unit 100 has a plurality of first cameras 110. The plurality of first cameras 110 photograph an image having a first resolution.

각각의 제 1카메라들(110)은 관심 객체 설정부(200)와 전기적으로 연결된다.Each of the first cameras 110 is electrically connected to the object of interest setting unit 200.

이에 상기 제 1카메라들(110)은 제 1해상도를 이루는 제 1영상을 취득한다. 상기 제 1카메라들(110)은 제 1영상들을 관심 객체 설정부(200)로 전송한다. 상기 제 1해상도는 저해상도 일 수 있다.Accordingly, the first cameras 110 acquire a first image constituting a first resolution. The first cameras 110 transmit first images to the object of interest setting unit 200. The first resolution may be a low resolution.

여기서 상기 제 1카메라(110)는 저해상도 카메라이다. 상기 제 1카메라는 후술되는 제 2카메라 보다 해상도가 상대적으로 낮은 저해상도를 이룬다.Here, the first camera 110 is a low-resolution camera. The first camera achieves a lower resolution having a relatively lower resolution than the second camera to be described later.

본 발명에 따른 관심 객체 설정부(200)는 취득된 상기 제 1영상들을 1차 이미지 처리하여 기설정된 관심 기준 범위 내에서 순차적으로 배열하여 관심 객체들로 설정한다.The object of interest setting unit 200 according to the present invention processes the acquired first images as a primary image and sequentially arranges them within a preset interest reference range to set them as objects of interest.

즉 상기 관심 객체 설정부(200)는 서로 전기적으로 연결되는 1차 맵부(210)와, 선정부(220)와, 배열부(230)를 포함한다.That is, the object of interest setting unit 200 includes a primary map unit 210, a selection unit 220, and an arrangement unit 230 that are electrically connected to each other.

상기 1차 맵부(210)는 저해상도를 갖는 이미지인 1차 영상을 통해 1차 깊이 맵을 산출한다.The first map unit 210 calculates a first depth map through a first image, which is an image having a low resolution.

즉 제 1카메라들(110)로부터 얻은 저해상도의 제 1영상들로부터 1차 깊이를 이루는 맵을 구성한다.That is, a map constituting the first depth is constructed from the low-resolution first images obtained from the first cameras 110.

상기 선정부(220)는 상기 1차 깊이 맵을 통해 상기 기설정된 관심 기준 범위 내에 포함되는 관심 객체들을 선정한다.The selection unit 220 selects objects of interest included in the preset interest reference range through the first depth map.

즉 상기 선정부(220)는 관심 객체들을 지정한다.That is, the selection unit 220 designates objects of interest.

이에 1차적으로 저해상도 이미지를 통해 객체들 중 관심 객체를 지정할 수 있다.Therefore, it is possible to designate an object of interest among objects through a low-resolution image.

여기서 상기 배열부(230)는 상기 선정된 관심 객체들을 상기 기설정된 관심 기준 범위 내에서 순차적으로 배열한다.Here, the arrangement unit 230 sequentially arranges the selected objects of interest within the preset interest reference range.

바람직하게 상기 배열부(230)는 제 1카메라들0(110)의 촬영 위치를 기준으로 가깝거나 크기가 큰 순서 또는 속도가 빠르게 움직이는 순서로 배열하는 것이 좋다.Preferably, the arrangement unit 230 is preferably arranged in an order in which the first cameras 0 (110) are photographed in an order of close or large size or a fast moving speed.

상기와 같이 관심 객체의 지정을 마친 이후에, 상기 관심 객체 설정부(200)는 상기 관심 객체에 대한 정보를 고해상도 카메라인 제 2영상 취득부(300)로 전달한다.After completing the designation of the object of interest as described above, the object of interest setting unit 200 transmits the information on the object of interest to the second image acquisition unit 300 which is a high-resolution camera.

여기서 상기 제 2영상 취득부(300)는 다수의 제 2카메라(310)를 갖는다. 상기 다수의 제 2카메라(310)는 제 2해상도를 갖는 제 2영상을 촬영하는 기능을 수행한다.Here, the second image acquisition unit 300 has a plurality of second cameras 310. The plurality of second cameras 310 performs a function of photographing a second image having a second resolution.

상기 제 2영상 취득부(300)는 상기 다수의 제 1카메라(110) 각각의 측부에 배치되며, 상기 제 1해상도 보다 높은 제 2해상도를 기초로 상기 제 2영상을 취득하는 다수의 제 2카메라(310)를 포함한다.The second image acquisition unit 300 is disposed on each side of the plurality of first cameras 110, and a plurality of second cameras that acquire the second image based on a second resolution higher than the first resolution Includes 310.

따라서 고해상도 카메라들을 사용하여 관심 객체들을 촬영할 수 있다.Therefore, objects of interest can be photographed using high-resolution cameras.

상기 다수의 제 2카메라(310)는 각 제 1카메라(110)와 한 조를 이루도록 배치되는 것이 좋다. 이에, 본 발명에 따른 제 1,2카메라(110, 310)는 다중 스테레오 카메라를 이룰 수 있다.It is preferable that the plurality of second cameras 310 are arranged to form a pair with each of the first cameras 110. Accordingly, the first and second cameras 110 and 310 according to the present invention may form a multiple stereo camera.

이에 상기 제 2카메라들(310 객체에 대한 영상을 제 해상도 즉 상대적인 해상도를 이루는 영상으로 촬영할 수 있는 것이다.Accordingly, an image of the second cameras 310 may be captured at the first resolution, that is, an image having a relative resolution.

이어 본 발명에 따른 본 발명에 따른 객체 인식부(400)는 상기 제 2영상들을 2차 이미지 처리하여 상기 관심 객체들을 인식한다.Then, the object recognition unit 400 according to the present invention according to the present invention recognizes the objects of interest by processing the second images as a secondary image.

여기서 본 발명에 따른 객체 인식부(400)는 객체 영상 인식부(410)와, 2차 맵부(420)를 포함한다.Here, the object recognition unit 400 according to the present invention includes an object image recognition unit 410 and a secondary map unit 420.

상기 객체 영상 인식부(410)는 상기 제 2영상 취득부(300)를 통해 상기 배열부(230)를 통해 배열된 상기 관심 객체들에 대한 상기 제 2영상들을 취득한다.The object image recognition unit 410 acquires the second images of the objects of interest arranged through the arrangement unit 230 through the second image acquisition unit 300.

상기 2차 맵부(420)는 상기 제 2해상도를 갖는 상기 제 2영상들을 상기 2차 이미지 처리하여 2차 깊이 맵을 형성하도록 한다.The second map unit 420 processes the second images having the second resolution as the second image to form a second depth map.

이와 같은 과정을 통해 본 발명에 따른 실시예는 저해상도 스테레오 카메라를 이용하여 전방에 위치되는 관심 객체의 거리와 방향 및 크기를 인지하고 이를 고해상도 스테레오 카메라를 사용하여 실시간 객체인식이 가능하도록 할 수 있다.Through this process, the embodiment according to the present invention can recognize the distance, direction, and size of an object of interest positioned in front using a low-resolution stereo camera, and enable real-time object recognition using a high-resolution stereo camera.

이에 본 발명은 저 해상도 스테레오 카메라를 이용하여 전방에 위치되는 관심 객체의 거리와 방향 및 크기를 인지함과 아울러 이를 고해상도 스테레오 카메라를 이용하여 실시간으로 객체인식(Object Recognition)이 가능하도록 할 수 있다.Accordingly, the present invention can recognize the distance, direction, and size of an object of interest positioned in front using a low-resolution stereo camera, and enable object recognition in real time using a high-resolution stereo camera.

도 5는 본 발명의 객체 인식 시스템의 다른예를 보여주는 블록도이다. 5 is a block diagram showing another example of the object recognition system of the present invention.

도 5를 참조 하면, 본 발명의 객체 인식 시스템은 상술한 제 1영상 취득부(100)와, 관심 객체 설정부(200)와, 제 2영상 취득부(300)와, 객체 인식부(400)를 포함하여, 정보 변환부(500)와. 정보 전달부(600), 제어부(700)를 더 포함할 수 있다.5, the object recognition system of the present invention includes the first image acquisition unit 100, the object of interest setting unit 200, the second image acquisition unit 300, and the object recognition unit 400 described above. Including, the information conversion unit 500 and. An information transmission unit 600 and a control unit 700 may be further included.

여기서 본 발명에 따른 객체 인식 시스템은 웨어러블 장치 또는 자율 주행 장치등에 적용될 수도 있다.Here, the object recognition system according to the present invention may be applied to a wearable device or an autonomous driving device.

이때 본 발명의 객체 인식 시스템은 별도의 고정부를 통해 상술한 일 예의 장치에 고정될 수도 있다. 바람직하게, 고정부는 원형으로 형성될 수 있다. 만일 본 발명에 따른 객체 인식 시스템이 웨어러블 장치인 경우 고정부의 내측 둘레에는 사용자의 허리를 쿠션을 가지고 감싸는 쿠션 부재가 더 설치될 수도 있다.In this case, the object recognition system of the present invention may be fixed to the above-described example apparatus through a separate fixing unit. Preferably, the fixing portion may be formed in a circular shape. If the object recognition system according to the present invention is a wearable device, a cushion member for wrapping the user's waist with a cushion may be further installed around the inside of the fixing part.

본 발명에 따른 제 1영상 취득부(100)는 고정부의 중앙을 중심으로 하여 사방으로 간격을 이루어 설정된 위치에 배치되며, 전방에 위치되는 객체들에 대한 제 1영상들을 취득한다.The first image acquisition unit 100 according to the present invention is disposed at a set position with an interval in all directions around the center of the fixing unit, and acquires first images of objects positioned in front.

여기서 상기 제 1영상 취득부(100)는 다수의 제 1카메라(110)를 포함한다. 상기 다수의 제 1카메라(110)는 상기 고정부에 간격을 이루어 설치된다. 상기 다수의 제 1카메라(110)는 제 1해상도를 기초로 객체에 대한 상기 제 1영상을 취득한다.Here, the first image acquisition unit 100 includes a plurality of first cameras 110. The plurality of first cameras 110 are installed at intervals in the fixing part. The plurality of first cameras 110 acquire the first image of the object based on the first resolution.

도 6은 본 발명의 다른 예를 따른 객체 인식 시스템을 보여주는 블록도이다.6 is a block diagram showing an object recognition system according to another example of the present invention.

도 6을 참조 하면, 본 발명에 따른 관심 객체 설정부(200)는 취득된 상기 제 1영상들을 1차 이미지 처리하여 기설정된 관심 기준 범위 내에서 순차적으로 배열하여 관심 객체들로 설정한다.Referring to FIG. 6, the object of interest setting unit 200 according to the present invention processes the acquired first images as a primary image and sequentially arranges them within a preset reference range of interest to set them as objects of interest.

상기 관심 객체 설정부(200)는 서로 전기적으로 연결되는 1차 맵부(210)와, 선정부(220)와, 배열부(230)를 포함한다.The object of interest setting unit 200 includes a primary map unit 210 electrically connected to each other, a selection unit 220 and an arrangement unit 230.

상기 1차 맵부(210)는 상기 제 1해상도를 갖는 상기 제 1영상들을 1차 이미지 처리하여 1차 깊이 맵을 형성한다.The first map unit 210 processes the first images having the first resolution to form a first depth map.

상기 선정부(220)는 상기 1차 깊이 맵을 통해 상기 기설정된 관심 기준 범위 내에 포함되는 관심 객체들을 선정한다.The selection unit 220 selects objects of interest included in the preset interest reference range through the first depth map.

상기 배열부(230)는 상기 선정된 관심 객체들을 상기 기설정된 관심 기준 범위 내에서 순차적으로 배열한다.The arrangement unit 230 sequentially arranges the selected objects of interest within the preset interest reference range.

본 발명에 따른 정보 변환부(500)는 인식된 상기 관심 개체들의 위치 정보 및 크기 정보 및 속도 정보를 포함하는 관심 정보를 진동 정보 또는 음성 정보로 변환할 수도 있다.The information conversion unit 500 according to the present invention may convert information of interest including position information, size information, and speed information of the recognized objects of interest into vibration information or voice information.

여기서 상기 위치 정보는 상기 2차 깊이 맵을 통한 상기 관심 객체들까지의 거리값으로 산출된다.Here, the location information is calculated as a distance value to the objects of interest through the second depth map.

상기 크기 정보는, 상기 2차 깊이 맵을 통한 상기 관심 객체들의 면적값으로 산출된다.The size information is calculated as area values of the objects of interest through the second depth map.

상기 속도 정보는, 상기 2차 깊이 맵을 통한 상기 관심 객체들의 이동 속도값으로 산출된다.The speed information is calculated as moving speed values of the objects of interest through the second depth map.

이에 본 발명에 따른 상기 정보 변환부는 상기 2차 깊이 맵을 통해 상기 관심 객체들의 위치 정보 및 속도 정보를 포함하는 상기 관심 정보로 산출할 수 있다.Accordingly, the information conversion unit according to the present invention may calculate the interest information including position information and speed information of the objects of interest through the second depth map.

본 발명에 따른 정보 전달부(600)는 상기 고정부에 설치되며, 변환된 상기 진동 정보 또는 상기 음성 정보를 외부에 전달할 수도 있다.The information transmission unit 600 according to the present invention is installed on the fixing unit, and may transmit the converted vibration information or the voice information to the outside.

여기서 상술한 기설정된 관심 기준 범위는 상기 객체들의 크기 또는 이동 속도에 의해 설정된다.Here, the preset reference range of interest is set by the size or movement speed of the objects.

상기 1차 이미지 처리의 해상도는 상기 2차 이미지 처리의 해상도에 비해 낮게 처리한다.The resolution of the primary image processing is lower than that of the secondary image processing.

특히, 본 발명에 따른 정보 전달부(600)는 산출된 상기 관심 정보의 수준에 따라 상기 음성 정보 또는 상기 진동 정보의 수준을 설정할 수도 있다.In particular, the information transmission unit 600 according to the present invention may set the level of the voice information or the vibration information according to the calculated level of the interest information.

상기 음성 정보는 상기 위치 정보에 따른 상기 거리값, 상기 면적값 및 상기 이동 속도값에 따른 음성을 외부로 표출되는 스피커(820)로 전송될 수도 있다.The voice information may be transmitted to a speaker 820 that displays a voice according to the distance value, the area value, and the moving speed value according to the location information.

상기 진동 정보는 상기 위치 정보에 따른 상기 거리값, 상기 면적값 및 상기 이동 속도값에 비례되는 진동을 이루는 진동 발생기들(810)로 전송된다.The vibration information is transmitted to vibration generators 810 that form vibrations proportional to the distance value, the area value, and the moving speed value according to the location information.

여기서 상기 진동 발생기들(810)은 고정부의 둘레를 따라 배치될 수도 있다.Here, the vibration generators 810 may be disposed along the circumference of the fixing part.

상기 진동 발생기들(810)은 상기 위치 정보에 해당되는 방향을 따라 배치되는 어느 하나의 진동 발생기(810)를 통해 진동을 이룰 수도 있다.The vibration generators 810 may achieve vibration through any one vibration generator 810 disposed along a direction corresponding to the location information.

또한 도면에 도시되지는 않았지만, 상기 다수의 제 2카메라(310)는 상기 고정부의 다수 위치에 힌지를 통해 상하를 따라 회전 가능하게 연결된다.In addition, although not shown in the drawings, the plurality of second cameras 310 are rotatably connected to the plurality of positions of the fixing unit along the top and bottom through a hinge.

상기 힌지는 회전 모터의 회전축과 축 방식으로 연결된다.The hinge is connected to the rotary shaft of the rotary motor in an axial manner.

본 발명에 따른 제어부(700)는, 상기 관심 객체에 대한 제 2영상들을 취득하는 과정에서, 상기 관신 객체와의 초점 거리가 설정된 초점 거리를 이루도록 상기 회전 모터를 사용하여 상기 다수의 제 2카메라(310) 각각을 실시간으로 회전시킬 수 있다.In the process of acquiring second images of the object of interest, the control unit 700 according to the present invention uses the rotation motor to achieve a set focal length with a focal length of the object of interest. 310) Each can be rotated in real time.

또한 도면에 도시되지 않았지만 상기 고정부에는 레일홈이 형성될 수도 있다.Also, although not shown in the drawing, a rail groove may be formed in the fixing part.

상기 레일홈에는 상기 다수의 제 2카메라(310)에 구비되는 레일 돌기가 레일 방식으로 결합되는 구조를 이룰 수도 있다.The rail groove may have a structure in which rail protrusions provided in the plurality of second cameras 310 are coupled in a rail manner.

상기 다수의 제 2카메라(310)는 상기 제어부(700)의 제어에 따라 구동되는 리니어 모터의 구동에 따라 상기 레일홈을 따라 이동된다.The plurality of second cameras 310 are moved along the rail grooves according to the driving of a linear motor driven under the control of the controller 700.

상기 제어부(700)는 상기 다수의 제 2카메라(310)를 통해 상기 제 2영상이 취득되는 지를 판단한다.The control unit 700 determines whether the second image is acquired through the plurality of second cameras 310.

상기 제어부(700)는 상기 제 2영상이 취득되지 않는 경우, 상기 리니어 모터를 사용하여 해당 제 2카메라(310)를 다른 위치로 이동시킨다.When the second image is not acquired, the controller 700 moves the second camera 310 to a different position using the linear motor.

그리고 상기 제어부(700)는 상기 리니어 모터를 구동시켜, 상기 해당 제 2카메라(310)의 양측에 위치되는 다른 제 2카메라(310) 중 어느 하나를 상기 해당 제 2카메라(310)의 위치로 이동시킨다. And the controller 700 drives the linear motor to move any one of the other second cameras 310 located on both sides of the second camera 310 to the position of the second camera 310 Let it.

이어 상기 제어부(700)는 이동된 상기 어느 하나의 제 2카메라(310)를 사용하여 상기 제 2영상을 취득하도록 한다.Subsequently, the controller 700 uses the moved one of the second cameras 310 to acquire the second image.

도 7은 본 발명에 따른 정보 변환부가 출력부와 연결되는 구성을 보여주는 블록도이다.7 is a block diagram showing a configuration in which an information conversion unit according to the present invention is connected to an output unit.

도 7을 참조 하면, 본 발명에 따른 고정부에는 상기 출력부(900)가 설치된다.Referring to FIG. 7, the output unit 900 is installed in the fixing unit according to the present invention.

상기 출력부(900)는 상기 정보 변환부(500)로부터 산출된 상기 관심 정보를 전달 받아 상기 관심 정보의 기초를 이루는 상기 2차 깊이 맵을 3차원 정보로 변환하는 출력 변환기(910)와, 상기 출력 변환기(910)로부터 상기 3차원 정보를 전달받아 외부에 출력하는 출력기(920)를 구비할 수도 있다.The output unit 900 receives the interest information calculated from the information conversion unit 500 and converts the second depth map, which forms the basis of the interest information, into 3D information, and the An output unit 920 that receives the 3D information from the output converter 910 and outputs it to the outside may be provided.

또한 본 발명에 따른 고정부에는 사용자가 이동하는 방향 정보를 측정하고 상기 방향 정보를 상기 제어부(700)로 전송하는 방향 센서(710)가 설치될 수도 있다.In addition, a direction sensor 710 for measuring direction information in which the user moves and transmitting the direction information to the controller 700 may be installed in the fixing unit according to the present invention.

상기 제어부(700)는 상기 다수의 제 1,2카메라(110, 310) 중, 상기 측정되는 방향을 향하는 제 1,2카메라(110, 310)를 사용하도록 제어한다.The controller 700 controls the use of the first and second cameras 110 and 310 facing the direction to be measured among the plurality of first and second cameras 110 and 310.

또한 상기 고정부에는 상기 제어부(700)와 연결되어 해당 위치에 대한 지도 정보를 위성으로부터 무선으로 전송 받는 지피에스 센서(720)가 설치될 수도 있다.In addition, a GPS sensor 720 connected to the control unit 700 to receive map information about a corresponding location wirelessly from a satellite may be installed in the fixing unit.

상기 제어부(700)는 전송받은 상기 지도 정보 상에 포함되는 객체들 중, 이동하는 객체들을 선정한다.The control unit 700 selects moving objects among objects included on the transmitted map information.

상기 제어부(700)는 이동하는 상기 객체들을 상기 관심 객체들로 설정하도록 제어할 수 있다.The controller 700 may control to set the moving objects as the objects of interest.

그리고 상기 제어부(700)는 상기와 같이 이동하는 관심 객체들에 대한 음성 정보 및 상기 진동 정보를 상기 진동 발생기들(810) 및 스피커(820)를 통해 외부로 알리도록 제어할 수 있다.In addition, the control unit 700 may control to notify the outside of the voice information and the vibration information on the moving objects of interest as described above through the vibration generators 810 and the speaker 820.

이어 상기와 같은 구성을 참조로 하여 본 발명에 따른 다른 예를 따른 객체 인식 방법을 설명하도록 한다.Next, an object recognition method according to another example according to the present invention will be described with reference to the above configuration.

여기서 상기 객체 인식 방법을 설명함에 포함되는 구성의 설명은 생략하기로 한다.Here, a description of the configuration included in the description of the object recognition method will be omitted.

도 8은 본 발명에 따른 객체 인식 방법의 다른 예를 보여주는 흐름도이다. 도 9는 본 발명에 따른 객체 인식 방법의 다른 예의 흐름을 상세하게 보여주는 흐름도이다.8 is a flowchart showing another example of an object recognition method according to the present invention. 9 is a flowchart showing in detail the flow of another example of an object recognition method according to the present invention.

도 8을 참조 하면, 본 발명에 따른 객체 인식 방법은 제 1차 영상 취득 단계

Figure pat00001
관심 객체 설정 단계
Figure pat00002
2차 영상 취득 단계
Figure pat00003
객체 인식 단계
Figure pat00004
정보 변환 단계
Figure pat00005
정보 전달 단계 순으로 실시될 수 있다.Referring to Figure 8, the object recognition method according to the present invention is a first image acquisition step
Figure pat00001
Steps to set up objects of interest
Figure pat00002
Secondary image acquisition step
Figure pat00003
Object recognition phase
Figure pat00004
Information Transformation Step
Figure pat00005
It can be carried out in the order of information delivery steps.

상기 각 단계를 설명하도록 한다.Each of the above steps will be described.

제 1차 영상 취득 단계Step of obtaining the first image

도 8 및 도 9를 참조 하면, 제어부(700)를 사용하여 제 1,2영상 취득부(100, 300)의 해상도를 각각 설정한다.8 and 9, resolutions of the first and second image acquisition units 100 and 300 are set using the control unit 700, respectively.

상기 제어부(700)는 상기 제1 영상 취득부(100)의 해상도를 제 1해상도로 설정한다.The controller 700 sets the resolution of the first image acquisition unit 100 to a first resolution.

상기 제어부(700)는 상기 제 2영상 취득부(300)의 해상도를 상기 제 1해상도 보다 일정 수준 이상을 이루는 제 2해상도로 설정한다.The control unit 700 sets the resolution of the second image acquisition unit 300 to a second resolution that is more than a certain level than the first resolution.

그리고 고정부의 중앙을 중심으로 하여 사방으로 간격을 이루어 설정된 위치에 배치되는 제 1영상 취득부(100)를 사용하여 사용자의 전방에 위치되는 객체들에 대한 제 1영상들을 취득한다.In addition, first images of objects positioned in front of the user are acquired by using the first image acquisition unit 100 arranged at a set position at intervals in all directions around the center of the fixing unit.

상기 객체들은 사용자의 주변에 위치되는 지형 지물 및, 사람, 자동차와 같은 사물을 포함할 수 있다.The objects may include topographical features located around the user and objects such as people and cars.

상기 제 1영상들은 관심 객체 설정부(200)로 전달된다. 여기서 상기 제 1영상들은 상기 사용자의 사방 주위의 지형 지물 및 사람 및 이동하는 차량에 대한 영상을 포함할 수 있다.The first images are transmitted to the object of interest setting unit 200. Here, the first images may include images of terrain features, people, and moving vehicles around the user.

관심 객체 설정 단계Steps to set up objects of interest

본 발명에 따른 관심 객체 설정부(200)는 취득된 상기 제 1영상들을 1차 이미지 처리하여 기설정된 관심 기준 범위 내에서 순차적으로 배열하여 관심 객체들로 설정한다.The object of interest setting unit 200 according to the present invention processes the acquired first images as a primary image and sequentially arranges them within a preset interest reference range, and sets them as objects of interest.

먼저 상기 1차 맵부(210)를 사용하여 상기 제 1해상도를 갖는 상기 제 1영상들을 1차 이미지 처리하여 1차 깊이 맵을 형성한다.First, a first order depth map is formed by processing the first images having the first resolution using the first map unit 210.

여기서 상기 제 1영상들의 해상도가 상기 제 2영상들의 해상도 보다 낮은 해상도를 이룬다.Here, the resolution of the first images is lower than the resolution of the second images.

따라서 상기 제 1영상들에 대한 1차 깊이 맵을 연산함에 요구되는 처리 시간은 상기 제 2영상들에 대한 깊이 맵을 연산함에 요구되는 처리 시간 보다 짧을 수 있다.Therefore, the processing time required to calculate the first depth map for the first images may be shorter than the processing time required to calculate the depth map for the second images.

이어 선정부(220)를 사용하여 상기 1차 깊이 맵을 통해 상기 기설정된 관심 기준 범위 내에 포함되는 관심 객체들을 선정한다.Subsequently, the selection unit 220 selects objects of interest included in the preset reference range of interest through the first depth map.

상기 배열부(230)를 사용하여 상기 선정된 관심 객체들을 상기 기설정된 관심 기준 범위 내에서 순차적으로 배열한다.The selected objects of interest are sequentially arranged within the preset interest reference range using the arrangement unit 230.

여기서 상기 관심 기준 정보는 객체들의 크기, 이동 속도를 포함한다. 상기 이동 속도의 경우 영상들의 프레임 수에 따라 해당 객체의 이동된 좌표까지의 거리 및 시간을 기초로 산출할 수 있다.Here, the interest criterion information includes the size and movement speed of objects. In the case of the moving speed, the distance and time to the moved coordinate of the object may be calculated according to the number of frames of images.

이에 상기 배열부를 사용하여 관심 객체들을 크기 순서 또는 이동속도의 순서로 배열할 수 있다. 상기 배열은 내림차 순 또는 오름차 순으로 이루어질 수 있다.Accordingly, the objects of interest may be arranged in the order of size or movement speed using the arrangement unit. The arrangement may be made in descending or ascending order.

이에 따라 본 발명에 따른 관심 객체들을 지정할 수 있다.Accordingly, objects of interest according to the present invention can be designated.

2차 영상 취득 단계Secondary image acquisition step

본 발명에 따른 제 2영상 취득부(300)를 사용하여 상기 관심 객체 설정부(200)로부터 설정된 상기 관심 객체들에 대한 제 2영상들을 취득한다.Using the second image acquisition unit 300 according to the present invention, second images of the objects of interest set by the object of interest setting unit 200 are acquired.

여기서 상기 제 2영상들은 제 2해상도를 이루어 촬영된 이미지이다.Here, the second images are images photographed with a second resolution.

즉 전체 영상을 이루는 제 1영상에서 기준 관심 범위에 포함되는 관심 객체들에 대해서만 제 2영상들을 취득한다.That is, second images are acquired only for objects of interest included in the reference range of interest in the first image constituting the entire image.

상기 제 2영상 취득부(300)는 상기와 같이 취득한 제 2영상들을 정보 변환부(400)로 전송한다.The second image acquisition unit 300 transmits the second images acquired as described above to the information conversion unit 400.

정보 변환 단계Information Transformation Step

본 발명에 따른 객체 인식부(400)를 사용하여 상기 제 2영상들을 2차 이미지 처리하여 상기 관심 객체들을 인식한다.The objects of interest are recognized by processing the second images as secondary images using the object recognition unit 400 according to the present invention.

먼저 객체 영상 인식부(410)를 사용하녀 상기 배열부(230)를 통해 배열된 상기 관심 객체들에 대한 상기 제 2영상들을 인식한다.First, an object image recognition unit 410 is used to recognize the second images of the objects of interest arranged through the arrangement unit 230.

그리고 상기 2차 맵부를 사용하여 상기 제 2해상도를 갖는 상기 제 2영상들을 상기 2차 이미지 처리하여 2차 깊이 맵을 연산한다. Then, the second images having the second resolution are processed using the second map unit to calculate the second depth map.

따라서 제 1영상에서 필요한 부분만 제 2영상을 통해 얻는다. 그리고 제 2영상에 관해 2차 깊이맵을 형성함으로써, 2차 영상에 포함되는 관심 객체들의 크기, 이동 속도 등을 산출할 수 있다.Therefore, only the necessary part of the first image is obtained through the second image. In addition, by forming a second depth map with respect to the second image, the size and movement speed of objects of interest included in the second image may be calculated.

정보 변환 단계Information Transformation Step

본 발명에 따른 정보 변환부(500)를 사용하여, 상기과 같이 인식된 상기 관심 개체들의 위치 정보 및 크기 정보 및 속도 정보를 포함하는 관심 정보를 진동 정보 또는 음성 정보로 변환한다.Using the information conversion unit 500 according to the present invention, the information of interest including position information, size information, and speed information of the objects of interest recognized as described above is converted into vibration information or voice information.

여기서 상기 위치 정보를 상기 2차 깊이 맵을 통한 상기 관심 객체들까지의 거리값으로 산출한다.Here, the location information is calculated as a distance value to the objects of interest through the second depth map.

상기 크기 정보를 상기 2차 깊이 맵을 통한 상기 관심 객체들의 면적값으로 산출한다.The size information is calculated as area values of the objects of interest through the second depth map.

상기 속도 정보를 상기 2차 깊이 맵을 통한 상기 관심 객체들의 이동 속도값으로 산출한다.The speed information is calculated as moving speed values of the objects of interest through the second depth map.

이에 본 발명에 따른 상기 정보 변환부는 상기 2차 깊이 맵을 통해 상기 관심 객체들의 위치 정보 및 속도 정보를 포함하는 상기 관심 정보로 산출한다.Accordingly, the information conversion unit according to the present invention calculates the interest information including position information and speed information of the objects of interest through the second depth map.

정보 전달 단계Steps to convey information

본 발명에 따른 정보 전달부(600)를 사용하여 상술한 바와 같이 변환된 상기 진동 정보 또는 상기 음성 정보를 외부로 전달한다.The vibration information or the voice information converted as described above is transmitted to the outside by using the information transmission unit 600 according to the present invention.

여기서 상술한 기설정된 관심 기준 범위는 상기 객체들의 크기 또는 이동 속도에 의해 설정된다. 즉 본 발명에서는 관심 기준 범위를 객체들의 크기를 제한하거나 이동 속도를 하한 또는 기준 이동 속도를 설정할 수 있다.Here, the preset reference range of interest is set by the size or movement speed of the objects. That is, in the present invention, it is possible to limit the size of objects in the reference range of interest, or set the lower limit or the reference movement speed to the movement speed.

상기의 방법은 통해 본 발명은 다수의 스테레오 카메라를 사용하여 사방의 객체에 대한 제 1차 상태 정보를 인식하고, 제 1차 상태정보에서 관심 객체를 설정하여 관심 객체의 2차 상태정보를 외부에 촉각 또는 음성 정보를 통해 실시간으로 제공할 수 있다.Through the above method, the present invention recognizes the first state information of objects in all directions using a plurality of stereo cameras, sets the object of interest from the first state information, and sends the second state information of the object of interest to the outside. It can be provided in real time through tactile or voice information.

특히 본 발명에 따른 정보 전달부(600)를 사용하여 산출된 상기 관심 정보의 수준에 따라 상기 음성 정보 또는 상기 진동 정보의 수준을 설정할 수도 있다.In particular, the level of the voice information or the vibration information may be set according to the level of the information of interest calculated using the information transmission unit 600 according to the present invention.

여기서 정보 전달부(600)는 상기 음성 정보를 상기 위치 정보에 따른 상기 거리값, 상기 면적값 및 상기 이동 속도값에 따른 음성을 외부로 표출되는 스피커(820)로 전송한다.Here, the information transmission unit 600 transmits the voice information to the speaker 820 that is exposed to the outside of the distance value according to the location information, the area value, and the voice according to the movement speed value.

정보 전달부(600)는 상기 진동 정보를 상기 위치 정보에 따른 상기 거리값, 상기 면적값 및 상기 이동 속도값에 비례되는 진동을 이루는 진동 발생기들(810)로 전송한다.The information transmission unit 600 transmits the vibration information to the vibration generators 810 forming vibrations proportional to the distance value, the area value, and the moving speed value according to the location information.

이에 상기 진동 발생기들(810)은 상기 위치 정보에 해당되는 방향을 따라 배치되는 어느 하나의 진동 발생기(810)를 통해 진동을 이룰 수 있다.Accordingly, the vibration generators 810 may vibrate through any one of the vibration generators 810 disposed along a direction corresponding to the location information.

따라서 사용자는 해당 위치에서 음성을 청취 또는 진동 세기를 감안하여 관심 객체의 크기, 위치 또는 거리, 이동하는 속도 등을 다른 촉각으로 인지할 수 있도록 할 수 있다.Accordingly, the user can listen to a voice at a corresponding location or recognize the size, location or distance of the object of interest, and the moving speed with different tactile senses in consideration of the intensity of vibration.

또한 본 발명에 따른 제어부(700)는, 상기 관심 객체에 대한 제 2영상들을 취득하는 과정에서, 상기 관신 객체와의 초점 거리가 설정된 초점 거리를 이루도록 상기 회전 모터를 사용하여 상기 다수의 제 2카메라(310) 각각을 실시간으로 회전시킬 수 있다.In addition, in the process of acquiring second images of the object of interest, the control unit 700 according to the present invention uses the rotation motor to achieve a set focal length with the focal length of the object of interest. (310) Each can be rotated in real time.

또한 도면에 도시되지 않았지만 상기 고정부에는 레일홈이 형성되고, 상기 레일홈에는 상기 다수의 제 2카메라(310)에 구비되는 레일 돌기가 레일 방식으로 결합되는 구조를 예로 한다면, 상기 다수의 제 2카메라(310)는 상기 제어부(700)의 제어에 따라 구동되는 리니어 모터의 구동에 따라 상기 레일홈을 따라 이동될 수 있다.In addition, although not shown in the drawing, if a structure in which a rail groove is formed in the fixing part and rail protrusions provided in the plurality of second cameras 310 are coupled to the rail groove in a rail manner, the plurality of second The camera 310 may be moved along the rail groove according to the driving of the linear motor driven under the control of the controller 700.

여기서 상기 제어부(700)는 상기 다수의 제 2카메라(310)를 통해 상기 제 2영상이 취득되는 지를 판단한다.Here, the control unit 700 determines whether the second image is acquired through the plurality of second cameras 310.

상기 제어부(700)는 상기 제 2영상이 취득되지 않는 경우, 상기 리니어 모터를 사용하여 해당 제 2카메라(310)를 다른 위치로 이동시킨다.When the second image is not acquired, the controller 700 moves the second camera 310 to a different position using the linear motor.

그리고 상기 제어부(700)는 상기 리니어 모터를 구동시켜, 상기 해당 제 2카메라(310)의 양측에 위치되는 다른 제 2카메라(310) 중 어느 하나를 상기 해당 제 2카메라(310)의 위치로 이동시킨다. And the controller 700 drives the linear motor to move any one of the other second cameras 310 located on both sides of the second camera 310 to the position of the second camera 310 Let it.

이어 상기 제어부(700)는 이동된 상기 어느 하나의 제 2카메라(310)를 사용하여 상기 제 2영상을 취득하도록 한다.Subsequently, the controller 700 uses the moved one of the second cameras 310 to acquire the second image.

본 발명에 따른 고정부에는 상기 출력부(900)가 설치될 수 있으며, 출력 변환기(910)를 사용하여 산출된 상기 관심 정보를 전달 받아 상기 관심 정보의 기초를 이루는 상기 2차 깊이 맵을 3차원 정보로 변환하고, 출력부(920)를 사용하여 출력 변환기(910)로부터 상기 3차원 정보를 전달받아 외부에 출력하는 출력할 수도 있다.The output unit 900 may be installed in the fixing unit according to the present invention, and the second depth map forming the basis of the interest information is 3D by receiving the interest information calculated using the output converter 910. It is also possible to convert the information into information, receive the 3D information from the output converter 910 using the output unit 920 and output it to the outside.

이에 본 발명은 해당 위치에서의 지형 지물 정보를 3차원 프린트 자료를 통해 촉각으로 인지하여 해당 위치에서의 지형 지물 정보를 유용하게 인지할 수 있다.Accordingly, according to the present invention, the geographical feature information at the corresponding location can be recognized by tactile sensation through the 3D printed data, so that the geographical feature information at the corresponding location can be usefully recognized.

또한 본 발명에 따른 방향 센서(710)는 이동하는 방향 정보를 측정한다. 상기 방향 정보는 제어부(700)로 전송된다.In addition, the direction sensor 710 according to the present invention measures moving direction information. The direction information is transmitted to the controller 700.

이어 상기 제어부(700)는 상기 다수의 제 1,2카메라(110, 310) 중, 상기 측정되는 방향을 향하는 제 1,2카메라(110, 310)를 사용하도록 제어할 수도 있다.Subsequently, the controller 700 may control to use the first and second cameras 110 and 310 facing the direction of the measurement among the plurality of first and second cameras 110 and 310.

또한 지피에스 센서(720)는 해당 위치에 대한 지도 정보를 위성으로부터 무선으로 전송 받아 지동 정보를 제어부(700)로 전송한다.In addition, the GPS sensor 720 receives map information for a corresponding location wirelessly from a satellite and transmits the motion information to the controller 700.

이어 상기 제어부(700)는 전송받은 상기 지도 정보 상에 포함되는 객체들 중, 이동하는 객체들을 선정한다.Subsequently, the controller 700 selects moving objects from among objects included on the transmitted map information.

상기 제어부(700)는 이동하는 상기 객체들을 상기 관심 객체들로 설정하도록 제어할 수 있다.The controller 700 may control to set the moving objects as the objects of interest.

그리고 상기 제어부(700)는 상기와 같이 이동하는 관심 객체들에 대한 음성 정보 및 상기 진동 정보를 상기 진동 발생기들(810) 및 스피커(820)를 통해 사용자에게 알리도록 제어할 수 있다.In addition, the controller 700 may control to notify the user of the voice information and the vibration information on the moving objects of interest as described above through the vibration generators 810 and the speaker 820.

상기의 방법에 따라 저해상도 스테레오 카메라들로부터 취득한 깊이 맵을 사용하여 관심 대상(POI: Point Of Interest)을 이루는 객체를 고속으로 추출하고 고 해상도 스테레오 카메라의 포커스를 관심 대상 객체로 맞추어 객체 인식(Object Recogni tion)을 위한 영상을 취득하도록 할 수 있음과 아울러, 다중 스테레오 카메라들을 사용하여 실시간으로 취득한 영상에서 객체인식의 속도를 빠르게 하는 동시에 정확도를 향상시킬 수 있다.By using the depth map obtained from low-resolution stereo cameras according to the above method, an object that constitutes a point of interest (POI) is extracted at high speed, and the focus of the high-resolution stereo camera is adjusted to the object of interest. In addition to being able to acquire an image for tion), it is possible to speed up object recognition and improve accuracy in an image acquired in real time using multiple stereo cameras.

이상, 본 발명에 관한 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 실시 변형이 가능함은 자명하다.As described above, specific embodiments related to the present invention have been described, but it is obvious that various implementation modifications are possible within the limit not departing from the scope of the present invention.

그러므로 본 발명의 범위에는 설명된 실시예에 국한되어 전해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention is limited to the described embodiments and should not be transmitted, and should be defined by the claims and equivalents as well as the claims to be described later.

즉, 전술된 실시예는 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로 이해되어야 하며, 본 발명의 범위는 상세한 설명보다는 후술될 청구범위에 의하여 나타내어지며, 그 청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.That is, the above-described embodiments are to be understood as illustrative in all respects and not limiting, and the scope of the present invention is indicated by the claims to be described later rather than the detailed description, and the meaning and scope of the claims and their equivalents All changes or modifications derived from the concept should be interpreted as being included in the scope of the present invention.

100 : 제 1영상 취득부
110 : 제 1카메라
200 : 관심 객체 설정부
300 : 제 2영상 취득부
310 : 제 2카메라
400 : 객체 인식부
500 : 정보 변환부
600 : 정보 전달부
700 : 제어부
710 : 방향 센서
810 : 진동 발생기
820 : 스피커
900 : 출력부100: first image acquisition unit
110: first camera
200: interest object setting unit
300: second image acquisition unit
310: second camera
400: object recognition unit
500: information conversion unit
600: information transmission unit
700: control unit
710: direction sensor
810: vibration generator
820: speaker
900: output

Claims (10)

간격을 이루어 설정된 위치에 배치되며, 전방에 위치되는 객체들에 대한 제 1영상들을 취득하는 제 1영상 취득부;
취득된 상기 제 1영상들을 1차 이미지 처리하여 기설정된 관심 기준 범위 내에서 순차적으로 배열하여 관심 객체들로 설정하는 관심 객체 설정부;
상기 관심 객체 설정부로부터 설정된 상기 관심 객체에 대한 제 2영상들을 취득하는 제 2영상 취득부; 및,
상기 제 2영상들을 2차 이미지 처리하여 상기 관심 객체들을 인식하는 객체 인식부;
를 포함하되,
상기 기설정된 관심 기준 범위는, 상기 객체들의 크기 또는 이동 속도에 의해 설정되고,
상기 1차 이미지 처리의 해상도는 상기 2차 이미지 처리의 해상도에 비해 낮게 처리하는 것을 특징으로 하는 객체 인식 시스템.
A first image acquisition unit that is arranged at a set position with an interval and acquires first images of objects positioned in front;
An interest object setting unit that processes the acquired first images as a primary image and sequentially arranges them within a preset interest reference range and sets them as interest objects;
A second image acquisition unit that acquires second images of the interest object set from the interest object setting unit; And,
An object recognition unit that processes the second images as a secondary image to recognize the objects of interest;
Including,
The preset reference range of interest is set by the size or movement speed of the objects,
The object recognition system, characterized in that the resolution of the primary image processing is lower than the resolution of the secondary image processing.
 제 1항에 있어서,
상기 제 1영상 취득부는,
제 1해상도를 기초로 상기 제 1영상을 취득하는 다수의 제 1카메라를 포함하고,
상기 제 2영상 취득부는,
상기 다수의 제 1카메라 각각의 측부에 배치되며, 상기 제 1해상도 보다 높은 제 2해상도를 기초로 상기 제 2영상을 취득하는 다수의 제 2카메라를 포함하는 것을 특징으로 하는 객체 인식 시스템.
The method of claim 1,
The first image acquisition unit,
Including a plurality of first cameras that acquire the first image based on the first resolution,
The second image acquisition unit,
And a plurality of second cameras disposed at side portions of each of the plurality of first cameras and acquiring the second image based on a second resolution higher than the first resolution.
 제 2항에 있어서,
상기 관심 객체 설정부는,
상기 제 1해상도를 갖는 상기 제 1영상들을 1차 이미지 처리하여 1차 깊이 맵을 형성하는 1차 맵부와,
상기 1차 깊이 맵을 통해 상기 기설정된 관심 기준 범위 내에 포함되는 관심 객체들을 선정하는 선정부와,
상기 선정된 관심 객체들을 상기 기설정된 관심 기준 범위 내에서 순차적으로 배열하는 배열부를 포함하는 것을 특징으로 하는 객체 인식 시스템.
The method of claim 2,
The object of interest setting unit,
A first map unit for forming a first depth map by processing the first images having the first resolution as a first image;
A selection unit that selects objects of interest included in the preset interest criterion range through the first depth map,
An object recognition system comprising: an array unit for sequentially arranging the selected objects of interest within the preset interest reference range.
 제 3항에 있어서,
상기 객체 인식부는,
상기 제 2영상 취득부를 통해, 상기 배열부를 통해 배열된 상기 관심 객체들에 대한 상기 제 2영상들을 취득하도록 하는 객체 영상 인식부와,
상기 제 2해상도를 갖는 상기 제 2영상들을 상기 2차 이미지 처리하여 2차 깊이 맵을 형성하는 2차 맵부를 포함하는 것을 특징으로 하는 객체 인식 시스템.
The method of claim 3,
The object recognition unit,
An object image recognition unit configured to acquire the second images of the objects of interest arranged through the arrangement unit through the second image acquisition unit,
And a second map unit configured to form a second depth map by processing the second images having the second resolution.
 제 4항에 있어서,
상기 위치 정보는, 상기 2차 깊이 맵을 통한 상기 관심 객체들까지의 거리값으로 산출되고,
상기 크기 정보는, 상기 2차 깊이 맵을 통한 상기 관심 객체들의 면적값으로 산출되고,
상기 속도 정보는, 상기 2차 깊이 맵을 통한 상기 관심 객체들의 이동 속도값으로 산출되고,
상기 정보 변환부는,
상기 2차 깊이 맵을 통해, 상기 관심 객체들의 위치 정보 및 속도 정보를 포함하는 상기 관심 정보로 산출하는 것을 특징으로 하는 객체 인식 시스템.
The method of claim 4,
The location information is calculated as a distance value to the objects of interest through the second depth map,
The size information is calculated as area values of the objects of interest through the second depth map,
The speed information is calculated as moving speed values of the objects of interest through the second depth map,
The information conversion unit,
The object recognition system, characterized in that calculating the interest information including position information and speed information of the objects of interest through the second depth map.
 간격을 이루어 설정된 위치에 배치되는 제 1영상 취득부를 사용하여, 전방에 위치되는 객체들에 대한 제 1영상들을 취득하는 제 1영상 취득 단계:
관심 객체 설정부를 사용하여, 취득된 상기 제 1영상들을 1차 이미지 처리하여 기설정된 관심 기준 범위 내에서 순차적으로 배열하여 관심 객체들로 설정하는 관심 객체 설정 단계;
제 2영상 취득부를 사용하여, 상기 설정된 상기 관심 객체에 대한 제 2영상들을 취득하는 제 2영상 취득 단계; 및,
객체 인식부를 사용하여, 상기 제 2영상들을 2차 이미지 처리하여 상기 관심 객체들을 인식하는 객체 인식 단계;
를 포함하되,
상기 기설정된 관심 기준 범위는, 상기 객체들의 크기 또는 이동 속도에 의해 설정되고,
상기 1차 이미지 처리의 해상도는 상기 2차 이미지 처리의 해상도에 비해 낮게 처리하는 것을 특징으로 하는 객체 인식 방법.
A first image acquisition step of acquiring first images of objects positioned in front by using a first image acquisition unit disposed at a set position with an interval:
An interest object setting step of sequentially arranging the acquired first images within a preset interest reference range and setting them as interest objects using an interest object setting unit;
A second image acquisition step of acquiring second images of the set object of interest by using a second image acquisition unit; And,
An object recognition step of recognizing the objects of interest by processing the second images as a secondary image using an object recognition unit;
Including,
The preset reference range of interest is set by the size or movement speed of the objects,
The object recognition method, characterized in that the resolution of the primary image processing is lower than that of the secondary image processing.
 제 6항에 있어서,
상기 제 1영상 취득부는,
제 1해상도를 기초로 상기 제 1영상을 취득하는 다수의 제 1카메라를 포함하고,
상기 제 2영상 취득부는,
상기 다수의 제 1카메라 각각의 측부에 배치되며, 상기 제 1해상도 보다 높은 제 2해상도를 기초로 상기 제 2영상을 취득하는 다수의 제 2카메라를 포함하는 것을 특징으로 하는 객체 인식 방법.
The method of claim 6,
The first image acquisition unit,
Including a plurality of first cameras that acquire the first image based on the first resolution,
The second image acquisition unit,
And a plurality of second cameras disposed at side portions of each of the plurality of first cameras and acquiring the second image based on a second resolution higher than the first resolution.
 제 7항에 있어서,
상기 관심 객체 설정부는,
상기 제 1해상도를 갖는 상기 제 1영상들을 1차 이미지 처리하여 1차 깊이 맵을 형성하는 1차 맵부와,
상기 1차 깊이 맵을 통해 상기 기설정된 관심 기준 범위 내에 포함되는 관심 객체들을 선정하는 선정부와,
상기 선정된 관심 객체들을 상기 기설정된 관심 기준 범위 내에서 순차적으로 배열하는 배열부를 포함하는 것을 특징으로 하는 객체 인식 방법.
The method of claim 7,
The object of interest setting unit,
A first map unit for forming a first depth map by processing the first images having the first resolution as a first image;
A selection unit that selects objects of interest included in the preset interest criterion range through the first depth map,
And an array unit for sequentially arranging the selected objects of interest within the preset interest reference range.
 제 8항에 있어서,
상기 객체 인식부는,
상기 제 2영상 취득부를 통해, 상기 배열부를 통해 배열된 상기 관심 객체들에 대한 상기 제 2영상들을 취득하도록 하는 객체 영상 인식부와,
상기 제 2해상도를 갖는 상기 제 2영상들을 상기 2차 이미지 처리하여 2차 깊이 맵을 형성하는 2차 맵부를 포함하는 것을 특징으로 하는 객체 인식 방법.
The method of claim 8,
The object recognition unit,
An object image recognition unit configured to acquire the second images of the objects of interest arranged through the arrangement unit through the second image acquisition unit,
And a second map unit configured to form a second depth map by processing the second images having the second resolution.
 제 9항에 있어서,
상기 위치 정보는, 상기 2차 깊이 맵을 통한 상기 관심 객체들까지의 거리값으로 산출되고,
상기 크기 정보는, 상기 2차 깊이 맵을 통한 상기 관심 객체들의 면적값으로 산출되고,
상기 속도 정보는, 상기 2차 깊이 맵을 통한 상기 관심 객체들의 이동 속도값으로 산출되고,
상기 정보 변환부는,
상기 2차 깊이 맵을 통해, 상기 관심 객체들의 위치 정보 및 속도 정보를 포함하는 상기 관심 정보로 산출하는 것을 특징으로 하는 객체 인식 방법.
The method of claim 9,
The location information is calculated as a distance value to the objects of interest through the second depth map,
The size information is calculated as area values of the objects of interest through the second depth map,
The speed information is calculated as moving speed values of the objects of interest through the second depth map,
The information conversion unit,
And calculating the interest information including position information and speed information of the objects of interest through the second depth map.
KR1020190069301A 2019-06-12 2019-06-12 System for recognizing object and method for recognizing object using the same Ceased KR20200142266A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190069301A KR20200142266A (en) 2019-06-12 2019-06-12 System for recognizing object and method for recognizing object using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190069301A KR20200142266A (en) 2019-06-12 2019-06-12 System for recognizing object and method for recognizing object using the same

Publications (1)

Publication Number Publication Date
KR20200142266A true KR20200142266A (en) 2020-12-22

Family

ID=74086766

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190069301A Ceased KR20200142266A (en) 2019-06-12 2019-06-12 System for recognizing object and method for recognizing object using the same

Country Status (1)

Country Link
KR (1) KR20200142266A (en)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US12307350B2 (en) 2018-01-04 2025-05-20 Tesla, Inc. Systems and methods for hardware-based pooling
WO2025143330A1 (en) * 2023-12-28 2025-07-03 (주)이지위드 Apparatus and method for tracking moving object
US12462575B2 (en) 2021-08-19 2025-11-04 Tesla, Inc. Vision-based machine learning model for autonomous driving with adjustable virtual camera
US12522243B2 (en) 2021-08-19 2026-01-13 Tesla, Inc. Vision-based system training with simulated content

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US12020476B2 (en) 2017-03-23 2024-06-25 Tesla, Inc. Data synthesis for autonomous control systems
US12086097B2 (en) 2017-07-24 2024-09-10 Tesla, Inc. Vector computational unit
US12216610B2 (en) 2017-07-24 2025-02-04 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US12536131B2 (en) 2017-07-24 2026-01-27 Tesla, Inc. Vector computational unit
US12307350B2 (en) 2018-01-04 2025-05-20 Tesla, Inc. Systems and methods for hardware-based pooling
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US12455739B2 (en) 2018-02-01 2025-10-28 Tesla, Inc. Instruction set architecture for a vector computational unit
US11797304B2 (en) 2018-02-01 2023-10-24 Tesla, Inc. Instruction set architecture for a vector computational unit
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US12079723B2 (en) 2018-07-26 2024-09-03 Tesla, Inc. Optimizing neural network structures for embedded systems
US12346816B2 (en) 2018-09-03 2025-07-01 Tesla, Inc. Neural networks for embedded devices
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11983630B2 (en) 2018-09-03 2024-05-14 Tesla, Inc. Neural networks for embedded devices
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US12367405B2 (en) 2018-12-03 2025-07-22 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11908171B2 (en) 2018-12-04 2024-02-20 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US12198396B2 (en) 2018-12-04 2025-01-14 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US12136030B2 (en) 2018-12-27 2024-11-05 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US12164310B2 (en) 2019-02-11 2024-12-10 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US12236689B2 (en) 2019-02-19 2025-02-25 Tesla, Inc. Estimating object properties using visual image data
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
US12462575B2 (en) 2021-08-19 2025-11-04 Tesla, Inc. Vision-based machine learning model for autonomous driving with adjustable virtual camera
US12522243B2 (en) 2021-08-19 2026-01-13 Tesla, Inc. Vision-based system training with simulated content
WO2025143330A1 (en) * 2023-12-28 2025-07-03 (주)이지위드 Apparatus and method for tracking moving object

Similar Documents

Publication Publication Date Title
KR20200142266A (en) System for recognizing object and method for recognizing object using the same
JP5188507B2 (en) Visual aids with 3D image acquisition
CN108139211B (en) Apparatus and method for measurement and program
EP3610225B1 (en) Systems and methods for updating highly automated driving maps
CN106650705B (en) Region labeling method and device and electronic equipment
CN113160327A (en) Method and system for realizing point cloud completion
JP6270102B2 (en) Moving surface boundary line recognition apparatus, moving body device control system using the moving surface boundary line recognition method, and moving surface boundary line recognition program
JP6251142B2 (en) Non-contact detection method and apparatus for measurement object
JP7131554B2 (en) Image processing device, image processing method, and program
JP2017090239A (en) Information processing device, control method, program, and storage media
JP2025105844A (en) Information providing device, information providing method, information providing program, and storage medium
US20230138487A1 (en) An Environment Model Using Cross-Sensor Feature Point Referencing
CN112447058A (en) Parking method, parking device, computer equipment and storage medium
Costa et al. Obstacle detection using stereo imaging to assist the navigation of visually impaired people
KR101381654B1 (en) Apparatus for generating 3-dimensional modeling and apparatus thereof
KR20190068409A (en) Gradient estimation device, gradient estimation method, computer program product, and controlling system
JP2023100642A (en) inspection system
JP4852006B2 (en) Spatial information database generation device and spatial information database generation program
CN112254675A (en) Space occupancy rate acquisition and judgment equipment and method containing moving object
WO2021070813A1 (en) Error estimation device, error estimation method, error estimation program
JP2021119433A (en) Learning data generator, learning data generation method, learning data generation program, and trained learning model generation method
JP2006318062A (en) Image processor, image processing method and image processing program
JP2005084012A (en) Skin shape measuring method and skin shape measuring apparatus
CN112304250B (en) Three-dimensional matching equipment and method between moving objects
JP2017182564A (en) Positioning device, positioning method, and positioning computer program

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190612

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200708

Patent event code: PE09021S01D

PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20210118

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20200708

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I