KR102723704B1 - System and method for interpolating an object by creating viewpoint conversion image - Google Patents
System and method for interpolating an object by creating viewpoint conversion image Download PDFInfo
- Publication number
- KR102723704B1 KR102723704B1 KR1020230103951A KR20230103951A KR102723704B1 KR 102723704 B1 KR102723704 B1 KR 102723704B1 KR 1020230103951 A KR1020230103951 A KR 1020230103951A KR 20230103951 A KR20230103951 A KR 20230103951A KR 102723704 B1 KR102723704 B1 KR 102723704B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- viewpoint
- target
- interpolating
- auxiliary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims description 19
- 239000013598 vector Substances 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
본 발명은 동일 객체를 서로 다른 시점에서 촬영하여 획득된 목표시점영상 및 보조시점영상을 마련하는 영상준비부, 상기 보조시점영상을 상기 목표시점영상의 시점으로 변환하여 시점변환영상을 생성하는 시점변환부, 및 상기 목표시점영상과 상기 시점변환영상을 정합하고, 상기 시점변환영상을 이용하여 상기 목표시점영상을 보간하는 영상정합부를 포함하는 시점변환영상을 생성하여 객체를 보간하는 시스템을 제공한다.The present invention provides a system for interpolating an object by generating a viewpoint-converted image, including an image preparation unit for preparing a target viewpoint image and an auxiliary viewpoint image obtained by photographing the same object at different viewpoints, a viewpoint conversion unit for generating a viewpoint-converted image by converting the auxiliary viewpoint image into the viewpoint of the target viewpoint image, and an image alignment unit for aligning the target viewpoint image and the viewpoint-converted image and interpolating the target viewpoint image using the viewpoint-converted image.
Description
본 발명은 객체(object)를 단일 시점에서 촬영시 발생하는 누락정보를 추정하여 보간하기 위한 것으로서, 보다 상세하게는 둘 이상의 시점에서 촬영한 영상을 이용하여 자세를 추정하는 시스템 및 방법에 관한 것이다.The present invention relates to an object for estimating and interpolating missing information that occurs when photographing an object from a single viewpoint, and more specifically, to a system and method for estimating a pose using images photographed from two or more viewpoints.
카메라로 어느 일 시점에서 객체(object)에 대한 영상을 촬영하는 경우, 촬영 환경 등에 의해 온전한 형태의 객체를 촬영할 수 없는 경우가 있다. 일 예로, 사용자 신체에 대한 영상을 촬영하는 경우, 촬영 영상에 신체 일부가 장애물 따위에 의해 가려져 미포함될 수 있다.When taking a video of an object at a certain point in time with a camera, there are times when the object cannot be captured in its entirety due to the shooting environment, etc. For example, when taking a video of a user's body, a part of the body may not be included in the captured video because it is obscured by an obstacle, etc.
종래에는, 카메라로 촬영된 영상 중 누락된 부분을 보간하기 위해, Nearest Neighbor Interpolation, Bilinear Interpolation, Quadractic Interpolation 등의 방법을 이용하여 그 주변의 픽셀(pixel) 정보를 근거로 채웠지만, 보간된 부분이 부자연스러울 수 있으며, 다량의 정보가 누락된 경우에는 채울 수 없는 문제도 있다.In the past, in order to interpolate missing parts in images captured by a camera, methods such as Nearest Neighbor Interpolation, Bilinear Interpolation, and Quadractic Interpolation were used to fill in the missing parts based on the pixel information around them. However, the interpolated parts may be unnatural, and there is also the problem that they cannot be filled in when a large amount of information is missing.
따라서, 이러한 문제를 해소하기 위한 필요기술이 요구되고 있는 실정에 있다.Therefore, there is a need for technologies necessary to solve these problems.
본 발명은, 객체(object)에 대한 촬영 영상에서 발생한 누락정보를 추정하여 보간할 수 있는 객체 보간 시스템 및 방법을 제공하는 데 있다.The present invention provides an object interpolation system and method capable of estimating and interpolating missing information occurring in a photographed image of an object.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명은 동일 객체를 서로 다른 시점에서 촬영하여 획득된 목표시점영상 및 보조시점영상을 마련하는 영상준비부, 상기 보조시점영상을 상기 목표시점영상의 시점으로 변환하여 시점변환영상을 생성하는 시점변환부, 및 상기 목표시점영상과 상기 시점변환영상을 정합하고, 상기 시점변환영상을 이용하여 상기 목표시점영상을 보간하는 영상정합부를 포함하는 시점변환영상을 생성하여 객체를 보간하는 시스템을 제공한다.As a means for solving the above-mentioned technical problem, the present invention provides a system for interpolating an object by generating a viewpoint-converted image, including an image preparation unit for preparing a target viewpoint image and an auxiliary viewpoint image obtained by photographing the same object at different viewpoints, a viewpoint conversion unit for generating a viewpoint-converted image by converting the auxiliary viewpoint image into the viewpoint of the target viewpoint image, and an image alignment unit for aligning the target viewpoint image and the viewpoint-converted image and interpolating the target viewpoint image using the viewpoint-converted image.
일 실시예에 따라, 상기 시점변환부는, 상기 목표시점영상과 상기 보조시점영상의 쌍을 학습한 결과를 이용하여, 상기 시점변환영상을 생성할 수 있다.According to one embodiment, the viewpoint conversion unit can generate the viewpoint conversion image by using the result of learning a pair of the target viewpoint image and the auxiliary viewpoint image.
일 실시예에 따라, 상기 객체를 바라본 상기 목표시점영상과 상기 보조시점영상의 시선은, 서로 교차할 수 있다.According to one embodiment, the line of sight of the target viewpoint image and the auxiliary viewpoint image looking at the object may intersect with each other.
일 실시예에 따라, 상기 객체는 사람 객체를 포함하되, 상기 목표시점영상 내 상기 사람 객체는 신체 일부가 누락될 수 있다.In one embodiment, the object includes a human object, but the human object in the target time image may be missing a body part.
일 실시예에 따라, 상기 영상정합부는, 상기 목표시점영상에서 탐지된 제1 객체로부터 복수의 제1 키포인트를 추출하고, 상기 시점변환영상에서 탐지된 제2 객체로부터 복수의 제2 키포인트를 추출하며, 서로 대응하는 상기 제1 및 제2 키포인트를 근거로 상기 제1 키포인트 중 누락부분을 상기 제2 키포인트를 근거로 보간할 수 있다.According to one embodiment, the image alignment unit extracts a plurality of first keypoints from a first object detected in the target viewpoint image, extracts a plurality of second keypoints from a second object detected in the viewpoint-converted image, and interpolates missing portions of the first keypoints based on the second keypoints, based on the first and second keypoints corresponding to each other.
일 실시예에 따라, 상기 영상정합부는, 기 학습된 상기 객체의 구조를 이용하여 상기 제1 및 제2 키포인트에 대한 신뢰도점수를 계산하고, 임계값 이상의 상기 신뢰도점수를 가진 상기 제1 및 제2 키포인트를 추출할 수 있다.According to one embodiment, the image matching unit may calculate confidence scores for the first and second keypoints using the structure of the object learned in advance, and extract the first and second keypoints having confidence scores greater than a threshold value.
일 실시예에 따라, 상기 영상정합부는, 서로 대응하는 상기 추출된 제1 키포인트와 상기 추출된 제2 키포인트 간에 보간 벡터를 계산하고, 상기 보간 벡터의 평균값으로 상기 제1 키포인트 중 누락부분을 보간할 수 있다.According to one embodiment, the image matching unit may calculate an interpolation vector between the extracted first keypoint and the extracted second keypoint that correspond to each other, and interpolate a missing portion of the first keypoint by using an average value of the interpolation vector.
또한, 본 발명은, 영상준비부가 동일 객체를 서로 다른 시점에서 촬영하여 획득된 목표시점영상 및 보조시점영상을 마련하는 단계, 시점변환부가 상기 보조시점영상을 상기 목표시점영상의 시점으로 변환하여 시점변환영상을 생성하는 단계, 및 영상정합부가 상기 목표시점영상과 상기 시점변환영상을 정합하고, 상기 시점변환영상을 이용하여 상기 목표시점영상을 보간하는 단계를 포함하는 시점변환영상을 생성하여 객체를 보간하는 방법을 제공한다.In addition, the present invention provides a method for interpolating an object by generating a viewpoint-converted image, including a step of an image preparation unit preparing a target viewpoint image and an auxiliary viewpoint image obtained by photographing the same object at different viewpoints, a step of a viewpoint-converting unit converting the auxiliary viewpoint image into the viewpoint of the target viewpoint image to generate a viewpoint-converted image, and a step of an image alignment unit aligning the target viewpoint image and the viewpoint-converted image and interpolating the target viewpoint image using the viewpoint-converted image.
일 실시예에 따라, 상기 목표시점영상을 보간하는 단계는, 상기 목표시점영상에서 탐지된 제1 객체로부터 복수의 제1 키포인트를 추출하고, 상기 보조시점영상에서 탐지된 제2 객체로부터 복수의 제2 키포인트를 추출하는 (a) 단계, 및 서로 대응하는 상기 제1 및 제2 키포인트를 근거로 상기 제1 키포인트 중 누락부분을 상기 제2 키포인트를 근거로 보간하는 (b) 단계를 포함할 수 있다.According to one embodiment, the step of interpolating the target viewpoint image may include the step (a) of extracting a plurality of first keypoints from a first object detected in the target viewpoint image and extracting a plurality of second keypoints from a second object detected in the auxiliary viewpoint image, and the step (b) of interpolating a missing portion among the first keypoints based on the second keypoints, based on the first and second keypoints that correspond to each other.
일 실시예에 따라, 상기 (b) 단계는, 서로 대응하는 상기 추출된 제1 키포인트와 상기 추출된 제2 키포인트 간에 보간 벡터를 계산하고, 상기 보간 벡터의 평균값으로 상기 제1 키포인트 중 누락부분을 보간할 수 있다.According to one embodiment, the step (b) may calculate an interpolation vector between the extracted first keypoint and the extracted second keypoint that correspond to each other, and interpolate a missing portion of the first keypoint with an average value of the interpolation vector.
본 발명에 따른 시점변환영상을 생성하여 객체를 보간하는 시스템 및 방법은, 객체(object)에 대한 촬영 영상에서 발생한 누락정보를 추정하여 보간할 수 있다.The system and method for interpolating an object by generating a viewpoint-converted image according to the present invention can estimate and interpolate missing information occurring in a photographed image of an object.
서로 다른 시선을 갖도록 배치된 2대의 일반카메라만 사용하더라도 객체 중 누락 부분을 추정하여 보간할 수 있기 때문에, 별도로 부가적인 장치나 센서 따위를 요구하지 않는다.Since it is possible to estimate and interpolate missing parts of an object using only two general cameras positioned to have different viewpoints, it does not require any additional devices or sensors.
도 1은 본 발명의 일 실시예에 따른 시점변환영상을 생성하여 객체를 보간하는 시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 시점변환영상을 생성하여 객체를 보간하는 시스템의 구성도이다.
도 3은 정상적으로 촬영된 목표시점영상과 보조시점영상의 일 예시도이다.
도 4는 도 3의 목표시점영상 중 일부가 누락된 예시도이다.
도 5는 본 발명의 일 실시예에 따른 시스템 및 방법이 일부가 누락된 목표시점영상과 보조시점영상을 이용하여 추정영상을 생성하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 시스템 및 방법이 일부가 누락된 목표시점영상과 보조시점영상을 정합 및 보간하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 시점변환영상을 생성하여 자세를 추정하는 방법에 대한 단계별 흐름도이다.
도 8은 본 발명의 일 실시예에 따라 목표시점영상을 보간하는 방법에 대한 단계별 흐름도이다.FIG. 1 is a schematic diagram of a system for interpolating an object by generating a viewpoint-converted image according to one embodiment of the present invention.
FIG. 2 is a configuration diagram of a system that interpolates an object by generating a viewpoint-converted image according to one embodiment of the present invention.
Figure 3 is an example of a normally shot target viewpoint image and an auxiliary viewpoint image.
Figure 4 is an example diagram in which some of the target time point images of Figure 3 are missing.
FIG. 5 is a diagram for explaining a process of generating an estimated image using a target viewpoint image and an auxiliary viewpoint image with some parts missing, according to an embodiment of the present invention.
FIG. 6 is a diagram for explaining a process of aligning and interpolating a target viewpoint image and an auxiliary viewpoint image with some parts missing, according to an embodiment of the present invention.
FIG. 7 is a step-by-step flow chart of a method for estimating a pose by generating a viewpoint-converted image according to one embodiment of the present invention.
FIG. 8 is a step-by-step flowchart of a method for interpolating a target viewpoint image according to one embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성 요소에 대한 접미사 "유닛" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments disclosed in this specification will be described in detail with reference to the attached drawings. Regardless of the drawing symbols, identical or similar components will be given the same reference numerals and redundant descriptions thereof will be omitted. The suffixes "unit" and "part" used for components in the following description are assigned or used interchangeably only for the convenience of writing the specification, and do not have distinct meanings or roles in themselves. In addition, when describing embodiments disclosed in this specification, if it is determined that a specific description of a related known technology may obscure the gist of the embodiments disclosed in this specification, the detailed description thereof will be omitted. In addition, the attached drawings are only intended to facilitate easy understanding of the embodiments disclosed in this specification, and the technical ideas disclosed in this specification are not limited by the attached drawings, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and technical scope of the present invention.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다.Terms including ordinal numbers, such as first, second, etc., may be used to describe various components, but the components are not limited by the terms.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The above terms are used solely to distinguish one component from another.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When it is said that a component is "connected" or "connected" to another component, it should be understood that it may be directly connected or connected to that other component, but that there may be other components in between. On the other hand, when it is said that a component is "directly connected" or "directly connected" to another component, it should be understood that there are no other components in between.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Singular expressions include plural expressions unless the context clearly indicates otherwise.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this specification, it should be understood that the terms “comprises” or “has” and the like are intended to specify the presence of a feature, number, step, operation, component, part or combination thereof described in the specification, but do not exclude in advance the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts or combinations thereof.
시점변환영상을Viewpoint change video 생성하여 객체를 Create an object by 보간하는Interpolating 시스템System
도 1은 본 발명의 일 실시예에 따른 시점변환영상을 생성하여 객체를 보간하는 시스템의 개략도이다.FIG. 1 is a schematic diagram of a system for interpolating an object by generating a viewpoint-converted image according to one embodiment of the present invention.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 시점변환영상을 생성하여 객체를 보간하는 시스템(이하, "객체보간시스템"으로 약칭하기로 한다)(1)은, 제1 및 제2 카메라(c1, c2)에 의해 촬영된 객체(o)에 대한 영상을 이용하여, 일 시점(s1)에서 마련된 영상 중 누락된 정보를 다른 시점(s2)에서 마련된 영상으로 추정하여 보간할 수 있다.As illustrated in FIG. 1, a system (hereinafter, abbreviated as “object interpolation system”) (1) for interpolating an object by generating a viewpoint-converted image according to one embodiment of the present invention can interpolate missing information in an image prepared at one viewpoint (s1) by estimating it with an image prepared at another viewpoint (s2) using images of an object (o) captured by first and second cameras (c1, c2).
여기서, 객체(object)(o)는 제1 및 제2 카메라(c1, c2)에 의해 촬영되는 피사체로서, 객체(o)의 종류에 대해 본 발명은 용이한 설명을 위해 소정의 신체 구조를 가진 사람으로 가정하여 설명할 수 있으나, 이에 한정하는 것은 아니다.Here, the object (o) is a subject photographed by the first and second cameras (c1, c2). For the purpose of easy explanation, the present invention may be explained by assuming that the object (o) is a person with a certain body structure, but is not limited thereto.
제1 카메라(c1)는 객체(o)를 향한 제1 시점(s1)을 가질 수 있고, 제2 카메라(c2)는 객체(o)를 향한 제2 시점(s2)을 가질 수 있다. 객체(o)에 대하여 제1 카메라(c1)가 촬영한 영상을 목표시점영상으로 하고, 제2 카메라(c2)가 촬영한 영상을 보조시점영상으로 하되, 이에 대해 본 발명은 특별히 한정하지 않는다.The first camera (c1) may have a first viewpoint (s1) directed toward the object (o), and the second camera (c2) may have a second viewpoint (s2) directed toward the object (o). The image captured by the first camera (c1) with respect to the object (o) is used as a target viewpoint image, and the image captured by the second camera (c2) is used as an auxiliary viewpoint image; however, the present invention is not particularly limited thereto.
이때, 제1 시점(s1)과 제2 시점(s2)은 서로 교차하도록 마련되되, 바람직한 일 실시예에 따라 제1 시점(s1)과 제2 시점(s2)은 서로 직교하도록 마련되는 것이 바람직하다. 일 예로, 제1 카메라(c1)는 객체(o)를 정면에서 바라보도록 제1 시점(s1)을 가질 수 있고, 제2 카메라(c2)는 객체(o)를 평면(위)에서 바라보도록 제2 시점(s2)을 가질 수 있다.At this time, the first viewpoint (s1) and the second viewpoint (s2) are arranged to intersect each other, but according to a preferred embodiment, the first viewpoint (s1) and the second viewpoint (s2) are preferably arranged to be orthogonal to each other. For example, the first camera (c1) may have the first viewpoint (s1) to view the object (o) from the front, and the second camera (c2) may have the second viewpoint (s2) to view the object (o) from the plane (above).
객체보간시스템(1)은 각종 통신망을 통해 내려받거나 전자기록매체를 통해 목표시점영상과 보조시점영상을 입력받을 수 있고, 입력된 영상들을 이용하여 목표시점영상 내 누락된 정보를 추정 및 보간하여 추정영상을 생성할 수 있는 소정의 연산 기능을 가진 장치이면, 이에 대해 본 발명은 특별히 한정하지 않는다.The object interpolation system (1) is a device having a predetermined calculation function that can receive target viewpoint images and auxiliary viewpoint images by downloading them through various communication networks or through electronic recording media, and can estimate and interpolate missing information in the target viewpoint image using the input images to generate an estimated image, and the present invention is not particularly limited thereto.
한편, 도 2는 본 발명의 일 실시예에 따른 시점변환영상을 생성하여 객체를 보간하는 시스템의 구성도이다.Meanwhile, FIG. 2 is a configuration diagram of a system that interpolates an object by generating a viewpoint-converted image according to one embodiment of the present invention.
본 발명의 일 실시예에 따른 객체보간시스템(1)은, 도 2에 도시한 바와 같이, 동일 객체를 서로 다른 시점에서 촬영하여 획득된 목표시점영상(11) 및 보조시점영상(12)을 마련하는 영상준비부(10)와, 보조시점영상(12)을 목표시점영상(11)의 시점으로 변환하여 시점변환영상(21)을 생성하는 시점변환부(20)와, 목표시점영상(11)과 시점변환영상(21)을 정합하고, 시점변환영상(21)을 이용하여 목표시점영상(11)을 보간하는 영상정합부(30)를 포함할 수 있다.An object interpolation system (1) according to one embodiment of the present invention may include, as illustrated in FIG. 2, an image preparation unit (10) that prepares a target viewpoint image (11) and an auxiliary viewpoint image (12) obtained by photographing the same object at different viewpoints, a viewpoint conversion unit (20) that converts the auxiliary viewpoint image (12) into the viewpoint of the target viewpoint image (11) to generate a viewpoint-converted image (21), and an image alignment unit (30) that aligns the target viewpoint image (11) and the viewpoint-converted image (21) and interpolates the target viewpoint image (11) using the viewpoint-converted image (21).
이하, 각 구성요소에 대해 자세히 살펴보기로 한다.Below, we will look at each component in more detail.
영상준비부(10)는, 객체(o)를 서로 다른 시점에서 촬영한 목표시점영상(11)과 보조시점영상(12)을 마련할 수 있다.The image preparation unit (10) can prepare a target viewpoint image (11) and an auxiliary viewpoint image (12) taken from different viewpoints of the object (o).
구체적으로, 전술한 바와 같이, 영상준비부(10)는 전자기록매체나 각종 유무선 통신망을 통해 내려받는 등 다양한 경로를 통해, 제1 카메라(c1)에 의해 촬영된 목표시점영상(11)과 제2 카메라(c2)에 의해 촬영된 보조시점영상(12)을 입력받아 마련할 수 있다.Specifically, as described above, the image preparation unit (10) can receive and prepare a target viewpoint image (11) captured by the first camera (c1) and an auxiliary viewpoint image (12) captured by the second camera (c2) through various routes, such as downloading through an electronic recording medium or various wired/wireless communication networks.
목표시점영상(11) 및/또는 보조시점영상(12)에는 객체(o) 이외에 다른 대상을 포함할 수 있으며, 이때 본 발명은 특별히 한정하지 않으나, 상기 영상준비부(10)는 목표시점영상(11) 및/또는 보조시점영상(12)으로부터 객체(o)부분을 추출할 수 있다.The target viewpoint image (11) and/or the auxiliary viewpoint image (12) may include other objects in addition to the object (o), and in this case, the present invention is not particularly limited, but the image preparation unit (10) may extract the object (o) portion from the target viewpoint image (11) and/or the auxiliary viewpoint image (12).
일 예로, 도 3은 정상적으로 촬영된 목표시점영상과 보조시점영상의 일 예시도로서, 도 3(a)에 도시한 목표시점영상은, 정면에서 바라본 소정의 구조를 가진 사람 객체(o)를 포함할 수 있고, 도 3(b)에 도시한 보조시점영상(12)은, 또 다른 시점인 위에서 바라본 동일 객체(o)를 포함할 수 있다.As an example, FIG. 3 is an example diagram of a normally captured target viewpoint image and an auxiliary viewpoint image. The target viewpoint image illustrated in FIG. 3(a) may include a human object (o) having a predetermined structure viewed from the front, and the auxiliary viewpoint image (12) illustrated in FIG. 3(b) may include the same object (o) viewed from above, which is another viewpoint.
도 3(a) 및 3(b) 각각에 도시한 목표시점영상(11)과 보조시점영상(12)은, 누락된 촬영 정보 없이 온전한 객체(o)를 포함한 정상 촬영된 영상이지만, 다양한 원인에 의해 온전한 객체(o)가 아닌, 목표시점영상(11) 및/또는 보조시점영상(12) 중 일부 정보가 누락될 수 있다.The target viewpoint image (11) and the auxiliary viewpoint image (12) illustrated in FIGS. 3(a) and 3(b) are normal captured images including a complete object (o) without missing shooting information, but some information of the target viewpoint image (11) and/or the auxiliary viewpoint image (12) may be missing due to various causes, and not the complete object (o).
즉, 카메라의 촬영 범위 내 객체(o) 중 일부가 포함되지 않거나, 객체(o) 중 일부가 장애물 따위에 가려지거나, 촬영 장비의 오작동이나 고장 등과 같은 다양한 촬영 환경의 이유로, 목표시점영상(11) 및/또는 보조시점영상(12) 내 객체(o)의 일부 정보는 누락될 수 있다.That is, some information about the object (o) in the target viewpoint image (11) and/or the auxiliary viewpoint image (12) may be missing due to various reasons in the shooting environment, such as some of the objects (o) within the shooting range of the camera are not included, some of the objects (o) are obscured by obstacles, or there is a malfunction or breakdown of the shooting equipment.
도 4는 도 3의 목표시점영상 중 일부가 누락된 예시도로서, 도 4(a)에 도시한 바와 같이, 목표시점영상(11) 내 소정의 구조를 가진 사람 객체(o) 중 일부분(일 예로 팔 부분)에 대한 정보가 누락될 수 있다.FIG. 4 is an example diagram in which a part of the target time image of FIG. 3 is missing. As shown in FIG. 4(a), information on a part (e.g., an arm) of a human object (o) having a predetermined structure in the target time image (11) may be missing.
이와 다르게, 도 4(b)에 도시한 바와 같이, 목표시점영상(11)과 다른 시점에서 촬영된 보조시점영상(12) 내 상기 객체(o)는 상기 목표시점영상(11) 중 누락된 부분에 상응하는 정보를 포함할 수 있다.In contrast, as illustrated in Fig. 4(b), the object (o) in the auxiliary viewpoint image (12) captured at a different time point from the target viewpoint image (11) may include information corresponding to a missing portion of the target viewpoint image (11).
이때, 보조시점영상(12) 역시, 상기 객체(o) 중 일부분의 정보가 누락될 수 있으나, 목표시점영상(11) 중 누락부분과 보조시점영상(12) 중 누락부분은 객체(o)에서 서로 대응하는 부분이 아니어서, 목표시점영상(11) 중 누락부분과 보조시점영상(12) 중 누락부분은 서로 중복되지 않은 것이 바람직하다. 다시말해, 상기 객체(o)에 대한 시점은 서로 다르지만, 상기 객체(o) 중 일부 누락된 정보를 포함한 목표시점영상(11)과, 상기 객체(o) 중 일부 누락된 정보를 포함한 보조시점영상(12)을 조합하였을 때, 즉 각각의 목표시점영상(11)과 보조시점영상(12)에서 객체(o)의 구조 합집합은, 객체(o)의 전 구조를 포함하는 것이 바람직하다.At this time, the auxiliary viewpoint image (12) may also be missing some information of the object (o), but the missing portion of the target viewpoint image (11) and the missing portion of the auxiliary viewpoint image (12) do not correspond to each other in the object (o), so it is preferable that the missing portion of the target viewpoint image (11) and the missing portion of the auxiliary viewpoint image (12) do not overlap each other. In other words, although the viewpoints for the object (o) are different, when the target viewpoint image (11) including some missing information of the object (o) and the auxiliary viewpoint image (12) including some missing information of the object (o) are combined, that is, the structural union of the object (o) in each of the target viewpoint images (11) and the auxiliary viewpoint images (12) preferably includes the entire structure of the object (o).
일 예로, 도 4(a)에 도시한 목표시점영상(11)의 사람 객체 중 팔 부분이 누락된 경우, 도 4(b)에 도시한 보조시점영상(12)의 사람 객체 중 상기 누락부분에 대응하는 팔 부분은 포함되어 있는 것이 바람직하다.For example, in the case where the arm portion of the human object in the target viewpoint image (11) illustrated in Fig. 4(a) is missing, it is preferable that the arm portion corresponding to the missing portion in the human object in the auxiliary viewpoint image (12) illustrated in Fig. 4(b) be included.
한편, 시점변환부(20)는 객체(o)에 대하여 서로 다른 시점을 가진 목표시점영상(11)과 보조시점영상(12)을 일치시키도록 목표시점영상(11) 및 보조시점영상(12) 중 적어도 하나를 변환할 수 있다.Meanwhile, the viewpoint conversion unit (20) can convert at least one of the target viewpoint image (11) and the auxiliary viewpoint image (12) so as to match the target viewpoint image (11) and the auxiliary viewpoint image (12) with different viewpoints with respect to the object (o).
구체적인 일 실시예에 따른 시점변환부(20)는 보조시점영상(12)을 목표시점영상(11)의 시점과 동일한 시점으로 변환한 시점변환영상(21)을 생성할 수 있다. 시점변환부(20)는, 보간대상인 목표시점영상(11) 중 누락된 부분을 보간하기 위해 필요한 피보간대상인 시점변환영상(21)을 생성할 수 있다. A viewpoint conversion unit (20) according to a specific embodiment can generate a viewpoint conversion image (21) that converts an auxiliary viewpoint image (12) to the same viewpoint as the target viewpoint image (11). The viewpoint conversion unit (20) can generate a viewpoint conversion image (21) that is an interpolation target, which is necessary for interpolating a missing portion of the target viewpoint image (11) that is an interpolation target.
여기서 시점변환영상(21)은, 보조시점영상(12)을 근거로 객체(o)에 대한 시점이 변환된 영상으로서, 보조시점영상(12)을 근거로 상기 목표시점영상(11)과 동일한 시점으로 변환된 영상일 수 있다. 즉 시점변환영상(21)은 카메라가 객체(o)를 실제로 촬영한 영상이 아닌, 보조시점영상(12)을 근거로 변환한 가상의 영상으로서, 시점은 목표시점영상(11)과 동일한 시점의 영상일 수 있다.Here, the viewpoint-converted image (21) is an image in which the viewpoint for the object (o) is converted based on the auxiliary viewpoint image (12), and may be an image converted to the same viewpoint as the target viewpoint image (11) based on the auxiliary viewpoint image (12). In other words, the viewpoint-converted image (21) is not an image in which the camera actually captures the object (o), but a virtual image converted based on the auxiliary viewpoint image (12), and the viewpoint may be an image of the same viewpoint as the target viewpoint image (11).
일 예로, 시점변환영상(21)은, 도 5(b) 및 5(c)에 도시한 바와 같이, 보조시점영상(12)을 근거로 도 5(a)의 목표시점영상(11)과 동일한 시점으로 변환한 영상으로서, 목표시점영상(11)이 객체(o)인 사람 신체에 대한 정면 영상이고, 보조시점영상(12)이 객체(o)인 사람 신체에 대한 평면 영상인 경우, 시점변환영상(21)은 목표시점영상(11)과 동일하게 객체(o)인 사람 신체에 대한 정면 영상일 수 있다.For example, the viewpoint-converted image (21), as shown in FIGS. 5(b) and 5(c), is an image converted to the same viewpoint as the target viewpoint image (11) of FIG. 5(a) based on the auxiliary viewpoint image (12). When the target viewpoint image (11) is a frontal image of the object (o) that is a human body, and the auxiliary viewpoint image (12) is a planar image of the object (o) that is a human body, the viewpoint-converted image (21) can be a frontal image of the object (o) that is a human body, the same as the target viewpoint image (11).
시점변환부(20)는, 보조시점영상(12)을 근거로 시점변환영상(21)을 생성할 수 있도록 목표시점영상(11)과 보조시점영상(12)의 쌍을 미리 학습할 수 있다. The viewpoint conversion unit (20) can learn pairs of target viewpoint images (11) and auxiliary viewpoint images (12) in advance so that a viewpoint conversion image (21) can be generated based on an auxiliary viewpoint image (12).
즉, 시점변환부(20)는 동일 객체(o)에 대해 서로 다른 시점을 갖는 영상들인 목표시점영상(11)과 보조시점영상(12) 간 소정의 특징점이나 키포인트들을 매핑(mapping)하여, 쌍을 이루는 목표시점영상(11)과 보조시점영상(12) 간의 관계를 학습하여, 학습데이터를 마련할 수 있다. 여기서, 특징점은 객체(o) 중 모서리나 코너 등과 같이 적어도 일부를 식별할 수 있는 지점으로서, 객체(o)에 대한 고유한 부분일 수 있다.That is, the viewpoint conversion unit (20) can prepare learning data by mapping predetermined feature points or key points between the target viewpoint image (11) and the auxiliary viewpoint image (12), which are images having different viewpoints for the same object (o), and learning the relationship between the target viewpoint image (11) and the auxiliary viewpoint image (12) that form a pair. Here, the feature point is a point that can identify at least a part of the object (o), such as an edge or corner, and can be a unique part of the object (o).
시점변환부(20)는, 상기 학습 데이터를 이용하여 영상준비부(10)에 의해 마련된 보조시점영상(12)으로부터 객체(o)에 대한 시점이 변환된 시점변환영상(21)을 생성할 수 있다.The viewpoint conversion unit (20) can generate a viewpoint conversion image (21) in which the viewpoint of the object (o) is converted from the auxiliary viewpoint image (12) prepared by the image preparation unit (10) using the above learning data.
이렇게 시점변환부(20)에 의해 생성된 가상의 시점변환영상(21)은, 전술한 바와 같이, 목표시점영상(11)과 동일 시선에서 바라본 객체(o)를 포함하되, 목표시점영상(11) 중 누락된 일 부분을 포함한 객체(o)를 포함할 수 있다.As described above, the virtual viewpoint conversion image (21) generated by the viewpoint conversion unit (20) includes an object (o) viewed from the same viewpoint as the target viewpoint image (11), but may include an object (o) including a part that is missing from the target viewpoint image (11).
이때, 본 발명은 특별히 한정하지 않으나, 시점변환부(20)가 보조시점영상(12)을 근거로 시점변환영상(21)을 생성할 때, 보조시점영상(12)과 쌍을 이루는 일부 정보가 누락된 목표시점영상(11)을 참조할 수 있다. 즉, 시점변환부(20)가 보조시점영상(12) 내 객체(o)로부터 시선 변환된 객체(o)를 생성할 때, 목표시점영상(11) 중 정보가 누락되지 않은 부분을 참조할 수 있다. 일 예로 시선 변환된 객체(o) 중 일부분을 목표시점영상(11) 내 정보가 누락되지 않은 부분에 대응시켜 교체하거나, 목표시점영상(11) 중 누락된 부분에 대응하는 부분과 그 주변에 대해서만 시선 변환시키고 이를 목표시점영상(11) 내 정보가 누락되지 않은 부분과 맞추어 오버레이함으로써, 시선 변환 영상의 정확도를 높이도록 하는 것이 바람직하다.At this time, the present invention is not particularly limited, but when the viewpoint conversion unit (20) generates the viewpoint conversion image (21) based on the auxiliary viewpoint image (12), it may refer to the target viewpoint image (11) in which some information that is paired with the auxiliary viewpoint image (12) is missing. That is, when the viewpoint conversion unit (20) generates the gaze-converted object (o) from the object (o) in the auxiliary viewpoint image (12), it may refer to a part of the target viewpoint image (11) in which information is not missing. For example, it is preferable to replace a part of the gaze-converted object (o) by corresponding it to a part in which information is not missing in the target viewpoint image (11), or to perform gaze conversion only on the part corresponding to the missing part in the target viewpoint image (11) and its surroundings and overlay it with the part in which information is not missing in the target viewpoint image (11), thereby increasing the accuracy of the gaze-converted image.
이후, 영상정합부(30)는 목표시점영상(11)과 시점변환영상(21)을 서로 정합하여, 목표시점영상(11) 중 누락된 일부 정보를 보간함으로써, 최종 추정영상을 생성할 수 있다(도 5(d) 참조).Thereafter, the image alignment unit (30) aligns the target viewpoint image (11) and the viewpoint transformation image (21) with each other, and interpolates some of the missing information in the target viewpoint image (11), thereby generating a final estimated image (see Fig. 5(d)).
목표시점영상(11)의 시점과 시점변환영상(21)의 시점은 서로 동일하므로, 영상정합부(30)는 목표시점영상(11)의 누락 부분에 대하여, 시점변환영상(21) 중 그에 상응하는 부분을 근거로 보간할 수 있다. 왜냐하면, 전술한 바와 같이, 목표시점영상(11) 중 목표시점의 누락부분은 시점변환영상(21)의 일부분에 상응하여, 목표시점영상(11) 중 상기 누락부분은 보조시점영상(12)으로부터 변환된 시점변환영상(21) 중 대응하는 부분으로부터 유추될 수 있기 때문이다.Since the viewpoint of the target viewpoint image (11) and the viewpoint of the viewpoint-converted image (21) are the same, the image alignment unit (30) can interpolate the missing portion of the target viewpoint image (11) based on the corresponding portion of the viewpoint-converted image (21). This is because, as described above, the missing portion of the target viewpoint image (11) corresponds to a part of the viewpoint-converted image (21), and the missing portion of the target viewpoint image (11) can be inferred from the corresponding portion of the viewpoint-converted image (21) converted from the auxiliary viewpoint image (12).
구체적으로, 영상정합부(30)가 목표시점영상(11)과 시점변환영상(21)를 서로 정합하여 목표시점영상(11)의 누락 부분을 보간하는 과정은, 먼저, 영상정합부(30)가 목표시점영상(11)과 시점변환영상(21) 각각에서 탐지된 객체(o)로부터 키포인트(key point)를 추출하고, 목표시점영상(11)과 시점변환영상(21) 각각의 키포인트들을 서로 대응시킨 다음, 누락된 키포인트에 대하여 이에 상응하는 시점변환영상의 키포인트를 근거로 보간할 수 있다.Specifically, the process in which the image matching unit (30) aligns the target viewpoint image (11) and the viewpoint-converted image (21) with each other and interpolates the missing portion of the target viewpoint image (11) is as follows: first, the image matching unit (30) extracts key points from objects (o) detected in each of the target viewpoint image (11) and the viewpoint-converted image (21), corresponds the key points of each of the target viewpoint image (11) and the viewpoint-converted image (21), and then interpolates the missing key points based on the key points of the corresponding viewpoint-converted image.
도 6은 본 발명의 일 실시예에 따른 시스템 및 방법이 일부가 누락된 목표시점영상과 보조시점영상을 정합 및 보간하는 과정을 설명하기 위한 도면이다.FIG. 6 is a diagram for explaining a process of aligning and interpolating a target viewpoint image and an auxiliary viewpoint image with some parts missing, according to an embodiment of the present invention.
도 6(a) 및 6(b)에 도시한 바와 같이, 영상정합부(30)는 먼저 목표시점영상(11)과 시점변환영상(21) 각각에서 동일 객체(o)를 가리키는 제1 객체(o1)와 제2 객체(o2)를 탐지할 수 있고, 탐지된 제1 객체(o1)에서 제1 키포인트를, 그리고 제2 객체(o2)에서 제2 키포인트를 추출할 수 있다. 여기서, 키포인트는 객체(o)의 구조 중 중요 부분이나 상기 구조의 중요 부분 간 연결부분(또는 관절부분)을 가리키는 지점으로서, 일 예로 사람 객체의 경우 키포인트는, 머리, 어깨, 팔꿈치, 손목, 골반, 무릎, 발목 등의 위치일 수 있고, 해당 키포인트는 좌표형태로 표현될 수 있다.As illustrated in FIGS. 6(a) and 6(b), the image alignment unit (30) can first detect a first object (o1) and a second object (o2) pointing to the same object (o) in the target viewpoint image (11) and the viewpoint transformation image (21), respectively, and extract a first keypoint from the detected first object (o1) and a second keypoint from the second object (o2). Here, a keypoint is a point indicating an important part of the structure of the object (o) or a connecting part (or joint part) between important parts of the structure. For example, in the case of a human object, the keypoint can be the location of the head, shoulder, elbow, wrist, pelvis, knee, ankle, etc., and the corresponding keypoint can be expressed in the form of coordinates.
영상정합부(30)는 제1 객체(o1)에서 하나 또는 둘 이상의 제1 키포인트(p1)를 추출할 수 있고, 제2 객체(o2)에서 하나 또는 둘 이상의 제2 키포인트(p2)를 추출할 수 있으며, 객체 중 제1 및 제2 키포인트(p1, p2)를 서로 대응시킬 수 있다.The image matching unit (30) can extract one or more first key points (p1) from a first object (o1), extract one or more second key points (p2) from a second object (o2), and correspond the first and second key points (p1, p2) among the objects to each other.
이때, 바람직한 일 실시예에 따른 영상정합부(30)는 기 학습된 객체(o)의 구조를 이용하여 해당 객체 내 키포인트를 먼저 추정(또는 예측)하고, 좌표형태의 추정위치에서 키포인트 별로 신뢰도점수를 산출할 수 있다. 여기서, 신뢰도점수는 객체에 대하여 추출된 키포인트가 정확한지, 즉 객체의 구조나 자세를 파악할 수 있는 지점인지에 대한 정확도를 가리키는 것으로, 키포인트 추정(또는 예측)이 정확하여 신뢰도가 높아, 일 예로 키포인트가 객체 구조 상 연결부분(또는 관절부분)에 해당되는 경우 신뢰도점수는 높을 수 있다.At this time, the image alignment unit (30) according to a preferred embodiment may first estimate (or predict) key points within the object (o) using the structure of the object that has been previously learned, and may calculate a reliability score for each key point at the estimated position in the form of a coordinate. Here, the reliability score refers to the accuracy of whether the key point extracted for the object is accurate, that is, whether it is a point from which the structure or posture of the object can be identified. If the key point estimation (or prediction) is accurate and therefore reliable, for example, if the key point corresponds to a connection part (or joint part) in the object structure, the reliability score may be high.
따라서, 영상정합부(30)는 제1 및 제2 객체(o) 각각으로부터 추출된 제1 및 제2 키포인트들에 대하여 신뢰도점수를 계산하되, 소정의 임계값 이상의 신뢰도점수를 가진 제1 및 제2 키포인트들을 추출하는 것이 바람직하다.Accordingly, the image alignment unit (30) calculates a reliability score for the first and second keypoints extracted from each of the first and second objects (o), and it is preferable to extract the first and second keypoints having a reliability score higher than a predetermined threshold value.
이후, 영상정합부(30)는 제1 객체(o1)와 제2 객체(o2)를 비교하여, 제1 객체(o1)의 제1 키포인트(p1) 중 누락된 제1 키포인트(p1')를 제2 객체(o2)의 제2 키포인트(p2)를 근거로 보간할 수 있다. 여기서, 누락된 제1 키포인트(p1')은 객체(o)의 구조에서 측정되지 않은 것이거나, 측정되었지만 임계값 미만의 신뢰도점수를 가진 것일 수 있다.Thereafter, the image alignment unit (30) can compare the first object (o1) and the second object (o2) and interpolate the missing first keypoint (p1') among the first keypoints (p1) of the first object (o1) based on the second keypoint (p2) of the second object (o2). Here, the missing first keypoint (p1') may be one that has not been measured in the structure of the object (o), or one that has been measured but has a reliability score below a threshold value.
제1 객체(o1)의 제1 키포인트(p1)와 제2 객체(o2)의 제2 키포인트(p2)는 서로 일대일 대응될 수 있으며, 이때 영상정합부(30)는 제1 객체(o1)의 제1 키포인트(p1) 중 누락부분은 제2 객체(o2)의 제2 키포인트(p2)로 보간할 수 있다.The first key point (p1) of the first object (o1) and the second key point (p2) of the second object (o2) can correspond one-to-one with each other, and at this time, the image matching unit (30) can interpolate the missing part of the first key point (p1) of the first object (o1) with the second key point (p2) of the second object (o2).
구체적인 일 예로, 영상정합부(30)는, 일대일로 대응하는 제1 및 제2 키포인트(p1, p2) 쌍의 보간 벡터(v)를 계산할 수 있다. 즉, 제1 키포인트(p1)의 좌표가 (x1, y1)이고 제2 키포인트(p2)의 좌표가 (x2, y2)인 경우, 제1 객체(o1)에 대한 보간 벡터(v)는 (x1-x2, y1-y2)일 수 있다.As a specific example, the image alignment unit (30) can calculate an interpolation vector (v) of a pair of first and second keypoints (p1, p2) that correspond one-to-one. That is, when the coordinates of the first keypoint (p1) are (x1, y1) and the coordinates of the second keypoint (p2) are (x2, y2), the interpolation vector (v) for the first object (o1) can be (x1-x2, y1-y2).
바람직하게 영상정합부(30)는 복수의 보간 벡터(v)를 평균(산술평균, 가중평균 등)한 보간 벡터(v)의 평균값(v')을 이용하여, 제1 객체(o1)에서 누락된 제1 키포인트(p1')를 이에 대응하는 제2 키포인트(p2')를 근거로 보간할 수 있다. 즉, 영상정합부(30)는 제1 객체(o1)에서 누락된 제1 키포인트(p1')는, 이에 대응하는 제2 키포인트(p2')에 복수의 보간 벡터(v)의 평균값(v')을 합함으로써 보간할 수 있다.Preferably, the image alignment unit (30) can interpolate the first keypoint (p1') missing from the first object (o1) based on the second keypoint (p2') corresponding thereto by using the average value (v') of the interpolation vector (v) obtained by averaging (arithmetic mean, weighted average, etc.) the plurality of interpolation vectors (v). That is, the image alignment unit (30) can interpolate the first keypoint (p1') missing from the first object (o1) by adding the average value (v') of the plurality of interpolation vectors (v) to the second keypoint (p2') corresponding thereto.
이렇게 본 발명의 일 실시예에 따른 영상정합부(30)는 목표시점영상(11)에 시점변환영상(21)을 근거로 보간하여 추정영상(도 5(d) 참조)을 생성함으로써, 목표시점영상(11)에서 일부 영상이 가려지거나 손상되어도 해당 부분을 추정 복구할 수 있으므로, 별도로 부가적인 장치나 센서 따위를 이용하지 않더라도 단일 영상에 촬영 환경 제한 등으로 발생한 문제를 해소할 수 있다.In this way, the image alignment unit (30) according to one embodiment of the present invention interpolates the target viewpoint image (11) based on the viewpoint transformation image (21) to generate an estimated image (see FIG. 5(d)), so that even if some of the images in the target viewpoint image (11) are obscured or damaged, the corresponding portion can be estimated and restored. Therefore, even without using additional devices or sensors, problems caused by limitations in the shooting environment for a single image can be resolved.
시점변환영상을Viewpoint change video 생성하여 객체를 Create an object by 보간하는Interpolating 방법 method
도 7은 본 발명의 일 실시예에 따른 시점변환영상을 생성하여 자세를 추정하는 방법(이하, "객체보간방법"으로 약칭하기로 한다)에 대한 단계별 흐름도이다.FIG. 7 is a step-by-step flow chart of a method for generating a viewpoint-transformed image and estimating a pose according to one embodiment of the present invention (hereinafter, abbreviated as “object interpolation method”).
도 7에 도시한 바와 같이, 본 발명의 일 실시예에 따른 객체보간방법은, 영상준비부(10)가 동일 객체를 서로 다른 시점에서 촬영하여 획득된 목표시점영상(11)과 보조시점영상(12)을 마련하는 단계(S10)와, 시점변환부(20)가 보조시점영상(12)을 목표시점영상(11)의 시점으로 변환하여 시점변환영상(21)을 생성하는 단계(S20)와, 영상정합부(30)가 목표시점영상(11)과 시점변환영상(21)을 정합하고 시점변환영상(21)을 이용하여 목표시점영상(11)을 보간하는 단계(S30)를 포함할 수 있다.As illustrated in FIG. 7, an object interpolation method according to one embodiment of the present invention may include a step (S10) in which an image preparation unit (10) prepares a target viewpoint image (11) and an auxiliary viewpoint image (12) obtained by photographing the same object at different viewpoints, a step (S20) in which a viewpoint conversion unit (20) converts the auxiliary viewpoint image (12) to the viewpoint of the target viewpoint image (11) to generate a viewpoint conversion image (21), and a step (S30) in which an image alignment unit (30) aligns the target viewpoint image (11) and the viewpoint conversion image (21) and interpolates the target viewpoint image (11) using the viewpoint conversion image (21).
이때, 상기 목표시점영상을 보간하는 단계(S30)는, 도 8에 도시한 바와 같이, 목표시점영상(11)에서 탐지된 제1 객체(o1)로부터 복수의 제1 키포인트(p1)를 추출하고, 시점변환영상(21)에서 탐지된 제2 객체(o2)로부터 복수의 제2 키포인트(p2)를 추출하는 단계(S31)와, 서로 대응하는 제1 및 제2 키포인트(p1, p2)를 근거로 제1 키포인트(p1) 중 누락부분(p1')을 제2 키포인트(p2)로 보간하는 단계(S32)를 포함할 수 있다.At this time, the step (S30) of interpolating the target time point image may include, as illustrated in FIG. 8, a step (S31) of extracting a plurality of first key points (p1) from a first object (o1) detected in the target time point image (11) and a step (S32) of extracting a plurality of second key points (p2) from a second object (o2) detected in the time point transformation image (21), and a step of interpolating a missing portion (p1') of the first key point (p1) to the second key point (p2) based on the first and second key points (p1, p2) that correspond to each other.
이때, 상기 제1 키포인트(p1) 중 누락부분(p1')을 제2 키포인트(p2)로 보간하는 단계(S32)는 서로 대응하는 한 쌍의 제1 키포인트(p1)와 제2 키포인트(p2) 간의 보간 벡터(v)를 계산(s321)하고, 보간 벡터(v)의 평균값(v')으로 제1 키포인트(p1)의 누락부분(p1')을, 이에 대응하는 제2 키포인트(p2')에 상기 보간 벡터(v)의 평균값(v')을 합함으로써 보간(s322)할 수 있다.At this time, the step (S32) of interpolating the missing part (p1') of the first key point (p1) with the second key point (p2) can be performed by calculating (s321) an interpolation vector (v) between a pair of corresponding first key points (p1) and second key point (p2), and interpolating (s322) the missing part (p1') of the first key point (p1) by using the average value (v') of the interpolation vector (v) and adding the average value (v') of the interpolation vector (v) to the second key point (p2') corresponding thereto.
본 발명의 일 실시예에 따른 시점변환영상을 생성하여 객체를 보간하는 방법에 포함된 각 단계별 설명은 전술한 것과 중복되므로, 이에 대한 설명은 생략하고 그에 갈음하기로 한다.Since the description of each step included in the method for interpolating an object by generating a viewpoint-converted image according to one embodiment of the present invention overlaps with that described above, the description thereof will be omitted and replaced with that.
컴퓨터 판독 가능한 기록 매체Computer readable recording medium
이상 설명된 본 발명의 일 실시예에 따른 시점변환영상을 생성하여 객체를 보간하는 방법은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. The method for interpolating an object by generating a viewpoint-converted image according to one embodiment of the present invention described above can be implemented in the form of program commands that can be executed through various computer components and recorded on a computer-readable recording medium.
상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The computer-readable recording medium may include program commands, data files, data structures, etc., alone or in combination. The program commands recorded on the computer-readable recording medium may be those specially designed and configured for the present invention, or may be those known to and usable by those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and hardware devices specially configured to store and execute program commands, such as ROMs, RAMs, and flash memories. Examples of the program commands include not only machine language codes generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter, etc. The hardware devices may be configured to operate as one or more software modules to perform the processing according to the present invention, and vice versa.
이상으로 본 발명의 바람직한 실시예를 도면을 참고하여 상세하게 설명하였다. 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.The preferred embodiments of the present invention have been described in detail above with reference to the drawings. The description of the present invention is for illustrative purposes, and those skilled in the art to which the present invention pertains will understand that the present invention can be easily modified into other specific forms without changing the technical idea or essential features of the present invention.
따라서, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미, 범위 및 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Accordingly, the scope of the present invention is indicated by the claims described below rather than the detailed description above, and all changes or modifications derived from the meaning, scope, and equivalent concepts of the claims should be interpreted as being included in the scope of the present invention.
1: 시스템 10: 영상준비부
11: 목표시점영상 12: 보조시점영상
20: 시점변환부 21: 시점변환영상
30: 영상정합부 c1: 제1 카메라
c2: 제2 카메라 s1: 제1 시점
s2: 제2 시점 o: 객체
p1: 제1 키포인트 p2: 제2 키포인트
v: 보간 벡터1: System 10: Image Preparation Department
11: Target view video 12: Auxiliary view video
20: Viewpoint change section 21: Viewpoint change video
30: Image alignment unit c1: First camera
c2: 2nd camera s1: 1st viewpoint
s2: second point o: object
p1: 1st key point p2: 2nd key point
v: interpolation vector
Claims (10)
상기 보조시점영상을 상기 목표시점영상의 시점으로 변환하여 시점변환영상을 생성하는 시점변환부; 및
상기 목표시점영상과 상기 시점변환영상을 정합하고, 상기 시점변환영상을 이용하여 상기 목표시점영상을 보간하는 영상정합부;
를 포함하고,
상기 객체는 사람 객체를 포함하되, 상기 목표시점영상 내 상기 사람 객체는 신체 일부가 누락된 것이며,
상기 영상정합부는, 상기 목표시점영상에서 탐지된 제1 객체로부터 복수의 제1 키포인트를 추출하고, 상기 시점변환영상에서 탐지된 제2 객체로부터 복수의 제2 키포인트를 추출하며, 서로 대응하는 상기 제1 및 제2 키포인트를 근거로 상기 제1 키포인트 중 누락부분을 상기 제2 키포인트를 근거로 보간하고,
상기 영상정합부는, 기 학습된 상기 객체의 구조를 이용하여 상기 제1 및 제2 키포인트에 대한 신뢰도점수를 계산하고, 임계값 이상의 상기 신뢰도점수를 가진 상기 제1 및 제2 키포인트를 추출하는 것을 특징으로 하는 시점변환영상을 생성하여 객체를 보간하는 시스템.An image preparation unit that prepares target viewpoint images and auxiliary viewpoint images by photographing the same object at different viewpoints;
A viewpoint conversion unit that converts the auxiliary viewpoint image to the viewpoint of the target viewpoint image to generate a viewpoint conversion image; and
An image alignment unit that aligns the target time image and the time-transformed image and interpolates the target time image using the time-transformed image;
Including,
The above object includes a human object, but the human object in the target time image has a body part missing,
The above image alignment unit extracts a plurality of first key points from a first object detected in the target viewpoint image, extracts a plurality of second key points from a second object detected in the viewpoint-converted image, and interpolates missing portions of the first key points based on the first and second key points corresponding to each other based on the second key points.
A system for interpolating an object by generating a viewpoint-transformed image, characterized in that the image alignment unit calculates reliability scores for the first and second key points using the structure of the object that has been previously learned, and extracts the first and second key points having reliability scores greater than a threshold value.
상기 시점변환부는, 상기 목표시점영상과 상기 보조시점영상의 쌍을 학습한 결과를 이용하여, 상기 시점변환영상을 생성하는 것을 특징으로 하는 시점변환영상을 생성하여 객체를 보간하는 시스템.In paragraph 1,
A system for interpolating an object by generating a viewpoint-converted image, characterized in that the viewpoint-converted image is generated by using the result of learning a pair of the target viewpoint image and the auxiliary viewpoint image.
상기 객체를 바라본 상기 목표시점영상과 상기 보조시점영상의 시선은, 서로 교차하는 것을 특징으로 하는 시점변환영상을 생성하여 객체를 보간하는 시스템.In paragraph 1,
A system for interpolating an object by generating a viewpoint-transformed image, characterized in that the lines of sight of the target viewpoint image and the auxiliary viewpoint image looking at the object intersect each other.
상기 영상정합부는,
서로 대응하는 상기 추출된 제1 키포인트와 상기 추출된 제2 키포인트 간에 보간 벡터를 계산하고, 상기 보간 벡터의 평균값으로 상기 제1 키포인트 중 누락부분을 보간하는 것을 특징으로 하는 시점변환영상을 생성하여 객체를 보간하는 시스템.In paragraph 1,
The above image alignment unit,
A system for interpolating an object by generating a viewpoint-transformed image, characterized in that an interpolation vector is calculated between the extracted first keypoint and the extracted second keypoint that correspond to each other, and a missing portion among the first keypoints is interpolated using an average value of the interpolation vector.
시점변환부가, 상기 보조시점영상을 상기 목표시점영상의 시점으로 변환하여 시점변환영상을 생성하는 단계; 및
영상정합부가, 상기 목표시점영상과 상기 시점변환영상을 정합하고, 상기 시점변환영상을 이용하여 상기 목표시점영상을 보간하는 단계;
를 포함하고,
상기 목표시점영상을 보간하는 단계는,
상기 목표시점영상에서 탐지된 제1 객체로부터 복수의 제1 키포인트를 추출하고, 상기 시점변환영상에서 탐지된 제2 객체로부터 복수의 제2 키포인트를 추출하는 (a) 단계; 및
서로 대응하는 상기 제1 및 제2 키포인트를 근거로 상기 제1 키포인트 중 누락부분을 상기 제2 키포인트를 근거로 보간하는 (b) 단계;
를 포함하되,
상기 (b) 단계는, 서로 대응하는 상기 추출된 제1 키포인트와 상기 추출된 제2 키포인트 간에 보간 벡터를 계산하고, 상기 보간 벡터의 평균값으로 상기 제1 키포인트 중 누락부분을 보간하는 것을 특징으로 하는 시점변환영상을 생성하여 객체를 보간하는 방법.A step in which the image preparation department prepares target viewpoint images and auxiliary viewpoint images by photographing the same object at different viewpoints;
A step of generating a viewpoint-converted image by converting the auxiliary viewpoint image into the viewpoint of the target viewpoint image by a viewpoint-converting unit; and
A step of the image alignment unit aligning the target viewpoint image and the viewpoint transformation image, and interpolating the target viewpoint image using the viewpoint transformation image;
Including,
The step of interpolating the above target time image is:
(a) step of extracting a plurality of first key points from a first object detected in the target viewpoint image and extracting a plurality of second key points from a second object detected in the viewpoint conversion image; and
(b) step of interpolating the missing portion of the first keypoint based on the second keypoint, based on the first and second keypoints corresponding to each other;
Including, but not limited to,
A method for interpolating an object by generating a viewpoint-transformed image, characterized in that the step (b) above calculates an interpolation vector between the extracted first keypoint and the extracted second keypoint that correspond to each other, and interpolates a missing portion of the first keypoint with an average value of the interpolation vector.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230103951A KR102723704B1 (en) | 2023-08-09 | 2023-08-09 | System and method for interpolating an object by creating viewpoint conversion image |
| PCT/KR2024/005379 WO2025033641A1 (en) | 2023-08-09 | 2024-04-22 | System and method for interpolating object by generating viewpoint-transformed image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230103951A KR102723704B1 (en) | 2023-08-09 | 2023-08-09 | System and method for interpolating an object by creating viewpoint conversion image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102723704B1 true KR102723704B1 (en) | 2024-10-31 |
Family
ID=93286754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230103951A Active KR102723704B1 (en) | 2023-08-09 | 2023-08-09 | System and method for interpolating an object by creating viewpoint conversion image |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102723704B1 (en) |
| WO (1) | WO2025033641A1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160098543A (en) * | 2015-02-09 | 2016-08-19 | 한국전자통신연구원 | Device and method for multiview image calibration |
| KR20190124112A (en) * | 2018-04-25 | 2019-11-04 | 한양대학교 산학협력단 | Avm system and method for detecting matched point between images in avm system |
| KR20220017697A (en) * | 2020-08-05 | 2022-02-14 | 한국기술교육대학교 산학협력단 | calibration method and apparatus among mutiple sensors |
| KR20220132617A (en) | 2020-01-29 | 2022-09-30 | 인트린식 이노베이션 엘엘씨 | Systems and methods for pose detection and measurement |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9900583B2 (en) * | 2014-12-04 | 2018-02-20 | Futurewei Technologies, Inc. | System and method for generalized view morphing over a multi-camera mesh |
| US11544839B2 (en) * | 2019-06-04 | 2023-01-03 | The Boeing Company | System, apparatus and method for facilitating inspection of a target object |
| KR20210128203A (en) * | 2020-04-16 | 2021-10-26 | 주식회사 케이티 | System and method for providing volumetric 3D video |
| US12026892B2 (en) * | 2021-10-21 | 2024-07-02 | Google Llc | Figure-ground neural radiance fields for three-dimensional object category modelling |
-
2023
- 2023-08-09 KR KR1020230103951A patent/KR102723704B1/en active Active
-
2024
- 2024-04-22 WO PCT/KR2024/005379 patent/WO2025033641A1/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160098543A (en) * | 2015-02-09 | 2016-08-19 | 한국전자통신연구원 | Device and method for multiview image calibration |
| KR20190124112A (en) * | 2018-04-25 | 2019-11-04 | 한양대학교 산학협력단 | Avm system and method for detecting matched point between images in avm system |
| KR20220132617A (en) | 2020-01-29 | 2022-09-30 | 인트린식 이노베이션 엘엘씨 | Systems and methods for pose detection and measurement |
| KR20220017697A (en) * | 2020-08-05 | 2022-02-14 | 한국기술교육대학교 산학협력단 | calibration method and apparatus among mutiple sensors |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2025033641A1 (en) | 2025-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9674507B2 (en) | Monocular visual SLAM with general and panorama camera movements | |
| JP6011102B2 (en) | Object posture estimation method | |
| KR102317247B1 (en) | The bare hand interaction apparatus and method for augmented rearity using rgb-d images | |
| US11727637B2 (en) | Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera | |
| JP2019028843A (en) | Information processing apparatus for estimating person's line of sight and estimation method, and learning device and learning method | |
| CN107886069A (en) | A kind of multiple target human body 2D gesture real-time detection systems and detection method | |
| US20120281922A1 (en) | Image processing device, image processing method, and program for image processing | |
| JP2019096294A (en) | Parallax estimation device and method | |
| US11238273B2 (en) | Data processing method and apparatus, electronic device and storage medium | |
| US8170339B2 (en) | Image processing apparatus and image processing method | |
| CN110009732A (en) | Based on GMS characteristic matching towards complicated large scale scene three-dimensional reconstruction method | |
| KR101892740B1 (en) | Method for generating integral image marker and system for executing the method | |
| US9390310B2 (en) | Striped pattern image examination support device, striped pattern image examination support method and program | |
| JP2011008687A (en) | Image processor | |
| KR101320683B1 (en) | Display correction method and module based on augmented reality, object information display method and system using the same | |
| JP6922348B2 (en) | Information processing equipment, methods, and programs | |
| JP6196562B2 (en) | Subject information superimposing apparatus, subject information superimposing method, and program | |
| WO2018216341A1 (en) | Information processing device, information processing method, and program | |
| JP2017036970A (en) | Information processor, information processing method, and program | |
| JP2017123087A (en) | Program, apparatus and method for calculating normal vector of planar object reflected in continuous captured images | |
| JP2017130042A (en) | Video processing apparatus, video processing method, and program | |
| CN112200917B (en) | High-precision augmented reality method and system | |
| CN117670939A (en) | Multi-camera multi-target tracking method and device, storage medium and electronic equipment | |
| CN113592898A (en) | Method for reconstructing missing mark in motion capture | |
| JP2019012497A (en) | Part recognition method, apparatus, program, and imaging control system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20230809 |
|
| PA0201 | Request for examination |
Patent event code: PA02011R01I Patent event date: 20230809 Comment text: Patent Application |
|
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20240731 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20241022 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20241025 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20241028 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |