[go: up one dir, main page]

KR102280201B1 - 머신 러닝을 이용하여 은닉 이미지를 추론하는 방법 및 장치 - Google Patents

머신 러닝을 이용하여 은닉 이미지를 추론하는 방법 및 장치 Download PDF

Info

Publication number
KR102280201B1
KR102280201B1 KR1020190145789A KR20190145789A KR102280201B1 KR 102280201 B1 KR102280201 B1 KR 102280201B1 KR 1020190145789 A KR1020190145789 A KR 1020190145789A KR 20190145789 A KR20190145789 A KR 20190145789A KR 102280201 B1 KR102280201 B1 KR 102280201B1
Authority
KR
South Korea
Prior art keywords
image
input
images
data
inferred
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190145789A
Other languages
English (en)
Other versions
KR20200061294A (ko
Inventor
정용우
Original Assignee
주식회사 스칼라웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스칼라웍스 filed Critical 주식회사 스칼라웍스
Publication of KR20200061294A publication Critical patent/KR20200061294A/ko
Application granted granted Critical
Publication of KR102280201B1 publication Critical patent/KR102280201B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G06K9/20—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

머신 러닝을 이용하여 은닉 이미지를 추론하는 방법 및 장치에 관한 것으로, 적어도 하나의 이미지, 적어도 하나의 텍스트, 및 적어도 하나의 특징값 중 적어도 두 개의 데이터를 입력하고, 생성망은 학습을 통해 구축된 이미지들간의 연관 관계 모델에 따라 입력된 적어도 두 개의 데이터로부터 추론되는 적어도 하나의 이미지를 생성하고, 분류망은 각 추론 이미지의 적합성 점수를 결정하고, 각 추론 이미지의 적합성 점수와 기준 점수의 비교 결과에 기초하여 각 추론 이미지를 입력된 적어도 두 개의 데이터가 나타내는 이미지들 사이의 은닉 이미지로서 출력한다.

Description

머신 러닝을 이용하여 은닉 이미지를 추론하는 방법 및 장치 {Method and apparatus for inferring invisible image using machine learning}
머신 러닝을 이용하여 이미지를 자동 생성하는 방법 및 장치에 관한 것이다.
인공 지능을 소프트웨어적으로 구현하는 머신 러닝(machine learning)은 컴퓨터가 데이터를 학습하고 스스로 패턴을 찾아내 적절한 작업을 수행하도록 학습하는 알고리즘이다. 머신 러닝은 크게 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화학습(reinforcement learning) 등으로 분류된다.
지도 학습은 정답이 주어진 상태에서 학습하는 알고리즘을 의미한다. 지도 학습의 목적은 분류(classification)와 회귀생성(regression)이다. 분류는 어떤 데이터를 유한 개의 클래스로 분류하는 것을 의미하고, 구체적으로는 두 개의 클래스로 분류하는 이진 분류(binary classification)와 셋 이상의 여러 개의 클래스로 분류하는 다중 분류(multiclass classification)로 나뉜다. 회귀생성은 데이터의 특징을 기반으로 연속적인 값을 예측하는 것을 말하며 연속적인 숫자를 예측하는 데에 사용된다. 회귀생성은 딥러닝을 활용하여 전혀 새로운 이미지를 만들거나 목소리를 합성(Text-to-Speech)하는데 사용된다.
비지도 학습은 정답이 주어지지 않은 상태에서 학습하는 알고리즘이며, 대표적인 비지도 학습에는 군집화(clustering)가 있다. 이러한 지도 학습과 비지도 학습으로 데이터를 기반으로 상황을 예측하고자 하는 시도가 지속되고 있지만, 지도 학습은 정답이 주어진 데이터만을 사용할 수 있기 때문에 사용할 수 있는 데이터의 양에 한계가 있으므로, 인공지능에서 비지도 학습이 점점 더 중요해지고 있으며, 이러한 비지도 학습의 대표적인 것으로 GAN(Generative Adversarial Networks)이 있다.
대한민국공개특허공보 제10-2017-0137350호 "신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법"은 입력영상에서 움직이는 객체의 특징점을 추적하고 각 움직임 패턴을 학습하여 토픽별로 분류하는 움직임 패턴 획득부 및 상기 움직임 패턴 획득부에 저장된 움직임 패턴 정보를 이용하여 입력된 이미지에 따른 움직임 패턴을 학습하는 이미지별 움직임 패턴 학습부를 포함하는 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치를 개시하고 있다.
그러나, 이 종래기술은 감시지역에 대한 하루정도 분량의 CCTV(Closed Circuit Television) 카메라 영상을 학습영상으로 입력받아 DBN(Deep Belief Networks) 및 GAN(Generative Adversarial Networks)을 이용하여 학습한 이후 해당 감시지역의 영상을 입력받아 어떠한 움직임 패턴이 나타나고 있는지를 확인할 수 있지만, 건물 등 장애물에 가려 보이지 않거나 CCTV가 촬영할 수 없는 사각지대의 보이지 않는 대상에 대한 이미지를 제공할 수 없다.
건물 등 장애물에 가려 보이지 않거나 CCTV가 촬영할 수 없는 사각지대의 보이지 않는 대상에 대한 이미지를 제공할 수 있는 은닉 이미지를 추론하는 방법 및 장치를 제공하는 데에 있다. 또한, 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데에 있다. 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 설명으로부터 또 다른 기술적 과제가 도출될 수도 있다.
본 발명의 일 측면에 따른 은닉 이미지 추론 방법은 적어도 하나의 이미지, 적어도 하나의 텍스트, 및 적어도 하나의 특징값 중 적어도 두 개의 데이터를 입력하는 단계; 생성망은 학습을 통해 구축된 이미지들간의 연관 관계 모델에 따라 상기 입력된 적어도 두 개의 데이터로부터 추론되는 적어도 하나의 이미지를 생성하는 단계; 분류망은 상기 생성된 각 추론 이미지의 적합성 점수를 결정하는 단계; 및 상기 생성된 추론 이미지의 적합성 점수와 기준 점수의 비교 결과에 기초하여 상기 생성된 각 추론 이미지를 상기 입력된 적어도 두 개의 데이터가 나타내는 이미지들 사이의 은닉 이미지로서 출력하는 단계를 포함한다.
상기 적합성 점수를 결정하는 단계는 상기 입력된 적어도 두 개의 데이터로부터 상기 각 추론 이미지의 적합성 점수를 결정할 수 있다.
상기 적합성 점수를 결정하는 단계는 상기 생성된 각 추론 이미지를 상기 생성망에 입력함으로써 생성된 적어도 하나의 이미지, 적어도 하나의 텍스트, 및 적어도 하나의 특징값 중 적어도 두 개의 데이터와 상기 입력된 적어도 두 개의 데이터의 유사도에 따라 상기 적합성 점수를 결정할 수 있다.
상기 추론 이미지를 생성하는 단계는 상기 적어도 하나의 이미지, 적어도 하나의 텍스트, 및 적어도 하나의 특징값 중 적어도 두 개의 데이터를 잠재 벡터들로 변환하는 단계; 상기 변환된 잠재 벡터들을 보간함으로써 상기 변환된 잠재 벡터들 사이에 위치하는 잠재 벡터를 산출하는 단계; 및 상기 변환된 잠재 벡터들과 상기 산출된 잠재 벡터를 이용하여 상기 입력된 적어도 두 개의 데이터로부터 추론되는 적어도 하나의 이미지를 생성하는 단계를 포함할 수 있다.
상기 추론 이미지를 생성하는 단계는 상기 입력된 각 이미지를 잠재 벡터로 변환하는 단계; 및 상기 변환된 잠재 벡터를 이용하여 상기 입력된 각 이미지 관점에서 상기 입력된 적어도 두 개의 데이터가 나타내는 이미지들간의 연관 관계의 특징들을 추론하는 단계를 포함할 수 있다.
상기 추론 이미지를 생성하는 단계는 상기 입력된 각 텍스트를 잠재 벡터로 변환하는 단계; 및 상기 변환된 잠재 벡터를 이용하여 상기 입력된 각 텍스트 관점에서 상기 입력된 적어도 두 개의 데이터가 나타내는 이미지들간의 연관 관계의 특징들을 추론하는 단계를 포함할 수 있다.
상기 추론 이미지를 생성하는 단계는 상기 입력된 각 특징값을 잠재 벡터로 변환하는 단계; 및 상기 변환된 잠재 벡터를 이용하여 상기 입력된 각 특징값 관점에서 상기 입력된 적어도 두 개의 데이터가 나타내는 이미지들간의 연관 관계의 특징들을 추론하는 단계를 포함할 수 있다.
상기 추론 이미지를 생성하는 단계는 상기 입력된 적어도 하나의 이미지, 적어도 하나의 텍스트, 및 적어도 하나의 특징값을 잠재 벡터들로 변환하는 단계; 상기 변환된 잠재 벡터들을 이용하여 상기 입력된 적어도 두 개의 데이터가 나타내는 이미지들간의 연관 관계의 특징들을 추론하는 단계; 및 상기 추론된 특징들을 통합하고, 상기 연관 관계 모델에 따라 상기 통합된 특징들로부터 추론되는 적어도 하나의 이미지를 생성함으로써 상기 입력된 적어도 두 개의 데이터로부터 추론되는 적어도 하나의 이미지를 생성하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 따라 상기 은닉 이미지 추정 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
본 발명의 또 다른 측면에 따른 은닉 이미지 추론 장치는 적어도 하나의 이미지, 적어도 하나의 텍스트, 및 적어도 하나의 특징값 중 적어도 두 개의 데이터를 입력하는 입력 모듈; 학습을 통해 구축된 이미지들간의 연관 관계 모델에 따라 상기 입력된 적어도 두 개의 데이터로부터 추론되는 적어도 하나의 이미지를 생성하는 생성망; 상기 생성된 각 추론 이미지의 적합성 점수를 결정하는 분류망; 및 상기 생성된 추론 이미지의 적합성 점수와 기준 점수의 비교 결과에 기초하여 상기 생성된 각 추론 이미지를 상기 입력된 적어도 두 개의 데이터가 나타내는 이미지들 사이의 은닉 이미지로서 출력하는 출력 모듈을 포함한다.
적어도 하나의 이미지, 적어도 하나의 텍스트, 및 적어도 하나의 특징값 중 적어도 두 개의 데이터를 입력하고, 생성망은 학습을 통해 구축된 이미지들간의 연관 관계 모델에 따라 입력된 적어도 두 개의 데이터로부터 추론되는 적어도 하나의 이미지를 생성하고, 분류망은 각 추론 이미지의 적합성 점수를 결정하고, 각 추론 이미지의 적합성 점수와 기준 점수의 비교 결과에 기초하여 각 추론 이미지를 입력된 적어도 두 개의 데이터가 나타내는 이미지들 사이의 은닉 이미지로서 출력함으로써 건물 등 장애물에 가려 보이지 않거나 CCTV가 촬영할 수 없는 사각지대의 보이지 않는 대상에 대한 이미지를 그 주변 이미지, 텍스트, 이미지 특징값을 이용하여 제공할 수 있다.
특히, 입력 이미지가 하나만 존재하는 경우에도 그 입력 이미지와 연관된 이미지의 장면을 설명하는 텍스트나 이미지의 특징값을 이미지 대신에 입력할 경우에 그 입력 이미지와 연관된 은닉 이미지가 추론될 수 있다. 나아가, 입력 이미지가 없는 경우에도 어떤 장면을 설명하는 텍스트나 이미지의 특징값으로부터 은닉 이미지가 추론될 수 있다.
도 1은 본 발명의 일 실시예에 따른 은닉 이미지 추론 장치의 구성도이다.
도 2는 도 1에 도시된 분류망(30)의 예시도이다.
도 3은 도 1에 도시된 생성망(40)의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 은닉 이미지 추론 방법의 흐름도이다.
도 5는 도 1에 도시된 분류망(30)의 이미지 적합성 점수 결정 방식을 설명하기 위한 개념도이다.
도 6은 도 4에 도시된 1000 단계에서 입력되는 모든 데이터가 이미지인 경우의 예시도이다.
도 7은 도 4에 도시된 1000 단계에서 입력되는 데이터 일부가 특징값인 경우의 예시도이다.
도 8은 도 4에 도시된 1000 단계에서 입력되는 데이터 일부가 텍스트인 경우의 예시도이다.
도 9는 도 4에 도시된 1000 단계에서 입력되는 데이터 일부가 특징값과 텍스트인 경우의 예시도이다.
도 10은 도 6에 도시된 예에 대한 생성망(40)의 데이터 처리 과정도이다.
도 11은 도 10에 도시된 예에 대한 생성망(40)의 데이터 처리 과정도이다.
도 12는 도 4에 도시된 특징값 프로세싱과 텍스트 프로세싱의 상세도이다.
도 13은 도 1에 도시된 분류망(30)과 생성망(40)의 학습 예를 도시한 도면이다.
도 14는 도 4에 도시된 은닉 이미지 추론 방법의 활용 예를 도시한 도면이다.
이하에서는 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 은닉 이미지 추론 장치의 구성도이다. 도 1을 참조하면, 본 실시예에 따른 은닉 이미지 추론 장치는 입력 모듈(10), 제어 모듈(20), 분류망(discriminative network)(30), 생성망(generative network)(40), 스토리지(50), 및 출력 모듈(60)로 구성된다. 본 발명의 일 실시예에 의한 딥러닝을 이용하여 은닉 이미지를 추론하는 방법은 원본 이미지(1)가 전부가 입력되는 경우, 입력 모듈(10)은 입력 데이터(1)를 분류망(30)과 생성망(40)으로 출력하고, 제어 모듈(20)의 제어에 따라 분류망(30)과 생성망(40)은 은닉 이미지(1')를 추론하여 생성하고, 출력 모듈(60)은 이와 같이 생성된 은닉 이미지를 출력한다.
도 1에 도시된 분류망(30)과 생성망(40) 각각은 GAN(Generative Adversarial Networks)의 분류자에 해당하는 신경망과 생성자에 해당하는 신경망을 의미한다. GAN의 기본 구성은 논문 "Generative Adversarial Networks" (2014년 발표, Goodfellow, Ian J. ; Pouget-Abadie, jean; Mirza, Mehdi; Xu, Bing; Warde-Faeley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua 공저)에 개시되어 있다. GAN의 적대적 학습에서는 분류망을 먼저 학습시킨 후, 생성망을 학습시키는 과정을 서로 주고받으면서 반복한다.
분류망의 학습은 크게 두 가지 단계로 이루어진다. 첫 번째 단계는 분류망에 진짜 데이터를 입력해서 분류망이 그 데이터를 진짜로 분류하도록 학습시키는 과정이고, 두 번째 단계는 첫 번째 단계와 반대로 생성망에서 생성한 가짜 데이터를 분류망에 입력해서 분류망이 그 데이터를 가짜로 분류하도록 학습하는 과정이다. 이 과정을 통해 분류망은 진짜 데이터를 진짜로, 가짜 데이터를 가짜로 분류할 수 있게 된다. 분류망을 학습시킨 다음에는 학습된 분류망을 속이는 방향으로 생성망을 학습시킨다. 생성망에서 만들어낸 가짜 데이터를 분류망에 입력하고, 분류망이 가짜 데이터를 진짜라고 분류할 만큼 진짜 데이터와 유사한 데이터를 만들어 내도록 생성망을 학습시킨다.
이와 같은 학습과정을 반복하면 분류망과 생성망이 서로를 적대적인 경쟁자로 인식하여 모두 발전하게 되고, 결과적으로 생성망은 진짜 데이터와 완벽히 유사한 가짜 데이터를 만들 수 있게 되고 이에 따라 분류망은 진짜 데이터와 가짜 데이터를 구분할 수 없게 된다. 즉, GAN에서는 생성망은 분류에 성공할 확률을 낮추려 하고, 분류망은 분류에 성공할 확률을 높이려 하면서 서로가 서로를 경쟁적으로 발전시키는 구조를 이루고 있다.
보다 구체적으로, GAN은 다음과 수학식 1과 같은 목적함수 V(D,G)를 이용하여 최소 최대 문제(minmax problem)를 푸는 방식으로 학습하게 된다.
Figure 112019116911261-pat00001
여기에서, x~pdata(x)는 실제 데이터에 대한 확률분포에서 샘플링한 데이터를 의미하고, z~pz(z)는 일반적으로 가우시안 분포를 사용하는 임의의 노이즈에서 샘플링한 데이터를 의미한다. z를 통상적으로 잠재 벡터(latent vector)라고 부르는데 차원이 줄어든 채로 데이터를 잘 설명할 수 있는 잠재 공간에서의 벡터를 의미한다. D(x)는 분류망이고 진짜일 확률을 의미하는 0과 1 사이의 값이라서, 데이터가 진짜이면 D(x)는 1, 가짜이면 0의 값을 산출한다. G(z)는 생성망이고, D(G(z))는 생성망이 만들어낸 데이터인 G(z)가 진짜라고 판단되면 1, 가짜라고 판단되면 0의 값을 산출한다.
분류망이 V(D,G)를 최대화하는 관점에서 생각해 보면, 수학식 1의 산출 값을 최대화하기 위해서는 우변의 첫 번 째 항과 두 번째 항 모두 최대가 되어야 하므로 logD(x)와 log(1-D(G(z))) 모두 최대가 되어야 한다. 따라서, D(x)는 1이 되어야 하며 이는 실제 데이터를 진짜라고 분류하도록 분류망을 학습하는 것을 의미한다. 마찬가지로 1-D(G(z)는 1이 되어 D(G(z)는 따라서 0이어야 하며, 이는 생성망이 만들어낸 가짜 데이터를 가짜라고 분류하도록 분류망을 학습하는 것을 의미한다. 즉, V(D,G)가 최대가 되도록 분류망을 학습하는 것은 분류망이 진짜 데이터를 진짜로, 가짜 데이터를 가짜로 분류하도록 학습하는 과정이다.
다음으로 생성망이 V(D,G)를 어떻게 최소화하도록 학습하는지에 대한 관점에서 생각해 보면, 수학식 1의 우변 첫 번째 항에는 G가 포함되어 있지 않으므로 생성망과 관련이 없어 생략이 가능하다. 두 번째 항을 최소화하기 위해서는 log(1-D(G(z)))가 최소가 되어야 한다. 따라서 log(1-D(G(z)))는 0이 되어야 하고 D(G(z)는 1이 되어야 한다. 이는 분류망이 진짜로 분류할 만큼 완벽한 가짜 데이터를 생성하도록 생성망을 학습시키는 것을 의미한다. 이와 같이, V(D,G)를 최대화하는 방향으로 분류망을 학습하고, V(D,G)를 최소화하는 방향으로 생성망을 학습하는 것을 최소 최대 문제(Minmax problem)라고 한다.
본 발명에 따른 실시예 설명이 장황해지는 것을 방지하기 위하여 이상에서 설명된 분류망(30)과 생성망(40)의 기본적 구성 등 본 실시예가 속하는 기술분야에서 공지된 기술에 대해서는 설명을 생략하고 이하에서는 종래기술과 차별되는 본 실시예의 특징을 중심으로 본 실시예를 설명하기로 한다.
도 2는 도 1에 도시된 분류망(30)의 예시도이고, 도 3은 도 1에 도시된 생성망(40)의 예시도이다. 도 2, 3에 도시된 바와 같이, 분류망(30)과 생성망(40)은 서로 유사한 구조의 CNN(Convolutional Neural Network) 기반 딥러닝 신경망으로 구현될 수 있다. 아래에서 설명된 바와 같이, 생성망(40)은 적어도 하나의 이미지, 적어도 하나의 텍스트, 및 적어도 하나의 특징값 중 적어도 두 개의 데이터로부터 추론되는 은닉 이미지를 생성하고, 분류망(30)은 생성망(40)에 의해 생성된 이미지의 적합성 점수를 출력한다.
도 4는 본 발명의 일 실시예에 따른 은닉 이미지 추론 방법의 흐름도이다. 도 4를 참조하면, 본 실시예에 따른 은닉 이미지 추론 방법은 도 1에 도시된 은닉 이미지 추론 장치에서 시계열적으로 실행되는 다음과 같은 단계들로 구성된다.
1000 단계에서 입력 모듈(10)은 제어 모듈(20)의 제어에 따라 적어도 하나의 이미지, 적어도 하나의 텍스트, 및 적어도 하나의 특징값 중 적어도 두 개의 데이터를 분류망(30)과 생성망(40) 각각에 입력한다. 이러한 데이터는 사용자의 데이터 업로드 등의 조작에 따라 입력 모듈(10)을 통하여 분류망(30)과 생성망(40) 각각에 입력된다. 여기에서, 생성망(40)에 입력되는 이미지는 사용자에 의해 획득된 이미지의 데이터를 의미한다. 예를 들어, 사용자가 카메라를 이용하여 어떤 대상을 일부 각도에서만 촬영할 수 있는 경우에 생성망(40)에 입력되는 이미지는 그 일부 각도에서 대상을 촬영함으로써 획득된 이미지의 데이터일 수도 있다. 이 경우, 은닉 이미지는 촬영이 불가능한 각도에서 대상을 촬영할 경우에 획득될 것으로 예상되는 이미지이다.
생성망(40)에 입력되는 텍스트는 어떤 이미지가 나타내는 장면을 설명하는 텍스트를 의미한다. 생성망(40)에 입력되는 특징값은 어떤 이미지의 특징들을 나타내는 값을 의미한다. 본 실시예에서, 하나의 텍스트나 특징값은 하나의 이미지를 대체하는 역할을 한다. 본 실시예에 따르면, 사용자가 어떤 대상에 대하여 하나의 이미지만을 획득할 수 있거나 이미지를 얻을 수 없는 상황인 경우에도 사용자가 이미지 대신에 텍스트나 특징값을 입력 모듈(10)을 통해 생성망(40)에 입력함으로써 은닉 이미지를 획득할 수도 있다.
여러 이미지들이 어떤 이벤트에 관하여 서로 공간적 및 시간적인 연관 관계를 갖고 있는 경우에, 이러한 이미지들간의 연관 관계는 적어도 하나의 이미지, 적어도 하나의 텍스트, 및 적어도 하나의 특징값 중 적어도 두 개의 데이터로부터 추론될 수 있다. 예를 들어, 어떤 대상에 대해 두 개의 각도에서 촬영된 두 개의 이미지로부터 어떤 공간에 존재하는 대상을 360도에 걸쳐 차례로 촬영하는 이벤트에 관하여 그 대상을 중심으로 하는 360도의 공간적 연관 관계 및 그 대상의 변화를 차례로 촬영하는 시간적 연관 관계가 추론될 수 있다.
입력 모듈(10)이 복수 개의 이미지를 생성망(40)에 입력한 경우에 생성망(40)에 의해 이미지들간의 연관 관계가 추론될 수 있다. 입력 모듈(10)이 복수 개의 텍스트를 생성망(40)에 입력한 경우에 이미지들간의 연관 관계가 추론될 수 있다. 입력 모듈(10)이 복수 개의 특징값을 생성망(40)에 입력한 경우에 이미지들간의 연관 관계가 추론될 수 있다. 입력 모듈(10)이 적어도 하나의 이미지와 적어도 하나의 텍스트를 생성망(40)에 입력한 경우에 이미지들간의 연관 관계가 추론될 수 있다. 입력 모듈(10)이 적어도 하나의 이미지와 적어도 하나의 특징값을 생성망(40)에 입력한 경우에 이미지들간의 연관 관계가 추론될 수 있다. 입력 모듈(10)이 적어도 하나의 텍스트와 적어도 하나의 특징값을 생성망(40)에 입력한 경우에 이미지들간의 연관 관계가 추론될 수 있다.
2000 단계에서 생성망(40)은 1000 단계에서 입력된 적어도 하나의 이미지가 존재하는 경우, 1000 단계에서 입력된 각 이미지의 임베딩 계층을 통하여 1000 단계에서 입력된 각 이미지를 컨볼루션 계층에서 처리 가능한 형식의 스택 이미지(stacked image)로 변환하고 그 스택 이미지를 이것을 나타내는 잠재 벡터로 변환한다. 이어서, 생성망(40)은 복수의 컨볼루션 계층을 통하여 이와 같이 변환된 잠재 벡터를 이용하여 1000 단계에서 입력된 각 이미지 관점에서 1000 단계에서 입력된 적어도 두 개의 데이터가 나타내는 이미지들간의 연관 관계의 특징들을 추론한다. 분류망(30)으로부터 생성망(40)으로 어떤 추론 이미지에 대한 적합성 점수가 피드백된 경우, 생성망(40)은 분류망(30)으로부터 피드백된 추론 이미지의 적합성 점수가 향상되는 방향으로 잠재 벡터의 값을 갱신한다. 이러한 잠재 벡터 갱신에 의해 잠재 벡터는 이미지들간의 연관 관계에서의 해당 이미지의 특징들을 더 잘 나타낼 수 있게 된다. 이러한 과정을 통해 생성망(40)이 학습된다. 생성망(40)의 학습량이 많아질수록 잠재 벡터는 이미지들간의 연관 관계에서의 해당 이미지의 특징들을 점점 더 잘 나타낼 수 있게 된다.
2000 단계에서 생성망(40)은 1000 단계에서 입력된 적어도 하나의 텍스트가 존재하는 경우, 1000 단계에서 입력된 각 텍스트의 임베딩(embedding) 계층을 통하여 1000 단계에서 입력된 각 텍스트를 이것을 나타내는 잠재 벡터로 변환한다. 이어서, 생성망(40)은 텍스트 프로세싱 계층을 통하여 이와 같이 변환된 잠재 벡터를 이용하여 1000 단계에서 입력된 각 텍스트 관점에서 1000 단계에서 입력된 적어도 두 개의 데이터가 나타내는 이미지들간의 연관 관계의 특징들을 추론한다. 분류망(30)으로부터 생성망(40)으로 어떤 추론 이미지에 대한 적합성 점수가 피드백된 경우, 생성망(40)은 분류망(30)으로부터 피드백된 추론 이미지의 적합성 점수가 향상되는 방향으로 잠재 벡터의 값을 갱신한다. 이러한 잠재 벡터 갱신에 의해 잠재 벡터는 이미지들간의 연관 관계에서의 해당 텍스트의 특징들을 더 잘 나타낼 수 있게 된다. 이러한 과정을 통해 생성망(40)이 학습된다. 생성망(40)의 학습량이 많아질수록 잠재 벡터는 이미지들간의 연관 관계에서의 해당 텍스트의 특징들을 점점 더 잘 나타낼 수 있게 된다.
2000 단계에서 생성망(40)은 1000 단계에서 입력된 적어도 하나의 특징값이 존재하는 경우, 1000 단계에서 입력된 각 특징값의 임베딩 계층을 통하여 1000 단계에서 입력된 각 특징값을 이것을 나타내는 잠재 벡터로 변환한다. 이어서, 생성망(40)은 특징값 프로세싱 계층을 통하여 이와 같이 변환된 잠재 벡터를 이용하여 1000 단계에서 입력된 각 특징값 관점에서 1000 단계에서 입력된 적어도 두 개의 데이터가 나타내는 이미지들간의 연관 관계의 특징들을 추론한다. 분류망(30)으로부터 생성망(40)으로 어떤 추론 이미지에 대한 적합성 점수가 피드백된 경우, 생성망(40)은 분류망(30)으로부터 피드백된 추론 이미지의 적합성 점수가 향상되는 방향으로 잠재 벡터의 값을 갱신한다. 이러한 잠재 벡터 갱신에 의해 잠재 벡터는 이미지들간의 연관 관계에서의 해당 특징값의 특징들을 더 잘 나타낼 수 있게 된다. 이러한 과정을 통해 생성망(40)이 학습된다. 생성망(40)의 학습량이 많아질수록 잠재 벡터는 이미지들간의 연관 관계에서의 해당 특징값의 특징들을 점점 더 잘 나타낼 수 있게 된다.
본 실시예에 따르면, 생성망(40)의 학습이 진행되면서 생성망(40)과 분류망(30)간의 적대적 경쟁 관계에 의해 잠재 벡터는 이미지들간의 연관 관계에서의 해당 이미지, 해당 텍스트, 해당 특징값의 특징들을 점점 더 잘 나타낼 수 있게 됨에 따라 본 실시예가 제공하는 은닉 이미지의 정확도가 점점 더 높아지게 된다.
상술한 바와 같이, 생성망(40)은 상술한 바와 같이 1000 단계에서 입력된 적어도 두 개의 데이터를 잠재 벡터들로 변환한다. 생성망(40)은 이와 같이 변환된 잠재 벡터들을 보간함으로써 그 잠재 벡터들 사이에 위치하는 적어도 하나의 잠재 벡터를 산출하고, 변환된 잠재 벡터들과 산출된 적어도 하나의 잠재 벡터를 이용하여 1000 단계에서 입력된 적어도 두 개의 데이터로부터 추론되는 적어도 하나의 이미지를 생성할 수도 있다. 2000 단계에서 변환된 잠재 벡터들은 사용자에 의해 획득된 이미지들에 대응되므로, 그것들의 보간에 의해 산출된 적어도 하나의 잠재 벡터는 사용자에 의해 획득된 이미지들 사이의 은닉 이미지들에 대응될 확률이 높다.
즉, 2000 단계에서 변환된 잠재 벡터들의 보간에 의해 산출된 잠재 벡터는 은닉 이미지에 근접한 보다 많은 개수의 입력 이미지의 역할을 하게 되며, 이것들을 이용하여 추론된 이미지들간의 연관 관계의 특징들의 정확도가 높게 된다. 결과적으로, 2000 단계에서 변환된 잠재 벡터들의 보간이라는 간단한 연산을 통하여 생성망(40)으로부터 출력되는 은닉 이미지의 정확도를 대폭 향상시킬 수 있다.
3100 단계에서 생성망(40)은 완전접속계층을 통하여 2000 단계에서 추론된 복수 개의 특징들을 통합하고, 생성망(40)의 학습을 통해 구축된 이미지들간의 연관 관계 모델에 따라 이와 같이 통합된 특징들로부터 추론되는 이미지들을 생성함으로써 1000 단계에서 입력된 적어도 두 개의 데이터로부터 추론되는 이미지들을 생성한다. 생성망(40)은 학습 초기에는 여러 개의 이미지(이미지 대신에 텍스트, 특징값도 가능)가 입력되면 이것들간의 연관 관계를 이해할 수 있는 능력이 매우 떨어진다. 생성망(40)과 분류망(30)간의 적대적 경쟁 관계에 의해 학습량이 많아질수록 생성망(40)과 분류망(30)은 이것들간의 연관 관계를 더 정확히 이해할 수 있는 신경망 모델을 구축할 수 있게 된다.
3200 단계에서 생성망(40)은 3100 단계에서 생성된 추론 이미지들을 업샘플링함으로써 사용자가 요구하는 수준의 해상도를 갖는 추론 이미지를 생성한다. 3300 단계에서 생성망(40)은 3200 단계에서 생성된 각 추론 이미지를 분류망(30)에 입력한다. 3400 단계에서 분류망(30)은 제어 모듈(20)의 제어에 따라 1000 단계에서 입력된 적어도 두 개의 데이터로부터 3200 단계에서 생성된 각 추론 이미지의 적합성 점수를 결정한다. 3400 단계에 대해서는 아래에서 자세히 설명하기로 한다.
3500 단계에서 제어 모듈(20)은 3400 단계에서 결정된 각 추론 이미지의 적합성 점수와 미리 설정된 기준 점수를 비교한다. 그 비교 결과, 3400 단계에서 결정된 각 추론 이미지의 적합성 점수와 미리 설정된 기준 점수 미만이면 3600 단계로 진행하고 각 추론 이미지의 적합성 점수와 미리 설정된 기준 점수 이상이면 3700 단계로 진행한다.
3600 단계에서 제어 모듈(20)은 각 추론 이미지의 적합성 점수를 생성망(40)에 입력함으로써 분류망(30)으로부터 생성망(40)으로 각 추론 이미지의 적합성 점수를 피드백한다. 여기에서, 기준 점수는 사용자에 의해 설정될 수 있으며 그 값이 클수록 각 은닉 이미지의 정확도가 향상될 수 있으나 본 실시예에 따라 제공되는 은닉 이미지의 개수가 감소할 수 있다. 한편, 기준 점수의 값이 작을수록 본 실시예에 따라 제공되는 은닉 이미지의 개수가 증가할 수 있으나 각 은닉 이미지의 정확도가 감소될 수 있다. 본 실시예에 따르면, 사용자의 기준 점수 조정에 따라 사용자가 원하는 품질과 개수의 은닉 이미지가 제공될 수 있다.
3700 단계에서 제어 모듈(20)은 3300 단계에서 생성된 추론 이미지로부터 기준 점수 이상인 적합성 점수를 갖는 추론 이미지를 분리해 낸 후에 스토리지(50)에 저장한다. 출력 모듈(60)은 제어 모듈(20)의 제어에 따라 이와 같이 스토리지(50)에 저장된 각 추론 이미지를 1000 단계에서 입력된 적어도 두 개의 데이터가 나타내는 이미지들 사이의 은닉 이미지로서 출력한다. 은닉 이미지는 사용자의 출력 명령 등에 따라 디스플레이 패널 등과 같은 출력 모듈(60)을 통하여 사용자에게 제공된다.
도 5는 도 1에 도시된 분류망(30)의 이미지 적합성 점수 결정 방식을 설명하기 위한 개념도이다. 도 5의 (a)에는 일반적인 GAN의 사이클 컨시스턴시 로스(Cycle consistency loss) 결정 방식이 도시되어 있고, 도 5의 (b)에는 본 실시예의 이미지 적합성 점수 결정 방식이 도시되어 있다.
도 5의 (a)를 참조하면, 일반적인 GAN의 사이클 컨시스턴시 로스 결정 방식은 원본 이미지 X가 생성망에 의해 얼마나 정확하게 이미지 Y로 변환되었는지 판별하기 위해 가짜 이미지 Y를 역으로 변환함으로써 생성된 이미지 X'가 얼마나 원본 이미지 X와 동일한지를 보는 방식이다. 이와 같이, 종래의 GAN에서는 입력이 한 개의 이미지, 출력이 한 개의 이미지로 제한되나 본 실시예에서는 M개의 입력에 N개의 이미지 출력이 존재할 수 있다. 이것은 제한된 입력에 대해 다양한 출력을 보장할 수 있다는 장점을 제공한다.
도 5의 (b)를 참조하면, N개의 추론 이미지 X'에 매칭되는 입력은 M개의 이미지 X, 특징값 Xv, 및 텍스트 Xt가 될 수 있다. N개의 추론 이미지 X'에 매칭되는 입력은 M개의 이미지 X가 될 수도 있고, M 개의 특징값 Xv가 될 수도 있고, 및 M 개의 텍스트 Xt가 될 수도 있다. 또한, N개의 추론 이미지 X'에 매칭되는 입력은 M개의 이미지 X와 특징값 Xv가 될 수도 있고, M개의 이미지 X와 텍스트 Xt가 될 수도 있고, M개의 특징값 Xv와 텍스트 Xt이 될 수도 있다. 도 5의 (b)의 점선은 일반적인 사이클 컨시스턴시 로스 방식의 매칭을 나타내고, 실선은 본 실시예의 이미지 적합성 점수 결정 방식의 매칭을 나타낸다.
3400 단계에서 제어 모듈(20)은 3300 단계에서 생성된 각 추론 이미지를 생성망(40)에 입력함으로써 생성망(40)의 출력으로부터 적어도 하나의 이미지, 적어도 하나의 텍스트, 및 적어도 하나의 특징값 중 적어도 두 개의 데이터를 획득한다. 이어서, 분류망(30)은 이와 같은 역변환 과정을 통해 획득된 적어도 두 개의 데이터와 1000 단계에서 입력된 적어도 두 개의 데이터의 유사도에 따라 300 단계에서 생성된 각 추론 이미지의 적합성 점수를 결정한다. 따라서, 은닉 이미지의 추론에 충분한 입력 이미지를 얻기 힘든 환경에서도 이미지를 설명하는 텍스트나 이미지의 특징들을 나타내는 값을 이용하여 높은 정확도의 은닉 이미지를 추론할 수 있다.
분류망(30)의 적합성 점수 결정 과정은 역변환 과정을 통해 획득된 적어도 두 개의 데이터와 1000 단계에서 입력된 적어도 두 개의 데이터 각각에 대해 2000 단계에서의 생성망(40)의 잠재 벡터 변환, 연관 관계의 특징 추론 과정이 동일하게 진행되므로 상세한 설명은 생략하기로 한다. 다만, 3100 단계에서 생성망(40)은 완전접속계층을 통하여 추론 이미지들을 생성하나, 분류망(30)은 완전접속계층을 통하여 역변환 과정을 통해 획득된 적어도 두 개의 데이터와 1000 단계에서 입력된 적어도 두 개의 데이터 각각에 대해 추론된 특징들을 통합하고, 이와 같이 통합된 특징들이 나타내는 유사도에 따라 300 단계에서 생성된 각 추론 이미지의 적합성 점수를 결정한다.
본 실시예에 따르면, 입력 이미지와 출력 이미지의 개수는 사용자의 결정에 따라 임의적으로 설정될 수 있다. 즉, 1개의 입력 이미지로부터 여러 개의 은닉 이미지가 출력될 수 있기 때문에 스포츠 게임에서 특정 장면에서 나온 이미지로부터 드론이나 카메라로 촬영이 힘든 장면을 360도 영상으로 실현할 수 있다. 본 실시예의 생성망(40)과 분류망(30)은 실제 CCTV에서 사용하는 풀 HD 사이즈의 가로:세로 비율이 16:9인 이미지를 지원할 수 있다. 종래의 GAN에서는 이미지의 가로:세로 비율을 1:1만 지원함에 따라 실제 활용도가 떨어졌었다.
도 6은 도 4에 도시된 1000 단계에서 입력되는 모든 데이터가 이미지인 경우의 예시도이다. 예를 들어, 다음과 같은 상황을 가정해 보자. 첫 번째 이미지(51`)는 어떤 사람이 길거리에 서있는 것을 보여준다. 두 번째 이미지(52`)는 그 사람이 집에서 방금 나왔음을 보여준다. 세 번째 이미지(53`)는 그 사람은 단순히 지나가는 중임을 보여준다. 네 번째 이미지(54`)는 다음 도착지가 반대편에 있는 집임을 보여준다. 다섯 번째 이미지(55`)는 그 사람이 헤드폰을 착용하고 걸어가고 있음을 보여준다. 여섯 번째 이미지(56`)는 그 사람이 주머니에서 선글라스를 꺼내고 있음을 보여준다. 일곱 번째 이미지(57`)는 그 사람이 선글라스를 착용하고 있음을 보여준다. 여덟 번째 이미지(58`)는 그 사람이 선글라스를 착용하고 헤드폰을 착용한 채로 걸어가고 있음을 보여준다.
분류망(30)과 생성망(40)은 입력 모듈(10)로부터 입력된 8개의 이미지(51`, 52`, 53`, 54`, 55`, 56`, 57`, 58`)에서 변환이 필요한 부분만 잘라내어 그 각각의 학습에 사용할 수 있다. 이와 같이 잘라낸 8개의 이미지(51, 52, 53 54, 55, 56, 57, 58)는 1920Х1080Х3의 풀 HD 이미지일 수 있다. 본 실시예에서는 이러한 이미지의 입력 대신에 어떤 이미지가 나타내는 장면을 설명하는 텍스트가 입력될 수도 있고, 어떤 이미지의 특징들을 나타내는 값이 입력될 수도 있다.
도 7은 도 4에 도시된 1000 단계에서 입력되는 데이터 일부가 특징값인 경우의 예시도이다. 도 7을 참조하면, 첫 번째 유형(T1)은 진하게 표시된 부분으로서 이미지 입력 대신에 촬영 대상 등 어떤 대상의 좌표 값, 이동속도 값, 상대적인 위치 값, 복장 종류 코드, 복장 색상 코드 등 이미지의 특징들을 나타내는 값으로 대체된 부분이다. 두 번째 유형(T2)은 연하게 표시된 부분으로서 이미지 입력이 존재하는 부분이다.
예를 들어, M=8개의 이미지 중에 L=2개의 이미지가 없는 경우를 가정해 보자. 이미지(52')의 입력이 없어서 이미지(52)가 0.32(좌표), 0.42(이동속도), 0.25(상대적인 위치), 0.211(복장 종류 코드)로 구성된 특징값으로 대체될 수 있고, 이미지(55')의 입력이 없어서 이미지(55)가 0.73(좌표), 0.48(이동속도), 0.05(상대적인 위치), 0.2225(복장 종류 코드)로 구성된 특징값으로 대체될 수 있다. 이 경우 이미지를 대체한 특징값의 개수 L은 2가 된다. 입력 모듈(10)은 M-L=8-2개의 이미지(51, 53, 54, 56, 57, 58)와 L=2개의 특징값(52, 55)을 분류망(30)과 생성망(40) 각각에 입력하게 된다. 잠재 벡터(z)의 사이즈가 K일 때에 분류망(30)과 생성망(40) 각각에는 이 입력에 대응하여 K 사이즈의 M 개의 잠재 벡터가 할당된다.
도 8은 도 4에 도시된 1000 단계에서 입력되는 데이터 일부가 텍스트인 경우의 예시도이다. 도 8을 참조하면, 첫 번째 유형(T1)은 진하게 표시된 부분으로서 이미지 입력 대신에 이미지의 장면을 설명하는 텍스트로 대체된 부분이다. 두 번째 유형(T2)은 연하게 표시된 부분으로서 이미지 입력이 존재하는 부분이다.
예를 들어, M=8개의 이미지 중에 L=3개의 이미지가 없는 경우를 가정해 보자. 이미지(52')의 입력이 없어서 이미지(52)가 "He was passing by the red brick house and..." 텍스트로 대체될 수 있고, 이미지(55')의 입력이 없어서 이미지(55)가 "the camera shows his right side of his face..." 텍스트로 대체될 수 있고, 이미지(57')의 입력이 없어서 이미지(57)가 "He wore the sunglass and his top left side.." 텍스트로 대체될 수 있다. 이 경우 이미지를 대체한 텍스트의 개수 L은 3이 된다. 입력 모듈(10)은 M-L=8-3=5 개의 이미지(51, 53, 54, 56, 58)와 L=3개의 텍스트(52, 55, 57)를 분류망(30)과 생성망(40) 각각에 입력하게 된다. 잠재 벡터(z)의 사이즈가 K일 때에 분류망(30)과 생성망(40) 각각에는 이 입력에 대응하여 K 사이즈의 M 개의 잠재 벡터가 할당된다.
도 9는 도 4에 도시된 1000 단계에서 입력되는 데이터 일부가 특징값과 텍스트인 경우의 예시도이다. 도 9를 참조하면, 첫 번째 유형(T1)은 진하게 표시된 부분으로서 이미지 입력 대신에 이미지의 특징들을 나타내는 값과 이미지의 장면을 설명하는 텍스트로 대체된 부분이다. 두 번째 유형(T2)은 연하게 표시된 부분으로서 이미지 입력이 존재하는 부분이다.
예를 들어, M=8개의 이미지 중에 L=4개의 이미지가 없는 경우를 가정해 보자. 이미지(52')의 입력이 없어서 이미지(52)가 "He was passing by the red brick house and ..." 텍스트로 대체될 수 있고, 이미지(55')의 입력이 없어서 이미지 (55)가 "the camera shows his right side of his face..." 텍스트로 대체될 수 있고, 이미지(57')의 입력이 없어서 이미지(57)가 "He wore the sunglass and his top left side.." 텍스트로 대체될 수 있고, 이미지(53')의 입력이 없어서 이미지 (53)가 "0.93(좌표), 0.42(이동속도), 0.15(상대적인 위치), 0.605(복장 종류 코드)로 구성된 특징값으로 대체될 수 있다. 이 경우 이미지를 대체한 데이터의 개수 L은 4가 된다. 입력 모듈(10)은 M-L=8-4 개의 이미지(51, 54, 56, 58)와 L=4개의 데이터 테이블 데이터(52, 53, 55, 57)를 분류망(30)과 생성망(40) 각각에 입력하게 된다. 잠재 벡터(z)의 사이즈가 K일 때에 분류망(30)과 생성망(40) 각각에는 이 입력에 대응하여 K 사이즈의 M 개의 잠재 벡터가 할당된다.
도 10은 도 6에 도시된 예에 대한 생성망(40)의 데이터 처리 과정도이다. 도 10에는 도 4에 도시된 1000 단계에서 입력되는 모든 데이터가 이미지인 경우에 여러 개의 이미지를 모아서 스택 이미지로 만든 뒤, 이것을 3300 단계에서의 출력 이미지들로 재구성하는 과정이 도시되어 있다. 하나의 이미지는 R(red) 채널, G(green) 채널, B(blue) 채널의 3채널 이미지로 구성된다. 예를 들어, 생성망(40)은 MХ3개의 1920Х1080 풀 HD 사이즈의 채널 이미지를 NХ3개의 1920Х1080 풀 HD 사이즈의 채널 이미지로 재구성할 수 있다.
도 11은 도 10에 도시된 예에 대한 생성망(40)의 데이터 처리 과정도이다. 도 10에는 도 4에 도시된 1000 단계에서 입력되는 데이터가 적어도 하나의 이미지, 적어도 하나의 텍스트, 및 적어도 하나의 특징값의 조합인 경우에 이것을 3300 단계에서의 출력 이미지들로 재구성하는 과정이 도시되어 있다. 예를 들어, 생성망(40)은 (M-L)Х3개의 1920Х1080 풀 HD 사이즈의 채널 이미지를 NХ3개의 1920Х1080 풀 HD 사이즈의 채널 이미지로 재구성할 수 있다. 이 경우, 적어도 하나의 텍스트와 적어도 하나의 특징값으로부터 변환된 L개의 K사이즈의 잠재 벡터가 존재한다. 도 11에 도시된 바와 같이, (M-L)Х3=(8-4)Х3=4Х3개의 채널 이미지로부터 NХ3=12Х3개의 채널 이미지로 재구성될 수 있다.
도 12는 도 4에 도시된 특징값 프로세싱과 텍스트 프로세싱의 상세도이다. 도 12를 참조하면, 도 4에 도시된 텍스트 프로세싱은 복수 개의 컨볼루션 계층(convolution layer), 완전 접속 계층(fully connected layer), 탈락 계층(dropout layer), 플래튼 계층(flatten), 및 리세이프 계층(reshape layer)을 통하여 이루어질 수 있다. 컨볼루션 계층은 텍스트에 대응하는 잠재 벡터를 이용하여 텍스트의 특징들을 추출함으로써 3차원 특징 맵을 생성한다. 완전 접속 계층은 3차원 특징 맵이 나타내는 텍스트의 특징들을 통합함으로써 3차원 특징 맵이 텍스트 관점에서의 이미지들간의 연관 관계의 특징들을 나타내도록 한다. 탈락 계층은 3차원 특징 맵의 사이즈를 줄이기 위하여 이와 같이 추론된 특징들을 구성하는 값들 중 특정 값 이하의 값을 탈락시킨다. 플래튼 계층은 3차원 특징 맵을 텍스트 관점에서의 이미지들간의 연관 관계의 특징들을 나타내는 1차원의 특징 데이터로 변환한다. 리세이프 계층은 다음 단계에서의 데이터 병합을 위해 1차원의 특징 데이터를 텍스트 관점에서의 이미지들간의 연관 관계에서의 특징들을 나타내는 K 사이즈의 특징 데이터로 변환한다.
도 4에 도시된 특징값 프로세싱은 복수 개의 다층퍼셉트론 계층(Multilayer Perceptron layer), 플래튼 계층, 및 리세이프 계층을 통하여 이루어질 수 있다. 다층퍼셉트론 계층은 특징값에 대응하는 잠재 벡터를 이용하여 특징값 관점에서의 이미지들간의 연관 관계의 특징들을 추론함으로써 특징값 관점에서의 이미지들간의 연관 관계의 특징들을 나타내는 3차원 특징 맵을 생성한다. 플래튼 계층은 3차원 특징 맵을 특징값 관점에서의 이미지들간의 연관 관계의 특징들을 나타내는 1차원의 특징 데이터로 변환한다. 리세이프 계층은 다음 단계에서의 데이터 병합을 위해 1차원의 특징 데이터를 특징값 관점에서의 이미지들간의 연관 관계의 특징들을 나타내는 K 사이즈의 특징 데이터로 변환한다.
도 13은 도 1에 도시된 분류망(30)과 생성망(40)의 학습 예를 도시한 도면이다. 도 13에는 CCTV가 어떤 인물을 중심으로 회전하면서 연속 촬영한 얼굴 이미지들이 도시되어 있다. 이러한 얼굴 이미지들 중 일부는 CCTV에 의해 촬영된 이미지로 가정하고, 나머지는 CCTV에 의해 촬영이 불가능한 이미지로 가정한다. 생성망(40)에는 CCTV에 의해 촬영된 이미지로 가정된 이미지들이 입력되고, 그 입력에 따라 생성망(40)으로부터 제 1 추론 이미지들이 출력된다. 생성망(40)에는 CCTV에 의해 촬영이 불가능한 이미지로 가정된 이미지들이 입력되고, 그 입력에 따라 제 2 추론 이미지들이 출력된다. 여기에서, 제 1 추론 이미지들은 GAN의 가짜 이미지에 해당하고 제 2 추론 이미지들은 역변환 이미지에 해당한다.
분류망(30)에는 생성망(40)으로부터 출력된 제 1 추론 이미지들과 제 2 추론 이미지들이 입력되고, 그 입력에 따라 분류망(30)으로부터 제 1 추론 이미지들 각각의 적합성 점수가 출력된다. 생성망(40)으로부터 출력된 제 1 추론 이미지들과 CCTV에 의해 촬영이 불가능한 이미지로 가정된 이미지들간의 유사도에 따라 분류망(30)이 1에 근접한 값을 출력하도록 분류망(30)을 학습시킨다. 분류망(30)으로부터 출력된 적합성 점수가 1이라면 제 1 추론 이미지들과 CCTV에 의해 촬영이 불가능한 이미지로 가정된 이미지들은 일치하게 된다.
생성망(40)은 분류망(30)으로부터 출력된 적합성 점수가 향상되는 방향으로 이미지들간의 연관 관계를 나타내는 잠재 벡터들의 값을 갱신하고, 이와 같이 갱신된 잠재 벡터들을 이용하여 CCTV에 의해 촬영된 이미지로 가정된 이미지들로부터 추론되는 이미지들을 생성한다. 이러한 잠재 벡터 갱신에 의해 각 잠재 벡터는 이미지들간의 연관 관계를 더 표현할 수 있게 된다. 이와 같이 생성된 추론 이미지들은 다시 분류망(30)으로 입력되고, 분류망(30)은 각 추론 이미지의 적합성 점수를 출력하게 된다. 상술한 바와 같은 과정은 계속적으로 반복되면서 생성망(40)은 CCTV에 의해 촬영이 불가능한 이미지로 가정된 이미지들에 점점 더 근접한 추론 이미지들을 생성할 수 있게 되고, 분류망(30)은 촬영이 불가능한 이미지로 가정된 이미지들과 추론 이미지들간의 유사도를 판별하는 능력이 점점 더 향상된다.
이상에서는 이미지들만을 이용하여 분류망(30)과 생성망(40)을 학습시키는 예를 살펴보았으나 이미지 대신에 상술한 바와 같은 텍스트나 특징값을 분류망(30)과 생성망(40)을 학습시킬 수 있다. 특히, 본 실시예에 따르면 분류망(30)으로부터 출력된 적합성 점수가 기준 점수 미만인 경우에만 생성망(40)으로 피드백되기 때문에 분류망(30)과 생성망(40)의 경쟁 학습이 사용자가 요구하는 은닉 이미지의 품질과 무관하게 반복됨을 방지할 수 있다. 즉, 본 실시예에 따르면 기존의 GAN에 비해 본 실시예가 구현되는 컴퓨터와 같은 하드웨어에 데이터 처리 부담을 경감시키면서 사용자가 요구하는 품질의 은닉 이미지가 효율적으로 제공될 수 있다.
도 14는 도 4에 도시된 은닉 이미지 추론 방법의 활용 예를 도시한 도면이다. 도 14에는 축구 경기중인 선수의 1개의 입력 이미지로부터 그 선수를 중심으로 360도에 걸쳐 촬영했을 경우의 12 개의 출력 이미지가 추론될 수 있다. 본 실시예에 따르면, 입력 이미지가 하나만 존재하는 경우에도 그 입력 이미지와 연관된 이미지의 장면을 설명하는 텍스트나 이미지의 특징값을 이미지 대신에 입력할 경우에 그 입력 이미지와 연관된 은닉 이미지가 추론될 수 있다. 나아가, 입력 이미지가 없는 경우에도 어떤 장면을 설명하는 텍스트나 이미지의 특징값으로부터 은닉 이미지가 추론될 수 있다.
본 실시예에 따르면, 건물 등 장애물에 가려 보이지 않거나 CCTV가 촬영할 수 없는 사각지대의 보이지 않는 대상에 대한 이미지를 그 주변 이미지, 텍스트, 이미지 특징값을 이용하여 제공할 수 있다. 도주자의 얼굴 사진이 한 장만 있거나 없는 경우에도 도주자 얼굴 설명이나 특징값의 입력만으로 도주자의 360도 얼굴 이미지들을 제공할 수 있다. 도주 경로의 사진이 한 장만 있거나 없는 경우에도 도주 경로 설명이나 특징값의 입력만으로 나머지 도주 경로의 이미지들을 제공할 수 있다.
한편, 상술한 바와 같은 본 발명의 일 실시예에 따른 은닉 이미지 추정 방법은 컴퓨터의 프로세서에서 실행 가능한 프로그램으로 작성 가능하고, 이 프로그램을 컴퓨터로 읽을 수 있는 기록매체에 기록하여 실행시키는 컴퓨터에서 구현될 수 있다. 컴퓨터는 데스크탑 컴퓨터, 노트북 컴퓨터, 스마트폰, 임베디드 타입의 컴퓨터 등 프로그램을 실행시킬 수 있는 모든 타입의 컴퓨터를 포함한다. 또한, 상술한 본 발명의 일 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 램(RAM), 롬(ROM), 마그네틱 저장매체(예를 들면, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형상으로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10 ... 입력 모듈
20 ... 제어 모듈
30 ... 분류망
40 ... 생성망
50 ... 스토리지
60 ... 출력 모듈

Claims (10)

  1. 적어도 하나의 이미지, 적어도 하나의 텍스트, 및 적어도 하나의 특징값 중 적어도 두 개의 데이터를 입력하는 단계;
    생성망은 학습을 통해 구축된 이미지들간의 연관 관계 모델에 따라 상기 입력된 적어도 두 개의 데이터로부터 추론되는 적어도 하나의 이미지를 생성하는 단계;
    분류망은 상기 생성된 각 추론 이미지의 적합성 점수를 결정하는 단계; 및
    상기 생성된 추론 이미지의 적합성 점수와 기준 점수의 비교 결과에 기초하여 상기 생성된 각 추론 이미지를 상기 입력된 적어도 두 개의 데이터가 나타내는 이미지들 사이의 은닉 이미지로서 출력하는 단계를 포함하는 것을 특징으로 하는 은닉 이미지 추론 방법.
  2. 제 1 항에 있어서,
    상기 적합성 점수를 결정하는 단계는 상기 입력된 적어도 두 개의 데이터로부터 상기 각 추론 이미지의 적합성 점수를 결정하는 것을 특징으로 하는 은닉 이미지 추론 방법.
  3. 제 2 항에 있어서,
    상기 적합성 점수를 결정하는 단계는 상기 생성된 각 추론 이미지를 상기 생성망에 입력함으로써 생성된 적어도 하나의 이미지, 적어도 하나의 텍스트, 및 적어도 하나의 특징값 중 적어도 두 개의 데이터와 상기 입력된 적어도 두 개의 데이터의 유사도에 따라 상기 적합성 점수를 결정하는 것을 특징으로 하는 은닉 이미지 추론 방법.
  4. 제 1 항에 있어서,
    상기 추론 이미지를 생성하는 단계는
    상기 적어도 하나의 이미지, 적어도 하나의 텍스트, 및 적어도 하나의 특징값 중 적어도 두 개의 데이터를 잠재 벡터들로 변환하는 단계;
    상기 변환된 잠재 벡터들을 보간함으로써 상기 변환된 잠재 벡터들 사이에 위치하는 잠재 벡터를 산출하는 단계; 및
    상기 변환된 잠재 벡터들과 상기 산출된 잠재 벡터를 이용하여 상기 입력된 적어도 두 개의 데이터로부터 추론되는 적어도 하나의 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 은닉 이미지 추론 방법.
  5. 제 1 항에 있어서,
    상기 추론 이미지를 생성하는 단계는
    상기 입력된 각 이미지를 잠재 벡터로 변환하는 단계; 및
    상기 변환된 잠재 벡터를 이용하여 상기 입력된 각 이미지 관점에서 상기 입력된 적어도 두 개의 데이터가 나타내는 이미지들간의 연관 관계의 특징들을 추론하는 단계를 포함하는 것을 특징으로 하는 은닉 이미지 추론 방법.
  6. 제 1 항에 있어서,
    상기 추론 이미지를 생성하는 단계는
    상기 입력된 각 텍스트를 잠재 벡터로 변환하는 단계; 및
    상기 변환된 잠재 벡터를 이용하여 상기 입력된 각 텍스트 관점에서 상기 입력된 적어도 두 개의 데이터가 나타내는 이미지들간의 연관 관계의 특징들을 추론하는 단계를 포함하는 것을 특징으로 하는 은닉 이미지 추론 방법.
  7. 제 1 항에 있어서,
    상기 추론 이미지를 생성하는 단계는
    상기 입력된 각 특징값을 잠재 벡터로 변환하는 단계; 및
    상기 변환된 잠재 벡터를 이용하여 상기 입력된 각 특징값 관점에서 상기 입력된 적어도 두 개의 데이터가 나타내는 이미지들간의 연관 관계의 특징들을 추론하는 단계를 포함하는 것을 특징으로 하는 은닉 이미지 추론 방법.
  8. 제 1 항에 있어서,
    상기 추론 이미지를 생성하는 단계는
    상기 입력된 적어도 하나의 이미지, 적어도 하나의 텍스트, 및 적어도 하나의 특징값을 잠재 벡터들로 변환하는 단계;
    상기 변환된 잠재 벡터들을 이용하여 상기 입력된 적어도 두 개의 데이터가 나타내는 이미지들간의 연관 관계의 특징들을 추론하는 단계; 및
    상기 추론된 특징들을 통합하고, 상기 연관 관계 모델에 따라 상기 통합된 특징들로부터 추론되는 적어도 하나의 이미지를 생성함으로써 상기 입력된 적어도 두 개의 데이터로부터 추론되는 적어도 하나의 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 은닉 이미지 추론 방법.
  9. 제 1 항 내지 제 8 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  10. 적어도 하나의 이미지, 적어도 하나의 텍스트, 및 적어도 하나의 특징값 중 적어도 두 개의 데이터를 입력하는 입력 모듈;
    학습을 통해 구축된 이미지들간의 연관 관계 모델에 따라 상기 입력된 적어도 두 개의 데이터로부터 추론되는 적어도 하나의 이미지를 생성하는 생성망;
    상기 생성된 각 추론 이미지의 적합성 점수를 결정하는 분류망; 및
    상기 생성된 추론 이미지의 적합성 점수와 기준 점수의 비교 결과에 기초하여 상기 생성된 각 추론 이미지를 상기 입력된 적어도 두 개의 데이터가 나타내는 이미지들 사이의 은닉 이미지로서 출력하는 출력 모듈을 포함하는 것을 특징으로 하는 은닉 이미지 추론 장치.
KR1020190145789A 2018-11-23 2019-11-14 머신 러닝을 이용하여 은닉 이미지를 추론하는 방법 및 장치 Active KR102280201B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180146025 2018-11-23
KR20180146025 2018-11-23

Publications (2)

Publication Number Publication Date
KR20200061294A KR20200061294A (ko) 2020-06-02
KR102280201B1 true KR102280201B1 (ko) 2021-07-21

Family

ID=71090835

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190145789A Active KR102280201B1 (ko) 2018-11-23 2019-11-14 머신 러닝을 이용하여 은닉 이미지를 추론하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102280201B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102427690B1 (ko) * 2020-08-05 2022-08-01 라온피플 주식회사 딥러닝 기반 클래스 분류 장치 및 방법
KR102332114B1 (ko) * 2020-11-24 2021-12-01 한국과학기술원 이미지 처리 방법 및 장치
KR102429411B1 (ko) 2020-11-24 2022-08-04 주식회사 유비무환 영유아의 영양 및 소화흡수 상태 모니터링에 의한 맞춤형 hmr 이유식 제공방법 및 제공시스템
KR102502958B1 (ko) * 2021-09-01 2023-02-24 주식회사 델타엑스 이미지를 이용해 오디오를 전송하는 방법 및 장치
WO2024080647A1 (ko) * 2022-10-13 2024-04-18 주식회사 에이슬립 사용자 수면 정보 기반의 수면 콘텐츠 생성 및 제공 방법, 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록매체

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101308347B1 (ko) * 2011-04-06 2013-09-17 아주대학교산학협력단 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법
KR101919831B1 (ko) * 2012-01-11 2018-11-19 삼성전자주식회사 오브젝트 인식 장치, 분류 트리 학습 장치 및 그 동작 방법
KR101567497B1 (ko) * 2014-02-11 2015-11-11 동서대학교산학협력단 축 방향 분산 영상 기법(ａｄｓ)을 이용한 가려진 영상 도출 시스템 및 그 방법
KR101925907B1 (ko) * 2016-06-03 2019-02-26 (주)싸이언테크 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법

Also Published As

Publication number Publication date
KR20200061294A (ko) 2020-06-02

Similar Documents

Publication Publication Date Title
KR102280201B1 (ko) 머신 러닝을 이용하여 은닉 이미지를 추론하는 방법 및 장치
US11836586B2 (en) Training data generating device, method, and program, and crowd state recognition device, method, and program
CN113963445B (zh) 一种基于姿态估计的行人摔倒动作识别方法及设备
US11106903B1 (en) Object detection in image data
JP2019144830A (ja) 複数の認識エンジンを用いて人物の行動を認識するプログラム、装置及び方法
US11321866B2 (en) Approach photographing device and method for controlling the same
JP2018022360A (ja) 画像解析装置、画像解析方法およびプログラム
Yi et al. Human action recognition based on action relevance weighted encoding
US20230386185A1 (en) Statistical model-based false detection removal algorithm from images
KR20200092453A (ko) 키워드에 기초하여 이미지를 생성하는 이미지 생성 장치 및 이미지 생성 방법
JP2019212148A (ja) 情報処理装置及び情報処理プログラム
JP7488674B2 (ja) 物体認識装置、物体認識方法及び物体認識プログラム
CN118840695A (zh) 一种目标行为的识别方法、系统及设备
JP2019194758A (ja) 情報処理装置、情報処理方法、およびプログラム
Cherian et al. Generative adversarial networks with stochastic gradient descent with momentum algorithm for video-based facial expression
EP3401843A1 (en) A method, an apparatus and a computer program product for modifying media content
Xiong et al. Deepfakes detection using computer vision and deep learning approaches
JP2021064120A (ja) 情報処理装置、情報処理方法、及びプログラム
KR102669951B1 (ko) Xr 웨딩 스튜디오 시스템
CN117156078B (zh) 一种视频数据处理方法、装置、电子设备及存储介质
Oludare Multimodal Data Enhancement and Augmentation Methodologies for Developing Robust Artificial Intelligence Systems
Morimoto et al. Continuous Action Recognition by Action-specific Motion Models.
Dinakaran Robust object detection in the wild via cascaded DCGAN
Xu Automatic Generation of Character Animations based on Dove Swarm Optimization Algorithm with Convolution Neural Network
Karlsson et al. Drone detection using deep neural networks and semi-supervised learning

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20191114

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200207

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20191114

Comment text: Patent Application

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210427

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210715

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210715

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240919

Start annual number: 4

End annual number: 4