KR20210089038A

KR20210089038A - 전자 장치 및 그 제어 방법

Info

Publication number: KR20210089038A
Application number: KR1020200002257A
Authority: KR
Inventors: 송길우; 권재현; 남진우; 신희승; 최민석
Original assignee: 삼성전자주식회사
Priority date: 2020-01-07
Filing date: 2020-01-07
Publication date: 2021-07-15
Also published as: US20210209374A1; US11842274B2; WO2021141210A1

Abstract

전자 장치의 제어 방법이 개시된다. 본 개시에 따른 제어 방법은, 제1 이미지 프레임 및 제2 이미지 프레임을 포함하는 영상 데이터와 영상 데이터에 대한 메타 데이터를 획득하는 단계; 제1 이미지 프레임을 제1 신경망 모델에 입력하여 제1 이미지 프레임의 조작 영역에 대한 정보를 획득하는 단계; 메타 데이터에 포함된 모션 벡터에 대한 정보를 바탕으로 제1 이미지 프레임 및 제2 이미지 프레임 간의 유사도를 획득하는 단계; 및 제1 이미지 프레임의 조작 영역에 대한 정보 및 유사도를 바탕으로 제2 이미지 프레임에 조작 영역이 존재하는지 판단하는 단계;를 포함한다.

Description

전자 장치 및 그 제어 방법{ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING THEREOF}

본 개시는 전자 장치 및 그 제어 방법으로, 보다 상세하게는, 조작된 영상을 식별하는 전자 장치 및 그 제어 방법에 관한 것이다.

근래에는 인공 지능 시스템이 다양한 분야에서 이용되고 있다. 인공 지능 시스템은 기존의 룰(rule) 기반 스마트 시스템과 달리 기계가 스스로 학습시키고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 룰 기반 스마트 시스템은 점차 딥러닝 기반 인공 지능 시스템으로 대체되고 있다.

인공 지능 기술은 기계학습(예로, 딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.

기계학습은 입력 데이터들의 특징을 스스로 분류/학습시키는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 수행하기 위한 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다. 특히, 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화 시스템, 질의 응답, 음성 인식/합성 등을 포함한다.

한편, 최근에는 인공지능을 이용한 영상 조작 기술이 발달되어 유명 연예인의 얼굴을 합성한 음란물을 유포하는 등의 영상 조작 기술을 이용한 다양한 범죄가 빈번하게 발생되고 있다.

따라서, 영상의 조작 여부를 검출 및 식별하는 기술에 대한 필요성이 대두된다.

본 발명이 해결하고자 하는 일 기술적 과제는, 신경망 모델을 이용하여 영상 데이터의 조작 여부를 식별하고 사용자에게 식별 결과를 제공하는 전자 장치 및 그 제어 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.

상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 일 실시 예에 따르면, 전자 장치의 제어 방법에 있어서, 제1 이미지 프레임 및 상기 제1 이미지 프레임의 후속 이미지 프레임인 제2 이미지 프레임을 포함하는 영상 데이터와 상기 영상 데이터에 대한 메타 데이터를 획득하는 단계; 상기 제1 이미지 프레임을 학습된 제1 신경망 모델에 입력하여 상기 제1 이미지 프레임의 조작 영역에 대한 정보를 획득하는 단계; 상기 메타 데이터에 포함된 모션 벡터에 대한 정보를 바탕으로 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임 간의 유사도를 획득하는 단계; 및 상기 제1 이미지 프레임의 조작 영역에 대한 정보 및 상기 유사도를 바탕으로 상기 제2 이미지 프레임에 조작 영역이 존재하는지 판단하는 단계;를 포함하는 제어 방법이 제공될 수 있다.

상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 다른 일 실시 예에 따르면, 전자 장치에 있어서, 메모리; 및 프로세서;를 포함하고, 상기 프로세서는, 제1 이미지 프레임 및 상기 제1 이미지 프레임의 후속 이미지 프레임인 제2 이미지 프레임을 포함하는 영상 데이터와 상기 영상 데이터에 대한 메타 데이터를 획득하고, 상기 제1 이미지 프레임을 학습된 제1 신경망 모델에 입력하여 상기 제1 이미지 프레임의 조작 영역에 대한 정보를 획득하고, 상기 메타 데이터에 포함된 모션 벡터에 대한 정보를 바탕으로 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임 간의 유사도를 획득하고, 상기 제1 이미지 프레임의 조작 영역에 대한 정보 및 상기 유사도를 바탕으로 상기 제2 이미지 프레임에 조작 영역이 존재하는지 판단하는 전자 장치가 제공될 수 있다.

본 개시의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 영상 데이터의 조작 여부를 식별하고, 식별 결과를 사용자에게 제공할 수 있다. 이에 따라, 사용자 편의성 및 만족도가 향상될 수 있다.

그 외에 본 개시의 실시 예로 인하여 얻을 수 있거나 예측되는 효과에 대해서는 본 개시의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 예컨대, 본 개시의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도이다.
도 4는 본 개시의 일 실시 예에 따른 제1 이미지 프레임 및 제2 이미지 프레임 간의 유사도를 획득하는 방법을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 관심 영역 설정 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 제2 이미지 프레임의 관심 영역의 조작 확률에 대한 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 7은 본 개시의 다른 일 실시 예에 따른 제2 이미지 프레임의 관심 영역의 조작 확률에 대한 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 도면이다.
도 9a 및 9b는 본 개시의 실시 예에 따른 제2 이미지 프레임의 조작 확률에 대한 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 10a 및 10b는 본 개시의 실시 예에 따른 제2 이미지 프레임의 조작 확률에 대한 정보를 획득하는 방법을 설명하기 위한 도면이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　

본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 전자 장치(100)는 디스플레이(120)를 통해 영상 데이터(10)를 출력할 수 있다. 이 때, 영상 데이터(10)는 원본 데이터의 픽셀값과 상이한 픽셀값을 갖는 조작 영역(20)을 포함할 수 있다. 여기서, 조작 영역(20)이란 이미지 조작이나 합성을 통해 조작된 영역을 의미할 수 있다. 예로, 도 1에서 사람의 얼굴에 대응되는 영역은 이미지 조작을 통해 생성된 조작 영역(20)일 수 있다.

한편, 전자 장치(100)는 영상 데이터(10)에 조작 영역(20)이 존재하는 지 식별할 수 있다. 구체적으로, 전자 장치(100)는 학습된 신경망 모델에 영상 데이터(10)를 입력하여 영상 데이터(10)에 조작 영역(20)이 존재하는 지 식별할 수 있다. 이 때, 영상 데이터(10)는 복수의 이미지 프레임을 포함할 수 있다. 예로, 영상 데이터(10)는 제1 이미지 프레임 및 제1 이미지 프레임의 후속 이미지 프레임인 제2 이미지 프레임을 포함할 수 있다. 한편, 학습된 신경망 모델은 영상 데이터(10)를 입력 받아 영상 데이터(10)에 존재하는 조작 영역(20)에 대한 정보를 획득하도록 학습될 수 있다. 구체적으로, 신경망 모델은 영상 데이터(10)에 포함된 복수의 이미지 프레임에 존재하는 조작 영역(20)에 대한 정보를 획득하도록 학습될 수 있다. 이에 따라, 전자 장치(100)는 신경망 모델에 제1 이미지 프레임 및 제2 이미지 프레임을 입력하여 제1 이미지 프레임 및 제2 이미지 프레임 각각에 존재하는 조작 영역(20)에 대한 정보를 획득할 수 있다.

한편, 전자 장치(100)가 영상 데이터(10)에 포함된 모든 이미지 프레임을 신경망 모델이 입력하면, 전자 장치(100)의 연산량이 과도하게 증가할 수 있다.

이를 방지하기 위해, 전자 장치(100)는 제1 이미지 프레임과 제2 이미지 프레임의 유사도를 바탕으로 제2 이미지 프레임에 조작 영역(20)이 존재하는지 식별할 수 있다. 구체적으로, 제1 이미지 프레임과 제2 이미지 프레임 간의 유사도가 기설정된 임계값보다 크면, 전자 장치(100)는 제1 이미지 프레임에 포함된 조작 영역에 대한 정보를 바탕으로 제2 이미지 프레임에 조작 영역이 존재하는지 식별할 수 있다. 구체적으로, 전자 장치(100)는 제1 이미지 프레임에 포함된 조작 영역에 대한 정보와 영상 데이터(10)에 대한 메타 데이터를 바탕으로 제2 이미지 프레임에 관심 영역(ROI: Region Of Interest)을 설정할 수 있다. 그리고, 전자 장치(100)는 설정된 관심 영역이 조작되었는지 여부를 판단하여 제2 이미지 프레임에 조작 영역이 존재하는지 식별할 수 있다. 즉, 전자 장치(100)는 제2 이미지 프레임의 전체 영역에 대해 조작 여부를 식별하는 것이 아니라, 관심 영역에 대해서만 조작 여부를 식별함으로써 제2 이미지 프레임에 조작 영역이 존재하는지 판단할 수 있다. 이에 따라, 전자 장치(100)의 연산량이 감소할 수 있다. 한편, 메타 데이터는 영상 데이터(10)에 포함된 복수의 이미지 프레임의 모션 벡터(motion vector)에 대한 정보를 포함할 수 있다. 또한, 전자 장치(100)는 영상 데이터(10)에 대한 코덱(codec) 정보로부터 메타 데이터를 획득할 수 있다.

반면에, 제1 이미지 프레임과 제2 이미지 프레임 간의 유사도가 기설정된 임계값보다 작으면, 전자 장치(100)는 제2 이미지 프레임을 학습된 신경망 모델에 입력하여 제2 이미지 프레임에 조작 영역이 존재하는지 식별할 수 있다.

한편, 전자 장치(100)는 조작 영역(20)에 대한 식별 결과를 출력할 수 있다. 예로, 전자 장치(100)는 영상 데이터(10)에 존재하는 조작 영역(20)이 식별되면, 'FAKE' 라는 텍스트를 디스플레이할 수 있다. 또한, 전자 장치(100)는 영상 데이터(10)가 조작되었을 확률에 대한 정보를 디스플레이할 수 있다. 뿐만 아니라, 전자 장치(100)는 조작 영역(20)을 다른 영역과 구분되게 표시할 수 있다. 이를 통해, 사용자는 영상 데이터(10)의 조작 여부를 확인할 수 있다. 이에 따라, 사용자의 만족감 및 편의성이 향상될 수 있다.

이하에서는 전자 장치의 각 구성에 대하여 설명하도록 한다.

도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.

도 2를 참조하면, 전자 장치(100)는 통신 인터페이스(110), 디스플레이(120), 메모리(130) 및 프로세서(140)를 포함할 수 있다. 한편, 전자 장치(100)가 상술한 구성들을 반드시 모두 포함하여 구현되어야 하는 것은 아니며, 일부 구성이 생략된 채 구현될 수 있다. 예로, 전자 장치(100)는 모바일 장치로 구현될 수 있다.

이하에서는 각 구성에 대하여 상세히 설명하도록 한다.

통신 인터페이스(110)는 적어도 하나의 회로를 포함하며 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 전자 장치(100)는 통신 인터페이스(110)를 통해 외부 서버 또는 외부 장치와 통신을 수행할 수 있다.

무선 통신 방식으로 외부 서버와 데이터 통신을 수행할 경우, 통신 인터페이스(110)는 와이파이 통신 모듈, 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈, 5G(5세대) 이동 통신 모듈 중 적어도 하나를 포함할 수 있다. 한편, 통신 인터페이스(110)는 무선 통신 모듈로 구현될 수 있으나, 이는 일 실시 예에 불과할 뿐 유선 통신 모듈(예를 들어, LAN 등)로 구현될 수 있다.

메모리(120)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다. 이를 위해 메모리(120)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리 등으로 구현될 수 있다. 또한, 메모리(120)는 오브젝트를 인식하기 위한 신경망 모델(혹은 오브젝트 인식 모델 등)을 저장할 수 있다. 특히, 신경망 모델은 기존의 범용 프로세서(예를 들어, CPU) 또는 별도의 AI 전용 프로세서(예를 들어, GPU, NPU 등)에 의해 실행될 수 있다. 예로, 메모리(120)에는 이미지에 포함된 가짜 영역에 대한 정보를 출력하도록 학습된 신경망 모델이 저장될 수 있다. 또한, 메모리(120)에는 이미지에 관심 영역을 설정하기 위한 관심 영역(ROI) 설정 모듈이 저장될 수 있다.

디스플레이(120)는 다양한 화면을 표시하는 구성일 수 있다. 예를 들어, 전자 장치(100)는 디스플레이(120)를 통해 영상 데이터를 출력할 수 있다. 또한, 전자 장치(100)는 출력되는 영상 데이터의 조작 여부를 표시할 수 있다. 한편, 디스플레이(120)는 터치 스크린(touch screen)으로 구현될 수 있다. 이 때, 전자 장치(100)는 디스플레이(120)를 통해 사용자의 터치 입력을 획득할 수 있다.

프로세서(140)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다.

예를 들어, 프로세서(140)는 통신 인터페이스(110)를 통해 제1 이미지 프레임 및 제1 이미지 프레임의 후속 이미지 프레임인 제2 이미지 프레임을 포함하는 영상 데이터를 획득할 수 있다. 또한, 프로세서(140)는 영상 데이터에 대한 메타 데이터를 획득할 수 있다. 이 때, 메타 데이터는 제1 이미지 및 제2 이미지 프레임 사이의 모션 벡터에 대한 정보를 포함할 수 있다.

또한, 프로세서(140)는 제1 이미지 프레임을 학습된 제1 신경망 모델에 입력하여 제1 이미지 프레임의 조작 영역에 대한 정보를 획득할 수 있다. 이 때, 제1 신경망 모델은 입력된 이미지 또는 동영상의 조작 여부를 검출하도록 학습된 인공지능 모델일 수 있다. 예로, 제1 신경망 모델은 딥러닝(deep-learning) 모델로 구현될 수 있다.

그리고, 프로세서(140)는 메타 데이터에 포함된 모션 벡터에 대한 정보를 바탕으로 제1 이미지 프레임 및 제2 이미지 프레임 간의 유사도를 획득할 수 있다. 이 때, 프로세서(140)는 제1 이미지 프레임 및 제2 이미지 프레임 간의 모션 벡터의 개수를 바탕으로 유사도를 획득할 수 있다. 구체적으로, 프로세서(140)는 제1 이미지 프레임 및 제2 이미지 프레임 간의 모션 벡터의 개수가 많을수록 제1 이미지 프레임 및 제2 이미지 프레임 간의 유사도가 크다고 판단할 수 있다. 또는, 프로세서(140)는 제2 이미지 프레임에 포함된 복수의 영역 중 제1 이미지 프레임과 매칭되는 영역의 개수를 바탕으로 유사도를 획득할 수 있다. 구체적으로, 프로세서(140)는 제1 이미지 프레임 및 제2 이미지 프레임 간의 매칭되는 영역의 개수가 많을수록 유사도가 크다고 판단할 수 있다. 이에 대한 보다 상세한 설명은 도 4를 참조하여 후술하도록 한다.

한편, 프로세서(140)는 제1 이미지 프레임의 조작 영역에 대한 정보 및 제1 이미지 프레임 및 제2 이미지 프레임 간의 유사도를 바탕으로 제2 이미지 프레임에 조작 영역이 존재하는지 판단할 수 있다. 구체적으로, 프로세서(140)는 제1 이미지 프레임 및 제2 이미지 프레임 간의 유사도가 기설정된 임계값보다 크면, 제1 이미지 프레임의 조작 영역에 대한 정보와 제1 이미지 프레임 및 제2 이미지 프레임 사이의 모션 벡터에 대한 정보를 바탕으로 제2 이미지 프레임에 대한 관심 영역을 설정할 수 있다.

그리고, 프로세서(140)는 설정된 관심 영역이 조작되었는지 여부를 판단하여 제2 이미지 프레임에 조작 영역이 존재하는지 판단할 수 있다. 이 때, 프로세서(140)는 제2 이미지 프레임에 대한 관심 영역을 바탕으로 생성된 제3 이미지 프레임을 획득할 수 있다. 예로, 제3 이미지 프레임은 제2 이미지 프레임의 복수의 영역 중 관심 영역에 대응되는 픽셀값만을 포함하는 이미지 프레임일 수 있다. 그리고, 프로세서(140)는 제3 이미지 프레임을 제1 신경망 모델에 입력하여 제3 이미지 프레임에 조작 영역이 존재하는지 식별할 수 있다. 즉, 프로세서(140)는 제2 이미지 프레임의 전체 영역이 아닌 관심 영역에 대한 정보만을 포함하는 제3 이미지 프레임을 제1 신경망 모델에 입력함으로써 제2 이미지 프레임에 조작 영역이 존재하는지 판단할 수 있다. 이와 같이 제1 신경망 모델로 입력되는 이미지 프레임이 갖는 유효한 성분의 개수가 감소함에 따라 프로세서(140)의 연산량이 감소할 수 있다.

한편, 프로세서(140)는 제1 이미지 프레임 및 제2 이미지 프레임 사이의 모션 벡터의 크기를 바탕으로 제2 이미지 프레임에 조작 영역이 존재하는지 판단할 수 있다. 구체적으로, 모션 벡터의 크기가 기설정된 값보다 크면, 프로세서(140)는 제3 이미지 프레임을 제1 신경망 모델에 입력하여 관심 영역의 조작 확률에 대한 제1 정보를 획득할 수 있다. 또한, 프로세서(140)는 제2 이미지 프레임을 제2 신경망 모델에 입력하여 제2 이미지 프레임에 포함된 복수의 영역별 조작 확률에 대한 제2 정보를 획득할 수 있다. 여기서, 제2 신경망 모델은 입력되는 이미지 또는 동영상의 조작 여부를 검출하도록 학습된 인공지능 모델일 수 있다. 예로, 제2 신경망 모델은 제1 신경망 모델에 비해 경량화된 딥러닝 모델일 수 있다. 즉, 제2 신경망 모델의 연산량은 제1 신경망 모델의 연산량보다 작을 수 있다. 그리고, 프로세서(140)는 제1 정보 및 제2 정보를 바탕으로 설정된 관심 영역이 조작되었는지 여부를 판단할 수 있다. 구체적으로, 프로세서(140)는 제1 정보 및 제2 정보를 바탕으로 제4 정보를 획득할 수 있다. 예로, 프로세서(140)는 제1 정보에 따른 제1 확률값과 제2 정보에 따른 제2 확률값의 최대값을 산출하여 제4 정보를 획득할 수 있다. 그리고, 프로세서(140)는 제4 정보에 따른 제4 확률값이 기설정된 확률값보다 큰 지를 바탕으로 설정된 관심 영역이 조작되었는지 여부를 판단할 수 있다. 이에 대한 보다 상세한 설명은 도 7을 참조하여 후술하도록 한다.

한편, 모션 벡터의 크기가 기설정된 값보다 작으면, 프로세서(140)는 제2 이미지 프레임을 제3 신경망 모델에 입력하여 관심 영역의 조작 확률에 대한 제3 정보를 획득할 수 있다. 여기서, 제3 신경망 모델은 입력되는 이미지 또는 동영상의 조작 여부를 검출하도록 학습된 인공지능 모델일 수 있다. 예로, 제3 신경망 모델은 서포트 벡터 머신(SVM, Support Vector Machine) 모델로 구현될 수 있다. 이 때, 제3 신경망 모델의 연산량은 제1 신경망 모델의 연산량보다 작을 수 있다. 그리고, 프로세서(140)는 제1 정보 및 제3 정보를 바탕으로 설정된 관심 영역이 조작되었는지 여부를 판단할 수 있다. 구체적으로, 프로세서(140)는 제1 정보에 따른 제1 확률값과 제3 정보에 따른 제3 확률값의 최대값을 산출하여 제5 정보를 획득할 수 있다. 그리고, 프로세서(140)는 제5 정보에 따른 제5 확률값이 기설정된 확률값보다 큰 지를 바탕으로 설정된 관심 영역이 조작되었는지 여부를 판단할 수 있다. 이에 대한 보다 상세한 설명은 도 8을 참조하여 후술하도록 한다.

한편, 제1 이미지 프레임 및 제2 이미지 프레임 간의 유사도가 기설정된 임계값보다 작으면, 프로세서(140)는 제2 이미지 프레임을 제1 신경망 모델에 입력하여 제2 이미지 프레임에 조작 영역이 존재하는지 판단할 수 있다.

한편, 본 개시에 따른 인공지능과 관련된 기능은 프로세서(140)와 메모리(130)를 통해 동작된다. 프로세서(140)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리(130)에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.

기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.

인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), GAN (Generative Adversarial Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.

도 3은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도이다.

도 3을 참조하면, 전자 장치(100)는 제1 이미지 프레임 및 제2 이미지 프레임을 포함하는 영상 데이터 및 영상 데이터에 대한 메타 데이터를 획득할 수 있다(S310). 구체적으로, 제2 이미지 프레임은 제1 이미지 프레임의 후속 이미지 프레임일 수 있다. 또한, 메타 데이터는 영상 데이터에 포함된 복수의 이미지 프레임에 대한 모션 벡터 정보를 포함할 수 있다. 전자 장치(100)는 코덱 정보로부터 이러한 모션 벡터 정보를 획득할 수 있다.

그리고, 전자 장치(100)는 제1 이미지 프레임을 학습된 제1 신경망 모델에 입력하여 제1 이미지 프레임의 조작 영역에 대한 정보를 획득할 수 있다(S320). 구체적으로, 제1 신경망 모델은 입력되는 이미지 프레임의 조작 여부를 검출하도록 학습될 수 있다. 이 때, 제1 신경망 모델은 입력되는 이미지 프레임에 포함된 복수의 영역 각각이 조작되었을 확률에 대한 정보를 출력할 수 있다. 예로, 전자 장치(100)는 제1 이미지 프레임을 제1 신경망 모델에 입력하여 제1 이미지 프레임의 (5,3) 영역이 조작되었을 확률이 90%라는 정보를 획득할 수 있다. 여기서 이미지 프레임에 포함된 복수의 영역은 이미지 프레임의 픽셀과 다대일 대응될 수 있다. 예로, 복수의 영역 각각은 16*8 픽셀 사이즈를 가질 수 있다. 다만 이는 일 예시에 불과하며 복수의 영역 각각이 픽셀 개수와 일대일 대응될 수도 있다.

한편, 전자 장치(100)는 메타 데이터에 포함된 모션 벡터에 대한 정보를 바탕으로 제1 이미지 프레임 및 제2 이미지 프레임 간의 유사도를 획득할 수 있다(S330). 구체적으로, 전자 장치(100)는 제1 이미지 프레임 및 제2 이미지 프레임 사이에 존재하는 모션 벡터의 개수를 바탕으로 유사도를 획득할 수 있다. 도 4를 참조하면, 제1 이미지 프레임(41) 및 제1 이미지 프레임(41)의 후속 이미지 프레임인 제2 이미지 프레임(42) 간에는 복수의 모션 벡터(mv1, mv2, mv3, mv4)가 존재할 수 있다. 전자 장치(100)는 제1 이미지 프레임(41) 및 제2 이미지 프레임(42) 사이의 모션 벡터의 개수를 바탕으로 제1 이미지 프레임(41) 및 제2 이미지 프레임(42) 간의 유사도를 판단할 수 있다. 구체적으로, 전자 장치(100)는 제1 이미지 프레임(41) 및 제2 이미지 프레임(42) 사이의 모션 벡터의 개수가 클수록 제1 이미지 프레임(41) 및 제2 이미지 프레임(42) 간의 유사도가 크다고 판단할 수 있다.

한편, 모션 벡터는 소스 프레임의 위치 정보와 소스 프레임 대비 현재 프레임의 위치 정보(Δx, Δy)를 포함할 수 있다. 예로, 제1 모션 벡터(mv1)는 (0,0)의 벡터값을 가질 수 있다. 이 때, 소스 프레임인 제1 이미지 프레임(41)의 (2,5)에 해당하는 영역과 제2 이미지 프레임(42)의 (2,5)에 해당하는 영역은 서로 매칭될 수 있다.

한편 도 4에서는 설명의 편의상 제1 모션 벡터(mv1), 제2 모션 벡터(mv2), 제3 모션 벡터(mv3) 및 제4 모션 벡터(mv4)가 각각 (0,0)의 벡터값을 갖는 것으로 설명하였으나, 이는 일 실시 예에 불과하며 복수의 모션 벡터들은 서로 다른 벡터값을 가질 수 있다.

한편, 전자 장치(100)는 획득된 유사도가 기설정된 임계값보다 크면 제1 이미지 프레임의 조작 영역에 대한 정보 및 모션 벡터에 대한 정보를 바탕으로 제2 이미지 프레임에 대한 관심 영역을 설정할 수 있다(S340). 도 5를 참조하면, 제1 이미지 프레임(51) 및 제2 이미지 프레임(52) 사이에는 제5 모션 벡터(mv5)가 존재할 수 있다. 이 때, 전자 장치(100)는 제1 이미지 프레임(51)의 조작 영역(53)에 대한 정보와 제5 모션 벡터(mv5)에 대한 정보를 바탕으로 제2 이미지 프레임(52)에 대한 관심 영역(54)을 설정할 수 있다. 제1 이미지 프레임(51)의 조작 영역(53)과 제2 이미지 프레임(52)에 대한 관심 영역(54)은 매칭될 수 있다.

한편, 전자 장치(100)는 제2 이미지 프레임에 설정된 관심 영역이 조작되었는지 여부를 판단하여 제2 이미지 프레임에 조작 영역이 존재하는지 판단할 수 있다(350).

도 6을 참조하면, 전자 장치(100)는 제2 이미지 프레임(61)과 제2 이미지 프레임(61)에 설정된 관심 영역(ROI)에 대한 정보(예를 들어, 관심 영역에 대응되는 픽셀의 위치 정보)를 제1 신경망 모델(62)에 입력하여 관심 영역(ROI)이 조작되었는지 여부를 판단할 수 있다. 이 때, 제1 신경망 모델(62)은 관심 영역(ROI)에 대응되는 이미지 영역을 블록 단위로(blockwise) 분석하여 각 블록 별 조작 확률에 대한 정보(63)를 출력할 수 있다. 예로, 조작 확률에 대한 정보(63)는 각 블록 별 조작 확률값을 포함할 수 있다. 그리고, 전자 장치(100)는 관심 영역(ROI)의 조작 확률이 기설정된 확률(예로 70%)보다 크면 관심 영역(ROI)이 조작되었다고 판단할 수 있다. 이처럼, 전자 장치(100)는 제2 이미지 프레임(62) 전체 영역의 조작 여부를 판단하는 것이 아니라, 제2 이미지 프레임(62)의 관심 영역(ROI)에 대해서만 조작 여부를 판단함으로써 제2 이미지 프레임(62)에 조작 영역이 존재하는지 판단할 수 있다. 이에 따라, 전자 장치(100)의 연산량이 감소되고 연산을 위한 배터리 소모량이 줄어들 수 있다.

한편, 도 7을 참조하면, 전자 장치(100)는 제2 이미지 프레임(71)를 바탕으로 전처리가 수행된 이미지를 제1 신경망 모델(73)에 입력하여 관심 영역(ROI)의 조작 확률에 대한 정보(74)를 획득할 수 있다. 구체적으로, 전자 장치(100)는 제2 이미지 프레임(71)으로부터 제3 이미지 프레임(72)을 획득할 수 있다. 이 때, 제3 이미지 프레임(72)은 제2 이미지 프레임(71)의 픽셀값 중 관심 영역(ROI)에 대한 픽셀값만을 포함하는 이미지 프레임일 수 있다. 그리고, 전자 장치(100)는 제3 이미지 프레임(72)을 제1 신경망 모델(73)에 입력하여 조작 확률에 대한 정보(73)를 획득할 수 있다. 이처럼, 관심 영역(ROI)에 대한 픽셀값만을 포함한 제3 이미지 프레임(72)이 제1 신경망 모델(73)에 입력되면, 제1 신경망 모델(73)의 연산량이 감소할 수 있다.

한편, 전자 장치(100)는 획득된 유사도가 기설정된 임계값보다 작으면, 제2 이미지 프레임을 제1 신경망 모델에 입력하여 제2 이미지 프레임에 조작 영역이 존재하는지 판단할 수 있다(S360). 획득된 유사도가 기설정된 임계값보다 낮은 경우, 제1 이미지 프레임에 대한 정보를 바탕으로 제2 이미지 프레임에 대한 정보를 획득할 시, 제2 이미지 프레임에 대한 정확도가 저감될 수 있다. 따라서, 전자 장치(100)는 제2 이미지 프레임을 조작 영역을 검출하도록 학습된 제1 신경망 모델에 입력하여 제2 이미지 프레임에 조작 영역이 존재하는지 판단할 수 있다.

한편, 전술한 바와 같이 전자 장치(100)는 제2 이미지 프레임에 설정된 관심 영역이 조작되었는지 여부를 판단하여 제2 이미지 프레임에 조작 영역이 존재하는지 판단할 수 있다(S350). 이 때, 전자 장치(100)는 제1 이미지 프레임 및 제2 이미지 프레임 간의 모션 벡터의 크기를 바탕으로 관심 영역이 조작되었는지 여부를 판단할 수 있다. 이하에서는, 상술한 단계 S350에 대해 보다 상세히 설명하도록 한다.

도 8은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 도면이다.

도 8을 참조하면, 전자 장치(100)는 제2 이미지 프레임 및 관심 영역에 대한 정보를 제1 신경망 모델에 입력하여 관심 영역의 조작 확률에 대한 제1 정보를 획득할 수 있다(S810). 여기서, 제1 정보는 도 6 및 도 7에서 각각 설명한 조작 확률에 대한 정보(63, 73)를 의미할 수 있다.

그리고, 전자 장치(100)는 제1 이미지 프레임 및 제2 이미지 프레임 간의 모션 벡터의 크기를 획득할 수 있다(S820). 예로, 제1 이미지 프레임 및 제2 이미지 프레임 간의 모션 벡터가 여러 개 존재하는 경우, 전자 장치(100)는 복수의 모션 벡터 각각의 크기를 산출하고, 산출된 각각의 크기 중 최대값을 최종 모션 벡터의 크기로 획득할 수 있다.

획득된 모션 벡터의 크기가 기설정된 값보다 크면, 전자 장치(100)는 제2 이미지 프레임을 제2 신경망 모델에 입력하여 제2 이미지 프레임의 조작 확률에 대한 제2 정보를 획득할 수 있다(S831). 구체적으로, 도 9a를 참조하면, 제2 신경망 모델(95)은 이미지 프레임을 입력 받아 이미지 프레임에 존재하는 조작 영역을 검출하도록 학습된 인공지능 모델일 수 있다. 또한, 제2 신경망 모델(95)은 상술한 제1 신경망 모델(92)에 비하여 연산량이 낮고 경량화된 신경망 모델일 수 있다. 따라서, 제2 신경망 모델(92)을 통해 획득되는 조작 영역에 대한 정보는 제1 신경망 모델(92)을 통해 획득되는 조작 영역에 대한 정보에 비해 정확도가 떨어질 수 있다. 반면에, 동일한 이미지를 처리하는 속도는 제2 신경망 모델(95)이 제1 신경망 모델(92)보다 빠를 수 있다. 예로, 제2 신경망 모델(95)은 제1 신경망 모델(92)에 비해 경량화된 딥러닝 모델일 수 있다. 한편, 제2 정보는 제2 이미지 프레임 전체 영역에 대한 조작 확률 정보를 포함할 수 있다.

또한, 도 6 및 도 7에서 설명한 바와 같이, 전자 장치(100)는 제2 이미지 프레임(91) 및 제2 이미지 프레임(91)에 대한 관심 영역(ROI) 정보를 제1 신경망 모델(92)에 입력하여 관심 영역(ROI)에 대한 조작 확률에 대한 정보인 제1 정보(93)를 획득할 수 있다. 그리고, 전자 장치(100)는 제2 이미지 프레임(91)을 제2 신경망 모델(95)에 입력하여 제2 이미지 프레임(91)의 전체 영역에 대한 조작 확률 정보인 제2 정보(96)를 획득할 수 있다. 한편, 제1 신경망 모델(92)은 제2 이미지 프레임(91)의 전체 영역의 조작 확률에 대한 정보를 획득할 수 있다. 도 9b를 참조하면, 전자 장치(100)는 제2 이미지 프레임(91)을 제1 신경망 모델(92)에 입력하여 제2 이미지 프레임(91)의 전체 영역에 대한 조작 확률 정보인 제1-1 정보(92-1)를 획득할 수 있다. 그리고, 전자 장치(100)는 제1-1 정보(92-1)를 ROI 설정 모듈(92-2)에 입력하여 관심 영역에 대한 조작 확률에 대한 정보인 제1 정보(93)를 획득할 수 있다.

그리고, 전자 장치(100)는 제1 정보(93) 및 제2 정보(96)를 바탕으로 관심 영역이 조작되었는지 여부를 판단할 수 있다(S841). 구체적으로, 전자 장치(100)는 제1 정보(93) 및 제2 정보(96)를 바탕으로 제4 정보(97)를 획득할 수 있다. 이 때, 전자 장치(100)는 제1 정보(93)에 포함된 관심 영역(ROI)에 대한 확률값과 제2 정보(96)에 포함된 전체 픽셀 영역에 대한 확률값의 최대값을 산출하여 제4 정보(97)를 획득할 수 있다. 그리고, 전자 장치(100)는 제4 정보(97)를 바탕으로 관심 영역(ROI)에 조작 영역이 존재하는지 판단할 수 있다. 예로, 전자 장치(100)는 제4 정보(97)에 포함된 영역별 확률값 중 기설정된 확률값보다 큰 확률값을 갖는 영역을 조작 영역이라 판단할 수 있다.

한편, 획득된 모션 벡터의 크기가 기설정된 값보다 작으면, 전자 장치(100)는 제2 이미지 프레임 및 관심 영역에 대한 정보를 제3 신경망 모델에 입력하여 관심 영역의 조작 확률에 대한 제3 정보를 획득할 수 있다(S832). 여기서, 제3 신경망 모델은 입력되는 이미지 프레임에 포함된 조작 영역을 검출하도록 학습된 신경망 모델일 수 있다. 또한, 제3 신경망 모델은 제1 신경망 모델보다 연산량이 작고 경량화된 인공지능 모델일 수 있다. 특히, 제3 신경망 모델은 기설정된 영역(예로, 관심 영역)에 대한 조작 확률에 대한 정보를 획득하도록 학습된 기계 학습 모델일 수 있다. 또한, 제3 신경망 모델은 서포트 벡터 머신(SVM, Support Vector Machine) 모델로 구현될 수 있다.

그리고, 전자 장치(100)는 제1 정보 및 제3 정보를 바탕으로 관심 영역이 조작되었는지 여부를 판단할 수 있다(S842).

구체적으로, 도 10a을 참조하면, 전자 장치(100)는 제2 이미지 프레임(101) 및 관심 영역(ROI)에 대한 정보를 제1 신경망 모델(102)에 입력하여 제1 정보(103)를 획득할 수 있다. 또한, 전자 장치(100)는 제2 이미지 프레임(101) 및 관심 영역(ROI)에 대한 정보를 제3 신경망 모델(104)에 입력하여 제3 정보(105)를 획득할 수 있다. 이 때, 제3 신경망 모델(104)는 관심 영역에 대한 정보를 바탕으로, 관심 영역의 조작 확률에 대한 정보를 출력할 수 있다. 즉, 제3 신경망 모델(104)은 제2 이미지 프레임(101)의 전체 영역이 아닌 설정된 관심 영역의 조작 확률에 대한 정보를 출력할 수 있다. 한편, 제1 신경망 모델(102)은 제2 이미지 프레임(101)의 전체 영역의 조작 확률에 대한 정보를 획득할 수 있다. 도 10b를 참조하면, 전자 장치(100)는 제2 이미지 프레임(101)을 제1 신경망 모델(102)에 입력하여 제2 이미지 프레임(101)의 전체 영역에 대한 조작 확률 정보인 제1-2 정보(102-1)를 획득할 수 있다. 그리고, 전자 장치(100)는 제1-2 정보(102-1)를 ROI 설정 모듈(102-2)에 입력하여 관심 영역에 대한 조작 확률에 대한 정보인 제1 정보(103)를 획득할 수 있다.

그리고, 전자 장치(100)는 제1 정보(103) 및 제3 정보(105)를 바탕으로 제5 정보(106)를 획득할 수 있다. 이 때, 제1 정보(103), 제3 정보(105) 및 제5 정보(106)는 관심 영역(ROI)의 조작 확률에 대한 정보를 포함할 수 있다. 또한, 전자 장치(100)는 제1 정보(103)에 포함된 확률값과 제3 정보(105)에 포함된 확률값의 최대값을 산출하여 제5 정보(106)를 획득할 수 있다. 그리고, 전자 장치(100)는 제5 정보(106)를 바탕으로 관심 영역(ROI)에 조작 영역이 존재하는지 판단할 수 있다. 예로, 전자 장치(100)는 제5 정보(106)에 포함된 영역별 확률값 중 기설정된 확률값보다 큰 확률값을 갖는 영역을 조작 영역이라 판단할 수 있다.

한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.

한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.

비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.

한편, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어^TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100: 전자 장치　　　　　　　　　110: 통신 인터페이스
120: 메모리 130: 디스플레이
140: 메모리 150: 프로세서

Claims

전자 장치의 제어 방법에 있어서,
제1 이미지 프레임 및 상기 제1 이미지 프레임의 후속 이미지 프레임인 제2 이미지 프레임을 포함하는 영상 데이터와 상기 영상 데이터에 대한 메타 데이터를 획득하는 단계;
상기 제1 이미지 프레임을 학습된 제1 신경망 모델에 입력하여 상기 제1 이미지 프레임의 조작 영역에 대한 정보를 획득하는 단계;
상기 메타 데이터에 포함된 모션 벡터에 대한 정보를 바탕으로 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임 간의 유사도를 획득하는 단계; 및
상기 제1 이미지 프레임의 조작 영역에 대한 정보 및 상기 유사도를 바탕으로 상기 제2 이미지 프레임에 조작 영역이 존재하는지 판단하는 단계;를 포함하는
제어 방법.
제1 항에 있어서,
상기 판단하는 단계는,
상기 유사도가 기설정된 임계값보다 크면, 상기 제1 이미지 프레임의 조작 영역 및 상기 모션 벡터에 대한 정보를 바탕으로 상기 제2 이미지 프레임에 대한 관심 영역을 설정하고,
상기 설정된 관심 영역이 조작되었는지 여부를 판단하여 상기 제2 이미지 프레임에 조작 영역이 존재하는지 판단하는
제어 방법.
제2 항에 있어서,
상기 판단하는 단계는,
상기 제2 이미지 프레임 및 상기 관심 영역에 대한 정보를 상기 제1 신경망 모델에 입력하여 상기 관심 영역의 조작 확률에 대한 제1 정보를 획득하고,
상기 제1 정보를 바탕으로 상기 관심 영역이 조작되었는지 여부를 판단하는
제어 방법.
제3 항에 있어서,
상기 판단하는 단계는,
상기 모션 벡터의 크기가 기설정된 값보다 크면,
상기 제2 이미지 프레임을 학습된 제2 신경망 모델에 입력하여 상기 제2 이미지 프레임의 조작 확률에 대한 제2 정보를 획득하고,
상기 제1 정보 및 상기 제2 정보를 바탕으로 상기 관심 영역이 조작되었는지 여부를 판단하는
제어 방법.
제3 항에 있어서,
상기 판단하는 단계는,
상기 모션 벡터의 크기가 기설정된 값보다 작으면,
상기 제2 이미지 프레임 및 상기 관심 영역에 대한 정보를 학습된 제3 신경망 모델에 입력하여 상기 관심 영역의 조작 확률에 대한 제3 정보를 획득하고,
상기 제1 정보 및 상기 제3 정보를 바탕으로 상기 관심 영역이 조작되었는지 여부를 판단하는
제어 방법.
제1 항에 있어서,
상기 판단하는 단계는,
상기 유사도가 기설정된 임계값보다 작으면,
상기 제2 이미지 프레임을 상기 제1 신경망 모델에 입력하여 상기 제2 이미지 프레임에 조작 영역이 존재하는지 판단하는
제어 방법.
제1 항에 있어서,
상기 유사도를 획득하는 단계는,
상기 제1 이미지 프레임 및 상기 제2 이미지 프레임 간의 모션 벡터의 개수를 바탕으로 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임 간의 유사도를 획득하는
제어 방법.
전자 장치에 있어서,
메모리; 및
프로세서;를 포함하고,
상기 프로세서는,
제1 이미지 프레임 및 상기 제1 이미지 프레임의 후속 이미지 프레임인 제2 이미지 프레임을 포함하는 영상 데이터와 상기 영상 데이터에 대한 메타 데이터를 획득하고,
상기 제1 이미지 프레임을 학습된 제1 신경망 모델에 입력하여 상기 제1 이미지 프레임의 조작 영역에 대한 정보를 획득하고,
상기 메타 데이터에 포함된 모션 벡터에 대한 정보를 바탕으로 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임 간의 유사도를 획득하고,
상기 제1 이미지 프레임의 조작 영역에 대한 정보 및 상기 유사도를 바탕으로 상기 제2 이미지 프레임에 조작 영역이 존재하는지 판단하는
전자 장치.
제8 항에 있어서,
상기 프로세서는,
상기 유사도가 기설정된 임계값보다 크면, 상기 제1 이미지 프레임의 조작 영역 및 상기 모션 벡터에 대한 정보를 바탕으로 상기 제2 이미지 프레임에 대한 관심 영역을 설정하고,
상기 설정된 관심 영역이 조작되었는지 여부를 판단하여 상기 제2 이미지 프레임에 조작 영역이 존재하는지 판단하는
전자 장치.
제9 항에 있어서,
상기 프로세서는,
상기 제2 이미지 프레임 및 상기 관심 영역에 대한 정보를 상기 제1 신경망 모델에 입력하여 상기 관심 영역의 조작 확률에 대한 제1 정보를 획득하고,
상기 제1 정보를 바탕으로 상기 관심 영역이 조작되었는지 여부를 판단하는
전자 장치.
제10 항에 있어서,
상기 프로세서는,
상기 모션 벡터의 크기가 기설정된 값보다 크면,
상기 제2 이미지 프레임을 학습된 제2 신경망 모델에 입력하여 상기 제2 이미지 프레임의 조작 확률에 대한 제2 정보를 획득하고,
상기 제1 정보 및 상기 제2 정보를 바탕으로 상기 관심 영역이 조작되었는지 여부를 판단하는
전자 장치.
제10 항에 있어서,
상기 프로세서는,
상기 모션 벡터의 크기가 기설정된 값보다 작으면,
상기 제2 이미지 프레임 및 상기 관심 영역에 대한 정보를 학습된 제3 신경망 모델에 입력하여 상기 관심 영역의 조작 확률에 대한 제3 정보를 획득하고,
상기 제1 정보 및 상기 제3 정보를 바탕으로 상기 관심 영역이 조작되었는지 여부를 판단하는
전자 장치.
제8 항에 있어서,
상기 프로세서는,
상기 유사도가 기설정된 임계값보다 작으면,
상기 제2 이미지 프레임을 상기 제1 신경망 모델에 입력하여 상기 제2 이미지 프레임에 조작 영역이 존재하는지 판단하는
전자 장치.
제8 항에 있어서,
상기 프로세서는,
상기 제1 이미지 프레임 및 상기 제2 이미지 프레임 간의 모션 벡터의 개수를 바탕으로 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임 간의 유사도를 획득하는
전자 장치.