[go: up one dir, main page]

KR102027297B1 - 장면 기반 동영상 네비게이션 장치 - Google Patents

장면 기반 동영상 네비게이션 장치 Download PDF

Info

Publication number
KR102027297B1
KR102027297B1 KR1020180021705A KR20180021705A KR102027297B1 KR 102027297 B1 KR102027297 B1 KR 102027297B1 KR 1020180021705 A KR1020180021705 A KR 1020180021705A KR 20180021705 A KR20180021705 A KR 20180021705A KR 102027297 B1 KR102027297 B1 KR 102027297B1
Authority
KR
South Korea
Prior art keywords
image
video
section
navigator
script file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020180021705A
Other languages
English (en)
Other versions
KR20190102112A (ko
Inventor
홍현주
오진호
한봉훈
김범준
정순규
박명환
엄준열
Original Assignee
(주)온넷시스템즈코리아
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)온넷시스템즈코리아, 주식회사 엘지유플러스 filed Critical (주)온넷시스템즈코리아
Priority to KR1020180021705A priority Critical patent/KR102027297B1/ko
Publication of KR20190102112A publication Critical patent/KR20190102112A/ko
Application granted granted Critical
Publication of KR102027297B1 publication Critical patent/KR102027297B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 장면 기반 동영상 네비게이션 장치에 관한 것으로, 동영상을 구성하는 복수의 영상 프레임들에 대해 동일한 장면으로 인식되는 구간의 영상 프레임을 그룹화하여 하나의 영상 구간으로 색인하는 영상 구간 색인부, 상기 영상 구간에 대한 시점 정보, 요약 영상 및 요약 텍스트를 포함하는 영상 네비게이터를 저장하는 영상 스크립트 파일을 생성하는 영상 스크립트 파일 생성부 및 상기 영상 스크립트 파일을 기초로 상기 영상 네비게이터를 검색하거나 또는 선택할 수 있는 인터페이스를 제공하는 네비게이션 인터페이스 제공부를 포함한다. 따라서, 본 발명은 동영상을 복수의 영상 구간들로 색인하여 각 영상 구간으로의 효과적인 탐색 기능을 제공할 수 있다.

Description

장면 기반 동영상 네비게이션 장치{SCENE-BASED VIDEO NAVIGATION APPRATUS}
본 발명은 장면 기반 동영상 네비게이션 기술에 관한 것으로, 보다 상세하게는 동영상을 복수의 영상 구간들로 색인하여 각 영상 구간으로의 효과적인 탐색 기능을 제공할 수 있는 장면 기반 동영상 네비게이션 장치에 관한 것이다.
카메라를 포함하고 있는 모바일 기기는 개인들이 자유롭게 자신만의 동영상을 손쉽게 제작할 수 있도록 하였다. 유튜브와 같은 동영상 공유 서비스는 사용자가 동영상을 업로드하고 시청하며 공유할 수 있는 환경을 제공하고 있다. 수많은 동영상들 중에서 자신이 원하는 동영상을 검색하는 기술은 사용자에게 적합한 동영상을 제공하기 위해 필수적으로 제공되어야 한다. 또한, 특정 동영상 내에서 사용자가 원하는 영상 구간을 손쉽게 검색할 수 있는 기술은 사용자가 동영상을 유용하게 활용할 수 있도록 할 수 있다.
한국등록특허 제10-1104883(2012.01.04)호는 당구 동영상 검색 시스템 및 방법에 관한 것으로, 이미지의 입력만으로 간단하게 당구 동영상으로부터 원하는 화면의 검색이 가능하므로, 손쉽고 신속하게 많은 분량의 당구 동영상을 검색할 수 있는 장점이 있다.
한국등록특허 제10-0543398(2006.01.09)호는 속기 및 일반문자를 이용한 전자법정내의 동영상 검색장치 및 방법에 관한 것으로, 전자 법정의 구성원인 판사, 변호사, 검사, 피고, 원고, 증인의 음성에 따라 동영상을 실시간 기록하고, 그 기록한 동영상의 음성을 속기 및 일반문자로 녹취하고 변환하여 디스플레이부에 동영상과 순차적으로 구현하며, 그 동영상과 동시에 입력된 속기 및 일반문자를 통해 사용자가 손쉽게 특정 동영상부분을 검색할 수 있도록 하는데 그 목적이 있다.
한국등록특허 제10-1104883(2012.01.04)호 한국등록특허 제10-0543398(2006.01.09)호
본 발명의 일 실시예는 동영상을 복수의 영상 구간들로 색인하여 각 영상 구간으로의 효과적인 탐색 기능을 제공할 수 있는 장면 기반 동영상 네비게이션 장치를 제공하고자 한다.
본 발명의 일 실시예는 연속된 영상 프레임 간의 색상 분포도 또는 객체 유무의 변화를 기초로 동일한 장면으로 인식된 영상 구간으로 분할할 수 있는 장면 기반 동영상 네비게이션 장치를 제공하고자 한다.
본 발명의 일 실시예는 복수의 영상 구간들에 관한 영상 네비게이터를 저장하는 영상 스크립트 파일을 기초로 네비게이션 인터페이스를 통해 각 영상 구간으로의 접근이 가능한 장면 기반 동영상 네비게이션 장치를 제공하고자 한다.
실시예들 중에서, 장면 기반 동영상 네비게이션 장치는 동영상을 구성하는 복수의 영상 프레임들 중 연속된 영상 프레임 간의 색상 분포도 또는 객체 유무의 변화를 기초로 동일한 장면으로 인식되는 구간의 영상 프레임을 그룹화하여 적어도 하나의 영상 구간으로 색인하는 영상 구간 색인부, 상기 적어도 영상 구간에 대한 시점 정보, 요약 영상 및 요약 텍스트를 포함하는 영상 네비게이터를 저장하는 영상 스크립트 파일을 생성하는 영상 스크립트 파일 생성부 및 상기 영상 스크립트 파일을 기초로 상기 영상 네비게이터를 검색하거나 또는 선택할 수 있는 인터페이스를 제공하는 네비게이션 인터페이스 제공부를 포함한다.
상기 영상 구간 색인부는 영상 프레임을 구성하는 복수의 픽셀들의 색상 정보를 기초로 특정 범위 구간에 속하는 색상을 가진 적어도 하나의 픽셀을 포함하는 색상 등고선을 결정하고 상기 색상 등고선의 변화를 기초로 상기 동일한 장면을 인식할 수 있다.
상기 영상 구간 색인부는 영상 프레임을 분석하여 적어도 하나의 객체를 인식하고 미리 정의된 유형으로 분류하여 유형별 객체 수의 변화를 기초로 상기 동일한 장면을 인식할 수 있다.
상기 영상 스크립트 파일 생성부는 상기 적어도 하나의 영상 구간에 출현하는 인물 및 배경에 대한 대표 이미지를 추출하여 합성한 이미지를 상기 적어도 하나의 영상 구간에 대한 대표 영상 프레임으로서 포함하는 상기 영상 스크립트 파일을 생성할 수 있다.
상기 네비게이션 인터페이스 제공부는 정렬된 상기 영상 네비게이터 사이에 적어도 하나의 광고를 추가하여 함께 제공할 수 있다.
상기 장면 기반 동영상 네비게이션 장치는 상기 영상 네비게이터의 검색 또는 선택을 수신하여 사용자의 요청에 따라 상기 영상 네비게이터의 시점부터 상기 동영상의 재생을 제어하는 영상 재생 제어부를 더 포함할 수 있다.
상기 영상 재생 제어부는 특정 영상 네비게이터의 선택이 시작된 시점으로부터 특정 시간이 경과할 때까지 상기 선택이 계속되는 경우 상기 선택을 상기 특정 영상 네비게이터에 관한 검색으로서 수신할 수 있다.
상기 영상 재생 제어부는 검색 또는 선택된 상기 영상 네비게이터에 포함된 상기 요약 영상 및 상기 요약 텍스트 중 적어도 하나와 연관된 광고를 상기 동영상의 재생 제어 과정에서 함께 제공할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 장면 기반 동영상 네비게이션 장치는 연속된 영상 프레임 간의 색상 분포도 또는 객체 유무의 변화를 기초로 동일한 장면으로 인식된 영상 구간으로 분할할 수 있다.
본 발명의 일 실시예에 따른 장면 기반 동영상 네비게이션 장치는 복수의 영상 구간들에 관한 영상 네비게이터를 저장하는 영상 스크립트 파일을 기초로 네비게이션 인터페이스를 통해 각 영상 구간으로의 접근이 가능할 수 있다.
도 1은 본 발명의 일 실시예에 따른 동영상 네비게이션 시스템을 설명하는 도면이다.
도 2는 도 1에 있는 동영상 네비게이션 장치를 설명하는 블록도이다.
도 3은 도 1에 있는 동영상 네비게이션 장치에서 수행되는 동영상 네비게이션 과정을 설명하는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 동영상 네비게이션 장치를 설명하는 예시도이다.
도 5는 동영상 네비게이션 장치의 네비게이션 인터페이스 제공부에서 제공하는 네비게이션 인터페이스의 일 실시예를 설명하는 예시도이다.
도 6은 도 2에 있는 영상 구간 색인부에서 생성한 색상 등고선의 일 실시예를 설명하는 예시도이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른 동영상 네비게이션 시스템을 설명하는 도면이다.
도 1을 참조하면, 동영상 네비게이션 시스템(100)은 사용자 단말(110), 동영상 네비게이션 장치(130) 및 데이터베이스(150)를 포함할 수 있다.
사용자 단말(110)은 동영상을 재생하고 동영상 네비게이션 기능을 이용할 수 있는 컴퓨팅 장치에 해당할 수 있고, 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(110)은 동영상 네비게이션 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(110)은 동영상 네비게이션 장치(130)와 동시에 연결될 수 있다.
사용자 단말(110)은 동영상 네비게이션 장치(130)에 특정 동영상 파일 또는 해당 동영상 파일에 관한 정보를 제공할 수 있고, 동영상 네비게이션 장치(130)로부터 해당 동영상 파일에 대한 영상 스크립트 파일을 수신할 수 있다. 일 실시예에서, 사용자 단말(110)은 특정 동영상을 재생하기 전에 동영상 네비게이션 장치(130)로부터 해당 영상 스크립트 파일을 수신 받아 동영상 재생 과정에서 동영상 네비게이션 기능을 제공하는 네비게이션 인터페이스를 함께 제공할 수 있다. 다른 실시예에서, 사용자 단말(110)은 동영상 네비게이션 장치(130)로부터 해당 동영상에 대한 네비게이션 인터페이스 정보를 수신할 수 있고, 이를 기초로 네비게이션 인터페이스를 생성하여 사용자에게 제공할 수 있다.
일 실시예에서, 사용자 단말(110)은 동영상 네비게이션 기능을 수행하는 동영상 네비게이션 어플리케이션을 설치할 수 있고, 동영상 네비게이션 어플리케이션을 통해 동영상 네비게이션 장치(130)와 동일한 동작을 수행할 수 있다.
동영상 네비게이션 장치(130)는 동영상을 복수의 영상 구간으로 색인할 수 있고 색인된 각 영상 구간에 대한 정보를 포함하는 영상 네비게이터를 생성하여 사용자 단말(110)에 네비게이션 인터페이스를 제공할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 동영상 네비게이션 장치(130)는 사용자 단말(110)과 블루투스, WiFi 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 사용자 단말(110)과 데이터를 주고 받을 수 있다.
동영상 네비게이션 장치(130)는 데이터베이스(150)를 포함하여 구현될 수 있고, 데이터베이스(150)와 독립적으로 구현될 수 있다. 데이터베이스(150)와 독립적으로 구현된 경우 동영상 네비게이션 장치(130)는 데이터베이스(150)와 유선 또는 무선으로 연결되어 데이터를 주고 받을 수 있다.
데이터베이스(150)는 동영상 네비게이션 장치(130)에서 동영상을 복수의 영상 구간으로 색인하고 영상 스크립트 파일을 생성하기 위하여 필요한 다양한 정보들을 저장할 수 있는 저장장치이다. 데이터베이스(150)는 복수의 동영상 및 해당 동영상에 대한 영상 스크립트 파일 정보를 저장할 수 있고, 동영상 네비게이션 장치(130)가 영상 스크립트 파일을 생성하기 위해 동영상으로부터 생성한 영상 구간 정보 및 영상 네비게이터에 관한 정보를 저장할 수 있다. 데이터베이스(150)는, 반드시 이에 한정되지 않고, 영상 스크립트 파일 생성 또는 네비게이션 인터페이스 제공과 관련하여 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
데이터베이스(150)는 특정 범위에 속하는 정보들을 저장하는 적어도 하나의 독립된 서브-데이터베이스들로 구성될 수 있고, 적어도 하나의 독립된 서브-데이터베이스들이 하나로 통합된 통합 데이터베이스로 구성될 수 있다. 적어도 하나의 독립된 서브-데이터베이스들로 구성되는 경우에는 각각의 서브-데이터베이스들은 블루투스, WiFi 등을 통해 무선으로 연결될 수 있고, 네트워크를 통해 상호 간의 데이터를 주고 받을 수 있다. 데이터베이스(150)는 통합 데이터베이스로 구성되는 경우 각각의 서브-데이터베이스들을 하나로 통합하고 상호 간의 데이터 교환 및 제어 흐름을 관리하는 제어부를 포함할 수 있다.
도 2는 도 1에 있는 동영상 네비게이션 장치를 설명하는 블록도이다.
도 2를 참조하면, 동영상 네비게이션 장치(130)는 영상 구간 색인부(210), 영상 스크립트 파일 생성부(230), 네비게이션 인터페이스 제공부(250), 영상 재생 제어부(270) 및 제어부(290)를 포함할 수 있다.
영상 구간 색인부(210)는 동영상을 구성하는 복수의 영상 프레임들에 대해 동일한 장면으로 인식되는 구간의 영상 프레임을 그룹화하여 적어도 하나의 영상 구간으로 색인할 수 있다. 동영상 네비게이션 장치(130)는 영상 구간 색인부(210)를 통해 동영상 내에 존재하는 영상을 장면별로 자동으로 구분할 수 있다. 예를 들어, 장면은 동영상 내에서 특정 인물들이 등장하는 구간에 해당할 수 있고, 특정 배경이나 장소가 등장하는 구간에 해당할 수 있으며, 반드시 이에 한정되지 않고, 연속된 영상 프레임 중에서 일정한 공통점을 공유하는 영상 프레임들의 그룹을 포함하는 구간에 해당할 수 있다.
일 실시예에서, 영상 구간 색인부(210)는 동영상을 구성하는 복수의 영상 프레임들 중 연속된 영상 프레임 간의 색상 분포도 또는 객체 유무의 변화를 기초로 동일한 장면으로 인식되는 구간의 영상 프레임을 그룹화할 수 있다. 보다 구체적으로, 영상 구간 색인부(210)는 연속된 영상 프레임 간의 비교 분석을 통해 동영상 내에서 색상 분포도 또는 객체 유무의 변화가 급격한 시점을 장면(Scene)이 변경되는 시점으로 결정할 수 있고, 장면 변경 시점 사이에 존재하는 영상 프레임들 간의 연관성을 기초로 해당 구간을 하나의 영상 구간으로 색인하여 관련 정보들을 데이터베이스(150)에 저장할 수 있다.
일 실시예에서, 영상 구간 색인부(210)는 영상 프레임을 구성하는 복수의 픽셀들의 색상 정보를 기초로 특정 범위 구간에 속하는 색상을 가진 적어도 하나의 픽셀을 포함하는 색상 등고선을 결정하고 색상 등고선의 변화를 기초로 동일한 장면을 인식할 수 있다. 여기에서, 색상 등고선은 하나의 영상 프레임 내에 존재하고 동일한 색상으로 인식되는 일정 범위 내의 색상들을 하나로 그룹화하여 표시한 것에 해당할 수 있다.
동영상 네비게이션 장치(130)는 사용자 단말(110)로부터 색상 등고선 분석을 위한 설정 파라미터로서 동일한 색상 등고선으로 결정될 수 있는 색상 값의 범위에 해당하는 상수값을 입력 받거나 또는 특정 상수값을 자동으로 설정할 수 있다.
영상 구간 색인부(210)는 영상 프레임의 각 픽셀별 색상 정보를 기초로 사용자로부터 입력 받은 상수값의 범위 내에 속하는 색상을 가진 적어도 하나의 픽셀을 하나의 색상 등고선으로 결정할 수 있다. 영상 구간 색인부(210)는 영상 프레임의 모든 픽셀에 대하여 적어도 하나의 색상 등고선으로 분류할 수 있고, 분류된 각 색상 등고선에 대해 해당 색상 등고선의 색상 범위에 속하는 색상 중 하나를 대표 색상으로 설정할 수 있다.
일 실시예에서, 영상 구간 색인부(210)는 각 색상 등고선에 고유 ID를 부여함으로써 식별할 수 있고 특정 시간구간 동안 유사한 형태를 유지하는지에 따라 동일한 장면으로 구분할 수 있다. 보다 구체적으로, 영상 구간 색인부(210)는 동일한 색상 등고선의 형태가 특정 시간구간 이내에 임계값을 초과하여 변경되는 경우에는 장면 변화가 발생한 것으로 판단하여 해당 시점을 기준으로 장면을 구분할 수 있다. 다른 실시예에서, 영상 구간 색인부(210)는 색상 등고선의 형태 변화 및 위치 변화 중 적어도 하나에 기초하여 동일한 장면으로 구분할 수 있다.
일 실시예에서, 영상 구간 색인부(210)는 하나의 영상 프레임 내에 존재하는 복수의 색상 등고선에 대해 특정 시간구간 이내에 임계값을 초과하여 변경되는 색상 등고선의 수가 특정 개수를 초과하는 경우 장면 변화가 발생한 것으로 판단하여 해당 시점을 기준으로 장면을 구분할 수 있다.
일 실시예에서, 영상 구간 색인부(210)는 영상 프레임을 분석하여 적어도 하나의 객체를 인식하고 객체 수의 변화를 기초로 동일한 장면을 인식할 수 있다. 영상 구간 색인부(210)는 하나의 영상 프레임 내에 존재하는 사람, 동물, 건물 및 자동차 등을 포함하는 객체를 인식할 수 있고, 각 객체별로 고유 ID를 부여함으로써 객체를 식별할 수 있다. 예를 들어, 영상 구간 색인부(210)는 다양한 객체 인식 알고리즘을 사용하여 영상 프레임 내에 존재하는 객체를 인식할 수 있다. 또한, 영상 구간 색인부(210)는 AI 알고리즘을 사용하여 사전에 학습된 정보를 기초로 영상 프레임 내에 존재하는 객체를 인식할 수 있다.
영상 구간 색인부(210)는 연속된 영상 프레임 간의 객체 수의 변화가 특정 임계값을 초과하는 경우 장면 변화가 발생한 것으로 판단하여 해당 시점을 기준으로 장면을 구분할 수 있다. 영상 구간 색인부(210)는 영상 프레임에 존재하는 객체의 수가 급격하게 많아지거나 급격하게 줄어드는 경우 장면 변화가 발생한 것으로 판단할 수 있다.
일 실시예에서, 영상 구간 색인부(210)는 영상 프레임을 분석하여 적어도 하나의 객체를 인식하고 미리 정의된 유형으로 분류하여 유형별 객체 수의 변화를 기초로 동일한 장면을 인식할 수 있다. 예를 들어, 영상 구간 색인부(210)는 연속된 영상 프레임 간에 '사람' 유형으로 분류된 객체들의 수가 급격히 줄어들거나 또는 급격히 증가하는 경우 장면 변화가 발생한 것으로 판단할 수 있다. 또는, 영상 구간 색인부(210)는 연속된 영상 프레임 간에 '사람' 유형 및 '자동차' 유형으로 분류된 객체들의 수가 모두 특정 수를 초과하여 증가하는 경우 장면 변화가 발생한 것으로 판단할 수 있다.
영상 스크립트 파일 생성부(230)는 영상 구간 색인부(210)에 의해 색인된 각 영상 구간에 대한 시점 정보, 요약 영상 및 요약 텍스트를 포함하는 영상 네비게이터를 저장하는 영상 스크립트 파일을 생성할 수 있다. 여기에서, 영상 스크립트 파일은 동영상 네비게이션 장치(130)에 의해 동영상 분석 결과로서 생성될 수 있고, 데이터베이스(150)에 해당 동영상과 연관되어 저장될 수 있다. 영상 스크립트 파일 생성부(230)는 각 영상 구간에 대해 시작 시간 및 종료 시간을 포함하는 시점 정보, 해당 영상 구간의 내용을 요약한 요약 영상 정보 및 해당 영상 구간의 내용을 요약한 요약 텍스트 정보를 생성할 수 있고 시점, 요약 영상 및 요약 텍스트를 저장하는 영상 네비게이터를 생성할 수 있다.
영상 네비게이터는 동영상 네비게이션 장치(130)에서 네비게이션 인터페이스를 제공하기 위해 필요한 각 영상 구간에 대한 정보를 포함하는 영상 구간 식별자에 해당할 수 있다. 영상 네비게이터는 영상 구간에 대한 시점 정보, 요약 영상 및 요약 텍스트 중 적어도 하나를 포함할 수 있으며, 반드시 이에 한정되지 않고, 동영상 네비게이션을 위해 필요한 각 영상 구간에 대한 다양한 정보들을 포함할 수 있다.
동영상 네비게이션 장치(130)는 사용자 단말(110)로부터의 요청을 수신하는 경우 데이터베이스(150)에서 해당 동영상에 대한 영상 스크립트 파일을 검색할 수 있고, 데이터베이스(150)에서 검색된 경우 해당 영상 스크립트 파일을 사용자 단말(110)에 제공할 수 있다. 동영상 네비게이션 장치(130)는 데이터베이스(150)에서의 검색에 실패한 경우 해당 동영상을 분석하여 영상 스크립트 파일을 생성할 수 있고, 데이터베이스(150)에 저장할 수 있다.
일 실시예에서, 영상 스크립트 파일 생성부(230)는 영상 구간 색인부(210)에 의해 색인된 영상 구간에 포함된 복수의 영상 프레임들 중 적어도 하나를 대표 영상 프레임으로 결정하여 생성한 요약 영상을 포함하는 영상 스크립트 파일을 생성할 수 있다. 영상 스크립트 파일 생성부(230)는 특정 영상 구간을 구성하는 복수의 영상 프레임들 중에서 해당 영상 구간을 대표할 수 있는 영상 프레임을 선택하거나 또는 해당 영상 구간의 내용을 효과적으로 표현할 수 있는 적어도 하나의 영상 프레임을 선택함으로써 요약 영상을 생성할 수 있다. 또한, 영상 스크립트 파일 생성부(230)는 특정 영상 구간을 구성하는 복수의 영상 프레임들 중에서 일정 간격으로 선택된 특정 개수의 영상 프레임들을 이용하여 요약 영상을 생성할 수 있다.
일 실시예에서, 영상 스크립트 파일 생성부(230)는 영상 구간에 출현하는 인물 및 배경에 대한 대표 이미지를 추출하여 합성한 이미지를 해당 영상 구간에 대한 대표 영상 프레임으로서 포함하는 영상 스크립트 파일을 생성할 수 있다. 영상 스크립트 파일 생성부(230)는 특정 영상 구간을 구성하는 복수의 영상 프레임을 기초로 해당 영상 구간에 출현하는 인물들의 대표 이미지를 추출할 수 있고, 해당 영상 구간에 대한 대표 배경 이미지를 추출할 수 있다. 영상 스크립트 파일 생성부(230)는 추출된 대표 배경 이미지에 각 인물들의 대표 이미지를 합성함으로써 해당 영상 구간에 대한 대표 영상 프레임을 생성할 수 있고 대표 영상 프레임을 이용하여 요약 영상을 생성할 수 있다.
네비게이션 인터페이스 제공부(250)는 영상 스크립트 파일 생성부(230)에 의해 생성된 영상 스크립트 파일을 기초로 영상 네비게이터를 검색하거나 또는 선택할 수 있는 네비게이션 인터페이스를 제공할 수 있다. 네비게이션 인터페이스는 영상 스크립트 파일에 포함된 각 영상 구간에 대한 영상 네비게이터를 이용하여 다양한 형태로 구현될 수 있다.
일 실시예에서, 네비게이션 인터페이스 제공부(250)는 영상 스크립트 파일에 저장된 영상 네비게이터에 관한 썸네일(Thumbnail)을 생성하고 일정한 순서에 따라 정렬하여 제공할 수 있다. 네비게이션 인터페이스 제공부(250)는 영상 스크립트 파일에 저장된 각 영상 네비게이터에 관해 시점 정보, 요약 영상 및 요약 텍스트 중 적어도 하나를 이용하여 각 영상 구간에 대한 썸네일을 생성할 수 있다. 썸네일은 해당 영상 구간에 대한 설명을 한눈에 확인할 수 있는 형태로 다양하게 디자인될 수 있다.
예를 들어, 네비게이션 인터페이스 제공부(250)는 각 영상 네비게이터에 관한 썸네일을 시간 축에 정렬하여 배치함으로써 사용자가 시간 순서에 따라 영상 구간을 검색하거나 또는 선택할 수 있는 형태로 구현할 수 있고, 영상 네비게이터에 포함된 시점 정보 및 요약 텍스트 정보만으로 생성된 썸네일을 순서대로 배치하여 시간 별로 요약 텍스트에 의해 설명된 장면에 대해 사용자가 검색하거나 또는 선택할 수 있는 형태로 구현할 수 있다.
일 실시예에서, 네비게이션 인터페이스 제공부(250)는 정렬되어 제공되는 영상 네비게이터 사이에 적어도 하나의 광고를 추가하여 함께 제공할 수 있다. 예를 들어, 네비게이션 인터페이스 제공부(250)는 네비게이션 인터페이스에 포함된 영상 네비게이터 사이에 광고에 관한 영상 네비게이터를 추가하여 함께 제공할 수 있다. 이 경우, 해당 광고는 양쪽에 위치한 영상 네비게이터와 연관된 내용을 포함할 수 있다. 네비게이션 인터페이스 제공부(250)는 영상 네비게이터에 포함된 요약 영상 또는 요약 텍스트를 기초로 관련 광고를 결정할 수 있고, 해당 광고에 관한 영상 네비게이터를 생성하여 영상 구간에 관한 영상 네비게이터 사이에 배치할 수 있다.
영상 재생 제어부(270)는 영상 네비게이터의 검색 또는 선택을 수신하여 사용자의 요청에 따라 영상 네비게이터의 시점부터 동영상의 재생을 제어할 수 있다. 영상 재생 제어부(270)는 영상 네비게이터의 선택을 수신한 경우 사용자가 선택한 영상 네비게이터에 대응하는 영상 구간을 동영상 재생 인터페이스(도면에 미도시함)를 통해 재생할 수 있다. 동영상 재생 인터페이스는 동영상 네비게이션 장치(130)에서 구현되어 사용자 단말(110)에 제공될 수 있고, 사용자 단말(110)에서 동영상 네비게이션 장치(130)와 독립적으로 구현될 수 있다.
영상 재생 제어부(270)는 영상 네비게이터의 선택의 경우 해당 영상 구간을 동영상 재생 인터페이스를 통해 재생할 수 있다. 영상 재생 제어부(270)는 영상 네비게이터의 검색의 경우 해당 영상 구간에 대한 요약 영상을 동영상 재생 인터페이스를 통해 재생하거나 네비게이션 인터페이스 또는 썸네일의 내부 특정 위치에서 재생할 수 있다.
일 실시예에서, 영상 재생 제어부(270)는 특정 영상 네비게이터의 선택이 시작된 시점으로부터 특정 시간이 경과할 때까지 해당 선택이 계속되는 경우 해당 선택을 특정 영상 네비게이터에 관한 검색으로서 수신할 수 있다. 보다 구체적으로, 영상 재생 제어부(270)는 사용자 단말(110)로부터 네비게이션 인터페이스를 통해 특정 영상 네비게이터의 선택을 수신할 수 있고, 사용자가 특정 영상 네비게이터를 선택한 이후 계속 선택을 유지하고 있는 경우에는 선택을 시작한 시점부터 특정 시간이 경과하였는지 검사하여 해당 선택을 검색으로서 수신할 수 있다.
예를 들어, 사용자가 사용자 단말(110)의 네비게이션 인터페이스를 통해 특정 영상 네비게이터를 선택한 이후 해당 선택을 3초 이상 유지하는 경우, 영상 재생 제어부(270)는 해당 영상 네비게이터에 대한 선택이 아닌 해당 영상 네비게이터에 대한 검색으로서 처리할 수 있다. 동영상 네비게이션 장치(130)는 선택 시점부터 선택을 유지하여 경과한 시간을 미리 설정할 수 있다.
일 실시예에서, 영상 재생 제어부(270)는 영상 네비게이터의 검색을 수신한 경우 영상 네비게이터의 요약 영상을 재생할 수 있다. 보다 구체적으로, 영상 재생 제어부(270)는 영상 네비게이터의 검색을 수신한 경우 해당 영상 네비게이터에 포함된 요약 영상을 재생할 수 있다. 요약 영상은 영상 네비게이터와 연관된 영상 구간의 내용을 요약한 영상으로 해당 영상 구간을 구성하는 복수의 영상 프레임 중 적어도 하나의 영상 프레임으로 구성될 수 있다.
일 실시예에서, 영상 재생 제어부(270)는 검색 또는 선택된 영상 네비게이터에 포함된 요약 영상 및 요약 텍스트 중 적어도 하나와 연관된 광고를 동영상의 재생 제어 과정에서 함께 제공할 수 있다. 예를 들어, 영상 재생 제어부(270)는 영상 네비게이터가 선택된 경우 해당 영상 네비게이터와 연관된 영상 구간을 동영상 재생 인터페이스를 통해 재생할 수 있고, 이와 연관된 광고를 영상 구간 재생 시작 전, 재생 중간 및 재생 종료 후 중 어느 하나의 시점에 함께 제공할 수 있다.
영상 재생 제어부(270)는 영상 네비게이터와 연관된 광고를 데이터베이스(150)에서 검색하여 결정할 수 있다. 영상 재생 제어부(270)는 연관 광고를 영상 네비게이터에 포함된 요약 영상 또는 요약 텍스트를 기초로 결정할 수 있다. 보다 구체적으로, 영상 재생 제어부(270)는 요약 영상을 구성하는 적어도 하나의 영상 프레임을 기초로 해당 영상 프레임과 유사한 광고를 결정할 수 있다. 영상 재생 제어부(270)는 요약 텍스트로부터 주요 키워드를 추출할 수 있고, 해당 키워드와 연관된 광고 중에서 인기있는 광고를 연관 광고로서 결정할 수 있다. 또한, 영상 재생 제어부(270)는, 반드시 이에 한정되지 않고, 요약 영상 및 요약 텍스트 중 적어도 하나를 기초로 다양한 방법을 통해 연관 광고를 결정할 수 있다.
제어부(290)는 동영상 네비게이션 장치(130)의 전체적인 동작을 제어하고, 영상 구간 색인부(210), 영상 스크립트 파일 생성부(230), 네비게이션 인터페이스 제공부(250) 및 영상 재생 제어부(270) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 3은 도 1에 있는 동영상 네비게이션 장치에서 수행되는 동영상 네비게이션 과정을 설명하는 흐름도이다.
도 3을 참조하면, 동영상 네비게이션 장치(130)는 영상 구간 색인부(210)를 통해 동영상을 구성하는 복수의 영상 프레임들 중 연속된 영상 프레임 간의 색상 분포도 또는 객체 유무의 변화를 기초로 동일한 장면으로 인식되는 구간의 영상 프레임을 그룹화하여 적어도 하나의 영상 구간으로 색인할 수 있다(단계 S310).
동영상 네비게이션 장치(130)는 영상 스크립트 파일 생성부(230)를 통해 적어도 하나의 영상 구간에 대한 시점 정보, 요약 영상 및 요약 텍스트를 포함하는 영상 네비게이터를 저장하는 영상 스크립트 파일을 생성할 수 있다(단계 S330).
동영상 네비게이션 장치(130)는 네비게이션 인터페이스 제공부(250)를 통해 영상 스크립트 파일을 기초로 영상 네비게이터를 검색하거나 또는 선택할 수 있는 인터페이스를 제공할 수 있다(단계 S350). 네비게이션 인터페이스는 영상 스크립트 파일에 저장된 영상 네비게이터를 다양한 형태로 배치하여 사용자가 동영상을 손쉽게 탐색할 수 있도록 할 수 있다.
일 실시예에서, 네비게이션 인터페이스 제공부(250)는 영상 스크립트 파일에 저장된 영상 네비게이터에 관한 썸네일을 생성하고 일정한 순서에 따라 정렬하여 제공할 수 있다. 다른 실시예에서, 네비게이션 인터페이스 제공부(250)는 정렬되어 제공되는 영상 네비게이터에 관한 썸네일 사이에 적어도 하나의 광고에 관한 썸네일을 추가하여 함께 제공할 수 있다. 사용자가 해당 광고 썸네일을 선택한 경우에는 해당 광고 영상이 동영상 재생 인터페이스를 통해 재생될 수 있고 시간 순서상 해당 광고 영상 다음에 위치한 영상 구간이 자동으로 재생될 수 있다.
네비게이션 인터페이스 제공부(250)는 정렬되어 제공되는 영상 네비게이터에 포함된 요약 영상 또는 요약 텍스트를 기초로 관련 광고를 결정할 수 있고, 영상 네비게이터 사이에 관련 광고를 추가하여 동영상 네비게이션 기능을 이용하는 사용자들에게 자동으로 광고가 노출되도록 할 수 있다.
일 실시예에서, 네비게이션 인터페이스 제공부(250)는 영상 네비게이터를 이용하여 각 영상 구간들을 네비게이션 할 수 있는 인터페이스를 제공할 수 있다. 예를 들어, 네비게이션 인터페이스 제공부(250)는 동영상의 각 영상 구간들에 관해 시간 축에 따라 해당 영상 구간에 대한 영상 네비게이터, 썸네일, 요약 영상 및 요약 텍스트 중 어느 하나를 배치함으로써 사용자가 동영상에 포함된 다양한 시점에서의 영상 구간에 관한 정보를 한눈에 확인하고 해당 영상 구간을 선택하여 해당 시점에서의 동영상 재생을 제어할 수 있도록 하는 네비게이션 맵 형태의 인터페이스를 제공할 수 있다.
동영상 네비게이션 장치(130)는 영상 재생 제어부(270)를 통해 영상 네비게이터의 검색 또는 선택을 수신하여 사용자의 요청에 따라 영상 네비게이터의 시점부터 동영상의 재생을 제어할 수 있다(단계 S370).
일 실시예에서, 영상 재생 제어부(270)는 영상 네비게이터의 검색을 수신한 경우 해당 영상 구간에 관한 요약 영상을 재생할 수 있다. 영상 재생 제어부(270)는 만약 해당 영상 구간에 관한 요약 영상이 하나의 영상 프레임으로 구성된 경우이거나 또는 요약 영상에 대한 정보가 없는 경우에는 해당 영상 구간에 대한 동영상을 일반 재생 속도보다 빠르게 재생할 수 있다. 예를 들어, 특정 영상 네비게이터의 검색을 수신하고 해당 영상 네비게이터에 관한 요약 영상이 존재하지 않는 경우 영상 재생 제어부(270)는 해당 영상 구간의 동영상을 동영상 재생 인터페이스를 통해 일반 재생 속도보다 2배 빠른 재생 속도로 재생할 수 있다.
일 실시예에서, 영상 재생 제어부(270)는 영상 네비게이터의 검색을 수신하고 해당 영상 구간에 관한 요약 영상이 없는 경우 동영상의 해당 영상 구간 부분을 다음 수학식을 통해 산출된 재생 속도에 따라 자동으로 재생할 수 있다.
[수학식]
S = B + k * T * (1 / R)
여기에서, S는 재생 속도를, B는 기본 재생 속도를, k는 비례 계수를, T는 해당 영상 구간의 재생 길이를, R은 동영상의 해상도를 의미한다. 기본 재생 속도 B는 동영상 네비게이션 장치(130)를 통해 미리 설정될 수 있고, 기본적으로 2의 재생속도 값을 가질 수 있다. 영상 구간의 재생 길이 T는 해당 영상 구간의 종료 시점과 시작 시점의 차를 통해 산출할 수 있고, 동영상의 해상도 R은, 예를 들어, 640 * 480인 경우 640 * 480 = 307200으로 계산할 수 있다.
영상 재생 제어부(270)는 재생하고자 하는 영상 구간의 재생 길이와 해당 동영상의 해상도를 기초로 산출된 값에 기본 재생 속도를 더해 최종적인 재생 속도를 산출할 수 있다. 기본 재생 속도는 해당 영상 구간에 대한 검색을 위한 재생인 점을 고려하여 기본적으로 2의 값을 가지도록 설정될 수 있다. 영상 재생 제어부(270)는 영상 구간의 재생 길이가 길수록, 동영상의 해상도가 작을수록 재생속도를 큰 값으로 산출함으로써 해당 영상 구간의 내용을 빠르게 재생할 수 있도록 할 수 있다.
일 실시예에서, 영상 재생 제어부(270)는 영상 네비게이터의 검색을 수신한 경우 해당 영상 구간을 구성하는 복수의 영상 프레임 중에서 특정 간격의 영상 프레임을 추출하여 재생할 수 있다. 예를 들어, 영상 재생 제어부(270)는 특정 영상 네비게이터의 검색을 수신하고 해당 영상 네비게이터에 대응되는 영상 구간이 100개의 영상 프레임으로 이루어진 경우 해당 영상 프레임 중에서 1, 11, 21, …, 91번 째 영상 프레임을 추출하여 차례대로 재생할 수 있다. 이 경우, 영상 재생 제어부(270)는 각 영상 프레임이 노출되는 시간을 자동으로 조절하여 재생할 수 있다. 사용자는 해당 영상 구간에 대해 일정 간격으로 재생되는 영상 프레임을 통해 해당 영상 구간에 대한 간략한 내용을 파악할 수 있다.
도 4는 본 발명의 일 실시예에 따른 동영상 네비게이션 장치를 설명하는 예시도이다.
도 4를 참조하면, 동영상 네비게이션 장치(130)는 영상 스크립트 파일 생성부(230)를 통해 생성한 영상 스크립트 파일을 기초로 영상 네비게이터 정보를 획득할 수 있다. 동영상 네비게이션 장치(130)는 네비게이션 인터페이스 제공부(250)를 통해 동영상 재생 인터페이스(410)와 함께 네비게이션 인터페이스(430)를 제공할 수 있다. 사용자는 네비게이션 인터페이스(430)를 통해 해당 동영상에 대한 영상 구간을 자유롭게 탐색할 수 있다.
네비게이션 인터페이스(430)는 동영상에 포함된 복수의 영상 구간 각각에 대응하는 복수의 영상 네비게이터(450)를 포함하여 구현될 수 있다. 영상 네비게이터 각각은 대응하는 영상 구간에 대한 시점 정보, 요약 영상(451) 및 요약 텍스트(453) 중 적어도 하나를 포함하여 구현될 수 있다. 일 실시예에서, 네비게이션 인터페이스 제공부(250)는 영상 네비게이터(450) 대신 영상 네비게이터(450)에 관한 썸네일로 구성된 네비게이션 인터페이스(430)를 제공할 수 있다.
사용자는 네비게이션 인터페이스(430)에 포함된 영상 네비게이터(450)를 선택하여 해당 영상 구간을 동영상 재생 인터페이스(410)를 통해 확인할 수 있다. 또한, 사용자는 영상 네비게이터(450)를 선택하고 일정 시간동안 해당 선택을 유지함으로써 해당 영상 네비게이터(450)에 대한 검색을 요청할 수 있다. 영상 재생 제어부(270)는 영상 네비게이터(450)에 대한 검색을 수신한 경우 동영상 재생 인터페이스(410)를 통해 해당 영상 구간에 대한 요약 영상을 재생하거나 해당 동영상을 일반 재생 속도보다 빠르게 재생하여 사용자가 해당 영상 구간에 대한 내용을 빠르게 확인할 수 있도록 할 수 있다.
도 5는 동영상 네비게이션 장치의 네비게이션 인터페이스 제공부에서 제공하는 네비게이션 인터페이스의 일 실시예를 설명하는 예시도이다.
도 5를 참조하면, 동영상 네비게이션 장치(130)의 네비게이션 인터페이스 제공부(250)는 네비게이션 인터페이스(510)를 다양한 형태로 구성하여 사용자에게 제공할 수 있다. 일 실시예에서, 네비게이션 인터페이스 제공부(250)는 영상 네비게이터(530)를 해당 영상 구간에 대한 시점 정보(551), 요약 텍스트(553) 및 싱크 정보(555)로 구성하여 시점 정보(551)를 기준으로 시간 순서에 따라 차례대로 정렬하여 배치된 네비게이션 인터페이스(510)를 사용자에게 제공할 수 있다.
사용자는 시간 순서로 정렬된 네비게이션 인터페이스(510)를 통해 원하는 영상 구간에 대한 탐색을 수행할 수 있다. 사용자가 특정 영상 네비게이터(530)를 선택하거나 검색하는 경우 영상 재생 제어부(270)는 해당 영상 구간에 대한 요약 영상이나 동영상의 해당 구간을 재생함으로써 사용자가 해당 영상 구간에 대한 내용을 빠르게 확인할 수 있도록 할 수 있다.
일 실시예에서, 동영상 네비게이션 장치(130)는 사용자가 특정 동영상에 대하여 원하는 영상 구간을 검색할 수 있도록 관련 키워드를 입력할 수 있는 검색 인터페이스를 함께 제공할 수 있다. 동영상 네비게이션 장치(130)는 사용자가 입력한 키워드를 기초로 영상 스크립트 파일에 포함된 요약 텍스트를 검색할 수 있고, 해당 키워드가 속한 영상 구간이 존재하는 경우 이에 대한 영상 네비게이터를 네비게이션 인터페이스를 통해 검색 결과로서 제공하여 사용자가 해당 영상 구간에 대해 접근할 수 있도록 할 수 있다.
도 6은 도 2에 있는 영상 구간 색인부에서 생성한 색상 등고선의 일 실시예를 설명하는 예시도이다.
도 6을 참조하면, 동영상 네비게이션 장치(130)는 영상 구간 색인부(210)를 통해 동영상을 구성하는 영상 프레임에 대해 특정 범위 구간에 속하는 색상을 가진 적어도 하나의 픽셀을 포함하는 색상 등고선을 결정할 수 있다. 도 6에서, 하나의 영상 프레임에 대해 각 색상 등고선의 대표 색상으로 채색한 색상 등고선으로 표현된 이미지를 확인할 수 있다. 영상 구간 색인부(210)는 사용자의 설정에 따라 색상 분포 영역을 넓힐 수 있고, 이 경우 더 넓은 범위의 색상 등고선을 생성할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 동영상 네비게이션 시스템 110: 사용자 단말
130: 동영상 네비게이션 장치 150: 데이터베이스
210: 영상 구간 색인부 230: 영상 스크립트 파일 생성부
250: 네비게이션 인터페이스 제공부
270: 영상 재생 제어부 290: 제어부
410: 동영상 재생 인터페이스 430: 네비게이션 인터페이스
450: 영상 네비게이터 451: 요약 영상
453: 요약 텍스트
510: 네비게이션 인터페이스 530: 영상 네비게이터
551: 시점 정보 553: 요약 텍스트
555: 싱크 정보

Claims (8)

  1. 동영상을 구성하는 복수의 영상 프레임들 중 연속된 영상 프레임 간의 색상 분포도 또는 객체 유무의 변화를 기초로 동일한 장면으로 인식되는 구간의 영상 프레임을 그룹화하여 적어도 하나의 영상 구간으로 색인하는 영상 구간 색인부(210);
    상기 적어도 하나의 영상 구간에 대한 시점 정보(551), 요약 영상(451) 및 요약 텍스트(453, 553)를 포함하는 영상 네비게이터(450, 530)를 저장하는 영상 스크립트 파일을 생성하는 영상 스크립트 파일 생성부(230); 및
    상기 영상 스크립트 파일을 기초로 상기 영상 네비게이터(450, 530)를 검색하거나 또는 선택할 수 있는 인터페이스(430, 510)를 제공하는 네비게이션 인터페이스 제공부(250)를 포함하되,
    상기 영상 구간 색인부(210)는 영상 프레임마다, 미리 설정된 파라미터를 기초로 각 픽셀별 색상 정보에 따라 분류되고 대표 색상으로 대체되는, 색상 등고선을 결정하고 상기 색상 등고선의 형태 및 위치 변화를 기초로 상기 동일한 장면을 인식하는 것을 특징으로 하는 장면 기반 동영상 네비게이션 장치.
  2. 삭제
  3. 제1항에 있어서, 상기 영상 구간 색인부는
    영상 프레임을 분석하여 적어도 하나의 객체를 인식하고 미리 정의된 유형으로 분류하여 유형별 객체 수의 변화를 기초로 상기 동일한 장면을 인식하는 것을 특징으로 하는 장면 기반 동영상 네비게이션 장치.
  4. 제1항에 있어서, 상기 영상 스크립트 파일 생성부는
    상기 적어도 하나의 영상 구간에 출현하는 인물 및 배경에 대한 대표 이미지를 추출하여 합성한 이미지를 상기 적어도 하나의 영상 구간에 대한 대표 영상 프레임으로서 포함하는 상기 영상 스크립트 파일을 생성하는 것을 특징으로 하는 장면 기반 동영상 네비게이션 장치.
  5. 제1항에 있어서, 상기 네비게이션 인터페이스 제공부는
    정렬된 상기 영상 네비게이터 사이에 적어도 하나의 광고를 추가하여 함께 제공하는 것을 특징으로 하는 장면 기반 동영상 네비게이션 장치.
  6. 제1항에 있어서,
    상기 영상 네비게이터의 검색 또는 선택을 수신하여 사용자의 요청에 따라 상기 영상 네비게이터의 시점부터 상기 동영상의 재생을 제어하는 영상 재생 제어부를 더 포함하는 것을 특징으로 하는 장면 기반 동영상 네비게이션 장치.
  7. 제6항에 있어서, 상기 영상 재생 제어부는
    특정 영상 네비게이터의 선택이 시작된 시점으로부터 특정 시간이 경과할 때까지 상기 선택이 계속되는 경우 상기 선택을 상기 특정 영상 네비게이터에 관한 검색으로서 수신하는 것을 특징으로 하는 장면 기반 동영상 네비게이션 장치.
  8. 제6항에 있어서, 상기 영상 재생 제어부는
    검색 또는 선택된 상기 영상 네비게이터에 포함된 상기 요약 영상 및 상기 요약 텍스트 중 적어도 하나와 연관된 광고를 상기 동영상의 재생 제어 과정에서 함께 제공하는 것을 특징으로 하는 장면 기반 동영상 네비게이션 장치.

KR1020180021705A 2018-02-23 2018-02-23 장면 기반 동영상 네비게이션 장치 Expired - Fee Related KR102027297B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180021705A KR102027297B1 (ko) 2018-02-23 2018-02-23 장면 기반 동영상 네비게이션 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180021705A KR102027297B1 (ko) 2018-02-23 2018-02-23 장면 기반 동영상 네비게이션 장치

Publications (2)

Publication Number Publication Date
KR20190102112A KR20190102112A (ko) 2019-09-03
KR102027297B1 true KR102027297B1 (ko) 2019-10-02

Family

ID=67951913

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180021705A Expired - Fee Related KR102027297B1 (ko) 2018-02-23 2018-02-23 장면 기반 동영상 네비게이션 장치

Country Status (1)

Country Link
KR (1) KR102027297B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005101906A (ja) * 2003-09-25 2005-04-14 Fuji Photo Film Co Ltd 動画記録装置、動画記録方法、及びプログラム
JP2013042412A (ja) 2011-08-18 2013-02-28 Fujitsu Ltd 動画像処理装置、動画像処理方法及び動画像処理用コンピュータプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4194272B2 (ja) * 2001-12-28 2008-12-10 キヤノン株式会社 動画像管理装置及び方法
KR100543398B1 (ko) 2004-01-19 2006-01-20 주식회사 한국스테노 속기 및 일반문자를 이용한 전자법정내의 동영상 검색장치 및 방법
KR101104883B1 (ko) 2008-09-19 2012-01-17 김현수 당구 동영상 검색 시스템 및 방법
KR20110012534A (ko) * 2009-07-30 2011-02-09 엘지전자 주식회사 영상 스케줄 생성하는 장치 및 방법
KR101498608B1 (ko) * 2012-03-12 2015-03-04 삼성테크윈 주식회사 영상데이터 검색장치
KR102015954B1 (ko) * 2014-03-21 2019-08-29 한화테크윈 주식회사 영상 처리 시스템 및 영상 처리 방법
KR101858651B1 (ko) * 2014-12-05 2018-05-16 한화테크윈 주식회사 스마트검색을 지원하는 영상저장장치 및 영상저장장치에서 스마트 검색 방법
KR102592904B1 (ko) * 2016-02-19 2023-10-23 삼성전자주식회사 영상 요약 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005101906A (ja) * 2003-09-25 2005-04-14 Fuji Photo Film Co Ltd 動画記録装置、動画記録方法、及びプログラム
JP2013042412A (ja) 2011-08-18 2013-02-28 Fujitsu Ltd 動画像処理装置、動画像処理方法及び動画像処理用コンピュータプログラム

Also Published As

Publication number Publication date
KR20190102112A (ko) 2019-09-03

Similar Documents

Publication Publication Date Title
KR101289085B1 (ko) 객체 기반 영상 검색시스템 및 검색방법
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
US10410679B2 (en) Producing video bits for space time video summary
US9167189B2 (en) Automated content detection, analysis, visual synthesis and repurposing
JP5358083B2 (ja) 人物画像検索装置及び画像検索装置
US8879788B2 (en) Video processing apparatus, method and system
US8107689B2 (en) Apparatus, method and computer program for processing information
CN113709561A (zh) 视频剪辑方法、装置、设备及存储介质
US20130259399A1 (en) Video recommendation system and method thereof
WO2012020668A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US8068678B2 (en) Electronic apparatus and image processing method
KR20070118635A (ko) 오디오 및/또는 비주얼 데이터의 서머라이제이션
JP2006155384A (ja) 映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体
EP1222634A4 (en) VIDEO SUMMARY DESCRIPTION SCHEME AND METHOD AND SYSTEM FOR GENERATING VIDEO SUMMARY DESCRIPTION DATA FOR EFFICIENT OVERVIEW AND EXPLORATION
KR20090093904A (ko) 장면 변화에 강인한 멀티미디어 영상 분석 장치 및 그 방법과, 그를 이용한 객체 기반 멀티미디어 편집 시스템
US8713008B2 (en) Apparatus and method for information processing, program, and recording medium
JP4536940B2 (ja) 画像処理装置、画像処理方法、記憶媒体、及びコンピュータプログラム
CN103984778B (zh) 一种视频检索方法及系统
CN114845149A (zh) 视频片段的剪辑方法、视频推荐方法、装置、设备及介质
CN113992973A (zh) 视频摘要生成方法、装置、电子设备和存储介质
KR101640317B1 (ko) 오디오 및 비디오 데이터를 포함하는 영상의 저장 및 검색 장치와 저장 및 검색 방법
JP2001306579A (ja) 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2014103374A1 (ja) 情報管理装置、サーバ及び制御方法
KR102027297B1 (ko) 장면 기반 동영상 네비게이션 장치
US7921010B2 (en) Information processing apparatus, recording medium, and data signal

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180223

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190128

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190628

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190925

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190926

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20230706