[go: up one dir, main page]

KR102072022B1 - 관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 - Google Patents

관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 Download PDF

Info

Publication number
KR102072022B1
KR102072022B1 KR1020130104636A KR20130104636A KR102072022B1 KR 102072022 B1 KR102072022 B1 KR 102072022B1 KR 1020130104636 A KR1020130104636 A KR 1020130104636A KR 20130104636 A KR20130104636 A KR 20130104636A KR 102072022 B1 KR102072022 B1 KR 102072022B1
Authority
KR
South Korea
Prior art keywords
image
roi
time
interest
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130104636A
Other languages
English (en)
Other versions
KR20150026178A (ko
Inventor
강대희
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020130104636A priority Critical patent/KR102072022B1/ko
Publication of KR20150026178A publication Critical patent/KR20150026178A/ko
Application granted granted Critical
Publication of KR102072022B1 publication Critical patent/KR102072022B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 실시예는 관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체를 개시한다. 더욱 상세하게는 영상요약 장치가 촬영된 영상을 획득하고, 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성한다. 이후, 영상요약 장치가 판단결과에 근거하여 관심 영역에 객체가 검출되는 경우, 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대에 함께 위치하도록 이동시키는 영상 요약을 수행함으로써 관심영역 기반의 영상 요약을 지원하는 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

Description

관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체{Apparatus for Providing Video Synopsis Computer-Readable Recording Medium with Program therefore}
본 실시예는 관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아님을 밝혀둔다.
최근 들어, 전자, 통신 기술이 급속히 발전하고, 카메라 기술의 발전과 스마트폰의 보급으로 인해 수집되는 영상 데이터의 양이 급격히 증가하고 있으며 이미지, 동영상 및 음성 데이터와 같이 멀티미디어 데이터로 생성되는 정보의 양 또한 폭발적으로 증가하고 있다.
이러한, 영상 데이터의 증가에 따라 수집된 영상을 저장하고, 필요한 영상 데이터를 효과적으로 검색, 재생하는 기술들이 도입되고 있는 추세이다. 한편, 이러한 기술 중 영상요약 기술은 동일한 공간에 다른 시간대에 등장한 인물들을 동일한 시간대에 같이 재생될 수 있도록 하여 장시간에 걸쳐 녹화된 영상을 짧은 시간에 요약해서 볼 수 있는 기술이다.
다만, 이러한 영상요약 기술의 복잡도 및 소요 시간을 해소하고자 수집된 영상 내 사용자가 관심 있는 영역에 대해서만 선택적으로 영상요약을 하도록 하는 기술을 필요로 한다.
본 실시예는 영상요약 장치가 촬영된 영상을 획득하고, 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성한다. 이후, 영상요약 장치가 판단결과에 근거하여 관심 영역에 객체가 검출되는 경우, 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대에 함께 위치하도록 이동시키는 영상 요약을 수행함으로써 영상요약 기술의 복잡도 및 소요 시간을 해소하고자 하는 데 주된 목적이 있다.
또한, 본 실시예의 다른 측면에 의하면 영상요약 장치가 촬영된 영상을 획득하고, 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성한다. 이후, 영상요약 장치가 판단결과에 근거하여 관심 영역 내 객체의 체류 시간정보를 추출하여 데이터베이스화하고, 데이터베이스화된 체류 시간정보를 이용하여 영상 요약을 수행함으로써 영상요약 기술의 복잡도 및 소요 시간을 해소하고자 하는 데 주된 목적이 있다.
본 실시예는, 촬영된 영상을 획득하는 영상 획득부; 상기 영상 내 기 설정된 관심 영역(ROI: Region Of Interest)에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성하는 영상 분석부; 및 상기 판단결과에 근거하여 상기 영상 중 상기 관심 영역에 상기 객체가 존재하는 객체 체류 영상을 추출하고, 상기 객체 체류 영상을 이용하여 상기 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대에 함께 위치하도록 이동(Shift)시키는 영상 요약을 수행하여 요약 영상을 생성하는 영상 요약부를 포함하는 것을 특징으로 하는 영상요약 장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 촬영된 영상을 획득하는 영상 획득부; 상기 영상 및 상기 영상과 관련된 관련정보를 저장하는 영상 저장부; 상기 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성하고, 상기 판단결과에 근거하여 상기 관심 영역에 상기 객체가 진입한 시간, 상기 객체가 이탈한 시간 및 상기 객체의 체류 기간(Timeline)을 포함한 체류 시간정보를 추출하는 영상 분석부; 상기 체류 시간정보가 상기 영상 저장부에 데이터베이스화되도록 제어하는 제어부; 및 영상 요약에 대한 수행 명령을 수신하는 경우, 상기 영상 저장부에 데이터베이스화된 상기 체류 시간정보에 근거하여 상기 영상 중 상기 체류 기간에 대응되는 객체 체류 영상을 추출하고, 상기 객체 체류 영상을 이용하여 영상 요약을 수행한 요약 영상을 생성하는 영상 요약부를 포함하는 것을 특징으로 하는 영상요약 장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 데이터 처리 기기에, 촬영된 영상을 획득하는 영상 획득 과정; 상기 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성하는 판단결과 생성 과정; 상기 판단결과에 근거하여 상기 영상 중 상기 관심 영역에 상기 객체가 존재하는 객체 체류 영상을 추출하는 추출 과정; 및 상기 객체 체류 영상을 이용하여 상기 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대에 함께 위치하도록 이동시키는 영상 요약을 수행하여 요약 영상을 생성하는 영상 요약 과정을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 데이터 처리 기기에, 촬영된 영상을 획득하는 영상 획득 과정; 상기 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성하는 판단결과 생성 과정; 상기 판단결과에 근거하여 상기 관심 영역에 상기 객체가 진입한 시간, 상기 객체가 이탈한 시간 및 상기 객체의 체류 기간을 포함한 체류 시간정보를 추출하는 추출 과정; 상기 체류 시간정보가 데이터베이스화되도록 제어하는 제어 과정; 영상 요약에 대한 수행 명령을 수신하는 경우, 상기 체류 시간정보에 근거하여 상기 영상 중 상기 체류 기간에 대응되는 객체 체류 영상을 추출하는 영상 추출 과정; 및 상기 객체 체류 영상을 이용하여 상기 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대에 함께 위치하도록 이동시키는 영상 요약을 수행하여 요약 영상을 생성하는 영상 요약 과정을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 실시예는 영상요약 장치가 촬영된 영상을 획득하고, 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성한다. 이후, 영상요약 장치가 판단결과에 근거하여 관심 영역에 객체가 검출되는 경우, 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대에 함께 위치하도록 이동시키는 영상 요약을 수행함으로써 영상요약 기술의 복잡도 및 소요 시간을 해소할 수 있는 효과가 있다.
또한, 본 실시예의 다른 측면에 의하면 영상요약 장치가 촬영된 영상을 획득하고, 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성한다. 이후, 영상요약 장치가 판단결과에 근거하여 관심 영역 내 객체의 체류 시간정보를 추출하여 데이터베이스화하고, 데이터베이스화된 체류 시간정보를 이용하여 영상 요약을 수행함으로써 영상요약 기술의 복잡도 및 소요 시간을 해소하고자 하는 데 주된 목적이 있다.
도 1은 본 발명의 제1 실시예에 따른 영상요약 장치를 개략적으로 나타낸 블록 구성도이다.
도 2는 본 발명의 제2 실시예에 따른 영상요약 장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 발명의 제1 실시예에 따른 영상요약 장치가 영상 요약을 수행하는 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 제2 실시예에 따른 영상요약 장치가 데이터베이스화된 체류 시간정보를 이용하여 영상 요약을 수행하는 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 제2 실시예에 따른 영상요약 장치가 관심 영역별 중요도 정보에 근거하여 영상 요약을 수행하는 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 실시예에 따른 영상요약 장치가 영상 요약을 수행하여 생성한 요약 영상을 나타낸 예시도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 제1 실시예에 따른 영상요약 장치(100)를 개략적으로 나타낸 블록 구성도이다.
도 1에서 도시하듯이, 본 발명의 제1 실시예에 따른 영상요약 장치(100)는 영상 획득부(110), 영상 저장부(120), 관심 영역 설정부(130), 중요도 설정부(140), 영상 분석부(150), 영상 요약부(160) 및 영상 재생부(170)를 포함한다. 본 발명의 제1 실시예에 따른 영상요약 장치(100)에서는 영상요약 장치(100)가 영상 획득부(110), 영상 저장부(120), 관심 영역 설정부(130), 중요도 설정부(140), 영상 분석부(150), 영상 요약부(160) 및 영상 재생부(170)만을 포함하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다.
영상 획득부(110)는 영상요약 장치(100)와 연동된 영상 촬영장치(미도시)로부터 영상 촬영장치가 촬영한 영상을 획득한다. 즉, 영상 획득부(110)는 특정 지점에 설치되어 있는 영상 촬영장치로부터 기 설정된 영역이 촬영된 영상을 획득한다. 여기서, 촬영된 영상은 하나의 프레임인 것이나 복수 개의 프레임을 포함한 영상으로 구성될 수도 있다. 한편, 영상 획득부(110)는 영상 촬영장치로부터 촬영된 영상을 실시간으로 수신할 수도 있으나 기 설정된 주기별로 영상 촬영장치에서 기 촬영되어 저장되어 있는 영상을 획득할 수도 있다. 또한, 본 실시예에서는 영상 획득부(110)가 영상 촬영장치로부터 촬영된 영상을 획득한다고 명시하였지만 반드시 이에 한정되지는 않고, 영상요약 장치(100)가 영상을 촬영하기 위한 모듈을 구비하고, 해당 모듈을 이용하여 촬영된 영상을 직접 획득할 수도 있다.
영상 저장부(120)는 영상 획득부(110)가 획득한 영상을 저장하고, 영상 요약을 수행하는 과정에 있어서 저장된 영상을 제공한다. 즉, 영상 저장부(120)는 촬영된 영상을 저장하고, 관심 영역 설정부(130), 영상 분석부(150) 및 영상 요약부(160) 등의 장치에서 촬영된 영상을 요청하는 경우, 저장된 영상을 제공한다. 한편, 영상 저장부(120)는 획득한 영상을 영상 촬영장치별, 주기별, 시간대별 등의 기준에 따라 분류하여 저장할 수 있으며, 영상 요약을 수행하는 과정에 있어서 추가되는 영상 관련정보를 기 저장된 영상에 매칭시켜 저장할 수도 있다. 한편, 영상 저장부(120)가 수신하는 영상에는 해당 영상이 촬영된 촬영 시간정보가 추가로 포함될 수 있다.
관심 영역 설정부(130)는 영상 내 특정 영역을 선택한 선택신호를 수신하고, 수신한 선택신호에 근거하여 특정 영역을 관심 영역으로 설정한다. 즉, 관심 영역 설정부(130)는 사용자 인터페이스부(미도시)를 이용하여 사용자로부터 영상 내 특정 영역을 선택한 선택신호를 수신하고, 특정 영역을 관심 영역으로 설정한다. 이후, 관심 영역 설정부(130)는 관심 영역에 대한 설정값을 데이터베이스화하여 저장 및 관리한다.
또한, 관심 영역 설정부(130)는 특정 영상 내 관심 영역이 설정되는 경우, 특정 영상과 대응되는 다른 영상 예컨대, 특정 영상이 촬영된 영상 촬영장치로부터 수신된 다른 영상에서도 동일한 영역이 관심 영역으로 설정되도록 제어한다. 한편, 관심 영역 설정부(130)는 관심 영역에 대한 설정값을 영상 저장부(120)에 제공함으로써 영상 저장부(120)가 관심 영역이 설정된 영상을 제공하도록 동작시킬 수 있으며, 관심 영역 설정부(130)가 영상 저장부(120)로부터 수신된 영상을 기반으로 직접 관심 영역이 설정된 영상을 생성하여 영상 분석부(150)에 제공할 수도 있다.
중요도 설정부(140)는 관심 영역 설정부(130)를 이용하여 영상 내 복수의 관심 영역이 설정되는 경우, 복수의 관심 영역에 대한 중요도를 설정한다. 즉, 중요도 설정부(140)는 복수의 관심 영역이 설정되는 경우, 사용자로부터 복수의 관심 영역에 대한 중요도를 선택한 선택신호를 수신하고, 수신된 선택신호를 기반으로 복수의 관심 영역에 대한 중요도를 설정한다. 이후, 중요도 설정부(140)는 복수의 관심 영역에 대한 중요도 설정값을 영상 저장부(120)에 제공하고, 영상 저장부(120)가 관심영역 기반의 영상요약을 수행하는 과정에 있어서 해당 정보를 제공한다.
영상 분석부(150)는 영상 내 기 설정된 관심 영역(ROI: Region Of Interest)에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성한다. 즉, 영상 분석부(150)는 영상 요약 작업을 수행하도록 하는 요청 신호를 수신하는 경우, 영상 저장부(120)로부터 관심 영역이 설정된 영상을 수신한다. 이후, 영상 분석부(150)는 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한다. 한편, 본 실시예에서는 영상 분석부(150)가 영상 요약 작업을 수행하도록 하는 요청 신호를 수신하는 경우, 판단 결과를 생성하는 과정을 수행한다고 명시하였지만 반드시 이에 한정되지는 않고, 기 설정된 주기에 경과된 직후 판단 결과를 생성하는 과정을 반복적으로 수행할 수도 있다.
한편, 영상 분석부(150)는 영상 저장부(120)로부터 관심 영역이 설정된 영상을 수신하는 경우, 우선적으로 관심 영역 내 존재하는 객체를 검색한다. 즉, 영상 분석부(150)는 수신한 영상을 구성하는 연속된 영상 프레임 내 관심 영역으로부터 각각 객체의 형상을 추출한다. 이때, 영상 분석부(150)가 객체의 형상을 추출하는 방법은 특정 방법에 한정되지는 않고 다양한 알고리즘 기법이 사용될 수 있다. 예컨대, 영상 분석부(150)는 관심 영역 내의 화소에 대한 화소값을 확인하여 지정된 움직임이 없는 배경에 대한 배경 화소를 제거하고, 이를 통해 객체의 형상을 추출할 수 있다. 또한, 영상 분석부(150)는 영상 분석부(150)에 기 설정되어 있는 영상별 고유 배경화면 정보를 기반으로 수신된 영상과 고유 배경화면 정보를 비교하고, 비교결과에 근거하여 영상 내 존재하는 객체의 형상을 추출할 수도 있다. 한편, 영상 분석부(150)는 객체를 추출하는 과정에 있어서 해당 객체가 위치한 영상 내 좌표값 정보를 추가로 추출할 수 있다.
영상 분석부(150)는 관심 영역 내 존재하는 객체의 형상을 추출하고, 추출된 정보에 근거하여 관심 영역 내 객체의 진입 및 이탈 여부를 판단한다. 즉, 영상 분석부(150)는 연속된 영상 프레임별로 관심 영역 내 객체의 검출 여부를 확인하고, 관심 영역에 관심 영역에 객체가 검출되는 경우, 객체가 관심 영역에 진입한 것으로 판단한다. 또한, 영상 분석부(150)는 관심 영역에 객체가 미검출되는 경우, 객체가 관심 영역을 이탈한 것으로 판단한다. 이를 통해, 영상 분석부(150)는 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성한다.
한편, 영상 분석부(150)는 객체의 형상을 추출하는 과정을 통해 객체가 관심 영역에 진입하였다고 판단되는 경우 해당 객체가 관심 영역에 진입한 진입 시간, 관심 영역을 이탈한 이탈 시간 및 객체가 관심 영역에 진입한 시점으로부터 관심 영역을 이탈한 시점까지의 객체의 움직임을 추가로 판단한다. 즉, 영상 분석부(150)는 촬영된 영상에 포함되어 있는 시간 정보를 이용하여 관심 영역 내 객체의 진입 및 이탈 시간을 판단하고, 관심 영역 내 객체를 추출하는 과정에서 추가로 추출된 좌표값 정보를 이용하여 객체의 움직임을 추가로 판단한다. 한편, 영상 분석부(150)가 관심 영역 내 객체의 움직임을 추적하는 방법을 특정 방법에 한정되지는 않는다. 이후, 영상 분석부(150)는 추가로 판단된 정보를 판단결과에 포함시켜 영상 요약부(160)로 전송한다.
영상 요약부(160)는 영상 분석부(150)로부터 수신한 판단결과에 근거하여 영상 획득부(110)가 획득한 영상 중 관심 영역에 객체가 존재하는 객체 체류 영상을 추출한다. 즉, 영상 요약부(160)는 영상 분석부(150)로부터 수신한 판단결과에 근거하여 연속된 영상 프레임 중 관심 영역에 객체가 존재하는 영상 프레임을 추출한다. 예컨대, 영상 요약부(160)는 영상 분석부(150)로부터 수신한 판단결과에 근거하여 특정 영상 내 관심 영역에 객체가 진입 상태인 것으로 판단되는 경우, 해당 영상을 객체 체류 영상으로 추출한다. 이때, 객체 체류 영상에는 영상 분석부(150)로부터 생성된 판별결과에 근거하여 추가로 추출된 해당 객체 체류 영상이 촬영된 시간 정보가 포함되어 있다.
영상 요약부(160)는 객체 체류 영상을 이용하여 영상 요약을 수행하고, 이를 통해 요약 영상을 생성한다. 한편, 영상 요약(Video Synopsis)는 동일한 공간에 다른 시간대에 등장한 인물들을 동일한 시간대에 같이 재생될 수 있도록 이동(Shift)시키고, 해당 인물들이 진입한 시간을 표시해서 장시간에 걸쳐 녹화된 영상을 짧은 시간에 요약해서 보여주는 방법이다. 즉, 영상 요약부(160)는 객체 체류 영상을 이용하여 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대에 함께 위치하도록 이동시키는 영상 요약을 수행하여 요약 영상을 생성한다.
한편, 영상 요약부(160)는 영상 분석부(150)로부터 수신한 판단결과에 근거하여 영상 획득부(110)가 획득한 영상 내 관심 영역에 객체가 검출되는 경우, 객체가 관심 영역에 진입한 것으로 판별하여 영상 요약을 수행하고, 관심 영역에 객체가 미검출되는 경우, 객체가 관심 영역을 이탈한 것으로 판별하여 영상 요약을 중지한다.
이하, 영상 요약부(160)가 객체 체류 영상을 이용하여 영상 요약을 수행하는 동작에 대해 예시적으로 설명하도록 한다. 영상 요약부(160)는 객체 체류 영상 내 관심 영역에 존재하는 객체를 추출하고, 객체를 추출하는 과정에 있어서 해당 객체가 위치하는 영상 내 좌표값 정보 및 해당 객체가 관심 영역 내 존재한 시간 즉, 해당 객체를 포함한 객체 체류 영상이 촬영된 시간 정보를 추가로 추출한다. 이후, 영상 요약부(160)는 추출된 객체를 객체의 종류별, 촬영된 시간 정보별로 구분한 메타 데이터를 생성한다.
또한, 영상 요약부(160)는 영상 요약부(160)에 기 설정되어 있는 영상 촬영장치별 기본 영상 즉, 객체를 제외한 영상 내 지속적으로 위치하는 배경정보만을 포함하고 있는 영상 중 객체 체류 영상과 대응되는 기본 영상을 추출하고, 기본 영상에 추출된 객체를 이동시키는 영상 요약을 수행한다. 예컨대, 영상 요약부(160)는 메타 데이터에 근거하여 관심 영역에 객체가 최초 진입한 영상들로부터 추출된 객체들이 기본 영상의 좌표값 중 객체가 위치했던 좌표값과 매칭되는 지점에 위치되도록 객체를 이동시킨다. 마찬가지로, 영상 요약부(160)는 메타 데이터에 포함된 시간 정보에 근거하여 관심 영역에 객체가 최초 진입한 영상의 다음 영상들로부터 추출된 객체들을 각각 경과 시간별로 별도의 기본 영상으로 이동시키는 과정을 반복적으로 수행한다. 이후, 영상 요약부(160)는 영상 요약 과정을 통해 생성된 복수의 기본 영상이 하나로 연결되어 재생되도록 제어하고, 이를 통해 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대, 동일한 공간에 함께 위치되어 재생되는 요약 영상을 생성한다. 한편, 영상 요약부(160)가 영상 요약을 수행하여 요약 영상을 생성하는 방법에 있어서 특정 방법에 한정하지 않고 다양한 방법이 사용될 수 있다.
또한, 영상 요약부(160)는 요약 영상에 위치되는 각각의 객체들에 대한 진입 시간, 이탈 시간 및 잔류 시간 중 적어도 하나의 시간을 추가로 디스플레이하도록 제어한다. 즉, 영상 요약부(160)는 영상 분석부(150)로부터 수신한 판단결과에 근거하여 요약 영상이 재생되는 경우, 요약 영상에 위치되는 각각의 객체들에 대한 진입 시간 또는 이탈 시간만이 지속적으로 디스플레이되도록 제어할 수 있으며 시간의 경과에 따라 객체의 잔류 시간이 변동되어 디스플레이되도록 제어할 수도 있다.
또한, 영상 요약부(160)는 요약 영상이 재생되는 경우, 기 설정된 관심 영역의 주변을 둘러싸는 외곽선이 추가로 디스플레이되도록 제어하여 영상 내 관심 영역이 강조되어 재생되도록 제어한다. 이때, 영상 요약부(160)는 복수의 관심 영역이 설정되며 복수의 관심 영역에 대한 중요도가 설정되어 있는 경우, 관심 영역의 중요도에 따라 관심 영역을 둘러싸는 외곽선의 굵기 및 색깔을 변형시키는 방법을 이용하여 중요도별 관심 영역이 영상 내에서 명확하게 구분되도록 제어할 수도 있다.
한편, 영상 요약부(160)는 특정 중요도를 가지는 관심 영역에 대한 선택 정보를 수신하는 경우, 선택 정보에 대응되는 관심 영역을 대상으로만 영상 요약을 수행할 수도 있다. 즉, 영상 요약부(160)는 복수의 관심 영역이 설정되며 복수의 관심 영역에 대한 중요도가 설정되어 있는 경우, 사용자로부터 특정 중요도를 가지는 관심 영역에 대한 선택 정보를 수신하고, 이를 기반으로 해당 관심 영역에 대응되는 객체 체류 영상을 이용하여 영상 요약을 수행할 수 있다.
한편, 본 실시예에 따른 영상 요약부(160)는 기 설정된 주기로 요약 영상을 생성하는 것이 바람직하나 반드시 이에 한정되지는 않는다. 예컨대, 영상 요약부(160)는 사용자로부터 요약 영상을 생성하도록 하는 요청 신호를 수신하는 경우 영상 요약을 수행할 수도 있다.
영상 재생부(170)는 영상 요약부(160)와 연동되어 요약 영상을 재생한다. 즉, 영상 재생부(170)는 영상 요약부(160)로부터 요약 영상을 수신하고, 기 설정된 규격에 따라 요약 영상을 재생시킨다.
도 2는 본 발명의 제2 실시예에 따른 영상요약 장치(200)를 개략적으로 나타낸 블록 구성도이다.
도 2에서 도시하듯이, 본 발명의 제2 실시예에 따른 영상요약 장치(200)는 영상 획득부(110), 영상 저장부(120), 관심 영역 설정부(130), 중요도 설정부(140), 영상 분석부(150), 영상 요약부(160), 영상 재생부(170) 및 제어부(210)를 포함한다. 발명의 제2 실시예에 따른 영상요약 장치(200)에 포함된 구성 요소는 반드시 이에 한정되는 것은 아니다. 한편, 본 발명의 제2 실시예에 따른 영상요약 장치(200)는 제어부(210)를 제외하고 도 1에 도시된 제1 실시예에 따른 영상요약 장치와 동일한 구성 요소를 포함하고 있으며 다만, 각각의 구성 요소가 수행하는 기능 및 영상 요약을 수행하는 방식에 있어서 차이점이 존재한다. 이에, 도 2에서는 해당 차이점에 대해서 중점적으로 서술하도록 한다.
영상 획득부(110), 영상 저장부(120), 관심 영역 설정부(130) 및 중요도 설정부(140)는 도 1에 명시된 영상 획득부(110), 영상 저장부(120), 관심 영역 설정부(130) 및 중요도 설정부(140)와 동일한 기능을 수행하며, 이에 해당 장치들에 대한 자세한 설명은 생략하도록 한다. 다만, 본 실시예에 따른 영상 저장부(120)는 영상 분석부(150)로부터 추출된 영상 내 관심 영역에 객체가 진입한 시간, 객체가 이탈한 시간 및 객체의 체류 기간(Timeline)을 포함한 체류 시간정보가 관심 영역별로 데이터베이스화되어 저장되어 있다. 즉, 영상 저장부(120)는 체류 시간정보를 기반으로 기 저장되어 있는 영상 중 체류 시간정보에 대응되는 영상을 체류 시간정보와 매칭시켜 저장한다. 이후, 영상 저장부(120)는 사용자로부터 영상 요약에 대한 수행 명령을 수신하는 경우 데이터베이스화된 체류 시간정보를 영상 요약부(160)에 제공하고, 이를 통해 영상 요약부(160)가 체류 시간정보에 근거하여 영상 요약을 수행하도록 동작시킨다.
영상 분석부(150)는 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성한다. 즉, 영상 분석부(150)는 영상 요약 작업을 수행하도록 하는 요청 신호를 수신하는 경우, 영상 저장부(120)로부터 관심 영역이 설정된 영상을 수신한다. 이후, 영상 분석부(150)는 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한다.
한편, 영상 분석부(150)는 영상 저장부(120)로부터 관심 영역이 설정된 영상을 수신하는 경우, 우선적으로 관심 영역 내 존재하는 객체를 검색한다. 즉, 영상 분석부(150)는 수신한 영상을 구성하는 연속된 영상 프레임 내 관심 영역으로부터 각각 객체의 형상을 추출한다. 이때, 영상 분석부(150)가 객체의 형상을 추출하는 방법은 도 1에 도시된 영상 분석부(150)가 객체의 형상을 추출하는 방법과 동일하며 이에 자세한 설명은 생략하도록 한다.
영상 분석부(150)는 관심 영역 내 존재하는 객체의 형상을 추출하고, 추출된 정보에 근거하여 관심 영역 내 객체의 진입 및 이탈 여부를 판단한다. 즉, 영상 분석부(150)는 연속된 영상 프레임별로 관심 영역 내 객체의 검출 여부를 확인하고, 관심 영역에 관심 영역에 객체가 검출되는 경우, 객체가 관심 영역에 진입한 것으로 판단한다. 또한, 영상 분석부(150)는 관심 영역에 객체가 미검출되는 경우, 객체가 관심 영역을 이탈한 것으로 판단한다. 이를 통해, 영상 분석부(150)는 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성한다.
한편, 본 실시예에 따른 영상 분석부(150)는 판단결과에 근거하여 영상 내 관심 영역에 객체가 진입하였다고 판단되는 경우 관심 영역에 객체가 진입한 시간, 이탈 시간 및 관심 영역 내 객체가 체류한 체류 기간을 포함한 체류 시간정보를 추출한다. 즉, 영상 분석부(150)는 촬영된 영상에 포함되어 있는 시간 정보를 이용하여 관심 영역 내 객체의 진입, 이탈 시간 및 체류 기간을 추출하고, 이를 기반으로 해당 체류 기간에 대응되는 영상을 추가로 분석한다.
제어부(210)는 영상 분석부(150)로부터 체류 시간정보가 추출되는 경우, 추출된 체류 시간정보가 영상 저장부(120)에 데이터베이스화되도록 제어한다. 즉, 제어부(210)는 영상 저장부(120)로 체류 시간정보를 송신하도록 제어하고, 이를 통해 영상 저장부(120)가 체류 시간정보를 기반으로 영상 저장부(120)에 기 저장되어 있는 영상 중 체류 시간정보에 대응되는 영상을 체류 시간정보와 매칭시켜 데이터베이스화하도록 제어한다.
영상 요약부(160)는 영상 요약에 대한 수행 명령을 수신하는 경우, 영상 저장부(120)에 데이터베이스화된 체류 시간 정보에 근거하여 기 저장되어 있는 영상 중 체류 기간에 대응되는 객체 체류 영상을 추출한다. 한편, 영상 요약부(160)가 수신하는 수행 명령은 특정 시간대에 관심 영역 내 위치하는 객체에 대한 영상 요약 수행 명령이거나 복수의 관심 영역 및 각각의 관심 영역에 대한 중요도가 설정되어 있는 경우 특정 관심 영역에 대한 영상 요약 수행 명령일 수도 있다.
영상 요약부(160)는 객체 체류 영상을 이용하여 영상 요약을 수행하고, 이를 통해 요약 영상을 생성한다. 즉, 영상 요약부(160)는 객체 체류 영상을 이용하여 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대에 함께 위치하도록 이동시키는 영상 요약을 수행하여 요약 영상을 생성한다.
한편, 영상 요약부(160)는 영상 저장부(120)에 데이터베이스화된 체류 시간 정보에 근거하여 영상 획득부(110)가 획득한 영상 내 관심 영역에 객체가 검출되는 경우, 객체가 관심 영역에 진입한 것으로 판별하여 영상 요약을 수행하고, 관심 영역에 객체가 미검출되는 경우, 객체가 관심 영역을 이탈한 것으로 판별하여 영상 요약을 중지한다.
한편, 본 실시예에 따른 영상 요약부(160)가 객체 체류 영상을 이용하여 영상 요약을 수행하는 동작은 도 1에 명시된 영상 요약부(160)가 영상 요약을 수행하는 동작과 동일하며 이에 자세한 설명은 생략하도록 한다.
한편, 영상 요약부(160)는 복수의 관심 영역이 설정되며 복수의 관심 영역에 대한 중요도가 설정되어 있는 경우, 사용자로부터 특정 중요도를 가지는 관심 영역에 대한 선택 정보를 수신하고, 이를 기반으로 해당 관심 영역에 대응되는 객체 체류 영상을 이용하여 영상 요약을 수행할 수 있다. 즉, 영상 요약부(160)는 사용자로부터 특정 중요도를 가지는 관심 영역에 대한 선택 정보를 수신하는 경우, 해당 중요도에 대응되는 관심 영역 내 체류 시간정보를 이용하여 영상 요약 과정을 수행할 수 있다.
영상 재생부(170)는 영상 요약부(160)와 연동되어 요약 영상을 재생한다. 즉, 영상 재생부(170)는 영상 요약부(160)로부터 요약 영상을 수신하고, 기 설정된 규격에 따라 요약 영상을 재생시킨다.
도 3은 본 발명의 제1 실시예에 따른 영상요약 장치(100)가 영상 요약을 수행하는 방법을 설명하기 위한 순서도이다.
도 3에서 도시하듯이, 본 발명의 제1 실시예에 따른 영상요약 장치(100)가 영상 요약을 수행하는 방법은 먼저 영상요약 장치(100)가 촬영된 영상을 획득하는 과정으로부터 시작된다(S300). 즉, 영상요약 장치(100)와 연동된 영상 촬영장치로부터 영상 촬영장치가 촬영한 영상을 획득한다. 여기서, 촬영된 영상은 하나의 프레임인 것이나 복수 개의 프레임을 포함한 영상으로 구성될 수도 있다.
영상요약 장치(100)는 영상 요약 작업 명령을 수신하는 경우(S302), 영상 내 기 설정된 관심 영역에 객체의 진입 여부를 판단한다(S304). 즉, 영상요약 장치(100)는 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성하도록 하는 영상 요약 작업 명령을 수신하는 경우, 영상 촬영장치로부터 획득한 영상 내 관심 영역에 객체의 진입 여부를 판단한다. 한편, 영상요약 장치(100)는 수신한 영상을 구성하는 연속된 영상 프레임 내 관심 영역으로부터 각각 객체의 형상을 추출하고, 추출된 정보에 근거하여 관심 영역 내 객체의 진입 여부를 판단한다. 예컨대, 영상요약 장치(100)는 연속된 영상 프레임별로 관심 영역 내 객체의 검출 여부를 확인하고, 관심 영역에 객체가 검출되는 경우, 객체가 관심 영역에 진입한 것으로 판단한다.
영상요약 장치(100)는 영상 내 기 설정된 관심 영역에 객체가 진입하였다고 판단되는 경우, 관심 영역 내 객체의 움직임을 추적한다(S306). 즉, 영상요약 장치(100)는 단계 S304를 통해 객체가 관심 영역에 진입하였다고 판단되는 경우 촬영된 영상에 포함되어 있는 시간 정보를 이용하여 해당 객체가 관심 영역에 진입한 진입 시간, 관심 영역을 이탈한 이탈 시간을 판단한다. 또한, 영상요약 장치(100)는 관심 영역 내 객체를 추출하는 과정에서 추가로 추출된 좌표값 정보를 이용하여 객체의 움직임을 추가로 판단한다.
영상요약 장치(100)는 관심 영역 내 객체의 이탈 여부를 판단하고(S308), 관심 영역 내 객체가 이탈하였다고 판단되는 경우, 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성한다(S310). 즉, 영상요약 장치(100)는 단계 S306의 관심 영역 내 객체의 움직임을 추적하는 과정을 이용하여 연속된 영상 프레임별로 관심 영역 내 객체의 검출 여부를 확인하고, 관심 영역에 객체가 미검출되는 경우, 객체가 관심 영역을 이탈한 것으로 판단한다. 이를 통해, 영상요약 장치(100)는 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성한다.
영상요약 장치(100)는 영상요약 장치(100)에 기 설정된 주기의 경과 여부를 판단하고(S312), 기 설정된 주기가 경과되었다고 판단되는 경우 단계 S310에서 생성된 판단결과에 근거하여 객체 체류 영상을 추출한다(S314). 즉, 영상요약 장치(100)는 기 설정된 주기 예컨대, 하루 또는 특정 시간이 도래한 경우 생성된 판단결과에 근거하여 객체 체류 영상을 추출한다. 한편, 영상요약 장치(100)는 판단결과에 근거하여 특정 영상 내 관심 영역에 객체가 진입 상태인 것으로 판단되는 경우, 해당 영상을 객체 체류 영상으로 추출한다.
영상요약 장치(100)는 객체 체류 영상을 이용하여 영상 요약을 수행하고, 이를 통해 요약 영상을 생성한다(S316). 즉, 영상요약 장치(100)는 객체 체류 영상을 이용하여 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대에 함께 위치하도록 이동시키는 영상 요약을 수행하여 요약 영상을 생성한다.
한편, 영상요약 장치(100)는 단계 S310을 통해 생성된 판단결과에 근거하여 영상 내 관심 영역에 객체가 검출되는 경우, 객체가 관심 영역에 진입한 것으로 판별하여 영상 요약을 수행하고, 관심 영역에 객체가 미검출되는 경우, 객체가 관심 영역을 이탈한 것으로 판별하여 영상 요약을 중지한다. 이후, 영상요약 장치(100)는 영상 요약 과정을 통해 생성된 복수의 기본 영상이 하나로 연결되어 재생되도록 제어하고, 이를 통해 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대, 동일한 공간에 함께 위치되어 재생되는 요약 영상을 생성한다.
영상요약 장치(100)는 단계 S316을 통해 생성된 요약 영상을 수신하고, 수신한 영상을 재생한다(S318).
도 3에서는 단계 S300 내지 단계 S318을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 즉, 도 3에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
도 4는 본 발명의 제2 실시예에 따른 영상요약 장치(200)가 데이터베이스화된 체류 시간정보를 이용하여 영상 요약을 수행하는 방법을 설명하기 위한 순서도이다.
도 4에서 도시하듯이, 본 발명의 제2 실시예에 따른 영상요약 장치(200)가 데이터베이스화된 체류 시간정보를 이용하여 영상 요약을 수행하는 방법은 먼저 영상요약 장치(200)가 촬영된 영상을 획득하는 과정으로부터 시작된다(S400). 즉, 영상요약 장치(200)와 연동된 영상 촬영장치로부터 영상 촬영장치가 촬영한 영상을 획득한다. 여기서, 촬영된 영상은 하나의 프레임인 것이나 복수 개의 프레임을 포함한 영상으로 구성될 수도 있다.
영상요약 장치(200)는 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성한다(S402). 한편, 영상요약 장치(200)는 영상 요약 작업 명령을 수신하는 경우 관심 영역 내 존재하는 객체의 형상을 추출하고, 추출된 정보에 근거하여 관심 영역 내 객체의 진입 및 이탈 여부를 판단한다. 즉, 영상요약 장치(200)는 연속된 영상 프레임별로 관심 영역 내 객체의 검출 여부를 확인하고, 관심 영역에 관심 영역에 객체가 검출되는 경우, 객체가 관심 영역에 진입한 것으로 판단한다. 또한, 영상요약 장치(200)는 관심 영역에 객체가 미검출되는 경우, 객체가 관심 영역을 이탈한 것으로 판단한다. 이를 통해, 영상요약 장치(200)는 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성한다.
영상요약 장치(200)는 단계 S402를 통해 생성된 판단결과에 근거하여 체류 시간정보를 추출한다(S404). 즉, 영상요약 장치(200)는 판단결과에 근거하여 영상 내 관심 영역에 객체가 진입하였다고 판단되는 경우 관심 영역에 객체가 진입한 시간, 이탈 시간 및 관심 영역 내 객체가 체류한 체류 기간을 포함한 체류 시간정보를 추출한다.
영상요약 장치(200)는 단계 S404를 통해 체류 시간정보가 추출되는 경우, 추출된 체류 시간정보가 데이터베이스화되도록 제어한다(S406). 즉, 영상요약 장치(200)는 체류 시간정보를 기반으로 영상요약 장치(200)에 기 저장되어 있는 영상 중 체류 시간정보에 대응되는 영상이 체류 시간정보와 매칭되어 데이터베이스화되도록 제어한다.
영상요약 장치(200)는 영상 요약에 대한 수행 명령을 수신하는 경우(S408), 데이터베이스화된 체류 시간정보에 근거하여 객체 체류 영상을 추출한다(S410). 즉, 영상요약 장치(200)는 영상 요약에 대한 수행 명령을 수신하는 경우, 데이터베이스화된 체류 시간정보를 확인하고, 체류 시간정보에 대응되는 객체 체류 영상을 추출한다. 한편, 영상요약 장치(200)가 수신하는 수행 명령은 특정 시간대에 관심 영역 내 위치하는 객체에 대한 영상 요약 수행 명령이거나 복수의 관심 영역 및 각각의 관심 영역에 대한 중요도가 설정되어 있는 경우 특정 관심 영역에 대한 영상 요약 수행 명령일 수도 있다.
영상요약 장치(200)는 객체 체류 영상을 이용하여 영상 요약을 수행하고, 이를 통해 요약 영상을 생성한다(S412). 즉, 영상요약 장치(200)는 객체 체류 영상을 이용하여 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대에 함께 위치하도록 이동시키는 영상 요약을 수행하여 요약 영상을 생성한다. 한편, 영상요약 장치(200)는 데이터베이스화된 체류 시간정보 근거하여 영상 내 관심 영역에 객체가 검출되는 경우, 객체가 관심 영역에 진입한 것으로 판별하여 영상 요약을 수행하고, 관심 영역에 객체가 미검출되는 경우, 객체가 관심 영역을 이탈한 것으로 판별하여 영상 요약을 중지한다.
도 4에서는 단계 S400 내지 단계 S412을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 즉, 도 4에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.
도 5는 본 발명의 제2 실시예에 따른 영상요약 장치(200)가 관심 영역별 중요도 정보에 근거하여 영상 요약을 수행하는 방법을 설명하기 위한 순서도이다.
도 5에서 도시하듯이, 본 발명의 제2 실시예에 따른 영상요약 장치(200)가 관심 영역별 중요도 정보에 근거하여 영상 요약을 수행하는 방법은 먼저 영상요약 장치(200)가 촬영된 영상을 획득하는 과정으로부터 시작된다(S500). 즉, 영상요약 장치(200)와 연동된 영상 촬영장치로부터 영상 촬영장치가 촬영한 영상을 획득한다. 여기서, 촬영된 영상은 하나의 프레임인 것이나 복수 개의 프레임을 포함한 영상으로 구성될 수도 있다.
영상요약 장치(200)는 사용자로부터 복수의 관심 영역을 선택한 선택정보를 수신하는 경우, 선택정보에 근거하여 영상 내 복수의 관심 영역을 설정한다. 이후, 영상요약 장치(200)는 설정된 복수의 관심 영역에 대한 중요도를 설정하기 위한 설정정보를 수신하는 경우, 설정정보에 근거하여 복수의 관심 영역별로 중요도를 설정한다(S502).
영상요약 장치(200)는 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성한다(S504). 한편, 영상요약 장치(200)는 영상 요약 작업 명령을 수신하는 경우 관심 영역 내 존재하는 객체의 형상을 추출하고, 추출된 정보에 근거하여 관심 영역 내 객체의 진입 및 이탈 여부를 판단한다. 즉, 영상요약 장치(200)는 연속된 영상 프레임별로 관심 영역 내 객체의 검출 여부를 확인하고, 관심 영역에 관심 영역에 객체가 검출되는 경우, 객체가 관심 영역에 진입한 것으로 판단한다. 또한, 영상요약 장치(200)는 관심 영역에 객체가 미검출되는 경우, 객체가 관심 영역을 이탈한 것으로 판단한다. 이를 통해, 영상요약 장치(200)는 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성한다.
영상요약 장치(200)는 단계 S504를 통해 생성된 판단결과에 근거하여 체류 시간정보를 추출하고, 추출된 체류 시간정보를 데이터베이스화한다(S506). 즉, 영상요약 장치(200)는 판단결과에 근거하여 영상 내 관심 영역에 객체가 진입하였다고 판단되는 경우 관심 영역에 객체가 진입한 시간, 이탈 시간 및 관심 영역 내 객체가 체류한 체류 기간을 포함한 체류 시간정보를 추출한다. 이후, 영상요약 장치(200)는 체류 시간정보를 기반으로 영상요약 장치(200)에 기 저장되어 있는 영상 중 체류 시간정보에 대응되는 영상이 체류 시간정보와 매칭되어 데이터베이스화되도록 제어한다.
영상요약 장치(200)는 특정 중요도를 가지는 관심 영역에 대한 영상 요약 수행명령을 수신하는 경우(S508), 특정 중요도에 대응되는 관심 영역의 체류 시간정보에 근거하여 객체 체류 영상을 추출한다(S510). 즉, 영상요약 장치(200)는 특정 중요도를 가지는 관심 영역에 대한 영상 요약 수행명령을 수신하는 경우, 데이터베이스화된 체류 시간정보 중 해당 관심 영역에 대응되는 체류 시간정보를 판별하고, 판별된 체류 시간정보에 근거하여 객체 체류 영상을 추출한다. 한편, 영상요약 장치(200)가 수신하는 영상 요약 수행명령에는 특정 중요도를 가지는 관심 영역에 대한 선택정보뿐만 아니라 특정 시간대, 특정 영상촬영 장치로부터 수신된 영상에 대한 선택정보가 추가로 포함될 수 있다.
영상요약 장치(200)는 객체 체류 영상을 이용하여 영상 요약을 수행하고, 이를 통해 요약 영상을 생성한다(S512). 즉, 영상요약 장치(200)는 객체 체류 영상을 이용하여 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대에 함께 위치하도록 이동시키는 영상 요약을 수행하여 요약 영상을 생성한다.
도 5에서는 단계 S500 내지 단계 S512를 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 즉, 도 5에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 3, 도 4 및 도 5에 기재된 영상 요약을 수행하는 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 영상 요약을 수행하는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
도 6은 본 발명의 실시예에 따른 영상요약 장치가 영상 요약을 수행하여 생성한 요약 영상을 나타낸 예시도이다. 한편, 도 6에 명시된 영상요약 장치는 본 발명의 제1 실시예에 따른 영상요약 장치(100)이거나 본 발명의 제2 실시예에 따른 영상요약 장치(200)일 수 있다.
도 6a는 영상 내 하나의 관심 영역이 설정된 경우의 요약 영상을 예시한 예시도이다. 한편, 도 6a에서는 관광지의 출입구 부근이 관심 영역으로 설정되어 있다. 또한, 도 6a에서는 관심 영역 외부에 차량 및 객체가 존재하는 것으로 도시하였으나 실질적으로 객체를 제외한 영상 내 지속적으로 위치하는 배경정보만이 디스플레이된다. 또한, 도 6a에서는 요약 영상이 정지 영상의 형태로 디스플레이되는 것으로 도시하였지만 실질적으로는 관심 영역 내 객체의 움직임이 재생되는 재생 영상의 형태로 구현된다.
도 6a에 도시하듯이, 요약 영상 내 관심 영역에는 영상 요약 과정을 통해 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대에 함께 위치되도록 디스플레이된다. 한편, 요약 영상에는 요약 영상에 위치되는 각각의 객체들에 대한 진입 시간, 이탈 시간 및 잔류 시간 중 적어도 하나의 시간이 함께 디스플레이된다. 즉, 요약 영상에는 각각의 객체들에 대한 진입 시간 또는 이탈 시간만이 지속적으로 디스플레이될 수 있으며 시간의 경과에 따라 객체의 잔류 시간이 변동되어 디스플레이될 수도 있다. 또한, 요약 영상에는 기 설정된 관심 영역의 주변을 둘러싸는 외곽선이 추가로 디스플레이되어 영상 내 관심 영역이 강조되어 재생된다.
도 6b는 영상 내 복수의 관심 영역이 설정되고, 관심 영역별로 중요도가 설정된 경우의 요약 영상을 예시한 예시도이다. 한편, 도 6b에서는 관광지의 출입구 부근 및 횡단보도 앞 부분이 각각 관심 영역으로 설정되어 있으며 관광지의 출입구 부근이 횡단보도 앞 부분보다 중요도가 높게 설정되어 있다.
도 6b에 도시하듯이, 요약 영상 내 관심 영역에는 영상 요약 과정을 통해 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대에 함께 위치되도록 디스플레이된다. 또한, 요약 영상에는 요약 영상에 위치되는 각각의 객체들에 대한 진입 시간, 이탈 시간 및 잔류 시간 중 적어도 하나의 시간이 함께 디스플레이된다. 한편, 도 6b에서는 관심 영역으로 설정된 횡단보도 앞부분에는 영상 요약을 통해 이동된 객체들이 존재하지 않은 것으로 도시하였지만 이는 복수의 관심 영역이 설정될 수 있음을 설명하기 위한 일 실시예에 불과하며 실질적으로는 관심 영역으로 설정된 횡단보도 앞부분에도 영상 요약을 통해 이동된 객체들이 존재한다. 또한, 도 6b에서는 복수의 관심 영역에 대해 영상 요약이 수행된 것으로 도시하였지만 사용자로부터 복수의 관심 영역 중 특정 관심 영역이 선택되는 경우, 선택된 특정 관심 영역에 대해서만 영상 요약이 수행될 수 있다.
한편, 요약 영상에는 기 설정된 관심 영역의 주변을 둘러싸는 외곽선이 추가로 디스플레이되어 영상 내 관심 영역이 강조되어 재생된다. 또한, 기 설정된 관심 영역의 중요도에 따라 관심 영역을 둘러싸는 외곽선의 굵기 및 색깔 등이 다르게 표현되어 중요도별 관심 영역이 영상 내에서 명확하게 구분되도록 디스플레이된다. 한편, 도 6b에서는 중요도가 높게 설정된 관광지의 출입구 부근에 대한 관심 영역이 중요도가 낮게 설정된 횡단보도 앞 부분에 대한 관심 영역보다 외곽선의 굵기가 굵게 디스플레이되었다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 제1 실시예에 따른 영상요약 장치
110: 영상 획득부 120: 영상 저장부
130: 관심 영역 설정부 140: 중요도 설정부
150: 영상 분석부 160: 영상 요약부
170: 영상 재생부
200: 제2 실시예에 따른 영상요약 장치
210: 제어부

Claims (18)

  1. 촬영된 영상을 획득하는 영상 획득부;
    상기 영상 내 기 설정된 관심 영역(ROI: Region Of Interest)에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성하는 영상 분석부; 및
    상기 판단결과에 근거하여 상기 영상 중 상기 관심 영역에 상기 객체가 존재하는 객체 체류 영상을 추출하고, 상기 객체 체류 영상을 이용하여 상기 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대에 함께 위치하도록 이동(Shift)시키는 영상 요약을 수행하여 요약 영상을 생성하며, 상기 요약 영상이 재생 시 상기 요약 영상에 위치하는 각각의 객체들에 대한 진입 시간 또는 이탈시간만이 지속적으로 디스플레이되도록 제어하거나 시간의 경과에 따라 객체의 잔류 시간이 변동되어 디스플레이되도록 제어하는 영상 요약부
    를 포함하는 것을 특징으로 하는 영상요약 장치.
  2. 제 1항에 있어서,
    상기 영상 요약부는,
    상기 판단결과에 근거하여 상기 관심 영역에 상기 객체가 검출되는 경우, 상기 객체가 상기 관심 영역에 진입한 것으로 판별하여 상기 영상 요약을 수행하고, 상기 관심 영역에 상기 객체가 미검출되는 경우, 상기 객체가 상기 관심 영역을 이탈한 것으로 판별하여 상기 영상 요약을 중지하는 것을 특징으로 하는 영상요약 장치.
  3. 삭제
  4. 제 1항에 있어서,
    상기 영상 요약부는,
    상기 요약 영상이 재생되는 경우, 상기 관심 영역의 주변을 둘러싸는 외곽선이 추가로 디스플레이되도록 제어하는 것을 특징으로 하는 영상요약 장치.
  5. 제 1항에 있어서,
    복수의 관심 영역이 설정되는 경우, 상기 복수의 관심 영역에 대한 중요도를 설정하는 중요도 설정부를 더 포함하며,
    상기 영상 요약부는, 특정 중요도에 대한 선택 정보를 수신하는 경우 상기 특정 중요도에 대응되는 관심 영역을 대상으로 상기 영상 요약을 수행하는 것을 특징으로 하는 영상요약 장치.
  6. 제 1항에 있어서,
    상기 영상 요약부는,
    기 설정된 주기로 상기 요약 영상을 생성하는 것을 특징으로 하는 영상요약 장치.
  7. 제 1항에 있어서,
    상기 영상 분석부는,
    상기 객체가 상기 관심 영역에 진입하였다고 판단되는 경우 상기 객체가 상기 관심 영역에 진입한 진입 시간, 상기 관심 영역을 이탈한 이탈 시간 및 상기 객체가 상기 관심 영역에 진입한 시점으로부터 상기 관심 영역을 이탈한 시점까지의 상기 객체의 움직임을 추가로 판단하는 것을 특징으로 하는 영상요약 장치.
  8. 제 1항에 있어서,
    상기 영상 요약부와 연동되어 상기 요약 영상을 재생하는 영상 재생부를 더 포함하는 것을 특징으로 하는 영상요약 장치.
  9. 촬영된 영상을 획득하는 영상 획득부;
    상기 영상 및 상기 영상과 관련된 관련정보를 저장하는 영상 저장부;
    상기 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성하고, 상기 판단결과에 근거하여 상기 관심 영역에 상기 객체가 진입한 시간, 상기 객체가 이탈한 시간 및 상기 객체의 체류 기간(Timeline)을 포함한 체류 시간정보를 추출하는 영상 분석부;
    상기 체류 시간정보가 상기 영상 저장부에 데이터베이스화되도록 제어하는 제어부; 및
    영상 요약에 대한 수행 명령을 수신하는 경우, 상기 영상 저장부에 데이터베이스화된 상기 체류 시간정보에 근거하여 상기 영상 중 상기 체류 기간에 대응되는 객체 체류 영상을 추출하고, 상기 객체 체류 영상을 이용하여 영상 요약을 수행한 요약 영상을 생성하며, 상기 요약 영상이 재생 시 상기 요약 영상에 위치하는 각각의 객체들에 대한 진입 시간 또는 이탈시간만이 지속적으로 디스플레이되도록 제어하거나 시간의 경과에 따라 객체의 잔류 시간이 변동되어 디스플레이되도록 제어하는 영상 요약부
    를 포함하는 것을 특징으로 하는 영상요약 장치.
  10. 제 9항에 있어서,
    상기 영상 요약부는,
    상기 체류 시간정보에 근거하여 상기 관심 영역에 상기 객체가 검출되는 경우, 상기 객체가 상기 관심 영역에 진입한 것으로 판별하여 상기 영상 요약을 수행하고, 상기 관심 영역에 상기 객체가 미검출되는 경우, 상기 객체가 상기 관심 영역을 이탈한 것으로 판별하여 상기 영상 요약을 중지하는 것을 특징으로 하는 영상요약 장치.
  11. 제 9항에 있어서,
    복수의 관심 영역이 설정되는 경우, 상기 복수의 관심 영역에 대한 중요도를 설정하는 중요도 설정부를 더 포함하며,
    상기 영상 요약부는, 특정 중요도에 대한 선택 정보를 수신하는 경우, 상기 특정 중요도에 대응되는 관심 영역의 상기 체류 시간정보에 근거하여 상기 영상 요약을 수행하는 것을 특징으로 하는 영상요약 장치.
  12. 데이터 처리 기기에,
    촬영된 영상을 획득하는 영상 획득 과정;
    상기 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성하는 판단결과 생성 과정;
    상기 판단결과에 근거하여 상기 영상 중 상기 관심 영역에 상기 객체가 존재하는 객체 체류 영상을 추출하는 추출 과정; 및
    상기 객체 체류 영상을 이용하여 상기 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대에 함께 위치하도록 이동시키는 영상 요약을 수행하여 요약 영상을 생성하며, 상기 요약 영상이 재생 시 상기 요약 영상에 위치하는 각각의 객체들에 대한 진입 시간 또는 이탈시간만이 지속적으로 디스플레이되도록 제어하거나 시간의 경과에 따라 객체의 잔류 시간이 변동되어 디스플레이되도록 제어하는 영상 요약 과정
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  13. 제 12항에 있어서,
    상기 판단결과 생성 과정은,
    상기 객체가 상기 관심 영역에 진입하였다고 판단되는 경우 상기 객체가 상기 관심 영역에 진입한 진입 시간, 상기 관심 영역을 이탈한 이탈 시간 및 상기 객체가 상기 관심 영역에 진입한 시점부터 상기 관심 영역을 이탈한 시점까지의 상기 객체의 움직임을 추가로 판단하는 과정을 포함하여 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  14. 제 12항에 있어서,
    상기 영상 요약 과정은,
    상기 판단결과에 근거하여 상기 관심 영역에 상기 객체가 검출되는 경우 상기 객체가 상기 관심 영역에 진입한 것으로 판별하여 상기 영상 요약을 수행하는 과정; 및
    상기 관심 영역에 상기 객체가 미검출되는 경우 상기 객체가 상기 관심 영역을 이탈한 것으로 판별하여 상기 영상 요약을 중지하는 과정을 포함하여 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  15. 제 12항에 있어서,
    상기 요약 영상을 재생하는 요약 영상 재생 과정을 더 포함하여 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  16. 데이터 처리 기기에,
    촬영된 영상을 획득하는 영상 획득 과정;
    상기 영상 내 기 설정된 관심 영역에 진입한 객체의 이탈 여부를 판단한 판단결과를 생성하는 판단결과 생성 과정;
    상기 판단결과에 근거하여 상기 관심 영역에 상기 객체가 진입한 시간, 상기 객체가 이탈한 시간 및 상기 객체의 체류 기간을 포함한 체류 시간정보를 추출하는 추출 과정;
    상기 체류 시간정보가 데이터베이스화되도록 제어하는 제어 과정;
    영상 요약에 대한 수행 명령을 수신하는 경우, 상기 체류 시간정보에 근거하여 상기 영상 중 상기 체류 기간에 대응되는 객체 체류 영상을 추출하는 영상 추출 과정; 및
    상기 객체 체류 영상을 이용하여 상기 관심 영역 내 각기 다른 시간대에 존재했던 객체들이 동일한 시간대에 함께 위치하도록 이동시키는 영상 요약을 수행하여 요약 영상을 생성하며, 상기 요약 영상이 재생 시 상기 요약 영상에 위치하는 각각의 객체들에 대한 진입 시간 또는 이탈시간만이 지속적으로 디스플레이되도록 제어하거나 시간의 경과에 따라 객체의 잔류 시간이 변동되어 디스플레이되도록 제어하는 영상 요약 과정
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  17. 제 16항에 있어서,
    상기 영상 요약 과정은,
    상기 체류 시간정보에 근거하여 상기 관심 영역에 상기 객체가 검출되는 경우 상기 객체가 상기 관심 영역에 진입한 것으로 판별하여 상기 영상 요약을 수행하는 과정; 및
    상기 관심 영역에 상기 객체가 미검출되는 경우 상기 객체가 상기 관심 영역을 이탈한 것으로 판별하여 상기 영상 요약을 중지시키는 과정을 포함하여 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  18. 제 16항에 있어서,
    복수의 관심 영역이 설정되는 경우, 상기 복수의 관심 영역에 대한 중요도를 설정하는 과정을 더 포함하며,
    상기 영상 요약 과정은 특정 중요도에 대한 선택 정보를 수신하는 경우, 상기 특정 중요도에 대응되는 관심 영역의 상기 체류 시간정보에 근거하여 상기 영상 요약을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020130104636A 2013-09-02 2013-09-02 관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 Active KR102072022B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130104636A KR102072022B1 (ko) 2013-09-02 2013-09-02 관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130104636A KR102072022B1 (ko) 2013-09-02 2013-09-02 관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체

Publications (2)

Publication Number Publication Date
KR20150026178A KR20150026178A (ko) 2015-03-11
KR102072022B1 true KR102072022B1 (ko) 2020-01-31

Family

ID=53022232

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130104636A Active KR102072022B1 (ko) 2013-09-02 2013-09-02 관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체

Country Status (1)

Country Link
KR (1) KR102072022B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11847827B2 (en) 2020-07-09 2023-12-19 Samsung Electronics Co., Ltd. Device and method for generating summary video

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160143108A (ko) 2015-06-04 2016-12-14 에스케이텔레콤 주식회사 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록매체
KR102556393B1 (ko) 2016-06-30 2023-07-14 주식회사 케이티 영상 축약 시스템 및 방법
KR102618404B1 (ko) 2016-06-30 2023-12-26 주식회사 케이티 영상 축약 시스템 및 방법
US20190021677A1 (en) * 2017-07-18 2019-01-24 Siemens Healthcare Gmbh Methods and systems for classification and assessment using machine learning
KR101971736B1 (ko) * 2017-08-18 2019-04-24 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102289464B1 (ko) * 2019-12-06 2021-08-12 이화여자대학교 산학협력단 주의 집중을 위한 동영상 편집 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101281494B1 (ko) * 2011-12-26 2013-07-03 한국철도기술연구원 스마트폰을 이용한 지능형 카메라 자동제어 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4972095B2 (ja) * 2005-11-15 2012-07-11 イッサム リサーチ ディベロップメント カンパニー オブ ザ ヘブライ ユニバーシティー オブ エルサレム 映像概要を生成する方法およびシステム
CN101689394B (zh) * 2007-02-01 2014-03-26 耶路撒冷希伯来大学伊森姆研究发展有限公司 用于视频索引和视频概要的方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101281494B1 (ko) * 2011-12-26 2013-07-03 한국철도기술연구원 스마트폰을 이용한 지능형 카메라 자동제어 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11847827B2 (en) 2020-07-09 2023-12-19 Samsung Electronics Co., Ltd. Device and method for generating summary video

Also Published As

Publication number Publication date
KR20150026178A (ko) 2015-03-11

Similar Documents

Publication Publication Date Title
KR102072022B1 (ko) 관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
KR102290419B1 (ko) 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치
US9684818B2 (en) Method and apparatus for providing image contents
KR102170693B1 (ko) 영상재생장치 및 영상재생장치에서 영상정보 제공 방법
US20160198097A1 (en) System and method for inserting objects into an image or sequence of images
US20140314391A1 (en) Method for displaying image combined with playing audio in an electronic device
CN103312943A (zh) 用于指导视频特征信息的视频编辑装置和方法
KR101484844B1 (ko) 실시간 영상에 프라이버시 마스킹 툴을 제공하는 장치 및 방법
CN105323657B (zh) 提供视频摘要的成像设备和方法
US20140086551A1 (en) Information processing apparatus and information processing method
US20160353053A1 (en) Video processing apparatus, video processing method, and storage medium
US10146870B2 (en) Video playback method and surveillance system using the same
CN113992973A (zh) 视频摘要生成方法、装置、电子设备和存储介质
Bano et al. ViComp: composition of user-generated videos
CN103608813A (zh) 通过对象位置进行视频导航
US10719543B2 (en) Information processing apparatus, information processing method, and program
CN106162222B (zh) 一种视频镜头切分的方法及装置
US20140286624A1 (en) Method and apparatus for personalized media editing
KR20140033667A (ko) 객체 기반 동영상 편집 장치 및 방법
CN105635807A (zh) 一种视频编辑方法和装置
JP2013239205A (ja) 画像処理方法
JP5685958B2 (ja) 画像表示システム
Saini et al. Automated video mashups: Research and challenges
JP2006333189A (ja) 映像要約生成装置
KR102027297B1 (ko) 장면 기반 동영상 네비게이션 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130902

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180724

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130902

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190703

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20191205

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200123

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200123

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20231212

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20241219

Start annual number: 6

End annual number: 6