KR100319159B1 - 내용기반동영상검색데이터구성방법과동영상검색방법 - Google Patents

Abstract

본 발명은 내용기반 동영상 검색 데이터 구성방법과 동영상 검색방법에 관한 것으로서, 특히 동영상 내용을 오브젝트(Object)와 장소(Place) 및 사건(Event)의 관계로 표현함으로써, 보다 쉽게 동영상 내용을 이해하고 또 검색할 수 있도록 한 다.

종래의 동영상 검색 시스템은 키 프레임들의 시간적 나열에 의한 검색이거나, 동영상 샷(Shot)들의 시간적인 연결관계를 제시하거나, 동영상에 나타나는 오브젝트의 출현구간과 속성을 정의함으로써 동영상 검색을 수행한다.

본 발명은 도2에 도시한 바와같이 드라마, 영화 등의 동영상에 대하여 사건 전개상 주요 구성요소로 작용하는 오브젝트(등장인물 등), 장소, 사건(내용설명)의 관계로 표현하고, 하나의 오브젝트와 하나의 장소의 관계 또는 복수개의 오브젝트와 하나의 장소의 관계를 선택하면 해당 조건에 부합되는 등장구간을 검색하여 대표 장면과 함께 그 구간에 해당하는 내용(사건)을 텍스트로 제시함으로써, 동영상 전체는 물론 특정 위치를 포함하는 부분 내용 까지 보다 쉽고 간편하게 검색할 수 있도록 한 내용기반 동영상 검색 데이터 구성방법과 동영상 검색방법을 제공한다.

Description

내용기반 동영상 검색 데이터 구성방법과 동영상 검색방법

본 발명은 내용기반 동영상 검색 데이터 구성방법과 동영상 검색방법에 관한 것으로서, 특히 오브젝트(Object)와 장소(Place), 시간에 따른 사건(Event)의 관점에서 동영상 내용을 실질적으로 반영하는 상호 관련요소 사이의 관계를 정의하여 표현함으로써, 동영상 검색시에 상기 오브젝트와 장소, 사건의 상호 관계로부터 보다 쉽게 동영상을 검색할 수 있도록 한 내용기반 동영상 검색 데이타의 구조와 그 검색방법이며, 오브젝트와 장소의 관계로부터 동영상을 검색할 수 있도록 하는 사용자 인터페이스로서의 동영상 검색 브라우저(Video Story Browser)에 관한 것이다.

동영상 검색을 위한 종래의기술은 대부분 키프레임(Key Frame)들을 시간축으로 1차원 나열한 것들이 대부분이었다.

한편, 동영상 검색을 위한 종래의 기술로서 미합중국 특허 제 5,708,767 호(Method and apparatus for video browsing based on content and structure)의 경우는 동영상의 샷(Shot)들의 시간적인 연결 그래프를 단순히 나태내준다.

이와같이 단순히 샷들의 시간적인 관계는 대표적인 장면들만 제시하고 있기 때문에 이러한 대표적인 장면 몇몇으로부터 그 내용의 전개, 그 내용 자체를 이해하기에는 매우 부족하다.

한편, 동영상 검색을 위한 종래의 기술로서 미합중국 특허 제 5,655,117 호(Method and apparatus for indexing multimedia information streams)의 경우는 동영상에 나타나는 오브젝트들을 정의하고 각 오브젝트의 출현 구간과 오브젝트의애트리뷰트(속성)을 정의함으로써 오브젝트 기반 검색방법을 제공하지만, 이러한 방법 또한 전체적인 내용을 이해하기는 어렵고, 내용이 파악되지 않으므로 원하는 검색을 하기 위한 검색조건으로 어떤 특정한 오브젝트 및 애트리뷰트를 지정할지 결정하기 힘들다는 문제가 있다.

즉, 드라마나 영화 등의 일반적인 동영상은 시간에 따라 장소를 달리하면서 등장인물들이 엮어나가는 사건전개를 그 내용으로 하기 때문에, 단순히 등장인물이나 장면을 발췌하여 보는 것만으로는 그 전체적인 내용을 요약하고 또 이해하며 검색하기가 실질적으로 불가능한 것이다.

본 발명은 동영상을 구성하는 요소로서 동영상의 내용을 오브젝트, 장소, 사건, 시간이라는 요소의 관계로 표현함으로써 동영상 내용을 보다 쉽게 요약하고 또 검색할 수 있는 내용기반 동영상 검색 시스템을 제공한다.

본 발명은 영화, 드라마 등의 일반적인 동영상 내용을 주요 오브젝트와 장소와의 관계로 보고 여기에 사건과 시간의 전개라는 관점을 반영하여 구성한 관계 그래프로부터 내용기반 동영상을 검색할 수 있도록 한 동영상 검색 시스템을 제공한다.

본 발명은 동영상 내용을 주요 오브젝트와 장소와의 관계로 간주하여, 오브젝트와 장소와의 관계에는 시간적인 요소에 의한 복수개의 등장 구간이 존재하고 각 등장 구간에는 사건이 기술되는 관점에서 내용기반으로 동영상을 검색하는 검색 시스템을 제공한다.

본 발명은 동영상 내용을 주요 오브젝트와 장소의 관계 그래프로 표현하고, 주요 오브젝트는 동영상 종류에 따라 인물, 동물 등으로 정의되고 사건은 텍스트로 표현되며 장소의 단위는 동영상 내용에 따라 다른 레벨로 표현됨과 함께 장소의 단위를 단일레벨 또는 다중레벨로 표현되는 것을 기반으로 하여 동영상을 검색하는 검색 시스템을 제공한다.

본 발명은 동영상 내용을 주요 오브젝트와 장소, 이들 사이의 관계로 표현하며 하나의 관계는 하나 이상의 등장 구간이 존재하여 표시되고, 하나의 등장 구간은 동영상 내에서 실제 구간이 표시되며 그 구간을 대표하는 프레임에 대한 표시와 사건을 텍스트로서 기술하는 부분을 표시함으로써 동영상을 검색하는 검색 시스템을 제공한다.

본 발명은 동영상 내용을 주요 오브젝트와 장소, 사건의 관계로 표현하고, 여기서 하나의 오브젝트와 하나의 장소와의 관계 뿐만 아니라 복수개의 오브젝트와 장소와의 관계도 검색할 수 있는 내용기반 동영상 검색 시스템을 제공한다.

본 발명은 또한, 동영상 내의 오브젝트에 대한 정보를 나타내는 오브젝트정보 영역과, 상기 오브젝트와 상관성 있는 장소에 관한 정보를 나타내는 장소정보영역과, 상기 오브젝트와 장소와의 관계를 나타내는 사건내용 정보로서 해당 사건의 대표장면을 지시하는 정보와 해당 사건내용을 설명하는 텍스트 정보를 포함하는 사건내용정보 영역을 포함하며, 각각의 정보영역은 검색 가능하도록 상호 연결된 동영상 검색 데이타가 기록된 기록매체를 제공한다.

도1은 본 발명에서 동영상 검색을 위한 오브젝트와 장소의 관계를 설정하여 검색 정보를 구성하는 단계를 나타낸 플로우차트

도2는 본 발명에서 구현된 오브젝트와 장소의 관계를 설정하는 그래프 데이타의 구조를 예를 들어 나타낸 도면

도3은 본 발명에 의한 동영상 제작과 검색기의 일실시예를 나타낸 블럭도

도4는 본 발명에서 구현된 오브젝트와 장소의 관계를 설정하는 그래프 데이타 구조에 따른 사용자 인터페이스의 예를 나타낸 도면

도5는 본 발명에서 구현된 오브젝트와 장소의 관계를 설정하는 그래프 데이타 구조에 따른 사용자 인터페이스의 또다른 예를 나타낸 도면

도6은 본 발명에서 구현된 오브젝트와 장소의 관계를 설정하는 그래프 데이타 구조에서 복수개의 오브젝트와 장소를 선택한 경우에 따른 사용자 인터페이스의 예를 나타낸 도면

도7,도8은 본 발명에서 장소의 다중레벨을 설명하기 위한 사용자 인터페이스의 예를 나타낸 도면

본 발명은 동영상의 내용을 구성하는 요소로서 오브젝트와 그 오브젝트에 상관성있는 장소를 서로 관계짓고 그 관계를 나타내는 정보를 포함하며, 상기 오브젝트와 장소의 관계에 속하는 내용전개의 사건으로서 동영상 구간 및 대표 장면을 지시하는 정보와 해당 동영상 구간의 사건내용을 표시하는 정보를 포함하는 것을 특징으로 하는 내용기반 동영상 검색 데이타 구조로서, 상기 오브젝트와 장소에 대하여 그 오브젝트와 장소 각각에 종속되는 하위계층의 오브젝트와 장소의 관계를 나타내는 정보를 더 포함할 수 있다.

또한 본 발명은 동영상의 내용을 구성하는 요소로서 오브젝트와 장소를 선정하여 상호 상관성있는 오브젝트와 장소를 관계짓는 관계 그래프 설정과정과; 상기 관계지워진 오브젝트와 장소의 관계에 해당하는 내용전개의 사건으로서 동영상 구간 및 대표장면을 설정하고 사건 전개의 내용을 부가하는 검색정보 설정과정과; 상기 설정된 관계 그래프로부터 선택되는 관계에 해당하는 검색정보로서 상기 동영상 구간 및 대표장면과 내용을 제시하는 검색과정으로 이루어진 것을 특징으로 하는 내용기반 동영상 검색방법이다.

또한 본 발명은 동영상의 내용을 구성하는 요소로서 주요 오브젝트와 장소와의 관계 그래프를 설정하고 또 그 관계에 해당하는 등장구간들의 위치정보 및 그 등장구간을 대표하는 대표 프레임 위치정보와 함께 사건 설명을 텍스트로서 부가하는 검색 데이타 형성과정과, 상기 동영상에 대하여 오브젝트와 장소와의 관계 그래프를 표시하는 관계 그래프 표시과정과, 상기 표시된 관계 그래프로부터 적어도 하나의 관계가 선택되면 상기 위치정보에 근거하여 상기 선택된 관계안에 존재하는등장구간들의 대표 프레임 및 사건 설명을 표시하고 사용자가 원하는 구간을 상영하는 검색결과 표시과정으로 이루어진 것을 특징으로 하는 내용기반 동영상 검색방법으로서, 상기 등장구간들 중에서 원하는 등장구간을 선택하면 해당 대표 프레임이 표시되고 상기 사건 설명 또는 보다 자세한 사건설명을 표시하며, 상기 관계 그래프로부터 복수개의 오브젝트와 장소와의 관계가 선택될 수 있고, 복수개의 오브젝트와 장소와의 관계가 선택되면 복수개의 오브젝트가 해당 장소에서 함께 등장한 구간들만 검색하여 표시하는 것을 특징으로 하는 내용기반 동영상 검색방법이다.

이하 첨부된 도면을 참조하여 본 발명을 더욱 상세히 설명한다.

도1은 본 발명의 내용기반 동영상 검색방법과 검색 브라우저를 구현하기 위한 동영상 검색 시스템의 구성 수순을 나타낸다.

먼저, 단계(101)는 주요 오브젝트 및 장소의 설정단계를 나타낸다.

이 단계(101)에서는 영화나 드라마 등의 동영상 내용에 대하여 주요 오브젝트와 장소를 설정하는데, 예를 들면 주요 오브젝트로는 등장인물중 사건 전개에 필요한 주요 등장인물을 설정하고, 이 등장인물과 함께 사건 전개에 필요한 주요 장소를 설정하며, 이때 설정되는 장소는 장면내에서 전혀 다른 모습으로 나타날 수도 있다.

예를들어 장소를 병원으로 한다고 해도 그 병원내의 복도 장면, 입원실 장면, 수술실 장면, 로비 장면, 병원 마당 장면 등등을 더욱 세분화될 수 있고, 이러한 것을 장소에 의존적인(종속되는) 하위계층의 장소로서 설정할 수 있다.

물론, 개념적으로는 '병원'이라는 장소임을 알고 같은 장소로 표현하는 것이동영상 내용 전체의 이해에 도움이 될 경우에는 이들을 하나의 주요 장소로 결합한다.

또한, 주요 오브젝트로서 등장인물의 경우에도 그 인물에 의존적인(종속되는) 하위계층의 오브젝트를 더 설정할 수도 있다.

다음 단계(102)는 상기 단계(101)에서 설정된 주요 오브젝트와 장소와의 관계를 설정하는 단계이다.

예를 들면 주요 오브젝트로서 등장인물A, 등장인물B, 등장인물C가 설정되고, 장소로서 병원, 방안, 야외가 설정되었다면 등장인물A가 등장하는(관계있는) 장소는 병원과 방안, 등장인물B가 관계있는 장소는 방안, 야외, 등장인물C가 관계있는 장소는 야외 등과 같이 등장인물과 장소와의 관계를 설정한다.

이러한 관계는 실제로 동영상에서 그 장소에 그 오브젝트가 등장하는 구간이 될 것이므로, 이 것을 인덱싱(Indexing)하는 것이다.

그 오브젝트가 등장하는 구간은 실제로 화면에 그 오브젝트가 보이는 순간만을 의미할 수도 있으나, 내용상 그 오브젝트가 등장하고 있는 씬(Scene)의 전체 구간을 의미할 수도 있다.

다음 단계(103)는 대표장면의 설정 단계로서, 상기 단계(102)에서 설정된 오브젝트와 장소와의 관계로부터 그 장소에 관계되는 해당 오브젝트의 등장구간을 대표할 수 있는 장면을 설정하는데, 하나의 대표 프레임으로 설정하여 그 프레임 위치를 표시하는 것이다.

상기의 예에 따르면 등장인물A-병원의 관계로부터 등장인물A가 병원에 등장하는 구간을 대표하는 프레임으로 '수술장면 프레임'을 설정하고 이 프레임의 위치를 표시하는 것이다.

다음 단계(104)는 사건 설명단계로서, 상기 앞 단계들에서 얻어진 등장구간 마다 적절한 주석을 달아주는 것이다.

상기의 예에 따르면 등장인물A-병원의 관계로부터 '수술장면 프레임'을 대표 장면으로 설정해주고, 그 등장구간의 내용을 요약할 수 있는 설명을 텍스트로 부가하는 것이다.

상기한 바와같이 동영상 내용을 기반으로 하여 주요 오브젝트와 장소의 관계를 설정하고 또 등장구간의 인덱싱 및 등장구간의 대표 프레임 설정, 주석 달기(사건)를 수행함으로써 오브젝트-장소-사건-시간의 관계에 기반하는 동영상 검색의 기본 정보가 완성된다.

이러한 정보들은 한가지 예로서 멀티미디어 스트림의 헤더(Header)에 수록할 수도 있다.

그러면 동영상 재생(검색)시스템에서는 멀티미디어 스트림의 헤더에 수록된 상기의 정보들을 검출하고 또 판독하여 그 동영상에 대한 내용기반 검색을 수행할 수 있게 된다.

도2는 상기 도1의 단계들을 거쳐서 구현된 오브젝트와 장소/사건의 관계 그래프를 위한 데이타 구조의 일예를 나타낸다.

오브젝트로서 인물1(human A)(201), 인물2(human B)(202), 인물3(human C) (203)이 설정되고, 장소로서 병원(204), 방안(205), 야외(206)가 설정되며,인물1(201)은 병원(204)과 야외(206)라는 장소와 관계가 설정되고, 인물2(202)는 병원(204)과 방안(205)이라는 장소와 관계가 설정되고, 인물3(203)은 방안(205)이라는 장소와 관계가 설정된다.

그리고, 각각의 오브젝트(201)(202)(203)와 각각의 장소(204)(205)(206)와의 관계는 링크(207)로서 그래프화된다.

그리고 상기 링크(207)로서 그래프화되는 오브젝트-장소의 설정관계에 따라 인물이 등장하는 구간이 인덱싱 된다.

예를 들면 도2에서는 인물1(201)과 병원(204)의 관계설정으로부터 해당 인물1이 병원에서 등장하는 3개의 등장구간1,2,3(208)(209)(210)이 대응되고, 각각의 등장구간을 대표하는 장면과 그 등장구간의 시작 및 종료위치, 등장구간에 대한 사건설명이 각각 설정된다.

예를 들면, 도2에서 볼 때 인물1(201)이 병원(204)이라는 관계 장소에 등장하는 구간 중에서, 등장구간2(209)의 경우 등장구간은 프레임16(Frame16) 부터 프레임21(Frame21)이고, 이 중에서 대표장면으로서 프레임18(Frame18)을 키프레임 (211)으로 하여 그 위치정보(Frm_K)를 수록하고, 또한 등장구간2(209)의 첫번째 프레임(Frame16)을 시작 프레임(212)으로 하여 그 위치정보(Frm_S)를 수록하고, 등장구간2의 마지막 프레임(Frame21)을 종료 프레임(213)으로 하여 그 위치정보(Frm_E)를 수록하며, 등장구간2(209)에 해당하는 내용의 요약(사건)을 텍스트로 하여 사건정보(Event(text))로 수록한 것을 보이고 있다.

한편, 상기 오브젝트로서 등장인물(201)(202)(203)에 의존적인(종속되는) 하위 계층의 오브젝트 관련 정보(215)(Human Object Scheme)를 수록할 수도 있고, 또한 상기 장소로서 병원(204)이나 방안(205) 또는 야외(206)등에 의존적인(종속되는) 하위 계층의 장소 관련 정보(Place Object Scheme)(216)를 수록할 수도 있다.

이 것은 예를 들면 병원(204)이라는 큰 테두리의 장소에서도 입원실, 복도, 로비, 수술실 등의 하위계층적인 장소를 오브젝트-장소의 관계로 설정함을 의미하는 것이다.

도2와 같은 오브젝트-장소/사건의 관계 그래프 구조는 오브젝트와 장소 하나의 관계에 대해서 복수개의 등장구간이 존재할 수 있고, 복수개의 오브젝트와 하나의 장소가 관계를 가질 수도 있으며, 하나의 오브젝트와 복수개의 장소가 관계를 가질 수도 있다.

즉, 단일 레벨의 오브젝트-장소 관계는 물론, 다중적인 오브젝트-장소 관계를 가질수도 있는 것이다.

도3은 상기 도1 및 도2로부터 구현되는 본 발명의 동영상 검색 시스템의 전체적인 블럭도의 한가지 실시예를 나타내며 여기에 도시된 것에 의해서 본 발명이 제한되지는 않는다.

도3에서는 설명의 편의상 비디오 공급자와 사용자의 입장으로 분리하였다.

비디오 공급자는 상기 도1의 과정을 통해서 도2와 같은 검색정보를 제공하고, 사용자는 도2와 같은 검색정보를 이용해서 도4 내지 도6과 같은 검색 브라우저에 의한 동영상 검색을 실행할 수 있게 되는 것이다.

디지탈 비디오 데이타(301)는 입력 비디오 버퍼(302)에 저장되고, 비디오 버퍼(302)에 저장된 디지탈 비디오 데이타는 비디오 프로세싱 유닛(303)에 의해서 멀티 미디어 비디오 스트림의 파일로 콘트롤되며, 콘트롤 프로세싱 유닛(304)은 필요한 각각의 정보를 제작하거나 있는 정보를 읽어서 처리한다.

사용자 인터페이스 및 표시부(305)는 비디오 프로세싱 유닛(303) 및 콘트롤 프로세싱 유닛(304)에 의해서 처리되는 비디오 데이타의 표시는 물론, 상기한 도2의 데이타 제작을 위한 사용자 정보들을 입력하기 위한 인터페이스를 제공한다.

콘트롤 프로세싱 유닛(304)에서 처리된 도2 구조의 오브젝트-장소/사건 관계 정보들은 비디오 정보처리 메모리(306)에 저장되고, 여기에 저장된 오브젝트-장소/사건 관계 정보는 비디오 버퍼(302)에 수록된 비디오 데이타와 함께 적절한 포맷으로서 저장공간(307)에 저장된다.

이 저장공간(307)에 저장된 비디오 데이타 및 도2의 검색관련 정보들은 기록매체의 형태 또는 유선이나 무선 방송통신망을 통해서 사용자에게 제공된다.

사용자측에서는 상기 저장공간(307)으로부터 제공되는 비디오 데이타와 오브젝트-장소/사건 데이타를 검출하고 또 판독하여 사용자 요구에 응답하게 된다.

즉, 비디오 버퍼(308)에 저장되는 비디오 데이타에 대해서 비디오 프로세싱 유닛(309)과 콘트롤 프로세싱 유닛(310)의 데이타 처리가 이루어지고, 이때 오브젝트-장소/사건 데이타를 비디오 정보처리 메모리(312)를 이용해서 처리하여 사용자 인터페이스 및 표시부(311)로 응답하게 되는 것이다.

즉, 도3에 나타낸 내용기반 동영상 검색 시스템에 의하면, 공급자측에서는 사용자 인터페이스 및 표시부(305)를 통해서 도1의 과정 및 도2의 데이타 구조를완성하게 되고 이렇게 완성된 정보를 적절한 저장공간에 비디오 데이타와 함께 수록하게 되며, 사용자측에서는 사용자 인터페이스 및 표시부(311)를 통해서 도4 내지 도6에 나타낸 바와같은 동영상 검색을 수행하게 되는 것이다.

도4는 사용자측에 제공되는 동영상 검색 브라우저(사용자 인터페이스)의 일예를 나타내었으며, 도2와 같은 오브젝트(인물)-장소/사건의 관계에 대응하고 있다.

즉, 내용기반 동영상 검색 브라우저(400)는 도2와 같이 제작된 오브젝트와 장소의 관계 그래프(401) 및 선택된 관계에 대응하는 키프레임(402)/사건(내용설명)을 제시한다.

오브젝트-장소의 관계는 오브젝트로서 등장인물1(human A)(403)이 장소로서 병원(406) 및 야외(408)와 관계로 설정되고, 등장인물2(human B)(404)은 병원(406) 및 방안(407)의 관계로 설정되고, 등장인물3(human C)(405)은 방안(407)과의 관계로 설정된다.

이 중에서 사용자가 검색을 원하는 내용으로서 링크(409)로 관련지워진 인물2(404)와 병원(406)의 단일레벨에 대한 검색을 사용자 인터페이스 및 표시부(311)를 이용해서 선택하면 콘트롤 프로세싱 유닛(310)은 비디오 정보처리 메모리(312)를 참조하여 상기 관계(409)에 해당하는 4개의 등장구간1,2,3,4(410)과 각각의 등장구간에 해당하는 사건(내용설명)(411)을 제시한다.

물론 여기서, 상기 관계 그래프로부터 하나 이상의 오브젝트만을 선택하면 장소와 관계없이 그 오브젝트(들)이 함께 등장한 구간을 검색하여 표시할 수도 있으며, 또한 특정 장소만을 선택한다면 오브젝트와 상관없이 그 장소가 배경인 구간만을 검색하여 표시할 수도 있다.

도5는 상기 도4에서 하나의 오브젝트-장소 관계에 속한 복수개의 등장구간들 중에서 하나를 대표 프레임을 이용해서 선택하였을 경우에 해당 등장구간의 설명과 대표 프레임이 표시된 사용자 인터페이스를 나타낸다.

즉, 도5에는 상기 도4와 같은 검색 브라우저에서 인물2(404)-병원(406)의 관계를 선택하고 여기서 다시 그 인물2-병원의 관계에 해당하는 4개의 등장구간들 중에서 등장구간2를 선택하였을 경우에 등장구간2에 대한 설명(511)과 대표 프레임(510)이 표시된 것을 보인다.

이 경우에도 검색 브라우저(500)는 오브젝트-장소의 설정관계 그래프(501)와 키프레임(502)을 제시하며, 등장인물1,2,3(503,504,505), 장소(506,507,508), 관계링크(509)의 데이타 구조를 제시하고 있다.

부호 512는 등장구간2의 대표 프레임(510)을 보고 사용자가 해당 구간의 재생을 원하는 경우에 선택하는 아이콘으로서 제시하였으며, 이 것을 이용하면 해당 구간의 시작 프레임부터 종료 프레임 까지를 디스플레이한다.

도6은 본 발명에서 복수개의 오브젝트에 대한 하나의 장소 대응관계로부터 등장구간과 사건(내용설명)을 제시하는 경우를 보인다.

검색 브라우저(600)는 오브젝트-장소의 설정관계 그래프(601)와 키프레임(602)을 제시하며, 등장인물1,2,3(603,604,605), 장소(606,607,608), 관계링크(609)(610)의 데이타 구조를 제시하고, 등장인물1(603) 및 등장인물2(604)의복수개의 오브젝트와 하나의 장소(606)를 선택한 경우, 등장인물1(603)과 등장인물2(604)가 동시에 병원(606)에 등장하는 2개 구간에 대한 대표 프레임(611,613) 및 각각의 설명(612,614)을 검색하여 보이고 있다.

즉, 인물1(603)과 인물2(604), 장소(606) 관계내에 존재하는 등장구간들 중에서 두 인물이 같이 등장하는 구간은 2개 구간으로서 해당 구간들에 대한 대표 프레임(611)(613)과 설명(612,614)을 제시하고 있다.

또한, 복수개의 오브젝트만을 선택한다면 상기 선택된 오브젝트가 장소와 상관없이 함께 등장한 구간만을 검색하여 준다.

또한, 하나의 장소를 선택하면 상기 선택된 장소가 나타나는 구간을 오브젝트와 상관없이 검색하여 준다.

도7과 도8은 본 발명에서 장소의 다중레벨을 설명하기 위한 사용자 인터페이스의 예를 나타낸 도면이다.

먼저, 도7에서 검색 브라우저(700)는 오브젝트와 장소의 관계 표시부(701)와 사건내용(설명) 표시부(702)를 가지고 있고, 오브젝트와 장소의 관계 표시부(701)에는 오브젝트와 장소의 관계를 그래프로 표시하는 부분(703)과 선택된 관계에 해당하는 대표장면(Key Frame)(704) 및 그 구간의 사건내용의 설명(705)을 표시하는 부분을 가지고 있다.

도7에서는 오브젝트로서 3명의 등장인물(Character A,B,C)을 제시하고 있으며, 장소로서 병원(Hospital), 등장인물A의 집(A's house), 그리고 공원(The park)을 제시하고 있다.

또, 등장인물A는 병원과 공원에 관계짓고, 등장인물B는 병원에 관계짓고, 등장인물C는 등장인물A의 집에 관계지워져 있다.

여기서 등장인물B와 병원의 관계(706)를 선택한 경우에 등장인물B가 병원에 등장하는 구간에 대한 대표장면이 키프레임(704)으로서 제시되고 있으며 그 구간에 대한 사건설명(705)이 함께 제시되고 있음을 보인다.

한편, 상기한 바와같이 '병원'이라는 장소의 하위계층에 해당하는 레벨이 있음을 표시부-확장버튼 표식(707)으로 나타내고 있다.

이 확장버튼 표식은 메뉴로 표현될 수도 있다.

그러므로 사용자가 이 확장버튼 표식(707)을 선택하면 도8과 같이 '병원'이라는 장소의 하위계층에 해당하는 레벨에서의 오브젝트-장소 관계가 제시된다.

즉, 도8에서도 검색 브라우저(800)는 오브젝트-장소 관계 표시부(801), 사건내용 설명부(802), 오브젝트-장소 관계 그래프 표시부(803), 선택된 관계에 해당하는 키프레임(804) 및 사건내용의 설명(805) 등을 가지면서, '병원'이라는 상위계층의 장소에 대하여 병원로비(The lobby of the hospital) 및 병실(The room of the hospital)이라는 하위계층의 레벨이 제시되고, 또 이 하위계층의 레벨에 대하여 등장인물B와의 관계(806a,806b)가 제시되는 것이다.

그러므로 사용자는 도8의 검색 브라우저로부터 등장인물B와 병원로비의 관계(806a) 또는 등장인물B와 병실의 관계(806b)를 선택할 수 있고, 이렇게 선택된 관계에 해당하는 키프레임(804) 및 그 설명(805)이 검색 결과로서 제시된다.

또한, 다시 상위레벨인 병원으로 가기 위해 그림처럼 병원로비와 병실을 그룹화하는 버튼 표식(807)을 두어 이 버튼 표식(807)을 선택하면 도7의 검색화면으로 돌아간다.

상기 도1 내지 도8에서 설명한 바와같이 본 발명은 동영상의 내용을 오브젝트와 장소와의 관계로부터 검색할 수 있었다.

상기 도1 내지 도8에서는 하나의 비디오 파일 즉, 1편의 드라마나 1편의 영화에 대해서 설명하였다.

그러나, 본 발명의 오브젝트-장소 기반 동영상 검색 시스템의 개념을 확장 적용하여, 본 발명의 동영상 검색 브라우저에서; 복수개의 비디오 파일 전체를 하나의 관계 그래프로 표현하고, 또 각각의 비디오 파일의 내용을 하나의 관계 그래프로 표현한 구조를 모두 가지고, 전체 내용을 관계 그래프로부터 대략 검색하고 하나의 비디오 파일 내용의 관계 그래프로부터 세부적으로 검색하는 동영상 검색 시스템도 실시 가능한 것이다.

예를 들어, 시리즈물 같은 경우 여러개의 비디오 파일로 나누어져 있다고 해도, 시리즈물의 특성상 공통된 오브젝트(예를 들면 같은 주인공)와 공통된 장소(예를 들면 사건전개의 주된 장소)하에서 서로다른 사건이 전개되거나, 맥락상 같은 사건이 여러회에 걸쳐 나누어 상영되는 경우가 보통이므로, 이러한 경우에는 여러편의 비디오 파일의 내용을 전체적으로 하나의 비디오 파일처럼 간주하여 상기 도1 내지 도8의 오브젝트-장소의 관계 그래프 구조로 표현하고, 또 여기에다 각각의 비디오 파일의 내용을 상기 도1 내지 도8과 같은 오브젝트-장소의 관계 그래프 구조로 표현함으로써, 복수개의 비디오 파일에 대한 전체적인 내용을 개략적으로 검색하고 또 하나의 비디오 파일에 대해서 세부적으로 검색하는 것이 가능하게 되는 것이다.

본 발명은 드라마, 영화 등 일반적인 동영상의 내용을 오브젝트, 장소, 시간에 따른 사건이라는 요소의 관계로 표현함으로써 사용자가 보다 쉽게 동영상의 전체적인 또는 부분적인 내용을 요약하고 검색할 수 있는 동영상 검색 시스템을 제공한다.

본 발명은 동영상의 내용 전체에 대한 요약은 물론, 특정한 위치를 선택하여 그 위치에 해당하는 내용을 검색할 수 있다.

본 발명은 영화나 드라마 등의 동영상에 대하여 그 사건 전개의 기본적이고 일반적인 요소인 등장인물, 사건, 배경이라는 3요소를 기준으로 상호 관계 그래프를 제시하였으므로 내용 표현 자체가 이해하기에 매우 자연스럽고, 오브젝트가 인물이 아닌 동물 이야기 등을 내용으로 하는 동영상에도 적용 가능하다.

본 발명에서는 장소가 사건 전개에 따라 그 레벨이 달라질 수 있는데도 적응적으로 대응할 수 있다.

즉, 본 발명에서는 설정된 오브젝트와 장소에 의존적인 하위계층의 오브젝트 또는 장소를 설정하므로 사건 전개에 따른 내용의 이해와 요약을 더욱 쉽게한다.

본 발명은 동영상 내용을 오브젝트와 장소 및 시간에 따른 사건의 전개라는 관점에서 관계를 설정하였기 때문에 다양한 응용이 가능하다.

예를 들어 골프와 같은 스포츠를 내용으로 하는 동영상에 대하여, 주요 오브젝트는 골퍼가 되고, 주요 장소는 각 홀 또는 각 홀내의 특징에 따라, 티 그라운드, 페어웨이, 러프 등으로 그룹지어진 장소일 수 있고, 각 장면의 이벤트는 골퍼의 스윙 종류가 될 수 있으므로, 스포츠 중계를 효율적으로 표현해주는 좋은 응용이 될 수 있다.

또한 본 발명은 복수개의 비디오 파일들의 내용을 하나의 관계 그래프로 표현한 구조와, 각각의 비디오 파일 내용을 하나의 관계 그래프로 표현한 구조를 모두 가지고, 복수개의 비디오 파일 전체 내용을 관계 그래프로부터 개략적으로 검색하고 하나의 비디오 파일 내용의 관계 그래프로부터 세부적인 검색을 수행할 수 있으므로, 복수개의 비디오 파일에 대한 일괄 검색을 가능하게 한다.

이와같이 본 발명은 다양한 분야에 적용되어 전체적인 동영상의 요약과 이해 및 원하는 구간의 효율적인 검색을 가능하게 한다.

Claims (21)

1. 오브젝트와 장소 정보를 포함하는 동영상의 내용을 구성하는 요소에 있어, 오브젝트와 그 오브젝트가 등장하는 장소를 지정하고, 그 관계를 그래프로 나타내는 정보와, 상기 오브젝트와 관련된 장소에서 발생하는 사건의 내용을 나타내는 정보를 포함하여 동영상 데이타를 검색하기 위한 검색 데이타를 구성하는 것을 특징으로 하는 내용기반 동영상 검색 데이타 구성방법.
2. 제 1 항에 있어서, 상기 오브젝트와 관련되 장소에서 발생하는 사건의 내용은 동영상 구간 및 대표장면을 지시하는 정보 포함하는 것을 특징으로 하는 내용기반 동영상 검색 데이타 구성방법.
3. 제 1 항에 있어서, 상기 오브젝트와 장소에 대하여 그 오브젝트와 장소 각각에 종속되는 하위계층의 오브젝트와 장소의 관계를 나타내는 정보를 더 포함하는 것을 특징으로 하는 내용기반 동영상 검색 데이타 구성방법.
4. 제 1 항에 있어서, 상기 오브젝트와 장소는 적어도 하나 이상의 상호 상관성 있는 관계로 지워지는 것을 특징으로 하는 내용기반 동영상 검색 데이타 구성방법.
5. 제 1 항에 있어서, 상기 오브젝트와 장소의 관계를 나타내는 정보는 오브젝트와 장소를 서로 연결하는 그래프로서 제시되는 것을 특징으로 하는 내용기반 동영상 검색 데이타 구성방법.
6. 제 2 항에 있어서, 상기 동영상 구간 및 대표장면을 지시하는 정보는 동영상의 해당 프레임 위치를 가리키는 것을 특징으로 하는 내용기반 동영상 검색 데이타 구성방법.
7. 제 1 항에 있어서, 상기 동영상 구간의 사건내용을 표시하는 정보는 텍스트인 것을 특징으로 하는 내용기반 동영상 검색 데이타 구성방법.
8. 제 2 항에 있어서, 상기 동영상 구간 및 대표장면을 지시하는 정보에 응답하여 해당 동영상 구간을 연속 재생하는 정보를 더 포함하는 것을 특징으로 하는 내용기반 동영상 검색 데이타 구성방법.
9. 동영상의 내용을 구성하는 요소로서 오브젝트와 장소를 선정하여 상호 상관성있는 오브젝트와 장소를 관계짓는 관계 그래프 설정과정과; 상기 관계지워진 오브젝트와 장소의 관계에 해당하는 내용전개의 사건으로서 동영상 구간 및 대표장면을 설정하고 사건 전개의 내용을 부가하는 검색정보 설정과정과; 상기 설정된 관계 그래프로부터 선택되는 관계에 해당하는 검색정보로서 상기 동영상 구간 및 대표장면과 내용을 제시하는 검색과정으로 이루어진 것을 특징으로 하는 내용기반 동영상검색방법.
10. 동영상의 내용을 구성하는 요소로서 주요 오브젝트와 장소와의 관계 그래프를 설정하고 또 그 관계에 해당하는 등장구간들의 위치정보 및 그 등장구간을 대표하는 대표 프레임 위치정보와 함께 사건 설명을 텍스트로서 부가하는 검색 데이타 형성과정과, 상기 동영상에 대하여 오브젝트와 장소와의 관계 그래프를 표시하는 관계 그래프 표시과정과, 상기 표시된 관계 그래프로부터 적어도 하나의 관계가 선택되면 상기 위치정보에 근거하여 상기 선택된 관계안에 존재하는 등장구간들의 대표 프레임 및 사건 설명을 표시하고 사용자가 원하는 구간을 상영하는 검색결과 표시과정으로 이루어진 것을 특징으로 하는 내용기반 동영상 검색방법.
11. 제 10 항에 있어서, 상기 오브젝트-장소의 관계 그래프를 복수개의 비디오 파일 전체와 각각의 비디오 파일에 대하여 모두 설정하고, 상기 설정된 비디오 파일 전체 및 각각의 비디오 파일에 대한 관계 그래프로부터 복수개의 비디오 파일 전체 내용의 검색과 비디오 파일 각각에 대한 세부검색을 수행하는 것을 특징으로 하는 내용기반 동영상 검색방법.
12. 제 10 항 또는 제 11 항에 있어서, 상기 등장구간들 중에서 원하는 등장구간을 선택하면 해당 대표 프레임이 표시되고 상기 사건 설명 또는 보다 자세한 사건설명을 표시하는 것을 특징으로 하는 내용기반 동영상 검색방법.
13. 제 10 항 또는 제 11 항에 있어서, 상기 관계 그래프로부터 복수개의 오브젝트와 장소와의 관계가 선택될 수 있고, 복수개의 오브젝트와 장소와의 관계가 선택되면 복수개의 오브젝트가 해당 장소에서 함께 등장한 구간들만 검색하여 표시하는 것을 특징으로 하는 내용기반 동영상 검색방법.
14. 제 10 항 또는 제 11 항에 있어서, 상기 관계 그래프로부터 하나 이상의 오브젝트만을 선택하면 장소와 관계없이 그 오브젝트(들)이 함께 등장한 구간을 검색하여 표시하는 것을 특징으로하는 내용기반 동영상 검색방법.
15. 제 10 항 또는 제 11 항에 있어서, 상기 관계 그래프로부터 특정 장소만을 선택하면 오브젝트와 관계없이 그 장소가 배경인 구간만을 검색하여 표시하는 것을 특징으로 하는 내용기반 동영상 검색방법.
16. 오브젝트와 장소 정보를 포함하는 동영상의 내용을 구성하는 요소에 있어, 주요 오브젝트와 관련된 장소에 대한 정보를 나타낸 그래프를 가지고 해당 영역에 표시하고, 상기 관계 그래프로부터 사용자에 의해 선택된 관계 그래프에 포함된 사건의 내용정보를 표시하여 선택된 오브젝트에 관련된 장소에 대응하는 동영상 구간의 사건내용을 나타내는 정보를 검색하는 것을 특징으로 하는 동영상 검색 브라우저.
17. 제 16 항에 있어서, 상기 오브젝트-장소의 관계 그래프는 오브젝트나 장소에 의존적인 하위계층으로서의 오브젝트-장소의 관계 그래프를 가지며, 이 하위계층의 오브젝트-장소의 관계 그래프로부터 선택된 관계에 해당하는 동영상 구간의 사건 내용을 검색하는 것을 특징으로 하는 동영상 검색 브라우저.
18. 제 16 항에 있어서, 상기 오브젝트-장소의 관계 그래프는 하나의 오브젝트와 적어도 하나 이상의 장소와의 관계나, 적어도 하나 이상의 오브젝트와 하나의 장소와의 관계 그래프를 가지며, 이 오브젝트-장소와의 관계 그래프로부터 적어도 하나 이상의 관계 그래프가 선택되어 해당 동영상 구간의 사건내용을 검색하는 것을 특징으로 하는 동영상 검색 브라우저.
19. 제 16 항 또는 제 17 항 또는 제 18 항중의 어느 한항에 있어서, 상기 오브젝트-장소의 관계 그래프로부터 선택된 관계에 해당하는 동영상구간의 사건내용은 그 동영상 구간의 대표장면과 사건내용의 설명으로서 검색되는 것을 특징으로 하는 동영상 검색 브라우저.
20. 동영상 내의 오브젝트에 대한 정보를 나타내는 오브젝트정보 영역과,

    상기 오브젝트와 상관성 있는 장소에 관한 정보를 나타내는 장소정보 영역과.

    상기 오브젝트와 장소와의 관계를 나타내는 사건내용 정보로서 해당사건의 대표장면을 지시하는 정보와 해당 사건 내용을 설명하는 텍스트 정보를 포함하는 사건내용정보 영역을 가지고 있으며, 각각의 정보영역은 검색 가능하도록 상호 연결되어 있는 것임을 특징으로 하는 동영상 검색 데이타가 기록된 기록 매체
21. 제 20항에 있어서, 상기 장소 정보영역은 그 오브젝트와 장소 각각에 종속되는 하위계층의 오브젝트와 장소의 관계를 나타내는 정보를 더 포함하는 것을 특징으로 하는 동영상 검색 데이타가 기록된 기록매체.