[go: up one dir, main page]

KR100493674B1 - 멀티미디어 데이터 검색 및 브라우징 시스템 - Google Patents

멀티미디어 데이터 검색 및 브라우징 시스템 Download PDF

Info

Publication number
KR100493674B1
KR100493674B1 KR10-2001-0088258A KR20010088258A KR100493674B1 KR 100493674 B1 KR100493674 B1 KR 100493674B1 KR 20010088258 A KR20010088258 A KR 20010088258A KR 100493674 B1 KR100493674 B1 KR 100493674B1
Authority
KR
South Korea
Prior art keywords
information
multimedia data
interface means
browsing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR10-2001-0088258A
Other languages
English (en)
Other versions
KR20030059398A (ko
Inventor
김주민
김현준
박기수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2001-0088258A priority Critical patent/KR100493674B1/ko
Priority to US10/259,870 priority patent/US20030126603A1/en
Priority to EP02023136A priority patent/EP1324222A3/en
Priority to CNB021548188A priority patent/CN100430921C/zh
Publication of KR20030059398A publication Critical patent/KR20030059398A/ko
Application granted granted Critical
Publication of KR100493674B1 publication Critical patent/KR100493674B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 멀티미디어 데이터를 기술(description)하는 정보를 생성하는 장치와, 멀티미디어 데이터 기술정보(DS:Description Scheme)를 기반으로 하여 멀티미디어 데이터를 검색 및 브라우징(browsing)하는 장치에 관한 것이다.
본 발명의 멀티미디어 데이터 기술정보 생성 시스템은, 멀티미디어 데이터의 기술정보 생성을 위한 사용자 인터페이스 수단과, 상기 사용자 인터페이스 수단과 시스템 사이의 데이터 인터페이스를 위한 데이터 인터페이스 수단과, 상기 사용자 인터페이스 수단에 의해서 선택된 특정 멀티미디어 데이터에 대하여 DDL 타입의 기술정보를 생성하는 DDL 변환 및 생성수단과, 상기 사용자 인터페이스 수단에 의해서 선택된 특정 멀티미디어 데이터에 대하여 2진 포맷의 기술정보를 생성하는 2진 포맷 변환 및 생성수단과, DDL 타입의 기술정보를 해석하여 상기 데이터 인터페이스 수단에 제공하기 위한 DDL 해석수단과, 2진 포맷의 기술정보를 디코딩하여 상기 데이터 인터페이스 수단에 제공하기 위한 2진 포맷 디코딩수단을 포함하여 이루어지는 것을 특징으로 한다.

Description

멀티미디어 데이터 검색 및 브라우징 시스템{MULTIMEDIA DATA SEARCHING AND BROWSING SYSTEM}
본 발명은 멀티미디어 데이터를 기술(description)하는 정보를 생성하는 장치와, 멀티미디어 데이터 기술정보(DS:Description Scheme)를 기반으로 하여 멀티미디어 데이터를 검색 및 브라우징(browsing)하는 장치에 관한 것이다.
대중매체의 발달과 멀티미디어 콘텐츠의 제작이 쉬워짐에 따라 일반인이 매일 접하게 되는 미디어의 양이 매우 방대해 졌다. 멀티미디어 콘텐츠가 방대해짐에 따라 사용자가 원하는 데이터를 선별하여 주는 자동화 시스템에 대한 요구가 발생하였으며, 이를 해결하기 위한 방안들에 대한 연구가 활발히 진행되고 있다.
특히, 디지털 기술이 발달함에 따라 비디오 콘텐츠는 디지털 형태로 저장되어 유통되는 추세로 진행하고 있으며 디지털 방송이 대중화되면 이러한 미디어의 디지털화는 더욱 가속화 될 것이다.
이와 같은 디지털 비디오 콘텐츠에 대하여 어떤 사용자는 뉴스에서 스포츠 관련 뉴스만을 시청하기를 원할 수 있으며, 또 다른 시청자는 뉴스에서 증권 관련 뉴스만을 원하는 경우가 있을 수 있다. 또한 어떤 사용자는 쇼 프로그램에서 특정 인물이 출연하는 장면만을 시청하기 위한 요구가 있을 수도 있다. 이러한 다양한 사용자의 요구를 수용하기 위하여 여러 가지 연구가 활발히 진행되고 있다.
또한 사용자는 제한된 시간 내에 비디오 콘텐츠의 전체 내용을 파악하고자 하는 요구가 있다. 이러한 요구를 수용하는 것이 "하이라이트"이다. 일반적으로 하이라이트는 비디오 콘텐츠에서 중요한 장면을 모아서 새로 구성한 콘텐츠로 이해될 수 있으며, 이는 "스포츠 하이라이트", "영화 예고편", "헤드라인 뉴스" 등을 통하여 접할 수 있다. 그러나, 비디오 콘텐츠에서 하이라이트를 추출하는 것은 현재의 기술로 자동화되기 매우 어려운 영역이다. 따라서 대부분 사람의 수동 작업에 의존하는 것이 보통이다. 앞서 언급된 바와 같이 미디어의 양이 폭발적으로 증가함에 따라 모든 비디오 콘텐츠에 대하여 하이라이트를 수동으로 제공하는 것은 많은 인력이 필요하게 되므로 거의 불가능하다. 따라서 사용자로 하여금 빠른 시간내에 대강의 내용을 이해시킬 수 있는 자동화 시스템이 필요하다.
디지털 기술이 발달함에 따라 비디오 콘텐츠에서 사용자가 원하는 위치로 이동하고자 할 때 사용하기 위한 용도로 키프레임(key frame)이 이용된다. 키프레임을 이용한 비디오 요약을 이용하면 사용자는 원하는 곳으로 빨리 이동할 수 있는 장점이 있다.
근래에는 디지털 비디오에서 원하는 장면을 찾기 위한 용도로 여러 가지 비디오 인덱싱 기술이 연구되고 있다. 특정한 사람이 나온 장면만을 원하는 사용자를 위하여 비디오에서 사람이 나온 장면을 찾아내고 그 사람이 누구인지를 인식하는 과정을 통하여 비디오에서 인물의 등장에 대한 정보를 인덱싱 하거나, 영화나 스포츠 등에서 주요 장면을 추출하고 이를 인덱싱하는 등의 연구가 진행되고 있다.
앞서 설명한 바와 같이 디지털 비디오 기술의 발달과 이미지/비디오 인식 기술의 발달로 인하여 사용자들은 원하는 비디오를 원하는 시점에 원하는 부분만을 검색(searching/ filtering)하고 브라우징(browsing) 할 수 있게 되었다.
비선형적인 비디오 브라우징(non-linear video browsing)과 검색을 위하여 가장 기본이 되는 기술은 샷 세그멘테이션 (shot segmentation) 기법과 샷 클러스터링(shot clustering) 기법이며, 이 두 가지 기술은 비디오를 분석(analysis)하는데 있어서 가장 핵심이 되는 기술이다.
샷(shot)이란 방해(interruption) 없이 하나의 카메라로부터 얻어진 비디오 프레임들의 시퀀스(sequence)를 의미하며, 이는 비디오를 분석(analysis)하거나 구성(construction)하는 가장 기본이 되는 단위이다.
일반적으로 비디오는 수많은 샷의 연결로 구성된다. 샷 세그멘테이션이란 비디오를 각각의 개별 샷으로 분할하는 기법을 의미하며 도1은 샷 세그멘테이션 과정을 도식화 한 것이다. 일반적으로 대부분의 샷 세그멘테이션 알고리즘은 동일한 샷내에서는 이미지적/모션적/오디오적 유사성이 존재하고 두개의 다른 샷 간에는 이미지적/모션적/오디오적 비유사성이 계측되는 특성을 기반으로 한다.
일반적으로 비디오 하이라이트는 비디오 스트림의 내용전개에 있어서 의미상으로 중요한 세그먼트들을 선택하여 이 세그먼트들을 연속적으로 재생하는 방법이다.
또한 일반적으로 비디오에는 의미적인 구성 요소인 씬(scene)이 존재하는데, 여기서 씬은 이야기의 전개 또는 비디오 구성에 있어서 의미적인 구분 요소이며, 일반적으로 하나의 씬 내에는 여러 개의 샷이 존재한다. 이러한 샷과 씬의 개념은 비디오뿐만 아니라 오디오 프로그램에도 같은 방식으로 적용 가능하다.
궁극적으로 멀티미디어 콘텐츠 인덱싱 기법은 콘텐츠에 존재하는 샷/씬 단위의 구조적인 정보를 추출하고 각각의 구조 단위 별로 그 세그먼트를 대표할 수 있는 키 프레임 등과 같은 주요 특징 요소를 추출하여 멀티미디어 콘텐츠에 대한 구조적 정보를 인덱싱하고, 사건(event)의 발생, 시청각 오브젝트(audio-visual object)의 등장, 오브젝트의 상태, 배경(장소 등) 등에 대한 의미적인 정보를 시간축 위에 기술하는 방식으로 인덱싱하여 사용자가 원하는 부분을 쉽게 브라우징하거나 검색할 수 있도록 하는데 그 목적이 있다.
다른 한편으로 상기한 바와 같이 효율적인 비디오 검색과 브라우징을 위하여 비디오 스트림에서 의미적 정보를 표현하는 주요 텍스트 영역이나 뉴스 아이콘 또는 사람의 얼굴 영역 등을 추출하기 위한 연구도 진행되고 있으며, 이러한 키 영역을 합성하여 새로운 키프레임을 추출하는 방법도 소개되고 있다. 합성 키프레임의 경우는 씬이나 샷 등의 세그먼트를 대표할 수 있는 키 영역이나 키프레임을 추출하고 추출된 키 영역이나 키프레임을 이용해서 이들을 하나의 이미지로 합성함으로써, 이 합성된 이미지가 해당 세그먼트의 내용을 대표하는 수단으로 제공되는 방법이다. 이렇게 합성 키프레임을 이용함으로써 작은 디스플레이 공간에 많은 정보를 함축적으로 표현할 수 있고, 사용자는 콘텐츠의 특정 부분의 내용을 보다 빠르고 쉽게 이해할 수 있을 뿐만 아니라, 관심이 있는 부분만 선택하여 디스플레이(시청)하는 것도 가능하게 되었다.
앞서 설명한 바와 같이 멀티미디어 데이터를 내용을 기반으로 하거나, 키프레임을 기반으로 하거나, 텍스트 기반 등으로 효율적인 검색과 브라우징을 위해서 멀티미디어 데이터 기술정보(Description Scheme)가 기술되며, 이 기술정보(DS)는 멀티미디어 데이터의 의미를 기술하는 정보와, 멀티미디어 데이터의 물리적인 구조를 기술하는 정보 등을 포함할 수 있다. 만약 멀티미디어 데이터가 동영상 데이터이고, 키프레임을 기반으로 하여 요약(하이라이트) 기능을 제공한다면 특정 구간을 대표하는 키프레임과 그 키프레임에 의해서 검색되고 상영(디스플레이)될 구간에 대한 정보가 기술정보(DS)로 기술될 것이다.
따라서, 멀티미디어 데이터의 보다 효율적인 검색과 브라우징을 위하여 해당 멀티미디어 데이터를 기술하는 기술정보를 생성하고, 이 생성된 기술정보(DS)를 기반으로 하여 멀티미디어 데이터를 브라우징할 수 있는 시스템이 요구된다.
본 발명은 멀티미디어 데이터의 기술정보(DS)를 자동으로 생성하는 멀티미디어 데이터 기술정보 생성 시스템을 제공한다. 또한 본 발명은 멀티미디어 데이터의 기술정보(DS)를 기반으로 하여 해당 멀티미디어 데이터를 검색할 수 있는 멀티미디어 브라우징 시스템을 제공한다.
본 발명의 멀티미디어 데이터 기술정보 생성 시스템은, 멀티미디어 데이터의 기술정보 생성을 위한 사용자 인터페이스 수단과, 상기 사용자 인터페이스 수단과 시스템 사이의 데이터 인터페이스를 위한 데이터 인터페이스 수단과, 상기 사용자 인터페이스 수단에 의해서 선택된 특정 멀티미디어 데이터에 대하여 DDL 타입의 기술정보를 생성하는 DDL 변환 및 생성수단과, 상기 사용자 인터페이스 수단에 의해서 선택된 특정 멀티미디어 데이터에 대하여 2진 포맷의 기술정보를 생성하는 2진 포맷 변환 및 생성수단과, DDL 타입의 기술정보를 해석하여 상기 데이터 인터페이스 수단에 제공하기 위한 DDL 해석수단과, 2진 포맷의 기술정보를 디코딩하여 상기 데이터 인터페이스 수단에 제공하기 위한 2진 포맷 디코딩수단을 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 멀티미디어 데이터 기술정보 기반 브라우징 시스템은, DDL 타입의 기술정보로 기술되는 멀티미디어 데이터 브라우징을 위하여 DDL 타입의 기술정보를 해석하는 DDL 해석수단과, 2진 포맷의 기술정보로 기술되는 멀티미디어 데이터 브라우징을 위하여 2진 포맷의 기술정보를 해석하는 2진 포맷 디코딩수단과, 상기 해석된 DDL 타입의 기술정보나 2진 포맷의 기술정보에 따라 멀티미디어 데이터 브라우징을 수행하기 위한 데이터 저장수단과, 상기 데이터 저장수단에 저장된 멀티미디어 기술정보를 기반으로 하여 사용자 요구 및 그에 따른 검색 결과를 출력하기 위한 브라우저 인터페이스 수단을 포함하여 이루어지는 것을 특징으로 한다.
또한 본 발명의 멀티미디어 데이터 기술정보 기반 브라우징 시스템에서, 상기 데이터 저장수단에 저장된 기술정보를 데이터 베이스화하기 위하여 변환하는 기술정보 변환수단과, 상기 변환된 기술정보들을 데이터 베이스로 저장하는 기술정보 데이터 베이스와, 상기 브라우저 인터페이스 수단을 통한 사용자 질의에 따라 상기 데이터 베이스로부터 사용자 질의에 적합한 멀티미디어 데이터 브라우징이 이루어지도록 하는 질의 인터페이스 수단을 더 포함하여 이루어지는 것을 특징으로 한다.
도2는 본 발명에 다른 기술정보 생성 시스템과 브라우징 시스템을 함께 나타낸 멀티미디어 데이터 검색 시스템의 실시예를 보여준다. 도2에서 기술정보 생성 시스템(1)은 기술정보 생성을 위한 사용자 인터페이스(2), DOM 메모리(3), DDL 라이터(4), BiM 인코더(5), DDL 해석기(6), BiM 디코더(7)를 포함하고 있다. 도2에서 브라우징 시스템(8)은 DDL 해석기(9), BiM 디코더(10), DOM 메모리(11), 브라우저 사용자 인터페이스(12), 기술정보 변환기(13), 기술정보 데이터 베이스(14), 질의 인터페이스(15)를 포함하고 있다.
도2에 나타낸 본 발명의 기술정보 생성 시스템과, 기술정보 기반 브라우징 시스템은 실시예로서, 동영상 콘텐츠에 대하여 계층적 비디오 요약 기능을 제공하며, 키프레임과 텍스트를 기반으로 하는 브라우징을 위한 기술정보의 생성과, 브라우징이 이루어지는 경우를 보여주며, 지금부터는 계층적 비디오 요약기술에 대하여 기술정보의 생성과 브라우징 방법을 설명하기로 한다. 물론, 본 발명의 기술정보 생성 시스템과 브라우징 시스템은 계층적 비디오 요약 기술에만 제한되지 않으며, 본 발명 시스템을 확장하거나 응용함으로써 MPEG-7을 만족하는 멀티미디어 콘텐츠 기술정보 생성 및 브라우징이 가능하게 될 것이다.
사용자 인터페이스(2)는 기술정보 생성 시스템(1)과 사용자 사이의 인터페이스(DG UI: Description Generation User Interface)이며, 그 인터페이스 화면의 예를 도3에 나타내었다. DOM 메모리(3)는 'Document Object Model Memory'이고 사용자 인터페이스(2)와 시스템 사이의 데이터를 일시 저장하기 위한 인터페이스 환경을 제공한다. DDL 라이터(Description Definition Language Writer)(4)는 DOM 메모리(3)와 연결되어 멀티미디어 데이터에 대한 기술정보를 DDL 타입으로 변환하고 텍스트 DDL 기술 파일(Textural DDL Description File)(16)을 생성한다. BiM 인코더(Binary format of MPEG-7 Encoder)(5)는 상기 DOM 메모리(3)와 연결되어 멀티미디어 데이터에 대한 기술정보를 2진 포맷의 기술정보로 변환하고 해당 파일(Binary Description File)(17)을 생성한다.
도3은 상기 기술정보 생성을 위한 사용자 인터페이스(2)의 일예를 보여준다. 멀티미디어 데이터 디스플레이를 위한 디스플레이 창(21), 멀티미디어 데이터의 디스플레이 제어를 위한 키(22), 세그먼트 정보를 입력하고 선택하기 위한 세그먼트 정보 입력부(23), 해당 멀티미디어 데이터의 세그먼트 요약 정보를 보여주기 위한 세그먼트 요약 뷰어(24), 멀티미디어 데이터의 기술정보 표시부(25), 키워드 선택을 위한 키워드 처리부(26) 등을 포함하고 있다. 메뉴(File,Keyword Category)는 풀 다운 방식으로 운용되며, 각각 하위 레벨의 메뉴를 가질 수 있다.
도2의 멀티미디어 데이터 기술정보 생성 시스템과 도3의 인터페이스에 의하여 멀티미디어 데이터(하나의 콘텐츠)에 대한 기술정보의 생성, 편집 그리고 저장이 다음과 같이 이루어진다.
1. 파일 열기(File Open): 멀티미디어 데이터에 대한 파일 열기를 제공한다. 멀티미디어 데이터가 A/V 콘텐츠인 경우는 새로운 기술정보 파일이 생성되며, 텍스트 DDL 파일(16)이나 MPEG-7의 BiM 포맷을 갖는 BiM 파일(17)을 연다. 텍스트 DDL 파일(16)의 경우는 DDL 해석기(6)에 의해서 해석되어 DOM 메모리(3)를 인터페이스로 하여 열리고, BiM 파일(17)의 경우는 BiM 디코더(7)에 의해서 디코딩되어 DOM 메모리(3)를 인터페이스로 하여 열린다. 경우에 따라서는 BiM 파일(17)을 BiM 디코더(7)에서 디코딩한 것을 DDL 해석기(6)에서 DDL 타입의 데이터로 변환하여 열 수도 있다. 디스플레이 창(21)은 선택된 멀티미디어 콘텐츠가 A/V인 경우 해당 멀티미디어 콘텐츠에 대한 비디오 정보를 디스플레이한다. 디스플레이 제어 키(22)는 해당 멀티미디어 데이터의 재생, 빨리감기, 빨리 되감기, 일시정지, 시작과 종료 등의 사용자 명령을 입력한다.
2. 파일 저장(File Save) : 현재 편집된 기술정보를 저장한다. 즉, 사용자 인터페이스(2)에서 파일 저장을 선택하면 DOM 메모리(3)를 데이터 인터페이스로 하여 해당 기술정보를 그 콘텐츠가 열릴때와 동일한 이름 및 포맷으로 저장한다.
3. 파일 선택적 저장(File Save as) : 현재 편집된 기술정보를 선택적으로 저장한다. 즉, 사용자 인터페이스(2)에서 파일 선택적 저장을 수행하면 DOM 메모리(3)를 데이터 인터페이스로 하여 상기 DDL 라이터(4)에 의해 기술정보를 MPEG-7의 텍스트 DDL 파일(16)의 형태로 저장하거나 MPEG-7의 BiM 파일(17)의 형태로 저장한다. 이 것은 사용자가 선택한 멀티미디어 콘텐츠에 대하여 DOM 메모리(3)를 데이터 인터페이스로 하여 DDL 라이터(4)가 해당 기술정보를 DDL 타입으로 변환하고 해당 텍스트 DDL 파일(16)을 생성하여 출력하거나, BiM 인코더(5)가 해당 기술정보를 2진 포맷으로 변환하고 해당 2진 포맷의 파일(17)을 생성하여 출력한다는 것이며, 경우에 따라서는 DDL 라이터(4)가 생성한 DDL 데이터를 BiM 인코더(5)가 BiM 포맷으로 변환하여 생성할 수도 있다.
4. 키워드 카테코리 선택 : 키워드 카테고리를 선택한다. 즉, 키워드 처리부(26)에서 해당 멀티미디어 콘텐츠의 키워드 카테고리를 선택하는데, 예를 들어 키워드 카테고리를 야구(baseball)로 선택하면 해당 멀티미디어 콘텐츠에 대한 키워드 셋(Keyword Set)이 나타난다.
5. 하이라이트 세그먼트의 생성 및 기술정보 추가 : 새로운 하이라이트 세그먼트를 만들고 기술정보에 추가한다. 먼저, 사용자 인터페이스의 시작 버튼(22a)과 끝 버튼(22b)을 이용해서 세그먼트의 시작 위치(Segment Start Pos.)와 끝 위치(Segment End Pos.)를 입력한다. 시작 버튼(22a)을 누르면 현재 디스플레이 창(21)에 재생되고 있는 위치 값이 세그먼트 정보 입력부(23)의 세그먼트 시작 위치(Segment Start Pos.)에 입력되고, 끝 버튼을 누르면 현재 디스프레이 창(21)에 재생되고 있는 위치 값이 세그먼트 끝 위치(Segment End Pos.)에 입력된다. 그리고, 세그먼트 정보 입력부(23)에서 멀티미디어 콘텐츠의 타이틀(Title)을 입력할 수 있으며, 키워드(Keyword) 입력은 앞서 설명한 바와 같이 키워드 셋(Keyword Set)에서 선택하여 입력하는 방법과, 사용자가 직접 입력하는 방법, 그리고 사용자 키워드 히스토리(Used Keyword History)에서 입력하는 방법이 있다. 이 때 선택한 키워드는 사용자 키워드 히스토리에 추가된다. 한편, 세그먼트 정보 입력부(23)의 중요도 선택부(Select Importance)를 이용해서 해당 세그먼트의 중요도(레벨)를 3단계의 레벨(Very High Importance, High Importance, Importance) 중에서 선택할 수 있고, 추가 버튼(Apply)을 누름으로써 상기 편집된 세그먼트를 기술정보에 추가하게 된다. 이와 같이 입력된 세그먼트 기술정보는 앞서 설명한 바와 같이 DDL 라이터(4)에 의해서 DDL 파일(16)로 생성되거나 BiM 인코더(5)에 의해서 BiM 파일(17)로 생성된다.
6. 기술정보에 있는 하이라이트 세그먼트의 내용 수정 : 세그먼트 요약 뷰어(24)에 있는 임의의 세그먼트(도면에서 사각 막대 형상으로 표현하였다)를 선택하면 세그먼트 정보 입력부(23)에 그 세그먼트에 대한 각종 정보들이 나타나고, 이 정보들 중에서 수정을 원하는 내용을 상기 5. 하이라이트 세그먼트의 생성 및 기술정보 추가 방법과 같이 처리한다.
7. 하이라이트 세그먼트의 제거 : 하이라이트 세그먼트를 기술정보에서 삭제하는데, 그 방법은 세그먼트 뷰어(24)에 있는 임의의 세그먼트를 선택하고, 그 선택된 세그먼트에 대하여 세그먼트 정보 입력부(23)에 표시된 정보를 제거 버튼(Remove)을 누름으로써 삭제한다.
8. 기술정보의 표현 : 기술정보 표시부(25)에 표시되는 정보로서, 각 기술정보에서 각 레벨에 포함된 세그먼트들이 갖는 시간 정보를 나타낸다. 여기서 'Compact'는 레벨0을 갖는 모든 세그먼트들의 총 시간을 나타내고, 'Medium'은 레벨0, 레벨1을 갖는 모든 세그먼트들의 총 시간을 나타내며, 'All'은 레벨0,레벨1,레벨2를 갖는 모든 세그먼트들의 총 시간을 나타낸다. 'Red bar'는 레벨0을 갖는 모든 세그먼트들의 총 시간을 나타내며, 'Blue bar'는 레벨1을 갖는 모든 세그먼트들의 총 시간을 나타내며, 'Black bar'는 레벨2를 갖는 모든 세그먼트들의 총 시간을 나타낸다. 여기서는 비디오 요약을 레벨0,1,2의 3개 레벨에 대해서 설명하였음을 상기한다.
9. 세그먼트 요약 뷰어 : 세그먼트 요약 뷰어(24)는 기술정보에 포함된 세그먼트들이 갖는 레벨과 위치를 시각적으로 나타낸다. 가로 축이 시간 축이며, 각각 사각의 막대 형상으로 표현된 것이 세그먼트들이고, 서로 다른 색상(도면에서는 명암으로 구분하였다)으로 레벨을 구분하였다. 해당 세그먼트를 선택하면 그 세그먼트에 대한 세그먼트 정보의 편집, 제거 등이 가능함은 이미 설명하였다.
지금까지 설명한 바와 같이 멀티미디어 데이터의 기술정보 생성 시스템(1)은 도3에 나타낸 사용자 인터페이스(2)를 이용해서 해당 멀티미디어 데이터의 선택, 선택된 멀티미디어 데이터의 세그먼트 정보 입력, 키워드 선택과 입력, 편집, 저장 등을 수행할 수 있고, 사용자가 선택하고 입력한 기술정보를 DDL 라이터(4)나 BiM 인코더(5)에서 자동적으로 MPEG-7의 텍스트 DDL 파일(16)이나 BiM 파일(17)로 생성하여 출력한다.
다음은 브라우징 시스템(8)에 대해서 설명한다.
도2에 나타낸 브라우징 시스템(8)에서 DDL 해석기(9)는 입력된 DDL 파일(16)을 해석하여 DOM 메모리(11)에 저장한다. BiM 디코더(10)는 입력된 BiM 파일(17)을 디코딩하여 DOM 메모리(11)에 저장한다. DOM 메모리(11)에 저장된 해석된 DDL 파일이나 디코딩된 BiM 파일은 브라우저 사용자 인터페이스(12)에 의해서 브라우징된다. 한편, DOM 메모리(11)에 저장된 해석된 DDL 파일이나 디코딩된 BiM 파일은 기술정보 변환기(13)에 의해서 변환되어 기술정보 데이터 베이스(14)로 구축되고, 질의 인터페이스(15)는 상기 기술정보 데이터 베이스(14)와 브라우저 사용자 인터페이스(12) 사이에서 사용자 요구(질의)에 따른 브라우징이 이루어지도록 질의 정보의 처리와 검색 결과의 제공을 수행한다.
도4는 상기 브라우저 사용자 인터페이스(12)의 한가지 예를 보여준다. 멀티미디어 자원과 브라우징 방법 등을 선택하기 위한 메인 메뉴(12a), 멀티미디어 데이터 디스플레이를 위한 타이틀 플레이어(12b), 멀티미디어 데이터의 검색을 위한 검색 콘텐츠(12c), 멀티미디어 네비게이션을 위한 네비게이션 뷰어(12d) 등이 보여지고 있다. 브라우저 사용자 인터페이스(12)의 (화면)구성이나 그 브라우징 방법은 보다 다양한 형태로 변형될 수 있으며, 도4에 예시한 것으로 제한되지는 않는다.
각종 메뉴화면이나 메뉴 바 등은 풀다운 방식으로 운용될 수도 있으며, 각각 하위 레벨의 메뉴를 더 가질 수도 있다.
도2의 기술정보 기반 브라우징 시스템과 도4의 인터페이스에 의하여 멀티미디어 데이터(하나의 콘텐츠)에 대한 기술정보 기반의 브라우징은, 멀티미디어 자원을 선택하는 단계, 상기 선택된 멀티미디어 자원에 대한 브라우징 방법을 선택하는 단계, 상기 선택된 멀티미디어 자원에 대한 정보와 브라우징 방법에 대응하는 인터페이스를 제공하는 단계, 상기 브라우징 인터페이슬 기반으로 상기 선택된 자원에 대한 브라우징 결과를 제공하는 단계를 포함하여 이루어진다.
상기 도4에 도시한 브라우징 인터페이스를 기반으로 하여 다음과 같은 멀티미디어 자원 브라우징이 이루어질 수 있다.
먼저, 멀티미디어 자원을 선택하는 파일 오픈(File Open)이 이루어진다. 이 것은 멀티미디어 자원에 대한 기술정보(Textural Description 또는 BiM)를 오픈함으로써 이루어진다. 파일 오픈에 의해 상기 기술정보에 포함된 세그먼트(Segment) 들의 시간정보를 디스플레이하며, 여기에 나타나는 시간정보는 시:분:초 단위로 표시된다. 시간정보의 예로는 레벨0을 갖는 모든 세그먼트들의 총 시간을 나타내는 'Compact', 레벨0 내지 레벨1을 갖는 모든 세그먼트들의 총 시간을 나타내는 'Medium', 레벨0 내지 레벨2를 갖는 모든 세그먼트들의 시간을 나타내는 'Detail'이 제공될 수 있다.
앞서 설명한 바와 같이, 상기 오픈된 기술정보를 이용해서 하나의 콘텐트에 대한 멀티 레벨 하이라이트 뷰(Multi-Level Highlight View)를 할 수 있으며, 디포트(Default)로 상기 'Compact'를 갖는다. 멀티 레벨 하이라이트 뷰의 사용방법은 상기 표시된 시간 정보 항목 중에서 하나를 선택하면 해당 항목에 대응하는 세그먼트를 기반으로 하여 타이틀 플레이어(12b)를 실행하여, 각각에 해당하는 모든 세그먼트들을 재생하여 디스플레이한다. 이때 타이틀 플레이어(12b)의 우측으로 해당 세그먼트들의 타이틀(Title_N)이 표시된다.
즉, 사용자가 'Compact'를 선택하면 레벨0을 갖는 모든 세그먼트들을 그 타이틀과 함께 타이틀 뷰어(12b)에서 재생하여 디스플레이하며, 사용자가 'Medium'을 선택하면 레벨0 내지 레벨1을 갖는 모든 세그먼트들을 그 타이틀과 함께 타이틀 뷰어(12b)에서 재생하여 디스플레이하며, 사용자가 'Detail'을 선택하면 레벨0 내지 레벨2를 갖는 모든 세그먼트들을 그 타이틀과 함께 타이틀 뷰어(12b)에서 재생하여 디스플레이하는 것이다.
한편, 상기 자원 및 브라우징 방법의 선택에 따른 해당 세그먼트의 재생과 디스플레이를 통한 브라우징 이외에도, 검색 콘텐츠 항목(Search Contents)(12c)을 이용한 브라우징이 가능하다. 이는 키워드나 타이틀, 또는 사용자가 직접 입력하는 텍스트를 기반으로 하여 질의어(Query)와 일치하는 콘텐츠(Highlight Segment)를 검색함으로써 이루어질 수 있다.
즉, 콘텐츠 검색을 실행하여 해당 항목(Search Contents)(12c)이 디스플레이되고, 키워드/타이틀 리스트(Keyword/Title List)에서 키워드 또는 타이틀을 선택하거나, 사용자가 직접 텍스트로 검색어를 입력하는 방법으로 검색을 실행시킨다.
여기서 검색어는 복수개의 선택이나 논리합(OR) 조건을 허용할 수 있으며, 검색 대상이 데이터 베이스(14)인 경우에는 만약 이미 오픈된 기술정보 파일이 없다면 키워드/타이틀을 이용한 검색어 선택은 지원하지 않고 사용자 입력 텍스트에 의한 검색만 지원한다.
상기한 검색 실행의 결과로 네비게이션 뷰어(12d)가 구동되고 네비게이션 뷰어(12d)에는 상기 입력한 검색어에 매칭되는 세그먼트들이 키프레임(KeyFrame)들이 디스플레이된다. 도4에서 네비게이션 뷰어(12d)에는 가로 4개, 세로 3개 등 총 12개의 키프레임을 한번에 디스플레이하고 있다. 이 키프레임들 중에서 하나를 사용자가 선택하면 해당 키프레임이 대표하는 구간에 해당하는 세그먼트들을 상기 타이틀 플레이어(12b)에 재생하여 디스플레이한다.
한편, 상기한 바와 같이 검색어를 입력하지 않고 네비게이션 뷰어를 실행시키는 경우에는 현재 오픈된 기술정보에 포함된 모든 세그먼트(레벨0 내지 레벨2)들의 키프레임을 네비게이션 뷰어(12d)에 디스플레이하고, 여기서 선택된 하나의 키프레임이 대표하는 구간에 해당하는 세그먼트들을 상기 타이틀 플레이어(12b)에 재생하여 디스플레이한다.
지금까지 설명한 브라우징 방법을 정리하여 보면 다음과 같다.
첫째, 현재 오픈된 기술정보 내에서 검색을 실행하는 경우로서, 이 경우는 기술정보 내에 존재하는 키워드/타이틀을 이용한 검색 및 브라우징을 수행하는 경우, 또는 사용자가 정의한 검색어를 이용한 검색 및 브라우징을 수행하는 경우로 나눌 수 있다.
둘째, 데이터 베이스(14)에서 질의어(Query)와 일치하는 세그먼트를 검색 및 브라우징하는 경우로서, 이 경우는 기술정보 내에 존재하는 임의의 키워드 또는 타이틀을 선택하여 검색 및 브라우징을 하는 경우, 또는 사용자가 입력한 텍스트를 이용해서 데이터 베이스(14)에서 검색 및 브라우징하는 경우로 나눌 수 있다.
앞서 설명한 바와 같이 검색 콘텐츠 항목(12c)에서 키워드나 타이틀 리스트를 제공하는 것은 현재 오픈된 기술정보 파일에 포함된 모든 키워드와 타이틀을 리스트를 디스플레이하기 위한 것이며, 여기에 디스플레이되는 모든 키워드와 타이틀은 상기한 해당 자원에 대한 검색 및 브라우징에 이용된다.
본 발명은 멀티미디어 데이터를 기술(description)하는 정보를 자동으로 생성하는 시스템을 제공하며, 멀티미디어 데이터 기술정보를 생성함에 있어서도 DDL 파일의 형태나 BiM 형태로 생성함으로써, MPEG7 표준에 적합한 메타데이터를 자동적으로 생성할 수 있는 효과가 있다.
또한 본 발명은 상기 멀티미디어 데이터 기술정보(DS:Description Scheme)를 기반으로 하여 멀티미디어 데이터를 검색 및 브라우징(browsing)하는 장치를 제공하며, 멀티미디어 데이터의 검색 및 브라우징이 DDL 파일이나 BiM 형태의 기술정보를 기반으로 하여 이루어질 수 있으므로, MPEG7 표준에 적합한 메타데이터를 기반으로 하는 멀티미디어 자원의 편리하고 효율적인 검색 및 브라우징 환경을 구축할 수 있는 효과가 있다.
도1은 샷 세그멘테이션 과정을 설명하기 위한 도면
도2는 본 발명의 멀티미디어 데이터 검색 시스템 구성을 나타낸 도면
도3은 본 발명의 멀티미디어 데이터 기술정보 생성 시스템의 사용자 인터페이스의 일예를 나타낸 도면
도4는 본 발명의 멀티미디어 데이터 기술정보 기반 브라우징 시스템에서 사용자 인터페이스의 일예를 나타낸 도면

Claims (13)

  1. 멀티미디어 데이터의 기술정보를 생성하는 사용자 인터페이스 수단과, 상기 사용자 인터페이스 수단과 시스템 사이의 데이터 인터페이스를 위한 데이터 인터페이스 수단과, 상기 사용자 인터페이스 수단에 의해서 선택된 특정 멀티미디어 데이터에 대하여 DDL 타입의 기술정보를 생성하는 DDL 변환 및 생성수단과, 상기 사용자 인터페이스 수단에 의해서 선택된 특정 멀티미디어 데이터에 대하여 2진 포맷(BiM)의 기술정보를 생성하는 2진 포맷 변환 및 생성수단과, DDL 타입의 기술정보를 해석하여 상기 데이터 인터페이스 수단에 제공하기 위한 DDL 해석수단과, 2진 포맷의 기술정보를 디코딩하여 상기 데이터 인터페이스 수단에 제공하기 위한 2진 포맷 디코딩수단을 포함하여 이루어지는 것을 특징으로 하는 멀티미디어 데이터 기술정보 자동 생성장치.
  2. 제 1 항에 있어서, 상기 멀티미디어 데이터를 기술하는 정보가 해당 멀티미디어 데이터의 계층적 요약정보를 기술함을 특징으로 하는 멀티미디어 데이터 기술정보 자동 생성장치.
  3. 제 1 항에 있어서, 상기 멀티미디어 데이터를 기술하는 정보가 해당 멀티미어 데이터의 특정 장면이나 구간 등에 대한 부가 설명을 기반으로 하는 기술정보임을 특징으로 하는 멀티미디어 데이터 기술정보 자동 생성장치.
  4. 제 1 항에 있어서, 상기 사용자 인터페이스 수단에 의하여 상기 멀티미디어 데이터에 대한 기술정보 자동 생성을 위한, 해당 자원에 대한 디스플레이, 해당 자원에 대한 시간 정보, 해당 자원에 대한 키워드 정보의 선택이나 입력, 세그먼트들과 각 세그먼트들이 갖는 레벨과 위치정보, 및 이 정보들을 해당 멀티미디어 데이터에 기술하기 위한 정보를 제공하고 이 정보들을 기반으로 하여 해당 기술정보를 생성함을 특징으로 하는 멀티미디어 데이터 기술정보 자동 생성장치.
  5. 제 1 항에 있어서, 상기 사용자 인터페이스 수단에 의하여 상기 멀티미디어 데이터에 대한 기술정보 자동 생성을 위한, 해당 자원에 대한 DDL타입이나 BiM 형태의 기술정보, DDL 타입과 동시에 BiM 형태의 기술정보를 생성함을 특징으로 하는 멀티미디어 데이터 기술정보 자동 생성장치.
  6. 제 1 항에 있어서, 상기 사용자 인터페이스 수단에 의하여 상기 멀티미디어 데이터에 대한 하이라이트 세그먼트의 생성과 해당 기술정보의 생성이 이루어짐을 특징으로 하는 멀티미디어 데이터 기술정보 자동 생성장치.
  7. 제 1 항에 있어서, 상기 사용자 인터페이스 수단에 의하여 상기 멀티미디어 데이터에 대한 기술정보의 수정이나 삭제가 이루어짐을 특징으로 하는 멀티미디어 데이터 기술정보 자동 생성장치.
  8. DDL 타입의 기술정보로 기술되는 멀티미디어 데이터 브라우징을 위하여 DDL 타입의 기술정보를 해석하는 DDL 해석수단과, 2진 포맷의 기술정보로 기술되는 멀티미디어 데이터 브라우징을 위하여 2진 포맷의 기술정보를 해석하는 2진 포맷 디코딩수단과, 상기 해석된 DDL 타입의 기술정보나 2진 포맷의 기술정보에 따라 멀티미디어 데이터 브라우징을 수행하기 위한 데이터 저장수단과, 상기 데이터 저장수단에 저장된 멀티미디어 기술정보를 기반으로 하여 사용자 요구 및 그에 따른 검색 결과를 출력하기 위한 브라우저 인터페이스 수단을 포함하여 이루어지는 것을 특징으로 하는 멀티미디어 데이터 검색 및 브라우징 장치.
  9. 제 8 항에 있어서, 상기 데이터 저장수단에 저장된 기술정보를 데이터 베이스화하기 위하여 변환하는 기술정보 변환수단과, 상기 변환된 기술정보들을 데이터 베이스로 저장하는 기술정보 데이터 베이스와, 상기 브라우저 인터페이스 수단을 통한 사용자 질의에 따라 상기 데이터 베이스로부터 사용자 질의에 적합한 멀티미디어 데이터 브라우징이 이루어지도록 하는 질의 인터페이스 수단을 더 포함하여 이루어지는 것을 특징으로 하는 멀티미디어 데이터 검색 및 브라우징 장치.
  10. 제 8 항 또는 제 9 항에 있어서, 상기 검색 및 브라우징을 위한 인터페이스 수단은, 멀티미디어 자원을 선택하기 위한 수단, 선택된 멀티미디어 자원의 브라우징 방법이나 형태를 선택하기 위한 수단, 상기 선택된 멀티미디어 자원 및 브라우징 방법이나 형태에 따라 해당 멀티미디어를 검색하여 디스플레이하는 수단을 포함하는 것을 특징으로 하는 멀티미디어 데이터 검색 및 브라우징 장치.
  11. 제 10 항에 있어서, 상기 인터페이스 수단은, 선택된 멀티미디어 데이터를 기술하는 정보를 기반으로 하여 해당 멀티미디어 데이터의 특정 구간을 대표하는 키프레임을 디스플레이하고 해당 키프레임이 대표하는 구간을 재생하여 디스플레이 하는 것을 특징으로 하는 멀티미디어 데이터 검색 및 브라우징 장치.
  12. 제 10 항에 있어서, 상기 인터페이스 수단에 의한 브라우징 방법이나 형태의 선택과 이에 따른 검색 및 브라우징은, 키워드나 타이틀 리스트에서의 선택, 또는 사용자 입력 키워드에 의한 해당 세그먼트들의 검색 및 디스플레이에 의해서 이루어지는 것을 특징으로 하는 멀티미디어 데이터 검색 및 브라우징 장치.
  13. 제 10 항에 있어서, 상기 멀티미디어 데이터 기술정보가 계층적 요약을 제공할 때, 상기 인터페이스 수단에 의하여 계층적 요약을 기반으로 하는 해당 세그먼트의 검색 및 디스플레이가 이루어짐을 특징으로 하는 멀티미디어 데이터 검색 및 브라우징 장치.
KR10-2001-0088258A 2001-12-29 2001-12-29 멀티미디어 데이터 검색 및 브라우징 시스템 Expired - Fee Related KR100493674B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR10-2001-0088258A KR100493674B1 (ko) 2001-12-29 2001-12-29 멀티미디어 데이터 검색 및 브라우징 시스템
US10/259,870 US20030126603A1 (en) 2001-12-29 2002-09-30 Multimedia data searching and browsing system
EP02023136A EP1324222A3 (en) 2001-12-29 2002-10-15 Multimedia data searching and browsing system
CNB021548188A CN100430921C (zh) 2001-12-29 2002-11-28 多媒体数据搜索和浏览系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0088258A KR100493674B1 (ko) 2001-12-29 2001-12-29 멀티미디어 데이터 검색 및 브라우징 시스템

Publications (2)

Publication Number Publication Date
KR20030059398A KR20030059398A (ko) 2003-07-10
KR100493674B1 true KR100493674B1 (ko) 2005-06-03

Family

ID=19717925

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0088258A Expired - Fee Related KR100493674B1 (ko) 2001-12-29 2001-12-29 멀티미디어 데이터 검색 및 브라우징 시스템

Country Status (4)

Country Link
US (1) US20030126603A1 (ko)
EP (1) EP1324222A3 (ko)
KR (1) KR100493674B1 (ko)
CN (1) CN100430921C (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100571347B1 (ko) * 2002-10-15 2006-04-17 학교법인 한국정보통신학원 사용자 선호도 기반의 멀티미디어 컨텐츠 서비스 시스템과방법 및 그 기록 매체
US7720969B2 (en) * 2003-07-23 2010-05-18 Canon Kabushiki Kaisha Description document for a service offered by a server in a communication network and method of validating a multimedia document
US20050144305A1 (en) * 2003-10-21 2005-06-30 The Board Of Trustees Operating Michigan State University Systems and methods for identifying, segmenting, collecting, annotating, and publishing multimedia materials
US8990255B2 (en) * 2003-11-17 2015-03-24 Nokia Corporation Time bar navigation in a media diary application
US20050108234A1 (en) * 2003-11-17 2005-05-19 Nokia Corporation Speed browsing of media items in a media diary application
US20050108643A1 (en) * 2003-11-17 2005-05-19 Nokia Corporation Topographic presentation of media files in a media diary application
US7109848B2 (en) * 2003-11-17 2006-09-19 Nokia Corporation Applications and methods for providing a reminder or an alert to a digital media capture device
US8010579B2 (en) 2003-11-17 2011-08-30 Nokia Corporation Bookmarking and annotating in a media diary application
US20050105374A1 (en) * 2003-11-17 2005-05-19 Nokia Corporation Media diary application for use with digital device
US7774718B2 (en) * 2003-12-17 2010-08-10 Nokia Corporation Time handle in a media diary application for accessing media files
US20050187943A1 (en) * 2004-02-09 2005-08-25 Nokia Corporation Representation of media items in a media file management application for use with a digital device
CN100389556C (zh) * 2004-03-05 2008-05-21 华为技术有限公司 一种实现对接口码流进行解析的方法
US20050286428A1 (en) * 2004-06-28 2005-12-29 Nokia Corporation Timeline management of network communicated information
KR100565080B1 (ko) * 2004-09-13 2006-03-30 삼성전자주식회사 대표 타이틀 정보가 부가된 메타 데이터를 포함한 ａｖ데이터를 기록한 정보저장매체, 그 재생장치 및 메타데이터 검색방법
KR100713501B1 (ko) * 2004-10-05 2007-05-02 삼성전자주식회사 이동통신단말기상에서 디지털 동영상을 인덱싱하는 방법
JP4222295B2 (ja) * 2004-11-19 2009-02-12 パナソニック株式会社 ビデオサーバおよびこれを用いた映像配信システム
US20090100339A1 (en) * 2006-03-09 2009-04-16 Hassan Hamid Wharton-Ali Content Acess Tree
US7698262B2 (en) 2006-03-29 2010-04-13 Electronics And Telecommunications Research Institute Apparatus and method for searching multimedia data based on metadata
CN101513070B (zh) 2006-07-11 2011-06-15 韩国电子通信研究院 用于显示轻量级应用场景表示内容的方法和设备
KR20080018778A (ko) * 2006-08-25 2008-02-28 삼성전자주식회사 Ａｖ 컨텐츠를 세그먼트 단위로 실행하는 방법, 제어포인트 장치 및 홈 네트워크 시스템
KR100931636B1 (ko) * 2007-12-14 2009-12-14 주식회사 씬멀티미디어 모바일 플랫폼에서의 ＢｉＭ 복호기에 스키마 정보를입력하는 방법
CN103905694B (zh) * 2014-04-10 2018-05-15 中央电视台 一种关键帧处理方法及系统
CN105653530B (zh) * 2014-11-12 2021-11-30 上海交通大学 一种高效可伸缩的多媒体传送、存储和呈现方法
CN106294454A (zh) * 2015-05-29 2017-01-04 中兴通讯股份有限公司 视频查找方法及装置
JP2017045374A (ja) * 2015-08-28 2017-03-02 富士ゼロックス株式会社 情報処理装置及びプログラム
CN106776890B (zh) * 2016-11-29 2021-06-29 北京小米移动软件有限公司 视频播放进度的调整方法及装置
CN108335094A (zh) * 2018-02-01 2018-07-27 优酷网络技术（北京）有限公司 多媒体资源购买方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980048461A (ko) * 1996-12-17 1998-09-15 양승택 멀티미디어 응용 서비스 개발을 위한 mheg-5 객체 그래픽 편집기
EP1091586A2 (en) * 1999-09-22 2001-04-11 Lg Electronics Inc. User profile information data structure based on user preference and multimedia data browsing system
KR20010037596A (ko) * 1999-10-19 2001-05-15 구자홍 가중치 표현 데이타 구조를 포함하는 멀티미디어 데이타 구조와 멀티미디어 디스플레이 방법
JP2001186448A (ja) * 1999-11-05 2001-07-06 Lg Electronics Inc マルチメディアストリームのブラウジング、編集、検索のための多段階の位置／区間指定方法
KR20010092899A (ko) * 2000-03-27 2001-10-27 노용만 멀티미디어 검색시스템에서 ｍｐｅｇ－７ 표준메타데이터의 은닉 및 검출 방법과 이를 이용한멀티미디어 데이터의 검색방법
WO2001090931A1 (en) * 2000-05-24 2001-11-29 Robert Bosch Gmbh Method for a description of audio-visual data content in a multimedia environment

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5873080A (en) * 1996-09-20 1999-02-16 International Business Machines Corporation Using multiple search engines to search multimedia data
EP0909509B1 (en) * 1997-04-07 2007-05-30 AT & T Corporation System and method for generation and interfacing of bitstreams representing mpeg-coded audiovisual objects
US6463444B1 (en) * 1997-08-14 2002-10-08 Virage, Inc. Video cataloger system with extensibility
US6961954B1 (en) * 1997-10-27 2005-11-01 The Mitre Corporation Automated segmentation, information extraction, summarization, and presentation of broadcast news
US6408128B1 (en) * 1998-11-12 2002-06-18 Max Abecassis Replaying with supplementary information a segment of a video
CN1254136A (zh) * 1998-11-12 2000-05-24 英业达股份有限公司 查询索引多媒体标题数据的方法与装置
US6243676B1 (en) * 1998-12-23 2001-06-05 Openwave Systems Inc. Searching and retrieving multimedia information
US6490370B1 (en) * 1999-01-28 2002-12-03 Koninklijke Philips Electronics N.V. System and method for describing multimedia content
US6941325B1 (en) * 1999-02-01 2005-09-06 The Trustees Of Columbia University Multimedia archive description scheme
US6236395B1 (en) * 1999-02-01 2001-05-22 Sharp Laboratories Of America, Inc. Audiovisual information management system
US7536705B1 (en) * 1999-02-22 2009-05-19 Tvworks, Llc System and method for interactive distribution of selectable presentations
KR100357261B1 (ko) * 1999-12-30 2002-10-18 엘지전자 주식회사 멀티미디어 데이터의 의미적/구조적 정보 생성방법 및 그 정보의 기록매체와 멀티미디어 검색 및 브라우징 방법
US8296805B2 (en) * 2000-05-30 2012-10-23 Sony Corporation Command description scheme providing for dynamic update of instance documents and their associated schema
US20040125124A1 (en) * 2000-07-24 2004-07-01 Hyeokman Kim Techniques for constructing and browsing a hierarchical video structure
WO2002008948A2 (en) * 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
US7200633B2 (en) * 2000-08-25 2007-04-03 Ntt Docomo, Inc. Information delivery system and information delivery method
US8020183B2 (en) * 2000-09-14 2011-09-13 Sharp Laboratories Of America, Inc. Audiovisual management system
US20020120652A1 (en) * 2000-10-20 2002-08-29 Rising Hawley K. Two-stage mapping for application specific markup and binary encoding
EP1199893A1 (en) * 2000-10-20 2002-04-24 Robert Bosch Gmbh Method for structuring a bitstream for binary multimedia descriptions and method for parsing this bitstream
EP1223759A1 (en) * 2001-01-08 2002-07-17 Robert Bosch Gmbh Method for providing an extension code for a binary description for multimedia data
KR20010084897A (ko) * 2001-01-10 2001-09-07 홍기수 통신망을 이용한 백지복권 운영 시스템 및 그 방법
KR100438269B1 (ko) * 2001-03-23 2004-07-02 엘지전자 주식회사 뉴스 비디오 브라우징 시스템에서 앵커 샷 자동 검출 방법
US7206501B2 (en) * 2001-10-12 2007-04-17 The Directv Group, Inc. Method and apparatus for identifying MPEG picture coding types

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980048461A (ko) * 1996-12-17 1998-09-15 양승택 멀티미디어 응용 서비스 개발을 위한 mheg-5 객체 그래픽 편집기
EP1091586A2 (en) * 1999-09-22 2001-04-11 Lg Electronics Inc. User profile information data structure based on user preference and multimedia data browsing system
KR20010037596A (ko) * 1999-10-19 2001-05-15 구자홍 가중치 표현 데이타 구조를 포함하는 멀티미디어 데이타 구조와 멀티미디어 디스플레이 방법
JP2001186448A (ja) * 1999-11-05 2001-07-06 Lg Electronics Inc マルチメディアストリームのブラウジング、編集、検索のための多段階の位置／区間指定方法
KR20010092899A (ko) * 2000-03-27 2001-10-27 노용만 멀티미디어 검색시스템에서 ｍｐｅｇ－７ 표준메타데이터의 은닉 및 검출 방법과 이를 이용한멀티미디어 데이터의 검색방법
WO2001090931A1 (en) * 2000-05-24 2001-11-29 Robert Bosch Gmbh Method for a description of audio-visual data content in a multimedia environment

Also Published As

Publication number Publication date
KR20030059398A (ko) 2003-07-10
EP1324222A3 (en) 2005-10-12
US20030126603A1 (en) 2003-07-03
CN100430921C (zh) 2008-11-05
EP1324222A2 (en) 2003-07-02
CN1430159A (zh) 2003-07-16

Similar Documents

Publication Publication Date Title
KR100493674B1 (ko) 멀티미디어 데이터 검색 및 브라우징 시스템
KR100912984B1 (ko) 메타데이터 편집 장치, 메타데이터 재생 장치, 메타데이터 배신 장치, 메타데이터 검색 장치, 메타데이터 재생성 조건 설정 장치, 콘텐츠 배신 장치, 메타데이터 배신 방법, 메타데이터 재생성 장치, 메타데이터 재생성 방법
Yeo et al. Retrieving and visualizing video
Zhang et al. Developing power tools for video indexing and retrieval
Dimitrova et al. Applications of video-content analysis and retrieval
US6549922B1 (en) System for collecting, transforming and managing media metadata
KR100411340B1 (ko) 뉴스 비디오 콘텐트의 뉴스 기사 기반 요약 및 브라우징시스템
Bolle et al. Video query: Research directions
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
CN101202864B (zh) 动画再现装置
JP4188889B2 (ja) マルチメディアストリームのセグメント間の関係についての情報を用いたビデオブラウジング方法
Srinivasan et al. " what is in that video anyway?": In search of better browsing
US20020051077A1 (en) Videoabstracts: a system for generating video summaries
US20020108112A1 (en) System and method for thematically analyzing and annotating an audio-visual sequence
KR100370247B1 (ko) 등장인물 관계 기반 동영상 검색 방법
JP2006163877A (ja) メタデータ生成装置
KR20010050596A (ko) 효율적인 비디오 개관 및 브라우징을 위한 비디오 요약기술구조와, 그 기술 구조에 따른 요약 비디오 기술데이터 생성방법 및 시스템
KR20090089878A (ko) 개요 및 리포트를 이미 포함하는 시청각 도큐먼트의 새로운 개요를 생성하기 위한 방법 및 상기 방법을 구현할 수 있는 수신기
KR100493635B1 (ko) 멀티미디어 데이터 검색 및 브라우징 시스템
Rehatschek et al. Vizard-an innovative tool for video navigation, retrieval, annotation and editing
Lee et al. An application for interactive video abstraction
JP2006085379A (ja) 情報処理装置及びその制御方法、プログラム
Rehatschek et al. An innovative system for formulating complex, combined content-based and keyword-based queries
Wakita et al. Extended Package-Segment Model and Adaptable Applications
Merialdo Technologies for personalized TV programs

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20011229

PA0201 Request for examination
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20020603

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20040923

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20050511

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20050526

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20050527

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20090410