[go: up one dir, main page]

KR100361499B1 - 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법과 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법 - Google Patents

멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법과 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법 Download PDF

Info

Publication number
KR100361499B1
KR100361499B1 KR1019990041135A KR19990041135A KR100361499B1 KR 100361499 B1 KR100361499 B1 KR 100361499B1 KR 1019990041135 A KR1019990041135 A KR 1019990041135A KR 19990041135 A KR19990041135 A KR 19990041135A KR 100361499 B1 KR100361499 B1 KR 100361499B1
Authority
KR
South Korea
Prior art keywords
cause
information
segment
segments
effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
KR1019990041135A
Other languages
English (en)
Other versions
KR20010028736A (ko
Inventor
전성배
윤경로
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1019990041135A priority Critical patent/KR100361499B1/ko
Priority to US09/666,283 priority patent/US7075591B1/en
Priority to JP2000289169A priority patent/JP2001157165A/ja
Publication of KR20010028736A publication Critical patent/KR20010028736A/ko
Application granted granted Critical
Publication of KR100361499B1 publication Critical patent/KR100361499B1/ko
Priority to JP2004238128A priority patent/JP4188889B2/ja
Priority to US11/159,165 priority patent/US8006267B2/en
Priority to US12/843,623 priority patent/US8234675B2/en
Priority to US12/843,601 priority patent/US8234674B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 비디오 스트림을 효율적으로 브라우징하기 위하여 비디오 스트림의 세그먼트간 원인/결과 관계(cause/effect relationships)를 기술하는 방법과 이를 이용한 효율적인 비디오 브라우징(browsing) 방법에 관한 것이다.
본 발명에서는 비디오 스트림내 또는 비디오 스트림간에 존재하는 세그먼트 또는 사건구간, 씬(scene), 샷(shot) 등간의 원인/결과 관계를 정의하고, 이를 비디오 스트림에 대한 내용기반 데이터 영역에 기술하는 방법과 이와 같은 방법에서 제공하는 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법을 제안하여, 의미 중심의 효율적인 비디오 브라우징이 가능하며, 사용하기 쉽고, 원하는 부분을 쉽게 접근할 수 있으며, 짧은 시간내에 원하는 세그먼트들을 쉽게 브라우징할 수 있는 효율적인 비디오 브라우징 인터페이스를 제공하고자 하는 것이다.

Description

멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법과 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법{Method for representing cause/effect relationship among segments in order to provide efficient browsing of video stream and video browsing method using the cause/effect relationships among segments}
본 발명은 비디오 스트림을 효율적으로 브라우징하기 위하여 비디오 스트림의 세그먼트간 원인/결과 관계(cause/effect relationships)를 기술하는 방법과 이를 이용한 효율적인 비디오 브라우징(browsing) 방법에 관한 것이다.
디지털 비디오 기술의 발달과 이미지 또는 비디오 인식 기술의 발달로 인하여 사용자들은 원하는 비디오나 비디오의 특정 세그먼트를 검색하여 쉽게 접근하고 브라우징할 수도 있으며, 요약본만을 검색하므로써, 짧은 시간내에 효율적으로 비디오의 전체내용을 이해할 수 도 있게 되었다.
전체 비디오를 요약하는 방법에는 장면을 대표할 수 있는 키프레임을 이용하여 이를 적절한 인터페이스를 이용하여 사용자에게 제공하는 방법과 요약 스트림(하이라이트)를 제공하는 방법이 있다.
키프레임을 이용하여 사용자에게 비디오에 대한 요약을 제공하는 방법은 실제의 응용에서는 한계가 있다.
즉, 너무 적은 수의 키프레임을 제공할 경우 사용자는 전체 비디오 스트림을 이해하기 매우 힘들며, 원하는 부분으로 이동하기도 쉽지 않으며, 반면 너무 많은 수의 키프레임을 제공하게 되면 많은 수의 키프레임이 오히려 저장공간이나 사용자의 브라우징 속도에 악영향을 미칠 수도 있다.
이에 여러가지 다른 접근 방식들이 시도되고 있는데, 그 예로 비디오 스트림을 계층적으로 분해(hierarchically decompose)하여 이를 표현하는 방법과 장면(scene)간의 시간축위에서의 관계(temporal relationships among scenes)를 기술하는 장면 전이 그래프(scene transition graph)를 제공하고 이를 이용하여 비디오에서 원하는 부분으로 이동하여 쉽게 원하는 부분만을 브라우징 할 수있도록 하는 사용자 인터페이스를 제공하는 방법 등이 있다.
장면 변화그래프는 비디오에 존재하는 장면간의 시간적인 변화를 기술할 수 있는 방법으로 효율적인 비디오 브라우징의 방법을 제공할 수 있지만 표현하는 장면관계가 시간 정보라는 제한적인 관계를 중심으로 표현하기 때문에 효율적인 의미 중심의 비디오 브라우징에는 적합하지 않다.
또한, 기존의 키프레임을 이용한 방식등에서 제공하는 비디오 브라우징 방법은 비디오 네비게이션(navigation)에 있어서 키프레임이 대표하는 세그먼트로의 이동만을 제공하기 때문에 세그먼트간 의미적인 관계를 이용한 효율적인 세그먼트간 네비게이션을 제공할 수 없다.
이에 본 발명에서는 비디오 스트림내 또는 비디오 스트림간에 존재하는 세그먼트 또는 사건구간, 씬(scene), 샷(shot) 등간의 원인/결과 관계를 정의하고, 이를 비디오 스트림에 대한 내용기반 데이터 영역에 기술하는 방법과 이와 같은 방법에서 제공하는 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법을 제안하여, 특정 세그먼트의 원인이 되는 세그먼트와 특정 세그먼트의 결과로 생기는 세그먼트간의 관계를 이용하여 보다 사용하기 쉽고, 원하는 부분을 쉽게 접근할 수 있으며, 짧은 시간내에 원하는 세그먼트들을 쉽게 브라우징할 수 있는 효율적인 비디오 브라우징 인터페이스를 제공하고자 한 것이다.
도 1은 일반적인 비디오 스트림의 계층적 구분 방법을 나타낸 도면.
도 2는 본 발명에 있어서, 멀티미디어 콘텐트에 존재하는 세그먼트간의 원인/결과 관계 표현방법의 일예를 나타낸 도면.
도 3은 본 발명에 있어서, 세그먼트간 원인/결과 관계 정보의 구조를 개략적으로 나타낸 블록도.
도 4는 본 발명에 있어서, 하나의 세그먼트를 예로 하여, 그 세그먼트를 중심으로한 세그먼트간 원인/결과 서브 그래프의 일예를 나타낸 도면.
도 5는 본 발명에 있어서, 세그먼트간 원인/결과 관계정보를 이용한 비디오 브라우징 인터페이스의 실시예를 나타낸 도면.
상기의 목적을 달성하기 위하여 본 발명에 따른 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법은, 멀티미디어 스트림의 내용기반 데이터 영역에, 소정의 원본 세그먼트를 지정하는 원본 세그먼트 지정정보와, 상기 원본 세그먼트와 관계지어지는 대상 세그먼트를 지정하는 대상 세그먼트 지정정보와, 상기 원본 세그먼트와 대상 세그먼트 간의 관계를 기술하는 관계기술정보를 포함하여 멀티미디어 스트림 정보를 구성하는 점에 그 특징이 있다.또한, 상기의 다른 목적을 달성하기 위하여 본 발명에 따른 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법은, 비디오 디스플레이 뷰와 키프레임 또는 키영역 뷰를 포함하는 비디오 브라우징 인터페이스에 있어서, 세그먼트간 원인/결과 관계정보를 이용하여 세그먼트간 원인/결과 관계를 표시하는 영역을 갖는 인터페이스를 더 포함하고, 세그먼트간 원인/결과 관계를 표시하는 영역을 이용하여 비디오 브라우징이 가능하도록 하는 점에 그 특징이 있다.또한, 본 발명에 있어, 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법은,
멀티미디어 스트림의 헤더 부분이나 중간중간에 또는 멀티미디어 스트림과 연결된 별도의 저장구조로 이루어진 내용 기반 데이터 영역에 세그먼트 지정정보와 지정되는 세그먼트간 관계기술정보를 포함하는 원인/결과 관계기술정보를 기술하여, 스트림 정보를 구성하도록 함을 특징으로 하며,
세그먼트 지정정보는 세그먼트의 위치를 알려주는 구간정보를 포함하며, 관계기술정보에는 지정되는 세그먼트간의 원인/결과 관계를 기술하게 된다.
이와 같은 특징을 갖는 본 발명을 첨부된 도면에 실시된 예를 들어 상세히 설명하면 다음과 같다.
도 3은 본 발명의 예로써, 세그먼트간 원인/결과 관계정보를 블록으로 나타낸 것으로서,
도 3에 도시된 바와 같이, 세그먼트간 원인/결과 관계정보는 관계지어지는 원본 세그먼트 지정정보와, 대상 세그먼트 지정정보로 구분되어지며, 이와 같이 지정된 원본 세그먼트와 대상 세그먼트와의 관계를 기술하는 관계기술정보가 포함되어 있으며, 추가적으로 원인/결과 관계의 가중치 정보를 기술할 수있는 관계 가중치 정보가 포함될 수 있다.
세그먼트 지정정보인 원본 세그먼트와 대상 세그먼트는 각각의 위치를 구분하기 위한 구간정보와 세그먼트가 속한 스트림을 지정하기 위한 스트림 정보가 포함되어 있다.
본 발명은 이와 같은 구성을 갖는 세그먼트의 원인/결과 관계정보를 멀티미디어 스트림의 내용기반 데이터 영역에 포함하여 구성하여 멀티미디어 스트림의 효율적인 브라우징이 가능하도록 하는 것으로,
첨부된 도면 등을 참조하여 그 구성방법을 상세히 설명하면 다음과 같다.
일반적으로 비디오를 분석하거나 쉽게 브라우징 하기 위한 목적으로 도 1에서와 같은 방식의 계층적 분해 방식을 사용하는 바,
개별 비디오 스트림은 복수개의 씬(Scene)으로 나뉘어지고, 또한 하나의 씬은 여러개의 샷(Shot)으로 나뉘어진다.
씬은 대개 논리적으로 같은 의미를 가지는 장면을 의미하며, 샷은 대개 카메라가 연속적으로 촬영한 구간을 의미한다.
또한, 샷은 복수개의 연속적인 프레임들이 나열된 것으로 볼 수 있으며, 상기의 비디오, 씬, 샷은, 시작위치/종료위치 또는 시작위치/길이와 같은 구간정보로 표현할 수 있으며, 여기에는 오디오 정보도 포함된다.
그리고, 프레임은 절대위치로 표현이 가능하다.
일반적으로 비디오 스트림의 세그먼트는 시간축위에서 연속적인 하나 이상의 프레임들을 배열한 것으로 볼 수 있다.
이때, 비디오 스트림의 세그먼트가 구간으로 표현될때에는 오디오 정보를 포함할 수도 있다.
그러므로 세그먼트는 씬, 샷 등을 포함하는 포괄적인 개념이며, 이러한 세그먼트는 사건 구간을 표현할 수도 있다.
여기서, 도 1에서의 'A' 방향으로 진행하는 것을 세그멘테이션(segmentation; 분할)이라고 하고, 'B'방향으로 진행하는 것을 클러스터링(clustering; 결합)이라고 한다.
도 2는 본 발명의 세그먼트간의 원인/결과 관계(cause/effect relationship)를 표현하기 위하여 멀티미디어 콘텐츠(multimedia contents)에 존재하는 원인/결과 관계를 표현한 것이다.
세그먼트간의 원인/결과 관계는 대부분의 멀티미디어 콘텐츠에 존재하며 줄거리(story)를 쉽게 이해하기 위한 수단이 된다.
이러한 세그먼트간의 원인/결과 관계를 예를 들면,
일반 영화는 등장 인물들 간의 사건으로 요약할 수 있는 바, 세그먼트 A에서 등장인물 1과 등장인물 2가 어떤 사건 X를 발생시키고, 그 결과로 등장인물 2와 등장인물 3간에 어떤 사건 Y가 발생한다고 가정하면, 이는 사건 X는 사건 Y의 원인이되며, 사건 Y는 사건 X의 결과가 되는 것이다.
여기서, 사건 Y는 사건 X의 결과이면서, 또다른 임의의 사건에 대하여 원인이되기도 한다.
영화를 이해하는데 있어서, 이러한 세그먼트 혹은 사건간 원인 결과 관계가 제공될 경우 사용자는 이를 이용하여 원하는 부분만을 쉽게 검색할 수 있으며, 짧은 시간내에 전체 스토리를 이해할 수도 있다.
스포츠 응용 분야에서도 세그먼트간 원인/결과 관계가 존재한다. 축구를 예를 들면 실제 골을 넣는 장면과 골 세레모니 장면간에는 원인/결과 관계가 존재하며, 심판의 휘슬과 선수의 반칙이나 오프사이드와 같은 규정위반 장면간에도 원인/결과 관계가 존재한다.
또한, 감독의 표정과 그라운드 내의 특정 사건(반칙,골인)간에도 이러한 원인/결과 관계가 존재하며 특정 사건과 카메라 클로우즈업시의 인물의 표정이나 몸짓간에도 원인 결과 관계가 존재한다.
뉴스와 같은 응용 분야에서도 세그먼트간의 원인/결과 관계가 존재하게 되는 바, 특정 사건의 발생과 그 사건의 발생 원인 설명간에는 원인/결과 관계가 존재하며, 예전의 특정 사건 A가 사건 B에 영향을 미친 경우도 세그먼트간 원인/결과 관계가 존재하게 된다.
또한, 사건 B를 바라보는 시민의 입장에 대한 인터뷰 부분과 사건 A의 설명 부분간에도 역시 세그먼트간 원인/결과 관계가 존재하게 되며, 오늘의 뉴스 논평 부분의 요약 부분에서 논평자가 사회 분위기를 언급하는 부분과 그러한 논평의 원인이 되는 이전의 뉴스 클립간에도 이러한 세그먼트간 원인/결과 관계가 존재한다.
상기한 예에서와 같이 대부분의 멀티미디어 콘텐트의 세그먼트 또는 사건구간, 씬, 샷 간에는 원인/결과 관계가 존재하고, 이를 효율적으로 브라우징할 수 있는 수단을 제공하는 것은 멀티미디어 콘텐트에서 사용자가 원하는 부분만을 쉽게 검색할 수 있는 방안이 된다.
또한, 이러한 세그먼트간 원인/결과 관계는 하나의 스트림내에서만 존재하는 것이 아니라 논리적으로 다른 스트림의 세그먼트간에도 존재할 수 있다.
대부분의 세그먼트간 원인/결과 관계는 자동 인덱싱이 매우 어려우므로 수동인덱싱이 필수적이다.
그러나, 특정한 응용분야에서 특정한 부분에 대하여서는 이러한 세그먼트간 원인/결과 관계를 자동으로 인덱싱할 수 있다.
축구에서 대부분 특정 선수나 감독, 심판 등이 클로우즈업 되거나 선수가 골 세레모니를 하는 장면, 또는 관중이 환호하는 장면등은 오디오나 비디오의 특성을 이용하여 자동 검출할 수 있으며, 골인 장면, 슛장면, 심판의 휘슬 장면 등도 자동 검출이 될 수 있다.
이러한 자동 검출 가능한 세그먼트들을 이용하여 세그먼트간 원인/결과 관계를 자동으로 추출할 수 있는 경우도 있다.또한 상기한 바와 같이, 세그먼트간 원인/결과 관계를 자동으로 추출할 수 없는 경우에는, 멀티미디어 스트림을 생성하는 자 또는 공급자 등이 해당 멀티미디어 스트림을 논리적으로 검토하고, 세그먼트간 원인/결과 관계를 수동으로 인덱싱할 수 있다. 이에 따라, 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보를 부여할 수 있게 된다. 이때, 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보를 부여함에 있어, 보다 구체적으로 각 원인/결과 관계는 해당 멀티미디어 스트림의 각 세그먼트, 씬, 샷 등 간의 원인/결과 관계를 부여할 수도 있다.
이와 같은 관계를 이용하여 본 발명에서는 도 3에서와 같은 구조를 갖는 세그먼트간 원인/결과 관계 정보를 멀티미디어 스트림 정보로서 포함하여 구성하도록 한 것으로,
원인/결과 관계를 갖는 각각의 세그먼트가 동일한 스트림에 존재할 수도 있으며, 각기 다른 별도의 스트림으로 존재할 수도 있으므로, 세그먼트 지정정보(locator)를 사용한다.
세그먼트 지정정보는 원인/결과 관계를 갖는 두 세그먼트가 각기 다른 스트림에 존재하는 경우 각각의 스트림이 어떤 스트림인지를 지정하기 위한 스트림 지정정보와 스트림내에서 세그먼트의 구간 정보를 표현하기 위한 구간지정 정보를 갖는다. 이때, 알려진 바와 같이, 상기 스트림 지정정보는 해당 스트림의 상대/절대위치 정보 및 고유식별자(ID) 정보를 이용하여 표현할 수 있다.
동일한 스트림내의 세그먼트간 관계들만을 표현하기 위하여서는 원본 또는대상 세그먼트 지정정보에서 스트림 지정정보를 빼고 구간지정정보만을 가질 수도 있다.
여기서, 구간지정정보는 구간의 최초 위치와 종료 위치를 설명하거나 최초 위치와 길이정보를 가지고 구성될 수 있다.
또한, 세그먼트간 원인/결과 관계가 원본 스트림을 기준으로 기술될 경우에는 원본 세그먼트 지정정보에서 스트림 지정정보가 생략될 수 있다.
또한, 세그먼트간 원인/결과 관계를 표현하기 위하여서는 원본 세그먼트의 구간지정정보와 대상 세그먼트의 구간지정정보, 관계기술정보가 필요하다.
만약 원인/결과 관계정보가 대칭적(Symmetric)일 경우만 허용하는 구조에서는 원본 세그먼트에대한 상세 또는 요약 관계정보만을 기술한다든지 하는 규약을 추가하므로써, 관계기술정보는 생략될 수도 있다.
이에 반하여 세그먼트간 원인/결과 관계정보가 비대칭적인 경우를 허용하는 구조에서는 관계기술정보가 필요하다.
또한, 원인/결과 관계의 가중치 정보를 추가적으로 가질 수 있는 데, 한 세그먼트에 영향을 미치는 여러 세그먼트들에 대하여 가중치를 기술하거나, 한 세그먼트가 여러 세그먼트에 영향을 미칠 때 그들간의 가중치를 기술하기 위함이다.
이와 같이 본 발명에서 제공하는 비디오 스트림에 대한 내용기반 데이터 영역에 기술될 세그먼트간 원인/결과 관계정보에 따르면, 비디오 스트림의 세그먼트, 이벤트 구간, 씬, 샷간의 원인/결과 그래프를 도 4에서와 같이 구성할 수 있는 바, 도 4는 세그먼트 A를 중심으로 원인/결과 그래프의 일예를 나타낸 것이다.
이는 스트림내에서의 세그먼트들의 구간의 시간적 순서를 고려한 그래프일 수도 있고 아닐 수도 있는 그래프이다.
또한, 도 4에 도시된 바와 같이 그래프에서 원하는 세그먼트 중심의 링크 정보들로 부터 서브 그래프(sub-graph)를 구성하므로써, 원하는 부분만을 자세하게 요약하여 볼 수 있는 브라우징 방법을 제공할 수 있게 된다.
이러한 세그먼트간 원인/결과 관계는 뉴스 뿐만 아니라 일반적인 비디오(드라마, 다큐멘터리, 스포츠,....)등에도 존재하므로 이러한 그래프를 이용하여 쉽게 원하는 부분만을 상세하게 브라우징 할 수있는 방법을 제공할 수 있다.
이와 같은 멀티미디어 스트림의 세그먼트간 원인/결과 관계정보를 이용하면, 사용자가 원하는 부분만을 자세하게 요약하여 볼 수 있는 브라우징 방법을 제공할 수 있는 바,
이와 같은 본 발명 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법은,
비디오 디스플레이 뷰와 키프레임 또는 키영역 뷰를 포함하는 비디오 브라우징 인터페이스에 있어서, 상기한 세그먼트간 원인/결과 관계정보를 이용하여 세그먼트간 원인/결과 관계를 표시하는 영역을 갖는 인터페이스를 더 포함하고, 세그먼트간 원인/결과 관계를 표시하는 영역을 이용하여 비디오 브라우징이 가능하도록 하는 것을 특징으로 하는 것이다.
도 5는 이와 같이 본 발명에서 제공하는 세그먼트간 원인/결과 관계를 이용한 비디오 브라우징 인터페이스의 일례를 나타낸 것으로, 도 5를 참조하여 설명하면 다음과 같다.
크게 비디오 디스플레이 뷰, 키프레임/키영역 뷰, 원인/결과 그래프 뷰의 3부분으로 나뉘어진다.
비디오 디스플레이 뷰는 일반적인 비디오 플레이어에 있는 비디오 디스플레이 뷰와 동일한 기능으로 동영상을 디스플레이하는 부분에 해당한다.
키프레임/키영역 뷰는 비디오를 요약하기 위하여 키프레임이나 키영역을 디스플레이하기 위하여 사용자로 하여금 전체 비디오 스토리를 이해할 수 있도록 도움을 주거나 원하는 위치로 이동할 수 있는 창구를 제공하는 뷰(view)이다.
원인/결과 그래프 뷰는 선택된 비디오 세그먼트를 중심으로 세그먼트간 원인/결과 관계를 텍스트를 이용하거나 그래픽 요소를 이용하여 도시하고 여기서 특정부분을 선택하므로써, 원하는 위치로 쉽게 이동하여 효율적인 비디오 브라우징을 가능하게 하는 부분이다.
본 발명에서 제안하는 비디오 브라우징 인터페이스에서 키프레임/키영역 뷰는 다른 비디오 브라우징 인터페이스에도 존재하는 부분이지만 기능적으로는 세그먼트간 원인/결과 관계를 이용한 브라우징이 가능한 기능적인 추가가 있으며 원인/결과 그래프뷰는 상기한 세그먼트간 원인/결과 관계 정보를 도식화하여 보다 쉬운 비디오 네비게이션이 가능하도록 한 것이다.
사용자는 제어기능을 이용하여 비디오를 브라우징할 수 있으며, 키프레임/키영역 뷰에서 특정한 이미지(프레임 또는 영역)를 선택하므로써, 원하는 위치로 이동을 할 수 있다.
종래의 방식에서는 해당 키프레임이나 키영역이 대표하는 세그먼트로 이동할 수 있도록 하는 기능을 제공하였으나, 본 발명에서는 세그먼트간 원인/결과 관계 정보를 이용하여 키프레임이나 키영역을 선택한 경우 다음의 세가지 방식으로 비디오 네비게이션을 제공하게 된다.
종래의 방식과 동일하게 키프레임이나 키영역이 대표하는 세그먼트로 이동할 수 있는 기능과, 키프레임이나 키영역이 대표하는 세그먼트에 대한 원인이 되는 구간으로 또는 키프레임이나 키영역이 대표하는 세그먼트에 대한 결과를 설명하는 구간으로 이동할 수 있도록 한다.
즉, 사용자가 키프레임/키영역 뷰의 일정한 영역을 선택할 경우 이에 상기한 바와 같이 경로 선택을 묻게 되며, 이에 사용자의 선택에 따라 이동하는 것이다.
사용자는 키프레임이나 키영역을 선택하고 나서 어떠한 이동을 할 지를 선택하면 쉽게 원하는 위치로 이동할 수 있게 된다.
키프레임/키영역 뷰는 프레임들의 1차원 나열로 디스플레이 할 수 있으며, 트리구조나 그래프 구조로도 표현할 수 있다.
원인/결과 관계 그래프 뷰는 본 발명에서 제안하는 원인/결과 관계를 표시하고, 사용자 입력에 따라 액션을 취하는 부분이다.
원인/결과 관계 그래프 뷰는 현재 사용자에 의해 선택된 세그먼트를 중심으로 또는 디스플레이 뷰에서 디스플레이되는 세그먼트를 중심으로 하여 세그먼트간 원인/결과 관계를 노드(node)와 링크로 표현한다.
각 노드는 세그먼트들을 의미하며 키프레임이나 키영역 또는 텍스트등을 이용하여 디스플레이하고, 링크는 세그먼트간 원인/결과 관계를 표시한다.
사용자는 노드 또는 링크를 선택하므로써, 해당 세그먼트로 쉽게 네비게이션을 할 수 있게 하는 인터페이스이다.
따라서, 사용자는 이러한 원인/결과 관계 그래프 뷰에서 노드나 링크를 선택하므로써, 원하는 비디오 시퀀스를 만들어 브라우징 할 수도 있으며, 원하는 부분만을 선택하여 연속적인 재생을 요구할 수 있다.
원인/결과 그래프 뷰는 일반적으로 그래프 형태로 디스플레이 되는 것이 자연스러우며, 필요에 따라서 1차원 뷰나 트리형태의 구조로 디스플레이 될 수도 있다.
사용자는 원인/결과 그래프 뷰에 디스플레이 될 범위를 지정할 수 있는데, 전체 비디오에 대한 원인/결과 그래프 뷰를 요구할 수도 있으며, 현재 선택된 세그먼트에 관련된 세그먼트들만을 디스플레이하도록 요구할 수도 있으며, 선택된 세그먼트로 부터 몇스텝까지의 링크를 요구할 수도 있다.
또한, 본 발명에서 제안하는 세그먼트간 원인/결과 관계를 이용하면 도 5에서와 같은 인터페이스 이외에도 다양한 방식의 인터페이스를 이용하여 비디오를 브라우징 할 수 있다.
또한, 각 노드(세그먼트)를 중심으로한 링크의 갯수를 이용하면 줄거리 전개의 주요 세그먼트 정보를 자동으로 얻을 수 있으므로 이를 이용하여 주요 세그먼트 또는 사건구간별로 순서화하여 사용자에게 제공할 수 있다.
이상에서 설명한 바와 같이, 본 발명은 비디오에 대한 내용기반 데이터 영역에 기술할 수 있는 비디오에 존재하는 세그먼트들 간의 원인/결과 관계를 정의하고, 이를 기술할 수 있는 효율적인 자료 구조를 제안하며, 이를 이용한 효율적인 비디오 브라우징 방법을 제공할 수 있다.
이에 따르면 본 발명은 기존의 키프레임이나 키영역을 이용한 비디오 네비게이션 보다 훨씬 더 강력한 네비게이션을 지원하게 되며, 원하는 내용이 있는 부분을 상세하게 브라우징 할 지 요약하여 브라우징 할지 사용자가 편리하게 선택할 수 있다.
또한, 본 발명은 물리적으로 동일한 스트림내에서의 세그먼트간 원인/결과 관계 뿐만 아니라 각기 다른 스트림내에 존재하는 세그먼트들간의 원인/결과 관계를 기술할 수 있도록 하므로써, 사용자에게 원인/결과 관계가 있는 별도의 스트림에 존재하는 세그먼트들간의 효율적인 네비게이션 방법을 제공할 수 있게 된다.
이와 같은 본 발명은 뉴스뿐만아니라 드라마, 다큐멘터리, 스포츠, 쇼프로 등 거의 모든 비디오에 적용할 수 있는 기본적인 자료 구조를 제공하므로써, 각각의 콘텐트에 알맞은 어플리케이션을 구성할 수 있는 방안이된다.

Claims (17)

  1. 멀티미디어 스트림의 내용기반 데이터 영역에,
    소정의 원본 세그먼트를 지정하는 원본 세그먼트 지정정보와, 상기 원본 세그먼트와 관계지어지는 대상 세그먼트를 지정하는 대상 세그먼트 지정정보와, 상기 원본 세그먼트와 대상 세그먼트 간의 관계를 기술하는 관계기술정보를 포함하여 멀티미디어 스트림 정보를 구성하는 것을 특징으로 하는 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법.
  2. 삭제
  3. 제 1항에 있어서, 상기 원본 세그먼트 지정정보 및 대상 세그먼트 지정정보는 구간정보와 스트림 정보를 포함하여 구성되는 것을 특징으로 하는 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법.
  4. 삭제
  5. 제 3항에 있어서, 상기 각 구간정보는 상기 원본 세그먼트 및 대상 세그먼트의 시작위치와 종료위치로 각각 기술되는 것을 특징으로 하는 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법.
  6. 제 3항에 있어서, 상기 각 구간정보는 상기 원본 세그먼트 및 대상 세그먼트의 시작위치와 길이정보로 각각 기술되는 것을 특징으로 하는 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법.
  7. 제 3항에 있어서, 상기 스트림 정보는 해당 스트림의 상대/절대위치 정보 및 고유식별자(ID) 정보로서 구성되는 것을 특징으로 하는 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법.
  8. 제 3항에 있어서, 상기 원본 세그먼트가 속한 스트림을 기준으로 설정하여 원본 세그먼트 지정정보에서 스트림 정보를 생략할 수 있도록 함을 특징으로 하는 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법.
  9. 제 1항에 있어서, 세그먼트간 원인/결과 관계에 대한 가중치 정보를 더 포함하여, 특정 세그먼트에 영향을 미치는 세그먼트들을 순서화하거나 특정 세그먼트가 영향을 미치는 세그먼트들을 순서화할 수 있도록 하는 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법.
  10. 제 1항, 제 3항 또는 제 5항 내지 제 9항 중의 어느 한 항에 의한 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법에 의하여 생성된 세그먼트간 원인/결과 관계 정보를 포함하는 멀티미디어 스트림 정보가 멀티미디어 스트림의 내용기반 데이터 영역에 기록된 것을 특징으로 하는 멀티미디어 스트림 기록 매체.
  11. 비디오 디스플레이 뷰와 키프레임 또는 키영역 뷰를 포함하는 비디오 브라우징 인터페이스에 있어서,
    제 1항, 제 3항 또는 제 5항 내지 제 9항 중의 어느 한 항의 방법에 의해 제공되는 세그먼트간 원인/결과 관계정보를 이용하여, 세그먼트간 원인/결과 관계를 표시하는 영역을 갖는 인터페이스를 더 포함하고, 세그먼트간 원인/결과 관계를 표시하는 영역 내의 정보를 선택함에 따라 비디오 브라우징을 수행하는 것을 특징으로 하는 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법.
  12. 제 11항에 있어서, 상기 키프레임 또는 키영역 뷰의 일정 표시영역을 선택한 경우, 선택영역의 해당 프레임 또는 선택 영역이 대표하는 세그먼트로 이동할 것인지, 해당 세그먼트의 원인 세그먼트로 이동할 것인지, 결과 세그먼트로 이동할 것인지에 대하여 사용자가 선택할 수 있도록 하는 인터페이스를 더 포함하는 것을 특징으로 하는 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법.
  13. 제 11항에 있어서, 상기 원인/결과 관계를 표시하는 영역은 그래프 뷰로 나타내며, 원인/결과 그래프 뷰는 키프레임이나 키영역으로 세그먼트가 표시되는 노드와 각 노드의 관계를 나타내는 링크로 표시되며, 링크는 원인 관계인지, 결과 관계인지에 따라 서로 다르게 표현되도록 함을 특징으로 하는 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법.
  14. 제 13항에 있어서, 상기 원인/결과 그래프 뷰의 각 노드는 텍스트로 표현된 것을 특징으로 하는 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법.
  15. 제 13항 또는 제 14항에 있어서, 상기 원인/결과 그래프 뷰의 각 노드를 선택하면 해당 세그먼트로 이동되어지도록 함을 특징으로 하는 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법.
  16. 제 11항 또는 제 13항에 있어서, 상기 원인/결과 관계를 나타내는 영역은 현재 재생중인 세그먼트를 중심으로 하여 세그먼트간 원인/결과 정보를 표시하도록 함을 특징으로 하는 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법.
  17. 제 13항 또는 제 14항에 있어서, 상기 원인/결과 그래프 뷰는 복수개의 노드를 선택할 수 있도록 하고, 선택된 하나이상의 노드에 해당되는 세그먼트들을 자동으로 연결하여 표시(재생)하여 줄 수 있도록 함을 특징으로 하는 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법.
KR1019990041135A 1999-09-22 1999-09-22 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법과 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법 Expired - Lifetime KR100361499B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1019990041135A KR100361499B1 (ko) 1999-09-22 1999-09-22 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법과 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법
US09/666,283 US7075591B1 (en) 1999-09-22 2000-09-21 Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same
JP2000289169A JP2001157165A (ja) 1999-09-22 2000-09-22 マルチメディアストリームのセグメント間の意味的連結情報の構成方法並びにこれを用いたビデオブラウジング方法
JP2004238128A JP4188889B2 (ja) 1999-09-22 2004-08-18 マルチメディアストリームのセグメント間の関係についての情報を用いたビデオブラウジング方法
US11/159,165 US8006267B2 (en) 1999-09-22 2005-06-23 Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same
US12/843,623 US8234675B2 (en) 1999-09-22 2010-07-26 Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same
US12/843,601 US8234674B2 (en) 1999-09-22 2010-07-26 Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990041135A KR100361499B1 (ko) 1999-09-22 1999-09-22 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법과 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법

Publications (2)

Publication Number Publication Date
KR20010028736A KR20010028736A (ko) 2001-04-06
KR100361499B1 true KR100361499B1 (ko) 2002-11-21

Family

ID=19612778

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990041135A Expired - Lifetime KR100361499B1 (ko) 1999-09-22 1999-09-22 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법과 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법

Country Status (1)

Country Link
KR (1) KR100361499B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003023781A1 (en) * 2001-09-10 2003-03-20 Thomson Licensing S.A. Extension of m3u file format to support user interface and navigation tasks in a digital audio player
KR100612846B1 (ko) 2004-05-12 2006-08-14 삼성전자주식회사 오디오 재생기에 있어서 충격보호기능을 위한 오디오부호화 방법 및 장치
KR20160116659A (ko) 2015-03-31 2016-10-10 주식회사 스마트큐 지정 커서를 이용한 한영 변환키의 한글모드 및 영문모드 인지 장치 및 방법

Also Published As

Publication number Publication date
KR20010028736A (ko) 2001-04-06

Similar Documents

Publication Publication Date Title
US8234674B2 (en) Method of constructing information on associate meanings between segments of multimedia stream and method of browsing video using the same
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
US5532833A (en) Method and system for displaying selected portions of a motion video image
JP4652462B2 (ja) メタデータ処理方法
KR100347710B1 (ko) 등장인물들의관계중심동영상검색데이터구성방법및검색방법
KR100370247B1 (ko) 등장인물 관계 기반 동영상 검색 방법
US20020126143A1 (en) Article-based news video content summarizing method and browsing system
KR100371813B1 (ko) 효율적인 비디오 개관 및 브라우징을 위한 요약 비디오 기술구조 및 이의 기록매체, 이를 이용한 요약 비디오 기술 데이터 생성 방법 및 생성시스템, 요약 비디오 기술 데이터의 브라우징 장치 및 브라우징 방법.
KR100335817B1 (ko) 멀티미디어 스트림의 세그먼트간 요약/상세설명 관계 정보 구성 방법과 세그먼트간 요약/상세설명 관계 정보를 이용한 비디오 브라우징 방법
EP0555028A2 (en) An apparatus and method for manipulating digital data relating to motion video images
KR20010087683A (ko) 합성 키프레임을 이용한 비디오 브라우징 시스템
CN1993755B (zh) 包括元数据的存储介质及其再现设备和方法
JP3574606B2 (ja) 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体
JPH11288424A (ja) 映像インデックス情報を記録した記録媒体、映像インデックス情報を用いた映像情報管理方法、音声インデックス情報を記録した記録媒体および音声インデックス情報を用いた音声情報管理方法
JP4732418B2 (ja) メタデータ処理方法
KR100319158B1 (ko) 사건구간 기반 동영상 자료 생성방법 및 동영상 검색 방법
KR100657267B1 (ko) 검색을 위한 메타 정보가 포함된 저장 매체, 재생 장치 및그 재생 방법
KR100319160B1 (ko) 사건구간을기반으로하는동영상검색방법과검색데이타구성방법
KR100361499B1 (ko) 멀티미디어 스트림의 세그먼트간 원인/결과 관계 정보 구성 방법과 세그먼트간 원인/결과 관계 정보를 이용한 비디오 브라우징 방법
KR100518846B1 (ko) 내용기반 동영상 검색 및 브라우징을 위한 동영상 데이타 구성방법
JP4652389B2 (ja) メタデータ処理方法
JP2006085379A (ja) 情報処理装置及びその制御方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 19990922

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20020128

Patent event code: PE09021S01D

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20020603

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20020906

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20021106

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20021107

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20050912

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20060911

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20070918

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20080926

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20090929

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20100929

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20110920

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20121026

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20121026

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20131024

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20131024

Start annual number: 12

End annual number: 12

FPAY Annual fee payment

Payment date: 20141024

Year of fee payment: 13

PR1001 Payment of annual fee

Payment date: 20141024

Start annual number: 13

End annual number: 13

FPAY Annual fee payment

Payment date: 20151023

Year of fee payment: 14

PR1001 Payment of annual fee

Payment date: 20151023

Start annual number: 14

End annual number: 14

PC1801 Expiration of term

Termination date: 20200322

Termination category: Expiration of duration