KR20070011092A

KR20070011092A - 멀티미디어 컨텐츠 부호화방법 및 장치와, 부호화된멀티미디어 컨텐츠 응용방법 및 시스템

Info

Publication number: KR20070011092A
Application number: KR1020060049037A
Authority: KR
Inventors: 김상균; 김지연; 문영수; 노용만; 양승지
Original assignee: 삼성전자주식회사; 한국정보통신대학교 산학협력단
Priority date: 2005-07-20
Filing date: 2006-05-30
Publication date: 2007-01-24
Also published as: WO2007029918A1; EP1917811A4; US20070086664A1; EP1917811A1

Abstract

멀티미디어 컨텐츠 부호화방법 및 장치와, 부호화된 멀티미디어 컨텐츠 응용방법 및 시스템이 멀티미디어 컨텐츠 응용방법 및 시스템이 개시된다. 부호화된 멀티미디어 컨텐츠 응용방법은 미디어 데이터를 가리키는 정보를 포함하는 헤더, 미디어 데이터 및 미디어 메타데이터를 포함하는 단일 트랙을 적어도 하나 포함하고 상기 미디어 활용방법에 관한 정보를 나타내는 활용데이터를 포함하는 MAF 파일을 데이터베이스에 저장하는 단계 및 상기 데이터베이스에 저장된 MAF 파일을 브라우징하거나 공유하는 단계를 포함하며, 상기 표준에 맞는 미디어 메타데이터는 미디어 플레이어 메타데이터 혹은 미디어 앨범 메타데이터 중 적어도 하나를 포함한다. 이에 따르면, 사용자에게 특별한 어플리케이션이 없거나, 메타데이터를 활용하는 기능을 포함하고 있지 않더라도, 멀티미디어 컨텐츠를 효과적으로 브라우징하거나 다른 사용자와 공유할 수 있는 등, 통합된 범용적 멀티미디어 컨텐츠의 소비가 가능해진다.

Description

멀티미디어 컨텐츠 부호화방법 및 장치와, 부호화된 멀티미디어 컨텐츠 응용방법 및 시스템{Method and apparatus for encoding multimedia contents and method and system for applying encoded multimedia contents}

도 1은 본 발명의 일실시예에 따른 멀티미디어 컨텐츠 부호화장치의 구성을 나타낸 블럭도이다.

도 2는 도 1에 있어서 메타데이터 생성부에서 생성되는 미디어 메타데이터의 구성요소를 나타낸 것이다.

도 3은 도 2에 있어서 미디어 앨범 메타데이터의 세부적인 구조도이다.

도 4는 도 3에 도시된 미디어 앨범 메타데이터의 사진 인지 힌트 정보 서술 구조도이다.

도 5는 도 3에 있어서 미디어 앨범 메타데이터의 사진 획득 힌트 정보 서술 구조도이다.

도 6는 도 3에 있어서 미디어 앨범 메타데이터의 사진 구도 힌트 정보 서술 구조도이다.

도 7는 도 3에 있어서 미디어 앨범 메타데이터의 인물 정보 서술 구조도이다.

도 8은 도 2에 도시된 미디어 플레이어 메타데이터의 세부적인 구조도이다.

도 9는 도 8에 도시된 사진 그룹 메타데이터의 요소들을 도시한 구조도이다.

도 10은 도 8에 도시된 사진 그룹 식별자를 MPEG-7에 기반하여 표현한 구조도이다.

도 11은 도 8에 도시된 사진 그룹 메타데이터의 필수 요소를 나타낸 구조도이다.

도 12는 도 8에 도시된 이벤트 사진 그룹 메타데이터를 MPEG-7 스키마 형태로 도시한 구조도이다.

도 13은 도 8에 도시된 카테고리 사진 그룹 메타데이터를 MPEG-7 스키마 형태로 도시한 구조도이다.

도 14는 도 8에 도시된 인물 사진 그룹 메타데이터를 MPEG-7 스키마 형태로 도시한 구조도이다.

도 15는 도 8에 도시된 이벤트 사진 그룹 메타데이터의 요소들을 도시한 구조도이다.

도 16은 도 8에 도시된 의한 카테고리 사진 그룹 메타데이터의 요소들을 도시한 구조도이다.

도 17은 도 8에 도시된 인물 사진 그룹 메타데이터의 요소들을 도시한 구조도이다.

도 18은 도 1에 있어서 부호화부에서 생성되는 MAF 파일의 상세한 구조도이다.

도 19은 도 1에 도시된 활용방법 데이터 생성부에서 생성되는 미디어 활용방 법 데이터의 상세한 구조도이다.

도 20a 및 도 20b는 본 발명에 의한 MAF 파일의 실시예를 나타낸 것이다.

도 21은 본 발명에 의한 썸네일 영상을 포함한 MAF 파일의 일실시예이다.

도 22는 본 발명의 일실시예에 따른 부호화된 멀티미디어 컨텐츠 응용시스템의 구성을 나타낸 블럭도이다.

도 23은 본 발명에 의한 사진 앨범 MAF 파일의 브라우징 및 공유 기능을 데이터베이스와 연동하는 과정을 나타내는 것이다.

도 24는 본 발명에 의한 사진 앨범 MAF 파일을 서로 다른 앨범 장치를 통하여 브라우징하는 과정을 나타내는 것이다.

도 25는 본 발명에 의한 사진 앨범 MAF 파일을 이용한 모바일 앨범장치 상에서의 사진 브라우징의 일실시예를 나타낸 것이다.

도 26은 본 발명에 의한 사진 앨범 MAF 파일을 이용한 웹 앨범 장치 상에서의 사진 브라우징의 일 실시예를 나타낸 것이다.

도 27은 본 발명에 의한 웹 앨범 장치 상에서 사진 앨범 MAF 파일을 활용하는 절차를 도시한 것이다.

본 발명은 멀티미디어 컨텐츠 처리에 관한 것으로서, 특히 멀티미디어 컨텐츠 부호화방법 및 장치와, 부호화된 멀티미디어 컨텐츠 응용방법 및 시스템에 관한 것이다.

멀티미디어 관련 국제 표준화 기구인 MPEG(Moving Picture Experts Group)은 1988년 MPEG-1을 시작으로 현재까지, MPEG-2, MPEG-4, MPEG-7, MPEG-21의 표준화 작업을 진행하고 있다. 이와 같이 여러가지의 표준이 개발됨에 따라, 서로 다른 표준 기술을 조합하여 하나의 프로파일을 만들어야 할 필요성이 대두되었다. 이러한 움직임의 하나로 MPEG-A(MPEG Application: ISO/ICE 230000) 멀티미디어 응용 표준화 활동이다. 현재 음악 컨텐츠에 대한 응용 형식 표준화가 MPEG Music Player Application Format(ISO/IEC 23000-2)이라는 이름으로 수행되어 현재 완성 단계에 있고, 영상, 특히 사진 컨텐츠에 대한 응용 형식 표준화가 MPEG Photo Player Application Format(ISO/IEC 23000-3)이라는 이름으로 시작 단계에 있다.

기존에는 하나의 단일 표준 내에서 필요한 요소 규격을 기능 툴(tool)의 집합으로 묶어 하나의 프로파일로 만들어 특정한 응용 서비스를 지원하는 방식을 취하였다. 그러나 이는 산업의 다양한 기술적 요구 사항을 하나의 표준으로 만족시키기 어렵다는 점 때문에 그동안 문제가 되어 왔다. 새로이 표준화가 진행 중인 멀티미디어 응용포맷(multimedia application format, 이하 MAF라 칭함)은 기존의 MPEG 표준들뿐만 아니라, 비 MPEG 표준들을 함께 조합함으로써, 산업의 요구를 적극적으로 대응하여 표준의 활용 가치를 높이고자 한다. MAF 표준화의 주요 목적은 MPEG 기술을 쉽게 산업에서 이용할 수 있는 기회를 제공하는데 있다. 이로써, 산업에서 필요한 응용 서비스를 위해 별도의 표준을 새로 만드는 노력없이 이미 검증된 표준 기술을 쉽게 조합할 수 있다.

현재 음악 MAF는 FDIS(Final Draft International Standard) 상태로 표준화가 거의 완성 단계에 있다. 이로써 기존에 재생 기능만 수행하던 MP3 재생기의 기능을 확장하여, 음악을 장르에 따라 자동으로 분류하여 재생하거나, 음악을 듣는 동시에 가사를 보여주거나, 음악과 관련된 앨범 재킷 사진 등을 브라우징할 수 있게 되었다. 사용자들이 보다 향상된 음악 서비스를 받을 수 있는 파일 형식이 마련된 것이다. 특히, 최근 MP3 재생기가 휴대폰, 게임기(소니의 PSP), 또는 휴대형 멀티미디어 재생기(Portable Multimedia Player, PMP)에 탑재되는 등 소비자에게 인기가 높아지고 있다. 따라서 MAF를 이용한 향상된 기능의 음악 재생기를 상용화하는 것도 빠른 시일 내에 가능할 것이다.

사진 MAF의 표준화 작업은 이제 시작 단계에 있다. MP3 음악과 마찬가지로, 디지털 카메라 시장이 꾸준히 증가하면서 디지털 카메라를 통하여 획득된 사진(일반적으로 JPEG) 데이터가 급속도로 증가하고 있다. 사진 데이터를 저장하는 매체(메모리 카드)가 소형화되고 집적화됨에 따라, 하나의 메모리 카드에 수백장의 사진을 저장할 수 있게 되었다. 그러나, 증가하는 사진의 양과 비례적으로 사용자들이 사진을 관리하면서 느끼는 어려움은 증가하고 있다.

MPEG은 최근 몇 년간 MPEG-7이라는 이름으로 내용 기반 검색/인덱싱에 필요한 요소 기술들을 서술자(descriptor), 서술 구조(description scheme)로 표준화하였다. 서술자는 영상의 질감, 형태, 움직임 등의 내용 기반 특징값을 추출하고 표현하는 방법을 정의하고, 서술 구조는 컨텐츠를 모델링하기 위해 둘 이상의 서술자와 서술 구조 간의 관계를 정의하며 데이터가 어떻게 표현될 것인지를 정의한다. 관련된 많은 연구를 통하여 MPEG-7의 유용성이 증명되었으나, 적절한 응용 형식의 부재로 산업에서의 활용이 늦어지고 있다. 사진 MAF는 이러한 문제점을 해결하기 위하여 사진 컨텐츠와 관련된 메타데이터를 하나의 파일에 함께 묶는 새로운 응용 형식을 표준화하고자 한다.

MPEG은 또한 MPEG-21이라는 이름으로 멀티미디어 통합 프레임워크를 표준화하고 있다. 독자적인 멀티미디어 컨텐츠의 전달 및 이용을 위한 기반 구조들과 관리 체계 시스템으로 인하여, 컨텐츠의 표현 방식에 대한 호환성, 네트워크 전달 방식, 단말 간의 호환성 등의 잠재적인 문제점을 해결하기 위해, 다양한 네트워크 및 장비를 통하여 멀티미디어를 투명하게 접근, 사용, 가공 및 재활용하는 새로운 규격을 제안하고 있다. MPEG-21은 디지털 아이템(멀티미디어 컨텐츠 + 메타데이터)의 선언(declaration), 적응 변환(adaptation), 처리(processing) 등을 포함한다. 그러나, MPEG-7 및 MPEG-21의 이러한 기술들을 어떻게 MAF와 연동시키는지에 대한 문제는 아직 해결해야 할 과제로 남아 있다.

본 발명이 이루고자 하는 기술적 과제는 사용자가 효과적으로 사진을 브라우징하거나 공유할 수 있도록 하기 위하여, 사진 데이터, 사진 영상의 내용으로부터 얻는 비주얼 특징 정보, 사진의 효과적인 인덱싱을 위한 다양한 힌트 특징 정보를 메타데이터로 활용하여 MAF 파일로 부호화하는 멀티미디어 컨텐츠 부호화방법 및 장치를 제공하는데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는 사용자가 MAF 파일을 효과적으 로 브라우징하거나 공유할 수 있도록 MAF 파일을 처리하는 부호화된 멀티미디어 컨텐츠 응용방법 및 시스템을 제공하는 것이다.

상술한 기술적 과제를 해결하기 위하여 본 발명에 의한 멀티미디어 컨텐츠 부호화방법은 (a) 멀티미디어 컨텐츠로부터 미디어 데이터와 메타데이터를 분리하는 단계; (b) 상기 분리된 메타데이터를 이용하여 소정의 표준 포맷에 맞는 메타데이터를 생성하는 단계; 및 (c) 상기 미디어 데이터와 상기 표준 포맷에 맞는 메타데이터를 부호화하여, 상기 미디어 데이터를 가리키는 정보를 포함하는 헤더, 메타데이터 및 미디어 데이터를 포함하는 멀티미디어 응용포맷(MAF) 파일로 생성하는 단계를 포함하며, 상기 표준 포맷에 맞는 메타데이터는 미디어 플레이어 메타데이터를 포함한다.

상술한 기술적 과제를 해결하기 위하여 본 발명에 의한 멀티미디어 컨텐츠 부호화장치는 멀티미디어 컨텐츠로부터 미디어 데이터와 메타데이터를 분리하는 전처리부; 상기 분리된 메타데이터를 이용하여 소정의 표준 포맷에 맞는 메타데이터를 생성하는 메타데이터 생성부; 및 상기 미디어 데이터와 상기 표준 포맷에 맞는 메타데이터를 부호화하여, 상기 미디어 데이터를 가리키는 정보를 포함하는 헤더, 메타데이터 및 미디어 데이터를 포함하는 MAF 파일로 생성하는 부호화부를 포함하며, 상기 표준 포맷에 맞는 메타데이터는 미디어 플레이어 메타데이터를 포함한다.

상술한 다른 기술적 과제를 해결하기 위하여 본 발명에 의한 부호화된 멀티미디어 컨텐츠 응용방법은 (a) 미디어 데이터를 가리키는 정보를 포함하는 헤더, 미디어 데이터 및 미디어 메타데이터를 포함하는 단일 트랙을 적어도 하나 포함하고 상기 미디어 활용방법에 관한 정보를 나타내는 활용데이터를 포함하는 MAF 파일을 데이터베이스에 저장하는 단계; 및 (b) 상기 데이터베이스에 저장된 MAF 파일을 브라우징하거나 공유하는 단계를 포함하며, 상기 표준에 맞는 미디어 메타데이터는 미디어 플레이어 메타데이터 혹은 미디어 앨범 메타데이터 중 적어도 하나를 포함한다.

상술한 다른 기술적 과제를 해결하기 위하여 본 발명에 의한 부호화된 멀티미디어 컨텐츠 응용시스템은 미디어 데이터를 가리키는 정보를 포함하는 헤더, 미디어 데이터 및 미디어 메타데이터를 포함하는 단일 트랙을 적어도 하나 포함하고 상기 미디어 활용방법에 관한 정보를 나타내는 활용데이터를 포함하는 MAF 파일을 저장하는 데이터베이스; 및 상기 데이터베이스에 저장된 MAF 파일을 브라우징하거나 공유하는 응용부를 포함하며, 상기 표준에 맞는 미디어 메타데이터는 미디어 플레이어 메타데이터 혹은 미디어 앨범 메타데이터 중 적어도 하나를 포함한다.

본 발명의 또 다른 측면에 따르면, 상기한 방법들을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예를 보다 상세히 설명하기로 한다.

도 1은 본 발명에 따른 멀티미디어 컨텐츠 부호화장치의 구성을 나타낸 블럭도이다. 본 발명의 일실시예에 따른 멀티미디어 컨텐츠 부호화장치는 전처리부(130), 메타데이터 생성부(150) 및 부호화부(170)를 포함한다. 본 발명의 다른 실시예에 따른 멀티미디어 컨텐츠 부호화장치는 미디어 획득부(110)를 더 포함할 수 있다. 또한, 본 발명의 또 다른 실시예에 따른 멀티미디어 컨텐츠 부호화장치는 활용방법 데이터 생성부(180)를 더 포함할 수 있다.

도 1을 참조하면, 미디어 획득부(110)는 디지털 촬영장치 혹은 녹음장치를 이용하여 사진, 음악, 비디오 등과 같은 적어도 하나 이상의 미디어를 획득한다. 획득된 미디어는 전처리부(130)로 제공된다.

전처리부(130)는 입력되는 미디어로부터 미디어 데이터와 미디어의 기본 메타데이터를 생성한다. 이때, 전처리부(130)에는 미디어 획득부(110)로부터 미디어가 제공될 수도 있고, 미디어 획득부(110) 이외에 외부로부터 미디어가 입력될 수 있다. 전처리부(130)는 미디어에 포함된 EXIF 메타데이터를 파싱하거나 JPEG 영상을 디코딩함으로써 해당 미디어의 기본 메타데이터를 생성하기 위한 정보를 추출하고, 추출된 정보를 이용하여 해당 미디어의 기본 메타데이터를 생성한다. 기본 메타데이터는 각 미디어를 획득하거나 생성할 때 서술되는 메타데이터를 포함한다. 기본 메타데이터의 예로는, JPEG 사진파일의 EXIF 메타데이터, MP3 음악파일의 ID3 메타데이터, MPEG 비디오파일의 압축 관련 메타데이터를 들 수 있으나, 이에 한정되지는 않는다. 전처리부(130)에서 생성된 미디어 데이터와 기본 메타데이터는 미디어 메타데이터 생성부(150)로 제공된다.

메타데이터 생성부(150)는 대량의 미디어 데이터를 하나의 통합된 MAF 파일로 구성하기 위해 필요로 하는 미디어 메타데이터를 생성한다. 일실시예에 따르면 미디어 메타데이터 생성부(150)는 전처리부(130)로부터 제공되는 기본 메타데이터 를 이용하여 소정의 표준에 맞는 미디어 메타데이터를 생성한다. 다른 실시예에 따르면, 미디어 메타데이터 생성부(150)는 MPEG 기반의 표준화된 서술 툴을 이용함으로써 입력되는 미디어로부터 직접 기본 메타데이터를 추출 및 생성하고, 생성된 기본 메타데이터를 이용하여 표준에 맞는 미디어 메타데이터를 생성한다. 미디어 메타데이터를 표준화된 형식 및 구조에 따라서 생성하는 경우, 바람직하게는 MPEG-7 및 MPEG-21을 이용하나, 이에 한정되지는 않는다.

부호화부(170)는 메타데이터 생성부(150)로부터 제공되는 미디어 메타데이터를 미디어 데이터와 함께 부호화하고, 부호화결과 하나의 통합된 MAF 파일(190)을 생성한다.

활용방법 데이터 생성부(180)는 MAF 파일의 활용방법에 대한 데이터를 생성하고, 생성된 활용방법 데이터를 부호화부(170)로 제공한다.

도 2는 도 1에 있어서 메타데이터 생성부(150)에서 생성되는 미디어 메타데이터로서, 자세한 메타데이터 정보를 포함하는 미디어 앨범 메타데이터(210)와 간단한 메타데이터 정보를 포함하는 미디어 플레이어 메타데이터(230) 중 적어도 하나로 구성된다.

도 3은 도 2에 도시된 미디어 앨범 메타데이터(210)의 구성요소 및 각 구성요소의 구조를 나타낸 것이다.

도 3을 참조하면, 미디어 메타데이터는 미디어의 내용기반 특징값을 나타내는 항목(content-based features)(3100)와, 많은 양의 사진을 의미있는 그룹으로 만들어 함께 묶은 사진 그룹정보를 나타내기 위한 항목(photo collection info.)(3200)와, 사진을 미디어 메타데이터에 기반하여 브라우징하거나 공유하는 과정에 있어서 필요한 정보를 나타내는 항목(processing info.)(3300), 생성된 사진 앨범에 대한 사용(소비) 권리를 나타내는 항목(right info.)(3400), 사진 앨범을 보다 효과적으로 구성하는데 힌트로서 작용할 수 있는 정보를 나타내는 항목(albuming hints)(3500)을 포함한다.

내용기반 특징값 항목(3100)은 사진 콘텐츠의 색상, 질감, 모양 등의 비주얼 특징 정보에 대한 메타데이터인 MPEG-7 비주얼 서술자(visual descriptors)(3110)와, 사진과 관계된 음성이나 음악 등의 오디오 특징 정보에 대한 메타데이터인 MPEG-7 오디오 서술자(audio descriptors)(3120)를 포함한다.

사진 그룹정보 항목(3200)은 같은 이벤트에 속하는 사진들이나, 같은 인물이 포함된 사진들이나, 같은 카테고리에 속하는 사진들에 대한 정보를 기술하는 항목이다. 일실시예에서는 사진 그룹 정보를 MPEG-7 MDS(multimedia description scheme)(3210)을 이용하여 표현하거나, MPEG-21 DID(digital item declaration)(3220)을 이용하여 표현한다. 그러나, 사진 앨범의 사진 그룹 정보를 표현하는 수단이 MPEG-7 MDS(3210)와 MPEG-21 DID(3220)에 한정되지는 않는다. MPEG-7 MDS(3210)는 기본적으로 미디어의 생성정보(creation information)(3211) 메타데이터와, 미디어의 의미정보(semantic information)(3212) 메타데이터와, 콘텐츠 구성정보(content organization info.)(3213) 메타데이터를 포함한다. 그러나, 본 발명에 적용된 MPEG-7 MDS(3210)가 상기 열거한 메타데이터에 한정되지는 않으며, 제안된 MPEG-7 MDS에 포함된 그 밖의 다른 메타데이터를 포함할 수 있다.

사진 처리 정보 항목(3300)은 사진을 미디어 메타데이터에 기반하여 브라우징하거나 공유하는 과정에 있어서 필요한 정보를 기술하는 항목이다. 이를 위하여, 여러 장의 사진들을 메타데이터에 기반하여 화면에 표시하기 위한 절차를 MPEG-4 장면 기술자(scene description)(3310)을 이용하여 기술하거나, 여러 장의 사진들을 미디어 메타데이터에 기반하여 화면에 표시하기 위한 절차를 MPEG-21 DIP(digital item processing)(3320)을 이용하여 기술하거나, 사진 앨범에 대한 멀티미디어 응용포맷 파일을 단말의 성능이나 네트워크의 성능에 따라 적응 변환하기 위한 정보를 MPEG-21 DIA(digital item adaptation)(3330)을 이용하여 기술한다.

사진 앨범 사용 권리를 나타내는 항목(3400)은 사진 앨범에 대한 MAF 파일의 소유자가 사진 앨범에 대한 MAF 파일을 암호화하여 다른 사용자가 사진 앨범에 접근하는 것을 제어하기 위한 항목으로서 MPEG-21 IPMP(intellectual property management and protection)(3410)을 포함하고, 기타 다른 권리 표현 방법을 이용하여 사진 앨범에 대한 MAF 파일을 브라우징하는 것을 제어하기 위한 항목(view permission)(3420)을 포함하고, 사진 앨범에 대한 MAF 파일을 인쇄하는 것을 제어하기 위한 항목(print permission)(3430)을 포함하고, 사진 앨범에 대한 MAF 파일을 편집하는 것을 제어하기 위한 항목(editing permission)(3440)을 포함한다. 그러나, 본 발명에 따른 사진 앨범 사용 권리를 나타내는 항목이 상기 열거한 항목들에 한정되지는 않는다.

사진 앨범 힌트항목(3500)은 사진의 내용에 대한 사람의 인지적 특성들을 표현하기 위한 힌트항목(perception hints)(3510), 사진을 촬영할 당시의 카메라 정 보 및 촬영 정보를 표현하기 위한 힌트항목(acquisition hints)(3520), 카메라의 구도 정보를 표현하기 위한 힌트항목(view hints)(3540), 사진에 포함된 인물에 대한 정보를 표현하기 위한 힌트항목(subject hints)(3550), 사진의 인기도 정보를 표현하기 위한 힌트항목(popularity)(3560)를 포함한다.

도 4는 도 3에 도시된 사진 인지 힌트항목(3510)의 서술구조를 상세하게 나타낸 것이다. 사람이 사진을 볼 때 일반적으로 가장 강하게 느껴지는 느낌이 존재하므로, 사진 인지 힌트항목(3510)의 서술구조는 사람이 사진의 내용을 직관적으로 인지하는 특성에 대한 정보를 포함한다.

도 4를 참조하면, 사진 인지 힌트항목(3510)의 서술구조는, 사진의 색상 표현의 화려함 정도를 나타내는 항목(avgColorfulness)(3511), 사진에 나타낸 전체 색상의 응집도를 나타내는 항목(avgColorCoherence)(3512), 사진에 포함된 내용의 정밀도를 나타내는 항목(avgLevelOfDetail)(3513), 사진 내용의 질감 정보의 균질성(homogeniety)을 나타내는 항목(avgHomogenity)(3514), 사진에 포함된 내용의 에지 정보의 강인성을 나타내는 항목(avgPowerOfEdge)(3515), 사진에 포함된 내용에 대한 카메라 초점의 심도를 나타내는 항목(avgDepthOfField)(3516), 일반적으로 셔텨 속도가 느려서 발생하는 사진 흔들림에 의해 사진이 흐려진 정도를 나타내는 항목(avgBlurrness)(3517), 사진을 촬영할 때 고도의 플래쉬의 광량이 사용되었거나, 강한 광량의 외부 광원에 의해 사진 내용이 빛에 의해 가려진 정도를 나타내는 항목(avgGlareness)(3518), 사진의 전체적인 밝기에 대한 정보를 나타내는 항목(avgBrightness)(3519)을 포함한다.

사진의 색상 표현의 화려함 정도를 나타내는 항목(3511)은 색상 히스토그램으로부터 각 RGB 색상값의 히스토그램 높이와 전체 색상값의 분포도값을 정규화하여 측정하거나, CIE L*u*v* 색상 공간을 이용하여 측정한 색상의 분포도값을 이용하여 측정할 수 있다. 그러나, 사진의 색상 표현의 화려함 정도를 나타내는 항목(3511)을 측정하는 방법이 상기 열거한 방법에 한정되지는 않는다.

사진의 색상 표현의 응집도를 나타내는 항목(3512)은 MPEG-7 비주얼 서술자 중 주 색상(dominant color) 서술자를 이용하여 측정할 수 있으며, 색상 히스토그램으로부터 각 색상값의 히스토그램 높이와 전체 색상값의 분포도 값을 정규화하여 측정할 수 있다. 그러나, 사진의 색상 표현의 응집도를 나타내는 항목(3512)을 측정하는 방법이 상기 열거한 방법에 한정되지는 않는다.

사진에 포함된 내용의 정밀도를 나타내는 항목(3513)은 사진의 픽셀 정보로부터 측정한 엔트로피를 이용하여 측정하거나, 사진의 실제 복잡성을 판단하는 요소인 'isopreference curve'를 이용하여 측정하거나, 영상 크기, 양자화 스텝 등에대하여 동일 조건을 가지고 압축했을 경우에 압축율을 비교하는 상대적 측정 방법에 의해 측정될 수 있다. 그러나, 사진에 포함된 내용의 정밀도를 나타내는 항목(3513)을 측정하는 방법이 상기 열거한 방법에 한정되지는 않는다.

사진 내용의 질감 정보의 균질성을 나타내는 항목(3514)은 MPEG-7 비주얼 서술자중 질감 브라우징(texture browsing) 서술자의 특징값으로부터 질감의 균질함(regularity), 방향(direction), 크기(scale) 등을 이용하여 측정할 수 있다. 그러나, 사진 내용의 질감 정보의 균질성을 나타내는 항목(3514)을 측정하는 방법이 상기 방법에 한정되지는 않는다.

사진에 포함된 내용의 에지 정보의 강인성을 나타내는 항목(3515)은 사진으로부터 에지 정보를 추출하여, 추출된 에지 강도를 정규화하여 측정할 수 있다. 그러나, 사진에 포함된 내용의 에지 정보의 강인성을 나타내는 항목(3515)을 측정하는 방법이 상기 방법에 한정되지는 않는다.

사진에 포함된 내용에 대한 카메라 초점의 심도를 나타내는 항목(3516)은 일반적으로 카메라 렌즈의 초점 거리, 렌즈의 지름, 조리개 수치 등을 이용하여 측정할 수 있다. 그러나, 사진에 포함된 내용에 대한 카메라 초점의 심도를 나타내는 항목(3516)을 측정하는 방법이 상기 방법에 한정되지는 않는다.

카메라 셔터를 누르는 순간 발생한 흔들림 현상에 의해 사진 내용이 흐려진 정도를 나타내는 항목(3517)은 사진 내용의 에지 강도를 이용하여 측정할 수 있다. 그러나, 카메라 셔터를 누르는 순간 발생한 흔들림 현상에 의해 사진 내용이 흐려진 정도를 나타내는 항목(3517)을 측정하는 방법이 상기 방법에 한정되지는 않는다.

강한 광량의 외부 광원에 의해 사진의 내용이 빛에 의해 가려진 정도를 나타내는 항목(3518)은 사진의 일부 혹은 전체 영역에 걸쳐 기준치 이상의 광원이 찍힌 경우 즉, 과다 노출의 경우를 나타내는 값으로, 사진 픽셀 값의 밝기를 이용하여 측정할 수 있다. 그러나, 강한 광량의 외부 광원에 의해 사진의 내용이 빛에 의해 가려진 정도를 나타내는 항목(3518)을 측정하는 방법이 상기 방법에 한정되지는 않는다.

사진의 전체적인 밝기 정보를 나타내는 항목(3519)은 사진 픽셀 값의 밝기를 이용하여 측정할 수 있다. 그러나, 사진의 전체적인 밝기 정보를 나타내는 항목(3519)을 측정하는 방법이 상기 방법에 한정되지는 않는다.

도 5는 도 3에 도시된 사진 획득 힌트항목(3520)의 서술구조를 상세하게 나타낸 것이다. 사진 획득 힌트항목(3520)은 사진 앨범화에 사용될 수 있는 기본적인 사진 촬영 정보 및 카메라 정보를 포함한다.

도 5를 참조하면, 사진 획득 힌트항목(3520)의 서술구조는 해당 사진 데이터가 EXIF 정보를 메타데이터로 포함하고 있는지의 여부를 나타내는 정보(EXIFAvailable)(3521), 사진을 촬영한 촬영자의 이름 및 ID에 대한 정보(artist)(3522), 사진을 촬영한 시간 정보(takenDateTime)(3523), 사진을 촬영한 카메라를 생산한 회사의 정보(manufacturer)(3524), 사진을 촬영한 카메라 모델 정보(CameraModel)(3525), 사진을 촬영할 때의 셔터 스피드 정보(ShutterSpeed)(3526), 사진을 촬영할 때의 색상 모드 정보(ColorMode)(3527), 사진을 촬영할 때의 필름(디지털 카메라의 경우, CCD나 CMOS의 촬상 소자)의 감도를 나타내는 정보(ISO)(3528), 사진을 촬영할 때의 플래쉬를 이용했는지의 여부를 나타내는 정보(Flash)(3529), 사진을 촬영할 때의 렌즈 조리개의 개방치를 나타내는 정보(Aperture)(3530), 사진을 촬영할 때 사용한 광학 또는 디지털 줌의 거리를 나타내는 정보(ZoomingDistance)(3531), 사진을 촬영할 때 초점 거리를 나타내는 정보(FocalLength)(3532), 사진을 촬영할 때의 초점에 맞은 객체와 카메라와의 거리를 나타내는 정보(SubjectDistance)(3533), 사진을 촬영할 때의 장소에 대한 GPS 정보(GPS)(3534), 사진을 촬영할 때의 카메라의 방향을 사진 이미지의 첫번째 픽셀이 위치하는 방향을 나타내는 정보(Orientation)(3535), 사진을 촬영할 때 함께 녹음된 음성이나 사운드를 나타내는 정보(relatedSoundClip)(3536), 사진을 촬영한 후, 카메라 내에서의 고속 브라우징을 위하여 저장된 썸네일 이미지를 나타내는 정보(ThumbnailImage)(3537)를 포함한다.

상기 정보는 EXIF 메타데이터 내에 존재하는 정보이지만, 사진 앨범화에 유용하게 사용될 수 있는 정보이다. 만일, 사진 데이터가 EXIF 메타데이터를 포함하고 있다면, 더 많은 정보를 이용할 수 있지만, 사진 데이터가 EXIF 메타데이터를 포함하고 있지 않은 경우가 있을 수 있으므로, 상기한 중요한 메타데이터를 사진 앨범화 힌트로 서술한다. 사진 획득 힌트항목(3520)의 서술 구조에는 상기 열거한 정보들을 포함하지만, 이에 한정되지는 않는다.

도 6은 도 3에 도시된 사진 구도 힌트항목(3540)의 서술구조를 상세하게 나타낸 것이다.

도 6을 참조하면, 사진 구도 힌트항목(3540)은 사진에 표현된 주된 부분이 배경인지 전경인지의 여부를 나타내는 항목(centricView)(3541), 사진에 표현된 내용들 가운데 전경에 해당하는 부분의 위치를 나타내는 항목(foregroundRegion)( 3544), 배경에 해당하는 부분의 위치를 나타내는 항목(backgroundRegion)(3545), 사진에 초점이 맞은 영역을 나타내는 항목(focused region)(3546)을 포함한다. 여기서, 사진에 표현된 주된 부분이 배경인지 전경인지의 여부를 나타내는 항목(3541)은 전경이 주된 경우를 표현하는 항목(foregroundCentric)(3542)와 배경이 주된 경우를 표현하는 항목(backgroundCentric)(3543)을 포함한다.

도 7은 도 3에 도시된 인물 힌트항목(3550)의 서술구조를 상세하게 나타낸 것이다.

도 7을 참조하면, 인물 힌트항목(3550)은 사진에 포함된 인물의 인원 수를 나타내는 항목(numOfPersons)(3551), 사진에 포함된 각 인물의 위치 정보를 해당 인물의 얼굴 위치와 인물이 입고 있는 옷 위치로 나타내는 항목(PersionIdentityHints)(3552), 사진에 포함된 인물들 간의 관계를 나타내는 항목(InterPersonRelationshipHints)(3556)을 포함한다.

사진에 포함된 각 인물의 얼굴 위치 정보 및 인물이 입고 있는 옷 위치 정보를 나타내는 항목(3552)은 해당 인물의 식별자(PersonID)(3553), 해당 인물의 얼굴 위치(facePosition)(3554), 인물이 입고 있는 옷의 위치(clothPosition)(3555)를 포함한다.

사진에 포함된 인물들 간의 관계를 나타내는 항목(3556)은 두 명의 사람을 나타내는 식별자(PersonID1, PersonID2)(3557, 3558)과, 두 사람 간의 관계를 임의의 형식으로 기술하는 항목(relation)(3559)을 포함한다.

다음 표 1은 효과적인 멀티미디어 앨범화를 위해 필요한 힌트항목들 가운데, 사진 앨범화를 위해 필요한 힌트항목들을 표현하기 위한 서술 구조를 XML 형식으로 표현한 것이다.

다음 표 2는 표 1에 표현된 사진 앨범화를 위해 필요한 힌트항목들 가운데, 사진의 내용에 대한 사람의 인지적 특성을 나타내는 사진 인지 힌트항목(3510)의 서술구조를 XML 형식으로 표현한 것이다.

다음 표 3은 표 1에 표현된 사진 앨범화를 위해 필요한 힌트항목들 가운데, 사진을 촬영할 당시의 정보 및 카메라 정보 등을 나타내는 사진 획득 힌트항목(3520)의 서술 구조를 XML 형식으로 표현한 것이다.

다음 표 4는 표 1에 표현된 사진 앨범화를 위해 필요한 힌트항목들 가운데, 사진의 구도 정보를 나타내는 사진 구도 힌트항목(3540)의 서술 구조를 XML 형식으로 표현한 것이다.

다음 표 5는 표 1에 표현된 사진 앨범화를 위해 필요한 힌트항목들 가운데, 사진에 포함된 인물에 대한 정보를 나타내는 인물 힌트항목(3550)의 서술 구조를 XML 형식으로 표현한 것이다.

도 8은 도 2에 도시된 미디어 플레이어 메타데이터(230)의 세부적인 구조도이다.

도 8을 참조하면, 미디어 플레이어 메타데이터(230)는 여러 장의 사진 그룹에 대한 메타데이터인 그룹 레벨 메타데이터(Collection-level description, 18100)와, 각 사진에 대한 메타데이터인 아이템 레벨 메타데이터(Item-level description, 18200)를 포함한다.

그룹 레벨 메타데이터(18100)는 해당 메타데이터의 생성 정보를 서술하는 메타데이터(Description metadata, 18110)와, 메타데이터가 한정하는 사진 그룹에 대한 생성 정보를 서술하는 메타데이터(Creation information, 18120)와, 메타데이터가 한정하는 사진 그룹에 속하는 각 사진에 대한 식별 정보를 서술하는 메타데이터(Content references, 18130)와, 메타데이터가 한정하는 사진 그룹에 속하는 하부 사진 그룹에 대한 메타데이터(Content collection, 18140)를 포함한다.

아이템 레벨 메타데이터(18200)는 해당 메타데이터의 생성 정보를 서술하는 메타데이터(Description metadata, 18210)와, 메타데이터가 한정하는 사진에 대한 생성 정보를 서술하는 메타데이터(Creation information, 18220)와, 메타데이터가 한정하는 사진의 식별정보를 서술하는 메타데이터(Content references, 18230)와, 메타데이터가 한정하는 사진의 내용 기반 비주얼 특징 정보에 대한 메타데이터(Visual features, 18240)를 포함한다.

도 9는 도 8에 도시된 사진 그룹 메타데이터(18140)의 요소들을 도시한 것이다.

도 9를 참조하면, 각 사진 그룹 메타데이터는 유일한 식별자(Collection ID, 18141)을 가진다. 사진 그룹 메타데이터의 식별자에 따라 동일한 이벤트로 묶인 사진 그룹을 나타내는 메타데이터(Event collection, 18300)와, 동일한 카테고리로 묶인 사진 그룹을 나타내는 메타데이터(Category collection, 18400)와, 동일한 인물로 묶인 사진 그룹을 나타내는 메타데이터(Person collection, 18500)를 포함한다.

도 10은 도 8에 도시된 사진 그룹 식별자(18141)를 MPEG-7에 기반하여 표현한 것이다.

도 10을 참조하면, 사진 그룹 메타데이터(18140)가 MPEG-7의 ContentCollection DS에 의해 표현된다. 바람직하게는 사진 그룹 식별자(18141)를 이벤트 사진 그룹을 나타내는 "Event", 카테고리 사진 그룹을 나타내는 "Category", 인물 사진 그룹을 나타내는 "Person"으로 정의하나, 사진 그룹 식별자(18141)가 이에 한정되지는 않는다. 즉, 상기 식별자들 이외에 다른 고유의 문자나 숫자로 식별자를 표현할 수 있다.

도 11은 도 8에 도시된 사진 그룹 메타데이터의 필수 요소를 나타낸다.

도 11을 참조하면, 이벤트 사진 그룹 메타데이터(18300)는 해당 이벤트 사진 그룹의 제목을 나타내는 메타데이터(Title)와, 해당 이벤트 사진 그룹에 속하는 사진들의 촬영 시간을 나타내는 메타데이터(Date/time)를 포함하는 것을 특징으로 한다. 본 발명에서는 바람직하게는 이벤트 사진 그룹의 제목을 나타내는 메타데이터(Title)를 MPEG-7 MDS의 "//CreationInformationDS/Creation/Title"로 나타낸다. 또한, 본 발명에서는 바람직하게는 이벤트 사진 그룹에 속하는 사진들의 촬영 시간을 나타내는 메타데이터(Date/time)를 MPEG-7 MDS의 "//CreationInformationDS/Creation/CreationCoordinates/Date"로 나타낸다.

도 12는 도 8에 도시된 이벤트 사진 그룹 메타데이터(18300)를 MPEG-7 스키마 형태로 도시한 것이다.

도 12에서와 같이, 카테고리 사진 그룹 메타데이터(18400)는 해당 카테고리 사진 그룹의 제목을 나타내는 메타데이터(Title)를 포함한다. 본 발명에서는 카테고리 사진 그룹의 제목을 나타내는 메타데이터(Title)를 MPEG-7 MDS의 "//CreationInformationDS/Classification/Subject/KeywordAnnotation/Keyword//"으로 나타내는 것이 바람직하다.

도 13은 도 8에 도시된 카테고리 사진 그룹 메타데이터(18400)를 MPEG-7 스키마 형태로 도시한 것이다.

도 13에서와 같이, 인물 사진 그룹 메타데이터(18500)는 해당 인물 사진 그룹에 해당하는 인물의 이름을 나타내는 메타데이터(Person name)를 포함한다. 본 발명에서는 인물 사진 그룹에 해당하는 인물의 이름을 나타내는 메타데이터(Person name)를 MPEG-7 MDS의 "//CreationInformationDS/Creation/Creator/Role"을, "Actor"로 나타내고, 해당 인물의 이름을 "//CreationInformationDS/Creation/Creator/Agent"로 나타내는 것이 바람직하다.

도 14는 도 8에 도시된 인물 사진 그룹 메타데이터(18500)를 MPEG-7 스키마 형태로 도시한 것이다.

다음, 표 6은 이벤트 사진 그룹 메타데이터를 XML 형식으로 표현한 예를 도시한 것이고, 도 15는 이벤트 사진 그룹 메타데이터의 요소들을 도시한 것이다.

다음 표 7은 카테고리 사진 그룹 메타데이터를 XML 형식으로 표현한 예를 도시한 것이고, 도 16은 카테고리 사진 그룹 메타데이터의 요소들을 도시한 것이다.

다음 표 8은 인물 사진 그룹 메타데이터를 XML 형식으로 표현한 예를 도시한 것이고, 도 17은 인물 사진 그룹 메타데이터의 요소들을 도시한 것이다.

도 18은 도 1에 도시된 부호화부(170)에서 생성되는 MAF 파일(190)의 세부적인 구조를 나타낸 것이다.

도 18을 참조하면, MAF 파일은 하나의 미디어와 대응되는 최종 메타데이터로 구성된 단일 트랙 MAF(single track MAF)(6300)를 기본 구성 요소로 포함한다. 단일 트랙 MAF(6300)은 해당 트랙에 대한 헤더(MAF header)(6310)와, MPEG 메타데이터(MPEG metadata)(6200)와, 미디어 데이터(media data)(6400)를 포함한다. MAF 헤더(6310)는 미디어 데이터를 지시하는 데이터로서, 바람직하게는 ISO 기본 미디어 파일 형식을 따른다.

한편, 여러 개의 단일 트랙 MAF(6300)들로 이루어진 하나의 다중 트랙 MAF(multiple track MAF)(6100)으로 MAF 파일을 구성할 수 있다. 다중 트랙 MAF(6100)에는 하나 이상의 단일 트랙 MAF(6300)과, 다중 트랙에 대한 MAF 헤더(MAF header)(6110)과, 다중 트랙에 대한 MPEG 메타데이터(MPEG metadata)(6600)와, MAF 파일의 활용 방법에 대한 데이터(application method data, 6500)을 포함한다. 본 발명의 일실시예에서는 활용 방법 데이터(6500)가 다중 트랙(6100)에 포함되고, 다른 실시예에서는 독립적으로 MAF 파일에 입력된다.

도 19는 도 1에 도시된 활용방법 데이터 생성부(180)에서 생성되는 활용방법 데이터(6500)의 상세한 구조를 나타낸 것이다.

도 19를 참조하면, 미디어 활용 방법 데이터(6500)는 미디어 활용 방법의 주요 요소로서, 미디어 앨범화를 위한 서술 툴에 의해 정의된 앨범화 방법 및 미디어 재생에 대한 절차 및 방법을 기술하기 위한 MPEG-4 장면 서술자(scene description)(6521)와, 디지털아이템에 대한 의도하는 형식 및 절차에 따른 처리(digital item processing, DIP)에 대한 MPEG-21 디지털아이템처리 서술자(MPEG-21 DIP description, 6522)를 포함한다. 디지털아이템처리 서술자는 기본적으로 디지털아이템을 활용하는 방법에 대한 서술자(MPEG-21 digital item method, 6523)를 포함한다. 본 발명은 미디어 활용방법 데이터(6500)로 상기 데이터를 포함하는 것을 특징으로 하나, 미디어 활용방법 데이터(6500)에 포함되는 요소들이 상기 데이터들에 한정되지는 않는다.

미디어 데이터와 관계된 메타데이터 및 활용방법 데이터는 부호화부(150)에 전달되어 하나의 독립된 MAF 파일(190)을 생성한다.

도 20a 및 도 20b는 도 1에 도시된 부호화부(170)에서 생성되는 MAF 파일(190)의 실시예를 나타낸 것이다.

도 20a는 미디어 데이터 즉, 사진 데이터가 MAF 파일 내에 물리적으로 존재하는 경우를 나타내고, 도 20b는 사진 데이터가 MAF 파일 내에 물리적으로 존재하지 않는 대신에, 사진 데이터가 재하는 다른 물리적 혹은 논리적 저장장치의 위치를 지시하는 위치 식별자(locator)로 대체되는 경우를 나타낸 것이다.

도 21은 도 1에 도시된 부호화부(170)에서 생성되는 MAF 파일의 다른 일실시예로서, 썸네일(thumbnail) 영상을 더 포함하는 경우이다.

도 21을 참조하면, 도 20b에서와 같이 사진 데이터가 MAF 파일 내에 물리적으로 존재하지 않는 대신에 사진 데이터가 존재하는 다른 물리적 혹은 논리적 저장 장치의 위치를 지시하는 위치 식별자(locator)로 대체되는 경우, MAF 파일 내에 썸네일 영상을 더 포함함으로써, 사용자가 원래의 영상을 읽어들이지 않더라도, 작은 크기의 썸네일 영상을 이용하여 고속의 브라우징이 가능하도록 한다.

도 22은 본 발명의 일실시예에 따른 부호화된 멀티미디어 컨텐츠 응용시스템의 구성을 나타낸 블럭도로서, 일실시예에서는 MAF 파일 생성부(2210), 미디어 앨범 데이터베이스(2220), 브라우징부(2240)를 포함하고, 다른 실시예에서는 MAF 파일 생성부(2210), 미디어 앨범 데이터베이스(2220), 및 공유부(2250)를 포함하고, 또 다른 실시예에서는 MAF 파일 생성부(2210), 미디어 앨범 데이터베이스(2220), 브라우징부(2240), 및 공유부(2250)를 포함한다. 부호화된 멀티미디어 컨텐츠 응용시스템의 각 실시예는 질의처리부(2230)를 더 포함할 수 있다. 여기서, 브라우징부(2240) 및 공유부(2250) 중 적어도 하나가 응용부(미도시)를 구성할 수 있다.

도 22를 참조하면, MAF 파일 생성부(2210)는 미디어 데이터를 가리키는 정보를 포함하는 헤더, 미디어 데이터 및 미디어 메타데이터를 포함하는 단일 트랙을 적어도 하나 포함하고 상기 미디어 활용방법에 관한 정보를 나타내는 활용데이터를 포함하는 MAF 파일을 생성한다.

미디어 앨범 데이터베이스(2220)는 MAF 파일 생성부(2210)에서 생성된 MAF 파일을 저장한다. 미디어 앨범 데이터베이스(2220)에 저장된 MAF 파일은 사용자의 요청에 따라서 브라우징부(2240)와 공유부(2250)로 제공된다.

질의처리부(2230)는 사용자가 브라우징하거나 공유하길 원하는 MAF 파일을 검색해내는 역할을 수행한다. 이때, 미디어 앨범 데이터베이스(2220)에 저장된 각 MAF 파일의 메타데이터를 파싱(parsing)하여 사용자의 질의와 매칭되는 MAF 파일들을 찾는다.

본 발명의 일실시예에서는 생성된 사진앨범 MAF 파일을 통신채널(2260)을 통하여 다른 기기들로 전송한다. 여기서, 통신채널(2260)을 유/무선 인터넷이나, 모바일 통신망, 블루투스(bluetooth)를 포함하며, USB 장치 등과 같은 물리적인 연결을 포함한다.

전송되는 기기들의 예로는, 생성된 사진앨범 MAF 파일을 MAF를 인식할 수 있으나 완전하게 호환되지 않는 레거시 장치(legacy device)(2271), MAF를 완전하게 인식하는 단말 기기(MAF-aware terminal device)(2273), MAF를 완전하게 인식하는 모바일 기기(MAF-aware mobile device)(2275), MAF를 완전하게 인식하는 웹 앨범 장치(MAF-aware web album)(2277) 중 어느 하나가 될 수 있다.

도 23는 도 22에 있어서 MAF 파일의 브라우징 및 공유 기능을 수행하기 위하여 데이터베이스와 연동하는 방법을 설명하는 것이다.

도 23를 참조하면, MAF 파일 생성부(도 11의 2210)는 서로 다른 종류인 제1 내지 제3 MAF 파일을 생성하여(2310) MAF 데이터베이스(2330)에 저장한다. 제1 MAF 파일은 사진을 이벤트 단위로 그룹화하여 같은 이벤트의 사진들을 하나의 통합된 MAF 파일로 저장하는 이벤트 MAF 파일이다. 제2 MAF 파일은 사진을 인물 단위로 그룹화하여 같은 인물이 포함된하나의 사진들을 하나의 통합된 MAF 파일로 저장하는 인물 MAF 파일이다. 제3 MAF 파일은 사진을 카테고리 단위로 그룹화하여 같은 카테고리에 속하는 사진들을 하나의 통합된 MAF 파일로 저장하는 카테고리 MAF 파일이다. 본 발명의 일실시예에서는 MAF 파일 생성부(2210)에서 상기 열거한 제1 내지 제3 MAF 파일을 생성하나, 이에 한정되지는 않는다. 즉, 두 종류 이상의 MAF 파일을 하나의 MAF 파일로 통합하거나, 그 밖의 새로운 종류의 MAF 파일을 포함할 수 있다.

MAF 데이터베이스(2330)의 각 MAF 파일 내에 사진 데이터를 저장하게 되면, 사진 데이터의 중복이 발생한다. 따라서, 사진 데이터는 별도의 사진 데이터베이스(Photo DB, 2340)에 저장하고, MAF 데이터베이스(2330)의 각 MAF 파일 내에는 메타데이터와, 사진 데이터베이스(2340)의 사진을 지시하는 위치 식별자를 포함시킨다.

이후, 입력되는 사용자의 질의를 처리하고(2350), 사용자의 질의에 매칭되는 사진을 포함하는 새로운 MAF 파일을 생성하여 공유하거나(2360), 사용자의 질의에 매칭되는 사진 그룹을 브라우징한다(2370).

도 24는 본 발명에 의한 브라우징부(2240)에서 사진앨범 MAF 파일을 서로 다른 앨범 장치(2431, 2433, 2435, 2437, 2439, 2470)를 통하여 브라우징하는 일실시예를 나타낸다.

도 24를 참조하면, 본 발명의 MAF 파일(2410)은 내부에 사진들을 메타데이터에 기반하여 유기적으로 표현하는 표현 툴(presentation tool)을 포함할 수 있다. 적용되는 대표적인 표현 툴로서 MPEG-4 장면 기술자와 MPEG-21 DIP를 이용한 표현 툴을 포함하는 것이 바람직하나, 이에 한정되지는 않는다. 한편, 만일 MAF 파일(2450)이 내부에 표현 툴이 존재하지 않을 경우에는 사용자가 가진 어플리케이션의 표현 툴을 이용하여 사진 브라우징을 가능하게 한다.

도 25는 본 발명에 의한 사진 앨범 MAF 파일을 이용한 모바일 앨범 장치 상에서의 사진 브라우징의 일 실시예를 나타낸다.

도 25를 참조하면, 휴대폰 등의 소형의 모바일 앨범 장치가 메타데이터를 생성하기에 성능이 낮은 경우, 획득된 사진 데이터를 성능이 좋은 앨범 서버로 전송하여 메타데이터를 생성하고, 이를 다시 사진 앨범 MAF 파일(MAF #1)로 전송받아 메타데이터에 기반하여 사진을 효과적으로 브라우징하는 과정을 포함한다. 사용자는 전송된 MAF 파일의 일부를 편집하여 새로운 MAF 파일(MAF #2)을 만들어, 다른 사용자에게 전송할 수 있다.

도 26은 본 발명에 의한 사진 앨범 MAF 파일을 이용한 웹 앨범 장치 상에서의 사진 브라우징의 일 실시예를 나타낸다.

도 26을 참조하면, 다양한 사진 획득 장치로부터 획득되어 사진앨범 MAF 로 인코딩된 파일들을 인터넷을 통하여 웹 앨범 장치에 전송하는 과정을 포함한다. 웹 앨범 장치의 예로는 개인 홈페이지, 블로그(Blog), 인터넷 카페(cafe) 등을 포함하나, 이에 한정되지는 않는다.

본 발명은 웹 앨범 장치 상에서 사진 앨범 MAF 파일을 활용하는 방법에 있어서, 사진 앨범 MAF에 포함된 많은 양의 사진들을 웹 앨범 장치에 저장하고 싶을 때, 하나의 MAF 파일을 웹 앨범 장치에 전송하고, 웹 앨범 장치를 전송된 해당 MAF 파일로부터 메타데이터를 추출하여 자동으로 카테고리화한다.

도 27은 본 발명에 의한 웹 앨범 장치의 응용처리부(12100) 상에서 사진 앨범 MAF 파일을 활용하는 절차를 도시한 것이다.

도 27을 참조하면, MAF 파일이 입력되면(12110), MAF 파일을 디코딩하고(12130), 디코딩된 메타데이터를 이용하여 사용자 인증을 수행한다(12130). 만일 인증된 사용자의 경우, 사진 앨범에 대한 사용자의 권리(view, print, copy)를 판독한다(12140). 판독된 권리에 따라 메타데이터를 추출하고(12150), 추출된 메타데이터를 이용하여 사진을 추출하는 과정을 수행한 후(12160), 웹에 사진을 올리는 과정을 수행한다(12170).

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

본 발명에 대해 상기 실시예를 참고하여 설명하였으나, 이는 예시적인 것에 불과하며, 본 발명에 속하는 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

상술한 바와 같이 본 발명에 따르면, 디지털 사진 및 그 밖의 멀티미디어 컨텐츠를 하나로 통합하여 MAF라는 응용 파일 형식으로 구성하는 과정에서, 사진 데이터, 사진 영상의 내용으로부터 얻는 비주얼 특징 정보, 사진의 효과적인 인덱싱을 위한 다양한 힌트 특징 정보를 메타데이터로 포함하고, 메타데이터에 기반을 둔 컨텐츠 활용 방법적 도구들을 포함함으로써, 사용자에게 특별한 어플리케이션이 없거나, 메타데이터를 활용하는 기능을 포함하고 있지 않더라도, 멀티미디어 컨텐츠를 효과적으로 브라우징하거나 공유할 수 있는 통합된 범용적 멀티미디어 컨텐츠의 소비가 가능해진다.

Claims

(a) 멀티미디어 컨텐츠로부터 미디어 데이터와 메타데이터를 분리하는 단계;

(b) 상기 분리된 메타데이터를 이용하여 소정의 표준 포맷에 맞는 메타데이터를 생성하는 단계; 및

(c) 상기 미디어 데이터와 상기 표준 포맷에 맞는 메타데이터를 부호화하여, 상기 미디어 데이터를 가리키는 정보를 포함하는 헤더, 메타데이터 및 미디어 데이터를 포함하는 멀티미디어 응용포맷(MAF) 파일로 생성하는 단계를 포함하며,

상기 표준 포맷에 맞는 메타데이터는 미디어 플레이어 메타데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 1 항에 있어서,

멀티미디어 장치로부터 상기 멀티미디어 컨텐츠를 획득하거나, 상기 멀티미디어 컨텐츠를 입력하는 단계를 더 포함함을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 2 항에 있어서, 상기 멀티미디어 컨텐츠는 사진 컨텐츠 촬영장치로부터 획득된 사진과, 상기 사진과 관련된 음악 및 비디오를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 1 항에 있어서, 상기 (a) 단계는

상기 멀티미디어 컨텐츠에 포함된 Exif 메타데이터를 파싱하거나, JPEG 영상을 디코딩함으로써 해당 미디어의 메타데이터를 생성하기 위한 정보를 추출하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 4 항에 있어서, 상기 메타데이터는

JPEG 사진 파일의 Exif 메타데이터, MP3 음악 파일의 ID3 메타데이터, MPEG 비디오 파일의 압축 관련 메타데이터를 포함함을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 1 항에 있어서, 상기 (b) 단계는

상기 분리된 메타데이터로부터 MPEG 표준에 맞는 메타데이터를 생성하거나, MPEG 기반의 표준화된 서술 툴을 이용하여 미디어로부터 메타데이터를 추출 및 생성하여 MPEG 표준에 맞는 메타데이터를 생성함을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 1 항에 있어서, 상기 미디어 플레이어 메타데이터는, 여러 장의 사진 그룹에 대한 메타데이터인 그룹 레벨 메타데이터와, 각 사진에 대한 메타데이터인 아이템 레벨 메타데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 7 항에 있어서, 상기 아이템 레벨 메타데이터는, 해당 메타데이터의 생성 정보를 서술하는 메타데이터와, 메타데이터가 한정하는 사진의 생성 정보를 서술하는 메타데이터와, 메타데이터가 한정하는 사진의 식별 정보를 서술하는 메타데이터와, 메타데이터가 한정하는 사진의 내용 기반 비주얼 특징 정보에 대한 메타데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 7 항에 있어서, 상기 그룹 레벨 메타데이터는, 해당 메타데이터의 생성 정보를 서술하는 메타데이터와, 메타데이터가 한정하는 사진 그룹에 대한 생성 정보를 서술하는 메타데이터와, 메타데이터가 한정하는 사진 그룹에 속하는 각 사진에 대한 식별 정보를 서술하는 메타데이터와, 메타데이터가 한정하는 사진 그룹에 속하는 하부 사진 그룹에 대한 메타데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 9 항에 있어서, 상기 각 사진 그룹 메타데이터는 유일한 식별자을 포함하며, 해당 식별자에 따라서, 동일한 이벤트로 묶인 사진 그룹을 나타내는 메타데이터와, 동일한 카테고리로 묶인 사진 그룹을 나타내는 메타데이터와, 동일한 인물로 묶인 사진 그룹을 나타내는 메타데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 9 항에 있어서, 상기 메타데이터가 한정하는 사진 그룹에 대한 메타데이터는, MPEG-7의 ContentCollection DS에 의해 표현되는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 10 항에 있어서, 상기 사진 그룹 식별자는, 이벤트 사진 그룹을 나타내는 "Event", 카테고리 사진 그룹을 나타내는 "Category", 인물 사진 그룹을 나타내는 "Person"으로 정의되는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 10 항에 있어서, 상기 이벤트 사진 그룹 메타데이터는, 해당 이벤트 사진 그룹의 제목을 나타내는 메타데이터와, 해당 이벤트 사진 그룹에 속하는 사진들의 촬영 시간을 나타내는 메타데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 13 항에 있어서, 상기 이벤트 사진 그룹 메타데이터를 표현하는 경우,

이벤트 사진 그룹의 제목을 나타내는 메타데이터를 MPEG-7 MDS의 "//CreationInformationDS/Creation/Title"로 나타내고, 이벤트 사진 그룹에 속하는 사진들의 촬영 시간을 메타데이터를 MPEG-7 MDS의 "//CreationInformationDS/Creation/CreationCoordinates/ Date"로 나타내는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 10 항에 있어서, 상기 카테고리 사진 그룹 메타데이터는, 해당 카테고리 사진 그룹의 제목을 나타내는 메타데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 15 항에 있어서, 상기 카테고리 사진 그룹 메타데이터를 표현하는 경우, 카테고리 사진 그룹의 제목을 나타내는 메타데이터를 MPEG-7 MDS의 "//CreationInformationDS/Classification/Subject/KeywordAnnotation/Keyword/"로 나타내는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 10 항에 있어서, 상기 인물 사진 그룹 메타데이터는, 해당 인물 사진 그룹에 해당하는 인물의 이름을 나타내는 메타데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 17 항에 있어서, 상기 인물 사진 그룹 메타데이터를 표현하는 경우, 인물 사진 그룹에 속하는 인물의 이름을 나타내는 메타데이터를 MPEG-7 MDS의 "//CreationInformationDS/Creation/Creator/Role"을 "Actor"로 나타내고, 해당 인물의 이름을 "//CreationInformationDS/Creation/Creator/Agent"로 나타내는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 1 항에 있어서, 상기 표준 포맷에 맞는 메타데이터는 미디어 앨범 메타데 이터를 더 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 19 항에 있어서, 상기 미디어 앨범 MAF 메타데이터는

미디어의 내용 기반 특징값, 미디어 그룹정보, 미디어 응용정보, 미디어 앨범에 대한 권리정보, 및 미디어 앨범화 힌트 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 20 항에 있어서, 상기 미디어의 내용 기반 특징값은,

상기 미디어의 비주얼 특징 정보에 대한 메타데이터인 비주얼 서술자, 및

상기 미디어와 관련된 오디오 특징 정보에 대한 메타데이터인 오디오 서술자를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 20 항에 있어서, 상기 미디어 그룹 정보는 MPEG-7 MDS 혹은 MPEG-21 DID를 이용하여 표현하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 22 항에 있어서,

상기 미디어 그룹 정보를 상기 MPEG-7 MDS를 이용하여 표현하는 경우, 미디어 생성 정보 메타데이터, 의미 정보 메타데이터, 및 콘텐츠 구성 메타데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 20 항에 있어서, 상기 미디어 응용 정보는,

미디어 앨범 장치가 여러 장의 사진들을 메타데이터에 기반하여 화면에 표시하기 위한 절차를 MPEG-4 장면 기술자를 이용하여 기술하거나,

여러 장의 사진들을 메타데이터에 기반하여 화면에 표시하기 위한 절차를 MPEG-21 DIP를 이용하여 기술하거나,

단말의 성능이나 네트워크 성능에 따라 사진 앨범 MAF 파일을 적응 변환하기 위한 정보를 MPEG-21 DIA를 이용하여 기술하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 20 항에 있어서, 상기 미디어 앨범에 대한 권리정보는

다른 사용자가 사진 앨범에 접근하는 것을 제어하기 위한 항목으로 MPEG-21 IPMP을 포함하고,

미디어 앨범 MAF 파일을 브라우징하는 것을 제어하기 위한 항목을 포함하고,

미디어 앨범 MAF 파일을 인쇄하는 것을 제어하기 위한 항목을 포함하고,

미디어 앨범 MAF 파일을 편집하는 것을 제어하기 위한 항목을 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 20 항에 있어서, 상기 미디어 앨범화 힌트는

사진을 촬영할 당시의 카메라 정보 및 촬영 정보를 표현하기 위한 서술구조, 사진의 내용에 대한 사람의 인지적 특성을 표현하기 위한 서술구조, 카메라의 구도 정보를 표현하기 위한 서술구조, 사진에 포함된 인물에 대한 정보를 표현하기 위한 서술구조, 및 사진의 인기도 정보를 표현하기 위한 서술구조를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 26 항에 있어서, 상기 사진을 촬영할 당시의 정보 및 카메라 정보를 표현하기 위한 서술 구조는

사진을 촬영한 촬영자 정보와, 사진을 촬영한 시간 정보와, 사진을 촬영한 카메라를 생산한 회사 정보와, 사진을 촬영한 카메라 모델 정보와, 사진을 촬영할 때의 셔터 스피드 정보와, 사진을 촬영할 때의 색상 모드 정보와, 사진을 촬영할 때의 필름의 감도를 나타내는 정보와, 사진을 촬영할 때의 플래쉬를 이용했는 지의 여부를 나타내는 정보와, 사진을 촬영할 때의 렌즈 조리개의 개방치를 나타내는 정보와, 사진을 촬영할 때 사용한 광학 줌의 거리를 나타내는 정보와, 사진을 촬영할 때 초점 거리를 나타내는 정보와, 사진을 촬영할 때의 초점에 맞은 객체와 카메라와의 거리를 나타내는 정보와, 사진을 촬영할 때의 장소에 대한 GPS 정보와, 사진을 촬영할 때의 카메라의 방향을 나타내는 정보로써 사진의 첫번째 픽셀이 위치하는 방향을 나타내는 정보와, 사진을 촬영할 때 함께 녹음된 사운드를 나타내는 정보와, 사진을 촬영한 후, 카메라 내에서의 고속 브라우징을 위하여 저장된 썸네일 이미지를 나타내는 정보 중 적어도 하나; 및

해당 사진 데이터가 Exif 정보를 메타데이터로 포함하고 있는 지의 여부를 나타내는 정보를 포함함을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 26 항에 있어서, 상기 사진의 내용에 대한 사람의 인지적 특성을 표현하는 서술구조는

사진의 색상 표현의 화려함 정도를 나타내는 항목(avgColorfulness)과, 사진에 나타낸 전체 색상의 응집도를 나타내는 항목(avgColorCoherence)과, 사진에 포함된 내용의 정밀도를 나타내는 항목(avgLevelOfDetail)과, 사진 내용의 질감 정보의 균질성을 나타내는 항목(avgHomogenity)과, 사진 내용의 에지 정보의 강인성을 나타내는 항목(avgPowerOfEdge)과, 사진 내용의 카메라 초점의 심도를 나타내는 항목(avgDepthOfField)과, 카메라 셔터를 누르는 순간 발생한 흔들림 현상에 의해 사진 내용이 흐려진 정도를 나타내는 항목(avgBlurrness)과, 사진을 촬영할 때 고도의 플래쉬의 광량이 사용되었거나, 강한 광량의 외부 광원에 의해 사진의 내용이 빛에 가려진 정도를 나타내는 항목(avgGlareness)과, 사진의 전체적인 밝기 정보를 나타내는 항목(avgBrightness) 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 28 항에 있어서, 상기 사진의 색상 표현의 화려함 정도를 나타내는 서술구조는

색상 히스토그램으로부터 각 RGB 색상값의 히스토그램 높이와 전체 색상값의 분포도값을 정규화하여 측정하거나, CIE L*u*v* 색상 공간을 이용하여 측정한 색상의 분포도값을 이용하여 측정되는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방 법.
제 28 항에 있어서, 상기 사진의 색상 표현의 응집도를 나타내는 서술구조는

MPEG-7 비주얼 서술자 중 주 색상 서술자를 이용하여 측정가능하며, 색상 히스토그램으로부터 각 색상값의 히스토그램 높이와 전체 색상값의 분포도 값을 정규화하여 측정되는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 28 항에 있어서, 상기 사진에 포함된 내용의 정밀도를 나타내는 서술구조는

사진의 픽셀 정보로부터 측정한 엔트로피를 이용하여 측정하거나, 사진의 실제 복잡성을 판단하는 요소인 isopreference 커브를 이용하여 측정하거나, 동일한 압축조건으로 압축했을 경우에 압축율을 비교하는 상대적 측정 방법에 의해 측정되는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 28 항에 있어서, 상기 사진 내용의 질감 정보의 균질성을 나타내는 서술구조는

MPEG-7 비주얼 서술자중 텍스쳐 브라우징 서술자의 특징값으로부터 질감의 균질함, 방향, 크기를 이용하여 측정되는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 28 항에 있어서, 상기 사진에 포함된 내용의 에지 정보의 강인성을 나타내는 서술구조는

사진으로부터 에지 정보를 추출하여, 추출된 에지 강도를 정규화하여 측정되는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 28 항에 있어서, 상기 사진에 포함된 내용에 대한 카메라 초점의 심도를 나타내는 서술구조는

카메라 렌즈의 초점 거리, 렌즈의 지름 및 조리개 수치를 이용하여 측정되는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 28 항에 있어서, 상기 카메라 셔터를 누르는 순간 발생한 흔들림 현상에 의해 사진 내용이 흐려진 정도를 나타내는 서술구조는

사진 내용의 에지 강도를 이용하여 측정되는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 28 항에 있어서, 상기 강한 광량의 외부 광원에 의해 사진의 내용이 빛에 의해 가려진 정도를 나타내는 서술구조는

사진 픽셀 값의 밝기를 이용하여 측정되는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 28 항에 있어서, 상기 사진의 전체적인 밝기 정보를 나타내는 서술구조는

사진 픽셀 값의 밝기를 이용하여 측정하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 26 항에 있어서, 상기 사진에 포함된 인물에 대한 정보를 표현하기 위한 서술 구조는

사진에 포함된 인물의 인원 수를 나타내는 항목과, 사진에 포함된 각 인물의 얼굴 위치 정보 및 인물이 입고 있는 옷 위치 정보를 나타내는 항목과, 사진에 포함된 인물들 간의 관계를 나타내는 항목을 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 38 항에 있어서, 상기 사진에 포함된 각 인물의 얼굴 위치 정보 및 인물이 입고 있는 옷 위치 정보를 나타내는 항목은

해당 인물의 식별자와, 해당 인물의 얼굴 위치와, 인물이 입고 있는 옷의 위치를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 38 항에 있어서, 상기 사진에 포함된 인물들 간의 관계를 나타내는 항목은

관계를 나타내기 위한 두 사람 가운데 첫 번째 사람을 나타내는 항목과, 두 번째 사람을 나타내는 항목과, 두 사람 간의 관계를 나타내는 항목을 포함하는 것 을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 26 항에 있어서, 상기 사진의 구도 정보를 표현하기 위한 서술 구조는

사진에 표현된 주된 부분이 배경인지 전경인지의 여부를 나타내는 항목과, 사진에 표현된 내용들 가운데 배경에 해당하는 부분의 위치를 나타내는 항목과, 배경에 해당하는 부분의 위치를 나타낸는 항목을 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 1 항에 있어서,

MAF 활용방법 데이터를 생성하는 단계를 더 포함하고,

상기 (c) 단계는

상기 미디어 데이터와 상기 표준 포맷에 맞는 메타데이터 및 상기 MAF 활용방법 데이터를 이용하여, 상기 미디어 데이터를 가리키는 정보를 포함하는 헤더, 메타데이터 및 미디어 데이터를 포함하는 MAF 파일로 생성함을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 42 항에 있어서, 상기 MAF 활용방법 데이터는

MAF 활용 방법 데이터가 미디어 앨범화 툴에 의해 정의된 앨범화 방법 및 미디어 재생에 대한 절차 및 방법을 기술하기 위한 MPEG-4 장면 서술자와, 디지털아이템을 의도하는 형식 및 절차에 따라 처리에 대한 MPEG-21 디지털아이템처리 서술 자를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 1 항 또는 제 42 항에 있어서, 상기 (c) 단계의 MAF 파일은

MAF 파일이 하나의 미디어와 대응되는 메타데이터로 구성된 단일트랙 MAF를 기본 구성 요소로 포함하고, 상기 단일트랙 MAF는 해당 트랙에 대한 헤더와, MPEG 메타데이터와, 미디어 데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 1 항에 있어서, 상기 (c) 단계의 MAF 파일은

하나 이상의 단일 트랙 MAF를 포함하는 다중트랙 MAF와, 상기 다중트랙에 대한 MAF 헤더와, 다중트랙에 대한 MPEG 메타데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
제 42 항에 있어서, 상기 (c) 단계의 MAF 파일은

하나 이상의 단일 트랙 MAF를 포함하는 다중트랙 MAF와, 상기 다중트랙에 대한 MAF 헤더와, 다중트랙에 대한 MPEG 메타데이터와, MAF 파일의 활용 방법에 대한 데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화방법.
(a) 미디어 데이터를 가리키는 정보를 포함하는 헤더, 미디어 데이터 및 소정 표준에 맞는 미디어 메타데이터를 포함하는 단일 트랙을 적어도 하나 포함하고 상기 미디어 활용방법에 관한 정보를 나타내는 활용데이터를 포함하는 MAF 파일을 데이터베이스에 저장하는 단계; 및

(b) 상기 데이터베이스에 저장된 MAF 파일을 브라우징하거나 공유하는 단계를 포함하며,

상기 표준에 맞는 미디어 메타데이터는 미디어 플레이어 메타데이터 혹은 미디어 앨범 메타데이터 중 적어도 하나인 것을 특징으로 하는 멀티미디어 컨텐츠 응용방법.
제 47 항에 있어서, 상기 MAF 파일이 상기 미디어 데이터를 물리적으로 포함하거나, 상기 MAF 파일이 상기 미디어 데이터를 물리적으로 포함하지 않는 대신 상기 미디어 데이터가 존재하는 다른 저장장치의 위치를 지시하는 위치 식별자를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용방법.
제 48 항에 있어서, 상기 MAF 파일이 상기 미디어 데이터를 물리적으로 포함하지 않는 경우, 상기 위치 식별자와 함께 상기 MAF 파일 내에 썸네일 영상을 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용방법.
제 47 항에 있어서, 상기 (a) 단계는 상기 MAF 파일을

사진을 이벤트 단위로 그룹화하여 같은 이벤트의 사진들을 하나의 통합된 MAF 파일로 생성한 이벤트 MAF,

사진을 인물 단위로 그룹화하여 같은 인물이 포함된하나의 사진들을 하나의 통합된 MAF 파일로 생성한 인물 MAF, 및

사진을 카테고리 단위로 그룹화하여 같은 카테고리에 속하는 사진들을 하나의 통합된 MAF 파일로 생성한 카테고리 MAF

에 따라서 저장하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용방법.
제 47 항에 있어서, 상기 (b) 단계는 사용자의 질의에 따라서 상기 데이터베이스에 저장된 MAF 파일을 브라우징하거나 공유하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용방법.
제 51 항에 있어서, 상기 데이터베이스에 저장된 각 MAF 파일의 메타데이터를 파싱하여 상기 사용자의 질의와 매칭되는 MAF 파일들을 찾는 것을 특징으로 하는 멀티미디어 컨텐츠 응용방법.
제 47 항에 있어서, 상기 (b) 단계는,

생성된 미디어 앨범 MAF 파일을 통신채널을 통하여 다른 기기들로 전송하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용방법.
제 47 항에 있어서, 상기 (b) 단계는, 상기 MAF 파일을 MAF를 인식할 수 있으나 완전하게 호환되지 않는 장치, MAF를 완전하게 인식하는 터미널 장치, MAF를 완전하게 인식하는 모바일 장치, 혹은 MAF를 완전하게 인식하는 웹 앨범 장치를 통하여 전송하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용방법.
제 47 항에 있어서, 상기 (b) 단계는, 상기 MAF 파일 내에 사진들을 메타데이터에 기반하여 유기적으로 표현하는 표현 툴을 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용방법.
제 47 항에 있어서, 상기 (b) 단계는, 상기 MAF 파일 내에 사진들을 메타데이터에 기반하여 유기적으로 표현하는 표현 툴이 존재하지 않을 경우, 사용자가 가진 어플리케이션의 표현 툴을 이용하여 사진 브라우징을 가능하게 하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용방법.
제 47 항에 있어서, 상기 (b) 단계는, 상기 기기가 메타데이터를 생성하기에 성능이 낮은 경우, 획득된 사진 데이터를 성능이 좋은 앨범 서버로 전송하여 메타데이터를 생성하고 이를 다시 미디어 앨범 MAF 파일로 전송받아 메타데이터에 기반하여 사진을 효과적으로 브라우징하는 단계를 포함하고,

사용자는 전송된 MAF 파일의 일부를 편집하여 새로운 MAF 파일을 만들어, 다른 사용자에게 전송하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용방법.
제 47 항에 있어서, 상기 (b) 단계는, 다양한 사진 획득 장치로부터 획득되어 사진앨범 MAF로 인코딩된 파일들을 인터넷을 통하여 웹 앨범 장치에 전송하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용방법.
제 58 항에 있어서, 사진 앨범 MAF에 포함된 많은 양의 사진들을 웹 앨범 장치에 저장하는 경우, 하나의 MAF 파일을 웹 앨범 장치에 전송하고, 웹 앨범 장치를 전송된 해당 MAF 파일로부터 메타데이터를 추출하여 자동으로 앨범화하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용방법.
제 58 항에 있어서, 상기 (b) 단계는

입력된 MAF 파일을 디코딩하는 단계;

디코딩된 메타데이터를 이용하여 사용자 인증을 수행하는 단계;

인증된 사용자의 경우, 사진 앨범에 대한 사용자의 권리를 판독하는 단계;,

판독된 권리에 따라, 메타데이터를 추출하는 단계;

추출된 메타데이터를 이용하여 사진을 추출하는 단계; 및

웹에 추출된 사진을 올리는 단계를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용방법.
멀티미디어 컨텐츠로부터 미디어 데이터와 메타데이터를 분리하는 전처리부;

상기 분리된 메타데이터를 이용하여 소정의 표준 포맷에 맞는 메타데이터를 생성하는 메타데이터 생성부; 및

상기 미디어 데이터와 상기 표준 포맷에 맞는 메타데이터를 부호화하여, 상기 미디어 데이터를 가리키는 정보를 포함하는 헤더, 메타데이터 및 미디어 데이터를 포함하는 MAF 파일로 생성하는 부호화부를 포함하며,

상기 표준 포맷에 맞는 메타데이터는 미디어 플레이어 메타데이터를 포함함을 특징으로 하는 멀티미디어 컨텐츠 부호화장치.
제 61 항에 있어서,

멀티미디어 장치로부터 상기 멀티미디어 컨텐츠를 획득/입력하는 미디어 획득부를 더 포함함을 특징으로 하는 멀티미디어 컨텐츠 부호화장치.
제 61 항에 있어서, 상기 멀티미디어 컨텐츠는 사진 컨텐츠 촬영장치로부터 획득된 사진과, 상기 사진과 관련된 음악 및 비디오를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화장치.
제 61 항에 있어서, 상기 전처리부는

상기 멀티미디어 컨텐츠에 포함된 Exif 메타데이터를 파싱하거나, JPEG 영상을 디코딩함으로써 해당 미디어의 메타데이터를 생성하기 위한 정보를 추출하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화장치.
제 61 항에 있어서, 상기 메타데이터 생성부는

상기 분리된 메타데이터를 MPEG 표준에 맞는 메타데이터를 생성하거나 MPEG 기반의 표준화된 서술 툴을 이용하여 미디어로부터 메타데이터를 추출 및 생성하여 MPEG 표준에 맞는 메타데이터를 생성함을 특징으로 하는 멀티미디어 컨텐츠 부호화장치.
제 61 항에 있어서, 상기 미디어 플레이어 메타데이터는, 여러 장의 사진 그룹에 대한 메타데이터인 그룹 레벨 메타데이터와, 각 사진에 대한 메타데이터인 아이템 레벨 메타데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화장치.
제 66 항에 있어서, 상기 아이템 레벨 메타데이터는, 해당 메타데이터의 생성 정보를 서술하는 메타데이터와, 메타데이터가 한정하는 사진의 생성 정보를 서술하는 메타데이터와, 메타데이터가 한정하는 사진의 식별 정보를 서술하는 메타데이터와, 메타데이터가 한정하는 사진의 내용 기반 비주얼 특징 정보에 대한 메타데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화장치.
제 66 항에 있어서, 상기 그룹 레벨 메타데이터는, 해당 메타데이터의 생성 정보를 서술하는 메타데이터와, 메타데이터가 한정하는 사진 그룹에 대한 생성 정보를 서술하는 메타데이터와, 메타데이터가 한정하는 사진 그룹에 속하는 각 사진 에 대한 식별 정보를 서술하는 메타데이터와, 메타데이터가 한정하는 사진 그룹에 속하는 하부 사진 그룹에 대한 메타데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화장치.
제 61 항에 있어서, 상기 표준 포맷에 맞는 메타데이터는 미디어 앨범 메타데이터를 더 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화장치.
제 69 항에 있어서, 상기 미디어 앨범 메타데이터는

미디어의 내용 기반 특징값, 미디어 그룹정보, 미디어 응용정보, 미디어 앨범에 대한 권리정보, 및 미디어 앨범화 힌트 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화장치.
제 61 항에 있어서,

MAF 활용방법 데이터를 생성하는 활용방법데이터 생성부를 더 포함하고,

상기 부호화부는

상기 미디어 데이터와 상기 표준 포맷에 맞는 메타데이터 및 상기 MAF 활용방법 데이터를 이용하여, 상기 미디어 데이터를 가리키는 정보를 포함하는 헤더, 메타데이터 및 미디어 데이터를 포함하는 MAF 파일로 생성함을 특징으로 하는 멀티미디어 컨텐츠 부호화장치.
제 71 항에 있어서, 상기 MAF 활용방법 데이터는 미디어 앨범화 툴에 의해 정의된 앨범화 방법 및 미디어 재생에 대한 절차 및 방법을 기술하기 위한 MPEG-4 장면 서술자와, MPEG-21 디지털아이템처리 서술자를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화장치.
제 61 항 또는 제 71 항에 있어서, 상기 MAF 파일은

MAF 파일이 하나의 미디어와 대응되는 메타데이터로 구성된 단일트랙 MAF를 기본 구성 요소로 포함하고, 상기 단일트랙 MAF는 해당 트랙에 대한 헤더와, MPEG 메타데이터와, 미디어 데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화장치.
제 61 항 또는 제 71 항에 있어서, 상기 MAF 파일은

하나 이상의 단일 트랙 MAF를 포함하는 다중트랙 MAF와, 상기 다중트랙에 대한 MAF 헤더와, 다중트랙에 대한 MPEG 메타데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화장치.
제 71 항에 있어서, 상기 MAF 파일은

하나 이상의 단일 트랙 MAF를 포함하는 다중트랙 MAF와, 상기 다중트랙에 대한 MAF 헤더와, 다중트랙에 대한 MPEG 메타데이터와, MAF 파일의 활용 방법에 대한 데이터를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 부호화장치.
미디어 데이터를 가리키는 정보를 포함하는 헤더, 미디어 데이터 및 미디어 메타데이터를 포함하는 단일 트랙을 적어도 하나 포함하고 상기 미디어 활용방법에 관한 정보를 나타내는 활용데이터를 포함하는 MAF 파일을 저장하는 데이터베이스; 및

상기 데이터베이스에 저장된 MAF 파일을 브라우징하거나 공유하는 응용부를 포함하며,

상기 상기 표준에 맞는 미디어 메타데이터는 미디어 플레이어 메타데이터 혹은 미디어 앨범 메타데이터 중 적어도 하나인 것을 특징으로 하는 멀티미디어 컨텐츠 응용시스템.
제 76 항에 있어서, 상기 MAF 파일이 상기 미디어 데이터를 물리적으로 포함하거나, 상기 MAF 파일이 상기 미디어 데이터를 물리적으로 포함하지 않는 대신 상기 미디어 데이터가 존재하는 다른 저장장치의 위치를 지시하는 위치 식별자를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용시스템.
제 77 항에 있어서, 상기 MAF 파일이 상기 미디어 데이터를 물리적으로 포함하지 않는 경우, 상기 위치 식별자와 함께 상기 MAF 파일 내에 썸네일 영상을 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용시스템.
제 76 항에 있어서, 상기 데이터베이스는 상기 MAF 파일을

사진을 이벤트 단위로 그룹화하여 같은 이벤트의 사진들을 하나의 통합된 MAF 파일로 생성한 이벤트 MAF,

사진을 인물 단위로 그룹화하여 같은 인물이 포함된하나의 사진들을 하나의 통합된 MAF 파일로 생성한 인물 MAF, 및

사진을 카테고리 단위로 그룹화하여 같은 카테고리에 속하는 사진들을 하나의 통합된 MAF 파일로 생성한 카테고리 MAF

에 따라서 저장하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용시스템.
제 76 항에 있어서, 상기 시스템은 사용자의 질의를 처리하여, 상기 사용자의 질의에 따라서 상기 데이터베이스에 저장된 MAF 파일을 브라우징하거나 공유하도록 하는 질의처리부를 더 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용시스템.
제 76 항에 있어서, 상기 응용부는 상기 데이터베이스에 저장된 각 MAF 파일의 메타데이터를 파싱하여 상기 사용자의 질의와 매칭되는 MAF 파일들을 찾는 것을 특징으로 하는 멀티미디어 컨텐츠 응용시스템.
제 76 항에 있어서, 상기 응용부는,

상기 생성된 MAF 파일을 통신채널을 통하여 다른 기기들로 전송하는 것을 특 징으로 하는 멀티미디어 컨텐츠 응용시스템.
제 82 항에 있어서, 상기 응용부는 상기 MAF 파일을 MAF를 인식할 수 있으나 완전하게 호환되지 않는 장치, MAF를 완전하게 인식하는 터미널 장치, MAF를 완전하게 인식하는 모바일 장치, 혹은 MAF를 완전하게 인식하는 웹 앨범 장치로 전송하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용시스템.
제 76 항에 있어서, 상기 응용부는 상기 MAF 파일 내에 사진들을 메타데이터에 기반하여 유기적으로 표현하는 표현 툴을 포함하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용시스템.
제 76 항에 있어서, 상기 응용부는 상기 MAF 파일 내에 사진들을 메타데이터에 기반하여 유기적으로 표현하는 표현 툴이 존재하지 않을 경우, 사용자가 가진 어플리케이션의 표현 툴을 이용하여 브라우징을 가능하게 하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용시스템.
제 76 항에 있어서, 상기 응용부는 다양한 사진 획득 장치로부터 획득되어 사진앨범 MAF로 인코딩된 파일들을 인터넷을 통하여 웹 앨범 장치에 전송하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용시스템.
제 86 항에 있어서, 상기 MAF 파일에 포함된 많은 양의 사진들을 웹 앨범 장치에 저장하는 경우, 하나의 MAF 파일을 웹 앨범 장치에 전송하고, 웹 앨범 장치를 전송된 해당 MAF 파일로부터 메타데이터를 추출하여 자동으로 앨범화하는 것을 특징으로 하는 멀티미디어 컨텐츠 응용시스템.
제 1 항 내지 제 46 항 중 어느 한 항에 기재된 멀티미디어 컨텐츠 부호화방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
제 47 항 내지 제 60 항 중 어느 한 항에 기재된 멀티미디어 컨텐츠 응용방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.