KR100749045B1

KR100749045B1 - 음악 내용 요약본을 이용한 유사곡 검색 방법 및 그 장치

Info

Publication number: KR100749045B1
Application number: KR1020060008160A
Authority: KR
Inventors: 김형국; 엄기완; 김지연
Original assignee: 삼성전자주식회사
Priority date: 2006-01-26
Filing date: 2006-01-26
Publication date: 2007-08-13
Also published as: US20070169613A1; KR20070078170A; US7626111B2

Abstract

본 발명은 디지털 컨텐츠 관리 시스템에서의 음악 내용 요약본을 이용한 유사곡 검색 방법 및 그 장치에 관한 것이다. 본 발명은 음악 파일의 압축 영역으로부터 오디오 특징 값을 추출하고, 추출된 오디오 특징 값을 이용하여 음악 내용 요약본을 생성하는 단계와, 상기 생성된 음악 내용 요약본을 이용하여 상기 음악 파일의 무드/장르를 분류하는 단계와, 상기 음악 내용 요약본으로부터 유사도를 검색하기 위한 유사성 특성을 추출하는 단계와, 상기 분류된 무드/장르 정보 및 상기 추출된 유사성 특성 정보를 소정의 데이터베이스에 저장하는 단계와, 사용자로부터 쿼리 음악 정보를 입력 받는 단계와, 상기 쿼리 음악에 대한 무드/장르를 검출하는 단계와, 상기 데이터베이스를 참조하여 상기 쿼리 음악과 무드/장르가 동일한 음악 파일에 대해 상기 쿼리 음악과의 유사도를 측정하는 단계 및 상기 측정된 유사도에 따라 상기 쿼리 음악에 대한 유사곡을 검색하는 단계를 포함하는 것을 특징으로 하는 유사곡 검색 방법을 제공한다. 본 발명에 의하면, 음악 내용 요약본을 이용하여 음악의 무드 및 장르를 분류한 결과에 따라 비슷한 음악 무드 및 장르에 대해서만 유사곡을 검색하므로 검색 결과에 대한 신뢰도가 높은 유사곡 검색 방법 및 그 장치를 제공할 수 있다.

음악, 요약, 분류, 유사곡, 검색

Description

음악 내용 요약본을 이용한 유사곡 검색 방법 및 그 장치{METHOD AND APPARATUS FOR SEARCHING SIMILAR MUSIC USING SUMMARY OF MUSIC CONTENT}

도 1은 본 발명의 일실시예에 따른 음악 내용 요약본을 이용한 유사곡 검색 장치의 구성을 나타내는 도면이다.

도 2는 본 발명에 따른 유사곡 검색 장치에 있어서, 음악 내용 요약본에 대한 무드/장르를 분류하는 일례를 나타내는 도면이다.

도 3은 본 발명의 일실시예에 따른 음악 내용 요약본을 이용한 유사곡 검색 방법의 흐름을 나타내는 도면이다.

도 4는 본 발명에 따른 유사곡 검색 방법에 있어서, 음악 내용 요약본을 생성하는 과정을 나타내는 도면이다.

도 5는 본 발명에 따른 유사곡 검색 방법에 있어서, 음악 내용 변화 지점을 추적하는 일례를 나타내는 도면이다.

도 6은 본 발명에 따른 유사곡 검색 방법에 있어서, 후보 음악 변화 피크 중 음악 내용 변화 지점을 검출하는 일례를 나타내는 도면이다.

도 7은 본 발명에 따른 유사곡 검색 방법에 있어서, 세그먼트를 클러스터링하는 일례를 나타내는 도면이다.

도 8은 본 발명에 따른 유사곡 검색 방법에 있어서, 음악 내용 요약본을 생 성하는 일례를 나타내는 도면이다.

도 9는 본 발명에 따른 유사곡 검색 방법에 있어서, 음색 특성을 추출하는 절차의 일례를 나타내는 도면이다.

도 10은 본 발명에 따른 유사곡 검색 방법에 있어서, 템포 특성을 추출하는 절차의 일례를 나타내는 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

100: 유사곡 검색 장치

110: 음악 내용 요약본 생성부

120: 제1 특성 추출부

130: 제2 특성 추출부

140: 무드/장르 분류부

150: 데이터베이스

160: 쿼리 음악 입력부

170: 쿼리 음악 검출부

180: 검색부

210: 음색 특성 추출부

220: 템포 특성 추출부

본 발명은 디지털 컨텐츠 관리 시스템에서의 음악 내용 요약본을 이용한 유사곡 검색 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 음악 파일로부터 음악 내용 요약본을 생성하고 생성된 음악 내용 요약본을 이용하여 음악 파일에 대한 무드와 장르를 분류하여 데이터베이스에 저장하고 사용자에 의해 요청된 쿼리 음악의 무드와 장르가 동일한 음악 내용 요약본으로부터 유사곡을 검색하는 방법 및 그 장치에 관한 것이다.

일반적으로 디지털 컨텐츠 관리 시스템은 대용량의 음악 데이터베이스로부터 사용자가 선정한 음악 파일과 유사한 곡을 고속으로 검색하기 위해서 음악 내용을 요약하는 기능이 필수적이다.

하지만, 종래 유사곡 검색 방법은 음악 요약본을 사용하지 않고 전체 음악곡을 무드 분류 및 유사곡 검색에 사용하므로 검색 속도가 느리고 검색 성능에 대한 오류가 발생한다.

종래 유사곡 검색 방법은 음악 요약본을 추출하는데 있어서 음악 시그널을 짧은 세그먼트로 나눈 후 각 세그먼트에서 기존에 잘 알려진 비압축 영역에서 오디오 특징값(예를 들어 MFCC, LPC, ZCR 등)을 추출하여 사용하므로 그 처리 속도가 느린 문제점이 있다.

종래 유사곡 검색 방법은 음악 요약본을 추출하는데 있어서 유사성을 측정하기 위해 짧은 세그먼트간의 거리를 이용하여 세그먼트 클러스터링을 하거나 HMM(Hidden Markov Model)을 사용하여 클러스터링을 수행함으로써 클러스터링의 구조가 복잡하여 분류 오류가 발생하고, 모델 형성을 위해 많은 계산량이 요구될 뿐 만 아니라 처리 시간이 오래 걸리는 문제점이 있다.

종래 유사곡 검색 방법은 음악 무드 분류 및 음악 검색을 위한 음악 특징값을 추출하는데 있어서 기존에 잘 알려진 음색(timber), 템포(tempo), intensity 특징 등을 비압축 영역에서 추출하는 방식을 사용하므로 일반적인 음악 파일(예를 들어 MP3)을 PCM 데이터로 변환하는 디코딩 과정이 요구됨에 따라 처리 속도가 느린 문제점이 있다.

종래 유사곡 검색 방법은 장르와 상관없이 정의된 무드 클래스를 사용하므로 분류 오류가 발생된다. 즉, 종래 유사곡 검색 방법은 음악의 무드/장르와 상관없이 유사도를 측정하여 유사곡을 검색하므로 사용자의 기대와 다른 유사곡을 제시하는 경우와 같은 오류가 빈번하게 발생되는 문제점이 있다.

종래 유사곡 검색 방법은 검색 결과 추천된 음악들을 사용자가 확인하기 위해서 곡의 많은 부분을 들어서 확인해야 하므로 사용자가 피드백을 주기에 오랜 시간이 요구되는 문제점이 있다.

따라서, 음악 파일의 유사곡을 검색하는데 처리 속도를 보다 향상시키고, 검색하고자 하는 음악의 무드와 장르가 동일한 음악 중에서 유사곡을 검색하여 유사곡 검색의 오류를 차단하는 방안이 절실하게 요청되고 있다.

본 발명은 상기와 같은 종래기술을 개선하기 위해 안출된 것으로서, 음악 파일로부터 자동으로 음악 요약본을 추출하여 추출된 음악 요약본을 이용하여 음악 무드/장르를 분류하여 유사곡을 검색하는 방법 및 그 장치를 제공하는 것을 목적으 로 한다.

본 발명의 다른 목적은 음악 파일의 압축 영역에서 오디오 특징값을 추출하여 고속으로 음악 요약본을 생성하여 무드/장르를 분류하고 유사곡을 검색하는 처리 속도를 향상시키는 유사곡 검색 방법 및 그 장치를 제공하는 것이다.

본 발명의 또 다른 목적은 음악 파일의 무드/장르에 대한 분류 결과를 고려하여 사용자의 쿼리 음악과 유사한 유사곡을 검색하는 방법 및 그 장치를 제공하는 것이다.

본 발명의 또 다른 목적은 유사곡으로 추천되는 음악 파일에 대한 음악 요약본을 제공하여 사용자가 보다 빠르게 원하는 곡을 검색할 수 있도록 하는 유사곡 검색 방법 및 그 장치를 제공하는 것이다.

상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은 음악 파일의 압축 영역으로부터 오디오 특징 값을 추출하고, 추출된 오디오 특징 값을 이용하여 음악 내용 요약본을 생성하는 단계와, 상기 생성된 음악 내용 요약본을 이용하여 상기 음악 파일의 무드/장르를 분류하는 단계와, 상기 음악 내용 요약본으로부터 유사도를 검색하기 위한 유사성 특성을 추출하는 단계와, 상기 분류된 무드/장르 정보 및 상기 추출된 유사성 특성 정보를 소정의 데이터베이스에 저장하는 단계와, 사용자로부터 쿼리 음악 정보를 입력 받는 단계와, 상기 쿼리 음악에 대한 무드/장르를 검출하는 단계와, 상기 데이터베이스를 참조하여 상기 쿼리 음악과 무드/장르가 동일한 음악 파일에 대해 상기 쿼리 음악과의 유사도를 측정하는 단계 및 상기 측정된 유사도에 따라 상기 쿼리 음악에 대한 유사곡을 검색하는 단계를 포함하는 것을 특징으로 하는 유사곡 검색 방법을 제공한다.

본 발명의 일측에 따르는 음악 내용 요약본을 이용한 유사곡 검색 장치는 음악 파일의 압축 영역으로부터 오디오 특징 값을 추출하고, 추출된 오디오 특징 값을 이용하여 음악 내용 요약본을 생성하는 음악 내용 요약본 생성부와, 상기 생성된 음악 내용 요약본으로부터 MDCT(Modified Discrete Cosine Transformation) 기반의 음색(timbre) 특성 및 MDCT 기반의 템포(tempo) 특성을 추출하는 제1 특성 추출부와, 상기 제1 특성 추출부에서 추출된 특성에 따라 상기 음악 파일의 무드/장르를 분류하는 무드/장르 분류부와, 상기 음악 내용 요약본으로부터 유사성을 검색하기 위한 유사성 특성을 추출하는 제2 특성 추출부와, 상기 분류된 무드/장르 정보 및 상기 추출된 유사성 특성 정보를 저장하는 데이터베이스와, 사용자로부터 쿼리 음악 정보를 입력 받는 쿼리 음악 입력부와, 상기 쿼리 음악에 대한 무드/장르를 검출하는 쿼리 음악 검출부 및 상기 데이터베이스를 참조하여 상기 쿼리 음악과 무드/장르가 동일한 음악 파일에 대해 상기 쿼리 음악과의 유사도를 측정하고, 상기 측정된 유사도에 따라 상기 쿼리 음악에 대한 유사곡을 검색하는 검색부를 포함한다.

이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 음악 내용 요약본을 이용한 유사곡 검색 방법 그 장치를 상세히 설명한다.

도 1을 참조하면, 유사곡 검색 장치(100)는 음악 내용 요약본 생성부(110), 제1 특성 추출부(120), 제2 특성 추출부(130), 무드/장르 분류부(140), 데이터베이스(150), 쿼리 음악 입력부(160), 쿼리 음악 검출부(170) 및 유사곡 검색부(180)를 포함한다.

음악 내용 요약본 생성부(110)는 음악 파일의 압축 영역으로부터 오디오 특징 값을 추출하고, 추출된 오디오 특징 값을 이용하여 음악 내용 요약본을 생성한다.

제1 특성 추출부(120)는 음악 파일로부터 음악의 무드/장르를 분류하기 위한 제1 특성을 추출한다. 제1 특성 추출부(120)는 도 2에 도시된 것과 같이 음색 특성 추출부(210) 및 템포 특성 추출부(220)를 포함한다.

도 2를 참조하면, 음색 특성 추출부(210)는 음악 파일의 압축 영역으로부터 MDCT(Modified Discrete Cosine Transformation) 기반의 음색 특성(timbre feature)을 추출한다. 즉, 음색 특성 추출부(210)는 예를 들어 MP3(MPEG Audio Layer-3) 방식으로 압축된 음악 파일을 부분적으로 디코딩하여 MDCT 계수를 추출하고, 상기 추출된 MDCT 계수 중에서 소정 MDCT 계수를 선택하고, 상기 선택된 MDCT 계수들로부터 음색 특성을 추출할 수 있다. 또한, 음색 특성 추출부(210)는 상기 MP3 방식뿐만 아니라 AAC(Advanced Audio Coding) 방식 등과 같이 다양한 방식의 음악 파일로부터 MDCT 계수를 추출할 수 있다.

템포 특성 추출부(220)는 상기 음악 파일의 압축 영역으로부터 MDCT 기반의 템포 특성(tempo feature)을 추출한다. 즉, 템포 특성 추출부(220)는 MP3 방식으 로 압축된 음악 파일 또는 ACC 음악 파일을 부분적으로 디코딩하여 MDCT 계수를 추출하고, 상기 추출된 MDCT 계수 중에서 소정 MDCT 계수를 선택하고, 상기 선택된 MDCT 계수들로부터 DTF(Discrete Fourier Transformation)를 수행하여 MDCT-MS(Modulation Spectrum)을 추출하고, 상기 추출된 MDCT-MS 기반의 서브 밴드(sub-band)를 분할하고, 상기 분할된 서브 밴드로부터 에너지를 추출하여 상기 음악 파일의 템포 특성으로 사용할 수 있다.

이와 같이, 본 발명에 따른 유사곡 검색 장치(100)는 음악 파일의 압축 영역으로부터 음색 특성 및 템포 특성을 추출하므로 종래 비압축 영역에서 특성을 추출하는 것에 비해 처리 속도를 향상시킬 수 있다.

제2 특성 추출부(130)는 상기 음악 파일로부터 유사성 검색하기 위한 제2 특성을 추출한다. 즉, 제2 특성 추출부(130)는 상기 음악 파일로부터 MDCT 기반의 음색 특성 및 MDCT-MS 기반의 템포 특성을 추출하고, 해당 분석 구간 내에서 추출된 각 특성들에 대한 최대, 평균 및 표준 편차값을 구하고, 이를 데이터베이스(150)에 저장한다.

무드/장르 분류부(140)는 상기 생성된 음악 내용 요약본을 이용하여 상기 음악 파일에 대한 무드/장르를 분류한다.

무드 장르 분류부(140)는 상기 추출된 음색 특성 및 템포 특성을 기초로 하여 상기 음악 파일에 대한 무드/장르를 분류할 수 있다.

무드/장르 분류부(140)는 음색 특성 추출부(210)에서 추출된 음색 특성을 기초로 하여 예를 들어 상기 음악 파일에 대한 무드를 1차적으로 4가지의 무드에 따 른 7개의 클래스(예를 들어 calm in classical, calm/sad in pop, exciting in rock, pleasant in electronic pop, pleasant in classical, pleasant in jazz pop, sad in pop) 중 어느 하나로 분류할 수 있다.

무드/장르 분류부(140)는 도 2에 도시된 것과 같이 상기 1차적으로 분류된 무드 분류 결과가 예를 들어 'pleasant + classical'인 경우, 상기 추출된 템포 특성을 참조하여 2차적으로 상기 무드 분류 결과를 'clam + classical' 또는 'pleasant + classical'로 재분류한다.

무드/장르 분류부(140)는 상기 1차적으로 분류된 무드 분류 결과가 예를 들어 'pleasant + jazz pop'인 경우, 상기 추출된 템포 특성을 참조하여 2차적으로 상기 무드 분류 결과를 'sad + pop' 또는 'pleasant + jazz pop'으로 재분류한다.

무드/장르 분류부(140)는 상기 음악 파일이 장르 정보를 가지는 태그 정보를 포함하는 경우, 상기 음악 파일로부터 태그 정보를 추출하고, 상기 추출된 태그 정보의 장르 정보를 이용하여 상기 음악 파일에 대한 장르를 분류할 수도 있다.

무드/장르 분류부(140)는 상기 분류된 음악 파일의 무드/장르 정보를 데이터베이스(150)에 저장한다.

데이터베이스(150)는 메타 데이터로 상기 분류된 음악 파일의 무드/장르 정보 및 상기 추출된 유사성 검색 특성을 위한 제2 특성 정보를 저장한다. 상기 제2 특성 정보는 상기 음악 파일로부터 MDCT 기반의 음색 추출 및 MDCT-MS 기반의 템포 특성을 추출하고, 해당 분석 구간 내에서 각 특성들의 최대, 평균, 표준 편차를 포함한다.

쿼리 음악 입력부(160)는 사용자로부터 쿼리 음악 정보를 입력 받는다.

쿼리 음악 검출부(170)는 상기 입력된 쿼리 음악 정보를 이용하여 상기 쿼리 음악의 무드/장르를 검출하고, 상기 쿼리 음악의 유사성 검색을 위한 특성을 검출한다.

쿼리 음악 검출부(170)는 상기 입력된 쿼리 음악 정보에 대응하는 음악 파일이 데이터베이스(150)에 저장된 경우, 데이터베이스(150)로부터 상기 음악 파일에 대한 무드/장르를 검출하고, 상기 쿼리 음악의 유사성 검색을 위한 특성을 검출할 수 있다.

검색부(180)는 데이터베이스(150)를 참조하여 상기 검출된 쿼리 음악의 무드/장르가 동일한 음악 파일에 대해서 유사곡을 검색한다.

검색부(180)는 상기 검출된 쿼리 음악의 무드와 장르가 동일한 음악에 대해서 상기 최대, 평균 및 표준 편차값을 이용하여 상기 쿼리 음악에 대한 유사곡을 검색할 수 있다.

검색부(180)는 상기 쿼리 음악과 동일한 무드/장르의 음악 파일에 대한 특성들의 유클리드 거리(Euclidean Distance)를 계산하고, 상기 계산된 거리가 소정의 기준치보다 작은 N개의 후보곡을 유사곡으로 검출할 수 있다.

도 3을 참조하면, 단계(310)에서 유사곡 검색 장치는 음악 파일의 압축 영역으로부터 오디오 특징 값을 추출하고, 추출된 오디오 특징 값을 이용하여 음악 내 용 요약본을 생성한다. 본 발명에 따른 유사곡 검색 방법의 단계(310)에서 음악 내용 요약본을 생성하는 과정은 도 4를 참조하여 하기에서 보다 상세하게 설명하기로 한다.

도 4를 참조하면, 단계(410)에서 상기 유사곡 검색 장치는 음악 파일의 압축 영역으로부터 오디오 특징 값을 추출한다.

단계(410)에서 상기 유사곡 검색 장치는 상기 음악 파일의 압축 영역에서 부분적 디코딩을 수행하여 MDCT(Modified Discrete Cosine Transformation) 특징 값을 추출할 수 있다. MDCT 특징 값을 추출하는 실시예에 대해서는 하기 음색 특성을 추출하는 과정에서 보다 상세히 설명하기로 한다.

이와 같이, 본 발명에 따른 유사곡 검색 방법은 음악 데이터의 압축 영역에서 오디오 특징 값을 추출함으로써 종래 비압축 영역에서 오디오 특징 값을 추출하는 것에 비해 처리 속도가 향상되는 이점이 있다.

단계(420)에서 상기 유사곡 검색 장치는 상기 추출된 특징 값을 사용하여 음악 내용 변화 지점을 추적하여 세그먼트(segment)를 재구성한다.

즉, 단계(420)에서 상기 유사곡 검색 장치는 상기 추출된 MDCT 특징 값을 기반으로 고정된 길이의 두 개의 세그먼트를 설정한다.

단계(420)에서 상기 유사곡 검색 장치는 도 5에 도시된 것과 같이 상기 음악 데이터를 따라 상기 설정된 두 개의 세그먼트(Window1, Window2)를 일정한 시간 간 격으로 시프팅(shifting)하면서 상기 두 개의 세그먼트간 유사성을 결정하여 상기 음악 내용 변화 지점(MCP1, MCP2, MCP3, MCP4)을 추적한다.

단계(420)에서 상기 유사곡 검색 장치는 예를 들어 3초 이상 고정된 길이의 두 개의 세그먼트를 설정한 후 전체 음악 시그널을 따라 1.5초 이하의 고정된 간격으로 시프팅하면서 상기 두 개의 세그먼트의 유사성을 결정할 수 있다.

단계(420)에서 상기 유사곡 검색 장치는 유사성의 가부를 결정하기 위해 MKL(Modified Kullback-Leibler Distance) 방식을 사용하여 상기 음악 내용 변화 지점을 추적할 수 있다.

단계(420)에서 상기 유사곡 검색 장치는 MKL 방식에 의해 복수 개의 피크(peak)를 계산한다.

Σ: covariance

l: 두 개의 세그먼트 중 왼쪽 세그먼트

r: 두 개의 세그먼트 중 오른쪽 세그먼트

본 발명에 따른 유사곡 검색 방법은 MKL 방식을 사용하게 되면 다양한 간격과 높이의 피크가 나타나므로 어떤 피크가 음악 내용 변화 지점을 결정하는 피크인 지 판별하기 어려운 문제점이 있기 때문에 하기와 같은 단계들을 더 수행한다.

단계(420)에서 상기 유사곡 검색 장치는 상기 계산된 피크 중에서 N개 이상의 피크를 비교하여 높은 피크(High Peak), 낮은 피크(Low Peak) 또는 중간 피크(Interval Peak) 중 어느 하나로 구분한다.

단계(420)에서 상기 유사곡 검색 장치는 예를 들어 상기 MKL 방식에 의해 계산된 5개 이상의 피크를 비교하여 높은 피크, 낮은 피크 또는 중간 피크 중 어느 하나로 구분할 수 있다.

단계(420)에서 상기 유사곡 검색 장치는 정의된 경사 구간을 만족하는 높은 피크(High Peak)를 도 6에 도시된 것과 같이 후보 음악 변화 피크(Candidate Music Change Peak)로 결정한다. 상기 정의된 경사 구간은 높은 피크가 이전의 피크보다 높고, 그 다음 5개의 피크보다 높아야 한다.

단계(420)에서 상기 유사곡 검색 장치는 도 6에 도시된 것과 같이 복수 개의 상기 후보 음악 변화 피크 중에서 한계값(Threshold) 이상에 해당하는 후보 음악 변화 피크를 상기 음악 내용 변화 지점으로 결정한다. 상기 한계값은 상기 MKL 방식에 의해 계산된 S개 이상의 피크에 대한 평균값에 의해 자동으로 생성된다.

이와 같이, 본 발명에 따른 유사곡 검색 방법은 강력한 피크 검색 알고리즘을 사용하므로 보다 명확하게 음악 내용 변화 지점을 추적할 수 있다.

단계(430)에서 상기 유사곡 검색 장치는 상기 재구성된 각 세그먼트에서 인접한 길이의 일부분을 취해 BIC(Bayesian Information Criterion) 방식을 사용하여 세그먼트를 클러스터링하여 상기 각 세그먼트간의 유사성과 반복성을 측정한다.

이와 같이, 본 발명에 따른 유사곡 검색 방법은 음악 내용 변화 지점에 따른 세그먼트를 클러스터링에 이용하므로 클러스터링의 복잡성을 줄일 수 있는 이점이 있다.

또한, 본 발명에 따른 유사곡 검색 방법은 음악 내용 변화 지점에 따라 형성된 세그먼트로부터 일정한 간격의 세그먼트를 선정하여 클러스터링을 수행하므로 클러스터링의 정확성을 높일 수 있는 이점이 있다.

단계(430)에서 상기 유사곡 검색 장치는 상기 추적된 음악 내용 변화 지점에 의해 획득된 상기 각 세그먼트로부터 일정한 길이의 구간을 선별하여 BIC 방식에 의해 상기 각 세그먼트간의 유사성과 반복성을 측정할 수 있다.

N: 세그먼트의 길이

상기 유사곡 검색 장치는 수학식 2에 의해 R_BIC(i)가 '0'보다 큰 경우, 상기 세그먼트가 유사한 것으로 결정하고, R_BIC(i)가 '0'보다 크지 않은 경우 상기 세그먼트가 유사하지 않은 것으로 결정할 수 있다.

이와 같이, 본 발명에 따른 유사곡 검색 방법은 다양한 길이의 세그먼트로부터 분포가 다른 covariance matrix를 구하여 유사성을 비교하게 되면 오류가 발생하므로 이를 해결하기 위해 상기 검출된 음악 내용 변화 지점에 의해 획득된 다양 한 길이의 세그먼트로부터 일정한 길이 예를 들어 3초 이상의 구간을 선별하여 BIC 방식에 의해 세그먼트의 유사성과 반복성을 결정할 수 있다.

단계(440)에서 상기 유사곡 검색 장치는 상기 검출된 음악 내용 변화 지점으로부터 형성된 각 세그먼트에서 음악 내용을 분석하기 위해 MDCT 기반의 음색 특성과 MDCT-MS 기반의 템포 특성을 추출한다.

단계(440)에서 상기 유사곡 검색 장치는 상기 추출된 두 종류의 특성을 결합하기 위해 상기 두 종류의 특성으로부터 중심(centroid), 대역폭(bandwidth), 플럭스(flux) 및 평탄(flatness)을 구할 수 있다.

단계(450)에서 상기 유사곡 검색 장치는 상기 추출된 음색 및 템포 특성들에 대해 유클리드 거리(Euclidean distance)를 계산하고, 계산된 값에 의한 유사성에 따라 클러스터링을 수행하여 각 세그먼트의 유사성 및 반복성을 측정한다.

단계(450)에서 상기 유사곡 검색 장치는 상기 유클리드 거리를 사용한 세그먼트의 클러스터링에 의해 구해진 가장 큰 클러스터를 상기 음악 데이터의 대표 부분 후보로 결정할 수 있다.

단계(460)에서 상기 유사곡 검색 장치는 상기 BIC 방식을 사용한 제1클러스터링 결과와 상기 유클리드 거리 방식을 사용한 제2 클러스터링 결과를 비교한 결과에 따라 각 세그먼트의 유사성 및 반복성을 결정한다.

단계(460)에서 상기 유사곡 검색 장치는 상기 제1 클러스터링 결과와 상기 제2 클러스터링 결과를 비교하여 일치하는 부분을 이용하여 상기 음악 데이터의 대표 부분, 각 세그먼트의 반복성 및 유사성을 결정할 수 있다.

단계(460)에서 상기 유사곡 검색 장치는 상기 제1 클러스터링 결과와 상기 제2 클러스터링 결과를 비교하여 일치하지 않은 경우, 상기 제2 클러스터링 결과에 따라 상기 음악 데이터의 대표 부분, 상기 각 세그먼트의 반복성 및 유사성을 결정할 수 있다.

이와 같이, 본 발명에 따른 유사곡 검색 방법은 음악 내용 변화 지점에 따라 형성된 세그먼트로부터 일정한 간격의 세그먼트를 BIC 방식과 압축 영역에서 추출된 음색 및 템포 특성을 사용하여 Euclidean distance 클러스터링 방식을 혼합하여 고속으로 음악 내용 요약본을 형성할 수 있다.

단계(470)에서 상기 유사곡 검색 장치는 상기 측정된 각 세그먼트간의 유사성과 반복성에 의해 선택된 세그먼트를 이용하여 음악 내용 요약본을 생성한다.

단계(470)에서 상기 유사곡 검색 장치는 상기 측정된 유사성에 따라 세그먼트의 쌍(pair)을 결정하고, 상기 결정된 쌍의 첫 세그먼트를 요약 대상으로 선택하고, 상기 선택된 각 세그먼트의 비율을 고려하여 일정 시간의 음악 내용 요약본을 생성할 수 있다.

단계(470)에서 상기 유사곡 검색 장치는 상기 측정된 유사성에 따라 도 7에 도시된 것과 같이 세그먼트의 쌍({A, K}, {C, G}, {D, H}, {E, J}, {F, I})을 결정한다.

단계(470)에서 상기 유사곡 검색 장치는 각 세그먼트의 유사성을 상기 세그먼트의 배열 순서에 따라 유사성이 없는 세그먼트 B를 제외하고, 상기 결정된 쌍({A, K}, {C, G}, {D, H}, {E, J}, {F, I})의 첫 세그먼트인 A, C, D, E, F를 요약 대상으로 선택한다. 그리고, 상기 음악 내용 자동 요약 장치는 상기 선택된 각 세그먼트(A, C, D, E, F)의 비율을 고려하여 일정 시간의 음악 내용 요약본을 생성할 수 있다.

단계(470)에서 상기 유사곡 검색 장치는 도 8에 도시된 것과 같이 음악 데이터(810)의 선택된 각 세그먼트(A, C, D, E, F) 중 가장 긴 세그먼트인 C를 기준으로 상기 선택된 세그먼트의 비율을 고려하여 예를 들어 50초의 음악 내용 요약본(820)을 생성할 수 있다.

또한, 상기 유사곡 검색 장치는 상기 생성된 음악 내용 요약본을 통해 상기 가장 긴 세그먼트를 상기 음악 데이터의 하이라이트(highlight)로 재생할 수 있다. 예컨대, 본 발명에 따른 유사곡 검색 방법에 따르면, 사용자가 음악을 미리 들어보고자 하는 경우, 가장 긴 세그먼트를 하이라이트로 들려줄 수 있다.

또한, 본 발명에 따른 유사곡 검색 방법은 3~4분 정도의 음악 데이터를 예컨대 약 50초 정도의 음악 내용 요약본으로 제공함으로써 사용자가 음악 검색이나 사용자의 피드백이 요구되는 음악 추천 장치에 효과적으로 활용될 수 있다.

단계(320)에서 상기 유사곡 검색 장치는 상기 생성된 음악 내용 요약본을 이용하여 상기 음악 파일의 무드/장르를 분류한다.

단계(320)에서 상기 유사곡 검색 장치는 상기 음악 내용 요약본의 압축 영역으로부터 MDCT(Modified Discrete Cosine Transformation) 기반의 음색(timbre) 특성을 추출할 수 있다.

본 발명에 따른 단계(320)에서 MDCT 기반의 음색 특성을 추출하는 과정은 도 9를 참조하여 하기에서 보다 상세하게 설명하기로 한다.

도 9는 본 발명에 따른 유사곡 검색 방법에 있어서, 음색 특성을 추출하는 과정의 일례를 나타내는 도면이다.

도 9를 참조하면, 단계(910)에서 상기 유사곡 검색 장치는 소정 압축 방식으로 압축된 음악 파일의 음악 내용 요약본을 부분적으로 디코딩하여 576개의 MDCT 계수 S_i(n)를 추출한다. 여기서, n은 MDCT의 프레임 인덱스를 나타내고, i(0~575)는 MDCT의 서브 밴드 인덱스(sub-band index)를 나타낸다.

단계(920)에서 상기 유사곡 검색 장치는 576개의 MDCT 서브 밴드들 중에서 소정 MDCT 계수 S_k(n)을 선택한다. 여기서, S_k(n)은 상기 선택된 MDCT 계수를 나타내고, k(<i)은 선택된 MDCT 서브 밴드 인덱스를 나타낸다.

단계(930)에서 상기 유사곡 검색 장치는 상기 선택된 각 MDCT 계수들로부터 25개의 음색 특성(feature)을 추출한다. 상기 추출되는 음색 특성은 대표적으로 스펙트럼의 중심(spectral centroid), 대역폭(bandwidth), 롤오프(rolloff), 플럭스(flux), 스펙트럼의 서브 밴드 피크(spectral sub-band peak), 밸리(valley), 평균(average) 등이 있다.

수학식 3은 상기 중심(centroid)와 연관된 수식이다. 상기 중심은 가장 강한 비트 레이트(beat rate)을 나타낸다.

수학식 4는 상기 대역폭(bandwidth)와 연관된 수식이다. 상기 대역폭은 비트 레이트의 범위를 나타낸다.

수학식 5는 상기 롤오프(rolloff)와 연관된 수식이다.

수학식 6은 상기 플럭스(flux)와 연관된 수식이다. 상기 플럭스는 시간에 따른 비트 레이트의 변화를 나타낸다.

수학식 7은 상기 서브 밴드 피크(sub-band peak)와 연관된 수식이다.

수학식 8은 상기 밸리(valley)와 연관된 수식이다.

수학식 9는 상기 평균(average)와 연관된 수식이다.

단계(930)에서 상기 유사곡 검색 장치는 상기 선택된 MDCT 계수로부터 평탄 특성을 추출한다.

수학식 10은 상기 평탄(flatness)과 연관된 수식이다. 상기 평탄은 명백하고 강한 비트가 어떤 특성인지를 나타낸다.

단계(940)에서 상기 유사곡 검색 장치는 유사성 검색을 위한 음색 특성을 추출한다. 즉, 단계(940)에서 상기 유사곡 검색 장치는 상기 유사성 검색을 위한 유사성 특성을 추출하기 위해 상기 중심, 대역폭, 플럭스 및 평탄에 대한 최대(maximum), 평균(mean) 및 표준 편차(standard deviation)를 계산할 수 있다.

한편, 단계(320)에서 상기 유사곡 검색 장치는 상기 음악 내용 요약본의 상기 압축 영역으로부터 MDCT 기반의 템포 특성을 추출할 수도 있다. 본 발명에 따른 단계(320)에서 MDCT 기반의 템포 특성을 추출하는 과정은 도 10을 참조하여 하기에서 보다 상세하기 설명하기로 한다.

도 10은 본 발명에 따른 유사곡 검색 방법에 있어서, 템포 특성을 추출하는 과정의 일례를 나타내는 도면이다.

도 10을 참조하면, 단계(1010)에서 상기 유사곡 검색 장치는 소정 압축 방식으로 압축된 음악 내용 요약본에 대한 음악 파일을 부분적으로 디코딩하여 576개의 MDCT 계수 S_i(n)를 추출한다. 여기서, n은 MDCT의 프레임 인덱스를 나타내고, i(0~575)는 MDCT의 서브 밴드 인덱스(sub-band index)를 나타낸다.

단계(1020)에서 상기 유사곡 검색 장치는 상기 576개의 MDCT 서브 밴드들 중에서 잡음 환경에 강인한 MDCT 계수 S_k(n)을 선택한다. 여기서, S_k(n)은 상기 선택된 MDCT 계수를 나타내고, k(<i)은 선택된 MDCT 서브 밴드 인덱스를 나타낸다.

단계(1030)에서 상기 유사곡 검색 장치는 상기 선택된 MDCT 계수들로부터 DFT(Discrete Fourier Transformation)을 수행하여 MDCT 변조 스펙트럼(Modulation Spectrum: MS)을 추출한다.

여기서, q는 변조 주파수(modulation frequency)이고, modulation resolution은 DTF 길이 N에 의존한다.

시간 이동(Time shift)를 사용하여 DFT가 수행된 MDCT 변조 스펙트럼은 수학식 13과 같이 3개의 변수를 가진 4차원의 형태로 표현될 수 있다.

여기서, t는 시간 인덱스(time index)(shift of MDCT-MS on time)를 의미한다.

단계(1040)에서 상기 유사곡 검색 장치는 상기 추출된 MDCT 변조 스펙트럼을 N개의 서브 밴드로 분할하고, 상기 분할된 서브 밴드로부터 에너지를 추출하여 MDCT-MS 기반의 템포 특성으로 사용한다.

단계(1050)에서 상기 유사곡 검색 장치는 유사성 검색을 위해 상기 추출된 템포 특성으로 MDCT-MS 기반의 중심, 대역폭, 플럭스 및 평탄을 추출한다. 즉, 단계(1050)에서 상기 유사곡 검색 장치는 상기 MDCT 변조 스펙트럼 기반의 템포 특성에 따른 중심, 대역폭, 플럭스 및 평탄을 상기 유사성 특성으로 추출할 수 있다.

이와 같이, 본 발명에 따른 유사곡 검색 방법은 유사곡 검색을 위한 오디오 특성을 압축 영역에서 추출하여 특성 추출에 소요되는 복잡성을 줄일 수 있다.

단계(320)에서 상기 유사곡 검색 장치는 상기 음악 내용 요약본으로부터 추출된 음색 특성 및 템포 특성을 기초로 하여 상기 음악 파일의 무드/장르를 분류한다.

단계(320)에서 상기 유사곡 검색 장치는 상기 추출된 음색 특성을 기초로 하여 상기 음악 파일에 대한 장르를 분류하고, 상기 장르 분류 결과에 대한 혼동(confusion)이 소정 기준 값보다 높은 경우 상기 장르의 음악 파일에 대한 카테고리를 재분류할 수 있다.

즉, 단계(320)에서 상기 유사곡 검색 장치는 상기 장르 분류 결과에 대한 혼동이 소정 기준 값보다 높은 경우, 상기 추출된 템포 특성을 기초로 하여 상기 장르의 음악 파일에 대한 카테고리를 재분류할 수 있다.

단계(320)에서 상기 유사곡 검색 장치는 상기 추출된 음색 특성을 기초로 하 여 1차적으로 4가지의 음악 파일을 무드에 따른 7개의 클래스(예를 들어 calm in classical, calm/sad in pop, exciting in rock, pleasant in electronic pop, pleasant in classical, pleasant in jazz pop, sad in pop) 중 어느 하나로 분류할 수 있다.

단계(320)에서 상기 유사곡 검색 장치는 1차적인 무드 분류 결과에 대한 혼동이 높은 클래스(예를 들어 pleasant + classical, pleasant + jazz pop)에 대해 상기 추출된 템포 특성을 기초로 하여 2차적으로 재분류할 수 있다.

즉, 단계(320)에서 상기 유사곡 검색 장치는 상기 1차적으로 분류된 무드 분류 결과가 예를 들어 'pleasant + classical'로 분류된 음악 파일에 대한 카테고리를 상기 추출된 템포 특성에 따라 'calm + classical' 또는 'pleasant + classical'로 재분류하고, 'pleasant + jazz pop'로 분류된 음악 파일에 대한 카테고리를 상기 추출된 템포 특성에 따라 'sad + pop' 또는 'pleasant + jazz pop'으로 재분류할 수 있다.

또한, 단계(320)에서 상기 유사곡 검색 장치는 상기 재분류된 음악 파일에 대한 카테고리를 K개의 무드로 병합한다.

즉, 단계(320)에서 상기 유사곡 검색 장치는 상기 추출된 음색 특성에 따라 1차적으로 분류된 무드 분류 결과 및 상기 추출된 템포 특성에 따라 2차적으로 분류된 무드 분류 결과를 결합하여 예를 들어 4개의 무드 클래스(exciting, pleasant, calm, sad)로 병합할 수 있다.

한편, 단계(320)에서 상기 유사곡 검색 장치는 GMM(Gaussian Mixture model) 을 사용하여 상기 음악 파일을 세분화된 카테고리로 분류할 수 있다.

또한, 단계(320)에서 상기 유사곡 검색 장치는 상기 음악 파일이 장르 정보를 가지는 태그 정보를 포함하는 경우, 상기 음악 파일로부터 상기 태그 정보를 추출하고, 상기 추출된 태그 정보의 상기 장르 정보를 이용하여 상기 음악 파일에 대한 장르를 분류할 수도 있다.

단계(330)에서 상기 유사곡 검색 장치는 상기 음악 파일로부터 음악의 유사도를 검색하기 위한 유사성 특성을 추출한다.

단계(330)에서 상기 유사곡 검색 장치는 앞서 설명된 상기 음색 특성을 추출하는 과정의 단계(440) 및 상기 템포 특성을 추출하는 과정의 단계(550)에 의해 상기 음악의 유사도를 검색하기 위한 유사성 특성을 추출할 수 있다.

즉, 단계(330)에서 상기 유사곡 검색 장치는 상기 음악 내용 요약본의 압축 영역으로부터 추출된 음색 또는 템포 특성들에 대한 최대, 평균 및 표준 편차를 구하고, 이를 이용하여 상기 유사성 특성을 추출할 수 있다.

이와 같이, 본 발명에 따른 유사곡 검색 방법은 유사곡 검색을 위한 음악 특성을 압축 영역에서 추출하므로 유사곡 검색을 위한 전체적인 처리 속도를 향상시킬 수 있다.

단계(340)에서 상기 유사곡 검색 장치는 상기 분류된 음악 파일에 대한 무드/장르 정보 및 상기 추출된 유사성 특성을 메타 데이터로 소정의 데이터베이스에 저장한다.

단계(350)에서 상기 유사곡 검색 장치는 사용자로부터 유사곡을 검색하기 위 한 쿼리 음악에 대한 정보를 입력 받는다. 상기 사용자는 상기 쿼리 음악이 상기 데이터베이스에 저장되어 있는 경우, 상기 저장된 쿼리 음악의 제목을 상기 쿼리 음악에 대한 정보로 입력할 수 있다.

단계(360)에서 상기 유사곡 검색 장치는 상기 입력된 쿼리 음악에 대한 무드/장르를 검출한다.

단계(360)에서 상기 유사곡 검색 장치는 상기 입력된 쿼리 음악에 대한 무드/장르 정보가 상기 데이터베이스에 저장되어 있는 경우, 상기 데이터베이스로부터 상기 쿼리 음악에 대한 무드/장르 정보를 추출할 수도 있다.

단계(370)에서 상기 유사곡 검색 장치는 상기 데이터베이스를 참조하여 상기 쿼리 음악과 동일한 무드/장르인 음악 파일에 대해 상기 쿼리 음악과의 유사도를 측정한다.

즉, 단계(370)에서 상기 유사곡 검색 장치는 상기 데이터베이스를 참조하여 상기 쿼리 음악과 동일한 무드/장르인 음악 파일의 특성에 대해 유클리드 거리(Euclidean Distance)를 계산한다.

단계(380)에서 상기 유사곡 검색 장치는 상기 측정된 유사도에 따라 상기 쿼리 음악에 대한 유사곡을 검색한다.

즉, 단계(380)에서 상기 유사곡 검색 장치는 상기 계산된 유클리드 거리가 소정의 기준치보다 작은 N개의 음악 파일을 유사곡으로 검색할 수 있다.

이와 같이, 본 발명에 따른 유사곡 검색 방법은 음악의 무드 및 장르 자동 분류 결과를 이용하여 비슷한 음악 무드 및 장르에 대해서만 유사곡을 검색하므로 검색 결과에 대한 신뢰도가 높일 수 있다.

또한, 본 발명에 따른 유사곡 검색 방법은 유사곡 검색을 위해 주어진 쿼리 음악과 동일한 무드, 장르를 갖는 음악 파일에 대해서만 검색을 수행함으로써 전체 곡을 검색하지 않아도 되므로 검색 시간을 줄일 수 있다.

본 발명에 따른 유사곡 검색 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

본 발명에 따르면, 음악 내용 요약본을 이용하여 음악의 무드 및 장르를 분류한 결과에 따라 비슷한 음악 무드 및 장르에 대해서만 유사곡을 검색하므로 검색 결과에 대한 신뢰도가 높은 유사곡 검색 방법 및 그 장치를 제공할 수 있다.

또한 본 발명에 따르면, 압축 영역에서 음악 특성을 추출하여 음악 내용 요약본을 생성하고 생성된 요약본을 이용하여 음악 무드 및 장르를 고속으로 분류할 수 있는 유사곡 검색 방법 및 그 장치를 제공할 수 있다.

또한 본 발명에 따르면, 유사곡 검색을 위한 음악 특성을 압축 영역에서 추출하므로 유사곡 검색을 위한 전체적인 처리 속도를 향상시킬 수 있는 유사곡 검색 방법 및 그 장치를 제공할 수 있다.

또한 본 발명에 따르면, 유사곡 검색을 위한 오디오 특성을 압축 영역에서 추출하여 특성 추출에 소요되는 복잡성을 줄일 수 있는 유사곡 검색 방법 및 그 장치를 제공할 수 있다.

또한 본 발명에 따르면, 유사곡 검색을 위해 주어진 쿼리 음악과 동일한 무드, 장르를 갖는 음악 파일에 대해서만 검색을 수행함으로써 전체 곡을 검색하지 않아도 되므로 검색 시간을 줄일 수 있는 유사곡 검색 방법 및 그 장치를 제공할 수 있다.

Claims

디지털 컨텐츠 관리 시스템에서의 음악 내용 요약본을 이용한 유사곡 자동 처리/검색 방법에 있어서,

음악 파일의 압축 영역으로부터 오디오 특징 값을 추출하고, 추출된 오디오 특징 값을 이용하여 음악 내용 요약본을 생성하는 단계;

상기 생성된 음악 내용 요약본을 이용하여 상기 음악 파일의 무드/장르를 분류하는 단계;

상기 음악 내용 요약본으로부터 유사도를 검색하기 위한 유사성 특성을 추출하는 단계;

상기 분류된 무드/장르 정보 및 상기 추출된 유사성 특성 정보를 소정의 데이터베이스에 저장하는 단계;

사용자로부터 쿼리 음악 정보를 입력 받는 단계;

상기 쿼리 음악에 대한 무드/장르를 검출하는 단계;

상기 데이터베이스를 참조하여 상기 쿼리 음악과 무드/장르가 동일한 음악 파일에 대해 상기 쿼리 음악과의 유사도를 측정하는 단계; 및

상기 측정된 유사도에 따라 상기 쿼리 음악에 대한 유사곡을 검색하는 단계

를 포함하는 것을 특징으로 하는 유사곡 검색 방법.
제1항에 있어서,

음악 파일의 압축 영역으로부터 오디오 특징 값을 추출하고, 추출된 오디오 특징 값을 이용하여 음악 내용 요약본을 생성하는 상기 단계는,

음악 파일의 압축 영역으로부터 오디오 특징 값을 추출하는 단계;

상기 추출된 특징 값을 사용하여 음악 내용 변화 지점을 추적하여 세그먼트(segment)를 재구성하는 단계;

상기 재구성된 각 세그먼트에서 일정한 길이의 일부분(fragment)을 취해 클러스터링(clustering)하여 상기 각 세그먼트간의 유사성과 반복성을 측정하는 단계; 및

상기 측정된 각 세그먼트간의 유사성과 반복성에 의해 선택된 세그먼트를 이용하여 음악 내용 요약본을 생성하는 단계

를 포함하는 것을 특징으로 하는 유사곡 검색 방법.
제1항에 있어서,

상기 생성된 음악 내용 요약본을 이용하여 상기 음악 파일의 무드/장르를 분류하는 상기 단계는,

상기 음악 내용 요약본의 압축 영역으로부터 MDCT(Modified Discrete Cosine Transformation) 기반의 음색(timbre) 특성을 추출하는 단계;

상기 음악 내용 요약본의 상기 압축 영역으로부터 MDCT 기반의 템포(tempo) 특성을 추출하는 단계; 및

상기 추출된 음색 특성 및 템포 특성을 기초로 하여 상기 음악 파일에 대한 무드/장르를 분류하는 단계

를 포함하는 것을 특징으로 하는 유사곡 검색 방법.
제3항에 있어서,

상기 음악 내용 요약본의 압축 영역으로부터 MDCT(Modified Discrete Cosine Transformation) 기반의 음색(timbre) 특성을 추출하는 상기 단계는,

상기 음악 내용 요약본을 부분적으로 디코딩하여 MDCT 계수들을 추출하는 단계;

상기 추출된 MDCT 계수들로부터 소정 개수의 서브 밴드(sub-band)의 MDCT 계수를 선택하는 단계; 및

상기 선택된 MDCT 계수들로부터 스펙트럼의 중심(spectral centroid), 대역폭(bandwidth), 롤오프(rolloff), 플럭스(flux) 및 평탄(flatness)을 추출하는 단계

를 포함하는 것을 특징으로 하는 유사곡 검색 방법.
제4항에 있어서,

상기 음악 내용 요약본으로부터 유사도를 검색하기 위한 유사성 특성을 추출하는 상기 단계는,

상기 추출된 음색 특성에 대한 최대(maximum), 평균(mean) 및 표준 편차(standard deviation)를 계산하는 단계를 포함하는 것을 특징으로 하는 유사곡 검색 방법.
제3항에 있어서,

상기 음악 내용 요약본의 상기 압축 영역으로부터 MDCT 기반의 템포(tempo) 특성을 추출하는 상기 단계는,

상기 음악 내용 요약본을 부분적으로 디코딩하여 상기 MDCT 계수들을 추출하는 단계;

상기 추출된 MDCT 계수로부터 소정 서브 밴드(sub-band)의 MDCT 계수를 선택하는 단계;

상기 선택된 MDCT 계수로부터 DFT(Discrete Fourier Transformation)를 수행하여 MDCT 변조 스펙트럼(Modulation Spectrum)을 추출하는 단계; 및

상기 추출된 MDCT 변조 스펙트럼을 N개의 서브-밴드로 분할하여 상기 분할된 서브 밴드로부터 에너지를 추출하여 MDCT 변조 스펙트럼 기반의 템포 특성으로 사용하는 단계

를 포함하는 것을 특징으로 하는 유사곡 검색 방법.
제6항에 있어서,

상기 음악 내용 요약본으로부터 유사도 검색하기 위한 유사성 특성을 추출하는 상기 단계는,

상기 MDCT 변조 스펙트럼 기반의 템포 특성에 따른 중심, 대역폭, 플럭스 및 평탄을 상기 유사성 검색을 위한 유사성 특성으로 추출하는 것을 특징으로 하는 유 사곡 검색 방법.
제1항에 있어서,

상기 데이터베이스를 참조하여 상기 쿼리 음악과 무드/장르가 동일한 음악 파일에 대해 상기 쿼리 음악과의 유사도를 측정하는 상기 단계는,

상기 쿼리 음악과 무드/장르가 동일한 음악 파일에 대한 특성들의 유클리드 거리(Euclidean Distance)를 계산하여 유사도를 측정하는 것을 특징으로 하는 유사곡 검색 방법.
제8항에 있어서,

상기 측정된 유사도에 따라 상기 쿼리 음악에 대한 유사곡을 검색하는 상기 단계는,

상기 계산된 유클리드 거리가 소정의 기준치보다 작은 N개의 음악 파일을 유사곡으로 검색하는 것을 특징으로 하는 유사곡 검색 방법.
제1항 내지 제9항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록매체.
음악 내용 요약본을 이용한 유사곡 검색 장치에 있어서,

음악 파일의 압축 영역으로부터 오디오 특징 값을 추출하고, 추출된 오디오 특징 값을 이용하여 음악 내용 요약본을 생성하는 음악 내용 요약본 생성부;

상기 생성된 음악 내용 요약본으로부터 MDCT(Modified Discrete Cosine Transformation) 기반의 음색(timbre) 특성 및 MDCT 기반의 템포(tempo) 특성을 추출하는 제1 특성 추출부;

상기 제1 특성 추출부에서 추출된 특성에 따라 상기 음악 파일의 무드/장르를 분류하는 무드/장르 분류부;

상기 음악 내용 요약본으로부터 유사성을 검색하기 위한 유사성 특성을 추출하는 제2 특성 추출부;

상기 분류된 무드/장르 정보 및 상기 추출된 유사성 특성 정보를 저장하는 데이터베이스;

사용자로부터 쿼리 음악 정보를 입력 받는 쿼리 음악 입력부;

상기 쿼리 음악에 대한 무드/장르를 검출하는 쿼리 음악 검출부; 및

상기 데이터베이스를 참조하여 상기 쿼리 음악과 무드/장르가 동일한 음악 파일에 대해 상기 쿼리 음악과의 유사도를 측정하고, 상기 측정된 유사도에 따라 상기 쿼리 음악에 대한 유사곡을 검색하는 검색부

를 포함하는 것을 특징으로 하는 유사곡 검색 장치.
제11항에 있어서,

상기 무드/장르 분류부는,

상기 추출된 음색 특성 및 템포 특성을 기초로 하여 상기 음악 파일에 대한 무드/장르를 분류하는 것을 특징으로 하는 유사곡 검색 장치.
제11항에 있어서,

상기 음악 파일은 장르 정보를 가지는 태그 정보를 포함하고,

상기 무드/장르 분류부는,

상기 음악 파일로부터 추출된 태그 정보의 장르 정보를 이용하여 상기 음악 파일에 대한 장르를 분류하는 것을 특징으로 하는 유사곡 검색 장치.
제11항에 있어서,

상기 제2 특성 검출부는,

상기 추출된 특성에 대한 최대(maximum), 평균(mean) 및 표준 편차(standard deviation)를 계산하고,

상기 데이터베이스는,

상기 계산된 최대(maximum), 평균(mean) 및 표준 편차(standard deviation)를 메타 데이터로 저장하는 것을 특징으로 하는 유사곡 검색 장치.
제14항에 있어서,

상기 검색부는,

상기 검출된 쿼리 음악의 무드와 장르가 동일한 음악에 대해서 상기 최대, 평균 및 표준 편차값을 이용하여 상기 쿼리 음악에 대한 유사곡을 검색하는 것을 특징으로 하는 유사곡 검색 장치.
제15항에 있어서,

상기 검색부는,

상기 최대, 평균 및 표준 편차값에 대한 유클리드 거리(Euclidean Distance)를 계산하고, 상기 계산된 거리가 소정의 기준치보다 작은 N개의 후보를 유사곡으로 검색하는 것을 특징으로 하는 유사곡 검색 장치.
제11항에 있어서,

상기 음악 파일은 MP3 파일 또는 AAC 파일을 포함하는 것을 특징으로 하는 유사곡 검색 장치.