KR100333163B1

KR100333163B1 - 디지털 워터마킹 방법 및 장치

Info

Publication number: KR100333163B1
Application number: KR1020000015406A
Authority: KR
Inventors: 최종욱; 조정석; 김종원
Original assignee: 최종욱; 주식회사 마크애니
Priority date: 1999-03-29
Filing date: 2000-03-27
Publication date: 2002-04-18
Anticipated expiration: 2020-03-27
Also published as: US6839673B1; AU3462500A; KR20000063025A; JP2003520981A; JP3486174B2; WO2000059148A1

Abstract

디지털 오디오 데이터를 푸리에 변환하는 단계와, 디지털 오디오 데이터의 푸리에 변환 계수들의 크기 성분 데이터들을 웨이브렛 변환(wavelet transform)하는 단계와, 워터마크 신호(watermark signal)를 이산 코사인 변환(discrete cosine transform: DCT)하는 단계와, 크기 성분 데이터들의 웨이브렛 변환 계수들의 부호와 이산 코사인 변환된 워터마크 신호의 계수들을 승산하는 단계와, 푸리에 변환된 디지털 오디오 데이터의 계수들과 조정된 이산 코사인 변환된 워터마크 신호를 가산하는 단계와, 역 푸리에 변환 이전에 오디오 신호의 계수들을 역 웨이브렛 변환하여 최종적으로 워터마킹된 오디오 신호 데이터(watermark-embedded audio signal data)를 발생시키는 단계를 포함하여 디지털 오디오의 디지털 워터마킹을 수행한다.

Description

디지털 워터마킹 방법 및 장치{DIGITAL WATERMARKING METHOD AND APPARATUS}

본 발명은 오디오, 비디오 및 멀티미디어 데이터를 포함하는 데이터의 디지털 워터마킹에 관한 것으로서, 특히 디지털 오디오 데이터 내에 워터마크 신호를 삽입 및 추출하는 것에 관한 것이다.

이미지, 비디오 및 멀티미디어와 같은 디지털화된 매체가 확산됨에 따라, 원본의 식별을 용이하게 해주는 보안 시스템에 대한 수요가 창출되고 있다. 특히, 인터넷은 디지털 형태로 기록된 음악을 전송하는 데에 널리 이용되고 있다. 저작자, 즉 이러한 디지털 형태로 기록된 음악의 소유권자는, 저작권 소유자의 인증, 제어 및 관리의 목적으로 소프트웨어 및/또는 하드웨어에 의해 추후에 검출될 수 있는 소정의 마크를 멀티미디어 데이터 내에 삽입할 필요가 있다. 디지털 워터마킹은 식별 가능한 데이터를 멀티미디어 데이터 내에 삽입하기 위한 기술로서 개발되었다.

종래, 오디오 신호를 워터마킹하는 데에 사용된 워터마크 신호는, 이미지 또는 비디오와는 달리, 큰 워터마크 신호를 삽입하면 원 오디오 신호(original audio signal)의 인지(perceptual)에 영향을 미칠 수 있기 때문에, 일련의 코드 심볼과 같은 비교적 간단한 신호들이었다. 따라서, 워터마크 신호로서 큰 이미지를 사용하는 워터마킹 기술이 제안되었다. 그러나, 이미지 워터마크를 수반하는 종래의 워터마킹 기술은 비인증자가 워터마크를 용이하게 삭제할 수 있으므로, 원 저작권보호물을 추적하기가 어렵다.

본 발명의 목적은, 디지털 데이터, 특히 오디오 신호 데이터에 삽입된 워터마크 신호를 비인증자가 용이하게 제거하는 것을 방지하고, 원 데이터의 왜곡을 최소화할 수 있는 디지털 워터마킹 기술을 제공하는 것이다.

상기한 목적은, 푸리에 변환된 오디오 신호의 크기에 대한 웨이브렛 변환 계수들과 이산 코사인 변환된 워터마크 신호의 계수들을 상관시킴으로써 부분적으로 달성된다. 변환된 오디오 신호 데이터의 계수들 및 워터마크 신호의 스케일링(scaled-down) 계수들이 가산, 역 웨이브렛 변환 및 역 푸리에 변환되어, 워터마킹된 오디오 신호 데이터를 발생시킨다.

본 발명의 일 특징에 따르면, 오디오 신호 데이터에 워터마크 신호를 삽입하는 디지털 워터마킹 방법에 있어서, 상기 오디오 신호 데이터를 푸리에 변환하여 주파수 영역의 제1 성분 데이터 및 제2 성분 데이터를 발생하는 단계와, 상기 제1 성분 데이터의 절대값을 웨이브렛 변환하여 제1 스펙트럼 계수를 발생하는 단계와, 상기 워터마크 신호를 이산 코사인 변환하여 제2 스펙트럼 계수를 발생하는 단계와, 상기 제1 스펙트럼 계수 및 상기 제2 스펙트럼 계수를 조합하는 단계와, 상기 조합된 계수를 역 웨이브렛 변환하는 단계를 포함하는 디지털 워터마킹 방법이 제공된다.

상기 제1 성분 데이터 및 제2 성분 데이터는 각각 상기 오디오 신호 데이터의 크기 성분 데이터 및 위상 성분 데이터일 수 있다.

또한, 상기 조합 단계는 상기 제1 및 제2 스펙트럼 계수의 가중치합을 구하는 단계를 포함하는 것이 좋다.

상기 위상 성분 데이터를 사용하여 상기 역 웨이브렛 변환 단계의 출력을 역 푸리에 변환하는 단계를 더 포함하는 것이 바람직하다.

상기 조합 단계 이전에, 상기 제1 스펙트럼 계수를 정의하는 정보를 상기 제2 스펙트럼 계수에 승산하는 단계를 더 포함하는 것이 바람직하며, 상기 정보는 상기 제1 스펙트럼 계수의 부호인 것이 바람직하다.

상기 조합 단계 이전에, 상기 제2 스펙트럼 계수에 기설정된 스케일링 팩터(scaling factor)를 승산하는 단계를 더 포함하는 것이 좋다.

상기 기설정된 스케일링 팩터는 0.01∼0.05의 범위인 것이 좋다.

본 발명의 다른 특징에 따르면, 워터마킹된 오디오 데이터로부터 워터마크 신호를 추출하는 방법에 있어서, 상기 워터마킹된 오디오 데이터 및 원 오디오 데이터를 푸리에 변환하여 제1 성분 데이터 및 제2 성분 데이터를 각각 발생시키는 단계와, 상기 워터마킹된 오디오 데이터 및 상기 원 오디오 데이터의 상기 제1 성분 데이터들의 절대값들을 각각 웨이브렛 변환하는 단계와, 상기 워터마킹된 오디오 데이터 및 상기 원 오디오 데이터의 웨이브렛 변환 계수들간의 차를 구하는 단계와, 상기 차를 역 이산 코사인 변환하는 단계를 포함하는 방법이 제공된다.

상기 원 오디오 데이터와 연관된 상기 웨이브렛 변환 계수의 부호를 상기 워터마킹된 오디오 데이터와 연관된 웨이브렛 변환 계수에 승산하는 단계를 더 포함하는 것이 바람직하다.

또한, 상기 승산 단계는 상기 워터마킹된 오디오 데이터와 연관된 웨이브렛 계수에 기설정된 스케일링 팩터를 승산하는 단계를 더 포함하는 것이 바람직하다.

상기 부호는 시그넘 함수를 사용하여 구하는 것이 좋으며, 상기 기설정된 스케일링 팩터는 20∼100의 범위인 것이 좋다.

도 1은 본 발명의 일 실시예에 따른 오디오 신호 데이터 내에 워터마크 신호를 삽입하기 위한 블록도.

도 2는 본 발명의 디지털 워터마킹 방법에 따라 워터마킹된 오디오 신호 데이터로부터 워터마크 신호를 추출하기 위한 바람직한 일 실시예의 블록도.

<도면의 주요 부분에 대한 부호의 설명>

10 : 푸리에 변환기

11 : 크기 추출기(magnitude extracter)

12 : 위상 추출기

13 : 웨이브렛 변환기

14 : 이산 코사인 변환기

15 : 시그넘 함수부(signum function unit)

16 : 역 웨이브렛 변환기

17 : 역 푸리에 변환기

30 : 가산기

31 : 제1 승산기

32 : 제2 승산기

이제, 도 1을 참조하여 본 발명의 바람직한 일 실시예에 따른 디지털 워터마킹 방법 및 장치에 대해 설명한다.

워터마크 신호가 변환 기법에 의해 변환되면, 원 워터마크 신호의 형태가 보존되지 않는다. 본 발명은, 임펄스 형태의 워터마크 신호는 변환 후에 변환 평면 전체에 걸쳐 분포되기 때문에 삭제하기가 어렵다는 사상에 기초하고 있다. 이에 의해, 적법한 데이터의 불법 복제를 방지할 수 있다.

많은 변환 기법들 가운데, DCT 변환된 평면의 계수들은 실수값을 갖는 반면, 푸리에 변환된 평면의 계수들은 복소 성분을 갖게 되어, 원 이미지 데이터와의 정합에 어려움이 생기므로, 본 발명은 DCT를 사용하여 워터마크 신호를 변환시킨다.

하기의 수학식 1에 기재한 바와 같이, 원 오디오 데이터 S에 워터마크 신호 W를 삽입하여 워터마킹된 오디오 데이터 S'를 생성할 경우, 스케일링 팩터(scaling factor) α를 이용하여 원 오디오 데이터 S와 워터마크 신호 W 사이의 간격을 적절히 조절함으로써 워터마킹된 오디오 데이터 S'의 품질을 제어할 수 있다.

수학식 1의 (a)는 역 변환이 가능하다. 수학식 1의 (b) 및 (c)는 Wi≠0일 때 역 변환이 가능하다. 따라서, 수학식 1의 (b) 및 (c)가 사용되면, 멀티미디어 어플리케이션의 다양한 조작에 대한 워터마크 신호의 안정성(security of watermarks)을 유지하기 어렵다. 그러므로, 본 발명은 수학식 1의 (a)를 사용한다.

도 1 및 도 2는 본 발명에 따라 원 디지털 데이터에 워터마크 신호를 삽입하고 추출하는 과정을 도시한다. 도 1을 참조하여, 원 디지털 데이터에 워터마킹하는 과정을 설명한다.

워터마크 신호를 삽입하고자 하는 원 오디오 데이터가 푸리에 변환기(10)에 입력될 때, 푸리에 변환기(10)는 미리 정해진 알고리즘을 사용하여 원 오디오 데이터를 푸리에 변환하여 크기 성분 및 위상 성분을 발생시킨다. 푸리에 변환에 사용되는 무한 급수는 다음의 수학식 2와 같다.

수학식 2의 무한 급수를 사용하여 연속 함수 f(x)를 푸리에 변환하는 과정은 수학식 3과 같이 정의될 수 있다.

수학식 3에 정의된 바와 같이 푸리에 변환에서, 복소수값은 진폭 성분과 위상 성분을 한번에 표현할 수 있으므로, 하기의 수학식 4에 기재한 바와 같이 복소수값을 사용하는 것이 바람직하다.

수학식 4에서, 푸리에 스펙트럼은 다음과 같이 표현될 수 있다.

위 수학식 4에서 위상각 φ(u)는 다음과 같이 표현될 수 있다.

또한, 전력 스펙트럼 P(u)는 다음과 같이 표현될 수 있다.

P(u) = ｜F(u)｜²= R²(u) + I²(u)

여기서, u는 주파수 변수를 나타낸다.

당업자에게 잘 알려진 오일러 공식을 사용하면, exp[-j2πx] = cos2πx - jsin2πx이므로, 푸리에 변환은 수학식 5에 정의된 식으로 표현될 수 있다.

그러므로, 푸리에 스펙트럼, 위상각 및 전력 스펙트럼은 다음과 같이 주어질수 있다.

푸리에 스펙트럼 :

위상각 :

전력 스펙트럼 : P(u,v) = ｜F(u,v)｜²= R²(u,v) + I²(u,v)

상기한 바와 같이, 푸리에 변환은 무한 급수를 사용하여 아날로그 신호를 표본화된 디지털 신호로 변환시킨다. 그러나, 컴퓨터에 의해 푸리에 변환을 수행하기 위해서는, 표본화된 데이터에 대한 변형된 푸리에 변환, 즉 이산 푸리에 변환(Discrete Fourier Transform: DFT)이 푸리에 변환 대신 사용된다. DFT를 사용하면, f(x)는 다음의 수학식 6과 같이 주어질 수 있다.

또한, 순환되는 초기값 및 최대값이 X[n]인 경우, 역 DFT은 다음의 수학식 7과 같이 정의된다.

디지털 오디오 데이터는 상술한 바와 같이 푸리에 변환기(10)에서 푸리에 변환되는 한편, 워터마크 신호는 이산 코사인 변환기(14)에서 이산 코사인 변환된다. 그 후, 크기 추출기(11)에서, 푸리에 변환된 오디오 데이터의 크기 성분 데이터 및 위상 성분 데이터의 계수들 중에서 크기 성분 데이터의 계수들만이 추출된 후 웨이브렛 변환기(13)에서 웨이브렛 변환된다. 이어서, 웨이브렛 변환된 오디오 계수들의 부호가 제1 승산기(31)에서 각각 이산 코사인 변환기(14)에 의해 이산 코사인 변환된 워터마크 신호의 스펙트럼 계수들에 승산되어, 오디오 신호 및 워터마크 신호를 소정 범위까지 상관시킨다. 이 때, 크기에 상관없이 입력값의 부호/극성에 따라 1, -1 또는 0을 출력하는 시그넘 함수부(15)를 사용하면, 부호(+, -, 0)를 용이하게 얻을 수 있다. 그 다음, 승산된 워터마크 신호의 스펙트럼 계수에 제2 승산기(32)에서 제1 스케일링 팩터 α가 승산됨으로써, 청취자에 의해 감지되는 오디오 신호의 품질이 변화되지 않게 된다. 제1 스케일링 팩터는 0.01 내지 0.05의 범위인 것이 바람직하다. 즉, 스케일링된 워터마크 신호의 계수들이 오디오 데이터의 스펙트럼 형태에 영향을 미치는 것이 최소화되어, 청취자는 워터마킹된 오디오 신호와 원 오디오 신호의 차이를 인지하지 못하게 된다. 이어서, 스케일링된 계수와 웨이브렛 변환 오디오 신호 데이터의 계수가 가산기(30)에서 가산된다. 가산된 계수들은 역 웨이브렛 변환기(16)에서 역 웨이브렛 변환되어, 조정된 계수 크기들을 발생시킨다. 마지막으로, 역 웨이브렛 변환기(16)에 의해 발생된 조정된 계수 크기 및 위상 추출기(12)에 의해 얻어진 오디오 신호 데이터의 위상 성분 데이터가 역 푸리에 변환기(17)에 입력되어, 최종적으로 워터마킹된 오디오 신호 데이터를 발생시킨다.

다음에, 도 2를 참조하여, 본 발명의 디지털 워터마킹 방법에 따라 워터마킹된 오디오 데이터로부터 워터마크 신호를 추출하는 과정을 설명한다. 먼저, 워터마킹된 오디오 데이터를 푸리에 변환기(20)에서 푸리에 변환하여 주파수 영역의 제1 계수를 발생시킨다. 이와 동시에 또는 독립적으로 원 오디오 데이터도 푸리에 변환기(23)에서 푸리에 변환되어 주파수 영역의 제2 계수를 발생시킨다. 크기 추출기(21, 24)에서 얻어진 두 계수의 크기는 웨이브렛 변환기(22, 25)에서 각각 웨이브렛 변환된다. 원 오디오 데이터와 연관된 웨이브렛 계수들은 워터마킹된 오디오 신호와 연관된 웨이브렛 계수들로부터 감산기(33)에서 감산된다. 이어서, 계수들의 차에 제2 스케일링 팩터 1/α 및 원 오디오 데이터와 연관된 웨이브렛 변환 계수들의 부호 (양수인 경우 1, 0인 경우에는 0, 음수인 경우에는 -1)가 승산기(34)에서 승산된다. 전술한 바와 같이, 부호는 시그넘 함수부(26)를 이용하여 얻을 수 있다. 마지막으로, 승산기(34)에서 출력된 스케일링된 계수들은 역 이산 코사인 변환기(27)에서 역 이산 코사인 변환되어, 원 오디오 데이터에 삽입된 워터마크 신호를 추출할 수 있다.

상술한 본 발명에 따른 디지털 워터마킹 방법은 단일 칩 집적 회로 또는 개개의 부품 상에서 이루어질 수 있다. 구체적으로, 본 발명에 따른 디지털 워터마킹의 단계들은 소프트웨어 프로그램에 의해 구현될 수 있으며 이와 같은 프로그램은 디지털 신호 프로세서에 내장되어 사용될 수 있다.

워터마크 신호를 이산 코사인 변환하고 원 오디오 데이터를 푸리에/웨이브렛 변환하여 워터마크 신호를 삽입하고 추출하는 방법 및 장치를 예시적으로 설명하였으나, 당업자들에게는 첨부된 청구 범위의 범주에 의해서만 제한되는 본 발명의 광범위한 원리 및 교시로부터 벗어나지 않는 변형 및 수정이 가능함은 자명하다.

본 발명에 따르면, 원 오디오 데이터 및 워터마크 신호를 효과적으로 변환함으로써 디지털 데이터, 특히 오디오 신호 데이터에 삽입된 워터마크 신호를 비인증자가 용이하게 제거하는 것을 방지하고, 원 데이터의 왜곡을 최소화할 수 있는 디지털 워터마킹 기술을 제공할 수 있다.

Claims

오디오 신호 데이터에 워터마크 신호(watermark signal)를 삽입하는 디지털 워터마크 삽입 방법에 있어서,

상기 오디오 신호 데이터를 푸리에 변환하여 주파수 영역의 제1 성분 데이터 및 제2 성분 데이터를 발생하는 단계와,

상기 제1 성분 데이터의 절대값을 웨이브렛 변환(wavelet transform)하여 제1 스펙트럼 계수를 발생하는 단계와,

상기 워터마크 신호를 이산 코사인 변환(discrete cosine transform)하여 제2 스펙트럼 계수를 발생하는 단계와,

상기 제1 스펙트럼 계수 및 상기 제2 스펙트럼 계수를 조합하는 단계와,

상기 조합된 계수를 역 웨이브렛 변환(inverse wavelet transform)하는 단계

를 포함하는 디지털 워터마크 삽입 방법
제1항에 있어서, 상기 제1 성분 데이터 및 제2 성분 데이터는 각각 상기 오디오 신호 데이터의 크기 성분 데이터 및 위상 성분 데이터인 디지털 워터마크 삽입 방법.
제1항에 있어서, 상기 조합 단계는 상기 제1 및 제2 스펙트럼 계수의 가중치합을 구하는 단계를 포함하는 디지털 워터마크 삽입 방법.
제3항에 있어서, 상기 위상 성분 데이터를 사용하여 상기 역 웨이브렛 변환 단계의 출력을 역 푸리에 변환하는 단계를 더 포함하는 디지털 워터마크 삽입 방법.
제4항에 있어서, 상기 조합 단계 이전에,

상기 제1 스펙트럼 계수를 정의하는 정보를 상기 제2 스펙트럼 계수에 승산하는 단계를 더 포함하는 디지털 워터마크 삽입 방법.
제5항에 있어서, 상기 조합 단계 이전에,

상기 제2 스펙트럼 계수에 기설정된 스케일링 팩터(scaling factor)를 승산하는 단계를 더 포함하는 디지털 워터마크 삽입 방법.
제6항에 있어서, 상기 기설정된 스케일링 팩터는 0.01∼0.05의 범위인 디지털 워터마크 삽입 방법.
제5항에 있어서, 상기 정보는 상기 제1 스펙트럼 계수의 부호의 함수인 디지털 워터마크 삽입 방법.
오디오 신호 데이터에 워터마크 신호를 삽입하는 디지털 워터마크 삽입 장치에 있어서,

상기 오디오 신호 데이터를 푸리에 변환하여 진폭 성분 데이터 및 위상 성분 데이터를 발생하는 수단과,

상기 진폭 성분 데이터의 절대값을 웨이브렛 변환하여 제1 스펙트럼 계수를 발생하는 수단과,

상기 워터마크 신호를 이산 코사인 변환하여 제2 스펙트럼 계수를 발생하는 수단과,

상기 제1 스펙트럼 계수 및 상기 제2 스펙트럼 계수를 각각 조합하는 수단과,

상기 조합된 계수를 역 웨이브렛 변환하는 수단

을 포함하는 디지털 워터마크 삽입 장치
제9항에 있어서, 상기 조합 수단은 상기 제1 스펙트럼 계수를 정의하는 정보를 상기 제2 스펙트럼 계수에 승산하는 수단을 포함하는 디지털 워터마크 삽입 장치.
제10항에 있어서, 상기 조합 수단은 상기 제2 스펙트럼 계수에 기설정된 스케일링 팩터를 승산하는 수단을 포함하는 디지털 워터마크 삽입 장치.
제11항에 있어서, 상기 기설정된 스케일링 팩터는 0.01∼0.05의 범위인 디지털 워터마크 삽입 장치.
제9항에 있어서, 상기 위상 성분 데이터를 사용하여 상기 각각 조합된 계수들을 역 푸리에 변환시키는 수단을 포함하는 디지털 워터마크 삽입 장치.
제10항에 있어서, 상기 정보는 상기 제1 스펙트럼 계수의 부호인 디지털 워터마크 삽입 장치.
워터마킹된 오디오 데이터(watermark-embedded audio data)로부터 워터마크 신호를 추출하는 디지털 워터마크 추출 방법에 있어서,

상기 워터마킹된 오디오 데이터 및 원 오디오 데이터(original audio data)를 푸리에 변환하여 제1 성분 데이터 및 제2 성분 데이터를 각각 발생하는 단계와,

상기 워터마킹된 오디오 데이터 및 상기 원 오디오 데이터의 상기 제1 성분데이터들의 절대값들을 각각 웨이브렛 변환하는 단계와,

상기 워터마킹된 오디오 데이터 및 상기 원 오디오 데이터의 웨이브렛 변환 계수들간의 차를 구하는 단계와,

상기 차를 역 이산 코사인 변환하여 상기 워터마크 신호를 추출하는 단계

를 포함하는 디지털 워터마크 추출 방법.
제15항에 있어서, 상기 원 오디오 데이터와 연관된 상기 웨이브렛 변환 계수의 부호를 상기 워터마킹된 오디오 데이터와 연관된 웨이브렛 변환 계수에 승산하는 단계를 더 포함하는 디지털 워터마크 추출 방법.
제16항에 있어서, 상기 승산 단계는,

상기 워터마킹된 오디오 데이터와 연관된 웨이브렛 계수에 기설정된 스케일링 팩터를 승산하는 단계를 더 포함하는 디지털 워터마크 추출 방법.
제16항에 있어서, 상기 부호는 시그넘 함수를 사용하여 구하는 디지털 워터마크 추출 방법.
제17항에 있어서, 상기 기설정된 스케일링 팩터는 20∼100의 범위인 디지털 워터마크 추출 방법.
워터마킹된 오디오 데이터로부터 워터마크 신호를 추출하는 디지털 워터마크 추출 장치에 있어서,

상기 워터마킹된 오디오 데이터 및 원 오디오 데이터를 푸리에 변환하여 제1 성분 데이터 및 제2 성분 데이터를 각각 발생시키는 수단과,

상기 워터마킹된 오디오 데이터 및 상기 원 오디오 데이터의 상기 제1 성분 데이터들의 절대값들을 각각 웨이브렛 변환하는 수단과,

상기 워터마킹된 오디오 데이터 및 상기 원 오디오 데이터의 웨이브렛 변환계수들간의 차를 구하는 수단과,

상기 차를 역 이산 코사인 변환하여 상기 워터마크 신호를 추출하는 수단

을 포함하는 디지털 워터마크 추출 장치.
제20항에 있어서, 상기 원 오디오 데이터와 연관된 상기 웨이브렛 변환 계수의 부호를 상기 워터마킹된 오디오 데이터와 연관된 웨이브렛 변환 계수에 승산하는 수단을 더 포함하는 디지털 워터마크 추출 장치.
제21항에 있어서, 상기 워터마킹된 오디오 데이터와 연관된 웨이브렛 변환 계수에 기설정된 스케일링 팩터를 승산하는 수단을 더 포함하는 디지털 워터마크 추출 장치.
제21항에 있어서, 상기 부호는 시그넘 함수를 사용하여 구하는 디지털 워터마크 추출 장치.
제22항에 있어서, 상기 기설정된 스케일링 팩터는 20∼100의 범위인 디지털 워터마크 추출 장치.