[go: up one dir, main page]

KR100740792B1 - 워터마크 검출 방법 및 워터마크 검출 장치 - Google Patents

워터마크 검출 방법 및 워터마크 검출 장치 Download PDF

Info

Publication number
KR100740792B1
KR100740792B1 KR1020017006641A KR20017006641A KR100740792B1 KR 100740792 B1 KR100740792 B1 KR 100740792B1 KR 1020017006641 A KR1020017006641 A KR 1020017006641A KR 20017006641 A KR20017006641 A KR 20017006641A KR 100740792 B1 KR100740792 B1 KR 100740792B1
Authority
KR
South Korea
Prior art keywords
watermark
image
predetermined
periodicity
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
KR1020017006641A
Other languages
English (en)
Other versions
KR20010089513A (ko
Inventor
옵드베크마크제이알
하이츠마쟈프에이
칼케르안토니어스에이씨엠
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20010089513A publication Critical patent/KR20010089513A/ko
Application granted granted Critical
Publication of KR100740792B1 publication Critical patent/KR100740792B1/ko
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0071—Robust watermarking, e.g. average attack or collusion attack resistant using multiple or alternating watermarks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0064—Geometric transfor invariant watermarking, e.g. affine transform invariant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32288—Multiple embedding, e.g. cocktail embedding, or redundant embedding, e.g. repeating the additional information at a plurality of locations in the image
    • H04N1/32293—Repeating the additional information in a regular pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32352—Controlling detectability or arrangements to facilitate detection or retrieval of the embedded information, e.g. using markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0065—Extraction of an embedded watermark; Reliable detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H04N2201/327—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

대부분의 워터마킹 체계들은 워터마킹된 이미지의 기하하적 왜곡들에 저항력을 갖지 못하는데, 이는 그러한 조작들이 원 워터마크와 조작된 이미지의 워터마크간의 상관관계를 파괴하기 때문이다. 상관관계를 복원하는 방법 및 장치가 개시되어 있다. 이를 위해, 서스펙트 이미지(Q)는 반복된 데이터 패턴의 존재를 위해 분석된다(6). 그러한 패턴이 발견되면, 이미지가 이미지의 영역에 걸쳐 작은 크기의 워터마크 패턴을 "타일링"하여 워터마킹되었다고 결론짓는다. 워터마크가 소정의 워터마크 W인지에 대한 실제적인 검출은, 서스펙트 이미지에서 발견된 패턴의 주기성을 결정하고, 검출되는 워터마크의 소정의 주기성과 처리된 이미지의 주기성이 매칭되도록 서스펙트 이미지를 처리(9)함으로써 후속적으로 수행된다. 서스펙트 이미지가 실제 소정의 워터마크 W를 포함하면, 기하학적 조작이 취소(undone)되고, 따라서 종래의 워터마크 검출기(3)는 이를 나타낼 것이다. 동작들의 조합이 동일한 주기성을 생성할 수 있다면, 검출 단계는 가능한 조합들의 세트를 포함할 것이다.
워터마크, 기하학적 왜곡, 타일링, 상관관계, 서스펙트 이미지

Description

워터마크 검출 방법 및 워터마크 검출 장치{Watermark detection method and watermark detection system}
본 발명은 서스펙트 이미지(suspect image)에 임베딩된 워터마크를 검출하기 위한 방법 및 장치에 관한 것이다.
워터마킹은 이미지들 또는 비디오의 소유권을 증명하는 기술이다. 통상, 워터마크는 이미지에 특정한 저진폭 잡음 패턴을 부가함으로써 임베딩된다. 이러한 잡음 패턴은 워터마크를 표현한다. 서스펙트 이미지가 임베딩된 소정의 워터마크를 가지는지 여부는 상술한 워터마크의 적용된 버젼과 서스펙트 이미지의 상관관계(correlation)를 계산하고 그 상관관계를 임계치와 비교함으로서 수신기의 말단(end)에서 검출된다. 만일 상관관계가 임계치보다 크다면, 적용된 워터마크는 존재하고, 그렇지 않다면 부재한다고 말할 수 있다.
본 출원인의 이전에 출원된 국제 특허 출원 제 IB 99/00358(PHN 17.316)호는 이미지의 영역에 걸쳐 작은 크기의 기본적인 워터마크 패턴을 반복하여 임베딩된 워터마크를 검출하기 위한 장치를 개시하고 있다. 그러한, "타일링(tiling)" 동작들은 워터마크 검출 처리가 상대적으로 작은 공간에 걸쳐 워터마크를 탐색하여 검출의 신뢰도를 개선하도록 한다.
대부분의 워터마킹 기술들은 이미지의 기하학적 왜곡(geometric distortion)들에 대해 저항력이 없는 것으로 공지되어 있다. 변형(translation), 스케일링(scaling), 회전, 또는 스트래칭(stretching)과 같은 조작(manipulation)들은 조작된 이미지와 적용된 워터마크간의 상관관계를 파괴한다. 상술한 종래 기술의 워터마크 검출기는 변형에 저항력은 있으나 이미지가 스케일링되거나, 회전되거나, 스트래칭되면 워터마크를 검출하는 능력이 결여된다.
본 발명의 목적은 개선된 워터마크 검출 방법 및 장치를 제공하는 것이다.
이를 위해, 서스펙트 이미지에서 워터마크를 검출하는 방법은 상기 서스펙트 이미지가 주기적으로 반복된 임베딩된 데이터 패턴을 포함하는지를 검출하는 단계와, 상기 주기적으로 반복된 데이터 패턴이 임베딩된 워터마크를 표현한다고 결론짓는 단계를 포함한다. 본 발명은 상기 워터마크가 상술한 "타일링" 동작에 의해 임베딩된다면 스케일링, 회전, 및 스트래칭과 같은 동작들은 워터마크의 주기성을 변화시키지만 파괴하지는 않는다는 인식에 기초한다. 따라서, 서스펙트 이미지에서 주기적으로 반복된 데이터 패턴의 단순한 존재는 그 이미지가 워터마킹되었다는 것을 나타낸다.
임베딩된 워터마크가 특정한 소정의 워터마크인지에 대한 검출은 원 상관관계가 회복되는 방식으로 서스펙트 이미지 또는 소정의 워터마크를 처리함으로써 얻어진다. 이것은 본 방법의 실시예에서 달성되며, 이 방법은 상기 데이터 패턴의 주기성을 결정하는 단계와, 소정의 주기성을 가지는 소정의 워터마크를 적용하는 단계와, 처리된 서스펙트 이미지의 데이터 패턴의 주기성을 처리된 소정의 워터마크의 주기성과 매칭되도록 서스펙트 이미지 및/또는 소정의 워터마크를 처리하는 단계와, 처리된 서스펙트 이미지의 데이터 패턴이 처리된 소정의 워터마크에 대응하는가를 검출하는 단계를 포함한다. 서스펙트 이미지를 처리하는 단계의 목적은 서스펙트 이미지가 워터마킹된 후에 겪은 조작(스케일링, 회전, 스트래칭)을 취소(undo)하기 위한 것이다.
미국 특허 제 US-A-5,636,292 호는 분리된 교정(calibration) 신호(예컨대, 특정 주파수의 사인파)를 이미지에 부가시키는 단계를 개시하고 있다. 이미지가 스케일링되거나 회전되었을 때, 사인파의 주파수는 변화하고, 이는 이미지의 주파수 스펙트럼에서 피크의 이동의 결과를 낳는다. 본 발명은 주기적 워터마크 패턴 그 자체가 교정 매개변수들을 제공한다는 점에서 종래 기술과 다르다.
본 발명의 이러한 양상들 및 다른 양상들은 후술될 실시예들을 참조하여 명백해질 것이며, 설명될 것이다.
도 1은 종래 기술에 의한 워터마크 임베더(embedder)를 도시한 도면.
도 2는 도 1에서 도시된 워터마크 임베더의 동작을 설명하기 위해 워터마킹된 이미지를 도시한 도면.
도 3은 종래 기술에 의한 워터마크 검출기를 도시한 도면.
도 4는 도 3에서 도시된 워터마크 검출기에 의해 수행된 동작에 관한 도면.
도 5a 내지 5c는 워터마킹된 이미지에 스케일링, 회전, 및 전단변형(shearing)을 각각 도시한 도면.
도 6은 본 발명에 따른 워터마크 검출기를 도시한 도면.
도 7은 도 6에서 도시된 워터마크 검출기의 동작을 도시하기 위해 상관관계 패턴들을 도시한 도면.
도 8 내지 도 10은 본 발명에 따른 워터마크 검출기의 다른 실시예들을 도시한 도면.
도 11은 도 10에 도시된 워터마크 검출기의 동작을 설명하기 위해 소정의 워터마크에 적용된 처리의 여러 형태들을 도시한 도면.
도 12는 워터마킹된 이미지에 적용된 조작들의 조합의 영향을 도시한 도면.
배경 정보를 제공하기 위해, 종래 기술의 워터마크 임베더 및 종래 기술 의 검출기가 먼저 기술된다. 도 1은 종래 기술의 워터마크 임베더의 실제적인 실시예를 도시한다. 임베더는 이미지 P를 생성하는 이미지 소스(11), 및 소정의 워터마크 W'를 이미지 P에 부가시키는 가산기(12)를 포함한다. 워터마크 W'는, 예컨대 수평으로 N1 픽셀들과 수직으로 N2 픽셀들(가령, PAL-TV 용의 720 X 576)인 이미지와 동일한 크기를 가진 잡음 패턴이다. 그것은 이미지의 영역에 걸쳐 조그만 기본적인 워터마크 패턴들 즉 "타일들(tiles)" W 를 반복하여, 필요하다면 절단(truncating)에 의해 생성된다. 타일링 회로(13)에 의해 수행되는 이러한 타일링 동작은 도 2에 설명된다. 기본 패턴들 W는 예컨대 128 X 128 픽셀들과 같이 고정된 크기 M1 x M2 를 가진다.
도 3 은 종래 기술의 워터마크 검출기의 실질적인 실시예를 도시한다. 검출기는 워터마킹의 가능성이 있는 이미지들 Q를 수신한다. 이미지(또는 다수의 축적된 비디오 프레임들)는 검출되는 기본 워터마크 패턴 W의 크기가 M1 x M2 (여기서는, 128 x 128)를 가지는 블록들로 분할된다. 그 다음 그 블록들은 도 4에 도시된 바와 같이 크기 M1 x M2의 버퍼 q에 스택(stack)된다. 이러한 동작들은 폴딩 및 버퍼 회로(31)에 의해 수행된다.
버퍼 q가 소정의 워터마크 패턴 W를 포함하는지를 검출하기 위해, 버퍼 콘텐츠 및 상기 워터마크 패턴 W는 상관관계에 의존한다. 워터마크 패턴 W와 서스펙트 정보 신호 q의 상관계수를 계산하는 것은 그 정보 신호 값들의 내부 적(product) d=<q, w>과 워터마크 패턴의 대응 값들을 계산하는 것을 포함한다. 2 차원 M1 x M2 이미지 블록 q = {qij} 및 워터마크 패턴 W = {wij}에 대하여, 내부 적은 다음과 같은 수학적 표시로 기록될 수 있다.
Figure 112001012482541-pct00001
서스펙트 이미지 Q는 워터마크 검출 이전에 변형 또는 크로핑(cropping)과 같은 조작들을 경험하기 때문에, 검출기는 이미지 블록 q의 경계들에 대하여 워크마크 패턴 W의 공간적 위치를 인지하지 못한다. 상관관계 dk의 배수는 따라서 모든 가능한 천이(shift) 벡터들 k(수평으로 kx 픽셀들과 수직으로 ky 픽셀들)에 대하여 계산되어야 한다.
Figure 112001012482541-pct00002

상기 상관관계 값들 dk는 (고속) 푸리에 변환을 사용하여 동시에 계산될 수 있다. 버퍼 q의 콘텐츠와 기본 워터마크 패턴 W의 양쪽 모두는 각각 변환 회로(32 및 33) 각각에서 FFT(fast Fourier Transform)에 달려있다. 이러한 동작들은 다음을 산출한다.
Figure 112001012482541-pct00003
여기서,
Figure 112001012482541-pct00004
및
Figure 112001012482541-pct00005
는 복소수들의 집합이다.
상관관계를 계산하는 것은 q의 컨벌루션과 W의 컨주게이트(conjugate)를 계산하는 것과 유사하다. 변환 영역에서, 이것은 다음에 해당한다.
Figure 112001012482541-pct00006
여기서 기호
Figure 112005051609268-pct00007
는 포인트와이즈 곱(pointwise multiplication)을 나타내고, conj()는 독립변수(argument)의 허수부의 부호를 바꾸는 것을 나타낸다. 도 3 에서,
Figure 112005051609268-pct00008
의 컨주게이션은 컨주게이션 회로(34)에 의해 수행되고, 포이트와이즈 곱은 곱셈기(35)에 의해 수행된다. 상관관계 값들인 d = {dk}의 집합은 이제 상기 곱의 결과를 역 푸리에 변환하여 얻어진다.
Figure 112001012482541-pct00009
이는 역 FFT 회로(36)에 의해 수행된다. 상관 계수 값 dk는 후속적으로 임계치 회로(37)에서 소정의 임계치와 비교된다. 상관관계 값들 중 하나가 유효한 피크(significant peak), 즉 임계치보다 큰 값을 가진다면 워터마크 패턴 W가 존재하는 것으로 검출된다.
종래 기술의 검출 방법은 서스펙트 이미지가 임베딩된 워터마크 패턴의 크기 및/또는 기하학적 형태에 영향을 미치는 조작들이 행해졌다면 성능이 결여된다. 그러한 조작들의 예들은 스케일링, 회전 및 스트래칭(또는 전단변형)이다. 그러한 조작들은 평행이 아닌 선들에 대하여는 각도가 변할 수 있는 반면에 직선들이 일직선으로 유지되고 평행선들이 평행하도록 유지하는 특성을 가지며, 종종 어파인 변환(affine transform)으로 언급된다. 도 5a 내지 5c는 도 2에 도시된 워터마킹된 이미지상에 각각 스케일링, 회전, 및 전단변형의 영향들을 도시하고 있다. 도 2와 유사하게, 기본 워터마크 패턴들은 명확하게 볼 수 있는 W로서 상징적으로 도시된다. 그러나, 각각의 W는 실제적으로 저진폭이고, 지각될 수 없는 잡음 패턴이다. 도 5a 내지 5c에서 도시된 서스펙트 이미지들과 최초 임베딩된 워터마크(도 2 참조)간의 상관관계는 대부분 파괴된 것으로 평가된다.
도 6은 본 발명에 따른 워터마크 검출기를 도시하고 있다. 검출기는 서스펙트 이미지의 자기상관관계(autocorrelation)를 산출하고, 상기 상관관계들이 주기적인 패턴을 나타내는지를 결정한다. 도 6에 도시된 워터마크 검출기의 실시예는 서스펙트 이미지의 자기상관관계를 계산한다. 보다 상세하게는, 검출기는 모든 가능한 천이 벡터들 k(수평으로 kx 픽셀들과 수직으로 ky 픽셀들)에 대해 동일한 이미지의 천이된 버젼과 서스펙트 이미지 Q간의 상관관계들을 산출한다.
Figure 112001012482541-pct00010
도 3을 참조하여 이미 상술한 바와 같이, 필요한 계산들은 (고속) 푸리에 변환을 사용하여 유리하게 수행될 수 있다. 따라서, 검출기는 FFT 회로(61), 컨주게이션 회로(62), 변환된 이미지와 컨주게이트된 버전을 포인트와이즈 곱하기 위한 곱셈기(63), 및 역 FFT 회로(64)를 포함한다.
역 FFT 회로(64)의 출력은 상관관계 값들 dk의 N1 x N2 매트릭스이다. 이 매트릭스의 중심(0, 0)은 kx = 0, ky = 0에 대한 상관관계를 표현한다. 상기 값은 대단히 크며, 이는 서스펙트 이미지와 그 자신간의 상관관계를 표현하기 때문이다. 그 상관관계는 천이가 커짐에 따라 빠르게 감소한다. 그러나, 이미지가 반복된 워터마크 패턴을 포함한다면, 매트릭스는 이미지의 워터마크 패턴들과 그것의 천이된 버전이 일치하는 좌표들에서 로컬 피크를 가진다. 도 7a 내지 도 7c는 각각 도 5a 내지 도 5c에서 도시된 조작된 이미지들에 대한 그러한 피크 패턴들을 도시한다. 완전하게 하기 위해, 그 매트릭스는 또한 에일리어싱에 기인한 천이들
Figure 112005051609268-pct00011
와
Figure 112005051609268-pct00012
에 대한 피크들을 포함할 수 있다는 점에 주의된다. 이러한 피크들은 일반적으로 낮은 값을 가지나 도 7a 내지 도 7c 에는 도시되지 않았다.
피크 검출 및 분석 회로(65)는 피크들을 검출하고 피크 패턴이 반복적인 패턴을 나타내는 가를 분석한다. 이를 위해, 그 회로는 적어도 피크들의 서부세트가 규치적인 패턴을 구성한는지를 결정한다. 그러한 분석 알고리즘들은 기술분야에서 공지되어 있다. 예를 들어, 주기적 피크 패턴이 선형 조합을 통해 재현될 수 있는 기본 벡터들을 탐색하는 수학적 알고리즘들이 있다. 그렇게 발견된 기본적 벡터들의 예들은 도 7a 내지 도 7c 에서 k1 와 k2로 표시된다. 반복적 피크 패턴이 수학적 분석에 의해 발견되면, 회로(65)는 출력 신호 D를 출력하여 서스펙트 이미지가 상술한 타일링 동작에 의해 워터마킹된 이미지일 가능성이 큼을 나타낸다. 회로(65)는 또한 후술될 다른 처리 회로들을 사용하여 기본 벡터들 k1 와 k2를 출력한다.
워터마크 검출기의 다른 실시예는 도 8에 도시되어 있다. 이러한 검출기는 자기상관관계가 아닌 상이한 이미지 영영들간의 상관관계를 산출한다. 검출기는, 예를 들어 왼쪽 반을 QL으로, 오른쪽 반을 QR으로 하는 2개의 영역들로 이미지를 나누는 이미지 분할(splitting) 회로(81)를 포함한다. 제 1 FFT 회로(82), 제 2 FFT 회로(83), 컨주게이션 회로(84), 곱셈기(85), 및 IFFT 회로(86)를 포함하는 상관관계 회로는 상술한 방식으로 2개의 반쪽의 이미지들간의 상관관계를 산출한다. 그것은 지금 이미지 크기의 반을 가진 피크 패턴을 생성한다. 피크 패턴은 도 6의 피크 검출 및 분석 회로(65)와 유사한 방식으로 동작하는 피크 검출 및 분석 회로(65)에 적용된다. 도 6의 단일 FFT 회로(61)와 비교되는 도 8의 2개의 FFT 회로들(82, 83)에 대한 필요는 계산상의 복잡성을 감소시켜 대부분 보상될 수 있다. 계산상의 복잡성은 이미지를 더 많은 영역들로 나눔으로서 더 감소될 수 있는 것으로 평가될 것이다.
도 6 및 도 8에서 도시된 워터마크 검출기들은 임베딩된 워터마크가 특정한 소정의 워터마크인지에 대한 정보를 제공하지는 않는다. 조작된 가능성이 있는 서스펙트 이미지에서 소정의 워터마크의 존재를 검출하는 워터마크 검출기가 도 9에서 도시되어 있다. 이 워터마크 검출기는 도 3을 참조하여 상술된 바와 같이 종래의 워터마크 검출 디바이스(3)를 포함한다. 본 발명에 따라서, 서스펙트 이미지 Q는 이제 종래의 검출기(3)에 적용되기 전에 이미지 처리 디바이스(9)에 의해 처리된다. 이미지 처리기(9)의 태스크(task)는 워터마크가 임베딩된 후에 이미지 Q가 경험한 조작들을 취소하는 것이다. 이를 위해서, 이미지 처리기(9)는 분석 디바이스(6)로부터 상기 조작들을 표현하는 매개변수들을 수신한다. 분석 디바이스는 도 6 또는 도 8에 참조하여 상술된 디바이스이다. 디바이스에 의해 발견된 기본 벡터 k1 , k2 (도 7a 내지 7c 참조)는 이미지 Q의 기본 워터마크 패턴의 주기성을 나타내는 매개변수들의 예이다. 이미지 처리기(9)는 처리된 이미지 Q'가 소정의 주기성을 나타내도록 상기 매개변수들에 응답하여 이미지 Q를 조작(스케일링, 회전, 전단변형 또는 이들의 조합)하기 위해 배열된다. 보다 상세하게는, 서스펙트 이미지는 그 처리된 이미지에서의 2개의 기본 벡터들이 각각의 길이들 M1과 M2(여기서 128)와 직교하도록 처리된다. 이것이 획득될 수 있는 알고리즘들은 이미지 처리의 분야에서 일반적으로 공지되어 있다.
검출되는 이미지가 서스펙트 이미지와 동일하게 조작됐을 때 동일한 결과가 달성되며, 서스펙트 이미지의 상기 조작된 워터마크 패턴의 존재는 후속적으로 검출된다. 그러한 워터마크 검출기의 실시예가 도 10에 도시되어 있다. 분석 디바이스(6)에 의해 발견된 조작 매개변수들 k1과 k2는 이제 기본 워터마크 패턴 W에 동일한 조작들을 수행하는 처리 회로(10)에 적용된다. 128 X 128 워터마크 패턴 W는 서스펙트 이미지의 패턴에 대응하는 버전 W"로 변환된다. 이것은 도 5a 내지 도 5c에 도시된 이미지 조가들에 각각 대응하는 스케일링된 워터마크 패턴(11a), 회전된 워터마크 패턴(11b), 및 전단변형된 워터마크 패턴(11c)을 도시하는 도 11에 도시되어 있다.
도 9 및 도 10에 도시된 워터마크 검출기의 잠재적인 문제점은 이미지 처리기(9 또는 10)에 의해 수행되는 처리 동작이 기본 벡터들 k1과 k2에 의해 명확하게 정의되지 않는다는 것이다. 이것의 예로써, 도 12a는 90°만큼 이미지를 회전시키고 후속적으로 그 결과를 전단변형한 영향을 도시한다. 분석 디바이스(6)에 의해 발견된 피크 패턴, 및 주기성은 전단변형만된 이미지의 주기성(도 5c)과 정확히 동일하다. 이미지 처리기가 단순이 전단변형 동작을 원래대로 되돌리기만 한다면, 워터마크는 검출되지 않을 것이다. 다행히, 동일한 피크 패턴을 이끌어내는 조작들(의 조합)의 수가 한정되어 있고, 다수의 조작들이 실제 사용되지 않는다. 이런 측면에서, 워터마크 검출기의 양호한 실시예에서 처리 회로(도 9의 9, 도 10의 10)는 복수의 적절한 후보대상의 인버스 조작들을 실행하고, 워터마크 검출기(3)는 가장 높은 상관관계를 내는 것에 기초하여 워터마크의 존재를 검출한다. 그러한 실시예는 상술한 설명을 보면 숙련된 자에 의해 용이하게 설계될 수 있고, 보다 상세하게 기술되지는 않을 것이다.
본 발명의 다음과 같이 요약된다. 대부분의 워터마킹 설체들은 워터마킹된 이미지의 기하하적 왜곡들에 저항력을 갖지 못하는데, 이는 그러한 조작들이 원 워터마크와 조작된 이미지의 워터마크간의 상관관계를 파괴하기 때문이다. 상관관계를 복원하는 방법 및 장치가 개시되어 있다. 이를 위해, 서스펙트 이미지(Q)는 반복된 데이터 패턴의 존재를 위해 분석된다(6). 그러한 패턴이 발견되면, 이미지가 이미지의 영역에 걸쳐 작은 크기의 워터마크 패턴을 "타일링"하여 워터마킹 되었다고 결론지는다. 워터마크가 소정의 워터마크 W인지에 대한 실제적인 검출은 서스펙트 이미지에서 발견된 패턴의 주기성을 결정하고, 검출되는 워터마크의 소정의 주기성과 처리된 이미지의 주기성이 매칭되도록 서스펙트 이미지를 처리함으로써 후속적으로 수행된다. 서스펙트 이미지가 실제 소정의 워터마크 W를 포함하면, 기하학적 조작이 취소되고, 따라서 종래의 워터마크 검출기(3)는 이를 나타낼 것이다. 동작들의 조합이 동일한 주기성을 생성할 수 있다면, 검출 단계는 가능한 조합들의 세트를 포함할 것이다.
본 발명의 개선된 워터마크 검출 방법 및 장치를 제공한다

Claims (8)

  1. 서스펙트 이미지(suspect image)(Q)에서 워터마크(W)를 검출하는 방법에 있어서,
    상기 서스펙트 이미지가 주기적으로 반복된 임베딩된 데이터 패턴을 포함하는지를 검출하는 단계(61-64)와,
    상기 데이터 패턴의 주기성(periodicity)을 결정하는 단계(6)와,
    소정의 주기성을 갖는 소정의 워터마크(W)를 적용하는 단계와,
    처리된 서스펙트 이미지의 상기 데이터 패턴의 상기 주기성과 처리된 소정의 워터마크의 상기 주기성이 매칭되도록 상기 서스펙트 이미지 및/또는 상기 소정의 워터마크를 처리하는 단계(9,10)와,
    상기 처리된 서스펙트 이미지의 상기 데이터 패턴이 상기 처리된 소정의 워터마크에 대응하는지를 검출하는 단계(3)와,
    상기 주기적으로 반복된 데이터 패턴이 임베딩된 워터마크를 표현하는 것으로 결론짓는 단계(65)를 포함하는, 워터마크 검출 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 서스펙트 이미지 및/또는 상기 소정의 워터마크를 처리하는 상기 단계(9 ,10)는 상기 서스펙트 이미지 및/또는 상기 소정의 워터마크를 어파인 변환 연산(affine transform operation)하는 단계를 포함하는, 워터마크 검출 방법.
  4. 제 1 항 또는 제 3 항에 있어서,
    상기 서스펙트 이미지 및/또는 상기 소정의 워터마크를 처리하는 상기 단계(9 ,10)는 미리 결정된 처리 연산들의 유한한 세트에 대해 반복되는, 워터마크 검출 방법.
  5. 서스펙트 이미지(Q)에서 워터마크(W)를 검출하기 위한 장치에 있어서,
    상기 서스펙트 이미지가 주기적으로 반복된 임베딩된 데이터 패턴을 포함하는지를 검출하기 위한 수단(61-64)과,
    상기 데이터 패턴의 주기성을 결정하기 위한 수단(6)과,
    소정의 주기성을 가지는 소정의 워터마크(W)를 적용하기 위한 수단과,
    처리된 서스펙트 이미지의 상기 데이터 패턴의 상기 주기성이 처리된 소정의 워터마크의 상기 주기성과 매칭되도록 상기 서스펙트 이미지 및/또는 상기 소정의 워터마크를 처리하기 위한 수단(9,10)과,
    상기 처리된 서스펙트 이미지의 데이터 패턴이 상기 처리된 소정의 워터마크에 대응하는지를 검출하기 위한 수단(3)과,
    상기 주기적으로 반복된 데이터 패턴이 임베딩된 워터마크를 표현하는 것으로 결론짓기 위한 수단(65)을 포함하는, 워터마크 검출 장치.
  6. 삭제
  7. 제 5 항에 있어서,
    상기 서스펙트 이미지 및/또는 상기 소정의 워터마크를 처리하기 위한 상기 수단(9, 10)은 상기 서스펙트 이미지 및/또는 상기 소정의 워터마크를 어파인 변환 연산하도록 배열된, 워터마크 검출 장치.
  8. 제 5 항 또는 제 7 항에 있어서,
    상기 서스펙트 이미지 및/또는 상기 소정의 워터마크를 처리하기 위한 상기 수단(9, 10)은 미리 결정된 처리 연산들의 유한한 세트에 대해 상기 처리를 반복적으로 실행하도록 배열된, 워터마크 검출 장치.
KR1020017006641A 1999-09-27 2000-09-15 워터마크 검출 방법 및 워터마크 검출 장치 Expired - Lifetime KR100740792B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP99203143 1999-09-27
EP99203143.5 1999-09-27

Publications (2)

Publication Number Publication Date
KR20010089513A KR20010089513A (ko) 2001-10-06
KR100740792B1 true KR100740792B1 (ko) 2007-07-20

Family

ID=8240678

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017006641A Expired - Lifetime KR100740792B1 (ko) 1999-09-27 2000-09-15 워터마크 검출 방법 및 워터마크 검출 장치

Country Status (6)

Country Link
US (1) US6671388B1 (ko)
EP (1) EP1133755B1 (ko)
JP (1) JP4257059B2 (ko)
KR (1) KR100740792B1 (ko)
CN (1) CN1269074C (ko)
WO (1) WO2001024113A1 (ko)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6993152B2 (en) 1994-03-17 2006-01-31 Digimarc Corporation Hiding geo-location data through arrangement of objects
US7986806B2 (en) 1994-11-16 2011-07-26 Digimarc Corporation Paper products and physical objects as means to access and control a computer or to navigate over or act as a portal on a network
US7555139B2 (en) 1995-05-08 2009-06-30 Digimarc Corporation Secure documents with hidden signals, and related methods and systems
US7644282B2 (en) 1998-05-28 2010-01-05 Verance Corporation Pre-processed information embedding system
US6737957B1 (en) 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
US6975744B2 (en) * 2000-12-21 2005-12-13 Digimarc Corporation Detection of multiple watermarks and improved watermark calibration signals
US7657058B2 (en) * 2000-07-19 2010-02-02 Digimarc Corporation Watermark orientation signals conveying payload data
JP3872267B2 (ja) * 2000-09-12 2007-01-24 インターナショナル・ビジネス・マシーンズ・コーポレーション 拡大縮小耐性を有する電子透かし方法およびシステム
US8301453B2 (en) 2000-12-21 2012-10-30 Digimarc Corporation Watermark synchronization signals conveying payload data
US7098931B2 (en) 2001-03-05 2006-08-29 Digimarc Corporation Image management system and methods using digital watermarks
US7249257B2 (en) 2001-03-05 2007-07-24 Digimarc Corporation Digitally watermarked maps and signs and related navigational tools
US7042470B2 (en) 2001-03-05 2006-05-09 Digimarc Corporation Using embedded steganographic identifiers in segmented areas of geographic images and characteristics corresponding to imagery data derived from aerial platforms
US9363409B2 (en) 2001-03-05 2016-06-07 Digimarc Corporation Image management system and methods using digital watermarks
US7254249B2 (en) 2001-03-05 2007-08-07 Digimarc Corporation Embedding location data in video
US6950519B2 (en) 2001-03-05 2005-09-27 Digimarc Corporation Geographically watermarked imagery and methods
US6664976B2 (en) 2001-04-18 2003-12-16 Digimarc Corporation Image management system and methods using digital watermarks
US7197160B2 (en) 2001-03-05 2007-03-27 Digimarc Corporation Geographic information systems using digital watermarks
US7061510B2 (en) 2001-03-05 2006-06-13 Digimarc Corporation Geo-referencing of aerial imagery using embedded image identifiers and cross-referenced data sets
US7214295B2 (en) 2001-04-09 2007-05-08 Vishay Dale Electronics, Inc. Method for tantalum pentoxide moisture barrier in film resistors
US7046819B2 (en) 2001-04-25 2006-05-16 Digimarc Corporation Encoded reference signal for digital watermarks
US6975745B2 (en) 2001-10-25 2005-12-13 Digimarc Corporation Synchronizing watermark detectors in geometrically distorted signals
KR100454668B1 (ko) * 2001-12-27 2004-11-05 한국전자통신연구원 템플레이트를 포함하는 워터마크 삽입 및 검출 시스템
FR2834854B1 (fr) * 2002-01-11 2004-05-28 Thales Sa Procede et systeme de decodage de tatouage
KR100888589B1 (ko) * 2002-06-18 2009-03-16 삼성전자주식회사 반복적으로 삽입된 워터마크 추출방법 및 그 장치
US7702101B2 (en) * 2002-07-09 2010-04-20 Kaleidescape, Inc. Secure presentation of media streams in response to encrypted digital content
US7036024B2 (en) * 2002-07-09 2006-04-25 Kaleidescape, Inc. Detecting collusion among multiple recipients of fingerprinted information
JP3754403B2 (ja) 2002-07-26 2006-03-15 株式会社東芝 電子透かし検出方法及び装置
ES2507642T3 (es) 2002-10-15 2014-10-15 Verance Corporation Sistema de supervisión de medios, de gestión y de información
US7269271B2 (en) * 2002-10-30 2007-09-11 Xerox Corporation Method for digital image alteration detection and original digital image recovery
FR2849321B1 (fr) * 2002-12-19 2005-06-24 Sagem Procede de marquage d'une image et procede associe de recuperation d'une marque
KR20050093844A (ko) * 2003-01-23 2005-09-23 코닌클리케 필립스 일렉트로닉스 엔.브이. 다중 워터마크들 매립
US20040223626A1 (en) * 2003-05-09 2004-11-11 Eastman Kodak Company Method for embedding spatially variant metadata in imagery
US8301893B2 (en) 2003-08-13 2012-10-30 Digimarc Corporation Detecting media areas likely of hosting watermarks
US7706565B2 (en) 2003-09-30 2010-04-27 Digimarc Corporation Multi-channel digital watermarking
US20070039018A1 (en) * 2005-08-09 2007-02-15 Verance Corporation Apparatus, systems and methods for broadcast advertising stewardship
US7369677B2 (en) 2005-04-26 2008-05-06 Verance Corporation System reactions to the detection of embedded watermarks in a digital host content
US9055239B2 (en) * 2003-10-08 2015-06-09 Verance Corporation Signal continuity assessment using embedded watermarks
US20060239501A1 (en) 2005-04-26 2006-10-26 Verance Corporation Security enhancements of digital watermarks for multi-media content
JP4587181B2 (ja) * 2003-11-04 2010-11-24 キヤノン株式会社 情報処理装置の動作方法、記憶媒体、情報処理装置
JP4981455B2 (ja) 2004-02-04 2012-07-18 ディジマーク コーポレイション オンチップでの電子透かしの入ったイメージ信号及び電子透かしを通じた写真によるトラベルログ
CN1918597A (zh) * 2004-02-12 2007-02-21 皇家飞利浦电子股份有限公司 缩放系数检索方法
JP3944490B2 (ja) * 2004-02-17 2007-07-11 株式会社東芝 電子透かし埋込装置、電子透かし検出装置、電子透かし埋込方法、電子透かし検出方法、電子透かし埋込プログラムおよび電子透かし検出プログラム
FR2876531A1 (fr) * 2004-10-07 2006-04-14 Nextamp Sa Procede et dispositif de lecture de tatouage, produit programme d'ordinateur et moyen de stockage
JP4519678B2 (ja) 2005-02-21 2010-08-04 株式会社東芝 電子透かし検出方法及び装置、電子透かし埋め込み方法及び装置
JP4118279B2 (ja) 2005-03-11 2008-07-16 株式会社東芝 電子透かし検出装置及びその方法
US20070010525A1 (en) * 2005-06-27 2007-01-11 Meyer Jackson Method and compositions for modulating neuropeptide hormone secretion
US8020004B2 (en) 2005-07-01 2011-09-13 Verance Corporation Forensic marking using a common customization function
US8781967B2 (en) 2005-07-07 2014-07-15 Verance Corporation Watermarking in an encrypted domain
EP1837875A1 (en) * 2006-03-22 2007-09-26 Deutsche Thomson-Brandt Gmbh Method and apparatus for correlating two data sections
KR101203423B1 (ko) * 2007-02-06 2012-11-21 삼성전자주식회사 화상처리장치 및 그 제어방법
US8259938B2 (en) 2008-06-24 2012-09-04 Verance Corporation Efficient and secure forensic marking in compressed
US8090146B2 (en) * 2009-01-15 2012-01-03 Google Inc. Image watermarking
US8838977B2 (en) 2010-09-16 2014-09-16 Verance Corporation Watermark extraction and content screening in a networked environment
US8615104B2 (en) 2011-11-03 2013-12-24 Verance Corporation Watermark extraction based on tentative watermarks
US8533481B2 (en) 2011-11-03 2013-09-10 Verance Corporation Extraction of embedded watermarks from a host content based on extrapolation techniques
US8923548B2 (en) 2011-11-03 2014-12-30 Verance Corporation Extraction of embedded watermarks from a host content using a plurality of tentative watermarks
US8682026B2 (en) 2011-11-03 2014-03-25 Verance Corporation Efficient extraction of embedded watermarks in the presence of host content distortions
US8745403B2 (en) 2011-11-23 2014-06-03 Verance Corporation Enhanced content management based on watermark extraction records
US9323902B2 (en) 2011-12-13 2016-04-26 Verance Corporation Conditional access using embedded watermarks
US9547753B2 (en) 2011-12-13 2017-01-17 Verance Corporation Coordinated watermarking
US9571606B2 (en) 2012-08-31 2017-02-14 Verance Corporation Social media viewing system
US8869222B2 (en) 2012-09-13 2014-10-21 Verance Corporation Second screen content
US8726304B2 (en) 2012-09-13 2014-05-13 Verance Corporation Time varying evaluation of multimedia content
US9106964B2 (en) 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
US9317872B2 (en) 2013-02-06 2016-04-19 Muzak Llc Encoding and decoding an audio watermark using key sequences comprising of more than two frequency components
US9262793B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
US9208334B2 (en) 2013-10-25 2015-12-08 Verance Corporation Content management using multiple abstraction layers
CN106170988A (zh) 2014-03-13 2016-11-30 凡瑞斯公司 使用嵌入式代码的交互式内容获取
US10236006B1 (en) 2016-08-05 2019-03-19 Digimarc Corporation Digital watermarks adapted to compensate for time scaling, pitch shifting and mixing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997043736A1 (en) * 1996-05-16 1997-11-20 Digimarc Corporation Computer system linked by using information in data objects

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5636292C1 (en) 1995-05-08 2002-06-18 Digimarc Corp Steganography methods employing embedded calibration data
US6229924B1 (en) * 1996-05-16 2001-05-08 Digimarc Corporation Method and apparatus for watermarking video images
US5835639A (en) * 1996-12-18 1998-11-10 Eastman Kodak Company Method for detecting rotation and magnification in images
JP4064506B2 (ja) * 1997-09-17 2008-03-19 パイオニア株式会社 電子透かし重畳方法及び検出方法並びに装置
US5949055A (en) * 1997-10-23 1999-09-07 Xerox Corporation Automatic geometric image transformations using embedded signals
US6263087B1 (en) * 1998-06-26 2001-07-17 Signafy, Inc. Method of encoding bits in a signal

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997043736A1 (en) * 1996-05-16 1997-11-20 Digimarc Corporation Computer system linked by using information in data objects

Also Published As

Publication number Publication date
US6671388B1 (en) 2003-12-30
KR20010089513A (ko) 2001-10-06
EP1133755B1 (en) 2015-08-26
CN1322331A (zh) 2001-11-14
EP1133755A1 (en) 2001-09-19
JP2003510931A (ja) 2003-03-18
WO2001024113A1 (en) 2001-04-05
CN1269074C (zh) 2006-08-09
JP4257059B2 (ja) 2009-04-22

Similar Documents

Publication Publication Date Title
KR100740792B1 (ko) 워터마크 검출 방법 및 워터마크 검출 장치
US6714658B2 (en) Detection of auxiliary data in an information signal
EP0981903B1 (en) Watermark detection
Simitopoulos et al. Robust image watermarking based on generalized radon transformations
EP1286306A2 (en) Data processing apparatus and method of processing data
US6577745B1 (en) Watermark detection
EP1297492B1 (en) Watermark embedding method and arrangement
JP2004519163A (ja) 情報信号内の電子透かしを検出する方法及び装置
EP1525557B1 (en) Watermark detection
EP1286305A2 (en) Data processing apparatus
Liu et al. An image rectification scheme and its applications in RST invariant digital image watermarking
WO2003052676A1 (en) Method for the enhancement of complex peaks
Fotopoulos et al. Transform domain watermarking: adaptive selection of the watermark’s position and length
KR20050023454A (ko) 워터마크 검출

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20010528

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20050915

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20060927

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20070426

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20070712

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20070713

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
G170 Re-publication after modification of scope of protection [patent]
PG1701 Publication of correction
PR1001 Payment of annual fee

Payment date: 20100709

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20110706

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20120702

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20130705

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20130705

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20140707

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20140707

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20150703

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20150703

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20160705

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20160705

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20180628

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20200701

Start annual number: 14

End annual number: 14

PC1801 Expiration of term

Termination date: 20210315

Termination category: Expiration of duration