KR101317208B1 - Detection apparatus and method of forged image, and recording medium storing program for executing method of the same in computer - Google Patents
Detection apparatus and method of forged image, and recording medium storing program for executing method of the same in computer Download PDFInfo
- Publication number
- KR101317208B1 KR101317208B1 KR1020120000392A KR20120000392A KR101317208B1 KR 101317208 B1 KR101317208 B1 KR 101317208B1 KR 1020120000392 A KR1020120000392 A KR 1020120000392A KR 20120000392 A KR20120000392 A KR 20120000392A KR 101317208 B1 KR101317208 B1 KR 101317208B1
- Authority
- KR
- South Korea
- Prior art keywords
- interpolation
- image
- forgery
- modulation
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
연속적으로 보간을 수행하는 재 보간 방법을 이용한 위·변조 이미지 검출장치가 개시된다. 보간부는 입력 이미지에 대해 사전에 설정된 제1보간계수에 의해 크기를 변경한 후 1차 보간을 수행하여 1차 보간 이미지를 생성하고, 1차 보간 이미지를 사전에 설정된 제2보간계수에 의해 크기를 변경한 후 2차 보간을 수행하여 2차 보간 이미지를 생성한다. 위·변조영역 검출부는 입력 이미지와 2차 보간 이미지 간 주파수 성분 및 밝기 레벨 값의 차이를 산정하고, 차이 값을 토대로 위·변조 영역을 검출한다. 본 발명에 따르면, 재 보간의 특성을 고려한 위·변조 영역 검출 방법을 구현함으로써 위·변조 영역과 비 위·변조 영역의 차이를 명확하게 구분할 수 있으며, 이러한 차이 값을 이용하여 위·변조 영역을 검출하는 최종 검출 맵의 성능을 극대화할 수 있다. Disclosed is a forgery-modulated image detection apparatus using a re-interpolation method that continuously performs interpolation. The interpolation unit changes the size of the input image by the first interpolation coefficient that is set in advance, and then performs the first interpolation to generate the first interpolation image, and adjusts the size of the first interpolation image by the second preset interpolation coefficient. After the change, second interpolation is performed to generate a second interpolation image. The forgery / modulation area detector calculates a difference between the frequency component and the brightness level between the input image and the secondary interpolation image, and detects the forgery / modulation area based on the difference value. According to the present invention, it is possible to clearly distinguish the difference between the forgery / modulation area and the non-forgery / modulation area by implementing the forgery / modulation area detection method considering the characteristics of re-interpolation. It is possible to maximize the performance of the final detection map to detect.
Description
본 발명은 위·변조 이미지 검출 장치 및 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체에 관한 것으로, 더욱 상세하게는, 이미지 위·변조에 많이 사용되는 보간 방법을 바탕으로 입력된 이미지에 대해 연속적으로 보간(재 보간)을 수행함으로써 위·변조 이미지를 검출하는 위·변조된 이미지의 검출 장치 및 그 방법, 그리고 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체에 관한 것이다. The present invention relates to an apparatus and method for detecting a forgery / modulation image and a recording medium on which a program for executing the method on a computer is recorded. An apparatus and method for detecting a forged / falsified image by performing interpolation (re-interpolation) on an image continuously, and a method thereof, and a recording medium having recorded thereon a program for executing the method on a computer.
최근 디지털 이미지 편집 프로그램들이 발전하면서 누구나 손쉽게 위·변조 이미지들을 대량으로 생산할 수 있게 되었다. 이 때문에 이를 이용한 인터넷, 신문 기사, 잡지 등의 매체에 위·변조 이미지들의 출현 빈도가 점차 증가하고 있는 추세이다. 하지만 현재 상황 속에서 위·변조 이미지들에 대한 객관적인 검증 시스템이 제대로 구축되어 있지 않아 수용자에게 왜곡된 정보가 전달되고 있으며, 결국 개인적으로는 명예훼손, 초상권 침해가 발생하고, 공적으로는 허위사실 유포, 공문서 위조 등과 같은 다양한 범죄가 발생하고 있다. 따라서 이러한 위·변조 이미지로 파생되는 문제들을 해결하기 위한 검증 시스템에 대한 연구가 진행되고 있다. With the recent development of digital image editing programs, anyone can easily produce a large number of forgery and alteration images. For this reason, the frequency of the appearance of forgery and alteration images is gradually increasing in the media such as the Internet, newspaper articles, and magazines. However, in the current situation, the objective verification system for forgery and forgery images is not properly established, and the distorted information is transmitted to the prisoners, resulting in personal defamation and portrait infringement, and publicly disseminating false facts. And various crimes, such as forgery of official documents. Therefore, the research on the verification system to solve the problems derived from such a forgery and alteration image is in progress.
이와 관련된 선행기술을 구체적으로 살펴보면, 한국등록공보 제10-0880612호(발명의 명칭 : 디지털 이미지의 위·변조 분석기 및 그 방법)에는 기준 보간 계수에 기초하여 디지털 이미지를 구성하는 다수의 픽셀들을 분류하여 디지털 이미지의 위·변조 여부를 분석하는 위·변조 분석기 및 방법을 개시하고 있다. 이는 보간 패턴 특징을 검출/분석하는 방법을 이용하여 이엠(EM:Expectation maximization) 알고리즘과 같은 통계적 수단을 이용하여 검출 맵을 구현하고 있다. 그러나 이는 통계적 접근 개념을 사용했기 때문에 최종 검출 맵에서 위·변조된 영역이 명확하게 검출되지 않는 문제점이 있다. 또한 위·변조에 사용된 보간 검출 방법은 1차 보간에 국한되어 2차 이상의 보간이 발생한 위·변조 영역에서는 그 검출 효과가 현저히 떨어지는 문제점이 있다. Looking at the related art in detail, Korean Patent Publication No. 10-0880612 (name of the invention: forgery and modulation analyzer of the digital image and its method) classifies a plurality of pixels constituting the digital image based on the reference interpolation coefficient. A forgery and alteration analyzer and method for analyzing forgery and alteration of digital images are disclosed. The detection map is implemented using statistical means such as an Expectation Maximization (EM) algorithm using a method of detecting / analyzing interpolation pattern features. However, since this uses a statistical approach, there is a problem in that the forged / falsified region is not clearly detected in the final detection map. In addition, the interpolation detection method used for forgery and modulation has a problem that the detection effect is remarkably inferior in the forgery / modulation region where secondary interpolation or higher is interpolated to primary interpolation.
한국공개공보 제10-2011-0048919호(발명의 명칭 : 보간 검출 장치, 보간 영역 검출 장치 및 그 방법)에는 디지털 위·변조 이미지 내에서 보간 연산에 의해 이미지의 확대/축소가 된 보간 영역의 존재 여부와 보간 영역의 위치를 검출할 수 있는 보간 (영역) 검출 장치를 개시하고 있다. 이는 블록 단위의 스캐닝 과정을 이용하여 최종 검출 맵을 구현하고 있다. 그러나 이는 블록 단위의 스캔 과정을 거쳤기 때문에 최종 위·변조 영역이 명확하게 검출되지 않는 문제점이 있다. Korean Laid-Open Publication No. 10-2011-0048919 (Invention name: interpolation detection device, interpolation area detection device and method thereof) has an interpolation area in which an image is enlarged or reduced by interpolation operation within a digital forgery / modulation image. An interpolation (region) detection device capable of detecting whether or not and the position of an interpolation region is disclosed. This implements a final detection map using a block-by-block scanning process. However, since this is a block-by-block scanning process, there is a problem in that the final forgery / modulation area is not clearly detected.
본 발명이 이루고자 하는 기술적 과제는, 위·변조된 이미지에서 보간의 흔적을 명확하게 찾아내기 위해 기존의 보간 검출 알고리즘 외에 재 보간의 특성을 고려한 위·변조 영역 검출 방법을 구현함으로써 위·변조 영역을 명확하게 구분할 수 있는 위·변조 이미지 검출 장치 및 방법을 제공하는 데 있다. The technical problem to be solved by the present invention is to implement a forgery / modulation region by implementing a forgery / modulation region detection method in consideration of the characteristics of re-interpolation in addition to the existing interpolation detection algorithm in order to clearly detect traces of interpolation in a forged / modulated image. An object of the present invention is to provide an apparatus and method for detecting forgery and / or modulation.
본 발명이 이루고자 하는 다른 기술적 과제는, 종래 블록 단위, 통계적 개념을 적용하여 최종 검출 맵의 성능이 떨어지는 문제점을 보완하기 위해 위·변조 영역과 비 위·변조 영역 간 픽셀 레벨 차이 값을 이용하여 위·변조 영역을 검출하는 최종 검출 맵의 성능을 극대화할 수 있는 위·변조 이미지 검출 장치 및 방법을 제공하는 데 있다. Another technical problem to be solved by the present invention is to use the pixel level difference value between the forgery / modulation area and the non-forgery / modulation area to compensate for the problem that the performance of the final detection map is lowered by applying the conventional block unit and statistical concept. The present invention provides an apparatus and method for detecting forgery and / or modulation image that can maximize the performance of a final detection map for detecting a modulation region.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 위·변조 이미지 검출 장치는, 입력 이미지에 대해 사전에 설정된 제1보간계수에 의해 크기를 변경한 후 1차 보간을 수행하여 1차 보간 이미지를 생성하고, 상기 1차 보간 이미지를 사전에 설정된 제2보간계수에 의해 크기를 변경한 후 2차 보간을 수행하여 2차 보간 이미지를 생성하는 보간부; 및 상기 입력 이미지와 상기 2차 보간 이미지 간 픽셀 레벨 값의 차이를 산정하고, 상기 차이 값을 토대로 위·변조 영역을 검출하는 위·변조 영역 검출부;를 포함하고, 상기 보간부는 최근접 이웃화소 보간 방법(Nearest neighbor), 양선형 보간 방법(Bilinear), 고등차수 보간 방법(Bicubic) 중 어느 하나를 이용하여 이미지를 보간한다. In order to achieve the above technical problem, the apparatus for detecting a forgery / falsification image according to the present invention performs a first interpolation after changing the size by a first interpolation coefficient preset for an input image to perform a first interpolation image. An interpolation unit configured to generate a second interpolation image by performing a second interpolation after changing the size of the first interpolation image by a preset second interpolation coefficient; And a forgery / modulation area detector for calculating a difference in pixel level values between the input image and the second interpolation image, and detecting a forgery / modulation area based on the difference value. The image is interpolated using any one of a neighbor (Nearest neighbor), a bilinear interpolation method (Bilinear), and a higher-order interpolation method (Bicubic).
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 위·변조 이미지 검출 방법은, (a) 입력 이미지에 대해 사전에 설정된 제1보간계수에 의해 크기를 변경한 후 1차 보간을 수행하여 1차 보간 이미지를 생성하는 단계; (b) 상기 생성된 1차 보간 이미지를 사전에 설정된 제2보간계수에 의해 크기를 변경한 후 2차 보간을 수행하여 2차 보간 이미지를 생성하는 단계; 및 (c) 상기 입력 이미지와 상기 2차 보간 이미지 간 픽셀 레벨 값의 차이를 산정하고, 상기 차이 값을 토대로 위·변조 영역을 검출하는 단계;를 포함하고, 상기 1차 보간 및 2차 보간은 최근접 이웃화소 보간 방법(Nearest neighbor), 양선형 보간 방법(Bilinear), 고등차수 보간 방법(Bicubic) 중 어느 하나를 이용하여 이미지를 보간한다. In order to achieve the above-mentioned other technical problem, the method of detecting a forgery / falsification image according to the present invention comprises: (a) performing a first interpolation after changing the size by a first interpolation coefficient preset for an input image, Generating a difference interpolation image; (b) generating a secondary interpolation image by performing a second interpolation after changing the size of the generated first interpolation image by a preset second interpolation coefficient; And (c) calculating a difference between pixel level values between the input image and the secondary interpolation image, and detecting a forgery / modulation region based on the difference value. The image is interpolated using any one of a nearest neighbor interpolation method, a bilinear interpolation method, and a high-order interpolation method (Bicubic).
본 발명에 따른 위·변조 이미지 검출 장치 및 방법에 의하면, 위·변조된 이미지에서 위·변조의 흔적을 명확하게 찾아내기 위해 기존의 보간 검출 알고리즘 외에 재 보간의 특성을 고려한 위·변조 영역 검출 방법을 구현함으로써 위·변조 영역과 비 위·변조 영역의 차이를 명확하게 구분할 수 있다. 또한, 기존에 블록 단위, 통계적 개념을 적용하여 위·변조 영역을 검출하는 최종 검출 맵의 성능이 떨어지는 문제점을 보완하기 위해, 재 보간의 특성을 고려한 위·변조 영역 검출 방법을 구현함으로써 위·변조 영역과 비 위·변조 영역의 차이를 명확하게 구분할 수 있으며, 이러한 차이 값을 이용하여 위·변조 영역을 검출하는 최종 검출 맵의 성능을 극대화할 수 있다. According to the forgery-modulated image detection apparatus and method according to the present invention, in order to clearly detect the forgery-modulation traces in the forgery-modulated image, in addition to the existing interpolation detection algorithm, the forgery / modulation region detection method considering the characteristics of re-interpolation By implementing, it is possible to clearly distinguish the difference between forgery and forgery and non-forgery and forgery. In addition, in order to compensate for the problem that the performance of the final detection map that detects forgery and forgery regions is reduced by applying a block concept and a statistical concept, forgery and forgery is implemented by implementing a forgery and forgery detection method considering the characteristics of reinterpolation. The difference between the region and the non-falsification / modulation region can be clearly distinguished, and the difference value can be used to maximize the performance of the final detection map for detecting the forgery / modulation region.
본 발명에 따른 위·변조 이미지 검출 장치 및 방법에 의하면, 다양한 형태로 생산되는 디지털 위·변조 이미지들에 대한 위·변조 여부를 확인할 수 있어 개인 및 공공기관에 유포되는 디지털 이미지에 대한 정보의 신뢰도를 높일 수 있다. 또한, 수사기관 및 법정에 사용되는 증거자료로써 디지털 이미지에 대한 검증 시스템의 역할을 수행할 수 있다. According to the forgery and forgery image detection apparatus and method according to the present invention, it is possible to determine whether the forgery and forgery for the digital forgery and alteration images produced in various forms, the reliability of the information on the digital image distributed to individuals and public institutions Can increase. It can also serve as a verification system for digital images as evidence used in investigative agencies and courts.
도 1은 본 발명에 따른 위·변조 이미지 검출 장치의 구성을 도시한 블록도,
도 2는 본 발명에 따른 위·변조 이미지 검출 방법을 이용하여 위·변조 영역 이미지 검출을 위한 알고리즘을 도시한 흐름도,
도 3은 본 발명에 따른 위·변조 이미지 검출 방법을 실제 위·변조된 이미지에 적용한 흐름도를 도시한 도면,
도 4는 위·변조 영역이 없는 원본 이미지에 본 발명에 따른 위·변조 영역 이미지 검출 방법을 실제 적용한 이미지를 도시한 도면,
도 5는 원본 이미지의 특정 영역에 세 가지 보간 방법을 적용한 위·변조된 이미지에 본 발명에 따른 위·변조 이미지 검출 방법을 실제 적용한 결과를 도시한 도면,
도 6은 위·변조된 이미지를 3회 보간 작업을 진행하기 위해 0.7배, 1.2배, 0.8배 순서로 보간했을 때 본 발명에 따른 위·변조 검출 방법을 적용한 결과 맵을 도시한 도면,
도 7 내지 도 11은 다수의 이미지 샘플에 대해 본 발명에 따른 위·변조 검출 방법을 적용하여 위·변조 영역을 검출한 결과를 도시한 도면, 그리고,
도 12는 본 발명에 따른 위·변조 이미지 검출 방법을 적용하여 위·변조 영역을 검출한 결과와 종래 기술을 적용하여 위·변조 영역을 검출한 결과를 비교한 도면이다. 1 is a block diagram showing the configuration of a forgery-modulated image detection apparatus according to the present invention;
2 is a flowchart illustrating an algorithm for detecting a forgery / modulation area image by using the forgery / modulation image detection method according to the present invention;
3 is a flowchart illustrating a method of applying a forgery / modulation image detection method according to an embodiment of the present invention to an actual forgery / modulated image;
4 is a view showing an image in which the forgery and modulation region image detection method according to the present invention is actually applied to an original image having no forgery and modulation region;
FIG. 5 is a diagram illustrating a result of actually applying a forgery / modulation image detection method according to the present invention to a forgery / modulated image to which three interpolation methods are applied to a specific area of an original image; FIG.
FIG. 6 is a diagram illustrating a result map of applying a forgery / falsification detection method according to the present invention when interpolation of a forgery / modulated image is performed in the order of 0.7 times, 1.2 times, and 0.8 times for performing an interpolation operation three times.
7 to 11 are diagrams showing the results of detecting a forgery / falsification region by applying the forgery / falsification detection method according to the present invention to a plurality of image samples, and
12 is a view comparing the results of detecting the forgery / modulation area by applying the forgery / modulation image detection method according to the present invention and the results of detecting the forgery / modulation area by applying the prior art.
이하에서 첨부의 도면들을 참조하여 본 발명에 따른 위·변조 이미지 검출 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the forgery-modulated image detection apparatus and method according to the present invention.
도 1은 본 발명에 따른 위·변조 이미지 검출 장치(100)의 구성을 도시한 블록도이다. 1 is a block diagram showing the configuration of a forgery-modulated
도 1을 참조하면, 본 발명에 따른 위·변조 이미지 검출 장치(100)는 보간부(110) 및 위·변조 영역 검출부(120)를 구비한다. Referring to FIG. 1, the forgery / modulation
본 발명에 따른 위·변조 이미지 검출 장치(100)는 위·변조된 이미지로 추정되는 입력 이미지가 위·변조 영역과 비 위·변조 영역으로 나누어져 있다고 전제한다. 따라서 본 발명에 따른 위·변조 이미지 검출 장치(100)는 입력된 이미지에 대해 연속적으로 보간(1차 보간 및 2차 보간)을 수행함으로써 두 영역에서 발생하는 패턴 간 차이를 분석하여 위·변조 영역을 검출하는 최종 검출 맵을 생성하는 것이다. The forgery / modulation
보간부(110)는 입력 이미지에 대한 보간을 수행한다. 즉, 보간부(110)는 입력된 이미지에 대해 사전에 설정된 제1보간계수에 의해 크기를 변경한 후 1차 보간을 수행하여 1차 보간 이미지를 생성한다. 또한, 보간부(110)는 1차 보간 이미지에 대해 사전에 설정된 제2보간계수에 의해 크기를 변경한 후 2차 보간을 수행하여 2차 보간 이미지를 생성한다. The
이때, 제1보간계수는 1보다 작은 양의 실수이고, 제1보간계수와 제2보간계수는 서로 역수 관계에 있다. 즉, 입력된 이미지는 제1보간계수에 의해 크기가 축소되는 1차 보간 과정을 거치게 되고, 다시 제2보간계수에 의해 크기가 확대된다. 이러한 2회에 걸친 보간 과정을 통해 입력 이미지는 픽셀 레벨 값들의 변화가 발생하게 된다. 이는 최근접 이웃화소 보간 방법(Nearest neighbor), 양선형 보간 방법(Bilinear), 고등차수 보간 방법(Bicubic) 중 어느 하나를 이용하더라도 마찬가지이다. 최근접 이웃화소 보간 방법은 보간 방법 중 가장 단순한 구조를 가진 보간 방법으로 원래 픽셀에서 가장 가까운 픽셀을 선택해서 보간하는 방법이다. 양선형 보간 방법은 가로, 세로 방향으로 주위에 있는 4개의 픽셀을 선택해서 평균을 내는 방법이며, 고등차수 보간 방법은 이보다 진보화된 계산법을 사용하여 가로, 세로, 대각선 방향으로 샘플링하고 각 픽셀에 가중치를 부여하여 평균값을 적용한 보간 방법이다. In this case, the first interpolation coefficient is a positive real number less than 1, and the first interpolation coefficient and the second interpolation coefficient are in inverse relationship with each other. That is, the input image undergoes a first interpolation process in which the size is reduced by the first interpolation coefficient, and the size is enlarged by the second interpolation coefficient. This two-time interpolation process causes the input image to change in pixel level values. This is the same even if one of the nearest neighbor interpolation method (Nearest neighbor), bilinear interpolation method (Bilinear), higher order interpolation method (Bicubic) is used. The nearest neighbor interpolation method is the interpolation method having the simplest structure among the interpolation methods, and selects and interpolates the pixel nearest to the original pixel. The bilinear interpolation method selects and averages four pixels around in the horizontal and vertical directions. The higher order interpolation method uses advanced calculations to sample horizontally, vertically, and diagonally, It is an interpolation method that applies a mean value by assigning a weight.
또한, 제2보간계수는 제1보간계수와 역수 관계이므로, 2차 보간 이미지는 입력된 이미지와 동일한 크기로 유지된다. In addition, since the second interpolation coefficient has an inverse relationship with the first interpolation coefficient, the second interpolation image is maintained at the same size as the input image.
다만, 최근접 이웃화소 보간 방법(Nearest neighbor)을 제외한 나머지 양선형 보간 방법(Bilinear) 및 고등차수 보간 방법(Bicubic)의 경우 제1보간계수가 1보다 큰 양의 실수일 수 있다. 즉, 입력된 이미지는 제1보간계수에 의해 크기가 확대되는 1차 보간 과정을 거치고, 다시 역수 관계인 제2보간계수에 의해 크기가 축소되는 2차 보간 과정을 거치더라도 본 발명을 구현할 수 있다. 상술한 바와 같이 2회에 걸친 보간 과정을 통해 입력 이미지의 픽셀 레벨 값들의 변화가 발생해야 하는데, 최근접 이웃화소 보간 방법(Nearest neighbor)의 경우 확대 후 축소되는 보간 과정을 거치게 되면 이웃 화소들을 이용하여 새로운 픽셀 값을 만드는 것이 아니므로 픽셀 값의 변화가 발생하지 않기 때문이다. However, in the case of the bilinear interpolation method and the bi-order interpolation method (Bicubic) except for the nearest neighbor interpolation method, the first interpolation coefficient may be a positive real number greater than one. That is, the present invention can be implemented even if the input image undergoes a first interpolation process in which the size is enlarged by the first interpolation coefficient and a second interpolation process in which the size is reduced by the second interpolation coefficient. As described above, the pixel level values of the input image should be changed through two interpolation processes. In the case of the nearest neighbor interpolation method, the neighboring pixels are used when the interpolation process is performed after the enlargement and reduction. This is because the pixel value does not change because it does not create a new pixel value.
위·변조 영역 검출부(120)는 입력된 이미지와 2회에 걸친 보간 과정을 통해 생성된 2차 보간 이미지 간 픽셀 레벨 값의 차이를 산정하고 이 차이 값을 토대로 위·변조 영역을 검출한다. 상술한 바와 같이, 입력된 이미지를 2회에 걸친 보간 과정(축소 후 확대)을 통해 입력 이미지의 초기 픽셀 레벨 값들이 변화가 발생한다. 따라서 픽셀 레벨 값들의 변화된 차이 값을 산정함으로써 위·변조 영역을 검출하게 된다. The forgery /
도 2는 본 발명에 따른 위·변조 이미지 검출 방법을 이용하여 위·변조 영역 이미지 검출을 위한 알고리즘을 도시한 흐름도이다. 2 is a flowchart illustrating an algorithm for detecting a forgery / modulation region image by using the forgery / modulation image detection method according to the present invention.
도 2를 참조하면, 위·변조된 것으로 추정되는 이미지가 입력되면(S210), 입력된 이미지에 대해 사전에 설정된 제1보간계수에 의해 크기를 변경한 후 1차 보간을 수행하여 1차 보간 이미지를 생성한다(S220). 그리고 나서, 생성된 1차 보간 이미지에 대해 사전에 설정된 제2보간계수에 의해 크기를 변경한 후 2차 보간을 수행하여 2차 보간 이미지를 생성한다(S230). 이때, 제1보간계수는 1보다 작은 양의 실수이고, 제1보간계수와 제2보간계수는 서로 역수 관계에 있다. Referring to FIG. 2, when an image estimated to be forged / modulated is input (S210), the first interpolation image is performed by performing a first interpolation after changing a size by a first interpolation coefficient preset for the input image. To generate (S220). Then, the second interpolation is performed by changing the size of the generated first interpolation image by the second interpolation coefficient that is set in advance (S230). In this case, the first interpolation coefficient is a positive real number less than 1, and the first interpolation coefficient and the second interpolation coefficient are in inverse relationship with each other.
즉, 입력된 이미지는 제1보간계수에 의해 크기가 축소되는 1차 보간 과정을 거치게 되고, 다시 제2보간계수에 의해 크기가 확대되는 2차 보간 과정을 거치게 된다. 또한, 제2보간계수는 제1보간계수의 서로 역수 관계에 있으므로 2차 보간 이미지는 입력된 이미지와 동일한 크기로 유지된다. 이러한 2회에 걸친 보간 과정을 통해 입력 이미지는 픽셀 레벨 값들의 변화가 발생하게 된다. 따라서 입력된 이미지와 2차 보간 이미지 간 픽셀 레벨 값의 차이를 산정하고 이 차이 값을 토대로 위·변조 영역을 검출한다(S240). That is, the input image undergoes a first interpolation process in which the size is reduced by the first interpolation coefficient, and then goes through a second interpolation process in which the size is enlarged by the second interpolation coefficient. In addition, since the second interpolation coefficients are in inverse relationship with each other of the first interpolation coefficients, the second interpolation image is maintained at the same size as the input image. This two-time interpolation process causes the input image to change in pixel level values. Therefore, the difference between the pixel level values between the input image and the secondary interpolation image is calculated and the forgery / modulation area is detected based on the difference value (S240).
도 3은 본 발명에 따른 위·변조 이미지 검출 방법을 실제 위·변조된 이미지에 적용한 흐름도를 도시한 도면이다. 일반적으로 위·변조된 이미지로 추정되는 이미지가 입력되면, 이미지의 어느 영역이 위·변조되었는지 알 수 없다. 도 3을 참조하면, 위·변조 이미지(forged image, 310)에서 어느 영역이 위·변조되었는지 알기 위해 위·변조 이미지(310)를 사전에 설정된 제1보간계수에 의해 크기를 축소한 후 1차 보간을 수행하여 1차 보간 이미지(320)를 생성한다. 1차 보간 이미지(320)를 사전에 설정된 제2보간계수에 의해 크기를 확대한 후 2차 보간을 수행하여 2차 보간 이미지(330)를 생성한다. 이때, 상술한 바와 같이 제1보간계수는 1보다 작은 양의 실수이고, 제1보간계수와 제2보간계수는 서로 역수 관계에 있다. 따라서 2차 보간 이미지(330)는 위·변조 이미지(310)와 동일한 크기로 유지된다. 위·변조 이미지(310)와 2차 보간 이미지(330) 간 픽셀 레벨 값의 차이를 산정하고 이 차이 값을 토대로 위·변조 영역 검출 맵(340)을 구현한다. 이때, 위·변조 영역 검출 맵(340)을 참고하면 위·변조 영역(350)과 그렇지 않은 영역의 패턴이 서로 다른 결과가 나온다는 걸 알 수 있다. 3 is a flowchart illustrating a method of applying a forgery-modulated image detection method according to the present invention to an actual forgery-modulated image. In general, when an image estimated as a forged / modulated image is input, it is not possible to know which area of the image is forged / modulated. Referring to FIG. 3, the size of the forged / modulated
도 4는 위·변조 영역이 없는 원본 이미지에 본 발명에 따른 위·변조 영역 이미지 검출 방법을 실제 적용한 이미지를 도시한 도면이다. 도 4를 참조하면 도 3에 도시된 바와 달리, 위·변조 영역이 없는 원본 이미지(410)에 대해 본 발명에 따른 위·변조 영역 이미지 검출 방법을 적용하였을 때, 최종 검출 맵(420)에 특정 패턴이 없는 상태로 검출됨을 알 수 있다. FIG. 4 is a diagram illustrating an image in which the forgery / modulation area image detection method according to the present invention is actually applied to an original image having no forgery / modulation area. Referring to FIG. 4, unlike FIG. 3, when the forgery / modulation region image detection method according to the present invention is applied to the original image without the forgery / modulation region, the
도 5는 원본 이미지의 특정 영역에 세 가지 보간 방법을 적용한 위·변조된 이미지(510)에 본 발명에 따른 위·변조 이미지 검출 방법을 실제 적용한 결과를 도시한 도면이다. 도 5를 참조하면 각 보간 방법에 따라서 특정 영역에 보간을 발생시켰을 때 원본 이미지에서 나타나지 않는 특정 보간 영역(525, 535, 545)이 검출됨을 알 수 있다. FIG. 5 is a diagram illustrating a result of actually applying a forgery / modulation image detection method according to the present invention to a forgery / modulated
즉, 각 보간 방법에 따라서 본 발명에 따른 위·변조 이미지 검출 방법을 적용한 결과 위·변조가 일어난 곳과 위·변조가 일어나지 않은 곳의 패턴의 차이가 나타나는 것을 확인할 수 있었다. 특히 최근접 이웃화소 보간 방법을 사용한 이미지에서는 픽셀 레벨 값이 0인 검정색으로 검출되었으며, 나머지 보간 방법에서도 위·변조 영역과 비 위·변조 영역과의 픽셀 레벨이 다른 패턴으로 표현되는 결과를 얻을 수 있었다. 결과적으로 본 발명에 따른 위·변조 이미지 검출 방법으로 위·변조 영역이 검출 가능하다는 것을 최종 검출 맵(520, 530, 540)을 통해 확인할 수 있다. That is, as a result of applying the forgery / modulation image detection method according to the present invention according to each interpolation method, it was confirmed that the pattern difference between where the forgery and forgery occurred and where forgery and forgery did not occur appears. In particular, in the image using the nearest neighbor pixel interpolation method, the pixel level value was detected as black, and in the remaining interpolation method, the pixel level of the forgery / modulation area and the non-forgery / modulation area was expressed in a different pattern. there was. As a result, it can be confirmed through the final detection maps 520, 530, and 540 that the forgery / modulation area can be detected by the forgery / modulation image detection method according to the present invention.
또한, 본 발명에 따른 위·변조 이미지 검출 방법을 적용하여 1회 이상의 위·변조가 일어난 위·변조 이미지에서도 정확한 위·변조 영역을 검출할 수 있는지 확인하기 위해 위·변조된 이미지를 각 보간 방법에 따라서 0.7배, 1.2배, 0.8배로 보간 하여 3차 보간을 발생시켰다. 테스트 결과 도 6에 도시된 바와 같이 각 보간 방법에 따라 모두 위·변조 영역(610, 620, 630)을 검출할 수 있었다. In addition, by applying the method for detecting forgery / modulation according to the present invention, in order to check whether the forgery / modulation region can be detected even in a forgery / modulation image in which at least one forgery / modulation has been performed, each of the forgery / modulation images is interpolated. According to the interpolation, 0.7 times, 1.2 times, and 0.8 times were interpolated to generate the third interpolation. As a result of the test, as shown in FIG. 6, forgery /
기존에는 일부분이 위·변조된 이미지나 이진 영상이 아닌 이미지에서의 위·변조 영역에 대한 판독이 불가능했지만, 본 발명에 따른 위·변조 이미지 검출 방법을 적용하였을 때 이진 영상이 아닌 컬러 영상을 사용하여 위·변조 영역을 검출하였으며, 일부분이 위·변조된 영역에서도 검출할 수 있었다. In the past, it was not possible to read a forgery / modulation area in a part of which the image is not a forgery / modulation or an image which is not a binary image. Forgery-modulated areas were detected, and partial detection was also possible in the forgery-modulated areas.
또한, 기존에는 최종 검출 맵이 1 픽셀별로 스캐닝한 것이 아니기 때문에 최종 검출 맵이 정확하지 않은 문제점이 있었으나, 본 발명에 따른 위·변조 이미지 검출 방법을 적용하였을 때 이미지에 대해 연속적으로 보간(1차 보간 후 2차 보간)을 수행함으로써 픽셀을 1대1의 차이 값으로 계산하였기 때문에 더욱 정교한 위·변조 영역을 검출할 수 있다. 이를 확인하기 위해 여러 가지 샘플을 통해 본 검출 방법을 적용하였고, 그 결과 도 7 내지 도 11과 같은 위·변조 영역을 세밀하게 검출해 낼 수 있었다. In addition, although the final detection map is not accurate because the final detection map is not scanned for each pixel, there is a problem in that the image is continuously interpolated (first order) when the forgery / modulation image detection method according to the present invention is applied. By performing the second interpolation after the interpolation, the pixel is calculated as a one-to-one difference value, thereby making it possible to detect more sophisticated forgery / modulation regions. In order to confirm this, the present detection method was applied through various samples, and as a result, the forgery / modulation region as shown in FIGS. 7 to 11 could be detected in detail.
또한, 도 12를 참조하면 위·변조 이미지(1200)에 대해 종래 기술을 적용한 결과물(1210)과 본 위·변조 이미지 검출 방법을 적용한 결과물(1220)을 비교함으로써 최종 검출 맵에 대한 성능을 테스트한 결과, 500 × 500 픽셀에 TIFF로 저장된 코뿔소 위·변조 이미지(1200)를 분석한 최종 결과 맵에서 본 위·변조 이미지 검출 방법을 적용하였을 때 종래 기술보다 위·변조 영역을 명확하게 구분해 낼 수 있었다. 이는 블록 스캔을 사용하지 않고 1 픽셀 별로 차이 값을 구한 것이기 때문에 최종 검출 맵의 효과가 증대되었다고 할 수 있다. In addition, referring to FIG. 12, the performance of the final detection map was tested by comparing the
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 유무선 통신망으로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and a carrier wave (transmission via the Internet). In addition, the computer-readable recording medium may be distributed to a computer system connected to a wired / wireless communication network, and a computer-readable code may be stored and executed in a distributed manner.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation in the embodiment in which said invention is directed. It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the scope of the appended claims.
100 : 위·변조 이미지 검출 장치 110 : 보간부
120 : 위·변조 영역 검출부100: forgery and modulation image detection device 110: interpolation unit
120: forgery and modulation area detection unit
Claims (9)
상기 입력 이미지와 상기 2차 보간 이미지 간 픽셀 레벨 값의 차이를 산정하고, 상기 차이 값을 토대로 위·변조 영역을 검출하는 위·변조 영역 검출부;를 포함하고,
상기 보간부는 최근접 이웃화소 보간 방법(Nearest neighbor), 양선형 보간 방법(Bilinear), 고등차수 보간 방법(Bicubic) 중 어느 하나를 이용하여 이미지를 보간하는 것을 특징으로 하는 위·변조 이미지 검출 장치.After changing the size of the input image by the first interpolation coefficient set in advance, the first interpolation is performed to generate the first interpolation image, and the size of the first interpolation image is changed by the second preset interpolation coefficient. An interpolator configured to generate a second interpolation image by performing second interpolation; And
And a forgery / modulation region detector for calculating a difference between pixel level values between the input image and the second interpolation image and detecting a forgery / modulation region based on the difference value.
And the interpolation unit interpolates an image using any one of a nearest neighbor interpolation method, a bilinear interpolation method, and a higher-order interpolation method (Bicubic).
상기 제1보간계수와 상기 제2보간계수는 서로 역수 관계인 것을 특징으로 하는 위·변조 이미지 검출 장치.The method of claim 1,
And the first interpolation coefficient and the second interpolation coefficient have an inverse relationship with each other.
상기 제1보간계수는 1보다 작은 양의 실수인 것을 특징으로 하는 위·변조 이미지 검출 장치.The method of claim 2,
And the first interpolation coefficient is a positive real number less than one.
(b) 상기 생성된 1차 보간 이미지를 사전에 설정된 제2보간계수에 의해 크기를 변경한 후 2차 보간을 수행하여 2차 보간 이미지를 생성하는 단계; 및
(c) 상기 입력 이미지와 상기 2차 보간 이미지 간 픽셀 레벨 값의 차이를 산정하고, 상기 차이 값을 토대로 위·변조 영역을 검출하는 단계;를 포함하고,
상기 1차 보간 및 2차 보간은 최근접 이웃화소 보간 방법(Nearest neighbor), 양선형 보간 방법(Bilinear), 고등차수 보간 방법(Bicubic) 중 어느 하나를 이용하여 이미지를 보간 하는 것을 특징으로 하는 위·변조 이미지 검출 방법.(a) generating a first interpolation image by performing a first interpolation after changing a size by a first interpolation coefficient preset for the input image;
(b) generating a secondary interpolation image by performing a second interpolation after changing the size of the generated first interpolation image by a preset second interpolation coefficient; And
(c) calculating a difference between pixel level values between the input image and the secondary interpolation image and detecting a forgery / modulation region based on the difference value;
The first interpolation and the second interpolation may be performed by interpolating an image using any one of a nearest neighbor interpolation method, a bilinear interpolation method, and a higher order interpolation method. Modulated image detection method.
상기 제1보간계수와 상기 제2보간계수는 서로 역수 관계인 것을 특징으로 하는 위·변조 이미지 검출 방법. 6. The method of claim 5,
And the first interpolation coefficient and the second interpolation coefficient have an inverse relationship with each other.
상기 제1보간계수는 1보다 작은 양의 실수인 것을 특징으로 하는 위·변조 이미지 검출 방법. The method according to claim 6,
And the first interpolation coefficient is a positive real number less than one.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120000392A KR101317208B1 (en) | 2012-01-03 | 2012-01-03 | Detection apparatus and method of forged image, and recording medium storing program for executing method of the same in computer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120000392A KR101317208B1 (en) | 2012-01-03 | 2012-01-03 | Detection apparatus and method of forged image, and recording medium storing program for executing method of the same in computer |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130079729A KR20130079729A (en) | 2013-07-11 |
| KR101317208B1 true KR101317208B1 (en) | 2013-10-10 |
Family
ID=48992058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120000392A Expired - Fee Related KR101317208B1 (en) | 2012-01-03 | 2012-01-03 | Detection apparatus and method of forged image, and recording medium storing program for executing method of the same in computer |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101317208B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419693B (en) * | 2021-12-21 | 2025-07-18 | 度小满科技(北京)有限公司 | Method and device for detecting human face deep pseudo |
| KR102826378B1 (en) * | 2023-02-13 | 2025-06-26 | 한림대학교 산학협력단 | Electronic device performing learning for adversarial attack defense of deepfake detection model, control method of electronic device, and computer program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006157711A (en) | 2004-11-30 | 2006-06-15 | Oki Electric Ind Co Ltd | System and apparatus for detecting tampering, apparatus for deciding threshold, method for detecting tampering, and method for deciding threshold |
| JP2006261824A (en) * | 2005-03-15 | 2006-09-28 | Oki Electric Ind Co Ltd | Falsification detecting system and method for detecting falsification |
-
2012
- 2012-01-03 KR KR1020120000392A patent/KR101317208B1/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006157711A (en) | 2004-11-30 | 2006-06-15 | Oki Electric Ind Co Ltd | System and apparatus for detecting tampering, apparatus for deciding threshold, method for detecting tampering, and method for deciding threshold |
| JP2006261824A (en) * | 2005-03-15 | 2006-09-28 | Oki Electric Ind Co Ltd | Falsification detecting system and method for detecting falsification |
Non-Patent Citations (2)
| Title |
|---|
| Alin C. Popescu and Hany Farid, "Exposing Digital Forgeries by Detecting Traces of Resampling," IEEE Transactions on Signal Processing, Vol. 53, No. 2, February 2005, pp. 758-767. * |
| 송근실 외2, "보간을 이용한 디지털 이미지 합성 분석," Journal of Korea Multimedia Society Vol. 13, No. 3, March 2010, pp. 457-466. * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130079729A (en) | 2013-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Qiao et al. | Statistical model-based detector via texture weight map: Application in re-sampling authentication | |
| Swaminathan et al. | Nonintrusive component forensics of visual sensors using output images | |
| JP3915563B2 (en) | Image processing apparatus and image processing program | |
| JP5887770B2 (en) | Image processing apparatus and image processing program | |
| Fillion et al. | Detecting content adaptive scaling of images for forensic applications | |
| Zaker et al. | A novel steganalysis for TPVD steganographic method based on differences of pixel difference histogram | |
| JP2006222965A (en) | Image processing method and image processing apparatus | |
| JP2009530975A (en) | Composite detection in previously compressed images | |
| Ker et al. | Feature reduction and payload location with WAM steganalysis | |
| US7885486B2 (en) | Image processing system, method for processing image and computer readable medium | |
| KR20080006112A (en) | Halftoning method and apparatus for improving the sharpness of the boundary area | |
| JP4595014B2 (en) | Digital watermark embedding device and detection device | |
| CN102956025B (en) | Image watermark detection method and system | |
| Lu et al. | Secure halftone image steganography based on feature space and layer embedding | |
| US8749847B2 (en) | Image processing apparatus, image processing method and storage medium | |
| Chang et al. | A passive multi-purpose scheme based on periodicity analysis of CFA artifacts for image forensics | |
| KR101317208B1 (en) | Detection apparatus and method of forged image, and recording medium storing program for executing method of the same in computer | |
| Peng et al. | Countering anti-forensics of image resampling | |
| KR101544171B1 (en) | Apparatus and Method for Super Resolution using Hybrid Feature | |
| Qi et al. | An adaptive visible watermark embedding method based on region selection | |
| CN102081789B (en) | Image processing apparatus and image processing method | |
| JP2012231301A (en) | Coefficient learning apparatus and method, image processing apparatus and method, program, and recording medium | |
| Cai et al. | A new reversible data hiding scheme exploiting high-dimensional prediction-error histogram | |
| JP5737387B2 (en) | Image processing device | |
| KR101341624B1 (en) | Detection apparatus and method of forged image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| D13-X000 | Search requested |
St.27 status event code: A-1-2-D10-D13-srh-X000 |
|
| D14-X000 | Search report completed |
St.27 status event code: A-1-2-D10-D14-srh-X000 |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| E13-X000 | Pre-grant limitation requested |
St.27 status event code: A-2-3-E10-E13-lim-X000 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| PG1501 | Laying open of application |
St.27 status event code: A-1-1-Q10-Q12-nap-PG1501 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
Fee payment year number: 1 St.27 status event code: A-2-2-U10-U11-oth-PR1002 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R11-asn-PN2301 St.27 status event code: A-5-5-R10-R13-asn-PN2301 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R11-asn-PN2301 St.27 status event code: A-5-5-R10-R13-asn-PN2301 |
|
| FPAY | Annual fee payment |
Payment date: 20161004 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Fee payment year number: 4 St.27 status event code: A-4-4-U10-U11-oth-PR1001 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| FPAY | Annual fee payment |
Payment date: 20171011 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Fee payment year number: 5 St.27 status event code: A-4-4-U10-U11-oth-PR1001 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| FPAY | Annual fee payment |
Payment date: 20181122 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Fee payment year number: 6 St.27 status event code: A-4-4-U10-U11-oth-PR1001 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R11-asn-PN2301 St.27 status event code: A-5-5-R10-R13-asn-PN2301 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R11-asn-PN2301 St.27 status event code: A-5-5-R10-R13-asn-PN2301 |
|
| PR1001 | Payment of annual fee |
Fee payment year number: 7 St.27 status event code: A-4-4-U10-U11-oth-PR1001 |
|
| PC1903 | Unpaid annual fee |
Not in force date: 20201003 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE St.27 status event code: A-4-4-U10-U13-oth-PC1903 |
|
| PC1903 | Unpaid annual fee |
Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20201003 St.27 status event code: N-4-6-H10-H13-oth-PC1903 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R11-asn-PN2301 St.27 status event code: A-5-5-R10-R13-asn-PN2301 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |