[go: up one dir, main page]

KR102192631B1 - 병렬 포렌식 마킹 장치 및 방법 - Google Patents

병렬 포렌식 마킹 장치 및 방법 Download PDF

Info

Publication number
KR102192631B1
KR102192631B1 KR1020190155718A KR20190155718A KR102192631B1 KR 102192631 B1 KR102192631 B1 KR 102192631B1 KR 1020190155718 A KR1020190155718 A KR 1020190155718A KR 20190155718 A KR20190155718 A KR 20190155718A KR 102192631 B1 KR102192631 B1 KR 102192631B1
Authority
KR
South Korea
Prior art keywords
unit
decoding
forensic
format
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190155718A
Other languages
English (en)
Inventor
박윤하
김대수
전재현
Original Assignee
주식회사우경정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사우경정보기술 filed Critical 주식회사우경정보기술
Priority to KR1020190155718A priority Critical patent/KR102192631B1/ko
Priority to US17/256,828 priority patent/US20220353524A1/en
Priority to PCT/KR2020/016997 priority patent/WO2021107651A1/ko
Priority to JP2020573541A priority patent/JP2022515946A/ja
Application granted granted Critical
Publication of KR102192631B1 publication Critical patent/KR102192631B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

병렬 포렌식 마킹 장치가 제공된다. 상기 병렬 포렌식 마킹 장치는 설정 방식으로 압축된 콘텐츠의 한 프레임을 복수 영역으로 분할하는 분할부; 분할된 각 영역을 할당받아 엔트로피 디코딩하는 복수의 디코딩부; 복수의 상기 디코딩부에 입출력되는 각 영역을 동기화시켜 상기 프레임을 완성시키는 동기화부;를 포함할 수 있다.

Description

병렬 포렌식 마킹 장치 및 방법{PARALLEL FORENSIC MARKING DEVICE AND FORENSIC MARKING MEHOD}
본 발명은 압축된 콘텐츠에 포렌식 마크를 삽입하는 포렌식 마킹 장치 및 방법에 관한 것이다.
포렌식 마킹 기술은 멀티미디어 콘텐츠(multimedia contents)에 판매자, 저작권자 또는 구매자의 정보를 삽입하는 기술로 콘텐츠의 불법 유통시 삽입된 정보(포렌식 마크)를 추출하여 유포자를 확인할 수 있는 기술이다.
예를 들어 온라인 서비스 제공자(online service provider : OSP)가 콘텐츠를 제공할 때 구매자 정보를 포렌식 마킹 기술로 삽입하게 되면, 향후 해당 콘텐츠의 불법 유출 문제가 발생할 경우 유출된 콘텐츠에서 포렌식 마크를 확인하여 최초 유포자에게 책임을 물을 수 있다.
멀티미디어 콘텐츠에 포렌식 마크를 삽입하는 과정은 해당 콘텐츠를 복호화한 후 포렌식 마크를 삽입하고 다시 부호화하는 단계를 거치기 때문에 상당히 많은 연산량과 시간이 필요하다.
즉, 디지털 오디오 음원, 비디오 등 콘텐츠에 대해 실시간 다운로드 및 스트리밍 서비스를 제공하는 서버에서 동시에 다수의 서비스 요청이 있는 경우, 위와 같이 많은 연산량과 시간이 소요되는 콘텐츠별 포렌식 마킹 처리는 서버에 상당한 부하를 유발하는 문제점이 있다.
한국등록특허공보 제1992779호에는 특정 포렌식 마킹 알고리즘에 종속되지 않는 실시간 오디오 포렌식마킹 시스템을 구성하는 기술이 나타나 있다.
한국등록특허공보 제1992779호
본 발명은 압축된 콘텐츠 파일에 포렌식 마크를 실시간으로 삽입할 수 있는 포렌식 마킹 장치 및 방법을 제공하기 위한 것이다.
본 발명의 포렌식 마킹 장치는 설정 방식으로 압축된 콘텐츠를 디코딩하는 제1 유니트; 상기 제1 유니트에 의해 디코딩된 콘텐츠에 포렌식 마크를 삽입하는 마킹 유니트; 상기 포렌식 마크가 삽입된 콘텐츠를 인코딩하는 제2 유니트; 상기 제1 유니트와 상기 마킹 유니트 간의 제1 입출력 형식을 동기화시키거나, 상기 제2 유니트와 상기 마킹 유니트 간의 제2 입출력 형식을 동기화시키는 변환 유니트;를 포함할 수 있다.
본 발명의 포렌식 마킹 장치는 설정 방식으로 압축된 콘텐츠의 한 프레임을 복수 영역으로 분할하는 분할부; 분할된 각 영역을 할당받아 엔트로피 디코딩하는 복수의 디코딩부; 복수의 상기 디코딩부에 입출력되는 각 영역을 동기화시켜 상기 프레임을 완성시키는 동기화부;를 포함할 수 있다.
본 발명의 포렌식 마킹 방법은 설정 방식으로 압축된 콘텐츠에 대한 사전 디코딩을 통해 엔트로피 디코딩과 포렌식 마크의 삽입 동작 간의 제1 입출력 형식 및 상기 삽입 동작과 엔트로피 인코딩 간의 제2 입출력 형식을 파악하는 파싱 단계; 상기 콘텐츠를 엔트로피 디코딩하고, 엔트로피 디코딩된 콘텐츠를 상기 제1 입출력 형식에 맞춰 변환하는 디코딩 단계; 상기 제1 입출력 형식으로 변환된 콘텐츠를 입력받고 포렌식 마크를 삽입하는 마킹 단계; 상기 포렌식 마크가 삽입된 콘텐츠를 상기 엔트로피 인코딩에서 요구하는 제2 입출력 형식으로 변환하고, 상기 제2 입출력 형식으로 변환된 콘텐츠를 엔트로피 인코딩하는 인코딩 단계;를 포함할 수 있다.
본 발명의 포렌식 마킹 장치 및 방법에 따르면, 압축된 콘텐츠를 엔트로피 디코딩하는 부재와 포렌식 마킹 부재 사이에서 수행되는 각종 처리 과정이 생략될 수 있다. 또는 본 발명의 포렌식 마킹 장치 및 방법에 따르면, 포렌식 마킹된 콘텐츠를 엔트로피 인코딩하는 부재와 포렌식 마킹 부재 사이에서 수행되는 각종 처리 과정이 생략될 수 있다.
해당 처리 과정은 양자화, 변환, 움직임 추정, 인트라/인터 예측 등으로, 많은 처리 시간이 요구될 수 있다. 본 발명에 따르면 해당 처리 과정의 적어도 일부가 배제되므로, 포렌식 마크의 삽입에 소요되는 전체 시간이 대폭 절감될 수 있다.
각종 처리 과정의 배제로 인해 엔트로피 디코딩된 콘텐츠의 코드가 곧바로 포렌식 마킹 부재에 제공될 수 있다. 이때, 엔트로피 디코딩된 콘텐츠의 코드는 형식의 차이로 인해 포렌식 마킹 부재에 입력되기 어렵다. 코드 형식을 동기화시키기 위해 변환 유니트, 마킹 유니트가 마련될 수 있다.
변환 유니트는 엔트로피 디코딩된 콘텐츠의 코드 형식을 포렌식 마킹 부재에 입력될 수 있는 제1 입출력 형식으로 변환할 수 있다. 이때, 변환 유니트는 레퍼런스에 근거해서 코드 형식을 변환하게 되며, 해당 레퍼런스는 마킹 유니트에 의해 제공될 수 있다.
마킹 유니트는 엔트로피 디코딩 부재와 포렌식 마킹 부재 사이에서 수행되어야 할 각종 처리 과정의 극히 일부만 수행할 수 있다. 예를 들어, 각종 처리 과정에는 멀티미디어 데이터를 처리하는 프로세스와 신택스 구조와 관련된 프로세스가 포함될 수 있다. 이때, 마킹 유니트는 신택스 구조와 관련된 프로세스만 수행해서 신택스 구조를 형성하는 신택스 엘리먼트를 획득할 수 있다.
마킹 유니트는 신택스 엘리먼트를 이용해 신택스 구조를 완성시킨 후, 코드 형식 변환의 레퍼런스에 해당되는 신택스 구조를 변환 유니트에 제공할 수 있다.
한편, 본 발명은 복수의 GPU를 이용해서 엔트로피 디코딩과 엔트로피 인코딩을 병렬 처리할 수 있다. 예를 들어, 본 발명은 프레임을 타일 방식으로 분할하고, 분할된 복수의 타일을 복수의 GPU를 이용해 병렬 처리할 수 있다. 병렬 처리로 인해 엔트로피 디코딩과 엔트로피 인코딩을 포함하는 코덱 처리 시간이 대폭 경감될 수 있다.
하나의 프레임이 복수의 영역으로 분할되어 병렬 처리될 때, 분할된 각 영역을 올바른 순서로 다시 하나로 합치거나, 다른 프레임과 섞이지 않게 할 필요가 있다. 본 발명은 동기화부를 이용해서 코덱 처리 과정의 전후에 복수로 분할된 영역을 정상적으로 하나의 프레임으로 복원할 수 있다. 이때, 동기화부는 파싱 유니트에 의해 파악된 신택스 구조를 이용해서 프레임과 영역 간의 동기화를 수행할 수 있다.
동기화부로 인해, 원 프레임과 분할 영역 간의 변환이 정상적으로 수행될 수 있으므로, 복수의 GPU를 사용해서 다양한 코덱 처리가 가능하다.
본 발명의 포렌식 코딩 장치 및 방법은 HEVC 방식으로 압축된 대용량 콘텐츠에 대한 실시간 포렌식 마킹이 가능하다. 또한, 본 발명은 HEVC 방식 외에도 단일 코덱을 사용하는 다양한 압축 방식, 압축 알고리즘에 적용될 수 있다.
도 1은 본 발명의 포렌식 마킹 시스템을 나타낸 개략도이다.
도 2는 본 발명의 포렌식 마킹 장치를 나타낸 블록도이다.
도 3은 파싱 유니트의 동작을 나타낸 개략도이다.
도 4는 본 발명의 포렌식 마킹 장치의 동작을 나타낸 개략도이다.
도 5는 본 발명의 포렌식 마킹 방법을 나타낸 흐름도이다.
도 6은 본 발명의 병렬 포렌식 마킹 장치에 의해 복수 영역으로 분할된 프레임을 나타낸 개략도이다.
도 7은 본 발명의 병렬 포렌식 마킹 장치를 나타낸 개략도이다.
도 8은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.
도 1은 본 발명의 포렌식 마킹 시스템을 나타낸 개략도이다.
도 1에 도시된 포렌식 마킹 시스템은 콘텐츠 서버(50), 포렌식 마킹 서버(100), 단말기(90), 포렌식 서버(70)를 포함할 수 있다.
콘텐츠 서버(50)는 영상, 음향 등의 멀티미디어 콘텐츠를 설정 방식으로 압축해서 저장할 수 있다.
단말기(90)는 콘텐츠 서버(50)에 요청해서 설정 방식으로 압축된 콘텐츠를 유무선으로 제공받을 수 있다. 단말기(90)에는 포렌식 마크 관련 처리시에 포렌식 서버(70)와 통신하는 통신 모듈(200)이 마련될 수 있다.
포렌식 마킹 서버(100)는 단말기(90)에 의해 콘텐츠가 요청되면, 단말기(90)로 제공되는 콘텐츠에 포렌식 마크를 삽입할 수 있다.
포렌식 서버(70)는 단말기(90)로부터 사용자 정보를 획득하고, 사용자 정보가 포함된 포렌식 마크를 생성할 수 있다. 포렌식 서버(70)는 포렌식 마크를 포렌식 마킹 서버(100)에 제공할 수 있다.
포렌식 마킹 서버(100)는 포렌식 서버(70)로부터 제공받은 포렌식 마크를 콘텐츠에 삽입하기 위해, 콘텐츠 서버(50)에 저장되어 있던 압축 콘텐츠를 압축 해제할 수 있다. 포렌식 마킹 서버(100)는 압축 해제된 콘텐츠에 포렌식 마크를 삽입한 후 다시 해당 콘텐츠를 압축한 후 단말기(90)를 향해 비트스트림 등의 형태로 전송할 수 있다.
콘텐츠에 포렌식 마크를 삽입하는 마킹 과정을 위해 기압축된 콘텐츠의 압축을 해제하고 재압축하는 과정으로 인해 포렌식 서버(70)에는 많은 부하가 걸릴 수 있다. 많은 부하로 인해 4k 해상도, 8k 해상도 등의 대용량 콘텐츠를 타겟으로 하는 고압축 방식에서는 포렌식 마크의 삽입이 현실적으로 어려울 수 있다.
도 2는 본 발명의 포렌식 마킹 장치를 나타낸 블록도이다. 도 2에 도시된 포렌식 마킹 장치는 도 1의 포렌식 마킹 서버(100)에 해당될 수 있다.
포렌식 마킹 장치는 제1 유니트(110), 마킹 유니트(130), 제2 유니트(120), 변환 유니트(150)를 포함할 수 있다.
제1 유니트(110)는 설정 방식으로 압축된 콘텐츠를 디코딩할 수 있다. 콘텐츠의 디코딩은 엔트로피 디코딩을 단독으로 포함하거나, 엔트로피 디코딩에 더하여 역양자화 등의 제1 처리 과정을 포함할 수 있다.
콘텐츠는 MPEG, HEVC(High Efficiency Video Codec, H.265), VP9 등 다양한 방식으로 압축되거나 압축 해제될 수 있다. 제1 유니트(110)에서 수행되는 디코딩에 의해 설정 방식으로 압축된 콘텐츠의 압축이 해제될 수 있다.
마킹 유니트(130)는 제1 유니트(110)에 의해 디코딩된 콘텐츠에 포렌식 마크(Forensic mark)를 삽입할 수 있다. 포렌식 마크는 콘텐츠의 판매자, 저작권자, 구매자의 정보를 포함할 수 있다.
단말기(90)에서 요구하는 콘텐츠는 설정 방식으로 압축된 압축본일 수 있다. 포렌식 마크의 삽입을 위해 해당 압축본은 제1 유니트(110)에 의해 압축 해제된 상태일 수 있다.
제2 유니트(120)는 포렌식 마크가 삽입된 콘텐츠를 인코딩할 수 있다. 콘텐츠의 인코딩은 엔트로피 인코딩 과정을 단독으로 포함하고, 엔트로피 인코딩에 더하여 양자화 등의 제2 처리 과정을 포함할 수 있다.
제2 유니트(120)의 인코딩 작업에 의해 압축이 해제되고 포렌식 마크가 삽입된 상태의 콘텐츠는 단말기(90)에서 요구하는 본래의 압축본 형식으로 바뀔 수 있다. 제1 유니트(110)가 포렌식 마킹 장치의 입력단이 되고 제2 유니트(120)가 포렌식 마킹 장치의 출력단이 되면, 외형적으로 콘텐츠의 압축본이 입력되었다 출력되는 모습을 띄게 된다. 물론, 포렌식 마킹 장치로부터 출력된 압축본에는 기존 압축본과 다르게 포렌식 마크가 삽입된 상태일 수 있다. 이하에서는 설정 방식으로 압축된 상태에서 제1 유니트(110)로 입력되는 콘텐츠를 제1 압축본으로 정의한다. 그리고, 제2 유니트(120)에 의해 압축되고 출력되는 콘텐츠를 제2 압축본으로 정의한다. 제2 압축본은 제1 압축본에 포렌식 마크가 삽입된 것일 수 있다.
제1 유니트(110)의 디코딩 처리 시간을 단축하거나, 제2 유니트(120)의 인코딩 처리 시간을 단축하기 위해 고속화 부재(1000)가 이용될 수 있다.
고속화 부재(1000)에는 변환 유니트(150), 파싱 유니트(170)가 포함될 수 있다. 파싱 유니트(170)는 제1 유니트의 앞단에 배치되거나, 제1 유니트에 병렬로 연결될 수 있다.
변환 유니트(150)는 제1 유니트(110)와 마킹 유니트(130) 간의 제1 입출력 형식을 동기화시킬 수 있다. 또는, 변환 유니트(150)는 제2 유니트(120)와 마킹 유니트(130) 간의 제2 입출력 형식을 동기화시킬 수 있다.
설정 방식 또는 설정 코덱으로 압축된 콘텐츠를 압축 해제하기 위해서 엔트로피 디코딩 및 추가적인 후처리 과정이 수행될 수 있다.
일 예로, HEVC 방식의 경우, 엔트로피 디코딩 후에 역양자화(inverse quantization), 역변환(inverse transform), 역움직임 추정(inverse motion compensation), 역 인트라/인터 예측(inverse intra/inter prediction) 작업이 순서대로 수행될 수 있다. 이때, 마킹 유니트(130)는 역 인트라/인터 예측 작업을 통해 출력되는 코드를 입력받을 수 있게 형성될 수 있다.
역 인트라/인터 예측 작업을 통해 출력되는 코드를 입력받을 수 있게 형성된 마킹 유니트(130)는 엔트로피 디코딩, 역변환, 역움직임 추정 중 어느 하나에서 출력된 코드를 입력받을 수 없다.
도 2의 변환 유니트(150)는 제1 유니트(110)와 마킹 유니트(130) 간의 제1 입출력 형식을 동기화시킬 수 있다. 일 예로, 변환 유니트(150)는 엔트로피 디코딩 과정에서 출력된 코드의 형식을 마킹 유니트(130)에서 입력받을 수 있는 제1 입출력 형식으로 변환할 수 있다. 일 예로, 변환 유니트(150)는 역변환 과정에서 출력된 코드의 형식을 제1 입출력 형식으로 변환할 수 있다. 변환 유니트(150)에 따르면, 엔트로피 디코딩에서 출력된 코드, 역변환에서 출력된 코드, 역움직임 추정에서 출력된 코드는 마킹 유니트(130) 바로 앞단의 역 인트라/인터 예측을 거치지 않고도 곧바로 마킹 유니트(130)에 입력될 수 있다.
만약, 엔트로피 디코딩 과정에서 출력된 코드가 변환 유니트(150)에 의해 제1 입출력 형식으로 변환된 후 곧바로 마킹 유니트(130)에 입력된다면, 제1 유니트(110)에는 역양자화, 역변환, 역움직임 추정, 역 인트라/인터 예측을 수행하는 제1 수단이 마련될 필요가 없다. 해당 제1 수단은 기압축된 콘텐츠의 정상적인 재생을 위해 필수적을 요구될 수 있다. 하지만, 본 발명의 포렌식 마킹 장치는 콘텐츠를 재생할 필요가 없이 콘텐츠에 포렌식 마크를 삽입하는 것이 목적이므로, 해당 제1 수단이 배제되어도 무방하다. 따라서, 변환 유니트(150)가 구비된 포렌식 마킹 장치에 따르면, 극단적으로 별도의 제1 수단이 배제된 상태에서도, 기압축된 콘텐츠에 포렌식 마크를 삽입할 수 있다.
제1 유니트(110)에는 콘텐츠를 엔트로피 디코딩(entropy decoding)하는 디코딩부(111, 112, 113, 114)가 단독으로 마련될 수 있다. 또는, 제1 유니트(110)에는 콘텐츠를 제1 처리하는 복수의 수단 중 일부의 제1 수단이 디코딩부와 함께 마련될 수 있다.
제2 유니트(120)에는 포렌식 마크가 삽입된 콘텐츠를 엔트로피 인코딩(entropy encoding)하는 인코딩부(121, 122, 123, 124)가 단독으로 마련될 수 있다. 또는, 제2 유니트(120)에는 포렌식 마크가 삽입된 콘텐츠를 제2 처리하는 복수의 수단 중 일부의 제2 수단이 인코딩부와 함께 마련될 수 있다.
변환 유니트(150)는 디코딩부 또는 제1 수단의 출력 코드를 마킹 유니트(130)에 입력 가능한 제1 형식 ①로 변환시킬 수 있다. 또는, 변환 유니트(150)는 마킹 유니트(130) 또는 제2 수단의 출력 코드를 인코딩부에 입력 가능한 제2 형식 ②로 변환시킬 수 있다.
마킹 유니트(130)는 제1 유니트(110)에 의해 엔트로피 디코딩된 콘텐츠를 후처리하는 제1 후처리 부재로부터 출력되는 제1 형식 ①의 코드를 입력받을 수 있게 형성될 수 있다.
제2 유니트(120)는 마킹 유니트(130)에 의해 포렌식 마크가 삽입된 콘텐츠를 후처리하는 제2 후처리 부재로부터 출력되는 제2 형식 ②의 코드를 입력받을 수 있게 형성될 수 있다.
변환 유니트(150)는 제1 유니트(110)에서 출력되는 코드를 제1 형식 ①로 변환한 후 곧바로 마킹 유니트(130)에 제공할 수 있다. 또는, 변환 유니트(150)는 마킹 유니트(130)로부터 출력되는 코드를 제2 형식 ②로 변환한 후 곧바로 제2 유니트(120)에 제공할 수 있다. 본 실시예에 따르면, 제1 유니트(110), 마킹 유니트(130)의 사이에 존재해야 할 다양한 제1 처리 수단이 배제될 수 있다. 또는, 마킹 유니트(130)와 제2 유니트(120)의 사이에 존재해야 할 다양한 제2 처리 수단이 배제될 수 있다.
마킹 유니트(130)는 엔트로피 디코딩(entropy decoding)과 함께 수행되는 제1 처리 과정으로부터 출력되는 제1 형식 ①의 코드를 입력받을 수 있게 형성될 수 있다. 본 실시예에 따르면, 마킹 유니트(130)는 다른 포렌식 마킹 기기에도 적용 가능한 범용성을 가질 수 있다.
제1 처리 과정은 역양자화(inverse quantization), 역변환(inverse transform), 역움직임 추정(inverse motion compensation), 역 인트라/인터 예측(inverse intra/inter prediction) 중 적어도 하나를 포함할 수 있다. 제1 처리 과정은 하나 이상의 제1 처리 수단에 의해 수행될 수 있다.
변환 유니트(150)에는 디코딩부로부터 출력되는 코드를 제1 형식 ①로 변환해서 마킹 유니트(130)에 제공하는 제1 변환부(151)가 마련될 수 있다.
제2 유니트(120)는 포렌식 마크의 삽입 이후에 수행되는 제2 처리 과정으로부터 출력되는 제2 형식 ②의 코드를 입력받을 수 있게 형성될 수 있다.
제2 처리 과정은 인트라/인터 예측(intra/inter prediction), 움직임 추정(motion compensation), 변환(transform), 양자화(quantization) 중 적어도 하나를 포함할 수 있다. 제2 처리 과정은 하나 이상의 제2 처리 수단에 의해 수행될 수 있다.
변환 유니트(150)에는 마킹 유니트(130)로부터 출력되는 코드를 상기 제2 형식 ②로 변환해서 인코딩부에 제공하는 제2 변환부(152)가 마련될 수 있다.
제1 입출력 형식을 동기화시키거나 제2 입출력 형식을 동기화시키기 위해 변환 유니트(150)는 변환 알고리즘, 변환 루틴을 사용할 수 있다. 이때, 변환 알고리즘, 변환 루틴은 프레임별로 달라질 수 있다. 변환 알고리즘 등이 고정되지 않고 시시각각 변화는 환경에서 변환 알고리즘을 실시간으로 수립하기 위한 파싱 유니트(170)가 마련될 수 있다.
파싱 유니트(170)는 제1 입출력 형식 또는 제2 입출력 형식을 파악해서 변환 유니트(150)에 제공할 수 있다.
파싱 유니트(170)는 설정 방식으로 압축된 콘텐츠를 압축 해제하는 사전 디코딩을 수행하면서 제1 입출력 형식을 파악할 수 있다. 또는, 파싱 유니트(170)는 사전 디코딩을 통해 압축 해제된 콘텐츠를 설정 방식으로 다시 압축하면서 제2 입출력 형식을 파악할 수 있다.
파싱 유니트(170)는 설정 방식으로 압축된 콘텐츠와 재생 레벨의 콘텐츠 간의 실제 디코딩 또는 실제 인코딩을 미리 수행할 수 있다. 콘텐츠를 재생 레벨까지 디코딩한다는 것은 실제로 재생에 필요한 모든 처리 과정을 수행한다는 것을 의미할 수있다. 그런데, 실제 디코딩과 실제 인코딩을 빠짐없이 모두 수행하게 되면, 파싱 유니트(170)의 처리 시간이 도 3에 개시된 비교 실시예의 시간만큼 소요될 수 있다.
처리 시간의 개선을 위해 파싱 유니트(170)는 실제 디코딩 또는 실제 인코딩의 각 과정별로 신택스 구조(syntax structure)를 형성하는 신택스 엘리먼트(syntax element)를 추출하거나, 코드 형식을 변환시키는 변환 코드를 추출할 수 있다. 이때, 영상이나 음향 자체의 처리 과정을 배제되어도 무방하다.
파싱 유니트(170)는 신택스 엘리먼트 또는 변환 코드를 변환 유니트(150)에 제공할 수 있다. 변환 유니트(150)는 신택스 엘리먼트 또는 변환 코드를 이용해서 제1 입출력 형식 또는 제2 입출력 형식을 동기화시킬 수 있다.
도 3은 파싱 유니트(170)의 동작을 나타낸 개략도이다. 도 3에서 비교 실시예를 예로 들어 파싱 유니트(170)의 동작을 설명한다. 도 3에서 파싱 유니트(170)가 배제되면, 비교 실시예가 될 수 있다.
제1 압축본이 입력되면, 제1 유니트(110)는 제1 압축본을 엔트로피 디코딩할 수 있다. 엔트로피 디코딩된 결과는 제a1 형식으로 출력될 수 있다. 엔트로피 디코딩된 결과값은 역양자화 수단(11), 역변환 수단(12), 역움직임 추정 수단(13), 역 인트라/인터 예측 수단(14)을 순서대로 거칠 수 있다.
역양자화 수단은 제a1 형식의 코드를 입력받아 역양자화, 다시 말해 디지털 정보를 아날로그로 정보로 변환할 수 있다. 역양자화된 결과는 제a2 형식으로 출력될 수 있다. 파싱 유니트(170)는 역양자화 과정을 역양자화 본연의 과정과 형식 변환 과정으로 구분할 수 있다. 형식 변환 과정의 추출 및 분석을 통해 제a1 형식의 코드를 제a2 형식으로 변환시키는 알고리즘 또는 변환 코드 c12가 획득될 수 있다.
역변환 수단은 제a2 형식의 코드를 입력받아 역변환, 다시 말해 주파수 역변환할 수 있다. 역변환된 결과는 제a3 형식으로 출력될 수 있다. 파싱 유니트(170)는 역변환 과정을 역변환 본연의 과정과 형식 변환 과정으로 구분할 수 있다. 형식 변환 과정의 추출 및 분석을 통해 제a2 형식의 코드를 제a3 형식으로 변환시키는 알고리즘 또는 변환 코드 c23이 획득될 수 있다.
역움직임 추정 수단은 제a3 형식의 코드를 입력받아 역움직임 추정을 수행할 수 있다. 역움직임 추정 결과는 제a4 형식으로 출력될 수 있다. 파싱 유니트(170)는 역움직임 추정 과정을 역움직임 추정 본연의 과정과 형식 변환 과정으로 구분할 수 있다. 형식 변환 과정의 추출 및 분석을 통해 제a3 형식의 코드를 제a4 형식으로 변환시키는 알고리즘 또는 변환 코드 c34가 획득될 수 있다.
역 인트라/인터 예측 수단은 제a4 형식의 코드를 입력받아 역 인트라/인터 예측을 수행할 수 있다. 역 인트라/인터 예측 결과는 제a5 형식으로 출력될 수 있다. 파싱 유니트(170)는 역 인트라/인터 예측 과정을 역 인트라/인터 예측 본연의 과정과 형식 변환 과정으로 구분할 수 있다. 형식 변환 과정의 추출 및 분석을 통해 제a4 형식의 코드를 제a5 형식으로 변환시키는 알고리즘 또는 변환 코드 c45가 획득될 수 있다.
제a5 형식은 마킹 유니트(130)에서 입력받을 수 있는 제1 형식 ①에 해당될 수 있다.
마킹 유니트(130)에서 포렌식 마크가 삽입된 콘텐츠는 제b1 형식으로 출력될 수 있다. 포렌식 마크가 삽입된 콘텐츠는 인트라/인터 예측 수단(15), 움직임 추정 수단(16), 변환 수단(17), 양자화 수단(18)을 순서대로 거칠 수 있다.
인트라/인터 예측 수단은 제b1 형식의 코드를 입력받아 인트라/인터 예측을 수행할 수 있다. 인트라/인터 예측 결과는 제b2 형식으로 출력될 수 있다. 파싱 유니트(170)는 인트라/인터 예측 과정을 인트라/인터 예측 본연의 과정과 형식 변환 과정으로 구분할 수 있다. 형식 변환 과정의 추출 및 분석을 통해 제b1 형식의 코드를 제b2 형식으로 변환시키는 알고리즘 또는 변환 코드 d12가 획득될 수 있다.
움직임 추정 수단은 제b2 형식의 코드를 입력받아 움직임 추정을 수행할 수 있다. 움직임 추정 결과는 제b3 형식으로 출력될 수 있다. 파싱 유니트(170)는 움직임 추정 과정을 움직임 추정 본연의 과정과 형식 변환 과정으로 구분할 수 있다. 형식 변환 과정의 추출 및 분석을 통해 제b2 형식의 코드를 제b3 형식으로 변환시키는 알고리즘 또는 변환 코드 d23가 획득될 수 있다.
변환 수단은 제b3 형식의 코드를 입력받아 주파수 변환을 수행할 수 있다. 변환 결과는 제b4 형식으로 출력될 수 있다. 파싱 유니트(170)는 변환 과정을 변환 본연의 과정과 형식 변환 과정으로 구분할 수 있다. 형식 변환 과정의 추출 및 분석을 통해 제b3 형식의 코드를 제b4 형식으로 변환시키는 알고리즘 또는 변환 코드 d34가 획득될 수 있다.
양자화 수단은 제b4 형식의 코드를 입력받아 양자화를 수행할 수 있다. 양자화 결과는 제b5 형식으로 출력될 수 있다. 파싱 유니트(170)는 양자화 과정을 양자화 본연의 과정과 형식 변환 과정으로 구분할 수 있다. 형식 변환 과정의 추출 및 분석을 통해 제b4 형식의 코드를 제b5 형식으로 변환시키는 알고리즘 또는 변환 코드 d45가 획득될 수 있다.
제b5 형식은 제2 유니트(120)의 인코딩부에서 입력받을 수 있는 제2 형식 ②에 해당될 수 있다.
비교 실시예의 경우에는 포렌식 마크의 삽입을 위해 파싱 유니트(170)를 제외한 각 수단이 순서대로 구동되어야 하므로, 많은 시간이 소요될 수 있다.
도 4는 본 발명의 포렌식 마킹 장치의 동작을 나타낸 개략도이다.
파싱 유니트(170)는 설정 방식으로 압축된 콘텐츠를 사전 디코딩하거나, 사전 디코딩된 콘텐츠를 사전 인코딩할 수 있다.
파싱 유니트(170)는 사전 디코딩 과정 중 오직 제1 입출력 형식의 파악에 필요한 신택스 엘리먼트 또는 변환 코드가 획득되는 일부 과정만 수행할 수 있다. 또는, 파싱 유니트(170)는 사전 인코딩 과정 중 제2 입출력 형식의 파악에 필요한 신택스 엘리먼트 또는 변환 코드가 획득되는 일부 과정만 수행할 수 있다.
일 예로, 파싱 유니트(170)는 도 3에서 설명된 역양자화 본연의 과정, 역변환 본연의 과정, 역움직임 추정 본연의 과정, 역 인트라/인터 예측 본연의 과정 등을 철저하게 배제하고, 형식 변환 과정만을 수행할 수 있다.
형식 변환 과정은 제1 처리 또는 제2 처리 본연의 과정과 대비하여 처리 시간이 매우 짧다. 따라서, 파싱 유니트(170)에 의해 수행되는 사전 디코딩 과정 또는 사전 인코딩 과정에 소요되는 시간 역시 매우 짧다.
형식 변환 과정의 수행을 통해 파싱 유니트(170)는 각 변환 코드 c12, c23, c34, c45, d12, d23, d34, d45를 획득할 수 있으며, 이를 토대로 제1 입출력 형식 또는 제2 입출력 형식을 동기화시키는 변환 코드를 생성할 수 있다.
파싱 유니트(170)는 설정 방식으로 압축된 콘텐츠를 1차 디코딩할 수 있다. 이때, 제1 유니트(110)는 설정 방식으로 압축된 콘텐츠를 2차 디코딩할 수 있다.
1차 디코딩은 설정 방식에서 정의된 각 디코딩 과정에서 제1 입출력 형식의 파악에 필요한 신택스 엘리먼트의 추출 동작만 수행할 수 있다. 이때, 신택스 엘리먼트의 추출 동작은 형식 변환 과정을 나타낼 수 있다.
2차 디코딩은 설정 방식에 정의된 전체 디코딩 과정 중 설정 방식의 코덱에서 제공하는 엔트로피 디코딩만 수행하고, 나머지 디코딩 과정을 생략할 수 있다.
2차 디코딩된 결과물은 제1 입출력 형식에 의해 동기화된 후 곧바로 마킹 유니트(130)로 입력될 수 있다.
도 4의 (a)는 고정 입력되거나 기계 학습에 의해 생성된 변환 코드를 이용해서 제1 입출력 형식을 동기화하거나 제2 입출력 형식을 동기화하는 상태를 나타낼 수 있다.
도 4의 (b)는 실시간으로 변하는 변환 코드에 대응하여, 해당 변환 코드만을 수집해서 전체 변환 코드를 마련하는 상태를 나타낼 수 있다. 각 변환 코드 또는 전체 변환 코드는 신택스 구조의 파악을 통해서도 획득될 수 있다.
파싱 유니트(170)에 의해 파악된 각 변환 코드 c12, c23, c34, c45가 순서대로 배치되면 제1 입출력 형식을 동기화할 수 있는 제1 변환부(151)가 형성될 수 있다.
파싱 유니트(170)에 의해 파악된 각 변환 코드 d12, d23, d34, d45가 순서대로 배치되면 제2 입출력 형식을 동기화할 수 있는 제2 변환부(152)가 형성될 수 있다.
콘텐츠가 단일 코덱을 이용해 압축되는 방식의 경우, 파싱 유니트(170)는 1차 디코딩된 콘텐츠에 대한 1차 인코딩 과정을 미수행하고, 신택스 엘리먼트를 이용해 생성된 신택스 구조의 분석을 통해 제2 입출력 형식을 파악할 수 있다.
포렌식 마크가 삽입된 콘텐츠는 제2 입출력 형식에 의해 동기화된 후 곧바로 엔트로피 인코딩될 수 있다. 다시 말해, 단일 코덱 방식으로 압축된 콘텐츠를 대상으로 할 경우, 제1 변환부(151)를 역으로 구성하면 그대로 제2 변환부(152)가 될 수 있다. 다라서, 단일 코덱이 적용된 경우 제1 인코딩 과정을 배제하고 제1 디코딩 과정만 수행하면 충분하다.
도 5는 본 발명의 포렌식 마킹 방법을 나타낸 흐름도이다.
본 발명의 포렌식 마킹 방법은 파싱 단계(S 510), 디코딩 단계(S 520), 마킹 단계(S 530), 인코딩 단계(S 540)를 포함할 수 있다. 각 단계는 도 1에 도시된 포렌식 마킹 장치에 의해 수행될 수 있다.
파싱 단계(S 510)는 설정 방식으로 압축된 콘텐츠에 대한 사전 디코딩을 통해 엔트로피 디코딩과 포렌식 마크의 삽입 동작 간의 제1 입출력 형식 및 삽입 동작과 엔트로피 인코딩 간의 제2 입출력 형식을 파악할 수 있다.
디코딩 단계(S 520)는 콘텐츠를 엔트로피 디코딩하고, 엔트로피 디코딩된 콘텐츠를 제1 입출력 형식에 맞춰 변환할 수 있다.
마킹 단계(S 530)는 제1 입출력 형식으로 변환된 콘텐츠를 입력받고 포렌식 마크를 삽입할 수 있다.
인코딩 단계(S 540)는 포렌식 마크가 삽입된 콘텐츠를 엔트로피 인코딩에서 요구하는 제2 입출력 형식으로 변환하고, 제2 입출력 형식으로 변환된 콘텐츠를 엔트로피 인코딩할 수 있다.
본 발명에 따르면, 디코딩 단계와 마킹 단계 사이에 별도의 제1 처리 과정이 배제될 수 있다. 또한, 마킹 단계와 인코딩 단계 사이에 별도의 제2 처리 과정이 배제될 수 있다. 제1 처리 과정과 제2 처리 과정의 배제로 인해 포렌식 마킹의 속도가 대폭 개선될 수 있다. 속도의 개선을 통해 8K 해상도 60프레임/초 이상의 재상 능력을 갖는 멀티미디어 콘텐츠에 대한 포렌식 마크의 실시간 삽입이 가능하다.
포렌식 마크의 삽입 속도를 더욱 개선하기 위해 병렬 처리 방식이 도입될 수 있다.
일 예로, 8K 60fps 콘텐츠를 대상으로 원활하게 포렌식 마킹하기 위해서 GPU(Graphic Processor Unit)를 사용하는 병렬 처리가 고려될 수 있다. 스트리밍을 위한 포렌식 마킹 서비스를 수행하기 위해 콘텐츠 서버(50)에는 설정 방식의 압축 기술에서 제안하는 규격의 콘텐츠가 저장될 수 있다. 예를 들어, HEVC 표준에서는 원본 콘텐츠에 대한 최초 인코딩시 병렬로 인코딩되는 것이 좋다. 왜냐하면, 초기에 병렬로 인코딩되지 않으면, 각 영상마다 다른 조건의 CTU(Coding Tree Unit) 간에 연관성을 갖게 되므로 병렬 처리가 어려워지기 때문이다. 따라서, 콘텐츠 서버(50)는 콘텐츠 등록 절차에서 원본 RAW 콘텐츠를 등록받고 CTU 사이즈와 타일 사이즈를 파라미터로 입력받아 타일로 인코딩할 수 있다.
병렬 처리되어 콘텐츠 서버(50)에 저장된 콘텐츠가 본 발명의 병렬 포렌식 마킹 장치에 입수될 수 있다.
도 6은 본 발명의 병렬 포렌식 마킹 장치에 의해 복수 영역으로 분할된 프레임을 나타낸 개략도이다. 도 7은 본 발명의 병렬 포렌식 마킹 장치를 나타낸 개략도이다. 도 7에 도시된 병렬 포렌식 마킹 장치는 도 1의 포렌식 마킹 서버(100)에 해당될 수 있다.
본 발명의 병렬 포렌식 마킹 장치는 분할부(180), 복수의 디코딩부(111, 112, 113, 114), 동기화부(160)를 포함할 수 있다.
분할부(180)는 설정 방식으로 압축된 콘텐츠의 한 프레임을 복수 영역으로 분할 수 있다.
복수의 디코딩부는 분할된 각 영역을 할당받아 엔트로피 디코딩할 수 있다.
동기화부(160)는 복수의 디코딩부에 입출력되는 각 영역을 동기화시켜 프레임을 완성시킬 수 있다.
설정 방식으로 압축된 콘텐츠는 RAW 콘텐츠가 CTU(Coding Tree Unit) 사이즈와 타일(tile) 사이즈를 파라미터로 하여 타일 방식으로 인코딩된 것일 수 있다. 분할부(180)는 타일 방식에 따라 상기 프레임을 복수 영역으로 분할할 수 있다. 복수의 디코딩부는 분할된 영역을 서로 독립적으로 엔트로피 디코딩할 수 있다.
일 예로, 도 6과 같이 하나의 제1 프레임 1st frame은 분할부(180)에 의해 4개의 영역으로 분할될 수 있다. 분할부(180)는 분할된 각 영역에 서로 다른 타일 번호 F0, F1, F2, F3를 부여할 수 있다. 각 타일에는 복수의 CTU가 포함될 수 있다. HEVC 방식의 경우 타일의 사이즈와 CTU의 사이즈는 고정될 수 있으나, CTU에 포함된 CU는 CTU 또는 타일마다 다를 수 있다.
콘텐츠가 HEVC(High Efficiency Video Codec) 방식으로 압축될 때, 각 영역에 포함된 CU(Coding Unit)의 차이로 인해, 각 영역을 엔트로피 디코딩하는 각 디코딩부의 처리 속도가 달라질 수 있다. 처리 속도의 차이로 인해, 하나의 제1 프레임이 분할된 복수의 타일 F0, F1, F2, F3가 동시에 각 디코딩부에 입력되더라도, 디코딩부에서 출력되는 시점은 서로 다를 수 있다.
예를 들어, 타일 F0는 제1 디코딩부(111)에 입력될 수 있다. 타일 F1은 제2 디코딩부(112)에 입력될 수 있다. 타일 F2는 제3 디코딩부(113)에 입력될 수 있다. 타일 F3은 제4 디코딩부(114)에 입력될 수 있다. 이때, 입력 시점이 모두 동일하더라도 각 디코딩부로부터 출력되는 시점은 모두 다를 수 있다.
동기화부(160)는 타일 번호를 이용해서 복수로 분할되고 엔트로피 디코딩된 각 영역을 매칭시켜 하나의 프레임을 조립할 수 있다. 일 예로, 서로 다른 시점에 상기 디코딩부로부터 출력되는 각 영역을 저장하는 저장부(139)가 마련될 수 있다.
동기화부(160)는 저장부(139)에 저장된 각 영역을 하나로 모아서 프레임을 완성시킬 수 있다.
CU 등의 차이로 인해 특정 프레임의 각 영역은 서로 다른 시점에 각 디코딩부로부터 출력될 수 있다. 특정 프레임의 영역에 대한 엔트로피 인코딩이 다른 디코딩부에서 수행 중인 상태에서 특정 디코딩부가 유휴 상태가 되면, 동기화부(160)는 다음 프레임의 일부 영역을 유휴 상태인 특정 디코딩부에 입력할 수 있다.
일 예로, 제1 디코딩부가 타일 F1을 먼저 처리한 경우, 제1 디코딩부는 쉬고 있는 유휴 상태가 될 수 있다. 이때, 동기화부(160)는 다음 프레임의 타일을 제1 디코딩부에 입력할 수 있다. 전체 디코딩부의 처리 속도 밸런싱을 위해 제1 디코딩부에는 다음 프레임 중 가장 많은 처리 시간이 소요될 것으로 예측되는 타일이 입력되는 것이 좋다.
각 타일의 처리 시간을 예측하거나, 각 디코딩부의 처리 속도, 처리 시간을 균등하게 유지하기 위해 파싱 유니트(170)가 이용될 수 있다.
파싱 유니트(170)는 사전 디코딩 과정을 통해 신택스 구조(syntax structure)를 파악할 수 있다.
동기화부(160)는 신택스 구조를 이용해서 복수의 영역을 동기화시킬 수 있다.
파싱 유니트(170)는 사전 디코딩을 멀티미디어 데이터 처리와 신택스 관련 처리로 구분할 수 있다. 멀티미디어 데이터 처리는 앞서 설명된 역양자화 본연의 과정, 역변환 본연의 과정, 역움직임 추정 본연의 과정, 역 인트라/인터 예측 본연의 과정 등을 포함할 수 있다. 신택스 관련 처리는 앞서 설명된 형식 변환 과정을 포함할 수 있다.
파싱 유니트(170)는 멀티미디어 데이터 처리는 배제하고 신택스 관련 처리만 수행해서 신택스 구조의 파악에 필요한 신택스 엘리먼트(syntax element)를 획득할 수 있다.
파싱 유니트(170)로부터 신택스 엘리먼트 또는 신택스 구조를 입수한 동기화부(160)는 디코딩 전의 프레임에 대해 각 영역별 디코딩 시간을 예측할 수 있다. 동기화부(160)는 예측 시간에 이용해서, 콘텐츠 전체에 대한 각 디코딩부의 총 작업 시간 차이를 최소화하는 방향으로 각 프레임의 분할 영역을 각 디코딩부에 할당할 수 있다.
콘텐츠에 포렌식 마크를 삽입하는 마킹 유니트(130)가 마련될 때, 디코딩부에서 출력되는 코드의 형식은 상기 마킹 유니트(130)에서 요구하는 제1 입출력 형식과 다를 수 있다.
신택스 구조를 이용해서 디코딩부의 출력 코드를 제1 입출력 형식으로 변환하고, 제1 입출력 형식으로 변환된 출력 코드를 마킹 유니트(130)에 제공하는 변환 유니트(150)가 마련될 수 있다.
분할부(180) 및 상기 동기화부(160)는 컴퓨터 장치의 CPU(Central Processing Unit, 중앙처리장치)에 형성될 수 있다. 디코딩부는 컴퓨터 장치의 GPU(Graphics Processing Unit, 그래픽처리장치)에 형성될 수 있다.
도 8은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 8의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 포렌식 마킹 장치, 병렬 포렌식 마킹 장치 등) 일 수 있다.
도 8의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
11...역양자화 수단 12...역변환 수단
13...역움직임 추정 수단 14...역 인트라/인터 예측 수단
15...인트라/인터 예측 수단 16...움직임 추정 수단
17...변환 수단 18...양자화 수단
50...콘텐츠 서버 70...포렌식 서버
90...단말기 100...포렌식 마킹 서버
110...제1 유니트 111, 112, 113, 114...디코딩부
121, 122, 123, 124...인코딩부
120...제2 유니트 130...마킹 유니트
139...저장부 150...변환 유니트
151...제1 변환부 152...제2 변환부
160...동기화부 170...파싱 유니트
180...분할부 200...통신 모듈
1000...고속화 부재

Claims (9)

  1. 설정 방식으로 압축된 콘텐츠의 한 프레임을 복수 영역으로 분할하는 분할부;
    분할된 각 영역을 할당받아 엔트로피 디코딩하는 복수의 디코딩부;
    복수의 상기 디코딩부에 입출력되는 각 영역을 동기화시켜 상기 프레임을 완성시키는 동기화부;
    를 포함하는 포렌식 마킹 장치.
  2. 제1항에 있어서,
    상기 설정 방식으로 압축된 콘텐츠는 RAW 콘텐츠가 CTU(Coding Tree Unit) 사이즈와 타일(tile) 사이즈를 파라미터로 하여 타일 방식으로 인코딩된 것이고,
    상기 분할부는 상기 타일 방식에 따라 상기 프레임을 복수 영역으로 분할하며,
    복수의 디코딩부는 분할된 영역을 서로 독립적으로 엔트로피 디코딩하는 포렌식 마킹 장치.
  3. 제1항에 있어서,
    상기 설정 방식은 HEVC(High Efficiency Video Codec)이고,
    각 영역에 포함된 CU(Coding Unit)의 차이로 인해, 각 영역을 엔트로피 디코딩하는 각 디코딩부의 처리 속도가 달라지며,
    서로 다른 시점에 상기 디코딩부로부터 출력되는 각 영역을 저장하는 저장부가 마련되고,
    상기 동기화부는 상기 저장부에 저장된 각 영역을 하나로 모아서 상기 프레임을 완성시키는 포렌식 마킹 장치.
  4. 제1항에 있어서,
    각 영역에는 서로 다른 타일 번호가 부여되고,
    상기 동기화부는 상기 타일 번호를 이용해서 복수로 분할되고 엔트로피 디코딩된 각 영역을 매칭시켜 하나의 상기 프레임을 조립하는 포렌식 마킹 장치.
  5. 제1항에 있어서,
    특정 프레임의 각 영역은 서로 다른 시점에 각 디코딩부로부터 출력되고,
    상기 특정 프레임의 영역에 대한 엔트로피 디코딩이 다른 디코딩부에서 수행 중인 상태에서 특정 디코딩부가 유휴 상태가 되면, 동기화부는 다음 프레임의 일부 영역을 상기 특정 디코딩부에 입력하는 포렌식 마킹 장치.
  6. 제1항에 있어서,
    사전 디코딩 과정을 통해 신택스 구조(syntax structure)를 파악하는 파싱 유니트가 마련되고,
    상기 동기화부는 상기 신택스 구조를 이용해서 복수의 상기 영역을 동기화시키는 포렌식 마킹 장치.
  7. 제6항에 있어서,
    상기 파싱 유니트는 상기 사전 디코딩을 멀티미디어 데이터 처리와 신택스 관련 처리로 구분하고,
    상기 파싱 유니트는 상기 멀티미디어 데이터 처리는 배제하고 상기 신택스 관련 처리만 수행해서 상기 신택스 구조의 파악에 필요한 신택스 엘리먼트(syntax element)를 획득하는 포렌식 마킹 장치.
  8. 제6항에 있어서,
    상기 콘텐츠에 포렌식 마크를 삽입하는 마킹 유니트가 마련되고,
    상기 디코딩부에서 출력되는 코드의 형식은 상기 마킹 유니트에서 요구하는 제1 입출력 형식과 다르며,
    상기 신택스 구조를 이용해서 상기 디코딩부의 출력 코드를 상기 제1 입출력 형식으로 변환하고, 상기 제1 입출력 형식으로 변환된 상기 출력 코드를 상기 마킹 유니트에 제공하는 변환 유니트가 마련된 포렌식 마킹 장치.
  9. 제1항에 있어서,
    상기 분할부 및 상기 동기화부는 컴퓨터 장치의 CPU(Central Processing Unit, 중앙처리장치)에 형성되고,
    상기 디코딩부는 상기 컴퓨터 장치의 GPU(Graphics Processing Unit, 그래픽처리장치)에 형성된 포렌식 마킹 장치.
KR1020190155718A 2019-11-28 2019-11-28 병렬 포렌식 마킹 장치 및 방법 Active KR102192631B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190155718A KR102192631B1 (ko) 2019-11-28 2019-11-28 병렬 포렌식 마킹 장치 및 방법
US17/256,828 US20220353524A1 (en) 2019-11-28 2020-11-26 Parallel forensic marking apparatus and method
PCT/KR2020/016997 WO2021107651A1 (ko) 2019-11-28 2020-11-26 병렬 포렌식 마킹 장치 및 방법
JP2020573541A JP2022515946A (ja) 2019-11-28 2020-11-26 並列フォレンジックマーキング装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190155718A KR102192631B1 (ko) 2019-11-28 2019-11-28 병렬 포렌식 마킹 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102192631B1 true KR102192631B1 (ko) 2020-12-17

Family

ID=74089842

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190155718A Active KR102192631B1 (ko) 2019-11-28 2019-11-28 병렬 포렌식 마킹 장치 및 방법

Country Status (4)

Country Link
US (1) US20220353524A1 (ko)
JP (1) JP2022515946A (ko)
KR (1) KR102192631B1 (ko)
WO (1) WO2021107651A1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030010694A (ko) * 2001-04-12 2003-02-05 코닌클리케 필립스 일렉트로닉스 엔.브이. 워터마크 삽입
KR20050098258A (ko) * 2003-01-23 2005-10-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 코딩된 신호내의 워터마크 임베딩
US20130202051A1 (en) * 2012-02-02 2013-08-08 Texas Instruments Incorporated Sub-Pictures for Pixel Rate Balancing on Multi-Core Platforms
KR20150039564A (ko) * 2013-10-02 2015-04-10 르네사스 일렉트로닉스 가부시키가이샤 동화상 복호 처리 장치 및 그 동작 방법
KR20160094498A (ko) * 2015-01-30 2016-08-10 한국전자통신연구원 고속 병렬처리를 위한 차등 부호화 방법 및 장치
KR101888375B1 (ko) * 2012-06-29 2018-08-14 캐논 가부시끼가이샤 화상 부호화 장치, 화상 부호화 방법 및 기록 매체, 화상 복호장치, 화상 복호방법 및 기록 매체
KR101895296B1 (ko) * 2014-02-12 2018-09-05 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
KR101992779B1 (ko) 2012-05-09 2019-06-26 한국전자통신연구원 실시간 콘텐츠 서비스를 위한 포렌식 마킹 장치 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06245080A (ja) * 1993-02-18 1994-09-02 Fujitsu Ltd 画像データ圧縮伸長方式
JP4023324B2 (ja) * 2003-02-04 2007-12-19 株式会社日立製作所 透かし埋め込み及び画像圧縮部
JP5296535B2 (ja) * 2006-05-24 2013-09-25 パナソニック株式会社 画像復号装置
JP5698156B2 (ja) * 2009-06-09 2015-04-08 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 復号装置、復号方法、および編集装置
KR102145782B1 (ko) * 2011-10-31 2020-08-19 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치, 동화상 부호화 방법 및 컴퓨터 독취 가능한 기억 매체
KR20130060651A (ko) * 2011-11-30 2013-06-10 삼성전자주식회사 영상처리장치 및 그 제어방법
WO2013113997A1 (en) * 2012-02-01 2013-08-08 Nokia Corporation Method and apparatus for video coding
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US9800898B2 (en) * 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
US9749646B2 (en) * 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
US10200719B2 (en) * 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
EP3758377B1 (en) * 2016-03-16 2023-10-25 HFI Innovation Inc. Method and apparatus of block partitioning

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030010694A (ko) * 2001-04-12 2003-02-05 코닌클리케 필립스 일렉트로닉스 엔.브이. 워터마크 삽입
KR20050098258A (ko) * 2003-01-23 2005-10-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 코딩된 신호내의 워터마크 임베딩
US20130202051A1 (en) * 2012-02-02 2013-08-08 Texas Instruments Incorporated Sub-Pictures for Pixel Rate Balancing on Multi-Core Platforms
KR101992779B1 (ko) 2012-05-09 2019-06-26 한국전자통신연구원 실시간 콘텐츠 서비스를 위한 포렌식 마킹 장치 및 방법
KR101888375B1 (ko) * 2012-06-29 2018-08-14 캐논 가부시끼가이샤 화상 부호화 장치, 화상 부호화 방법 및 기록 매체, 화상 복호장치, 화상 복호방법 및 기록 매체
KR20150039564A (ko) * 2013-10-02 2015-04-10 르네사스 일렉트로닉스 가부시키가이샤 동화상 복호 처리 장치 및 그 동작 방법
KR101895296B1 (ko) * 2014-02-12 2018-09-05 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
KR20160094498A (ko) * 2015-01-30 2016-08-10 한국전자통신연구원 고속 병렬처리를 위한 차등 부호화 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
윤창섭 등, "실감형 콘텐츠에 대한 포렌식 마킹 기술 연구", 한국통신학회 학술대회논문집, p339-340(2019.06.30.)* *

Also Published As

Publication number Publication date
US20220353524A1 (en) 2022-11-03
WO2021107651A1 (ko) 2021-06-03
JP2022515946A (ja) 2022-02-24

Similar Documents

Publication Publication Date Title
CN109547786B (zh) 视频编码、以及视频解码的方法、装置
CN102792689B (zh) 能够进行增量压缩以及对运动估计和元数据的修改以用于将图像呈现给远程显示器
US8351498B2 (en) Transcoding video data
US6055274A (en) Method and apparatus for compressing multi-view video
AU761202B2 (en) Generation of a bit stream containing binary image/audio data that is multiplexed with a code defining an object in ascii format
TW245871B (en) Method and apparatus for efficient addressing of dram in a video decompression processor
US20070230586A1 (en) Encoding, decoding and transcoding of audio/video signals using combined parallel and serial processing techniques
US20070053427A1 (en) Method and device for selecting a transcoding method from a set of transcoding methods
CN104982039A (zh) 用于在视频的图像帧中提供定向内容的方法及相应的设备
US5850258A (en) High level video decoding apparatus capable of decoding video data of a plurality of channels coded at a lower level
CN105721880A (zh) 降低视频编码和解码中的延迟
TW200541347A (en) Data insertion apparatus and methods for use with compressed audio/video data
JPH09139940A (ja) 終端間伸縮可能なビデオデリバリシステム用デコーダ
US9083977B2 (en) System and method for randomly accessing compressed data from memory
CN103986934B (zh) 具有对压缩帧缓冲区的随机访问的视频处理器及其方法
KR20170010008A (ko) 인코더 및 디코더
EP1245119B1 (en) Method and apparatus for video decoding on a multiprocessor system
CN100407609C (zh) 编码分组传送接收方法及其装置
US20190261010A1 (en) Method and system of video coding with reduced supporting data sideband buffer usage
CN113422960A (zh) 图像的传输方法及装置
KR102192630B1 (ko) 포렌식 마킹 장치 및 방법
JPH07298258A (ja) 画像符号化復号化方法
KR102192631B1 (ko) 병렬 포렌식 마킹 장치 및 방법
JP2007505545A (ja) スケーラブル信号処理方法及び装置
US6246801B1 (en) Method and apparatus for generating selected image views from a larger image having dependent macroblocks

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20191128

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20200803

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20191128

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200904

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20201125

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20201211

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20201214

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20231204

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20241128

Start annual number: 5

End annual number: 5