[go: up one dir, main page]

KR101946054B1 - 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 장치 및 방법 - Google Patents

디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 장치 및 방법 Download PDF

Info

Publication number
KR101946054B1
KR101946054B1 KR1020120092414A KR20120092414A KR101946054B1 KR 101946054 B1 KR101946054 B1 KR 101946054B1 KR 1020120092414 A KR1020120092414 A KR 1020120092414A KR 20120092414 A KR20120092414 A KR 20120092414A KR 101946054 B1 KR101946054 B1 KR 101946054B1
Authority
KR
South Korea
Prior art keywords
white noise
packet
data
digital broadcast
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020120092414A
Other languages
English (en)
Other versions
KR20140026790A (ko
Inventor
이용준
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020120092414A priority Critical patent/KR101946054B1/ko
Priority to CN201310355197.6A priority patent/CN103634541A/zh
Publication of KR20140026790A publication Critical patent/KR20140026790A/ko
Application granted granted Critical
Publication of KR101946054B1 publication Critical patent/KR101946054B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29Arrangements for monitoring broadcast services or broadcast-related services
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/211Random number generators, pseudorandom generators, classes of functions therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Circuits Of Receivers In General (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 장치 및 방법이 개시된다. 이 오디오 출력 장치 및 방법은 수신 오디오 데이터를 디코딩하여 출력하되, 수신 전파가 약하거나 불가한 지역에서는 백색 잡음을 생성하여 수신 오디오 데이터에 삽입시킨 후 디코딩하여 출력한다. 이에 따라 실제로 사운드가 없는 것인지 아니면 수신 전파가 약하거나 불가능한 것인지를 사운드를 통해 구별할 수 있게 된다.

Description

디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 장치 및 방법{Audio output device and method capable of analog-type sound processing of digital brodacasting}
본 발명은 디지털 방송 수신 오디오 출력 기술에 관한 것으로, 특히 수신 오디오 데이터가 정상적이지 않을 경우의 오디오 출력 기술에 관한 것이다.
도 1은 디지털 방송의 수신전계에 따른 수신신호의 세기를 나타낸 도면이다.
Good 영역은 신호의 세기가 아주 큰 영역으로, 디지털 방송 수신시 노이즈나, POP 발생이 없는 영역이다. Normal 영역은 디지털 신호로 에러가 발생할 수 있으나, 채널 부호화(인터리빙, 비터비), 코덱의 CRC(Cyclic Redundancy Check), RS(Reed Soloman) 복원 알고리즘으로 에러를 인지하여 복원이 가능한 영역이다. Weak 영역은 수신 데이터에 에러가 발생하는 영역으로, 보통의 수신기는 이 영역의 데이터 중 복원이 힘들면 데이터를 버리거나 적절한 시점에 뮤트(mute)를 실시하여 silence 영역으로 진입한다. Very weak 영역은 절대 영역으로 전파가 수신하지 못하는 영역이다. 따라서 보통의 수신기는 이 영역에서 No signal을 표시하거나 weak 영역에서부터 mute를 실시하여 silence 영역으로 진입한다.
따라서 종래의 차량용 디지털 방송 수신 장치는 전파 수신 감도가 미약하거나 수신이 불가능한 지역에서는 아무런 사운드도 출력할 수 없게 된다. 이에 대한 예가 도 2에 도시되어 있다. 도 2의 사운드 파형을 통해 수신 데이터가 존재하지 않는 Very weak 영역에서는 사운드 출력이 없음을 확인할 수 있다. 또한 Weak 영역에서도 에러 데이터 복원이 힘들어 mute를 실시하는 경우에도 도 2와 같이 사운드 출력이 이루어지지 않게 된다. 이로 인해 차량 운전자로서는 실제로 사운드 출력이 없는 것인지 아니면 전파가 약해서 그런 것인지를 구별하는 것이 어렵다. 물론 화면에 no signal 텍스트나 아이콘 등을 표시하기는 하지만, 이를 눈으로 확인해야 한다.
본 발명은 디지털 방송 수신 감도가 미약하거나 불가능함을 화면을 통해 눈으로 확인하지 않고도 사용자가 인지할 수 있도록 하는 기술적 방안을 제공함을 목적으로 한다.
전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 장치는 디지털 방송 데이터를 수신하는 수신부, 상기 수신부의 미수신 영역에 백색 잡음 패킷을 삽입하는 백색 잡음 삽입부, 및 상기 백색 잡음이 삽입된 디지털 방송 데이터를 디코딩하는 디코딩부를 포함한다.
상기 백색 잡음 삽입부는 상기 수신된 디지털 방송 데이터의 에러 발생 빈도가 임계치를 초과할 경우 에러 발생한 패킷 대신에 백색 잡음 패킷을 삽입한다.
상기 백색 잡음 삽입부는 상기 디지털 방송 데이터를 디코딩하는 디코더의 종류에 따른 백색 잡음 패킷을 생성하여 삽입한다.
상기 백색 잡음 삽입부는 오디오 이득 값에 따라 상기 백색 잡음의 크기를 달리한다.
한편, 전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 방법은 디지털 방송 데이터를 수신하는 단계, 상기 수신된 디지털 방송 데이터의 에러 발생 빈도가 임계치를 초과할 경우 에러 발생한 패킷 대신에 백색 잡음 패킷을 삽입하는 단계, 및 상기 백색 잡음 패킷이 삽입된 수신 디지털 방송 데이터를 디코딩하는 단계를 포함한다.
상기 백색 잡음 패킷을 삽입하는 단계는 상기 디지털 방송 데이터의 미수신 영역에도 백색 잡음 패킷을 삽입한다.
본 발명은 오디오 출력에 대한 거부감을 줄이고 사운드 성능을 향상시키는 효과를 창출한다. 따라서 소비자에게 좋은 상품평을 얻을 수 있다. 그리고 사용자 입장에서는 실제로 사운드가 없는 것인지 아니면 수신 전파가 약하거나 불가능한 것인지를 사운드를 통해 구별할 수 있는 이점이 있다.
도 1은 디지털 방송의 수신전계에 따른 수신신호의 세기를 나타낸 도면.
도 2는 Very weak 영역에서의 사운드 파형을 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 장치 블록도.
도 4는 Weak 영역에 백색 잡음 삽입을 나타낸 예시도.
도 5는 Weak 영역과 Very Weak 영역에 백색 잡음 삽입을 나타낸 예시도.
도 6은 Very weak 영역에 백색 잡음 삽입 및 사운드 파형을 나타낸 도면.
도 7은 본 발명의 일 실시예에 따른 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 방법 흐름도.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 장치 블록도이다.
방송 수신부(100)는 디지털 오디오 방송(Digital Audio Broadcasting)을 수신한다. 이 방송 수신부(100)는 RF 신호를 수신하여 이진 데이터로 변환하며, 오디오 버퍼를 이용하여 변환된 오디오 데이터에 대한 버퍼링을 수행한다. 백색 잡음 삽입부(200)는 백색 잡음(white noise)을 발생시킬 수 있는 패킷 데이터를 생성하여 오디오 버퍼에 강제로 삽입한다. 디코딩부(300)는 방송 수신부(100)를 통해 수신된 오디오 데이터를 디코딩하며, 오디오 출력부(400)는 디코딩된 오디오 데이터를 출력한다. 여기서 오디오 출력부(400)는 I2S(Inter IC Sound) 버스 규격에 맞게 오디오 데이터를 처리하는 것일 수 있다.
이하, 백색 잡음 삽입부(200)에 대해 보다 구체적으로 설명한다. 전술한 바와 같이, 백색 잡음 삽입부(200)는 백색 잡음용 패킷 데이터를 생성하여 오디오 버퍼에 삽입하는데, 지정된 조건이 충족할 경우에만 백색 잡음용 패킷 데이터를 생성하여 오디오 버퍼에 삽입한다. 여기서 지정된 조건이라 함은 다음과 같다. 첫째, Weak 영역에서 수신된 디지털 방송 데이터의 에러 발생 빈도가 임계치를 초과할 경우이다. 이는 오류가 있어 유효하지 않은 데이터가 과도히 존재할 경우를 말한다. 데이터 오류의 유무는 헤더 CRC 등을 확인하여 파악되며, 참고로 이와 관련된 기술이 본 출원인에 의해 특허출원번호 제10-2012-0036172호로 출원된 바 있다. 에러 발생 빈도가 임계치를 초과할 경우, 에러 패킷들은 버려지며, 백색 잡음 삽입부(200)는 버려진 에러 패킷 자리에 백색 잡음용 패킷을 강제로 삽입한다. 둘째, 디지털 방송 수신이 불가한 Very weak 영역일 경우이다. 일 실시예에 있어서, 백색 잡음 삽입부(200)는 오디오 버퍼를 확인함으로써 도 2에서와 같이 수신 데이터가 없는 구간을 파악한다. 수신 데이터가 없는 구간이 파악되면, 백색 잡음 삽입부(200)는 백색 잡음 패킷을 생성하여 수신 데이터가 없는 구간에 강제로 삽입한다. 참고로, Weak 영역에 백색 잡음을 삽입한 경우를 도 4에 예시하였으며, Weak 영역과 Very Weak 영역에 백색 잡음을 삽입한 경우를 도 5에 예시하였다.
한편, 백색 잡음 패킷을 생성함에 있어서, 백색 잡음 삽입부(200)는 코덱(디코더)의 종류에 따라 백색 잡음의 형태를 결정하여 생성한다. 이에 대해 부연 설명하면 다음과 같다. 유럽 DAB 방송 자체의 코덱의 경우, mp2(dab 방송), aac+(dab+ 방송), aac + with TS stream(dmb-a 방송)과 같이 방송에 따라서 사용하는 코덱의 종류가 상이하다. 따라서 방송이 dab 방송이면 mp2 패킷을 만들어서 넣어야 하고, dab+이면 aac+ 패킷을 만들어서 넣어야 하며, dmb-audio 방송이면 TS 내부의 aac+ 패킷을 만들어 넣어야만 코덱이 정상적으로 동작할 수 있다. 참고로 각각의 방송망 자체의 특성상 고유의 bitrate가 있으며, 이 bitrate의 속도에 따라 패킷의 형태가 상이하다. 위와 같은 이유로 백색 잡음 삽입부(200)는 도 6에 예시된 바와 같이 코덱의 종류에 따라 코덱의 종류에 따라 해당 오디오 방송 방식에 맞는 백색 잡음의 형태를 결정하여 생성해야 한다. 이 같이 하면, 도 6에 예시된 사운드 파형을 통해 확인할 수 있듯이 수신 데이터가 없는 구간에도 사운드 출력이 발생한다. 추가로 백색 잡음 삽입부(200)는 오디오 증폭을 위한 이득(gain) 값에 따라 백색 잡음 파형의 크기를 달리한다. 즉, 백색 잡음의 크기를 오디오 이득 값에 맞춤으로써 보다 자연스러운 사운드를 발생시키고자 하는 것이다.
도 7은 본 발명의 일 실시예에 따른 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 방법 흐름도이다.
오디오 출력 장치는 디지털 오디오 방송을 수신한다(S100). 오디오 출력 장치는 수신 데이터의 에러 발생 빈도가 임계치를 초과하는지 판단한다(S200). 에러 발생 빈도가 임계치를 초과할 경우, 오디오 출력 장치는 에러 패킷을 버리고 백색 잡음용 패킷을 생성하여 그 버려진 에러 패킷 영역에 강제로 삽입한다(S300). 또한 오디오 출력 장치는 오디오 데이터 미수신 영역이 존재하는지 판단한다(S400). 오디오 데이터 미수신 영역이 존재하면, 오디오 출력 장치는 백색 잡음용 패킷을 생성하여 오디오 데이터 미수신 영역에 강제로 삽입한다(S500). 이후, 오디오 출력 장치는 오디오 데이터를 디코딩한 후 출력한다(S600)(S700). 참고로 상술한 과정 중 S200과 S400 중 어느 하나만이 수행될 수도 있다. 즉, Weak 영역에 대해서만 백색 잡음용 패킷을 생성하여 삽입하거나 Very weak 영역에 대해서만 백색 잡음용 패킷을 생성하여 삽입할 수 있는 것이다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100 : 방송 수신부 200 : 백색 잡음 삽입부
300 : 디코딩부 400 : 오디오 출력부

Claims (8)

  1. 디지털 방송 데이터를 수신하는 방송 수신부;
    상기 수신부의 미수신 영역에 백색 잡음 패킷을 삽입하는 백색 잡음 삽입부; 및
    상기 백색 잡음이 삽입된 디지털 방송 데이터를 디코딩하는 디코딩부;를 포함하되,
    상기 백색 잡음 삽입부는
    상기 수신된 디지털 방송 데이터의 에러 발생 빈도가 임계치를 초과할 경우 에러 발생한 패킷 대신에 백색 잡음 패킷을 삽입하거나,
    수신 데이터가 없는 구간이 파악되면 백색 잡음 패킷을 생성하여 수신 데이터가 없는 구간에 삽입하는 것을 특징으로 하는 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 백색 잡음 삽입부는 상기 디지털 방송 데이터를 디코딩하는 디코더의 종류에 따른 백색 잡음 패킷을 생성하여 삽입하는 것을 특징으로 하는 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 장치.
  4. 제1항에 있어서,
    상기 백색 잡음 삽입부는 오디오 이득 값에 따라 상기 백색 잡음의 크기를 달리하는 것을 특징으로 하는 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 장치.
  5. 디지털 방송 데이터를 수신하는 단계;
    상기 수신된 디지털 방송 데이터의 에러 발생 빈도가 임계치를 초과할 경우 에러 발생한 패킷 대신에 백색 잡음 패킷을 삽입하는 단계; 및
    상기 백색 잡음 패킷이 삽입된 수신 디지털 방송 데이터를 디코딩하는 단계;를 포함하되,
    상기 삽입하는 단계는
    상기 수신된 디지털 방송 데이터의 에러 발생 빈도가 임계치를 초과할 경우 에러 발생한 패킷 대신에 백색 잡음 패킷을 삽입하거나, 수신 데이터가 없는 구간이 파악되면 백색 잡음 패킷을 생성하여 수신 데이터가 없는 구간에 삽입하는 것을 특징으로 하는 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 방법.
  6. 삭제
  7. 제5항에 있어서,
    상기 삽입하는 단계는 상기 수신 디지털 방송 데이터를 디코딩하는 디코더 종류에 따른 백색 잡음 패킷을 생성하여 삽입하는 것을 특징으로 하는 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 방법.
  8. 제5항에 있어서,
    상기 삽입하는 단계는 오디오 이득 값에 따라 상기 백색 잡음의 크기를 달리하는 것을 특징으로 하는 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 방법.
KR1020120092414A 2012-08-23 2012-08-23 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 장치 및 방법 Active KR101946054B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120092414A KR101946054B1 (ko) 2012-08-23 2012-08-23 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 장치 및 방법
CN201310355197.6A CN103634541A (zh) 2012-08-23 2013-08-15 具有数字广播模拟型声音处理方式的音频输出设备及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120092414A KR101946054B1 (ko) 2012-08-23 2012-08-23 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140026790A KR20140026790A (ko) 2014-03-06
KR101946054B1 true KR101946054B1 (ko) 2019-02-08

Family

ID=50215129

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120092414A Active KR101946054B1 (ko) 2012-08-23 2012-08-23 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101946054B1 (ko)
CN (1) CN103634541A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3383055A1 (en) * 2017-03-28 2018-10-03 Rohde & Schwarz GmbH & Co. KG Method and device for monitoring data related to broadcasting and/or streaming

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846577A (ja) * 1994-07-28 1996-02-16 Kyocera Corp ディジタル移動通信装置
JP3237491B2 (ja) * 1995-11-27 2001-12-10 松下電器産業株式会社 デジタル放送受信装置
JP2001344914A (ja) * 2000-05-30 2001-12-14 Matsushita Electric Ind Co Ltd 記録装置、媒体及び情報集合体
MY124947A (en) * 2000-06-26 2006-07-31 Matsushita Electric Ind Co Ltd Automatic gain control apparatus
JP4054686B2 (ja) * 2003-01-20 2008-02-27 シャープ株式会社 デジタル放送受信装置
KR100719116B1 (ko) * 2004-09-14 2007-05-17 삼성전자주식회사 노이즈신호를 여파 처리하는 방송수신장치 및 그 방법
US8224368B2 (en) * 2004-09-27 2012-07-17 Alcatel Lucent Method and apparatus for controlling transmission power in a wireless network
KR100640476B1 (ko) * 2004-11-24 2006-10-30 삼성전자주식회사 비동기식 오디오 스트림 처리 방법 및 장치
KR20090014682A (ko) * 2007-08-06 2009-02-11 삼성전자주식회사 방송처리장치 및 그 제어방법
CN102074238A (zh) * 2010-12-13 2011-05-25 山东科技大学 一种基于线性干扰抵消的语音隐秘通信方法

Also Published As

Publication number Publication date
CN103634541A (zh) 2014-03-12
KR20140026790A (ko) 2014-03-06

Similar Documents

Publication Publication Date Title
US8385325B2 (en) Method of transmitting data in a communication system
US20190043152A1 (en) Detecting watermark modifications
JP2013527479A (ja) 破損したオーディオ信号の修復
US11284299B2 (en) Data processing apparatus, data processing method, and program
JP2009005146A (ja) データ伝送装置
US8370724B2 (en) Audio reproduction device, information reproduction system, audio reproduction method, and program
EP2743923B1 (en) Voice processing device, voice processing method
KR101946054B1 (ko) 디지털 방송의 아날로그적 사운드 처리 방식을 갖는 오디오 출력 장치 및 방법
WO2017094429A1 (ja) 信号処理装置および信号処理方法
US10147434B2 (en) Signal processing device and signal processing method
JP5302190B2 (ja) オーディオ復号装置、オーディオ復号方法、プログラム及び集積回路
WO2007107670A3 (fr) Procede de post-traitement d'un signal dans un decodeur audio
US20120136659A1 (en) Apparatus and method for preprocessing speech signals
CN102044252A (zh) 消噪装置及方法
KR20140111480A (ko) 보코더 잡음 억제 방법 및 장치
JP2012199732A (ja) 無線受信機
JP2003516559A (ja) ディジタルオーディオデータ復号化方法
KR100708123B1 (ko) 자동으로 오디오 볼륨을 조절하는 방법 및 장치
KR20090014682A (ko) 방송처리장치 및 그 제어방법
US20150194157A1 (en) System, method, and computer program product for artifact reduction in high-frequency regeneration audio signals
US20240212694A1 (en) Media ratings watermark encoding
WO2010100895A1 (ja) 音声再生装置及び映像音声再生装置
US10763885B2 (en) Method of error concealment, and associated device
JP2006054789A (ja) 音声出力装置
KR100921869B1 (ko) 음원의 오류 검출 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120823

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170822

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120823

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180710

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190122

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190130

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190131

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20211224

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20231226

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20241224

Start annual number: 7

End annual number: 7