[go: up one dir, main page]

KR101001665B1 - 전방 스피커 어레이를 통한 음장 재생 장치 및 그 방법 - Google Patents

전방 스피커 어레이를 통한 음장 재생 장치 및 그 방법 Download PDF

Info

Publication number
KR101001665B1
KR101001665B1 KR1020080036185A KR20080036185A KR101001665B1 KR 101001665 B1 KR101001665 B1 KR 101001665B1 KR 1020080036185 A KR1020080036185 A KR 1020080036185A KR 20080036185 A KR20080036185 A KR 20080036185A KR 101001665 B1 KR101001665 B1 KR 101001665B1
Authority
KR
South Korea
Prior art keywords
array
speaker
sound field
speaker array
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020080036185A
Other languages
English (en)
Other versions
KR20090110598A (ko
Inventor
유재현
심환
정현주
서정훈
김춘혁
서정일
강경옥
김진웅
안치득
홍진우
성굉모
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080036185A priority Critical patent/KR101001665B1/ko
Publication of KR20090110598A publication Critical patent/KR20090110598A/ko
Application granted granted Critical
Publication of KR101001665B1 publication Critical patent/KR101001665B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

본 발명은 전방 스피커 어레이를 통한 음장 재생 장치 및 그 방법에 관한 것으로, 전방 스피커 어레이를 통해 음장 합성 기반으로 오디오 신호를 재생하되, 그 전방 스피커 어레이를 통해 가상의 호형 어레이 형태로 방사시킬 스피커 구동 신호를 음장 재생 정보(예를 들어, 스피커 배열 정보 및 음상 정위 정보)를 기초로 하여 산출함으로써, 협소한 청취 공간에서도 더욱 넓은 스위트 스팟을 용이하게 사용자에게 제공할 수 있는, 전방 스피커 어레이를 통한 음장 재생 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 전방 스피커 어레이를 통한 음장 재생 장치에 있어서, 재생 대상이 되는 음원 신호와 음장 재생 정보를 입력받기 위한 입력 수단; 상기 전방 스피커 어레이의 스피커 구동 신호를 상기 음장 재생 정보를 기초로 하여 산출하기 위한 신호 처리 수단; 및 상기 산출된 스피커 구동 신호에 따라 상기 전방 스피커 어레이를 통해 가상의 호형 어레이 형태로 상기 음원 신호를 재생하기 위한 재생 수단을 포함한다.
전방 라우드스피커 어레이, 음장 합성, 음장 재생, 스위트 스팟, 호형 스피커 어레이, 스피커 배열 정보, 지향각 정보

Description

전방 스피커 어레이를 통한 음장 재생 장치 및 그 방법{Method and Devices of Reproducing “Sound Field” through Frontal Loudspeaker Array}
본 발명은 전방 스피커 어레이를 통한 음장 재생 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 전방 스피커 어레이를 통해 음장 합성 기반으로 오디오 신호를 재생하되, 그 전방 스피커 어레이를 통해 가상의 호형 어레이 형태로 방사시킬 스피커 구동 신호를 음장 재생 정보(예를 들어, 스피커 배열 정보 및 음상 정위 정보)를 기초로 하여 산출함으로써, 협소한 청취 공간에서도 더욱 넓은 스위트 스팟을 용이하게 사용자에게 제공할 수 있는, 전방 스피커 어레이를 통한 음장 재생 장치 및 그 방법에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-004-01, 과제명: 무안경 개인형 3D 방송기술개발].
음장 합성(WFS: Wave Field Synthesis) 기술이란, 임의의 1차 음원에서 발생 하는 1차 파면을 다수의 라우드스피커(이하, 라우드스피커 어레이)를 통해 재생되는 소리로 합성하여 라우드스피커 어레이로 구분되는 임의의 체적 안에 1차 파면과 동일한 파장을 발생시키는 음장 재생 기술을 말한다. 음장 합성 기술은 물리적인 라우드스피커 위치보다 먼 곳으로 가상 음원을 위치시켜 청취 공간을 가상적으로 확장시킬 수 있다. 이를 통해, 음장 합성 기술은 일반적인 스테레오 및 5.1 채널 등 멀티채널 재생 환경에서 극복하지 못한 문제 즉, 스위트 스팟(Sweet Spot)이 협소하다는 문제를 해결할 수 있다. 따라서 음장 합성 기술은 청취자에게 완벽한 음장을 제공할 수 있다는 장점이 있다. 여기서, 스위트 스팟은 사용자가 라우드스피커를 통해 재생되는 오디오 신호를 최적의 조건으로 청취할 수 있는 최적의 청취 지점을 의미한다.
음장 합성 기술을 충실히 구현하기 위해서는, 청취자 주위 360도를 감싸는 라우드스피커 어레이(예를 들면, 원형 어레이 또는 일직선 어레이 등)에 이러한 음장 합성 기술이 적용되어야 한다는 제한이 있다. 즉, 더욱 좋은 품질의 음상을 재현하기 위해서는, 적당한 청취 공간을 완전히 감쌀 수 있는 크기의 원형 또는 일직선 라우드스피커 어레이를 이용하는 것이 바람직하다. 예를 들어, 극장이나 콘서트홀 등과 같은 넓은 청취 공간의 경우에 이러한 제한은 문제가 되지 않는다. 하지만, 이러한 제한이 일반 가정의 거실과 같은 협소한 청취 공간이라면 공간적인 부분에서 문제가 될 수 있다.
도 1 은 전방 라우드스피커 어레이를 이용한 음장 합성 기술에서의 스위트 스팟에 대한 개념도이다.
유한한 개수의 전방 라우드스피커 어레이(100)를 이용하기 때문에, 음장 합성 기술에서는 어레이 양 끝단에서 절단 효과(Truncation Effect)가 발생한다는 단점이 있다. 이를 억제하기 위해서, 실제 음장 합성 기술에서는 테이퍼링 윈도우(Tapering Window) 기술이 적용된 양 끝단 라우드스피커를 통해 오디오 신호가 재생되고 있다. 이로 인해, 도 1에 도시된 실제 스위트 스팟(101)이 원하는 스위트 스팟(102)에 비해 줄어드는 문제점이 있다. 전방 라우드스피커 어레이(100)만을 이용하는 음장 합성 재생 환경이라면, 이러한 문제점은 더욱 큰 영향을 미칠 수가 있다.
예를 들면, 너비 113cm의 42인치 TV를 설치한 가정에서, 간격 15cm의 라우드스피커 어레이를 이용한다면 라우드스피커는 8개만 이용될 수 있다. 이때, 너비 175cm의 70인치 TV를 사용한다고 해도 11개의 라우드스피커 밖에는 설치될 수가 없다. 작은 라우드스피커가 가깝게 설치되는 경우에는 작은 크기의 라우드스피커 자체 재생 특성이 좋지 않다. 또한, 많은 개수의 라우드스피커에 대한 설치 부담 역시 큰 문제이므로 실효성이 없다.
한편, 현재까지의 음장 합성 기술을 살펴보면, TV나 홈씨어터에 적용할 수 있는 음장 합성 기술에 대해서는 연구가 이루어지지 않고 있었다. 단지, 더욱 넓은 청취 공간에서 더 많은 수의 라우드스피커를 이용한 음장 재생에 대해서 주로 연구가 되어오고 있었다. 따라서 일직선 라우드스피커 어레이 또는 원형 라우드스피커 어레이에 기반한 음장 합성 기술은 협소한 공간에서 필요한 음장 합성 시스템(예를 들면, 전방 라우드스피커 어레이 기반 음장 합성 시스템)에는 그대로 적용하기가 곤란하다는 문제점이 있다.
구체적으로 살펴보면, 음장 합성 기술을 TV나 홈씨어터에 제한적으로 적용하고자 한다면, 라우드스피커 어레이의 개수는 최대한 줄이는 것이 바람직하다. 이는 청취 공간의 협소함 및 음장 합성 시스템 설치에 대한 사용자 편의를 위함이다. 즉, 측면과 후면 어레이를 생략하고 전방 라우드스피커 어레이만을 이용하는 것이 바람직할 것이다. 전방 라우드스피커 어레이를 이용한 음장 합성 기술은 전방 어레이만을 이용함으로 인해 측/후방의 음상 정위가 곤란하게 된다. 하지만, 이러한 음장 합성 기술은 TV 및 홈씨어터 디스플레이 화면과 동기화된 전방의 음상을 제공해줄 수 있다.
하지만, 이러한 음장 합성 기술은 라우드스피커 개수가 줄어들기 때문에 음장 합성 기술이 가지는 넓은 스위트 스팟을 제공하기 곤란하다. 따라서 이러한 전방 어레이만을 이용하는 음장 합성 기술은 최적의 전방 라우드스피커 어레이 또는 종래와 다른 신호 처리 방식이 절실히 필요한 상황이다.
따라서 상기와 같은 종래 기술은 음장 합성 방식에 따른 음장 재생 시에, 협소한 공간에서 전방 라우드스피커 어레이를 이용하여 넓은 스위트 스팟을 제공하기 곤란하다는 문제점이 있으며, 이러한 문제점을 해결하고자 하는 것이 본 발명의 과제이다.
따라서 본 발명은 전방 스피커 어레이를 통해 음장 합성 기반으로 오디오 신호를 재생하되, 그 전방 스피커 어레이를 통해 가상의 호형 어레이 형태로 방사시킬 스피커 구동 신호를 음장 재생 정보(예를 들어, 스피커 배열 정보 및 음상 정위 정보)를 기초로 하여 산출함으로써, 협소한 청취 공간에서도 더욱 넓은 스위트 스팟을 용이하게 사용자에게 제공할 수 있는, 전방 스피커 어레이를 통한 음장 재생 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명은 상기 문제점을 해결하기 위하여, 전방 스피커 어레이를 통해 음장 합성 기반으로 오디오 신호를 재생하되, 그 전방 스피커 어레이를 통해 가상의 호형 어레이 형태로 방사시킬 스피커 구동 신호를 음장 재생 정보(예를 들어, 스피커 배열 정보 및 음상 정위 정보)를 기초로 하여 산출하는 것을 특징으로 한다.
더욱 구체적으로, 본 발명은, 전방 스피커 어레이를 통한 음장 재생 장치에 있어서, 재생 대상이 되는 음원 신호와 음장 재생 정보를 입력받기 위한 입력 수단; 상기 전방 스피커 어레이의 스피커 구동 신호를 상기 음장 재생 정보를 기초로 하여 산출하기 위한 신호 처리 수단; 및 상기 산출된 스피커 구동 신호에 따라 상기 전방 스피커 어레이를 통해 가상의 호형 어레이 형태로 상기 음원 신호를 재생하기 위한 재생 수단을 포함한다.
한편, 본 발명은, 전방 스피커 어레이를 통한 음장 재생 방법에 있어서, 재생 대상이 되는 음원 신호와 음장 재생 정보를 입력받는 입력 단계; 상기 전방 스피커 어레이의 스피커 구동 신호를 상기 음장 재생 정보를 기초로 하여 산출하는 신호 처리 단계; 및 상기 산출된 스피커 구동 신호에 따라 상기 전방 스피커 어레이를 통해 가상의 호형 어레이 형태로 상기 음원 신호를 재생하는 재생 단계를 포함한다.
상기와 같은 본 발명은, 전방 스피커 어레이를 통해 음장 합성 기반으로 오디오 신호를 재생하되, 그 전방 스피커 어레이를 통해 가상의 호형 어레이 형태로 방사시킬 스피커 구동 신호를 음장 재생 정보(예를 들어, 스피커 배열 정보 및 음상 정위 정보)를 기초로 하여 산출함으로써, 협소한 청취 공간에서도 더욱 넓은 스위트 스팟을 용이하게 제공할 수 있는 효과가 있다.
또한, 본 발명은, 전방 스피커 어레이를 통해 가상의 호형 어레이 형태로 방사시킬 스피커 구동 신호를 고정위상 근사화 방식과 이산화 방식에 따라 근사화시켜 산출함으로써, 스피커 구동 신호의 산출에 필요한 연산량에 제약을 받지 않으면서도 더욱 넓은 스위트 스팟을 제공하기 위한 스피커 구동 신호를 용이하게 산출할 수 있게 하는 효과가 있다.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
우선, 본 발명을 더욱 상세하게 설명하기에 앞서, 호형 라우드스피커 어레이 기반의 음장 합성 기술에 대해서 개략적으로 살펴보기로 한다.
도 2 는 호형 라우드스피커 어레이를 이용한 음장 합성 기술에서의 스위트 스팟에 대한 개념도이다.
본 발명은 적은 수의 라우드스피커를 이용하면서도 도 1에 도시된 스위트 스팟(101)을 원하는 실제 스위트 스팟(102)으로 넓히기 위한 것이다. 이를 위해, 본 발명은 호형(弧形)으로 배치된 호형 라우드스피커 어레이(이하, 호형 스피커 어레이)(200)를 통해 오디오 신호를 재생하여 사용자에게 더욱 넓은 청취 영역을 제공할 수 있다.
도 2에 도시된 바와 같이, 일직선 형태의 라우드스피커 어레이가 활처럼 휜 형태의 호형 스피커 어레이(200)가 배치되어 있다. 본 발명은 이러한 호형 스피커 어레이(200)를 통하여, 도 1에 도시된 실제 스위트 스팟(101)에 비해 더욱 넓은 실제 스위트 스팟(201)을 사용자에게 제공할 수 있다. 본 발명은 호형 스피커 어레이(200)의 양 끝단에서 발생하는 절단 효과(Truncation Effect)를 억제하기 위한 테이퍼링 윈도우(Tapering Window)를 적용하여 넓은 스위트 스팟(201)을 사용자에게 제공할 수 있다. 또한, 본 발명은 호형 스피커 어레이(200)를 이용하여 전체 청취 영역(202)만큼 더욱 넓은 청취 영역을 사용자에게 제공할 수 있다.
도 3 은 호형으로 배치된 전방 라우드스피커 어레이를 설명하기 위한 일실시예 도면이다.
도 3에 도시된 바와 같이, 본 발명에 따른 기본적인 라우드스피커 어레이의 배치 방식은 물리적으로 라우드스피커 어레이 자체를 호형 스피커 어레이(301)로 배치하는 것이다. z0 평면(plane)은 음원 영역에 포함되는 평면이며, 이 z0 평면에 가상 음원이 위치해 있다. z1 평면은 호형 라우드스피커 어레이의 기준이 되는 평면이다. z 평면은 사용자가 위치해 있는 청취 영역에 포함되는 평면이다.
n번째 라우드스피커(302)는 지향성을 나타내는 화살표 방향(303)으로 향하고 있다. 여기서, 지향성은 호형 스피커 어레이(200)의 기준이 되는 수직면과 n번째 라우드스피커(302) 간의 각도(
Figure 112008027795619-pat00001
)로 나타나진다. 또한, 각 라우드스피커는 일정한 간격(
Figure 112008027795619-pat00002
)(304)마다 위치하고 있으므로 이산적인(discrete) 음원의 재생 기능을 수행하게 된다.
그러나 물리적인 구조의 호형 스피커 어레이(301)를 음장 재생에 이용하는 것은 공간적인 낭비를 가져올 수 있다. 왜냐하면, 일반적인 음장 재생 시스템은 TV 등 비디오 재생 시스템의 바로 아랫단이나 윗단에 위치하게 된다. 이때, 호형 스피커 어레이(301)가 원형 공간(305)만큼 앞으로 나와 있다는 것은 공간을 비효율적으로 이용하는 것이다. 특히, 좁은 청취공간에서는 이러한 호형 스피커 어레이(301)는 공간 활용에 취약한 단점으로 작용하게 된다.
도 4 는 직선으로 배치된 전방 라우드스피커 어레이를 설명하기 위한 일실시예 도면이다.
도 4에 도시된 바와 같이, 가상적인 호형 형태로 오디오 신호를 방사하는 직선 스피커 어레이(401)는 도 3에 도시된 호형 스피커 어레이(301)의 원리를 이용하고 있다. 직선 스피커 어레이(401)는 호의 중심을 향하여 각 라우드스피커(402)를 z1 평면에 정사영시킨 것이다. 직선 스피커 어레이(401)는 시간 지연(time delay)만 보상된다면, 도 3에 도시된 호형 스피커 어레이(301)와 동일한 효과를 얻을 수 있다. 또한, 직선 스피커 어레이(401)는 호형 스피커 어레이(301)의 장점을 모두 가지면서 공간을 효율적으로 이용할 수 있게 된다.
하지만, 직선 스피커 어레이(401)는 좌/우 양 끝단으로 갈수록 각 라우드스피커 사이의 간격이 넓어지게 된다. 예를 들면, 좌측 단의 라우드스피커 간의 간격(403)은 호의 중심에 있는 라우드스피커 간의 간격(404)에 비해 넓다. 이는 에일리어싱(aliasing) 측면에서 단점을 갖는다고 하겠다.
따라서 본 발명은 종래의 음장 합성 기술에서의 직선 스피커 어레이(401)를 이용하되, 등간격을 가지는 직선 스피커 어레이의 지향성을 조정할 수 있는 신호처리 과정을 이용하여 호형 스피커 어레이를 가정한 라우드스피커 구동 신호를 얻게 된다. 즉, 본 발명은 라우드스피커의 배치 방향성을 고려한 등간격 직선 스피커 어레이를 이용하여 도 5에 도시된 방사 패턴을 가지도록 한다.
도 5 는 등간격으로 배치된 직선 스피커 어레이를 설명하기 위한 일실시예 도면이다.
도 5에 도시된 바와 같이, 등간격 직선 스피커 어레이(501)는 각 라우드스피커가 일직선으로 배치되어 있는 구조를 가지며, 라우드스피커의 배치 방향성이 고려된 등간격 스피커 어레이의 구조를 가진다. 본 발명은 이러한 등간격 직선 스피커 어레이(501)를 이용하여 호형 스피커 어레이 형태의 방사 패턴에 맞게 음장을 재생한다.
등간격 직선 스피커 어레이(501)의 방향은 호형 스피커 어레이(401)와 동일하게 호의 법선 방향으로 정해진다. 따라서 등간격 직선 스피커 어레이(501)는 호형 스피커 어레이(401) 구조의 장점 및 등간격 일직선 어레이의 장점을 가지게 된다. 본 발명은 이러한 등간격 직선 스피커 어레이(501)를 이용하여 공간을 효과적으로 활용할 수 있다. 또한, 본 발명은 고정위상 근사화(Stationary Phase Approximation)를 이용하여 음장 합성 기술에서의 신호처리 수식 전개를 그대로 활용할 수 있다. 단지, 본 발명은 각 라우드스피커의 방향성을 변경하여 신호처리를 수행하면 된다는 장점을 가지게 된다.
한편, z1 평면에서 등간격 직선 스피커 어레이(501)를 구성하는 각 라우드스 피커가 호에 정사영되면, 호 상에서 파면 사이의 간격이 가운데 부분이 넓고 측면부로 갈수록 조밀해지게 된다. 이는 측면을 살리되 정면이 약해질 수도 있는 부분이나 좌/우 측면의 스피커 어레이에는 테이퍼링 윈도우를 적용함으로써 보정될 수가 있다.
이하, 호형 스피커 어레이(401)와 같은 방사 패턴을 가지는 등간격 직선 스피커 어레이(501)에 대한 라우드스피커 구동 함수를 구하는 방식에 대하여 상세히 살펴보면 다음과 같다.
우선, 등간격 직선 스피커 어레이(501)와 관련하여 살펴보면, 일반적인 라우드스피커 구동 함수는 하기의 [수학식 1]에 나타나 있다.
Figure 112008027795619-pat00003
여기서,
Figure 112008027795619-pat00004
는 라우드스피커 어레이를 구성하는 라우드스피커 중 n번째 라우드스피커가 방사하는 라우드스피커 구동 함수,
Figure 112008027795619-pat00005
는 가상 음원,
Figure 112008027795619-pat00006
는 신호 크기에 대한 가중치,
Figure 112008027795619-pat00007
는 라우드스피커의 지향성으로 음압에 웨이팅(weighting)을 주는 성분,
Figure 112008027795619-pat00008
는 수직거리에 대한 가상 음원과 n번째 라 우드스피커 사이의 거리의 비율,
Figure 112008027795619-pat00009
는 고주파 증폭 이퀄라이징,
Figure 112008027795619-pat00010
는 가상 음원과 n번째 라우드스피커 사이의 거리에 의해 발생하는 전달 시간을 나타낸다. 또한, 라우드스피커가 선 배열을 이루고 있으므로 가상 음원을 선 음원으로 가정하면,
Figure 112008027795619-pat00011
는 하나의 원통파(Cylindrical Wave)의 확산을 나타낸다.
한편, 가상 음원과 관련하여 살펴보면, 일반적인 1차 음원의 음압(
Figure 112008027795619-pat00012
)은 하기의 [수학식 2]에 나타나 있다. 음장 합성 기술에서의 수식 전개와 마찬가지로, 단극 음원(Monopole Source)에 관한 레일레이 정리 II(Rayleigh Integral II)를 이용하여 각 라우드스피커 구동 신호를 구하기로 한다.
Figure 112008027795619-pat00013
여기서,
Figure 112008027795619-pat00014
는 1차 음원의 음압,
Figure 112008027795619-pat00015
는 공기 밀도,
Figure 112008027795619-pat00016
는 공기 중의 음속,
Figure 112008027795619-pat00017
는 웨이브 넘버,
Figure 112008027795619-pat00018
은
Figure 112008027795619-pat00019
방향으로의 입자속도,
Figure 112008027795619-pat00020
는 1차 음원과 n번째 라우드스피커 사이의 거리에 의해 발생하는 전달 시간을 나타낸다. 그리고 라우드스피커가 선 배열을 이루고 있으므로, 가상 음원을 선 음원으로 가정하면
Figure 112008027795619-pat00021
는 하나의 원통파(Cylindrical Wave)의 확산을 나타낸다.
상기 [수학식 2]를 이산화(Discretization)시키면 하기의 [수학식 3]과 같다. 이는 상기 [수학식 2]에 있는 적분 계산 과정을 용이하게 계산하기 위함이다.
Figure 112008027795619-pat00022
상기의 [수학식 3]에서 수직방향의 성분(
Figure 112008027795619-pat00023
)을 제거하면 하기의 [수학식 4]와 같다.
Figure 112008027795619-pat00024
여기서,
Figure 112008027795619-pat00025
은 입자속도를 나타낸다.
Figure 112008027795619-pat00026
이때, 입자속도
Figure 112008027795619-pat00027
을 압력으로 변화시키기 위한 특정 음향 임피던스(Specific Acoustics Impedance) 식과 상기 [수학식 5]를 이용하여, 상기 [수학식 4]로부터 하기의 [수학식 6]이 유도될 수 있다. 예를 들어, 도 5에 도시된 n번째 라우드스피커(502)의 지향성은
Figure 112008027795619-pat00028
으로 나타낼 수 있다. 지향각(503)이 모두 청취 영역을 향하던 때와는 다른 새로운 변수
Figure 112008027795619-pat00029
,
Figure 112008027795619-pat00030
가 이용되어 1차 음원의 음압(
Figure 112008027795619-pat00031
)이 표현될 수 있다. 상기 [수학식 5]는 각 라우드스피커(502)의 지향성을 나타내는 지향각(503)을 상기 [수학식 4]에 적용하기 위함이다.
Figure 112008027795619-pat00032
여기서,
Figure 112008027795619-pat00033
를 상기[수학식 6]에 대입하면 하기의 [수학식 7]과 같이 나타나진다.
Figure 112008027795619-pat00034
한편, 상기의 [수학식 7]에 적용될 고정위상 근사화(Stationary Phase Approximation)를 하기의 [수학식 8] 내지 [수학식 14]를 통하여 살펴보기로 한다. 고정위상 근사화란 각 라우드스피커를 통해 음장 재생을 할 때, 가변적인 위상을 어느 하나의 위상으로 고정시켜 복잡한 수학식을 근사화시키는 가정에 관한 것이다.
Figure 112008027795619-pat00035
여기서,
Figure 112008027795619-pat00036
는 위상,
Figure 112008027795619-pat00037
는 음압 신호를 나타낸다.
Figure 112008027795619-pat00038
에서 음압 신호
Figure 112008027795619-pat00039
가 최소값을 갖게 되면,
Figure 112008027795619-pat00040
이 된다. 그리고 이 최소값이
Figure 112008027795619-pat00041
의 모든 다른 최소값들(Minima)보다 작다고 가정한다. 이때, 위 적분에서 가장 주도적으로 공헌하는 영역은
Figure 112008027795619-pat00042
의 근처가 될 것이며, 이를 고정위상 지점(Stationary Phase Point)이라고 부른다.
음압 신호
Figure 112008027795619-pat00043
는 아래의 [수학식 9]와 같이, 테일러 시리즈(Taylor Series)의 일부로 변형된다.
Figure 112008027795619-pat00044
이 중에서,
Figure 112008027795619-pat00045
를 이용하면 다시 하기의 [수학식 10]과 같이 나타낼 수 있다.
Figure 112008027795619-pat00046
그리고 상기의 [수학식 10]을 상기의 [수학식 8]에 대입하여 전개하면 하기의 [수학식 11]을 얻을 수 있다.
Figure 112008027795619-pat00047
상기의 [수학식 7]에 대하여 위와 같은 고정위상 근사화를 취하기 위해서, 상기의 [수학식 7]에 하기의 [수학식 12]를 대입하면 하기의 [수학식 13]과 같다.
Figure 112008027795619-pat00048
Figure 112008027795619-pat00049
Figure 112008027795619-pat00050
Figure 112008027795619-pat00051
이때, s 지점에서 최소값을 갖는다고 하면,
Figure 112008027795619-pat00052
에서 고정위상(stationary phase)을 갖는다고 할 수 있기 때문에,
Figure 112008027795619-pat00053
이다. 음압 신호
Figure 112008027795619-pat00054
은 천천히 변하는 함수라고 볼 수 있다. 이를
Figure 112008027795619-pat00055
이라고 가정할 수 있다. 그러면, 상기의 [수학식 13]은 하기의 [수학식 14]로 정리가 된다.
Figure 112008027795619-pat00056
여기서, 이러한 고정위상 근사화(approximation)의 물리적 의미는 라우드스피커 어레이에 의해 발생하여 청취 위치에 도달하는 대부분의 에너지가 음원과 청취 위치까지의 직선 사이에 위치해 있는 라우드스피커에서 생성된다는 의미이다.
상기의 [수학식 14]에
Figure 112008027795619-pat00057
,
Figure 112008027795619-pat00058
를 적용하여 계산하면, 하기의 [수학식 15]와 같다.
Figure 112008027795619-pat00059
이때, 모든 라우드스피커는 움직이는 여러 청취지점에 따라 고정위상 지점이 될 수 있다. 따라서 모든 라우드스피커에 맞게 일반화하면 하기의 [수학식 16]과 같다.
Figure 112008027795619-pat00060
이때, 상기의 [수학식 16]을 하기의 [수학식 17]에 대입해서 전개하면, 하기의 [수학식 18]과 같다.
Figure 112008027795619-pat00061
Figure 112008027795619-pat00062
이때,
Figure 112008027795619-pat00063
이므로, 이를 상기 [수학식 18]에 대입하면 하기의 [수학식 19]로 정리된다.
Figure 112008027795619-pat00064
그러므로 라우드스피커의 지향성에 의해 고정위상 지점이 바뀌지 않는다면, 모든 가정이 성립한다.
특히, 상기 [수학식 1]과 결과적으로 비교했을 때, 라우드스피커의 지향성을 나타내는
Figure 112008027795619-pat00065
항이
Figure 112008027795619-pat00066
로 변경된다. 즉, 이전의 모든 항은 그대로 사용되고, 지향각
Figure 112008027795619-pat00067
에 의한 방향 패턴(Directivity Pattern)만 라우드스피커의 지향성에 따라 다르게 적용해주면 된다는 사실을 알 수 있다.
그리고 하기의 [수학식 20]과 같이 정규화 변수
Figure 112008027795619-pat00068
을 이용하여 정규화하면 다음과 같다.
Figure 112008027795619-pat00069
상기의 [수학식 20]과 같이, 정규화 변수
Figure 112008027795619-pat00070
을 이용하여 직선 스피커 어레이(501) 상의 각 라우드스피커에 부가하는 가중치를 조절할 수도 있다. 이는 간단히
Figure 112008027795619-pat00071
Figure 112008027795619-pat00072
형태의 수학식을 이용한다. 또한, 상기의 [수학식 20]을 간략화해야 할 경우,
Figure 112008027795619-pat00073
을 적용할 수 있다.
도 6 은 본 발명에 따른 전방 스피커 어레이를 통한 음장 재생 장치의 일실시예 구성도이다.
먼저, 입력부(610)는 라우드스피커 배열의 위치와 간격 등이 포함된 라우드 스피커 어레이 정보(이하, 스피커 배열 정보)를 입력받거나 미리 입력받아 저장하고 있다. 또한, 입력부(610)는 재생 대상이 되는 음원 신호와 음장 정위 정보를 입력받는다. 이하, 상기 전방 스피커 어레이의 각각의 스피커에 대한 지향각 정보가 포함된 스피커 배열 정보와 상기 음원 신호의 음상 정위 정보를 포괄하여 "음장 재생 정보"라 하기로 한다.
그리고 신호 처리부(620)는 입력부(610)에서 입력받은 음원 신호를 가상의 호형 어레이 형태로 재생하고자 할 때, 전방 스피커 어레이의 스피커 구동 신호를 입력부(610)에서 입력받은 음장 재생 정보를 기초로 하여 산출한다. 이때, 신호 처리부(620)는 상기의 [수학식 8] 내지 [수학식 14]의 고정위상 근사화 방식에 따라 상기 스피커 구동 신호를 산출한다. 여기서, 신호 처리부(620)는 넓지 않은 청취 공간 내에 전방 스피커로 이루어진 전방 스피커 어레이인 경우, 그 스위트 스팟을 넓혀줄 수 있도록 상기의 [수학식 19]와 [수학식 20]과 같은 호형 신호처리 방식을 적용할 수 있다. 즉, 신호 처리부(620)는 상기의 [수학식 19]에 따라 스피커 배열 정보에 포함된 지향각 정보에 따라 전방 스피커 어레이의 스피커 방향 패턴을 변경하여 각 라우드스피커가 방사해야 하는 음압을 스피커별 충격 응답의 형태로 산출한다. 이때, 신호 처리부(620)는 상기의 [수학식 20]에 따라 전방 스피커 어레이의 각 스피커에 부가할 가중치를 정규화 변수를 이용하여 조절한다.
그리고 신호 처리부(620)는 산출된 스피커별 충격 응답을 신호처리하여 전방 스피커 어레이의 스피커 구동 신호를 구한다. 즉, 신호 처리부(620)는 산출된 스피커별 충격 응답을 푸리에 변환(Fourier Transform)을 거쳐 정위시키고자 하는 음원 신호와 컨벌루션한다. 그리고 신호 처리부(620)는 이러한 컨벌루션 과정을 통해 n개의 라우드스피커가 방사해야 하는 전방 스피커 어레이의 스피커 구동 신호를 모두 구하게 된다. 이러한 컨벌루션 과정은 하나의 직접음 음원을 청취 공간 내에 가상 정위시키기 위함이다.
그리고 오디오 재생부(630)는 신호 처리부(620)에서 산출된 스피커 구동 신호에 따라 전방 스피커 어레이를 통해 가상의 호형 어레이 형태로 음원 신호를 재생한다.
도 7 은 본 발명에 따른 전방 스피커 어레이를 통한 음장 재생 방법에 대한 일실시예 흐름도이다.
먼저, 입력부(610)는 재생 대상이 되는 음원 신호와 음원 신호의 음장 재생 정보를 입력받는다(702). 즉, 입력부(610)는 음원 재생 정보로서, 전방 스피커 어레이의 각각의 스피커에 대한 지향각 정보가 포함된 스피커 배열 정보와 상기 음원 신호의 음상 정위 정보를 입력받는다.
이후, 신호 처리부(620)는 입력부(610)에서 입력받은 음원 신호를 가상의 호형 어레이 형태로 음장 재생하고자 할 때, 전방 스피커 어레이의 스피커 구동 신호를 입력부(610)에서 입력받은 음장 재생 정보를 기초로 하여 산출한다(704). 이때, 신호 처리부(620)는 고정위상 근사화 방식에 따라 상기 스피커 구동 신호를 산출한다.
즉, 신호 처리부(620)는 입력부(610)에서 입력받은 스피커 배열 정보를 분석하여 라우드스피커 어레이의 형태를 확인한다. 예를 들면, 신호 처리부(620)는 라 우드스피커 어레이의 배열 형태가 등간격 직선 스피커 어레이인지 또는 직선 라우드스피커인지를 확인한다.
상기 확인 결과, 전방 스피커 어레이의 형태가 등간격 직선 스피커 어레이(501)이면 신호 처리부(620)는 상기의 [수학식 19]에 따라 각 스피커 구동 신호를 산출한다. 즉, 신호 처리부(620)는 상기의 [수학식 19]에 따라 스피커 배열 정보에 포함된 지향각 정보에 따라 전방 스피커 어레이의 스피커 방향 패턴을 변경하여 각 라우드스피커가 방사해야 하는 음압을 스피커별 충격 응답의 형태로 산출한다. 이때, 신호 처리부(620)는 상기의 [수학식 20]에 따라 전방 스피커 어레이의 각 스피커에 부가할 가중치를 정규화 변수를 이용하여 조절한다. 반면에, 신호 처리부(620)는 전방 스피커 어레이의 형태가 등간격 일직선 스피커 어레이가 아니면, 상기의 [수학식 1]에 따라 각 라우드스피커가 방사해야 하는 음압을 스피커별 충격 응답의 형태로 산출한다.
이후, 오디오 재생부(630)는 신호 처리부(620)에서 산출된 스피커 구동 신호에 따라 전방 스피커 어레이를 통해 가상의 호형 어레이 형태로 오디오 신호를 재생한다(706).
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨 터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
도 1은 전방 라우드스피커 어레이를 이용한 음장 합성 기술에서의 스위트 스팟에 대한 개념도,
도 2는 호형 라우드스피커 어레이를 이용한 음장 합성 기술에서의 스위트 스팟에 대한 개념도,
도 3은 호형으로 배치된 전방 라우드스피커 어레이를 설명하기 위한 일실시예 도면,
도 4는 직선으로 배치된 전방 라우드스피커 어레이를 설명하기 위한 일실시예 도면,
도 5는 등간격으로 배치된 직선 스피커 어레이를 설명하기 위한 일실시예 도면,
도 6은 본 발명에 따른 전방 스피커 어레이를 통한 음장 재생 장치의 일실시예 구성도이다.
도 7은 본 발명에 따른 전방 스피커 어레이를 통한 음장 재생 방법에 대한 일실시예 흐름도이다.
* 도면의 주요 부분에 대한 부호의 설명
610: 입력부 620: 신호 처리부
630: 오디오 재생부

Claims (10)

  1. 전방 스피커 어레이를 통한 음장 재생 장치에 있어서,
    재생하고자 하는 음원 신호와 음장 재생 정보를 입력받는 입력부;
    상기 음장 재생 정보를 이용하여 상기 전방 스피커 어레이의 스피커 구동 신호를 산출하는 신호 처리부; 및
    상기 스피커 구동 신호에 상응하여 상기 음원 신호를 가상의 호형 어레이 형태로 상기 전방 스피커 어레이를 통해 재생하는 재생부;를 포함하는 전방 스피커 어레이를 통한 음장 재생 장치.
  2. 제 1 항에 있어서,
    상기 음장 재생 정보는,
    상기 전방 스피커 어레이의 각각의 스피커에 대한 지향각 정보를 포함한 스피커 배열 정보와, 상기 음원 신호의 음상 정위 정보를 포함하는 것을 특징으로 하는 전방 스피커 어레이를 통한 음장 재생 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 신호 처리부는,
    상기 전방 스피커 어레이에 포함된 라우드스피커의 구동 함수에 고정위상 근사화 방식을 적용하여 상기 스피커 구동 신호를 산출하는 것을 특징으로 하는 전방 스피커 어레이를 통한 음장 재생 장치.
  4. 제 2 항에 있어서,
    상기 신호 처리부는,
    상기 지향각 정보에 따라 상기 전방 스피커 어레이의 스피커 방향 패턴을 변경하여 상기 스피커 구동 신호를 산출하는 것을 특징으로 하는 전방 스피커 어레이를 통한 음장 재생 장치.
  5. 제 4 항에 있어서,
    상기 신호 처리부는,
    상기 전방 스피커 어레이의 각 스피커에 부가할 가중치를 기 설정된 정규화 변수를 이용하여 조절하는 것을 특징으로 하는 전방 스피커 어레이를 통한 음장 재생 장치.
  6. 전방 스피커 어레이를 통한 음장 재생 방법에 있어서,
    재생하고자 하는 음원 신호와 음장 재생 정보를 입력받는 입력 단계;
    상기 음장 재생 정보를 이용하여 상기 전방 스피커 어레이의 스피커 구동 신호를 산출하는 신호 처리 단계; 및
    상기 스피커 구동 신호에 상응하여 상기 음원 신호를 가상의 호형 어레이 형태로 상기 전방 스피커 어레이를 통해 재생하는 재생 단계;를 포함하는 전방 스피커 어레이를 통한 음장 재생 방법.
  7. 제 6 항에 있어서,
    상기 음장 재생 정보는,
    상기 전방 스피커 어레이의 각각의 스피커에 대한 지향각 정보를 포함한 스피커 배열 정보와, 상기 음원 신호의 음상 정위 정보를 포함하는 것을 특징으로 하는 전방 스피커 어레이를 통한 음장 재생 방법.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 신호 처리 단계는,
    상기 전방 스피커 어레이에 포함된 라우드스피커의 구동 함수에 고정위상 근사화 방식을 적용하여 상기 스피커 구동 신호를 산출하는 것을 특징으로 하는 전방 스피커 어레이를 통한 음장 재생 방법.
  9. 제 7 항에 있어서,
    상기 신호 처리 단계는,
    상기 스피커 배열 정보에 포함된 지향각 정보에 따라 상기 전방 스피커 어레이의 스피커 방향 패턴을 변경하여 상기 스피커 구동 신호를 산출하는 것을 특징으로 하는 전방 스피커 어레이를 통한 음장 재생 방법.
  10. 제 9 항에 있어서,
    상기 신호 처리 단계는,
    상기 전방 스피커 어레이의 각 스피커에 부가할 가중치를 기 설정된 정규화 변수를 이용하여 조절하는 것을 특징으로 하는 전방 스피커 어레이를 통한 음장 재생 방법.
KR1020080036185A 2008-04-18 2008-04-18 전방 스피커 어레이를 통한 음장 재생 장치 및 그 방법 Expired - Fee Related KR101001665B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080036185A KR101001665B1 (ko) 2008-04-18 2008-04-18 전방 스피커 어레이를 통한 음장 재생 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080036185A KR101001665B1 (ko) 2008-04-18 2008-04-18 전방 스피커 어레이를 통한 음장 재생 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20090110598A KR20090110598A (ko) 2009-10-22
KR101001665B1 true KR101001665B1 (ko) 2010-12-15

Family

ID=41538431

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080036185A Expired - Fee Related KR101001665B1 (ko) 2008-04-18 2008-04-18 전방 스피커 어레이를 통한 음장 재생 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101001665B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101702330B1 (ko) 2010-07-13 2017-02-03 삼성전자주식회사 근거리 및 원거리 음장 동시제어 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006340302A (ja) 2005-06-06 2006-12-14 Yamaha Corp スピーカアレイ装置
JP2007028085A (ja) 2005-07-14 2007-02-01 Yamaha Corp アレイスピーカシステム、およびラインアレイユニット
JP2007300404A (ja) 2006-04-28 2007-11-15 Yamaha Corp スピーカアレイ装置及びスピーカアレイ装置の音声ビーム設定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006340302A (ja) 2005-06-06 2006-12-14 Yamaha Corp スピーカアレイ装置
JP2007028085A (ja) 2005-07-14 2007-02-01 Yamaha Corp アレイスピーカシステム、およびラインアレイユニット
JP2007300404A (ja) 2006-04-28 2007-11-15 Yamaha Corp スピーカアレイ装置及びスピーカアレイ装置の音声ビーム設定方法

Also Published As

Publication number Publication date
KR20090110598A (ko) 2009-10-22

Similar Documents

Publication Publication Date Title
JP6771540B2 (ja) サウンドバー
JP6286583B2 (ja) ラウドスピーカシステム
US8170246B2 (en) Apparatus and method for reproducing surround wave field using wave field synthesis
KR100922910B1 (ko) 사운드 필드를 생성하는 방법 및 장치
KR101702330B1 (ko) 근거리 및 원거리 음장 동시제어 장치 및 방법
JP5400769B2 (ja) 音響再生装置
KR101298487B1 (ko) 지향성 음향 발생장치 및 방법
US20130121516A1 (en) System and method for sound reproduction
US10347268B2 (en) Device and method for calculating loudspeaker signals for a plurality of loudspeakers while using a delay in the frequency domain
KR101673232B1 (ko) 수직 방향 가상 채널을 생성하는 장치 및 그 방법
JP7151840B2 (ja) 音響システム
KR20190062902A (ko) 오디오 신호 출력 장치 및 방법, 이를 이용한 디스플레이 장치
ES2915843T3 (es) Control de modos acústicos en una sala
JP2006507727A (ja) オーディオ信号を再生するためのオーディオ再生システムおよび方法
JP2011010224A (ja) 超指向性スピーカ
KR102174168B1 (ko) 스피커 음향 특성을 고려한 독립음장 구현 방법 및 구현 시스템
JP6227295B2 (ja) 空間音響生成装置およびそのプログラム
KR20100062773A (ko) 오디오 컨텐츠 재생 장치
KR100955328B1 (ko) 반사음 재생을 위한 입체 음장 재생 장치 및 그 방법
US9313600B2 (en) Method and apparatus of adjusting distribution of spatial sound energy
WO2022075077A1 (ja) 音響再生装置および方法
US11388540B2 (en) Method for acoustically rendering the size of a sound source
JP4221746B2 (ja) ヘッドホン装置
KR101001665B1 (ko) 전방 스피커 어레이를 통한 음장 재생 장치 및 그 방법
JP6179862B2 (ja) オーディオ信号再生装置およびオーディオ信号再生方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20161121

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20201210

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20201210