[go: up one dir, main page]

KR20170023870A - 데이터 프로세서 및 사용자 제어 데이터의 오디오 디코더들과 렌더러들로의 전송 - Google Patents

데이터 프로세서 및 사용자 제어 데이터의 오디오 디코더들과 렌더러들로의 전송 Download PDF

Info

Publication number
KR20170023870A
KR20170023870A KR1020167036597A KR20167036597A KR20170023870A KR 20170023870 A KR20170023870 A KR 20170023870A KR 1020167036597 A KR1020167036597 A KR 1020167036597A KR 20167036597 A KR20167036597 A KR 20167036597A KR 20170023870 A KR20170023870 A KR 20170023870A
Authority
KR
South Korea
Prior art keywords
data
audio
audio data
interaction
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020167036597A
Other languages
English (en)
Other versions
KR101967810B1 (ko
Inventor
스테판 슈라이너
시모네 퓌그
하랄드 푹스
얀 프로그스티어스
스테판 될라
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20170023870A publication Critical patent/KR20170023870A/ko
Application granted granted Critical
Publication of KR101967810B1 publication Critical patent/KR101967810B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuits Of Receivers In General (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

인코딩된 오디오 데이터 및 인코딩된 오디오 데이터와 관련된 메타데이터를 수신하기 위한 리시버 인터페이스: 오디오 데이터 조작 가능성을 결정하도록 메타데이터를 파싱하기 위한 메타데이터 파서; 상호작용 입력을 수신하고 상호작용 입력으로부터, 오디오 데이터 조작 가능성과 관련된 상호작용 제어 데이터를 발생시키기 위한 상호작용 인터페이스; 및 상호작용 제어 데이터와 인코딩된 오디오 데이터 및 메타데이터를 획득하고 인코딩된 오디오 데이터, 메타데이터의 적어도 일부분 및 상호작용 제어 데이터를 포함하는 출력 데이터 스트림을 발생시키기 위한 데이터 스트림 발생기;를 포함하는, 오디오 데이터 프로세서가 개시된다.

Description

데이터 프로세서 및 사용자 제어 데이터의 오디오 디코더들과 렌더러들로의 전송{DATA PROCESSOR AND TRANSPORT OF USER CONTROL DATA TO AUDIO DECODERS AND RENDERERS}
본 발명은 청구항 1에 따른, 오디오 데이터 프로세서, 청구항 14에 따른 오디오 데이터의 처리를 위한 방법 및 오디오 데이터의 처리를 위한 방법을 실행하기 위한 청구항 15에 따른 컴퓨터 프로그램에 관한 것이다.
가정용 가전제품(CE) 설비들에서, 기능성이 표준화된 인터페이스들을 통하여 연결되는 몇몇 장치들에 확산된다. 또한 (고품질) 장비는 단일 장치 내에 구성될 뿐만 아니라, 정교한 단일 장치들이 이용 가능하다(셋-톱 박스(set-top box)들, TV-셋, AVR-리시버 참조). 이러한 장치들은 표준화된 인터페이스들(HDMI와 같은)을 통하여 통신한다.
제 1 장치가 원하는 스트림들을 추출하고 모든 인터페이스를 사용자에 제공하는 동안에, 제 2 장치는 흔히 사용자에 어떠한 인터페이스 없이 "슬레이브 모드(slave mode)" 내의 디코딩을 실행한다. 사용자 상호작용 및 디코더의 제어에 관한 한, 이러한 시나리오에서 이러한 사용자 정보를 장치 #1로부터 장치 #2로 전달하는 것이 필수적이다.
예를 들면, 도 9에 도시된 것과 같이, 텔레비전 프로그램은 흔히 적합한 전송 채널을 선택하고 원하는 코딩된 에센스(essence)를 포함하는 관련 기본 스트림(elementary stream)을 추출하는, 셋-톱 박스와 같은 제 1 장치에 의해 수신된다. 이러한 추출된 스트림들은 재생을 위한 오디오-비디오-리시버(Audio-Video-Receiver)와 같은 제 2 장치에 공급될 수 있다. 이러한 두 개의 장치 사이의 전송은 특히 만일 대역폭 제한들이 사용되는 상호연결 라인 상에 적용되면, 디코딩된/분해된 표현(PCM 오디오)의 전송에 의하거나, 또는 인코딩된 표현 내에서 달성될 수 있다.
또한, 원하는 스트림들 및 선택적으로 사용자 상호작용의 선택이 장치 #1(예를 들면, 셋-톱 박스) 내에서 달성되기 때문에, 대부분의 경우들에서 이러한 장치만이 사용자에 제어 인터페이스를 제공한다. 제 2 장치(예를 들면, A/V 리시버)는 단지 시스템을 설정할 때 일반적으로 사용자에 의해 한 번만 액세스되는 구성 인터페이스를 제공하고 정상 작동 시간들에서 "슬레이브 모드"에서 작용한다.
현대 오디오 코덱 전략들은 오디오 신호들의 인코딩을 지원할 뿐만 아니라, 오디오 플레이-아웃(play-out)을 적용하도록 사용자 상호작용을 위한 수단들 및 청취자의 선호도에 대한 렌더링(rendering)을 제공한다. 오디오 데이터 스트림은 다수의 인코딩된 오디오 신호, 예를 들면, 채널 신호들 또는 오디오 오브젝트(audio object)들, 및 오디오 신호들이 확성기(loudspeaker)들에 렌더링되는 오디오 장면(audio scene)을 어떻게 형성하는지를 설명하는 동반하는 메타-데이터 정보로 구성된다.
오디오 오브젝트들의 예들은 다음과 같다:
● 상이한 언어들 내의 다이얼로그(dialogue)
● 오디오 기술(audio description) 같은 부가적인 다이얼로그, 또는
● 음악 및 효과 배경
메타-데이터 정보를 위한 예들은 다음과 같다:
● 각각의 오브젝트 신호의 디폴트 볼륨 레벨(default volume level) (즉, 확성기 프리젠테이션(loudspeaker presentation)을 위하여 혼합된 신호 내로 얼마나 크게 혼합되어야만 하는지)
● 디폴트 공간적 위치(즉, 어디서 렌더링되어야만 하는지)
● 사용자 상호작용이 특정 오브젝트를 허용하는지의, 정보
● 어떻게 사용자가 상호작용하도록 허용되는지의, 정보, 예를 들면 사용자가 오브젝트들을 재-패닝할(re-pan) 수 있는 위치들 상에서의 최소/최대 볼륨 레벨들 또는 제한들
● 오디오 오브젝트들의 분류 및/또는 기술
사용자 상호작용을 달성하기 위하여, 오디오 디코더들/렌더러들(예를 들면, 장치 #2)은 원하는 사용자 상호작용을 위한 제어 정보를 위하여 부가적인 (입력 또는 상호작용) 인터페이스를 제공할 필요가 있다.
대안으로서 또한 오디오 오브젝트 선택을 위한 사용자 제어 및 장치 #1 내의 조작(manipulation)을 디코딩 및 렌더링이 장치 #2에서 구현되고 장치 #1에서는 구현되지 않을 때 이러한 데이터를 장치 #2에 제공하는 것이 바람직할 수 있다.
그러나, 그러한 데이터의 전송은 현존하는 표준화된 연결이 사용자 제어 데이터 및/또는 렌더러 정보를 지원하지 않는다는 사실에 기인하여 제한된다.
대안으로서, 장치 #1을 위하여 위에 설명된 것과 같은 스트림들과 사용자 상호작용의 선택, 및 장치 #2를 위하여 위에 설명된 것과 같은 디코딩은 동일한 장치 내에 포함된 두 개의 개별 기능 성분들에 의해 처리될 수 있는데, 즉 코딩된 데이터 및 및 사용자 상호작용 데이터를 위하여 오직 하나의 인터페이스, 바람직하게는 장치 #1의 상호작용 인터페이스만이 이용 가능하며, 사용자 상호작용 데이터를 위한 제 2 인터페이스, 즉 일반적으로 장치 #2에 의해 제공되는 인터페이스는 생략될 수 있다. 장치 #1 및 장치 #2 모두가 동일한 (하드웨어) 장치 내에 포함되거나 또는 구현되더라도, 이는 분리된 장치 #1 및 #2의 경우를 위하여 설명된 것과 동일한 상황에 이르게 한다.
설명된 사용 경우를 달성하고 위에 설명된 제한들을 극복하기 위하여, 사용자 제어 정보, 또는 일반적으로 상호작용 데이터를 인코딩된 오디오 데이터 스트림 내로 내장하는(embed) 것이 제안된다.
따라서, 현존하는 오디오 데이터 프로세서들을 향상시키는 것이 본 발명의 목적이다.
일반적으로, 제 1 장치는 청구항 1에 정의된 것과 같이 인코딩된 오디오 데이터 및 인코딩된 오디오 데이터와 관련된 메타데이터를 수신하기 위한 리시버 인터페이스; 오디오 데이터 조작 가능성을 결정하도록 메타데이터를 파싱하기 위한 메타데이터 파서(metadata parser); 상호작용 입력을 수신하기 위한, 그리고 상호작용 입력으로부터 오디오 데이터 조작 가능성과 관련된 상호작용 제어 데이터를 발생시키기 위한 상호작용 인터페이스; 및 상호작용 제어 데이터와 인코딩된 오디오 데이터 및 메타데이터를 획득하고 출력 데이터 스트림을 발생시키기 위한 데이터 스트림 발생기;를 포함하는, 오디오 데이터 프로세서로서 구성될 수 있으며, 출력 데이터 스트림은 인코딩된 오디오 데이터, 메타데이터의 적어도 일부분, 및 상호작용 제어 데이터를 포함한다. 다른 바람직한 실시 예들은 첨부된 종속항들 및 또 다른 독립항들에 의해 정의된다.
인코딩된 오디오 데이터는 개별 인코딩된 오디오 오브젝트들을 포함할 수 있으며, 메타데이터의 적어도 일부분은 상응하는 오디오 오브젝트와 관련되며, 메타데이터 파서는 적어도 하나의 오디오 오브젝트를 위하여, 오브젝트 조작 가능성을 결정하도록 인코딩된 오디오 오브젝트들을 위하여 상응하는 부분을 파싱하도록 구성되며, 상호작용 인터페이스는 적어도 하나의 인코딩된 오디오 오브젝트를 위하여, 적어도 하나의 인코딩된 오디오 오브젝트와 관련된 상호작용 입력으로부터 상호작용 제어 데이터를 발생시키도록 구성된다. 따라서, 오디오 오브젝트들은 각각의 상호작용 제어 데이터의 사용에 의해 메타데이터 내에 저장되는 그것들의 상응하는 오브젝트 조작 가능성들 내에서 쉽고 직접적으로 조작될 수 있다.
상호작용 인터페이스는 사용자에, 메타데이터 파서에 의해 메타데이터로부터 유도되는 오디오 데이터 조작 가능성을 제공하도록 구성되고, 사용자로부터, 데이터 조작 가능성의 특정 데이터 조작에 대한 사용자 입력을 수신하도록 구성될 수 있다. 이는 바람직하게는 디코더로부터 외부로, 본 발명의 장치와의 상호작용을 위하여, 예를 들면, 오디오 오브젝트들의 조작을 위하여 사용자에 사용자 인터페이스를 제공하기 위한 실용적인 방법을 실현할 수 있다.
데이터 스트림 발생기는 인코딩된 오디오 데이터 및 인코딩된 오디오 데이터 없이 리시버 인터페이스에 의해 수신된 메타데이터를 포함하는 데이터 스트림을 처리하도록 구성될 수 있거나, 또는 인코딩된 오디오 데이터 및 출력 데이터 스트림의 변화가 없는 메타데이터의 적어도 일부분을 복사하도록 구성될 수 있으며, 데이터 스트림 발생기는 상호작용 제어 데이터를 포함하는 부가적인 데이터 부분을 인코딩된 오디오 데이터 및/또는 출력 데이터 스트림 내의 메타데이터에 추가하도록 구성된다. 이는 더 적은 복잡도의 장점을 제공하는데 그 이유는 오디오 데이터 프로세서가 오디오 신호들을 디코딩할 필요가 없기 때문이다. 이는 단지 메타-데이터를 파싱하고 및 이를 다시 인코딩된 오디오 데이터 스트림의 메타-데이터 부분에 판독하는 것만 요구한다.
데이터 스트림 발생기는 출력 데이터 스트림 내에서, 메타데이터와 동일한 포맷으로 상호작용 제어 데이터를 발생시키도록 구성될 수 있다. 따라서, 어떠한 상호작용 제어 데이터도 바람직하게는 출력 데이터 스트림 내로 통합될 수 있다.
데이터 스트림 발생기는 출력 데이터 스트림 내의 식별자(identifier)를 상호작용 제어 데이터와 연관시키도록 구성될 수 있으며, 식별자는 메타데이터와 연관되는 식별자와는 다르다. 조작된 메타-데이터를 위한 상이한 식별자의 사용의 장점은 원격 디코더가 수신된 조작된 데이터 스트림으로부터 상호작용을 식별하는 것을 가능하게 할 수 있고 또한 원래 데이터를 수신할 수 있다는 것이다.
데이터 스트림 발생기는 서명 데이터(signature data)를 상호작용 제어 데이터에 추가하도록 구성될 수 있으며, 서명 데이터는 적용에 대한 정보, 상호작용을 실행하는 장치 또는 사용자, 예를 들면 오디오 데이터 조작 또는 사용자 입력의 정보를 나타낸다. 원래 및 조작된 데이터를 전송함으로써 메타-데이터의 재설정이 가능하다. 메타데이터 내의 서명은 조작의 기원을 추적하도록 허용한다.
메타데이터 파서는 인코딩된 오디오 데이터에 의해 표현되는 하나 이상의 오디오 오브젝트의 불능화(disabling) 가능성을 식별하도록 구성될 수 있으며, 상호작용 인터페이스는 하나 이상의 오디오 오브젝트를 위한 불능화 정보를 수신하도록 구성되며, 데이터 스트림 발생기는 상호작용 제어 데이터 내에서 하나 이상의 오디오 오브젝트를 불능화된 것으로 표시하도록 구성되거나 또는 출력 데이터 스트림이 불능화된 하나 이상의 오디오 오브젝트를 위한 인코딩된 오디오 데이터를 포함하지 않도록 인코딩된 오디오 데이터로부터 불능화된 하나 이상의 오디오 오브젝트를 제거하도록 구성된다. 따라서, 데이터 스트림은 현재 비트 스트림의 총 데이터 스트림이 감소될 수 있는 것과 같이 실제로 또는 현재 이용 가능한 그러한 오디오 오브젝트들에 적응될 수 있다.
데이터 스트림 발생기는 축력 데이터 스트림을 동력학적으로 발생시키도록 구성될 수 있으며, 새로운 상호작용 입력에 응답하여, 상호작용 제어 데이터는 새로운 상호작용 입력과 일치하도록 업데이트되며, 데이터 스트림 발생기는 출력 데이터 스트림 내에 업데이트된 상호작용 제어 데이터를 포함하도록 구성된다. 따라서, 데이터 스트림은 실-시간 정보로 보내질 수 있다. 바꾸어 말하면, 어떠한 오디오 오브젝트 특정 값들에 관한 상호작용 입력은 빠른 방식으로, 바람직하게는 실-시간으로 업데이트되고 처리될 수 있다.
리시버 인터페이스는 인코딩된 오디오 데이터 및 인코딩된 오디오 데이터와 관련된 메타데이터를 포함하는 주 오디오 데이터 스트림을 수신하고, 부가적으로 선택적 오디오 오브젝트를 포함하는 선택적 오디오 데이터를 수신하도록 구성될 수 있으며, 상기 선택적 오디오 오브젝트와 관련된 메타데이터는 상기 주 오디오 데이터 스트림 내에 포함된다. 이러한 구성 내에서, 오디오 데이터 프로세서는 선택된 선택적 오디오 오브젝트의 인코딩된 오디오 데이터를 데이터 스트림 발생기에 의해 완전한 출력 오디오 데이터 스트림을 야기하는 주 오디오 데이터 스트림 내로 병합할 수 있다. 따라서, 선택적 오디오 오브젝트들이 그 뒤에 또는 요구에 따라 부가적으로 사용자에 제공될 수 있다.
메타데이터 파서는 인코딩된 오디오 데이터 내에 포함되지 않은 손실 오디오 오브젝트를 위한 오디오 조작 가능성을 결정하도록 구성될 수 있으며, 상호작용 인터페이스는 손실 오디오 오브젝트를 위한 상호작용 입력을 수신하도록 구성되며, 리시버 인터페이스는 브로드캐스트 스트림(broadcast stream) 또는 인터넷 프로토콜 연결 내에 포함된 상이한 서브스트림으로부터 손실 오디오 오브젝트를 위한 오디오 데이터를 요구하도록 구성된다. 따라서, 장치 또는 사용자는 미리, 즉 실제로 손실되는 동안에 선택적으로 이용 가능한 부가적인 오디오 오브젝트를 조작할 수 있다.
데이터 스트림 발생기는 출력 데이터 스트림 내에서, 또 다른 패킷 형태를 상호작용 제어 데이터에 할당하도록 구성될 수 있으며, 또 다른 패킷 형태는 인코딩된 오디오 데이터 및 메타데이터를 위한 패킷 형태와 다르거나, 또는 데이터 스트림 발생기는 출력 데이터(fill data) 스트림 내로, 충전 데이터 패킷 형태로 충전 데이터를 가산하도록 구성되며, 충전 데이터의 양은 오디오 데이터 프로세서의 출력 인터페이스에 의해 결정되는 데이터 비율 요구조건을 기초로 하여 결정된다. 따라서, 하나의 또 다른 패킷 형태만이 각각, 조작된 메타-데이터 또는 상호작용 제어 데이터의 전송을 달성하도록 할당하는데 필요하다. 게다가, 오디오 데이터 프로세서는 주어진, 일반적으로 그러한 링크를 위한 높은 데이터 비율 요구조건을 충족시키기 위하여 부가적인 충전 데이터를 뒤따르는 데이터 전송 스트림 내로 추가하기를 원할 수 있다. 이러한 충전 데이터는 어떠한 정보도 포함하지 않을 수 있으며 디코더에 의해 무시되도록 예상된다.
오디오 데이터 프로세서는 개별 장치로서 구현될 수 있으며, 리시버 인터페이스는 유선 또는 무선 연결을 통하여 개별 장치로의 입력을 형성할 수 있으며, 오디오 데이터 프로세서는 데이터 스트림 발생기에 연결되는 출력 인터페이스를 더 포함할 수 있고, 출력 인터페이스는 출력 데이터 스트림을 출력하도록 구성되며, 출력 인터페이스는 장치의 출력을 실행하고 무선 인터페이스 또는 유선 커넥터를 포함한다. 따라서, 예를 들면 네트워크 내에, 간단한 연결이 제공될 수 있다.
본 발명은 또한 오디오 데이터를 처리하기 위한 방법에 의해 실현될 수 있으며, 방법은: 인코딩된 오디오 데이터 및 인코딩된 오디오 데이터와 관련된 메타데이터를 수신하는 단계; 오디오 데이터 조작 가능성을 결정하도록 메타데이터를 파싱하는 단계; 상호작용 입력을 수신하는 단계 및 상호작용 입력으로부터 오디오 데이터 조작 가능성과 관련된 상호작용 제어 데이터를 발생시키는 단계; 및 상호작용 제어 데이터와 인코딩된 오디오 데이터 및 메타데이터를 획득하는 단계 및 출력 데이터 스트림을 발생시키는 단계;를 포함하며, 출력 데이터 스트림은 인코딩된 오디오 데이터, 메타데이터의 적어도 일부분, 및 상호작용 제어 데이터를 포함한다.
본 발명은 또한 컴퓨터 또는 프로세서 상에서 구동할 때, 앞서 언급된 오디오 데이터의 처리 방법을 실행하기 위한 컴퓨터 프로그램에 의해 실현될 수 있다.
본 발명은 또한 아래의 실시 예들에 의해 실현될 수 있다:
오디오 데이터 조작 가능성은 적어도 하나의 오브젝트 선택, 몇몇 언어들 중에서의 선택, 선택적 부가적인 오디오 오브젝트들의 선택, 오브젝트 조작, 하나 이상의 오브젝트의 볼륨의 변화, 중앙 스피커로부터 오른쪽 스피커로의 부가적인 논평(commentary)의 이동 같은 오브젝트들의 위치 또는 그것들 사이의 임의 위치의 변화, 각각의 오브젝트를 개별적으로 선택하고 조작하는 대신에, 프리셋(preset)들의 선택을 포함하는 그룹으로부터 선택될 수 있으며, 메타데이터로부터의 프리셋이 선택되고, 프리셋은 특정 적용 또는 특정 사용 시나리오를 위하여 콘텐츠 생성기(content creator)에 의해 추천되는 오브젝트들의 사전-선택이며, 프리셋은 예를 들면 디폴트 표시와 비교하여 상이한 볼륨 레벨들, 위치들 및 라우드니스(loudness)/동적 범위 압축 데이터를 갖는 오브젝트들의 조합을 포함한다.
데이터 스트림 발생기는 독립 정보로서 또는 종속 정보로서 상호작용 제어 데이터를 발생시키도록 구성될 수 있으며, 종속 정보는 만일 상호작용 입력에 의해 정의되는 데이터 조작 내의 메타데이터와 함께, 디코딩되는 오디오 데이터에 적용되면, 메타데이터 및 결과들에 의존한다.
인코딩된 오디오 데이터는 선택적 오디오 오브젝트들을 포함할 수 있고 메타데이터는 선택적 오디오 오브젝트를 위한 메타데이터를 포함할 수 있으며, 리시버 인터페이스는 부가적으로 주 오디오 데이터를 갖는 주 오디오 데이터 스트림을 수신하도록 구성될 수 있으며, 데이터 스트림 발생기는 출력 데이터 스트림이 부가적으로 주 오디오 데이터를 포함하도록 하기 위하여 출력 데이터 스트림을 발생시키도록 구성될 수 있다.
데이터 스트림 발생기는 오류 보호 데이터(error protection data)를 출력 데이터 스트림에 추가하고 또 다른 패킷 형태를 오류 보호 데이터에 할당하도록 구성될 수 있으며, 데이터 스트림 발생기는 인코딩된 오디오 데이터, 메타데이터 또는 상호작용 제어 데이터로부터 오류 보호 데이터를 유도하도록 구성된다.
데이터 스트림 발생기는 스트리밍을 위한 데이터 스트림으로서 또는 ISO MPEG-4 파일 포맷과 같은 파일 포맷 내의 컨테이너 기반 파일로서 출력 데이터 스트림을 발생시키도록 구성될 수 있다.
또한 오디오 데이터 프로세서가 인코딩된 오디오 데이터를 디코딩하는 기능성을 갖지 않는 것이 제안된다.
오디오 데이터 프로세서는 셋-톱 박스, 텔레비전 세트 또는 오디오/비디오 리시버 내에서 구현될 수 있다.
오디오 데이터 프로세서는 HDMI 연결을 통하여 출력 데이터 스트림을 또 다른 장치에 전송하기 위한 출력 인터페이스를 더 포함할 수 있다.
동일한 (하드웨어) 장치 내의 디코더와 함께 통합되거나 또는 구현되는 오디오 데이터 프로세서가 또한 제공될 수 있다. 예를 들면, 오디오 데이터 프로세서 및 디코더는 TV, 셋-톱 박스, A/V 리시버 등 내에 함께 제공될 수 있다. 오디오 데이터 프로세서 및 디코더는 내부 데이터 버스 구조들을 통하여 통신할 수 있다. 그러한 구성은 시스템-온-칩(System-on-chip, SoC) 솔루션들을 포함하는 TV-장치들에 특히 바람직할 수 있다.
따라서 또는 대안으로서, 오디오 데이터 프로세서는 개별 장치의 경우를 위하여 위에 설명된 경우와 동일한 장치 내에서 독립적이고 개별적인 기능성 성분으로서 구현될 수 있으며, 유일한 차이점은 출력 인터페이스가 예를 들면 내부 데이터 버스(data bus)를 사용하여, 장치 내부의 연결 상에서 오디오 데이터 프로세서의 출력을 실행한다는 점이다.
위에 언급된 특징들과 관련하여, 본 발명에 따른 오디오 데이터 프로세서는 장치 또는 사용자와의 쉬운 상호작용을 제공할 수 있으며, 동시에, 바람직하게는 현존하는 설비들을 사용하여, 간단한 장치 설정을 제공할 수 있다.
게다가, 본 발명에 따른 오디오 데이터 프로세서는 부가적인 상호작용 데이터로서 장치 상호작용 및 사용자 상호작용을 오디오 비트스트림 내에 내장함으로써 위에 언급된 문제점에 대한 해결책을 제공한다. 위에 설명된 특징들의 구현에 의해, 디코더 구현들은 인코딩된 표현 데이터 및 상호작용 제어 데이터 모두를 취하는 단지 하나의 인터페이스만을 필요로 할 수 있다. 이미 존재하는 상호작용들은 제어 정보를 위하여 새로운 채널을 구현할 필요가 없을 수 있으나, 구현 효과는 코덱 자체 내로 이동된다. 복잡한 설정들에서, 상호작용 제어 정보가 인코딩된 에센스와 밀접하게 관련되고 따라서 몇몇 처리 단계들을 통하여 제공될 때 손실되지 않을 수 있다는 것이 또한 보장된다.
본 발명에 따른 실시 예들의 예들이 도면에 도시되고 아래에 설명될 것이다.
도 1은 본 발명에 따른 오디오 데이터 프로세서를 도시한다.
도 2는 본 발명에 따른 오디오 데이터의 처리를 위한 방법을 도시한다.
도 3은 인코딩된 오디오 데이터 및 관련 메타데이터의 일례를 도시한다.
도 4는 입력 및 출력 스트림들의 처리의 일례를 도시한다.
도 5는 입력 및 출력 스트림들의 처리의 또 다른 예를 도시한다.
도 6은 선택적 오디오 데이터를 처리하는 오디오 데이터 프로세서를 도시한다.
도 7은 개별 장치 내에 구현되는 오디오 데이터 프로세서를 도시한다.
도 8은 제 1 장치 및 제 2 장치의 바람직한 사용 경우를 도시한다.
도 9는 셋-톱 박스 및 오디오-비디오 리시버로의 바람직한 시나리오를 도시한다.
본 문서에서 대체로, 그리고 특히 아래의 설명에서, 용어 "상호작용"은 사용자에 의한 상호작용 또는 장치에 의한 상호작용의 의미뿐만 나이라, 일반적인 상호작용, 즉 일반적인 상식에서의 상호작용의 의미로 사용된다. 바꾸어 말하면, "상호작용"은 "사용자 상호작용: 또는 "장치 상오작용", 또는 일반적인 상호작용을 의미한다. 설명의 특정 부분들에서, 용어들 "사용자" 및 "상호작용"은 동의어로 사용된다. 예를 들면, 사용자 인터페이스는 상호작용 인터페이스의 의미로 동의어로 사용되고 번대도 마찬가지이다.
게다가, "사용자"는 인간 사용자 또는 (하드웨어) 장치 또는 소프트웨어-구현 장치와 같은, 기계 사용자일 수 있다.
또한, 사용자 인터페이스는 독점적으로 또는 부가적으로 사용자 입력에 대하여, 데이터 조작을 제어할 수 있는 장치 특이 프리셋 구성으로서 존재할 수 있다.
도 1은 본 발명의 오디오 데이터 프로세서(1)를 도시한다. 오디오 데이터 프로세서(1)는 인코딩된 오디오 데이터(3) 및 메타데이터(4)를 포함하는 인코딩된 입력 스트림(15)을 수신하기 위한 리시버 인터페이스(2)를 포함한다. 메타데이터(4)는 인코딩된 오디오 데이터(3)와 관련되고, 이러한 관계는 화살표(110)에 의해 표시된다. 예를 들면, 인코딩된 오디오 데이터(3)는 오디오 오브젝트들을 포함할 수 있으며 메타데이터(4)는 상기 오디오 오브젝트들의 조작 가능성들에 대한 또 다른 정보를 포함할 수 있다.
오디오 데이터 프로세서(1)는 오디오 데이터 조작 가능성을 결정하도록 메타데이터(4)를 파싱하기 위한 메타데이터 파서(5)를 더 포함한다. 예를 들면, 조정 가능한 볼륨 레벨, 조정 가능한 공간 위치 또는 선택 가능한 언어가 오디오 오브젝트의 오디오 데이터 조작 가능성을 표현할 수 있다.
게다가, 오디오 데이터 프로세서(1)는 상호작용 입력(7)을 수신하기 위한 상호작용 인터페이스(6)를 포함한다. 상호작용 인터페이스(6)는 또한 상호작용 입력(7)을 기초로 하여 상호작용 제어 데이터(8)를 발생시키도록 구성된다. 상기 상호작용 제어 데이터(8)는 앞서 언급된 오디오 데이터 조작 가능성과 관련된다. 예를 들면, 사용자는 오디오 오브젝트의 볼륨 레벨 또는 공간 위치의 조정에 의해, 혹은 상호작용 인터페이스(6)를 통한 언어의 선택에 의해 장치와 상호작용할 수 있다. 이러한 경우에서, 상호작용 인터페이스(6)는 사용자의 선택과 관련된 상응하는 사용자 제어 데이터(8)를 발생시킬 수 있는 사용자 인터페이스(6)이다.
부가적으로 또는 대안으로서, 상호작용 인터페이스(6)는 장치 (특이) 상호작용 인터페이스(6)일 수 있다. 이러한 경우에, 장치 상호작용 인터페이스(6)는 장치 상호작용 입력(7)을 기초로 하여 장치 상호작용 제어 데이터(8)를 발생시키도록 구성된다. 예를 들면, 헤드폰 등과 같은 장치가 상호작용 인터페이스(6)에 연결될 수 있다. 헤드폰 및 상호작용 인터페이스(6) 사이의 연결은 오디오 프로세서에 의해 검출될 수 있으며 따라서 상호작용 입력(7)으로서 간주될 수 있다. 따라서, 헤드폰의 연결 상에서, 상호작용 인터페이스(6)는 오디오 오브젝트 조작, 예를 들면 볼륨의 자동 감소, 미리 선택되는 언어 또는 하드웨어 구성에서의 조정과 같은, 헤드폰 특이 상호작용 제어 데이터(8)를 제공한다.
바꾸어 멀하면, 수동 사용자 상호작용 대신에, 상호작용 인터페이스(6)는 특정 장치들의 검출을 기초로 하여 오브젝트들 또는 조정들을 자동으로 선택한다. 상호작용 인터페이스(6)는 장치 특이 상호작용 제어 데이터(8)를 발생시킨다.
오디오 데이터 프로세서(1)는 데이터 스트림 발생기(9)를 더 포함한다. 데이터 스트림 발생기(9)는 상호작용 제어 데이터(8), 인코딩된 오디오 데이터(3) 및 메타데이터(4)를 획득한다. 데이터 스트림 발생기(9)는 앞서 언급된 상호작용 제어 데이터(8), 인코딩된 오디오 데이터(3) 및 메타데이터(4)를 포함하는 출력 데이터 스트림(10)을 발생시키도록 구성된다.
도 2는 본 발명에 따라는 오디오 데이터의 처리를 위한 상응하는 방법을 도시한다.
단계(201)에서 인코딩된 오디오 데이터(3) 및 관련 메타데이터(4)가 수신된다.
단계(202)에서 메타데이터(4)는 오디오 데이터 조작 가능성을 결정하도록 파싱된다.
단계(203)에서 상호작용 입력이 수신되며, 오디오 데이터 조작 가능성과 관련된 상호작용 제어 데이터는 단계(204)에서 상기 상호작용 입력으로부터 발생된다.
단계(205)에서 상호작용 제어 데이터와 인코딩된 오디오 데이터 및 메타데이터가 획득되고, 축력 데이터 스트림이 발생되며, 상기 출력 데이터 스트림은 인코딩된 오디오 데이터, 메타데이터의 적어도 일부분 및 상호작용 제어 데이터를 포함한다.
도 3을 참조하면, 인코딩된 오디오 데이터(3)는 개별 인코딩된 오디오 오브젝트들(11, 12)을 포함한다. 게다가, 메타데이터(4)의 적어도 일부분(13, 14)은 상응하는 오디오 오브젝트(11, 12)와 관련된다(화살표(110, 120)에 의해 표시). 예를 들면, 메타데이터의 일부분 'MD1'(13)은 상응하는 인코딩된 오디오 오브젝트 'AO1'(11)와 관련되고, 메타데이터의 일부분 'MD2'(14)는 상응하는 인코딩된 오디오 오브젝트 'AO2'(12)와 관련된다.
메타데이터 파서(5)는 상기 오디오 오브젝트들(11, 12) 중 적어도 하나의 오브젝트 조작 가능성을 결정하기 위하여 인코딩된 오디오 오브젝트들(11, 12)을 위하여 상응하는 부분(13, 14)을 파싱하도록 구성된다. 바꾸어 말하면, 메타데이터 파서(5)는 각각의 오디오 오브젝트(11, 12)를 위한 오디오 오브젝트 조작 가능성을 결정하기 위하여 각각의 오디오 오브젝트들(11, 12)을 위한 메타데이터(13, 14)를 파싱한다. 예를 들면, 메타데이터 파서(5)는 오디오 오브젝트 'AO1'(11)가 조정 가능한 볼륨 레벨을 포함할 수 있는 것을 결정한다. 메타데이터 파서(5)는 사용자 인터페이스(6)를 통하여 이러한 잠재적인 볼륨 레벨 조정 가능성(오디오 오브젝트 조작 가능성)을 사용자에 제공할 수 있다.
사용자 인터페이스(6)는 적어도 하나의 오디오 오브젝트(11, 12)를 위하여, 적어도 하나의 인코딩된 오디오 오브젝트(11, 12)와 관련된 사용자 입력(7)으로부터 사용자 제어 데이터(8)를 발생시키도록 구성된다. 예를 들면, 사용자는 오디오 오브젝트 'AO1'(11)의 볼륨 레벨을 조정하는 것을 원할 수 있고 따라서 사용자 인터페이스(6)를 통하여 각각의 입력(7)을 제공한다. 사용자 인터페이스(6)는 어느 정도까지 사용자가 오브젝트 'AO1'(11)의 볼륨 레벨을 조정하는 것을 원하는 정보를 포함하는 각각의 사용자 제어 데이터(8)를 발생시킨다.
따라서, 사용자 인터페이스(6)는 메타데이터 파서(5)에 의해 메타데이터(4)로부터 유도되는 오디오 오브젝트(11, 12)의 오디오 오브젝트 조작 가능성을 사용자에 제공하도록 구성된다. 사용자 인터페이스(6)는 또한 데이터 조작 가능성(예를 들면, 볼륨 레벨 조정 범위 또는 이용 가능한 언어들의 세트)의 특정 데이터 조작(예를 들면 특정 볼륨 레벨 또는 특정 언어)에 에 대하여 사용자로부터 사용자 입력(7)을 수신하도록 구성된다.
도 1 및 도 9를 참조하면, 데이터 스트림 발생기(9)는 인코딩된 오디오 데이터(3) 및 인코딩된 오디오 데이터(3)의 디코딩 없이 리시버 인터페이스(2)에 의해 수신되는 메타데이터(4)를 포함하는 데이터 스트림(15)을 처리하도록 구성된다. 예를 들면, 본 발명에 따른 오디오 데이터 프로세서(1)가 셋-톱 박스(19, 26) 내에서 구현되는 것으로 가정하면, 이는 출력 데이터 스트림(10, 32)을 디코더를 포함하는 외부 오디오/비디오 리시버(28, 33)로 전달할 수 있다. 이러한 경우에, 출력 데이터 스트림(10, 32)은 여전히 인코딩될 수 있는데 그 이유는 디코딩이 셋-톱 박스(19, 26)가 아닌, 오디오/비디오 리시버(28, 33)에 의해 실행될 것이기 때문이다.
대안으로서, 데이터 스트림 발생기(9)는 출력 데이터 스트림(10)의 변화 없이 인코딩된 오디오 데이터(3) 및 메타데이터(4)를 복사하도록 구성된다.
어떠한 경우에도, 데이터 스트림 발생기(9)는 도 4에서 알 수 있는 것과 같이, 상호작용 제어 데이터(8)를 포함하는 부가적인 데이터 부분을 출력 데이터 스트림(10) 내의 인코딩된 오디오 데이터(3) 및/또는 메타데이터(4)에 추가하도록 구성된다.
도 5를 참조하면, 데이터 스트림 발생기(9)는 또한 두 개의 입력 스트림(15a, 15b)을 공통 출력 스트림(10) 내로 병합하도록 구성되며, 상호작용 제어 데이터(8)를 포함하는 부가적인 데이터 부분은 출력 데이터 스트림(10) 내의 인코딩된 오디오 데이터(3) 및/또는 메타데이터(4)에 추가된다.
바람직하게는, 데이터 스트림 발생기(9)는 출력 데이터 스트림(10) 내에서, 메타데이터(4)와 동일한 포맷으로 상호작용 제어 데이터(8)를 발생시키도록 구성된다. 따라서, 상호작용 제어 데이터(8)는 이용 가능한 메타데이터(4)와 쉽게 결합될 수 있다.
만일, 위에 언급된 것과 같이, 데이터 스트림 발생기(9)가 메타데이터(4)를 복사하면, 원래 메타-데이터(4)는 각각의 오디오 오브젝트들(11, 12)을 위한 부가적인 상호작용 제어 데이터(8)를 포함하는 어떠한 조작된 메타-데이터에 더하여 출력 스트림(10) 내에 남을 수 있다. 원래 및 조작된 메타-데이터 모두는 디코더(28, 33)가 (사용자) 상호작용의 결과로서 차이점들을 식별하고 콘텐츠 생성기(content creator)에 의해 의도되는 것과 같이 디폴트 값들에 관한 정보를 획득하거나 또는 원래 메타-데이터(4) 및 조작된 메타-데이터(4')로부터 (사용자) 상호작용(또는 사용자 제어 데이터(8))의 결과를 계산하는 것을 허용하기 위하여 디코더에 보내질 수 있다.
도 1을 더 참조하면, 데이터 스트림 발생기(9)는 축력 데이터 스트림(10)을 동역학적으로 발생시키도록 구성된다. 언제든지 사용자 또는 장치는 새로운 상호작용 입력(7)을 상호작용 인터페이스(6)에 제공하고, 상호작용 제어 데이터(8)는 상기 새로운 상호작용 입력(7)에 일치하도록 이에 알맞게 업데이트된다. 데이터 스트림 발생기(9)는 출력 데이터 스트림(10) 내의 이러한 업데이트된 상호작용 제어 데이터(8)를 포함한다.
도 6은 본 발명에 따른 오디오 데이터 프로세서(1)를 도시하며, 선택적 오디오 정보가 처리된다. 도시된 것과 같이, 입력 데이터 스트림(15)은 인코딩된 오디오 데이터(3) 및 관련 메타데이터(4)를 포함하는 주 오디오 데이터 스트림이다. 게다가, 리시버 인터페이스(2)는 부가적으로 선택적 오디오 오브젝트(17)를 포함하는 선택적 오디오 데이터(16)를 수신한다.
그러나, 상기 부가적인 선택적 오디오 오브젝트 'AOx'(17)와 관련된 메타데이터, 즉 상기 선택적 오디오 오브젝트 'AOx'(17)의 조작 가능성들에 대한 정보는 주 오디오 데이터 스트림(15) 내에 포함된다. 따라서, 오디오 오브젝트(17)가 알려지나 존재하지는 않으며 선택적이다.
예를 면, 사용자는 드럼, 스트링(string) 및 피아노를 포함하는 오케스트라를 청취한다. 관악기들이 선택적으로 포함될 수 있다. 만일 청취자가 이제 관악기를 추가하기를 원하면, 사용자는 선택적 오디오 오브젝트(17)로서 선택적 관악기, 예를 들면 트럼펫을 추가함으로써 그렇게 할 수 있다. 상기 트럼펫을 위한 조작 가능성들이 이미 주 오디오 데이터 스트림(15)의 메타데이터(4) 내에 포함되기 때문에, 사용자는 그의 바람에 따라 현재 추가되는 트럼펫을 조작하는 가능성을 갖는다.
도 6을 더 참조하면, 상기 부가적인 오디오 오브젝트 'AOx'(17)는 인코딩된 오디오 데이터(3) 및/또는 메타데이터(4) 내에 포함되지 않은 손실 오디오 오브젝트일 수 있다. 따라서, 오디오 오브젝트(17)는 알려지지 않고 따라서 손실된다.
이러한 경우에, 리시버 인터페이스(2)는 오디오 데이터 제공자로부터 오디오 데이터 상기 손실 오디오 오브젝트에 속하는 오디오 데이터(16)를 요구하도록 구성된다. 리시버 인터페이스(2)는 또한 브로드캐스트 스트림(36) 내에 포함되는 상이한 서브스트림으로부터 상기 오디오 데이터(16)를 수신하도록 구성된다. 리시버 인터페이스(2)는 또한 인터넷 프로토콜 연결을 통하여 인터넷(37)으로부터 상기 오디오 데이터(16)를 검색하도록 구성된다.
예를 들면, 영화를 시청하는 사용자는 예를 들면 영어, 독일어 및 프랑스어를 포함하는, 언어의 이용 가능한 세트로부터 특정 언어를 선택할 수 있다. 제 4 언어가 알려지나 존재하지 않으며 따라서 손실된다. 그러나, 제 4 언어는 예를 들면 인터넷을 통하여, 그 뒤에 제공될 수 있다.
다시 도 4 및 도 5를 참조하면, 입력 데이터 스트림(15) 및 출력 데이터 스티림(10)은 일반적으로 패킷화된 구조로 이용 가능할 수 있다. 예를 들면, 직렬 ㅇ인터페이스에 대한 EG-H 오디오의 전송은 MHAS 전송 구문(N14459(ISO/IEC 23008-3 위원회안 텍스트) [1]의 섹션 13 N23008-3 참조)에 의해 정의된다. 이러한 구문은 패킷화된 방식으로 정의된다.
따라서, 조작된 메타-데이터(4) 또는 상호작용 제어 데이터(8)의 전송을 달성하기 위하여, 단지 하나의 또 다른 패킷 형태가 새로운 제어 정보를 위하여 할당되는데 필요하다.
게다가, 오디오 데이터 프로세서(1)를 포함하는 제 1 장치 'device#1'(19)는 그러한 링크를 위하여 주어진, 일반적으로 훨씬 높은 데이터 비율 요구조건을 충족시키기 위하여 뒤따르는 전송 스트림(10) 내로 부가적인 충전 데이터(18)를 추가하기를 원할 수도 있다. 이러한 충전 데이터(18)는 어떠한 정보도 포함하지 않을 수 있으며 조작된 출력 스트림(10)을 수신하는 제 2 장치에 의해 무시되는 것으로 기대된다. 이를 달성하기 위하여, 또 다른 데이터 패킷 형태가 할당될 수 있다.
또한, 전송 층이 부가 정보로서 부가적인 데이터를 전송할 수 있기 때문에, 이러한 데이터 패킷들은 또한 또 다른 패킷 형태로서 MHAS 오디오 스트림 내로 패킹될 수 있다. 이러한 데이터를 위한 일례가 MPEG-2 전송 및 프로그램 스트림 내의 기술자(descriptor)들이다.
인코딩된 오디오 데이터의 저장을 위한 또 다른 예는 ISO mp4 파일 포맷이다. 파일 포맷의 경우를 위하여 메타데이터를 파일에 판독하고, 조작하며 다시 기록하거나(write) 또는 인코딩된 오디오 데이터의 변경 없이 원래 메타-데이터에 더하여 사용자 제어 데이터를 저장하는 것이 가능하다.
참고문헌들
[1] ISO N14459 (ISO/IEC 23008-3 Committee Draft Text)
[2] IEC 60958-3: Digital audio interface - Part 3: Consumer applications"
[3] IEC 61937-11, "Digital audio - Interface for non-linear PCM encoded audio bitstreams applying IEC 60958 - Part 11: MPEG-4 AAC and its extensions in LATM/LOAS"
이제 도 7을 참조하면, 오디오 데이터 프로세서(1)는 개별 장치 "device#1'(19)로서 구현된다. 상기 개별 장치(19)에서, 리시버 인터페이스(2)는 유선 연결(21) 또는 무선 연결(22)을 통하여 개별 장치(19)에 대한 입력(20)을 형성한다.
오디오 데이터 프로세서(1)는 데이터 스트림 발생기(9)에 연결되고 장치(19)를 위한 출력을 제공하는 출력 인터페이스(23)를 더 포함한다. 또한, 출력 인터페이스(23)는 무선 인터페이스(24) 또는 유선 커넥터(25)를 통하여 출력 데이터 스트림(10)을 출력하도록 구성된다.
본 발명을 수행하는 또 다른 방법은 두 개의 개별 장치가 이용 가능한 시나리오에서의 예에 의해 설명될 수 있다. 제 1 장치 'device#1'는 본 발명에 따른 오디오 데이터 프로세서를 포함한다. 제 2 장치 'device#2'는 상기 오디오 데이터의 디코딩을 위하여 'device#1'로부터 처리되었으나, 여전히 인코딩되는, 오디오 데이터를 수신한다.
도 8 및 9에서 알 수 있는 것과 같이, 제 1 장치(19, 28)는 인코딩된 오디오 데이터(3) 및 관련 메타데이터(4)를 포함하는 입력 스트림(15)을 수신한다. 제 1 장치(19, 26)는 입력(incoming) 오디오 데이터 스트림(15) 또는 전송 스트림으로부터 메타-데이터 정보(4)를 판독하고 인코딩된 오디오데이터(3)를 본래 그대로 둔다. 제 1 장치(19, 26)는 메타-데이터(4)를 파싱하고 적용, 예를 들면 메타-데이터(4)의 일부분인 오브젝트 조작에 대한 제한들을 포함하는, 상호작용 인터페이스(6)에 오브젝트들에 관한 정보를 제공한다. 적용 또는 상호작용 인터페이스(6)로부터 사용자는 오디오 표현을 개인적 선호도에 적응시키도록 오브젝트들을 선택하고 조작할 수 있다:
● 오브젝트 선택: 예를 들면, 몇몇 언어들 중에서 하나의 선택, 산택적 부가적인 오디오 오브젝트들의 선택 등.
● 오브젝트 조작: 예를 들면, 오브젝트들의 볼륨의 변경, 중앙 스피커로부터 오른쪽 스피커로의 부가적인 논평의 이동 같은 오브젝트들의 위치 또는 그것들 사이의 임의의 위치의 변경,
● 프리셋들의 선택: 각각의 오브젝트를 개별적으로 선택하고 조작하는 대신에, 사용자는 또한 메타데이터로부터 프리셋을 선택할 수 있다. 프리셋은 특정 적용들 또는 사용 시나리오들을 위하여 콘텐츠 생성기에 의해 추천되는 오브젝트들의 사전-선택이다. 프리셋은 예를 들면 디폴트 프레젠테이션과 비교하여 상이한 볼륨 레벨들, 위치들 및 라우드니스/동역학적 범위 압축 데이터를 갖는 오브젝트들의 조합을 포함할 수 있다.
그 다음 단계에서, 제 1 장치(19, 26)는 인코딩된 오디오 데이터 스트림(10, 32) 내로 사용자 상호작용에 대한 정보(상호작용 제어 데이터(8))를 저장한다. 제 1 장치(19, 26)는 제 1 장치(19, 26)의 출력이 다시 유효한 인코딩된 오디오 스트림(10, 32)이 되도록 변경된 값들 또는 조작의 양, 예를 들면 오프셋 값들 및 조작 인자를 다시 메타-데이터 부분(4) 또는 인코딩된 오디오 데이터 스트림의 전용 부분에 기록할 수 있다.
제 1 장치(19, 26)는 각각, 조작된 메타-데이터 또는 사용자 제어 데이터(8)를 캡슐화하도록(encapsulate) 상이한 식별자, 태그(tag) 또는 패킷 형태를 사용할 수 있다. 원래 메타-데이터(4)는 조작된 메타-데이터에 더하여 출력 스트림(10, 32) 내에 남을 수 있다. 상이한 식별자, 태그 또는 페킷 형태는 제 2 장치(28, 33)가 메타-데이터(4)가 이전에 조작되었는지를 식별하는 것을 가능하게 하도록 각각, 조작된 메타-데이터 또는 상호작용 제어 데이터(8)를 위하여 사용될 수 있다. 원래 메타-데이터(4)는 제 2 장치(28, 32)가 사용자 또는 장치 상호작용의 결과로서 차이들을 식별하고 콘텐츠 생성기에 의해 의도되는 것과 같이 디폴트 값들에 관한 정보를 계산하는 것을 허용하거나, 또는 원래 메타-데이터(4) 및 조작된 메타 데이터(또는 사용자 제어 데이터(8))로부터 사용자 또는 장치 상호작용의 결과를 계산하는 것을 허용하도록 스트림(10, 32) 내에 남을 수 있다.
조작된 메타데이터의 일부분으로서, 서명 데이터가 메타-데이터(4) 내에 내장될 수 있다. 서명은 메터데이터(4)를 조작한, 적용, 장치 또는 사용자 정보를 포함할 수 있다.
사용자에 의해 선택된 오디오 오브젝트들은 메타-데이터(4) 또는 상호작용 제어 데이터(8) 내에 불능으로서 표시되거나, 또는 대안으로서 이러한 오브젝트들의 인코딩된 오디오 부분이 오디오 스트림(10)으로부터 제거될 수 있다.
사용자 또는 장치 상호작용의 과정은 동역학적일 수 있는데, 즉 사용자 또는 장치가 선택과 조작을 위한 설정들을 변경할 때마다, 제 1 장치(19, 26)는 그러한 변경된 값들을 다시 인코딩된 오디오 데이터 스트림(10)의 메타=데이터(4) 부분에 기록한다.
제 2 장치(28, 33)가 부가적으로 자동화 과정(예를 들면, 오디오 장면을 청취 상황에 적용하기 위하여) 또는 부가적인 상호작용 인터페이스 때문에, 메타-데이터(4)를 조각하는 것이 또한 가능하다. 이러한 경우에, 제 2 장치(28, 33)는 조작된 값들을 다시 인코딩된 오디오 데이터 스트림(10) 내에 기록할 수 있으며, 예를 들면 제 1 장치(19, 26)에 의해 기록된 값들을 오버라이팅(overwrite)할 수 있다.
다시 도 6을 참조하면, 본 발명을 수행하는 또 다른 방법이 이른바 하이브리드 사용 경우(hybrid use case)에서의 예에 의해 설명된다.
선택된 선택적 오디오 오브젝트들(17)의 인코딩된 오디오 데이터(3)는 주 오디오 데이터 스트림(15)의 일부분이 아닐 수 있으나, 다른 전송 채널들을 사용하여 전달될 수 있다. 예를 들면, 주 오디오 데이터 스트림(15)은 브로드캐스트 채널 상에 전달되며, 선택적 오디오 오브젝트(17)의 인코딩된 오디오 데이터(3)는 IP 연결(37)에 대한 요구에 따라서 전달된다.
모든 오브젝트를 위한 완전한 메타-데이터(4)는 상호작용 및 오브젝트 선택을 위한 모든 정보가 제 1 장치(19) 내에서 이용 가능하도록 주 오디오 데이터 스트림(15) 내에 포함된다. 따라서, 상호작용 제어 데이터(8)의 스트림(10)으로의 상호작용 및 저장의 과정은 위에 설명된 경우와 동일하다.
만일 사용자가 오브젝트(1267)를 선택하고 인코딩된 오디오 데이터(3)가 주 오디오 데이터 스트림(15)의 일부분이 아니면, 제 1 장치(19)는 주 오디오 이터 스트림(15)과 상이한 데이터 연결, 예를 들면 브로드캐스트 스트림 또는 IP 연결(37) 내의 상이한 서브-스트림(36) 상에서 이러한 오브젝트(17)의 인코딩된 오디오 데이터(3)를 수신할 수 있다.
그 다음 단계에서, 제 1 장치(19)는 선택된 오브젝트(17)의 인코딩된 오디오 데이터(3)를 제 2 장치(33)로의 또 다른 전달을 위한 완전한 오디오 데이터 스트림(10)응 야기하는 주 오디오 스트림(15) 내로 병합한다.
게다가, MPEG-H 컴파트먼트 비트스트림(compartment bitstream) 내에 내장된 상호작용 데이터(8)를 전송하기 위한 가능성이 제안된다.
도 9에서 알 수 있는 것과 같이, 고급 멀티미디어 시스템은 흔히 하나의 단일 장치 내에 원하는 모든 기능을 통합하지 않으며, 오히려 예를 들면, 셋-톱 박스들(28), TV-셋(27) 또는 AVR-리시버(28)와 같은 특별한 장치 내에서 상이한 기능적 성분들을 구현한다. 이러한 장치들은 HDMI와 같은 표준화된 인터페이스들을 통하여 통신한다.
그러나, 적어도 오디오 데이터 프로세서 및 디코더가 하나의 단일 장치 내에 통합되는 것이 또한 가능하다. 동일한 (하드웨어) 장치 내의 디코더와 함께 통합되거나 또는 구현되는, 오디오 데이터 프로세서가 제공될 수 있다. 예를 들면, 오디오 데이터 프로세서 및 디코더는 TV, 셋-톱 박스, A/V 리시버등 내에 함께 제공될 수 있다. 오디오 데이터 프로세서 및 디코더는 인터넷 데이터 버스 구조들을 통하 여 통신할 수 있다. 그러한 구성은 특히 시스템-온-칩(SoC) 솔루션들을 포함하는 TV-장치들에서 바람직할 수 있다.
따라서, 또는 대안으로서, 오디오 데이터 프로세서는 ㄷ 두개별 장치를 위하여 위에 설명된 경우와 유사한 동일한 장치 내의 독립 및 개별 기능적 성분으로서 구현될 수 있으며, 한 가지 차이점은 출력 인터페이스가 예를 들면 내부 데이터 버스를 사용하여, 장치 내부의 연결 상에 오디오 데이터 프로세서의 출력을 실행하는 것이다.
MPEG-H 콘텐츠 재생을 위한 한 가지 사용 경우는 적합한 전송 채널을 선택하고 원하는 코딩된 에센스를 포함하는 관련 요소 스트림들을 추출하는, 텔레비전 프로그램이 셋-톱 박스(STB, 26)와 같은 제 1 장치(19)에 의해 수신되는 경우이다. 상호작용, 즉 오디오 요소 선택 및 상호작용/조작을 위한 사용자 제어가 또한 일반적으로 여기서 구현된다.
MPEG-H 디코더(31)는 STB(32) 내에 위치되지 않을 수 있으며, 대신에 오디오/비디오-리시버(AVR, 28) 내에 위치될 수 있다. 이러한 사용 경우가 도 9에 도시된다.
이러한 경우에, 추출된 스트림들은 재생을 위하여 AVR(28)에 공급되는 것이 필요하다; 이러한 두 개의 장치(26, 28) 사이의 전송은 디코딩된/분해된 표현(오디오를 갖는 PCM)의 전송에 의해 달성되거나, 혹은 특히 만일 대역폭 제한들이 사용되는 상호작용 라인 상에 적용되면, 인코딩된 표현 내에 달성될 수 있다.
AVR(28)은 그리고 나서 시스템을 설정하고 정상 작동 시간들에서 "슬레이브 모드"에서 작동할 때 일반적으로 사용자에 의해 단 한 번만 액세스되는 구성 인터페이스를 제공한다.
상호작용이 STB(장치 #1, 26)에서 발생하고 디코딩과 렌더링이 AVR(장치 #2)에서 구현되기 때문에, STB(28)로부터 AVR(28)로 사용자 상호작용 정보를 보낼 수 있는 것은 당연하다.
설명된 사용 경우를 달성하고 설명된 한계들을 극복하기 위하여, 도 8에서 알 수 있는 것과 같이, 상호작용 정보 데이터(8)를 인코딩된 오디오 데이터 스트림(10) 내로 내장하는 것이 제안된다.
제 1 장치(19)는 도입 오디오 데이터 스트림(15)의 mpeg3daConfig()로부터 또는 MPEG-2 TS 기술자들과 같은 대역외 시그널링을 통하여 메타-데이터 정보(4)를 판독한다. 그리고 나서 이는 오디오 요소 메타데이터(4)를 파싱하고 메터데이터(4)의 일부분인 오브젝트 조작에 대한 제한들을 포함하는, 상호작용 인터페이스(6) 내의 오브젝트들에 관한 정보를 제공한다. 상호작용 인터페이스(6)로부터 사용자는 오디오 프리젠테이션을 이러한 개인 선호도에 적응시키도록 선택하고 조작할 수 있다. "사용자 상호작용 데이터"는 오브젝트 선택 및 조작을 기술한다.
그 다음 단계에서, 제 1 장치(19)는 새로운 MHASPacketType을 사용하여 이러한 데이터를 MHAS 오디오 데이터 스트림(32)에 기록한다. 제 1 장치(19)의 출력은 다시 유효한 인코딩된 오디오 스트림(10, 32)이다, mpeg3daConfig() 내의 원래 메타데이터(4) 및 인코딩된 오디오 신호 데이터(3)는 변형되지 않는다.
이러한 MHASPacketType의 패킷의 존재는 제 2 장치(28, 33)가 (사용자) 상호작용이 발생하였다는 것을 식별하는 것을 가능하게 한다. 원래 메타데이터(4)는 제 2 장치(10, 33)가 콘텐츠 생성기에 의해 의도되는 것과 같이 디폴트 값들에 관한 모든 정보를 획득하는 것을 허용하도록 스트림(4) 내에 남아있다.
사용자에 의해 선택되지 않은 오디오 요소들은 메타-데이터(4) 내에 불능으로서 표시되거나 또는 대안으로서 오브젝트들의 인코딩된 오디오 부분(3)이 오디오 스트림(10)으로부터 제거된다.
상호작용의 과정, 즉 장치 또는 사용자 상호작용은 동역학적일 수 있는데, 즉 사용자 또는 장치가 선택과 조작을 위한 설정들을ㅇ 변경할 때마다 제 1 자치(19, 26)는 그러한 변경된 값들을 다시 인코딩된 오디오 데이터 스트림(10)의 명시된 부분에 기록한다.
MHAS-확장
직렬 인터페이스들에 대한 MPEG-H 오디오의 전송은 MHAS 전송 구문(N14459(ISO/IEC 23008-3 위원회안 텍스트[1]의 섹션 13 참조)에 의해 정의된다. 이러한 구문은 패킷화된 방식으로 정의된다. 따라서, 사용자 상호작용 데이터의 전송을 달성하기 위하여, 단지 하나의 또 다른 패킷 형태만이 새로운 제어 정보를 위하여 할당될 필요가 있다.
테이블 1 - HMASPacketPatload()의 구문
Figure pct00001
테이블 2 - HMASPacketType의 값
Figure pct00002
PACTYP_USERINTERACTION
MHASPaxketType PACTYP_USERINTERACTION은 요소 상호작용 데이터를 디코더에 공급하도록 사용될 수 있다.
이러한 패킷 형태를 위하여, MHASPacketLabel은 (사용자) 상호작용 데이터(8)가 언급하는 MHASPacketType PACTYP_MPEGH2DACFG의 패킷과 동일한 값을 갖는다.
구문
사용자 상호작용을 위한 인터페이스로부터 구문 요소 mpeg3daElementInteraction()([2] 참조)는 비트스트림(10) 내에 내장된 (사용자) 상호작용 데이터(8)의 전달을 위하여 재-사용된다.
참고문헌들
[1] ISO/IEC JTC1/SC29/WG11 N14459, "Text of ISO/IEC 23008-3/CD, 3D audio"
[2] FhG, "Normative Interface for User Interaction", Input to the Meeting of AHG on 3D Audio, DRC and Audio Maintenance, June 2-3, 2014, Paris, France
게다가, 사용자 상호작용을 위한 규범적 인터페이스(normative interface)를 위하여 가능한 구문이 제안된다.
렌더링 제어를 위한 인터페이스로부터 상호작용 제어를 위한 인터페이스를 추출하는 것이 제안된다. mpeg3daAudioRendering() 구문 요소는 그리고 나서 렌더링 파라미터들을 정의하고 새롭게 정의된 mpeg3daElementInteraction() 구문 요소는 (사용자) 상호작용을 위하여 필요한 정보를 포함한다.
mpeg3daElementInteraction() 구문 요소의 정의
mpeg3daElementInteraction() 구문 요소는 어떠한 가능한 (사용자) 상호작용을 위한 인터페이스를 제공한다. 두 가지 상호작용 모드가 정의된다.
첫 번째 모드는 오디오 장면 내에 존재하는 각각의 요소 그룹을 위하여 상호작용이 시그널링될 수 있는, 고급 상호작용 모드이다. 이러한 모드는 사용자가 어떠한 그룹이 재생하고 그것들 모두와 상호작용하는지를(주어진 범위들과 제한들 내에서) 자유롭게 선택하는 것을(스위치 그룹 정의들의 제한들 내에서) 가능하게 한다.
두 번째 모드는 사용자가 프리셋으로서 정의된 GroupPresets(mae_AudioSceneInfo() 구문 요소로부터, [1]의 14.2 참조) 중 어느 하나를 선택할 수 있는 기본 상호작용 모드이다. 선택된 GroupPresets의 조건들 내에서 참조되는 온-오프 상태가 그리고 나서 정의되고 사용자에 의해 변경될 수 있다. 사용자는 단지 나머지 그룹들의 온-오프 상태 및 장의된 허용량과 범위들에 따른 모든 그룹의 위치와 이득만을 변경할 수 있다.
4가지 상이한 요소 변형들이 구별된다:
- 온/ 오프 상호작용: 요소들의 그룹이 온 또는 오프로 스위치된다(편집 유의사항: 이전에 "오브젝트 변화"[4]로 불리는)
- 위치 상호작용: 요소들의 그룹의 위치들이 방위각, 고도 및 거리로 변경된다(편집 유의사항: 이전에 "위치 변화"[4]로 불리는)
- 이득 상호작용: 요소들의 그룹의 레벨/이득이 변경된다(편집 유의사항: 이전에 "이득 변화"[4]로 불리는)
- WIRE 상호작용: WIRE 출력은 연결된 확성기들에 더하여 임의 출력이다. 그룹의 요소들의 오디오 콘텐츠는 와이어 출력, 예를 들면 손상된 또는 부가적인 언어 트랙의 청취를 위한 콘텐츠로 라우팅된다(routed).
모든 변형은 요소 레벨의 그룹 상에 정의되는데, 그 이유는 그룹들이 단지 공동으로 조작되어야만 하는 관련 요소들을 모으기 때문이다.
예를 들면 어떠한 장치에 상호작용이 발생하였는지를 시그널링하기 위한 서명이 도입된다.
테이블 3a mpeg3daElementInteraction()의 구문
Figure pct00003
ei_InteractionSignatureDataLength 이러한 필드는 바이트로 아래의
상호 작용 서명의 길이를 정의
한다.
e i_InteractionSignatureDataType 이러한 필드는 서명의 형태를 정의한다. 아래의 값들이 가능
하다.
mpeg3daElementInteraction()의 또 다른 실시 예가 테이블 4b에 도시된다.
테이블 3b mpeg3daElementInteraction()의 구문
Figure pct00004
테이블 4a ei_InteractionSignatureDataType의 값
Figure pct00005
ei _ InteractionSignatureData 이러한 필드는 상호작용 데이터의 발
신자 originator)를 정의하는 서명을
포함한다.
ei_InteractionSignaturweDataType의 또 다른 실시 예가 테이블 4b에 도시된다.
테이블 4b interactionSignaturweDataType의 값
Figure pct00006
ei _ InteractionSignatureData 이러한 필드는 상호작용 데이터의 발
신자 originator)를 정의하는 서명을
포함한다.
hasLocalZoomAreaSize 로컬 줌 영역 크기에 대한 정보가 이
용 가능한지를 정의하는 플래그. 만일
이러한 플래그가 이용 가능하면, 주
밍(ZOOMING)을 위한 오브젝트 재-메핑
이 적용된다.
테이블 5 ElementInteractionData()의 구문
Figure pct00007
ei _ interactionMode 고급 상호작용 형태 또는 기본 상호작용 형
태가 선택되는지를 정의하는 플래그
ei _ numGroups 이러한 필드는 오디오 장면 내의 그룹들의
수를 포함한다
ei _ groupPresetID 이러한 필드는 오디오 장면 내에서 정의되는
groupPresetID를 포함한다. 이러한 ID는 사
용자의 프리셋 선택을 반영한다.
테이블 6a ei_GroupInteractivityStatus()의 구문
Figure pct00008
ei _ groupID 상호작용이 기술되는 현재 그룹을 위한
GroupID
ei _ routeToWIRE 이러한 필드는 그룹의 오디오 콘텐츠가 WIRE
출력에 라우팅되어야만 하는지를 정의한다.
ei _ routeToWoreID 그룹이 라우팅되어야만 하는 WIRE 출력의 ID
ei_onOff 현재 그룹의 온-오프 상태를 정
의한다. 기본 상호작용 모드(GroupPresets
상의 상호작용)이 선택된 경우에, 이러한 값
은 만일 이러한 그룹이 ei_groupPresetID
를 갖는 선택된 GroupPreset의 조건들의 일
부분이면 ei_groupID 를 갖는 그룹의 정의된
온-오프 상태와 동일하여야만 한다. 기본 상
호작용 모드를 위하여 여기서 상이한 온-오프
상태를 시그널링하는 것은 허용되지 않는다.
선택된 GroupPreset의 조건들의 일부분이 아
닌 모든 그룹의 온-오프 상태는 임의로 시그
널링될 수 있다.
ei _ cjangePositiom 이러한 플래그는 그룹 요소들의 위치가 변경
되었는지를 정의한다.
ei _ azOffset 오프셋으로서 방위각의 변화가 주어진다. 이
러한 필드는 AzOffset=180o및 AzOffset=180o
사이의 값들을 얻을 수 있다.
AzOffset = 180o:
AzOffset = 1.5·( ei _ azOffset - 128)
AzOffset = min(max( AzOffset , -180), 180);
ei _ eiOffset 오프셋으로서 방위각의 변화가 주어진다. 이
러한 필드는 ElOffset=90o및 ElOffset=90o 사
이의 값들을 얻을 수 있다.
ElOffset=90o:
ElOffset = 3·( ei _ ElOffset - 32)
ElOffset = min(max( ElOffset , -90), 90);
ei _ distFact 곱셈 인자로서 거리 상호작용이 주어진다.
필드는 0.00025 및 8 사이의 DistFactor를
야기하는 0 내지 15 사이의 값들을 얻는다:
DistFactor = 2(( ei _ distFactor -6)-4)
DistFactor = min(max(DistFactor,
0.00025), 8);
ei _ changeGain 이러한 플래그는 그룹 요소들의 이득/레벨이
변경되었는지를 정의한다.
ei _ gain 이러한 필드는 현재 그룹의 구성원들의 부가
적인 이득을 정의한다. 필드는 1 dB 단계에
서 Gain = -63 dB 및 Gain = 31 dB 사이의 값들을 나타내는 0 및 127 사이의 값들을 얻
을 수 있으며, du기서 Gain[dB] = ei_gain -
64 Gain[dB] = min(max(Gain, -63), 31);
만일 ei_gain이 0으로설정되면, 이들은 - 무
한대 dB로 설정되어야만 한다.
테이블 6b에 도시된 ei_GroupInteractivityStatus()의 또 다른 실시 예:
테이블 6b ei_GroupInteractivityStatus()의 구문
Figure pct00009
상호작용 데이터는 메타데이터 오디오 요소 필드들에 따라 정의된다([1]의 14.2 참조). 메타데이터 오디오 요소 정의에서, 이득 상호작용을 위한 상호작용 범위는 최소 및 최대 오프셋 값들(여기서는 방위각을 위한 1.5o 및 고도를 위한 3o를 갖는)로서 주어지고 거리를 위한 범위들은 곱셈 인자들로서 주어진다. 따라서, 인터페이스는 유사한 방법으로 정의된다.
사용자 상호작용을 위하여, 모든 요소 그룹을 위한 모든 가능한 변화(온/오프, 이득, 위치, WIRE)는 각각의 상호작용 형태 및 각각의 그룹 또는 요소를 위한 구문 요소의 한 번의 반복을 사용하는 대신에 하나의 ElementInteraction() 구문 요소 내부에 시그널링된다.
WIRE 출력은 또한 스위치 오프되는 그룹들을 위하여 정의되는데, 그 이유는 그때서만 대안의 언어 트랙들을 WIRE 출력에 라우팅하는 것이 가능하기 때문이다. 가능한 위반 스위치 그룹 논리는 디코더 내에서 처리되어야만 한다.
이전에 [4]에서 제인된 콘텐츠 형태(채널, 오브젝트, HOA)는 여기서는 제거된다. 이는 이미 groupID에 의해 명확하게 알려지는데 그 이유는 요소들의 각각의 그룹이 신호 콘텐츠 형태를 정의하는 signalGroupType(채널들 오브젝트들, SAOC, HOA)을 가지며 구문 요소 Signal3d() 내에 시그널링되기 때문이다.
GroupPresets을 통한 기본 상호작용
만일 기본 상호작용 모드가 설정되면, 사용자는 정의된 GroupPresets 중 하나를 선택할 수 있다(w14464[7]에서의 후보 기술로서 제안되는, mae_AudioSceneInfo() groupCollection 수문 요소로부터).
선택된 프리셋으로부터의 조건들은 참조된 그룹들의 온-오프 상태를 정의한다. 사용자는 이러한 그룹들을 위한 온-오프 상태를 변형할 수 있어야만 한다.
구문 요소 ei-GroupInteractivityStatus() 내의 상응하는 필드 ei_onOff는 선택된 groupPreset의 조건들에서 참조되는 모든 그룹을 위하여 선택된 groupPreset 내의 조건을 반영하여야만 한다.
다른 모든 그룹의 온-오프 상태는 사용자에 의해 선택된다.
결론
기여는 사용자 상호작용을 위하여 인터페이스를 위한 정의를 제안한다. 두 가지 상이한 상호작용 모드(기본 및 고급)를 허용하는 인터페이스 정의가 제공되며, 재안된 인터페이스를 CD에 적응하는 것이 제안된다.
참고문헌들
[1] ISO/IEC JTC1/SC29/WG11 N14459, "Text of ISO/IEC 23008-3/CD, 3D audio"
[2] FhG, "Rendering Interfaces to MPEG-H and Unification of Loudspeaker Signaling", Input to the Meeting of AHG on 3D Audio, DRC and Audio Maintenance, June 2-3, 2014, Paris, France
[3] ISO/IEC JTC1/SC29/WG11 N14463, "Normative Interface for Binaural Data", April 2014, Valencia, Spain
[4] ISO/IEC JTC1/SC29/WG11 M33134, "3D Audio Decoder Interfaces", April 2014, Valencia, Spain (Input from Philips)
[5] ISO/IEC JTC1/SC29/WG11 M31427, "Thoughts on binaural parameterization of MPEG codecs", October 2013, Geneva, Switzerland (Input from Orange)
[6] ISO/IEC JTC1/SC29/WG11 M30249, "BRIR interface format: update and implementation", July 2013, Vienna, Austria (Input from Philips)
[7] ISO/IEC JTC1/SC29/WG11 N14464 "Candidate Technologies for 3D Audio"
게다가, ISO/IEC 23008-3 CD 텍스트[1]의 섹션 13은 MPEG-H 3D 플레이로드(playpoad)들을 (실-시간) 스트림들 내에 캡슐화하도록 사용되려는 MHAS 구문을 정의한다. 이러한 문서로 MPEG-2 전송 스트림 이외의 다른 전송 시스템들에서의 MHAS의 신뢰할 만한 사용을 가능하게 하는 부가적인 능력들이 제안된다.
충전 데이터
특정 전송 채널들은 단지 일정한 즉각적인 비트레이트에서만 작동될 수 있다. 이를 달성하기 위하여, 특정 주어진 비트레이트까지 MHAS 스트림을 충전할 수 있는 충전 데이터 형태가 제안된다.
CRC
MPEG-2 전송 스트림 계층[2]은 캡슐화된 MHAS 구문 스트림을 보호하는데 주의를 기울인다. 따라서 전송에서의 데이터 손실 또는 데이터 손상(data corruption)이 식별될 수 있다.
다른 한편으로, 공통 직렬 인터페이스들(예를 들면, AES/EBU, S/PDIF, [3]. [4]. [5])은 어더한 충분한 오류 보호도 제공하지 않는다. 만일 MHAS가 그러한 인터페이스들 상에 사용되면 오류 검출을 가능하게 하기 위하여 선택적 CRC 패킷 형태가 제안된다.
기술자 캡슐화
MHAS 스트림들은 MPEG-2 전송 스트림으로 또는 MPEG-2 전송 스트림으로부터 인코딩된 오디오를 전달하도록 사용된다. 부가적인 MHAS 패킷 형태로 관련 기술자 정보를 전달하는 것이 제안된다.
테이블 7 - MHASPacketPayload()의 구문
Figure pct00010
테이블 8a - MHASPacketType의 값
Figure pct00011
MHASPacketType의 또 다른 실시 예가 테이블 8b에 도시된다:
테이블 8b - MHASPacketType의 값
Figure pct00012
mhasParity16Data 다항식을 갖는 디코더 내의 16개의 레지스터
의 제로 출력을 산출하는 CRC 값을 포함하는
16-비트 필드:
x15+x15+x5+1
및 OxFFFF의 시프트 레지스터의 초기 상태
mhasParity32Data 다항식을 갖는 디코더 내의 32개의 레지스터
의 제로 출력을 산출하는 CRC
값을 포함하는 32-비트 필드:
x32+x26+x23+x22+x12+x11+x10+x8+x7+x5+x4+x3+x2+x1
및 OxFFFFFFFF의 시프트 레지스터의 초기 상
태
mhas _Fill_data_byte 8-비트 데이터 요소들, 어떠한 제한도
적용되지 않는다.
임의 액세스/중간 플레이아웃 마커 ( playout marker)
패킷 페이로드의 첫 번째 marker_byte가 "0x02"일 때, 형태 PACTYP_MPEG3DAFRAME의 다음의 패킷이 주어진 섹션 5.5.5 "오디오 프리-롤(Audio Pre-Roll)"의 규칙들 뒤에 인코딩된다.
프로그램 경계선 마커
첫 번째 marker_byte가 "0x03"일 때, 프로그램 경계선은 시간 및 새로운 프로그램에 속하는 아래의 모든 패킷 내의 이러한 지점에서 발생한다.
PACTYP _ CRC16 및 PACTYP _ CRC32
MHASPacketType PACTYP_CRC16 및 PACTYP_CRC32는 덩일한 값으로 설정된 MHASPacjetLabel을 갖는 선행 MHAS 패킷 내의 오류들의 검출을 위하여 사용될 수 있다. 그것은 그것의 CRC 값이 언급하는 MHAS 패킷을 따라야만 한다. 이는 MHAS 스트림이 오류 발생이 쉬운 채널에 대하여 전달될 때 유익할 수 있다.
오류 검출 방법은 각각, mhasParity16Data 또는 mhasParity32Data를 위하여 정의되는 것과 같이 발생기 다항식 및 관련 시프트 레지스터 상태들 중 하나를 사용한다.
CRC-체크 내로 포함되는 비트들은 각각, mhasParity16Data 또는 mhasParity32Data 뒤의 관련 MHAS 패킷을 위한 완전한 MHASPacketPayload()이다.
PACTYP _ FILLDATA
MHASPacetType PACTYP_FILLDATA는 즉각적인 비트-레이트를 조정하도록 충전 데이터를 추가하기 위한 가능성을 제공한다. 이는 일정 비율 전송 채널을 사용하는 특정 실-시간 적용들에서 바람직할 수 있다.
이러한 형태의 패킷들이 특정 페이로드 데이터와 관련되지 않기 때문에, MHASPacjetLabel은 2로 설정된다.
디코더가 형태 PACTYP_FILLDATA의 패킷들 내에 전송되는 데이터를 무시하는 것이 예상된다. 또한, MHAS 스트림들을 처리하는 중간 툴들은 스트림으로부터 그러한 패킷들을 제거하도록 허용된다.
MHASPacketLength를 0으로 설정하는 것이 허용된다. 이는 2 바이트의 최소 패킷 크기를 산출한다.
PACTYP_DESCRIPTOR
FAC_TYP_DESCRIPTOR는 MHAS ymxmfla들 내로 MPEG-21 TS/PS 기술자들을 내장하도록 사용될 수 있다. mjas_data_byte로서 전달되는 데이터는 ISO/IEC 13818-1 내의 descriptor()를 위하여 정의된 것과 동일한 구문 및 시멘틱(semantic)들을 갖는다.
이러환 패킷 형태 및 TS)program_map_section()(ISO/IEC 13818-1 참조) 내의 제 1 기술자루프 내에 전송되는 기술자들을 위하여, MHASPaxketLabel은 0으로 설정된다. 이러한 패킷 형태 및 하나의 요소 스트림(즉, TS_program_map_section() 내의 제 2 기술자 루프)에 할당되는 기술자들을 위하여, HASPaxketLabel은 관련 요소 스트림으로부터FACTYP_CONFIG와 동일한 값으로 설정된다.
참고문헌들
1] ISO/IEC JTC1/SC29/WG11 N14459, "Text of ISO/IEC 23008-3/CD, 3D audio"
[2] ISO/IEC 13818-1:2013, Information technology - Generic Coding of moving pictures and associated audio information: Systems
[3] IEC　60958-3: Digital audio interface - Part 3: Consumer applications"
[4] IEC　61937-11, Digital audio - Interface for non-linear PCM encoded audio bitstreams applying IEC 60958 - Part 11: MPEG-4 AAC and its extensions in LATM/LOAS"
[5] SMPTE　2041: Format for Non-PCM Audio and Data in AES-3 - MPEG-4 AAC and HE AAC Compressed Digital Audio in ADTS and LATM/LOAS Wrappers
블록들이 실제 또는 논리 하드웨어 성분들을 표현하는 장치의 맥락에서 본 발명이 설명되었으나, 본 발명은 또한 컴퓨터로 구현되는 방법에 의해 구현될 수 있다. 후자의 경우에, 블록 또는 장치가 방법 단계 또는 방법 단계의 특징과 상응하는, 상응하는 방법의 설명을 나타낸다는 것은 자명하다. 유사하게, 방법 단계의 맥락에서 설명된 양상들은 또한 상응하는 블록 아이템 혹은 상응하는 장치의 특징을 나타낸다. 일부 또는 모든 방법 단계는 예를 들면, 마이크로프로세서, 프로그램가능 컴퓨터 또는 전자 회로 같은 하드웨어 장치에 의해(또는 사용하여) 실행될 수 있다. 일부 실시 예들에서, 일부 하나 또는 그 이상의 가장 중요한 방법 단계는 그러한 장치에 의해 실행될 수 있다.
본 발명의 디지털 저장 매체 상에 저장될 수 있거나 혹은 인터넷과 같은 유성 전송 매체 또는 무선 전송 매체와 같은 전송 매체 상에 전송될 수 있다.
특정 구현 요구사항들에 따라, 본 발명의 실시 예는 하드웨어 또는 소프트웨어에서 구현될 수 있다. 구현은 디지털 저장 매체, 예를 들면, 그 안에 저장되는 전자적으로 판독 가능한 제어 신호들을 갖는, 플로피 디스크, DVD, 블루-레이, CD, RON, PROM, 및 EPROM, EEPROM 또는 플래시 메모리를 사용하여 실행될 수 있으며, 이는 각각의 방법이 실행되는 것과 같이 프로그램가능 컴퓨터 시스템과 협력한다(또는 협력할 수 있다). 따라서, 디지털 저장 매체는 컴퓨터로 판독 가능할 수 있다.
본 발명에 따른 일부 실시 예들은 여기에 설명된 방법들 중 어느 하나가 실행되는 것과 같이, 프로그램가능 컴퓨터 시스템과 협력할 수 있는, 전자적으로 판독 가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시 예들은 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 구동할 때 방법들 중 어느 하나를 실행하도록 운영될 수 있다. 프로그램 코드는 예를 들면, 기계 판독가능 캐리어 상에 저장될 수 있다.
다른 실시 예들은 기계 판독가능 캐리어 상에 저장되는, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함한다.
바꾸어 말하면, 본 발명의 방법의 일 실시 예는 따라서 컴퓨터 프로그램이 컴퓨터 상에 구동할 때, 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.
본 발명의 방법의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 포함하는, 그 안에 기록되는 데이터 캐리어(혹은 데이터 저장 매체, 또는 컴퓨터 판독가능 매체와 같은, 비-전이형 저장 매체)이다. 데이터 캐리어, 디지털 저장 매체 또는 기록 매체는 일반적으로 유형(tangible) 및/또는 비-일시적이다.
본 발명의 방법의 또 다른 실시 예는 따라서 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호들의 시퀀스이다. 데이터 스트림 또는 신호들의 시퀀스는 예를 들면 데이터 통신 연결, 예를 들면 인터넷을 거쳐 전송되도록 구성될 수 있다.
또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하도록 구성되거나 혹은 적용되는, 처리 수단, 예를 들면 컴퓨터, 또는 프로그램가능 논리 장치를 포함한다.
또 다른 실시 예는 그 안에 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.
본 발명에 따른 또 다른 실시 예는 여기에 설명된 방법들 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 수신기로 전송하도록(예를 들면, 전자적으로 또는 선택적으로) 구성되는 장치 또는 시스템을 포함한다. 수신기는 예를 들면, 컴퓨터, 이동 장치, 메모리 장치 등일 수 있다. 장치 또는 시스템은 예를 들면, 컴퓨터 프로그램을 수신기로 전송하기 위한 파일 서버를 포함한다.
일부 실시 예들에서, 여기에 설명된 방법들 중 일부 또는 모두를 실행하기 위하여 프로그램가능 논리 장치(예를 들면, 필드 프로그램가능 게이트 어레이)가 사용될 수 있다. 일부 실시 예들에서, 필드 프로그램가능 게이트 어레이는 여기에 설명된 방법들 중 어느 하나를 실행하기 위하여 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법들은 바람직하게는 어떠한 하드웨어 장치에 의해 실행된다.
위에 설명된 실시 예들은 단지 본 발명의 원리들을 위한 설명이다. 여기에 설명된 배치들과 상세내용들의 변형과 변경은 통상의 지식을 가진 자들에 자명할 것이라는 것을 이해할 것이다. 따라서, 본 발명은 여기에 설명된 실시 예들의 설명에 의해 표현된 특정 상세내용이 아닌 특허 청구항의 범위에 의해서만 한정되는 것으로 의도된다.
1 : 오디오 데이터 프로세서
2 : 리시버 인터페이스
4 : 메타데이터
15 : 인코딩된 입력 스트림
5 : 메타데이터 파서
6 : 상호작용 인터페이스
7 : 상호작용 입력
8 : 상호작용 제어 데이터
9 : 데이터 스트림 발생기
10 : 출력 데이터 스트림
11, 12 : 인코딩된 오디오 오브젝트
13, 14 : 오디오 오브젝트들 위한 메타데이터
3 : 인코딩된 오디오 데이터
15a, 15b : 입력 데이터 스트림
16 : 오디오 데이터
17 : 선택적 오디오 오브젝트
19, 26 : 셋-톱 박스
19 : 제 1 장치
20 : 입력
23 : 출력 인터페이스
24 : 무선 인터페이스
25 : 유선 커넥터
28, 33 : 외부 오디오/비디오 리시버
32 : 유효한 인코딩된 오디오 스트림

Claims (15)

  1. 오디오 데이터 프로세서(1)에 있어서,
    인코딩된 오디오 데이터(3) 및 상기 인코딩된 오디오 데이터(3)와 관련된 메타데이터(4)를 수신하기 위한 리시버 인터페이스(2):
    오디오 데이터 조작 가능성을 결정하도록 상기 메타데이터(4)를 파싱하기 위한 메타데이터 파서(5);
    상호작용 입력(7)을 수신하고 상기 상호작용 입력(7)으로부터, 상기 오디오 데이터 조작 가능성과 관련된 상호작용 제어 데이터(8)를 발생시키기 위한 상호작용 인터페이스(6); 및
    상기 상호작용 제어 데이터(8)와 상기 인코딩된 오디오 데이터(3) 및 메타데이터(4)를 획득하고 상기 인코딩된 오디오 데이터(3), 상기 메타데이터(4)의 적어도 일부분 및 상기 상호작용 제어 데이터(8)를 포함하는 출력 데이터 스트림(10)을 발생시키기 위한 데이터 스트림 발생기(9);를 포함하는, 오디오 데이터 프로세서.
  2. 제 1항에 있어서, 상기 인코딩된 오디오 데이터(3)는 개별 인코딩된 오디오 오브젝트들(11, 12)을 포함하고, 상기 메타데이터(4)의 적어도 일부분(13, 14)은 상응하는 오디오 오브젝트(11, 12)와 관련되며,
    상기 메타데이터 파서(6)는 적어도 오디오 오브젝트(11)를 위하여, 상기 오브젝트 조작 가능성을 결정하도록 상기 인코딩된 오디오 오브젝트들(11, 12)을 위한 상기 상응하는 부분(13, 14)을 파싱하도록 구성되며,
    상기 상호작용 인터페이스(6)는 상기 적어도 하나의 인코딩된 오디오 오브젝트(11)를 위하여, 상기 적어도 하나의 인코딩된 오디오 오브젝트(11)와 관련된 상기 상호작용 입력(7)으로부터 상기 상호작용 제어 데이터(8)를 발생시키도록 구성되는, 오디오 데이터 프로세서.
  3. 제 1항 또는 2항에 있어서, 상기 상호작용 인터페이스(6)는 상기 메타데이터 파서(5)에 의해 상기 메타데이터(4)로부터 유도되는 상기 오디오 데이터 조작 가능성을 사용자에 제공하고, 상기 사용자로부터, 상기 데이터 조작 가능성의 특정 데이터 조작에 대한 사용자 입력(7)을 검색하도록 구성되는, 오디오 데이터 프로세서.
  4. 제 1항 내지 3항 중 어느 한 항에 있어서,
    상기 데이터 스트림 발생기(9)는 상기 출력 데이터 스트림(10)의 변화 없이 상기 인코딩된 오디오 데이터(3) 및 상기 리시버 인터페이스(2)에 의해 수신되는 상기 메타데이터(4)를 처리하도록 구성되거나,
    또는 상기 출력 데이터 스트림(10)의 변화 없이 상기 인코딩된 오디오 데이터(3) 및 상기 메타데이터(4)의 적어도 일부분을 복사하도록 구성되며,
    상기 데이터 스트림 발생기(9)는 상기 상호작용 제어 데이터(8)를 포함하는 부가적인 데이터 부분을 상기 출력 데이터 스트림(10) 내의 상기 인코딩된 오디오 데이터(3) 및/또는 상기 메타데이터(4)에 추가하도록 구성되는, 오디오 데이터 프로세서.
  5. 제 1항 내지 4항 중 어느 한 항에 있어서,
    상기 데이터 스트림 발생기(9)는 상기 출력 데이터 스트림(10) 내에서, 상기 메타데이터(4)와 동일한 포맷으로 상기 상호작용 제어 데이터(8)를 발생시키도록 구성되는, 오디오 데이터 프로세서.
  6. 제 1항 내지 5항 중 어느 한 항에 있어서,
    상기 데이터 스트림 발생기(9)는 상기 출력 데이터 스트림(10) 내의 식별자를 상기 상호작용 제어 데이터(8)와 연관시키도록 구성되며, 상기 식별자는 상기 메타데이터(4)와 연관된 식별자와 다른, 오디오 데이터 프로세서.
  7. 제 1항 내지 6항 중 어느 한 항에 있어서,
    상기 데이터 스트림 발생기(9)는 서명 데이터를 상기 상호작용 제어 데이터(8)에 추가하도록 구성되며, 상기 서명 데이터는 오디오 데이터 조작을 실행하거나 또는 상기 상호작용 입력을 제공하는 적용, 장치 또는 사용자에 대한 정보를 나타내는, 오디오 데이터 프로세서.
  8. 제 1항 내지 7항 중 어느 한 항에 있어서,
    상기 메타데이터 파서(5)는 상기 인코딩된 오디오 데이터(3)에 의해 표현되는 하나 이상의 오디오 오브젝트(11, 12)를 위한 불능화 가능성을 식별하도록 구성되고, 상기 상호작용 인터페이스(6)는 상기 하나 이상의 오브젝트(11, 12)를 위한 불능화정보를 수신하도록 구성되며,
    상기 데이터 스트림 발생기(9)는 상기 상호작용 제어 데이터(8) 내에 상기 하나 이상의 오디오 오브젝트(11, 12)를 불능으로서 표시하거나 또는 상기 출력 데이터 스트림(10)이 상기 불능화된 하나 이상의 오디오 오브젝트(11, 12)를 위하여 인코딩된 오디오 데이터(3)를 포함하지 않도록 하기 위하여 상기 인코딩된 오디오 데이터(3)로부터 상기 불능화된 하나 이상의 오디오 오브젝트(11, 12)를 제거하도록 구성되는, 오디오 데이터 프로세서.
  9. 제 1항 내지 8항 중 어느 한 항에 있어서, 상기 데이터 스트림 발생기(9)는 상기 출력 데이터 스트림(10)을 동역학적으로 발생시키도록 구성되고, 새로운 상호작용 입력(7)에 응답하여, 상기 상호작용 제어 데이터(8)는 상기 새로운 상호작용 입력(7)과 일치하도록 업데이트되며, 상기 데이터 스트림 발생기(9)는 상기 출력 데이터 스트림(10) 내에 상기 업데이트된 상호작용 제어 데이터(8)를 포함하도록 구성되는, 오디오 데이터 프로세서.
  10. 제 1항 내지 9항 중 어느 한 항에 있어서, 상기 리시버 인터페이스(2)는 상기 인코딩된 오디오 데이터(3) 및 상기 인코딩된 오디오 데이터(3)와 관련된 메타데이터(4)를 포함하는 주 오디오 데이터 스트림(15)을 수신하고, 부가적으로 선택적 오디오 오브젝트(17)를 포함하는 선택적 오디오 데이터(16)를 수신하도록 구성되는, 오디오 데이터 프로세서.
  11. 제 1항 내지 10항 중 어느 한 항에 있어서,
    상기 메타데이터 파서(5)는 상기 인코딩된 오디오 데이터(3) 내에 포함되지 않은 손실 오디오 오브젝트(17)를 위한 상기 오디오 조작 가능성을 결정하도록 구성되고,
    상기 상호작용 인터페이스(6)는 상기 손실 오디오 오브젝트(17)를 위한 상호작용 입력(7)을 수신하도록 구성되며,
    상기 리시버 인터페이스(2)는 오디오 데이터 제공기(35)로부터 상기 손실 오디오 오브젝트(17)를 위한 오디오 데이터(16)를 요구하거나 또는 브로드캐스트 스트림(36) 또는 인터넷 프로토콜 연결(37) 내의 상이한 서브스트림으로부터 상기 손실 오디오 오브젝트(17)를 위한 상기 오디오 데이터(18)를 수신하도록 구성되는, 오디오 데이터 프로세서.
  12. 제 1항 내지 11항 중 어느 한 항에 있어서,
    상기 데이터 스트림 발생기(9)는 상기 출력 데이터 스트림 내에, 상기 상호작용 제어 데이터(8)의 또 다른 패킷 형태를 할당하도록 구성되고, 상기 또 다른 패킷 형태는 상기 인코딩된 오디오 데이터(3) 및 상기 메타데이터(4)의 패킷 형태들과 상이하거나, 또는
    상기 데이터 스트림 발생기(9)는 상기 출력 데이터 스트림(10) 내로, 충전 데이터 패킷 형태로 충전 데이터(18)를 추가하도록 구성되고, 상기 충전 데이터(18)의 양은 상기 오디오 데이터 프로세서의 출력 인터페이스에 의해 결정되는 데이터 비율 요구조건을 기초로 하여 결정되는, 오디오 데이터 프로세서.
  13. 제 1항 내지 12항 중 어느 한 항에 따른 오디오 데이터 프로세서에 있어서, 상기 리시버 인터페이스(2)는 유선(21) 또는 무선(22) 연결을 통하여 개별 장치(19)로의 출력을 형성하고, 상기 오디오 데이터 프로세서(1)는 상기 데이터 스트림 발생기(9)에 연결되는 출력 인터페이스(23)를 더 포함하며, 상기 출력 인터페이스(23)는 상기 출력 데이터 스트림(10)을 출력하도록 구성되며, 상기 출력 인터페이스(23)는 상기 장치(19)의 출력을 실행하도록 구성되고 무선 인터페이스(24) 또는 유선 커넥터(25)를 포함하는, 오디오 데이터 프로세서.
  14. 오디오 데이터의 처리 방법에 있어서,
    인코딩된 오디오 데이터(3) 및 상기 인코딩된 오디오 데이터(3)와 관련된 메타데이터(4)를 수신하는 단계:
    오디오 데이터 조작 가능성을 결정하도록 상기 메타데이터(4)를 파싱하는 단계;
    상호작용 입력(7)을 수신하고 상기 상호작용 입력(7)으로부터, 상기 오디오 데이터 조작 가능성과 관련된 상호작용 제어 데이터(8)를 발생시키는 단계; 및
    상기 상호작용 제어 데이터(8)와 상기 인코딩된 오디오 데이터(3) 및 메타데이터(4)를 획득하고 상기 인코딩된 오디오 데이터(3), 상기 메타데이터(4)의 적어도 일부분 및 상기 상호작용 제어 데이터(8)를 포함하는 출력 데이터 스트림(120)을 발생시키는 단계;를 포함하는, 오디오 데이터의 처리 방법.
  15. 프로세서 상에서 컴퓨터를 구동할 때, 제 14항의 오디오 데이터의 처리 방법을 실행하기 위한 컴퓨터 프로그램.
KR1020167036597A 2014-05-28 2015-03-27 데이터 프로세서 및 사용자 제어 데이터의 오디오 디코더들과 렌더러들로의 전송 Active KR101967810B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14170416 2014-05-28
EP14170416.3 2014-05-28
PCT/EP2015/056768 WO2015180866A1 (en) 2014-05-28 2015-03-27 Data processor and transport of user control data to audio decoders and renderers

Publications (2)

Publication Number Publication Date
KR20170023870A true KR20170023870A (ko) 2017-03-06
KR101967810B1 KR101967810B1 (ko) 2019-04-11

Family

ID=50884250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167036597A Active KR101967810B1 (ko) 2014-05-28 2015-03-27 데이터 프로세서 및 사용자 제어 데이터의 오디오 디코더들과 렌더러들로의 전송

Country Status (19)

Country Link
US (5) US10674228B2 (ko)
EP (4) EP4236331A3 (ko)
JP (1) JP6371416B2 (ko)
KR (1) KR101967810B1 (ko)
CN (2) CN106537929B (ko)
AR (6) AR100623A1 (ko)
AU (1) AU2015266343B2 (ko)
BR (1) BR112016027639B1 (ko)
CA (1) CA2950197C (ko)
ES (3) ES2956362T3 (ko)
MX (1) MX359385B (ko)
MY (1) MY174199A (ko)
PL (3) PL3522554T3 (ko)
PT (2) PT3149955T (ko)
RU (1) RU2653858C1 (ko)
SG (1) SG11201609920SA (ko)
TW (1) TWI587283B (ko)
WO (1) WO2015180866A1 (ko)
ZA (1) ZA201608160B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019203627A1 (ko) * 2018-04-20 2019-10-24 엘지전자 주식회사 트랜지션 이펙트에 관한 오디오 데이터를 송수신하는 방법 및 그 장치
KR20200123786A (ko) * 2018-02-22 2020-10-30 돌비 인터네셔널 에이비 Mpeg-h 3d 오디오 스트림에 내장된 보조 미디어 스트림들의 처리를 위한 방법 및 장치
WO2023013865A1 (ko) * 2021-08-05 2023-02-09 삼성전자 주식회사 전자 장치 및 전자 장치의 멀티미디어 재생 방법
US11843818B2 (en) 2021-08-05 2023-12-12 Samsung Electronics Co., Ltd. Electronic device and multimedia playback method thereof

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2005299410B2 (en) 2004-10-26 2011-04-07 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
TWI529703B (zh) 2010-02-11 2016-04-11 杜比實驗室特許公司 用以非破壞地正常化可攜式裝置中音訊訊號響度之系統及方法
CN103325380B (zh) 2012-03-23 2017-09-12 杜比实验室特许公司 用于信号增强的增益后处理
US10844689B1 (en) 2019-12-19 2020-11-24 Saudi Arabian Oil Company Downhole ultrasonic actuator system for mitigating lost circulation
WO2013173080A1 (en) 2012-05-18 2013-11-21 Dolby Laboratories Licensing Corporation System for maintaining reversible dynamic range control information associated with parametric audio coders
KR20240055146A (ko) 2013-01-21 2024-04-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 상이한 재생 디바이스들에 걸친 라우드니스 및 동적 범위의 최적화
BR122020018591B1 (pt) 2013-01-21 2022-06-14 Dolby Laboratories Licensing Corporation Unidade de processamento de áudio e método de processamento de áudio
CN110379434B (zh) 2013-02-21 2023-07-04 杜比国际公司 用于参数化多声道编码的方法
CN104080024B (zh) 2013-03-26 2019-02-19 杜比实验室特许公司 音量校平器控制器和控制方法以及音频分类器
EP2981910A1 (en) 2013-04-05 2016-02-10 Dolby Laboratories Licensing Corporation Acquisition, recovery, and matching of unique information from file-based media for automated file detection
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
CN109785851B (zh) 2013-09-12 2023-12-01 杜比实验室特许公司 用于各种回放环境的动态范围控制
CN110648677B (zh) 2013-09-12 2024-03-08 杜比实验室特许公司 用于下混合音频内容的响度调整
CN105142067B (zh) 2014-05-26 2020-01-07 杜比实验室特许公司 音频信号响度控制
JP6724782B2 (ja) * 2014-09-04 2020-07-15 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN106716524B (zh) * 2014-09-30 2021-10-22 索尼公司 发送装置、发送方法、接收装置和接收方法
EP4372746B1 (en) 2014-10-10 2025-06-25 Dolby Laboratories Licensing Corporation Transmission-agnostic presentation-based program loudness
TWI631835B (zh) * 2014-11-12 2018-08-01 弗勞恩霍夫爾協會 用以解碼媒體信號之解碼器、及用以編碼包含用於主要媒體資料之元資料或控制資料的次要媒體資料之編碼器
CN107210041B (zh) * 2015-02-10 2020-11-17 索尼公司 发送装置、发送方法、接收装置以及接收方法
CN107211200B (zh) 2015-02-13 2020-04-17 三星电子株式会社 用于发送/接收媒体数据的方法和设备
US11223857B2 (en) * 2015-06-02 2022-01-11 Sony Corporation Transmission device, transmission method, media processing device, media processing method, and reception device
CA3149389A1 (en) * 2015-06-17 2016-12-22 Sony Corporation Transmitting device, transmitting method, receiving device, and receiving method
US10027994B2 (en) * 2016-03-23 2018-07-17 Dts, Inc. Interactive audio metadata handling
US10492016B2 (en) * 2016-09-29 2019-11-26 Lg Electronics Inc. Method for outputting audio signal using user position information in audio decoder and apparatus for outputting audio signal using same
SG10202100336WA (en) 2017-01-10 2021-02-25 Fraunhofer Ges Forschung Audio decoder, audio encoder, method for providing a decoded audio signal, method for providing an encoded audio signal, audio stream, audio stream provider and computer program using a stream identifier
US11595774B2 (en) 2017-05-12 2023-02-28 Microsoft Technology Licensing, Llc Spatializing audio data based on analysis of incoming audio data
EP3677037A1 (en) 2017-08-28 2020-07-08 Dolby Laboratories Licensing Corporation Media-aware navigation metadata
CN108122558B (zh) * 2017-12-22 2020-12-29 深圳国微技术有限公司 一种latm aac音频流的实时转容实现方法及装置
CN108521584B (zh) * 2018-04-20 2020-08-28 广州虎牙信息科技有限公司 互动信息处理方法、装置、主播侧设备和介质
KR20250039483A (ko) 2018-05-07 2025-03-20 애플 인크. 라이브 비디오 피드들 및 기록된 비디오를 보기 위한 사용자 인터페이스들
MX2021001970A (es) 2018-08-21 2021-05-31 Dolby Int Ab Métodos, aparatos y sistemas para generación, transporte y procesamiento de tramas de ejecución inmediata (ipfs).
CN113508399A (zh) * 2019-03-15 2021-10-15 杜比国际公司 用于更新神经网络的方法和装置
US11622219B2 (en) * 2019-07-24 2023-04-04 Nokia Technologies Oy Apparatus, a method and a computer program for delivering audio scene entities
CN110413253A (zh) * 2019-08-02 2019-11-05 北京清流鼎点科技有限公司 音频设备控制方法和装置、音频设备及存储介质
US12205607B2 (en) 2019-08-15 2025-01-21 Dolby Laboratories Licensing Corporation Methods and devices for generation and processing of modified bitstreams
EP4014506B1 (en) * 2019-08-15 2023-01-11 Dolby International AB Methods and devices for generation and processing of modified audio bitstreams
KR102253524B1 (ko) * 2019-09-02 2021-05-20 네이버 주식회사 라우드니스 정규화 방법 및 시스템
CN114731459B (zh) * 2019-11-20 2025-06-24 杜比国际公司 用于个性化音频内容的方法和设备
CN114115787B (zh) * 2020-09-01 2024-10-18 瑞昱半导体股份有限公司 用于音频传输界面上进行数据传输的信号传输方法与装置
EP4189682A1 (en) * 2020-09-05 2023-06-07 Apple Inc. User interfaces for managing audio for media items
CN114650456B (zh) * 2020-12-17 2023-07-25 深圳Tcl新技术有限公司 一种音频描述符的配置方法、系统、存储介质及配置设备
CN118786678A (zh) * 2021-12-30 2024-10-15 弗劳恩霍夫应用研究促进协会 通过社交媒体元数据的多设备和多用户个性化及交互音频
US11785285B1 (en) * 2022-05-20 2023-10-10 Lenbrook Industries Limited Audio video receiver (AVR) architecture

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070027008A (ko) * 2005-08-29 2007-03-09 엠텍비젼 주식회사 프로세서와 오디오 입출력 제어기가 데이터 메모리를공유하는 방법 및 이를 위한 장치
KR20070098930A (ko) * 2005-02-22 2007-10-05 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. 근접-투명 또는 투명 멀티-채널 인코더/디코더 구성
KR20120082462A (ko) * 2009-10-20 2012-07-23 돌비 인터네셔널 에이비 다운믹스 시그널 표현에 기초한 업믹스 시그널 표현을 제공하기 위한 장치, 멀티채널 오디오 시그널을 표현하는 비트스트림을 제공하기 위한 장치, 왜곡 제어 시그널링을 이용하는 방법들, 컴퓨터 프로그램 및 비트 스트림

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6642966B1 (en) 2000-11-06 2003-11-04 Tektronix, Inc. Subliminally embedded keys in video for synchronization
US7546173B2 (en) 2003-08-18 2009-06-09 Nice Systems, Ltd. Apparatus and method for audio content analysis, marking and summing
CA2457988A1 (en) * 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
JP4229058B2 (ja) * 2004-12-10 2009-02-25 ヤマハ株式会社 端末装置および記録媒体
RU2393556C2 (ru) * 2005-01-28 2010-06-27 Панасоник Корпорейшн Носитель записи, устройство воспроизведения и способы записи и воспроизведения
TW200638335A (en) 2005-04-13 2006-11-01 Dolby Lab Licensing Corp Audio metadata verification
FR2910586B1 (fr) * 2006-12-22 2009-02-06 Vernet Sa Vanne thermostatique de regulation d'un fluide, circuit de liquide de refroidissement incorporant une telle vanne et procede de fabrication d'une telle vanne.
US8175289B2 (en) * 2008-03-13 2012-05-08 Gordon Raymond L Digital audio distribution network
EP2146522A1 (en) 2008-07-17 2010-01-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating audio output signals using object based metadata
US8798776B2 (en) * 2008-09-30 2014-08-05 Dolby International Ab Transcoding of audio metadata
CN102461173B (zh) * 2009-06-09 2015-09-09 汤姆森特许公司 解码装置、解码方法以及编辑装置
US8908874B2 (en) * 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
US9258665B2 (en) * 2011-01-14 2016-02-09 Echostar Technologies L.L.C. Apparatus, systems and methods for controllable sound regions in a media room
KR20250047841A (ko) 2011-07-01 2025-04-04 돌비 레버러토리즈 라이쎈싱 코오포레이션 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
US9373334B2 (en) * 2011-11-22 2016-06-21 Dolby Laboratories Licensing Corporation Method and system for generating an audio metadata quality score
EP2637427A1 (en) * 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
JP6015085B2 (ja) * 2012-04-13 2016-10-26 船井電機株式会社 音声信号出力機器
US9479886B2 (en) * 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
WO2014036121A1 (en) * 2012-08-31 2014-03-06 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
BR122020018591B1 (pt) * 2013-01-21 2022-06-14 Dolby Laboratories Licensing Corporation Unidade de processamento de áudio e método de processamento de áudio
CN112019881B (zh) * 2014-03-18 2022-11-01 皇家飞利浦有限公司 视听内容项数据流
US9971319B2 (en) * 2014-04-22 2018-05-15 At&T Intellectual Property I, Lp Providing audio and alternate audio simultaneously during a shared multimedia presentation
EP3146730B1 (en) * 2014-05-21 2019-10-16 Dolby International AB Configuring playback of audio via a home audio playback system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070098930A (ko) * 2005-02-22 2007-10-05 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. 근접-투명 또는 투명 멀티-채널 인코더/디코더 구성
KR20070027008A (ko) * 2005-08-29 2007-03-09 엠텍비젼 주식회사 프로세서와 오디오 입출력 제어기가 데이터 메모리를공유하는 방법 및 이를 위한 장치
KR20120082462A (ko) * 2009-10-20 2012-07-23 돌비 인터네셔널 에이비 다운믹스 시그널 표현에 기초한 업믹스 시그널 표현을 제공하기 위한 장치, 멀티채널 오디오 시그널을 표현하는 비트스트림을 제공하기 위한 장치, 왜곡 제어 시그널링을 이용하는 방법들, 컴퓨터 프로그램 및 비트 스트림

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200123786A (ko) * 2018-02-22 2020-10-30 돌비 인터네셔널 에이비 Mpeg-h 3d 오디오 스트림에 내장된 보조 미디어 스트림들의 처리를 위한 방법 및 장치
KR20240119188A (ko) * 2018-02-22 2024-08-06 돌비 인터네셔널 에이비 Mpeg-h 3d 오디오 스트림에 내장된 보조 미디어 스트림들의 처리를 위한 방법 및 장치
US12300257B2 (en) 2018-02-22 2025-05-13 Dolby International Ab Method and apparatus for processing of auxiliary media streams embedded in a MPEGH 3D audio stream
WO2019203627A1 (ko) * 2018-04-20 2019-10-24 엘지전자 주식회사 트랜지션 이펙트에 관한 오디오 데이터를 송수신하는 방법 및 그 장치
US11435977B2 (en) 2018-04-20 2022-09-06 Lg Electronics Inc. Method for transmitting and receiving audio data related to transition effect and device therefor
WO2023013865A1 (ko) * 2021-08-05 2023-02-09 삼성전자 주식회사 전자 장치 및 전자 장치의 멀티미디어 재생 방법
US11843818B2 (en) 2021-08-05 2023-12-12 Samsung Electronics Co., Ltd. Electronic device and multimedia playback method thereof

Also Published As

Publication number Publication date
EP3149955B1 (en) 2019-05-01
PT3149955T (pt) 2019-08-05
EP3800898C0 (en) 2023-07-19
US20230396856A1 (en) 2023-12-07
ES2883498T3 (es) 2021-12-07
EP3149955A1 (en) 2017-04-05
EP3800898A1 (en) 2021-04-07
US10674228B2 (en) 2020-06-02
ES2956362T3 (es) 2023-12-20
CN106537929B (zh) 2019-07-09
MX2016015388A (es) 2017-02-22
AR100623A1 (es) 2016-10-19
US20200314505A1 (en) 2020-10-01
AR125773A2 (es) 2023-08-16
US20220286756A1 (en) 2022-09-08
AR125774A2 (es) 2023-08-16
CA2950197C (en) 2019-01-15
JP2017523638A (ja) 2017-08-17
PL3522554T3 (pl) 2021-06-14
TWI587283B (zh) 2017-06-11
PL3149955T3 (pl) 2019-10-31
AU2015266343B2 (en) 2018-03-15
US20240357212A1 (en) 2024-10-24
CA2950197A1 (en) 2015-12-03
US11743553B2 (en) 2023-08-29
CN106537929A (zh) 2017-03-22
RU2653858C1 (ru) 2018-05-15
US12035018B2 (en) 2024-07-09
CN110177297A (zh) 2019-08-27
AU2015266343A8 (en) 2017-02-16
US20170223429A1 (en) 2017-08-03
AU2015266343A1 (en) 2017-01-19
AR125775A2 (es) 2023-08-16
PL3800898T3 (pl) 2023-12-27
MX359385B (es) 2018-09-25
BR112016027639B1 (pt) 2023-11-14
JP6371416B2 (ja) 2018-08-08
EP4236331A3 (en) 2023-10-18
US11381886B2 (en) 2022-07-05
CN110177297B (zh) 2021-12-24
BR112016027639A2 (ko) 2017-08-22
EP4236331A2 (en) 2023-08-30
TW201610983A (zh) 2016-03-16
ZA201608160B (en) 2017-08-30
ES2739886T3 (es) 2020-02-04
EP3522554A1 (en) 2019-08-07
KR101967810B1 (ko) 2019-04-11
AR125772A2 (es) 2023-08-16
EP3522554B1 (en) 2020-12-02
AR125776A2 (es) 2023-08-16
MY174199A (en) 2020-03-13
WO2015180866A1 (en) 2015-12-03
EP3800898B1 (en) 2023-07-19
SG11201609920SA (en) 2016-12-29
PT3522554T (pt) 2021-01-06

Similar Documents

Publication Publication Date Title
KR101967810B1 (ko) 데이터 프로세서 및 사용자 제어 데이터의 오디오 디코더들과 렌더러들로의 전송
KR101800604B1 (ko) 오브젝트 기반 오디오의 상호 작용적 렌더링을 위한 방법들 및 시스템들
CN117579857A (zh) 用于高体验质量的音频消息的有效传递和使用的方法和装置
HK40047355A (en) Data processor and transport of user control data to audio decoders and renderers
HK40047355B (en) Data processor and transport of user control data to audio decoders and renderers
HK1229983A1 (en) Data processor and transport of user control data to audio decoders and renderers
HK1229983B (en) Data processor and transport of user control data to audio decoders and renderers
HK40069124A (en) Method and system for generating and interactively rendering object based audio
HK40073661A (en) Method and system for generating and interactively rendering object based audio
HK1249655B (en) Method and system for generating and interactively rendering object-based audio

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
PA0105 International application

Patent event date: 20161227

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180116

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20181128

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20180116

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20181128

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20180712

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20161227

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20190108

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20181227

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20181128

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20180712

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20161227

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190404

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190405

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220324

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230328

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240326

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20250326

Start annual number: 7

End annual number: 7