[go: up one dir, main page]

TW201923750A - 使用不同時間/頻率解析度編碼或解碼方向性音訊寫碼參數之設備及方法 - Google Patents

使用不同時間/頻率解析度編碼或解碼方向性音訊寫碼參數之設備及方法 Download PDF

Info

Publication number
TW201923750A
TW201923750A TW107141079A TW107141079A TW201923750A TW 201923750 A TW201923750 A TW 201923750A TW 107141079 A TW107141079 A TW 107141079A TW 107141079 A TW107141079 A TW 107141079A TW 201923750 A TW201923750 A TW 201923750A
Authority
TW
Taiwan
Prior art keywords
parameter
time
frequency
parameters
resolution
Prior art date
Application number
TW107141079A
Other languages
English (en)
Other versions
TWI708241B (zh
Inventor
古拉米 福契斯
喬根 希瑞
法比恩 庫奇
史蒂芬 多希拉
馬庫斯 穆爾特斯
奧利薇 錫蓋特
奧立佛 屋伯特
佛羅瑞 吉西多
史蒂芬 拜爾
渥爾夫剛 賈格斯
Original Assignee
弗勞恩霍夫爾協會
紐倫堡大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會, 紐倫堡大學 filed Critical 弗勞恩霍夫爾協會
Publication of TW201923750A publication Critical patent/TW201923750A/zh
Application granted granted Critical
Publication of TWI708241B publication Critical patent/TWI708241B/zh

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • G10L19/038Vector quantisation, e.g. TwinVQ audio
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/15Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3082Vector coding
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60General implementation details not specific to a particular type of compression
    • H03M7/6005Decoder aspects
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60General implementation details not specific to a particular type of compression
    • H03M7/6011Encoder aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Abstract

本發明提供一種用於編碼包含擴散度參數及方向參數之方向性音訊寫碼參數的設備,該設備包含:一參數計算器,其用於計算具有一第一時間或頻率解析度之該等擴散度參數及用於計算具有一第二時間或頻率解析度之該等方向參數;以及一量化器及編碼器處理器,其用於產生該等擴散度參數及該等方向參數之一經量化及經編碼表示。

Description

使用不同時間/頻率解析度編碼或解碼方向性音訊寫碼參數之設備及方法
發明領域
本發明係關於音訊信號處理且特定言之係關於諸如DirAC後設資料之方向性音訊寫碼參數的高效寫碼方案。
發明背景
本發明旨在提出用於寫碼來自由方向性音訊寫碼(DirAC) (用於空間音訊處理之感知激勵技術)進行之3D音訊場景分析的空間後設資料之低位元速率寫碼解決方案。
傳輸三維之音訊場景需要處置多個通道,此通常引起大量資料之傳輸。方向性音訊寫碼(Directional Audio Coding;DirAC)技術[1]為用於分析音訊場景並以參數方式表示其之高效方法。DirAC使用聲場之感知激勵表示,其基於每個頻帶所量測之到達方向(direction of arrival;DOA)及擴散度。其係依據如下假設建置:在一個時間瞬時且對於一個臨界頻帶,聽覺系統之空間解析度限於解碼一個方向提示及耳間相干性之另一提示。空間聲音因而藉由使二個串流:非方向性擴散串流及方向性不擴散串流交叉衰減在頻域中再現。
本發明揭露基於用於達成在低位元速率下傳輸沉浸式音訊內容之DirAC聲音表示及再現的3D音訊寫碼方法。
DirAC為感知激勵空間聲音再現。假設在一個時間瞬時且對於一個臨界頻帶,聽覺系統之空間解析度限於解碼一個方向提示及耳間相干性之另一提示。
基於此等假設,DirAC藉由使二個串流:非方向性擴散串流及方向性不擴散串流交叉衰減在一個頻帶中表示空間聲音。DirAC處理係在如下二個階段中執行:如圖10a及圖10b中所描繪之分析階段及合成階段。
在DirAC分析階段中,呈B格式之一階重合麥克風被視為輸入且在頻域中分析擴散度及聲音之到達方向。
在DirAC合成階段中,聲音經分成二個串流,不擴散串流及擴散串流。使用振幅平移將不擴散串流再現為點源,可藉由使用向量基礎振幅平移(vector base amplitude panning;VBAP)[2]進行振幅平移。擴散串流負責包封之感覺且藉由將彼此去相關信號輸送至揚聲器而產生。
DirAC參數(在下文中亦稱為空間後設資料或DirAC後設資料)由擴散度及方向之元組組成。方向可藉由二個角(方位角及仰角)以球形座標表示,而擴散度為在0與1之間的純量因數。
圖10a展示接收B格式輸入信號之濾波器組130。執行能量分析132及強度分析134。在136處指示的能量結果之時間平均及在138處指示的強度結果之時間平均被執行且根據平均資料,如110處所指示計算個別時間/頻率區間之擴散度值。藉由濾波器組130之時間或頻率解析度給定的時間/頻率區間之方向值係藉由區塊120計算。
在圖10B中說明之DirAC合成中,再次使用分析濾波器組431。舉例而言,應用虛擬麥克風處理區塊421,其中虛擬麥克風對應於例如5.1揚聲器裝置之揚聲器位置。擴散度後設資料係由用於擴散度之對應處理區塊422及由在區塊423處指示之向量基礎振幅平移(VBAP)增益表來處理。揚聲器平均區塊424經組配以執行增益平均且對應正規化區塊425經應用以便在個別最終揚聲器信號中具有對應經定義響度位準。在區塊426中執行麥克風補償。
所得信號一方面用於產生包含去相關階段之擴散串流427,且另外亦產生不擴散串流428。針對對應子頻帶在加法器429中使二個串流相加,且在區塊431中,執行與其他子頻帶之加法(亦即,頻率至時間轉換)。因此,區塊431亦可視為合成濾波器組。對於來自特定揚聲器裝置之其他通道進行類似處理操作,其中對於不同通道,區塊421中虛擬麥克風之設定將係不同的。
在DirAC分析階段中,呈B格式之一階重合麥克風被視為輸入且在頻域中分析擴散度及聲音之到達方向。
在DirAC合成階段中,聲音經分成二個串流,不擴散串流及擴散串流。使用振幅平移將不擴散串流再現為點源,可藉由使用向量基礎振幅平移(VBAP)[2]進行振幅平移。擴散串流負責包封之感覺且藉由將彼此去相關信號輸送至揚聲器而產生。
DirAC參數(在下文中亦稱為空間後設資料或DirAC後設資料)由擴散度及方向之元組組成。方向可藉由二個角(方位角及仰角)以球形座標表示,而擴散度為在0與1之間的純量因數。
若STFT被視為具有20毫秒之時間解析度(其通常在若干論文中建議)及具有在相鄰分析窗之間50%之重疊的時間-頻率變換,則DirAC分析將對於以48 kHz取樣之輸入產生每秒288000個值,若基於8個位元量化角,則每秒288000個值對應於約2.3 Mbit/s之總位元速率。資料量並不適合於達成低位元速率空間音訊寫碼,且因此需要DirAC後設資料之高效寫碼方案。
關於後設資料之減小的先前工作主要集中於電話會議情形,其中DirAC之性能經極大地減小以用於允許其參數之最小資料速率[4]。實際上,提出將方向性分析限制於水平面中之方位角以用於僅僅再現2D音訊場景。此外,僅僅至多7 kHz傳輸擴散度及方位角,從而將通訊限制於寬頻話語。最終,基於一個或二個位元粗略量化擴散度,從而在合成階段中僅僅有時接通或斷開擴散串流,此在考慮多個音訊源及背景雜訊上大於單一話語時一般並不足夠。在[4]中,基於3位元量化方位角且假設源(在彼情況下,揚聲器)具有極靜態位置。因此,僅僅運用50毫秒更新頻率來傳輸參數。基於此等許多有力假設,對於位元之需要可減小至約3 kbit/s。
發明概要
本發明之目的為提供經改良之空間音訊寫碼概念。
此目的係藉由如請求項1之用於編碼方向性音訊寫碼參數的設備、如請求項17之用於編碼方向性音訊寫碼參數的方法、如請求項18之用於解碼經編碼音訊信號的解碼器、如請求項33之用於解碼的方法或如請求項34之電腦程式來達成。
根據一個態樣,本發明係基於發現當一方面擴散度參數及另一方面方向參數經提供有不同解析度且具有不同解析度之不同參數經量化及經編碼以獲得經編碼方向性音訊寫碼參數時獲得一方面增強之品質及同時另一方面用於編碼空間音訊寫碼參數的減小之位元速率。
在實施例中,擴散度參數之時間或頻率解析度低於方向性參數之時間或頻率解析度。在另一實施例中,執行不僅相對於頻率而且相對於時間的分組。舉例而言,對於高解析度時間/頻率區間,最初擴散度/方向性音訊寫碼參數經計算有高解析度,且一分組及較佳地運用平均之分組經執行用於計算具有低時間或頻率解析度之所得擴散度參數及用於計算具有中等時間或頻率解析度之所得方向性參數,亦即中等時間或頻率解析度係在擴散度參數之時間或頻率解析度與最初高解析度之間,最初原始參數已經計算有原始高解析度。
在實施例中,第一及第二時間解析度係不同的且第一及第二頻率解析度係相同的或反之亦然,亦即,第一及第二頻率解析度係不同的但第一及第二時間解析度係相同的。在另一實施例中,第一及第二時間解析度二者係不同的且第一及第二頻率解析度亦係不同的。因此,第一時間或頻率解析度亦可認為係第一時間-頻率解析度且第二時間或頻率解析度亦可認為係第二時間-頻率解析度。
在另一實施例中,擴散度參數之分組係運用加權加法進行,其中用於加權加法之加權因數係基於音訊信號之功率而判定,以使得時間/頻率區間具有較高功率或一般而言,與時間/頻率區間之擴散度參數相比,音訊信號之較高振幅相關量度對結果具有較高影響,其中待分析之信號具有較低功率或低於能量相關量度。
另外較佳執行雙重加權平均以用於計算經分組方向性參數。此雙重加權平均係以一種方式進行,該方式使得當最初信號之功率在此時間/頻率區間中非常高時,來自時間/頻率區間之方向性參數對最終結果具有較高影響。同時亦考慮對應區間之擴散度值,以使得最後,當功率在二個時間/頻率區間中相同時,與具有低擴散度之方向性參數相比較,來自與高擴散度有關聯的時間/頻率區間之方向性參數對最終結果具有較低影響。
較佳執行訊框中之參數的處理,其中每一訊框經經組織於某一數目個頻帶中,其中每一頻帶包含至少二個最初頻率區間,參數已在該等頻率區間中計算。頻帶之頻寬(亦即最初頻率區間之數目)隨增加之頻帶數目而增加以使得較高頻帶比較低頻帶更寬。已發現在較佳實施例中,舉例而言,每頻帶及訊框的擴散度參數之數目等於一而每訊框及頻帶的方向性參數之數目為二或甚至大於二,諸如四。已發現對於擴散度及方向性參數,相同頻率解析度但不同時間解析度係適用的,亦即,訊框中擴散度參數及方向性參數之頻帶的數目彼此相等。此等經分組參數接著藉由量化器及編碼器處理器來量化及編碼。
根據本發明之第二態樣,提供空間音訊寫碼參數之改良之處理概念的目標係藉由用於量化擴散度參數及方向參數的參數量化器及隨後連接之用於編碼經量化擴散度參數及經量化方向參數的參數編碼器以及用於產生包含關於經編碼擴散度參數及經編碼方向參數之資訊的經編碼參數表示的對應輸出介面來達成。因此,藉由量化及後續熵寫碼,獲得顯著資料速率減小。
輸入至編碼器中之擴散度參數及方向參數可為高解析度擴散度/方向參數或經分組或未經分組低解析度方向性音訊寫碼參數。較佳參數量化器之一個特徵為用於量化方向參數之量化精確度係自與相同時間/頻率區域相關聯的擴散度參數之擴散度值導出。因此,在第二態樣之一個特徵中,同與具有指示低擴散度的擴散度參數之時間/頻率區域相關聯之方向參數相比較,與具有高擴散度之擴散度參數相關聯的方向參數經較少精確地量化。
擴散度參數自身可在原始寫碼模式中經熵編碼,或當訊框之頻帶的擴散度參數在整個訊框中具有相同值時可在單值編碼模式中編碼。在其他實施例中,擴散度值可在僅僅二個連續值程序中編碼。
第二態樣之另一特徵為方向參數經轉換成方位角/仰角表示。在此特徵中,仰角值用以判定用於方位角值之量化及編碼的字母表。較佳地,當仰角指示零角度或一般而言單位球體上之赤道角度時,方位角字母表具有最大數量不同值。方位角字母表中之值的最小數量係在仰角指示單位球體之北極或南極時。因此,字母表值隨自赤道計數的仰角之增加之絕對值而減小。
此仰角值係運用自對應擴散度值判定的量化精確度來量化,且一方面量化字母表及另一方面量化精確度判定對應方位角值之量化及通常熵寫碼。
因此,執行一高效及參數調適處理,其儘可能移除許多不相關性,且同時將高解析度或高精度應用於值得如此做的區域,而在諸如單位球體之北極或南極的其他區域中,與單位球體之赤道相比較,精確度並不如此高。
根據第一態樣之解碼器側操作執行任何種類之解碼並運用經編碼或經解碼擴散度參數及經編碼或經解碼方向參數執行對應去分組。因此,參數解析度轉換經執行以將來自經編碼或經解碼方向性音訊寫碼參數之解析度增強至最終由音訊再現器使用以執行音訊場景之再現的解析度。在此解析度轉換過程中,不同解析度轉換經執行用於一方面擴散度參數及另一方面方向參數。
擴散度參數通常係運用低解析度編碼,且因此一個擴散度參數必須被倍增或複製若干次以獲得高解析度表示。另一方面,與擴散度參數相比較,對應方向性參數必須不經常被複製或不經常被倍增,此係由於方向性參數之解析度在經編碼音訊信號中已經大於擴散度參數之解析度。
在實施例中,經複製或經倍增方向性音訊寫碼參數係在其經處理(諸如經平滑或低通濾波)時被應用以便避免由參數所引起之假影隨頻率及/或時間強烈變化。然而,由於在一較佳實施例中,解析度轉換參數資料之應用係在譜域中執行,所以經再現音訊信號自頻域至時域之對應頻率-時間轉換歸因於一較佳應用之重疊及加法程序而執行固有平均,該較佳應用之重疊及加法程序為通常包括於合成濾波器組中的特徵。
在根據第二態樣之解碼器側,撤消在編碼器側關於一方面熵寫碼及另一方面量化執行之特定程序。較佳自與對應方向參數相關聯的通常經量化或經解量化擴散度參數判定解碼器側之解量化精確度。
較佳自對應擴散度值及其相關解量化精確度判定仰角參數之字母表。對於第二態樣亦較佳執行方位角參數之解量化字母表基於經量化或較佳地經解量化仰角參數之值的判定。
根據第二態樣,一方面原始寫碼模式或另一方面熵寫碼模式係在編碼器側執行且產生較低位元數目之模式係在編碼器內被選擇並經由一些旁側資訊發信至解碼器。通常,原始編碼模式始終經執行用於具有與其相關聯之高擴散度值的方向性參數而熵寫碼模式經嘗試用於具有與其相關聯之較低擴散度值的方向性參數。在具有原始寫碼之熵寫碼模式中,方位角及仰角值經合併成球體索引且球體索引接著使用二進位程式碼或收縮程式碼來編碼,且因此在解碼器側撤消此熵寫碼。
在具有模型化之熵寫碼模式中,針對訊框計算平均仰角及方位角值,且實際上計算關於此等平均值之殘餘值。因此,執行一種預測且預測殘餘值(亦即仰角及方位角之距離)經熵編碼。為此目的,除了較佳帶符號距離及平均值之外,較佳執行依賴於在編碼器側判定及編碼的哥倫布-萊斯參數之擴展哥倫布-萊斯程序。在解碼器側一旦具有模型化之熵寫碼(亦即此解碼模式)被發信並藉由解碼器中之旁側資訊評估判定,運用擴展哥倫布-萊斯程序之解碼係使用仰角及方位角之經編碼平均值、經編碼較佳帶符號距離及對應哥倫布-萊斯參數進行。
較佳實施例之詳細說明
本發明一般化DirAC後設資料至任一種情形之壓縮。本發明應用於圖1a及圖1b中所說明之空間寫碼系統中,在圖1a及圖1b中描繪基於DirAC之空間音訊編碼器及解碼器。
編碼器通常分析呈B格式之空間音訊場景。替代地,DirAC分析可經調整以分析不同音訊格式,如音訊物件或多通道信號或任何空間音訊格式之組合。DirAC分析自輸入音訊場景提取參數表示。每個時間-頻率單位所量測之到達方向(DOA)及擴散度形成該等參數。該DirAC分析之後為空間後設資料編碼器,該空間後設資料編碼器對DirAC參數量化且編碼以獲得低位元速率參數表示。後一模組為本發明之主題。
對自不同源或音訊輸入信號導出之降混信號以及該等參數進行寫碼以藉由習知音訊核心寫碼器來傳輸。在較佳實施例中,EVS音訊寫碼器較佳用於寫碼降混信號,但本發明不限於此核心寫碼器且可應用於任何音訊核心寫碼器。該降混信號由被稱作輸送通道之不同通道組成:該信號可為例如構成B格式信號之四個係數信號,取決於目標位元速率之立體聲對或單音降混。經寫碼空間參數及經寫碼音訊位元串流在經由通訊通道傳輸之前經多工。
在解碼器中,輸送通道係藉由核心解碼器解碼,而DirAC後設資料在運用經解碼輸送通道輸送至DirAC合成之前首先經解碼。DirAC合成使用經解碼後設資料用於控制直接聲音串流之再現及其與擴散聲音串流的混合。再現聲場可再現於任意揚聲器佈局上或可以任意次序以立體混響格式(HOA/FOA)產生。
在圖1a中說明用於編碼諸如B格式輸入信號之音訊信號的音訊編碼器。音訊編碼器包含DirAC分析器100。DirAC分析器100可包括分析濾波器組130、擴散度估計器110及方向估計器120。擴散度資料及方向資料經輸出至空間後設資料編碼器200,該空間後設資料編碼器最終在線250上輸出經編碼後設資料。B格式信號亦可經轉遞至一射束形成器/信號選擇器140,其自輸入信號產生一單聲道或立體聲輸送音訊信號,該單聲道或立體聲輸送音訊信號接著在音訊編碼器150 (亦即,較佳地 增強之語音服務(Enhanced Voice Service;EVS)編碼器)中經編碼。在170處輸出經編碼音訊信號。在250處指示之經編碼寫碼參數經輸入至空間後設資料解碼器300中。經編碼音訊信號170輸入至一音訊解碼器340中,該音訊解碼器在較佳實施例中及根據編碼器側實施而實施為EVS解碼器。
經解碼輸送信號連同經解碼方向性音訊寫碼參數一起輸入至DirAC合成器400中。在圖1b中所說明之實施例中,DirAC合成器包含輸出合成器420、分析濾波器組430及合成濾波器組440。在合成濾波器組400之輸出處,獲得可經轉遞至揚聲器或可替代地為呈任何其他格式(諸如一階立體混響(FOA)或高階立體混響(HOA)格式)之音訊信號的經解碼多通道信號450。自然地,任何其他參數資料(諸如MPEG環繞(MPEG Surround;MPS)資料或空間音訊物件寫碼(Spatial Audio Object Coding;SAOC)資料)可連同為單聲道通道或立體聲通道之輸送通道一起產生。
一般而言,輸出合成器藉由針對如藉由分析濾波器組430所判定的每一時間-頻率區間計算一方面直接音訊信號及另一方面擴散音訊信號而操作。直接音訊信號係基於方向參數及直接音訊信號與此時間/頻率區間之最終音訊信號中的擴散音訊信號之間的關係而計算,該擴散音訊信號係基於擴散度參數而判定以使得具有高擴散度參數之時間/頻率區間產生具有大量擴散信號及少量直接信號的輸出信號,而具有低擴散度之時間/頻率區間產生具有大量直接信號及少量擴散信號的輸出信號。
圖2a說明根據第一態樣之用於編碼包含擴散度參數及方向參數之方向性音訊寫碼參數的設備。該設備包含一參數計算器100,其用於計算具有一第一時間或頻率解析度之擴散度參數並用於計算具有一第二時間或頻率解析度之方向參數。該設備包含一量化器及編碼器處理器200,其用於產生在250處說明的擴散度參數及方向參數之經量化及經編碼表示。參數計算器100可包含圖1a之元件110、120、130,其中不同參數已經在第一或第二時間或頻率解析度中計算。
替代地,圖2b中說明較佳實施。本文中,如圖2b之項目130中所說明,組配參數計算器及特定言之圖1a中之區塊110、120,亦即其計算具有第三或第四通常高時間或頻率解析度的參數。執行分組操作。為了計算擴散度參數,如區塊141中所說明,進行分組及平均以便獲得具有第一時間或頻率解析度之擴散度參數表示,且為了計算方向參數,在區塊142中進行分組(及平均)以便獲得在第二時間或頻率解析度中之方向參數表示。
擴散度參數及方向參數經計算,以使得第二時間或頻率解析度不同於第一時間或頻率解析度且第一時間解析度低於第二時間解析度或第二頻率解析度大於第一頻率解析度,或另外替代地,第一時間解析度低於第二時間解析度且第一頻率解析度等於第二頻率解析度。
通常,擴散度參數及方向參數係針對一組頻帶而計算,其中具有較低中心頻率之頻帶比具有較高中心頻率之頻帶窄。如已經關於圖2b所論述,參數計算器100經組配以獲得具有第三時間或頻率解析度之初始擴散度參數且參數計算器100亦經組配以獲得具有第四時間或頻率解析度之初始方向參數,其中第三及第四時間或頻率解析度通常彼此相等。
參數計算器接著經組配以分組並平均初始擴散度參數以使得第三時間或頻率解析度高於第一時間或頻率解析度,亦即,執行解析度減小。參數計算器亦經組配以分組並平均初始方向參數以使得第四時間或頻率解析度高於第二時間或頻率解析度,亦即,執行解析度減小。較佳地,頻率解析度之第三時間為恆定時間解析度,以使得每一初始擴散度參數與具有相同大小的時槽或頻率區間相關聯。第四時間或頻率解析度亦為恆定頻率解析度,以使得每一初始方向參數與具有相同大小的時槽或頻率區間相關聯。
參數計算器經組配以對於與第一多個時槽相關聯之第一多個擴散度參數進行平均。參數計算器100亦經組配以對於與第二多個頻率區間相關聯之第二多個擴散度參數進行平均,且參數計算器亦經組配以對於與第三多個時槽相關聯之第三多個方向參數進行平均或參數計算器亦經組配以對於與四個多個頻率區間相關聯之第四多個方向參數進行平均。
如將關於圖2c及圖2d論述,參數計算器100經組配以執行加權平均計算,其中與自具有較低振幅相關量度之輸入信號部分導出的擴散度參數或方向參數相比較,自具有較高振幅相關量度之輸入信號部分導出的擴散度參數或方向參數係使用較高加權因數來加權。參數計算器100經組配以如圖2c項目143中所說明計算143及在第三或第四時間或頻率解析度中的每區間之振幅相關量度。在區塊144中,計算每一區間之加權因數,且在區塊145中,在個別區間之擴散度參數輸入至區塊145中的情況下使用加權組合(諸如加權加法)執行分組及平均。在區塊145之輸出處,獲得具有第一時間或頻率解析度之擴散度參數,其可隨後在區塊146中經正規化但此程序僅僅係任擇的。
圖2d說明具有第二解析度之方向參數的計算。在區塊146中,類似於圖2c之項目143計算在第三或第四解析度中每一區間之振幅相關量度。在區塊147中,針對每一區間計算加權因數,但此不僅取決於自區塊147獲得之振幅相關量度而且使用如圖2d中所說明之每區間之對應擴散度參數。因此,對於同一振幅相關量度,較高因數通常經計算用於較低擴散度。在區塊148中,使用加權組合(諸如加法)執行分組及平均且結果可如任擇區塊146中所說明而經正規化。因此,在區塊146之輸出處,方向參數經獲得為對應於二維或三維區域之單位向量,諸如可容易地轉換為具有方位角值及仰角值之極座標形式的笛卡爾向量。
圖3a說明如藉由圖1a及圖1b之濾波器組分析430獲得或如藉由圖1b之濾波器組合成440應用的時間/頻率柵格。在實施例中,整個頻率範圍以60個頻帶分隔且訊框另外具有16個時槽。此高時間或頻率解析度較佳地為第三或第四高時間或頻率解析度。因此,始於60個頻帶及16個時槽,獲得每訊框960個時間/頻率塊或區間。
圖3b說明藉由參數計算器及特定言之藉由圖2b之區塊141執行以便獲得擴散度值之第一時間或頻率解析度表示的解析度減小。在此實施例中,整個頻寬分成五個分組頻帶及僅僅單個時槽。因此,對於一個訊框,一個訊框最後獲得每一訊框僅僅五個擴散度參數,該等參數接著經進一步量化及編碼。
圖3c說明藉由圖2b之區塊142執行的對應程序。來自圖3a之高解析度方向參數(其中一個方向參數經計算用於每一區間)經分組及平均成圖3c中之中等解析度表示,其中對於每一訊框,一個訊框具有五個頻帶但與圖3a相比現在具有四個時槽。因此,最後,一個訊框容納20個方向參數(亦即,用於方向參數之每訊框20個分組區間)及用於圖3b之擴散度參數的每訊框僅僅五個分組區間。在一較佳實施例中,頻帶邊緣在其上部邊緣中係互斥的,以使得
當比較圖3b及圖3c時,應注意第一頻帶之擴散度參數(亦即擴散度參數1)對應於第一頻帶之四個方向參數或與其相關聯。如隨後將概述,第一頻帶中之所有方向參數的量化精確度係藉由第一頻帶之擴散度參數判定,或例示性地,第五頻帶之方向參數(亦即,涵蓋第五頻帶及第五頻帶中之四個時槽的對應四個方向參數)的量化精確度係藉由第五頻帶之單一擴散度參數判定。
因此,在此實施例中,在僅僅單一擴散度參數由每頻帶組成的情況下,一個頻帶中之所有方向參數具有相同量化/解量化精確度。如隨後將概述,用於量化及編碼方位角參數的字母表取決於最初/經量化/經解量化仰角參數之值。因此,儘管每一頻帶之每一方向參數具有相同量化/解量化參數,但圖3c之每一分組區間或時間/頻率區域的每一方位角參數可具有用於量化及編碼之不同字母表。
在圖3d中更詳細說明在圖2a中之250處說明的由量化器及編碼器處理器200產生的所得位元串流。位元串流可包含指示第一解析度及第二解析度之解析度指示260。然而,當第一解析度及第二解析度藉由編碼器及解碼器固定地設定時,則並不需要此解析度指示。項目261、262說明對應頻帶之經編碼擴散度參數。由於圖3d僅僅說明五個頻帶,所以僅僅五個擴散度參數包括於經編碼資料串流中。項目363、364說明經編碼方向參數。對於第一頻帶,存在四個經編碼方向參數,其中方向參數之第一索引指示頻帶且第二參數指示時槽。第五頻帶及第四時槽(亦即圖3c中之右上方頻率區間)之方向參數指示為DIR54。
隨後,詳細地論述更佳實施。
時間 - 頻率分解
在DirAC中,分析及合成均在頻域中執行。時間-頻率分析及合成可使用各種區塊變換(如短期傅里葉變換(short-term Fourier Transform;STFT))或濾波器組(如複調變正交鏡像濾波器組(Quadrature Mirror Filterbank;QMF))來執行。在吾人之較佳實施例中,吾人旨在在DirAC處理與核心編碼器之間共用成框。由於核心編碼器較佳地基於3GPP EVS編碼解碼器,所以20毫秒之成框係所要的。此外,諸如時間及頻率解析度及頻疊之穩固性的重要準則對於DirAC中之極有效時間-頻率處理有重大意義。由於系統經設計用於通信,所以算法延遲係另一引進態樣。
出於所有此等原因,複調變低延遲濾波器組(Complex modulated low-delay filterbank;CLDFB)係較佳選擇。CLDFB具有1.25毫秒之時間解析度並將20毫秒分成16個時槽。頻率解析度為400 Hz,此意味著輸入信號經分解成(fs/2)/400個頻帶。濾波器組操作以一般形式藉由以下公式描述:

其中分別為實及虛子頻帶值,為子頻帶時間索引,其中為子頻帶索引,其中-1。分析原型為具有取決於之適應性長度的不對稱低通濾波器。之長度藉由給出,意味著濾波器橫跨10個連續區塊以用於變換。
舉例而言,CLDFB將會將以48 kHz取樣之信號分解成每訊框60x16=960個時間-頻率塊。在分析及合成之後的延遲可藉由選擇不同原型濾波器而調整。發現5毫秒之延遲(分析及合成)為遞送品質與產生延遲之間的良好折衷。對於每一時間-頻率塊,計算擴散度及方向。
DirAC 參數估計
在每一頻帶中,估計聲音之到達方向連同聲音之擴散度。自輸入B格式分量之時間-頻率分析,壓力及速度向量可經判定為:


其中為輸入之索引,時間-頻率塊之時間及頻率索引,且表示笛卡爾單位向量。為經由以下強度向量之計算而計算DirAC參數(亦即DOA及擴散度)所必需:

其中指示複共軛。組合式聲場之擴散度由下式給出:

其中指示時間平均運算符,為聲音之速度及聲場能量藉由下式給出:
聲場之擴散度經定義為聲音強度與能量密度之間的比率,具有0與1之間的值。
到達方向(DOA)借助於單位向量表達,經定義為
到達方向係藉由對B格式輸入之能量分析判定且可經定義為強度向量之相對方向。方向經定義於笛卡爾座標中但可容易地變換於由單位半徑、方位角及仰角定義的球形座標中。
總之,若對於每一時間-頻率塊,參數值直接轉換為位元,則3個值必須經寫碼:方位角、仰角及擴散度。後設資料接著在CLDFB之實例中由每訊框2880個值(亦即每秒144000個值)組成。此巨大數量資料需要顯著減小以用於達成低位元速率寫碼。
DirAC 後設資料之分組及平均
為了減少參數之數目,在每一時間-頻率塊中計算的參數首先沿著頻率參數頻帶及在若干時槽上分組及平均。分組係在擴散度與方向之間去耦,此係本發明之重要態樣。實際上,去耦利用擴散度與方向相比保持聲場之更長期特性(此係更多反應性空間提示)的事實。
參數頻帶遵照大致整數數目倍等效矩形頻寬(Equivalent Rectangular Bandwidth;ERB)比例而構成頻帶之不均勻及不重疊分解。藉由預設,9倍ERB比例經採用用於16 kHz之音訊頻寬之總共5個參數頻帶。
擴散度經計算為:

其中為在索引(t、k)之時間-頻率塊中所量測並升高至之冪的輸入信號之能量,且為在索引(n、k)之時間-頻率塊中所量測的輸入信號之擴散度,且其中界定關於頻帶索引之參數頻帶的限制,且界定時槽索引中在時間上分組的限制。舉例而言,表可針對5個參數頻帶及1個時間分組經定義為:

笛卡爾座標中之方向向量經計算為:

其中為在索引(t、k)之時間-頻率塊中所量測並升高至之冪的輸入信號之能量,為在索引(n、k)之時間-頻率塊中所量測的輸入信號之擴散度,且為在三維笛卡爾座標中之索引(n、k)之時間-頻率塊中所量測的方向,且其中界定關於頻帶索引之參數頻帶的限制,且界定時槽索引中在時間上分組的限制。舉例而言,表可針對5個參數頻帶及4個時間分組經定義為:

參數α允許在經執行用於平均參數之加權總和中壓縮或擴大基於冪之權重。在較佳模式中,
一般而言,此值可為實非負數,此係由於小於1之指數亦可適用。例如0.5(平方根)將仍給予較高與振幅有關之信號更多權重,但當與為1或大於1之指數相比較時更適度。
在分組及平均之後,所得方向性向量一般不再為單位向量。因此需要正規化:
隨後,論述本發明之第二態樣的較佳實施例。圖4a說明根據其他第二態樣之用於編碼包含擴散度參數及方向參數之方向性音訊寫碼參數的設備。該設備包含參數量化器210,其在其輸入處接收如關於第一態樣所論述的分組參數或尚未分組或已以不同方式分組的參數。
因此,參數量化器210及隨後連接之用於編碼經量化擴散度參數及經量化方向參數的參數編碼器220連同用於產生包含關於經編碼擴散度參數及經編碼方向參數之資訊的經編碼參數表示的輸出介面一起包括於例如圖1a之區塊200內。圖2a之量化器及編碼器處理器200可如例如隨後關於參數量化器210及參數編碼器220所論述而實施,但量化器及編碼器處理器200亦可以任何不同方式實施用於第一態樣。
較佳地,圖4a之參數量化器210經組配以使用不均勻量化器量化如圖4b中之231處所說明的擴散度參數以產生擴散度索引。圖4a之參數編碼器220如項目232中所說明而組配,亦即以使用較佳三個不同模式熵編碼經獲得用於訊框之擴散度值,但單一模式亦可使用或僅僅二個不同模式亦可使用。一個模式為以一種方式進行的原始模式,該方式使得使用例如二進位程式碼或收縮二進位程式碼來編碼每一個別擴散度值。替代地,差分編碼可經執行以使得使用原始模式來編碼每一差值及最初絕對值。然而,該情形可為相同訊框在全部頻帶上具有相同擴散度且可使用僅僅一值程式碼。此外,替代地,情形可為僅僅存在用於擴散度之連續值,亦即在一個訊框中之連續擴散度索引,且接著可如區塊232中所說明應用第三編碼模式。
圖4c說明圖4a之參數量化器210的實施。圖4a之參數量化器210經組配以如233處所說明將方向參數轉換成極座標形式。在區塊234中,判定一區間之量化精確度。此區間可為最初高解析度區間或替代地且更佳為低解析度分組區間。
如之前關於圖3b及圖3c所論述,每一頻帶具有相同擴散度值但具有四個不同方向值。相同量化精確度經判定用於整個頻帶,亦即用於頻帶內之全部方向參數。在區塊235中,如由區塊233輸出之仰角參數係使用量化精確度來量化。用於量化仰角參數之量化字母表較佳地亦自如在區塊234中所判定的區間之量化精確度獲得。
出於處理方位角值之目的,自對應(分組)時間/頻率區間之仰角資訊判定236方位角字母表。仰角資訊可為經量化仰角值、最初仰角值或經量化及再經解量化仰角值,其中後一值(亦即經量化及再經解量化仰角值)係較佳的以便在編碼器側及在解碼器側處具有相同情形。在區塊237中,方位角參數係運用此時間/頻率區間之字母表來量化。雖然吾人可具有如之前關於圖3b所論述的頻帶之相同量化精確度,但吾人仍然可具有用於與方向參數相關聯之每一個別分組時間/頻率區間的不同方位角字母表。
DirAC 後設資料寫碼
對於每一訊框,在由跨越頻率之個頻帶組成之網格上計算DirAC空間參數,且對於每一頻帶個時槽經分組成若干同樣大小之個時間分組。發送用於每一頻帶之擴散度參數,且發送用於每一頻帶之每一時間分組的方向參數。
舉例而言,若,在情況下,則此將產生每訊框5個擴散度參數及20個方向參數,其將經進一步量化及熵寫碼。
擴散度參數之量化
使用不均勻量化器產生擴散度索引,每一擴散度參數經量化成離散位準中之一者。舉例而言,量化器可自MPS標準中使用的ICC量化表導出,藉由generate_diffuseness_quantizer功能計算針對MPS標準之臨限值及重建構位準。
較佳地,來自ICC量化表之僅僅非負值被使用,如icc = [1.0、0.937、0.84118、0.60092、0.36764、0.0],含有最初8個中之僅僅6個位準。因為0.0之ICC對應於擴散度1.0,且1.0之ICC對應於擴散度0.0,所以一組y座標建立為y=1.0-icc,其中x座標之對應集合為x = [0.0、0.2、0.4、0.6、0.8、1.0]。保形分段三次內插方法(稱為分段三次厄米特內插多項式(Piecewise Cubic Hermite Interpolating Polynomial;PCHIP))用以導出通過由x及y界定的點之集合的曲線。擴散度量化器之步驟的數目為diff_alph,其在所提議實施中為8,但其與ICC量化表之位準之總數目(其亦為8)無關係。
產生自0.0至1.0(或當由於聲音再現考慮因素而避免1.0之純擴散度時,靠近但小於1.0)的diff_alph個等間隔座標x_interpolated之新集合,且曲線上之對應y值用作重建構值,彼等重建構值非線性地間隔開。亦產生連續x_interpolated值之間一半處的點,且曲線之對應y值用作臨限值以決定哪些值映射至特定擴散度索引及因此重建構值。對於所提議實施,藉由generate_diffuseness_quantizer功能計算的所產生重建構及臨限值(捨入至5數位)為:
reconstructions=[0.0、0.03955、0.08960、0.15894、0.30835、0.47388、0.63232、0.85010]
thresholds=[0.0、0.01904、0.06299、0.11938、0.22119、0.39917、0.54761、0.73461、2.0]
占位器超範圍大臨限值(2.0)係在臨限值末端添加以使搜尋其更簡單。舉例而言,若對於特定頻帶b,diff(b)=0.33,則thresholds[4] <= diff(b) < thresholds[5],因此diff_idx(b)=4,且對應重建構值為reconstructions[4] = 0.30835。
以上程序僅為用於擴散度值的非線性量化器之一個可能選擇。
擴散度參數之熵寫碼
EncodeQuasiUniform (value 、alphabet _sz ) 功能用以使用收縮程式碼運用準均勻機率編碼值。對於,若干最小者係使用個位元來編碼,且剩餘的係使用位元來編碼。若為二之冪,則二進位寫碼產生。
取決於其值,經量化擴散度索引可使用三個可用方法中之一者來熵寫碼:原始寫碼、僅僅一個值,及僅僅二個連續值。第一位元(diff _use _raw _coding )指示是否使用原始寫碼方法。對於原始寫碼,每一擴散度索引值係使用EncodeQuasiUniform 功能來編碼。
若全部索引值相等,則使用僅僅一值方法。第二位元(diff _have _unique _value )用以指示此方法,接著使用EncodeQuasiUniform 功能來編碼唯一值。若全部索引值僅僅由二個連續值組成,則使用僅僅二個連續值方法,藉由上述第二位元指示。考慮其字母表大小減小至,二個連續值中之較小者係使用EncodeQuasiUniform 功能來編碼。接著,對於每一值,其與最小值之間的差係使用一個位元來編碼。
較佳EncodeQuasiUniform(value,alphabet_sz)功能實施所謂的收縮程式碼。可在偽程式碼中經定義為:
bits = floor(log2(alphabet_sz))
thresh = 2 ^ (bits + 1) - alphabet_sz
if (value < thresh)
write_bits(value, bits)
else
write_bits(value + thresh, bits + 1)
若alphabet_sz為2之冪,則alphabet_sz=2^ bits,且thresh=2^ bits,因此從未使用否則分枝,且二進位寫碼產生。另外,第一thresh最小值係使用具有bits個位元之二進位程式碼來編碼,且剩餘(開始於value = thresh)係使用具有bits+1個位元之二進位程式碼來編碼。使用bits+1個位元編碼之第一二進位程式碼具有值value + thresh = thresh + thresh = thresh * 2,因此解碼器可藉由僅僅讀取前bits個位元及比較其value與thresh弄清楚是否需要讀取一更額外位元。解碼功能DecodeQuasiUniform(alphabet_sz)可在偽程式碼中經定義為:
bits = floor(log2(alphabet_sz))
thresh = 2 ^ (bits + 1) - alphabet_sz
value = read_bits(bits)
if (value >= thresh)
value = (value * 2 + read_bits(1)) - thresh
return value
方向參數至極座標的轉換
每一3維方向向量(其經正規化,使得)係使用功能DirectionVector2AzimuthElevation轉換成由仰角及方位角組成之極座標表示。反方向轉換(自極座標至經正規化之方向向量)係使用功能AzimuthElevation2DirectionVector 實現。
方向參數之量化
表示為仰角及方位角對之方向經進一步量化。對於每一經量化擴散度索引位準,所需要角度精確度係自組配向量中選擇作為且用以產生在單位球體上之一組準均勻分佈量化點。
角度間隔值deg_req較佳地並非自擴散度diff(b)而是自擴散度索引diff_idx(b)計算。因此,存在diff_alph個可能deg_req值,一個deg_req值對應於每一可能擴散度索引。在解碼器側處,最初擴散度diff(b)並不可用,僅僅擴散度索引diff_idx(b)可用,擴散度索引diff_idx(b)可類似於在編碼器中用於選擇相同角度間隔值。在所提議實施中,角度間隔表為:
angle_spacing_table = [5.0, 5.0, 7.5, 10.0, 18.0, 30.0, 45.0, 90.0]
單位球體上之準均勻分佈點係以滿足若干重要需要特性之此方式產生。該等點應關於X、Y及Z軸對稱地分佈。至最近點及映射至整數索引之給定方向的量化應為常數時間操作。最終,自至方向之整數索引及解量化計算球體上之對應點應為關於球體上之點的總數目的一常數或對數時間操作。
針對水平面上之點存在關於軸之二種類型對稱:在正交軸與當前平面上之單位球體相交情況下二個點呈現,及沒有任何點呈現。作為實例,對於任意水平面,存在三個可能情況。若點之數目為4的倍數(如8),則存在關於X(左至右)軸之對稱及在Y軸上以90度及270度呈現的二個點,及關於Y(前至後)軸之對稱及在X軸上以0度及180度呈現的二個點。若點之數目僅僅為2之倍數(如6),則存在相對於X軸之對稱但在Y軸上在90度及270度處沒有點,及相對於Y軸之對稱及在X軸上以0度及180度呈現之二個點。最終,當點之數目為任意整數(如5)時,存在相對於X軸之對稱但在Y軸上在90度及270度處沒有點,及不存在相對於Y軸之對稱。
在較佳實施例中,在所有水平面(對應於全部經量化仰角)上在0度、90度、180度及270度處具有點自音質視角來看認為適用,意味著每一水平面上之點的數目始終為4的倍數。然而,取決於特定應用,關於每一水平面上之點的數目的條件可放寬鬆為僅僅2的倍數,或任意整數。
另外,在較佳實施例中,對於每一仰角,「原點」方位角點始終存在於0度特許方向(朝向前面)。此特性可藉由獨立地選擇每一仰角之預計算量化偏移角度而寬鬆,其中方位角點相對於該偏移角度而非0度方向分佈。其可藉由在量化之前加上偏移及在解量化之後減去偏移而容易地實施。
所需要角度精確度為且應為90度之約數。另外,其係在實際使用之前經重新計算為。舉例而言,可能值之清單為{90,45,30,22.5,18,15,12.86,11.25,10,…,5,…}。仰角係運用步長而均勻地量化,從而產生個量化索引中之一者,其中。此索引對應於之經解量化仰角。等效地,僅僅基於字母表大小,用於量化且用於解量化。
在赤道處,方位角係運用步長而均勻地量化,從而產生個量化索引中之一者。對於其他仰角,如自單位球體之中心所見的水平角度間隔(其對應於二個連續點之間的弦長度)可藉由位於仰角處之水平圓上的弧長度近似。因此,此水平圓上對應於90度的點之數目相對於赤道圓隨著其半徑按比例減小,以使得二個連續點之間的弧長度在各處保持大約相同。在極點處,點之總數目變為一。
存在個量化索引,對應於仰角,其中。對應量化索引為,其中之所得值用0替換。此索引對應於之經解量化方位角。注意,不包括在情況下的極點,靠近極點之最小值對於,且對於全部剩餘者為
若關於每一水平面上之點的數目的條件放寬鬆為僅僅2的倍數,則方位角字母表變為,此係因為存在對應於赤道平面上之180度的。若關於點之數目的條件放寬鬆為任意整數,則方位角字母表變為,此係因為存在對應於赤道平面上之360度的。在二種情況下,在赤道平面上點之數目始終為4的倍數,此係因為為整數。
上文所描述的量化及解量化程序係分別使用QuantizeAzimuthElevation 功能及DequantizeAzimuthElevation 功能而實現。
較佳地,round(x)功能將x捨入至最接近的整數,通常在固定點中實施為round(x) = floor(x + 0.5)。對於緊結(ties)(其為恰好在整數之間一半處之值,如1.5)的捨入可以若干方式進行。上述定義朝向+無窮捨入緊結(1.5捨入至2,2.5捨入至3)。浮點實施通常具有自然捨入至整數功能,捨入緊結至偶數整數(1.5捨入至2,2.5捨入至2)。
指示為「單位球體之準均勻涵蓋範圍」之圖4d說明使用15度角度精確度的單位球體之準均勻涵蓋範圍的實例,展示經量化方向。自上方看為3D視圖,為較佳可視化僅僅繪製上部半球,且連接加點螺線線僅為了較容易視覺識別來自同一水平圓或平面之點。
隨後,說明用於編碼經量化方向參數(亦即,經量化仰角索引及經量化方位角索引)之目的的圖4a之參數編碼器220之較佳實施。如圖5a中所說明,編碼器經組配以關於訊框中之擴散度值分類240每一訊框。區塊240接收擴散度值,其在圖3b實施例中針對訊框僅僅為五個擴散度值。若訊框僅僅由低擴散度值組成,則應用低擴散度編碼模式241。當訊框中之五個擴散度值僅僅為高擴散度值時,則應用高擴散度編碼模式242。當判定訊框中之擴散度值低於及高於擴散度臨限值ec_max二者時,則應用混合擴散度編碼模式243。在低擴散度編碼模式241及高擴散度編碼模式242二者中,及亦對於低擴散度頻帶,關於混合擴散度訊框,嘗試(亦即如244a、244b及244c處所指示執行)一方面原始寫碼及另一方面熵編碼。然而,對於混合擴散度訊框中之高擴散度頻帶,如244d處所指示始終使用原始寫碼模式。
在使用不同編碼模式(亦即原始寫碼模式及熵寫碼模式(具有模型化))之情況下,結果係藉由一編碼器控制器選擇,該編碼器控制器選擇產生較少量之位元用於編碼經量化索引的模式。此在245a、245b及245c處指示。
另一方面,吾人可僅僅使用原始寫碼模式用於全部訊框及頻帶或僅僅使用具有模型化之熵寫碼模式用於全部頻帶或使用用於寫碼索引之任何其他寫碼模式(諸如霍夫曼寫碼模式或具有或不具有上下文調適之算術寫碼模式)。
取決於區塊245a、245b及245c中之所選擇程序的結果,如區塊246a、246b所說明旁側資訊經設定用於整個訊框或設定僅僅用於對應頻帶(亦即區塊246c中之低擴散度頻帶)。替代地,在項目246c之情況下,旁側資訊亦可經設定用於整個訊框。在此情況下,高擴散度頻帶之判定可在解碼器中單獨進行以使得即使旁側資訊經設定用於整個訊框,解碼器仍然判定存在混合擴散度訊框且此混合擴散度訊框中具有高擴散度值之頻帶的方向參數係運用原始編碼模式編碼,但用於訊框之旁側資訊指示具有模型化之熵編碼模式。
在一較佳實施例中,diff_alph=8。接著,借助於最小化大測試體之平均壓縮大小,ec_max臨限值經選擇為5。取決於當前訊框之擴散度索引的值範圍,此臨限值ec_max用於以下模式:
-對於低至中等擴散度訊框,其中diff_idx(b) <= ec_max,對於全部頻帶b,全部方向係使用原始及熵寫碼二者來編碼且最佳被選擇並藉由一個位元指示為旁側資訊(上文經標識為dir_use_raw_coding);
-對於混合擴散度訊框,其中diff_idx(b) <= ec_max,對於一些頻帶b,對應於彼等頻帶之方向恰好如第一情況中而編碼;然而,對於其他高擴散度頻帶b,其中diff_idx(b) > ec_max,對應於此等其他頻帶的方向始終經編碼為原始(以避免具有低至中等擴散度的方向之混合熵寫碼統計,其中方向具有高擴散度,其亦經非常粗略地量化);
-對於高擴散度訊框,其中diff_idx(b) > ec_max,對於全部頻帶b,ec_max臨限值經預先設定為用於當前訊框的ec_max=diff_alph(因為擴散度索引在方向之前被寫碼,所以此設定可預先在解碼器側處相同地進行),因此此情況還原至第一情況。
圖5b說明用於二個模式之方向索引的較佳但任擇預處理。對於二個模式,經量化方向索引(亦即經量化方位角索引及經量化仰角索引)係在區塊247中經處理成產生帶符號值的仰角/方位角索引之轉換,其中零索引對應於零仰角或方位角。至無符號值的後續轉換248 (包含正/負值之交錯)經執行以便具有經重排序之無符號方位角/仰角索引的更緊湊表示。
圖5c說明第一寫碼模式260 (亦即不具有模型化之原始寫碼模式)之較佳實施。經預處理之方位角/仰角索引輸入至區塊261中以便將二個索引合併成單一球體索引。基於自相關聯擴散度索引導出的量化精確度(亦即deg_req),執行具有諸如EncodeQuasiUniform或(收縮)二進位程式碼之編碼功能的編碼262。因此,獲得用於頻帶或用於整個訊框之經編碼球體索引。在其中原始寫碼已經選擇的僅僅低擴散度訊框之情況下或在其中原始寫碼再次被選擇的僅僅高擴散度訊框中,獲得用於整個訊框之經編碼球體索引,或在圖5a中之243處所指示的混合擴散度訊框(其中對於其他頻帶,具有低或中等擴散度,諸如具有模型化之熵寫碼的第二編碼模式已被選擇)之情況下,獲得僅僅用於訊框之高擴散度頻帶的經編碼球體索引。
圖5d說明可例如為具有模型化之熵寫碼模式的此第二編碼模式。經預處理之索引(其例如經分類用於混合擴散度訊框,如圖5a中在240處所說明)輸入至一區塊266中,該區塊266收集諸如仰角索引、仰角字母表、方位角索引、方位角字母表之對應量化資料,且此資料經收集於訊框之單獨向量中。在區塊267中,基於自如隨後論述之解量化及對應向量變換導出的資訊清楚地計算仰角及方位角之平均值。在區塊268處指示,此等平均值係運用在訊框中使用的最高角度精確度來量化。如區塊269中所說明,經預測仰角及方位角索引由平均值產生,且來自最初索引並與經預測仰角及方位角索引相關的仰角及方位角之帶符號距離經計算並任擇地減小至另一更小的值間隔。
如圖5e中所說明,由使用用於導出圖5d中所說明之預測值的投影操作之模型化操作產生的資料經熵編碼。圖5e中所說明的此編碼操作最終自對應資料產生編碼位元。在區塊271中,方位角及仰角之平均值經轉換成帶符號值,且特定重排序272經執行以便具有更緊湊表示,且彼等平均值係運用二進位程式碼或收縮二進位程式碼來編碼273以便產生仰角平均位元及方位角平均位元274。在區塊275中,諸如圖5f中所說明判定哥倫布-萊斯參數,且在區塊276處說明,此參數接著亦運用(收縮)二進位程式碼來編碼,以便具有在277處說明的仰角之哥倫布-萊斯參數及方位角之另一哥倫布-萊斯參數。在區塊278中,藉由區塊270計算的(減小之)帶符號距離經重排序且接著在279處說明運用擴展之哥倫布-萊斯方法來編碼以便具有在280處指示的經編碼仰角距離及方位角距離。
圖5f說明用於區塊275中之哥倫布-萊斯參數之判定的較佳實施,區塊275經執行皆用於仰角哥倫布-萊斯參數或方位角哥倫布-萊斯參數的判定。在區塊281中,間隔經判定用於對應哥倫布-萊斯參數。在區塊282中,針對每一候選者值計算用於全部減小之帶符號距離的位元之總數目,且在區塊283中,產生位元之最小數目的候選者值經選擇為哥倫布-萊斯參數以用於方位角或仰角處理。
隨後,論述圖5g以便進一步說明圖5e的區塊279中之程序,亦即擴展之哥倫布-萊斯方法。基於所選擇哥倫布-萊斯參數p,用於仰角或用於方位角之距離索引如區塊284右側所說明經分隔在最高有效部分MSP及最低有效部分LSP中。在區塊285中,在MSP為最大可能值的情況下,MSP部分之終止零位元被消除,且在區塊286中,結果係運用(收縮)二進位程式碼來編碼。
在287處所說明,LSP部分亦運用(收縮)二進位程式碼來編碼。因此,在線288及289上,獲得最高有效部分MSP之經編碼位元及最低有效部分LSP之經編碼位元,其共同表示用於仰角或用於方位角之對應經編碼減小之帶符號距離。
圖8d說明用於經編碼方向之實例。模式位元806指示例如具有模型化之熵編碼模式。如之前關於圖5e之項目274所論述,項目808a說明方位角平均位元且項目808b說明仰角平均位元。哥倫布-萊斯方位角參數808c及哥倫布-萊斯仰角參數808d亦以經編碼形式包括於對應於之前已關於項目277論述之物的圖8d之位元串流中。經編碼仰角距離808e及經編碼方位角距離808f包括於如在288及289處獲得或如之前關於圖5e及圖5g中之項目280所論述的位元串流中。項目808g說明用於其他仰角/方位角距離之其他酬載位元。仰角及方位角之平均值以及仰角及方位角之哥倫布-萊斯參數對於每一訊框僅僅需要單次,但必要時對於訊框亦可以計算兩次或若訊框非常長或信號統計在訊框內強烈變化,則如此計算兩次。
圖8c說明當模式位元指示如圖5c區塊260所定義之原始寫碼時的位元串流。模式位元806指示原始寫碼模式且項目808指示用於球體索引(亦即圖5c之區塊262的結果)之酬載位元。
方向參數之熵寫碼
當寫碼經量化方向時,仰角索引始終首先在方位角索引之前寫碼。若當前組態僅僅考慮水平赤道平面,則無一者經寫碼用於仰角且其在各處視為零。
在寫碼之前,帶符號值藉由使用一般重排序變換而映射至無符號值,該一般重排序變換將正數及負數交錯成無符號數(如),藉由ReorderGeneric 功能。若條件為真,則表述(條件)評估為1,且若條件為假,則評估為0。
因為若干較小無符號值係使用EncodeQuasiUniform 功能運用較少一個位元更有效地寫碼,所以仰角索引及方位角索引二者(其已經係無符號)經轉換成帶符號以使得為零之帶符號索引值對應於為零之仰角或方位角,且僅僅在ReorderGeneric 功能之後被應用。藉由首先轉換成帶符號,零值位於可能值之帶符號間隔的中間,且在應用ReorderGeneric 功能之後所得無符號經重排序之仰角索引值為,且所得無符號經重排序之方位角索引值為
對於不具有模型化之原始寫碼,二個無符號經重排序之索引經合併成單一無符號球體索引,其中功能計算對應於小於之無符號經重排序之仰角索引的所有方位角字母表的總和。舉例而言,當時,其中(仰角0度)具有(仰角-90度)具有,且(仰角90度)具有將取得值4+1。若當前組態考慮僅僅水平赤道平面,則始終為0且無符號球體索引簡化至。一般而言,球體上點之總數目,或球體點計數為
無符號球體索引係使用EncodeQuasiUniform 功能寫碼。對於具有模型化之熵寫碼,經量化方向經分組成二個類別。第一類別含有針對擴散度索引之經熵寫碼的經量化方向,且第二類別含有針對擴散度索引之經原始寫碼的經量化方向,其中為取決於經最佳選擇的臨限值。當具有低至中等擴散度之頻帶亦存在於訊框中時,此方法隱含地不包括熵寫碼具有高擴散度之頻帶,以避免殘餘之混合統計。對於混合擴散度訊框,原始寫碼始終用於具有高擴散度之頻帶。然而,若所有頻帶具有高擴散度,則臨限值預先經設定至以便對於所有頻帶啟用熵寫碼。
對於經熵寫碼的經量化方向之第一類別,對應仰角索引、仰角字母表、方位角索引及方位角字母表經收集於單獨向量中以供進一步處理。
藉由轉換經熵寫碼返回至方向向量的每一經量化方向,計算方向向量之平均值、中間值或模式(包括重正規化),及將平均方向向量轉換成平均仰角及方位角,而導出平均方向向量。此等二個值係使用由表示為的經熵寫碼之經量化方向使用的最佳角度精確度來量化,,該最佳角度精確度通常為對應於最小擴散度索引的所需要角度精確度。
使用自導出的對應值,經正常量化,從而產生,然而,係使用在赤道處之精確度來量化,從而產生
對於待熵寫碼之每一方向,經解量化平均仰角及方位角係使用彼方向之精確度來投影,以獲得預測之仰角及方位角索引。對於仰角索引,其精確度(其可自導出)用以計算經投影平均仰角索引。對於對應方位角索引,在位於仰角處之水平圓上的其精確度(其可自導出)用以計算經投影平均方位角索引
獲得預測之仰角及方位角索引的投影可以若干等效方式計算。對於仰角,,其可經容易地簡化至。為促進位元準確操作,先前公式可使用僅僅整數數學(包括除法)重寫為。對於方位角,,其可經容易地簡化至。為促進位元準確操作,先前公式可使用僅僅整數數學(包括除法)重寫為。在極點處,其中,吾人始終具有且直接設定
帶符號距離經計算為每一仰角索引與其對應之間的差值。另外,因為差值產生在間隔中的值,所以如在模組化算術中,其藉由加上太小值之及減去太大值之而減小至間隔。若此相對於減小之距離使用纏繞解譯,則其可產生來自至含有值之無符號字母表的所有值。
類似地,帶符號距離經計算為每一方位角索引與其對應之間的差值。差值操作產生在間隔中的值,其藉由加上太小值之及減去太大值之而減小至間隔。當時,方位角索引始終為且無一者需要被寫碼。
取決於其值,經量化仰角及方位角索引可使用二個可用方法中之一者寫碼:原始寫碼或熵寫碼。第一位元(dir _use _raw _coding )指示是否使用原始寫碼方法。對於原始寫碼,合併之單一無符號球體索引係使用EncodeQuasiUniform 功能直接寫碼。
熵寫碼係由若干部分組成。對應於擴散度索引的所有經量化仰角及方位角索引類似於原始寫碼而寫碼。接著,對於其他,仰角部分首先經熵寫碼,繼之以方位角部分。
仰角部分由三個分量組成:平均仰角索引、哥倫布-萊斯參數及減小之帶符號仰角距離。平均仰角索引轉換成帶符號,以使得零值在可能值的帶符號間隔之中間,應用ReorderGeneric 功能,且使用EncodeQuasiUniform 功能寫碼結果。具有取決於仰角索引之字母表大小的最大值之字母表大小的哥倫布-萊斯參數係使用EncodeQuasiUniform 功能來寫碼。最終,對於每一減小之帶符號仰角距離ReorderGeneric 功能經應用以產生,且結果係使用擴展之哥倫布-萊斯方法運用上文所指示之參數來寫碼。
舉例而言,若所使用之最佳角度精確度為5度,則仰角字母表大小之最大值將為。在此情況下,哥倫布-萊斯參數值(在以下哥倫布-萊斯方法之描述中標示為)限制於間隔。一般而言,哥倫布-萊斯參數之最大潛在適用值為,其使用EncodeQuasiUniform功能產生長度等於或稍長於藉由原始寫碼產生的彼等二進位程式碼字之二進位程式碼字。哥倫布-萊斯參數之最佳化值係藉由在不寫碼情況下針對以上間隔中之每一值有效計算待使用擴展之哥倫布-萊斯方法寫碼的所有值之位元的總大小,及選擇提供最小位元大小之值而選擇。
方位角部分亦由三個分量組成:平均方位角索引、哥倫布-萊斯參數及減小之帶符號方位角距離。平均方位角索引轉換成帶符號,以使得零值在可能值的帶符號間隔之中間,應用ReorderGeneric 功能,且使用EncodeQuasiUniform 功能寫碼結果。具有取決於方位角索引之字母表大小的最大值之字母表大小的哥倫布-萊斯參數係使用EncodeQuasiUniform 功能來寫碼。最終,對於每一減小之帶符號方位角距離ReorderGeneric 功能經應用以產生,且結果係使用擴展之哥倫布-萊斯方法運用上文所指示之參數來寫碼。
舉例而言,若所使用之最佳角度精確度為5度,則方位角字母表大小之最大值將為。在此情況下,哥倫布-萊斯參數值(在以下哥倫布-萊斯方法之描述中標示為)限制於間隔。哥倫布-萊斯參數之最佳化值係藉由針對以上間隔中之每一值有效計算待使用擴展之哥倫布-萊斯方法寫碼的所有值之位元的總大小,及選擇提供最小位元大小之值而選擇。
考慮高效熵寫碼之重要特性為每一經重排序之減小仰角距離可具有不同字母表大小,其恰好為最初仰角索引值,且取決於對應擴散度索引。另外,每一經重排序之減小方位角距離可具有不同字母表大小,其恰好為最初方位角索引值,且皆取決於其水平圓之對應及擴散度索引
現有哥倫布-萊斯熵寫碼方法在整數參數情況下用以寫碼無符號整數。首先,經分裂成具有位元之最低有效部分及最高有效部分。最高有效部分係使用一位元及終止零位元以一元方式來寫碼,且最低有效部分係以二進位方式來寫碼。
因為任意大的整數可經寫碼,所以當待寫碼之實際值具有已知及相對較小字母表大小時可損耗一定的寫碼效率。另一缺點為在傳輸錯誤或特意建立之無效位元串流的情況下,解碼超出範圍或無效值的可能性,或讀取極大量數目之一位元的可能性。
擴展之哥倫布-萊斯方法組合對於現有哥倫布-萊斯方法之三個改良,用於寫碼值之向量,各自具有已知及潛在不同之字母表大小。首先,最高有效部分之字母表大小可計算為。若最高有效部分之最大可能值經寫碼為(),則終止零位元可被消除,此係因為此條件可在解碼器側處被隱含地偵測到,修改為現有有限哥倫布-萊斯方法。另外,對於當時之相同情況,最低有效部分之字母表大小(其可計算為)可小於,允許使用EncodeQuasiUniform功能而非具有P位元之二進位寫碼。當特定值具有小於的字母表時此亦係適用的。最終,當時,有限哥倫布-萊斯方法產生具有位元之僅僅一個長度的程式碼,或具有位元之僅僅二個長度的程式碼。EncodeQuasiUniform功能最佳用於至多二個長度,因此其實際上被使用。
臨限值3為特定較佳值,此係因為當時,用於最高有效部分的有限哥倫布-萊斯之碼字為0、10、11;因此,程式碼之總長度為1+p、2+p及2+p,其中P為用於最低有效部分之位元的數目;因為收縮程式碼始終最佳用於至多二個長度,所以其實際上被使用,從而替換最高及最低有效部分。
此外,將概述功能EncodeQuasiUniform恰好為收縮程式碼,當字母表大小為二之冪時其隱含地變為二進位程式碼。一般而言,收縮程式碼係最佳且在給定字母表大小情況下經唯一地判定;其產生僅僅一個或二個長度之程式碼;對於3個或3個以上連續程式碼長度,可能的程式碼不再係非準均勻且對於每一長度之可能程式碼的數目存在不同選擇。
本發明不限於以上確切描述。替代地,本發明可以框間預測性寫碼方案形式容易地擴展,其中對於每一參數頻帶,使用先前方向向量自當前訊框及亦任擇地自先前訊框跨越時間計算平均方向向量,而非計算針對全部當前圖框的單一平均方向向量及將其量化並寫碼為旁側資訊。此解決方案將具有寫碼更高效而且對可能的封包損失較少穩固之優點。
圖6a至圖6g說明在如之前所論述之編碼器中執行的其他程序。圖6a說明由量化仰角功能210a、量化方位角功能210b及解量化仰角功能210c組成之參數量化器210的一般概述。圖6a較佳實施例說明具有依賴於經量化及再經解量化仰角值q_el之方位角功能210c的參數量化器。
圖6c說明用於解量化如之前已關於圖6a針對編碼器論述之仰角的對應解量化器。然而,圖6b實施例亦適用於圖8a之項目840中所說明之解量化器。基於解量化精確度deg_req,一方面仰角索引及另一方面方位角索引經解量化以便最終獲得經解量化仰角值q_el及經解量化方位角值q_az。圖6c說明第一編碼模式,亦即如關於圖5c中之項目260至262所論述的原始寫碼模式。圖6c另外說明圖5b中論述的預處理,其在247a處展示仰角資料成帶符號值的轉換並在247b處展示方位角資料成帶符號值的對應轉換。如248a處所指示對於仰角及如248b處所指示對於方位角進行重排序。球體點計數程序係在區塊248c中執行以便基於量化或解量化精確度計算球體字母表。在區塊261中,執行二個索引成單一球體索引的合併,且區塊262中之編碼係運用二進位或收縮二進位程式碼執行,其中除了此球體索引之外,亦如圖5c中所說明亦導出用於對應解量化精確度之球體字母表。
圖6d說明針對具有模型化之熵寫碼模式執行的程序。在項目267a中,方位角及仰角資料之解量化係基於對應索引及解量化精確度而執行。經解量化值輸入至區塊267b中以便自經解量化值計算方向向量。在區塊267c中,針對具有低於對應臨限值之相關聯擴散度索引的向量執行平均以便獲得平均向量。在區塊267d中,方向平均方向向量再次往回轉換成仰角平均值及方位角平均值,且接著使用如藉由區塊268e所判定之最高精確度來量化此等值。此量化係在268a、268b處說明且量化產生對應經量化索引及量化字母表,其中該等字母表係借助於平均值之量化精確度而判定。在區塊268c及268d中,解量化經再次執行以獲得仰角及方位角之經解量化平均值。
在圖6e中,在區塊269a中計算經投影仰角平均值且在區塊269b中計算經投影方位角平均值,亦即圖6e說明圖5d之區塊269的較佳實施。如圖6e中所說明,區塊269a、269b較佳地接收仰角及方位角之經量化及再經解量化平均值。替代地,投影亦可以直接對區塊267d之輸出執行,但運用量化及再解量化之程序較佳用於較高精確度及與在編碼器側及解碼器側的狀態之較高相容性。
在圖6f中,說明對應於在較佳實施例中的圖5d之區塊270的程序。在區塊278a、278b中,如其在圖5d之區塊270中被稱作的對應差或「距離」係在最初索引與經投影索引之間計算。在用於仰角之區塊270c及用於方位角資料之區塊270d中執行對應間隔減小。在區塊270e、270f中之重排序之後,獲得待經歷如之前關於圖5e至圖5g所論述的擴展之哥倫布-萊斯編碼的資料。
圖6g說明關於經執行用於產生用於仰角平均及方位角平均之經編碼位元的程序之其他細節。區塊271a及271b說明仰角及方位角平均資料轉換成帶符號資料且隨後關於區塊272a及272b中之資料的二個種類說明ReorderGeneric功能。項目273a及273b說明使用(收縮)二進位程式碼(諸如上述編碼準均勻功能)編碼此資料。
圖7a說明根據第一態樣之用於解碼包含經編碼方向性音訊寫碼參數之經編碼音訊信號,該經編碼方向性音訊寫碼參數包含經編碼擴散度參數及經編碼方向參數。該設備包含一參數處理器300,其用於解碼經編碼方向性音訊寫碼參數以獲得具有一第一時間或頻率解析度之經解碼擴散度參數及具有一第二時間或頻率解析度之經解碼方向參數。參數處理器300連接至一參數解析度轉換器710,該參數解析度轉換器用於將經解碼擴散度參數或經解碼方向參數轉換成經轉換擴散度參數或經轉換方向參數。替代地,如藉由包圍(hedged)線所說明,參數解析度轉換器710可已經運用經編碼參數資料執行參數解析度處理,且轉換之經編碼參數自參數解析度轉換器710發送至參數處理器300。在此後一情況中,參數處理器300接著直接將經處理(亦即經解碼)參數饋入至音訊再現器420。然而,較佳運用經解碼擴散度參數及經解碼方向參數執行參數解析度轉換。
經解碼方向及擴散度參數通常在其經提供至音訊再現器420時具有第三或第四時間或頻率解析度,其中第三或第四解析度大於在此等參數藉由參數處理器300輸出時為此等參數所固有的解析度。
參數解析度轉換器710經組配以運用經解碼擴散度參數及經解碼方向參數執行不同參數解析度轉換,此係由於為經解碼擴散度參數及經解碼方向參數所固有之時間或頻率解析度彼此不同,且與經解碼方向參數相比較,經解碼擴散度參數通常具有較低時間或頻率解析度。如之前關於圖3a至圖3c所論述,由音訊再現器420使用的最高解析度為圖3b中所說明之解析度且如圖3c中所說明之中等解析度係為經解碼方向參數所固有的解析度且為經解碼擴散度參數所固有的低解析度為圖3b中所說明的解析度。
圖3a至圖3c僅為說明三個非常特定之時間或頻率解析度的實例。亦可藉由本發明應用由於存在高時間或頻率解析度、中等解析度及低解析度而具有相同趨勢之任何其他時間或頻率解析度。當一時間或頻率解析度及另一時間或頻率解析度皆具有同一頻率解析度但不同時間解析度時,一時間或頻率解析度低於另一時間或頻率解析度,或反之亦然,如已在圖3b及圖3c之實例中所說明。在此實例中,頻率解析度在圖3b及圖3c中係相同的,但時間解析度在圖3c中較高以使得圖3c說明中等解析度而圖3b說明低解析度。
在第三或第四高時間或頻率解析度中操作的音訊再現器420之結果接著轉遞至一頻譜/時間轉換器440,該頻譜/時間轉換器接著產生如之前已經關於圖1b論述的時域多通道音訊信號450。頻譜/時間轉換器440在線450上將資料自如由音訊再現器420產生之譜域轉換成時域。用於一訊框之譜域(音訊再現器420在其中操作)包含第一數目個時槽及第二數目個頻帶。一訊框包含等於第一數目與第二數目之倍增結果的若干時間/頻率區間,其中第一數目及第二數目定義第三時間或頻率解析度,亦即高時間或頻率解析度。
解析度轉換器710經組配以自與第一時間或頻率解析度相關聯之擴散度參數產生若干(至少四個)擴散度參數,其中此等擴散度參數中之二者係用於時間上相鄰之時間/頻率區間且彼等至少四個擴散度參數中之其他二者係用於頻率上彼此鄰近的時間/頻率區間。
由於擴散度參數之時間或頻率解析度低於方向參數之時間或頻率解析度,所以參數解析度轉換器經組配以針對一經解碼擴散度參數產生多個經轉換擴散度參數並針對一經解碼方向參數產生第二多個經轉換方向參數,其中第二多個高於第一多個。
圖7b說明藉由參數解析度轉換器執行的較佳程序。在區塊721中,參數解析度轉換器710獲得用於一訊框之擴散度/方向參數。在區塊722中,執行擴散度參數或一複製操作至至少四個高解析度時間/頻率區間的倍增。在區塊723中,對在高解析度表示中之經倍增參數執行諸如平滑或低通濾波之任擇處理。在區塊724中,高解析度參數應用於對應高解析度時間/頻率區間中之對應音訊資料。
圖8a說明根據第一態樣之用於解碼包含包括經編碼擴散度參數及經編碼方向參數的經編碼方向性音訊寫碼參數之經編碼音訊信號的解碼器之較佳實施。經編碼音訊信號輸入至輸入介面中。輸入介面800接收經編碼音訊信號且通常以逐訊框方式將經編碼擴散度參數及經編碼方向參數與經編碼音訊信號隔開。此資料輸入至一參數解碼器820中,該參數解碼器自經編碼參數產生經量化擴散度參數及經量化方向參數,其中經量化方向參數例如為方位角索引及仰角索引。此資料輸入至用於自經量化擴散度參數及經量化方向參數判定經解量化擴散度參數及經解量化方向參數的參數解量化器840中。此資料可接著用於將一種音訊格式轉換成另一種音訊格式或可用於將音訊信號再現至多通道信號中或以任何其他表示(諸如立體混響表示、MPS表示或SAOC表示)再現音訊信號。
藉由區塊840輸出之經解量化參數可輸入至如之前關於圖7a在區塊710處所論述的任擇參數解析度轉換器中。轉換或未轉換參數可輸入至圖8a中所說明之音訊再現器420、440中。當經編碼音訊信號另外包含經編碼輸送信號時,輸入介面800經組配以將經編碼輸送信號與經編碼音訊信號分隔開並將此資料饋入至之前已經關於圖8b論述的音訊輸送信號解碼器340中。結果輸入至時間-頻譜轉換器430中,從而饋入音訊再現器420。當音訊再現器420如圖1b中所說明實施時,使用圖1b之合成濾波器組440執行轉化為時域。
圖8b說明通常經組織於指代經編碼擴散度參數之位元串流中的經編碼音訊信號之部分。擴散度參數已使其與用於指示圖8b中所說明及之前論述的三個不同模式的較佳二個模式位元802相關聯。用於擴散度參數之經編碼資料包含酬載資料804。
如之前所論述在圖8c及圖8d中說明用於方向參數之位元串流部分,其中圖8c說明當原始寫碼模式已經選擇時的情形且圖8d說明其中已藉由模式位元或模式旗標806選擇/指示的具有模型化之熵解碼模式的情形。
圖8a之參數解碼器820經組配以如區塊850中所指示解碼時間/頻率區域之擴散度酬載資料,且在較佳實施例中時間/頻率區域為具有低解析度之時間/頻率區域。在區塊851中,判定時間/頻率區域之解量化精確度。基於此解量化精確度,圖8e之區塊852說明使用該解量化精確度解碼及/或解量化方向參數,該解量化精確度對於與擴散度參數相關聯之時間/頻率區域係相同的。圖8e之輸出為時間/頻率區域(諸如用於圖3c之一個頻帶)之經解碼方向參數之集合,亦即在說明之實例中,一訊框中之一個頻帶的四個方向參數。
圖8f說明解碼器及特定言之圖8a之參數解碼器820及參數解量化器840的另一特徵。無關於解量化精確度係基於擴散度參數而判定抑或另外在某處經明確地發信或判定,區塊852a指示自時間/頻率區域之所發信解量化精確度判定仰角字母表。在區塊852b中,仰角資料係使用時間/頻率區域之仰角字母表而被解碼並任擇地被解量化,以便在區塊852b之輸出處獲得經解量化仰角參數。在區塊852c中,時間/頻率區域之方位角字母表不僅自來自區塊851之解量化精確度而且亦自經量化或經解量化仰角資料而判定,以便反映之前已關於圖4d中之單位球體的準均勻涵蓋範圍論述的情形。在區塊852d中,運用方位角字母表解碼及任擇地解量化方位角資料係針對時間/頻率區域而執行。
根據第二態樣之本發明較佳地組合彼等二個特徵,但該二個特徵(亦即圖8a之一者或圖8f之另一者)亦可彼此獨立地應用。
圖8g說明取決於選擇如由圖8c及圖8d中論述之模式位元806所指示的原始解碼模式抑或具有模型化之解碼模式的參數解碼概述。當原始解碼將被應用時,則如862處所指示解碼頻帶之球體索引且如區塊864處所指示自經解碼球體索引計算頻帶之經量化方位角/仰角參數。
當藉由模式位元806指示具有模型化之解碼時,則如由區塊866所指示解碼頻帶/訊框中之方位角/仰角資料的平均值。在區塊868中,頻帶中之方位角/仰角資訊的距離經解碼,且在區塊870中,對應經量化仰角及方位角參數通常係使用加法運算來計算。
無關於已應用原始解碼模式抑或具有模型化之解碼模式,經解碼方位角/仰角索引亦如圖8a中之840處所說明經解量化872,且在區塊874中,及結果可轉換成用於頻帶之笛卡爾座標。替代地,當方位角及仰角資料可直接用於音訊再現器時,則不需要區塊874中之任何此類轉換。不論如何,若進行轉換為笛卡爾座標,則任何潛在使用之參數解析度轉換可在該轉換之前或之後應用。
隨後,亦關於解碼器之較佳實施參考圖9a至圖9c。圖9a說明區塊862中所說明之解碼操作。取決於如由圖8e或圖8f中之區塊851所判定的解量化精確度,區塊248c之功能性球體點計數經執行以便判定亦已在編碼期間應用的實際球體字母表。用於球體索引之位元係在區塊862中經解碼且分解成二個索引如864a處所說明而執行並在圖9a中更詳細地給出。重排序功能864b、864c及區塊864d及864e中之對應轉換功能經執行以便最終獲得仰角索引、方位角索引及對應字母表以用於圖8g之區塊872中的後續解量化。
圖9b說明用於另一解碼模式(亦即具有模型化之解碼模式)之對應程序。在區塊866a中,用於平均之解量化精確度根據之前已關於編碼器側論述之物而計算。在區塊866b及在區塊866c及866d中計算字母表,圖8d之對應位元808a、808b經解碼。重排序功能866e、866f係在後續轉換操作866g、866h中被執行以便復原或模擬在編碼器側執行的對應操作。
圖9c另外說明在較佳實施例中之完整解量化操作840。區塊852a判定如已經關於圖8f論述的仰角字母表且方位角字母表之對應計算亦在區塊852c中執行。亦針對仰角及方位角執行投影計算操作820a、820e。用於仰角820b及方位角820f之重排序程序亦經執行且對應加法運算820c、820g亦經執行。用於仰角之區塊820d及用於方位角之區塊820h中之對應間隔減小亦經執行,且仰角之解量化係在區塊840a及區塊840b中執行。圖9c展示此程序意指特定次序,亦即首先並基於經解量化仰角資料處理仰角資料,在本發明之一個較佳實施例中執行方位角資料之解碼及解量化。
隨後,較佳實施例之益處及優點概述如下:
• 在不損害模型之一般性情況下高效寫碼由DirAC產生的空間後設資料。其係將DirAC整合至低位元速率寫碼方案中的關鍵啟用器。
• 具有不同時間(或任擇地頻率)解析度之方向及擴散度參數的分組及平均:與方向相比,擴散度係在更長時間內平均,此係由於與方向相比,擴散度保持聲場之更長期特性,此係更多反應性空間提示。
• 3D球體之準均勻動態涵蓋範圍、關於X、Y及Z座標軸完全對稱,及任何所要角度解析度係可能的。
• 量化及解量化操作係常數複雜性(不需要搜尋最近程式碼向量)。
• 一個經量化點索引之編碼及解碼相對於球體上經量化點之總數目具有常數或至多對數複雜性。
• 一個訊框的全部DirAC空間後設資料之最壞情況熵寫碼大小始終限制於大於原始寫碼之大小僅僅2個位元。
• 擴展哥倫布-萊斯寫碼方法,其最佳用於寫碼具有潛在不同字母表大小之符號向量。
• 使用平均方向用於高效熵寫碼方向,將經量化平均方向自最高解析度映射至每一方位角及仰角之解析度。
• 對於混合擴散度訊框,始終使用原始寫碼用於具有高於預定義臨限值之高擴散度的方向。
• 依據其對應擴散度,使用角度解析度用於每一方向。
本發明之第一態樣係關於處理具有第一及第二時間或頻率解析度之擴散度參數及方向參數以及此等值之後續量化及編碼。此第一態樣另外係指具有不同時間/頻率解析度之參數的分組。另一態樣係關於執行分組內之振幅量度相關加權且另一額外態樣係關於使用對應擴散度參數作為對應權重之基底對於方向參數之平均及分組進行加權。亦在第一請求項集合中描述及詳述以上態樣。
隨後在實例之所附集合中更加詳述的本發明之第二態樣係關於執行量化及寫碼。此態樣可在沒有第一態樣中概述之特徵情況下執行或可連同在第一態樣中所詳述的對應特徵一起使用。
因此,如申請專利範圍及實例之集合中所詳述及如申請專利範圍之不同附屬請求項及實例中所詳述的所有不同態樣可獨立於彼此使用或可在一起使用,且對於最佳實施例請求項之集合的所有態樣連同實例之集合一起使用係尤其較佳的。
實例之集合包含以下實例:
1. 一種用於編碼包含擴散度參數及方向參數之方向性音訊寫碼參數的設備,其包含:
一參數量化器(210),其用於量化該等擴散度參數及該等方向參數;
一參數編碼器(220),其用於編碼經量化擴散度參數及經量化方向參數;及
一輸出介面(230),其用於產生包含關於經編碼擴散度參數及經編碼方向參數之資訊的一經編碼參數表示。
2. 如實例1之設備,
其中該參數量化器(210)經組配以使用一不均勻量化器量化該等擴散度參數以產生擴散度索引。
3. 如實例2之設備,
其中該參數量化器(210)經組配以使用一通道間相干性量化表導出該不均勻量化器以獲得該不均勻量化器之臨限值及重建構位準。
4. 如實例1至3中之一者的設備,
其中該參數編碼器(220)經組配
以在一編碼字母表具有為二之冪的大小的情況下使用一二進位程式碼在一原始寫碼模式中編碼該等經量化擴散度參數,或
以在該編碼字母表不同於二之冪的情況下使用一收縮碼在該原始寫碼模式中編碼該等經量化擴散度參數,或
以使用一第一特定指示及來自該原始寫碼模式之一個值之一碼字在僅僅一值模式中編碼該等經量化擴散度參數,或
以使用一第二特定指示、用於二個連續值中之較小者的一程式碼及用於一或每一實際值與二個連續值中之較小者之間的一差的一位元來在僅僅二個連續值模式中編碼該等經量化擴散度參數。
5. 如實例4之設備,
其中該參數編碼器(220)經組配以對於與一時間部分或一頻率部分相關聯之全部擴散度值判定寫碼模式係為原始寫碼模式、僅僅一個值模式抑或僅僅二個連續值模式,
其中該原始模式係使用二個位元中之一者發信,其中僅僅一個值模式係使用二個位元中之具有第一值的另一者發信,且其中僅僅二個連續值模式係使用二個位元中之具有第二值的另一者發信。
6. 如前述實例中之一者的設備,其中該參數量化器(210)經組配
以對於每一方向參數接收具有二個或三個分量之笛卡爾向量,及
以將該笛卡爾向量轉換成具有方位角值及仰角值之一表示。
7. 如前述實例中之一者的設備,
其中該參數量化器(210)經組配以針對該方向參數之量化判定一量化精確度,該量化精確度取決於與該方向參數相關聯之一擴散度參數,以使得相比於與一較高擴散度參數相關聯的一方向參數,更精確地量化與一較低擴散度參數相關聯的一方向參數。
8. 如實例7之設備,
其中該參數量化器(210)經組配以判定該量化精確度
以使得該等經量化點準均勻地分佈於單位球體上,或
以使得該等經量化點相對於x軸、y軸或z軸對稱地分佈,或
藉由映射至整數索引而將給定方向量化至最接近量化點或若干最接近量化點中之一者為一常數時間操作,或
以使得自整數索引及至方向之解量化計算球體上之對應點為關於球體上之點的總數目的一常數或對數時間操作。
9. 如實例6、7或8中之一者的設備,
其中該參數量化器(210)經組配以將具有負值及正值之仰角量化成一組無符號量化索引,其中第一群組量化索引指示負仰角且第二群組量化索引指示正仰角。
10. 如前述實例中之一者的設備,
其中該參數量化器(210)經組配以使用若干可能量化索引量化方位角,其中該若干個量化索引自較低仰角減小至較高仰角以使得具有第一量值之第一仰角的可能量化索引之第一數目高於具有第二量值之第二仰角的可能量化索引之第二數目,第二量值絕對值比第一量值絕對值大。
11. 如實例10之設備,其中該參數量化器(210)經組配
以自與方位角相關聯的擴散度值判定所需要精確度,
以使用所需要精確度量化與方位角相關聯之仰角,及
以使用經量化仰角量化方位角。
12. 如前述實例中之一者的設備,
其中經量化方向參數具有經量化仰角及經量化方位角,且其中參數編碼器(220)經組配以首先編碼經量化仰角且隨後編碼經量化方位角。
13. 如前述實例中之一者的設備,
其中經量化方向參數包含用於一對方位角及仰角之無符號索引,
其中參數編碼器(220)經組配以將無符號索引轉換成帶符號索引,以使得指示零角度之索引位於可能值之帶符號間隔的中間且,
其中參數編碼器(220)經組配以執行至帶符號索引之重定序變換以將正數及負數交錯成無符號數。
14. 如前述實例中之一者的設備,
其中經量化方向參數包含經重排序或未經重排序之無符號方位角及仰角索引,且
其中參數編碼器(220)經組配以將該對之索引合併成球體索引,且
執行球體索引之原始寫碼。
15. 如實例14之設備,
其中參數編碼器(220)經組配以自球體偏移及當前經重排序或未經重排序之方位角索引導出球體索引,且
其中該球體偏移係自對應於小於當前經重排序或未經重排序之仰角索引的經重排序或未經重排序之仰角索引的方位角字母表之總和導出。
16. 如前述實例中之一者的設備,其中參數編碼器(220)經組配以針對與低於或等於臨限值之擴散度值相關聯的經量化方向參數執行熵寫碼並針對與大於臨限值之擴散度值相關聯的經量化方向參數執行原始寫碼。
17. 如實例16之設備,
其中參數編碼器(220)經組配以使用量化字母表及擴散度參數之量化動態地判定臨限值,或其中參數編碼器(220)經組配以基於擴散度參數之量化字母表判定臨限值。
18. 如前述實例中之一者的設備,
其中參數量化器(210)經組配以將仰角索引、與仰角索引相關聯之仰角字母表、方位角索引及與方位角索引相關聯之方位角字母表判定為經量化方向參數,
其中該參數編碼器(220)經組配以
自輸入信號之時間部分或頻率部分的經量化方向向量導出平均方向向量,
使用時間部分或頻率部分的向量之最佳角度精確度量化平均方向向量,及
編碼經量化平均方向向量,或
其中輸出介面(230)經組配以將經編碼平均方向向量作為額外旁側資訊輸入於經編碼參數表示中。
19. 如實例18之設備,
其中該參數編碼器(220)經組配
以使用平均方向向量計算預測之仰角索引及預測之方位角索引,及
以計算仰角索引與預測之仰角索引之間及方位角索引與預測之方位角索引之間的帶符號距離。
20. 如實例19之設備,
其中參數編碼器(220)經組配以藉由加上小值之值及減去大值之值而將帶符號距離變換成減小之間隔。
21. 如前述實例中之一者的設備,
其中參數編碼器(220)經組配以決定經量化方向參數係由原始寫碼模式抑或熵寫碼模式編碼,且其中輸出介面(230)經組配以引入對應指示於經編碼參數表示中。
22. 如前述實例中之一者的設備,
其中參數編碼器(220)經組配以使用哥倫布-萊斯方法或其修改來執行熵寫碼。
23. 如實例18至22中之一者的設備,其中參數編碼器(220)經組配以
將平均方向向量之分量轉換成帶符號表示以使得對應零值在可能值之帶符號間隔的中間,
執行帶符號值之重定序變換以將正數及負數交錯成無符號數,
使用編碼功能編碼結果以獲得平均方向向量之經編碼分量;及
使用取決於方向向量之對應分量的字母表大小之最大值的字母表大小編碼哥倫布-萊斯參數。
24. 如實例19至23中之一者的設備,
其中參數編碼器(220)經組配以執行帶符號距離或減小之帶符號距離的重定序變換以將正數及負數交錯成無符號數,
其中參數編碼器(220)經組配以使用哥倫布-萊斯方法或其修改來編碼經重排序之帶符號距離或經重排序減小之帶符號距離。
25. 如實例24之設備,其中參數編碼器(220)經組配以使用以下操作應用哥倫布-萊斯方法或其修改
判定待寫碼的值之最高有效部分及最低有效部分;
計算最高有效部分之字母表;
計算最低有效部分之字母表;及
使用最高有效部分之字母表以一元方式編碼最高有效部分並使用最低有效部分之字母表以二進位方式編碼最低有效部分。
26. 如前述實例中之一者的設備,
其中參數編碼器(220)經組配以使用判定待寫碼值之最高有效部分及最低有效部分;及計算最高有效部分之字母表應用哥倫布-萊斯方法或其修改,
其中當最高有效部分之字母表小於或等於預定義值(諸如3)時,EncodeQuasiUniform方法用於編碼全部值,其中例示性EncodeQuasiUniform方法(類似於收縮碼)產生僅一個長度之碼或具有僅二個長度之碼,或
若編碼字母表具有二的冪之大小,則使用二進位程式碼以原始寫碼模式編碼最低有效部分,或若編碼字母表不同於二之冪,則使用收縮碼以原始寫碼模式編碼最低有效部分。
27. 如前述實例中之一者的設備,其進一步包含如所附申請專利範圍1至15中之任一者中所定義的用於計算具有第一時間或頻率解析度之擴散度參數及用於計算具有第二時間或頻率解析度之方向參數的參數計算器。
28. 編碼包含擴散度參數及方向參數之方向性音訊寫碼參數的方法,其包含:
量化該等擴散度參數及該等方向參數;
編碼經量化擴散度參數及經量化方向參數;及
產生包含關於經編碼擴散度參數及經編碼方向參數之資訊的經編碼參數表示。
29. 用於解碼包含包含經編碼擴散度參數及經編碼方向參數之經編碼方向性音訊寫碼參數之一經編碼音訊信號的解碼器,其包含:
一輸入介面(800),其用於接收經編碼音訊信號及用於將經編碼擴散度參數及經編碼方向參數與經編碼音訊信號分開;
一參數解碼器(820),其用於解碼經編碼擴散度參數及經編碼方向參數以獲得經量化擴散度參數及經量化方向參數;及
一參數解量化器(840),其用於自經量化擴散度參數及經量化方向參數判定經解量化擴散度參數及經解量化方向參數。
30. 如實例29之解碼器,
其中該輸入介面(800)經組配以自包括於經編碼音訊信號中的寫碼模式指示(806)判定參數解碼器(820)將使用為原始解碼模式之第一解碼模式抑或為具有模型化之解碼模式且不同於第一解碼模式的第二解碼模式,用於解碼經編碼方向參數。
31. 如實例29或30之解碼器,
其中該參數解碼器(820)經組配以解碼經編碼音訊信號之訊框的經編碼擴散度參數(804)以獲得該訊框之經量化擴散度參數,
其中該解量化器(840)經組配以使用經量化或經解量化擴散度參數判定該訊框之至少一個方向參數的解量化之解量化精確度,及
其中該參數解量化器(840)經組配以使用解量化精確度解量化一經量化方向參數。
32. 如實例29、30或31之解碼器,
其中該參數解碼器(820)經組配以自解量化精確度判定用於解碼訊框之經編碼方向參數的解碼字母表,及
其中該參數解碼器(820)經組配以使用解碼字母表來解碼經編碼方向參數以獲得經量化方向參數。
33. 如實例29至32中之一者的解碼器,
其中該參數解碼器(820)經組配以自經編碼方向參數導出經量化球體索引,並將經量化球體索引分解成經量化仰角索引及經量化方位角索引。
34. 如實例29至33中之一者的解碼器,其中該參數解碼器(820)經組配
以自解量化精確度判定仰角字母表或
以自經量化仰角參數或經解量化仰角參數判定方位角字母表。
35. 如實例29至34中之一者的解碼器,其中該參數解碼器(820)經組配
以自經編碼方向參數解碼經量化仰角參數,並自經編碼方向參數解碼經量化方位角參數,
其中該參數解量化器(840)經組配以自經量化仰角參數或經解量化仰角參數判定方位角字母表,其中與指示第二絕對值仰角之仰角的仰角資料相比較,方位角字母表之大小對於指示第一絕對值仰角之仰角的仰角資料係較大的,該第二絕對值仰角大於該第一絕對值仰角,且
其中該參數解碼器(820)經組配以使用方位角字母表用於產生經量化方位角參數,或其中該參數解量化器經組配以使用方位角字母表用於解量化經量化方位角參數。
36. 如實例29至35中之一者的解碼器,
其中該輸入介面(800)經組配以自經編碼音訊信號中之解碼模式指示(806)判定具有模型化之解碼模式,
其中該參數解碼器(820)經組配以獲得平均仰角索引或平均方位角索引。
37. 如實例36之解碼器,其中該參數解碼器(820)經組配以自訊框之經量化擴散度索引判定訊框之解量化精確度(851),
以自訊框之解量化精確度判定(852a)仰角平均字母表或方位角平均字母表,及
以使用經編碼音訊信號及仰角平均字母表中之位元(808b)計算平均仰角索引,或使用經編碼音訊信號及方位角平均字母表中之位元(808a)計算平均方位角索引。
38. 如實例36或37中之一者的解碼器,
其中該參數解碼器(820)經組配以解碼經編碼音訊信號中之某些位元(808c)以獲得經解碼仰角哥倫布-萊斯參數,並解碼經編碼音訊信號中之其他位元(808c)以獲得經解碼仰角距離,或
其中該參數解碼器(820)經組配以解碼經編碼音訊信號中之某些位元(808a)以獲得經解碼方位角哥倫布-萊斯參數,並解碼經編碼音訊信號中之其他位元(808f)以獲得經解碼方位角距離,
其中該參數解碼器(820)經組配以自仰角哥倫布-萊斯參數及經解碼仰角距離及仰角平均索引計算經量化仰角參數,或自方位角哥倫布-萊斯參數及經解碼方位角距離及方位角平均索引計算經量化方位角參數。
39. 如實例29至38中之一者的解碼器,
其中該參數解碼器(820)經組配以自經編碼音訊信號解碼時間及頻率部分的擴散度參數以獲得經量化擴散度參數(850),
其中該參數解量化器(840)經組配以自經量化或經解量化擴散度參數判定解量化精確度(851),
其中該參數解碼器(820)經組配以自解量化精確度導出仰角字母表(852a)並使用仰角字母表以獲得訊框的時間及頻率部分之經量化仰角參數,且
其中該解量化器經組配以使用仰角字母表解量化經量化仰角參數以獲得訊框之時間及頻率部分之經解量化仰角參數。
40. 如實例29至39中之一者的解碼器,
其中該參數解碼器(820)經組配以解碼經編碼方向參數以獲得經量化仰角參數,
其中該參數解量化器(840)經組配以自經量化仰角參數或經解量化仰角參數判定方位角字母表(852c),且
其中該參數解碼器(820)經組配以使用方位角字母表計算經量化方位角參數(852d),或其中該參數解量化器(840)經組配以使用方位角字母表解量化經量化方位角參數。
41. 如實例29至40中之一者的解碼器,其中該參數解量化器(840)經組配
以使用解量化精確度判定仰角字母表(852a),及
以使用解量化精確度及使用仰角字母表產生之經量化或經解量化仰角參數判定方位角字母表(852c),及
其中該參數解碼器(820)經組配以使用仰角字母表用於解碼經編碼方向參數以獲得經量化仰角參數並使用方位角字母表用於解碼經編碼方向參數以獲得經量化方位角參數,或其中該參數解量化器(840)經組配以使用仰角字母表解量化經量化仰角參數並使用方位角字母表解量化經量化方位角參數。
42. 如實例33之解碼器,其中該參數解碼器(820)經組配
以使用平均仰角索引或平均方位角索引計算預測之仰角索引或預測之方位角索引,及
以執行哥倫布-萊斯解碼操作或其修改,以獲得方位角或仰角參數之距離,及
以將方位角或仰角參數之距離與平均仰角索引或平均方位角索引相加以獲得經量化仰角索引或經量化方位角索引。
43. 如實例29至42中之一者的解碼器,其進一步包含:
一參數解析度轉換器(710),其用於將經解量化擴散度參數之時間/頻率解析度或經解量化方位角或仰角參數之時間或頻率解析度或自經解量化方位角參數或經解量化仰角參數導出的參數表示轉換成目標時間或頻率解析度,及
一音訊再現器(420),其用於將目標時間或頻率解析度中之擴散度參數及方向參數應用於音訊信號以獲得經解碼多通道音訊信號。
44. 如實例43之解碼器,其包含:
一頻譜/時間轉換器(440),其用於將形成譜域表示之多通道音訊信號轉換成具有高於目標時間或頻率解析度之時間解析度的時間解析度的時域表示。
45. 如實例29至44中之一者的解碼器,
其中經編碼音訊信號包含經編碼輸送信號,其中輸入介面(800)經組配以提取經編碼輸送信號,
其中解碼器包含用於解碼經編碼輸送信號之輸送信號音訊解碼器(340),
其中解碼器進一步包含用於將經解碼輸送信號轉換成頻譜表示的時間/頻譜轉換器(430),及
其中解碼器包含用於使用經解量化擴散度參數及經解量化方向參數再現多通道音訊信號的音訊再現器(420、440),及
其中解碼器進一步包含用於將經再現音訊信號轉換成時域表示之頻譜/時間轉換器(440)。
46. 用於解碼包含包含經編碼擴散度參數及經編碼方向參數之經編碼方向性音訊寫碼參數之一經編碼音訊信號的方法,其包含:
接收(800)經編碼音訊信號及用於將經編碼擴散度參數及經編碼方向參數與經編碼音訊信號分開;
解碼(820)經編碼擴散度參數及經編碼方向參數以獲得經量化擴散度參數及經量化方向參數;及
自經量化擴散度參數及經量化方向參數判定(840)經解量化擴散度參數及經解量化方向參數。
47. 一種電腦程式,其在運行於一電腦或一處理器上時用於執行如實例28或46之方法。
包含參數表示之發明性經編碼音訊信號可儲存於數位儲存媒體或非暫時性儲存媒體上或可在傳輸媒體(諸如無線傳輸媒體或諸如網際網路之有線傳輸媒體)上傳輸。
儘管已在設備之上下文中描述一些態樣,但顯然,此等態樣亦表示對應方法之描述,其中區塊或裝置對應於方法步驟或方法步驟之特徵。類似地,方法步驟之上下文中所描述的態樣亦表示對應區塊或項目或對應設備之特徵的描述。
取決於某些實施要求,本發明之實施例可在硬體或軟體中實施。可使用其上儲存有與可程式化電腦系統協作(或能夠協作)之電子可讀控制信號,使得執行各別方法之數位儲存媒體(例如,軟碟、DVD、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體)來執行實施。
根據本發明之一些實施例包含具有電子可讀控制信號之資料載體,該等控制信號能夠與可程式化電腦系統協作,使得執行本文中所描述之方法中之一者。
大體而言,本發明之實施例可實施為具有程式碼之電腦程式產品,當電腦程式產品運行於電腦上時,程式碼操作性地用於執行該等方法中之一者。程式碼可例如儲存於機器可讀載體上。
其他實施例包含用於執行本文中描述的方法中之一者之電腦程式,其儲存於機器可讀載體或非暫時性儲存媒體上。
換言之,本發明方法之實施例因此為電腦程式,其具有用於在電腦程式於電腦上運行時執行本文中所描述之方法中之一者的程式碼。
因此,本發明方法之另一實施例為資料載體(或數位儲存媒體,或電腦可讀媒體),其包含記錄於其上的用於執行本文中所描述之方法中之一者的電腦程式。
因此,本發明之方法之另一實施例為表示用於執行本文中所描述之方法中的一者之電腦程式之資料串流或信號序列。資料串流或信號序列可(例如)經組配以經由資料通訊連接(例如,經由網際網路)而傳送。
另一實施例包含處理構件,例如經組配或經調適以執行本文中所描述之方法中的一者的電腦或可程式化邏輯裝置。
另一實施例包含上面安裝有用於執行本文中所描述之方法中之一者的電腦程式之電腦。
在一些實施例中,可程式化邏輯裝置(例如,場可程式化閘陣列)可用以執行本文中所描述之方法的功能性中之一些或全部。在一些實施例中,場可程式化閘陣列可與微處理器協作,以便執行本文中所描述之方法中之一者。通常,該等方法較佳地由任何硬體設備來執行。
上述實施例僅說明本發明之原理。應理解,對本文中所描述之佈置及細節的修改及變化將對熟習此項技術者顯而易見。因此,意圖為僅受到接下來之申請專利範圍之範疇限制,而不受到藉由本文中之實施例之描述解釋所呈現的特定細節限制。
Refere nces:
[1] V. Pulkki, M-V. Laitinen, J. Vilkamo, J. Ahonen, T. Lokki, and T. Pihlajamäki, “Directional audio coding - perception-based reproduction of spatial sound”, International Workshop on the Principles and Application on Spatial Hearing, Nov. 2009, Zao; Miyagi, Japan.
[2] V. Pulkki, “Virtual source positioning using vector base amplitude panning”, J. Audio Eng. Soc., 45(6):456-466, June 1997.
[3] J. Ahonen and V. Pulkki, “Diffuseness estimation using temporal variation of intensity vectors”, in Workshop on Applications of Signal Processing to Audio and Acoustics WASPAA, Mohonk Mountain House, New Paltz, 2009.
[4] T. Hirvonen, J. Ahonen, and V. Pulkki, “Perceptual compression methods for metadata in Directional Audio Coding applied to audiovisual teleconference”, AES 126th Convention, 2009, May 7-10, Munich, Germany.
100‧‧‧參數計算器
110‧‧‧擴散度估計器
120‧‧‧方向估計器
130‧‧‧分析濾波器組/項目
132‧‧‧能量分析
134‧‧‧強度分析
140‧‧‧射束形成器/信號選擇器
141、142、144、145、146、147、148、233、234、235、237、240、245a、245b、245c、246a、246b、246c、247、248c、266、267、267b、267c、267d、268c、268d、268e、268、269、269a、269b、270、270c、270d、270e、270f、271、271a、271b、272a、272b、275、276、278、279、281、282、283、284、285、286、423、426、721、722、723、724、820d、820h、840a、840b、850、851、852、852a、852b、852c、852d、862、864、864d、864e、866、866a、866b、866c、866d、868、870、872、874‧‧‧區塊
143、267a、273a、273b、274、277、280、808、808g‧‧‧項目
150‧‧‧音訊編碼器
170‧‧‧經編碼音訊信號
200‧‧‧量化器及編碼器處理器
210‧‧‧參數量化器
210a‧‧‧量化仰角功能
210b‧‧‧量化方位角功能
210c‧‧‧解量化仰角功能
220‧‧‧參數編碼器
230‧‧‧輸出介面
232、261、262‧‧‧項目/區塊
241‧‧‧低擴散度編碼模式
242‧‧‧高擴散度編碼模式
243‧‧‧混合擴散度編碼模式
250、288、289‧‧‧線
260‧‧‧解析度指示/項目/區塊
300‧‧‧空間後設資料解碼器/參數處理器
340‧‧‧音訊解碼器/輸送信號音訊解碼器/音訊輸送信號解碼器
400‧‧‧DirAC合成器
420‧‧‧輸出合成器/音訊再現器
421‧‧‧虛擬麥克風處理區塊
422‧‧‧處理區塊
424‧‧‧揚聲器平均區塊
425‧‧‧對應正規化區塊
427‧‧‧擴散串流
428‧‧‧不擴散串流
429‧‧‧加法器
430‧‧‧分析濾波器組/時間-頻譜轉換器/時間/頻譜轉換器/時間/頻率轉換器
431‧‧‧分析濾波器組/區塊
440‧‧‧合成濾波器組/頻譜/時間轉換器/音訊再現器
450‧‧‧時域多通道音訊信號/線
710‧‧‧參數解析度轉換器
800‧‧‧輸入介面
802‧‧‧模式位元
804‧‧‧酬載資料/經編碼擴散度參數
806‧‧‧模式位元/模式旗標/解碼模式指示/寫碼模式指示
808a、808b‧‧‧項目/位元
808c‧‧‧哥倫布-萊斯方位角參數/位元
808d‧‧‧哥倫布-萊斯仰角參數
808e‧‧‧經編碼仰角距離
808f‧‧‧經編碼方位角距離
820‧‧‧參數解碼器
820a、820e‧‧‧投影計算操作
820b、820f‧‧‧重排序程序
820c、820g‧‧‧加法運算
840‧‧‧項目/參數解量化器
864b、864c、866e、866f‧‧‧重排序功能
866g、866h‧‧‧轉換操作
隨後關於隨附圖式來論述本發明之較佳實施例,在隨附圖式中:
圖1a說明第一態樣或第二態樣之編碼器側之較佳實施例;
圖1b說明第一態樣或第二態樣之解碼器側的較佳實施例;
圖2a說明根據第一態樣之用於編碼的設備之較佳實施例;
圖2b說明圖2a之參數計算器之較佳實施;
圖2c說明用於擴散度參數之計算的另一實施;
圖2d說明圖2a之參數計算器100的另一較佳實施;
圖3a說明如藉由圖1a之分析濾波器組130或圖1b之430獲得的具有高時間或頻率解析度之時間/頻率表示;
圖3b說明具有低時間或頻率解析度及特定言之每訊框單一擴散度參數之特定低時間解析度的擴散度分組之實施;
圖3c說明具有一方面五個頻帶及另一方面四個時間區域(產生20個時間/頻率區域)的方向參數之媒體解析度之較佳說明;
圖3d說明具有經編碼擴散度參數及經編碼方向參數之輸出位元串流;
圖4a說明根據第二態樣之用於編碼方向性音訊寫碼參數的設備;
圖4b說明用於計算經編碼擴散度參數的參數量化器及參數編碼器之較佳實施;
圖4c說明關於不同元件之協作的圖4a編碼器之較佳實施;
圖4d說明在較佳實施例中如出於量化之目的而應用的單位球體之準均勻涵蓋範圍;
圖5a說明針對在不同編碼模式中操作的圖4a之參數編碼器之操作的概述;
圖5b說明對於圖5a之二個模式的方向索引之預處理;
圖5c說明在較佳實施例中之第一寫碼模式;
圖5d說明第二寫碼模式之較佳實施例;
圖5e說明使用GR編碼程序熵編碼帶符號距離及對應平均值的較佳實施;
圖5f說明用於判定最佳哥倫布-萊斯參數之較佳實施例;
圖5g說明用於如圖5e之區塊279所指示編碼經重排序之帶符號距離的擴展哥倫布-萊斯程序之實施;
圖6a說明圖4a之參數量化器的實施;
圖6b說明用於亦在某些態樣中用於編碼器側實施之參數解量化器的功能性之較佳實施;
圖6c說明針對原始方向編碼程序之實施的概述;
圖6d說明用於方位角及仰角之平均方向的計算及量化及解量化之實施;
圖6e說明平均仰角及方位角資料之投影;
圖6f說明仰角及方位角之距離的計算;
圖6g說明針對具有模型化之熵編碼模式中的平均方向之編碼的概述;
圖7a說明根據第一態樣之用於解碼經編碼音訊信號之解碼器,
圖7b說明圖7a之參數解析度轉換器及後續音訊再現的較佳實施;
圖8a說明根據第二態樣之用於解碼經編碼音訊信號的解碼器;
圖8b說明在實施例中之經編碼擴散度參數的示意性位元串流表示;
圖8c說明當已選擇原始編碼模式時的位元串流之實施;
圖8d說明當已選擇另一編碼模式(亦即具有模型化之熵編碼模式)時的示意性位元串流;
圖8e說明參數解碼器及參數解量化器之較佳實施,其中解量化精確度係基於時間/頻率區域之擴散度而判定;
圖8f說明參數解碼器及參數解量化器之較佳實施,其中仰角字母表係自解量化精確度而判定且方位角字母表係基於時間/頻率區域之解量化精確度及仰角資料而判定;
圖8g說明針對圖8a之參數解碼器的說明二個不同解碼模式之概述;
圖9a說明當原始編碼模式在作用中時的解碼操作;
圖9b說明當具有模型化之熵解碼模式在作用中時的平均方向之解碼;
圖9c說明當具有模型化之解碼模式在作用中時的仰角及方位角之重建構,及後續解量化;
圖10a說明熟知DirAC分析器;且
圖10b說明熟知DirAC合成器。

Claims (33)

  1. 一種用於編碼包含擴散度參數及方向參數之方向性音訊寫碼參數的設備,其包含: 一參數計算器,其用於計算具有一第一時間或頻率解析度之該等擴散度參數並用於計算具有一第二時間或頻率解析度之該等方向參數;以及 一量化器及編碼器處理器,其用於產生該等擴散度參數及該等方向參數之一經量化及經編碼表示。
  2. 如請求項1之設備,其中該參數計算器經組配用於計算該等擴散度參數及該等方向參數以使得該第二時間或頻率解析度不同於該第一時間或頻率解析度。
  3. 如請求項1或2之設備,其中該參數計算器經組配以計算該等擴散度參數及該等方向參數以使得該第一時間解析度低於該第二時間解析度,或該第二頻率解析度大於該第一頻率解析度,或該第一時間解析度低於該第二時間解析度且該第一頻率解析度等於該第二頻率解析度。
  4. 如前述請求項中任一項之設備, 其中該參數計算器經組配以計算一組頻帶之該等擴散度參數及該等方向參數,其中具有一較低中心頻率之一頻帶比具有一較高中心頻率之一頻帶窄。
  5. 如前述請求項中任一項之設備, 其中該參數計算器經組配以獲得具有一第三時間或頻率解析度之初始擴散度參數並獲得具有一第四時間或頻率解析度之初始方向參數,且 其中該參數計算器經組配以分組並平均該等初始擴散度參數以使得該第三時間或頻率解析度高於該第一時間或頻率解析度,或 其中該參數計算器經組配以分組並平均該等初始方向參數以使得該第四時間或頻率解析度高於該第二時間或頻率解析度。
  6. 如請求項5之設備, 其中該第三時間或頻率解析度及該第四時間或頻率解析度彼此相等。
  7. 如請求項5或6之設備, 其中該第三時間解析度或頻率解析度為一恆定時間或頻率解析度,以使得每一初始擴散度參數係與具有相同大小的一時槽或一頻率區間相關聯,或 其中該第四時間或頻率解析度為一恆定時間或頻率解析度,以使得每一初始方向參數係與具有相同大小的一時槽或一頻率區間相關聯,且 其中該參數計算器經組配以對與該第一多個時槽相關聯之第一多個擴散度參數進行平均,或 其中該參數計算器經組配以對與該第二多個頻率區間相關聯之第二多個擴散度參數進行平均,或 其中該參數計算器經組配以對與該第三多個時槽相關聯之第三多個方向參數進行平均,或 其中該參數計算器經組配以對與該第四多個頻率區間相關聯之第四多個方向參數進行平均。
  8. 如請求項5至7中任一項之設備, 其中該參數計算器經組配以使用一加權平均來進行平均,其中與自具有一較低振幅相關量度之一輸入信號部分導出的一擴散度參數或一方向參數相比較,自具有一較高振幅相關量度之一輸入信號部分導出的一擴散度參數或一方向參數係使用一較高加權因數來加權。
  9. 如請求項8之設備, 其中該振幅相關量度為該時間部分或該頻率部分中之一功率或一能量或該時間部分或該頻率部分中之以等於或不同於1之一實非負數為指數的一功率或一能量。
  10. 如請求項5至9中任一項之設備, 其中該參數計算器經組配以執行該平均以使得該擴散度參數或該方向參數關於自對應於該第一時間或頻率解析度或該第二時間或頻率解析度的一輸入信號之一時間部分導出的一振幅相關量度而正規化。
  11. 如請求項5至9中任一項之設備, 其中該參數計算器經組配以使用一加權平均分組及平均該等初始方向參數,其中相比於與具有指示一較高擴散度之一第二擴散度參數的一第二時間部分相關聯之一第二方向參數,更強加權與具有指示一較低擴散度之一第一擴散度參數的一第一時間部分相關聯之該第一方向參數。
  12. 如前述請求項中任一項之設備, 其中該參數計算器經組配以計算該等初始方向參數,以使得該等初始方向參數各自包含具有針對二個或三個方向中之每一者之一分量的一笛卡爾向量,且其中該參數計算器經組配以獨立地對於該笛卡爾向量之每一個別分量執行該平均,或其中該等分量經正規化以使得針對於一方向參數之該笛卡爾向量的平方分量之總和等於單位一。
  13. 如前述請求項中任一項之設備,其進一步包含: 一時間-頻率分解器,其用於將具有多個輸入通道之一輸入信號分解成用於每一輸入通道之一時間-頻率表示,或 其中該時間-頻率分解器經組配用於將具有多個輸入通道之該輸入信號分解成用於具有該第三時間或頻率解析度或該第四時間或頻率解析度之每一輸入通道的一時間-頻率表示。
  14. 如請求項6至13中之一項之設備, 其中該時間-頻率分解器包含產生每一子頻帶信號之複值的一經調變濾波器組,其中每一子頻帶信號具有每訊框及頻帶之多個時槽。
  15. 如前述請求項中任一項之設備, 其中該設備經組配以將該第一時間或頻率解析度或該第二時間或頻率解析度之一指示關聯於該經量化及經編碼表示中以用於傳輸至一解碼器或用於儲存。
  16. 如前述請求項中任一項之設備,其中用於產生該等擴散度參數及該等方向參數之一經量化及經編碼表示的該量化器及編碼器處理器包含如以上實例1至26中之任一者中所定義的用於量化該等擴散度參數及該等方向參數的一參數量化器及用於編碼經量化擴散度參數及經量化方向參數的一參數編碼器。
  17. 一種用於編碼包含擴散度參數及方向參數之方向性音訊寫碼參數的方法,其包含: 計算具有一第一時間或頻率解析度之該等擴散度參數及計算具有一第二時間或頻率解析度之該等方向參數;以及 產生該等擴散度參數及該等方向參數之一經量化及經編碼表示。
  18. 一種用於解碼包含包括經編碼擴散度參數及經編碼方向參數之方向性音訊寫碼參數之一編碼音訊信號的解碼器,該解碼器包含: 一參數處理器,其用於解碼該等經編碼方向性音訊寫碼參數以獲得具有一第一時間或頻率解析度之一經解碼擴散度參數及具有一第二時間或頻率解析度之經解碼方向參數;以及 一參數解析度轉換器,其用於將該等經編碼或經解碼擴散度參數或該等經編碼或經解碼方向參數轉換成具有一第三時間或頻率解析度之經轉換擴散度參數或經轉換方向參數,該第三時間或頻率解析度不同於該第一時間或頻率解析度或該第二時間或頻率解析度或不同於該第一時間或頻率解析度及該第二時間或頻率解析度。
  19. 如請求項18之解碼器,其進一步包含操作於一譜域中之一音訊再現器,該譜域包含用於一訊框的第一數目個時槽及第二數目個頻帶,以使得一訊框包含等於該第一數目及該第二數目之一倍增結果的若干時間/頻率區間,其中該第一數目及該第二數目定義該第三時間或頻率解析度。
  20. 如請求項18或19之解碼器,其進一步包含操作於一譜域中之一音訊再現器,該譜域包含用於一訊框的第一數目個時槽及第二數目個頻帶,以使得一訊框包含等於該第一數目及該第二數目之一倍增結果的若干時間/頻率區間,其中該第一數目及該第二數目定義一第四時間-頻率解析度,其中該第四時間或頻率解析度等於或高於該第三時間或頻率解析度。
  21. 如請求項18至20中任一項之解碼器, 其中該第一時間或頻率解析度低於該第二時間或頻率解析度,且 其中該參數解析度轉換器經組配以自一經解碼擴散度參數產生第一多個經轉換擴散度參數並自一經解碼方向參數產生第二多個經轉換方向參數,其中該第二多個大於該第一多個。
  22. 如請求項18至21中任一項之解碼器, 其中該經編碼音訊信號包含一訊框序列,其中每一訊框經組織於頻帶中,其中每一訊框僅僅包含每頻帶一個經編碼擴散度參數及每頻帶至少二個時間-序列方向參數,且 其中該參數解析度轉換器經組配以將該經解碼擴散度參數與該頻帶中之全部時間區間或包括於該訊框中之該頻帶中的每一時間/頻率區間關聯,且 將該頻帶之至少二個方向參數中之一者與時間區間之一第一群組及包括於該頻帶中的每一時間/頻率區間關聯,及將該至少二個方向參數之一第二經解碼方向參數與該等時間區間之一第二群組及包括於該頻帶中的每一時間/頻率區間關聯,其中該第二群組不包括該第一群組中之該等時間區間中的任一者。
  23. 如請求項18至22中任一項之解碼器,其中該經編碼音訊信號包含一經編碼音訊輸送信號,其中該解碼器包含: 一音訊解碼器,其用於解碼該經編碼輸送音訊信號以獲得一經解碼音訊信號,以及 一時間/頻率轉換器,其用於將該經解碼音訊信號轉換成具有該第三時間或頻率解析度之一頻率表示。
  24. 如請求項18至23中任一項之解碼器,其包含: 一音訊再現器,其用於將該等經轉換擴散度參數及該等經轉換方向參數應用於在該第三時間或頻率解析度中的一音訊信號之一頻譜表示以獲得一合成頻譜表示;以及 一頻譜/時間轉換器,其用於轉換在該第三或第四時間或頻率解析度中之該合成頻譜表示以獲得具有高於該第三時間或頻率解析度之該解析度之一時間解析度的一合成時域空間音訊信號。
  25. 如請求項18至24中任一項之解碼器, 其中該參數解析度轉換器經組配以使用一複製操作倍增一經解碼方向參數或使用一複製操作倍增一經解碼擴散度參數或平滑或低通濾波一組經倍增方向參數或一組經倍增擴散度參數。
  26. 如請求項18至25中任一項之解碼器, 其中該第二時間或頻率解析度不同於該第一時間或頻率解析度。
  27. 如請求項18至26中任一項之解碼器, 其中該第一時間解析度低於該第二時間解析度,或該第二頻率解析度大於該第一頻率解析度,或該第一時間解析度低於該第二時間解析度且該第一頻率解析度等於該第二頻率解析度。
  28. 如請求項18至27中任一項之解碼器, 其中該參數解析度轉換器經組配以將該等經解碼擴散度參數及經解碼方向參數倍增成一組頻帶之對應數目個頻率相鄰經轉換參數,其中與具有一較高中心頻率之一頻帶相比,具有一較低中心頻率之一頻帶接收較少倍增之參數。
  29. 如請求項18至28中任一項之解碼器, 其中該參數處理器經組配以解碼該經編碼音訊信號之一訊框的一經編碼擴散度參數以獲得該訊框之一經量化擴散度參數,且其中該參數處理器經組配以使用該經量化或經解量化擴散度參數判定該訊框之至少一個方向參數的該解量化之一解量化精確度,且 其中該參數處理器經組配以使用該解量化精確度解量化一經量化方向參數。
  30. 如請求項18至29中任一項之解碼器, 其中該參數處理器經組配以自待由該參數處理器用於解量化之一解量化精確度判定用於解碼該訊框之一經編碼方向參數的一解碼字母表,且 其中該參數處理器經組配以使用該經判定解碼字母表解碼該經編碼方向參數並判定一經解量化方向參數。
  31. 如請求項18至30中任一項之解碼器, 其中該參數處理器經組配以自待由該參數處理器用於解量化該方向參數之一解量化精確度判定用於一經編碼仰角參數之處理的一仰角字母表,並自使用該仰角字母表獲得之一仰角索引判定一方位角字母表,且 其中該參數處理器經組配以使用該方位角字母表解量化一經編碼方位角參數。
  32. 一種用於解碼包含包括經編碼擴散度參數及經編碼方向參數之方向性音訊寫碼參數之一經編碼音訊信號的方法,該方法包含: 解碼該等經編碼方向性音訊寫碼參數以獲得具有一第一時間或頻率解析度之一經解碼擴散度參數及具有一第二時間或頻率解析度之經解碼方向參數;以及 將該等經編碼或經解碼擴散度參數或該等經編碼或經解碼方向參數轉換成具有一第三時間或頻率解析度之經轉換擴散度參數或經轉換方向參數,該第三時間或頻率解析度不同於該第一時間或頻率解析度或該第二時間或頻率解析度或不同於該第一時間或頻率解析度及該第二時間或頻率解析度。
  33. 一種電腦程式,其在運行於一電腦或一處理器上時用於執行如請求項17或32之方法。
TW107141079A 2017-11-17 2018-11-19 使用不同時間/頻率解析度編碼或解碼方向性音訊寫碼參數之設備及方法 TWI708241B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
??17202393.9 2017-11-17
EP17202393.9 2017-11-17
EP17202393 2017-11-17
WOPCT/EP2018/081620 2018-11-16
PCT/EP2018/081620 WO2019097017A1 (en) 2017-11-17 2018-11-16 Apparatus and method for encoding or decoding directional audio coding parameters using different time/frequency resolutions
??PCT/EP2018/081620 2018-11-16

Publications (2)

Publication Number Publication Date
TW201923750A true TW201923750A (zh) 2019-06-16
TWI708241B TWI708241B (zh) 2020-10-21

Family

ID=60515115

Family Applications (3)

Application Number Title Priority Date Filing Date
TW107141079A TWI708241B (zh) 2017-11-17 2018-11-19 使用不同時間/頻率解析度編碼或解碼方向性音訊寫碼參數之設備及方法
TW107141081A TWI752281B (zh) 2017-11-17 2018-11-19 用以使用量化及熵寫碼來編碼或解碼方向性音訊寫碼參數之設備及方法
TW110129069A TWI759240B (zh) 2017-11-17 2018-11-19 用以使用量化及熵寫碼來編碼或解碼方向性音訊寫碼參數之設備及方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW107141081A TWI752281B (zh) 2017-11-17 2018-11-19 用以使用量化及熵寫碼來編碼或解碼方向性音訊寫碼參數之設備及方法
TW110129069A TWI759240B (zh) 2017-11-17 2018-11-19 用以使用量化及熵寫碼來編碼或解碼方向性音訊寫碼參數之設備及方法

Country Status (19)

Country Link
US (6) US11367454B2 (zh)
EP (3) EP3711047B1 (zh)
JP (5) JP7175980B2 (zh)
KR (3) KR102535997B1 (zh)
CN (4) CN111656442B (zh)
AR (2) AR113524A1 (zh)
AU (2) AU2018368588B2 (zh)
BR (2) BR112020011035A2 (zh)
CA (2) CA3083891C (zh)
ES (1) ES2930374T3 (zh)
FI (1) FI3711047T3 (zh)
MX (2) MX2020005045A (zh)
PL (1) PL3711047T3 (zh)
PT (1) PT3711047T (zh)
RU (2) RU2763313C2 (zh)
SG (2) SG11202004430YA (zh)
TW (3) TWI708241B (zh)
WO (2) WO2019097018A1 (zh)
ZA (2) ZA202003473B (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111656442B (zh) 2017-11-17 2024-06-28 弗劳恩霍夫应用研究促进协会 使用量化和熵编码来编码或解码定向音频编码参数的装置和方法
GB2572761A (en) * 2018-04-09 2019-10-16 Nokia Technologies Oy Quantization of spatial audio parameters
GB2575305A (en) * 2018-07-05 2020-01-08 Nokia Technologies Oy Determination of spatial audio parameter encoding and associated decoding
ES2985934T3 (es) 2018-11-13 2024-11-07 Dolby Laboratories Licensing Corp Representar audio espacial por medio de una señal de audio y metadatos asociados
MX2021005017A (es) 2018-11-13 2021-06-15 Dolby Laboratories Licensing Corp Procesamiento de audio en servicios de audio inmersivo.
GB2585187A (en) * 2019-06-25 2021-01-06 Nokia Technologies Oy Determination of spatial audio parameter encoding and associated decoding
MX2021016056A (es) 2019-07-02 2022-03-11 Dolby Int Ab Metodos, aparatos y sistemas para representacion, codificacion, y decodificacion de datos de directividad discreta.
GB2586214A (en) * 2019-07-31 2021-02-17 Nokia Technologies Oy Quantization of spatial audio direction parameters
GB2586586A (en) 2019-08-16 2021-03-03 Nokia Technologies Oy Quantization of spatial audio direction parameters
GB2586461A (en) 2019-08-16 2021-02-24 Nokia Technologies Oy Quantization of spatial audio direction parameters
CN110660401B (zh) * 2019-09-02 2021-09-24 武汉大学 一种基于高低频域分辨率切换的音频对象编解码方法
GB2587196A (en) 2019-09-13 2021-03-24 Nokia Technologies Oy Determination of spatial audio parameter encoding and associated decoding
EP4037317A4 (en) * 2019-09-25 2023-01-04 Panasonic Intellectual Property Corporation of America Encoding device, decoding device, encoding method, and decoding method
GB2587614A (en) * 2019-09-26 2021-04-07 Nokia Technologies Oy Audio encoding and audio decoding
GB2590651A (en) * 2019-12-23 2021-07-07 Nokia Technologies Oy Combining of spatial audio parameters
GB2590650A (en) 2019-12-23 2021-07-07 Nokia Technologies Oy The merging of spatial audio parameters
GB2590913A (en) 2019-12-31 2021-07-14 Nokia Technologies Oy Spatial audio parameter encoding and associated decoding
GB2592896A (en) * 2020-01-13 2021-09-15 Nokia Technologies Oy Spatial audio parameter encoding and associated decoding
GB2595871A (en) * 2020-06-09 2021-12-15 Nokia Technologies Oy The reduction of spatial audio parameters
GB2595883A (en) * 2020-06-09 2021-12-15 Nokia Technologies Oy Spatial audio parameter encoding and associated decoding
KR20220012724A (ko) 2020-07-23 2022-02-04 효성티앤에스 주식회사 매체 입금기의 번들모듈
GB2598104A (en) * 2020-08-17 2022-02-23 Nokia Technologies Oy Discontinuous transmission operation for spatial audio parameters
GB2598773A (en) * 2020-09-14 2022-03-16 Nokia Technologies Oy Quantizing spatial audio parameters
GB202014572D0 (en) * 2020-09-16 2020-10-28 Nokia Technologies Oy Spatial audio parameter encoding and associated decoding
EP4226368B1 (en) * 2020-10-05 2024-10-23 Nokia Technologies Oy Quantisation of audio parameters
KR20230119209A (ko) * 2020-12-15 2023-08-16 노키아 테크놀로지스 오와이 공간 오디오 파라미터 양자화
EP4278347A4 (en) * 2021-01-18 2024-10-02 Nokia Technologies Oy TRANSFORMATION OF SPATIAL AUDIO PARAMETERS
CN117395591A (zh) * 2021-03-05 2024-01-12 华为技术有限公司 Hoa系数的获取方法和装置
CN117136406A (zh) * 2021-03-22 2023-11-28 诺基亚技术有限公司 组合空间音频流
WO2022223133A1 (en) * 2021-04-23 2022-10-27 Nokia Technologies Oy Spatial audio parameter encoding and associated decoding
WO2023147864A1 (en) 2022-02-03 2023-08-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method to transform an audio stream
FR3132811A1 (fr) * 2022-02-14 2023-08-18 Orange Codage et décodage de coordonnées sphériques utilisant un dictionnaire de quantification sphérique optimisé
KR20240165992A (ko) * 2022-03-22 2024-11-25 노키아 테크놀로지스 오와이 파라미터 공간 오디오 인코딩
WO2024208420A1 (en) 2023-04-05 2024-10-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio processor, audio processing system, audio decoder, method for providing a processed audio signal representation and computer program using a time scale modification
EP4475122A1 (en) * 2023-06-06 2024-12-11 Nokia Technologies Oy Adapting spatial audio parameters for jitter buffer management

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6446037B1 (en) * 1999-08-09 2002-09-03 Dolby Laboratories Licensing Corporation Scalable coding method for high quality audio
US6678647B1 (en) * 2000-06-02 2004-01-13 Agere Systems Inc. Perceptual coding of audio signals using cascaded filterbanks for performing irrelevancy reduction and redundancy reduction with different spectral/temporal resolution
FR2810476B1 (fr) 2000-06-14 2002-10-11 De Palluel Darcel Vince Crette Balises multifonctions d'emissions/reception et/ou de reemissions, des signaux codes ou non par emetteurs recepteurs d'ondes avec capteurs realises en technologie mikrotelec
JP4396233B2 (ja) 2003-11-13 2010-01-13 パナソニック株式会社 複素指数変調フィルタバンクの信号分析方法、信号合成方法、そのプログラム及びその記録媒体
US7460990B2 (en) * 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
JP2006003580A (ja) * 2004-06-17 2006-01-05 Matsushita Electric Ind Co Ltd オーディオ信号符号化装置及びオーディオ信号符号化方法
JP4640020B2 (ja) 2005-07-29 2011-03-02 ソニー株式会社 音声符号化装置及び方法、並びに音声復号装置及び方法
US7974713B2 (en) * 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
EP1852848A1 (en) * 2006-05-05 2007-11-07 Deutsche Thomson-Brandt GmbH Method and apparatus for lossless encoding of a source signal using a lossy encoded data stream and a lossless extension data stream
MX2009003564A (es) * 2006-10-16 2009-05-28 Fraunhofer Ges Forschung Aparato y metodo para transformacion de parametro multicanal.
US8290167B2 (en) * 2007-03-21 2012-10-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for conversion between multi-channel audio formats
US8908873B2 (en) * 2007-03-21 2014-12-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for conversion between multi-channel audio formats
US20080232601A1 (en) * 2007-03-21 2008-09-25 Ville Pulkki Method and apparatus for enhancement of audio reconstruction
ATE518224T1 (de) 2008-01-04 2011-08-15 Dolby Int Ab Audiokodierer und -dekodierer
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
JPWO2010005050A1 (ja) * 2008-07-11 2012-01-05 日本電気株式会社 信号分析装置、信号制御装置及びその方法と、プログラム
EP2144231A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing
EP2154910A1 (en) 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for merging spatial audio streams
EP2249334A1 (en) * 2009-05-08 2010-11-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio format transcoder
EP2449795B1 (en) * 2009-06-30 2017-05-17 Nokia Technologies Oy Positional disambiguation in spatial audio
EP2346028A1 (en) * 2009-12-17 2011-07-20 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal
US8897455B2 (en) * 2010-02-18 2014-11-25 Qualcomm Incorporated Microphone array subset selection for robust noise reduction
CN102860048B (zh) * 2010-02-26 2016-02-17 诺基亚技术有限公司 用于处理产生声场的多个音频信号的方法和设备
EP2375410B1 (en) * 2010-03-29 2017-11-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A spatial audio processor and a method for providing spatial parameters based on an acoustic input signal
EP2656640A2 (en) 2010-12-22 2013-10-30 Genaudio, Inc. Audio spatialization and environment simulation
US9530421B2 (en) 2011-03-16 2016-12-27 Dts, Inc. Encoding and reproduction of three dimensional audio soundtracks
CN102760437B (zh) * 2011-04-29 2014-03-12 上海交通大学 实时声道控制转换的音频解码装置
CN104054126B (zh) * 2012-01-19 2017-03-29 皇家飞利浦有限公司 空间音频渲染和编码
ES2742853T3 (es) * 2013-03-05 2020-02-17 Fraunhofer Ges Forschung Aparato y procedimiento para la descomposición directa-ambiental de multicanal para el procesamiento de señales de audio
US9384741B2 (en) * 2013-05-29 2016-07-05 Qualcomm Incorporated Binauralization of rotated higher order ambisonics
US9466305B2 (en) * 2013-05-29 2016-10-11 Qualcomm Incorporated Performing positional analysis to code spherical harmonic coefficients
US9769586B2 (en) * 2013-05-29 2017-09-19 Qualcomm Incorporated Performing order reduction with respect to higher order ambisonic coefficients
TWI615834B (zh) * 2013-05-31 2018-02-21 Sony Corp 編碼裝置及方法、解碼裝置及方法、以及程式
US20150127354A1 (en) * 2013-10-03 2015-05-07 Qualcomm Incorporated Near field compensation for decomposed representations of a sound field
US20150332682A1 (en) * 2014-05-16 2015-11-19 Qualcomm Incorporated Spatial relation coding for higher order ambisonic coefficients
CN106023999B (zh) * 2016-07-11 2019-06-11 武汉大学 用于提高三维音频空间参数压缩率的编解码方法及系统
GB2554446A (en) * 2016-09-28 2018-04-04 Nokia Technologies Oy Spatial audio signal format generation from a microphone array using adaptive capture
US10483913B2 (en) * 2017-07-13 2019-11-19 Qualcomm Incorporated Low power crystal oscillator
CN109274969B (zh) * 2017-07-17 2020-12-22 华为技术有限公司 色度预测的方法和设备
CN111656442B (zh) * 2017-11-17 2024-06-28 弗劳恩霍夫应用研究促进协会 使用量化和熵编码来编码或解码定向音频编码参数的装置和方法
GB2577698A (en) * 2018-10-02 2020-04-08 Nokia Technologies Oy Selection of quantisation schemes for spatial audio parameter encoding

Also Published As

Publication number Publication date
PT3711047T (pt) 2022-11-16
CN117351970A (zh) 2024-01-05
SG11202004430YA (en) 2020-06-29
JP2022058577A (ja) 2022-04-12
CN111656441B (zh) 2023-10-03
JP2021503627A (ja) 2021-02-12
KR20200091880A (ko) 2020-07-31
JP7372360B2 (ja) 2023-10-31
JP7175980B2 (ja) 2022-11-21
PL3711047T3 (pl) 2023-01-30
TWI759240B (zh) 2022-03-21
RU2763155C2 (ru) 2021-12-27
US20200265851A1 (en) 2020-08-20
US12106763B2 (en) 2024-10-01
JP2021503628A (ja) 2021-02-12
US12112762B2 (en) 2024-10-08
AU2018368588A1 (en) 2020-07-02
WO2019097017A1 (en) 2019-05-23
CN111656442B (zh) 2024-06-28
CN111656442A (zh) 2020-09-11
JP2022171686A (ja) 2022-11-11
RU2020119762A3 (zh) 2021-12-17
AU2018368588B2 (en) 2021-12-09
TWI752281B (zh) 2022-01-11
US20230410819A1 (en) 2023-12-21
US20220130404A1 (en) 2022-04-28
MX2020005045A (es) 2020-08-20
TWI708241B (zh) 2020-10-21
CA3083891A1 (en) 2019-05-23
AR113525A1 (es) 2020-05-13
US11783843B2 (en) 2023-10-10
CA3084225C (en) 2023-03-28
AU2018368589B2 (en) 2021-10-14
CA3084225A1 (en) 2019-05-23
CN111656441A (zh) 2020-09-11
FI3711047T3 (fi) 2023-01-13
RU2020119762A (ru) 2021-12-17
JP2024003010A (ja) 2024-01-11
KR102599743B1 (ko) 2023-11-08
CN118609580A (zh) 2024-09-06
ES2930374T3 (es) 2022-12-09
AR113524A1 (es) 2020-05-13
ZA202003473B (en) 2022-04-28
EP3711048A1 (en) 2020-09-23
KR20200100061A (ko) 2020-08-25
KR20230110842A (ko) 2023-07-25
CA3083891C (en) 2023-05-02
EP4113512A1 (en) 2023-01-04
SG11202004389VA (en) 2020-06-29
BR112020011035A2 (pt) 2020-11-17
ZA202003476B (en) 2022-10-26
BR112020011026A2 (pt) 2020-11-17
RU2020119761A (ru) 2021-12-17
MX2020005044A (es) 2020-08-20
RU2763313C2 (ru) 2021-12-28
US20200273473A1 (en) 2020-08-27
US20240428806A1 (en) 2024-12-26
TW202145197A (zh) 2021-12-01
US20240274139A1 (en) 2024-08-15
EP3711047A1 (en) 2020-09-23
WO2019097018A1 (en) 2019-05-23
JP7175979B2 (ja) 2022-11-21
RU2020119761A3 (zh) 2021-12-17
EP3711047B1 (en) 2022-10-05
US11367454B2 (en) 2022-06-21
KR102535997B1 (ko) 2023-05-23
AU2018368589A1 (en) 2020-06-25
TW201923751A (zh) 2019-06-16

Similar Documents

Publication Publication Date Title
TWI708241B (zh) 使用不同時間/頻率解析度編碼或解碼方向性音訊寫碼參數之設備及方法