[go: up one dir, main page]

JP2018077487A - オーディオエンコーダ、符号化方法およびコンピュータプログラム - Google Patents

オーディオエンコーダ、符号化方法およびコンピュータプログラム Download PDF

Info

Publication number
JP2018077487A
JP2018077487A JP2017234677A JP2017234677A JP2018077487A JP 2018077487 A JP2018077487 A JP 2018077487A JP 2017234677 A JP2017234677 A JP 2017234677A JP 2017234677 A JP2017234677 A JP 2017234677A JP 2018077487 A JP2018077487 A JP 2018077487A
Authority
JP
Japan
Prior art keywords
spectral
band
frequency
energy information
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017234677A
Other languages
English (en)
Other versions
JP6691093B2 (ja
Inventor
ニーデルマイヤー，アンドレアス
Niedermeier Andreas
エルテル，クリスティアン
Ertel Christian
ガイガー，ラルフ
Geiger Ralf
ギド，フローリン
Ghido Florin
ヘルムリッヒ，クリスティアン
Helmrich Christian
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of JP2018077487A publication Critical patent/JP2018077487A/ja
Application granted granted Critical
Publication of JP6691093B2 publication Critical patent/JP6691093B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388—Details of processing therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208—Subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025—Detection of transients or attacks for time/frequency resolution switching
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03—Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】改善されたエンコーダ／デコーダスキームを提供する。【解決手段】第１セットの第１スペクトル部の符号化表現９０１ｂを復号して第１セットの第１スペクトル部９０４を取得し、第２セットの第２スペクトル部に対する復号化パラメトリックデータ９０２を取得するオーディオデコーダ９００と、第１スペクトル部と第２スペクトル部とを含む再構築帯域に対する個別エネルギ情報とを使用して、再構築する周波数再生器９０６とを備える。再構築帯域内の消失エネルギ情報を、再構築帯域に対する個別エネルギ情報と残存エネルギ情報とを用いて判定し、再構築帯域内のさらなるスペクトル部を、消失エネルギ情報とタイルエネルギ情報とに基づいて、調整する。【選択図】図９Ａ

Description

本発明は、オーディオ符号化および復号化に関し、特に、インテリジェントギャップ充填（ＩＧＦ：Ｉｎｔｅｌｌｉｇｅｎｔ ｇａｐ ｆｉｌｌｉｎｇ）を用いるオーディオ符号化に関する。
オーディオ符号化は信号圧縮の一分野であり、音響心理学の知識を用いて、オーディオ信号における冗長性および非関連性を利用する処理を行う。今日において、オーディオコーデックは、典型的には、ほぼ全ての種のオーディオ信号の知覚的に透明な符号化のために、チャネルあたり６０ｋｂｐｓ程度を要する。さらに新しいコーデックは、帯域幅拡張（ＢＷＥ）などの技術を用いて、信号におけるスペクトルの類似性を活用して、符号化ビットレートの削減を試みている。あるＢＷＥスキームにおいては、オーディオ信号の高周波数（ＨＦ）成分を示すよう設定された低ビットレートパラメータが用いられる。ＨＦスペクトルは、低周波数（ＬＦ）域からのスペクトルコンテンツによって充足され、スペクトルの形状、傾きおよび時間的連続性が、オリジナル信号の音質および色彩を保つよう調整される。そのようなＢＷＥ手法によって、オーディオコーデックは、チャネルあたり２４ｋｂｐｓ程度の低ビットレートであっても、良好な品質を保つことができる。
オーディオ信号の蓄積または送信については、厳格なビットレート制限が適用されることがよくある。過去においては、極めて低ビットレートしか利用可能でない場合には、符号化する側において、強制的に、送信オーディオ帯域幅を大幅に低減させられていた。
今日における近代オーディオコーデックは、帯域幅拡張（ＢＷＥ）法を用いて、広帯域信号を符号化できる（非特許文献１）。これらのアルゴリズムは、高周波数コンテンツ（ＨＦ）のパラメトリック表現に依拠している。このパラメトリック表現は、復号信号の波形符号化された低周波数部（ＬＦ）から、ＨＦスペクトル領域に移転（「パッチング」）させて、パラメータ駆動の後処理を行うことにより、生成される。ＢＷＥスキームにおいては、所与のいわゆるクロスオーバー周波数の上へのＨＦスペクトル領域の再構築が、しばしば、スペクトルパッチングに基づいて行われる。一般的に、ＨＦ領域は、複数の近接パッチから構成され、これらのパッチのそれぞれは、所与のクロスオーバー周波数より下のＬＦスペクトルのバンドパス（ＢＰ）領域から供給される。最新のシステムは、例えば、近接するサブバンド係数一式をソースから対象領域にコピーすることによって、直交ミラーフィルタバンク（ＱＭＦ）などのフィルタバンク表現内において、パッチングを効率的に実施する。
今日のオーディオコーデックに見られる、圧縮効率を向上させかつ低ビットレートでオーディオ帯域幅を拡張する別の技術としては、オーディオスペクトルの適宜な部分を、パラメータ駆動により合成置換する技術が挙げられる。例えば、オリジナルのオーディオ信号におけるノイズ様の信号部分は、デコーダ内で生成され副情報パラメータによりスケーリングされた人工ノイズによって、主観的品質を実質的に損なうことなく置換される。一例としては、ＭＰＥＧ−４アドバンストオーディオコーディング（ＡＡＣ）に含まれる、知覚的ノイズ置換（ＰＮＳ）ツールが挙げられる（非特許文献５）。
低ビットレートでオーディオ帯域幅を拡張する他の規定としては、ＭＰＥＧ−Ｄの音声音響統合符号化方式（ＵＳＡＣ）に含まれる、ノイズ充填技術が挙げられる（非特許文献７）。粗すぎる量子化による量子化装置のデッドゾーンから推測されるスペクトルギャップ（ゼロ）は、デコーダにおける人工ノイズにより事後に充填され、パラメータによって決定される事後処理によってスケーリングされる。
別の最新システムは、精密スペクトル置換（ＡＳＲ）と称される（非特許文献２−４）。波形コーデックに加えて、ＡＳＲは、専用の信号合成段階を採用し、この信号合成段階によって、信号内の知覚的に重要な正弦部分が、デコーダにより復元される。また、非特許文献５に記載のシステムは、波形符号器のＨＦ領域における正弦モデリングに依拠して、低ビットレートでも相当の知覚的品質を有する拡張オーディオ帯域幅を実現している。これらの方法は全て、修正離散コサイン変換（ＭＤＣＴ）とは別の第２領域へのデータ変換を含み、また、ＨＦ正弦成分の保存のためのかなり複雑な解析／合成段階を含む。
図１３ａは、例えば、高効率アドバンストオーディオコーディング（ＨＥ−ＡＡＣ）において使用されている帯域幅拡張技術用の、オーディオエンコーダの概略図である。ライン１３００上のオーディオ信号は、ローパス１３０２およびハイパス１３０４からなるフィルタシステムに入力される。ハイパスフィルタ１３０４から出力された信号は、パラメータ抽出器／符号器１３０６に入力される。パラメータ抽出器／符号器１３０６は、例えば、スペクトル包絡線パラメータやノイズ付加パラメータ、欠落高調波パラメータ、逆フィルタリングパラメータなどのパラメータを計算し、符号化するよう構成される。これらの抽出パラメータは、ビットストリーム多重変換器１３０８に入力される。ローパス出力信号は、ダウンサンプラ１３１０およびコア符号器１３１２の機能を一般的に有する処理器に入力される。ローパス１３０２は、帯域幅を制限して、ライン１３００上のオリジナル入力オーディオ信号よりも、相当に狭い帯域幅に符号化されるようにする。コア符号器において生じる全ての機能が、削減された帯域の信号上で機能すれば良いといという事実により、かなりの符号化利得が得られる。例えば、ライン１３００上のオーディオ信号の帯域幅が２０キロヘルツであり、かつローパスフィルタ１３０２が仮に４キロヘルツの帯域幅を有しているとすると、サンプリング定理を満たすためには、ダウンサンプラの後段の信号が８キロヘルツのサンプリング周波数を有することで理論上は十分であり、これは、オーディオ信号１３００において必要となる少なくとも４０キロヘルツのサンプリングレートの、実質的削減である。
図１３ｂは、対応する帯域幅拡張デコーダの概略図である。デコーダは、ビットストリーム多重変換器１３２０を有する。ビットストリーム多重分離器１３２０は、コアデコーダ１３２２用の入力信号、およびパラメトリックデコーダ１３２４用の入力信号を抽出する。コアデコーダ出力信号は、上述の例においては、８キロヘルツのサンプリングレートを有し、したがって、４キロヘルツの帯域幅を有する。一方、完全な帯域幅再構築のためには、高周波数再構築器１３３０の出力信号は、少なくとも４０キロヘルツのサンプリングレートを要する２０キロヘルツでなければならない。これを可能にするためには、デコーダ処理器が、アップサンプラ１３２５およびフィルタバンク１３２６の機能を有することが必要となる。そして高周波数再構築器１３３０は、フィルタバンク１３２６より出力され周波数解析された低周波数信号を受信して、図１３ａのハイパスフィルタ１３０４によって定義された周波数範囲を、周波数帯域のパラメトリック表現を用いて再構築する。高周波数再構築器１３３０は、低周波数範囲におけるソース範囲を利用して上位の周波数範囲を再生したり、スペクトル包絡線を調整したり、ノイズを付与するなど、様々な機能を有している。また、高周波数再構築器１３３０には、欠落高調波を上位の周波数範囲に導入する機能や、図１３ａの符号器において適用され算出された場合には逆フィルタを行い、高周波数範囲が一般的には低周波数範囲ほど音調がないという事実に対処する機能がある。ＨＥ−ＡＡＣにおいては、デコーダ側において欠落高調波が再合成され、再構築帯域のちょうど真ん中に配置される。したがって、所定の再構築帯域において決定された全ての欠落高調波線は、オリジナル信号で配置されていた周波数値には配置されない。その代わりに、これらの欠落高調波線は、所定帯域の中心周波数に配置される。よって、オリジナル信号中の欠落高調波線が、オリジナル信号中の再構築帯域の境界に非常に近接して配置されると、この欠落高調波線を再構築信号において帯域の中心に配置することにより生じる周波数エラーは、個別の再構築帯域の５０％近くになり、これについてパラメータが生成され送られる。
さらに、一般的なオーディオコア符号器は、スペクトル領域で機能するにも関わらず、コアデコーダはなお時間領域信号を生成し、この時間領域信号が、再びフィルタバンク１３２６機能によりスペクトル領域に変換される。これによって追加的な処理遅延が発生し、またまずスペクトル領域から周波数領域に変形し、そして一般的には再び異なる周波数領域へと変形する直列処理によって、アーティファクトが発生する恐れがある。もちろん、これによって、計算が相当程度複雑になり、相当量の電力が必要となる。この電力の問題は、帯域幅拡張技術が携帯電話やタブレット、ノートパソコンなどの携帯機器に適用された場合、特に問題となる。
現在のオーディオコーデックは、符号化スキームの不可分の一部として、ＢＷＥを用いて低ビットレートオーディオ符号化を実施する。しかしながら、ＢＷＥ技術は、高周波数（ＨＦ）コンテンツのみを置換することに限定されている。さらに、ＢＷＥ技術は、所定のクロスオーバー周波数より上の、知覚的に重要なコンテンツを、波形符号化することはできない。したがって、現代のオーディオコーデックは、信号の音の高調波の正確な配列がほとんどのシステムにおいて考慮されないため、ＢＷＥが実行されると、ＨＦの詳細または音質のいずれかが喪失される。
ＢＷＥシステムの現代技術に関する別の課題としては、オーディオ信号を、ＢＷＥを実行するための新たな領域に変換する必要があることである（例：ＭＤＣＴからＱＭＦ領域への変換）。これによって、同期性の煩雑化、追加的計算の煩雑性およびメモリ要件の増加などにつながる。
図１３ａおよび図１３ｂに示す周波数帯域複製技術は、低域通過フィルタ１３２により、クロスオーバー周波数を超える全てのスペクトル部を完全に除去し、これにより、後続のダウンサンプリング１３１０が実行される。トーン部は、デコーダ側で、６４チャンネル合成フィルタバンクのＱＭＦ帯域であるスペクトル帯域複製帯域の中心周波数に再挿入される。したがって、この技術は、クロスオーバー周波数を超える残存トーン部が無いものと仮定している。すぎてしまうと、特にオーディオ信号における過渡部に、プリエコーおよびポストエコーが生じてしまう。
本発明の目的は、改善されたエンコーダ／デコーダスキームを提供することにある。
この目的は、請求項１に記載の復号装置、請求項１３のオーディオエンコーダ、請求項２２の復号方法、請求項２３に記載の符号化方法、または請求項２４に記載のコンピュータプログラムによって達成される。
本発明は、再構築信号のオーディオ品質が、ＩＧＦにより改善されるという発見に基づいている。その理由は、全スペクトルがコアエンコーダで処理でき、これにより、例えば、高スペクトル領域における知覚的に重要なトーン部も、パラメトリック差分ではなくコア符号器により符号化できるからである。さらに、例えば典型的には低周波数レンジからの第１セットのトーン部である第１セットの第１スペクトル部からの周波数タイル、さらには、可能な場合にはさらに高い周波数レンジからの周波数タイル、を使用するギャップ充填が実行される。しかしながら、デコーダ側でのスペクトル包絡線調整に対して、再構築帯域に配置される第１セットの第１スペクトル部からのスペクトル部には、例えばスペクトル包絡線調整のような、さらなる後処理は行われない。コアデコーダからのものではない再構築帯域の残りのスペクトル値は、包絡線情報を用いて包絡線調整される。包絡線情報は、望ましくは、再構築帯域内の第１セットの第１スペクトル部および同じ再構築帯域内の第２セットの第２スペクトル部の全エネルギを考慮した全帯域包絡線情報である。ここで、第２セットの第２スペクトル部のスペトル値はゼロと示され、したがって、コアデコーダでは符号化されず、低解像度エネルギ情報でパラメトリックに符号化される。
エネルギの絶対値が、対応する帯域の帯域幅で正規化されたものでも、正規化されていないものでも有用であり、デコーダ側での適用に非常に有効であることが見出された。これは、特に、利得ファクタが、再構築帯域の残留エネルギ再構築帯域、消失エネルギおよび再構築帯域の周波数タイル情報に基づいて計算される場合にそうである。
さらに、符号化されたビットストリームが、再構築体いい気に対するエネルギ情報だけでなく、付加的に、最大周波数まで延びるスケールファクタ帯域に対するスケールファクタをカバーすることが望ましい。これは、特定のトーン部、すなわち第１スペクトル部がある各再構築帯域に対して、この第１セットの第１スペクトル部が実際に正しい振幅で符号化されることを確実にする。さらに、各再構築帯域に対するスケールファクタに加えて、この再構築帯域に対するエネルギが、エンコーダで生成され、デコーダに送信される。さらに、再構築帯域は、スケールファクタ帯域に一致し、またはエネルギをグループ分けする場合には、少なくとも再構築帯域の境界が、スケールファクタ帯域の境界に一致する。
他の側面は、帯域幅拡張の分離に関する問題と、コア符号化に関する問題が、コアデコーダが機能する同じスペクトル領域において帯域幅拡張を実施することにより、解決され克服されるという知見に基づいている。したがって、全てのオーディオ信号範囲を符号化し復号化するフルレートのコアデコーダが提供される。これは、エンコーダ側におけるダウンサンプラ、およびデコーダ側におけるアップサンプラを要しない。その代わりに、すべての処理がフルサンプリングレートまたはフル帯域幅領域において実施される。高符号化ゲインを得るために、オーディオ信号は、高解像度で符号化される第１セットの第１スペクトル部を見つけるべく解析される。一実施形態においては、この第１セットの第１スペクトル部には、オーディオ信号の音調部が含まれる。一方、第２セットの第２スペクトル部を構成するオーディオ信号における非音調成分またはノイズ成分は、低スペクトル解像度でパラメトリックに符号化される。そして、符号化オーディオ信号は、波形保存手法により高スペクトル解像度で符号化された第１セットの第１スペクトル部、および第１セットから供給される周波数「タイル」を用いて低解像度でパラメトリックに符号化された第２セットの第２スペクトル部のみを必要とする。デコーダ側においては、フル帯域デコーダとしてのコアデコーダは、波形保存手法により（つまり、何か追加的周波数の再生がなされたことを知らなくとも）、第１セットの第１スペクトル部を再構築する。しかしながら、そのように生成されたスペクトルは、たくさんのスペクトルギャップを有する。これらのギャップは、パラメトリックデータ適用する周波数再生、およびソーススペクトル範囲（つまり、フルレートオーディオデコーダによって再構築される第１スペクトル部）を用いて、発明的なインテリジェントギャップ充填（ＩＧＦ）技術により、事後に充填される。
他の実施形態においては、帯域幅複製または周波数タイル充填よりもむしろ、ノイズ充填によってのみ再構築されたスペクトル部が、第３セットの第３スペクトル部を構成する。符号化概念は、コア符号化／復号化および周波数再生用の単一領域において機能するという事実のため、ＩＧＦは、周波数再生を伴わないノイズ充填をするか、または異なる周波数範囲の周波数タイルを使って周波数再生することのいずれかにより、より高周波数の範囲を充填するのに限定されるのみならず、より低周波数の範囲を充填することもできる。
さらに、スペクトルエネルギに関する情報、個別エネルギに関する情報または個別エネルギ情報、残存エネルギに関する情報または残存エネルギ情報、タイルエネルギに関する情報またはタイルエネルギ情報、あるいは欠落エネルギに関する情報または欠落エネルギ情報は、エネルギ値を有するのみならず、（例えば絶対的な）振幅値、レベル値またはその他値をも有し、これらから最終的なエネルギ値が求められる。したがって、エネルギに関する情報は、例えばエネルギ情報それ自体、および／またはレベルおよび／または振幅および／または絶対振幅の値を含んでもよい。
他の側面は、相関状況がソースレンジにとって重要であるのみならず、対象範囲にとっても重要であるという知見に基づく。さらに、本発明は、ソースレンジと対象レンジとで、異なる相関状況が生じ得る状況を加味している。例えば、高周波数ノイズを有する音声信号を検討してみると、スピーカを真ん中に配置したときに、少量の倍音を有する音声信号を含む低周波数帯域が、左チャンネルおよび右チャンネルにおいて相関が高い状況がありえる。しかしながら、高周波数部分については、左側には異なる高周波数ノイズがある一方、右側には別の高周波数ノイズがあるか、または高周波数ノイズがないということがありえるという事実から、強固な相関はありえない。よって、この状況を無視した直接的なギャップ充填が実施されてしまうと、高周波数部分も相関をもってしまい、これによって、再構築信号において、重大な空間分離アーティファクトが生成されるおそれがある。この問題を解決するためには、再構築帯域用のパラメトリックデータ、または、一般的に、第１セットの第１スペクトル部を使用して再構築されなければならない第２セットの第２スペクトル部用のパラメトリックデータを計算して、第２スペクトル部（換言すると、再構築帯域）の第１または第２の異なる２チャンネル表現のいずれかを識別する。したがって、エンコーダ側において、２チャンネル識別は、第２スペクトル部、つまり、再構築帯域のためのエネルギ情報が追加的に計算される部分について、計算される。そして、デコーダ側における周波数再生器は、第１セットの第１スペクトル部の第１部分、つまりスペクトル包絡線エネルギ情報やその他スペクトル包絡線データなどのような第２部分のためのソースデータおよびパラメトリックデータに依拠して、さらに第２部分のための２チャンネル識別情報（再考下のこの再構築帯域のための２チャンネル識別情報）に依拠して、第２スペクトル部を再生する。
２チャンネル識別情報は、各再構築帯域についてフラグとして送信されることが好ましく、またエンコーダからデコーダにデータが送信され、そしてデコーダが、コア帯域について好適に算出されたフラグが示すコア信号を復号する。実施においては、コア信号は、ステレオ表現（例えば、右／左、中央／サイド）の両方ともに蓄積され、そしてＩＧＦ周波数タイル充填については、インテリジェントギャップ充填または再構築帯域（つまり対象範囲）について２チャンネル識別情報フラグによって示される対象タイル表現に合うよう、ソースタイル表現が選択される。
この手順は、ステレオ信号（つまり左チャンネルおよび右チャンネル）について機能するのみならず、多チャンネル信号についても機能する。多チャンネル信号の場合、異なるチャンネルの異なる組み合わせについて、左右チャンネルを第１組み合わせとし、左サラウンドチャンネルおよび右サラウンドチャンネルを第２組み合わせとし、中央チャンネルおよび重低音強調効果チャンネルを第３組み合わせとするなどして、処理をすることができる。７．１チャンネルや１１．１チャンネルなどのより高度な出力チャンネルフォーマットについては、その他の組み合わせとしてもよい。
その他の側面は、信号適応周波数タイル充填スキームを適用することにより、オーディオ品質における所定の品質低下が改善されるという知見に基づく。このため、所定の目標領域にもっとも適合するソース領域候補を見つけるべく、エンコーダ側の解析がなされる。対象領域のために、所定のソース領域を選択的な追加情報とともに特定する整合情報は、サイド情報として生成されデコーダに対して送信される。デコーダは、整合情報を用いて、周波数タイル充填処理を行う。このため、デコーダは、送信済データストリームまたはデータファイルから整合情報を読み取り、所定の再構築帯域のために特定されたソース領域にアクセスする。そして、もし整合情報において示されている場合には、再構築帯域のためのスペクトル生データを生成するために、このソース領域データについて追加的に処理を実行する。そして、音調部などの第１スペクトル部も有する再構築帯域を最終的に入手するために、スペクトル包絡線情報を使って、周波数タイル充填処理の結果（つまり、再構築帯域のスペクトル生データ）を形作る。しかしながら、これらの音調部は、適応タイル充填スキームによって生成されるわけではなく、これらの第１スペクトル部は、オーディオデコーダまたはコアデコーダによって直接に出力される。
適応スペクトルタイル選択スキームは、低粒度で実行してもよい。実施においては、ソース領域を、一般的なオーバーラップソース領域と対象領域とに細分化し、あるいは再構築帯域を、非オーバーラップ周波数対象領域により得る。そして、各ソース領域と各対象領域との間の類似性を符号器側で決定し、もっとも整合するソース領域と対象領域の組み合わせを整合情報として特定する。一方、デコーダ側において、整合情報で特定されたソース領域を、再構築帯域のためのスペクトル生データを生成するために用いる。
高粒度化するために、各ソース領域は、類似性が最大の場合には、所定程度遅滞させるために、シフト可能とされる。この遅滞は、周波数ビンと同程度の精度を有してもよく、そしてソース領域と対象領域とのよりよい整合が図れる。
さらに、もっともよく整合する組み合わせを特定することのみを追加して、この相関遅延も、整合情報内で送信されてもよく、またサイン（正負符合）さえもが送信されてもよい。このサインが符号器側において負であると判定された場合は、対応するサインフラグも整合情報内で送信され、そしてデコーダ側で、ソース領域のスペクトル値に対して−１が乗じられるか、あるいは複素数表現の場合には、１８０度「回転」させる。
本発明のさらなる実施形態によると、タイル白色化手順を実施する。スペクトルの白色化によって、粗いスペクトル包絡線情報が除去され、タイル類似性を評価するのに主要なスペクトル微細構造が強調される。したがって、周波数タイルおよび／またはソース信号は、クロス相関度を計算する前に白色化される。所定の手順によってタイルのみが白色化される場合には、デコーダに対して、同様の所定の白色化手順がＩＧＦ内の周波数タイルについて適用されるべきであることを示す白色化フラグが送信される。
タイルの選択に関して、相関の遅延を利用して、再生されたスペクトルを変形ビンの整数分だけシフトすることが好ましい。基礎となる変形によっては、スペクトルのシフトにおいては、追加的な修正を要する。奇数の遅延の場合には、時間的シーケンスの−１／１を変更することにより、タイルを乗数によって追加的に変調して、全てのその他帯域の周波数逆転表現がＭＤＣＴ内で相殺される。さらに、相関結果のサインは、周波数タイルを生成する際に適用される。
さらに、迅速に変化するソース領域により同じ再構築領域または対象領域についてアーティファクトが生じるのを避けられるよう確保するために、タイルの切り詰めおよび安定化処理をすることが好ましい。このため、識別された異なるソース領域間の類似性解析を実施し、ソースタイルが類似性の閾値を超えて他のソースタイルと類似するときには、このソースタイルは、潜在的ソースタイルのセットから除外されてもよい。というのも、これは、他のソースタイルと高い相関を有するからである。また、タイル選択安定化処理の一種として、現在のフレームにおけるいずれのソースタイルも、現在のフレームにおける対象タイルと相関を有しない（所定の閾値を超えない）場合には、タイルの順番を前回フレームから保つことが好ましい。
さらなる側面は、特に、オーディオ信号において頻繁に発生する過渡部を有する信号について、時間領域雑音整形（ＴＮＳ）技術または時間領域タイル整形（ＴＴＳ）技術と高周波数再構築とを組み合わせることにより、品質を改善しビットレートを削減することができるという知見に基づくものである。エンコーダ側のＴＮＳ／ＴＴＳ処理が、周波数の予測によって実行され、オーディオ信号の時間的包絡線を再構築する。実施次第では（つまり、時間領域雑音整形フィルタが、ソース周波数範囲だけでなく目的周波数範囲までをも対象とする周波数範囲において決定され、周波数再生デコーダにおいて再構築される場合には）、ギャップ充填開始周波数に達するまで、時間的包絡線がコアオーディオ信号に対して適用されるだけでなく、時間的包絡線が再構築第２スペクトル部のスペクトル範囲にも適用される。したがって、時間領域タイル整形がなければ生じていたプリエコーまたはポストエコーが減少または除去される。これは、所定のギャップ充填開始周波数に達するまでのコア周波数範囲内のみならず、コア周波数範囲を超えた周波数範囲内においても、周波数に対する逆予測を適用することにより達成される。このため、周波数の再生または周波数タイルの再生が、周波数に対する予測適用の前に、デコーダ側において実施される。しかしながら、周波数に対する予測は、フィルタリング後のまたは包絡線整形前の（全）スペクトル値の後のスペクトル残差値に対して、エネルギ情報計算が実施されたか否か次第で、スペクトル包絡線整形の前または後のいずれかに適用すればよい。
１つ以上の周波数タイルに対するＴＴＳ処理によって、ソース範囲および再構築範囲間、または近接する２つ再構築範囲もしくは周波数タイル間の相関性の継続が追加的に設定される。
実施においては、複素ＴＮＳ／ＴＴＳフィルタリングを使用するのが好ましい。それによって、ＭＤＣＴのようなクリティカルサンプルされた実数表現において、（時間的）エイリアシングアーティファクトが避けられる。複素ＴＮＳフィルタは、複素変形変換に加えて、修正離散コサイン変換だけでなく修正離散サイン変換を適用することにより、エンコーダ側で算出できる。それにも関わらず、修正離散コサイン変換値（つまり、複素変換の実数部分）のみが送信される。しかしながら、デコーダ側においては、前回のまたは後続のフレームのＭＤＣＴスペクトルを使って、当該変換の虚数部分を推定することができる。そして、それによってデコーダ側においては、周波数に対する逆予測、ならびに特にソース範囲と再構築範囲の境界線、および再構築範囲における周波数近接周波数タイル間の境界線に対する予測において、複素フィルタを再び適用することができる。
本発明に係るオーディオ符号化システムは、広範囲のビットレートにより、任意のオーディオ信号を効率的に符号化する。高ビットレートにおいては、本発明のシステムは、透明性に集中する一方、低ビットレートにおいては、知覚的な不快感が最小限化される。そのため、利用可能なビットレートの主要な部分は、エンコーダにおいて、知覚的にもっとも適切な信号構造に波形符号化することに用いられる。そして、その結果としてのスペクトルギャップは、デコーダにおいて、元来のスペクトルに大まかに近接した信号コンテンツによって充填される。エンコーダからデコーダに対して送信される専用のサイド情報によって、相当に限られたビット配分のみが、パラメータ駆動されるいわゆるスペクトルインテリジェントギャップ充填（ＩＧＦ）を制御するのに消費される。
本発明の好適な実施形態を、以下、添付図面を参照して説明する。
図１ａは、オーディオ信号を符号化する装置を示す図である。 図１ｂは、図１ａのエンコーダと整合する符号化されたオーディオ信号を復号するデコーダを示す図である。 図２ａは、デコーダの好適な実施形態を示す図である。 図２ｂは、エンコーダの好適な実施形態を示す図である。 図３ａは、図１ｂのスペクトル領域デコーダによって生成されたスペクトル表現を示す概略図である。 図３ｂは、換算係数帯域用の換算係数と、再構築帯域用のエネルギと、ノイズ充填帯域用のノイズ充填情報との関係を示す表である。 図４ａは、スペクトル部の選択を第１および第２セットのスペクトル部に対して適用するスペクトル領域エンコーダの機能を示す図である。 図４ｂは、図４ａの機能の実施形態を示す図である。 図５ａは、ＭＤＣＴエンコーダの機能を示す図である。 図５ｂは、ＭＤＣＴ技術とデコーダの機能を示す図である。 図５ｃは、周波数再生器の実施形態を示す図である。 図６ａは、時間的ノイズ整形／時間的タイル整形機能を有するオーディオコーダを示す図である。 図６ｂは、時間的ノイズ整形／時間的タイル整形技術を有するデコーダを示す図である。 図６ｃは、時間的ノイズ整形／時間的タイル整形機能のさらなる機能を、異なる順番のスペクトル予測フィルタおよびスペクトル整形器とともに示す図である。 図７ａは、時間的タイル整形（ＴＴＳ）機能の実施形態を示す図である。 図７ｂは、図７ａのエンコーダの実施形態と整合するデコーダの実施形態を示す図である。 図７ｃは、オリジナル信号のスペクトルと、ＴＴＳを有しない拡張信号のスペクトルを示す図である。 図７ｄは、インテリジェントギャップ充填周波数と時間的タイル整形エネルギとの間の通信を示す周波数表現を示す図である。 図７ｅは、オリジナル信号のスペクトルと、ＴＴＳを有する拡張信号のスペクトルを占めす図である。 図８ａは、周波数生成を伴う２チャンネルデコーダを示す図である。 図８ｂは、表現とソース／目標レンジの異なる組合せを示す表である。 図８ｃは、図８ａの周波数生成を伴う２チャンネルデコーダの機能を示すフローチャートである。 図８ｄは、図８ａのデコーダの詳細なる実施形態を示す図である。 図８ｅは、図８ａのデコーダによって復号されるべき２チャンネル処理のためのエンコーダの実施形態を示す図である。 図９ａは、エネルギ値を再生周波数範囲に使用する周波数生成技術を有するデコーダを示す図である。 図９ｂは、図９ａの周波数再生器のさらに詳細なる実施形態を示す図である。 図９ｃは、図９ｂの機能を概略的に示す図である。 図９ｄは、図９ａのデコーダのさらなる実施形態を示す図である。 図１０ａは、図９ａのデコーダと整合するエンコーダのブロック図である。 図１０ｂは、図１０ａのパラメータ計算器のさらなる機能の実施形態を示すブロック図である。 図１０ｃは、図１０ａのパラメータ計算器のさらなる機能の実施形態を示すブロック図である。 図１０ｄは、図１０ａのパラメータ計算器のさらなる機能の実施形態を示すブロック図である。 図１１ａは、デコーダにおけるスペクトルタイル充填手順のために、所定のソース範囲の特定をする別のデコーダを示す図である。 図１１ｂは、図１１ａの周波数再生器のさらなる機能を示す図である。 図１１ｃは、図１１ａのデコーダと連携して使用されるエンコーダを示す図である。 図１１ｄは、図１１ｃのパラメータ計算器の実施形態を示すブロック図である。 図１２ａおよび１２ｂは、ソース範囲および対象範囲を示す周波数図である。 図１２ｃは、２つの信号の相関性例の見取り図である。 図１３ａは、帯域幅拡張を有する従来の符号器を示す図である。 図１３ｂは、帯域幅拡張を有する従来のデコーダを示す図である。
図１ａは、オーディオ信号９９を符号化する装置を示す。オーディオ信号９９は、あるサンプリングレートを有するオーディオ信号をスペクトル表現１０１へと変換する時間スペクトル変換器１００に入力され、変換されたスペクトル表現１０１が、時間スペクトル変換器により出力される。スペクトル１０１は、スペクトル表現１０１を解析するスペクトル解析器１０２に入力される。スペクトル解析器１０１は、第１スペクトル解像度により符号化されるべき第１セットの第１スペクトル部１０３（第１スペクトル部の集合）と、第２スペクトル解像度により符号化されるべき別の第２セットの第２スペクトル部１０５（第２スペクトル部の集合）とを決定するよう構成される。第２スペクトル解像度は、第１スペクトル解像度よりも小さい。第２セットの第２スペクトル部１０５は、第２スペクトル解像度を有するスペクトル包絡線情報を計算するパラメータ計算器すなわちパラメトリック符号器１０４に入力される。さらに、第１スペクトル解像度を有する第１セットの第１スペクトル部の第１符号化表現１０７を生成するために、スペクトル領域オーディオコーダ１０６が設けられる。また、パラメータ計算器すなわちパラメトリック符号器１０４は、第２セットの第２スペクトル部の第２符号化表現１０９を生成するよう構成される。第１符号化表現１０７と第２符号化表現１０９とは、ビットストリーム多重変換装置またはビットストリーム形成器１０８に入力され、ビットストリーム形成器１０８は、最終的に、送信または蓄積装置における蓄積のために、符号化されたオーディオ信号を出力する。
一般的に、図３ａの３０６などの第１スペクトル部は、３０７ａや３０７ｂのような２つの第２スペクトル部によって取り囲まれている。コア符号化周波数範囲が帯域的に制限されているＨＥ ＡＡＣの場合には、この限りではない。
図１ｂは、図１ａのエンコーダと整合するデコーダを示す。第１符号化表現１０７は、第１セットの第１スペクトル部の第１復号化表現を生成するスペクトル領域オーディオデコーダ１１２に入力される。さらに、第２符号化表現１０９は、第１スペクトル解像度よりも低い第２スペクトル解像度を有する第２セットの第２スペクトル部の第２復号化表現を生成するパラメトリックデコーダ１１４に入力される。
デコーダは、第１解像度を有する再構築第２スペクトル部を、第１スペクトル部を使って再生する周波数再生器１１６をさらに有する。周波数再生器１１６は、タイル充填手順を実行する。つまり、第１セットの第１スペクトル部のタイルまたは部分を使って、第１セットの第１スペクトル部を、第２スペクトル部を有する再構築レンジまたは再構築帯域にコピーする。そして、一般的には、パラメトリックデコーダ１１４により出力された復号された第２表現により示されるように、すなわち、第２セットの第２スペクトル部に関する情報を使って、スペクトル包絡線整形処理、またはその他の手順を実行する。復号化された第１セットの第１スペクトル部と、線１１７上の周波数再生器１１６の出力に示される再構築された第２セットのスペクトル部とは、スペクトル時間変換器１１８に入力される。このスペクトル時間変換器１１８は、第１復号表現と再構築された第２スペクトル部とを、所定の高サンプリングレートを有する時間表現１１９に変換するよう構成される。
図２ｂは、図１ａのエンコーダの実施形態を示す。オーディオ入力信号９９は、図１ａの時間スペクトル変換器１００に対応する解析フィルタバンク２２０に入力される。そして、ＴＮＳブロック２２２において、時間ノイズ整形処理が実行される。したがって、図２ｂのブロック音調マスク２２６に対応する図１ａのスペクトル解析器１０２は、時間ノイズ整形／時間タイル整形処理が適用されないときには、全スペクトル値となり、図２ｂのブロック２２２に示すＴＮＳ処理が適用されるときには、スペクトル残差値となる。２チャンネル信号または多チャンネル信号の場合、ジョイントチャンネル符号化２２８が追加的に実施されてもよく、図１ａのスペクトル領域エンコーダ１０６には、ジョイントチャンネル符号化ブロック２２８が含まれてもよい。さらに、可逆データ圧縮を実施するエントロピー符号器２３２が設けられ、これは、図１ａのスペクトル領域エンコーダ１０６の一部となる。
スペクトル解析器／音調マスク２２６は、ＴＮＳブロック２２２の出力を、コア帯域と、第１セットの第１スペクトル部１０３に対応する音調成分と、図１ａの第２セットの第２スペクトル部１０５に対応する残留成分とに分別する。ＩＧＦパラメータ抽出符号化手順として表示されるブロック２２４は、図１ａのパラメトリック符号器１０４に対応し、ビットストリーム多重変換装置２３０は、図１ａのビットストリーム多重変換装置１０８に対応する。
解析フィルタバンク２２２がＭＤＣＴ（変更離散コサイン変換フィルタバンク）として実施され、ＭＤＣＴを使って、変更離散コサイン変換を周波数解析ツールとして機能させて、信号９９を時間−周波数領域に変換することが好ましい。
スペクトル解析器２２６は、音調マスクを適用することが好ましい。この音調マスク推定段階は、信号中のノイズ様成分から音調成分を分別するのに用いられる。これによって、コア符号器２２８が全ての音調成分を心理音響モジュールによって符号化することができる。音調マスク推定段は、いくつもの異なる方法によって実施されてもよく、音声／オーディオ符号化（非特許文献８，９）用の正弦およびノイズモデリング、または非特許文献１０に記載されるＨＩＬＮモデル系オーディオコーダにおいて用いられる正弦トラック推定段と機能的に同様に実施されるのが好ましい。実施形態としては、生死軌跡を維持する必要なく簡単に実施できることが好ましいが、その他の音調またはノイズ検知器を用いてもよい。
ＩＧＦモジュールは、ソース領域と対象領域との間に存在する類似性を計算する。対象領域は、ソース領域からのスペクトルにより表現される。ソース領域と対象領域との類似点を測ることは、クロス相関性アプローチを用いて行われる。対象領域は、非オーバーラップ周波数タイルｎＴａｒに分解される。対象領域における全てのタイルについて、固定開始周波数からソースタイルｎＳｒｃが整形される。これらのソースタイルは、０および１の間の要素によってオーバーラップし、ここで０とは０％のオーバーラップを、１とは１００％のオーバーラップを意味する。これらのソースタイルのそれぞれは、対象タイルに最もマッチするソースタイルを見つけるための様々な遅延において、対象タイルと相関性を有する。最もマッチするタイルの数は、ｔｉｌｅＮｕｍ［ｉｄｘｔａｒ］に記憶され、対象と最も相関性を有する遅延は、ｘｃｏｒｒｌａｇ［ｉｄｘｔａｒ］［ｉｄｘｓｒｃ］に記憶され、相関性のサインは、ｘｃｏｒｒｓｉｇｎ［ｉｄｘｔａｒ］［ｉｄｘｓｒｃ］に記憶される。相関性が極めて否定的な場合には、ソースタイルは、デコーダにおけるタイル充填処理の前に、−１を乗じる必要がある。ＩＧＦモジュールはまた、音調成分が音調マスクを使って保存されていないため、スペクトルにおける音調成分を上書きしないよう注意する必要がある。帯域側のエネルギパラメータは、対象領域のエネルギを蓄積するのに用いられ、これによってスペクトルを正確に再構築することができる。
この方法は、正弦曲線間のギャップがソース領域からの最も整合する「整形ノイズ」により充填される一方、マルチ音調信号の倍音グリットがコア符号器によって保存されるという点で、伝統的なＳＢＲ（非特許文献１）に対して利点がある。ＡＳＲ（精密スペクトル置換）（非特許文献２−４）と比べて、このシステムの別の利点としては、デコーダにおいて信号の重要部分を作り出する信号合成段がないということが挙げられる。その代わり、この作業はコア符号器によって実行される。よって、スペクトルの重要性分を保存できる。提案システムの別の利点としては、その機能が提案する継続的なスケーラビリティが挙げられる。全てのタイルについて単にｔｉｌｅＮｕｍ［ｉｄｘｔａｒ］とｘｃｏｒｒｌａｇ＝０とを使用することは、総粒度マッチングと称され、低ビットレートに使用することができる。一方、可変的なｘｃｏｒｒｌａｇを全てのタイルに使用すると、対象スペクトルとソーススペクトルの整合性がより良くなる。
さらに、トリリングやミュージカルノイズなどの周波数領域アーティファクトを除去するタイル選択安定化技術が提案されている。
ステレオチャンネルのペアの場合には、追加的ジョイントステレオ処理が適用される。この処理は必要であり、というのも、ある目標レンジにおいては、信号が高い相関性を有する定位音源である場合があるためである。この特定の領域について選択された音源領域があまり相関を有しない場合には、目標領域についてエネルギが整合していても、相関しない音源領域によって空間像が悪化する場合がある。エンコーダは、一般的にはスペクトル値のクロス相関処理をして、各目標領域のエネルギ帯域を解析して、もし所定の閾値を超過している場合には、このエネルギ帯域にジョイントフラグを設定する。デコーダにおいて、左右チャンネルのエネルギ帯域は、このジョイントステレオフラグが設定されていない場合、個別に処理される。ジョイントステレオフラグが設定されている場合、両方のエネルギおよびパッチングがジョイントステレオ領域において実行される。ＩＧＦ領域におけるジョイントステレオ情報は、コア符号処理におけるジョイントステレオ情報と同様に信号化され、予測の場合には、予測の方向性がダウンミックスからの残差なのか、それともその逆なのか、を示すフラグが含まれる。
エネルギは、Ｌ／Ｒ領域の送信済エネルギから計算することができる。
ｍｉｄＮｒｇ［ｋ］＝ｌｅｆｔＮｒｇ［ｋ］＋ｒｉｇｈｔＮｒｇ［ｋ］；
ｓｉｄｅＮｒｇ［ｋ］＝ｅｆｔＮｒｇ［ｋ］−ｒｉｇｈｔＮｒｇ［ｋ］；
ここで、ｋは変形領域における周波数指数である。
その他の解決としては、ジョイントステレオが積極的な帯域については、ジョイントステレオ領域において直接エネルギを計算および送信し、デコーダ側にける追加的エネルギ変形を不要とすることが挙げられる。
ソースタイルは、常に、ミッド／サイドマトリック：
ｍｉｄＴｉｌｅ［ｋ］＝０．５・（ｌｅｆｔＴｉｌｅ［ｋ］＋ｒｉｇｈｔＴｉｌｅ［ｋ］
ｓｉｄｅＴｉｌｅ［ｋ］＝０．５・（ｌｅｆｔＴｉｌｅ［ｋ］−ｒｉｇｈｔＴｉｌｅ［ｋ］
エネルギ調整：
ｍｉｄＴｉｌｅ［ｋ］＝ｍｉｄＴｉｌｅ［ｋ］＊ｍｉｄＮｒｇ［ｋ］；
ｓｉｄｅＴｉｌｅ［ｋ］＝ｓｉｄｅＴｉｌｅ［ｋ］＊ｓｉｄｅＮｒｇ［ｋ］；
ジョイントステレオ→ＬＲ変換：
何ら追加的予測パラメータが符号化されていない場合：
ｌｅｆｔＴｉｌｅ［ｋ］＝ｍｉｄＴｉｌｅ［ｋ］＋ｓｉｄｅＴｉｌｅ［ｋ］
ｒｉｇｈｔＴｉｌｅ［ｋ］＝ｍｉｄＴｉｌｅ［ｋ］−ｓｉｄｅＴｉｌｅ［ｋ］
追加的な予測パラメータが必要な場合で、信号化された方向性がミッドからサイドの場合：
ｓｉｄｅＴｉｌｅ［ｋ］＝ｓｉｄｅＴｉｌｅ［ｋ］−ｐｒｅｄｉｃｔｉｏｎＣｏｅｆｆ・ｍｉｄＴｉｌｅ［ｋ］
ｌｅｆｔＴｉｌｅ［ｋ］＝ｍｉｄＴｉｌｅ［ｋ］＋ｓｉｄｅＴｉｌｅ［ｋ］
ｒｉｇｈｔＴｉｌｅ［ｋ］＝ｍｉｄＴｉｌｅ［ｋ］−ｓｉｄｅＴｉｌｅ［ｋ］
信号化された方向性がサイドからミッドの場合：
ｍｉｄＴｉｌｅ１［ｋ］＝ｍｉｄＴｉｌｅ［ｋ］−ｐｒｅｄｉｃｔｉｏｎＣｏｅｆｆ・ｓｉｄｅＴｉｌｅ［ｋ］
ｌｅｆｔＴｉｌｅ［ｋ］＝ｍｉｄＴｉｌｅ１［ｋ］−ｓｉｄｅＴｉｌｅ［ｋ］
ｒｉｇｈｔＴｉｌｅ［ｋ］＝ｍｉｄＴｉｌｅ１［ｋ］＋ｓｉｄｅＴｉｌｅ［ｋ］
に従って生成される。
この処理によって、相関性の高い目標領域と定位目標領域とを再生するのに用いられたタイルから生じた左右チャンネルが、たとえ音源領域が相関を有しないとしても、当該領域のステレオイメージを保存し、相関性を有する定位音源を示すよう確保できる。
つまり、ビットストリームにおいては、例えばＬ／ＲまたはＭ／Ｓのいずれを総合ジョイントステレオ符号化処理に用いるべきかを示すジョイントステレオフラグが送信される。デコーダにおいては、まずコア帯域についてジョイントステレオフラグの示す通り、コア信号が復号される。第二に、コア信号は、Ｌ／ＲおよびＭ／Ｓ表現の両方に蓄積される。ＩＧＦタイル充填について、ソースタイル表現が選択され、ＩＧＦ帯域に関するジョイントステレオ情報の示す対象タイル表現に合うようされる。
時間ノイズ整形（ＴＮＳ）は、標準技術であり、ＡＡＣ（非特許文献１１−１３）の一部である。ＴＮＳは、知覚符号化の基本スキームを延長したものと考えられ、フィルタバンクと量子化段の間に、オプションとしての処理工程を挿入する。ＴＮＳモジュールのメイン作業は、過渡的な信号の時間的マスキング領域において、生成された量子化ノイズを隠すことであり、これによって、効率的な符号化スキームとなる。まず、ＴＮＳは、例えばＭＤＣＴのような変形領域において、「前方予測」を用いて予測係数セットを算出する。そして、これらの係数は、信号の時間的包絡線をフラット化するのに用いられる。量子化によってＴＮＳフィルタスペクトルが影響を受けるため、量子化ノイズも一時的にフラットである。デコーダ側において、逆ＴＮＳフィルタリングを適用することで、量子化ノイズがＴＮＳフィルタの時間的包絡線に従って整形され、よって量子化ノイズがその過渡性によりマスクされる。
ＩＧＦは、ＭＤＣＴ表現に基づく。効率的符号化のためには、好ましくは、約２０ｍｓの長ブロックを用いなければならない。このような長ブロック内における信号が過渡を含む場合、ＩＧＦスペクトル帯域において、タイル充填により、可聴のプリ・ポストエコーが発生する。図７ｃは、過渡開始前の、ＩＧＦによる一般的なプリエコー効果を示す。左側において、オリジナル信号のスペクトル写真が示され、右側において、ＴＮＳフィルタリングなしで拡張された帯域幅のスペクトル写真が示される。
このプリエコー効果は、ＩＧＦ環境においてＴＮＳを用いることにより低減される。ここでＴＮＳは、デコーダにおけるスペクトル再生がＴＮＳ残差信号に対して実行されるため、時間タイル整形ツール（ＴＴＳ）として用いられている。必要となるＴＴＳ予測係数は、通常通り、エンコーダ側における全スペクトルを用いて計算され、適用される。ＴＮＳ／ＴＴＳ開始および停止周波数は、ＩＧＦツールのＩＧＦ開始周波数ｆＩＧＦｓｒａｒｔによって影響されない。伝統的なＴＮＳと比較して、ＴＴＳ停止周波数は、ｆＩＧＦｓｒａｒｔよりも高いＩＧＦツールの停止周波数まで増加される。デコーダ側において、ＴＮＳ／ＴＴＳ係数が再び全スペクトルにて適用される。つまり、コアスペクトル＋再生スペクトル＋音調マップからの音調成分である（図７ｅを参照）。ＴＴＳの適用は、再生スペクトルの時間包絡線がオリジナル信号の包絡線と整合するよう形成するのに必要である。したがって、示されたプリエコーは低減される。さらに、ＴＮＳには通常のことではあるが、それによってｆＩＧＦｓｒａｒｔより下の信号における量子化ノイズが依然として形成される。
伝統的なデコーダにおいては、オーディオ信号に対するスペクトルパッチングは、パッチ境界におけるスペクトル相関を害する。それによって、分散が生じ、オーディオ信号の時間包絡線が害される。よって、残差信号に対してＩＧＦタイル充填を実施する別のメリットとしては、整形フィルタを適用した後、タイル境界がシームレスに相関し、信号をより忠実に時間的に再生することができることが挙げられる。
本発明に係るエンコーダにおいては、ＴＮＳ／ＴＴＳフィルタリング処理、音調マスク処理およびＩＧＦパラメータ予測処理を経たスペクトルは、音調成分を除き、ＩＧＦ開始周波数より上の信号は存在しない。まばらなスペクトルが今、算術符号化および予測符号化の原則によって、コア符号器により符号化される。これらの符号化成分は、信号のビットとともに、オーディオのビットストリームを形成する。
図２ａは、対応するデコーダの実施形態を示す。符号化オーディオ信号に相当する図２ａのビットストロームは、図１ｂであればブロック１１２および１１４に接続される多重分離装置／デコーダに入力される。ビットストリーム多重分離装置は、入力オーディオ信号を、図１ｂの第１符号化表現１０７と図１ｂの第２符号化表現１０９とに分離する。第１セットの第１スペクトル部を有する第１符号化表現は、図１ｂのスペクトル領域デコーダ１１２に対応するジョイントチャンネル復号ブロック２０４に入力される。第２符号化表現は、図２ａに図示されないパラメトリックデコーダ１１４に入力され、そして図１ｂの周波数再生器１１６に対応するＩＧＦブロック２０２に入力される。周波数再生に必要な第１セットの第１スペクトル部は、線２０３を経てＩＧＦブロック２０２に入力される。さらに、ジョイントチャンネル復号処理２０４の後、音調マスクブロック２０６において、音調マスク２０６の出力がスペクトル領域符号器１１２の出力と対応するよう、特定のコア復号処理が適用される、そして、合成器２０８による合成が実行され、合成器２０８の出力がフルレンジのスペクトルを有するが、それでいて、ＴＮＳ／ＴＴＳフィルタ領域内にあるというフレーム構成が作成される。そして、ブロック２１０において、逆ＴＮＳ／ＴＴＳ処理が、線１０９を介して供給されるＴＮＳ／ＴＴＳフィルタ情報を用いて実行される。つまり、好ましくは、ＴＴＳサイド情報が、スペクトル領域エンコーダ１０６によって生成される第１符号化表現に含まれる。スペクトル領域エンコーダ１０６は、例えば、直接的なＡＡＣまたはＵＳＡＣコアエンコーダであってもよく、あるいは第２符号化表現に含まれてもよい。ブロック２１０の出力において、最大周波数までの全スペクトルを得ることができ、これはオリジナル入力信号のサンプリングレートによって定められるフルレンジの周波数である。そして、スペクトル／時間変換が合成フィルタバンク２１２において実行され、オーディオ出力信号が最終的に得られる。
図３ａは、スペクトル表現を表す概略図である。スペクトルは、スケールファクタ帯域ＳＣＢに分割され、図３ａにおける図示例においては、７つのスケールファクタ帯域ＳＣＢ１〜ＳＣＢ７がある。スケールファクタ帯域は、ＡＡＣ規格に定められるＡＡＣスケールファクタ帯域であってもよく、図３ａにその概略が図示される通り、上側の周波数まで増加する帯域を有してもよい。スペクトルの当初から（つまり低周波数から）インテリジェントギャップ充填を実行するのではなく、ＩＧＦ手順を３０９にて図示するＩＧＦ開始周波数で開始することが好ましい。したがって、コア周波数帯域は、最低周波数からＩＧＦ開始周波数まで存在する。ＩＧＦ開始周波数より上においては、スペクトル解析を適用して、高解像度のスペクトル成分３０４、３０５、３０６、３０７（第１セットの第１スペクトル部）を、第２セットの第２スペクトル部の示す低解像度成分から分離する。図３ａは、スペクトル領域エンコーダ１０６またはジョイントチャンネル符号器２２８に例示的に入力されるスペクトルを示し、つまりコアエンコーダがフルレンジで機能しているが、相当量のスペクトル値０を符号化している。これらのスペクトル値０は、ゼロに量子化されるか、または量子化の前または後にゼロに設定される。いずれにせよ、エンコーダは、フルレンジで動作し、スペクトルがその通り表現されているかのように、すなわち、いずれのインテリジェントギャップ充填についても、第２セットの第２スペクトル部の符号化が低スぺクトル解像度で符号化されていることも、知る必要なしに動作する。
好適には、高解像度は、ＭＤＣＴ線のようなスペクトル線の線単位の符号化によって定義づけられ、一方、第２解像度または低解像度は、例えばいくつもの周波数線を対象とするスケールファクタ帯域について、そのスケールファクタ帯域あたりの単一スペクトル値のみを計算することにより定義づけられる。したがって、第２低解像度は、スペクトル解像度については、一般にＡＡＣやＵＳＡＣコアエンコーダなどのコアエンコーダによって適用される線単位符号化によって定義される第１または高解像度よりも、ずっと低い。
スケールファクタまたはエネルギ計算について、その状況が図３ｂに図示される。エンコーダがコアエンコーダであるという事実、および各帯域において第１セットのスペクトル部の成分が含まれ得る（ただし、必ずしも含まれる必要はない）という事実に伴い、コアエンコーダは、ＩＧＦ開始周波数３０９より下のコア範囲のみならず、ＩＧＦ開始周波数より上の最大周波数ｆＩＧＦｓｔｏｐ（これはサンプリング周波数、つまりｆｓ／２の半分以下である）に達するまでの帯域について、ＩＧＦ開始周波数各帯域についてスケールファクタを計算する。よって、本実施形態において、図３ａにおける符号化音調部３０２、３０４、３０５、３０６、３０７は、スケールファクタＳＣＢ１〜ＳＣＢ７とともに、高解像度スペクトルデータに対応する。低解像度スペクトルデータは、ＩＧＦ開始周波数から開始して計算され、スケールファクタＳＦ４〜ＳＦ７とともに送信される、エネルギ情報値Ｅ１、Ｅ２、Ｅ３、Ｅ４に対応する。
特に、コアエンコーダが低ビットレート状況下にある場合、コア帯域、つまりＩＧＦ開始周波数よりも低い周波数（スケールファクタ帯域ＳＣＢ１〜ＳＣＢ３）において、追加的ノイズ充填手順が適用されてもよい。ノイズ充填においては、ゼロに量子化されたいくつもの近接するスペクトル線が存在する。デコーダ側においては、これらのゼロに量子化されたスペクトル値は再度合成され、この合成されたスペクトル値について、図３ｂに３０８として示されるＮＦ２などのノイズ充填エネルギを用いて、その大きさが調整される。特に、ＵＳＡＣのように、スケールファクタについて絶対ベースまたは相対ベースで設定され得るノイズ充填エネルギは、ゼロに量子化されたスペクトル値のセットのエネルギに対応する。これらのノイズ充填スペクトル線はまた、第３セットの第３スペクトル部と考えられ、直接的なノイズ充填合成により、ソースレンジおよびエネルギ情報値Ｅ１、Ｅ２、Ｅ３、Ｅ４からのスペクトル値を用いた周波数タイルを再構築するためのその他の周波数からの周波数タイルを用いた周波数再生に依拠する周波数タイルＩＧＦ手順を適用せずに、再生される。
エネルギ情報が計算される帯域は、スケールファクタ帯域と一致することが好ましい。別の実施形態においては、例えばスケールファクタ帯域４および５について単一のエネルギ情報値のみが送信されるよう、エネルギ情報値のグループ分けが適用されるが、この実施形態においても、グループ分けされた再構築帯域は、スケールファクタ帯域の境界と一致する。もし異なる帯域分別が適用された場合には、所定の再計算または同期化計算を適用してもよく、所定の実施形態によってはこれが合理的である。
図１ａのスペクトル領域エンコーダ１０６は、図４ａに図示されるような心理音響的に駆動されるエンコーダであることが好ましい。一般的には、例えばＭＰＥＧ２／４のＡＡＣ規格またはＭＰＥＧ１／２レイヤ３規格に示される通り、スペクトル範囲（図４ａの４０１）に変換された後の符号化対象のオーディオ信号は、スケールファクタ算出器４００に転送される。スケールファクタ算出器は、心理音響モデルによる制御により、量子化対象のオーディオ信号をさらに受信するか、またはＭＰＥＧ１／２レイヤ３規格またはＭＰＥＧＡＡＣ規格の通り、オーディオ信号の復号スペクトル表現を受信する。心理音響モデルは、各スケールファクタ帯域について、心理音響閾値を表現するスケールファクタを算出する。さらに、スケールファクタは、公知の内側および外側反復ループの連携により、またはその他適切なエンコーディング手順により、所定のビットレート条件が満たされるよう調整される。そして、量子化対象スペクトル値と算出スケールファクタとが量子化処理器４０４に入力される。直接的なオーディオ符号化動作においては、量子化対象スペクトル値は、スケールファクタによって重み付けされ、この重み付けされたスペクトル値が、一般的に上位の振幅範囲まで圧縮する機能を有する固定量子化装置に入力される。そして、量子化処理器の出力においては、エントロピーエンコーダに転送される量子化インデックスが確かに存在する。一般的に、このエントロピーエンコーダは、近接する周波数値のためのゼロ量子化インデックスまたは当該分野におけるいわゆるゼロ値「ラン」のために、特定のかつ相当に効率のよい符号機能を有する。
しかしながら、図１ａのオーディオエンコーダにおいては、量子化処理器は、一般的に、スペクトル解析器から第２スペクトル部に関する情報を受信する。したがって、量子化処理器４０４は、その出力において、スペクトル解析器１０２によって識別された第２スペクトル部がゼロであるか、またはエンコーダもしくはデコーダによってゼロ表現であると認められた表現（特にスペクトルにゼロ値の「ラン」が存在する場合に、相当に効率的に符号化できる表現）を有するよう確保する。
図４ｂは、量子化処理器の実施形態を図示する。ＭＤＣＴスペクトル値は、ゼロ設定ブロック４１０に入力することができる。そして、ブロック４１２におけるスケールファクタによる重み付けが実施される前に、第２スペクトル部が既にゼロに設定される。追加的実施形態においては、ブロック４１０が設けられず、重み付けブロック４１２の後に、ブロック４１８においてゼロ設定の連携が実施される。さらに別の実施形態においては、量子化ブロック４２０における量子化の後に、ゼロ設定ブロック４２２においてゼロ設定手順が実施されてもよい。この実施形態においては、ブロック４１０および４１８は存在しない。概して、ブロック４１０、４１８および４２２のうち少なくとも１つが、具体的な実施形態に応じて設けられる。
そして、ブロック４２２の出力において、図３ａに図示されるものに対応する量子化スペクトルが得られる。そして、この量子化スペクトルは、図２ｂにおける２３２のようなエントロピー符号器に入力される。このエントロピー符号器は、例えばＵＳＡＣ規格に定義されるハフマン符号器または演算符号器であってもよい。
ゼロ設定ブロック４１０、４１８および４２２は、互いに交互に、または並列に設けられるが、スペクトル解析器４２４によって制御される。スペクトル解析器は、公知の音調検知器を有することが好ましく、またはスペクトルを高解像度で符号化される成分と低解像度で符号化される成分とに分別することができる異なる種の検知器を有することが好ましい。その他スペクトル解析器において実行されるアルゴリズムは、異なるスペクトル部に関する解像度要件を、スペクトル情報または関連メタデータに応じて決定する音声活動検出器、ノイズ検出器、音声検出器、その他検出器であってもよい。
図５ａは、例えばＡＡＣやＵＳＡＣにおいて実施される、図１ａの時間スペクトル変換器１００の好ましい実施形態を図示する。時間スペクトル変換器１００は、過渡検知器５０４によって制御される窓回路５０２を有する。過渡検知器５０４が過渡を検知すると、長い窓から短い窓への切り替えが窓回路５０２に対して指示される。そして、窓回路５０２は、オーバーラップしているブロックについて、各窓フレームが一般的に２０４８値のような２つのＮ値を有する場合には、窓フレームを計算する。その後、ブロック変換器５０６内での変換が実施され、このブロック変換器が追加的デシメーションを提供する。そして、デシメーション／変換の結合が実行され、ＭＤＣＴスペクトル値などのＮ値を有するスペクトルフレームが得られる。そのため、長窓動作については、ブロック５０６の入力におけるフレームが、例えば２０４８値のような２つのＮ値を有し、そしてスペクトルフレームが１０２４値を有する。しかしながら、その後、長窓と比較して各短ブロックが１／８の窓時間領域値しか有さず、かつ各スペクトルブロックが長ブロックと比較して１／８のスペクトル値しか有さない場合に８つの短ブロックが実行されたときには、短ブロックに対する切替が実行される。そのため、このデシメーションが窓回路の５０％オーバーラップ動作と結合したとき、スペクトルは、時間領域オーディオ信号９９のクリティカルサンプルバージョンである。
続いて、図１ｂの周波数再生器１１６およびスペクトル時間変換器１１８の特定の実施形態、または図２ａのブロック２０８および２１２の結合動作の具体的実施形態を示す図５ｂを参照する。図５ｂにおいて、特定の再構築帯域が、図３ａのスケールファクタ帯域６のように考慮される。この再構築帯域における第１スペクトル部（つまり図３ａの第１スペクトル部３０６）は、フレーム構築／調整ブロック５１０に入力される。その上、スケールファクタ帯域６のための再構築第２スペクトル部も、フレーム構築器／調整器５１０に入力される。また、図３ｂにおけるＥ３のような、スケールファクタ帯域６のためのエネルギ情報もまた、ブロック５１０に入力される。再構築帯域における再構築第２スペクトル部は、ソースレンジを使って周波数タイル充填により既に生成されており、この再構築帯域が対象レンジに対応する。ここで、フレームのエネルギ調整を実行し、例えば、図２ａの結合器２０８の出力において得られる、Ｎ値を有する完全な再構築フレームを最終的に得る。そして、ブロック５１２において、逆ブロック変換／補間処理を実行して、例えば、ブロック５１２の入力における１２４スペクトル値について、２４８時間領域値を得る。その後、ブロック５１４において合成窓処理が実行され、これもまた、符号化されたオーディオ信号においてサイド情報として送信される長窓／短窓指示により制御される。そして、ブロック５１６において、前回時間フレームとのオーバーラップ／加算処理が実行される。各新規の時間フレームが２Ｎ値の場合、Ｎの時間領域値が最終的に出力されるよう、ＭＤＣＴは、５０％オーバーラップ処理を適用することが好ましい。５０％オーバーラップ処理によってクリティカルサンプルが提供され、あるフレームから次のフレームへの継続的クロスオーバーが、ブロック５１６におけるオーバーラップ／加算処理により提供されるという事実からすると、５０％オーバーラップ処理が特に好ましい。
図３ａの３０１に示す通り、ノイズ充填処理は、ＩＧＦ開始周波数より下で追加的に適用されるのみならず、図３ａのスケールファクタ帯域６と合致する対象再構築帯域などのような、ＩＧＦ開始周波数より上においても追加的に適用されてもよい。そして、ノイズ充填スペクトル値も、フレーム構築器／調整器５１０に入力されてもよく、ノイズ充填スペクトル値がこのブロック内にて調整されてもよい。あるいは、ノイズ充填スペクトル値は、フレーム構築器／調整器５１０に入力されるよりも前に、ノイズ充填エネルギを用いて既に調整されていてもよい。
好ましくは、ＩＧＦ処理（つまりその他の部分からのスペクトル値を使った周波数タイル充填処理）は、全スペクトルに対して適用されてもよい。したがって、スペクトルタイル充填処理は、ＩＧＦ開始周波数より上の高帯域のみならず、低帯域においても適用されてもよい。また、周波数タイル充填によらないノイズ充填もまた、ＩＧＦ開始周波数より下のみならず、ＩＧＦ開始周波数より上でも適用されてもよい。但し、ノイズ充填処理がＩＧＦ開始周波数よりも下に限定され、かつ図３ａに示される通り、周波数タイル充填処理がＩＧＦ開始周波数よりも上に限定されているときに、高品質および高効率のオーディオエンコーディングが得られることが判明している。
対象タイル（ＴＴ）（ＩＧＦ開始周波数より大きい周波数を有する）は、フルレート符号器のスケールファクタ帯域境界に結合させることが好ましい。ソースタイル（ＳＴ）は、ここから情報を得られるが、ＩＧＦ開始周波数よりも低周波数であり、スケールファクタ帯域境界と結合していない。ＳＴの大きさは、関連するＴＴの大きさに対応すべきである。これを以下の例を使って示す。ＴＴ［０］は、１０ＭＤＣＴビンの長さを有する。これはまさに、２つの後続のＳＣＢの長さ（例えば４＋６）に相当する。そして、ＴＴ［０］と相関性を有する可能性のある全てのＳＴもまた、１０ビンの長さを有する。ＴＴ［０］に近接する第２対象タイルＴＴ［１］は、１５ビンの長さを有する（７＋８の長さを有するＳＣＢ）。そして、そのＳＴは、ＴＴ［０］用の１０ビンではなく、１５ビンの長さを有する。
対象タイルの長さを有するＳＴについて、ＴＴを見つけられない場合が生じたとき（例えば、ＴＴの長さが利用可能なソースレンジよりも大きいとき）には、相関性は計算されず、対象タイルＴＴが完全に充填されるまで、ソースレンジが何度もこのＴＴにコピーされる（このコピーは、第２コピーの最も低い周波数を有する周波数線が、第１コピーの最も高い周波数を有する周波数線の直後に周波数的に来るよう、次から次になされる。）。
そして、図１ｂの周波数生成器１１６または図２ａのＩＧＦブロック２０２のさらなる好適実施形態を示す図５ｃを参照する。ブロック５２２は、対象帯域ＩＤのみならず、さらにソース帯域ＩＤをも受信する周波数タイル生成器である。例示的に、エンコーダ側において、図３ａのスケールファクタ帯域３がスケールファクタ帯域７の再構築にかなり適していると決定されている。したがって、ソース帯域ＩＤは２であり、対象帯域ＩＤは７である。この情報に基づき、周波数タイル生成器５２２は、スペクトル成分５２３の生の第２部を生成するために、コピー処理や倍音タイル充填処理、その他タイル充填処理を適用する。スペクトル成分の生の第２部は、第１セットの第１スペクトル部に含まれる周波数解像度と同じ周波数解像度を有している。
そして、図３ａの３０７などのような再構築帯域の第１スペクトル部は、フレーム構築器５２４に入力され、生の第２部５２３もフレーム構築器５２４に入力される。その後、再構築されたフレームは、ゲイン係数算出器５２８によって算出された再構築帯域のゲイン係数を利用して、調整器５２６により調整される。ただし、重要な点としては、フレームにおける第１スペクトル部は、調整器５２６による影響を受けず、再構築フレームのための生の第２部のみが調整器５２６の影響を受けることである。このため、ゲイン係数算出器５２８は、ソース帯域または生の第２部５２３を解析し、さらに、スケールファクタ帯域７が想定される場合には、調整器５２６によって出力される調整後フレームのエネルギがエネルギＥ４を有するよう、再構築帯域における第１スペクトル部を追加的に解析して、正しいゲイン係数５２７を最終的に見出す。
この意味では、ＨＥ−ＡＡＣと比べて、本発明による周波数再構築の正確性が高いことを評価することが非常に重要である。これは、図３ａにおけるスケールファクタ帯域７について説明される。図１３ａに図示される従来のエンコーダは、高解像度で符号化されるべきスペクトル部３０７を「欠落倍音」として検知する。そして、このスペクトル成分のエネルギが、スケールファクタ帯域７などの再構築帯域に関するスペクトル包線絡情報とともに、デコーダに送信される。その後、デコーダが欠落倍音を再生する。しかしながら、欠落倍音３０７が図１３ａに示す従来のデコーダによって再構築されるスペクトル値が、再構築周波数３９０によって示される周波数における帯域７の中央に存在する。よって、本発明は、図１３ｄの従来のデコーダによって生じる周波数エラー３９１を避けることができる。
一実施形態において、スペクトル解析器を実行して、第１スペクトル部と第２スペクトル部の類似性を算出し、算出された類似性に基づき、再構築範囲の第２スペクトル部について、この第２スペクトル部とできる限りマッチする第１スペクトル部を決定する。そして、可変的ソース範囲／対象範囲の実行において、パラメトリックコーダは、第２符号化表現において、各対象範囲について整合する対象範囲を表現する整合情報を追加的に導入する。デコーダ側において、この情報は、図５ｃの周波数タイル生成器５２２によって用いられる。図５ｃは、ソース帯域ＩＤおよび対象帯域ＩＤに基づく生の第２部５２３の生成を図示する。
さらに、図３ａに示す通り、スペクトル解析器は、最大限の解析周波数まで、スペクトル表現を解析するよう構成される。この最大限の解析周波数は、サンプリング周波数の半分を少しだけ下回り、少なくともサンプリング周波数の１／４かまたは一般的にはこれより高い方が好ましい。
図示される通り、エンコーダは、低解像度処理をすることなく動作し、またデコーダは、高解像度処理をすることなく動作する。つまり、スペクトル領域オーディオコーダは、オリジナルの入力オーディオ信号のサンプリングレートにより定義されるナイキスト周波数を有するスペクトル表現を生成するよう構成される。
さらに、図３ａに図示される通り、スペクトル解析器は、ギャップ充填開始周波数から開始し、スペクトル表現に含まれる最大周波数に示される最大周波数で終了するスペクトル表現を解析するよう構成される。そして、最大周波数からギャップ充填開始周波数までのスペクトル部が第１セットのスペクトル部に属し、例えば３０４、３０５、３０６、３０７などのギャップ充填周波数より上の周波数値を有するさらなるスペクトル部が、第１セットの第１スペクトル部に追加的に含まれている。
上述の通り、スペクトル領域オーディオデコーダ１１２は、第１復号表現のスペクトル値によって示される最大周波数が、サンプリングレートを有する時間表現に含まれる最大周波数と等しくなるよう構成され、第１セットの第１スペクトル部における最大周波数のスペクトル値が、ゼロまたはゼロとは異なる値である。いずれにせよ、スペクトル成分の第１セットにおけるこの最大周波数については、スケールファクタ帯域のスケールファクタが存在する。このスケールファクタは、図３ａおよび３ｂの関係で議論された通り、このスケールファクタ帯域における全てのスペクトル値がゼロに設定されたか否かを問わず、生成され送信される。
したがって、本発明は、ノイズ置換やノイズ充填（これらの技術は、ローカル信号コンテンツのようなノイズの効率的表現に特化している）などのような圧縮効率を向上させるその他のパラメータ技術について、本発明によると音調成分の正確な周波数再生が可能であるという利点を有する。今日まで、いずれの従来技術も、低帯域（ＬＦ）と高帯域（ＨＦ）における固定された演繹分割の制限のない、スペクトルギャップ充填による任意の信号コンテンツの効率的パラメトリック表現について、提案していない。
本発明のシステムの実施形態は、従来技術のアプローチを改善し、高圧縮効率を実現し、知覚的な不快感をほとんどなくし、低ビットレートであっても全オーディオ帯域を提供する。
一般的なシステムは、下記から構成される。
・全帯域コア符号化
・インテリジェントギャップ充填（タイル充填またはノイズ充填）
・音調マスクにより選択されたコア内におけるまばらな音調部分
・充填を含む、全帯域のためのジョイントステレオペア符号化
・タイル上のＴＮＳ
・ＩＧＦレンジにおけるスペクトル白色化
より効率的なシステムに向かっての第１ステップとしては、スペクトルデータを、コア符号器の１つとは異なる第２変形領域に変換する必要性を除去することである。例えばＡＡＣなどの多くのオーディオコーデックは、ＭＤＣＴを基本的な変換として用いているので、ＭＤＣＴ領域においてＢＷＥも実行できると便利である。ＢＷＥシステムの第２要件としては、音調グリッドを保存する必要性がある。これによって、ＨＦ音調成分が保存され、符号化オーディオの質が既存のシステムよりも優れたものになる。ＢＷＥスキームについて、上記の要件の両方に対処するために、インテリジェントギャップ充填（ＩＧＦ）と称される新システムが提案されている。図２ｂは、エンコーダ側における提案システムのブロック図を示し、図２ａは、デコーダ側におけるシステムを示す。
図６ａは、本発明の別の実施形態における符号化オーディオ信号を復号する装置を示す。この復号装置は、第１セットのスペクトル部の第１復号表現を生成するスペクトル領域オーディオデコーダ６０２と、スペクトル領域オーディオデコーダ６０２の下流に接続され、第１セットの第１スペクトル部に含まれる第１スペクトル部を用いて、再構築第２スペクトル部を生成する周波数再生器６０４とを備える。６０３として図示される通り、第１スペクトル部および第２スペクトル部におけるスペクトル値は、スペクトル予測残差値である。これらのスペクトル予測残差値を全スペクトル表現に変換するために、スペクトル予測フィルタ６０６が設けられる。逆予測フィルタは、第１セットの第１周波数および再構築された第２スペクトル部のスペクトル残差値を用いて、周波数に対して逆予測を行うよう構成される。スペクトル逆予測フィルタ６０６は、符号化オーディオ信号に含まれるフィルタ情報によって構成される。図６ｂは、図６ａの実施形態の詳細なる実施を図示する。スペクトル予測残差値６０３は、再構築帯域または所定の第２周波数部のための生のスペクトル値を生成する周波数タイル生成器６１２に入力される。この生データは、高解像度の第１スペクトル表現と同じ解像度を有し、スペクトル整形器６１４に入力される。スペクトル整形器は、ビットストリームに送信される包絡線情報を用いてスペクトルを整形する。このスペクトル整形されたデータは、スペクトル予測フィルタ６１６に適用される。スペクトル予測フィルタ６１６は、ビットストリームを介してエンコーダからデコーダに送信されるフィルタ情報６０７を使って、全スペクトル値のフレームを最終的に生成する。
図６ｂにおいては、エンコーダ側において、ビットストリームを介して送信され、線６０７を介して使用されるフィルタ情報が、包絡線情報を計算した後に計算されると想定されている。したがって、換言すると、図６ｂのデコーダに整合するエンコーダは、スペクトル残差値をまず算出し、そして例えば図７ａに示す通り、スペクトル残差値を用いて包絡線情報を計算する。しかしながら、エンコーダ側においてＴＮＳまたはＴＴＳフィルタリングより前に包絡線情報が算出される場合、その他の実施形態が、所定の実施形態にとっても便利である。そして、スペクトル予測フィルタ６２２は、ブロック６２４においてスペクトル整形を実施するために適用される。よって、換言すると、全スペクトル値は、スペクトル整形処理６２４が適用される前に生成される。
複素数値を有するＴＮＳフィルタまたはＴＴＳフィルタが算出されることが好ましい。これは図７ａに図示される。オリジナルオーディオ信号が複素ＭＤＣＴブロック７０２に入力される。そして、ＴＴＳフィルタ計算およびＴＴＳフィルタリングが複素領域において実行される。その後、ブロック７０６において、ＩＧＦサイド情報が算出され、符号化等のためのスペクトル解析などのその他処理も算出される。そして、ブロック７０６により生成された第１セットの第１スペクトル部は、７０８として図示される心理音響モデルにより駆動するエンコーダにより符号化され、図７ａにおいてＸ（ｋ）として示される第１セットの第１スペクトル部が得られる。これらの全てのデータは、ビットストリーム多重変換装置７１０に転送される。
デコーダ側においては、符号化されたデータが多重分離装置７２０に入力され、ＩＧＦサイド情報およびＴＴＳサイド情報と、第１セットの第１スペクトル部の符号化表現とを分別する。
そして、１つ以上の実数スペクトルから複素スペクトルを計算するために、ブロック７２４が用いられる。その後、実数スペクトルおよび複素スペクトルの両方が、ブロック７２６に入力され、再構築帯域のための第２セットの第２スペクトルにおける再構築周波数値が生成される。タイル充填された全帯域フレームが完全に入手できると、逆ＴＴＳ処理７２８が実行され、デコーダ側では、最終逆複素ＭＤＣＴ処理がブロック７３０において実行される。したがって、コア帯域または個別のタイル帯域において適用されたときのみならず、コア／タイル境界またはタイル／タイル境界に適用された場合にも、複素ＴＮＳフィルタ情報の利用によって、タイル境界処理が自動的に生成され、最終的にはタイル間のスペクトル相関が再導入される。このタイル境界に対するスペクトル相関は、周波数タイルを生成し、周波数タイルの生データに対してスペクトル包絡線調整を実施するだけでは得ることはできない。
図７ｃは、オリジナル信号（左のパネル）とＴＴＳを有しない拡張信号との比較を示す。７５０で示される上部周波数範囲において、拡張部として示される強いアーティファクトが見られる。しかしながら、これは、７５０の同じスペクトル部が図７ｃのアーティファクト関連成分７５０と比較したとき、図７ｅにおいては生じない。
本発明の実施形態またはオーディオ符号化システムは、利用可能なビットレートの主要部分を用いて、信号における知覚的に最も関連ある構造のみを、エンコーダにおいて波形符号化する。そして、それによって生じたスペクトルギャップは、オリジナルスペクトルにおおよそ近似する信号コンテンツを用いて、デコーダにおいて充填される。パラメータ駆動されるいわゆるスペクトルインテリジェントギャップ充填（ＩＧＦ）を制御するために、相当に限られたビット配分のみが、エンコーダからデコーダに送信される専用サイド情報により消費される。
オーディオ信号の蓄積または送信については、厳格なビットレート制限が適用されることが多い。過去において、符号器は、相当な低ビットレートしか利用可能でない場合には、送信オーディオ帯域を徹底的に削減することを強制されていた。今日においては、近代のオーディオコーデックは、スペクトル帯域レプリケーション（ＳＢＲ）（非特許文献１）などの帯域幅拡張（ＢＷＥ）方法を使って、広帯域信号を符号化することができる。これらのアルゴリズムは、高周波数コンテンツ（ＨＦ）のパラメトリック表現に依存している。この周波数コンテンツは、ＨＦスペクトル領域への転換（「パッチング」）およびパラメータ駆動の後処理によって、復号信号の波形符号化された低周波数部分（ＬＦ）から生成される。ＢＷＥスキームにおいては、いわゆる所定のクロスオーバー周波数より上のＨＦスペクトル領域は、スペクトルパッチングに基づき再構築されることが多い。一般的に、ＨＦ領域は、複数の近接パッチから構成され、これらの各パッチは、所定のクロスオーバー周波数よりも下のＬＦスペクトルのバンドパス（ＢＰ）から供給される。従来のシステムは、近接するサブバンド係数のセットをソースから対象領域にコピーすることにより、フィルタバンク表現内において、効率的にパッチングを実施する。
もしＢＷＥシステムがフィルタバンクまたは時間周波数変換領域において実施された場合、帯域幅拡張信号の時間的形状を制御する可能性はかなり限られている。一般的に、時間的粒度は、近接する変換窓間において用いられるホップサイズによって制限される。これによって、帯域幅拡張スペクトル範囲において、不要なプリエコーまたはポストエコーが生じ得る。
知覚的オーディオ符号化から、オーディオ信号の時間包絡線の形は、時間包絡線整形（ＴＮＳ）（非特許文献１４）のようなスペクトルフィルタリング技術を用いて復元することができることが知られている。しかしながら、従来技術から知られているＴＮＳフィルタリングは、実数スペクトルに対する実数フィルタである。実数スペクトルに対する実数フィルタは、特に基礎となる実数変換が修正離散コサイン変換（ＭＤＣＴ）の場合には、エイリアジングアーティファクトによって著しく害される恐れがある。
時間包絡線タイル整形処理は、複素修正離散コサイン変換（ＣＭＤＣＴ）などから得られたような複素数スペクトルに対して、複素フィルタリングを適用する。それによって、エイリアジングアーティファクトを避けることができる。
時間タイル整形は、以下から構成される：
・複素フィルタ係数の推定と、エンコーダにおけるオリジナル信号のスペクトルに対する平坦化フィルタの適用
・サイド情報におけるフィルタ係数の送信
・デコーダにおけるタイル充填再構築スペクトルに対する整形フィルタの適用
本発明は、オーディオ変換符号化から知られる従来技術を拡張するものである。特に、周波数方向に沿う直列予測により、時間ノイズ整形（ＴＮＳ）を拡張して、帯域幅拡張の点で変形使用できるようするものである。
さらに、本発明による帯域幅拡張アルゴリズムは、インテリジェントギャップ充填（ＩＧＦ）に基づくものであるが、信号表現として、実数のクリティカルサンプルＭＤＣＴ表現に依拠するＩＧＦ規格設定に対して、オーバーサンプルの複素数変換（ＣＭＤＣＴ）を採用するものである。ＣＭＤＣＴは、実数部分におけるＭＤＣＴ係数と、各複素数スペクトル係数の虚数部分におおけるＭＤＳＴ係数との組合せと見ることができる。
ＩＧＦの観点から新たなアプローチが記載されているが、本発明の方法は、オーディオ信号のフィルタバンク表現に基づくいかなるＢＷＥ方法とも組み合わせて用いることができる。
新規性の観点では、周波数方向に沿った直列予測は、時間ノイズ整形としては使用されず、むしろ時間タイル整形（ＴＴＳ）技術として使用される。タイル充填された信号成分が、従来の知覚的変換コーデックのＴＮＳによる量子化ノイズ整形に対して、ＴＴＳによって時間的に整形されるという事実により、このようにリネームも正当化される。
図７ａは、ＩＧＦおよび新たなＴＴＳアプローチを使用したＢＷＥエンコーダのブロック図である。
基礎となるエンコーディングスキームは、次の通り機能する。
・時間領域信号ｘ（ｎ）のＣＭＤＣＴを計算して周波数領域信号Ｘ（ｋ）を求め、
・複素数ＴＴＳフィルタを算出し、
・ＢＷＥについてサイド情報を入手して、デコーダによって再生されるべきスペクトル情報を除去し、
・心理音響モジュール（ＰＡＭ）を用いて量子化を適用し、
・データを蓄積／送信し、実数ＭＤＣＴ係数のみが送信される。
図７ｂは、対応するデコーダを示す。デコーダにおいては、エンコーダにおける処理を主に反対にしたものである。
ここで、基礎的復号スキームは、次の通り機能する。
・ＭＤＣＴ値からＭＤＳＴ係数を予測し（この処理において、１ブロック復号遅延が追加される）、ＭＤＣＴおよびＭＤＳＴを結合して、複素数ＣＭＤＣＴ係数にし、
・後処理とともにタイル充填を実行し、
・送信されたＴＴＳフィルタ係数を利用して逆ＴＴＳフィルタリングを適用し、
・逆ＣＭＤＣＴを計算する。
なお、上記の代わりに、ＴＴＳ解析とＩＧＦパラメータ予測がエンコーダにおいて一貫して反転されるのであれば、ＴＴＳ解析とＩＧＦ後処理のデコーダにおける順番を反対にしてもよい。
効率的な変換符号化のために、約２０ｍｓのいわゆる「長ブロック」を使用して、合理的な変換ゲインを達成することが好ましい。当該長ブロック内の信号が過渡を含む場合には、タイル充填によって、可聴のプリ・ポストエコーが再構築スペクトル帯域において発生する。図７ｃは、ＩＧＦにより過渡を害する典型的なプリ・ポストエコー効果を示す。図７ｃの左パネルにおいて、オリジナル信号のスペクトルが示され、右パネルにおいて、本発明のＴＴＳフィルタリングを適用せずにタイル充足された信号のスペクトルが示される。この例においては、コア帯域およびタイル充填帯域間におけるＩＧＦ開始周波数ｆＩＧＦｓｔａｒｔまたはｆＳｐｌｉｔが、ｆｓ／４に選択されている。図７ｃの右パネルにおいては、過渡を取り囲む、明確なプリ・ポストエコーを見ることでき、特に再現された周波数領域のスペクトル上端において顕著である。
ＴＴＳモジュールにおける主なタスクとしては、これらの不要な信号成分を過渡の周囲に密接した近隣に閉じ込め、人間の知覚の時間的マスク効果により支配される時間領域においてこれらを隠すことが挙げられる。したがって、ＣＭＤＣＴ領域における「前方予測」を用いて、必要なＴＴＳ予測係数を計算し適用する。
ＴＴＳとＩＧＦを組み合せてコーデックとした実施形態においては、ＩＧＦタイルが完全に１つのＴＴＳフィルタ（平坦化フィルタまたは整形フィルタ）によってフィルタされるか、またはされないよう、所定のＴＴＳパラメータとＩＧＦパラメータを並べることが重要である。したがって、全てのＴＴＳｓｔａｒｔ［．．］周波数またはＴＴＳｓｔｏｐ［．．］は、１つのＩＧＦタイルに含まれるのではなく、それぞれのｆＩＧＦ．．．周波数について並べられる。図７ｄは、３つのＴＴＳフィルタについてのＴＴＳおよびＩＧＦ処理エリアの例を示す。
ＴＴＳ停止周波数は、ＩＧＦツールの停止周波数に調整され、これはｆＩＧＦｓｔａｒｔよりも高い。もしＴＴＳが２つ以上のフィルタを用いる場合には、２つのＴＴＳフィルタ間におけるクロスオーバー周波数がＩＧＦ分割周波数とマッチするよう確保されなければならない。そうでなければ、１つのＴＴＳサブフィルタが、ｆＩＧＦｓｔａｒｔを超過して、オーバーシェイピングのように不要なアーティファクトにつながってしまう。
図７ａおよび７ｂに示す変形実施形態においては、デコーダにおいてＩＧＦエネルギが正しく調整されるか追加的注意が必要である。特に、ＴＴＳおよびＩＧＦ処理の一環で、異なる予測ゲインを有する異なるＴＴＳフィルタがソース領域に対して平坦化フィルタとして適用され、１つのＩＧＦタイルの対象スペクトル領域に対して当該平坦化フィルタの正確な対面とではない整形フィルタとして適用される場合には、注意が必要である。この場合、二つの適用ＴＴＳフィルタの予測ゲイン比は、もはや等しいものではなく、この比に基づくエネルギ調整が適用されなければならない。
別の変形実施形態においては、ＩＧＦ後処理とＴＴＳの順番が反対とされる。デコーダにおいて、これは、ＩＧＦ後処理によるエネルギ調整が、ＴＴＳフィルタリングの後に算出され、よって合成変換前の最終処理工程であることを意味する。したがって、符号化において、異なるＴＴＳフィルタゲインが１つのタイルについて適用されたか否かを問わず、最終エネルギは常に、ＩＧＦ処理によって正しく調整される。
デコーダ側においては、ＴＴＳフィルタ係数が全スペクトルに対して再び適用され、つまり再生スペクトルによって拡張されたコアスペクトルに適用される。ＴＴＳの適用は、再生されたスペクトルの時間包絡線を、オリジナル信号の包絡線と再びマッチさせるよう変形するために必要である。したがって、プリエコーが低減される。また、それによって、過去のＴＮＳにはよくあるように、ｆＩＧＦｓｔａｒｔよりも下の信号における量子化ノイズが時間的になお形成される。
伝統的な符号器のおいては、オーディオ信号に対するスペクトルパッチング（例：ＳＢＲ）は、パッチ境界におけるスペクトル相関性を害し、それによってオーディオ信号に分散がもたらされ、時間的包絡線が害される。したがって、ＩＧＦタイル充填を残差信号に対して実行する別のメリットとしては、ＴＴＳ整形フィルタの適用後、タイル境界がシームレスに相関され、より信号を忠実に時間的に再現することができる。
このように処理された信号の結果が図７ｅに示される。フィルタされないバージョン（図７ｃの右パネル）と比較すると、ＴＴＳフィルタされた信号においては、不要なプリ・ポストエコー（図７ｅの右パネル）がよく低減されている。
さらに、上述の通り、図７ａは、図７ｂのデコーダまたは図６ａのデコーダと一致するエンコーダを示す。基本的に、オーディオ信号を符号化する装置は、７０２のようなオーディオ信号をスペクトル表現に変換する時間スペクトル変換器を備える。スペクトル表現は実数スペクトル表現であってもよいし、またはブロック７０２に示すように、複素数スペクトル表現であってもよい。さらに、７０４などの周波数に対して予測を行う予測フィルタが、スペクトル残差値を生成するために設けられる。予測フィルタ７０４は、オーディオ信号から抽出される予測フィルタ情報によって定義され、図７ａに７１４で示す通り、ビットストリーム多重変換装置７１０に転送される。さらに、心理音響により駆動するオーディオエンコーダ７０４のようなオーディオ符号器が設けられる。オーディオ符号器は、スペクトル残差値の第１スペクトル部の第１セットを符号化して、第１スペクトル値の符号化された第１セットを得るよう構成される。さらに、図７ａにおいて７０６で示されるようなパラメトリック符号器が、第２セットの第２スペクトル部を符号化するために設けられる。第１セットの第１スペクトル部は、第２セットの第２スペクトル部と比較して、より高いスペクトル解像度で符号化されることが好ましい。
最後に、図７ａに図示される通り、パラメトリック符号化された第２セットの第２スペクトル部、符号化された第１セットの第１スペクトル部、および「ＴＴＳサイド情報」として図７ａにおいて７１４として示されるフィルタ情報、を含む符号化された信号を出力するため、出力インターフェイスが設けられる。
予想フィルタ７０４は、スペクトル表現のスペクトル値を使ってフィルタ情報を計算するよう構成されたフィルタ情報計算器を有することが好ましい。さらに、予想フィルタは、フィルタ情報を計算するために用いられるものと同じスペクトル表現のスペクトル値を使って、スペクトル残差値を計算するよう構成されることが好ましい。
ＴＴＳフィルタ７０４は、従来のオーディオエンコーダと同様に、ＴＮＳツールをＡＡＣ規格に従って適用するよう構成されることが好ましい。
以下、図８ａないし８ｅを参照して、２チャンネル復号処理を用いたさらなる実施形態を説明する。また、図２ａおよび２ｂにおける対応する構成（ジョイントチャンネル符号器２２８およびジョイントチャンネルデコーダ２０４）に関する記載も参照する。
図８ａは、復号２チャンネル信号を生成するオーディオデコーダを示す。このオーディオデコーダは、符号化された２チャンネル信号を復号して第１セットの第１スペクトル部を得る４つのオーディオデコーダ８０２と、第２セットの第２スペクトル部のためのパラメトリックデータと、第２スペクトル部について第１か第２の異なる２チャンネル表現のいずれかを識別する２チャンネル識別情報とを提供するパラメトリックデコーダ８０４と、を有する。さらに、周波数再生器８０６が、第１セットの第１スペクトル部と、第２部のためのパラメトリックデータと、第２部のための２チャンネル識別情報とに基づいて、第２スペクトル部を再生するよう設けられる。図８ｂは、ソースレンジおよび目標レンジにおける２チャンネル表現の異なる組合せを示す。ソースレンジが第１の２チャンネル表現にある一方、目標レンジもまた第１の２チャンネル表現にあってもよい。あるいは、ソースレンジが第１の２チャンネル表現にある一方、目標レンジが第２の２チャンネル表現あってもよい。さらに、図８ｂの第２列に示す通り、ソースレンジが第２の２チャンネル表現にある一方、目標レンジが第１の２チャンネル表現にあってもよい。最後に、ソースレンジと目標レンジの両方が、第２の２チャンネル表現にあってもよい。一実施形態においては、第１の２チャンネル表現は、２チャンネル信号の２チャンネルが個別に表現されている別個の２チャンネル表現である。そして、第２の２チャンネル表現は、２チャンネル表現における２つのチャンネルが統合的に表現された統合表現（つまり、対応するスピーカに出力するのに必要なように、別個の２チャンネル表現を再計算するために、さらなる処理または表現変換が必要な表現）である。
一実施形態において、第１の２チャンネル表現が左／右（Ｌ／Ｒ）表現である一方、第２の２チャンネル表現が統合ステレオ表現であってもよい。しかしながら、左／右またはＭ／Ｓまたはステレオ予測ではない他の２チャンネル表現が適用されてもよく、本発明において使用されてもよい。
図８ｃは、図８ａのオーディオデコーダによって実施される処理のフローチャートである。ステップ８１２において、オーディオデコーダ８０２は、ソースレンジの復号をおこなう。図３ａについて、ソースレンジは、スケールファクタ帯域ＳＣＢ１ないしＳＣＢ３を含む。さらに、各スケールファクタ帯域について２チャンネル識別情報があってもよく、スケールファクタ帯域１が例えば第１表現（例えばＬ／Ｒ）である一方、第３スケールファクタ帯域がＭ／Ｓや予想ダウンミックス／残差のような第２の２チャンネル表現であってもよい。したがって、ステップ８１２に関しては、異なる帯域について異なる表現となることがありえる。そして、ステップ８１４において、周波数再生器８０６は、周波数再生のためにソースレンジを選択するよう構成される。ステップ８１６において、周波数再生器８０６は、ソースレンジの表現をチェックし、ブロック８１８において、周波数再生器８０６は、ソースレンジの２チャンネル表現と目標レンジの２チャンネル表現とを比較する。もし両方の表現が同じであれば、周波数再生器８０６は、２チャンネル信号の各チャンネルについて個別の周波数を再生する。しかしながら、ブロック８１８に示す通り、これらの表現が同じでない場合には、信号フロー８２４が取られ、ブロック８２２がソースレンジからの他方の２チャンネル表現を計算し、この計算した２チャンネル表現を使って目標レンジを再生する。したがって、図８ａのデコーダは、第１の２チャンネル表現となっているソースレンジを使って、第２の２チャンネル識別情報を有していると示される目標レンジを再生することができる。本発明によると、同様の２チャンネル識別情報を有するソースレンジを使って、目標レンジを再生することがおのずと追加的に可能となる。さらに、本発明によると、統合２チャンネル表現を示す２チャンネル識別情報を有する目標レンジを再生することが可能となり、またこの表現を、２チャンネル信号用の対応する拡声器に蓄積または送信するのに必要となる、個別のチャンネル表現に変換することも可能となる。
２チャンネル表現の２チャンネルは、左チャンネルや右チャンネルのような二つのステレオチャンネルであってもよいことを強調しておく。しかしながら、信号は、例えば５チャンネルやサブウーファーチャンネル、またはもっと多くのチャンネルを有している多チャンネル信号であってもよい。そして、図８ａないし８ｅを参照して上述した通り、１対の２チャンネルが例えば、左チャンネルと右チャンネルの場合、左サラウンドチャンネルと右サラウンドチャンネルの場合、および中央チャンネルとＬＦＥ（サブウーファー）チャンネルの場合には、対による２チャンネル処理を実施することができる。その他の組合せを使って、例えば３つの２チャンネル処理手順により、６つの入力信号が表現されてもよい。
図８ｄは、図８ａに対応する本発明のデコーダのブロック図である。ソースレンジすなわちコアのデコーダ８３０は、オーディオデコーダ８０２に対応する。その他のブロック８３２、８３４、８３６、８３８、８４０、８４２および８４６は、図８ａの周波数再生器８０６の一部である。特に、ブロック８３２は、ブロック８３２の出力において、第１表現におけるソースレンジと第２の２チャンネル表現におけるソースレンジとの完全なセットが存在するよう、ソースレンジ表現を個別の帯域に変換する表現変換器である。これらの２つの完全なソースレンジ表現は、ソースレンジの両方の表現について、蓄積部８３４に記憶することができる。
そして、ブロック８３６は、ソースレンジＩＤを入力として使って、さらに対象レンジについて２チャンネルＩＤを入力として使用して、周波数タイル再生処理を適用する。対象レンジについての２チャンネルＩＤに基づいて、周波数タイル生成器は蓄積部８３４にアクセスして、８３５において周波数タイル生成器に入力された対象レンジに係る２チャンネルＩＤにマッチするソースレンジの２チャンネル表現を受信する。そのため、対象レンジについての２チャンネルＩＤが統合ステレオ処理を示すときには、周波数タイル生成器８３６は、蓄積部８３４にアクセスして、ソースレンジＩＤ８３３によって示されるソースレンジの統合ステレオ表現を得る。
周波数タイル生成器８３６は、この処理を各対象レンジについて実行する。周波数タイル生成器の出力は、２チャンネル識別情報によって識別されたチャンネル表現における各チャンネルが存在するようになされる。そして、包絡線調整器８３８による包絡線調整が実施される。包絡線調整は、２チャンネル識別により識別された２チャンネル領域において実行される。このため、包絡線調整パラメータが必要となり、これらのパラメータは、上述と同様の２チャンネル表現において、エンコーダからデコーダに送信される。包絡線調整器による処理対象となる対象レンジにおける２チャンネル識別情報が、当該対象レンジについて包絡線データとは異なる２チャンネル表現を示す２チャンネル識別情報を有している場合には、パラメータ変換器８４０が包絡線パラメータの必要な２チャンネル表現に変換する。例えば、ある帯域の２チャンネル識別情報が統合ステレオ符号処理を示し、当該対象レンジのパラメータがＬ／Ｒ包絡線パラメータとして送信された場合には、正しいパラメトリック表現が対象レンジのスペクトル包絡線調整に使用されるよう、パラメータ変換器が上述のＬ／Ｒ包絡線パラメータから統合ステレオ包絡線パラメータを算出する。
他の好適な実施形態においては、対象帯域において統合ステレオが用いられている場合、包絡線パラメータが統合ステレオパラメータとして既に送信されている。
異なる２チャンネル表現を有する対象レンジのセットが包絡線調整器８３８へ入力されることが想定される場合には、包絡線調整器８３８の出力もまた、異なる２チャンネル表現を有する対象レンジのセットとなる。対象レンジが例えばＭ／Ｓのように統合表現を有する場合には、この対象レンジは、表現変換器８４２によって処理される。表現変換器８４２は、拡声器への蓄積または送信のために必要となる個別表現を算出する。しかしながら、対象レンジが既に個別の表現を有している場合には、信号フロー８４４がとられ、表現変換器８４２が迂回される。ブロック８４２の出力において、個別の２チャンネル表現である２チャンネルスペクトル表現が得られ、これはブロック８４６によって示される通りさらに処理される。このさらなる処理は、例えば周波数／時間変換処理やその他必要な処理であってもよい。
第２スペクトル部が周波数帯域に対応することが好ましく、また２チャネル識別情報が、図８ｂの表に対応するフラグ配列（各周波数帯域について１つのフラグが存在するもの。）として提供されることが好ましい。そして、パラメトリックデコーダは、フラグが設定されたか否かをチェックし、フラグに従って、周波数再生器１０６が第１スペクトル部の第１表現または第２表現のいずれかを用いるよう制御する構成である。
一実施形態においては、図３ａのＩＧＦ開始周波数３０９から開始する再構築レンジのみが、異なる再構築帯域について２チャンネル識別情報を有する。さらなる実施形態においては、これがＩＧＦ開始周波数３０９よりも下の周波数に適用されてもよい。
またさらなる実施形態において、ソース帯域識別情報および対象帯域識別情報は、類似性解析によって最適に決定することができる。しかしながら、ソースレンジと対象レンジに固定の関連性がある場合には、本発明の２チャンネル処理が適用されてもよい。ソースレンジは、高効率のＡＡＣ処理から知られるマルチプルパッチの処理に類似する２以上の周波数タイル充填処理を用いる倍音周波数タイル充填処理またはコピー周波数タイル充填処理のいずれかによって、周波数についてより広い対象レンジを再形成するために使用することができる。
図８ｅは、２チャンネルオーディオ信号を符号化するオーディオエンコーダを示す。エンコーダは、２チャンネルオーディオ信号をスペクトル表現に変換する時間スペクトル変換器８６０を有する。さらに、スペクトル解析器８６６は、２チャンネルオーディオチャンネルのオーディオ信号をスペクトル表現へと変換する。さらに、スペクトル解析器８６６は、いずれのスペクトル部が高解像度で符号化されるかを決定するため（つまり、第１スペクトル部の第１セットを見出し、さらに第２スペクトル部の第２セットを見出すため）に、解析をするよう設けられる。
さらに、２チャンネル解析器８６４は、第２セットの第２スペクトル部を解析して、第１の２チャンネル表現かまたは第２の２チャンネル表現かを識別する２チャンネル識別情報を決定するよう設けられる。
２チャンネル解析器の結果によっては、第２スペクトル表現おける帯域は、第１の２チャンネル表現または第２の２チャンネル表現を用いてパラメータ化され、これがパラメトリックエンコーダ８６８により実行される。コア周波数レンジ（つまり、図３ａにおけるＩＧＦ開始周波数３０９よりも下の周波数帯域）は、コアエンコーダ８７０によって符号化される。ブロック８６８および８７０の結果は、出力インターフェイス８７２に入力される。上述の通り、２チャンネル解析器は、ＩＧＦ開始周波数より上の各帯域かまたは全部の周波数帯域について、２チャンネル識別情報を提供し、この２チャンネル識別情報が出力インターフェイス８７２により出力される符号化された信号８７３に含まれるよう、この２チャンネル識別情報が出力インターフェイス８７２に対して送られる。
さらに、オーディオエンコーダが帯域変換器８６２をさらに備えることが好ましい。２チャンネル解析器８６２の決定に基づき、時間スペクトル変換器８６２の出力信号が、２チャンネル解析器、特に２チャンネルＩＤ８３５によって示される表現に変換される。よって、帯域変換器８６２の出力は、各周波数帯域が第１の２チャンネル表現または第２の２チャンネル表現のいずれかにあってもよい周波数帯域のセットである。本発明が全帯域に適用された場合、つまりソースレンジと再構築レンジの両方が帯域変換器によって処理される場合、スペクトル解析器８６０は、この表現を解析する。しかしながら、その代わりに、スペクトル解析器８６０はまた、時間スペクトル変換器の信号出力を、制御線８６１の示すところにより、解析してもよい。したがって、スペクトル解析器８６０は、帯域変換器８６２の出力か、または帯域変換器８６２によって処理される前の時間スペクトル変換器８６０の出力かのいずれに対して、好適な音調解析を適用してもよい。さらに、スペクトル解析器は、所定の対象レンジに最も整合するソースレンジの識別を、帯域変換器８６２または時間スペクトル変換器８６０のいずれかの結果に基づいて行なってもよい。
次に、図３ａおよび図３ｂを参照して既に説明したエネルギ情報値の好適な算出を図示する図９ないし９ｄを参照する。
現在のオーディオコーダは、様々な技術を適用して、所定のオーディオ信号を表現するデータ量を最小限にしている。ＵＳＡＣ（非特許文献１）のようなオーディオコーデックは、ＭＤＣＴのような時間周波数変換を適用して、所定のオーディオ信号のスペクトル表現を得ている。これらのＭＤＣＴ係数は、人間の聴覚システムの心理音響的側面を活用して、量子化されている。利用可能なビットレートが減少した場合、量子化が粗くなり、ゼロのスペクトル値が大量にもたらされて、デコーダ側において可聴なアーティファクトを生成してしまう。知覚品質を改善するために、従来のデコーダは、これらのゼロスペクトルの部分をランダムノイズにより充填する。ＩＧＦ手法は、残りのゼロではない信号からタイルを採取し、スペクトルにおけるこれらのギャップを充填する。復号オーディオ信号の知覚品質にとって、スペクトル係数のスペクトル包絡線とエネルギ分散とが保存されることが重要である。ここで説明されるエネルギ調整方法においては、送信されたサイド情報を用いて、オーディオ信号のスペクトルＭＤＣＴ包絡線が再構築される。
ｅＳＢＲ（非特許文献１５）においては、少なくとも２つのファクタにより、オーディオ信号が低解像度処理され，スペクトルの高周波数部分が完全にゼロ設定とされる（非特許文献１、１７）。この削除された部分は、デコーダ側においてパラメータ技術であるｅＳＢＲにより置き換えられる。ｅＳＢＲは、追加的変換として、ＱＭＦ変換（空の高周波数部分を置換してオーディオ信号を再サンプルするために利用される変換）の使用を示唆する（非特許文献１７）。これによって、オーディオコーダにおいては、計算がより複雑となり、またメモリ消費が増えてしまう。
ＵＳＡＣ符号器（非特許文献１５）は、スペクトルホール（ゼロのスペクトル線）をランダムノイズにより充填する可能性を提供するが、ランダムノイズは過渡信号の時間的微細構造を保全することはできず、また、音調信号の倍音構造を保存することもできないという欠点がある。
デコーダ側においてｅＳＢＲが動作するエリアは、エンコーダにより完全に削除された（非特許文献１）。したがって、ｅＳＢＲは、高周波数領域における音調線を削除し、オリジナル信号の倍音構造を歪ませがちである。ｅＳＢＲのＱＭＦ周波数解像度はかなり低く、正弦波成分の再挿入は基礎となるフィルタバンクの解像度が粗い場合にのみ可能なので、再生周波数レンジにおけるｅＳＢＲによる音調成分の再生は、その精度が非常に低いものとする。
ｅＳＢＲは、パッチされたエリアのエネルギを調整する技術の、スペクトル包絡線調整（非特許文献１）を用いる。この技術は、ＱＭＦ周波数時間グリッド上の送信済エネルギ値を使って、スペクトル包絡線を再整形する。この従来技術は、部分的に削除されたスペクトルを取り扱わず、また高時間解像度のため、適切なエネルギ値を送信するのに相当量のビットを必要とするか、またはこのエネルギ値に粗い量子化を適用するかのいずれかになりがちである。
ＩＧＦの手法は、非特許文献１５に記載されるように算出される伝統的なＭＤＣＴ変換を用いるため、追加的変換を要しない。
ここで説明されるエネルギ調整方法は、エンコーダにより生成されたサイド情報を用いて、オーディオ信号のスペクトル包絡線を再構築する。サイド情報は、以下に概略を示すようにしてエンコーダにより生成される：
ａ）窓化されたＭＤＣＴ変換を入力オーディオ信号に対して適用し（非特許文献１６、セクション４．６）、選択的に窓化されたＭＤＳＴを算出するか、または窓化されたＭＤＳＴを、算出されたＭＤＣＴから予測し、
ｂ）ＴＮＳ／ＴＴＳをＭＤＣＴ係数に適用し（非特許文献１５、セクション７．８）、
ｃ）ＩＧＦ開始周波数ｆＩＧＦｓｔａｒｔより上でかつＩＧＦ停止周波数ｆＩＧＦｓｔｏｐまでの各ＭＤＣＴスケールファクタ帯域について、平均エネルギを算出し、
ｄ）平均エネルギ値を量子化する。
ｆＩＧＦｓｔａｒｔおよびｆＩＧＦｓｔｏｐは、ユーザの設定するパラメータである。
ステップｃ）およびｄ）で算出された値は、サイド情報として損失なく符号化され、ビットストリームとともにデコーダに送信される。
デコーダは、送信された値を受信し、これらを用いてスペクトル包絡線を調整する：
ａ）送信されたＭＤＣＴ値を逆量子化し、
ｂ）信号化される場合には伝統的なＵＳＡＣノイズ充填処理を適用し、
ｃ）ＩＧＦタイル充填処理を適用し、
ｄ）送信されたエネルギ値を逆量子化し、
ｅ）帯域側でスペクトル包絡線スケールファクタを調整し、
ｆ）信号化される場合には、ＴＮＳ／ＴＴＳを適用する。
を、窓長２Ｎの窓化されたオーディオ信号の、ＭＤＣＴ変換された実数スペクトル表現とする。この変換は、非特許文献１６に記載されている。エンコーダは、このｘ＾に対して選択的にＴＮＳを適用する。
非特許文献１６、４．６．２において、スケールファクタ帯域におけるｘ＾の区画が記載されている。スケールファクタ帯域はインデックスのセットであり、ｓｃｂと示されている。
ｋ＝０，１，２，…ｍａｘ＿ｓｆｂの各ｓｃｂｋの限界は、配列ｓｗｂ＿ｏｆｆｓｅｔによって定義され（非特許文献１６、４．６．２）、そこでは、ｓｗｂ＿ｏｆｆｓｅｔ［ｋ］とｓｗｂ＿ｏｆｆｓｅｔ［ｋ＋１］−１とが、ｓｃｂｋに含まれる最低および最高スペクトル係数線について、第１および最後のインデックスを定義している。ここで、スケールファクタ帯域を次のように表現する。
ｓｃｂｋ：＝｛ｓｗｂ＿ｏｆｆｓｅｔ［ｋ］，１＋ｓｗｂ＿ｏｆｆｓｅｔ［ｋ］，２＋ｓｗｂ＿ｏｆｆｓｅｔ［ｋ］，…，ｓｗｂ＿ｏｆｆｓｅｔ［ｋ＋１］−１｝
もしエンコーダがＩＧＦツールを使用する場合には、ユーザがＩＧＦ開始周波数およびＩＧＦ停止周波数を定義する。これらの二つの値は、最もフィットするスケールファクタ帯域インデックスｉｇｆＳｔａｒｔＳｆｂおよびｉｇｆＳｔｏｐＳｆｂに対してマップされる。両方とも、ビットストリームにてデコーダへと信号伝達される。
非特許文献１６には、長ブロックおよび短ブロック変換の両方が記載される。長ブロックについては、スペクトル係数の１セットのみが、スケールファクタの１セットとともにデコーダに送信される。短ブロックについては、異なる８つのスペクトル係数セットを有する８つの短窓が計算される。ビットレートを節約するために、これら８つの短ブロック窓のスケールファクタは、エンコーダによってグループ分けされる。
ＩＧＦの場合、個々で説明される方法は、デコーダに送信されるスペクトル値をグループ分けするために、過去のスケールファクタ帯域
を用いる。ここで、
ｋ＝ｉｇｆＳｔａｒｔＳｆｂ，１＋ｉｇｆＳｔａｒｔＳｆｂ，２＋ｉｇｆＳｔａｒｔＳｆｂ，…ｉｇｆＥｎｄＳｆｂ
である。量子化については、以下が計算される。
全ての値Ｅ＾ｋが、デコーダに送信される。
ここで、エンコーダが、ｎｕｍ＿ｗｉｎｄｏｗ＿ｇｒｏｕｐスケールファクタセットをグループ分けすることを決定するものとする。８つの短窓のインデックスとしての集合｛０，１，２，．．，７｝におけるこのグループ区画を、ｗにより表現する。ｗｌは、ｗにおけるｌ番目の部分集合を意味し、ｌは、窓グループのインデックス０≦ｌ≦ｎｕｍ＿ｗｉｎｄｏｗ＿ｇｒｏｕｐを意味する。
短ブロック計算においては、ユーザが定義したＩＧＦ開始／停止周波数を、適切なスケールファクタ帯域にマップする。しかしながら、簡略化のため、短ブロックについても、ｋ＝ｉｇｆＳｔａｒｔＳｆｂ，１＋ｉｇｆＳｔａｒｔＳｆｂ，２＋ｉｇｆＳｔａｒｔＳｆｂ，…ｉｇｆＥｎｄＳｆｂと表現する。
ＩＧＦエネルギ算出においては、グループ化情報を用いて、値Ｅｋ，ｌをグループ分けする。
量子化については、
を計算する。全ての値Ｅ＾ｋ，ｌが、デコーダに送信される。
上述の符号化式は、実数ＭＤＣＴ係数ｘ＾のみを用いて動作する。ＩＧＦレンジにおいてより安定的なエネルギ分布を得るには、つまり時間的振幅のばらつきを低減させるには、代替的手法を用いて値Ｅ＾ｋを計算することができる。
ｘ＾ｒ
を、窓長２Ｎの窓化されたオーディオ信号のＭＤＣＴ変換された実数スペクトル表現とし、ｘ＾ｉ
を、オーディオ信号の同じ部分のＭＤＳＴ変換実数スペクトル表現とする。ＭＤＳＴスペクトル表現ｘ＾ｉは、ｘ＾ｒから算出されるか、または予測されるかの、いずれであってもよい。
は、実数部分としてｘ＾ｒを有し、虚数部分としてｘ＾ｉを有する窓化されたオーディオ信号の複素スペクトル表現を意味する。エンコーダは、ｘ＾ｒおよびｘ＾ｉに対してＴＮＳを選択的に適用する。
ここで、ＩＧＦレンジにおけるオリジナル信号のエネルギは、以下をもって計ることができる。
再構築帯域の実数および複素数エネルギ、つまりＩＧＦレンジｓｃｂｋの再構築においてデコーダ側で用いるべきタイルは、以下にしたがって算出される。
ここで、ｔｒｋは、ｓｃｂｋに依拠する、関連ソースタイルレンジのインデックスセットである。上記２つの式において、インデックス集合ｓｃｂｋの代わりに集合
（「ｓｃｂｋ −」とも表す。後で定義する）を使用して、ｔｒｋを生成してより正確なＥｔおよびＥｒを達成することもできる。Ｅｔｋ＞０であれば、
を算出し、それ以外は、ｆｋ＝０とする。
を用いて、安定的な値Ｅｋが計算される。その理由は、ＥｋをＭＤＣＴ値のみを用いて計算することは、ＭＤＣＴ値がパーセバルの定理に従わないという事実の障害があり、したがってＭＤＣＴ値は、スペクトル値の完全なエネルギ情報を反映していないためである。Ｅ＾ｋは、上述の通り算出される。
上述の通り、短ブロックについては、スケールファクタセットｎｕｍ＿ｗｉｎｄｏｗｓ＿ｇｒｏｕｐをグループ分けする決定は、エンコーダが行うものと想定する。上述の通り、ｗｌは、ｗにおけるｌ番目の部分集合を意味し、ｌは、窓グループのインデックス０≦ｌ≦ｎｕｍ＿ｗｉｎｄｏｗ＿ｇｒｏｕｐを意味する。
繰り返しになるが、より安定的なＥｋ，ｌを算出する上述の代替バージョンを計算する。ここで、数８に示すｃ＾の定義を用いる。ｘ＾ｒは、ＭＤＣＴ変換され窓化された長さ２Ｎのオーディオ信号、ｘ＾ｉは、ＭＤＳＴ変換された窓化された長さ２Ｎのオーディオ信号である。この計算は、
となる。
同様に、
を計算し、ファクタｆｋ，ｌを、
とし、これを用いて、前回算出されたＥｒｋ，ｌを調節する。
Ｅ＾ｋ，ｌが、上述の通り算出される。
複素再構築帯域またはＭＤＣＴ値のいずれかから抽出した再構築帯域のエネルギのみならず、ソースレンジからのエネルギ情報も使用する手順によって、エネルギ再構築が改善される。
特に、パラメータ算出器１００６は、再構築帯域のエネルギに関する情報、および再構築帯域を再構築するのに使用されるソースレンジのエネルギに関する情報を使って、再構築帯域のためのエネルギ情報を算出するよう構成される。
また、パラメータ算出器１００６は、オリジナル信号の複素スペクトルの再構築帯域に関するエネルギ情報（Ｅｏｋ）を算出し、また再構築帯域の再構築に使用されるオリジナル信号の複素スペクトルの実数部分のソースレンジに関するさらなるエネルギ情報（Ｅｒｋ）を算出するよう構成される。そして、パラメータ算出器は、エネルギ情報（Ｅｏｋ）とさらなるエネルギ情報（Ｅｒｋ）とを使って、再構築帯域についてエネルギ情報を算出するよう構成される。
さらに、パラメータ算出器１００６は、オリジナル信号の複素スペクトルの再構築対象スケールファクタ帯域に関する第１エネルギ情報（Ｅｏｋ）を決定し、再構築対象スケールファクタ帯域を再構築するのに使用されるオリジナル信号の複素スペクトルのソースレンジに関する第２エネルギ情報（Ｅｔｋ）を決定し、再構築対象スケールファクタ帯域を再構築するのに使用されるオリジナル信号の複素スペクトルの実数部分のソースレンジに関する第３エネルギ（Ｅｒｋ）を決定し、第１エネルギ情報、第２エネルギ情報および第３エネルギ情報の少なくとも２つにおける関係に基づき重み付け情報を決定し、この重み付け情報を使って第１エネルギ情報と第３エネルギ情報の１つに重みを付けて重み付けエネルギ情報を入手し、この重み付けエネルギ情報を当該再構築帯域のエネルギ情報として使用するよう構成される。
計算の例を以下に示すが、上述の一般原則を参照すると、当業者にとっては、その他の多くも明らかであろう。
Ａ）
ｆ＿ｋ＝Ｅ＿ｏｋ／Ｅ＿ｔｋ；
Ｅ＿ｋ＝ｓｑｒｔ（ｆ＿ｋ＊Ｅ＿ｒｋ）；
Ｂ）
ｆ＿ｋ＝Ｅ＿ｔｋ／Ｅ＿ｏｋ；
Ｅ＿ｋ＝ｓｑｒｔ（（１／ｆ＿ｋ）＊Ｅ＿ｒｋ）；
Ｃ）
ｆ＿ｋ＝Ｅ＿ｒｋ／Ｅ＿ｔｋ；
Ｅ＿ｋ＝ｓｑｒｔ（ｆ＿ｋ＊Ｅ＿ｏｋ）
Ｄ）
ｆ＿ｋ＝Ｅ＿ｔｋ／Ｅ＿ｒｋ；
Ｅ＿ｋ＝ｓｑｒｔ（（１／ｆ＿ｋ）＊Ｅ＿ｏｋ）
これら全ての例では、実数のＭＤＣＴ値のみがデコーダ側で処理されるが、実際の計算は、オーバーラップおよび追加に伴い、複素数を使って黙示的に実行される時間領域エイリアジングキャンセル手順により実施されるという事実に基づくものである。しかしながら、再構築帯域９２０のさらなるスペクトル部９２２、９２３のタイルエネルギ情報の決定処理９１８は、再構築帯域９２０において周波数を有する第１フペクトル部９２１とは異なる周波数値のために、実数のＭＤＣＴ値に依拠している。したがって、一般的に、デコーダに送信されるエネルギ情報は、オリジナル信号の複素スペクトルの再構築帯域に関するエネルギ情報Ｅｏｋよりも小さくなる。例えば、上記Ｃの事例については、これは、ファクタｆ＿ｋ（重み付け情報）が１より小さいことを意味する。
デコーダ側においては、もしＩＧＦツールがＯＮとして信号化された場合、送信された値Ｅ＾ｋはビットストリームから入手され、ｋ＝ｉｇｆＳｔａｒｔＳｆｂ，１＋ｉｇｆＳｔａｒｔＳｆｂ，２＋ｉｇｆＳｔａｒｔＳｆｂ，…ｉｇｆＥｎｄＳｆｂなるすべてのｋに対して、
に従って逆量子化される。
デコーダは、送信ＭＤＣＴ値をｘ∈ＲＮに逆量子化し、残りの残存エネルギ
を算出する。ここで、ｋは、上述の定義のレンジ内にある。
ここでは、
とする。この集合には、スケールファクタ帯域ｓｃｂｋの全インデックスが含まれ、エンコーダによってゼロに量子化される。
ＩＧＦサブバンド入手手法（ここでは説明しない）を使って、送信されたＭＤＣＴの非ゼロ値を使うことにより、ＭＤＣＴスペクトル値の粗い量子化からエンコーダ側において生じるスペクトルギャップを充填する。ｘには、これまでの全てのゼロ値を置換する値が追加的に含まれている。このタイルエネルギは、
によって算出される。ここで、ｋは、上述の定義のレンジ内にある。
再構築帯域において欠落するエネルギは、
ｍＥｋ：＝│ｓｃｂｋ│Ｅｋ ２−ｓＥｋ
によって算出される。調整のためのゲインファクタは、
によって得られる。
ｇ’＝ｍｉｎ（ｇ，１０）
を用い、スペクトル包絡線調整は、上述で定義されたレンジにおける全てのｉ∈ｓｃｂｋ −とｋに対して、
ｘｊ：＝ｇ’ｘｉ
となる。これは、ｘのスペクトル包絡線を、オリジナルスペクトル包絡線ｘ＾の形状に再整形する。
短窓シーケンスを用いる場合、上述の全ての計算は原則的に同じであるが、スケールファクタ帯域のグループ分けを考慮する必要がある。Ｅｋ，ｌは、ビットストリームから得られた、逆量子化されグループ分けされたエネルギ値を示す。
および
を計算する。インデックスｊは、短ブロックシーケンスの窓インデックスを示す。
ｍＥｋ，ｌ：＝│ｓｃｂｋ│Ｅｋ，ｌ ２−ｓＥｋ，ｌ
と、
を計算し、
ｇ’＝ｍｉｎ（ｇ，１０）
を用い、ｉ∈ｓｃｂｋ −に対して、
ｘｊ：＝ｇ’ｘｉ
を適用する。
低ビットレート応用では、Ｅｋの対グループ分けが、それほど大きな精度の低下を引き起こすことなく可能である。この方法は、長ブロックでのみ適用され、
となる。ここで、ｋ＝ｉｇｆＳｔａｒｔＳｆｂ，１＋ｉｇｆＳｔａｒｔＳｆｂ，２＋ｉｇｆＳｔａｒｔＳｆｂ，…ｉｇｆＥｎｄＳｆｂである。繰り返しになるが、量子化の後、全ての値Ｅｋ＞＞１がデコーダに送信される。
図９ａは、符号化オーディオ信号を復号する装置を示す。このオーディオ信号は、第１セットの第１スペクトル部の符号化表現、および第２セットの第２スペクトル部についてのスペクトルエネルギを示すパラメトリックデータの符号化表現を含んでいる。第１セットの第１スペクトル部は、図９ａにおいて９０１ａで示され、パラメトリックデータの符号化表現は、図９ａの９０１ｂで示される。オーディオデコーダ９００は、第１セットの第１スペクトル部の符号化表現９０１ａを復号して、復号化された第１セットの第１スペクトル部９０４を得るよう設けられる。また、オーディオデコーダ９００は、パラメトリックデータの符号化表現を復号して、個別の再構築帯域について個別のエネルギを示す第２セットの第２スペクトル部についての復号パラメトリックデータ９０２を得る。ここで、第２スペクトル部は、再構築帯域内に存在している。さらに、周波数再生器９０６は、第２スペクトル部を有する再構築帯域のスペクトル値を再構築するために設けられる。さらに、周波数再生器９０６は、第１セットの第１スペクトル部に含まれる第１スペクトル部と、再構築帯域に係る個別のエネルギ情報を用いる。ここで、再構築帯域には、第１スペクトル部と第２スペクトル部が含まれる。周波数再生器９０６は、残存エネルギ情報を決定する算出器９１２を有する。この残存エネルギ情報には、再構築帯域内に周波数を有する第１スペクトル部の累積エネルギが含まれる。さらに、周波数再生器９０６は、再構築帯域のさらなるスペクトル部のタイルエネルギ情報を決定し、第１スペクトル部とは異なる周波数値のための計算器９１８を有する。これらの周波数値は、再構築帯域に周波数を有するものであり、さらなるスペクトル部は、再構築帯域の第１スペクトル部とは異なる第１スペクトル部を用いて、周波数再構築により生成されるものである。
周波数再生器９０６は、再構築帯域における欠落エネルギのための計算器９１４をさらに有する。この計算器９１４は、再構築帯域についての個別エネルギおよびブロック９１２により生成された残存エネルギを用いて動作する。さらに、周波数再生器９０６は、欠落エネルギ情報、およびブロック９１８により生成されたタイルエネルギ情報に基づき、再構築帯域におけるさらなるスペクトル部を調整するスペクトル包絡線調整器９１６を有する。
再構築帯域９２０の一例を示す図９ｃを参照する。再構築帯域は、図３ａにおける第１スペクトル部３０６などの再構築帯域における第１スペクトル部を有し、これは９２１としてその概略が示される。さらに、再構築帯域９２０における残りのスペクトル値は、例えば、図３ａのインテリジェントギャップ充填開始周波数３０９より下のスケールファクタ帯域１、２、３からのソース領域を用いて生成されることとなる。周波数生成器９０６は、第２スペクトル部９２２および９２３のための生スペクトル値を生成するよう構成される。そして、図９ｃに示される通り、周波数帯域９２２および９２３におけるスペクトル値を最終的に調整するために、そして再構築帯域９２０における再構築および調整第２スペクトル部を得るために、ゲインファクタｇが計算される。これらの第２スペクトル部は、第１スペクトル部９２１と同じスペクトル解像度、つまり同じ線距離を有している。図９ｃにおいて９２１で示される再構築帯域における第１スペクトル部は、オーディオデコーダ９００によって復号され、図９ｂのブロック９１６の実施する包絡線調整によっては影響を受けないことを理解することが重要である。その代わり、９２１で示される再構築帯域における第１スペクトル部は、線９０４を介して、全帯域または全レートのオーディオデコーダ９００により出力されるため、そのままに放置される。
以下において、実数を用いた一例について説明する。ブロック９１２により算出された残りの残存エネルギは、例えば５エネルギ単位だとする。このエネルギは、第１フペクトル部９２１において例示的に示された４つのスペクトル線のエネルギである。
さらに、図３ｂまたは図３ａのスケールファクタ帯域６に対応する再構築帯域に係るエネルギ数Ｅ３は、１０単位に等しい。重要なこととしては、エネルギ値には、スペクトル部９２２および９２３のエネルギのみならず、エンコーダ側で算出された再構築帯域９２０の全エネルギ（つまり、例えば、音調マスクを用いてスペクトル解析を実行する前のもの）も含まれる。したがって、１０エネルギ単位は、再構築帯域における第１および第２スペクトル部を対象とする。そして、ブロック９２２、９２３のソースレンジデータのエネルギまたはブロック９２２、９２３用の生の対象レンジデータのエネルギは、８エネルギ単位であるという前提とする。よって、５単位の欠落エネルギが計算される。
タイルエネルギｔＥｋにより分割された欠落エネルギに基づき、０．７９のゲインファクタが計算される。そして、第２フペクトル部９２２、９２３の生のスペクトルラインに対して、算出されたゲインファクタを乗じる。よって、第２スペクトル部９２２、９２３のスペクトル値のみが調整され、第１スペクトル部９２１のスペクトル線は、この包絡線調整によって影響を受けない。第２スペクトル部９２２、９２３について生のスペクトル値を乗じた後、完全なる再構築帯域が計算される。これは、再構築帯域における第１スペクトル部から構成され、再構築帯域９２０における第２スペクトル部９２２、９２３のスペクトル線から構成される。
帯域９２２、９２３の生のスペクトルデータを生成するためのソースレンジは、周波数について、ＩＧＦ開始周波数３０９より下であり、再構築帯域９２０はＩＧＦ開始周波数３０９よりも上であることが好ましい。
さらに、再構築帯域境界がスケールファクタ帯域境界と一致することが好ましい。よって、一実施形態において、再構築帯域は、コアオーディオデコーダの対応スケールファクタ帯域の大きさを有するか、またはエネルギペアリングが適用されたとき、再構築帯域のエネルギ値が整数２以上のスケールファクタ帯域のエネルギを提供する大きさを有する。したがって、スケールファクタ帯域４、スケールファクタ帯域５およびスケールファクタ帯域６についてエネルギ蓄積が実施されるとの前提の場合には、再構築帯域９２０の低周波数境界は、スケールファクタ帯域４の下限境界と等しくなり、再構築帯域９２０の高周波数境界は、スケールファクタ帯域６の上限境界と一致する。
以下において、図９ａのデコーダのさらなる機能を示すために、図９ｄについて説明する。オーディオデコーダ９００は、第１セットのスペクトル部の第１スペクトル部に対応する逆量子化スペクトル値を受信する。そして、図３ｂに示すようなスケールファクタ帯域のためのスケールファクタが、追加的に逆スケールブロック９４０に提供される。逆スケールブロック９４０は、図３ａのＩＧＦ開始周波数３０９より下の全ての第１セットの第１スペクトル部を提供し、さらにＩＧＦ開始周波数より上の第１スペクトル部（つまり、図３ａの第１スペクトル部３０４、３０５、３０６、３０７であり、これらは全て図９ｄの９４１に示す通り、再構築帯域内に位置している）を提供する。さらに、再構築帯域における周波数タイル充填に用いられるソース帯域の第１スペクトル部は、包絡線調整器／計算器９４２に提供され、このブロックは、図９ｄにおいて９４３で示す通り、符号化されたオーディオ信号に対してパラメータサイド情報として提供された再構築帯域のエネルギ情報を追加的に受信する。そして、包絡線調整器／計算器９４２は、図９ｂおよび９ｃの機能を提供し、再構築帯域における第２スペクトル部のために、調整されたスペクトル値を最終的に出力する。再構築帯域における第２スペクトル部に係るこれらの調整スペクトル値９２２、９２３、並びに図９ｄにおいて線９４１により示される再構築帯域の第１スペクトル部９２１は、統合すると、再構築帯域の全スペクトル表現をなしている。
以下において、符号化されたオーディオ信号を提供または生成するために、オーディオ信号を符号化するオーディオエンコーダの好適実施形態を説明する図１０ａおよび１０ｂを参照する。このエンコーダは、スペクトル解析器１００４に供給する時間／スペクトル変換器１００２を有し、このスペクトル解析器１００４は、パラメータ計算器１００６に接続する一方、オーディオエンコーダ１００８にも他方で接続する。オーディオエンコーダ１００８は、第１セットの第１スペクトル部の符号化表現を提供し、第２セットの第２スペクトル部を対象としない。一方で、パラメータ計算器１００６は、第１および第２スペクトル部を対象とする再構築帯域のエネルギ情報を提供する。さらに、オーディオエンコーダ１００８は、第１スペクトル解像度を有する第１フペクトル部の第１セットの第１符号化表現を生成するよう構成される。ここで、オーディオエンコーダ１００８は、ブロック１００２によって生成されるスペクトル表現の全ての帯域に係るスケールファクタを提供する。これに加えて、図３ｂに示す通り、エンコーダは、図３ａに示すＩＧＦ開始周波数３０９よりも上の周波数に位置する再構築帯域については少なくとも、エネルギ情報を提供する。したがって、再構築帯域がスケールファクタ帯域またはスケールファクタ帯域群と好適に一致しているので、オーディオエンコーダ１００８からの対応スケールファクタと、パラメータ計算器１００６によって出力されるエネルギ情報という２つの値が与えられる。
オーディオエンコーダは、異なる周波数帯域幅を有する（つまり異なる数のスペクトル値を有する）スケールファクタ帯域を有することが好ましい。したがって、パラメータ計算器は、特定の再構築帯域の帯域幅について、異なる帯域幅のためのエネルギを正規化する正規化器１０１２を有する。このため、正規化器１０１２は、入力として、帯域におけるエネルギと、帯域におけるいくつものスペクトル値を受信し、再構築／スケールファクタ帯域毎に正規化されたエネルギを出力する。
さらに、図１０ａのパラメータ計算器１００６ａは、図１０ａにおける線１００７により示されるコアまたはオーディオエンコーダ１００８から制御情報を受信するエネルギ値計算器を有する。この制御信号には、オーディオエンコーダによって使用される長／短ブロックに関する情報、および／またはグループ化情報が含まれる場合がある。したがって、長／短ブロックに関する情報および短窓に関するグループ化情報が「時間」グループ分けに関するものである一方、グループ化情報はまた、スペクトルグループ分け（つまり、２つのスケールファクタ帯域を単一の再構築帯域にグルース分けすること）に言及してもよい。よって、エネルギ値計算器１０１４は、フペクトル部のみがグループ分けされているとき、第１予備第２スペクトル部を対象とするグループ分けされた各帯域について、単一のエネルギ値を出力する。
図１０ｄは、スペクトルグループ分けを実施するためのさらなる実施形態を示す。このため、ブロック１０１６は、２つの近接帯域のエネルギ値を計算するよう構成される。そして、ブロック１０１８において、近接する帯域のエネルギ値を比較し、エネルギ値がそれほど異ならない場合、または例えば、閾値で規定したほど異ならない場合には、ブロック１０２０に示すように、両方の帯域について、単一の（正規化された）値が生成される。線１０１９に示す通り、ブロック１０１８を迂回してもよい。さらに、ブロック１０２０により実行される２つ以上の帯域に係る単一値の生成は、エンコーダビットレート制御１０２４により制御されてもよい。このため、ビットレートを低減する必要がある場合には、ブロック１０１８における比較において、エネルギ情報値のグループ分けが許されない場合であったとしても、符号化されたビットレート制御処理１０２４により、ブロック１０２０を制御して、２つ以上の帯域について単一の正規化値を生成させる。
オーディオエンコーダが２つ以上の短窓のグループ分けを行っているときには、このグループ分けがエネルギ情報についても適用される。コアエンコーダが２つ以上の短ブロックのグループ分けを行うときには、これら２つ以上のブロックについて、スケールファクトの単一セットのみを計算し送出する。デコーダ側においては、オーディオデコーダは、スケールファクタの同じセットを両方のグループ分けされた窓に適用する。
エネルギ情報計算に関して、再構築帯域におけるスペクトル値が２つ以上の短窓に対して蓄積される。つまり、短ブロックおよび後続の短ブロックについての所定の再構築帯域におけるスペクトル値は一緒に蓄積され、２つの短ブロックを対象とするこの再構築帯域については、単一のエネルギ情報値しか送信されないことを意味する。そして、デコーダ側においては、図９ａないし９ｄに関して説明された包絡線調整は、各短ブロックについて個別には実施されず、グループ分けされた短窓のセットについて一緒に実施される。
周波数におけるグループ分けまたは時間におけるグループ分けが実施された場合であっても、正規化によって、デコーダ側のエネルギ値情報計算について、一方のエネルギ情報値と再構築帯域またはグループ分けされた再構築帯域のセットにおけるスペクトルライン量のみが簡単に知られるよう、対応する正規化が再び実施される。
従来のＢＷＥスキームにおいては、いわゆる所定のクロスオーバー周波数より上のＨＦスペクトル領域は、スペクトルパッチングに基づき再構築されることが多い。一般的に、ＨＦ領域は、複数の近接パッチから構成され、これらの各パッチは、所定のクロスオーバー周波数よりも下のＬＦスペクトルのバンドパス（ＢＰ）から供給される。信号のフィルタバンク表現内において、このようなシステムは、近接するサブバンド係数のセットをＬＦスペクトルから対象領域にコピーする。一般的に、この選択されたセットの境界は、システムに依存するものであり、信号に依存するものではない。ある信号コンテンツについて、この静的パッチ選択が再構築信号の不快な音質や色合いにつながってしまう場合がある。
その他のアプローチにおいては、信号適応単側波帯（ＳＳＢ）変調により、ＬＦ信号がＨＦへと変換される。そのようなアプローチは、時間領域サンプルにおいて高いサンプリングレートで動作するため、（非特許文献１）に比べて計算の複雑さは大きい。また、パッチングは、特に非音調信号（例：無声音声）の場合には、不安定になる可能性がある。よって、従来の信号適応パッチングは、信号を害する恐れがあった。
本発明によるアプローチは、インテリジェントギャップ充填（ＩＧＦ）と称され、その好適実施形態においては、時間周波数変換（例：修正離散コサイン変換（ＭＤＣＴ））に基づくＢＷＥシステムにおいて適用される。それにも拘わらず、本発明の教示は、例えば直交ミラーフィルタバンク（ＱＭＦ）系のシステム内においても同様に、広く適用できる。
ＭＤＣＴに基づくＩＧＦ構成の利点としては、ＭＤＣＴベースのオーディオコーダ（例：ＭＰＥＧアドバンストオーディオコーディング（ＡＡＣ））におけるシームレスな統合ができる点である。波形オーディオ符号化およびＢＷＥについて同じ変換を共有することで、オーディオコーデックの全体的な計算上の複雑性が、大幅に除去される。
さらに、本発明によると、従来の適応パッチングスキームに内在する安定性の問題についての解決手段が提供される。
提案に係るシステムは、ある信号についての制御不能なパッチ選択により、音質変化や信号着色が誘発され得るという知見に基づくものである。もし信号がスペクトルソース領域（ＳＳＲ）における音調ではあるが、スペクトル対象領域（ＳＴＲ）ではノイズに等しい場合には、ノイズのようなＳＴＲを音調ＳＳＲによりパッチングすることで、不自然な音質となってしまう恐れがある。信号の音調構造は、パッチング過程で不整列とされたり、さらには破壊されたりするため、信号の音質もまた変化し得る。
提案に係るＩＧＦシステムは、特定のＳＳＲと特定のＳＴＲ間の類似性基準として、クロス相関性を用いて、インテリジェントタイル選択を実施する。２つの信号のクロス相関性によって、これらの信号の類似性に関する基準、および最大限の相関とそのサインの遅れに関する基準が提供される。したがって、相関性ベースのタイル選択のアプローチは、コピーされたスペクトルのスペクトルオフセットを正確に音調して、スペクトルがオリジナルスペクトルの構造に可能な限り近似するよう用いることができる。
提案システムの基本的な貢献としては、適切な類似性基準の選択肢、およびタイル選択プロセスの安定化技術が挙げられる。提案技術は、瞬間信号適応性と時間的安定性との間の最適なバランスを同時に提供する。時間的安定性を提供することは、ＳＳＲおよびＳＴＲとはほとんど類似性を有しないため、低クロス相関性値を呈する信号にとっては特に重要であり、また採用される類似性基準が曖昧な場合にも重要である。このような場合、安定化によって、適応タイル選択の疑似ランダム挙動が防止される。
例えば、従来のＢＷＥにおいてよく問題を生じる信号区分は、図１２ａ（左）に示される通り、エネルギを任意のスペクトル領域に明確に注力させていることがその特徴としてあげられる。対象領域におけるスペクトル包絡線および再構築スペクトルの音調を調整する方法はあるものの、一部の信号については、図１２ａ（右）に示す通り、これらの方法は音質を保全できない。図１２ａに示す例において、オリジナル信号の対象領域における、いわゆるクロスオーバー周波数ｆｘｏｖｅｒスペクトル（図１２ａ、左）よりも上のスペクトル振幅は、ほぼ直線的に減少する。一方で、再構築スペクトル（図１２ａ、右）においては、音質色彩アーティファクトとして知覚される沈下とピークとの明確なセットが存在する。
新たなアプローチの重要なステップとしては、セットとなったタイルの中から類似性に基づく後続の選択がなされるよう、当該タイルのセットを定義することが上げられる。まず、ソース領域および対象領域のタイル境界を、それぞれに従って定義する必要がある。そのため、コア符号器のＩＧＦ開始周波数ｆＩＧＦｓｔａｒｔと可能な限りの高周波数ｆＩＧＦｓｔｏｐとの間における対象領域を、任意の整数のタイルに分割し、これらのそれぞれが個別のあらかじめ設定された大きさを有する。そして、ターゲットタイルｔａｒ［ｉｄｘ＿ｔａｒ］のそれぞれについて、同サイズのソースタイルのセットｓｒｃ［ｉｄｘ＿ｓｒｃが生成される。これによって、ＩＧＦシステムの基本的自由度が決定される。ソースタイルｎＳｒｃの総数は、ソース領域の帯域幅
ｂｗｓｒｃ＝（ｆＩＧＦｓｔａｒｔ−ｆＩＧＦｍｉｎ）
によって決定される。ここで、ｆＩＧＦｍｉｎは、整数ｎＳｒｃ個のソースタイルがｂｗｓｒｃに適合するよう、タイル選択において利用可能な最低周波数である。ソースタイルの最小数は０である。
さらに選択および調整の自由度を増すために、ソースタイルは、０および１の間のオーバーラップファクタにおいて、それぞれオーバーラップするよう定義されてもよく、ここで０とはオーバーラップがないこと、および１とは１００％オーバーラップしていることを意味する。１００％オーバーラップする場合とは、単一のソースタイルのみが利用可能か、あるいは利用可能なソースタイルが一切ないことを意味する。
図１２ｂは、タイルセットのタイル境界の例を示す。この場合において、全ての対象タイルは、ソースタイルのそれぞれと相互に関連している。この例では、ソースタイルは、５０％オーバーラップしている。
対象タイルについて、ｘｃｏｒｒ＿ｍａｘＬａｇビンまでの遅延をもって、様々なソースタイルを使ってクロス相関を算出する。ある対象タイルｉｄｘ＿ｔａｒおよびソースタイルｉｄｘ＿ｓｒｃについて、ｘｃｏｒｒ＿ｖａｌ［ｉｄｘ＿ｔａｒ］［ｉｄｘ＿ｓｒｃ｝が、タイル間の絶対クロス相関最大値を与え、一方、ｘｃｏｒｒ＿ｌａｇ［ｉｄｘ＿ｔａｒ］［ｉｄｘ＿ｓｒｃ］が、最大値が生じる遅延を与え、ｘｃｏｒｒ＿ｓｉｇｎ［ｉｄｘ＿ｔａｒ］［ｉｄｘ＿ｓｒｃ］が、ｘｃｏｒｒ＿ｌａｇ［ｉｄｘ＿ｔａｒ］［ｉｄｘ＿ｓｒｃ］におけるクロス相関のサインを与える。
パラメータｘｃｏｒｒ＿ｌａｇは、ソースタイルと対象タイルとの整合の近さを制御するのに用いられる。このパラメータによって、アーティファクトが減少し、信号の音質と色彩の保全によりよく役立つ。
あるシナリオでは、特定の対象タイルの大きさが、利用可能なソースタイルの大きさよりも大きいことがありえる。この場合、利用可能なソースタイルが必要な限りの頻度において繰り返され、当該特定タイルを完全に充填する。対象タイルにおいて、クロス相関遅延ｘｃｏｒｒ＿ｌａｇおよびサインｘｃｏｒｒ＿ｓｉｇｎという意味で、ソースタイルを最も良い位置に置くために、大きな対象タイルと小さなソースタイルとの間のクロス相関を実施することが依然として可能である。
生のスペクトルタイルとオリジナル信号のクロス相関は、強固なフォルマント構造を有するオーディオスペクトルに対して適用される類似性基準としては、最適ではないかもしれない。スペクトルの白色化によって、粗いスペクトル包絡線情報が除去され、類似性を評価するのに重要なスペクトル微細構造が強調される。白色化によって、ＩＧＦにより処理される領域に関する、符号器でのＳＴＲ包絡線整形が容易になされる。したがって、クロス相関性度を計算する前に、タイルおよびソース信号は、選択的に白色化される。
他の形態においては、タイルのみが事前に設定された手順に従って白色化される。送信される白色化フラグは、デコーダに対して、同様の所定の白色化手順がＩＧＦ内のタイルについて適用されるべきであることを示す。
信号を白色化するためには、まずスペクトル包絡線予測が計算される。そして、ＭＤＣＴスペクトルは、スペクトル包絡線によって分割される。スペクトル包絡線予測は、ＭＤＣＴスペクトル、ＭＤＣＴスペクトル、ＭＤＣＴスペクトルエネルギ、ＭＤＣＴ系複素電力スペクトル、または電力スペクトル予測に基づき、予測される。包絡線が予測される信号を、以下「基礎信号」という。
ＭＤＣＴ系複素電力スペクトルまたは電力スペクトル予測に基づき計算された包絡線は、音調成分に対して時間的ばらつきがないという利点を有する。
もし基礎信号がエネルギ領域にあるのであれば、ＭＤＣＴスペクトルは、信号を正しく白色化するために、包絡線の平方根により分割される必要がある。包絡線の算出方法としては、以下のものがある。
・基礎信号を離散コサイン変換（ＤＣＴ）により変換し、低いＤＣＴ係数のみを保持し（最上をゼロにセットし）、逆ＤＣＴを計算する、
・時間領域オーディオフレームに基づき算出された線形予測係数（ＬＰＣ）セットのスペクトル包絡線を計算する、
・基礎信号をローパスフィルタによりフィルタリングする。
最後のアプローチが選択されることが好ましい。計算上の複雑性が低いことを求めるアプリケーションについては、ＭＤＣＴスペクトルの白色化に対して簡略化がなされてもよい。まず、移動平均の手段により包絡線を計算する。これには、ＭＤＣＴビン毎に２つの処理器サイクルしか要しない。そして、分割および平方根の計算を避けるために、スペクトル包絡線は、＃＃２ｎに近接させられる。ここで、＃＃ｎは、包絡線の整数対数である。この領域において、平方根演算は、単にシフト演算となり、さらに包絡線による分割は、別のシフト演算により実行される。
各ソースタイルと各対象タイルとの相関性を計算した後、全てのｎＴａｒ対象タイルについて、最も高い相関を有するソースタイルを選択してこれを置換する。オリジナルスペクトル構造と最も整合させるために、相関の遅延を利用して、再生されたスペクトルを変形ビンの整数分だけ調整する。奇数の遅延の場合には、ＭＤＣＴにおけるひとつおきの帯域の周波数反転表現を補てんするために、タイルは、−１／１の交互の時間的シーケンスにより、乗法を通じて追加的に調整される。
図１２ｃは、ソースタイルと対象タイルとの相関の例を示す。この例において、相関の遅延は５である。そして、ソースタイルは、ＢＷＥアルゴリズムのコピー段において、高周波数ビンに向かって５ビンだけ調節される必要がある。また、最大相関値が負であり、上述の追加的調節は奇数遅延を対処するので、タイルのサインを反転させる必要がある。
よって、エンコーダからデコーダに対して送信されるサイド情報の総量は、次のデータにより構成される。
・ｔｉｌｅＮｕｍ［ｎＴａｒ］：対象タイル毎に選択されたソースタイルのインデックス
・ｔｉｌｅＳｉｇｎ［ｎＴａｒ］：対象タイルのサイン
・ｔｉｌｅＭｏｄ［ｎＴａｒ］：対象タイル毎の相関遅延
タイル除去および安定化は、ＩＧＦにおいて重要なステップである。その必要性と優位性を、例えば安定的なピッチパイプ音のような静的な音調オーディオ信号を想定した具体例により説明する。論理的には、所定の対象領域について、ソースタイルがフレームを超えた同じソース領域から常に選択される場合には、最小のアーティファクトしか導入されない。信号が静的だという想定であったとしても、この条件は、全てのフレームについてあてはまるわけではない。というのも、他の同程度に類似するソース領域の類似性基準（例えば、相関性）によって、類似結果（例えば、クロス相関性）が支配され得るからである。これによって、近接フレーム間のｔｉｌｅＮｕｍ［ｎＴａｒ］が、２つまたは３つの非常に類似する選択肢の間で迷うこととなる。これが、アーティファクトのような不快なミュージカルノイズの原因となりうる。
このようなアーティファクトを除去するために、ソースタイルの集合について、残りのソース集合が最大限までに非類似となるよう除去処理を行わなければならない。これは、ソースタイルの集合
Ｓ＝｛ｓ１，ｓ２，．．．ｓｎ｝
の全体に対して、以下のように達成される。いずれのソースタイルｓｉについても、他の全てのソースタイルと関連付けられ、ｓｉとｓｊとの最も良い相関を見つけ、これをマトリックスＳｘに蓄積する。ここで、Ｓｘ［ｉ］［ｊ］は、ｓｉとｓｊとの間の最大絶対クロス相関値を含む。段に沿ってマトリックスＳｘを加えると、ソースタイルｓｉとその他のソースタイルＴとのクロス相関の和が得られる。
Ｔ［ｉ］＝Ｓｘ［ｉ］［１］＋Ｓｘ［ｉ］［２］．．．＋Ｓｘ［ｉ］［ｎ］
ここで、Ｔは、ソースがいかに他のソースタイルに類似しているかの基準を示す。いずれかのソースタイルｉについて、
Ｔ ＞ 閾値
が成立しているならば、ソースタイルｉは、潜在的ソースのセットから除外される。というのも、他のソースと非常に相関しているからである。式の条件を満たすタイルセットから最も低い相関のタイルを選択し、この部分集合の代表的タイルとする。このように、ソースタイルがそれぞれ最大限にまで非類似となるよう確保される。
タイル除去方法には、以前のフレームで用いられた除去タイルセットの記録が含まれる。以前のフレームにおいてアクティブであったタイルは、除去の候補が他に存在すれば、次のフレームでも維持される。
フレームｋにおけるタイル｛ｓ１，ｓ２．．．，ｓ５｝のうち、タイルｓ３、ｓ４、およびｓ５がアクティブであるとすると、フレームｋ＋１においては、ｓ３が他のタイルと最大限まで相関を有し、ｓ１、ｓ２、およびｓ３が除去されるべき場合であったとしても、ｓ３は前回のフレームにおいて有用なソースタイルであったため、保持される。したがって、ソースタイルのセットにおいてこれを保持することは、タイル選択の時間的継続性を実施するのに有益である。この方法は、Ｔｘ［ｉ］［ｊ］と表すソースｉと対象ｊとの間のクロス相関が高い場合に適用される。
タイル選択安定化処理の追加的方法として、現在のフレームにおけるいずれのソースタイルも対象タイルとあまり相関を有しない場合には、タイル順番を前回フレームｋ−１から保つ方法が挙げられる。この方法は、Ｔｘ［ｉ］［ｊ］と表すソースｉと対象ｊとの間のクロス相関が、全てのｉ、ｊについて極めて低い場合に適用される。
例えば、暫定的な閾値を用いて、
Ｔｘ［ｉ］［ｊ］＜０．６
とすると、このフレームｋの全てのｎＴａｒについて、
ｔｉｌｅＮｕｍ［ｎＴａｒ］ｋ＝ｔｉｌｅＮｕｍ［ｎＴａｒ］ｋ−１
となる。
上述の２つの技術は、フレームを超えて高速で変化するセットタイル数から生じるアーティファクトを大幅に削減する。このタイル削減および安定化方法の別の付加的メリットとしては、追加的情報を何らデコーダに送る必要がなく、またデコーダの構造を変更する必要がないことが挙げられる。この提案に係るタイル除去方法は、タイル化されたスペクトル領域におけるアーティファクトなどの潜在的なミュージカルノイズや過剰なノイズを除去する素晴らしい方法である。
図１１ａは、符号化されたオーディオ信号を復号するオーディオデコーダを示す。オーディオデコーダは、第１セットの第１スペクトル部の第１復号表現を生成するオーディオ（コア）デコーダ１１０２を有し、この復号表現は、第１スペクトル解像度を有する。
さらに、オーディオデコーダは、第１スペクトル解像度よりも低い第２スペクトル解像度を有する第２セットの第２スペクトル部の第２復号表現を生成するパラメトリックデコーダ１１０４を有する。さらに、第１入力１１０１として第１スペクトル部を受信し、１１０３で示す第２入力としてパラメトリック情報を受信する周波数生成器１１０６が設けられる。このパラメトリック情報には、各対象周波数タイルまたは対象再構築帯域についてのソースレンジ情報が含まれる。周波数生成器１１０６は、対象レンジのスペクトルデータを生成するために、整合情報にて特定されたソースレンジからのスペクトル値を使って、周波数再生を実行する。その後、第１スペクトル部１１０１と周波数再生器１１０７の出力との両方が、スペクトル時間変換器１１０８に入力され、最終的に復号オーディオ信号を生成する。
オーディオデコーダ１１０２は、時間領域オーディオデコーダやパラメトリックオーディオデコーダなどのような他のオーディオ復号であってもよいが、スペクトル領域オーディオデコーダであることが好ましい。
図１１ｂに示す通り、周波数再生器１１０６は、奇数遅延のためのソースレンジ選択タイル変調器を示すブロック１１２０の機能や、白色化フラグ１１２３が提供される場合には、白色化フィルタ１１２２、さらには、ブロック１１２８にて実行され図示される調節機能を有するスペクトル包絡線を有してもよい。なお、ブロック１１２８は、当該調節機能の実行に際しては、ブロック１１２０またはブロック１１２２のいずれか、またはこれら両ブロックの連携により生成された生のスペクトルデータを用いる。いずれにせよ、周波数再生器１１０６は、受信した白色化フラグ１１２３に反応するスイッチ１１２４を含んでもよい。白色化フラグがセットされると、奇数遅延のためのソースレンジ選択器／タイル調整器の出力が、白色化フィルタ１１２２に入力される。しかしながら、このとき、白色化フラグ１１２３は、所定の再構築帯域については設定されず、ブロック１１２０の出力が、白色化されることなくスペクトル包絡線調整ブロック１１２８へと提供されるよう、バイパス線１１２６が起動される。
ビットストリームにおいては、２つ以上のレベルの白色化（１１２３）が信号化されており、これらのレベルは、タイル毎に信号化される。各タイルについて３つのレベルが信号化されている場合、これらは次の方法によって符号化される。
ｂｉｔ ＝ ｒｅａｄＢｉｔ（１）；
ｉｆ（ｂｉｔ ＝＝ １） ｛
ｆｏｒ（ｔｉｌｅ＿ｉｎｄｅｘ ＝ ０．．ｎＴ）
／＊ｓａｍｅ ｌｅｖｅｌｓ ａｓ ｌａｓｔ ｆｒａｍｅ＊／
ｗｈｉｔｅｎｉｎｇ＿ｌｅｖｅｌ［ｔｉｌｅ＿ｉｎｄｅｘ］ ＝ ｗｈｉｔｅｎｉｎｇ＿ｌｅｖｅｌ＿ｐｒｅｖ＿ｆｒａｍｅ［ｔｉｌｅ＿ｉｎｄｅｘ］；
｝ ｅｌｓｅ ｛
／＊ｆｉｒｓｔ ｔｉｌｅ：＊／
ｔｉｌｅ＿ｉｎｄｅｘ ＝ ０；
ｂｉｔ ＝ ｒｅａｄＢｉｔ（１）；
ｉｆ（ｂｉｔ ＝＝ １） ｛
ｗｈｉｔｅｎｉｎｇ＿ｌｅｖｅｌ［ｔｉｌｅ＿ｉｎｄｅｘ］ ＝ ＭＩＤ＿ＷＨＩＴＥＮＩＮＧ；
｝ ｅｌｓｅ ｛
ｂｉｔ ＝ ｒｅａｄＢｉｔ（１）；
ｉｆ（ｂｉｔ ＝＝ １） ｛
ｗｈｉｔｅｎｉｎｇ＿ｌｅｖｅｌ［ｔｉｌｅ＿ｉｎｄｅｘ］ ＝ ＳＴＲＯＮＧ＿ＷＨＩＴＥＮＩＮＧ；
｝ ｅｌｓｅ ｛
ｗｈｉｔｅｎｉｎｇ＿ｌｅｖｅｌ［ｔｉｌｅ＿ｉｎｄｅｘ］ ＝ ＯＦＦ； ／＊ｎｏ−ｗｈｉｔｅｎｉｎｇ＊／
｝
｝
／＊ｒｅｍａｉｎｉｎｇ ｔｉｌｅｓ：＊／
ｂｉｔ ＝ ｒｅａｄＢｉｔ（１）；
ｉｆ（ｂｉｔ ＝＝ １） ｛
／＊ｆｌａｔｔｅｎｉｎｇ ｌｅｖｅｌｓ ｆｏｒ ｒｅｍａｉｎｉｎｇ ｔｉｌｅｓ ｓａｍｅ ａｓ ｆｉｒｓｔ．＊／
／＊Ｎｏ ｆｕｒｔｈｅｒ ｂｉｔｓ ｈａｖｅ ｔｏ ｂｅ ｒｅａｄ＊／
ｆｏｒ（ｔｉｌｅ＿ｉｎｄｅｘ ＝ １．．ｎＴ）
ｗｈｉｔｅｎｉｎｇ＿ｌｅｖｅｌ［ｔｉｌｅ＿ｉｎｄｅｘ］ ＝ ｗｈｉｔｅｎｉｎｇ＿ｌｅｖｅｌ［０］；
｝ ｅｌｓｅ ｛
／＊ｒｅａｄ ｂｉｔｓ ｆｏｒ ｒｅｍａｉｎｉｎｇ ｔｉｌｅｓ ａｓ ｆｏｒ ｆｉｒｓｔ ｔｉｌｅ＊／
ｆｏｒ（ｔｉｌｅ＿ｉｎｄｅｘ ＝ １．．ｎＴ） ｛
ｂｉｔ ＝ ｒｅａｄＢｉｔ（１）；
ｉｆ（ｂｉｔ ＝＝ １） ｛
ｗｈｉｔｅｎｉｎｇ＿ｌｅｖｅｌ［ｔｉｌｅ＿ｉｎｄｅｘ］ ＝ ＭＩＤ＿ＷＨＩＴＥＮＩＮＧ；
｝ ｅｌｓｅ ｛
ｂｉｔ ＝ ｒｅａｄＢｉｔ（１）；
ｉｆ（ｂｉｔ ＝＝ １） ｛
ｗｈｉｔｅｎｉｎｇ＿ｌｅｖｅｌ［ｔｉｌｅ＿ｉｎｄｅｘ］ ＝ ＳＴＲＯＮＧ＿ＷＨＩＴＥＮＩＮＧ；
｝ ｅｌｓｅ ｛
ｗｈｉｔｅｎｉｎｇ＿ｌｅｖｅｌ［ｔｉｌｅ＿ｉｎｄｅｘ］ ＝ ＯＦＦ； ／＊ｎｏ−ｗｈｉｔｅｎｉｎｇ＊／
｝
｝
｝
｝
｝
ＭＩＤ＿ＷＨＩＴＥＮＩＮＧおよびＳＴＲＯＮＧ＿ＷＨＩＴＥＮＩＮＧは、包絡線が計算される方法（上述の通り）に違いを有する、異なる白色化フィルタ（１１２２）を意味する。
デコーダ側の周波数再生器は、粗いスペクトルタイル選択スキームのみが適用された場合、ソースレンジＩＤ１１２１によって制御されてもよい。しかしながら、微細に調整したスペクトルタイル選択スキームが適用されると、追加的に、ソースレンジ遅延１１１９が提供される。さらに、相関計算が負の結果だった場合には、ページデータスペクトル線のそれぞれに対して−１を乗じて負のサインに対処するよう、相関のサインもブロック１１２０に対して追加的に適用される。
したがって、図１１ａおよび１１ｂにて説明される本発明は、所定の目標または対象レンジについて最も整合するソースレンジがエンコーダ側で計算され、デコーダ側で適用されるという事実により、最適なオーディオ品質が得られるよう確保する。
図１１ｃは、オーディオ信号を符号化するオーディオエンコーダであって、時間スペクトル変換器１１３０、その後段に接続されたペクトル解析器１１３２、パラメータ計算器１１３４およびコア符号器１１３６を有するものを示す。コア符号器１１３６は、符号化されたソースレンジを出力し、パラメータ計算器１１３４は、対象レンジの整合情報を出力する。
符号化されたソースレンジは、図１１ａに示すデコーダが周波数再生を実施する位置に置かれるよう、対象レンジの整合情報とともにデコーダに送信される。
パラメータ計算器１１３４は、第１スペクトル部と第２スペクトル部の類似性を算出し、算出された類似性に基づき、第２スペクトル部について、この第２スペクトル部とできる限り整合する第１スペクトル部を決定する。図１２ａおよび１２ｂに示される異なるソースレンジと対象レンジの整合結果が、第２スペクトル部を有する選択された整合ペアを決定するのが好ましく、またパラメータ計算器は、整合ペアを符号化されたオーディオ信号において特定する、この整合情報を提供するよう構成される。このパラメータ計算器１１３４は、第２セットの第２スペクトル部において事前に設定された対象領域、または例えば図１２ｂに示す、第１セットの第１スペクトル部において事前に設定されたソース領域を使用するよう構成されることが好ましい。事前に設定された対象領域がオーバーラップしないか、または事前に設定されたソース領域がオーバーラップすることが好ましい。事前に設定されたソース領域が、図３ａのギャップ充填開始周波数３０９より下の第１フペクトル部の第１セットの部分集合である場合には、低スペクトル領域を対象とする事前に設定された対象領域は、いずれの対象レンジもギャップ充填開始周波数より上に位置し、かつソースレンジがギャップ充填開始周波数より下に位置するよう、その低周波数側境界においてギャップ充填開始周波に一致することが好ましい。
上述の通り、ソース領域に何ら遅延がないソース領域を有する対象領域と、ソース領域は同じだが所定の遅延があるものとを比較することにより、微細な粒度が得られる。これらの遅延は、図１１ｄのクロス相関性計算器１１４０において適用され、整合ペア選択は、タイル選択器１１４４によって最終的に行われる。
さらに、ブロック１１４２に示される、ソースおよび／またはターゲットレンジの白色化を実施することが好ましい。そしてこのブロック１１４２は、図１１ｂのデコーダ側スイッチ１１２３を制御するのに用いられるビットストリームに対して、白色化フラグを提供する。さらに、クロス相関計算器１１４０が負の結果を出した場合には、この負の結果もデコーダに対して信号化される。したがって、好適実施形態においては、タイル選択器は、対象レンジ、遅延、サインのためのソースレンジＩＤを出力し、ブロック１１４２は、追加的に白色化フラグを提供する。
さらに、パラメータ計算器１１３４は、類似性の閾値に基づきソースパッチを潜在的ソースタイルの集合から落とすよう潜在的ソースレンジの数を削減して、ソースタイル除去１１４６を実施するよう構成される。したがって、２つのソースタイルが類似性の閾値と同等にまたはこれを超過して類似する場合には、これらの２つのソースタイルのうち１つが潜在的ソースの集合から除去され、除去されたソースタイルは、以後の処理において一切使用されない。特に、タイル選択器１１４４は、この除去タイルを選択することはできないし、またブロック１１４０において実施される、異なるソースレンジと対象レンジとの間のクロス相関計算には使用されない。
異なる図面を参照して異なる実施形態を説明した。図１ａないし５ｃは、全レートまたは全帯域エンコーダ／デコーダスキームに関する。図６ａないし７ｅは、ＴＮＳまたはＴＴＳ処理を有するエンコーダ／デコーダに関する。図８ａないし８ｅは、特定２チャンネル処理を有するエンコーダ／デコーダスキームに関する。図９ａないし１０ｄは、特定エネルギ情報計算および適用に関し、図１１ａないし１２ｃは、タイル選択の所定方法に関する。
これらの異なる側面は、それぞれ独立して、発明として使用できるが、図２ａおよび２ｂに基本的に示すように、一緒に適用されてもよい。しかしながら、特定２チャンネル処理は、図１３に示すエンコーダ／デコーダスキームについても適用可能であり、デコーダ側における再構築帯域または適応ソースレンジ識別および対応アプリケーションにおける、ＴＮＳ／ＴＴＳ処理、包絡線エネルギ情報計算および適用についても同様のことがいえる。一方で、全レートの側面は、ＴＮＳ／ＴＴＳ処理とともに、またはこの処理を伴わずして適用されてもよく、また２チャンネル処理を伴っても伴わなくともよく、適応ソースレンジ識別を伴っても伴わなくともよい。あるいは、スペクトル包絡線表現の他の種のエネルギ計算とともに適用されてもよい。したがって、これらの個別の一側面の特徴は、他の側面にも適用できる。
一部の側面については、エンコーディングまたは復号化の装置の文脈において説明されたが、これらの側面は、対応する方法の記載も示すことは明らかであり、ブロックや装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法の観点から説明された側面もまた、対応するブロックもしくは物品または対応する装置の特徴の説明としても機能するものである。一部のまたは全ての方法ステップは、例えば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって（またはこれを用いて）実行されてもよい。一部の実施形態において、最も重要な方法ステップの１つ以上がこのような装置によって実行されてもよい。
所定の実施に係る要件次第では、発明の実施形態は、ハードウェアで実行されてもよいし、ソフトウェアで実行されてもよい。実施は、例えばフレキシブルディスク、ハードディスクドライブ（ＨＤＤ）、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（登録商標）、またはフラッシュメモリなどのような、電子的に読み取り可能な制御信号が蓄積されたデジタル蓄積媒体を用いてすることができ、当該方法が実行されるようこれらのデジタル蓄積媒体がプログラム可能なコンピュータシステムと連携する（または連携することできる）。したがって、デジタル蓄積媒体は、コンピュータに読み取り可能である。
本発明による一部の実施形態では、電子的に読み取り可能な制御信号を有するデータキャリアを含み、当該キャリアは、開示される方法のいずれかが実施されるよう、プログラム可能なコンピュータシステムと連携することができる。
概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実行されてもよく、このようなプログラムコードは、コンピュータプログラム製品がコンピュータにおいて実行されるとき、上記方法のいずれかを実施するよう動作する。このプログラムコードは、例えば機械で読み取り可能なキャリアに蓄積されてもよい。
その他の実施形態においては、開示されるいずれかの方法を実行する、機械で読み取り可能なキャリアに蓄積されたコンピュータプログラムを有する。
つまり、本発明に係る方法は、その一実施形態においては、コンピュータプログラムがコンピュータで実行されたとき、開示されるいずれかの方法を実行するプログラムコードを有するコンピュータプログラムとして構成される。
本発明に係る方法のさらなる実施形態は、したがって、開示される方法のいずれかを実施するコンピュータプログラムが蓄積されたデータキャリア（またはデジタル蓄積媒体またはコンピュータに読み取り可能な媒体）として構成される。データキャリア、デジタル蓄積媒体、または蓄積媒体は、一般的には有形でおよび／または固定的である。
本発明に係る方法のさらなる実施形態は、したがって、開示される方法のいずれかを実施するコンピュータプログラムを示すデータストリームまたは信号シーケンスとして構成される。このデータストリームまたは信号シーケンスは、例えば、データコミュニケーション接続（例えばインターネットなど）を介して送られるよう構成されてもよい。
その他の実施形態においては、開示されるいずれかの方法を実行するよう構成または適応された処理手段、例えばコンピュータ、プログラム可能な論理機構を有する。
その他の実施形態においては、開示されるいずれかの方法を実行するコンピュータプログラムをインストールしたコンピュータを有する。
本発明によるその他の実施形態においては、開示されるいずれかの方法を実行するコンピュータプログラムを、受信器に対して移動（例えば電子的にまたは選択的に）させるよう構成された装置またはシステムを有する。受信器は、例えばコンピュータや携帯機器、メモリ機器などであってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信器側に移動させるファイルサーバを有してもよい。
一部の実施形態においては、開示される方法の機能の一部または全部を実行するために、プログラム可能な論理機構（例えば、フィールドプログラマブルゲートアレイ）を用いてもよい。一部の実施形態においては、開示される方法のいずれかを実行するために、フィールドプログラマブルゲートアレイとマイクロプロセッサとを連携させてもよい。一般に、これらの方法はハードウェア装置によって実行されることが好ましい。
上述の実施形態は、本発明の原理を単に示すに過ぎない。この明細書に開示する構成や詳細に対して変更または変形を施すことができることは、当業者にとって明らかであると理解される。したがって、次に続く特許請求の範囲によってのみ制限される趣旨であり、実施形態の記載または説明によってなされた特定の詳細によっては、何ら限定されない。
Ｄｉｅｔｚ， Ｌ． Ｌｉｌｊｅｒｙｄ， Ｋ． Ｋｊｏｅｒｌｉｎｇ ａｎｄ Ｏ． Ｋｕｎｚ， "Ｓｐｅｃｔｒａｌ Ｂａｎｄ Ｒｅｐｌｉｃａｔｉｏｎ， ａ ｎｏｖｅｌ ａｐｐｒｏａｃｈ ｉｎ ａｕｄｉｏ ｃｏｄｉｎｇ，" ｉｎ １１２ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ， Ｍｕｎｉｃｈ， Ｍａｙ ２００２． Ｆｅｒｒｅｉｒａ， Ｄ． Ｓｉｎｈａ， "Ａｃｃｕｒａｔｅ Ｓｐｅｃｔｒａｌ Ｒｅｐｌａｃｅｍｅｎｔ"， Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ Ｃｏｎｖｅｎｔｉｏｎ， Ｂａｒｃｅｌｏｎａ， Ｓｐａｉｎ ２００５． Ｄ． Ｓｉｎｈａ， Ａ． Ｆｅｒｒｅｉｒａ１ ａｎｄ Ｅ． Ｈａｒｉｎａｒａｙａｎａｎ， "Ａ Ｎｏｖｅｌ Ｉｎｔｅｇｒａｔｅｄ Ａｕｄｉｏ Ｂａｎｄｗｉｄｔｈ Ｅｘｔｅｎｓｉｏｎ Ｔｏｏｌｋｉｔ （ＡＢＥＴ）"， Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ Ｃｏｎｖｅｎｔｉｏｎ， Ｐａｒｉｓ， Ｆｒａｎｃｅ ２００６． Ｒ． Ａｎｎａｄａｎａ， Ｅ． Ｈａｒｉｎａｒａｙａｎａｎ， Ａ． Ｆｅｒｒｅｉｒａ ａｎｄ Ｄ． Ｓｉｎｈａ， "Ｎｅｗ Ｒｅｓｕｌｔｓ ｉｎ Ｌｏｗ Ｂｉｔ Ｒａｔｅ Ｓｐｅｅｃｈ Ｃｏｄｉｎｇ ａｎｄ Ｂａｎｄｗｉｄｔｈ Ｅｘｔｅｎｓｉｏｎ"， Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ Ｃｏｎｖｅｎｔｉｏｎ， Ｓａｎ Ｆｒａｎｃｉｓｃｏ， ＵＳＡ ２００６． Ｔ． Ｚｅｒｎｉｃｋｉ， Ｍ． Ｂａｒｔｋｏｗｉａｋ， "Ａｕｄｉｏ ｂａｎｄｗｉｄｔｈ ｅｘｔｅｎｓｉｏｎ ｂｙ ｆｒｅｑｕｅｎｃｙ ｓｃａｌｉｎｇ ｏｆ ｓｉｎｕｓｏｉｄａｌ ｐａｒｔｉａｌｓ"， Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ Ｃｏｎｖｅｎｔｉｏｎ， Ｓａｎ Ｆｒａｎｃｉｓｃｏ， ＵＳＡ ２００８． Ｊ． Ｈｅｒｒｅ， Ｄ． Ｓｃｈｕｌｚ， Ｅｘｔｅｎｄｉｎｇ ｔｈｅ ＭＰＥＧ−４ ＡＡＣ Ｃｏｄｅｃ ｂｙ Ｐｅｒｃｅｐｔｕａｌ Ｎｏｉｓｅ Ｓｕｂｓｔｉｔｕｔｉｏｎ， １０４ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ， Ａｍｓｔｅｒｄａｍ， １９９８， Ｐｒｅｐｒｉｎｔ ４７２０． Ｍ． Ｎｅｕｅｎｄｏｒｆ， Ｍ． Ｍｕｌｔｒｕｓ， Ｎ． Ｒｅｔｔｅｌｂａｃｈ， ｅｔ ａｌ．， ＭＰＥＧ Ｕｎｉｆｉｅｄ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ−Ｔｈｅ ＩＳＯ／ＭＰＥＧ Ｓｔａｎｄａｒｄ ｆｏｒ Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ａｕｄｉｏ Ｃｏｄｉｎｇ ｏｆ ａｌｌ Ｃｏｎｔｅｎｔ Ｔｙｐｅｓ， １３２ｎｄ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ， Ｂｕｄａｐｅｓｔ， Ｈｕｎｇａｒｙ， Ａｐｒｉｌ， ２０１２． ＭｃＡｕｌａｙ， Ｒｏｂｅｒｔ Ｊ．， Ｑｕａｔｉｅｒｉ， Ｔｈｏｍａｓ Ｆ． "Ｓｐｅｅｃｈ Ａｎａｌｙｓｉｓ／Ｓｙｎｔｈｅｓｉｓ Ｂａｓｅｄ ｏｎ ａ Ｓｉｎｕｓｏｉｄａｌ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ"． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ， Ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌ ３４（４）， Ａｕｇｕｓｔ １９８６． Ｓｍｉｔｈ， Ｊ．Ｏ．， Ｓｅｒｒａ， Ｘ． "ＰＡＲＳＨＬ： Ａｎ ａｎａｌｙｓｉｓ／ｓｙｎｔｈｅｓｉｓ ｐｒｏｇｒａｍ ｆｏｒ ｎｏｎ−ｈａｒｍｏｎｉｃ ｓｏｕｎｄｓ ｂａｓｅｄ ｏｎ ａ ｓｉｎｕｓｏｉｄａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ"， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｕｓｉｃ Ｃｏｎｆｅｒｅｎｃｅ， １９８７． Ｐｕｒｎｈａｇｅｎ， Ｈ．； Ｍｅｉｎｅ， Ｎｉｋｏｌａｕｓ， "ＨＩＬＮ−ｔｈｅ ＭＰＥＧ−４ ｐａｒａｍｅｔｒｉｃ ａｕｄｉｏ ｃｏｄｉｎｇ ｔｏｏｌｓ"， Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ， ２０００． Ｐｒｏｃｅｅｄｉｎｇｓ． ＩＳＣＡＳ ２０００ Ｇｅｎｅｖａ． Ｔｈｅ ２０００ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ ， ｖｏｌ．３， ｎｏ．， ｐｐ．２０１，２０４ ｖｏｌ．３， ２０００ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ ＩＳＯ／ＩＥＣ １３８１８−３， "Ｇｅｎｅｒｉｃ Ｃｏｄｉｎｇ ｏｆ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ ａｎｄ Ａｓｓｏｃｉａｔｅｄ Ａｕｄｉｏ： Ａｕｄｉｏ"， Ｇｅｎｅｖａ， １９９８． Ｍ． Ｂｏｓｉ， Ｋ． Ｂｒａｎｄｅｎｂｕｒｇ， Ｓ． Ｑｕａｃｋｅｎｂｕｓｈ， Ｌ． Ｆｉｅｌｄｅｒ， Ｋ． Ａｋａｇｉｒｉ， Ｈ． Ｆｕｃｈｓ， Ｍ． Ｄｉｅｔｚ， Ｊ． Ｈｅｒｒｅ， Ｇ． Ｄａｖｉｄｓｏｎ， Ｏｉｋａｗａ： "ＭＰＥＧ−２ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ"， １０１ｓｔ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ， Ｌｏｓ Ａｎｇｅｌｅｓ １９９６ Ｊ． Ｈｅｒｒｅ， "Ｔｅｍｐｏｒａｌ Ｎｏｉｓｅ Ｓｈａｐｉｎｇ， Ｑｕａｎｔｉｚａｔｉｏｎ ａｎｄ Ｃｏｄｉｎｇ ｍｅｔｈｏｄｓ ｉｎ Ｐｅｒｃｅｐｔｕａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ： Ａ Ｔｕｔｏｒｉａｌ ｉｎｔｒｏｄｕｃｔｉｏｎ"， １７ｔｈ ＡＥＳ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｉｇｈ Ｑｕａｌｉｔｙ Ａｕｄｉｏ Ｃｏｄｉｎｇ， Ａｕｇｕｓｔ １９９９ Ｊ． Ｈｅｒｒｅ， "Ｔｅｍｐｏｒａｌ Ｎｏｉｓｅ Ｓｈａｐｉｎｇ， Ｑｕａｎｔｉｚａｔｉｏｎ ａｎｄ Ｃｏｄｉｎｇ ｍｅｔｈｏｄｓ ｉｎ Ｐｅｒｃｅｐｔｕａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ： Ａ Ｔｕｔｏｒｉａｌ ｉｎｔｒｏｄｕｃｔｉｏｎ"， １７ｔｈ ＡＥＳ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｉｇｈ Ｑｕａｌｉｔｙ Ａｕｄｉｏ Ｃｏｄｉｎｇ， Ａｕｇｕｓｔ １９９９ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ ＩＳＯ／ＩＥＣ ２３００１−３：２０１０， Ｕｎｉｆｉｅｄ ｓｐｅｅｃｈ ａｎｄ ａｕｄｉｏ ｃｏｄｉｎｇ Ａｕｄｉｏ， Ｇｅｎｅｖａ， ２０１０． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ ＩＳＯ／ＩＥＣ １４４９６−３：２００５， Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ − Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ − Ｐａｒｔ ３： Ａｕｄｉｏ， Ｇｅｎｅｖａ， ２００５． Ｐ． Ｅｋｓｔｒａｎｄ， "Ｂａｎｄｗｉｄｔｈ Ｅｘｔｅｎｓｉｏｎ ｏｆ Ａｕｄｉｏ Ｓｉｇｎａｌｓ ｂｙ Ｓｐｅｃｔｒａｌ Ｂａｎｄ Ｒｅｐｌｉｃａｔｉｏｎ"， ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １ｓｔ ＩＥＥＥ Ｂｅｎｅｌｕｘ Ｗｏｒｋｓｈｏｐ ｏｎ ＭＰＣＡ， Ｌｅｕｖｅｎ， Ｎｏｖｅｍｂｅｒ ２００２ Ｆ． Ｎａｇｅｌ， Ｓ． Ｄｉｓｃｈ， Ｓ． Ｗｉｌｄｅ， Ａ ｃｏｎｔｉｎｕｏｕｓ ｍｏｄｕｌａｔｅｄ ｓｉｎｇｌｅ ｓｉｄｅｂａｎｄ ｂａｎｄｗｉｄｔｈ ｅｘｔｅｎｓｉｏｎ， ＩＣＡＳＳＰ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ， Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， Ｄａｌｌａｓ， Ｔｅｘａｓ （ＵＳＡ）， Ａｐｒｉｌ ２０１０

Claims (11)

  1. 符号化オーディオ信号を生成するオーディオエンコーダにおいて、
    オーディオ信号をスペクトル表現に変換する時間スペクトル変換器（１００２）と、
    前記オーディオ信号の前記スペクトル表現を解析して、第１解像度で符号化される第１セットの第１スペクトル部と、前記第１解像度より低い第２解像度で符号化される第２セットの第２スペクトル部とを判定するスペクトルアナライザ（１００４）と、
    第１スペクトル部のスペクトル値を含み第２スペクトル部を含む再構築帯域に対してエネルギ情報を提供するパラメータ計算器（１００６）と、
    前記第１スペクトル解像度を有する前記第１セットの第１スペクトル部の第１符号化表現を生成し、この第１符号化表現はスケールファクタを含み、スケールファクタ帯域に対して前記スケールファクタを提供するオーディオエンコーダ（１００８）と
    を備え、
    前記パラメータ計算器（１００６）は、前記第２セットの第２スペクトル部の第２符号化表現を生成する構成であり、前記第２符号化表現は前記再構築帯域に対するエネルギ情報を含み、
    前記再構築帯域は、スケールファクタ帯域またはそのグループに一致し、前記第１符号化表現は、前記再構築帯域内に含まれる前記スケールファクタ帯域に対するスケールファクタを含む
    オーディオエンコーダ。
  2. 請求項１に記載のオーディオエンコーダにおいて、前記再構築帯域の１以上のスケールファクタ帯域に対する前記１以上のスケールファクタを心理音響マスク閾値（４０２）を用いて計算する構成であることを特徴とするオーディオエンコーダ。
  3. 請求項１または２に記載のオーディオエンコーダにおいて、前記再構築帯域内の１以上のスケールファクタ帯域内のエネルギを前記再構築帯域内の前記１以上のスケールファクタ帯域内の複数のスペクトル値により正規化する構成であり、複数の異なる再構築帯域の異なる再構築帯域は異なる数のスペクトル値を有することを特徴とするオーディオエンコーダ。
  4. 請求項１から３のいずれか１項に記載のオーディオエンコーダにおいて、前記オーディオエンコーダ（１００８）は、長ブロックと短ブロックとを切り替え、転送されたスケールファクタの計算でブロックのグループ分けを行う構成であり、前記パラメータ計算器（１００６）は、前記オーディオエンコーダ（１００８）によりなされたと同等の前記エネルギ情報のグループ分けを実行する構成であることを特徴とするオーディオエンコーダ。
  5. 請求項１から４のいずれか１項に記載のオーディオエンコーダにおいて、前記パラメータ計算器（１００６）は、前記スケールファクタ帯域の周波数境界と一致する周波数境界を有する再構築帯域を用いる構成であることを特徴とするオーディオエンコーダ。
  6. 請求項１から５のいずれか１項に記載のオーディオエンコーダにおいて、前記パラメータ計算器（１００６）は、２以上のスケールファクタ帯域にわたって延びる前記再構築帯域を使用し、前記２以上のスケールファクタ帯域に対するエネルギ情報を、前記２以上のスケールファクタ帯域に対するグループ分けされたエネルギ情報として計算する構成である
    ことを特徴とするオーディオエンコーダ。
  7. 請求項１から６のいずれか１項に記載のオーディオエンコーダにおいて、前記パラメータ計算器（１００６）は、前記再構築帯域の前記エネルギ情報を使用し、付加的に、前記符号化オーディオ信号を復号化する装置内で前記再構築帯域を再構築するための再構築帯域に関連付けられるソースレンジのエネルギ情報を使用して、前記再構築帯域に対するエネルギ情報を計算する構成であることを特徴とするオーディオエンコーダ。
  8. 請求項７に記載のオーディオエンコーダにおいて、前記パラメータ計算器（１００６）は、オーディオ信号の複素スペクトルの再構築帯域のエネルギ情報（Ｅｏｋ）を計算し、前記符号化オーディオ信号を復号化する装置内で再構築帯域を再構築するため再構築帯域に関連付けられたオーディオ信号の複素スペクトルの実部のソースレンジのさらなるエネルギ情報（Ｅｒｋ）を計算する構成であり、前記パラメータ計算器は、前記エネルギ情報（Ｅｏｋ）および前記さらなるエネルギ情報（Ｅｒｋ）を用いて再構築帯域に対するエネルギ情報を計算する構成であることを特徴とするオーディオエンコーダ。
  9. 請求項１から８のいずれか１項に記載のオーディオエンコーダにおいて、
    前記パラメータ計算器（１００６）は、
    オーディオ信号の複素スペクトルの再構築帯域内のスケールファクタ帯域のエネルギ情報を第１エネルギ情報（Ｅｏｋ）として決定し、
    前記オーディオ信号を再構成するための装置内で再構築帯域を再構成するための再構築帯域に関連付けられる前記オーディオ信号の複素スペクトルの実部のソースレンジのエネルギ情報を第２エネルギ情報（Ｅｔｋ）として決定し、
    前記オーディオ信号を再構成するための装置内で再構築帯域を再構成するための再構築帯域に関連付けられる前記オーディオ信号の複素スペクトルのソースレンジのエネルギ情報を第３エネルギ情報（Ｅｒｋ）として決定し、
    前記第１エネルギ情報、前記第２エネルギ情報および前記第３エネルギ情報の少なくとも２つの間の相関に基づいて重み付け情報を決定し、
    前記第１エネルギ情報と前記第３エネルギ情報の一方に前記重み付け情報を用いて重み付けして重み付けされた情報を取得し、この重み付けされた情報を前記再構築帯域に対するエネルギ情報として用いる
    ことを特徴とするオーディオエンコーダ。
  10. 第１セットの第１スペクトル部の符号化表現と、第２セットの第２スペクトル部に対するスペクトルエネルギ情報を示すパラメトリックデータの符号化表現と、を含む符号化オーディオ信号を復号化する復号方法において、
    前記第１セットの第１スペクトル部の符号化表現（９０１ｂ）を復号（９００）して第１セットの第１スペクトル部（９０４）を取得し、パラメトリックデータの符号化表現を復号（９００）して、前記第１セットの第１スペクトル部と前記第２セットの第２スペクトル部のひとつの第２スペクトル部とのスペクトル値を含む個別の再構築帯域に対する個別エネルギ情報を示す復号化パラメトリックデータ（９０２）を取得し、
    第２スペクトル部（９２２，９２３）を含む再構築帯域（９２０）内のスペクトル値を、前記第１セットの第１スペクトル部のひとつの第１スペクトル部（９２１）と前記第２スペクトル部とを含む再構築帯域に対する個別エネルギ情報とを使用して、再構築（９０６）し、
    前記再構築（９０６）は、
    再構築帯域内の周波数値を有する蓄積された前記第１セットの第１スペクトル部のひとつの第１スペクトル部のエネルギ情報を含む残存エネルギを判定（９１２）し、
    前記再構築帯域（９２０）内に周波数を有するさらなるスペクトル部（９２２，９２３）とは異なる周波数値に対して、前記再構築帯域（９２０）の、周波数再生成により再構築帯域内の前記第１スペクトル部（９２１，３０６）とは異なる第１スペクトル部（３０２）を用いて生成される、さらなるスペクトル部（９２２，９２３）のタイルエネルギ情報を判定（９１８）し、
    前記再構築帯域（９２０）内の消失エネルギ情報を、前記再構築帯域に対する個別エネルギ情報と残存エネルギ情報とを用いて判定（９１４）し、
    前記再構築帯域（９２０）内の前記第２スペクトル部（９２２，９２３）を、前記消失エネルギ情報と前記タイルエネルギ情報とに基づいて、調整（９１６）する
    復号方法。
  11. コンピュータまたはプロセッサで動作するとき、請求項１０に記載の方法を実行するコンピュータプログラム。
JP2017234677A 2013-07-22 2017-12-06 オーディオエンコーダ、符号化方法およびコンピュータプログラム Active JP6691093B2 (ja)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
EP13177346 2013-07-22
EP13177350.9 2013-07-22
EP13177348 2013-07-22
EP13177346.7 2013-07-22
EP13177353 2013-07-22
EP13177348.3 2013-07-22
EP13177353.3 2013-07-22
EP13177350 2013-07-22
EP13189374.5A EP2830059A1 (en) 2013-07-22 2013-10-18 Noise filling energy adjustment
EP13189374.5 2013-10-18

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016528414A Division JP6389254B2 (ja) 2013-07-22 2014-07-15 復号装置、復号方法およびコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020000087A Division JP7092809B2 (ja) 2013-07-22 2020-01-06 再構築帯域に対するエネルギ情報を用いてオーディオ信号を復号化または符号化する装置および方法

Publications (2)

Publication Number Publication Date
JP2018077487A true JP2018077487A (ja) 2018-05-17
JP6691093B2 JP6691093B2 (ja) 2020-04-28

Family

ID=49385156

Family Applications (12)

Application Number Title Priority Date Filing Date
JP2016528416A Active JP6186082B2 (ja) 2013-07-22 2014-07-15 オーディオ信号を適応スペクトルタイル選択を用いて復号化および符号化する装置および方法
JP2016528413A Active JP6321797B2 (ja) 2013-07-22 2014-07-15 符号化装置、符号化方法およびコンピュータプログラム
JP2015544509A Active JP6144773B2 (ja) 2013-07-22 2014-07-15 時間雑音／パッチ整形を用いる符号化オーディオ信号の符号化および復号化装置および方法
JP2016528412A Active JP6310074B2 (ja) 2013-07-22 2014-07-15 インテリジェントギャップ充填フレームワーク内の２チャネル処理を用いるオーディオ符号器、オーディオ復号器およびその方法
JP2016528414A Active JP6389254B2 (ja) 2013-07-22 2014-07-15 復号装置、復号方法およびコンピュータプログラム
JP2016528417A Expired - Fee Related JP6400702B2 (ja) 2013-07-22 2014-07-15 符号化オーディオ信号の復号装置、方法およびコンピュータプログラム
JP2016528415A Active JP6306702B2 (ja) 2013-07-22 2014-07-15 符号化オーディオ信号の復号装置、方法およびコンピュータプログラム
JP2017182327A Active JP6705787B2 (ja) 2013-07-22 2017-09-22 復号装置、復号方法およびコンピュータプログラム
JP2017216774A Expired - Fee Related JP6568566B2 (ja) 2013-07-22 2017-11-09 符号化オーディオ信号の復号装置、方法およびコンピュータプログラム
JP2017234677A Active JP6691093B2 (ja) 2013-07-22 2017-12-06 オーディオエンコーダ、符号化方法およびコンピュータプログラム
JP2020000087A Active JP7092809B2 (ja) 2013-07-22 2020-01-06 再構築帯域に対するエネルギ情報を用いてオーディオ信号を復号化または符号化する装置および方法
JP2022097243A Active JP7483792B2 (ja) 2013-07-22 2022-06-16 符号化オーディオ信号を復号する復号装置および復号方法

Family Applications Before (9)

Application Number Title Priority Date Filing Date
JP2016528416A Active JP6186082B2 (ja) 2013-07-22 2014-07-15 オーディオ信号を適応スペクトルタイル選択を用いて復号化および符号化する装置および方法
JP2016528413A Active JP6321797B2 (ja) 2013-07-22 2014-07-15 符号化装置、符号化方法およびコンピュータプログラム
JP2015544509A Active JP6144773B2 (ja) 2013-07-22 2014-07-15 時間雑音／パッチ整形を用いる符号化オーディオ信号の符号化および復号化装置および方法
JP2016528412A Active JP6310074B2 (ja) 2013-07-22 2014-07-15 インテリジェントギャップ充填フレームワーク内の２チャネル処理を用いるオーディオ符号器、オーディオ復号器およびその方法
JP2016528414A Active JP6389254B2 (ja) 2013-07-22 2014-07-15 復号装置、復号方法およびコンピュータプログラム
JP2016528417A Expired - Fee Related JP6400702B2 (ja) 2013-07-22 2014-07-15 符号化オーディオ信号の復号装置、方法およびコンピュータプログラム
JP2016528415A Active JP6306702B2 (ja) 2013-07-22 2014-07-15 符号化オーディオ信号の復号装置、方法およびコンピュータプログラム
JP2017182327A Active JP6705787B2 (ja) 2013-07-22 2017-09-22 復号装置、復号方法およびコンピュータプログラム
JP2017216774A Expired - Fee Related JP6568566B2 (ja) 2013-07-22 2017-11-09 符号化オーディオ信号の復号装置、方法およびコンピュータプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020000087A Active JP7092809B2 (ja) 2013-07-22 2020-01-06 再構築帯域に対するエネルギ情報を用いてオーディオ信号を復号化または符号化する装置および方法
JP2022097243A Active JP7483792B2 (ja) 2013-07-22 2022-06-16 符号化オーディオ信号を復号する復号装置および復号方法

Country Status (19)

Country Link
US (24) US10332539B2 (ja)
EP (20) EP2830059A1 (ja)
JP (12) JP6186082B2 (ja)
KR (7) KR101807836B1 (ja)
CN (12) CN105453175B (ja)
AU (7) AU2014295298B2 (ja)
BR (12) BR112015007533B1 (ja)
CA (8) CA2886505C (ja)
ES (9) ES2813940T3 (ja)
MX (7) MX340575B (ja)
MY (5) MY180759A (ja)
PL (8) PL3407350T3 (ja)
PT (7) PT3025343T (ja)
RU (7) RU2649940C2 (ja)
SG (7) SG11201600506VA (ja)
TR (1) TR201816157T4 (ja)
TW (7) TWI545558B (ja)
WO (7) WO2015010948A1 (ja)
ZA (5) ZA201502262B (ja)

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0726265Y2 (ja) 1986-06-20 1995-06-14 三菱自動車工業株式会社 スイングア−ム式パ−ツ搬送装置
JP5945626B2 (ja) * 2012-03-29 2016-07-05 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ハーモニックオーディオ信号の帯域幅拡張
TWI546799B (zh) 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
EP2830051A3 (en) 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
EP2830059A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Noise filling energy adjustment
CN110890101B (zh) 2013-08-28 2024-01-12 杜比实验室特许公司 用于基于语音增强元数据进行解码的方法和设备
FR3011408A1 (fr) * 2013-09-30 2015-04-03 Orange Re-echantillonnage d'un signal audio pour un codage/decodage a bas retard
PL3117432T3 (pl) * 2014-03-14 2019-10-31 Ericsson Telefon Ab L M Sposób i aparatura do kodowania audio
EP2980795A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor
EP2980794A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
CN112967727B (zh) 2014-12-09 2024-11-01 杜比国际公司 Mdct域错误掩盖
WO2016142002A1 (en) 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
TWI856342B (zh) 2015-03-13 2024-09-21 瑞典商杜比國際公司 音訊處理單元、用於將經編碼的音訊位元流解碼之方法以及非暫態電腦可讀媒體
GB201504403D0 (en) 2015-03-16 2015-04-29 Microsoft Technology Licensing Llc Adapting encoded bandwidth
EP3107096A1 (en) * 2015-06-16 2016-12-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downscaled decoding
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
EP3171362B1 (en) * 2015-11-19 2019-08-28 Harman Becker Automotive Systems GmbH Bass enhancement and separation of an audio signal into a harmonic and transient signal component
EP3182411A1 (en) 2015-12-14 2017-06-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing an encoded audio signal
WO2017125544A1 (en) * 2016-01-22 2017-07-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for mdct m/s stereo with global ild with improved mid/side decision
WO2017125563A1 (en) 2016-01-22 2017-07-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for estimating an inter-channel time difference
EP3208800A1 (en) 2016-02-17 2017-08-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for stereo filing in multichannel coding
DE102016104665A1 (de) 2016-03-14 2017-09-14 Ask Industries Gmbh Verfahren und Vorrichtung zur Aufbereitung eines verlustbehaftet komprimierten Audiosignals
US10741196B2 (en) 2016-03-24 2020-08-11 Harman International Industries, Incorporated Signal quality-based enhancement and compensation of compressed audio signals
US9984701B2 (en) 2016-06-10 2018-05-29 Apple Inc. Noise detection and removal systems, and related methods
JP6976277B2 (ja) 2016-06-22 2021-12-08 ドルビー・インターナショナル・アーベー 第一の周波数領域から第二の周波数領域にデジタル・オーディオ信号を変換するためのオーディオ・デコーダおよび方法
US10249307B2 (en) * 2016-06-27 2019-04-02 Qualcomm Incorporated Audio decoding using intermediate sampling rate
US10812550B1 (en) * 2016-08-03 2020-10-20 Amazon Technologies, Inc. Bitrate allocation for a multichannel media stream
EP3288031A1 (en) 2016-08-23 2018-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding an audio signal using a compensation value
US9679578B1 (en) 2016-08-31 2017-06-13 Sorenson Ip Holdings, Llc Signal clipping compensation
EP3306609A1 (en) 2016-10-04 2018-04-11 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatus and method for determining a pitch information
US10362423B2 (en) 2016-10-13 2019-07-23 Qualcomm Incorporated Parametric audio decoding
EP3324406A1 (en) 2016-11-17 2018-05-23 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatus and method for decomposing an audio signal using a variable threshold
JP6769299B2 (ja) * 2016-12-27 2020-10-14 富士通株式会社 オーディオ符号化装置およびオーディオ符号化方法
US10304468B2 (en) * 2017-03-20 2019-05-28 Qualcomm Incorporated Target sample generation
US10090892B1 (en) * 2017-03-20 2018-10-02 Intel Corporation Apparatus and a method for data detecting using a low bit analog-to-digital converter
US10354669B2 (en) 2017-03-22 2019-07-16 Immersion Networks, Inc. System and method for processing audio data
EP3382701A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for post-processing an audio signal using prediction based shaping
EP3382703A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and methods for processing an audio signal
EP3382700A1 (en) 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for post-processing an audio signal using a transient location detection
RU2727794C1 (ru) 2017-05-18 2020-07-24 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Управляющее сетевое устройство
US11550665B2 (en) 2017-06-02 2023-01-10 Apple Inc. Techniques for preserving clone relationships between files
KR102587134B1 (ko) * 2017-06-19 2023-10-06 알티엑스 에이에스 음성 신호 인코딩 및 디코딩
JP7257975B2 (ja) 2017-07-03 2023-04-14 ドルビー・インターナショナル・アーベー 密集性の過渡事象の検出及び符号化の複雑さの低減
JP6904209B2 (ja) * 2017-07-28 2021-07-14 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法およびオーディオ符号化プログラム
JP7214726B2 (ja) * 2017-10-27 2023-01-30 フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ ニューラルネットワークプロセッサを用いた帯域幅が拡張されたオーディオ信号を生成するための装置、方法またはコンピュータプログラム
EP3483878A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
EP3483883A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
EP3483880A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
EP3483882A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
WO2019091573A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an audio signal using downsampling or interpolation of scale parameters
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
TWI834582B (zh) 2018-01-26 2024-03-01 瑞典商都比國際公司 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體
US11771779B2 (en) * 2018-01-26 2023-10-03 Hadasit Medical Research Services & Development Limited Non-metallic magnetic resonance contrast agent
DE112018006786B4 (de) * 2018-02-09 2021-12-23 Mitsubishi Electric Corporation Audiosignal-Verarbeitungsvorrichtung und Audiosignal-Verarbeitungsverfahren
US10950251B2 (en) * 2018-03-05 2021-03-16 Dts, Inc. Coding of harmonic signals in transform-based audio codecs
CN118782079A (zh) 2018-04-25 2024-10-15 杜比国际公司 高频音频重建技术的集成
IL313348B1 (en) * 2018-04-25 2025-04-01 Dolby Int Ab Combining high-frequency reconstruction techniques with reduced post-processing delay
EP3576088A1 (en) * 2018-05-30 2019-12-04 Fraunhofer Gesellschaft zur Förderung der Angewand Audio similarity evaluator, audio encoder, methods and computer program
PL3818520T3 (pl) * 2018-07-04 2024-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Wielo-sygnałowe enkodowanie audio z wykorzystaniem wybielania sygnału jako przetwarzania wstępnego
CN109088617B (zh) * 2018-09-20 2021-06-04 电子科技大学 比率可变数字重采样滤波器
US10847172B2 (en) * 2018-12-17 2020-11-24 Microsoft Technology Licensing, Llc Phase quantization in a speech encoder
US10957331B2 (en) 2018-12-17 2021-03-23 Microsoft Technology Licensing, Llc Phase reconstruction in a speech decoder
EP3671741A1 (en) * 2018-12-21 2020-06-24 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Audio processor and method for generating a frequency-enhanced audio signal using pulse processing
WO2020146868A1 (en) * 2019-01-13 2020-07-16 Huawei Technologies Co., Ltd. High resolution audio coding
WO2020146870A1 (en) * 2019-01-13 2020-07-16 Huawei Technologies Co., Ltd. High resolution audio coding
WO2020185522A1 (en) * 2019-03-14 2020-09-17 Boomcloud 360, Inc. Spatially aware multiband compression system with priority
CN110265043B (zh) * 2019-06-03 2021-06-01 同响科技股份有限公司 自适应有损或无损的音频压缩和解压缩演算方法
WO2020253941A1 (en) * 2019-06-17 2020-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder with a signal-dependent number and precision control, audio decoder, and related methods and computer programs
EP4005228A1 (en) 2019-07-30 2022-06-01 Dolby Laboratories Licensing Corporation Acoustic echo cancellation control for distributed audio devices
US11527252B2 (en) 2019-08-30 2022-12-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. MDCT M/S stereo
WO2021086965A1 (en) 2019-10-30 2021-05-06 Dolby Laboratories Licensing Corporation Bitrate distribution in immersive voice and audio services
TWI702780B (zh) * 2019-12-03 2020-08-21 財團法人工業技術研究院 提升共模瞬變抗擾度的隔離器及訊號產生方法
CN111862953B (zh) * 2019-12-05 2023-08-22 北京嘀嘀无限科技发展有限公司 语音识别模型的训练方法、语音识别方法及装置
US11158297B2 (en) * 2020-01-13 2021-10-26 International Business Machines Corporation Timbre creation system
CN113192517B (zh) * 2020-01-13 2024-04-26 华为技术有限公司 一种音频编解码方法和音频编解码设备
WO2021154211A1 (en) * 2020-01-28 2021-08-05 Hewlett-Packard Development Company, L.P. Multi-channel decomposition and harmonic synthesis
CN111199743B (zh) * 2020-02-28 2023-08-18 Oppo广东移动通信有限公司 音频编码格式确定方法、装置、存储介质及电子设备
CN111429925B (zh) * 2020-04-10 2023-04-07 北京百瑞互联技术有限公司 一种降低音频编码速率的方法及系统
CN113593586B (zh) * 2020-04-15 2025-01-10 华为技术有限公司 音频信号编码方法、解码方法、编码设备以及解码设备
CN111371459B (zh) * 2020-04-26 2023-04-18 宁夏隆基宁光仪表股份有限公司 一种适用于智能电表的多操作高频替换式数据压缩方法
CN113782040B (zh) * 2020-05-22 2024-07-30 华为技术有限公司 基于心理声学的音频编码方法及装置
CN113808597B (zh) * 2020-05-30 2024-10-29 华为技术有限公司 一种音频编码方法和音频编码装置
CN113808596B (zh) * 2020-05-30 2025-01-03 华为技术有限公司 一种音频编码方法和音频编码装置
JP2023530409A (ja) * 2020-06-11 2023-07-18 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチチャンネル入力信号内の空間バックグラウンドノイズを符号化および／または復号するための方法およびデバイス
WO2021258350A1 (zh) * 2020-06-24 2021-12-30 华为技术有限公司 一种音频信号处理方法和装置
US20230230605A1 (en) * 2020-08-28 2023-07-20 Google Llc Maintaining invariance of sensory dissonance and sound localization cues in audio codecs
CN113113033B (zh) * 2021-04-29 2025-03-07 腾讯音乐娱乐科技（深圳）有限公司 一种音频处理方法、设备及可读存储介质
CN113365189B (zh) * 2021-06-04 2022-08-05 上海傅硅电子科技有限公司 多声道无缝切换方法
CN115472171B (zh) * 2021-06-11 2024-11-22 华为技术有限公司 编解码方法、装置、设备、存储介质及计算机程序
CN113593604B (zh) * 2021-07-22 2024-07-19 腾讯音乐娱乐科技（深圳）有限公司 检测音频质量方法、装置及存储介质
TWI794002B (zh) * 2022-01-28 2023-02-21 緯創資通股份有限公司 多媒體系統以及多媒體操作方法
CN114582361B (zh) * 2022-04-29 2022-07-08 北京百瑞互联技术有限公司 基于生成对抗网络的高解析度音频编解码方法及系统
WO2023224665A1 (en) * 2022-05-17 2023-11-23 Google Llc Asymmetric and adaptive strength for windowing at encoding and decoding time for audio compression
EP4303872A1 (de) * 2022-07-07 2024-01-10 Technische Universität München Kodierungsvorrichtung und kodierungsverfahren zur mehrkanalkodierung von vibrotaktilen signalen sowie dekodierung und dekodierungsverfahren
WO2024085551A1 (ko) * 2022-10-16 2024-04-25 삼성전자주식회사 패킷 손실 은닉을 위한 전자 장치 및 방법

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001053617A (ja) * 1999-08-05 2001-02-23 Ricoh Co Ltd デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体
JP2002050967A (ja) * 1993-05-31 2002-02-15 Sony Corp 信号記録媒体
JP2002268693A (ja) * 2001-03-12 2002-09-20 Mitsubishi Electric Corp オーディオ符号化装置
JP2003140692A (ja) * 2001-11-02 2003-05-16 Matsushita Electric Ind Co Ltd 符号化装置及び復号化装置
WO2006049204A1 (ja) * 2004-11-05 2006-05-11 Matsushita Electric Industrial Co., Ltd. 符号化装置、復号化装置、符号化方法及び復号化方法
JP2006293400A (ja) * 2001-11-14 2006-10-26 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
JP2009501358A (ja) * 2005-07-15 2009-01-15 サムスン エレクトロニクス カンパニー リミテッド 低ビット率オーディオ信号の符号化／復号化方法及び装置
JP2010526346A (ja) * 2007-05-08 2010-07-29 サムスン エレクトロニクス カンパニー リミテッド オーディオ信号の符号化及び復号化方法並びにその装置
JP2011154384A (ja) * 2007-03-02 2011-08-11 Panasonic Corp 音声符号化装置、音声復号装置およびそれらの方法
JP2012037582A (ja) * 2010-08-03 2012-02-23 Sony Corp 信号処理装置および方法、並びにプログラム
WO2013035257A1 (ja) * 2011-09-09 2013-03-14 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
JP2013125187A (ja) * 2011-12-15 2013-06-24 Fujitsu Ltd 復号装置、符号化装置、符号化復号システム、復号方法、符号化方法、復号プログラム、及び符号化プログラム

Family Cites Families (254)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62234435A (ja) * 1986-04-04 1987-10-14 Kokusai Denshin Denwa Co Ltd <Kdd> 符号化音声の復号化方式
US6289308B1 (en) 1990-06-01 2001-09-11 U.S. Philips Corporation Encoded wideband digital transmission signal and record carrier recorded with such a signal
JP3336617B2 (ja) 1993-05-31 2002-10-21 ソニー株式会社 信号符号化又は復号化装置，及び信号符号化又は復号化方法，並びに記録媒体
TW272341B (ja) * 1993-07-16 1996-03-11 Sony Co Ltd
GB2281680B (en) * 1993-08-27 1998-08-26 Motorola Inc A voice activity detector for an echo suppressor and an echo suppressor
BE1007617A3 (nl) * 1993-10-11 1995-08-22 Philips Electronics Nv Transmissiesysteem met gebruik van verschillende codeerprincipes.
US5502713A (en) * 1993-12-07 1996-03-26 Telefonaktiebolaget Lm Ericsson Soft error concealment in a TDMA radio system
JPH07336231A (ja) * 1994-06-13 1995-12-22 Sony Corp 信号符号化方法及び装置、信号復号化方法及び装置、並びに記録媒体
DE69619284T3 (de) * 1995-03-13 2006-04-27 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Erweiterung der Sprachbandbreite
EP0820624A1 (en) 1995-04-10 1998-01-28 Corporate Computer Systems, Inc. System for compression and decompression of audio signals for digital transmission
JP3747492B2 (ja) 1995-06-20 2006-02-22 ソニー株式会社 音声信号の再生方法及び再生装置
JP3246715B2 (ja) * 1996-07-01 2002-01-15 松下電器産業株式会社 オーディオ信号圧縮方法，およびオーディオ信号圧縮装置
JPH10124088A (ja) * 1996-10-24 1998-05-15 Sony Corp 音声帯域幅拡張装置及び方法
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
DE19730130C2 (de) * 1997-07-14 2002-02-28 Fraunhofer Ges Forschung Verfahren zum Codieren eines Audiosignals
US6253172B1 (en) * 1997-10-16 2001-06-26 Texas Instruments Incorporated Spectral transformation of acoustic signals
US5913191A (en) 1997-10-17 1999-06-15 Dolby Laboratories Licensing Corporation Frame-based audio coding with additional filterbank to suppress aliasing artifacts at frame boundaries
DE19747132C2 (de) * 1997-10-24 2002-11-28 Fraunhofer Ges Forschung Verfahren und Vorrichtungen zum Codieren von Audiosignalen sowie Verfahren und Vorrichtungen zum Decodieren eines Bitstroms
US6029126A (en) * 1998-06-30 2000-02-22 Microsoft Corporation Scalable audio coder and decoder
US6253165B1 (en) * 1998-06-30 2001-06-26 Microsoft Corporation System and method for modeling probability distribution functions of transform coefficients of encoded signal
US6453289B1 (en) 1998-07-24 2002-09-17 Hughes Electronics Corporation Method of noise reduction for speech codecs
US6061555A (en) 1998-10-21 2000-05-09 Parkervision, Inc. Method and system for ensuring reception of a communications signal
US6400310B1 (en) * 1998-10-22 2002-06-04 Washington University Method and apparatus for a tunable high-resolution spectral estimator
SE9903553D0 (sv) 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
US6978236B1 (en) 1999-10-01 2005-12-20 Coding Technologies Ab Efficient spectral envelope coding using variable time/frequency resolution and time/frequency switching
CN1192355C (zh) * 1999-11-16 2005-03-09 皇家菲利浦电子有限公司 宽带音频传输系统
US7742927B2 (en) 2000-04-18 2010-06-22 France Telecom Spectral enhancing method and device
SE0001926D0 (sv) 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
KR100898879B1 (ko) * 2000-08-16 2009-05-25 돌비 레버러토리즈 라이쎈싱 코오포레이션 부수 정보에 응답하여 하나 또는 그 이상의 파라메터를변조하는 오디오 또는 비디오 지각 코딩 시스템
US7003467B1 (en) 2000-10-06 2006-02-21 Digital Theater Systems, Inc. Method of decoding two-channel matrix encoded audio to reconstruct multichannel audio
SE0004163D0 (sv) 2000-11-14 2000-11-14 Coding Technologies Sweden Ab Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering
US20020128839A1 (en) 2001-01-12 2002-09-12 Ulf Lindgren Speech bandwidth extension
CN1212605C (zh) 2001-01-22 2005-07-27 卡纳斯数据株式会社 用于数字音频数据的编码方法和解码方法
SE522553C2 (sv) * 2001-04-23 2004-02-17 Ericsson Telefon Ab L M Bandbreddsutsträckning av akustiska signaler
US6934676B2 (en) 2001-05-11 2005-08-23 Nokia Mobile Phones Ltd. Method and system for inter-channel signal redundancy removal in perceptual audio coding
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
MXPA03002115A (es) * 2001-07-13 2003-08-26 Matsushita Electric Ind Co Ltd DISPOSITIVO DE DECODIFICACION Y CODIFICACION DE SEnAL DE AUDIO.
JP2003108197A (ja) * 2001-07-13 2003-04-11 Matsushita Electric Ind Co Ltd オーディオ信号復号化装置およびオーディオ信号符号化装置
BR0206194A (pt) * 2001-10-25 2004-02-03 Koninkl Philips Electronics Nv Sinal de áudio de faixa estreita, método para processar um sinal de áudio de faixa larga em um sinal de áudio de faixa estreita, codificador para codificar um sinal de áudio de faixa larga em um sinal de áudio de faixa estreita, decodificador para decodificar um sinal de áudio de faixa estreita, sistemas para transmitir um sinal de áudio de faixa larga através de um canal de transmissão de faixa estreita e para armazenar um sinal de áudio de faixa larga em um meio de armazenagem e recuperar o sinal de áudio de faixa larga a partir de armazenagem, meio de armazenagem, aparelho de reprodução, e, transmissor
EP1423847B1 (en) 2001-11-29 2005-02-02 Coding Technologies AB Reconstruction of high frequency components
US7240001B2 (en) 2001-12-14 2007-07-03 Microsoft Corporation Quality improvement techniques in an audio encoder
US7146313B2 (en) 2001-12-14 2006-12-05 Microsoft Corporation Techniques for measurement of perceptual audio quality
US6934677B2 (en) 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
US7206740B2 (en) * 2002-01-04 2007-04-17 Broadcom Corporation Efficient excitation quantization in noise feedback coding with general noise shaping
DE60323331D1 (de) 2002-01-30 2008-10-16 Matsushita Electric Ind Co Ltd Verfahren und vorrichtung zur audio-kodierung und -dekodierung
US20030187663A1 (en) * 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
ES2403178T3 (es) 2002-04-10 2013-05-16 Koninklijke Philips Electronics N.V. Codificación de señales estéreo
US20030220800A1 (en) * 2002-05-21 2003-11-27 Budnikov Dmitry N. Coding multichannel audio signals
US7447631B2 (en) 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
CN1659927A (zh) * 2002-06-12 2005-08-24 伊科泰克公司 房间内扬声器声音的数字均衡方法及其使用
KR100462615B1 (ko) * 2002-07-11 2004-12-20 삼성전자주식회사 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치
US7299190B2 (en) * 2002-09-04 2007-11-20 Microsoft Corporation Quantization and inverse quantization for audio
ES2388942T3 (es) 2002-09-04 2012-10-19 Microsoft Corporation Codificación entrópica adaptando la codifidación entre modos de nivel y de longitud de serie/nivel
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
KR100501930B1 (ko) * 2002-11-29 2005-07-18 삼성전자주식회사 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치
US7318027B2 (en) 2003-02-06 2008-01-08 Dolby Laboratories Licensing Corporation Conversion of synthesized spectral components for encoding and low-complexity transcoding
FR2852172A1 (fr) * 2003-03-04 2004-09-10 France Telecom Procede et dispositif de reconstruction spectrale d'un signal audio
RU2244386C2 (ru) 2003-03-28 2005-01-10 Корпорация "Самсунг Электроникс" Способ восстановления высокочастотной составляющей аудиосигнала и устройство для его реализации
ATE355590T1 (de) 2003-04-17 2006-03-15 Koninkl Philips Electronics Nv Audiosignalsynthese
US7318035B2 (en) * 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
US20050004793A1 (en) 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
JP2007506986A (ja) * 2003-09-17 2007-03-22 北京阜国数字技術有限公司 マルチ解像度ベクトル量子化のオーディオｃｏｄｅｃ方法及びその装置
DE10345996A1 (de) * 2003-10-02 2005-04-28 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Verarbeiten von wenigstens zwei Eingangswerten
US7447317B2 (en) 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
DE10345995B4 (de) * 2003-10-02 2005-07-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Verarbeiten eines Signals mit einer Sequenz von diskreten Werten
US7519538B2 (en) 2003-10-30 2009-04-14 Koninklijke Philips Electronics N.V. Audio signal encoding or decoding
US7460990B2 (en) * 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
DE102004007200B3 (de) * 2004-02-13 2005-08-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiocodierung
DE102004007191B3 (de) * 2004-02-13 2005-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiocodierung
DE102004007184B3 (de) 2004-02-13 2005-09-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Quantisieren eines Informationssignals
CA2457988A1 (en) * 2004-02-18 2005-08-18 Voiceage Corporation Methods and devices for audio compression based on acelp/tcx coding and multi-rate lattice vector quantization
ES2324926T3 (es) 2004-03-01 2009-08-19 Dolby Laboratories Licensing Corporation Descodificacion de audio multicanal.
US7739119B2 (en) 2004-03-02 2010-06-15 Ittiam Systems (P) Ltd. Technique for implementing Huffman decoding
US7272567B2 (en) * 2004-03-25 2007-09-18 Zoran Fejzo Scalable lossless audio codec and authoring tool
CN1677491A (zh) * 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
CN1677493A (zh) * 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
WO2005096274A1 (fr) * 2004-04-01 2005-10-13 Beijing Media Works Co., Ltd Dispositif et procede de codage/decodage audio ameliores
CN1677492A (zh) * 2004-04-01 2005-10-05 北京宫羽数字技术有限责任公司 一种增强音频编解码装置及方法
EP1735777A1 (en) * 2004-04-05 2006-12-27 Koninklijke Philips Electronics N.V. Multi-channel encoder
WO2005104094A1 (ja) 2004-04-23 2005-11-03 Matsushita Electric Industrial Co., Ltd. 符号化装置
US8271272B2 (en) * 2004-04-27 2012-09-18 Panasonic Corporation Scalable encoding device, scalable decoding device, and method thereof
DE102004021403A1 (de) * 2004-04-30 2005-11-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Informationssignalverarbeitung durch Modifikation in der Spektral-/Modulationsspektralbereichsdarstellung
DE602005006551D1 (de) * 2004-05-19 2008-06-19 Matsushita Electric Ind Co Ltd Kodierungs-, dekodierungsvorrichtung und methode dafür
US7649988B2 (en) 2004-06-15 2010-01-19 Acoustic Technologies, Inc. Comfort noise generator using modified Doblinger noise estimate
JP2006003580A (ja) 2004-06-17 2006-01-05 Matsushita Electric Ind Co Ltd オーディオ信号符号化装置及びオーディオ信号符号化方法
EP1768107B1 (en) * 2004-07-02 2016-03-09 Panasonic Intellectual Property Corporation of America Audio signal decoding device
US7465389B2 (en) 2004-07-09 2008-12-16 Exxonmobil Research And Engineering Company Production of extra-heavy lube oils from Fischer-Tropsch wax
US6963405B1 (en) 2004-07-19 2005-11-08 Itt Manufacturing Enterprises, Inc. Laser counter-measure using fourier transform imaging spectrometers
KR100608062B1 (ko) * 2004-08-04 2006-08-02 삼성전자주식회사 오디오 데이터의 고주파수 복원 방법 및 그 장치
TWI393120B (zh) 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 用於音訊信號編碼及解碼之方法和系統、音訊信號編碼器、音訊信號解碼器、攜帶有位元流之電腦可讀取媒體、及儲存於電腦可讀取媒體上的電腦程式
KR20070084002A (ko) 2004-11-05 2007-08-24 마츠시타 덴끼 산교 가부시키가이샤 스케일러블 복호화 장치 및 스케일러블 부호화 장치
KR100721537B1 (ko) * 2004-12-08 2007-05-23 한국전자통신연구원 광대역 음성 부호화기의 고대역 음성 부호화 장치 및 그방법
US8229749B2 (en) * 2004-12-10 2012-07-24 Panasonic Corporation Wide-band encoding device, wide-band LSP prediction device, band scalable encoding device, wide-band encoding method
KR100707174B1 (ko) * 2004-12-31 2007-04-13 삼성전자주식회사 광대역 음성 부호화 및 복호화 시스템에서 고대역 음성부호화 및 복호화 장치와 그 방법
US20070147518A1 (en) * 2005-02-18 2007-06-28 Bruno Bessette Methods and devices for low-frequency emphasis during audio compression based on ACELP/TCX
UA92341C2 (ru) * 2005-04-01 2010-10-25 Квелкомм Инкорпорейтед Системы, способы и устройство широкополосного речевого кодирования
EP1866915B1 (en) 2005-04-01 2010-12-15 Qualcomm Incorporated Method and apparatus for anti-sparseness filtering of a bandwidth extended speech prediction excitation signal
US7983922B2 (en) 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
DE602006004959D1 (de) * 2005-04-15 2009-03-12 Dolby Sweden Ab Zeitliche hüllkurvenformgebung von entkorrelierten signalen
ES2705589T3 (es) * 2005-04-22 2019-03-26 Qualcomm Inc Sistemas, procedimientos y aparatos para el suavizado del factor de ganancia
US7698143B2 (en) 2005-05-17 2010-04-13 Mitsubishi Electric Research Laboratories, Inc. Constructing broad-band acoustic signals from lower-band acoustic signals
JP2006323037A (ja) * 2005-05-18 2006-11-30 Matsushita Electric Ind Co Ltd オーディオ信号復号化装置
EP1899959A2 (en) 2005-05-26 2008-03-19 LG Electronics Inc. Method of encoding and decoding an audio signal
US7548853B2 (en) 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
JP4954069B2 (ja) * 2005-06-17 2012-06-13 パナソニック株式会社 ポストフィルタ、復号化装置及びポストフィルタ処理方法
JP2009500657A (ja) 2005-06-30 2009-01-08 エルジー エレクトロニクス インコーポレイティド オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
US7830921B2 (en) * 2005-07-11 2010-11-09 Lg Electronics Inc. Apparatus and method of encoding and decoding audio signal
US7539612B2 (en) * 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
JP4640020B2 (ja) 2005-07-29 2011-03-02 ソニー株式会社 音声符号化装置及び方法、並びに音声復号装置及び方法
CN100539437C (zh) * 2005-07-29 2009-09-09 上海杰得微电子有限公司 一种音频编解码器的实现方法
JP5111376B2 (ja) 2005-08-30 2013-01-09 エルジー エレクトロニクス インコーポレイティド オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
US7974713B2 (en) 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
EP1952391B1 (en) * 2005-10-20 2017-10-11 LG Electronics Inc. Method for decoding multi-channel audio signal and apparatus thereof
US8620644B2 (en) 2005-10-26 2013-12-31 Qualcomm Incorporated Encoder-assisted frame loss concealment techniques for audio coding
KR20070046752A (ko) * 2005-10-31 2007-05-03 엘지전자 주식회사 신호 처리 방법 및 장치
US7720677B2 (en) * 2005-11-03 2010-05-18 Coding Technologies Ab Time warped modified transform coding of audio signals
KR100717058B1 (ko) * 2005-11-28 2007-05-14 삼성전자주식회사 고주파 성분 복원 방법 및 그 장치
US8255207B2 (en) 2005-12-28 2012-08-28 Voiceage Corporation Method and device for efficient frame erasure concealment in speech codecs
US7831434B2 (en) 2006-01-20 2010-11-09 Microsoft Corporation Complex-transform channel coding with extended-band frequency coding
CN101882441B (zh) * 2006-01-27 2013-02-27 杜比国际公司 利用复调制滤波器组的高效滤波
EP1852848A1 (en) * 2006-05-05 2007-11-07 Deutsche Thomson-Brandt GmbH Method and apparatus for lossless encoding of a source signal using a lossy encoded data stream and a lossless extension data stream
KR20070115637A (ko) * 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
US7873511B2 (en) * 2006-06-30 2011-01-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder and audio processor having a dynamically variable warping characteristic
US8682652B2 (en) * 2006-06-30 2014-03-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder and audio processor having a dynamically variable warping characteristic
ES2638269T3 (es) * 2006-07-04 2017-10-19 Dolby International Ab Unidad de filtro y procedimiento de generación de respuestas al impulso de filtro de subbanda
US8135047B2 (en) 2006-07-31 2012-03-13 Qualcomm Incorporated Systems and methods for including an identifier with a packet associated with a speech signal
US9454974B2 (en) * 2006-07-31 2016-09-27 Qualcomm Incorporated Systems, methods, and apparatus for gain factor limiting
US8260609B2 (en) 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US8214202B2 (en) 2006-09-13 2012-07-03 Telefonaktiebolaget L M Ericsson (Publ) Methods and arrangements for a speech/audio sender and receiver
CN102892070B (zh) * 2006-10-16 2016-02-24 杜比国际公司 多声道下混对象编码的增强编码和参数表示
JP5083779B2 (ja) 2006-10-25 2012-11-28 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オーディオ副帯値を生成する装置及び方法、並びに、時間領域オーディオサンプルを生成する装置及び方法
US20080243518A1 (en) * 2006-11-16 2008-10-02 Alexey Oraevsky System And Method For Compressing And Reconstructing Audio Files
CN101502122B (zh) * 2006-11-28 2011-06-01 松下电器产业株式会社 编码装置及编码方法
US8160890B2 (en) 2006-12-13 2012-04-17 Panasonic Corporation Audio signal coding method and decoding method
US8200351B2 (en) 2007-01-05 2012-06-12 STMicroelectronics Asia PTE., Ltd. Low power downmix energy equalization in parametric stereo encoders
BRPI0806346B1 (pt) 2007-01-10 2020-09-29 Koninklijke Philips N.V. Decodificador de áudio, método para decodificar sinais de áudio, receptor para receber sinais de áudio, sistema de comunicação para comunicar sinais de áudio, métodos para receber sinais de áudio e para transmitir e receber sinais de áudio, e dispositivo de reprodução de áudio
WO2008106474A1 (en) * 2007-02-26 2008-09-04 Qualcomm Incorporated Systems, methods, and apparatus for signal separation
US20080208575A1 (en) * 2007-02-27 2008-08-28 Nokia Corporation Split-band encoding and decoding of an audio signal
KR101355376B1 (ko) 2007-04-30 2014-01-23 삼성전자주식회사 고주파수 영역 부호화 및 복호화 방법 및 장치
CN101067931B (zh) * 2007-05-10 2011-04-20 芯晟(北京)科技有限公司 一种高效可配置的频域参数立体声及多声道编解码方法与系统
JP5021809B2 (ja) 2007-06-08 2012-09-12 ドルビー ラボラトリーズ ライセンシング コーポレイション アンビエンス信号成分とマトリックスデコードされた信号成分とを制御可能に結合することによるサラウンドサウンドオーディオチャンネルのハイブリッド導出
US7774205B2 (en) 2007-06-15 2010-08-10 Microsoft Corporation Coding of sparse digital media spectral data
CN101325059B (zh) * 2007-06-15 2011-12-21 华为技术有限公司 语音编解码收发方法及装置
US7885819B2 (en) * 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
US8428957B2 (en) * 2007-08-24 2013-04-23 Qualcomm Incorporated Spectral noise shaping in audio coding based on spectral dynamics in frequency sub-bands
JP5255638B2 (ja) * 2007-08-27 2013-08-07 テレフオンアクチーボラゲット エル エム エリクソン（パブル） ノイズ補充の方法及び装置
BRPI0815972B1 (pt) * 2007-08-27 2020-02-04 Ericsson Telefon Ab L M método para recuperação de espectro em decodificação espectral de um sinal de áudio, método para uso em codificação espectral de um sinal de áudio, decodificador, e, codificador
DE102007048973B4 (de) 2007-10-12 2010-11-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals mit einer Sprachsignalverarbeitung
US8527265B2 (en) * 2007-10-22 2013-09-03 Qualcomm Incorporated Low-complexity encoding/decoding of quantized MDCT spectrum in scalable speech and audio codecs
KR101373004B1 (ko) * 2007-10-30 2014-03-26 삼성전자주식회사 고주파수 신호 부호화 및 복호화 장치 및 방법
US9177569B2 (en) * 2007-10-30 2015-11-03 Samsung Electronics Co., Ltd. Apparatus, medium and method to encode and decode high frequency signal
EP2207166B1 (en) * 2007-11-02 2013-06-19 Huawei Technologies Co., Ltd. An audio decoding method and device
US8527282B2 (en) 2007-11-21 2013-09-03 Lg Electronics Inc. Method and an apparatus for processing a signal
US8688441B2 (en) * 2007-11-29 2014-04-01 Motorola Mobility Llc Method and apparatus to facilitate provision and use of an energy value to determine a spectral envelope shape for out-of-signal bandwidth content
US9659568B2 (en) 2007-12-31 2017-05-23 Lg Electronics Inc. Method and an apparatus for processing an audio signal
EP2077550B8 (en) 2008-01-04 2012-03-14 Dolby International AB Audio encoder and decoder
US20090180531A1 (en) 2008-01-07 2009-07-16 Radlive Ltd. codec with plc capabilities
KR101413967B1 (ko) 2008-01-29 2014-07-01 삼성전자주식회사 오디오 신호의 부호화 방법 및 복호화 방법, 및 그에 대한 기록 매체, 오디오 신호의 부호화 장치 및 복호화 장치
EP2248263B1 (en) 2008-01-31 2012-12-26 Agency for Science, Technology And Research Method and device of bitrate distribution/truncation for scalable audio coding
RU2469497C2 (ru) * 2008-02-14 2012-12-10 Долби Лэборетериз Лайсенсинг Корпорейшн Стереофоническое расширение
JP5536674B2 (ja) 2008-03-04 2014-07-02 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 入力データストリームのミキシング及びそこからの出力データストリームの生成
CA2715432C (en) * 2008-03-05 2016-08-16 Voiceage Corporation System and method for enhancing a decoded tonal sound signal
ES2895268T3 (es) 2008-03-20 2022-02-18 Fraunhofer Ges Forschung Aparato y método para modificar una representación parametrizada
KR20090110244A (ko) 2008-04-17 2009-10-21 삼성전자주식회사 오디오 시맨틱 정보를 이용한 오디오 신호의 부호화/복호화 방법 및 그 장치
CN102067210B (zh) * 2008-05-09 2013-05-15 诺基亚公司 用于对音频信号进行编码和解码的设备和方法
US20090319263A1 (en) 2008-06-20 2009-12-24 Qualcomm Incorporated Coding of transitional speech frames for low-bit-rate applications
EP4224472B1 (en) 2008-07-11 2024-07-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder
ES2372014T3 (es) 2008-07-11 2012-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y método para calcular datos de ampliación de ancho de banda utilizando un encuadre controlado por pendiente espectral.
MX2011000372A (es) 2008-07-11 2011-05-19 Fraunhofer Ges Forschung Sintetizador de señales de audio y codificador de señales de audio.
EP2144230A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
ES2539304T3 (es) 2008-07-11 2015-06-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Un aparato y un método para generar datos de salida por ampliación de ancho de banda
ES2955669T3 (es) 2008-07-11 2023-12-05 Fraunhofer Ges Forschung Decodificador de audio, procedimiento para decodificar una señal de audio y programa de ordenador
EP2144171B1 (en) * 2008-07-11 2018-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder for encoding and decoding frames of a sampled audio signal
CA2836862C (en) 2008-07-11 2016-09-13 Stefan Bayer Time warp activation signal provider, audio signal encoder, method for providing a time warp activation signal, method for encoding an audio signal and computer programs
PL2346030T3 (pl) 2008-07-11 2015-03-31 Fraunhofer Ges Forschung Koder audio, sposób kodowania sygnału audio oraz program komputerowy
EP2154911A1 (en) 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a spatial output multi-channel audio signal
WO2010028292A1 (en) 2008-09-06 2010-03-11 Huawei Technologies Co., Ltd. Adaptive frequency prediction
US8463603B2 (en) 2008-09-06 2013-06-11 Huawei Technologies Co., Ltd. Spectral envelope coding of energy attack signal
US8577673B2 (en) 2008-09-15 2013-11-05 Huawei Technologies Co., Ltd. CELP post-processing for music signals
RU2481650C2 (ru) * 2008-09-17 2013-05-10 Франс Телеком Ослабление опережающих эхо-сигналов в цифровом звуковом сигнале
WO2010036061A2 (en) * 2008-09-25 2010-04-01 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
US9947340B2 (en) * 2008-12-10 2018-04-17 Skype Regeneration of wideband speech
EP4231290B1 (en) 2008-12-15 2023-11-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio bandwidth extension decoder, corresponding method and computer program
WO2010070770A1 (ja) * 2008-12-19 2010-06-24 富士通株式会社 音声帯域拡張装置及び音声帯域拡張方法
EP4145446B1 (en) 2009-01-16 2023-11-22 Dolby International AB Cross product enhanced harmonic transposition
JP4977157B2 (ja) 2009-03-06 2012-07-18 株式会社エヌ・ティ・ティ・ドコモ 音信号符号化方法、音信号復号方法、符号化装置、復号装置、音信号処理システム、音信号符号化プログラム、及び、音信号復号プログラム
MX2011009660A (es) * 2009-03-17 2011-09-30 Dolby Int Ab Codificacion estereo avanzada basada en una combinacion de codificacion izquierda/derecha o media/lateral seleccionable de manera adaptable y de codificacion estereo parametrica.
EP2239732A1 (en) 2009-04-09 2010-10-13 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating a synthesis audio signal and for encoding an audio signal
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
CN101521014B (zh) * 2009-04-08 2011-09-14 武汉大学 音频带宽扩展编解码装置
US8391212B2 (en) * 2009-05-05 2013-03-05 Huawei Technologies Co., Ltd. System and method for frequency domain audio post-processing based on perceptual masking
EP2249333B1 (en) * 2009-05-06 2014-08-27 Nuance Communications, Inc. Method and apparatus for estimating a fundamental frequency of a speech signal
CN101556799B (zh) 2009-05-14 2013-08-28 华为技术有限公司 一种音频解码方法和音频解码器
TWI556227B (zh) * 2009-05-27 2016-11-01 杜比國際公司 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體
CN101609680B (zh) * 2009-06-01 2012-01-04 华为技术有限公司 压缩编码和解码的方法、编码器和解码器以及编码装置
EP2273493B1 (en) 2009-06-29 2012-12-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bandwidth extension encoding and decoding
KR102061714B1 (ko) 2009-07-07 2020-02-11 엑스트랄리스 테크놀로지 리미티드 챔버 상태
US8793617B2 (en) * 2009-07-30 2014-07-29 Microsoft Corporation Integrating transport modes into a communication stream
WO2011026247A1 (en) * 2009-09-04 2011-03-10 Svox Ag Speech enhancement techniques on the power spectrum
GB2473267A (en) 2009-09-07 2011-03-09 Nokia Corp Processing audio signals to reduce noise
MY163358A (en) * 2009-10-08 2017-09-15 Fraunhofer-Gesellschaft Zur Förderung Der Angenwandten Forschung E V Multi-mode audio signal decoder,multi-mode audio signal encoder,methods and computer program using a linear-prediction-coding based noise shaping
KR101137652B1 (ko) * 2009-10-14 2012-04-23 광운대학교 산학협력단 천이 구간에 기초하여 윈도우의 오버랩 영역을 조절하는 통합 음성/오디오 부호화/복호화 장치 및 방법
ES2453098T3 (es) 2009-10-20 2014-04-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Códec multimodo de audio
KR101411759B1 (ko) 2009-10-20 2014-06-25 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 신호 인코더, 오디오 신호 디코더, 앨리어싱-소거를 이용하여 오디오 신호를 인코딩 또는 디코딩하는 방법
EP4451267B1 (en) * 2009-10-21 2025-04-23 Dolby International AB Oversampling in a combined transposer filter bank
US8484020B2 (en) * 2009-10-23 2013-07-09 Qualcomm Incorporated Determining an upperband signal from a narrowband signal
CA2780971A1 (en) 2009-11-19 2011-05-26 Telefonaktiebolaget L M Ericsson (Publ) Improved excitation signal bandwidth extension
CN102081927B (zh) 2009-11-27 2012-07-18 中兴通讯股份有限公司 一种可分层音频编码、解码方法及系统
KR101370522B1 (ko) 2009-12-07 2014-03-06 돌비 레버러토리즈 라이쎈싱 코오포레이션 적응형 하이브리드 변환을 사용한 다채널 오디오 엔코딩된 비트 스트림들의 디코딩
KR101764926B1 (ko) 2009-12-10 2017-08-03 삼성전자주식회사 음향 통신을 위한 장치 및 방법
RU2526745C2 (ru) * 2009-12-16 2014-08-27 Долби Интернешнл Аб Низведение параметров последовательности битов sbr
KR101423737B1 (ko) 2010-01-21 2014-07-24 한국전자통신연구원 오디오 신호의 디코딩 방법 및 장치
CN102194457B (zh) * 2010-03-02 2013-02-27 中兴通讯股份有限公司 音频编解码方法、系统及噪声水平估计方法
KR101414736B1 (ko) * 2010-03-09 2014-08-06 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 캐스케이드 필터뱅크들을 이용한 입력 오디오 신호를 처리하는 장치 및 방법
EP2369861B1 (en) 2010-03-25 2016-07-27 Nxp B.V. Multi-channel audio signal processing
EP2375409A1 (en) 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
US9378745B2 (en) * 2010-04-09 2016-06-28 Dolby International Ab MDCT-based complex prediction stereo coding
SG184537A1 (en) * 2010-04-13 2012-11-29 Fraunhofer Ges Forschung Audio or video encoder, audio or video decoder and related methods for processing multi-channel audio or video signals using a variable prediction direction
US8886523B2 (en) 2010-04-14 2014-11-11 Huawei Technologies Co., Ltd. Audio decoding based on audio class with control code for post-processing modes
BR112012026502B1 (pt) 2010-04-16 2022-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V Aparelho, método para gerar um sinal de banda larga usando extensão de largura de guiada e extensão de largura de banda cega
US8600737B2 (en) 2010-06-01 2013-12-03 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for wideband speech coding
AU2011263191B2 (en) 2010-06-09 2016-06-16 Panasonic Intellectual Property Corporation Of America Bandwidth Extension Method, Bandwidth Extension Apparatus, Program, Integrated Circuit, and Audio Decoding Apparatus
US9047875B2 (en) 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
US9236063B2 (en) * 2010-07-30 2016-01-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for dynamic bit allocation
US8489403B1 (en) 2010-08-25 2013-07-16 Foundation For Research and Technology—Institute of Computer Science ‘FORTH-ICS’ Apparatuses, methods and systems for sparse sinusoidal audio processing and transmission
KR101826331B1 (ko) 2010-09-15 2018-03-22 삼성전자주식회사 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
ES2681429T3 (es) * 2011-02-14 2018-09-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Generación de ruido en códecs de audio
CN103582913B (zh) 2011-04-28 2016-05-11 杜比国际公司 有效内容分类及响度估计
WO2012158705A1 (en) 2011-05-19 2012-11-22 Dolby Laboratories Licensing Corporation Adaptive audio processing based on forensic detection of media processing history
JP5714180B2 (ja) 2011-05-19 2015-05-07 ドルビー ラボラトリーズ ライセンシング コーポレイション パラメトリックオーディオコーディング方式の鑑識検出
JP2013015598A (ja) 2011-06-30 2013-01-24 Zte Corp オーディオ符号化／復号化方法、システム及びノイズレベルの推定方法
WO2013002623A2 (ko) 2011-06-30 2013-01-03 삼성전자 주식회사 대역폭 확장신호 생성장치 및 방법
US20130006644A1 (en) 2011-06-30 2013-01-03 Zte Corporation Method and device for spectral band replication, and method and system for audio decoding
JP6037156B2 (ja) * 2011-08-24 2016-11-30 ソニー株式会社 符号化装置および方法、並びにプログラム
JP5942358B2 (ja) 2011-08-24 2016-06-29 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
KR20130022549A (ko) 2011-08-25 2013-03-07 삼성전자주식회사 마이크 노이즈 제거 방법 및 이를 지원하는 휴대 단말기
CN103918030B (zh) 2011-09-29 2016-08-17 杜比国际公司 Fm立体声无线电信号中的高质量检测
JP6062370B2 (ja) * 2011-10-28 2017-01-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置および符号化方法
EP3279895B1 (en) * 2011-11-02 2019-07-10 Telefonaktiebolaget LM Ericsson (publ) Audio encoding based on an efficient representation of auto-regressive coefficients
US9697840B2 (en) * 2011-11-30 2017-07-04 Dolby International Ab Enhanced chroma extraction from an audio codec
CN103165136A (zh) 2011-12-15 2013-06-19 杜比实验室特许公司 音频处理方法及音频处理设备
US9390721B2 (en) 2012-01-20 2016-07-12 Panasonic Intellectual Property Corporation Of America Speech decoding device and speech decoding method
KR101398189B1 (ko) 2012-03-27 2014-05-22 광주과학기술원 음성수신장치 및 음성수신방법
KR102123770B1 (ko) * 2012-03-29 2020-06-16 텔레폰악티에볼라겟엘엠에릭슨(펍) 하모닉 오디오 신호의 변환 인코딩/디코딩
JP5945626B2 (ja) * 2012-03-29 2016-07-05 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ハーモニックオーディオ信号の帯域幅拡張
CN102750955B (zh) * 2012-07-20 2014-06-18 中国科学院自动化研究所 基于残差信号频谱重构的声码器
US9589570B2 (en) 2012-09-18 2017-03-07 Huawei Technologies Co., Ltd. Audio classification based on perceptual quality for low or medium bit rates
TWI553628B (zh) 2012-09-24 2016-10-11 三星電子股份有限公司 訊框錯誤隱藏方法
US9129600B2 (en) 2012-09-26 2015-09-08 Google Technology Holdings LLC Method and apparatus for encoding an audio signal
US9135920B2 (en) 2012-11-26 2015-09-15 Harman International Industries, Incorporated System for perceived enhancement and restoration of compressed audio signals
PL3070713T3 (pl) 2013-01-29 2018-07-31 Fraunhofer Ges Forschung Koder audio, dekoder audio, sposób dostarczania zakodowanej informacji audio, sposób dostarczania zdekodowanej informacji audio, program komputerowy i zakodowana reprezentacja, stosujące adaptacyjne względem sygnału powiększanie szerokości pasma
EP2830059A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Noise filling energy adjustment
EP2830055A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Context-based entropy coding of sample values of a spectral envelope
EP2980795A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002050967A (ja) * 1993-05-31 2002-02-15 Sony Corp 信号記録媒体
JP2001053617A (ja) * 1999-08-05 2001-02-23 Ricoh Co Ltd デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体
JP2002268693A (ja) * 2001-03-12 2002-09-20 Mitsubishi Electric Corp オーディオ符号化装置
JP2003140692A (ja) * 2001-11-02 2003-05-16 Matsushita Electric Ind Co Ltd 符号化装置及び復号化装置
JP2006293400A (ja) * 2001-11-14 2006-10-26 Matsushita Electric Ind Co Ltd 符号化装置および復号化装置
WO2006049204A1 (ja) * 2004-11-05 2006-05-11 Matsushita Electric Industrial Co., Ltd. 符号化装置、復号化装置、符号化方法及び復号化方法
JP2009501358A (ja) * 2005-07-15 2009-01-15 サムスン エレクトロニクス カンパニー リミテッド 低ビット率オーディオ信号の符号化／復号化方法及び装置
JP2011154384A (ja) * 2007-03-02 2011-08-11 Panasonic Corp 音声符号化装置、音声復号装置およびそれらの方法
JP2010526346A (ja) * 2007-05-08 2010-07-29 サムスン エレクトロニクス カンパニー リミテッド オーディオ信号の符号化及び復号化方法並びにその装置
JP2012037582A (ja) * 2010-08-03 2012-02-23 Sony Corp 信号処理装置および方法、並びにプログラム
WO2013035257A1 (ja) * 2011-09-09 2013-03-14 パナソニック株式会社 符号化装置、復号装置、符号化方法および復号方法
JP2013125187A (ja) * 2011-12-15 2013-06-24 Fujitsu Ltd 復号装置、符号化装置、符号化復号システム、復号方法、符号化方法、復号プログラム、及び符号化プログラム

Also Published As

Publication number Publication date
TW201523590A (zh) 2015-06-16
CA2918807C (en) 2019-05-07
US10147430B2 (en) 2018-12-04
TW201517024A (zh) 2015-05-01
US11769513B2 (en) 2023-09-26
CN105556603B (zh) 2019-08-27
CA2918810A1 (en) 2015-01-29
KR20160024924A (ko) 2016-03-07
EP3025340B1 (en) 2019-03-27
EP3723091C0 (en) 2024-09-11
US10347274B2 (en) 2019-07-09
US11996106B2 (en) 2024-05-28
JP2020060792A (ja) 2020-04-16
MX354002B (es) 2018-02-07
SG11201600401RA (en) 2016-02-26
EP3025343A1 (en) 2016-06-01
RU2016105759A (ru) 2017-08-25
CA2918701A1 (en) 2015-01-29
BR122022010960B1 (pt) 2023-04-04
KR20160030193A (ko) 2016-03-16
RU2016105473A (ru) 2017-08-23
ES2599007T3 (es) 2017-01-31
JP2016525713A (ja) 2016-08-25
BR112016000947A2 (ja) 2017-08-22
US11250862B2 (en) 2022-02-15
US20190371355A1 (en) 2019-12-05
CN105580075A (zh) 2016-05-11
CN105518777A (zh) 2016-04-20
WO2015010947A1 (en) 2015-01-29
EP3506260B1 (en) 2023-08-16
CN110310659B (zh) 2023-10-24
EP3025344B1 (en) 2017-06-21
AU2014295301A1 (en) 2016-03-10
AU2014295297A1 (en) 2016-03-10
TW201517019A (zh) 2015-05-01
SG11201600422SA (en) 2016-02-26
US11257505B2 (en) 2022-02-22
PT3025337T (pt) 2022-02-23
US20220157325A1 (en) 2022-05-19
TR201816157T4 (tr) 2018-11-21
US12142284B2 (en) 2024-11-12
KR20160041940A (ko) 2016-04-18
TWI545561B (zh) 2016-08-11
BR112016000852A2 (pt) 2017-08-22
BR112015007533A2 (ja) 2017-08-22
HK1211378A1 (en) 2016-05-20
CA2918835A1 (en) 2015-01-29
BR112015007533B1 (pt) 2022-09-27
AU2014295295A1 (en) 2016-03-10
AU2014295297B2 (en) 2017-05-25
WO2015010950A1 (en) 2015-01-29
US20220270619A1 (en) 2022-08-25
AU2014295298A1 (en) 2016-03-10
ES2638498T3 (es) 2017-10-23
EP2883227A1 (en) 2015-06-17
RU2649940C2 (ru) 2018-04-05
CN105518776A (zh) 2016-04-20
EP2830065A1 (en) 2015-01-28
CN105453175B (zh) 2020-11-03
RU2016105613A (ru) 2017-08-28
MX2016000940A (es) 2016-04-25
ES2959641T3 (es) 2024-02-27
EP3506260A1 (en) 2019-07-03
WO2015010948A1 (en) 2015-01-29
KR101764723B1 (ko) 2017-08-14
BR122022011238B1 (pt) 2023-12-19
EP3975180A1 (en) 2022-03-30
JP2016527556A (ja) 2016-09-08
ES2698023T3 (es) 2019-01-30
US20220139407A1 (en) 2022-05-05
EP3025328B1 (en) 2018-08-01
US10515652B2 (en) 2019-12-24
ES2728329T3 (es) 2019-10-23
PT3025343T (pt) 2018-05-18
RU2643641C2 (ru) 2018-02-02
US20190251986A1 (en) 2019-08-15
AU2014295302A1 (en) 2015-04-02
KR20160042890A (ko) 2016-04-20
MY182831A (en) 2021-02-05
RU2016105610A (ru) 2017-08-25
RU2016105619A (ru) 2017-08-23
MY180759A (en) 2020-12-08
MX2016000854A (es) 2016-06-23
JP6321797B2 (ja) 2018-05-09
US11049506B2 (en) 2021-06-29
BR122022011231B1 (pt) 2024-01-30
EP3025328A1 (en) 2016-06-01
US20160210974A1 (en) 2016-07-21
KR101807836B1 (ko) 2018-01-18
EP3025340A1 (en) 2016-06-01
MX2016000857A (es) 2016-05-05
PL3025328T3 (pl) 2019-02-28
US11735192B2 (en) 2023-08-22
BR112016001125A2 (ja) 2017-08-22
BR112016001398A2 (pt) 2017-08-22
EP2830064A1 (en) 2015-01-28
CA2918835C (en) 2018-06-26
US20160133265A1 (en) 2016-05-12
BR112016001072A2 (ja) 2017-08-22
US10311892B2 (en) 2019-06-04
US20160140980A1 (en) 2016-05-19
KR20150060752A (ko) 2015-06-03
BR112016001125B1 (pt) 2022-01-04
PT2883227T (pt) 2016-11-18
CN105556603A (zh) 2016-05-04
US11222643B2 (en) 2022-01-11
PT3017448T (pt) 2020-10-08
JP7483792B2 (ja) 2024-05-15
TWI545558B (zh) 2016-08-11
ZA201502262B (en) 2016-09-28
CN105580075B (zh) 2020-02-07
JP2018041100A (ja) 2018-03-15
RU2640634C2 (ru) 2018-01-10
TW201517023A (zh) 2015-05-01
AU2014295298B2 (en) 2017-05-25
JP6310074B2 (ja) 2018-04-11
MY175978A (en) 2020-07-19
US10984805B2 (en) 2021-04-20
TWI541797B (zh) 2016-07-11
EP2830054A1 (en) 2015-01-28
MX354657B (es) 2018-03-14
CN111554310A (zh) 2020-08-18
TWI555009B (zh) 2016-10-21
JP2016527557A (ja) 2016-09-08
AU2014295301B2 (en) 2017-05-25
US20180102134A1 (en) 2018-04-12
WO2015010952A9 (en) 2017-10-26
RU2015112591A (ru) 2016-10-27
US11922956B2 (en) 2024-03-05
CN110660410B (zh) 2023-10-24
BR112016000740B1 (pt) 2022-12-27
MX340575B (es) 2016-07-13
JP6705787B2 (ja) 2020-06-03
MX353999B (es) 2018-02-07
US11769512B2 (en) 2023-09-26
CN111179963B (zh) 2024-11-22
EP3025337B1 (en) 2021-12-08
US20210065723A1 (en) 2021-03-04
CN105518776B (zh) 2019-06-14
PL3017448T3 (pl) 2020-12-28
MX356161B (es) 2018-05-16
KR101774795B1 (ko) 2017-09-05
CA2886505C (en) 2017-10-31
US20180144760A1 (en) 2018-05-24
EP2830059A1 (en) 2015-01-28
JP6389254B2 (ja) 2018-09-12
KR20160034975A (ko) 2016-03-30
AU2014295300B2 (en) 2017-05-25
CN105453176B (zh) 2019-08-23
CA2973841A1 (en) 2015-01-29
WO2015010953A1 (en) 2015-01-29
PL2883227T3 (pl) 2017-03-31
EP3025343B1 (en) 2018-02-14
JP2016529545A (ja) 2016-09-23
ES2813940T3 (es) 2021-03-25
JP6144773B2 (ja) 2017-06-07
US20210295853A1 (en) 2021-09-23
US20170154631A1 (en) 2017-06-01
CA2918524A1 (en) 2015-01-29
PT3025328T (pt) 2018-11-27
BR112016000852B1 (pt) 2021-12-28
EP3017448B1 (en) 2020-07-08
KR20160046804A (ko) 2016-04-29
MX2016000935A (es) 2016-07-05
US20160140979A1 (en) 2016-05-19
CN104769671B (zh) 2017-09-26
PL3025337T3 (pl) 2022-04-11
EP2830061A1 (en) 2015-01-28
KR101809592B1 (ko) 2018-01-18
PT3025340T (pt) 2019-06-27
JP6691093B2 (ja) 2020-04-28
SG11201600496XA (en) 2016-02-26
JP2016529546A (ja) 2016-09-23
PL3506260T3 (pl) 2024-02-19
SG11201502691QA (en) 2015-05-28
JP7092809B2 (ja) 2022-06-28
MY184847A (en) 2021-04-27
JP2018013796A (ja) 2018-01-25
RU2635890C2 (ru) 2017-11-16
RU2651229C2 (ru) 2018-04-18
MX2015004022A (es) 2015-07-06
MY187943A (en) 2021-10-30
CN111179963A (zh) 2020-05-19
PT3407350T (pt) 2020-10-27
ZA201601011B (en) 2017-05-31
BR112016000947B1 (pt) 2022-06-21
US20200082841A1 (en) 2020-03-12
CN105518777B (zh) 2020-01-31
US20180268842A1 (en) 2018-09-20
JP6186082B2 (ja) 2017-08-23
CA2918807A1 (en) 2015-01-29
JP6400702B2 (ja) 2018-10-03
US10847167B2 (en) 2020-11-24
EP3723091B1 (en) 2024-09-11
EP3742444A1 (en) 2020-11-25
TWI555008B (zh) 2016-10-21
CA2918701C (en) 2020-04-14
US10276183B2 (en) 2019-04-30
US10332539B2 (en) 2019-06-25
ZA201601010B (en) 2017-11-29
EP2830056A1 (en) 2015-01-28
SG11201600506VA (en) 2016-02-26
CA2918804C (en) 2018-06-12
MX355448B (es) 2018-04-18
BR112016001398B1 (pt) 2021-12-28
EP4246512A3 (en) 2023-12-13
CN105453176A (zh) 2016-03-30
CN111554310B (zh) 2023-10-20
EP3506260C0 (en) 2023-08-16
US20160140981A1 (en) 2016-05-19
MX2016000924A (es) 2016-05-05
JP6568566B2 (ja) 2019-08-28
AU2014295296A1 (en) 2016-03-10
EP3407350A1 (en) 2018-11-28
US10332531B2 (en) 2019-06-25
JP6306702B2 (ja) 2018-04-04
RU2607263C2 (ru) 2017-01-10
MX2016000943A (es) 2016-07-05
US11289104B2 (en) 2022-03-29
BR112016001072B1 (pt) 2022-07-12
WO2015010949A1 (en) 2015-01-29
AU2014295296B2 (en) 2017-10-19
CA2918804A1 (en) 2015-01-29
US10134404B2 (en) 2018-11-20
US20190198029A1 (en) 2019-06-27
KR101681253B1 (ko) 2016-12-01
TWI545560B (zh) 2016-08-11
TWI549121B (zh) 2016-09-11
CA2918524C (en) 2018-05-22
US20210217426A1 (en) 2021-07-15
JP2016530556A (ja) 2016-09-29
EP2830063A1 (en) 2015-01-28
CN112466312B (zh) 2025-02-21
ES2667221T3 (es) 2018-05-10
JP2022123060A (ja) 2022-08-23
CA2973841C (en) 2019-08-20
JP2015535620A (ja) 2015-12-14
AU2014295302B2 (en) 2016-06-30
EP2883227B1 (en) 2016-08-17
BR122022010965B1 (pt) 2023-04-04
SG11201600494UA (en) 2016-02-26
EP3025337A1 (en) 2016-06-01
PL3407350T3 (pl) 2020-12-28
US10573334B2 (en) 2020-02-25
ES2908624T3 (es) 2022-05-03
US10593345B2 (en) 2020-03-17
EP3723091A1 (en) 2020-10-14
KR101822032B1 (ko) 2018-03-08
ES2827774T3 (es) 2021-05-24
TW201523589A (zh) 2015-06-16
CA2886505A1 (en) 2015-01-29
AU2014295295B2 (en) 2017-10-19
BR112016000740A2 (pt) 2017-08-22
PL3025340T3 (pl) 2019-09-30
EP4246512A2 (en) 2023-09-20
TW201514974A (zh) 2015-04-16
KR101826723B1 (ko) 2018-03-22
US20190043522A1 (en) 2019-02-07
EP3025344A1 (en) 2016-06-01
SG11201600464WA (en) 2016-02-26
TW201513098A (zh) 2015-04-01
US20160140973A1 (en) 2016-05-19
CN110660410A (zh) 2020-01-07
WO2015010954A1 (en) 2015-01-29
RU2016105618A (ru) 2017-08-28
CA2918810C (en) 2020-04-28
WO2015010952A1 (en) 2015-01-29
ZA201601046B (en) 2017-05-31
ZA201601111B (en) 2017-08-30
PL3025343T3 (pl) 2018-10-31
MX362036B (es) 2019-01-04
EP3407350B1 (en) 2020-07-29
CN104769671A (zh) 2015-07-08
CN112466312A (zh) 2021-03-09
CN105453175A (zh) 2016-03-30
BR122022010958B1 (pt) 2024-01-30
EP3017448A1 (en) 2016-05-11
US10002621B2 (en) 2018-06-19
CN110310659A (zh) 2019-10-08
US20230352032A1 (en) 2023-11-02
US20150287417A1 (en) 2015-10-08
AU2014295300A1 (en) 2016-03-10
RU2646316C2 (ru) 2018-03-02
US20190074019A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
JP7483792B2 (ja) 符号化オーディオ信号を復号する復号装置および復号方法
HK40010190A (en) Apparatus and method for decoding or encoding an audio signal using energy information values for a reconstruction band
HK1262857A1 (en) Audio encoder and related method using two-channel processing within an intelligent gap filling framework
HK1262857B (en) Audio encoder and related method using two-channel processing within an intelligent gap filling framework
HK1211378B (en) Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
HK1225155B (en) Apparatus and method for decoding or encoding an audio signal using energy information values for a reconstruction band
HK1225155A1 (en) Apparatus and method for decoding or encoding an audio signal using energy information values for a reconstruction band
HK1225500A1 (en) Apparatus and method for encoding or decoding an audio signal with intelligent gap filling in the spectral domain
HK1225500B (en) Apparatus and method for encoding or decoding an audio signal with intelligent gap filling in the spectral domain
HK1225498B (en) Audio decoder and related method using two-channel processing within an intelligent gap filling framework
HK1225498A1 (en) Audio decoder and related method using two-channel processing within an intelligent gap filling framework
HK1225156B (en) Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection
HK1225156A1 (en) Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190708

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200106

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200409

R150 Certificate of patent or registration of utility model

Ref document number: 6691093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250