JP3957589B2 - Audio processing device - Google Patents
Audio processing device Download PDFInfo
- Publication number
- JP3957589B2 JP3957589B2 JP2002230477A JP2002230477A JP3957589B2 JP 3957589 B2 JP3957589 B2 JP 3957589B2 JP 2002230477 A JP2002230477 A JP 2002230477A JP 2002230477 A JP2002230477 A JP 2002230477A JP 3957589 B2 JP3957589 B2 JP 3957589B2
- Authority
- JP
- Japan
- Prior art keywords
- band
- information
- unit
- determination
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005070 sampling Methods 0.000 claims description 124
- 238000000034 method Methods 0.000 claims description 102
- 238000001228 spectrum Methods 0.000 claims description 85
- 230000005540 biological transmission Effects 0.000 claims description 57
- 230000005236 sound signal Effects 0.000 claims description 32
- 238000009499 grossing Methods 0.000 claims description 17
- 238000010183 spectrum analysis Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 33
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 14
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 14
- 230000006835 compression Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 12
- 239000000470 constituent Substances 0.000 description 9
- 238000013139 quantization Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 4
- 101100536520 Arabidopsis thaliana TBL9 gene Proteins 0.000 description 3
- 101100541001 Oryza sativa subsp. japonica XOAT3 gene Proteins 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 101100536516 Arabidopsis thaliana TBL5 gene Proteins 0.000 description 2
- 101000837456 Homo sapiens Transducin beta-like protein 3 Proteins 0.000 description 2
- 101100210447 Oryza sativa subsp. japonica XOAT10 gene Proteins 0.000 description 2
- 102100028683 Transducin beta-like protein 3 Human genes 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、デジタル信号処理技術に関し、符号化信号、特にオーディオ圧縮符号化信号を復号し、帯域拡張処理を行うことにより高音質再生を実現する音声処理装置に関する。
【0002】
【従来の技術】
帯域拡張処理を行うことにより高音質再生を実現する方法としては、様々な方法が提案されているが、そのなかで、例えば、復号処理されたサンプリング周波数FsのPCM信号に対して、N倍(Nは、N≧2である整数)のオーバーサンプリング処理を施し、そのオーバーサンプリング処理されたN×Fsのサンプリング周波数のPCM信号に対して、帯域がFs/2からN×Fs/2までの帯域成分を持つノイズ信号を付加することにより、帯域拡張を実現し高音質再生を実現する方法ある。この方法は、例えば、図23に示すような構成を有する音声処理装置によって実現される。
【0003】
この音声処理装置10000は、デコード処理部1100と、オーバーサンプリング部1200と、拡張帯域生成部1300と、バンドパスフィルタ1400とで構成される。
【0004】
デコード処理部1100は、外部より入力される符号化されたオーディオストリームを復号しPCMデータを生成する機能を有する。オーバーサンプリング部1200は、デコード処理部1100により復号処理されたPCMデータを入力することでN倍のオーバーサンプリング処理を行ない、N倍にオーバーサンプリングされたPCMデータを出力する。拡張帯域生成部1300は、オーバーサンプリング部1200によりオーバーサンプリング処理されたPCMデータに対して帯域拡張成分を生成する機能を有する。バンドパスフィルタ1400は、拡張帯域生成部1300によって生成される帯域拡張成分に対して、Fs/2付近からN×Fs/2付近までの帯域の成分を通過させるフィルタである。
【0005】
尚、ここでは、説明を容易にするために、デコード処理部1100は、DVD−Video規格に対応するデコーダであり、本例ではDVD−Video規格リニアPCMに準じたオーディオビットストリームが入力された場合について説明する。ここで、入力されるオーディオビットストリームはサンプリング周波数が48KHzとする。また、オーバーサンプリング部1200は、デコード処理部1100から出力されるサンプリング周波数48KHzのPCMデータに対し、各PCMデータ間に1サンプルずつ「0」データを挿入して、オーバーサンプリングを行い、アンチエリアジングフィルタによってノイズ除去を行うことで、サンプリング周波数96kHzのPCMデータを生成するものとする。また、拡張帯域生成部1300は、オーバーサンプリング部1200によりオーバーサンプリング処理された96kHzのPCMデータに基づいて、48kHz付近の成分までの高調波帯域拡張成分を生成する機能を有し、バンドパスフィルタ1400は、拡張帯域生成部1300によって生成される帯域拡張成分に対して、24kHz付近から48kHz未満の帯域を通過させるバンドパスフィルタであるものとする。
【0006】
図23に示すように、まず、DVD−Video規格のリニアPCMによるオーディオビットストリームがデコード処理部1100へ入力されると、デコード処理部1100は、プライベートヘッダで示される符号化モードに基づくサンプリング周波数、チャンネルモード、量子化ビット長にてPCMデータを生成し出力する。ここで生成されるPCMデータは、サンプリング周波数が48kHzであること、さらには入力ビットストリームデータが非圧縮であり可逆可能な符号化信号であることから、ナイキスト条件により最大24kHzまでの帯域特性を持つことが可能な信号である。
【0007】
次に、オーバーサンプリング部1200は、デコード処理部1100で生成されたPCMデータに対して、各PCMデータ間に1サンプルずつ「0」データの挿入を行い、アンチエリアジングフィルタによってサンプリング周波数96kHzのPCMデータに変換する。このとき、PCMデータの帯域特性は、アンチエリアジングフィルタによってエイリアジングノイズが除去されるので、入力PCMデータと同様に24kHz以下である。
【0008】
一方、拡張帯域生成部1300は、オーバーサンプリング部1200で処理されたサンプリング周波数96kHzのPCMデータに基づいて、48kHz付近の成分までの高調波で構成される帯域拡張成分を生成し出力する。ここで生成される帯域拡張成分のサンプリング周波数は、オーバーサンプリング部1200で処理されたPCMデータと同様に96kHzである。拡張帯域生成部1300で生成された帯域拡張成分は、バンドパスフィルタ1400によって、24kHz付近からから48kHz未満の帯域に制限され、その出力データは、オーバーサンプリング部1200で処理されたPCMデータと加算されて、外部に出力される。
【0009】
このような音声処理装置の場合、入力される符号化データが、DVD−Video規格のリニアPCMによるオーディオストリームのように、非圧縮で可逆可能な符号化音声信号である場合は、帯域拡張成分としてナイキスト条件をもとに設計することが可能であり、上記のようにターゲットとする帯域拡張領域を固定的に設定することが可能でるため、効果的な帯域拡張効果が期待できる。
【0010】
【発明が解決しようとする課題】
しかしながら、近年急速に市場に普及されているDVD規格のオーディオ符号化信号をターゲットとした音声処理装置の場合は、デコード処理の対象となる符号化信号は、リニアPCMに限らず、例えばドルビー社のドルビーディジタル符号化方式(AC3)やMPEGオーディオ規格などの様に、情報圧縮を伴う符号化信号の入力も想定される。しかも、これらの符号化方式は、基本的に、人間の聴覚特性やマスキング効果等をもとに情報圧縮された非可逆な符号化信号あり、エンコード前のソース音源がサンプリング周波数48kHzのリニアPCMの場合は、エンコード後は10〜20パーセントに圧縮される場合が多く、符号化前のソース音源に、ナイキスト条件(Fs/2)である24kHz付近に帯域成分が含まれる場合でも、符号化された時点で欠落してしまう場合がほとんどである。
【0011】
こうした符号化信号が入力される場合は、上記のような音声処理装置では、デコード処理部1100により復号化されたPCMデータがナイキスト条件付近の帯域成分をほとんど含んでいない場合が多いため、たとえ上記のような帯域拡張処理を行ったとしても、周波数軸上で線形的な帯域拡張が行われないため、デコード処理部1100により復号化されたPCMデータの帯域上限からナイキスト周波数(Fs/2)付近までの帯域成分が欠落してしまうため、十分な帯域拡張効果が得られない。
【0012】
本発明は、このような従来の問題点に鑑みてなされたものであって、その目的は、たとえ入力符号化信号の帯域特性がナイキスト周波数(Fs/2)以下で欠落してしまうような場合であっても、復号処理されるPCMデータの性質に応じて帯域拡張を行い、高音質再生を実現することができる音声処理装置を提供することにある。
【0013】
【課題を解決するための手段】
【0014】
【0015】
【0016】
【0017】
【0018】
前記の目的を達成するため、本発明に係る第1の音声処理装置は、符号化された音声信号を復号し再生する音声処理装置であって、外部から入力される符号化音声信号を復号しPCMデータを生成するデコード処理部と、デコード処理部により復号処理されたPCMデータに対して帯域拡張成分を生成する拡張帯域生成部と、拡張帯域生成部からの帯域拡張成分を入力とし、通過帯域を可変して出力する帯域可変バンドパスフィルタと、デコード処理部からのPCMデータと帯域可変バンドパスフィルタからの出力データを加算する加算器と、デコード処理部より得られる前記符号化音声信号の復号情報を帯域判定情報として、帯域拡張成分に対する前記帯域可変バンドパスフィルタの通過帯域を決定する帯域判定部と、帯域判定部からの指示に応じて、帯域可変バンドパスフィルタの通過帯域の制御を行うバンドパスフィルタコントローラとを備えたことを特徴とする。
【0019】
前記の目的を達成するため、本発明に係る第2の音声処理装置は、符号化された音声信号を復号し再生する音声処理装置であって、外部から入力される符号化音声信号を復号しPCMデータを生成するデコード処理部と、デコード処理部により復号処理されたPCMデータに対してオーバーサンプリング処理を行うオーバーサンプリング部と、オーバーサンプリング部によりオーバーサンプリング処理されたPCMデータに対して帯域拡張成分を生成する拡張帯域生成部と、拡張帯域生成部からの帯域拡張成分を入力とし、通過帯域を可変して出力する帯域可変バンドパスフィルタと、オーバーサンプリング部からの出力データと帯域可変バンドパスフィルタからの出力データを加算する加算器と、デコード処理部より得られる前記符号化音声信号の復号情報を帯域判定情報として、帯域拡張成分に対する帯域可変バンドパスフィルタの通過帯域を決定する帯域判定部と、帯域判定部からの指示に応じて、帯域可変バンドパスフィルタの通過帯域の制御を行うバンドパスフィルタコントローラとを備えたことを特徴とする。
【0020】
前記の目的を達成するため、本発明に係る第3の音声処理装置は、第1または第2の音声処理装置において、帯域判定部は、デコード処理部によって生成されるPCMデータのスペクトル解析を行うスペクトルアナライザを含み、スペクトルアナライザの解析結果を帯域判定情報として帯域拡張成分に対する通過帯域を決定することを特徴とする。
【0021】
上記の構成によれば、帯域可変バンドパスフィルタと、帯域判定部と、バンドパスフィルタコントローラとを設け、帯域判定部にスペクトルアナライザを設けることで、外部からのコントロールを必要とすることなく、自動的に拡張帯域をコントロールすることが可能となるので、その分良好な高音質再生を実現することができる。
【0022】
また、前記の目的を達成するため、本発明に係る第4の音声処理装置は、第1または第2の音声処理装置において、デコード処理部は、符号化音声信号の補助情報の解析を行う補助情報解析部と、補助情報に基づいてスペクトルデータを生成するスペクトルデータ生成部と、スペクトルデータを変換しPCMデータを生成するPCMデータ生成部と、スペクトルデータ生成部で生成されるスペクトルデータのスペクトル情報を外部に送信するスペクトル情報送信部とを含み、帯域判定部は、スペクトル情報送信部から送信されるスペクトル情報を受信するスペクトル情報受信部を含み、スペクトル情報を帯域判定情報として帯域拡張成分に対する通過帯域を決定することを特徴とする。
【0023】
この構成によれば、デコード処理部にスペクトル情報送信部を、帯域判定部にスペクトル情報受信部を設けることで、外部からのコントロールを必要とすることなく、自動的に拡張帯域をコントロールすることが可能である。更に、デコード処理部による復号処理で生成されるスペクトル情報を用いて帯域判定処理を実施しているため、帯域判定部にスペクトルアナライザを設ける必要がなく、帯域判定に要する処理量を削減することができる。
【0024】
また、前記の目的を達成するため、本発明に係る第5の音声処理装置は、第1または第2の音声処理装置において、デコード処理部は、符号化音声信号の補助情報の解析を行う補助情報解析部と、補助情報に基づいて、サブバンドデータを生成するサブバンドデータ生成部と、サブバンドデータを帯域合成しPCMデータを生成するPCMデータ生成部と、サブバンドデータ生成部により生成されるサブバンドデータの振幅情報を外部に送信するサブバンド振幅情報送信部とを含み、帯域判定部は、サブバンド振幅情報送信部から送信されるサブバンド振幅情報を受信するサブバンド振幅情報受信部を含み、サブバンド振幅情報を帯域判定情報として帯域拡張成分に対する通過帯域を決定することを特徴とする。
【0025】
この構成によれば、デコード処理部にサブバンド振幅情報送信部を、帯域判定部にサブバンド振幅情報受信部を設けることで、外部からのコントロールを必要とすることなく、自動的に拡張帯域をコントロールすることが可能である。更に、デコード処理部による復号処理で生成されるサブバンド振幅情報を用いて帯域判定処理を実施しているため、帯域判定部にスペクトルアナライザを設ける必要がなく、帯域判定に要する処理量を削減することができる。
【0026】
【0027】
【0028】
また、前記の目的を達成するため、本発明に係る第6の音声処理装置は、第1または第2の音声処理装置において、デコード処理部は、符号化音声信号の補助情報の解析を行う補助情報解析部と、補助情報に基づいて、復号処理を行いPCMデータを生成するデコードコア部と、補助情報解析部により抽出されるビットレート情報を外部に送信するビットレート情報送信部とを含み、前記帯域判定部は、前記ビットレート情報送信部から送信されるビットレート情報を受信するビットレート情報受信部と、特定のビットレート情報を前記PCMデータの特定の周波数特性に対応付けた第1のテーブルとを含み、前記第1のテーブルを用いて生成した前記帯域判定情報により前記帯域拡張成分に対する通過帯域を決定することを特徴とする。
【0029】
この構成によれば、デコード処理部にビットレート情報送信部を、帯域判定部にビットレート情報受信部を設けることで、外部からのコントロールを必要とすることなく、自動的に拡張帯域をコントロールすることが可能である。また、デコード処理部による復号処理で生成されるビットレート情報を用いて帯域判定処理を実施しているため、帯域判定部にスペクトルアナライザを設ける必要がなく、帯域判定に要する処理量を削減することができる。更に、ビットレート情報を特定の周波数特性に対応付けることによって、固定ビットレートによるエンコードが行われている場合は、固定的に帯域拡張領域が設定されるので、比較的安定した帯域拡張処理が実現できる。
【0030】
また、前記の目的を達成するため、本発明に係る第7の音声処理装置は、第6の音声処理装置において、デコード処理部は、前記補助情報解析部により抽出されるサンプリング周波数情報を外部に送信するサンプリング周波数情報送信部を含み、帯域判定部は、サンプリング周波数情報送信部から送信されるサンプリング周波数情報を受信するサンプリング周波数情報受信部と、サンプリング周波数情報およびビットレート情報の組み合わせにより帯域判定情報を生成する帯域判定情報生成部と、前記第1のテーブルの代わりに、特定のビットレート情報と特定のサンプリング周波数との組み合わせをポインタ情報として表わした第2のテーブルとを含み、前記帯域判定情報生成部が前記第2のテーブルを用いて生成した帯域判定情報により帯域拡張成分に対する通過帯域を決定することを特徴とする。
【0031】
この構成によれば、デコード処理部にサンプリング周波数情報送信部を、また帯域判定部にサンプリング周波数情報受信部を設け、帯域判定部にサンプリング周波数情報およびビットレート情報の組み合わせにより帯域判定情報を生成する帯域判定情報生成部を設けることで、外部からのコントロールを必要とすることなく、サンプリング周波数とビットレートに応じて拡張帯域を自動的にコントロールすることが可能である。さらに、本構成の音声処理装置は、サンプリング周波数情報とビットレート情報を組み合わせて帯域判定処理を行うので、第6の音声処理装置と比較した場合、サンプリング周波数情報が加わる分、より正確な帯域判定を実現できる。
【0032】
また、前記の目的を達成するため、本発明に係る第8の音声処理装置は、第7の音声処理装置において、デコード処理部は、前記補助情報解析部により抽出されるレイヤー情報を外部に送信するレイヤー情報送信部を含み、帯域判定部は、レイヤー情報送信部から送信されるレイヤー情報を受信するレイヤー情報受信部と、レイヤー情報、サンプリング周波数情報、およびビットレート情報の組み合わせにより帯域判定情報を生成する帯域判定情報生成部と、前記第2のテーブルの代わりに、特定のビットレート情報、特定のサンプリング周波数、特定のレイヤー情報の組み合わせをポインタ情報として表わした第3のテーブルとを含み、前記帯域判定情報生成部が前記第3のテーブルを用いて生成した帯域判定情報により帯域拡張成分に対する通過帯域を決定することを特徴とする。
【0033】
この構成によれば、デコード処理部にレイヤー情報送信部を、帯域判定部にレイヤー情報受信部を、レイヤー情報、サンプリング周波数情報、およびビットレート情報の組み合わせにより帯域判定情報を生成する帯域判定情報生成部を設けることで、外部からのコントロールを必要とすることなく、レイヤー、サンプリング周波数、およびビットレートに応じて拡張帯域を自動的にコントロールすることが可能である。さらに、本構成の音声処理装置は、レイヤー情報、サンプリング周波数情報、およびビットレート情報を組み合わせて帯域判定処理を行うので、第7の音声処理装置と比較した場合、レイヤー情報が加わる分、より正確な帯域判定を実現できる。
【0034】
また、前記の目的を達成するため、本発明に係る第9の音声処理装置は、第1から第8のいずれかの音声処理装置において、帯域判定部は、デコード処理部より送信される帯域判定情報の変化を自動的に平滑化する帯域判定スムージング部を備え、帯域判定スムージング部により平滑処理された帯域判定情報により帯域拡張成分に対する通過帯域を決定することを特徴とする。
【0035】
この構成によれば、帯域判定スムージング部を設けることで、再生されるPCMデータの周波数特性変化が急激な場合でも、帯域判定の揺らぎによる帯域拡張成分の音質変化を平滑することが可能となるので、結果として比較的安定した帯域拡張処理を実現することが可能となる。
【0036】
また、前記の目的を達成するため、本発明に係る第10の音声処理装置は、第1から第8のいずれかの音声処理装置において、帯域判定部における帯域判定処理の時間間隔を外部からの信号に応じて設定する帯域判定インターバル設定部を備えることを特徴とする。
【0037】
この構成によれば、帯域判定インターバル設定部を設けることで、再生されるPCMデータの特徴やユーザーの好み等に応じて、帯域拡張処理の追従性を調整することが可能となる。
【0038】
また、前記の目的を達成するため、本発明に係る第11の音声処理装置は、第3または第4の音声処理装置において、帯域判定部における帯域判定処理の各帯域に対するスペクトル情報の有無を判別するためのレベル閾値を外部からの信号に応じて設定する帯域判定スレッショルド設定部を備えることを特徴とする。
また、前記の目的を達成するため、本発明に係る第12の音声処理装置は、第5の音声処理装置において、帯域判定部における帯域判定処理の各帯域に対するサブバンド振幅の有無を判別するためのレベル閾値を外部からの信号に応じて設定する帯域判定スレッショルド設定部を備えることを特徴とする。
【0039】
この構成によれば、帯域判定スレッショルド設定部を設けることで、再生されるPCMデータの特徴やユーザーの好み等に応じて、帯域拡張処理の拡張帯域を調整することが可能となる。
【0040】
また、前記の目的を達成するため、本発明に係る第13の音声処理装置は、第1から第12のいずれかの音声処理装置において、デコード処理部は、少なくとも2種類以上の符号化方式のデコード処理に対応し、外部より指定されるデコーダ情報に基づいてデコード処理を切り換え、帯域判定部は、外部より指定されるデコーダ情報に応じて帯域判定処理を切り替えるデコーダ別帯域判定切り替え手段を含んで構成されることを特徴とする。
【0041】
また、前記の目的を達成するため、本発明に係る第14の音声処理装置は、第13の音声処理装置において、帯域可変バンドパスフィルタに使用するフィルタ係数を格納したフィルタ係数テーブルを備え、デコーダ別帯域判定切り替え手段は、デコーダ毎に個別に帯域を指定するデコーダ別帯域判定情報指定テーブルであり、帯域判定部は、外部より指定されるデコーダ情報に応じてデコーダ別帯域判定情報指定テーブルより帯域判定を行い、バンドパスフィルタコンローラに対し、フィルタ係数テーブルのポインタ情報として帯域判定情報を送信することを特徴とする。
【0042】
第13および第14の音声処理装置の構成によれば、デコーダ別帯域判定切り替え手段であるデコーダ別帯域判定情報指定テーブルを設けることで、異なる複数のデコード処理に対応した場合でもそれぞれのデコード処理に応じた帯域判定処理を行うことが可能となるので、その分、より最適な帯域拡張処理を自動的に実現することが容易となる。
【0043】
さらに、第14の音声処理装置の構成によれば、デコーダ別帯域判定情報指定テーブルとフィルタ係数テーブルとを分離して構成し、帯域判定情報をフィルタ係数テーブルのポインタ情報として利用することで、帯域判定処理が異なるデコーダ処理に応じた帯域判定処理の場合でもフィルタタップ係数を共用することが可能となるので、フィルタタップ係数を共用できる分、フィルタタップ係数にかかるメモリ資源を削減することが可能となる。
【0044】
【発明の実施の形態】
以下、本発明の好適な実施の形態について、図面を参照しながら説明する。
【0045】
(実施の形態1)
図1は、本発明の実施の形態1に係る音声処理装置1000の一構成例を示す回路ブロック図である。尚、本実施の形態では、MPEGオーディオ規格符号化方式でエンコードされたオーディオ符号化信号を入力して音声信号に復号する場合について説明する。MPEGオーディオ規格についての詳細は、ISO/IEC 11172−3:1993及び13818−3:1996に示されている。ここで入力されるオーディオビットストリームは、いずれの場合も、サンプリング周波数を48KHzとする。
【0046】
図1において、音声処理装置1000は、デコード処理部1100と、拡張帯域生成部1300と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600とで構成される。
【0047】
デコード処理部1100は、外部より入力されるオーディオストリームを復号しPCMデータを生成するモジュールであり、少なくともMPEGオーディオ規格符号化方式でエンコードされたオーディオ符号化信号のデコード機能を有する。
【0048】
拡張帯域生成部1300は、デコード処理部1100により復号処理されたPCMデータに対して帯域拡張成分を生成する機能を有する。本実施の形態における拡張帯域生成部1300は、サンプリング周波数48kHzのPCMデータに基づいて、24kHz付近の成分までの高調波を含む帯域拡張成分を生成し出力する。ここで生成される帯域拡張成分のサンプリング周波数は、デコード処理部1100により復号処理されたPCMデータと同様に48kHzである。
【0049】
帯域可変バンドパスフィルタ1500は、拡張帯域生成部1300によって生成される帯域拡張成分に対して、外部からのコントロールにより通過帯域の下限周波数を可変的に設定できるフィルタである。尚、本実施の形態では、通過帯域の下限周波数FcLをFL1からFL2(FL1<FL2、FL2<Fs/2)まで設定することが可能であり、通過帯域の上限周波数はFcH(FL2<FcH<Fs/2)で固定されているものとする。
【0050】
バンドパスフィルタコントローラ1600は、外部からの指示に応じて帯域可変バンドパスフィルタ1500の通過帯域の制御を行うコントローラである。尚、本実施の形態では、説明を容易にするため、バンドパスフィルタコントローラ1600は、帯域可変バンドパスフィルタ1500の通過帯域の下限周波数FcLをコントロールするものとし、FcLの可変範囲をFL1からFL2の間でコントロールできるよう設定されているものとする。
【0051】
次に、このように構成された音声処理装置1000における再生処理について、MPEGオーディオ規格符号化方式でエンコードされたオーディオ符号化信号を入力して音声信号に復号する場合について説明する。
【0052】
一般に、MPEGオーディオ規格符号化方式でエンコードされたオーディオ符号化信号で構成されるオーディオビットストリームは、エンコード時に設定されるビットレート等の設定に応じて圧縮符号化処理が必須となるため、人間の聴覚特性やマスキング効果等に基づき情報圧縮されるので、エンコード前のソース音源がサンプリング周波数48kHzのリニアPCMの場合は、符号化前のソース音源に、ナイキスト条件(Fs/2)である24kHz付近の帯域成分が含まれる場合でも、符号化された時点で欠落してしまう。本実施の形態では、説明を容易にするため、エンコード時の圧縮符号化処理によって帯域特性が16kHz以下に劣化しているものとする。
【0053】
この場合、本実施の形態におけるデコード処理部1100によって復号されるPCMデータは、上記のエンコード条件から帯域特性が16kHz以下となる。
【0054】
同様に、拡張帯域生成部1300は、デコード処理部1100で処理されたサンプリング周波数48kHzのPCMデータに基づいて、24kHz付近の成分までの高調波を含む帯域拡張成分を生成し出力する。ここで生成される帯域拡張成分のサンプリング周波数は、デコード処理部1100で処理されたPCMデータと同様に48kHzである。
【0055】
一方、バンドパスフィルタコントローラ1600は、外部からの指示に応じて通過帯域の下限周波数FcLを可変的に調整する機能を有する。この場合は、外部から通過帯域の下限周波数FcLを16kHz付近に設定することで効果的な帯域拡張再生ができる。この時、帯域可変バンドパスフィルタ1500では、通過帯域がFL2からFcHの範囲となるので、その通過成分とデコード処理部1100から出力されるPCMデータとを加算することで、16kHz付近までのソース音源の帯域に対し、線形的でより自然な帯域特性にて帯域拡張される。
【0056】
もし、拡張帯域生成部1300の出力に対するバンドパスフィルタ処理の下限周波数FcLが従来技術と同様に固定値であり、たとえば18kHz付近に設定されているとすれば、バンドパスフィルタからの出力とオーバーサンプリング部の出力との加算による出力信号の帯域特性は、16kHzから18kHzまでの帯域が欠落してしまうので、良好な高音質再生が行われたものとは言いがたい。また、下限周波数FcLが12kHz付近に設定されているとすれば、バンドパスフィルタからの出力とオーバーサンプリング部の出力との加算による出力信号の帯域特性は、12kHzから16kHzまでの帯域が重なってしまうことで余分な帯域信号を負荷することとなり、やはり良好な高音質再生が行われたものとは言いがたい。
【0057】
しかし、本実施の形態によれば、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600を構成要素として導入することによって、拡張帯域をコントロールすることが可能となるので、その分良好な高音質再生を実現することができる。
【0058】
(実施の形態2)
図2は、本発明の実施の形態2に係る音声処理装置の一構成例を示す回路ブロック図である。図2において、音声処理装置2000は、デコード処理部1100と、オーバーサンプリング部1200と、拡張帯域生成部1300と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600とで構成される。
【0059】
デコード処理部1100、拡張帯域生成部1300、帯域可変バンドパスフィルタ1500、およびバンドパスフィルタコントローラ1600はそれぞれ実施の形態1と同様の機能を有するものであるため、ここでの詳しい説明は省略する。
【0060】
オーバーサンプリング部1200は、デコード処理部1100で復号処理されたPCMデータを入力として、N倍のオーバーサンプリング処理を行ない、N倍にオーバーサンプリングされたPCMデータを出力する。ここで、本実施の形態におけるオーバーサンプリング部1200のオーバーサンプリング処理は、デコード処理部1100から出力されるサンプリング周波数48KHzのPCMデータに対し、各PCMデータ間に1サンプルずつ「0」データを挿入し、オーバーサンプリングを行い、アンチエリアジングフィルタによってノイズ除去を行うことで、サンプリング周波数が96kHzのPCMデータを生成するものとする。
【0061】
拡張帯域生成部1300は、オーバーサンプリング部1200によりオーバーサンプリング処理されたPCMデータに対して帯域拡張成分を生成する機能を有する。本実施の形態における拡張帯域生成部1300は、オーバーサンプリング部1200で処理されたサンプリング周波数96kHzのPCMデータに基づいて、48kHz付近の成分までの高調波を含む帯域拡張成分を生成し出力する。ここで生成される帯域拡張成分のサンプリング周波数は、オーバーサンプリング部1200で処理されたPCMデータと同様に96kHzである。
【0062】
次に、このように構成された音声処理装置2000における再生処理のうち、まず、DVD−Video規格リニアPCM方式に準じたサンプリング周波数が48kHzのオーディオビットストリームが入力された場合について説明する。
【0063】
一般に、DVD−Video規格リニアPCM方式に準じたオーディオビットストリームは、エンコード前のソース音源と同一のサンプリング周波数を有する場合、ソース音源に対して非圧縮によるエンコードが行われるため、ソース音源と同じ帯域特性であり、最大24kHz付近まで期待できる。
【0064】
このような条件から、本実施の形態におけるデコード処理部1100によって復号されるPCMデータは、ソース音源の帯域特性を忠実に再現することができる。この場合、ソース音源の周波数帯域がナイキスト条件である24kHz付近まで存在する場合は、復号されるPCMデータの周波数特性も同様に24kHz付近まで存在する。
【0065】
この場合、オーバーサンプリング部1200は、デコード処理部1100から出力されるPCMデータに対してオーバーサンプリング処理を施すため、オーバーサンプリング処理後のPCMデータはサンプリング周波数が96kHzであり、帯域特性は入力されるPCMデータとほぼ同様の帯域特性を有することになり、最大24kHz付近までの帯域が保持される。
【0066】
また、拡張帯域生成部1300は、オーバーサンプリング部1200で処理されたサンプリング周波数96kHzのPCMデータに基づいて、48kHz付近の成分までの高調波を含む帯域拡張成分を生成し出力する。ここで生成される帯域拡張成分のサンプリング周波数は、オーバーサンプリング部1200で処理されたPCMデータと同様に96kHzである。
【0067】
一方、バンドパスフィルタコントローラ1600に対しては、外部から通過帯域の下限周波数FcLを可変帯域の最高周波数であるFL2(この場合は、24kHz付近)を指定することで効果的な帯域拡張再生ができる。この場合、帯域可変バンドパスフィルタ1500では、通過帯域がFL2からFcHの範囲となるので、その通過成分とオーバーサンプリング部1200から出力されるPCMデータとを加算することで24kHz付近までのソース音源の帯域に対し、線形的でより自然な帯域特性にて帯域拡張されるので、高音質再生を実現することができる。
【0068】
次に、MPEGオーディオ規格符号化方式でエンコードされたオーディオ符号化信号を入力して音声信号に復号する場合について説明する。
【0069】
一般に、MPEGオーディオ規格符号化方式でエンコードされたオーディオ符号化信号で構成されるオーディオビットストリームは、エンコード時に設定されるビットレート等の設定に応じて圧縮符号化処理が必須となるため、人間の聴覚特性やマスキング効果等に基づき情報圧縮されるので、エンコード前のソース音源がサンプリング周波数48kHzのリニアPCMの場合は、符号化前のソース音源に、ナイキスト条件(Fs/2)である24kHz付近の帯域成分が含まれる場合でも、符号化された時点で欠落してしまう。本実施の形態では、説明を容易にするため、エンコード時の圧縮符号化処理によって帯域特性が16kHz以下に劣化しているものとする。
【0070】
この場合、本実施の形態におけるデコード処理部1100によって復号されるPCMデータは、上記のエンコード条件から帯域特性が16kHz以下となる。
【0071】
同様に、オーバーサンプリング部1200は、デコード処理部1100から出力されるPCMデータに対してオーバーサンプリング処理を施すため、オーバーサンプリング処理後のPCMデータはサンプリング周波数が96kHzであるが、帯域特性は入力されるPCMデータとほぼ同様の帯域特性を有することになるので、オーバーサンプリング処理後のPCMデータは16kHz以下のままである。
【0072】
また、拡張帯域生成部1300は、オーバーサンプリング部1200で処理されたサンプリング周波数96kHzのPCMデータに基づいて、48kHz付近の成分までの高調波を含む帯域拡張成分を生成し出力する。ここで生成される帯域拡張成分のサンプリング周波数は、オーバーサンプリング部1200で処理されたPCMデータと同様に96kHzである。
【0073】
一方、バンドパスフィルタコントローラ1600は、外部からの指示に応じて通過帯域の下限周波数FcLを可変的に調整する機能を有する。この場合は、外部から通過帯域の下限周波数FcLを16kHz付近に設定することで効果的な帯域拡張再生ができる。この時、帯域可変バンドパスフィルタ1500では、通過帯域がFL2からFcHの範囲となるので、その通過成分とオーバーサンプリング部1200から出力されるPCMデータとを加算することで、16kHz付近までのソース音源の帯域に対し、線形的でより自然な帯域特性にて帯域拡張される。
【0074】
もし、拡張帯域生成部1300の出力に対するバンドパスフィルタ処理の下限周波数FcLが従来技術と同様に固定値であり、例えば、ナイキスト条件に従って24kHz付近に設定されているとすれば、バンドパスフィルタからの出力とオーバーサンプリング部の出力との加算による出力信号の帯域特性は、16kHzから24kHzまでの帯域が欠落してしまうので、良好な高音質再生が行われたものとは言いがたい。しかし、本実施の形態によれば、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600を構成要素として導入することによって、拡張帯域をコントロールすることが可能となるので、その分良好な高音質再生を実現することができる。
【0075】
尚、本実施の形態ではオーバーサンプリング部1200を含んで構成される場合について説明したが、オーバーサンプリング部を含まない場合においても、上限周波数FcHをデコード処理部1100に対するナイキスト条件に従って24kHz付近を上限とすることで、上記の実施の形態に比べ拡張帯域は限定される以外は、同様の効果を得ることができる。しかもオーバーサンプリング部1200を含まない場合は、オーバーサンプリング部の処理と構成が削除されるばかりか、デコード処理部1100以降の処理するPCMデータのサンプリング周波数がオーバーサンプリング部1200を含む場合に比べると1/2になるので、その分処理量を削減できるので、特に低消費電力が求められるような小規模システムに実装する場合においてはより有効的である。
【0076】
(実施の形態3)
図4は、本発明の実施の形態3に係る音声処理装置の一構成例を示す回路ブロック図である。図4において、音声処理装置4000は、デコード処理部1100と、オーバーサンプリング部1200と、拡張帯域生成部1300と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600と、帯域判定部1700とで構成される。
【0077】
デコード処理部1100、オーバーサンプリング部1200、拡張帯域生成部1300、および帯域可変バンドパスフィルタ1500はそれぞれ実施の形態1と同様の機能を有するものであるため、ここでの詳しい説明は省略する。
【0078】
帯域判定部1700は、デコード処理部1100からのPCMデータの周波数分析により帯域判定を行い、バンドパスフィルタコントローラ1600に帯域判定情報を送信する機能を有する。本実施の形態における帯域判定部1700は、図5に示す音声処理装置5000のように、内部にPCMデータの周波数分析を行うスペクトルアナライザ1710を有する。
【0079】
バンドパスフィルタコントローラ1600は、帯域判定部1700から送信される帯域判定情報に応じて、帯域可変バンドパスフィルタ1500の通過帯域の制御を行うコントローラである。尚、本実施の形態では、実施の形態1の場合と同様に、バンドパスフィルタコントローラ1600は、帯域可変バンドパスフィルタ1500の通過帯域の下限周波数FcLをコントロールするものとし、FcLの可変範囲をFL1からFL2の間でコントロールできるよう設定されているものとする。
【0080】
次に、このように構成された音声処理装置について、本実施の形態では、サンプリング周波数が48kHzであるMPEG1オーディオ規格の符号化方式でエンコードされたオーディオ符号化信号を入力して音声信号に復号する場合について説明する。尚、本実施の形態では、説明を容易にするため、エンコード時の圧縮符号化処理によって帯域特性が16kHz以下に劣化しているものとする。
【0081】
この場合、本実施の形態におけるデコード処理部1100によって復号されるPCMデータは、上記のエンコード条件から帯域特性が16kHz以下であり、オーバーサンプリング部1200によるオーバーサンプリング処理、拡張帯域生成部1300による帯域拡張成分の生成は、いずれも実施の形態1の場合と同様に実施されるので、詳しい説明は省略する。
【0082】
帯域判定部1700は、デコード処理部1100からのPCMデータに対して、スペクトルアナライザ1710(図5)を用いることによって周波数分析を行い、その分析結果からPCMデータに対する帯域判定情報を生成し、バンドパスフィルタコントローラ1600に対して帯域判定情報を送信する。
【0083】
バンドパスフィルタコントローラ1600は、帯域判定部1700から通信される帯域判定情報に基づいて、帯域可変バンドパスフィルタ1500の通過帯域の下限周波数FcLを可変的に調整する機能を有する。この場合は、帯域判定情報によって、通過帯域の下限周波数FcLが16kHz付近に自動的に設定される。この時、帯域可変バンドパスフィルタ1500では、通過帯域がFL2からFcHの範囲となるので、その通過成分とオーバーサンプリング部1200から出力されるPCMデータとを加算することで、16kHz付近までのソース音源の帯域に対し、線形的でより自然な帯域特性にて帯域拡張される。
【0084】
このように、本実施の形態によれば、帯域判定部1700と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600とを構成要素として導入することによって、拡張帯域をコントロールすることが可能となるので、その分良好な高音質再生を実現することができる。しかも、帯域判定部1700内部にはスペクトルアナライザ1710含まれるため、外部からのコントロールを必要とすることなく、自動的に拡張帯域をコントロールすることが可能である。
【0085】
尚、本実施の形態ではオーバーサンプリング部1200を含んで構成される場合について説明したが、図3に示す音声処理装置3000のように、オーバーサンプリング部を含まない場合においても、実装の形態2と同様、上限周波数FcHをデコード処理部1100に対するナイキスト条件に従って24kHz付近を上限とすることで、上記の実施の形態に比べ拡張帯域は限定される以外は、同様の効果を得ることができる。
【0086】
(実施の形態4)
図6は、本発明の実施の形態4に係る音声処理装置の一構成例を示す回路ブロック図である。図6において、音声処理装置6000は、実施の形態3の場合と同様に、デコード処理部1100と、オーバーサンプリング部1200と、拡張帯域生成部1300と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600と、帯域判定部1700とで構成される。
【0087】
本実施の形態が実施の形態3の場合と異なる点は、デコード処理部1100および帯域判定部1700が、図7に示されるような構成になっている点にある。
【0088】
図7において、デコード処理部1100は、補助情報解析部1110と、スペクトルデータ生成部1120と、PCMデータ生成部1130と、スペクトル情報送信部1140とを含んで構成される。
【0089】
補助情報解析部1110は、入力符号化信号の復号情報となる補助情報の解析を行うブロックであり、例えば、MPEGオーディオ規格に準ずる符号化信号に対しては、ストリームヘッダ情報(サンプリング周波数情報、ビットレート情報、レイヤー情報など)の解析や復号情報(各オーディオ量子化データのビット割付情報や、逆量子化処理のためのスケールファクタなど)の抽出を行うブロックである。
【0090】
スペクトルデータ生成部1120は、補助情報解析部1110によって抽出される補助情報に基づいて、スペクトルデータを生成するブロックであり、例えば量子化オーディオサンプルの切り出しや逆量子化処理等により、スペクトル情報を生成する機能を有する。
【0091】
PCMデータ生成部1130は、スペクトルデータからPCMデータを生成するブロックであり、各スペクトル情報に対してIMDCT(逆変形離散コサイン変換)処理やポリフェーズフィルタバンク方式等による処理を行うことによって、スペクトルデータをPCMデータに変換する機能を有する。
【0092】
また、スペクトル情報送信部1140は、スペクトルデータ生成部1120で生成されるスペクトルデータのスペクトル情報を外部に送信する機能を有する。
【0093】
帯域判定部1700は、デコード処理部1100内部のスペクトル情報送信部1140から送信されるスペクトル情報を受信するスペクトル情報受信部1720を含んで構成される。
【0094】
次に、このように構成された音声処理装置について、本実施の形態では、サンプリング周波数が48kHzであるMPEG1オーディオ規格の符号化方式でエンコードされたオーディオ符号化信号を入力して音声信号に復号する場合について説明する。尚、本実施の形態では、説明を容易にするため、上記符号化方式はMPEG1オーディオ規格のうち、レイヤー3で符号化されたビットストリームであるとし、更にエンコード時の圧縮符号化処理によって帯域特性が16kHz以下に劣化しているものとする。
【0095】
この場合、本実施の形態におけるデコード処理部1100に、MPEG1オーディオ規格レイヤー3によって符号化されたオーディオ符号化信号が入力されると、まず、補助情報解析部1110にて、入力符号化信号の復号情報となる補助情報の解析を行う。次に、スペクトルデータ生成部1120では、補助情報解析部1110で解析されたストリームヘッダ情報と復号情報に基づいて、ハフマン符号化されたオーディオ量子化信号の読み込み、更にオーディオ量子化信号の逆量子化処理を行うことによって、スペクトルデータの生成を行う。このとき、スペクトルデータ生成部1120では、スペクトル信号を出力するとともに、スペクトルデータのスペクトル情報をスペクトル情報送信部1140へ出力する。更に、スペクトル情報送信部1140は、スペクトル情報の送信を帯域判定部1700に対して実施する。
【0096】
PCMデータ生成部1130は、スペクトルデータ生成部1120から出力されるスペクトルデータに対してIMDCT処理により、32個のサブバンド信号を生成し、更に帯域合成演算によってPCMデータを生成する。
【0097】
この場合、本実施の形態におけるデコード処理部1100によって復号されるPCMデータは、上記のエンコード条件から帯域特性が16kHz以下であり、オーバーサンプリング部1200によるオーバーサンプリング処理、拡張帯域生成部1300による帯域拡張成分の生成は、いずれも実施の形態2及び3の場合と同様に実施されるので、詳しい説明は省略する。
【0098】
帯域判定部1700は、デコード処理部1100のスペクトル情報送信部1140から送信されるスペクトル情報を内部のスペクトル情報受信部1720で受け取り、スペクトル情報から帯域判定情報を生成し、バンドパスフィルタコントローラ1600に対して帯域判定情報を送信する。
【0099】
以降は、実施の形態3の場合と同様に、バンドパスフィルタコントローラ1600にて、帯域判定部1700から通信される帯域判定情報に基づいて、通過帯域の下限周波数FcLを可変的に調整を行い、帯域可変バンドパスフィルタ1500の通過帯域をコントロールし、16kHz以上の帯域成分が拡張帯域信号として、オーバーサンプリング部1200から出力されるPCMデータと加算される。このようにして、16kHz付近までのソース音源の帯域に対し、線形的でより自然な帯域特性にて帯域拡張処理が実現される。
【0100】
このように、本実施の形態によれば、帯域判定部1700と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600とを構成要素として導入することによって、拡張帯域をコントロールすることが可能となるので、その分良好な高音質再生を実現することができる。
【0101】
しかも、デコード処理部1100にスペクトル情報送信部1140を、帯域判定部1700にスペクトル情報受信部1720を設けることで、外部からのコントロールを必要とすることなく、自動的に拡張帯域をコントロールすることが可能である。
【0102】
更に、本実施の形態では、デコード処理部1100による復号処理で生成されるスペクトル情報を用いて帯域判定処理を実施しているため、実施の形態3の場合のようにスペクトルアナライザ1710を新たに用いて帯域判定情報を生成しているわけではないので、帯域判定に要する処理量を削減することができる。
【0103】
尚、本実施の形態ではオーバーサンプリング部1200を含んで構成される場合について説明したが、オーバーサンプリング部を含まない場合においても、実装の形態2及び3と同様、上限周波数FcHをデコード処理部1100に対するナイキスト条件に従って24kHz付近を上限とすることで、上記の実施の形態に比べ拡張帯域は限定される以外は、同様の効果を得ることができる。
【0104】
(実施の形態5)
図8は、本発明の実施の形態5に係る音声処理装置の一構成例を示す回路ブロック図である。図8において、音声処理装置7000は、実施の形態3及び4の場合と同様に、デコード処理部1100と、オーバーサンプリング部1200と、拡張帯域生成部1300と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600と、帯域判定部1700とで構成される。
【0105】
本実施の形態が実施の形態3及び4の場合と異なる点は、デコード処理部1100および帯域判定部1700が、図9で示されるような構成になっている点にある。
【0106】
図9において、デコード処理部1100は、補助情報解析部1110と、サブバンドデータ生成部1150と、PCMデータ生成部1130と、サブバンド振幅情報送信部1160とを含んで構成される。
【0107】
補助情報解析部1110は、実施の形態4の場合と同様に、入力符号化信号の復号情報となる補助情報の解析を行うブロックであり、例えば、MPEGオーディオ規格に準ずる符号化信号に対しては、ストリームヘッダ情報(サンプリング周波数情報、ビットレート情報、レイヤー情報など)の解析や復号情報(各オーディオ量子化データのビット割付情報や、逆量子化処理のためのスケールファクタなど)の抽出を行うブロックである。
【0108】
サブバンドデータ生成部1150は、補助情報解析部1110によって抽出される補助情報に基づいて、サブバンドデータを生成するブロックであり、例えば量子化オーディオサンプルの抽出と逆量子化処理等により、サブバンドデータを生成する機能を有する。
【0109】
PCMデータ生成部1130は、サブバンドデータからPCMデータを生成するブロックであり、各サブバンド信号に対してポリフェーズフィルタバンク方式等の帯域合成処理を行うことによって、サブバンドデータをPCMデータに変換する機能を有する。
【0110】
また、サブバンド振幅情報送信部1160は、サブバンドデータ生成部1150で生成される各帯域のサブバンドデータの振幅情報を外部に送信する機能を有する。
【0111】
帯域判定部1700は、デコード処理部1100内部のサブバンド振幅情報送信部1160から送信されるサブバンドデータの振幅情報を受信するサブバンド振幅情報受信部1730を含んで構成される。
【0112】
次に、このように構成された音声処理装置について、本実施の形態では、サンプリング周波数が48kHzであるMPEG1オーディオ規格の符号化方式でエンコードされたオーディオ符号化信号を入力して音声信号に復号する場合について説明する。尚、本実施の形態では、説明を容易にするため、上記符号化方式はMPEG1オーディオ規格のうち、レイヤー2で符号化されたビットストリームであるとし、更にエンコード時の圧縮符号化処理によって帯域特性が16kHz以下に劣化しているものとする。
【0113】
この場合、本実施の形態におけるデコード処理部1100に、MPEG1オーディオ規格レイヤー2によって符号化されたオーディオ符号化信号が入力されると、まず、補助情報解析部1110にて、入力符号化信号の復号情報となる補助情報の解析を行う。次に、サブバンドデータ生成部1150では、補助情報解析部1110で解析されたストリームヘッダ情報と復号情報に基づいて、オーディオ量子化信号の抽出と、該オーディオ量子化信号の逆量子化処理を行うことによって、32個のサブバンドデータを生成する。このとき、サブバンドデータ生成部1150では、サブバンドデータを出力するとともに、32個のサブバンドデータの振幅情報をサブバンド振幅情報送信部1160へ出力する。更に、サブバンド振幅情報送信部1160は、サブバンドデータの振幅情報の送信を帯域判定部1700に対して実施する。
【0114】
PCMデータ生成部1130は、サブバンドデータ生成部1150から出力される32個のサブバンドデータに対して帯域合成処理を施し、PCMデータを生成する。
【0115】
この場合、本実施の形態におけるデコード処理部1100によって復号されるPCMデータは、上記のエンコード条件から帯域特性が16kHz以下であり、オーバーサンプリング部1200によるオーバーサンプリング処理、拡張帯域生成部1300による帯域拡張成分の生成は、いずれも実施の形態2から4の場合と同様に実施されるので、詳しい説明は省略する。
【0116】
帯域判定部1700では、デコード処理部1100のサブバンド振幅情報送信部1160から送信されるサブバンド振幅情報を内部のサブバンド振幅情報受信部1730で受け取り、サブバンド振幅情報から帯域判定情報を生成し、バンドパスフィルタコントローラ1600に対して帯域判定情報を送信し、以降は実施の形態4の場合と同様の動作が実施される。
【0117】
このように、本実施の形態によれば、帯域判定部1700と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600とを構成要素として導入することによって、拡張帯域をコントロールすることが可能となるので、その分良好な高音質再生を実現することができる。
【0118】
しかも、デコード処理部1100にサブバンド振幅情報送信部1160を、帯域判定部1700にサブバンド振幅情報受信部1730を設けることで、外部からのコントロールを必要とすることなく自動的に拡張帯域をコントロールすることが可能である。
【0119】
更に、本実施の形態では、デコード処理部1100による復号処理で生成されるサブバンド振幅情報を用いて帯域判定処理を実施しているため、実施の形態3の場合のようにスペクトルアナライザを新たに用いて帯域判定情報を生成しているわけではないので、帯域判定に要する処理量を削減することができる。
【0120】
尚、本実施の形態ではオーバーサンプリング部1200を含んで構成される場合について説明したが、オーバーサンプリング部を含まない場合においても、実装の形態2から4と同様、上限周波数FcHをデコード処理部1100に対するナイキスト条件に従って24kHz付近を上限とすることで、上記の実施例に比べ拡張帯域は限定される以外は、同様の効果を得ることができる。
【0121】
【0122】
【0123】
【0124】
【0125】
【0126】
【0127】
【0128】
【0129】
【0130】
【0131】
【0132】
【0133】
【0134】
【0135】
【0136】
【0137】
(実施の形態6)
図10は、本発明の実施の形態6に係る音声処理装置の一構成例を示す回路ブロック図である。図10において、音声処理装置9000は、実施の形態3から5の場合と同様に、デコード処理部1100と、オーバーサンプリング部1200と、拡張帯域生成部1300と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600と、帯域判定部1700とで構成される。
【0138】
本実施の形態が実施の形態3から6の場合と異なる点は、デコード処理部1100および帯域判定部1700が、図11に示されるような構成になっている点にある。
【0139】
図11において、デコード処理部1100は、補助情報解析部1110と、デコードコア部1170と、ビットレート情報送信部1190とを含んで構成される。
【0140】
補助情報解析部1110は、実施の形態4から6の場合と同様に、入力符号化信号の復号情報となる補助情報の解析を行うブロックであり、例えば、MPEGオーディオ規格に準ずる符号化信号に対しては、ストリームヘッダ情報(サンプリング周波数情報、ビットレート情報、レイヤー情報など)の解析や復号情報(各オーディオ量子化データのビット割付情報や、逆量子化処理のためのスケールファクタなど)の抽出を行うブロックであり、少なくともビットレート情報の抽出と、ビットレート情報送信部1190への出力とを行う。
【0141】
デコードコア部1170は、実施の形態6の場合と同様に、補助情報解析部1110によって抽出される補助情報に基づいて、復号処理を行いPCMデータを生成する。
【0142】
また、ビットレート情報送信部1190は、補助情報解析部1110で生成されるビットレート情報を外部に送信する機能を有する。
【0143】
帯域判定部1700は、デコード処理部1100内部のビットレート情報送信部1190から送信されるビットレート情報を受信するビットレート情報受信部1750を含んで構成される。
【0144】
次に、このように構成された音声処理装置について、本実施の形態では、サンプリング周波数が48kHzであるMPEG1オーディオ規格の符号化方式でエンコードされたオーディオ符号化信号を入力して音声信号に復号する場合について説明する。
【0145】
この場合、本実施の形態におけるデコード処理部1100に、MPEG1オーディオ規格レイヤー2によって符号化されたオーディオ符号化信号が入力されると、まず、補助情報解析部1110にて、入力符号化信号の復号情報となる補助情報の解析を行う。このとき、補助情報解析部1110では、少なくともビットレート情報の抽出と、ビットレート情報送信部1190への出力とが実施される。
【0146】
次に、デコードコア部1170は、補助情報解析部1110によって抽出される補助情報に基づいて、復号処理を行いPCMデータを生成する。
【0147】
この場合、本実施の形態におけるデコード処理部1100によって復号されるPCMデータは、上記のエンコード条件から帯域特性が16kHz以下であり、オーバーサンプリング部1200によるオーバーサンプリング処理、拡張帯域生成部1300による帯域拡張成分の生成は、いずれも実施の形態2〜6の場合と同様に実施されるので、詳しい説明は省略する。
【0148】
帯域判定部1700では、デコード処理部1100のビットレート情報送信部1190から送信されるビットレート情報を内部のビットレート情報受信部1750で受け取り、ビットレート情報から帯域判定情報を生成し、バンドパスフィルタコントローラ1600に対して帯域判定情報を送信し、以降は、実施の形態4の場合と同様の動作が実施される。
【0149】
尚、ビットレート情報と復号処理されるPCMデータの周波数特性は、一般的に、ビットレートが大きくなるにつれて周波数レンジが広くなる傾向になるが、必ずしも特定のビットレートに対して特定の周波数特性のレンジが定義されるわけではない。しかし、特定のビットレート情報に対して、特定の周波数特性への対応付けを行うことによって、例えば、固定ビットレートによるエンコードが行われている場合は、固定的に帯域拡張領域が設定されるので、比較的安定した帯域拡張処理が施されることとなる。
【0150】
このように、本実施の形態によれば、帯域判定部1700と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600とを構成要素として導入することによって、拡張帯域をコントロールすることが可能となるので、その分良好な高音質再生を実現することができる。
【0151】
しかも、デコード処理部1100にビットレート情報送信部1190を、帯域判定部1700にビットレート情報受信部1750を設けることで、外部からのコントロールを必要とすることなく、自動的に拡張帯域をコントロールすることが可能である。
【0152】
更に、本実施の形態では、デコード処理部による復号処理で生成されるビットレート情報を用いて帯域判定処理を実施しているため、実施の形態3の場合のようにスペクトルアナライザを新たに用いて帯域判定情報を生成しているわけではないので、帯域判定に要する処理量を削減することができる。
【0153】
また、上記のように、ビットレート情報を特定の周波数特性に対応付けることによって、固定ビットレートによるエンコードが行われている場合は、固定的に帯域拡張領域が設定されるので、比較的安定した帯域拡張処理が実現できる。
【0154】
尚、本実施の形態ではオーバーサンプリング部1200を含んで構成される場合について説明したが、オーバーサンプリング部を含まない場合においても、実装の形態2から6と同様、上限周波数FcHをデコード処理部1100に対するナイキスト条件に従って24kHz付近を上限とすることで、上記の実施の形態に比べ拡張帯域は限定される以外は、同様の効果を得ることができる。
【0155】
(実施の形態7)
図12は、本発明の実施の形態7に係る音声処理装置の一構成例を示す回路ブロック図である。図12において、音声処理装置9100は、実施の形態3から6の場合と同様に、デコード処理部1100と、オーバーサンプリング部1200と、拡張帯域生成部1300と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600と、帯域判定部1700とで構成される。
【0156】
本実施の形態が実施の形態3から6の場合と異なる点は、デコード処理部1100および帯域判定部1700が、図13に示されるような構成になっている点にある。
【0157】
図13において、デコード処理部1100は、補助情報解析部1110と、デコードコア部1170と、ビットレート情報送信部1190と、サンプリング周波数情報送信部1191とを含んで構成される。
【0158】
補助情報解析部1110は、実施の形態4から7の場合と同様に、入力符号化信号の復号情報となる補助情報の解析を行うブロックであり、例えば、MPEGオーディオ規格に準ずる符号化信号に対しては、ストリームヘッダ情報(サンプリング周波数情報、ビットレート情報、レイヤー情報など)の解析や復号情報(各オーディオ量子化データのビット割付情報や、逆量子化処理のためのスケールファクタなど)の抽出を行うブロックであり、少なくともビットレート情報の抽出と、ビットレート情報送信部1190への出力とを行う。
【0159】
デコードコア部1170は、実施の形態6の場合と同様に、補助情報解析部1110によって抽出される補助情報に基づいて、復号処理を行いPCMデータを生成する。
【0160】
また、ビットレート情報送信部1190は、実施の形態6の場合と同様に、補助情報解析部1110で生成されるビットレート情報を外部に送信する機能を有する。
【0161】
また、サンプリング周波数情報送信部1191は、補助情報解析部1110で生成されるサンプリング周波数情報を外部に送信する機能を有する。
【0162】
帯域判定部1700は、デコード処理部1100内部のビットレート情報送信部1190から送信されるビットレート情報を受信するビットレート情報受信部1750と、デコード処理部1100内部のサンプリング周波数情報送信部1191から送信されるサンプリング周波数情報を受信するサンプリング周波数情報受信部1760と、帯域判定情報生成部1770とを含んで構成される。
【0163】
ビットレート情報受信部1750は、実施の形態6の場合と同様に、補助情報解析部1110で生成されるビットレート情報を受信する機能を有する。
【0164】
また、サンプリング周波数情報受信部1760は、補助情報解析部1110で生成されるサンプリング周波数情報を受信する機能を有する。
【0165】
また、帯域判定情報生成部1770は、ビットレート情報受信部1750に送信されるビットレート情報と、サンプリング周波数情報受信部1760に送信されるサンプリング周波数情報との組み合わせから最適な帯域判定情報を生成するものであり、たとえばビットレート情報、サンプリング周波数の組み合わせをポインタ情報として帯域判定情報をテーブル化することで実現される。
【0166】
次に、このように構成された音声処理装置について、本実施の形態では、サンプリング周波数が48kHzであるMPEG1オーディオ規格の符号化方式でエンコードされたオーディオ符号化信号を入力して音声信号に復号する場合について説明する。
【0167】
この場合、本実施の形態におけるデコード処理部1100に、MPEG1オーディオ規格レイヤー2によって符号化されたオーディオ符号化信号が入力されると、まず、補助情報解析部1110にて、入力符号化信号の復号情報となる補助情報の解析を行う。このとき、補助情報解析部1110では、少なくともビットレート情報の抽出と、ビットレート情報送信部1190への出力、サンプリング周波数情報の抽出と、サンプリング情報送信部1191への出力とが実施される。
【0168】
次に、デコードコア部1170は、補助情報解析部1110によって抽出される補助情報に基づいて、復号処理を行いPCMデータを生成する。
【0169】
この場合、本実施の形態におけるデコード処理部1100によって復号されるPCMデータは、上記のエンコード条件から帯域特性が16kHz以下であり、オーバーサンプリング部1200によるオーバーサンプリング処理、拡張帯域生成部1300による帯域拡張成分の生成は、いずれも実施の形態2〜7の場合と同様に実施されるので、詳しい説明は省略する。
【0170】
帯域判定部1700では、デコード処理部1100のビットレート情報送信部1190から送信されるビットレート情報を内部のビットレート情報受信部1750で受け取り、同様にサンプリング情報送信部1191から送信されるサンプリング周波数情報を内部のサンプリング周波数情報受信部1760で受け取る。
【0171】
次に、帯域判定情報生成部1770は、ビットレート情報受信部1750に送信されるビットレート情報と、サンプリング周波数情報受信部1760に送信されるサンプリング周波数情報との組み合わせから最適な帯域判定情報を生成し、バンドパスフィルタコントローラ1600に対して帯域判定情報を送信し、以降は、実施の形態4の場合と同様の動作が実施される。
【0172】
尚、ビットレート情報と復号処理されるPCMデータの周波数特性は、一般的に、ビットレートが大きくなるにつれて周波数レンジが広くなる傾向になるが、必ずしも特定のビットレートに対して特定の周波数特性のレンジが定義されるわけではない。しかし、特定のビットレート情報に対して、特定の周波数特性への対応付けを行うことによって、例えば、固定ビットレートによるエンコードが行われている場合は、固定的に帯域拡張領域が設定されるので、比較的安定した帯域拡張処理が施されることとなる。
【0173】
しかも、本実施の形態では、サンプリング周波数情報もあわせて帯域判定情報を生成するので、ビットレート情報のみの帯域判定処理の場合よりもさらに最適な帯域判定が可能となる。
【0174】
このように、本実施の形態によれば、帯域判定部1700と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600とを構成要素として導入することによって、拡張帯域をコントロールすることが可能となるので、その分良好な高音質再生を実現することができる。
【0175】 しかも、デコード処理部1100にビットレート情報送信部1190およびサンプリング周波数情報送信部1191を設け、また帯域判定部1700にビットレート情報受信部1750、サンプリング周波数情報受信部1760、および帯域判定情報生成部1770を設けることで、外部からのコントロールを必要とすることなく、自動的に拡張帯域をコントロールすることが可能である。
【0176】
更に、本実施の形態では、デコード処理部による復号処理で生成されるビットレート情報とサンプリング周波数情報を用いて帯域判定処理を実施しているため、実施の形態3の場合のようにスペクトルアナライザを新たに用いて帯域判定情報を生成しているわけではないので、帯域判定に要する処理量を削減することができる。
【0177】
また、上記のように、ビットレート情報を特定の周波数特性に対応付けることによって、固定ビットレートによるエンコードが行われている場合は、固定的に帯域拡張領域が設定されるので、比較的安定した帯域拡張処理が実現できる。
【0178】
尚、本実施の形態ではオーバーサンプリング部1200を含んで構成される場合について説明したが、オーバーサンプリング部を含まない場合においても、実装の形態2から7と同様、上限周波数FcHをデコード処理部1100に対するナイキスト条件に従って24kHz付近を上限とすることで、上記の実施の形態に比べ拡張帯域は限定される以外は、同様の効果を得ることができる。
【0179】
(実施の形態8)
図14は、本発明の実施の形態9に係る音声処理装置の一構成例を示す回路ブロック図である。図14において、音声処理装置9200は、実施の形態3から8の場合と同様に、デコード処理部1100と、オーバーサンプリング部1200と、拡張帯域生成部1300と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600と、帯域判定部1700とで構成される。
【0180】
本実施の形態が実施の形態3から7の場合と異なる点は、デコード処理部1100および帯域判定部1700が、図15に示されるような構成になっている点にある。
【0181】
図15において、デコード処理部1100は、補助情報解析部1110と、デコードコア部1170と、ビットレート情報送信部1190と、サンプリング周波数情報送信部1191と、レイヤー情報送信部1192とを含んで構成される。
【0182】
補助情報解析部1110は、実施の形態4から8の場合と同様に、入力符号化信号の復号情報となる補助情報の解析を行うブロックであり、例えば、MPEGオーディオ規格に準ずる符号化信号に対しては、ストリームヘッダ情報(サンプリング周波数情報、ビットレート情報、レイヤー情報など)の解析や復号情報(各オーディオ量子化データのビット割付情報や、逆量子化処理のためのスケールファクタなど)の抽出を行うブロックであり、少なくともビットレート情報の抽出と、ビットレート情報送信部1190への出力とを行う。
【0183】
デコードコア部1170は、実施の形態6および7の場合と同様に、補助情報解析部1110によって抽出される補助情報に基づいて、復号処理を行いPCMデータを生成する。
【0184】
また、ビットレート情報送信部1190は、実施の形態6の場合と同様に、補助情報解析部1110で生成されるビットレート情報を外部に送信する機能を有する。
【0185】
また、サンプリング周波数情報送信部1191は、補助情報解析部1110で生成されるサンプリング周波数情報を外部に送信する機能を有する。
【0186】
また、レイヤー情報送信部1192は、補助情報解析部1110で生成されるレイヤー情報を外部に送信する機能を有する。
【0187】
帯域判定部1700は、デコード処理部1100内部のビットレート情報送信部1190から送信されるビットレート情報を受信するビットレート情報受信部1750と、デコード処理部1100内部のサンプリング周波数情報送信部1191から送信されるサンプリング周波数情報を受信するサンプリング周波数情報受信部1760と、デコード処理部1100内部のレイヤー情報送信部1192から送信されるレイヤー情報を受信するレイヤー情報受信部1780と、帯域判定情報生成部1770とを含んで構成される。
【0188】
ビットレート情報受信部1750は、実施の形態6の場合と同様に、補助情報解析部1110で生成されるビットレート情報を受信する機能を有する。
【0189】
また、サンプリング周波数情報受信部1760は、補助情報解析部1110で生成されるサンプリング周波数情報を受信する機能を有する。
【0190】
また、レイヤー情報受信部1780は、補助情報解析部1110で生成されるレイヤー情報を受信する機能を有する。
【0191】
また、帯域判定情報生成部1770は、ビットレート情報受信部1750に送信されるビットレート情報と、サンプリング周波数情報受信部1760に送信されるサンプリング周波数情報と、レイヤー情報受信部1780に送信されるレイヤー情報との組み合わせから最適な帯域判定情報を生成するものであり、例えばビットレート情報、サンプリング周波数、レイヤー情報の組み合わせをポインタ情報として帯域判定情報をテーブル化することで実現される。
【0192】
次に、このように構成された音声処理装置について、本実施の形態では、サンプリング周波数が48kHzであるMPEG1オーディオ規格の符号化方式でエンコードされたオーディオ符号化信号を入力して音声信号に復号する場合について説明する。
【0193】
この場合、本実施の形態におけるデコード処理部1100に、MPEG1オーディオ規格レイヤー2によって符号化されたオーディオ符号化信号が入力されると、まず、補助情報解析部1110にて、入力符号化信号の復号情報となる補助情報の解析を行う。このとき、補助情報解析部1110では、少なくともビットレート情報の抽出と、ビットレート情報送信部1190への出力、サンプリング周波数情報の抽出と、サンプリング情報送信部1191への出力、レイヤー情報の抽出と、レイヤー情報送信部1192への出力とが実施される。
【0194】
次に、デコードコア部1170は、補助情報解析部1110によって抽出される補助情報に基づいて、復号処理を行いPCMデータを生成する。
【0195】
この場合、本実施の形態におけるデコード処理部1100によって復号されるPCMデータは、上記のエンコード条件から帯域特性が16kHz以下であり、オーバーサンプリング部1200によるオーバーサンプリング処理、拡張帯域生成部1300による帯域拡張成分の生成は、いずれも実施の形態2〜6の場合と同様に実施されるので、詳しい説明は省略する。
【0196】
帯域判定部1700では、デコード処理部1100のビットレート情報送信部1190から送信されるビットレート情報を内部のビットレート情報受信部1750で受け取り、サンプリング周波数情報送信部1191から送信されるサンプリング周波数情報を内部のサンプリング周波数情報受信部1760で受け取り、同様にレイヤー情報送信部1192から送信されるレイヤー情報をレイヤー情報受信部1780で受け取る。
【0197】
次に、帯域判定情報生成部1770は、ビットレート情報受信部1750に送信されるビットレート情報と、サンプリング周波数情報受信部1760に送信されるサンプリング周波数情報と、レイヤー情報受信部1780に送信されるレイヤー情報との組み合わせから最適な帯域判定情報を生成し、バンドパスフィルタコントローラ1600に対して帯域判定情報を送信し、以降は、実施の形態4の場合と同様の動作が実施される。
【0198】
尚、ビットレート情報と復号処理されるPCMデータの周波数特性は、一般的に、ビットレートが大きくなるにつれて周波数レンジが広くなる傾向になるが、必ずしも特定のビットレートに対して特定の周波数特性のレンジが定義されるわけではない。しかし、特定のビットレート情報に対して、特定の周波数特性への対応付けを行うことによって、例えば、固定ビットレートによるエンコードが行われている場合は、固定的に帯域拡張領域が設定されるので、比較的安定した帯域拡張処理が施されることとなる。
【0199】
しかも、本実施の形態では、実施の形態7の場合と比較した場合、レイヤー情報もあわせて帯域判定情報を生成するので、その分、最適な帯域判定が可能となる。例えば、MPEGオーディオ規格ISO/IEC11172−3:1993及び13818−3:1996によれば、レイヤー2の場合とレイヤー3の場合とでは、同じビットレートインデックス値でもビットレートが異なるので、レイヤー情報を帯域判定の材料に活用することで、より正確な帯域判定が可能となる。
【0200】
このように、本実施の形態によれば、帯域判定部1700と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600とを構成要素として導入することによって、拡張帯域をコントロールすることが可能となるので、その分良好な高音質再生を実現することができる。
【0201】
しかも、デコード処理部1100にビットレート情報送信部1190、サンプリング周波数送信部1191、およびレイヤー情報送信部1192を設け、また帯域判定部1700にビットレート情報受信部1750、サンプリング周波数情報受信部1760、レイヤー情報受信部1780、および帯域判定情報生成部1770を設けることで、外部からのコントロールを必要とすることなく、自動的に拡張帯域をコントロールすることが可能である。
【0202】
更に、本実施の形態では、デコード処理部による復号処理で生成されるビットレート情報、サンプリング周波数情報、およびレイヤー情報を用いて帯域判定処理を実施しているため、実施の形態3の場合のようにスペクトルアナライザを新たに用いて帯域判定情報を生成しているわけではないので、帯域判定に要する処理量を削減することができる。
【0203】
また、上記のように、ビットレート情報を特定の周波数特性に対応付けることによって、固定ビットレートによるエンコードが行われている場合は、固定的に帯域拡張領域が設定されるので、比較的安定した帯域拡張処理が実現できる。
【0204】
尚、本実施の形態ではオーバーサンプリング部1200を含んで構成される場合について説明したが、オーバーサンプリング部を含まない場合においても、実装の形態1から5と同様、上限周波数FcHをデコード処理部1100に対するナイキスト条件に従って24kHz付近を上限とすることで、上記の実施の形態に比べ拡張帯域は限定される以外は、同様の効果を得ることができる。
【0205】
(実施の形態9)
図16は、本発明の実施の形態9に係る音声処理装置の一構成例を示す回路ブロック図である。図16において、音声処理装置9300は、デコード処理部1100と、オーバーサンプリング部1200と、拡張帯域生成部1300と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600と、帯域判定部1700とを含んで構成される点においては、実施の形態3から9の場合と同様である。
【0206】
本実施の形態が実施の形態3から8の場合と異なる点は、帯域判定部1700内部に帯域判定情報スムージング部1910が構成要素として含まれている点にある。
【0207】
帯域判定情報スムージング部1910は、デコード処理部1100より送信される帯域判定情報の平滑化処理を実施する機能を有するものであり、帯域判定情報が急激な変動した場合にでも、平滑化処理により変化の度合いを押さえる働きをもつ。平滑化処理については、例えば時定数回路のようにIIRフィルタを用い、前処理データを一定割合ミキシングする構成にすることにより容易に実現可能である。
【0208】
次に、このように構成された音声処理装置の動作について説明する。この場合、本実施の形態におけるデコード処理部1100に、オーディオ符号化信号が入力されると、本実施の形態におけるデコード処理部1100によって復号されPCMデータが出力される。尚、本実施の形態では説明を容易にするため、帯域判定情報をスペクトル情報とする。
【0209】
一方、帯域判定部1700は、デコード処理部1100からのPCMデータに対して、デコード処理部1100からのデコード情報に基づいて周波数分析を行い、その分析結果からPCMデータに対する帯域判定情報を生成し、さらに帯域判定情報スムージング部1910によって平滑化処理を実施した後、バンドパスフィルタコントローラ1600に対して帯域判定情報を送信する。
【0210】
ここで、帯域判定部1700では、帯域判定情報スムージング部1910による平滑化処理によって、デコード処理部1100によって復号されるPCMデータの周波数特性に対する帯域拡張処理の追従性は低くなるが、例えば、PCMデータの周波数特性が著しく変化するような場合は、帯域拡張領域の変動が少なくなり、比較的安定した帯域拡張処理が実現できる。
【0211】
このように、帯域判定情報スムージング部1910を設けることによって、再生されるPCMデータの周波数変動に対して、自動的に帯域拡張領域の過度の変化を押さえることが可能となるので、比較的容易に安定した帯域拡張再生が実現できる。
【0212】
(実施の形態10)
図17は、本発明の実施の形態10に係る音声処理装置の一構成例を示す回路ブロック図である。図17において、音声処理装置9400は、デコード処理部1100と、オーバーサンプリング部1200と、拡張帯域生成部1300と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600と、帯域判定部1700とを含んで構成される点においては、実施の形態3〜10の場合と同様である。
【0213】
本実施の形態が実施の形態3から9の場合と異なる点は、音声処理装置9400に更に、帯域判定インターバル設定部1800が構成要素として含まれている点にある。
【0214】
帯域判定インターバル設定部1800は、帯域判定部1700における帯域判定処理の時間間隔を外部の入力に応じて設定する機能を有し、帯域判定部1700は、帯域判定インターバル設定部1800から指示される帯域判定のインターバル時間に合わせて帯域判定処理を実施する。
【0215】
次に、このように構成された音声処理装置の動作について説明する。この場合、本実施の形態におけるデコード処理部1100に、オーディオ符号化信号が入力されると、本実施の形態におけるデコード処理部1100によって復号されPCMデータが出力される。
【0216】
一方、帯域判定部1700は、デコード処理部1100からのPCMデータに対して、デコード処理部1100からのデコード情報に基づいて周波数分析を行い、その分析結果からPCMデータに対する帯域判定情報を生成し、バンドパスフィルタコントローラ1600に対して帯域判定情報を送信する。
【0217】
ここで、帯域判定部1700には、予め外部から帯域判定インターバル設定部1800を介して帯域判定処理の時間間隔が設定されている。
【0218】
よって、外部から指示される時間間隔が短めに設定されている場合は、結果として、デコード処理部1100からのデコード情報に対して敏感に応答することになるので、その分、デコード処理部1100によって復号されるPCMデータの周波数特性に対する帯域拡張処理の追従性が高くなる。
【0219】
一方、外部から指示される時間間隔が長めに設定されている場合は、デコード処理部1100によって復号されるPCMデータの周波数特性に対する帯域拡張処理の追従性は低くなるが、例えば、PCMデータの周波数特性が著しく変化するような場合は、逆に帯域判定処理のインターバルが長くなる分、帯域拡張領域の変動が少なくなり、比較的安定した帯域拡張処理が実現できる。
【0220】
このように、帯域判定インターバル設定部1800を設けることによって、再生されるPCMデータの特徴やユーザーの好み等に応じて、帯域拡張処理を調整することが可能となる。
【0221】
(実施の形態11)
図18は、本発明の実施の形態12に係る音声処理装置の一構成例を示すブロック図である。図18において、音声処理装置9500は、デコード処理部1100と、オーバーサンプリング部1200と、拡張帯域生成部1300と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600と、帯域判定部1700とを含んで構成される点においては、実施の形態3〜11の場合と同様である。
【0222】
本実施形態が実施の形態3から10の場合と異なる点は、音声処理装置9500には更に、帯域判定スレッショルド設定部1900が構成要素として含まれている点にある。
【0223】
帯域判定スレッショルド設定部1900は、帯域判定部1700における帯域判定処理の各帯域に対するサブバンド振幅もしくはスペクトル情報の有無を判別するためのレベル閾値を外部の入力に応じて設定する機能を有し、帯域判定部1700は、帯域判定スレッショルド設定部1900から指示される帯域判定のレベル閾値に応じて帯域判定処理を実施する。
【0224】
次に、このように構成された音声処理装置の動作について説明する。この場合、本実施の形態におけるデコード処理部1100にオーディオ符号化信号が入力されると、本実施の形態におけるデコード処理部1100によって復号されPCMデータが出力される。
【0225】
一方、帯域判定部1700は、デコード処理部1100からのPCMデータに対して、デコード処理部1100からのデコード情報に基づいて周波数分析を行い、その分析結果からPCMデータに対する帯域判定情報を生成し、バンドパスフィルタコントローラ1600に対して帯域判定情報を送信する。
【0226】
ここで、帯域判定部1700には、予め外部から帯域判定スレッショルド設定部1900を介して、帯域判定処理の各帯域に対するサブバンド振幅もしくはスペクトル情報の有無を判別するためのレベル閾値が設定されている。
【0227】
よって、外部から指示されるレベル閾値が低めに設定されている場合は、結果として、デコード処理部1100からのデコード情報に対して、デコード処理部1100から出力されるPCMデータに対する帯域特性の最高帯域が高めに設定されることとなるので、その分、デコード処理部1100によって復号されるPCMデータの周波数特性に対する帯域拡張処理の拡張帯域が狭く設定されることとなる。
【0228】
一方、外部から指示されるレベル閾値が高めに設定されている場合は、結果として、デコード処理部1100からのデコード情報に対して、デコード処理部1100から出力されるPCMデータに対する帯域特性の最高帯域が低めに設定されることとなるので、その分、デコード処理部1100によって復号されるPCMデータの周波数特性に対する帯域拡張処理の拡張帯域が広く設定されることとなる。
【0229】
このように、帯域判定スレッショルド設定部1900を設けることによって、再生されるPCMデータの特徴やユーザーの好み等に応じて、帯域拡張処理の効果の大小を調整することが可能となる。
【0230】
(実施の形態12)
図19は、本発明の実施の形態12に係る音声処理装置の一構成例を示す回路ブロック図である。図19において、音声処理装置9600は、デコード処理部1100と、オーバーサンプリング部1200と、拡張帯域生成部1300と、帯域可変バンドパスフィルタ1500と、バンドパスフィルタコントローラ1600と、帯域判定部1700とを含んで構成される点においては、実施の形態3〜12の場合と同様である。
【0231】
本実施形態が実施の形態3から11の場合と異なる点は、音声処理装置9600に、フィルタ係数テーブル1920が構成要素として含まれている点と、帯域判定部1700内部にデコーダ別帯域判定切り替え手段としてデコーダ別帯域判定情報指定テーブル1790を備えている点にある。
【0232】
尚、本実施の形態では説明を容易とするために、デコード処理部1100および帯域判定部1700は図20に示す構成であるものとする。
【0233】
フィルタ係数テーブル1920には、複数の組み合わせからなる、帯域可変バンドパスフィルタ1500で使用するフィルタタップ係数が格納されており、フィルタタイプをポインタ情報として指定することにより、異なるフィルタ特性のタップ係数を帯域可変バンドパスフィルタ1500へロードすることが可能である。
【0234】
図20において、デコード処理部1100は、デコード部1193およびデコードパラメータ情報送信部1194を含んでおり、更にデコード部1193は内部にデコーダ切り換え手段1195、MPEGオーディオデコード手段1196、AC3デコード手段1197を含んで構成される。
【0235】
デコード部1193は、外部から入力されるオーディオビットストリームをデコード処理する機能を有しており、内部のデコーダ切り換え手段1195によりデコード手段の特定と切り換えを実施し、デコード処理を行うと同時にデコードパラメータ情報をデコードパラメータ情報送信部1194へ送信する。
【0236】
本実施の形態では、説明を容易とするため、デコード部1193内部にMPEGオーディオデコード手段1196、AC3デコード手段1197を含むこととしているが、MPEGオーディオデコード手段1196は、MPEGオーディオ方式により符号化されたオーディオビットストリームをデコードする手段であり、更にデコード処理と平行してデコードパラメータ情報としてサンプリング周波数情報、ビットレートインデックス情報、レイヤー情報をデコードパラメータ情報送信部1194に送信する機能を有し、AC3デコード手段1197は、ドルビーAC3方式により符号化されたオーディオビットストリームをデコードする手段であり、更にデコード処理と平行してデコードパラメータ情報としてサンプリング周波数情報とスペクトル情報をデコードパラメータ情報送信部1194へ送信する機能を有するものとする。
【0237】
デコードパラメータ情報送信部1194は、デコード部1193から送られるデコードパラメータ情報を外部に送信する機能を有する。
【0238】
帯域判定部1700は、デコードパラメータ情報受信部1792と、デコーダ指定情報受信部1791と、デコーダ別帯域判定情報指定テーブル1790とを含んで構成される。
【0239】
デコードパラメータ情報受信部1792は、デコード処理部1100内部のデコードパラメータ情報送信部1194から送信されるデコードパラメータ情報を受信し、デコーダ別帯域判定情報指定テーブル1790へ送信する機能を有する。
【0240】
デコーダ指定情報受信部1791は、外部から指定されるデコーダ指定情報を受信し、デコーダ別帯域判定情報指定テーブル1790へ送信する機能を有する。
【0241】
デコーダ別帯域判定情報指定テーブル1790は、デコードパラメータ情報受信部1792から送信されるデコードパラメータ情報と、デコーダ指定情報受信部1791から送信されるデコーダ指定情報とによって、フィルタ係数テーブル1920のフィルタ係数ポインタ情報を生成するものである。
【0242】
また、本実施の形態の説明を容易とするため、デコーダ別帯域判定情報指定テーブル1790およびフィルタ係数テーブル1920のテーブルデータ構成例をそれぞれ図21および図22に示している。
【0243】
図21は、デコーダ別帯域判定情報指定テーブル1790のうち、MPEGオーディオとAC3の場合のテーブル構成を示しており、MPEGオーディオの場合には、サンプリング情報、ビットレートインデックス情報、レイヤー情報の組み合わせから、フィルタ係数テーブル1920のフィルタ係数ポインタ情報としてTBL0からTBL9いずれかの値を生成する構成となっており、AC3の場合には、スペクトル情報から、同様にフィルタ係数テーブル1920のフィルタ係数ポインタ情報としてTBL0からTBL9いずれかの値を生成する構成となっている。
【0244】
尚、図21では、指定されるデコーダがMPEGオーディオの場合とAC3の場合を例として記述しているが、本システムが対応するデコーダの分だけデコーダ毎のテーブルが存在するのは言うまでもない。
【0245】
図22は、フィルタ係数テーブル1920のデータ構成を示しており、デコーダ別帯域判定情報指定テーブル1790によって指定されるTBL0からTBL9のフィルタ係数ポインタ情報から、帯域可変バンドパスフィルタ1500へロードするフィルタタップ係数を指定するテーブルである。
【0246】
このように構成された音声処理装置について、本実施の形態では、まずサンプリング周波数が44.1kHz、ビットレートインデックス情報が9であるレイヤー2のMPEGオーディオ規格の符号化方式でエンコードされたオーディオ符号化信号を入力して音声信号に復号する場合について説明する。
【0247】
本実施の形態におけるデコード処理部1100に、MPEG1オーディオ規格レイヤー2によって符号化されたオーディオ符号化信号が入力されると、デコード部1193では、デコーダ切り換え手段1195によりデコーダをMPEGオーディオと限定し、MPEGオーディオデコード手段1196により復号処理を実施し、PCMデータを生成すると同時に、デコードパラメータ情報送信部1194に対してサンプリング周波数情報、ビットレートインデックス情報、レイヤー情報を送信する。
【0248】
この場合、本実施の形態におけるデコード処理部1100によって復号されるPCMデータは、オーバーサンプリング部1200によるオーバーサンプリング処理、拡張帯域生成部1300による帯域拡張成分の生成は、いずれも実施の形態2から6の場合と同様に実施されるので、詳しい説明は省略する。
【0249】
帯域判定部1700では、デコードパラメータ情報送信部1194から送信されるデコードパラメータ情報をデコードパラメータ情報受信部1792によって受信する。また、ここで、デコーダ指定情報受信部1791では、外部よりデコーダ指定情報として“MPEGオーディオ”が指定されている。
【0250】
次に、デコーダ別帯域判定情報指定テーブル1790では、デコーダ指定情報をデコーダ指定情報受信部1791から、またデコードパラメータ情報をデコードパラメータ情報受信部1792から受け取り、デコーダ指定情報がMPEGオーディオであること、デコードパラメータ情報としてサンプリング周波数情報が“44.1kHz”、レイヤー情報が“レイヤー2”、ビットレートインデックス情報が“9”であることから、図21で示される通り、フィルタ係数ポインタ情報として“TBL5“をバンドパスフィルタコントローラ1600へ送信する。
【0251】
更に、バンドパスフィルタコントローラ1600では、フィルタ係数ポインタ情報が“TBL5“であることから、図22に示すフィルタ係数テーブル1920によって、フィルタタップ係数Coeff[51]〜Coeff[5n]の帯域可変バンドパスフィルタ1500へのロード処理を行い、以降は、実施の形態3〜12の場合と同様の動作が実施される。
【0252】
次に、本実施の形態では、AC3規格の符号化方式でエンコードされたサンプリング周波数48kHzのオーディオ符号化信号を入力して音声信号に復号する場合について説明する。
【0253】
本実施の形態におけるデコード処理部1100に、AC3によって符号化されたオーディオ符号化信号が入力されると、デコード部1193ではデコーダ切り換え手段1195によりデコーダをAC3と限定し、AC3デコード手段1196により復号処理を実施し、PCMデータを生成すると同時に、デコードパラメータ情報送信部1194に対してサンプリング周波数情報とスペクトル情報を送信する。ここで、本実施の形態の説明を容易とするため、AC3デコード手段1197により生成されるスペクトル情報は、インデックス化された10段階の値のうちのひとつであるとし、この場合は“1”が生成されたものとする。
【0254】
この場合、本実施の形態におけるデコード処理部1100によって復号されるPCMデータは、オーバーサンプリング部1200によるオーバーサンプリング処理、拡張帯域生成部1300による帯域拡張成分の生成は、いずれも本実施の形態のMPEGオーディオの場合と同様に実施される。
【0255】
帯域判定部1700では、デコードパラメータ情報送信部1194から送信されるデコードパラメータ情報をデコードパラメータ情報受信部1792によって受信する。また、ここで、デコーダ指定情報受信部1791では外部よりデコーダ指定情報として“AC3”が指定されている。
【0256】
次に、デコーダ別帯域判定情報指定テーブル1790では、デコーダ指定情報をデコーダ指定情報受信部1791から、またデコードパラメータ情報をデコードパラメータ情報受信部1792から受け取り、デコーダ指定情報が“AC3”であること、デコードパラメータ情報としてサンプリング周波数情報が“48kHz”、スペクトル情報が“1”であることから、図21で示される通り、フィルタ係数ポインタ情報として“TBL3“をバンドパスフィルタコントローラ1600へ送信する。
【0257】
更に、バンドパスフィルタコントローラ1600では、フィルタ係数ポインタ情報が“TBL3“であることから、図22に示すフィルタ係数テーブル1920によって、フィルタタップ係数Coeff[31]〜Coeff[3n]の帯域可変バンドパスフィルタ1500へのロード処理を行い、以降は、実施の形態3〜11の場合と同様の動作が実施される。
【0258】
このように、本実施の形態によれば、デコーダ別帯域判定情報指定テーブル1790を設けることで、異なる複数のデコード処理に対応した場合でもそれぞれのデコード処理に応じた帯域判定処理を行うことが可能となるので、その分、より最適な帯域拡張処理を自動的に実現することが容易となる。
【0259】
しかも、本実施の形態によれば、デコーダ別帯域判定情報指定テーブル1790とフィルタ係数テーブル1920とを分離して構成することで、帯域判定処理が異なるデコーダ処理に応じた帯域判定処理の場合でも、フィルタタップ係数を共用できる構成で実現している。その結果として、フィルタタップ係数を共用できる分、フィルタタップ係数に要するメモリ資源を削減することが可能となる。
【0260】
尚、本実施の形態ではオーバーサンプリング部1200を含んで構成される場合について説明したが、オーバーサンプリング部を含まない場合においても、実装の形態2から11と同様、上限周波数FcHをデコード処理部1100に対するナイキスト条件に従って24kHz付近を上限とすることで、上記の実施の形態に比べ拡張帯域は限定される以外は、同様の効果を得ることができる。
【0261】
以上の各実施の形態では、帯域圧縮されたPCM音声信号の場合を例示および説明したが、本発明はリニアPCM音声信号であっても種々の周波数特性を有する音源を扱う場合などにも有効であることは言うまでもない。
【0262】
【発明の効果】
以上説明したように、本発明によれば、入力符号化信号の帯域特性がナイキスト周波数(Fs/2)以下で欠落してしまうような場合や種々の周波数特性を有するリニアPCM音声信号の場合にも、PCMデータの性質に応じて帯域拡張を行うことで、高音質再生を実現することが可能になる。
【図面の簡単な説明】
【図1】 本発明の実施の形態1に係る音声処理装置の一構成例を示す回路ブロック図
【図2】 本発明の実施の形態2に係る音声処理装置の一構成例を示す回路ブロック図
【図3】 本発明の実施の形態3に係る音声処理装置の変形例を示す回路ブロック図
【図4】 本発明の実施の形態3に係る音声処理装置の一構成例を示す回路ブロック図
【図5】 本発明の実施の形態3ににおける帯域判定部にスペクトルアナライザを含む例を示す回路ブロック図
【図6】 本発明の実施の形態4に係る音声処理装置の一構成例を示す回路ブロック図
【図7】 本発明の実施の形態4におけるデコード処理部および帯域判定部の内部構成を示すブロック図
【図8】 本発明の実施の形態5に係る音声処理装置の一構成例を示す回路ブロック図
【図9】 本発明の実施の形態5におけるデコード処理部および帯域判定部の内部構成を示すブロック図
【図10】 本発明の実施の形態6に係る音声処理装置の一構成例を示す回路ブロック図
【図11】 本発明の実施の形態6におけるデコード処理部および帯域判定部の内部構成を示すブロック図
【図12】 本発明の実施の形態7に係る音声処理装置の一構成例を示す回路ブロック図
【図13】 本発明の実施の形態7におけるデコード処理部および帯域判定部の内部構成を示すブロック図
【図14】 本発明の実施の形態8に係る音声処理装置の一構成例を示す回路ブロック図
【図15】 本発明の実施の形態8におけるデコード処理部および帯域判定部の内部構成を示すブロック図
【図16】 本発明の実施の形態9に係る音声処理装置の一構成例を示す回路ブロック図
【図17】 本発明の実施の形態10に係る音声処理装置の一構成例を示す回路ブロック図
【図18】 本発明の実施の形態11に係る音声処理装置の一構成例を示す回路ブロック図
【図19】 本発明の実施の形態12に係る音声処理装置の一構成例を示す回路ブロック図
【図20】 本発明の実施の形態12におけるデコード処理部および帯域判定部の内部構成を示すブロック図
【図21】 本発明の実施の形態12における帯域判定部内に含まれるデコーダ別帯域判定情報指定テーブルのテーブルデータ構成例を示す図
【図22】 本発明の実施の形態12におけるフィルタ係数テーブルのテーブルデータ構成例を示す図
【図23】 従来の音声処理装置の構成例を示す回路ブロック図
【符号の説明】
1000、2000、3000、4000、5000、6000、7000、9000、9100、9200、9300、9400、9500、9600、10000 音声処理装置
1100 デコード処理部
1110 補助情報解析部
1120 スペルトルデータ生成部
1130 PCMデータ生成部
1140 スペルトル情報送信部
1150 サブバンドデータ生成部
1160 サブバンド情報送信部
1190 ビットレート情報送信部
1191 サンプリング周波数情報送信部
1192 レイヤー情報送信部
1193 デコード部
1194 デコードパラメータ情報送信部
1195 デコーダ切り換え手段
1196 MPEGオーディオデコード手段
1197 AC3デコード手段
1200 オーバーサンプリング部
1300 拡張帯域生成部
1500 帯域可変バンドパスフィルタ
1600 バンドパスフィルタコントローラ
1700 帯域判定部
1710 スペクトルアナライザ
1720 スペクトル情報受信部
1730 サブバンド振幅情報受信部
1750 ビットレート情報受信部
1760 サンプリング周波数情報受信部
1770 帯域判定情報生成部
1780 レイヤー情報受信部
1790 デコーダ別帯域判定情報指定テーブル
1791 デコーダ指定情報受信部
1792 デコードパラメータ情報受信部
1800 帯域判定インターバル設定部
1900 帯域判定スレッショルド設定部
1910 帯域判定情報スムージング部
1920 フィルタ係数テーブル[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital signal processing technique, and more particularly, to an audio processing apparatus that realizes high-quality sound reproduction by decoding an encoded signal, particularly an audio compression encoded signal, and performing band extension processing.
[0002]
[Prior art]
Various methods have been proposed as a method for realizing high-quality sound reproduction by performing band expansion processing. Among them, for example, N times (for a PCM signal having a sampling frequency Fs subjected to decoding processing) N is an integer in which N ≧ 2), and the band from Fs / 2 to N × Fs / 2 is applied to the oversampled PCM signal having the sampling frequency of N × Fs. There is a method for realizing high-quality sound reproduction by adding a noise signal having a component to realize band expansion. This method is, for example, FIG. This is realized by a voice processing device having a configuration as shown in FIG.
[0003]
The
[0004]
The
[0005]
Here, for ease of explanation, the
[0006]
FIG. As shown in FIG. 4, first, when an audio bitstream based on DVD-Video standard linear PCM is input to the
[0007]
Next, the
[0008]
On the other hand, the extension
[0009]
In the case of such an audio processing device, when the encoded data to be input is an uncompressed and reversible encoded audio signal, such as an audio stream by DVD-Video standard linear PCM, as a band extension component Since it is possible to design based on the Nyquist condition and the target bandwidth extension region can be fixedly set as described above, an effective bandwidth extension effect can be expected.
[0010]
[Problems to be solved by the invention]
However, in the case of an audio processing device that targets a DVD-standard audio encoded signal that has been rapidly spread in the market in recent years, the encoded signal to be decoded is not limited to linear PCM. Input of an encoded signal accompanied by information compression, such as the Dolby Digital encoding system (AC3) and the MPEG audio standard, is also assumed. Moreover, these encoding methods are basically irreversible encoded signals that are information-compressed based on human auditory characteristics, masking effects, etc., and the source sound source before encoding is a linear PCM with a sampling frequency of 48 kHz. In many cases, after encoding, the source sound source is compressed to 10 to 20%, and even if the source sound source before encoding includes a band component in the vicinity of 24 kHz which is the Nyquist condition (Fs / 2). Most of them are missing at that time.
[0011]
When such an encoded signal is input, in the speech processing apparatus as described above, the PCM data decoded by the
[0012]
The present invention has been made in view of the above-described conventional problems, and the purpose thereof is when the band characteristics of the input encoded signal are lost below the Nyquist frequency (Fs / 2). Even so, it is an object of the present invention to provide an audio processing apparatus that can perform high-quality reproduction by performing band expansion according to the nature of PCM data to be decoded.
[0013]
[Means for Solving the Problems]
[0014]
[0015]
[0016]
[0017]
[0018]
To achieve the above object, a first audio processing apparatus according to the present invention is an audio processing apparatus that decodes and reproduces an encoded audio signal, and decodes an encoded audio signal input from the outside. A decoding processing unit that generates PCM data, an extension band generation unit that generates a band extension component for the PCM data decoded by the decoding processing unit, and a band extension component from the extension band generation unit as inputs; Variable band-pass filter that outputs a variable signal, an adder that adds PCM data from the decoding processing unit and output data from the band-variable band-pass filter, and decoding of the encoded audio signal obtained from the decoding processing unit A band determination unit that determines the passband of the band-variable bandpass filter for the band extension component using the information as band determination information, and a designation from the band determination unit. Depending on, characterized in that a bandpass filter controller for controlling the passband of the band-variable band-pass filter.
[0019]
In order to achieve the above object, a second audio processing apparatus according to the present invention is an audio processing apparatus that decodes and reproduces an encoded audio signal, and decodes an encoded audio signal input from the outside. A decoding processing unit that generates PCM data, an oversampling unit that performs oversampling processing on the PCM data decoded by the decoding processing unit, and a band extension component for PCM data that is oversampled by the oversampling unit An extension band generation unit that generates a band, a band variable bandpass filter that receives a band extension component from the extension band generation unit and outputs a variable pass band, and output data from the oversampling unit and a band variable bandpass filter An adder for adding the output data from the signal, and the encoded sound obtained from the decoding processor Band decision unit that determines the pass band of the band variable band pass filter for the band extension component using the decoding information of the signal as band decision information, and the control of the pass band of the band variable band pass filter according to the instruction from the band decision unit And a band-pass filter controller for performing the above.
[0020]
In order to achieve the above object, in the third audio processing device according to the present invention, in the first or second audio processing device, the band determination unit performs spectrum analysis of the PCM data generated by the decoding processing unit. A spectrum analyzer is included, and the pass band for the band extension component is determined using the analysis result of the spectrum analyzer as band determination information.
[0021]
According to the above configuration, the band variable bandpass filter, the band determination unit, and the bandpass filter controller are provided, and the spectrum determination unit is provided in the band determination unit, so that automatic control is not required without external control. Therefore, it is possible to control the expansion band, and it is possible to realize a high quality sound reproduction correspondingly.
[0022]
In order to achieve the above object, the fourth sound processing apparatus according to the present invention is the first or second sound processing apparatus, wherein the decode processing unit is an auxiliary for analyzing the auxiliary information of the encoded sound signal. An information analysis unit, a spectrum data generation unit that generates spectrum data based on auxiliary information, a PCM data generation unit that converts spectrum data to generate PCM data, and spectrum information of spectrum data generated by the spectrum data generation unit A spectrum information transmission unit that transmits spectrum information to the outside, and the band determination unit includes a spectrum information reception unit that receives spectrum information transmitted from the spectrum information transmission unit, and uses the spectrum information as band determination information to pass the band extension component. A band is determined.
[0023]
According to this configuration, by providing a spectrum information transmitting unit in the decoding processing unit and a spectrum information receiving unit in the band determining unit, the extended band can be automatically controlled without requiring external control. Is possible. Furthermore, since band determination processing is performed using spectrum information generated by decoding processing by the decoding processing unit, it is not necessary to provide a spectrum analyzer in the band determination unit, and the amount of processing required for band determination can be reduced. it can.
[0024]
In order to achieve the above object, the fifth audio processing apparatus according to the present invention is the first or second audio processing apparatus, wherein the decoding processing unit is an auxiliary for analyzing auxiliary information of the encoded audio signal. Generated by the information analysis unit, the subband data generation unit that generates subband data based on the auxiliary information, the PCM data generation unit that generates the PCM data by combining the bands of the subband data, and the subband data generation unit A subband amplitude information transmission unit for transmitting the amplitude information of the subband data to the outside, and the band determination unit receives the subband amplitude information transmitted from the subband amplitude information transmission unit. And determining a passband for the band extension component using the subband amplitude information as band determination information.
[0025]
According to this configuration, the subband amplitude information transmitting unit is provided in the decoding processing unit, and the subband amplitude information receiving unit is provided in the band determining unit, so that the extension band can be automatically set without requiring external control. It is possible to control. Furthermore, since band determination processing is performed using subband amplitude information generated by decoding processing by the decoding processing unit, it is not necessary to provide a spectrum analyzer in the band determination unit, and the processing amount required for band determination is reduced. be able to.
[0026]
[0027]
[0028]
Further, in order to achieve the above object, according to the present invention. 6th In the first or second audio processing apparatus, the decoding processing unit includes an auxiliary information analysis unit that analyzes auxiliary information of the encoded audio signal, and performs decoding processing based on the auxiliary information and performs PCM. A decoding core unit that generates data; and a bit rate information transmission unit that transmits the bit rate information extracted by the auxiliary information analysis unit to the outside, wherein the band determination unit is transmitted from the bit rate information transmission unit A bit rate information receiving unit for receiving bit rate information; and a first table in which specific bit rate information is associated with a specific frequency characteristic of the PCM data, and generated using the first table A pass band for the band extension component is determined based on band determination information.
[0029]
According to this configuration, by providing the bit rate information transmitting unit in the decoding processing unit and the bit rate information receiving unit in the band determining unit, the extension band is automatically controlled without requiring external control. It is possible. In addition, since the band determination process is performed using the bit rate information generated by the decoding process by the decode processing unit, it is not necessary to provide a spectrum analyzer in the band determination unit, and the processing amount required for the band determination is reduced. Can do. Further, by associating the bit rate information with a specific frequency characteristic, when encoding at a fixed bit rate is performed, a band extension region is fixedly set, so that a relatively stable band extension process can be realized. .
[0030]
Further, in order to achieve the above object, according to the present invention. 7th The voice processing device 6th In the audio processing apparatus, the decoding processing unit includes a sampling frequency information transmitting unit that transmits sampling frequency information extracted by the auxiliary information analyzing unit to the outside, and the band determining unit is transmitted from the sampling frequency information transmitting unit. A sampling frequency information receiving unit that receives sampling frequency information, a band determination information generating unit that generates band determination information by a combination of sampling frequency information and bit rate information, and specific bit rate information instead of the first table And a second table representing a combination of a specific sampling frequency as pointer information, and the band determination information generating unit generates a pass band for the band extension component based on the band determination information generated by using the second table. It is characterized by determining.
[0031]
According to this configuration, the decoding processing unit is provided with the sampling frequency information transmitting unit, the band determining unit is provided with the sampling frequency information receiving unit, and the band determining unit generates band determination information by combining the sampling frequency information and the bit rate information. By providing the band determination information generation unit, it is possible to automatically control the extension band in accordance with the sampling frequency and the bit rate without requiring external control. Furthermore, since the sound processing apparatus of this configuration performs band determination processing by combining sampling frequency information and bit rate information, 6th When compared with the speech processing apparatus, more accurate band determination can be realized by adding the sampling frequency information.
[0032]
Further, in order to achieve the above object, according to the present invention. 8th The voice processing device 7th In the audio processing apparatus, the decoding processing unit includes a layer information transmitting unit that transmits the layer information extracted by the auxiliary information analyzing unit to the outside, and the band determining unit receives the layer information transmitted from the layer information transmitting unit. A layer information receiving unit for receiving, a band determination information generating unit for generating band determination information by a combination of layer information, sampling frequency information, and bit rate information; instead of the second table, specific bit rate information; A third table that represents a combination of specific sampling frequency and specific layer information as pointer information, and the band determination information generation unit uses a band determination information generated by using the third table to A pass band is determined.
[0033]
According to this configuration, the layer information transmission unit is generated as a decoding processing unit, the layer information receiving unit is configured as a band determination unit, and band determination information generation is performed by combining band information, sampling frequency information, and bit rate information. By providing the unit, it is possible to automatically control the extension band in accordance with the layer, the sampling frequency, and the bit rate without requiring external control. Furthermore, since the audio processing apparatus of this configuration performs band determination processing by combining layer information, sampling frequency information, and bit rate information, 7th Compared with the voice processing apparatus, more accurate band determination can be realized as much as layer information is added.
[0034]
Further, in order to achieve the above object, according to the present invention. 9th The audio processing apparatus of the first 8th In any of the audio processing apparatuses, the band determination unit includes a band determination smoothing unit that automatically smoothes a change in the band determination information transmitted from the decoding processing unit, and the band smoothed by the band determination smoothing unit A pass band for the band extension component is determined based on the determination information.
[0035]
According to this configuration, by providing the band determination smoothing unit, it is possible to smooth the sound quality change of the band extension component due to fluctuation of the band determination even when the frequency characteristic change of the PCM data to be reproduced is abrupt. As a result, it is possible to realize a relatively stable bandwidth expansion process.
[0036]
Further, in order to achieve the above object, according to the present invention. 10th The audio processing apparatus of the first 8th In any of the voice processing apparatuses, a band determination interval setting unit that sets a time interval of the band determination process in the band determination unit according to an external signal is provided.
[0037]
According to this configuration, by providing the band determination interval setting unit, it is possible to adjust the followability of the band expansion process according to the characteristics of the PCM data to be reproduced, the user's preference, and the like.
[0038]
Further, in order to achieve the above object, according to the present invention. 11th Voice processing equipment The second 3 or 4th In the voice processing apparatus, for each band of the band determination process in the band determination unit Level threshold for determining presence / absence of spectrum information And a band determination threshold setting unit that sets the threshold value according to an external signal.
Further, in order to achieve the above object, according to the present invention. 12th The voice processing device 5th In the audio processing device, subband modulation for each band of the band determination process in the band determination unit. Width A band determination threshold setting unit that sets a level threshold for determining the presence or absence according to an external signal is provided.
[0039]
According to this configuration, by providing the band determination threshold setting unit, it is possible to adjust the expansion band of the band expansion process according to the characteristics of the PCM data to be reproduced, the user's preference, and the like.
[0040]
Further, in order to achieve the above object, according to the present invention. 13th The audio processing apparatus of the first 12th In any of the audio processing devices, the decoding processing unit corresponds to decoding processing of at least two types of encoding methods, and switches the decoding processing based on decoder information designated from the outside. It is characterized in that it includes a decoder-specific band determination switching means for switching the band determination process in accordance with the decoder information specified by more.
[0041]
Further, in order to achieve the above object, according to the present invention. 14th The voice processing device 13th The audio processing apparatus includes a filter coefficient table storing filter coefficients used for the band-variable bandpass filter, and the decoder-specific band determination switching unit is a decoder-specific band determination information specifying table for individually specifying a band for each decoder. Yes, the band judgment unit performs band judgment from the decoder-specific band judgment information designation table according to decoder information designated from the outside, and transmits the band judgment information to the band pass filter controller as pointer information of the filter coefficient table. It is characterized by doing.
[0042]
13th and 14th According to the configuration of the audio processing apparatus, by providing a decoder-specific band determination information designation table that is a decoder-specific band determination switching means, even when a plurality of different decoding processes are supported, the band determination process corresponding to each decoding process is performed. Therefore, it becomes easy to automatically realize a more optimal bandwidth expansion process accordingly.
[0043]
further, 14th According to the configuration of the speech processing apparatus, the band determination processing is different by configuring the decoder-specific band determination information designation table and the filter coefficient table separately and using the band determination information as pointer information of the filter coefficient table. Since the filter tap coefficient can be shared even in the case of the band determination process corresponding to the decoder process, it is possible to reduce the memory resources related to the filter tap coefficient as much as the filter tap coefficient can be shared.
[0044]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
[0045]
(Embodiment 1)
FIG. 1 is a circuit block diagram showing a configuration example of a
[0046]
In FIG. 1, the
[0047]
The
[0048]
The extension
[0049]
The band-
[0050]
The band
[0051]
Next, regarding the reproduction processing in the
[0052]
In general, an audio bit stream composed of an audio encoded signal encoded by the MPEG audio standard encoding method requires a compression encoding process according to a setting such as a bit rate set at the time of encoding. Since information compression is performed based on auditory characteristics, masking effect, etc., if the source sound source before encoding is a linear PCM with a sampling frequency of 48 kHz, the source sound source before encoding has a Nyquist condition (Fs / 2) around 24 kHz. Even when a band component is included, it is lost at the time of encoding. In the present embodiment, for ease of explanation, it is assumed that the band characteristic is degraded to 16 kHz or less by the compression encoding process at the time of encoding.
[0053]
In this case, the PCM data decoded by the
[0054]
Similarly, the extension
[0055]
On the other hand, the band
[0056]
If the lower limit frequency FcL of the bandpass filter processing for the output of the extended
[0057]
However, according to the present embodiment, by introducing the band-
[0058]
(Embodiment 2)
FIG. 2 is a circuit block diagram showing a configuration example of the speech processing apparatus according to
[0059]
Since the
[0060]
The
[0061]
The extension
[0062]
Next, in the reproduction processing in the
[0063]
In general, when an audio bitstream conforming to the DVD-Video standard linear PCM system has the same sampling frequency as that of the source sound source before encoding, the source sound source is encoded by non-compression, and therefore the same band as the source sound source. This is a characteristic and can be expected up to around 24 kHz.
[0064]
Under such conditions, the PCM data decoded by the
[0065]
In this case, since the
[0066]
Further, the extension
[0067]
On the other hand, for the
[0068]
Next, a case where an audio encoded signal encoded by the MPEG audio standard encoding method is input and decoded into an audio signal will be described.
[0069]
In general, an audio bit stream composed of an audio encoded signal encoded by the MPEG audio standard encoding method requires a compression encoding process according to a setting such as a bit rate set at the time of encoding. Since information is compressed based on auditory characteristics and masking effects, etc., if the source sound source before encoding is a linear PCM with a sampling frequency of 48 kHz, the source sound source before encoding has a Nyquist condition (Fs / 2) around 24 kHz. Even when a band component is included, it is lost at the time of encoding. In the present embodiment, for ease of explanation, it is assumed that the band characteristic is degraded to 16 kHz or less by the compression encoding process at the time of encoding.
[0070]
In this case, the PCM data decoded by the
[0071]
Similarly, since the
[0072]
Further, the extension
[0073]
On the other hand, the band
[0074]
If the lower limit frequency FcL of the bandpass filter processing for the output of the extension
[0075]
In this embodiment, the case where the
[0076]
(Embodiment 3)
FIG. 4 is a circuit block diagram showing a configuration example of the speech processing apparatus according to
[0077]
Since the
[0078]
The
[0079]
The band
[0080]
Next, in the audio processing apparatus configured as described above, in this embodiment, an audio encoded signal encoded by the MPEG1 audio standard encoding method having a sampling frequency of 48 kHz is input and decoded into an audio signal. The case will be described. In the present embodiment, for ease of explanation, it is assumed that the band characteristic is degraded to 16 kHz or less by the compression encoding process at the time of encoding.
[0081]
In this case, the PCM data decoded by the
[0082]
The
[0083]
The band
[0084]
As described above, according to the present embodiment, it is possible to control the extension band by introducing the
[0085]
In this embodiment, the case where the
[0086]
(Embodiment 4)
FIG. 6 is a circuit block diagram showing a configuration example of a speech processing apparatus according to Embodiment 4 of the present invention. In FIG. 6, the
[0087]
The difference between the present embodiment and the third embodiment is that the
[0088]
In FIG. 7, the
[0089]
The auxiliary
[0090]
The spectrum
[0091]
The PCM
[0092]
Further, the spectrum
[0093]
The
[0094]
Next, in the audio processing apparatus configured as described above, in this embodiment, an audio encoded signal encoded by the MPEG1 audio standard encoding method having a sampling frequency of 48 kHz is input and decoded into an audio signal. The case will be described. In the present embodiment, for ease of explanation, it is assumed that the encoding method is a bit stream encoded by
[0095]
In this case, when an audio encoded signal encoded by the MPEG1
[0096]
The PCM
[0097]
In this case, the PCM data decoded by the
[0098]
The
[0099]
Thereafter, as in the case of the third embodiment, the
[0100]
As described above, according to the present embodiment, it is possible to control the extension band by introducing the
[0101]
In addition, by providing the
[0102]
Further, in the present embodiment, band determination processing is performed using spectrum information generated by the decoding processing by the
[0103]
In the present embodiment, the case where the
[0104]
(Embodiment 5)
FIG. 8 is a circuit block diagram showing a configuration example of a speech processing apparatus according to Embodiment 5 of the present invention. In FIG. 8, a
[0105]
The difference between the present embodiment and the third and fourth embodiments is that the
[0106]
In FIG. 9, the
[0107]
As in the case of the fourth embodiment, the auxiliary
[0108]
The subband
[0109]
The PCM
[0110]
The subband amplitude
[0111]
[0112]
Next, in the audio processing apparatus configured as described above, in this embodiment, an audio encoded signal encoded by the MPEG1 audio standard encoding method having a sampling frequency of 48 kHz is input and decoded into an audio signal. The case will be described. In the present embodiment, for ease of explanation, it is assumed that the encoding method is a bit stream encoded in
[0113]
In this case, when an audio encoded signal encoded by the MPEG1
[0114]
The PCM
[0115]
In this case, the PCM data decoded by the
[0116]
In
[0117]
As described above, according to the present embodiment, it is possible to control the extension band by introducing the
[0118]
In addition, the sub-band amplitude
[0119]
Further, in the present embodiment, since the band determination process is performed using the subband amplitude information generated by the decoding process by the
[0120]
In the present embodiment, the case where the
[0121]
[0122]
[0123]
[0124]
[0125]
[0126]
[0127]
[0128]
[0129]
[0130]
[0131]
[0132]
[0133]
[0134]
[0135]
[0136]
[0137]
(Embodiment 6 )
FIG. The embodiment of the present invention 6 It is a circuit block diagram which shows the example of 1 structure of the audio processing apparatus which concerns on. FIG. In the third embodiment, the
[0138]
The difference between the present embodiment and the third to sixth embodiments is that the
[0139]
FIG. The
[0140]
The auxiliary
[0141]
As in the case of the sixth embodiment, the
[0142]
Also, the bit rate
[0143]
The
[0144]
Next, in the audio processing apparatus configured as described above, in this embodiment, an audio encoded signal encoded by the MPEG1 audio standard encoding method having a sampling frequency of 48 kHz is input and decoded into an audio signal. The case will be described.
[0145]
In this case, when an audio encoded signal encoded by the MPEG1
[0146]
Next, the
[0147]
In this case, the PCM data decoded by the
[0148]
In the
[0149]
The frequency characteristics of the bit rate information and the PCM data to be decoded generally tend to widen the frequency range as the bit rate increases. However, the frequency characteristics of the specific bit characteristics are not necessarily limited to a specific bit rate. The range is not defined. However, by associating specific bit rate information with a specific frequency characteristic, for example, when encoding at a fixed bit rate is performed, a band extension region is fixedly set. Thus, a relatively stable band expansion process is performed.
[0150]
As described above, according to the present embodiment, it is possible to control the extension band by introducing the
[0151]
In addition, by providing the bit rate
[0152]
Further, in the present embodiment, since the band determination process is performed using the bit rate information generated by the decoding process by the decoding processing unit, a spectrum analyzer is newly used as in the third embodiment. Since the bandwidth determination information is not generated, the processing amount required for bandwidth determination can be reduced.
[0153]
In addition, as described above, when encoding at a fixed bit rate is performed by associating bit rate information with a specific frequency characteristic, a band extension region is fixedly set. Extended processing can be realized.
[0154]
In the present embodiment, the case where the
[0155]
(Embodiment 7 )
FIG. The embodiment of the present invention 7 It is a circuit block diagram which shows the example of 1 structure of the audio processing apparatus which concerns on. FIG. In the third embodiment, the
[0156]
This embodiment starts from the third embodiment 6 The difference from the above case is that the
[0157]
FIG. The
[0158]
The auxiliary
[0159]
The
[0160]
In addition, the bit rate
[0161]
The sampling frequency
[0162]
The
[0163]
Bit
[0164]
Further, the sampling frequency
[0165]
Further, the band determination
[0166]
Next, in the audio processing apparatus configured as described above, in this embodiment, an audio encoded signal encoded by the MPEG1 audio standard encoding method having a sampling frequency of 48 kHz is input and decoded into an audio signal. The case will be described.
[0167]
In this case, when an audio encoded signal encoded by the MPEG1
[0168]
Next, the
[0169]
In this case, the PCM data decoded by the
[0170]
In the
[0171]
Next, band determination
[0172]
The frequency characteristics of the bit rate information and the PCM data to be decoded generally tend to widen the frequency range as the bit rate increases. However, the frequency characteristics of the specific bit characteristics are not necessarily limited to a specific bit rate. The range is not defined. However, by associating specific bit rate information with a specific frequency characteristic, for example, when encoding at a fixed bit rate is performed, a band extension region is fixedly set. Thus, a relatively stable band expansion process is performed.
[0173]
In addition, in the present embodiment, since band determination information is generated together with the sampling frequency information, it is possible to perform more optimal band determination than in the case of band determination processing using only bit rate information.
[0174]
As described above, according to the present embodiment, it is possible to control the extension band by introducing the
In addition, a bit rate
[0176]
Furthermore, in this embodiment, since the band determination process is performed using the bit rate information and the sampling frequency information generated by the decoding process by the decoding processing unit, the spectrum analyzer is not used as in the third embodiment. Since the band determination information is not newly generated and generated, the processing amount required for the band determination can be reduced.
[0177]
In addition, as described above, when encoding at a fixed bit rate is performed by associating bit rate information with a specific frequency characteristic, a band extension region is fixedly set. Extended processing can be realized.
[0178]
In this embodiment, the case where the
[0179]
(Embodiment 8 )
FIG. These are the circuit block diagrams which show the example of 1 structure of the speech processing
[0180]
This embodiment starts from the third embodiment 7 The difference from the above case is that the
[0181]
FIG. The
[0182]
The auxiliary
[0183]
The
[0184]
In addition, the bit rate
[0185]
The sampling frequency
[0186]
The layer
[0187]
The
[0188]
Bit
[0189]
Further, the sampling frequency
[0190]
The layer
[0191]
Further, the band determination
[0192]
Next, in the audio processing apparatus configured as described above, in this embodiment, an audio encoded signal encoded by the MPEG1 audio standard encoding method having a sampling frequency of 48 kHz is input and decoded into an audio signal. The case will be described.
[0193]
In this case, when an audio encoded signal encoded by the MPEG1
[0194]
Next, the
[0195]
In this case, the PCM data decoded by the
[0196]
In the
[0197]
Next, the band determination
[0198]
The frequency characteristics of the bit rate information and the PCM data to be decoded generally tend to widen the frequency range as the bit rate increases. However, the frequency characteristics of the specific bit characteristics are not necessarily limited to a specific bit rate. The range is not defined. However, by associating specific bit rate information with a specific frequency characteristic, for example, when encoding at a fixed bit rate is performed, a band extension region is fixedly set. Thus, a relatively stable band expansion process is performed.
[0199]
Moreover, in the present embodiment, the embodiment 7 Compared with the above case, the band determination information is generated together with the layer information, so that the optimum band determination can be made correspondingly. For example, according to the MPEG audio standards ISO / IEC11172-3: 1993 and 13818-3: 1996, the layer rate is different between the
[0200]
As described above, according to the present embodiment, it is possible to control the extension band by introducing the
[0201]
In addition, a bit rate
[0202]
Furthermore, in this embodiment, since the band determination process is performed using the bit rate information, sampling frequency information, and layer information generated by the decoding process by the decoding processing unit, as in the case of the third embodiment. In addition, since the band determination information is not generated by newly using the spectrum analyzer, the processing amount required for the band determination can be reduced.
[0203]
In addition, as described above, when encoding at a fixed bit rate is performed by associating bit rate information with a specific frequency characteristic, a band extension region is fixedly set. Extended processing can be realized.
[0204]
In the present embodiment, the case where the
[0205]
(Embodiment 9 )
FIG. The embodiment of the
[0206]
This embodiment starts from the
[0207]
The band determination information smoothing unit 1910 has a function of performing a smoothing process on the band determination information transmitted from the
[0208]
Next, the operation of the speech processing apparatus configured as described above will be described. In this case, when an audio encoded signal is input to
[0209]
On the other hand, the
[0210]
Here, in the
[0211]
As described above, by providing the band determination information smoothing unit 1910, it is possible to automatically suppress an excessive change in the band extension region with respect to the frequency variation of the PCM data to be reproduced. Stable bandwidth expansion playback can be realized.
[0212]
(Embodiment 10 )
FIG. The embodiment of the
[0213]
This embodiment starts from the
[0214]
The band determination
[0215]
Next, the operation of the speech processing apparatus configured as described above will be described. In this case, when an audio encoded signal is input to
[0216]
On the other hand, the
[0217]
Here, in the
[0218]
Therefore, when the time interval instructed from the outside is set to be short, as a result, it responds sensitively to the decode information from the
[0219]
On the other hand, when the time interval instructed from the outside is set to be long, the followability of the band expansion processing to the frequency characteristics of the PCM data decoded by the
[0220]
In this manner, by providing the band determination
[0221]
(Embodiment 11 )
FIG. These are block diagrams which show the example of 1 structure of the speech processing
[0222]
This embodiment starts from the
[0223]
The band determination
[0224]
Next, the operation of the speech processing apparatus configured as described above will be described. In this case, when an audio encoded signal is input to the
[0225]
On the other hand, the
[0226]
Here, in the
[0227]
Therefore, when the level threshold value designated from the outside is set to be low, as a result, the highest bandwidth of the band characteristics for the PCM data output from the
[0228]
On the other hand, when the level threshold value designated from the outside is set higher, as a result, the highest bandwidth of the band characteristics for the PCM data output from the
[0229]
In this manner, by providing the band determination
[0230]
(Embodiment 12 )
FIG. The embodiment of the
[0231]
This embodiment starts from the
[0232]
In the present embodiment, for ease of explanation, the
[0233]
The filter coefficient table 1920 stores filter tap coefficients used in the band-
[0234]
FIG. The
[0235]
The
[0236]
In the present embodiment, in order to facilitate the explanation, MPEG audio decoding means 1196 and AC3 decoding means 1197 are included in the
[0237]
The decode parameter
[0238]
The
[0239]
The decode parameter
[0240]
The decoder designation
[0241]
The band determination information designation table 1790 for each decoder includes the filter coefficient pointer information of the filter coefficient table 1920 based on the decode parameter information transmitted from the decode parameter
[0242]
Further, in order to facilitate the description of the present embodiment, table data configuration examples of the decoder-specific band determination information designation table 1790 and the filter coefficient table 1920 are respectively shown. FIG. and FIG. It shows.
[0243]
FIG. Shows a table configuration in the case of MPEG audio and AC3 in the decoder-specific band determination information designation table 1790. In the case of MPEG audio, the filter coefficient is determined from the combination of sampling information, bit rate index information, and layer information. Any one of TBL0 to TBL9 is generated as the filter coefficient pointer information of the table 1920. In the case of AC3, any of TBL0 to TBL9 is similarly used as the filter coefficient pointer information of the filter coefficient table 1920 in the case of AC3. It is the structure which generates the value.
[0244]
still, FIG. In the above description, the case where the designated decoder is MPEG audio and the case of AC3 is described as an example, but it goes without saying that there are as many tables for each decoder as there are decoders supported by this system.
[0245]
FIG. Shows the data structure of the filter coefficient table 1920, and designates the filter tap coefficient to be loaded to the band
[0246]
In the audio processing apparatus configured as described above, in this embodiment, first, audio encoding encoded by the encoding method of the MPEG audio standard of
[0247]
When an audio encoded signal encoded by the MPEG1
[0248]
In this case, the PCM data decoded by the
[0249]
In the
[0250]
Next, in the decoder-specific band determination information designation table 1790, the decoder designation information is received from the decoder designation
[0251]
Further, in the band
[0252]
Next, in the present embodiment, a case will be described in which an audio encoded signal with a sampling frequency of 48 kHz encoded by the AC3 standard encoding method is input and decoded into an audio signal.
[0253]
When an audio encoded signal encoded by AC3 is input to
[0254]
In this case, the PCM data decoded by the
[0255]
In the
[0256]
Next, in the decoder-specific band determination information designation table 1790, the decoder designation information is received from the decoder designation
[0257]
Further, in the band
[0258]
As described above, according to this embodiment, by providing the decoder-specific band determination information designation table 1790, even when a plurality of different decoding processes are supported, it is possible to perform the band determination process according to each decoding process. Therefore, it becomes easy to automatically realize more optimal bandwidth expansion processing accordingly.
[0259]
In addition, according to the present embodiment, by configuring the decoder-specific band determination information designation table 1790 and the filter coefficient table 1920 separately, even in the case of the band determination process according to the decoder process in which the band determination process is different, The filter tap coefficient can be shared. As a result, it is possible to reduce the memory resources required for the filter tap coefficient by sharing the filter tap coefficient.
[0260]
In the present embodiment, the case where the
[0261]
In each of the above embodiments, the case of a PCM audio signal subjected to band compression has been illustrated and described. However, the present invention is also effective when dealing with a sound source having various frequency characteristics even with a linear PCM audio signal. Needless to say.
[0262]
【The invention's effect】
As described above, according to the present invention, when the band characteristic of the input encoded signal is lost below the Nyquist frequency (Fs / 2) or when the linear PCM audio signal has various frequency characteristics. However, it is possible to realize high-quality sound reproduction by performing band expansion according to the nature of PCM data.
[Brief description of the drawings]
FIG. 1 is a circuit block diagram showing a configuration example of a speech processing apparatus according to
FIG. 2 is a circuit block diagram showing a configuration example of a speech processing apparatus according to
FIG. 3 is a circuit block diagram showing a modification of the speech processing apparatus according to
FIG. 4 is a circuit block diagram showing a configuration example of a speech processing apparatus according to
FIG. 5 is a circuit block diagram showing an example in which a band analyzer in the third embodiment of the present invention includes a spectrum analyzer.
FIG. 6 is a circuit block diagram showing a configuration example of a speech processing apparatus according to Embodiment 4 of the present invention.
FIG. 7 is a block diagram showing an internal configuration of a decoding processing unit and a band determining unit in Embodiment 4 of the present invention.
FIG. 8 is a circuit block diagram showing a configuration example of a speech processing apparatus according to Embodiment 5 of the present invention.
FIG. 9 is a block diagram showing an internal configuration of a decoding processing unit and a band determining unit in Embodiment 5 of the present invention.
FIG. 10 is a circuit block diagram showing a configuration example of a speech processing apparatus according to Embodiment 6 of the present invention.
FIG. 11 is a block diagram showing an internal configuration of a decoding processing unit and a band determining unit according to Embodiment 6 of the present invention.
FIG. 12 is a circuit block diagram showing a configuration example of a speech processing apparatus according to Embodiment 7 of the present invention;
FIG. 13 is a block diagram showing an internal configuration of a decoding processing unit and a band determination unit in Embodiment 7 of the present invention.
FIG. 14 is a circuit block diagram showing a configuration example of a sound processing apparatus according to
FIG. 15 is a block diagram showing an internal configuration of a decoding processing unit and a band determination unit in
FIG. 16 is a circuit block diagram showing a configuration example of a speech processing apparatus according to
FIG. 17 shows an embodiment of the present invention. 10 The circuit block diagram which shows the example of 1 structure of the audio processing apparatus concerning
FIG. 18 shows an embodiment of the present invention. 11 The circuit block diagram which shows the example of 1 structure of the audio processing apparatus concerning
FIG. 19 shows an embodiment of the present invention. 12 The circuit block diagram which shows the example of 1 structure of the audio processing apparatus concerning
FIG. 20 shows an embodiment of the present invention. 12 The block diagram which shows the internal structure of the decoding process part in FIG.
FIG. 21 shows an embodiment of the present invention. 12 The table data structural example of the band judgment information designation table classified by decoder contained in the band judgment part in FIG.
FIG. 22 shows an embodiment of the present invention. 12 Showing a table data configuration example of the filter coefficient table in FIG.
FIG. 23 is a circuit block diagram showing a configuration example of a conventional audio processing apparatus.
[Explanation of symbols]
1000, 2000, 3000, 4000, 5000, 6000, 7000 , 9 000, 9100, 9200, 9300, 9400, 9500, 9600, 10000 Audio processing apparatus
1100 Decoding processing unit
1110 Auxiliary information analysis unit
1120 Spelltle data generator
1130 PCM data generator
1140 Spelltle information transmitter
1150 Subband data generator
1160 Subband information transmitter
1190 Bit rate information transmitter
1191 Sampling frequency information transmitter
1192 Layer information transmitter
1193 Decoding part
1194 Decode parameter information transmitter
1195 Decoder switching means
1196 MPEG audio decoding means
1197 AC3 decoding means
1200 Oversampling unit
1300 Extended band generator
1500 Band-variable bandpass filter
1600 Bandpass filter controller
1700 Bandwidth determination unit
1710 Spectrum analyzer
1720 Spectrum information receiver
1730 Subband amplitude information receiver
1750 bit rate information receiver
1760 Sampling frequency information receiver
1770 Bandwidth determination information generation unit
1780 Layer information receiver
1790 Decoder specific band determination information designation table
1791 Decoder designation information receiver
1792 Decode parameter information receiver
1800 Bandwidth determination interval setting section
1900 Band decision threshold setting unit
1910 Band decision information smoothing section
1920 filter coefficient table
Claims (14)
外部から入力される前記符号化音声信号を復号しPCMデータを生成するデコード処理部と、
前記デコード処理部により復号処理されたPCMデータに対して帯域拡張成分を生成する拡張帯域生成部と、
前記拡張帯域生成部からの帯域拡張成分を入力とし、通過帯域を可変して出力する帯域可変バンドパスフィルタと、
前記デコード処理部により復号処理されたPCMデータと前記帯域可変バンドパスフィルタからの出力データを加算する加算器と、
前記デコード処理部より得られる前記符号化音声信号の復号情報を帯域判定情報として、前記帯域拡張成分に対する通過帯域を決定する帯域判定部と、
前記帯域判定部からの指示に応じて、前記帯域可変バンドパスフィルタの通過帯域の制御を行うバンドパスフィルタコントローラとを備えたことを特徴とする音声処理装置。An audio processing device that decodes and reproduces an encoded audio signal,
A decoding processor that decodes the encoded audio signal input from the outside to generate PCM data;
An extension band generating unit that generates a band extension component for the PCM data decoded by the decoding processing unit;
A band-variable bandpass filter that receives the band extension component from the extension band generation unit and outputs a variable pass band;
An adder for adding PCM data decoded by the decoding processing unit and output data from the band-variable bandpass filter;
A band determination unit that determines the passband for the band extension component using the decoding information of the encoded audio signal obtained from the decoding processing unit as band determination information,
An audio processing apparatus comprising: a band pass filter controller that controls a pass band of the band variable band pass filter in response to an instruction from the band determining unit.
外部から入力される前記符号化音声信号を復号しPCMデータを生成するデコード処理部と、
前記デコード処理部により復号処理されたPCMデータに対してオーバーサンプリング処理を行うオーバーサンプリング部と、
前記オーバーサンプリング部によりオーバーサンプリング処理されたPCMデータに対して帯域拡張成分を生成する拡張帯域生成部と、
前記拡張帯域生成部からの帯域拡張成分を入力とし、通過帯域を可変して出力する帯域可変バンドパスフィルタと、
前記オーバーサンプリング部からの出力データと前記帯域可変バンドパスフィルタからの出力データを加算する加算器と、
前記デコード処理部より得られる前記符号化音声信号の復号情報を帯域判定情報として、前記帯域拡張成分に対する通過帯域を決定する帯域判定部と、
前記帯域判定部からの指示に応じて、前記帯域可変バンドパスフィルタの通過帯域の制御を行うバンドパスフィルタコントローラとを備えたことを特徴とする音声処理装置。An audio processing device that decodes and reproduces an encoded audio signal,
A decoding processor that decodes the encoded audio signal input from the outside to generate PCM data;
An oversampling unit that performs oversampling processing on the PCM data decoded by the decoding unit;
An extension band generation unit that generates a band extension component for the PCM data oversampled by the oversampling unit;
A band-variable bandpass filter that receives the band extension component from the extension band generation unit and outputs a variable pass band;
An adder for adding the output data from the oversampling unit and the output data from the band-variable bandpass filter;
A band determination unit that determines the passband for the band extension component using the decoding information of the encoded audio signal obtained from the decoding processing unit as band determination information,
An audio processing apparatus comprising: a band pass filter controller that controls a pass band of the band variable band pass filter in response to an instruction from the band determining unit.
前記帯域判定部は、前記スペクトル情報送信部から送信されるスペクトル情報を受信するスペクトル情報受信部を含み、前記スペクトル情報を前記帯域判定情報として、前記帯域拡張成分に対する通過帯域を決定することを特徴とする請求項1または2記載の音声処理装置。The decoding processing unit includes an auxiliary information analysis unit that analyzes auxiliary information of the encoded audio signal, a spectrum data generation unit that generates spectrum data based on the auxiliary information, and converts the spectrum data into PCM data. A PCM data generation unit for generating, and a spectrum information transmission unit for transmitting spectrum information of spectrum data generated by the spectrum data generation unit to the outside,
The band determination unit includes a spectrum information reception unit that receives spectrum information transmitted from the spectrum information transmission unit, and determines a pass band for the band extension component using the spectrum information as the band determination information. The speech processing apparatus according to claim 1 or 2.
前記帯域判定部は、前記サブバンド振幅情報送信部から送信されるサブバンド振幅情報を受信するサブバンド振幅情報受信部を含み、前記サブバンド振幅情報を前記帯域判定情報として、前記帯域拡張成分に対する通過帯域を決定することを特徴とする請求項1または2記載の音声処理装置。The decoding processing unit includes an auxiliary information analysis unit that analyzes auxiliary information of the encoded audio signal, a subband data generation unit that generates subband data based on the auxiliary information, and a band of the subband data. A PCM data generation unit that combines and generates PCM data; and a subband amplitude information transmission unit that transmits the amplitude information of the subband data generated by the subband data generation unit to the outside.
The band determination unit includes a subband amplitude information reception unit that receives subband amplitude information transmitted from the subband amplitude information transmission unit, and uses the subband amplitude information as the band determination information for the band extension component. The speech processing apparatus according to claim 1 or 2, wherein a pass band is determined.
前記帯域判定部は、前記ビットレート情報送信部から送信されるビットレート情報を受信するビットレート情報受信部と、特定のビットレート情報を前記PCMデータの特定の周波数特性に対応付けた第1のテーブルとを含み、前記第1のテーブルを用いて生成した前記帯域判定情報により前記帯域拡張成分に対する通過帯域を決定することを特徴とする請求項1または2記載の音声処理装置。The decoding processing unit includes an auxiliary information analyzing unit that analyzes auxiliary information of the encoded audio signal, a decoding core unit that performs decoding processing based on the auxiliary information and generates PCM data, and the auxiliary information analyzing unit A bit rate information transmitter that transmits the bit rate information extracted by the outside,
The band determining unit includes a bit rate information receiving unit that receives bit rate information transmitted from the bit rate information transmitting unit, and a first bit rate information that associates specific bit rate information with specific frequency characteristics of the PCM data. The speech processing apparatus according to claim 1, wherein a pass band for the band extension component is determined based on the band determination information generated using the first table.
前記帯域判定部は、前記サンプリング周波数情報送信部から送信されるサンプリング周波数情報を受信するサンプリング周波数情報受信部と、前記サンプリング周波数情報および前記ビットレート情報の組み合わせにより前記帯域判定情報を生成する帯域判定情報生成部と、前記第1のテーブルの代わりに、特定のビットレート情報と特定のサンプリング周波数との組み合わせをポインタ情報として表わした第2のテーブルとを含み、前記帯域判定情報生成部が前記第2のテーブルを用いて生成した前記帯域判定情報により前記帯域拡張成分に対する通過帯域を決定することを特徴とする請求項6記載の音声処理装置。The decoding processing unit includes a sampling frequency information transmission unit that transmits sampling frequency information extracted by the auxiliary information analysis unit to the outside,
The band determination unit includes a sampling frequency information receiving unit that receives sampling frequency information transmitted from the sampling frequency information transmitting unit, and a band determination that generates the band determination information by a combination of the sampling frequency information and the bit rate information. An information generation unit, and a second table representing a combination of specific bit rate information and a specific sampling frequency as pointer information instead of the first table, and the band determination information generation unit includes the first table 7. The speech processing apparatus according to claim 6, wherein a pass band for the band extension component is determined based on the band determination information generated using the table of No. 2.
前記帯域判定部は、前記レイヤー情報送信部から送信される前記レイヤー情報を受信するレイヤー情報受信部と、前記レイヤー情報、前記サンプリング周波数情報、および前記ビットレート情報の組み合わせにより前記帯域判定情報を生成する帯域判定情報生成部と、前記第2のテーブルの代わりに、特定のビットレート情報、特定のサンプリング周波数、特定のレイヤー情報の組み合わせをポインタ情報として表わした第3のテーブルとを含み、前記帯域判定情報生成部が前記第3のテーブルを用いて生成した前記帯域判定情報により前記帯域拡張成分に対する通過帯域を決定することを特徴とする請求項7記載の音声処理装置。The decode processing unit includes a layer information transmission unit that transmits the layer information extracted by the auxiliary information analysis unit to the outside,
The band determination unit generates the band determination information by combining a layer information reception unit that receives the layer information transmitted from the layer information transmission unit, and the layer information, the sampling frequency information, and the bit rate information. A band determination information generating unit that performs the processing, and a third table that represents a combination of specific bit rate information, specific sampling frequency, and specific layer information as pointer information instead of the second table, 8. The speech processing apparatus according to claim 7, wherein the determination information generation unit determines a pass band for the band extension component based on the band determination information generated using the third table.
前記帯域判定部は、外部より指定されるデコーダ情報に応じて帯域判定処理を切り替えるデコーダ別帯域判定切り替え手段を含んで構成されることを特徴とする請求項1から1 2のいずれか一項記載の音声処理装置。The decoding processing unit supports decoding processing of at least two types of encoding methods, and switches decoding processing based on decoder information designated from the outside,
The band determination section, the band determination process any one of claims 1 to 1 2, characterized in that it is configured to include a decoder specific band determination switching means, wherein switching the depending on decoder information designated externally Voice processing device.
前記デコーダ別帯域判定切り替え手段は、デコーダ毎に個別に帯域を指定するデコーダ別帯域判定情報指定テーブルであり、前記帯域判定部は、外部より指定されるデコーダ情報に応じて前記デコーダ別帯域判定情報指定テーブルより帯域判定を行い、前記バンドパスフィルタコンローラに対し、前記フィルタ係数テーブルのポインタ情報として帯域判定情報を送信することを特徴とする請求項13記載の音声処理装置。The audio processing device includes a filter coefficient table storing filter coefficients used for the band-variable bandpass filter,
The per-decoder band determination switching means is a per-decoder band determination information designation table that individually designates a band for each decoder, and the band determination unit includes the per-decoder band determination information according to decoder information designated from the outside. 14. The audio processing apparatus according to claim 13 , wherein band determination is performed based on a designation table, and band determination information is transmitted as pointer information of the filter coefficient table to the bandpass filter controller.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002230477A JP3957589B2 (en) | 2001-08-23 | 2002-08-07 | Audio processing device |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001-253400 | 2001-08-23 | ||
JP2001253400 | 2001-08-23 | ||
JP2002230477A JP3957589B2 (en) | 2001-08-23 | 2002-08-07 | Audio processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003140696A JP2003140696A (en) | 2003-05-16 |
JP3957589B2 true JP3957589B2 (en) | 2007-08-15 |
Family
ID=26620883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002230477A Expired - Fee Related JP3957589B2 (en) | 2001-08-23 | 2002-08-07 | Audio processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3957589B2 (en) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004090870A1 (en) | 2003-04-04 | 2004-10-21 | Kabushiki Kaisha Toshiba | Method and apparatus for encoding or decoding wide-band audio |
JP4047296B2 (en) * | 2004-03-12 | 2008-02-13 | 株式会社東芝 | Speech decoding method and speech decoding apparatus |
JP2005010621A (en) * | 2003-06-20 | 2005-01-13 | Matsushita Electric Ind Co Ltd | Voice band expanding device and band expanding method |
KR100695125B1 (en) * | 2004-05-28 | 2007-03-14 | 삼성전자주식회사 | Digital signal encoding / decoding method and apparatus |
JP4516805B2 (en) * | 2004-08-25 | 2010-08-04 | 株式会社ケンウッド | Audio equipment |
EP1878119A4 (en) * | 2005-04-26 | 2010-07-07 | D Box Technologies Inc | Method and apparatus for encoding a motion signal with a sound signal |
US7680451B2 (en) * | 2005-04-26 | 2010-03-16 | D-Box Technologies Inc. | Method and apparatus for providing a motion signal with a sound signal using an existing sound signal encoding format |
JP2006350132A (en) * | 2005-06-17 | 2006-12-28 | Sharp Corp | Device, method, and program for audio reproduction |
JP4882382B2 (en) * | 2006-01-18 | 2012-02-22 | ヤマハ株式会社 | Audio signal bandwidth expansion device |
JP4882383B2 (en) * | 2006-01-18 | 2012-02-22 | ヤマハ株式会社 | Audio signal bandwidth expansion device |
JP2007249075A (en) * | 2006-03-17 | 2007-09-27 | Toshiba Corp | Audio reproducing device and high-frequency interpolation processing method |
JP5141180B2 (en) * | 2006-11-09 | 2013-02-13 | ソニー株式会社 | Frequency band expanding apparatus, frequency band expanding method, reproducing apparatus and reproducing method, program, and recording medium |
US8295507B2 (en) | 2006-11-09 | 2012-10-23 | Sony Corporation | Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium |
FR2911031B1 (en) * | 2006-12-28 | 2009-04-10 | Actimagine Soc Par Actions Sim | AUDIO CODING METHOD AND DEVICE |
FR2911020B1 (en) * | 2006-12-28 | 2009-05-01 | Actimagine Soc Par Actions Sim | AUDIO CODING METHOD AND DEVICE |
JP5629429B2 (en) * | 2008-11-21 | 2014-11-19 | パナソニック株式会社 | Audio playback apparatus and audio playback method |
JP4945586B2 (en) | 2009-02-02 | 2012-06-06 | 株式会社東芝 | Signal band expander |
JP5232121B2 (en) * | 2009-10-02 | 2013-07-10 | 株式会社東芝 | Signal processing device |
CN102598123B (en) | 2009-10-23 | 2015-07-22 | 松下电器(美国)知识产权公司 | Encoding apparatus, decoding apparatus and methods thereof |
JP2010134481A (en) * | 2010-02-24 | 2010-06-17 | Toshiba Corp | Audio playback device and high-frequency interpolation processing method |
CN105745706B (en) * | 2013-11-29 | 2019-09-24 | 索尼公司 | Device, methods and procedures for extending bandwidth |
JP6045511B2 (en) * | 2014-01-08 | 2016-12-14 | Psソリューションズ株式会社 | Acoustic signal detection system, acoustic signal detection method, acoustic signal detection server, acoustic signal detection apparatus, and acoustic signal detection program |
-
2002
- 2002-08-07 JP JP2002230477A patent/JP3957589B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003140696A (en) | 2003-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3957589B2 (en) | Audio processing device | |
JP6368740B2 (en) | How to enhance the performance of coding systems that use high-frequency reconstruction methods | |
KR100242864B1 (en) | Digital signal coder and the method | |
CA2562916C (en) | Coding of audio signals | |
KR100299528B1 (en) | Apparatus and method for encoding / decoding audio signal using intensity-stereo process and prediction process | |
KR100466052B1 (en) | Signal encoding method and apparatus, signal transmission method, signal recording medium, and signal decoding method and apparatus | |
KR100419546B1 (en) | Signal encoding method and apparatus, Signal decoding method and apparatus, and signal transmission method | |
KR20200016416A (en) | Metadata driven dynamic range control | |
JP2007156506A (en) | Audio processing apparatus and audio processing method | |
US7236839B2 (en) | Audio decoder with expanded band information | |
KR100352351B1 (en) | Information encoding method and apparatus and Information decoding method and apparatus | |
JPH10178350A (en) | Method and device for converting encoding rate of encoded voice data | |
JP4308229B2 (en) | Encoding device and decoding device | |
KR20120109576A (en) | Improved method for encoding/decoding a stereo digital stream and associated encoding/decoding device | |
JP2003523535A (en) | Method and apparatus for converting an audio signal between a plurality of data compression formats | |
JP4399185B2 (en) | Encoding device and decoding device | |
EP2228791B1 (en) | Scalable lossless audio codec and authoring tool | |
EP0398973B1 (en) | Method and apparatus for electrical signal coding | |
US20120134442A1 (en) | Data format conversion for electronic devices | |
JP3751225B2 (en) | Audio bandwidth expansion device | |
US20100283536A1 (en) | System, apparatus, method and program for signal analysis control, signal analysis and signal control | |
JP3230365B2 (en) | Information encoding method and apparatus, and information decoding method and apparatus | |
JP3594829B2 (en) | MPEG audio decoding method | |
JPH10143197A (en) | Reproducing device | |
JP2005004119A (en) | Sound signal encoding device and sound signal decoding device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070410 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070508 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3957589 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |