JP3776004B2 - ディジタルデータの符号化方法 - Google Patents
ディジタルデータの符号化方法 Download PDFInfo
- Publication number
- JP3776004B2 JP3776004B2 JP2001158767A JP2001158767A JP3776004B2 JP 3776004 B2 JP3776004 B2 JP 3776004B2 JP 2001158767 A JP2001158767 A JP 2001158767A JP 2001158767 A JP2001158767 A JP 2001158767A JP 3776004 B2 JP3776004 B2 JP 3776004B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- masking
- masking threshold
- power
- digital data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ミニディスク等の記録媒体に楽音や音声等のディジタルデータを記録するにあたって、前記楽音や音声等に適応して各周波数帯域のスペクトルに対するビット割り当てを行い、データ量を圧縮する符号化方法に関する。
【０００２】
【従来の技術】
楽音や音声等のディジタルデータを高能率で圧縮符号化する方法として、ミニディスクで用いられているＡＴＲＡＣ（Adaptive TRansform Acoustic Coding）が挙げられる。このＡＴＲＡＣでは、ディジタルデータを高能率で圧縮するために、入力ディジタルデータは複数の周波数帯域（以下、適宜サブバンドフレームと呼ぶ）に分割され、可変長の単位時間でブロック化される。ブロック化されたディジタルデータはＭＤＣＴ（Modified Discrete Cosine Transform）処理によってスペクトル信号に変換され、さらに聴覚心理特性を利用して割り当てられたビット数で各スペクトル信号がそれぞれ符号化される。
【０００３】
上記の圧縮符号化に適用することができる聴覚心理特性には、等ラウドネス特性やマスキング効果が挙げられる。等ラウドネス特性とは、同じ音圧レベルの音であっても、人間が感じ取る音の大きさが周波数によって変化することを表すものである。従って、人間が感じ取ることのできる音の大きさを示す最小可聴限がその音の周波数によって変化することを表している。
【０００４】
一方、マスキング効果には同時マスキング効果と経時マスキング効果がある。同時マスキング効果とは、複数の周波数成分の音が同時に発生しているときに、ある音が別の音を聴き取り難くさせる現象を言う。また、経時マスキング効果とは、大きな音の時間軸方向の前後では、別の音が聞き取り難くなる現象を言う。
【０００５】
このような聴覚心理特性を利用したビット割り当て法、例えば反復法と呼ばれる割り当て法では、入力されたディジタルデータに適応した実際のビット割り当てを、次のようにして行っている。
【０００６】
まず、各周波数帯域のパワーＳを求め、そのパワーＳによる他の周波数帯域に対するマスキング閾値Ｍを求める。次に、このマスキング閾値Ｍと、各周波数帯域をｎビットで量子化したときの量子化雑音パワーＮ（ｎ）とから、マスキング閾値対雑音比ＭＮＲ（ｎ）＝Ｍ／Ｎ（ｎ）を求める。続いて、そのマスキング閾値対雑音比ＭＮＲ（ｎ）が最小となる周波数帯域にビットの割当てを行った後、該マスキング閾値対雑音比ＭＮＲ（ｎ）を更新し、再び最小の周波数帯域にビットの割り当てが行われる。
【０００７】
【発明が解決しようとする課題】
確かに、上記で説明した従来の符号化方法によれば、楽音や音声等のディジタルデータを高能率で圧縮符号化することができる。
【０００８】
しかしながら、正弦波のように純音性の高いディジタルデータに対してマスキング閾値対雑音比ＭＮＲ（ｎ）を用いたビット割り当てを行うと、自身のパワー或いはエネルギーによって自身がマスキングの影響を受けてしまうため、信号対雑音比ＳＮＲ（ｎ）＝Ｓ／Ｎ（ｎ）を用いたビット割り当てを行った場合と比べて、符号化・復号化時の歪み率、Ｓ／Ｎ特性、及びダイナミックレンジといったオーディオ特性が悪化するという課題があった。
【０００９】
また、超低域や超高域の正弦波に対してマスキング閾値対雑音比ＭＮＲ（ｎ）を用いたビット割り当てを行うと、最小可聴限もオーディオ特性の悪化要因となるおそれがあった。なお、超低域の正弦波に対して信号対雑音比ＳＮＲ（ｎ）を用いたビット割り当てを行った場合には、隣接するサブバンドフレーム間の分析窓のクロスポイントで、知覚可能な量子化誤差が生じるおそれがあった。
【００１０】
一方、ホワイトノイズのように純音性の低いディジタルデータに対してマスキング閾値対雑音比ＭＮＲ（ｎ）を用いたビット割り当てを行うと、自身のパワー或いはエネルギーによって、マスキング閾値対雑音比ＭＮＲ（ｎ）が広帯域でフラットにならないため、信号対雑音比ＳＮＲ（ｎ）を用いたビット割り当てを行った場合と比べて、符号化・復号化時の音質が悪化するという課題があった。また、最小可聴限も音質の悪化要因となるおそれがあった。
【００１１】
この点、本件出願人は、特開平１０−２０７４８９号公報において、純音性の高いディジタルデータ或いは純音性の低いディジタルデータを符号化する場合、各周波数帯域の相互に隣接するスペクトルのパワーＳ（或いはエネルギー）の差から求めたピーク及びローカルピークとマスキング閾値Ｍとの関係に対応して、マスキング閾値対雑音比ＭＮＲ（ｎ）を用いたビット割り当てを行うビットレートと、信号対雑音比ＳＮＲ（ｎ）を用いたビット割り当てを行うビットレートとを、可変させる構成のディジタルデータ符号化方法を提案している。
【００１２】
確かに、上記の符号化方法によれば、正弦波のように狭帯域なディジタルデータから、ホワイトノイズのように広帯域なディジタルデータに至るまで、最適なビット割り当てを自動的に行うことができるので、マスキング閾値対雑音比ＭＮＲ（ｎ）等の同時マスキングを利用したビット割り当てに不向きな楽音に対しても音質の劣化を防止することができる。しかしながら、マスキング閾値対雑音比ＭＮＲ（ｎ）と信号対雑音比ＳＮＲ（ｎ）とを併用する上記の符号化方法では、アルゴリズムが複雑なものとなっていた。
【００１３】
本発明は上記の問題点に鑑み、アルゴリズムを複雑化することなく、純音性の高いディジタルデータから純音性の低いディジタルデータまで、高忠実に符号化することが可能なディジタルデータの符号化方法を提供することを第１の目的とする。また、本発明は、超低域であってかつ純音性の高いディジタルデータを符号化する際であっても、隣接するサブバンドフレーム間の分析窓のクロスポイントで、知覚可能な量子化誤差が生じるおそれの少ないディジタルデータの符号化方法を提供することを第２の目的とする。
【００１４】
【課題を解決するための手段】
上記した第１の目的を達成するために、本発明に係るディジタルデータの符号化装置は、楽音や音声等のディジタルデータを周波数領域に変換する手段を有するディジタルデータの符号化装置において、
前記周波数領域を複数の周波数帯域に分割する手段と、
前記各周波数帯域のパワーまたはエネルギーを算出する手段と、
前記算出された各周波数帯域のパワーまたはエネルギーの最大値及び平均値に基づき前記ディジタルデータの純音性を判定する純音性判定手段と、
聴覚心理特性を反映した基準マスキング特性に基づきマスキング閾値を決定する第一のマスキング算出手段と、
周波数に重み付けを行っていない平坦なマスキング特性に基づきマスキング閾値を決定する第二のマスキング算出手段と、
前記純音性判定手段の判定結果に基づき前記第一のマスキング算出手段と前記第二のマスキング算出手段とを切換える切換手段と、
前記算出されたパワーまたはエネルギーと前記マスキング閾値とに基づきマスキング閾値対雑音比を算出する手段と、
前記マスキング閾値対雑音比に基づき前記各周波数帯域にビットを割り当てる手段と、を備えることを特徴とする。
【００１６】
また、上記した第２の目的を達成するために、本発明に係るディジタルデータの符号化装置は、楽音や音声等のディジタルデータを複数のサブバンドフレームに分割する手段と、
前記サブバンドフレーム単位毎に周波数領域に変換する手段と、
前記周波数領域を複数の周波数帯域に分割する手段と、
前記各周波数帯域のパワーを算出する手段と、
マスキング閾値を決定する手段と、
前記算出されたパワーと前記マスキング閾値とに基づきマスキング閾値対雑音比を算出する手段と、
前記マスキング閾値対雑音比に基づき前記各周波数帯域にビット割り当てを行う割り当て手段と、を備える符号化装置において、
前記算出されたパワーの最大値と平均値の差分値が所定値以上であり、かつ、前記パワーの最大値が存在する周波数が所定周波数以下である場合、前記パワーの最大値が存在するサブバンドフレームの全ての周波数帯域に、少なくとも最低量子化ビット数以上のビットを割り当てるよう前記割り当て手段に指示を行う手段を備えることを特徴とする。
【００１７】
【発明の実施の形態】
本発明に係るディジタルデータの符号化方法を採用したディジタル録音再生装置として、ここでは、ミニディスク録音再生装置を例に挙げて説明を行う。図１は本発明に係るディジタルデータの符号化方法を採用したミニディスク録音再生装置の一構成例を示すブロック図である。
【００１８】
本図に示すミニディスク録音再生装置１に設けられた入力端子２には、コンパクトディスク再生装置や衛星放送受信装置などのディジタル音声信号源から出力されたディジタル音声データが、例えば光信号としてシリアル入力される。入力端子２に入力された光信号は、光電素子３によって電気信号に変換された後、ディジタルＰＬＬ（Phase-Locked-Loop）回路４に入力される。
【００１９】
ディジタルＰＬＬ回路４は、入力されたディジタル音声データからクロックの抽出を行うとともに、サンプリング周波数および量子化ビット数に対応したマルチビットデータを再現する。このマルチビットデータは信号源毎に異なるサンプリングレート（コンパクトディスク；４４．１ｋＨｚ、ディジタルオーディオテープレコーダ；４８ｋＨｚ、衛星放送（Ａモード）；３２ｋＨｚなど）で標本化されたディジタルデータである。そこで、ディジタルＰＬＬ回路４から出力されたマルチビットデータは、周波数変換回路５によってそのサンプリングレートをミニディスクの規格に対応した４４．１ｋＨｚに変換される。
【００２０】
音声圧縮回路６は、ＡＴＲＡＣ（Adaptive TRansform Acoustic Coding）方式によって入力されたディジタル音声データの圧縮符号化を行い、符号化されたディジタル音声データをショックプルーフメモリコントローラ７を介して信号処理回路８に送出する。なお、音声圧縮回路６におけるディジタルデータの符号化方法については、後ほど詳細に説明を行う。
【００２１】
ショックプルーフメモリコントローラ７で制御されるショックプルーフメモリ９は、音声圧縮回路６から出力されるディジタル音声データの転送速度と、信号処理回路８に入力されるディジタル音声データの転送速度との差を吸収するとともに、再生時における振動等の外乱による再生信号の中断を補間し、ディジタル音声データを保護するためのものである。
【００２２】
信号処理回路８は、エンコーダおよびデコーダとしての機能を備えており、入力されたディジタル音声データをシリアルの磁界変調信号にエンコードしてヘッド駆動回路１０に与える。ヘッド駆動回路１０は、記録ヘッド１１をミニディスク１２上の所定記録位置に移動させるとともに、前記磁界変調信号に対応した磁界を発生させる。このとき、ミニディスク１２上の所定記録位置には、光ピックアップ１３からレーザ光が照射されており、これによって前記磁界に対応した磁化パターンがミニディスク１２上に形成される。
【００２３】
一方、光ピックアップ１３は、ミニディスク１２から前記磁化パターンに対応したシリアル信号を再生する。再生されたシリアル信号は高周波アンプ１４（以下、ＲＦアンプ１４と呼ぶ）で増幅された後、信号処理回路８によってディジタル音声データにデコードされる。デコードされたディジタル音声データは、ショックプルーフメモリコントローラ７及びショックプルーフメモリ９で外乱による影響を除去された後、音声伸長回路１５に送出される。
【００２４】
音声伸長回路１５は、ＡＴＲＡＣ方式による圧縮符号化の逆変換処理を行い、フルビットのディジタル音声データを復調する。復調されたディジタル音声データは、ディジタル／アナログ変換回路１６（以下、Ｄ／Ａ変換回路１６と呼ぶ）によってアナログ音声データに変換され、出力端子１７から外部へ出力される。
【００２５】
なお、ＲＦアンプ１４で増幅されたシリアル信号は、サーボ回路１８にも入力されている。サーボ回路１８は、再生されたシリアル信号に応じてドライバ回路１９に制御信号を送出し、該ドライバ回路１９を介してスピンドルモータ２０の回転速度をフィードバック制御する。このようなフィードバック制御により、ミニディスク１２を線速度一定で回転させることができる。
【００２６】
また、サーボ回路１８は、ドライバ回路１９を介して送りモータ２１の回転速度もフィードバック制御している。このようなフィードバック制御により、ミニディスク１２の半径方向に対する光ピックアップ１３の変移制御、すなわちトラッキング制御を行うことができる。さらに、サーボ回路１８は、ドライバ回路１９を介して光ピックアップ１３のフォーカシング制御も行っている。
【００２７】
上記した信号処理回路８、光ピックアップ１３、ＲＦアンプ１４、サーボ回路１８、及びドライバ回路１９等には、図示しない電源回路から電力供給が行われるが、このような電力供給動作や後述する信号処理動作は、全てシステムコントロールマイコン２２によって集中管理されている。なお、システムコントロールマイコン２２には、曲名入力や選曲操作、或いは音質調整動作等を行うための入力装置２３が接続されている。
【００２８】
続いて、上記した音声圧縮回路６におけるディジタルデータ符号化処理の第１実施形態について説明する。図２は音声圧縮回路６の第１実施形態を示すブロック図であり、特に、スペクトル変換部に続くビット割当処理部を模式化したものである。
【００２９】
本図に示すビット割当処理部の入力端には、その前段に設けられたスペクトル変換部（図示せず）で得られたＭＤＣＴ係数（ディジタル音声データを構成する周波数成分（スペクトル））が入力される。なお、スペクトル変換部は、周波数変換回路５から入力されたディジタル音声データ（４４．１ｋＨｚ）を、帯域分割フィルタであるＱＭＦ（Quadrature Mirror Filter）によって複数の周波数帯域（サブバンドフレーム）に分割し、そのサブバンドフレーム単位毎にＭＤＣＴ（Modified Discrete Cosine Transform）処理を施すことで、ディジタル音声データのスペクトル変換を行っている。
【００３０】
パワー算出部３１は、入力されたＭＤＣＴ係数をさらにｉ個の周波数帯域（臨界帯域等）に分割し、各周波数帯域に属するＭＤＣＴ係数の２乗和から、各周波数帯域のスペクトルパワーＳi（ｉ＝１，２，…，Ｉ、例えばＩ＝２５）を算出する。なお、臨界帯域とは、周波数選択性・マスキング閾値等の特定の音響心理学的規則性が有効な広帯域オーディオスペクトルの特性的部分のことである。
【００３１】
純音性判定部３２は、パワー算出部３１で算出されたスペクトルパワーＳiの最大値Ｓmaxと平均値Ｓav（＝ΣＳi／Ｉ）との差分値（Ｓmax−Ｓav）を求めるとともに、該差分値の大小からディジタル音声データの純音性の高低を判定し、その判定結果に基づいて切換部３３の切換制御を行う。
【００３２】
図３はパワー算出部３１で算出されたスペクトルパワーＳiの一例を示す図である。本図中（ａ）に示すように、スペクトルパワーＳiの最大値Ｓmaxと平均値Ｓavとの差分値（Ｓmax−Ｓav）が非常に大きい場合、例えばＳmax−Ｓav≧４０ｄＢを満たす場合、純音性判定部３２は、入力されたディジタル音声データの純音性が高いと判定して、平坦マスキング算出部３５を選択するように切換部３３の切換制御を行う。
【００３３】
また、本図中（ｂ）に示すように、スペクトルパワーＳiの最大値Ｓmaxと平均値Ｓavとの差分値（Ｓmax−Ｓav）が非常に小さい場合、例えばＳmax−Ｓav≦６ｄＢを満たす場合、純音性判定部３２は、入力されたディジタル音声データの純音性が低いと判定して、上記と同様、平坦マスキング算出部３５を選択するように切換部３３の切換制御を行う。
【００３４】
一方、スペクトルパワーＳiの最大値Ｓmaxと平均値Ｓavとの差分値（Ｓmax−Ｓav）が上記のいずれにも該当しない場合、例えば６ｄＢ＜Ｓmax−Ｓav＜４０ｄＢを満たす場合、純音性判定部３２は、入力されたディジタル音声データに対する聴覚心理、すなわちマスキング効果が有効であると判断して、基準マスキング算出部３４を選択するように切換部３３の切換制御を行う。
【００３５】
上記の純音性判定動作により、基準マスキング算出部３４が選択された場合、最小可聴限合成部３６は、音声圧縮部６のテーブルＲＯＭ（図示せず）に予め格納されている基準マスキング特性と最小可聴限特性とを合成することで、最終的なマスキング閾値Ｍiを決定する。一方、平坦マスキング算出部３５が選択された場合、最小可聴限合成部３６は、周波数に重み付けを行っていない平坦なマスキング特性と最小可聴限特性とを合成することで、最終的なマスキング閾値Ｍiを決定する。
【００３６】
ＳＭＲ算出部３７は、各周波数帯域のインデックスを前記ｉとするとき、パワー算出部３１で算出されたスペクトルパワーＳiと、最小可聴限合成部３６で決定された各周波数帯域のマスキング閾値Ｍiとの比ＳＭＲi（＝Ｓi／Ｍi）を、全ての周波数帯域に亘って計算する。
【００３７】
ＭＮＲ算出部３８は、まず各周波数帯域のスペクトルパワーＳiと、該スペクトルパワーＳiをｎビットで量子化したときに生じる量子化雑音パワーＮi（ｎ）との比、すなわち信号対雑音比ＳＮＲi（ｎ）（＝Ｓi／Ｎi（ｎ））を求める。なお、この信号対雑音比ＳＮＲi（ｎ）は、統計的には信号特性に応じた定数となるので、予め統計処理によって求めておいてもよい。さらに、ＭＮＲ算出部３８は、この信号対雑音比ＳＮＲi（ｎ）と、ＳＭＲ算出部３７で得られた比ＳＭＲiから、マスキング閾値Ｍiと量子化雑音パワーＮiとの比、すなわちマスキング閾値対雑音比ＭＮＲi（ｎ）（＝ＳＮＲi（ｎ）／ＳＭＲi）を算出する。
【００３８】
量子化ビット数算出部３９は、各周波数帯域の量子化ビット数ｎを０から順に大きくしていき、その都度、各周波数帯域のマスキング閾値対雑音比ＭＮＲi（ｎ）を計算する。そして、マスキング閾値対雑音比ＭＮＲi（ｎ）が最小となる周波数帯域から順にビットを割り当てていく。その後、量子化ビット数ｎを更新する度毎に、マスキング閾値対雑音比ＭＮＲi（ｎ）が最小となる周波数帯域に対する同様のビット割り当てを行う。所定の割り当て可能ビット数となるまで割り当てを行うと、各周波数帯域の語長が決定されて出力が行われる。すなわち、スペクトルパワーＳiの絶対値が、マスキング閾値Ｍiを超えた部分の長さが最も長い周波数帯域から順にビット割り当てが行われることになる。
【００３９】
上記したディジタルデータの符号化方法であれば、正弦波のように純音性の高いディジタルデータ、或いはホワイトノイズのように純音性の低いディジタルデータに対して、マスキング閾値対雑音比ＭＮＲi（ｎ）のみを用いてビット割り当てを行った場合であっても、信号対雑音比ＳＮＲi（ｎ）を用いてビット割り当てを行った場合と同等のオーディオ特性及び音質を得ることができる。
【００４０】
また、本実施形態におけるディジタルデータの符号化方法であれば、楽音や音声のように、聴覚心理を利用した方が好ましい音源には、通常のマスキング閾値対雑音比ＭＮＲi（ｎ）を用いたビット割り当てを行うので、信号対雑音比ＳＮＲi（ｎ）を用いてビット割り当てを行うよりも、聴覚的に優れた音質を得ることができる。さらに、マスキング閾値対雑音比ＭＮＲi（ｎ）と信号対雑音比ＳＮＲi（ｎ）とを併用する従来の符号化方法に比べて、アルゴリズムを容易に実現することが可能である。
【００４１】
続いて、音声圧縮回路６におけるディジタルデータ符号化処理の第２実施形態について説明する。図４は音声圧縮回路６の第２実施形態を示すブロック図であり、説明の理解を深めるために音声伸長回路１５も合わせて示している。
【００４２】
本図に示す音声圧縮回路６の入力端には、周波数変換回路５で得られたディジタル音声データ（４４．１ｋＨｚ）が入力される。音声圧縮回路６の最前段に設けられた周波数帯域分割部４１は、入力されたディジタル音声データを複数の周波数帯域（サブバンドフレーム）に分割する。
【００４３】
時間周波数変換部４２は、周波数帯域分割部４１で得られたサブバンドフレーム単位毎にＭＤＣＴ処理を施すことで、ディジタル音声データをＭＤＣＴ係数に変換する。このときのＭＤＣＴ処理によって得られる変換データＸm（ｋ）は、次の（１）式で示される。
【数１】
【００４４】
なお、上式中の変数ｍはブロック番号を表しており、関数ｘm（ｉ）は入力信号を表している。また、関数ｈ（ｉ）は順変換用窓関数を表している。図５は順変換窓関数ｈ（ｉ）の時間特性の一例を示す概念図であり、図６は順変換窓関数ｈ（ｉ）の周波数特性の一例を示す概念図である。
【００４５】
パワー算出部４３は、時間周波数変換部４２で得られたＭＤＣＴ係数をさらにｉ個の周波数帯域（臨界帯域等）に分割し、各周波数帯域に属するＭＤＣＴ係数の２乗和から、各周波数帯域のスペクトルパワーＳi（ｉ＝１，２，…，Ｉ、例えばＩ＝２５）を算出する。
【００４６】
純音性判定部４４は、パワー算出部４３で算出されたスペクトルパワーＳiの最大値Ｓmaxと平均値Ｓav（＝ΣＳi／Ｉ）との差分値（Ｓmax−Ｓav）を求めるとともに、該差分値の大小からディジタル音声データの純音性の高低を判定し、その判定結果に基づいて量子化ビット数算出部４９における量子化ビット数の割り当て制御を行う。
【００４７】
図７は本実施形態における量子化ビット数の割り当て制御を説明するための図であり、パワー算出部３１で算出されたスペクトルパワーＳiの一例（ａ）と、その際に割り当てられる量子化ビット数の一例（ｂ）と、を示している。なお、本図では、入力されたディジタル音声データが４つのサブバンドフレームＳＢ１〜ＳＢ４に分割されている場合を例に挙げて説明を行う。
【００４８】
本図中（ａ）に示すように、スペクトルパワーＳiの最大値Ｓmaxと平均値Ｓavとの差分値（Ｓmax−Ｓav）が非常に大きく（例えばＳmax−Ｓav≧４０ｄＢ）、かつスペクトルパワーＳiの最大値Ｓmaxが存在する周波数が所定周波数（例えば１００Ｈｚ）以下である場合、純音性判定部４４は、入力されたディジタル音声データが超低域であるとともに純音性が高いと判定して、本図中（ｂ）に示すように、スペクトルパワーＳiの最大値Ｓmaxが存在するサブバンドフレームＳＢ１に、少なくとも最低の量子化ビット数を割り当てるよう、量子化ビット数算出部４９に対する指示を行う。
【００４９】
このようなビット割り当てを行うことにより、特定周波数のノイズを低減することが可能となる。従って、超低域であるとともに純音性が高いディジタル音声データ（例えば、超低域の正弦波）を符号化する場合であっても、隣接するサブバンドフレーム間の分析窓のクロスポイントで、知覚可能な量子化誤差が生じるおそれが少なくなる。
【００５０】
パワー算出部４３の後段に接続されたマスキング算出部４５、最小可聴限合成部４６、ＳＭＲ算出部４７、ＭＮＲ算出部４８、及び量子化ビット数算出部４９は、前述の第１実施形態と同様、マスキング閾値対雑音比ＭＮＲi（ｎ）を用いたビット割り当てを行い、量子化ビット数を決定する。
【００５１】
量子化部５０及びパッキング部５１は、量子化ビット数算出部４９で得られた量子化ビット数に従って、入力されたディジタル音声データを圧縮符号化する。このようにして圧縮符号化されたディジタル音声データは、信号処理回路８などを介してミニディスク１２に記録される。
【００５２】
一方、ミニディスク１２を再生する際、音声伸長回路１５のアンパッキング部５２及び逆量子化部５３は、圧縮符号化されたディジタル音声データを元のＭＤＣＴ係数に復元する。
【００５３】
周波数時間変換部５４は、復元されたＭＤＣＴ係数に対して、サブバンドフレーム単位毎にＩＭＤＣＴ（Inverse Modified Discrete Cosine Transform）処理を施す。このときのＩＭＤＣＴ処理によって得られる復元信号ｘ＾m（ｉ）は、次の（２）式で示される。
【数２】
【００５４】
なお、上式中の変数ｍはブロック番号を表しており、関数Ｘm（ｋ）は変換データ（復元されたＭＤＣＴ係数）を表している。また、関数ｙm（ｉ）は逆変換信号を表しており、関数ｆ（ｉ）は逆変換用窓関数を表している。
【００５５】
続く周波数帯域合成部５５は、周波数時間変換部５４によって得られた復元信号ｘ＾m（ｉ）を合成することで元のディジタル音声データを復元し、該ディジタル音声データを次段のＤ／Ａ変換回路１６に送出する。
【００５６】
なお、変換データＸm（ｋ）が量子化による影響を受けることなく、復元信号ｘ＾m（ｉ）から元のディジタル音声データを復元できるように、上記した時間周波数変換部４２及び周波数時間変換部５４は、次の（３）式を満たすように設計されるべきである。本条件はＣＡＳ９０−１０やＤＳＰ９０−１４等により既に公知とされている。
【数３】
【００５７】
一方、変換データＸm（ｋ）が量子化による影響を受けた場合について、参考までに説明する。図８は変換データＸm（ｋ）が量子化による影響を受けた場合を説明する図であり、周波数帯域合成部５５から出力されるディジタル音声データの一例（ａ）と、該ディジタル音声データの符号化時におけるビット割り当ての一例（ｂ）と、を示している。
【００５８】
本図中（ｂ）に示すように、サブバンドフレームＳＢ１の低域から１／３程度の周波数成分にのみビット割り当てを行った場合、復元信号ｘ＾m（ｉ）の周波数特性は本図中（ａ）のようになり、窓関数の周波数特性のノイズが発生する。このような量子化ノイズは、サブバンドフレームＳＢ１のどの周波数にでも少なからず発生するが、この例ではサブバンドフレームＳＢ１の低域から１／３程度に集中してビットを割り当てているため、残りの２／３の周波数成分における量子化ノイズが知覚されやすい。従って、前述した通り、スペクトルパワーＳiの最大値Ｓmaxが存在するサブバンドフレームＳＢ１に、少なくとも最低の量子化ビット数を割り当てれば、特定周波数のノイズを低減することが可能となる。
【００５９】
なお、上記の実施形態では、本発明に係るディジタルデータの符号化方法をミニディスク録音再生装置に適用した例を挙げて説明を行ったが、本発明の適用範囲がこれに限定されないことは言うまでもない。
【００６０】
【発明の効果】
本発明に係るディジタルデータの符号化装置は、楽音や音声等のディジタルデータを周波数領域に変換する手段を有するディジタルデータの符号化装置において、
前記周波数領域を複数の周波数帯域に分割する手段と、
前記各周波数帯域のパワーまたはエネルギーを算出する手段と、
前記算出された各周波数帯域のパワーまたはエネルギーの最大値及び平均値に基づき前記ディジタルデータの純音性を判定する純音性判定手段と、
聴覚心理特性を反映した基準マスキング特性に基づきマスキング閾値を決定する第一のマスキング算出手段と、
周波数に重み付けを行っていない平坦なマスキング特性に基づきマスキング閾値を決定する第二のマスキング算出手段と、
前記純音性判定手段の判定結果に基づき前記第一のマスキング算出手段と前記第二のマスキング算出手段とを切換える切換手段と、
前記算出されたパワーまたはエネルギーと前記マスキング閾値とに基づきマスキング閾値対雑音比を算出する手段と、
前記マスキング閾値対雑音比に基づき前記各周波数帯域にビットを割り当てる手段と、を備える。
【００６２】
このようなディジタルデータの符号化方法であれば、正弦波のように純音性の高いディジタルデータ、或いはホワイトノイズのように純音性の低いディジタルデータに対して、マスキング閾値対雑音比のみを用いてビット割り当てを行った場合であっても、信号対雑音比を用いてビット割り当てを行った場合と同等のオーディオ特性及び音質を得ることができる。
【００６３】
また、本発明に係るディジタルデータの符号化方法であれば、楽音や音声のように、聴覚心理を利用した方が好ましい音源には、通常のマスキング閾値対雑音比を用いたビット割り当てを行うので、信号対雑音比を用いてビット割り当てを行うよりも、聴覚的に優れた音質を得ることができる。さらに、マスキング閾値対雑音比と信号対雑音比とを併用する従来の符号化方法に比べて、アルゴリズムを容易に実現することが可能である。
【００６４】
また、本発明に係るディジタルデータの符号化装置は、楽音や音声等のディジタルデータを複数のサブバンドフレームに分割する手段と、
前記サブバンドフレーム単位毎に周波数領域に変換する手段と、
前記周波数領域を複数の周波数帯域に分割する手段と、
前記各周波数帯域のパワーを算出する手段と、
前記各周波数帯域にビット割り当てを行う割り当て手段と、を備える符号化装置において、
前記算出されたパワーの最大値と平均値の差分値が所定値以上であり、かつ、前記パワーの最大値が存在する周波数が所定周波数以下である場合、前記パワーの最大値が存在するサブバンドフレームの全ての周波数帯域に、少なくとも最低量子化ビット数以上のビットを割り当てるよう前記割り当て手段に指示を行う手段を備える。
【００６５】
このようなディジタルデータの符号化方法であれば、特定周波数のノイズを低減することが可能となる。従って、超低域であるとともに純音性が高いディジタル音声データ（例えば、超低域の正弦波）を符号化する場合であっても、隣接するサブバンドフレーム間の分析窓のクロスポイントで、知覚可能な量子化誤差が生じるおそれが少なくなる。
【図面の簡単な説明】
【図１】 本発明に係るディジタルデータの符号化方法を採用したミニディスク録音再生装置の一構成例を示すブロック図である。
【図２】 音声圧縮回路６の第１実施形態を示すブロック図である。
【図３】 パワー算出部３１で算出されたスペクトルパワーＳiの一例を示す図である。
【図４】 音声圧縮回路６の第２実施形態を示すブロック図である。
【図５】 順変換窓関数ｈ（ｉ）の時間特性の一例を示す概念図である。
【図６】 順変換窓関数ｈ（ｉ）の周波数特性の一例を示す概念図である。
【図７】 第２実施形態における量子化ビット数の割り当て制御を説明するための図である。
【図８】 変換データＸm（ｋ）が量子化による影響を受けた場合を説明する図である。
【符号の説明】
１ ミニディスク録音再生装置
２ 入力端子
３ 光電素子
４ ディジタルＰＬＬ回路
５ 周波数変換回路
６ 音声圧縮回路
７ ショックプルーフメモリコントローラ
８ 信号処理回路
９ ショックプルーフメモリ
１０ 記録ヘッド駆動回路
１１ 記録ヘッド
１２ ミニディスク
１３ 光ピックアップ
１４ 高周波アンプ（ＲＦアンプ）
１５ 音声伸長回路
１６ ディジタル／アナログ変換回路（Ｄ／Ａ変換回路）
１７ 出力端子
１８ サーボ回路
１９ ドライバ回路
２０ スピンドルモータ
２１ 送りモータ
２２ システムコントロールマイコン
２３ 入力装置
３１ パワー算出部
３２ 純音性判定部
３３ 切換部
３４ 基準マスキング算出部
３５ 平坦マスキング算出部
３６ 最小可聴限合成部
３７ ＳＭＲ算出部
３８ ＭＮＲ算出部
３９ 量子化ビット数算出部
４１ 周波数帯域分割部
４２ 時間周波数変換部
４３ パワー算出部
４４ 純音性判定部
４５ マスキング算出部
４６ 最小可聴限合成部
４７ ＳＭＲ算出部
４８ ＭＮＲ算出部
４９ 量子化ビット数算出部
５０ 量子化部
５１ パッキング部
５２ アンパッキング部
５３ 逆量子化部
５４ 周波数時間変換部
５５ 周波数帯域合成部
【発明の属する技術分野】
本発明は、ミニディスク等の記録媒体に楽音や音声等のディジタルデータを記録するにあたって、前記楽音や音声等に適応して各周波数帯域のスペクトルに対するビット割り当てを行い、データ量を圧縮する符号化方法に関する。
【０００２】
【従来の技術】
楽音や音声等のディジタルデータを高能率で圧縮符号化する方法として、ミニディスクで用いられているＡＴＲＡＣ（Adaptive TRansform Acoustic Coding）が挙げられる。このＡＴＲＡＣでは、ディジタルデータを高能率で圧縮するために、入力ディジタルデータは複数の周波数帯域（以下、適宜サブバンドフレームと呼ぶ）に分割され、可変長の単位時間でブロック化される。ブロック化されたディジタルデータはＭＤＣＴ（Modified Discrete Cosine Transform）処理によってスペクトル信号に変換され、さらに聴覚心理特性を利用して割り当てられたビット数で各スペクトル信号がそれぞれ符号化される。
【０００３】
上記の圧縮符号化に適用することができる聴覚心理特性には、等ラウドネス特性やマスキング効果が挙げられる。等ラウドネス特性とは、同じ音圧レベルの音であっても、人間が感じ取る音の大きさが周波数によって変化することを表すものである。従って、人間が感じ取ることのできる音の大きさを示す最小可聴限がその音の周波数によって変化することを表している。
【０００４】
一方、マスキング効果には同時マスキング効果と経時マスキング効果がある。同時マスキング効果とは、複数の周波数成分の音が同時に発生しているときに、ある音が別の音を聴き取り難くさせる現象を言う。また、経時マスキング効果とは、大きな音の時間軸方向の前後では、別の音が聞き取り難くなる現象を言う。
【０００５】
このような聴覚心理特性を利用したビット割り当て法、例えば反復法と呼ばれる割り当て法では、入力されたディジタルデータに適応した実際のビット割り当てを、次のようにして行っている。
【０００６】
まず、各周波数帯域のパワーＳを求め、そのパワーＳによる他の周波数帯域に対するマスキング閾値Ｍを求める。次に、このマスキング閾値Ｍと、各周波数帯域をｎビットで量子化したときの量子化雑音パワーＮ（ｎ）とから、マスキング閾値対雑音比ＭＮＲ（ｎ）＝Ｍ／Ｎ（ｎ）を求める。続いて、そのマスキング閾値対雑音比ＭＮＲ（ｎ）が最小となる周波数帯域にビットの割当てを行った後、該マスキング閾値対雑音比ＭＮＲ（ｎ）を更新し、再び最小の周波数帯域にビットの割り当てが行われる。
【０００７】
【発明が解決しようとする課題】
確かに、上記で説明した従来の符号化方法によれば、楽音や音声等のディジタルデータを高能率で圧縮符号化することができる。
【０００８】
しかしながら、正弦波のように純音性の高いディジタルデータに対してマスキング閾値対雑音比ＭＮＲ（ｎ）を用いたビット割り当てを行うと、自身のパワー或いはエネルギーによって自身がマスキングの影響を受けてしまうため、信号対雑音比ＳＮＲ（ｎ）＝Ｓ／Ｎ（ｎ）を用いたビット割り当てを行った場合と比べて、符号化・復号化時の歪み率、Ｓ／Ｎ特性、及びダイナミックレンジといったオーディオ特性が悪化するという課題があった。
【０００９】
また、超低域や超高域の正弦波に対してマスキング閾値対雑音比ＭＮＲ（ｎ）を用いたビット割り当てを行うと、最小可聴限もオーディオ特性の悪化要因となるおそれがあった。なお、超低域の正弦波に対して信号対雑音比ＳＮＲ（ｎ）を用いたビット割り当てを行った場合には、隣接するサブバンドフレーム間の分析窓のクロスポイントで、知覚可能な量子化誤差が生じるおそれがあった。
【００１０】
一方、ホワイトノイズのように純音性の低いディジタルデータに対してマスキング閾値対雑音比ＭＮＲ（ｎ）を用いたビット割り当てを行うと、自身のパワー或いはエネルギーによって、マスキング閾値対雑音比ＭＮＲ（ｎ）が広帯域でフラットにならないため、信号対雑音比ＳＮＲ（ｎ）を用いたビット割り当てを行った場合と比べて、符号化・復号化時の音質が悪化するという課題があった。また、最小可聴限も音質の悪化要因となるおそれがあった。
【００１１】
この点、本件出願人は、特開平１０−２０７４８９号公報において、純音性の高いディジタルデータ或いは純音性の低いディジタルデータを符号化する場合、各周波数帯域の相互に隣接するスペクトルのパワーＳ（或いはエネルギー）の差から求めたピーク及びローカルピークとマスキング閾値Ｍとの関係に対応して、マスキング閾値対雑音比ＭＮＲ（ｎ）を用いたビット割り当てを行うビットレートと、信号対雑音比ＳＮＲ（ｎ）を用いたビット割り当てを行うビットレートとを、可変させる構成のディジタルデータ符号化方法を提案している。
【００１２】
確かに、上記の符号化方法によれば、正弦波のように狭帯域なディジタルデータから、ホワイトノイズのように広帯域なディジタルデータに至るまで、最適なビット割り当てを自動的に行うことができるので、マスキング閾値対雑音比ＭＮＲ（ｎ）等の同時マスキングを利用したビット割り当てに不向きな楽音に対しても音質の劣化を防止することができる。しかしながら、マスキング閾値対雑音比ＭＮＲ（ｎ）と信号対雑音比ＳＮＲ（ｎ）とを併用する上記の符号化方法では、アルゴリズムが複雑なものとなっていた。
【００１３】
本発明は上記の問題点に鑑み、アルゴリズムを複雑化することなく、純音性の高いディジタルデータから純音性の低いディジタルデータまで、高忠実に符号化することが可能なディジタルデータの符号化方法を提供することを第１の目的とする。また、本発明は、超低域であってかつ純音性の高いディジタルデータを符号化する際であっても、隣接するサブバンドフレーム間の分析窓のクロスポイントで、知覚可能な量子化誤差が生じるおそれの少ないディジタルデータの符号化方法を提供することを第２の目的とする。
【００１４】
【課題を解決するための手段】
上記した第１の目的を達成するために、本発明に係るディジタルデータの符号化装置は、楽音や音声等のディジタルデータを周波数領域に変換する手段を有するディジタルデータの符号化装置において、
前記周波数領域を複数の周波数帯域に分割する手段と、
前記各周波数帯域のパワーまたはエネルギーを算出する手段と、
前記算出された各周波数帯域のパワーまたはエネルギーの最大値及び平均値に基づき前記ディジタルデータの純音性を判定する純音性判定手段と、
聴覚心理特性を反映した基準マスキング特性に基づきマスキング閾値を決定する第一のマスキング算出手段と、
周波数に重み付けを行っていない平坦なマスキング特性に基づきマスキング閾値を決定する第二のマスキング算出手段と、
前記純音性判定手段の判定結果に基づき前記第一のマスキング算出手段と前記第二のマスキング算出手段とを切換える切換手段と、
前記算出されたパワーまたはエネルギーと前記マスキング閾値とに基づきマスキング閾値対雑音比を算出する手段と、
前記マスキング閾値対雑音比に基づき前記各周波数帯域にビットを割り当てる手段と、を備えることを特徴とする。
【００１６】
また、上記した第２の目的を達成するために、本発明に係るディジタルデータの符号化装置は、楽音や音声等のディジタルデータを複数のサブバンドフレームに分割する手段と、
前記サブバンドフレーム単位毎に周波数領域に変換する手段と、
前記周波数領域を複数の周波数帯域に分割する手段と、
前記各周波数帯域のパワーを算出する手段と、
マスキング閾値を決定する手段と、
前記算出されたパワーと前記マスキング閾値とに基づきマスキング閾値対雑音比を算出する手段と、
前記マスキング閾値対雑音比に基づき前記各周波数帯域にビット割り当てを行う割り当て手段と、を備える符号化装置において、
前記算出されたパワーの最大値と平均値の差分値が所定値以上であり、かつ、前記パワーの最大値が存在する周波数が所定周波数以下である場合、前記パワーの最大値が存在するサブバンドフレームの全ての周波数帯域に、少なくとも最低量子化ビット数以上のビットを割り当てるよう前記割り当て手段に指示を行う手段を備えることを特徴とする。
【００１７】
【発明の実施の形態】
本発明に係るディジタルデータの符号化方法を採用したディジタル録音再生装置として、ここでは、ミニディスク録音再生装置を例に挙げて説明を行う。図１は本発明に係るディジタルデータの符号化方法を採用したミニディスク録音再生装置の一構成例を示すブロック図である。
【００１８】
本図に示すミニディスク録音再生装置１に設けられた入力端子２には、コンパクトディスク再生装置や衛星放送受信装置などのディジタル音声信号源から出力されたディジタル音声データが、例えば光信号としてシリアル入力される。入力端子２に入力された光信号は、光電素子３によって電気信号に変換された後、ディジタルＰＬＬ（Phase-Locked-Loop）回路４に入力される。
【００１９】
ディジタルＰＬＬ回路４は、入力されたディジタル音声データからクロックの抽出を行うとともに、サンプリング周波数および量子化ビット数に対応したマルチビットデータを再現する。このマルチビットデータは信号源毎に異なるサンプリングレート（コンパクトディスク；４４．１ｋＨｚ、ディジタルオーディオテープレコーダ；４８ｋＨｚ、衛星放送（Ａモード）；３２ｋＨｚなど）で標本化されたディジタルデータである。そこで、ディジタルＰＬＬ回路４から出力されたマルチビットデータは、周波数変換回路５によってそのサンプリングレートをミニディスクの規格に対応した４４．１ｋＨｚに変換される。
【００２０】
音声圧縮回路６は、ＡＴＲＡＣ（Adaptive TRansform Acoustic Coding）方式によって入力されたディジタル音声データの圧縮符号化を行い、符号化されたディジタル音声データをショックプルーフメモリコントローラ７を介して信号処理回路８に送出する。なお、音声圧縮回路６におけるディジタルデータの符号化方法については、後ほど詳細に説明を行う。
【００２１】
ショックプルーフメモリコントローラ７で制御されるショックプルーフメモリ９は、音声圧縮回路６から出力されるディジタル音声データの転送速度と、信号処理回路８に入力されるディジタル音声データの転送速度との差を吸収するとともに、再生時における振動等の外乱による再生信号の中断を補間し、ディジタル音声データを保護するためのものである。
【００２２】
信号処理回路８は、エンコーダおよびデコーダとしての機能を備えており、入力されたディジタル音声データをシリアルの磁界変調信号にエンコードしてヘッド駆動回路１０に与える。ヘッド駆動回路１０は、記録ヘッド１１をミニディスク１２上の所定記録位置に移動させるとともに、前記磁界変調信号に対応した磁界を発生させる。このとき、ミニディスク１２上の所定記録位置には、光ピックアップ１３からレーザ光が照射されており、これによって前記磁界に対応した磁化パターンがミニディスク１２上に形成される。
【００２３】
一方、光ピックアップ１３は、ミニディスク１２から前記磁化パターンに対応したシリアル信号を再生する。再生されたシリアル信号は高周波アンプ１４（以下、ＲＦアンプ１４と呼ぶ）で増幅された後、信号処理回路８によってディジタル音声データにデコードされる。デコードされたディジタル音声データは、ショックプルーフメモリコントローラ７及びショックプルーフメモリ９で外乱による影響を除去された後、音声伸長回路１５に送出される。
【００２４】
音声伸長回路１５は、ＡＴＲＡＣ方式による圧縮符号化の逆変換処理を行い、フルビットのディジタル音声データを復調する。復調されたディジタル音声データは、ディジタル／アナログ変換回路１６（以下、Ｄ／Ａ変換回路１６と呼ぶ）によってアナログ音声データに変換され、出力端子１７から外部へ出力される。
【００２５】
なお、ＲＦアンプ１４で増幅されたシリアル信号は、サーボ回路１８にも入力されている。サーボ回路１８は、再生されたシリアル信号に応じてドライバ回路１９に制御信号を送出し、該ドライバ回路１９を介してスピンドルモータ２０の回転速度をフィードバック制御する。このようなフィードバック制御により、ミニディスク１２を線速度一定で回転させることができる。
【００２６】
また、サーボ回路１８は、ドライバ回路１９を介して送りモータ２１の回転速度もフィードバック制御している。このようなフィードバック制御により、ミニディスク１２の半径方向に対する光ピックアップ１３の変移制御、すなわちトラッキング制御を行うことができる。さらに、サーボ回路１８は、ドライバ回路１９を介して光ピックアップ１３のフォーカシング制御も行っている。
【００２７】
上記した信号処理回路８、光ピックアップ１３、ＲＦアンプ１４、サーボ回路１８、及びドライバ回路１９等には、図示しない電源回路から電力供給が行われるが、このような電力供給動作や後述する信号処理動作は、全てシステムコントロールマイコン２２によって集中管理されている。なお、システムコントロールマイコン２２には、曲名入力や選曲操作、或いは音質調整動作等を行うための入力装置２３が接続されている。
【００２８】
続いて、上記した音声圧縮回路６におけるディジタルデータ符号化処理の第１実施形態について説明する。図２は音声圧縮回路６の第１実施形態を示すブロック図であり、特に、スペクトル変換部に続くビット割当処理部を模式化したものである。
【００２９】
本図に示すビット割当処理部の入力端には、その前段に設けられたスペクトル変換部（図示せず）で得られたＭＤＣＴ係数（ディジタル音声データを構成する周波数成分（スペクトル））が入力される。なお、スペクトル変換部は、周波数変換回路５から入力されたディジタル音声データ（４４．１ｋＨｚ）を、帯域分割フィルタであるＱＭＦ（Quadrature Mirror Filter）によって複数の周波数帯域（サブバンドフレーム）に分割し、そのサブバンドフレーム単位毎にＭＤＣＴ（Modified Discrete Cosine Transform）処理を施すことで、ディジタル音声データのスペクトル変換を行っている。
【００３０】
パワー算出部３１は、入力されたＭＤＣＴ係数をさらにｉ個の周波数帯域（臨界帯域等）に分割し、各周波数帯域に属するＭＤＣＴ係数の２乗和から、各周波数帯域のスペクトルパワーＳi（ｉ＝１，２，…，Ｉ、例えばＩ＝２５）を算出する。なお、臨界帯域とは、周波数選択性・マスキング閾値等の特定の音響心理学的規則性が有効な広帯域オーディオスペクトルの特性的部分のことである。
【００３１】
純音性判定部３２は、パワー算出部３１で算出されたスペクトルパワーＳiの最大値Ｓmaxと平均値Ｓav（＝ΣＳi／Ｉ）との差分値（Ｓmax−Ｓav）を求めるとともに、該差分値の大小からディジタル音声データの純音性の高低を判定し、その判定結果に基づいて切換部３３の切換制御を行う。
【００３２】
図３はパワー算出部３１で算出されたスペクトルパワーＳiの一例を示す図である。本図中（ａ）に示すように、スペクトルパワーＳiの最大値Ｓmaxと平均値Ｓavとの差分値（Ｓmax−Ｓav）が非常に大きい場合、例えばＳmax−Ｓav≧４０ｄＢを満たす場合、純音性判定部３２は、入力されたディジタル音声データの純音性が高いと判定して、平坦マスキング算出部３５を選択するように切換部３３の切換制御を行う。
【００３３】
また、本図中（ｂ）に示すように、スペクトルパワーＳiの最大値Ｓmaxと平均値Ｓavとの差分値（Ｓmax−Ｓav）が非常に小さい場合、例えばＳmax−Ｓav≦６ｄＢを満たす場合、純音性判定部３２は、入力されたディジタル音声データの純音性が低いと判定して、上記と同様、平坦マスキング算出部３５を選択するように切換部３３の切換制御を行う。
【００３４】
一方、スペクトルパワーＳiの最大値Ｓmaxと平均値Ｓavとの差分値（Ｓmax−Ｓav）が上記のいずれにも該当しない場合、例えば６ｄＢ＜Ｓmax−Ｓav＜４０ｄＢを満たす場合、純音性判定部３２は、入力されたディジタル音声データに対する聴覚心理、すなわちマスキング効果が有効であると判断して、基準マスキング算出部３４を選択するように切換部３３の切換制御を行う。
【００３５】
上記の純音性判定動作により、基準マスキング算出部３４が選択された場合、最小可聴限合成部３６は、音声圧縮部６のテーブルＲＯＭ（図示せず）に予め格納されている基準マスキング特性と最小可聴限特性とを合成することで、最終的なマスキング閾値Ｍiを決定する。一方、平坦マスキング算出部３５が選択された場合、最小可聴限合成部３６は、周波数に重み付けを行っていない平坦なマスキング特性と最小可聴限特性とを合成することで、最終的なマスキング閾値Ｍiを決定する。
【００３６】
ＳＭＲ算出部３７は、各周波数帯域のインデックスを前記ｉとするとき、パワー算出部３１で算出されたスペクトルパワーＳiと、最小可聴限合成部３６で決定された各周波数帯域のマスキング閾値Ｍiとの比ＳＭＲi（＝Ｓi／Ｍi）を、全ての周波数帯域に亘って計算する。
【００３７】
ＭＮＲ算出部３８は、まず各周波数帯域のスペクトルパワーＳiと、該スペクトルパワーＳiをｎビットで量子化したときに生じる量子化雑音パワーＮi（ｎ）との比、すなわち信号対雑音比ＳＮＲi（ｎ）（＝Ｓi／Ｎi（ｎ））を求める。なお、この信号対雑音比ＳＮＲi（ｎ）は、統計的には信号特性に応じた定数となるので、予め統計処理によって求めておいてもよい。さらに、ＭＮＲ算出部３８は、この信号対雑音比ＳＮＲi（ｎ）と、ＳＭＲ算出部３７で得られた比ＳＭＲiから、マスキング閾値Ｍiと量子化雑音パワーＮiとの比、すなわちマスキング閾値対雑音比ＭＮＲi（ｎ）（＝ＳＮＲi（ｎ）／ＳＭＲi）を算出する。
【００３８】
量子化ビット数算出部３９は、各周波数帯域の量子化ビット数ｎを０から順に大きくしていき、その都度、各周波数帯域のマスキング閾値対雑音比ＭＮＲi（ｎ）を計算する。そして、マスキング閾値対雑音比ＭＮＲi（ｎ）が最小となる周波数帯域から順にビットを割り当てていく。その後、量子化ビット数ｎを更新する度毎に、マスキング閾値対雑音比ＭＮＲi（ｎ）が最小となる周波数帯域に対する同様のビット割り当てを行う。所定の割り当て可能ビット数となるまで割り当てを行うと、各周波数帯域の語長が決定されて出力が行われる。すなわち、スペクトルパワーＳiの絶対値が、マスキング閾値Ｍiを超えた部分の長さが最も長い周波数帯域から順にビット割り当てが行われることになる。
【００３９】
上記したディジタルデータの符号化方法であれば、正弦波のように純音性の高いディジタルデータ、或いはホワイトノイズのように純音性の低いディジタルデータに対して、マスキング閾値対雑音比ＭＮＲi（ｎ）のみを用いてビット割り当てを行った場合であっても、信号対雑音比ＳＮＲi（ｎ）を用いてビット割り当てを行った場合と同等のオーディオ特性及び音質を得ることができる。
【００４０】
また、本実施形態におけるディジタルデータの符号化方法であれば、楽音や音声のように、聴覚心理を利用した方が好ましい音源には、通常のマスキング閾値対雑音比ＭＮＲi（ｎ）を用いたビット割り当てを行うので、信号対雑音比ＳＮＲi（ｎ）を用いてビット割り当てを行うよりも、聴覚的に優れた音質を得ることができる。さらに、マスキング閾値対雑音比ＭＮＲi（ｎ）と信号対雑音比ＳＮＲi（ｎ）とを併用する従来の符号化方法に比べて、アルゴリズムを容易に実現することが可能である。
【００４１】
続いて、音声圧縮回路６におけるディジタルデータ符号化処理の第２実施形態について説明する。図４は音声圧縮回路６の第２実施形態を示すブロック図であり、説明の理解を深めるために音声伸長回路１５も合わせて示している。
【００４２】
本図に示す音声圧縮回路６の入力端には、周波数変換回路５で得られたディジタル音声データ（４４．１ｋＨｚ）が入力される。音声圧縮回路６の最前段に設けられた周波数帯域分割部４１は、入力されたディジタル音声データを複数の周波数帯域（サブバンドフレーム）に分割する。
【００４３】
時間周波数変換部４２は、周波数帯域分割部４１で得られたサブバンドフレーム単位毎にＭＤＣＴ処理を施すことで、ディジタル音声データをＭＤＣＴ係数に変換する。このときのＭＤＣＴ処理によって得られる変換データＸm（ｋ）は、次の（１）式で示される。
【数１】
なお、上式中の変数ｍはブロック番号を表しており、関数ｘm（ｉ）は入力信号を表している。また、関数ｈ（ｉ）は順変換用窓関数を表している。図５は順変換窓関数ｈ（ｉ）の時間特性の一例を示す概念図であり、図６は順変換窓関数ｈ（ｉ）の周波数特性の一例を示す概念図である。
【００４５】
パワー算出部４３は、時間周波数変換部４２で得られたＭＤＣＴ係数をさらにｉ個の周波数帯域（臨界帯域等）に分割し、各周波数帯域に属するＭＤＣＴ係数の２乗和から、各周波数帯域のスペクトルパワーＳi（ｉ＝１，２，…，Ｉ、例えばＩ＝２５）を算出する。
【００４６】
純音性判定部４４は、パワー算出部４３で算出されたスペクトルパワーＳiの最大値Ｓmaxと平均値Ｓav（＝ΣＳi／Ｉ）との差分値（Ｓmax−Ｓav）を求めるとともに、該差分値の大小からディジタル音声データの純音性の高低を判定し、その判定結果に基づいて量子化ビット数算出部４９における量子化ビット数の割り当て制御を行う。
【００４７】
図７は本実施形態における量子化ビット数の割り当て制御を説明するための図であり、パワー算出部３１で算出されたスペクトルパワーＳiの一例（ａ）と、その際に割り当てられる量子化ビット数の一例（ｂ）と、を示している。なお、本図では、入力されたディジタル音声データが４つのサブバンドフレームＳＢ１〜ＳＢ４に分割されている場合を例に挙げて説明を行う。
【００４８】
本図中（ａ）に示すように、スペクトルパワーＳiの最大値Ｓmaxと平均値Ｓavとの差分値（Ｓmax−Ｓav）が非常に大きく（例えばＳmax−Ｓav≧４０ｄＢ）、かつスペクトルパワーＳiの最大値Ｓmaxが存在する周波数が所定周波数（例えば１００Ｈｚ）以下である場合、純音性判定部４４は、入力されたディジタル音声データが超低域であるとともに純音性が高いと判定して、本図中（ｂ）に示すように、スペクトルパワーＳiの最大値Ｓmaxが存在するサブバンドフレームＳＢ１に、少なくとも最低の量子化ビット数を割り当てるよう、量子化ビット数算出部４９に対する指示を行う。
【００４９】
このようなビット割り当てを行うことにより、特定周波数のノイズを低減することが可能となる。従って、超低域であるとともに純音性が高いディジタル音声データ（例えば、超低域の正弦波）を符号化する場合であっても、隣接するサブバンドフレーム間の分析窓のクロスポイントで、知覚可能な量子化誤差が生じるおそれが少なくなる。
【００５０】
パワー算出部４３の後段に接続されたマスキング算出部４５、最小可聴限合成部４６、ＳＭＲ算出部４７、ＭＮＲ算出部４８、及び量子化ビット数算出部４９は、前述の第１実施形態と同様、マスキング閾値対雑音比ＭＮＲi（ｎ）を用いたビット割り当てを行い、量子化ビット数を決定する。
【００５１】
量子化部５０及びパッキング部５１は、量子化ビット数算出部４９で得られた量子化ビット数に従って、入力されたディジタル音声データを圧縮符号化する。このようにして圧縮符号化されたディジタル音声データは、信号処理回路８などを介してミニディスク１２に記録される。
【００５２】
一方、ミニディスク１２を再生する際、音声伸長回路１５のアンパッキング部５２及び逆量子化部５３は、圧縮符号化されたディジタル音声データを元のＭＤＣＴ係数に復元する。
【００５３】
周波数時間変換部５４は、復元されたＭＤＣＴ係数に対して、サブバンドフレーム単位毎にＩＭＤＣＴ（Inverse Modified Discrete Cosine Transform）処理を施す。このときのＩＭＤＣＴ処理によって得られる復元信号ｘ＾m（ｉ）は、次の（２）式で示される。
【数２】
なお、上式中の変数ｍはブロック番号を表しており、関数Ｘm（ｋ）は変換データ（復元されたＭＤＣＴ係数）を表している。また、関数ｙm（ｉ）は逆変換信号を表しており、関数ｆ（ｉ）は逆変換用窓関数を表している。
【００５５】
続く周波数帯域合成部５５は、周波数時間変換部５４によって得られた復元信号ｘ＾m（ｉ）を合成することで元のディジタル音声データを復元し、該ディジタル音声データを次段のＤ／Ａ変換回路１６に送出する。
【００５６】
なお、変換データＸm（ｋ）が量子化による影響を受けることなく、復元信号ｘ＾m（ｉ）から元のディジタル音声データを復元できるように、上記した時間周波数変換部４２及び周波数時間変換部５４は、次の（３）式を満たすように設計されるべきである。本条件はＣＡＳ９０−１０やＤＳＰ９０−１４等により既に公知とされている。
【数３】
一方、変換データＸm（ｋ）が量子化による影響を受けた場合について、参考までに説明する。図８は変換データＸm（ｋ）が量子化による影響を受けた場合を説明する図であり、周波数帯域合成部５５から出力されるディジタル音声データの一例（ａ）と、該ディジタル音声データの符号化時におけるビット割り当ての一例（ｂ）と、を示している。
【００５８】
本図中（ｂ）に示すように、サブバンドフレームＳＢ１の低域から１／３程度の周波数成分にのみビット割り当てを行った場合、復元信号ｘ＾m（ｉ）の周波数特性は本図中（ａ）のようになり、窓関数の周波数特性のノイズが発生する。このような量子化ノイズは、サブバンドフレームＳＢ１のどの周波数にでも少なからず発生するが、この例ではサブバンドフレームＳＢ１の低域から１／３程度に集中してビットを割り当てているため、残りの２／３の周波数成分における量子化ノイズが知覚されやすい。従って、前述した通り、スペクトルパワーＳiの最大値Ｓmaxが存在するサブバンドフレームＳＢ１に、少なくとも最低の量子化ビット数を割り当てれば、特定周波数のノイズを低減することが可能となる。
【００５９】
なお、上記の実施形態では、本発明に係るディジタルデータの符号化方法をミニディスク録音再生装置に適用した例を挙げて説明を行ったが、本発明の適用範囲がこれに限定されないことは言うまでもない。
【００６０】
【発明の効果】
本発明に係るディジタルデータの符号化装置は、楽音や音声等のディジタルデータを周波数領域に変換する手段を有するディジタルデータの符号化装置において、
前記周波数領域を複数の周波数帯域に分割する手段と、
前記各周波数帯域のパワーまたはエネルギーを算出する手段と、
前記算出された各周波数帯域のパワーまたはエネルギーの最大値及び平均値に基づき前記ディジタルデータの純音性を判定する純音性判定手段と、
聴覚心理特性を反映した基準マスキング特性に基づきマスキング閾値を決定する第一のマスキング算出手段と、
周波数に重み付けを行っていない平坦なマスキング特性に基づきマスキング閾値を決定する第二のマスキング算出手段と、
前記純音性判定手段の判定結果に基づき前記第一のマスキング算出手段と前記第二のマスキング算出手段とを切換える切換手段と、
前記算出されたパワーまたはエネルギーと前記マスキング閾値とに基づきマスキング閾値対雑音比を算出する手段と、
前記マスキング閾値対雑音比に基づき前記各周波数帯域にビットを割り当てる手段と、を備える。
【００６２】
このようなディジタルデータの符号化方法であれば、正弦波のように純音性の高いディジタルデータ、或いはホワイトノイズのように純音性の低いディジタルデータに対して、マスキング閾値対雑音比のみを用いてビット割り当てを行った場合であっても、信号対雑音比を用いてビット割り当てを行った場合と同等のオーディオ特性及び音質を得ることができる。
【００６３】
また、本発明に係るディジタルデータの符号化方法であれば、楽音や音声のように、聴覚心理を利用した方が好ましい音源には、通常のマスキング閾値対雑音比を用いたビット割り当てを行うので、信号対雑音比を用いてビット割り当てを行うよりも、聴覚的に優れた音質を得ることができる。さらに、マスキング閾値対雑音比と信号対雑音比とを併用する従来の符号化方法に比べて、アルゴリズムを容易に実現することが可能である。
【００６４】
また、本発明に係るディジタルデータの符号化装置は、楽音や音声等のディジタルデータを複数のサブバンドフレームに分割する手段と、
前記サブバンドフレーム単位毎に周波数領域に変換する手段と、
前記周波数領域を複数の周波数帯域に分割する手段と、
前記各周波数帯域のパワーを算出する手段と、
前記各周波数帯域にビット割り当てを行う割り当て手段と、を備える符号化装置において、
前記算出されたパワーの最大値と平均値の差分値が所定値以上であり、かつ、前記パワーの最大値が存在する周波数が所定周波数以下である場合、前記パワーの最大値が存在するサブバンドフレームの全ての周波数帯域に、少なくとも最低量子化ビット数以上のビットを割り当てるよう前記割り当て手段に指示を行う手段を備える。
【００６５】
このようなディジタルデータの符号化方法であれば、特定周波数のノイズを低減することが可能となる。従って、超低域であるとともに純音性が高いディジタル音声データ（例えば、超低域の正弦波）を符号化する場合であっても、隣接するサブバンドフレーム間の分析窓のクロスポイントで、知覚可能な量子化誤差が生じるおそれが少なくなる。
【図面の簡単な説明】
【図１】 本発明に係るディジタルデータの符号化方法を採用したミニディスク録音再生装置の一構成例を示すブロック図である。
【図２】 音声圧縮回路６の第１実施形態を示すブロック図である。
【図３】 パワー算出部３１で算出されたスペクトルパワーＳiの一例を示す図である。
【図４】 音声圧縮回路６の第２実施形態を示すブロック図である。
【図５】 順変換窓関数ｈ（ｉ）の時間特性の一例を示す概念図である。
【図６】 順変換窓関数ｈ（ｉ）の周波数特性の一例を示す概念図である。
【図７】 第２実施形態における量子化ビット数の割り当て制御を説明するための図である。
【図８】 変換データＸm（ｋ）が量子化による影響を受けた場合を説明する図である。
【符号の説明】
１ ミニディスク録音再生装置
２ 入力端子
３ 光電素子
４ ディジタルＰＬＬ回路
５ 周波数変換回路
６ 音声圧縮回路
７ ショックプルーフメモリコントローラ
８ 信号処理回路
９ ショックプルーフメモリ
１０ 記録ヘッド駆動回路
１１ 記録ヘッド
１２ ミニディスク
１３ 光ピックアップ
１４ 高周波アンプ（ＲＦアンプ）
１５ 音声伸長回路
１６ ディジタル／アナログ変換回路（Ｄ／Ａ変換回路）
１７ 出力端子
１８ サーボ回路
１９ ドライバ回路
２０ スピンドルモータ
２１ 送りモータ
２２ システムコントロールマイコン
２３ 入力装置
３１ パワー算出部
３２ 純音性判定部
３３ 切換部
３４ 基準マスキング算出部
３５ 平坦マスキング算出部
３６ 最小可聴限合成部
３７ ＳＭＲ算出部
３８ ＭＮＲ算出部
３９ 量子化ビット数算出部
４１ 周波数帯域分割部
４２ 時間周波数変換部
４３ パワー算出部
４４ 純音性判定部
４５ マスキング算出部
４６ 最小可聴限合成部
４７ ＳＭＲ算出部
４８ ＭＮＲ算出部
４９ 量子化ビット数算出部
５０ 量子化部
５１ パッキング部
５２ アンパッキング部
５３ 逆量子化部
５４ 周波数時間変換部
５５ 周波数帯域合成部
Claims (2)
- 楽音や音声等のディジタルデータを周波数領域に変換する手段を有するディジタルデータの符号化装置において、
前記周波数領域を複数の周波数帯域に分割する手段と、
前記各周波数帯域のパワーまたはエネルギーを算出する手段と、
前記算出された各周波数帯域のパワーまたはエネルギーの最大値及び平均値に基づき前記ディジタルデータの純音性を判定する純音性判定手段と、
聴覚心理特性を反映した基準マスキング特性に基づきマスキング閾値を決定する第一のマスキング算出手段と、
周波数に重み付けを行っていない平坦なマスキング特性に基づきマスキング閾値を決定する第二のマスキング算出手段と、
前記純音性判定手段の判定結果に基づき前記第一のマスキング算出手段と前記第二のマスキング算出手段とを切換える切換手段と、
前記算出されたパワーまたはエネルギーと前記マスキング閾値とに基づきマスキング閾値対雑音比を算出する手段と、
前記マスキング閾値対雑音比に基づき前記各周波数帯域にビットを割り当てる手段と、を備えることを特徴とする符号化装置。 - 楽音や音声等のディジタルデータを複数のサブバンドフレームに分割する手段と、
前記サブバンドフレーム単位毎に周波数領域に変換する手段と、
前記周波数領域を複数の周波数帯域に分割する手段と、
前記各周波数帯域のパワーを算出する手段と、
マスキング閾値を決定する手段と、
前記算出されたパワーと前記マスキング閾値とに基づきマスキング閾値対雑音比を算出する手段と、
前記マスキング閾値対雑音比に基づき前記各周波数帯域にビット割り当てを行う割り当て手段と、を備える符号化装置において、
前記算出されたパワーの最大値と平均値の差分値が所定値以上であり、かつ、前記パワーの最大値が存在する周波数が所定周波数以下である場合、前記パワーの最大値が存在するサブバンドフレームの全ての周波数帯域に、少なくとも最低量子化ビット数以上のビットを割り当てるよう前記割り当て手段に指示を行う手段を備えることを特徴とする符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001158767A JP3776004B2 (ja) | 2001-05-28 | 2001-05-28 | ディジタルデータの符号化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001158767A JP3776004B2 (ja) | 2001-05-28 | 2001-05-28 | ディジタルデータの符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002351500A JP2002351500A (ja) | 2002-12-06 |
| JP3776004B2 true JP3776004B2 (ja) | 2006-05-17 |
Family
ID=19002438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001158767A Expired - Fee Related JP3776004B2 (ja) | 2001-05-28 | 2001-05-28 | ディジタルデータの符号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3776004B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1774957A (zh) * | 2003-04-17 | 2006-05-17 | 皇家飞利浦电子股份有限公司 | 音频信号生成 |
| US7930173B2 (en) | 2006-06-19 | 2011-04-19 | Sharp Kabushiki Kaisha | Signal processing method, signal processing apparatus and recording medium |
| JP5189760B2 (ja) * | 2006-12-15 | 2013-04-24 | シャープ株式会社 | 信号処理方法、信号処理装置及びプログラム |
| JP4698688B2 (ja) | 2007-02-27 | 2011-06-08 | シャープ株式会社 | 送受信方法、送受信装置及びプログラム |
| CN104575508B (zh) * | 2013-10-15 | 2018-07-13 | 京微雅格（北京）科技有限公司 | 一种音频信号变调的处理方法及其装置 |
| CN111724800B (zh) * | 2020-06-18 | 2023-05-12 | 长沙深之瞳信息科技有限公司 | 一种摩尔斯码音频降噪方法及使用该方法的降噪耳机 |
-
2001
- 2001-05-28 JP JP2001158767A patent/JP3776004B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002351500A (ja) | 2002-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3328532B2 (ja) | デジタルデータの符号化方法 | |
| US6169973B1 (en) | Encoding method and apparatus, decoding method and apparatus and recording medium | |
| JP3123290B2 (ja) | 圧縮データ記録装置及び方法、圧縮データ再生方法、記録媒体 | |
| JP3123286B2 (ja) | ディジタル信号処理装置又は方法、及び記録媒体 | |
| JP3173218B2 (ja) | 圧縮データ記録方法及び装置、圧縮データ再生方法、並びに記録媒体 | |
| JP3186307B2 (ja) | 圧縮データ記録装置及び方法 | |
| JPH08190764A (ja) | ディジタル信号処理方法、ディジタル信号処理装置及び記録媒体 | |
| JPH06180948A (ja) | ディジタル信号処理装置又は方法、及び記録媒体 | |
| JP3531177B2 (ja) | 圧縮データ記録装置及び方法、圧縮データ再生方法 | |
| JPH07154265A (ja) | 情報圧縮方法及び装置、圧縮情報伸張方法及び装置、圧縮情報記録／伝送装置、圧縮情報再生装置、圧縮情報受信装置、並びに記録媒体 | |
| JP3776004B2 (ja) | ディジタルデータの符号化方法 | |
| JP4271588B2 (ja) | ディジタルデータの符号化方法および符号化装置 | |
| JP3942882B2 (ja) | ディジタル信号符号化装置およびそれを備えたディジタル信号記録装置 | |
| JP4470304B2 (ja) | 圧縮データ記録装置、記録方法、圧縮データ記録再生装置、記録再生方法および記録媒体 | |
| JP3531178B2 (ja) | ディジタル信号処理装置及び方法 | |
| JP4822697B2 (ja) | ディジタル信号符号化装置およびディジタル信号記録装置 | |
| JP3334374B2 (ja) | ディジタル信号圧縮方法及び装置 | |
| JP4293833B2 (ja) | ディジタル信号記録再生装置及びその制御プログラム | |
| JP3186489B2 (ja) | ディジタル信号処理方法及び装置 | |
| JP3175456B2 (ja) | ディジタル信号処理装置 | |
| JP4627737B2 (ja) | デジタルデータ復号化装置 | |
| JP4649351B2 (ja) | デジタルデータ復号化装置 | |
| JP4732478B2 (ja) | ディジタル信号再生装置、及びその制御プログラム | |
| JPH11330974A (ja) | エンコード方法、デコード方法、エンコード装置、デコード装置、ディジタル信号記録方法、ディジタル信号記録装置、記録媒体、ディジタル信号送信方法及びディジタル信号送信装置 | |
| JP3477735B2 (ja) | 圧縮データ変換装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050125 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060221 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060221 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100303 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100303 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110303 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120303 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120303 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130303 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130303 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140303 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |