[go: up one dir, main page]

JP6816277B2 - 信号処理装置、制御方法、プログラム及び記憶媒体 - Google Patents

信号処理装置、制御方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
JP6816277B2
JP6816277B2 JP2019527673A JP2019527673A JP6816277B2 JP 6816277 B2 JP6816277 B2 JP 6816277B2 JP 2019527673 A JP2019527673 A JP 2019527673A JP 2019527673 A JP2019527673 A JP 2019527673A JP 6816277 B2 JP6816277 B2 JP 6816277B2
Authority
JP
Japan
Prior art keywords
quantization noise
sound data
attenuation
frequency
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019527673A
Other languages
English (en)
Other versions
JPWO2019009204A1 (ja
Inventor
長谷川 真
真 長谷川
弥生 佐藤
弥生 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Publication of JPWO2019009204A1 publication Critical patent/JPWO2019009204A1/ja
Application granted granted Critical
Publication of JP6816277B2 publication Critical patent/JP6816277B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/06Continuously compensating for, or preventing, undesired influence of physical parameters
    • H03M1/0617Continuously compensating for, or preventing, undesired influence of physical parameters characterised by the use of methods or means not specific to a particular type of detrimental influence
    • H03M1/0626Continuously compensating for, or preventing, undesired influence of physical parameters characterised by the use of methods or means not specific to a particular type of detrimental influence by filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • G10L19/265Pre-filtering, e.g. high frequency emphasis prior to encoding
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G9/00Combinations of two or more types of control, e.g. gain control and tone control
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/06Continuously compensating for, or preventing, undesired influence of physical parameters
    • H03M1/08Continuously compensating for, or preventing, undesired influence of physical parameters of noise
    • H03M1/0854Continuously compensating for, or preventing, undesired influence of physical parameters of noise of quantisation noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324Details of processing therefor
    • G10L21/034Automatic adjustment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Analogue/Digital Conversion (AREA)

Description

本発明は、量子化ノイズを制御する技術に関する。
従来から、ビット数の少ない量子化ビットによりデジタル化されたデータの量子化ノイズを除去する技術が知られている。例えば、特許文献1には、低ビット数により量子化されたデジタルデータをスペクトル変換し、所定レベル以下のスペクトルを除去した後、逆フーリエ変換したデータを出力する技術が開示されている。
特開平7−193502号公報
特許文献1では、聴感上気にならない量子化ノイズについても一様に除去することにより、量子化ノイズと共に、元々存在する音成分も除去してしまうという問題があった。
本発明が解決しようとする課題は上記のようなものが例として挙げられる。本発明は、量子化ノイズを好適に減衰させることが可能な信号処理装置を提供することを主な目的とする。
請求項に記載の発明は、信号処理装置であって、量子化が行われた音データを取得する取得手段と、前記音データの音量が固定値である閾値未満となる周波数帯域において前記音データの信号レベルを減衰させる量子化ノイズ制御手段と、を備え、前記量子化ノイズ制御手段は、前記音量に基づいて、前記信号レベルを減衰させる減衰量の上限である最大減衰量を決定する
また、請求項に記載の発明は、信号処理装置が実行する制御方法であって、量子化が行われた音データを取得する取得工程と、前記音データの音量が固定値である閾値未満となる周波数帯域において前記音データの信号レベルを減衰させる量子化ノイズ制御工程と、を有し、前記量子化ノイズ制御工程は、前記音量に基づいて、前記信号レベルを減衰させる減衰量の上限である最大減衰量を決定する
また、請求項に記載の発明は、コンピュータが実行するプログラムであって、量子化が行われた音データを取得する取得手段と、前記音データの音量が固定値である閾値未満となる周波数帯域において前記音データの信号レベルを減衰させる量子化ノイズ制御手段として前記コンピュータを機能させ、前記量子化ノイズ制御手段は、前記音量に基づいて、前記信号レベルを減衰させる減衰量の上限である最大減衰量を決定する
実施例に係る音出力システムの構成を示す。 変換装置の機能的なブロック構成図を示す。 最大減衰量を規定するグラフ、及び、周波数領域での減衰処理の具体例を示す。 ハイレゾ規格及びCD規格のそれぞれにより正弦波信号の量子化を行った場合の時間領域及び周波数領域での信号波形を示す。 CD規格において発生する量子化ノイズの聴感を定量的に表したグラフを示す。 (A)は、入力レベルが比較的大きい入力信号の周波数特性を示し、(B)は、当該周波数特性を有する入力信号に対して窓関数を適用してフーリエ変換を行った算出結果を示す波形である。 (A)は、図6(B)の波形に対して量子化ノイズ減衰処理を行うことで得られた波形を示し、(B)は、出力信号の周波数特性を示す。 (A)は、入力レベルが比較的小さい入力信号の周波数特性を示し、(B)は、当該周波数特性を有する入力信号に対して窓関数を適用してフーリエ変換を行った算出結果を示す波形である。 (A)は、図8(B)の波形に対して量子化ノイズ減衰処理を行うことで得られた波形を示し、(B)は、出力信号の周波数特性を示す。 変形例に係る変換装置のブロック構成図を示す。 複数の周波数帯域に対してそれぞれ最大減衰量を決定する場合の周波数帯域の分割例を示した図である。
本発明の好適な実施形態では、信号処理装置は、量子化が行われた音データを取得する取得手段と、前記音データの音量に基づいて、前記量子化により発生した前記音データの量子化ノイズに対する制御量を決定する量子化ノイズ制御手段と、を備える。この態様では、信号処理装置は、取得した音データの音量に応じて量子化ノイズに対する聴感が異なることに着目し、音データの音量に基づいて量子化ノイズを制御する制御量を決定する。これにより、信号処理装置は、ユーザに聴こえる量子化ノイズを好適に制御してその影響を低減させることができる。
上記信号処理装置の一態様では、前記制御量は、所定の周波数帯域において前記音データの信号レベルを減衰させる減衰量であり、前記量子化ノイズ制御手段は、前記音量に基づいて、前記減衰量を変化させる。この態様により、量子化ノイズ制御手段は、量子化ノイズを減衰させつつ、元々存在する音成分を不要に除去するのを好適に抑制することができる。
上記信号処理装置の他の一態様では、前記量子化ノイズ制御手段は、前記音量が小さいほど、前記減衰量を大きくする。出願人は、実施例において後述するように、音データの音量が小さい場合ほど、量子化ノイズが聴こえ易くなり、かつ、量子化ノイズの減衰処理によるノイズでない音成分への影響が小さくなるという知見を得た。従って、この態様により、信号処理装置は、元々存在する音成分への影響を回避しつつ量子化ノイズを好適に減衰させることができる。
上記信号処理装置の他の一態様では、前記量子化ノイズ制御手段は、前記音量と、前記音データの周波数とに基づいて、前記減衰量を決定する。出願人は、実施例において後述するように、入力信号の周波数が比較的低い場合には、量子化ノイズが聴こえ易い傾向があるという知見を得た。よって、この態様により、信号処理装置は、元々存在する音成分への影響を回避しつつ、量子化ノイズをより効果的に減衰させることができる。好適には、前記量子化ノイズ制御手段は、前記周波数が低いほど、前記減衰量を大きくするとよい。
上記信号処理装置の他の一態様では、信号処理装置は、前記音データの時間波形を周波数領域へ変換する変換手段をさらに備え、前記量子化ノイズ制御手段は、前記周波数領域の振幅が所定レベル未満の周波数について、前記制御量に基づいて減衰を行う。この態様により、信号処理装置は、量子化ノイズの影響がある周波数の振幅を減衰させて量子化ノイズを好適に低減させることができる。
上記信号処理装置の他の一態様では、前記変換手段は、所定時間間隔により切り出した前記音データの時間波形を周波数領域へ変換する。このように音データを切り出した場合には、切出しの影響により周波数領域での波形の裾野が広がり、音データの音量によっては量子化ノイズと元々の音成分とが特定の周波数帯域において混じり合う。この場合であっても、信号処理装置は、音量に基づいて制御量を決定することで、ユーザが聴こえる範囲の量子化ノイズを好適に減衰させつつ、元々存在する音成分への影響を好適に低減させることができる。
上記信号処理装置の他の一態様では、信号処理装置は、前記音データを複数の周波数帯域に分割する分割手段をさらに備え、前記量子化ノイズ制御手段は、前記複数の周波数帯域各々に対して前記量子化ノイズに対する前記制御量を決定する。これにより、信号処理装置は、周波数帯ごとに制御量を適切に定めることができる。好適な例では、信号処理装置は、前記量子化ノイズの制御が行われた音データの倍音生成を行う倍音生成手段と、前記倍音生成が行われた音データを出力する出力手段と、をさらに備える。この態様により、信号処理装置は、より高品質となる規格へのアップコンバートを好適に実行することができる。
本発明の他の実施形態では、信号処理装置が実行する制御方法であって、量子化が行われた音データを取得する取得工程と、前記音データの音量に基づいて、前記量子化により発生した前記音データの量子化ノイズに対する制御量を決定する量子化ノイズ制御工程と、を有する。信号処理装置は、この制御方法を実行することで、ユーザに聴こえる量子化ノイズを好適に制御してその影響を低減させることができる。
本発明のさらに別の実施形態では、コンピュータが実行するプログラムであって、量子化が行われた音データを取得する取得手段と、前記音データの音量に基づいて、前記量子化により発生した前記音データの量子化ノイズに対する制御量を決定する量子化ノイズ制御手段として前記コンピュータを機能させる。コンピュータは、このプログラムを実行することで、ユーザに聴こえる量子化ノイズを好適に制御してその影響を低減させることができる。好適には、上記プログラムは、記憶媒体に記憶される。
以下、図面を参照して本発明の好適な実施例について説明する。以後において、「ハイレゾ」とは、サンプリング周波数:96kHz、ビット長24bitを上回る情報量を有する音源を指すものとする。
[音出力システムの構成]
図1は、本実施例に係る音出力システム100の構成を示す。音出力システム100は、CD規格の音データをハイレゾ規格にアップコンバートして再生するシステムであって、図1に示すように、入力装置1と、変換装置2と、出力装置3とを備える。
入力装置1は、CD音源のデジタルデータである入力信号S1を変換装置2へ入力する。入力装置1は、例えば、CDなどの記録媒体から音データを読み取るインタフェース装置であってもよく、有線又は無線により他の装置から送信される音データを受信する通信装置であってもよく、入力信号S1を記憶する記憶装置であってもよい。
変換装置2は、入力装置1から入力される入力信号S1をアップコンバートすることで、ハイレゾ規格のデジタルデータである出力信号S2を出力装置3に出力する。この場合、後述するように、変換装置2は、まず、所定のハイレゾフォーマットにサンプリング周波数、ビット長をアップコンバートする。フォーマットはアップコンバートされているが、この時点では、量子化ノイズを含み、かつ、高域補間もされていない信号である為、CDスペックの品質の信号である。次に、入力信号S1に含まれる量子化ノイズを減衰させる処理(量子化ノイズ減衰処理)及び倍音生成処理などを行うことで、CDスペックを上回る品質の音データである出力信号S2を生成する。変換装置2は、本発明における「信号処理装置」の一例である。
出力装置3は、例えばスピーカなどであり、変換装置2から出力された出力信号S2に基づき音を出力する。なお、入力装置1又は出力装置3の少なくとも一方は、変換装置2と一体化して構成されてもよい。また、入力装置1と出力装置3とが一体化して構成されていてもよい。
[変換装置のブロック構成]
図2は、変換装置2の機能的なブロック構成図を示す。変換装置2は、CPU、ROM、RAMなどのハードウェア構成を有し、機能的には、時間窓切出しブロック21と、FFT(Fast Fourier Transform)ブロック22と、減衰量制限ブロック23と、量子化ノイズ減衰ブロック24と、倍音生成ブロック25と、IFFT(Inverse Fast Fourier Transform)ブロック26と、時間窓再合成ブロック27とを有する。
時間窓切出しブロック21は、ハニング窓などの種々の窓関数に基づき、入力信号S1が示す音データの時間波形を所定時間長の窓幅ごとに(フレームごとに)オーバーラップさせながら切出す。そして、時間窓切出しブロック21は、フレームごとの音データを、FFTブロック22及び減衰量制限ブロック23にそれぞれ供給する。
FFTブロック22は、時間窓切出しブロック21が出力する所定時間長の音データに対して高速フーリエ変換を行い、周波数ごとの振幅及び位相を出力する。この場合、振幅に関する情報は、量子化ノイズ減衰ブロック24に供給され、位相に関する情報は、倍音生成ブロック25に供給される。
減衰量制限ブロック23は、時間窓切出しブロック21から供給される音データの信号レベルの大きさに基づいて、量子化ノイズ減衰ブロック24において減衰させる周波数領域での振幅に対する最大減衰量を決定する。減衰量制限ブロック23は、RMS値算出ブロック31と、最大減衰量算出ブロック32とを有する。RMS値算出ブロック31は、時間窓切出しブロック21から供給される音データのフレームごとのRMS(Root Mean Square)値を算出する。この場合、RMS値算出ブロック31により算出されるRMS値は、フレームごとの音データの平均的な信号レベルの大きさに相当する。最大減衰量算出ブロック32は、RMS値算出ブロック31が算出したRMS値に基づき、量子化ノイズ減衰ブロック24での周波数領域での振幅に対する減衰量の上限に相当する最大減衰量を算出する。最大減衰量の算出方法の詳細については図3(A)を参照して後述する。
なお、RMS値算出ブロック31は、音データの信号レベルを示す値であれば、RMS値以外の計算値であってもよい。
量子化ノイズ減衰ブロック24は、減衰量制限ブロック23が決定した最大減衰量に基づき、対象となるフレームの周波数領域での振幅を調整することで、量子化ノイズを減衰させる。本実施例では、量子化ノイズ減衰ブロック24は、CD規格において再現できる最小音量である−90.3dB未満の音量については量子化ノイズに起因して発生したものと推定し、−90.3dB未満の音量となる周波数の信号レベルを減衰させる。このとき、量子化ノイズ減衰ブロック24は、減衰量制限ブロック23が決定した最大減衰量を超えないように、−90.3dB未満の音量となる周波数の信号レベルを調整する。この調整処理の具体例については図3(B)を参照して後述する。なお、−90.3dBは、本発明における「所定レベル」の一例である。また、−90.3dB未満の音量となる周波数は、本発明における「所定の周波数帯域」の一例である。
倍音生成ブロック25は、量子化ノイズ減衰ブロック24が出力する周波数ごとの振幅の情報と、FFTブロック22が出力した位相の情報とに基づき、倍音を生成し高域補間する倍音生成処理を行う。これにより、倍音生成ブロック25は、CD音源の疑似的なアップサンプリングを行う。この倍音生成処理では、公知となっている任意の倍音生成手法を適用してもよい。
IFFTブロック26は、倍音生成処理が行われた周波数領域の音データに対して逆フーリエ高速変換を行うことで、フレームごとの音データを周波数領域から時間領域に変換する。時間窓再合成ブロック27は、IFFTブロック26が出力した各フレームの音データをオーバーラップ加算することで滑らかに接続させた出力信号S2を生成する。そして、時間窓再合成ブロック27は、生成した出力信号S2を出力装置3へ供給する。
なお、図2に示される構成において、時間窓切出しブロック21は、本発明における「取得手段」の一例であり、FFTブロック22は、本発明における「変換手段」の一例である。また、減衰量制限ブロック23及び量子化ノイズ減衰ブロック24は、本発明における「量子化ノイズ制御手段」の一例であり、倍音生成ブロック25は、本発明における「倍音生成手段」の一例であり、時間窓再合成ブロック27は、本発明における「出力手段」の一例である。また、各ブロックを構成する変換装置2のCPUなどは、本発明におけるプログラムを実行する「コンピュータ」の一例である。
ここで、最大減衰量算出ブロック32による最大減衰量の設定方法について具体的に説明する。
図3(A)は、RMS値算出ブロック31が算出したRMS値をdB値に変換した値と最大減衰量算出ブロック32が決定する最大減衰量との関係を概略的に示すグラフである。図3(A)の例では、0dBから約−90dBまでの音量域において、最大減衰量が定められている。なお、約−90dBは、CD規格において再現できる音量の最小値に相当する。
図3(A)に示すように、最大減衰量算出ブロック32は、−90dBに近付くほど、即ち、音量が小さくなるほど、最大減衰量を大きくする。この場合、例えば、最大減衰量算出ブロック32は、予め記憶された図3(A)に相当する式又はテーブル等を参照し、RMS値算出ブロック31が算出したRMS値又は当該RMS値をdB値に変換した値から最大減衰量を決定する。これにより、入力信号S1の入力レベルが小さいほど減衰量を大きくし、本来必要な入力信号の減衰を好適に低減しつつ、量子化ノイズを効果的に減衰させることができる。この効果については、[効果]のセクションで詳しく説明する。
なお、最大減衰量と音量との関係は、図3(A)に示すグラフに示される関係に限定されず、音量が小さいほど最大減衰量が大きくなる関係であればよく、例えば直線グラフにより示される関係であってもよい。
次に、量子化ノイズ減衰ブロック24による量子化ノイズ減衰処理の具体例について説明する。
図3(B)は、時間窓切出しブロック21により切り出された音データの周波数領域での波形を示す。図3(B)において、実線は量子化ノイズ減衰ブロック24による量子化ノイズ減衰処理前の波形を示し、破線は量子化ノイズ減衰処理後の波形を示す。
図3(B)に示すように、量子化ノイズ減衰ブロック24は、CD規格において再現できる最小音量である−90.3dB未満の音量となる周波数の信号レベルを、減衰量制限ブロック23が決定した最大減衰量を超えないように減衰させている。ここでは、一例として、量子化ノイズ減衰ブロック24は、対象の周波数帯域において、−90.3dBと波形の信号レベルとの差分を減衰量として算出し、かつ、算出した減衰量が最大減衰量を超える場合には最大減衰量を適用すべき減衰量とする。これにより、量子化ノイズ減衰ブロック24は、波形が不連続になるのを防ぎつつ、好適に量子化ノイズを減衰させることができる。
[効果]
次に、本実施例による効果について、図4〜図9を参照して補足説明する。
図4(A)は、ハイレゾ規格(24ビットの量子化ビット)により正弦波の音データを量子化した信号波形を示し、図4(B)は、CD規格(16ビットの量子化ビット)により正弦波の音データを量子化した信号波形を示す。また、図4(C)は、図4(A)の音データの周波数特性を示し、図4(D)は、図4(B)の音データの周波数特性を示す。
図4(B)に示すように、CD規格の場合には、小さい音などが階段状の信号となっている。これにより、図4(D)に示すように、CD規格の場合には、20kHz以下の可聴周波数帯域においても、ハイレゾ規格(ここでは24ビット)での量子化では殆ど現れない量子化ノイズが多く発生している。一方、ハイレゾ規格の場合、量子化ビット数が高いことにより滑らかな信号波形となっており(図4(A)参照)、量子化ノイズが殆ど発生していない(図4(C)参照)。
図5は、正弦波である元の音データの周波数及び音量の組合せを変化させた場合に、CD規格において発生する量子化ノイズの聴感を定量的に表したグラフである。図5では、正弦波である元の音データの周波数及び音量の任意の各組合せに対して発生する量子化ノイズを算出し、当該量子化ノイズにラウドネス曲線などから導出される聴感特性を乗じることで、量子化ノイズの聴感を定量的に求めて可視化している。図5では、色が濃い領域ほど量子化ノイズが聴こえ易い(即ちハイレゾ規格とCD規格との違いが分かりやすい)領域であることを示す。なお、出願人は、聴感実験を行ったところ、図5のグラフの傾向と同様の聴感結果を得ている。
図5のグラフによれば、入力信号の音量及び周波数が小さいほど、量子化ノイズが聴き取りやすくなる傾向があり、特に約−70dB以下の音量領域であって約1kHz以下の低周波数帯域において量子化ノイズを聴き取りやすいことが把握される。従って、CD規格の場合には、低音量領域かつ低周波数帯域において、量子化ノイズに起因して音質が劣化していると推定される。このことから、入力信号S1の入力レベルが低いほど、または、入力信号S1の周波数が低いほど、量子化ノイズを減衰させる必要性が高いと考えられる。さらには、入力信号S1の入力レベルと入力信号S1の周波数の双方が低いほど、減衰させる必要性が高いと考えられる。
ここで、量子化ノイズの減衰処理において、最大減衰量を設けず、入力信号S1の入力レベルの大小によらず一様に振幅を減衰させたときの影響について説明する。
図6(A)は、入力レベルが比較的大きい入力信号S1の周波数特性を示し、図6(B)は、図6(A)に示す周波数特性を有する入力信号S1に対して窓関数を適用してフーリエ変換を行った後(即ち量子化ノイズ減衰処理前)の波形である。また、図7(A)は、図6(B)の波形に対して−90.3dB未満となる周波数を一様に減衰させる量子化ノイズ減衰処理を行った後の波形を示し、図7(B)は、図7(A)に示す波形から生成される出力信号S2の周波数特性の波形を示す。
図6(A)、(B)に示すように、入力信号S1の入力レベルが比較的大きいときには、窓関数を適用することにより、ピークとなる波形部分の裾野が広がることになる。そして、図7(A)に示すように、−90.3dB未満となる周波数を入力信号S1の入力レベルによらずに一様に減衰させる量子化ノイズ減衰処理を行った場合には、上述の裾野部分についても量子化ノイズと共に減衰してしまう。この裾野部分については、IFFTブロック26及び時間窓再合成ブロック27において入力信号に含まれていた量子化ノイズ以外の主信号を出力信号S2として正しく元に戻すために本来必要な情報であるため、図7(B)に示すように、出力信号S2には、上述の裾野部分の減衰に起因したノイズが発生することになる。
このように、入力信号S1の入力レベルが比較的大きいときに最大減衰量を設けることなく量子化ノイズ減衰処理を行った場合、当該量子化ノイズ減衰処理により本来必要な信号についても減衰させてしまい、結果として音質が劣化する可能性がある。
図8(A)は、入力レベルが比較的小さい入力信号S1の周波数特性を示し、図8(B)は、図8(A)に示す周波数特性を有する入力信号S1に対して窓関数を適用してフーリエ変換を行った後(即ち量子化ノイズ減衰処理前)の波形である。また、図9(A)は、図8(B)の波形に対して−90.3dB未満となる周波数を一様に減衰させる量子化ノイズ減衰処理を行った後の波形を示し、図9(B)は、図9(A)に示す波形から生成される出力信号S2の周波数特性を示す。
図8(A)、(B)に示すように、入力信号S1の入力レベルが比較的小さいときには、窓関数を適用してフーリエ変換を行った場合であっても、ピークとなる波形部分の裾野は、低音量の領域まで広く生じない。従って、この場合、図9(A)に示すように、−90.3dB未満となる周波数を減衰させる量子化ノイズ減衰処理を行った場合であっても、上述した裾野部分の減衰範囲が少ない。従って、この場合、図9(B)に示すように、出力信号S2には量子化ノイズ減衰処理によるノイズが殆ど発生していない。
このように、入力信号S1の入力レベルが比較的小さいときに量子化ノイズ減衰処理を行った場合には、本来必要な入力信号を減衰させることなく好適に量子化ノイズを減衰させることができる。また、図5を参照して説明したように、入力信号S1の入力レベルが小さいほど、量子化ノイズが聴き取りやすいため、量子化ノイズを減衰させる必要性が高い。以上を勘案し、本実施例では、変換装置2は、入力信号S1の入力レベルが小さいほど最大減衰量を大きく設定する。これにより、変換装置2は、本来必要な入力信号の減衰を好適に低減しつつ、量子化ノイズを効果的に減衰させることができる。
以上説明したように、変換装置2の時間窓切出しブロック21は、量子化が行われた音データである入力信号S1を取得し、所定時間間隔ごとに音データの切出しを行う。そして、減衰量制限ブロック23は、切り出されたフレームごとの音データの音量に基づいて最大減衰量を決定し、量子化ノイズ減衰ブロック24は、減衰量制限ブロック23が決定した最大減衰量に基づき、入力信号S1の周波数領域での振幅に対する減衰量(即ち量子化ノイズに対する制御量)を決定する。これにより、変換装置2は、本来必要な入力信号の減衰を好適に低減しつつ、可聴域にある量子化ノイズを効果的に減衰させることができる。
[変形例]
次に、本実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。
(変形例1)
上述の実施例では、一例として、最大減衰量算出ブロック32は、フレームごとの平均的な入力レベルに相当するRMS値に基づき各フレームに対する最大減衰量を決定した。他の例として、最大減衰量算出ブロック32は、上述のRMS値に加えて、フレームごとの周波数をさらに勘案して各フレームの最大減衰量を決定してもよい。
図10は、本変形例に係る変換装置2のブロック構成を示す。図10に示すように、変換装置2の減衰量制限ブロック23は、RMS値算出ブロック31及び最大減衰量算出ブロック32に加えて、周波数重心算出ブロック33を有する。ここで、周波数重心算出ブロック33は、時間窓切出しブロック21によってフレームごとに切出された入力信号S1をFFTブロック22がフーリエ変換を行うことで得られた周波数スペクトルに基づき周波数の重心(即ちスペクトル重心)を算出する。そして、周波数重心算出ブロック33は、算出したスペクトル重心の情報を最大減衰量算出ブロック32へ供給する。
最大減衰量算出ブロック32は、RMS値算出ブロック31から得られるRMS値と、周波数重心算出ブロック33から得られるスペクトル重心とに基づき、最大減衰量を決定する。この場合、例えば、最大減衰量算出ブロック32は、予め変換装置2のメモリに記憶されたテーブル又は式を参照し、RMS値が低いほど最大減衰量を高く設定し、かつ、スペクトル重心が低い周波数であるほど最大減衰量を高く設定する。
図5を参照して説明したように、量子化ノイズは、周波数が低い入力信号ほど聴こえ易い傾向がある。よって、本変形例によれば、変換装置2は、スペクトル重心が低い周波数であるほど最大減衰量を高く設定することで、聴こえ易い量子化ノイズを効果的に減衰させ、音質を好適に向上させることができる。なお、上記の変形例ではスペクトルの中心をフレームごとに算出したが、所定の時間長でよく、例えば楽曲一曲分の重心を算出しても良い。
(変形例2)
実施例では、CD規格の入力信号S1をハイレゾ規格の出力信号S2にアップコンバートする例を示したが、本発明が適用可能な例はこれに限定されない。
例えば、変換装置2は、MP3等の音源の入力信号S1をCD規格又はハイレゾ規格並みのスペックを有する出力信号S2に変換するものであってもよい。この場合、変換装置2は、入力信号S1のデコードを行った後、図2等に示される各処理ブロックの処理を実行することで、量子化ノイズの減衰及び倍音生成などを行う。この場合、変換装置2の量子化ノイズ減衰ブロック24は、入力信号S1が採用する規格において再現できる最小音量(実施例では−90.3dB)未満の音量については量子化ノイズに起因して発生したものと推定し、最小音量以下の音量となる周波数の信号レベルを減衰させる。このように、本発明は、量子化ビット数が高い規格にアップコンバートする種々の処理に好適に適用される。
(変形例3)
実施例では、量子化ノイズを判別する音量を−90.3dBに設定する例を示したが、本発明が適用可能な例はこれに限らず、時間窓や周波数変換の条件に応じて量子化ノイズを判別する音量を調整してもよい。
(変形例4)
実施例では、図2の減衰量制限ブロック23の説明において、時間窓切出しブロック21から供給される音データの全周波数帯域の信号レベルの大きさに基づいて、量子化ノイズ減衰ブロック24において減衰させる周波数領域での振幅に対する最大減衰量を決定する例を示したが、最大減衰量の決定方法はこれに限定されない。
例えば、最大減衰量算出ブロック32が量子化ノイズ減衰処理を行なう際に、時間窓切出しブロック21から供給される音データを、ある周波数より大きい帯域と当該周波数以下の帯域とに分割し、それぞれの帯域におけるRMS値又は当該RMS値をdB値に変換した値から、分割したそれぞれの帯域において適用すべき最大減衰量を決定することも可能である。
具体的には、図11(A)に示すような波形を示す信号において、破線41で囲われた周波数帯域と、そうでない周波数帯域とに分割する。本例では、周波数が2000Hzより大きい帯域と、2000Hz以下の帯域とに分割している。この際、2000Hzより大きい帯域におけるRMS値は、2000Hz以下の帯域におけるRMS値より小さくなる。したがって、2000Hzより大きい帯域における最大減衰量は、2000Hz以下の帯域における最大減衰量より大きくなる。
本実施例では、2000Hzを基準として周波数帯域を2つに分割したが、本発明はこれに限定されるものではない。図11(B)に示すように、周波数帯域は1000Hzと10000Hzを基準として3つ(破線42で囲われた周波数帯域、一点鎖線43で囲われた周波数帯域、それ以外の周波数帯域)に分割されてもよいし、3以上の帯域に分割されてもよい。このように、周波数帯域を分ける基準となる周波数の値や分割後の帯域数は、適宜変更可能なものである。そして、いずれの場合においても、最大減衰量算出ブロック32は、分割したそれぞれの帯域におけるRMS値又は当該RMS値をdB値に変換した値から、分割したそれぞれの帯域において適用すべき最大減衰量を決定する。
1 入力装置
2 変換装置
3 出力装置
100 音出力システム

Claims (10)

  1. 量子化が行われた音データを取得する取得手段と、
    前記音データの音量が固定値である閾値未満となる周波数帯域において前記音データの信号レベルを減衰させる量子化ノイズ制御手段と、
    を備え、
    前記量子化ノイズ制御手段は、前記音量に基づいて、前記信号レベルを減衰させる減衰量の上限である最大減衰量を決定する信号処理装置。
  2. 前記量子化ノイズ制御手段は、前記音量が小さいほど、前記最大減衰量を大きくする請求項に記載の信号処理装置。
  3. 前記量子化ノイズ制御手段は、前記音量と前記音データの周波数とに基づいて、前記最大減衰量を決定する請求項1または2に記載の信号処理装置。
  4. 前記量子化ノイズ制御手段は、前記周波数が低いほど、前記最大減衰量を大きくする請求項に記載の信号処理装置。
  5. 前記音データの時間波形を周波数領域へ変換する変換手段をさらに備え、
    前記量子化ノイズ制御手段は、前記周波数領域の振幅を調整することで減衰を行う請求項1〜のいずれか一項に記載の信号処理装置。
  6. 前記変換手段は、所定時間間隔により切り出した前記音データの時間波形を周波数領域へ変換する請求項に記載の信号処理装置。
  7. 前記量子化ノイズ制御手段により減衰された前記音データの倍音生成を行う倍音生成手段と、
    前記倍音生成が行われた音データを出力する出力手段と、
    をさらに備えることを特徴とする請求項1〜のいずれか一項に記載の信号処理装置。
  8. 信号処理装置が実行する制御方法であって、
    量子化が行われた音データを取得する取得工程と、
    前記音データの音量が固定値である閾値未満となる周波数帯域において前記音データの信号レベルを減衰させる量子化ノイズ制御工程と、
    を有し、
    前記量子化ノイズ制御工程は、前記音量に基づいて、前記信号レベルを減衰させる減衰量の上限である最大減衰量を決定する制御方法。
  9. コンピュータが実行するプログラムであって、
    量子化が行われた音データを取得する取得手段と、
    前記音データの音量が固定値である閾値未満となる周波数帯域において前記音データの信号レベルを減衰させる量子化ノイズ制御手段
    として前記コンピュータを機能させ、
    前記量子化ノイズ制御手段は、前記音量に基づいて、前記信号レベルを減衰させる減衰量の上限である最大減衰量を決定するプログラム。
  10. 請求項に記載のプログラムを記憶した記憶媒体。
JP2019527673A 2017-07-03 2018-06-29 信号処理装置、制御方法、プログラム及び記憶媒体 Active JP6816277B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017130504 2017-07-03
JP2017130504 2017-07-03
PCT/JP2018/024840 WO2019009204A1 (ja) 2017-07-03 2018-06-29 信号処理装置、制御方法、プログラム及び記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2019009204A1 JPWO2019009204A1 (ja) 2020-07-09
JP6816277B2 true JP6816277B2 (ja) 2021-01-20

Family

ID=64950871

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019527673A Active JP6816277B2 (ja) 2017-07-03 2018-06-29 信号処理装置、制御方法、プログラム及び記憶媒体

Country Status (4)

Country Link
US (1) US11031023B2 (ja)
EP (1) EP3651365A4 (ja)
JP (1) JP6816277B2 (ja)
WO (1) WO2019009204A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109817241B (zh) * 2019-02-18 2021-06-01 腾讯音乐娱乐科技(深圳)有限公司 音频处理方法、装置及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07193502A (ja) 1993-12-25 1995-07-28 Nippon Columbia Co Ltd データー変換装置
JP3365908B2 (ja) 1996-06-20 2003-01-14 株式会社デノン データ変換装置
JP3925993B2 (ja) 1997-08-29 2007-06-06 パイオニア株式会社 信号処理装置
CA2378012A1 (en) 1999-07-02 2001-01-11 Ravi Chandran Coded domain echo control
CN1240051C (zh) 2001-04-09 2006-02-01 皇家菲利浦电子有限公司 语音增强设备
KR100477699B1 (ko) * 2003-01-15 2005-03-18 삼성전자주식회사 양자화 잡음 분포 조절 방법 및 장치
US8428957B2 (en) * 2007-08-24 2013-04-23 Qualcomm Incorporated Spectral noise shaping in audio coding based on spectral dynamics in frequency sub-bands
US8630848B2 (en) * 2008-05-30 2014-01-14 Digital Rise Technology Co., Ltd. Audio signal transient detection
US20100020985A1 (en) * 2008-07-24 2010-01-28 Qualcomm Incorporated Method and apparatus for reducing audio artifacts
JP2012103395A (ja) * 2010-11-09 2012-05-31 Sony Corp 符号化装置、符号化方法、およびプログラム
US8731949B2 (en) * 2011-06-30 2014-05-20 Zte Corporation Method and system for audio encoding and decoding and method for estimating noise level
EP3537437B1 (en) * 2013-03-04 2021-04-14 VoiceAge EVS LLC Device and method for reducing quantization noise in a time-domain decoder
MX342965B (es) * 2013-04-05 2016-10-19 Dolby Laboratories Licensing Corp Sistema y método de compansión para reducir el ruido de cuantificación usando extensión espectral avanzada.
WO2015034115A1 (ko) * 2013-09-05 2015-03-12 삼성전자 주식회사 오디오 신호의 부호화, 복호화 방법 및 장치
US10861475B2 (en) * 2015-11-10 2020-12-08 Dolby International Ab Signal-dependent companding system and method to reduce quantization noise
US9936304B2 (en) * 2016-08-23 2018-04-03 Infineon Technologies Ag Digital silicon microphone with configurable sensitivity, frequency response and noise transfer function

Also Published As

Publication number Publication date
WO2019009204A1 (ja) 2019-01-10
US20200118579A1 (en) 2020-04-16
EP3651365A1 (en) 2020-05-13
EP3651365A4 (en) 2021-03-31
JPWO2019009204A1 (ja) 2020-07-09
US11031023B2 (en) 2021-06-08

Similar Documents

Publication Publication Date Title
US9280986B2 (en) Acoustic signal processing device and acoustic signal processing method
US8194889B2 (en) Hybrid digital/analog loudness-compensating volume control
EP2375785B1 (en) Stability improvements in hearing aids
US9761244B2 (en) Voice processing device, noise suppression method, and computer-readable recording medium storing voice processing program
JP2016017982A (ja) 信号処理装置及び信号処理方法
US8949116B2 (en) Signal processing method and apparatus for amplifying speech signals
JP6816277B2 (ja) 信号処理装置、制御方法、プログラム及び記憶媒体
CN105324815B (zh) 信号处理装置和信号处理方法
JP6482880B2 (ja) ミキシング装置、信号ミキシング方法、及びミキシングプログラム
US8144762B2 (en) Band extending apparatus and method
US9065409B2 (en) Method and arrangement for processing of audio signals
JP6018141B2 (ja) オーディオ信号処理装置、オーディオ信号処理方法およびオーディオ信号処理プログラム
US9871497B2 (en) Processing audio signal to produce enhanced audio signal
JP2020067531A (ja) プログラム、情報処理方法、及び情報処理装置
US10381019B2 (en) Frequency band extension apparatus, frequency band extension method, and program
JP5103606B2 (ja) 信号処理装置
JP2011035573A (ja) 音信号処理装置および音信号処理方法
JP6565206B2 (ja) 音声処理装置および音声処理方法
JP2008167152A (ja) 増幅装置、増幅方法及び増幅プログラム
JP2016099606A (ja) 信号処理装置、信号処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201223

R150 Certificate of patent or registration of utility model

Ref document number: 6816277

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150