JP3588937B2

JP3588937B2 - Audio data transmission system

Info

Publication number: JP3588937B2
Application number: JP27379296A
Authority: JP
Inventors: 真二肥塚
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1996-10-16
Filing date: 1996-10-16
Publication date: 2004-11-17
Anticipated expiration: 2016-10-16
Also published as: JPH10126272A

Description

【０００１】
【発明の属する技術分野】
この発明は、伝送帯域が逐次変動する伝送路を介してオーディオデータをリアルタイム伝送するのに好適なオーディオデータ伝送方式に関する。
【０００２】
【従来の技術】
近年、インターネットに代表される通信ネットワークの進歩に伴い、通信ネットワークを介して画像やオーディオデータの伝送が頻繁に行われるようになってきた。特にオーディオデータの場合、音楽や音声をリアルタイムで伝送することが重要であり、従来は、伝送路の平均的な伝送帯域を考慮して、必要なデータ圧縮を行って調整された固定のデータレートでオーディオデータを伝送している。
【０００３】
【発明が解決しようとする課題】
しかしながら、インターネットの場合、回線のトラフィックの状況によって伝送帯域が大きく変動するという問題がある。従って、平均的には伝送帯域が送出したいオーディオデータのデータレートを満たしていても、一時的な伝送帯域の減少によって、リアルタイム性が損なわれ、音楽演奏の途中で音切れが発生するといった事態が生じ、著しく聴感品質を低下させるという問題がある。
【０００４】
この発明は、このような問題点に鑑みなされたもので、伝送帯域が逐次変動する伝送路においても、常にリアルタイム性を損なわずにオーディオデータを伝送することができるオーディオデータ伝送方式を提供することを目的とする。
【０００５】
【課題を解決するための手段】
この発明に係るオーディオデータ伝送方式は、送信側で伝送路の伝送帯域を逐次モニタして、このモニタされた伝送帯域の状況に応じて伝送すべきオーディオデータの高域成分のうち奇数番目の周波数成分と、前記高域成分のうち偶数番目の周波数成分とを交互に伝送することにより前記高域成分の伝送を制限すると共に、前記高域成分の制限状態を特定する制限情報を前記オーディオデータに付加して前記伝送路に送出し、受信側で前記奇数番目の周波数と偶数番目の周波数とに基づいて前記オーディオデータの高域成分を補償して前記伝送すべきオーディオデータを再構成するようにしたことを特徴とする。
【０００６】
この発明によれば、送信側で伝送路の伝送帯域を逐次モニタし、このモニタされた伝送帯域の状況に基づいて、オーディオデータの伝送を制限するので、伝送帯域に応じてデータレートが適応的に変化し、これにより常にリアルタイムでの伝送が保証され、音切れなどの発生を防止することができる。しかも、この発明によれば、制限する情報は、聴感上影響の少ないオーディオデータの高域成分のみであり、且つ受信側で高域成分が前後の周波数成分や前後の伝送データ等に基づいて補償されるので、データレートが下がった場合でも、聴感品質の低下は殆どない。
また、送信側でオーディオデータの高域成分のうち奇数番目の周波数成分と、高域成分のうち偶数番目の周波数成分とを交互に伝送することにより高域成分の伝送を制限し、受信側で奇数番目の周波数成分と偶数番目の周波数成分とに基づいて高域成分を補償している。通常、オーディオデータの場合、隣接フレーム間の相関は非常に高いので、高域成分をこのように偶数番目と奇数番目とで交互に間引いても、前後のフレームから殆どもとのデータを再現することができる。
【０００７】
なお、より具体的には、例えば送信側でオーディオデータの高域成分を特定の周波数間隔で間引くことにより高域成分の伝送を制限することが考えられる。この場合には、受信側でオーディオデータの高域成分の間引いた部分を前後の周波数成分に基づいて、例えば直線補間等により高域成分を補償することができる。
【００１０】
【発明の実施の形態】
以下、図面を参照して、この発明の好ましい実施の形態について説明する。
図１は、この発明の実施例に係るオーディオデータ送信装置のブロック図である。
オーディオデータ等の入力データは直交変換部１に入力され、ここで例えばＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ），ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）等のアルゴリズムに基づいて時間−周波数直交変換されて周波数スペクトラムデータとなる。このデータは、高域成分制限部２に入力される。高域成分制限部２は、後述する状態選択部３からの状態情報に基づいて周波数スペクトラムデータの高域成分を制限する。制限情報付加部４は、高域成分制限部２からの高域成分が制限されたデータに、データサイズや状態選択部３から供給される制限状態等を制限情報として付加する。制限情報が付加されたデータは、送信部５を介して送信データとして図示しない伝送路を介して受信装置へ送出される。送信部５は、また、受信装置側から返送されたＡＣＫデータを受信する。伝送帯域モニタ部６は、送信部５からのデータ送信開始からＡＣＫデータ受信終了までの時間に基づいて、伝送路の伝送帯域をモニタする。そして、このモニタ結果に基づいて状態選択部３が次のデータの伝送の制限状態を選択する。
【００１１】
次に、このように構成されたオーディオデータ送信装置の動作について説明する。
この送信装置では、伝送帯域モニタ部６によって伝送路の伝送帯域が常時モニタされる。
図２は、このモニタ処理の手順を示すフローチャートである。
まず、時間カウント値ＴＣを０に初期化する（Ｓ１）。次に、送信部５がデータの送信を開始したら（Ｓ２）、時間カウント値ＴＣのカウントアップを開始し（Ｓ３）、送信部５が受信装置からＡＣＫデータを受信するまでＴＣのカウントを続行する（Ｓ４）。ＡＣＫデータの受信が完了したら、現在のＢＰＳ（ＢｉｔｐｅｒＳｅｃｏｎｄ）を下記数１のように算出する（Ｓ５）。
【００１２】
【数１】

【００１３】
但し、ＴＦはタイムファクタで、カウント値ＴＣを実時間に換算するための係数である。以上の処理により、伝送路の伝送帯域を現在のＢＰＳによって把握することができる。
【００１４】
状態選択部３は、求められた伝送路の伝送帯域に応じて次の４つの制限状態のいずれか１つを選択して高域成分制限部２を制御する。図３は、この４つの制限状態の一例を示す図である。図は、入力データの周波数成分（チャネル）が１からＮチャネルまである場合で、チャネルＭ以上がここでの制限対象である高域成分となっている。
同図（ａ）の状態Ａは何も制限を加えない状態であり、伝送帯域に余裕がある場合に選択される。
同図（ｂ）の状態Ｂは、チャネルＭ以上の高域成分のうち、チャネルＭから数えて偶数番目のチャネルを削除して、チャネルＭから数えて奇数番目のチャネルのみを出力する制限状態である。伝送帯域が一時的に狭くなった場合にこの状態が選択される。
同図（ｃ）の状態Ｃは、チャネルＭ以上の高域成分のうち、チャネルＭから数えて奇数番目のチャネルを削除して、チャネルＭから数えて偶数番目のチャネルのみを出力する制限状態である。状態Ｂが続くような場合に選択される。
同図（ｄ）の状態Ｄは、Ｍ以上のチャネルを全て削除する制限状態であり、状態Ｂ，Ｃによっても伝送データが伝送帯域の中に収まらなくなってきたときに選択される。
【００１５】
これら４つの状態のいずれを選択するかを決定するのが状態選択部３であり、その状態遷移を示したのが図４である。
図中、黒の太矢印はＢＰＳが増加（伝送帯域が拡大）した場合の遷移、白の太矢印はＢＰＳが低下（伝送帯域が縮小）した場合の遷移、実線矢印はＢＰＳが変化しない場合の遷移をそれぞれ示している。
状態ＤのときにＢＰＳが増加した場合には状態Ｂへ、状態Ｂ又はＣのときにＢＰＳが増加した場合には状態Ａへそれぞれ遷移する。状態ＡのときにＢＰＳが低下した場合には状態Ｂへ、状態Ｂ，ＣのときにＢＰＳが低下した場合には状態Ｄへそれぞれ遷移する。更に、状態Ａ，ＤのときにＢＰＳが変動しない場合には、そのままの状態を維持するが、状態Ｂ，ＣのときにＢＰＳが変動しない場合には、それぞれ状態Ｃ，Ｂに遷移する。このように、状態ＢとＣを交互に挿入するのは、各々の状態において制限されたチャネルを連続させないためであり、このように制御することにより、受信側での補間精度を上げることができる。また、この過程で帯域に余裕が出てきた場合には、適当なタイミングで状態Ａが挿入されることになり、これりより更に補間精度は向上する。なお、状態Ａ，ＤからＢへ遷移するか、Ｃへ遷移するかは任意に設定可能である。
【００１６】
図５は、このような状態遷移を実現するための状態遷移部３の処理を示すフローチャートである。
まず、ＣＲ（今回のビットレート）に現在のＢＰＳを格納する（Ｓ１１）。次にＣＲとＰＲ（前回のビットレート）とを比較し（Ｓ１２）、その比較結果に応じて次のように処理する。
（１）ＣＲ＞ＰＲ（ＢＰＳが増加した場合）
ＰＳ（前回の状態）が状態Ｄのとき（Ｓ１３）ＣＳ（現在の状態）を状態Ｂとし（Ｓ１４）、それ以外のときはＣＳを状態Ａとする（Ｓ１５）。
（２）ＣＲ＜ＰＲ（ＢＰＳが減少した場合）
ＰＳが状態Ａのとき（Ｓ１６）ＣＳを状態Ｂとし（Ｓ１７）、それ以外のときはＣＳを状態Ｄとする（Ｓ１８）。
（３）ＣＲ＝ＰＲ（ＢＰＳが不変の場合）
ＰＳが状態Ｂのとき（Ｓ１９）ＣＳを状態Ｃとし（Ｓ２０）、ＰＳが状態Ｃのとき（Ｓ２１）ＣＳを状態Ｂとし（Ｓ２２）、それ以外のときはＣＳ＝ＰＳとする（Ｓ２３）。ＣＳが決定されたら、ＰＲ，ＰＳをそれぞれＣＲ，ＣＳに更新して終了する（Ｓ２４）。
【００１７】
このようにして状態が決定されたら、高域成分制限部２では、入力データから制限済みデータを生成する。
図６及び図７は、制限済みデータを生成するための高域成分制限部２の処理を示すフローチャートである。
（１）ＣＳ＝Ａのとき［図６（ａ）］
入力データのチャネル番号を示すループカウンタｉを１からＮまで１ずつ変化させながら（Ｓ３１，Ｓ３３，Ｓ３４）、入力データＩｎＤａｔａ（ｉ）を出力データＯｕｔＤａｔａ（ｉ）とする処理を繰り返す（Ｓ３２）。これにより、入力データがそのまま出力データとして出力される。
（２）ＣＳ＝Ｂのとき［図６（ｂ）］
ループカウンタｉを１からＭまで１ずつ変化させながら（Ｓ４１，Ｓ４３，Ｓ４４）、入力データＩｎＤａｔａ（ｉ）を出力データＯｕｔＤａｔａ（ｉ）とする処理を繰り返す（Ｓ４２）。ｉがＭ以上になったら（Ｓ４４）、ｉを１だけカウントアップして（Ｓ４５）、ｉをＭ＋１からＮまで２ずつ変化させながら（Ｓ４７，Ｓ４８）、入力データＩｎＤａｔａ（ｉ）を出力データＯｕｔＤａｔａ（ｉ）とする処理を繰り返す（Ｓ４６）。これにより、入力データの高域成分のうちＭ番地から数えて偶数番目のチャネルのみが制限されたデータが出力データとして出力される。
【００１８】
（３）ＣＳ＝Ｃのとき［図７（ａ）］
ループカウンタｉを１からＭまで１ずつ変化させながら（Ｓ５１，Ｓ５３，Ｓ５４）、入力データＩｎＤａｔａ（ｉ）を出力データＯｕｔＤａｔａ（ｉ）とする処理を繰り返す（Ｓ５２）。ｉがＭ以上になったら（Ｓ５４）、ｉをＭからＮまで２ずつ変化させながら（Ｓ５６，Ｓ５７）、入力データＩｎＤａｔａ（ｉ）を出力データＯｕｔＤａｔａ（ｉ）とする処理を繰り返す（Ｓ５５）。これにより、入力データの高域成分のうちＭ番地から数えて奇数番目のチャネルのみが制限されたデータが出力データとして出力される。
（４）ＣＳ＝Ｄのとき［図７（ｂ）］
ループカウンタｉを１からＭまで１ずつ変化させながら（Ｓ６１，Ｓ６３，Ｓ６４）、入力データＩｎＤａｔａ（ｉ）を出力データＯｕｔＤａｔａ（ｉ）とする処理を繰り返す（Ｓ６２）。これにより、入力データの高域成分が全て制限されたデータが出力データとして出力される。
【００１９】
以上の処理で制限済みデータが生成されたら、制限情報付加部４では、図８に示すように、制限済みデータの先頭に制限情報を付加して送信データを生成する。制限情報は、Ａ〜Ｄのいずれの制限状態であるかを示す状態情報（例えば２ビット）と、データのサイズの情報からなる。
【００２０】
この送信データを受信するオーディオ受信装置は、例えば図９に示すように構成することができる。
受信データは受信部１１で受信され、制限情報分離部１２で受信データのうちの制限情報のみが分離される。制限済みデータはデータ補償部１３に供給され、ここで制限情報に基づく補償処理が実行される。即ち、状態Ａのときはデータがスルー状態で出力され、状態Ｂ，Ｃ，Ｄのときは、データバッファ１４に保存されている前回送信されたデータに基づいて補償処理が実行される。状態Ｂ，Ｃの場合には、前回受信されたデータと今回受信されたデータとで高域成分の奇数チャネルと偶数チャネルとを交互に埋める処理であり、状態Ｄの場合には、前回の補償済みデータを用いた補償処理を実行すればよい。補償済みデータは、図示しない直交逆変換部によって周波数−時間変換されてオーディオデータが再生される。
【００２１】
いま、サンプリング周波数が４４．１ＫＨｚ、１フレーム５１２サンプルとすれば、１フレームの周期は約１１ｍｓであり、オーディオデータの性質を考えると、この程度のフレーム周期であればフレーム間の相関がかなり高いことが明らかである。従って、上述したようなデータの制限を行っても、前後のフレームから再生されたデータはもとのデータと殆ど変わらない。このため、この装置によれば、再生品質を殆ど落とさずにデータレートを伝送路に合わせて柔軟に制御することができ、リアルタイムでの伝送が可能になる。
【００２２】
なお、この発明は、上述した実施例に限定されるものではない。
上記実施例では、高域成分のチャネルを固定としたが、伝送帯域に応じて更にＭの値を可変にして、より多くの制限状態から適切な状態を選択するようにしても良い。
また、受信側での補間方法としては、状態Ｂ，Ｃの場合にフレーム内の隣接チャネル間の直線補間を行う方法も考えられるし、多少の遅延が許容されるシステムでは、データバッファ１４に複数のフレーム分のデータを保存しておいて、前後フレームの同一チャネルのデータから補間を行うことも考えられる。また、状態Ｄについても、前フレームの補償済みデータから補償する他、複数フレームのデータの同一チャネルから推定可能である。
【００２３】
【発明の効果】
以上述べたように、この発明によれば、送信側で伝送路の伝送帯域を逐次モニタし、このモニタされた伝送帯域の状況に基づいて、オーディオデータの高域成分の伝送を制限するようにしているので、聴感品質を殆ど下げることなく、伝送帯域に応じたデータレートの適応制御が可能になり、常にリアルタイムでの伝送が保証され、音切れなどの発生を防止することができるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の一実施例に係るオーディオ送信装置のブロック図である。
【図２】同装置における伝送帯域モニタの処理を示すフローチャートである。
【図３】同装置における高域成分制限の態様を示す図である。
【図４】同装置における状態選択部での状態選択遷移図である。
【図５】同状態選択遷移を実現する処理の内容を示すフローチャートである。
【図６】同装置における高域成分制限部での各選択状態に対応した制限済みデータの生成方法を示すフローチャートである。
【図７】同装置における高域成分制限部での各選択状態に対応した制限済みデータの生成方法を示すフローチャートである。
【図８】同装置における制限情報付加部４で生成される送信データのフォーマットを示す図である。
【図９】同実施例に係るオーディオ受信装置のブロック図である。
【符号の説明】
１…直交変換部、２…高域成分制限部、３…状態選択部、４…制限情報付加部、５…送信部、６…伝送帯域モニタ部、１１…受信部、１２…制限情報分離部、１３…データ補償部、１４…データバッファ。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an audio data transmission method suitable for transmitting audio data in real time via a transmission line whose transmission band varies sequentially.
[0002]
[Prior art]
2. Description of the Related Art In recent years, with the progress of communication networks represented by the Internet, image and audio data have been frequently transmitted via communication networks. Especially in the case of audio data, it is important to transmit music and voice in real time.Conventionally, a fixed data rate adjusted by performing necessary data compression in consideration of the average transmission band of the transmission path Is transmitting audio data.
[0003]
[Problems to be solved by the invention]
However, in the case of the Internet, there is a problem that the transmission band fluctuates greatly depending on the traffic situation of the line. Therefore, even if the transmission band on average satisfies the data rate of the audio data to be transmitted, a temporary decrease in the transmission band may impair the real-time performance and cause interruptions in the music performance. As a result, there is a problem that the listening quality is significantly reduced.
[0004]
The present invention has been made in view of such a problem, and provides an audio data transmission method that can always transmit audio data without impairing real-time performance even on a transmission line in which a transmission band fluctuates sequentially. With the goal.
[0005]
[Means for Solving the Problems]
According to the audio data transmission method according to the present invention, the transmission side sequentially monitors a transmission band of a transmission path, and an odd-numbered frequency among high-frequency components of audio data to be transmitted according to the monitored transmission band. Component and the even-numbered frequency components of the high-frequency components are alternately transmitted to limit the transmission of the high-frequency components, and to the audio data, restriction information for specifying the restriction state of the high-frequency components. In addition, the transmission data is transmitted to the transmission path, and the reception side compensates for a high-frequency component of the audio data based on the odd-numbered frequencies and the even-numbered frequencies to reconstruct the audio data to be transmitted. It is characterized by having done.
[0006]
According to the present invention, the transmission side sequentially monitors the transmission band of the transmission path and limits the transmission of audio data based on the monitored transmission band state. Therefore, the data rate is adaptively adjusted according to the transmission band. , Whereby transmission in real time is always guaranteed, and the occurrence of sound interruption or the like can be prevented. Moreover, according to the present invention, the information to be limited is only the high-frequency component of audio data that has little effect on hearing, and the high-frequency component is compensated on the receiving side based on the preceding and following frequency components and the preceding and following transmission data. Therefore, even when the data rate decreases, there is almost no decrease in the audible quality.
Also, the transmission side alternately transmits the odd-numbered frequency components of the high-frequency components of the audio data and the even-numbered frequency components of the high-frequency components, thereby limiting transmission of the high-frequency components. High frequency components are compensated based on the odd-numbered frequency components and the even-numbered frequency components. Normally, in the case of audio data, since the correlation between adjacent frames is very high, even if high-frequency components are alternately thinned out evenly and oddly in this manner, almost the original data is reproduced from the preceding and succeeding frames. be able to.
[0007]
More specifically, it is conceivable to limit the transmission of the high frequency component by thinning out the high frequency component of the audio data at a specific frequency interval on the transmission side, for example. In this case, the high frequency component can be compensated by, for example, linear interpolation or the like based on the frequency components before and after the thinned portion of the high frequency component of the audio data on the receiving side.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram of an audio data transmitting apparatus according to an embodiment of the present invention.
Input data such as audio data is input to the orthogonal transform unit 1, where it is subjected to time-frequency orthogonal transform based on an algorithm such as FFT (Fast Fourier Transform), DCT (Discrete Cosine Transform) or the like to become frequency spectrum data. This data is input to the high frequency component limiting unit 2. The high-frequency component restriction unit 2 restricts high-frequency components of the frequency spectrum data based on state information from a state selection unit 3 described later. The restriction information adding unit 4 adds, as restriction information, the data size, the restriction state supplied from the state selection unit 3, and the like to the data in which the high frequency component from the high frequency component restriction unit 2 is restricted. The data to which the restriction information has been added is transmitted as transmission data via the transmission unit 5 to a reception device via a transmission path (not shown). The transmitting unit 5 also receives the ACK data returned from the receiving device. The transmission band monitoring unit 6 monitors the transmission band of the transmission path based on the time from the start of data transmission from the transmission unit 5 to the end of ACK data reception. Then, based on the monitoring result, the state selecting unit 3 selects the next data transmission restriction state.
[0011]
Next, the operation of the audio data transmitting apparatus thus configured will be described.
In this transmission device, the transmission band monitoring unit 6 constantly monitors the transmission band of the transmission path.
FIG. 2 is a flowchart showing the procedure of the monitoring process.
First, the time count value TC is initialized to 0 (S1). Next, when the transmission unit 5 starts transmitting data (S2), the time count value TC starts counting up (S3), and continues to count TC until the transmission unit 5 receives ACK data from the receiving device. (S4). When the reception of the ACK data is completed, the current BPS (Bit per Second) is calculated as in the following Equation 1 (S5).
[0012]
(Equation 1)

[0013]
Here, TF is a time factor, which is a coefficient for converting the count value TC into real time. With the above processing, the transmission band of the transmission path can be grasped by the current BPS.
[0014]
The state selecting unit 3 controls the high-frequency component limiting unit 2 by selecting one of the following four limiting states according to the determined transmission band of the transmission path. FIG. 3 is a diagram illustrating an example of the four restriction states. The figure shows a case where the frequency components (channels) of the input data are from 1 to N channels, and the higher frequency components to be restricted here are the channels M and higher.
State A in FIG. 7A is a state in which no restriction is imposed, and is selected when there is room in the transmission band.
The state B in FIG. 7B is a restricted state in which, of the high-frequency components above the channel M, the even-numbered channels counted from the channel M are deleted and only the odd-numbered channels counted from the channel M are output. is there. This state is selected when the transmission band is temporarily narrowed.
The state C in FIG. 9C is a restricted state in which, of the high-frequency components above the channel M, the odd-numbered channels counted from the channel M are deleted and only the even-numbered channels counted from the channel M are output. is there. It is selected when the state B continues.
The state D in FIG. 9D is a restricted state in which all the channels of M or more are deleted, and is selected when the transmission data does not fit in the transmission band even in the states B and C.
[0015]
The state selector 3 determines which of the four states is to be selected, and FIG. 4 shows the state transition.
In the figure, a thick black arrow indicates a transition when the BPS increases (transmission band is expanded), a thick white arrow indicates a transition when the BPS decreases (transmission band is reduced), and a solid arrow indicates a transition when the BPS does not change. Each transition is shown.
When the BPS increases in the state D, the state transits to the state B, and when the BPS increases in the state B or C, the state transits to the state A. When the BPS decreases in state A, the state changes to state B, and when the BPS decreases in states B and C, the state changes to state D. Further, if the BPS does not fluctuate in the states A and D, the state is maintained, but if the BPS does not fluctuate in the states B and C, the state transits to the states C and B, respectively. The reason why the states B and C are alternately inserted is that the restricted channels are not made continuous in each state. By performing such control, the interpolation accuracy on the receiving side can be increased. . In addition, if there is a margin in the band in this process, the state A is inserted at an appropriate timing, and the interpolation accuracy is further improved. It should be noted that whether to transition from the states A and D to B or to C can be arbitrarily set.
[0016]
FIG. 5 is a flowchart showing a process of the state transition unit 3 for realizing such a state transition.
First, the current BPS is stored in CR (current bit rate) (S11). Next, CR and PR (previous bit rate) are compared (S12), and the following processing is performed according to the comparison result.
(1) CR> PR (when BPS increases)
When PS (previous state) is state D (S13), CS (current state) is set to state B (S14), otherwise, CS is set to state A (S15).
(2) CR <PR (when BPS decreases)
When PS is in state A (S16), CS is set to state B (S17), otherwise, CS is set to state D (S18).
(3) CR = PR (when BPS is unchanged)
When the PS is in the state B (S19), the CS is set to the state C (S20). When the PS is in the state C (S21), the CS is set to the state B (S22). Otherwise, the CS is set to PS = S (S23). When the CS is determined, PR and PS are updated to CR and CS, respectively, and the process ends (S24).
[0017]
When the state is determined in this way, the high-frequency component limiting unit 2 generates limited data from the input data.
FIG. 6 and FIG. 7 are flowcharts showing the processing of the high-frequency component restriction unit 2 for generating the restricted data.
(1) When CS = A [FIG. 6 (a)]
The process of changing the input data InData (i) to the output data OutData (i) is repeated while changing the loop counter i indicating the channel number of the input data by 1 from 1 to N (S31, S33, S34) (S32). As a result, the input data is output as it is as output data.
(2) When CS = B [FIG. 6 (b)]
The process of changing the input data InData (i) to the output data OutData (i) is repeated while changing the loop counter i from 1 to M (S41, S43, S44) (S42). When i becomes greater than or equal to M (S44), i is counted up by 1 (S45), and the input data InData (i) is output data OutData while changing i by 2 from M + 1 to N (S47, S48). The process of (i) is repeated (S46). As a result, of the high frequency components of the input data, data in which only the even-numbered channels counted from address M are restricted are output as output data.
[0018]
(3) When CS = C [FIG. 7 (a)]
The process of changing the input data InData (i) to the output data OutData (i) is repeated while changing the loop counter i from 1 to M (S51, S53, S54) (S52). When i becomes M or more (S54), the process of changing input data InData (i) to output data OutData (i) is repeated while changing i from M to N by 2 (S56, S57) (S55). As a result, data in which only the odd-numbered channels counted from the address M among the high frequency components of the input data are output as output data.
(4) When CS = D [FIG. 7 (b)]
The process of changing the input data InData (i) to the output data OutData (i) is repeated while changing the loop counter i from 1 to M (S61, S63, S64) (S62). As a result, data in which all high-frequency components of the input data are restricted is output as output data.
[0019]
When the restricted data is generated by the above processing, the restriction information adding unit 4 adds the restriction information to the head of the restricted data to generate the transmission data as shown in FIG. The restriction information includes state information (for example, 2 bits) indicating which of the restriction states A to D is present, and data size information.
[0020]
An audio receiving device that receives this transmission data can be configured, for example, as shown in FIG.
The reception data is received by the reception unit 11, and only the restriction information of the reception data is separated by the restriction information separation unit 12. The restricted data is supplied to the data compensator 13, where a compensation process based on the restriction information is performed. That is, in the state A, the data is output in a through state, and in the states B, C, D, the compensation processing is executed based on the previously transmitted data stored in the data buffer 14. In the case of the states B and C, the process is to alternately fill the odd-numbered channel and the even-numbered channel of the high-frequency component with the previously received data and the currently received data. In the case of the state D, the previous compensation is performed. What is necessary is just to perform the compensation process using the completed data. The compensated data is frequency-time converted by an orthogonal inverse transform unit (not shown) to reproduce audio data.
[0021]
If the sampling frequency is 44.1 KHz and 512 samples per frame, the period of one frame is about 11 ms. Considering the characteristics of audio data, the correlation between frames is considerably high at such a frame period. It is clear that. Therefore, even if the above-described data restriction is performed, the data reproduced from the previous and next frames is hardly different from the original data. For this reason, according to this apparatus, the data rate can be flexibly controlled in accordance with the transmission path without substantially deteriorating the reproduction quality, and real-time transmission becomes possible.
[0022]
The present invention is not limited to the embodiment described above.
In the above-described embodiment, the channel of the high frequency component is fixed. However, the value of M may be further varied according to the transmission band, and an appropriate state may be selected from among more restricted states.
Further, as an interpolation method on the receiving side, a method of performing linear interpolation between adjacent channels in a frame in the case of the states B and C is conceivable. It is also conceivable that the data for the frame is stored and interpolation is performed from the data of the same channel in the previous and next frames. Also, the state D can be estimated from the same channel of data of a plurality of frames, in addition to compensating from the compensated data of the previous frame.
[0023]
【The invention's effect】
As described above, according to the present invention, the transmission side sequentially monitors the transmission band of the transmission path, and restricts transmission of high-frequency components of audio data based on the monitored transmission band. Therefore, it is possible to adaptively control the data rate according to the transmission band without substantially lowering the perceived sound quality, always ensuring real-time transmission, and preventing the occurrence of sound cutoff and the like. Play.
[Brief description of the drawings]
FIG. 1 is a block diagram of an audio transmission device according to one embodiment of the present invention.
FIG. 2 is a flowchart showing processing of a transmission band monitor in the device.
FIG. 3 is a diagram showing a mode of limiting high frequency components in the device.
FIG. 4 is a state selection transition diagram in a state selection unit in the apparatus.
FIG. 5 is a flowchart showing the contents of processing for realizing the same state selection transition.
FIG. 6 is a flowchart illustrating a method of generating limited data corresponding to each selection state in a high-frequency component limiting unit in the device.
FIG. 7 is a flowchart illustrating a method of generating limited data corresponding to each selection state in a high-frequency component limiting unit in the device.
FIG. 8 is a diagram showing a format of transmission data generated by a restriction information adding unit 4 in the same device.
FIG. 9 is a block diagram of the audio receiving apparatus according to the embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Orthogonal transformation part, 2 ... High frequency component restriction part, 3 ... State selection part, 4 ... Restriction information addition part, 5 ... Transmission part, 6 ... Transmission band monitor part, 11 ... Reception part, 12 ... Restriction information separation part , 13... Data compensator, 14... Data buffer.

Claims

The transmission side sequentially monitors the transmission band of the transmission path, and according to the state of the monitored transmission band, an odd-numbered frequency component among high-frequency components of audio data to be transmitted and an even-numbered frequency component among the high-frequency components. The transmission of the high frequency component is restricted by alternately transmitting the second frequency component, and the restriction information for specifying the restriction state of the high frequency component is added to the audio data and transmitted to the transmission path,
An audio data transmission method, wherein a high frequency component of the audio data is compensated based on the odd-numbered frequencies and the even-numbered frequencies on the receiving side to reconstruct the audio data to be transmitted. .