JP4406382B2

JP4406382B2 - 音声符号化選択制御方法

Info

Publication number: JP4406382B2
Application number: JP2005140529A
Authority: JP
Inventors: 岳至森; 仲大室; 祐介日和▲崎▼; 章俊片岡
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2005-05-13
Filing date: 2005-05-13
Publication date: 2010-01-27
Anticipated expiration: 2025-05-13
Also published as: JP2006319685A

Description

本発明は、IPネットワークでの音声パケット通信における符号化演算量を制御する音声符号化選択制御方法、及びこの制御方法を用いて動作する音声パケット送信装置、受信装置、プログラム及びこれを記録した記録媒体に関する。

インターネットではIP（Internet Protocol）パケットを利用してリアルタイムに音声信号を送信するVoIP（Voice over Internet Protocol）（以下単に音声パケット通信と称す）技術を使った音声通信サービスや画像通信と組み合わせたテレビ会議サービスが普及しつつあるが、通信中に音切れが発生するという問題がある。
音声パケット通信における音切れの原因として、現在広く使われているインターネットがベストエフォート型のIPネットワークであり、パケットが確実に着信先に到着する保証がないため、ネットワークの輻輳等の原因により、パケットが通信の途中で消失（パケットロス）してしまうことがあり、受信側にパケットが到着せず、再生する音を作成できないために音切れが発生することがある。このようなネットワークの輻輳に起因するパケット消失を抑制する手法として、ネットワークの輻輳時に低ビットレートの音声符号化を使用することが効果的である。例えば特許文献１にはパケット損失率等によりネットワークの状態を評価し、ネットワークの状態によって符号化方式を切り替えることでパケットロスを防止する手法が提案されている。

受信端末において音声を実時間再生するためには、送信端末から音声データを決まった時間間隔（以下フレームと記載する、１０〜２０ms程度の時間間隔であることが多い）で送信する必要があり、上記フレームの時間間隔内に符号化処理を終了させる必要がある。しかし、低ビットレートの音声符号化は信号を精密に分析する必要上、演算処理量が多くなるため、例えば同時に画像データを符号化し、送信処理するプログラムが協動している状況下では画像データの処理量の変動に伴なって、送信端末の負荷が増大する状況が発生し易い。その結果、音声データの符号化処理を上記フレームの時間間隔で行なうことが出来ず、音声データを格納したパケット（本明細書では以下音声パケットと記載する）をフレームの時間間隔で送信側から送信することが出来なくなるためにパケットロスが発生してしまい、ネットワークが空いていても受信側で実時間再生を行なうことが出来ず、音切れが発生してしまうという問題があった。
特開２００２−３００２７４「ゲートウェイ装置及び音声データ転送方法」

本発明は、上述の問題点に鑑みてなされたものであり、音声パケット通信を行なう際、通信端末の負荷に起因するパケットロスを抑制し高品質な音声パケット通信を実現することが目的である。

本発明の骨子は、IPネットワークにおける音声パケット通信において、送信端末で音声符号化に要した演算時間を計測し、前記演算時間が所定の時間以上の場合には送信端末の負荷が大きくなっていると判定し、低負荷な音声符号化方法を選択する制御を行なうことで端末の負荷の増大に起因するパケットロスを抑制し、音切れを防止する音声符号化選択制御方法及びこの制御方法を用いて動作する音声パケット送信装置、受信装置、を提案するものである。
本発明で提案する音声符号化選択制御方法は、離散音声楽音サンプルを入力とし、離散音声楽音信号サンプルを符号化し、符号化されたディジタル符号をパケット化して送信する際に、所定時間毎の離散音声楽音信号サンプルを符号化するために必要な演算量の異なる少なくとも２種類の音声符号化方式を動的に切り替える音声符号化選択制御方法であって、所定時間毎の音声区間を音声符号化する時間を測定するステップと、音声符号化に要する時間が所定時間より長くなった場合に、演算量の少ない音声符号化方式を選択するステップとを備えることを特徴とする。

この発明では更に上記音声符号化選択制御方法において、音声符号化に要する時間が所定時間より短くなった場合に、少なくとも伝送する情報量が少ない音声符号化方式に戻すステップを備えることを特徴とする。
本発明による音声符号化選択制御方法は演算量が少ない音声符号化方式を選択するステップでは、更に演算時間がある一定の閾値よりも長い場合に、同時に動作している画像符号化処理を一時停止する制御を行なうステップを備える。

本発明により、IPネットワークにおいて音声通信を行なう際に、音切れ発生の原因となる端末の負荷の増大に起因するパケットロスの発生を、音声符号化に要する演算時間に従い、符号化演算量が異なる音声符号化法を切り替える制御や画像符号化の動作・非動作を切り替える制御を行なうことで制御することが出来る。

本発明による音声符号化選択制御方法を実行する音声パケット送信装置及びこの音声パケット送信装置が送信した音声パケットを受信し、復号して音声を再生する音声パケット受信装置は全てをハードウェアにより構築することができる。然し乍ら、これより簡素に実現するにはコンピュータに本発明で提案する音声パケット送信プログラム及び音声パケット受信プログラムをインストールし、コンピュータに備えたCPUでこれらのプログラムを解読させ、プログラムを実行させることによりコンピュータに音声パケット送信装置及び音声パケット受信装置として機能させる実施形態が最良の実施形態である。

コンピュータに本発明による音声パケット送信装置として機能させるには、コンピュータには所定時間毎の音声区間の音声符号化に要する演算時間を計測する符号化時間計測部と、この符号化時間計測部で計測した演算時間に基づき、音声符号化に要する演算時間が所定時間より長くなった場合に、演算量の少ない音声符号化方式を選択する符号化方式選択部と、選択した音声符号化方式を表わす符号化識別信号を音声符号化信号に付加してパケット信号として送出する音声パケット送出部とを構築する。
コンピュータに本発明による音声パケット受信装置として機能させるには、コンピュータには音声パケット受信部と、音声符号化信号と符号化識別信号とを分離する音声符号化列分離部と、演算量が異なる符号化方式により符号化された符号化データをそれぞれ復号する少なくとも２種類の復号化部と、音声符号化列分離部で分割した符号化識別信号により復号化部の何れかを選択した復号動作させる復号選択部とを構築する。

以下に各部の実施例を図面を用いて詳細に説明する。

図１に本発明による音声パケット送信装置１００の第１の実施例を示す。本発明による音声パケット送信装置１００はタイマー１０１と、符号化部１０２と、符号化時間計測部１０３と、音声符号化方式選択部１０４と、符号化方式選択部１０５と、音声パケット作成部１０６と、音声パケット送信バッファ１０７と、音声パケット送出部１０８とを備えて構成される。
タイマー１０１はある一定の時間（例えば１msなど）ごとに時刻データを出力する。時刻データは２つの時刻間の相対時間が分かる形式であれば良い。例えば０から始まる一定の時間（例えば１msなど）ごとに１ずつ増える時刻データを出力する。

符号化部１０２は入力音声信号を符号化するために必要な単位時間当たりの演算量が異なる複数の符号化方式を内蔵している。本実施例では符号化手段１０２Ａの符号化方式ＡをITU-T G.729とし、符号化手段１０２Ｂの符号化方式ＢをITU-T G.711を用いた場合について説明する。これらの符号化方式の特徴を図４に示す。図４から明らかなように、符号化方式ITU-T G.729は伝送する情報量が少なくて済む代わりに、符号化のための演算量が大きい特質を持つ。また符号化方式ITU-T G.711は伝送する情報量が大きい代わりに、符号化のための演算量が小さい特質を持っている。ここでは２種類の音声符号化を有する構成について説明しているが、３種類以上の符号化を適用しても良い。

入力音声信号（ディジタル化された離散音声楽音信号サンプル）は符号化方式選択部１０５の選択に従って符号化手段１０２Ａか１０２Ｂの何れかに入力され、符号化される。定常状態では伝送路への影響を考慮して伝送する情報量が少ない符号化（G.729）で符号化動作する符号化手段１０２Ａが選択されて動作するように初期設定されているものとすると、定常状態では符号化方式選択部１０５は入力音声信号を符号化手段１０２Ａに入力し、符号化手段１０２Ａを動作させる。
符号化時間計測部１０３はタイマー１０１が出力する時刻データを用いて符号化部１０２の符号化に要する時間を計測する。符号化に要する時間とは入力音声信号フレーム長（音声信号をディジタル化したディジタル符号列を所定時間間隔に区切る長さ）を例えば20msとした場合、この20msの間に存在するNサンプルのデータを符号化する時間を指す。符号化時間計測部１０３は符号化部１０２で動作する符号化手段１０２Ａ又は１０２Ｂの符号化に要する時間を計測し、その計測結果を音声符号化方式選択部１０４に出力する。音声符号化に要した演算時間は演算時間（＝（符号化終了時刻）−（開始時刻））で求める。

音声符号化方式選択部１０４は符号化時間計測部１０３から与えられる計測時間に従って符号化識別信号を出力し、この符号化識別信号によって符号化方式選択部１０５の状態を切り替える。図５に音声符号化方式選択部１０４が出力する符号化識別信号の例を示す。図５に示す例では演算時間が5msより大きい場合は符号化識別信号に１理論を割当て、演算時間が5msより小さい場合は符号化識別信号に０論理を割当てた場合を示す。この符号化識別信号は送信側及び受信側で用意されている符号化方式を指定できれば何でも良い。

符号化識別信号を符号化方式選択部１０５に入力することにより、符号化方式選択部１０５は符号化識別信号に従って入力音声信号の供給先を決定する。つまり、演算時間がこの例では5msより小さい状態では伝送する情報量が少ないG.729で符号化する。符号化手段１０２Ａに入力音声信号を入力する状態に維持する。
これに対し、演算時間が5msより大きくなった場合には演算量が小さい符号化手段１０２Ｂに入力音声信号を供給する状態に切り替わる。
符号化部１０２で符号化された音声符号化列データ及び１フレーム遅延部１０９で１フレーム分の遅延が与えられた符号化識別信号を音声パケット作成部１０６に入力する。音声パケット作成部１０６では、従来のVoIPと同様に音声符号化列データを入力とし、パケットを区別するためのパケット番号及び符号化識別信号、時刻情報などが記載されたパケットヘッダを付加した音声パケットデータを出力する。図３にその様子を示す。

音声パケット送信バッファ１０７は、音声パケットデータを入力とし、通常のIPネットワークにおける実時間音声通信の場合と同様に音声パケットデータをバッファリングし、上記フレームと同じ時間間隔で音声パケットデータを出力する。音声パケット送出部１０８は音声パケットデータを入力とし、ネットワークに音声パケットデータを送信する。
図２に本発明による音声パケット受信装置の実施例を示す。この実施例では音声パケット受信部２０１と、音声パケット受信バッファ２０２と、音声符号化列分離部２０３と、復号化選択部２０４と、復号化部２０５とによって音声パケット受信装置２００を構成した場合を示す。

音声パケット受信部２０１は音声パケットデータをネットワークより受信し、受信した音声パケットデータを出力する。
音声パケット受信バッファ２０２は音声パケットデータを入力とし、各パケットに付されたパケット番号に従って並び替えを行ない、格納されている音声パケットの中で最も時間的に早く送信されたパケット番号を持つ音声パケットデータを出力する。
音声符号化列分離部２０３は音声パケットデータを入力とし、図３に示した形式の音声パケットデータの中から、パケットヘッダと音声符号化列データとを分離して取り出す。更に、パケットヘッダから符号化識別信号を取り出し、この符号化識別信号を復号選択部２０４に入力する。復号化選択部２０４では符号化識別信号に従って音声符号化列分離部２０３から入力される音声符号化列データの供給先を決定する。

つまり、復号化部２０５には演算量が異なる符号化方式で符号化された符号化列データを復号する復号化手段２０５Ａと２０５Ｂを有し、符号化識別信号に従って、これらの復号化手段２０５Ａと２０５Ｂの何れかに符号化列データを入力し、復号化動作を実行させる。ここでは符号化列識別信号が０であれば符号化手段２０５Ａが選択され伝送する情報量が少ないG.729による復号化が実行される。また、符号化識別信号が１であれば復号化手段２０５Ｂが選択され、符号化のための演算量が少なくて済むG.711による復号化が実行され、音声信号が出力される。

以上説明したように本発明による音声符号化選択制御方法及びこの制御方法を用いて動作する音声パケット送信装置によれば常時は伝送する情報量が少ない符号化方式G.729で符号化動作を行ない、伝送情報量が少ない状態で通信を行っているものの、送信装置側のコンピュータの演算処理の増大に伴って単位時間当たりの符号化に要する時間が所定値を越え、音切れが発生する限界に近づくと、直ちに演算量が少なくて済む符号化方式G.711に切り替わるように符号化方式の選択制御が実行される。この結果、送信側のコンピュータの付加が増大中は演算量の少ない符号化方式で符号化が行われ、音声パケットの送出間隔は平常時の間隔に維持され、音切れの発生を阻止することができる。

音声符号化のための演算時間が所定値（5ms）より短い状態に戻ると、符号化方式も元の伝送する情報量が少なくて済む符号化方式に戻される。尚、音声符号化に要する時間が小さい場合に切り換える情報量が少ない符号化方式としてG.711に比べ演算量が多い符号化方式のG.729を適用した場合を説明したが、必ずしもこの符号化方式に限定するものでなく、他の符号化方式を適用することができる。要は、音声符号化に要する時間が小さい場合には、切り換える符号化方式の演算量の大小は問わないとすることである。

図６及び図７に本発明の第２の実施例を示す。この実施例では画像パケットデータの送出状態と受信機能を備えた音声パケット送信装置と受信装置に本発明を適用した実施例を示す。図６は画像パケットデータ送信機能を備えた音声パケット送信装置、図７はその受信装置の実施例を示す。
図６に示す１００は図１を用いて説明した本発明による音声パケット送信装置を示す。従ってこの実施例でも音声パケット送信装置１００はタイマー１０１と、符号化部１０２と、符号化時間計測部１０３と、音声符号化方式選択部１０４と、符号化方式選択部１０５と、音声パケット作成部１０６と、音声パケット送信バッファ１０７と、音声パケット送出部１０８と、１フレーム遅延部１０９とを備え、図１の実施例と同様の音声パケットの送出動作を実行する。

この実施例２の特徴とする構成は画像符号化選択部６０４と、この画像符号化選択部６０４が出力する画像符号化制御信号によって画像符号化部６１１の符号化動作を必要に応じて停止状態に制御する符号化動作制御部６１０を設けた点にある。
画像符号化選択部６０４は符号化時間計測部１０３の計測結果を入力とし、音声符号化のための演算時間が所定値以上に達した時点で画像符号化制御信号の状態を反転させ、画像符号化部６１１の符号化動作を停止させる。
つまり、音声符号化方式選択部１０４は図５に示した規則に従って符号化方式の選択を行なう。ここでは音声符号化のための演算時間が例えば5msより長くなると、演算処理量が少ない音声符号化方式（例えばG.711）に切り替えられる。演算処理量が少ない音声符号化に切り替えられることにより、演算時間は短くなる方向に変化する。音声符号化方式が演算量が少なくて済む方式（例えばG.711）で動作していたとしても送信機を構成するコンピュータの負荷が益々増加すると再び音声符号化のための演算時間は再び長くなる方向に変化する。

本発明では演算量が少ない符号化方式で動作しているにも係わらず、音声符号化のために要する時間（１フレーム分の音声データを符号化する時間）が所定値を越えると画像データの符号化動作を停止させる制御を行わせる。図８に画像データの停止制御を行わせる制御規則を示す。図８に示す例では音声符号化のための演算時間が15msを越えると画像符号化制御信号の論理を１に反転させ、この画像符号化制御信号によって画像符号化動作制御部６１０をオフの状態に制御し、画像符号化手段６１１Ａへの入力画像信号の供給を遮断し、画像符号化手段６１１Ａの符号化動作を停止させる。

画像符号化手段６１１Ａの符号化動作が停止すると、その符号化動作分だけコンピュータの負荷が軽減され、少なくとも音声パケットの送信状態を維持する。音声符号化のための演算時間が定常状態（15ms以下の状態）に戻ると、画像パケットの送出も再開される。また、音声符号化のための演算時間が更に回復し、5ms以下の状態に戻ると、音声符号化方式も伝送する情報量の少ない例えばG.729の方式に戻される。
画像符号化手段６１１Ａで符号化された画像データは画像パケット作成部６１２に入力され、この画像パケット作成部６１２で時刻データと共に図３に示したパケットヘッダが付加され、パケット化され、画像パケットとして出力される。画像パケット作成部６１２から出力された画像パケットは画像パケット送信バッファ６１３でバッファリングされ、バッファ内に存在する画像パケットの中の最も早い時点でパケット化された画像パケットを出力し、画像パケット送出部６１４からネットワークに送り出される。

図７に示す音声パケット受信装置２００では図２を用いて説明したのと同様に音声パケットに付加されて送られて来る符号化識別信号に従って復号化手段２０５Ａか２０５Ｂの何れかが選択されて復号動作し、音声信号を再生する。これと共に、画像パケット受信装置７００は画像パケット受信部７０１でネットワークから自己宛の画像パケットを受信し、画像パケット受信バッファ７０２で発信順に並べ替えを行ない、画像符号化分離部７０３で画像符号化データとパケットヘッダとを分離し、画像符号化列データを画像復号化部７０４に送り込み、画像信号を復号する。

画像パケット受信装置７００では図６で説明した画像パケット送信装置６００の動作に従って、画像パケットの受信が一時中断する状況が発生するが、画像パケットの受信が中断している状態では、最後に受信した画像信号の表示を維持させることにより再生画像の中断を回避することができる。
本発明の音声パケット送信プログラム及び音声パケット受信プログラムはそれぞれ、コンピュータが解読可能なプログラム言語によって記述され、コンピュータが読み取り可能な例えば磁気ディスク或はCD-ROMのような記録媒体に記録され、これらの記録媒体から或は通信回線を通じてコンピュータにインストールされる。コンピュータにインストールされたプログラムをコンピュータに備えられたCPUに解読させてコンピュータに図１又は図６及び図２又は図７を用いて説明した音声パケット送信装置及び音声パケット受信装置として機能させる。

本発明による音声符号化選択制御方法及びこの制御方法を用いて動作する音声パケット送信装置、音声パケット受信装置は通信会議システムの分野に活用される。

本発明による音声パケット送信装置の第１の実施例を説明するためのブロック図。本発明による音声パケット受信装置の第１の実施例を説明するためのブロック図。図１で説明した音声パケットのデータ構造を説明するための図。図１で説明した実施例に用いた符号化方式の特徴を説明するための図。図１で説明した実施例に用いた符号化識別信号による制御規則を説明するための図。本発明の音声パケット送信装置の第２の実施例を説明するためのブロック図。本発明の音声パケット受信装置の第２の実施例を説明するためのブロック図。図６に示した実施例に用いた画像符号化制御信号を説明するための図。

符号の説明

１００音声パケット送信装置６００画像パケット送信装置
１０１タイマー６０４画像符号化選択部
１０２符号化部６１０符号化動作制御部
１０２Ａ、１０２Ｂ符号化手段６１２画像パケット作成部
１０３符号化時間計測部６１３画像パケット送信バッファ
１０４音声符号化方式選択部６１４画像パケット送出部
１０５符号化方式選択部７００画像パケット受信装置
１０６音声パケット作成部７０１画像パケット受信部
１０７音声パケット送信バッファ
１０８音声パケット送出部７０２画像パケット受信バッファ
２００音声パケット受信装置７０３画像符号化分離部
２０１音声パケット受信部７０４画像復号化部
２０２音声パケット受信バッファ
２０４復号化選択部
２０５復号化部

Claims

音声信号をディジタル化したディジタル符号列を所定時間間隔に区切る長さをフレーム長とし、離散音声楽音サンプルを入力とし、離散音声楽音信号サンプルを符号化し、符号化されたディジタル符号をパケット化して送信する際に、所定時間毎の離散音声楽音信号サンプルを符号化するために必要な演算量の異なる符号化処理をフレーム長単位で動的に切り替える音声符号化選択制御方法であって、
所定時間毎の音声区間を音声符号化する時間を測定するステップと、
上記音声符号化に要する時間が所定時間より長くなった場合に、演算量の少ない符号化処理を行なうステップと、
を備えることを特徴とする音声符号化選択制御方法。
請求項１記載の音声符号化選択制御方法において、上記音声符号化に要する時間が所定時間より短かくなった場合に、伝送する情報量が少ない符号化処理を行なうステップを備えることを特徴とする音声符号化選択制御方法。
請求項１又は２の何れかに記載の音声符号化選択制御方法において、上記演算量が少ない音声符号化処理を行なうステップは、更に上記演算時間がある一定の閾値よりも長い場合に、同時に動作している画像符号化処理を一時停止する制御を行なうステップを備えることを特徴とする音声符号化選択制御方法。