JP5373704B2

JP5373704B2 - マルチメディア品質推定装置およびマルチメディア品質推定方法

Info

Publication number: JP5373704B2
Application number: JP2010137003A
Authority: JP
Inventors: 聡子富永; 孝典林
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2010-06-16
Filing date: 2010-06-16
Publication date: 2013-12-18
Anticipated expiration: 2030-06-16
Also published as: JP2012004779A

Description

本発明は、ネットワークを介して映像と音声を伝送する映像・音声通信サービスにおいて通信端末間で行われる会話の形式を表す会話種別を判定し、会話種別を利用して映像・音声通信サービスにおけるマルチメディア品質を推定するマルチメディア品質推定装置およびマルチメディア品質推定方法に関するものである。

映像配信サービスにおいては、高品質な映像の授受を実現するために、提供されたマルチメディアの品質を適切かつ迅速に評価する手法の確立が望まれている。
従来、映像品質評価は、ユーザがその映像を実際に観たときに感じる品質を測定する、いわゆる主観品質評価が基本である。しかしながら、主観品質評価は専用の設備と膨大な時間および労力を要する。そこで、映像品質評価をより効率的に行うために、映像から物理的に測定される特徴の量から主観品質を推定する技術（以下、客観品質評価技術という）の開発が望まれている。

従来の客観品質評価技術は、マルチメディア品質と、音声品質、映像品質および遅延品質との関係、並びに音声品質、映像品質および遅延品質のうちの２つに対する交互作用を考慮したモデルを作成してきた（例えば特許文献１参照）。ここで、マルチメディア品質とは、音声品質、映像品質および遅延品質を考慮した、通信サービスの総合的な品質のことを言う。
また、従来、双方向の映像・音声通信サービスといえばテレビ会議サービスであり、マルチメディア品質の推定方法としては、１対１の双方向で同程度のやり取りが行われ、同程度の通信端末が利用されていることを想定していた。

特開２００５−２４４３２１号公報

しかしながら、テレビ会議サービスの利用状態は利用目的によって異なる。例えば、結論を導く討議を行う会議もあれば、講演や講義のように一方的な映像および音声を送るだけの会議もある。討議を行うような会議では、テレビ会議サービスで結ばれた２つ以上の地点で映像の動きや会話の発生状況が似通っている状態と思われるが、講演のような場合には、送話者の側では映像の動きや発話が活発でも受話者の側ではほとんど動きや発話がない状態となる。

マルチメディア品質推定モデルにおける構成要素である映像品質や音声品質および遅延品質を考えた場合、作業遂行性が強い会議の場合には音声品質の重みが映像品質に比べて強くなり、遅延品質の重みも強くなる。また、一方的な伝達を目的としたような講演・講義のような場合には、映像品質の重みが音声品質に比べて強くなると同時に遅延品質の重みも弱くなると考えられる。

さらに、このようなコミュニケーションの状況の違いに加え、双方向の利用環境の違いも出てくる。すなわち、一方の地点では高解像度のディスプレイ付きの通信端末を使用し、他方の地点では低解像度のディスプレイ付きの通信端末を使用している場合には、映像品質や音声品質に対する重みが異なる。ディスプレイの解像度が低くなればなるほど、映像品質に対する重要度が低くなり、音声品質に対する重要度が強くなると考えられる。

本発明は、上記に鑑みてなされたもので、その目的とするところは、双方向の映像・音声通信サービスにおいて通信端末間で行われる会話の形式を表す会話種別を判定することができる会話種別判定装置および会話種別判定方法を提供することにある。
また、本発明の目的は、会話種別および利用環境条件を考慮したマルチメディア品質を推定することができるマルチメディア品質推定装置およびマルチメディア品質推定方法を提供することにある。

本発明は、ネットワークを介して映像と音声を伝送する映像・音声通信サービスにおいて通信端末間で行われる会話の形式を表す会話種別を判定し、映像・音声通信サービスにおけるマルチメディア品質を推定するマルチメディア品質推定装置であって、通信端末間で送受信されている通信パケットを収集する通信パケット収集手段と、この通信パケット収集手段が収集した通信パケットから音声情報を抽出する音声情報収集手段と、この音声情報収集手段が抽出した音声情報から通信端末間の会話の特徴量を抽出し、この特徴量から会話種別を判定する会話種別判定手段と、前記通信パケット収集手段が収集した通信パケットから映像情報を抽出する映像情報収集手段と、この映像情報収集手段が抽出した映像情報から映像品質を推定する映像品質推定手段と、前記音声情報収集手段が抽出した音声情報から音声品質を推定する音声品質推定手段と、前記抽出された音声情報と映像情報とから遅延品質を推定する遅延品質推定手段と、前記会話種別判定手段が判定した会話種別と、通信端末の能力を表す利用環境条件と、前記映像品質推定手段が算出した映像品質推定値と、前記音声品質推定手段が算出した音声品質推定値と、前記遅延品質推定手段が算出した遅延品質推定値に基づいて、通信サービスの総合的な品質であるマルチメディア品質を推定するマルチメディア品質推定手段とを備え、前記会話種別判定手段は、前記音声情報収集手段が抽出した音声情報から前記会話の特徴量として、通信端末間の会話のやり取りの頻度を算出するやり取り頻度算出手段と、算出されたやり取りの頻度を所定の判別閾値により分類することにより前記会話種別を判定する分類手段とを有し、前記通信端末の能力を表す利用環境条件は、前記通信端末のディスプレイ装置の解像度または画面の大きさを表すものであり、前記マルチメディア品質推定手段は、会話種別と利用環境条件との交互作用を考慮して決定された係数を会話種別毎および利用環境条件毎に予め記憶する係数テーブルと、前記会話種別判定手段が判定した会話種別と外部から入力された利用環境条件とに対応する係数を前記係数テーブルから取得し、取得した係数と前記映像品質推定値と前記音声品質推定値と前記遅延品質推定値とを所定の品質推定式に代入してマルチメディア品質推定値を算出するマルチメディア品質算出手段とを有することを特徴とするものである。
また、本発明のマルチメディア品質推定装置の１構成例において、前記やり取り頻度算出手段は、音声パケットの発生状況から前記やり取りの頻度を算出することを特徴とするものである。

また、本発明のマルチメディア品質推定装置は、前記映像品質推定手段と前記音声品質推定手段と前記遅延品質推定手段の代わりに、前記通信パケット収集手段が収集した品質情報パケットから映像品質推定値、音声品質推定値および遅延品質推定値を取り出す品質情報抽出手段を備え、前記マルチメディア品質推定手段は、前記会話種別判定手段が判定した会話種別と、前記通信端末の能力を表す利用環境条件と、前記品質情報抽出手段が取り出した映像品質推定値と、前記品質情報抽出手段が取り出した音声品質推定値と、前記品質情報抽出手段が取り出した遅延品質推定値に基づいて、通信サービスの総合的な品質であるマルチメディア品質を推定することを特徴とするものである。

また、本発明は、ネットワークを介して映像と音声を伝送する映像・音声通信サービスにおいて通信端末間で行われる会話の形式を表す会話種別を判定し、映像・音声通信サービスにおけるマルチメディア品質を推定するマルチメディア品質推定方法であって、通信端末間で送受信されている通信パケットを収集する通信パケット収集ステップと、この通信パケット収集ステップで収集した通信パケットから音声情報を抽出する音声情報収集ステップと、この音声情報収集ステップで抽出した音声情報から通信端末間の会話の特徴量を抽出し、この特徴量から会話種別を判定する会話種別判定ステップと、前記通信パケット収集ステップで収集した通信パケットから映像情報を抽出する映像情報収集ステップと、この映像情報収集ステップで抽出した映像情報から映像品質を推定する映像品質推定ステップと、前記音声情報収集ステップで抽出した音声情報から音声品質を推定する音声品質推定ステップと、前記抽出した音声情報と映像情報とから遅延品質を推定する遅延品質推定ステップと、前記会話種別判定ステップで判定した会話種別と、通信端末の能力を表す利用環境条件と、前記映像品質推定ステップで算出した映像品質推定値と、前記音声品質推定ステップで算出した音声品質推定値と、前記遅延品質推定ステップで算出した遅延品質推定値に基づいて、通信サービスの総合的な品質であるマルチメディア品質を推定するマルチメディア品質推定ステップとを含み、前記会話種別判定ステップは、前記音声情報収集ステップで抽出した音声情報から前記会話の特徴量として、通信端末間の会話のやり取りの頻度を算出するやり取り頻度算出ステップと、算出したやり取りの頻度を所定の判別閾値により分類することにより前記会話種別を判定する分類ステップとからなり、前記通信端末の能力を表す利用環境条件は、前記通信端末のディスプレイ装置の解像度または画面の大きさを表すものであり、前記マルチメディア品質推定ステップは、会話種別と利用環境条件との交互作用を考慮して決定された係数を会話種別毎および利用環境条件毎に予め記憶する係数テーブルを参照して、前記会話種別判定ステップで判定した会話種別と外部から入力された利用環境条件とに対応する係数を前記係数テーブルから取得し、取得した係数と前記映像品質推定値と前記音声品質推定値と前記遅延品質推定値とを所定の品質推定式に代入してマルチメディア品質推定値を算出するマルチメディア品質算出ステップを含むことを特徴とするものである。
また、本発明のマルチメディア品質推定方法の１構成例において、前記やり取り頻度算出ステップは、音声パケットの発生状況から前記やり取りの頻度を算出することを特徴とするものである。

また、本発明のマルチメディア品質推定方法は、前記映像品質推定ステップと前記音声品質推定ステップと前記遅延品質推定ステップの代わりに、前記通信パケット収集ステップで収集した品質情報パケットから映像品質推定値、音声品質推定値および遅延品質推定値を取り出す品質情報抽出ステップを含み、前記マルチメディア品質推定ステップは、前記会話種別判定ステップで判定した会話種別と、前記通信端末の能力を表す利用環境条件と、前記品質情報抽出ステップで取り出した映像品質推定値と、前記品質情報抽出ステップで取り出した音声品質推定値と、前記品質情報抽出ステップで取り出した遅延品質推定値に基づいて、通信サービスの総合的な品質であるマルチメディア品質を推定することを特徴とするものである。

本発明によれば、通信端末間で送受信されている通信パケットを収集する通信パケット収集手段と、通信パケット収集手段が収集した通信パケットから音声情報を抽出する音声情報収集手段と、音声情報収集手段が抽出した音声情報から通信端末間の会話の特徴量を抽出し、この特徴量から会話種別を判定する会話種別判定手段とを設けることにより、会話種別を判定することができ、テレビ会議サービスのような双方向の映像・音声通信サービスにおけるマルチメディア品質を推定する際に会話種別を考慮した推定を行うことができる。

また、本発明では、映像情報から映像品質を推定する映像品質推定手段と、音声情報から音声品質を推定する音声品質推定手段と、音声情報と映像情報とから遅延品質を推定する遅延品質推定手段と、会話種別判定装置が判定した会話種別と利用環境条件と映像品質推定値と音声品質推定値と遅延品質推定値に基づいてマルチメディア品質を推定するマルチメディア品質推定手段とを設けることにより、会話種別および利用環境条件を考慮した高精度の主観品質推定を実現することができ、双方向通信サービスの利用状況に対応したマルチメディア品質を高精度に推定することができる。その結果、本発明によれば、会議や自由会話のような双方向の強い会話、講演や講義のような双方向性の弱い会話のいずれの場合でも、マルチメディア品質を高精度に推定することができる。また、本発明では、一方の地点では高解像度のディスプレイ付きの通信端末を使用し、他方の地点では低解像度のディスプレイ付きの通信端末を使用しているような場合でも、マルチメディア品質を高精度に推定することができる。

本発明の第１の実施の形態に係るマルチメディア品質推定装置を利用した映像・音声通信サービスシステムの一例を示すブロック図である。本発明の第１の実施の形態に係るマルチメディア品質推定装置の動作を示すフローチャートである。本発明の第１の実施の形態に係るマルチメディア品質推定装置におけるタスク判断部の構成を示すブロック図である。本発明の第１の実施の形態に係るマルチメディア品質推定装置におけるタスク判断部の動作を示すフローチャートである。本発明の第１の実施の形態に係るマルチメディア品質推定装置におけるマルチメディア品質推定部の構成を示すブロック図である。本発明の第１の実施の形態に係るマルチメディア品質推定装置におけるマルチメディア品質推定部の動作を示すフローチャートである。本発明の第１の実施の形態に係るマルチメディア品質推定装置における係数テーブルの例を示す図である。本発明の第２の実施の形態においてマルチメディア品質推定装置を通信端末内に設ける例を示すブロック図である。

［第１の実施の形態］
以下、本発明の実施の形態を図面に基づき詳細に説明する。図１は本発明の第１の実施の形態に係るマルチメディア品質推定装置を利用した映像・音声通信サービスシステムの一例を示すブロック図である。
映像・音声通信サービスシステムは、複数の通信端末１と、複数のマルチメディア品質推定装置２と、複数の通信端末１を相互に接続するネットワーク３と、映像・音声通信サービスシステムの品質管理を行う品質管理装置４とから構成されている。各マルチメディア品質推定装置２は、通信端末１とネットワーク３との間に設置されている。

マルチメディア品質推定装置２は、通信端末１間で送受信されている通信パケットを収集する通信パケット収集部２１と、通信パケットから音声情報を抽出する音声情報収集部２２と、通信パケットから映像情報を抽出する映像情報収集部２３と、音声情報と映像情報とから遅延品質を推定する遅延品質推定部２４と、音声情報から音声品質を推定する音声品質推定部２５と、音声情報から通信端末１間の会話の特徴量を抽出し、この特徴量から会話種別を判定する会話種別判定手段となるタスク判断部２６と、映像情報から映像品質を推定する映像品質推定部２７と、外部から通信端末１の能力を表す利用環境条件を受け取る利用環境条件入力部２８と、マルチメディア品質を推定するマルチメディア品質推定部２９とを有する。通信パケット収集部２１と音声情報収集部２２とタスク判断部２６とは、会話種別判定装置を構成している。

図２はマルチメディア品質推定装置２の動作を示すフローチャートである。通信パケット収集部２１は、ネットワーク３を介して通信端末１間で送受信されている通信パケットを収集する（図２ステップＳ１）。
音声情報収集部２２は、通信パケット収集部２１が収集した通信パケットから音声情報（音声パケット）を抽出する（図２ステップＳ２）。
映像情報収集部２３は、通信パケット収集部２１が収集した通信パケットから映像情報（映像パケット）を抽出する（図２ステップＳ３）。

なお、本実施の形態において、映像品質、音声品質、遅延品質およびマルチメディア品質における「品質」とは、ユーザ体感品質（Quality of Experience：ＱｏＥ）のことを意味し、主観評価実験で得られる平均オピニオン評点（Mean Opinion Score：ＭＯＳ）もしくはＭＯＳを推定することにより得られる客観品質評価値のことを指す。

遅延品質推定部２４は、映像情報収集部２３が抽出した映像情報と音声情報収集部２２が抽出した音声情報とから映像と音声との相対的遅延時間を算出し、遅延品質を推定する（図２ステップＳ４）。

音声品質推定部２５は、音声情報収集部２２が抽出した音声パケットもしくは音声パケットに含まれる音声信号に基づいて音声品質を推定する（図２ステップＳ５）。音声品質を推定する方法としては、例えば国際標準化機関ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）勧告Ｐ．８６２による音声品質客観評価尺度ＰＥＳＱ（Perceptual Evaluation of Speech Quality）アルゴリズムを利用することができる。

タスク判断部２６は、音声情報収集部２２が抽出した音声情報から通信端末別の有音区間の発生状況を測定し、通信端末１間の会話のやり取りの発生頻度から、映像・音声通信サービスシステムを利用している話者の会話の形式を表す会話種別を判定する（図２ステップＳ６）。会話種別としては、会議、講義（講演）、自由会話、データ照合などがある。

会話種別を判定するための会話の特徴量としては、例えば文献「伊藤，北脇，“会話音声の時間的特徴量に着目した遅延品質評価法”，日本音響学会誌，Ｖｏｌ．４３，Ｎｏ．１１，ｐ．８５１−８５７，１９８７」で定義されている「やり取りの頻度」を用いる。このやり取りの頻度Ｒ_nとは、一方の通信端末１を利用している話者Ａと他方の通信端末１を利用している話者Ｂとの間の音声のやり取りの回数を会話毎に求め、このやり取りの回数を単位時間（例えば１分間）当たりに換算した値として以下のように算出するものである。

ここで、ｉは会話番号、Ｒ_nab(i)は会話（ｉ）における話者Ａ，Ｂ間のやり取りの回数、Ｔ_mは会話時間長、ｔ_mは単位時間（１分間）を示す。やり取りの回数とは、話者Ａの発話が終わって話者Ｂの発話に切り替わったり、話者Ｂの発話が終わって話者Ａの発話に切り替わったりする回数、すなわち話者が切り替わる回数のことである。

そして、タスク判断部２６は、算出したやり取りの頻度Ｒ_nを特開２００５−１４８２２５号公報に開示された判別閾値により閾値処理することにより、会話種別を判定することができる。具体的には、やり取りの頻度Ｒ_nが所定値ａ（例えば０）未満であれば、会話種別を「講義」と判定し、やり取りの頻度Ｒ_nが所定値ａ以上所定値ｂ（ａ＜ｂ）未満であれば、会話種別を「会議」と判定し、やり取りの頻度Ｒ_nが所定値ｂ以上所定値ｃ（ｂ＜ｃ）未満であれば、会話種別を「自由会話」と判定し、やり取りの頻度Ｒ_nが所定値ｃ以上であれば、会話種別を「データ照合」と判定する。

図３はタスク判断部２６の構成を示すブロック図、図４はタスク判断部２６の動作を示すフローチャートである。タスク判断部２６は、通信端末別の有音区間の発生状況を測定する有音区間検出部２６１と、通信端末１間の会話のやり取りの回数を算出するやり取り回数算出部２６２と、通信端末１間の会話のやり取りの頻度を算出するやり取り頻度算出部２６３と、やり取りの頻度から会話種別を判定する分類部２６４とを有する。

まず、有音区間検出部２６１は、音声情報収集部２２が抽出した音声情報から、通信端末別の有音区間の発生状況を測定する（図４ステップＳ２６１）。
やり取り回数算出部２６２は、有音区間の発生状況から、話者が切り替わる回数であるやり取り回数を算出する（ステップＳ２６２）。

やり取り頻度算出部２６３は、算出されたやり取り回数を用いて、式（１）により単位時間あたりの会話のやり取りの頻度Ｒ_nを算出する（ステップＳ２６３）。
そして、分類部２６４は、算出されたやり取りの頻度Ｒ_nを、上記のように所定の判別閾値ａ，ｂ，ｃにより分類することにより、会話種別を判定する（ステップＳ２６４）。会話種別の判定が完了した時点でタスク判断部２６の処理が終了する（ステップＳ２６５においてＹＥＳ）。

やり取りの頻度Ｒ_nを測定する方法として、音声信号ではなく音声パケット情報を用いる方法もある。すなわち、音声符号化にＩＴＵ−Ｔ勧告Ｇ．７２９，Ｇ．７２３．１のＡｎｎｅｘに記載されている無音圧縮技術が用いられている場合、有音パケットのみ送出され、無音区間ではパケットは送出されないことから、音声パケットの発生状況からやり取りの頻度Ｒ_nを推定することができる。

また、会話種別は、音声情報と映像情報を組み合わせることにより推定することもできる。この場合、タスク判断部２６は、映像情報より映像動き量の時間的発生状況の推移を測定し、さらに有音区間の時間的発生状況を測定する。双方向性が強い通信の場合には、映像動き量の時間的発生状況と有音区間の時間的発生状況の一致度合いが高いと想定される。このため、映像動き量の時間的発生状況と有音区間の時間的発生状況の一致度を用いて、会話のやり取りの頻度を推定することができる。

映像品質推定部２７は、映像情報収集部２３が抽出した映像パケットもしくは映像パケットに含まれる映像信号に基づいて映像品質を推定する（図２ステップＳ７）。映像信号を基に映像品質を推定する方法としては、ＩＴＵ−Ｔ勧告Ｊ．１４４，Ｊ．２４６，Ｊ．２４７，Ｊ．２４９に記載されている方法がある。これらの方法はメディア信号もしくはメディア信号から得られる統計情報を用いて映像品質を推定する方法である。

次に、マルチメディア品質推定部２９は、タスク判断部２６が判定した会話種別と、利用環境条件入力部２８から入力された利用環境条件と、映像品質推定部２７から入力された映像品質推定値と、音声品質推定部２５から入力された音声品質推定値と、遅延品質推定部２４から入力された遅延品質推定値に基づいて、マルチメディア品質を推定する（図２ステップＳ８）。

図５はマルチメディア品質推定部２９の構成を示すブロック図、図６はマルチメディア品質推定部２９の動作を示すフローチャートである。
マルチメディア品質推定部２９は、係数テーブル２９１と、マルチメディア品質算出部２９２とを有する。

図７はマルチメディア品質推定部２９の係数テーブル２９１の例を示す図である。係数テーブル２９１は、会話種別と通信端末１の能力を表す利用環境条件と後述するマルチメディア品質推定式の係数α，β，γ，δ，ε，ψ，φ，μとを対応付けて予め記憶しているものである。

マルチメディア品質算出部２９２は、例えば通信端末１の利用者から利用環境条件入力部２８を介して利用環境条件が入力され（図６ステップＳ２９１）、タスク判断部２６から会話種別を表す数値が入力されると（ステップＳ２９２）、入力された利用環境条件および会話種別に対応する係数α，β，γ，δ，ε，ψ，φ，μを係数テーブル２９１から取得する（ステップＳ２９３）。

そして、マルチメディア品質算出部２９２は、映像品質推定部２７から入力された映像品質推定値ＭＯＳｖを受信し（ステップＳ２９４）、音声品質推定部２５から入力された音声品質推定値ＭＯＳａを受信し（ステップＳ２９５）、遅延品質推定部２４から入力された遅延品質推定値ＭＯＳｄを受信して（ステップＳ２９６）、これらの品質推定値と係数α，β，γ，δ，ε，ψ，φ，μとを以下のマルチメディア品質推定式に代入して、マルチメディア品質推定値ＭＯＳｔを算出し（ステップＳ２９７）、算出したマルチメディア品質推定値ＭＯＳｔを出力する（ステップＳ２９８）。

双方向通信サービスを対象としたマルチメディア品質の推定方法としては、特許文献１に開示された方法がある。特許文献１に開示された方法では、マルチメディア品質推定モデルへの入力は、映像品質推定値ＭＯＳｖ、音声品質推定値ＭＯＳａ、遅延品質推定値ＭＯＳｄである。マルチメディア品質推定モデルは、会話を想定したモデルになっている。映像品質推定値ＭＯＳｖ、音声品質推定値ＭＯＳａおよび遅延品質推定値ＭＯＳｄとマルチメディア品質推定値ＭＯＳｔとの関係を表すマルチメディア品質推定式は、以下のようになる。
ＭＯＳｔ＝α・ＭＯＳａ＋β・ＭＯＳｖ＋γ・ＭＯＳｄ＋δ・ＭＯＳａ・ＭＯＳｖ
＋ε・ＭＯＳａ・ＭＯＳｄ＋ψ・ＭＯＳｖ・ＭＯＳｄ
＋φ・ＭＯＳａ・ＭＯＳｖ・ＭＯＳｄ＋μ ・・・（２）

マルチメディア品質算出部２９２は、式（２）を用いてマルチメディア品質推定値ＭＯＳｔを算出する。
以上で、マルチメディア品質推定装置２の処理が終了する。

ここで、係数テーブル２９１に予め設定しておく係数α，β，γ，δ，ε，ψ，φ，μの求め方について説明する。まず、映像品質、音声品質、遅延品質、利用環境条件および会話種別が異なる複数の実験条件を設定し、これらの実験条件の各々について実験室等で主観評価実験を実施する。各品質は、映像・音声通信サービスの通信環境が制御できる実験系を用いることで制御可能である。主観評価実験では、想定する会話種別を模擬する会話を被験者に実施してもらい、映像品質評価値ＭＯＳｖ、音声品質評価値ＭＯＳａおよび遅延品質評価値ＭＯＳｄと、総合的な品質であるマルチメディア品質評価値ＭＯＳｔとを求める。そして、これらの評価値のデータと式（２）とを使って回帰分析により、最適な係数α，β，γ，δ，ε，ψ，φ，μを利用環境条件毎および会話種別毎に求めるようにすればよい。

図４の例では、会話種別を４つに分類し、例えば会議、講義、自由会話、データ照合のそれぞれに１，２，３，４の番号を割り当てている。また、図４の例では、利用環境条件を、映像を受信する通信端末１のディスプレイ装置の解像度としている。ここでは、ＱＶＧＡ（Quarter Video Graphics Array），ＶＧＡ（Video Graphics Array）・ＳＤ（Standard Definition）、ＨＤ（High Definition）の３段階を設けている。なお、利用環境条件は、ディスプレイ装置の画面の大きさを表すものであってもよい。

マルチメディア品質推定モデルにおける構成要素である映像品質や音声品質および遅延品質を考えた場合、会話種別が作業遂行性の強い会議の場合には、音声品質に対する重みが映像品質に比べて強くなり、遅延品質の重みも強くなる。また、一方的な伝達を目的とした講演・講義の場合には、映像品質の重みが音声品質に比べて強くなると同時に遅延品質の重みも弱くなると考えられる。

さらに、このような会話種別の違いに加えて、利用環境条件の違いも出てくる。すなわち、一方の地点では高解像度のディスプレイ付きの通信端末を使用し、他方の地点では低解像度のディスプレイ付きの通信端末を使用している場合には、映像品質や音声品質に対する重みが異なる。ディスプレイの解像度が低くなればなるほど、映像品質に対する重要度が低くなり、音声品質に対する重要度が強くなると考えられる。係数テーブル２９１は、このような特性を考慮して導かれるものである。

［第２の実施の形態］
第１の実施の形態では、マルチメディア品質推定装置２を通信端末１の直前に設置したが、これに限るものではなく、マルチメディア品質推定装置２とは別の通信パケット収集手段があれば、マルチメディア品質推定装置２をネットワーク３上の任意の箇所に配置して、マルチメディア品質推定を行ってもよい。
また、マルチメディア品質推定装置２による品質推定結果を通信端末１に通知するだけでなく、ネットワーク３を介して品質推定結果を品質管理装置４に通知して、品質管理装置４が実施する品質管理に役立てるようにしてもよい。
また、マルチメディア品質推定装置２を、図８に示すように通信端末１内に組み込んで利用してもよい。

［第３の実施の形態］
第１の実施の形態では、通信端末１間で送受信される通信パケットそのものから音声情報および映像情報を収集したが、音声情報や映像情報の品質推定結果が搭載されているような品質情報パケットを収集してもよい。

例えば、ＲＴＰ（Real-time Transport Protocol）パケットで送受信される双方向通信サービスの場合、ＩＥＴＦ（Internet Engineering Task Force）で制定されたＲＦＣ３６１１のＲＴＣＰ−ＸＲを用いることができる。ＲＴＣＰ−ＸＲパケットには、パケット品質から推定されるネットワーク品質情報、メディア品質情報が格納されており、この情報から映像品質情報や音声品質情報、遅延品質情報を取り出すことができる。

本実施の形態の場合、遅延品質推定部２４、音声品質推定部２５および映像品質推定部２７の代わりに、ＲＴＣＰ−ＸＲパケットから映像品質情報、音声品質情報および遅延品質情報を取り出す品質情報抽出部をマルチメディア品質推定装置２に設けるようにすればよい。

なお、第１〜第３の実施の形態のマルチメディア品質推定装置２は、ＣＰＵ、記憶装置および外部とのインタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータにおいて、本発明の会話種別判定方法およびマルチメディア品質推定方法を実現させるためのプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供される。ＣＰＵは、記録媒体から読み込んだプログラムを記憶装置に書き込み、プログラムに従って第１〜第３の実施の形態で説明した処理を実行する。

本発明は、映像・音声通信サービスにおけるマルチメディア品質を推定する技術に適用することができる。

１…通信端末、２…マルチメディア品質推定装置、３…ネットワーク、４…品質管理装置、２１…通信パケット収集部、２２…音声情報収集部、２３…映像情報収集部、２４…遅延品質推定部、２５…音声品質推定部、２６…タスク判断部、２７…映像品質推定部、２８…利用環境条件入力部、２９…マルチメディア品質推定部、２６１…有音区間検出部、２６２…やり取り回数算出部、２６３…やり取り頻度算出部、２６４…分類部、２９１…係数テーブル、２９２…マルチメディア品質算出部。

Claims

ネットワークを介して映像と音声を伝送する映像・音声通信サービスにおいて通信端末間で行われる会話の形式を表す会話種別を判定し、映像・音声通信サービスにおけるマルチメディア品質を推定するマルチメディア品質推定装置であって、
通信端末間で送受信されている通信パケットを収集する通信パケット収集手段と、
この通信パケット収集手段が収集した通信パケットから音声情報を抽出する音声情報収集手段と、
この音声情報収集手段が抽出した音声情報から通信端末間の会話の特徴量を抽出し、この特徴量から会話種別を判定する会話種別判定手段と、
前記通信パケット収集手段が収集した通信パケットから映像情報を抽出する映像情報収集手段と、
この映像情報収集手段が抽出した映像情報から映像品質を推定する映像品質推定手段と、
前記音声情報収集手段が抽出した音声情報から音声品質を推定する音声品質推定手段と、
前記抽出された音声情報と映像情報とから遅延品質を推定する遅延品質推定手段と、
前記会話種別判定手段が判定した会話種別と、通信端末の能力を表す利用環境条件と、前記映像品質推定手段が算出した映像品質推定値と、前記音声品質推定手段が算出した音声品質推定値と、前記遅延品質推定手段が算出した遅延品質推定値に基づいて、通信サービスの総合的な品質であるマルチメディア品質を推定するマルチメディア品質推定手段とを備え、
前記会話種別判定手段は、
前記音声情報収集手段が抽出した音声情報から前記会話の特徴量として、通信端末間の会話のやり取りの頻度を算出するやり取り頻度算出手段と、
算出されたやり取りの頻度を所定の判別閾値により分類することにより前記会話種別を判定する分類手段とを有し、
前記通信端末の能力を表す利用環境条件は、前記通信端末のディスプレイ装置の解像度または画面の大きさを表すものであり、
前記マルチメディア品質推定手段は、
会話種別と利用環境条件との交互作用を考慮して決定された係数を会話種別毎および利用環境条件毎に予め記憶する係数テーブルと、
前記会話種別判定手段が判定した会話種別と外部から入力された利用環境条件とに対応する係数を前記係数テーブルから取得し、取得した係数と前記映像品質推定値と前記音声品質推定値と前記遅延品質推定値とを所定の品質推定式に代入してマルチメディア品質推定値を算出するマルチメディア品質算出手段とを有することを特徴とするマルチメディア品質推定装置。
請求項１記載のマルチメディア品質推定装置において、
前記やり取り頻度算出手段は、音声パケットの発生状況から前記やり取りの頻度を算出することを特徴とするマルチメディア品質推定装置。
請求項１または２記載のマルチメディア品質推定装置において、
前記映像品質推定手段と前記音声品質推定手段と前記遅延品質推定手段の代わりに、前記通信パケット収集手段が収集した品質情報パケットから映像品質推定値、音声品質推定値および遅延品質推定値を取り出す品質情報抽出手段を備え、
前記マルチメディア品質推定手段は、前記会話種別判定手段が判定した会話種別と、前記通信端末の能力を表す利用環境条件と、前記品質情報抽出手段が取り出した映像品質推定値と、前記品質情報抽出手段が取り出した音声品質推定値と、前記品質情報抽出手段が取り出した遅延品質推定値に基づいて、通信サービスの総合的な品質であるマルチメディア品質を推定することを特徴とするマルチメディア品質推定装置。
ネットワークを介して映像と音声を伝送する映像・音声通信サービスにおいて通信端末間で行われる会話の形式を表す会話種別を判定し、映像・音声通信サービスにおけるマルチメディア品質を推定するマルチメディア品質推定方法であって、
通信端末間で送受信されている通信パケットを収集する通信パケット収集ステップと、
この通信パケット収集ステップで収集した通信パケットから音声情報を抽出する音声情報収集ステップと、
この音声情報収集ステップで抽出した音声情報から通信端末間の会話の特徴量を抽出し、この特徴量から会話種別を判定する会話種別判定ステップと、
前記通信パケット収集ステップで収集した通信パケットから映像情報を抽出する映像情報収集ステップと、
この映像情報収集ステップで抽出した映像情報から映像品質を推定する映像品質推定ステップと、
前記音声情報収集ステップで抽出した音声情報から音声品質を推定する音声品質推定ステップと、
前記抽出した音声情報と映像情報とから遅延品質を推定する遅延品質推定ステップと、
前記会話種別判定ステップで判定した会話種別と、通信端末の能力を表す利用環境条件と、前記映像品質推定ステップで算出した映像品質推定値と、前記音声品質推定ステップで算出した音声品質推定値と、前記遅延品質推定ステップで算出した遅延品質推定値に基づいて、通信サービスの総合的な品質であるマルチメディア品質を推定するマルチメディア品質推定ステップとを含み、
前記会話種別判定ステップは、
前記音声情報収集ステップで抽出した音声情報から前記会話の特徴量として、通信端末間の会話のやり取りの頻度を算出するやり取り頻度算出ステップと、
算出したやり取りの頻度を所定の判別閾値により分類することにより前記会話種別を判定する分類ステップとからなり、
前記通信端末の能力を表す利用環境条件は、前記通信端末のディスプレイ装置の解像度または画面の大きさを表すものであり、
前記マルチメディア品質推定ステップは、
会話種別と利用環境条件との交互作用を考慮して決定された係数を会話種別毎および利用環境条件毎に予め記憶する係数テーブルを参照して、前記会話種別判定ステップで判定した会話種別と外部から入力された利用環境条件とに対応する係数を前記係数テーブルから取得し、取得した係数と前記映像品質推定値と前記音声品質推定値と前記遅延品質推定値とを所定の品質推定式に代入してマルチメディア品質推定値を算出するマルチメディア品質算出ステップを含むことを特徴とするマルチメディア品質推定方法。
請求項４記載のマルチメディア品質推定方法において、
前記やり取り頻度算出ステップは、音声パケットの発生状況から前記やり取りの頻度を算出することを特徴とするマルチメディア品質推定方法。
請求項４または５記載のマルチメディア品質推定方法において、
前記映像品質推定ステップと前記音声品質推定ステップと前記遅延品質推定ステップの代わりに、前記通信パケット収集ステップで収集した品質情報パケットから映像品質推定値、音声品質推定値および遅延品質推定値を取り出す品質情報抽出ステップを含み、
前記マルチメディア品質推定ステップは、前記会話種別判定ステップで判定した会話種別と、前記通信端末の能力を表す利用環境条件と、前記品質情報抽出ステップで取り出した映像品質推定値と、前記品質情報抽出ステップで取り出した音声品質推定値と、前記品質情報抽出ステップで取り出した遅延品質推定値に基づいて、通信サービスの総合的な品質であるマルチメディア品質を推定することを特徴とするマルチメディア品質推定方法。