WO2014017468A1

WO2014017468A1 - 通信システムと方法とプログラム

Info

Publication number: WO2014017468A1
Application number: PCT/JP2013/069874
Authority: WO
Inventors: 一範小澤
Original assignee: 日本電気株式会社
Priority date: 2012-07-24
Filing date: 2013-07-23
Publication date: 2014-01-30
Also published as: TW201419798A; EP2879337A1; KR20150037845A; US20150181215A1; CN104509048B; KR101612067B1; JPWO2014017468A1; JP5888417B2; TWI505672B; EP2879337B1; EP2879337A4; CN104509048A; US9942553B2

Abstract

　サーバからの画面更新の遅れや画面の乱れ等、端末における画質の劣化を抑制する。ネットワーク（１５０）を介して端末（１７０）に接続し前記端末での操作によりサーバ装置（１１０）の仮想端末（仮想クライアント部）上でアプリケーションを動作させて生成した情報を、前記端末に送信する通信システムにおいて、サーバ装置（１１０）は、前記端末（１７０）に対して予め定められたタイミングで特定のパケットを連続して送出し、前記端末から返信された情報を基に、前記ネットワークの帯域を推定し、仮想端末（仮想クライアント部）上でアプリケーションで生成された、画面情報及び付随するオーディオ信号の少なくとも一方を圧縮符号化するときのレートを前記推定した帯域を超えないように算出し、画面情報及び付随するオーディオ信号の少なくとも一方を、前記算出したレートでエンコードし、エンコード結果を予め定められたプロトコルのパケットに格納して送出する。

Description

通信システムと方法とプログラム

　［関連出願についての記載］
　本発明は、日本国特許出願：特願２０１２－１６３９５８号（２０１２年　７月２４日出願）に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
　本発明は、通信システムと方法とプログラムに関する。

　企業等では、高度なセキュリティの確保を図るために、シンクライアント方式が普及し始めている。シンクライアントの実装には各種あるが、例えば図３に示すように、仮想マシンを用いたシンクライアントシステムが知られている。サーバ装置１１０Ａにおいて、例えば仮想化レイヤ上に仮想マシン（仮想端末あるいは仮想クライアントともいう）を備え、仮想マシン上で仮想ＯＳ（Operating System）（「クライアントＯＳ」ともいう）やアプリケーション（アプリケーションソフト）を実行する。端末１７０Ａは、ネットワークを介してサーバ装置１１０Ａに通信接続し、あたかも実端末を操作するように、サーバ装置１１０Ａ上の仮想端末を操作してアプリケーションを動作させることで、例えば画面情報を生成する。仮想端末上のアプリケーションは該画面情報を端末１７０Ａに送信し、端末１７０Ａの表示装置に該画面情報を表示する。このようなシステムの端末１７０Ａをシンクライアント端末ともいう。端末１７０ＡからのログインＩＤ、端末識別情報に基づきサーバ装置１１０Ａ上の、端末１７０Ａの仮想端末への接続が行われ、自宅や外出先からサーバ装置にアクセスし安全に自分（端末１７０Ａ）の仮想端末に接続し、業務を遂行することができる。端末１７０Ａには、データを一切残さないため、例えば端末１７０Ａを紛失しても秘密情報や企業情報などが外部に漏れることがない。

　本願に関する先行技術調査で以下の特許文献１乃至４がサーチされた。
　特許文献１には、中継サーバと端末との間の通信回線Ａについて通信品質を測定し、測定した通信回線の通信品質が許容する通信データ量の画面情報の量に対応した動画配信サーバと中継サーバとの間の通信回線Ｂでの動画データの配信量を特定し、通信回線Ｂを介して動画配信サーバから中継サーバへ配信される動画データの量が前記特定した動画データの配信量となるべく制御し、サーバでの動画再生に伴う画面情報のクライアントへの送信をネットワーク品質に応じたものとするシステムが開示されている。
　特許文献２には、シンクライアントサーバがネットワークの回線状態に応じて送信データ量を制御し、シンクライアント端末（カーナビゲーション装置）がシンクライアントサーバから送信されたデータをバッファリングしてデータ受信を行うことで、ネットワークの回線状態の影響を軽減して、クライアント側での円滑なデータ再生を可能とするシンクライアントシステムが開示されている。
　特許文献３には、サーバ装置が、圧縮データを転送する先の情報処理装置（クライアント）で利用中のアプリケーションを検出するアプリケーション検出手段と、データ圧縮に関するパラメータとアプリケーションの情報とを関連付けて保持するパラメータ情報保持手段と、アプリケーション検出手段で検出された利用中のアプリケーションの情報に対応するパラメータをパラメータ情報保持手段から読み出し、データ圧縮に用いるパラメータとして設定するパラメータ設定手段と、を有し、サーバ側で起動したアプリケーションプログラムに基づいて作成したデータを圧縮してクライアント側に転送するシステムにおいて、ユーザの手によらずに圧縮のパラメータを調整できるようにする構成が開示されている。
　特許文献４には、シンクライアントシステムにおいて、ネットワークの回線速度を測定する測定部、回線速度に見合った帯域で端末側に映像を送信して表示できる出力面積を算出する出力範囲算出部、端末からの指定された表示領域の情報に基づいて指定された映像を優先的に圧縮する領域を生成する出力範囲生成部、領域に基づいて映像を圧縮する映像圧縮部、及び、端末に圧縮された映像を端末に送信するサーバ側送信部、を有するサーバと、優先的に表示すべき表示領域がユーザにより指定される出力範囲指定部、指定された表示領域の情報をサーバ側受信部に送信する端末側送信部、サーバからの圧縮された映像を含む映像を受信する受信部、受信部で受信した映像を伸張して出力する映像伸張部、を有する端末（シンクライアント）と、を備え、シンクライアントでスムーズな表示を可能としたシステムが開示されている。特許文献１－４には、シンクライアント端末でのサーバからの画面更新の遅れや画面の乱れ等の画質の劣化を抑制するシステムは開示されていない。

特開２００９－０６０４２５号公報特開２０１０－０８７９５０号公報特開２０１０－２３７７２６号公報特開２０１０－２３８１２６号公報

　関連技術の分析を与える。以下では、ネットワークを介して携帯端末などの端末を接続し、前記端末での操作によりサーバの仮想クライアント部でアプリケーションを動作させて生成した情報を前記端末に転送し前記端末で表示する通信システムの課題を検討する。

　主としてモバイルパケットネットワークやＬＴＥ（Long　Term　Evolution）／ＥＰＣ（Evolved　Packet　Core）ネットワークを介してシンクライアントを使う場合に、端末と基地局との距離やトラヒック量などに依存して、モバイルネットワークの帯域幅が時間的に変動するため、これに起因して、モバイルネットワークでパケットの滞留やパケットロスが発生する。

　その結果、端末がサーバ装置からの情報を受信するのに時間がかかり、画面の更新が遅くなる、あるいは画面が乱れる等、ユーザが感じるサービス品質であるＱｏＥ（Quality of Experience）が悪化する、という課題がある。

　したがって、本発明は、上記課題に鑑みて創案されたものであって、その目的は、サーバ装置からの画面更新の遅れや画面の乱れ等、当該サーバ装置から画面情報を受信して表示する端末における画質の劣化を抑制する通信システム、サーバ装置、方法、プロラムを提供することにある。

　本発明によれば、サーバ装置にネットワークを介して接続する端末での操作により、前記サーバ装置上の仮想端末でアプリケーションを動作させることで生成された情報を、前記サーバ装置から前記ネットワークを介して前記端末に送信する通信システムであって、
　前記サーバ装置が、前記ネットワークを介して前記端末に対して、予め定められたタイミングでプローブ用のパケットを送出し、前記プローブ用のパケットを受信した前記端末から前記ネットワークを介して返信された返信パケットを受信するパケット送受信部と、
　前記パケット送受信部で受信した前記返信パケットに含まれる情報に基づき、前記ネットワークの帯域を推定し、前記仮想端末の前記アプリケーションで生成された、画面情報、及び前記画面情報に付随するオーディオ信号の少なくとも一方を圧縮符号化するときのレートを、前記推定した帯域を超えない値に算出してエンコーダ部に指示する帯域推定レート制御部と、
　前記帯域推定レート制御部から前記指示されたレートに設定して、前記画面情報及び前記画面情報に付随する前記オーディオ信号の少なくとも一方を圧縮符号化する前記エンコーダ部と、
　前記エンコーダ部からの出力を予め定められたプロトコルのパケットに格納して前記ネットワークを介して前記端末に送信するパケット送信部と、
　を備えた通信システムが提供される。

　本発明によれば、ネットワークを介して接続する端末での操作によりサーバ装置の仮想端末上のアプリケーションで生成した情報を、前記ネットワークを介して前記端末に送信する前記サーバ装置が、
　前記ネットワークを介して前記端末に対して、予め定められたタイミングでプローブ用のパケットを送出し、前記プローブ用のパケットを受信した前記端末から前記ネットワークを介して返信された返信パケットを受信するパケット送受信部と、
　前記パケット送受信部で受信した前記返信パケットに含まれる情報に基づき、前記ネットワークの帯域を推定し、
　前記仮想端末上の前記アプリケーションで生成された、画面情報、及び前記画面情報に付随するオーディオ信号の少なくとも一方を圧縮符号化するときのレートを、前記推定した帯域を超えない値に算出してエンコーダ部に指示する帯域推定レート制御部と、
　前記帯域推定レート制御部から指示されたレートに設定して、前記画面情報、及び前記画面情報に付随する前記オーディオ信号の少なくとも一方を圧縮符号化する前記エンコーダ部と、
　前記エンコーダ部からの出力を、予め定められたプロトコルのパケットに格納して前記ネットワークを介して前記端末に送信するパケット送信部と、
　を備えている。

　本発明によれば、サーバ装置にネットワークを介して接続する端末での操作により、前記サーバ装置上の仮想端末でアプリケーションを動作させることで生成された情報を、前記サーバ装置から前記ネットワークを介して前記端末に送信する通信方法であって、
　前記サーバ装置は、前記ネットワークを介して前記端末に対して、予め定められたタイミングでプローブ用のパケットを送出し、
　前記サーバ装置は、前記プローブ用のパケットを受信した前記端末から前記ネットワークを介して返信された返信パケットを受信し、前記返信パケットに含まれる情報に基づき、前記ネットワークの帯域を推定し、
　前記仮想端末上の前記アプリケーションで生成された、画面情報、及び前記画面情報に付随するオーディオ信号の少なくとも一方を圧縮符号化するときのレートを、前記推定した帯域を超えない値に算出してエンコーダ部に指示し、
　前記エンコーダ部では、前記指示されたレートに設定して、前記画面情報及び前記画面情報に付随するオーディオ信号の少なくとも一方を圧縮符号化し、予め定められたプロトコルのパケットに格納して送出する、通信方法が提供される。

　本発明によれば、ネットワークを介して接続する端末での操作により、サーバ装置の仮想端末上のアプリケーションで生成した情報を、前記ネットワークを介して前記端末に送信する前記サーバ装置を構成するコンピュータに、
　前記ネットワークを介して前記端末に対して、予め定められたタイミングでプローブ用のパケットを送出し、前記送出したプローブ用のパケットを受信した前記端末から前記ネットワークを介して返信された返信パケットを受信するパケット送受信処理と、
　前記パケット送受信部で受信した前記返信パケットに含まれる情報に基づき、前記ネットワークの帯域を推定し、前記仮想端末上の前記アプリケーションで生成された、画面情報、及び前記画面情報に付随するオーディオ信号の少なくとも一方を圧縮符号化するときのレートを、前記推定した帯域を超えない値に算出してエンコード処理に指示する帯域推定レート制御処理と、
　前記帯域推定レート制御処理からの前記指示に従いレートを設定して画面情報、及び前記画面情報に付随するオーディオ信号の少なくとも一方を圧縮符号化する前記エンコード処理と、
　前記エンコード処理部でのエンコード出力を、予め定められたプロトコルのパケットに格納して前記ネットワークを介して前記端末に送信するパケット送信処理と、を実行させるプログラムが提供される。本発明によれば、該プログラムを記録したコンピュータ読み出し可能な記録媒体（メモリ装置、光記録媒体（装置）、磁気記憶媒体（装置））が提供される。

　本発明によれば、端末において、サーバ装置からの画面更新の遅れや画面の乱れ等の画質の劣化を抑制することができる。

本発明の例示的な実施形態の接続構成を示す図である。本発明の例示的な実施形態のサーバ装置の構成を示す図である。仮想マシン型シンクライアントシステムの概念を説明する図である。

　本発明の実施形態について図面を参照して説明する。

＜実施形態１＞
　図１は、本発明の第１の実施形態の構成を例示した図である。ネットワークとしては、モバイル３Ｇネットワークを用い、パケット転送装置として、ＳＧＳＮ（Serving　GPRS（General Packet Radio Service）Support　Node）／ＧＧＳＮ(Gateway GPRS　Support　Node）装置を用いる場合の構成を示している。ここで、ＳＧＳＮ／ＧＧＳＮ装置とはＳＧＳＮ装置とＧＧＳＮ装置を一体化した装置であることを表している。シンクライアント要のサーバ装置１１０は、クラウド網１３０上に配置され、クラウド網１３０とモバイルネットワーク１５０とが接続されている構成を示している。クラウド網１３０は、クラウドコンピューティングのネットワーク基盤を提供し、インターネット、ＩＰ網同志を接続して構築したＩＰ－ＶＰＮ（Virtual Private Network:仮想施設網）等であってもよい。仮想化技術を利用することでサーバリソース、ストレージリソース等はユーザ間でリソースの利用効率の向上、リソース分離によるセキュリティの確保等が行われる。

　図１において、端末（携帯端末）１７０は、クラウド網１３０に配置されたサーバ装置１１０上の仮想クライアント部（端末１７０に対応する仮想端末）を操作するために、モバイルネットワーク１５０上の基地局１９４、ＲＮＣ（Radio Network Controller）装置１９５、ＳＧＳＮ／ＧＧＳＮ装置１９０を経由して、サーバ装置１１０に対して操作信号を送出する。ここで操作信号とは、携帯端末１７０でのキー操作、画面へのタッチ操作、文字入力等の操作により、携帯端末１７０から送出される信号を意味する。

　携帯端末１７０から送出された操作信号は、モバイルネットワーク１５０上にある、基地局１９４、ＲＮＣ装置１９５、ＳＧＳＮ／ＧＧＳＮ装置１９０を介して、クラウド網１３０上のサーバ装置１１０に到達し、サーバ装置１１０で前記操作信号を受信する。前記操作信号のプロトコルには、周知のものを使用することができる。特に制限されないが、本実施形態では、ＴＣＰ（Transmission Control Protocol）／ＩＰ(Internet Protocol)ならびにその上位層としてＨＴＴＰ(Hyper Text Transport Protocol)を用いるものとする。なお、ＨＴＴＰ以外に、ＳＩＰ（Session Initiation Protocol）等を用いることもできる。なお、ＳＧＳＮ、ＧＧＳＮは一体でなく、別ノードとして配置してもよい。

　図２は、サーバ装置１１０の構成例を示す図である。図２を参照すると、サーバ装置１１０は、仮想クライアント部２１１、操作信号パケット受信部１８２、帯域推定レート制御部１８５、画面キャプチャ部１８０、画像エンコーダ部１８６、オーディオエンコーダ１８７、第１のパケット送信部１７６、第２のパケット送信部１７７、第３のパケット送受信部１７８を備えている。仮想クライアント部（仮想端末）２１１は、図示されないホストＯＳの上の仮想化レイヤ上の仮想マシンにおけるゲストＯＳ（仮想ＯＳ）上で動作している。ここで、ホストＯＳやゲストＯＳは、周知のＯＳを使用することができる。以下では、一例として、ホストＯＳには、Ｌｉｎｕｘ（登録商標）を用い、ゲストＯＳにはＡｎｄｒｏｉｄ（登録商標）を用いることとするが、他のＯＳ、例えば後者にはＷｉｎｄｏｗｓ（登録商標）などを用いることもできる。なお、仮想化機構として、特定のホストＯＳの上に仮想化ソフトをインストールし該仮想化ソフト上で仮想マシンを稼動させるするホストＯＳ型に制限されるものでなく、ホストＯＳを必要としないハイパーバイザ型で構成してもよい。

　仮想クライアント部２１１は、
・サービスに対応したアプリケーションソフト、
・画面生成部、
・キャッシュメモリ、
・音声／静止画／動画デコーダ等（いずれも図示されない）
を備えている。なお、仮想クライアント部２１１のアプリケーションソフトは、図３の仮想マシン上のアプリケーションに対応し、画面生成部、音声／静止画／動画デコーダ等は、例えば、端末に対応した仮想マシン（仮想クライアント部）に実装され、キャッシュメモリも基本的に仮想マシン（仮想クライアント部）毎に割当てられる。

　仮想クライアント部２１１上のアプリーケーションソフト（不図示）は、サーバ装置１１０の外部から更新（update）等が容易に行える。

　サーバ装置１１０は、携帯端末１７０からの操作信号であるＴＣＰパケットを、基地局１９４、ＲＮＣ装置１９５、ＳＧＳＮ／ＧＧＳＮ装置１９０を経由して、操作信号パケット受信部１８２で受信する。

　操作信号パケット受信部１８２は、受信したＴＣＰ／ＩＰパケットから、操作信号を抽出し、仮想クライアント部２１１に出力する。

　仮想クライアント部２１１は、操作信号パケット受信部１８２から受け渡された操作信号を解析し、前記操作信号に対応したアプリケーションソフト（不図示）を起動する。

　仮想クライアント部２１１によって起動されたアプリケーションソフト（不図示）は、携帯端末１７０の表示装置（不図示）に画面表示させる画面情報（アプリケーションソフトの処理結果）を、予め定められた画面解像度で生成し、画面キャプチャ部１８０に出力する。

　画面キャプチャ部１８０は、予め定められた画面解像度及びフレームレート（１秒間あたりのフレーム枚数）で、仮想クライアント部２１１のアプリケーションソフト（不図示）から出力された画面情報をキャプチャする。

　画面キャプチャ部１８０は、キャプチャした画面情報を、輝度信号と色差信号に変換し、画像エンコーダ部１８６に出力する。画面キャプチャ部１８０は、別の形式、例えば、ＹＵＶ形式（Y：輝度信号、U(B-Y)：色差信号Cb、V（R-Y）色差信号Cｒ）等を用いるようにしてもよい。

　画像エンコーダ部１８６は、画面キャプチャ部１８０から画像信号として、予め定められた画面解像度、フレームレートによる画像信号を入力し、帯域推定レート制御部１８５から予め定められたタイミング毎に帯域推定値を入力する。

　画像エンコーダ部１８６は、予め定められた圧縮符号化方式により、画面キャプチャ部１８０から出力された画像信号を圧縮符号化して圧縮符号化ビットストリームを生成し、第１のパケット送信部１７６に送出する。その際、画像エンコーダ部１８６は、前記帯域推定値を超えないようにビットレートを制御して画像信号を圧縮符号化する。

　画像エンコーダ部１８６で用いる予め定められた圧縮符号化方式には、周知の符号化方式、例えば、Ｈ．２６４、ＭＰＥＧ（Moving Picture Experts Group）－４、ＪＰＥＧ(Joint Photographic Experts Group)２０００、ＪＰＥＧ等を用いることができる。本実形態では、一例として、Ｈ．２６４を用いる。

　第１のパケット送信部１７６は、画像エンコーダ部１８６から出力される圧縮符号化ビットストリームを、パケットのペイロードに格納し、予め定められたプロトコルによるパケットを構築して、ＳＧＳＮ／ＧＧＳＮ装置１９０に送出する。本実施形態では、予め定められたプロトコルとして、周知のプロトコル、ＲＴＰ（Real-time Transport Protocol）／ＵＤＰ（User Data Protocol）／ＩＰ(Internet Protocol)、あるいは、ＵＤＰ／ＩＰでもよいし、ＴＣＰ（Transmission Control Protocol）／ＩＰでもよい。本実施形態では、ＵＤＰ／ＩＰを用いる。

　なお、第１のパケット送信部１７６の別の構成として、前記圧縮符号化ビットストリームを、一旦、ＭＰ４や３ＧＰ等のファイルに格納し、該ファイルをパケットで送出するようにしてもよい。この場合のプロトコルは、例えばＴＣＰ／ＩＰを用いることができる。

　ＳＧＳＮ／ＧＧＳＮ装置１９０は、サーバ装置１１０から送出されたパケットを受信し、ＧＴＰ－Ｕ（GPRS　Tunneling　Protocol　for User plane）プロトコルによりトンネリングしてＲＮＣ装置１９５に転送する。ＲＮＣ装置１９５は、該パケットを、基地局１９４を通して、無線により、携帯端末１７０に送出する。

　携帯端末１７０は、サーバ装置１１０の第１のパケット送信部１７６からのパケットをモバイルネットワーク１５０を介して受信し、該パケットに格納された圧縮符号化ビットストリームを取り出す。携帯端末１７０は、サーバ装置１１０に搭載されている画像エンコーダ部１８６に対応したデコーダ（不図示）を搭載しており、該デコーダにより、圧縮符号化ビットストリームを復号し、復号した画面を携帯端末の表示装置（不図示）上に表示する。

　図２において、帯域推定レート制御部１８５では、ネットワークの帯域を推定するために、予め定められたタイミングで、第３のパケット送受信部１７８に対して、特定のパケット（プローブパケット）を送出する指示を出す。

　第３のパケット送受信部１７８は、帯域推定レート制御部１８５からの前記指示に従い、指示を受けたタイミングで、特定のパケットを携帯端末１７０に向けて、例えば２パケット以上連続して送出する。

　第３のパケット送受信部１７８は、特定のパケット（プローブパケット）には、少なくとも
・特定のパケット（プローブパケット）のデータサイズ、
・特定のパケット（プローブパケット）のサーバ装置からの送信時刻、
の情報を含めておく。

　第３のパケット送受信部１７８が特定のパケットの送受信に用いるプロトコルは、第１のパケット送信部１７６が用いるプロトコルと同じものを用いる。本実施形態では、ＵＤＰ／ＩＰを使用する。

　第３のパケット送受信部１７８は、前記連続して送出した特定パケット（プローブパケット）に対する携帯端末１７０からの返信パケットを受信する。

　携帯端末１７０からの返信パケットには、
・特定パケット（プローブパケット）のデータサイズ、
・サーバ装置１１０からの特定パケット（プローブパケット）の送信時刻、
・携帯端末１７０での特定パケット（プローブパケット）の受信時刻、
の情報を含めておく。

　第３のパケット送受信部１７８は、携帯端末１７０からの受信したパケット（返信パケット）から、
・特定パケット（プローブパケット）のデータサイズ、
・サーバ装置１１０からの特定パケット（プローブパケット）の送信時刻、
・携帯端末１７０での特定パケット（プローブパケット）の受信時刻
の情報を抽出し、抽出した情報を帯域推定レート制御部１８５に出力する。

　帯域推定レート制御部１８５は、
・特定パケット（プローブパケット）のデータサイズ、
・サーバ装置１１０からの特定パケット（プローブパケット）の送信時刻、
・携帯端末１７０での特定パケット（プローブパケット）の受信時刻
の情報を入力して、送信時刻の順番に並び替え、予め定められた時刻毎に、次式に従い、帯域推定値Ｗを算出する。

　したがって、

　上式（１）において、
Ｄ（ｊ）は、サーバ装置１１０の第３のパケット送受信部１７８が携帯端末１７０に向けてｊ番目に送出した特定パケット（プローブパケット）のパケットサイズである。
Ｒ（Ｎ）は、サーバ装置１１０からＮ番目に送出した特定パケットの携帯端末１７０での受信時刻である。
Ｒ（１）は、サーバ装置１１０から１番目に送出した特定パケットの携帯端末１７０での受信時刻である。

　次に、帯域推定値Ｗを、次式により時間的に平滑化する。

　ここで、
Ｂ（ｎ）は第ｎ時刻の平滑化後の帯域推定値を示し、
βは０＜β＜１の範囲の定数である。　

　次に、平滑化した帯域推定値Ｂ（ｎ）を用いて、予め定められた時刻毎に、次式に従い、画像エンコーダのビットレートＣ（ｎ）を算出し、Ｃ（ｎ）を予め定められた時間毎に画像エンコーダ部１８６に出力する。

　上式（３）において、Ｃ（ｎ）は、第ｎ時刻でのビットレートを示す。γは０＜γ＜１の範囲の定数である。また、上式（４）は、画像エンコーダで圧縮符号化するときのビットレートＣ（ｎ）が帯域推定値Ｂ（ｎ）を超えないという条件を表している。

　画面キャプチャ部１８０は、仮想クライアント部２１１の画面生成部（不図示）が生成した画面を、予め定められた画面解像度、および予め定められたフレームレート（１秒間あたりのフレーム枚数）でキャプチャし、画像エンコーダ部１８６に出力する。

　画像エンコーダ部１８６は、画像キャプチャ部１８０から、予め定められた画面解像度及び予め定められたフレームレートで画面信号を入力し、帯域推定レート制御部１８５から予め定められた時間毎に、画像エンコーダのビットレートＣ（ｎ）を入力する。

　さらに、画像エンコーダ部１８６は、画像エンコーダのビットレートＣ（ｎ）から、画像エンコーダの画面解像度ＶＲ、及びフレームレートｆｐｓを算出し、例えばＨ．２６４画像圧縮符号化方式を用いて、ＶＲ及びｆｐｓにより画面信号を圧縮符号化して圧縮符号化ストリームを求め、第１のパケット送信部１７６に出力する。

　第１のパケット送信部１７６は、画像エンコーダ部１８６から圧縮符号化されたストリームを入力し、ＵＤＰ／ＩＰによるパケットを構築し、パケットのペイロード部分に前記ストムリームを格納した上で携帯端末１７０に向け送出する。

　次に、仮想クライアント部２１１で生成した画像情報に、オーディオ信号が付随する場合は、画面キャプチャ部１８０は、付随するオーディオの読み出しも行い、読み出したオーディオ信号をオーディオエンコーダ部１８７に出力する。

　オーディオエンコーダ部１８７はオーディオ信号を入力し、予め定められた圧縮方式で圧縮符号化し圧縮符号化ストリームを求め、第２のパケット送信部１７７に出力する。ここで、オーディオ信号の圧縮符号化方式には、ＭＰＥＧ－４　ＡＡＣ（Advanced Audio Coding）、Ｅｎｈａｎｃｅｄ　ＡＡＣなどの、周知のものを使うことが出来る。実施形態では、ＭＰＥＧ－４　ＡＡＣを用いる。

　第２のパケット送信部１７７は、オーディオエンコーダ部１８７から、圧縮符号化ストリームを入力し、ＵＤＰ／ＩＰによるパケットを構築し、パケットのペイロード部分に前記ストムリームを格納した上で携帯端末１７０に向け送出する。

　図１では、モバイルネットワーク１５０は、モバイルＬＴＥ／ＥＰＣネットワークとすることもできるし、ＷｉＭａｘ(Worldwide Interoperability for Microwave Access)網やＷｉＦｉ（Wireless Fidelity）網等の無線ＬＡＮ（Local Area Network）ネットワークとすることもできる。さらに、固定網やＮＧＮNext Generation Network）網とすることもできる。ただし、この場合は、携帯端末ではなく固定端末やＰＣ（Personal Computer）からの接続となる。この場合、サーバ装置１１０では、仮想マシンとして、仮想端末としてＰＣを仮想化した仮想ＰＣを備える。

　図１では、サーバ装置１１０をクラウド網１３０に配置したが、インターネット網に配置することもできる。また、企業にシンクライアントのサーバ装置を置く場合は、サーバ装置を企業網に配置することもできる。また、通信事業者自らが、シンクライアントのサーバを置く場合は、モバイルネットワーク１５０上や、固定網上やＮＧＮ網上に、サーバ装置１１０を配置するようにしてもよい。

　なお、図２の帯域推定レート制御部１８５における帯域推定は、上記した方法（式（１）乃至（４）等）に制限されるものではなく別の方法を用いてもよい。

　画像エンコーダ部１８６やオーディオエンコーダ部１８７の圧縮符号化方式には、他の周知の方式を使うことも出来る。第１のパケット送信部１７６、第２のパケット送信部１７７、第３のパケット送受信部１７８におけるパケットのプロトコルは、他の周知なプロトコルを用いることが出来る。

　帯域推定レート制御部１８５では、画像エンコーダ部１８６に対するビットレートの指示を行なったが、帯域推定値からビットレートを算出するときに、画像エンコーダのビットレートだけでなく、オーディオエンコーダのビットレートを含めたトータルでのビットレートを算出するように変更してもよい。こうすることで、画像エンコーダ部１８６及びオーディオエンコーダ部１８７の両方に対して、各々のビットレートを制御するように変更することもできる。

　図２の各部は、サーバ装置１１０を構成するコンピュータ上で動作するプログラムで実現するようにしてもよい。本発明によれば、該プログラムを記録したコンピュータ読み出し可能な記録媒体（メモリ装置、光記録媒体（装置）、磁気記憶媒体（装置））が提供される。

　本発明によれば、モバイルパケットネットワークやＬＴＥ／ＥＰＣネットワークを介してシンクライアントシステムを実装する場合に、サーバ装置から送出する圧縮符号化ストリームのビットレートを、ネットワークの帯域幅の時間的な変動に追従して制御できるようにしたため、ネットワークでのパケットの滞留やパケットロスの発生を抑制可能としている。このため、サーバ装置から画面情報を受け取り表示する端末側で画面の更新が遅くなる、あるいは、画面が乱れる等のＱｏＥ（Quality of Experience）の悪化を抑えることができる。

　なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施例の各要素、各図面の各要素等を含む）の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１１０、１１０Ａ　サーバ装置
１３０　クラウド網
１５０　モバイルネットワーク
１７０、１７０Ａ　端末（携帯端末）
１７６　第１のパケット送信部
１７７　第２のパケット送信部
１７８　第３のパケット送受信部
１８０　画面キャプチャ部
１８２　操作信号パケット受信部
１８５　帯域推定レート制御部
１８６　画像エンコーダ部
１８７　オーディオエンコーダ部
１９０　ＳＧＳＮ／ＧＧＳＮ装置
１９４　基地局
１９５　ＲＮＣ装置
２１１　仮想クライアント部

Claims

　サーバ装置にネットワークを介して接続する端末での操作により、前記サーバ装置上の仮想端末でアプリケーションを動作させることで生成された情報を、前記サーバ装置から前記ネットワークを介して前記端末に送信する通信システムであって、
　前記サーバ装置が、前記ネットワークを介して前記端末に対して、予め定められたタイミングでプローブ用のパケットを送出し、前記プローブ用のパケットを受信した前記端末から前記ネットワークを介して返信された返信パケットを受信するパケット送受信部と、
　前記パケット送受信部で受信した前記返信パケットに含まれる情報に基づき、前記ネットワークの帯域を推定し、前記仮想端末の前記アプリケーションで生成された、画面情報、及び前記画面情報に付随するオーディオ信号の少なくとも一方を圧縮符号化するときのレートを、前記推定した帯域を超えない値に算出してエンコーダ部に指示する帯域推定レート制御部と、
　前記帯域推定レート制御部から前記指示されたレートに設定して、前記画面情報及び前記画面情報に付随する前記オーディオ信号の少なくとも一方を圧縮符号化する前記エンコーダ部と、
　前記エンコーダ部からの出力を予め定められたプロトコルのパケットに格納して前記ネットワークを介して前記端末に送信するパケット送信部と、
　を備えた、ことを特徴とする通信システム。
　前記パケット送受信部は、前記帯域推定レート制御部からの前記指示を受けたタイミングで、前記プローブ用のパケットを前記端末に向けて複数パケットを連続して送出し、
　前記パケット送受信部は、前記プローブ用のパケットには、少なくとも、前記プローブ用のパケットのデータサイズ、前記プローブ用のパケットの前記サーバ装置での送信時刻情報を含めておき、
　前記パケット送受信部は、前記連続して送出した前記プローブ用のパケットに対する前記端末からの前記返信パケットを受信し、
　前記パケット送受信部は、前記返信パケットに含まれる情報から、前記プローブパケットのデータサイズ、前記サーバ装置での前記プローブパケットの送信時刻、前記端末での前記プローブ用のパケットの受信時刻の情報を抽出し、前記帯域推定レート制御部に出力する、ことを特徴とする請求項１記載の通信システム。
　ネットワークを介して接続する端末での操作によりサーバ装置の仮想端末上のアプリケーションで生成した情報を、前記ネットワークを介して前記端末に送信する前記サーバ装置が、
　前記ネットワークを介して前記端末に対して、予め定められたタイミングでプローブ用のパケットを送出し、前記プローブ用のパケットを受信した前記端末から前記ネットワークを介して返信された返信パケットを受信するパケット送受信部と、
　前記パケット送受信部で受信した前記返信パケットに含まれる情報に基づき、前記ネットワークの帯域を推定し、
　前記仮想端末上の前記アプリケーションで生成された、画面情報、及び前記画面情報に付随するオーディオ信号の少なくとも一方を圧縮符号化するときのレートを、前記推定した帯域を超えない値に算出してエンコーダ部に指示する帯域推定レート制御部と、
　前記帯域推定レート制御部から指示されたレートに設定して、前記画面情報、及び前記画面情報に付随する前記オーディオ信号の少なくとも一方を圧縮符号化する前記エンコーダ部と、
　前記エンコーダ部からの出力を、予め定められたプロトコルのパケットに格納して前記ネットワークを介して前記端末に送信するパケット送信部と、
　を備えた、ことを特徴とするサーバ装置。
　前記パケット送受信部は、前記帯域推定レート制御部からの前記指示を受けたタイミングで、前記プローブ用のパケットを前記端末に向けて複数パケットを連続して送出し、
　前記パケット送受信部は、前記プローブ用のパケットには、少なくとも、前記プローブ用のパケットのデータサイズ、前記プローブ用のパケットの前記サーバ装置での送信時刻情報を含めておき、
　前記パケット送受信部は、前記連続して送出した、前記プローブ用のパケットに対する前記端末からの返信パケットを受信し、
　前記パケット送受信部は、前記返信パケットに含まれる情報から、前記プローブ用パケットのデータサイズ、前記サーバ装置での前記プローブパケットの送信時刻、前記端末での前記プローブパケットの受信時刻の情報を抽出し、前記帯域推定レート制御部に出力する、ことを特徴とする請求項３記載のサーバ装置。
　前記仮想端末の前記アプリケーションが生成した画面情報を、予め定められた画面解像度及び予め定められたフレームレートでキャプチャする画面キャプチャ部と、
　前記画像キャプチャ部から、予め定められた画面解像度及び予め定められたフレームレートで画面信号を入力し、前記帯域推定レート制御部から、予め定められた時刻毎に画像エンコーダのビットレートを入力し、前記画像エンコーダのビットレートから前記画像エンコーダの画面解像度及びフレームレートを算出して前記画面信号を圧縮符号化し圧縮符号化ストリームを出力する画像エンコーダ部と、
　を備え、
　前記パケット送信部が、前記画像エンコーダ部からの前記圧縮符号化ストリームを入力しパケット化して前記端末に向けて送出する第１のパケット送信部を備えた、ことを特徴とする請求項３又は４記載のサーバ装置。
　前記仮想端末の前記アプリケーションが生成した画像情報にオーディオ信号が付随する場合に、前記画面キャプチャ部から出力される前記オーディオ信号を予め定められた圧縮方式で圧縮符号化し圧縮符号化ストリームを出力する前記オーディオエンコーダ部を備え、
　前記パケット送信部が、前記オーディオエンコーダ部からの前記圧縮符号化ストリームを入力しパケット化して前記端末に向けて送出する第２のパケット送信部を備えた、ことを特徴とする請求項５記載のサーバ装置。
　前記帯域推定レート制御部は、前記端末から返信された前記パケットに含まれる、前記プローブ用のパケットのデータサイズ、前記サーバ装置からの前記プローブ用のパケットの送信時刻、前記端末での前記プローブ用のパケットの受信時刻の情報を入力し、前記送信時刻の順番に並び替え、予め定められた時刻毎に帯域推定値を算出し、
　前記帯域推定値を時間的に平滑化し、
　平滑化後の帯域推定値を用いて、予め定められた時刻毎に、前記画像エンコーダのビットレートとして、前記帯域推定値を越えないような値を算出し、前記算出したビットレートを前記画像エンコーダ部に出力する、ことを特徴とする請求項５又は６に記載のサーバ装置。
　サーバ装置にネットワークを介して接続する端末での操作により、前記サーバ装置上の仮想端末でアプリケーションを動作させることで生成された情報を、前記サーバ装置から前記ネットワークを介して前記端末に送信する通信方法であって、
　前記サーバ装置は、前記ネットワークを介して前記端末に対して、予め定められたタイミングでプローブ用のパケットを送出し、
　前記サーバ装置は、前記プローブ用のパケットを受信した前記端末から前記ネットワークを介して返信された返信パケットを受信し、前記返信パケットに含まれる情報に基づき、前記ネットワークの帯域を推定し、
　前記仮想端末上の前記アプリケーションで生成された、画面情報、及び前記画面情報に付随するオーディオ信号の少なくとも一方を圧縮符号化するときのレートを、前記推定した帯域を超えない値に算出してエンコーダ部に指示し、
　前記エンコーダ部では、前記指示されたレートに設定して、前記画面情報及び前記画面情報に付随するオーディオ信号の少なくとも一方を圧縮符号化し、予め定められたプロトコルのパケットに格納して送出する、
　ことを特徴とする通信方法。
　前記サーバ装置は、前記プローブ用のパケットを、前記端末に向けて、複数のパケットを連続して送出し、前記プローブ用のパケットには、少なくとも、前記プローブ用のパケットのデータサイズ、前記サーバ装置での前記プローブ用のパケットの送信時刻情報を含めておき、
　前記連続して送出した前記プローブ用のパケットに対する前記端末からの返信パケットを受信し、
　前記端末から受信した前記返信パケットに含まれる情報から、前記プローブ用のパケットのデータサイズ、前記サーバ装置からの前記プローブ用のパケットの送信時刻、前記端末での前記プローブ用のパケットの受信時刻の情報を抽出し、前記ネットワークの帯域を推定に用いる、ことを特徴とする請求項８記載の通信方法。
　ネットワークを介して接続する端末での操作により、サーバ装置の仮想端末上のアプリケーションで生成した情報を、前記ネットワークを介して前記端末に送信する前記サーバ装置を構成するコンピュータに、
　前記ネットワークを介して前記端末に対して、予め定められたタイミングでプローブ用のパケットを送出し、前記送出したプローブ用のパケットを受信した前記端末から前記ネットワークを介して返信された返信パケットを受信するパケット送受信処理と、
　前記パケット送受信部で受信した前記返信パケットに含まれる情報に基づき、前記ネットワークの帯域を推定し、前記仮想端末上の前記アプリケーションで生成された、画面情報、及び前記画面情報に付随するオーディオ信号の少なくとも一方を圧縮符号化するときのレートを、前記推定した帯域を超えない値に算出してエンコード処理に指示する帯域推定レート制御処理と、
　前記帯域推定レート制御処理からの前記指示に従いレートを設定して画面情報、及び前記画面情報に付随するオーディオ信号の少なくとも一方を圧縮符号化する前記エンコード処理と、
　前記エンコード処理部でのエンコード出力を、予め定められたプロトコルのパケットに格納して前記ネットワークを介して前記端末に送信するパケット送信処理と、
　を実行させるプログラム。