JP4083996B2

JP4083996B2 - System for performing communication with terminal via wired connection path and wireless connection path, arithmetic processing unit, wireless connection terminal, data transfer method for wireless connection terminal, program, and storage medium

Info

Publication number: JP4083996B2
Application number: JP2001107700A
Authority: JP
Inventors: 孝男森山; 桂川瀬
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2001-04-05
Filing date: 2001-04-05
Publication date: 2008-04-30
Anticipated expiration: 2021-04-05
Also published as: JP2002312155A

Description

【０００１】
【発明の属する技術分野】
本発明は、表示装置等の端末との間で有線接続経路および無線接続経路を備えるシステム等に係り、より詳しくは、有線接続時と無線接続時とのスムーズな切り替えを可能とするシステム等に関する。
【０００２】
【従来の技術】
近年、例えば、メール通信やインターネットを手軽に楽しむと共に、持ち運びが自由であるモニタを備える製品が存在している。この製品では、例えば、ベースステーションと持ち運びできる液晶モニタとを備え、家中どこへでもモニタだけを持って移動すれば、ワイヤレス通信でインターネットやメール通信を楽しむことができる。
【０００３】
このような従来の製品では、ＷＷＷ(World Wide Web)のブラウザ機能を持ち、サーバとはＨＴＭＬプロトコルで通信し、表示プロトコルを受け取るように構成されており、接続先はＷＷＷサーバに限定されているのが一般的である。また、予め表示端末に内蔵されているソフトウェアが対応するホストに対してのみ限定的に接続されている。更には、有線接続並みの表示機能や性能を併せ持つものではない。
【０００４】
【発明が解決しようとする課題】
今、ここで、有線接続と無線接続との２つの接続モードを持つ表示装置を考える。例えば、表示装置が接続先であるコンピュータ(ホスト)の近くにある場合には、両者を接続して有線接続して、従来の有線による表示装置と同様な表示速度を確保する。その一方で、両者が離れている場合には、無線接続を行い、操作形態の多様性を確保するのである。
【０００５】
ここで、有線接続と無線接続との２つの接続モードを持つ装置として、例えばクレードルと呼ばれる基台を持ち、端末をクレードル上の置くことにより有線接続モードとなり、基台から持ち上げることで無線モードとなる機器を考えることができる。かかる機器の場合には、無線と有線とのモード切り替えが頻繁に行われることが予想されるが、一般的なネットワーク経由のリモート接続のように、接続時にパスワードの入力を行うなどの認証作業が必要になると、２つの接続モードを備えたことによる利便性を却って損なうこととなる。
【０００６】
また、現在、ホストとＣＲＴなどのモニタを接続するケーブルには、画面イメージをそのリフレッシュ周期に同期して常時転送する技術が採用されている。例えば、画面サイズがＸＧＡ(Extended Graphics Array)で１ピクセルあたりのデータ量を１６ビット、リフレッシュレートを６０Ｈｚとした場合に、全体のデータレートは、約７５０Ｍbpsとなる。一方、現在、一般的な無線ＬＡＮでは、転送速度は最大１１Ｍbpsであることから、有線接続に用いられているそのままの形式のデータを無線接続によって転送することはできない。
【０００７】
更に、画面イメージの代わりに画面描画コマンド(プリミティブ)を転送し、表示装置側でイメージに展開したり、あるいはホスト側の画面イメージの差分だけを転送する方法が考えられる。これらの方法によれば、画面の描画頻度が低い間では表示装置側の画面更新のレスポンスが良いが、多量の描画を行った場合には、イメージ転送方式と同様に伝送経路が隘路となる。また、ホスト側における画面イメージの差分だけを転送する方法が考えられるが、イメージの差分を検出することが難しい。例えば、単純にソフトウェアで差分を取ると、それ自身がオーバーヘッドとなってしまう。
【０００８】
また更には、多量の描画コマンドをホスト側で高速に処理しておき、適当な間隔で画面のスナップショット(あるいはスナップショット同士の差分イメージ)を表示装置に送り付ける方法も考えられる。しかしながら、かかる方式では、描画頻度が比較的低い場合において、描画プリミティブ方式に比べて描画レスポンスが悪化してしまう。
【０００９】
本発明は、以上のような技術的課題を解決するためになされたものであって、その目的とするところは、無線接続時に必要とされる設定を自動的に行い、有線接続時と無線接続時のスムーズな切り替えを可能とすることにある。
また他の目的は、画面描画コマンドによるプリミティブ方式のレスポンスを確保しつつ、大量の描画がある場合でもリアルタイム性を確保することにある。
【００１０】
【課題を解決するための手段】
かかる目的のもと、本発明では、有線接続モードにおいて、演算処理装置と端末との間を接続する有線接続経路は一対一の接続であり、安全な通信経路であると見なせること、有線接続経路と無線接続経路とは排他的ではなく同時に使用できること、に着目しており、表示装置等の端末とホストである演算処理装置との間の通信において、有線接続経路を介した通信である有線接続モードおよび無線接続経路を介した通信である無線接続モードの２つの接続モードを持ち、無線接続モードに必要な情報の転送を有線接続モードで実行している。
【００１１】
即ち、本発明が適用されるシステムにおいて、演算処理装置は、有線接続経路を介して端末との通信を行う有線通信手段と、無線接続経路による端末との無線接続経路を介した通信における無線接続に必要とされる情報や無線接続経路を介した通信における無線接続の認証に必要な情報を、無線接続モードに入る前に、有線通信手段を用いて端末に送出する送出手段とを備えたことを特徴している。
【００１２】
ここで、演算処理装置に対して直接的または間接的に設けられ、端末を着脱するための着脱手段(例えばクレードル等)とを備え、上記演算処理装置は、この着脱手段に端末が着脱されたことを検出する検出手段と、この検出結果に基づいて有線接続経路を介した通信と無線接続経路を介した通信とを切り替える切り替え手段とを更に備えたことを特徴とすれば、例えば従来の端末と同等の機能、性能、操作性を維持した有線接続モードと、利便性を高めた無線接続モードとを適切に切り替えることができる点で好ましい。
【００１３】
他の観点から把えると、本発明は、複数の表示データ転送方式を何らかの特徴量によって動的に切り替えることに特徴があり、例えば、表示されるデータの特性に応じて表示データ転送方式を切り替えている。即ち、本発明は、表示装置と、この表示装置との間で無線接続経路を介して通信を行う演算処理装置とを備えたシステムであって、この演算処理装置は、画面描画コマンドからなる描画プリミティブベースの描画指示プロトコルにより表示装置に対して転送を行う第１の転送手段と、画面イメージのスナップショットの差分情報として画像イメージを送出するプロトコルにより表示装置に対して転送を行う第２の転送手段と、この第１の転送手段と第２の転送手段とを所定の特徴量に基づいて切り替える切り替え手段とを備えたことを特徴としている。
【００１４】
ここで、所定の特徴量は、通信経路上のデータサイズ、変化量、ネットワークの実効バンド幅、および表示装置の描画性能、の少なくとも１つであることを特徴とすることができる。これにより、有線接続モード時に比べてデータ転送能力の劣る無線接続モード時においても、実用上、十分な表示性能を確保することが可能となる。
【００１５】
更に、この第２の転送手段は、描画命令を受信した後に、所定の指標に基づいて画面イメージを送信すべきか否かを判断し、送信すべきと判断される場合には、算出された送信すべき領域に基づく画像イメージを送出することを特徴としている。
ここで、所定の指標は、画面イメージの変化した量が設定値を超えた場合、設定された数以上の描画命令が処理された場合、最後に画像イメージを送信してから設定された時間が経過した場合、および表示装置からの送信要求を受け取った場合、の少なくとも１つであることを特徴とすれば、効率の良い画像データの転送を行うことができる点で優れている。
【００１６】
勿論、本発明は、ホスト装置、演算処理装置として把握することが可能である。即ち、本発明は、有線接続モードおよび無線接続モードを備え、端末との間で通信を行う演算処理装置(ホスト装置)であって、有線接続経路を介して端末との通信を行う有線通信手段と、無線接続経路を介して端末との無線通信を行う無線通信手段と、無線通信手段による端末との通信の前に、無線接続経路を介した通信における無線接続に必要とされる情報を有線通信手段を用いて端末に送出する送出手段と、端末が有線接続経路から離脱したか否かを判断する判断手段と、この判断手段により離脱されたと判断された場合に、無線通信手段に基づく無線接続経路を介した無線通信に切り替える切り替え手段とを備えたことを特徴としている。
【００１７】
また、本発明が適用される演算処理装置は、ＣＰＵと、描画命令に基づいて画像データを生成するグラフィックスアダプタと、このグラフィックスアダプタにより生成された画像データを展開するフレームメモリと、描画プリミティブを用いた転送モードによって表示装置に対して描画のためのデータを送出する無線通信装置とを備え、このＣＰＵは、所定の指標に基づいて画像イメージを送信すべきか否かを判断すると共に、送信すべき領域を算出して画像イメージをフレームメモリから読み出し、この無線通信装置は、描画プリミティブを用いた転送モードに代えて、読み出された画像イメージのデータを無線接続経路を介して表示装置に送出している。
【００１８】
ここで、このＣＰＵは、フレームメモリに展開された画像イメージにおけるデータの変化に基づいて送信すべき領域を算出することを特徴とすれば、例えば、全ての画像イメージを転送する場合に比べてデータサイズの量を削減した場合であっても、実用上、十分な表示性能を確保することが可能となる。
【００１９】
他方、本発明は、表示装置等の端末として把握することができる。即ち、本発明は、有線接続経路および無線接続経路を介して演算処理装置との通信を行う無線接続端末であって、有線接続経路を介して前記演算処理装置と通信を行う有線通信手段と、無線接続経路を介して演算処理装置と通信を行う無線通信手段とを備え、この有線通信手段は、無線接続経路を介した通信に先立って、この無線接続経路を介した通信における無線接続に必要とされる情報、無線接続経路を介した通信における無線接続の認証に必要な情報を有線接続経路を介して受信することを特徴としている。
【００２０】
ここで、無線通信手段は、有線通信手段により受信した認証に必要な情報に基づく認証要求を、演算処理装置に対して無線で転送することを特徴とすることができる。
また、有線接続経路が断たれたか否かを検出する検出手段とを更に備え、この検出手段による検出に基づいて、有線通信手段によるデータの通信を停止し、無線通信手段により通信を行うことを特徴とすることができる。
更には、無線接続経路を介して受信されたデータに基づき、フレームメモリに画像を展開するグラフィックスアダプタ等の展開手段と、このフレームメモリに展開された画像を読み出して表示する表示パネル等の表示手段と、を更に備えたことを特徴としている。
【００２１】
他のカテゴリから把えると、本発明は、有線接続経路および無線接続経路を介して演算処理装置と端末との間で通信を行うデータ転送方法であって、端末が有線接続経路に接続されているか否かを判断し、端末が有線接続経路に接続されている際に、無線接続経路を介した通信における無線接続に必要とされる情報を予めこの有線接続経路を介して転送し、無線接続に必要とされる認証を実行することを特徴としている。
【００２２】
ここで、有線接続ケーブルと無線リンクとの排他的ではなく同時に使用できる点に着目し、演算処理装置から有線接続経路を介してセッションＩＤが端末に転送され、この端末から無線接続経路を介してセッションＩＤが演算処理装置に転送されることを特徴とすることができる。
【００２３】
また、本発明は、表示装置と演算処理装置との間で無線接続経路を介して通信を行うデータ転送方法であって、無線接続経路を介した通信における所定の特徴量を検出し、検出された特徴量に基づき、画面描画コマンドからなる描画プリミティブベースの描画指示プロトコルにより表示装置に対して転送を行う第１の転送手法と、画面イメージのスナップショットの差分情報として画像イメージを送出するプロトコルにより表示装置に対して転送を行う第２の転送手法とを切り替えることを特徴としている。
【００２４】
尚、本発明のこれらの構成は、コンピュータに対してこれらの機能を実現させるためのプログラムとして把握することができる。これらのコンピュータプログラムは、例えば、遠隔地にあるプログラム伝送装置からネットワークを介して、例えば演算処理装置であるコンピュータに対して提供することができる。このプログラム伝送装置としては、プログラムを記憶させたＣＤ−ＲＯＭ、ＤＶＤ、メモリ、ハードディスク等の記憶手段と、これらの記憶手段からプログラムを読み出し、プログラムを実行する装置側に、コネクタ、インターネットやＬＡＮ等のネットワークを介して伝送する伝送手段とを備える構成とすれば良い。
【００２５】
また、これらのコンピュータプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ等の記憶媒体によって、直接、提供することもできる。かかる際に、プログラムをインストールされるＰＣ等のコンピュータでは、記憶媒体の読み取り機能(ＣＤ−ＲＯＭドライブ、ＤＶＤドライブ等)を備えていれば足りる。
【００２６】
【発明の実施の形態】
以下、添付図面に示す実施の形態に基づいて本発明を詳細に説明する。
図１は、本実施の形態におけるシステムの概略構成を説明するための図である。本実施の形態が適用されるシステムは、例えば画像処理を行って画像イメージデータを出力する演算処理装置(ホスト)１０、演算処理装置１０に有線接続経路(有線接続線)２０を介して電気的に接続されるクレードル４０、クレードル４０に対して着脱可能に構成される無線接続端末(端末)としての表示装置５０とを備えている。
【００２７】
このクレードル４０はスタンド型のドッキングステーションであるが、演算処理装置１０とクレードル４０とを同一筐体として一体化し、演算処理装置１０に対して直接、表示装置５０を着脱可能に構成し、有線接続経路２０をその筐体の内部に設けるように構成しても構わない。即ち、図１に示すように、有線接続経路２０を演算処理装置１０の外部に露出させ、クレードル４０を演算処理装置１０の筐体とは別に設ける場合には、クレードル４０は演算処理装置１０とは「間接的」に設けられていることになる。一方、同一筐体である場合には、「直接的」に設けられていると言える。
【００２８】
図２は、本実施の形態におけるシステムの全体構成を示したブロック図である。クレードル４０はコネクタ４１を備え、また、表示装置５０はコネクタ５１を備えている。表示装置５０はクレードル４０に対して、コネクタ５１をコネクタ４１に装着することで物理的に結合され、更に、コネクタ４１およびコネクタ５１を介して電気的に結合される。この結果、演算処理装置１０と表示装置５０とは、有線接続経路２０によって接続されたことになる。また、表示装置５０は、クレードル４０から離脱された際にも、無線接続経路３０によって論理的に接続され、無線画像情報および無線データを授受することができる。
【００２９】
図３は、本実施の形態におけるシステム構成を更に詳述したブロック図である。有線接続経路２０は、有線データ転送線２１および有線画像転送線２２から構成される。有線データ転送線２１は、演算処理装置１０とクレードル４０との間の通信のうち、画像イメージ以外の情報を双方向に転送している。有線画像転送線２２は、演算処理装置１０から画像情報を受け取り、クレードル４０に転送している。有線接続経路２０としては、例えば、同軸ケーブルを用いたディスプレイケーブルとＵＳＢ(Universal Serial Bus)との組み合わせや、撚り線が用いられたＤＶＩ(Digital Visual Interface)ケーブルなどが挙げられる。通常のビデオ接続ケーブルは、ビデオ信号以外に双方向の通信路を持つことから、制御線として使用することが可能であるが、例えばアナログＲＧＢなどの場合には、ビデオケーブルの他にＵＳＢケーブルなどを併用して制御線として使用することができる。
【００３０】
また、演算処理装置１０は、装置全体を制御するＣＰＵ１１、ＣＰＵ１１の作業のための主記憶１２、画像イメージを生成するグラフィックスアダプタ１３、グラフィックスアダプタ１３により生成された画像データを展開するフレームメモリ１４、有線接続経路２０を介した通信を行う有線通信装置１５、および無線接続経路３０を介してデータの授受を行う無線通信装置１６を備えている。本実施の形態では、ユーザは、ホストである演算処理装置１０上に、予め表示装置制御ソフトウェアを導入しておく。表示装置制御ソフトウェアの導入は、演算処理装置１０の購入時に予め備えられている場合の他、ＣＤ−ＲＯＭ等の記憶媒体を介して提供される方法、インターネット等のネットワークを介してダウンロードする方法等がある。この表示装置制御ソフトウェアは、端末(表示装置５０)の接続を制御する部分と、無線モードにおいて描画情報の制御を行う部分とに分かれている。
【００３１】
この表示装置制御ソフトウェアは、ホストである演算処理装置１０に対して端末(表示装置５０)が接続されたかどうかを監視し、表示装置５０が接続された場合には、有線接続モードとなり、ビデオ信号は有線画像転送線２２を介して表示装置５０に送られる。更に、表示装置制御ソフトウェアは、表示装置５０に対して無線接続に必要な各種情報を送出しておく。必要であれば、接続された表示装置５０の識別子を参照し、認証に必要な情報を表示装置５０に送出している。クレードル４０から切り離された場合には、無線接続モードに遷移し、無線リンクである無線接続経路３０を経由して画面情報を送出している。
【００３２】
有線接続経路２０を介して通信を行う有線接続モードでは、ＣＰＵ１１は、主記憶１２上の命令・データを用いて何らかの処理を行い、その結果、表示すべき内容を矩形や線分といった、画面イメージの代わりに転送される画面描画コマンドである描画プリミティブ(Primitive)として、グラフィックスアダプタ１３に渡している。グラフィックスアダプタ１３では、受け取った描画プリミティブの内容に従って、フレームメモリ１４上に画像イメージが生成される。グラフィックスアダプタ１３は、生成された画像イメージを定期的に読み出し、読み出した画像イメージを有線通信装置１５に送っている。また、有線通信装置１５は、グラフィックスアダプタ１３から受け取った画像イメージを有線画像転送線２２に送出している。
【００３３】
無線接続経路３０を介して通信を行う無線接続モードにおいて、ＣＰＵ１１は、まず、有線接続モードと同様に、フレームメモリ１４上に画像イメージを生成する。更に、生成された画像イメージのデータを無線通信装置１６を経由して表示装置５０に渡している。あるいは、主記憶１２上の命令・データを用いて何らかの処理を行い、その結果、表示すべき内容を描画プリミティブの形式に変換した後、無線通信装置１６を経由して、その描画プリミティブを表示装置５０に転送している。
【００３４】
無線通信装置１６は、表示装置５０側の無線通信装置(後述)との間でデータの送受を行っている。無線通信装置１６の例としては、ＩＥＥＥ８０２.１１等のワイヤレスＬＡＮや、ブルートゥース(Bluetooth)等が挙げられる。有線データ転送線２１も演算処理装置１０と表示装置５０との間のデータの送受を行っており、この有線データ転送線２１の例としては、ＤＤＣ(Display Data Channel)やＵＳＢ等が挙げられる。
【００３５】
図４は、クレードル４０を説明するためのブロック図である。クレードル４０は、コネクタ４１と着脱検出装置４２とを備えており、有線データ転送線２１および有線画像転送線２２から受けた信号をコネクタ４１を経由して表示装置５０に伝達している。着脱検出装置４２は、クレードル４０に表示装置５０が着脱されたことを電気的に検出し、その情報を有線データ転送線２１を通じて演算処理装置１０に送出している。着脱検出装置４２による着脱の検出方法としては、例えば、機械的スイッチを用いる方法がある。また、コネクタ４１を介して表示装置５０と情報をやり取りする信号線を監視し、その信号レベルを検出するなどの方法が考えられる。
【００３６】
尚、着脱検出装置４２をクレードル４０の内部に設けるのではなく、演算処理装置１０の内部に設けるように構成することもできる。かかる場合には、演算処理装置１０のＣＰＵ１１が有線データ転送線２１を介して表示装置５０と定期的に情報のやり取りを行うようにしておき、一定時間以上、情報のやり取りが確認できた場合に、有線画像転送線２２が接続されたと判断すれば良い。
【００３７】
図５は、表示装置５０を詳述するためのブロック図である。表示装置５０は、前述したコネクタ５１、有線接続経路２０を介して情報の送受を行う有線通信装置５２、無線接続経路３０を介して情報の送受を行う無線通信装置５３、画像イメージを生成するグラフィックスアダプタ５４、グラフィックスアダプタ５４にて生成された画像イメージを展開するフレームメモリ５５、ユーザに対して画像イメージを出力する表示パネル５６、ユーザからの入力操作を受け付ける入力装置５７、および有線接続経路２０との接続状態を検出する着脱検出装置５８とを備えている。
【００３８】
表示装置５０は、有線接続経路２０からコネクタ５１と有線通信装置５２とを経由して、または無線接続経路３０から無線通信装置５３を経由して、演算処理装置１０から画像イメージや描画プリミティブを受け取り、それらをグラフィックスアダプタ５４に送っている。グラフィックスアダプタ５４は、フレームメモリ５５上に完全な画像イメージを生成している。生成された画像イメージは、表示パネル５６上に写し出される。
【００３９】
また、入力装置５７は、表示装置５０を使用するユーザの入力を受けて、これを有線データ転送線２１あるいは無線接続経路３０を通じて演算処理装置１０に送っている。入力装置５７の例としては、タッチパネル、スイッチ、トラックボール、トラックポイント、マイクロフォン、カメラ、指紋照合器などが挙げられる。着脱検出装置５８は、前述したクレードル４０の着脱検出装置４２と同様に、表示装置５０がクレードル４０に着脱されたことを電気的に検出している。着脱を検出する方法としては、機械的なスイッチを用いる方法や、コネクタ５１を流れる信号を監視して、その信号レベルの変化を検出する方法などが考えられる。
【００４０】
次に、本実施の形態におけるシステムの動作について説明する。
図６は、演算処理装置１０における接続モードの切り替え動作を示したフローチャートである。ここでは、有線接続モードおよび無線接続モードの切り替え動作が示されている。演算処理装置１０のＣＰＵ１１は、有線データ転送線２１を通じてクレードル４０の着脱検出装置４２から信号を得て(ステップ１０１)、表示装置５０の着脱状態が変化したか否かを判断する(ステップ１０２)。着脱状態が変化しなければ、ステップ１０１に戻る。着脱状態が変化した場合には、変化後の着脱状態を見る(ステップ１０３)。装着状態であれば、有線接続モードに遷移して(ステップ１０４)、ステップ１０１に戻る。分離(離脱)状態であれば、無線接続モードに遷移して(ステップ１０５)、ステップ１０１に戻る。
【００４１】
ここで、クレードル４０の着脱検出装置４２が表示装置５０の着脱状態を検出する方法としては、いくつかの方法が考えられる。例えば、有線画像転送線２２を監視して、信号線の終端が接続されたことによる信号レベルの変化を電気的に検出することで、装着状態であると判断する方法がある。また、例えば、機械的なスイッチをクレードル４０に設け、表示装置５０がクレードル４０に物理的に装着されたことを検出する方法がある。更に、例えば、有線データ転送線２１を介して表示装置５０と定期的に情報のやり取りが行われるように構成し、一定時間以上、情報のやり取りが確認できた場合、接続されたと判断する方法がある。
【００４２】
図７は、演算処理装置１０における有線接続モードへの遷移を説明するためのフローチャートである。演算処理装置１０では、有線画像転送線２２が接続されたと判断された場合に、有線接続モードに遷移する。まず、ＣＰＵ１１は、有線データ転送線２１を介して表示装置５０の情報を取得する(ステップ１１１)。ここで取得する情報とは、表示装置５０の表示解像度、最高画面更新周波数などである。取得された情報を用いて、ＣＰＵ１１によるグラフィックスアダプタ１３の初期化等、有線接続モード用に演算処理装置１０を初期化する(ステップ１１２)。これによって、表示装置５０にとって都合の良い解像度・転送速度で画像データを送出することが可能となる。演算処理装置１０は、有線画像転送線２２を通じて画像データの送出を開始する(ステップ１１３)。
【００４３】
次に、ＣＰＵ１１は、無線接続をするための情報と認証のための情報を有線データ転送線２１を介して表示装置５０に送出する(ステップ１１４)。ＣＰＵ１１は、その後、無線通信装置１６を経由して、表示装置５０からの認証要求の到着を待つ(ステップ１１５)。認証要求が来た場合には、認証要求に基づいて表示装置５０の認証を行い(ステップ１１６)、無線接続モードへの遷移に備える。このように、通常の無線通信では、無線通信を行う際に無線接続経路３０を介して無線接続のための情報のやり取りが実行されるのに対して、本実施の形態では、無線接続をするための情報および認証のための情報のやり取りを、予め有線接続経路２０を利用して実行している点に特徴がある。言い換えると、本実施の形態では、有線接続と無線接続とを併せ持ち、有線接続時に無線接続に必要とされる情報を予め表示装置５０に対して有線で転送している。そして、有線接続時に、無線接続に必要とされる認証を済ませておくことが可能となる。
【００４４】
図８(ａ)〜(ｃ)は、無線接続と認証に必要なデータとその授受を示したものである。図８(ａ)に示すステップ１では、有線接続経路２０の有線データ転送線２１を介し、演算処理装置１０から表示装置５０に対して送出される無線接続に必要な情報が示されている。無線接続に必要な情報としては、無線接続プロトコルとして、ＩＥＥＥ８０２.１１およびＴＣＰ/ＩＰを想定すると、ＩＥＥＥ８０２.１１の基本仕様であるＥＳＳＩＤ(Extended Service Set Identity)、エラーや改ざんの有無をチェックするＷＥＰ(Wired Equivalent Privacy)のように、無線リンクレイヤの接続のために必要な情報がある。また、ＩＰアドレス(IP address)やゲートウェイアドレス(Gateway address)、ＩＰアドレスを分けるときに用いられるネットマスク(Netmask)のように、ネットワークレイヤの接続に必要な情報、あるいは、それらを取得するためのＤＨＣＰ(Dynamic Host Configuration Protocol)などの情報がある。また、ホスト(演算処理装置１０)の識別子であるホストアドレス(Host address)などの情報が挙げられる。
【００４５】
尚、この図８(ａ)に示すステップ１では、無線接続に必要な情報を無条件に表示装置５０に対して送出するだけではなく、所定の条件下において送出するように構成することができる。例えば、予め接続を許可すべき表示装置５０ごとの固有のＩＤを演算処理装置１０内に登録しておき、有線接続時に表示装置５０の固有のＩＤを調べて、接続許可のある場合にだけ無線接続時に必要な情報を送るように構成することができる。
【００４６】
図８(ｂ)に示すステップ２では、有線データ転送線２１を介して、無線接続に際して情報のアクセスを許可するための認証に必要な情報が送出される。この認証に必要な情報としては、演算処理装置１０の公開鍵、セッションＩＤなどが挙げられる。
図８(ｃ)に示すステップ３では、表示装置５０から演算処理装置１０に対して無線接続がなされ、表示装置５０から演算処理装置１０に対して認証要求が送信される。
【００４７】
表示装置５０では、図８(ａ)に示すステップ１で送られた情報によって、無線インターフェースを初期化する。その後、図８(ｂ)に示すステップ２で送られたセッションＩＤを演算処理装置１０の公開鍵で暗号化して、無線接続経路３０を介して無線で転送している。但し、暗号化は必須ではなく、また、他の暗号化方法でも構わない。尚、この無線接続による認証要求の送信は、表示装置５０が有線接続経路２０に接続されているか否かに関係なく実行することが可能である。表示装置５０がクレードル４０から離脱される前に認証の作業を全て終了させることができれば、無線通信への移行が速やかに行える点で優れている。
【００４８】
図９は、演算処理装置１０における無線接続モードに遷移する際の処理を示したフローチャートである。演算処理装置１０におけるＣＰＵ１１は、クレードル４０の着脱検出装置４２によって表示装置５０がクレードル４０から分離されたと判断された場合に、無線接続モードに遷移する。無線接続モードにて、ＣＰＵ１１は、まず、有線画像転送線２２を通じた画像データの送信を停止する(ステップ１２１)。次に、無線接続経路３０を通じて画像データの送信を開始する(ステップ１２２)。ここで、表示装置５０は既に認証されており、直ちに無線接続経路３０を介した通信が可能となる。即ち、本実施の形態では、有線接続時から無線接続時への遷移においても、ユーザの明示的なモード変更の操作が不要であり、無線接続端末である表示装置５０を単にケーブル(クレードル４０)から切り離すだけで、直ちに接続モードを変更することが可能となる。
【００４９】
図１０は、演算処理装置１０にてなされる無線接続モードにおける転送方式の切り替え処理を示したフローチャートである。無線接続モードにおいて、画像データは、無線接続経路３０を介して演算処理装置１０から表示装置５０に送られる。転送されるデータは、表示内容によってその転送方式が切り替えられ、効率の良い転送が行われる。無線接続モードにおける転送方式の切り替えにおいて、ＣＰＵ１１は、まず、一定時間待った後に(ステップ１３１)、通信経路上のデータサイズを監視し、データサイズが設定値を超えたか否かが判断される(ステップ１３２)。ステップ１３１にて一定時間待つ理由は、画面情報が一時的に変わる場合があることを考慮し、平滑化(平均化)するためである。
【００５０】
このステップ１３２は、一定時間内にどれだけのデータが送られたか判断するものであり、ステップ１３２にて、データサイズが予め定められた設定値を超えておらず、設定値よりも小さい場合には、描画プリミティブを使った転送モードに遷移する(ステップ１３３)。一方、データサイズが予め定められた設定値を超えた場合には、画像を蓄積して変化した領域を画像イメージとして転送するモードに遷移する(ステップ１３４)。即ち、本実施の形態では、転送方式として、描画プリミティブベースの描画指示プロトコルの他、ホスト上の画面バッファに描画イメージを積算し適当なタイミングにて画面のスナップショットを端末(表示装置５０)に転送する機能、の２種を備えている。
【００５１】
尚、このステップ１３２では、転送方式の切り替えの指標(特徴量)として、通信経路上のデータサイズの量を用いたが、それ以外の指標(特徴量)を用いて動的に切り替えることが可能である。例えば、以下のような代替手段がある。
・「描画プリミティブ」プロトコルを用いた場合の描画データ量。より正確には、描画プリミティブにおけるシーケンスのサイズと、それらの描画処理により生成される画面イメージの量の比。
・ネットワークの実効バンド幅
・表示装置５０の描画性能
・通信経路上データサイズの変化量
【００５２】
図１１は、図１０のステップ１３４にて示した無線接続モードにおける画像イメージとして転送するモードの処理を示したフローチャートである。演算処理装置１０のＣＰＵ１１は、描画命令を受信した後(ステップ１４１)、グラフィックスアダプタ１３を介してフレームメモリ１４上に描画を行う(ステップ１４２)。その後、ＣＰＵ１１は、画面イメージを送信すべきか否かを判断する(ステップ１４３)。判断する指標としては、例えば、画面上のデータの変化した量が設定値を超えたか否かを判断基準とすることができる。また、設定された数以上の描画命令が処理されたか否か、最後に画面イメージを送信してから設定された以上の時間が経過したか否か、表示装置５０からの送信要求を受け取ったか否か、等を判断することができる。例えばこれらの何れか１つ、あるいは複数の条件が成立した場合、ＣＰＵ１１は、変化した領域を計算し、送信すべき領域を算出する(ステップ１４４)。そして、該当するイメージをフレームメモリ１４から読み出した後に、読み出した画像イメージの符号化を行う(ステップ１４５)。その後、符号化された画像イメージは無線通信装置１６に送られ、無線接続経路３０を介して表示装置５０に送出されて(ステップ１４６)、処理が終了する。ステップ１４３にて、画像イメージを送信すべきでないと判断される場合には、そのまま処理が終了する。
【００５３】
図１２は、図１０のステップ１３３にて示した描画プリミティブを用いた転送モードの処理を示したフローチャートである。演算処理装置１０のＣＰＵ１１は、描画命令を受信した後(ステップ１５１)、グラフィックスアダプタ１３を介してフレームメモリ１４上に描画を行う(ステップ１５２)。次に、ＣＰＵ１１は、受信した描画命令を描画プリミティブに変換し、更にそれを符号化する(ステップ１５３)。符号化された描画プリミティブは、無線通信装置１６に送られ、無線接続経路３０を介して表示装置５０に送出されて(ステップ１５４)、処理が終了する。
【００５４】
このように、本実施の形態では、通信経路上のデータサイズに応じて、描画プリミティブで送出するか、変化した領域を画像イメージとして転送するか、を切り替えている。言い換えれば、描画プリミティブを使った転送モードに対して、ステップ１３２の予め定められた設定値を超えた場合に、画像イメージとして転送するモードに遷移する。このように構成することで、例えば、変化した領域を画像イメージとして転送する場合には、同じエリアを同じ色で２回塗る等の無駄な転送を防止することも可能になり、反応時間(Latency)を犠牲にすれば、例えば、演算処理装置１０内において変化している部分の蓄積により、転送間隔を遅らせることで無線接続経路３０上のデータサイズを調整することが可能となる。
【００５５】
次に、無線接続端末である表示装置５０における処理について説明する。
図１３は、表示装置５０にてなされる接続モード切り替えに関するフローチャートである。接続モードの切り替えに際し、表示装置５０は、まず、着脱検出装置５８により着脱状態に対する信号を得る(ステップ２０１)。そして、着脱状態が変化したか否かが判断される(ステップ２０２)。変化していない場合には、ステップ２０１に戻り、着脱検出装置５８からの信号を待つ。着脱状態が変化した場合には、その着脱状態の判断がなされる(ステップ２０３)。表示装置５０がクレードル４０に対してコネクタ５１およびコネクタ４１を介して接続され、有線接続経路２０が接続状態にあるときには、有線接続モードに遷移し(ステップ２０４)、分離状態にあるときには、無線通信モードに遷移し(ステップ２０５)、各々ステップ２０１に戻る。
【００５６】
図１４は、図１３のステップ２０４に示した有線接続モードへの遷移を説明するためのフローチャートである。有線接続モードに遷移するに際して、表示装置５０は、有線接続モード用に初期化される(ステップ２１１)。これには、有線通信装置５２およびグラフィックスアダプタ５４の初期化が含まれる。これによって、演算処理装置１０から送られた画像データが表示パネル５６上に映し出されるようになる。次に、有線接続経路２０の有線画像転送線２２を通じて画像データの表示を開始し(ステップ２１２)、無線接続モード用の情報(無線接続情報)と認証情報とを受信する(ステップ２１３)。ここで受信される情報は、図８にて説明したものである。更に、表示装置５０は、無線通信装置５３を初期化し(ステップ２１４)、無線接続経路３０を介して演算処理装置１０と論理的に接続される。最後に、表示装置５０は、無線接続経路３０を経由して認証要求を演算処理装置１０へ送る(ステップ２１５)。
【００５７】
このようにして、本実施の形態では、有線接続経路２０を介して無線接続モード用の情報と認証情報とを受信した後、無線接続経路３０を経由して認証要求を送る作業を実現している。このように構成することで、一般に煩雑で危険性のある無線接続時の設定を自動的に行うことができ、また、有線接続時と無線接続時のスムーズな切り替えを可能としている。これによって、専門知識のないユーザでも無線接続端末(表示装置５０等)を簡便に利用することができる。
【００５８】
有線接続モードにおいて、表示装置５０は、画像データを有線画像転送線２２を経由して受け取る。受け取った画像データは、有線通信装置５２を経由してグラフィックスアダプタ５４に送られる。グラフィックスアダプタ５４は、受け取った画像データをフレームメモリ５５上に展開する。また、グラフィックスアダプタ５４は、フレームメモリ５５の内容を定期的に読み取り、表示パネル５６上に映し出している。このように、有線接続時においては、従来の表示装置と同等の機能等を得ることができる。
【００５９】
図１５は、図１３のステップ２０５にて示した無線接続モードへの遷移を説明するための図である。無線接続端末である表示装置５０では、まず、有線画像転送線２２を介して送られてきた画像データの受信および表示を停止する(ステップ２２１)。その後、無線接続経路３０を介して送られてきた画像データの表示を開始する(ステップ２２２)。
【００６０】
無線接続モードにおいて、表示装置５０の無線通信装置５３は、無線接続経路３０を経由して、演算処理装置１０から送られてきた画像データあるいは描画プリミティブを受信する。受信したデータは、グラフィックスアダプタ５４に送られる。グラフィックスアダプタ５４では、送られてきたデータに基づき、フレームメモリ５５上に最終的な画像を展開する。そして、グラフィックスアダプタ５４は、このフレームメモリ５５に展開された内容を定期的に読み取り、表示パネル５６上に映し出す。このようにして、無線接続モードにおける表示動作が実行される。
【００６１】
以上、詳述したように、本実施の形態では、無線接続端末である表示装置５０は、有線接続経路２０と無線接続経路３０との通信経路を併せ持ち、両者を切り替えて使用している。これによって、有線接続時においては従来の表示装置と同じ機能、性能、操作性を有し、具体的には、表示できる色数、画面更新速度などが従来の有線接続表示装置と同等とすることが可能である。更に、表示装置５０側の設定無しにケーブルで接続するだけで直ちに使用可能とすることができる。
【００６２】
また、本実施の形態では、有線接続モードにおいて、ホスト(演算処理装置１０)と端末(表示装置５０)との間を接続するケーブルは一対一の接続であり、安全な通信経路(制御線)であると見なすことができる点に着目している。また、有線接続ケーブルである有線接続経路２０と無線接続経路３０の無線リンクとは排他的ではなく、同時に使用できる点に着目している。この前提において、有線接続時に無線接続のための情報を予めホスト側である演算処理装置１０から端末である表示装置５０側に送出しておき、更に必要な認証作業も予め完了させている。これによって、無線接続時の動作のために、予め表示装置５０側にて設定作業を行う必要がない。また、有線接続時から無線接続時への遷移においても、ユーザの明示的なモード変更の操作が不要であり、単に表示装置５０をケーブル(あるいはクレードル４０)から切り離すだけで、直ちに接続モードの変更を行うことができる。
【００６３】
更に、無線接続経路３０を用いた表示データの転送方式として、描画プリミティブベースの描画指示プロトコルと、画面イメージのスナップショットの差分情報として画像イメージを送出するプロトコルのとの２種を備え、画面表示データのある特徴量により、動的に両者を切り替えることが可能となる。これによって、有線接続時に比べて転送能力の劣る無線接続時において、実用上、十分な表示性能を確保することが可能となる。
【００６４】
【発明の効果】
このように、本発明によれば、端末との間で有線接続経路および無線接続経路を備えるシステムにおいて、有線接続時と無線接続時のスムーズな切り替えを行うことができる。
【図面の簡単な説明】
【図１】本実施の形態におけるシステムの概略構成を説明するための図である。
【図２】本実施の形態におけるシステムの全体構成を示したブロック図である。
【図３】本実施の形態におけるシステム構成を更に詳述したブロック図である。
【図４】本実施の形態におけるクレードルを説明するためのブロック図である。
【図５】本実施の形態における表示装置を詳述するためのブロック図である。
【図６】演算処理装置における接続モードの切り替え動作を示したフローチャートである。
【図７】演算処理装置における有線接続モードへの遷移を説明するためのフローチャートである。
【図８】 (ａ)〜(ｃ)は、無線接続と認証に必要なデータとその授受を示した図である。
【図９】演算処理装置における無線接続モードに遷移する際の処理を示したフローチャートである。
【図１０】演算処理装置にてなされる無線接続モードにおける転送方式の切り替え処理を示したフローチャートである。
【図１１】無線接続モードにおける画像イメージとして転送するモードの処理を示したフローチャートである。
【図１２】描画プリミティブを用いた転送モードの処理を示したフローチャートである。
【図１３】表示装置にてなされる接続モード切り替えに関するフローチャートである。
【図１４】有線接続モードへの遷移を説明するためのフローチャートである。
【図１５】無線接続モードへの遷移を説明するための図である。
【符号の説明】
１０…演算処理装置(ホスト)、１１…ＣＰＵ、１２…主記憶、１３…グラフィックスアダプタ、１４…フレームメモリ、１５…有線通信装置、１６…無線通信装置、２０…有線接続経路、２１…有線データ転送線、２２…有線画像転送線、３０…無線接続経路、４０…クレードル、４１…コネクタ、４２…着脱検出装置、５０…表示装置、５１…コネクタ、５２…有線通信装置、５３…無線通信装置、５４…グラフィックスアダプタ、５５…フレームメモリ、５６…表示パネル、５７…入力装置、５８…着脱検出装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a system having a wired connection path and a wireless connection path with a terminal such as a display device, and more particularly to a system that enables smooth switching between wired connection and wireless connection. .
[0002]
[Prior art]
In recent years, for example, there are products that include a monitor that can be easily carried while being enjoyed by e-mail communication and the Internet. This product, for example, includes a base station and a portable LCD monitor, so you can enjoy the Internet and email communications wirelessly if you move around the house with just the monitor.
[0003]
Such a conventional product has a browser function of WWW (World Wide Web), is configured to communicate with the server using the HTML protocol and receive the display protocol, and the connection destination is limited to the WWW server. It is common. Further, the software built in the display terminal in advance is limitedly connected only to the corresponding host. Furthermore, it does not have the same display function and performance as a wired connection.
[0004]
[Problems to be solved by the invention]
Now, consider a display device having two connection modes, wired connection and wireless connection. For example, when the display device is near the computer (host) that is the connection destination, both are connected and wired to ensure the same display speed as a conventional wired display device. On the other hand, when both are separated, wireless connection is made to ensure diversity of operation modes.
[0005]
Here, as a device having two connection modes of wired connection and wireless connection, for example, a base called a cradle is provided, and a terminal is placed on the cradle to enter a wired connection mode. Can be considered. In the case of such a device, it is expected that the mode switching between wireless and wired will be frequently performed, but authentication work such as inputting a password at the time of connection, such as remote connection via a general network, is required. If necessary, the convenience of having two connection modes will be lost.
[0006]
Currently, a cable that connects a host and a monitor such as a CRT employs a technique for constantly transferring a screen image in synchronization with the refresh cycle. For example, when the screen size is XGA (Extended Graphics Array), the amount of data per pixel is 16 bits, and the refresh rate is 60 Hz, the overall data rate is about 750 Mbps. On the other hand, in a general wireless LAN, since the transfer rate is 11 Mbps at the maximum, data in the same format used for wired connection cannot be transferred by wireless connection.
[0007]
Further, a method of transferring a screen drawing command (primitive) instead of the screen image and developing it into an image on the display device side, or transferring only the difference of the screen image on the host side can be considered. According to these methods, the screen update response on the display device side is good while the drawing frequency of the screen is low, but when a large amount of drawing is performed, the transmission path becomes a bottleneck as in the image transfer method. Although a method of transferring only the screen image difference on the host side is conceivable, it is difficult to detect the image difference. For example, if the difference is simply obtained by software, it itself becomes an overhead.
[0008]
Furthermore, a method of processing a large number of drawing commands at high speed on the host side and sending a screen snapshot (or a difference image between the snapshots) to the display device at an appropriate interval is also conceivable. However, in such a method, when the drawing frequency is relatively low, the drawing response is deteriorated as compared with the drawing primitive method.
[0009]
The present invention has been made in order to solve the technical problems as described above, and the object of the present invention is to automatically perform settings required at the time of wireless connection, and at the time of wired connection and wireless connection. It is to enable smooth switching of time.
Another object is to secure real-time characteristics even when there is a large amount of drawing while securing a response of a primitive method by a screen drawing command.
[0010]
[Means for Solving the Problems]
For this purpose, according to the present invention, in the wired connection mode, the wired connection path connecting the arithmetic processing unit and the terminal is a one-to-one connection, and can be regarded as a safe communication path. And wireless connection paths are not exclusive and can be used at the same time. In communication between a terminal such as a display device and a processing unit as a host, wired connection that is communication via a wired connection path There are two connection modes, a wireless connection mode, which is a communication through a mode and a wireless connection path, and information transfer necessary for the wireless connection mode is executed in the wired connection mode.
[0011]
That is, in the system to which the present invention is applied, the arithmetic processing unit communicates via a wireless connection path between a wired communication unit that communicates with a terminal via a wired connection path and a wireless connection path. For wireless connection Necessary information and wireless connection route Wireless connection in communication via It is characterized by comprising sending means for sending information necessary for authentication to the terminal using wired communication means before entering the wireless connection mode.
[0012]
Here, it is provided directly or indirectly with respect to the arithmetic processing unit, and includes an attaching / detaching means (for example, a cradle) for attaching / detaching the terminal. For example, a conventional terminal is further provided with detection means for detecting this and switching means for switching between communication via a wired connection path and communication via a wireless connection path based on the detection result. This is preferable in that it can appropriately switch between a wired connection mode that maintains the same functions, performance, and operability as the wireless communication mode and a wireless connection mode that improves convenience.
[0013]
From another point of view, the present invention is characterized in that a plurality of display data transfer methods are dynamically switched according to some feature amount. For example, the display data transfer method is switched according to the characteristics of displayed data. ing. That is, the present invention is a system including a display device and an arithmetic processing device that communicates with the display device via a wireless connection path. The arithmetic processing device is a drawing that includes a screen drawing command. First transfer means for transferring to the display device by a primitive-based drawing instruction protocol, and second transfer for transferring to the display device by a protocol for sending an image image as difference information of a snapshot of a screen image And a switching means for switching between the first transfer means and the second transfer means based on a predetermined feature amount.
[0014]
Here, the predetermined feature amount may be at least one of a data size on the communication path, a change amount, an effective bandwidth of the network, and a drawing performance of the display device. Thereby, it is possible to ensure practically sufficient display performance even in the wireless connection mode in which the data transfer capability is inferior to that in the wired connection mode.
[0015]
Further, after receiving the drawing command, the second transfer means determines whether or not to transmit a screen image based on a predetermined index. If it is determined that the screen image should be transmitted, the calculated transmission is performed. It is characterized in that an image based on the area to be transmitted is transmitted.
Here, the predetermined index is that when the amount of change of the screen image exceeds the set value, when more than the set number of drawing commands are processed, the time set since the last transmission of the image image is set. It is excellent in that image data can be efficiently transferred if it is characterized in that it is at least one of when it has passed and when a transmission request is received from the display device.
[0016]
Of course, the present invention can be understood as a host device and an arithmetic processing device. That is, the present invention is an arithmetic processing device (host device) that has a wired connection mode and a wireless connection mode and communicates with a terminal, and a wired communication means for communicating with the terminal via a wired connection path And wireless communication means for performing wireless communication with the terminal via the wireless connection path, and communication via the wireless connection path before communication with the terminal by the wireless communication means. For wireless connection Sending means for sending necessary information to the terminal using wired communication means, judging means for judging whether or not the terminal has left the wired connection path, and when judging that this terminal has been detached And switching means for switching to wireless communication via a wireless connection path based on the wireless communication means.
[0017]
An arithmetic processing apparatus to which the present invention is applied includes a CPU, a graphics adapter that generates image data based on a drawing command, a frame memory that develops image data generated by the graphics adapter, and a drawing primitive. And a wireless communication device that transmits data for drawing to the display device in a transfer mode using the CPU, and the CPU determines whether or not to transmit an image image based on a predetermined index and transmits the image. The wireless communication device calculates the area to be read and reads the image image from the frame memory. The wireless communication device transfers the read image image data to the display device via the wireless connection path instead of the transfer mode using the drawing primitive. Sending out.
[0018]
Here, if the CPU calculates an area to be transmitted based on a change in data in the image image developed in the frame memory, for example, the data is compared with a case where all image images are transferred. Even when the amount of size is reduced, it is possible to ensure practically sufficient display performance.
[0019]
On the other hand, the present invention can be understood as a terminal such as a display device. That is, the present invention is a wireless connection terminal that communicates with an arithmetic processing device via a wired connection path and a wireless connection route, and a wired communication means that communicates with the arithmetic processing device via a wired connection path; Wireless communication means for communicating with the arithmetic processing unit via a wireless connection path, and this wired communication means communicates via the wireless connection path prior to communication via the wireless connection path. For wireless connection Necessary information, communication via wireless connection path Wireless connection It is characterized in that information necessary for authentication is received via a wired connection path.
[0020]
Here, the wireless communication means may be characterized in that an authentication request based on information necessary for authentication received by the wired communication means is wirelessly transferred to the arithmetic processing device.
And detecting means for detecting whether or not the wired connection path is cut off. Based on the detection by the detecting means, the communication of data by the wired communication means is stopped, and the communication by the wireless communication means is performed. Can be a feature.
Furthermore, based on the data received via the wireless connection path, a developing means such as a graphics adapter that expands the image in the frame memory, and a display panel or the like that reads and displays the image expanded in the frame memory And means.
[0021]
From another category, the present invention Wired connection path and Wireless connection path Is a data transfer method for performing communication between an arithmetic processing unit and a terminal via a terminal, Wired connection path To see if your device is connected to Wired connection path When connected to Wireless connection path Information required for wireless connection in communication via Wired connection path And performing authentication required for wireless connection.
[0022]
Here, paying attention to the point that the wired connection cable and the wireless link can be used simultaneously rather than exclusively, from the arithmetic processing unit Wired connection path The session ID is transferred to the terminal via Wireless connection path The session ID can be transferred to the arithmetic processing unit via the.
[0023]
In addition, the present invention provides a connection between a display device and an arithmetic processing device. Wireless connection path A data transfer method for communicating via Wireless connection path A first transfer method for detecting a predetermined feature amount in communication via a network, and transferring the screen to a display device using a drawing primitive-based drawing instruction protocol including a screen drawing command based on the detected feature amount; It is characterized in that the second transfer method for transferring to the display device is switched by a protocol for sending an image as difference information of the snapshot of the image.
[0024]
It should be noted that these configurations of the present invention can be grasped as a program for causing a computer to realize these functions. These computer programs can be provided, for example, to a computer that is an arithmetic processing unit, for example, from a remote program transmission device via a network. As this program transmission device, a storage means such as a CD-ROM, DVD, memory, hard disk or the like in which the program is stored, a program is read from these storage means, and a connector, the Internet, a LAN, etc. And a transmission means for transmitting via the network.
[0025]
These computer programs can also be directly provided by a storage medium such as a CD-ROM or DVD. In such a case, a computer such as a PC on which the program is installed only needs to have a storage medium reading function (CD-ROM drive, DVD drive, etc.).
[0026]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail based on embodiments shown in the accompanying drawings.
FIG. 1 is a diagram for explaining a schematic configuration of a system according to the present embodiment. The system to which the present embodiment is applied includes, for example, an arithmetic processing device (host) 10 that performs image processing and outputs image image data, and is electrically connected to the arithmetic processing device 10 via a wired connection path (wired connection line) 20. And a display device 50 as a wireless connection terminal (terminal) configured to be detachable from the cradle 40.
[0027]
The cradle 40 is a stand-type docking station, but the arithmetic processing device 10 and the cradle 40 are integrated into the same housing, and the display device 50 is configured to be detachable directly from the arithmetic processing device 10, and wired connection is made. You may comprise so that the path | route 20 may be provided in the inside of the housing | casing. That is, as shown in FIG. 1, when the wired connection path 20 is exposed to the outside of the processing unit 10 and the cradle 40 is provided separately from the casing of the processing unit 10, the cradle 40 is connected to the processing unit 10. Is provided “indirectly”. On the other hand, when it is the same housing | casing, it can be said that it is provided "directly".
[0028]
FIG. 2 is a block diagram showing the overall configuration of the system according to the present embodiment. The cradle 40 includes a connector 41, and the display device 50 includes a connector 51. The display device 50 is physically coupled to the cradle 40 by attaching the connector 51 to the connector 41, and is further electrically coupled via the connector 41 and the connector 51. As a result, the arithmetic processing device 10 and the display device 50 are connected by the wired connection path 20. Further, even when the display device 50 is detached from the cradle 40, the display device 50 is logically connected by the wireless connection path 30 and can exchange wireless image information and wireless data.
[0029]
FIG. 3 is a block diagram illustrating in more detail the system configuration in the present embodiment. The wired connection path 20 includes a wired data transfer line 21 and a wired image transfer line 22. The wired data transfer line 21 bi-directionally transfers information other than the image image in the communication between the arithmetic processing unit 10 and the cradle 40. The wired image transfer line 22 receives image information from the arithmetic processing apparatus 10 and transfers it to the cradle 40. Examples of the wired connection path 20 include a combination of a display cable using a coaxial cable and a USB (Universal Serial Bus), a DVI (Digital Visual Interface) cable using a stranded wire, and the like. A normal video connection cable can be used as a control line because it has a bidirectional communication path in addition to a video signal. For example, in the case of analog RGB, in addition to a video cable, a USB cable, etc. Can be used together as a control line.
[0030]
The arithmetic processing unit 10 also includes a CPU 11 that controls the entire apparatus, a main memory 12 for work of the CPU 11, a graphics adapter 13 that generates image images, and a frame memory that expands image data generated by the graphics adapters 13. 14, a wired communication device 15 that performs communication via the wired connection path 20, and a wireless communication device 16 that transmits and receives data via the wireless connection path 30. In the present embodiment, the user installs display device control software in advance on the arithmetic processing device 10 that is a host. In addition to the case where the display device control software is provided in advance when the arithmetic processing device 10 is purchased, a method provided via a storage medium such as a CD-ROM, a method downloaded via a network such as the Internet, etc. There is. The display device control software is divided into a portion for controlling connection of the terminal (display device 50) and a portion for controlling drawing information in the wireless mode.
[0031]
The display device control software monitors whether or not a terminal (display device 50) is connected to the processing unit 10 that is a host. When the display device 50 is connected, the display device control software enters a wired connection mode, and a video signal is displayed. Is sent to the display device 50 via the wired image transfer line 22. Further, the display device control software sends various information necessary for wireless connection to the display device 50. If necessary, the identifier of the connected display device 50 is referred to and information necessary for authentication is sent to the display device 50. When it is disconnected from the cradle 40, it shifts to the wireless connection mode, and the screen information is transmitted via the wireless connection path 30 that is a wireless link.
[0032]
In the wired connection mode in which communication is performed via the wired connection path 20, the CPU 11 performs some processing using the instructions and data on the main memory 12, and as a result, the screen image such as a rectangle or a line segment is displayed. Is transferred to the graphics adapter 13 as a drawing primitive (Primitive), which is a screen drawing command transferred instead of. In the graphics adapter 13, an image is generated on the frame memory 14 in accordance with the contents of the received drawing primitive. The graphics adapter 13 periodically reads the generated image image and sends the read image image to the wired communication device 15. In addition, the wired communication device 15 sends the image image received from the graphics adapter 13 to the wired image transfer line 22.
[0033]
In the wireless connection mode in which communication is performed via the wireless connection path 30, the CPU 11 first generates an image on the frame memory 14 as in the wired connection mode. Further, the generated image data is transferred to the display device 50 via the wireless communication device 16. Alternatively, some processing is performed using instructions / data on the main memory 12, and as a result, the content to be displayed is converted into a drawing primitive format, and then the drawing primitive is displayed via the wireless communication device 16. 50.
[0034]
The wireless communication device 16 exchanges data with a wireless communication device (described later) on the display device 50 side. Examples of the wireless communication device 16 include a wireless LAN such as IEEE 802.11, Bluetooth, and the like. The wired data transfer line 21 also transmits and receives data between the arithmetic processing unit 10 and the display device 50. Examples of the wired data transfer line 21 include DDC (Display Data Channel) and USB.
[0035]
FIG. 4 is a block diagram for explaining the cradle 40. The cradle 40 includes a connector 41 and an attachment / detachment detection device 42, and transmits signals received from the wired data transfer line 21 and the wired image transfer line 22 to the display device 50 via the connector 41. The attachment / detachment detection device 42 electrically detects that the display device 50 is attached / detached to / from the cradle 40 and sends the information to the arithmetic processing device 10 through the wired data transfer line 21. As a method for detecting attachment / detachment by the attachment / detachment detection device 42, for example, there is a method using a mechanical switch. Further, a method of monitoring a signal line that exchanges information with the display device 50 via the connector 41 and detecting the signal level is conceivable.
[0036]
It should be noted that the attachment / detachment detection device 42 may be provided inside the arithmetic processing device 10 instead of being provided inside the cradle 40. In such a case, when the CPU 11 of the arithmetic processing unit 10 periodically exchanges information with the display device 50 via the wired data transfer line 21, and when the exchange of information is confirmed for a certain time or more. It may be determined that the wired image transfer line 22 is connected.
[0037]
FIG. 5 is a block diagram for explaining the display device 50 in detail. The display device 50 includes the connector 51, the wired communication device 52 that transmits and receives information via the wired connection path 20, the wireless communication device 53 that transmits and receives information via the wireless connection path 30, and a graphic that generates an image. Adapter 54, a frame memory 55 for developing an image generated by the graphics adapter 54, a display panel 56 for outputting an image to the user, an input device 57 for receiving an input operation from the user, and a wired connection path And an attachment / detachment detection device 58 that detects a connection state with the device 20.
[0038]
The display device 50 receives an image image or a drawing primitive from the arithmetic processing device 10 from the wired connection path 20 via the connector 51 and the wired communication device 52 or from the wireless connection route 30 via the wireless communication device 53. , They are sent to the graphics adapter 54. The graphics adapter 54 generates a complete image on the frame memory 55. The generated image is displayed on the display panel 56.
[0039]
The input device 57 receives an input from the user who uses the display device 50 and sends it to the arithmetic processing device 10 through the wired data transfer line 21 or the wireless connection path 30. Examples of the input device 57 include a touch panel, a switch, a track ball, a track point, a microphone, a camera, and a fingerprint collator. The attachment / detachment detection device 58 electrically detects that the display device 50 has been attached / detached to / from the cradle 40, similarly to the attachment / detachment detection device 42 of the cradle 40 described above. As a method of detecting attachment / detachment, a method using a mechanical switch, a method of monitoring a signal flowing through the connector 51, and detecting a change in the signal level can be considered.
[0040]
Next, the operation of the system in this embodiment will be described.
FIG. 6 is a flowchart showing the connection mode switching operation in the arithmetic processing unit 10. Here, switching operation between the wired connection mode and the wireless connection mode is shown. The CPU 11 of the arithmetic processing device 10 obtains a signal from the attachment / detachment detection device 42 of the cradle 40 through the wired data transfer line 21 (step 101), and determines whether or not the attachment / detachment state of the display device 50 has changed (step 102). . If the attachment / detachment state does not change, the process returns to step 101. If the attachment / detachment state has changed, the attachment / detachment state after the change is observed (step 103). If it is in the mounted state, the mode transits to the wired connection mode (step 104) and returns to step 101. If it is in the separated (detached) state, the wireless communication mode is changed (step 105), and the process returns to step 101.
[0041]
Here, several methods are conceivable as a method for the attachment / detachment detection device 42 of the cradle 40 to detect the attachment / detachment state of the display device 50. For example, there is a method in which the wired image transfer line 22 is monitored and a change in the signal level due to the connection of the terminal end of the signal line is electrically detected to determine that it is in the mounted state. Further, for example, there is a method of detecting that the display device 50 is physically mounted on the cradle 40 by providing a mechanical switch on the cradle 40. Further, for example, there is a method in which information is periodically exchanged with the display device 50 via the wired data transfer line 21, and when information exchange is confirmed for a certain time or more, a method of determining that the connection is established. is there.
[0042]
FIG. 7 is a flowchart for explaining the transition to the wired connection mode in the arithmetic processing device 10. In the arithmetic processing unit 10, when it is determined that the wired image transfer line 22 is connected, the arithmetic processing device 10 transitions to the wired connection mode. First, the CPU 11 acquires information on the display device 50 via the wired data transfer line 21 (step 111). The information acquired here is the display resolution of the display device 50, the highest screen update frequency, and the like. Using the acquired information, the arithmetic processing unit 10 is initialized for the wired connection mode, such as initialization of the graphics adapter 13 by the CPU 11 (step 112). As a result, the image data can be transmitted at a resolution and transfer speed convenient for the display device 50. The arithmetic processing unit 10 starts sending image data through the wired image transfer line 22 (step 113).
[0043]
Next, the CPU 11 sends information for wireless connection and information for authentication to the display device 50 via the wired data transfer line 21 (step 114). Thereafter, the CPU 11 waits for the arrival of an authentication request from the display device 50 via the wireless communication device 16 (step 115). If an authentication request is received, the display device 50 is authenticated based on the authentication request (step 116) to prepare for the transition to the wireless connection mode. As described above, in normal wireless communication, when wireless communication is performed, information exchange for wireless connection is performed via the wireless connection path 30, whereas in the present embodiment, wireless connection is performed. This is characterized in that the exchange of information for authentication and information for authentication is executed in advance using the wired connection path 20. In other words, in the present embodiment, both wired connection and wireless connection are provided, and information required for wireless connection at the time of wired connection is transferred to the display device 50 by wire in advance. And at the time of wired connection, it becomes possible to complete the authentication required for wireless connection.
[0044]
FIGS. 8A to 8C show data necessary for wireless connection and authentication and their exchange. Step 1 shown in FIG. 8A shows information necessary for wireless connection sent from the arithmetic processing unit 10 to the display device 50 via the wired data transfer line 21 of the wired connection path 20. As information necessary for wireless connection, assuming IEEE802.11 and TCP / IP as wireless connection protocols, ESSID (Extended Service Set Identity) which is a basic specification of IEEE802.11. There is information necessary for wireless link layer connection, such as (Wired Equivalent Privacy). In addition, information necessary for connection in the network layer, such as IP address, gateway address, and netmask used to separate IP addresses, or to acquire them There is information such as DHCP (Dynamic Host Configuration Protocol). Further, information such as a host address (Host address) which is an identifier of the host (the processing unit 10) can be mentioned.
[0045]
In step 1 shown in FIG. 8A, information necessary for wireless connection can be transmitted not only unconditionally to the display device 50 but also transmitted under predetermined conditions. . For example, a unique ID for each display device 50 that should be permitted to be connected is registered in the arithmetic processing device 10 in advance, and the unique ID of the display device 50 is checked at the time of wired connection. It can be configured to send necessary information at the time of connection.
[0046]
In step 2 shown in FIG. 8B, information necessary for authentication for permitting access to information at the time of wireless connection is transmitted via the wired data transfer line 21. Examples of information necessary for this authentication include the public key of the arithmetic processing device 10 and a session ID.
In step 3 shown in FIG. 8C, wireless connection is made from the display device 50 to the arithmetic processing device 10, and an authentication request is transmitted from the display device 50 to the arithmetic processing device 10.
[0047]
In the display device 50, the wireless interface is initialized based on the information sent in step 1 shown in FIG. Thereafter, the session ID sent in step 2 shown in FIG. 8B is encrypted with the public key of the arithmetic processing unit 10 and transferred wirelessly via the wireless connection path 30. However, encryption is not essential, and other encryption methods may be used. The transmission of the authentication request by wireless connection can be executed regardless of whether or not the display device 50 is connected to the wired connection path 20. If all the authentication operations can be completed before the display device 50 is detached from the cradle 40, it is excellent in that the transition to wireless communication can be performed quickly.
[0048]
FIG. 9 is a flowchart illustrating processing when the arithmetic processing apparatus 10 transitions to the wireless connection mode. The CPU 11 in the arithmetic processing device 10 shifts to the wireless connection mode when the display device 50 is determined to be separated from the cradle 40 by the attachment / detachment detection device 42 of the cradle 40. In the wireless connection mode, the CPU 11 first stops the transmission of image data through the wired image transfer line 22 (step 121). Next, transmission of image data is started through the wireless connection path 30 (step 122). Here, the display device 50 has already been authenticated, and communication via the wireless connection path 30 is immediately possible. In other words, in the present embodiment, even in the transition from wired connection to wireless connection, the user does not need to explicitly change the mode, and the display device 50 that is a wireless connection terminal is simply connected to the cable (cradle 40). It is possible to change the connection mode immediately by simply disconnecting from the network.
[0049]
FIG. 10 is a flowchart showing transfer method switching processing in the wireless connection mode performed by the arithmetic processing unit 10. In the wireless connection mode, the image data is sent from the arithmetic processing device 10 to the display device 50 via the wireless connection path 30. The transfer method of the data to be transferred is switched according to the display contents, and efficient transfer is performed. In switching the transfer method in the wireless connection mode, the CPU 11 first waits for a certain time (step 131), and then monitors the data size on the communication path to determine whether the data size exceeds a set value (step). 132). The reason for waiting for a certain time in step 131 is to smooth (average) the screen information in consideration of the fact that the screen information may change temporarily.
[0050]
This step 132 is to determine how much data has been sent within a certain time. When the data size does not exceed the predetermined set value in step 132 and is smaller than the set value. Transitions to a transfer mode using drawing primitives (step 133). On the other hand, when the data size exceeds a predetermined set value, the mode is changed to a mode in which an image is accumulated and the changed area is transferred as an image (step 134). That is, in this embodiment, as a transfer method, in addition to a drawing primitive-based drawing instruction protocol, a drawing image is accumulated in a screen buffer on the host, and a screen snapshot is sent to the terminal (display device 50) at an appropriate timing. Two types of transfer functions are provided.
[0051]
In this step 132, the amount of data size on the communication path is used as the transfer method switching index (feature value), but it is possible to switch dynamically using other indexes (feature quantities). It is. For example, there are the following alternative means.
The amount of drawing data when using the “drawing primitive” protocol. More precisely, the ratio between the size of the sequence in drawing primitives and the amount of screen image generated by those drawing processes.
・ Effective network bandwidth
-Drawing performance of display device 50
・ Changes in data size on the communication path
[0052]
FIG. 11 is a flowchart showing processing in a mode for transferring as an image in the wireless connection mode shown in step 134 of FIG. After receiving the drawing command (step 141), the CPU 11 of the arithmetic processing unit 10 performs drawing on the frame memory 14 via the graphics adapter 13 (step 142). Thereafter, the CPU 11 determines whether or not to transmit a screen image (step 143). As an index to be determined, for example, whether or not the amount of change of data on the screen exceeds a set value can be used as a determination criterion. In addition, whether or not more than the set number of drawing commands have been processed, whether or not the time that has been set since the last transmission of the screen image has elapsed, and whether or not a transmission request from the display device 50 has been received Or the like. For example, when any one or a plurality of conditions are satisfied, the CPU 11 calculates the changed area and calculates the area to be transmitted (step 144). Then, after the corresponding image is read from the frame memory 14, the read image is encoded (step 145). Thereafter, the encoded image is sent to the wireless communication device 16 and sent to the display device 50 via the wireless connection path 30 (step 146), and the process ends. If it is determined in step 143 that the image should not be transmitted, the process ends.
[0053]
FIG. 12 is a flowchart showing processing in the transfer mode using the drawing primitive shown in step 133 of FIG. After receiving the drawing command (step 151), the CPU 11 of the arithmetic processing unit 10 performs drawing on the frame memory 14 via the graphics adapter 13 (step 152). Next, the CPU 11 converts the received drawing command into a drawing primitive, and further encodes it (step 153). The encoded drawing primitive is sent to the wireless communication device 16 and sent to the display device 50 via the wireless connection path 30 (step 154), and the process ends.
[0054]
As described above, according to the present embodiment, switching between transmission with a drawing primitive or transfer of a changed area as an image image is switched according to the data size on the communication path. In other words, when the transfer mode using the drawing primitive exceeds a predetermined setting value in step 132, the mode is transferred to a transfer mode as an image. With this configuration, for example, when a changed area is transferred as an image, it is possible to prevent unnecessary transfer such as painting the same area twice with the same color, and the reaction time (Latency ) Is sacrificed, for example, the data size on the wireless connection path 30 can be adjusted by delaying the transfer interval by accumulating the changing part in the arithmetic processing unit 10.
[0055]
Next, processing in the display device 50 that is a wireless connection terminal will be described.
FIG. 13 is a flowchart relating to connection mode switching performed by the display device 50. When switching the connection mode, the display device 50 first obtains a signal for the attachment / detachment state by the attachment / detachment detection device 58 (step 201). Then, it is determined whether or not the attachment / detachment state has changed (step 202). If not, the process returns to step 201 and waits for a signal from the attachment / detachment detection device 58. If the attachment / detachment state changes, the attachment / detachment state is determined (step 203). When the display device 50 is connected to the cradle 40 via the connector 51 and the connector 41 and the wired connection path 20 is in the connected state, the display device 50 transitions to the wired connection mode (step 204). The mode is changed (step 205), and each step returns to step 201.
[0056]
FIG. 14 is a flowchart for explaining the transition to the wired connection mode shown in step 204 of FIG. When transitioning to the wired connection mode, the display device 50 is initialized for the wired connection mode (step 211). This includes initialization of the wired communication device 52 and the graphics adapter 54. As a result, the image data sent from the arithmetic processing unit 10 is displayed on the display panel 56. Next, display of image data is started through the wired image transfer line 22 of the wired connection path 20 (step 212), and information for wireless connection mode (wireless connection information) and authentication information are received (step 213). The information received here is the same as that described with reference to FIG. Furthermore, the display device 50 initializes the wireless communication device 53 (step 214) and is logically connected to the arithmetic processing device 10 via the wireless connection path 30. Finally, the display device 50 sends an authentication request to the arithmetic processing device 10 via the wireless connection path 30 (step 215).
[0057]
In this way, in the present embodiment, after receiving the information for wireless connection mode and the authentication information via the wired connection path 20, an operation for sending an authentication request via the wireless connection path 30 is realized. Yes. With this configuration, it is possible to automatically perform settings that are generally complicated and dangerous at the time of wireless connection, and it is possible to smoothly switch between wired connection and wireless connection. Thereby, even a user without specialized knowledge can easily use the wireless connection terminal (the display device 50 or the like).
[0058]
In the wired connection mode, the display device 50 receives image data via the wired image transfer line 22. The received image data is sent to the graphics adapter 54 via the wired communication device 52. The graphics adapter 54 expands the received image data on the frame memory 55. The graphics adapter 54 periodically reads the contents of the frame memory 55 and displays them on the display panel 56. In this way, the function equivalent to that of the conventional display device can be obtained at the time of wired connection.
[0059]
FIG. 15 is a diagram for explaining the transition to the wireless connection mode shown in step 205 of FIG. In the display device 50 which is a wireless connection terminal, first, reception and display of image data sent via the wired image transfer line 22 are stopped (step 221). Thereafter, display of the image data sent via the wireless connection path 30 is started (step 222).
[0060]
In the wireless connection mode, the wireless communication device 53 of the display device 50 receives the image data or the drawing primitive sent from the arithmetic processing device 10 via the wireless connection path 30. The received data is sent to the graphics adapter 54. The graphics adapter 54 develops a final image on the frame memory 55 based on the received data. The graphics adapter 54 periodically reads the content developed in the frame memory 55 and displays it on the display panel 56. In this way, the display operation in the wireless connection mode is executed.
[0061]
As described above in detail, in the present embodiment, the display device 50 that is a wireless connection terminal has both the communication path of the wired connection path 20 and the wireless connection path 30 and switches between the two. As a result, it has the same function, performance, and operability as a conventional display device when connected by wire, and specifically, the number of colors that can be displayed, the screen update speed, etc. should be equivalent to those of a conventional wired connection display device. Is possible. Furthermore, it is possible to immediately use it by simply connecting with a cable without setting on the display device 50 side.
[0062]
In the present embodiment, in the wired connection mode, the cable connecting the host (the processing unit 10) and the terminal (the display device 50) is a one-to-one connection, and a safe communication path (control line). We focus on the point that it can be considered. Further, attention is paid to the fact that the wired connection path 20 which is a wired connection cable and the wireless link of the wireless connection path 30 are not exclusive and can be used simultaneously. Under this premise, information for wireless connection is sent in advance from the arithmetic processing device 10 on the host side to the display device 50 side as a terminal at the time of wired connection, and necessary authentication work is also completed in advance. Accordingly, it is not necessary to perform setting work in advance on the display device 50 side for the operation at the time of wireless connection. In addition, even in the transition from wired connection to wireless connection, there is no need for the user to explicitly change the mode, and the connection mode can be changed immediately by simply disconnecting the display device 50 from the cable (or cradle 40). It can be performed.
[0063]
Furthermore, as a display data transfer method using the wireless connection path 30, there are two types of display primitive-based drawing instruction protocol and a protocol for sending an image image as difference information of a snapshot of the screen image. It is possible to dynamically switch between the two according to a certain feature amount of data. As a result, practically sufficient display performance can be ensured at the time of wireless connection having inferior transfer capability as compared to wired connection.
[0064]
【The invention's effect】
As described above, according to the present invention, smooth switching between wired connection and wireless connection can be performed in a system including a wired connection path and a wireless connection path with a terminal.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a schematic configuration of a system in the present embodiment.
FIG. 2 is a block diagram showing an overall configuration of a system in the present embodiment.
FIG. 3 is a block diagram illustrating in more detail the system configuration in the present embodiment.
FIG. 4 is a block diagram for explaining a cradle in the present embodiment.
FIG. 5 is a block diagram for explaining the display device in this embodiment in detail;
FIG. 6 is a flowchart showing connection mode switching operation in the arithmetic processing unit.
FIG. 7 is a flowchart for explaining transition to a wired connection mode in the arithmetic processing unit.
FIGS. 8A to 8C are diagrams showing data necessary for wireless connection and authentication, and transmission / reception thereof. FIG.
FIG. 9 is a flowchart showing processing when transitioning to a wireless connection mode in the arithmetic processing unit.
FIG. 10 is a flowchart showing transfer method switching processing in the wireless connection mode performed by the arithmetic processing unit.
FIG. 11 is a flowchart showing processing in a mode for transferring as an image in the wireless connection mode.
FIG. 12 is a flowchart showing processing in a transfer mode using drawing primitives.
FIG. 13 is a flowchart relating to connection mode switching performed by the display device.
FIG. 14 is a flowchart for explaining a transition to a wired connection mode.
FIG. 15 is a diagram for explaining transition to a wireless connection mode.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Processing unit (host), 11 ... CPU, 12 ... Main memory, 13 ... Graphics adapter, 14 ... Frame memory, 15 ... Wired communication device, 16 ... Wireless communication device, 20 ... Wired connection path, 21 ... Wired Data transfer line, 22 ... Wired image transfer line, 30 ... Wireless connection path, 40 ... Cradle, 41 ... Connector, 42 ... Attach / detach detection device, 50 ... Display device, 51 ... Connector, 52 ... Wired communication device, 53 ... Wireless communication Device 54 ... Graphics adapter 55 ... Frame memory 56 ... Display panel 57 ... Input device 58 ... Attachment / detachment detection device

Claims

A system including a display device and an arithmetic processing device that performs communication of data including image information via a wired connection path and a wireless connection path between the display device and the display device,
The arithmetic processing unit includes:
Wired communication means for communicating with the display device via the wired connection path;
Wireless communication means for performing wireless communication with the display device via the wireless connection path and information necessary for wireless connection with the display device via the wireless connection path are transmitted to the display device using the wired communication means. Sending means for sending; and
First transfer means for transferring to the display device by a drawing primitive-based drawing instruction protocol comprising screen drawing commands;
Second transfer means for transferring to the display device by a protocol for sending an image image as difference information of a snapshot of a screen image;
Switching means for switching between the first transfer means and the second transfer means based on at least one of the data size on the communication path, the amount of change, the effective bandwidth of the network, and the drawing performance of the display device. A system characterized by comprising.

The system according to claim 1, wherein the sending unit sends information necessary for authentication of wireless connection in communication via the wireless connection path to the display device.

An attachment / detachment means for attaching / detaching the display device directly or indirectly to the arithmetic processing device;
The arithmetic processing unit includes:
Detecting means for detecting that the display device is attached to and detached from the attaching and detaching means;
2. The system according to claim 1, further comprising switching means for switching communication via the wired connection path and communication via the wireless connection path based on a detection result by the detection means.

The second transfer means transmits an image image lastly when a change amount of the screen image exceeds a set value after receiving a drawing command, or when more than a set number of drawing commands are processed. When the set time has passed and when the transmission request from the display device is received, it is determined whether or not the image image should be transmitted, and it is determined that the image should be transmitted case, the system of claim 1, wherein the sending the picture image based on the calculated region to be transmitted has been.

An operation for communicating data including image information with a display device via a wired connection route and a wireless connection route, and transmitting in advance information necessary for wireless connection with the display device via the wireless connection route A device,
CPU,
A graphics adapter that generates image data based on a drawing command;
A frame memory for developing image data generated by the graphics adapter;
A wireless communication device for sending data for drawing to the display device in a transfer mode using a drawing primitive or a transfer mode for transferring as an image image;
The CPU, when the amount of change of the screen image exceeds a set value, when more than a set number of drawing commands are processed, when a set time has elapsed since the last transmission of the image image And determining whether or not to transmit the image based on at least one of when a transmission request is received from the display device, and if it is determined that transmission is to be performed, an area to be transmitted is calculated. Read the image from the frame memory,
The wireless communication device sends the read image image data to the display device via the wireless connection path instead of the transfer mode using the drawing primitive as the image mode. An arithmetic processing apparatus characterized by that.

A data transfer method for communicating data including image information between an arithmetic processing unit and a display device via a wired connection path and a wireless connection path,
Determining whether the display device is connected to the wired connection path;
When the display device is connected to the wired connection path, information necessary for wireless connection with the display device via the wireless connection path is transferred in advance via the wired connection path,
Detecting at least one feature quantity of data size, change amount, effective bandwidth of network, and drawing performance of the display device in communication path in communication via the wireless connection path;
Based on the detected feature quantity, a first transfer method for transferring to the display device by a drawing primitive-based drawing instruction protocol including a screen drawing command, and sending an image image as difference information of a snapshot of the screen image A data transfer method, wherein the second transfer method for transferring data to the display device is switched according to a protocol to be transferred.

The data transfer method according to claim 6 , wherein when the display device is connected to the wired connection path, authentication required for the wireless connection is executed.

A session ID is transferred from the arithmetic processing device to the display device via the wired connection path,
8. The data transfer method according to claim 7 , wherein the session ID is transferred from the display device to the arithmetic processing unit via the wireless connection path.

On the computer,
A function of communicating data including image information between the arithmetic processing unit and the display device via a wired connection path and a wireless connection path;
A function of determining whether the display device is connected to a wired connection path;
A function of transferring information necessary for wireless connection with the display device via the wireless connection path in advance via the wired connection path when the display device is connected to the wired connection path;
A function of detecting at least one feature amount of data size, change amount, effective bandwidth of network, and drawing performance of the display device on a communication path in communication via the wireless connection path;
Based on the detected feature quantity, a first transfer method for transferring to a display device using a drawing primitive-based drawing instruction protocol including a screen drawing command, and sending an image image as difference information of a snapshot of the screen image A program for realizing a function of switching between a second transfer method for transferring to the display device according to a protocol to be performed.

10. The program according to claim 9 , further causing the computer to realize a function of executing authentication required for the wireless connection when the display device is connected to the wired connection path.

A computer-readable storage medium storing a program to be executed by a computer,
The program is
Processing for communicating data including image information between the arithmetic processing unit and the display device via a wired connection path and a wireless connection path;
A process of determining whether or not the display device is connected to the wired connection path;
When the display device is connected to the wired connection path, a process of transferring information necessary for wireless connection with the display device via the wireless connection path in advance via the wired connection path;
When the display device is connected to the wired connection path, processing related to authentication required for the wireless connection;
Processing for detecting at least one feature amount of data size, change amount, effective bandwidth of network, and drawing performance of the display device in communication path in communication via the wireless connection path;
Based on the detected feature quantity, a first transfer method for transferring to the display device by a drawing primitive-based drawing instruction protocol consisting of a screen drawing command, and an image image as difference information of a snapshot of the screen image A storage medium that causes the computer to execute a process of switching between a second transfer method for transferring to the display device according to a protocol to be transmitted.