[go: up one dir, main page]

JP2006025281A - 情報源選択システム、および方法 - Google Patents

情報源選択システム、および方法 Download PDF

Info

Publication number
JP2006025281A
JP2006025281A JP2004202767A JP2004202767A JP2006025281A JP 2006025281 A JP2006025281 A JP 2006025281A JP 2004202767 A JP2004202767 A JP 2004202767A JP 2004202767 A JP2004202767 A JP 2004202767A JP 2006025281 A JP2006025281 A JP 2006025281A
Authority
JP
Japan
Prior art keywords
user
virtual space
information
information source
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004202767A
Other languages
English (en)
Other versions
JP2006025281A5 (ja
Inventor
Yasushi Kaneda
泰 金田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004202767A priority Critical patent/JP2006025281A/ja
Priority to CN2004100818030A priority patent/CN1719852B/zh
Priority to US11/050,202 priority patent/US20060008117A1/en
Publication of JP2006025281A publication Critical patent/JP2006025281A/ja
Publication of JP2006025281A5 publication Critical patent/JP2006025281A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】複数の情報源をから任意の情報源を選択する。
【解決手段】クライアント２０１は、仮想空間内の移動情報を受け付けるポインティングデバイス２２６と、ポインティングデバイス２２６が受け付けた移動情報をサーバ装置に送信するプレゼンスプロバイダ２２２と、自ユーザおよび情報源各々の仮想空間における位置に基づいて仮想空間における情報源の位置を算出する空間モデラ２２１と、仮想空間のユーザの位置に基づいて音響効果を制御するオーディオレンダラ２１６と、を有する。
【選択図】 図３

Description

本発明は、複数の情報源から任意の情報源を選択するための技術に関する。
仮想空間を用いた会議システムとして、京都大学において開発された会議システム FreeWalk がある（例えば、非特許文献１および非特許文献２参照）。Freewalk は、会議システムのユーザが仮想的な空間を共有し、同一の空間内にいるユーザ同士が会話をすることができるシステムである。各ユーザはこの仮想的な空間を自分の視点、または、それに近いが自分自身も視野に入る視点から見える映像を３次元グラフィクスによって見ることができる。３次元グラフィクス技術は、３次元空間をコンピュータ・グラフィクスによってシミュレートする技術であり、それを実現するAPI(Application Programming Interface)として、業界標準であるOpenGL(http://www.opengl.org/)およびMicrosoft社のDirect３Dなどがある。会話の相手の映像は、ビデオカメラによって撮影され、自分の視点等から見える映像の中におかれた仮想のスクリーンにリアルタイムに投影される。また、各ユーザはこの仮想空間内において自由に移動することが可能である。すなわち、この仮想空間における自分自身の位置を、ポインティング・デバイスまたはキーボードのキーを使用して変更することが可能である。
また、Interval Research Corporation において開発された会議システムSomewireがある（例えば、特許文献１、特許文献２および非特許文献３参照）。Somewire は、会議システムのユーザが仮想的な空間を共有し、同一の空間内にいるユーザ同士が会話することができるシステムである。Somewire において、音声は高品質のステレオ・オーディオによって再生される。また、人形のようなものを移動させることによって仮想空間上における対話の相手の位置を制御可能とするGUI(グラフィカル・ユーザ・インタフェース) より、直観的な物理的 (tangible) インタフェースを有する。
また、ヒューレット・パッカード社において開発された３次元分散オーディオ技術を使用した会議システムがある（例えば、非特許文献４参照）。３次元分散オーディオ技術は、３次元オーディオ技術をネットワークで接続されたシステム（いわゆる分散環境）において適用した技術である。そして、３次元オーディオ技術は、３次元の音響空間をシミュレートする技術であり、これを実現するための API としては Loki Entertainment Software 社などによって規定された業界標準である Open AL (http://www.opengl.org/)，Microsoft 社の DirectSound ３D、Creative Technology 社の EAX ２.０ (http://www.sei.com/algorithms/eax２０.pdf) などがある。この３次元オーディオ技術を使用することにより、ヘッドフォン、２チャンネルまたは４チャンネルなどのスピーカによる音響再生において、聴取者からみた音源の方向および距離をシミュレートし、音響空間内において音源を定位させることができる。また、残響、壁などの物体による反射、空気による距離に依存する音の吸収、障害物による音の遮りなどの音響属性をシミュレートすることにより、部屋の存在感や、空間内の物体の存在感を表現することができる。
ＵＳ ５，８８９，８４３ ＵＳ ６，２６２，７１１ Ｂ１ 中西 英之，吉田 力，西村 俊和，石田 亨，「FreeWalk: ３次元仮想空間を用いた非形式的なコミュニケーションの支援」，情報処理学会論文誌，Vol．３９， No．５，pp．１３５６-１３６４，１９９８。
Nakanishi，H．，Yoshida，C．，Nishimura，T．，and Ishida，T．，「FreeWalk: A ３D Virtual Space for Casual Meetings」，IEEE MultiMedia，April-June １９９９，pp．２０２８． Singer，A．，Hindus，D．，Stifelman，L．，and White，S．，「Tangible Progress: Less Is More In Somewire Audio Spaces」，ACM CHI '９９ (Conference on Human Factors in Computing Systems)，pp．１０４-１１２，May １９９９． Low，C．，and Babarit，L．，「Distributed ３D Audio Rendering」，７th International World Wide Web Conference (WWW７)，１９９８，http://www７.scu.edu.au/programme/fullpapers/１９１２/com１９１２.htm.
近年、さまざまな情報が、インターネットを介してユーザに提供されている。ポインティングデバイスなどを使用して情報源に接近する場合、適切に操作することが容易ではない場合がある。例えば、手の不自由な障害者や老人などにとっては、健常者と異なり、ポインティングデバイスの操作が困難な場合がある。
また、インターネットラジオやインターネットテレビにおいて、視聴したい番組を見つけることは困難である。すなわち、ラジオやテレビは、一度に１局ずつしか視聴できない。このため、逐次、チャンネルを変えて視聴し、見たい番組を見つけるため時間がかかる。
なお、特許文献１、２および非特許文献１から４に記載の会議システムでは、仮想空間上の移動および情報源の選択については考慮されていない。
本発明は上記事情を考慮してなされたものであり、本発明の目的は、仮想空間を利用して複数の情報源の中から、容易に所望の情報源を選択可能な技術を提供することである。
上記課題を解決するために、本発明では、複数の情報源を有する仮想空間において、ユーザの移動指示を受け付けて、所定の位置に自ユーザを移動する。
例えば、仮想空間上を利用して複数の情報源の中から任意の情報源を選択する情報源選択システムであって、仮想空間は複数の情報源を有し、複数の情報源の仮想空間上の位置を管理するサーバ装置と、クライアント端末とを有する。クライアント端末は、ユーザの仮想空間での移動指示を受け付ける移動受付手段と、移動受付手段が受け付けた移動指示にもとづいて、仮想空間におけるユーザを移動する移動手段と、移動手段が移動したユーザの仮想空間の位置に関する位置情報をサーバ装置に送信するクライアント送信手段と、サーバ装置から複数の情報源各々の仮想空間上の位置に関する位置情報を受信するクライアント受信手段と、ユーザの仮想空間における位置情報と、複数の情報源各々の仮想空間における位置情報とに基づいてユーザおよび複数の情報源の仮想空間における位置を算出する空間モデル化手段と、空間モデル化手段が算出した位置に基づいて複数の情報源各々の音声に適用する音響効果を制御する音響制御手段と、を有する。サーバ装置は、クライアント端末から、ユーザの仮想空間上の位置情報を受信するサーバ受信手段と、サーバ受信手段が受信したユーザの仮想空間上の位置情報、および、複数の情報源の仮想空間上の位置情報を記憶する記憶手段と、クライアント端末に記憶手段が記憶している複数の情報源各々の位置情報を送信するサーバ送信手段と、を有する。
本発明によれば、仮想空間においてユーザを移動することができる。これにより、仮想空間に存在する複数の情報源の中から、任意の情報源に接近し選択することができる。
以下に本発明の実施の形態について説明する。
図１は、本発明の一実施形態が適用されたコミュニケーション・システムのシステム構成図を示したものである。図示するように、本システムは、複数のクライアント２０１、２０２、２０３と、プレゼンスを管理するプレゼンスサーバ１１０と、セッション制御を行うSIP プロキシサーバ１２０と、ユーザの登録・認証をおこなう登録サーバ１３０と、クライアントに映像や音声などのマルチメディアデータを配信するストリーミングサーバ１４０とが、インターネット等のネットワーク１０１を介して接続されている。プレゼンスは、複数の情報源を含む仮想空間そのものと、仮想空間内における各ユーザの位置情報である。
なお、本実施形態では３台のクライアントを有しているが、クライアントの数は３台に限定されず、２台または４台以上であってもよい。また、本実施形態では、ネットワーク１０１は単一のドメインによって構成されているが、複数のドメインによりネットワークが構成され、各ドメインを結合して複数ドメインにまたがる通信を行うことも可能である。その場合にはプレゼンスサーバ１１０、SIP プロキシサーバ１２０、登録サーバ１３０およびストリーミングサーバ１４０は、複数個存在する。
次に、コミュニケーション・システムのハードウェア構成について説明する。
図２は、クライアント２０１、２０２、２０３、プレゼンスサーバ１１０、SIP プロキシサーバ１２０、登録サーバ１３０およびストリーミングサーバ１４０の各装置のハードウェア構成を示したものである。
クライアント２０１、２０２、２０３は、プログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、外部システムとデータ通信をするための通信装置３０４と、入力装置３０５と、出力装置３０６とを有する一般的なコンピュータシステムを利用することができる。例えば、PDA（Personal Digital Assistant）、PC（Personal Computer）などのコンピュータシステムである。なお、入力装置３０５および出力装置３０６については、図３において後述する。
プレゼンスサーバ１１０、SIP プロキシサーバ１２０、登録サーバ１３０、ストリーミングサーバ１４０は、少なくともプログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、外部システムとデータ通信をするための通信装置３０４と、を有する一般的なコンピュータシステムを利用することができる。具体的には、サーバ、ホストコンピュータなどである。
なお、上記各装置の後述する各機能は、メモリ３０２にロードまたは記憶された所定のプログラム（クライアント２０１、２０２、２０３の場合はクライアント用のプログラム、プレゼンスサーバ１１０の場合はプレゼンスサーバ用のプログラム、SIP プロキシサーバ１２０の場合はSIP プロキシサーバ用のプログラム、登録サーバ１３０の場合は登録サーバ用プログラム、そして、ストリーミングサーバ１４０の場合はストリーミングサーバ用のプログラム）を、ＣＰＵ３０１が実行することにより実現される。
次に、図３を参照しクライアント２０１の入力装置３０５および出力装置３０６と、機能構成とについて説明する。なお、クライアント２０２、２０３においても同様の構成とする。
クライアント２０１は、入力装置３０５として、マイクロフォン２１１と、カメラ２１３と、ポインティングデバイス２２６とを有する。ポインティングデバイス２２６は、ユーザが自分自身の仮想空間上における移動情報を入力するための入力装置であり、例えば各種ボタン、キーボードなどである。出力装置３０６として、３次元オーディオ技術対応のヘッドフォン２１７と、ディスプレイ２２０とを有する。
機能構成としては、オーディオエンコーダ２１２と、オーディオレンダラ２１６と、ビデオエンコーダ２１４、グラフィクスレンダラ２１９と、空間モデラ２２１と、プレゼンスプロバイダ２２２と、オーディオ通信部２１５と、ビデオ通信部２１８と、セッション制御部２２３と、局所ポリシー２２４とを有する。
オーディオエンコーダ２１２は、音声をディジタル信号に変換する。オーディオレンダラ２１６は、３次元オーディオ技術を使用して残響、フィルタリングなど仮想空間の属性から帰結する処理を行う。ビデオエンコーダ２１４は、画像をディジタル信号に変換する。グラフィクスレンダラ２１９は、仮想空間の属性から帰結する処理を行う。空間モデラ２２１は、入力された移動情報から仮想空間上でのユーザの位置や向きなどのプレゼンスを計算する。プレゼンスプロバイダ２２２は、プレゼンスサーバ１１０との間で、仮想空間上のユーザの位置情報および方位情報を送受信する。オーディオ通信部２１５は、他のクライアントおよびストリーミングサーバ１４０との間でオーディオ信号（音声信号）をリアルタイムに送受信する。ビデオ通信部２１８は、他のクライアントおよびストリーミングサーバ１４０との間でビデオ信号（映像信号）をリアルタイムに送受信する。セッション制御部２２３は、SIP プロキシサーバ１２０を経由して、他のクライアントやプレゼンスサーバ１１０との間で、通信セションを制御する。局所ポリシー２２４については、後述する。
ここで仮想空間とは、複数の情報源と双方向のコミュニケーション（会議や会話）をするため、または、情報源が提供する映像や音楽を視聴するために仮想的に作り出した空間である。情報源には、仮想空間を共有する他のユーザ、インターネットラジオ、インターネットテレビ、音楽またはビデオを再生するためのプレイヤなどが考えられる。プレゼンスサーバ１１０は、仮想空間の属性、および、その仮想空間に存在するユーザの情報を管理している。
ユーザがある仮想空間に入場すると、プレゼンスサーバ１１０は、その仮想空間の属性、および当該仮想空間に存在する他のユーザの情報を、当該ユーザのクライアントに送信する。そして、当該クライアントの空間モデラ２２１は、送信されたこれらの情報と、仮想空間内における自らの位置情報をメモリ３０２または外部記憶装置３０３に格納する。
仮想空間の属性には、例えば、空間の大きさ、天井の高さ、壁および天井の反射率・色彩・質感、残響特性、空間内の空気による音の吸収率などがある。これらのうち壁および天井の反射率、残響特性、空間内の空気による音の吸収率などは聴覚的な属性であり、壁および天井の色彩・質感は視覚的な属性であり、空間の大きさ、天井の高さは聴覚・視覚の両方にかかわる属性である。
また、仮想空間の属性には、ユーザを除く情報源（インターネットラジオ、インターネットテレビ、プレイヤなど）に関する情報が含まれる。情報源に関する情報としては、当該仮想空間に設置される情報源毎に、当該情報源を識別するための情報源識別情報、仮想空間における設置場所、当該情報源をユーザ視聴する際に最適なエリアなどがある。なお、本実施形態における情報源は、例えば、インターネットラジオの場合、チャンネル毎に1つの情報源とし、ストリーミングサーバ１４０から配信されるオーディオ信号各々には情報源識別情報が付されているものとする。また、インターネットテレビの場合は、チャンネル毎に1つの情報源としストリーミングサーバ１４０から配信されるビデオ信号各々には情報源識別情報が付されているものとする。したがって、情報源識別情報は、情報源の種類およびチャンネルを識別（特定）可能な情報である
つぎに、各機能の動作についてプレゼンス、音声および映像の順に説明する。
プレゼンスについては、ポインティングデバイス２２６が、自ユーザからの位置情報または方位情報の入力を受付け、これらの情報をディジタル信号に変換して空間モデラ２２１に入力する。空間モデラ２２１は、ポインティングデバイス ２２６ からの入力を受け付けて、仮想空間における前記自ユーザの位置および向きを変化させる。なお、ポインティングデバイス２２６を用いたユーザの移動方法については、後述する。
そして、空間モデラ２２１は、プレゼンスプロバイダ２２２を介して、自ユーザの仮想空間の位置情報（方位情報）をプレゼンスサーバ１１０に送信する。また、空間モデラ２２１は、プレゼンスプロバイダ２２２を介して、他のユーザの仮想空間の位置情報（方位情報）を、プレゼンスサーバ１１０から受信する。そして、空間モデラ２２１は、クライアント２０１を使用するユーザの仮想空間内の位置情報（方位情報）と、他のユーザの仮想空間内の位置情報（方位情報）とを保持する。すなわち、空間モデラ２２１は、ネットワーク１０１を経由して、他のユーザの仮想空間における位置情報および方位情報を受信するため、他のユーザの仮想空間内の位置や向きに関しては、遅延やジッタの発生が避けられない。一方、自ユーザの位置や向きに関しては、ポインティングデバイス２２６から空間モデラ２２１に直接入力されるため、遅延はほとんど発生しない。このため、クライアント２０１のユーザは、リアルタイムで移動後の自分の位置をディスプレイ２２０上で確認することができ、容易なポインティングデバイス２２６の操作が可能である。
音声については、マイクロフォン２１１がクライアント２０１を使用するユーザの音声を収集し、オーディオエンコーダ２１２に送付する。そして、オーディオエンコーダ２１２は、前記の音声をディジタル信号に変換してオーディオレンダラ２１６に出力する。また、オーディオ通信部２１５は、他の１台または複数台のクライアントとの間でオーディオ信号をリアルタイムに送受信し、オーディオレンダラ２１６に出力する。また、オーディオ通信部２１５は、ストリーミングサーバ１４０との間でオーディオ信号をリアルタイムに受信し、オーディオレンダラ２１６に出力する。
オーディオレンダラ２１６には、オーディオエンコーダ２１２およびオーディオ通信部２１５から出力されたディジタルの出力信号が入力される。そして、オーディオレンダラ２１６は、３次元オーディオ技術を使用して、空間モデラ２２１が保持する聴覚的な仮想空間属性、および、仮想空間上に配置（マッピング）された自ユーザおよび他ユーザの位置と、イユーザ以外の情報源（インターネットラジオなど）の位置とにもとづいて、仮想空間上でどのように他ユーザ（通信相手）の音声、またはユーザ以外の情報源の音声（音楽）が聞こえるかを計算する。なお、仮想空間属性には、当該仮想空間に設置される各情報源の情報源識別情報と、設置場所等が含まれる。したがって、オーディオレンダラ２１６は、ストリーミングサーバ１４０から受信したオーディオ信号を、当該オーディオ信号の情報識別情報に対応する仮想空間内の設置場所に配置してレンダリングする。
以下、図４、５を用いて、オーディオレンダラ２１６について具体的に説明する。
図４は、他ユーザまたはインターネットラジオなどの情報源（音源）の方向および距離を模式的に示した図である。図５では、人を真上から示した人頭１と、情報源である音源２とを示している。人頭１は、向きを示すために鼻１１を有している。すなわち、人頭１は、鼻１１が付加されている方向３に向いている。３次元オーディオ技術においては、おもに人頭１のまわりでの音響の変化のしかた (インパルス応答) をあらわす HRIR (Head Related Impulse Response) と、部屋などの仮想環境によって生成される擬似的な残響とによって音の方向および距離を表現する。そして、HRIR は、音源２と人頭１との距離４、および、人頭１と音源との角度 (水平角度および垂直角度)５ によって決定される。なお、メモリ３０２または外部記憶装置３０３には、あらかじめダミーヘッド（人頭１）を使用して各距離および各角度毎に測定したHRIRの数値が記憶されているものとする。また、HRIRの数値には、左チャネル用（ダミーヘッドの左耳で測定したもの）と、右チャネル用（ダミーヘッドの右耳で測定したもの）とで異なる数値を使用することによって、左右、前後または上下の方向感を表現する。
図５は、オーディオレンダラ２１６の処理を示した図である。オーディオレンダラ２１６は、各音源に関して後述するRTP (Real-time Transport Protocol) またはRTSP（Real Time Streaming Protocol）によって受信される 1 パケットごと (通常は 20 ms ごと) に、下記の計算をおこなう。図示するように、オーディオレンダラ２１６は、各音源に関して、信号列 si[t] (t = 1, ...) および音源の仮想空間内での座標 (xi, yi) の入力を受け付ける（Ｓ６１）。なお、仮想空間内での各音源の座標については、空間モデラ２２１から入力される。空間モデラ２２１は、仮想空間上に各音源をマッピング（配置）した後、各音源の座標（仮想空間の位置情報）をオーディオレンダラ２１６に入力する。また、各音源の信号列は、オーディオ通信部２１５から入力される。
そして、オーディオレンダラ２１６は、入力された座標を用いて、自ユーザと音源との距離および角度 (azimuth) を、音源ごとに計算する（Ｓ６２）。そして、オーディオレンダラ２１６は、自ユーザとの距離および角度 (azimuth)に対応するHRIR を、メモリ３０２または外部記憶装置３０３にあらかじ記憶されたHRIRの数値の中から特定する（Ｓ６３）。なお、オーディオレンダラ２１６は、メモリ３０２等に記憶されたHRIRの数値を補間することによって算出したHRIRの数値を使用することとしてもよい。
そして、オーディオレンダラ２１６は、Ｓ６１において入力した信号列と、Ｓ６３において特定したHRIRの左チャネル用 HRIR と、を使用してたたみこみ (convolution) 計算を行い、左チャネル信号を生成する（Ｓ６４）。そして、オーディオレンダラ２１６は、各音源からの左チャネル信号を全て加算する（Ｓ６５）。また、オーディオレンダラ２１６は、Ｓ６１において入力した信号列と、Ｓ６３において特定したHRIRの右チャネル用 HRIR と、を使用してたたみこみ (convolution) 計算を行い、右チャネル信号を生成する（Ｓ６６）。そして、オーディオレンダラ２１６は、各音源からの右チャネル信号を全て加算する（Ｓ６７）。
次に、オーディオレンダラ２１６は、加算後の左チャネルの信号に残響を付加する（Ｓ６８）。すなわち、オーディオレンダラ２１６は、仮想空間の属性による音響の変化の仕方 (インパルス応答) にもとづいて残響を計算する。残響の計算には、FIR (有限インパルス応答) とよばれる計算法と、IIR (無限インパルス応答) とよばれる計算法がある。これらの計算法は、ディジタルフィルタに関する基本的な方法であるため、ここでは説明を省略する。また、オーディオレンダラ２１６は、加算後の右チャネルの信号に、左チャネルと同様に残響を付加する（Ｓ６９）。HRIR の特定（Ｓ６３）は、前記のように１パケットごとにおこなうが、残響の計算（Ｓ６８、Ｓ６９）およびたたみこみ計算（Ｓ６４、Ｓ６６）においては、つぎのパケットに繰り越すべき部分が生じる。そのため、特定したHRIRまたは入力された信号列をつぎのパケットの処理まで保持する必要がある。
このように、オーディオレンダラ２１６は、オーディオ通信部２１５から出力される通信相手のユーザの音声およびユーザ以外の情報源の音声に対して前記計算による音量の調節、残響や反響音の重ね合わせ、フィルタリングなどの処理を行い、自ユーザの仮想空間内の位置において聞こえるべき音に音響効果を制御する。すなわち、仮想空間の属性と他ユーザまたはユーザ以外の情報源との位置から帰結する処理によって、音声を定位させ、再生する。
画像については、カメラ２１３がユーザの頭部を撮影し、撮影した画像を連続的にビデオエンコーダ２１４に送付する。そして、ビデオエンコーダ２１４は、前記の画像をディジタル信号に変換して、グラフィックスレンダラ２１９に出力する。また、ビデオ通信部２１８は、他の１台または複数台のクライアントとの間でビデオ信号をリアルタイムに送受信し、グラフィックスレンダラ２１９に出力する。また、ビデオ通信部２１８は、ストリーミングサーバ１４０との間でビデオ信号（動画データ）を受信し、グラフィックスレンダラ２１９に出力する。グラフィクスレンダラ２１９は、ビデオエンコーダ ２１４ およびビデオ通信部２１８からのディジタルの出力信号を入力する。
そして、グラフィクスレンダラ２１９は、空間モデラ２２１が保持する視覚的な仮想空間属性、仮想空間における自ユーザの位置および向きにもとづいて、仮想空間上でどのように他ユーザ、インターネットラジオなどの情報源が見えるかを計算（座標変換）する。なお、仮想空間属性には、当該仮想空間に設置される各情報源の情報源識別情報と、設置場所等が含まれる。したがって、グラフィクスレンダラ２１９は、ストリーミングサーバ１４０から受信したビデオ信号を、当該ビデオ信号の情報識別情報に対応する仮想空間内の設置場所にはめ込む。
次に、グラフィクスレンダラ２１９は、ビデオ通信部２１８から出力される通信相手のユーザの画像およびストリーミングサーバ１４０から送信されたビデオ信号に対して、前記計算により自分の位置から見た視点で仮想空間の属性から帰結する処理を行い、画面上に出力するイメージデータを作成する。このグラフィクスレンダラ２１９により生成された映像は、ディスプレイ２２０に出力され、クライアント２０１を使用するユーザの視点からの映像に再生され、ユーザはディスプレイ２２０の出力を参照する。
図６は、ディスプレイ２２０に表示される仮想空間の一例である。
図示する例では、３次元グラフィクス技術を使用したレンダリングを行っている。グラフィクスレンダラ２１９は、メモリ３０２または外部記憶装置３０３に記憶された仮想空間の大きさ、壁などの仮想空間の属性と、仮想空間内における各情報源（ユーザ、インターネットラジオなど）などの３次元のデータから２次元画像を作成し、ディスプレイ２２０に表示する。
図示する例では、仮想空間における自ユーザの位置および向きにより定まる視点から、仮想空間に配置された壁面、天井、床面、他ユーザを表現する２つのアバタ１１、１２、ユーザ以外の４つの情報源２１〜２４を眺めることで得られる２次元画像が表示されている。仮想空間内の視点を変える場合は、ポインティングデバイス２２６により、自らの位置または向きを変更することにより前記視点が変更し、その位置からの眺めがリアルタイムで画面上に現れる。なお、図示する例では、クライアント２０１を使用する自ユーザは表示されない。
アバタ１１は、クライアント２０２を使用する第１の他ユーザを表し、アバタ１２はクライアント２０３を使用する第２の他ユーザを表したものである。なお、図示しないが、クライアント２０２のカメラ２１３が撮影した第１の他ユーザの映像はアバタ１１に、クライアント２０３のカメラ２１３が撮影した第２の他ユーザの映像はアバタ１２に、テクスチャマップによって貼り付けられている。通信相手のユーザが回転するとテクスチャマップも回転するので、第１および第２のユーザが仮想空間内でどの向きを向いているか把握することができる。図示する例では、アバタ１１、１２を図形（または映像）のみで表示しているが、各アバタ１１、１２に対応するユーザのユーザ情報（例えば、アドレスなど文字情報）を、図形の近傍に表示することも可能である。
また、各アバタ１１、１２の周囲には、所定の領域、すなわちａｕｒａ（ｔｅｒｒｉｔｏｒｙ）１３、１４が表示されている。実空間において他人と会話する場合、他人とは一定の距離をおいて会話をする。すなわち、他人があまりにも自分と近い場所に存在すると、不快に感じる場合がある。ａｕｒａは、他人との間に一定の距離を確保するための領域である。ユーザが移動する場合、他ユーザのａｕｒａ１３、１４の中へ移動することはできない。
なお、ａｕｒａ１３、１４は、ユーザ毎に固定の大きさの領域を設定することができる。すなわち、クライアント各々の局所ポリシー２２４に、当該ユーザのａｕｒａ（領域）の大きさが設定されている。空間モデラ２２１は、後述する仮想空間への入場処理の際に、当該仮想空間に存在する他ユーザのａｕｒａを受信し、メモリ３０２または外部記憶装置に記憶する。グラフィクスレンダラ２１９は、メモリ等に記憶された他ユーザのａｕｒａの大きさを読み出し、ディスプレイ２２０上に表示する。
また、図示する例では、ａｕｒａの形状は球（円形）で表示されているが、多面体であってもよい。また、ａｕｒａの形状を楕円としてもよい。ａｕｒａの形状を楕円とした場合、一方の焦点をユーザの位置とすることができる。そして、ユーザは、他方の焦点を向いているものとする。すなわち、ａｕｒａは、前方に長く、後方に短い楕円となる。これは，ユーザの注意がより前方に向かいやすいことをあらわしている。なお、楕円の細長さは、ユーザの嗜好などにもとづいて変更することができるものとする。また、ユーザからの指示を受け付けて、ａｕｒａの表示をディスプレイ２２０から消すこともできるものとする。
仮想空間の属性には、当該仮想空間に設置されたインターネットラジオ、インターネットテレビなど情報源２１〜２４に関する情報が含まれている。また、仮想空間の属性は、メモリ３０２または外部記憶装置に記憶されている。図示する例では、インターネットテレビなどの情報源を表示するディスプレイ２１、２２が表示されている。なお、ディスプレイ２１、２２の左右両側にはスピーカが設置され、ディスプレイから出力されるビデオ信号に対応する音声が出力される。グラフィクスレンダラ２１９は、メモリ等に記憶された情報源２１、２２の情報を読み出し、仮想空間上の所定の場所に、ストリーミングサーバ１４０から受信したビデオ信号（映像）をテクスチャマップして表示する。表示スペースは、図６に示す情報源２１、２２のように所定の大きさに定められているので、その中に納まるようにテクスチャマップの計算を行う。
また、図示する例では、インターネットラジオなどの情報源の音声・音楽を出力するスピーカ２３、２４が表示されている。図示する例では、左チャネル用および右チャネル用の２個のスピーカがセットになって配置されている。なお、５．１チャネルの音声を再生する場合は、６個のスピーカがセットになって配置される。オーディオレンダラ２１６は、メモリ等に記憶された情報源２３、２４の情報を読み出し、仮想空間上の所定の場所に、ストリーミングサーバ１４０から受信したオーディオ信号を再生し、ヘッドフォンに出力する。
オーディオレンダラ２１６は、他ユーザから受信したオーディオ信号については、 40 ms 〜 200 ms程度バッファリングしてから再生し、ストリーミングサーバ１４０から受信したオーディオ信号については、数秒程度バッファリングしてから再生する。これは、他ユーザとの間では双方向の会話をおこなう可能性があるため、再生するまでにパケットが到着せずに音質が低下する危険があってもできるだけ遅延をすくなくする必要があるからである。一方、ストリーミングは、一方向の通信であるため数秒の遅延は通常は問題にならず、遅延しているパケットの到着を待って音質の低下をできるだけ避ける必要があるからである。
なお、ストリーミングサーバ１４０から受信したビデオ信号の映像（動画）、または、オーディオ信号の音声（音楽）を、どの情報源の設置場所に表示するかについては、前述の情報源識別情報によって対応付けるものとする。また、前述のとおり、情報源はチャンネル毎に存在する。これにより、ユーザは、視聴する映像（動画）または音声（音楽）を選択する際には、視界に入る（または、耳に聞こえる）複数の情報源２１〜２４を一度に視聴することができる。また、これらの情報源２１〜２４から自分が見たい映像、または音声・音楽を容易に選択することができる。そして、自ユーザは、見たい情報源を特定すると、特定した情報源に向かって移動する。これにより、自ユーザの視点が異なり、特定した情報源を中心とした仮想空間がディスプレイ２２０に表示される。なお、特定した情報源に向かって移動することにより、オーディオレンダラ２１６は、当該情報源の音声が大きく聞こえるように制御する。
図７は、平面図で図６に示す仮想空間を表示したものである。図示する例では、空間モデラ２２１がメモリ３０２または外部記憶装置３０３に記憶している仮想空間の属性、仮想空間内における自ユーザの位置および他ユーザの情報をもとに、真上から仮想空間に配置された各情報源１１、１２、２１〜２４を眺めることで得られる２次元画像を表示している。なお、情報源２１、２２がインターネットテレビの場合は、図７に示すような平面図であっても、正面から眺めた映像を表示する。すなわち、映像（画像）を単純に縮小して、当該映像の設置位置に表示する。
グラフィクスレンダラ２１９は、クライアント２０１の自ユーザの位置および向きを固定し、自ユーザを中心として仮想空間や仮想空間に存在する他のユーザが相対的に移動し回転するように表示する。自ユーザがポインティングデバイス２２６により位置または向きを変更した場合、仮想空間および仮想空間の情報源が相対的に移動・回転した画面がリアルタイムで表示される。図示する例では、自ユーザは常に前方（画面の上部）の向きに固定されている。そのため、自ユーザが向きを変えると仮想空間の壁４が移動する。これにより、自ユーザと、情報源との相対的な位置関係を表現することができる。
なお、他のクライアント（他ユーザ）との音声または動画のリアルタイム通信は、IETF (Internet Engineering Task Force) が発行したドキュメントRFC 3550に記述されたプロトコルであるRTP(Real-time Transport Protocol) によって行い、これを IETF が発行したドキュメント RFC3261 に記述されたプロトコルである SIP (Session Initiation Protocol) によって通信開始・終了などを制御する。また、ストリーミングサーバ１４０の音声または画像の配信も前記ＲＴPによって行い、これをIETF が発行したドキュメントRFC 2326に記述されたプロトコルであるRTSP（Real Time Streaming Protocol）などによって制御する。RTPは、TCP/IPネットワーク上で、音声や動画などをリアルタイムに配信するためのプロトコルである。RTSPを用いることにより、音声または動画などのデータをダウンロードしながら音声または動画を再生するストリーミングが可能となる。
以上で、図２のクライアント２０１の説明を終了する。なお、クライアント２０１ のなかで、マイクロフォン ２１１、カメラ ２１３、ヘッドフォン２１７、ポインティングデバイス２２６ およびディスプレイ ２２０ はハードウェアによって実現される。また、オーディオエンコーダ ２１２およびビデオエンコーダ ２１４は、ソフトウェア、ハードウェアまたはこれらの組み合せによって実現される。また、オーディオ通信部 ２１５、ビデオ通信部 ２１８、空間モデラ ２２１ およびセッション制御部２２３ は、通常、ソフトウェアによって実現される。
次に、図８を参照し、クライアント２０１、２０２、２０３の種類を例示する。
図８（ａ）に示すクライアントは、PDAまたはハンドヘルド・コンピュータに近い大きさと機能を有する。クライアント本体２３０は、カメラ２１３、ディスプレイ２２０、ポインティングデバイス２２６、アンテナ２３７を有する。また、本体２３０に接続されたヘッドセットは、ヘッドフォン２１７およびマイクロフォン２１１を有する。
ポインティングデバイス２２６は、前進ボタン２３１、後退ボタン２３２、左移動ボタン２３３、右移動ボタン２３４および選択ボタン２３５を有する。例えば、前進ボタン２３１を押すことによって、仮想空間内で前進し、後退ボタン２３２を押すことによって仮想空間内で後退する。なお、仮想空間上の移動については後述する。
また、ポインティングデバイス２２６は、タッチパネルであってもよい。すなわち、ディスプレイ２２０の表面を、指などの接触を検知するための素子を配置した透明なスクリーン（タッチパネル）で覆ったタッチスクリーンとしてもよい。ユーザは、指や専用のペンでディスプレイ２２０に触れることで、容易に入力操作を行なうことができる。
なお、図示するヘッドセットは、本体２３０に有線接続されているが、BluetoothまたはIrDA(赤外線)などにより無線接続することも可能である。また、当該クライアントは、アンテナ２３７を用いて無線LANによりネットワーク１０１に接続する。
図８（ｂ）に示すクライアントは、デスクトップ・コンピュータを示す。コンピュータ本体２５１には、マイクロフォン２１１、カメラ２１３、ディスプレイ２２０、ヘッドフォンの代りの機能を有するスピーカ ２５２、およびポインティングデバイス２２６の代わりの機能を有するキーボード２５３が接続されている。なお、ポインティングデバイス２２６は、前述のタッチパネルであってもよい。また、当該クライアントはツイスト線によってLANに接続され、さらにネットワーク１０１に接続することが考えられる。
次に、仮想空間における移動方法について説明する。
まず、ポインティングデバイス２２６が図８（a）に示す各種ボタン２３１〜２３４の場合の移動方法について説明する。例えば、前方への短距離移動を指示する場合、ユーザは、前進ボタン２３１を所定の時間より短く押す（以下、「短押し」）。前方への短距離移動とは、現時点のユーザの仮想空間での位置から所定の距離だけ、現時点でユーザが仮想空間で向いている方向（前方）に進む（移動する）ことをいう。空間モデラ２２１は、前進ボタン２３１からの短押しの入力を受け付けて、自ユーザを所定の距離だけ、前方に移動する。
また、後方への短距離移動を指示する場合、ユーザは、前方への短距離移動と同様に、後退ボタン２３２を短押しする。空間モデラ２２１は、後退ボタン２３２からの短押しの入力を受け付けて、自ユーザを所定の距離だけ、後方に移動する。
また、左方向または右方向への向きの変更を指示する場合、ユーザは、左移動ボタン２３３または右移動ボタン２３４を短押しする。左移動ボタン２３３の短押しの入力を受け付けて、空間モデラ２３１は、自ユーザを仮想空間内で数度左に回転する。また、右移動ボタン２３４の短押しの入力を受け付けて、空間モデラ２２１は、自ユーザを仮想空間内で数度右に回転する。
また、前方への長距離移動を指示する場合、ユーザは、前進ボタン２３１を所定の時間より長く押す（以下、「長押し」）。前方への長距離移動とは、現時点のユーザの仮想空間での位置から最も近くに存在する前方の他ユーザの直前まで移動することをいう。すなわち、前方の他ユーザから所定の距離手前まで移動する。空間モデラ２２１は、前進ボタン２３１の長押しを受け付けると、当該クライアント２０１の外部記憶装置３０３に記憶されている局所ポリシー２２４と、前方に存在するユーザの局所ポリシー２２４とを参照して、移動位置を決定する。
例えば、第１のクライアントの局所ポリシー２２４には「ａｕｒａ＝５０ｃｍ」が、第２のクライアントの局所ポリシー２２４には「ａｕｒａ＝６０ｃｍ」が記憶されているものとする。この場合、第1のクライアントのユーザは、他ユーザと常に５０ｃｍ以上の距離を確保すること、すなわち半径５０ｃｍ以内には他ユーザの立ち入りを制限することを意味している。同様に、第２のクライアントのユーザは、他ユーザと常に６０ｃｍ以上の距離を確保することを意味している。このような状態において、第１のクライアントのユーザが、第２のクライアントのユーザにむかって前方への長距離移動を行う場合、空間モデラ２２１は、第１のクライアントの局所ポリシー２２４と、第２のクライアントの局所ポリシー２２４とを比較する。そして空間モデラ２２１は、大きい方のａｕｒａの値「ａｕｒａ＝６０ｃｍ」を特定する。そして、空間モデラは、第１のユーザを、第２のユーザのａｕｒａにぶつかる地点（すなわち、第２のユーザの６０ｃｍ手前）まで移動する。
このように、ａｕｒａの値が大きい方を採用することによって、全てのユーザにとって快適な他ユーザとの距離を確保することができる。なお、局所ポリシー２２４は、あらかじめユーザが入力装置３０５から入力し、外部記憶装置３０３に記憶するものとする。
図９は、前方長距離移動を模式的に示した図である。図９では、仮想空間において前方への長距離移動を行う自ユーザ１と、仮想空間において自ユーザの前方に位置する第１の他ユーザ２１および第２の他ユーザ２２と、を示している。また、第１の他ユーザ２１の周りには、ａｕｒａ３１が表示されている。
このような状態において、前進ボタン２３１を長押しして前方への長距離移動を指示した場合、空間モデラ２２１は、自ユーザ１の前方に存在する他ユーザであって、自ユーザ１に最も近くに位置する第１の他ユーザ２１を特定する。そして、空間モデラ２２１は、自ユーザ１のａｕｒａの値と、第１の他ユーザ２１のａｕｒａの値とを比較し、大きい方の値を特定する。そして、空間モデラ２２１は、第１の他ユーザ２１から特定したａｕｒａの値だけ離れた地点ａまで移動する。なお、図示する例では、自ユーザ１のａｕｒａの値より第１の他ユーザ２１のａｕｒａの値が大きい、または、双方同じ値であるものとする。
また、前方に位置する他ユーザは、所定の角度５内の前方に存在する他ユーザを含むものとする。すなわち、第１の他ユーザ２１が存在しない場合、空間モデラ２２１は、所定の角度５内の前方に存在する第２の他ユーザ２２を特定し、第２の他ユーザ２２に向かって前進する。これにより、真正面にではない前方に存在する他ユーザであっても、当該他ユーザの直前（ａｕｒａとぶつかる地点）まで移動することができる。なお、所定の角度５は、ユーザの嗜好に基づいてあらかじめ定められているものとする。また、ユーザが、入力装置９０４を用いて所望の角度を入力することにより、各度を随時変更することができこととしてもよい。また、仮想空間に存在する他ユーザの密度に応じて、空間モデラ２２１が角度を調整することとしてもよい。例えば、空間モデラ２２１は、密度が所定の値以上の場合は所定の角度とし、密度が所定の値より小さい場合は前記所定の角度より大きい角度とする。
後方への長距離移動を指示する場合は、後退ボタン２３２を長押しする。これにより、前方への長距離移動と同様に、後方に存在する他ユーザの直前（ａｕｒａとぶつかる地点）まで移動することができる。
左または右方向への長距離移動を指示する場合は、左移動ボタン２３３または右移動ボタン２３４を長押しする。左または右方向への長距離移動とは、自ユーザの仮想空間での位置から一定の範囲（距離）内に存在する他ユーザであって、自ユーザの向きから左または右に回転した場合に最も回転角度が小さい方向に存在する他ユーザの直前まで移動することをいう。
図１０は、左または右方向への長距離移動を模式的に示した図である。図１０では、仮想空間において、自ユーザ１と、第１の他ユーザ２１、第２の他ユーザ２２、第３の他ユーザ２３、第４の他ユーザ２４および第５の他ユーザ２５を示している。また、自ユーザ１から所定の範囲（距離）内に存在する他ユーザを特定するための領域５が、自ユーザ１を中心とする円で設定されている。なお、領域５の半径は、仮想空間の大きさ、または、当該仮想空間をディスプレイ上に表示する際の縮尺（不図示）に応じて設定される。なお、図示する例では、自ユーザ１のａｕｒａの値より、第１の他ユーザ２１および第２の他ユーザ２２のａｕｒａの値の方が大きいものとする。
このような状態において、左移動ボタン２３３を長押しした場合、空間モデラ２２１は、所定の領域５内に存在する他ユーザであって、自ユーザの向きである前方Ａから左に回転し、最も近い（回転角度が小さい）方向に存在する第１の他ユーザ２１を特定する。そして、空間モデラ２２１は、自ユーザ１を第１の他ユーザ２１が正面に来る位置まで左に回転する（α度左回転する）。このとき、自ユーザ１は、第１の他ユーザ２１が正面に来る方向Ｂに向いている。そして、空間モデラ２２１は、前述の前方長距離移動と同様に、自ユーザ１を第１の他ユーザ２１に向かって前進させ、第１の他ユーザ２１の直前（ａｕｒａ３１とぶつかる地点）地点ｂ´まで移動する。なお、第４の他ユーザ２４は、領域５内に存在するが、ユーザの向きＡから左に回転して、第１の他ユーザ２１より遠い（回転角度が大きい）方向に存在する。そのため、左移動ボタン２３３を長押しした場合、空間モデラ２２１は、第４の他ユーザ２４を特定しない。
また、このような状態において、右移動ボタン２３４を長押しした場合、空間モデラ２２１は、領域５に存在する他ユーザであって、自ユーザの向きである前方Ａから右に回転し、最も近い（回転角度が小さい）方向に存在する第２の他ユーザ２２を特定する。そして、左移動ボタン２３３を長押しした場合と同様に、空間モデラ２２１は、第２の他ユーザ２２が正面に来る位置まで自ユーザ１を右に回転する（β度右回転する）。そして、空間モデラ２２１は、自ユーザ１を第２の他ユーザ２２に向かって前進させ、第２の他ユーザ２２の直前（ａｕｒａ３２とぶつかる地点）地点ｃ´まで移動する。なお、第５の他ユーザ２５は、自ユーザの向きＡから最も近い（回転角度が小さい）方向に存在するが、領域５内に存在しない（すなわち、自ユーザ１から所定の距離より離れている）。そのため、左移動ボタン２３３を長押しした場合、空間モデラ２２１は、第５の他ユーザ２５２を特定しない。
なお、前方、後方、左方向および右方向の長距離移動において、特定した移動先がインターネットラジオなどユーザ以外の情報源の場合は、当該情報源の最適エリア内のいずれかの地点に移動する。なお最適エリアは、あらかじめ定められた仮想空間属性のひとつであって、当該情報源を快適に視聴できる仮想空間内の所定の領域である。
次にポインティングデバイス２２６が、ディスプレイ２２０上に設置されたタッチパネルの場合の移動方法について説明する。タッチパネルは、指や専用のペンで出力装置の画面に触れることで、入力操作を行なうものである。タッチパネルは、指が触れた位置を検知して画面上の位置（座標）を指定して、空間モデラ２２１に移動指示を与える。
例えば、前方への短距離移動を指示する場合、ユーザは、ディスプレイ２２０に表示された仮想空間における自ユーザの位置から、前向き（自ユーザが向いている方向）に所定の長さ（例えば、２cm）より短くタッチパネル（ディスプレイ２２０）上をなぞる（こする）。タッチパネルは、接触を検知し、ディスプレイ上で検知した線分の座標を空間モデラ２２１に通知する。空間モデラ２２１は、タッチパネルから入力された線分の座標から特定される長さに基づいて、自ユーザを所定の距離だけ前方に移動する。また、後方への短距離移動を指示する場合、ユーザは前方への短距離移動と同様に、ディスプレイ２２０に表示された仮想空間における自ユーザの位置から、後ろ向き（自ユーザが向いている方向と逆の方向）に所定の長さより短くタッチパネルをなぞる。
左方向への短距離移動を指示する場合または右方向への短距離移動を指示する場合も、前方への短距離移動と同様に、自ユーザは、左方向または右方向に所定の長さより短くディスプレイ上をなぞる。なお、左方向への短距離移動または右方向への短距離移動とは、現時点のユーザの仮想空間での位置から所定の距離だけ、左方向または右方向に進む（移動する）ことをいう。
また、前方への長距離移動を指示する場合、自ユーザは、ディスプレイ２２０に表示された仮想空間における自ユーザの位置から、前向きに所定の長さ（例えば、２cm）以上、タッチパネル（ディスプレイ２２０）をなぞる。これにより、前述の前進ボタン２３１を長押しした場合と同様に、現時点のユーザの仮想空間での位置から最も近くに存在する前方の他ユーザの直前まで移動する。後方への長距離移動を指示する場合は、ディスプレイ２２０に表示された仮想空間における自ユーザの位置から、後ろ向きに所定の長さ（例えば、２cm）以上、タッチパネルをなぞる。これにより、前述の後退ボタン２３２を長押しした場合と同様に、現時点のユーザの仮想空間での位置から最も近くに存在する前方の他ユーザの直前まで移動する。
また、左または右方向への長距離移動を指示する場合、自ユーザは、ディスプレイに表示された仮想空間における自ユーザの位置から、左または右向きに所定の長さ（例えば、２cm）以上、タッチパネルをなぞる。これにより、前述の左移動ボタン２３３または右移動ボタン２３４を長押しした場合と同様に、自ユーザは、現時点の仮想空間での位置から一定の範囲（距離）内に存在する他ユーザであって、現時点のユーザの向きから左または右に回転した場合に最も近い（回転角度が小さい）方向の他ユーザの直前まで移動する。
なお、タッチパネルを用いて自ユーザの移動を指示する場合、指の動きを量子化することにより、動きのぶれが移動指示に影響を与えないようにする。すなわち、タッチパネルは、ユーザの指または手の動きを検知し、検知した線分の座標を空間モデラ２２１に通知する。空間モデラ２２１は、タッチパネルから入力された線分（移動距離）の左右方向成分 x の絶対値と前後方向成分 y の絶対値とを比較する。左右方向成分 x の絶対値が、前後方向成分 y の絶対値より大きい場合、空間モデラ２２１は、左右への動きと判別し、y の値を無視する。また、前後方向成分 ｙ の絶対値が、左右方向成分 ｘ の絶対値より大きい場合、空間モデラ２２１は、前後への動きと判別しxの値を無視する。
また、左右への動きと判別した場合であって、x の絶対値が所定の値 (例えば 2 cm) より短い場合、空間モデラ２２１は、短距離移動と判別する。また、x の絶対値が所定の値 (例えば 2 cm) より長い場合、空間モデラ２２１は、長距離移動と判別する。同様に、前後への動きと判別した場合であって、ｙ の絶対値が所定の値 (例えば 2 cm) より短い場合、空間モデラ２２１は、短距離移動と判別する。また、ｙ の絶対値が所定の値 (例えば 2 cm) より長い場合、空間モデラ２２１は、長距離移動と判別する。これにより、指先が不自由な障害者または老人が、仮想空間上で適切な位置への移動を容易に行うことができる。
また、指の動き（移動量）を短距離と長距離の２種類に限定した量子化を行わないこととしてもよい。この場合、空間モデラ２２１は、上記の方法と同様に、タッチパネルから入力された線分（移動距離）を、前後方向または左右方向の移動に分類する。その後、空間モデラ２２１は、タッチパネルから入力された前後方向または左右方向のドラッグ量（指のなぞり）に比例した距離だけユーザを移動する。この場合、正確なドラッグ (指のなぞり) が必要になるため、老人や障害者には入力しにくくなる。しかしながら、健常者にとってはより速やかな入力が可能になるという利点がある。
なお、以上説明したタッチパネルは、タッチパッドであってもよい。タッチパッドは、平面状の操作面を指でなぞることでマウスカーソルを移動したり、操作面を指で叩くことでマウスボタンクリックに相当する操作を行ったりするポインティングデバイスである。タッチパッドは、ノート型PC用のポインティングデバイスとして使用され、ディスプレイ２２０上ではなく、例えば、キーボードの近傍に設置されている。
また、ポインティングデバイス２２６は、マウスであってもよい。
次に、図１１から図１５を参照し、クライアント２０１における処理手順を説明する。
図１１は、クライアント２０１ をネットワーク １０１ に接続するときの処理手順である。図示する接続手順は、クライアント２０１の電源投入時に実行される。まず、セッション制御部２２３は、ユーザの識別情報および認証情報を含むログインメッセージを、SIP プロキシサーバ１２０ に送信する（Ｓ９０１）。SIP プロキシサーバ１２０ は、ログインメッセージを受け付け、登録サーバ１３０ に当該ユーザの認証要求メッセージを送付する。そして、登録サーバ１３０は、ユーザの識別情報および認証情報を認証し、プレゼンスサーバ１１０ にユーザの識別情報を送付する。クライアントと登録サーバ１３０ との通信には、IETF のドキュメント RFC 3261 において規定されたプロトコル SIP (Session Initiation Protocol) の REGISTER メッセージを使用することが考えられる。クライアントは、SIP プロキシサーバ１２０を経由して、REGISTER メッセージを定期的に登録サーバ１３０に送信する。
また、クライアント２０１のプレゼンスプロバイダ ２２２と、プレゼンスサーバ１１０ との通信には、IETF のドキュメント RFC 3265に記述された SIP の SUBSCRIBE メッセージを使用することができる。SUBSCRIBE メッセージは、あらかじめイベント発生時に通知を受け取ることを要求するイベント要求メッセージである。プレゼンスプロバイダ ２２２は、プレゼンスサーバ１１０ に対して、プレゼンスサーバ１１０が管理する仮想空間の部屋リストおよび入場者リストに関して発生したイベントの通知を要求する。なお、プレゼンスプロバイダ２２２ は、SUBSCRIBE メッセージを使用する場合には、セッション制御部２２３およびSIP プロキシサーバ１２０ を経由してプレゼンスサーバ１１０ と通信を行う。
つぎに、プレゼンスプロバイダ ２２２は、プレゼンスサーバ１１０ から部屋リストを受け取る（Ｓ９０２）。なお、Ｓ９０１において、 SUBSCRIBE メッセージを使用した場合には、イベント通知メッセージとして NOTIFY メッセージを用いて前記の部屋リストが送られる。そして、プレゼンスプロバイダ ２２２は、受け取った部屋リストをディスプレイ ２２０ に表示する（Ｓ９０３）。
図１２は、ユーザがディスプレイ ２２０ に表示された部屋リストの中から入場したい部屋を選択したときのクライアント２０１ の処理手順を示す。クライアント２０１のプレゼンスプロバイダ ２２２ は、ポインティングデバイス２２６を用いて入力された部屋の選択指示を受け付ける（Ｓ１００１）。そして、プレゼンスプロバイダ ２２２ は、プレゼンスサーバ１１０ に入場メッセージ (enter) を送信する（Ｓ１００２）。入場メッセージには、自ユーザの識別情報と、自ユーザの仮想空間内における位置情報および方位情報と、局所ポリシー２２４に記憶されたａｕｒａの大きさと、が含まれる。なお、入場時の自ユーザの位置情報および方位情報は、メモリ３０２または外部記憶装置３０３にあらかじめ記憶されているものとする。
入場メッセージの送信は、SIP の SUBSCRIBE メッセージを使用することもできる。すなわち、選択した部屋を受信者をとする SUBSCRIBE メッセージを入場メッセージとして使用する。SUBSCRIBE メッセージは、当該選択した部屋の仮想空間において発生したイベント（例えば、ユーザの入退場または移動、仮想空間属性の変更など）の通知を要求する。
次に、プレゼンスプロバイダ２２２は、プレゼンスサーバ１１０ から選択した部屋に入場している他ユーザの入場者リストを受け取る（Ｓ１００３）。入場メッセージとして SUBSCRIBE メッセージを使用した場合は、これに対応する NOTIFY メッセージの形式で、プレゼンスプロバイダ２２２に入場者リストが送られる。なお、入場者リストには少なくとも、部屋に入場している他ユーザに関する情報、および、指定された部屋の仮想空間属性と、が含まれているものとする。
他ユーザに関する情報には、他ユーザ毎に、他ユーザの識別情報と、仮想空間における位置情報および方位情報と、他ユーザの局所ポリシー２２４に記憶されたａｒｕｒａの大きさと、が含まれる。仮想空間属性には、ユーザ以外の情報源（インターネットラジオ、インターネットテレビなど）に関する情報が含まれている。情報源に関する情報としては、当該仮想空間に設置された情報源ごとに、情報源を識別するための情報源識別情報、仮想空間における設置場所、当該情報源をユーザ視聴する際に最適な視聴エリア（仮想空間上の所定の場所）などである。そして、プレゼンスプロバイダ２２２は、入手した入場者リストに含まれる情報を、メモリ３０２または外部記憶装置３０３に記憶する。
以上説明した入場処理の後、オーディオ通信部２１５およびビデオ通信部２１８は、ストリーミングサーバ１４０からを、RTPを用いて、音声または動画などのマルチメディアデータを受信する。また、部屋に入場している他ユーザの音声または映像、および自ユーザの音声または映像を、RTP(Real-time Transport Protocol)を用いて、他ユーザのクライアントと送受信する。
なお、ユーザが部屋を退場する時の処理手順については、図示しないが、ユーザの退場指示を受付けて、プレゼンスプロバイダ２２２がプレゼンスサーバ１１０にユーザ識別情報を含んだ退場メッセージを送信する。
図１３は、ユーザがプレゼンスを変更する場合、すなわち仮想空間において位置または向きを変更した場合の処理手順である。まず、空間モデラ２２１は、ポインティングデバイス２２６から移動情報の入力を受け付ける（Ｓ１１０１）。空間モデラ２２１は、受け付けた移動情報が、長距離移動か否かを判別する（Ｓ１１０２）。すなわち、前進ボタン２３１、後退ボタン２３２、左移動ボタン２３３または右移動ボタン２３４の長押しを受け付けた場合は、空間モデラは、入力された移動情報が長距離移動であると判別する。また、タッチパネルから所定の方向への所定の長さより長い線分の連続的な座標の入力を受け付けた場合、空間モデラは、入力された移動情報が長距離移動であると判別する。
移動情報が長距離移動と判別された場合（Ｓ１１０２：ｙｅｓ）、空間モデラ２２１は、移動先の情報源を特定する（Ｓ１１０３）。例えば、前進ボタン２３１の長押しの場合は、最も近くの前方に存在する他ユーザまたはユーザ以外情報源を特定する（図９参照）。また、左移動ボタン２３３の長押しの場合は、所定の範囲内であって最も左方向への回転角度が短い他ユーザまたはユーザ以外の情報源を特定する（図１０参照）。
そして、空間モデラ２２１は、自ユーザの移動先の場所（地点）を特定する（Ｓ１１０４）。すなわち、特定した情報源が他ユーザの場合、空間モデラ２２１は、入場処理で受け取った入場者リスト（図１２：Ｓ１００３参照）に含まれる他ユーザのａｕｒａの大きさと、局所ポリシー２２４に記憶された自ユーザのａｕｒａの大きさとを比較する。そして、空間モデラ２２１は、大きい方のａｕｒａを特定し、特定したａｕｒａと自ユーザがぶつかる時点（または、自ユーザのａｕｒａと他ユーザがぶつかる地点）を特定する。
また、特定した情報源がユーザ以外の情報源（例えは、インターネットラジオ等）の場合、空間モデラ２２１は、入場者リスト（図１２：Ｓ１００３参照）の仮想空間属性に含まれる、特定した情報源の視聴エリア内のいずれかの地点を特定する。
そして、空間モデラ２２１は、特定した自ユーザの移動先の場所（地点）に、自ユーザを移動する（Ｓ１１０５）。また、移動情報が長距離移動でないと判別された場合（Ｓ１１０２：Ｎｏ）、空間モデラ２２１は、入力された移動情報に応じて、自ユーザを移動する（Ｓ１１０５）。例えは、前進ボタン２３１の短押しの入力を受け付けた場合、空間モデラ２２１は、自ユーザを所定の距離だけ前方へ移動する。また、左移動ボタン２３３の入力を受け付けた場合、空間モデラ２２１は、自ユーザを左方向に所定の角度回転し、向きを変更する。
そして、空間モデラ２２１は、移動後の自ユーザの位置および向き（以下、「位置情報等」）を、メモリ３０２または外部記憶装置３０３（以下、「メモリ等」）に記憶する。
次に、空間モデラ２２１は、移動後の仮想空間の位置情報等をオーディオレンダラ２１６、グラフィクスレンダラ２１９ およびプレゼンスプロバイダ ２２２ に通知する（Ｓ１１０６）。オーディオレンダラ２１６は、図５で説明したように仮想空間内の自ユーザの位置および向きにおいて、どのように各情報源の音声、音楽などが聞こえるかを計算する。そして、オーディオレンダラ２１６は、オーディオ通信部２１５から出力される各情報源の音声、音楽等に対して前記計算による音量の調節、残響、フィルタリングなどの処理を行い、クライアント２０１を使用する自ユーザの仮想空間内の位置において聞こえるべき音に音響効果を制御し、３次元音響を更新する。
また、グラフィクスレンダラ２１９は、仮想空間内の自ユーザの位置および向きに基づいて視点を変更し、仮想空間上でどのように各情報源が見えるかを計算（座標変換）する（図６、７参照）。そして、グラフィクスレンダラ２１９は、当該位置および向きからの眺めで画面上に出力するイメージデータを作成し、表示画面を更新する。
次に、プレゼンスプロバイダ２２２は、自ユーザの移動後の仮想空間の位置情報等をプレゼンスサーバ１１０ に通知する（Ｓ１１０７）。SIP プロトコルを使用する場合は、 NOTIFY メッセージを使用する。なお、NOTIFY メッセージは、通常 SUBSCRIBE メッセージを受信した結果として送信される。そのため、プレゼンスサーバ１１０ がクライアント２０１ から入場メッセージを受信した際に、入場者リストを返信するとともに、前記 NOTIFY メッセージに対応する SUBSCRIBE メッセージを送信することが考えられる。なお、プレゼンスサーバ１１０は、プレゼンスプロバイダ ２２２ から通知された仮想空間の位置情報等を受け付け、入場者リストにおける当該ユーザの位置情報等を更新する。
図１４は、プレゼンスの変更入力、すなわち、プレゼンスサーバ１１０ がクライアントに他ユーザの仮想空間の位置情報等を通知した場合の処理手順を示したものである。
空間モデラ２２１は、プレゼンスプロバイダ ２２２を介して、他のクライアントの他ユーザの仮想空間の位置情報等をプレゼンスサーバ１１０から受け付ける（Ｓ１２０１）。なお、プレゼンスサーバ１１０は、図１３のＳ１１０７においてクライアントから送信された位置情報等を、当該送信元のクライアント以外のクライアントに通知（送信）する。そして、空間モデラ２２１は、通知された仮想空間の位置情報等をメモリ等に記憶する。そして、空間モデラ２２１は、通知された位置情報等を用いて、仮想空間上の他ユーザの位置および向きを変更する。そして、空間モデラ２２１は、オーディオレンダラ２１６およびグラフィクスレンダラ２１９に、移動後の仮想空間の位置情報等を通知する（Ｓ１２０３）。オーディオレンダラ２１６ およびグラフィクスレンダラ２１９ は、図１３のＳ１１０６で説明したように、通知された他ユーザの位置および向きにもとづいて、当該他ユーザの３次元音響および表示画面を更新する。
次にプレゼンスサーバ１１０ の機能構成および処理手順について説明する。なお、登録サーバ１３０ 、 SIP プロキシサーバ１２０ については、 SIP を使用する従来の通信と同じため、説明を省略する。
図１５は、プレゼンスサーバ１１０ の機能構成を示す。プレゼンスサーバ１１０は、クライアントと各種情報の送受信をするためのインタフェース部１１１と、クライアントからのメッセージ種別を判定する判定部１１２と、判定結果に応じた処理を行う処理部１１３と、仮想空間の属性、仮想空間で発生したイベント（ユーザの入退場、移動等）、部屋リスト、入場者リスト等を、管理し記憶する記憶部１１４とを有する。
記憶部１１４には、あらかじめ、プレゼンスサーバ１１０が管理するいくつかの仮想空間の属性が記憶されている。前述のとおり、ユーザはこれらの仮想空間から入場したい仮想空間を選択する（図１１、図１２参照）。その後、クライアントは、仮想空間に入場したユーザの各種のイベントをプレゼンスサーバ１１０に送信する。これにより各仮想空間内には、各種のイベントが発生する。なお、記憶部１１４はこれらの情報をメモリ３０２または外部記憶装置３０３に記憶する。
なお、仮想空間の属性には、ユーザ以外の情報源に関する情報が含まれる。本システムの管理者が、どの情報源をどの仮想空間に設置するか、情報源を仮想空間のどこに設置するか、または、情報源の視聴エリアを仮想空間のどこに設置するかを、あらかじめ決めておく。そして、管理者が、入力装置３０５を用いてこれらの情報を入力し、記憶部１１４に記憶するものとする。例えば、放送局の特性によって、または、各放送局は放送する番組の内容にもとづいて、仮想空間における情報源の設置場所を設定することが考えられる。
図１６は、プレゼンスサーバ１１０ の処理手順を示したものである。プレゼンスサーバ１１０ は、クライアントからの要求を受け付け、これに対する処理をプレゼンスサーバ１１０ が停止するまで行う。まず、インタフェース部１１１は、クライアントからのメッセージを待つ（Ｓ１４１１）。メッセージを受信すると、判定部１１２は、インタフェース部１１１が受け付けたメッセージの種類を判定する（Ｓ１４１２）。
メッセージがログインメッセージの場合、処理部１１３は、メッセージ送信元のクライアントに部屋リストを送信するようインタフェース部１１１に指示する（Ｓ１４２１）。インタフェース部１１１は、部屋リストをメッセージ送信元のクライアントに送信し、その後Ｓ１４１１に戻り、次のメッセージを待つ。
メッセージが入場メッセージの場合、処理部１１３は、メッセージ送信元クライアントのユーザを、指定された部屋の入場者リストに追加する（Ｓ１４３１）。すなわち、処理部１１３は、入場メッセージに含まれている、当該ユーザの識別情報と、当該ユーザの仮想空間の位置情報および方位情報と、当該ユーザのａｕｒａの大きさと、を入場者リストに追加する。次に、処理部１１３は、指定された部屋の全入場者（但し、当該ユーザ以外）の識別情報と、仮想空間上の位置情報および方位情報と、ａｕｒａの大きさと、をメッセージ送信元クライアントに送信するようインタフェース部１１１に指示する。
また、処理部１１３は、指定された部屋の仮想空間属性を、メッセージ送信元クライアントに送信するようインタフェース部１１１に指示する。仮想空間属性には、仮想空間に設置された各情報源に関する情報が含まれる。インタフェース部１１１は、前記指示に従い送信元クライアントに送信する（Ｓ１４３２）。そして後述するＳ１４３６に進む。
移動メッセージの場合、処理部１１３は、入場者リストにおけるメッセージ送信元クライアント（ユーザ）の仮想空間の位置情報および方位情報を更新する（Ｓ１４３５）。なお、仮想空間の位置情報および方位情報は、移動メッセージに含まれている。そして、処理部１１３は、対象となる部屋の全ての入場者のクライアントに（但し、メッセージ送信元クライアントは除く）、メッセージ送信元クライアントのユーザの識別情報と、仮想空間の位置情報および方位情報と、を通知するようインタフェース部１１１に指示する（Ｓ１４３６）。インタフェース部１１１は、前記指示に従いクライアントに送信し、Ｓ１４１１に戻る。なお、入場メッセージの場合（Ｓ１４３１）も、同様である。
退場メッセージの場合、処理部１１３は、メッセージ送信元クライアントのユーザを入場者リストから削除する（Ｓ１４４１）。そして、処理部１１３は、対象となる部屋の全ての入場者のクライアントに（但し、メッセージ送信元クライアントは除く）、当該ユーザが部屋から退場したことを通知するようにインタフェース部１１１に指示する（Ｓ１４４２）。インタフェース部１１１は、前記指示に従いクライアントに送信し、Ｓ１４１１に戻る。
なお、図示しないが、プレゼンスサーバ１１０ は、システム管理者からの要求（入力）を受け付けて、仮想空間属性を変更することとしてもよい。例えば、判定部１１２は、プレゼンスサーバ１１０の入力手段３０５から入力された情報源の追加指示を受け付ける。この情報源の追加指示には、変更対象の部屋を識別する識別情報と、追加する情報源の識別情報および設置場所と、視聴エリアとが含まれる。そして、処理部１１３は、記憶部１１４に記憶された変更対象の部屋に新たな情報源を追加する。そして、処理部１１３は、記憶部１１４に記憶された入場者リストを読み出し、変更対象の部屋に入場している全てのユーザのクライアントに変更後の仮想空間属性（情報源の追加）を通知する。通知を受けたクライアントの空間モデラ２２１は、変更後の仮想空間属性をメモリ等に記憶する。オーディオレンダラおよびグラフィクスレンダラは、ストリーミングサーバ１４０が配信する新たな情報源のオーディオ信号およびビデオ信号を出力する。
次にストリーミングサーバ１４０ の機能構成について説明する。
図１７は、ストリーミングサーバ１４０の機能構成を示す。図示するように、ストリーミングサーバ１４０は、ストリーミングＤＢ１４１と、少なくとも１つのファイル再生部１４２および送信部１４３と、セッション制御部１４４と、を有する。すなわち、ストリーミングサーバ１４０は、放送局のチャンネルの数だけ、ファイル再生部１４２および送信部１４３を有するものとする。なお、ストリーミングサーバ１４０は、ファイル再生部１４２および送信部１４３を、チャンネルの数だけ有することなく、それぞれ1つのプログラムまたは装置を時分割で使用することによって実現することとしてもよい。
ストリーミングＤＢ１４１は、音声データまたは動画データなどのマルチメディアデータが格納されたデータデータベース（ファイル）である。ファイル再生部１４２は、チャンネル毎に、ストリーミングＤＢ１４１に格納された、ＭＰ３形式の信号（ファイル）、圧縮されていない音楽信号、ＭＰＥＧ形式の信号（ファイル）、圧縮されていない動画信号を取り出す。そして、ファイル再生部１４２各々は、取り出した信号（ファイル）を、圧縮されている場合は伸長して、送信部１４３に送出する。送信部１４３は、ファイル再生部１４２から入力された各々の信号を仮想空間に入場している全てのクライアントに送信する。セッション制御部１４４は、SIP プロキシサーバ１２０およびクライアントとの通信を制御する。
ストリーミングサーバ１４０のセッション制御部１４４は、 SIP プロキシサーバ１２０を経由してクライアントからの通信開始 (INVITE) メッセージを受け取る。そして、当該通信開始メッセージが最初の場合（いまだ、音声または画像を送信しているクライアントが存在しない場合）、ファイル再生部１４２は、ストリーミングＤＢ１４１に格納されたファイルの再生を開始する。そして、送信部１４３は、ファイル再生部１４２が再生したファイルの内容を、セッション制御部１４４を用いて、通信開始メッセージの送信元クライアントに送信する。また、他のクライアントからすでに通信開始メッセージを受信し、ファイル再生部１４２が再生したファイルの内容を他のクライアントに送信している場合において、新たに通信開始メッセージを受信した場合、送信部１４３は、ファイル再生部１４２が再生した同一のファイルの内容を、セッション制御部１４４を用いて、新たな通信開始メッセージの送信元クライアントに送信する。
なお、各クライアントのオーディオ通信部２１５およびビデオ通信部２１８は、ストリーミングサーバ１４０から、チャンネル毎に信号を受信する。そして、オーディオレンダラ２１６およびグラフィクスレンダラ２１９は、メモリ等に記憶された仮想空間属性に基づいて、当該仮想空間に設置された情報源に対応する信号を特定し、特定した信号を当該情報源の設置場所で出力（再生）する。
以上で本発明の一実施形態について説明した。
本実施形態のコミュニケーション・システムでは、仮想空間に存在する他ユーザ、インターネットラジオなどの複数の情報源の中から任意の情報源を選択して、選択した情報源から適正な距離にユーザを移動（接近）することができる。これにより、仮想空間に存在する他の情報源からの音も聞こえる状態でありながら、選択した情報源の音を重点的に聞くことができる。
また、仮想空間に存在する他ユーザ、インターネットラジオなどの情報源に向かって移動する場合、当該情報源に応じて適切な位置に容易に移動することができる。これにより、手の不自由な障害者や老人なども、容易に仮想空間上で移動を指示することができる。
また、本実施形態では、1つの仮想空間内に複数の情報源が存在する。すなわち、ユーザは、複数の情報源を一度に見ることも、聞くこともできる。これにより、ユーザは、仮想空間に存在する複数の情報源の中から会話したいユーザ、または、視聴したいラジオまたはテレビを容易に見つけることができる。例えば、ラジオやテレビの全て、あるいはいくつかのチャンネルの番組を一度に視聴したり、１つの番組に注意を向けながらも他の番組が発信するキーワードや話題などを聞き取ったりすることができる。また、現在注意を向けている情報源の番組とは異なる情報源の番組の方が、よりよいとユーザが判断する場合がある。この場合、ユーザは、よりよいと判断した番組の情報源に接近することによって、現在注意を向けている情報源の番組の視聴を中止することなく注意を他の情報源の番組に移すことができる。また、ラジオやテレビの全てのチャンネルの番組を一度に視聴することができる。また、他のユーザと会話しながら、ある１つのまたは複数の情報源の番組を視聴することができる。
また、本実施形態では、従来の会議システムとは異なり、複数の情報源（複数の他ユーザのクループなど）が同時に別の話題について会話しているときでも、自ユーザは、仮想空間内を移動したり、特定の方向からの音声だけに注意をはらうことによって、特定の情報源の音声を選択することができる。なお、従来の会議システムでは、複数の情報源から特定の情報源を選択することについては考慮されていないため、複数のユーザが同時に発言すると、そのうちの特定のユーザを選択することは困難であった。
なお、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
例えば、本実施形態のクライアント２０１は、カメラ２１３、ビデオエンコーダ２１４等を有し、ディスプレイ２２０に仮想空間のイメージデータを出力する。しかしながら、ユーザは、3次元オーディオ技術によりヘッドフォン２１７から出力される3次元音声により、各情報源の方向および距離を把握し、ディスプレイ２２０を参照することなく、各操作ボタン２３１〜２３４を用いて、仮想空間における自ユーザの移動指示を行うことも考えられる。この場合、クライアント２０１は、ディスプレイ２２０に仮想空間のイメージデータを出力しない。したがって、クライアント２０１は、カメラ２１３、ビデオエンコーダ２１４、ディスプレイ２２０等を有しない。
また、タッチパネルを用いた自ユーザの移動指示において、移動したい位置を指で触れることで移動したい地点を指示することとしてもよい。タッチパネルは、指の触れた画面上の位置（座標）を検知して、空間モデラ２２１に画面上の位置を入力する。空間モデラ２２１は、入力された画面上の位置に対応する仮想空間上の位置に自ユーザを連続的に移動させる。目的地に直接移動させないのは、急に移動すると自ユーザおよび他ユーザの聴覚をはじめとする感覚を混乱させる危険があるからである。連続的で速すぎない速度で移動することにより、現在位置における感覚を維持しながらユーザは移動することができる。この場合、空間モデラ２２１は、自ユーザの現在位置から指示された移動後の位置までの軌跡を算出し連続的に自ユーザを移動する。すなわち、現在位置と指示された位置とをむすぶ直線の線分または曲線のなかで、他ユーザ（当該他ユーザのａｕｒａを含む）や障害物の近傍をとおらない軌跡を選択する。現在位置と指示された位置とをむすぶ線分が他ユーザや障害物の近傍を通らない場合、空間モデラ２２１は、当該線分を軌跡として、一定速度で指定された位置に自ユーザを移動する。また、現在位置と指示された位置とをむすぶ線分が他ユーザや障害物の近傍を通る場合、空間モデラ２２１は、当該線分から所定の範囲内の通過可能な地点（他ユーザや障害物が存在しない地点）を所定の数だけ選択する。そして、空間モデラ２２１は、選択した通過可能な複数の地点を通過するスプライン曲線を算出する。そして、空間モデラ２２１は、算出したスプライン曲線をとして、一定速度で自ユーザを指定された位置に移動する。なお、他ユーザや障害物の近傍を通らずに指定された位置に移動することができない場合、空間モデラ２２１は、移動が失敗したこと通知する音声によるエラーメッセージを、ヘッドホン２１７などに出力する。これにより、自ユーザは、移動に失敗したことを知ることができる。
また、本実施形態では、システムの管理者が、どの情報源をどの仮想空間に設置するか、情報源を仮想空間のどこに設置するか等を決定した。しかしながら、放送局の特性、または、各放送局が現在放送している番組の内容にもとづいて、自動的に仮想空間における情報源の設置場所を設定することも考えられる。たとえば、各放送局の特性または番組の内容をキーワード群として記述し、これをニューラルネットに入力することによって２次元のトポロジカルマップを生成し、トポロジカルマップの各領域内に音源を配置する方法が考えられる。
また、本実施形態では、仮想空間におけるユーザの位置および向きに応じて、ユーザは、複数の情報源の音や映像を視聴する。しかしながら、インターネットラジオまたはインターネットテレビの複数の情報源の中から所望の情報源を選択し、接近することにより、ユーザは、当該情報源の音または映像のみを視聴することとしてもよい。例えば、ユーザが、インターネットラジオまたはインターネットテレビなどの情報源を視聴する際に最適な仮想空間上のエリアである視聴エリアに移動した場合、当該情報源の音または映像だけが視聴できるようにすることが考えられる。すなわち、ユーザがある情報源の視聴エリアに移動した場合、オーディオ通信部２１５およびビデオ通信部２１８は、当該情報源以外のオーディオ信号またはビデオ信号を切断（通信を終了）する。そして、オーディオレンダラ２１６およびグラフィクスレンダラ２１９は、当該情報源の音または映像のみレンダリングし、ヘッドフォン２１７またはディスプレイ２２０に出力する。なお、視聴エリアは、前述のとおり仮想空間属性に含まれる情報源に関する情報の1つである。
また、本実施形態のユーザを除く情報源として、インターネットテレビ、またはインターネットラジオを例に説明した。しかしながら、ユーザを除く情報源は、ラジオ放送のラジオ番組であってもよい。すなわち、各周波数で放送されるラジオ番組各々を1つの情報源とし、仮想空間上に複数の周波数のラジオ番組である複数の情報源を配置する。ラジオ番組を情報源とする場合、図２に示すオーディオ通信部２１５は、図示しないラジオ放送局から放送されるラジオ番組を受信する。そして、オーディオ通信部２１５は、受信したラジオ番組の音声・音楽をディジタル信号に変換して、オーディオレンダラ２１６に出力する。なお、通常のラジオ放送は、一度に一局ずつしかきくことができない。このため、逐次、ダイヤルまたは選局ボタンによって周波数を変更し、聴きたい番組を見つけるのに時間がかかる。上記のように、周波数毎に放送される複数のラジオ番組を情報源として仮想空間上に複数配置することにより、一度に複数の周波数から放送されるラジオ番組を聴くことができる。
また、本実施形態においては、プレゼンスサーバ１１０が、仮想空間における各情報源の位置および仮想空間属性を管理している。しかしながら、プレゼンスサーバ１１０の機能を、各クライアントが有することとしてもよい。すなわち、各クライアントは、自ユーザおよび他ユーザの仮想空間上における位置および向きの情報をすべてのクライアント間で直接交換する。そして、各クライアントが、全ユーザに関する位置および向きの情報を共有する。また、各クライアントは、仮想空間の属性情報をそれぞれ有するものとする。この場合、プレゼンスサーバ１１０は不要である。具体的には、各クライアントのプレゼンスプロバイダ２２２ (図３参照) 同士が、プレゼンスサーバ １１０ を経由せずに直接、通信する。この方法においては、クライアントが、他の全てのクライアントのアドレスを知っている必要がある。他の全てのクライアントのアドレスを知るためには、あらかじめ各クライアントに他の全てのクライアントのアドレスを登録する方法もあるが、クライアント間で、すなわちピア・ツー・ピアの通信によって、他のクライアントを発見するには、たとえば JXTA (http://www.jxta.org/) というプロトコルを使用する方法がよく知られている。
また、本実施形態ではクライアント各々が、直接、音声通信をおこない、他のクライアントから入力された音声を３次元化する（図５参照）。しかしながら、クライアントの処理能力および通信能力が低い場合は、これらの処理をサーバが行うこととしてもよい。すなわち、図１の示すネットワーク構成に新たな音響サーバを追加することが考えられる。また、本実施形態ではクライアント各々が、直接、ストリーミングサーバ１４０からオーディオ信号またはビデオ信号を受信し、仮想空間の所定場所において出力していた。しかしながら、これらの処理をストリーミングサーバ１４０が行うこととしてもよい。以下に、各サーバが、レンダリングを行う場合の実施形態について説明する。
図１８は、音響サーバ１５０を有する実施形態のネットワーク構成図である。図示するネットワーク構成は、音響サーバ１５０を有する点において、図１のネットワーク構成と異なる。また、各クライアント２０１、２０２、２０３は、図３に示すクライアントの構成と以下の点において異なる。すなわち、オーディオレンダラ２１６ は、音声３次元化の処理（図６参照）を行わない単純な音声デコーダである。また、オーディオ通信部２１５は、他のクライアントと直接通信するかわりに、音響サーバ１５０と通信する。
図１９は、図１８に示す音響サーバ１５０の構成図である。図示するように、音響サーバ１５０は、オーディオ受信部１５１と、オーディオレンダラ１５２と、ミキサ１５３と、オーディオ送信部１５４と、をそれぞれ少なくとも１つ有する。すなわち、音響サーバ１５０は、クライアントの数だけ（すなわち、クライアント毎に）これらの処理部１５１〜１５４を有するものとする。なお、音響サーバ１５０は、オーディオ受信部１５１、オーディオレンダラ１５２、ミキサ１５３およびオーディオ送信部１５４を、クライアントの数だけ有することなく、それぞれ1つのプログラムまたは装置を時分割で使用することによって実現することとしてもよい。
また、音響サーバ１５０は、空間モデラ１５５を有する。空間モデラ１５５は、プレゼンスサーバ１１０から、仮想空間上における各ユーザの位置および仮想空間の属性を受信し、図３に示すクライアントの空間モデラ２２１と同様の処理により、仮想空間上の各ユーザの位置をマッピング（配置）する。また、音響サーバ１５０は、セッション制御部１５６を有する。セッション制御部１５６は、ネットワーク１０１を介して、他の装置との通信を制御する。
オーディオ受信部１５１は、各クライアントのオーディオ通信部２１５から入力された音声を受信する。オーディオレンダラ１５２は、音声３次元化を行い、各クライアントに対応して、それぞれ２チャンネル（左チャンネルと右チャンネル）の信号データ（信号列）を、クライアント毎に対応付けられた各ミキサ１５３に出力する。すなわち、オーディオレンダラ１５２は、空間モデラ１５５が配置した仮想空間上の各ユーザの位置に基づいて、図３に示すクライアントのオーディオレンダラ２１６の音源の入力（図５：Ｓ６１）、距離・角度の計算（Ｓ６２）、ＨＲＩＲの特定（Ｓ６３）、および、たたみこみ計算（Ｓ６４、Ｓ６６）と、同様の処理を行う。ミキサ１５３は、各オーディオレンダラ１５２から２チャンネルの信号データを受け付けて、図３に示すクライアントのオーディオレンダラ２１６のミキシング処理(Ｓ６５、Ｓ６７)および残響計算(Ｓ６８、Ｓ６９)と同様の処理を行う。そして、ミキサ１５３は、オーディオ送信部１５４に、２チャンネルの信号データを出力する。オーディオ送信部１５４は、この信号データをクライアントに送信する 。
次に音響サーバ１５０の処理について説明する。クライアント毎に対応付けられたオーディオ受信部１５１各々は、各クライアントから音声ストリームを受信し、バッファリングすることによって全入力クライアントからの音声ストリーム間で同期させた (対応づけた) 信号データを、クライアント毎に対応付けられたオーディオレンダラ１５２に送る。このバッファリング (プレイアウト・バッファリング) の方法については、たとえば次の文献に記述されている。
Colin Perkins 著: RTP: Audio and Video for the Internet, Addison-Wesley Pub Co; 1st edition (June 11, 2003).
そして、オーディオレンダラ１５２は、空間モデラ１５５が配置した仮想空間上の各ユーザの位置に基づいて、距離・角度の計算と、ＨＲＩＲの特定、たたみ込み計算（図６：Ｓ６２〜Ｓ６４、Ｓ６６）の処理を行う。そして、ミキサ１５３は、ミキシング処理(図５：Ｓ６５、Ｓ６７)および残響計算(図５：Ｓ６８、Ｓ６９)を行い、各クライアントに対応して、それぞれ２チャンネルの信号データを出力する。そして、オーディオ送信部１５４は、この信号データを対応するクライアントに送信する 。これにより、クライアントの処理能力が低い場合であっても、音声３次元化を実現することができる。
また、上記説明した音響サーバ１５０の機能を、プレゼンスサーバ１１０が有することとしてもよい。すなわち、音響サーバ１５０を別途備えることなく、プレゼンスサーバ１１０が、ユーザの位置、仮想空間属性等を管理するだけでなく、あわせて音響サーバ１５０の処理を行うこととしてもよい。
図２０は、図１８に示すストリーミングサーバ１４０の構成図である。図示するように、ストリーミングサーバ１４０は、ストリーミングＤＢ１４１と、少なくとも１つのファイル再生部１４２およびレンダラ１４３（チャンネル毎の）と、空間モデラ１４６と、セッション制御部１４７とを有する。また、ストリーミングサーバ１４０は、クライアント毎に、ミキサ１４４および送信部１４５を有する。ストリーミングＤＢ１４１およびファイル再生部１４１については、図１７に示すストリーミングＤＢ１４１およびファイル再生部１４１と同様である。空間モデラ１４６およびセッション制御部１４７については、図１９に示す空間モデラ１５５およびセッション制御部１５６と同様である。なお、ファイル再生部１４２、レンダラ１４３、ミキサ１４４、および、送信部１４５を、チャンネルの数、または、クライアントの数だけ有することなく、それぞれ1つのプログラムまたは装置を時分割で使用することによって実現することとしてもよい。
レンダラ１４３各々は、各ファイル再生部１４２が再生したオーディオ信号またはビデオ信号を、各ユーザの仮想空間上の位置および向きに基づいて、クライアント毎にレンダリングする。レンダラ１４３、オーディオ信号に関しては図３に示すオーディオレンダラ２１６と同様の処理を行う。すなわち、プレゼンスサーバ１１０から受信した各ユーザの仮想空間上の位置および向きにもとづいて、各ファイル再生部１４２が再生したファイル（オーディオ信号）を、３次元オーディオ技術を使用して残響・フィルタリングなどの仮想空間の属性から帰結する処理を行う。またレンダラ１４３は、ビデオ信号に関しては、図３に示すグラフィクスレンダラ２１９と同様の処理と、さらに以下の処理を行う。すなわち、各クライアントにおいて必要とされる解像度は入力ビデオ信号より低いので、レンダラ１４３は、解像度を低下させる。たとえば、レンダラ１４３は、クライアントにおいてディスプレイ２２０の１／４の大きさで表示されるべき画像の解像度を１／4 に低下させる。また、クライアント側の処理の負荷を低下させるために、レンダラ１４３は、クライアントのディスプレイ２２０上においてななめに表示される画像は、あらかじめその形状に変換しておくことも考えられる。
ミキサ １４４は、オーディオ信号に関しては図３に示すオーディオレンダラ ２１６ と同様の処理を行う。すなわち、入力される各信号を加算する。またミキサ１４４は、ビデオ信号に関しては入力される各信号を送信部１４６が扱いやすいように統一された形式の1つの信号にまとめる。すなわち、ビデオ信号の場合、ミキサ１４４は、各ユーザの仮想空間上の位置および向きにもとづいた視点から、仮想空間の所定の位置にビデオ信号をはめこんだ仮想空間の動画データを作成する。
送信部１４６は、ミキサ１４４がクライアント毎に作成した音声信号または映像信号を、圧縮して各クライアントに送信する。たとえば、送信部１４６は、音声信号の場合はＭＰ３に、映像信号の場合はＭＰＥＧなどにコーディングして送信する。クライアントのオーディオレンダラ２１６およびグラフィクスレンダラ２１９は、ストリーミングサーバ１４０から受信したＭＰ３またはＭＰＥＧなどにより圧縮されたデータを伸張して、ヘッドフォン２１７またはディスプレイ２２０に出力する。
次にプレゼンスサーバ１１０とクライアントの処理について説明する。プレゼンスサーバ１１０は、図１６のＳ１４３２、Ｓ１４３６およびＳ１４４２において、各クライアントにユーザ名、当該ユーザの位置およびａｕｒａの大きさを通知する際に、あわせて音響サーバ１５０およびストリーミングサーバ１４０に、ユーザ名、当該ユーザの位置およびａｕｒａの大きさを通知する。音響サーバ１５０のセッション制御部１５６およびストリーミングサーバ１４０のセッション制御部１４７は、ユーザ名、当該ユーザの位置およびａｕｒａの大きさなどをプレゼンスサーバ１１０から受信する。これにより、各クライアントは、部屋に入場すると音響サーバ１５０の既定の通信ポートとの間で (または、入場時にプレゼンスサーバ１１０から通知されるポートとの間で) 音声通信を行う。すなわち、各クライアントのオーディオ通信部２１５は、音響サーバ１５０に１チャンネルの音声ストリームを送信し、音響サーバ１５０から２チャンネルの音声ストリームを受信する。また、各クライアントは、部屋に入場すると、ストリーミングサーバ１４０との間で、各チャンネルのオーディオ信号およびビデオ信号を受信する。
本実施形態におけるネットワーク構成図である。 本実施形態における各装置のハードウェア構成図である。 本実施形態におけるクライアントの構成図である。 本実施形態における音源の方向と距離を模式的に示した図である。 本実施形態におけるオーディオレンダラの処理を模式的に示した図である。 本実施形態における仮想空間の第１のディスプレイ表示画面例である。 本実施形態における仮想空間の第２のディスプレイ表示画面例である。 本実施形態におけるクライアントの種類を例示したものである。 本実施形態における前方への長距離移動を模式的に示した図である。 本実施形態における左または右方向への長距離移動を模式的に示した図である。 本実施形態におけるクライアントのネットワークへの接続処理フロー図である。 本実施形態におけるクライアントの入場処理フロー図である。 本実施形態におけるクライアントの自ユーザの移動処理フロー図である。 本実施形態におけるクライアントの他ユーザの移動処理フロー図である。 本実施形態におけるプレゼンスサーバの機能構成図である。 本実施形態におけるプレゼンスサーバの処理手順を示す処理フロー図である。 本実施形態におけるストリーミングサーバの機能構成図である。 音響サーバを有する実施形態におけるネットワーク構成図である。 音響サーバを有する実施形態における音響サーバの機能構成図である。 音響サーバを有する実施形態におけるストリーミングサーバの機能構成図である。
符号の説明
１０１…ネットワーク、１１０…プレゼンスサーバ、１２０…ＳＩＰプロキシサーバ、１３０…登録サーバ、１４０、ストリーミングサーバ、２０１、２０２、２０３…クライアント、２１１…マイクロフォン、２１２…オーディオエンコーダ、２１３…カメラ、２１４…ビデオエンコーダ、２１５…オーディオ通信部、２１６…オーディオレンダラ、２１７…ヘッドフォン、２１８…ビデオ通信部、２１９…グラフィクスレンダラ、２２０…ディスプレイ、２２１…空間モデラ、２２２…プレゼンスプロバイダ、２２３…セッション制御部、２２４：局所ポリシー、２２６…ポインティングデバイス

Claims (19)

  1. 仮想空間上を利用して複数の情報源の中から任意の情報源を選択する情報源選択システムであって、
    前記仮想空間は前記複数の情報源を有し、
    前記複数の情報源の仮想空間上の位置を管理するサーバ装置と、クライアント端末とを有し、
    前記クライアント端末は、
    ユーザの仮想空間での移動指示を受け付ける移動受付手段と、
    前記移動受付手段が受け付けた移動指示にもとづいて、仮想空間におけるユーザを移動する移動手段と、
    前記移動手段が移動したユーザの仮想空間の位置に関する位置情報を前記サーバ装置に送信するクライアント送信手段と、
    前記サーバ装置から前記複数の情報源各々の仮想空間上の位置に関する位置情報を受信するクライアント受信手段と、
    前記ユーザの仮想空間における前記位置情報と、前記複数の情報源各々の仮想空間における前記位置情報とに基づいて前記ユーザおよび前記複数の情報源の前記仮想空間における位置を算出する空間モデル化手段と、
    前記空間モデル化手段が算出した位置に基づいて前記複数の情報源各々の音声に適用する音響効果を制御する音響制御手段と、を有し、
    前記サーバ装置は、
    前記クライアント端末から、前記ユーザの仮想空間上の前記位置情報を受信するサーバ受信手段と、
    前記サーバ受信手段が受信した前記ユーザの仮想空間上の前記位置情報、および、前記複数の情報源の仮想空間上の位置情報を記憶する記憶手段と、
    前記クライアント端末に、前記記憶手段が記憶している前記複数の情報源各々の前記位置情報を送信するサーバ送信手段と、を有すること
    を特徴とする情報源選択システム。
  2. 請求項１記載の情報源選択システムにおいて、
    音声データおよび／または動画データを前記クライアント端末に配信するストリーミングサーバを、さらに有し、
    前記複数の情報源には、前記ストリーミングサーバが配信した音声データおよび／または動画データを含むこと
    を特徴とする情報源選択システム。
  3. 請求項２記載の情報源選択システムにおいて、
    前記サーバ装置の前記記憶手段には、前記情報源に含まれる音声データおよび／または動画データの、仮想空間における配置場所を含む仮想空間属性が記憶され、
    前記サーバ送信手段は、前記クライアント端末に、前記仮想空間の属性を送信し、
    前記クライアント受信手段は、前記サーバ装置から前記仮想空間の属性を受信し、
    前記空間モデル化手段は、前記仮想空間の属性に基づいて、前記情報源に含まれる音声データおよび／または動画データ各々の仮想空間における位置を算出し、
    前記音響制御手段は、前記空間モデル化手段が算出した位置に基づいて前記情報源に含まれる音声データおよび／または動画データ各々の音声に適用する音響効果を制御すること
    を特徴とする情報源選択システム。
  4. 請求項１記載の情報源選択システムにおいて、
    前記クライアント端末は、前記空間モデル化手段が算出した位置に基づいて表示画面に出力するイメージデータを作成するイメージ作成手段を有すること
    を特徴とする情報源選択システム。
  5. 請求項４記載の情報源選択システムにおいて、
    前記イメージ作成手段は、前記仮想空間におけるユーザの位置と向きを常に固定し、ユーザを中心として前記仮想空間および前記複数の情報源を相対的に移動または回転させたイメージデータを作成すること
    を特徴とする情報源選択システム。
  6. 請求項１記載の情報源選択システムにおいて、
    前記移動受付手段が受け付けた移動指示に基づいて、移動先の情報源を特定する特定手段を、さらに有し、
    前記移動指示が前方への長距離移動の場合、前記特定手段は、仮想空間における前記ユーザの位置から最も近い前方に存在する情報源を特定し、
    前記移動手段は、前記特定手段が特定した情報源の直前までユーザを移動すること
    を特徴とする情報源選択システム。
  7. 請求項１記載の情報源選択システムにおいて、
    前記移動受付手段が受け付けた移動指示に基づいて、移動先の情報源を特定する特定手段を、さらに有し、
    前記移動指示が後方への長距離移動の場合、前記特定手段は、仮想空間における前記ユーザの位置から最も近い前方に存在する情報源を特定し、
    前記移動手段は、前記特定手段が特定した情報源の直前までユーザを移動すること
    を特徴とする情報源選択システム。
  8. 請求項１記載の情報源選択システムにおいて、
    前記移動受付手段が受け付けた移動指示に基づいて、移動先の情報源を特定する特定手段を、さらに有し、
    前記移動指示が左方向への長距離移動の場合、前記特定手段は、仮想空間における前記ユーザの位置から所定の範囲内に存在する情報源であって、前記ユーザの向きから左への回転角度が最も小さい方向に存在する情報源を特定し、
    前記移動手段は、前記特定手段が特定した情報源の直前までユーザを移動すること
    を特徴とする情報源選択システム。
  9. 請求項１記載の情報源選択システムにおいて、
    前記移動受付手段が受け付けた移動指示に基づいて、移動先の情報源を特定する特定手段を、さらに有し、
    前記移動指示が右方向への長距離移動の場合、前記特定手段は、仮想空間における前記ユーザの位置から所定の範囲内に存在する情報源であって、前記ユーザの向きから右への回転角度が最も小さい方向に存在する情報源を特定し、
    前記移動手段は、前記特定手段が特定した情報源の直前までユーザを移動すること
    を特徴とする情報源選択システム。
  10. 請求項１記載の情報源選択システムにおいて、
    前記複数の情報源には、仮想空間に存在する他のユーザを含み、
    前記ユーザおよび前記他ユーザ各々は、当該ユーザまたは当該他ユーザを中心としてあらかじめ定められた所定の領域を有し、
    前記移動受付手段が受け付けた移動指示に基づいて、移動先の情報源を特定する特定手段を、さらに有し、
    前記移動手段は、前記特定手段が特定した情報源が前記他ユーザの場合、前記ユーザの領域の大きさと前記特定した他ユーザの領域の大きさとを比較し、
    前記他ユーザの領域が大きい場合、前記ユーザを、前記他ユーザの領域とぶつかる地点まで移動し、
    前記ユーザの領域が大きい場合、前記ユーザを、当該ユーザの領域と前記他ユーザとがぶつかる地点まで移動すること、
    を特徴とする情報源選択システム。
  11. 請求項１記載の情報源選択システムにおいて、
    前記移動手段は、
    前記移動受付手段が受け付けた移動指示である線分の左右方向の長さが、前後方向の長さより大きい場合、左右への移動と判別し、前記ユーザを左または右に移動するとともに、
    前記移動受付手段が受け付けた移動指示である線分の前後方向の長さが、左右方向の長さより大きい場合、前後への動きと判別し、前記ユーザを前または後ろに移動すること
    を特徴とする情報源選択システム。
  12. 請求項１１記載の情報源選択システムにおいて、
    前記移動受付手段が受け付けた移動指示に基づいて、移動先の情報源を特定する特定手段を、さらに有し、
    前記移動指示が左右への移動であると判別した場合であって、前記移動指示である線分の左右方向の長さが所定の長さより大きい場合、前記特定手段は、仮想空間における前記ユーザの位置から所定の範囲内に存在する情報源であって、前記ユーザの向きから左または右への回転角度が最も小さい方向に存在する情報源を特定し、
    前記移動手段は、前記特定手段が特定した情報源の直前までユーザを移動すること
    を特徴とする情報源選択システム。
  13. 請求項１１記載の情報源選択システムにおいて、
    前記移動受付手段が受け付けた移動指示に基づいて、移動先の情報源を特定する特定手段を、さらに有し、
    前記移動指示が前後への移動であると判別した場合であって、前記移動指示である線分の前後方向の長さが所定の長さより大きい場合、前記特定手段は、仮想空間における前記ユーザの位置のから最も近い前方または後方に存在する情報源を特定し、
    前記移動手段は、前記特定手段が特定した情報源の直前までユーザを移動すること
    を特徴とする情報源選択システム。
  14. 仮想空間上を利用して複数の情報源の中から任意の情報源を選択するクライアント端末であって、
    前記仮想空間は前記複数の情報源を有し、
    ユーザの仮想空間での移動を指示するための移動指示入力手段と、
    前記移動指示入力手段が入力した移動指示にもとづいて、仮想空間における前記ユーザを移動する移動手段と、
    前記移動手段が移動したユーザの仮想空間の位置に関する第１の位置情報を送信する送信手段と、
    前記複数の情報源各々の仮想空間上の位置に関する第２の位置情報を受信する受信手段と、
    前記ユーザの前記第１の位置情報および前記複数の情報源各々の前記第２の位置情報に基づいて、前記ユーザおよび前記複数の情報源各々の前記仮想空間における位置を算出する空間モデル化手段と、
    前記空間モデル化手段が算出した位置に基づいて前記複数の情報源各々の音声に適用する音響効果を制御する音響制御手段と、を有すること
    を特徴とするクライアント端末。
  15. 請求項１４記載のクライアント端末であって、
    前記第１の位置情報および前記第２の位置情報には、仮想空間における位置および向きが含まれ、
    前記複数の情報源は、ストリーミング音源または他のユーザの音声であって、
    前記音響制御手段は、前記空間モデル化手段が算出した、前記ユーザと前記複数の情報源各々との距離および向きに基づいて、３次元音響技術を用いて前記複数の情報源各々の音声に適用する音響効果を制御すること
    を特徴とするクライアント端末。
  16. 請求項１４記載のクライアント端末であって、
    前記第１の位置情報および前記第２の位置情報には、仮想空間における位置および向きが含まれ、
    前記空間モデル化手段が算出した、前記ユーザと前記複数の情報源各々との距離および向きに基づいて、３次元グラフィクス技術を用いて表示画面に出力するイメージデータを作成するイメージ作成手段をさらに有し、
    前記イメージ作成手段は、仮想空間
    における前記ユーザの位置と向きを常に固定して、表示画面に出力するイメージデータを作成すること
    を特徴とするクライアント端末。
  17. 仮想空間上を利用して複数の情報源の中から任意の情報源を選択する情報源選択方法であって、前記仮想空間は、前記複数の情報源を有し、
    クライアント端末は、
    ユーザの仮想空間での移動指示を受け付ける移動受付ステップと、
    前記移動受付ステップにおいて受け付けた移動指示にもとづいて、仮想空間におけるユーザを移動する移動ステップと、
    前記移動ステップにおいて移動したユーザの仮想空間の位置に関する位置情報を、前記複数の情報源の仮想空間の位置を管理するサーバ装置に送信する送信ステップと、
    前記サーバ装置から前記複数の情報源各々の仮想空間上の位置に関する位置情報を受信する受信ステップと、
    前記ユーザの仮想空間における前記位置情報と、前記複数の情報源各々の仮想空間における前記位置情報とに基づいて前記ユーザおよび前記複数の情報源の仮想空間における位置を算出する算出ステップと、
    前記算出ステップにおいて算出した位置に基づいて前記複数の情報源各々の音声に適用する音響効果を制御する音響制御ステップと、を行うこと、
    を特徴とする情報源選択方法。
  18. 請求項１７記載の情報源選択方法において、
    前記複数の情報源には、音声データおよび／または動画データを配信するストリーミングサーバが配信した音声データおよび／または動画データを含むこと
    を特徴とする情報源選択方法。
  19. 請求項１８記載の情報源選択方法において、
    前記サーバ装置の記憶手段には、前記情報源に含まれる音声データおよび／または動画データの、仮想空間における配置場所を含む仮想空間属性が記憶され、
    前記サーバ装置から、前記音声データおよび／または動画データを含む複数の情報源各々の仮想空間上の位置に関する位置情報を受信する情報源受信ステップと、をさらに有し、
    前記算出ステップは、前記音声データおよび／または動画データを含む複数の情報源各々の仮想空間上の位置に基づいて、前記情報源に含まれる音声データおよび／または動画データ各々の仮想空間における位置を算出し、
    前記音響制ステップは、前記算出ステップにおいて算出した位置に基づいて前記情報源に含まれる音声データおよび／または動画データ各々の音声に適用する音響効果を制御すること
    を特徴とする情報源選択方法。
JP2004202767A 2004-07-09 2004-07-09 情報源選択システム、および方法 Pending JP2006025281A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004202767A JP2006025281A (ja) 2004-07-09 2004-07-09 情報源選択システム、および方法
CN2004100818030A CN1719852B (zh) 2004-07-09 2004-12-30 信息源选择系统和方法
US11/050,202 US20060008117A1 (en) 2004-07-09 2005-02-04 Information source selection system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004202767A JP2006025281A (ja) 2004-07-09 2004-07-09 情報源選択システム、および方法

Publications (2)

Publication Number Publication Date
JP2006025281A true JP2006025281A (ja) 2006-01-26
JP2006025281A5 JP2006025281A5 (ja) 2007-04-26

Family

ID=35541408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004202767A Pending JP2006025281A (ja) 2004-07-09 2004-07-09 情報源選択システム、および方法

Country Status (3)

Country Link
US (1) US20060008117A1 (ja)
JP (1) JP2006025281A (ja)
CN (1) CN1719852B (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008029466A1 (fr) * 2006-09-07 2008-03-13 Osaka Electro-Communication University Dispositif de terminal de dialogue en ligne et système de dialogue en ligne
JP5340296B2 (ja) * 2009-03-26 2013-11-13 パナソニック株式会社 復号化装置、符号化復号化装置および復号化方法
WO2016080507A1 (ja) * 2014-11-19 2016-05-26 ヤマハ株式会社 端末装置、移動軌跡取得方法、およびオーディオ信号処理システム
KR20180080273A (ko) * 2016-03-03 2018-07-11 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 정보 상호작용 방법, 장치 및 시스템
WO2018174500A1 (ko) * 2017-03-20 2018-09-27 주식회사 라이커스게임 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램
WO2018198777A1 (ja) * 2017-04-28 2018-11-01 株式会社アルファコード 仮想現実画像提供装置および仮想現実画像提供用プログラム
WO2018216355A1 (ja) * 2017-05-24 2018-11-29 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019192172A (ja) * 2018-04-27 2019-10-31 株式会社コロプラ プログラム、情報処理装置、および方法
JP2022009049A (ja) * 2017-02-28 2022-01-14 マジック リープ， インコーポレイテッド 複合現実デバイスにおける仮想および実オブジェクトの記録
JP2022083903A (ja) * 2020-11-25 2022-06-06 株式会社アセティア コンテンツ配信装置およびコンピュータプログラム
WO2023286320A1 (ja) * 2021-07-12 2023-01-19 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
JP2023082119A (ja) * 2022-03-31 2023-06-13 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド バーチャルシーン情報インタラクション方法、装置、電子機器、記憶媒体及びコンピュータプログラム
WO2024084843A1 (ja) * 2022-10-19 2024-04-25 株式会社Ｎｔｔドコモ 仮想空間管理装置

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4608400B2 (ja) * 2005-09-13 2011-01-12 株式会社日立製作所 音声通話システムおよび音声通話中におけるコンテンツの提供方法
CN101472190B (zh) * 2007-12-28 2013-01-23 华为终端有限公司 多视角摄像及图像处理装置、系统
EP2250821A1 (en) * 2008-03-03 2010-11-17 Nokia Corporation Apparatus for capturing and rendering a plurality of audio channels
KR101381594B1 (ko) * 2008-12-22 2014-04-10 한국전자통신연구원 가상현실을 이용한 교육 장치 및 방법
US8224395B2 (en) * 2009-04-24 2012-07-17 Sony Mobile Communications Ab Auditory spacing of sound sources based on geographic locations of the sound sources or user placement
WO2011064438A1 (en) 2009-11-30 2011-06-03 Nokia Corporation Audio zooming process within an audio scene
US8391789B2 (en) * 2010-04-19 2013-03-05 Nokia Corporation Apparatus for facilitating peripheral device selection
US8717289B2 (en) 2010-06-22 2014-05-06 Hsni Llc System and method for integrating an electronic pointing device into digital image data
DE102010030534A1 (de) * 2010-06-25 2011-12-29 Iosono Gmbh Vorrichtung zum Veränderung einer Audio-Szene und Vorrichtung zum Erzeugen einer Richtungsfunktion
US9258665B2 (en) 2011-01-14 2016-02-09 Echostar Technologies L.L.C. Apparatus, systems and methods for controllable sound regions in a media room
JP5757166B2 (ja) * 2011-06-09 2015-07-29 ソニー株式会社 音制御装置、プログラム及び制御方法
KR101926477B1 (ko) * 2011-07-18 2018-12-11 삼성전자 주식회사 콘텐츠 재생 방법 및 장치
US20130145293A1 (en) * 2011-12-01 2013-06-06 Avaya Inc. Methods, apparatuses, and computer-readable media for providing availability metaphor(s) representing communications availability in an interactive map
WO2013093565A1 (en) * 2011-12-22 2013-06-27 Nokia Corporation Spatial audio processing apparatus
US9349384B2 (en) 2012-09-19 2016-05-24 Dolby Laboratories Licensing Corporation Method and system for object-dependent adjustment of levels of audio objects
US9301069B2 (en) * 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
US9892743B2 (en) 2012-12-27 2018-02-13 Avaya Inc. Security surveillance via three-dimensional audio space presentation
US10203839B2 (en) 2012-12-27 2019-02-12 Avaya Inc. Three-dimensional generalized space
US9838824B2 (en) 2012-12-27 2017-12-05 Avaya Inc. Social media processing with three-dimensional audio
US9299350B1 (en) * 2013-03-15 2016-03-29 Amazon Technologies, Inc. Systems and methods for identifying users of devices and customizing devices to users
KR102127640B1 (ko) * 2013-03-28 2020-06-30 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
CN104681034A (zh) * 2013-11-27 2015-06-03 杜比实验室特许公司 音频信号处理
CN107211061B (zh) 2015-02-03 2020-03-31 杜比实验室特许公司 用于空间会议回放的优化虚拟场景布局
EP3254435B1 (en) 2015-02-03 2020-08-26 Dolby Laboratories Licensing Corporation Post-conference playback system having higher perceived quality than originally heard in the conference
WO2017030985A1 (en) 2015-08-14 2017-02-23 Pcms Holdings, Inc. System and method for augmented reality multi-view telepresence
CN106535059B (zh) * 2015-09-14 2018-05-08 中国移动通信集团公司 重建立体声的方法和音箱及位置信息处理方法和拾音器
CN108141693B (zh) * 2015-10-09 2021-10-29 索尼公司 信号处理设备、信号处理方法和计算机可读存储介质
JP5954604B1 (ja) * 2015-12-14 2016-07-20 富士ゼロックス株式会社 診断装置、診断システムおよびプログラム
EP3209036A1 (en) * 2016-02-19 2017-08-23 Thomson Licensing Method, computer readable storage medium, and apparatus for determining a target sound scene at a target position from two or more source sound scenes
WO2017172528A1 (en) 2016-04-01 2017-10-05 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
US10514769B2 (en) * 2016-10-16 2019-12-24 Dell Products, L.P. Volumetric tracking for orthogonal displays in an electronic collaboration setting
JP6215441B1 (ja) * 2016-12-27 2017-10-18 株式会社コロプラ 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
US10841537B2 (en) * 2017-06-09 2020-11-17 Pcms Holdings, Inc. Spatially faithful telepresence supporting varying geometries and moving users
CN110035250A (zh) * 2019-03-29 2019-07-19 维沃移动通信有限公司 音频处理方法、处理设备、终端及计算机可读存储介质
WO2021235321A1 (ja) * 2020-05-21 2021-11-25 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび音響処理装置
JP7472091B2 (ja) * 2021-09-16 2024-04-22 株式会社東芝 オンライン通話管理装置及びオンライン通話管理プログラム
CN115550600B (zh) * 2022-09-27 2025-01-03 阿里巴巴（中国）有限公司 识别音频数据声音来源的方法、存储介质和电子设备
CN116437282B (zh) * 2023-03-23 2025-01-17 合众新能源汽车股份有限公司 虚拟演唱会的声感处理方法及存储介质、电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6646096A (en) * 1995-08-03 1997-03-05 Interval Research Corporation Computerized interactor systems and methods for providing same
US5889843A (en) * 1996-03-04 1999-03-30 Interval Research Corporation Methods and systems for creating a spatial auditory environment in an audio conference system
EP1835745A3 (en) * 1997-03-17 2010-09-29 Panasonic Corporation Receiving terminal and method to receive a sub-program relating to a program
US6330486B1 (en) * 1997-07-16 2001-12-11 Silicon Graphics, Inc. Acoustic perspective in a virtual three-dimensional environment
JP4232231B2 (ja) * 1998-09-30 2009-03-04 ソニー株式会社 情報処理装置および方法、並びに記録媒体
JP2000236330A (ja) * 1999-02-17 2000-08-29 Nippon Telegr & Teleph Corp <Ntt> クライアント・サーバ型デジタル音声会議システムの音声分配方法およびその装置
JP2001160022A (ja) * 1999-12-03 2001-06-12 Tafu:Kk チャットシステム、チャット制御方法およびプログラムを記録した記録媒体
US6850496B1 (en) * 2000-06-09 2005-02-01 Cisco Technology, Inc. Virtual conference room for voice conferencing
JP3621650B2 (ja) * 2001-02-26 2005-02-16 日本電信電話株式会社 ３次元共有仮想空間通信サービスにおける動的セル管理方法，仮想空間集中制御装置およびマスタサーバ
AUPR989802A0 (en) * 2002-01-09 2002-01-31 Lake Technology Limited Interactive spatialized audiovisual system
US20060031288A1 (en) * 2002-10-21 2006-02-09 Koninklijke Philips Electronics N.V. Method of and system for presenting media content to a user or group of users
US7373383B2 (en) * 2002-12-06 2008-05-13 International Business Machines Corporation Location messaging method for delivering messages in a global virtual space
JP2004348647A (ja) * 2003-05-26 2004-12-09 Hitachi Ltd ヒューマン・コミュニケーション・システム

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008029466A1 (fr) * 2006-09-07 2008-03-13 Osaka Electro-Communication University Dispositif de terminal de dialogue en ligne et système de dialogue en ligne
JPWO2008029466A1 (ja) * 2006-09-07 2010-01-21 学校法人 大阪電気通信大学 チャット端末装置、チャットシステム
JP4545214B2 (ja) * 2006-09-07 2010-09-15 学校法人 大阪電気通信大学 チャット端末装置、チャットシステム，チャットデータ表示方法，情報処理プログラム
US8718285B2 (en) 2009-03-26 2014-05-06 Panasonic Corporation Decoding device, coding and decoding device, and decoding method
JP5340296B2 (ja) * 2009-03-26 2013-11-13 パナソニック株式会社 復号化装置、符号化復号化装置および復号化方法
WO2016080507A1 (ja) * 2014-11-19 2016-05-26 ヤマハ株式会社 端末装置、移動軌跡取得方法、およびオーディオ信号処理システム
KR102098669B1 (ko) 2016-03-03 2020-04-08 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 정보 상호작용 방법, 장치 및 시스템
JP2019511756A (ja) * 2016-03-03 2019-04-25 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 情報インタラクション方法、デバイス、およびシステム
KR20180080273A (ko) * 2016-03-03 2018-07-11 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 정보 상호작용 방법, 장치 및 시스템
JP2022009049A (ja) * 2017-02-28 2022-01-14 マジック リープ， インコーポレイテッド 複合現実デバイスにおける仮想および実オブジェクトの記録
JP7275227B2 (ja) 2017-02-28 2023-05-17 マジック リープ， インコーポレイテッド 複合現実デバイスにおける仮想および実オブジェクトの記録
WO2018174500A1 (ko) * 2017-03-20 2018-09-27 주식회사 라이커스게임 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램
WO2018198777A1 (ja) * 2017-04-28 2018-11-01 株式会社アルファコード 仮想現実画像提供装置および仮想現実画像提供用プログラム
JPWO2018198777A1 (ja) * 2017-04-28 2019-06-27 株式会社アルファコード 仮想現実画像提供装置および仮想現実画像提供用プログラム
WO2018216355A1 (ja) * 2017-05-24 2018-11-29 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11361497B2 (en) 2017-05-24 2022-06-14 Sony Corporation Information processing device and information processing method
JPWO2018216355A1 (ja) * 2017-05-24 2020-05-21 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019192172A (ja) * 2018-04-27 2019-10-31 株式会社コロプラ プログラム、情報処理装置、および方法
JP2022083903A (ja) * 2020-11-25 2022-06-06 株式会社アセティア コンテンツ配信装置およびコンピュータプログラム
JP7709184B2 (ja) 2020-11-25 2025-07-16 株式会社アセティア コンテンツ配信装置およびコンピュータプログラム
WO2023286320A1 (ja) * 2021-07-12 2023-01-19 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
JP2023082119A (ja) * 2022-03-31 2023-06-13 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド バーチャルシーン情報インタラクション方法、装置、電子機器、記憶媒体及びコンピュータプログラム
JP7668834B2 (ja) 2022-03-31 2025-04-25 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド バーチャルシーン情報インタラクション方法、装置、電子機器、記憶媒体及びコンピュータプログラム
WO2024084843A1 (ja) * 2022-10-19 2024-04-25 株式会社Ｎｔｔドコモ 仮想空間管理装置

Also Published As

Publication number Publication date
US20060008117A1 (en) 2006-01-12
CN1719852B (zh) 2010-05-05
CN1719852A (zh) 2006-01-11

Similar Documents

Publication Publication Date Title
CN1719852B (zh) 信息源选择系统和方法
JP4546151B2 (ja) 音声コミュニケーション・システム
US9565316B2 (en) Multidimensional virtual learning audio programming system and method
US7533346B2 (en) Interactive spatalized audiovisual system
CN100556055C (zh) 人际通信系统
TWI554317B (zh) 對於視訊遊戲玩家及旁觀者之管理音訊及視訊通道之系統及方法
US9525958B2 (en) Multidimensional virtual learning system and method
US12262145B2 (en) Integration of remote audio into a performance venue
EP2145465A2 (en) Virtual reality-based teleconferencing
CN111492342B (zh) 音频场景处理
US11838686B2 (en) SpaeSee video chat system
JP3660198B2 (ja) ３次元共有仮想空間表示方法、３次元共有仮想空間通信システム及び方法、仮想会議システム、並びにそのための利用者端末プログラムを記録した記録媒体
JP2006094315A (ja) 立体音響再生システム
US11546718B2 (en) Use of local link to support transmission of spatial audio in a virtual environment
Leung et al. Networked intelligent collaborative environment (NetICE)
JP2022065363A (ja) 仮想空間におけるコミュニケーションシステム用サーバ装置及び仮想空間におけるコミュニケーションシステム用クライアント装置
Wu et al. User Interaction for WebGL-Based Desktop Metaverse
Nassani et al. Designing, Prototyping and Testing of $360^{\circ} $ Spatial Audio Conferencing for Virtual Tours
JPH09288645A (ja) 大部屋的仮想オフィスシステム
Kanada Simulated virtual market place by using voiscape communication medium
WO2011158493A1 (ja) 音声通信システム、音声通信方法及び音声通信機器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090928

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091110