[go: up one dir, main page]

JP2017028587A - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP2017028587A
JP2017028587A JP2015147257A JP2015147257A JP2017028587A JP 2017028587 A JP2017028587 A JP 2017028587A JP 2015147257 A JP2015147257 A JP 2015147257A JP 2015147257 A JP2015147257 A JP 2015147257A JP 2017028587 A JP2017028587 A JP 2017028587A
Authority
JP
Japan
Prior art keywords
information processing
information
processing apparatus
setting value
media setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015147257A
Other languages
English (en)
Inventor
英輝 石見
Hideki Iwami
英輝 石見
山浦 智也
Tomoya Yamaura
智也 山浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015147257A priority Critical patent/JP2017028587A/ja
Priority to PCT/JP2016/065474 priority patent/WO2017018042A1/ja
Priority to US15/510,748 priority patent/US10582376B2/en
Publication of JP2017028587A publication Critical patent/JP2017028587A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4516Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W72/00Local resource management
    • H04W72/50Allocation or scheduling criteria for wireless resources
    • H04W72/51Allocation or scheduling criteria for wireless resources based on terminal or device properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/02Processing of mobility data, e.g. registration information at HLR [Home Location Register] or VLR [Visitor Location Register]; Transfer of mobility data, e.g. between HLR, VLR or external networks
    • H04W8/08Mobility data transfer
    • H04W8/14Mobility data transfer between corresponding nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/22Processing or transfer of terminal data, e.g. status or physical capabilities
    • H04W8/24Transfer of terminal data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/0215Traffic management, e.g. flow control or congestion control based on user or device properties, e.g. MTC-capable devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/02Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10Small scale networks; Flat hierarchical networks
    • H04W84/12WLAN [Wireless Local Area Networks]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W92/00Interfaces specially adapted for wireless communication networks
    • H04W92/16Interfaces between hierarchically similar devices
    • H04W92/18Interfaces between hierarchically similar devices between terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Communication Control (AREA)

Abstract

【課題】無線通信を利用して画像データを受信する情報処理装置を提供する。【解決手段】Miracast Release1と親和性が高いRTSPパラメーターを新設して、シンク機器の要求によるソース機器のメディア設定値を変更する通信シーケンスにおいて、無線区間上のリソースを少なくし、ユーザーの待ち時間を感じさせない通信シーケンスとする。また、複数のソース機器から送信された画像データに基づく複数の画像をシンク機器の表示部に表示させるマルチソース・トポロジー環境では、極力データ伝送レートを割り当てる帯域制御方法を提示することを可能とする。【選択図】 図1

Description

本明細書で開示する技術は、無線通信を利用して画像データを受信する情報処理装置及び情報処理方法に関する。
IEEE(Institute of Electrical and Electronics Engineers)802.11で規定される無線LAN(Local Area Network)システムでは、親機として動作するアクセスポイントを介して、子機として動作するステーション間での無線による通信が行なわれる。
一方、無線LANの普及促進団体であるWi−Fi(Wireless Fidelity)アライアンスが策定した仕様であるWi−Fi Directは、機器同士が1対1(ピアツーピア)で直接通信する動作モードを提供する。Wi−Fi Directの機能を備えた無線LANデバイスは、アクセスポイントとインフラストラクチャー・モードで接続されて通信を行なうことと、Wi−Fi Directに対応する他の無線LANデバイスとWi−Fi Directで接続されて通信を行なうことの両方の動作が可能である(例えば、特許文献1参照)。
また、近距離無線AV(Audio Visual)伝送通信として、例えば、Wi−Fi CERTIFIED Miracastを用いることができる。Wi−Fi CERTIFIED Miracastは、Wi−Fi DirectやTDLS(Tunneled Direct Link Setup)の技術を利用して、一方の端末で再生される音声や表示映像を他の端末に送信し、他の端末でも同様にその音声、画像データを出力させるミラーリング技術である。Wi−Fi CERTIFIED Miracastでは、TCP/IP(Transmission Control Protocol/Internet Protocol)上でUIBC(User Input Back Channel)を実現している。UIBCは、一方の端末から他方の端末へマウスやキーボードなどの入力機器の操作情報を送信する技術である(例えば、特許文献2を参照のこと)。
特許第5521774号公報 特開2015−70568号公報
本明細書で開示する技術の目的は、無線通信を利用して画像データを好適に受信することができる、優れた情報処理装置及び情報処理方法を提供することにある。
本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第1の側面は、
無線接続される他の情報処理装置からデータを受信する情報処理装置であって、
前記他の情報処理装置からの問合せに応じて前記情報処理装置のCapability情報を送信するCapability情報送信部と、
前記情報処理装置に関するCapability情報と、前記他の情報処理装置との通信に関する解像度情報と、前記情報処理装置における前記受信データの再生出力形式に基づいて前記他の情報処理装置に関するメディア設定値を制御する制御部と、
前記制御部によって選択されたメディア設定値に関する情報を前記他の情報処理装置に送信するメディア設定値送信部と、
を具備する情報処理装置である。
本明細書で開示する技術の第2の側面によれば、第1の側面に係る情報処理装置の前記Capability情報送信部は、Miracast Release1のCapability Negotiation処理として、前記情報処理装置のCapability情報を送信し、前記メディア設定値送信部は、Miracast機能拡張の処理として、メディア設定値に関する情報を送信するように構成されている。
本明細書で開示する技術の第3の側面によれば、第2の側面に係る情報処理装置は、前記Capability Negotiation処理として、前記他の情報処理装置との通信に関する前記解像度情報を受信するように構成されている。
本明細書で開示する技術の第4の側面によれば、第1の側面に係る情報処理装置は、Miracast拡張機能情報を要求するRTSPパラメーターを含んだ要求メッセージを前記他の情報処理装置から受信したことに応じて、Miracast拡張機能情報を実装するか否かを示すRTSPパラメーターを含んだ応答メッセージを返信する拡張機能送信部をさらに備えている。
本明細書で開示する技術の第5の側面によれば、第1の側面に係る情報処理装置は、送出可能なメディア設定値を前記他の情報処理装置に問い合わせるメディア設定値問合せ部をさらに備えている。そして、前記制御部は、前記問い合わせに対する返答に基づいて、前記他の情報処理装置に関するメディア設定値を制御するように構成されている。
本明細書で開示する技術の第6の側面によれば、第1の側面に係る情報処理装置の前記制御部は、現在設定しているメディア設定値を基準として、データ伝送レートを増加又は低減するためのメディア設定値の制御を行なうように構成されている。
本明細書で開示する技術の第7の側面によれば、第6の側面に係る情報処理装置の前記制御部は、min(前記他の情報処理装置と共通項で最小のものを指定)、max(前記他の情報処理装置と共通項で最大のものを指定)、down(今使っているものより1段階低いものを指定)、up(今使っているものより1段階高いものを指定)を用いてメディア設定値の変更要求を行なわせるように構成されている。
本明細書で開示する技術の第8の側面によれば、第7の側面に係る情報処理装置の前記メディア設定値送信部は、RTSPパラメーターを用いたメディア設定値の変更要求を送信するように構成されている。
本明細書で開示する技術の第9の側面によれば、第5の側面に係る情報処理装置の前記制御部は、前記情報処理装置が受信可能なメディア設定値と前記他の情報処理装置から送出可能なメディア設定値の間で共通する1以上のメディア設定値を選択して、前記他の情報処理装置に関するメディア設定値を制御するように構成されている。
本明細書で開示する技術の第10の側面によれば、第9の側面に係る情報処理装置の前記メディア設定値送信部は、RTSPパラメーターを用いて前記1以上のメディア設定値を直接指定したメディア設定値の変更要求を送信するように構成されている。
また、本明細書で開示する技術の第11の側面は、
無線接続される他の情報処理装置からデータを受信する情報処理装置における情報処理方法であって、
前記他の情報処理装置からの問合せに応じて前記情報処理装置のCapability情報を送信するCapability情報送信ステップと、
前記情報処理装置に関するCapability情報と、前記他の情報処理装置との通信に関する解像度情報と、前記情報処理装置における前記受信データの再生出力形式に基づいて前記他の情報処理装置に関するメディア設定値を制御する制御ステップと、
前記制御ステップにおいて選択されたメディア設定値に関する情報を前記他の情報処理装置に送信するメディア設定値送信ステップと、
を有する情報処理方法である。
本明細書で開示する技術によれば、無線通信を利用して画像データを受信する情報処理装置及び情報処理方法を提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、通信システム600の構成例を示した図である。 図2は、第1の実施例におけるソース機器としての情報処理装置700の機能的構成例を示したブロック図である。 図3は、第1の実施例におけるシンク機器としての情報処理装置800の機能的構成例を示したブロック図である。 図4Aは、情報処理装置800の表示部351に表示される画像の遷移例を示した図である。 図4Bは、情報処理装置800の表示部351に表示される画像の遷移例を示した図である。 図5は、第1の無線通信装置100と第2の無線通信装置200間で実施される通信処理例を示した図である。 図6は、第1の無線通信装置100と第2の無線通信装置200間で実施される通信処理例を示した図である。 図7は、第1の無線通信装置100と第2の無線通信装置200間で実施される通信処理例を示した図である。 図8は、ソース機器とシンク機器間でMiracast Release1規格の拡張機能の実装の有無を確認するための通信シーケンス例(AV伝送前)を示した図である。 図9は、ソース機器がシンク機器の要求によりメディア設定値を変更する通信シーケンス例(AV伝送後)を示した図である。 図10は、拡張RTSPメッセージを用いたソース機器とシンク機器間の通信シーケンス例を示した図である。 図11は、追加RTSPメッセージの通信シーケンス例(AV伝送後)を示した図である。 図12は、シンク機器がソース機器に対して解像度の変更要求する場合のRTSP追加RTSPメッセージの使用例を示した図である。 図13は、シンク機器がソース機器に対してビットレートの変更要求する場合のRTSP追加RTSPメッセージの使用例を示した図である。 図14は、シンク機器がソース機器に対してデータ伝送速度を指定しつつビットレートの変更要求する場合のRTSP追加RTSPメッセージの使用例を示した図である。 図15は、シンク機器の要求によりソース機器がメディア設定値を変更するためのRTSPメッセージの通信シーケンス例を示した図である。 図16は、シンク機器の要求によりソース機器がメディア設定値を変更するためのRTSPメッセージの通信シーケンス例を示した図である。 図17は、シンク機器の要求によりソース機器がメディア設定値を変更するためのRTSPメッセージの通信シーケンス例を示した図である。 図18は、シンク機器の要求によりソース機器がメディア設定値を変更するためのRTSPメッセージの通信シーケンス例を示した図である。 図19は、シンク機器の要求によりソース機器がメディア設定値を変更するためのRTSPメッセージの通信シーケンス例を示した図である。 図20は、シンク機器の要求によりソース機器がメディア設定値を変更するためのRTSPメッセージの通信シーケンス例を示した図である。 図21は、RTSP M3 Requestメッセージの例を示した図である。 図22は、RTSP M3 Responseメッセージの例を示した図である。 図23は、RTSP M3R Requestメッセージの例を示した図である。 図24は、RTSP M3R Responseメッセージの例を示した図である。 図25は、新規定義したM3R Request/Rresponseメッセージを利用したRTSPメッセージの通信シーケンス例を示した図である。 図26は、マルチソース・トポロジー環境の通信システム2600の構成例を示した図である。 図27は、図26に示した通信システム2600を構成する各装置間における通信シーケンス例を示した図である。 図28は、シンク機器としての情報処理装置800がマルチソース・トポロジー環境下で実行する動作手順を示したフローチャートである。 図29は、シンク機器がソース機器に対してリフレッシュ・レートの変更要求する場合のRTSP追加RTSPメッセージの使用例を示した図である。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
[アプリケーション動作開始時における通信例]
図5及び図6には、第1の無線通信装置100と第2の無線通信装置200間で実施される通信処理例をシーケンス・チャートの形式で示している。各図は、具体的には、Wi−Fi Allianceにおいて標準化されているWi−Fi Direct(Direct)規格(Wi−Fi P2Pと呼ばれることもある)での接続に至るダイレクト接続の確立手順の一例である。
Wi−Fi Directでは、複数の無線通信装置が互いの存在を検出する(Device Discovery、Service Discovery)。そして、接続機器選択を行なうとその選択された機器間でWPS(Wi−Fi Protected Setup)で機器認証を行なうことによって、ダイレクト接続が確立される。また、Wi−Fi Directでは、複数の無線通信装置が親機(Group Owner)又は子機(Client)のいずれとしての役割を担うかを決定して通信グループを形成する。
但し、図5及び図6に示す通信処理例では、一部のパケット送受信の図示を省略しており、以下でも詳細な説明は行なわない。例えば、初回接続時には、上述したように、WPSを使うためのパケット交換が必要であり、Authentication Request/Responseのやり取りなどにおいてもパケット交換が必要となるが、詳細についてはWi−Fi Direct(Direct)規格の仕様書を参照されたい。
また、図5及び図6では、ソース機器に相当する第1の無線通信装置100とシンク機器に相当する第2の無線通信装置200間における通信処理例を示すが、他の無線通信装置間における通信処理も同様のシーケンス・チャートになると理解されたい。
図5及び図6を参照しながら、P2P(Peer to Peer)接続を確立してアプリケーションを動作させるまでの無線パケット送受信手順について説明する。
最初に、第1の無線通信装置(ソース機器)100と第2の無線通信装置(シンク機器)200間においてDevice Discoveryが行なわれる(SEQ501)。例えば、第1の無線通信装置100は、Probe request(応答要求信号)を送信し、このProbe requestに対するProbe response(応答信号)を第2の無線通信装置200から受信する。これにより、第1の無線通信装置100と第2の無線通信装置200は,互いの存在を発見することができる。また、Device Discoveryにより、相手のデバイス名や種類(TV、PC、スマートフォンなど)を取得することができる。
続いて、第1の無線通信装置100と第2の無線通信装置200間において、任意のService Discoveryが行なわれる(SEQ502)。例えば、第1の無線通信装置100は、Device Discoveryで発見した第2の無線通信装置200が対応しているサービスを問い合わせるService Discovery Queryを送信する。そして、第1の無線通信装置100は、Service Discovery Responseを第2の無線通信装置200から受信することにより、第2の無線通信装置200が対応しているサービスを取得する。すなわち、Service Discoveryにより、相手が実行可能なサービスなどを取得することができる。相手が実行可能なサービスは、例えば、service、protocol(DLNA(Digital Living Network Alliance) DMR(Digital Media Renderer)など)である。
続いて、ユーザーにより接続相手の選択操作(接続相手選択操作)が行なわれる(SEQ503)。この接続相手選択操作は、第1の無線通信装置100又は第2の無線通信装置200のいずれか一方のみに発生することもある。例えば、第1の無線通信装置100の表示部に接続相手選択画面が表示され、この接続相手選択画面において接続相手として第2の無線通信装置200がユーザー操作により選択される。
ユーザーにより接続相手選択操作が行なわれると(SEQ503)、第1の無線通信装置100と第2の無線通信装置200間においてGroup Owner Negotiationが行なわれる(SEQ504)。図5及び図6に示す例では、Group Owner Negotiationの結果により,第1の無線通信装置100がグループ・オーナー(Group Owner)になり、第2の無線通信装置200がクライアント(Client)になる。
続いて、第1の無線通信装置100と第2の無線通信装置200間において、各処理SEQ507乃至SEQ510)が行なわれることにより、ダイレクト接続が確立される。すなわち、Association(L2(第2層) link確立)(SEQ507)、Secure link確立(SEQ508)が順次行なわれる。また、IP Address Assignment(SEQ509)、L4 setup(SEQ510)が順次行なわれる。SEQ510においては、例えば、WFDS(Wi−Fi Direct Services)などを用いることが想定される。
続いて、ユーザーによりアプリケーションの指定又は起動操作(アプリ指定・起動操作)が行なわれる(SEQ511)。このアプリ指定・起動操作は、第1の無線通信装置100又は第2の無線通信装置200のいずれか一方のみに発生することもある。例えば、第1の無線通信装置100の表示部にアプリ指定・起動操作画面(後述)が表示され、このアプリ指定・起動操作画面において所望のアプリケーションがユーザー操作により選択される。
ユーザーによりアプリ指定・起動操作が行なわれると(SEQ511)、このアプリ指定・起動操作に対応するアプリケーションが第1の無線通信装置100及び第2の無線通信装置200間において実行される(SEQ512)。
ここで、Wi−Fi Direct規格以前の仕様(すなわち、IEEE802.11で標準化された仕様)の範囲内で、アクセスポイント(Access Point)と端末局(Station)間の接続を行なう場合には、第2層で接続する前(IEEE802.11用語では「association前」とも呼ぶ)には、どのようなデバイスと繋ごうとしているのかを事前に知ることができない。
これに対し、Wi−Fi Direct規格では、図5及び図6に示したように、Device discoveryやService Discovery(option)において、接続候補相手を探す際に、接続相手の情報を取得することができる。この接続相手の情報は、例えば、基本的なデバイスのタイプや、対応しているアプリケーションなどである。そして、その取得された接続相手の情報に基づいて、ユーザーに接続相手を選択させることができる。
ここで、第2層での接続後に、シンク機器としての第2の無線通信装置200からの要求により、ソース機器としての第1の無線通信装置100が、メディア設定値(例えば、解像度、画像圧縮方式、音声圧縮方式、映像又は音声出力形式等)を変更させたい場合を考える。第2層での接続後に、ソース機器のメディア設定値を変更させるためには、現行のMiracast規格(Release1)ではメッセージが定義されていない。そうなると、ソース機器とシンク機器間で独自RTSP(Real Time Streaming Prptocol)メッセージをやり取りさせるか、または、現行のMiracast規格(Release1)の範囲内で動作させる場合、一度切断し、ソース機器から、シンク機器のCapability情報を要求させ、シンク機器が返答するCapability情報の中に、シンク機器が要求するソース機器のメディア設定値を設定する必要がある。
[アプリケーション動作開始時における通信例]
図7には、第1の無線通信装置100と第2の無線通信装置200間で実施される通信処理例をシーケンス・チャートの形式で示している。図7は、第2層での接続後に、特定の別なアプリケーションを起動する場合における通信処理例を示している。但し、図5並びに図6と共通する部分については図示を省略している。具体的には、図7中の通信処理SEQ541では、図5及び図6に示した各処理SEQ501乃至SEQ512を行なうものとする。また、通信処理SEQ543でも、図5及び図6に示す各処理SEQ501乃至SEQ512を行なうものとする。
このように、Miracast Release1規格を用いて、シンク機器の要求により、ソース機器がメディア設定値を変更する場合には、Device discovery、第2層の接続処理、secure link確立処理、IP addressアサイン処理などを再度行なう必要がある。このため、無線区間上のリソースの使用による衝突が増加し、これらの各処理に要する時間だけ、ユーザーの待ち時間が増加することになる。
さらに、Wi−Fi Directを用いて接続する環境において、他の無線装置からの干渉波を極力削減するようなアプローチが重要となる。
さらに、マルチソース・トポロジー環境、すなわち送信側の情報処理装置が複数存在し、これらの情報処理装置から送信された画像データに基づく複数の画像を、受信側の情報処理装置の表示部に表示させることも想定される。このような場合には、限られた無線帯域の中で、表示状態に応じて高品質なメディア表示又は再生が必要な情報処理装置に対し、極力、データ伝送速度を割り当てる帯域制御が望ましく、その帯域制御方法が課題となる。
Miracast規格(Release1)の規格拡張として、シンク機器からの要求によって、ソース機器が、メディア設定値を変更し、データ伝送を継続して行なう例について説明する。図1に示した通信システム600はマルチソース・トポロジーであるが、第1の実施例ではシングルソース・トポロジーを前提として説明する。
まず、シンク機器からの要求によってソース機器がメディア設定値の変更を行なうユースケースと無線環境について説明する。
[通信システムの構成例]
図1には、通信システム600の構成例を示している。図示の通信システム600は、P2Pダイレクト通信により無線接続を行なうことができるものとする。
通信システム600には、情報処理装置700と、情報処理装置800と、情報処理装置900が含まれている。通信システム600内では、情報処理装置700及び情報処理装置900のうちの少なくとも1つから送信されるデータ(例えば、画像データや音声データ)を情報処理装置800が受信する。すなわち、通信システム600は、ソース機器としての情報処理装置700及び情報処理装置900とシンク機器としての情報処理装置800間のP2Pダイレクト通信を用いたマルチソース・トポロジー環境の無線接続を行なうことを想定している。
情報処理装置700、800は、無線通信機能を備える機器であり、情報処理装置900は有線経由で情報処理装置800と接続する有線通信機能を備える機器である。例えば、情報処理装置700、800は、無線通信機能を備える表示装置(例えば、パーソナル・コンピューター)や携帯型の情報処理装置(例えば、スマートフォン、タブレット端末)である。一方、情報処理装置900はケーブルテレビ用チューナである。また、例えば、情報処理装置700、800は、IEEE802.11、IEEE802.15、IEEE802.16、3GPP(3rd Generation Partnership Project)仕様(例えば、W−CDMA(Wideband Code Division Multiple Access)、GSM(登録商標)(Global System for Mobile Communications)、WiMAX(Worldwide Interoperability for Microwave Access)、WiMAX2、LTE(Long Term Evolution)、LTE−A(Advanced))に準拠した無線通信装置である。そして、情報処理装置700、800は、無線通信機能を利用して各種情報のやり取りを行なうことができる。
ここで、一例として、情報処理装置700及び情報処理装置800間で無線LANを用いた無線通信を行なう場合を例にとって説明する。
無線LANとして、例えば、Wi−Fi Direct、TDLS、アドホック・ネットワーク、メッシュ・ネットワークを用いることができる。また、通信システム600に用いられる近距離無線AV伝送通信として、例えば、Wi−Fi CERTIFIED Miracast(技術仕様書名:Wi−Fi Display)を用いることができる。なお、Wi−Fi CERTIFIED Miracastは、Wi−Fi DirectやTDLSの技術を利用して、一方の端末で再生される音声や表示画像を他の端末に送信し、他の端末でも同様にその音声、画像データを出力させるミラーリング技術である。
なお、Wi−Fi CERTIFIED Miracastでは、TCP/IP上でUIBCを実現している。UIBCは、一方の端末から他方の端末へマウスやキーボード等の入力機器の操作情報を送信する技術である。また、Wi−Fi CERTIFIED Miracastの代わりに、他のリモートデスクトップソフトウェア(例えば、VNC(Virtual Network Computing))を適用するようにしてもよい。
Wi−Fi CERTIFIED Miracastでは、画像(映像)を、例えば、H.264を用いて圧縮・展開することが定められている。また、例えば、Wi−Fi CERTIFIED Miracastでは、H.264を送信側で調整することができる。なお、H.264に限らず、例えば、H.265(例えば、HEVC(high efficiency video coding)、SHVC(scalable video coding extensions of high efficiency video coding))、MPEG(Moving Picture Experts Group)4、JPEG(Joint Photographic Experts Group)7000にも対応することができる。また、例えば、1ライン以上を束ねて圧縮したり、2ライン以上を2×2以上のマクロブロックに分割して圧縮・展開を行なうラインベースコーデック(例えば、Wavelet、DCT(Discrete Cosine Transform))にも対応することができる。また、例えば、特定の符号量領域(Picture又は複数ラインの束又はマクロブロックなど)の前符号量領域との差分を求めることでDCTやWavelet等の圧縮を行なわずに伝送レートを減らすコーデックにも対応することができる。また、非圧縮で画像(映像)を送信・受信するようにしてもよい。
本明細書で開示する技術の第1の実施例として、情報処理装置700が撮像動作により生成された画像データ及び音声データを送信対象とする例を示す。また、第1の実施例では、情報処理装置900は、ハード・ディスクなどの記憶部に保存されているコンテンツ(例えば、画像データ及び音声データからなるコンテンツ)を送信対象とする例を示す。なお、情報処理装置700として、カメラを搭載した電子機器(例えば、パソコン、ゲーム機、スマートフォン、タブレット端末)を用いるようにしてもよい。また、情報処理装置800として、表示部を備える他の電子機器(例えば、撮像装置、ゲーム機、スマートフォン、タブレット端末)を用いるようにしてもよい。また、情報処理装置700がテザリング機能を備える場合には、無線又は有線ネットワークを介してISP(Internet Services Provider)に保存されたコンテンツを送信対象とするようにしてもよい。
例えば、情報処理装置700の撮像動作により生成された画像データが情報処理装置800に送信され、その画像データに基づく画像11が情報処理装置800の表示部351に表示される。また、情報処理装置900の記憶部に保存されているコンテンツが情報処理装置800に送信され、そのコンテンツに基づく画像12が情報処理装置800の表示部351に表示される。
このように第1の実施例では、情報処理装置700をソース機器とし、情報処理装置800をシンク機器とする例を示す。
[情報処理装置(ソース機器)の構成例]
図2には、第1の実施例におけるソース機器としての情報処理装置700の機能的構成例を示している。図示の情報処理装置700は、アンテナ210と、無線通信部220と、制御信号受信部230と、制御部240と、画像・音声信号生成部250と、画像・音声圧縮部260と、ストリーム送信部270を備えている
無線通信部220は、制御部240の制御に基づいて、無線通信を利用して、他の情報処理装置(例えば、情報処理装置800)との間で各情報(例えば、画像データ及び音声データ)の送受信を、アンテナ210を介して行なう。例えば、画像データの送信処理が行なわれる場合には、画像・音声信号生成部250により生成された画像データが画像・音声圧縮部260により圧縮され、この圧縮された画像データ(画像ストリーム)が無線通信部220を経由してアンテナ210から送信される。
また、無線通信部220は、複数の周波数チャネルを利用して、他の情報処理装置(例えば、情報処理装置800)との間で各情報の送受信を行なうことが可能である。第1の実施例では、無線通信部220が、2.4GHz、5GHz、60GHzの3種類の周波数チャネルを同時又は選択した周波数のみを送受信可能な機能を備えるものとする。このように、ソース機器が、複数の周波数チャネルを送受信可能な機能を備える場合には、シンク機器(例えば、情報処理装置800)は、各ソース機器にどの周波数チャネルを使用させるかを制御することができる。
制御信号受信部230は、無線通信部220により受信された各情報のうちから、他の情報処理装置(例えば、情報処理装置800)から送信された制御信号(例えば、情報処理装置800とのやり取りの情報)を取得する。そして、制御信号受信部230は、その取得された制御信号を制御部240に出力する。
制御部240は、情報処理装置700から送信される各情報に関する制御を行なう。例えば、制御部240は、制御信号受信部230により受信された制御信号に基づいて、画像・音声信号生成部250及び画像・音声圧縮部260に対する制御を行なう。具体的には、制御部240は、送信対象となる画像データの解像度や音声のチャネル数を変更させるための制御や、送信対象となる画像データの画像領域を変更させるための制御を行なう。すなわち、制御部240は、制御信号受信部230により受信された制御信号に基づいて、送信対象となるストリームの伝送制御を行なう。このストリームの伝送制御は、例えば、データ伝送速度制御、スケーラビリティ伝送レート制御である。
また、制御部240は、無線通信を利用してシンク機器との間でデータの送受信が行なわれている際における電波伝搬状況(リンク電波伝搬状況)を測定する機能を備え、その測定結果(電波伝搬測定情報)をシンク機器に送信するようにしてもよい。
ここで、電波伝搬測定情報は、例えば、シンク機器との回線品質が、画像データ及び音声データの送受信を行なうことができる品質であるか否かを判断する際に用いられる情報である。また、電波伝搬測定情報は、例えば、ストリームの伝送制御を行なう際に用いられる。なお、電波伝搬測定情報の代わりに、制御部240に同一パケットの再送回数をカウントさせ、このカウント数に応じて、ストリームの伝送制御を行なうようにしてもよい。
また、データ伝送速度は、主に、通信路を占有する率を意味し、通信速度や通信容量の意味を含むものとする。また、解像度は、例えば、画像データの画枠(縦・横のピクセル数)、画像データのビットレート(圧縮率)などの要素から構成される画質の指標と定義する。また、画質の指標としては、ストリームのスループットを用いることができる。また、音声のチャネル数は、モノラル(1.0ch)、ステレオ(2.0ch)、5.1ch、6.1ch、9.1ch、ハイレゾ(ハイレゾリューションオーディオ(High−Resolution Audio))などの音声の記録再生方法の意味を含むものとする。また、音声のチャネル数は、音声データのビットレート(圧縮率)やチャネル数などの要素から構成される音質の指標と定義する。また、音質の指標としては、ストリームのスループットを用いることができる。
また、制御部240は、データレート制御では安定化することができない状態を改善させるための制御を行なう。例えば、制御部240は、シンク機器(例えば、情報処理装置800)との情報のやり取りにより、シンク機器のシステム性能情報を把握する。ここで、システム性能情報は、例えば、シンク機器のシステムに関する性能情報である。例えば、システム性能情報は、使用可能な周波数チャネル、解像度、TCP、UDP(User Datagram Protocol)である。また、システム性能情報は、例えば、暗号化方法の対応、SD(Standard Definition)/HD(High Definition)/4K対応、低消費電力モードの対応のそれぞれを示す情報である。例えば、制御部240は、シンク機器が低消費電力モードに対応しているか否かに応じて、通信システム600のシステム全体の安定度をさらに向上させるストリームの伝送制御方法を選ぶことができる。
例えば、制御部240は、情報処理装置800とやり取りする情報の中に、情報処理装置700がモバイル機器であるかどうかの情報を入れるものとする。例えば、情報処理装置700に関するケーパビリティー(Capability)情報に、情報処理装置700がモバイル機器であるかどうかの情報を含めることができる。情報処理装置800側では、情報処理装置700がモバイル機器であることを把握すると、他に接続した情報処理装置との関連に基づいて、情報処理装置700を動作させる必要がないと判断することができる。このように、情報処理装置700を動作させる必要がないと判断された場合には、情報処理装置700は、情報処理装置800から送信停止コマンドを受信する。そして、制御部240は、その送信停止コマンドを把握すると、画像・音声信号生成部250と、画像・音声圧縮部260と、ストリーム送信部270とのそれぞれの機能の電源を一定時間ダウンさせることができる。また、制御部240は、無線通信部220についても間欠受信に移行することができる。間欠受信は、情報処理装置800からコマンドを受信できる程度に定期的に無線通信部220が起き上がり、他は電源をダウンさせるモードである。
画像・音声信号生成部250は、制御部240の制御に基づいて、出力対象となるデータ(画像データ、音声データ)を生成する。生成されたデータは、画像・音声圧縮部260に出力される。例えば、画像・音声信号生成部250は、撮像部(図示せず)及び音声取得部(図示せず)を備える。撮像部(例えば、レンズ、撮像素子、信号処理回路)は、被写体を撮像して画像データを生成する。また、音声取得部(例えば、マイク)は、その画像データの生成時における周囲の音声を取得する。このように生成された画像データ及び音声データは、他の情報処理装置(例えば、情報処理装置800)への送信対象となる。
画像・音声圧縮部260は、制御部240の制御に基づいて、画像・音声信号生成部250により生成されたデータ(画像データ及び音声データ)を圧縮(エンコード)する。そして、画像・音声圧縮部260は、その圧縮されたデータ(画像データ及び音声データ)をストリーム送信部270に出力する。なお、画像・音声圧縮部260は、ソフトウェア又はハードウェアのいずれによるエンコードの実行により実現するようにしてもよい。また、画像・音声圧縮部260は、コーデックとして機能することを想定しているが、非圧縮の画像又は音声を扱えるものとする。さらに、画像・音声圧縮部260は、スケーラブル・コーデックとしても機能するものとする。ここで、スケーラブル・コーデックは、例えば、受信側の情報処理装置(シンク機器)の解像度やネットワーク環境などに応じて、自在に適応することができるコーデックを意味する。
ストリーム送信部270は、制御部240の制御に基づいて、画像・音声圧縮部260により圧縮されたデータ(画像データ及び音声データ)をストリームとして無線通信部220を経由してアンテナ210から送信する送信処理を行なう。
なお、情報処理装置700は、上述した各部以外にも、表示部、音声出力部、操作受付部などを備えることができるが、図2ではこれらの図示を省略する。
情報処理装置700の表示部(図示せず)は、例えば、画像・音声信号生成部250により生成された画像を表示する表示部である。なお、表示部として、各種の表示パネルを用いることができる。例えば、有機EL(Electro Luminescence)、クリスタルLED(Light Emitting Diode)ディスプレイ(Crystal LED Display)、LCD(Liquid Crystal Display)を用いることができる。
情報処理装置700の音声出力部(図示せず)は、例えば、画像・音声信号生成部250により生成された音声を出力する音声出力部(例えば、スピーカー)である。なお、画像については、送信機器及び受信機器の双方から出力することもできるが、音声についてはいずれか一方のみから出力することが好ましい。
情報処理装置700の操作受付部(図示せず)は、ユーザーにより行なわれた操作入力を受け付ける操作受付部であり、例えば、キーボード、マウス、ゲームパッド、タッチパネル、カメラ、マイクである。なお、操作受付部及び表示部については、使用者がその指を表示面に接触又は近接することにより操作入力を行なうことが可能なタッチパネルを用いて一体で構成することができる。
また、図2では情報処理装置700が送信対象となる画像データ及び音声データを生成する例を示すが、情報処理装置700は、送信対象となる画像データ及び音声データを外部装置から取得するようにしてもよい。例えば、情報処理装置700は、マイクロフォン付きのWebカメラから、送信対象となる画像データ及び音声データを取得するようにしてもよい。また、情報処理装置700は、情報処理装置700の内部、外部にかかわらず、ハード・ディスクなどの記憶装置に保存されているコンテンツ(例えば、画像データ及び音声データからなるコンテンツ)を送信対象とするようにしてもよい。この場合に、その記憶装置に保存されているコンテンツが圧縮済のコンテンツである場合も想定される。この場合に、その圧縮済のコンテンツが、通信システム600で採用されている規格で定義されたエンコード方式で圧縮されている場合には、その圧縮済のコンテンツを復号(デコード)せずにそのまま送信するようにしてもよい。
[情報処理装置(シンク機器)の構成例]
図3には、第1の実施例におけるシンク機器としての情報処理装置800の機能的構成例を示している。図示の情報処理装置800は、アンテナ310と、無線通信部320と、ストリーム受信部330と、画像・音声展開部340と、画像・音声出力部350と、ユーザー情報取得部360と、制御部370と、制御信号送信部380と、管理情報保持部390を備えている。
無線通信部320は、制御部370の制御に基づいて、無線通信を利用して、他の情報処理装置(例えば、情報処理装置700)との間で各情報(例えば、画像データ及び音声データ)の送受信を、アンテナ310を介して行なう。例えば、画像データの受信処理が行なわれる場合には、アンテナ310により受信された画像データが、無線通信部320、ストリーム受信部330を経由して画像・音声展開部340により展開(復号)される。そして、その展開された画像データが画像・音声出力部350に供給され、その展開された画像データに応じた画像が画像・音声出力部350から出力される。すなわち、その展開された画像データに応じた画像が表示部351に表示される。
また、無線通信部320は、複数の周波数チャネルを利用して、他の情報処理装置(例えば、情報処理装置700)との間で各情報の送受信を行なうことが可能である。第1の実施例では、無線通信部320が、2.4GHz、5GHz、60GHzの3種類の周波数チャネルを同時又は選択した周波数のみを送受信可能な機能を備えるものとする。すなわち、無線通信部320は、第1の周波数帯を用いる通信と、第1の周波数帯よりも高速なデータ伝送速度の第2の周波数帯を用いる通信とを行なうことが可能である。また、制御部370は、各ソース機器との無線通信に、複数の周波数チャネルのうちのどの周波数チャネルを使用させるかを制御する。
なお、情報処理装置700及び情報処理装置800間のリンクと、情報処理装置900及び情報処理装置800間のリンクとは同一の周波数チャネルとするようにしてもよく、異なる周波数チャネルとするようにしてもよい。
また、第1の実施例では、無線通信部320が、2.4GHz、5GHz、60GHzの3種類の周波数チャネルを送受信可能な機能を備える例を示すが、本明細書で開示する技術はこれに限定されない。例えば、無線通信部320が、他の周波数チャネルや、2又は4以上の周波数チャネルを送受信可能な機能を備えるようにしてもよい。
ストリーム受信部330は、制御部370の制御に基づいて、無線通信部320により受信された各情報のうちから、各ソース機器とのやり取りの情報及びストリーム(例えば、画像ストリーム、音声ストリーム)を受信する。そして、ストリーム受信部330は、受信したRTSPメッセージ情報を制御部370に出力し、受信したストリームを画像・音声展開部340及び制御部370に出力する。
ここで、各ソース機器とやり取りする情報は、ソース機器(例えば、情報処理装置700)から送信される情報であり、例えば、情報処理装置800のシステム性能情報の取得要求を含む。このシステム性能情報は、例えば、使用可能な周波数チャネル、解像度、TCP、UDPや、暗号化方法の対応、SD/HD/4K対応、低消費電力モードの対応のそれぞれを示す情報である。
また、ストリーム受信部330は、無線通信を利用してシンク機器との間でデータの送受信が行なわれている際における電波伝搬状況(リンク電波伝搬状況)を測定する機能を備える。そして、ストリーム受信部330は、その測定結果(電波伝搬測定情報)を制御部370に出力する。
画像・音声展開部340は、制御部370の制御に基づいて、他の情報処理装置(例えば、情報処理装置700)から送信されたストリーム(画像データ及び音声データ)を展開(デコード)する。そして、画像・音声展開部340は、その展開されたデータ(画像データ及び音声データ)を画像・音声出力部350に出力する。なお、画像・音声展開部340は、ソフトウェア又はハードウェアのいずれによるデコードの実行により実現するようにしてもよい。また、画像・音声展開部340は、コーデックとして機能することを想定しているが、非圧縮の画像または音声を扱えるものとする。また、画像・音声展開部340は、スケーラブル・コーデックとしても機能するものとする。
画像・音声出力部350は、表示部351及び音声出力部352を備えている。
表示部351は、画像・音声展開部340により展開された画像データに基づく各画像を表示する。なお、表示部351として、例えば、有機ELパネル、クリスタルLEDディスプレイ、LCDパネルなどの表示パネルを用いることができる。また、表示部351として、使用者がその指を表示面に接触又は近接することにより操作入力を行なうことが可能なタッチパネルを用いるようにしてもよい。
音声出力部352は、画像・音声展開部340により展開された音声データに基づく各種音声(表示部351に表示された画像に関する音声など)を出力する音声出力部(例えば、スピーカ)である。ここで、音声の出力方法としては、例えば、中央チャネル(メイン画像)に割り当てられたソース機器の音声のみをスピーカーから再生して周辺チャネル(サブ画像)に割り当てられたソース機器の音声を再生しない方法を用いることができる。また、他の音声の出力方法として、例えば、中央チャネルに割り当てられたソース機器の音声の音量をメインにして、周辺チャネルに割り当てられたソース機器の音声の音量を下げて再生する方法を用いることができる。なお、これら以外の音声の出力方法を用いるようにしてもよい。
ユーザー情報取得部360は、ユーザーに関する情報(ユーザー情報)を取得する。取得されたユーザー情報は制御部370に出力される。例えば、ユーザー情報取得部360は、ユーザーが表示方法を直接設定することができる操作受付部(キーボード、マウス、リモコン、ゲームパッド、タッチパネル)からの入力を受け付けることによりユーザー情報を取得することができる。なお、操作受付部は、例えば、表示部351に表示される画像における任意の領域を指定するための操作部材である。また、例えば、ユーザー情報取得部360は、カメラ、マイク、各種センサー(例えば、ジャイロセンサー、人体を感知するセンサー)などのようにユーザーの意図を把握することができるデバイスからの入力を受け付けることによりユーザー情報を取得することができる。
例えば、ユーザー情報取得部360は、無線通信を利用して他の情報処理装置(例えば、情報処理装置700)から受信したストリームに基づく情報が画像・音声出力部350から出力されている際におけるユーザー動作により生じるユーザー情報を取得する。このユーザー情報は、例えば、表示部351に表示されている画像に関するユーザー動作により生じるユーザー情報である。例えば、ユーザー情報は、表示部351に表示されている画像に関するユーザー操作に基づいて生成される情報である。
例えば、ユーザー情報取得部360は、表示部に付属する撮像部(省略)により生成された画像データを取得してユーザー情報を生成することができる。また、例えば、ユーザー情報取得部360は、外部装置(例えば、各センサー、ウェアラブル・デバイス)により取得される情報(例えば、位置情報、識別情報)を取得してユーザー情報を生成するようにしてもよい。
制御部370は、ストリーム受信部330により取得された各情報を管理情報保持部390に保持させ、管理情報保持部390に保持されている管理情報に基づいて各ソース機器を管理する。また、制御部370は、複数のソース機器から送信されるストリームをシステム全体で安定度が向上するようにストリームの伝送制御を行なう。
例えば、制御部370は、ユーザー情報取得部360により取得されたユーザー情報と、管理情報保持部390に保持されている管理情報とに基づいてストリームの伝送制御を行なう。具体的には、制御部370は、管理情報保持部390に保持されている管理情報に基づいて、ストリームの伝送制御を行なうための制御信号をソース機器毎に生成する。そして、制御部370は、その生成された制御信号を制御信号送信部380に出力する。例えば、制御部370は、ユーザー情報及び管理情報に基づいて、表示部351に表示される画像の解像度を変更し、この解像度と同等の送信レートを各ソース機器に要求するための制御信号を生成する。また、制御部370は、ユーザー情報及び管理情報に基づいて、表示部351における画像の表示領域を決定するための制御信号を生成する。また、例えば、制御部370は、ユーザー情報及び管理情報に基づいて、表示部351における画像のサイズを決定するための制御信号を生成する。
また、制御部370は、ユーザー情報及び管理情報に基づいて、使用する周波数チャネルと解像度を設定するための制御を行なう。例えば、制御部370は、無線通信部320が備える複数の周波数チャネルについて、使用する周波数チャネルをソース機器毎に設定する。また、制御部370は、周波数チャネル毎に、消費電力モードが異なる場合には、それぞれのモードを把握し、モバイル機器の消費電力をケアした周波数チャネルを設定することができるようにする。すなわち、制御部370は、第1の周波数帯に関する第1の消費電力モードと、第1の周波数帯よりも高速なデータ伝送速度の第2の周波数帯に関する第2の消費電力モードを別々に設定することができる。
制御信号送信部380は、制御部370から出力された制御信号を無線通信部320、アンテナ310を介して、他の無線通信装置に送信する送信処理を行なう。
[画面の遷移例]
図4には、第1の実施例に係る情報処理装置800の表示部351に表示される画像の遷移例を示している。
図4Aには、情報処理装置700から受信した画像11を中央チャネルとし、情報処理装置900から受信した画像12を周辺チャネルとして、情報処理装置800の表示部351に画像11及び画像12を表示する表示形式の一例を示している。
また、図4Bには、情報処理装置700から受信した画像11を周辺チャネルとし、情報処理装置900から受信した画像12を中央チャネルとして、情報処理装置800の表示部351に画像11及び画像12を表示する表示形式の一例を示している。
例えば、情報処理装置700及び情報処理装置900がそれぞれ、標準的な解像度のストリーム(画像データ及び音声データ)を情報処理装置800に送信する場合を想定する。この場合には、図1に示したように、情報処理装置700からの画像データに基づく画像11と、情報処理装置900からの画像データに基づく画像12のサイズが同一となるように、情報処理装置800の表示部351に表示することができる。なお、この例では、与えられた解像度と表示領域とを同一と定義しているが、表示部351にスケーラー機能を追加し、画像11と画像12をそれぞれリスケールして表示部351に表示するようにしてもよい。但し、ここでは、スケーラー機能を使用しないことを前提にして簡略化して説明を行なう。
また、画像11及び画像12のそれぞれの表示形式については、例えば、前回の通信時に設定された表示形式を保持しておき、この表示形式に応じて画像11及び画像12を情報処理装置800の表示部351に表示するようにしてもよい。
また、情報処理装置800に接続された順序に基づいて、画像11及び画像12のそれぞれの表示形式を決定するようにしてもよい。例えば、情報処理装置700が情報処理装置800に最初に接続され、この接続後に情報処理装置900が情報処理装置800に接続された場合を想定する。この場合には、画像11を中央チャネルとし、画像12を周辺チャネルとして、情報処理装置800の表示部351に画像11及び画像12を表示する。すなわち、情報処理装置800への接続順序に基づいて、中央チャネル、周辺チャネルの順に表示するようにしてもよい。
また、図4Aに示すように、画像11を中央チャネルとし、画像12を周辺チャネルとして、表示部351に画像11及び画像12が表示されている場合に、画像12を中央チャネルとするユーザー情報がユーザー情報取得部360により取得された場合を想定する。例えば、視聴者がリモコンやジェスチャーなどのポインターを用いて画像12を中央チャネルとするための操作を行なうことにより、画像12を中央チャネルとするユーザー情報がユーザー情報取得部360により取得される。この場合には、図4Bに示すように、画像12を中央チャネルに、画像11を周辺チャネルに切り替えて、表示部351に画像11及び画像12が表示される。また、表示部351の表示面における画像11及び画像12の表示位置についても、ユーザー情報取得部360により取得されるユーザー情報(例えば、手動操作、視線)に基づいて決定される。
以上のように、情報処理装置800(シンク機器)の表示形態によって、情報処理装置700(ソース機器)が送信するメディア設定値(解像度、画像圧縮方式、音声圧縮方式、映像または音声出力形式など)は変更されてもよい筈である。
そこで、以下に、Miracast Release1規格の機能拡張を行ない、図4Bのような表示形態において、素早く、シンク機器が表示する画面サイズに応じてソース機器のメディア設定値を変更し、送信データ伝送速度を制御するための処理動作について、以下に示す。
まず、ソース機器、シンク機器ともに今回の拡張機能を実装しているのか否かの確認が必要となる。そこで、Miracast Release1規格の上述した拡張機能の実装の有無をソース機器とシンク機器間で確認するための通信シーケンス(AV伝送前)について、図8を参照しながら説明する。但し、図8では、図5及び図6に示したSEQ501〜SEQ510のL4 SetUpまでの通信処理の図示を省略し、RTSPリンクがソース機器とシンク機器で接続された環境までの通信処理を図示している。
シンク機器は、ソース機器へ、自らのCapability情報を送信する(SEQ801)。ソース機器は、シンク機器からCapability情報を受信すると(SEQ802)、シンク機器へ設定要求情報を送信する(SEQ803)。シンク機器は、ソース機器から設定要求情報を受信する(SEQ804)。
なお、SEQ801〜SEQ804の処理は、Miracast Release1でいうCapability Negotiation処理であり、Get_Parameter Request、Get_Parameter ResponseといったRTSPメッセージに相当する。このうち、SEQ3、SEQ4は、Capability Negotiation処理のプロセスM4におけるRTSP M4 Request及びRespopnseメッセージにそれぞれ相当する。このプロセスM4でシンク機器が受信する設定要求情報には、ソース機器からシンク機器へ送信する画像データに関する解像度情報が含まれる。
ソース機器は、Capability Negotiationのやり取りの際、シンク機器手動でソース機器への設定要求を行なう機能を持つかどうかをシンク機器に問い合わせる機能を持つ。すなわち、ソース機器は、シンク機器へ、拡張機能情報要求を送信する(SEQ805)。シンク機器は、ソース機器から拡張機能情報要求を受信すると(SEQ806)、ソース機器へ拡張機能情報を送信する(SEQ807)。ソース機器は、シンク機器から拡張機能情報を受信する(SEQ808)。具体的なRTSPメッセージ例としては、ソース機器は、拡張機能情報を要求する旨をGET_Parameter Requestとしてシンク機器へ送信し、シンク機器は、拡張機能情報を実装するか否かをGet_Parameter Responseで返信する。SEQ805〜SEQ808の処理は、Miracast拡張機能である。
その後、ソース機器は、SEQ803で送信した設定要求の設定内容でのAVデータ送信処理を行ない(SEQ809)、Miracast Release1動作としてのAVストリーミングが開始される。そして、シンク機器はAVストリームのデータ受信処理を行なう(SEQ810)。
なお、SEQ805の「拡張機能情報要求を送信」からSEQ808の「拡張機能情報を受信」までのやり取りは、図8に示した順序には限定されないものとする。例えば、ソース機器が、シンク機器のCapability情報を要求しシンク機器がCapability情報を返答するやり取りを行なっているが、「拡張機能情報要求を送信」から「拡張機能情報を受信」までのやり取りを、ソース機器がシンク機器にCapability情報を要求しシンク機器がCapability情報を返答するやり取りと同時に行なうことも、Capability情報のやり取りよりも前に行なうことも可能である。
続いて、RTSPメッセージを用いて、シンク機器の要求により、ソース機器がメディア設定値を変更する例(AV伝送後)について、図9を参照しながら説明する。
図9に示すやり取りは、Miracastのソース機器宛ての設定要求変更イベントがシンク機器内部で起こった後、Miracast機能拡張の処理として開始される。
シンク機器は、ソース機器へ、付加機能開始のための設定情報収集を送信する(SEQ901)。ソース機器は、シンク機器から設定情報要求を受信すると(SEQ902)、シンク機器へ設定情報を送信する(SEQ903)。シンク機器は、ソース機器から設定情報を受信する(SEQ904)。具体的には、シンク機器は、GET_Parameterをソース機器へ送信し、ソース機器からResponseを受信する。この時点で、シンク機器は、ソース機器が送信可能なCapability情報を把握することができる。
そして、シンク機器は、受信した設定情報に基づいて設定要求値を選択して、これをソース機器に送信する(SEQ905)。ソース機器は、設定要求値を受信すると(SEQ906)、設定要求応答をシンク機器に送信する(SEQ907)。シンク機器は、ソース機器から設定許可情報を受信する(SEQ908)。具体的には、シンク機器は、ソース機器が送信可能なCapability情報を1つ選択し、選択されたメディア設定値を選択してRTSPメッセージでSet_Parameterを発呼し、ソース機器に対し、設定変更を要求する。シンク機器は、メディア設定値を選択する際には、ソース機器側のCapability情報の他、シンク機器自身とソース機器との通信に関する解像度情報、並びにシンク機器自身の使われ方を考慮する。
ソース機器が設定変更を受け入れた後、ソース機器とシンク機器のやり取りはMiracast Release1と同等の動作になる。ソース機器は、SEQ906で送信した設定要求の設定内容でのAVデータ送信処理を行ない(SEQ909)、Miracast Release1動作としてのAVストリーミングが開始される。そして、シンク機器はAVストリームのデータ受信処理を行なう(SEQ910)。
なお、シンク機器からソース機器へソース機器のメディア設定値の変更を要求するとき、図9に示す例ではシンク側がメディア設定値(例えば解像度)を1つに絞ってソース機器へ通知しているが、本明細書で開示する技術はこれに限定されないものとする。例えば、シンク機器から返信するメディア設定値は、シンク機器が設定要求したいメディア設定値群をすべてソース側へ通知し、ソース機器側では通知されたメディア設定値群の中から選択するようにしてもよい。
次に、Miracast Release1を機能拡張するためのRTSPメッセージの一例について説明する。同RTSPメッセージによって、シンク機器主導でソース機器に解像度の変更やビットレートの変更が追加されている。本機能拡張のRTSPメッセージの詳細は以下の(1)〜(4)のとおりである。
(1)シンク機器主導のRTSPメッセージ機能有無確認
シンク機器がGET_Parameter Requestを送信する機能を持つかを確認する。
(2)シンク機器主導の動的なビットレート変更
シンク機器が、ソース機器の動的なビットレート機能の確認・設定を行なう。
(3)シンク機器主導の動的な解像度変更
シンク機器が、ソース機器の動的な解像度変更の確認・設定を行なう。
(4)シンク機器主導のリフレッシュ・レート機能の確認、設定
シンク機器が動的なリフレッシュ・レート機能の確認、設定を行なう。
図10には、上記の拡張RTSPメッセージを用いたソース機器とシンク機器間の通信シーケンス例(AV伝送前)を示している。
ソース機器は、付加機能の有無の情報を要求する旨のGET_Parameter Requestを、上記のコマンドext_cmd_20を用いて送信する(SEQ1001)。
シンク機器は、ソース機器から設定情報要求を受信すると(SEQ1002)、設定情報を含むGet_Parameter Responseを、上記のコマンドext_cmd_20で返信する(SEQ1003)。
ソース機器がシンク機器からの設定情報を受信すると(SEQ1004)、以降はMiracast Release1と同様の通信動作が続く。
SEQ1001では、ソース機器は、新しいRTSPパラメーターext_reverse_get_parameterをGET_Parameter Requestで送信している。このパラメーターext_reverse_get_parameterは、ABNF(Augmented Backu−Naur form)シンタックスで、以下のように定義されるものとする。
この機能に対応しているソース機器は、RTSP M3 requestメッセージにwfd_audio_stream_controlを含めて送信し,シンク機器側もこの機能に対応しているかどうかを問い合わせる。対応していないシンク機器はRTSP M3 Response messageにて“none”を返してくるので、以降、ソース機器はこの機能を使わない。対応しているシンク機器は,対応可能なビットを1に設定し,それをRTSP M3 Responseメッセージにてソース機器に伝える。
図21には、ソース機器からシンク機器へ送信されるRTSP M3 Requestメッセージの例を示している。コンテンツ長(Content−Length)を171に指定したことと、パラメーターext_reverse_get_parameterを含むことが、従来のRTSP M3 Requestメッセージとの相違点である。
また、図22には、シンク機器からソース機器へ送信されるRTSP M3 Responseメッセージの例を示している。コンテンツ長(Content−Length)を331に指定したことと、パラメーターext_reverse_get_parameterを含むことが、従来のRTSP M3 Requestメッセージとの相違点である。
なお、本実施例では、Miracast release−1のRTSPメッセージ交換のシーケンスの変更を最小限にするために、M3 GET_PARAMETER Response中でシンク機器がGET_Parameter_Requestを送信する機能を持つかを確認するという、本来とは相違するGET_Parameterの使用方法を採用している。後継規格や独自実装など、RTSP message交換のシーケンスの変更を許容してよいのであれば、従来のM3 Request/ResponseメッセージやM4 Request/Responseメッセージの送信方向を逆にしたM3R Request/RresponseメッセージやM4R Request/Responseメッセージを定義して、それらを用いてソース機器とシンク機器間のcapability情報の告知やパラメーター設定(メディア設定値の変更)などを行なうようにする方法も考えられる。
M3 GET_PARAMETERやM4 SET_PARAMETERは、本来の規格では、ソース機器からシンク機器に対してRequestを出すものである。これに対し、逆向き(reverse)を意味する添え字を付けたM3R Request/RresponseメッセージやM4R Request/Responseメッセージは、逆向きにパラメーターを出すために新規定義したメッセージである。図23には、シンク機器からソース機器へ送信されるRTSP M3R Requestメッセージの例を示している。また、図24には、ソース機器からシンク機器へ送信されるRTSP M3R Responseメッセージの例を示している。
新規定義したM3R Request/Rresponseメッセージを利用したRTSPメッセージの通信シーケンス例を図25に示しておく。M3R Request/Rresponseメッセージの処理によって、ソース機器からシンク機器へ「Supported」という返信があった場合には、例えば図11に示す追加RTSPメッセージの通信シーケンス(AV伝送後)が継続して処理されるものと理解されたい。
次に、シンク機器が、設定情報を受信した後(Get_Parameter Responseを利用)、シンク機器がソース機器の解像度を1024×768p30に変更要求する場合のRTSPメッセージのやり取り例について、図11を参照しながら説明する。
シンク機器は、ソース機器へ、付加機能開始のための設定情報収集を送信する(SEQ1101)。ソース機器は、シンク機器から設定情報要求を受信すると(SEQ1102)、シンク機器へ、設定情報として解像度情報を送信する(SEQ1103)。シンク機器は、ソース機器から解像度情報を受信する(SEQ1104)。具体的には、シンク機器は、GET_Parameterをソース機器へ送信し、ソース機器からResponseを受信する。
そして、シンク機器は、受信した設定情報に基づいて、所望する設定要求値としての解像度を選択して、これをソース機器に送信する(SEQ1105)。ソース機器は、設定要求値として解像度情報を受信すると(SEQ1106)、設定要求応答をシンク機器に送信する(SEQ1107)。シンク機器は、ソース機器から設定許可情報を受信する(SEQ1108)。
ソース機器が設定変更を受け入れた後、ソース機器とシンク機器のやり取りはMiracast Release1と同等の動作になる。ソース機器は、SEQ1106で送信した設定要求の設定内容でのAVデータ送信処理を行ない(SEQ1109)、Miracast Release1動作としてのAVストリーミングが開始される。そして、シンク機器はAVストリームのデータ受信処理を行なう(SEQ1110)。また、シンク機器は、内部処理として、解像度及び伝送レートの変更を行なう。
シンク機器がソース機器に対して解像度の変更要求する場合のRTSPメッセージのやり取り(SEQ1105〜1108)は、上述したext_cmd_22を用いて、以下の2ステップからなる手順で行なわれる。
(ステップ1)シンク機器は、ソース機器へ、解像度を1024×768p30に変更したい要求をext_cmd_22コマンドで送信する。
(ステップ2)ソース機器は、メッセージの指示を了解した旨をシンク機器に返信する。
シンク機器がソース機器に対して解像度の変更要求する場合のRTSP追加RTSPメッセージの使用例を図12に示しておく。
また、本明細書で開示する技術に従ってシンク機器がソース機器に対して解像度の変更要求する場合のやり取りは、上記に限定されるものではない。例えば、以下の2ステップからなる手順で行なうようにしてもよい。
(ステップ1)シンク機器は、ソース機器へ、解像度を1920×1080p60、1920×1080p30、1024×768p30のどれかに変更したい要求を、ext_cmd_22コマンドで送信する。
(ステップ2)ソース機器は、メッセージの指示において、解像度1024×768p30を了解した旨をシンク機器に返信する。
次に、シンク機器がソース機器に対してビットレートの変更要求する場合のRTSPメッセージのやり取りについて説明する。例えば、現在のビットレートを50%(半分)に変更要求する場合、上述したext_cmd_21を用いて、以下の2ステップからなる手順で行なわれる。シンク機器がソース機器に対してビットレートの変更要求する場合のRTSP追加RTSPメッセージの使用例を図13に示しておく。
(ステップ1)シンク機器は、ソース機器へ、ビットレートを50%に落としてほしいことを示す要求をext_cmd_21コマンドで送信する。
(ステップ2)ソース機器は、メッセージの指示を了解した旨をシンク機器に返信する。
次に、シンク機器がソース機器に対してデータ伝送速度を指定しつつビットレートの変更要求する場合のRTSPメッセージのやり取りについて説明する。例えば、データ伝送速度を(例えば)6Mbps以下にしつつ、現在のビットレートをその80%に変更要求する場合、以下の2ステップからなる手順で行なわれる。シンク機器は、上述したext_cmd_21を用いて、現在のビットレートを80%に変更要求し、且つ、このソース機器には6Mbpsまでしか帯域を与えたくない旨を伝える。シンク機器がソース機器に対してビットレートの変更要求する場合のRTSP追加RTSPメッセージの使用例を図14に示しておく。
(ステップ1)シンク機器は、ソース機器へ、ビットレートを80%に落とし、且つ、データ伝送速度の上限が6Mbps(6000kbps)であることを示す要求をext_cmd_21コマンドで送信する。
(ステップ2)ソース機器は、メッセージの指示を了解した旨をシンク機器に返信する。
次に、シンク機器がソース機器に対してリフレッシュ・レートの変更要求する場合のRTSPメッセージのやり取りについて説明する。例えば、シンク機器がリフレッシュ・レートを(例えば)30fps以下にしたい場合のRTSPメッセージのやり取りは、上述したext_cmd_23を用いて、以下の2ステップからなる手順で行なわれる。
(ステップ1)シンク機器は、ソース機器へ、リフレッシュ・レートを30fps以下にするためのメディア設定値30を、ext_cmd_23コマンドで送信する。
(ステップ2)ソース機器は、メッセージの指示を了解した旨をシンク機器に返信する。
シンク機器がソース機器に対してリフレッシュ・レートの変更要求する場合のRTSP追加RTSPメッセージの使用例を図29に示しておく。
第2の実施例では、シンク機器がソース機器のメディア設定値(解像度、画像圧縮方式、音声圧縮方式、映像又は音声出力形式など)を把握するRTSPメッセージがないMiracast Release1と同等のシステムにおいて、シンク機器の要求により、ソース機器が、メディア設定値(例えば、解像度、画像圧縮方式、音声圧縮方式、映像又は音声出力形式など)を変更する。なお、図1に示した通信システム600はマルチソース・トポロジーであるが、第1の実施例ではシングルソース・トポロジーを前提として説明する。
図15には、本実施例におけるソース機器とシンク機器間の通信シーケンス例を示している。
シンク機器は、所望するメディア設定要求値(例えば、解像度、画像圧縮方式、音声圧縮方式、映像又は音声出力形式など)を、ソース機器に送信する(SEQ1501)。ソース機器は、メディア設定要求値を受信すると(SEQ1502)、設定要求応答をシンク機器に送信する(SEQ1503)。シンク機器は、ソース機器から設定許可情報を受信する(SEQ1504)。
ソース機器がメディア設定値の変更を受け入れた後、ソース機器とシンク機器のやり取りはMiracast Release1と同等の動作になる。ソース機器は、SEQ1502で受信した設定要求の設定内容での映像送信処理を行ない(SEQ1505)、Miracast Release1動作としてのAVストリーミングが開始される。そして、シンク機器は映像処理を行なう(SEQ1506)。また、シンク機器は、内部処理として、解像度及び伝送レートの変更を行なう。
シンク機器は、SEQ1501において、ソース機器へ、RTSPメッセージであるSET_PARAMETER Requestを用いて、wfd2−video−change: “min”/“down”/“up”/“max”を送る。“min”/“down”/“up”/“max”の意味は、以下のとおり定義する。
minは、両方の共通項で最小のものを指定
maxは、両方の共通項で最大のものを指定
downは、今使っているものより1段階低いものを指定
upは、今使っているものより1段階高いものを指定
例えば、ソース機器がサポートしている解像度を1920×1080p30(解像度F)、1920×1080p25(解像度E)、1280×720p60(解像度D)、720×576p50(解像度B)、640×480p60(解像度A)とし、シンク機器がサポートしている解像度を1920×1080p60(解像度G)、1920×1080p30(解像度F)、1280×720p60(解像度D)、1280×720p30(解像度C)、640×480p60(解像度A)をサポートしている場合、ソース機器とシンク機器で共通な解像度はA、D、Fとなる。
ここで、ソース機器とシンク機器間での解像度が1280×720p60(解像度D)の場合、シンク機器からソース機器へmin又はdownが指定され、ソース機器からシンク機器へ,RTSPメッセージであるSET_PARAMETER Requestを用いて解像度Aを指定するケースが考えられる。この場合のソース機器とシンク機器間のRTSPメッセージの通信シーケンス例を図16に示しておく。
また、ソース機器とシンク機器間での解像度が1280×720p60(解像度D)の場合には、シンク機器からソース機器へup又はmaxが指定され、ソース機器からシンク機器へ,RTSPメッセージであるSET_PARAMETER Requestを用いて解像度Fを指定するケースが考えられる。この場合のソース機器とシンク機器間のRTSPメッセージの通信シーケンス例を図17に示しておく。
また、図18には、ソース機器とシンク機器間での解像度が1920×1080p30(解像度F)の場合、シンク機器からソース機器へdownが指定されたときの通信シーケンス例を示している。
ソース機器からシンク機器へ,RTSPメッセージであるSET_PARAMETER Requestを用いて解像度Dを指定する(SEQ1801)。これに対し、シンク機器は、ソース機器へRTSPメッセージであるSet_Parameter ResponseとしてOKを返信することもあるが、図示の例では、解像度をさらに下げてほしいので、NGを返信する(SEQ1802)。
ソース機器は、シンク機器からNGを受信したので、SET_PARAMETER Requestを用いてさらに下の解像度Aを指定する(SEQ1803)。これに対し、シンク機器は、ソース機器へRTSPメッセージであるSet_Parameter ResponseとしてOKを返信する(SEQ1804)。
ソース機器がメディア設定値の変更を受け入れた後、ソース機器とシンク機器のやり取りはMiracast Release1と同等の動作になる。ソース機器は、SEQ1804で受信した解像度Aでの映像送信処理を行ない(SEQ1805)、Miracast Release1動作としてのAVストリーミングが開始される。そして、シンク機器は映像処理を行なう(SEQ1806)。
図19には、図18に示した通信シーケンス例に対する変形例を示している。
ソース機器からシンク機器へ,RTSPメッセージであるSET_PARAMETER Requestを用いて解像度Dを指定する(SEQ1901)。これに対し、シンク機器は、解像度Dよりもさらに下げて欲しい場合が、ソース機器へRTSPメッセージであるSet_Parameter ResponseとしてOKを返信する(SEQ1902)。これにより、ソース機器は、SEQ1901で指定した解像度Dでの映像送信処理を行ない(SEQ1903)、Miracast Release1動作としてのAVストリーミングが一旦開始される。そして、シンク機器は映像処理を行なう(SEQ1904)。
その後、シンク機器からSET_PARAMETER requestを用いてwfd−video−change:“down”が送られてくると(SEQ1905)、ソース機器は解像度の低下を受け入れてOKを返信する(SEQ1906)。
次いで、ソース機器からシンク機器へ,RTSPメッセージであるSET_PARAMETER Requestを用いて解像度Aを指定する(SEQ1907)。これに対し、シンク機器は、ソース機器へRTSPメッセージであるSet_Parameter ResponseとしてOKを返信する(SEQ1908)。これにより、ソース機器は、解像度Aでの映像送信処理を行ない(SEQ1909)、Miracast Release1動作としてのAVストリーミングが開始される。そして、シンク機器は映像処理を行なう(SEQ1910)。
加えて、図20に示すように、シンク機器からソース機器へ、u又はmaxを送信した後、ソース機器からシンク機器へ“NG”とreason codeはreach to maxといった返答方法でもよい。
上記の第1及び第2の実施例はいずれも、P2P通信により無線接続されたソース機器とシンク機器間におけるメディア設定値の変更方法に関するものである。これに対し、第3の実施例は、マルチソース・トポロジー環境を想定している。
図1に示した通信システム600では、2台のソース機器のうちの一方である情報処理装置700がシンク機器としての情報処理装置800とP2P接続されるが、他方のソース機器である情報処理装置900は情報処理装置800と有線接続されている。図26に示すように、情報処理装置800と情報処理装置900間を無線接続に変更すると、マルチソース・トポロジー環境の通信システム2600となる。すなわち送信側の情報処理装置が複数存在し、これらの情報処理装置から送信された画像データに基づく複数の画像を、受信側の情報処理装置の表示部に表示させることが想定される。このような場合には、限られた無線帯域の中で、表示状態に応じて高品質なメディア表示又は再生が必要な情報処理装置に対し、極力、データ伝送速度を割り当てる帯域制御が望ましく、その帯域制御方法が課題となる。
図27には、図26に示した通信システム2600を構成する各装置間における通信シーケンス例を示している。図示の通信シーケンス例では、シンク機器としての情報処理装置800が、各ソース機器としての情報処理装置700及び情報処理装置900からそれぞれに関する管理情報を取得する。
情報処理装置700は、定期的又は不定期(開始時の実も含む)に、設定情報要求を、情報処理装置800に送信する(SEQ2701)。この設定情報要求は、情報処理装置800において設定されている、解像度、画像圧縮方式、映像出力形式、音質、音声圧縮方式、音声出力形式などのメディア設定値の送信を要求するものである。
情報処理装置800は、設定情報要求を受信すると(SEQ2702)、その設定情報要求に応じたコマンド情報を送信する(SEQ2703)。コマンド情報は、情報処理装置700が、情報処理装置800との間の電波伝搬環境と情報処理装置800における映像の表示形態を考慮して、情報処理装置700に対して設定を要望するメディア設定値を含む情報である。また、コマンド情報は、Capability情報の一部に含まれる。
情報処理装置700は、コマンド情報を受信すると(SEQ2704)、コマンド情報に基づいて自装置のメディア設定値を適宜変更して、変更した後の設定情報を情報処理装置800に送信する(SEQ2705、SEQ2706)。
同様に、情報処理装置900は、定期的又は不定期(開始時の実も含む)に、設定情報要求を、情報処理装置800に送信する(SEQ2707)。情報処理装置800は、設定情報要求を受信すると(SEQ2708)、その設定情報要求に応じたコマンド情報を送信する(SEQ2709)。そして、情報処理装置900は、コマンド情報を受信すると(SEQ2710)、コマンド情報に基づいて自装置のメディア設定値を適宜変更して、変更した後の設定情報を情報処理装置800に送信する(SEQ2711、SEQ2712)。
図28には、シンク機器としての情報処理装置800がマルチソース・トポロジー環境下で実行する動作手順をフローチャートの形式で示している。但し、情報処理装置800は、図26に示したマルチソース・トポロジー環境の通信システム2600において、第1のソース機器としての情報処理装置700との間で第1のリンクの接続を行なうとともに、第2のソース機器としての情報処理装置900との間で第2のリンクの接続を行ない、図28に示す動作手順を開始した時点では、第1のリンク及び第2のリンクにおいてそれぞれコンテンツ伝送が行なわれているものとする。
まず、制御部370は、第1のソース機器としての情報処理装置700の管理情報を取得し(ステップS2801)、次いで、第2のソース機器としての情報処理装置900の管理情報を取得する(ステップS2802)。図27に示した通信シーケンスに従って、各ソース機器から管理情報を取得することができる。取得した各管理情報は、管理情報保持部390に保持される。
次いで、制御部370は、情報処理装置800に接続されている各ソース機器が不安定であるか否かを判定する(ステップS2803)。ここで、ソース機器が不安定とは、例えば、表示部351に表示される画像が乱れるような場合を意味する。そして、すべてのソース機器が不安定でない場合には(ステップS2803のNo)、ステップS2801に戻る。
一方、いずれかのソース機器が不安定である場合には(ステップS2803のYes)、不安定であるソース機器(以下、「対象ソース機器」とする)のリンクの安定度に基づく判定を行なう(ステップS2804)。具体的には、制御部370は、対象ソース機器のPER(Packet Error Rate)が閾値以上であるか否かを判定する。
対象ソース機器のPERが閾値未満である場合には(ステップS2804のNo)、いずれのソース機器とのリンクも安定していると判断することができるため、本処理の動作を終了する。
なお、図28では、リンクの安定度を判定する際にPERを指標として用いる例を示すが、他の指標を用いるようにしてもよい。例えば、BER(Bit Error Rate)やRSSI(Receivec Signal Strength Indicator:受信信号強度)、パケットの再送回数、スループット、フレーム落ち、SIR(Signal to Snterference Ratio:希望信号対干渉信号比)などを指標に用いて、リンクの安定度を判定するようにしてもよい。
また、対象ソース機器のPERが閾値以上である場合には(ステップS2804のYes)、制御部370は、対象ソース機器が大画面(又は高品質な画面表示)か否かをさらに判定する(ステップS2805)。そして、対象ソース機器が大画面、又は、現在高品質な画面表示に設定されている場合には(ステップS2805のYes)、対象ソース機器に対して低品質な解像度を設定する(ステップS2806)。逆に、対象ソース機器が大画面でなく、且つ、現在高品質な画面表示に設定されてもいない場合には(ステップS2805のNo)、対象ソース機器に対して高品質な解像度を設定する(ステップS2807)。
そして、制御部370は、第1のソース機器及び第2のソース機器を、それぞれに指定したメディア設定値で同時動作させる(ステップS2808)。
次いで、制御部370は、通信状況に応じて、高品質なメディア設定値と低品質なメディア設定値において、リフレッシュ・レートを調整するため、対象ソース機器に送信する(ステップS2809)。
また、制御部370は、通信状況に応じて、データ伝送速度を変更するためのメディア設定値を調整するため、対象ソース機器に送信する(ステップS2810)。
また、制御部370は、通信状況に応じて、低品質な対象ソース機器の映像を一時停止するためのメディア設定値を調整して送信する(ステップS2811)。
Wi−Fi Allianceにおいて標準化されているWi−Fi Direct規格では、シンク機器の要求によるソース機器のメディア設定値を変更する場合には、Device discovery、第2層の接続処理、secure link確立処理、IP addressアサイン処理など(図5を参照のこと)を再度行なう必要がある。このため、無線区間上のリソースの使用による衝突が増加し、これらの各処理に要する時間だけ、ユーザーの待ち時間が増加することが課題となる。
これに対し、本明細書で開示する技術によれば、Miracast Release1と親和性が高いRTSPパラメーターを新設する。これによって、シンク機器の要求によるソース機器のメディア設定値を変更する通信シーケンスにおいても、無線区間上のリソースを少なくすることができ、さらに、ユーザーの待ち時間を感じさせない通信シーケンスにすることが可能となる。
本明細書で開示する技術によれば、情報処理装置間をWi−Fi Directを用いて接続する環境において、他の無線装置からの干渉を極力削減するように、メディア設定情報の設定方法を提供することが可能である。
さらに、マルチソース・トポロジー環境、すなわち送信側の情報処理装置が複数存在し、これらの情報処理装置から送信された画像データに基づく複数の画像を、受信側の情報処理装置の表示部に表示させることも想定される。限られた無線帯域の中で、表示状態に応じて高品質なメディア表示又は再生が必要な情報処理装置に対して極力データ伝送速度を割り当てる帯域制御が望ましいが、本明細書で開示する技術によれば、その帯域制御方法を提供することが可能となる。
本明細書で開示する技術は、さまざまな製品に適用することができる。例えば、情報処理装置700、800、900は、スマートフォンやタブレットなどの多機能情報端末、パーソナル・コンピューター、ゲーム機、ディジタルカメラ、その他のモバイル端末、テレビジョン受信機、プリンター、ディジタルスキャナー、ネットワーク・ストレージ・デバイス、その他の固定端末、さらにはカーナビゲーション装置などの車載端末として構成されてもよい。また、情報処理装置700、800、900は、スマート・メーター、自動販売機、遠隔監視装置、POS(Point Of Sale)端末などのM2M(Machine to Machine)端末、MTC(Machine Type Communication)端末として構成されてもよい。さらに、情報処理装置700、800、900は、これらの端末に搭載される無線通信モジュール(例えば、1つのダイで構成される集積回路)であってもよい。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリカード、ブルーレイディスク(Blu−ray(登録商標)Disc)などを用いることができる。
本明細書では、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、情報処理装置間をWi−Fi Directを用いて接続する環境に適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。他のさまざまな無線電伝送規格を用いて画像データを伝送する環境下においても、同様に本明細書で開示する技術を適用することができる。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)無線接続される他の情報処理装置からデータを受信する情報処理装置であって、
前記他の情報処理装置からの問合せに応じて前記情報処理装置のCapability情報を送信するCapability情報送信部と、
前記情報処理装置に関するCapability情報と、前記他の情報処理装置との通信に関する解像度情報と、前記情報処理装置における前記受信データの再生出力形式に基づいて前記他の情報処理装置に関するメディア設定値を制御する制御部と、
前記制御部によって選択されたメディア設定値に関する情報を前記他の情報処理装置に送信するメディア設定値送信部と、
を具備する情報処理装置。
(2)前記Capability情報送信部は、Miracast Release1のCapability Negotiation処理として、前記情報処理装置のCapability情報を送信し、
前記メディア設定値送信部は、Miracast機能拡張の処理として、メディア設定値に関する情報を送信する、
上記(1)に記載の情報処理装置。
(3)前記Capability Negotiation処理として、前記他の情報処理装置との通信に関する前記解像度情報を受信する、
上記(2)に記載の情報処理装置。
(4)Miracast拡張機能情報を要求するRTSPパラメーターを含んだ要求メッセージを前記他の情報処理装置から受信したことに応じて、Miracast拡張機能情報を実装するか否かを示すRTSPパラメーターを含んだ応答メッセージを返信する拡張機能送信部をさらに備える、
上記(1)に記載の情報処理装置。
(5)送出可能なメディア設定値を前記他の情報処理装置に問い合わせるメディア設定値問合せ部をさらに備え、
前記制御部は、前記問い合わせに対する返答に基づいて、前記他の情報処理装置に関するメディア設定値を制御する、
上記(1)に記載の情報処理装置。
(6)前記制御部は、現在設定しているメディア設定値を基準として、データ伝送レートを増加又は低減するためのメディア設定値の制御を行なう、
上記(1)に記載の情報処理装置。
(7)前記制御部は、min(前記他の情報処理装置と共通項で最小のものを指定)、max(前記他の情報処理装置と共通項で最大のものを指定)、down(今使っているものより1段階低いものを指定)、up(今使っているものより1段階高いものを指定)を用いてメディア設定値の変更要求を行なわせる、
請求項6に記載の情報処理装置。
(8)前記メディア設定値送信部は、RTSPパラメーターを用いたメディア設定値の変更要求を送信する、
上記(7)に記載の情報処理装置。
(9)前記制御部は、前記情報処理装置が受信可能なメディア設定値と前記他の情報処理装置から送出可能なメディア設定値の間で共通する1以上のメディア設定値を選択して、前記他の情報処理装置に関するメディア設定値を制御する、
上記(5)に記載の情報処理装置。
(10)前記メディア設定値送信部は、RTSPパラメーターを用いて前記1以上のメディア設定値を直接指定したメディア設定値の変更要求を送信する、
上記(9)に記載の情報処理装置。
(11)無線接続される他の情報処理装置からデータを受信する情報処理装置における情報処理方法であって、
前記他の情報処理装置からの問合せに応じて前記情報処理装置のCapability情報を送信するCapability情報送信ステップと、
前記情報処理装置に関するCapability情報と、前記他の情報処理装置との通信に関する解像度情報と、前記情報処理装置における前記受信データの再生出力形式に基づいて前記他の情報処理装置に関するメディア設定値を制御する制御ステップと、
前記制御ステップにおいて選択されたメディア設定値に関する情報を前記他の情報処理装置に送信するメディア設定値送信ステップと、
を有する情報処理方法。
210…アンテナ、220…無線通信部、230…制御信号受信部
240…制御部、250…画像・音声信号生成部
260…画像・音声圧縮部、270…ストリーム送信部
310…アンテナ、320…無線通信部、330…ストリーム受信部
340…画像・音声展開部、350…画像・音声出力部
360…ユーザー情報取得部、370…制御部
380…制御信号送信部、390…管理情報保持部
600…通信システム
700…情報処理装置

Claims (11)

  1. 無線接続される他の情報処理装置からデータを受信する情報処理装置であって、
    前記他の情報処理装置からの問合せに応じて前記情報処理装置のCapability情報を送信するCapability情報送信部と、
    前記情報処理装置に関するCapability情報と、前記他の情報処理装置との通信に関する解像度情報と、前記情報処理装置における前記受信データの再生出力形式に基づいて前記他の情報処理装置に関するメディア設定値を制御する制御部と、
    前記制御部によって選択されたメディア設定値に関する情報を前記他の情報処理装置に送信するメディア設定値送信部と、
    を具備する情報処理装置。
  2. 前記Capability情報送信部は、Miracast Release1のCapability Negotiation処理として、前記情報処理装置のCapability情報を送信し、
    前記メディア設定値送信部は、Miracast機能拡張の処理として、メディア設定値に関する情報を送信する、
    請求項1に記載の情報処理装置。
  3. 前記Capability Negotiation処理として、前記他の情報処理装置との通信に関する前記解像度情報を受信する、
    請求項2に記載の情報処理装置。
  4. Miracast拡張機能情報を要求するRTSPパラメーターを含んだ要求メッセージを前記他の情報処理装置から受信したことに応じて、Miracast拡張機能情報を実装するか否かを示すRTSPパラメーターを含んだ応答メッセージを返信する拡張機能送信部をさらに備える、
    請求項1に記載の情報処理装置。
  5. 送出可能なメディア設定値を前記他の情報処理装置に問い合わせるメディア設定値問合せ部をさらに備え、
    前記制御部は、前記問い合わせに対する返答に基づいて、前記他の情報処理装置に関するメディア設定値を制御する、
    請求項1に記載の情報処理装置。
  6. 前記制御部は、現在設定しているメディア設定値を基準として、データ伝送レートを増加又は低減するためのメディア設定値の制御を行なう、
    請求項1に記載の情報処理装置。
  7. 前記制御部は、min(前記他の情報処理装置と共通項で最小のものを指定)、max(前記他の情報処理装置と共通項で最大のものを指定)、down(今使っているものより1段階低いものを指定)、up(今使っているものより1段階高いものを指定)を用いてメディア設定値の変更要求を行なわせる、
    請求項6に記載の情報処理装置。
  8. 前記メディア設定値送信部は、RTSPパラメーターを用いたメディア設定値の変更要求を送信する、
    請求項7に記載の情報処理装置。
  9. 前記制御部は、前記情報処理装置が受信可能なメディア設定値と前記他の情報処理装置から送出可能なメディア設定値の間で共通する1以上のメディア設定値を選択して、前記他の情報処理装置に関するメディア設定値を制御する、
    請求項5に記載の情報処理装置。
  10. 前記メディア設定値送信部は、RTSPパラメーターを用いて前記1以上のメディア設定値を直接指定したメディア設定値の変更要求を送信する、
    請求項9に記載の情報処理装置。
  11. 無線接続される他の情報処理装置からデータを受信する情報処理装置における情報処理方法であって、
    前記他の情報処理装置からの問合せに応じて前記情報処理装置のCapability情報を送信するCapability情報送信ステップと、
    前記情報処理装置に関するCapability情報と、前記他の情報処理装置との通信に関する解像度情報と、前記情報処理装置における前記受信データの再生出力形式に基づいて前記他の情報処理装置に関するメディア設定値を制御する制御ステップと、
    前記制御ステップにおいて選択されたメディア設定値に関する情報を前記他の情報処理装置に送信するメディア設定値送信ステップと、
    を有する情報処理方法。
JP2015147257A 2015-07-24 2015-07-24 情報処理装置及び情報処理方法 Pending JP2017028587A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015147257A JP2017028587A (ja) 2015-07-24 2015-07-24 情報処理装置及び情報処理方法
PCT/JP2016/065474 WO2017018042A1 (ja) 2015-07-24 2016-05-25 情報処理装置及び情報処理方法、並びにソース機器
US15/510,748 US10582376B2 (en) 2015-07-24 2016-05-25 Information processing apparatus, information processing method, and source apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015147257A JP2017028587A (ja) 2015-07-24 2015-07-24 情報処理装置及び情報処理方法

Publications (1)

Publication Number Publication Date
JP2017028587A true JP2017028587A (ja) 2017-02-02

Family

ID=57885500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015147257A Pending JP2017028587A (ja) 2015-07-24 2015-07-24 情報処理装置及び情報処理方法

Country Status (3)

Country Link
US (1) US10582376B2 (ja)
JP (1) JP2017028587A (ja)
WO (1) WO2017018042A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018101514A1 (ko) * 2016-12-01 2018-06-07 엘지전자 주식회사 영상표시장치, 및 이를 구비하는 영상표시 시스템
JP7080624B2 (ja) * 2017-11-30 2022-06-06 キヤノン株式会社 通信装置、制御方法、およびプログラム
CN112584221B (zh) * 2020-11-06 2024-09-13 西安万像电子科技有限公司 图像采集方法及系统
WO2024060064A1 (en) * 2022-09-21 2024-03-28 Qualcomm Incorporated Miracast end to end (e2e) stream transmission

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094799A (ja) * 2007-10-09 2009-04-30 Funai Electric Co Ltd コンテンツ転送システム
JP5521774B2 (ja) 2010-05-25 2014-06-18 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
JP2013098903A (ja) * 2011-11-04 2013-05-20 Renesas Electronics Corp 映像音声出力装置及び映像音声出力装置の制御方法
KR102091137B1 (ko) * 2012-07-17 2020-03-20 삼성전자주식회사 영상 제공 시스템 및 방법
WO2014014238A1 (en) 2012-07-17 2014-01-23 Samsung Electronics Co., Ltd. System and method for providing image
JP6202826B2 (ja) * 2013-01-30 2017-09-27 キヤノン株式会社 通信装置、通信装置の制御方法、および、プログラム
US9716737B2 (en) * 2013-05-08 2017-07-25 Qualcomm Incorporated Video streaming in a wireless communication system
JP2015012512A (ja) * 2013-06-28 2015-01-19 株式会社東芝 情報処理装置および情報処理方法
JP5850012B2 (ja) * 2013-08-30 2016-02-03 ブラザー工業株式会社 情報処理装置、プログラム及び通信システム
JP2015070568A (ja) 2013-09-30 2015-04-13 ソニー株式会社 情報処理装置、通信方法およびプログラム
CN104754426B (zh) * 2013-12-25 2018-11-16 华为终端有限公司 一种媒体处理方法、设备及系统
WO2015199680A1 (en) * 2014-06-25 2015-12-30 Intel Corporation Techniques to enhance wireless personal area network performance under interference conditions
US10045065B2 (en) * 2014-09-05 2018-08-07 Qualcomm Incorporated Synchronization and control of overlay contents for video streaming in a wireless communication system
JP6378606B2 (ja) * 2014-10-20 2018-08-22 キヤノン株式会社 通信装置、その制御方法、およびプログラム
KR102250090B1 (ko) * 2014-12-24 2021-05-10 삼성전자주식회사 영상 데이터를 송수신하는 디바이스 및 그 방법
US10663520B2 (en) * 2015-01-07 2020-05-26 Lg Electronics Inc. Method and apparatus for reporting battery state in WFD
US20160308917A1 (en) * 2015-04-20 2016-10-20 Intel Corporation Sensor input transmission and associated processes

Also Published As

Publication number Publication date
US10582376B2 (en) 2020-03-03
WO2017018042A1 (ja) 2017-02-02
US20190090125A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
US10383098B2 (en) Information processing device and information processing method
JP6750608B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10805672B2 (en) Information processing device, information processing system, and information processing method
EP3007455B1 (en) Information processing device and information processing method
JP7037358B2 (ja) 情報処理装置、情報処理方法およびプログラム
US11435973B2 (en) Communication apparatus, communication method, and storage medium
TWI684101B (zh) 資訊處理裝置、資訊處理方法及非暫時性電腦可讀取之記錄媒體
JP7123594B2 (ja) 通信装置、制御方法、およびプログラム
US11068148B2 (en) Information processing device
KR20150026947A (ko) 디스플레이 포워딩 기능에 대한 호환성 통지를 이용하는 컨텐트 공유 방법 및 연관 디바이스
WO2017018042A1 (ja) 情報処理装置及び情報処理方法、並びにソース機器
US20190200281A1 (en) Communication apparatus, control method, and storage medium
JP2019215762A (ja) 通信装置、制御方法、および、プログラム