JP6614835B2

JP6614835B2 - 通信装置、ヘッドマウントディスプレイ、画像処理システム、通信方法及びプログラム

Info

Publication number: JP6614835B2
Application number: JP2015141596A
Authority: JP
Inventors: 光内舘
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-07-15
Filing date: 2015-07-15
Publication date: 2019-12-04
Anticipated expiration: 2035-07-15
Also published as: US20180114350A1; JP2017028350A; WO2017010038A1; US10580180B2

Description

本発明は、通信装置、ヘッドマウントディスプレイ、画像処理システム、通信方法及びプログラムに関する。

近年、現実世界と仮想世界とをリアルタイムにシームレスに融合させる技術として、複合現実感、いわゆるＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）を利用して、ビデオカメラ等で撮像された撮像映像にＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）が重畳された合成映像をＨＭＤ装着者が観察する技術が知られている。この撮像映像は、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体を含むように撮像される。合成映像の生成はＨＭＤと通信可能な外部のサーバが行うことができ、この場合、撮像映像はＨＭＤからサーバへと送信され、合成映像はサーバからＨＭＤへと送信される。

また、ＨＭＤ装着者の頭部の動きに対応させてＣＧを適切に表示するために、頭部の動きを検知するセンサを搭載したＨＭＤシステムも知られている（特許文献１）。このようなシステムでは、撮像映像に加えて、その他の通信データ（例えば頭部の動きを検知するセンサのデータ等）が、ＨＭＤからサーバへと送信される。

特許第３７２４１５７号公報

しかしながら、ＨＭＤから外部機器への伝送路の帯域幅の範囲内で撮像映像と通信データとを伝送する必要がある。このため、従来のＨＭＤシステムでは、撮像映像のデータ量と通信データのデータ量との合計が伝送路の帯域幅を超える場合、撮像映像又は通信データのデータ量（ビットレート等）を低下させる必要があり、合成映像の品質低下を招いていた。

本発明は、撮像映像と通信データとの双方を送信する際に帯域を有効活用し、伝送品質の低下を抑制することを特徴とする。

本発明の目的を達成するために、例えば、本発明の通信装置は以下の構成を備える。すなわち、
第１の映像のフレーム画像データが入力される有効区間とフレーム画像データが入力されない区間との繰り返しを通じて第１の映像データを取得し、第２の映像のフレーム画像データが入力される有効区間とフレーム画像データが入力されない区間との繰り返しを通じて第２の映像データを取得し、映像データ以外の通信データを取得する、取得手段と、
前記第１の映像データの有効区間であるか否か、及び前記第２の映像データの有効区間であるか否かに応じて、前記第１の映像データ、前記第２の映像データ、及び前記通信データの多重化方法を設定する設定手段と、
前記設定された多重化方法に従って多重化されたデータを送信する送信手段と、
を備えることを特徴とする。

本発明は、撮像映像と通信データとの双方を送信する際に帯域を有効活用し、伝送品質の低下を抑制することができる。

実施形態１に係る画像処理システムの構成例を示すブロック図。図１における多重化部１１２の構成例を示すブロック図。図２におけるモード選択部２０４の動作を示すフローチャート。図２におけるリード制御部２０５の動作を説明するタイミングチャート。図２における信号生成部２０６の動作を説明するタイミングチャート。図２におけるＭＵＸ部２０７における多重化動作を説明する図。実施形態２に係る画像処理システムの構成例を示すブロック図。実施形態３に係るコンピュータの構成例を示すブロック図。

［実施形態１］
図１は、実施形態１に係る画像処理システムの構成を示す。図１に示すように、この画像処理システムは、ヘッドマウントディスプレイ（以下、ＨＭＤ）１００と、伝送部２００と、映像合成部３００とを備える。ＨＭＤ１００は、入力される複数の映像データと通信データを多重化信号として映像合成部３００へと伝送し、映像合成部３００から受信した映像データを表示する。映像合成部３００は、ＨＭＤ１００より受信した映像データの内容に応じてＣＧデータを生成し、生成したＣＧデータを映像データに重畳してＨＭＤ１００へと伝送する。伝送部２００は、ＨＭＤ１００と映像合成部３００とを接続し、多重化信号をＨＭＤ１００から映像合成部３００へと伝送し、映像データを映像合成部３００からＨＭＤ１００へと伝送する。もっとも、ＨＭＤ１００は、狭義のヘッドマウントディスプレイには限られず、任意の頭部装着型装置でありうる。

頭部にＨＭＤ１００を装着することで、体験者は外界の映像にＣＧが重畳された映像を見ることができ、現実世界と仮想世界がリアルタイムに融合した複合現実感を体感することができる。ＨＭＤ１００には、右撮像部１０１、左撮像部１０２、第１のマーカ撮像部１０３、第２のマーカ撮像部１０４、位置検知部１０５、右表示部１０６、及び左表示部１０７等の外部装置が接続されている。

右撮像部１０１及び左撮像部１０２は体験者の視線方向に合わせてＨＭＤ１００に取り付けられている。右撮像部１０１及び左撮像部１０２は外界の映像を撮像することができる。第１のマーカ撮像部１０３及び第２のマーカ撮像部１０４も、外界の映像を撮像することができる。第１のマーカ撮像部１０３及び第２のマーカ撮像部１０４は、外界に配置されたシンボル（以下、ＭＲマーカ）を撮像するためにＨＭＤ１００に取り付けられている。第１のマーカ撮像部１０３及び第２のマーカ撮像部１０４にて撮像された映像データは、後述する映像合成部３００へと伝送され、右撮像部１０１及び左撮像部１０２により撮像された映像への仮想画像の重畳位置を決定するために用いられる。例えば、映像合成部３００は映像データからＭＲマーカの位置検出及びＭＲマーカのＩＤ情報検出を行うことができる。ＭＲマーカが検出された位置及びＭＲマーカのＩＤ情報に応じて、ＨＭＤ１００の位置・姿勢データを生成する。そして、生成されたＨＭＤ１００の位置・姿勢データに応じて、右撮像部１０１及び左撮像部１０２により撮像された映像に重畳されるＣＧデータの選択及び重畳位置の決定が行われる。

右撮像部１０１、左撮像部１０２、第１のマーカ撮像部１０３及び第２のマーカ撮像部１０４としては、例えばＣＭＯＳイメージセンサ等を用いることができる。右撮像部１０１、左撮像部１０２、第１のマーカ撮像部１０３及び第２のマーカ撮像部１０４には、それぞれ同じイメージセンサを用いてもよいし、フレームレートと解像度との少なくとも一方が異なるイメージセンサを用いてもよい。本実施形態では、右撮像部１０１及び左撮像部１０２に使用するイメージセンサと、第１のマーカ撮像部１０３及び第２のマーカ撮像部に使用するイメージセンサとは、解像度及びフレームレートが異なるものとする。

位置検知部１０５はＨＭＤ１００又はＨＭＤ１００を装着する体験者の頭部の位置と姿勢との少なくとも一方を検知するものであり、例えばジャイロセンサ、加速度センサ又は地磁気センサ等を用いることができる。以下では、位置と姿勢との少なくとも一方のことを位置・姿勢データと呼ぶ。なお、姿勢にはＨＭＤ１００の向きも含まれる。一実施形態においては、位置検知部１０５は位置と姿勢との双方を含む位置・姿勢データを生成する。位置検知部１０５が検知したデータは伝送部２００を経て映像合成部３００へと伝送され、ＣＧ重畳位置を調整するために使用することができる。位置検知部１０５が検知したデータは、例えば、位置・姿勢データの初期値として用いることができる。具体的には、位置・姿勢データの初期値に基づいてＭＲマーカ画像を第１のマーカ撮像部１０３及び第２のマーカ撮像部１０４の撮影した画像に投影し、その誤差を最小化するようにして繰り返し演算により位置・姿勢データを求めてもよい。また、位置検知部１０５が検知したデータは、第１のマーカ撮像部１０３及び第２のマーカ撮像部１０４の撮影範囲内にＭＲマーカがない場合に、ＣＧ重畳位置を調整するために使用することができる。

右表示部１０６及び左表示部１０７は、ＨＭＤ１００を装着した体験者に映像を提供するものであり、例えば有機ＥＬパネル又は液晶パネル等を用いることができる。映像合成部３００により合成した映像は、伝送部２００を通じてＨＭＤ１００へと伝送され、右表示部１０６及び左表示部１０７が映像を表示することで、体験者に映像が提供される。

次に、ＨＭＤ１００の内部構成について説明する。ＨＭＤ１００は、画像処理部１１０、ＣＰＵ１１１、多重化部１１２、送信部１１３、及び受信部１１４を有している。右撮像部１０１、左撮像部１０２、第１のマーカ撮像部１０３及び第２のマーカ撮像部１０４からＨＭＤ１００に入力される映像信号は、それぞれ画像処理部１１０を経て多重化部１１２へと入力される。

画像処理部１１０は、入力された映像信号に対して、各撮像デバイスに合わせた画像処理（例えば、色補間処理、ホワイトバランス処理及びガンマ補正処理等）を行う。

撮像部１０１〜１０４は、フレーム画像を連続して撮像することにより、複数のフレーム画像で構成される映像データを生成する。このため、画像処理部１１０へと入力される映像データは、フレーム画像データが入力される有効区間とフレーム画像データが入力されない区間との繰り返しにより構成される。

ＣＰＵ１１１は、位置検知部１０５から取得した位置・姿勢データに基づいて、映像合成部３００への通信データを生成する演算処理装置である。生成された通信データは多重化部１１２へと送信される。このように、一実施形態において、ＨＭＤ１００から映像合成部３００へと送信される通信データには、ＨＭＤ１００の位置と姿勢との少なくとも一方を示す情報が含まれる。しかしながら、ＣＰＵ１１１に入力され、映像合成部３００へと送信されるデータは、位置・姿勢データには限られない。例えば、ＣＰＵ１１１は位置検知部１０５以外の外部装置に接続されていてもよく、音声データ、ＧＰＳ情報又は温度湿度情報等のデータを取得することができる。ＣＰＵ１１１は、これらのデータに基づいて通信データを生成し、映像合成部３００へと送信することができる。

多重化部１１２は右撮像部１０１（又は左撮像部１０２）からの映像データと、第１のマーカ撮像部１０３（又は第２のマーカ撮像部１０４）からの映像データと、ＣＰＵ１１１からの通信データと、の合計３系統の入力データを時分割多重化する。時分割多重化により生成された１つの転送信号は、送信部１１３へと送信される。本実施形態では、多重化部１１２には右撮像部１０１からの映像データと第１のマーカ撮像部１０３からの映像データとが入力されるが、構成はこれに限定されない。例えば、撮像部１０１〜１０４からの映像データが同じ多重化部へと入力されてもよい。

送信部１１３は、多重化部１１２により多重化されたデジタル信号を伝送部２００を介して映像合成部３００へと送信する機能を有する通信インタフェースである。通信インタフェースとしては、例えばＰＣＩ−ｅｘｐｒｅｓｓ、ＬＡＮ、又はその他の高速シリアル通信を用いることができる。受信部１１４は、映像合成部３００からの映像データ信号を伝送部２００を介して受信する。受信部１１４により受信された映像データ信号は、右表示部１０６および左表示部１０７へと送信され、表示部１０６、１０７によって表示される。上記の多重化部１１２、送信部１１３、及び受信部１１４は、通信装置として機能しうる。

映像合成部３００は、ＨＭＤ１００から送信された多重化データを受信する。そして、映像合成部３００は、受信した多重化データを、右撮像部１０１（又は左撮像部１０２）からの映像データと、第１のマーカ撮像部１０３（又は第２のマーカ撮像部１０４）からの映像データと、ＣＰＵ１１１からの通信データと、に分離する。そして、映像合成部３００は、右撮像部１０１（又は左撮像部１０２）からの映像データと、第１のマーカ撮像部１０３（又は第２のマーカ撮像部１０４）からの映像データと、を用いて合成映像を生成する。例えば、分離されたデータに基づいて右撮像部１０１（又は左撮像部１０２）からの映像データにはＣＧが重畳される。そして、映像合成部３００は、ＣＧが重畳された合成映像データを再度伝送部２００を介してＨＭＤ１００へと送信する。映像合成部３００は、ＨＭＤ１００とは別個の情報処理装置でありうる。

このように、図１のシステムではＨＭＤ１００に取り付けられた撮像部１０１〜１０４によって撮影された映像データが伝送部２００を介して映像合成部３００へと伝送される。そして、映像データに基づいて検出されたＭＲマーカ位置及び位置・姿勢データに基づいて、映像データに仮想画像（例えばＣＧデータ）が合成される。ＣＧデータが合成された合成映像データは再び伝送部２００を介してＨＭＤ１００へと送信され、表示部１０６、１０７に表示される。こうして、体験者に現実世界と仮想世界がリアルタイムに融合した複合現実感を提供することができる。

（多重化部１１２の説明）
次に、多重化部１１２の構成について詳細に説明する。図２は、多重化部１１２の詳細なブロック図である。以下では、右撮像部１０１（又は左撮像部１０２）からの映像データを第１の映像データと呼び、第１のマーカ撮像部１０３（又は第２のマーカ撮像部１０４）からの映像データを第２の映像データと呼ぶ。また、映像データは、画像情報の他に、映像の開始を示す垂直同期信号、水平同期信号、及び有効区間を示す有効区間信号を含んでいるものとする。有効区間信号は、この信号を含む映像データが、フレーム画像データが入力される有効区間におけるデータであるか、フレーム画像データが入力されない区間におけるデータであるかを示す。有効区間においては映像データはフレーム画像データを含み、有効区間以外においては映像データはフレーム画像データを含まない。

図２に示すように多重化部１１２は、第１の映像データと第２の映像データと通信データとをそれぞれ格納するＦＩＦＯバッファ（ＦｉｒｓｔＩｎＦｉｒｓｔＯｕｔ、以下単にＦＩＦＯと呼ぶ）２０１〜２０３を有している。多重化部１１２はさらに、モード選択部２０４、リード制御部２０５、信号生成部２０６と、ＭＵＸ部２０７とを有する。

ＦＩＦＯ２０１〜２０３は映像データ又は通信データを格納するバッファである。有効区間においてはＦＩＦＯ２０１〜２０３にデータが格納され、格納されたデータはリード制御部２０５より発行されるリード信号に応じて入力順に出力される。上記のように、ＦＩＦＯ２０１は、第１の映像のフレーム画像データが入力される有効区間とフレーム画像データが入力されない区間との繰り返しを通じて第１の映像データを取得する。また、ＦＩＦＯ２０２は、第２の映像のフレーム画像データが入力される有効区間とフレーム画像データが入力されない区間との繰り返しを通じて第２の映像データを取得する。さらに、ＦＩＦＯ２０３は、映像データ以外の通信データを取得する。

モード選択部２０４は、第１の映像データの有効区間であるか否か、及び第２の映像データの有効区間であるか否かに応じて、第１の映像データ、第２の映像データ、及び通信データの多重化方法を設定する。本実施形態においてモード選択部２０４は、第１の映像データの有効区間信号と、第２の映像データの有効区間信号に応じて多重化モードを選択する。モード選択部２０４は、有効区間信号に基づいて、現在、映像データの有効区間にあるか否かを判定できる。

図３は、モード選択部２０４の動作の一例を示すフローチャートである。ステップＳ３０１においてモード選択部２０４は、第１の映像データが有効区間にある場合には変数ＤＥ１に１をセットし、第２の映像データが有効区間にある場合には変数ＤＥ２に１をセットする。

ステップＳ３０２でモード選択部２０４は、第１の映像データが有効区間にありかつ第２の映像データも有効区間にあるかどうかを判定する、条件が満たされる場合、ステップＳ３０３でモード選択部２０４は通常モード（以下、Ｍｏｄｅ０）を選択する。そうではない場合、ステップＳ３０４でモード選択部２０４は第１の映像データが有効区間にありかつ第２の映像データは有効区間にないかどうかを判定する。条件が満たされる場合、ステップＳ３０５でモード選択部２０４は第１の映像データ優先モード（以下、Ｍｏｄｅ１）を選択する。そうではない場合、ステップＳ３０６でモード選択部２０４は第１の映像データが有効区間になくかつ第２の映像データが有効区間にあるかどうかを判定する。条件が満たされる場合、ステップＳ３０７でモード選択部２０４は第２の映像データ優先モード（以下、Ｍｏｄｅ２）を選択する。そうではない場合、すなわち第１の映像データと第２の映像データのどちらも有効区間にない場合、ステップＳ３０８でモード選択部２０４は通信データ優先モード（以下、Ｍｏｄｅ３）を選択する。このようにモード選択部２０４は、第１の映像データ及び第２の映像データの有効区間にあるか否かに応じて多重化モードを切り替える。

後述するように、Ｍｏｄｅ１においては、Ｍｏｄｅ０と比較して、送信されるデータにおける通信データのデータ幅が大きくなるように多重化が行われる。また、Ｍｏｄｅ２においては、Ｍｏｄｅ０と比較して、送信されるデータにおける通信データのデータ幅が大きくなるように多重化が行われる。さらに、Ｍｏｄｅ３においては、Ｍｏｄｅ０〜２と比較して、送信されるデータにおける通信データのデータ幅が大きくなるように多重化が行われる。

リード制御部２０５は、多重化モードに応じてＦＩＦＯ２０１へのリード要求を行う。図４のタイミングチャートを参照してリード制御部２０５の動作の一例を説明する。図４には、リード制御部２０５を駆動する基準クロック及び多重化モードを示す２Ｂｉｔのｍｏｄｅ信号が示されている。図４にはさらに、第１の映像データを格納するＦＩＦＯ２０１へのリード要求信号、第２の映像データを格納するＦＩＦＯ２０２へのリード要求信号、通信データを格納するＦＩＦＯ２０３へのリード要求信号が示されている。

多重化モードがＭｏｄｅ０又はＭｏｄｅ１の時には、第１の映像データを格納するＦＩＦＯへのリード要求が発行される。また、多重化モードがＭｏｄｅ０又はＭｏｄｅ２の時には、第２の映像データを格納するＦＩＦＯへのリード要求が発行される。一方で、通信データを格納するＦＩＦＯへのリード要求は、多重化モードがＭｏｄｅ１の時には３基準クロック毎に１クロックの間発行され、Ｍｏｄｅ２の時には２基準クロック毎に１クロックの間発行される。また、多重化モードがＭｏｄｅ３の時には、通信データを格納するＦＩＦＯへのリード要求は基準クロック毎に毎回発行される。通信データを格納するＦＩＦＯへのリード要求の発行頻度は、後述するＭＵＸ部２０７により生成される多重化信号における通信データの多重化幅に応じて決定され、詳細は後述する。

信号生成部２０６は、第１の映像データを格納するＦＩＦＯ２０１からの第１のリードデータと、第２の映像データを格納するＦＩＦＯ２０２からの第２のリードデータと、通信データを格納するＦＩＦＯ２０３からの第３のリードデータを受け取る。そして、モード選択部２０４により選択された多重化モードに応じて、多重化信号を生成するための多重化用データを生成する。

図５のタイミングチャートを参照して信号生成部２０６の動作の一例を説明する。図５には、信号生成部２０６を駆動する基準クロック及び多重化モードを示す２Ｂｉｔのｍｏｄｅ信号が示されている。図５にはさらに、第１のリードデータ、第２のリードデータ、第３のリードデータ、並びに信号生成部２０６で生成される第１の多重化用データ、第２の多重化用データ及び第３の多重化用データが示されている。

前述のように、本実施形態にでは第１の映像データと第２の映像データとはフレームレート及び解像度が異なっている。以下では、第１の映像データのピクセルクロックは１４８．５ＭＨｚ、第２の映像データのピクセルクロックは７４．２５ＭＨｚであるものとして説明する。また、映像データは１ピクセル当たり２４Ｂｉｔであるものとする。さらに、第１のリードデータにより基準クロック（１４８．５ＭＨｚ）ごとに１ピクセルの情報が転送され、第２のリードデータにより基準クロック２クロック毎に１ピクセルのデータが転送されるものとする。

信号生成部２０６は、Ｍｏｄｅ０又はＭｏｄｅ１の時、２４Ｂｉｔの第１リードデータを第１の多重化用データとして出力する。また、Ｍｏｄｅ０又はＭｏｄｅ２の時、１２Ｂｉｔの第２のリードデータを第２の多重化用データとして出力する。

第３のリードデータは、通信データを格納するＦＩＦＯへのリード要求に応じて３６Ｂｉｔ幅で入力され、信号生成部２０６によって多重化モードに応じて時分割される。すなわち、第３のリードデータは、Ｍｏｄｅ１の時は１２Ｂｉｔ幅、Ｍｏｄｅ２の時は２４Ｂｉｔ幅、Ｍｏｄｅ３の時は３６Ｂｉｔ幅となるように時分割され、第３の多重化用データとして出力される。第３のリードデータと第３の多重化用データとのデータ幅は任意に決定することができる。例えば、第１〜第３の多重化用データのデータ幅の合計が所定値を超えないように、第３の多重化用データのデータ幅を決定することができる。このように信号生成部２０６は、多重化モードに応じて第１の多重化用データ、第２の多重化用データ及び第３の多重化用データを生成及び出力する。第３のリードデータと第３の多重化用データとのデータ幅は多重化幅等に応じて任意に決定することができる。

ＭＵＸ部２０７は、多重化モードに応じて信号生成部２０６で生成された第１〜第３の多重化用データを時分割多重化する。図６には、ＭＵＸ部２０７により生成される多重化信号の例を多重化モードごとに示す。ＨＭＤ１００から映像合成部３００へは、図６に示されるデータが繰り返し送信される。図６に示すように、ＨＭＤ１００から映像合成部３００へと送信される多重化されたデータは、多重化方法を示す情報と、第１及び第２の映像データの同期信号とを含む。本実施形態において、多重化方法を示す信号は、上記の多重化モードを示すＭｏｄｅ信号である。第１及び第２の映像データの同期信号は、例えば、第１の映像データについての水平同期信号及び垂直同期信号、並びに第２の映像データについての水平同期信号及び垂直同期信号を含んでいてもよい。このような構成により、第１及び第２の映像データの非同期な送信が可能となる。例えば、第１及び第２の映像データのフレームレートが異なる場合等、第１及び第２の映像データの有効区間が非同期であっても、第１及び第２の映像データを少ないレイテンシで映像合成部３００へと送信することができる。また、多重化されたデータは、第１の映像データ、前記第２の映像データ、及び前記通信データのうちの少なくとも１つを含んでいる。これらは、多重化モードに従って選択される。

モード選択部２０４によって設定された多重化方法に従って、ＭＵＸ部２０７により多重化された多重化データは、前述の送信部１１３及び伝送部２００を介して映像合成部３００へと転送される。映像合成部３００は、受信した時分割多重信号をＭｏｄｅ信号に応じてデマルチプレクスすることにより、第１の映像データと、第２の映像データ、及び通信データを得ることができる。このように、ＭＵＸ部２０７は、多重化モードごとに多重化方式を切り替えることにより、データ転送効率を向上させている。

本実施形態では、４種類の多重化モードのうち１つが選択されたが、構成はこれに限定されない。例えば、第１の映像データと第２の映像データのどちらも有効区間にない場合には通信データ優先モードを選択し、それ以外の場合には映像優先モードを選択することによっても、同様の効果を得ることができる。

一実施形態において、第１及び第２の映像データの有効区間である場合と比較して、第１又は第２の映像データの有効区間ではない場合において、送信されるデータにおける通信データのデータ幅が大きくなるように、多重化方法は設定される。上記の例においても、第１及び第２の映像データの有効区間である場合（Ｍｏｄｅ０）より、第１又は第２の映像データの有効区間ではない場合（Ｍｏｄｅ１〜３）の方が、通信データのデータ幅は大きい。図６のＭｏｄｅ０は説明を簡単にするために制御データを挿入していないが、第１及び第２の映像データのデータ幅の合計よりも送信可能なデータ幅が大きければ、残りの部分に通信データを挿入してもよい。

一実施形態において、少なくとも一期間において、前記第１の映像の有効期間と前記第２の映像の有効期間はずれている。例えば、第１の映像のフレームレートと第２の映像のフレームレートとは異なっていてもよく、この場合第１の映像の有効期間と第２の映像の有効期間とは同期しない。また、第１の映像のフレームレートと第２の映像のフレームレートとが一緒である場合でも、前記第１の映像の有効期間の開始と前記第２の映像の有効期間の開始をずらすことができる。このような構成によれば、第１の映像の有効期間と第２の映像の有効期間とが揃っている場合と比較して、第１又は第２の映像データの有効区間ではない場合（Ｍｏｄｅ１〜３）の出現間隔が短くなる。このため、通信データの送信レイテンシを小さくすることが可能となる。

以上説明したように、本実施形態においては、第１の映像データ及び第２の映像データが有効区間にあるか否かに応じて多重化モードが切り替えられる。こうして、映像データと通信データとを多重化する際に、映像データの有効区間にない間は多重化データに占める通信データの比率を向上させる。こうして、複数の映像データのフレームレート又は解像度が異なる場合であっても、高効率にデータ転送を行うことができるため、映像データ及び通信データの伝送量やビットレートが低下することを抑えることができる。このため、リアルタイム性が要求されるデータ転送においても、映像の品質を落とさずかつレイテンシを抑えて通信することが可能となる。

上記の本実施形態において、ＨＭＤ１００は、第１の映像データ、第２の映像データ、及び通信データを映像合成部３００へと送信した。しかしながら、本実施形態の方法は、ＨＭＤ１００が第１の映像データ及び通信データを送信する場合にも応用可能である。この場合、ＦＩＦＯ２０１は第１の映像のフレーム画像データが入力される有効区間とフレーム画像データが入力されない区間との繰り返しを通じて第１の映像データを取得する。また、ＦＩＦＯ２０３は映像データ以外の通信データを取得する。そして、モード選択部２０４は、第１の映像データの有効区間であるか否かに応じて、第１の映像データ及び通信データの多重化方法を設定する。このような構成によれば、第１の映像データが有効区間にあるか否かに応じて多重化モードが切り替えられる。このため、映像データと通信データとを多重化する際に、映像データの有効区間にない間は多重化データに占める通信データの比率を向上させ、高効率にデータ転送を行うことができる。

［実施形態２］
図１は、実施形態２に係る画像処理システムの構成を示す。本実施形態において、多重化部７０２は外部装置から制御データを受信する。例えば、ＨＭＤ１００は図１に示す構成に加えて多重分離部７０１を含むことができる。多重分離部７０１には、多重化データが、映像合成部３００から伝送部２００及び受信部１１４を介して入力される。多重分離部７０１は、入力された多重化信号を合成映像データと制御データへと分離する。そして、映像データは表示部１０６，１０７に入力され、制御データは多重化部７０２に入力される。多重化部７０２には、第１及び第２の映像データ及びＣＰＵ１１１からの通信データに加え、多重分離部７０１から制御データが入力される。多重化部７０２は、これらの入力信号を用いて多重化信号を生成する。

多重化部７０２は、モード選択部２０４に制御データが入力されることを除き、図２に示す多重化部１１２と同様の構成を有しており、同様の構成についての説明は省略する。

モード選択部２０４は、第１及び第２の映像データの有効区間信号に加えて、映像合成部３００からの制御データに応じて多重化方法を設定する。このような構成により、映像合成部３００の制御により多重化モードを切り換えることが可能となる。例えば、ＨＭＤ１００の動きがないためにマーカ撮像部１０３，１０４からの映像データ（第２の映像データ）に変化がない場合、映像合成部３００はＣＧが重畳される位置を変える必要はない。本実施形態においては、このような場合、モード選択部２０４は第２の映像データの帯域を減らし、通信データの帯域を増やすように多重化モードを切り替える。このような構成により、帯域利用の効率化及び通信データの送信レイテンシの低下を図ることが可能となる。

本実施形態におけるモード選択部２０４の動作について説明する。まず、モード選択部２０４は、多重分離部７０１から得られた制御データが有効信号を含んでいるかどうかを判断する。モード選択部２０４は、有効信号を含む制御データの受信に応じて、ＨＭＤ１００から映像合成部３００へと送信されるデータにおける第２の映像のデータ幅が小さくなるように多重化方法を設定する。例えば、モード選択部２０４は、第２の映像データの帯域を減らすように第１映像優先モードを選択することができる。そうではない場合、ステップＳ３０１〜Ｓ３０８と同様の処理が行われる。

映像合成部３００は、第２の映像に変化がないと判断した場合に制御信号をＨＭＤ１００へと送信することができる。例えば映像合成部３００は、第２の映像データの変化が小さい場合、例えば第２の映像データに含まれる連続したフレーム画像間の画素値差分を用いて得られる評価値が閾値以下となる場合、有効信号を制御データとしてＨＭＤ１００へと送信することができる。

一方で、位置検知部１０５からの位置・姿勢データに変化があることを検知した場合に、映像合成部３００は有効信号の送信を中断することができる。映像合成部３００に第２の映像データが入力されていない場合でも、多重化データに対する通信データの割合が大きいため、位置検知部１０５からの位置・姿勢検知データは少ないレイテンシで映像合成部３００へと転送される。このため、ＨＭＤ１００に動きがあった場合、すぐに第２の映像データの転送を開始することが可能となる。

以上、説明したように、本実施携帯においては、映像合成部３００からの制御データと、第１の映像データ及び第２の映像データの有効区間とに応じて、多重化モードが選択される。このため、高効率にデータ転送を行うことが可能となる。

［実施形態３］
上述の実施形態においては、例えば図１等に示される各処理部はそれぞれに対応するハードウェアによって実現される。しかしながら、ＨＭＤ１００が有する一部又は全部の処理部が、コンピュータにより実現されてもよい。本実施形態では、上述の各実施形態に係る処理の少なくとも一部がコンピュータにより実行される。

図８はコンピュータの基本構成を示す図である。図８においてプロセッサ８１０は、例えばＣＰＵであり、コンピュータ全体の動作をコントロールする。メモリ８２０は、例えばＲＡＭであり、プログラム及びデータ等を一時的に記憶する。コンピュータが読み取り可能な記憶媒体８３０は、例えばハードディスク又はＣＤ−ＲＯＭ等であり、プログラム及びデータ等を長期的に記憶する。本実施形態においては、記憶媒体８３０が格納している、各部の機能を実現するプログラムが、メモリ８２０へと読み出される。そして、プロセッサ８１０が、メモリ８２０上のプログラムに従って動作することにより、各部の機能が実現される。

図８において、入力インタフェース８４０は外部の装置から情報を取得するためのインタフェースである。また、出力インタフェース８５０は外部の装置へと情報を出力するためのインタフェースである。バス８６０は、上述の各部を接続し、データのやりとりを可能とする。

映像合成部３００も、図８に示すコンピュータを用いて実現することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：ＨＭＤ、１１２：多重化部、１１３：送信部、２０１〜２０３：ＦＩＦＯ、２０４：モード選択部、２０６：信号生成部、２０７：ＭＵＸ

Claims

第１の映像のフレーム画像データが入力される有効区間とフレーム画像データが入力されない区間との繰り返しを通じて第１の映像データを取得し、第２の映像のフレーム画像データが入力される有効区間とフレーム画像データが入力されない区間との繰り返しを通じて第２の映像データを取得し、映像データ以外の通信データを取得する、取得手段と、
前記第１の映像データの有効区間であるか否か、及び前記第２の映像データの有効区間であるか否かに応じて、前記第１の映像データ、前記第２の映像データ、及び前記通信データの多重化方法を設定する設定手段と、
前記設定された多重化方法に従って多重化されたデータを送信する送信手段と、
を備えることを特徴とする通信装置。
前記第１の映像データの有効区間である場合と比較して、前記第１の映像データの有効区間ではない場合において、前記送信されるデータにおける前記通信データのデータ幅が大きくなるように、前記多重化方法が設定されることを特徴とする、請求項１に記載の通信装置。
前記送信される前記多重化されたデータは、
前記多重化方法を示す情報と、
前記第１の映像データの同期信号と、
前記第１の映像データ及び前記通信データのうちの少なくとも１つと、
を含むデータの繰り返しによって構成されることを特徴とする、請求項１又は２に記載の通信装置。
前記通信データは、前記通信装置に接続された頭部装着型装置の位置と姿勢との少なくとも一方を示す情報を含むことを特徴とする、請求項１乃至３の何れか１項に記載の通信装置。
制御データを外部装置から受信する受信手段をさらに備え、
前記設定手段は、さらに前記制御データに応じて前記多重化方法を設定することを特徴とする、請求項１乃至４の何れか１項に記載の通信装置。
前記多重化方法が、
前記第１及び第２の映像データの有効区間である場合に選択される通常モードと、
前記第１の映像データの有効区間であり前記第２の映像データの有効区間ではない場合に選択される第１の映像データ優先モードと、
前記第１の映像データの有効区間ではなく前記第２の映像データの有効区間である場合に選択される第２の映像データ優先モードと、
前記第１の映像データの有効区間ではなく前記第２の映像データの有効区間でもない場合に選択される通信データ優先モードと、
から選択されることを特徴とする、請求項１乃至５の何れか１項に記載の通信装置。
前記第１の映像データ優先モードにおいては、前記通常モードと比較して、前記送信されるデータにおける前記通信データのデータ幅が大きくなるように多重化が行われ、
前記第２の映像データ優先モードにおいては、前記通常モードと比較して、前記送信されるデータにおける前記通信データのデータ幅が大きくなるように多重化が行われ、
前記通信データ優先モードにおいては、前記通常モード、前記第１の映像データ優先モード、及び前記第２の映像データ優先モードと比較して、前記送信されるデータにおける前記通信データのデータ幅が大きくなるように多重化が行われる
ことを特徴とする、請求項６に記載の通信装置。
少なくとも一期間において、前記第１の映像の有効区間と前記第２の映像の有効区間がずれていることを特徴とする、請求項１乃至７の何れか１項に記載の通信装置。
前記第１の映像のフレームレートと前記第２の映像のフレームレートとが異なることを特徴とする、請求項１乃至８の何れか１項に記載の通信装置。
請求項１乃至９の何れか１項に記載の通信装置を備えるヘッドマウントディスプレイであって、
前記第１の映像及び第２の映像を撮像する撮像手段と、
前記第１及び第２の映像を用いて生成された合成映像を画像処理装置から受信する受信手段と、
前記合成映像を表示する表示手段と、を備え、
前記通信装置は前記多重化されたデータを前記画像処理装置に送信する
ことを特徴とするヘッドマウントディスプレイ。
前記合成映像は、前記第１の映像に仮想画像が重畳された画像であり、
前記第２の映像は、第１の映像への前記仮想画像の重畳位置を決定するために前記画像処理装置によって用いられる
ことを特徴とする、請求項１０に記載のヘッドマウントディスプレイ。
前記受信手段は、前記合成映像と制御データとが多重化された多重化データを受信し、
前記ヘッドマウントディスプレイはさらに、前記多重化データから前記合成映像と前記制御データとを分離する分離手段を備え、前記設定手段は、さらに前記制御データに応じて前記多重化方法を設定することを特徴とする、請求項１０又は１１に記載のヘッドマウントディスプレイ。
請求項１０乃至１２の何れか１項に記載のヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイから前記多重化されたデータを受信し、前記第１及び第２の映像を用いて前記合成映像を生成し、前記合成映像を前記ヘッドマウントディスプレイに送信する画像処理装置と、
を備えることを特徴とする画像処理システム。
前記画像処理装置は、前記第２の映像に変化がないと判断した場合に制御信号を前記ヘッドマウントディスプレイへと送信し、
前記設定手段は、前記制御信号の受信に応じて、前記送信されるデータにおける前記第２の映像のデータ幅が小さくなるように、前記多重化方法を設定することを特徴とする、請求項１３に記載の画像処理システム。
通信装置が行う通信方法であって、
第１の映像のフレーム画像データが入力される有効区間とフレーム画像データが入力されない区間との繰り返しを通じて第１の映像データを取得する工程と、
第２の映像のフレーム画像データが入力される有効区間とフレーム画像データが入力されない区間との繰り返しを通じて第２の映像データを取得する工程と、
映像データ以外の通信データを取得する工程と、
前記第１の映像データの有効区間であるか否か、及び前記第２の映像データの有効区間であるか否かに応じて、前記第１の映像データ、前記第２の映像データ、及び前記通信データの多重化方法を設定する工程と、
前記設定された多重化方法に従って多重化されたデータを送信する工程と、
を有することを特徴とする通信方法。
コンピュータに、
第１の映像のフレーム画像データが入力される有効区間とフレーム画像データが入力されない区間との繰り返しを通じて第１の映像データを取得する工程と、
第２の映像のフレーム画像データが入力される有効区間とフレーム画像データが入力されない区間との繰り返しを通じて第２の映像データを取得する工程と、
映像データ以外の通信データを取得する工程と、
前記第１の映像データの有効区間であるか否か、及び前記第２の映像データの有効区間であるか否かに応じて、前記第１の映像データ、前記第２の映像データ、及び前記通信データの多重化方法を設定する工程と、
前記設定された多重化方法に従って多重化されたデータを送信する工程と、
を実行させるためのプログラム。
第１の映像のフレーム画像データが入力される有効区間とフレーム画像データが入力されない区間との繰り返しを通じて第１の映像データを取得し、映像データ以外の通信データを取得する、取得手段と、
前記第１の映像データの有効区間であるか否かに応じて、前記第１の映像データ及び前記通信データの多重化方法を設定する設定手段と、
前記設定された多重化方法に従って多重化されたデータを送信する送信手段と、を備え、
前記設定手段により、前記第１の映像データの有効区間である場合と比較して、前記第１の映像データの有効区間ではない場合において、前記送信されるデータにおける前記通信データのデータ幅が大きくなるように、前記多重化方法が設定されることを特徴とする、通信装置。
通信装置が行う通信方法であって、
第１の映像のフレーム画像データが入力される有効区間とフレーム画像データが入力されない区間との繰り返しを通じて第１の映像データを取得する工程と、
映像データ以外の通信データを取得する工程と、
前記第１の映像データの有効区間であるか否かに応じて、前記第１の映像データ及び前記通信データの多重化方法を設定する工程と、
前記設定された多重化方法に従って多重化されたデータを送信する工程と、を有し、
前記第１の映像データの有効区間である場合と比較して、前記第１の映像データの有効区間ではない場合において、前記送信されるデータにおける前記通信データのデータ幅が大きくなるように、前記多重化方法が設定されることを特徴とする、通信方法。
コンピュータに、
第１の映像のフレーム画像データが入力される有効区間とフレーム画像データが入力されない区間との繰り返しを通じて第１の映像データを取得する工程と、
映像データ以外の通信データを取得する工程と、
前記第１の映像データの有効区間であるか否かに応じて、前記第１の映像データ及び前記通信データの多重化方法を設定する工程と、
前記設定された多重化方法に従って多重化されたデータを送信する工程と、
を実行させるためのプログラムであって、
前記第１の映像データの有効区間である場合と比較して、前記第１の映像データの有効区間ではない場合において、前記送信されるデータにおける前記通信データのデータ幅が大きくなるように、前記多重化方法が設定されることを特徴とする、プログラム。