JP7365185B2

JP7365185B2 - 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム

Info

Publication number: JP7365185B2
Application number: JP2019185341A
Authority: JP
Inventors: 活志大塚
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2019-03-29
Filing date: 2019-10-08
Publication date: 2023-10-19
Anticipated expiration: 2039-10-08
Also published as: JP2020167660A

Description

この発明は、画像表示に利用される画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、およびコンテンツ処理システムに関する。

動画を撮影し、それをリアルタイムで処理して何らかの情報を得たり、表示に用いたりする技術は様々な分野で利用されている。例えば遮蔽型のヘッドマウントディスプレイの前面に実空間を撮影するカメラを設け、その撮影画像をそのまま表示させれば、ユーザは周囲の状況を確認しながら動作することができる。また撮影画像に仮想オブジェクトを合成して表示させれば、拡張現実や複合現実を実現できる。

仮想オブジェクトなど別途生成された画像を撮影画像と合成し、リアルタイムに表示する技術では、高品質な画像表現を追求するほど、撮影から表示へ至るまでに伝送すべきデータ量や、画像解析など各種処理の負荷が増大する。その結果、消費電力、必要なメモリ容量、ＣＰＵ時間などのリソースの消費量が増加するとともに、ユーザの動きと表示上の動きに時間的なずれが生じ、ユーザに違和感を与えるほか、場合によっては映像酔いなど体調不良の原因にもなり得る。

また、外部の装置で画像を生成してヘッドマウントディスプレイに送信する態様によれば、ヘッドマウントディスプレイ自体の負荷を増大させずに高品質な画像を表示できる一方、サイズの大きいデータの伝送のためには有線通信が必要となり、ユーザの可動域が制限される。

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を含む合成画像を動画表示する技術において、撮影から表示までの遅延時間やリソース消費量を抑えつつ高品質な画像を表示できる技術を提供することにある。本発明の別の目的は、ヘッドマウントディスプレイと外部の装置との様々な通信方式に対応できる画像表示技術を適用することにある。

上記課題を解決するために、本発明のある態様は画像データ伝送方法に関する。この画像データ伝送方法は、画像生成装置が、表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値を生成するステップと、合成すべき画像とα値のデータを１つの画像平面に表してなる合成用データを生成するステップと、合成用データを、表示画像を生成する装置に送信するステップと、を含むことを特徴とする。

本発明の別の態様はコンテンツ処理装置に関する。このコンテンツ処理装置は、表示画像に合成すべき画像を生成する画像描画部と、合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータを１つの画像平面に表してなる合成用データを生成する合成情報統合部と、合成用データを出力する通信部と、を備えたことを特徴とする。

本発明のさらに別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、実空間を撮影するカメラと、表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータを１つの画像平面に表してなる合成用データを、外部の装置から受信し、前記α値に基づき、前記カメラによる撮影画像に前記合成すべき画像を合成して表示画像を生成する画像処理用集積回路と、表示画像を出力する表示パネルと、を備えたことを特徴とする

本発明のさらに別の態様は中継装置に関する。この中継装置は、表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを１つの画像平面に表してなる合成用データを、合成すべき画像とα値のデータに分離するデータ分離部と、合成すべき画像とα値のデータを異なる方式で圧縮符号化する圧縮符号化部と、合成用データを、画像を生成する装置から取得し、圧縮符号化されたデータを、表示画像を生成する装置に送信する通信部と、を備えたことを特徴とする。

本発明のさらに別の態様はコンテンツ処理システムに関する。このコンテンツ処理システムは、表示装置と、当該表示装置に表示させる画像を生成するコンテンツ処理装置と、を含み、コンテンツ処理装置は、表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータを１つの画像平面に表してなる合成用データを生成する合成用データ生成部と、合成用データを出力する通信部と、を備え、表示装置は、実空間を撮影するカメラと、合成用データのα値に基づき、カメラによる撮影画像に合成すべき画像を合成して表示画像を生成する画像処理用集積回路と、表示画像を出力する表示パネルと、を備えたことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、撮影画像を含む合成画像を動画表示する技術において、撮影から表示までの遅延時間やリソース消費量を抑えつつ高品質な画像を表示できる。また、ヘッドマウントディスプレイと外部の装置との様々な通信方式に対応できる。

本実施の形態のヘッドマウントディスプレイの外観例を示す図である。本実施の形態のコンテンツ処理システムの構成例を示す図である。本実施の形態のコンテンツ処理システムにおけるデータの経路を模式的に示す図である。本実施の形態の画像処理用集積回路において、撮影画像から表示画像を生成する処理を説明するための図である。本実施の形態の画像処理用集積回路において、コンテンツ処理装置から送信された仮想オブジェクトを撮影画像に合成して表示画像を生成する処理を説明するための図である。本実施の形態において画像処理用集積回路が画像を合成するために、コンテンツ処理装置が送信するデータの内容を説明するための図である。本実施の形態においてコンテンツ処理装置からヘッドマウントディスプレイへ、合成用のデータを伝送するためのシステム構成のバリエーションを示す図である。本実施の形態の画像処理用集積回路の回路構成を示す図である。本実施の形態のコンテンツ処理装置の内部回路構成を示す図である。本実施の形態におけるコンテンツ処理装置の機能ブロックの構成を示す図である。本実施の形態における中継装置の機能ブロックの構成を示す図である。本実施の形態におけるヘッドマウントディスプレイが内蔵する画像処理装置の機能ブロックの構成を示す図である。本実施の形態のコンテンツ処理装置がグラフィック画像とα画像を統合してなる画像の構成を例示す図である。本実施の形態のコンテンツ処理装置がグラフィクス画像に統合する、α画像の画素値のデータ構造を例示する図である。本実施の形態において、グラフィクス画像が表されない領域にα画像のデータを埋め込んで送信する場合の処理の手順を示す図である。本実施の形態において、α画像とグラフィクス画像をそれぞれ縦方向に縮小し上下に接続して送信する場合の処理の手順を示す図である。本実施の形態において、グラフィクス画像とα画像をそれぞれ横方向に縮小し左右に接続して送信する場合の処理の手順を示す図である。

図１はヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。

筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、画像を拡大して見せる接眼レンズを備える。ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００はモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出してもよい。

ヘッドマウントディスプレイ１００はさらに、筐体１０８の前面にステレオカメラ１１０、中央に広視野角の単眼カメラ１１１、左上、右上、左下、右下の四隅に広視野角の４つのカメラ１１２を備え、ユーザの顔の向きに対応する方向の実空間を動画撮影する。本実施の形態では、ステレオカメラ１１０が撮影した画像を即時表示させることにより、ユーザが向いた方向の実空間の様子をそのまま見せるモードを提供する。以後、このようなモードを「シースルーモード」と呼ぶ。コンテンツの画像を表示していない期間、ヘッドマウントディスプレイ１００は基本的にシースルーモードへ移行する。

ヘッドマウントディスプレイ１００が自動でシースルーモードへ移行することにより、ユーザはコンテンツの開始前、終了後、中断時などに、ヘッドマウントディスプレイ１００を外すことなく周囲の状況を確認できる。シースルーモードへの移行タイミングはこのほか、ユーザが明示的に移行操作を行ったときなどでもよい。これによりコンテンツの鑑賞中であっても、任意のタイミングで一時的に実空間の画像へ表示を切り替えることができ、コントローラを見つけて手に取るなど必要な作業を行える。

ステレオカメラ１１０、単眼カメラ１１１、４つのカメラ１１２による撮影画像の少なくともいずれかは、コンテンツの画像としても利用できる。例えば写っている実空間と対応するような位置、姿勢、動きで、仮想オブジェクトを撮影画像に合成して表示することにより、拡張現実（ＡＲ：Augmented Reality）や複合現実（ＭＲ：Mixed Reality）を実現できる。このように撮影画像を表示に含めるか否かによらず、撮影画像の解析結果を用いて、描画するオブジェクトの位置、姿勢、動きを決定づけることができる。

例えば、撮影画像にステレオマッチングを施すことにより対応点を抽出し、三角測量の原理で被写体の距離を取得してもよい。あるいはＳＬＡＭ（Simultaneous Localization and Mapping）により周囲の空間に対するヘッドマウントディスプレイ１００、ひいてはユーザの頭部の位置や姿勢を取得してもよい。また物体認識や物体深度測定なども行える。これらの処理により、ユーザの視点の位置や視線の向きに対応する視野で仮想世界を描画し表示させることができる。

なお本実施の形態のヘッドマウントディスプレイ１００は、ユーザの顔の位置や向きに対応する視野で実空間を撮影するカメラを備えれば、実際の形状は図示するものに限らない。また、シースルーモードにおいて左目の視野、右目の視野の画像を擬似的に生成すれば、ステレオカメラ１１０の代わりに単眼カメラを用いることもできる。

図２は、本実施の形態におけるコンテンツ処理システムの構成例を示す。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢＴｙｐｅ－Ｃなどの周辺機器を接続するインターフェース３００によりコンテンツ処理装置２００に接続される。コンテンツ処理装置２００には平板型ディスプレイ３０２が接続される。コンテンツ処理装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをコンテンツ処理装置２００に提供してもよい。

コンテンツ処理装置２００は基本的に、コンテンツのプログラムを処理し、表示画像を生成してヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に送信する。ある態様においてコンテンツ処理装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに対応する視野の表示画像を所定のレートで生成する。

ヘッドマウントディスプレイ１００は当該表示画像のデータを受信し、コンテンツの画像として表示する。この限りにおいて画像を表示する目的は特に限定されない。例えばコンテンツ処理装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界か実世界かに関わらず観賞や情報提供のために静止画像または動画像を表示させてもよい。

なおコンテンツ処理装置２００とヘッドマウントディスプレイ１００の距離やインターフェース３００の通信方式は限定されない。例えばコンテンツ処理装置２００は、個人が所有するゲーム装置などのほか、クラウドゲームなど各種配信サービスを提供する企業などのサーバや、任意の端末にデータを送信する家庭内サーバなどでもよい。したがってコンテンツ処理装置２００とヘッドマウントディスプレイ１００の間の通信は上述した例のほか、インターネットなどの公衆ネットワークやＬＡＮ（Local Area Network）、携帯電話キャリアネットワーク、街中にあるＷｉ－Ｆｉスポット、家庭にあるＷｉ－Ｆｉアクセスポイントなど、任意のネットワークやアクセスポイントを経由して実現してもよい。

図３は、本実施の形態のコンテンツ処理システムにおけるデータの経路を模式的に示している。ヘッドマウントディスプレイ１００は上述のとおりステレオカメラ１１０と表示パネル１２２を備える。ただし上述のとおりカメラはステレオカメラ１１０に限らず、単眼カメラ１１１や４つのカメラ１１２のいずれかまたは組み合わせであってもよい。以後の説明も同様である。表示パネル１２２は、液晶ディスプレイや有機ＥＬディスプレイなどの一般的な表示機構を有するパネルであり、ヘッドマウントディスプレイ１００を装着したユーザの目の前に画像を表示する。またヘッドマウントディスプレイ１００は内部に、画像処理用集積回路１２０を備える。

画像処理用集積回路１２０は例えば、ＣＰＵを含む様々な機能モジュールを搭載したシステムオンチップである。なおヘッドマウントディスプレイ１００はこのほか、上述のとおりジャイロセンサ、加速度センサ、角加速度センサなどのモーションセンサや、ＤＲＡＭ（Dynamic Random Access Memory）などのメインメモリ、ユーザに音声を聞かせるオーディオ回路、周辺機器を接続するための周辺機器インターフェース回路などが備えられてよいが、ここでは図示を省略している。

拡張現実や複合現実を遮蔽型のヘッドマウントディスプレイで実現する場合、一般にはステレオカメラ１１０などによる撮影画像を、コンテンツを処理する主体に取り込み、そこで仮想オブジェクトと合成して表示画像を生成する。図示するシステムにおいてコンテンツを処理する主体はコンテンツ処理装置２００のため、矢印Ｂに示すように、ステレオカメラ１１０で撮影された画像は、画像処理用集積回路１２０を経て一旦、コンテンツ処理装置２００に送信される。

そして仮想オブジェクトが合成されるなどしてヘッドマウントディスプレイ１００に返され、表示パネル１２２に表示される。一方、本実施の形態では矢印Ａに示すように、撮影画像を対象としたデータの経路を設ける。例えばシースルーモードにおいては、ステレオカメラ１１０で撮影された画像を、画像処理用集積回路１２０で適宜処理し、そのまま表示パネル１２２に表示させる。このとき画像処理用集積回路１２０は、撮影画像を表示に適した形式に補正する処理のみ実施する。

あるいはさらに、画像処理用集積回路１２０において、コンテンツ処理装置２００が生成した画像と撮影画像を合成したうえ、表示パネル１２２に表示させる。このようにすると、ヘッドマウントディスプレイ１００からコンテンツ処理装置２００へは、撮影画像のデータの代わりに、撮影画像から取得した、実空間に係る情報のみを送信すればよくなる。またコンテンツ処理装置２００からヘッドマウントディスプレイ１００へは、合成すべき画像のデータのみを送信すればよくなる。

矢印Ａの経路によれば、矢印Ｂと比較しデータの伝送経路が格段に短縮する。また上述のようにヘッドマウントディスプレイ１００とコンテンツ処理装置２００の間で伝送すべきデータのサイズを小さくできる。結果として、画像の撮影から表示までの時間を短縮できるとともに、伝送に要する消費電力を軽減させることができる。

図４は、画像処理用集積回路１２０において、撮影画像から表示画像を生成する処理を説明するための図である。実空間において、物が置かれたテーブルがユーザの前にあるとする。ステレオカメラ１１０はそれを撮影することにより、左視点の撮影画像１６ａ、右視点の撮影画像１６ｂを取得する。ステレオカメラ１１０の両視点の間隔により、撮影画像１６ａ、１６ｂには、同じ被写体の像に視差が生じている。

また、カメラのレンズにより、被写体の像には歪曲収差が発生する。一般には、そのようなレンズ歪みを補正し、歪みのない左視点の画像１８ａ、右視点の画像１８ｂを生成する（Ｓ１０）。ここで元の画像１６ａ、１６ｂにおける位置座標（ｘ，ｙ）の画素が、補正後の画像１８ａ、１８ｂにおける位置座標（ｘ＋Δｘ，ｙ＋Δｙ）へ補正されたとすると、その変位ベクトル（Δｘ，Δｙ）は次の一般式で表せる。

ここでｒは、画像平面におけるレンズの光軸から対象画素までの距離、（Ｃｘ，Ｃｙ）はレンズの光軸の位置である。またｋ_１、ｋ_２、ｋ_３、・・・はレンズ歪み係数でありレンズの設計に依存する。次数の上限は特に限定されない。なお本実施の形態においてレンズ歪みの補正に用いる式を式１に限定する趣旨ではない。平板型ディスプレイに表示させたり画像解析をしたりする場合、このように補正された一般的な画像が用いられる。一方、ヘッドマウントディスプレイ１００において、接眼レンズを介して見た時に歪みのない画像１８ａ、１８ｂが視認されるためには、接眼レンズによる歪みと逆の歪みを与えておく必要がある。

例えば画像の四辺が糸巻き状に凹んで見えるレンズの場合、画像を樽型に湾曲させておく。したがって歪みのない画像１８ａ、１８ｂを接眼レンズに対応するように歪ませ、表示パネル１２２のサイズに合わせて左右に接続することにより、最終的な表示画像２２が生成される（Ｓ１２）。表示画像２２の左右の領域における被写体の像と、補正前の歪みのない画像１８ａ、１８ｂにおける被写体の像の関係は、カメラのレンズ歪みを有する画像と歪みを補正した画像の関係と同等である。

したがって式１の変位ベクトル（Δｘ，Δｙ）の逆ベクトルにより、表示画像２２における歪みのある像を生成できる。ただし当然、レンズに係る変数は接眼レンズの値とする。本実施の形態の画像処理用集積回路１２０は、このような２つのレンズを踏まえた歪みの除去と付加を、一度の計算で完了させる（Ｓ１４）。詳細には、元の撮影画像１６ａ、１６ｂ上の画素が、補正によって表示画像２２のどの位置に変位するかを示す変位ベクトルを画像平面に表した変位ベクトルマップを作成しておく。

カメラのレンズによる歪みを除去する際の変位ベクトルを（Δｘ，Δｙ）、接眼レンズのために歪みを付加する際の変位ベクトルを（－Δｘ’，－Δｙ’）とすると、変位ベクトルマップが各位置で保持する変位ベクトルは（Δｘ－Δｘ’，Δｙ－Δｙ’）となる。なお変位ベクトルは、画素の変位の方向と変位量を定義するのみであるため、事前にそれらのパラメータを決定できるものであれば、レンズ歪みに起因する補正に限らず様々な補正や組み合わせを、同様の構成で容易に実現できる。

表示画像２２を生成する際は変位ベクトルマップを参照して、撮影画像１６ａ、１６ｂの各位置の画素を変位ベクトル分だけ移動させる。なお撮影画像１６ａ、１６ｂをそれぞれ補正して左目用、右目用の表示画像を生成し、後から接続して表示画像２２を生成してもよい。撮影画像１６ａ、１６ｂと表示画像２２は、歪みの分の変位はあるものの像が表れる位置や形状に大きな変化はないため、画像平面の上の行から順に撮影画像の画素値が取得されるのと並行して、その画素値を取得し補正を施すことができる。そして上の段から順に、補正処理と並行して後段の処理に供することにより、低遅延での表示を実現できる。

図５は、画像処理用集積回路１２０において、コンテンツ処理装置２００から送信された仮想オブジェクトを撮影画像に合成して表示画像を生成する処理を説明するための図である。同図右上の画像２６は、図４で説明したように撮影画像を補正した画像である。ただしこの態様ではそれをそのまま表示せず、コンテンツ処理装置２００から送信された、仮想オブジェクトの画像２４と合成して最終的な表示画像２８とする。この例では猫のオブジェクトを合成する。

図示するようにコンテンツ処理装置２００は、撮影画像と融合する適切な位置に猫のオブジェクトを描画した画像２４を生成する。この際、左目用、右目用に視差のある画像を生成したうえ、図４のＳ１２に示したのと同様に、ヘッドマウントディスプレイ１００の接眼レンズを踏まえた歪みを与える。コンテンツ処理装置２００は、歪みを与えた左右の画像を接続してなる画像２４をヘッドマウントディスプレイ１００に送信する。

ヘッドマウントディスプレイ１００の画像処理用集積回路１２０は、撮影画像を補正してなる画像２６に、コンテンツ処理装置２００から送信された画像２４内の猫のオブジェクトをはめ込むことにより合成し、表示画像２８を生成する。画像２４において適切な位置にオブジェクトを描画することにより、例えば実物体であるテーブルの上に猫のオブジェクトが立っているような状態の画像が表示される。表示画像２８を、接眼レンズを介して見ることにより、ユーザには画像２９のような像が立体的に視認される。

なお仮想オブジェクトの画像２４など合成すべき画像のデータの生成元や送信元はコンテンツ処理装置２００に限らない。例えばネットワークを介してコンテンツ処理装置２００またはヘッドマウントディスプレイ１００に接続したサーバを生成元や送信元としてもよいし、ヘッドマウントディスプレイ１００に内蔵された、画像処理用集積回路１２０とは異なるモジュールを生成元や送信元としてもよい。コンテンツ処理装置２００を含め、それらの装置を「画像生成装置」と捉えることもできる。また合成処理を実施し表示装置を生成する装置をヘッドマウントディスプレイ１００と別に設けてもよい。

図６は、画像処理用集積回路１２０が画像を合成するために、コンテンツ処理装置２００が送信するデータの内容を説明するための図である。（ａ）は、合成すべき仮想オブジェクトを表示形式で表した画像（以下、「グラフィクス画像」と呼ぶ）５０と、グラフィクス画像５０の透明度を表すα値を画像平面に表したα画像５２からなるデータである。ここでα値は、０のときを透明、１のときを不透明、その中間値を数値に応じた濃さの半透明とする一般的なパラメータである。

図示する例で猫のオブジェクトのみを不透明に合成する場合は、猫のオブジェクトの領域のα値を１、その他の領域のα値を０としたα画像を生成する。画像処理用集積回路１２０は、撮影画像を補正してなる画像と、コンテンツ処理装置２００から送信されたグラフィクス画像５０を次の演算により合成し、表示画像を生成する。
Ｆ_ｏｕｔ＝（１－α）Ｆ_ｉ＋αＦ_ｏ

ここでＦ_ｉ、Ｆ_ｏはそれぞれ、補正された撮影画像およびグラフィクス画像５０における同じ位置の画素値、αはα画像における同じ位置のα値、Ｆ_ｏｕｔは表示画像における同じ位置の画素値である。なお実際には、赤、緑、青の３チャンネルの画像ごとに上記演算を実施する。

（ｂ）は、グラフィクス画像において、合成すべき仮想オブジェクト以外の領域を、緑など所定色の塗り潰しとした画像５４からなるデータである。この場合、画像処理用集積回路１２０は、画像５４のうち画素値が当該所定色以外の領域のみを合成対象とし、撮影画像の画素と置換する。結果として図示する例では、猫のオブジェクトの領域のみが撮影画像の画素と置換され、その他の領域は撮影画像が残った表示画像が生成される。このような合成手法はクロマキー合成として知られている。

コンテンツ処理装置２００は、ヘッドマウントディスプレイ１００から撮影画像における被写体の位置や姿勢に係る情報を取得し、当該被写体との位置関係を踏まえて仮想オブジェクトを描画することによりグラフィクス画像を生成する。それと同時に、α画像５２を生成したり、仮想オブジェクト以外の領域を所定色で塗りつぶしたりすることで、合成処理に必要な情報（以下、「合成情報」と呼ぶ）を生成する。これらをヘッドマウントディスプレイ１００に送信して合成させることにより、全体として伝送すべきデータ量を削減できる。

図７は、コンテンツ処理装置２００からヘッドマウントディスプレイ１００へ、合成用のデータを伝送するためのシステム構成のバリエーションを示している。（ａ）は、コンテンツ処理装置２００とヘッドマウントディスプレイ１００を、DisplayPortなどの標準規格により有線接続するケースを示している。（ｂ）は、コンテンツ処理装置２００とヘッドマウントディスプレイ１００の間に中継装置３１０を設け、コンテンツ処理装置２００と中継装置３１０を有線接続し、中継装置３１０とヘッドマウントディスプレイ１００をWi-Fi（登録商標）などにより無線接続するケースを示している。

（ａ）の構成の場合、ヘッドマウントディスプレイ１００にケーブルが接続されるため、コンテンツ処理装置２００が設置型であればユーザの動きが阻害され得る一方、比較的高いビットレートを確保できる。（ｂ）の構成の場合、無線通信においてフレームレートに対応するデータを伝送するには、データの圧縮率を有線の場合より高める必要があるが、ユーザの可動範囲を広げられる。本実施の形態では、これらのシステム構成に対応できるようにすることで、通信環境や求められる処理性能に応じた最適化を行えるようにする。

図８は、本実施の形態の画像処理用集積回路１２０の回路構成を示している。ただし本実施の形態に係る構成のみ図示し、その他は省略している。画像処理用集積回路１２０は、入出力インターフェース３０、ＣＰＵ３２、信号処理回路４２、画像補正回路３４、画像解析回路４６、復号回路４８、合成回路３６、およびディスプレイコントローラ４４を備える。

入出力インターフェース３０は有線通信によりコンテンツ処理装置２００と、無線通信により中継装置３１０と通信を確立し、そのいずれかとデータの送受信を実現する。本実施の形態において入出力インターフェースは、画像の解析結果やモーションセンサの計測値などをコンテンツ処理装置２００に送信する。この際も中継装置３１０を中継してよい。また入出力インターフェース３０は、コンテンツ処理装置２００がそれに応じて生成したグラフィクス画像と合成情報のデータを、コンテンツ処理装置２００あるいは中継装置３１０から受信する。

ＣＰＵ３２は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサであり、他の回路を制御する。信号処理回路４２は、ステレオカメラ１１０の左右のイメージセンサから撮影画像のデータを所定のフレームレートで取得し、それぞれにデモザイク処理などの必要な処理を施す。信号処理回路４２は、画素値が決定した画素列順に、画像補正回路３４、画像解析回路４６にデータを供給する。

画像補正回路３４は上述のとおり、撮影画像における各画素を、変位ベクトル分だけ変位させることにより補正する。変位ベクトルマップにおいて変位ベクトルを設定する対象は、撮影画像平面の全ての画素でもよいし、所定間隔の離散的な画素のみでもよい。後者の場合、画像補正回路３４はまず、変位ベクトルが設定されている画素について変位先を求め、それらの画素との位置関係に基づき、残りの画素の変位先を補間により求める。

色収差を補正する場合、赤、緑、青の原色ごとに変位ベクトルが異なるため、変位ベクトルマップを３つ準備する。また画像補正回路３４は表示画像のうち、このような画素の変位によって値が決定しない画素については、周囲の画素値を適宜補間して画素値を決定する。画像補正回路３４は、そのようにして決定した画素値をバッファメモリに格納していく。そしてシースルーモードにおいては、画像平面の上の行から順に、画素値の決定とともにディスプレイコントローラ４４へデータを出力していく。画像合成時は、同様にして合成回路３６にデータを出力していく。

画像解析回路４６は、撮影画像を解析することにより所定の情報を取得する。例えば左右の撮影画像を用いてステレオマッチングにより被写体の距離を求め、それを画像平面に画素値として表したデプスマップを生成する。ＳＬＡＭによりヘッドマウントディスプレイの位置や姿勢を取得してもよい。このほか、画像解析の内容として様々に考えられることは当業者には理解されるところである。画像解析回路４６は取得した情報を、入出力インターフェース３０を介して順次、コンテンツ処理装置２００に送信する。

復号回路４８は、入出力インターフェース３０が受信した合成用のデータを復号伸張する。上述のとおり、他の装置との通信が有線か無線かによって通信帯域が変化するため、本実施の形態ではそれに応じて合成用のデータの構造や圧縮方式を切り替える。したがって復号回路４８は、受信したデータに適した方式を適宜選択して復号伸張を施す。復号回路４８は復号伸張したデータを順次、合成回路３６に供給する。

合成回路３６は図５に示したように、画像補正回路３４から供給された撮影画像と、復号回路４８から供給されたグラフィクス画像を合成し表示画像とする。合成には上述のとおり、アルファブレンドまたはクロマキー合成のいずれを採用してもよい。コンテンツ処理装置２００から、グラフィクス画像とα画像を統合した画像のデータが送信された場合、合成回路３６はそれらを分離してグラフィクス画像とα画像を復元したうえでアルファブレンドを実施する。

中継装置３１０から、所定方向に縮小されたグラフィクス画像とα画像のデータがそれぞれ送信された場合、合成回路３６はそれらの画像を当該所定方向に拡大して復元したうえでアルファブレンドを実施する。なお画像補正回路３４は必要に応じて、合成後の表示画像に対し色収差補正を実施する。そして合成回路３６または画像補正回路３４は、画像平面の上の行から順に、画素値の決定とともにディスプレイコントローラ４４へデータを出力していく。

図９は、コンテンツ処理装置２００の内部回路構成を示している。コンテンツ処理装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インターフェース２２８が接続されている。

入出力インターフェース２２８には、ＵＳＢやＰＣＩｅなどの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００へのデータを出力する出力部２３６、ヘッドマウントディスプレイ１００からのデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。

ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することによりコンテンツ処理装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図１０は、本実施の形態におけるコンテンツ処理装置２００の機能ブロックの構成を示している。同図および後述の図１１、１２に示す機能ブロックは、ハードウェア的にはＣＰＵ、ＧＰＵ、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

コンテンツ処理装置２００は、ヘッドマウントディスプレイ１００または中継装置３１０とデータの送受信を行う通信部２５８、合成用のデータを生成する合成用データ生成部２５０、および、生成されたデータを圧縮符号化する圧縮符号化部２６０を備える。通信部２５８は有線でヘッドマウントディスプレイ１００または中継装置３１０と通信を確立し、ヘッドマウントディスプレイ１００が行った撮影画像の解析結果を受信する。通信部２５８はまた、合成用データ生成部２５０が生成した合成用データをヘッドマウントディスプレイ１００または中継装置３１０に送信する。

合成用データ生成部２５０は、位置姿勢予測部２５２、画像描画部２５４、および合成情報統合部２５６を含む。位置姿勢予測部２５２は、ヘッドマウントディスプレイ１００が行った撮影画像の解析結果に基づき、所定時間後の被写体の位置や姿勢を予測する。本実施の形態では、撮影画像はヘッドマウントディスプレイ１００側で処理するため、低遅延での表示が可能である。一方、撮影画像の解析結果を装置間で送信し、コンテンツ処理装置２００でそれに対応したグラフィクス画像を生成するには一定の時間を要する。

そのため当該グラフィクス画像をヘッドマウントディスプレイ１００で合成する際、合成先の撮影画像のフレームは、解析の元となったフレームより後のフレームとなる。そこで画像解析に用いたフレームと、合成先のフレームとの時間差をあらかじめ計算しておき、位置姿勢予測部２５２は、当該時間差分だけ後の、被写体の位置や姿勢を予測する。予測結果に基づき生成されたグラフィクス画像をヘッドマウントディスプレイ１００において撮影画像と合成することにより、グラフィクスと撮影画像にずれの少ない表示画像を生成できる。

なお被写体の位置や姿勢は、ステレオカメラ１１０の撮像面に対する相対的なものでよい。したがって予測に用いる情報は、撮影画像の解析結果に限らず、ヘッドマウントディスプレイ１００が内蔵するモーションセンサの計測値などでもよいし、それらを適宜組み合わせてもよい。また被写体の位置や姿勢の予測には、一般的な技術のいずれを採用してもよい。

画像描画部２５４は、予測された被写体の位置や姿勢の情報に基づき、それに対応するようにグラフィクス画像を生成する。上述のとおり画像表示の目的は特に限定されないため、画像描画部２５４は例えば並行して電子ゲームを進捗させ、その状況と、予測された被写体の位置や姿勢に基づき仮想オブジェクトを描画する。ただし画像描画部２５４が実施する処理は、コンピュータグラフィクスの描画に限定されない。例えばあらかじめ取得しておいた静止画や動画を再生したり切り取ったりして合成すべき画像としてもよい。画像描画部２５４はグラフィクス画像の生成と同時に合成情報も生成する。

合成情報統合部２５６は、グラフィクス画像と合成情報を統合することにより合成用データとする。合成情報がα画像の場合、合成情報統合部２５６は、グラフィクス画像とα画像を１つの画像平面で表すことにより統合する。クロマキー合成の場合は、描画したオブジェクト以外の領域を所定色で塗りつぶすことが、合成情報統合部２５６における統合処理となる。

いずれにしろ合成情報統合部２５６は、グラフィクス画像に合成情報を含めて画像のデータとして扱えるようにする。圧縮符号化部２６０は、グラフィクス画像と合成情報が統合されてなる合成用の画像データを所定の方式で圧縮符号化する。コンテンツ処理装置２００からヘッドマウントディスプレイ１００あるいは中継装置３１０への送信を有線通信で実現することにより、比較的圧縮率の低い可逆圧縮でも送信が可能である。可逆圧縮の例として、ハフマン符号化やランレングス符号化を用いることができる。また圧縮符号化部２６０は有線通信であっても、合成用の画像データを不可逆圧縮してもよい。

図１１は、本実施の形態における中継装置３１０の機能ブロックの構成を示している。中継装置３１０は、コンテンツ処理装置２００及びヘッドマウントディスプレイ１００と通信を確立しデータの送受信を行う通信部３１２、コンテンツ処理装置２００から送信された合成用のデータを必要に応じて分離するデータ分離部３１４、合成用のデータを適切に圧縮し直す圧縮符号化部３１６を備える。

通信部３１２は有線でコンテンツ処理装置２００と通信を確立し、合成用のデータを受信する。このデータは上述のとおり、グラフィクス画像と合成情報を統合したものである。通信部３１２はまた、ヘッドマウントディスプレイ１００と無線で通信を確立し、適切に圧縮し直された合成用のデータをヘッドマウントディスプレイ１００に送信する。

データ分離部３１４はまず、コンテンツ処理装置２００から送信された合成用のデータを復号伸張する。コンテンツ処理装置２００から可逆圧縮されたデータを送信するようにすることで、元のグラフィクス画像と合成情報を統合した画像が復元される。そして合成情報がα画像の場合、データ分離部３１４は、当該統合された画像を、グラフィクス画像とα画像に分離する。

一方、クロマキー合成用の画像が送信された場合、データ分離部３１４は分離処理を省略できる。あるいはデータ分離部３１４は、クロマキー合成用の画像において、オブジェクトが描画されている領域の画素値を１、所定色で塗りつぶされているその他の領域の画素値を０とするα画像を生成することで分離処理を実施してもよい。この場合、以後の処理はα画像が送信された場合と同様となる。

圧縮符号化部３１６は第１圧縮部３１８と第２圧縮部３２０を含む。データ分離部３１４が分離したデータのうち、第１圧縮部３１８はグラフィクス画像を圧縮符号化し、第２圧縮部３２０はα画像を圧縮符号化する。このα画像は、クロマキー合成用の画像から生成したものでもよい。第１圧縮部３１８と第２圧縮部３２０では、圧縮符号化の方式を異ならせる。好適には第１圧縮部３１８は、第２圧縮部３２０より圧縮率の高い非可逆圧縮を実施し、第２圧縮部３２０は可逆圧縮を実施する。

中継装置３１０は、ヘッドマウントディスプレイ１００を通信ケーブルから解放する役割を担う。そのため送信データをできるだけ圧縮する必要があるが、α画像をグラフィクス画像と同様に非可逆圧縮してしまうと、最も重要な輪郭部分などに誤差が含まれ、合成結果に悪影響を及ぼすことが考えられる。そこで、一旦統合して有線にて送出されたグラフィクス画像とα画像を分離し、それぞれに適切な符号化処理を施すことにより、全体としてデータサイズを軽減させる。これにより無線通信によっても遅延の少ないデータ伝送を実現する。

なおコンテンツ処理装置２００からクロマキー合成用の画像が送信され、データ分離部３１４において対応するα画像を生成しなかった場合、画像全体を第１圧縮部３１８により高い圧縮率で圧縮符号化してよい。ただしこの場合、ヘッドマウントディスプレイ１００において復号された画像には誤差が含まれ得る。その結果、所定色で塗りつぶした領域の画素値が微小量、変化し、合成時に撮影画像の画素が当該画素値に置換されてしまうことが考えられる。

そこでヘッドマウントディスプレイ１００の合成回路３６は、合成しない領域（画素値を置換しない領域）であることを判定する基準として画素値に幅をもたせる。例えば塗りつぶし色の画素値が赤、緑、青の順で（Ｃｒ，Ｃｇ，Ｃｂ）であるとすると、（Ｃｒ±Δｒ，Ｃｇ±Δｇ，Ｃｂ±Δｂ）の範囲の画素値であれば撮影画像に合成しない。ここで画素値のマージン（Δｒ，Δｇ，Δｂ）は、実験などにより最適値を設定する。これによりクロマキー合成用の画像を比較的高い圧縮率で圧縮符号化しても、合成処理の精度の悪化を抑えることができる。

図１２は、ヘッドマウントディスプレイが内蔵する画像処理装置１２８の機能ブロックの構成を示している。この機能ブロックは上述のとおり、ハードウェア的には図８で示した画像処理用集積回路１２０などの構成で実現でき、ソフトウェア的には、記録媒体などからメインメモリなどにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。

この例で画像処理装置１２８は、信号処理部１５０、画像解析部１５２、第１補正部１５６、信号処理部１５８、合成部１６０、第２補正部１６２、画像表示制御部１６４を備える。信号処理部１５０は図８の信号処理回路４２で実現され、ステレオカメラ１１０のイメージセンサから撮影画像のデータを取得し、必要な処理を施す。画像解析部１５２は図８のＣＰＵ３２、画像解析回路４６、入出力インターフェース３０で実現され、撮影画像を解析し所定の情報を取得してコンテンツ処理装置２００に送信する。

例えば左右の撮影画像を用いてステレオマッチングにより被写体の距離を求め、それを画像平面に画素値として表したデプスマップを生成する。ＳＬＡＭによりヘッドマウントディスプレイの位置や姿勢を取得してもよい。このほか、画像解析の内容として様々に考えられることは当業者には理解されるところである。ただし場合によっては、信号処理部１５０が処理した撮影画像のデータそのものをコンテンツ処理装置２００に送信してもよい。

この場合、信号処理部１５０は図８の入出力インターフェース３０を含む。また画像解析部１５２による解析結果やヘッドマウントディスプレイ１００が内蔵する図示しないモーションセンサの計測値は、画像変形処理に用いてもよい。すなわちヘッドマウントディスプレイ１００内部での処理やコンテンツ処理装置２００とのデータ転送に要した時間におけるユーザの視線の動きをそれらのパラメータに基づき特定し、変位ベクトルマップに動的に反映させてもよい。

信号処理部１５０はさらに、撮影画像を所定の手法で高精細化する超解像処理を実施してもよい。例えば撮影画像を画像平面の水平および垂直方向に、１画素より小さい幅でずらした画像と、ずらす前の画像とを合成することにより鮮明化する。このほか超解像には様々な手法が提案されており、そのいずれを採用してもよい。

第１補正部１５６は、図８のＣＰＵ３２、画像補正回路３４で実現され、図４のＳ１４のように撮影画像を補正して、接眼レンズのための歪みを有する表示画像を生成する。ただしコンテンツ処理装置２００から送信された画像を合成する場合、第１補正部１５６では色収差補正を行わない。すなわち、全ての原色について同じ歪みを与える。表示パネルを見る人間の目の特性を考慮し、緑色に対し生成しておいた変位ベクトルマップを用いて、赤、緑、青の全ての画像を補正する。加えてイメージセンサが取得するＲＡＷ画像がベイヤ配列の場合、最も画素密度の高い緑色を用いることができる。

撮影画像を別の画像と合成せずに表示するシースルーモードの場合は、上述のように第１補正部１５６において、一度に色収差補正まで実施した表示画像を生成してよい。すなわち赤、緑、青のそれぞれに対し準備した変位ベクトルマップを用いて、各色の撮影画像を補正する。信号処理部１５８は図８のＣＰＵ３２、入出力インターフェース３０、復号回路４８で実現され、コンテンツ処理装置２００または中継装置３１０から送信されたデータを復号伸張する。

合成部１６０は図８のＣＰＵ３２と合成回路３６により実現され、第１補正部１５６により補正された撮影画像に、コンテンツ処理装置２００などから送信されたグラフィクス画像を合成する。合成部１６０は必要に応じて、グラフィクス画像とα画像を分離したり、縮小されているグラフィクス画像とα画像を所定方向に拡大して復元したりする。

第２補正部１６２は図８のＣＰＵ３２、画像補正回路３４で実現され、合成部１６０から入力された画像を補正する。ただし第２補正部１６２は、表示画像に対しなすべき補正のうち未実施の補正、具体的には色収差の補正のみを実施する。従来技術において、コンテンツ処理装置２００で合成までなされた表示画像をヘッドマウントディスプレイ１００に送信して表示する場合、歪みのない合成画像を生成したうえで、接眼レンズのための補正とともに色収差補正を行うのが一般的である。一方、本実施の形態では、撮影画像とそれに合成すべき画像のデータ経路が異なるため、補正処理を２段階に分離する。

すなわちコンテンツ処理装置２００から送信される画像と撮影画像に対し、接眼レンズに対応する共通の歪みを与えておき、合成後に色別に補正する。第２補正部１６２では、合成後の画像のうち赤、青の画像に対し、さらに必要な補正を施して画像を完成させる。人の視感度が最も高い波長帯である緑を基準として最初に補正を行ったうえで拡大縮小、超解像、合成などを行い、その後に赤と青の収差を補正することにより、色にじみや輪郭の異常が視認されにくくなる。ただし補正に用いる色の順序を限定する趣旨ではない。色収差の補正を合成後に残しておくことにより、合成の境界線を明確に定義できる。

すなわち色収差を補正した後に合成すると、クロマキー用の画像やα画像で設定した境界線が原色によっては誤差を含み、合成後の輪郭に色にじみを生じさせる。色ずれのない状態で合成したあとに、色収差補正により画素を微小量ずらすことにより、輪郭ににじみのない表示画像を生成できる。画像の拡大縮小、超解像、合成などの処理では一般的に、バイリニアやトライリニアなどのフィルター処理が用いられる。色収差を補正した後にこれらのフィルター処理を実施すると、色収差補正の結果がミクロなレベルで破壊され、表示時に色にじみや異常な輪郭が発生する。第２補正部１６２の処理を表示の直前とすることで、そのような問題を回避できる。画像表示制御部１６４は図５のディスプレイコントローラ４４で実現され、そのようにして生成された表示画像を順次、表示パネル１２２に出力する。

なおコンテンツ処理装置２００の圧縮符号化部２６０、中継装置３１０のデータ分離部３１４および圧縮符号化部３１６、および画像処理装置１２８の信号処理部１５８は、画像平面を分割してなる単位領域ごとに圧縮符号化、復号伸張、動き補償を行ってよい。ここで単位領域は、例えば画素の１行分、２行分など、所定行数ごとに横方向に分割してなる領域、あるいは、１６×１６画素、６４×６４画素など、縦横双方向に分割してなる矩形領域などとする。

このとき上記機能ブロックはそれぞれ、単位領域分の処理対象のデータが取得される都度、圧縮符号化処理および復号伸張処理を開始し、処理後のデータを当該単位領域ごとに出力する。表示画像の全画素数より少ない、単位領域の画素のデータの単位で、圧縮符号化および復号伸張を含む一連の処理に関わる機能ブロックが入出力制御を行うことで、一連のデータを低遅延で処理し転送できる。

図１３は、コンテンツ処理装置２００がグラフィック画像とα画像を統合してなる画像の構成を例示している。（ａ）の構成は、１フレーム分の画像平面において、グラフィクス画像が表される範囲５６以外の領域５８に、α画像のデータを埋め込んでいる。すなわち上述のとおり、ヘッドマウントディスプレイ１００に表示させる画像は、接眼レンズのための歪みを与えているため、グラフィクス画像の範囲５６は矩形にならない。

一方、伝送するデータは、横方向と縦方向の幅が規定された矩形の平面を前提としているため、グラフィクス画像の範囲５６との間に使用されない領域５８が生じる。そこでコンテンツ処理装置２００の合成情報統合部２５６は、当該領域５８にα値を埋め込む。例えば右側に拡大して示すように、α画像のラスタ順の画素列を、領域５８を埋め尽くすように左から右、上から下へ配置していく。

（ｂ）の構成は、α画像とグラフィクス画像をそれぞれ縦方向に縮小して上下に接続することにより１つの画像平面としている。（ｃ）の構成は、グラフィクス画像とα画像をそれぞれ横方向に縮小して左右に接続することにより１つの画像平面としている。（ｂ）と（ｃ）の構成において、グラフィクス画像とα画像の縮小率は同じでも異なっていてもよい。いずれにしろこれらの構成によれば、α値のチャンネルをサポートしていない規格によっても容易にα画像の伝送が可能になる。なお（ｂ）と（ｃ）の構成においてグラフィクス画像は図示するような歪みを与えた画像でなくてもよい。すなわち当該画像は、平板型ディスプレイに表示させることを前提として生成された歪みのない画像でもよい。

なおこれらの構成において、α画像の解像度を、グラフィクス画像の解像度より低くしてもよい。例えば（ａ）の構成では、接眼レンズの歪み具合によっては領域５８の面積が十分でない場合がある。そこでα画像を縦横双方向に１／２、あるいは１／４などに縮小することにより、グラフィクス画像とともに１フレーム分の画像平面に収められるようにする。あるいはα画像については、描画したオブジェクトを含む所定領域のデータのみを送信対象としてもよい。

すなわち合成時にα値が重要となるのは、合成するオブジェクトの領域とその輪郭近傍であり、オブジェクトからかけ離れた領域は撮影画像のままとすることが明らかである。そこで（ａ）に図示するように、オブジェクトを含む所定範囲の領域６０のα画像のみを切り取って埋め込みの対象とする。ここで所定範囲の領域とは、例えば、仮想オブジェクトの外接矩形または、それに所定幅のマージン領域を加えた領域などである。この場合、領域６０の位置やサイズに係る情報も同時に埋め込む。複数の仮想オブジェクトを描画する場合は当然、切り取るα画像の領域も複数となる。

図１４は、コンテンツ処理装置２００がグラフィクス画像に統合する、α画像の画素値のデータ構造を例示している。ここでは、グラフィクス画像の各画素値を２４ビット（赤（Ｒ）、緑（Ｇ）、青（Ｂ）の輝度をそれぞれ８ビット）で表す場合を想定している。図において「Ａ」と表記された矩形が、１つのα値を表すビット幅である。（ａ）のデータ構造は、α値を１ビットとすることで、８×３＝２４画素分のα値を、画像上の１画素のデータとしている。同様に（ｂ）、（ｃ）、（ｄ）のデータ構造はそれぞれ、α値を２ビット、４ビット、８ビットとすることで、１２画素分、６画素分、３画素分のα値を、画像上の１画素のデータとしている。

一方、（ｅ）、（ｆ）、（ｇ）のデータ構造は、各色に１画素分のα値を対応づけている。すなわちα値を表すビット数は１ビット、２ビット、４ビットと異なるが、どの構造においても、１×３＝３画素分のα値を、画像上の１画素のデータとしている。半透明の合成をしない場合、α値は０か１のため、（ａ）または（ｅ）のデータ構造で十分となる。そのほか、透明度に求める階調、解像度、送信対象の領域面積などを考慮し、適切なデータ構造を選択する。

また実際の表示画像は、赤、緑、青の各チャンネルの画像に対し、オブジェクトの像に微小量の位置ずれを与えておく色収差補正を行うことで、視覚上でそれらが一致して見えるようにする必要がある。コンテンツ処理装置２００において生成する画像についても、そのような色収差補正を実施する場合は、像の位置ずれに伴いα画像も各色に対し生成しておく必要がある。この場合、α画像そのものが赤、緑、青のチャンネルを持つことになる。したがって図示するデータ構造において赤、緑、青の各チャンネルには、赤のα値、緑のα値、青のα値をそれぞれ格納する。

結果として画像上の１画素に格納できるα値のデータサイズは、上述した、全色に共通のα値を設定するケースの１／３となる。ただしコンテンツ処理装置２００で色収差補正をせず、ヘッドマウントディスプレイ１００において合成した後に色収差補正を実施することも考えられる。この場合は全色に共通のα値を設定できるため、１画素により多くの情報を格納できる。

図１５は、図１３の（ａ）に示したように、グラフィクス画像が表されない領域にα画像のデータを埋め込んで送信する場合の処理の手順を示している。送信データをこのような構成とした場合、α画像の取り出しが比較的複雑となるため、図７の（ａ）に示すように、コンテンツ処理装置２００から有線で直接、ヘッドマウントディスプレイ１００に送信することが望ましい。これによりデータを可逆圧縮でき、高精度な合成を実現できる。

ヘッドマウントディスプレイ１００の合成部１６０は、そのようにα画像が埋め込まれた画像７０のデータを取得すると、それをグラフィックス画像と分離する。具体的には画像平面の上の行から順に、画素列を左から右へ走査しながらα値を表す範囲の画素値を取り出す。ここでα値を表す領域においては、図１４に示すように１画素に複数のα値が格納されている。したがって合成部１６０は、それらを分解して１画素とし、α画像７４の平面にラスタ順に並べていく。

例えば図示するｙ行目において、左端の画素からｘ０までの画素値を読み出し、次にｘ１からｘ２までと、ｘ３から右端までの画素値を読み出す。このように画像平面においてα値を表す画素の範囲は、接眼レンズの設計などに基づき行ごとに導出し、コンテンツ処理装置２００と共有しておく。α値を埋め込む画素の範囲を画像平面に表したマップを作成しておき、コンテンツ処理装置２００とヘッドマウントディスプレイ１００で共有してもよい。これにより、グラフィクス画像７２とα画像７４が分離されるため、合成部１６０は図５に示すように、α値を用いてグラフィクス画像を撮影画像と合成することにより表示画像を生成する。なおグラフィクス画像７２と撮影画像に色収差補正がされていない場合、合成部１６０は合成後の画像に色収差補正を実施する。以後説明する態様でも同様である。

図１６は、図１３の（ｂ）に示したように、α画像とグラフィクス画像をそれぞれ縦方向に縮小し上下に接続して送信する場合の処理の手順を示している。この場合、図７の（ａ）に示すように、コンテンツ処理装置２００から有線で直接、ヘッドマウントディスプレイ１００に送信してもよいし、（ｂ）に示すように、一旦、中継装置３１０に送信し、中継装置３１０からヘッドマウントディスプレイ１００へ無線で送信してもよい。図１６では後者のケースを示している。

中継装置３１０のデータ分離部３１４は、コンテンツ処理装置２００から画像７６のデータを取得すると、それをα画像８０とグラフィクス画像７８に切り離す。そのためデータ分離部３１４には、α画像とグラフィックス画像の縦方向の縮小率によって定まる両者の境界線の位置をあらかじめ設定しておく。切り離されたα画像８０とグラフィクス画像７８は縦方向に縮小された状態のまま、圧縮符号化部３１６において圧縮符号化される。上述のとおりグラフィクス画像７８は高圧縮率、α画像８０は低圧縮率の符号化方式を選択する。

そして通信部３１２は、圧縮符号化された２種類のデータを無線によりヘッドマウントディスプレイ１００に送信する。ただし実際には、中継装置３１０は画像７６の上の行から順に取得していき、取得と並行して上の行から順に圧縮符号化しヘッドマウントディスプレイ１００に送信する。したがって図示する例では、まずα画像８０のデータが送信され、その後にグラフィクス画像７８のデータが送信されることになる。

ヘッドマウントディスプレイ１００の信号処理部１５８は当該２種類のデータを、それぞれに対応する方式で復号伸張する。合成部１６０は復号伸張後のα画像８０とグラフィクス画像７８を取得し、それを縦方向に拡大することにより、元のサイズのα画像８４とグラフィクス画像８２とする。なお送信されたデータにおいて、１画素に複数のα値が格納されている場合、合成部１６０はそれを適宜分解してα画像８４を生成する。そして合成部１６０は図５に示すように、α画像８４を用いてグラフィクス画像８２を撮影画像と合成することにより表示画像を生成する。

図１７は、図１３の（ｃ）に示したように、グラフィクス画像とα画像をそれぞれ横方向に縮小し左右に接続して送信する場合の処理の手順を示している。この場合も、図７の（ａ）に示すように、コンテンツ処理装置２００から有線で直接、ヘッドマウントディスプレイ１００に送信してもよいし、（ｂ）に示すように一旦、中継装置３１０に送信し、中継装置３１０からヘッドマウントディスプレイ１００へ無線で送信してもよい。図１７では後者のケースを示している。

中継装置３１０のデータ分離部３１４は、コンテンツ処理装置２００から画像８６のデータを取得すると、それをグラフィクス画像８８とα画像９０に切り離す。そのためデータ分離部３１４には、グラフィックス画像とα画像の横方向の縮小率によって定まる両者の境界線の位置をあらかじめ設定しておく。切り離されたグラフィクス画像８８とα画像９０は横方向に縮小された状態のまま、圧縮符号化部３１６において圧縮符号化される。上述のとおりグラフィクス画像８８は高圧縮率で、α画像９０は低圧縮率の符号化方式を選択する。

そして通信部３１２は、圧縮符号化された２種類のデータを無線によりヘッドマウントディスプレイ１００に送信する。ただし実際には、中継装置３１０は画像８６の上の行から順に取得していき、取得と並行して上の行から順に圧縮符号化しヘッドマウントディスプレイに送信する。したがって図示する例では、１行分のグラフィクス画像のデータと１行分のα画像のデータが交互に送信されることになる。

ヘッドマウントディスプレイ１００の信号処理部１５８は当該２種類のデータを、それぞれに対応する方式で復号伸張する。合成部１６０は復号伸張後のグラフィクス画像８８とα画像９０を取得し、それを横方向に拡大することにより、元のサイズのグラフィクス画像９２とα画像９４とする。なお送信されたデータにおいて１画素に複数のα値が格納されている場合、合成部１６０はそれを適宜分解してα画像９４を生成する。そして合成部１６０は図５に示すように、α画像９４を用いてグラフィクス画像９２を撮影画像と合成することにより表示画像を生成する。

ヘッドマウントディスプレイ１００において立体視を適切に実現するには、表示画像に精度よく両眼視差が与えられていることが重要となる。図１６に示したように、縦方向に縮小した画像を接続して送信する場合、横方向の解像度は維持されるため、立体視においては有利である。一方、図１６の態様では上述のとおり、全領域のα画像が伝送されてからグラフィクス画像の伝送が開始されることになる。したがってヘッドマウントディスプレイ１００においても合成部１６０は、全領域のα画像を取得してから、その後に取得するグラフィクス画像の合成を開始せざるを得ず、α画像を取得する期間の遅延が生じる。

データサイズが小さいα画像を先に送信することにより、グラフィクス画像を先に送信するより遅延時間を短縮できるが、いずれにしろ双方のデータが揃うまでの待機時間が発生する。これを踏まえグラフィクス画像とα画像を縦方向に縮小する場合、コンテンツ処理装置２００は、グラフィクス画像とα画像を１行または複数行ずつ交互に接続して送信してもよい。このようにすると、双方のデータが揃うまでの待機時間をより短縮できる。

図１７に示したように、横方向に縮小した画像を接続して送信する場合は、横方向の解像度が低下することにより両眼視差に誤差が含まれ、立体視に影響を与える可能性がある。一方で、上述のとおり、１行にグラフィクス画像とα画像のデータが含まれるため、１行ごとの合成を効率的に進捗させることができ、遅延時間を最短にできる。このように図１６と図１７に示した構成の特性を踏まえ、求められる立体視の精度や許容される遅延時間などのバランスに応じて、適切な構成を選択する。

以上述べた本実施の形態によれば、カメラを備えたヘッドマウントディスプレイにコンテンツの画像を表示させる技術において、コンテンツ処理装置から送信された画像を表示させる経路と別に、撮影画像をヘッドマウントディスプレイ内で処理して表示させる経路を設ける。拡張現実や複合現実を実現する場合は、ヘッドマウントディスプレイから撮影画像の解析結果のみをコンテンツ処理装置に送信し、コンテンツ処理装置がそれに応じて描画したグラフィクス画像を、ヘッドマウントディスプレイで撮影画像と合成する。

これにより、コンテンツ処理装置において高精細な画像を描画できる一方、ヘッドマウントディスプレイとの間で伝送すべきデータのサイズを軽減でき、各処理やデータ伝送に要する時間や消費電力を軽減できる。また合成に必要なα画像をグラフィクス画像とともに送信する場合、それらを統合して１つの画像データとすることにより、α画像のデータ伝送をサポートしていない通信規格であっても送信が可能となる。この際、送信対象の画像平面のうち、グラフィクス画像に与えている歪みにより生じる間隙領域にα画像を埋め込み、有線通信により送信することにより、グラフィクス画像を劣化させずに合成することができる。

あるいはグラフィクス画像とα画像を縦方向または横方向に縮小して接続し１つの画像データとして送信する。この場合、一旦、中継装置において両者を分離し、グラフィクス画像を高圧縮率で圧縮符号化するとともに、α画像は可逆圧縮してヘッドマウントディスプレイに送信する。これにより合成時の精度への影響を抑えつつ、伝送すべきデータサイズを軽減させることができる。結果としてヘッドマウントディスプレイへのデータ伝送を無線で実現でき、ユーザの可動範囲を広げることができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

３０入出力インターフェース、３２ＣＰＵ、３４画像補正回路、３６合成回路、４２信号処理回路、４４ディスプレイコントローラ、４６画像解析回路、４８復号回路、１００ヘッドマウントディスプレイ、１１０ステレオカメラ、１２０画像処理用集積回路、１２２表示パネル、１２８画像処理装置、１５０信号処理部、１５２画像解析部、１５６第１補正部、１５８信号処理部、１６０合成部、１６２第２補正部、１６４画像表示制御部、２００コンテンツ処理装置、２２２ＣＰＵ、２２４ＧＰＵ、２２６メインメモリ、２３２通信部、２３４記憶部、２５０合成用データ生成部、２５２位置姿勢予測部、２５４画像描画部、２５６合成情報統合部、２５８通信部、２６０圧縮符号化部、３１０中継装置、３１２通信部、３１４データ分離部、３１６圧縮符号化部、３１８第１圧縮部、３２０第２圧縮部。

Claims

画像生成装置が、
表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値を生成するステップと、
前記合成すべき画像と前記α値のデータを１つの画像平面に表してなる合成用データを生成するステップと、
前記合成用データを、前記表示画像を生成する装置に送信するステップと、
を含み、
前記合成用データを生成するステップは、接眼レンズを介して鑑賞される表示画像に与えるべき歪みを前記合成すべき画像に付加し、前記画像平面において、前記歪みにより前記合成すべき画像が表されない領域に、前記α値を埋め込むことを特徴とする画像データ伝送方法。
前記合成用データを生成するステップは、前記合成用データにおいて、１つの画素に複数の画素のα値を対応づけることを特徴とする請求項１に記載の画像データ伝送方法。
前記合成用データを生成するステップは、前記１つの画素が有する複数の原色に割り当てられた記憶領域ごとに、１つまたは複数の画素のα値を格納することを特徴とする請求項２に記載の画像データ伝送方法。
前記合成用データを生成するステップは、前記１つの画素が有する複数の原色に割り当てられた記憶領域ごとに、各原色に対し設定する１つまたは複数の画素のα値を格納することを特徴とする請求項２に記載の画像データ伝送方法。
前記合成用データを生成するステップは、前記１つの画素が有する複数の原色に割り当てられた記憶領域ごとに、全原色に共通に設定する１つまたは複数の画素のα値を格納することを特徴とする請求項２に記載の画像データ伝送方法。
画像生成装置が、
表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値を生成するステップと、
前記合成すべき画像と前記α値のデータを１つの画像平面に表してなる合成用データを生成するステップと、
前記合成用データを、前記表示画像を生成する装置に送信するステップと、
中継装置が、
前記合成用データを取得し、前記合成すべき画像と前記α値のデータを分離するステップと、
前記合成すべき画像と前記α値のデータを異なる方式で圧縮符号化するステップと、
圧縮符号化されたデータを、前記表示画像を生成する装置に送信するステップと、
を含むことを特徴とする画像データ伝送方法。
前記圧縮符号化するステップは、前記合成すべき画像を非可逆圧縮し、前記α値のデータを可逆圧縮することを特徴とする請求項６に記載の画像データ伝送方法。
前記表示画像を生成する装置が、被写体の位置および姿勢の情報を取得するステップをさらに含み、
前記合成用データを生成するステップは、
前記表示画像を生成する装置から送信された前記位置および姿勢の情報に基づき、所定時間後の被写体の位置および姿勢を予測したうえ、その結果に対応するように前記合成すべき画像を生成することを特徴とする請求項１から７のいずれかに記載の画像データ伝送方法。
前記合成用データを生成するステップは、前記表示画像を生成する装置と共有された、前記α値を表す範囲に係る情報に基づき、前記画像平面にα値を表すことを特徴とする請求項１から８のいずれかに記載の画像データ伝送方法。
前記合成用データを生成するステップは、前記α値を表す範囲を前記画像平面に表したマップに基づき、前記画像平面にα値を表すことを特徴とする請求項９に記載の画像データ伝送方法。
前記合成用データを生成するステップは、前記合成すべき画像より小さい解像度で生成されたα値を前記画像平面に表すことを特徴とする請求項１から１０のいずれかに記載の画像データ伝送方法。
前記合成用データを生成するステップは、前記表示画像のうち前記合成によって表される像を含む所定範囲の領域のα値を前記画像平面に表すことを特徴とする請求項１から１０のいずれかに記載の画像データ伝送方法。
前記合成用データを生成するステップは、前記１つの画像平面に前記α値のデータを表す代わりに、前記合成によって表すべき像以外の領域に所定の画素値を与えた合成用データを生成し、
前記送信するステップは、前記合成用データを非可逆圧縮して送信し、
前記表示画像を生成する装置が、
前記合成用データを伸張するステップと、
当該合成用データのうち前記所定の画素値から所定範囲の値を有する画素の領域以外の領域を前記表示画像に表すステップと、
を含むことを特徴とする請求項１から１２のいずれかに記載の画像データ伝送方法。
表示画像に合成すべき画像を生成する画像描画部と、
前記合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを１つの画像平面に表してなる合成用データを生成する合成情報統合部と、
前記合成用データを出力する通信部と、
を備え、
前記合成情報統合部は、接眼レンズを介して鑑賞される表示画像に与えるべき歪みを前記合成すべき画像に付加し、前記画像平面において、前記歪みにより前記合成すべき画像が表されない領域に、前記α値を埋め込むことを特徴とするコンテンツ処理装置。
実空間を撮影するカメラと、
表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを１つの画像平面に表してなる合成用データを、外部の装置から受信し、前記α値に基づき、前記カメラによる撮影画像に前記合成すべき画像を合成して表示画像を生成する画像処理用集積回路と、
前記表示画像を出力する表示パネルと、
を備え、
前記画像処理用集積回路は、前記画像平面において、接眼レンズを介して鑑賞するために前記合成すべき画像に付加された歪みにより、前記合成すべき画像が表されない領域に、前記α値が埋め込まれた前記合成用データを受信することを特徴とするヘッドマウントディスプレイ。
前記画像処理用集積回路は、接眼レンズを介して鑑賞される表示画像に与えるべき歪みを前記撮影画像に付加し、前記外部の装置から送信された、前記歪みが付加されている前記合成すべき画像を合成することを特徴とする請求項１５に記載のヘッドマウントディスプレイ。
前記画像処理用集積回路は、前記撮影画像を解析して被写体の位置および姿勢の情報を取得し、前記外部の装置に送信することを特徴とする請求項１５または１６に記載のヘッドマウントディスプレイ。
表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを１つの画像平面に表してなる合成用データを、合成すべき画像と前記α値のデータに分離するデータ分離部と、
前記合成すべき画像と前記α値のデータを異なる方式で圧縮符号化する圧縮符号化部と、
前記合成用データを、画像を生成する装置から取得し、前記圧縮符号化されたデータを、前記表示画像を生成する装置に送信する通信部と、
を備えたことを特徴とする中継装置。
表示装置と、当該表示装置に表示させる画像を生成するコンテンツ処理装置と、を含み、
前記コンテンツ処理装置は、
表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを１つの画像平面に表してなる合成用データを生成する合成用データ生成部と、
前記合成用データを出力する通信部と、
を備え、
前記表示装置は、
実空間を撮影するカメラと、
前記合成用データのα値に基づき、前記カメラによる撮影画像に前記合成すべき画像を合成して表示画像を生成する画像処理用集積回路と、
前記表示画像を出力する表示パネルと、
を備え、
前記合成用データは、接眼レンズを介して鑑賞される表示画像に与えるべき歪みが前記合成すべき画像に付加され、前記画像平面において、前記歪みにより前記合成すべき画像が表されない領域に、前記α値が埋め込まれていることを特徴とするコンテンツ処理システム。
表示画像に合成すべき画像を生成する機能と、
前記合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを１つの画像平面に表してなる合成用データを生成する機能と、
前記合成用データを出力する機能と、
をコンピュータに実現させ、
前記合成用データを生成する機能は、接眼レンズを介して鑑賞される表示画像に与えるべき歪みを前記合成すべき画像に付加し、前記画像平面において、前記歪みにより前記合成すべき画像が表されない領域に、前記α値を埋め込むことを特徴とするコンピュータプログラム。
表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを１つの画像平面に表してなる合成用データを取得する機能と、
前記合成すべき画像と前記α値のデータを分離する機能と、
前記合成すべき画像と前記α値のデータを異なる方式で圧縮符号化する機能と、
圧縮符号化されたデータを、前記表示画像を生成する装置に送信する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
表示画像に合成すべき画像と、当該合成すべき画像の画素の透明度を表すα値のデータとを１つの画像平面に表してなる合成用データを取得する機能と、
前記合成すべき画像と前記α値のデータを復元する機能と、
前記α値に基づき、撮影画像に前記合成すべき画像を合成して表示パネルに出力する機能と、
をコンピュータに実現させ、
前記合成用データを取得する機能は、前記画像平面において、接眼レンズを介して鑑賞するために前記合成すべき画像に付加された歪みにより、前記合成すべき画像が表されない領域に、前記α値が埋め込まれた前記合成用データを取得することを特徴とするコンピュータプログラム。