JP4929848B2 - 映像データの伝送システムとその方法、送信処理装置とその方法 - Google Patents

Description

本発明は、コンピュータグラフィックス（ＣＧ）の技術を用いて伝送データ量が低減可能な映像データの伝送システムと、その方法に関する。また本発明は、上記伝送システムに用いることが可能な映像データの送信処理装置とその方法に関する。

コンピュータグラフィックスは、主に、３次元対象物の描写を、見る角度を変えて変更する際のリアルタイム性向上、処理負担低減を目的とした用途に用いられている（たとえば特許文献１）。
また、コンピュータグラフィックの記録、転送の負担を軽くするためにビット容量を減らす符号化および復号化の技術が知られている（たとえば特許文献２）

特許文献１の請求項１には、対象物を実写ビデオ画像の背景から分離し、建築物を表すＣＧ画面中に上記対象物を表す部分の実写ビデオ画像を嵌め込んで合成する合成方法が記述されている。
また、その請求項２には、顧客が撮影した対象物の実写ビデオ画像を記録した実写データを当該顧客用のコンピュータから通信回線を用いて建築会社のサーバコンピュータに送信し、建設会社が当該顧客の建築予定の建築物を表すＣＧ画像中に上記対象物の実写ビデオ画像を嵌め込む合成処理を行って合成ビデオ画像を作成した後、上記合成ビデオ画像を記録した合成データを、通信回線を用いて上記サーバコンピュータから上記顧客用コンピュータに送信し、顧客用コンピュータ上で上記合成ビデオ画像を再生できる方法が記述されている。
特開２０００−３５００９４号公報 特開平５−１０８８１１号公報

ところで近年、実写のビデオ画像等の映像データを含む映画や番組のストリーミング配信等が盛んに行われるようになってきてきる。また、映像規格もＨＤ(high definition)規格等、より高精細なものに移行しつつある。
したがって、インターネット等の通信回線を大容量の映像データが盛んに伝送される状況が生まれ、この傾向は今後、益々強まると予想されている。

このような状況において、実写のビデオ画像等の映像データをそのまま通信回線を介して送受信する方法では伝送データ量が大きく、限られたデータ伝送レートの通信回線で遅滞なくデータ伝送を行うことは困難である。
また、伝送データ量を小さくするため映像圧縮技術を用いる方法では、映像全体が圧縮されてしまうため、多少なりとも映像表示品質が低下する。圧縮率は通常サイズの画面では原画像と表示時に見劣りしないように決められるが、大画面に高精細表示を行うと、映像品質の低下が視認されることがある。

なお、特許文献１に記載されている技術は、顧客の姿等の実写ビデオ画像を、この顧客のために建築しようとする建物のＣＧ画面に嵌め込んで顧客に建築後のイメージを持ってもらう、建築会社のサービス方法を提案するためのものである。通信回線を伝送されるデータは実写ビデオ画像や合成画像のデータである。
また、特許文献２に記載されている技術は通信回線の伝送データ量を低減するが、その目的を符号化、複合化技術で解決するものである。ただし、３次元ＣＧデータを２次元ＣＧデータに変換するため画質の低下は避けられない。

本発明が解決しようとする課題は、実質的な見た目の高画質感を維持したまま映像データの伝送量を低減することである。

本発明は、たとえば見た目に重要な部分を撮像時の映像データで伝送し、その他の、たとえば余り重要でない部分をＣＧ化の対象とすることによって全体としてデータ量を低減する場合に適用できる。つまり本発明では、３次元対象物の描写を、見る角度を変えて変更する際のリアルタイム性向上、処理負担低減という通常の目的にＣＧ技術を用いるのではなく、伝送時のデータ量低減という目的に用いる。

本発明に係る映像データの伝送システムは、撮影装置と、前記撮影装置からの映像データをコンピュータグラフィックス（ＣＧ）の対象領域と非対象領域とに分離する分離処理部、前記対象領域の映像データをＣＧデータに変換するＣＧデータ変換部、および、前記対象領域のＣＧデータと前記非対象領域の映像データを通信回線に送信する送信部を備える送信処理装置と、受信部、当該受信部が受信した前記対象領域のＣＧデータから前記ＣＧデータ変換部が変換する前の映像データを復元するデータ復元部、および、復元された前記対象領域の映像データを前記受信部が受信した前記非対象領域の映像データと画面ごとに合成する合成処理部を備える受信処理装置と、を有し、前記送信処理装置は、前記撮影装置からの前記映像データに関連付けられた３次元情報を取得し、取得した３次元情報を前記分離処理部に出力する情報取得部を有し、前記分離処理部は、前記撮影装置からの前記映像データの動き検出を行い、動きがある画面領域を前記非対象領域とし、動きがない又は動きが比較的小さいその他の画面領域を前記対象領域とする第１の分離法と、前記撮影装置からの前記映像データから肌色を検出し、肌色の画面領域または肌色部分を包括する画面領域を前記非対象領域とし、その他の画面領域を前記対象領域とする第２の分離法との少なくとも一方の分離法を、前記３次元情報が取得できた対象物を映像内で区別し、当該対象物の画面領域を前記対象領域とし、その他の画面領域を前記非対象領域とする第３の分離法と組み合わせることにより、前記対象領域と前記非対象領域の分離を実行し、かつ、外部からの制御信号に応じて分離法の切り換えが可能に構成されている。

本発明に係る映像データの送信処理装置は、撮影装置からの映像データに関連付けられた３次元情報を取得する情報取得部と、前記撮影装置からの映像データを、前記３次元情報を用いてコンピュータグラフィックス（ＣＧ）の対象領域と非対象領域とに分離する分離処理部と、前記対象領域の映像データをＣＧデータに変換するＣＧデータ変換部と、前記対象領域のＣＧデータと前記非対象領域の映像データを通信回線に送信する送信部と、を備え、前記分離処理部は、前記撮影装置からの前記映像データの動き検出を行い、動きがある画面領域を前記非対象領域とし、動きがない又は動きが比較的小さいその他の画面領域を前記対象領域とする第１の分離法と、前記撮影装置からの前記映像データから肌色を検出し、肌色の画面領域または肌色部分を包括する画面領域を前記非対象領域とし、その他の画面領域を前記対象領域とする第２の分離法との少なくとも一方の分離法を、前記３次元情報が取得できた対象物を映像内で区別し、当該対象物の画面領域を前記対象領域とし、その他の画面領域を前記非対象領域とする第３の分離法と組み合わせることにより、前記対象領域と前記非対象領域の分離を実行し、かつ、外部からの制御信号に応じて分離法の切り換えが可能に構成されている。

本発明に係る映像データの伝送方法は、映像データに関連付けられた３次元情報を取得するステップと、前記映像データをコンピュータグラフィックス（ＣＧ）の対象領域と非対象領域とに分離する際に、前記映像データの動き検出を行い、動きがある画面領域を前記非対象領域とし、動きがない又は動きが比較的小さいその他の画面領域を前記対象領域とする第１の分離法と、前記映像データから肌色を検出し、肌色の画面領域または肌色部分を包括する画面領域を前記非対象領域とし、その他の画面領域を前記対象領域とする第２の分離法との少なくとも一方の分離法を、前記３次元情報が取得できた対象物を映像内で区別し、当該対象物の画面領域を前記対象領域とし、その他の画面領域を前記非対象領域とする第３の分離法と組み合わせることにより、前記対象領域と前記非対象領域の分離を実行し、かつ、外部からの制御信号に応じて分離法の切り換えが可能な分離ステップと、前記対象領域の映像データをＣＧデータに変換するＣＧ変換ステップと、前記対象領域のＣＧデータと前記非対象領域の映像データを通信回線に送る送信ステップと、前記ＣＧデータおよび前記非対象領域の映像データを前記通信回線から受信する受信ステップと、受信した前記対象領域のＣＧデータから当該ＣＧデータに変換される前の映像データを復元する復元ステップと、復元された前記対象領域の映像データを、受信した前記非対象領域の映像データと画面ごとに合成する合成ステップと、を含む。

本発明に係る映像データの送信処理方法は、映像データに関連付けられた３次元情報を取得するステップと、前記映像データをコンピュータグラフィックス（ＣＧ）の対象領域と非対象領域とに分離する際に、前記映像データの動き検出を行い、動きがある画面領域を前記非対象領域とし、動きがない又は動きが比較的小さいその他の画面領域を前記対象領域とする第１の分離法と、前記映像データから肌色を検出し、肌色の画面領域または肌色部分を包括する画面領域を前記非対象領域とし、その他の画面領域を前記対象領域とする第２の分離法との少なくとも一方の分離法を、前記３次元情報が取得できた対象物を映像内で区別し、当該対象物の画面領域を前記対象領域とし、その他の画面領域を前記非対象領域とする第３の分離法と組み合わせることにより、前記対象領域と前記非対象領域の分離を実行し、かつ、外部からの制御信号に応じて分離法の切り換えが可能な分離ステップと、前記対象領域の映像データをＣＧデータに変換するＣＧ変換ステップと、前記対象領域のＣＧデータと前記非対象領域の映像データを通信回線に送る送信ステップと、を含む。

本発明によれば、実質的な見た目の高画質感を維持したまま映像データの伝送量を低減可能にすることができる。

以下、本発明の実施形態を、図面を参照して説明する。

《システム構成》
図１に、本発明の実施形態に関わる映像データの伝送システムの全体構成を示す。
この伝送システムは、映像データを送る送信者側に、撮影装置１、３次元情報取得部２および送信処理装置３が配置され、映像データを受け取る受信者側に受信処理装置４と機器５とが配置されている。
送信処理装置３と受信処理装置４は、たとえばインターネットなどの有線または無線の通信回線１００により接続されている。

なお、本発明は通信回線の伝送データ量の低減を目的としており、その意味で通信回線１００が受信者と送信者の専用回線でもよい。ただし、受信者と送信者が伝送データ量を制限できないネットワーク回線で本発明は、より大きな効果を奏する。よって以下の説明では、通信回線１００はインターネット等のネットワークを前提とする。

撮影装置１は、カムコーダ、デジタルカメラなど、送信者が撮影した映像（動画または静止画）に対し所定の信号処理を行い、処理後の映像を出力する装置である。撮影装置１からの映像データ（原映像データ）Ｄ０は、撮影装置１から送信処理装置３に出力される。
なお、送信者は個人であってもよいが、映像ソース提供者、たとえば放送局を含む番組作成者やオンデマンド映像供給会社（以下、単に事業者という）であってもよい。また個人には、事業者に属する、または、フリーの取材カメラマンを含む。

送信処理装置３は、個人（送信者）等が所有するパーソナルコンピュータ（ＰＣ）やホームサーバ、高性能ゲーム機などの高速な計算機、あるいは、事業者（送信者）のサーバ、映像編集機器等である。
本実施形態における送信処理装置３の特徴は、撮影装置１からの原映像データを画面ごとにコンピュータグラフィックス（ＣＧ）の対象領域と非対象領域とに分離して、対象領域の映像データをＣＧ化（ＣＧデータに変換する）機能を備えることである。ＣＧデータと、非対象領域の映像データとは画面合成されて送信映像データとして通信回線１００に送り出される。

３次元情報取得部２は、撮影装置１からの原映像データに３次元対象物（人等の生物を含む）が含まれる場合、その対象物の映像データに画面のｘｙ座標（ｘ,ｙアドレス）からは得られない画面に垂直なｚ方向の情報を取得するための手段である。
３次元情報取得部２から出力される３次元情報Ｉ０は、対象物の表面形状を表すためのｚ座標（ｚアドレス）、対象物同士のｚ方向の位置関係を表すための情報のいずれでもよい。

受信処理装置４は、個人（受信者）等が所有するパーソナルコンピュータ（ＰＣ）やホームサーバ、高性能ゲーム機などの高速な計算機、あるいは、事業者（受信者）のサーバ、映像編集機器等である。この受信処理装置４は、通信回線１００から送られてくるＣＧの対象領域のデータ（ＣＧデータ）と、非対象領域の映像データとを画面ごとに合成する機能を少なくとも有する。
また機器５は、合成後の映像を表示、記録または加工するための装置である。
機器５が映像表示機能を有する場合、受信処理装置４に、機器５の映像表示仕様にあわせて画面サイズを変更する機能を付加してもよい。

《３次元情報の取得法》
３次元情報取得部２が採用する手法は、対象物の形状、または、対象物同士の画面と垂直な方向の位置が得られるものであれば、任意である。
このような手法のうち実用的なものとして、光切断法(light sectioning method)、フォトメトリックステレオ法(photometric stereo method)、超音波計測法の何れを用いてもよい。

光切断法では、光ビームを円筒レンズで一方向にのみ広げた平面状のシート光を生成し、このシート光を走査して対象表面に斜めから当てる。このとき対象表面とシートビームとの交わりに明瞭な切断線が描かれる。この切断線をカメラ（イメージセンサ）で撮像して、その切断線形状と、シート光の角度、カメラの角度から対象表面の高さ、走査点の光源からの距離等が分かるため、この情報から３次元情報が得られる。

超音波計測法は様々な方法があるが、一般には、超音波を物体に当てて、反射波の強度を参照しながら、その時間的な遅れ、位相変化等から対象物の音源や検出位置からの位置情報を得ることができる。この方法をイメージセンサから得られる２次元情報と組み合わせることによって３次元情報が得られる。

装置が簡易で最も実用的な方法は、フォトメトリックステレオ法である。
フォトメトリックステレオ法では、対象物に異なる（たとえば互いに直角な）３方向から、ＬＥＤなどを光源として対象物全体を照らす光を照射する。このとき３つの光源を順番に１つずつ発光させ、その発光の度にイメージセンサによって撮像を行う。得られた３つの撮影画面の輝度レベルを２画面の組み合わせを変えて差分をとる処理を行う。そして、この差分画面から、対象物の３次元情報を得る。
このフォトメトリックステレオ法を用いると、３次元対象物を含むシーンを３方向から照明することで現れる影の違いから三次元形状を推定することができる。このときシーン内の３次元対象物の画面領域からは、影の違いがはっきりとした３次元情報が得られる。ただし、背景などの遠すぎて光が届かない画面領域からは３次元情報が得られない。よって、シーン内の３次元対象物を特定することができる。

以上、３次元情報取得部２について説明してきたが、本実施形態の図１において３次元情報取得部２は必須の構成ではない。その理由は、ＣＧの対象領域と非対象領域を画面内で分離する方法として他の方法を採用可能だからである。
ＣＧ化の目的は、前述したようにデータ伝送量を小さくすることである。詳細は後述するが、ＣＧデータは、原映像データに比べると、そのデータ量を格段に小さくでき、その結果、ＣＧデータ化した領域の画面内の占有率が高ければ高いほど当該画面のデータ伝送量も低減される。

ところが、ＣＧ化できるものを全てＣＧ化すると、以下の不都合が生じることがある。
人物等を含め３次元情報が得られるＣＧ化の対象物は、映像を鑑賞する際に、着目されやすく、より高精度な画面領域としておきたい場合も存在する。言い換えると、人物や物が画面の被写体（より着目される画面領域）となる場合に、この被写体をＣＧ化すると、映像品質が低い印象を鑑賞者に与えてしまう。
とくに人物の場合は映像品質を落とさないことが重要である。

そこで本実施形態の送信処理装置３（図１）は、人物や動きのある他の生物または物の被写体を、他の背景の画面領域と区別する方法として、肌色検出と動き検出の機能を備える。肌色検出は人物の顔や手足等を特定するための機能であり、動き検出は人物を含め動きのある生物や物を特定するための機能である。

《詳細な構成例》
以下、この肌色検出機能、動き検出機能、前述した３次元情報取得機能の何れか一の機能、または、複数の機能を組み合わせて実行する場合を例として、送信処理装置３と受信処理装置４のより詳細な構成例を説明する。
なお、機能の組み合わせは任意であるが、ここでは３次元情報取得機能と、他の機能の一または二とを組み合わせる場合を主に説明する。

図２は、送信処理装置３と受信処理装置４のより詳細な構成例を示すブロック図である。
図解した送信処理装置３は、分離処理部３１、ＣＧデータ変換部３２、映像データ処理部３３、および、送信部３４を有する。

分離処理部３１は、動き検出部３１Ａと肌色検出部３１Ｂとを含み、図１の撮影装置１からの原映像データＤ０と、３次元情報取得部２からの３次元情報Ｉ０とを入力可能となっている。
分離処理部３１は、原映像データＤ０に対して画面ごとにＣＧ化の対象領域と非対象領域を分離する。このとき、分離を行う手法を、３次元情報Ｉ０に基づく方法（第１分離法）、動き検出部３１Ａの動き検出結果に基づく方法（第２分離法）、肌色検出部３１Ｂの肌色検出結果に基づく方法（第３分離法）の何れか一の分離法または複数の分離法を組み合わせて実行する。この分離法の選択は、不図示の制御部からの分離制御信号Ｓ０に基づいて制御される。このため分離処理部３１には、分離制御信号Ｓ０が入力可能となっている。

第１分離法では、原則として、３次元情報Ｉ０が得られた画面領域をＣＧ化の対象領域とし、３次元情報Ｉ０が得られない画面領域をＣＧ化の非対象領域とする。
ただし、後述するが、３次元情報Ｉ０が得られてもあえて非対象領域とする場合、逆に、３次元情報Ｉ０が得られなくても対象領域とする場合がある。この後者の方法は、詳細は後述するが、テクスチャと称される部分的な映像データをポリゴンに貼り付ける手法であり、本実施形態では、この手法もＣＧ化の一手法としている。

第２分離法では、画面の動き検出を、複数の画面（たとえばフレーム）間で同じアドレスを有する画素データの微分成分（変化成分）の大小を検出することによって行う。
第３分離法では、色成分の違いから肌色検出を行う。

分離制御信号Ｓ０による、これらの分離法の選択は、たとえば、番組などの映像ソースごとに予め適切な分離法を選択しておき、その映像ソースの処理中には分離法の切り換えを行わないようにするとよい。ただし、この制御は、映像ソース内でも、たとえばスタジオ等の屋内と屋外のシーンごとに適切な分離法を切り替えるようにすることを制限する趣旨ではない。

図２のＣＧデータ変換部３２には、分離処理部３１からＣＧ化の対象領域の映像データ（ＣＧ化対象データ）Ｄ１が入力可能となっている。
ＣＧデータ変換部３２は、ポリゴン生成部３２Ａ、データ変換部３２Ｂ、データ変更部３２Ｃ、および、データ抽出部３２Ｄを有する。

ポリゴン生成部３２Ａは、ＣＧ化対象データＤ１を入力し、ＣＧ化対象データＤ１からポリゴンを生成する構成である。ここでポリゴンとは、３次元対象物等の表面を構成する多角形を言う。
データ変換部３２Ｂは、ポリゴンごとの座標データ、法線データおよび色データを含むポリゴンデータを求めることによって、ＣＧ化対象データＤ１をＣＧデータ（ポリゴンデータの別名）Ｄ２に変換するブロックである。

図３に、三角形ポリゴンを示す。なお、この図は一例であり、ポリゴンは三角形以外の多角形であってもよい。
ポリゴン生成部３２Ａが求める座標データとは、三角形ポリゴン３５の頂点座標Ｐ１＝(x1,y1,z1)、Ｐ２＝(x2,y2,z2)、Ｐ３＝(x3,y3,z3)である。ポリゴン生成部３２Ａは、これらの座標データを三角形ポリゴン３５ごとに求める。
ポリゴン生成部３２Ａが求める法線データとは、三角形ポリゴン３５の平面に垂直な単位ベクトル（法線ベクトルｎ(v)）を表すデータである。ここで添え字(suffix)の“(v)”はベクトルであることの表示である。３次元対象物が局面を有する場合、法線ベクトルｎ(v)の向きが異なる三角形ポリゴン３５が細かく生成される。
ポリゴン生成部３２Ａが求める色データは、たとえばＲＧＢの原色データまたは色差データである。このポリゴンの色は特定の１色が原則であるが、後述するテクスチャ貼り付けの場合は、その貼り付ける部分映像データの色であり、通常多数の色を有する。

データ変更部３２Ｃは、たとえば、法線データ（法線ベクトルｎ(v)のデータ）と色データの各々が近似する隣接ポリゴンが複数ある場合、当該複数の隣接ポリゴンのデータから１つのポリゴンデータを生成する構成である。このデータ変更部３２Ｃの処理実行によって、たとえば、ほぼ均一な色の平面部分は影の部分で１つのポリゴン面積が拡大する。この処理が施された画像はＣＧデータＤ２のデータ量が劇的に低減する可能性がある。１枚の画面内には、略平面や影部分は多く存在するのが普通だからである。

データ抽出部３２Ｄは、ＣＧ化対象データＤ１が示すＣＧ対象領域の全部または一部を、画像を貼り付け可能なポリゴンにすることができる。そして、データ抽出部３２Ｄは、単一または複数の画像貼り付け用ポリゴンを生成したときは、当該画像貼り付け用ポリゴンごとに、その座標データ（図３のＰ１,Ｐ２,Ｐ３に相当するポリゴン頂点の座標データ）を求める。さらに、データ抽出部３２Ｄは、当該座標データに対応する画像部分であるテクスチャを、たとえば分離処理部３１からのＣＧ化対象データＤ１から抽出する。

より具体的には、たとえば動き検出や肌色検出で得られた人物の背景は、その全部または一部に３次元情報が得られない領域を含むことが多い。しかし、３次元情報が得られた領域だけをＣＧ化すると余りデータ量を減らせないことがある。このため、背景を１つまたは数個の画像貼り付け用ポリゴンとして、各画像貼り付け用ポリゴンに、それぞれ対応するテクスチャを貼り付ける。

また、複数フレームに連続して同じテクスチャが存在する場合は、最初のフレームからテクスチャを抜き出し、以降のフレームではそのテクスチャの変化分を考慮した画像貼り付け用ポリゴンのＣＧデータを生成し、作成したＣＧデータに、該当するテクスチャをそれぞれ貼り付けることも可能である。
この「変化分を考慮する」とは、図２の動き検出部３１Ａの機能を用いて画面の動きを常に監視して、鑑賞者に視認されるほどの動きが検出された場合にＣＧデータの再作成、テクスチャの再抽出、または、その両方を行うことを意味する。人物に動きがなく背景のみ、その内部で動きがあった場合には、ＣＧデータの再作成は不要で、テクスチャを再抽出して、今あるテクスチャを抽出後の新たなテクスチャで貼り替えればよい。一方、人物に動きがあった場合は背景の形状も異なるため、ＣＧデータの再作成まで必要となる。ただし、人物の動きがある範囲を１つの画像貼り付け用ポリゴンとしている場合は、そのポリゴンデータ（ＣＧデータ）の再作成のみでよい。

ＣＧデータ変換部３２からは、ＣＧデータＤ２とテクスチャデータＤ３とが送信部３４に出力される。ただし、画像貼り付けを行わない場合、ＣＧデータ変換部３２からテクスチャデータＤ３が出力されない。

図２の映像データ処理部３３は、ＣＧ化の非対象の映像データ（非対象データ）Ｄ４を、分離処理部３１から入力し、必要な処理を行う。この処理には一般的なノイズ除去等の高画質化処理や増幅処理等も含まれる。
本例では、伝送データ量低減の意味で、図示のようにＭＰＥＧエンコーダ３３Ａを映像データ処理部３３に含むことが望ましい。ただし、高精細大画面表示を前提とした場合、それに対応する動画圧縮ができなければＭＰＥＧエンコーダ３３Ａを省略することもできる。ＣＧ化技術の適用によって画面としては伝送データ量の低減が可能であるため、画質との兼ね合いで動画圧縮を行うか否かを決めるとよい。
このＣＧの対象化領域の処理においても、変化分を考慮したデータ伝送仕様、すなわち人物等の被写体に動きが実質的にないとみなされる場合は、動きがあるまでフレームデータの出力を省くことが可能である。
処理後のＣＧ化非対象データＤ５は、送信部３４に出力される。

送信部３４は、処理後のＣＧ化の非対象データＤ５と、ＣＧデータＤ２（およびテクスチャデータＤ３）とを入力し、変調、エラー訂正の符号化等、送信に必要な処理を行って通信回線１００から、処理後の送信データを出力する。

つぎに、図２の受信処理装置４側の詳細構成を説明する。
図解した受信処理装置４は、受信部４１、レンダリング処理部４２、映像データ処理部４３および合成処理部４４を有する。

受信部４１は、通信回線１００を介して送られてきたＣＧ化の非対象データＤ５と、ＣＧデータＤ２（およびテクスチャデータＤ３）とを入力し、復調、エラー訂正の復号化等、受信に必要な処理を行って、処理後の受信データを出力する。このとき受信部４１は、非対象データＤ５を映像データ処理部４３に出力し、ＣＧデータＤ２（およびテクスチャデータＤ３）をレンダリング処理部４２に出力する。

映像データ処理部４３は、非対象データＤ５を受信部４１から入力し、必要な処理を行う。この処理には一般的なノイズ除去等の高画質化処理や増幅処理等も含まれる。
本例では、伝送データ量低減の意味で、図示のようにＭＰＥＧエンコーダ３３Ａにより動画圧縮がされている場合は、その解除のためのＭＰＥＧデコーダ４３Ａを有する。

レンダリング処理部４２は、受信部４１から入力したＣＧデータＤ２（およびテクスチャデータＤ３）から、送信側のＣＧデータ変換部３２が変換する前の映像データ（ＣＧ化対象データＤ１）を復元するデータ復元部４２Ａを有する。
つぎに、レンダリング処理について簡単に説明する。

レンダリングとは、ＣＧデータを元のデータに復元する上記処理を含め、ＣＧ化対象物に質感を持たせる処理をいう。
このときＣＧ化対象領域をＣＧデータとして扱うことにより、受信側の環境に合わせた調整処理が実現可能である。

より詳細には、図１の機器５が有する表示デバイスの表示可能なフレームレートに合わせてシーンを間引いたり、解像度や画素数に応じて映像サイズを変化させたり、表現可能色数に合わせて減色してレンダリングを行うことで計算速度を向上することが可能である。このため図２に示すように、レンダリング処理部４２に表示デバイスからの情報を送る信号Ｓ１が入力可能になっている。
計算機やレンダリングエンジンの性能が不足している場合は、ＣＧデータからレンダリング対象となるポリゴン数を減らしたり、テクスチャを貼るポリゴン数を減らしたりすることにより、計算コストを低減することも可能である。
なお、これらの調整処理は、画像合成後にも可能であるが、レンダリング時の調整で行うと効率がよい。

レンダリングには、たとえば光線追跡法（レイトレーシング法）を用いるが、優れたレンダリングエンジン（演算処理装置）が使用可能な場合は、より計算速度を必要とするレンダリング手法であるフォトンマッピング法などを用い、よりリアルな映像再現を行うことも可能である。

合成処理部４４は、レンダリング処理部４２からのレンダリングの画像データＤ６と、映像データ処理部４３からの処理後の画像データＤ７とを合成して一枚の画像を生成する。この合成処理を映像の画面ごとに繰り返して映像データを生成し、これを図１の機器５に送る。

《送信側処理手順》
つぎに、以上の構成を前提として送信側処理手順を説明する。この説明では図１、図２および図４を参照する。

図４は、送信側処理を示すフローチャートである。
送信者は、図１の撮影装置１の撮像部を用いて、高品質な映像を撮影する（ステップＳＴ１）。これにより原映像データＤ０が撮影装置１から送信処理装置３に送られる。
また並行して、３次元情報取得部２によって３次元情報Ｉ０が取得され（ステップＳＴ２）、原映像データＤ０と関連付けられて送信処理装置３に入力される。

送信処理装置３では撮影された映像をリアルタイムに処理し、所定の基準に基づいて原映像の品質を維持するＣＧ化の非対象領域と、ＣＧ画像に変換してデータ量を低減するＣＧ化の対象領域とに分離する（ステップＳＴ３）。この分離処理は図２の分離処理部３１で実行され、この処理に変更可能に基準を与えるのは図２の分離制御信号Ｓ０であり、その指示に応じて前述した第１〜第３分離法の選択が行われる。

たとえば人物と背景から成るシーンならば、顔画像検出や肌色抽出などの手法を用いて人物の映像をＣＧ化非対象領域として扱い、背景をＣＧ化対象領域として扱う。
また、シーン中にほぼ静止している部分と動いている部分がある場合は、シーン間の微分をとることで動いている部分をＣＧ化非対象領域として抽出することが可能である。
さらに、背景に３次元対象物、たとえば家などがある場合は、３次元対象物をＣＧ化の対象領域に含ませることができる。
背景領域にテクスチャ貼り付け用ポリゴンを生成し、テクスチャを貼り付ける手法は既に述べたが、そのために前もってテクスチャを貼り付ける領域を分離処理でＣＧ化の対象領域とする必要がある。

ところで３次元情報Ｉ０は、ＣＧ画像を生成するためのＣＧデータが得られない単なる画面に垂直な向きの位置情報の場合もある。たとえば超音波計測では物体形状まで検出できない場合があるが、その場合、その得られた位置情報（ｚ座標データ）によって画面に垂直な向きの物体の位置分布が得られるのみである。
そのｚ座標データ分布に分離可能な孤立した纏まりが複数ある場合、そのシーンの手前にあるものと奥側の背景を分離することができる。具体的には、分布における纏まり間のｚ座標範囲にｚ座標データの閾値を設け、その閾値よりｚ座標が小さい手前にあると推測できる画面領域をＣＧ化の非対象領域とし、閾値以上のｚ座標が大きく画面領域を背景と判定して、これをＣＧ化の対象領域とする。
このようにして得られた背景領域にテクスチャを貼り付けることが可能なことは、前述した通りである。

分離処理後のＣＧ化対象データＤ１（図２参照）に対して、図２のＣＧデータ変換部３２によってＣＧデータ変換処理が実行される（ステップＳＴ４）。また、ステップＳＴ４と並行して、図２の映像データ処理部３３によって送信側の映像処理が実行される（ステップＳＴ５）。
これらの処理内容はテクスチャ貼り付けを含め既に述べたので、ここでの重複説明は行わない。

ステップＳＴ４のＣＧデータ変換によって、図２に示すＣＧデータＤ２（およびテクスチャデータＤ３）が得られる。また、ステップＳＴ５によって処理後の非対象データＤ５が得られる。
これらのデータに対し必要な送信処理を、図２の送信部３４が行う（ステップＳＴ６）。この処理後のデータは送信データとして通信回線１００に出力される。

《受信側処理手順》
続いて受信側処理手順を説明するが、ここでは図１、図２および図５を参照する。

図５は、受信側処理を示すフローチャートである。
ステップＳＴ１１にて、図２の受信部４１が受信データを受信処理する。処理後の受信データが受信部４１からレンダリング処理部４２と映像データ処理部４３に送られる。
レンダリング処理部４２は、受信部４１からのＣＧデータを元に、受信側の環境に適したレイトレーシングなどのレンダリング処理を行う（ステップＳＴ１２）。
映像データ処理部４３は、レンダリング処理と並行して、受信部４１からのＣＧ化の非対象データに受信側の所定の映像処理を施す（ステップＳＴ１３）。この映像処理には、ＭＰＥＧデコード処理を含む。

レンダリングされたＣＧ映像とＣＧ化非対象領域の映像を、図２の合成処理部４４が合成処理し（ステップＳＴ１４）、機器５の表示デバイスにて、合成後の映像を表示する（ステップＳＴ１５）。

本実施形態では、人物等の被写体がＣＧ化非対象領域として扱われ、ＣＧ化対象領域である背景がＣＧデータとして扱われている場合は、ＣＧデータを差し替えることで、他の背景と重ねたシミュレーションなどの用途にも用いることも可能である。

本実施形態では、以下の利益が得られる。
ＣＧ化非対象領域は原映像あるいは適切な処理が施された映像として扱われるため、品質を劣化させることはない。残りのＣＧ化対象領域はＣＧデータとして扱われるため、原映像よりも容量が小さく、送受信や処理のコストが少なくて済む。そのため本手法のような、低容量で高品質な映像の送受信を実現する手段が必要とされているが、本実施形態では第１〜第３分離法を必要に応じて組み合わせで用いることで適切な領域分離が可能である。
そして本実施形態では、ＣＧデータにより送信データの一部（または全部）を生成し、これによって原映像データＤ０に対する送信データの圧縮率が高く、送信データ量を低減することができる。

このようにＣＧ化により、動く可能性が高い人物がＣＧ化非対象領域として扱われ、ＣＧ化対象領域である背景がＣＧデータとして扱われている場合、ＣＧ化対象領域がほとんど変化しないことが考えられるので、人物と背景の再描画分だけを送受信すればよく、その結果、高い圧縮率を実現することができる。
よって、さらに効率よく伝送データ量の低減が可能である。

以上は送信側で得られる利益であるが、受信側では、ＣＧデータと、その他の映像データが分離して送られてくる。このとき、背景などのＣＧ化対象領域の映像データは、フレームごとではなく必要なタイミングで送られてくるようにできることから、レンダリング処理そのものの負担が小さくでき、また、フレームの間引きや画素数変換等のレンダリング処理時に行う画像調整の負担も軽くて済む。さらに、シミュレーション用途への適用も容易である。

以上をまとめると、以下のごとくである。
（１）映像の全体的な品質を維持しながら、伝送データ量を小さくすることが可能である。
（２）領域分離の柔軟性が高く、このため、より効率的な伝送データ量の低減が可能である。
（３）人物と背景の再描画分だけを送受信することができ、より効率的な伝送データ量の低減が可能である。
高品質な映像を送受信する際のコストを小さくすることが可能である。
（４）受信者の環境に応じた最適な映像再現が可能である。
（５）ＣＧ化対象領域を他のデータと差し替えたシミュレーションが可能である。

とくに上記（１）〜（３）の伝送データ量の低減は、今後益々重要性が増すと予想される。
すなわち、たとえばインターネット放送などの分野では、多チャンネルの放送データをＨＤ(high definition)規格等に適合する高品質映像として配信する必要があり、現在数[Mbps]を実現している光ファイバー伝送を用いても帯域が不足すると考えられる。
よって、本実施形態のデータ伝送システム、その送信処理装置、受信処理装置、およびこれらのデータ伝送方法を用いると、この通信回線の容量不足を解決することが可能となる。

本発明の実施形態に関わる映像データの伝送システムの全体構成を示す図である。 送信処理装置と受信処理装置のより詳細な構成例を示すブロック図である。 三角形ポリゴンを示す図である。 送信側処理を示すフローチャートである。 受信側処理を示すフローチャートである。

符号の説明

１…撮影装置、２…３次元情報取得部、３…送信処理装置、３１…分離処理部、３１Ａ…動き検出部、３１Ｂ…肌色検出部、３２…ＣＧデータ変換部、３２Ａ…ポリゴン生成部、３２Ｂ…データ変換部、３２Ｃ…データ変更部、３２Ｄ…データ抽出部、３３…映像データ処理部、３３Ａ…ＭＰＥＧエンコーダ、３４…送信部、４…受信処理装置、４１…受信部、４２…レンダリング処理部、４２Ａ…データ復元部、４３…映像データ処理部、４３Ａ…ＭＰＥＧデコーダ、４４…合成処理部、５…機器、Ｄ０…原映像データ、Ｄ１…ＣＧ化対象データ、Ｄ２…ＣＧデータ、Ｄ３…テクスチャデータ、Ｓ０…分離制御信号

Claims (10)

1. 撮影装置と、
   前記撮影装置からの映像データをコンピュータグラフィックス（ＣＧ）の対象領域と非対象領域とに分離する分離処理部、前記対象領域の映像データをＣＧデータに変換するＣＧデータ変換部、および、前記対象領域のＣＧデータと前記非対象領域の映像データを通信回線に送信する送信部を備える送信処理装置と、
   受信部、当該受信部が受信した前記対象領域のＣＧデータから前記ＣＧデータ変換部が変換する前の映像データを復元するデータ復元部、および、復元された前記対象領域の映像データを前記受信部が受信した前記非対象領域の映像データと画面ごとに合成する合成処理部を備える受信処理装置と、
   を有し、
   前記送信処理装置は、前記撮影装置からの前記映像データに関連付けられた３次元情報を取得し、取得した３次元情報を前記分離処理部に出力する情報取得部を有し、
   前記分離処理部は、
   前記撮影装置からの前記映像データの動き検出を行い、動きがある画面領域を前記非対象領域とし、動きがない又は動きが比較的小さいその他の画面領域を前記対象領域とする第１の分離法と、
   前記撮影装置からの前記映像データから肌色を検出し、肌色の画面領域または肌色部分を包括する画面領域を前記非対象領域とし、その他の画面領域を前記対象領域とする第２の分離法と
   の少なくとも一方の分離法を、
   前記３次元情報が取得できた対象物を映像内で区別し、当該対象物の画面領域を前記対象領域とし、その他の画面領域を前記非対象領域とする第３の分離法と組み合わせることにより、前記対象領域と前記非対象領域の分離を実行し、かつ、
   外部からの制御信号に応じて分離法の切り換えが可能に
   構成されている
   映像データの伝送システム。
2. 前記分離処理部は、前記３次元情報が得られたことにより前記対象領域とすべき前記対象物の画面領域内に、前記第１の分離法と前記第２の分離法の少なくとも一方を適用したときに非対象領域とすべき領域が存在する場合、当該領域を非対象領域として扱う
   請求項１に記載の映像データの伝送システム。
3. 前記ＣＧデータ変換部は、
   前記対象領域の映像データからポリゴンを生成するポリゴン生成部と、
   前記ポリゴンごとの座標データ、法線データおよび色データを含むポリゴンデータを求めることによって、前記対象領域の映像データを前記ＣＧデータに変換するデータ変換部と、
   前記法線データと前記色データの各々が近似する隣接ポリゴンが複数ある場合、当該複数の隣接ポリゴンのデータから１つのポリゴンデータを生成するデータ変更部と、
   を含む請求項１または２に記載の映像データの伝送システム。
4. 前記ＣＧデータ変換部は、前記対象領域の全部または一部を、画像を貼り付け可能なポリゴンにすることができ、単一または複数の画像貼り付け用ポリゴンを生成したときは、当該画像貼り付け用ポリゴンごとに、その座標データを求め、当該座標データに対応する画像部分であるテクスチャを前記分離処理部または前記撮影装置から得た映像データから抽出するデータ抽出部を含む
   請求項３に記載の映像データの伝送システム。
5. 前記データ抽出部は、前記対象領域の全部から単一の画像貼り付け用ポリゴンを生成したときは、１回限りまたは数画面ごとに１回の割合で、前記画像貼り付け用ポリゴンの生成と、その座標データおよび前記テクスチャの抽出とを実行する
   請求項４に記載の映像データの伝送システム。
6. 前記データ復元部は、映像に質感を持たせるレンダリング処理部内に設けられ、
   前記受信処理装置は、前記合成処理部により合成された画面の拡大または縮小が可能なスケーリング部を備える
   請求項１から３の何れか一項に記載の映像データの伝送システム。
7. 撮影装置からの映像データに関連付けられた３次元情報を取得する情報取得部と、
   前記撮影装置からの映像データを、前記３次元情報を用いてコンピュータグラフィックス（ＣＧ）の対象領域と非対象領域とに分離する分離処理部と、
   前記対象領域の映像データをＣＧデータに変換するＣＧデータ変換部と、
   前記対象領域のＣＧデータと前記非対象領域の映像データを通信回線に送信する送信部と、
   を備え、
   前記分離処理部は、
   前記撮影装置からの前記映像データの動き検出を行い、動きがある画面領域を前記非対象領域とし、動きがない又は動きが比較的小さいその他の画面領域を前記対象領域とする第１の分離法と、
   前記撮影装置からの前記映像データから肌色を検出し、肌色の画面領域または肌色部分を包括する画面領域を前記非対象領域とし、その他の画面領域を前記対象領域とする第２の分離法と
   の少なくとも一方の分離法を、
   前記３次元情報が取得できた対象物を映像内で区別し、当該対象物の画面領域を前記対象領域とし、その他の画面領域を前記非対象領域とする第３の分離法と組み合わせることにより、前記対象領域と前記非対象領域の分離を実行し、かつ、
   外部からの制御信号に応じて分離法の切り換えが可能に
   構成されている
   映像データの送信処理装置。
8. 映像データに関連付けられた３次元情報を取得するステップと、
   前記映像データをコンピュータグラフィックス（ＣＧ）の対象領域と非対象領域とに分離する際に、前記映像データの動き検出を行い、動きがある画面領域を前記非対象領域とし、動きがない又は動きが比較的小さいその他の画面領域を前記対象領域とする第１の分離法と、前記映像データから肌色を検出し、肌色の画面領域または肌色部分を包括する画面領域を前記非対象領域とし、その他の画面領域を前記対象領域とする第２の分離法との少なくとも一方の分離法を、前記３次元情報が取得できた対象物を映像内で区別し、当該対象物の画面領域を前記対象領域とし、その他の画面領域を前記非対象領域とする第３の分離法と組み合わせることにより、前記対象領域と前記非対象領域の分離を実行し、かつ、外部からの制御信号に応じて分離法の切り換えが可能な分離ステップと、
   前記対象領域の映像データをＣＧデータに変換するＣＧ変換ステップと、
   前記対象領域のＣＧデータと前記非対象領域の映像データを通信回線に送る送信ステップと、
   前記ＣＧデータおよび前記非対象領域の映像データを前記通信回線から受信する受信ステップと、
   受信した前記対象領域のＣＧデータから当該ＣＧデータに変換される前の映像データを復元する復元ステップと、
   復元された前記対象領域の映像データを、受信した前記非対象領域の映像データと画面ごとに合成する合成ステップと、
   を含む映像データの伝送方法。
9. 前記復元ステップは、映像データに質感を持たせるレンダリング処理にて実行され、
   前記合成ステップにて合成された画面の拡大または縮小が可能なスケーリングステップを含む
   請求項８に記載の映像データの伝送方法。
10. 映像データに関連付けられた３次元情報を取得するステップと、
    前記映像データをコンピュータグラフィックス（ＣＧ）の対象領域と非対象領域とに分離する際に、前記映像データの動き検出を行い、動きがある画面領域を前記非対象領域とし、動きがない又は動きが比較的小さいその他の画面領域を前記対象領域とする第１の分離法と、前記映像データから肌色を検出し、肌色の画面領域または肌色部分を包括する画面領域を前記非対象領域とし、その他の画面領域を前記対象領域とする第２の分離法との少なくとも一方の分離法を、前記３次元情報が取得できた対象物を映像内で区別し、当該対象物の画面領域を前記対象領域とし、その他の画面領域を前記非対象領域とする第３の分離法と組み合わせることにより、前記対象領域と前記非対象領域の分離を実行し、かつ、外部からの制御信号に応じて分離法の切り換えが可能な分離ステップと、
    前記対象領域の映像データをＣＧデータに変換するＣＧ変換ステップと、
    前記対象領域のＣＧデータと前記非対象領域の映像データを通信回線に送る送信ステップと、
    を含む映像データの送信処理方法。

Images