JPWO2011099254A1 - データ処理装置及びデータ符号化装置 - Google Patents

Abstract

カメラユニットとその他のユニット（特に、表示ユニット）とが分離して無線で接続される撮像装置において、ユニット間のデータ伝送を効率的に行って利便性を向上させる技術が開示され、その技術によれば撮像部で撮像された映像コンテンツデータは階層符号化によって、コアレイヤの確認コンテンツ符号化データと、拡張レイヤの保存コンテンツ符号化データに符号化される。確認コンテンツ符号化データは、即座に確認コンテンツ送信部９０６から無線通信を介して表示ユニット９５０に送られて表示出力される。一方、保存コンテンツ符号化データは、確認コンテンツ符号化データと共に、記録部９０７に保存される。これにより、映像コンテンツデータの迅速な表示と、品質を保った保存の両方が実現される。

Description

本発明は、コンテンツデータの符号化を行うデータ処理装置及びデータ符号化装置に関する。

移動通信の進歩に伴って、第３世代パートナーシッププログラム（３ＧＰＰ：3rd Generation Partnership Program）では、非常に広範囲において無線通信サービスを提供するうえで、モビリティ（端末装置の高速な移動）サポート、広帯域（高スループット）データ通信サポートなど、音声のみならず、映像などのマルチメディアデータの伝送が可能となるまでに発達している。

マルチメディアデータの通信においては、音声、映像など、通信対象となるデータを符号化して伝送することで、通信路の帯域消費、通信路の特性など、様々な点での効率化、安定化などが実現される。こうしたデータの符号化方法の１つとして、階層符号化技術が存在する。

階層符号化技術においては、映像、音声を品質、用途などで分類し、各レベルにより階層化することで、基本となるデータに対して付加的な情報が分離可能な情報ブロックとして符号化される。それぞれの情報ブロックは個別に送受信でき、必要に応じて合成することで１つの符号化データ群が様々な環境で利用できるようになる。なお、音声の階層符号化技術として国際的に既に使用されている方式の先例として、下記の非特許文献１に記載されている技術が挙げられる。また、下記の特許文献１においても、品質の異なる画像データの圧縮方法が開示されている。

また、通常、ビデオカメラは、撮影者自身が把持して撮影、記録を行うことができるようになっている。ビデオカメラは比較的小型で、撮影者が撮影映像を確認する手段（主に、ビューファインダーなど）も一体型となっている。しかしながら、例えば、撮影者がビューファインダーを見ようとしてビデオカメラを持つ手を動かすだけでぶれてしまったり、あるいは、少し離れた場所から撮影映像を確認することが難しかったりする場合がある。下記の特許文献２には、カメラユニットに対して着脱可能な外部ユニットを設けたビデオカメラが開示されている。特許文献２に開示されているビデオカメラによれば、有線であれ無線であれ、カメラユニットとその他のユニットとを分離して、その間を通信で補うことにより、デジタルビデオカメラの使用者の様々な利用シーンに対応した撮影が可能となる。

特開２００８−５０７１８０号公報 特開２００５−３５４４１９号公報

ＩＴＵ−Ｔ（International Telecommunication Union - Telecommunication sector）標準Ｇ．７２９．１規格書、２００６年５月

しかしながら、実際の使用環境においては、例えば、カメラユニットとビューファインダーなどの表示ユニットとを着脱可能とした場合であっても、ユニット間が有線で接続されている場合には、撮影者の機材の扱いが制限されたり煩雑になってしまったりするため、必ずしも利便性が向上されるわけではない。より利便性を向上させるのであれば、ユニット間を無線で接続することが望ましいが、ユニット間が無線接続である場合は、
・無線通信リソースの干渉（電波干渉）の耐性を付加しなければならない
・有線接続に比べて伝送帯域が制限されるため、デジタルデータの圧縮などの符号化が必要となる
・追加の画像処理が必要となるため、処理や伝送による遅延時間が生じ、カメラユニットの撮影映像が表示ユニットに表示させた場合、画像表示が大きく遅延してしまうため、実際の撮影映像に対する撮影者の直感的動作にズレが生じる
などの課題が発生してしまう。なお、特に小型のビデオカメラにおいては、カメラユニットが撮像装置以外のその他のセンシング装置（収音装置、測距装置、バッテリー残量センサ、加速度センサなど）を備えていることが多く、本明細書においては、撮像装置を含む様々なセンシング装置を含んだユニットであることから、センシングユニットと記載することもあるが、説明の上で理解がしやすいように、単にカメラユニット（種々のセンシング装置を備えていることを前提とする）と記載する場合もある。また、センシング装置において取得されたデータをセンシングデータと記載する場合もある。センシング装置が撮像装置の場合には、センシングデータには映像データが含まれ、センシング装置が収音装置の場合には、センシングデータには音声データが含まれる。また、その他のセンシング装置においてもそれぞれ対応するセンシングデータが取得される。

本発明は、上記課題を解決するため、カメラユニットとその他のユニット（特に、表示ユニット又は音声出力ユニット）とが分離して無線で接続されるセンシング装置において、ユニット間のデータ伝送を効率的に行って利便性を向上させるデータ処理装置及びデータ符号化装置を提供することを目的とする。

上記目的を達成するため、本発明のデータ処理装置は、センシングデータを出力する出力装置と無線接続されており、前記出力装置が出力するための前記センシングデータの処理を行うことが可能なデータ処理装置であって、
前記出力装置が出力する前記センシングデータを取得するデータ取得部と、
前記データ取得部で取得された前記センシングデータを所定の品質で符号化して第１符号化データを生成する第１符号化部と、
前記第１符号化部で生成された前記第１符号化データを、無線接続を介して前記出力装置へ逐次送信する無線送信部と、
前記第１符号化データに含まれるコンテンツの品質を上げる付加情報を前記データ取得部で取得された前記センシングデータから抽出して符号化し、第２符号化データを生成する第２符号化部と、
前記第１符号化データ及び前記第２符号化データを記録媒体へ記録させるため、前記第１符号化データ及び前記第２符号化データを記録装置へ送信する送信部とを、
有している。
この構成により、センシング装置で取得されたデータ（例えば、映像データ又は音声データ）を出力装置（例えば、表示ユニット又は音声出力ユニット）に出力させるまでの時間が短縮され、また、出力装置へ伝送されるデータ量も削減されて安定したデータ出力が実現される。

また、上記目的を達成するため、本発明のデータ符号化装置は、特定のセンシングデータの処理を行うことが可能なデータ符号化装置であって、
入力センシングデータを所定の品質で符号化して第１符号化データを生成する第１符号化部と、
前記第１符号化データに含まれるコンテンツの品質を上げる付加情報を前記入力センシングデータから抽出して符号化し、第２符号化データを生成する第２符号化部とを、
有している。
この構成により、入力センシングデータの内容を確認できる第１符号化データを迅速に出力するとともに、さらに、その品質を向上させる第２符号化データを出力することが可能となる。

本発明は、上記の構成を有しており、センシングユニットとその他のユニット（特に、表示ユニット又は音声出力ユニット）とが分離して無線で接続されるセンシング装置において、ユニット間のデータ伝送を効率的に行って利便性を向上させるという効果を有する。

本発明の実施の形態のコンテンツ通信装置におけるコンテンツ処理の一例を示すシーケンスチャート 本発明の実施の形態における符号化及び伝送方法の模式的なイメージを示す図 本発明の実施の形態におけるカメラユニット及び表示ユニットの構成の一例を示すブロック図 本発明の実施の形態におけるカメラユニットに実装され得る撮影コンテンツ符号化器の構成の一例を示すブロック図 本発明の実施の形態における保存コンテンツ復号器の構成の一例を示すブロック図

以下、図面を参照しながら、本発明の実施の形態について説明する。

例えば、デジタルビデオカメラによって撮影を行う際の撮影環境は様々な場所が想定されるが、表示ユニットでの確認内容は主に構図調整用途（タイミングや構図、被写体の確認などのために使用）であり、表示ユニットの表示画像に関しては、画像の解像度、フレームレート、音声帯域などの面において保存するデータと同等であることは必須の条件ではない場合が多い。このように、表示ユニットに表示する画像は、構図調整などが可能であればある程度が品質の劣化（粗素材）が許される点に注目し、本発明では、記録用データと表示用データとで品質の異なる符号化を行って、記録及び表示を行うようにする。

本発明の階層符号化を用いたコンテンツ通信装置は、放送／配信を行うような専門的な機材（例えばテレビ放送局で用いられているような機材）に限定されることなく、一般的なデジタルビデオカメラに適用させることが可能である。以下に一般的なデジタルビデオカメラに本発明を適用した場合の実施の形態について説明する。

ビデオカメラのビューファインダーや液晶画面などに表示する映像、出力する音声、撮影パラメータ、記録時間、残り時間、バッテリー量などの通知すべきデジタルビデオカメラのステータス（以降、上述を総称してコンテンツと呼ぶ）を、本発明の通信方法を用いて離れた場所に位置する表示ユニットに送信し、そこでの操作などがあった場合はビデオカメラに送り返す。

このとき、ビデオカメラで撮影したコンテンツは基本的にビデオカメラに内蔵若しくは接続された記録ユニットに保存されるが、撮影中のコンテンツを確認するための伝送においては、必ずしも保存するコンテンツのデータサイズのまま、安定して表示ユニットへ伝送できるわけではない。

本発明の方法では、記録ユニットへの保存コンテンツと、粗素材の確認コンテンツとを区別することで、ビデオカメラのカメラユニットから表示ユニットまでの伝送を効率的に行うようにする。確認コンテンツを参照することにより、撮影者はズーム、構図調整、録音レベル調整、開始、停止などの操作をビデオカメラの（ビデオカメラと物理的に一体化している状態の）表示装置を直視できない／しにくい状態にあってもリアルタイムに操作可能となる。

ここで、保存コンテンツはビデオカメラに内蔵若しくは何らかの方法で接続された記録ユニットに記録されるので、確認コンテンツを受信する表示ユニットは、必ずしも受信したコンテンツを保存する必要はない。このとき、記録ユニットがビデオカメラと一体型であれば、ビデオカメラ装置内の接続インタフェースを介して記録ユニットに伝送され、記録装置がビデオカメラから分離されている場合（表示ユニットと一体化されている場合も含む）は、ビデオカメラのインタフェースを介して記録ユニットに伝送される。

以下、本発明の実施の形態について具体的に説明する。本発明の実施の形態では、映像を撮像するとともに音声を収録するビデオカメラにおいて、カメラユニットと、その他のユニット（例えば、記録ユニットや表示ユニット）とを分離して、ユニット間が無線で接続されている構成において、ユニット間のデータ伝送に階層符号化技術を応用することで、利便性に優れたカメラが実現される。

図１は、本発明の実施の形態のコンテンツ通信装置におけるコンテンツ処理の一例を示すシーケンスチャートである。なお、このシーケンスチャートは、ある時刻におけるコンテンツのデータに着目して図示されているが、実際には、確認コンテンツ、保存コンテンツなどを始めとするデータは逐次伝送及び処理されている。また、ここでは、ビデオカメラは、撮像（及び収音）することが可能なカメラユニットを有しているが、撮影されたコンテンツを表示出力する表示ユニット（モニタなど）は、無線を介して接続されており、分離可能なように構成されているとする。また、撮影されたコンテンツを記録する記録ユニット（メモリ装置など）も、ビデオカメラの構成によっては分離可能なように構成されていてもよい。

ビデオカメラのカメラユニットで撮影（及び収音）されたコンテンツは、記録ユニットに記録されるとともに、無線伝送されて、無線を介して接続されている表示ユニットにて表示される。以降の説明では、主に、撮影（及び収音）されたコンテンツ及びその他のビデオカメラや撮影に関する情報を特に区別なくコンテンツとして扱う場合について説明している部分があるが、映像、音声、その他のデータはそれぞれ別々に扱われてもよい。例えば、映像やその他のデータ（表示にて通知する情報）は表示ユニットに伝送される一方、音声やその他のデータ（警告音など音声にて通知する情報）は音声専用のユニットに伝送されるような構成も考えられる。

ここで、カメラユニットからの撮影コンテンツの符号化方法として、スループットが低下した状態においても高画質・高圧縮のフレームをまたぐような符号化方法を採用するのではなく、粗素材の逐次符号化可能なデータをカメラユニットから記録ユニットや表示ユニットへ逐次送信することで、遅延低減を重視する。具体的には、撮影コンテンツの符号化方法に関して階層符号化方法を応用し、撮影コンテンツを確認コンテンツ（コア）レイヤと保存コンテンツ（拡張）レイヤに階層化して符号化を行う。確認コンテンツレイヤの情報と保存コンテンツレイヤの情報は分離可能であって、それぞれ個別に送受信でき、また、これらを合成することで、元の撮影コンテンツを得ることが可能である。なお、本明細書では、２つのレイヤに階層化する場合について主に説明を行うが、３つ以上のレイヤに階層化してもよい。なお、符号化の方式によっては、符号化における冗長度の削減の過程において、撮影したそのものの情報が完全に復元されない場合もあるが、このような場合も含めて、元の撮影コンテンツとする。

確認コンテンツ（コア）レイヤは、低画素数、狭帯域、モノクロ、モノラルなどの高速符号化が可能な符号化パラメータセットの符号化を行い、フレーム毎送信を行う。なお、フレーム毎送信においては、走査線毎、走査線グループ毎、音素片毎、音素片グループ毎などのデータ送信単位時間が短くなる送信単位に分割を行うようにする。なお、本明細書では、確認コンテンツ（コア）レイヤに属する符号化データを確認コンテンツ符号化データと呼ぶ。

一方、保存コンテンツ（拡張）レイヤは、高画素数、広帯域、ステレオ、広色域カラーなどの最終コンテンツに必要なパラメータセットの符号化を行い、フレーム間圧縮も含めた高圧縮符号化を行ってもよい。なお、保存コンテンツを記録する際の遅延（主に、記録ユニットにおける記録動作速度などで定まる遅延）を満たす範囲で符号化、送信される必要がある。なお、本明細書では、保存コンテンツ（拡張）レイヤに属する符号化データを保存コンテンツ符号化データと呼び、確認コンテンツ符号化データ及び保存コンテンツ符号化データの両方を復号して元の撮影コンテンツを確認できるようにする復号処理を保存コンテンツ復号と呼び、保存コンテンツ復号によって復号されたコンテンツ（撮影コンテンツと同等）を保存コンテンツと呼ぶ。

図２は、本発明の実施の形態における符号化及び伝送方法の模式的なイメージを示す図である。カメラユニットは、ある符号化対象データに対して階層符号化を適用し、所定の処理単位毎に確認コンテンツレイヤの高速符号化を行って、作成された確認コンテンツ符号化データを逐次記録ユニット及び表示ユニットへ送信する。一方、保存コンテンツレイヤに関しては、保存コンテンツ符号化データは、対応する確認コンテンツよりも遅れて符号化され、記録ユニットのみへ送信される（表示ユニットへは送信されない）。なお、保存コンテンツレイヤは、確認コンテンツレイヤと異なり逐次送信する必要はなく、例えば、伝送効率や記録のための記憶媒体の利用効率などを考慮してフレーム間高圧縮符号化などが行われてもよい。これにより、カメラユニットからは、高速符号化によって作成された確認コンテンツ符号化データが記録ユニット及び表示ユニットに向けて逐次送信されるとともに、その後遅れて、保存コンテンツ符号化データが記録ユニットにのみ送信される。

カメラユニットは、確認コンテンツレイヤのデータを記録ユニット及び表示ユニットの両方に逐次送信する（ステップＳ８０２ａ〜８０２ｄ）。表示ユニットでは、逐次到着する確認コンテンツレイヤのデータを表示することで、撮影者（あるいは、表示ユニットの閲覧者）は映像を確認することが可能となる（ステップＳ８０４）。この際、表示ユニットでの表示方式に依存するが、撮影コンテンツ以外のデータ（撮影モード、撮影時間などの表示）の合成は、確認コンテンツの伝送時点で合成しておいてもよく、あるいは、表示ユニットで合成してもよい。

表示ユニットにおいて、撮影者（あるいは、表示ユニットの閲覧者）が表示ユニット（表示ユニットに備え付けの入力装置）に対して入力を行った場合には（ステップＳ８０５）、その情報は適切な別のユニット（例えば、カメラユニットなどに対して送信される（ステップＳ８０６）。

一方、カメラユニットは、保存コンテンツレイヤのデータを記録ユニットに対してのみ送信する（ステップＳ８０３）。記録ユニットは、先に受信している確認コンテンツレイヤのデータに加えて、後から受信される保存コンテンツレイヤのデータを保存する。なお、記録ユニットは、確認コンテンツ符号化データ及び保存コンテンツ符号化データを記録する際、復号せずにそのままの状態（符号化された状態）で保存してもよく、あるいは、確認コンテンツ符号化データ及び保存コンテンツ符号化データの復号を行ってから保存コンテンツの保存を行ってもよいし、さらに別の符号化を行ってもよい。

なお、カメラユニットとその他のユニット（記録ユニットや表示ユニット）との間の伝送路として、例えば３ＧＰＰ回線などの公衆回線、無線ＬＡＮアクセスネットワークなどを利用する場合には、確認コンテンツの伝送と保存コンテンツの伝送、さらには、撮影者の入力情報の伝送は、それぞれ異なるＱｏＳ（Quality of Service：サービス品質）の設定が行われることが望ましい。具体的には、確認コンテンツ符号化データは遅延を許さないデータとして伝送され、保存コンテンツの符号化データは、多少の遅延時間は許しつつも、大容量のデータを正確に伝送できることが望ましい。また、符号化データを送る各ユニットの種類に応じて、ＱｏＳの設定や伝送方法が異なるようにしてもよい。例えば、表示ユニットへ送信される符号化データは遅延を許さないデータとして伝送され、記録ユニットへ送信される符号化データは、多少の遅延時間は許しつつも、大容量のデータを正確に伝送できることが望ましい。また、撮影者の入力情報やその他のデータの伝送に関しても、それぞれのデータの特性に合わせて、優先度を調整して伝送が行われてもよい（操作コマンドは低遅延、通常のバッテリーの残量表示は遅延可能など）。また、ベアラ、ＰＤＮ（パケットデータネットワーク：Packet Data Network）コネクション、セッションなどデータの伝送管理も別々になっていることが望ましい。

以上のように、本発明の実施の形態における動作によれば、表示ユニットは、カメラユニットからの確認コンテンツを低遅延で受信及び表示できるようになり、従来の技術のように撮影コンテンツをそのまま伝送することに比べて、伝送すべきデータ量が大きく低減されるようになる。また、保存コンテンツの符号化（一般に、符号化に時間を要する）、に比較して、確認コンテンツの符号化は簡素かつ短い周期で処理されるため、符号化に要する時間が短く、カメラユニットは即座に確認コンテンツを送信することが可能となる。

次に、本発明の実施の形態におけるカメラユニット及び表示ユニットの構成例について説明する。

図３は、本発明の実施の形態におけるカメラユニット及び表示ユニットの構成の一例を示すブロック図である。図３に示すカメラユニット９００は、撮像部９０１、収音部９０２、確認コンテンツ符号化部９０３、保存コンテンツ符号化部９０４、階層符号化管理部９０５、確認コンテンツ送信部９０６、制御部９１０を有している。

撮像部９０１は、外部の被写体を映像として取り込む機能を有しており、収音部９０２は、外部の音声を収集する機能を有している。なお、撮像部９０１及び収音部９０２の機能は、通常のカメラにおける映像の撮像及び音声の収集と同様である。本明細書では、撮像部９０１及び収音部９０２で取り込まれた映像／音声を撮影コンテンツと呼ぶ。なお、取り込まれた情報（映像、音声、その他のデータ列など）はそれぞれが個別に扱われてもよく、また、統合されたマルチメディアデータとして一括で扱われてもよい。

撮像部９０１及び収音部９０２で取り込まれた映像／音声データは、それぞれ確認コンテンツ符号化部９０３及び保存コンテンツ符号化部９０４へ供給される。

確認コンテンツ符号化部９０３は、遅延時間の短縮を重視して撮影コンテンツを符号化する機能を有している。確認コンテンツ符号化部９０３は、設定された短期間の処理単位（１フレーム単位、走査線単位、数ミリ秒単位など）で撮影コンテンツを符号化する。それぞれの処理単位は、復号時に後続の処理単位のデータを待つ必要なく処理できるように、少なくとも後続の情報に依存しない方法（例えば、フレーム内圧縮や既処理データとの差分符号など）で符号化されることが望ましい。

また、符号化のパラメータとしては、確認コンテンツ符号化データのサイズ、符号化及び復号に要する処理時間など、遅延時間に関連するパラメータが小さくなるように設定されることが望ましい。例えば、表示ユニットで表示確認を、構図の確認やタイミングの確認に使用するだけであるなら、遅延時間の短縮を重視した撮影コンテンツの符号化によって、映像の画素数を元の撮影コンテンツと比較して粗くしてもよく、色域もモノクロで音声はモノラルとしてもよいかもしれない。また、こうした符号化方法（例えば、表示ユニットにおける画素数など）をカメラユニットやその他のユニットにおける操作によって選択できるようにしてもよい。

このように必要最小限の処理データ単位とすることで、処理時間を短縮することが可能である。ただし、階層符号化はその構造上、階層の単位が増加すると、一般にオーバヘッドが増加し、また、切り出す処理単位が短くなると相対的に処理単位数が増えるためにオーバヘッドが増加したり、符号化の効率が低下したりするといった影響を及ぼす場合がある。したがって、短期間の処理単位の設定は、総合的な観点から全体の処理時間が短縮されるように設定されることが望ましい。

確認コンテンツ符号化部９０３による符号化で生成された確認コンテンツ符号化データは、確認コンテンツ送信部９０６及び記録部９０７へ出力され、確認コンテンツ送信部９０６が、この確認コンテンツ符号化データを無線接続を通じて別のユニット（ここでは、表示ユニット）へ送信する。確認コンテンツ符号化部９０３によって符号化された確認コンテンツ符号化データは、都度、即座に送信処理が行われるように確認コンテンツ符号化部９０３から確認コンテンツ送信部９０６へ渡されることが望ましい。

なお、確認コンテンツ符号化データは、他のユニット（ここでは、表示ユニット９５０）へ伝送されるため、確認コンテンツ符号化データがその他の伝送に関わるオーバヘッドを加味したうえで、一回の伝送単位（例えば、通信端末の送信周期に割り当てられる送信データサイズ、伝送パケットのパケットサイズ単位など）に対して、過不足がある場合は、短期間の処理単位と整合せず、処理単位としては分割したにもかかわらず実質的には同時に送信されてしまう（処理単位に分割したためにオーバヘッドが増加してしまうかもしれない）ようになったり、さらに小さな伝送単位に分割される（更なる低遅延化が見込めるかもしれない）ようになったりすることが考えられる。したがって、全体の設定としては、伝送単位も考慮した処理単位とすることが望ましく、例えば、短期間の処理単位と伝送単位とが一致しているか、あるいは、一方が他方の逓倍となっていることが望ましい。

また、確認コンテンツ符号化部９０３は、階層符号化管理部９０５から、対応する階層（保存コンテンツレイヤ）との関係性を符号化できるような制御（パラメータの動的な設定、管理情報の付加など）を受けるよう構成されていてもよく、また、保存コンテンツ符号化部９０４との間で情報の受け渡しが行われるよう構成されていてもよい。

一方、保存コンテンツ符号化部９０４は、必要な保存コンテンツレイヤの情報を生成するために、必要とされる品質及びパラメータで撮影コンテンツを符号化する機能を有している。保存コンテンツ符号化部９０４で生成された保存コンテンツ符号化データは、記録部９０７へ出力される。なお、階層符号化において保存コンテンツのレイヤが複数あれば、それぞれのレイヤに対して符号化部が必要となるかもしれないが、ここでは、１つの保存コンテンツ符号化部９０４が存在する場合を一例として説明する。すなわち、階層符号化における各レイヤに応じて、保存コンテンツ符号化部９０４は、複数存在していてもよい。

元となる（取り込んだ）映像コンテンツは、保存コンテンツ符号化部９０４においてその情報の一部は符号化されていると考えることができるので、保存コンテンツ符号化部９０４は、元となる映像コンテンツと確認コンテンツ符号化部９０３における符号化済みの情報との差分を符号化すればよい。保存コンテンツ符号化部９０４は、例えば、モノクロに対するカラー、輝度情報に関する符号化、低解像度映像に対する高解像度部分に関する符号化、モノラル音声に対するステレオ音声差分の符号化、狭帯域音声に対する拡張帯域音声の符号化、粗サンプリングデータに対する補間データの符号化などを行って、保存コンテンツ符号化データを生成する。

また、保存コンテンツ符号化部９０４は、階層符号化管理部９０５から、対応する階層（確認コンテンツ）との関係性を符号化できるような制御（パラメータの動的な設定、管理情報の付加など）を受けるよう構成されていてもよく、また、確認コンテンツ符号化部９０３との間で情報の受け渡しが行われるよう構成されていてもよい。

また、階層符号化管理部９０５は、確認コンテンツ符号化部９０３及び保存コンテンツ符号化部９０４における各符号化を管理し、各符号化における符号を階層化して、一連の符号化データ（階層符号）として構成する機能を有している。具体的には、階層符号化管理部９０５は、取り込んだ撮影コンテンツを確認コンテンツ符号化部９０３において短期間の処理単位で処理するときに、確認コンテンツ符号化部９０３において対応する１つ若しくは複数の短期間の処理単位との対応関係を管理し、階層符号化の構造として付加的な情報要素を付加（若しくは符号化）する機能を有している。なお、これはシステムレイヤとも呼ばれることがあり、階層符号化管理部９０５は、確認コンテンツ符号化部９０３及び保存コンテンツ符号化部９０４で符号化された各符号化データを関係付け、また、それぞれの符号化部の制御を行ったり（パラメータの動的な設定、管理情報の付加など）、情報の受け渡しの制御を行ったりすることもある。

また、確認コンテンツ送信部９０６は、撮影コンテンツ符号化部９０３から出力される確認コンテンツ符号化データを表示ユニット９５０へ送る機能を有している。なお、ここでは、記録ユニットはカメラユニット９００と一体化されている構成を一例としているので、保存コンテンツ符号化データの外部への送信は行われないが、記録ユニットが表示ユニット９５０と同様に無線接続を介して接続されているような場合には、確認コンテンツ符号化データを送信する確認コンテンツ送信部９０６と同様に、保存コンテンツ符号化データを送信する保存コンテンツ送信部が必要となる。

なお、確認コンテンツ符号化データ送信部９０６からの確認コンテンツ符号化データの送信については、遅延時間を短縮することを優先して処理することが望ましく、例えば、通信経路として、遅延時間が短い経路（通信モジュール、インタフェースなど）を選択したり、通信経路のパラメータ設定が可能であるような場合（通信路を管理するノードに対してＱｏＳパラメータなどの要求を行える場合なども含む）に、遅延時間を短く設定するように通信路設定の処理を行ったり、あるいは、他の符号化データを含むデータ通信とは異なる通信処理（ベアラ、セッション、コネクションの設定など）を行ったりしてもよい。

また、記録部９０７は、確認コンテンツ符号化部９０３で符号化された確認コンテンツ符号化データと、保存コンテンツ符号化部９０４で符号化された保存コンテンツ符号化データの両方が供給され、これらの符号化データを記録媒体に記録する機能を有している。

なお、記録部９０７は、確認コンテンツ符号化データ及び保存コンテンツ符号化データを記録する際、復号せずにそのままの状態（符号化された状態）で保存してもよく、あるいは、確認コンテンツ符号化データ及び保存コンテンツ符号化データの復号を行ってから保存コンテンツの保存を行ってもよいし、さらに別の符号化を行ってもよい。確認コンテンツ符号化データ及び保存コンテンツ符号化データを利用して得られる保存コンテンツでは、元の撮影コンテンツを得ることが可能である。なお、符号化の方式によっては、符号化における冗長度の削減の過程において、撮影したそのものの情報が完全に復元されない場合もあるが、このような場合も含めて、元の撮影コンテンツとする。

また、制御部９１０は、その他のデータを生成、管理し、どのユニットに対してどのような形で伝送するかの判断処理を行う機能を有している。制御部９１０は、例えば、撮影の時間（タイムコードなど）を生成し、表示ユニット９５０には表示用に（映像表示と共に）、記録ユニット（図３には不図示）には付加データとして（映像データには直接写り込まないように）制御しながら伝送したり、バッテリー残量は表示ユニットにのみ伝送したりするなど、データの特性に合わせて制御、伝送を行うことが可能である。また、制御部９１０は、他のユニット（表示ユニット９５０）の制御部９６０と相互に制御信号のやり取りを行うことが可能である。

一方、図３に示す表示ユニット９５０は、確認コンテンツ受信部９５１、確認コンテンツ復号部９５２、表示部９５３、音声出力部９５４、制御部９６０を有している。この表示ユニット９５０の動作は単純であり、受信した符号化データを復号して出力するだけである。具体的には、確認コンテンツ受信部９５１が、カメラユニット９００の確認コンテンツ送信部９０６から送信されてくる確認コンテンツ符号化データを受信し、確認コンテンツ復号部９５２が確認コンテンツ符号化データの復号を行い、その結果得られた確認コンテンツを表示部９５３及び音声出力部９５４から出力する。また、制御部９６０は、カメラユニット９００の制御部９１０とやり取りを行って、例えば、バッテリー残量は表示ユニットにのみ伝送したりするなど、特定の機能（表示ユニット９５０であれば表示機能）に合わせたデータの受信、制御を行うことが可能である。

なお、図３に図示されているカメラユニット９００及び表示ユニット９５０の構成は一例に過ぎない。カメラユニット９００は、撮影コンテンツに関連する確認コンテンツの逐次符号化可能なデータ（階層符号化におけるコアレイヤの情報）を遅延重視で送信できればよい。なお、ある機能ブロックを別の機能ブロックの一部として実現したり、ある機能ブロックをインタフェースを通じて接続可能な別の外部機材に実装させたりしてもよい。

また、確認コンテンツの送信先は表示ユニット９５０に限らず、他のユニットに送信することも可能である。さらに、撮影コンテンツそのものを必要とするユニットに対しては、確認コンテンツ符号化データに加えて、保存コンテンツ符号化データ（階層符号化における拡張レイヤの情報）も送信することで、送信先に撮影コンテンツを送信することができるようになる。

また、図４は、本発明の実施の形態におけるカメラユニットに実装され得る撮影コンテンツ符号化器５００の構成の一例を示すブロック図である。なお、図４に示す撮影コンテンツ符号化器５００は、階層符号化技術を用いて撮影コンテンツから確認コンテンツ符号化データ及び保存コンテンツ符号化データを作成する機能に着目して図示されている。

図４に示す撮影コンテンツ符号化器５００は、コア符号化器５０１、コア復号器５０２、差成分抽出器５０３、拡張符号化器５０４を有している。なお、コア符号化器５０１、拡張符号化器５０４はそれぞれ、図３に図示されている確認コンテンツ符号化器９０３、保存コンテンツ符号化器９０４に対応している。

撮影コンテンツ符号化器５００に入力された撮影コンテンツは、コア符号化器５０１及び差成分抽出器５０３に供給される、まず、コア符号化器５０１が撮影コンテンツの符号化を行って、粗素材の確認コンテンツを含む確認コンテンツ符号化データを生成する。コア符号化器５０１で生成された確認コンテンツ符号化データは、コア復号器５０２に供給され、コア復号器５０２は、供給された確認コンテンツ符号化データの復号処理を行って確認コンテンツを得て、差成分抽出器５０３へ確認コンテンツを供給する。

差成分抽出器５０３は、供給された撮影コンテンツと確認コンテンツとの差成分を抽出し、その差成分を拡張符号化器５０４へ供給する。拡張符号化器５０４は、供給された差成分を符号化して保存コンテンツ符号化データを生成する。そして、コア符号化器５０１で得られた確認コンテンツ符号化データ、拡張符号化器５０４で得られた保存コンテンツ符号化データがそれぞれ出力される。

なお、符号化データの出力及び伝送のタイミングとしては、遅延時間の短縮を考慮し、まず、確認コンテンツ符号化データが得られた時点で即座に伝送するよう撮影コンテンツ符号化器５００より出力し、次に、残りの処理を行った後に得られる保存コンテンツ符号化データを撮影コンテンツ符号化器５００より出力する。これにより、即座に送信される確認コンテンツ符号化データは、少なくとも表示ユニットへ送られ、その結果、表示ユニットで迅速に確認コンテンツの再生が行えるようになる。また、確認コンテンツ符号化データ及び保存コンテンツ符号化データの両方は記録ユニットへ送られて記録される。記録ユニットに記録されている撮影コンテンツの再生の際には、コア復号器（確認コンテンツ復号器）による復号で確認コンテンツが得られ、これに残りの符号（保存コンテンツ符号化データ）を用いた拡張復号器（保存コンテンツ復号器の一部）による復号で得られる成分を加算することにより、元の撮影コンテンツが再生可能となる。

また、図５は、本発明の実施の形態における保存コンテンツ復号器の構成の一例を示すブロック図である。なお、ここでは、カメラユニットが、確認コンテンツ符号化データ及び保存コンテンツ符号化データを記録ユニットへ送信し、記録ユニットが確認コンテンツ符号化データ及び保存コンテンツ符号化データを記録媒体６００に保存したとする。

図５において、記録媒体６００に記録されている撮影コンテンツの再生を行う場合、保存コンテンツ復号器６１０は、対応する確認コンテンツ符号化データ及び保存コンテンツ符号化データを記録媒体６００から読み出す。

読み出された確認コンテンツ符号化データ及び保存コンテンツ符号化データは、階層符号化データのシステムレイヤを把握する階層型復号器６１１に入力される。そして、階層型復号器６１１の制御（各階層符号化データの対応関係などの管理）によって、符号化データの全てを用いて、まずコア復号器（確認コンテンツ復号器と等価の復号器）６１２で復号を行って確認コンテンツを取得し、次に拡張復号器６１３で復号を行って撮影コンテンツとの差成分に相当するデータ（保存コンテンツレイヤに属するデータ）を取得する。そして、これらのデータは、加算器６１４において加算されることで、撮影コンテンツが取得される。

なお、上述の実施の形態では、デジタルビデオカメラを前提として本発明の説明を行っているが、本発明に係る符号化方法、送り返し方法、伝送システムなどは、その他既存のデータ通信技術、及び、将来発展するであろう様々なデータ通信技術に適用することができる。特に、テレビ放送やネットワーク配信の技術に適用可能であり、また、携帯端末を所持する個人が様々な場所で撮影したコンテンツを一般公衆又は特定メンバを問わずに配布、配信することが可能となりつつあるデータ通信においては、個人のデータ配信方法、中間の配信サービス提供方法としても広く利用可能である。また、音声のみ（ラジオ放送など）や映像のみ（監視）など、コンテンツが単一の場合にも本発明の適用が可能であることは明らかである。

また、説明を簡単にするため、主に、分離可能な表示ユニットに対して確認コンテンツをすべて伝送する構成の場合に関して説明したが、機器の構成としては、記録ユニットが分離可能でもよく、他にも、音声ユニット（操作者が装着するヘッドセットなど）などがさらに分離可能な構成になっていてもよく、また、それぞれのユニットが分離可能であるか否かに関わらず、別途分離状態にあるそれぞれのユニットに伝送可能であるような構成でもよい。また、分離されているユニットの構成により、確認コンテンツ、保存コンテンツとして、映像、音声、その他のデータがそれぞれ異なるユニットで、また、異なる符号化部、復号部で（異なるエンティティで）扱われてもよい。この場合は、映像、音声、その他のデータがそれぞれ異なる制御において並行して（同期して）動作する必要があるが、上述の本発明における、符号化、復号、伝送の処理は、いずれの場合においても同様に適用可能である。

また、その他のデータは必ずしも階層符号化をする必要がない。データの性質に応じて、コアレイヤの符号化データ（確認コンテンツ符号化データ）と共に撮影者に伝送されるデータと、拡張レイヤの符号化データ（保存コンテンツ符号化データ）と共に保存のみがなされるデータに分類して処理してもよい。

また、上述の実施の形態では、説明を簡単にするため、映像、音声、その他のデータについてコンテンツと総称し、また、主にコンテンツとして映像のみに焦点を当てながら本発明の説明を行っているが、映像、音声、その他のデータのそれぞれについての具体的な処理は、例えば、以下のように行うことが可能である。

映像については、撮像後、階層符号化によってコアレイヤの符号化データと拡張レイヤの符号化データとを作成し、コアレイヤの符号化データを表示ユニット及び記録ユニットへ、拡張レイヤの符号化データを記録ユニットへそれぞれ送信する。音声についても同様に、収音後、階層符号化によってコアレイヤの符号化データと拡張レイヤの符号化データとを作成し、コアレイヤの符号化データを音声出力ユニット及び記録ユニットへ、拡張レイヤの符号化データを記録ユニットへそれぞれ送信する。また、その他のデータについては、映像に関連するデータと音声に関連するデータとに分別して、それぞれ必要に応じて表示ユニット、音声出力ユニットへ送信する。また、その他のデータを記録する場合には、必要に応じて記録ユニットへ送信する。

なお、その他のデータ（映像に関連するデータのうちの可視データ）が表示ユニットへ送信される場合には、コアレイヤの符号化データと合成された後に、合成された符号化データが表示ユニットへ送信されてもよく、また、それぞれ別々に表示ユニットへ送信された後、表示ユニットにおいて、映像に関連するデータのうちの可視データと、コアレイヤの符号化データとが合成されてもよい。また、その他のデータ（音声に関連するデータのうちの音データ）が音声出力ユニットへ送信される場合も同様に、コアレイヤの符号化データと合成された後に、合成された符号化データが音声出力ユニットへ送信されてもよく、また、それぞれ別々に音声出力ユニットへ送信された後、音声出力ユニットにおいて、音声に関連するデータのうちの音データと、コアレイヤの符号化データとが合成されてもよい。

さらに、上述の説明では、主にカメラユニットと表示ユニットが共に撮影者の至近距離にあるケースを示したが、公衆網、その他の広域無線、ネットワークを介して伝送されるようになっていてもよく、同様に、記録ユニットも離れた場所（上述の説明では、カメラユニットと一体、表示ユニットと一体、若しくは双方の至近距離としている）に存在し、通信を行うようになっていてもよい。

また、実際の使用環境において、本発明の装置が、撮影の開始前後も含めて動作していることが考えられるが、この場合、カメラユニットでの撮影コンテンツが伝送されて確認コンテンツが表示ユニットに表示されるものの、記録ユニットでは実際には記録を行わないため、記録ユニットにおける確認コンテンツ及び保存コンテンツの受信を必要としない。この場合、カメラユニットから表示ユニットへの確認コンテンツの伝送のみが行われる。なお、このような動作モードを、アイドリングのモードと呼ぶことにする。上述した通常の記録を伴う撮影を行うモードと、アイドリングのモードとは、撮影開始／終了のタイミングでそれぞれ切り替わるようにしてもよい。

また、上述の実施の形態では、階層符号化を応用して、確認コンテンツと保存コンテンツとを加算したものが、過不足なく撮影コンテンツに一致するようにしているが、カメラユニットが、確認コンテンツを生成して表示ユニットへ送信する機能を有し、かつ、記録ユニットが撮影コンテンツの保存を行うことが可能であれば、階層符号化技術と一致しない冗長なデータ符号化が行われてもよい。例えば、カメラユニットは、確認コンテンツの一部又は全部と重複する内容を含む保存コンテンツ符号化データを生成してもよい。この場合、記録ユニットにおいては、保存コンテンツ符号化データに重複して確認コンテンツの一部又は全部が含まれていることを前提とした処理を行えばよい。また、確認コンテンツの全部が保存コンテンツ符号化データに含まれるよう符号化が行われる場合には、図３に示すカメラユニット９００は、確認コンテンツ符号化器９０３と、入力される撮影コンテンツ全体を符号化する符号化器（撮影コンテンツ符号化器）とを有し、確認コンテンツ符号化データを即座に表示ユニットへ送信するとともに、遅れて、撮影コンテンツ全体を符号化したデータを記録ユニットに送信すればよい。

なお、上記の本発明の実施の形態の説明で用いた各機能ブロックは、典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適応などが可能性としてあり得る。

本発明は、センシングユニットとその他のユニット（特に、表示ユニット又は音声出力ユニット）とが分離して無線で接続されるセンシング装置において、ユニット間のデータ伝送を効率的に行って利便性を向上させるという効果を有しており、センシング装置において取得されたコンテンツデータの符号化及び伝送を行う技術に適用可能である。

Claims (18)

1. センシングデータを出力する出力装置と無線接続されており、前記出力装置が出力するための前記センシングデータの処理を行うことが可能なデータ処理装置であって、
   前記出力装置が出力する前記センシングデータを取得するデータ取得部と、
   前記データ取得部で取得された前記センシングデータを所定の品質で符号化して第１符号化データを生成する第１符号化部と、
   前記第１符号化部で生成された前記第１符号化データを、無線接続を介して前記出力装置へ逐次送信する無線送信部と、
   前記第１符号化データに含まれるコンテンツの品質を上げる付加情報を前記データ取得部で取得された前記センシングデータから抽出して符号化し、第２符号化データを生成する第２符号化部と、
   前記第１符号化データ及び前記第２符号化データを記録媒体へ記録させるため、前記第１符号化データ及び前記第２符号化データを記録装置へ送信する送信部とを、
   有するデータ処理装置。
2. 前記センシングデータが映像データ又は音声データである請求項１に記載のデータ処理装置。
3. 前記第１符号化部及び前記第２符号化部が、前記データ取得部で取得されたセンシングデータの階層符号化を行い、前記第１符号化部が、前記階層符号化のコアレイヤの符号化データを前記第１符号化データとして生成し、前記第２符号化部が前記階層符号化の拡張レイヤの符号化データを前記第２符号化データとして生成するよう構成されている請求項１に記載のデータ処理装置。
4. 前記第１符号化部が、前記無線通信部における送信単位に合わせて前記第１符号化データを生成するように構成されている請求項１に記載のデータ処理装置。
5. 前記第１符号化部がフレーム毎圧縮による符号化を行い、前記第２符号化部がフレーム間圧縮による符号化を行うように構成されている請求項１に記載のデータ処理装置。
6. 前記記録装置と無線接続されている請求項１に記載のデータ処理装置。
7. 前記センシングデータが少なくとも映像データ及び音声データを含んでおり、前記第１符号化部及び前記第２符号化部が、前記映像データの符号化処理における符号化単位に合わせて前記音声データの符号化処理を行うように構成されている請求項１に記載のデータ処理装置。
8. 前記センシングデータが映像データ又は音声データとその他のセンシングデータとを含んでおり、前記その他のセンシングデータに関して階層符号化を行うように構成されている請求項５に記載のデータ処理装置。
9. 前記センシングデータが映像データ又は音声データとその他のセンシングデータとを含んでおり、前記その他のセンシングデータの中から前記出力装置が出力すべきデータを分別して前記出力装置へ送信するよう構成されている請求項１に記載のデータ処理装置。
10. 前記センシングデータが映像データ又は音声データとその他のセンシングデータとを含んでおり、前記その他のセンシングデータの中から前記記録装置が記録すべきデータを分別して前記記録装置へ送信するよう構成されている請求項９に記載のデータ処理装置。
11. 前記センシングデータが映像データ又は音声データとその他のセンシングデータとを含んでおり、前記その他のセンシングデータの中から前記出力装置が出力すべきデータを分別して、分別された前記出力装置が出力すべきデータと、前記出力装置へ送信すべき前記映像データ又は前記音声データとを合成するよう構成されている請求項１に記載のデータ処理装置。
12. 前記センシングデータが映像データ又は音声データとその他のセンシングデータとを含んでおり、前記その他のセンシングデータの中から前記出力装置が出力すべきデータを分別して前記出力装置へ送信し、前記出力装置において、分別された前記出力装置が出力すべきデータと、前記出力装置が出力すべき映像データ又は音声データとを合成させるよう構成されている請求項１に記載のデータ処理装置。
13. 特定のセンシングデータの処理を行うことが可能なデータ符号化装置であって、
    入力センシングデータを所定の品質で符号化して第１符号化データを生成する第１符号化部と、
    前記第１符号化データに含まれるコンテンツの品質を上げる付加情報を前記入力センシングデータから抽出して符号化し、第２符号化データを生成する第２符号化部とを、
    有するデータ符号化装置。
14. 前記センシングデータが映像データ又は音声データである請求項１３に記載のデータ符号化装置。
15. 前記第１符号化部及び前記第２符号化部が、前記データ取得部で取得されたデータの階層符号化を行い、前記第１符号化部が、前記階層符号化のコアレイヤの符号化データを前記第１符号化データとして生成し、前記第２符号化部が、前記階層符号化の拡張レイヤの符号化データを前記第２符号化データとして生成するよう構成されている請求項１３に記載のデータ符号化装置。
16. 前記第１符号化部で生成された前記第１符号化データを復号して復号データを生成する復号部と、
    前記入力センシングデータと、前記復号部で生成された前記復号データとの差成分を抽出して差成分データを生成する差成分抽出部とを、
    有し、
    前記第２符号化部が、前記差成分抽出部で生成された前記差成分データを前記階層符号化の拡張レイヤの符号化データとして、前記第２符号化データを生成するように構成されている請求項１３に記載のデータ符号化装置。
17. 前記第１符号化部が、前記第1符号化部と接続された出力部の出力単位に合わせて前記第１符号化データを生成するように構成されている請求項１３に記載のデータ符号化装置。
18. 前記第１符号化部がフレーム毎圧縮による符号化を行い、前記第２符号化部がフレーム間圧縮による符号化を行うように構成されている請求項１３に記載のデータ符号化装置。

Images