以下、図面を用いて、本発明の実施形態について説明する。
<<実施形態の概略>>
<全天球パノラマ画像の生成方法の一例>
以下、図1乃至図7を用いて、全天球パノラマ画像の生成方法について説明する。
まず、図1を用いて、撮影装置1の外観を説明する。
図1は、本発明の一実施形態に係る撮影装置の一例を示す図である。図示する例では、撮影装置1は、全天球(360°)パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。また、図1(a)は、撮影装置1の左側面図である。さらに、図1(b)は、撮影装置1の正面図である。そして、図1(c)は、撮影装置1の平面図である。
図1(a)に示されているように、撮影装置1は、例えば、人間が片手で持つことができる大きさである。また、図1(a)、図1(b)及び図1(c)に示すように、撮影装置1の上部には、正面側(前側)には、撮像素子103aが設けられ、かつ、背面側(後側)には、撮像素子103bが設けられる。また、これらの撮像素子(画像センサ)103a及び103bは、半球画像(画角180°以上)の撮影が可能な光学部材(例えば、後述する魚眼レンズ102a及び102b)と併せて用いられる。また、図1(b)に示すように、撮影装置1の正面側と反対側の面には、シャッタボタン等の操作部115が設けられる。
次に、図2を用いて、撮影装置1の使用状況を説明する。
図2は、本発明の一実施形態に係る撮影装置の使用例を示す図である。例えば、撮影装置1は、図示するように、使用される。具体的には、撮影装置1は、図示するように、例えば、ユーザが手に持って使用する。また、撮影装置1は、ユーザの周りの被写体を撮影する。この例では、撮像素子103a(図1)及び撮像素子103b(図1)によって、それぞれユーザの周りの被写体が撮像される。そのため、撮影によって、2つの半球画像が、生成される。
次に、図3及び図4を用いて、撮影装置1によって撮影された画像(以下「半球画像」とする例で説明する。)から、全天球パノラマ画像が作成されるまでの処理の概略を説明する。
図3及び図4は、本発明の一実施形態に係る全天球パノラマ画像の生成例を示す図である。具体的には、図3(a)は、撮影装置で撮影された半球画像(前側)、図3(b)は、撮影装置で撮影された半球画像(後側)の一例を示す図である。また、図3(c)は、メルカトル図法によって、図3(a)及び図3(b)に示す半球画像から生成される画像(以下「メルカトル画像」という。)の一例を示す図である。さらに、図4(a)は、メルカトル画像で球を被う状態を示す概念図、図4(b)は、全天球パノラマ画像の一例を示す図である。
まず、図3(a)に示すように、撮像素子103aによって得られる画像は、後述の魚眼レンズ102aによって湾曲した半球画像(前側)となる。同様に、図3(b)に示すように、撮像素子103bによって得られる画像は、後述の魚眼レンズ102bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、撮影装置1によって合成される。このようにすると、図3(c)に示すように、メルカトル画像が作成される。
そして、OpenGL(登録商標) ES(Open Graphics Library for Embedded Systems)を利用すると、図4(a)に示すように、メルカトル画像は、球面を覆うように、貼り付けられる。このようにして、図4(b)に示す全天球パノラマ画像が作成される。
このように、全天球パノラマ画像は、例えば、メルカトル画像が球の中心を向いた画像である。なお、OpenGL(登録商標) ESは、2D(2−Dimensions)及び3D(3−Dimensions)のデータを視覚化するためのグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であってもよいし、動画であってもよい。
以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像である。そのため、人間は、全天球パノラマ画像を見ると違和感を持つ場合がある。そこで、画像処理装置は、全天球パノラマ画像が示す領域のうち、一部の所定領域(以下「所定領域画像」という。)を示し、かつ、湾曲の少ない平面画像を表示する。このようにすると、画像処理装置は、人間に違和感を与えない画像を表示できる。これに関して、図5及び図6を用いて説明する。
図5は、本発明の一実施形態に係る仮想カメラ及び所定領域の一例を示す図である。具体的には、図5は、全天球パノラマ画像を三次元の立体球とした場合において、仮想カメラ及び所定領域の位置の一例を示す図である。
また、仮想カメラICは、三次元の立体球として表示される全天球パノラマ画像に対して、その画像を見るユーザの視点に相当する。
図6は、本発明の一実施形態に係る仮想カメラ及び所定領域の一例を示す立体斜視図並びにディスプレイ等に表示された所定領域画像の一例を示す図である。また、図6(a)は、図5の状態を示す立体斜視図、図6(b)は、ディスプレイに表示された所定領域画像の一例を示す図である。さらに、この例では、図4に示す全天球パノラマ画像は、三次元の立体球CSで示す。
このように、全天球パノラマ画像が立体球CSであるとすると、図5に示すように、仮想カメラICは、全天球パノラマ画像の外部に位置する。また、全天球パノラマ画像における所定領域Tは、仮想カメラICの撮影領域である。さらに、所定領域Tは、例えば、全天球パノラマ画像が含まれる三次元の仮想空間において、位置座標で特定できる。具体的には、位置座標は、(x(rH),y(rV),画角α(angle))等の所定領域情報である。なお、画角αは、仮想カメラICの画角である。
また、画角αの範囲(円弧)を広げたり、縮めたりすると、画像処理装置は、所定領域Tをズームした表現とすることができる。さらにまた、所定領域Tのズームは、仮想カメラICを全天球パノラマ画像に近づいたり、遠ざけたりすることで表現することもできる。
そして、所定領域T(図6(a))を示す画像である所定領域画像は、例えば、図6(b)に示すように、所定のディスプレイに、仮想カメラICが撮影した領域の画像として表示される。なお、図6(b)に示す画像は、初期設定(デフォルト)の位置座標に基づいて、表示された所定領域画像の例である。なお、所定領域Tは、所定領域情報又は仮想カメラICの位置座標ではなく、仮想カメラICの撮影領域(X,Y,Z)等で特定されてもよい。以下、所定領域Tが位置座標(x(rH),Y(rV),画角α(angle))で特定される例で説明する。
次に、図7を用いて、所定領域情報と所定領域Tの画像の関係について説明する。
図7は、本発明の一実施形態に係る所定領域情報と所定領域の関係の一例を示す図である。以下、図示するように、所定領域Tの対角線画角を「2L」とする。そして、対角線画角2Lの中心点CPが、所定領域情報の(x,y)パラメータとなる。なお、「f」は、仮想カメラICから、中心点CPまでの距離である。また、「L」は、所定領域Tの任意の頂点と、中心点CPとの距離である(2Lは、対角線となる)。そして、図示する例では、以下の式(1)で示す三角関数が成り立つ。
Lf=tan(α/2)・・・(式1)
<画像通信システムの構成例>
続いて、図8を用いて、本発明の一実施形態に係る画像通信システムの構成例の概略について説明する。
図8は、本発明の一実施形態に係る画像通信システムの一例を示す概略図である。図示するように、画像通信システムは、例えば、撮影装置1a、1b、ビデオ会議端末3a、3d、ディスプレイ4a、4d、通信管理システム5、PC(Personal Computer)7、撮影装置8及びスマートフォン9等によって構成される。
そして、画像通信システムは、インターネット等の通信ネットワーク100を介して、通信することができる。なお、通信ネットワーク100に接続する形態は、無線又は有線のいずれでも良い。
これらのうち、撮影装置1a及び1bは、上述のように、被写体又は風景等を撮影して全天球パノラマ画像の元になる2つの半球画像を得るデジタルカメラである。一方、撮影装置8は、被写体又は風景等を撮影して、平面画像を得るデジタルカメラである。
ビデオ会議端末3a及び3dは、ビデオ会議専用の端末である。また、ビデオ会議端末3a及び3dは、USB(Universal Serial Bus)ケーブル等の有線ケーブルを介して、映像通話(ビデオ通話)の画像を、それぞれディスプレイ4a及び4dに表示する。例えば、ビデオ会議端末3aは、カメラ312(図10)で撮影する。一方で、撮影装置1aを取り付けるクレードル2aに、有線ケーブルで撮影装置1aが接続されると、撮影装置1aが優先される。そのため、ビデオ会議端末3aは、全天球パノラマ画像の元になる2つの半球画像を得ることができる。
また、有線ケーブルを利用する場合には、この例では、クレードル2aは、撮影装置1aと、ビデオ会議端末3aとの間の通信を行うだけでなく、撮影装置1aに電源供給及び撮影装置1aを支持する。なお、撮影装置1a、クレードル2a、ビデオ会議端末3a及びディスプレイ4aは、拠点Aに設置されるとする。また、この例は、拠点Aにおいて、4人のユーザA1、A2、A3及びA4が、映像通話に参加する例である。
一方、ビデオ会議端末3d及びディスプレイ4dは、拠点Dに設置されるとする。また、この例は、拠点Dにおいて、3人のユーザD1、D2及びD3が、映像通話に参加する例である。
通信管理システム5は、ビデオ会議端末3a、3d、PC7及びスマートフォン9による通信を管理及び制御する。また、通信管理システム5は、送受信される画像データの種類(例えば、「一般画像」と「特殊画像」等の種別である。)を管理する。よって、通信管理システムは、通信制御システムでもある。なお、この例では、「特殊画像」は、例えば、全天球パノラマ画像である。
なお、通信管理システム5は、例えば、ビデオ通信のサービスを行うサービス会社等に設置される。また、通信管理システム5は、単一のコンピュータによって構築されてもよいし、複数のコンピュータによって構築されてもよい。
さらに、PC7は、撮影装置8が取り付けられると、映像通話が可能となる。なお、この例では、PC7及び撮影装置8は、拠点Cに置かれるとする。また、この例は、拠点Cにおいて、1人のユーザCが映像通話に参加する例である。
さらにまた、スマートフォン9は、自装置に設けられるディスプレイ917(図12)に、映像通話の画像を表示する。また、スマートフォン9は、例えば、CMOS(Complementary Metal Oxide Semiconductor)センサ905(図12)等で撮影する。
なお、スマートフォン9は、Wi−Fi(登録商標)(Wireless Fidelity)又はBluetooth(登録商標)等の無線通信技術を利用して、撮影装置1bで得られた全天球パノラマ画像の元になる2つの半球画像データを取得することができる。さらに、無線通信技術を利用する場合には、クレードル2bは、撮影装置1bに電源供給と撮影装置1bを支持する。なお、この例では、撮影装置1b、クレードル2b及びスマートフォン9は、拠点Bに置かれる。また、この例は、拠点Bにおいて、2人のユーザB1、B2が、映像通話に参加する例である。
ビデオ会議端末3a、3d、PC7及びスマートフォン9は、通信端末の一例である。各通信端末には、OpenGL(登録商標) ES等があらかじめインストールされる。したがって、OpenGL(登録商標) ESによって、ビデオ会議端末3a、3d、PC7及びスマートフォン9は、全天球パノラマ画像の一部の領域を示す所定領域情報を作成したり、他の通信端末から送られる全天球画像パノラマ画像から所定領域画像を作成したりすることができる。
なお、図8に示す各端末、装置及びユーザの配置は、一例であり、他の例であってもよい。例えば、拠点Cでは、撮影装置8に代えて、全天球パノラマ画像に係る撮影が可能な撮影装置が利用されてもよい。また、通信端末には、デジタルテレビ、スマートウオッチ、カーナビゲーション装置又はこれらの組み合わせ等が含まれる。
以下、撮影装置1a及び1bのうち、任意の撮影装置を「撮影装置1」いう場合がある。また、ビデオ会議端末3a及び3dのうち、任意のビデオ会議端末を「ビデオ会議端末3」という場合がある。さらに、ディスプレイ4a及び4dのうち、任意のディスプレイを「ディスプレイ4」という場合がある。
<<ハードウェア構成例>>
次に、図9乃至図12を用いて、本実施形態に係る撮影装置1、ビデオ会議端末3、通信管理システム5、PC7及びスマートフォン9のハードウェア構成例を説明する。なお、撮影装置8は、一般的なカメラ等でよいため、詳細な説明は、省略する。
<撮影装置1のハードウェア構成例>
まず、図9を用いて、撮影装置1のハードウェア構成例を説明する。
図9は、本発明の一実施形態に係る撮影装置のハードウェア構成例を示すブロック図である。以下、撮影装置1は、2つの撮像素子を使用する全天球(全方位)撮影装置とする。なお、撮影装置1は、3つ以上の撮像素子を有してもよい。また、撮影装置1は、全方位を撮影する専用の装置である必要はない。例えば、撮影装置1は、一般的なデジタルカメラ又はスマートフォン等に、後付けの全方位撮影ユニットを取り付け、実質的に、図示する撮影装置1と同じ機能を有する装置等でもよい。
例えば、図示するように、撮影装置1は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、アンテナ117a及び電子コンパス118を有する。
このうち、撮像ユニット101は、例えば、各々半球画像を結像するため、180°以上の画角を有する広角レンズ(いわゆる魚眼レンズである)102a及び102bと、各広角レンズに対応させて設けられる2つの撮像素子103a及び103bを備える。
また、撮像素子103a及び103bは、魚眼レンズ102a及び102bによる光学像を電気信号の画像データに変換し、出力するCMOSセンサ又はCCD(Charge Coupled Device)センサ等の画像センサを有する。また、撮像素子103a及び103bは、画像センサの水平同期信号、垂直同期信号及び画素クロック等の信号を生成するタイミング生成回路を有する。さらに、撮像素子103a及び103bは、撮像素子の動作に必要な種々のコマンド及びパラメータ等が設定されるレジスタ群等を有する。
撮像ユニット101が有する撮像素子103a及び103bは、各々、画像処理ユニット104とパラレルI/Fバスで接続される。一方、撮像ユニット101が有する撮像素子103a及び103bは、撮像制御ユニット105とシリアルI/Fバス(I2C(登録商標)バス等である。)で接続される。また、画像処理ユニット104及び撮像制御ユニット105は、バス110を介して、CPU111と接続される。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117及び電子コンパス118等が接続される。
画像処理ユニット104は、撮像素子103a及び103bから出力される画像データをパラレルI/Fバスを通して取り込む。次に、画像処理ユニット104は、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理する。このようにすると、図3(c)に示すようなメルカトル画像のデータが生成できる。
撮像制御ユニット105は、例えば、撮像制御ユニット105をマスタデバイス、撮像素子103a及び103bをスレーブデバイスとして、I2C(登録商標)バスを利用して、撮像素子103a及び103bのレジスタ群に、コマンド等を設定する。また、撮像制御ユニット105は、必要なコマンド等をCPU111から受け取る。さらに、撮像制御ユニット105は、I2C(登録商標)バスを利用して、撮像素子103a及び103bのレジスタ群に設定されるステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッタボタンが押下されたタイミングで、撮像素子103a及び103bに、画像データの出力を指示する。
なお、撮影装置1は、ディスプレイ(例えば、ビデオ会議端末3aのディスプレイ)によるプレビュー表示機能又は動画表示を行う機能を持つ場合もある。このような場合には、撮像素子103a及び103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a及び103bが出力する画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、撮影装置1には、ディスプレイ等の表示部があってもよい。
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、撮影装置1の全体の動作を制御する。また、CPU111は、撮影装置1が行う処理を実行する。さらに、ROM112は、CPU111が処理を実行するため、種々のプログラムを記憶する。さらにまた、SRAM113及びDRAM114は、ワークメモリであり、CPU111で実行するプログラム又は処理途中のデータ等を記憶する。特に、DRAM114は、画像処理ユニット104が処理途中の画像データ又は処理済みのメルカトル画像等のデータを記憶する。
操作部115は、例えば、種々の操作ボタン、電源スイッチ及びシャッタボタン等のような、表示と操作の機能を兼ねたタッチパネル等である。ユーザは、操作ボタン等を操作して、種々の撮影モード及び撮影条件等を撮影装置1に入力する。
ネットワークI/F116は、SD(登録商標)カード等の外付けのメディア又は外部装置等とのインターフェース回路(例えば、USB I/F等である。)の総称である。また、ネットワークI/F116は、無線又は有線で外部装置等と接続する。例えば、DRAM114に記憶されたメルカトル画像のデータは、ネットワークI/F116を介して、外付けのメディアに記録されたり、又は、ネットワークI/F116を介してビデオ会議端末3a等の外部装置に送信されたりする。
通信部117は、撮影装置1に設けられたアンテナ117aを介して、Wi−Fi(登録商標)又はNFC(Near Field Communication)等の近距離無線技術によって、外部装置と通信を行う。また、撮影装置1は、通信部117によって、メルカトル画像のデータを外部装置に送信してもよい。
電子コンパス118は、地球の磁気から、撮影装置1の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。また、方位・傾き情報は、例えば、Exif(Exchangeable image file format)に沿った関連情報(メタデータ)である。また、方位・傾き情報は、撮影画像を補正する等の画像処理に利用される。なお、関連情報には、例えば、画像の撮影日時及び画像データのデータ容量等が含まれてもよい。
<ビデオ会議端末のハードウェア構成例>
次に、図10を用いて、ビデオ会議端末3のハードウェア構成を説明する。
図10は、本発明の一実施形態に係るビデオ会議端末のハードウェア構成例を示すブロック図である。図示するように、ビデオ会議端末3は、例えば、CPU301、ROM302、RAM303、フラッシュメモリ304、SSD305、メディアI/F307、操作ボタン308、電源スイッチ309、バスライン310、ネットワークI/F311、カメラ312、撮像素子I/F313、マイク314、スピーカ315、音入出力I/F316、ディスプレイI/F317、外部機器接続I/F318、近距離通信回路319及び近距離通信回路319のアンテナ319aを備える。
CPU301は、ビデオ会議端末3全体の動作を制御する。また、ROM302は、IPL(Initial Program Loader)等のCPU301の駆動に用いられるプログラムを記憶する。さらに、RAM303は、CPU301のワークエリアとして使用される。フラッシュメモリ304は、通信用プログラム、画像データ及び音データ等のデータを記憶する。さらにまた、SSD(Solid State Drive)305は、CPU301による制御に基づいて、フラッシュメモリ304等の記録媒体に対し、データの読み出し又は書き込みを制御する。なお、SSDに代えてHDD(Hard Disk Drive)を用いてもよい。また、メディアI/F307は、フラッシュメモリ等の記録メディア306に対するデータの読み出し又は書き込み(記憶)を制御する。さらに、操作ボタン308は、ビデオ会議端末3の宛先を選択する場合等に操作されるボタンである。さらにまた、電源スイッチ309は、ビデオ会議端末3の電源を「ON」又は「OFF」に切り換えるためのスイッチである。
ネットワークI/F311は、インターネット等の通信ネットワークを利用して通信を行うためのインターフェースである。また、カメラ312は、CPU301による制御に基づいて撮像を行う内蔵型の撮像手段の一種である。さらに、撮像素子I/F313は、カメラ312を制御する回路等である。さらにまた、マイク314は、音声を入力する内蔵型の集音手段の一種である。
音入出力I/F316は、CPU301による制御に基づいてマイク314及びスピーカ315との間で音信号の入出力を処理する回路である。また、ディスプレイI/F317は、CPU301による制御に基づいて、ディスプレイ4に、画像データを送信する回路である。さらに、外部機器接続I/F318は、外部装置を接続するためのインターフェースである。さらにまた、近距離通信回路319は、NFC又はBluetooth(登録商標)等の通信回路である。
また、バスライン310は、CPU301等の各ハードウェアを電気的に接続するためのアドレスバス及びデータバス等である。
ディスプレイ4は、被写体の画像又は操作用アイコン等を表示する出力装置である。例えば、ディスプレイ4は、液晶又は有機ELによって構成される装置である。また、ディスプレイ4は、ケーブル4cによってディスプレイI/F317に接続される。例えば、ケーブル4cは、アナログRGB(VGA)信号用のケーブル、コンポーネントビデオ用のケーブル、HDMI(登録商標)(High−Definition Multimedia Interface)信号用のケーブル又はDVI(Digital Video Interactive)信号用のケーブル等である。
また、カメラ312は、レンズ等の光学系及び光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含む。なお、固体撮像素子は、例えば、CMOSセンサ又はCCDセンサ等である。
外部機器接続I/F318には、USBケーブル等によって、外付けカメラ、外付けマイク及び外付けスピーカ等の外部装置が接続可能である。例えば、外付けカメラが接続されると、CPU301による制御に基づいて、内蔵型のカメラ312より優先して、外付けカメラが駆動する。同様に、外付けマイクが接続されたり、又は、外付けスピーカが接続されたりすると、CPU301による制御に基づいて、内蔵型のマイク314及び内蔵型のスピーカ315より優先して、外付けマイク及び外付けスピーカが駆動する。
また、記録メディア306は、ビデオ会議端末3に、着脱可能な記録媒体である。さらに、CPU301による制御に基づいて、データの読み出し又は書き込みを行う不揮発性メモリであれば、補助記憶装置は、フラッシュメモリ304に限らず、EEPROM(Electrically Erasable and Programmable Read−Only Memory)等でもよい。
<通信管理システム及びPCのハードウェア構成例>
次に、図11を用いて、通信管理システム5及びPC7のハードウェア構成例を説明する。
図11は、本発明の一実施形態に係る情報管理システム及びPCのハードウェア構成例を示すブロック図である。なお、通信管理システム5及びPC7は、例えば、コンピュータであって、同じハードウェア構成である。以下、通信管理システム5の構成を例にして説明し、PC7の構成の説明を省略する。
通信管理システム5は、通信管理システム5全体の動作を制御するCPU501、IPL等のCPU501の駆動に用いられるプログラムを記憶するROM502及びCPU501のワークエリアとして使用されるRAM503を備える。また、通信管理システム5は、通信管理システム5が用いるプログラム等の各種データを記憶するHD(Hard Disk)504並びにCPU501による制御に基づいてHD504に対する各種データの読み出し又は書き込みを制御するHDD505を備える。さらに、通信管理システム5は、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ507、カーソル、メニュー、ウィンドウ、文字若しくは画像等の各種情報を表示するディスプレイ508並びに通信ネットワーク100を利用してデータ通信するためのネットワークI/F509を備える。さらにまた、通信管理システム5は、文字、数値及び指示等を入力するための複数のキーを有するキーボード511並びに各指示の選択、実行、処理対象の選択若しくはカーソルの移動を行うマウス512を備える。また、通信管理システム5は、着脱可能な記録媒体であるCD−ROM(Compact Disc Read Only Memory)513等に対する各種データの読み出し又は書き込みを制御するCD−ROMドライブ514並びに各ハードウェアを電気的に接続するためのアドレスバス及びデータバス等のバスライン510を備える。
<スマートフォンのハードウェア構成例>
次に、図12を用いて、スマートフォンのハードウェア構成例について説明する。
図12は、本発明の一実施形態に係るスマートフォンのハードウェア構成例を示すブロック図である。図示するように、スマートフォン9は、例えば、CPU901、ROM902、RAM903、EEPROM904、CMOSセンサ905、加速度・方位センサ906、メディアI/F908及びGPS受信部909を備える。
CPU901は、スマートフォン9全体の動作を制御する。また、ROM902は、IPL等のプログラムを記憶する。さらに、RAM903は、CPU901のワークエリアとして使用される。さらにまた、EEPROM904は、CPU901による制御に基づいて、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。
CMOSセンサ905は、CPU901による制御に基づいて被写体(主に自画像である。)を撮像し、画像データを得る。さらに、加速度・方位センサ906は、地磁気を検知する電子磁気コンパス、ジャイロコンパス又は加速度センサ等である。さらにまた、メディアI/F908は、フラッシュメモリ等の記録メディア907に対するデータの読み出し又は書き込み(記憶)を制御する。また、GPS受信部909は、GPS衛星からGPS信号を受信する。
スマートフォン9は、遠距離通信回路911、カメラ912、撮像素子I/F913、マイク914、スピーカ915、音入出力I/F916、ディスプレイ917、外部機器接続I/F918、近距離通信回路919、遠距離通信回路911のアンテナ911a、近距離通信回路919のアンテナ919a及びタッチパネル921を備える。
遠距離通信回路911は、通信ネットワーク100を介して、外部装置と通信する回路である。また、カメラ912は、CPU901による制御に基づいて被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。さらに、撮像素子I/F913は、カメラ912を制御する回路である。さらにまた、マイク914は、音声を入力する内蔵型の集音手段の一種である。
音入出力I/F916は、CPU901による制御に基づいて、マイク914及びスピーカ915の間で、音信号の入出力を処理する回路である。さらに、ディスプレイ917は、被写体の画像又は各種アイコン等を表示する出力装置である。例えば、ディスプレイ917は、液晶又は有機EL等によって構成される装置である。さらにまた、外部機器接続I/F918は、外部装置を接続するためのインターフェースである。
近距離通信回路919は、NFC又はBluetooth等の通信回路である。さらに、タッチパネル921は、ユーザがディスプレイ917を押下することで、スマートフォン9に操作を入力する入力手段の一種である。
また、スマートフォン9は、バスライン910を更に備える。バスライン910は、各ハードウェアを電気的に接続するためのアドレスバス及びデータバス等である。
なお、上記各プログラムが記憶されたCD−ROM等の記録媒体及びこれらプログラムが記憶されたHDは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供できる。
<<機能構成例>>
次に、図13及び図14を用いて、画像通信システムの機能構成例について説明する。
図13及び図14は、本発明の一実施形態に係る画像通信システムの機能構成例を示す機能ブロック図である。
<撮影装置1aの機能構成例>
図13に示すように、撮影装置1aは、例えば、受付部12a、撮像部13a、集音部14a、通信部18a及び記憶・読出部19aを有する機能構成である。これら各部は、例えば、プログラムに基づいて動作するCPU111(図9)等によって実現される機能又は手段である。
また、撮影装置1aは、図9に示すROM112、SRAM113及びDRAM114等によって実現される記憶部1000aを有する。例えば、記憶部1000aには、自装置のGUID(Globally Unique Identifier)等のデータが記憶される。
また、撮影装置1bは、例えば、撮影装置1aと同様に、受付部12b、撮像部13b、集音部14b、通信部18b、記憶・読出部19b及び記憶部1000bを有する。以下、図示するように、撮影装置1aが有する機能と、撮影装置1bが有する機能とは、同一であるとし、重複する説明を省略する。
(撮影装置1aが有する機能例)
次に、図9及び図13を用いて、撮影装置1の各機能構成について更に詳細に説明する。
受付部12aは、主に、図9に示す操作部115及びCPU111等によって実現される。また、受付部12aは、ユーザによる操作を受け付ける。
撮像部13aは、主に、図9に示す撮像ユニット101、画像処理ユニット104、撮像制御ユニット105及びCPU111等によって実現される。例えば、撮像部13aは、被写体及び風景等を撮像し、撮影画像データを得る。
集音部14aは、図9に示すマイク108、音処理ユニット109及びCPU111等によって実現される。例えば、集音部14aは、撮影装置1aの周囲から発せられる音を集音する。
通信部18aは、主に、CPU111等によって実現される。例えば、通信部18aは、ビデオ会議端末3aが有する通信部38aと、NFC、Bluetooth(登録商標)又はWi−Fi(登録商標)等の通信技術によって通信を行う。
記憶・読出部19aは、主に、図9に示すCPU111等によって実現される。また、記憶・読出部19aは、記憶部1000aにデータを記憶したり、記憶部1000aからデータを読み出したりする。
<ビデオ会議端末3aの機能構成例>
図13に示すように、ビデオ会議端末3aは、例えば、送受信部31a、受付部32a、画像・音処理部33a、表示制御部34a、判断部35a、作成部36a、変更部37a、通信部38a及び記憶・読出部39aを有する機能構成である。これら各部は、例えば、プログラムに基づいて動作するCPU301(図10)等によって実現される機能又は手段である。
また、ビデオ会議端末3aは、図10に示すROM302、RAM303及びフラッシュメモリ304によって実現される記憶部3000aを有する。例えば、記憶部3000aには、画像種類管理DB3001a、撮影装置管理DB3002a、表示レイアウト管理DB3003a及び要求解像度管理DB3004aが構築される。
これらのDBのうち、画像種類管理DB3001aは、例えば、下記(表1)に示す画像種類管理テーブル等のように構成される。
撮影装置管理DB3002aは、例えば、下記(表2)に示す撮影装置管理テーブル等のように構成される。
表示レイアウト管理DB3003aは、例えば、下記(表3)に示す表示レイアウト管理テーブル等のように構成される。
また、表示レイアウト管理テーブルは、他の拠点では、例えば、下記(表4)乃至(表6)等のように構成される。
要求解像度管理DB3004aは、例えば、下記(表7)及び下記(表8)に示す要求解像度管理テーブル等のように構成される。
なお、ビデオ会議端末3dは、例えば、送受信部31d、受付部32d、画像・音処理部33d、表示制御部34d、判断部35d、作成部36d、変更部37d、通信部38d、記憶・読出部39d及び記憶部3000dを有する。以下、図示するように、ビデオ会議端末3aが有する機能と、ビデオ会議端末3dが有する機能とは、同一であるとし、重複する説明を省略する。
また、ビデオ会議端末3dが有する記憶部3000dには、例えば、画像種類管理DB3001d、撮影装置管理DB3002d、表示レイアウト管理DB3003d及び要求解像度管理DB3004dが構築される。これらのDBは、ビデオ会議端末3aにおける画像種類管理DB3001a、撮影装置管理DB3002a、表示レイアウト管理DB3003a及び要求解像度管理DB3004aと同様のデータ構造であるため、これらの説明を省略する。
(画像種類管理テーブルの一例)
上記(表1)は、画像種類管理テーブルの一例である。上記(表1)に示す画像種類管理テーブルでは、画像データID、送信元端末の宛先の一例であるIPアドレス及びソース名が関連付けて記憶される。
画像データIDは、ビデオ通信を行う際に用いられる各画像データを識別するための画像データ識別情報の一例である。例えば、同じ送信元端末から送信される画像データには、同じ画像データIDが付加される。これにより、送信先となる端末(受信側の通信端末)は、画像データIDに基づいて受信した画像データの送信元端末を特定することができる。
送信元端末のIPアドレスは、画像データIDに基づいて特定される通信端末、すなわち、画像データを送信する通信端末のIPアドレスを示す。
ソース名は、画像データIDに基づいて特定される画像データを出力する撮影装置を特定できる名称等であり、画像種類情報の一例である。この例では、ソース名は、所定の名称の命名規則に従って、ビデオ会議端末3a等の各通信端末によって生成された名称である。
上記(表1)に示す例では、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」及び「1.3.2.3」の4つの通信端末は、画像データIDが「RS001」、「RS002」、「RS003」及び「RS004」となる画像データを送信する。
さらに、上記(表1)に示す例では、ソース名によって特定される画像の種類は、「Video_Theta」及び「Video」である。「Video_Theta」は、画像種類が「特殊画像」であることを示す例である。また、「Video」は、画像種類が「一般画像」であることを示す例である。なお、「特殊画像」は、この例では、全天球パノラマ画像である。
また、画像データ以外のデータが、画像データIDと関連付され、管理されてもよい。例えば、画像データ以外のデータは、音データ又は資料データ等である。
(撮影装置管理テーブルの一例)
上記(表2)は、撮影装置管理テーブルの一例である。上記(表2)に示す撮影装置管理テーブルでは、撮影装置が、ベンダID及びプロダクトIDによって管理される。
すなわち、GUIDは、例えば、USBデバイスで利用されるベンダID(VID)と、プロダクトID(PID)とである。例えば、ベンダID及びプロダクトIDは、工場から撮影装置が出荷される際に記憶される。なお、ベンダID及びプロダクトIDは、工場出荷後に記憶されてもよい。
(表示レイアウト管理テーブルの一例)
上記(表3)は、各表示レイアウト管理テーブルの一例である。上記(表3)は、ビデオ会議端末3aが有する表示レイアウト管理DB3003a(図13)のデータ構造の一例を示す。
上記(表4)は、同様に、スマートフォン9における表示レイアウト管理DB9003(図13)のデータ構造の一例を示す。
上記(表5)は、PC7における表示レイアウト管理DB7003(図14)のデータ構造の一例を示す。
上記(表6)は、ビデオ会議端末3dにおける表示レイアウト管理DB3003d(図13)のデータ構造の一例を示す。
上記(表3)に示す表示レイアウト管理テーブルでは、レイアウト番号は、ディスプレイ4aにおける複数の表示領域のうち、1つの表示領域を識別できる番号である。
各表示領域は、それぞれのレイアウトに基づいて画像を表示する。また、各表示領域が表示する画像は、画像データIDに基づいて特定される。さらに、各表示領域が画像を表示するサイズは、表示サイズ(上記(表3)では、表示サイズとして、横及び縦のそれぞれの画素数が記憶される。)によって、レイアウト番号等に関連付けて記憶される。
以下の例では、レイアウト番号は、図22及び図23に示すように、各表示領域において、右下に表示される。また、表示サイズは、例えば、図8に示す構成では、ビデオ会議端末3aがディスプレイ4aから取得して定まる。そのため、使用されるディスプレイ4aが変更されると、表示サイズは、変更される。
また、各表示領域に表示される画像が変更又は入れ替わると、表示レイアウト管理テーブルにおける画像データIDは、変更又は入れ替わる。例えば、変更する(入れ替わる)例として、図23に示す例では、拠点BにおけるユーザB1(図8)は、話し出すと、表示領域「2」に表示されていた拠点Bの画像が、表示領域「1」に表示されるように、変更される。一方で、表示領域「1」に表示されていた拠点Aの画像が、表示領域「2」に表示されるように、変更される。この変更は、例えば、変更部37aが、音データ及び画像データIDに基づいて行う。
(要求解像度管理テーブルの一例)
上記(表7)及び上記(表8)は、画像種類ごとの要求解像度管理テーブルの一例である。上記(表7)及び上記(表8)に示すように、要求解像度管理テーブルは、画像種類を示す画像種類情報ごとに、生成される。各要求解像度管理テーブルでは、ディスプレイにおいて、各表示領域で画像が表示される各表示サイズ(すなわち、横及び縦のそれぞれの画素数である。)が、管理される。また、要求解像度管理テーブルでは、表示サイズと、通信管理システム5に要求される画像データの要求解像度(すなわち、横及び縦のそれぞれの画素数である。)とが、関連付けされて、管理される。
上記(表7)は、「Video_Theta」用、すなわち、画像種類情報が「特殊画像」の場合である。一方で、上記(表8)は、「Video」用、すなわち、画像種類情報が「一般画像」の場合である。
以下、上記(表7)及び上記(表8)に示す場合において、同じ表示サイズ(例えば、「表示サイズ」が「640×480」の画素数であるとする。)である場合を例に説明する。この例では、「一般画像」の場合には、要求解像度は、「640×480」の画素数である。一方で、「特殊画像」の場合には、要求解像度は、「1280×720」の画素数である。
したがって、同じ表示サイズであっても、「一般画像」より「特殊画像」の方が、要求解像度が高い。このようにすると、図6(a)に示すような所定領域Tを示す画像(所定領域画像)が、図6(b)に示すように、ディスプレイ上に表示されても、解像度により、他拠点側の画像が、見え難くなるのを解消できる。
(ビデオ会議端末3aの機能構成例)
次に、図10及び図13を用いて、ビデオ会議端末3aの機能構成例について説明する。
ビデオ会議端末3aが有する送受信部31aは、主に、図10に示すネットワークI/F311及びCPU301等によって実現される。また、送受信部31aは、通信ネットワーク100を介して、通信管理システム5等とデータを送受信する。
受付部32aは、主に、操作ボタン308(図10)及びCPU301等によって実現される。また、受付部32aは、ユーザによる操作を受け付ける。なお、受付部32aは、操作ボタン308だけでなく、他の入力手段であるタッチパネル等で実現されてもよい。
画像・音処理部33aは、主に、CPU301等によって実現される。また、画像・音処理部33aは、カメラ312(図10)が被写体を撮像して得た画像データに対して、画像処理を行う。さらに、画像・音処理部33aは、マイク314(図10)によってユーザの音声が音声信号に変換されると、音声を示す音データに対して、音声処理を行う。
また、表示制御部34aによって、ディスプレイ4に画像を表示させるため、画像・音処理部33aは、ソース名等の画像種類情報に基づき、他の通信端末から受信された画像データに対して画像処理を行う。
具体的には、例えば、画像が特殊画像であると、画像・音処理部33aは、画像データ(例えば、図3(a)及び図3(b)に示す半球画像等を示す画像データである。)に基づいて、図4(b)に示すような全天球パノラマ画像を示す画像データを生成する。また、画像・音処理部33aは、例えば、図6(b)に示すような所定領域画像を生成する。
他にも、画像・音処理部33aは、外部装置から通信管理システム5を介して受信する音データに基づいて、スピーカ315(図10)から音声を出力する。
表示制御部34aは、主に、ディスプレイI/F317及びCPU301等によって実現される。また、表示制御部34aは、ディスプレイ4に、画像及び文字等を表示するための制御を行う。
判断部35aは、主に、CPU301等によって実現される。例えば、判断部35aは、撮影装置1aから受信される画像データの画像種類等を判断する。
作成部36aは、主に、CPU301等によって実現される。また、作成部36aは、判断部35aによって、「一般画像」又は「特殊画像」(この例では、全天球パノラマ画像である。)を判断した結果に基づいて、例えば、上述の命名規則に従ってソース名等を作成する。例えば、判断部35aが「一般画像」であると判断すると、作成部36aは、「一般画像」である旨を示すソース名「Video」を作成する。一方で、判断部35aが「特殊画像」であると判断すると、作成部36aは、「特殊画像」である旨を示すソース名「Video_Theta」を作成する。
変更部37aは、主に、CPU301等によって実現される。また、変更部37aは、表示レイアウト管理テーブルにおいて、レイアウト番号に関連付けする画像データIDを変更する。例えば、変更部37aは、直前に話したユーザがいる拠点から送られた画像データIDをレイアウト番号「1」に変更する。具体的には、変更部37aは、レイアウト番号「1」で管理されていた画像データIDと、直前に話したユーザがいる拠点から送られた画像データIDとを入れ替える。このようにすると、直前に話したユーザがいる拠点を示す画像データを、例えば、図23に示すように、一番大きくして表示することができる。
通信部38aは、主に、近距離通信回路319、アンテナ318a及びCPU301等によって実現される。また、通信部38aは、撮影装置1aが有する通信部18a等と、NFC、Bluetooth(登録商標)又はWi−Fi(登録商標)等によって通信する。なお、通信部38aと、送受信部31aとは、通信ユニットが別個でも共用でもよい。
記憶・読出部39aは、主に、CPU301等によって実現される。例えば、記憶・読出部39aは、記憶部3000aにデータを記憶したり、記憶部3000aからデータを読み出したりする。
<通信管理システムの機能構成例>
次に、図11及び図14を用いて、通信管理システム5の各機能構成について説明する。通信管理システム5は、例えば、送受信部51、制御部53、判断部55、生成部56、及び記憶・読出部59を有する機能構成である。これら各部は、主に、プログラムに基づいて動作するCPU501(図11)等によって実現される機能又は手段である。
また、通信管理システム5は、主に、RAM503及びHD504(図11)等によって実現される記憶部5000を有する。例えば、記憶部5000には、セッション管理DB5001、画像種類管理DB5002及び送信解像度管理DB5003が構築される。
このうち、セッション管理DB5001は、例えば、下記(表9)に示すセッション管理テーブル等のように構成される。
画像種類管理DB5002は、例えば、下記(表10)に示す画像種類管理テーブル等のように構成される。
送信解像度管理DB5003は、例えば、下記(表11)に示す送信解像度管理テーブル等のように構成される。
(セッション管理テーブルの一例)
上記(表9)は、セッション管理テーブルの一例を示す。この例では、セッション管理テーブルによって、セッションID及び参加する通信端末のIPアドレスが関連付けされて、管理される。このうち、セッションIDは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例である。例えば、セッションIDは、仮想の会議室ごとに生成される。また、セッションIDは、ビデオ会議端末3a等の各通信端末でも管理される。そして、セッションIDは、各通信端末において、通信セッションを選択する際に利用される。
上記(表9)では、参加した通信端末のIPアドレスは、セッションIDで特定される仮想の会議室に、参加した通信端末のIPアドレスを示す。
(画像種類管理テーブルの一例)
上記(表10)は、画像種類管理テーブルの一例を示す。上記(表10)に示す画像種類管理テーブルは、上記(表1)に示す画像種類管理テーブルで管理される各情報に加え、上記(表9)に示すセッション管理テーブルで管理されるセッションIDを各情報に関連付けして管理する。この例では、セッションIDが「se101」である仮想の会議室には、IPアドレスが「1.2.1.3」、「1.2.2.3」及び「1.3.1.3」である3つの通信端末が参加する。
なお、通信管理システム5において、ビデオ会議端末3a等の通信端末は、画像データID、送信元端末のIPアドレス及び画像種類情報を管理する。このようにすると、通信端末は、新たな通信端末が仮想の会議室に入る場合等には、映像通話中の通信端末と、新たに参加した通信端末に、画像種類情報等を送信することができる。そのため、通信端末は、映像通話中の通信端末と、新たに参加した通信端末との間で、画像種類情報等の送受信を行う必要がない。
(送信解像度管理テーブルの一例)
上記(表11)は、送信解像度管理テーブルの一例を示す。この例では、送信解像度管理テーブルは、縦方向に、画像データの送信先(要求解像度の送信元)となる通信端末のIPアドレスを管理する。一方で、この例では、送信解像度管理テーブルは、横方向に、画像データの送信元となる通信端末のIPアドレスを管理する。
これにより、例えば、通信管理システム5が、拠点Aから送信される画像データを中継して、拠点Dに送信する場合には、通信管理システム5は、「1280×720」画素数の解像度である画像データを拠点Dに送信する。
(通信管理システムの機能構成例)
次に、図11及び図13を用いて、通信管理システム5の各機能構成例について説明する。
通信管理システム5が有する送受信部51は、例えば、ネットワークI/F509及びCPU501(図11)等によって実現される。また、送受信部51は、通信ネットワーク100を介して、ビデオ会議端末3a、3d又はPC7等の外部装置とデータを送受信する。
制御部53は、主に、CPU501(図11)等によって実現される。例えば、制御部53は、送信解像度管理DB5003に基づいて、一の通信端末から送信される画像データの解像度を変更する等の制御を行う。
判断部55は、主に、CPU501等によって実現される。判断部55は、様々な判断を行う。
生成部56は、主に、CPU501等によって実現される。例えば、生成部56は、画像データIDを生成する。
記憶・読出部59は、主に、HDD505(図11)及びCPU501等によって実現される。例えば、記憶・読出部59は、記憶部5000にデータを記憶したり、記憶部5000からデータを読み出したりする。
<PCの機能構成例>
次に、図11及び図13を用いて、PC7の機能構成について説明する。例えば、PC7は、ビデオ会議端末3aと同じ機能構成である。すなわち、図13に示すように、PC7は、例えば、送受信部71、受付部72、画像・音処理部73、表示制御部74、判断部75、作成部76、変更部77、通信部78及び記憶・読出部79を有する機能構成である。これら各部は、主に、プログラムに基づいて動作するCPU501(図11)等によって実現される機能又は手段である。
また、PC7は、主に、ROM502、RAM503及びHD504(図11)によって構築される記憶部7000を有する。例えば、記憶部7000には、画像種類管理DB7001、撮影装置管理DB7002、表示レイアウト管理DB7003及び要求解像度管理DB7004が構築される。なお、画像種類管理DB7001、撮影装置管理DB7002、表示レイアウト管理DB7003及び要求解像度管理DB7004は、例えば、画像種類管理DB3001a、撮影装置管理DB3002a、表示レイアウト管理DB3003a及び要求解像度管理DB3004aと同じデータ構造である。以下、同じデータ構造である例で説明し、これらの説明を省略する。
(PCの機能構成例)
PC7が有する送受信部71は、主に、ネットワークI/F509及びCPU501(図11)等によって実現される。送受信部71は、例えば、送受信部31aと同様の機能を実現する。
受付部72は、主に、キーボード511、マウス512及びCPU501(図11)等によって実現される。受付部72は、例えば、受付部32aと同様の機能を実現する。
画像・音処理部73は、主に、CPU501(図11)等によって実現される。画像・音処理部73は、例えば、画像・音処理部33aと同様の機能を実現する。
表示制御部74は、主に、CPU501等によって実現される。表示制御部74は、例えば、表示制御部34aと同様の機能を実現する。
判断部75は、主に、CPU501等によって実現される。判断部75は、例えば、判断部35aと同様の機能を実現する。
作成部76は、主に、CPU501等によって実現される。作成部76は、例えば、作成部36aと同様の機能を実現する。
変更部77は、主に、CPU501等によって実現される。変更部77は、例えば、変更部37aと同様の機能を実現する。
通信部78は、主に、CPU501等によって実現される。通信部78は、例えば、通信部38aと同様の機能を実現する。
記憶・読出部79は、CPU501等によって実現される。記憶・読出部79は、例えば、記憶部7000にデータを記憶したり、記憶部7000からデータを読み出したりする。
<スマートフォンの機能構成例>
次に、図12及び図13を用いて、スマートフォン9の機能構成について説明する。例えば、スマートフォン9は、ビデオ会議端末3aと同じ機能構成である。すなわち、図13に示すように、スマートフォン9は、例えば、送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、作成部96、変更部97、通信部98及び記憶・読出部99を有する機能構成である。これら各部は、主に、プログラムに基づいて動作するCPU901(図12)等によって実現される機能又は手段である。
また、スマートフォン9は、ROM902、RAM903及びEEPROM904(図12)によって構築される記憶部9000を有する。例えば、記憶部9000には、画像種類管理DB9001、撮影装置管理DB9002、表示レイアウト管理DB9003及び要求解像度管理DB9004が構築される。なお、画像種類管理DB9001、撮影装置管理DB9002、表示レイアウト管理DB9003及び要求解像度管理DB9004は、例えば、それぞれ画像種類管理DB3001a、撮影装置管理DB3002a、表示レイアウト管理DB3003a及び要求解像度管理DB3004aと同じデータ構成である。以下、同じデータ構造である例で説明し、これらの説明を省略する。
(スマートフォンの機能構成例)
スマートフォン9が有する送受信部91は、主に、遠距離通信回路911及びCPU901(図12)等によって実現される。送受信部91は、例えば、送受信部31aと同様の機能を実現する。
受付部92は、主に、タッチパネル921及びCPU901等によって実現される。受付部92は、例えば、受付部32aと同様の機能を実現する。
画像・音処理部93は、主に、CPU901等によって実現される。画像・音処理部93は、例えば、画像・音処理部33aと同様の機能を実現する。
表示制御部94は、主に、CPU901等によって実現される。表示制御部94は、例えば、表示制御部34aと同様の機能を実現する。
判断部95は、主に、CPU901等によって実現される。判断部95は、例えば、判断部35aと同様の機能を実現する。
作成部96は、主に、CPU901等によって実現される。作成部96は、例えば、作成部36aと同様の機能を実現する。
変更部97は、主に、CPU901等によって実現される。変更部97は、例えば、変更部37aと同様の機能を実現する。
通信部98は、主に、CPU901等によって実現される。通信部98は、例えば、通信部38aと同様の機能を実現する。
記憶・読出部99は、CPU901等によって実現される。記憶・読出部99は、例えば、記憶部9000にデータを記憶したり、記憶部9000からデータを読み出したりする。
<<処理例>>
<参加の処理例>
続いて、図15乃至図20を用いて、各装置が行う処理又は動作について説明する。まず、図15及び図16を用いて、特定の通信セッションに、ビデオ会議端末が参加する処理について説明する。
図15は、本発明の一実施形態に係る参加処理例を示すシーケンス図である。
図16は、本発明の一実施形態に係る参加処理における通信セッション(仮想の会議室)の選択画面例を示す図である。
まず、拠点A(図8)にいるユーザ(以下「ユーザA1(図8)」とする。)は、ビデオ会議端末3aに、通信セッション(仮想の会議室)の選択画面を表示させるように操作する。すなわち、受付部32aは、選択画面を表示するユーザA1の操作を受け付ける。
ステップS21では、表示制御部34aは、ディスプレイ4a(図8)に、例えば、図16に示すような選択画面を表示する。図示する例では、選択画面に、選択対象である各仮想の会議室「R1」、「R2」及び「R3」等を示す選択ボタンb1、b2及びb3等が表示される。また、図示する例では、選択ボタンb1、b2及びb3等には、各セッションIDが関連付けられる。
ステップS22では、受付部32aは、通信セッションの選択を受け付ける。例えば、ユーザA1が、仮想の会議室のうち、所望の会議室を選択する選択ボタン(以下「選択ボタンb1」が選択され、ユーザA1によって押されるとする。)を選択すると、受付部32aは、通信セッションの選択を受け付ける。
ステップS23では、送受信部31aは、通信管理システム5に対して、仮想の会議室への参加要求を送信する。また、参加要求には、ステップS22で選択を受け付けられた通信セッションを示すセッションID及び要求元端末であるビデオ会議端末3aのIPアドレスが含まれる。これにより、通信管理システム5が有する送受信部51は、参加要求を受信する。
ステップS24では、記憶・読出部99は、通信セッションへの参加処理を行う。具体的には、記憶・読出部99は、セッション管理DB5001(表9)において、ステップS23で受信されたIPアドレスを追加する。なお、IPアドレスは、ステップS23によって受信されたセッションIDと同じセッションIDのレコードにおける参加端末のIPアドレスのフィールドに追加される。
ステップS25では、送受信部51は、ビデオ会議端末3aに対して、参加要求応答を送信する。この参加要求応答には、ステップS23によって受信されたセッションID及び参加処理結果が含まれる。これにより、ビデオ会議端末3aが有する送受信部31aは、参加要求応答を受信する。以下、参加処理が成功した場合について説明する。
<画像種類情報の管理処理例>
続いて、図17を用いて、画像種類情報の管理処理を説明する。
図17は、本発明の一実施形態に係る画像種類情報の管理処理例を示すシーケンス図である。
ステップS51では、通信部18aは、ビデオ会議端末3aが有する通信部38aに、自装置のGUIDを送信する。まず、ユーザA1によって、ビデオ会議端末3aに、撮影装置1aが取り付けられた状態のクレードル2aが有するUSBケーブルが接続されると、撮影装置1aが有する記憶・読出部19aは、記憶部1000aから、自装置(撮影装置1a)のGUIDを読み出す。そして、通信部18aは、読み出したGUIDを送信する。これにより、ビデオ会議端末3aが有する通信部38aは、撮影装置1aのGUIDを受信する。
ステップS52では、ビデオ会議端末3aが有する判断部35aは、画像種類を判断する。例えば、判断部35aは、撮影装置管理DB3002a(表2)に基づいて、判断する。具体的には、判断部35aは、ステップS51によって受信するGUIDが示すベンダID及びプロダクトIDと、同じベンダID及びプロダクトIDが管理されているか否かを判断する。
撮影装置管理DB3002aにおいて、同じベンダID及びプロダクトIDが管理されていると、判断部35aは、撮影装置1aが「特殊画像」(例えば、全天球パノラマ画像である。)を撮影する撮影装置であると判断する。一方で、撮影装置管理DB3002aにおいて、同じベンダID及びプロダクトIDが管理されていないと、判断部35aは、撮影装置1aが「一般画像」を撮影する撮影装置であると判断する。
ステップS53では、記憶・読出部39aは、送信元端末である自端末(ビデオ会議端末3a)のIPアドレスと、画像種類情報とを記憶する。例えば、記憶・読出部39aは、画像種類管理DB3001a(表1)に記憶する。また、自端末のIPアドレスと、ステップS52による判断結果である画像種類情報とは、関連付けられる。なお、この例では、この状態では、画像データIDは、関連付けられていない。
また、画像種類情報は、例えば、所定の命名規則に従って定められたソース名又は画像種類(例えば、「一般画像」又は「特殊画像」である。)を示すデータである。
ステップS54では、送受信部31aは、通信管理システム5に対して、画像種類情報の追加要求を送信する。この例では、追加要求には、ステップS53で記憶する自端末のIPアドレス及び画像種類情報が含まれる。これにより、通信管理システム5が有する送受信部51は、画像種類情報の追加要求を受信する。
ステップS55では、通信管理システム5が有する記憶・読出部59は、ステップS54によって受信される送信元端末のIPアドレスを検索キーとして、セッション管理DB5001(表9)を検索する。このようにして、記憶・読出部59は、送信元端末のIPアドレスに対応するセッションIDを読み出す。
ステップS56は、通信管理システム5が有する生成部56は、画像データIDを生成する。例えば、生成部56は、固有の画像データIDを生成する。
ステップS57では、通信管理システム5が有する記憶・読出部59は、画像種類情報等を記憶する。例えば、記憶・読出部59は、画像種類管理DB5002(表20)に、画像種類情報等を記憶する。具体的には、記憶・読出部59は、新たなレコードを画像種類管理DB5002に生成する。そして、新たなレコードには、ステップS55で読み出されるセッションID、ステップS56で生成される画像データID、ステップS54で受信される送信元端末のIPアドレス及び画像種類情報が、関連付けされて記憶される。
ステップS58では、通信管理システム5が有する送受信部51は、ビデオ会議端末3aに、ステップS56で生成された画像データIDを送信する。これにより、ビデオ会議端末3aが有する送受信部31aは、画像データIDを受信する。
ステップS59では、ビデオ会議端末3aが有する記憶・読出部39aは、画像データIDを記憶する。例えば、記憶・読出部39aは、画像種類管理DB3001a(表1)に、画像データIDを記憶する。具体的には、記憶・読出部39aは、ステップS53で記憶する自端末のIPアドレス及び画像種類情報に関連付けて、ステップS58で受信される画像データIDを記憶する。
ステップS60では、通信管理システム5の送受信部51は、他の通信端末(ここでは、ビデオ会議端末3d)に対して、画像種類情報の追加通知を送信する。この例では、画像種類情報の追加通知には、ステップS56で生成される画像データID、ステップS53で記憶される自端末のIPアドレス及び画像種類情報が含まれる。これにより、ビデオ会議端末3dが有する送受信部31aは、画像種類情報の追加通知を受信する。
なお、送受信部51の送信先は、例えば、セッション管理DB5001(表9)に基づいて定まる。具体的には、この例では、送信先は、ビデオ会議端末3aのIPアドレスと、同じセッションIDに関連付けられている他のIPアドレスである。すなわち、送信先は、ビデオ会議端末3aと同じ仮想の会議室に入っている他の通信端末である。
ステップS61では、ビデオ会議端末3dが有する記憶・読出部39dは、画像データID等を記憶する。例えば、記憶・読出部39dは、画像種類管理DB3001d(表1)に記憶する。具体的には、記憶・読出部39dは、新たなレコードを生成する。新たなレコードには、ステップS60で受信される画像データID、送信元端末のIPアドレス、及び画像種類情報を関連付けて記憶する。
同様に、他の通信端末であるPC7及びスマートフォン9にも画像種類情報の追加通信が送信される。そして、PC7及びスマートフォン9は、同様に、画像種類管理DB7001及び9001に、画像データID等を記憶する。例えば、以上のようにして、各通信端末は、各画像種類管理DB3001a、3001d、7001及び9001を用いて、同じ情報を共有する。
<解像度の要求処理例>
続いて、図18を用いて、解像度の要求処理例について説明する。
図18は、本発明の一実施形態に係る解像度の要求処理例を示すシーケンス図である。
ステップS71では、ビデオ会議端末3dが有する記憶・読出部39aは、画像データID及び表示サイズの各情報を読み出す。この例では、記憶・読出部39aは、各情報を表示レイアウト管理DB3003d(表6)等から読み出す。
ステップS72では、記憶・読出部39aは、画像種類情報を読み出す。例えば、記憶・読出部39aは、ステップS71によって読み出す画像データIDを検索キーとして、画像種類管理DB3001dを検索する。このようにして、記憶・読出部39aは、画像データIDに対応する画像種類情報を読み出す。
ステップS73では、記憶・読出部39aは、要求解像度を読み出す。例えば、記憶・読出部39aは、ステップS72によって読み出す画像種類情報に基づいて、要求解像度を読み出す。具体的には、記憶・読出部39aは、まず、要求解像度管理DB3004dにおける(表7)又は(表8)に示すテーブルを選択する。そして、記憶・読出部39aは、ステップS71によって読み出す表示サイズを検索キーとして、選択したテーブルを検索する。このようにして、記憶・読出部39aは、表示サイズに対応する要求解像度を読み出す。
ステップS74では、ビデオ会議端末3dが有する送受信部31dは、解像度要求情報を送信する。この例では、送受信部31dは、通信管理システム5に、解像度要求情報を送信する。また、この例では、解像度要求情報には、ステップS71で読み出される画像データID及びステップS73で読み出される要求解像度が含まれる。これにより、通信管理システム5が有する送受信部51は、解像度要求情報を受信する。
ステップS75では、通信管理システム5が有する記憶・読出部59は、画像データIDに対応する送信元端末のIPアドレスを読み出す。例えば、記憶・読出部59は、ステップS74によって受信する画像データIDを検索キーとして、画像種類管理DB5002(表10)を検索する。このようにして、記憶・読出部59は、画像データIDに対応する送信元端末のIPアドレスを読み出す。
ステップS76では、通信管理システム5が有する記憶・読出部59は、IPアドレスごとに、要求解像度を管理する。具体的には、記憶・読出部59は、送信解像度管理DB5003に対し、ステップS75で読み出すIPアドレスに応じて、ステップS75によって受信する要求解像度を記憶する。
なお、図18は、ビデオ会議端末3dが通信管理システム5に対して解像度要求情報を送信する例を示す。また、他の通信端末(ビデオ会議端末3a、PC7、スマートフォン9)は、例えば、ビデオ会議端末3dと同様の処理を行う。そのため、説明を省略する。
このように、すべての通信端末が、例えば、図示する処理を行うと、上記(表11)に示すように、送信解像度管理DB5003では、すべての要求解像度が管理される。
<画像データの通信処理例>
続いて、図19乃至図21を用いて、映像通話における画像データの通信処理例について説明する。
図19は、本発明の一実施形態に係る映像通話における画像データの通信処理例を示すシーケンス図である。
ステップS101では、撮影装置1aが有する通信部18aは、ビデオ会議端末3aの通信部38aに対して、画像データ及び音データを送信する。なお、この例では、撮影装置1aは、2つの半球画像を得ることができる装置である。したがって、この例では、ステップS101で送信される画像データは、例えば、図3(a)及び図3(b)に示すように、2つの半球画像のデータである。これにより、ビデオ会議端末3aが有する通信部38aは、画像データ及び音データを受信する。
ステップSAでは、ビデオ会議端末3aは、撮影装置の判定、決定及び画像処理を行う。撮影装置の判定、決定及び画像処理の詳細、すなわち、ステップSAの詳細は、後述する。まず、撮影装置の判定処理によって、撮影装置1aの種類が判定される。そして、判定結果に基づいて、画像処理の種類を決定する。続いて、ビデオ会議端末3aは、決定された画像処理を行い、画像データを生成する。後段のステップS102では、画像処理された画像データが送信される。
ステップS102では、ビデオ会議端末3aが有する送受信部31aは、通信管理システム5に対して、ステップSAで画像処理した画像データ及び音データを送信する。また、この送信には、画像データを識別するための画像データIDが、含まれる。これにより、通信管理システム5が有する送受信部51は、画像データ、音データ及び画像データID等を受信する。
ステップS103では、通信管理システム5が有する制御部53は、送信解像度管理DB5003で管理される要求解像度に基づき、ステップS102で受信する画像データの解像度を変更するように制御する。なお、ステップS102で受信する画像データの解像度が、要求解像度と同じ場合には、制御部53は、解像度を変更しなくてもよい。
ステップS104では、通信管理システム5が有する送受信部51は、ビデオ会議端末3dに対して、ステップS103による制御後の画像データ及び音データを送信する。この送信には、画像データIDが含まれる。これにより、ビデオ会議端末3dが有する送受信部31dは、画像データ、画像データID及び音データ等を受信する。
ステップS105では、ビデオ会議端末3dが有する記憶・読出部39dは、画像種類情報(ソース名)を読み出す。具体的には、記憶・読出部39dは、ステップS104で受信する画像データIDを検索キーにして、画像種類管理DB3001d(表1)を検索する。このようにして、記憶・読出部39dは、画像データIDに対応する画像種類情報(ソース名)を読み出す。
ステップS106では、画像種類情報が「特殊画像」である、すなわち、「Video_Theta」であると、ビデオ会議端末3dが有する画像・音処理部33dは、ステップS104によって受信される画像データから、全天球パノラマ画像を生成する。さらに、画像・音処理部33dは、全天球パノラマ画像から所定領域画像を作成する。
ステップS107では、ビデオ会議端末3dが有する記憶・読出部39dは、表示領域を特定する。まず、記憶・読出部39dは、ステップS104で受信する画像データIDを検索キーとして、表示レイアウト管理DB3003d(表6)を検索する。このようにして、記憶・読出部39dは、画像データIDに対応するレイアウト番号を読み出す。次に、記憶・読出部39dは、複数の表示領域から、ステップS104で受信する画像データを表示するための表示領域を特定する。
ステップS108では、ビデオ会議端末3dが有する表示制御部94は、ステップS107で特定される表示領域に、所定領域画像を表示する。なお、画像種類情報が「一般画像」、すなわち、「Video」であると、画像・音処理部93は、ステップS103で受信する画像データから、全天球パノラマ画像を作成せず、表示制御部94は、「一般画像」を表示する。
続いて、図20及び図21を用いて、映像通話において「特殊画像」による効果を説明する。
図20は、本発明の一実施形態に係る「一般画像」を用いる映像通話の例を示す図である。まず、図示するように、撮影装置1aを利用しない、すなわち、カメラ312(図10)を利用した映像通話の例を説明する。カメラ312は、例えば、画角が水平125度、かつ、垂直70度である。そのため、ビデオ会議端末3aは、ユーザA1等の各ユーザ等を映せる位置、例えば、図示するように、机の端等に置かなければならない。このため、映像通話では、各ユーザ等は、ビデオ会議端末3a側を向いて話さなければならない。
また、各ユーザ等がビデオ会議端末3aの方を向くため、ディスプレイ4aもビデオ会議端末3aの側に置くことになる。これにより、ビデオ会議端末3aから離れた位置にいるユーザA2及びA4は、マイク314(図10)から離れた位置となる。そのため、ユーザA2及びA4は、比較的大きな声で話さないといけない。また、ユーザA2及びA4は、ディスプレイ4aが遠いため、表示内容が見にくい場合が多い。
図21は、本発明の一実施形態に係る「特殊画像」を用いる映像通話の例を示す図である。図示するように、撮影装置1aを利用すると、撮影装置1aは、2つの半球画像を得ることができる。そのため、ビデオ会議端末3a及びディスプレイ4aは、図20と比較して、机の中央等に置くことができる。これにより、各ユーザ等は、マイク314に近いため、比較的小声で話すことができる。また、各ユーザ等は、ディスプレイ4aの表示内容も見えやすくなる。
続いて、図22及び図23を用いて、拠点Dにおけるディスプレイの表示例を説明する。以下、拠点D(図8)におけるディスプレイ4dの表示例で説明する。
図22は、本発明の一実施形態に係る2つの半球画像の表示例を示す図である。すなわち、図示する例は、撮影装置1a又は1bから送信される画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をせずに、そのまま半球画像が表示される例である。
図23は、本発明の一実施形態に係る所定領域画像の表示例を示す図である。すなわち、図示する例は、撮影装置1a又は1bから送信される画像データから、全天球パノラマ画像が作成され、所定領域画像が表示される例である。
図22及び図23に示す例では、ディスプレイ4dの左側にある表示領域(レイアウト番号「1」の表示領域である。)には、拠点Aを示す画像が表示される。
また、図22及び図23に示す例では、ディスプレイ4dの右側上段にある表示領域(レイアウト番号「2」の表示領域である。)には、拠点Bを示す画像が表示される。
さらに、図22及び図23に示す例では、ディスプレイ4dの右側中段にある表示領域(レイアウト番号「3」の表示領域である。)には、拠点Cを示す画像が表示される。
さらにまた、ディスプレイ4dの右側下段にある表示領域(レイアウト番号「4」の表示領域である。)には、拠点D(自拠点)を示す画像が表示される。
図22に示す例は、全天球パノラマ画像の撮影が可能な撮影装置1a又は1bから送られる画像データをそのまま表示する。したがって、図22に示す例では、A拠点とB拠点の画像(レイアウト番号「1」の表示領域及びレイアウト番号「2」の表示領域である。)が、図3(a)及び図3(b)に示すように、前側の半球画像と、後側の半球画像とによって表示される。
一方で、図23のように、画像・音処理部93が、2つの半球画像に基づいて全天球パノラマ画像を作成し、所定領域画像を作成する。このようにすると、例えば、図23のように、平面画像である所定領域画像が表示される。なお、拠点Cでは、「一般画像」が、撮影装置8によって撮影される。さらに、拠点Dでも、「一般画像」が、ビデオ会議端末3dによって撮影される。したがって、レイアウト番号「3」の表示領域及びレイアウト番号「4」の表示領域には、「一般画像」が表示される。
また、ユーザは、所定領域画像が示す領域を変更できる。具体的には、ユーザD1等は、操作ボタン308又はディスプレイ4dが有するタッチパネルに対して領域を変更する操作を行う。そして、受付部32dが、領域を変更する操作を受け付ける。次に、表示制御部94は、操作に基づいて、所定領域画像をずらしたり、回転したり、縮小したり、拡大したりする。これにより、例えば、初期設定(デフォルト)で、図23に示すように、拠点A(レイアウト番号「1」の表示領域)に、ユーザA1及びA2しか表示されていない場合であっても、ユーザD1等は、所定領域画像が示す領域を変更して、ユーザA3及びA4等を表示させることができる。
<<効果例>>
ビデオ会議端末3a等の通信端末は、画像データと一緒に送信される画像データIDに基づき、対応する画像種類情報を特定する。そして、通信端末は、画像種類情報に基づいて、全天球パノラマ画像を作成し、所定領域画像を作成する。これにより、例えば、通信端末は、図23に示すような画像を表示できる効果を奏する。
また、画像種類に応じて、通信管理システム5は、画像データの解像度を制御する(ステップS103)。そのため、ディスプレイ等の表示手段によって表示される画像は、極端に低い解像度により、画像が見え難くなるという場合が少ない。すなわち、以上のような構成によって、見やすい画像を表示させることができる効果を奏する。
<変形例>
図24を用いて、解像度の要求処理の変形例について説明する。
図24は、本発明の一実施形態に係る解像度の要求処理の変形例を示すシーケンス図である。
ステップS171では、記憶・読出部39dは、画像データID、IPアドレス及び表示サイズを読み出す。図18に示すステップS71と比較すると、ステップS171では、記憶・読出部39dは、表示レイアウト管理DB3003dから、IPアドレスも読み出す点が異なる。
ステップS172では、記憶・読出部39dは、画像データIDに対応する画像種類情報を読み出す。例えば、ステップS172は、図18に示すS72と同様の処理である。
ステップS173では、記憶・読出部39dは、画像種類に基づき表示サイズに対応する要求解像度を読み出す。例えば、ステップS173は、図18に示すS73と同様の処理である。
ステップS174では、送受信部31dは、IPアドレス及び要求解像度を示す解像度要求を送信する。図18に示すステップS74と比較すると、送受信部31dは、画像データIDに代えて、ステップS171で読み出されたIPアドレスを送信する点が異なる。
ステップS175では、記憶・読出部59は、IPアドレスごとに、要求解像度を管理する。この変形例では、通信管理システム5は、ステップS174によって、IPアドレスを受信する。そのため、通信管理システム5は、図18に示すステップS75と同様の処理を行わずに済む。記憶・読出部59は、例えば、図18に示すステップS76と同様の処理を行う。
<<撮影装置の判定、決定及び画像処理の一例>>
図25は、本発明の一実施形態に係る撮影装置の判定、決定及び画像処理の一例を示すフローチャートである。図19に示すステップSAでは、例えば、図示するような処理が行われる。
ステップS201では、ビデオ会議端末3aは、種類データに基づいて、撮影装置1aの種類を判定する。種類データは、撮影装置1aの種類を特定できるデータである。具体的には、種類データは、GUIDを示すデータである。この例では、図17に示すステップS51によって、あらかじめGUIDが取得されている。したがって、種類データは、ステップS51によって生成される。
そして、GUID、すなわち、ベンダID及びプロダクトID等が分かると、ビデオ会議端末3aは、撮影装置1aの種類を特定できる。したがって、撮影装置1aが「特殊画像」を撮影する撮影装置であるか否かを判定できる。以下、判定結果が、撮影装置1aが「特殊画像」用の撮影装置である、又は、撮影装置1aが「一般画像」の撮影装置である場合を例に説明する。
なお、判定は、「特殊画像」を撮影する撮影装置であるか否かを判定するに限られない。例えば、判定は、撮影装置が1つの光学系で画像を撮影する、いわゆる「単眼」であるか、又は、撮影装置1aのように、2つ以上の光学系で画像を撮影する、いわゆる「複眼」であるかを判定するでもよい。
他にも、判定は、撮影装置が、いわゆる「広角」レンズで画像を撮影するか否かを判定してもよい。例えば、ビデオ会議端末3aは、撮影装置の画角が、所定の画角(例えば、「130度」である。)以上である撮影装置であるか否かを判定するでもよい。
ステップS202では、ビデオ会議端末3aは、画像処理の種類を決定する。具体的には、ステップS202では、ビデオ会議端末3aは、後段のステップS203で行われる処理を決定する。
例えば、判定結果が「特殊画像」を撮影する撮影装置であると、ビデオ会議端末3aは、ステップS203で、画像の解像度が変更される処理(以下「第1画像処理」という。)が行われるのを制限する。又は、判定結果が「特殊画像」を撮影する撮影装置であると、ビデオ会議端末3aは、ステップS203で、画像の一部の領域が切り取られる処理(以下「第2画像処理」という。)が行われるのを制限する。
第1画像処理が制限されると、ステップS203が行われても、画像処理の前後で、解像度が維持される。そのため、ステップS102で送信される画像データは、高解像度である。つまり、ステップS202では、ビデオ会議端末3aは、第1画像処理を制限して、画像処理によって解像度が低下しないように決定する。
第2画像処理が制限されると、ステップS203が行われても、画像処理の前後で、画像が示す範囲は、維持される。例えば、2つ半球画像が、全方位(水平360度)の範囲を示す場合には、第2画像処理が制限されると、ステップS203が行われても、画像処理の後も、画像データは、全方位の範囲を示す。そのため、ステップS102で送信される画像データは、撮影された範囲を示す。つまり、ステップS202では、ビデオ会議端末3aは、第2画像処理を制限して、画像処理によって画像データから一部の範囲が消されないように決定する。
また、以上のように、第1画像処理及び第2画像処理が制限されると、画像データは、データ量が大きくなる場合が多い。そこで、ステップS202では、ビデオ会議端末3aは、ステップS102で送信される画像のフレームレートを低下させるように、決定してもよい。例えば、ビデオ会議端末3aは、「一般画像」用のフレームレートを10分の1程度にする。なお、フレームレートを低下させる割合等は、画像を送信する帯域幅等に基づいてあらかじめ定められる。
一方で、判定結果が「特殊画像」を撮影する撮影装置でない、すなわち、「一般画像」を撮影する撮影装置と、ビデオ会議端末3aは、ステップS203で、第1画像処理及び第2画像処理等を行うように決定する。
ステップS203では、ビデオ会議端末3aは、画像処理を行う。すなわち、ステップS203では、ビデオ会議端末3aは、いわゆる「前処理」を行う。なお、ステップS203で行われる画像処理は、ステップS202で決定された通りである。
ステップS204では、ビデオ会議端末3aは、画像をエンコードする。
なお、ステップS202では、ビデオ会議端末3aは、例えば、カラー画像をモノクロ画像に変換する画像処理がステップS203で行われるように決定してもよい。上記のように、第1画像処理及び第2画像処理が制限されると、画像データは、データ量が大きくなる場合が多い。そこで、画像をモノクロ画像にして、データ量を少なくするようにしてもよい。他にも、ステップS202では、ビデオ会議端末3aは、YUV形式において、U及びVのデータを減らすように決定してもよい。具体的には、例えば、ステップS203によって、YUV444である画像が、YUV422又はYUV411等に変換されるようにしてもよい。
一方で、ステップS202では、ビデオ会議端末3aは、ステップS204で行われるエンコードのパラメータを更に決定してもよい。例えば、ステップS202では、ビデオ会議端末3aは、画像データを送信する帯域又はCPU負荷等に余裕がある場合には、エンコード後の画像が高画質になるように決定してもよい。例えば、ビデオ会議端末3aは、アスペクト比等を決定してもよい。
全天球パノラマ画像は、元となる画像が、低画質であると、特に、画質が悪化しやすい。また、元となる画像の一部が、切り取られると、全天球パノラマ画像が生成できなくなり、ディスプレイに画像が映らなくなる場合等がある。このように、第1画像処理又は第2画像処理が行われると、画像が表示されなかったり、又は、見にくい画像が表示されたりして、画質が悪くなる場合がある。そこで、ステップS202のように、判定結果に基づいて、ビデオ会議端末3aは、画像処理の種類を決定する。このようにすると、画像が悪化する画像処理が制限されるため、画質を向上させることができる。
<機能構成例>
図26は、本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。例えば、画像処理システム200は、画像処理装置の例であるビデオ会議端末3と、撮影装置1とを有する。画像処理システム200は、例えば、画像取得部3F1と、データ取得部3F2と、判定部3F3と、決定部3F4と、画像処理部3F5とを備える機能構成である。また、画像処理システム200は、図示するように、エンコード部3F6を更に備える機能構成であるのが望ましい。以下、図示する機能構成を例に説明する。
画像取得部3F1は、撮影装置1から、撮影装置1によって撮影された画像(以下「第1画像IMG1」という。)を取得する画像取得手順を行う。例えば、画像取得部3F1は、外部機器接続I/F318(図10)等によって実現される。
データ取得部3F2は、撮影装置1から、撮影装置1の種類を特定できる種類データDCAを取得するデータ取得手順を行う。例えば、データ取得部3F2は、外部機器接続I/F318(図10)等によって実現される。
判定部3F3は、種類データDCAに基づいて、撮影装置1の種類を判定する判定手順を行う。例えば、判定部3F3は、CPU301(図10)等によって実現される。
決定部3F4は、判定部3F3による判定結果RESに基づいて、画像処理部3F5が行う画像処理の種類及びエンコード部3F6が行うエンコードのパラメータ等を決定する決定手順を行う。例えば、決定部3F4は、CPU301(図10)等によって実現される。
画像処理部3F5は、第1画像IMG1を画像処理する画像処理手順を行う。なお、画像処理部3F5によって画像処理された画像を以下「第2画像IMG2」という。例えば、画像処理部3F5は、CPU301(図10)等によって実現される。
エンコード部3F6は、第2画像IMG2をエンコードする。なお、エンコード部3F6によってエンコードされた画像を以下「第3画像IMG3」という。例えば、エンコード部3F6は、CPU301(図10)等によって実現される。
図19に示す処理では、第3画像IMG3がステップS102によって送信される。
以上のような構成であると、画像処理装置は、判定部3F3によって、撮影装置1の種類を判定できる。そして、撮影装置1の種類に基づいて、画像処理装置は、決定部3F4によって、画像処理部3F5及びエンコード部3F6が行う処理を決定する。このようにすると、全天球パノラマ画像等が生成される場合であっても、画像処理装置は、画質を向上させることができる。
また、実施形態は、画像処理システム等のコンピュータに、各手順を実行させるためのプログラムによって実現されてもよい。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。