JP2009071478A - 情報通信端末および情報通信システム - Google Patents

Abstract

【課題】臨場感の高い高精細な映像を用いたテレビ会議システムを実現する。
【解決手段】情報通信端末１００は、距離を測定するための距離測定手段１０１、映像を撮影するための撮像手段１０２、距離データと撮影映像とを元に被写体を特定し抽出する被写体抽出手段１０３、外部に接続された機器から共有すべき画像データを取得する画像データ入力手段１０４、共有データ画像と抽出した被写体の画像を合成する画像合成手段１０５、合成したデータを送信するデータ送信手段１０６、からなる。データ送信手段１０６から送信された画像データは、ネットワークを通じて、遠隔地に配置された画像を受信し、表示装置に表示させることが可能な、別の情報通信端末へと送られる。
【選択図】図１

Description

本発明は、遠隔地に画像を送信する情報通信端末、および、この情報通信端末を用いたテレビ会議システムなどの情報通信システムに関する。

近年、液晶ディスプレイやプラズマディスプレイに代表される薄型、大画面ディスプレイの普及に伴い、テレビ会議システムなどの分野においても、これら大画面ディスプレイを使用するための提案が行われてきており、高画質な映像を用いた臨場感の高いシステムへの要求が高まっている。

そこで、臨場感を高める為の様々なシステムが提案されている。
下記特許文献１に記載の通信端末では、偏光機能を持たせた表示装置と撮像装置とを組合わせることにより、電子ボードにおける指示位置を正確に把握するとともに、人物の映像を表示装置内に配置した人物用の撮像装置で取得し、人物映像と共有データ、および電子ボード上の指示位置等を送ることにより、人物映像を実物大となるようにして情報画面と合成し表示することを実現している。

また、下記特許文献２に記載のテレビ会議システムおよびテレビ会議端末装置では、会議に参加する各参加者に同じ空間や、同じ距離感、同じ方向性を共有している感覚を持たせるよう、他地点のテレビ会議端末装置から送信された画像と音声を受信する受信部と、受信部で受信された画像を表示するディスプレイ装置と、画像を撮影するカメラと、音声を集音するマイクと、受信部で受信された音声を出力するスピーカと、カメラで撮影された画像とマイクで集音された音声を他地点のテレビ会議端末装置に送信する送信部とを備え、ディスプレイ装置とカメラとの間に会議の参加者が入り得る空間が形成されるように、ディスプレイ装置とカメラとが対向して配置したテレビ会議端末装置を実現している。

特開２００５-１１７２８５号公報 特開２００６−３３９８３２号公報

しかしながら、上記特許文献１の通信端末では、人物映像を実物大にして表示することにより臨場感は増すものの、表示装置内に人物撮影用のカメラがあることにより、構成が複雑である他、鮮明で高解像度の映像を得ることが難しいこと、また指示位置を認識する場合も、表示装置、撮像装置共に特殊な構成であるため構造が複雑でコストがかかると言った問題点がある。

また、特許文献２のテレビ会議システムでは、距離感や方向感覚の共有は可能となるものの、データの共有等については考慮されておらず、データ共有等を行う場合の映像品質等については触れられていない。

本発明は、より簡易な構成で、人物画像、及び指示位置を認識し、臨場感の高い高精細な映像を用いたテレビ会議システムを実現することを目的とする。

本発明の一観点によれば、画像を撮像する撮像部と、画像を表示する表示装置と、データを送受信するデータ通信部と、を備えた情報通信端末であって、前記撮像部により撮像された画像から特定の被写体画像を抽出する被写体抽出部と、複数の情報通信端末間で共有する共有データ画像作成部と、前記共有データ画像と前記被写体画像とを合成する画像合成部と、を有することを特徴とする情報通信端末が提供される。

また、画像を撮像する撮像部と、画像を表示する表示装置と、データを送受信するデータ通信部と、を備えた情報通信端末であって、距離データを取得する距離測定部と、該距離測定部により取得された距離データを元に、前記撮像部により撮像された画像から特定の被写体画像を抽出する被写体抽出部と、複数の情報通信端末間で共有する共有データ画像作成部と、前記共有データ画像と前記被写体画像とを合成する画像合成部と、を有することを特徴とする情報通信端末が提供される。

前記被写体抽出部は、前記表示部までの距離を基準として、前記撮像部により撮像された画像のうち、ある範囲内に存在する画像を特定の被写体として抽出することが好ましい。

尚、ある範囲内とは、指示棒により表示画面を直接指示している場合には、表示画面から例えば１〜２ｍ程度前方であり、より具体的には、プレゼンテーションを行っている人物の画像である。

前記表示部までの距離を、前記距離測定部によって取得された距離データから前記表示部を特定することにより決定することを特徴とする。

被写体画像を保存しておくデータ保存部を備え、前記被写体の全体を取得できない場合に、前記データ保存部から被写体画像を選定し、画像を補間することが好ましい。前記距離測定部と前記撮像部とは、同時に距離と画と像を測定可能なＴＯＦカメラであることが好ましい。

本発明の他の観点によれば、上記に記載の第１および第２の情報通信端末と、該第１および第２の情報通信端末との間の通信を中継する多地点接続装置と、を有し、前記第１の情報通信端末は、前記共有データ画像と前記画像合成部により合成された第１の被写体画像とを前記多地点接続装置を介して前記第２の情報通信端末に送信し、前記第２の情報通信端末において抽出された第２の被写体画像と合成して前記第２の情報通信端末側で表示させ、前記第２の情報通信端末は、前記共有データ画像と前記画像合成部により合成された第２の被写体画像とを前記多地点接続装置を介して前記第１の情報通信端末に送信し、前記第１の情報通信端末において抽出された第１の被写体画像と合成して前記第１の情報通信端末側で表示させることを特徴とするテレビ会議システムが提供される。

前記画像合成部を、多地点接続装置に設け、前記第１の情報通信端末および前記第２の情報通信端末側は、前記第１および第２の被写体画像のみを前記多地点接続装置に送り、共有データ画像は多地点接続装置における画像合成部で合成することが好ましい。

上記において、前記画像合成部を第１の情報通信端末のみに設け、前記第２の情報通信端末は、前記第２の被写体画像のみを前記多地点接続装置を介して前記第１の情報通信端末の画像合成部で合成することが好ましい。

本発明の他の観点によれば、画像を撮像する撮像部と、画像を表示する表示装置と、データを送受信するデータ通信部と、を備えた情報通信端末を利用した情報処理方法であって、前記撮像部から前記表示装置近傍の事物までの距離データを取得するステップと、取得された距離データを元に、前記撮像部により撮像された画像から特定の被写体画像を抽出する被写体抽出ステップと、複数の情報通信端末間で共有する共有データ画像作成ステップと、前記共有データ画像と前記被写体画像とを合成する画像合成ステップと、を有することを特徴とする情報処理方法が提供される。

前記被写体抽出ステップは、前記表示部までの距離を基準として、前記撮像ステップにより撮像された画像のうち、ある範囲内に存在する画像を特定の被写体として抽出するステップを有することが好ましい。本発明は、上記ステップを、コンピュータに実行させるためのプログラムであっても良い。プログラムは、伝送媒体から取得するようにしても良い。

本発明によれば、臨場感が高く、意思疎通の容易なテレビ会議システムの実現が可能となる。

以下に、本発明の実施の形態による情報通信端末について図面を参照しながら説明を行う。

（第１の実施の形態）
まず、本発明の第１の実施の形態による情報通信端末について、図面を参照しながら説明を行う。図１は、本実施の形態による情報通信端末の一構成例を示す機能ブロック図である。図１に示すように、情報通信端末１００は、距離を測定するための距離測定手段１０１、映像を撮影するための撮像手段１０２、距離データと撮影映像とを元に被写体を特定し抽出する被写体抽出手段１０３、外部に接続された機器から共有すべき画像データを取得する画像データ入力手段１０４、共有データ画像と抽出した被写体の画像を合成する画像合成手段１０５、合成したデータを送信するデータ送信手段１０６、からなる。データ送信手段１０６から送信された画像データは、ネットワークを通じて、遠隔地に配置された画像を受信し、表示装置に表示させることが可能な、別の情報通信端末へと送られる。

図２は、本実施の形態による情報通信端末をテレビ会議において使用する際の概要を示す図である。図２に示すように、本実施の形態による情報通信端末１００、映像を表示する表示装置１０７、表示装置前でプレゼンテーションを行う発表者１０８、発表者が指示する表示装置１０７における画面上の位置１０９、としている。図２中のｄは、情報通信端末１００と表示装置１０７との間の距離を示している。ここでは、表示装置１０７は液晶方式のディスプレイを用いることとする。ここに示すように、プレゼンテーション用の表示装置１０７と発表者１０８とに対向する位置に情報通信端末１００が配置されている。

以下、情報通信端末１００について、順をおって説明する。まず、情報通信端末１００における距離測定手段１０１について説明する。図３に示すように、距離測定手段１０１は、赤外光を照射する例えばＬＥＤ１１０と、フォトセンサである例えばＣＣＤ１１１と、時間を計測する時間計測手段１１２と、によって構成される。まず、ＬＥＤ１１０が、被写体１１３に向けて赤外光を照射する。ＣＣＤ１１１は、被写体によって反射された赤外光を受光する。時間計測手段１１２は、ＴＯＦ（Time of Flight）方式と呼ばれる光源からの対象物（被写体）までの距離を、光の往復時間遅れから計算する方式で計測でき、ＬＥＤ１１０より赤外光が放射されてからＣＣＤ１１１が受光するまでの時間遅れから各画素ごとに距離を測定する。距離が遠くなるほど時間がかかるため、各画素ごとの時間差から距離情報が分かり、距離画像を得ることが出来る。

距離測定手段１０１は、距離画像を取得した後に、被写体抽出手段１０３へと送る。撮像手段１０２は画像を撮影し、撮影された画像データを被写体抽出手段１０３へと送る。被写体抽出手段１０３は、送られてきた画像データと距離画像とから画像の解析を行う。

図４は、被写体抽出手段１０３の一構成例を示す機能ブロック図である。図３を参照しながら説明を行う。被写体抽出手段１０３は、まずデータ対応手段１１４において、距離測定手段１０１からの距離画像と、撮像手段１０２からの画像との間でマッチングの処理を行い、それぞれを対応付ける。そのための手法としては、例えば距離画像において距離の違いから各特徴物のエッジを検出し、同様に撮影画像側でも、色情報等を元に特徴物のエッジ検出を行い、エッジ検出によって判明したエッジを各画像間で比較し、パターンマッチングを行うことで、距離データと映像との対応付けをする方法などがある。その後、被写体抽出手段１０３は、表示装置認識手段１１５により、あらかじめ表示装置１０７を検出しておく。表示装置１０７の前面に遮るものがない状態、すなわち図２に示した発表者１０８等がいない状態で解析を行う。このときの、表示装置認識手段１１５の動作の流れを示すフローチャート図を図５に示す。

図５に示すように、認識処理が開始されると、ステップＳ１において、距離が一定の矩形領域、すなわち、表示装置があるか否かを判定する。Ｎｏであれば、ステップＳ２に進み、表示装置が認識されていないことに関する警告を通知し、ステップＳ１に戻る。ステップＳ２においてＹｅｓの場合には、ステップＳ３において表示装置として認識し、ステップＳ４において、表示装置までの距離を決定する。これにより認識処理が終了する。

尚、表示装置１０７は平面であり、形状は矩形である。この時の画像例を図６（ａ）に示す。そこで、被写体抽出手段１０３は、距離測定手段１０１からの距離画像のデータから略一定距離の矩形領域を検出する。そして、この矩形領域がある場合には、これを表示装置１０７と認識し、表示装置１０７までの距離情報ｄを保存しておく。一方、表示装置１０７が情報通信端末１００に対して傾いている事もある。このような場合には、表示装置１０７への距離は左右どちらかの方向に一定の割合で変化し、図６（ｂ）に示すように形状は台形を横にした形となる。このような時には、図４に示す警告手段１１６を通して警告を出し、矩形となるよう表示装置１０７の配置を修正するように促す。警告は、音声や、本情報通信端末内にあらかじめ具備した表示装置、あるいは、外部接続された表示装置等に警告画面を表示する等の方法がある。このように警告手段を備えることにより、情報通信端末１００に、確実に表示装置を認識させることができる。

上記の処理が終了した後、通信が確立されると、画像抽出装置１０１における被写体抽出手段１１７は、図２で示した発表者１０８を図７に示す画像データから抽出する。

まず、先ほどの手順により表示装置１０７までの距離が判明しているので、表示装置の距離情報に従い被写体である発表者１０８を抽出する。発表者１０８は、表示装置１０７に近い位置で発表を行うことから、表示装置１０７から一定の範囲内に居ることとなる。図７に示す画像は、距離の違いによって色わけされているように距離データを持っているため、この距離データを元に一定範囲内にあるかどうかを識別する。よって、表示装置１０７の距離情報を元に、あらかじめ一定の距離を１ｍ等と規定しておくことにより、表示装置１０７の前面からこの範囲内の物体（画像）を発表者１０８として抽出することが出来る。また、被写体を抽出すると同時に、図７における被写体の指し示す位置１０９の表示画面１０７に対する相対位置を検出しておく。図７に示すように、表示画面１０７に対する位置を例えば画面角（表示画面１０７の４頂点のうちのいずれか１点）からの距離１１９と角度等によって検出し、位置情報として保持しておく。このようにして、被写体抽出手段１０３は、抽出された被写体である発表者１０８の画像と、発表者１０８が指し示す位置１０９の位置情報とを画像合成手段１０５へと送る。

上記のように、表示画面１０７を基準にした距離情報を元に、被写体１０８を抽出することにより、パターン認識等を用いて被写体を抽出するのに比べて負荷が軽く構成が簡易で済む上に、より正確に目標である被写体を抽出することが可能となる。

画像データ入力手段１０４には、ＰＣなどの情報処理装置と接続されており、テレビ会議において共有される画像データが入力され、それを画像合成手段１０５へと送る。

画像合成手段１０５は、画像データ入力手段１０４から送られてきた共有画像データと、被写体抽出手段１０３によって抽出された被写体画像と、の合成を行う。共有画像データと、被写体画像と、合成を行う際に、被写体抽出手段１０３から送られてきた表示装置１０７に対する相対位置を示す位置情報、すなわち共有画面上における発表者１０８の指し示す位置を元に、合成位置を確定し、共有画像データと被写体画像との合成を行い、データ送信手段１０６へと送る。表示装置１０７に対する指示位置と、共有画面全体に対する指示位置との比が同じになるように合成する。これにより、表示装置上で被写体の指示位置を送信先に明確に提示することが可能となり、発表者の意図や指示している内容を正確に伝えることが可能となる。

撮像手段１０２によって撮影される画像データをそのまま送る場合、撮像手段１０２は発表者等も含めた全景を撮影する為、撮像手段１０２が高解像度でない場合、画像が劣化し読み取りにくいなどの問題点があるほか、撮像手段１０２のピントは発表者に合わせた場合に共有画像部分はピントがずれボケてしまうなどの問題点がある。しかしながら、このように発表者と共有画像とを合成するシステムとすることにより、共有データ画像における本来の解像度そのままの鮮明な映像を送ることが可能となる。

次いで、データ送信手段１０６は、ネットワークを通じて接続された例えば遠隔地のテレビ会議システムに対して、画像合成手段１０５により合成された画像データを送信する。遠隔地におかれた受信側であるテレビ会議システムでは、この画像データを受信し、表示装置に表示する。表示画面を指し示す発表者を含めた画像が送信される為、発表の意図やプレゼンの状況を的確に把握することが可能となる。また、画像合成等を全て画像送信側で行う為、通信でつながる相手側が通常のテレビ会議システムであっても問題なく、相手側により直感的に理解しやすいプレゼンを行うことが可能となる。

尚、ここでは、距離測定手段１０１は、赤外ＬＥＤとＣＣＤフォトセンサとしたが、ＬＥＤに限らず赤外光を発するものであれば良く、フォトセンサもＣＣＤに限らずＣＭＯＳ等であってもよい。また、距離の測定手法もＴＯＦ方式に限定されるものではない。距離情報が得られれば、赤外方式に限らずどんな方式でも良く、レーザーや超音波を利用した方式やステレオ方式でもよい。例として、ステレオ方式の場合を挙げると、２つの映像取得用のカメラから構成される。その場合、片方のカメラを画像取得用の撮像手段１０２として使用する。図８は、ステレオ方式による測距センサの構造を示す図である。２つのＣＣＤである左ＣＣＤ１２０と、右ＣＣＤ１２１と、によって、それぞれ映像を撮影する。符号１２１は撮影対象である被写体であり、符号１２２は撮影される撮像エリアを示している。それぞれの画像は、ＣＣＤ１２０・１２１の位置の違いから、視差と呼ばれる左右の映像間での位置のずれが存在する。撮影の方法等によって変わるが、距離が遠いほど、あるいは、近いほど、視差が大きくなる。そこで、視差によってＣＣＤからの距離が分かる。従って、パターンマッチングのアルゴリズムを用いて２つの画像の視差を求めることにより、被写体１２２及び表示エリア１２３までの距離を算出することができる。算出アルゴリズムの一例としては、位相限定相関法(Phase Only Correlation：POC)と呼ばれる方法であって、フーリエ変換を用いて２つの画像の相関を計算する過程において振幅成分を取り除き、位相成分のみを用いるように修正したものなどいくつかの方法があるが、公知の技術であるため詳細な説明は省略する。

また、表示装置１０７が特定できない場合には、人物認識用のパターンを保存した画像データベースを用意しておき、このデータベースのパターンと、距離画像と、の間でパターン認識を行い、人と判断されたものを発表者１０８として抽出する方法もある。これにより、表示装置が特定できない場合に処理ができなくなることを防止することが可能となる。

また、このような認識方法も備えることにより、周囲の状況等に応じて方法を切り替えることも可能であり、状況に応じて被写体抽出精度を向上させることができる。
また、表示装置１０７からの一定距離内の抽出と、データベースからのパターンマッチングを併用する方法もある。また、別途、認識対象が間違っている場合や、余計なものまで認識している場合に、これらを、画像を見ながら除外できるように、確認手段を用意しておいても良い。これにより、確実に表示手段の特定が行える他、直接発表者を視認画面より特定することも可能となる。

また、ここでは、距離情報から表示装置１０７を特定するものとしたが、例えば、表示装置１０７の４隅の部分のみを白色（高輝度）で表示させ、撮影画像の画像解析を行い輝度の違いから表示画面を認識させるようにしてもよい。尚、隅の部分のみを指示する場合に、白色に限らず特定の色で光らせるなどして、色情報により識別するようにしてもよい。また、表示装置１０７の枠部分の一部、あるいは全体に赤外線を吸収する部材を設置し、それにより表示装置を認識させるようにしてもよい。この時、赤外線吸収部で赤外線が吸収されるため、反射光がフォトセンサ側に戻ってこない。従って、その部分には何もないものと認識されることとなり、その部分の形状、あるいは周囲との変化等を手がかりに表示画面を認識することとなる。このような赤外線を吸収する部材としては、Schott社製のＫＧ−１フィルターガラスなどの熱吸収ガラス等がある。
このように、表示画面と被写体とを距離情報をもとに簡単な方法により分離することができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態による情報通信システムであるテレビ会議システムについて、図面を参照しながら説明する。なお、実施例中同一の機能の物には同一の記号を付す。
図９は、本実施の形態におけるテレビ会議システムの構成図であり、第１の実施の形態による情報通信端末を利用したシステムである。ここでは、多地点間で通信可能なテレビ会議システムの例として、２地点とし、各拠点に、それぞれ情報通信端末２０１、２０３が設置されている。第１の情報通信端末２０１は映像を表示する第１の表示装置２０２に接続され、第２の情報通信端末２０３は第２の表示装置２０４に接続されている。第１の表示装置２０２および第２の表示装置２０４は、例えばプロジェクタであり、プロジェクタ本体とスクリーンとによって構成される。また、各情報通信端末２０１・２０３とＩＰネットワークを介して接続される多地点接続装置２０５が設けられている。

テレビ会議を始めるときは、多地点接続装置２０５に接続された情報通信端末の１つから参加させる端末の指定を行う。ここでは、第１の情報通信端末２０１から会議に参加させたい第２の情報通信端末を指定する。すると、まず、多地点接続装置２０５につながり、多地点接続装置２０５が第２の情報通信端末２０３を呼び出す。第２の情報通信端末２０３が応答すると、第２の情報通信端末２０３と多地点接続装置２０５とがつながり、以降は、多地点接続装置２０５を介してそれぞれの情報通信端末２０１と２０３とが通信する。また、それぞれの情報通信端末２０１と２０３との拠点間で、例えば、表計算や文書ファイルなど同一のデータを共有する。以降の説明では、共有データは、複数拠点において視覚的に表示する画像を共有画像データとして説明する。ここでは、共有データ自体は、第１の情報通信端末２０１に接続されるＰＣ（パーソナルコンピュータ、サーバ等）上に保持されており、第２の情報通信端末２０３側のＰＣ上にはコピーされたデータが保持されているものとし、それぞれデータの変更が行われた場合には、その情報がＩＰネットワークを介して送信されてその都度改変され、同一のデータとなるように構成されている。

図１０は、第１の情報通信端末２０１の一構成例を示す機能ブロック図である。図１０に示すように、本実施の形態による情報通信端末２０１は、受信部と送信部とに分かれている。図１と同様に、距離測定手段１０１と、映像を撮影する為の撮像手段１０２と、距離データと撮影映像とを元に被写体を特定し抽出する被写体抽出手段１０３と、外部に接続された機器から共有すべき画像データを取得する画像データ入力手段１０４と、共有データ画像と抽出した被写体との画像を合成する画像合成手段１０５と、音声データを取得する音声取得手段２０６と、合成した画像データおよび音声データを多重化し送信するデータ送信手段２０７と、他の情報通信端末から送られてくるデータを逆多重化して表示装置へと送るデータ受信手段２０８と、を有している。第２の情報通信端末２０３の構成も同様である。

以下、テレビ会議システムの動作について、順に説明する。まず、第１の情報通信端末２０１において、距離測定手段１０１により距離画像を取得する。距離測定手段１０１は、距離画像を取得した後に、被写体抽出手段１０３へと距離画像を送る。撮像手段１０２は、画像を撮影し、撮影された画像データを被写体抽出手段１０３へと送る。被写体抽出手段１０３は、送られてきた画像データと距離画像とから画像の解析を行う。距離測定手段１０１、撮像手段１０２、被写体抽出手段１０３の構成、動作に関しては、第１の実施の形態の場合と同様であり、被写体抽出手段１０３は図５に示したフローチャートに従って、表示装置２０２までの距離情報ｄを基準に、表示装置２０２の前面にプレゼンテーションを実施している発表者が撮影されると、被写体として抽出しておく。ここで、表示装置２０２はプロジェクタであり、表示装置２０２までの距離情報ｄとは、表示面であるスクリーンまでの距離を表すものとする。

そして、被写体を抽出するとともに、第１の実施の形態と同様に、図７で示した被写体である発表者の指示する位置１０９の表示画面に対する相対位置を検出し位置情報として保持する。そして被写体抽出手段１０３は、抽出された被写体である発表者１０８の画像と、発表者１０８が指示する位置情報とを画像合成手段１０５へと送る。画像データ入力手段１０４には、ＰＣと接続され、テレビ会議において共有される共有画像データが入力され、それを画像合成手段１０５へと送る。画像データ入力手段１０４とは、例えばＤＶＩやＨＤＭＩなどの規格にそった入力手段などがあり、その他の端子や専用線などでもよい。

画像合成手段１０５は、画像データ入力手段１０４から送られてきた共有画像データと、被写体抽出手段１０３によって抽出された被写体画像と、の合成を行う。画像合成手段１０５は、発表者の指示する位置を元に共有画像データと被写体画像との合成位置を確定する。そして、共有画像データと被写体画像との合成を行い、データ送信手段２０７へと送る。この時の合成した画像の例を図１１に示す。外側の大枠は合成画像全体を表しており、内側の枠で示した部分２０９が共有画像データ、符号２１０で示した部分が被写体画像である。距離画像データにより、表示装置２０２のスクリーンに対する発表者の指示位置が判明しているため、共有画像データ２０９に対する被写体画像２１０の指示位置が同じになるように共有画像データ２０９と被写体画像２１０とを位置合わせして合成する。この時に、最初に共有画像データ２０９の大きさを決めるものとする。共有画像２０９のサイズによっては、被写体画像全体が入るように合成すると、被写体画像が小さくなり臨場感が損なわれる可能性がある。そこで、図１１で被写体画像２１０の下側の一部をカットしているが、このように、画像の一部をカットして合成することにより、臨場感を損なうことを防止することができる。被写体画像２１０、共有画像２０９のサイズは、予め決めておくようにしてもよく、使用者によって任意に決定できるようにしてもよい。

第１の情報通信端末２０１は、図１０に示す音声取得手段２０６によって、会議中の音声情報を取得することもできる。取得した音声データは、データ送信手段２０７へと送られる。データ送信手段２０７は、画像合成手段１０５から送られてきた合成画像を符号化し、音声データと多重化して地点接続装置２０５へと送信する。

ここで、第２の情報通信端末２０３側の動作は、第１の情報通信端末２０１側と同様であり、第２の情報通信端末２０３側の被写体画像と共有画像データとを合成し、音声データと合わせて多地点接続装置２０５へと送る。

多地点接続装置２０５は、テレビ会議を行う場合に複数拠点間の通信を制御する機能を有しており、第１の情報通信端末２０１に対して、もう一方の接続先である第２の情報通信端末２０３へと第１の情報通信端末２０１からの情報を送信するとともに、第２の情報通信端末２０３からの情報を第１の情報通信端末２０１側へと送る。

第１の情報通信端末２０１は、図１０に示したデータ受信手段２０８によって第２の情報通信端末２０３側から送られてきたデータを逆多重化し合成画像データを表示装置２０２へと送り表示させる。第２の情報通信端末２０３側も、同様の処理を第１の情報通信端末２０１側に送られてきたデータに対して行い、表示装置２０４へと表示する。

このように、各拠点の被写体である発表者と、それぞれの拠点で共有するデータの画像と、を合成し、相手先に送ることにより、各拠点で同一データの共有により効率的な会議が行えるとともに、相手の画像と合成されているため相手の意図を明確に読とることができ、より臨場感の高いテレビ会議システムを構築することが可能となる。

尚、ここでは、各端末間はＩＰネットワークでつなぐものとして説明をしたが、このような形態に限定されるものではなく、ＩＳＤＮ網を初め他の方式であってもよい。

また、本実施の形態では、スクリーンと情報通信端末とで配置がずれていた場合にスクリーン側を調整するものとしたが、情報通信端末側に位置補正機能を設けておき、情報通信端末側を調整することで補正するようにしてもよい。

また、スクリーンを使用した場合など、実際の表示サイズとスクリーンのサイズが一致しないこともある。この場合あらかじめ手動で表示部分を認識させたり、距離情報からスクリーンを識別した後、表示部分とそれ以外の部分の輝度の情報から表示サイズを推定し、これを表示画面サイズとしてもよい。

また、情報通信端末における撮像手段等の構成要素は、すべてが一体化されている形態であってもよく、それぞれの機能手段毎、あるいは、その一部のみが独立した形でそれぞれが電気ケーブル等で接続される形態であってもよい。例えば、情報通信端末は、パーソナルコンピュータや、ＰＤＡ、携帯電話機などであっても良く、プロジェクタ装置やデジタルカメラなどの形態でも良く、限定されるものではない。

以上に説明したように、本実施の形態によるシステムにおいては、第１の実施の形態による情報通信端末を複数用い、それぞれを接続するためのゲートウェイとして機能する多地点接続装置により管理することで、複数の拠点間で表示を共有することができる。

尚、ここでは２地点としたがそれ以上の多地点であってもよい。この時には、多地点接続装置では各拠点から送られてきた被写体画像のうち、送信先の１拠点を除く多拠点からの被写体画像を合成し、音声と合わせて送信することとなる。

（第３の実施の形態）
次に、本発明の第３の実施の形態による情報通信システムであるテレビ会議システムについて、図面を参照しながら説明する。なお、実施例中同一の機能の物には同一の記号を付す。
図１２は、本実施の形態によるテレビ会議システムの一構成例を示す図である。ここでは、多地点間で通信可能なテレビ会議システムとする。各拠点に設置されるクライアント端末２０１ａ、２０７ａは、被写体を撮影する撮像手段２０２ａと、会議における音声を取得する音声取得手段２０３ａと、映像や音声をネットワークを通して送受信する情報処理装置２０４ａと、情報処理装置２０４ａからの映像を表示する表示装置２０５ａと、を有している。表示装置２０５ａは、ここではプロジェクタであるものとし、プロジェクタ本体とスクリーンによって構成されるものとする。さらに、これらのクライアント端末２０１ａ・２０７ａとネットワークを通じて接続される多地点接続装置２０６ａを有している。ここでは、各クライアント端末２０１ａ・２０７ａとの間では、ＩＰネットワークを通じて接続されるものとする。会議を始めるときは、１つのクライアント端末から会議に参加させたい他のクライアント端末すべてを指定する。すると、まず、多地点接続装置２０６ａにつながり，多地点接続装置２０６ａが他のクライアント端末を呼び出す。他のクライアント端末が呼び出しに応答すると、他のクライアント端末と多地点接続装置２０６ａとが接続され、以降は、多地点接続装置２０６ａを介してそれぞれのクライアント端末が通信する。

テレビ会議中は、撮像手段２０２ａで撮影した映像とマイクである音声取得手段２０３ａで集音した音声とをそれぞれの情報処理装置２０４ａでエンコードし、多地点接続装置２０６ａに送信する。多地点接続装置２０６ａでは、各端末から届いたこれらの映像データと音声データとを１つのデータに合成し、合成後の画面データと音声データとを各クライアント端末に送信する。

ここで、撮像手段２０２ａは、距離測定機能を併せ持つものであり、第１の実施の形態における図３で示した構成と同様に、赤外ＬＥＤとフォトセンサとからなる構成とする。但し、フォトセンサには例えばＣＭＯＳセンサが用いられ、距離画像と通常の形状を現す画像とを同時に計測できるものとする。距離画像の取得方式は、第１の実施の形態の場合と同様である。このようなセンサとしては、出願人が製造した距離画像ＣＭＯＳセンサーを用いることができる。その他、受光素子がＣＣＤの場合にも市販のセンサを取得することができる。このような画像と距離とを同時計測できる受光素子を用いることにより、距離データと画像との間で対応を取る必要がなくなるため、処理の負担が軽くなり、構成を簡易にすることが可能となる。

図１３は、情報処理装置２０４ａの一構成例を示す図である。図１３に示す情報処理装置２０４ａは、受信部と送信部とに分かれている。送信部では、まず被写体抽出手段２０８が、撮像手段２０２ａから送られてきた距離情報と撮影画像、音声取得手段２０３ａから送られてきた音声データを取得する。

また、被写体抽出手段２０５ａには、あらかじめ設定情報入力手段２０９によって、撮像手段２０２ａと表示装置２０５ａとの距離が入力される。ここで、表示装置２０５ａはプロジェクタとスクリーンによって構成されるが、表示装置２０５ａとの距離とは実際に映像が表示されているスクリーンまでの距離を示す。被写体抽出手段２０８ａは、表示装置２０５ａまでの距離情報を元に、距離画像を参照してスクリーンを認識する。第１の実施の形態の場合と同様に、スクリーンから一定距離内の物体を被写体として抽出する。ここでの被写体とは、実際に表示装置前でプレゼンテーションを行う人物であり、例えばスクリーンから２ｍ内の物体を被写体として抽出する。この時、同時に被写体と撮像手段２０２ａとの間に、別の人物などの目的とする被写体以外が入っていないかどうかを判別し、その情報を被写体画像と合わせて送る。被写体と重なる形で、より撮像手段２０２ａに近い位置に何か存在するかどうかで判別することが出来る。また、音声情報も同時に送る。

抽出した被写体画像が適正に抽出できた場合には、被写体画像は画像補間手段２１０ａと画像保存手段２１１へと送られ、音声情報は被写体画像と合わせて画像補間手段２１０ａへと送られる。画像保存手段２１１では、その被写体画像を保存しておく。画像補間手段２１０ａは、被写体画像と音声情報とをそのままデータ送信手段２１２へと送る。一方、被写体と撮像手段２０２ａとの間に別の物体等が重なり被写体を適正に抽出できなかった場合には、抽出した被写体画像を画像補間手段２１０ａのみへと送る。画像補間手段２１０ａでは、画像保存手段２１１に保存されている被写体画像を参照し、補間が可能かどうかを判断し、補間できる場合には補間を行ったうえで、音声情報と合わせてデータ送信手段２１２へと送る。補間の方法としては、抽出できた部分の被写体とデータベース上の被写体画像とをパターンマッチングにより比較し、形状が近い映像があった場合に、別の物体が重なっている部分をデータベース上の画像で置換する方法がある。また、重なっている部分だけでなく胴体部分のみを置き換えるといった一部を置換する方法でもよい。形状が近いかどうかは、エッジ検出によりその外形を比較する等の方法があり、どの程度であれば形状が近いと判別するかの判断基準を設定する設定手段を設けるなどをしてもよい。尚、図示していないが、被写体の画面上の指示位置に関する情報や、共有データの変更等を行う場合の制御情報等も同時に送信する。このように、被写体全体が抽出できない場合であっても補間処理を行うことにより、相手側にそれを認識させず違和感を生じさせる事のない映像を送ることが可能となる。

データ送信手段２１２では、送られてきた音声情報と被写体画像とをそれぞれエンコードし、ネットワーク上に送るためのデータ形式に変換を行う。そして、ネットワーク上に接続された多地点接続装置２０６ａへと送る。

本実施の形態では、多地点接続装置２０６ａは、各地点から送られてきた被写体映像、音声情報を一つのデータに合成する機能を持つ。同時に、多地点接続装置２０６ａ上にプレゼンテーションで用いるデータが保持され、共有データを編集等するためのアプリケーションを持つものとする。以下、画像合成の詳細について図面を参照しながら説明する。

図１４は、共有画像データと各拠点とにおける映像の例を示す図である。図１４（ａ）は、多地点接続装置２０６ａで保持される共有画像データであり、図１１（ｂ）は、第１のクライアント端末２０１ａにより得られる画像、図１１（ｃ）は第２のクライアント端末２０７ａで得られる画像例である。上述の手順に従い、第１のクライアント端末２０１ａからは、図１４（ａ）の画像から第１の被写体２１４だけが抽出され、多地点接続装置２０６ａへと送られてくる。一方、第２のクライアント端末２０７ａからは、第２の被写体２１５だけが抽出され送られてくる。多地点接続装置２０６ａは、共有画像データと第２のクライアント端末２０７ａで抽出された第２の被写体２１５とを合成し、第２のクライアント端末２０７ａからの音声情報と合わせて第１のクライアント端末２０１ａに送る。一方、共有画像データと第１のクライアント端末２０１ａで抽出された第１の被写体２１４とを合成し、第１のクライアント端末２０１ａからの音声情報と合わせて第２のクライアント端末２０７ａに送る。

図１５（ａ）は、第１のクライアント端末２０１ａの状況を示している。表示装置２０５ａのスクリーンには、共有データと第２のクライアント端末２０７ａ側の第２の被写体２１５が合成された画像が表示され、その映像を見ながら第１のクライアント２０１ａ側の被写体である第１の被写体２１４は会議を進めることができる。図１５（ｂ）は、同様に第２のクライアント端末２０７ａ側の状況である。

ここで、画像合成の際の共有データと被写体画像との位置合わせについて説明する。被写体抽出手段２０８ａは、被写体が表示装置２０５ａ上の右上からの距離と方向を解析し、データ送信手段２１２を通して被写体画像等と合わせて多地点接続装置へと送っている。図１６に示すように、表示装置２０５ａ上での画面全体の距離Ａと、指示位置までの距離Ｂと、指示位置への方向という位置情報がわかれば、多地点接続装置２０２ａは各端末に送信している画像データを作成しているため、送信している画像上のどの地点を指示しているか、すなわち共有データ部分のどの位置を指示しているかが分かる。

ここでは、共有データの画像は、各端末に送信している画像において全て共通の大きさで、画像全体の中央に配置されているものとする。従って、上記の情報がわかれば指示位置が判明し、通信相手の端末に送る映像を作成する際に、共有データ部分の画像において、指示位置が一致するような位置あわせを行い、画像データや音声データを送信する。

各端末に送られてきたデータは、図１３のデータ受信手段２１３によって受信され、デコードされ表示装置２０５ａや図示しない音声出力手段等に送られ、映像や音声が出力されテレビ会議が行われることとなる。このように、共有データ画像と被写体画像とを合成し、かつ、被写体の補間等を行うことでより、臨場感の高い状況を作りだすことが可能となる。

尚、上記各実施の形態では、距離情報を距離画像としているが、距離と被写体とを抽出するための画像とが対応できればよく、必ずしも画像でなくてもよい。また、被写体の指示位置を画面右上からの距離で表すようにした例について説明したが、位置が判別できればよく、左上や、画面上の別の位置を手がかりにするなど、右上の位置に限定されるものではない。また、被写体を抽出する一定距離はここでは２ｍとしたが、これに限定されるものではなく５０ｃｍなど他の値であってもよい。設定情報入力手段２０９ａに情報入力機能を持たせて用いるなどして、状況に応じて自由に設定できるようにしておいてもよい。

また、ここでは詳細を記載していないが、共有情報を各地点から同時に制御することが出来るよう、共有データ上のデータを変更するための制御情報等を画像等の情報と同時に送るようにしても良い。

また、ここでは共有データは各端末に送信する全体画像中で位置、大きさとも共通であるとしたが、例えば図１７に示すように、ＡとＢとの距離が異なるように、共有データの合成位置が各端末毎の画像で異なる場合に、共有データがどの位置に表示されているかを解析し、その位置に応じて被写体の合成を行なう必要がある。横方向だけがずれている場合を例にとると、図１７（ａ）に示すように、実際の被写体の指示位置は共有データの棒グラフ部分の中央のヒストグラムの右側を示しているが、単純に上記の実施例中で説明したように合成した場合、図１７（ｂ）の矢印が示すように中央ヒストグラムの左側になってしまうため、共有データの合成位置のずれ量、すなわちＡ−Ｂの差分だけ右側に被写体の合成位置を移動する補正を行えばい良い。尚、このような補正の方法は一例であり基準点の取り方等により異なり、この補正方法に限定されるものではない。

また、ここでは共有データは多地点接続装置自体が保持し、処理できるものとしたが、多地点接続装置と共有データ処理用の端末が接続されている構成でもよく、また各地点の情報処理装置のうちの１台に多地点接続装置が接続され、情報処理装置上で共有データの処理や画像の合成を行う、といった構成でもよい。

また、共有データは各拠点のうちの１つの情報処理装置上に保持され、その他の各端末では、そのデータを実行する為のアプリケーションを持ち、各端末上で共有データの画像と各地点からの被写体映像を合成する構成でもよい。この場合の構成例を図１８に示す。図１２に示した構成時と同じ機能を有するものには同一の番号を付記している。共有データは、図１８における情報通信端末３０１の情報処理装置３０２上に保持されているものとし、多地点接続装置３０３はこの情報処理装置３０２と接続され、複数の端末間の接続を担うものとする。情報処理装置３０２は共有データを実行し、表示、変更等可能なアプリケーションを持つ。システム使用時には、情報処理装置３０２は、撮像手段２０２ａからの画像から抽出した被写体画像と、共有データのコピーと、を、多地点接続装置を介して接続された他の端末３０４に送るとともに、他端末３０４から送られた被写体画像と共有データ画像とを合成し、情報通信端末３０１の表示装置２０５ａに表示させる。ＩＰネットワークを介して接続された他端末３０４側では、端末３０４が有する情報処理装置３０５は、自身の持つアプリケーションにより送られてきた共有データを実行し、共有データ画像と送られてきた被写体との画像合成を行う。このように、共有データの保持方法や画像合成のタイミングには様々な組み合わせが存在する。また、図１２や図１８では、端末は説明のため２つのみを図示しているが、より多くの端末を接続する構成であってもよい。他の実施の形態でも同様である。

また、ここでは各端末間はＩＰネットワークでつなぐものとしているが、これに限定するものではなく、ＩＳＤＮ網を初め他の方式であってもよい。

また、情報通信端末における撮像手段等の構成要素は、すべてが一体化されている形であってもよく、手段毎、あるいは一部のみが独立した形でそれぞれが電気ケーブル等で接続される形であってもよい。

なお、各実施形態の図における各部品や構成図等は、理解を容易にするために誇張や簡略化をおこなっており、実際の大きさとは異なる。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、テレビ会議システムに利用可能である。

本発明の第１の実施の形態による情報通信端末のブロック図である。 本実施の形態による情報通信端末の使用時の概要を示すである。 本実施の形態による距離測定手段の構成を示す図である。 本実施の形態による被写体抽出手段のブロック図である。 本実施の形態による被写体抽出手段の動作を示すフローチャートである。 本実施の形態による撮像手段による撮影画像の例を示す図である。 本実施の形態による指示位置の表示画面に対する相対位置を説明する図である。 本実施の形態によるステレオ方式の距離測定手段の構成を示す図である。 本発明の第２の実施の形態による情報通信システムであるテレビ会議システムの構成図であり、第１の実施の形態による情報通信端末を利用したシステムである。 第１の情報通信端末２０１の一構成例を示す機能ブロック図である。 共有画像データと被写体画像との合成した画像の例を示す図である。 本発明の第３の実施の形態によるテレビ会議システムの構成図である 本実施の形態による情報処理装置のブロック図を示す図である。 本実施の形態による共有データ画像と各端末での撮影画像の例を示す図である。 本実施の形態によるクライアント端末の状況を示す図である。 本実施の形態による画像合成位置を説明する図である。 本実施の形態による共有データ画像位置の違いによる合成方法を説明する図である。 本実施の形態における異なる構成例を示す図である。

符号の説明

１００…情報通信端末、１０１…距離測定手段、１０２…撮像手段、１０３…被写体抽出手段、１０４…画像データ入力手段、１０５…画像合成手段、１０６…データ送信手段。

Claims (14)

1. 画像を撮像する撮像部と、画像を表示する表示装置と、データを送受信するデータ通信部と、を備えた情報通信端末であって、
   前記撮像部により撮像された画像から特定の被写体画像を抽出する被写体抽出部と、複数の情報通信端末間で共有する共有データ画像作成部と、前記共有データ画像と前記被写体画像とを合成する画像合成部と、を有することを特徴とする情報通信端末。
2. 画像を撮像する撮像部と、画像を表示する表示装置と、データを送受信するデータ通信部と、を備えた情報通信端末であって、
   距離データを取得する距離測定部と、該距離測定部により取得された距離データを元に、前記撮像部により撮像された画像から特定の被写体画像を抽出する被写体抽出部と、複数の情報通信端末間で共有する共有データ画像作成部と、前記共有データ画像と前記被写体画像とを合成する画像合成部と、を有することを特徴とする情報通信端末。
3. 前記被写体抽出部は、前記表示部までの距離を基準として、前記撮像部により撮像された画像のうち、ある範囲内に存在する画像を特定の被写体として抽出することを特徴とする請求項１又は２に記載の情報通信端末。
4. 前記表示部までの距離を、前記距離測定部によって取得された距離データから前記表示部を特定することにより決定することを特徴とする請求項３に記載の情報通信端末。
5. 被写体画像を保存しておくデータ保存部を備え、
   前記被写体の全体を取得できない場合に、前記データ保存部から被写体画像を選定し、画像を補間することを特徴とする請求項１から４までのいずれか１項に記載の情報通信端末。
6. 前記距離測定部と前記撮像部とは、同時に距離と画像を測定可能なＴＯＦカメラであることを特徴とする請求項１から５までのいずれか１項に記載の情報通信端末。
7. 請求項１から６までの何れか１項に記載の情報通信端末を用いることを特徴とするテレビ会議システム。
8. 請求項１から６までのいずれか１項に記載の第１および第２の情報通信端末と、該第１および第２の情報通信端末との間の通信を中継する多地点接続装置と、を有し、
   前記第１の情報通信端末は、前記共有データ画像と前記画像合成部により合成された第１の被写体画像とを前記多地点接続装置を介して前記第２の情報通信端末に送信し、前記第２の情報通信端末において抽出された第２の被写体画像と合成して前記第２の情報通信端末側で表示させ、
   前記第２の情報通信端末は、前記共有データ画像と前記画像合成部により合成された第２の被写体画像とを前記多地点接続装置を介して前記第１の情報通信端末に送信し、前記第１の情報通信端末において抽出された第１の被写体画像と合成して前記第１の情報通信端末側で表示させることを特徴とするテレビ会議システム。
9. 請求項８において、
   前記画像合成部を、多地点接続装置に設け、前記第１の情報通信端末および前記第２の情報通信端末側は、前記第１および第２の被写体画像のみを前記多地点接続装置に送り、共有データ画像は多地点接続装置における画像合成部で合成することを特徴とするテレビ会議システム。
10. 請求項８において、
    前記画像合成部を第１の情報通信端末のみに設け、前記第２の情報通信端末は、前記第２の被写体画像のみを前記多地点接続装置を介して前記第１の情報通信端末の画像合成部で合成することを特徴とするテレビ会議システム。
11. 画像を撮像する撮像部と、画像を表示する表示装置と、データを送受信するデータ通信部と、を備えた情報通信端末を利用した情報処理方法であって、
    前記撮像部から前記表示装置近傍の事物までの距離データを取得するステップと、
    取得された距離データを元に、前記撮像部により撮像された画像から特定の被写体画像を抽出する被写体抽出ステップと、
    複数の情報通信端末間で共有する共有データ画像作成ステップと、
    前記共有データ画像と前記被写体画像とを合成する画像合成ステップと、を有することを特徴とする情報処理方法。
12. 前記被写体抽出ステップは、前記表示部までの距離を基準として、前記撮像ステップにより撮像された画像のうち、ある範囲内に存在する画像を特定の被写体として抽出するステップを有することを特徴とする請求項１１に記載の情報処理方法。
13. 請求項１１又は１２に記載のステップを、コンピュータに実行させるためのプログラム。
14. 請求項１３に記載のプログラムを記録するコンピュータ読みとり可能な記録媒体。

Images