JPH0472986A - テレビ電話機撮像方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 概　　　要 相手の動画像を見ながら通話を行うことができるテレビ
電話機撮像方法に関し、 電話機全体を大きくすることなく、かつ画面に写し出さ
れる相手が良く見える条件の下に通話相手と視線を合わ
せることができるテレビ電話機撮像方法を提供すること
を目的とし、 モニタ画面及びカメラを具備するテレビ電話機により、
相手の動画像を見ながら通話を行うことができるテレビ
電話機撮像方法において、モニタ画面の近傍に設置され
たカメラにより利用者を撮像し、該カメラによって得ら
れた撮像された映像信号を、データ変換手段によって画
像デ−タと輝度データとに変換し、演算処理手段によっ
て、該輝度データを３次元展開処理し、この３次元展開
処理の行われたデータに対応する画像データを所望のパ
ラメータに基づいて回転処理し、この回転処理の行われ
た画像データの内、前記撮像時に死角となり撮像されな
かった画像データを、適正に撮像された画像データに基
づいて補正処理し、該補正処理後に変換画像データを送
信する。

産業上の利用分野 本発明は、相手の動画像を見ながら通話を行うことがで
きるテレビ電話機撮像方法に関する。

近年、Ｉ　Ｓ　Ｄ　Ｎ（Ｉｎｔｅｇｒａｔｅｄ　５ｅｒ
ｖｉｃｅｓ　ＤｉｇｉｔａｌＮｅｔｗｏｋ）の構築によ
って、多重・高速のデータ通信が可能となり、動画像・
音声を同時に送受信できるテレビ電話機の開発が進めら
れている。このテレビ電話機においては、対話者が視線
を合わせた自然な対話が行えることがポイントとなるの
で、モニタ画面に写し出される相手と視線を合わせる必
要がある。

従来の技術 従来、テレビ電話機においては、モニタの画面に写し出
される相手との視線を合わせるために、例えば第１０図
に示すように、モニタ画面１に近い位置にカメラ２を設
置し、利用者の撮像を行っていた。また、他の構成例と
して第１１図に示すように、カメラ２をモニタ画面１の
上部に取りつけたものもある。これらのようにモニタ画
面１にカメ・う２を近づけて撮像することによって、視
線のズレを小さくすることができる。

更に、第１２図はハーフミラ−４をモニタ１ａのモニタ
画面１の正面に設置して、画面１の位置から撮像するよ
うにしたものである。このように画面１の位置から撮像
を行えば、画面１に写し出される相手と視線を合わせる
ことができる。

発明が解決しようとする課題 ところで、上述した第１０図及び第１１図に示した例で
は、視線のズレは小さくなるものの視線を合わせるには
至らない。つまり、相手と視線を合わせることができな
い問題がある。従って、画面に写し出される相手との対
話が視線のずれた違和感のあるものになる。

また、第１２図に示した例では、視線を合わせることは
可能であるが、ハーフミラ−４を用いるために、全体が
大きくなり、また、ハーフミラ−４を介して画面１を見
るために相手が見づらくなったり、カメラ２への光量が
不足したりする問題があった。

本発明は、このような点に鑑みてなされたものであり、
電話機全体を大きくすることなく、かつ画面に写し出さ
れる相手が良く見える条件の元に通話相手と視線を合わ
せることができるテレビ電話機撮像方法を提供すること
を目的としている。

課題を解決するための手段 第１図は本発明の原理図である。

本発明によれば、モニタ画面及びカメラを具備するテレ
ビ電話機により、相手の動画像を見ながら通話を行うこ
とができるテレビ電話機撮像方法において、まず、モニ
タ画面の近傍に設置されたカメラにより利用者を撮像し
、この撮像によって得られた映像信号を、データ変換手
段４０によって画像データＤＧと輝度データＤＬとに変
換する。

そして、演算処理手段４１によって、該輝度データＤＬ
を３次元展開処理４１ａし、この３次元展開処理４１ａ
の行われたデータに対応する画像データＤＧを所望のパ
ラメータに基づいて回転処理４１ｂし、この回転処理４
１ｂの行われた画像データの内、前記撮像時に死角とな
り撮像されなかった画像データを、適正に撮像された画
像データに基づいて補正処理４１Ｃする。

この補正処理４ｉＣ後に変換画像データＤＧＴを送信す
る。

作　　　用 上述した手段によれば、モニタ画面を見て通話を行う利
用者が、カメラで斜めから撮像されたとしても、演算処
理によって、その斜めの画像を正面の画像に変換し、相
手側のテレビ電話機に送信一 することができる。

従って、相手側のテレビ電話機のモニタ画面に、正面の
画像を写し出すことができると共に、こちらのモニタ画
面にも相手の正面画像が写し出されるので、視線を合わ
せた自然な対話を行うことができる。

実施例 以下、図面を参照して本発明の一実施例について説明す
る。

第２図は本発明の一実施例によるテレビ電話機撮像方法
を説明するためのフローチャートである。

また、本実施例のテレビ電話機の外観構成は第１０図に
示す従来例と同様とする。

最初に、画面を見る利用者の視線とその利用者を撮像す
るカメラの光軸とのズレについて第６図を参照して説明
する。

第６図に示す符号りは、利用者５とテレビ電話機６の画
面１との距離、８は利用者５の視線、９はカメラ２の光
軸、θは視線８と光軸９とのズレ角、Ｌｌはモニタ画面
１の中心とカメラ２との水平距離である。−船釣に利用
者５はテレビ電話機６から１３Ｑｃｍ位離れて通話を行
うので、この例では距離りを６０ｃｍとする。また、こ
のように距離りを一定に定めた場合でもズレ角θは水平
距離Ｌ１によって変わる。このズレ角θと水平距離Ｌ１
との関係は、距離りを６０ｃｍとすると第７図に示すよ
うに、水平距離Ｌ１がｌＱｃｍのときに、ズレ角θがほ
ぼ１０度、水平距離Ｌ１が２０ｃｍのときに、ズレ角θ
がほぼ２０度とリニアの関係に有る。また、水平距離Ｌ
１はモニタ画面ｌの大きさに依存するものであり、例え
ば第７図に示すように、現在のテレビ電話機の主流とな
っている５インチ程度の画面１を想定すると、カメラ２
は水平距離Ｌｌ＝ｌＱｃｍ程度の位置に設置可能なので
、この時のズレ角θはほぼ１０度となる。

つまり、このズレ角θを「０度」に補正してやれば、利
用者５の視線８とカメラ２の光軸９とを一致させること
ができ、即ち画面１に写った相手との視線を合わせるこ
とができる。このように視線８と光軸９とを一致させる
ためには、第９図に示すように、カメラ２が写し出す画
像１１を、実際の利用者５の画像１２と一致させればよ
く。これは、画像処理によって画像１１をズレ角θだけ
回転させ、画像１２に一致させればよい。また、この回
転させるズレ角θは、前述したように現在のテレビ電話
機の主流の画面であれば１０度程度でよいが、これより
も画面が大きい場合もあるので、例えば余裕をみて１０
０インチ程の画面を想定すると水平距離Ｌ１が２０ｃｍ
となり、ズレ角θは２０度程度となる。つまり、カメラ
２が写し出す画像１１を最大２０度程度回転させる画像
処理ができれば、正面から写した画像となり、相手との
視線を合わせることができる。

次に、このような画像処理によるテレビ電話機撮像方法
を第２図〜第５図を参照して説明する。

第２図のフローチャートに示すステップＳ１において、
画像データの取り込みを行う。これは、第３図に示すよ
うに、まず、カメラ２により利用者を撮像して得たアナ
ログの映像（動画像）信号ＡＳを、Ａ　／　Ｄ　（Ａｎ
ａｌｏｇ／Ｄｉｇｉｔａｌ）変換器２０によってデジタ
ル信号ＤＳに変換して、輝度情報抽出部２１へ出力する
。輝度情報抽出部２１はデジタル信号ＤＳから画像（静
止画像）データＤＣ及び輝度データＤＬを順次抽出して
、フィルタ処理部２２へ出力する。フィルタ処理部２２
は多数の情報から成る画像データＤＧ及び輝度データＤ
Ｌを圧縮し、かつ１フレ一ム単位の画像データＤＧＩ及
び輝度データＤＬ１に成形する。この成形された画像デ
ータＤＧ１は、Ｄ　Ｍ　Ａ　（Ｉｌｌｉｒｅｃｔ　Ｍｅ
ｍｏｒｙ　Ａｃｃｅｓｓ）コントローラ２３の制御によ
って、システムバス２４を介してビデオＲＡ　Ｍ（Ｒａ
ｎｄｏｍ　ＡｃｃｅｓｓＭｅｍｏｒｙ）　２５へ送られ
て記憶される。また、フィルタ処理部２２から出力され
る輝度データＤＬＩも同様にアトリビュートＲＡＭ２６
に記憶される。

アトリビュー）ＲＡＭ２６はビデオＲＡＭ２５に属性を
持たせであるので、アトリビュー）ＲＡＭ２６に記憶さ
れた輝度データＤＬＬの個々の情報は、ビデオＲＡＭ２
５に記憶された画像データＤＧ１の個々の情報に対応し
ている。

次に、第２図に示すステップＳ２において、コントラス
ト比（輝度ベクトル）によって３次元展開を行う。これ
は、第４図に示すアトリビュートＲＡＭ２６に記憶され
た輝度データＤＬ１、即ち輝度ベクトルをバス２４を介
して演算処理部２７に取り込み演算処理を行い、これに
よってヒストグラムを構成して立体認識（３次元展開）
を行うことである。

次に、第２図に示すステップＳ３において、画像データ
ＤＧＩの回転処理を行う。これは、第４図に示すビデオ
ＲＡＭ２５に記憶された画像データＤＧＩを、ステップ
Ｓ２において３次元展開したデータをもとに演算処理部
２７による演算によってズレ角θ分だけ回転させること
である。また、回転処理の行われたデータは、変換デー
タＤＴとして変換データ用ビデオＲＡＭ２８に記憶され
る。

但し、ズレ角θは前述したようにモニタ画面ｌの中心と
カメラ２との水平距離Ｌ１から予め求められ、回転処理
の演算を行うパラメータとして定められている。

次に、第２図に示すステップＳ４において、変換データ
ＤＴの補正処理を行う。これは、例えば第６図に示すよ
うに、カメラ２が利用者５を撮像したとすると、利用者
５の右側は全て撮像されるが左側においては死角となっ
て撮像されない部分があるので、その死角部分のデータ
を、第４図に示す演算処理部２７による演算によって、
変換データＤＴの右側部分のデータから予測して補正す
ることである。このように補正された変換データを変換
画像データＤＴＧ　（第５図参照）とする。

次に、第２図に示すステップＳ５において、変換画像デ
ータＤＴＧを送信する。これは、第５図に示すように、
まず、変換データ用ビデオＲＡＭ２８に記憶された変換
画像データＤＴＧを、バス２４を介してデータフレーム
構成部２９に送る。

変換画像データＤＴＧは、データフレーム構成部２９で
、相手側のテレビ電話機に同期できる信号に変換され、
Ｐ　／　Ｓ　（Ｐａｒａｌｌｅｌ／５ｅｒｉａｌ）変換
部３０でシリアル信号に変換され、更に、マルチプレク
サ３１でシリアル信号に音声データＤＢが介装されて、
回線接続部３２に出力される。そして、回線接続部３２
からｌ５ＤＮを介して相手側のテレビ電話機に送信され
る。

以上説明したように、本発明のテレビ電話機撮像方法に
よれば、テレビ電話機の利用者をカメラによって撮像し
た映像信号を、画像データと輝度データとに変換した後
、輝度データを３次元展開し、この３次元展開されたデ
ータに対応する画像データを予め設定されたズレ角分回
転させ、この回転処理の行われた画像データの内、撮像
時に死角となり撮像されなかった画像データに、適正に
撮像された画像データに基づいた補正を行い、この補正
後に変換画像データを、相手側の、テレビ電話機に送信
する。

従って、モニタ画面を見て通話を行う利用者が、カメラ
で斜めから撮像されたとしても、その斜めの画像を正面
の画像に変換して相手側のテレビ電話機に送信すること
ができるので、相手側のテレビ電話機のモニタ画面には
正面の画像を写し出すことができる。また、この方法で
は、第１２図に示した従来例のようにハーフミラ−４を
用いないので、ハーフミラ−４を介して撮像を行うカメ
ラの光量不足、或いはハーフミラ−４を介して見るモニ
タ画面の見すらさといったことがなくなり、更には、ハ
ーフミラ−４を適用することによって全体が大きくなる
といったことがなくなる。

発明の詳細 な説明したように、本発明によれば、電話機全体を大き
くすることなく、かつ画面に写し出される相手が良く見
える条件の下に通話相手と視線を合わせることができる
効果がある。

従って、視線を合わせた自然な対話を行うことができる
。

【図面の簡単な説明】

第１図は本発明の原理図、 第２図は本発明の一実施例によるテレビ電話機撮像方法
を説明するためのフローチャート、第３図は第２図に示
す画像データ取り込みステ冒 ツブを説明するための図、 第４図は第２図に示す輝度ベクトルによる３次元展開、
画像データの回転処理及び変換データの補正処理の各ス
テップを説明するための図、第５図は第２図に示す変換
画像データ送信ステップを説明するための図、 第６図は利用者とテレビ電話機との位置関係、及びズレ
角を説明するための図、 第７図はモニタ画面の中心とカメラの光軸との水平距離
と、ズレ角との関係を示す図、第８図は５インチモニタ
画面における水平距離を示す図、 第９図はカメラによって撮像される利用者の画像と、モ
ニタ画面に向かう利用者の正面画像とを示す図、 第１０図はモニタ画面の横にカメラが設置されたタイプ
のテレビ電話機の外観構成を示す概略斜視図、 第１１図はモニタ画面の上にカメラが設置されたタイプ
のテレビ電話機の外観構成を示す概略正面図、 第１２図はモニタ画面の正面にハーフミラ−が設置され
たタイプのテレビ電話機の概略内部構成図である。 ４０・・・データ変換手段、 ４１・・・演算処理手段、 ４１ａ・・・３次元展開処理、 ４１ｂ・・・回転処理、 ４１Ｃ・・・補正処理、 ＡＳ・・・映像信号、 ＤＧ・・・画像データ、 ＤＬ・・・輝度データ、 ＤＧＴ・・・変換画像データ。

Claims (1)

1. 【特許請求の範囲】 　モニタ画面及びカメラを具備するテレビ電話機により
   、相手の動画像を見ながら通話を行うことができるテレ
   ビ電話機撮像方法において、 モニタ画面の近傍に設置された前記カメラにより利用者
   を撮像し、 該撮像によって得られた映像信号（ＡＳ）を、データ変
   換手段（４０）によって画像データ（ＤＧ）と輝度デー
   タ（ＤＬ）とに変換し、 演算処理手段（４１）によって、該輝度データ（ＤＬ）
   を３次元展開処理（４１ａ）し、この３次元展開処理（
   ４１ａ）の行われたデータに対応する画像データ（ＤＧ
   ）を所望のパラメータに基づいて回転処理（４１ｂ）し
   、 この回転処理（４１ｂ）の行われた画像データの内、前
   記撮像時に死角となり撮像されなかった変換画像データ
   を、適正に撮像された変換画像データに基づいて補正処
   理（４１ｃ）し、 該補正処理（４１ｃ）後に変換画像データ（ＤＧＴ）を
   送信することを特徴とするテレビ電話機撮像方法。