JPH04321396A - テレビ電話の映像合成装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明はテレビ電話装置におい
て受信された相手映像信号、送信した自映像信号などを
同一表示画面に合成表示するために用いられる映像合成
装置に関するものである。

【０００２】

【従来の技術】図７Ａに従来のテレビ電話装置等におけ
る画像合成部を示す。端末Ａと端末Ｂとの通話における
映像の合成は以下のように行われる。端末Ａ側の映像入
力部（カメラ）１１より端末Ａ側の話者の映像信号が入
力され、その映像信号は符号化部１２において映像符号
化が行われ、伝送部１３を介して端末Ｂ側に送信される
。

【０００３】一方、端末Ｂから送られ、伝送部１３で受
信した映像データは復号化部１４で復号化処理され、そ
の復号された映像信号は映像合成部１５で映像入力部１
１より入力した端末Ａ側の話者映像信号とが合成され、
映像出力部１６へ供給されて表示される。図８に示すよ
うに同一の表示画面に、端末Ｂ側の話者映像と端末Ａ側
の話者映像とが合成表示されるように両映像信号で１つ
のフレームを構成するように映像合成部１５で合成する
。

【０００４】このような映像の合成をすることにより、
相手側の映像をみるだけではなく、話者自身の映像が表
示されるため、例えば話者がカメラの正面に正しく位置
しているかの確認ができ、送信される映像の内容、質の
確認ができる。ここに、映像合成部１５の従来の構成は
図７Ｂに示すようなものである。入力信号は受信映像信
号である主映像信号と送信映像信号である副映像信号と
の２映像入力であり、副映像信号は、先ず縮小処理部１
７において縮小処理が施される。縮小処理部１７は副映
像をテレビ画面において縦横方向に画面縮小するため、
水平ライン方向での画素の間引きと、縦方向におけるラ
インの間引きとを行う。縮小処理された副映像信号は反
転処理部１８で必要に応じてテレビ画面表示像の左右が
反転される。通常、カメラ入力した映像を自己モニタす
る場合は鏡に写った像をみることになるが、反転処理を
行うことにより、相手側がみた像と同じ像を自己モニタ
することができる。この反転処理は必要に応じて反転あ
るいは非反転が選択できる。

【０００５】縮小された副映像信号をテレビ画面の任意
の位置で合成できるようにするために、メモリ部に縮小
された副映像信号は一旦記憶される。その記憶された副
映像信号はメモリ制御部２１からの読み取り信号にした
がってメモリ部１９から読み出され、多重化部２２にお
いて、主映像信号と合成される。この多重化処理はメモ
リ部１９からの読み取り出力を契機として行われる。

【０００６】

【発明が解決しようとする課題】最近ではテレビ電話装
置を用いて遠隔距離間の会議等を行う検討が進んでおり
、話者の他に打ち合せ資料等の伝送の比重が高まってい
る。この場合、どの映像を画面に表示するかが問題とな
る。

【０００７】

【課題を解決するための手段】この発明によれば文字パ
タン情報信号や静止画情報信号などの第３情報信号を、
受信映像信号と同期して発生する第３情報発生部が設け
られ、この第３情報信号の入力と、縮小処理された送信
映像信号の入力との状態にもとずき、予め決められた切
替信号が切替信号発生部から発生され、その切替信号に
より多重化処理部が制御され、受信映像信号と、メモリ
から読み出された送信映像信号と、第３情報信号との何
れかが切り替え出力される。

【０００８】切替信号発生部内の各信号の入力状態と切
替信号との関係を変えるだけで多重化処理部の構成を変
更することなく、表示される映像の優先度や、１画面内
に組み合される映像の種類や、合成の重ね合わせ（オー
バレイ）の順序を変更することができる。

【０００９】

【実施例】この発明の実施例を図１に示す。入力選択部
２３で入力選択コマンドの指示に基づき、複数の入力映
像信号から２つの映像信号が選択入力される。例えば相
手に送信する送信映像、相手端末から受信した受信映像
、送信映像以外の自端末入力映像等の中から主映像と副
映像の対象が選択して入力される。

【００１０】縮小処理部１７では副映像を生成するため
の縮小処理が選択入力された副映像信号に対して行われ
る。縮小処理部１７はテレビ画面の縦横方向に画面縮小
するため、入力信号の水平ライン方向での画素の間引き
（横方向サブサンプル処理）と、縦方向におけるライン
の間引き（縦方向サブサンプル処理）とを行う。縮小処
理部１７内には、サブサンプル時におけるナイキストの
折り返し周波数成分を除去するため、間引きの前に帯域
制限を行うフィルタを備えてもよい。この、帯域制限フ
ィルタは水平ライン方向の画素の間引き用（水平フィル
タ）と垂直方向のライン間引き用（垂直フィルタ）との
２種類がある。また、これらのフィルタ処理はＹ信号（
輝度信号）、Ｃｂ、Ｃｒ信号（２種類の色差信号）のそ
れぞれについて行う。サブサンプル処理は副映像の表示
サイズに対応して行う。例えば、副映像の表示サイズが
主映像に対し縦横それぞれ１／３の画面サイズであれば
、水平方向については３画素毎に２画素を間引き、垂直
方向については３ライン毎に２ライン間引くものとする
。

【００１１】縮小処理部１７の出力は反転処理部１８へ
供給される。反転処理部１８は１水平ラインのデータを
記憶する２つのバッファメモリから構成され、バッファ
メモリに入力するデータの書き込み順序と、バッファメ
モリからデータを読み取る順序とを１ライン毎に逆転し
、つまり書き込みの最終番号を先頭にして読み取って出
力する。このような２つのバッファメモリの一方が書き
込み状態にある場合、他方は読み取り状態にあり、この
ような書き込み・読み取りの関係をライン単位で繰り返
すことにより、反転処理部１８からは入力信号に対して
１ライン分の遅延を有する反転映像信号が連続して出力
される。通常、カメラ入力した映像を自己モニタする場
合は鏡に写った像をみることになるが、反転処理を行う
ことにより、相手側がみた像と同じ像を自己モニタする
ことができ、送信される映像の確認等に有効である。 なお、反転処理部２４で必要に応じて主映像信号に対し
ても同様に反転処理を行うことができるようにされてい
る。反転処理部１８，２４はそれぞれ各別の反転指定／
解除指令により反転処理を行ったり、反転処理を行わな
い。反転解除の状態ではバッファメモリへの書き込みは
行わず、単にバイパスを介して、信号を通過させる。

【００１２】反転処理部１８の出力はメモリ部１９に記
憶される。この記憶される映像信号は通常は１テレビフ
レーム分であり、メモリ制御部２５からの読み取り信号
にしたがってメモリ部１９からの読み出しが行われる。 図２に主映像と副映像との表示画面上の位置関係を示す
。主映像の画面を座標系としてテレビフレームの開始点
を原点（０，０）とする。このとき、水平方向の画素番
号が水平軸の座標値Ｘ、ライン番号が垂直方向の座標値
Ｙとなる。したがって、フレーム上に副映像をマッピン
グするウインドウのパラメータセットを｛（Ｘ０，Ｙ０
），ＬＸ，ＬＹ｝（ここに、（Ｘ０，Ｙ０）はウインド
ウの原点、ＬＸ，ＬＹはそれぞれウインドウの幅、高さ
）としたとき、メモリ制御部２５では、水平方向につい
ては各ライン毎に標本化クロックに同期してＸ座標値Ｘ
を計数してＸ０，Ｘ０＋ＬＸと比較し、垂直方向につい
てはラインクロックに同期してＹ座標値Ｙを計数してＹ
０，Ｙ０＋ＬＹと比較し、比較結果が以下の２条件Ｘ０
≦Ｘ≦Ｘ０＋ＬＸ Ｙ０≦Ｙ≦Ｙ０＋ＬＹ を同時に満足する場合、メモリ部１９からのデータ読み
取りを行う。ここに、読み取りの順番はメモリ部１９へ
の書き込み順番に対応し、且つ読み取り速度は主映像の
画素周波数（標本化クロック周波数）に一致している。

【００１３】この実施例では第３情報発生部として文字
パタン発生部２６が設けられ、文字パタン発生部２６か
らは文字の１水平ライン方向の２値パタン（０，１信号
）が出力される。このパタン発生を複数ライン分繰り返
すと文字が形成される。この文字パタンは位相処理部２
７へ供給される。位相処理部２７は１水平ラインのデー
タを記憶するバッファメモリから構成され、主映像のラ
イン同期と文字パタンのライン同期との位相が一致する
ように、両者の位相差分だけ文字パタン信号を遅延させ
る。位相処理部２７の出力はカラー制御部２８に入力さ
れ、カラー制御部２８では入力に同期して文字の輝度値
および色差値よりなる文字画素信号を出力する。文字パ
タン発生部２６はキャラクタジェネレータ等から構成さ
れ、したがって直接カメラ入力した文字に比べて文字品
質を向上させることができる。

【００１４】主映像信号と、副映像信号と、文字画素信
号とが多重化処理部２９に入力される。多重化処理部２
９はスイッチ回路であって入力信号の何れかを切替信号
にもとずき選択して出力することにより映像信号を合成
する。副映像信号と文字画素信号との入力状態が切替信
号発生部３１で検知され、その検知結果に基づき予め設
定した切替信号が発生され、この切替信号により多重化
処理部２９のスイッチングが行われる。

【００１５】多重化処理部２９及び切替信号発生部３１
は例えば図３に示すように構成される。多重化処理部２
９は文字画素信号が供給されるスイッチＳＷ１と、主映
像画素信号が供給されるスイッチＳＷ２と、副映像画素
信号が供給されるスイッチＳＷ３と、これらＳＷ１，Ｓ
Ｗ２，ＳＷ３の各出力信号をＯＲ論理で出力するＯＲゲ
ート３２とから構成される。スイッチＳＷ１，ＳＷ２，
ＳＷ３はそれぞれ切替信号Ｓ１，Ｓ２，Ｓ３にオン、オ
フ制御される。切替信号Ｓ１，Ｓ２，Ｓ３の取り得る“
０”，“１”の組合せは以下に示す３通りである。

【００１６】｛Ｓ１，Ｓ２，Ｓ３｝＝｛１，０，０｝，
｛０，１，０｝，｛０，０，１｝ 即ち、例えばスイッチＳＷ１が接続（オン）ならばスイ
ッチＳＷ２，ＳＷ３は開状態（オフ）にあり、３個のス
イッチＳＷ１〜ＳＷ３の内、１スイッチが常時閉じてい
て、閉状態のスイッチからの画素信号のみがＯＲゲート
３２を介して出力される。

【００１７】切替信号発生部３１は多重化処理部２９に
入力する信号の有無と、その入力状態に応じて多重化処
理部２９で開閉すべきスイッチの関係を状態パタンとし
て記憶する状態パタンメモリ（ＲＯＭ）３３と、そのメ
モリ３３からの出力を切替信号Ｓ１，Ｓ２，Ｓ３に変換
する切替パルス発生回路３４とから構成される。状態パ
タンメモリ３３に記憶される開閉すべきスイッチの状態
パタンの例を図４Ａに示す。切替信号発生部３１に入力
する信号は文字パタン信号Ｍと、読み取りタイミングＦ
と、標本化クロックＳとであり、文字パタン信号Ｍは文
字画素信号に同期し、Ｍ＝１（０）では多重化処理部２
９への文字画素信号入力がある（ない）を表す。読み取
りタイミングＦは多重化処理部２９へ入力する副映像画
素信号に同期し、Ｆ＝１（０）では多重化処理部２９へ
の副映像画素信号入力がある（ない）を表す。標本化ク
ロックＳは主映像画素信号に同期し、常時Ｓ＝１である
。この図４Ａに示した状態設定の前提条件として、多重
化処理部２９から出力すべき画素信号の優先順位が文字
画素信号、副映像画素信号、主映像画素信号の順となる
ようにし、スーパーインポーズを優先的に実行する。 話者が文字パタン情報を表示しない場合はその指示をす
ると文字パタン発生部２６から文字パタンが出力される
。したがって、文字パタン信号Ｍ、読み取りタイミング
Ｆ、標本化クロックＳの入力状態に対する出力状態は図
４Ａに示すように４通りであり、その４通りを切替指定
結果Ｍ０，Ｆ０，Ｓ０で示し、切替指定結果Ｍ０が“１
”、Ｆ０が“１”、Ｓ０が“１”であれば、それぞれ多
重化処理部２９の出力結果が文字画素信号、副映像画素
信号、主映像画素信号となる。また、切替指定結果Ｍ０
，Ｆ０，Ｓ０と切替パルス発生回路３４の出力との関係
は図４Ｂのタイミングチャートに示すようになる。 つまりＭ０が“１”でＳ１が“１”、Ｆ０が“１”でＳ
２が“１”、Ｓ０が“１”でＳ３が“１”となる。

【００１８】なお、主映像信号と副映像信号との多重化
はライン単位に行い、１フレーム分繰り返すと主／副合
成画面が構成される。ウインドウの位置はパラメータセ
ットとして可変可能であり、テレビフレーム上の任意の
位置への表示ができる。また文字パタンの表示は１画面
全体に表示してもよく、主映像（受信映像）と共にウイ
ンドウ表示してもよい。

【００１９】この発明による映像合成装置において第３
情報として静止画情報を用いる例を示す。即ち、図５に
示すように、図１中の文字画素信号発生部のかわりに、
静止画メモリ部３５と静止画メモリ制御部３６が設けら
れ、他の構成は図１に示した実施例と同一である。静止
画メモリ部３５に記憶する静止画は例えば縮小処理され
た１テレビフレーム分の副映像画素信号をバッファリン
グしたものでメモリ部１９から読み出された信号が静止
画メモリ部３５に記憶される。静止画メモリ制御部３６
は静止画を表示面上でマッピングするウインドウの位置
を制御する。このウインドウパラメータは｛（Ｘ′０，
Ｙ′０），ＬＸ，ＬＹ｝（ここに、（Ｘ′０，Ｙ′０）
はウインドウの原点）であり、ウインドウの幅および高
さＬＸ，ＬＹは副映像のウインドウ指定値と同一である
。

【００２０】静止画メモリ制御部３６では、水平方向に
ついては各ライン毎に標本化クロックに同期してＸ座標
値Ｘを計数してＸ′０，Ｘ′０＋ＬＸと比較し、垂直方
向についてはラインクロックに同期してＹ座標値Ｙを計
数してＹ′０，Ｙ′０＋ＬＹと比較し、比較結果が以下
の２条件 Ｘ′０≦Ｘ≦Ｘ′０＋ＬＸ Ｙ′０≦Ｙ≦Ｙ′０＋ＬＹ を同時に満足する場合、静止画メモリ部３５からのデー
タ読み取りを行う。ここに、読み取り速度は主映像の画
素周波数（標本化クロック周波数）に一致させる。この
実施例における多重化処理部２９と切替信号発生部３１
とを図６に示す。図６は図３に示した構成と基本的には
同一であるが、この例では切替信号発生部３１の状態パ
タンメモリ３３の状態パタン部分を自由に設定可能な可
変状態パタンメモリ（ＲＡＭ）３７とした場合である。 切替信号発生部３１には標本化クロック、静止画像読取
タイミング、副映像読取タイミングが入力され、これら
の入力状態に基づき、主映像、副映像および静止画の合
成を行うための切替信号を発生させる。このような、切
替信号発生部３１と多重化処理部２９のスイッチＳＷ１
，ＳＷ２，ＳＷ３との各動作の関係は図１の実施例で示
したスーパーインポーズの場合と同様に行う。また、切
替信号発生部３１の可変状態パタンメモリ（ＲＡＭ）３
７の内容変更はオーバレイ（重ね合せ）指定信号にて行
い、表示面で主映像、副映像および静止画を合成する場
合の優先順位を規定する。

【００２１】このような図１、図５で示した映像合成装
置に入出力する映像信号の信号形式をＣＣＩＲ　　Ｒｅ
ｃ．６０１勧告に従った形式とすれば、標準化されたテ
レビ電話の映像符号化方式との整合がとれる他、映像信
号処理がデジタル処理のためノイズ等がなく高品質なも
のとなる。静止画としては入力選択部２３を選択制御し
て、ＶＴＲ、ビデオディスク、ビデオメモリ、ビデオカ
メラ、コンピュータを含む画像処理装置などの各種の静
止画像源からの静止画を縮小処理部１７又は反転処理部
２４へ入力し、副映像画素信号又は主映像画素信号とし
て静止画メモリ部３５に格納される。静止画も必要に応
じて画面一杯に表示させてもよい、縮小表示する場合も
、副映像と同一サイズとしなくてもよい。なお、入力選
択部３３では上述した映像の選択の他に、受信映像につ
いてもテレビ会議の場合は複数相手中の発声者の映像が
選択される。

【００２２】

【発明の効果】以上説明したようにこの発明によれば、
テレビ電話において、受信映像、送信映像のみならず文
字データ、静止画などの第３情報を表示させることがで
き、その場合、その受信映像、送信映像、第３情報の入
力状態に応じて、予め決められた切替信号を切替信号発
生部から発生し、その切替信号により多重化処理部を切
替え制御して合成しているため、複数入力に対し、予め
設定された優先順位に従って表示することができ、その
順位の変更は切替信号発生部を変更すればよく、多重化
処理部を変更する必要はない。特に図５に示すように状
態パタンメモリをＲＡＭで構成する場合は、必要に応じ
て、優先順位を容易に変更することができる。

【図面の簡単な説明】

【図１】この発明の実施例を示すブロック図。

【図２】表示面上のウインドウの形式例を示す図。

【図３】図１中の多重化処理部２９及び切替信号発生部
３１の具体例を示すブロック図。

【図４】Ａは図３中の状態パタンメモリ３３の記憶例を
示す図、Ｂは切替指定結果と切替信号との関係例を示す
タイムチャート。

【図５】この発明の他の実施例を示すブロック図。

【図６】図５中の多重化処理部２９及び切替信号発生部
３１の具体例を示すブロック図。

【図７】従来のテレビ電話の映像等を示すブロック図、
Ｂは従来の映像合成部１５を示すブロック図。

【図８】表示面上のウインドウ形式を示す図。

Claims (3)

【特許請求の範囲】
1. 【請求項１】　　送信映像信号を縮小処理部で縮小処理
   し、その縮小処理された送信映像信号をメモリに記憶し
   、メモリ制御部で、上記縮小処理された送信映像信号が
   表示されるべき表示画面上のウインドウ位置情報を用い
   て上記メモリから縮小処理された送信映像信号を読み出
   し、多重化処理部で受信映像信号に対し、切り替え合成
   するテレビ電話の映像合成装置において、上記受信映像
   信号と同期して第３情報信号を発生する第３情報発生部
   と、上記第３情報信号の入力と、上記縮小処理された送
   信映像信号の入力との状態にもとずき、予め決められた
   切替信号を発生する切替信号発生部と、その切替信号に
   より制御され、上記受信映像信号、上記メモリから読み
   出された送信映像信号、上記第３情報信号の何れかを切
   り替え出力されるようにされた上記多重化処理部と、を
   設けたことを特徴とするテレビ電話の映像合成装置。
2. 【請求項２】　　上記第３情報発生部は上記第３情報信
   号として文字パタン情報信号を発生する文字パタン発生
   部であることを特徴とする請求項１記載のテレビ電話の
   映像合成装置。
3. 【請求項３】　　上記第３情報発生部は上記第３情報信
   号として静止画情報信号を発生する静止画情報発生部で
   あることを特徴とする請求項１記載のテレビ電話の映像
   合成装置。