JPH08298651A - 映像の表現を改良した遠隔テレビ会議システム - Google Patents

Abstract

(57)【要約】 【目的】 この発明はＴＶ会議において、撮影条件を頻
繁に変化させることにより全員同一テーブルについてい
るような臨場感を与え、飽きさせないようにすることを
目的としたものである。 【構成】 参加者が複数箇所に分散しているテレビ会議
において、各会場のカメラによる映像画面を予めコンピ
ュータに入力設定した映像演出アルゴリズムに基づく画
面を自動的に送信することを特徴とした映像の表現を改
良した遠隔テレビ会議システム。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、テレビ（以下ＴＶと
する）会議において、撮影条件を頻繁に変化させること
により全員同一テーブルについているような臨場感を与
え、飽きさせないことを目的とした映像の表現を改良し
た遠隔テレビ会議システムに関する。

【０００２】

【従来の技術】従来行われているＴＶ会議システムによ
れば、カメラは殆ど定位置（定角度）撮影であったの
で、映像に変化がなく、臨場感が乏しいのみならず、会
議参加者の緊張感を欠くおそれがあり、折角のＴＶ会議
もその効力を収めることがむつかしい現状であった。

【０００３】

【発明により解決すべき課題】会議はオフィスの活動に
おいて非常に重要な位置を占めており、ここ当分なくな
ることは無いといえる。そして、地理的に遠く離れた人
同士の会議では金銭的、時間的コストが大変高くつくた
めに遠隔ＴＶ会議に対するニーズが増大している。しか
し現在のところこれによって対面状況のような会議が可
能になっているとは言い難い。遠隔地の人同士のコミュ
ニケーションにおいては映像情報が重要な役割を持つと
いわれており、確かに従来の遠隔ＴＶ会議システムでも
映像は使用されているが、その映像が十分に活用されて
いない点に現在のＴＶ会議システムの持つ問題点の一つ
があると考えられる。

【０００４】即ち前記問題点は、映像の単調化にある。
例えばカメラが同一場所を長時間撮影する為に静止画像
を見るような感覚を受ける問題点と、カメラから疎外さ
れた者は、会議参加の意義を忘れ勝ちになる問題点があ
った。

【０００５】

【課題を解決する為の手段】然し乍らＴＶ放映において
は、複数人による長時間の会議であっても飽きることな
く、十分聞かせることは経験するところである。そこで
ＴＶ放映による成功（ＴＶ会議の欠点が出ない）を分析
した所、ＴＶ放映には専門のカメラマンが居て、映像時
間を管理していることがわかったので、この優れた技術
をテレビ会議にも応用することにより前記従来の問題点
を解決したのである。

【０００６】即ちこれまで研究されてきた多人数のＴＶ
会議システムの多くは、一つの画面に参加人数分のウイ
ンドウが常に表示されていたり、あるいは人数分の画面
があったりした。また多くの場合、他地点の映像は画面
近くに置かれた固定カメラによるものであった。

【０００７】まず前者について、コンピュータ作業では
複数のウインドウを同時に開いているほうが一般的であ
るが、これはユーザがそれぞれのウインドウを自分でコ
ントロールできるからであって、ＴＶ会議の場合はコン
ピュータ上のウインドウであっても、それらの動きをユ
ーザは制御できないため、その状況は映画やＴＶと同じ
ものになる。そして映画では複数の画面が同時に存在す
るのは珍しい。なぜなら、観客がそれらを制御できない
ので注意を分割することになる。映画の画面は、次々と
変わるので、観客は見ていない画面で起こっている大切
な動きを見逃しているのではないかと心配することにな
る。従って、ＴＶ会議システムにおいても多くのウイン
ドウを同時に使用しない方が良いと考えられる。

【０００８】次に後者について、固定カメラによる単調
な映像を飽きずに見続けられる人は少ないだろう。これ
は、映像固有の特性を考慮していないのである。映像に
は、対象のサイズを自由に変化させられ、また様々な視
点の構図を不連続に提示しうるという特徴がある。さら
に実時間の時間経過に関わらない表現も可能であり、映
像を認識するということは我々の実寸大の生活世界を認
識することとは異質なものだといえる。したがって映像
を考慮する場合にはショットの転換や様々なカメラワー
クといった映像に加えられた操作を考慮するべきである
が、これまで、会議に参加している人物が画面にどのよ
うに映されるべきかについては考えられていないようで
ある。

【０００９】これらの事柄を踏まえてＴＶ番組を考える
と、ＴＶ番組ではたいてい映っている画面は一つであ
り、その中で様々な映像操作がされている。例えばＴＶ
中継では、カメラは「見るべきもの」にフォーカスす
る。スポーツ中継では、カメラは「ボール」「選手」を
追い、観客席で騒動が起きれば、テレビカメラはそちら
を向く。これはそばにいる観客の視線と同じである。つ
まり、演出、視点の設定を行っているのである。討論番
組でも、これは当てはまる。そこで、ＴＶ会議のための
適切な映像表現を得るために、内容が会議に近いものと
して討論番組についての調査分析を行った。

【００１０】この発明は、参加者が複数箇所に分散して
いるテレビ会議において、各会場のカメラによる映像画
面を予めコンピュータに入力設定した映像演出アルゴリ
ズムに基づく画面を自動的に送信することを特徴とした
映像の表現を改良した遠隔テレビ会議システムであり、
映像演出アルゴリズムは、カメラアングル、撮影場所、
撮影時間、画面の明暗、色彩、遠近及び使用カメラ数と
したものである。

【００１１】また他の発明は、撮影時間は１ショット１
０秒以下を５０％以上としたものであり、撮影時間の総
和は話者単独を５０％以上としたものである。

【００１２】まず、画面上に映される人物の役割とその
ショットの種類から次のような分類法を考えた。これに
従い、人物の映っているすべての場面を分類する事がで
きた。

【００１３】１．話者単独場面：話者が一人だけ映って
いるもの ２．話者と周囲を含む場面：話者と話者の周囲の人物が
映っているもの ３．話者と相手を含む場面：話者と話者が話しかけてい
る人物が映っているもの ４．相手単独場面：話者が話しかけている人物が一人だ
け映っているもの ５．相手と周囲を含む場面：話者が話しかけている人物
とその周囲の人物が映っているもの ６．第３者単独場面：話者でも相手でもない人物が一人
だけ映っているもの ７．第３者複数場面：話者でも相手でもない人物が複数
映っているもの ８．全体場面：参加者全員が映っているもの

【００１４】そして、一つの場面の持続時間を秒単位で
計り、その分布を調べた（図１）。また場面が切り替わ
ってゆくときに、分類中のどの場面からどの場面へと切
り替わってゆくかという遷移状態を遷移確率の面から調
べた。ここで、場面の遷移について一つ考慮すべきこと
がある。場面が遷移する時の主なきっかけとしては、話
者の交代があるが、その他に、視聴者の関心を持続させ
る目的で行われていると考えられる場面の遷移がある。
これら二つは性質の異なるものであるので、区別して考
えた（表１、表２）。それに従って、ショットの持続時
間については話者交代によって次のショットに遷移する
ことになったショット、すなわち話者交代時直前のショ
ットを除いたものについても集計した。

【００１５】

【表１】

【００１６】

【表２】

【００１７】まず図１から全体として、持続時間の短い
ものほど頻度が多く、長いものになるにつれてその頻度
は少なくなっていくことがわかった。これを分類別に調
べると、「話者」の入っている場面は持続時間が比較的
長いものもありばらつきが大きいことがわかった。それ
に比べて「話者」の映らない場面は平均して５秒程度と
短く、またばらつきが小さかった。これらは視聴者の関
心を持続させる目的が大きい場面で、視覚的な「間」と
なるような場面であると考えられる。なお、話者交代に
よる影響を除いたものについても全体の傾向に違いは見
られなかった。ただし、分類別では「話者単独場面」に
関して持続時間の短いショットが減少した。これは、あ
る人物が話者であるときに、別の人物が割り込んで話を
始めるといった状況で、話者の交代に合わせてショット
が切り替わることの影響が取り除かれたためであると考
えられる。

【００１８】次に、場面の遷移確率から遷移の中心は
「話者」の映る場面であることがわかった。また、話者
交代時には８割以上が話者の映る場面に遷移するのに比
べて、それ以外の時には話者の映っている場面からは比
較的他の場面に遷移することが多く、その後話者の映る
場面に戻るパターンがよく見られた。さらに、全資料時
間に占める分類別時間を調べたところ（図２）、「話者
単独場面」が６割以上あり、「話者と周囲を含む場面」
「話者と相手を含む場面」も合わせると８割以上であっ
た。

【００１９】これらのことから、一般に討論番組の映像
は話者を中心として展開し、時折視聴者の関心を持続さ
せるための比較的短い話者以外の場面に映り、再び話者
に返るという流れを持っていることがわかった。

【００２０】番組分析においては、会話の「相手」を考
慮して場面を８種類に分類した。しかし、これをシステ
ムに適応するときには、ＴＶ番組とＴＶ会議の違いを考
えねばならない。ＴＶ番組は一方向的なものであるのに
対し、ＴＶ会議は双方向的なものである。つまりＴＶ番
組においては、「話者」も「相手」も基本的にスタジオ
という同一の場所にいて、それらの映像は一方的に視聴
者に送られるのだが、ＴＶ会議では、「相手」は話者の
いる側の人物にも、別サイドの側の人物にもなりうる。
また、ＴＶ番組の分析結果から、場面の遷移においては
「話者」が特に重要であることがわかった。これらのこ
とから、まず話者を重視したシステムを試作し、そのた
めの映像演出アルゴリズムも、ＴＶ番組分析結果のうち
「話者」の映る場面に注目して作成した。

【００２１】具体的には、ＴＶの全場面のうちの、「話
者単独場面」、「話者と周囲を含む場面」、「第３者単
独場面」、「第３者複数場面」、「全景場面」だけを利
用して、新たに遷移確率行列を構成した（表３、表
４）。

【００２２】

【表３】

【００２３】

【表４】

【００２４】

【実施例】図１において、各会場には、参加者ａ、ｂ、
ｃ、ｄの前方に受像機１を設置し、受像機１の両側部
（又は上）にスピーカー２と、マイクロホーン３とビデ
オカメラ４とを設置し、参加者ｅの前にキーボード５
（入力用）をおき、矢示６、７のように送信・受信す
る。当然のこと乍ら矢示８、９、１０、１１のように音
声と映像を送受信する。前記キーボード５からの出力
は、矢示１２のように入力されて映像演出アルゴリズム
１３を作成し、これにより、コンピュータが半自動的に
ビデオカメラ４を制御する。

【００２５】この実施例のシステムは、会議の参加者と
は別に一人オペレータを使用する。オペレータは、その
時点での話者をコンピュータに指示するという役割だけ
を担う。これにより話者が誰なのかという点も考慮して
総合的なカメラの制御が映像演出アルゴリズムによって
行われる。つまり、オペレータは話者を指示するが、カ
メラは必ずしも話者に向けられるわけではなく、周囲の
人物も一緒に映したり、全体をとらえたりといったこと
が自動的に行われるのである。

【００２６】映像演出アルゴリズムは、ＴＶ番組の分析
にから得られた、分類場面間の遷移確率と場面ごとのシ
ョットの持続時間の確率分布をもとにして作成した。ま
ず、映像演出アルゴリズムの流れを図４に示す。

【００２７】尤も予めコンピュータへビデオカメラ４の
制御システムを入力（記憶）させておけば、全自動制御
により、ビデオカメラ４を動作させることができる。前
記ショットの持続時間決定を図４により説明すると次の
通りである。

【００２８】待期状態１４において、矢示２３のように
話者交代のキー入力があり１５となると、次の場面の分
類決定１６として矢示２５のようにショットの決定１７
となる。一方矢示２４のように持続時間を越えたとき１
８は、次の場面の分類決定１９となって矢示２６のよう
にショットの決定１７となる。前記ショットの決定１７
があれば、矢示２０のようにショットの持続時間決定２
１となる。このようにしてショットの持続時間決定２１
となれば、矢示２２のように再び待期状態となる。

【００２９】前記のように参加者ｅ（オペレータ）によ
り映像演出アルゴリズムを作成する場合には、会議の進
行に対応して画像を送ることができるので、一層臨場感
にあふれた会議運用ができる。

【００３０】尤も参加者ａ、ｂ、ｃ、ｄ、ｅが夫々入力
ボードを持ち、自分が発言している間だけ、自己のアル
ゴリズムを演出させ、他はコンピュータに組込んだプロ
グラム通りにカメラを動かすこともできるので、必ずし
も実施例の影響を受けるものではない。

【００３１】次にショットの持続時間については、ＴＶ
分析で得た、話者交代時直前のショットを除いたものを
もとにしている。なぜなら、話者の交代を指示するのは
オペレータであり、アルゴリズムに必要なのはそれ以外
の場合の映像の変化を作ることだからである。場面ごと
のショットの持続時間の度数を５秒単位で求め、その度
数に応じた確率でそれぞれの中央値の時間だけショット
が持続するものとした（表５）。

【００３２】

【表５】

【００３３】現在本システムでは、１サイトのビデオカ
メラは一台である。また、使用したカメラの操作はパン
（左右方向の回転角度）とズームのみである。４人の場
合、これで１０種類のショットがとられる。実際には、
遷移する場面の分類が決定された後、その時点の話者と
の関係から適当なショットが選ばれる。例えば「話者と
周囲」の場合、画面に映るのは二人か三人か、また右の
人か左の人かあるいは両方かなどがあり得る。このよう
に、一つの場面分類にいくつかのショットがある場合に
はそのうちの一つを等確率で選ぶ。

【００３４】また、実際のＴＶ番組において映す対象が
同一でショットを変える操作としては、ズームの他に複
数のカメラを切り替えることによって同じ人物を違うア
ングルで映す操作が一般的に見られるが、本システムで
は次の場面が全く同じ対象を映すことになった場合に
は、ズームによって異なるショットとなるようにしてい
る。

【００３５】前記は相手側のサイトに話者がいる場合に
ついて述べてきたが、話者側の映像については触れてい
ない。つまり、話者がいない側の状況をどのように映す
かという問題がある。これはＴＶ番組とＴＶ会議の違い
に起因する問題である。ＴＶ番組はＴＶの中に必ず話者
がおり、第三者としての視聴者に対して映像を提供して
いるので、ＴＶ番組の分析からは、本質的に話者側の映
像についての知識は得ることができない。そこで、これ
らについては実験的に適切な方法を見つけてゆく必要が
ある。

【００３６】

【発明の効果】この発明によれば、カメラを自動制御又
は半自動制御して予め設定したプログラム（又は入力プ
ログラム）により送信映像を制御するので、参加者に臨
場感と緊張感を与え、ＴＶ会議を実際の対面会議と同様
にし得る効果がある。

【図面の簡単な説明】

【図１】この発明の実施例の構成図。

【図２】従来ＴＶ放映されている会議ショットの例示持
続時間分布グラフ。

【図３】同じく全資料に占める各分類の時間の割合を示
す円グラフ。

【図４】この発明の実施例の映像演出アルゴリズムのブ
ロック図。

【符号の説明】

ａ、ｂ、ｃ、ｄ 参加者 １ 受像機 ２ スピーカー ３ マイクロホーン ４ ビデオカメラ ５ キーボード １３ アルゴリズム １４ 待期状態 １５ 話者交代のキー入力 １６ 分割決定 １７ ショット決定 １８ 持続時間を越えたとき １９ 分類決定 ２１ 持続時間決定

Claims (4)

【特許請求の範囲】
1. 【請求項１】 参加者が複数箇所に分散しているテレビ
   会議において、各会場のカメラによる映像画面を予めコ
   ンピュータに入力設定した映像演出アルゴリズムに基づ
   く画面を、自動的に送信することを特徴とした映像の表
   現を改良した遠隔テレビ会議システム。
2. 【請求項２】 映像演出アルゴリズムは、カメラアング
   ル、撮影場所、撮影時間、画面の明暗、色彩、遠近及び
   使用カメラ数としたことを特徴とする請求項１記載の映
   像の表現を改良した遠隔テレビシステム。
3. 【請求項３】 撮影時間は１ショット１０秒以下を５０
   ％以上とした請求項１記載の映像の表現を改良した遠隔
   テレビ会議システム。
4. 【請求項４】 撮影時間の総和は話者単独を５０％以上
   としたことを特徴とする請求項１記載の映像の表現を改
   良した遠隔テレビ会議システム。