JPH06261317A - 遠隔共有空間を構成する映像システム - Google Patents

Abstract

(57)【要約】 【目的】処理映像を通信して，遠隔地にいる者同士が一
つの作業空間を囲んであたかもその場に居合わせるかの
ような協同作業を行うことのできる環境を作成すること
を目的とする。 【構成】遠隔地にある実体と同様の表示面積と表示面位
置で画像を表示する手段８と，表示オブジェクトと実体
オブジェクトとを分離して撮像する手段７と，処理映像
を通信する手段２とにより，その場にある実体オブジェ
クトと他の場所から送られた映像による表示オブジェク
トとを合わせて遠隔共有空間を構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は，映像撮像／表示系の組
み合わせと映像通信を用いた映像システムに係り，特に
遠隔地間で協同作業を行うための空間共有を目的とした
遠隔共有空間を構成する映像システムに関するものであ
る。

【０００２】極限作業や遠隔協同作業など地理的に離れ
た場所において協同作業を行う場合，相互にその場に存
在するのと同様の方向感，距離感を得られる映像撮像／
表示および映像通信技術が必要になる。

【０００３】

【従来の技術】前述のような技術分野において，ハーフ
ミラーを用いて透過して見える肉眼映像に，反射されて
見える映像を重ねて表示するものが存在するが，作業空
間内のオブジェクトをその場に存在しているのと同様の
方向感，距離感をもって見ることができないという問題
があった。また，ヘッドマウントディスプレイを用いる
ものは，それを頭部に搭載することにより身体が拘束さ
れるという問題があり，大きなハーフミラーを空間上に
配置するものは，作業空間が物理的に制約されるという
問題があった。

【０００４】一方，実空間とは別に仮想的に生成した共
有空間に話題物をモデル化して入力し，生産物を現実空
間に出力する方式があり，この場合には話題物のモデリ
ング法や実物体への生成法が問題となる。

【０００５】地理的に離れた場所にいるもの同士が１つ
の作業空間（例えば机）を囲んで，あたかもその場に居
合わせるかのように協同作業が行えるためには，双方の
空間に存在するオブジェクトを，双方の作業者が同時に
その場に存在しているのと同様の方向感，距離感を持っ
て見ることが可能でなければならない。そして，オブジ
ェクト同士の配置構成や組立等の作業を行う場合，離れ
た地点に存在する双方のオブジェクト間の位置関係が精
度よく写像されている必要がある。

【０００６】

【発明が解決しようとする課題】本発明は上記課題の解
決を図り，地理的に離れた場所にいるもの同士が１つの
作業空間を囲んで，あたかもその場に居合わせるかのよ
うに協同作業を行うことができるようにすることを目的
とする。

【０００７】

【課題を解決するための手段】本発明に係わる遠隔共有
空間を構成する映像システムは，遠隔地にある実体と同
様の表示面積と表示面位置で，遠隔地にある作業空間の
オブジェクトを表示する手段と，表示された作業空間の
オブジェクトと共存する実体オブジェクトを空間分割的
または時間分割的に分離して撮像する手段と，互いに撮
像した処理映像を通信する手段とを持ち，各遠隔地にあ
る作業場において実体オブジェクトと他の場所から送ら
れた映像による表示オブジェクトとを合成することによ
り共有空間を表出する。

【０００８】これにより，互いに双方の空間にあるオブ
ジェクトをその場に存在しているのと同様の方向感，距
離感をもって見ることができるようになる。

【０００９】

【作用】表示された作業空間のオブジェクトと，共存す
る実物体とを空間分割的に分離して撮像する場合，例え
ば撮像系レンズ側と表示部の表示面側に張り付けた２枚
１組の偏光板によって，光学的に実体オブジェクトと表
示オブジェクトを分離して撮像する。また，時間分割的
に分離して撮像する場合には，例えば電気信号により光
透過状態と光不透過状態の切り替え制御が可能な液晶調
光パネルを用いて，その液晶調光パネルを，撮像系カメ
ラのシャッタータイミングに同期して，撮像時には光不
透過状態，撮像中断時には光透過状態になるように制御
する。光不透過状態では実物体が表示部と分離して撮像
され，光透過状態では表示オブジェクトと実体オブジェ
クトが合成されて見えることになる。

【００１０】互いに自空間に実在する実体オブジェクト
を撮像して，それを他空間に送信し，受信した映像から
表示オブジェクトを生成することにより，地理的に離れ
た場所にいるもの同士が１つの作業空間（例えば机）を
囲んで，あたかもその場に居合わせるかのような協同作
業形態を実現することができる。

【００１１】

【実施例】以下図面を用いて，本発明の実施例を詳細に
説明する。図１は，本発明の空間分割型（光学的）の撮
像系を用いたシステム構成の一例を示す。

【００１２】図１において，１，１′は空間撮像用カメ
ラであり，遠隔地における作業空間を撮像する。本実施
例では，作業机（透明板を乗せた表示画面）を上空から
撮像している。２は通信インタフェースであり，空間撮
像用カメラ１，１′の映像を通信する機能を有する。
３，３′は画像入力部であり，通信インタフェース２を
介して通信された映像を受信して，スケールを比較する
ために作業空間やオブジェクトの特徴的形状を抽出す
る。４，４′は表示サイズ比較部であり，初期設定の表
示部８，８′の画面サイズに基づき，画像入力部３，
３′で受信した画像の作業空間やオブジェクトの形状面
積から表示倍率，表示角度を計算する機能を有する。
５，５′はスケール補正信号送信部であり，表示サイズ
比較部４，４′の計算結果から，通信インタフェース２
を介して空間撮像用カメラ１，１′の光学的なズームア
ップ，ダウン制御を行う。６，６′は画像処理部であ
り，光学的な補正処理が済んだ画像に対して，歪補正，
回転，スケール変換（拡大，縮小）などの処理を行う。
７，７′は空間分割型撮像分離器であり，撮像系レンズ
側と表示部の表示面側に張り付けた２枚１組の偏光板に
よって実体オブジェクトと表示オブジェクトを分離して
撮像している。また，同一の対象を撮像／表示する系に
おいて光軸が一致したときに起きるトンネル状の映り込
み現象をなくしている。８，８′は表示部であり，画像
処理部６，６′の処理結果を表示装置（ＣＲＴ，プロジ
ェクタ）へ表示する。

【００１３】次に動作の概要について述べる。Ａ空間の
机上にオブジェクトを置くと，空間撮像用カメラ１が撮
像し，その映像は通信インタフェース２を介して送られ
て，表示部８′で表示される。

【００１４】画像入力部３′では，比較対象とする作業
空間やオブジェクトの特徴的形状を抽出する。表示サイ
ズ比較部４′では，表示部８′の画面サイズの初期設定
に基づき，作業空間やオブジェクトの形状面積（画像成
分）から表示倍率，表示角度を計算する。スケール補正
信号送信部５′では計算結果に基づいて，通信インタフ
ェース２を介して，空間撮像用カメラ１の光学的なズー
ムアップ，ダウンを行い，撮像サイズと表示サイズ（画
面サイズに対する相対値）を近似させるようにフィード
バック制御を行う。表示サイズが近似した画像は，画像
処理部６′で回転，スケール変換（拡大，縮小）が行わ
れ，微調整される。また，撮像系（レンズ），表示系
（ＣＲＴ歪み）の重畳された表示部中央に対する周辺の
画像歪み（３次元成分）も同時に補正される。そして，
作業空間やオブジェクトが遠隔地における作業空間とオ
ブジェクトと同様の表示面積，表示面位置で表示され
る。

【００１５】また，Ｂ空間の机上に置かれたオブジェク
トについても同様に撮像し表示される。なお，本実施例
のように空間分割型（光学的）の撮像系を用いると簡易
に実体オブジェクトと表示オブジェクトを分離して撮像
できるメリットがある。

【００１６】図２は，本発明の時間分割型の撮像系を用
いたシステム構成の一例を示す。図２において，１，
１′は空間撮像用カメラであり，遠隔地における作業空
間を撮像する。本実施例では，作業机（光透過／光不透
過制御板を乗せた表示画面）を上空から撮像している。
２は通信インタフェースであり，空間撮像用カメラ１，
１′の映像を通信する機能を有する。３，３′は画像入
力部であり，通信インタフェース２を介して通信された
映像を受信して，スケールを比較するために作業空間や
オブジェクトの特徴的形状を抽出する。４，４′は表示
サイズ比較部であり，初期設定の表示部８，８′の画面
サイズに基づき，画像入力部３，３′で受信した画像の
作業空間やオブジェクトの形状面積から表示倍率，表示
角度を計算する機能を有する。５，５′はスケール補正
信号送信部であり，表示サイズ比較部４，４′の計算結
果から，通信インタフェース２を介して空間撮像用カメ
ラ１の光学的なズームアップ，ダウン制御を行う。６，
６′は画像処理部であり，光学的な補正処理が済んだ画
像に対して，歪補正，回転，スケール変換（拡大，縮
小）などの処理を行う。８，８′は表示部であり，画像
処理部６，６′の処理結果を表示装置（ＣＲＴ，プロジ
ェクタ）へ表示する。１０，１０′は時間分割型撮像分
離装置であり，光透過／光不透過制御板（液晶調光パネ
ル）と，１１，１１′の透過／不透過制御回路，１２，
１２′の同期回路とからなる。

【００１７】次に動作の概要について述べる。撮像／表
示制御については，前述の空間分割型（光学的）の撮像
系を用いた方式と同様である。

【００１８】本実施例の構造的特徴である実体オブジェ
クトと表示オブジェクトとを分離して撮像する手段につ
いては，電気信号により光透過状態と光不透過状態を交
互に制御される液晶調光パネルを用いて，撮像系カメラ
のシャッタータイミングに同期して，撮像時は光不透過
状態，撮像中断時は光透過状態になるように制御する手
段によって構成される。

【００１９】Ａ空間の撮像系において，同期回路１２
は，空間撮像用カメラ１の出力するシャッター信号を受
信して同期信号を発生し，透過／不透過制御回路１１は
同期信号に同期した駆動信号を発生して，光透過／光不
透過制御板を動作させる。光透過／光不透過制御板は一
定の周期で透過／不透過状態を繰り返す。また，Ｂ空間
の撮像系においては，空間撮像用カメラ１′が撮像中断
時に，光透過／光不透過制御板（液晶調光パネル）が不
透過状態になるように，同期回路１２′が同期回路１２
の同期信号に対して遅延を持つ同期信号を発生し，透過
／不透過制御回路１１′はその同期信号に同期した駆動
信号を発生して光透過／光不透過制御板を動作させる。

【００２０】なお，本実施例のように時間分割型の撮像
系を用いて遠隔共有空間を構成する方式を用いると，光
の透過度を減少させないため画質を損なうことなく，実
体オブジェクトと表示オブジェクトを分離して撮像／表
示できるメリットがある。

【００２１】図３は，本発明の遠隔共有空間を構成する
方式を多地点間通信に拡張する場合のシステム構成の一
例を示し，図４は，図３におけるＡ空間，Ｂ空間，Ｃ空
間内の構成の一例を示す。

【００２２】図３および図４において，１ａ，１ｂ，１
ｃは空間撮像用カメラであり，遠隔地における作業空間
を撮像する。２ａ，２ｂ，２ｃは通信インタフェースで
あり，空間撮像用カメラ１ａ，１ｂ，１ｃの映像を通信
する機能を有する。８ａ，８ｂ，８ｃは表示部であり，
受信した映像を表示装置（ＣＲＴ，プロジェクタ）へ表
示する。２１はセレクタであり，多地点から送信された
映像を集線し，画像処理部２２，フィールド多重部２３
へ送信して所定の処理を行った後，分散した各地点へ処
理映像を分配する。２２は画像処理部であり，実寸大表
示のための撮像／表示制御および多地点協同作業空間を
創出するための画像合成を行う。２３はフィールド多重
部であり，立体視表示のための多重映像を生成する機能
を有する。２４は多地点間における運動通信を行うため
の操作モード要求信号と運動出力信号とを切り替える双
方向切替制御部であり，操作モード要求信号と運動出力
信号の授受によりどの地点からでも分散した地点に存在
する実物体を操作できるようにする。

【００２３】次に動作の概要について述べる。空間撮像
用カメラ１ａ，１ｂ，１ｃで撮像された各地点の作業空
間映像は，通信インタフェース２ａ，２ｂ，２ｃを介し
てセレクタ２１へ集線される。空間撮像用カメラ１ａ，
１ｂ，１ｃは立体視システムのため２台１組の撮像系か
らなる。セレクタ２１では，画像処理部２２，フィール
ド多重部２３とリンクし，実寸大表示と立体視表示のた
めの処理を行うパスを設定する。そして，自空間の表示
部８ａ，８ｂ，８ｃへは他空間の作業空間オブジェクト
を合成した画像を表示するようにパスを設定し，ネット
ワークを介して処理画像を各地点へ分配する。

【００２４】画像処理部２２は，実寸大表示のための撮
像／表示制御及び多地点協同作業空間を創出するための
画像合成を行う。実寸大撮像／表示制御については，前
述の空間分割型（光学的）の撮像系を用いた遠隔共有空
間を構成する方式と同様である。フィールド多重部２３
では，２台１組の空間撮像用カメラ１ａ，１ｂ，１ｃの
映像ソースを左右映像交互に１／６０sec ごとに多重す
る。セレクタ２１からネットワークを介して各地点へ分
配された画像は，他空間のオブジェクトが合成され，か
つ表示サイズが整合されて表示される。表示部側で表示
画像に同期して切り替わる時分割式のシャッター眼鏡を
用いて見ると，表示画像を立体視することができる。

【００２５】なお，本発明による映像システムを用いる
と，多地点間通信に拡張し，例えば特願平４−１９５６
１４号に示されるような遠隔操作システムを組み合わせ
て，遠隔地間において実物体を操作可能な環境を提供で
きるメリットがある。また，例えば特願平４−１１６３
９２号に示されるような双方向型マスタスレーブ運動制
御方法を応用すると，多地点間において時間分割に運動
通信を行い，どの地点からでも分散した地点に存在する
実物体を操作できる映像通信＋運動通信ネットワークを
構成することができる。

【００２６】以上実施例を示したように，本発明の遠隔
共有空間を構成する映像システムを用いることにより，
地理的に離れた場所にいるもの同士が１つの作業空間
（例えば机）を囲んであたかもその場に居合わせるかの
ように協同作業が行えるという利点がある。

【００２７】なお，コンピュータの中でオブジェクトを
仮想的に生成する機能を具備したり，作業用途に応じて
仮想的に生成したオブジェクトと実画像から抽出したオ
ブジェクトを合成する機能を各々の機構に別に設けてお
くこともできる。

【００２８】また，本実施例では実寸大（表示面積，表
示面位置）表示を用いているが，この発明はこれに限定
されるものではなく適宜使用用途の目的や作業環境，作
業要求に応じて，表示オブジェクトのスケール可変（拡
大，縮小）制御機能など，意図的に縮尺を変える手段を
用いることもできる。その他，本発明の要旨を逸脱しな
い範囲で種々変更して実施することができる。

【００２９】

【発明の効果】本発明は，以上説明したとおり，遠隔地
における双方のオブジェクトを双方の表示部に自動的に
実寸大（表示面積，表示面位置）表示，あるいは意図的
に縮尺を変えた表示を行って実体と合成する機能を実現
でき，１つの作業空間（例えば机）を囲んであたかもそ
の場に居合わせるかのような協同作業空間を遠隔地間に
おいて即時に創出できる実用的効果がある。

【００３０】また，既知の遠隔操作システムなどを組み
合わせることなどによって，遠隔地間において実物体を
操作可能な環境を提供することができるようになる。

【図面の簡単な説明】

【図１】本発明の空間分割型の撮像系を用いた一実施例
を示す構成図である。

【図２】本発明の時間分割型の撮像系を用いた一実施例
を示す構成図である。

【図３】本発明を多地点間通信に拡張し，遠隔操作シス
テムと組み合わせた一実施例を示す構成図である。

【図４】図３におけるＡ空間，Ｂ空間，Ｃ空間内の構成
図である。

【符号の説明】

１ 空間撮像用カメラ ２ 通信インタフェース ３ 画像入力部 ４ 表示サイズ比較部 ５ スケール補正信号送信部 ６ 画像処理部 ７ 空間分割型撮像分離器 ８ 表示部 １０ 時間分割型撮像分離装置 １１ 透過／不透過制御回路 １２ 同期回路

Claims (1)

【特許請求の範囲】
1. 【請求項１】 地理的に離れた場所における協同作業を
   支援する映像システムであって， 遠隔地にある実体と同様の表示面積と表示面位置で，遠
   隔地にある作業空間のオブジェクトを表示する手段と， 表示された作業空間のオブジェクトと，そのオブジェク
   トと共存する実体オブジェクトとを空間分割的または時
   間分割的に分離して撮像する手段と， 互いに撮像した処理映像を通信する手段とを有し， 各遠隔地にある作業場において実体オブジェクトと他の
   場所から送られた映像による表示オブジェクトとを合成
   することにより共有空間を表出することを特徴とする遠
   隔共有空間を構成する映像システム。