[go: up one dir, main page]

JPH07287761A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法

Info

Publication number
JPH07287761A
JPH07287761A JP6080072A JP8007294A JPH07287761A JP H07287761 A JPH07287761 A JP H07287761A JP 6080072 A JP6080072 A JP 6080072A JP 8007294 A JP8007294 A JP 8007294A JP H07287761 A JPH07287761 A JP H07287761A
Authority
JP
Japan
Prior art keywords
image
viewpoint
input
images
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6080072A
Other languages
English (en)
Inventor
Kouichirou Tanaka
宏一良 田中
Akihiro Katayama
昭宏 片山
Takahiro Oshino
隆弘 押野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP6080072A priority Critical patent/JPH07287761A/ja
Priority to EP95302528A priority patent/EP0680019B1/en
Priority to DE69524899T priority patent/DE69524899D1/de
Publication of JPH07287761A publication Critical patent/JPH07287761A/ja
Priority to US08/950,886 priority patent/US6233004B1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 複数の固定カメラにより撮影された画像を用
いて、観察者の視点移動に対応した連続的な画像を得る
ことができるようにする。 【構成】 複数の視点から被写体を撮影して得られる多
視点画像を入力２次元多視点画像保持部１１に保持する
とともに、入力２次元多視点画像保持部１１に保持され
た各画像間において相互に対応する点を対応超平面判定
部１７により検出し、この対応点によって特定される対
応超平面上の画素に対応超平面補間処理部１８で補間処
理を施すことにより、撮影視点の間を埋めるような細か
い視点間隔の多数の補間画像を生成することができるよ
うにして、視点移動に対応して滑らかに変化する画像を
得ることができるようにする。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は画像処理装置及び画像処
理方法に関し、特に、カメラ等の撮影手段から得られる
画像を立体的に表示するようにした画像処理装置及び画
像処理方法に用いて好適なものである。
【０００２】
【従来の技術】従来、複数の視点から見た物体の画像を
立体的に表示するようにした装置として、ステレオディ
スプレイやレンチキュラーディスプレイ等がある。前者
のステレオディスプレイは、２台のカメラから得られる
画像を交互に高速に切り替えて表示する。そして、観察
者が上記画像の切替え周期に同期して動作するシャッタ
ーメガネや偏光メガネを通して画像を観察することによ
り、その画像を立体的に観察することができるようにし
たものである。
【０００３】また、後者のレンチキュラーディスプレイ
は、例えば４台のカメラから得られる画像をそれぞれ画
素単位に並べ替える。そして、表示画面の全面にレンチ
キュラーシートを張り付けることにより、４つの視点か
ら得られる画像を立体的に表現することができるように
したものである。
【０００４】
【発明が解決しようとする課題】しかしながら、上述の
従来例では、設定したカメラで狙った方向の立体像しか
観察することができないという問題があった。すなわ
ち、ステレオディスプレイでは、２台のカメラを固定し
て物体を撮影した場合、観察者が視点を移動しても見え
る画像は同じであった。
【０００５】これに対して、レンチキュラーディスプレ
イでは、観察者の視点を左右方向に移動して異なる画像
を観察することができる。しかし、この場合、観察者は
それぞれのカメラによって得られる画像をとびとびに見
ることができるだけであり、観察者の視点移動に対応し
て連続的に画像を見ることはできなかった。また、観察
者の視点を前後方向に移動させた場合にも、連続的な画
像を得ることができなかった。
【０００６】一方、観察者の視点を上下方向に移動する
ことは、コンピュータ・グラフィックスで作成された画
像を立体的に表現する場合には可能であったが、複数の
固定されたカメラにより撮影された物体等の画像を立体
的に表現する場合にはできなかった。
【０００７】本発明は、このような問題を解決するため
に成されたものであり、複数の固定カメラにより撮影さ
れた画像を用いて、観察者の視点移動に対応した連続的
な画像を得ることができるようにすることを目的として
いる。
【０００８】
【課題を解決するための手段】本発明の画像処理装置
は、複数の視点から被写体を撮影して複数の画像を入力
する画像入力手段と、上記画像入力手段より入力された
複数の入力画像間において相互に対応する点を検出する
対応点検出手段と、上記対応点検出手段により検出され
た対応点によって特定される入力画像の画素を補間する
ことにより、上記複数の入力画像の撮影視点とは異なっ
た視点からの画像を生成する画像補間手段とを備えてい
る。
【０００９】本発明の画像処理装置の他の特徴とすると
ころは、上記画像補間手段により補間処理が行われた画
素に対して補間処理が完了したことを表す情報を付する
ための完了マーク配列保持手段を備えるものである。
【００１０】本発明の画像処理装置の更に他の特徴とす
るところは、画像の表示画面に対する観察者の視点を検
出する視点検出手段と、上記画像補間手段により生成さ
れた画像を用いて、上記視点検出手段により検出された
視点に対応する新たな画像を生成する画像生成手段とを
備えるものである。
【００１１】本発明の画像処理方法は、複数の視点から
被写体を撮影して複数の画像を入力する画像入力工程
と、上記画像入力工程で入力された複数の入力画像間に
おいて相互に対応する点を検出する対応点検出工程と、
上記対応点検出工程で検出された対応点によって特定さ
れる入力画像の画素を補間することにより、上記複数の
入力画像の撮影視点とは異なった視点からの画像を生成
する画像補間工程とからなるものである。
【００１２】本発明の画像処理方法の他の特徴とすると
ころは、上記画像補間工程で補間処理が行われた画素に
対して補間処理が完了したことを表す情報を付するため
の完了マーク配列保持工程を備えている。
【００１３】本発明の画像処理方法の更に他の特徴とす
るところは、複数の視点から被写体を撮影して複数の画
像を入力する画像入力工程と、上記画像入力工程で入力
された複数の入力画像間において相互に対応する点を検
出する対応点検出工程と、上記対応点検出工程で検出さ
れた対応点によって特定される入力画像の画素を補間す
ることにより、上記複数の入力画像の撮影視点とは異な
った視点からの画像を生成する画像補間工程と、上記被
写体の画像の表示画面に対する観察者の視点を検出する
視点検出工程と、上記画像補間工程で生成された画像を
用いて、上記視点検出工程で検出された視点に対応する
新たな画像を生成する画像生成工程とを備えるものであ
る。
【００１４】
【作用】上記のように構成された本発明によれば、複数
の視点から撮影された複数の画像間の対応点に基づいて
画像の補間処理が行われ、撮影された視点の間を埋める
ような細かい視点間隔の多数の画像が再構成されるよう
になる。
【００１５】また、既に補間処理が行われた画素に対し
て補間処理が完了したことを表す情報を付するようにし
た場合には、補間処理に一度用いられた画素については
その後の補間処理においてその画素を再び用いないよう
にすることが可能となるので、補間処理によって生成さ
れる画像の品質が向上する。
【００１６】さらに、本発明の他の特徴によれば、撮影
画面上における観察者の視点の移動に伴ってその視点に
対応する新たな画像が上記補間画像に基づいて再構成さ
れるようになる。
【００１７】
【実施例】以下、本発明の第１の実施例である画像処理
装置を図面を参照して詳細に説明する。図１は、第１の
実施例による画像処理装置の補間処理装置の構成を示す
ブロック図である。
【００１８】図１において、１１は入力２次元多視点画
像保持部であり、後述の多眼カメラ２２から入力される
画像を保持するためのものである。１２は出力２次元多
視点画像保持部であり、後述の視点検出器付き表示ディ
スプレイ２４に出力される画像を保持するためのもので
ある。
【００１９】次いで、１３は撮影空間中の仮想的な輝点
を表す仮想輝点係数、１４は上記仮想輝点係数１３を発
生する仮想輝点発生部である。１５は２次元多視点画像
中の画素超平面を表す超平面係数であり、上記仮想輝点
係数１３に対応している。１６は超平面係数算出部であ
り、上記仮想輝点係数１３に基づいて超平面係数１５を
算出する。
【００２０】また、１７は対応超平面判定部であり、超
平面係数１５で表される画素超平面が、入力２次元多視
点画像保持部１１に保持されている画像中に存在するか
否かを判定する。１８は対応超平面補間処理部であり、
上記対応超平面判定部１７により存在することが確認さ
れた超平面の超平面係数１５に基づいて、入力２次元多
視点画像に補間処理を施して出力２次元多視点画像を生
成する。
【００２１】さらに、１９は完了マーク配列保持部であ
り、対応超平面補間処理部１８での補間処理が完了した
入力画像の画素位置を保持するためのものである。１１
０は判定条件保持部であり、対応超平面判定部１７で利
用される所定の判定条件を保持するためのものである。
なお、以上に述べた画像補間処理装置の各構成は、実際
にはＣＰＵ、ＲＯＭおよびＲＡＭなどからなるマイクロ
コンピュータにより構成されている。
【００２２】図２は、第１の実施例による画像処理装置
のシステム構成を示す図である。図２において、２１は
撮影対象の被写体である。また、上述の多眼カメラ２２
は、被写体２１を撮影するものであり、複数（本実施例
では４個）のカメラが、被写体２１から一定の距離だけ
離れた平面上において被写体２１が各カメラの中心とな
るように上下左右に配置されている。
【００２３】本実施例では、４個のカメラを上述のよう
に配置することにより、後述するように、画像の視点を
上下方向または左右方向にスムーズに移動させることが
できるようにしている。
【００２４】次いで、２３は画像補間処理装置であり、
図１に示したように構成されている。また、上述の表示
ディスプレイ２４は、上記画像補間処理装置２３から出
力される２次元多視点画像を表示するためのものであ
る。
【００２５】次に、図１および図２を用いて、第１の実
施例による画像処理装置の動作について述べる。まず、
図２に示した多眼カメラ２２により、被写体２１に対し
て上下左右の視点から上記被写体２１が撮影される。こ
の撮影により得られる多視点画像は、図１に示した画像
補間処理装置２３内の入力２次元多視点画像保持部１１
に入力されて保持される。
【００２６】ここで、入力２次元多視点画像保持部１１
に保持される各画像を撮影したときのカメラの位置をＣ
で表し、次の（式１）で定義する。 Ｃ＝（Ｃｘ，Ｃｙ） …（式１） ただし、（式１）で示されるベクトルの各要素は、多眼
カメラ２２を構成する各カメラの視点位置の中央部分を
原点とした視点並びの平面を表す２次元座標系の座標値
であるとする。
【００２７】また、各カメラにより撮影される画像中の
画素の位置をＰで表し、次の（式２）で定義する。 Ｐ＝（Ｐｘ，Ｐｙ） …（式２） ただし、（式２）で示されるベクトルの各要素は、各カ
メラの撮像面の中心を原点とし、上記カメラ位置Ｃの座
標系と単位が同じである座標系の座標値であるとする。
【００２８】このとき、入力２次元多視点画像保持部１
１に保持される多視点画像は、カメラ位置Ｃの座標と画
素位置Ｐの座標とで表される４次元の画素値の配列と考
えることができる。
【００２９】一方、図１に示した画像補間処理装置２３
では、まず、仮想輝点発生部１４が被写体２１の置かれ
ている撮影空間中の仮想的な輝点を１つ仮定し、その輝
点を一意に表す仮想輝点係数１３を生成する。ここで
は、仮想輝点係数１３を便宜上Ｘで表し、次の（式３）
で定義する。 Ｘ＝（Ｘｘ，Ｘｙ，Ｘｚ） …（式３）
【００３０】ただし、（式３）で示されるベクトルの各
要素は、多眼カメラ２２を構成する各カメラの視点位置
の中央部分を原点とした撮影方向を正のｚ軸方向とする
３次元座標系の座標値であるとする。なお、手前の輝点
（物体）が後方の輝点を隠すというオクルージョン（隠
蔽）効果に対処するために、仮想輝点の生成は手前の輝
点から順次行うようにする。
【００３１】仮想輝点係数１３で表される輝点が被写体
２１の中に存在すると仮定すると、その輝点の像は、入
力２次元多視点画像保持部１１に保持される多視点画像
の各画像中において少しずつ異なった画素位置Ｐに撮影
される。また、上述したように、多視点画像を４次元の
画素配列であると考えると、この仮想的な輝点の像の画
素は、４次元空間中の超平面をなすと考えることができ
る。
【００３２】次に、超平面係数算出部１６は、上記仮想
輝点係数１３に基づいて超平面係数１５を算出する。こ
の超平面係数１５は、仮想輝点係数１３で表される仮想
輝点の像の画素がなす超平面を一意に表すものである。
ここで、超平面係数１５をＫで表すとすると、超平面係
数１５は、仮想輝点係数１３から次の（式４）に基づい
て算出することができる。 Ｋ＝（Ｋａ，Ｋｘ，Ｋｚ）＝（−１／Ｘｚ，Ｘｘ／Ｘｚ，Ｘｙ／Ｘｚ） … （式４）
【００３３】上述の超平面係数算出部１６で算出された
超平面係数１５は、対応超平面判定部１７に与えられ
る。そして、対応超平面判定部１７は、超平面係数算出
部１６から与えられた超平面係数１５に基づいて、この
超平面上に同じ輝点の像が存在するか否か、言い換えれ
ば、仮想輝点係数１３で表される仮想輝点が被写体２１
の中に存在するか否かを判定する。
【００３４】ところで、この対応超平面判定部１７での
判定処理に際しては、上述のオクルージョン（隠蔽）効
果に対処するため、完了マーク配列保持部１９に保持さ
れている完了マークを利用する。すなわち、後述のよう
に、対応超平面補間処理部１８により補間処理が完了し
た画素については完了マークが設定されるので、この完
了マークを考慮して超平面上に同じ輝点の像が存在する
か否かを判定する。
【００３５】そして、超平面上に同じ輝点の像が存在す
ることが確認された場合には、対応超平面判定部１７
は、その超平面係数１５を対応超平面補間処理部１８に
供給する。対応超平面補間処理部１８では、対応超平面
判定部１７から与えられる超平面係数１５に基づいて、
入力２次元多視点画像保持部１１に保持されている多視
点画像に補間処理を施す。
【００３６】このようにして、対応超平面補間処理部１
８は、より細かい視点間隔の画像を生成し、これを出力
２次元多視点画像保持部１２に供給する。このとき、補
間処理が完了した画素については完了マークを設定して
完了マーク配列保持部１９に保持する。
【００３７】仮想輝点発生部１４は、被写体２１の撮影
空間中で想定される全ての仮想輝点を仮定し、その仮想
輝点を一意に表す仮想輝点係数１３を順次生成する。そ
して、このようにして生成した被写体２１中の全ての輝
点に対して上述のような補間処理を施し、これによって
得られる画像を出力２次元多視点画像保持部１２に保持
する。
【００３８】以上のようにして、出力２次元多視点画像
保持部１２には、入力２次元多視点画像保持部１１に保
持される多視点画像に比べて、より細かい視点間隔の多
視点画像が保持される。つまり、入力２次元多視点画像
保持部１１には、その視点間隔が各カメラ間の間隔に相
当する４個の画像が保持されるのに対して、出力２次元
多視点画像保持部１２には、その視点間隔が上記各カメ
ラ間の間隔よりも細かい多数の補間画像が保持される。
【００３９】このような多数の補間画像は、上下左右に
配置された各カメラ間における多数の視点から被写体２
１を見たときの画像に対応するので、これら多数の補間
画像を表示ディスプレイ２４に順次表示することによ
り、上下方向または左右方向への視点の移動に伴って滑
らかに変化するような画像を得ることができる。
【００４０】図３は、以上に述べた対応超平面判定部１
７での判定処理の流れを示すフローチャートである。図
３において、まず、ステップＳ３１において、超平面係
数算出部１６から与えられる超平面係数１５で定義され
る超平面上の画素を入力２次元多視点画像保持部１１か
ら選出する。ここで、超平面係数１５に対応する画素の
画像中での位置Ｐは、次の（式５）で算出することがで
きる。 Ｐ＝（Ｋａ＊Ｃｘ＋Ｋｘ，Ｋａ＊Ｃｙ＋Ｋｙ） …（式５）
【００４１】次に、ステップＳ３２において、完了マー
ク配列保持部１９に保持されている完了マークを考慮し
つつ、上記ステップＳ３１で選出された画素値の分散を
計算する。ここでは、例えば完了マークが設定されてい
ない画素のみの分散を計算する。このように、既に補間
処理が施された画素については、その後の補間処理にお
いてその画素を再び用いないようにすることにより、得
られる補間画像の品質を向上させることができる。
【００４２】ステップＳ３３では、上記ステップＳ３２
で計算された分散が判定条件保持部１１０に保持されて
いる判定条件を満足するか否かを調べる。ここでは、例
えば計算された分散があるしきい値以下であるか否かと
いうことを調べる。そして、この判定条件が満足された
場合にのみステップＳ３４に進み、上記超平面係数１５
を対応超平面補間処理部１８に供給する。
【００４３】図４は、上述した対応超平面補間処理部１
８での補間処理の流れを示すフローチャートである。図
４において、まず、ステップＳ４１において、超平面係
数算出部１６から与えられる超平面係数１５で定義され
る超平面上の画素を入力２次元多視点画像保持部１１か
ら選出する。ここで、超平面係数１５に対応する画素の
画像中での位置Ｐは、上述の対応超平面判定部１７と同
様に（式５）に従って算出する。
【００４４】次に、ステップＳ４２において、完了マー
ク配列保持部１９に保持されている完了マークを考慮し
つつ、上記ステップＳ４１で選出された画素値の平均値
Ｍを計算する。この平均値Ｍの計算にあたっては、上述
の対応超平面判定部１７と同様に、例えば完了マークが
設定されていない画素のみを用いる。
【００４５】ステップＳ４３では、完了マーク配列保持
部１９に保持されている完了マークを考慮しつつ、出力
２次元多視点画像保持部１２の中の画像のうち、上記超
平面係数１５で定義される超平面上の画素値を平均値Ｍ
に設定する。そして、ステップＳ４４において、以上の
ような処理を施した画素に対して、完了マーク配列保持
部１９に完了マークを設定する。
【００４６】次に、本発明の第２の実施例である画像処
理装置について説明する。この第２の実施例は、図１に
示した対応超平面補間処理部１８で行われる処理が上述
した第１の実施例とは異なっている。その他の構成につ
いては、第１の実施例と同様である。
【００４７】図５は、第２の実施例による対応超平面補
間処理部１８での補間処理の流れを示すフローチャート
である。なお、図５において、図４に示した処理と同じ
処理を表す部分については、同じステップ番号を付して
いる。
【００４８】まず、ステップＳ４１において、超平面係
数算出部１６から与えられる超平面係数１５で定義され
る超平面上の画素を入力２次元多視点画像保持部１１か
ら選出する。また、ステップＳ５１において、上記超平
面係数１５で定義される超平面上の画素を出力２次元多
視点画像保持部１２から選出する。
【００４９】次に、ステップＳ５２において、上記ステ
ップＳ４１で選出された入力２次元多視点画像保持部１
１の各画素（以下、入力画素という）と、上記ステップ
Ｓ５１で選出された出力２次元多視点画像保持部１２の
各画素（以下、出力画素という）とを用いて、各出力画
素に近傍する入力画素をそれぞれ選出する。
【００５０】ステップＳ５３では、上記ステップＳ５２
で選出した近傍の各入力画素の画素値を内分し、これに
よって得られる画素値を表示ディスプレイ２４に出力す
る画素値として設定する。そして、ステップＳ４４にお
いて、以上のような処理を施した画素に対して、完了マ
ーク配列保持部１９に完了マークを設定する。
【００５１】以上のように、第２の実施例によれば、第
１の実施例のように単純に選出した各入力画素の画素値
の平均値を補間画像の画素値として用いるのではなく、
各出力画素に関して選出した各入力画素の画素値の計算
値を補間画像の画素値として用いているので、再構成さ
れる補間画像の品質を向上させることができる。
【００５２】なお、以上に説明した第１の実施例および
第２の実施例では、対応超平面補間処理部１８が完了マ
ーク配列保持部１９に完了マークを設定するとともに、
対応超平面判定部１７がこの完了マークを利用して判定
処理を行うようにしていたが、本発明はこれに限定され
るものではない。
【００５３】例えば、完了マーク配列保持部１９を省略
し、完了マークを用いないようにしてもよい。このよう
にすれば、生成される補間画像の品質が多少低下してし
まうことがあるが、装置の構成を簡略化することができ
る。
【００５４】次に、本発明による画像処理装置の第３の
実施例について説明する。この第３の実施例は、図２に
示したように表示ディスプレイ２４を用いる代わりに、
前後視点移動対応表示装置を用いる。そして、上下左右
のみでなく前後方向にもスムーズに視点を移動させるこ
とができるようにした画像処理装置の一例を示すもので
ある。
【００５５】図６は、第３の実施例による画像処理装置
の前後視点移動対応表示装置の構成を示すブロック図で
ある。図６において、６１は画像表示用の表示スクリー
ンであり、ある固定された位置に設置されている。６２
は視点検出器であり、上記表示スクリーン６１を眺める
利用者の目の位置を検出する。
【００５６】次いで、６３は多視点画像データベース保
持部であり、平面上に並んだ十分間隔の細かい視点から
対象物を撮影した場合の多視点画像を保持する。６４は
表示パラメータ保持部であり、上記表示スクリーン６１
に関する所定のパラメータを保持する。
【００５７】次いで、６５は撮影視点座標系保持部であ
り、多視点画像データベース保持部６３に保持されてい
る多視点画像を撮影した際における視点の並びの平面を
表す座標系のデータを保持する。６６は多視点画像パラ
メータ保持部であり、多視点画像データベース保持部６
３に保持されている多視点画像に関するパラメータを保
持する。
【００５８】ここで、上述の多視点画像データベース保
持部６３は、図１に示した出力２次元多視点画像保持部
１２に保持される多視点画像、すなわち、視点間隔が十
分に細かい上下左右の多視点画像を保持する。これに対
応して、撮影視点座標系保持部６５は、このような多視
点画像の視点並びの平面を表す座標系のデータを保持す
る。また、多視点画像パラメータ保持部６６は、このよ
うな多視点画像の画像パラメータを保持する。
【００５９】次いで、６７は視点パラメータ算出部であ
り、視点検出器６２から与えられる利用者の視点検出信
号を基に、利用者の視点を表す視点パラメータを算出す
る。６１５は視点パラメータが更新されたことを示す更
新信号、６８は画像生成部であり、視点の移動に対応し
た画像を生成する。６９は注目する画素の座標を示す画
素インデックス信号である。
【００６０】上述の画像生成部６８は、視点パラメータ
算出部６７から更新信号６１５を受け取ったときに画像
を生成するように構成されている。そして、画像を生成
するときには、再構成後の画像、すなわち表示スクリー
ン６１上の画像において注目する画素の座標を示す画素
インデックス信号６９が視線パラメータ算出部６１０に
出力される。この画素インデックス信号６９は、画像の
再構成を行う場合に、再構成後の画像の全画素を一巡す
るように順次出力されるようになっている。
【００６１】次いで、６１０は視線パラメータ算出部で
あり、視点パラメータ算出部６７で算出される視点パラ
メータと、表示パラメータ保持部６４に保持されている
表示パラメータとから、画素インデックス信号６９で示
される画素に対応する視線方向を表す視線パラメータを
算出する。６１１は仮想視点パラメータ算出部であり、
視線パラメータ算出部６１０で算出される視線パラメー
タによって表される視線と、撮影視点座標系保持部６５
に保持されている撮影視点座標系のデータで表される撮
影視点の並びの平面との交点（仮想視点）を求める。
【００６２】次いで、６１２は画素位置算出部であり、
視線パラメータ算出部６１０で算出される視線パラメー
タ、撮影視点座標系保持部６５に保持されている撮影視
点座標系のデータ、仮想視点パラメータ算出部６１１で
算出される仮想視点パラメータおよび多視点画像パラメ
ータ保持部６６に保持されている多視点画像パラメータ
に基づいて、仮想視点における画像の上記視線方向に対
応する画素位置を求める。
【００６３】次いで、６１３は画素値算出部であり、画
素位置算出部６１２で算出される画素位置のデータと、
仮想視点パラメータ算出部６１１で算出される仮想視点
パラメータとを基に、多視点画像データベース保持部６
３の中の多視点画像を用いて対応する画素値を算出す
る。６１４は画像表示部であり、画像生成部６８で生成
された画像を表示スクリーン６１に表示する。
【００６４】次いで、６１６は上記画素値算出部６１３
で算出された画素値信号である。６１７は画素値生成部
であり、上述の視線パラメータ算出部６１０、仮想視点
パラメータ算出部６１１、画素位置算出部６１２および
画素値算出部６１３により構成されている。
【００６５】次に、以上のように構成した前後視点移動
対応表示装置の動作を説明する。まず、表示スクリーン
６１を眺める利用者が頭の位置を変えて視点を移動させ
ると、視点検出器６２で検出される利用者の視点検出信
号が変化する。視点パラメータ算出部６７は、この視点
検出信号の変化を受けて、画像生成部６８に更新信号６
１５を送出する。
【００６６】画像生成部６８は、更新信号６１５を受け
取ると、視点移動に対応した新たな画像の生成を開始す
る。この新たな画像の生成は、画像生成部６８が画像中
の全ての画素について画素インデックス信号６９を順次
出力し、各画素値ごとの画素値信号６１３を画素値生成
部６１７で順次生成することによって行う。
【００６７】以下、この画素値生成部６１７の動作につ
いて説明する。画素値生成部６１７では、まず、視線パ
ラメータ算出部６１０が視点パラメータ算出部６７から
視点パラメータを入力するとともに、表示パラメータ保
持部６４から表示パラメータを入力する。そして、視線
パラメータ算出部６１０は、画像生成部６８から入力し
た画素インデックス信号６９で示される画素に対応する
視線パラメータを算出し、これを仮想視点パラメータ算
出部６１１および画素位置算出部６１２に送出する。
【００６８】上記視線パラメータを受け取った仮想視点
パラメータ算出部６１１は、その視線パラメータによっ
て表される視線と、撮影視点座標系保持部６５から入力
した撮影座標系のデータで表される撮影視点の並びの平
面との交点（仮想視点）を表す仮想視点パラメータを算
出する。そして、こうして算出した仮想視点パラメータ
を画素位置算出部６１２および画素値算出部６１３に送
出する。
【００６９】一方、画素位置算出部６１２は、上述の視
線パラメータおよび仮想視点パラメータの他に、撮影視
点座標系保持部６５および多視点画像パラメータ保持部
６６のそれぞれから撮影視点座標系のデータと多視点画
像パラメータとを入力する。そして、こうして入力した
各パラメータ等に基づいて、仮想視点における画像の上
記視線方向に対応する画素位置を求め、この画素位置を
表すデータを画素値算出部６１３に送出する。
【００７０】そして、画素値算出部６１３では、仮想視
点パラメータ算出部６１１および画素位置算出部６１２
のそれぞれから入力した仮想視点パラメータと画素位置
のデータとを基に、多視点画像データベース保持部６３
の中の多視点画像を用いて対応する画素値信号６１６を
算出する。このようにして、画素値生成部６１７は、画
像生成部６８から入力する画素インデックス信号６９ご
とに画素値信号６１６を算出して画像生成部６８に出力
する。
【００７１】画像生成部６８は、画素値算出部６１３か
ら全ての画素について画素値信号６１６を受け取ると、
これを画像表示部６１４に送出する。そして、画像表示
部６１４は、以上のようにして再構成された新たな視点
に対応する画像を表示スクリーン６１に表示する。これ
により、利用者の視点移動に伴う一連の画像生成動作を
終了する。
【００７２】以上のように、第３の実施例によれば、利
用者は画像の視点を上下左右に移動させることができる
だけでなく、前後方向にも視点を移動させることができ
る。すなわち、移動した視点の位置が、多視点画像デー
タベース保持部６３に保持されている多視点画像を撮影
したときの視点、すなわち多眼カメラ２２の視点以外の
位置であっても、その位置の画像を画素値生成部６１７
により再構成するようにしているので、利用者は、視点
移動に合わせた対象物の画像を表示スクリーン６１を通
して眺めることができる。
【００７３】上述した第１〜第３の実施例では、画像を
表示するためのディスプレイ装置として視点検出器付き
単眼視ディスプレイを用いているが、これ以外にも、例
えばメガネ方式のステレオ視ディスプレイを用いてもよ
い。また、ヘッド・マウンテッド・ディスプレイ（ＨＭ
Ｄ）タイプのディスプレイを用いてもよいし、メガネ無
しのレンチキュラーディスプレイやホログラフィック・
ディスプレイを用いてもよい。
【００７４】また、上述の各実施例では、被写体を撮影
するための撮像手段として多眼カメラを用いているが、
スライド式カメラやＸＹステージ型カメラを用いてもよ
い。また、本発明は、静止立体画像のみならず、動画立
体画像にも適用することができる。対象とする画像は、
カラー画像でも白黒濃淡画像でもよい。
【００７５】さらに、本発明は、単体の画像処理装置に
適用してもよいし、多視点テレビ、多視点テレビ電話端
末または多視点テレビ会議システムのようなシステム機
器に適用してもよい。また、コンピュータや他の画像処
理装置と組み合わせた複合装置にもて適用することがで
きる。
【００７６】
【発明の効果】本発明は上述したように、複数の視点か
ら撮影した複数の画像間における対応点を検出し、この
対応点を用いて入力画像の画素を補間することにより、
入力画像の撮影視点とは異なった視点からの画像を生成
するようにしたので、撮影視点の間を埋めるような細か
い視点間隔の多数の補間画像を生成することができ、視
点移動に対応して滑らかに変化する画像を得ることがで
きる。例えば、被写体から一定の距離だけ離れた平面上
において上記被写体が中心となるように上下左右に撮影
視点を配置すれば、観察者は視点を上下左右にスムーズ
に移動させることができるようになる。
【００７７】本発明の他の特徴によれば、上記画像補間
手段により補間処理が行われた画素に対して補間処理が
完了したことを表す情報を付するようにしたので、既に
補間処理に用いられている画素については、その後の補
間処理でその画素を再び用いないようにすることがで
き、補間画像の品質を向上させることができる。
【００７８】本発明の更に他の特徴によれば、観察者の
視点を検出するとともに、その視点に対応する新たな画
像を、画像補間手段により生成された補間画像を用いて
再構成するようにしたので、観察者の視点で示される任
意の位置の画像を生成することができ、上下左右方向の
みでなく前後方向にもスムーズに視点を移動させること
ができる。
【図面の簡単な説明】
【図１】第１の実施例による画像処理装置の補間処理装
置の構成を示すブロック図である。
【図２】第１の実施例による画像処理装置のシステム構
成を示す図である。
【図３】第１の実施例による対応超平面判定部での判定
処理の流れを示すフローチャートである。
【図４】第１の実施例による対応超平面補間処理部での
補間処理の流れを示すフローチャートである。
【図５】第２の実施例による対応超平面補間処理部での
補間処理の流れを示すフローチャートである。
【図６】第３の実施例による画像処理装置の前後視点移
動対応表示装置の構成を示すブロック図である。
【符号の説明】
１１ 入力２次元多視点画像保持部 １２ 出力２次元多視点画像保持部 １７ 対応超平面判定部 １８ 対応超平面補間処理部 ６２ 視点検出器 ６７ 視点パラメータ算出部 ６８ 画像生成部 ６１０ 視線パラメータ算出部 ６１１ 仮想視点パラメータ算出部 ６１２ 画素位置算出部 ６１３ 画素値算出部 ６１７ 画素値生成部

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】 複数の視点から被写体を撮影して複数の
    画像を入力する画像入力手段と、 上記画像入力手段より入力された複数の入力画像間にお
    いて相互に対応する点を検出する対応点検出手段と、 上記対応点検出手段により検出された対応点によって特
    定される入力画像の画素を補間することにより、上記複
    数の入力画像の撮影視点とは異なった視点からの画像を
    生成する画像補間手段とを備えることを特徴とする画像
    処理装置。
  2. 【請求項２】 上記画像入力手段は、被写体から一定の
    距離だけ離れた平面上において上記被写体が中心となる
    ように配置された上下左右の視点から上記被写体を撮影
    して複数の画像を入力するようになされていることを特
    徴とする請求項１記載の画像処理装置。
  3. 【請求項３】 上記対応点検出手段は、上記画像入力手
    段より入力された複数の入力画像の対応超平面を検出
    し、この対応超平面を用いて対応点を検出するようにな
    されていることを特徴とする請求項１または２記載の画
    像処理装置。
  4. 【請求項４】 上記画像補間手段は、上記対応点検出手
    段により検出される対応超平面上の画素を補間すること
    により、上記複数の入力画像の撮影視点とは異なった視
    点からの画像を生成するようになされていることを特徴
    とする請求項３記載の画像処理装置。
  5. 【請求項５】 上記画像補間手段により補間処理が行わ
    れた画素に対して補間処理が完了したことを表す情報を
    付するための完了マーク配列保持手段を備えることを特
    徴とする請求項１記載の画像処理装置。
  6. 【請求項６】 画像の表示画面に対する観察者の視点を
    検出する視点検出手段と、 上記画像補間手段により生成された画像を用いて、上記
    視点検出手段により検出された視点に対応する新たな画
    像を生成する画像生成手段とを備えることを特徴とする
    請求項１記載の画像処理装置。
  7. 【請求項７】 複数の視点から被写体を撮影して複数の
    画像を入力する画像入力工程と、 上記画像入力工程で入力された複数の入力画像間におい
    て相互に対応する点を検出する対応点検出工程と、 上記対応点検出工程で検出された対応点によって特定さ
    れる入力画像の画素を補間することにより、上記複数の
    入力画像の撮影視点とは異なった視点からの画像を生成
    する画像補間工程とからなる画像処理方法。
  8. 【請求項８】 上記画像入力工程では、被写体から一定
    の距離だけ離れた平面上において上記被写体が中心とな
    るように配置された上下左右の視点から上記被写体を撮
    影して複数の画像を入力することを特徴とする請求項７
    記載の画像処理方法。
  9. 【請求項９】 上記対応点検出工程では、上記画像入力
    工程で入力された複数の入力画像の対応超平面を検出
    し、この対応超平面を用いて対応点を検出することを特
    徴とする請求項７または８記載の画像処理方法。
  10. 【請求項１０】 上記画像補間工程では、上記対応点検
    出工程で検出される対応超平面上の画素を補間すること
    により、上記複数の入力画像の撮影視点とは異なった視
    点からの画像を生成することを特徴とする請求項９記載
    の画像処理方法。
  11. 【請求項１１】 上記画像補間工程で補間処理が行われ
    た画素に対して補間処理が完了したことを表す情報を付
    するための完了マーク配列保持工程を備えることを特徴
    とする請求項７記載の画像処理方法。
  12. 【請求項１２】 複数の視点から被写体を撮影して複数
    の画像を入力する画像入力工程と、 上記画像入力工程で入力された複数の入力画像間におい
    て相互に対応する点を検出する対応点検出工程と、 上記対応点検出工程で検出された対応点によって特定さ
    れる入力画像の画素を補間することにより、上記複数の
    入力画像の撮影視点とは異なった視点からの画像を生成
    する画像補間工程と、 上記被写体の画像の表示画面に対する観察者の視点を検
    出する視点検出工程と、 上記画像補間工程で生成された画像を用いて、上記視点
    検出工程で検出された視点に対応する新たな画像を生成
    する画像生成工程とを備えることを特徴とする画像処理
    方法。
JP6080072A 1994-04-19 1994-04-19 画像処理装置及び画像処理方法 Pending JPH07287761A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP6080072A JPH07287761A (ja) 1994-04-19 1994-04-19 画像処理装置及び画像処理方法
EP95302528A EP0680019B1 (en) 1994-04-19 1995-04-18 Image processing method and apparatus
DE69524899T DE69524899D1 (de) 1994-04-19 1995-04-18 Bildverarbeitungsverfahren und -gerät
US08/950,886 US6233004B1 (en) 1994-04-19 1997-10-15 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6080072A JPH07287761A (ja) 1994-04-19 1994-04-19 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
JPH07287761A true JPH07287761A (ja) 1995-10-31

Family

ID=13708023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6080072A Pending JPH07287761A (ja) 1994-04-19 1994-04-19 画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (1) US6233004B1 (ja)
EP (1) EP0680019B1 (ja)
JP (1) JPH07287761A (ja)
DE (1) DE69524899D1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09179984A (ja) * 1995-12-27 1997-07-11 Mitsubishi Electric Corp 映像監視装置
WO2014077046A1 (ja) * 2012-11-13 2014-05-22 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
JP2018044943A (ja) * 2016-09-08 2018-03-22 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0807352A1 (en) 1995-01-31 1997-11-19 Transcenic, Inc Spatial referenced photography
JP3145059B2 (ja) * 1997-06-13 2001-03-12 株式会社ナムコ 情報記憶媒体及び画像生成装置
WO1999058927A1 (en) * 1998-05-08 1999-11-18 Sony Corporation Image generating device and method
US8229549B2 (en) * 2004-07-09 2012-07-24 Tyco Healthcare Group Lp Surgical imaging device
US6563105B2 (en) * 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
US6636627B1 (en) * 1999-07-12 2003-10-21 Fuji Photo Film Co., Light source direction estimating method and apparatus
DE10035223A1 (de) * 2000-07-20 2002-01-31 Daimler Chrysler Ag Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts
WO2002069619A2 (en) * 2001-02-24 2002-09-06 Eyesee360, Inc. Method and apparatus for processing photographic images
US7123777B2 (en) * 2001-09-27 2006-10-17 Eyesee360, Inc. System and method for panoramic imaging
US7058239B2 (en) * 2001-10-29 2006-06-06 Eyesee360, Inc. System and method for panoramic imaging
KR100433625B1 (ko) * 2001-11-17 2004-06-02 학교법인 포항공과대학교 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치
US7904826B2 (en) * 2002-03-29 2011-03-08 Microsoft Corporation Peek around user interface
EP2268049A3 (en) * 2002-04-25 2013-06-05 Sharp Kabushiki Kaisha Image data creation device, image data reproduction device, and image data recording medium
WO2005009052A1 (en) * 2003-07-16 2005-01-27 Koninklijke Philips Electronics N.V. Head tracked autostereoscopic display
EP1683346A1 (en) * 2003-10-28 2006-07-26 Koninklijke Philips Electronics N.V. Digital camera with panorama or mosaic functionality
US7027081B2 (en) * 2003-12-21 2006-04-11 Kremen Stanley H System and apparatus for recording, transmitting, and projecting digital three-dimensional images
JP2006113807A (ja) * 2004-10-14 2006-04-27 Canon Inc 多視点画像の画像処理装置および画像処理プログラム
JP4570159B2 (ja) * 2006-01-06 2010-10-27 Ｋｄｄｉ株式会社 多視点映像符号化方法、装置及びプログラム
US8736672B2 (en) * 2006-08-24 2014-05-27 Reald Inc. Algorithmic interaxial reduction
JP4605400B2 (ja) * 2006-12-01 2011-01-05 富士フイルム株式会社 画像出力システム、画像生成装置および画像生成方法
JP4743234B2 (ja) * 2008-07-02 2011-08-10 ソニー株式会社 表示装置及び表示方法
US20100259610A1 (en) * 2009-04-08 2010-10-14 Celsia, Llc Two-Dimensional Display Synced with Real World Object Movement
JP2011060216A (ja) * 2009-09-14 2011-03-24 Fujifilm Corp 画像処理装置および画像処理方法
DE102010009737A1 (de) * 2010-03-01 2011-09-01 Institut für Rundfunktechnik GmbH Verfahren und Anordnung zur Wiedergabe von 3D-Bildinhalten
JP4712898B1 (ja) * 2010-03-05 2011-06-29 健治 吉田 中間画像生成方法、中間画像ファイル、中間画像生成装置、立体画像生成方法、立体画像生成装置、裸眼立体画像表示装置、立体画像生成システム
US8315443B2 (en) 2010-04-22 2012-11-20 Qualcomm Incorporated Viewpoint detector based on skin color area and face area
GB201106111D0 (en) * 2011-04-11 2011-05-25 Mccormick Malcolm Rendering images for autostereoscopic display
NL2006762C2 (en) * 2011-05-11 2012-11-13 Euclid Vision Technologies B V Apparatus and method for displaying an image of an object on a visual display unit.
JP6019729B2 (ja) * 2012-05-11 2016-11-02 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
CN103886808B (zh) * 2014-02-21 2016-02-24 北京京东方光电科技有限公司 显示方法和显示装置
GB2558893A (en) 2017-01-17 2018-07-25 Nokia Technologies Oy Method for processing media content and technical equipment for the same
US11785203B2 (en) * 2019-03-19 2023-10-10 Sony Group Corporation Information processing apparatus, information processing method, and program
CN112218098A (zh) * 2020-09-23 2021-01-12 欧菲微电子技术有限公司 数据压缩方法、装置、电子设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4925294A (en) * 1986-12-17 1990-05-15 Geshwind David M Method to convert two dimensional motion pictures for three-dimensional systems
JP3104909B2 (ja) * 1989-12-05 2000-10-30 ソニー株式会社 画像処理装置
JPH0424611A (ja) * 1990-05-18 1992-01-28 Seiko Instr Inc コントラスト自動調整機能付液晶表示装置
GB9011922D0 (en) * 1990-05-29 1990-07-18 Europ Vision Syst Centre Machine vision stereo matching
US5502481A (en) * 1992-11-16 1996-03-26 Reveo, Inc. Desktop-based projection display system for stereoscopic viewing of displayed imagery over a wide field of view
US5200818A (en) * 1991-03-22 1993-04-06 Inbal Neta Video imaging system with interactive windowing capability
EP0605045B1 (fr) * 1992-12-29 1999-03-31 Laboratoires D'electronique Philips S.A.S. Procédé et dispositif de traitement d'images pour construire une image à partir d'images adjacentes
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
JP3058774B2 (ja) * 1993-01-29 2000-07-04 株式会社河合楽器製作所 映像合成装置及び映像合成方法
US5365370A (en) * 1993-06-10 1994-11-15 Hudgins J Stephen Three dimensional viewing illusion with 2D display
DE69411849T2 (de) * 1993-10-20 1999-03-04 Philips Electronics N.V., Eindhoven Verfahren zur Verarbeitung von Luminanzpegel in einem zusammengesetzten Bild und Bildverarbeitungssystem zur Anwendung dieses Verfahrens
US5714997A (en) * 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09179984A (ja) * 1995-12-27 1997-07-11 Mitsubishi Electric Corp 映像監視装置
WO2014077046A1 (ja) * 2012-11-13 2014-05-22 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
US10108018B2 (en) 2012-11-13 2018-10-23 Sony Corporation Image display apparatus for displaying an image captured by a mobile apparatus
JP2018044943A (ja) * 2016-09-08 2018-03-22 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム

Also Published As

Publication number Publication date
EP0680019A3 (en) 1996-01-17
US6233004B1 (en) 2001-05-15
EP0680019B1 (en) 2002-01-09
EP0680019A2 (en) 1995-11-02
DE69524899D1 (de) 2002-02-14

Similar Documents

Publication Publication Date Title
JPH07287761A (ja) 画像処理装置及び画像処理方法
JP3728160B2 (ja) 奥行き画像計測装置及び方法、並びに複合現実感提示システム
US6353457B2 (en) Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
US6191808B1 (en) Image processing method with viewpoint compensation and apparatus therefor
US8704881B2 (en) Stereoscopic image display apparatus
US8421847B2 (en) Apparatus and method for converting two-dimensional video frames to stereoscopic video frames
EP0707287B1 (en) Image processing apparatus and method
JPH0927969A (ja) 複数画像の中間像生成方法及び視差推定方法および装置
JP3032414B2 (ja) 画像処理方法および画像処理装置
KR100392381B1 (ko) 영상에서의 사물들간의 시차량을 조절하는 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템
JPH08201941A (ja) ３次元画像形成方法
JPH08126034A (ja) 立体画像表示装置および方法
JP3054312B2 (ja) 画像処理装置及び方法
JPH09200803A (ja) 画像処理装置及び画像処理方法
CN115190286B (zh) 一种2d图像转换方法及装置
JPH09288735A (ja) 画像処理装置
JPH08116556A (ja) 画像処理方法および装置
JP2006126965A (ja) 合成映像生成システム，方法，プログラム，及び、記録媒体
KR101883883B1 (ko) 플립영상을 차단하는 무안경 원통형 홀로그램 디스플레이 방법
JP4144981B2 (ja) 立体画像表示装置
JP2019185283A (ja) ３次元モデル生成装置及びそのプログラム、並びに、ｉｐ立体像表示システム
JPH07254074A (ja) 視差画像作成方法および装置
JPH08237687A (ja) 疑似立体画像表示装置
JP3357754B2 (ja) 疑似ステレオ画像生成方法及び疑似ステレオ画像生成装置
JPH07274063A (ja) 画像処理方法及びその装置