[go: up one dir, main page]

JP2005027284A - 画像撮影装置、画像撮影方法及び画像撮影プログラム - Google Patents

画像撮影装置、画像撮影方法及び画像撮影プログラム Download PDF

Info

Publication number
JP2005027284A
JP2005027284A JP2004159358A JP2004159358A JP2005027284A JP 2005027284 A JP2005027284 A JP 2005027284A JP 2004159358 A JP2004159358 A JP 2004159358A JP 2004159358 A JP2004159358 A JP 2004159358A JP 2005027284 A JP2005027284 A JP 2005027284A
Authority
JP
Japan
Prior art keywords
image data
data
unit
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004159358A
Other languages
English (en)
Other versions
JP4635477B2 (ja
Inventor
Takashi Onoda
孝 小野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2004159358A priority Critical patent/JP4635477B2/ja
Priority to US10/863,769 priority patent/US20040252205A1/en
Publication of JP2005027284A publication Critical patent/JP2005027284A/ja
Application granted granted Critical
Publication of JP4635477B2 publication Critical patent/JP4635477B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416Multi-level menus
    • H04N1/00419Arrangements for navigating between pages or parts of the menu
    • H04N1/00424Arrangements for navigating between pages or parts of the menu using a list of graphical elements, e.g. icons or icon bar
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00445Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a one dimensional array
    • H04N1/00448Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a one dimensional array horizontally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00453Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a two dimensional array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00458Sequential viewing of a plurality of images, e.g. browsing or scrolling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】擬似3次元画像用の画像データの撮影において、被写体を撮影する複数視点の撮影位置を容易に決定することである。
【解決手段】画像撮影装置としてのデジタルカメラ1において、擬似3次元画像の複数の視点の被写体位置を示す複数のフレームデータがFlash ROM16に予め記憶される。被写体を撮影する際に、撮像された被写体が前記各フレームデータとともに表示部14に表示される。撮影者により表示部14内の被写体がフレームデータの位置に合わせられ、操作部12のシャッタキーが押下されることが繰り返されることで、擬似3次元画像用の画像データが複数撮影される。
【選択図】図2

Description

本発明は、擬似3次元画像を撮影する画像撮影装置、画像撮影方法及び画像撮影プログラムに関する。
近年、インターネットのホームページなどに、被写体の複数の視点からの画像データを連続的に切り替えて表示させることにより擬似3次元画像を表示する構成があった。擬似3次元画像は、閲覧者に被写体を擬似3次元的に見せることができる。
従来、擬似3次元画像は、被写体にマークした点などを用いて撮影者などの人間が被写体を撮影する複数の視点を決め、その被写体をその複数の視点からデジタルカメラにより撮影し、その撮影された画像データを連続的に切り替えて表示させていた。例えば、視点を水平方向に移動させる場合、デジタルカメラの位置を固定する台を用意し、垂直方向などにずれないように、被写体を中心としてデジタルカメラを360度回転して撮影していた。
また、撮影者が被写体を少数の視点からデジタルカメラにより撮影し、その画像データを補完する画像データをコンピュータにより計算し、撮影された画像データと補完された画像データとを表示させる構成もあった(例えば、特許文献1参照)。
特開2002−95011号公報
しかし、人間が複数の視点を決めることは大変面倒であるとともに、決定された視点位置に、デジタルカメラの撮影位置を合せることが困難となるおそれがあった。
また、特許文献1のように、補完する画像データを計算することは、高い演算処理能力を有する機器が要求される。例えば、演算処理能力の高いパソコンなどにより行う必要があり、比較的演算処理能力の低いデジタルカメラなどで行うことには無理があった。つまり、補完処理を無くす又は軽減するために、多くの視点から画像データを撮影することが好ましく、その撮影を容易にする要請がある。
本発明の課題は、擬似3次元画像用の画像データの撮影において、被写体を撮影する複数視点の撮影位置を容易に決定することである。
上記課題を解決するために、請求項1に記載の発明は、被写体を撮像する撮像部と、前記撮像部により撮像された撮像画像データを表示する表示部とを備えて前記被写体を撮影する画像撮影装置において、前記被写体の複数の視点からの形状を示す複数のフレームデータを記憶する記憶部と、前記記憶部に記憶されたフレームデータを前記表示部に表示させる表示制御部とを備えることを特徴とする。
また、請求項2に記載の発明は、請求項1記載の画像撮影装置において、前記撮像部により撮像された撮像画像データを記録する記録手段と、前記記録手段に前記撮像画像データを記録するよう指示するシャッタ手段とをさらに備え、前記シャッタ手段により前記撮像画像データの記録が指示されると、前記撮像画像データを撮影する際に表示させられていたフレームデータを識別する情報を、前記撮像画像データとともに前記記録手段に記録することを特徴とする。
また、請求項3に記載の発明は、請求項1記載の画像撮影装置において、前記撮像部により撮像された撮像画像データを送信する送信手段と、前記送信手段に前記撮像画像データを送信するよう指示するデータ送信指示手段とをさらに備え、前記データ送信指示手段により前記撮像画像データの記録が指示されると、前記撮像画像データを撮影する際に表示させられていたフレームデータを識別する情報とともに前記撮像画像データを前記送信手段から送信することを特徴とする。
また、請求項4に記載の発明は、請求項2記載の画像撮影装置において、前記表示制御部は、前記シャッタ手段により撮像画像データの記録が行われるごとに、前記複数のフレームデータのうちの1つを所定の順で切り換えて表示することを特徴とする。
また、請求項5に記載の発明は、請求項2記載の画像撮影装置において、前記複数のフレームデータを用いて撮影され記録された撮像画像データが、所定の順に再生されるような擬似3次元画像データを作成する擬似3次元画像データ作成手段をさらに有することを特徴とする。
また、請求項6に記載の発明は、請求項5記載の画像撮影装置において、前記複数のフレームデータの各視点の間の視点からの被写体の補充画像データを、前記撮像画像データを用いて生成する補充画像生成手段をさらに有し、前記擬似3次元画像データ作成手段は、前記複数のフレームデータを用いて撮影され記録された撮像画像データと、前記補充画像データとが、所定の順で再生されるような擬似3次元画像データを作成するものであることを特徴とする。
また、請求項7に記載の発明は、請求項5または6記載の画像撮影装置において、前記擬似3次元画像データの再生を指示する再生指示手段をさらに備え、前記表示制御部は、前記再生指示手段によって前記擬似3次元画像データの再生が指示されると、前記表示部に前記擬似3次元画像データを再生表示することを特徴とする。
また、請求項8に記載の発明は、請求項5または6記載の画像撮影装置において、回転方向を指示する回転方向指示手段をさらに有し、前記表示制御部は、前記表示部に表示されている前記擬似3次元画像データを、前記回転方向指示手段によって指示された回転の表示を行うように前記擬似3次元画像データを再生表示することを特徴とする。
また、請求項9に記載の発明は、請求項8記載の画像撮影装置において、前記表示制御部は、前記擬似3次元画像データによって前記回転の表示を行わせることができる方向を、前記表示部に表示するように制御するものであることを特徴とする。
また、請求項10に記載の発明は、請求項8記載の画像撮影装置において、前記表示制御部は、現在、回転方向指示手段によって回転を指示されている回転方向を前記表示部に表示するように制御するものであることを特徴とする。
また、請求項11に記載の発明は、請求項1記載の画像撮影装置において、操作者の操作入力を受け付ける操作部と、前記操作部により入力されたフレーム修正情報に基づいて前記フレームデータを修正して、前記記憶部に記憶されたフレームデータを修正後のフレームデータに書き換える修正部とをさらに備えることを特徴とする。
また、請求項12に記載の発明は、請求項1記載の画像撮影装置において、操作者の操作入力を受け付ける操作部と、前記操作部により新規に入力されたフレームデータを前記記憶部に記憶させる記憶制御部とを備えることを特徴とする。
また、請求項13に記載の発明は、被写体を撮像する撮像部と、前記撮像部により撮像された撮像画像データを表示する表示部とを備えて前記被写体を撮影する画像撮影装置において、前記被写体の複数の視点からの形状を示す複数のフレームデータを外部の機器から受信する受信手段と、前記受信手段によって受信したフレームデータを前記撮像画像データとともに前記表示部に表示させる表示制御部とを備えることを特徴とする。
また、請求項14に記載の発明は、請求項13記載の画像撮影装置において、前記撮像部により撮像された撮像画像データを送信する送信手段と、前記送信手段に前記撮像画像データを送信するよう指示するデータ送信指示手段とをさらに備え、前記データ送信指示手段により前記撮像画像データの記録が指示されると、前記撮像画像データを撮影する際に表示させられていたフレームデータを識別する情報とともに前記撮像画像データを前記送信手段から送信することを特徴とする。
また、請求項15に記載の発明は、被写体を撮像し、前記撮像された撮像画像データを表示部に表示する画像撮影方法において、前記被写体の複数の視点からの形状を示す複数のフレームデータを取得する手順と、前記取得したフレームデータを前記表示部に表示させる手順とを有することを特徴とする。
また、請求項16に記載の発明は、請求項15記載の画像撮影方法において、前記撮像画像データの記録の指示を受け付ける手順と、前記撮像された撮像画像データを記録する手順と、前記撮像画像データを撮影する際に表示させられていたフレームデータを識別する情報を、前記撮像画像データとともに記録する手順とを有することを特徴とする。
また、請求項17に記載の発明は、請求項16記載の画像撮影方法において、前記複数のフレームデータを用いて撮影され記録された撮像画像データが、所定の順に再生されるような擬似3次元画像データを作成する手順をさらに有することを特徴とする。
また、請求項18に記載の発明は、被写体を撮像する撮像部と、前記撮像部により撮像された撮像画像データを表示する表示部とを備えて前記被写体を撮影する画像撮影装置に搭載されるコンピュータに、前記被写体の複数の視点からの形状を示す複数のフレームデータを取得する機能と、前記取得したフレームデータを前記表示部に表示させる機能とを実現させるための画像撮影プログラムである。
また、請求項19に記載の発明は、請求項18記載の画像撮影プログラムであって、前記コンピュータに、前記撮像画像データの記録の指示を受け付ける機能と、前記撮像部により撮像された撮像画像データを記録する機能と、前記撮像画像データを撮影する際に表示させられていたフレームデータを識別する情報を、前記撮像画像データとともに記録する機能とをさらに実現させることを特徴とする。
また、請求項20に記載の発明は、請求項19記載の画像撮影プログラムであって、前記コンピュータに、前記複数のフレームデータを用いて撮影され記録された撮像画像データが、所定の順に再生されるような擬似3次元画像データを作成する機能をさらに実現させることを特徴とする。
本発明によれば、擬似3次元画像用の各視点の被写体位置を示すフレームデータを撮像画像データとともに表示させるので、撮影者は、表示画面内の被写体位置をフレーム位置に容易に合わせることができ、擬似3次元画像の複数視点の画像データを撮影することができる。
以下、添付図面を参照して本発明に係る実施の形態を説明する。
本実施の形態は、擬似3次元画像の複数視点からの被写体位置を撮影者である操作者に教示する複数のフレームを用いて、操作者に被写体を撮影させ、その撮影された複数の画像データにより擬似3次元画像を作成する構成である。
先ず、図1及び図2を参照して、本実施の形態の装置構成を説明する。図1は、本実施の形態のデジタルカメラ1の外観を示す斜視図であり、(a)が主に前面の構成を示す斜視図であり、(b)が主に背面の構成を示す斜視図であり、(c)が主に底面の構成を示す斜視図である。図2は、デジタルカメラ1の内部構成を示すブロック図である。
図1(a)に示すように、デジタルカメラ1は、略矩形の薄板状ボディの前面に、撮影レンズ191と、セルフタイマランプ2と、光学ファインダ窓3と、ストロボ発光部4とが配設され、上面には電源キー121とシャッタキー122とが配設される。
撮影レンズ191は、薄型のボディに搭載するために例えば単焦点レンズで且つ固定焦点であるものとし、ズーム動作や合焦動作は行なわないものとするが、これに限るものではなく、ズーム動作や合焦動作を行う構成でもよい。
電源キー121は、操作者が1回押圧操作する毎に電源をオン/オフするキーである。シャッタキー122は、撮影モード時にレリーズを指示する一方で、メニュー選択などでは設定/実行を指示するキーとしても機能するものとする。
また、図1(b)に示すように、デジタルカメラ1の背面には、モードスイッチ(SW)123と、メニューキー124と、十字キー125と、光学ファインダ窓3に対応する光学ファインダ5と、ストロボチャージランプ6と、表示部14とが配設される。
モードスイッチ123は、例えばスライドスイッチにより構成され、撮影モード「R」と再生モード「P」とを切換える。
メニューキー124は、各種メニュー選択時に操作する。
表示部14は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時には電子ファインダとしてモニタ表示を行なう一方で、再生モード時には選択した画像を再生表示する。また、表示部14は、入力ペン126によるタッチ入力により各種入力を行うタッチパネルとしての機能も設けられる。
さらに、図1(c)に示すように、このボディ下面には蓋付きのメモリカードスロット127が設けられ、このデジタルカメラ1の記録媒体であるメモリカードが着脱自在に装着されるものとする。また、外部機器と通信するためのケーブルを接続するための通信用コネクタ128も設けられる。
次に、図2を参照して、デジタルカメラ1の内部構成を説明する。デジタルカメラ1は、各部を中央制御するCPU(Central Processing Unit)11と、操作者からの入力を受付ける操作部12と、情報を一時的に記憶するRAM(Random Access Memory)13と、情報を表示する表示部14と、情報が記憶されたROM(Read Only Memory)15と、情報を読み書き可能に記憶する不揮発性のFlash ROM(Flash Read Only Memory)16と、着脱可能な記録媒体に情報を記録する外部記憶部17と、外部機器との通信を制御する通信部18と、画像を撮影して画像データを出力する撮像部19とを備えて構成され、各部はバス20により接続されている。
CPU11は、ROM15に記憶されている各種プログラムの中から指定されたプログラムを必要に応じてRAM13のワークエリアに展開するなどし、RAM13上のプログラムを読み込んで実行することにより各種制御を実行する。
操作部12は、電源キー121、シャッタキー122、モードSW123、メニューキー124、十字キー125などの各種キーを備えて、さらに表示部14と一体となったタッチパネル部を備える。そして、これらのキーなどが入力された場合には、その入力信号をCPU11へ出力する。タッチパネルの入力には、入力ペン126などが用いられる。
表示部14は、液晶表示するLCD(Liquid Crystal Display)と、その表示制御部などで構成され、CPU11からの表示信号に従って、画面表示を行う。また、LCDに限るものではなく、ELディスプレイ(ElectroLuminescent Display)などの他の表示方式としてもよい。また、表示部14は、撮影モード時に電子ファインダとして機能し、撮像部19により撮像されて出力された画像データがビデオ信号に変換されて表示される。
RAM13は、プログラムを展開するためのプログラムエリア、操作部12から入力されるデータやCPU11による各種処理結果などを保存するためのデータエリアなどが形成される。ROM15には、各種システムプログラム及びアプリケーションプログラム並びに各種データが記憶され、例えば、後述するフレーム撮影プログラムなどが記憶される。Flash ROM16には、読み書きが要求される各種データが読み書き可能に記憶され、例えば、後述するフレームデータなどが記憶される。
外部記憶部17は、メモリカードスロット127への着脱及びデータ読み書きが可能な記録媒体としての半導体メモリなどのメモリカードに、各種データを記録/読み出しする。通信部18は、赤外線通信、コネクタ通信及び無線LAN通信方式などにより、画像データなどのデータを外部機器と送受信し、本実施の形態では通信用コネクタ128を有する。
撮像部19は、撮影レンズ191などの光学系と、CCD(Charge Coupled Device)などの撮像素子と、撮像素子から出力された画像を画像処理する画像処理部とを備える。撮影レンズ191などの光学系を介して入射された被写体の像の光束が撮像素子に入射され、その撮像素子から画像データの電気信号として出力され、その電気信号が画像処理部によりデジタル化処理、画素補完処理、γ補正処理などを含む画像処理が施されて、デジタルの画像データとして出力される。
また、JPEG(Joint Photographic Expert Group)方式などの圧縮方式で画像データを圧縮及び解凍する圧縮処理部が、専用LSIなどの形で別に設けられていてもよい。
なお、これらの構成はデジタルカメラにおける代表的な構成例を示したに過ぎず、他の構成を有するものであってもよいことはいうまでもない。例えば、デジタルカメラとしては薄型でなくてもよい。
また、画像撮影装置としては、デジタルカメラに限るものではなく、画像撮影機能を有する携帯電話、PHS(Personal Handyphone System)、PDA(Personal Digital Assistants)などでもよい。
ここで、デジタルカメラ1における撮影動作を簡単に説明する。先ず、デジタルカメラ1には、被写体を撮影する撮影モードと、撮影された画像データを再生する再生モードとが用意され、モードSW123により切り替えられる。撮影モードが選択されている場合、表示部14には、通常、撮影レンズ191に入射されているスルー画像が随時表示され、また実際に撮影動作が行われた場合には、直前に撮影された画像が表示される。また、再生モードが選択されている場合には、すでに撮影されてFlash ROM16や外部記憶部17に記憶されている画像などが再生表示される。
操作者は、表示部14を見て、その表示部14の画面に基づいてデジタルカメラ1を動かして視点などを調整する。そして、撮影したい画像が表示されたタイミングで、シャッタキー122が操作者により押下される。そして、撮像部19により撮影された画像データが出力され、RAM13に記憶される。また、その画像データを保存する場合に、その画像データがFlash ROM16に記憶され、又は外部記憶部17に記憶される。
次に、図3〜図6を参照して、デジタルカメラ1を用いた画像撮影方法を説明する。図3は、フレーム撮影処理を示すフローチャートである。図4は、フレーム撮影処理の撮影実行モードにおける処理例を示す図である。図5は、被写体のフレームへの位置合せ例を示す図である。図6は、フレーム撮影処理の修正モードにおける処理例を示す図である。
前述したように、デジタルカメラ1には、撮影モードと再生モードとが存在する。そして、撮影モードには、通常の撮影の撮影モードと、本実施の形態の特徴を示すフレーム撮影モードとが含まれる。以下、フレーム撮影モード選択時にデジタルカメラ1において実行されるフレーム撮影処理を説明する。
デジタルカメラ1において、擬似3次元画像の撮影のためのフレーム撮影処理が実行される。ここでは、被写体が自動車であり、視点が被写体を中心として360度回転した場合の8方向であるものとして説明する。この8方向の視点から撮影された画像を順に切り替えて表示部14に表示させることにより、擬似3次元のアニメーションとして被写体を表示させることができる。しかし、被写体の種類や、視点の数及び向きは、この例に限るものではない。例えば、被写体を人物の頭部などの他のものとする構成でもよく、視点を垂直方向のみ、又は水平及び垂直方向などに移動させる構成でもよい。これらの画像の保存ファイル形式や画像の再生方法については、後ほど詳述する。
また、予め、Flash ROM16に、被写体の種類ごとに、複数のフレームデータからなるフレーム群データが記憶されているものとする。その記憶されるフレーム群データは、デジタルカメラ1において修正又は新規作成されたデータであったり、外部機器や通信ネットワーク上のフレームデータ提供サーバなどから通信部18を介して取得されたデータなどである。
CPU11は、擬似3次元画像の撮影のためのフレーム撮影処理の実行指示が操作部12の十字キー125及びメニューキー124を介して入力されたことなどをトリガとして、ROM15に格納されたフレーム撮影プログラムを読み出してRAM13に格納し、そのフレーム撮影プログラムとCPU11との協働によりフレーム撮影処理が実行される。フレーム撮影処理において、特に言及しない場合、処理の主体はCPU11であるとする。
図3に示すように、先ず、操作部12を介して、操作者から入力されるモードの種類が受付けられる(ステップS1)。モードは、フレームを用いて撮影実行する撮影実行モードと、既存のフレームデータを修正する修正モードと、フレームデータを新規作成する新規作成モードとである。そして、ステップS1において入力されたモードの種類が判別される(ステップS2)。
入力されたモードが撮影実行モードである場合(ステップS2;撮影実行モード)、操作部12を介して、操作者から選択入力される、撮影に用いるフレームの種類が受付けられる(ステップS3)。フレームの種類とは、種々の被写体に応じてあらかじめフレーム群データに記憶されているフレームの組であって、ある被写体の擬似3次元画像を得るために、操作者がその被写体を撮影しなければならない所定のアングルからのその被写体の輪郭を表わすデータをいう。そして、このフレームの種類を選択するとは、すなわち、あらかじめフレーム群データに記憶されているフレームの種類(フレームの組)のうち、操作者が撮影を行う被写体に合ったタイプのフレームの種類(フレームの組)を選択することをいう。例えば、被写体がRV型の自動車である場合、RV型の自動車用のフレームが選択入力される。また、被写体の種類を選択すると、その被写体の種類に合わせて、自動的にフレームの種類が選択される構成としてもよい。さらに、被写体の種類とフレームの種類とが1対1の関係になっていない構成としてもよい。例えば、被写体の種類1つにつき複数のタイプのフレームの種類が対応していて、操作者がそれらのいずれかを選べるような構成でもよい。
そして、ステップS3において選択されたフレームの種類における、最初又は次のフレームデータがFlash ROM16に記憶されたフレーム群データから読み出される(ステップS4)。最初にステップS4を通る場合には、最初のフレームデータが読み出され、その後ステップS6で各フレームについての撮影が行われて、ステップS4からS7のループが繰り返されることによって、所定の順で、次に撮影を行なうべきフレームデータが読み出される。そして、フレームデータが読み出されると、表示部14には、撮像部19から現に取り込まれているスルー画像データがリアルタイムに表示されて電子ファインダとして機能すると共に、前記ステップS4において読み出されたフレームデータが、このスルー画像に重畳するように表示され、操作者がスルー画像をフレームに合わせこむことができるような表示がなされる(ステップS5)。
操作者は、表示部14の画像を見て、フレームデータと被写体とが同位置になるようにデジタルカメラ1を動かす。フレームデータと被写体が同位置になれば、擬似3次元画像作成のためにデジタルカメラ1が適切な視点に移動されたということである。
そして、フレームデータと被写体が概ね同位置になる視点で、操作部12のシャッタキー122の押下入力に応じて、撮像部19により被写体が撮影されてその画像データがRAM13を介してFlash ROM16に記憶される(ステップS6)。そして、ステップS3において選択されたフレームの種類に対応し、かつステップS4において読み出されたフレームデータが、そのフレーム種類のフレーム群データの最後のデータであるか否かが判別される(ステップS7)。
フレームデータが最後のデータでない場合(ステップS7;NO)、ステップS4に移行される。フレームデータが最後のデータである場合(ステップS7;YES)、ステップS3で選択されたフレームの種類のフレームを用いて撮影された一連の画像データが擬似3次元画像の各コマに対応付けられて擬似3次元画像が作成され、その擬似3次元画像のデータがFlash ROM16又は外部記憶部17に記憶され(ステップS8)、フレーム撮影処理が終了される。なお、撮影された画像データから擬似3次元画像を作成して保存する処理については、後述する。
また、入力されたモードが修正モードである場合(ステップS2;修正モード)、操作部12を介して、操作者から選択入力される、修正対象のフレームの種類が受付けられる(ステップS9)。そして、ステップS9において選択されたフレームの種類の最初の又は次のフレームデータがFlash ROM16に記憶されたフレーム群データから読み出される(ステップS10)。最初にステップS10を通る場合には、最初のフレームデータが読み出され、その後所定の順で、次に撮影を行なうべきフレームデータが読み出される。そして、フレームデータが読み出されると、表示部14には、撮像部19から現に取り込まれているスルー画像データがリアルタイムに表示されて電子ファインダとして機能すると共に、前記ステップS4において読み出されたフレームデータとともに表示部14に表示される(ステップS11)。
操作者は、表示部14の画像を見て、フレームデータと被写体とが同位置になるようにデジタルカメラ1を動かすなどして修正入力を行いやすい視点位置に合せ、さらに表示中のフレームデータを操作部12の入力ペン126などを用いて修正入力する。
そして、操作部12を介して入力される修正入力情報に基づいて、表示部14に表示されるフレームが修正される(ステップS12)。そして、ステップS9において選択されたフレームの種類に対応し、かつステップS12において修正されたフレームデータが、そのフレーム種類のフレーム群データの最後のデータであるか否かが判別される(ステップS13)。
フレームデータが最後のデータでない場合(ステップS13;NO)、ステップS10に移行される。フレームデータが最後のデータである場合(ステップS13;YES)、ステップS9において選択されたフレームの種類の修正された一連のフレームデータがフレーム群データの各コマに対応付けられて、修正後のフレーム群データとしてFlash ROM16に記憶され(ステップS14)、フレーム修正モードの処理が終了される。これにより操作者は引き続きこの修正されたフレームを用いて撮影実行モードで実際の撮影を行うことができるようになる。この場合、具体的には、操作者は再度操作部12から撮影実行モードを指定し、ステップS3のフレーム種類選択入力処理において、上記ステップS14で記憶された、修正済みのフレームを選択することによって、この修正済みのフレームを用いた撮影を行うことができる。
また、入力されたモードが新規作成モードである場合(ステップS2;新規作成モード)、操作部12を介して、操作者から入力される、新規作成するフレームの種類が受付けられる(ステップS15)。そして、撮像部19により撮像された電子ファインダとしての被写体の画像が表示部14に表示される(ステップS16)。
そして、操作部12のシャッタキー122を介して被写体の画像データが撮影される(ステップS17)。そして、ステップS15において選択されたフレームの種類に対応する撮影枚数の画像データの撮影が終了されたか否かが判別される(ステップS18)。撮影が終了されていない場合(ステップS18;NO)、ステップS16に移行される。ステップS16〜S18は、擬似3次元画像における表示順に対応して、各視点順に撮影される。
撮影が終了された場合(ステップS18;YES)、ステップS17において撮影された画像データが順に表示部14に表示され、操作部12を介して被写体のフレームが順に複数入力される(ステップS19)。操作者は、表示部14の画像を見て、操作部12の入力ペン126を用いて被写体をなぞることにより、新規なフレームデータを入力する。
そして、ステップS19において入力された複数の新規のフレームデータが、一まとめにされ、新規のフレーム群データとしてFlash ROM16に記憶され(ステップS20)、フレーム新規作成モードの処理が終了される。これにより操作者は引き続きこの新規作成されたフレームを用いて撮影実行モードで実際の撮影を行うことができるようになる。この場合、具体的には、操作者は再度操作部12から撮影実行モードを指定し、ステップS3のフレーム種類選択入力処理において、上記ステップS14で記憶された、新規作成フレームを選択することによって、この新規作成されたフレームを用いた撮影を行うことができる。
また、前述したモードスイッチ123によって再生モードが選択されている場合には、上述したフレーム撮影処理において作成及び記憶された擬似3次元画像のデータを読み出して表示部14に表示・再生する『擬似3次元再生モード』の処理を行わせることが可能である。この擬似3次元再生モードについては後ほど詳しく説明する。
次に、図4を参照して、フレーム撮影処理の撮影実行モードにおける具体的な処理例を説明する。ここでは、操作者の愛車の擬似三次元画像を作成する場合を説明する。その愛車は、2ドアクーペタイプとし、被写体を360度水平に8方向から撮影するためのフレーム群データF1〜F6がFlash ROM16に予め記憶されているものとする。
先ず、図4の(1)において、フレーム撮影処理のステップS3に対応して、操作者が複数ある車種の中から、2ドアクーペタイプを操作部12を介して選択入力する。2ドアクーペタイプの選択により、(2)において、フレーム群データF1〜F6から2ドアクーペタイプの車のフレーム群データF3が選択されて、Flash ROM16から読み出される。
そして、(3)において、ステップS3〜7に対応して、操作者により、表示部14に表示された視点1方向のフレームに被写体の愛車を同位置にされ、そのフレームの視点からの愛車が操作部12のシャッタキー122押下により撮影され、この過程が8方向について繰り返される。具体的には、図5に示すように、例えば、フレームデータF37内に愛車P0を入れるように位置合せして撮影される。このようにして、フレーム群データF3のフレームデータF31〜F38を順次用いて、8方向の視点からの8枚の愛車の画像データP31〜P38が順に撮影される。
そして、(4)において、ステップS8に対応して、撮影済みの8枚の愛車の画像データP31〜P38に基づいて擬似3次元画像が作成され、その擬似3次元画像のデータがFlash ROM16に記憶される。
次に、図6を参照して、フレーム撮影処理の修正モードにおける具体的な処理例を説明する。ここでは、図4において説明した2ドアクーペタイプの既存のフレーム群データF3と形状が異なる愛車を操作者が所有している場合を例にとって説明する。具体的には、図6の(5)に示すように、愛車の取り付けパーツ部分A,Bが既存のフレーム群データF33と異なっており、操作者が、既存のフレーム群データF3を愛車の形状に対応するように修正する場合を説明する。図4で説明した2ドアクーペタイプのフレーム群データF3がFlash ROM16に予め記憶されているものとする。
先ず、図4の(1)と同様にして、フレーム撮影処理のステップS9に対応して、操作者により2ドアクーペタイプが操作部12を介して選択入力される。2ドアクーペタイプの選択により、(2)において、2ドアクーペタイプの車のフレームデータF3が選択されて、Flash ROM16から読み出される。
そして、(5)に示すように愛車のパーツ部分A,Bの部分を修正するに当たり、(6)において、ステップS10に対応して、1方向のフレームデータが読み出される。ここでは、一例として(6)のフレームデータF33を修正する場合を示す。(7)において、ステップS11,12に対応して、操作者により、表示部14に表示されたフレームデータF33に被写体の愛車を重ねるようにして、そのフレームデータF33と愛車画像との異なるパーツ部分A,Bが操作部12の入力ペン126により書き足されて、フレームデータF33aに修正される。
また、(7)においてフレームデータF33が修正された場合、そのフレームデータF33aと左右対称なフレームデータF35は自動的に左右反転され、(8)に示すように、フレームデータF35aに修正される構成でもよい。このようにして、(9)に示すように、ステップS10〜S13が繰り返し実行されて、8方向の視点からの8枚の愛車のフレームデータが修正される。
そして、ステップS14に対応して、修正済みの8つのフレームデータF31a〜F38aがFlash ROM16に記憶される。その修正済みのフレームデータF31a〜F38aを用いた撮影は、図4の(1)〜(4)と同様にして行われる。
次に、図3のフローチャート中、撮影実行モードの処理でのステップS8、および、図4の(4)と図6の(4)でそれぞれ示されている、擬似3次元画像作成処理および記憶処理について説明する。図7は、撮影実行モードの処理中の擬似3次元画像作成処理および記憶処理を示すフローチャートである。
本図において、まず、ステップS101で、擬似3次元画像として記憶する画像ファイルに必要な画像枚数が決定される。この枚数は、例えば、所定の枚数があらかじめ定められていて、メモリ中から読み出してくることによって決定することができる。あるいはまた、再生時のフレームレートと映像の再生時間などから決定しても良い。例えば、1秒に30コマの画像が必要となるような動画フォーマットで記録する場合、車全体を2秒で一回転させる動画を作成する場合は60コマの画像が必要となることが判るし、1秒に4コマといった粗いフレームレートを用いて車全体を4秒で1周させるような動画を作る場合は16コマの画像があれば良いことがわかる。
そして次に、ステップS102で、ステップS101で決定された画像の数(コマ数)と、フレームを用いた撮影で得られた画像の数(図3のステップS4からステップS7をループして得られた画像の数)とを比較する。そして、ステップS101で求められた、必要な画像の数に対して画像が不足しているか否かが判断される。
画像が足りていた場合(ステップS102:NO)は、特にこれ以上画像を増やす必要がないので、直ちにステップS104へ処理を進める。一方、画像数が不足していた場合(ステップS102:YES)は、ステップS103で、不足している画像を演算により求めて、撮影データに追加するようにする。
具体的には、例えば、図4の(3)のP32とP33のように、隣り合ったフレームによって撮影された2つの画像を用いて、その間の角度の画像を求める。この場合、P32とP33のそれぞれのフレームに、あらかじめ対応する点の位置が複数記憶されていて、この情報から、当該フレームを用いて撮影した画像同士の対応する画素が決定されて、これに基づいて補間処理を行って、P32とP33の間のフレームの画像を求めるやり方が可能である。
また、上述のステップS101からステップS103までの処理については、ある選択されたフレームセットに対して、予めどのような補間を行うかが定められているような構成としてもよい。すなわち、2ドアクーペタイプのフレームを選択した場合、これに対して用いるフレームセットは、例えばF31〜F38のように定まるから、F31とF32との間の角度の画像について、各画素ごとに、F31の画素とF32の画素を用いた画像合成の式が定められていて、P31〜P38の撮影が終了すると、この合成の式に基づいて必要な画像を順次得るような構成にしておくことも可能である。
このようにして、必要な数の画像が得られたら、ステップS104で所定のフォーマットに加工して、Flash ROM16あるいは内部RAM13、外部記憶部17などの記憶部に、必要に応じて記憶される。
図8に上記「所定のフォーマット」の例として、現在公知になっている種々の動画ファイルフォーマットを示した。本図に示したように、ウィンドウズ(登録商標)などのパソコン上で再生することのできる動画フォーマットは多数知られており、これらのフォーマットにして保存することで、デジタルカメラ1のみでなく、コンピュータの記憶部にファイルをコピーして、コンピュータ上で再生させられるようにすることも可能である。
そして、さらにステップS105で、CPU11は必要に応じて付加情報を記憶させる。付加情報としては、例えば、各種動画フォーマットのヘッダ情報などが考えられる。また、例えば、動画ファイルの各コマ画像が、撮影によって得られた画像なのか、ステップS103での演算処理によって得られた画像なのかを識別することのできる情報を、動画ファイルに付加して、若しくは動画ファイルとは別のファイルに記憶させておくこととしてもよい。また、各コマ画像が、どのフレームを用いて撮影した画像なのかを識別できる情報を付加情報として記憶させておくこととしても良い。
以上の説明では、作成された所定のフォーマットの動画ファイルをFlash ROM16等のカメラ内部の記憶部に記憶させることとしているが、これに限らず、例えば、通信用コネクタ128を介して接続された外部機器や、通信用コネクタ128を介して接続されたネットワークを経由した先に存在する、ネットワークコンピュータ、モバイル端末、無線通信用機器、ネットワークサーバなどの種々の機器に、作成された動画ファイルを送信するようにしてもよい。
また、本図7に示した擬似3次元画像作成・記憶処理を、上記で説明したようにデジタルカメラ1で行う構成とせず、通信用コネクタ128を介して接続された外部機器や、通信用コネクタ128を介して接続されたネットワークを経由した先に存在する、ネットワークコンピュータ、モバイル端末などの機器で行うようにしてもよい。
次に、このようにして生成された擬似3次元画像の再生方法について説明する。図9は擬似3次元画像の再生方法の一例を示す図である。
例えば、デジタルカメラ1のモードスイッチ123を、再生モード「P」側に切り換える操作がされると、デジタルカメラ1の表示部14に、図9の(1)に示すようなサムネイル一覧画面が表示される。
このサムネイル一覧画面は、現在デジタルカメラ1に記憶されていて再生可能な画像が、縮小サイズで一覧形式にされて表示されるものである。すなわち、各サムネイル画像201a、201b、201c・・・は、それぞれ、デジタルカメラ1に記憶されている画像を縮小したサムネイル画像であり、これらのいずれかを選択すると、図9の(2)に示すように、フルサイズの画像が表示されるようになっている。
ここで、デジタルカメラ1に記憶されている画像のうち、擬似3次元画像として記憶されているものには、擬似3次元画像であることを示すアイコン202a、202b、202c・・・が付されて表示される。
そして、ユーザは、例えば十字キー125や入力ペン126などを用いて、これらのサムネイル画像のうち、再生表示を希望する画像を選択する。
ユーザが、サムネイル画像201cのように、擬似3次元画像として記憶されていることがアイコン202aによって示されているサムネイル画像を選択すると、図9の(2)のように、擬似3次元画像が再生される。ここでは、表示部14に画像を全画面表示する方法を例示してある。擬似3次元画像は、上述のように、すでに撮影し記憶された、愛車の各方向からの画像を順番に並べた動画ファイルになっているので、この動画ファイルを図9の(2)のように表示部14に全画面で表示することによって、愛車が、立体的に回転しているような映像を再生することが可能である。具体的には、図9の(2)の表示例203a、203b、203cのように、愛車を各方向から撮影した画像が順に表示されるような動画が表示される。
また、図10のような擬似3次元画像の再生を行うようにしても良い。本図10の例は、ユーザが十字キー125などによって、回転させる方向や回転量を指示できるようにした例である。
図9の(1)で、ユーザがある擬似3次元画像のサムネイル画像を選択して、その擬似3次元画像の再生を指示すると、まず、デジタルカメラ1の表示部14に、愛車の撮影画像のうち、ある方向からの撮影画像が表示される。このときの様子が、図10の表示例210aに示してある。
ここで、本図10に係る表示方法では、矢印アイコン211a、212a、213a、214aが表示され、この画像が、ユーザによって回転可能であることが示される。
ここで、ユーザが例えば十字キー125の右方向矢印を押下すると(211a)、自車画像が少し反時計回りに回転して表示例210bのように表示される。そして、さらに十字キー125を押しつづけていると、愛車がさらに半時計回りに回転していくように画像が表示され、ユーザが十字キー125の押下をやめてはじめて、回転の表示が停止し、そのときの表示画像で止まる。
この、愛車が回転しているように表示させるためには、十字キー125が押されている間、現在表示している擬似3次元画像の動画を表示しつづけるようにすればよい。また、その際のフレームレートは、通常のフレームレートで表示しても良いし、人間の操作による表示を行う観点から、フレームレートを変化させて表示するようにしても良い。
さらに、このように画像を回転させている間、ユーザが操作しているキーについて、例えば矢印アイコン211bのように強調表示するなどしてもよい。このようにすることで、ユーザは、現在自分が何のキーを操作しているか、また、自分の思っているのと違うキーを操作してしまっているようなことがないか、などを画面を見ながらチェックすることができる。
同様に、表示例210bの状態で、ユーザが十字キー125の左方向矢印を押下すると(212b)、擬似3次元画像表示が、時計回りに少しだけ回転して、表示例210aのように表示される。また、同様に、表示例210aの状態でユーザが十字キー125の左方向矢印を押下すると(212a)、擬似3次元画像表示が、反時計回りに少しだけ回転して、表示例210cのように表示され、また、表示例210cの状態で、ユーザが十字キー125の右方向矢印を押下すると(211c)、擬似3次元画像表示が、時計回りに少しだけ回転して、表示例210aのように表示される。
このように擬似3次元画像をユーザのキー操作に応じて回転させるように表示することで、ユーザの好みの再生を簡単に実現することができる。
また、その他の再生方法として、デジタルカメラ1とは別の表示手段を用いることも可能である。将来的に例えば、中央の表示部を囲むように周囲の数方向(例えば8方向)に映写機を備え付けたような、立体表示装置を用いて、本発明の擬似3次元画像を表示させることも可能である。この場合、例えば、8方向の映写機から、図4の(3)のP31、P32、・・・、P38の各方向からの撮影画像を映写することで、中心に愛車を立体的に浮き上がらせて表示させたり、これらの映写機で表示する画像を、各映写機の表示画像をずらしたままで、P31=>P32=>P33=>・・・=>P38と、順次切り換えて映写していくことで、あたかも中心部で愛車が回転しているように表示させるようなことも可能である。また、本発明の擬似3次元画像を、ヘッドマウント型のディスプレイに表示させて、3次元的な愛車の画像をユーザが見られるようにすることとしても良い。
なお、この矢印アイコン211a、212a、213a、214aの形状は、矢印などのように、方向性のあるものに限られず、単に、当該画像が擬似3次元画像であって、ユーザが回転させられるものであることを示すアイコンであってもよい。
また、この矢印アイコン211a、212a、213a、214aのうち、操作可能なもの、すなわち、矢印方向に回転させるための画像が存在しているもののみをハイライト表示するなどすることとして、ユーザにどの方向の回転が可能であるかわかりやすく表示するようにしてもよい。
また、上記実施形態では、十字キー125をユーザが操作することによって画像が回転することとしたが、その他にも、タッチパネル画面上の矢印アイコン部分を直接タッチすることによって操作するようにしてもよい。
以上、本実施の形態によれば、フレーム撮影処理の撮影実行モードにおいて、擬似3次元画像を得るために必要な、擬似3次元画像の各視点の被写体位置を示すフレームデータを、撮像部19から現に取り込まれているスルー画像データとともにこれに重畳するように表示部14に表示させるので、操作者は、表示部画面内の被写体位置をフレーム位置に容易に合わせることができ、擬似3次元画像の複数視点の画像データを撮影することができ、擬似3次元画像を簡単に撮影することができるようになる。
また、フレーム撮影処理の修正モードにおいて、擬似3次元画像の各視点の被写体位置を示すフレームデータを、撮像部19から現に取り込まれているスルー画像データとともに表示部14に表示させるので、操作者は、表示部14画面内の被写体と修正前のフレームデータとに基づいて、フレーム群データの複数視点のフレームデータを容易に修正入力して記憶させることができる。
また、フレーム撮影処理の新規作成モードにおいて、撮影された被写体の画像データを表示部14に表示させるので、操作者は、表示部14画面内の被写体に基づいて、新規フレームデータを容易に新規作成入力し、フレーム群データの複数視点の新規フレームデータを作成及び記憶することができる。
なお、上記実施の形態で説明した詳細な部分は上記内容に限定されるものではなく、適宜変更可能である。
例えば、本実施の形態において説明した方法以外の補完処理を行う構成としてもよい。例えば、撮影された画像のうち隣接するものの間で、被写体上に複数の共通点をマークし、撮影された複数の画像データ同士の前記共通点の位置関係に基づいて補完するような手法がすでに周知であり、このような構成を用いることとしてもよい。また、画像認識や輪郭抽出などの周知技術から、画像を分析するなどして、複数の画像の位置関係を定めて補間処理を行うこととしてもよい。
また、本実施の形態のフレーム撮影処理の新規作成モードにおいて、被写体の画像データを全視点数分一通り撮影し終えてから、フレームデータをまとめて入力する構成であったが、画像データを1つ撮影した後にフレームデータを操作者に入力させ、この処理を全視点数分繰り返す構成でもよい。また、新規作成モードにおいて、被写体の各視点からの撮影順をランダムとし、フレームデータの入力時にフレームデータを入力させるとともに、その入力されたフレームデータの、擬似3次元画像の表示順に対応する順番を入力させ、その順番に基づいてフレーム群データを作成する構成でもよい。さらに、修正モードでは、すでに本装置に記憶されているフレームをスルー画像と重ね合わせて表示させながら、順次各フレームを修正する構成をとっていたが、単に表示部14上に、各フレームデータを線画やフレーム内を塗りつぶすなどの方法で表示して、そのフレームデータの画像を見ながら操作者がフレームデータを修正し、修正フレームが完成した後で、実際の撮影を行う際に初めてスルー画像と重ね合わせて表示させるようにしても良い。また、修正モードで、先にすべてのフレームを修正してしまうのではなく、1つのフレームを修正するたびに、シャッタキーを押して、現在写っている映像を撮影してしまう構成にすることも可能である。
また、上記実施形態では、各フレームデータがデジタルカメラ1のFlash ROM16に記憶されている場合を説明したが、例えば、WEBカメラのように、カメラ本体に記憶手段を有さず、フレームデータや撮影画像データを、通信用コネクタ128を介して外部の機器と送受信する動作をするようなカメラとして、本発明を実施することも可能である。このように本発明を実施する場合は、図7に示した、撮影画像と撮影画像の間の角度の画像を補間等によって獲得する処理や、図8の各種フォーマットの擬似3次元画像データを生成する処理についても、デジタルカメラ本体で行う必要はなく、デジタルカメラ1と通信で結ばれた、外部のPCやサーバなどの機器がこれらの処理を行うような、「撮像システム」として実現することも可能である。そして、これらのデータの送受信は、例えば、十字キー125などの操作によって実行が指示されるように構成したり、シャッタキー122を操作されたときに画像データを送信するように構成することで実現できる。
本発明に係る実施の形態のデジタルカメラ1の外観を示す斜視図であり、(a)が主に前面の構成を示す斜視図であり、(b)が主に背面の構成を示す斜視図であり、(c)が主に底面の構成を示す斜視図である。 デジタルカメラ1の内部構成を示すブロック図である。 フレーム撮影処理を示すフローチャートである。 フレーム撮影処理の撮影実行モードにおける処理例を示す図である。 被写体のフレームへの位置合せ例を示す図である。 フレーム撮影処理の修正モードにおける処理例を示す図である。 擬似3次元画像作成処理および記憶処理の処理例を示す図である。 擬似3次元画像のフォーマット例を示す図である。 擬似3次元画像の再生処理の一例を示す図である。 擬似3次元画像の再生処理の他の例を示す図である。
符号の説明
1…デジタルカメラ
2…セルフタイマランプ
3…光学ファインダ窓
4…ストロボ発光部
5…光学ファインダ
6…ストロボチャージランプ
11…CPU
12…操作部
121…電源キー
122…シャッタキー
123…モードSW
124…メニューキー
125…十字キー
126…入力ペン
127…メモリカードスロット
128…通信用コネクタ
13…RAM
14…表示部
15…ROM
16…Flash ROM
17…外部記憶部
18…通信部
19…撮像部
191…撮影レンズ
20…バス

Claims (20)

  1. 被写体を撮像する撮像部と、前記撮像部により撮像された撮像画像データを表示する表示部とを備えて前記被写体を撮影する画像撮影装置において、
    前記被写体の複数の視点からの形状を示す複数のフレームデータを記憶する記憶部と、
    前記記憶部に記憶されたフレームデータを前記表示部に表示させる表示制御部とを備えることを特徴とする画像撮影装置。
  2. 前記撮像部により撮像された撮像画像データを記録する記録手段と、
    前記記録手段に前記撮像画像データを記録するよう指示するシャッタ手段とをさらに備え、
    前記シャッタ手段により前記撮像画像データの記録が指示されると、前記撮像画像データを撮影する際に表示させられていたフレームデータを識別する情報を、前記撮像画像データとともに前記記録手段に記録することを特徴とする請求項1記載の画像撮影装置。
  3. 前記撮像部により撮像された撮像画像データを送信する送信手段と、
    前記送信手段に前記撮像画像データを送信するよう指示するデータ送信指示手段とをさらに備え、
    前記データ送信指示手段により前記撮像画像データの記録が指示されると、前記撮像画像データを撮影する際に表示させられていたフレームデータを識別する情報とともに前記撮像画像データを前記送信手段から送信することを特徴とする請求項1記載の画像撮影装置。
  4. 前記表示制御部は、前記シャッタ手段により撮像画像データの記録が行われるごとに、前記複数のフレームデータのうちの1つを所定の順で切り換えて表示することを特徴とする請求項2記載の画像撮影装置。
  5. 前記複数のフレームデータを用いて撮影され記録された撮像画像データが、所定の順に再生されるような擬似3次元画像データを作成する擬似3次元画像データ作成手段をさらに有することを特徴とする請求項2記載の画像撮影装置。
  6. 前記複数のフレームデータの各視点の間の視点からの被写体の補充画像データを、前記撮像画像データを用いて生成する補充画像生成手段をさらに有し、
    前記擬似3次元画像データ作成手段は、前記複数のフレームデータを用いて撮影され記録された撮像画像データと、前記補充画像データとが、所定の順で再生されるような擬似3次元画像データを作成するものであることを特徴とする請求項5記載の画像撮影装置。
  7. 前記擬似3次元画像データの再生を指示する再生指示手段をさらに備え、
    前記表示制御部は、前記再生指示手段によって前記擬似3次元画像データの再生が指示されると、前記表示部に前記擬似3次元画像データを再生表示することを特徴とする請求項5または6記載の画像撮影装置。
  8. 回転方向を指示する回転方向指示手段をさらに有し、
    前記表示制御部は、前記表示部に表示されている前記擬似3次元画像データを、前記回転方向指示手段によって指示された回転の表示を行うように前記擬似3次元画像データを再生表示することを特徴とする請求項5または6記載の画像撮影装置。
  9. 前記表示制御部は、前記擬似3次元画像データによって前記回転の表示を行わせることができる方向を、前記表示部に表示するように制御するものであることを特徴とする請求項8記載の画像撮影装置。
  10. 前記表示制御部は、現在、回転方向指示手段によって回転を指示されている回転方向を前記表示部に表示するように制御するものであることを特徴とする請求項8記載の画像撮影装置。
  11. 操作者の操作入力を受け付ける操作部と、
    前記操作部により入力されたフレーム修正情報に基づいて前記フレームデータを修正して、前記記憶部に記憶されたフレームデータを修正後のフレームデータに書き換える修正部とをさらに備えることを特徴とする請求項1記載の画像撮影装置。
  12. 操作者の操作入力を受け付ける操作部と、
    前記操作部により新規に入力されたフレームデータを前記記憶部に記憶させる記憶制御部とを備えることを特徴とする請求項1記載の画像撮影装置。
  13. 被写体を撮像する撮像部と、前記撮像部により撮像された撮像画像データを表示する表示部とを備えて前記被写体を撮影する画像撮影装置において、
    前記被写体の複数の視点からの形状を示す複数のフレームデータを外部の機器から受信する受信手段と、
    前記受信手段によって受信したフレームデータを前記撮像画像データとともに前記表示部に表示させる表示制御部とを備えることを特徴とする画像撮影装置。
  14. 前記撮像部により撮像された撮像画像データを送信する送信手段と、
    前記送信手段に前記撮像画像データを送信するよう指示するデータ送信指示手段とをさらに備え、
    前記データ送信指示手段により前記撮像画像データの記録が指示されると、前記撮像画像データを撮影する際に表示させられていたフレームデータを識別する情報とともに前記撮像画像データを前記送信手段から送信することを特徴とする請求項13記載の画像撮影装置。
  15. 被写体を撮像し、前記撮像された撮像画像データを表示部に表示する画像撮影方法において、
    前記被写体の複数の視点からの形状を示す複数のフレームデータを取得する手順と、
    前記取得したフレームデータを前記表示部に表示させる手順とを有することを特徴とする画像撮影方法。
  16. 前記撮像画像データの記録の指示を受け付ける手順と、
    前記撮像された撮像画像データを記録する手順と、
    前記撮像画像データを撮影する際に表示させられていたフレームデータを識別する情報を、前記撮像画像データとともに記録する手順とを有することを特徴とする請求項15記載の画像撮影方法。
  17. 前記複数のフレームデータを用いて撮影され記録された撮像画像データが、所定の順に再生されるような擬似3次元画像データを作成する手順をさらに有することを特徴とする請求項16記載の画像撮影方法。
  18. 被写体を撮像する撮像部と、前記撮像部により撮像された撮像画像データを表示する表示部とを備えて前記被写体を撮影する画像撮影装置に搭載されるコンピュータに、
    前記被写体の複数の視点からの形状を示す複数のフレームデータを取得する機能と、
    前記取得したフレームデータを前記表示部に表示させる機能とを実現させるための画像撮影プログラム。
  19. 前記コンピュータに、
    前記撮像画像データの記録の指示を受け付ける機能と、
    前記撮像部により撮像された撮像画像データを記録する機能と、
    前記撮像画像データを撮影する際に表示させられていたフレームデータを識別する情報を、前記撮像画像データとともに記録する機能とをさらに実現させるための請求項18記載の画像撮影プログラム。
  20. 前記コンピュータに、
    前記複数のフレームデータを用いて撮影され記録された撮像画像データが、所定の順に再生されるような擬似3次元画像データを作成する機能をさらに実現させるための請求項19記載の画像撮影プログラム。
JP2004159358A 2003-06-10 2004-05-28 画像撮影装置、擬似3次元画像生成方法、及び、プログラム Expired - Fee Related JP4635477B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004159358A JP4635477B2 (ja) 2003-06-10 2004-05-28 画像撮影装置、擬似3次元画像生成方法、及び、プログラム
US10/863,769 US20040252205A1 (en) 2003-06-10 2004-06-07 Image pickup apparatus and method for picking up a 3-D image using frames, and a recording medium that has recorded 3-D image pickup program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003165494 2003-06-10
JP2004159358A JP4635477B2 (ja) 2003-06-10 2004-05-28 画像撮影装置、擬似3次元画像生成方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2005027284A true JP2005027284A (ja) 2005-01-27
JP4635477B2 JP4635477B2 (ja) 2011-02-23

Family

ID=33513409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004159358A Expired - Fee Related JP4635477B2 (ja) 2003-06-10 2004-05-28 画像撮影装置、擬似3次元画像生成方法、及び、プログラム

Country Status (2)

Country Link
US (1) US20040252205A1 (ja)
JP (1) JP4635477B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008203214A (ja) * 2007-02-22 2008-09-04 Taiko Denki Co Ltd ワークの変形・歪み検出方法
JP2009294372A (ja) * 2008-06-04 2009-12-17 Nikon Corp ヘッドマウントディスプレイ装置
JP2010093626A (ja) * 2008-10-09 2010-04-22 Fujifilm Corp 画像処理装置および方法、画像再生装置および方法並びにプログラム
JP2012146313A (ja) * 2012-02-17 2012-08-02 Casio Comput Co Ltd 画像処理装置及びプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101180653A (zh) * 2005-04-07 2008-05-14 Nxp股份有限公司 用于三维呈现的方法和设备
US9460512B2 (en) * 2006-05-12 2016-10-04 Toshiba Medical Systems Corporation Three-dimensional image processing apparatus and reconstruction region specification method
JP4669032B2 (ja) * 2008-09-08 2011-04-13 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP2011147067A (ja) * 2010-01-18 2011-07-28 Sony Corp 画像処理装置及び方法、並びにプログラム
JP5717510B2 (ja) * 2010-04-08 2015-05-13 キヤノン株式会社 撮像装置、その制御方法および記憶媒体
DE112010005927B4 (de) * 2010-10-06 2014-07-17 Mitsubishi Electric Corporation AV-System
US9118843B2 (en) * 2013-01-17 2015-08-25 Google Inc. Methods and systems for creating swivel views from a handheld device
USD820314S1 (en) * 2017-03-01 2018-06-12 Cox Automotive, Inc. Display screen or a portion thereof with graphical user interface
USD819695S1 (en) * 2017-03-01 2018-06-05 Cox Automotive, Inc. Display screen or a portion thereof with graphical user interface
USD820312S1 (en) * 2017-03-01 2018-06-12 Cox Automotive, Inc. Display screen or a portion thereof with graphical user interface
USD916911S1 (en) * 2019-04-11 2021-04-20 Mark D. Damon Display screen with ride sharing icon

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09186951A (ja) * 1995-12-28 1997-07-15 Canon Inc 画像記録再生装置
JPH1175108A (ja) * 1997-08-28 1999-03-16 Casio Comput Co Ltd カメラ装置および撮像方法
JP2001024982A (ja) * 1999-07-03 2001-01-26 Kato Yoshiji 作業記録向けデジタルカメラシステム
JP2002094854A (ja) * 2000-09-14 2002-03-29 Casio Comput Co Ltd 電子カメラ及び定点撮影方法
JP2002131824A (ja) * 2000-10-23 2002-05-09 Canon Inc カメラ
JP2004215157A (ja) * 2003-01-08 2004-07-29 Minolta Co Ltd 撮像装置、およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5029997A (en) * 1989-11-16 1991-07-09 Faroudja Philippe Y C Stop-frame animation system
US5420622A (en) * 1991-09-23 1995-05-30 Faroudja; Philippe Y. C. Stop frame animation system using reference drawings to position an object by superimposition of TV displays
US5831630A (en) * 1994-08-04 1998-11-03 Fujitsu Limited Three-dimensional model processing system
JP3347508B2 (ja) * 1995-02-24 2002-11-20 キヤノン株式会社 撮像画像処理装置および撮像画像処理方法
US5742291A (en) * 1995-05-09 1998-04-21 Synthonics Incorporated Method and apparatus for creation of three-dimensional wire frames
US6081273A (en) * 1996-01-31 2000-06-27 Michigan State University Method and system for building three-dimensional object models
JPH1196374A (ja) * 1997-07-23 1999-04-09 Sanyo Electric Co Ltd 3次元モデリング装置、3次元モデリング方法および3次元モデリングプログラムを記録した媒体
US7065242B2 (en) * 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
US7193633B1 (en) * 2000-04-27 2007-03-20 Adobe Systems Incorporated Method and apparatus for image assisted modeling of three-dimensional scenes
US6894686B2 (en) * 2000-05-16 2005-05-17 Nintendo Co., Ltd. System and method for automatically editing captured images for inclusion into 3D video game play
EP1185112B1 (en) * 2000-08-25 2005-12-14 Fuji Photo Film Co., Ltd. Apparatus for parallax image capturing and parallax image processing
JP3631151B2 (ja) * 2000-11-30 2005-03-23 キヤノン株式会社 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
US7106361B2 (en) * 2001-02-12 2006-09-12 Carnegie Mellon University System and method for manipulating the point of interest in a sequence of images
US6784916B2 (en) * 2002-02-11 2004-08-31 Telbotics Inc. Video conferencing apparatus
JP2003242495A (ja) * 2002-02-18 2003-08-29 Sumitomo Wiring Syst Ltd 画面表示装置
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
US20040041906A1 (en) * 2002-09-04 2004-03-04 Fruit Theodoric Benjamin Method for producing a real-time, moving, stereoscopic, preview image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09186951A (ja) * 1995-12-28 1997-07-15 Canon Inc 画像記録再生装置
JPH1175108A (ja) * 1997-08-28 1999-03-16 Casio Comput Co Ltd カメラ装置および撮像方法
JP2001024982A (ja) * 1999-07-03 2001-01-26 Kato Yoshiji 作業記録向けデジタルカメラシステム
JP2002094854A (ja) * 2000-09-14 2002-03-29 Casio Comput Co Ltd 電子カメラ及び定点撮影方法
JP2002131824A (ja) * 2000-10-23 2002-05-09 Canon Inc カメラ
JP2004215157A (ja) * 2003-01-08 2004-07-29 Minolta Co Ltd 撮像装置、およびプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008203214A (ja) * 2007-02-22 2008-09-04 Taiko Denki Co Ltd ワークの変形・歪み検出方法
JP2009294372A (ja) * 2008-06-04 2009-12-17 Nikon Corp ヘッドマウントディスプレイ装置
JP2010093626A (ja) * 2008-10-09 2010-04-22 Fujifilm Corp 画像処理装置および方法、画像再生装置および方法並びにプログラム
KR101615152B1 (ko) 2008-10-09 2016-04-25 후지필름 가부시키가이샤 화상 처리 장치 및 방법, 화상 재생 장치 및 방법, 그리고 프로그램
JP2012146313A (ja) * 2012-02-17 2012-08-02 Casio Comput Co Ltd 画像処理装置及びプログラム

Also Published As

Publication number Publication date
US20040252205A1 (en) 2004-12-16
JP4635477B2 (ja) 2011-02-23

Similar Documents

Publication Publication Date Title
US10469746B2 (en) Camera and camera control method
JP4635477B2 (ja) 画像撮影装置、擬似3次元画像生成方法、及び、プログラム
JP2005128437A (ja) 撮影装置
US20060182437A1 (en) Method and apparatus for previewing a panoramic image on a digital camera
CN102202180A (zh) 摄像装置
JP7005324B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP2003179798A (ja) デジタルカメラ
JP4565909B2 (ja) カメラ
JP2006129101A (ja) 画像のトリミング方法、撮像装置、画像処理装置、及びプログラム
CN102209199B (zh) 图像拍摄装置
JP2010141609A (ja) 撮像装置
JP2019092121A (ja) 撮像制御装置およびその制御方法
JP4529561B2 (ja) 撮像装置、画像合成方法、及び、画像合成プログラム
JP4696614B2 (ja) 画像表示制御装置及びプログラム
JP4735166B2 (ja) 画像表示装置及びプログラム
JP4306341B2 (ja) 画像撮影装置
JP4668602B2 (ja) 立体視画像生成装置および方法並びにプログラム
JP2012124614A (ja) 撮像装置及び撮像装置の制御方法
JP4235130B2 (ja) デジタルカメラ
JP5003803B2 (ja) 画像出力装置、および、プログラム
JP2017085338A (ja) 撮像装置、その制御方法とプログラム
JP2005039777A (ja) 画像撮影装置及び画像撮影システム
JP2005347885A (ja) 撮像装置、撮影範囲調整方法及びプログラム
JP4022688B2 (ja) 動画撮影可能な電子カメラ
JP2006121193A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101001

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101108

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4635477

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees