[go: up one dir, main page]

JP2012027263A - 撮像装置、その制御方法およびプログラム - Google Patents

撮像装置、その制御方法およびプログラム Download PDF

Info

Publication number
JP2012027263A
JP2012027263A JP2010166170A JP2010166170A JP2012027263A JP 2012027263 A JP2012027263 A JP 2012027263A JP 2010166170 A JP2010166170 A JP 2010166170A JP 2010166170 A JP2010166170 A JP 2010166170A JP 2012027263 A JP2012027263 A JP 2012027263A
Authority
JP
Japan
Prior art keywords
image
focus
subject
imaging
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2010166170A
Other languages
English (en)
Inventor
Hidekuni Aizawa
秀邦 相澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010166170A priority Critical patent/JP2012027263A/ja
Priority to US13/392,529 priority patent/US20120154547A1/en
Priority to PCT/JP2011/063662 priority patent/WO2012011341A1/ja
Priority to EP11809515.7A priority patent/EP2597502A1/en
Priority to CN2011800038662A priority patent/CN102511013A/zh
Publication of JP2012027263A publication Critical patent/JP2012027263A/ja
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/52Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/285Systems for automatic generation of focusing signals including two or more different focus detection devices, e.g. both an active and a passive focus detecting device
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Lens Barrels (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】立体視画像の生成時にフォーカスが合っている画像領域を拡大させる。そして、鮮鋭な立体視画像を表示する。
【解決手段】左眼用撮像部200は、左眼視用画像を生成し、右眼用撮像部300は、左眼視用画像に同期して右眼視用画像を生成する。フォーカス制御部123は、左眼視用画像に含まれる被写体のうち特定エリアに含まれる被写体(第1被写体)に合焦するように左眼用撮像部200のフォーカス制御を行う。また、フォーカス制御部123は、右眼視用画像に含まれる被写体のうち、光軸方向において第1被写体とは異なる位置に存在する他の被写体(第2被写体)に合焦するように右眼用撮像部300のフォーカス制御を行う。この場合に、左眼視用画像の生成時における被写界深度の範囲と、右眼視用画像の生成時における被写界深度の範囲とが重複せずに連続する範囲となるように各フォーカス制御を行う。
【選択図】図3

Description

本発明は、撮像装置に関し、特に、立体視画像を生成する撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
従来、左右眼の視差を利用して立体的な視覚を得ることができる立体視画像を表示するための立体視画像表示方法が多数提案されている。また、立体視画像を表示するための複数の画像(画像データ)を関連付けて記録するデジタルスチルカメラやデジタルビデオカメラ(カメラ一体型レコーダ)等の撮像装置が提案されている。
例えば、フォーカスレンズが設けられている2つの撮像部を備え、これらの各撮像部により生成される2つの画像を記録媒体に記録する立体画像撮影装置が提案されている(例えば、特許文献1参照。)。この立体画像撮影装置では、AF動作において、各フォーカスレンズを移動してAF評価値を算出し、AF評価値の最大値を先に検出したフォーカスレンズの位置に、他方のフォーカスレンズを設定する。
特開2006−162990号公報(図4)
上述の従来技術では、AF評価値の最大値を先に検出したフォーカスレンズの位置に、他方のフォーカスレンズを設定するため、比較的短い時間でAF動作を行うことができる。すなわち、2つの撮像部により生成される2つの画像に含まれる同一の被写体を合焦対象とする場合に、その合焦対象となる被写体に迅速にフォーカスを合わせることができるため、比較的短い時間でAF動作を行うことができる。
ここで、例えば、レンズの焦点距離が長く、かつ、被写体までの距離が近い場合、または、十分な照度が得られず絞りが比較的開放されているような露出環境下である場合には、合焦位置の前後の被写界深度は浅くなる。このように、被写界深度が浅い状態で生成された画像が表示される場合には、その画像は、その浅い被写界深度に含まれる被写体についてはフォーカスが合っているが、他の被写体についてはボケている画像として表示される。
また、合焦位置の前後の被写界深度が浅い状態で生成された左眼視用画像および右眼視用画像を用いて立体視画像が表示される場合を想定する。このように生成された立体視画像が表示される場合には、その立体視画像は、その浅い被写界深度に含まれる被写体についてはフォーカスが合っているが、他の被写体についてはボケている画像として表示される。この場合、ユーザは、フォーカスが合っている被写体については鮮明な立体として見ることができるが、他の被写体についてはそれなりにボケた立体として見ることになる。
例えば、人間は、視野に含まれる物体のうち、何れの物体に対してもフォーカスを合わせることができるため、視野に含まれる物体については比較的自由に立体的に見ることができる場合が多い。ここで、表示されている立体視画像をユーザが見る場合において、その立体視画像に含まれる被写体のうち、フォーカスが合っている被写体が比較的少ない場合を想定する。この場合には、上述したように、その比較的少ない被写体(フォーカスが合っている被写体)については比較的自由に立体的に見ることができるが、他の被写体についてはボケたままであるため、フォーカスが合っている被写体と同じように見ることは困難である。このように、視野に含まれる物体を比較的自由に見ることができる状態とは異なるため、ユーザにとって違和感が生じるおそれがある。
そこで、被写界深度が比較的浅い撮像条件であっても、比較的広範囲に含まれる被写体を適切に立体視することができる立体視画像を生成し、ユーザが自然な感じで立体視画像を見ることができるようにすることが重要である。
本発明はこのような状況に鑑みてなされたものであり、立体視画像を生成する場合に、フォーカスが合っている画像領域を拡大させることを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、被写体を撮像して当該被写体を立体視するための立体視画像を表示するための第1画像および第2画像を生成する撮像部と、上記第1画像の生成時において上記第1画像に含まれる被写体のうち特定エリアに含まれる被写体である第1被写体に合焦するように上記撮像部におけるフォーカス制御を行い、上記第2画像の生成時において上記第2画像に含まれる被写体のうち光軸方向において上記第1被写体とは異なる位置に存在する他の被写体である第2被写体に合焦するように上記撮像部におけるフォーカス制御を行うフォーカス制御部とを具備する撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第1画像の生成時において第1画像に含まれる被写体のうち特定エリアに含まれる被写体(第1被写体)に合焦するようにフォーカス制御を行い、第2画像の生成時において第2画像に含まれる被写体のうち光軸方向において第1被写体とは異なる位置に存在する他の被写体(第2被写体)に合焦するようにフォーカス制御を行うという作用をもたらす。
また、この第1の側面において、上記フォーカス制御部は、上記第1画像の生成時における被写界深度の範囲と上記第2画像の生成時における被写界深度の範囲とが異なるように上記各フォーカス制御を行うようにしてもよい。これにより、第1画像の生成時における被写界深度の範囲と、第2画像の生成時における被写界深度の範囲とが異なるように各フォーカス制御を行うという作用をもたらす。
また、この第1の側面において、上記フォーカス制御部は、上記第1画像の生成時における被写界深度の範囲と上記第2画像の生成時における被写界深度の範囲とが重複せずに連続する範囲となるように上記各フォーカス制御を行うようにしてもよい。これにより、第1画像の生成時における被写界深度の範囲と、第2画像の生成時における被写界深度の範囲とが重複せずに連続する範囲となるように各フォーカス制御を行うという作用をもたらす。
また、この第1の側面において、上記フォーカス制御部は、上記第1画像の生成時における被写界深度の範囲と上記第2画像の生成時における被写界深度の範囲とが重複するように上記各フォーカス制御を行うようにしてもよい。これにより、第1画像の生成時における被写界深度の範囲と、第2画像の生成時における被写界深度の範囲とが重複するように各フォーカス制御を行うという作用をもたらす。
また、この第1の側面において、上記フォーカス制御部は、一定条件を満たす場合に、上記第1画像の生成時における被写界深度の範囲と上記第2画像の生成時における被写界深度の範囲とが非連続となるように上記各フォーカス制御を行うようにしてもよい。これにより、一定条件を満たす場合に、第1画像の生成時における被写界深度の範囲と、第2画像の生成時における被写界深度の範囲とが非連続となるように各フォーカス制御を行うという作用をもたらす。
また、この第1の側面において、上記フォーカス制御部は、背景が略一色であり、かつ、当該背景よりも上記撮像装置側に存在して光軸方向において一定値よりも離れている2つの物体を上記第1被写体および上記第2被写体とする条件を上記一定条件として、上記一定条件を満たす場合に上記非連続となるように上記各フォーカス制御を行うようにしてもよい。これにより、背景が略一色であり、かつ、その背景よりも撮像装置側に存在して光軸方向において一定値よりも離れている2つの物体を、第1被写体および第2被写体とする条件を一定条件とし、この一定条件を満たす場合に、2つの被写界深度の範囲が非連続となるように各フォーカス制御を行うという作用をもたらす。
また、この第1の側面において、上記撮像部は、上記第1画像を生成する第1撮像部と、上記第1画像に同期して上記第2画像を生成する第2撮像部とを備え、上記フォーカス制御部は、上記第1画像の生成時において上記第1撮像部に備えられる第1フォーカスレンズを用いて上記第1被写体に合焦するようにフォーカス制御を行うとともに、上記第2画像の生成時において上記第2撮像部に備えられる第2フォーカスレンズを用いて上記第2被写体に合焦するようにフォーカス制御を行うようにしてもよい。これにより、第1画像の生成時において、第1撮像部に備えられる第1フォーカスレンズを用いて第1被写体に合焦するようにフォーカス制御を行うとともに、第2画像の生成時において、第2撮像部に備えられる第2フォーカスレンズを用いて第2被写体に合焦するようにフォーカス制御を行うという作用をもたらす。
また、この第1の側面において、上記フォーカス制御部は、上記第1被写体の位置とF値とレンズの焦点距離とにより特定される第1被写界深度の範囲とは異なる範囲に含まれる上記第2被写体に合焦するように上記第2フォーカスレンズを用いたフォーカス制御を行うようにしてもよい。これにより、第1被写体の位置と、F値と、レンズの焦点距離とにより特定される第1被写界深度の範囲とは異なる範囲に含まれる第2被写体に合焦するように第2フォーカスレンズを用いたフォーカス制御を行うという作用をもたらす。
また、この第1の側面において、上記フォーカス制御部は、上記第1被写体および上記第2被写体が過焦点距離の範囲内に存在する場合には上記第1フォーカスレンズおよび上記第2フォーカスレンズを同期して上記フォーカス制御を行うようにしてもよい。これにより、第1被写体および第2被写体が過焦点距離の範囲内に存在する場合には、第1フォーカスレンズおよび第2フォーカスレンズを同期してフォーカス制御を行うという作用をもたらす。
また、この第1の側面において、上記フォーカス制御部は、上記撮像部におけるレンズの焦点距離が長く、かつ、上記第1被写体に係る被写体距離が短い場合、または、F値が一定値を基準として小さい場合に、上記第1画像に含まれる上記第1被写体に合焦するように上記撮像部におけるフォーカス制御を行い、上記第2画像に含まれる上記第2被写体に合焦するように上記撮像部におけるフォーカス制御を行うようにしてもよい。これにより、撮像部におけるレンズの焦点距離が長く、かつ、第1被写体に係る被写体距離が短い場合、または、F値が一定値を基準として小さい場合に、第1画像に含まれる第1被写体に合焦するようにフォーカス制御を行い、第2画像に含まれる第2被写体に合焦するようにフォーカス制御を行うという作用をもたらす。
また、この第1の側面において、上記第2被写体を、上記光軸方向において上記第1被写体よりも上記撮像装置側に存在する被写体とするか、上記光軸方向において上記第1被写体よりも上記遠方側に存在する被写体とするかを選択する選択操作を受け付ける操作受付部をさらに具備し、上記フォーカス制御部は、上記第2画像の生成時において上記選択された被写体に合焦するようにフォーカス制御を行うようにしてもよい。これにより、第2画像の生成時において、選択操作により選択された被写体に合焦するようにフォーカス制御を行うという作用をもたらす。
また、この第1の側面において、上記生成された第1画像および第2画像を関連付けて動画コンテンツとして記録媒体に記録させる記録制御部をさらに具備するようにしてもよい。これにより、生成された第1画像および第2画像を関連付けて動画コンテンツとして記録媒体に記録させるという作用をもたらす。
また、この第1の側面において、上記生成された第1画像および第2画像を関連付けて静止画コンテンツとして記録媒体に記録させる記録制御部をさらに具備するようにしてもよい。これにより、生成された第1画像および第2画像を関連付けて静止画コンテンツとして記録媒体に記録させるという作用をもたらす。
また、この第1の側面において、上記静止画を記録する指示操作を受け付ける操作受付部と、上記指示操作が受け付けられた場合には、上記第1被写体および上記第2被写体のそれぞれに合焦するように上記各フォーカス制御を行い上記第1画像および上記第2画像を生成する第1撮像動作と、上記第1被写体および上記第2被写体の少なくとも何れか一方に合焦するように上記各フォーカス制御を行い上記第1画像および上記第2画像を生成する第2撮像動作とを上記撮像部に連続して行わせる制御を行う制御部とをさらに具備し、上記記録制御部は、上記第1撮像動作により生成された第1画像および第2画像と、上記第2撮像動作により生成された第1画像および第2画像とを関連付けて静止画コンテンツとして上記記録媒体に記録させるようにしてもよい。これにより、静止画を記録する指示操作が受け付けられた場合には、第1被写体および第2被写体のそれぞれに合焦するように各フォーカス制御を行い第1画像および第2画像を生成する第1撮像動作と、第1被写体および第2被写体の少なくとも何れか一方に合焦するように各フォーカス制御を行い第1画像および第2画像を生成する第2撮像動作とを連続して行わせ、第1撮像動作により生成された第1画像および第2画像と、第2撮像動作により生成された第1画像および第2画像とを関連付けて静止画コンテンツとして記録媒体に記録させるという作用をもたらす。
また、この第1の側面において、上記記録制御部は、上記第1撮像動作により生成された旨を示す識別情報を、上記第1撮像動作により生成された上記第1画像および上記第2画像に関連付けて記録するようにしてもよい。これにより、第1撮像動作により生成された旨を示す識別情報を、第1撮像動作により生成された第1画像および第2画像に関連付けて記録するという作用をもたらす。
本発明によれば、立体視画像を生成する場合に、フォーカスが合っている画像領域を拡大させるという優れた効果を奏し得る。
本発明の第1の実施の形態における撮像装置100の外観を示す斜視図である。 本発明の第1の実施の形態における撮像装置100の内部構成例を示すブロック図である。 本発明の第1の実施の形態における撮像装置100の機能構成例を示すブロック図である。 本発明の第1の実施の形態における入出力パネル190の表示例を示す図である。 本発明の第1の実施の形態における入出力パネル190の表示例および立体視画像撮像条件保持部122における保持内容例を示す図である。 本発明の第1の実施の形態における撮像素子250および350の許容錯乱円と、光学系を構成する各レンズと、被写界深度との関係を概略的に示す図である。 本発明の第1の実施の形態におけるフォーカス制御部123により設定される被写界深度と被写体との関係を概略的に示す図である。 本発明の第1の実施の形態における左眼用撮像部200および右眼用撮像部300のそれぞれにより生成された1組の画像(静止画)例である。 本発明の第1の実施の形態における左眼用撮像部200および右眼用撮像部300のそれぞれにより生成された1組の画像(静止画)例である。 本発明の第1の実施の形態における撮像装置100によるフォーカス制御処理の処理手順の一例を示すフローチャートである。 本発明の第1の実施の形態の変形例における撮像装置670の機能構成例を示すブロック図である。 本発明の第1の実施の形態における合焦位置テーブル保持部680に保持される合焦位置テーブルの一例を示す図である。 本発明の第2の実施の形態における入出力パネル190の表示例および立体視画像撮像条件保持部127における保持内容例を示す図である。 本発明の第2の実施の形態における撮像装置700による撮像動作により生成される画像の記録例を模式的に示す図である。 本発明の第3の実施の形態における撮像装置750を用いて行われる撮像動作の状態およびその撮像動作により生成される画像の撮像範囲の一例を示す図である。 本発明の第3の実施の形態における入出力パネル190の表示例および立体視画像撮像条件保持部128における保持内容例を示す図である。 本発明の第3の実施の形態におけるフォーカス制御部123により設定される被写界深度と被写体との関係を概略的に示す図である。
以下、本発明を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(フォーカス制御:2つの撮像部の合焦位置を異なるものとし、2つの撮像部の被写界深度を連続として立体視画像を生成する例)
2.第2の実施の形態(フォーカス制御:2つの撮像部の合焦位置が異なる立体視画像と、2つの撮像部の合焦位置が同一である立体視画像とを連続して記録する例)
3.第3の実施の形態(フォーカス制御:2つの撮像部の合焦位置を異なるものとし、2つの撮像部の被写界深度を非連続として立体視画像を生成する例)
<1.第1の実施の形態>
[撮像装置の外観構成例]
図1は、本発明の第1の実施の形態における撮像装置100の外観を示す斜視図である。図1(a)は、撮像装置100の正面(すなわち、被写体に向けられるレンズが設けられている面)側の外観を示す斜視図である。また、図1(b)は、撮像装置100の背面(すなわち、撮影者に向けられる入出力パネル190が設けられている面)側の外観を示す斜視図である。
撮像装置100は、シャッターボタン111と、入出力パネル190と、左眼用撮像部200と、右眼用撮像部300とを備える。撮像装置100は、被写体を撮像して撮像画像(画像データ)を生成し、この生成された撮像画像を画像コンテンツ(静止画コンテンツまたは動画コンテンツ)として記録媒体(図2に示すコンテンツ記憶部160)に記録することが可能な撮像装置である。また、撮像装置100は、立体視撮像対応の撮像装置であり、立体視画像(3D画像)を表示させるための画像コンテンツを生成することができる。なお、立体視画像(3D画像)は、左右眼の視差を利用して立体的な視覚を得ることができる画像である。例えば、左眼用撮像部200および右眼用撮像部300のそれぞれが被写体を撮像して2つの撮像画像(立体視画像を表示するための左眼視用画像(左眼画像)および右眼視用画像(右眼画像))を生成する。そして、その生成された2つの撮像画像に基づいて、立体視画像を表示させるための画像コンテンツが生成される。なお、撮像装置100には、電源スイッチ、モード切替スイッチ、ズームボタン等の他の操作部材が備えられているが、ここでの図示および説明は省略する。
シャッターボタン111は、被写体を撮像して生成された撮像画像(画像データ)を画像コンテンツとして記録する際にユーザにより押下されるボタンである。例えば、静止画を記録するための静止画撮像モードが設定されている場合において、シャッターボタン111が半押しされた場合には、オートフォーカスを行うためのフォーカス制御が行われる。また、シャッターボタン111が全押しされた場合には、そのフォーカス制御が行われ、この全押しの際に左眼用撮像部200および右眼用撮像部300のそれぞれにより撮像された撮像画像が関連付けて記録媒体に記録される。
入出力パネル190は、各種画像を表示するとともに、入出力パネル190における接触操作を検出することによりユーザからの操作入力を受け付けるものである。
なお、左眼用撮像部200および右眼用撮像部300については、図2を参照して詳細に説明する。
[撮像装置の内部構成例]
図2は、本発明の第1の実施の形態における撮像装置100の内部構成例を示すブロック図である。撮像装置100は、操作受付部110と、CPU120と、同期クロック130と、露光制御部140と、記録制御部150と、コンテンツ記憶部160と、表示制御部170と、表示部180とを備える。また、撮像装置100は、左眼用撮像部200および右眼用撮像部300を備える。
左眼用撮像部200および右眼用撮像部300は、左眼視用画像および右眼視用画像を生成するため、光学系、撮像素子、撮像信号処理部のそれぞれが左右1組となるように構成されている。すなわち、左眼用撮像部200は、ズームレンズ211と、絞り212と、フォーカスレンズ213と、ズームレンズ駆動モータ221と、ズームレンズ制御部222と、絞り駆動モータ231と、絞り制御部232とを備える。また、左眼用撮像部200は、フォーカスレンズ駆動モータ241と、フォーカスレンズ制御部242と、撮像素子250と、撮像信号処理部260とを備える。また、右眼用撮像部300は、ズームレンズ311と、絞り312と、フォーカスレンズ313と、ズームレンズ駆動モータ321と、ズームレンズ制御部322と、絞り駆動モータ331と、絞り制御部332とを備える。また、右眼用撮像部300は、フォーカスレンズ駆動モータ341と、フォーカスレンズ制御部342と、撮像素子350と、撮像信号処理部360とを備える。
なお、左眼用撮像部200および右眼用撮像部300の各構成(各レンズ、各撮像素子等)は、配置位置が異なる点以外は略同一である。このため、以下では、これらの左右の構成のうち何れかについては一部の説明を省略して説明する。
ズームレンズ211は、ズームレンズ駆動モータ221の駆動により光軸方向に移動して焦点距離を調整するレンズである。すなわち、ズームレンズ211は、撮像画像に含まれる被写体を拡大または縮小させるため、被写体に対して前後に駆動するレンズである。また、ズームレンズ211により、ズーム機能が実現される。
ズームレンズ駆動モータ221は、ズームレンズ制御部222から出力された駆動制御信号に応じて回転することにより、ズームレンズ211を光軸方向に移動させて焦点距離を調整するモータである。
ズームレンズ制御部222は、CPU120から出力された制御信号に基づいて、ズームレンズ駆動モータ221を回転させる駆動制御信号を生成し、この駆動制御信号をズームレンズ駆動モータ221に出力するものである。
絞り212は、ズームレンズ211およびフォーカスレンズ213を通過する入射光の光量(すなわち、露出)を調整するものであり、その調整後の光が撮像素子250に供給される。また、絞り212は、絞り駆動モータ231により駆動され、絞りの開度が調節される。
絞り駆動モータ231は、絞り制御部232から出力された駆動制御信号に応じて回転することにより、絞り212を開閉させてF値(絞り値)を調整するモータである。
絞り制御部232は、CPU120から出力された制御信号に基づいて、絞り駆動モータ231を回転させる駆動制御信号を生成し、この駆動制御信号を絞り駆動モータ231に出力するものである。
フォーカスレンズ213は、フォーカスレンズ駆動モータ241の駆動により光軸方向に移動してフォーカス(焦点)を調整するレンズである。すなわち、フォーカスレンズ213は、撮像画像に含まれる所望の対象物にフォーカスを合わせるために使用されるレンズである。また、フォーカスレンズ213により、オートフォーカス機能が実現される。
フォーカスレンズ駆動モータ241は、フォーカスレンズ制御部242から出力された駆動制御信号に応じて回転することにより、フォーカスレンズ213を光軸方向に移動させて焦点位置を調整するモータである。
フォーカスレンズ制御部242は、CPU120から出力された制御信号に基づいて、フォーカスレンズ駆動モータ241を回転させる駆動制御信号を生成し、この駆動制御信号をフォーカスレンズ駆動モータ241に出力するものである。
このように、ズームレンズ211およびフォーカスレンズ213は、被写体からの入射光を集光するレンズ群であり、これらのレンズ群により集光される光が絞り212によりその量(光量)が調整されて撮像素子250に入射される。
撮像素子250は、ズームレンズ211、絞り212およびフォーカスレンズ213を通過した入射光に光電変換処理を施し、光電変換された電気信号(画像信号)を撮像信号処理部260に供給する撮像素子である。すなわち、撮像素子250は、ズームレンズ211およびフォーカスレンズ213を介して入射された被写体からの光を受光して光電変換を行うことにより、光の受光量に応じたアナログの画像信号を生成する。また、撮像素子250および撮像素子350(右眼用撮像部300)は、各レンズを介して入射された被写体像を同期クロック130のクロック信号に基づく同期駆動により結像してアナログの画像信号を生成する。このように撮像素子250により生成されたアナログの画像信号が撮像信号処理部260に供給され、撮像素子350により生成されたアナログの画像信号が撮像信号処理部360に供給される。なお、撮像素子250および350として、CCD(Charge Coupled Device)、CMOS(Complementary Metal-Oxide Semiconductor)等を用いることができる。
撮像信号処理部260は、CPU120の制御に基づいて、撮像素子250から供給されたアナログの画像信号に対して各種の信号処理を施す左眼用撮像信号処理部である。そして、撮像信号処理部260は、各種の信号処理が施されて生成されたデジタルの画像信号(左眼視用画像)をCPU120および記録制御部150に出力する。また、撮像信号処理部360は、CPU120の制御に基づいて、撮像素子350から供給されたアナログの画像信号に対して各種の信号処理を施す右眼用撮像信号処理部である。そして、撮像信号処理部360は、各種の信号処理が施されて生成されたデジタルの画像信号(右眼視用画像)をCPU120、露光制御部140および記録制御部150に出力する。また、左眼用撮像部200および右眼用撮像部300は、各撮像情報(基準レンズの焦点距離、F値等)をCPU120に出力する。
操作受付部110は、ユーザによる操作入力を受け付ける操作受付部であり、受け付けられた操作入力の内容に応じた操作信号をCPU120に供給する。操作受付部110は、例えば、シャッターボタン111、入出力パネル190、各種操作ボタン、各種操作ダイヤル等の操作部材に対応する。例えば、ユーザがズーム操作を行うためのズームボタン(W(ワイド)ボタンおよびT(テレ)ボタン)が撮像装置100に備えられる。このズームボタンのWボタンが押下されている状態では、ズームレンズ211および311がワイド端側(望遠側)に移動し、Tボタンが押下されている状態では、ズームレンズ211および311がテレ端側(広角側)に移動する。また、例えば、操作受付部110は、立体視画像撮像モードの各種撮像条件を設定するための設定操作を受け付ける。また、例えば、操作受付部110は、各撮像モードを設定する設定操作や画像の記録を指示する指示操作を受け付ける。なお、本発明の第1の実施の形態では、撮像装置100は、立体視画像を記録するための立体視画像撮像モード(例えば、静止画撮像モード、動画撮像モード)を設定する例を示す。
CPU120は、撮像装置100の各部に供給する制御信号を生成し、生成された制御信号を各部に供給してズーム制御、フォーカス制御、シャッター制御、画像記録処理等の各制御を行うものである。例えば、CPU120は、フォーカスレンズ213および313を移動させる制御信号を生成することにより、所定の被写体に対する合焦位置を検出するAF(Auto Focus:オートフォーカス)制御を行う。具体的には、CPU120は、撮像信号処理部260および撮像信号処理部360から出力された画像信号に対応する撮像画像について、フォーカスレンズ213および313を移動させてオートフォーカス制御を行う。
露光制御部140は、撮像信号処理部260から出力された画像信号に基づいて、撮像素子250および350の露光時間を制御するものである。すなわち、露光制御部140は、撮像信号処理部260から出力された画像信号に対応する画像における被写体の輝度に基づいて、撮像素子250および350の露光時間を決定し、この決定された露光時間をCPU120に出力する。
記録制御部150は、CPU120の制御に基づいて、左眼用撮像部200および右眼用撮像部300から出力された各画像を画像ファイル(画像コンテンツ)としてコンテンツ記憶部160に記録させるものである。例えば、記録制御部150は、撮像信号処理部260から出力された左眼視用画像と、撮像信号処理部360から出力された右眼視用画像とを同期クロック130のクロック信号に従って関連付けてコンテンツ記憶部160に記録させる。
例えば、記録制御部150は、操作受付部110により静止画記録の指示操作が受け付けられた場合には、左眼視用画像および右眼視用画像を関連付けて静止画ファイル(静止画コンテンツ)としてコンテンツ記憶部160に記録させる。この記録時に、撮像時における日時情報等の属性情報が画像ファイルに記録される。なお、静止画記録の指示操作は、例えば、シャッターボタン111(図1に示す)の押下操作により行われる。また、例えば、記録制御部150は、左眼視用画像および右眼視用画像の順序関係(例えば、視点番号)を、左眼視用画像および右眼視用画像に関連付けてMP(Multi Picture)ファイルとして記録媒体に記録させるようにしてもよい。MPファイルは、複数の静止画を1つのファイル(拡張子:.MPO)として記録するMPフォーマットに準拠したファイルである。
また、例えば、操作受付部110により動画記録の指示操作が受け付けられた場合を想定する。この場合には、記録制御部150は、撮像信号処理部260および360から所定のフレームレートで出力される左眼視用画像および右眼視用画像を動画ファイル(動画コンテンツ)としてコンテンツ記憶部160に順次記録させる。なお、動画記録の指示操作は、例えば、録画ボタンの押下操作により行われる。
コンテンツ記憶部160は、記録制御部150の制御に基づいて、左眼用撮像部200および右眼用撮像部300から出力された各画像を関連付けて画像ファイル(画像コンテンツ)として記憶するものである。なお、コンテンツ記憶部160として、例えば、DVD(Digital Versatile Disk)等のディスクやメモリカード等の半導体メモリ等のリムーバブルな記録媒体(1または複数の記録媒体)を用いることができる。また、これらの記録媒体は、撮像装置100に内蔵するようにしてもよく、撮像装置100から着脱可能とするようにしてもよい。
表示制御部170は、CPU120の制御に基づいて、各種画像を表示部180に表示させるものである。例えば、表示制御部170は、操作受付部110により立体視画像(静止画)を表示する指示操作が受け付けられた場合には、立体視画像(静止画)を表示させるための画像コンテンツをコンテンツ記憶部160から取得する。そして、表示制御部170は、その画像コンテンツを表示部180に表示させる。また、表示制御部170は、CPU120の制御に基づいて、各種画面(例えば、図4および図5(a)に示す各設定画面)を表示部180に表示させる。また、表示制御部170は、静止画撮像モードが設定されている場合に、左眼用撮像部200および右眼用撮像部300からにより生成された各画像をモニタリング画像(立体視画像または平面画像)として表示部180に表示させるようにしてもよい。
表示部180は、表示制御部170の制御に基づいて、コンテンツ記憶部160に記憶されている画像コンテンツを表示する表示部である。また、表示部180には各種メニュー画面や各種画像が表示される。表示部180として、例えば、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)パネル等を用いることができる。また、図1に示す入出力パネル190は、操作受付部110および表示部180により構成される。
[撮像装置の機能構成例]
図3は、本発明の第1の実施の形態における撮像装置100の機能構成例を示すブロック図である。撮像装置100は、撮像部101と、操作受付部110と、制御部121と、立体視画像撮像条件保持部122と、フォーカス制御部123と、記録制御部150と、コンテンツ記憶部160と、表示制御部170と、表示部180とを備える。なお、撮像部101は、図2に示す左眼用撮像部200および右眼用撮像部300に対応する。また、操作受付部110、記録制御部150、コンテンツ記憶部160、表示制御部170および表示部180は、図2に示す同一符号の各部に対応する。このため、これらの説明の一部を省略する。また、制御部121、立体視画像撮像条件保持部122およびフォーカス制御部123は、図2に示すCPU120に対応する。
撮像部101は、左眼用撮像部200および右眼用撮像部300を備え、被写体を撮像してその被写体を立体視するための立体視画像を表示するための左眼視用画像および右眼視用画像を生成するものである。そして、撮像部101は、生成された左眼視用画像および右眼視用画像をフォーカス制御部123および記録制御部150に出力する。また、撮像部101は、左眼用撮像部200および右眼用撮像部300のそれぞれにおける各撮像情報(基準レンズの焦点距離、F値等)をフォーカス制御部123に出力する。なお、フォーカス制御部123の制御に基づいて、左眼用撮像部200および右眼用撮像部300におけるフォーカス制御が行われる。
制御部121は、操作受付部110からの操作内容に基づいて、撮像装置100の各部を制御するものである。例えば、制御部121は、操作受付部110により立体視画像撮像モードの各種撮像条件を設定するための設定操作が受け付けられた場合には、その設定操作に応じた設定情報を立体視画像撮像条件保持部122に保持させる。
例えば、制御部121は、操作受付部110により静止画撮像モードを設定する設定操作が受け付けられた場合には、その旨を撮像部101、フォーカス制御部123および記録制御部150に通知して、静止画撮像モードを設定する。また、例えば、制御部121は、静止画撮像モードが設定されている状態で、操作受付部110により静止画の記録を指示する静止画記録指示操作が受け付けられた場合には、立体視画像の静止画を記録するための記録処理を各部に実行させる。具体的には、制御部121は、左眼用撮像部200および右眼用撮像部300におけるフォーカス制御をフォーカス制御部123に行わせ、左眼視用画像および右眼視用画像を撮像部101に生成させる。そして、制御部121は、記録制御部150に制御により、その生成された左眼視用画像および右眼視用画像を立体視画像の静止画ファイルとしてコンテンツ記憶部160に記録させる。
また、例えば、制御部121は、動画撮像モードが設定されている状態で、操作受付部110により動画の記録を指示する動画記録指示操作が受け付けられた場合には、立体視画像の動画を記録するための記録処理を各部に実行させる。
また、例えば、制御部121は、再生モードが設定されている状態で、操作受付部110により静止画または動画の再生を指示する再生指示操作が受け付けられた場合には、静止画または動画を再生するための再生処理を各部に実行させる。例えば、表示制御部170が、再生指示操作に係る画像コンテンツをコンテンツ記憶部160から取得し、この取得された画像コンテンツに基づいて、各画像を表示部180に表示させる。
立体視画像撮像条件保持部122は、立体視画像撮像モードの各種撮像条件を設定するための設定情報を保持するものであり、保持されている設定情報をフォーカス制御部123に供給する。また、立体視画像撮像条件保持部122に保持されている設定情報は、立体視画像撮像モードの各種撮像条件を設定するための設定操作が操作受付部110により受け付けられる毎に、制御部121により更新される。なお、立体視画像撮像条件保持部122の保持内容については、図5(b)を参照して詳細に説明する。
フォーカス制御部123は、左眼用撮像部200および右眼用撮像部300におけるフォーカスレンズ213、313を移動させることによりフォーカス制御を行うものである。すなわち、フォーカス制御部123は、左眼用撮像部200および右眼用撮像部300から出力された各画像からAF評価値(コントラスト信号)を生成する。そして、フォーカス制御部123は、その生成されたAF評価値と、左眼用撮像部200および右眼用撮像部300から取得された各撮像情報とに基づいて、フォーカス制御を行う。すなわち、フォーカス制御部123は、撮像画像に含まれるAF領域(特定エリア)において、このAF領域内の画像の空間周波数の高周波成分を抽出し、その抽出された高周波成分の輝度差分(AF評価値)を生成する。このように生成されたAF評価値に基づいて合焦位置が検出される。なお、フォーカス制御部123は、例えば、シャッターボタン111の半押し操作または全押し操作が行われた際に、フォーカス制御を行う。また、フォーカス制御部123は、例えば、動画の記録動作中にフォーカス制御を行う。
ここで、静止画撮像モードが設定され、左眼用撮像部200および右眼用撮像部300のうち左眼用撮像部200を基準とする場合を想定する。この場合に、フォーカス制御部123は、左眼視用画像の生成時において左眼視用画像に含まれる被写体のうち特定エリアに含まれる被写体(第1被写体)に合焦するように左眼用撮像部200におけるフォーカス制御を行う。また、フォーカス制御部123は、右眼視用画像の生成時において右眼視用画像に含まれる被写体のうち光軸方向において第1被写体とは異なる位置に存在する他の被写体(第2被写体)に合焦するように右眼用撮像部300におけるフォーカス制御を行う。すなわち、フォーカス制御部123は、左眼視用画像の生成時における被写界深度の範囲と、右眼視用画像の生成時における被写界深度の範囲とが異なるように、左眼用撮像部200および右眼用撮像部300における各フォーカス制御を行う。例えば、フォーカス制御部123は、左眼視用画像の生成時における被写界深度の範囲と、右眼視用画像の生成時における被写界深度の範囲とが重複せずに連続する範囲となるように、各フォーカス制御を行う。また、例えば、フォーカス制御部123は、左眼視用画像の生成時における被写界深度の範囲と、右眼視用画像の生成時における被写界深度の範囲とが重複するように、各フォーカス制御を行う。なお、これらの各フォーカス制御については、ユーザ設定に基づいて行うことができる。また、これらの各フォーカス制御については、一定条件を満たす場合に、撮像装置100が自動で行うようにしてもよい。例えば、撮像部101におけるレンズの焦点距離が長く、かつ、撮像部101の合焦対象となる被写体(例えば、画像における中心位置の被写体)に係る被写体距離が短い場合を一定条件とすることができる。または、F値が一定値を基準として小さい場合を一定条件とすることができる。
このように、撮像装置100は、少なくとも左右独立した光学系を有し、被写体の焦点調整を独立して行うことができる撮像装置である。また、撮像装置100は、撮影レンズの焦点距離、被写体までの距離、露光値に応じたF値を考慮して、左右の合焦位置に差を設け、互いの被写界深度が重なるようにして立体視画像を生成する撮像装置である。なお、撮像装置100は、上述したように、動画および静止画の何れについても記録処理を行うことが可能であるが、以下では、静止画の生成処理および記録処理を中心に説明する。
[撮像条件の設定例]
図4および図5は、本発明の第1の実施の形態における入出力パネル190の表示例および立体視画像撮像条件保持部122における保持内容例を示す図である。図4(a)に示す設定画面500は、フォーカス制御部123によるフォーカス制御の際に基準レンズとして用いられるレンズ(フォーカスレンズ213、313)を設定する際に入出力パネル190に表示される画面である。例えば、立体視画像を記録するための立体視画像撮像モードの設定操作が行われた直後に設定画面500が表示される。設定画面500には、左眼ボタン501と、右眼ボタン502と、決定ボタン503と、戻るボタン504とが設けられている。
左眼ボタン501および右眼ボタン502は、フォーカス制御の際に基準レンズとして用いられるレンズを設定する際に押下されるボタンである。例えば、タッチパネルにより構成されている入出力パネル190において、所望のボタンの押下操作を行うことにより基準レンズを設定することができる。例えば、ユーザの利き目が左眼である場合には、左眼ボタン501が押下され、ユーザの利き目が右眼である場合には、右眼ボタン502が押下される。この基準レンズについては、図7を参照して詳細に説明する。
なお、この例では、ユーザの利き目を選択することにより、基準レンズを設定する例を示すが、ユーザの好みに応じた基準レンズを設定するようにしてもよい。
また、静止画撮像モードが設定されている場合において、静止画記録の待機状態で入出力パネル190に表示される画像(モニタリング画像)をユーザが見ながら、所望の基準レンズを設定するようにしてもよい。この場合には、例えば、モニタリング画像上に、各ボタンを重ねて配置することにより、ユーザがモニタリング画像を見た状態で容易に設定操作を行うことができる。
決定ボタン503は、利き目を選択する押下操作がされた後に、その選択を決定する際に押下されるボタンである。また、決定ボタン503の押下操作により決定された基準レンズに関する情報(基準レンズ情報)が立体視画像撮像条件保持部122に保持される。戻るボタン504は、例えば、直前に表示されていた表示画面に戻る場合に押下されるボタンである。
図4(b)に示す設定画面510は、フォーカス制御部123によるフォーカス制御の際に基準レンズの被写界深度に対する他のレンズの被写界深度を、遠点または近点の何れとするかを設定する際に入出力パネル190に表示される画面である。例えば、図4(a)に示す設定画面500において決定ボタン503が押下された直後に設定画面510が表示される。設定画面510には、遠点ボタン511と、近点ボタン512と、決定ボタン513と、戻るボタン514とが設けられている。
遠点ボタン511および近点ボタン512は、基準レンズの被写界深度に対する他のレンズの被写界深度を、遠点または近点の何れとするかを設定する際に押下されるボタンである。例えば、入出力パネル190において、所望のボタンの押下操作を行うことにより、他のレンズの被写界深度を選択することができる。この遠点または近点の設定については、図7を参照して詳細に説明する。
なお、この例では、ユーザ操作により、基準レンズの被写界深度に対する他のレンズの被写界深度を、遠点または近点の何れとするかを設定する例を示すが、遠点または近点を予め設定しておくようにしてもよい。
また、例えば、主要な被写体が遠点または近点の何れに存在するかを判断基準として、撮像動作中に自動で設定するようにしてもよい。例えば、主要な被写体を人物の顔とする場合には、左眼用撮像部200および右眼用撮像部300の何れかにより生成された撮像画像に含まれる人物の顔を検出し、この検出された顔の被写体距離(例えば、式2参照)を算出する。そして、その検出された顔の被写体距離が、基準レンズの合焦位置よりも遠点側である場合には、他のレンズの被写界深度を遠点に設定する。また、その検出された顔の被写体距離が、基準レンズの合焦位置よりも近点側である場合には、他のレンズの被写界深度を近点に設定する。なお、撮像画像に含まれる特定対象物(例えば、人物の顔)の検出方法として、例えば、特定対象物の輝度分布情報が記録されているテンプレートとコンテンツ画像とのマッチングによる検出方法(例えば、特開2004−133637参照。)を用いることができる。また、特定対象物が人物の顔である場合には、撮像画像に含まれる肌色の部分や人間の顔の特徴量に基づいた顔検出方法を用いることができる。
また、静止画撮像モードが設定されている場合において、静止画記録の待機状態で入出力パネル190に表示される画像(モニタリング画像)をユーザが見ながら、遠点または近点の何れとするかを設定するようにしてもよい。この場合には、例えば、モニタリング画像上に、各ボタンを重ねて配置することにより、ユーザがモニタリング画像を見た状態で容易に設定操作を行うことができる。
決定ボタン513は、遠点または近点を選択する押下操作がされた後に、その選択を決定する際に押下されるボタンである。また、決定ボタン513の押下操作により決定された遠点または近点に関する情報(遠点近点情報)が立体視画像撮像条件保持部122に保持される。戻るボタン514は、例えば、直前に表示されていた表示画面に戻る場合に押下されるボタンである。
すなわち、操作受付部110は、第2被写体を、光軸方向において第1被写体よりも撮像装置100側に存在する被写体とするか、光軸方向において第1被写体よりも遠方側に存在する被写体とするかを選択する選択操作を受け付ける。なお、第1被写体は、基準レンズの合焦対象となる被写体であり、第2被写体は、他のレンズの合焦対象となる被写体である。
図5(a)に示す設定画面515は、フォーカス制御部123によるフォーカス制御の際に基準レンズの被写界深度の範囲に対する他のレンズの被写界深度の範囲の重複率を設定する際に入出力パネル190に表示される画面である。例えば、図4(b)に示す設定画面510において決定ボタン513が押下された直後に設定画面515が表示される。設定画面515には、重複率設定バー516と、重複率指定位置517と、決定ボタン518と、戻るボタン519とが設けられている。
重複率設定バー516は、基準レンズの被写界深度の範囲に対する他のレンズの被写界深度の範囲の重複率を設定する際に用いられるバーであり、重複率指定位置517が重ねて表示されている。例えば、重複率設定バー516において、ユーザが所望する重複率の位置に、重複率設定バー516を移動させることにより、基準レンズの被写界深度の範囲に対する他のレンズの被写界深度の範囲の重複率を設定することができる。例えば、重複率を0%に設定した場合には、基準レンズの被写界深度の範囲と他のレンズの被写界深度の範囲とが重複せずに、これらの2つの範囲が連続するように他のレンズの被写界深度が設定される。一方、例えば、重複率を100%に設定した場合には、基準レンズの被写界深度の範囲と他のレンズの被写界深度の範囲とが完全に重複するように他のレンズの被写界深度が設定される。この場合には、基準レンズの合焦位置と、他のレンズの合焦位置とが同一となる。なお、重複率については、図7を参照して詳細に説明する。
また、この例では、ユーザ操作により、基準レンズの被写界深度の範囲に対する他のレンズの被写界深度の範囲の重複率を設定する例を示すが、その重複率を予め設定しておくようにしてもよい。例えば、0%、10〜20%等のように設定しておくことができる。
また、静止画撮像モードが設定されている場合において、静止画記録の待機状態で入出力パネル190に表示される画像(モニタリング画像)をユーザが見ながら、重複率を設定するようにしてもよい。この場合には、例えば、モニタリング画像上に、重複率設定バー516や各ボタン等を重ねて配置することにより、ユーザがモニタリング画像を見た状態で容易に設定操作を行うことができる。
決定ボタン518は、重複率を指定する指定操作がされた後に、その指定を決定する際に押下されるボタンである。また、決定ボタン518の押下操作により決定された重複率に関する情報(重複率情報)が立体視画像撮像条件保持部122に保持される。戻るボタン519は、例えば、直前に表示されていた表示画面に戻る場合に押下されるボタンである。
図5(b)には、立体視画像撮像条件保持部122における保持内容例を示す。立体視画像撮像条件保持部122は、立体視画像撮像モードの各種撮像条件を設定するための設定情報を保持するものであり、設定項目125毎に設定情報126が保持される。
設定項目125は、図4および図5(a)に示す設定画面500、510、515においてユーザによる設定操作の対象となる項目である。また、設定情報126は、図4および図5(a)に示す設定画面500、510、515においてユーザによる設定操作により設定された設定情報である。
図5(b)に示す例では、設定画面500における設定操作により、基準レンズとして「左(左眼)」が設定され、設定画面510における設定操作により、基準レンズの被写界深度に対する他のレンズの被写界深度として「遠点」が設定された場合を示す。また、図5(b)に示す例では、設定画面515における設定操作により、被写界深度の重複率として「0%」が設定された場合を示す。
[許容錯乱円および被写界深度の関係例]
図6は、本発明の第1の実施の形態における撮像素子250および350の許容錯乱円と、光学系を構成する各レンズと、被写界深度との関係を概略的に示す図である。図6では、光学系を構成する各レンズをレンズ600として模式的に示す。また、被写体からの光がレンズ600に入射される。そして、レンズ600からの入射光を受光する撮像素子(撮像素子250、350)の受光面を撮像面610として示す。
一般に、撮像素子のサイズおよび画素数、フィルタ形式等に基づいて、撮像装置において許容することができる最大のピント径が決まる。このピント径は、一般に、許容錯乱円径と呼ばれている。この許容錯乱円径は、例えば、35mm銀塩カメラサイズでは、約0.03mmとされ、APS(Advanced Photo System)−Cでは、約0.02mmとされている。この許容錯乱円径内である場合には、フォーカスがずれて撮像された画像であっても、その画像の再生時にはフォーカスが合っているように見える。
ここで、図6に示すように、撮像面610に結像されるスポット611が最小となる状態に対応する被写体(フォーカスが合っている被写体)の位置621を含む面を被写体面620とする。この場合には、被写体面620から近点側および遠点側に、許容錯乱円径dの結像まで(撮像面610における位置612および613)許容することができるフォーカスズレの範囲DF(近点623および遠点622)ができる。この範囲DFは、一般に、被写界深度と称される。
また、一般に、撮像装置には、撮像装置から被写体までの距離が一定以上離れると、無限遠までフォーカスが合う(許容錯乱円径d内)距離HDが存在する。この距離HDは、一般に、過焦点距離と称される。この過焦点距離HDは、レンズの焦点距離、許容錯乱円径、レンズの絞り(F値(F No.))により一義的に決まる値である。具体的には、過焦点距離HDは、次の式1を用いて求めることができる。
HD=f/d×F … 式1
なお、fは、レンズの焦点距離を示す値であり、dは、許容錯乱円径を示す値であり、Fは、F値である。
ここで、過焦点距離HDよりも遠くの被写体を撮像対象とする場合には、その被写体は過焦点距離HDから無限遠までの間に存在するため、その被写体にはフォーカスが合っていると推定される。しかしながら、過焦点距離よりも撮像装置100側に存在する被写体を撮像対象とする場合には、フォーカスが合っている被写体と、フォーカスが合っていない被写体とが存在することが想定される。ここで、立体視画像を撮影する場合には、2つの光学系を用いて略同一の被写体を含む複数の画像を生成する。そこで、これらの複数の画像を撮像する際における被写界深度を異なる範囲に設定することにより、1つの画像を撮像する際における被写界深度よりも深い被写体深度として、略同一の被写体を含む画像を生成することができる。
ただし、このように、立体視画像を表示するための2つの画像(左眼視用画像および右眼視用画像)を撮像した場合には、これらの2つの画像に含まれる被写体のうち、フォーカスが合っている被写体と、フォーカスが合っていない被写体とが異なることになる。しかしながら、立体視画像は、目の左右視差による錯覚を利用してユーザに立体的な画像を見せるものである。このため、2つの画像のうちの少なくとも1つの画像のフォーカスが合っていれば、それらの画像を立体的な画像として認知することができ、ユーザに与える影響は少ないと想定される。
[被写界深度の設定例]
図7は、本発明の第1の実施の形態におけるフォーカス制御部123により設定される被写界深度と被写体との関係を概略的に示す図である。図7(a)には、撮像装置100が備える右眼用撮像部300と、右眼用撮像部300の撮像対象となる物体A乃至Fとの関係を上側から見た場合を示す。また、図7(b)には、撮像装置100が備える左眼用撮像部200と、左眼用撮像部200の撮像対象となる物体A乃至Fとの関係を上側から見た場合を示す。なお、物体A乃至Fは、撮像装置100の光軸方向において、略一定間隔で配置されている物体であるものとする。また、図7では、左眼用撮像部200を構成する各レンズをレンズ201として模式的に示し、右眼用撮像部300を構成する各レンズをレンズ301として模式的に示す。
ここで、本発明の第1の実施の形態では、左眼用撮像部200および右眼用撮像部300のうちの何れかを基準(基準レンズ)とする。図7では、左眼用撮像部200を基準とする例を示す。また、図7では、右眼用撮像部300の被写界深度の範囲が、左眼用撮像部200の被写界深度の範囲よりも遠方側となるように設定されている場合を例にして説明する。また、図7では、左眼用撮像部200の被写界深度の範囲に対する右眼用撮像部300の被写界深度の範囲の重複率として0%が設定されている場合を例にして説明する。すなわち、図7では、図5(b)に示す設定情報126の内容が立体視画像撮像条件保持部122に保持されている場合を例にして説明する。
また、上述したように、過焦点距離から無限遠までに存在する被写体については、フォーカスが合っている。このため、フォーカス制御部123は、撮像部101の合焦対象となる被写体が過焦点距離の範囲内に存在する場合には、フォーカスレンズ213および313を同期してフォーカス制御を行う。そこで、図7に示す例では、過焦点距離よりも撮像装置100側に存在する被写体を主に撮像対象とする場合を例にして説明する。
ここで、物体A乃至Fのうち、左眼用撮像部200の合焦対象被写体を物体Cとする。この合焦対象被写体(物体C)は、例えば、左眼用撮像部200により生成される撮像画像における特定エリアに含まれる被写体とすることができる。なお、撮像画像における特定エリアは、例えば、撮像画像における中央部分に位置するエリアとすることができる。また、例えば、ユーザ操作(例えば、入出力パネル190におけるタッチ操作)により、撮像画像における特定エリアを設定するようにしてもよい。また、例えば、特定対象物を検出する特定対象物検出部を撮像装置100に備え、この特定対象物検出部により特定対象物が検出された場合には、その検出された特定対象物の撮像画像における位置を特定エリアとして設定するようにしてもよい。例えば、特定対象物検出部として顔検出部を撮像装置100に備え、撮像画像から人物の顔が検出された場合には、その検出された顔の撮像画像における位置を特定エリアとして設定することができる。なお、顔検出方法については、上述した顔検出方法を用いることができる。
ここで、図7(b)に示す左眼用撮像部200の過焦点距離HDについては、上述した式1を用いて求めることができる。すなわち、次式により求めることができる。
HD=f/d×F
なお、f、d、Fについては、式1と同様である。
ここで、左眼用撮像部200の合焦対象被写体(物体C)までの距離(被写体距離)をLとし、レンズ201から撮像素子250に結像される像までの距離をbとし、レンズの焦点距離をfとする場合には、次の式2が成り立つ。
(1/L)+(1/b)=1/f … 式2
この式2により、被写体距離L=1/((1/f)−(1/b))を求めることができる。
続いて、被写体距離Lを用いて、被写界深度の遠点側のフォーカスが合っている範囲のうち、撮像装置100から最も遠い距離LLを求める。距離LLについては、次の式3を用いて求めることができる(上野千鶴子、他6名 著、「写真用語事典」、株式会社日本カメラ社、1991年10月15日、p.193−195 参照)。
LL=HD×L/(HD−L) … 式3
ここで、左眼用撮像部200および右眼用撮像部300の被写界深度の少なくとも一部が互いに重なり合うようにすることを想定する。この場合には、右眼用撮像部300の被写界深度の近点側のフォーカスが合っている範囲のうち、撮像装置100から最も近い距離LRが、式3により求められる距離LLよりも近い距離とする必要がある。すなわち、次の式4の関係を満たす必要がある。
LR≦LL … 式4
また、図7(a)に示すように、右眼用撮像部300の合焦対象被写体までの距離(被写体距離)をLとする場合を想定する。この場合には、被写体距離Lを用いて、被写界深度の近点側のフォーカスが合っている範囲のうち、撮像装置100に最も近い距離LRを求めることができる。すなわち、距離LRについては、次の式5を用いて求めることができる(式3で示した文献参照)。
LR=HD×L/(HD+L) … 式5
なお、HD=HD(=f/d×F)である。
この例では、上述したように、左眼用撮像部200の被写界深度の範囲に対する右眼用撮像部300の被写界深度の範囲の重複率として0%が設定されている。このため、式4の関係を満たす距離LRのうち、最大の値を用いる(すなわち、LR=LL)。この場合に、LR=LL、HD=HDを式5に代入すると、次の式6を求めることができる。
LL=HD×L/(HD+L) … 式6
この式6を変形することにより、右眼用撮像部300の合焦対象被写体までの距離(被写体距離)Lを求めることができる。すなわち、式7を用いて、被写体距離Lを求めることができる。
=HD×LL/(HD−LL) … 式7
このように、式7を用いて算出された被写体距離Lに合焦するように、右眼用撮像部300が備えるフォーカスレンズ313の位置を移動させる。ここで、被写体距離Lに合焦するようにフォーカスレンズ313の位置を移動させる場合には、被写体に対する合焦時における撮像装置100と被写体との距離(合焦距離)と、フォーカスレンズの位置との関係を表す特性曲線を用いる。この特性曲線は、ズームレンズの位置に対応して決定される曲線であり、誤差が考慮されたものである(例えば、特開2009−115981号(図8)参照。)。
このように、フォーカス制御部123は、物体Cの位置(被写体距離)と、F値と、レンズの焦点距離とにより特定される被写界深度DFの範囲とは異なる範囲に含まれる物体Eに合焦するように、フォーカスレンズ313を用いたフォーカス制御を行う。このフォーカスレンズ313を用いたフォーカス制御を行うことにより、図7に示すように、右眼用撮像部300の被写界深度DFが、左眼用撮像部200の被写界深度DFよりも遠方となり、かつ、両者が連続する状態となる。この場合には、左眼用撮像部200および右眼用撮像部300の被写界深度を合わせた被写界深度DFが、左眼用撮像部200および右眼用撮像部300により生成される画像の被写界深度に相当する。
例えば、左眼用撮像部200および右眼用撮像部300により生成される画像(左眼視用画像および右眼視用画像)を立体視画像として表示する場合には、被写界深度DFに含まれる被写体については、フォーカスが合った状態で見ることができる。すなわち、矩形631および632に含まれる被写体にフォーカスが合った状態で見ることができる。このようにフォーカス制御を行うことにより、被写界深度が比較的浅い撮像条件であっても、比較的広範囲に含まれる被写体を適切に立体視することができる立体視画像を生成することができる。このように生成された立体視画像を表示することにより、ユーザが自然な感じで立体視画像を見ることができる。
なお、図7では、左眼用撮像部200の被写界深度の遠点の位置と、右眼用撮像部300の被写界深度の近点の位置とを合わせて、これらの被写界深度の範囲が連続する例(重複率として0%が設定されている例)を示した。ただし、図5(a)に示す設定画面515において設定された重複率に応じて、被写界深度の範囲がオーバーラップするように、右眼用撮像部300の合焦位置を設定することができる。例えば、重複率RR1(ただし、0(%)<RR1<100(%))が設定されている場合には、被写界深度DFおよび被写界深度DFの重複率が、その設定されている値(または、その値を含む一定範囲内)となるように被写体距離Lが算出される。
また、図7では、左眼用撮像部200を基準とし、右眼用撮像部300の被写界深度の範囲を、左眼用撮像部200の被写界深度の範囲よりも遠方側に設定する例を示した。以下では、左眼用撮像部200を基準とし、右眼用撮像部300の被写界深度の範囲を、左眼用撮像部200の被写界深度の範囲よりも撮像装置100側に設定する例を示す。この場合には、被写体距離Lを用いて、被写界深度の近点側のフォーカスが合っている範囲のうち、撮像装置100に最も近い距離LLを求める。距離LLについては、次の式8を用いて求めることができる(式3で示した文献参照)。
LL=HD×L/(HD+L) … 式8
なお、式8は、式3の分母を「−」から「+」に変形したものである。
また、右眼用撮像部300の合焦対象被写体までの距離(被写体距離)L1(図示せず)については、式9を用いて求めることができる。
L1=HD×LL/(HD+LL) … 式9
なお、式9は、式7の分母を「−」から「+」に変形したものである。
このように、立体視画像撮像条件保持部122に保持されている設定情報に応じて、右眼用撮像部300の合焦対象被写体までの距離(被写体距離)L1が算出される。また、図5(a)に示す設定画面515において設定された重複率に応じて、被写界深度の範囲がオーバーラップするように、右眼用撮像部300の合焦位置を設定することができる。
また、撮像装置100におけるズーム操作により、レンズの焦点距離が変化した場合には、その変化に応じて、各撮像部の合焦位置が適宜算出される。
[立体視画像例]
図8および図9は、本発明の第1の実施の形態における左眼用撮像部200および右眼用撮像部300のそれぞれにより生成された1組の画像(静止画)例である。図8には、撮像装置100の近くから無限遠方向に向かって並べた複数本の筆記具を被写体として撮像動作を行った場合に生成された1組の画像例を示す。
図8(a)には、左眼用撮像部200および右眼用撮像部300のそれぞれにより生成された1組の画像(左眼視用画像650および右眼視用画像651)を左右に並べて示す。左眼視用画像650および右眼視用画像651は、立体視画像を表示するための1組の画像であり、左眼用撮像部200および右眼用撮像部300による撮像時における合焦位置を同一とした場合の一例である。なお、図8(a)では、左眼視用画像650および右眼視用画像651の撮像時における合焦位置を点線P1として模式的に示す。すなわち、図8(a)に示す例では、左眼視用画像650および右眼視用画像651の何れについても、合焦位置を示す点線P1に重なっている筆記具にフォーカスが合っている。また、合焦位置を示す点線P1に重なっている筆記具付近の被写体についてもフォーカスが合っている。すなわち、合焦位置を示す点線P1を基準とする被写界深度に含まれる被写体に対してフォーカスが合うことになる。
このように、左眼視用画像650および右眼視用画像651の何れについても、略同一の被写体にフォーカスが合っている場合には、そのフォーカスが合っている被写体から比較的離れている被写体については、フォーカスが合っていないため、ボケている。すなわち、合焦位置を示す点線P1を基準とする被写界深度に含まれない被写体については、ボケることになる。例えば、左眼視用画像650および右眼視用画像651に含まれる奥側の筆記具(矢印652および653で示す)は、ボケている。
また、左眼視用画像650および右眼視用画像651については、合焦位置が略同一であるため、フォーカスが合っている被写体およびフォーカスが合っていない被写体についても、略同様となる。このため、左眼視用画像650および右眼視用画像651を用いて表示される立体視画像については、合焦位置に対応する被写体およびこれの前後の被写体にはフォーカスが合っているが、これら以外についてはフォーカスが合っていない画像となる。
このように、左眼視用画像650および右眼視用画像651を用いて立体視画像を表示する場合には、フォーカスが合っている被写体(点線P1が重なっている筆記具)については比較的綺麗に見ることができる。しかしながら、そのフォーカスが合っている被写体から比較的離れている被写体(例えば、矢印652および653で示す奥側の筆記具)については、フォーカスが合っていないため、ボケて見える。このため、左眼視用画像650および右眼視用画像651に対応する立体視画像を見ているユーザにとっては、裸眼視時に比べ、限定的な立体画像となり、ユーザが違和感を生じることが想定される。
図8(b)には、左眼用撮像部200および右眼用撮像部300のそれぞれにより生成された1組の画像(左眼視用画像656および右眼視用画像657)を左右に並べて示す。左眼視用画像656および右眼視用画像657は、立体視画像を表示するための1組の画像であり、左眼用撮像部200および右眼用撮像部300による撮像時における合焦位置が異なる場合の一例である。なお、図8(b)では、左眼視用画像656および右眼視用画像657の撮像時における合焦位置を点線P2およびP3として模式的に示す。すなわち、図8(b)に示す例では、左眼視用画像656については、合焦位置を示す点線P2に重なっている筆記具にフォーカスが合っている。一方、右眼視用画像657については、合焦位置を示す点線P3に重なっている筆記具にフォーカスが合っている。すなわち、左眼視用画像656および右眼視用画像657は、その撮像動作時における被写界深度の少なくとも一部が重複するように両者の被写界深度をずらして撮像された画像である。
このように、左眼視用画像656および右眼視用画像657のそれぞれについて、フォーカスが合っている被写体が異なる場合には、光軸方向において比較的離れている被写体については、少なくとも1つの撮像画像についてフォーカスが合っている。例えば、手前側の筆記具およびこれに近接する筆記具については、左眼視用画像656においてフォーカスが合っている。また、奥側の筆記具およびこれに近接する筆記具については、右眼視用画像657においてフォーカスが合っている。
すなわち、左眼視用画像656において、点線P2を基準とする被写界深度に含まれる手前側の被写体についてはフォーカスが合い、点線P2を基準とする被写界深度に含まれない奥側の被写体(矢印658で示す)については、ボケることになる。これに対して、右眼視用画像657において、点線P3を基準とする被写界深度に含まれる奥側の被写体についてはフォーカスが合い、点線P3を基準とする被写界深度に含まれない手前側の被写体(矢印659で示す)については、ボケることになる。
このように、立体視画像を表示するための2つの画像(左眼視用画像656および右眼視用画像657)を撮像した場合には、これらの2つの画像について比較的深い被写界深度(2つの被写界深度の合わせた範囲)を設定することができる。ただし、これらの2つの画像に含まれる被写体のうち、フォーカスが合っている被写体と、フォーカスが合っていない被写体とが異なる。しかしながら、上述したように、立体視画像は、目の左右視差による錯覚を利用してユーザに立体的な画像を見せるものである。このため、2つの画像のうちの少なくとも1つの画像のフォーカスが合っていれば、それらの画像を立体的な画像として認知することができ、ユーザに与える影響は少ないと想定される。このため、左眼視用画像656および右眼視用画像657を用いて立体視画像を表示する場合には、光軸方向において比較的離れている被写体についても、比較的綺麗に立体視画像を見ることができる。例えば、見ようとする意識を、手前から奥に向かって変更しながら、ユーザが対象物(例えば、複数本の筆記具)を見ている場合には、その変更に合わせて、その被写体にフォーカスが合い、比較的綺麗に立体視画像を見ることができる。
図9には、撮像装置100の近くから無限遠方向に向かって並べた複数本の金型部材を被写体として撮像動作を行った場合に生成された画像例を示す。
図9(a)には、左眼用撮像部200および右眼用撮像部300のそれぞれにより生成された1組の画像(左眼視用画像661および右眼視用画像662)を並べて示す。左眼視用画像661および右眼視用画像662は、左眼用撮像部200および右眼用撮像部300による撮像時における合焦位置を同一とした場合の一例である。
このように、左眼視用画像661および右眼視用画像662の何れについても、略同一の被写体にフォーカスが合っている場合には、そのフォーカスが合っている被写体から比較的離れている被写体については、フォーカスが合っていないため、ボケている。すなわち、合焦位置を基準とする被写界深度に含まれない被写体については、ボケることになる。例えば、左眼視用画像661および右眼視用画像662に含まれる手前側の金型部材および奥側の金型部材は、ボケている。この場合には、図8(a)に示す例と同様に、左眼視用画像661および右眼視用画像662に対応する立体視画像を見ているユーザにとっては、裸眼視時に比べ、限定的な立体画像となり、ユーザが違和感を生じることが想定される。
図9(b)には、左眼用撮像部200および右眼用撮像部300のそれぞれにより生成された1組の画像(左眼視用画像663および右眼視用画像664)を並べて示す。左眼視用画像663および右眼視用画像664は、左眼用撮像部200および右眼用撮像部300による撮像時における合焦位置が異なる場合の一例である。
このように、左眼視用画像663および右眼視用画像664のそれぞれについて、フォーカスが合っている被写体が異なる場合には、光軸方向において比較的離れている被写体については、少なくとも1つの撮像画像についてフォーカスが合っている。例えば、手前側の金型部材については、左眼視用画像663においてフォーカスが合っている。また、奥側の金型部材については、右眼視用画像664においてフォーカスが合っている。また、左眼視用画像663および右眼視用画像664において、フォーカスが合っている被写体が連続している。このため、図8(b)に示す例と同様に、左眼視用画像656および右眼視用画像657を用いて立体視画像を表示する場合には、光軸方向において比較的離れている被写体についても、比較的綺麗に立体視画像を見ることができる。
[撮像装置の動作例]
次に、本発明の第1の実施の形態における撮像装置100の動作について図面を参照して説明する。
図10は、本発明の第1の実施の形態における撮像装置100によるフォーカス制御処理の処理手順の一例を示すフローチャートである。この例では、静止画撮像モードが設定されている状態で、静止画の記録指示操作が行われた際におけるフォーカス制御処理を示す。
最初に、ユーザによりシャッターボタン111の全押しが行われる。このように、シャッターボタン111の全押しが行われた場合には、2つの撮像部の合焦位置が異なるようにして立体視画像を記録する設定がされているか否かが判断される(ステップS901)。この設定は、ユーザ操作により予め設定されているものとする。2つの撮像部の合焦位置が異なるようにして立体視画像を記録する設定がされていない場合には(ステップS901)、立体視画像記録処理が行われる(ステップS917)。この立体視画像記録処理は、2つの撮像部の合焦位置が同一となるように立体視画像を生成し、生成された立体視画像を記録する処理である。
2つの撮像部の合焦位置が異なるようにして立体視画像を記録する設定がされている場合には(ステップS901)、フォーカス制御部123が、立体視画像に関する各設定情報を立体視画像撮像条件保持部122から取得する(ステップS902)。続いて、フォーカス制御部123が、撮像部101から各撮像情報(基準レンズの焦点距離、F値等)を取得する(ステップS903)。続いて、フォーカス制御部123が、基準レンズに設定されている撮像部におけるフォーカス制御を行う(ステップS904)。すなわち、撮像画像における特定エリアに含まれる被写体(第1被写体)に合焦するようにフォーカス制御が行われる。なお、ステップS904は、特許請求の範囲に記載の第1制御手順の一例である。
続いて、フォーカス制御部123が、基準レンズに設定されている撮像部におけるフォーカス制御により合焦対象となった被写体が過焦点距離に存在するか否かを判断する(ステップS905)。その合焦対象となった被写体が過焦点距離に存在しない場合には(ステップS905)、フォーカス制御部123が、他のレンズの被写界深度を遠点側とする設定がされているか否かを判断する(ステップS906)。
他のレンズの被写界深度を遠点側とする設定がされている場合には(ステップS906)、フォーカス制御部123が、基準レンズの合焦位置に基づいて、他のレンズの遠点側の合焦位置を算出し(ステップS907)、ステップS909に進む。一方、他のレンズの被写界深度を近点側とする設定がされている場合には(ステップS906)、フォーカス制御部123が、基準レンズの合焦位置に基づいて、他のレンズの近点側の合焦位置を算出し(ステップS908)、ステップS909に進む。続いて、フォーカス制御部123が、算出された合焦位置に基づいて、他のレンズに対応する撮像部におけるフォーカス制御を行う(ステップS909)。すなわち、撮像画像に含まれる被写体のうち、光軸方向において第1被写体とは異なる位置に存在する他の被写体(第2被写体)に合焦するようにフォーカス制御が行われる。なお、ステップS906乃至S909は、特許請求の範囲に記載の第2制御手順の一例である。
続いて、撮像部101が、異なる合焦位置となる2つの画像(左眼視用画像および右眼視用画像)を生成する(ステップS910)。なお、フォーカス制御が行われている場合においても、撮像部101により撮像画像の生成動作が行われているものとする。また、ステップS910は、特許請求の範囲に記載の撮像手順の一例である。
続いて、記録制御部150が、生成された2つの画像(左眼視用画像および右眼視用画像)を立体視画像の画像ファイルとして、各属性情報を関連付けてコンテンツ記憶部160に記録させる(ステップS911)。ここで、各属性情報には、立体視画像を構成する2つの画像(左眼視用画像および右眼視用画像)が異なる合焦位置により生成された旨が含まれる。
また、基準レンズに設定されている撮像部におけるフォーカス制御により合焦対象となった被写体が過焦点距離に存在する場合には(ステップS905)、基準レンズの合焦位置と他のレンズの合焦位置とが同一と決定される(ステップS912)。続いて、フォーカス制御部123が、基準レンズの合焦位置に基づいて、他のレンズに設定されている撮像部におけるフォーカス制御を行う(ステップS913)。続いて、撮像部101が、同一の合焦位置となる2つの画像(左眼視用画像および右眼視用画像)を生成する(ステップS914)。
続いて、記録制御部150が、生成された2つの画像(左眼視用画像および右眼視用画像)を立体視画像の画像ファイルとして、その旨を示す属性情報を関連付けてコンテンツ記憶部160に記録させる(ステップS911)。
この例では、静止画撮像モードが設定されている状態で、静止画の記録指示操作が行われた際におけるフォーカス制御処理を示したが、動画の記録動作中におけるフォーカス制御処理についても適用することができる。例えば、動画の記録動作中には、動画を構成する各フレーム、または、一定間隔毎のフレームについて、2つの撮像部におけるフォーカス制御が行われる。
[合焦位置テーブルを用いたフォーカス制御例]
以上では、左眼用撮像部200および右眼用撮像部300のうち、基準となる撮像部の合焦位置に基づいて、他の撮像部の合焦位置を算出する例を示した。しかしながら、例えば、一定の撮像条件が設定されている場合において、基準となる撮像部の合焦位置と他の撮像部の合焦位置との関係は一定の規則性を有すると想定される。そこで、以下では、基準となる撮像部の合焦位置と他の撮像部の合焦位置との関係をテーブルに保持しておき、この保持内容に基づいて、他の撮像部の合焦位置を決定する例を示す。
図11は、本発明の第1の実施の形態の変形例における撮像装置670の機能構成例を示すブロック図である。撮像装置670は、図3に示す撮像装置100において、フォーカス制御部123の代わりにフォーカス制御部690を設け、合焦位置テーブル保持部680を追加したものである。なお、これら以外は、撮像装置100と略同様であるため、共通する部分については、同一の符号を付して、これらの一部の説明を省略する。
合焦位置テーブル保持部680は、撮像装置670において設定されている撮像条件毎に、一の撮像部の合焦位置と他の撮像部の合焦位置との関係を保持するテーブルである。また、合焦位置テーブル保持部680は、保持されているテーブルの内容をフォーカス制御部690に供給する。なお、合焦位置テーブル保持部680に保持されているテーブルの内容については、図12を参照して詳細に説明する。
また、フォーカス制御部690は、一の撮像部の合焦位置に関連付けられている他の撮像部の合焦位置を合焦位置テーブル保持部680から取得し、この取得された他の撮像部の合焦位置に基づいて、他の撮像部のフォーカス制御を行う。
[テーブルの保持内容例]
図12は、本発明の第1の実施の形態における合焦位置テーブル保持部680に保持される合焦位置テーブルの一例を示す図である。図12に示す合焦位置テーブル681は、撮像装置100における撮像情報682と、一の撮像部の合焦位置と他の撮像部の合焦位置との関係683とを関連付けて保持するテーブルである。なお、図12では、基準レンズの被写界深度に対する他のレンズの被写界深度を「遠点」とし、被写界深度の重複率を「0%」とする場合における合焦位置テーブルの一例を示す。
例えば、撮像装置100を用いて撮像動作が行われている場合における撮像条件として、レンズ焦点距離「45〜51mm」と、絞り値(F No.)「2.8〜3.0」と、許容錯乱円径「0.03mm」とが設定されている場合を想定する。この撮像条件が設定されている場合において、基準となる撮像部の合焦位置(基準レンズの合焦距離)が100〜103.5(cm)である場合には、他の撮像部の合焦位置(他のレンズの合焦距離)を107.2(cm)と決定することができる。同様に、基準となる撮像部の合焦位置が103.6〜107.2(cm)である場合には、他の撮像部の合焦位置を111.2(cm)と決定することができる。
このように、フォーカス制御部690が、撮像装置670に合焦位置テーブル681を保持して、この合焦位置テーブル681を用いて、基準となる撮像部の合焦位置に基づいて、他の撮像部の合焦位置を決定することができる。このため、撮像動作時において、基準となる撮像部の合焦位置に基づいて、他の撮像部の合焦位置を順次算出しなくてもよいため、演算処理に係る負荷を軽減させることができる。
以上で示したように、本発明の第1の実施の形態では、立体視画像を生成することが可能な撮像装置100において、左右の被写界深度の差を利用して2つの撮像画像を生成し、この生成された2つの撮像画像を記録する。これにより、さらに奥行き感を拡大した立体視画像を記録することができるため、さらに自然な立体視画像を表示することができる。
すなわち、立体視画像を見る場合において、フォーカスが合っている画像領域については、比較的綺麗に立体視画像を見ることができるが、フォーカスが合っていないためボケている画像領域についても、それなりの立体感を持った画像として見ることができる。しかしながら、例えば、見ようとする意識を、手前から奥に向かって変更しながら、ユーザが対象物を裸眼で見ている場合には、その変更に合わせて、その対象物にフォーカスを合わせることができるため、比較的綺麗にその対象物を見ることができる。このように、ユーザが対象物を裸眼で見ている感じ(自然な感じ)に近い感覚で、立体視画像を見ることができれば、その立体視画像をユーザがさらに楽しむことができると考えられる。そこで、本発明の第1の実施の形態では、フォーカスが合っている画像領域を拡張することにより、ユーザが対象物を裸眼で見ている自然な感じに近い感覚で、立体視画像を見ることができる。
また、例えば、レンズの焦点距離が長く、かつ、被写体までの距離が近い場合、または、十分な照度が得られず絞りが開けぎみになっているような露出環境下である場合でも、比較的深い被写界深度を設定することができる。このように比較的深い被写界深度を設定することができるため、立体視画像の表示時には、比較的広範囲の被写体にフォーカスが合った立体視画像を見ることができ、さらに自然に近い形で立体視画像を観賞することができる。
また、十分な照度が得られず絞りが開けぎみになっているような露出環境下である場合でも、照明を強化せずに、比較的深い被写界深度を得ることができる。すなわち、通常のフォーカス制御では、ボケてしまうような撮像条件下でも、被写界深度を拡張することができ、これにより、立体視の際には、拡張された被写界深度内の鮮鋭な画像を見ることができる。
また、立体視画像の撮像時における撮像条件をユーザ操作により設定可能であるため、ユーザ好みの立体視画像を容易に記録することができる。
<2.第2の実施の形態>
本発明の第1の実施の形態では、2つの撮像部の合焦位置が異なるように1組の左眼視用画像および右眼視用画像を静止画ファイルとして記録する例を示した。しかしながら、ユーザによっては、2つの撮像部の合焦位置が異なるように撮像された立体視画像と、2つの撮像部の合焦位置が同一となるように撮像された立体視画像とを表示時に比較して見易い立体視画像を表示対象とすることを所望することも考えられる。
そこで、本発明の第2の実施の形態では、2つの撮像部の合焦位置が異なるように撮像された立体視画像(静止画)と、2つの撮像部の合焦位置が同一となるように撮像された立体視画像(静止画)とを連続して記録(いわゆる、連写)する例を示す。なお、本発明の第2の実施の形態における撮像装置の構成については、図1乃至図3に示す例と略同様である。このため、本発明の第1の実施の形態と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
[撮像モードの設定例]
図13は、本発明の第2の実施の形態における入出力パネル190の表示例および立体視画像撮像条件保持部127における保持内容例を示す図である。図13(a)に示す設定画面520は、撮像装置700における撮像モードを設定する際に入出力パネル190に表示される画面である。例えば、立体視画像を記録するための立体視画像撮像モードの設定操作が行われた後(例えば、図4(b)に示す設定画面510における決定操作が行われた後)に設定画面520が表示される。設定画面520には、1組記録モードボタン521と、連写モードボタン522および523と、決定ボタン524と、戻るボタン525とが設けられている。
1組記録モードボタン521は、1組の立体視画像のみを記録する撮像モードの設定を行う際に押下されるボタンである。すなわち、1組記録モードボタン521の押下操作により1組記録モードが設定されている場合には、1度のシャッターボタン111の押下操作により、立体視画像を表示するための1組の画像(左眼視用画像および右眼視用画像)が記録される。
連写モードボタン522および523は、連続して生成された複数組の立体視画像を記録する撮像モードの設定を行う際に押下されるボタンである。具体的には、連写モードボタン522は、連続して生成された2組の立体視画像を記録する撮像モードの設定を行う際に押下されるボタンである。この2組の立体視画像のうち、1組の立体視画像は、2つの撮像部の合焦位置が同一となるように撮像された立体視画像である。また、他の1組の立体視画像は、2つの撮像部の合焦位置が異なるように撮像された立体視画像である。
また、連写モードボタン523は、連続して生成された3組の立体視画像を記録する撮像モードの設定を行う際に押下されるボタンである。この3組の立体視画像のうち、1組の立体視画像は、2つの撮像部の合焦位置が同一となるように撮像された立体視画像である。また、他の2組の立体視画像は、2つの撮像部の合焦位置が異なるように撮像された立体視画像である。ここで、この2組の立体視画像のうち、1組の立体視画像は、基準となる撮像部の合焦位置よりも、他の撮像部の合焦位置を遠点側にして撮像された立体視画像である。また、他の1組の立体視画像は、基準となる撮像部の合焦位置よりも、他の撮像部の合焦位置を近点側にして撮像された立体視画像である。
このように、連写モードボタン522または523の押下操作により連写モードが設定されている場合には、1度のシャッターボタン111の押下操作により、立体視画像を表示するための複数組の画像(左眼視用画像および右眼視用画像)が記録される。
なお、この例では、ユーザの手動操作により撮像モードを設定する例を示すが、撮像動作の状態に応じて、撮像装置700が自動で撮像モードを設定するようにしてもよい。例えば、撮像装置700において、レンズの焦点距離が長く被写体距離が短い場合、または、絞りが一定値以上開放されている場合に、連写モードを自動で設定するようにしてもよい。すなわち、被写界深度が比較的浅いと推定される場合には、連写モードを自動で設定することができる。この場合に、被写界深度の深さに応じて、2組の立体視画像を記録する(連写モードボタン522に対応)か、3組の立体視画像を記録するか(連写モードボタン523に対応)を決定するようにしてもよい。
また、静止画撮像モードが設定されている場合において、静止画記録の待機状態で入出力パネル190に表示される画像(モニタリング画像)をユーザが見ながら、所望の撮像モードを設定するようにしてもよい。この場合には、例えば、モニタリング画像上に、各ボタンを重ねて配置することにより、ユーザがモニタリング画像を見た状態で容易に設定操作を行うことができる。
決定ボタン524は、撮像モードを選択する押下操作がされた後に、その選択を決定する際に押下されるボタンである。また、決定ボタン524の押下操作により決定された撮像モードに関する情報(撮像モード情報)が立体視画像撮像条件保持部122に保持される。戻るボタン525は、例えば、直前に表示されていた表示画面に戻る場合に押下されるボタンである。
図13(b)には、立体視画像撮像条件保持部127における保持内容例を示す。立体視画像撮像条件保持部127は、図5(b)に示す立体視画像撮像条件保持部122に設定項目「撮像モード」を追加したものである。なお、設定項目を追加した点以外は、図5(b)に示す立体視画像撮像条件保持部122と略同様であるため、立体視画像撮像条件保持部122と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
設定項目125は、図13(a)に示す設定画面520においてユーザによる設定操作の対象となる項目であり、設定情報126は、図13(a)に示す設定画面520においてユーザによる設定操作により設定された設定情報である。
図13(b)に示す例では、設定画面520における設定操作(連写モードボタン522の押下操作)により、撮像モードとして「連写モード(2組の立体視画像)」が設定された場合を示す。
[立体視画像の記録例]
図14は、本発明の第2の実施の形態における撮像装置700による撮像動作により生成される画像の記録例を模式的に示す図である。図14(a)乃至(c)では、時間軸において、立体視画像(静止画)の記録指示操作(シャッターボタン111の全押し操作)と、記録対象となる画像(静止画)との関係を模式的に示す。
図14(a)には、図13(a)に示す1組記録モードボタン521の押下操作により1組記録モードが設定されている場合における画像の記録例を示す。1組記録モードが設定されている場合には、シャッターボタン111の押下操作(いわゆる、全押し操作)により、立体視画像を表示するための1組の画像(左眼視用画像および右眼視用画像)711が記録される。すなわち、記録制御部150が、1組の画像711を関連付けてコンテンツ記憶部160に記録させる。この1組の画像711は、2つの撮像部の合焦位置が異なるように撮像された立体視画像である。なお、1組の画像711の生成時刻をt1で示す。
図14(b)には、図13(a)に示す連写モードボタン522の押下操作により連写モード(2組の立体視画像)が設定されている場合における画像の記録例を示す。この連写モードが設定されている場合には、シャッターボタン111の押下操作(いわゆる、全押し操作)により、立体視画像を表示するための2組の画像(1組の画像712および713)が記録される。すなわち、記録制御部150が、点線の矩形721で囲まれた各画像(1組の画像712および713)を関連付けてコンテンツ記憶部160に記録させる。ここで、1組の画像712は、2つの撮像部の合焦位置が同一となるように撮像された立体視画像である。また、1組の画像713は、2つの撮像部の合焦位置が異なるように撮像された立体視画像である。なお、1組の画像712の生成時刻をt11で示し、1組の画像713の生成時刻をt12で示す。
図14(c)には、図13(a)に示す連写モードボタン523の押下操作により連写モード(3組の立体視画像)が設定されている場合における画像の記録例を示す。この連写モードが設定されている場合には、シャッターボタン111の押下操作(いわゆる、全押し操作)により、立体視画像を表示するための3組の画像(1組の画像714乃至716)が記録される。すなわち、記録制御部150が、点線の矩形722で囲まれた各画像(1組の画像714乃至716)を関連付けてコンテンツ記憶部160に記録させる。ここで、1組の画像714は、2つの撮像部の合焦位置が同一となるように撮像された立体視画像である。また、1組の画像715および716は、2つの撮像部の合焦位置が異なるように撮像された立体視画像である。例えば、1組の画像715については、左眼用撮像部200の被写界深度よりも、右眼用撮像部300の被写界深度を遠点側として、2つの撮像部の合焦位置が異なるように撮像された立体視画像とすることができる。また、例えば、1組の画像716については、左眼用撮像部200の被写界深度よりも、右眼用撮像部300の被写界深度を近点側として、2つの撮像部の合焦位置が異なるように撮像された立体視画像とすることができる。なお、1組の画像714の生成時刻をt21で示し、1組の画像715の生成時刻をt22で示し、1組の画像716の生成時刻をt23で示す。
なお、図14(b)および(c)に示す画像の生成順序および記録順序は一例であり、これらの順序を変更するようにしてもよい。
このように、制御部121は、静止画の指示操作が受け付けられた場合には、第1撮像動作および第2撮像動作を2つの撮像部に連続して行わせる制御を行う。ここで、第1撮像動作は、2つの撮像部の合焦位置が異なるようにフォーカス制御を行うことにより2つの画像を生成する撮像動作である。また、第2撮像動作は、2つの撮像部の合焦位置が同一となるようにフォーカス制御を行うことにより2つの画像を生成する撮像動作である。すなわち、第2撮像動作では、第1撮像動作により合焦対象となる2つの被写体(光軸方向において位置が異なる2つの被写体(第1被写体および第2被写体))の少なくとも一方に合焦するようにフォーカス制御が行われる。
ここで、連写モードが設定されている場合には、フォーカス制御部123は、基準となる撮像部の合焦位置については変更せずに、他の撮像部の合焦位置のみを変更する制御を行う。また、記録制御部150は、連続して生成された複数組の画像を関連付けて立体視画像の画像ファイルとしてコンテンツ記憶部160に記録させる。この場合に、その画像ファイルには、立体視画像である旨を示す立体視画像情報と、2つの撮像部の合焦位置が異なるように撮像された立体視画像であるか否かを示す識別情報とが属性情報として記録される。また、2つの撮像部の合焦位置が異なるように撮像された立体視画像である場合には、近点および遠点に関する情報を属性情報として記録することができる。すなわち、1組の画像を示す矩形711乃至716の下部に記載の内容を属性情報として記録することができる。
このように属性情報を記録しておくことにより、コンテンツ記憶部160に記憶されている画像ファイルを表示する場合に、画像ファイルに記録されている属性情報(立体視画像情報および識別情報)を用いることができる。
例えば、コンテンツ記憶部160に記憶されている画像ファイルを表示する場合には、表示制御部170が、表示対象となる画像ファイルを取得し、この画像ファイルに記録されている立体視画像情報および識別情報を取得する。そして、表示制御部170が、取得された立体視画像情報および識別情報に基づいて、複数組の画像に対応する立体視画像を表示することができる。このように立体視画像を表示する場合には、立体視画像とともに、識別情報の内容を表示させることができる。これにより、立体視画像を見ているユーザが、その立体視画像の種類を容易に把握することができる。
<3.第3の実施の形態>
本発明の第1および第2の実施の形態では、2つの撮像部の合焦位置が異なるようにして2つの画像(左眼視用画像および右眼視用画像)を生成する例を示した。ここで、例えば、空中に飛んでいる物体(例えば、鳥や昆虫)を被写体とする場合には、その背景が空(例えば、真っ青の空)となることがある。このように背景を空として空中に飛んでいる複数の物体を撮像対象とする場合には、複数の物体については立体的に表示させる必要があるが、その背景の空については、立体的に見せる必要がない。このため、例えば、光軸方向において、空中に飛んでいる2つの物体が比較的離れている場合には、2つの物体間に存在する空間(空)にフォーカスを合わせる必要がなく、2つの物体についてのみフォーカスを合わせればよい。このため、2つの撮像部の被写界深度を異なるものとし、これらの被写界深度を連続させる必要がない。
そこで、第3の実施の形態では、2つの撮像部の合焦位置が異なるようにして2つの画像(左眼視用画像および右眼視用画像)を生成するが、2つの撮像部の被写界深度を連続させる必要がない場合を例にして説明する。なお、本発明の第3の実施の形態における撮像装置の構成については、図1乃至図3に示す例と略同様である。このため、本発明の第1の実施の形態と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
[撮像動作例および撮像範囲例]
図15は、本発明の第3の実施の形態における撮像装置750を用いて行われる撮像動作の状態およびその撮像動作により生成される画像の撮像範囲の一例を示す図である。
図15(a)には、撮像装置750を用いて行われる撮像動作状態を簡略化して示す。具体的には、花の上を飛んでいる2頭の蝶801および802を被写体として撮像装置750を用いて撮像動作が行われている状態を示す。また、図15(a)では、撮像装置750を用いて行われる撮像動作により生成される画像の撮像範囲(垂直方向の撮像範囲)を点線で示す。
図15(b)には、撮像装置750を用いて行われる撮像動作により生成される画像の撮像範囲(水平方向および垂直方向の撮像範囲)の一例を示す。具体的には、図15(a)に示す状態で、左眼用撮像部200および右眼用撮像部300のうち、何れかの撮像部により生成される画像の撮像範囲800を示す。
図15(b)に示すように、花の上を飛んでいる2頭の蝶801および802のうち、撮像装置750に比較的近い位置を飛んでいる蝶801については、撮像範囲800におけるサイズが大きくなる。一方、撮像装置750から比較的離れている位置を飛んでいる蝶802については、撮像範囲800におけるサイズが小さくなる。また、蝶801および802の背景は青空であり、略同一色(すなわち、空色)であるものとする。このように、光軸方向において比較的離れている2つの物体を撮像対象とする場合において、その背景が同一色であるような場合には、その2つの物体のみにフォーカスを合わせることにより、立体視画像を適切に表示することができると想定される。すなわち、その背景にフォーカスを合わせた場合、または、その背景にフォーカスを合わせていない場合の何れにおいても、その背景は同色であるため、ボケが気にならないと想定される。そこで、本発明の第3の実施の形態では、2つの撮像部の合焦位置が異なるようにして2つの画像(左眼視用画像および右眼視用画像)を生成する場合に、2つの撮像部の被写界深度を非連続とする例を示す。
[被写界深度の連続・非連続の設定例]
図16は、本発明の第3の実施の形態における入出力パネル190の表示例および立体視画像撮像条件保持部128における保持内容例を示す図である。図16(a)には、被写界深度の連続・非連続を設定する場合に用いられる入出力パネル190の表示例を示す。
図16(a)に示す設定画面530は、フォーカス制御部123によるフォーカス制御の際に、基準レンズの被写界深度と、他のレンズの被写界深度とを非連続としてもよいか否かを設定する際に入出力パネル190に表示される画面である。例えば、立体視画像を記録するための立体視画像撮像モードの設定操作が行われた後(例えば、図4(b)に示す設定画面510における決定操作が行われた後)に設定画面530が表示される。設定画面530には、連続のみボタン531と、非連続も可ボタン532と、決定ボタン533と、戻るボタン534とが設けられている。
連続のみボタン531および非連続も可ボタン532は、フォーカス制御の際に、基準レンズの被写界深度と、他のレンズの被写界深度とを非連続としてもよいか否かを選択する際に押下されるボタンである。例えば、立体視画像を表示するための左眼視用画像および右眼視用画像の撮像動作時における被写界深度が非連続となることを所望しない場合には、連続のみボタン531が押下される。また、立体視画像を表示するための左眼視用画像および右眼視用画像の撮像動作時における被写界深度が非連続となってもよい場合には、非連続も可ボタン532が押下される。
また、静止画撮像モードが設定されている場合において、静止画記録の待機状態で入出力パネル190に表示される画像(モニタリング画像)をユーザが見ながら、所望のボタンを押下するようにしてもよい。この場合には、例えば、モニタリング画像上に、各ボタンを重ねて配置することにより、ユーザがモニタリング画像を見た状態で容易に設定を行うことができる。
決定ボタン533は、連続のみおよび非連続も可を選択する押下操作がされた後に、その選択を決定する際に押下されるボタンである。また、決定ボタン533の押下操作により決定された被写界深度の連続・非連続に関する情報(被写界深度の連続・非連続情報)が立体視画像撮像条件保持部122に保持される。戻るボタン534は、例えば、直前に表示されていた表示画面に戻る場合に押下されるボタンである。
図16(b)には、立体視画像撮像条件保持部128における保持内容例を示す。立体視画像撮像条件保持部128は、図13(b)に示す立体視画像撮像条件保持部127に設定項目「被写界深度の連続・非連続」を追加したものである。なお、設定項目を追加した点以外は、図13(b)に示す立体視画像撮像条件保持部127と略同様であるため、立体視画像撮像条件保持部127と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
設定項目125は、図16(a)に示す設定画面530においてユーザによる設定操作の対象となる項目であり、設定情報126は、図16(a)に示す設定画面530においてユーザによる設定操作により設定された設定情報である。
図16(b)に示す例では、設定画面530における設定操作(非連続も可ボタン532の押下操作)により、撮像モードとして「非連続」が設定された場合を示す。
[被写界深度の設定例]
図17は、本発明の第3の実施の形態におけるフォーカス制御部123により設定される被写界深度と被写体との関係を概略的に示す図である。すなわち、被写界深度の非連続が設定された場合における2つの撮像部の被写界深度の設定例を示す。具体的には、左眼用撮像部200および右眼用撮像部300の光軸方向において、異なる位置に存在する2つの物体(蝶801および802)を合焦対象としてフォーカス制御を行う場合における被写界深度の一例を示す。この場合に、合焦対象とする2つの物体については、ユーザ操作(例えば、入出力パネル190におけるタッチ操作)により指定することができる。また、例えば、特定対象物を検出する特定対象物検出部を撮像装置750に備え、この特定対象物検出部より検出された特定対象物のうち、2つの特定対象物を合焦対象とするようにしてもよい。
例えば、左眼用撮像部200の合焦位置を合焦位置P11とする。また、この例では、左眼用撮像部200および右眼用撮像部300の被写界深度を連続とする必要がない。このため、左眼用撮像部200の被写界深度DF11と連続していない被写界深度DF12となる合焦位置P12を右眼用撮像部300の合焦位置とすることができる。すなわち、左眼用撮像部200の被写界深度DF11と、右眼用撮像部300の被写界深度DF12とが、距離L1だけ離れている。
すなわち、フォーカス制御部123は、一定条件を満たす場合に、左眼視用画像の生成時における被写界深度の範囲と、右眼視用画像の生成時における被写界深度の範囲とが非連続となるように、2つの撮像部における各フォーカス制御を行う。この一定条件として、例えば、背景が略一色であり、かつ、その背景よりも撮像装置100側に存在して光軸方向において一定値よりも離れている2つの物体を合焦対象とする条件を用いることができる。そして、その一定条件を満たす場合には、フォーカス制御部123は、2つの被写界深度の範囲が非連続となるように、2つの撮像部における各フォーカス制御を自動で行うようにしてもよい。
このように2つの被写界深度が非連続の状態で生成された2つの撮像画像について説明する。このように生成された2つの画像のうち、左眼用撮像部200により生成された画像については、蝶801にはフォーカスが合っているが、蝶802にはフォーカスが合っていない状態で撮像される。このため、左眼用撮像部200により生成された画像に含まれる蝶801はボケがなく綺麗に撮像されるが、蝶802はボケて撮像されるものと推定される。一方、右眼用撮像部300により生成された画像については、蝶802にはフォーカスが合っているが、蝶801にはフォーカスが合っていない状態で撮像される。このため、右眼用撮像部300により生成された画像に含まれる蝶802はボケがなく綺麗に撮像されるが、蝶801はボケて撮像されるものと推定される。
しかしながら、上述したように、2つの画像のうちの少なくとも1つの画像においてボケがなく撮像されている被写体については、立体視画像として自然に見ることができる。また、蝶801および802の背景は青空であり、略同一色であるため、ボケが気にならないと想定される。このため、光軸方向において比較的離れている蝶801および802を含む立体視画像を表示する場合でも、比較的綺麗に立体視画像を見ることができる。
なお、この例では、ユーザによる手動操作により、被写界深度の連続・非連続を設定する例を示すが、例えば、撮像画像に含まれる被写体の属性や色等に基づいて、被写界深度の連続・非連続を自動で決定するようにしてもよい。例えば、撮像画像の色ヒストグラムを生成し、最も多い色が特定色(例えば、空色、白色)であり、かつ、光軸方向において、2つの特定対象物の相対的な距離が比較的大きい場合には、被写界深度の非連続を決定することができる。
なお、本発明の実施の形態では、許容錯乱円径の値として固定の値を用いる場合を例にして説明した。ただし、ユーザが立体視画像を見る場合において、その立体視画像が表示される画面や用紙のサイズによっては、許容される錯乱円径が変化する。このため、許容錯乱円径の値を設定可能とし、立体視画像を見る状況に応じて、ユーザが許容錯乱円径の値を設定するようにしてもよい。例えば、表示画面が比較的小さい機器(例えば、携帯電話装置)を用いて立体視画像を見る場合には、許容錯乱円径の値を大きく設定することができる。一方、表示画面が比較的大きい機器(例えば、大画面のテレビジョン)を用いて立体視画像を見る場合には、許容錯乱円径の値を小さく設定しておくようにする。このように、撮像装置により生成される立体視画像を見る状況を想定して、その立体視画像の生成時に、許容錯乱円径の値をユーザが設定するようにしてもよい。例えば、許容錯乱円径の値を設定するための設定画面を入出力パネル190に表示して、この設定画面において、ユーザが所望する許容錯乱円径の値を入力して設定することができる。また、立体視画像を見る際における表示画面が小さい場合、立体視画像を見る際における表示画面が大きい場合、立体視画像を見る際における表示画面が通常である場合のそれぞれに対応する許容錯乱円径の値を予め設定しておく。そして、その設定された許容錯乱円径の値に対応する複数の選択ボタン(例えば、「標準」ボタン、「大画面」ボタン、「小画面」ボタン)を設定画面に設け、その選択ボタンの押下操作により、ユーザが所望する許容錯乱円径の値を設定するようにしてもよい。このように設定された許容錯乱円径の値を用いて、各フォーカス制御を行うことができる。
また、本発明の実施の形態では、2つの撮像部(左眼用撮像部200および右眼用撮像部300)を用いて立体視画像を表示するための2つの撮像画像を生成する例を示した。ただし、3以上の撮像部を用いて立体視画像を表示するための撮像画像を生成する場合についても本発明の実施の形態を適用することができる。例えば、各撮像部の合焦位置をそれぞれ異なるようにして、各撮像部の被写界深度が重複または連続するようにする。また、一定条件を満たす場合には、各撮像部のうちの何れかの被写界深度が非連続となるようにしてもよい。
また、立体視画像を表示するための撮像画像を、1つの撮像部を用いて生成する場合についても本発明の実施の形態を適用することができる。例えば、1つの撮像部により2つの撮像画像を連続して撮像して、この2つの撮像画像について左眼視用画像および右眼視用画像とするための画像処理を施す。また、この2つの撮像画像の連続した撮像時に被写界深度を変更して撮像するようにする。
また、本発明の実施の形態では、撮像装置に組み込まれている制御回路によりフォーカス制御を実行させる例を示したが、撮像装置に連動する制御回路、または、コンピュータ等の情報処理装置により、フォーカス制御を実行させるようにしてもよい。この場合には、例えば、撮像部を備える機器と、制御回路またはコンピュータ等の情報処理装置とにより構成されるシステムが撮像装置を構成する。
また、本発明の実施の形態では、コントラストAFを用いてフォーカス制御を行う撮像装置を例にして説明したが、位相差AF(位相差検出方式によるAF)を用いてフォーカス制御を行う撮像装置についても、本発明の実施の形態を適用することができる。また、本発明の実施の形態では、レンズ一体型の撮像装置を例にして説明したが、レンズ交換式の撮像装置についても、本発明の実施の形態を適用することができる。例えば、レンズ交換式の撮像装置において、本体側の撮像装置からの制御に基づいて、交換レンズにおけるフォーカスレンズを制御することによりフォーカス制御を行うことができる。なお、レンズ交換式の撮像装置は、例えば、レンズを交換することが可能なデジタルスチルカメラ(例えば、デジタル一眼カメラ)である。また、所定の輻輳角により立体視画像を生成する機能を有する撮像装置(例えば、輻輳角を可変とする3Dカメラ)についても、本発明の実施の形態を適用することができる。さらに、所定の基線長により立体視画像を生成する機能を有する撮像装置(例えば、2つのレンズ間の距離を可変とする3Dカメラ)についても、本発明の実施の形態を適用することができる。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
100、700、750 撮像装置
101 撮像部
110 操作受付部
111 シャッターボタン
120 CPU
121 制御部
122 立体視画像撮像条件保持部
123、690 フォーカス制御部
130 同期クロック
140 露光制御部
150 記録制御部
160 コンテンツ記憶部
170 表示制御部
180 表示部
190 入出力パネル
200 左眼用撮像部
300 右眼用撮像部
211、311 ズームレンズ
212、312 絞り
213、313 フォーカスレンズ
221、321 ズームレンズ駆動モータ
222、322 ズームレンズ制御部
231、331 絞り駆動モータ
232、332 絞り制御部
241、341 フォーカスレンズ駆動モータ
242、342 フォーカスレンズ制御部
250、350 撮像素子
260、360 撮像信号処理部
680 合焦位置テーブル保持部

Claims (17)

  1. 被写体を撮像して当該被写体を立体視するための立体視画像を表示するための第1画像および第2画像を生成する撮像部と、
    前記第1画像の生成時において前記第1画像に含まれる被写体のうち特定エリアに含まれる被写体である第1被写体に合焦するように前記撮像部におけるフォーカス制御を行い、前記第2画像の生成時において前記第2画像に含まれる被写体のうち光軸方向において前記第1被写体とは異なる位置に存在する他の被写体である第2被写体に合焦するように前記撮像部におけるフォーカス制御を行うフォーカス制御部と
    を具備する撮像装置。
  2. 前記フォーカス制御部は、前記第1画像の生成時における被写界深度の範囲と前記第2画像の生成時における被写界深度の範囲とが異なるように前記各フォーカス制御を行う請求項1記載の撮像装置。
  3. 前記フォーカス制御部は、前記第1画像の生成時における被写界深度の範囲と前記第2画像の生成時における被写界深度の範囲とが重複せずに連続する範囲となるように前記各フォーカス制御を行う請求項2記載の撮像装置。
  4. 前記フォーカス制御部は、前記第1画像の生成時における被写界深度の範囲と前記第2画像の生成時における被写界深度の範囲とが重複するように前記各フォーカス制御を行う請求項2記載の撮像装置。
  5. 前記フォーカス制御部は、一定条件を満たす場合に、前記第1画像の生成時における被写界深度の範囲と前記第2画像の生成時における被写界深度の範囲とが非連続となるように前記各フォーカス制御を行う請求項2記載の撮像装置。
  6. 前記フォーカス制御部は、背景が略一色であり、かつ、当該背景よりも前記撮像装置側に存在して光軸方向において一定値よりも離れている2つの物体を前記第1被写体および前記第2被写体とする条件を前記一定条件として、前記一定条件を満たす場合に前記非連続となるように前記各フォーカス制御を行う請求項5記載の撮像装置。
  7. 前記撮像部は、前記第1画像を生成する第1撮像部と、前記第1画像に同期して前記第2画像を生成する第2撮像部とを備え、
    前記フォーカス制御部は、前記第1画像の生成時において前記第1撮像部に備えられる第1フォーカスレンズを用いて前記第1被写体に合焦するようにフォーカス制御を行うとともに、前記第2画像の生成時において前記第2撮像部に備えられる第2フォーカスレンズを用いて前記第2被写体に合焦するようにフォーカス制御を行う
    請求項1記載の撮像装置。
  8. 前記フォーカス制御部は、前記第1被写体の位置とF値とレンズの焦点距離とにより特定される第1被写界深度の範囲とは異なる範囲に含まれる前記第2被写体に合焦するように前記第2フォーカスレンズを用いたフォーカス制御を行う請求項7記載の撮像装置。
  9. 前記フォーカス制御部は、前記第1被写体および前記第2被写体が過焦点距離の範囲内に存在する場合には前記第1フォーカスレンズおよび前記第2フォーカスレンズを同期して前記フォーカス制御を行う請求項7記載の撮像装置。
  10. 前記フォーカス制御部は、前記撮像部におけるレンズの焦点距離が長く、かつ、前記第1被写体に係る被写体距離が短い場合、または、F値が一定値を基準として小さい場合に、前記第1画像に含まれる前記第1被写体に合焦するように前記撮像部におけるフォーカス制御を行い、前記第2画像に含まれる前記第2被写体に合焦するように前記撮像部におけるフォーカス制御を行う請求項1記載の撮像装置。
  11. 前記第2被写体を、前記光軸方向において前記第1被写体よりも前記撮像装置側に存在する被写体とするか、前記光軸方向において前記第1被写体よりも前記遠方側に存在する被写体とするかを選択する選択操作を受け付ける操作受付部をさらに具備し、
    前記フォーカス制御部は、前記第2画像の生成時において前記選択された被写体に合焦するようにフォーカス制御を行う
    請求項1記載の撮像装置。
  12. 前記生成された第1画像および第2画像を関連付けて動画コンテンツとして記録媒体に記録させる記録制御部をさらに具備する請求項1記載の画像処理装置。
  13. 前記生成された第1画像および第2画像を関連付けて静止画コンテンツとして記録媒体に記録させる記録制御部をさらに具備する請求項1記載の画像処理装置。
  14. 前記静止画を記録する指示操作を受け付ける操作受付部と、
    前記指示操作が受け付けられた場合には、前記第1被写体および前記第2被写体のそれぞれに合焦するように前記各フォーカス制御を行い前記第1画像および前記第2画像を生成する第1撮像動作と、前記第1被写体および前記第2被写体の少なくとも何れか一方に合焦するように前記各フォーカス制御を行い前記第1画像および前記第2画像を生成する第2撮像動作とを前記撮像部に連続して行わせる制御を行う制御部とをさらに具備し、
    前記記録制御部は、前記第1撮像動作により生成された第1画像および第2画像と、前記第2撮像動作により生成された第1画像および第2画像とを関連付けて静止画コンテンツとして前記記録媒体に記録させる
    請求項13記載の画像処理装置。
  15. 前記記録制御部は、前記第1撮像動作により生成された旨を示す識別情報を、前記第1撮像動作により生成された前記第1画像および前記第2画像に関連付けて記録する請求項14記載の画像処理装置。
  16. 被写体を撮像して当該被写体を立体視するための立体視画像を表示するための第1画像および第2画像を生成する撮像手順と、
    前記第1画像の生成時において前記第1画像に含まれる被写体のうち特定エリアに含まれる被写体である第1被写体に合焦するようにフォーカス制御を行う第1制御手順と、
    前記第2画像の生成時において前記第2画像に含まれる被写体のうち光軸方向において前記第1被写体とは異なる位置に存在する他の被写体である第2被写体に合焦するようにフォーカス制御を行う第2制御手順と
    を具備する撮像装置の制御方法。
  17. 被写体を撮像して当該被写体を立体視するための立体視画像を表示するための第1画像および第2画像を生成する撮像手順と、
    前記第1画像の生成時において前記第1画像に含まれる被写体のうち特定エリアに含まれる被写体である第1被写体に合焦するようにフォーカス制御を行う第1制御手順と、
    前記第2画像の生成時において前記第2画像に含まれる被写体のうち光軸方向において前記第1被写体とは異なる位置に存在する他の被写体である第2被写体に合焦するようにフォーカス制御を行う第2制御手順と
    をコンピュータに実行させるプログラム。
JP2010166170A 2010-07-23 2010-07-23 撮像装置、その制御方法およびプログラム Ceased JP2012027263A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010166170A JP2012027263A (ja) 2010-07-23 2010-07-23 撮像装置、その制御方法およびプログラム
US13/392,529 US20120154547A1 (en) 2010-07-23 2011-06-15 Imaging device, control method thereof, and program
PCT/JP2011/063662 WO2012011341A1 (ja) 2010-07-23 2011-06-15 撮像装置、その制御方法およびプログラム
EP11809515.7A EP2597502A1 (en) 2010-07-23 2011-06-15 Imaging device, method for controlling same, and program
CN2011800038662A CN102511013A (zh) 2010-07-23 2011-06-15 摄像装置及其控制方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010166170A JP2012027263A (ja) 2010-07-23 2010-07-23 撮像装置、その制御方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2012027263A true JP2012027263A (ja) 2012-02-09

Family

ID=45496770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010166170A Ceased JP2012027263A (ja) 2010-07-23 2010-07-23 撮像装置、その制御方法およびプログラム

Country Status (5)

Country Link
US (1) US20120154547A1 (ja)
EP (1) EP2597502A1 (ja)
JP (1) JP2012027263A (ja)
CN (1) CN102511013A (ja)
WO (1) WO2012011341A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014068088A (ja) * 2012-09-25 2014-04-17 Sharp Corp 撮像装置および撮像装置制御方法
WO2019107359A1 (ja) * 2017-11-29 2019-06-06 ソニー・オリンパスメディカルソリューションズ株式会社 撮像装置
JP2020094884A (ja) * 2018-12-12 2020-06-18 中日本ハイウェイ・エンジニアリング東京株式会社 画像を利用した点検方法

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012017585A1 (ja) * 2010-08-06 2012-02-09 パナソニック株式会社 撮像装置
US20130057655A1 (en) * 2011-09-02 2013-03-07 Wen-Yueh Su Image processing system and automatic focusing method
US20140225991A1 (en) * 2011-09-02 2014-08-14 Htc Corporation Image capturing apparatus and method for obatining depth information of field thereof
WO2014010672A1 (ja) * 2012-07-12 2014-01-16 オリンパス株式会社 撮像装置及びプログラム
JP6103849B2 (ja) * 2012-08-02 2017-03-29 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
KR101207343B1 (ko) * 2012-08-30 2012-12-04 재단법인대구경북과학기술원 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
CN116405747A (zh) 2012-11-28 2023-07-07 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
GB201310256D0 (en) * 2013-06-10 2013-07-24 Univ Durham Stereoscopic display and method
JP6139713B2 (ja) 2013-06-13 2017-05-31 コアフォトニクス リミテッド デュアルアパーチャズームデジタルカメラ
CN108519655A (zh) 2013-07-04 2018-09-11 核心光电有限公司 小型长焦透镜套件
CN108718376B (zh) 2013-08-01 2020-08-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
CN103702073A (zh) * 2013-12-11 2014-04-02 天津大学 一拖多个成像传感器同步成像的一体化相机电路
CN103905762B (zh) * 2014-04-14 2017-04-19 上海索广电子有限公司 投影模块的投影画面自动检查方法
CN107076961B (zh) * 2014-07-30 2019-08-02 宇龙计算机通信科技(深圳)有限公司 对焦方法和对焦装置
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US10288840B2 (en) 2015-01-03 2019-05-14 Corephotonics Ltd Miniature telephoto lens module and a camera utilizing such a lens module
CN111175926B (zh) 2015-04-16 2021-08-20 核心光电有限公司 紧凑型折叠式相机中的自动对焦和光学图像稳定
CN105100615B (zh) * 2015-07-24 2019-02-26 青岛海信移动通信技术股份有限公司 一种图像的预览方法、装置及终端
KR102263924B1 (ko) 2015-08-13 2021-06-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
WO2017091957A1 (en) * 2015-11-30 2017-06-08 SZ DJI Technology Co., Ltd. Imaging system and method
WO2017115179A1 (en) 2015-12-29 2017-07-06 Corephotonics Ltd. Dual-aperture zoom digital camera with automatic adjustable tele field of view
TWI573459B (zh) 2016-03-18 2017-03-01 聚晶半導體股份有限公司 具有多攝像模組的電子裝置及其控制的方法
TWI604221B (zh) * 2016-05-27 2017-11-01 致伸科技股份有限公司 影像景深測量方法以及應用該方法的影像擷取裝置
EP3292685B1 (en) 2016-05-30 2019-06-05 Corephotonics Ltd. Rotational ball-guided voice coil motor
JP6908039B2 (ja) * 2016-06-17 2021-07-21 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム、及び画像処理システム
KR102646151B1 (ko) 2016-06-19 2024-03-08 코어포토닉스 리미티드 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화
WO2018007981A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Linear ball guided voice coil motor for folded optic
DE102016117024B4 (de) * 2016-09-09 2021-08-05 Karl Storz Se & Co. Kg Vorrichtung zum Erfassen eines Stereobilds sowie Verfahren zum Justieren der Vorrichtung
CN110140078B (zh) 2016-12-28 2021-11-19 核心光电有限公司 具有延伸光折叠元件扫描范围的折叠相机结构
KR102612454B1 (ko) 2017-01-12 2023-12-08 코어포토닉스 리미티드 컴팩트 폴디드 카메라
CN114137790A (zh) 2017-03-15 2022-03-04 核心光电有限公司 具有全景扫瞄范围的系统、移动电子装置及其方法
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
JP2019083364A (ja) * 2017-10-27 2019-05-30 キヤノン株式会社 画像処理装置、撮像装置および制御方法
KR102666902B1 (ko) 2017-11-23 2024-05-16 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
CN110352371B (zh) 2018-02-05 2022-05-13 核心光电有限公司 减少高度容余的折叠摄像装置
US11640047B2 (en) 2018-02-12 2023-05-02 Corephotonics Ltd. Folded camera with optical image stabilization
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
EP4109174A1 (en) 2018-04-23 2022-12-28 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
CN119919618A (zh) 2018-07-04 2025-05-02 核心光电有限公司 用于汽车或监控应用具有扫描光路折叠元件的相机
US11363180B2 (en) 2018-08-04 2022-06-14 Corephotonics Ltd. Switchable continuous display information system above camera
US11635596B2 (en) 2018-08-22 2023-04-25 Corephotonics Ltd. Two-state zoom folded camera
CN109561255B (zh) * 2018-12-20 2020-11-13 惠州Tcl移动通信有限公司 终端拍照方法、装置及存储介质
US11287081B2 (en) 2019-01-07 2022-03-29 Corephotonics Ltd. Rotation mechanism with sliding joint
US11315276B2 (en) 2019-03-09 2022-04-26 Corephotonics Ltd. System and method for dynamic stereoscopic calibration
KR102515482B1 (ko) 2019-07-31 2023-03-29 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
CN114641983A (zh) 2019-12-09 2022-06-17 核心光电有限公司 用于获得智能全景图像的系统及方法
US12007668B2 (en) 2020-02-22 2024-06-11 Corephotonics Ltd. Split screen feature for macro photography
KR20220003550A (ko) 2020-04-26 2022-01-10 코어포토닉스 리미티드 홀 바 센서 보정을 위한 온도 제어
CN114651275B (zh) 2020-05-17 2023-10-27 核心光电有限公司 全视场参考图像的图像拼接
EP4191332B1 (en) 2020-05-30 2024-07-03 Corephotonics Ltd. Systems and methods for obtaining a super macro image
CN111862230B (zh) * 2020-06-05 2024-01-12 北京中科慧眼科技有限公司 一种双目相机的调校方法和装置
US11910089B2 (en) 2020-07-15 2024-02-20 Corephotonics Lid. Point of view aberrations correction in a scanning folded camera
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
US11946775B2 (en) 2020-07-31 2024-04-02 Corephotonics Ltd. Hall sensor—magnet geometry for large stroke linear position sensing
CN116626960A (zh) 2020-08-12 2023-08-22 核心光电有限公司 用于光学防抖的方法
KR102772243B1 (ko) 2020-12-26 2025-02-21 코어포토닉스 리미티드 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원
KR102589548B1 (ko) 2021-03-11 2023-10-13 코어포토닉스 리미티드 팝-아웃 카메라 시스템
JP2022170788A (ja) * 2021-04-30 2022-11-11 キヤノン株式会社 撮像装置およびレンズ装置
KR102638173B1 (ko) 2021-06-08 2024-02-19 코어포토닉스 리미티드 슈퍼-매크로 이미지의 초점면을 틸팅하기 위한 시스템 및 카메라
US12328505B2 (en) 2022-03-24 2025-06-10 Corephotonics Ltd. Slim compact lens optical image stabilization

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002341472A (ja) * 2001-05-18 2002-11-27 Olympus Optical Co Ltd 立体画像撮影装置及び方法
JP2005210217A (ja) * 2004-01-20 2005-08-04 Olympus Corp ステレオカメラ
JP2010107664A (ja) * 2008-10-29 2010-05-13 Fujifilm Corp 立体撮像装置及び合焦制御方法
JP2010204483A (ja) * 2009-03-04 2010-09-16 Fujifilm Corp 撮像装置、方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4138425B2 (ja) * 2002-09-25 2008-08-27 シャープ株式会社 画像表示装置および方法
JP2004133637A (ja) 2002-10-09 2004-04-30 Sony Corp 顔検出装置、顔検出方法及びプログラム、並びにロボット装置
JP4533735B2 (ja) * 2004-12-07 2010-09-01 富士フイルム株式会社 立体画像撮影装置
US7599555B2 (en) * 2005-03-29 2009-10-06 Mitsubishi Electric Research Laboratories, Inc. System and method for image matting
JP4483930B2 (ja) 2007-11-05 2010-06-16 ソニー株式会社 撮像装置、その制御方法およびプログラム
WO2010022185A1 (en) * 2008-08-19 2010-02-25 Digimarc Corporation Methods and systems for content processing
US8886206B2 (en) * 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002341472A (ja) * 2001-05-18 2002-11-27 Olympus Optical Co Ltd 立体画像撮影装置及び方法
JP2005210217A (ja) * 2004-01-20 2005-08-04 Olympus Corp ステレオカメラ
JP2010107664A (ja) * 2008-10-29 2010-05-13 Fujifilm Corp 立体撮像装置及び合焦制御方法
JP2010204483A (ja) * 2009-03-04 2010-09-16 Fujifilm Corp 撮像装置、方法およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014068088A (ja) * 2012-09-25 2014-04-17 Sharp Corp 撮像装置および撮像装置制御方法
WO2019107359A1 (ja) * 2017-11-29 2019-06-06 ソニー・オリンパスメディカルソリューションズ株式会社 撮像装置
US11418772B2 (en) 2017-11-29 2022-08-16 Sony Olympus Medical Solutions Inc. Imaging device balancing depth of field and resolution
JP2020094884A (ja) * 2018-12-12 2020-06-18 中日本ハイウェイ・エンジニアリング東京株式会社 画像を利用した点検方法

Also Published As

Publication number Publication date
CN102511013A (zh) 2012-06-20
WO2012011341A1 (ja) 2012-01-26
US20120154547A1 (en) 2012-06-21
EP2597502A1 (en) 2013-05-29

Similar Documents

Publication Publication Date Title
WO2012011341A1 (ja) 撮像装置、その制御方法およびプログラム
JP5214826B2 (ja) 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体
EP2590421B1 (en) Single-lens stereoscopic image capture device
JP5368350B2 (ja) 立体撮像装置
JP5814692B2 (ja) 撮像装置及びその制御方法、プログラム
JP5269252B2 (ja) 単眼立体撮像装置
WO2012002046A1 (ja) 立体パノラマ画像合成装置及び複眼撮像装置並びに立体パノラマ画像合成方法
CN102135722B (zh) 摄像机结构、摄像机系统和方法
JP5371845B2 (ja) 撮影装置及びその表示制御方法並びに3次元情報取得装置
JP2004104330A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP5647740B2 (ja) 視差調節装置及び方法、撮影装置、再生表示装置
WO2013146067A1 (ja) 画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラム
JPWO2011121818A1 (ja) 複眼撮像装置、その視差調整方法及びプログラム
US20140176686A1 (en) Image processing device, image capturing apparatus, and method for adjusting disparity amount
JP5449551B2 (ja) 画像出力装置、方法およびプログラム
JP2012178688A (ja) 立体画像撮影装置
CN103329549B (zh) 立体视频处理器、立体成像装置和立体视频处理方法
JP5580486B2 (ja) 画像出力装置、方法およびプログラム
JPWO2011155212A1 (ja) 立体画像表示装置、立体撮像装置、及び方法
JP5918982B2 (ja) 撮像装置、再生装置、その制御方法、撮像システム、及びプログラム
JP2013021550A (ja) 撮像装置及びその制御方法
JP2004104331A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2011030123A (ja) 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
JP2012220888A (ja) 撮像装置
JP5222718B2 (ja) 立体画像再生装置、立体画像再生プログラム、撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140527

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140722

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150106

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20150526