JP2014123896A - 撮像装置、撮像方法、及びプログラム - Google Patents

Abstract

【課題】１コマの表示と組み写真の表示を容易に切り換えられるようにした撮像装置、撮像方法、及びプログラムを提供する。
【解決手段】複数の画像を１枚の画像として組み込んだ組み写真を撮影可能であり、かつライブビュー表示可能な撮像装置において、表示パネル１３５と、ＥＶＦ１５３と、被写体像を画像データに変換し出力する撮像素子１０３と、画像データを画像処理する画像処理部１０９と、画像処理部１０９によって画像処理された複数の画像データを組んで１つの画像を生成する組み写真処理部１１７を具備し、表示パネル１３５にライブビュー画像を表示する場合には、組み写真処理部１１７で処理した画像を表示し、一方、ＥＶＦ１５３にライブビュー画像を表示する場合には、画像処理部１０９で画像処理した画像を表示する。
【選択図】 図１

Description

本発明は、複数の写真からなる組み写真等の画像を生成可能な撮像装置、撮像方法、及びプログラムに関する。

合成写真を撮影する際、表示部に表示する合成写真のいずれのコマが撮影されたものなのか、またどのコマがライブビュー画像かが分かるようにした撮像装置が提案されている（特許文献１、２参照）。

特許第４６１７４１７号公報 特開２００１−１６９１５０号公報

複数の撮影画像を組み込んで組み写真を生成するために撮影を行う際に、１コマ１コマの撮影に集中したい場合には、出来上がりの組み写真ではなく、撮像中のライブビュー画像のみを表示することが望ましい。上述の特許文献１、２では、どのコマがライブビューであるかをユーザは容易に特定することができるが、１コマを表示するモードと組み写真を表示するモードを容易に切り換えることができない。

上記不具合の解決策として、切換スイッチ等を設け、１コマを表示するモードと組み写真を表示するモードを切り換えるようにすることが考えられる。しかし、この方法では、スイッチ類が増加し、またＵＩ（User Interface）が煩雑化し、ユーザにとって操作し易い撮像装置とは言い難い。

本発明は、このような事情を鑑みてなされたものであり、１コマの表示と組み写真の表示を容易に切り換えられるようにした撮像装置、撮像方法、及びプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、複数の画像を１枚の画像として組み込んだ組み写真を撮影可能であり、かつライブビュー表示可能な撮像装置において、第１の表示部と、上記第１の表示部とは異なる第２の表示部と、被写体像を画像データに変換し出力する撮像部と、上記画像データを画像処理する画像処理部と、上記画像処理部によって画像処理された複数の画像データを組んで１つの画像を生成する組み写真処理部と、を具備し、上記第１の表示部にライブビュー画像を表示する場合には、上記組み写真処理部で処理した画像を表示し、一方、上記第２の表示部にライブビュー画像を表示する場合には、上記画像処理部で画像処理した画像を表示する。

第２の発明に係る撮像装置は、上記第１の発明において、上記画像処理部は、上記第１の表示部に表示する画像を生成する場合と、上記第２の表示部に表示する画像を生成する場合とで異なる画像処理を行う。
第３の発明に係る撮像装置は、上記第２の発明において、上記画像処理部は、上記第２の表示部に表示する画像を生成するための画像処理を行い、上記画像処理部で画像処理された画像を入力し、上記第１の表示部に表示する画像を生成するために特殊画像処理を行う。

第４の発明に係る撮像装置は、上記第２の発明において、上記画像処理部は、上記第２の表示部に表示する画像を生成する場合には、上記第１の表示部に表示する画像を生成する場合に行う画像処理の一部の画像処理を行う。
第５の発明に係る撮像装置は、上記第２の発明において、上記画像処理部は、上記第２の表示部に表示する画像を生成する場合には、上記第１の表示部に表示する画像を生成する場合に行う画像処理の一部の画像処理を異なるパラメータで行う。

第６の発明に係る撮像装置は、上記第１の発明において、上記第１の表示部は背面表示パネルであり、上記第２の表示部はＥＶＦである。
第７の発明に係る撮像装置は、上記第１の発明において、上記第１の表示部は外光の影響を受ける表示部であり、上記第２の表示部は、上記第１の表示部に比べて外光の影響を受けない表示部である。

第８の発明に係る撮像方法は、複数の画像を１枚の画像として組み込んだ組み写真を撮影し、かつライブビュー表示する撮像方法であって、被写体像を画像データに変換して出力し、第２の表示部に１コマのライブビュー画像を表示する場合には、上記画像データを画像処理した画像を表示し、上記第２の表示部と異なる第１の表示部に組み写真のライブビュー画像を表示する場合には、画像処理された複数の画像データに対して組み写真処理を施して１つの組写真の画像を生成し、この組み写真の画像を表示する。

第９の発明に係るプログラムは、複数の画像を１枚の画像として組み込んだ組み写真を撮影し、かつライブビュー表示をコンピュータに実行させるプログラムであって、被写体像を画像データに変換して出力し、第２の表示部に１コマのライブビュー画像を表示する場合には、上記画像データを画像処理した画像を表示し、上記第２の表示部とは異なる第１の表示部に組み写真のライブビュー画像を表示する場合には、画像処理された複数の画像データに対して組み写真処理を施して１つの組写真の画像を生成し、この組み写真の画像を表示する。

本発明によれば、１コマの表示と組み写真の表示を容易に切り換えられるようにした撮像装置、撮像方法、及びプログラムを提供することができる。

本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の第１実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の第１実施形態に係るカメラのメイン動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの画像処理の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの基本画像処理の動作を示すフローチャートと、画像処理のＲＧＢガンマ・Ｙガンマの例を示すグラフである。 本発明の第１実施形態に係るカメラの特殊画像処理の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの組み写真生成の動作を示すフローチャートである。 本発明の第１実施形態におけるカメラにおいて、画像解析の変更例を示す図である。 本発明の第１実施形態に係るカメラの静止画記録の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの組み写真操作の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの組み写真操作の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラの画像処理・ライブビュー表示の動作を示すフローチャートである。 本発明の第１実施形態に係るカメラにおいて、（ａ）はＥＶＦ表示の切り換えを示す図であり、（ｂ）はＴＦＴ表示の切り換えを示す図である。 本発明の第１実施形態に係るカメラにおいて、ＥＶＦ表示における表示外のマスクの例を示す図である。 本発明の第１実施形態に係るカメラの画像処理・ライブビュー表示の動作の変形例を示すフローチャートである。 本発明の第２実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の第２実施形態に係るカメラの外観図の一例を示す図である。 本発明の第２実施形態に係るカメラの外観図の変形例を示す図である。 本発明の第２実施形態に係るカメラと外部機器との接続例を示す図である。 本発明の第１〜第３実施形態の概略を説明する図である。

以下、図面に従って本発明に係る撮像装置を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係るカメラは、デジタルカメラである。このデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面等に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。

また、カメラ本体の背面部等に設けられた表示部は画面を複数分割し、複数の画像からなる組み写真を再生表示可能である。組み写真は、複数の画像が統一感を有するように組み写真処理を施した後、表示する。また、このデジタルカメラは、電子ビューファインダ（ＥＶＦ）を有しており、この電子ビューファインダには、現在撮像中のライブビュー画像を表示可能である。ライブビュー画像は、組み写真処理を施すことなく、基本画像処理を施した画像を表示する。このように、本発明の好ましい実施形態に係るカメラは、複数の画像を１枚の画像として組み込んだ写真を撮影可能であり、かつライブビュー表示可能である。

図１は、本発明の第１実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。なお、本実施形態においては、撮影レンズは交換レンズ式としたが、これに限らず、カメラ本体に撮影レンズが固定されるタイプのデジタルカメラであっても勿論かまわない。

交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９から構成され、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）１９９を有する。

撮影レンズ２０１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１を通過した被写体光束の光量を制限する。また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。また、ドライバ２０５は、絞り２０３の口径の制御も行う。

ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ１９９およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。

フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ１９９は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。

カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のフォーカルプレーンシャッタ等が採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。

撮像素子１０３は、撮像部としての機能を果たし、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤ―配列のＲＧＢフィルタが配置されている。また、撮像素子１０３は電子シャッタを有している。電子シャッタは、撮像素子１０３の電荷蓄積から電荷読出までの時間を制御することにより露光時間の制御を行う。なお、撮像素子１０３はベイヤ配列に限定されず、例えばＦｏｖｅｏｎ（登録商標）のような積層形式でも勿論かまわない。

撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、さらに適切な輝度になるようにゲインアップを行う。

アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１１０に出力する。なお、本明細書においては、画像処理部１０９において画像処理される前の生の画像データをＲＡＷデータと称する。

バス１１０は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１１０には、前述のＡ／Ｄ変換部１０７の他、画像処理部１０９、ＡＥ（Auto Exposure）処理部１１１、ＡＦ（Auto Focus）処理部１１３、画像圧縮伸張部１１５、組み写真処理部１１７、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous DRAM）１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、表示ドライバ１３３、通信処理部１４５、ＥＶＦドライバ１５１が接続されている。

画像処理部１０９は、基本的な画像処理を行う基本画像処理部１０９ａと、アートフィルタが設定された場合に特殊効果を施すための特殊画像処理部１０９ｂと、画像を解析し、被写体を検出する被写体検出部１０９ｃを有している。

基本画像処理部１０９ａは、撮像部で撮像した画像データを画像処理する画像処理部としての機能を果たし、ＲＡＷデータに対して、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正、ベイヤデータの場合に行う同時化処理、色再現処理、ガンマ補正処理、カラーマトリックス演算、ノイズリダクション（ＮＲ）処理、エッジ強調処理等を行う。１枚撮影で、かつアートフィルタが設定されていない場合には、この基本画像処理部１０９ａによる処理のみで画像処理が完了する。

また、特殊画像処理部１０９ｂは、設定された特殊効果（アートフィルタ）に応じて、周辺の輝度を低下させるピンホール効果、画像をぼかして元画像と合成するソフトフォーカス処理、ノイズ画像と合成するノイズ効果、輝点にクロスパターンを描画するクロスフィルタ効果、周辺部をぼかすミニチュア効果等、基本画像処理部によって処理された画像に対して、種々の特殊効果を施す。

被写体検出部１０９ｃは、画像をパターンマッチング等によって解析し、人の顔やペット等の被写体を検出する。被写体を検出できた場合には、画像内における被写体の種類、大きさ、位置、信頼性等の情報を取得する。

ＡＥ処理部１１１は、バス１１０を介して入力した画像データに基づいて被写体輝度を測定し、この被写体輝度情報を、バス１１０を介してマイクロコンピュータ１２１に出力する。被写体輝度の測定のために専用の測光センサを設けても良いが、本実施形態においては、画像データに基づいて被写体輝度を算出する。

ＡＦ処理部１１３は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１１０を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。この実施形態では、コントラスト法によるＡＦ制御を例にとって説明したが、被写体光束を分割し、その光路上に位相差センサを設け、または撮像素子上に位相差センサを設け、位相差ＡＦによるＡＦ制御によりピント合わせを行ってもよい。

画像圧縮伸張部１１５は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から読み出した画像データを、静止画の場合にはＪＰＥＧ圧縮方式等、また動画の場合にはＭＰＥＧ等の各種圧縮方式に従って圧縮する。マイクロコンピュータ１２１は、ＪＰＥＧ画像データやＭＰＥＧ画像データに対して、ＪＰＥＧファイルやＭＰＯ（Multi Picture Object：３Ｄ立体視等で用いる画像フォーマット）ファイル、ＭＰＥＧファイルを構成するために必要なヘッダを付加してＪＰＥＧファイルやＭＰＯファイル、ＭＰＥＧファイルを作成し、この作成したファイルをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。

また、画像圧縮伸張部１１５は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているファイルを読み出し、画像圧縮伸張部１１５において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式やＭＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。

組み写真処理部１１７は、複数の画像データを組んで１つの画像（組み写真）を生成するための処理を行う。画像の組合せにあたっては、フラッシュメモリ１２５からテンプレートを読み込み、画像の明るさが同様になるように基本画像処理部１０９ａ内のガンマ補正を使用して輝度変更を行う。また、全体のホワイトバランス（ＷＢ）を統一させるために基本画像処理部１０９ａ内の色再現処理を使用してＷＢを変更する。また、合成後に特殊画像処理部１０９ｂを使用してピンホール効果等の特殊効果を適用し、組み画像や置換画像の修正等を行う。

マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、カメラの各種シーケンスを総括的に制御する。マイクロコンピュータ１２１には、前述のＩ／Ｆ１９９以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。

操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦、削除釦、拡大釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマイクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。

レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ動作やＡＦ動作等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。

動画釦は、動画撮影の開始と終了を指示するための操作釦であり、最初に動画釦を操作すると動画撮影を開始し、再度、操作すると動画撮影を終了する。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、表示パネル１３５に撮影画像を再生表示する。削除釦は、例えば、再生画像が一覧表示されている場合や組み写真が表示されている場合等に、画像を指定して削除するための操作釦である。拡大釦は、再生表示の際に、表示画像を拡大するための操作釦である。

メニュー釦は、メニュー画面を表示パネル１３５に表示させるための操作釦である。メニュー画面上では、各種のカメラ設定を行うことができる。カメラ設定としては、例えば、通常撮影モードや組み写真等の撮影モードの設定、ナチュラル、ビビッド、フラット、ポートレート、アートフィルタ等のピクチャーモードの設定がある。アートフィルタとしては、ポップアート、トイフォト、ファンタジックフォーカス、ラフモノクローム、ジオラマ、クリスタル等がある。また、組み写真のスタイル、組み写真の置換画像の選択、組み写真編集時に編集前の画像を記録するか否か等、種々の設定も可能である。なお、組み写真の場合、スタイルと組み画像選択状況に応じてライブビュー（ＬＶ）の表示を変更する（図３のＳ４７参照）。

また、操作部１２３にはタッチ入力部１２３ａが設けてある。表示パネル１３５は、タッチ操作可能であり、タッチ入力部１２３ａは、ユーザがタッチした位置等を検出し、マイクロコンピュータ１２１に出力する。

フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１はこのプログラムに基づいてカメラ全体の制御を行う。

ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１０９、画像圧縮伸張部１１５、組み写真処理部１１７等において処理された画像データを一時記憶する。

メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、例えば、カメラ本体１００に着脱自在なメモリカード等の記録媒体であるが、これに限らず、カメラ本体１００に内蔵されたハードディスク等であっても良い。

表示ドライバ１３３は、表示パネル１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮伸張部１１５によって伸張された画像データに基づいて画像を表示パネル１３５において表示させる。表示パネル１３５は、カメラ本体１００の背面等に配置され、画像表示を行う。表示パネル１３５は、背面等のカメラ本体の外装部に表示面が配置されることから、外光の影響を受け易い表示部であるが、大型の表示パネルを設定することが可能である。なお、表示部としては、液晶表示パネル（ＬＣＤ、ＴＦＴ）、有機ＥＬ等、種々の表示パネルを採用できる。

表示パネル１３５における画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。また、組み写真処理部１１７において組み写真処理が施された組み写真も表示可能である。

通信処理部１４５は無線有線通信部１４７に接続されている。通信処理部１４５および無線有線通信部１４７は、ＵＳＢ、ＬＡＮ等による有線通信、無線通信（ワイヤレス通信）等によって外部と通信を行い、フラッシュメモリ１２５内に記憶された組む写真の分割用のテンプレートを更新したり、追加する。また、ライブビュー画像（１コマまたは組んだ画像）を、スマートフォンやテレビ等の外部の表示部に送信する。

ＥＶＦドライバ１５１は、ＥＶＦ１５３に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、画像圧縮伸張部１１５によって伸張された画像データに基づいて画像をＥＶＦ１５３において表示させる。ＥＶＦ１５３は、接眼部を介して小型の液晶パネル等に表示される画像を観察するファインダである。ＥＶＦ１５３は、接眼部を介して観察することから、外光の影響を受け難い表示部である。画像表示としては、撮影時のライブビュー表示が可能であり、これ以外にも、レックビュー表示、静止画や動画の画像ファイルの再生表示等を行う。

本実施形態においては、表示部材として、表示パネルとＥＶＦの２つを有している。説明を明確にするために、表示パネル１３５を第１の表示部、ＥＶＦ１５３を第２の表示部として説明する。なお、第２の表示部としては、ＥＶＦ１５３以外にもカメラ本体の前面側に設けた表示パネルや、開閉可能なパネルの内側に設けた表示パネルでもよい。

ＥＶＦ表示センサ１５５は、ＥＶＦ１５３に表示を行うか否かを判定するためのセンサである。ＥＶＦ表示センサ１５５としては、具体的には、撮影者の眼が接眼部に近づくと検知信号を出力するアイセンサ等を採用する。なお、第２表示部としては、前述したように、ＥＶＦ１５３に限らず、例えば、本体前面の表示パネル、開閉式の表示パネルでもよい（後述する図１７参照）。本体前面の表示パネルの場合には、ＥＶＦ表示センサ１５５としてはオン／オフスイッチ等を用いればよく、また開閉式の表示パネルの場合には、ホール素子等の開閉検出素子等を用いればよい。オン／オフスイッチの場合にはオンのとき、また開閉検出素子の場合には素子が開状態のときに、ＥＶＦ１５３、カメラ本体の前面側に設けた表示パネルや、開閉可能なパネルの内側に設けた表示パネル等の第２の表示部に表示を行うようにすればよい。なお、ＥＶＦ表示中は、表示パネル１３５は、表示しないようにしてもよい。

次に、図２よび図３に示すフローチャートを用いて、本実施形態におけるカメラのメイン処理について説明する。なお、後述する図２〜図７、図９〜図１２、図１５に示すフローチャートはフラッシュメモリ１２５に記憶されているプログラムに従ってマイクロコンピュータ１２１が各部を制御し実行する。

操作部１２３の内の電源釦が操作され、電源オンとなると、図２に示すメインフローが動作を開始する。動作を開始すると、まず、初期化を実行する（Ｓ１）。初期化としては、機械的初期化や各種フラグ等の初期化等の電気的初期化を行う。各種フラグの１つとして、動画記録中か否かを示す記録中フラグをオフにリセットする（ステップＳ１３、Ｓ１５参照）。

初期化を行うと、次に、再生釦が押されたか否かを判定する（Ｓ３）。ここでは、操作部１２３内の再生釦の操作状態を検知し、判定する。この判定の結果、再生釦が押された場合には、再生を実行する（Ｓ５）。ここでは、記録媒体１３１から画像データを読み出し、ＬＣＤ１３５に静止画と動画の一覧を表示する。ユーザは十字キーを操作することにより、一覧の中から画像を選択し、ＯＫ釦により画像を確定する。また、このステップにおいて、組み写真の編集も行うことができる。

ステップＳ５における再生を実行すると、またはステップＳ３における判定の結果、再生釦が押されていなかった場合には、カメラ設定を行うか否かを判定する（Ｓ７）。操作部１２３の内のメニュー釦が操作された際に、メニュー画面においてカメラ設定を行う。そこで、このステップでは、このカメラ設定が行われたか否かに基づいて判定する。

ステップＳ７における判定の結果、カメラ設定の場合には、カメラ設定を行う（Ｓ９）。前述したように、種々のカメラ設定をメニュー画面で行うことができる。カメラ設定としては、前述したように、例えば、通常撮影モードや組み写真等の撮影モードの設定、ナチュラル、ビビッド、フラット、ポートレート、アートフィルタ等のピクチャーモードの設定がある。アートフィルタとしては、ポップアート、トイフォト、ファンタジックフォーカス、ラフモノクローム、ジオラマ、クリスタル等がある。また、組み写真のスタイル、組み写真の置換画像の選択、組み写真編集時に編集前の画像を記録するか否か、既に記録されている画像を組み写真の所定のコマに嵌め込むための画像を選択する等、種々の設定も可能である。

ステップＳ９においてカメラ設定を行うと、またはステップＳ７における判定の結果、カメラ設定でなかった場合には、次に、動画釦が押されたか否かの判定を行う（Ｓ１１）。ここでは、マイクロコンピュータ１２１は操作部１２３から動画釦の操作状態を入力し、判定する。

ステップＳ１１における判定の結果、動画釦が押された場合には、記録中フラグを判定する（Ｓ１３）。記録中フラグは、動画撮影中にはオン（１）が設定され、動画を撮影していない場合にはオフ（０）にリセットされている。このステップにおいては、フラグを反転、すなわちオン（１）が設定されていた場合には、オフ（０）に反転させ、オフ（０）が設定されていた場合には、オン（１）に反転させる。

ステップＳ１３において記録中フラグの反転を行うと、次に、動画記録中か否を判定する（Ｓ１５）。ここでは、ステップＳ１３において反転された記録中フラグがオンに設定されているか、オフに設定されているかに基づいて判定する。

ステップＳ１５における判定の結果、動画記録中の場合には、動画ファイルを生成する（Ｓ１９）。後述するステップＳ６１において動画の記録を行うが、このステップでは、動画記録用の動画ファイルを生成し、動画の画像データを記録できるように準備する。

一方、判定の結果、動画記録中でない場合には、動画ファイルを閉じる（Ｓ１７）。動画釦が操作され、動画撮影が終了したことから、このステップで動画ファイルを閉じる。動画ファイルを閉じるにあたって、動画ファイルのヘッダにフレーム数を記録する等により、動画ファイルとして再生可能な状態にし、ファイル書き込みを終了する。

ステップＳ１７において動画ファイルを閉じると、またはステップＳ１９において動画ファイルを生成すると、またはステップＳ１１における判定の結果、動画釦が押されていない場合には、次に、組み写真モードで操作部が操作されたか否かを判定する（Ｓ２１）。前述したように、ステップＳ９におけるカメラ設定において、組み写真モードの設定が可能である。このステップでは、この組み写真モードが設定されている状態で、操作部１２３の操作部が操作されたか否かを判定する。

ステップＳ２１における判定の結果、組み写真モードで操作部が操作された場合には、組み写真操作を実行する（Ｓ２３）。この組み写真操作では、組み写真の編集を行うための各種操作、例えば、撮影コマ変更、キャンセル操作、復元操作、一時保存操作、一時保存読み込み操作等の操作がなされると実行される。この組み写真操作の詳しい動作については、図１０および図１１を用いて後述する。

ステップＳ２３において組み写真操作を実行すると、またはステップＳ２１における判定の結果、組み写真モードで操作部が操作されていない場合には、レリーズ釦が半押しされたか否か、言い換えると、ファーストレリーズスイッチがオフからオンとなったか否かの判定を行う（Ｓ３１）。この判定は、レリーズ釦に連動するファーストレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて行う。検知の結果、ファーストレリーズスイッチがオフからオンに遷移した場合には判定結果はＹｅｓとなり、一方、オン状態またはオフ状態が維持されている場合には、判定結果はＮｏとなる。

ステップＳ３１における判定の結果、レリーズ釦が半押しされ、オフからファーストレリーズに遷移した場合には、ＡＥ・ＡＦ動作を実行する（Ｓ３３）。ここでは、ＡＥ処理部１１１が、撮像素子１０３によって取得された画像データに基づいて被写体輝度を検出し、この被写体輝度に基づいて、適正露出となるシャッタ速度、絞り値等を算出する。

また、ステップＳ３３においては、ＡＦ動作を行う。ここでは、ＡＦ処理部１１３によって取得された合焦評価値がピーク値となるように、交換式レンズ２００内のマイクロコンピュータ２０７を介してドライバ２０５が撮影レンズ２０１のピント位置を移動させる。したがって、動画撮影を行っていない場合に、レリーズ釦が半押しされると、その時点で、撮影レンズ２０１のピント合わせを行う。その後、ステップＳ３５へ進む。

ステップＳ３１における判定の結果、レリーズ釦がオフからファーストレリーズに遷移しなかった場合には、次に、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになったか否かの判定を行う（Ｓ３７）。このステップでは、レリーズ釦に連動するセカンドレリーズスイッチの状態を操作部１２３によって検知し、この検知結果に基づいて判定を行う。

ステップＳ３７における判定の結果、レリーズ釦が全押しされ、セカンドレリーズスイッチがオンになった場合には、メカシャッタによる静止画撮影を行う（Ｓ３９）。ここでは、ステップＳ３３において演算された絞り値で絞り２０３が制御され、また演算されたシャッタ速度でメカシャッタ１０１のシャッタ速度が制御される。そして、シャッタ速度に応じた露光時間が経過すると、撮像素子１０３から画像信号が読み出され、アナログ処理部１０５およびＡ／Ｄ変換部１０７によって処理されたＲＡＷデータがバス１１０に出力される。

メカシャッタによる撮影を行うと、次に、画像処理を行う（Ｓ４１）。ここでは、メカシャッタによる撮影によって撮像素子１０３で取得されたＲＡＷデータを読出し、画像処理部１０９によって画像処理を行う。この画像処理の詳しい動作については、図４を用いて後述する。

画像処理を行うと、次に静止画記録を行う（Ｓ４３）。ここでは、画像処理が施された静止画の画像データを記録媒体１３１に記録する。なお、組み写真で撮影された場合に、組み写真の内の一部の画像をキャンセル（削除）したい場合には、キャンセル操作によって削除可能である。この静止画記録の詳しい動作については、図９を用いて後述する。

静止画記録を行うと、次に、組み写真モードか否かの判定を行う（Ｓ４５）。前述したように、組み写真モードはメニュー画面等において設定されており、このステップではこの組み写真モードが設定されているか否かを判定する。

ステップＳ４５における判定の結果、組み写真モードが設定されていた場合には、ライブビュー（ＬＶ）表示の変更を行う（Ｓ４７）。組み写真モードが設定されている場合には、スタイル（テンプレート）と画像の枚数に応じて、ライブビュー表示を変更する。常に全コマにライブビュー表示を行う場合には、撮影画像以外の部分にライブビュー表示を行うようにする。また１コマずつライブビュー表示する場合には、撮影したら次のコマに順次（例えば、左上→右上→左下→右下のような順）ライブビュー表示を切り換える。いずれの場合にも、撮影したコマは撮影画像を表示する。また、ＯＳＤ（オンスクリーンディスプレイ）を使用し、撮影済みの画像なのかライブビュー表示なのかを分かるように表示してもよく、撮影済みの画像は、撮影順が分かるように表示してもよい。その後、ステップＳ３５へ進む。

ステップＳ３７における判定の結果、レリーズ操作２ｎｄでなかった場合には、次に、ＡＥを行う（Ｓ５１）。前述のステップＳ２１からＳ２７を経た場合は、レリーズ釦に対して何ら操作を行っていない場合であり、この場合には後述するステップＳ５５においてライブビュー表示を行う。ステップＳ５１においては、ライブビュー表示を行うための露出制御を行う。すなわち、適正露出でライブビュー表示を行うための撮像素子１０３の電子シャッタのシャッタ速度およびＩＳＯ感度を算出する。

ＡＥを行うと、次に、電子シャッタによる撮影を行う（Ｓ５３）。ここでは、被写体像を画像データに変換する。すなわち、撮像素子１０３の電子シャッタによって決まる露光時間の間、電荷蓄積を行い、露光時間が経過すると蓄積電荷を読み出することにより画像データを取得する。

電子シャッタによる撮影を行うと、次に、取得した画像データに対して画像処理・ライブビュー表示を行う（Ｓ５５）。ここでの画像処理は、ライブビュー表示用であり、基本画像処理部１０９ａによって基本画像処理を行う。またアートフィルタ等の特殊効果が設定されている場合には、設定に応じた特殊画像処理も行ってもよい。また、表示パネル１３５に表示するための画像処理と、ＥＶＦ１５３に表示するための画像処理は、異ならせている。詳しくは後述するが、表示パネル１３５に表示するための画像処理は基本画像処理のみ行い（図１２のＳ２３３参照）、ＥＶＦ１５３に表示するための画像処理は、基本画像処理に加えて、特殊画像処理、組み写真生成のための画像処理も行う（図１２のＳ２２７、図４参照）。

画像処理を行うと、表示パネル１３５またはＥＶＦ１５３にライブビュー表示を行う。ステップＳ５３において画像データを取得し、画像処理を行ったことから、この処理された画像を用いて、ライブビュー表示の更新を行う。撮影者はこのライブビュー表示を観察することにより、構図やシャッタタイミングを決定することができる。

ライブビュー表示にあたって、ＥＶＦ１５３には１コマのライブビュー表示を行う。すなわち、基本画像処理を施した１コマ分のライブビュー画像を表示する（この１コマ分のライブビュー表示を「１コマライブビュー表示」と略す）。また表示パネル１３５には、組み写真モードが設定されている場合には、組み写真の画像を表示する。このとき、組み写真を構成する複数の画像の全てが確定していない場合には、その内の１コマ分をライブビュー画像で表示する（この組み写真モード設定時のライブビュー表示を「組み写真ライブビュー表示」と略す）。なお、組み写真モードが設定されていない場合には、表示パネル１３５には、ＥＶＦ１５３と同様に１コマライブビュー画像を表示する。画像処理・ライブビュー表示の詳しい動作については、図１２を用いて後述する。

ステップＳ５５において画像処理・ライブビュー表示を行うと、動画記録中か否かの判定を行う（Ｓ５９）。ここでは、記録中フラグがオンか否かを判定する。この判定の結果、動画記録中であった場合には、動画記録を行う（Ｓ６１）。ここでは、撮像素子１０３から読み出される撮像データを動画用の画像データに画像処理を行い、動画ファイルに記録する。その後、ステップＳ３５へ進む。

ステップＳ３５では、電源オフか否かの判定を行う。このステップでは、操作部１２３の電源釦が再度、押されたか否かを判定する。この判定の結果、電源オフではなかった場合には、ステップＳ３に戻る。一方、判定の結果、電源オフであった場合には、メインのフローの終了動作を行ったのち、メインフローを終了する。

このように本発明の第１実施形態におけるメインフローにおいては、組み写真モードの設定が可能であり（Ｓ９）、組み写真モードが設定され、ライブビュー表示時には、ＥＶＦ１５３には１コマライブビュー画像が表示され、表示パネル１３５には組み写真が表示される（Ｓ５５）。

次に、ステップＳ４１における画像処理について、図４に示すフローチャートを用いて説明する。画像処理のフローに入ると、まず、基本画像処理を行う（Ｓ７１）。ここでは、基本画像処理部１０９ａが、撮像素子１０３から読み出され、Ａ／Ｄ変換部１０７でＡＤ変換された画像データに対して、オプティカルブラック（ＯＢ）減算、ホワイトバランス（ＷＢ）補正、同時化処理、色再現処理、輝度変更処理、エッジ強調処理、ノイズ除去（ＮＲ）処理等を施す。この基本画像処理の詳しい動作については、図５を用いて後述する。

基本画像処理を行うと、次に、アートフィルタが設定されているか否かを判定する（Ｓ７３）。前述したカメラ設定（Ｓ９）において、アートフィルタが設定されるので、このステップでは、アートフィルタが設定されたか否かを判定する。

ステップＳ７３における判定の結果、アートフィルタが設定されていた場合には、特殊画像処理を行う（Ｓ７５）。ここでは、設定されたアートフィルタの種類に応じて、特殊画像処理を施す。この特殊画像処理の詳しい動作については、図６を用いて後述する。

特殊画像処理を行うと、またはステップＳ７３における判定の結果、アートフィルタが設定されていなかった場合には、次に、組み写真か否かの判定を行う（Ｓ７７）。前述したように、メニュー画面において、組み写真モードが設定される。

ステップＳ７７における判定の結果、組み写真モードが設定されている場合には、組み写真生成を行う（Ｓ７９）。この組み写真生成では、組み写真処理部１１７によって、リサイズや回転等の前処理を行い、色変更や輝度変更を行った後、スタイル（テンプレート）に応じて、画像の合成を行い、組み写真を生成する。動画撮影中には、組み写真機能をオフにするようにしてもよい。組み写真処理によって、複数の画像でありながら、全体的に統一感のある１枚の写真を生成することができる。この組み写真生成の詳しい動作については、図７を用いて後述する。

組み写真生成を行うと、またはステップＳ７７における判定の結果、組み写真モードが設定されていない場合には、元のフローに戻る。

このように、本実施形態における画像処理では、基本画像処理を行い、また必要に応じて特殊画像処理を行った後に、組み写真モードが設定されている場合に、組み写真生成を行っている。

次に、ステップＳ７１（図４）の基本画像処理の詳しい動作について、図５（ａ）に示すフローチャートを用いて説明する。基本画像処理のフローに入ると、まず、オプティカルブラック（ＯＢ）演算を行う（Ｓ８１）。このステップでは、基本画像処理部１０９ａ内のＯＢ演算部によって、画像データを構成する各画素の画素値から、撮像素子１０３の暗電流等に起因するオプティカルブラック値をそれぞれ減算する。

ＯＢ演算を行うと、次に、ホワイトバランス（ＷＢ）補正を行う（Ｓ８３）。このステップでは、予め設定されているホワイトバランスモードに応じて、基本画像処理部１０９ａ内のＷＢ補正部により画像データに対してＷＢ補正を行う。具体的には、ベイヤ配列の画像データに対して、ユーザが設定したホワイトバランスモードに応じたＲゲインとＢゲインをカメラ本体のフラッシュメモリ１２５から読み出し、その値を乗じることで補正を行う。またはオートホワイトバランスの場合には、ＲＡＷデータ等からＲゲインおよびＢゲインを算出し、これらを用いて補正する。

続いて、同時化処理を行う（Ｓ８５）。このステップでは、ホワイトバランス補正を行った画像データに対して、基本画像処理部１０９ａ内の同時化処理部によって、各画素がＲＧＢデータで構成されるデータに変換する。具体的には、その画素にないデータを周辺から補間によって求め、ＲＧＢデータに変換する。しかし、例えば、ＲＡＷデータが既にＲＧＢデータと同様の形式（Ｆｏｖｅｏｎセンサで得られたＲＡＷデータなど）の場合には、同時化処理を行う必要がない。

同時化処理を行うと、次に、色再現処理を行う（Ｓ８７）。このステップでは、基本画像処理部１０９ａ内の色再現処理部によって、画像データに対して設定されているホワイトバランスモードに応じたカラーマトリックス係数を乗じる線形変換を行って画像データの色を補正する。カラーマトリックス係数はフラッシュメモリ１２５に記憶されているので、読み出して使用する。

色再現処理を行うと、次に、輝度変更処理を行う（Ｓ８９）。このステップでは、基本画像処理部１０９ａ内のガンマ処理部によって、フラッシュメモリ１２５に記憶されているガンマテーブルを読み出し、画像データに対してガンマ補正処理を行う。すなわち、ＲＧＢでガンマ変換し、ＹＣｂＣｒに色変換後、Ｙでさらにガンマ変換を行う。

図５（ｂ）に、ステップＳ８９の輝度変更処理におけるＲＧＢガンマとＹガンマの一例を示す。図５（ｂ）において、γＲＧＢは、ＲＧＢガンマの一例であり、ピクチャーモードに応じて変更してもよい。γＹ１は、アートフィルタとしてファンタジックフォーカスが設定されている場合のＹガンマの一例である。γＹ２は、アートフィルタとしてポップアートまたはトイフォトが設定されている場合のＹガンマの一例である。γＹ３は、その他の場合のＹガンマの一例である。

γＹ３のガンマは略直線状であり、γＹ１は低入力値に対して立ち上がりを急にし、高入力値に対して変化を緩くしている。これに対して、γＹ２は低入力値に対して立ち上がりを緩くし高入力値に対して変化が大きくなるようにしている。このように、本実施形態においては、基本画像処理における輝度変更処理において、設定されているアートフィルタ（特殊効果処理）に応じて、最適なガンマとなるように、ガンマを異ならせている。

ステップＳ８９においてガンマ変換を行うと、次に、エッジ強調を行う（Ｓ９１）。このステップでは、ガンマ変換の行われた画像データに対して、基本画像処理部１０９ａ内のエッジ強調処理部が、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じて係数を乗じて画像データに加算することにより、画像データのエッジを強調する。

次にＮＲ（ノイズ除去）を行う（Ｓ９３）。このステップでは、画像を周波数分解し、周波数に応じてノイズを低減する処理を行う。ノイズ除去処理を行うと、元のフローに戻る。

次に、ステップＳ７５（図４）の特殊画像処理の詳しい動作について、図６に示すフローチャートを用いて説明する。

特殊画像処理のフローに入ると、まず、アートフィルタモードとして、トイフォトが設定されているか否かを判定する（Ｓ１０１）。この判定の結果、トイフォトが設定されていた場合には、シェーディング効果を付加する（Ｓ１０３）。ここでは、特殊画像処理部１０９ｂが、中心からの距離に応じて、徐々に輝度が低下するようなゲインマップ（ゲインの値は１以下）を生成し、画素ごとに画素に応じたゲインを乗ずることにより、画像の周辺にシェーディング効果を付与する。

シェーディング付加を行うと、またはステップＳ１０１における判定の結果、トイフォトでなかった場合には、次に、アートフィルタモードとして、ファンタジックフォーカスが設定されているか否かを判定する（Ｓ１０５）。この判定の結果、ファンタジックフォーカスが設定されていた場合には、ソフトフォーカス処理を行う（Ｓ１０７）。ここでは、特殊画像処理部１０９ｂが、元の画像をぼかし、このぼかした画像と、ぼかす前の画像を、所定の割合（例えば、ぼかし：前＝２：３の割合）で合成する。

ソフトフォーカス処理を行うと、またはステップＳ１０５における判定の結果、ファンタジックフォーカスでなかった場合には、次に、アートフィルタモードとして、ラフモノクロームが設定されているか否かを判定する（Ｓ１０９）。この判定の結果、ラフモノクロームが設定されていた場合には、ノイズ重畳処理を行う（Ｓ１１１）。ここでは、特殊画像処理部１０９ｂが画像データに対してノイズ付加処理を施す。ノイズ付加処理は、予め作成したノイズパターン画像を被写体画像に加算する処理である。ノイズパターン画像は乱数等に基づいて生成してもよい。

ノイズ重畳処理を行うと、またはステップＳ１０９における判定の結果、ラフモノクロームでなかった場合には、次に、アートフィルタモードとしてジオラマが設定されているか否かを判定する（Ｓ１１３）。この判定の結果、ジオラマが設定されていた場合には、ぼかし処理を行う（Ｓ１１５）。ここでは、特殊画像処理部１０９ｂが、元の画像のＡＦターゲットを中心に上下、または左右、または距離に応じて徐々にぼかす処理を行う。

ぼかし処理を行うと、またはステップＳ１１３における判定の結果、ジオラマでなかった場合には、次に、アートフィルタモードとしてクリスタルが設定されているか否かを判定する（Ｓ１１７）。この判定の結果、クリスタルが設定されていた場合には、クロスフィルタ処理を行う（Ｓ１１９）。ここでは、特殊画像処理部１０９ｂが、画像の中から輝点を検出し、この輝点を中心として、十字状や、複数本の放射状の形状に輝きを演出する効果のあるクロスパターンを描画する。

クロスフィルタ処理を行うと、またはステップＳ１１７における判定の結果、クリスタルが設定されていなかった場合には、特殊画像処理のフローを終了し、元のフローに戻る。

次に、ステップＳ７９（図４）の組み写真生成の詳しい動作について、図７に示すフローチャートを用いて説明する。前述したように、図４に示した画像処理のフローでは、まず基本画像処理を行い、次に特殊画像処理を行い、最後に組み写真生成を行う。この組み写真生成では、予め設定しておいたスタイル（テンプレート）に、画像を合成する。スタイルとしては、例えば、画面を上下左右に４分割等があり、適宜、複数のスタイルの中から撮影者の好みで設定すればよい。

組み写真生成のフローに入ると、まず、画像解析を行う（Ｓ１２１）。合成する元の画像（置換画像）を解析し、画像特徴（例えば、輝度分布と色分布等）を取得する。基本画像処理等の画像処理が完了した画像を用いて解析してもよく、また、その元となるＲＡＷデータを解析してもよい。

画像解析を行うと、次に、色変更を行う（Ｓ１２３）。ここでは、組み写真処理部１１７が、合成する画像が略同様な色になるように、ＣｂＣｒを補正する。このとき、各コマ画像領域のデータを用いて処理を行うが、ＳＤＲＡＭ１２７のコマ画像領域Ｒ１内のデータは変更しないようにする。これは、後ほどＭＰＯ形式でデータを保存するためである。

色変更の補正方法としては、例えば、合成する全ての画像の色分布（ＣｂＣｒ平面での分布）のピークが、各ピークの平均値になるように画像のＣｂＣｒをオフセットさせる。この補正方法を図８（ｂ）（ｃ）を用いて説明する。図８（ｂ）の（ｂ−１）は画像１および画像２の色差（Ｃｂ）を示し、図８（ｃ）の（ｃ−１）は、色差（Ｃｒ）を示す。画像１、２のそれぞれについて、色分布のピークが平均値となるように色差をオフセットさせると（図８の（ｂ−２）、（ｃ−２）参照）、両画像の色差は略同様になる（図８の（ｂ−３）（ｃ−３）参照）。

ステップＳ１２３において色変更を行うと、次に、輝度変更を行う（Ｓ１２５）。ここでは、組み写真処理部１１７が合成する画像の輝度が同様になるように補正する。補正方法としては、例えば、合成する全ての画像の輝度分布の平均値に、各画像の平均値が略一致するように補正する。このとき、輝度ガンマ（輝度成分のみのガンマ）で変換すると、大きく輝度を変更した場合に、色が不自然に見える。そこで、例えば、ＲＧＢ変換してＲＧＢ色空間でガンマ補正するようにしてもよい。

輝度変更の例を、図８（ａ）を用いて説明する。図８（ａ）の（ａ−１）は、画像１と画像２の輝度を示す。両者をＲＧＢ色空間でテーブル変換する（（ａ−２）参照）。画像２は（ａ−１）から分かるように、全体に低輝度成分が多いことから、テーブル変換によって低輝度側を持ち上げている。変換後は、（ａ−３）に示すように、画像１と画像２は、略同様な輝度分布となる。

ステップＳ１２５において輝度変更を行うと、次に、合成を行う（Ｓ１２７）。ここでは、組み写真処理部１７１が、背景画像上の各画像を合成する。すなわち、予め設定されたスタイル（テンプレート）の各位置に画像を嵌め込み合成することにより、組み写真を生成する。

ステップＳ１２７において合成を行うと、次に、特殊効果を付加する（Ｓ１２９）。ここでは、合成した画像に対して、シェーディングやぼかし等の特殊効果を付加する。なお、各画像に対しては、図４のステップ７５において特殊効果を付加しており、このステップでは、合成画像に対する特殊効果を付加している。

ステップＳ１２９において、特殊効果を付加すると、画像記憶を行ってから、元のフローに戻る。

このように組み写真生成のフローにおいては、画像に対して色変更と輝度変更を行った後（Ｓ１２３、Ｓ１２５）、組み写真の画像を合成し（Ｓ１３３）、画像記録を行っている（Ｓ１３７）。複数の画像に対して、色や輝度が同様になるように調整しているので、全体に統一感のある組み写真が生成される。

次に、ステップＳ４３（図３）の静止画記録の詳しい動作について、図９に示すフローチャートを用いて説明する。この静止画記録は、前述のメカシャッタによる撮影（Ｓ３９）、画像処理（Ｓ４３）に引き続いて実行され、画像処理された画像データを記録媒体１３１に記録するための処理を行う。

静止画記録のフローに入ると、まず、組み写真モードか否かの判定を行う（Ｓ１４１）。この判定の結果、組み写真モードでない場合には、通常モードであり、レックビュー表示を行う（Ｓ１５７）。ここでは、記録媒体１３１に記録する画像を、表示パネル１３５またはＥＶＦ１５３に一時的に所定時間の間、表示する。これにより、ユーザは撮影画像を確認することができる。

レックビュー表示を行うと、次に静止画記録を行う（Ｓ１５９）。組み写真以外では、画像処理した画像をＪＰＥＧ圧縮して記録媒体１３１に記録する。しかし、これに限らず、非圧縮形式（例えば、ＴＩＦＦ等）で記録するようにしてもよく、別の圧縮形式でもよい。また、ＲＡＷ画像を記録するようにしても良い。

ステップＳ１４１における判定の結果、組み写真モードであった場合には、撮影画像記録か否かを判定する（Ｓ１４３）。組み写真モードでは、予め設定されたスタイル（テンプレート）に各画像を嵌め込むが、組み写真モードが設定されている場合であっても、スタイル中に嵌め込まない画像を記録するようにしてもよい。このステップでは、図２のステップＳ９のカメラ設定において、ユーザが組み写真の各コマを記録するかどうかの設定をオンにしているか否かを判定する。

ステップＳ１４３における判定の結果、撮影画像記録の場合には、静止画記録を行う（Ｓ１４５）。ここでは、ステップＳ１５９と同様に、組み写真ではない、単独の撮影画像として撮影し、ＪＰＥＧ等によって圧縮等を行って記録媒体１３１に記録する。

ステップＳ１４５において静止画記録を行うと、またはステップＳ１４３における判定の結果、撮影画像記録でない場合には、次に、組み完了か否かの判定を行う（Ｓ１４７）。ここでは、予め設定されているスタイルを満たす数の画像が撮影され、合成されているか否かを判定する。例えば、４枚からなる組み写真では、４枚の写真が撮影され、合成されているかを判定する。また、４枚合成の場合であって、２枚を撮影し、２枚を記録画像から選択した場合も組み完了と判定される。

ステップＳ１４７における判定の結果、組み完了であった場合には、レックビュー表示を行う（Ｓ１４９）。ここでは、組み写真として全画像が揃ったことから、この組み写真を表示パネル１３５にレックビュー表示を行う。なお、レックビュー表示中には、後述する再生のフローと同様に、拡大表示ができるようにしてもよい。

レックビュー表示を行うと、次に、キャンセル操作がなされたか否かを判定する（Ｓ１５１）。ユーザがレックビュー表示を観察した際に、一部の写真を削除し、取り換えたいと思う場合がある。そこで、本実施形態においては、レックビュー表示を行い、所定時間（例えば、３秒）内にキャンセル操作を行った場合には、指定したコマをキャンセルして、再撮影を行うことができるようにしている。なお、キャンセル操作としては、タッチパネルで指定してもよく、また削除釦でキャンセルするようにしてもよい。

ステップＳ１５１における判定の結果、キャンセル操作を行った場合には、組み写真操作を行う（Ｓ１５５）。組み写真操作のサブルーチン中において、キャンセル操作が実行される（後述する図１０のＳ１６５〜Ｓ１７３参照）。

一方、ステップＳ１５１における判定の結果、キャンセル操作が行われない場合には、組み写真記録が行われる（Ｓ１５３）。ここでは、完成した組み写真の合成画像データを記録媒体１３１に記録する。

ステップＳ１５３において組み写真記録を行うと、またはステップＳ１５５において組み写真操作を行うと、またはステップＳ１４７における判定の結果、組み完了していない場合には、またはステップＳ１５９において静止画記録を行うと、元のフローに戻る。

このように、静止画記録フローにおいては、スタイルによって決まる画像の枚数が揃うまでは組み写真の記録を行わず（Ｓ１４７→Ｎｏ）、枚数が揃うと組み写真の記録を行っている（Ｓ１５３）。また、組み写真が完成した後でも、キャンセル操作を行うことにより（Ｓ１５１）、組み写真の指定した画像の削除を行うことができる。

次に、ステップＳ２３（図２）およびステップＳ１５５（図９）の組み写真操作の詳しい動作について、図１０および図１１に示すフローチャートを用いて説明する。この組み写真操作は、前述したように、組み写真の編集を行うための各種操作がなされた際に実行される。

組み写真操作のフローに入ると、まず、撮影コマ変更操作がなされたか否かの判定を行い（Ｓ１６１）、この判定の結果、撮影コマ変更操作が行われた場合には、撮影コマの変更を行う（Ｓ１６３）。組み写真のスタイルの中でいずれかの枠に撮影画像を嵌め込むかは適宜変更可能である。十字キーとＯＫ釦の操作や、タッチパネル操作等により、撮影するコマを変更する操作がなされた場合に、撮影するコマを変更する。その際、どのコマを撮影するかを分かるようにするために、コマに枠を表示したり、アイコンを表示したり、撮影コマ以外のコマを暗く表示したり、撮影コマ以外のコマの彩度を低下するようにしてもよい。ライブビュー表示中のコマがタッチされた場合には、レリーズ操作（１ｓｔと２ｎｄ、または１ｓｔのみ）を実行する。複数のコマでライブビュー表示を行っている場合には、レリーズ釦を使用して撮影するコマを選ぶ。

ステップＳ１６３において撮影コマの変更を行うと、またはステップＳ１６１における判定の結果、撮影コマの変更操作がなかった場合には、次に、キャンセル操作がなされた否かを判定する（Ｓ１６５）。静止画記録のフローにおいて説明したように、完成した組み写真において、一部の画像を削除し、画像を置換したい場合がある。そこで、本実施形態においては、十字キーで撮影したコマを選択し、削除釦を押した場合や、タッチパネルで撮影したコマをゴミ箱アイコンドロップした場合等、撮影したコマをキャンセルする。このステップＳ１６５においては、これらの操作がなされたか否かを判定する。

ステップＳ１６５における判定の結果、キャンセル操作がなされた場合には、次に、タッチ操作でコマサイズが小か否かの判定を行う（Ｓ１６７）。キャンセル操作が、タッチ操作で行われた場合、キャンセルしようとしているコマのサイズ（縦横サイズまたは面積）が小さいか（例えば、面積が１平方センチメートル以下）否かを判定する。コマサイズが小さいと誤操作となってしまうからである。

ステップＳ１６７における判定の結果、タッチ操作でコマサイズが所定値より大きい場合には、次に、画像退避し（Ｓ１６９）、ライブビュー表示の変更を行う（Ｓ１７１）。キャンセル操作によって画像を削除した場合でも、復元したい場合がある。そこで、復元を可能とするために（すなわち、キャンセル操作の取り消し）、削除の指定がなされた撮影画像（組み写真のコマの画像）を一旦メモリ内の別領域に退避し、そのコマを未撮影状態とみなしてライブビュー表示を変更している。

ライブビュー表示を行うと、組み写真生成を行う（Ｓ１７３）。この組み写真生成のサブルーチンは、図７を用いて説明した。キャンセル操作によって指定された画像が削除されたので、このステップでは、残りの画像を用いて組み写真を生成し直す。

ステップＳ１７３において組み写真生成を行うと、またはステップＳ１６７における判定の結果、タッチ操作でコマサイズが小さかった場合には、またはステップＳ１６５における判定の結果、キャンセル操作がなされていなかった場合には、次に、復元操作か否かの判定を行う（Ｓ１７５）。復元操作は、十字キーで復元したいコマを選択して削除釦を操作したり、またタッチ操作によりゴミ箱アイコンを復元したいコマへドロップ操作した場合等、操作部１２３やタッチパネル１２３ａの操作によって行う。

ステップＳ１７５における判定の結果、復元操作がなされた場合には、次に、画像を復元し（Ｓ１７７）、ライブビュー表示の変更を行う（Ｓ１７９）。ここでは、退避させた画像を元の位置に戻し、そのコマを撮影したとみなして、ライブビュー表示を変更する。

ライブビュー表示の変更を行うと、組み写真生成を行う（Ｓ１８１）。この組み写真生成のサブルーチンは、図７を用いて説明した。復元操作によって指定された画像が復元されたので、このステップでは、復元された画像も含めて組み写真を生成し直す。

ステップＳ１８１において組み写真生成を行うと、またはステップＳ１７５における判定の結果、復元操作がなされなかった場合には、次に、一時保存操作か否かの判定を行う（図１１のＳ１８３）。短時間の間に複数の撮影を行い、組み写真の作成を行う場合には、連続的に撮影を行える。しかし、朝、昼、夜等と時間間隔をおいて撮影した画像を用いて組み写真を作成する場合には、作成途中の画像を一時保存できると便利である。そこで、本実施形態においては、組み写真を構成する画像の一時保存を可能としている。復元操作としては、メニュー画面またはタッチパネル操作等によって、一時保存メニューの選択操作やアイコンの選択操作等で行う。

ステップＳ１８３における判定の結果、一時保存操作がなされた場合には、組みデータの記録を行う（Ｓ１８５）。ここでは、現在の組み写真の状態、すなわち、どのスタイルでどの写真を撮影しているか等を、フラッシュメモリ１２５または記録媒体１３１に記録する。記録する組みデータとしては、少なくともスタイル（テンプレート）に関する情報、撮影した写真データ、写真データとテンプレート上の関連情報がある。

組みデータの記録を行うと、次に、組み写真のリセットを行う（Ｓ１８７）。記録後、撮影していた組み写真の情報をリセットし、１枚目撮影と同様の状態、すなわち、ライブビュー表示やＳＤＲＡＭ１２７のリセット等の状態にする。

ステップＳ１８７において組み写真のリセットを行うと、またはステップＳ１８３における判定の結果、一時保存操作がなされなかった場合には、次に、一時保存読み込み操作がなされたか否かを判定する（Ｓ１８９）。この操作は、ステップＳ１８３、Ｓ１８５において組み写真の組みデータを一時保存した場合に、この一時保存された組みデータの読み出しを行う。操作としては、例えば、メニュー画面またはタッチパネル等で、一時保存読み込みメニューやアイコンの選択操作を行う。

ステップＳ１８９における判定の結果、一時保存読み込み操作がなされた場合には、次に、撮影途中か否かの判定を行う（Ｓ１９１）。組み写真を撮影中に、一時保存読み込み操作がなされる場合がある。この場合には、現在、進行している組み写真撮影を一時中断しなければならないことから、ステップＳ１９１〜Ｓ１９５において対応する。このステップでは、組み写真撮影モードであって、かつテンプレートに対して１枚以上撮影されているか否かを判定する。

ステップＳ１９１における判定の結果、組み写真の撮影中であった場合には、次に、一時保存するか否かを確認する（Ｓ１９３）。この場合には、撮影途中の現状の状態を一時保存するか否かの確認画面を表示パネル１３５表示し、ユーザに問い合わせる。この判定の結果、一時保存する場合には、組みデータの記録を行う（Ｓ１９５）。ここでは、現状の状態を一時保存するために、ステップＳ１８５と同様の組みデータを記録する。

ステップＳ１９５において組みデータ記録を行うと、またはステップＳ１９３における判定の結果、一時保存しない場合、またはステップＳ１９１における判定の結果、撮影途中でなかった場合には、次に、組みデータを読み込み（Ｓ１９７）、ライブビュー表示し（Ｓ１９９）、組み写真生成を行う（Ｓ２０１）。ここでは、ステップＳ１８５において一時保存した組みデータを読出し、ステップＳ１７１やＳ１７９と同様にライブビュー表示の変更を行い、ステップＳ１７３やＳ１８１と同様に組み写真の生成を行う。

ステップＳ２０１において組み写真の生成を行うと、またはステップＳ１８９における判定の結果、一時保存読み込み操作が行われなかった場合には、組み写真操作の動作を終了し、元のフローに戻る。

このように、組み写真操作のフローにおいては、スタイルのコマの中で撮影するコマを変更することができ（Ｓ１６３）、またコマを削除し復元することもできる（Ｓ１６９、Ｓ１７７）。さらに、組み写真撮影中であっても、データを一時保存でき、この一時保存したデータを読出し、組み写真撮影を続行することもできる。

次に、ステップＳ５５（図２）の画像処理・ライブビュー表示の詳しい動作について、図１２に示すフローチャートを用いて説明する。この画像処理・ライブビュー表示は、ライブビュー表示用に画像処理を行った後、ＥＶＦ１５３に１コマライブビュー表示、または表示パネル１３５に組み写真ライブビュー表示を行う。

組み写真操作のフローに入ると、まず、ＥＦＶ表示を行うか否かの判定を行う（Ｓ２１１）。ここでは、第２の表示部として機能するＥＶＦ１５３に表示するか否かを、ＥＶＦ表示センサ１５５からの出力に応じて判定する。前述したように、ＥＶＦ１５３の近傍には、アイセンサ等のＥＶＦ表示センサ１５５が設けられており、撮影者がＥＶＦ１５３の接眼部に近づくとＥＶＦ表示センサ１５５から検知信号が出力される。この検知信号を検出した場合には、ＥＶＦ表示と判定する。なお、本実施形態においては、ＥＶＦ表示センサ１５５からの検知出力に基づいてＥＶＦ１５３の表示／非表示を切り換えるが、ＥＦＶ１５３を常時表示させるようにしてもよい。

ステップＳ２１１における判定の結果、ＥＶＦ表示を行う場合には、次に、１コマ以上撮影しており、かつコマ確認を行うか否かの判定を行う（Ｓ２１３）。ここでは、撮影コマ数が１コマ以上であり、しかも撮影者がコマ確認のための操作を行っているか否かを判定する。本実施形態においては、ライブビュー表示中に、組み写真に組み込む写真を変更することが可能である。撮影者がこの変更を行う場合には、操作部１２３中のダイヤルを回すか、または十字キー等の操作部材を操作する。そこで、この実施形態においては、ダイヤルや十字キー等の操作部材を操作した場合には、一定時間、他のコマを確認するモードとしている。

ステップＳ２１３における判定の結果、１コマ以上撮影しており、かつコマ確認操作があった場合には、次に、確認コマ変更操作か否かを判定する（Ｓ２１５）。ここでは、ダイヤルの操作方向・回転量、またいずれの十字キーを操作したか等を判定し、変更操作を判定する。

ステップＳ２１５における判定の結果、変更操作がなされていた場合には、コマ変更を行う（Ｓ２１７）。ここでは、操作部材による変更操作に応じて、コマの位置や撮影順に１コマ表示するコマを切り換える。なお、変更したコマ画像の表示はステップＳ２２３において行う。

ステップＳ２１７においてコマ変更を行うと、またはステップ２１５に於ける判定の結果、変更操作がなされていなかった場合には、次に、コマ画像の基本画像の読み込みを行う（Ｓ２１９）。撮影された画像は、基本画像処理（図５参照）が施され、またアートフィルタ等が設定されている場合には特殊画像処理（図６参照）が施される。このステップでは、選択されているコマの撮影画像の画像データにおいて、基本画像処理のみを行った画像データをＳＤＲＡＭ１２７から読み込む。ＳＤＲＡＭ１２７に撮影画像が格納されていない場合には、組み写真の組んでいる画像のそのコマ部分のみを読み込む。

ステップ２１３における判定の結果、１コマ以上撮影していない場合、またはコマ確認を行わない場合には、基本画像処理を行う（Ｓ２３３）。ここでは、現在、撮像素子１０３によって撮像され、取得された画像データに対して、図５を用いて説明した基本画像処理を施す。基本画像処理を行った画像データは、ＳＤＲＡＭ１２７に記憶しておくとよい。なお、本実施形態においては、基本画像処理としては、仕上がりとしてはナチュラルで行うが、他の処理を施すようにしてもよく、更に、特殊画像処理を施してもよい。

ステップＳ２３３において基本画像処理を行うと、またはステップＳ２１９においてコマ画像の基本画像を読み込むと、次に、マスク設定を行う（Ｓ２２１）。組み写真を生成する場合には、スタイル（テンプレート）の指定位置によって、選択されたコマの全ての部分が表示されない。そこで、ＥＶＦ１５３で１コマの画像を表示する際に、組み写真で組み込まれない領域は、半透過グレーや、無彩色処理（モノトーン処理）、あるいはぼかし処理等、組むところと組まないところが明確になるように、マスクを設定する。

例えば、図１４（ａ）に示すようなスタイル（テンプレート）は、４コマの縦長の画像（固１〜固３、ＬＶ）から構成されている。なお、図中、ＬＶはライブビュー画像を示し、固１〜固３は、既に選択された組み込まれた画像を示す。撮影画像のアスペクト比は、４：３であるが、図１４（ａ）に示す例では、その一部のみが組み込まれている。そこで、図１４（ｂ）に示すように、組まないところを黒色のマスク１５３ａで覆うような画像処理を行う。

また、図１４（ｃ）に示す例では、組み込まれた画像（固１〜固３）とライブビュー画像ＬＶからなるスタイル（テンプレート）である。この場合も、ＬＶのアスペクト比と、撮影画像のアスペクト比が異なっていることから、組まないところを撮影者認識できるようにしている。具体的には、組まないところをモノトーンまたはぼかしのマスク１５３ｂで覆うような画像処理を施し、組まれる部分のライブビュー画像をカラーで表示するようにしている。

このように、ライブビュー画像の表示にあたって、組み写真のスタイルに応じて決まるアスペクト比に従って、マスク１５３ａ、１５３ｂで覆うような画像処理を施している。このため、撮影者は、直感的に、組み写真で組まれる部分と組まれない部分が分かり、組み写真に適したフレーミングを簡単に行うことができる。また、モノトーン、またはぼかしのマスク１５３ｂで覆うようにすると、組まれる部分の周囲の状況を撮影に邪魔にならい程度で把握できるという利点がある。

ステップＳ２２１においてマスク設定を行うと、次に、ＥＶＦ表示を行う（Ｓ２２３）。ここでは、ステップＳ２１７において変更されたコマ画像、またはステップＳ２３３において基本画像処理されたライブビュー画像に対して、ステップＳ２２１においてマスク設定された画像をＥＶＦ１５３に表示する。ライブビュー画像であるか、既に読み込んだ画像であるかが分かるように、画像にアイコン表示を行う。また、撮影コマを確認する場合、基本画像処理のみ行った画像がＳＤＲＡＭ１２７に記憶されている場合と、記憶されていない場合で区別されるように表示してもよい。

このＥＶＦ表示の例を図１３（ａ）に示す。画像Ｐ１〜Ｐ３は、組み写真に組む画像として既に選択された画像であり、画像番号として「１」「２」「３」が表示される。また、画像Ｐ４は、ライブビュー画像であり、このことを示すためのアイコン「ＬＶ」が表示される。前述のステップＳ２１５における変更操作に応じて、画像Ｐ１〜Ｐ４が切り換わる。

ステップＳ２２３におけるＥＶＦ表示を行うと、またはステップＳ２１１における判定の結果、ＥＶＦ表示でない場合には、動画記録中か、表示パネル表示中かの判定を行う（Ｓ２２５）。ここで、動画記録中であるか否かは、記録中フラグ（図２のＳ１３〜Ｓ１９参照）に基づいて判定する。また、表示パネル１３５に表示するか否かは、例えば、ＥＶＦ１５３に表示しないときはＹｅｓと判定する。なお、常に表示パネル１３５に表示するようにしてもよい。

ステップＳ２２５における判定の結果、動画記録中であった場合、または表示パネル１３５に表示する場合には、画像処理を行う（Ｓ２２７）。ここでは、図４に示した画像処理を行う。この画像処理において、基本画像処理、特殊画像処理、組み写真処理が施される。組み写真モードが選択されている場合には、組み込まれている画像およびライブビュー画像に対して組み写真処理が施される。

また、ＥＶＦ１５３に１コマライブビュー表示するために基本画像処理を行っており（Ｓ２３３）、表示パネル１３５に組み写真ライブビュー表示する場合も基本画像処理を行う（Ｓ２２７、図４のＳ７１）。しかし、１コマライブビュー表示用の基本画像処理と、組み写真ライブビュー表示用の基本画像処理では、異なるパラメータで行う。例えば、１コマライブビュー表示用はナチュラルのパラメータとし、一方、組み写真ライブビュー表示用では複数の画像で統一感を得られるようなパラメータとする。

ステップＳ２２７において画像処理を施すと、次に、表示パネル表示か否かを判定する（Ｓ２２９）。ここでは、ステップＳ２２５における判定結果を用いて、表示パネル１３５に表示するか否かを判定する。

ステップＳ２２９における判定の結果、表示パネルに表示の場合には、表示パネル１３５に表示する（ＳＳ２３１）。ここでは、ステップＳ２２７において画像処理された画像を表示パネル１３５に表示する。組み写真モードが設定されている場合には、読み込んだ画像とライブビュー画像に対して組み写真処理を行い、この画像が表示される。

この表示パネルの表示の例を図１３（ｂ）に示す。画像Ｐ１１〜Ｐ１３は、組み写真に組む画像として既に選択された画像であり、画像番号として「１」「２」「３」が表示される。また、画像Ｐ１４は、ライブビュー画像であり、このことを示すためのアイコン「ＬＶ」が表示される。画像１５は、組み写真の画像であり、画像Ｐ１１〜Ｐ１４に対して、組み写真処理が施され、統一感のある画像が表示される。図１３（ａ）の画像Ｐ１〜Ｐ４と異なるのは、図１３（ａ）の画像Ｐ１〜Ｐ４は、組み写真処理が施されておらず、図１３（ｂ）の画像Ｐ１１〜Ｐ１５には組み写真処理が施され統一感のある画像処理が施されている点である。

ステップＳ２３１において表示パネルに表示すると、またはステップＳ２２５における判定の結果、動画記録中でないか、または表示パネル表示出ない場合、またはステップＳ２２９における判定の結果、表示パネル表示でない場合には、画像処理・ライブビュー表示のフローを終了し、元のフローに戻る。

このように、本実施形態における画像処理・ライブビュー表示においては、ＥＶＦ１５３では１コマのライブビュー画像を表示し（Ｓ２２３）、一方、表示パネル１３５には、組み写真を表示する（Ｓ２２７、Ｓ２３１）。また、組み写真の表示にあたっては、撮像素子１０３によって取得したライブビュー用の画像も用いて組み写真処理を施した画像を表示する（図１４のＰ１４、Ｐ１５参照）。

また、１コマのライブビュー画像は、組み写真の一部拡大ではなく、組み写真とは異なる画像処理（組み写真で行う画像処理の一部の画像処理）を施している。また、１コマのライブビュー画像は、組み写真で組む場所以外はマスク表示を行っている（Ｓ２２１、図１４参照）。また、一旦、撮影したコマであっても、簡易な操作で１コマ表示して確認することができる（Ｓ２１５、Ｓ２１７参照）。

上述したような制御を行うことにより、本実施形態においては、ＥＶＦ１５３において、１コマライブビュー表示を観察することができ、また表示パネル１３５には、組み写真ライブビュー表示によって組んだイメージを観察できるため、撮影者は好みの撮影スタイルで撮影することができる。

また、組み写真において組まれる位置が表示されるため、予想外の被写体が組み込まれることも防止することができる。また、画像データに対して、特殊画像処理と組み写真処理が施され、統一感のある組み写真を、ライブビュー表示の際に観察できるため、出来上がりを想像でき、組み写真の撮影が容易となる。

さらに、１コマライブビュー表示では、基本画像処理した画像をＥＶＦ１５３に表示するため、余分な効果がかからず、より撮影に集中することができる。また、１コマで撮影中であっても、簡単に撮影済みのコマを確認できるため、ＥＶＦ１５３で他のコマとのバランスを考慮した撮影もできる。特にＥＶＦ１５３は、画面サイズが小さいため、１コマ表示にすることにより撮影に集中することができる。

次に、図１５を用いて、画像処理・ライブビュー表示の動作の変形例を説明する。前述の図１２に示した画像処理・ライブビュー表示では、１コマ以上撮影し、かつコマ確認でない場合を除いて、基本画像処理（Ｓ２３３）を行っていた。これに対して、本変形例においては、基本画像処理だけでなく、画像解析、色変更、輝度変更等を行うようにしている。

図１５に示す画像処理・ライブビュー表示のフローチャートの変形例は、図１２に示すフローチャートにおいて、ステップＳ２３５〜Ｓ２３９を追加した点で相違し、その他のステップは、図１２と同様である。

また、ステップＳ２３５の画像解析、ステップＳ２３７の色変更、およびステップＳ２３９の輝度変更は、それぞれ図７のステップＳ１２３、Ｓ１２５、Ｓ１２５と同様な処理を行うことから、詳しい説明を省略する。

このように、本変形例における画像処理・ライブビュー表示においては、基本画像処理に加えて、色変更および輝度変更を行っている。ここでの処理は、１コマのライブビュー表示を行うための画像処理であることから、特殊効果処理は施していない。特殊効果は、撮影に集中するに妨げになるため、行っていない。色変更および輝度変更等の色再現に関する処理は、最終的な仕上がりに影響することから行っている。

次に、本発明の第２実施形態について、図１６ないし図１９を用いて説明する。第１実施形態においては、ＥＶＦ１５３は、カメラ本体１００内に内蔵していたが、第２実施形態においては外付けのＥＶＦとしている。また、第１の実施形態においては、第１の表示部として機能する表示パネル１３５は、カメラ本体１００に１つ配置していたが、本実施形態においては、カメラ本体１００に２つ配置するようにしている。

図１６は、本発明の第２実施形態に係るカメラの主として電気的構成を示すブロック図である。第１実施形態に係る図１と比較し、外付けのＥＶＦ３００を設け、カメラ本体１００と通信を行うための通信接点１５９を設け、更に、第１の表示ドライバ１３３ａ、第１の表示パネル１３５ａ、第２の表示ドライバ１３３ｂ、第２の表示パネル１３５ｂを設けている点で相違し、その他は図１と同様である。そこで、相違点を中心に説明する。

表示ドライバ１３３ａ、１３３ｂは、それぞれ表示パネル１３５ａ、１３５ｂに接続されており、第１実施形態の場合と同様に、ＳＤＲＡＭ１２７や記録媒体１３１から読み出された画像データに基づいた画像を表示させる。表示パネル１３５ａ、１３５ｂには、レックビュー表示、静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が可能である。また、組み写真処理部１１７において組み写真処理が施された組み写真も表示可能である。なお、表示パネルとしては、第１実施形態と同様、液晶表示パネル（ＬＣＤ）、有機ＥＬ等を採用できる。第１及び第２の表示パネル１３５ａ、１３５ｂの配置については、図１７および図１８を用いて後述する。

外付けのＥＶＦ３００は、カメラ本体１００に対して脱着自在であり、装着時には通信接点１５９を介して、カメラ本体１００内の通信処理部１５７と接続可能である。またＥＶＦ３００は、カメラ本体１００からの画像データを受信に、画像を表示可能である。

ＥＶＦ３００内には、ＥＶＦドライバ３０１、ＥＶＦ３０３、ＥＶＦ表示センサ３０５を有する。ＥＶＦドライバ３０１は、ＥＶＦ３０３に接続されており、通信接点１５９を介して入力した画像データに基づく画像をＥＶＦ３０３において表示させる。ＥＶＦ３０３は、接眼部を介して表示部の画像を観察可能である。

次に、本実施形態におけるカメラの外観の例を、図１７を用いて説明する。図１７（ａ−１）、（ａ−２）は第１の例であり、図１７（ｂ−１）、（ｂ−２）は第２の例である。

カメラの外観の第１の例において、カメラ本体１００の上部に外付けＥＶＦ３００が装着可能である。この外付けＥＶＦ３００は第２の表示部として機能する。また、カメラ本体１００には、第１の表示部として機能する第１の表示パネル１３５ａと第２の表示パネル１３５ｂの２つの表示パネルが設けられている。

第２の表示パネル１３５ｂはカメラ本体１００に固定された表示パネルであり、第１の表示パネル１３５ａは可動パネルである。すなわち、第１の表示パネル１３５ａはヒンジ１６１によってカメラ本体１００に対して、図示の如く２軸周りに回動自在に取り付けられている。

図１７（ａ−１）は、第１の表示パネル１３５ａを開き、第１の表示パネル１３５ａと第２の表示パネル１３５ｂを同時に表示可能としている。この場合、第１の表示パネル１３５ａは撮影レンズ２０１の光軸１６３から遠い側にあり、第２の表示パネル１３５ｂは光軸１６３から近い側にある。この状態においては、光軸１６３に近い側にある第２の表示パネル１３５ｂに１コマのライブビュー表示を行い、光軸１６３に遠い側にある第１の表示パネル１３５ａに組み写真の画像をライブビューで表示する。このように第１および第２の表示パネル１３５ａ、１３５ｂの両方に画像を表示するようにしているが、光軸１６３に近い側の方が、撮影時に微調整を行い易いため、第２の表示パネル１３５ｂに１コマライブビュー表示を行い、１コマで細かなところまで分かるようしている。

図１７（ａ−２）は、第１の表示パネル１３５ａで第２の表示パネル１３５ｂを覆い、かつ第１の表示パネル１３５ａの表示面が外面を向くようにした状態である。この状態では、第１の表示パネル１３５ａに、１コマライブビュー表示を行うようにしている。

このように、本実施形態における第１の例においては、第１の表示パネル１３５ａと第２の表示パネル１３５ｂの表示面の状態に応じて、１コマのライブビュー表示と組み写真のライブビュー表示とを切り換えている。また、第１実施形態の場合と同様、１コマライブビュー表示においては、組み写真処理を施さない画像を表示し、組み写真ライブビュー表示においては、組み写真処理を施した画像を表示するようにしている。

図１７（ｂ−１）（ｂ−２）に示すカメラの外観の第２の例において、カメラ本体１００には、第１の表示パネル１３５ａと第２の表示パネル１３５ｂの２つの表示パネルが設けられている。すなわち、カメラ本体１００の背面側に第１の表示パネル１３５ａが配置され、正面側に第２の表示パネル１３５ｂが配置されている。

この第２の例においては、外付けＥＶＦ３００は省略されており、第１の表示パネル１３５ａには、組み写真のライブビュー表示がなされ、第２の表示パネル１３５ｂには、１コマのライブビュー表示がなされる。すなわち、この例では、第１の表示パネル１３５ａが第１の表示部として機能し、第２の表示パネル１３５ｂが第２の表示部として機能する。

この第２の例では、カメラ本体の正面に１コマのライブビュー表示がなされることから、撮影者が自らの写真を撮影する際に都合がよい。この自らを撮影する際には、撮影者からカメラ本体１００までの距離が遠いことから、第２の表示パネル１３５ｂに組み写真の画像を表示しても見難いことから、１コマのライブビュー表示のみとしている。第１実施形態の場合と同様、１コマライブビュー表示においては、組み写真処理を施さない画像を表示し、組み写真ライブビュー表示においては、組み写真処理を施した画像を表示するようにしている。

次に、図１８を用いて、本発明の第２の実施形態におけるカメラの外観の変形例を説明する。図１７に示した例では、第１の表示パネル１３５ａおよび第２の表示パネル１３５ｂの２つの表示パネルを有していたが、図１８に示す例では、表示パネルとしては１つのみとしている。

図１８（ａ−１）、（ａ−２）に示す変形例の第１の例では、第１の表示パネル１３５ａは、カメラ本体１００に固定され、外付けＥＶＦ３００を装着可能としている。この例では、外付けＥＶＦ３００に１コマのライブビュー表示を行い、第１の表示パネル１３５ａに組み写真の表示を行うようにしている。図１８（ａ−１）の右下の画像は、ＥＶＦ３００にライブビューが表示されているために、この部分にはライブビューを表示しない。そのことを撮影者や撮影者以外に知らせるために、黒い画像を表示するとともに、「ＬＶ」という表示と、「ＥＶＦ」の識別表示がされている。

図１８（ｂ−１）〜（ｂ−３）に示す変形例の第２の例では、外付けＥＶＦ３００を省略し、第１の表示パネル１３５ａをカメラ本体１００に対して可動型としている。図１８（ｂ−１）の状態では、第１の表示パネル１３５ａの表示面は外側を向いているために、表示画像を観察することができる。この状態では、組み写真ライブビュー表示を行う。なお、この状態で、切換操作等により、１コマライブビュー表示を行うようにしてもよい。

図１８（ｂ−１）の状態から、第１の表示パネル１３５ａを図１８（ｂ−２）のように上部を引き出し、さらに、図１８（ｂ−３）のように上部を回動させると、カメラ本体１００の正面側から第１の表示パネル１３５ａの表示面を観察することができる。この場合には、図１７（ｂ−１）の場合と同様、撮影者が自らを撮影するのに適した状態となる。そこで、１コマのライブビュー表示を行うようにする。

図１８に示した変形例においても、１コマライブビュー表示においては、組み写真処理を施さない画像を表示し、組み写真ライブビュー表示においては、組み写真処理を施した画像を表示するようにしている。

次に、図１９を用いて、本実施形態における外部機器との接続の変形例について説明する。この変形例では、無線有線通信部１４７を介して、スマートフォン４００、テレビ５００ａ、５００ｂと接続可能としている。

スマートフォン４００とカメラ本体１００は、無線有線通信部１４７を介して無線でデータの送受信を行う。スマートフォン４００はカメラ本体１００のリモコンとしても使用できるため、スマートフォン４００の表示部に１コマライブビュー表示を行い、撮影者の位置を確認する。なお、複数の静止画を何回かに分けて送信し、スマートフォン４００で組み写真の画像を生成するようにしてもよい。

また、テレビ５００ａ、５００ｂは、無線有線通信部１４７を介して、無線通信または有線通信でデータの送受信を行う。有線通信の場合には、ＨＤＭＩ用のケーブル６００でテレビ５００ｂに接続する。この場合には、帯域も広いことから組み写真の画像を送信する。また無線通信の場合には、送信の画像データの容量が制限されることから、テレビ５００ａには、１コマライブビュー画像のみを送信するようにする。

このように、カメラ本体１００とスマートフォン４００、テレビ５００ａ、５００ｂ等の外部機器と接続し、１コマライブビュー画像と組み写真の画像を選択的に送信するようにしてもよい。

以上説明した本発明の実施形態や変形例において、ライブビュー表示する際のデータの流れについて、図２０を用いて説明する。撮像部１０（図１では撮像素子１０３が相当）から出力される画像データは、画像処理部２０（図１では画像処理部１０９が相当）によって、１コマライブビュー表示用に画像処理がなされ、この画像処理された画像データに基づいて第２の表示部（図１ではＥＶＦ１５３が相当）で１コマライブビュー表示がなされる。

また、画像処理部２０からの画像データは組み写真処理部３０（図１では組み写真処理部１１７が相当）によって、組み写真ライブビュー表示用に画像処理がなされる。また画像処理部２０によって画像処理された画像データに基づいて第１の表示部５０（図１では表示パネル１３５が相当）に組み写真ライブビュー表示がなされる。なお、画像処理部２０は、１コマライブビュー表示用の画像処理と、組み写真ライブビュー表示用の画像処理を異ならせてもよい。

なお、図２０（ｂ）に示すように、画像処理部２０を第１の画像処理部２０ａと第２の画像処理部２０ｂに分離してもよい。すなわち、撮像部１０から画像データを入力する第１の画像処理部２０ａは、基本画像処理、特殊画像処理、および組み写真処理を施した画像データを第１の表示部５０に出力し、組み写真ライブビュー表示を行う。また、撮像部１０から画像データを入力する第２の画像処理部２０ｂは、基本画像処理を施した画像データを第２の表示部４０に出力し、１コマライブビュー表示を行う。

以上説明したように、本発明の各実施形態や各変形例においては、第１の表示部（表示パネル１３５等）にライブビュー画像を表示する場合には、組み写真処理部１１７で処理した画像を表示し（図１２のＳ２２７、Ｓ２３１、図４のＳ７９参照）、一方、第２の表示部（ＥＶＦ１５３等）にライブビュー画像を表示する場合には、画像処理部１０９で画像処理した画像を表示するようにしている（図１２のＳ２３３、Ｓ２２３参照）。このため、１コマの表示と組み写真の表示を容易に観察することができる。

また、本発明の各実施形態や各変形例においては、画像処理部は、第１の表示部（表示パネル１３５等）に表示する画像を生成する場合と、第２の表示部（ＥＶＦ１５３等）に表示する画像を生成する場合とで異なる画像処理を行うようにしている。例えば、第１の表示に表示する画像を生成する場合には、ナチュラルで生成している。このため、組み写真ライブビュー表示する際と、１コマライブビュー表示する際で、それぞれ最適な画像処理を行うことができる。

また、本発明の各実施形態や各変形例においては、画像処理部は、第２の表示部（ＥＶＦ１５３等）に表示する画像を生成するための画像処理を行い、画像処理部で画像処理された画像を入力し、第１の表示部（表示パネル１３５等）に表示する画像を生成するために特殊画像処理を行っている。このため、１コマライブビュー表示にあたっては、特殊画像処理を施さない原画像に近い画像を表示し、組み写真ライブビュー表示にあたっては、設定された特殊効果を施した画像を表示することができる。また、本発明の各実施形態や各変形例においては、画像処理部は、第２の表示部（ＥＶＦ１５３等）に表示する画像を生成する場合には、第１の表示部（表示パネル１３５等）に表示する画像を生成する場合に行う画像処理の一部の画像処理を行っている。

また、本発明の各実施形態や各変形例においては、画像処理部は、第２の表示部（ＥＶＦ１５３等）に表示する画像を生成する場合には、第１の表示部（表示パネル１３５等）に表示する画像を生成する場合に行う画像処理の一部の画像処理を異なるパラメータで行っている。例えば、第１の表示に表示する画像を生成する場合には、ナチュラル用のパラメータを用いて画像処理を行っている。

また、本発明の各実施形態や各変形例においては、第１の表示部（表示パネル１３５等）は外光の影響を受ける表示部であり、第２の表示部（ＥＶＦ１５３等）は外光の影響を受けない表示部である。このため、第２の表示部で撮影に集中することが可能となる。また、第１の表示部として大型のパネルが使用可能であり、組み写真ライブビューを観察し易くすることができる。

なお、本発明の各実施形態や各変形例においては、１コマライブビューをＥＶＦ１５３に表示し、組み写真ライブビューを表示パネル１３５に表示したが、逆に、１コマライブビューを表示パネル１３５に表示し、組み写真ライブビューをＥＶＦ１５３に表示しても構わない。

また、本発明の各実施形態や各変形例においては、撮像装置として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラ、ミラーレスカメラ、コンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、組み写真を撮影可能な撮像装置であれば、本発明を適用することができる。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０・・・撮像部、２０・・・画像処理部、２０ａ・・・画像処理部、２０ｂ・・・画像処理部、３０・・・組み写真処理部、４０・・・第２の表示部、５０・・・第１の表示部、１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・画像処理部、１０９ａ・・・基本画像処理部、１０９ｂ・・・特殊画像処理部、１０９ｃ・・・被写体検出部、１１０・・・バス、１１１・・・ＡＥ処理部、１１３・・・ＡＦ処理部、１１５・・・画像圧縮伸張部、１１７・・・組写真処理部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２３ａ・・・タッチ入力部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・表示ドライバ、１３５・・・表示パネル、１４５・・・通信部、１４７・・・無線有線通信部、１５１・・・ＥＶＦドライバ、１５３・・・ＥＶＦ、１５５・・・ＥＶＦ表示センサ、１５７・・・通信処理部、１５９・・・通信接点、１６１・・・ヒンジ、１６３・・・光軸、１９９・・・Ｉ／Ｆ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、３００・・・外付けＥＶＦ、３０１・・・ＥＶＦドライバ、３０３・・・ＥＶＦ、３０５・・・ＥＶＦ表示センサ

Claims (9)

1. 複数の画像を１枚の画像として組み込んだ組み写真を撮影可能であり、かつライブビュー表示可能な撮像装置において、
   第１の表示部と、
   上記第１の表示部とは異なる第２の表示部と、
   被写体像を画像データに変換し出力する撮像部と、
   上記画像データを画像処理する画像処理部と、
   上記画像処理部によって画像処理された複数の画像データを組んで１つの画像を生成する組み写真処理部と、
   を具備し、
   上記第１の表示部にライブビュー画像を表示する場合には、上記組み写真処理部で処理した画像を表示し、一方、上記第２の表示部にライブビュー画像を表示する場合には、上記画像処理部で画像処理した画像を表示することを特徴とする撮像装置。
2. 上記画像処理部は、上記第１の表示部に表示する画像を生成する場合と、上記第２の表示部に表示する画像を生成する場合とで異なる画像処理を行うことを特徴とする請求項１に記載の撮像装置。
3. 上記画像処理部は、上記第２の表示部に表示する画像を生成するための画像処理を行い、上記画像処理部で画像処理された画像を入力し、上記第１の表示部に表示する画像を生成するために特殊画像処理を行うことを特徴とする請求項２に記載の撮像装置。
4. 上記画像処理部は、上記第２の表示部に表示する画像を生成する場合には、上記第１の表示部に表示する画像を生成する場合に行う画像処理の一部の画像処理を行うことを特徴とする請求項２に記載の撮像装置。
5. 上記画像処理部は、上記第２の表示部に表示する画像を生成する場合には、上記第１の表示部に表示する画像を生成する場合に行う画像処理の一部の画像処理を異なるパラメータで行うことを特徴とする請求項２に記載の撮像装置。
6. 上記第１の表示部は背面表示パネルであり、上記第２の表示部はＥＶＦであることを特徴とする請求項１ないし５に記載の撮像装置。
7. 上記第１の表示部は外光の影響を受ける表示部であり、上記第２の表示部は、上記第１の表示部に比べて外光の影響を受けない表示部であることを特徴とする請求項１ないし５に記載の撮像装置。
8. 複数の画像を１枚の画像として組み込んだ組み写真を撮影し、かつライブビュー表示する撮像方法において、
   被写体像を画像データに変換して出力し、
   第２の表示部に１コマのライブビュー画像を表示する場合には、上記画像データを画像処理した画像を表示し、
   上記第２の表示部と異なる第１の表示部に組み写真のライブビュー画像を表示する場合には、画像処理された複数の画像データに対して組み写真処理を施して１つの組写真の画像を生成し、この組み写真の画像を表示する、
   ことを特徴とする撮像方法。
9. 複数の画像を１枚の画像として組み込んだ組み写真を撮影し、かつライブビュー表示をコンピュータに実行させるプログラムにおいて、
   被写体像を画像データに変換して出力し、
   第２の表示部に１コマのライブビュー画像を表示する場合には、上記画像データを画像処理した画像を表示し、
   上記第２の表示部とは異なる第１の表示部に組み写真のライブビュー画像を表示する場合には、画像処理された複数の画像データに対して組み写真処理を施して１つの組写真の画像を生成し、この組み写真の画像を表示する、
   ことをコンピュータに実行させるプログラム。

Images