JP3846305B2

JP3846305B2 - Imaging apparatus and method, recording medium, and program

Info

Publication number: JP3846305B2
Application number: JP2001393039A
Authority: JP
Inventors: 勲川西; 知彦成瀬; 健中島
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-12-26
Filing date: 2001-12-26
Publication date: 2006-11-15
Anticipated expiration: 2021-12-26
Also published as: JP2003199016A

Description

【０００１】
【発明の属する技術分野】
本発明は撮像装置および方法、記録媒体、並びにプログラムに関し、特に、撮影と同時に、撮影画像の水平方向の画素数を減少させたサムネイル準備画像を生成して、撮影画像記録時におけるサムネイル画像生成処理の負担を軽くし、画像記録時間を短縮することができるようにした、撮像装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
デジタルスチルカメラ、並びに、デジタルスチルカメラ機能を有する、ビデオカメラおよびPDA等に代表される携帯型情報端末装置において、撮影された撮影画像に対応する画像データはデジタルデータとして記録される。この記録フォーマットの１つにExif（Exchangeable Image File Format）がある。
【０００３】
Exifは、JEIDA(Japan Electronic Industry Development Association)の規格に採用されているデジタルスチルカメラ用の画像ファイルフォーマット規格であり、Exif形式のファイルは、JPEG（Joint Photographic Experts Group）形式のファイルのヘッダ部にTIFF（Tagged Image File Format）形式のヘッダが埋め込まれた構成となっている。このフォーマットは、JPEGのデータストリームをそのまま使い、アプリケーション用に用意されたデータセグメントAPP1を使用する等、JPEGの仕様に則った方法で固有の情報を埋め込んでおり、Exifをサポートしていないアプリケーションからでも、普通のJPEGファイルとして認識することができる。情報の格納には、TIFFを使用し、TIFFのルールにしたがって、画像に関する基本情報等の各種情報とサムネイル画像を格納している。
【０００４】
従来のデジタルカメラ等は、撮影画像データをExif形式で記録される場合、画素数変換回路等において、画像データ記録時に撮影画像の画素数を減少させ、サムネイル画像を作成し、記録していた。
【０００５】
【発明が解決しようとする課題】
しかしながら、近年、デジタルカメラ等に搭載されるCCD(Charge Coupled Device)等のカメラの高解像度化が進み、上述した方法では、サムネイル画像データ作成処理にかかる負荷が大きくなってしまい、画像データ記録時間が長くなってしまうという課題があった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、撮影画像記録時におけるサムネイル画像生成処理の負担を軽くし、画像記録時間を短縮するようにしたものである。
【０００７】
【課題を解決するための手段】
本発明の撮像装置は、撮影画像に対応する撮影画像データを、画素を単位として、所定の間隔で間引いて、縮小画像の元になる縮小準備画像に対応する縮小準備画像データを生成する第１の生成手段と、撮影画像データ、および、第１の生成手段により生成された縮小準備画像データを記憶する記憶手段と、撮影画像データおよび縮小準備画像データを、撮影画像および縮小準備画像を横に配列した１枚の付加画像に対応する付加画像データとして記憶手段に記憶させる付加手段と、付加手段により記憶手段に記憶された付加画像データより、縮小準備画像データを抽出する抽出手段と、抽出手段により抽出された縮小準備画像データを、画素を単位として、所定の間隔で間引いて、縮小画像に対応する縮小画像データを生成する第２の生成手段とを備えることを特徴とする。
【０００８】
前記第１の生成手段は、撮影画像の水平方向の画素数を減少させるように、撮影画像データよりデータを間引き、第２の生成手段は、縮小準備画像の垂直方向の画素数を減少させるように、縮小準備画像データよりデータを間引くようにすることができる。
【０００９】
前記撮像画像データおよび縮小画像データを圧縮処理する圧縮手段と、圧縮手段により圧縮された撮像画像データおよび縮小画像データを記録媒体に記録する記録制御手段とをさらに備えるようにすることができる。
【００１０】
前記撮像画像を表示する表示部をさらに備え、表示部は、記憶手段に記憶された撮影画像データに基づいて撮像画像を表示するようにすることができる。
前記付加手段は、撮影画像データに含まれる、撮影画像の有効画素領域を示す有効画素領域識別信号のタイミングに合わせて、撮影画像データおよび縮小画像データを付加画像データとして記憶手段に記憶させるようにすることができる。
前記付加画像における、撮像画像および縮小準備画像の垂直方向の画素数は互いに同一であるようにすることができる。
【００１１】
本発明の撮像方法は、撮影画像に対応する撮影画像データを、画素を単位として、所定の間隔で間引いて、縮小画像の元になる縮小準備画像に対応する縮小準備画像データを生成する第１の生成ステップと、撮影画像データ、および、第１の生成ステップの処理により生成された縮小準備画像データを記憶する記憶部に、撮影画像データおよび縮小準備画像データを、撮影画像および縮小画像を横に配列した１枚の付加画像に対応する付加画像データとして記憶させる付加ステップと、付加ステップの処理により記憶部に記憶された付加画像データより、縮小準備画像データを抽出する抽出ステップと、抽出ステップの処理により抽出された縮小準備画像データを、画素を単位として、所定の間隔で間引いて、縮小画像に対応する縮小画像データを生成する第２の生成ステップとを含むことを特徴とする。
【００１２】
本発明の記録媒体のプログラムは、撮影画像に対応する撮影画像データを、画素を単位として、所定の間隔で間引いて、縮小画像の元になる縮小準備画像に対応する縮小準備画像データを生成する第１の生成ステップと、撮影画像データ、および、第１の生成ステップの処理により生成された縮小準備画像データを記憶する記憶部に、撮影画像データおよび縮小準備画像データを、撮影画像および縮小画像を横に配列した１枚の付加画像に対応する付加画像データとして記憶させる付加ステップと、付加ステップの処理により記憶部に記憶された付加画像データより、縮小準備画像データを抽出する抽出ステップと、抽出ステップの処理により抽出された縮小準備画像データを、画素を単位として、所定の間隔で間引いて、縮小画像に対応する縮小画像データを生成する第２の生成ステップとを含むことを特徴とする。
【００１３】
本発明のプログラムは、撮影画像に対応する撮影画像データを、画素を単位として、所定の間隔で間引いて、縮小画像の元になる縮小準備画像に対応する縮小準備画像データを生成する第１の生成ステップと、撮影画像データ、および、第１の生成ステップの処理により生成された縮小準備画像データを記憶する記憶部に、撮影画像データおよび縮小準備画像データを、撮影画像および縮小画像を横に配列した１枚の付加画像に対応する付加画像データとして記憶させる付加ステップと、付加ステップの処理により記憶部に記憶された付加画像データより、縮小準備画像データを抽出する抽出ステップと、抽出ステップの処理により抽出された縮小準備画像データを、画素を単位として、所定の間隔で間引いて、縮小画像に対応する縮小画像データを生成する第２の生成ステップとをコンピュータに実現させる。
【００１４】
本発明の撮像装置および方法、記録媒体、並びにプログラムにおいては、撮影画像に対応する撮影画像データが、画素を単位として、所定の間隔で間引かれて、縮小画像の元になる縮小準備画像に対応する縮小準備画像データが生成され、撮影画像データおよび縮小準備画像データを記憶する記憶部に、撮影画像データおよび縮小画像データが、撮影画像および縮小準備画像が横に配列された１枚の付加画像に対応する付加画像データとして記憶され、その記憶部に記憶された付加画像データより、縮小準備画像データが抽出され、抽出された縮小準備画像データが、画素を単位として、所定の間隔で間引かれて、縮小画像に対応する縮小画像データが生成される。
【００１５】
【発明の実施の形態】
図１は、本発明を適用した撮像装置の基本的な構成例を示すブロック図である。
【００１６】
図１において、デジタルカメラ等の撮像装置１の制御部１１は、CPU（Central Processing Unit）、ROM（Read Only Memory）、およびRAM（Random Access Memory）などを有するマイクロコンピュータ等を含み、撮像装置１の各部を制御し、被写体の撮影に関する処理を実行させる。操作部１２は、撮像装置１の使用者が操作することにより静止画像の記録を指示するシャッターボタン等により構成され、使用者の指示を制御部１１に供給する。RAM１４は、半導体素子を利用した記憶装置であり、メモリ制御部１５に制御され、作成された撮影画像データ等を一時的に保持する。
【００１７】
また、制御部１１、RAM１４、およびメモリ制御部１５は、バス２０を介して接続されており、制御部１１からの制御情報、および各種データを供給したり、取得したりすることができる。
【００１８】
図１において、図示せぬ被写体からの光はレンズ部２１を介して、前面に赤（Ｒ）、緑（Ｇ）、および青（Ｂ）色のフィルタがモザイク状に配列された原色フィルタ（図示せず）が装着されたCCD、あるいはCMOS（Complementary Metal Oxide Semiconductor）等よりなるカメラ部２２に入射され、光電変換される。なお、CCDまたはCMOSの前面に装着するフィルタは、上述した以外にも、例えば、イエロー（Ye）、シアン（Cy）、マゼンタ（Mg）、およびグリーン（G）のフィルタがモザイク状に配列された補色系フィルタ等であってもよい。
【００１９】
カメラ部２２は、受光部において光電変換した映像信号をラスタスキャン方式により出力し、その出力された映像信号はCDS（Correlated Double Sampling circuit）回路、AGC（Automatic Gain Control）回路、およびA/D（Analog / Digital）変換回路を含むアナログ信号処理部２３に出力する。
【００２０】
アナログ信号処理部２３は、映像信号のノイズ除去や、ゲイン調整を行った後、内蔵するA/D変換回路において、入力されたアナログ信号をデジタル信号に変換し、デジタル信号処理部２４に出力する。
【００２１】
デジタル信号処理部２４は、入力されたデジタル信号にガンマ処理、色分離処理、並びに、赤、緑、および青の信号からなるRGBから、輝度信号(Y)、緑から赤の色差信号(U)、および緑から青の色差信号(V)からなるYUVへの色空間変換処理等を行い、デジタル信号は、輝度信号（以下、Y信号と称する）およびクロマ信号（以下、C信号と称する）を含む撮影画像データとして、サムネイル準備画像作成部２５に供給される。
【００２２】
サムネイル準備画像作成部２５は、静止画像記録時において、撮影画像データより、サムネイル画像データを作成するための画像データであるサムネイル準備画像データを作成する。サムネイル準備画像データは、撮影画像の水平方向の画素数を減少させた画像に対応する画像であり、サムネイル画像データの前段階の画像データである。サムネイル準備画像作成部２５は、作成したサムネイル準備画像データを、撮影画像データに付加して、バス２０を介して、画素数変換部３１およびJPEG圧縮部４１に供給する。
【００２３】
画素数変換部３１は、供給された撮影画像データよりサムネイル準備画像データを抽出し、処理を施して、サムネイル画像データを作成する。画素数変換部３１は、作成したサムネイル画像データを、バス２０を介して、JPEG圧縮部４１およびNTSCエンコーダ５１に供給する。
【００２４】
JPEG圧縮部４１は、サムネイル準備画像作成部２５より供給された撮影画像データ、および画素数変換部３１より供給されたサムネイル画像データをそれぞれJPEG方式で圧縮処理し、バス２０を介して、RAM１４に記憶させる。
【００２５】
また、NTSCエンコーダ５１は、サムネイル準備画像作成部２５より供給された撮影画像データの映像信号をNTSC方式に変換し、モニタ５２に供給し、対応する撮影画像を表示させる。
【００２６】
RAM１４に記憶された、JPEG形式の撮影画像データおよびサムネイル画像データ等は、Exif形式のデータとして、バス２０および記録媒体インタフェース６１を介して、メモリースティック（登録商標）等に代表される外部記録媒体６２に記録される。
【００２７】
また、バス２０には、ドライブ７１が必要に応じて接続され、磁気ディスク８１、光ディスク８２、光磁気ディスク８３、若しくは半導体メモリ８４などが適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて、RAM１４、または、制御部１１に内蔵されているRAMにインストールされる。
【００２８】
次にこのように構成された撮像装置１の基本的な動作について説明する。
【００２９】
撮像装置１の使用者が操作部１２のシャッターボタン等を操作して撮影を指示しておらず、待機の状態にある撮像装置１において、制御部１１は、カメラEE（Electric to Electric）画モードとして、各部を制御する。
【００３０】
この場合、レンズ部２１を介してカメラ部２２に入射した光は、光電変換され、アナログ信号処理部２３に供給される。このアナログの映像信号はアナログ信号処理部２３の内部において、CDS回路により不要な雑音信号が除去され、AGC回路によりゲインが調整された後、A/D変換回路によりデジタル信号化され、デジタル信号処理部２４に供給される。デジタル信号化された映像信号は、デジタル信号処理部２４において、ガンマ処理、色分離処理、および色空間変換処理等が行われ、撮影画像データとして、サムネイル準備画像作成部２５に供給される。
【００３１】
サムネイル準備画像作成部２５は、供給された撮影画像データをそのままNTSCエンコーダ５１に供給する。その際、サムネイル準備画像作成部２５は、撮影画像データよりサムネイル準備画像を作成しない。NTSCエンコーダ５１に供給された撮影画像データは、その映像信号をNTSC方式に変換され、モニタ５２に供給され、対応する画像が表示される。
【００３２】
このカメラEE画モードにおいて、撮像装置１の使用者が操作部１２のシャッターボタン等を操作すると、制御部１１は、静止画像を取り込むカメラ静止画モード（キャプチャモード）として、各部を制御する。
【００３３】
操作部１２が操作され、被写体の撮影が指令されると、被写体からの光は、レンズ部２１を介してカメラ部２２に内蔵されるCCD等の受光部に入射される。カメラ部２２は入射光を光電変換して、ラスタスキャン方式でアナログの映像信号を出力し、アナログ信号処理部２３に供給する。このアナログの映像信号はアナログ信号処理部２３の内部において、不要な雑音信号が除去され、ゲインが調整された後、デジタル信号化され、デジタル信号処理部２４に供給される。デジタル信号処理部２４は、デジタル信号化された映像信号にガンマ処理、色分離処理、および色空間変換処理等を行い、撮影画像データとして、サムネイル準備画像作成部２５に供給する。
【００３４】
サムネイル準備画像作成部２５は、供給された撮影画像データより、サムネイル画像データを作成するための画像データであるサムネイル準備画像データを作成する。サムネイル準備画像データに対応するサムネイル準備画像は、撮影画像データに対応する撮影画像の水平方向の画素数をサムネイル画像の画素数に減少させた画像であり、垂直方向の画素数は、撮影画像と同じである。
【００３５】
なお、このサムネイル準備画像作成処理の手順の詳細については図３示したフローチャートを参照して後に説明する。
【００３６】
サムネイル準備画像作成部２５は、作成したサムネイル準備画像データを元の撮影画像データに付加し、画素数変換部３１およびJPEG圧縮部４１に供給する。
【００３７】
画素数変換部３１は、取得した画像データよりサムネイル準備画像データを抽出すると、その抽出したサムネイル準備画像データに対応するサムネイル準備画像の垂直方向の画素数を減少させて、サムネイル画像を生成する。サムネイル画像を生成した画素数変換部３１は、対応するサムネイル画像データをJPEG圧縮部４１およびNTSCエンコーダ５１に供給する。
【００３８】
JPEG圧縮部４１は、取得した撮影画像データおよびサムネイル画像データをそれぞれJPEG方式により圧縮し、JPEG形式のデータとしてRAM１４に記憶させる。また、サムネイル画像データを供給されたNTSCエンコーダ５１は、サムネイル画像データの映像信号をNTSC方式の信号に変換し、モニタ５２に供給し、撮像装置１が取り込んだ静止画像である、サムネイル画像データに対応する画像を表示させる。
【００３９】
RAM１４は、メモリ制御部１５に制御され、Exif形式のデータとして記憶した、JPEG形式の撮影画像データ、サムネイル画像データ、およびこれらの画像データに関する情報を、記録媒体インタフェース６１を介して、半導体メモリや光磁気ディスク等の外部記録媒体６２に供給し、記憶させる。
【００４０】
以上において、サムネイル準備画像作成部２５は、カメラEE画モードにおいて、撮影画像データよりサムネイル準備画像を作成しないように説明したが、これに限らず、サムネイル準備画像作成部２５がサムネイル準備画像を、モードによらず常に作成するようにしてもよい。
【００４１】
次に、サムネイル準備画像作成部２５について説明する。
【００４２】
図２は、図１のサムネイル準備画像作成部２５の内部の構成例を示すブロック図である。
【００４３】
図２において、サムネイル準備画像作成部２５の各部は、制御部１１に制御されて各種の処理を実行する。サムネイル準備画像作成部２５には、図１のデジタル信号処理部２４により供給された撮影画像データが、Y信号およびC信号として、それぞれ入力端子１０１Ａおよび１０１Ｂより入力される。また、撮影画像データに含まれる、撮影画像データの有効画素領域を示す有効画素領域識別信号（以下、Valid信号と称する）が、入力端子１０１Ｃより入力される。Valid信号は、撮影画像データに含まれる映像信号に対応する撮影画像の画素が有効画素領域内の画素である場合、Highレベルとなり、それ以外の領域においては、Lowレベルとなる信号である。すなわち、Valid信号は、その値により、信号処理の有効期間を判別するための信号である。
【００４４】
入力端子１０１Ａ乃至１０１Ｃより入力されたＹ信号、Ｃ信号、およびValid信号は、色差信号同時化部１１１およびRAM１１６に供給される。色差信号同期化部１１１は、入力されたC信号を、映像信号のR成分とY成分の色差信号からなるCr信号、および、映像信号のＢ成分とＹ成分の色差信号からなるCb信号に分離し、水平方向帯域制限フィルタ部１１２に供給する。このとき、色差信号同時化部１１１は、Cr信号およびCb信号の位相と合わせるために、Y信号およびValid信号の位相を遅延させる。位相を遅延させられたY信号およびValid信号は、Cr信号およびCｂ信号とともに、水平方向帯域制限フィルタ部１１２に供給される。
【００４５】
水平方向帯域制限フィルタ部１１２は、例えば、IIR（Infinite Impulse Response）フィルタを用いてフィルタリング処理を行い、Y信号、Cｂ信号、およびCr信号の水平方向の帯域を制限する。Y信号を帯域制限するIIRフィルタの例を以下に示す。
【００４６】
(1-lpfyh)×ysep＋lpfyh×yhf＝ysep＋lpfyh×(yhf−ysep)・・・（１）
ただし、
ysep：入力Y信号
yhf：出力Y信号
lpfyh：IIRフィルタ係数（１／８〜７／８）
【００４７】
Y信号のIIRフィルタ係数lpfyhは、パラメータ設定レジスタ（図示せず）で設定され、その係数は本画像の画素数に応じて１／８から７／８までの間で設定することができる。lpfyh＝０とすると、IIRフィルタはその動作を停止する。なお、Cb信号およびCｒ信号の帯域を制限するIIRフィルタも上述したY信号の場合と同様の構成である。
【００４８】
水平方向帯域制限フィルタ部１１２は、撮影画像の水平方向について、映像信号の帯域を制限すると、その映像信号であるY信号、Cb信号、およびCr信号、並びにValid信号を水平方向間引き処理部１１３に供給する。水平方向間引き処理部１１３は、Y信号、Cb信号、およびCr信号を制御して、対応する撮影画像の水平方向の画素数が減少するように、Y信号、Cb信号、およびCr信号からデータを間引く処理を行う。撮影画像の画像データであるY信号、Cb信号、およびCr信号は、それぞれ、撮影画像の画素単位の情報をラスタスキャン方式により出力された信号であるので、水平方向間引き処理部１１３は、Y信号、Cb信号、およびCr信号から、撮影画像を構成する全画素の内、垂直に並ぶ所定の列の画素のみを間引くように、所定の間隔でデータを間引く処理を行う。
【００４９】
水平方向間引き処理が完了すると、水平方向間引き処理部１１３は、Y信号を垂直方向帯域制限フィルタ部１１５に供給し、Cb信号およびCr信号を色差信号多重化部１１４に供給し、Valid信号をRAM１１６に供給する。
【００５０】
色差信号多重化部１１４は、入力されたCb信号およびCr信号を多重化し、C信号を生成する。生成されたC信号は垂直方向帯域制限フィルタ部１１５に供給される。
【００５１】
垂直方向帯域制限フィルタ部１１５は、入力されたY信号およびC信号の垂直方向の帯域を、例えば、IIRフィルタを用いてフィルタリング処理を行い、Y信号、Cｂ信号、およびCr信号の垂直方向の帯域を制限する。Y信号を帯域制限するIIRフィルタの例を以下に示す。
【００５２】
(1-lpfv)×yht＋lpfv×rdram＝yht＋lpfv×(rdram−yht)・・・（２）
ただし、
yht：入力Y信号
rdram：RAM１１６からのフィードバックであるradram信号
lpfv：IIRフィルタ係数（１／８〜７／８）
【００５３】
なお、C信号の帯域を制限するIIRフィルタも上述したY信号の場合と同様の構成である。IIRフィルタ係数lpfvは、Y信号およびC信号において共通で、パラメータ設定レジスタ（図示せず）で設定され、その係数は本画像の画素数に応じて１／８から７／８までの間で設定することができる。lpfv＝０とすると、IIRフィルタはその動作を停止する。
【００５４】
垂直方向にIIRフィルタを掛けられたY信号およびC信号は、それぞれ、上位８ビット、下位８ビットになるようにバス構成され、１６ビットバス信号（wdram信号）としてRAM１１６に供給される。なお、wdram信号は、RAM１１６において、所定の処理が施された後、rdram信号として垂直方向帯域制限フィルタ部１１５にフィードバックされる。また、RAM１１６は内部にRAM制御部１１６Ａが備えており、RAM制御部１１６Ａは、Valid信号に基づいて、RAM１１６に記憶されたY信号およびC信号の出力を制御している。すなわち、Valid信号がHighレベルであり、有効画素領域である場合、RAM制御部１１６Ａは、入力端子１０１Ａおよび１０１Ｂより供給された撮影画像データのＹ信号およびＣ信号を、上述したように１６ビットのバス構成として、出力端子１２１Ａを介して出力させる。また、RAM制御部１１６Ａは、Valid信号がLowレベルであり、有効画素領域ではない場合、垂直方向帯域制限フィルタ部１１５より供給されたサムネイル準備画像データのＹ信号およびＣ信号を、上述したように１６ビットのバス構成として、出力端子１２１Ａを介して出力させる。また、この間Valid信号は、出力端子１２１Ｂを介して出力される。
【００５５】
なお上述した例において水平方向帯域制限フィルタ部１１２および垂直方向帯域制限フィルタブ１１５において、フィルタとして使用されるのは、IIRフィルタであるように説明したが、これに限らず、例えば、FIR（Finite Impulse Response）フィルタ等であってもよい。
【００５６】
次に、図３のフローチャートを参照して、サムネイル準備画像作成部２５におけるサムネイル準備画像作成処理について説明する。
【００５７】
最初に、ステップＳ１において、制御部１１は、色差信号同時化部１１１を制御して、入力端子１０１Ａおよび１０１Ｂを介してサムネイル準備画像作成部２５に入力されたＣ信号をCb成分およびCr成分に分割する。そして、ステップＳ２において、制御部１１は、色差信号同時化部１１１より出力させたＹ信号、Cb信号、およびCr信号を水平方向帯域制限フィルタ部１１２に供給させて、水平方向帯域制限フィルタ部１１２にY信号、Cb信号、およびCr信号の水平方向の周波数帯域を制限させる。
【００５８】
そして、制御部は、ステップＳ３に進み、水平方向の周波数帯域を制限されたＹ信号、Cb信号、およびCr信号を水平方向間引き処理部１１３に入力し、撮影画像の水平方向の画素数が減少するように、対応するY信号、Cb信号、およびCr信号のデータを所定の間隔で間引いて、情報量を削減する。
【００５９】
図４は、サムネイル準備画像を作成する様子を示す図である。
【００６０】
水平方向間引き処理部１１３は、図４Ａに示すような、撮影画像２０１に対応するＹ信号およびＣ信号を所定の間隔で間引くことにより、図４Ｂに示すように、撮影画像２０１の垂直方向に並ぶ画素列の内、一部の画素列を削除し、図４Ｃに示すように、撮影画像２０１の水平方向の画素数を所定の画素数に変換させたサムネイル準備画像２０２を作成する。このとき、サムネイル準備画像２０２の水平方向の画素数は、サムネイル画像の画素数として予め定められた画素数であり、サムネイル準備画像２０２の垂直方向の画素数は、撮影画像２０１の画素数と同じである。
【００６１】
図３に戻り、その後、制御部１１により、Ｙ信号は垂直方向帯域制限フィルタ部１１５に供給され、Cb信号およびCr信号は色差信号多重化部１１４に供給される。
【００６２】
ステップＳ４において、制御部１１は、色差信号多重化部１１４を制御して、Cb信号およびCr信号を多重化し、C信号を生成する。生成したC信号は、垂直方向帯域制限フィルタ部１１５に供給される。制御部１１は、ステップＳ５において、この垂直方向帯域制限フィルタ部１１５を制御して、Ｙ信号およびＣ信号の垂直方向の周波数帯域を制限し、RAM１１６に供給する。制御部１１は、ステップＳ６において、RAM制御部１１６Ａを制御して、Y信号およびC信号のRAM１１６からの出力を制御し、Y信号およびC信号を有効画素領域識別信号のタイミングに合わせて出力する。
【００６３】
図５は、サムネイル準備画像作成部２５より出力される画像データを示す図である。
【００６４】
RAM１１６に記憶されたY信号およびC信号は、RAM１１６からの出力をRAM制御部１１６Ａに制御され、図５に示すように、図４において説明した撮影画像およびサムネイル準備画像を横に並べた１枚の画像２０３として出力される。このとき、サムネイル準備画像２０２の垂直方向の画素数は、撮影画像２０１の垂直方向の画素数と一致している。
【００６５】
サムネイル準備画像２０２の垂直方向の画素数が、撮影画像２０１の垂直方向の画素数と一致していない場合、例えば、図６に示すように、撮影画像２０１に対して、水平方向に並ぶ画素列ごとに分離されたサムネイル準備画像２０４を付加しなければならず、撮影画像にサムネイル準備画像が付加されているラインと付加されていないラインとが生じ、RAM１１６より出力する際や、画素数変換部３１において、サムネイル準備画像を抽出する際に、垂直方向のライン数をカウントするカウンタを別に用意しなければならない。
【００６６】
また、図７に示すように、サムネイル画像２０１を水平方向および垂直方向に縮小したサムネイル準備画像２０５を作成し、撮影画像データとサムネイル準備画像データを別々に出力するようにすると、RAM１４等にサムネイル準備画像データを記憶する領域を、別に用意しなければならず、メモリのアドレス制御が複雑になってしまう。
【００６７】
そのため、サムネイル準備画像２０２の垂直方向の画素数は、撮影画像２０１の垂直方向の画素数と一致していることが望ましい。以上のように、作成されたサムネイル準備画像は、バス２０を介して、画素数変換部３１に供給される。
【００６８】
次に、図８のフローチャートを参照して、画素数変換部３１において実行されるサムネイル画像生成処理について説明する。
【００６９】
最初に、ステップＳ２１において、制御部１１は、画素数変換部３１を制御して、サムネイル準備画像が付加された撮影画像に対応する画像データを取得させ、ステップＳ２２において、取得した画像データよりサムネイル準備画像に対応するサムネイル準備画像データを抽出させる。そして制御部１１は、画素数変換部３１を制御して、抽出したサムネイル準備画像の画素数が垂直方向に減少するように、対応する画像データの情報量を削減させる。
【００７０】
図９は、サムネイル準備画像の垂直方向の画素数を減少させる様子の例を示す図である。
【００７１】
画素数変換部３１は、制御部１１に制御されて、図９Ａに示されるサムネイル準備画像２０２に対応するＹ信号およびＣ信号を所定の間隔で間引くことにより、図９Ｂに示すように、サムネイル準備画像２０２の水平方向に並ぶ画素列の内、一部の画素列を削除し、図９Ｃに示すように、サムネイル準備画像２０２の垂直方向の画素数を所定の画素数に変換させたサムネイル画像２０５を作成する。
【００７２】
制御部１１は、画素数変換部３１を制御して、ステップＳ２４において、情報量を削減させた画像データをサムネイル画像データとして出力させる。
【００７３】
以上のようにして、画素数変換部３１は、制御部１１に制御されて、サムネイル準備画像よりサムネイル画像を作成する。これにより、画素数変換部３１は、サムネイル準備画像の垂直方向の画素数を変換するだけでサムネイル画像を作成することができるので、その処理の負担を削減することができる。
【００７４】
以上においては、Exif形式のデータを作成する場合について説明したが、これに限らず、サムネイル画像を作成する場合であれば、どのようなフォーマットであってもよい。
【００７５】
また、以上における撮像装置１は、デジタルカメラだけでなく、例えば、デジタルカメラと同様の撮像機能を有するPDA（Personal Digital Assistance）や携帯電話機等の情報処理装置であってもよい。
【００７６】
また、以上の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【００７７】
この記録媒体は、図１に示すように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク８１（フロッピディスクを含む）、光ディスク８２（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク８３（MD(Mini-Disk)を含む）、もしくは半導体メモリ８４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されている制御部１１に内蔵されているROMなどで構成される。
【００７８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００７９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００８０】
【発明の効果】
以上のように、本発明の撮像装置および方法、記録媒体、並びにプログラムによれば、撮影画像記録時におけるサムネイル画像生成処理の負担を軽くし、画像記録時間を短縮することができる。
【図面の簡単な説明】
【図１】本発明を適用した撮像装置の基本的な構成例を示すブロック図である。
【図２】図１のサムネイル準備画像作成部の内部の構成例を示すブロック図である。
【図３】サムネイル準備画像作成部におけるサムネイル準備画像作成処理について説明するフローチャートである。
【図４】サムネイル準備画像を作成する様子を示す図である。
【図５】サムネイル準備画像作成部より出力される画像データを示す図である。
【図６】サムネイル準備画像作成部より出力される画像データの他の例を示す図である。
【図７】サムネイル準備画像作成部より出力される画像データのさらに他の例を示す図である。
【図８】画素数変換部において実行されるサムネイル画像生成処理について説明するフローチャートである。
【図９】サムネイル準備画像の垂直方向の画素数を減少させる様子の例を示す図である。
【符号の説明】
１撮像装置，１１制御部，１４ RAM，１５メモリ制御部，２５サムネイル準備画像作成部，３１画素数変換部，４１ JPEG圧縮部，１１１色差信号同時化部，１１２水平方向帯域制限フィルタ部，１１３水平方向間引き処理部，１１４色差信号多重化部，１１５垂直方向帯域制限フィルタ部，１１６ RAM，１１６A RAM制御部，２０１撮影画像，２０２サムネイル準備画像，２０５サムネイル画像[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus and method, a recording medium, and a program, and in particular, generates a thumbnail preparation image in which the number of pixels in the horizontal direction of a captured image is reduced simultaneously with shooting, and generates a thumbnail image at the time of recording the captured image. The present invention relates to an imaging apparatus and method, a recording medium, and a program that can reduce the burden on the image recording apparatus and reduce the image recording time.
[0002]
[Prior art]
In a digital still camera and a portable information terminal device having a digital still camera function, such as a video camera and a PDA, image data corresponding to the captured image is recorded as digital data. One of the recording formats is Exif (Exchangeable Image File Format).
[0003]
Exif is an image file format standard for digital still cameras adopted by the JEIDA (Japan Electronic Industry Development Association) standard. Exif format files are included in the header of JPEG (Joint Photographic Experts Group) format files. TIFF (Tagged Image File Format) header is embedded. This format uses a JPEG data stream as it is and uses the data segment APP1 prepared for the application to embed unique information in a way that conforms to the JPEG specifications, and from applications that do not support Exif But it can be recognized as an ordinary JPEG file. Information is stored using TIFF, and according to TIFF rules, various information such as basic information about images and thumbnail images are stored.
[0004]
In a conventional digital camera or the like, when shooting image data is recorded in the Exif format, a pixel number conversion circuit or the like reduces the number of pixels of the shooting image when recording the image data, and creates and records a thumbnail image.
[0005]
[Problems to be solved by the invention]
However, in recent years, the resolution of cameras such as CCD (Charge Coupled Device) mounted on digital cameras and the like has increased, and with the above-described method, the load on thumbnail image data creation processing has increased, and image data recording time has increased. There was a problem that would become longer.
[0006]
The present invention has been made in view of such a situation, and reduces the burden of thumbnail image generation processing at the time of recording a captured image, and shortens the image recording time.
[0007]
[Means for Solving the Problems]
  The imaging apparatus of the present inventionReduced preparation image data corresponding to the reduced preparation image that is the basis of the reduced image by thinning out the captured image data corresponding to the captured image at a predetermined interval in units of pixels.First generating means for generatingA storage unit that stores the captured image data and the reduced preparation image data generated by the first generation unit, and a single image in which the captured image data and the reduced preparation image data are arranged horizontally. Addition means for storing in the storage means as additional image data corresponding to the additional image, extraction means for extracting reduced preparation image data from the additional image data stored in the storage means by the addition means, and reduction reduced by the extraction means Reduced image data corresponding to a reduced image by thinning out the prepared image data at a predetermined interval in units of pixels.Second generating means for generatingWithIt is characterized by that.
[0008]
  The first generation unit thins out data from the captured image data so as to decrease the number of pixels in the horizontal direction of the captured image, and the second generation unit decreases the number of pixels in the vertical direction of the reduced preparation image. In addition, the data is thinned out from the reduced preparation image data.Can be.
[0009]
  The image processing apparatus further includes a compression unit that compresses the captured image data and the reduced image data, and a recording control unit that records the captured image data and the reduced image data compressed by the compression unit on a recording medium.Can be.
[0010]
  The apparatus further includes a display unit that displays the captured image, and the display unit displays the captured image based on the captured image data stored in the storage unit.Can be.
  The adding unit causes the storage unit to store the captured image data and the reduced image data as additional image data in accordance with the timing of an effective pixel region identification signal indicating the effective pixel region of the captured image included in the captured image data. can do.
  The number of pixels in the vertical direction of the captured image and the reduced preparation image in the additional image may be the same.
[0011]
  The imaging method of the present invention is a captured image.Reduced preparation image data corresponding to the reduced preparation image that is the source of the reduced image by thinning out the captured image data corresponding to 1 at a predetermined interval in units of pixels.A first generating step for generatingOne image in which the captured image data and the reduced preparation image data are arranged horizontally in the storage unit that stores the captured image data and the reduced preparation image data generated by the processing of the first generation step. An additional step of storing as additional image data corresponding to the additional image, an extraction step of extracting reduced preparation image data from the additional image data stored in the storage unit by the processing of the additional step, and an extraction step of processing. Reduced image data corresponding to the reduced image is obtained by thinning the reduced preparation image data in units of pixels at a predetermined interval.A second generation step of generatingAnd includingIt is characterized by that.
[0012]
  The recording medium program of the present invention is a captured image.Reduced preparation image data corresponding to the reduced preparation image that is the source of the reduced image by thinning out the captured image data corresponding to 1 at a predetermined interval in units of pixels.A first generating step for generatingOne image in which the captured image data and the reduced preparation image data are arranged horizontally in the storage unit that stores the captured image data and the reduced preparation image data generated by the processing of the first generation step. An additional step of storing as additional image data corresponding to the additional image, an extraction step of extracting reduced preparation image data from the additional image data stored in the storage unit by the processing of the additional step, and an extraction step of processing. Reduced image data corresponding to the reduced image is obtained by thinning the reduced preparation image data in units of pixels at a predetermined interval.A second generation step of generatingAnd includingIt is characterized by that.
[0013]
  The program of the present invention is a photographed image.The reduced image data corresponding to the reduced preparation image that is the source of the reduced image is generated by thinning out the captured image data corresponding to 1 at a predetermined interval in units of pixels.A first generation step;One image in which the captured image data and the reduced preparation image data are arranged horizontally in the storage unit that stores the captured image data and the reduced preparation image data generated by the processing of the first generation step. An additional step of storing as additional image data corresponding to the additional image, an extraction step of extracting reduced preparation image data from the additional image data stored in the storage unit by the processing of the additional step, and an extraction step of processing. Reduced image data corresponding to the reduced image is obtained by thinning the reduced preparation image data in units of pixels at a predetermined interval.A second generation step of generatingAndMake it a computer.
[0014]
  In the imaging apparatus and method, recording medium, and program of the present invention,The captured image data corresponding to the captured image is thinned out at predetermined intervals in units of pixels, and reduced preparation image data corresponding to the reduced preparation image that is the basis of the reduced image is generated, and the captured image data and the reduction preparation are generated. The captured image data and the reduced image data are stored in the storage unit that stores the image data as additional image data corresponding to one additional image in which the captured image and the reduced preparation image are horizontally arranged, and stored in the storage unit. Reduced preparation image data is extracted from the added additional image data, and the extracted reduced preparation image data is thinned out at predetermined intervals in units of pixels to generate reduced image data corresponding to the reduced image..
[0015]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram illustrating a basic configuration example of an imaging apparatus to which the present invention is applied.
[0016]
In FIG. 1, a control unit 11 of an imaging apparatus 1 such as a digital camera includes a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. Are controlled to execute processing relating to photographing of the subject. The operation unit 12 includes a shutter button or the like that instructs recording of a still image when operated by the user of the imaging apparatus 1, and supplies the user's instruction to the control unit 11. The RAM 14 is a storage device using a semiconductor element, and is controlled by the memory control unit 15 to temporarily hold the created captured image data.
[0017]
Further, the control unit 11, the RAM 14, and the memory control unit 15 are connected via the bus 20, and can supply and acquire control information and various data from the control unit 11.
[0018]
In FIG. 1, light from a subject (not shown) is a primary color filter (FIG. 1) in which red (R), green (G), and blue (B) filters are arranged in a mosaic pattern on the front surface via a lens unit 21. (Not shown) is incident on a camera unit 22 made of a CCD, CMOS (Complementary Metal Oxide Semiconductor) or the like, and is subjected to photoelectric conversion. In addition to the filters described above, the filters attached to the front surface of the CCD or CMOS include, for example, yellow (Ye), cyan (Cy), magenta (Mg), and green (G) filters arranged in a mosaic pattern. A complementary color filter or the like may be used.
[0019]
The camera unit 22 outputs the video signal photoelectrically converted in the light receiving unit by a raster scan method, and the output video signal is a CDS (Correlated Double Sampling circuit) circuit, an AGC (Automatic Gain Control) circuit, and an A / D (A / D). (Analog / Digital) output to an analog signal processing unit 23 including a conversion circuit.
[0020]
The analog signal processing unit 23 performs noise removal and gain adjustment of the video signal, and then converts the input analog signal into a digital signal in the built-in A / D conversion circuit, and outputs the digital signal to the digital signal processing unit 24. .
[0021]
The digital signal processing unit 24 performs a gamma process, a color separation process, and an RGB signal composed of red, green, and blue signals, a luminance signal (Y), and a green to red color difference signal (U) on the input digital signal. , And color space conversion processing from green to blue color difference signal (V) to YUV, etc., and the digital signal is a luminance signal (hereinafter referred to as Y signal) and a chroma signal (hereinafter referred to as C signal). The captured image data is supplied to the thumbnail preparation image creating unit 25.
[0022]
The thumbnail preparation image creation unit 25 creates thumbnail preparation image data, which is image data for creating thumbnail image data, from the captured image data during still image recording. The thumbnail preparation image data is an image corresponding to an image obtained by reducing the number of pixels in the horizontal direction of the captured image, and is image data at the previous stage of the thumbnail image data. The thumbnail preparation image creation unit 25 adds the created thumbnail preparation image data to the captured image data, and supplies the image data to the pixel number conversion unit 31 and the JPEG compression unit 41 via the bus 20.
[0023]
The pixel number conversion unit 31 extracts thumbnail preparation image data from the supplied captured image data, performs processing, and creates thumbnail image data. The pixel number conversion unit 31 supplies the created thumbnail image data to the JPEG compression unit 41 and the NTSC encoder 51 via the bus 20.
[0024]
The JPEG compression unit 41 compresses the photographic image data supplied from the thumbnail preparation image creation unit 25 and the thumbnail image data supplied from the pixel number conversion unit 31 by the JPEG method, and stores them in the RAM 14 via the bus 20. Remember.
[0025]
In addition, the NTSC encoder 51 converts the video signal of the captured image data supplied from the thumbnail preparation image creating unit 25 into the NTSC format, supplies it to the monitor 52, and displays the corresponding captured image.
[0026]
The JPEG format captured image data and thumbnail image data stored in the RAM 14 are stored as Exif format data via an external recording medium 62 typified by a Memory Stick (registered trademark) via the bus 20 and the recording medium interface 61. To be recorded.
[0027]
Further, a drive 71 is connected to the bus 20 as necessary, and a magnetic disk 81, an optical disk 82, a magneto-optical disk 83, a semiconductor memory 84, or the like is appropriately mounted, and a computer program read therefrom is required. Accordingly, it is installed in the RAM 14 or the RAM built in the control unit 11.
[0028]
Next, the basic operation of the imaging apparatus 1 configured as described above will be described.
[0029]
In the imaging apparatus 1 that is in a standby state without the user of the imaging apparatus 1 operating the shutter button or the like of the operation unit 12 to instruct photographing, the control unit 11 performs a camera EE (Electric to Electric) image mode. As above, each part is controlled.
[0030]
In this case, light incident on the camera unit 22 via the lens unit 21 is photoelectrically converted and supplied to the analog signal processing unit 23. The analog video signal is converted into a digital signal by an A / D conversion circuit after an unnecessary noise signal is removed by a CDS circuit and a gain is adjusted by an AGC circuit in the analog signal processing unit 23. Supplied to the unit 24. The digital signal is subjected to gamma processing, color separation processing, color space conversion processing, and the like in the digital signal processing unit 24, and is supplied to the thumbnail preparation image creating unit 25 as photographed image data.
[0031]
The thumbnail preparation image creating unit 25 supplies the supplied captured image data to the NTSC encoder 51 as it is. At this time, the thumbnail preparation image creating unit 25 does not create a thumbnail preparation image from the captured image data. The captured image data supplied to the NTSC encoder 51 is converted into the NTSC format of the video signal and supplied to the monitor 52 to display a corresponding image.
[0032]
In the camera EE image mode, when the user of the imaging device 1 operates the shutter button or the like of the operation unit 12, the control unit 11 controls each unit as a camera still image mode (capture mode) for capturing a still image.
[0033]
When the operation unit 12 is operated and a subject is instructed to be photographed, light from the subject enters the light receiving unit such as a CCD built in the camera unit 22 via the lens unit 21. The camera unit 22 photoelectrically converts incident light, outputs an analog video signal by a raster scan method, and supplies the analog video signal to the analog signal processing unit 23. The analog video signal is converted into a digital signal after an unnecessary noise signal is removed and the gain is adjusted in the analog signal processing unit 23, and is supplied to the digital signal processing unit 24. The digital signal processing unit 24 performs gamma processing, color separation processing, color space conversion processing, and the like on the digitalized video signal, and supplies the video signal to the thumbnail preparation image creation unit 25 as photographed image data.
[0034]
The thumbnail preparation image creation unit 25 creates thumbnail preparation image data, which is image data for creating thumbnail image data, from the supplied captured image data. The thumbnail preparation image corresponding to the thumbnail preparation image data is an image obtained by reducing the number of pixels in the horizontal direction of the photographed image corresponding to the photographed image data to the number of pixels of the thumbnail image, and the number of pixels in the vertical direction is the same as that of the photographed image. The same.
[0035]
The details of the thumbnail preparation image creation process will be described later with reference to the flowchart shown in FIG.
[0036]
The thumbnail preparation image creation unit 25 adds the created thumbnail preparation image data to the original photographed image data, and supplies it to the pixel number conversion unit 31 and the JPEG compression unit 41.
[0037]
When the thumbnail preparation image data is extracted from the acquired image data, the pixel number conversion unit 31 reduces the number of pixels in the vertical direction of the thumbnail preparation image corresponding to the extracted thumbnail preparation image data, and generates a thumbnail image. The pixel number conversion unit 31 that has generated the thumbnail image supplies the corresponding thumbnail image data to the JPEG compression unit 41 and the NTSC encoder 51.
[0038]
The JPEG compression unit 41 compresses the acquired photographed image data and thumbnail image data by the JPEG method, and stores them in the RAM 14 as JPEG format data. Also, the NTSC encoder 51 supplied with the thumbnail image data converts the video signal of the thumbnail image data into an NTSC format signal, supplies it to the monitor 52, and converts it into the thumbnail image data that is a still image captured by the imaging device 1. Display the corresponding image.
[0039]
The RAM 14 is controlled by the memory control unit 15 and stores JPEG-format captured image data, thumbnail image data, and information relating to these image data stored as Exif-format data via a recording medium interface 61, a semiconductor memory, The data is supplied to and stored in an external recording medium 62 such as a magneto-optical disk.
[0040]
In the above description, the thumbnail preparation image creation unit 25 has been described so as not to create a thumbnail preparation image from captured image data in the camera EE image mode. However, the present invention is not limited to this. You may make it always produce irrespective of a mode.
[0041]
Next, the thumbnail preparation image creating unit 25 will be described.
[0042]
FIG. 2 is a block diagram illustrating an internal configuration example of the thumbnail preparation image creating unit 25 of FIG.
[0043]
In FIG. 2, each part of the thumbnail preparation image creating unit 25 is controlled by the control unit 11 and executes various processes. Captured image data supplied from the digital signal processing unit 24 of FIG. 1 is input to the thumbnail preparation image creating unit 25 from the input terminals 101A and 101B as a Y signal and a C signal, respectively. In addition, an effective pixel area identification signal (hereinafter referred to as a Valid signal) indicating the effective pixel area of the captured image data included in the captured image data is input from the input terminal 101C. The Valid signal is a signal that is at a high level when the pixel of the captured image corresponding to the video signal included in the captured image data is a pixel in the effective pixel area, and is at a low level in other areas. That is, the Valid signal is a signal for determining the valid period of signal processing based on the value.
[0044]
The Y signal, C signal, and Valid signal input from the input terminals 101A to 101C are supplied to the color difference signal synchronizer 111 and the RAM 116. The color difference signal synchronization unit 111 separates the input C signal into a Cr signal composed of the R component and Y component color difference signal of the video signal and a Cb signal composed of the B component and Y component color difference signal of the video signal. And supplied to the horizontal band limiting filter unit 112. At this time, the color difference signal synchronization unit 111 delays the phases of the Y signal and the Valid signal in order to match the phases of the Cr signal and the Cb signal. The Y signal and the Valid signal delayed in phase are supplied to the horizontal band limiting filter unit 112 together with the Cr signal and the Cb signal.
[0045]
The horizontal band limiting filter unit 112 performs a filtering process using, for example, an IIR (Infinite Impulse Response) filter, and limits the horizontal band of the Y signal, the Cb signal, and the Cr signal. An example of an IIR filter that limits the band of the Y signal is shown below.
[0046]
(1-lpfyh) × ysep + lpfyh × yhf = ysep + lpfyh × (yhf−ysep) (1)
However,
ysep: Input Y signal
yhf: Output Y signal
lpfyh: IIR filter coefficient (1/8 to 7/8)
[0047]
The IIR filter coefficient lpfyh of the Y signal is set by a parameter setting register (not shown), and the coefficient can be set between 1/8 and 7/8 according to the number of pixels of the main image. When lpfyh = 0, the IIR filter stops its operation. Note that the IIR filter that limits the bands of the Cb signal and the Cr signal has the same configuration as that of the Y signal described above.
[0048]
When the horizontal band limiting filter unit 112 limits the band of the video signal in the horizontal direction of the captured image, the Y signal, the Cb signal, the Cr signal, and the Valid signal, which are the video signals, are sent to the horizontal thinning processing unit 113. Supply. The horizontal direction decimation processing unit 113 controls the Y signal, Cb signal, and Cr signal to obtain data from the Y signal, Cb signal, and Cr signal so that the number of pixels in the horizontal direction of the corresponding captured image decreases. Perform thinning process. The Y signal, Cb signal, and Cr signal, which are image data of the captured image, are signals obtained by outputting the pixel unit information of the captured image by the raster scan method. From the Cb signal and the Cr signal, a process of thinning out data at a predetermined interval is performed so as to thin out only pixels in a predetermined column aligned vertically among all the pixels constituting the captured image.
[0049]
When the horizontal decimation processing is completed, the horizontal decimation processing unit 113 supplies the Y signal to the vertical band limiting filter unit 115, the Cb signal and the Cr signal to the color difference signal multiplexing unit 114, and the Valid signal to the RAM 116. To supply.
[0050]
The color difference signal multiplexing unit 114 multiplexes the input Cb signal and Cr signal to generate a C signal. The generated C signal is supplied to the vertical band limiting filter unit 115.
[0051]
The vertical band limiting filter unit 115 performs a filtering process on the vertical band of the input Y signal and C signal using, for example, an IIR filter, and the vertical band of the Y signal, Cb signal, and Cr signal. Limit. An example of an IIR filter that limits the band of the Y signal is shown below.
[0052]
(1-lpfv) × yht + lpfv × rdram = yht + lpfv × (rdram−yht) (2)
However,
yht: Input Y signal
rdram: radram signal that is feedback from RAM 116
lpfv: IIR filter coefficient (1/8 to 7/8)
[0053]
The IIR filter that limits the band of the C signal has the same configuration as that of the Y signal described above. The IIR filter coefficient lpfv is common to the Y signal and C signal, and is set by a parameter setting register (not shown). The coefficient is set between 1/8 and 7/8 according to the number of pixels of the main image. can do. If lpfv = 0, the IIR filter stops its operation.
[0054]
The Y signal and the C signal that have been subjected to the IIR filter in the vertical direction are configured to have higher 8 bits and lower 8 bits, respectively, and are supplied to the RAM 116 as 16-bit bus signals (wdram signals). Note that the wdram signal is subjected to predetermined processing in the RAM 116 and then fed back to the vertical band limiting filter unit 115 as an rdram signal. The RAM 116 is provided in the RAM control unit 116A. The RAM control unit 116A controls the output of the Y signal and the C signal stored in the RAM 116 based on the Valid signal. That is, when the Valid signal is at the High level and the pixel region is the effective pixel region, the RAM control unit 116A converts the Y signal and C signal of the captured image data supplied from the input terminals 101A and 101B to 16-bit as described above. As a bus configuration, output is made via the output terminal 121A. Further, the RAM control unit 116A outputs the Y signal and the C signal of the thumbnail preparation image data supplied from the vertical band limiting filter unit 115 as described above when the Valid signal is at the low level and is not the effective pixel region. A 16-bit bus configuration is output via the output terminal 121A. During this time, the Valid signal is output via the output terminal 121B.
[0055]
In the example described above, the horizontal band limiting filter unit 112 and the vertical band limiting filter 115 have been described as being IIR filters, but the present invention is not limited thereto. For example, FIR (Finite Impulse Response) filter or the like.
[0056]
Next, the thumbnail preparation image creation processing in the thumbnail preparation image creation unit 25 will be described with reference to the flowchart of FIG.
[0057]
First, in step S1, the control unit 11 controls the color difference signal synchronization unit 111 to convert the C signal input to the thumbnail preparation image creation unit 25 via the input terminals 101A and 101B into a Cb component and a Cr component. To divide. In step S <b> 2, the control unit 11 supplies the Y signal, Cb signal, and Cr signal output from the color difference signal synchronization unit 111 to the horizontal direction band limiting filter unit 112, and the horizontal direction band limiting filter unit 112. To limit the horizontal frequency band of the Y signal, Cb signal, and Cr signal.
[0058]
Then, the control unit proceeds to step S3, and inputs the Y signal, the Cb signal, and the Cr signal whose frequency band in the horizontal direction is limited to the horizontal thinning processing unit 113, and the number of pixels in the horizontal direction of the photographed image is reduced. In order to reduce the amount of information, the data of the corresponding Y signal, Cb signal, and Cr signal are thinned out at predetermined intervals.
[0059]
FIG. 4 is a diagram showing how thumbnail preparation images are created.
[0060]
The horizontal direction thinning processing unit 113 thins out the Y signal and the C signal corresponding to the photographed image 201 at a predetermined interval as shown in FIG. 4A, thereby arranging them in the vertical direction of the photographed image 201 as shown in FIG. 4B. Among the pixel columns, a part of the pixel columns is deleted, and as shown in FIG. 4C, a thumbnail preparation image 202 in which the number of pixels in the horizontal direction of the photographed image 201 is converted into a predetermined number of pixels is created. At this time, the number of pixels in the horizontal direction of the thumbnail preparation image 202 is a predetermined number of pixels as the number of pixels of the thumbnail image, and the number of pixels in the vertical direction of the thumbnail preparation image 202 is the same as the number of pixels of the captured image 201. It is.
[0061]
Returning to FIG. 3, the Y signal is then supplied to the vertical band limiting filter unit 115 by the control unit 11, and the Cb signal and the Cr signal are supplied to the color difference signal multiplexing unit 114.
[0062]
In step S4, the control unit 11 controls the color difference signal multiplexing unit 114 to multiplex the Cb signal and the Cr signal and generate a C signal. The generated C signal is supplied to the vertical band limiting filter unit 115. In step S <b> 5, the control unit 11 controls the vertical direction band limiting filter unit 115 to limit the vertical frequency bands of the Y signal and the C signal, and supplies them to the RAM 116. In step S6, the control unit 11 controls the RAM control unit 116A to control the output of the Y signal and the C signal from the RAM 116, and outputs the Y signal and the C signal in accordance with the timing of the effective pixel region identification signal. .
[0063]
FIG. 5 is a diagram illustrating image data output from the thumbnail preparation image creating unit 25.
[0064]
The Y signal and the C signal stored in the RAM 116 are controlled by the RAM control unit 116A as output from the RAM 116, and as shown in FIG. 5, a single image in which the captured image and the thumbnail preparation image described in FIG. The image 203 is output. At this time, the number of pixels in the vertical direction of the thumbnail preparation image 202 matches the number of pixels in the vertical direction of the captured image 201.
[0065]
When the number of pixels in the vertical direction of the thumbnail preparation image 202 does not match the number of pixels in the vertical direction of the photographed image 201, for example, as shown in FIG. The thumbnail preparation image 204 separated every time must be added, and a line to which the thumbnail preparation image is added and a line to which the thumbnail preparation image is not added are generated in the photographed image. At 31, when extracting the thumbnail preparation image, a counter for counting the number of lines in the vertical direction must be prepared separately.
[0066]
Further, as shown in FIG. 7, when a thumbnail preparation image 205 obtained by reducing the thumbnail image 201 in the horizontal direction and the vertical direction is created and the captured image data and the thumbnail preparation image data are output separately, the thumbnail is stored in the RAM 14 or the like. An area for storing the preparation image data must be prepared separately, and the address control of the memory becomes complicated.
[0067]
Therefore, it is desirable that the number of pixels in the vertical direction of the thumbnail preparation image 202 matches the number of pixels in the vertical direction of the captured image 201. As described above, the created thumbnail preparation image is supplied to the pixel number conversion unit 31 via the bus 20.
[0068]
Next, a thumbnail image generation process executed in the pixel number conversion unit 31 will be described with reference to the flowchart of FIG.
[0069]
First, in step S21, the control unit 11 controls the pixel number conversion unit 31 to acquire image data corresponding to the captured image to which the thumbnail preparation image is added. In step S22, the control unit 11 acquires a thumbnail from the acquired image data. Thumbnail preparation image data corresponding to the preparation image is extracted. Then, the control unit 11 controls the pixel number conversion unit 31 to reduce the information amount of the corresponding image data so that the number of pixels of the extracted thumbnail preparation image decreases in the vertical direction.
[0070]
FIG. 9 is a diagram illustrating an example of a state in which the number of pixels in the vertical direction of the thumbnail preparation image is reduced.
[0071]
The pixel number conversion unit 31 is controlled by the control unit 11 to thin out the Y signal and the C signal corresponding to the thumbnail preparation image 202 shown in FIG. 9A at a predetermined interval, as shown in FIG. 9B. Among the pixel rows arranged in the horizontal direction of the image 202, a part of the pixel rows is deleted, and as shown in FIG. 9C, the thumbnail image 205 obtained by converting the number of pixels in the vertical direction of the thumbnail preparation image 202 to a predetermined number of pixels. Create
[0072]
The control unit 11 controls the pixel number conversion unit 31 to output the image data with the reduced information amount as thumbnail image data in step S24.
[0073]
As described above, the pixel number conversion unit 31 is controlled by the control unit 11 to create a thumbnail image from the thumbnail preparation image. As a result, the pixel number conversion unit 31 can create a thumbnail image only by converting the number of pixels in the vertical direction of the thumbnail preparation image, so that the processing load can be reduced.
[0074]
In the above description, the case of creating Exif format data has been described. However, the present invention is not limited to this, and any format may be used as long as a thumbnail image is created.
[0075]
Further, the imaging device 1 described above may be not only a digital camera but also an information processing device such as a PDA (Personal Digital Assistance) or a mobile phone having an imaging function similar to that of a digital camera.
[0076]
Moreover, although the above process can be performed by hardware, it can also be performed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a network or a recording medium into a general-purpose personal computer or the like.
[0077]
As shown in FIG. 1, the recording medium is distributed to provide a program to a user separately from the apparatus main body, and includes a magnetic disk 81 (including a floppy disk) on which a program is recorded, an optical disk 82 (CD -ROM (Compact Disk-Read Only Memory), DVD (Digital Versatile Disk) included), magneto-optical disk 83 (MD (Mini-Disk) included), or semiconductor memory 84 etc. Instead, it is configured by a ROM or the like built in the control unit 11 in which a program is recorded, which is provided to the user in a state of being preinstalled in the apparatus main body.
[0078]
In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.
[0079]
Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
[0080]
【The invention's effect】
As described above, according to the imaging apparatus and method, the recording medium, and the program of the present invention, it is possible to reduce the burden of thumbnail image generation processing at the time of shooting image recording, and to shorten the image recording time.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a basic configuration example of an imaging apparatus to which the present invention is applied.
FIG. 2 is a block diagram illustrating an internal configuration example of a thumbnail preparation image creation unit in FIG. 1;
FIG. 3 is a flowchart for explaining thumbnail preparation image creation processing in a thumbnail preparation image creation unit;
FIG. 4 is a diagram illustrating a state in which a thumbnail preparation image is created.
FIG. 5 is a diagram illustrating image data output from a thumbnail preparation image creation unit.
FIG. 6 is a diagram illustrating another example of image data output from the thumbnail preparation image creation unit.
FIG. 7 is a diagram showing still another example of image data output from the thumbnail preparation image creating unit.
FIG. 8 is a flowchart illustrating thumbnail image generation processing executed in a pixel number conversion unit.
FIG. 9 is a diagram illustrating an example of a state in which the number of pixels in the vertical direction of the thumbnail preparation image is decreased.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Imaging device, 11 Control part, 14 RAM, 15 Memory control part, 25 Thumbnail preparation image preparation part, 31 Pixel number conversion part, 41 JPEG compression part, 111 Color difference signal synchronization part, 112 Horizontal direction band limitation filter part, 113 Horizontal decimation processing unit, 114 color difference signal multiplexing unit, 115 vertical band limiting filter unit, 116 RAM, 116A RAM control unit, 201 photographed image, 202 thumbnail preparation image, 205 thumbnail image

Claims

In an imaging device that generates a reduced image of a captured image obtained by imaging a subject,
First generation means for thinning out the captured image data corresponding to the captured image in units of pixels at a predetermined interval to generate reduced preparation image data corresponding to the reduced preparation image that is the source of the reduced image ;
Storage means for storing the captured image data and the reduced preparation image data generated by the first generation means;
Adding means for storing the captured image data and the reduced preparation image data in the storage means as additional image data corresponding to one additional image in which the captured image and the reduced preparation image are arranged horizontally;
Extracting means for extracting the reduced preparation image data from the additional image data stored in the storage means by the adding means;
Second generation means for generating reduced image data corresponding to the reduced image by thinning out the reduced preparation image data extracted by the extracting means at predetermined intervals in units of pixels ;
Imaging device, characterized in that it comprises a.

The first generation unit thins out data from the captured image data so as to reduce the number of pixels in the horizontal direction of the captured image, and the second generation unit includes the number of pixels in the vertical direction of the reduced preparation image. The imaging apparatus according to claim 1 , wherein data is thinned out from the reduced preparation image data so as to reduce the image data .

Compression means for compressing the captured image data and the reduced image data;
Recording control means for recording the captured image data and the reduced image data compressed by the compression means on a recording medium;
The imaging apparatus according to claim 1, further comprising:

A display unit for displaying the captured image;
The imaging apparatus according to claim 1, wherein the display unit displays the captured image based on the captured image data stored in the storage unit .

The adding means stores the captured image data and the reduced image data as the additional image data in accordance with the timing of an effective pixel region identification signal indicating the effective pixel region of the captured image included in the captured image data. Memorize in the means
The imaging apparatus according to claim 1.

The number of pixels in the vertical direction of the captured image and the reduced preparation image in the additional image is the same.
The imaging apparatus according to claim 1.

In an imaging method of an imaging device that generates a reduced image of a captured image obtained by imaging a subject,
A first generation step of generating the reduced preparation image data corresponding to the reduced preparation image that is the source of the reduced image by thinning out the captured image data corresponding to the captured image in units of pixels at a predetermined interval ;
The captured image data and the reduced preparation image data are stored in the storage unit that stores the captured image data and the reduced preparation image data generated by the processing of the first generation step. An additional step of storing the image as additional image data corresponding to one additional image arranged horizontally;
An extraction step of extracting the reduced preparation image data from the additional image data stored in the storage unit by the processing of the addition step;
A second generation step of generating reduced image data corresponding to the reduced image by thinning out the reduced preparation image data extracted by the processing of the extraction step at predetermined intervals in units of pixels ;
An imaging method comprising :

A program for an imaging apparatus that generates a reduced image of a captured image obtained by imaging a subject,
A first generation step of generating the reduced preparation image data corresponding to the reduced preparation image that is the source of the reduced image by thinning out the captured image data corresponding to the captured image at a predetermined interval in units of pixels ;
The captured image data and the reduced preparation image data are stored in the storage unit that stores the captured image data and the reduced preparation image data generated by the processing of the first generation step. An additional step of storing the image as additional image data corresponding to one additional image arranged horizontally;
An extraction step of extracting the reduced preparation image data from the additional image data stored in the storage unit by the processing of the addition step;
A second generation step of generating reduced image data corresponding to the reduced image by thinning out the reduced preparation image data extracted by the processing of the extraction step at predetermined intervals in units of pixels ;
Recording medium from which a computer readable program is recorded, which comprises a.

A program executable by a computer that controls an imaging device that generates a reduced image of a captured image obtained by imaging a subject,
A first generation step of generating the reduced preparation image data corresponding to the reduced preparation image that is the source of the reduced image by thinning out the captured image data corresponding to the captured image at a predetermined interval in units of pixels ;
The captured image data and the reduced preparation image data are stored in the storage unit that stores the captured image data and the reduced preparation image data generated by the processing of the first generation step. An additional step of storing the image as additional image data corresponding to one additional image arranged horizontally;
An extraction step of extracting the reduced preparation image data from the additional image data stored in the storage unit by the processing of the addition step;
A second generation step of generating reduced image data corresponding to the reduced image by thinning out the reduced preparation image data extracted by the processing of the extraction step at predetermined intervals in units of pixels ;
The program characterized by including .