JP2007096379A - 撮像装置、画像記録検索装置およびプログラム - Google Patents

Abstract

【課題】ユーザー以外の者であっても、所望の内容や構成の撮影画像を検索する際に有用な情報を得ることができるようにする。
【解決手段】特徴抽出手段１０６は、画像から各々異なる特徴を抽出する複数の特徴抽出部Ａ、Ｂ、・・・を有している。撮影指示により撮像手段１０９により取り込まれて画像データメモリー１１１に一時的に記憶された画像データは、特徴抽出手段１０６と圧縮／符号化手段１１２とに転送される。そして、特徴抽出手段１０６において画像の送信先に応じて予め選択されている特徴抽出部Ａ、Ｂ、・・・のいずれかにより、特徴が抽出され、この抽出された特徴は特徴データ符号化手段１０７で符号化される。また、画像データ自体は圧縮／符号化手段１１３で圧縮および符号化され、この圧縮および符号化された画像データと、前記符号化された特徴データとは、多重化されて画像データメモリー１１５に記録される。
【選択図】 図２

Description

本発明は、被写体を撮像する撮像装置、画像記録検索装置およびプログラムに関する。

従来、撮影した画像のみならず、他の情報も記録する機能を備えたカメラが提案されるに至っている。このカメラは、撮影時の被写体距離、レンズ焦点距離、ストロボ光源情報や、フィルム処理情報、露出不足画像の補正必要情報などの撮影情報を着脱自在な記録媒体に記録するものである（例えば、特許文献１参照）。
特開平０２−３０６２２８号公報

しかしながら、前記カメラにおいて記録媒体に記録される情報は、撮影時の被写体距離やレンズ焦点距離などの撮影条件に関する情報であって、撮影した画像自体の内容や構成に関する情報ではない。したがって、前記記録媒体に記録された情報を用いても、撮影した多数の画像から所望の内容や構成の画像を検索することが困難となる。無論、当該カメラのユーザーであれば他人よりも、所望の内容や構成の画像を検索することは容易である場合もあるが、ユーザー以外の者にあっては、多数の画像から所望の内容や構成の画像を検索することが極めて困難となる。

本発明は、かかる従来の課題に鑑みてなされたものであり、ユーザー以外の者であっても、所望の内容や構成の撮影画像を検索する際に有用な情報を得ることのできる撮像装置、所望の内容や構成の撮影画像を検索することのできる撮像装置、画像記録検索装置およびプログラムを提供することを目的とする。

前記課題を解決するために請求項１記載の発明に係る撮像装置は、画像を撮像する撮像手段と、この撮像手段により撮像された画像からその特徴を抽出する特徴抽出手段と、前記画像を送信する相手先に応じて前記特徴抽出手段を動作させ、前記撮像手段により撮像される画像の特徴を抽出して取得する特徴取得手段とを備える。

したがって、本発明においては、特徴抽出手段により撮像する画像自体の特徴を抽出することから、この特徴の抽出により、複数の撮像した画像から所望の内容や構成の画像を検索する際に有用な情報を得ることができる。また、特徴抽出手段は、画像を送信する相手先に応じて動作することから、ユーザー以外の者において、所望の内容や構成の撮影画像を検索する際に有用な特徴情報を得ることができる。

また、請求項２記載の発明に係る撮像装置は、前記特徴抽出手段は、複数種の特徴抽出手段を含み、前記特徴取得手段は、前記画像を送信する相手先に応じて、前記特徴抽出手段のいずれかを選択する選択手段を含み、この選択手段により選択された特徴抽出手段を用いて、前記撮像手段により撮像される画像の特徴を抽出し取得する。したがって、予め選択された特徴抽出手段を用いて特徴抽出を行うことから、処理速度やメモリー容量などの処理負担の増加を抑制しつつ、適切な特徴の抽出を行うことができる。

また、請求項３記載の発明に係る撮像装置は、前記特徴抽出手段により抽出された特徴を記述する複数種の記述手段を更に備え、前記選択手段は、前記画像を送信する相手先に応じて、前記特徴手段とともにいずれかの記述手段を選択し、前記特徴取得手段は、前記選択手段により選択された記述手段を用いて前記抽出した画像の特徴を記述する。したがって、画像の特徴を記述した記述データにより、検索が容易となるとともに検索の精度を高めることができる。

また、請求項４記載の発明に係る撮像装置は、前記撮像手段により撮像された画像と、前記特徴取得手段により取得された画像の特徴とを外部に送信する送信手段を更に備える。したがって、画像とともにその画像を外部に送信し、これを受信した外部機器側でこれらを記録することにより、画像の記録及び検索が可能となる。

また、請求項５記載の発明に係る撮像装置は、画像を撮像する撮像手段と、この撮像手段により撮像された画像からその特徴を抽出する特徴抽出手段と、この特徴抽出手段により抽出された特徴を前記画像に付加して送信する送信手段と、前記撮像手段により撮像された前記画像に、前記特徴抽出手段により抽出された特徴を付加して送信するか否かを送信相手先別に設定する設定手段と、この設定手段の設定に従って前記特徴抽出手段及び送信手段を制御する制御手段とを備える。したがって、送信相手先に応じて特徴を付加した画像と、付加しない画像とを選択的に送信することができる。

また、請求項６記載の発明に係る撮像装置は、前記特徴抽出手段は、複数種の特徴抽出手段を含み、前記制御手段は、前記送信相手先に応じて、前記特徴抽出手段のいずれかを選択する選択手段を含み、前記送信手段は、 前記選択手段により選択された特徴抽出手段により抽出された特徴を前記画像に付加して送信する。したがって、予め選択された特徴抽出手段を用いて特徴抽出を行うことから、処理速度やメモリー容量などの処理負担の増加を抑制しつつ、適切な特徴の抽出を行うことができる。

また、請求項７記載の発明に係る画像記録検索装置は、画像を取得する画像取得手段と、この画像取得手段により取得された画像からその特徴を抽出する複数種の特徴抽出手段と、この複数種の特徴抽出手段から、いずれかの特徴抽出手段を選択する選択手段と、この選択手段により選択された特徴抽出手段を用いて前記画像の特徴を抽出し取得する特徴取得手段と、この特徴抽出手段により抽出し取得された特徴と前記画像とを記録する記録手段と、画像の特徴を入力する入力手段と、この入力手段により入力された画像の特徴と前記記録手段に記録された画像の特徴とに基づき、前記記録手段にて対応する画像を検索する画像検索手段と、この画像検索手段による検索結果を出力する出力手段とを備える。

したがって、本発明においては、特徴抽出手段により画像自体の特徴を抽出することから、この特徴の抽出により、記録した複数の画像から所望の内容や構成の画像を検索する際に有用な情報を得ることができる。また、予め選択された特徴抽出手段を用いて特徴抽出を行うことから、処理速度やメモリー容量などの処理負担の増加を抑制しつつ、適切な特徴の抽出を行うことができる。また、画像の検索に際しては、画像の特徴を入力する簡単な操作により、記録された複数の画像から所望の内容や構成の画像を検索することができる。

また、請求項８記載の発明に係る画像記録検索装置は、前記画像取得手段は、撮像手段から出力された画像を取得する手段又は前記記録手段に記録されている画像を取得する手段を含むことを特徴とする請求項７記載の画像記録検索装置。したがって、撮像装置として、請求項７記載の発明と同様の作用効果を奏する。

また、請求項９記載の発明に係る画像記録検索装置は、前記出力手段は、前記検索結果を表示出力する表示手段を含む。したがって、この表示手段による表示よって、ユーザーは検索結果を視覚的に確認することができる。

また、請求項１０記載の発明に係る画像記録検索装置は、前記出力手段は、前記検索結果を一覧表示する第１の表示手段と、この第１の表示手段により表示された一覧からいずれかの検索結果が選択されると、当該検索結果に対応する画像を表示する第２の表示手段とを含む。したがって、表示手段に検索結果の一覧が表示された状態において、いずれかを選択することにより、対応する画像を表示することができる。

また、請求項１１記載の発明に係る画像記録検索装置は、前記入力手段は、複数の特徴を入力し、前記画像検索手段は、前記入力手段により入力された複数の特徴と前記記録手段に記録された画像の特徴とに基づき、前記画像を検索する。したがって、複数の特徴に基づき検索が実行されることにより、画像の検索精度を高めることができる。

また、請求項１２記載の発明に係る画像記録検索装置は、前記入力手段は、キーワードにより前記画像の特徴を入力し、前記画像検索手段は、前記入力手段により入力されたキーワードに基づき、前記画像を検索する。したがって、キーワードを入力するという明快かつ簡単な操作に操作により、所望の画像を検索することできる。

また、請求項１３記載の発明に係る画像記録検索装置は、前記入力手段により入力されるキーワードに関連する複数種の関連語を記憶した辞書手段と、この辞書手段から、前記キーワードに関連する関連語を検索する関連語検索手段とを更に備え、前記画像検索手段は、前記関連語検索手段により検索された関連語と前記記録手段に記録された画像の特徴記述とに基づき、前記画像を検索する。したがって、入力されたキーワードが検索目的とする画像との関係において適切でなかった場合であっても、これに左右されることなく、目的とする画像を検索することが可能となる。

また、請求項１４記載の発明に係る画像記録検索装置は、前記画像の特徴には、（１）前記画像中の所定の領域の色情報または色分布に関する特徴、（２）前記画像中の分割された領域の輪郭線の形状に関する特徴、（３）前記画像中の全体領域または分割された領域、もしくは背景領域のテクスチャーに関する特徴のいずれかが含まれる。したがって、これらの特徴により、所望の内容や構成の撮影画像を的確に検索することができる。

また、請求項１５記載の発明に係る画像記録検索装置は、前記画像検索手段は、前記入力手段により入力された画像の特徴に基づき、当該装置が有する前記記録手段にて対応する画像を検索する第１画像検索手段と、外部装置が有する記録手段にて対応する画像を検索する第２の画像検索手段とを含む。したがって、外部装置が有する記録手段に記録された画像の検索をも行うことができる。

また、請求項１６記載の発明に係る画像記録装置は、画像を記録する記録手段と、この記録手段に記録される画像からその特徴を抽出する特徴抽出手段と、前記画像を送信する相手先に応じて前記特徴抽出手段を制御し、前記記録手段に記録される画像の特徴を抽出して取得する特徴取得手段とを備える。したがって、画像記録装置として請求項１記載の発明と同様の作用効果を奏する。

また、請求項１７記載の発明に係る撮像制御プログラムは、画像を撮像する撮像手段を備える撮像装置が有するコンピュータを、前記撮像手段により撮像された画像からその特徴を抽出する特徴抽出手段と、前記画像を送信する相手先に応じて前記特徴抽出手段を制御し、前記撮像手段により撮像される画像の特徴を抽出して取得する特徴取得手段として機能させる。したがって、前記コンピュータがこのプログラムに従って処理を実行することにより、請求項１記載の発明と同様の作用効果を奏する。

また、請求項１８記載の発明に係る画像記録検索プログラムは、記録手段と、画像の特徴を入力する入力手段とを備える画像記録検索装置が有するコンピュータを、前記記録手段により記録される画像からその特徴を抽出する複数種の特徴抽出手段と、この複数種の特徴抽出手段から、いずれかの特徴抽出手段を選択する選択手段と、この選択手段により選択された特徴抽出手段を用いて前記画像の特徴を抽出し、この抽出した特徴を前記画像とともに前記記録手段に記録する記録制御手段と、前記入力手段により入力された画像の特徴と前記記録手段に記録された画像の特徴とに基づき、前記記録手段にて対応する画像を検索する画像検索手段と、この画像検索手段による検索結果を出力する出力手段と
して機能させる。したがって、前記コンピュータがこのプログラムに従って処理を実行することにより、請求項７記載の発明と同様の作用効果を奏する。

以上説明したように請求項１、１６及び１７に係る発明によれば、特徴抽出手段により撮像する画像自体の特徴を抽出することから、この特徴の抽出により、複数の撮像した画像あるいは記録した画像から所望の内容や構成の画像を検索する際に有用な情報を得ることができる。また、選択される特徴抽出手段は、画像を送信する相手先に応じて選択されることから、ユーザー以外の者において、所望の内容や構成の撮影画像を検索する際に有用な特徴情報を得ることができる。

また、請求項７及び１８に係る発明によれば、特徴抽出手段により画像自体の特徴を抽出することから、この特徴の抽出により、記録した複数の画像から所望の内容や構成の画像を検索する際に有用な情報を得ることができる。また、予め選択された特徴抽出手段を用いて特徴抽出を行うことから、処理速度やメモリー容量などの処理負担の増加を抑制しつつ、適切な特徴の抽出を行うことができる。また、画像の検索に際しては、画像の特徴を入力する簡単な操作により、記録された複数の画像から所望の内容や構成の画像を検索することができる。

また、請求項５に係る発明によれば、ユーザにおいては送信相手先に応じて特徴を付加した画像と、付加しない画像とを選択的に送信することができ、ユーザー以外の者においては、所望の内容や構成の撮影画像を検索する際に有用な特徴情報を得ることができる。

以下、本発明の一実施の形態を図に従って説明する。

（第１の実施の形態）
図１（Ａ）は各実施の形態に共通するデジタルカメラ１の正面図、（Ｂ）は背面図、（Ｃ）は側面透視図である。このデジタルカメラ１の本体２には、その上面部に半押し機能を備えたレリーズ釦（シャッタースイッチ）３と電源スイッチ４とが配置されており、正面部にはグリップ部５、ストロボ６および撮像レンズ部の受光窓７が配置されている。また、背面部には、モード切替スイッチ８、ズーム操作キー９、カーソルキー１０、決定／ＯＫキー１１、ＤＩＳＰキー１２、メニューキー１３および電子ファインダとしても機能するＬＣＤからなる表示部１４が配置されているとともに、メモリー媒体と電池とを収納するメモリー媒体／電池収納部１５が設けられている。また、回動式ミラー１８、レンズ群１９およびＣＣＤ等で構成される電子撮像センサ２０等が配置されている。
なお、後述するフローチャートにおいて説明する「選択」あるいは「設定」は、カーソルキー１０、決定／ＯＫキー１１、ＤＩＳＰキー１２、メニューキー１３を適宜操作することによりなされる。また、メニューキー１３の操作により表示部１４に選択可能な文字列が表示され、この文字列からカーソルキー１０と決定／ＯＫキー１１の操作によりいずれかの文字を選択することにより、後述する検索項目、ワード等の文字を入力することも可能である。

図２は、デジタルカメラ１の概略的回路構成を示すブロック図である。このデジタルカメラ１は、ユーザーにより操作される操作入力手段１３０を備えている。この操作入力手段１３０には、撮影条件設定手段１０１、特徴データの選択手段１０２、特徴データ付加の設定手段１０３、特徴記述様式の選択手段１０４、撮影・記録制御手段１０５が接続されている。撮影条件設定手段１０１は、操作入力手段１３０からの操作入力信号に基づき、撮影条件を設定する。特徴データの選択手段１０２は、前記操作入力信号に基づき、特徴抽出手段１０６が有するいずれかの特徴抽出部Ａ、Ｂ、・・・を選択する。特徴データ付加の設定手段１０３は、前記操作入力信号に基づき、抽出された特徴データを画像に付加するか否かを設定する。特徴記述様式の選択手段１０４は、前記操作入力信号に基づき、特徴データを付加する際の記述様式を選択する。また、特徴データ符号化手段１０７は、前記いずれかの特徴抽出部Ａ、Ｂ、・・・により抽出された特徴データを符号化する。 さらに、このデジタルカメラ１には、撮像手段１０９、信号処理手段１１０、画像データメモリー１１１、画像・動画像の圧縮／符号化手段１１２、多重化部１１３、メモリー制御手段１１４、画像データメモリー１１５、多重分離部１１６、画像・動画像の伸張／復号化手段１１７、表示制御手段１１８および表示手段１１９が設けられている。前記撮影・記録制御手段１０５は、前記操作入力信号（撮影指示操作入力信号）に基づき、撮像手段１０９を制御するとともに、前記撮影条件設定手段１０１の設定内容に従って信号処理手段１１０を制御する。一定のタイミング毎に撮像手段１０９により取り込まれる画像信号は、信号処理手段１１０により処理されて画像データメモリー１１１に一時的に記憶されるとともに、表示制御手段１１８を介して表示手段１１９に与えられることにより、スルー画像として表示手段１１２に表示される。また、撮影指示があった時点で撮像手段１０９により取り込まれて画像データメモリー１１１に一時的に記憶された画像データは、特徴抽出手段１０６転送されるとともに、画像・動画像の圧縮／符号化手段１１２に転送される。

そして、特徴抽出手段１０６において予め選択されている特徴抽出部Ａ、Ｂ、・・・のいずれかにより、特徴が抽出され、この抽出された特徴は特徴データ符号化手段１０７で符号化される。また、画像データ自体は画像・動画像の圧縮／符号化手段１１２で圧縮および符号化され、この圧縮および符号化された画像データと、前記符号化された特徴データとは、多重化部１１３で多重化され、メモリー制御手段１１４により画像データメモリー１１５に記録される。また、画像の再生時においては、メモリー制御手段１１４は、前記多重化された画像データと特徴データとからなる多重データを画像データメモリー１１５から読み出す。この読み出された多重データは、多重分離部１１６にて画像データと特徴データとに分離される。この分離された画像データは、画像・動画像の伸張／復号化手段１１７で伸張および復号化され、画像データメモリー１１１に一時的に記憶される。

さらに、このデジタルカメラ１には、画像検索手段１２０と、再生制御手段１２１とが設けられており、画像検索手段１２０は特徴データの復号化手段１２３、検索特徴量の指定手段１２２および比較手段１２４を有している。検索特徴量の指定手段１２２は、ユーザーの操作に応じて検索特徴量を比較手段１２４に出力する。一方、前記多重分離部１１６で分離された特徴データは、特徴データの復号化手段１２３により復号されて比較手段１２４に出力される。比較手段１２４は、前記検索特徴量と特徴データとを比較して、その比較結果を再生制御手段１２１に出力し、再生制御手段１２１前記比較結果に基づき、検索特徴量と一致する特徴データを有していた画像データを画像データメモリー１１１から表示制御手段１１８に転送する。これにより、表示手段１１９に、検索特徴量と一致する特徴データを有していた画像データに基づく画像を表示させることができる。なお、比較手段１２４には、前記特徴抽出手段１０６からの特徴データも入力される。

図３は、デジタルカメラ１の具体的回路構成を示すブロック図である。このデジタルカメラ１は、ＡＥ、ＡＷＢ、ＡＦ等の一般的な機能を有するものであり、ズームレンズ、フォーカスレンズで構成される前記レンズ群１９を有している。このレンズ群１９の光軸上には電子撮像センサ２０が配置されており、前記レンズ群１９は、モーター等を有する駆動部２１によって駆動される。

このデジタルカメラ１全体を制御する制御回路２２は、ＣＰＵおよびその周辺回路で構成されており、プログラムメモリー２３に格納されているプログラムに基づき、データメモリー２４をワークエリアとして使用しつつ各部を制御する。この制御回路２２には、撮影制御部２５が接続されている。撮影制御部２５は、制御回路２２が発生するタイミング信号に基づき、電子撮像センサ２０を駆動するとともに、測光／測距センサ３３より測光／測距部３４を介して入力される測光データおよび測距データに基づき、前記駆動部２１および映像信号処理部２６を制御する。

前記電子撮像センサ２０の受光面には、レンズ群１９によって被写体が結像される。電子撮像センサ２０は、撮影制御部２５によって駆動され、被写体の光学像に応じたアナログの撮像信号を映像信号処理部２６へ出力する。映像信号処理部２６は、電子撮像センサ２０の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ回路や、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ変換器等から有するとともに、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号および色差（ＵＶ）信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。映像信号処理部２６で変換されたＹＵＶデータは順次画像メモリー２７に格納されるとともに、ＲＥＣスルー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、表示制御部２８を介して前記表示部１４へ送られてスルー画像として画面表示される。したがって、このとき表示部１４は電子ファインダ２９として機能する。なお、表示部１４を電子ファインダ２９として機能させる際には、その中央部にフォーカス枠を表示させ、このフォーカス枠内のをＡＦエリアとして、ＡＦがなされる。

そして、静止画撮影モードにおいては、前記レリーズ釦３に対する操作をトリガとして、制御回路２２は、電子撮像センサ２０、撮影制御部２５、および映像信号処理部２６に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られ画像メモリー２７に一時記憶された画像データは、圧縮符号化・伸張復号部３０で圧縮および符号化され、所定のフォーマットの静止画ファイルとして、画像＆音声メモリー媒体３１（または後述するＨＤＤ記憶装置４６の磁気ディスク４８）に記録される。また、動画撮影モードにおいては、１回目のシャッターキーと２回目のシャッターキー操作との間に、画像メモリー２７に順次記憶される複数の画像データが圧縮符号化・伸張復号部３０で順次圧縮され、順次記憶された後、動画ファイルとして画像＆音声メモリー媒体３１（または後述するＨＤＤ記憶装置４６の磁気ディスク４８）に記録される。この画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録された静止画ファイルおよび動画ファイルは、ＰＬＡＹ・モードにおいてユーザーの選択操作に応じて圧縮符号化・伸張復号部３０に読み出されて伸張および復号化され、ＹＵＶデータとしてに展開された後、表示部１４に表示される。したがって、このとき表示部１４は画像モニター３２として機能する。

前記プログラムメモリー２３には、制御回路２２に前記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、データ通信用プログラム、さらには、後述するフローチャートに示す処理を実行するためのプログラム等の各種のプログラム、後述する類語辞書や心理辞書等が格納されている。また、制御回路２２には、操作入力部３５が入力回路３６を介して接続されている。操作入力部３５には、前記レリーズ釦３や電源スイッチ４等の図１に示したスイッチやキー群等が設けられている。

また、このデジタルカメラ１は、前記動画撮影モード、音声のみを記録する録音モード、音声付き（静止画）撮影モードにおいて、周囲音を記録する録音機能を備えており、このため周囲音を検出するマイク３９が設けられている。このマイク３９からの音声信号は、アンプ４０で増幅され、Ａ／Ｄ変換器４１でデジタル変換され、音声メモリー４２に格納される。この音声メモリー４２に格納された音声データは、前記圧縮符号化・伸張復号部３０で圧縮される。制御回路２２は、この圧縮音声データと前記圧縮動画データとを含む音声付き動画ファイルを生成して画像＆音声メモリー媒体３１（または後述するＨＤＤ記憶装置４６の磁気ディスク４８）に記録する。この画像＆音声メモリー媒体３１（磁気ディスク４８）に記録された動画ファイルの音声データは、ＰＬＡＹ・モードにおいてユーザーの選択操作に応じて圧縮符号化・伸張復号部３０に読み出されるとともに伸張および復号化される。この伸張および復号化された音声データは、Ｄ／Ａ変換器４３でアナログ信号に変換され、アンプ４４を介してスピーカー４５に供給されて音声として再生される。なお、音声記録を行うタイミングは、動画撮影時に限定されず、音声付き静止画撮影モードにおける録音動作時でもよく、また、録音モードやアフレコモードにおける録音動作時でもよい。

また、このデジタルカメラ１は、外部入出力インタフェース３８を介して制御回路２２に接続された外部入出力端子３７を備えている。この外部入出力端子３７には、ＰＣ等の外部機器７０を接続することが可能である。外部機器は７０は、ゲートウェイＧＷおよびインターネット７１を介して、サーバー装置７２に接続可能であり、サーバー装置７２は画像データを格納する画像データベース７３接続されている。一方、ＨＤＤ記憶装置４６は、ＨＤＤ・ＩＦ４７を介して制御回路２２に接続されている。ＨＤＤ記憶装置４６は、前記磁気ディスク４８を有するとともに、モータ４９、モータドライバ５０、マイコン部５１、ＶＣＭ５２、ヘッドアンプ５３、リード／ライトチャンネル５４、ＨＤＤ制御部５５等を有している。

また、制御回路２２には、画像・音声の特徴抽出／認識用データメモリー５６が画像・音声の特徴抽出／認識処理部５７を介して接続されている。後述するように、制御回路２２は、画像・音声の特徴抽出／認識処理部５７を制御して、前記電子撮像センサ２０により取り込まれた画像、および前記マイク３９により取り込まれた音声の特徴を抽出するとともに認識し、画像・音声の特徴抽出／認識用データメモリー５６は、これら抽出および認識された画像の特徴や音声の特徴等を記憶する。また、制御回路２２の制御下で画像・音声の特徴抽出／認識処理部５７が抽出あるいは抽出した特徴の記述データは、圧縮符号化・伸張復号部３０で圧縮符号化されて画像＆音声メモリー媒体３１に記憶される。したがって、画像＆音声メモリー媒体３１には、画像メモリー２７および音声メモリー４２側から入力された画像／音声データ３１ａと、画像・音声の特徴抽出／認識処理部５７側から入力された特徴記述データ３１ｂとが記憶される。

図４は、本実施の形態の処理手順を示すフローチャートであり、制御回路２２はプログラムメモリー２３に格納されているプログラムに基づき、図４に示すフローチャートに従って処理を実行する。先ず、ユーザーによる操作入力部３５での操作により、撮影モードが設定されているか否かを判断する（ステップＳ１０１）。撮影モードが設定されていない場合には、再生モード、設定モードなど、その他のモード処理へ移行する（ステップＳ１０２）。

図５は、このステップＳ１０２により、その他の処理に移行した場合の処理手順を示すフローチャートである。先ず、前記ユーザーによる操作入力部３５での操作により、設定モードが選択されたか否かを判断し（ステップＳ２０１）、設定モードが設定されていない場合には、その他のモード処理へ移行する（ステップＳ２０２）。また、設定モードが設定された場合には、さらに特徴抽出の設定モードが設定されたか否かを判断し（ステップＳ２０３）、特徴抽出の設定モードが設定されていない場合にも、その他のモード処理へ移行する（ステップＳ２０４）。

また、特徴抽出の設定モードが設定された場合には、設定状態の表示など、設定モードの表示処理を行って、表示部１４に後述するような表示を行う（ステップＳ２０５）。次に、この表示処理により表示部１４に表示された選択肢から特徴抽出による撮影方法が選択されたか否かを判断する（ステップＳ２０６）。特徴抽出による撮影方法が選択されたならば、操作に応じて、特徴抽出するか否か、また、特徴抽出による撮影処理の識別を選択する（ステップＳ１０７）。

また、ステップＳ２０６での判断の結果、特徴抽出による撮影方法が選択されなかった場合には、特徴データの記録の設定が選択されたか否かを判断する（ステップＳ２０８）。特徴データの記録の設定が選択された場合には、操作に応じて、特徴データを付加して記録するか否か（ＯＮ／ＯＦＦ）を設定する。特徴データの記録の設定が選択されなかった場合には、特徴データの選択がなされたか否かを判断し（ステップＳ２１０）、特徴データの選択がなされた場合には、操作に応じて、抽出した特徴項目または特徴量を選択し（ステップＳ２１１）、選択された特徴項目、特徴量に基づいて、特徴抽出方法を選択する（ステップＳ２１２）。

また、特徴データの選択がなされなかった場合には、特徴方法の選択がなされたか否かを判断し（ステップＳ２１３）、特徴方法の選択がなされた場合には、操作に応じて、オートまたはカスタム設定の特徴抽出方法を選択する（ステップＳ２１４）。特徴方法の選択がなされなかった場合には、特徴データの記述様式の選択がなされたか否かを判断し（ステップＳ２１５）、特徴データの記述様式の選択がなされた場合には、さらに送付先別に設定するが選択されたか否かを判断する（ステップＳ２１６）。そして、送付先別に設定するが選択された場合には、送付先別に特徴データの記述様式および記述する特徴量を選択する（ステップＳ２１７）。

すなわち、ステップＳ２１６で送付先別に設定するを選択する予定のユーザーは、予め撮像した画像データを送信する相手（メールアドレス）や、該画像データを出力する外部機器等の送付先を入力し、データメモリー２４に記憶させておく。すると、ステップＳ２１７により、各送付先別に特徴データの記述様式および特徴量を選択する処理を行う。これにより、送付先別、つまり画像データを送信する相手や外部機器別に記述様式および記述する特徴量を選択設定されることとなる。
しかし、送付先別に設定するが選択されなかった場合には、操作に応じて、特徴データの記述様式を選択する（ステップＳ２１８）。

また、前記ステップＳ２１５での判断の結果、特徴データの記述様式の選択がなされなかった場合には、識別する被写体の選択がなされたか否かを判断する（ステップＳ２１９）。識別する被写体の選択がなされ場合には、操作に応じて、特徴データに基づいて識別する被写体の種類または識別方法を選択し（ステップＳ２２０）、識別する被写体の選択がなされ場合には、その他のキー処理を実行する（ステップＳ２２１）。しかる後に、設定状態の表示更新など、表示処理を実行して（ステップＳ２２２）、リターンする。

したがって、本実施の形態においては、設定モードにおいて、ユーザー操作に従って、特徴抽出する場合の方法、および、抽出する特徴量、画像識別を行う被写体の設定、類似する画像か否かを比較参照する為のテンプレート画像（テンプレートデータ）の設定などを任意に選択して設定できる。また、撮影モードや画像認識モードなどに応じて、オート（自動）で特徴抽出や画像識別する場合にも、ユーザーの目的や希望に応じて、その抽出方法や識別方法、識別精度などを選択したり、加減調整することもできる。

なお、本実施の形態においては、送付先別に特徴データの記述様式および記述する特徴量を選択して設定し（ステップＳ２１７）、この特徴量の選択により結果的に特徴注出手段（特徴注出方法）が選択されるようにしたが、直接的に特徴注出手段を送付先別に選択設定したり、あるいは特徴注出手段のみ、記述様式のみ、特徴量のみを送付先別に選択設定するようにしてもよい。

一方、前記図４のフローチャートにおいて、ステップＳ１０１での判断の結果、撮影モードが設定されたならば、露出条件などの撮影条件を設定するとともに（ステップＳ１０３）、測光処理、測距処理（ステップＳ１０４）、ズーム処理、ＡＦ処理を実行する（ステップＳ１０５）。

一方、制御回路２２は、予め行われたユーザーの操作に応じた設定処理により、特徴抽出がＯＮとなっているか否かを判断し（ステップＳ１０６）、ＯＮとなっている場合には、撮影前に特徴抽出が設定されているか否かを判断する（ステップＳ１０７）。撮影前に特徴抽出が設定されている場合には、画像データから前記ステップＳ２１７で選択されている特徴量を抽出する（ステップＳ１０８）。さらに、抽出被写体にＡＦする設定がＯＮとなっているか否かを判断し（ステップＳ１０９）、ＯＮとなっている場合には、抽出された特徴量に基づいてＡＦ処理、または、追尾ＡＦ処理を行う（ステップＳ１１０）。
なお、この特徴量に基づくＡＦ処理、追尾ＡＦ処理については、第３の実施の形態において詳述する。

また、ステップＳ１０９での判断の結果、抽出被写体にＡＦする設定がＯＮとなっていない場合には、撮影シーンの自動選択がＯＮに設定されているか否かを判断する（ステップＳ１１１）。ＯＮとなっている場合には、抽出特徴量に基づいて撮影シーンを選択し（ステップＳ１１２）、選択された撮影シーンに応じて撮影条件を設定する（ステップＳ１１３）。また、ステップＳ１１１での判断の結果、撮影シーンの自動選択がＯＦＦとなっている場合には、被写体の識別がＯＮとなっているか否かを判断する（ステップＳ１１４）。ＯＮとなっている場合には、抽出特徴量に基づいて内蔵テンプレート（図１２のテンプレートデータ２４６）と比較し、類似する被写体を識別し分類処理するとともに（ステップＳ１１５）、識別分類結果を記録する（ステップＳ１１６）。さらに、ステップＳ１１４での判断の結果、被写体の識別がＯＦＦとなっている場合には、抽出特徴量に基づいて顔領域を識別し（ステップＳ１１８）、被写体の顔領域にＡＦ処理する（ステップＳ１１９）。

しかる後に、撮像画像をスルー画像表示し（ステップＳ１２０）、これにより、表示部１４には、顔領域にＡＦされることによって被写体の顔にピントがあったスルー画像が表示部１４に表示され、ユーザーはこの表示部１４に表示されたスルー画像を見ながら、このデジタルカメラ１の向きを調整する等してシャッターチャンスを伺うこととなる。したがって、次にレリーズ釦３が押し操作されて撮影指示がなされたか否かを判断する（ステップＳ１２１）。そして、レリーズ釦３が押し操作されて撮影指示がなされたならば、測光処理、ＡＦ処理を実行するとともに（ステップＳ１２２）、設定撮影条件と測光値（および特徴抽出結果）に従い撮影動作し（ステップＳ１２３）、電子撮像センサ２０から取り込まれた画像データを圧縮符号化する（ステップＳ１２４）。

次に、特徴データの付加記録がＯＮに設定されているか否かを判断し（ステップＳ１２５）、ＯＮに設定されていない場合には画像データと撮影情報とを画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する。また、ＯＮに設定されている場合には、撮影後に特徴抽出が設定されているか否かを判断し（ステップＳ１２６）、設定されている場合には前記記録した画像データから選択されている特徴量を抽出する（ステップＳ１２７）。また、被写体の識別分類がＯＮとなっているか否かを判断し（ステップＳ１２８）、ＯＮとなっている場合には、識別・分類結果を特徴データに付加する（ステップＳ１２９）。さらに、特徴データを選択されている記述様式で符号化し（ステップＳ１３０）、ファイル名を付して前記画像データ、撮影情報とともに特徴データを画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する（ステップＳ１３１）。しかる後に、撮影画像を表示部１４にレビュー表示し、または、特徴抽出結果を表示し（ステップＳ１３３）、その他のキー処理、表処理を行って（ステップＳ１３４）、リターンする。

したがって、前記ステップＳ２１６で送付先別が選択されて、ステップＳ２１７で送付先別に特徴データの記述様式および記述する特徴量が選択されていると、ステップＳ１３１の処理により、特徴データは送付先別に選択された記述様式で符号化されて画像データ、撮影情報とともに画像＆音声メモリー媒体３１に記録されることとなる。そして、この画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録された前記画像データ、撮影情報および特徴データは、外部入出力端子３７に、ＰＣ等の外部機器７０を接続した状態において、外部機器は７０に送信することができ、さらには、この外部機器は７０
、ゲートウェイＧＷおよびインターネット７１を介して、サーバー装置７２に送信したり、相手先メールアドレスに送信することが可能となる。

図６は、前記図５のフローチャートにより実行される特徴抽出の設定モードにおける表示部１４の表示画面例を示す図である。（ａ）特徴抽出撮影、画像認識撮影の設定メニューにおいては、「撮影モード 静止画」「特徴抽出・識別 抽出被写体にＡＦ」・・・等のメニューを表示し（ａ１）、「特徴抽出・識別 抽出被写体にＡＦ」が選択されると「ＯＦＦ（抽出しない）」「被写体の特徴記録」・・・等の選択肢を表示する（ａ２）。また、（ｂ）特徴抽出方法の設定メニューにおいては、「撮影モード 静止画」「特徴識別 被写体の特徴記録」「特徴抽出方法 オート（シーン別）」・・・等のメニューを表示し（ｂ１）、「特徴抽出方法 オート（シーン別）」が選択されると、「オート（撮影シーン別）」や「色の抽出」「輪郭の抽出」「テクスチャー抽出」・・・との特徴抽出方法の設定（ｂ２）に移行する。また、（ｃ）抽出した特徴データの記述様式の設定においては、「撮影モード」・・・「特徴データの記録」・・・等を表示し、「特徴データの記録」が選択されると「ＯＦＦ（記録しない）」「ＤＣＦ拡張形式」「ＭＰＥＧ−７」・・・等の記述様式を表示して、いずれか（図の例では「ＭＰＥＧ−７」）を選択させる。また、（ｄ）識別する被写体の設定においては、「識別する被写体 人物の顔」「識別アルゴリズム 特徴点グラフ」等を表示させて、いずれかを選択させる。

なお、選択項目は、図６に示したものに限らず、以下のような項目とするようにしてもよい。すなわち、写真を検索する場合には、その主な利用用途、例えばａ）画像を印刷する、ｂ）画像をホームページ等にアップロードする、ｃ）画像データを外部機器に送る、ｄ）画像を編集する、ｅ）他人に送る、などの主な用途や優先度を選択し、それに応じて、抽出すべき特徴量や組合せを選択し、特徴量に応じて、特徴抽出方法を選択するようにしてもよい。

例えば、画像を印刷する場合には、特定の画像やシーンだけで効率よく検索することが好ましく、画像の付加データとして、撮影日時とともに、シーンや被写体の種別、および、撮影場所などを識別して、特徴データやメタデータとして記録しておくことにより、迅速に検索でき、効率的となる。

また、ホームページなどのアップロードする画像素材を探すことが多い場合には、過去から最近までの画像の中から、文脈や目的に合った画像を検索する必要があり、被写体の識別だけでなく、その情景やイメージを表す、色調や配色パターン、テクスチャーなども特徴データとして記録しておくことにより、迅速な検索が可能となる。

また、画像を他人に送る場合には、送る相手の顔が写っている画像や、一緒に出かけた旅行の写真を検索することが多く、友人の登録画像との類似度など、顔の特徴データの抽出を行い、類似度や認識結果を記録しておくと、迅速な検索が可能となる。

また、画像データを送信する相手（メールアドレスなど）毎に、または、出力する相手側機器別に、どの特徴データを抽出するか、また、その特徴データを付加して記録するか、送信するかを設定しておき、送信相手または出力機器に応じて、設定された特徴データが付加されて送信／出力できるようにることができる。

また、送信する相手または出力する機器が変わる場合には、撮影時に抽出されて記録された特徴記述データと異なる特徴を新たに抽出したり（再抽出）、特徴記述データに付加したり（再記録）できるようにすることが好ましい。

また、特徴抽出においては、当該画像の撮影時に記録された撮影条件データ、例えば、撮影モード、画像サイズ、画質、ＡＦモード、測光モード、測光値、被写体距離、露出条件、感度、照明条件、静止画／動画／連写モード、などに基づいて、特徴抽出したり、特徴抽出手段を選択するように構成すると、当該画像の特徴の抽出を効率的に行い得る。例えば、選択されたオートフォーカスのＡＦ（合焦）枠や、測光方式がスポット測光や中央重点測光などの場合には、ＡＦ枠や測光枠は主要な被写体に向けられて撮影されることが多いので、当該枠を中心にその隣接周辺領域で、主要被写体の色相分布または輪郭線による人物や被写体の識別を行うのが効果的である。また、合焦ＡＦ枠が２〜３と複数の場合には、複数の人物や被写体の画像と判断され、複数の被写体の色相分布または輪郭線よる識別等を行うのが効果的である。他方、平均測光やパンフォーカスの場合では、画像の領域全体に被写体が分散した画像や近景、遠景を含む風景などを撮影した画像が多いので、それに応じて、広い範囲での輝度や色相分布による特徴抽出や、拝啓のテクスチャー解析などの特徴抽出手段を選択できる。このように、抽出すべき特徴量や抽出方法だけでなく、抽出対象の画像領域、抽出オブジェクトの設定、抽出アルゴリズム、抽出レベル、分解能やビット数、類似度など、特徴抽出や画像識別の設定パラメータを、前記撮影条件データに応じて設定することができる。

図７は、本実施の形態における特徴抽出処理と特徴データの記録処理の概要（制御の流れ）を示す説明図である。すなわち、ユーザーによって予めなされる設定項目２０１に対する設定操作ｃにより、抽出する特徴項目２０２、特徴データ付加のＯＮ／ＯＦＦ２０３、特徴データの記述様式２０４が選択される。また、撮影条件２０５に対する設定操作ｂにより、撮影条件などの撮影情報２０６が確定する。そして、撮影操作ａを行うと、撮影処理２０７が実行され、撮影画像２０８が取得され、この撮影画像２０８に対して画像の圧縮／符号化２０９がなされ、画像データファイル２１０において符号化画像データ２１１やサムネイル画像２１２として記録される。また、前記撮影条件などの撮影情報２０６は、画像データファイル２１０においてヘッダ情報２１３として記録される。

一方、撮影画像２０８からは、前記選択された特徴事項について特徴抽出２１４がなされて、特徴抽出データ２１５が得られる。この特徴抽出データ２１５は、前記選択された特徴データの記述様式２０４に従って、特徴データの記述符号化２１８されて、特徴記述コード２１６が得られ、この特徴記述コード２１６が前記画像データファイル２１０において拡張ヘッダ情報（画像特徴データ等）２１７として記録されるのである。
なお、図７において、２０６ａは撮影条件などの撮影情報２０６の具体例を示し、２１６ａは特徴記述コード２１６の具体例を示す。

図８は、本実施の形態における、画像から抽出した特徴データの記述例を示す図である。すなわち、撮影した主画像（１）から、その画像の特徴部分の部分画像（Ｓｔｉｌｌ Ｒｅｇｉｏｎ）（２）〜（８）を抽出する。そして、主画像（１）からは特徴データとして「類似：サッカー５」を抽出し、部分画像（２）からは特徴データとして「形：人間、代表色：Ｂｌｕｅ（ブルー）、類似：サッカー５」を抽出し、部分画像（３）からは特徴データとして「代表色：Ｇｒｅｅｎ（グリーン）、テクスチャー：植物、類似：芝生」を抽出する。以下同様にして、部分画像（４）〜（８）からの各々図中に記載した特徴データを抽出する。また、撮影した主画像（１０）から、その画像の特徴部分の部分画像（Ｓｔｉｌｌ Ｒｅｇｉｏｎ）（１１）および（１２）を抽出する。そして、主画像（１０）からは特徴データとして「類似：港３」を抽出し、部分画像（１１）からは特徴データとして「形：人間、代表色：Ｂｌｕｅ（ブルー）、テクスチャー：海、類似：船１」を抽出する。

また、これら特徴データの記録（出力）は、ユーザー操作により選択された方法（記述用紙に従って、例えば、特徴データをＤＦＣやＥＸＩＦなどの画像ファイルのヘッダ情報の拡張データとしても、あるいは、ＭＰＥＧ−７（ＩＳＯ／ＩＥＣ １５９３８）規格に準じたメタデータ記述ファイル、または、ＳＭＰＴＥ（Society of Motion Picture and Television Engineeers）規格、ＥＢＵ（European Broadcasting Union）によるＰ／Ｍｅｔａ規格、ＴＶ−Ａｎｙｔｉｍｅ（TV-Anytime Forum）規格、Ｗ３ＣによるＳＭＩＬ（Syncronized Multimedia Integration Language）規格、あるいは、Ｄｕｂｌｉｎ Ｃｏｒｅ（Dublin Core Metadate Initiative）とＲＤＦ（W3C、Resource Description Framaework）によるＸＭＬ構文、などの各種メタデータ記述用の規格や言語、あるいは、ＸＭＬ（W3C）などの汎用記述言語に準じた記述ファイル、あるいは、これらをバイナリデータ等に交換した記述データファイル等から、任意に選択して記録（出力）するようにできる。

図９において、（ａ）はＭＰＥＧ−７による特徴データの記述例を示し、（ｂ）はＤｕｂｌｉｎ ＣｏｒｅとＲＤＦのＸＭＬ構文による特徴データの記述例を示し、（ｃ）はＳＭＩＬによる特徴データの記述例を示す。

なお、例えば、最も古くから書誌情報のメタデータ記述法として用いられているＤｕｂｌｉｎ Ｃｏｒｅ（１９９５）では、タイトル（title）、概要記述（description）、出版社（publisher）、作者（creator）、著作権（ights）、年月日（date）、種別（type）、様式（format）、・・・など１５の基本属性（Dublin Core Metadata Element Set:DCMES）が規定されており、表記法は例えばＸＭＬに準じたＲＤＦ（Resource Description framework）のスキーマなどを用いて記述する。各種メタデータ記述規格では、放送映像用やビットストリーム映像用、ネットワーク配信用など、用途別の規格によって記述子や記述スキーム等はそれぞれ異なるが、同様に、このような書誌情報の多くを記述できる。

マルチメディア用のメタデータ記述規格のＭＰＥＧ−７（ISO/IEC 15938）の、ＭＰＥＧ−７Ｖｉｓｕａｌ（ISO/IEC 15938-3）では、画像や映像データ、音声などの各種の特徴を記述できる記述子（Descriptor）と記述書式（Description Scheme）等も詳細に定義されている。例えば、色やテクスチャー、輪郭形状などの特徴を表すために以下のような記述子が用意されているので、これに準じて記述してもよい。
Ｃｏｌｏｒ ｓｐａｃｅ（色空間を指定する記述子）、
Ｃｏｌｏｒ ｑｕａｎｔｉｚａｔｉｏｎ（色空間の量子化方法を指定する記述子）、
Ｄｏｍｉｎａｎｔ ｃｏｌｏｒ（任意形状領域における代表色を表す記述子）、
Ｓｃａｉａｂｌｅ ｃｏｌｏｒ（色特徴をＨＳＶ色空間におけるカラーヒストグラムで表 す記述子）、
Ｃｏｌｏｒ ｌａｙｏｕｔ（色の分布をＤＣＴ係数で表す記述子）、
Ｃｏｌｏｒ ｓｔｒｕｃｔｕｒｅ（色の分布における偏りの程度を表す記述子）など、
Ｈｏｍｅｇｅｎｅｏｕｓ ｔｅｘｔｕｒｅ（テクスチャーの特徴を、画像強度と周波数空 間上のエネルギー分布により表す記述子）、
Ｔｅｘｔｕｒｅ ｂｒｏｗｓｉｎｇ（テクスチャーの特徴を、均一性、粒度、方向性の３ 要素で表す）、
Ｅｄｇｅ ｈｉｓｔｏｇｒａｍ（エッジ特徴の分布をヒストグラムにより表す記述子）、
Ｒｅｇｉｏｎ ｓｈａｐｅ（領域の形状特徴を表す記述子）、
Ｃｏｎｔｏｕｒ ｓｈａｐｅ（領域の閉輪郭線の形状特徴を表す記述子）、

図１０は、前記図４に示したフロー中の、特徴量を抽出する処理（ステップＳ１０８、ステップＳ１２７）の処理手順を示すサブルーチンであり、対象となる画像データを読み込んだ後、設定されている抽出すべき特徴量または特徴抽出方法などの設定データを読み込み、それに応じて、設定されている特徴データを抽出して特徴データ記述ファイル出力すものである。

すなわち、対象画像データファイルを読み込み（ステップＳ３０１）、特徴抽出処理の設定データを読み込む（ステップＳ３０２）。次に、抽出する特徴はオートに設定されているか否かを判断し（ステップＳ３０３）、オートに設定されていない場合には、設定データに基づいて、特徴抽出する特徴の種類を設定する（ステップＳ３０４）。また、オードに設定されている場合には、当該画像の撮影情報を読み込み（ステップＳ３０５）、撮影モードまたは撮影条件に基づいて、抽出する特徴の種類を選択する（ステップＳ３０６）。

そして、このステップＳ３０６または前記ステップＳ３０４に続き、抽出する特徴の種別に応じて、前処理、および、特徴抽出手段を選択した後（ステップＳ３０７）、前処理１（ステップＳ３０８）および前処理２（ステップＳ３０９）を実行する。前処理１においては、画像強調、または、鮮鋭化などを行い、前処理２においては、２値化、または、正規化、回転、座標変換、細線化、膨脹収縮処理、などを行う。

しかる後に、特徴抽出処理（色領域の抽出）（ステップＳ３１０）、特徴抽出処理（輪郭形状の特徴抽出）（ステップＳ３１２）、特徴抽出処理（テクスチャーの特徴抽出）（ステップＳ３１４）、特徴抽出処理（位置・配置の特徴抽出）（ステップＳ３１６）、・・・特徴抽出処理（動きの抽出）（ステップＳ３１８）等を実行する。そして、特徴抽出処理（色領域の抽出）（ステップＳ３１０）を実行した場合には、代表色、色分布、ＲＧＢヒストグラム、ＤＣＴ係数などの特徴記述データを作成する（ステップＳ３１１）。特徴抽出処理（輪郭形状の特徴抽出）（ステップＳ３１２）を実行した場合には、代形状評価値、フーリエ記述子、パワースペクトルなどの特徴記述データを作成する（ステップＳ３１３）。特徴抽出処理（テクスチャーの特徴抽出）（ステップＳ３１４）を実行した場合には、輝度ヒストグラム、フーリエスペクトル、共起行列、自己関数などの特徴記述データを作成する（ステップＳ３１５）。特徴抽出処理（位置・配置の特徴抽出）（ステップＳ３１６）を実行した場合には、位置座標、ＤＣＴ係数など特徴記述データを作成する（ステップＳ３１７）。特徴抽出処理（動きの抽出）（ステップＳ３１８）を実行した場合には、動きスペクトル、強度分布などの特徴記述データを作成する（ステップＳ３１９）。

前記色の特徴抽出では、当該他像の色データに基づいて、ＲＧＢやＨＳＶ値などの色差ヒストグラムや色分布、あるいは、色差成分のＤＣＴ変換後のＤＣＴ係数などを求め、特徴量とする。輪郭形状の特徴抽出では、輪郭図形の外周輪郭線に沿って偏角関数や位置座標の列を一次元データに変換した後、Ｐ型フーリエ記述子（後述）等のフーリエ記述子や、各種の形状評価値などを求め、形状の特徴量とする。テクスチャーの特徴抽出では、当該画像データの輝度ヒストグラム分布やフーリエ変換スペクトルなどを求めたり、あるいは、後述するように輝度の共起行列や複数のマスクを用いる高次局所自己相関関数による相関行列等を求め、テクスチャーの特徴量とする。同様に、主要被写体の配置や配色などの特徴抽出には、輝度情報や色差情報の位置座標やＤＣＴ変換により周波数空間に変換した場合のＤＣＴ係数などを求め、配置や配色の特徴量とする。動きの特徴抽出では、動きベクトルやフーリエ変換、ＤＣＴ変換による強度分布などを特徴量とすることができる。その他、抽出する特徴量に応じて、所定の輝度や色相等の領域の抽出処理、所定のフィルタ処理などを行ってもよい。

次に、認識処理をするか否かを判断し（ステップＳ３２０）、認識処理をする場合には、認識対象のテンプレートデータ（図１２参照）を読み込む（ステップＳ３２１）。次の認識処理により、前記読み込んだテンプレートデータとのテンプレートマッチング、または、相関度、類似度、類似距離、差分我の算出などを行い（ステップＳ３２２）。つまり、被写体の識別や類似度の判定、人間顔領域の識別などを必要とする場合には、識別したいテンプレートとなる参照画像データやその特徴データを読み込み、対象画像と参照画像とのテンプレートマッチング、または、各々の特徴データを比較して、相関度、類似度、類似距離などを算出する。そして、前記ステップＳ３１０〜Ｓ３１９の処理により、抽出されたデータ、または、前記ステップＳ３２２の処理による認識結果を出力する（ステップＳ３２３）。

次に、上記において用いる特徴抽出方法の具体例について、その概要を説明する。
（先鋭化、輪郭抽出）
特徴抽出処理の例として、１次微分フィルタまたは２次微分フィルタ処理による画像の先鋭化処理、エッジ（輪郭）抽出処理を行うことができる。また、このようなフィルタ処理を、前述の前処理における画像の先鋭化処理や、特徴抽出処理における輪郭抽出やエッジ抽出などに利用できる。被写体像の輪郭形状や外形パターン、面積などを特徴データに利用するには、特徴抽出したい画像データの輝度置等を、画素毎に輪郭強調やエッジ検出用のフィルタ演算等を行って、輪郭強調や外形抽出した画像に変換してから、特徴データ等を抽出する。

一般に、階調が変化する部分のエッジがボケた画像ｆ（ｉ，ｊ）を、
Δｘ_ｆ＝ｆ（ｉ＋ｊ，ｊ）−ｊ（ｉ−１，ｊ）、
Δｙ_ｆ＝ｆ（ｉ＋ｊ，ｊ）−ｊ（ｉ−１，ｊ）、
ｇ（ｉ，ｊ）＝√｛（Δｘ_ｆ）^２＋（Δｙｆ）^２｝、
または、ｇ（ｉ，ｊ）＝｜Δｘｆ｜＋｜Δｙｆ｜、
等の演算により、１次部分や勾配（Gradient）を求めると、階調が変化する勾配部分や輪郭を抽出できる。

あるいは、
∇^２ｆ（ｉ，ｊ）＝∂^２ｆ／∂ｘ^２＋∂^２ｆ／∂ｙ^２、または、
∇^２ｆ（ｉ，ｊ）＝ｆ（ｉ＋１，ｊ）＋ｆ（ｉ−１，ｊ）＋ｆ（ｉ，ｊ−１）＋ｆ（ｉ，ｊ −１）−４ｆ（ｉ，ｊ）
等の演算により、さらに微分する２次微分（Laplacian）処理を施し、この結果を原画像データから差し引くと、エッジ部分の高周波成分を強調した画像を合成でき、ボケたエッジや輪郭を強調することができる。エッジや輪郭の強調処理をソフトウエア処理で御構内には、「Ｐｒｅｗｉｔｔフィルタ」「Ｓｏｂｅｉフィルタ」や「Ｋｉｒｓｃｈフィルタ」「Ｒｏｂｅｒｔｓフィルタ」等の１次微分の空間フィルタ演算子（オペレータ）、または、「Ｌａｐｌａｃｉａｎｔフィルタ」等の２次微分の空間フィルタ演算子等を用いることができる。

（２値化、平均化、輝度変換）
また、輝度ヒストグラムの変換処理などにより、中間階調など画像強調を行う例、２値化処理や所定の輝度領域の抽出などができる。被写体像の画像データ（輝度値や色差値）の分布パターンなどを特徴データとして利用する場合に、画像データの輝度分布（ヒストグラム）を求め、輝度変換処理を行うことにより中間階調などの強調や圧縮ができる。また、所定の閾値との大小で２値化したり、所定の輝度の領域だけを抽出することができる。あるいは、画素数毎に輝度値や色差値を平均化して、パターン単純化や情報量の圧縮ができる。

（膨脹、収縮、細線化、線図形化）
また、輪郭形状などから被写体の形状や特徴を判別するには、先ず、形状を単純化して情報量を圧縮や線図形化してから判別することが好ましい。例えば、２値化された画像の輪郭や、１−画素と０−画素の境界領域で、１−画素を（８近傍の画素の）一層分だけ外側に太くする、所謂「膨脹」（Expansion）処理を行うと、輪郭などの境界部分の小さな孔や溝が取り除かれ、また、同図（ｂ）のように、逆に、一層分だけ細くする「収縮」（Contraction）処理により境界部分の突起や孤立点などが取り除かれるので、膨脹処理と収縮処理を組み合わせることで、図（ｃ）、（ｄ）のように、凹部や凸部の除去や形状の単純化ができる。

また、２値化された画像から、線幅が１の中心を抽出する、所謂「細線化」（Thinning）処理により、骨状（スケルトン）の概略形状を求めることができる。また、２値化された輪郭パターンの周囲を外側と内側とから境界に沿ってたどり、境界部画素を１とし、残りの画素を０とする「境界線追跡」処理により、輪郭の境界線のみの画像に変換できる。あるいは、輪郭形状の数画素毎に選択した画素のみを折れ線で連結する「折れ線近似」処理などを用いてもよい。

（輪郭形状の特徴）
形状の識別は、２値化や線図形化したテンプレート画像やその特徴量を記憶しておき、それらと入力画像の２値化や線図形化した画像や特徴データとの相関度や類似度などを計算して、形状の識別や類似度の判別ができる。あるいは、領域内の画像からテンプレート画像と類似する画像の位置を順次検索するテンプレートマッチング等の手法により、類似する画像や図形の検索ができる。また、簡略には、被写体像の２値化画像や輪郭図形、境界線図形等の縦横の大きさ、半径、周囲長、画素数、面積、幾何学的な寸法の比などから、簡易に類似度判断や被写体の識別を行ってもよい。

例えば、円では周囲長Ｌ＝２πｒ、面積Ｓ＝πｒ^２なので、（周囲長Ｌ）^２／（面積Ａ）＝４πとなることから、図形の輪郭線の円らしさを、
円らしさ＝（周囲長Ｌ）^２／（面積Ｓ）、または、
円形度ｅ＝４π（円らしさ）＝４πＳ／Ｌ^２として計算して、
円らしさが４π（＝12.57）に近い値かどうか、または、円形度が１．０に近いかどうかで、丸い形状の被写体か、凹凸が多い尖った被写体か等を計算し、形状の識別に利用できる。同様に、輪郭の縦横比＝長さｈ／幅ｗなどから、形状の「細長さ」等の評価値を求めてもよい。

（輪郭形状の偏角関数、位置座標関数）
また、図形の輪郭線に沿って、始点から順次、偏角θ（ｓ）を求めて、１次元関数（偏角関数）に変換して、輪郭形状の特徴量として利用できる。あるいは、同様に、輪郭線に沿って順次、位置座標ｘ（ｓ）、ｙ（ｓ）、または、ｚ（ｓ）＝ｘ（ｓ）＋ｊ・ｙ（ｓ）を求めて、１次元の位置座標関数に変換して、輪郭形状の特徴量として利用できる。

（輪郭形状のフーリエ記述子）
（Ｚ形記述子）
例えば、前述の偏角関数θ（ｓ）を正規化して、正規化偏角関数：θ_Ｎ（ｓ）＝θ（ｓ）−θ（０）−２πｓ／Ｌ、
を求め、これの（ｉ＝０，１，２・・・，Ｎ−１）の離散化データφ［ｉ］をフーリエ変換して、次のようなＺ（Zahn）形フーリエ記述子を求め、輪郭形状の識別に利用できる。
θ_Ｎ（ｓ）の離散化データ：φ［ｉ］＝θ［ｉ］−θ［０］−２πｉ／Ｎ
（i=0,1,2・・・,N-1）
θ_Ｎ（ｓ）の離散フーリエ変換（＝Ｚ形記述子）：Ｃｚ［ｋ］＝（１／Ｎ）Σφ［ｉ］EXP（−ｊ２πｋｉ／Ｎ）。

（Ｇ形記述子）
同様に、前述の位置座標の複素平面座標ｚ（ｓ）を離散フーリエ変換して、Ｇ（Grundlund）形フーリエ記述子を求め、輪郭形状の識別に利用してもよい。
位置座標の複素平面座標ｚ（ｓ）＝ｘ（ｓ）＋ｊ・ｙ［ｓ］、
ｚ（ｓ）の離散化データｚ（ｉ）＝ｘ［ｉ］＋ｊ・ｙ［０］ （i=0,1,2・・・,N-1）、
ｚ（ｓ）の離散フーリエ変換（＝Ｇ記述子）：Ｃｇ［ｋ］＝（１／Ｎ）Σｚ［ｉ］EXP（−ｊ２πｋｉ／Ｎ）。

（Ｐ形記述子）
また、折れ線近似した偏角θ［ｉ］の指数関数ｗ［ｉ］を求め、ｗ［ｉ］をフーリエ変換した、Ｐ（Phase）形記述子を求め、輪郭形状の識別に利用してもよい。
ｗ［ｉ］＝exp（ｊθ［ｉ］）＝cosθ［ｉ］＋sinθ［ｉ］
＝（ｚ［ｉ＋１］−ｚ［ｉ］）／δ、
ただし、線分δ＝｜ｚ［ｉ＋１］−ｚ［ｉ］｜
ｗ［ｉ］の離散フーリエ変換（＝ｐ形記述子）：Ｃｐ［ｋ］＝（１／Ｎ）Σｗ［ｉ］exp（−ｊ２πｋｉ／Ｎ）。

（輪郭の抽出と形状の識別）
図１１は、輪郭形状の抽出と被写体の形状識別処理の処理手順を示すフローチャートである。先ず、被写体の画像を取り込み（ステップＳ４０１）、この処理により画像２４０を取り込む。次に、輝度階調値または色差信号に基づいて複数領域に分割し（ステップＳ４０２）、この処理により魚部分２４１を含む領域が分割される。さらに、被写体の領域を選択し（ステップＳ４０３）、この処理により魚部分２４１が選択される。引き続き、領域の画像を２値化し（ステップＳ４０４）、この処理により魚部分の２値化画像２４２が生成される。また、エッジを検出し（ステップＳ４０５）、この処理により魚形状のエッジ２４３が検出される。次に、検出したエッジをＮ辺の等辺多角形で近似し（ステップＳ４０６）、この処理により近似形状の輪郭線２４４が得られる。

さらに、得られた輪郭線のＰ形記述子などフーリエ記述子を求めて（ステップＳ４０７）、パワースペクトルを求め（ステップＳ４０８）、この処理によりパワースペクトル２４５が求められる。引き続き、低周波成分からｎ個の成分を取り出し、データ圧縮して、輪郭線データとし（ステップＳ４０９）、求めた特徴量をメモリー−（特徴抽出／認識用データメモリー５６）に記憶する（ステップＳ４１０）。そして、このメモリーに記憶した特徴量と記憶済のテンプレートデータ２４６（図１２参照）とを順次比較し、類似度を求める（ステップＳ４１１）。さらに、当該被写体を最も類似するテンプレートデータに対応する種類と判定して、当該種類の特徴データを記述し（ステップＳ４１２）、この特徴データの記述データを出力する（ステップＳ４１３）。

ここで、前記テンプレートデータ２４６は、図１２に示すように、魚における「科」「魚名」等の種類２４６ａ、特徴データ１２４ｂ、輪郭図形２４６ｃ、色・柄・テクスチャー２４６ｄとが対応して記憶されている。したがって、本例の場合、例えば前記ステップＳ４０９で得られた輪郭線特徴データとテンプレートデータ２４６における輪郭図形とを、ステップＳ４１１で比較して類似度を求めることにより、ステップＳ４１２で「チョウチョウウオ科」であると判定することができる。よって、この「チョウチョウウオ科」の特徴データ２４６ｂの記述データがステップＳ４１３で出力されることとなる。

（代表色、色分布の抽出）
図１３は、選択された領域画像のＲＧＢヒストグラムから代表色やその分布の分散度合いを特徴抽出する処理手順例を示すフローチャートである。被写体の画像を取り込み（ステップＳ５０１）、輝度階調値または色差信号に基づいて複数の輪郭領域に分割する（ステップＳ５０２）。次に、面積の大きい領域、または中央のフォーカス枠に近い領域から順に１〜ｎ個の被写体領域を選択し（ステップＳ５０３）、各分割領域毎にＲＧＢ別ヒストグラム分布Ｐｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）を求める（ステップＳ５０４）引き続き、このＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）をそれぞれ全体が１．０となるように正規化する（ステップＳ５０５）。

そして、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の最頻値を求める（ステップＳ５０６）。
μ_ｒ＝Ｍａｘ｛Ｐ_ｒ（ｉ）｝，
μ_ｇ＝Ｍａｘ｛Ｐ_ｇ（ｉ）｝，
μ_ｂ＝Ｍａｘ｛Ｐ_ｂ（ｉ）｝，
また、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の平均μを求める（ステップＳ５０７）。
μ_ｒ＝Σｉ・Ｐ_ｒ（ｉ），
μ_ｇ＝Σｉ・Ｐ_ｇ（ｉ），
μ_ｂ＝Σｉ・Ｐ_ｂ（ｉ），
また、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の分散σ^２を求める（ステップＳ５０８）。
σ_ｒ ^２＝Σ（ｉ−μ_ｒ）^２・Ｐ_ｒ（ｉ），
σ_ｇ ^２＝Σ（ｉ−μ_ｇ）^２・Ｐ_ｇ（ｉ），
σ_ｂ ^２＝Σ（ｉ−μ_ｂ）^２・Ｐ_ｂ（ｉ），
次に、各領域のＲＧＢヒストグラムの最頻値または平均値を代表色とし、代表色とＲＧＢの分散値を色の特徴データとして記述して出力する（ステップＳ５０９）。

図１４は、領域画像を複数ブロックに分割して、ブロック毎の平均色を求め、そのＤＣＴ変換したＤＣＴ係数の分布データなど、色分布や配色パターンの特徴を抽出する処理手順例を示すフローチャートである。撮影画像、または、領域画像を取り込み（ステップＳ６０１）、領域を縦ｍ×横ｎの複数ブロック領域に分割する（ステップＳ６０２）。次に、各分割ブロック領域の平均色を算出し（ステップＳ２０３）、各分割ブロック領域の平均色をＲＧＢまたはＹＣｂＣｒ空間でＤＦＴ変換またはＤＣＴ変換で周波数に変換し、各係数を求める（ステップＳ６０４）。そして、ＤＦＴまたはＤＣＴの低周波成分の係数をジグザグスキャンなどで走査して１次元化し（ステップＳ６０５）、この１次元化した各係数を量子化（デジタル符号化）し（ステップＳ６０６）、このデジタル符号化したＤＦＴまたはＤＣＴ係数列を、色分布の特徴データとし記述し出力する（ステップＳ６０７）

（画像データの変換）
画像データのＲＧＢ信号や輝度信号Ｙ、色差信号Ｃｂ，Ｃｒ、あるいは、色相／彩度／明度を表すＨＳＶ（またはＨＳＢ）データ等は、以下の変換式で相互に容易に変換できる。
例えば、ＲＧＢデータをＹＣｂＣｒデータに変換するには、
Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ、
Ｃｂ＝０．１７２＊Ｒ−０．３３９＊Ｇ＋０．５１１＊Ｂ＋ＣＥＮＴＥＲ、
Ｃｒ＝０．５１１＊Ｒ−０．４２８＊Ｇ−０．０８３＊Ｂ＋ＣＥＮＴＥＲ、
ＹＣｂＣｒデータをＲＧＢデータに変換するには、
Ｒ＝Ｙ＋０．０００＊（Ｃｂ−ＣＥＮＴＥＲ）＋１．３７１＊（Ｃｒ−ＣＥＮＴＥＲ）、
Ｇ＝Ｙ−０．３３６＊（Ｃｂ−ＣＥＮＴＥＲ）−０．６９８＊（Ｃｒ−ＣＥＮＴＥＲ）、
Ｂ＝Ｙ＋１．７３２＊（Ｃｂ−ＣＥＮＴＥＲ）＋０．０００＊（Ｃｒ−ＣＥＮＴＥＲ）、

ＲＧＢデータ（各０〜１）をＨＳＶ（またはＨＳＢ）データに変換するには、
ｃｍａｘ＝ｍａｘｉｍｕｍ（Ｒ，Ｇ．Ｂ）、ｃｍｉｎ＝ｍｉｎｉｍｕｍ（Ｒ，Ｇ．Ｂ）とすると、
明度Ｖ＝ｃｍａｘ、彩度Ｓ＝（ｃｍａｘ−ｃｍｉｎ）／ｃｍａｘ（ただし、ｃｍａｘ＝０のときは、Ｓ＝０）、
Ｒ＝ｃｍａｘのときは、色相Ｈ＝６０°＊｛（Ｇ−Ｂ）／（ｃｍａｘ−ｃｍｉｎ）｝、
Ｇ＝ｃｍａｘのときは、色相Ｈ＝６０°＊｛２＋（Ｂ−Ｒ）／（ｃｍａｘ−ｃｍｉｎ）｝、
Ｂ＝ｃｍａｘのときは、色相Ｈ＝６０°＊｛４＋（Ｒ−Ｇ）／（ｃｍａｘ−ｃｍｉｎ）｝、
なお、Ｈ＜０のときはＨに３６０°を加える。また、Ｓ＝０のときはＨ＝０とする。

（色相の抽出、肌色の抽出）

また、所定の色の領域を抽出する例として、人間の肌色領域の抽出に関して、人間の肌の分光反射率特性、または、撮影画像サンプル中の肌色領域のＲＧＢ値、もしくはＨＳＶ値（色相：Ｈｕｅ、彩度：Ｓａｔｕｒａｔｉｏｎ、明度：Ｖａｌｕｅ ｏｆ Ｂｒｉｇｈｔｎｅｓｓ）などを元に、肌色の領域や人間の肌や顔の領域を抽出できる。例えば、肌色の色相（Ｈｕｅ）と彩度（Ｓａｔｕｒａｔｉｏｎ）の分布データをとると、肌色の画像データの多くは、彩度は広い範囲で分布するが、色相（Ｈｕｅ）環では、約６°〜３８°の範囲に多く分布することが知られている。これらを利用すれば、ＨＳＶ値から、色相（Ｈｕｅ）が約６°〜３８°の範囲の人間の顔の肌色とするなど、特定の色の被写体の領域を適宜抽出することができる。

（顔の認識処理）
前記の特徴抽出において、特定の被写体やシーン別撮影モードなどで注目する被写体別に専用の識別データや認識処理を必要とする場合がある。例えば、顔の眼の領域を抽出するためには瞳領域のマスクパターンを作成し、これを参照パターンとして、テンプレートマッチング等を用いて検索して、入力画像から眼や顔のある画像領域を検索できる。また、眼を認識するための条件データとしては、例えば、
眼の細長さ＝ｂ／ａとして、α_１≦ｂ／ａ≦α_２の条件に合致する、または、
（眼の面積）Ｓ_１≒π×ａ×ｂ、（黒眼（瞳）の面積）Ｓ_２＝π×ｒ^２、黒眼（瞳）の比率Ｓ_２／Ｓ_１＝ｒ^２／ａｂとして、β_１≦ｒ^２／ａｂ≦β_２などの条件に合致する被写体画像の領域を「眼の領域」と識別することができる。また、人間の顔と認識するための条件データの設定で、例えば、（眉下〜鼻下までの長さ）ｈ１≒（鼻下〜あごまでの長さ）ｈ２、または、（右眼の幅）Ｗ_１≒（両眼の間）Ｗ_２≒（左眼の幅）Ｗ_３、などの条件を満たす被写体画像の領域を「顔の領域」であると識別できる。

（動きの特徴抽出）
図１５は、時間的に連続する複数画像をそれぞれ複数ブロックに分割し、その輝度値または色差値を前画像とテンプレートマッチングして、移動方向と移動量を抽出して、動きベクトルなど動きの特徴を抽出する処理手順を示すフローチャートである。すなわち、時間的に連続する複数枚の画像を取り込み（ステップＳ７０１）、各画像をｍ×ｎの複数ブロック領域に分割する（ステップＳ７０２）。各画像の各ブロックの輝度値または色差値を前画像とテンプレートマッチングし、移動方法と移動量を抽出する（ステップＳ７０３）。分割ブロック毎に移動方向と移動量を量子化して、各ブロックの動きベクトルを求め（ステップＳ７０４）、画像、ブロック毎の動きベクトル（移動方向と移動量）を、動きの特徴データとして記述して出力する（ステップＳ７０５）。

（特徴量の比較、類似図形の検索）
また、記憶されたテンプレート画像と被写体画像の類似度の判別や検索には、テンプレートマッチングなどのパターンマッチング法や、動きベクトル検出におけるブロックマッチング法などが利用できる。テンプレートマッチングにより、特徴抽出領域の入力画像ｆ［ｉ，ｊ］の特徴データの中から、例えば、（ｍ×ｎ）の記録された参照画像（または特徴データ）ｔ［ｋ，ｌ］に一致する画像の位置を検出する。参照画像の中心（または端点）が入力画像のある点（ｉ，ｊ）に重なるように置いて、点（ｉ，ｊ）を順に縦横にラスター走査しながら、重なる部分の画像データの類似度を順次計算して、類似度が最も高い位置点（ｉ，ｊ）を、類似する被写体がある位置として求めることができる。

このテンプレートマッチングは、選択した被写体像を記憶して、被写体を追尾して合焦する追尾式ＡＦ処理などにも利用でき、また、前回の被写体の位置から今回の被写体の位置へのベクトルは、当該被写体の動きベクトルとして動きの特徴データとすることもできる。

（相関度（相関係数））
入力画像ｆ［ｋ，ｌ］とテンプレート画像（参照画像）ｔ［ｋ，ｌ］との相関度は、次式のピアソンの相関係数（積率相関係数）Ｒなどで算出でき、最も相関係数Ｒが大きくなる位置が、検索する類似被写体がある位置として求められる。
Ｒ＝（画像ｆと画像ｔの共分散）／ｆ（画像ｆの標準偏差）・（画像ｔの標準偏差）
＝［Σ_Ｌ＝０ ^ｎ−１Σ_Ｋ＝０ ^ｍ−１｛ｆ［ｋ，ｌ］−ｆ_ＡＶ｝｛ｔ［ｋ，ｌ］−ｔ_ＡＶ｝］
／√［Σ_Ｌ＝０ ^ｎ−１Σ_Ｋ＝０ ^ｍ−１｛ｆ［ｋ，ｌ］−ｆ_ＡＶ｝^２］・√［Σ_Ｌ＝０ ^ｎ−１Σ_Ｋ＝０ ^ｍ−１｛ｔ［ｋ，ｌ］−ｔ_ＡＶ｝^２］
ただし、ｆ_ＡＶ：参照画像ｆ［ｋ，ｌ］の画像データ（輝度値、色差値、特徴量など）の平均値、
ｔ_ＡＶ：参照画像ｔ［ｋ，ｌ］の画像データ（輝度値、色差値、特徴量など）の平均値、

（テンプレートマッチングの類似度）
テンプレートマッチングなど、画像ｆ［ｉ，ｊ］の中から、画像サイズ（ｍ×ｎ）の画像ｔ［ｋ，ｌ］を走査して検索する場合、類似度は、次式で計算でき、類似度ｒ（ｉ，ｊ）が最も大きくなる走査位置の点（ｉ，ｊ）が類似する被写体の位置として求まる。
Ｒ（ｉ，ｊ）＝Σ_Ｌ＝０ ^ｎ−１Σ_Ｋ＝０ ^ｍ−１ｆ［ｉ−（ｍ／２）＋ｋ，ｊ−（ｎ／２）＋１］・ｔ［ｋ，ｌ］
ただし、（ｉ，ｊ）：点の位置座標、ｆ［ｉ，ｊ］：入力画像データ、ｔ［ｋ，ｌ］：テンプレート画像のデータ、（ｍ×ｎ）：テンプレート画像のサイズ。
これを、前述の相関係数Ｒと同様に、平均値を差し引くなど正規化してもちいてもよい。

（絶対値差分和、距離）
前記の類似度、Ｒ（ｉ，ｊ）では乗算のための計算が増えるため、２値化画像など、平均値を差し引いたり、正規化を省略したりできる場合には、類似度の代わりに、次式のような画像間の差分和により、相違の程度（「距離」）を表すＤ（ｉ，ｊ）を求め、これを評価関数として利用できる。この場合には、加減算だけで計算できるので演算を高速化できる。この場合は、距離Ｄ（ｉ，ｊ）が最も小さい点（ｉ，ｊ）がマッチング位置を表す。
Ｄ（ｉ，ｊ）＝Σ_Ｌ＝０ ^ｎ−１Σ_Ｋ＝０ ^ｍ−１｜ｆ［ｉ−（ｍ／２）＋ｋ，ｊ−（ｎ／２）＋１］−ｔ［ｋ，ｌ］｜
ただし、（ｉ，ｊ）：点の位置座標、ｆ［ｉ，ｊ］：入力画像データ、ｔ［ｋ，ｌ］：テンプレート画像のデータ、（ｍ×ｎ）：テンプレート画像のサイズ。

（テクスチャーの特徴抽出）
図１６は、輝度ヒストグラム分布によりテクスチャーを解析する例であり、先ず撮影画像を取り込む（ステップＳ８０１）。次に、この取り込んだ取得画像の輝度ヒストグラム分布Ｐ′（ｉ） （ｉ＝０，１・・・，ｎ−１）を求め（ステップＳ８０２）、全体が１．０となるように正規化した輝度ヒストグラムＰ（ｉ）に変換する（ステップＳ８０３）。引き続き、μ＝Σｉ／Ｐ（ｉ）により、輝度ヒストグラムＰ（ｉ）の平均μを求め（ステップＳ８０４）、σ^２＝Σ（ｉ−μ）^２・Ｐ（ｉ）により、輝度ヒストグラムＰ（ｉ）の分散σ^２を求める（ステップＳ８０５）。また、ｆ１＝Ｓ＝［Σ（１−μ）^３・Ｐ（ｉ）］／σ^３により、ｆ１＝Ｓ（Skewnss、歪み度）を求め（ステップＳ８０６）、ｆ２＝Ｋ＝［Σ（１−μ）^４・Ｐ（ｉ）］／σ^４により、ｆ２＝Ｋ（Kurtosis、尖り度）を求める（ステップＳ８０７）。そして、輝度ヒストグラムのｆ１（Skewness）、ｆ２（Kurtosis）をテクスチャーの特徴データとて記述し出力する（ステップＳ８０８）。

また、他の方法により、テクスチャーの特徴量を抽出するようにしてもよい。例えば、フーリエスペクトルからテクスチャー解析する例においては、離散２次元フーリエ変換したフーリエスペクトル
Ｆ（ｕ，ｖ）＝ΣΣｆ（ｘ，ｙ）Ｗ１^ｘｕＷ２^ｙｕ（ただし、Ｗ１＝exp（−ｊ２π／Ｍ）を求め、
Ｆ（ｕ，ｖ）のパワースペクトルＰ（ｕ，ｖ）＝｜Ｆ（ｕ，ｖ）｜^２を算出し、
これを極座標形式のＰ（ｒ，θ）に変換して、原点を中心としたドーナツ形領域のエネルギーの和ｐ（ｒ）、および、角度θの扇形領域内のエネルギーの和ｑ（ｒ）を求め、
ｐ（ｒ）＝２Σ_θ＝０ ^πＰ（ｒ，θ）、
ｑ（ｒ）＝２Σ_ｆ＝０ ^Ｗ／２Ｐ（ｒ，θ）。
そのヒストグラム分布のピーク、平均、分散など統計量から、例えばＰ（ｒ）のピークよりテクスチャーのきめの大きさ、ｑ（θ）のピークよりテクスチャー画素の方向性など、テクスチャーの特徴量を抽出して、特徴データを記述して、出力するようにしてもよい。

また、輝度の共起行列を用いてテクスチャーの特徴を抽出してもよい。画像（ｘ，ｙ）において、画素ｆ（ｘ１、ｙ１）から距離ｄ、角度θの位置関係（ｄ，θ）にある画素ｆ（ｘ２，ｙ２）の輝度をｄ（１，２，・・・）、θ（０度、４５度、９０度、１３５度など）を変えて順次求め（ただし、距離ｄ＝ｍａｘ（｜ｘ１−ｘ２｜，｜ｙ１−ｙ２｜）
、位置関係（ｄ，θ）にある２点の輝度がそれぞれ、ｆ（ｘ１，ｙ１）＝ｉ，ｆ（ｘ２，ｙ２）＝ｊの対となる頻度（ヒストグラム）を集計して、輝度共起行列Ｐ（ｉ，ｊ；ｄ，θ）を求め、正規化した共起行列ｐ（ｉ，ｊ）＝Ｐ（ｉ，ｊ）／Σ_ｉΣ_ｊ（ｉ，ｊ）から、・角２次モーメント（Angular second moment,全体の均一性を表す）ｆ１＝ΣΣ｛ｐ（ｉ，ｊ）｝^２、
・コントラスト（Contrast,局所変化を表す）ｆ２＝Σ｛ｎ^２ｐ（ｉ，ｊ）｝、
・方向に関する相関（Correlation）ｆ３＝ΣΣ｛（ｉ，ｊ）ｐ（ｉ，ｊ−μ^２）｝／σ^２、 ただし、μ＝Σ_ｉｐ（ｉ）＝１／ｇ、（ｇ；階調数）
σ＝√｛Σ｛ｐ（ｉ）−μ｝／（ｇ−１）｝
・平方和（Sum of Squares,局所同調性を表すｆ４＝ΣΣ｛（ｉ−μ）^２ｐ（ｉ，ｊ）｝、
・逆差分モーメント（Inverse difference Moment,複雑さの測度を表す）ｆ５＝ΣΣ［ｐ（ｉ，ｊ）／｛１＋（１−ｊ））｝］、
などを求めて、テクスチャーの特徴データとすることができる。

また、高次局所自己相関関数によりテクスチャー特徴量を抽出してもよい。具体的には、各画像のＲＧＢ成分をＹＩＱ成分に変換し、Ｙ画像、Ｉ画像、Ｑ画像を得て、設定された特徴に応じて、（ｎ×ｎ）画素のマスクパターン１〜２５の参照点を重ね合わせ、各画素の輝度値ｆ（ｉ，ｊ）ｔと掛け合わせ（論理積）、特徴ベクトルＣ１〜２５を求める。
Ｃ１＝Σ_ｉΣ_ｊ｛ｆ（ｉ，ｊ）｝、
Ｃ２＝Σ_ｉΣ_ｊ｛ｆ（ｉ，ｊ）ｆ（ｉ＋１，ｊ）｝、
・・・
Ｃ５＝Σ_ｉΣ_ｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ＋１）｝、
Ｃ６＝Σ_ｉΣ_ｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ）ｆ（ｉ＋１，ｊ）｝、
・・・
Ｃ２５＝Σ_ｉΣ_ｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ＋１）ｆ（ｉ＋１，ｊ＋１）｝。

また、前記Ｃ１〜Ｃ２５を加算（積和）して、
Ｃ（ａ１，・・・，ａＮ）＝Σ_ｒ［^ｎ√｛ｆ（ｒ）ｆ（ｒ＋ａ１）・・・ｆ（ｒ＋ａＮ）｝］、
各特徴量を特徴ベクトル全体の和Σ_ｊ｛Ｃｊ｝で除算して、特徴ベクトルの絶対値が１となるように正規化して、
Ｃｉ＝Ｃｉ／Σ_ｊ｛Ｃｊ｝ （ｉ，ｊ＝１〜２５）とし、
各ＹＩＱ画像毎に求めた局所自己相関による特徴ベクトルＣ１〜Ｃ２５、またはその統計量を、テクスチャーの特徴データとして出力するようにしてもよい。
なお、以上のように本実施の形態においては、特徴抽出手段をソフトウェアで構成するようにしたが、ハードウェアで構成するようにしてもよい。

図１７は、本実施の形態の再生時おける処理手順を示すフローチャートである。先ず、ユーザーによる操作入力部３５での操作により、再生モードが設定されているか否かを判断し（ステップＳ９０１）、再生モードが設定されない場合には、その他のモード処理へ移行する（ステップＳ９０２）。再生モードが設定された場合には、初期画面（図１８（ａ）参照）を表示して、ユーザーによる操作入力部３５での操作により、インデックス表示が選択されたか否かを判断する（ステップＳ９０３）。インデックス表示が選択された場合には、インデックス画像（図１８（ｂ））を一覧表示する（ステップＳ９０４）。

また、インデックス表示が選択されない場合には、一覧リスト表示が選択されたか否かを判断する（ステップＳ９０５）。一覧リスト表示が選択された場合には、画像＆音声メモリー媒体３１に記憶されている画像データをファイル名順、撮影日時順などの一覧リストで表示する（ステップＳ９０６）。一覧リスト表示が選択されない場合には、認識結果の一覧表示が選択されたか否かを判断する（ステップＳ９０７）。認識結果の一覧表示が選択された場合には、検索された画像データを一覧表示またはリスト表示する（ステップＳ９０８）。認識結果の一覧表示が選択されない場合には、画像の再生表示が選択されたか否かを判断し（ステップＳ９０９）、画像の再生表示が選択されない場合には、後述するステップＳ９１３に進む。画像の再生表示が選択された場合には、選択された画像データの復号／再生処理を実行する（ステップＳ９１０）。次に、この再生が動画の再生であるか否かを判断し（ステップＳ９１１）、動画の再生である場合には再生が終了した時点（ステップＳ９１２：ＹＥＳ）でステップＳ９１３に進む。

そして、以上の処理に続くステップＳ９１３においては、キー入力があった否かを判断する（ステップＳ９１３）。キー入力があった場合には、それが検索項目、ワードの入力であるか否かを判断し（ステップＳ９１４）、検索項目、ワードの入力であった場合には、キー操作に従い、検索項目、検索ワード（キーワード）を選択または入力させ（ステップＳ９１５）、表示処理によりこれら選択または入力させた検索項目、検索ワードを表示させて（ステップＳ９１６）、リターンする。

また、前記ステップＳ９１４での判断の結果、キー入力が検索項目、ワードの入力でなかった場合には、ユーザーによる操作入力部３５での操作により、キーワード検索の実行が指示されたか否かを判断する（ステップＳ９１７）。キーワード検索の実行が指示された場合には、画像＆音声メモリー媒体３１にキーワードに対応する特徴量があるか否か（記憶されているか否か）を判断し（ステップＳ９１８）、キーワードに対応する特徴量がない場合（記憶されていない場合）には、該当データが見つからない旨の表示、またはエラー処理を行って（ステップＳ９１９）、リターンする。

また、キーワードに対応する特徴量がある場合には、ユーザーにより特徴データまたは撮影情報を使用することが選択されたか否かを判断する（ステップＳ９２０）。特徴データまたは撮影情報を使用することが選択されなかった場合には、特徴データおよび撮影情報を用いることなく、画像＆音声メモリー媒体３１に記録されている画像データからキーワードに対応する特徴量を抽出する（ステップＳ９２１）。そして、この画像データから抽出した抽出特徴量とキーワードに該当する特徴量とを比較し、類似度を算出する（ステップＳ９２２）。しかし、特徴データまたは撮影情報を使用することが選択された場合には、画像＆音声メモリー媒体３１に格納されている画像ファイルに記録された特徴データまたは撮影情報と前記キーワードに該当する特徴量とを比較し、類似度を算出する（ステップＳ９２３）。

そして、このステップＳ９２３または前記ステップＳ９２２で算出した類似度が所定以上であるか否かを判断し（ステップＳ９２４）、所定以上である場合には、類似する画像データファイルのファイル名をデータメモリー２４に順次記憶する（ステップＳ９２５）。また、画像＆音声メモリー媒体３１内において検索を終了したか否かを判断し（ステップＳ９２６）、検索が終了するまで、画像＆音声メモリー媒体３１内において次のファイルを読み出して（ステップＳ９２７）、ステップＳ９２０からの処理を繰り返す。これにより、画像＆音声メモリー媒体３１内において検索が終了したならば（ステップＳ９２６；ＹＥＳ）、該当データ検索に成功したか否か、つまり、ステップＳ９２５の処理が１度でも行われて、類似度が所定以上である画像データファイル名のファイル名がデータメモリー２４に記憶されたか否かを判断する（ステップＳ９５８）。該当データの検索に成功した場合には、検索結果の該当データを表示部１４（画像モニター３２）に一覧表示する（ステップＳ９２９）。

したがって、このステップＳ９２９での処理により、画像＆音声メモリー媒体３１に記憶されている、類似度が所定以上である画像ファイルのファイル名が一覧表示されることととなる。よって、表示されている何れかの画像ファイル名を選択して再生表示指示を行うことにより、前述したステップＳ９１０での処理により、画像モニター３２に選択された画像ファイルの画像が表示されることとなる。

他方、ステップＳ９１７での判断の結果、キーワード検索の実行でなかった場合には、特徴データの再抽出・再記録が指示されたか否かを判断し（ステップＳ９３０）、特徴データの再抽出・再記録も指示されなかった場合には、その他のキー処理を実行する（ステップＳ９３１）。また、特徴データの再抽出・再記録が指示された場合には、画像＆音声メモリー媒体３１に記憶されている画像データのうち、このとき選択されている画像データから、このとき選択されている特徴データを抽出する（ステップＳ９３２）。そして、この抽出した特徴データを、このとき選択されている記述様式で符号化して（ステップＳ９３３）、当該画像データおよび撮影情報とともにこの特徴データを付加して、画像＆音声メモリー媒体３１に記録し（ステップＳ９３４）、その他の表示処理実行して（ステップＳ９３５）、リターンする。

図１８は、前記図１７のフローチャートにより実行される再生時の特徴抽出、特徴データの再記録の設定メニュー表示画面例を示す図である。図において、（ａ）は、再生モードにおける処理画面あるいは再生時の画面例であり、（ｂ）はインデックス表示画面例である。また、（ｃ）は再設定メニュー（１）、（ｄ）は再設定メニュー（２）の画面例である。（ｃ）の再設定メニュー（１）においては、「スライドショー」「ダイジェスト再生」「画像検索」・・・等の選択肢を表示し、（ｄ）の再設定メニュー（２）においては、「タイトル作成」「動画編集」「特徴の抽出・変更」・・・等の選択肢を表示する。また、（ｅ）は特徴抽出方法の詳細設定画面例であり、「色の抽出」「輪郭の抽出」「テクスチャー抽出」・・・等の選択肢を表示する。（ｆ）は特徴データの記録方法の詳細設定画面例であり、「識別名称」「類似率」「配色分布」・・・等の選択肢を表示する。

（第２の実施の形態）
図１９〜図２２は、本発明の第２の実施の形態を示すものであり、撮影シーンに応じて、特徴量データを自動的に選択して抽出して、画像データの付加情報として記録するようにしたものである。

すなわち、この実施の形態において前記プログラムメモリー２３には、図１９に示すように、人物を写す場合（ＢＳ１）、風景を移す場合（ＢＳ２）・・・等の撮影シーン別に、当該シーンを撮影する場合に好適なシーン別撮影制御プログラムが記憶されているとともに、そのサンプル画像３００と、「色強調が肌色に設定されます。」等の当該シーン別撮影制御プログラムに関する説明文３０１等が記憶されている。

図２０および図２１は、本実施の形態の処理手順を示す一連のフローチャートであり、制御回路２２はプログラムメモリー２３に格納されているプログラムに基づき、同図に示すフローチャートに従って処理を実行する。先ず、ユーザーによる操作入力部３５での操作に応じて、前記撮影シーンＢＳ１〜ＢＳ１８のいずれか選択するとともに、この選択した撮影シーンＢＳ１〜ＢＳ１８に対応するシーン別撮影制御プログラムに従って撮影条件などを設定し、あるいは入力された撮影条件を設定する（図２０ステップＳ１００１）。そして、レリーズ釦３が押し操作されて撮影指示がなされた時点で撮影処理を実行し（ステップＳ１００２）、電子撮像センサ２０から画像データを取り込み圧縮符号化する（ステップＳ１００３）。

次に、特徴データ付加記録がＯＮに設定されているか否かを判断し（ステップＳ１００４）、ＯＮに設定されていない場合には、撮影画像データとともに、撮影情報を画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する（ステップＳ１０２２）。また、ＯＮに設定されている場合には、オート（前記シーン別撮影制御プログラムを用いるモード）が設定されているか否かを判断し（ステップＳ１００５）、オートに設定されていない場合には、その他の特徴抽出処理を実行する（ステップＳ１００６）。

そして、オートに設定されちる場合には、フォーカス枠周辺の領域内の被写体像を輝度もしくは色差データに基づいて輪郭抽出し（ステップＳ１００７）、この抽出した輪郭を境界とする領域に分類する（ステップＳ１００８）。引き続き、今回の撮影で選択されたシーンが人物撮影シーン（図３３のＢＳ１参照）であるか否かを判断し（ステップＳ１００９）、人物撮影シーンでない場合には、後述する図２１のステップＳ１０２３に進む。人物撮影シーンである場合には、顔のテンプレートと各分割領域画像とを比較し、顔の領域を抽出する（ステップＳ１０１０）。また、この抽出した顔の領域の輝度、色差、ＨＳＢデータを平均化して、支配色を検出し（ステップＳ１０１１）、顔の輪郭形状をフーリエ記述子などのデジタルデータに変換する（ステップＳ１０１２）。

次に、顔の下の領域を選択して、上半身（衣服）領域を抽出する（ステップＳ１０１３）。この抽出した上半身（衣服）領域の輝度、色差、ＨＳＢデータを平均化し、支配色を検出し（ステップＳ１０１４）、上半身（衣服）領域の輪郭形状をフーリエ記述子などのデジタルデータに変換する（ステップＳ１０１５）。さらに、他に顔の領域がないか否かを判断し（ステップＳ１０１６）、ある場合にはステップＳ１０１０からの処理を繰り返す。

その結果、他に顔の領域がなくなった場合には、背景領域を検出し（ステップＳ１０１７）、背景の支配色を検出し（ステップＳ１０１８）、背景のテクスチャーを検出する（ステップＳ１０１９）。そして、撮影シーン名、および、各領域の支配色、輪郭形状、テクスチャーなどの特徴データを処理の記述様式で記述し（ステップＳ１０２０）、撮影画像データとともに、撮影情報、および、前記特徴データを画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する（ステップＳ１０２１）。

一方、ステップＳ１００９での判断の結果、人物撮影シーンでなかった場合には、風景＋人物シーン（図３３のＢＳ３参照）であるか否かを判断する（図２１ステップＳ１０２３）。風景＋人物シーンである場合には、人物のテンプレートと各分割領域画像とを比較し、人物の領域、顔の領域を抽出する（ステップＳ１０２４）。また、この抽出した人物と顔の支配色を検出し（ステップＳ１０２５）、人物と顔の輪郭形状を同様にデジタルデータに変換する（ステップＳ１０２６）。

次に、人物以外の主な被写体領域を抽出して（ステップＳ１０２７）、この抽出した上半身（衣服）領域の輝度、色差、ＨＳＢデータを平均化し、支配色を検出し（ステップＳ１０２８）、人物以外の領域の輪郭形状をフーリエ記述子などのデジタルデータに変換する（ステップＳ１０２９）。さらに、他に人物、被写体の領域がないか否かを判断し（ステップＳ１０３０）、ある場合にはステップＳ１０２４からの処理を繰り返す。

その結果、他に人物、被写体の領域がなくなった場合には、背景領域を検出し（ステップＳ１０３１）、背景の支配色を検出し（ステップＳ１０３２）、背景のテクスチャーを検出する（ステップＳ１０３３）。そして、撮影シーン名、および、各領域の支配色、輪郭形状、テクスチャーなどの特徴データを処理の記述様式で記述し（ステップＳ１０３４）、撮影画像データとともに、撮影情報、および、前記特徴データを画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する（図２１ステップＳ１０２１）。

他方、ステップＳ１０２４での判断の結果、風景＋人物シーンでなかった場合には、風景シーン（図３３のＢＳ２参照）であるか否かを判断し（ステップＳ１０３５）、風景シーンでもなかった場合には、その他のシーン処理に移行する（ステップＳ１０３６）。風景シーンである場合には、風景のテンプレートと各分割領域画像とを比較し、主な被写体領域を抽出し（ステップＳ１０３７）、この抽出した主な被写体の支配色を検出し（ステップＳ１０３８）、主な被写体の輪郭形状を同様にデジタルデータに変換する（ステップＳ１０３９）。

さらに、他に主な被写体の領域がないか否かを判断し（ステップＳ１０４０）、ある場合にはステップＳ１０３７からの処理を繰り返す。その結果、他に主な被写体の領域がなくなった場合には、背景領域を検出し（ステップＳ１０４１）、背景の支配色を検出し（ステップＳ１０４２）、背景のテクスチャーを検出する（ステップＳ１０４３）。そして、撮影シーン名、および、各領域の支配色、輪郭形状、テクスチャーなどの特徴データを処理の記述様式で記述し（ステップＳ１０３４）、撮影画像データとともに、撮影情報、および、前記特徴データを画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する（図２１ステップＳ１０２１）。

図２２は、撮影シーン別の特徴量、テンプレート画像の設定例を示す図である。すなわち、前記プログラムメモリー２３には、シーン別撮影モードとして、「人物」「子供、「風景」「風景と人物」等が記憶されているとすると、例えば「人物」の特徴として「一人」「複数」・・・等を設定することができ、さらに、「一人」に対応する特徴として「配色」「形状」「配置」等を設定することができ、これらをテンプレート画像と対応させることができる。

（第３の実施の形態）
図２３は、本発明の第３の実施の形態における検索処理手順を示すフローチャートである。すなわち、ユーザーによる操作入力部３５での操作により、キーワードによる画像検索が設定されたか否かを判断し（ステップＳ１１０１）、設定されない場合にはその他の検索処理を実行する（ステップＳ１１０２）。また、キーワードによる画像検索が設定されたならば、入力されたキーワードに対応する特徴量が画像＆音声メモリー媒体３１にあるか否か（記憶されているか否か）を判断する（ステップＳ１１０３）。キーワードに対応する特徴量がない場合（記憶されていない場合）には、ユーザーの選択操作により、後述する類似辞書または心理辞書を使用するが選択されたか否かを判断し（ステップＳ１１０４）、選択されなかった場合には、該当データが見つからない旨の表示、またはエラー処理を行って（ステップＳ１１０７）、リターンする。また、類似辞書または心理辞書を使用するが選択された場合には、類似辞書または心理辞書を用いて、入力されたキーワードの類語または対応語を検索し、それらをキーワードとする（ステップＳ１１０５）。そして、このキーワードに対応する特徴量が画像＆音声メモリー媒体３１にあるか否か（記憶されているか否か）を判断し（ステップＳ１１０６）、ない場合には前述と同様に、該当データが見つからない旨の表示、またはエラー処理を行って（ステップＳ１１０７）、リターンする。

前記ステップＳ１１０６とステップＳ１１０３で、キーワードに対応する特徴量があると判断された場合には、ユーザーにより、特徴データまたは撮影情報を使用することが選択されたか否かを判断する（ステップＳ１１０８）。特徴記述データまたは撮影情報を使用することが選択されなかった場合には、これら特徴記述データおよび撮影情報を使用することなく、画像＆音声メモリー媒体３１に記録されている画像データからキーワードに対応する特徴量を抽出する（ステップＳ１１０９）。そして、この画像データから抽出した抽出特徴量とキーワードに該当する特徴量とを純次比較する（ステップＳ１１１０）。また、特徴データまたは撮影情報を使用することが選択された場合には（ステップＳ１１０８；ＹＥＳ）、画像＆音声メモリー媒体３１に格納されている各画像ファイルに記録された特徴記述データまたは撮影情報と前記キーワードに該当する特徴量とを純次比較する（ステップＳ１１１１）。

そして、このステップＳ１１１１または前記ステップＳ１１１０での比較による類似度が所定以上であるか否かを判断し（ステップＳ１１１２）、所定以上である場合には、該当する画像データファイルのファイル名をデータメモリー２４に順次記憶する（ステップＳ１１１３）。次に、画像＆音声メモリー媒体３１内において検索を終了したか否かを判断し（ステップＳ１１１４）、検索が終了するまで、画像＆音声メモリー媒体３１内において次のファイルを読み出して（ステップＳ１１１５）、ステップＳ１１０８からの処理を繰り返す。これにより、画像＆音声メモリー媒体３１内において検索が終了したならば（ステップＳ１１１４；ＹＥＳ）、該当データ検索に成功したか否か、つまり、ステップＳ１１１３の処理が１度でも行われて、該当する画像データが１つ以上あるか否かを判断する（ステップＳ１１１６）。該当データの検索に成功しなかった場合には、該当データが見つからない旨の表示、またはエラー処理を行い（ステップＳ１１０７）、成功した場合には、検索された該当データのサムネイルを一覧表示するか、または、リスト表示する（ステップＳ１１１７）。

したがって、このステップＳ１１１７での処理により、画像＆音声メモリー媒体３１に記憶されている、類似度が所定以上である画像ファイルの画像がサムネイル表示あるいはリスト表示され、表示されているサムネイル画像の何れか、または、リストのいずれかを再生表示指示を行うことにより、画像モニター３２に選択された画像ファイルの画像が表示されることとなる。

図２４は、前記図２３のフローチャートにより実行される画像データの検索処理の操作との関係における表示例を示す図である。図において、（ａ）は、検索メニュー表示（１）の画面例であり、「ファイル名による検索」・・・「キーワードによる検索」等の検索方法に関する選択肢を表示する。この状態で、「キーワードによる検索」が選択されると、（ｃ）のキーワードによる検索メニュー画面に遷移して、「キーワード選択：サッカー」「キーワード入力」・・・「類似辞書を使用」「心理辞書を使用」等の選択肢を表示表示させる。なお、この図（ｃ）の例では、「サッカー」というキーワードを選択すると、「サッカー」に対応して予め設定された「代表色：緑」、「形状輪郭：ボール（球）」、「テクスチャー：芝」などの特徴量の組合せに基づいて、サッカーの画像と判断される画像を検索する場合を示す。そして、検索が実行されると検索結果として、（ｅ−１）の検索結果の一覧リスト、または、（ｅ−２）の検索結果のインデックス表示（サムネイル表示）を行う。この状態で一覧リストからいずれかのファイル名が選択され、またはインデックス表示からいずれかの画像が選択されると、（ｆ−１）の当該画像の再生表示（静止画）、または、（ｆ−２）の再生表示（像画像）を行う。

また、（ｂ）は検索メニュー表示（２）の画面例であり、「画像、シーンによる検索」「音声による検索」等の検索方法に関する選択肢を表示する。この状態で、「画像、シーンによる検索」が選択されると、（ｄ）の画像、シーンによる検索メニューに遷移して、「登録済参照画像：サッカー」・・・「被写体の識別：サッカー」・・・等の選択肢を表示表示させる。そして、検索が実行される前述と同様にして、（ｅ−１）の検索結果の一覧リスト、または、（ｅ−２）の検索結果のインデックス表示（サムネイル表示）い、この状態で一覧リストからいずれかのファイル名が選択され、またはインデックス表示からいずれかの画像が選択されると、（ｆ−１）の当該画像の再生表示（静止画）、または、（ｆ−２）の再生表示（像画像）を行う。

図２５は、入力キーワードに対応する特徴データによる画像検索処理と指定した画像データに類似する画像検索処理の概略を示す説明図である。すなわち、キーワード（サッカー）に対応する特徴記述データによる検索（Ａ）においては、画像＆音声メモリー媒体３１内の各画像ファイルに記録されている当該画像の特徴記述データＡ１（例えば、代表色：緑）と、キーワード（サッカー）から得られる検索特徴データ１（代表色：緑）とを比較し、特徴データ１は一致するか否かを判断する（Ａ２）。一致する場合には、当該画像ファイルに記録されている画像の特徴記述データＡ３（例えば、形状２：ボール）と、キーワード（サッカー）から得られる検索特徴データ２（形状２：ボール）とを比較し、特徴データ２は一致するか否かを判断する（Ａ４）。一致する場合には、当該画像ファイルに記録されている画像の特徴記述データＡ５（例えば、テクスチャー１：芝）と、キーワード（サッカー）から得られる検索特徴データ３（テクスチャー１：芝）とを比較し、特徴データ３は一致するか否かを判断する（Ａ６）。そして、Ａ２、Ａ４、Ａ６の判断が全て一致するであった画像Ａ７、Ａ８を検索結果として得る。

また、画像データによる検索（Ｂ）においては、画像＆音声メモリー媒体３１内の各画像Ｂ１と予め選択した検索被写体シーンのパターン（Ｂ２）とを比較し（画像の特徴量の比較）、被写体類似度は所定以上であるか否かを判断する（Ｂ３）。被写体類似度は所定以上である場合には、前記検索被写体シーンのパターン（Ｂ２）に対応する参照画像データＢ４と画像＆音声メモリー媒体３１内の当該画像Ｂ５とを比較し、画像の類似度は所定以上であるか否かを判断する（Ｂ６）。そして、画像の類似度は所定以上であった画像Ｂ７、Ｂ８、Ｂ９を検索結果として得る。

図２６は、図２３のフローチャートにおけるステップＳ１１０５で用いる類語辞書のデータ構成例を示す図である。このデータ構成例においては、「見出し語」に対応して、「同義語」、「広義語」、」「狭義語」、「反意語」、「関連語」が記憶されている。したがって、例えば「派手」を見出し語として検索し、「目立つ」、「彩度が高い」、「つややか」などの類義語から、「彩度の高い色の自動車」の画像データを検索することができる。また、類義語が「派手」となる見出し語を逆検索して、「赤」の広義語の「派手」を見つけ、「赤い車」の画像データを検索することもできる。

類義語辞書に記憶された類語データでは定性的な特徴を表すが、例えば、それらを区分して、表記の揺れの場合の距離＝０、同義語との距離＝１、広義語との距離＝２、狭義語との距離＝３、反義語との距離＝４、関連語との距離＝５、・・・などと、類語間でも、その類似度や距離を数値で表して、より類似度の高い特徴量を用いて検索したり、より、定性的な特徴量を用いて検索できるようにしてもよい。あるいは、これら類語の意味の類似度は、同じ語句でも、文脈や分野により意味や用例も変動するため、文書やニュース記事などにおける実例での意味や用例の頻度などから、平均化した数値などを用いてもよい。

図２７は、図２３のフローチャートにおけるステップＳ１１０５で用いる心理辞書のデータ構成例を示す図である。このデータ構成例においては、「色」に対応して、「心理的な意味１（＋（プラス）イメージ）」と「心理的な意味２（−（マイナス）イメージ）」とが感情用語として記憶されている。したがって、例えば「赤」を見出し語として検索し、「情熱的」、「エネルギー」、「怒り」などの感情用語から、これらの語を含む画像データを検索することができる。

なお、類語辞書や心理辞書のように類語や心理イメージ（感情用語）などの定性的な意味だけでなく、図２８および図２９に示すように「汚い−美しい」、「強い−弱い」、「快い−不快な」、「暖かい−冷たい」・・・など、対となる意味のどちらに近いかの程度を、色別に数値や空間座標などの定量的な指標で「色の意味プロファイル」や「色の意味空間マップ」として、プログラムメモリー２３に記憶しておき、その意味のプロファイルや組合せから、近い意味や心理イメージの代表色や配色などの特徴量の程度を具体的に指定して検索できるようにしてもよい。

また、本例では、理解し易いように色や色相の例で示したが、輪郭形状（円い、角張った、細長い、尖った、凸凹した、・・・など）やテクスチャーなど（緻密、荒い、柔らかい、ごわごわ、ザラザラ、・・・など）、その他の特徴量についても、同様に、選択肢として用意された特徴量だけでなく、任意の自由なキーワードで画像の特徴指定し検索することもできる。

（その他の実施の形態）
図３０〜図３２は、本発明のその他の実施の形態を示す図であり、図３０は、外部サーバーに設けられた検索エンジンなどを利用して画像検索を行う例である。本例において撮像機能を備えたカメラ等の機器４００は、画像データおよび特徴記述データを記録する画像メモリー４０１を有するとともに、アプリケーション上で動作するカメラ制御プログラム４０２、ＰＣ転送プログラム４０３や、ファームウェア４０４およびＵＳＢ等４０５を有している。また、ＰＣ等の通信端末６００は、アプリケーション上で動作するＷＷＷブラウザ６０１、カメラ転送ソフト６０２や、ＯＳ（基本ソフト）６０３、ＵＳＢ等６０４、ＨＴＴＰ，ＦＴＰ６０５、ＴＣＰ／ＩＰ６０６、ＥｔｈｅｒＮｅｔ／ＰＰＰ／無線ＬＡＮ６０７を有している。また、ウェブ上のサーバー装置７００は、サーバーソフト７０１、ＨＴＭＬ、ＸＭＬ文書部７０２、ＣＧＡプログラム７０３、７０４、検索ソフト７０５、ＭＰＥＧ７等記述言語デコーダ７０６、画像データＤＢ７０７、画像登録ソフト７０９およびＭＰＥＧ７等記述言語エンコーダ７１０を有しているとともに、ＨＴＴＰ，ＦＴＰ７１１、ＴＣＰ／ＩＰ７１２、ＥｔｈｅｒＮｅｔ／ＰＰＰ／無線ＬＡＮ７１３を有している。そして、機器４００と通信端末６００とは、ＵＳＢ等４０５、６０４を介して接続され、通信端末６００とサーバー装置７００は、インターネット５００を介して接続されている。

したがって、機器４００から通信端末６００に送信された画像の登録要求や、検索要求ＵＲＬ、画像要求ＵＲＬを通信端末６００からサーバー装置７００に送り、これ応じてサーバー装置７００側から送られてくる登録結果ＨＴＭＬ、ＸＭＬ文書、検索結果ＨＴＭＬ、ＸＭＬ文書、画像ＨＴＭＬ、ＸＭＬ文書を通信端末６００側で受信することができる。

図３１は、カメラ等の機器内に検索ソフトなどを設けた例である。本例において撮像機能を備えたカメラ等の機器４００は、複数の画像データ４５１、各画像データ４５１のメタデータ４５２、検索ソフト４５３、画像データのデコーダ４５４、ＭＰＥＧ７等記述言語デコーダ４５５、ＰＣ転送ソフト４５６、およびＵＳＢ等４５７を有している。また、ＰＣ等の通信端末６００は、カメラ転送ソフト６５１、ブラウザ６５２、ＯＳ（基本ソフト）６５３、ＵＳＢ等６５４、ＨＴＴＰ，ＦＴＰ６５５、ＴＣＰ／ＩＰ６５６、ＥｔｈｅｒＮｅｔ／ＰＰＰ／無線ＬＡＮ６５７を有している。また、ウェブ上のサーバー装置７００は、サーバーソフト７５１、インデックスデータ７５２、ＭＰＥＧ７等記述データＤＢ７５３、画像データＤＢ７５４を有しているとともに、ＨＴＴＰ，ＦＴＰ７５５、ＴＣＰ／ＩＰ７５６、ＥｔｈｅｒＮｅｔ／ＰＰＰ／無線ＬＡＮ７５７を有している。そして、機器４００と通信端末６００とは、ＵＳＢ等４５７、６５４を介して接続され、通信端末６００とサーバー装置７００は、インターネット５００を介して接続されている。

したがって、機器４００から通信端末６００を介して、サーバー装置７００に画像データおよび特徴記述データをアップロードして登録することができる。また、所望の特徴記述データまたはキーワードをサーバー装置７００に送信し、サーバー装置７００が該当する画像データを検索して検索結果を送信し、この送信結果を受信して表示することができる。

図３２は、ＨＤＤ内蔵のデジタルカメラ８００の外観構成を示す斜視図である。このデジタルカメラ８００のボディ８０１には、その背面部部にスピーカ８０２が設けられているとともに、開閉自在な蓋８０３が設けられている。この蓋８０３の外面部には、ズームスイッチ８０４、撮影スイッチ８０５、カーソル／再生操作スイッチ８０６、電源／モード切替スイッチ８０３が設けられている。また、ボディ８０１の側面部には、ファインダー兼画像モニター表示部８０８が開閉自在に設けられており、ボディ８０１の蓋８０３で覆われる部位には、ハードディスク（ＨＤＤ）媒体８０９とメモリー媒体８１０とを収納するメモリー媒体収容部８１１が設けられている。

このように、本発明はこの実施の形態に示した外観構成のデジタルカメラ８００に限らず、前記実施の形態に示した外観構成のデジタルカメラ等、如何なる外観構成のデジタルカメラであっても適用することができる。また、実施の形態においては、本発明をデジタルカメラに適用するようにしたが、カメラに限らず撮像機能を備えた携帯電話等の各種機器、あるいは撮像機能を備えていないが画像記録機能を備えた画像記録装置にも本発明を適用することができる。

（Ａ）は本発明の各実施の形態に共通するデジタルカメラの正面図、（Ｂ）は背面図、（Ｃ）は側面透視図である。 同デジタルカメラの概略的回路構成を示すブロック図である。 同デジタルカメラの具体的回路構成を示すブロック図である。 第１の実施の形態における処理手順を示すフローチャートである。 同実施の形態における設定モード時の処理手順を示すフローチャートである。 同実施の形態の表示画面例を示す図である。 同実施の形態における特徴抽出処理と特徴データの記録処理の概要（制御の流れ）を示す説明図である。 同実施の形態おける、画像から抽出した特徴データの記述例を示す図である。 特徴データの記述例を示す図である。 図４に示したフロー中の、特徴量を抽出する処理の処理手順を示すサブルーチンである。 輪郭形状の抽出と被写体の形状識別処理の処理手順を示すフローチャートである。 テンプレートデータの例を示す図である。 選択された領域画像のＲＧＢヒストグラムから代表色やその分布の分散度合いを特徴抽出する処理手順例を示すフローチャートである。 色分布や配色パターンの特徴を抽出する処理手順例を示すフローチャートである。 動きベクトルなど動きの特徴を抽出する処理手順を示すフローチャートである。 輝度ヒストグラム分布によりテクスチャーを解析する処理手順例を示すフローチャートである。 本実施の形態の再生時おける処理手順を示すフローチャートである。 図１７のフローチャートにより実行される再生時の特徴抽出、特徴データの再記録の設定メニュー表示画面例を示す図である。 本発明の第２の実施の形態において選択される撮影シーンを示す図である。 同実施の形態の処理手順を示すフローチャートである。 図２０のフローチャートに続くフローチャートである。 撮影シーン別の特徴量、テンプレート画像の設定例を示す図である。 本発明の第３の実施の形態における検索処理手順を示すフローチャートである。 図２３のフローチャートにより実行される画像データの検索処理の操作との関係における表示例を示す図である。 入力キーワードに対応する特徴データによる画像検索処理と指定した画像データに類似する画像検索処理の概略を示す説明図である。 類語辞書のデータ構成例を示す図である。 心理辞書のデータ構成例を示す図である。 各色の意味プロファイルの例を示す図である。 色の意味空間の例を示す図である。 本発明の他の実施の形態であって、外部サーバーに設けた検索エンジンを利用する例を示す図である。 本発明の他の実施の形態であって、カメラ内に検索ソフトなどを設けた例を示す図である。 本発明の他の実施の形態に係るデジタルカメラの外観構成を示す斜視図である。

符号の説明

１ デジタルカメラ
２ 本体
１４ 表示部
２０ 電子撮像センサ
２２ 制御回路
２３ プログラムメモリー
２４ データメモリー
２５ 撮影制御部
２６ 映像信号処理部
２７ 画像メモリー
２８ 表示制御部
３０ 伸張復号部
３１ 画像＆音声メモリー媒体
３１ａ 画像／音声データ
３１ｂ 特徴記述データ
３２ 画像モニター
３５ 操作入力部
３６ 入力回路
３７ 外部入出力端子
３８ 外部入出力インタフェース
４６ ＨＤＤ記憶装置
５６ 特徴抽出／認識用データメモリー
５７ 特徴抽出／認識処理部
７０ 外部機器
７１ インターネット
７２ サーバー装置
７３ 画像データベース
２４６ テンプレートデータ
２４６ａ 種類
２４６ｂ 特徴データ
２４６ｃ 輪郭図形
２４６ｄ テクスチャー
３００ サンプル画像

Claims (18)

1. 画像を撮像する撮像手段と、
   この撮像手段により撮像された画像からその特徴を抽出する特徴抽出手段と、
   前記画像を送信する相手先に応じて前記特徴抽出手段を動作させ、前記撮像手段により撮像される画像の特徴を抽出して取得する特徴取得手段と
   を備えることを特徴とする撮像装置。
2. 前記特徴抽出手段は、複数種の特徴抽出手段を含み、
   前記特徴取得手段は、前記画像を送信する相手先に応じて、前記特徴抽出手段のいずれかを選択する選択手段を含み、
   この選択手段により選択された特徴抽出手段を用いて、前記撮像手段により撮像される画像の特徴を抽出し取得することを特徴とする請求項１記載の撮像装置。
3. 前記特徴抽出手段により抽出された特徴を記述する複数種の記述手段を更に備え、
   前記選択手段は、前記画像を送信する相手先に応じて、前記特徴手段とともにいずれかの記述手段を選択し、
   前記特徴取得手段は、前記選択手段により選択された記述手段を用いて前記抽出した画像の特徴を記述することを特徴とする請求項２記載の撮像装置。
4. 前記撮像手段により撮像された画像と、前記特徴取得手段により取得された画像の特徴とを外部に送信する送信手段を更に備えることを特徴とする請求項１、２または３記載の撮像装置。
5. 画像を撮像する撮像手段と、
   この撮像手段により撮像された画像からその特徴を抽出する特徴抽出手段と、
   この特徴抽出手段により抽出された特徴を前記画像に付加して送信する送信手段と、
   前記撮像手段により撮像された前記画像に、前記特徴抽出手段により抽出された特徴を付加して送信するか否かを送信相手先別に設定する設定手段と、
   この設定手段の設定に従って前記特徴抽出手段及び送信手段を制御する制御手段と
   を備えることを特徴とする撮像装置。
6. 前記特徴抽出手段は、複数種の特徴抽出手段を含み、
   前記制御手段は、前記送信相手先に応じて、前記特徴抽出手段のいずれかを選択する選択手段を含み、
   前記送信手段は、 前記選択手段により選択された特徴抽出手段により抽出された特徴を前記画像に付加して送信することを特徴とする請求項５記載の撮像装置。
7. 画像を取得する画像取得手段と、
   この画像取得手段により取得された画像からその特徴を抽出する複数種の特徴抽出手段と、
   この複数種の特徴抽出手段から、いずれかの特徴抽出手段を選択する選択手段と、
   この選択手段により選択された特徴抽出手段を用いて前記画像の特徴を抽出し取得する特徴取得手段と、
   この特徴抽出手段により抽出し取得された特徴と前記画像とを記録する記録手段と、 画像の特徴を入力する入力手段と、
   この入力手段により入力された画像の特徴と前記記録手段に記録された画像の特徴とに基づき、前記記録手段にて対応する画像を検索する画像検索手段と、
   この画像検索手段による検索結果を出力する出力手段と
   を備えることを特徴とする画像記録検索装置。
8. 前記画像取得手段は、撮像手段から出力された画像を取得する手段又は前記記録手段に記録されている画像を取得する手段を含むことを特徴とする請求項７記載の画像記録検索装置。
9. 前記出力手段は、前記検索結果を表示出力する表示手段を含むことを特徴とする請求項７または８記載の画像記録検索装置。
10. 前記出力手段は、前記検索結果を一覧表示する第１の表示手段と、
    この第１の表示手段により表示された一覧からいずれかの検索結果が選択されると、当該検索結果に対応する画像を表示する第２の表示手段と
    を含むことを特徴とする請求項９記載の画像記録検索装置。
    
11. 前記入力手段は、複数の特徴を入力し、
    前記画像検索手段は、前記入力手段により入力された複数の特徴と前記記録手段に記録された画像の特徴とに基づき、前記画像を検索することを特徴とする請求項７から１０にいずれか記載の画像記録検索装置。
12. 前記入力手段は、キーワードにより前記画像の特徴を入力し、
    前記画像検索手段は、前記入力手段により入力されたキーワードに基づき、前記画像を検索することを特徴とする請求項７から１１にいずれか記載の画像記録検索装置。
13. 前記入力手段により入力されるキーワードに関連する複数種の関連語を記憶した辞書手段と、
    この辞書手段から、前記キーワードに関連する関連語を検索する関連語検索手段とを更に備え、
    前記画像検索手段は、前記関連語検索手段により検索された関連語と前記記録手段に記録された画像の特徴とに基づき、前記画像を検索することを特徴とする請求項１２記載の画像記録検索装置。
14. 前記画像の特徴には、
    （１）前記画像中の所定の領域の色情報または色分布に関する特徴、
    （２）前記画像中の分割された領域の輪郭線の形状に関する特徴、
    （３）前記画像中の全体領域または分割された領域、もしくは背景領域のテクスチャーに関する特徴、
    のいずれかが含まれることを特徴とする請求項７から１３にいずれか記載の画像記録検索装置。
15. 前記画像検索手段は、前記入力手段により入力された画像の特徴に基づき、当該装置が有する前記記録手段にて対応する画像を検索する第１画像検索手段と、外部装置が有する記録手段にて対応する画像を検索する第２の画像検索手段とを含むことを特徴とする請求項７から１４にいずれか記載の画像記録検索装置。
16. 画像を記録する記録手段と、
    この記録手段に記録される画像からその特徴を抽出する特徴抽出手段と、
    前記画像を送信する相手先に応じて前記特徴抽出手段を制御し、前記記録手段に記録される画像の特徴を抽出して取得する特徴取得手段と
    を備えることを特徴とする画像記録装置。
17. 画像を撮像する撮像手段を備える撮像装置が有するコンピュータを、
    前記撮像手段により撮像された画像からその特徴を抽出する特徴抽出手段と、
    前記画像を送信する相手先に応じて前記特徴抽出手段を制御し、前記撮像手段により撮像される画像の特徴を抽出して取得する特徴取得手段と
    して機能させることを特徴とする撮像制御プログラム。
18. 記録手段と、画像の特徴を入力する入力手段とを備える画像記録検索装置が有するコンピュータを、
    前記記録手段により記録される画像からその特徴を抽出する複数種の特徴抽出手段と、
    この複数種の特徴抽出手段から、いずれかの特徴抽出手段を選択する選択手段と、
    この選択手段により選択された特徴抽出手段を用いて前記画像の特徴を抽出し、この抽出した特徴を前記画像とともに前記記録手段に記録する記録制御手段と、
    前記入力手段により入力された画像の特徴と前記記録手段に記録された画像の特徴とに基づき、前記記録手段にて対応する画像を検索する画像検索手段と、
    この画像検索手段による検索結果を出力する出力手段と
    して機能させることを特徴とする画像記録検索プログラム。
    

Images