[go: up one dir, main page]

JP5401962B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP5401962B2
JP5401962B2 JP2008318001A JP2008318001A JP5401962B2 JP 5401962 B2 JP5401962 B2 JP 5401962B2 JP 2008318001 A JP2008318001 A JP 2008318001A JP 2008318001 A JP2008318001 A JP 2008318001A JP 5401962 B2 JP5401962 B2 JP 5401962B2
Authority
JP
Japan
Prior art keywords
image
search
display
search key
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008318001A
Other languages
English (en)
Other versions
JP2010140391A (ja
Inventor
綾子 岩瀬
博之 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008318001A priority Critical patent/JP5401962B2/ja
Priority to US12/582,046 priority patent/US8823637B2/en
Priority to CN200910261468A priority patent/CN101834991A/zh
Publication of JP2010140391A publication Critical patent/JP2010140391A/ja
Application granted granted Critical
Publication of JP5401962B2 publication Critical patent/JP5401962B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1636Sensing arrangement for detection of a tap gesture on the housing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

この発明は、例えば、デジタルスチルカメラ、デジタルビデオカメラなどの画像データを処理する装置、当該装置で用いられる方法、プログラムに関する。
デジタルスチルカメラやデジタルビデオカメラなどの画像データを処理する電子機器においては、種々のGUI(Graphical User Interface)を利用できるようにして、ユーザーの操作性を向上させるようにすることが行われている。
GUIが採用された電子機器においては、ユーザーは、画面上に表示されたアイコンやウインドウなどのグラフィカルな要素を通じて、操作を行うことができるようにされる。したがって、GUIを用いることにより、電子機器に不慣れなユーザーでも意図する操作を適切に行うことができる。
また、GUIを用いることにより、電子機器の使い勝手を向上させるようにする種々の技術が、以下に示す特許文献に開示されている。
特開2007−274381号公報 特開2004−343662号公報
上述のように、電子機器にGUIを採用することにより、ユーザーの操作性を向上させることができる。しかし、1つのアイコンに対して操作を行うと、さらに別の操作が要求されるといったように、階層的に操作が要求される場合も多い。このような場合には、操作回数が多くなり、結局、操作の複雑化を招いてしまう場合もある。
そこで、電子機器において、頻繁に行う必要のある処理、迅速に行う必要のある処理、確実に行う必要のある処理等については、できるだけ簡単な操作によって実行できるようにすることが望まれている。
特に、持ち運ばれて利用されることが多いデジタルスチルカメラやデジタルビデオカメラなどの画像処理装置においては、外出先などにおいても、簡単な操作で、目的とする処理を迅速かつ確実に行えるようにすることが望まれている。
以上のことに鑑み、この発明は、画像データを扱う場合に、簡単な操作で、目的とする処理を迅速かつ確実に行えるようにすることを目的とする。
上記課題を解決するため、請求項1に記載の発明の画像処理装置は、自機の動きを検出する動き検出部と、操作部に対する操作に応じて、画像データの検索範囲を設定する設定部と、設定部により検索範囲が設定された状態で、動き検出部を通じて、自機に対して特定の操作が行われたことを検出した場合に、検索範囲の画像データを表示部に表示する表示処理部と、操作部に対する操作に応じて、検索範囲の画像データから検索キーを用いて画像データの検索を行い、当該検索結果の画像データを表示部に表示する検索部と、検索結果の画像データが表示部に表示された状態で、動き検出部を通じて、自機に対して特定の操作が行われたことを検出した場合に、検索結果の画像データを所定の格納先に記録する記録処理部と、を備える。
これにより、ユーザーは、例えば、画像処理装置を倒す、起こす、傾ける、振る、叩くといった、動き検出により検出可能な簡単な操作を、当該画像処理装置に対して行うだけで、目的とする処理を迅速かつ確実に実行することができるようにされる。
この発明によれば、画像データを扱う画像処理装置において、目的とする画像データを処理対象として、簡単な操作で、目的とする処理を迅速かつ確実に行うようにすることができる。
以下、図を参照しながら、この発明の装置、方法、プログラムの一実施の形態について説明する。
[撮像装置の構成例]
図1は、この発明の装置、方法、プログラムの一実施の形態が適用された撮像装置100の構成例を説明するためのブロック図である。撮像装置100は、撮影モードを切り替えることにより、静止画像と動画像のいずれをも撮影して記録媒体に記録することができるものである。
しかし、以下に説明する実施の形態においては、説明を簡単にするため、撮像装置100はデジタルスチルカメラとしての機能が用いられ、主に静止画像を撮影したり、再生したりする場合を例にして、この撮像装置100の構成と動作について説明する。
図1に示すように、撮像装置100は、レンズ部101、撮像素子102、前処理部103、画像処理部104、表示処理部105、表示部106、タッチパネル107、圧縮処理部109、伸張処理部110、表示画像形成部111を備えている。
また、撮像装置100は、制御部120、操作部131、外部インターフェース(以下、外部I/Fと略称する。)132、入出力端子133、書き込み/読み出し部134、記録媒体135を備えている。また、撮像装置100は、セット上部のタッチパネル136、モーションセンサ137、GPS受信部138、GPS用受信アンテナ139、通信部141、送受信アンテナ142を備えている。
なお、図1には示さなかったが、この実施の形態の撮像装置100は、時計回路をも備えたものである。当該時計回路は、カレンダ機能を備え、現在年月日、現在曜日、現在時刻を提供することができると共に、必要に応じて、所定の時間間隔を計測する時間カウンタの機能をも実現することができるものである。
この時計回路の機能により、撮影された画像データに対して撮影日時や撮影曜日などの撮影日に関する情報を付加することができるようにしている。また、時計回路の機能を利用して、所定の操作から一定時間経過後に自動的にシャッターをきって撮影できるようにするセルフタイマー撮影機能をも実現することができるようにしている。
この実施の形態の撮像装置100において、表示部106は、例えば、LCD(Liquid Crystal Display)、有機ELパネル(Organic Electroluminescence Panel)等のいわゆる薄型の表示素子からなるものである。そして、後述もするが、この表示部106の表示画面の全面に対して操作面を形成するようにタッチパネル107が貼付されている。
タッチパネル107は、ユーザー(使用者)からの操作面に対する指示操作(接触操作)を受け付けて、タッチパネル107の当該操作面上の指示位置(接触位置)を検出し、当該指示位置を示す座標データを制御部120に通知するものである。
制御部120は、後述もするように、撮像装置100の各部を制御するものであり、表示部106の表示画面に対して、どのような表示を行っているかをも把握している。制御部120は、タッチパネル107からの操作面上の指示位置を示す座標データと、当該指示位置に対応する表示部106の表示画面上の表示情報とに基づいて、ユーザーからの指示操作(入力操作)を受け付けることができる。
例えば、ユーザーがタッチパネル107の操作面上の位置に、指やスタイラスなどを接触させたとする。この場合に、その接触位置に対応する(一致する)表示画面上の位置に数字が表示されていた場合には、ユーザーはその表示されている数字を選択して入力するようにしたと制御部120において判別することができる。
このように、撮像装置100においては、表示部106とタッチパネル107とによって、入力装置としてのタッチスクリーン108を形成している。なお、タッチパネル107は、例えば、感圧式や静電式のものとして実現される。
また、タッチパネル107は、操作面上の複数の箇所に同時に行うようにされた操作のそれぞれを検出し、その接触位置のそれぞれを示す座標データを出力することができるものである。また、タッチパネル107は、操作面に対して繰り返し行うようにされる指示操作のそれぞれを検出し、そのそれぞれの接触位置を示す座標データを出力することもできる。
さらに、タッチパネル107は、ユーザーによって、指やスタイラスが接触されている間は、所定のタイミング毎に連続して接触位置を検出し、これを示す座標データを出力することもできる。
これにより、タッチパネル107は、いわゆるタップ操作、ダブルタップ操作、ドラッグ操作、フリック操作、ピンチ操作などのユーザーからの様々な指示操作(操作入力)を受け付けて、これを検出することができるものである。
ここで、タップ操作は、ユーザーの指やスタイラスによって、操作面上を「ちょん」と1回だけ指示する動作(操作)である。ダブルタップ操作は、操作面上を連続して2回、「ちょん、ちょん」と指示する動作である。
また、ドラッグ操作は、ユーザーの指やスタイラスを操作面上に接触させたまま移動させる動作である。フリック操作は、ユーザーの指やスタイラスを操作面上の1点を指示してから、そのまま任意の方向に素早く「はじく」ようにする動作である。
ピンチ操作は、ユーザーの2本の指等を同時に操作面上に接触させて、当該2本の指等を開いたり、閉じたりする動作である。この場合、特に、接触させた2本の指等を開く操作をピンチアウト操作、2本の指等を閉じる操作をピンチイン操作と呼んでいる。
ドラッグ操作とフリック操作とは、動作の速さに違いがあるものの、操作面上にユーザーの指等を接触させた後に、当該操作面上を移動させる操作(操作面上をなぞる操作)であり、移動距離と移動方向との2種類の情報によって把握できる操作である。
このため、この明細書においては、ドラッグ操作とフリック操作とのいずれかの操作を行うことにより、同じ処理を行うようにすることができる場合には、ドラッグ操作とフリック操作との総称として「なぞり操作」という文言を用いる。
そして、制御部120は、撮像装置100を構成する各部と接続され、上述もしたように、撮像装置100の各部を制御するものであり、いわゆるマイクロコンピュータの構成されたものである。
制御部120は、CPU(central Processing Unit)121、ROM(Read Only Memory)122、RAM(Random Access Memory)123、EEPROM(Electrically Erasable and Programmable ROM)124が、CPUバス125を通じて接続されて構成されている。
CPU121は、後述するROM122に記憶されているプログラムを読み出して実行し、各部に供給する制御信号を形成して、これを各部に供給し、また各部から提供されるデータ等を受け付けて、これを処理するものである。
ROM122は、上述のように、CPU121において実行される種々のプログラムや処理に必要になる種々のデータ等を予め記憶保持しているものである。RAM123は、各種の処理において途中結果を一時記憶するなど、主にワークエリアとして用いられるものである。
EEPROM124は、いわゆる不揮発性メモリーであり、撮像装置100の電源が落とされても保持しておくべき情報を記憶保持する。例えば、ユーザーによって設定された種々のパラメータや、種々の処理の最終結果、あるいは、機能追加などのために新たに提供された処理プログラムやデータ等が、EEPROM124に保持される。
このように構成された制御部120に対しては、図1に示したように、操作部131、外部I/F132、書き込み/読み出し部134、セット上部のタッチパネル136、モーションセンサ137、GPS受信部138、通信部141が接続されている。
操作部131は、各種の調整キーや機能キー、シャッターキーなどの操作キーを有し、ユーザーからの操作入力を受け付けて、これを制御部120に通知する。これにより、制御部120は、操作部131を通じて受け付けたユーザーからの操作入力に応じて、各部を制御し、操作入力に応じた処理を実行することができるようにされる。
外部I/F132は、例えば、USB(Universal Serial Bus)やIEEE(Institute of Electrical and Electronics Engineers Inc)1394などの、所定の規格に準拠したデジタルインターフェースである。
すなわち、外部I/F132は、入出力端子133に接続された外部機器からのデータを自機において処理可能な形式のデータに変換して受け付けたり、自機から送出するデータを所定の形式のデータに変換して出力したりするものである。
書き込み/読み出し部134は、制御部120の制御に応じて、自機の記録媒体135に対して、データを書き込んだり、記録媒体135に記録されているデータを読み出したりするものである。
記録媒体135は、撮像装置100に対して着脱可能に構成され、例えば、半導体メモリーが用いられて、数ギガバイト以上の記憶容量を有するようにされたいわゆるメモリーカード型のリムーバブルメモリーである。
なお、メモリーカード型のリムーバブルメモリー以外にも、記録媒体135として、例えば、内蔵フラッシュメモリーや小型のハードディスクなど内蔵型の記録媒体を用いる構成することもできる。
また、記録媒体135として、小型のDVD(digital Versatile Disc)やCD(Compact Disc)等の光ディスクなどの他のリムーバブル型の記録媒体を用いる構成とすることもできる。
セット上部のタッチパネル136は、所定の場合にユーザーからの指示入力を受け付けるためのものである。このタッチパネル136もまた、感圧式や静電式のものとして実現される。なお、セット上部のタッチパネル136は、必ずしもタッチパネルによって構成されなくてもよい。いわゆるハードウェアキーとして実現してもよい。
モーションセンサ137は、撮像装置100の動きを検出するものであり、具体的には、2軸若しくは3軸の加速度センサなどにより構成される。そして、モーションセンサ137は、撮像装置100が傾けられるようにされた場合に、どの方向にどれだけ傾けられたのかを検出し、制御部120に通知することができるものである。
また、モーションセンサ137は、撮像装置100が左右に振られた場合と上下に振られた場合とを区別して検出し、これを制御部120に通知することができる。また、モーションセンサ137は、例えば、叩かれるなどして振動が加えられた場合に、これを検出して制御部120に通知することもできる。
GPS受信部138は、GPS用受信アンテナ139を通じて、複数の人口衛星からの所定の信号を受信し、これを解析することによって、撮像装置100の現在位置を検出し、これを制御部120に通知することができるものである。
このGPS受信部138の機能により、撮像装置100においては、撮影時に現在位置情報を取得して、画像データに対してメタデータとして撮影位置を示す位置情報(GPS情報)を付加することができるようにしている。
なお、GPS受信部138は、例えば、操作部131を通じて受け付けるユーザーからの指示に応じて、動作させたり、動作を停止させたりすることもできるようにされている。
また、通信部141は、送受信アンテナ142を通じて、例えば、Bluetoothなどの近距離無線通信機能を実現するものである。通信部141は、送受信アンテナ142を通じて、同様の通信部を有する電子機器との間で通信を行い、データやプログラムなどの送受を行うことができるようにしている。
そして、図1に示した撮像装置100において、レンズ部101は、図示しないが、撮像レンズ(対物レンズ)、露光調整機構、合焦調整機構、シャッター機構等を含み、被写体の画像を取り込み後段の撮像素子のセンサ面に結像させるようにする部分である。
撮像素子102は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像センサ(撮像素子)からなるものである。撮像素子102は、レンズ部101を通じて自己のセンサ面に結像するようにされた画像を電気信号(画像信号)として取り込む。
この実施の形態の撮像装置100において、撮像素子102は、画素毎にR(赤)、G(緑)、B(青)のいずれかの信号を形成するようにする予め決められた色パターンの単板の色フィルタを備えたものである。
そして、撮像素子102を通じて取り込まれた画像信号は、後段の前処理部103に供給される。前処理部103は、CDS(Correlated Double Sampling:2重相関サンプリング)回路やAGC(Automatic Gain Control)回路やA/D(Analog/Digital)変換器などを含み、撮像素子102からの画像信号をデジタルデータとして取り込む部分である。
前処理部103を通じて取り込まれた画像信号(画像データ)は、画像処理部104に供給される。画像処理部104は、図示しないが検波回路、ホワイトバランス回路、デモザイク回路、解像度変換回路、その他の画像補正回路等を有するものである。
画像処理部104においては、まず、前処理回路103からの画像データに基づいて、露光(露出)調整のためのパラメータ、合焦(焦点)調整のためのパラメータ、ホワイトバランス調整のためのパラメータなど、種々の調整処理のためのパラメータを形成する。
画像処理部104において形成されたパラメータの内、露光(露出)調整のためのパラメータと合焦(焦点)調整のためのパラメータとは制御部120に供給される。制御部120は、画像処理部104からのパラメータに基づいて、レンズ部102の露光調整機構や合焦調整機構を制御し、露光や合焦のための調整を適切に行うことができるようにしている。
そして、画像処理部104においては、前処理部103からの画像データに対して、黒レベル合わせ処理や上述したように形成されるホワイトバランス調整のためのパラメータ基づくホワイトバランス調整処理を行う。これらの調整処理により、前処理部103からの画像データが形成する画像が適切な色合いになるように調整する。
この後、画像処理部104においては、適切な色合いになるように調整された画像データに対して、画素毎にRGBデータ(3原色データ)を生成するデモザイク処理(同時化処理)、アパーチャ補正処理、ガンマ(γ)補正処理等を行う。
さらに、画像処理部104においては、形成したRGBデータから輝度信号(Y)と色信号(Cb、Cr)を形成するY/C変換処理や、色収差補正処理、解像度変換処理などを行って、輝度信号Yおよび色信号Cb、Crを形成する。
画像処理部104で形成された画像データ(輝度信号Y、色信号Cb、Cr)は、表示処理部105に供給され、ここで表示部106に供給する形式の画像信号に変換されて表示部106に供給される。
これにより、表示部106の表示画面には、レンズ部101を通じて取り込んだ被写体の画像が表示され、ユーザーは、表示部106の表示画面に表示される被写体の画像を確認しながら、目的とする被写体の画像を撮影することができる。
同時に、画像処理部104で形成された輝度信号Y、色信号Cb、Crは、圧縮処理部109にも供給される。そして、操作部131のシャッターキーが押下されたタイミングにおいて、圧縮処理部109は、その時点において、表示部106の表示画面に表示するようにしていた画像の画像データをデータ圧縮し、これを制御部120に供給する。
なお、圧縮処理部103においては、予め決められたデータ圧縮方式に従って、データ圧縮処理を行う。データ圧縮方式としては、静止画であれば、JPEG(Joint Photographic Experts Group)方式、動画であれば、MPEG(Moving picture Experts Group)方式などが用いられる。もちろん、これに限るものではなく、データ圧縮方式は種々のものを用いるようにすることが可能である。
制御部120は、書き込み/読み出し部134を制御し、圧縮処理部109からのデータ圧縮された画像データを記録媒体135に記録する。このようにして、撮像装置100においては、被写体の画像を撮影し、当該被写体の画像を形成する画像データを記録媒体135に記録することができるようにしている。
撮像装置100において、上述のように撮影して得た画像データは、詳しくは後述するが、ユーザーが形成するようにするフォルダ毎に、記録媒体135に格納して管理することができるようにしている。
フォルダは、被写体毎やイベント毎などと言うように、目的に応じて形成することができる。この実施の形態の撮像装置100においては、例えば、入学式、運動会、お誕生日会などといった、撮影を行ったイベント毎にフォルダを形成するようにしている。もちろん、撮影した画像データを後から、目的とするフォルダに移動させたりするなどのこともできるようにされる。
そして、記録媒体135に記録された画像データは、制御部120に制御される書き込み/読み出し部134によって読み出すことができるようにされる。記録媒体135から読み出された画像データは、制御部120を通じて伸張処理部110に供給される。
伸張処理部110は、これに供給された画像データを、データ圧縮時に用いたデータ圧縮方式にしたがって伸張処理し、データ圧縮前の画像データを復元して、これを表示画像形成部111に供給する。
表示画像形成部111は、伸張処理部110からの画像データを用いて、また、必要な場合には、制御部120から供給される種々の表示用データをも用いて、表示部106の表示画面に表示すべき画像の画像データを形成し、これを表示処理部105に供給する。
表示処理部105は、画像処理部104からの画像データを処理したときと同様に、表示画像形成部111からの画像データから、表示部106に供給する形式の画像信号に変換し、これを表示部106に供給する。
これにより、記録媒体135に記録されている画像データに応じた画像を、表示部106の表示画面に表示することができる。すなわち、記録媒体135に記録されている目的とする画像の画像データを再生することができる。
このように、この実施の形態の撮像装置100は、被写体の画像を撮影して、記録媒体135に記録することができるものである。また、撮像装置100は、記録媒体135に記録されている画像データを読み出して再生処理し、当該画像データに応じた画像を表示部106の表示画面に表示することもできるものである。
上述の構成を有する撮像装置100においては、以下に説明するように、撮影することにより記録媒体135に記録した画像ファイルにキーワードなどの検索キー(検索条件)の候補となる情報を付加しておき、これに応じて画像データを検索できるようにしている。
そして、撮像装置100においては、画像データの検索処理を複数回繰り返し行う必要がある場合であっても、できるだけ少ない操作ステップで検索を行えるようにしている。さらに撮像装置100においては、検索結果を分りやすくユーザーに提示したり、検索結果を簡単な操作で確定したりするなどのことができるようにしている。
[画像ファイル、画像フォルダの構成例]
図2は、撮像装置100の記録媒体135に記録される画像ファイルのレイアウト例を説明するための図である。図2に示すように、画像ファイルは、各画像ファイルを識別するための識別情報であるファイル名を有している。このファイル名は、例えば、撮影時において、制御部120により自動付与されるものである。
また、各画像ファイルには、キーワード、GPS情報、画像分析情報、カメラ情報、撮影日時などからなるメタデータが付加するようにされている。これらのメタデータは、画像データの検索キーに対応する情報として用いることができるものである。
ここで、キーワードは、ユーザーによって入力される主にテキストデータである。具体的にキーワードは、撮影を行った場所を示す地名、画像に写っている人の名前、撮影を行った場所で開かれていたイベント名など、当該画像の内容などを示す情報が複数個登録可能にされている。
なお、キーワードは、これを付加する画像ファイルの画像データに応じて画像が表示部106の表示画面に表示されている場合において、操作部131やタッチスクリーン108を通じて入力し、当該画像ファイルに付加することができるようにされている。
また、例えば、パーソナルコンピュータ上において、画像データにキーワードなどの種々のメタデータを付加するようにし、これを入出力端子133及び外部I/F132を通じて撮像装置100に取り込み、記録媒体135に記録するようにしてもよい。すなわち、キーワード等のメタデータを外部の機器において付加した画像データを撮像装置100に取り込んで、これを利用するようにすることもできる。
GPS情報は、撮影時において、上述したGPS受信部138を通じて取得した撮影時の位置を示す位置情報(経度、緯度の情報)であり、制御部120を通じて、画像ファイルに付加することができるようにされている。
画像分析情報は、当該画像ファイルの画像データを所定の方式で画像分析(画像解析)を行うことにより、画像分析結果を得て、これを各画像ファイルに格納するようにしたものである。この画像分析は、撮影後の適宜にタイミングにおいて、主に制御部120の機能により行われ、画像ファイルに付加するようにされている。
そして、画像分析情報は、例えば、エッジ検出や色彩解析などの種々の手法を用いることにより、各画像データによる画像の特徴を数値化して示すことができるものであり、各画像間において、構図や被写体の類似度を比較することができるものである。
さらに言えば、当該画像分析情報は、当該画像分析の結果に基づいて、類似する人物(顔)が写っている画像を検索したり、類似する場所が写っている画像を検索したり、あるいは、色あいや複雑さの特徴が類似する画像を検索したりするなどのことができるものである。
また、当該画像分析情報は、後述もするが、画像分析の結果得られる情報であって、画像における人物の顔の面積、画像に写っている人物の数、画像に写っている人物の笑顔の度合い、画像全体の特徴を示す情報といった種々の分析情報をも含んでいる。
カメラ情報は、撮影時の絞りやシャッタースピードなどを示す情報である。このカメラ情報は、制御部120において管理されている情報であり、撮影が行われた場合に、制御部120によって画像ファイルに付加するようにされている。そして、当該カメラ情報により、どのようなカメラ条件の下で撮影された画像データであるかが把握できる。
撮影日時は、図示しない時計回路を通じて撮影時において制御部120が取得し、画像ファイルに付加した日時情報であり、年月日及び時刻からなる情報である。これにより、各画像ファイルの画像データは、いつ撮影されたものかを正確に把握することができる。
そして、画像ファイルには、メインデータとして、撮影することにより得られた被写体の画像を形成する画像データが格納されている。
このように形成される画像ファイルが、撮像装置100の記録媒体135に記録される。そして、画像ファイルは、以下に説明するように、ユーザーの指示に応じて記録媒体135に作成される画像フォルダに格納するようにされる。
なお、この実施の形態の撮像装置100においては、ユーザーが画像フォルダを形成しない場合、例えば、撮影日に対応するフォルダを自動的に形成し、これに撮影することにより得た画像データを格納することができるようにしている。
そして、画像ファイルが格納される画像フォルダは、上述もしたように、例えば、入学式、運動会、お誕生日会などといった、撮影を行ったイベント毎や撮影年月や撮影年月日毎などに形成されるものである。
これ以外にも、例えば、被写体毎に画像フォルダを形成して用いるようにしたり、撮像装置100を家族などで共用する場合には、撮影者毎に画像フォルダを形成して使い分けるようにしたりすることもできる。
図3は、撮像装置の100の記録媒体135に形成される画像フォルダのレイアウト例を説明するための図である。図3に示すように、画像フォルダは、各フォルダを識別するための識別情報であるフォルダ名を有している。このフォルダ名が、例えば、入学式、運動会、お誕生日会などといった、撮影を行ったイベントに対応する情報や、撮影年月や撮影年月日などの撮影日に関する情報などである。
また、各画像フォルダは、当該画像フォルダのイベントタイトル、作成日時、その他の種々のメタデータを有している。
イベントタイトルは、その画像フォルダがイベントに対応して作成されたものである場合に、より詳しいイベントの内容、例えば、「○○ちゃんの入学式 2008.4.10」などのようにより詳しい内容を示す情報を格納することができる。
作成日時は、当該画像ファイルを作成した日時を示す情報であり、画像フォルダの作成時において、制御部120が図示しない時計回路から取得する情報である。
この他、メタデータとして、当該画像フォルダに格納されている画像ファイルの数などの撮像装置100において自動的に付与可能な情報や、ユーザーによって入力される注釈情報(文字情報)等を付加することも可能である。
そして、画像フォルダには、当該フォルダに属する画像ファイルのそれぞれの、ファイル名、記録媒体上のアドレス、撮影日時が格納されている。この画像フォルダの情報により、当該画像フォルダには、いつ撮影された、どの画像ファイルが格納されており、それらの画像ファイルは、記録媒体上のどこに格納されているかを把握することができる。
そして、各画像ファイルにおいては、撮影することにより得られた画像データの画像ファイルを撮影日時に応じて時系列順に管理している。これにより、画像フォルダの情報に基づいて、図3に示した画像ファイルの画像データを、時間が進む方向に読み出して順次に表示したり、時間が戻る方向に順次に読み出して表示したりすることができるようにしている。
[検索キーの候補情報テーブル]
そして、この実施の形態の撮像装置100においては、検索キーを用いた画像データの検索処理を手軽に行うことができるようにするために、検索キーの候補となる情報(検索キー候補情報)が予め登録されている。この検索キー候補情報テーブルに登録されている検索キー候補情報が、後述もするが、検索時に登録することなく検索キーとして用いることができるものである。
図4は、撮像装置100の記録媒体135に、あるいは、EEPROM124などに予め作成される検索キー候補情報テーブルを説明するための図である。この実施の形態の撮像装置100において、検索キー候補情報テーブルは、図4に示すように、「人」、「場所」、「色」、「季節」、「被写体」、「カメラ情報」、「その他」の7つのカテゴリに分けて検索キー候補情報を管理するものである。
カテゴリ「人」は、人に関する検索キー候補情報が属するものであり、図4に示すように、「家族、父、母、兄、姉、弟、妹、…」などの情報が予め登録されている。また、カテゴリ「人」には、例えば、「○子(ユーザー本人)」、「Aさん」、「Bさん」、「Cさん」など、ユーザー自身の名前や、被写体になる(なった)友人や知人の名前などを、ユーザー自身が登録することもできる。
カテゴリ「場所」は、場所に関する検索キー候補情報が属するものであり、図4に示すように、都道府県名、市町村名、区名、その他の地名、駅名、種々のランドマーク名等の情報が予め登録されている。なお、新たにできた地名や新たにできたランドマーク(高層ビルや商業施設等)の名前など、登録されていない地名などについては、ユーザー自身が登録することもできる。
カテゴリ「色」は、図4に示したように、赤、白、黒、青、…などの色名が属するものであり、一般的によく用いられる複数の色名が予め登録されている。なお、予め登録されていない色名については、ユーザー自身が登録することもできる。
カテゴリ「季節」は、季節に関する検索キー候補情報が属するものであり、図4に示すように、「春、夏、秋、冬」のほか、新春、早春、初夏、初秋、初冬などの季節に関する幾つかの単語も予め登録されている。なお、予め登録されていない季節に関する単語については、ユーザー自身が登録することもできる。
カテゴリ「被写体」は、被写体となりうるものに関する検索キー候補情報が登録されるものであり、図4に示すように、動物、花、木、山、海など、一般によく被写体となるものの名前が予め登録されている。なお、予め登録されていない被写体となりうるものに関する単語については、ユーザー自身が登録することもできる。
カテゴリ「カメラ情報」は、絞りやシャッタースピードなどの撮影時のカメラの設定条件などの検索キー候補情報が予め登録されるものである。例えば、特殊な設定条件を用いて撮影した画像を検索する場合などに用いられる。なお、予め登録されていないカメラ情報については、ユーザー自身が登録することもできる。
カテゴリ「その他」は、上記の6つのカテゴリのいずれにも属さない検索キー候補情報が登録されるものである。例えば、画像分析やGPS情報といった項目名が登録されており、これらを選択することにより、特定の画像の画像分析情報を検索キーとして用いるようにしたり、特定の画像のGPS情報を検索キーとして用いるようにしたりすることができるようにされる。
そして、この実施の形態の撮像装置100においては、上述もしたように、撮影することにより記録媒体135に記録した画像ファイルに対しては、ユーザーが種々のキーワードを付すことができるようにしている。
ユーザーは、上述もしたように、撮影することにより記録媒体135に記録した画像ファイルに格納されている画像データによる画像を再生するようにし、キーワードを付加するための所定の操作を行うと、操作部131を通じてキーワードを入力することができる。
この場合、図4に示した検索キー候補情報テーブルの検索キー候補情報の一覧を表示し、その表示された候補の中から目的とするキーワードを選択して付加するようにすることができる。
また、検索キー候補情報の一覧の中に目的するキーワードが存在しない場合には、例えば、タッチスクリーン8により実現される入力キーを通じて、単語などのテキストデータを入力し、これをキーワードとして付加することもできる。
もちろん、上述もしたように、パーソナルコンピュータ上において、画像データにキーワードなどの種々のメタデータを付加するようにし、これを入出力端子133及び外部I/F132を通じて撮像装置100に取り込み、記録媒体135に記録するようにしてもよい。すなわち、キーワード等のメタデータを外部の機器において付加した画像データを撮像装置100に取り込んで、これを利用するようにすることもできる。
また、入出力端子133及び外部I/F132を通じて接続されるパーソナルコンピュータなどの外部機器を通じて、撮像装置100の検索キー候補テーブルに検索キーの候補を追加することも可能である。
もちろん、パーソナルコンピュータなどの外部機器で形成された検索キー候補テーブルを、入出力端子133及び外部I/F132を通じて取り込んで、EEPROM124などの所定のメモリーに格納し、これを利用するようにすることもできる。
この場合、制御部120は、キーワードとして入力された情報が、検索キー候補情報テーブルに存在しない場合には、当該キーワードを検索キー候補情報テーブルに追加登録するか否かの確認を求める。
そして、追加登録することが指示された場合には、制御部120は、例えば操作部131等を通じてユーザーによって指示されたカテゴリに当該キーワードを登録することができるようにされている。
このようにして、この実施の形態の撮像装置100においては、記録媒体135に格納されている各画像ファイルに付加されているキーワードのいずれかと、検索キー候補情報テーブルに登録された検索キー候補情報のいずれかが一致するようにされている。
[画像検索に用いる検索キーの選択処理]
次に、この実施の形態の撮像装置100において、図4に示した検索キー候補情報テーブルに登録された検索キー候補情報から、画像検索に用いる検索キーを選択する処理について説明する。図5〜図7は、検索キー候補情報テーブルに登録された検索キー候補情報から、画像検索に用いる検索キーを選択する処理について説明するための図である。
撮像装置100においては、例えば、操作部131に設けられているメニューキーを押下操作するなど、所定の操作を行うことにより、制御部120は、自機において実行可能な処理を選択項目として有するメニューを形成し、これを表示部106に表示する。
すなわち、制御部120は、ROM122に格納されている表示用情報等を用いて、メニュー表示用の画像データ(メニュー画面)を形成する。そして、制御部120は、形成したメニュー表示用の画像データを、伸張処理部110、表示画像形成部111、表示処理部105を通じて処理するようにし、メニュー表示用の画像信号を形成して表示部106に供給する。
これにより、表示部106の表示画面6Gには、自機において実行可能な処理を選択項目とするメニュー画面が表示される。なお、メニュー表示用の画像データについては、伸張処理の必要は無いので、伸張処理部110においては特に処理が施されることはない。
そして、撮像装置100においては、図1を用いて説明したように、表示部106とタッチパネル107とによりタッチスクリーン108が形成されており、このタッチスクリーン108を通じてユーザーからの指示入力が受け付けられる。
ユーザーは、撮像装置100に対して、表示部106の表示画面6Gに表示されたメニューから、メニュー項目「画像検索」を選択する操作を行う。具体的には、メニュー項目「画像検索」の表示位置に対応するタッチパネル107の操作面上の位置に対して指等を接触させる。
これにより、タッチパネル107から制御部120に対して、操作面上のユーザーの接触位置を示す座標データが供給される。制御部120は、当該座標データと当該座標データが示す操作面上の位置に対応する表示画面上の位置に表示されている表示情報とに基づいて、ユーザーによってどの項目が選択されたかを判断する。
この場合、制御部120は、ユーザーによって接触された操作面上の位置に対応する表示画面6Gの位置には、メニュー項目「画像検索」が表示されていることを把握している。したがって、制御部120は、ユーザーによって、メニュー項目「画像検索」が選択されたと判断することができる。
そして、制御部120は、上述したメニューを表示した場合と同様にして、図5(a)に示す検索範囲設定画面を表示部106の表示画面6Gに表示する。図5(a)に示すように、検索範囲設定画面は、「*画像検索*」という表題(画面のタイトル)を有すると共に、検索範囲を指定するための全体アイコン6X、フォルダアイコン6Y、日付アイコン6Zを有するものである。また、検索範囲設定画面は、図5(a)に示すように、右上端部には、終了アイコン6A、OKアイコン6Bを有している。
そして、図5(a)において、全体アイコン6Xは、記録媒体135に記録されている全画像ファイルを検索対象として指定するためのものである。したがって、全体アイコン6Xが選択された場合には、制御部120は、画像検索時において、記録媒体に記録されている全ての画像ファイルを検索対象とする。
フォルダアイコン6Yは、記録媒体135に記録されている画像ファイルの内、ユーザーによって選択された画像フォルダに格納されている画像ファイルだけを検索対象として指定するためのものである。
フォルダアイコン6Yが選択された場合には、制御部120は、記録媒体135に形成されている画像フォルダの一覧リストを形成して表示部106の表示画面に表示し、ユーザーが目的とする画像フォルダを選択することができるようにする。
ユーザーによって画像フォルダが選択された場合には、制御部120は、図5(a)において、表示6Y1が示すように、選択された画像フォルダのフォルダ名を表示部106の表示画面6Gに表示する。
そして、制御部120は、選択された画像フォルダに格納されている画像ファイルだけを検索対象とする。なお、選択できる画像フォルダは1つに限るものではなく、複数の画像フォルダを検索対象とすることもできる。
日付アイコン6Zは、記録媒体135に記録されている画像ファイルの内、画像ファイルに付加されている撮影年月日が、ユーザーによって指示された日付範囲に属する画像ファイルだけを検索対象として指定するためのものである。
日付アイコン6Zが選択された場合には、制御部120は、日付範囲の設定画面を表示部106の表示画面に表示し、ユーザーが目的とする日付範囲を入力することができるようにする。
日付範囲が入力された場合には、制御部120は、図5(a)において、表示6Z1が示すように、入力された日付範囲を表示部106の表示画面6Gに表示する。そして、制御部120は、入力された日付範囲に撮影年月日が属する画像ファイルだけを検索対象とする。
なお、日付範囲は、2008年10月1日〜2008年10月1日までのように、1日だけの場合も可能であるし、数日、数週間単位、数ヶ月、数年といった範囲の入力(設定)も可能である。
そして、図5(a)に示した検索範囲設定画面において、終了アイコン6Aが選択された場合には、制御部120は、画像の検索処理を終了させ、例えば、メニュー画面が表示された状態に戻るようにする。
また、図5(a)に示した検索範囲設定画面において、OKアイコン6Bが選択された場合には、制御部120は、選択された範囲で、画像の検索を行うようにする。この場合、制御部120は、図5(b)に示すように、カテゴリ一覧表示611を有する検索キーの選択画面(1)を形成し、これを表示部106の表示画面6Gに表示する。
なお、検索範囲が選択されていないにもかかわらず、OKアイコン6Bが選択された場合、制御部120は、警告音を放音したり、警告メッセージを表示したりして、検索範囲を選択することをユーザーに促すようにしている。
図5(b)に示すように、検索キーの選択画面(1)は、終了アイコン6AとBKアイコン6Cを有すると共に、表示画面6Gの下端部にカテゴリ一覧表示611を有するものである。
カテゴリ一覧表示611は、図4を用いて説明した検索キー候補テーブルのカテゴリ情報に基づいて形成されるものであり、図5(b)に示したように、人、場所、色、季節、被写体、カメラ情報、その他というように、7つのカテゴリ名を有している。
ユーザーは、表示されたカテゴリ一覧表示611から、検索キーとして用いようとする検索キー候補情報が属すると考えられるカテゴリ名を選択する。具体的には、目的とするカテゴリ名の表示位置に対応するタッチパネル107の操作面上の位置に指等を接触させることによりカテゴリ名を選択する。
制御部120は、タッチパネル107からの座標データと、当該座標データが示すタッチパネル107の操作面上の位置に対応する表示画面6G上の位置に表示されている表示情報とに基づいて、ユーザーによりどのような指示入力がされたかを把握する。
ここで、図5(b)に示すように、ユーザーによって、カテゴリ「人」の表示位置に対応するタッチパネル107の操作面上の位置に指等が接触されたとする。この場合、制御部120は、カテゴリ「人」が選択されたと判断し、図6(a)に示すカテゴリ「人」に属する検索キー候補情報の一覧表示(検索キー候補表示)621を有する検索キーの選択画面(2)を形成し、表示部106の表示画面6Gに表示する。
なお、図5(b)において、終了アイコン6Aが選択された場合には、制御部120は、画像の検索処理を終了させ、例えば、メニュー画面が表示された状態に戻るようにする。また、図5(b)において、BKアイコン6Cが選択された場合には、制御部120は、図5(a)を用いて説明した検索範囲設定画面に戻り、再度の検索範囲の設定を行うことができるようにする。
図6(a)に示すように、検索キーの選択画面(2)は、終了アイコン6Aと、OKアイコン6Bと、BKアイコン6Cを有すると共に、表示画面6Gの下端部に検索キー候補表示621を有するものである。
検索キー候補表示621は、前段の検索キーの選択画面(1)において選択されたカテゴリ「人」に属する検索キー候補情報の一覧リストである。また、図6(a)に示すように、検索キーの選択画面(2)の場合、検索キー候補表示をスクロールさせるための左矢印アイコン622と右矢印アイコン623とを有している。
この場合、左矢印アイコン622に対してタップ操作を行うようにすると、制御部120は、検索キー候補表示621を右側から左側へ検索キー候補1つ分スクロールさせる。左矢印アイコン622に対してタップ操作を繰り返すことにより、検索キー候補表示621を右側から左側へ検索キー候補1つ分ずつ順次にスクロールさせることができる。
同様に、左矢印アイコン623に対してタップ操作を行うようにすると、制御部120は、検索キー候補表示621を左側から右側へ検索キー候補1つ分スクロールさせる。右矢印アイコン623に対してタップ操作を繰り返すことにより、検索キー候補表示621を左側から右側へ検索キー候補1つ分ずつ順次にスクロールさせることができる。
これら左矢印アイコン622、右矢印アイコン623に対して操作を行うことにより、検索キー候補表示をスクロールさせ、目的とする検索キー候補情報が表示された場合には、その検索キー候補情報を選択する操作を行う。
なお、左右の矢印アイコン622、623を用いるのではなく、例えば、タッチパネル107の操作面において、左方向のなぞり操作や右方向のなぞり操作を行うことによって、検索キー候補表示をスクロールさせるようにすることもできる。
例えば、図6(a)において、検索キー候補表示中の項目「Aさん」が、ユーザーが検索キーとしたい検索キー候補情報であったとする。この場合、ユーザーは、項目「Aさん」の表示位置に対応するタッチパネル107の操作面上の位置に指等を接触させて、なぞり操作(ドラッグ操作またはフリック操作)を行う。
制御部120は、上述したように、タッチパネル107からの座標データと、各表示情報の表示画面6G上の表示位置とに基づいて、項目「Aさん」の表示位置からなぞり操作が行われたことを把握する。
この場合、制御部120は、項目「Aさん」が検索キーとして選択されたと認識し、検索キー候補表示621の表示外に、検索キーとして選択された「Aさん」の表示624を表示画面6Gに表示する。これにより、ユーザーは、撮像装置100において、項目「Aさん」を検索キーとして選択できたことを認識することができる。
同様にして、カテゴリ「人」に属する他の項目を検索キーとして選択することもできるようにされる。つまり、同じカテゴリ内において、複数の項目(検索キー候補情報)を、検索キーとして選択することも可能である。
そして、項目「Aさん」が検索キーとして選択された後、画像検索自体を終了させたい場合には、ユーザーは、終了アイコン6Aを選択する。これにより、制御部120は、画像の検索処理を終了させ、例えば、メニューが表示された状態に戻るようにする。この場合、選択された検索キーは選択されなかったものとされる。
また、項目「Aさん」が検索キーとして選択された後、カテゴリの選択をし直したい場合には、ユーザーは、BKアイコン6Cを選択する。これにより、制御部120は、図5(b)を用いて説明した検索キーの選択画面(1)に戻り、カテゴリの選択をやり直すことができるようにする。この場合、項目「Aさん」が検索キーとして選択されたことはなかったものとされる。
また、項目「Aさん」が検索キーとして選択された後、OKアイコン6Bが選択された場合には、制御部120は、図6(a)において選択された項目「Aさん」を検索キーとして特定する。
そして、制御部120は、図6(b)に示すように、検索キーとして特定した項目「Aさん」の表示631を有し、再度、カテゴリ一覧表示611を表示するようにした検索キーの選択画面(3)を形成し、これを表示部106の表示画面6Gに表示する。これにより、検索キー候補情報テーブルのカテゴリを新たに選択することができるようにされる。
図6(b)の状態にあるときに、画像検索自体を終了させたい場合には、ユーザーは、終了アイコン6Aを選択する。これにより、制御部120は、画像の検索処理を終了させ、例えば、メニューが表示された状態に戻るようにする。
また、カテゴリ「人」においての検索キーの選択をやり直したい場合には、ユーザーは、BKアイコン6Cを選択する。これにより、制御部120は、図6(a)を用いて説明した検索キーの選択画面(2)に戻り、カテゴリ「人」においての検索キーの選択をやり直すことができるようにする。
この場合、制御部120の制御により、既に選択した検索キーを取り消したり、既に選択した検索キーを取り消して、新たな検索キーを選択したり、既に選択した検索キーに加えてさらに検索キーを選択したりするなどのことができるようにされる。
また、図6(b)の状態にあるときに、検索キーの選択を完了し、選択した検索キーにより画像の検索を行うようにする場合には、ユーザーは、OKアイコン6Bを選択する。これにより、制御部120は、図6(b)において、カテゴリ一覧表示611を消去し、画像の検索処理を実行できるようにする。
この場合、制御部120は、詳しくは後述もするが、選択された検索キーに応じた画像検索を実行するため、画像検索の初期画面の表示を行うことを指示する所定の操作を受け付けるようにする。
当該所定の操作を受け付けた場合、制御部120は、画像検索の初期画面を表示する処理を行う。すなわち、制御部120は、図5(a)において設定された検索範囲の画像データを読み出し、伸張処理部110、表示画像形成部111、表示処理部105を制御し、表示画面6Gの全面に検索範囲の画像のサムネイル画像をランダムに(バラバラに)表示する。
また、制御部120は、表示画像形成部111、表示処理部105を制御し、図5、図6を用いて説明したように選択される検索キーに対応する検索キー表示(図6(b)に示した表示631に対応する表示)を表示画面6Gに表示する。
そして、制御部120は、画像検索の開始を指示する操作である、選択した検索キーに対応する検索キー表示への指示操作(接触操作)を待つ。この後、当該指示操作が行われた場合に、後述もするが、制御部120は、選択された検索キーに基づいて画像検索処理を行うことになる。
また、図6(b)の状態にあるときに、さらに検索キーの選択を行う場合には、ユーザーは、図5(b)を用いて説明した場合と同様に、検索キーとして用いようとする検索キー候補情報が属すると考えられるカテゴリ名を選択する。すなわち、目的とするカテゴリ名の表示位置に対応するタッチパネル107の操作面上の位置に指等を接触させることによりカテゴリ名を選択する。
ここで、図6(b)に示すように、ユーザーによって、カテゴリ「場所」の表示位置に対応するタッチパネル107の操作面上の位置に指等が接触されたとする。制御部120は、カテゴリ「場所」が選択されたと判断し、図7(a)に示す、カテゴリ「場所」に属する検索キー候補情報の一覧表示(検索キー候補表示)621を有する検索キーの選択画面(4)を形成し、これを表示部106の表示画面6Gに表示する。
検索キーの選択画面(4)は、図7(a)に示すように、終了アイコン6Aと、OKアイコン6Bと、BKアイコン6Cを有すると共に、表示画面6Gの下端部に検索キー候補表示641を有するものである。
検索キー候補表示641は、前段の検索キーの選択画面(3)において選択されたカテゴリ「場所」に属する検索キー候補情報の一覧リストである。また、図7(a)に示すように、検索キーの選択画面(4)の場合、検索キー候補表示をスクロールさせるための左矢印アイコン642と右矢印アイコン643とを有している。
この場合、左矢印アイコン642に対してタップ操作を行うようにすると、制御部120は、検索キー候補表示641を右側から左側へ検索キー候補1つ分スクロールさせる。左矢印アイコン642に対してタップ操作を繰り返すことにより、検索キー候補表示641を右側から左側へ検索キー候補1つ分ずつ順次にスクロールさせることができる。
同様に、左矢印アイコン643に対してタップ操作を行うようにすると、制御部120は、検索キー候補表示641を左側から右側へ検索キー候補1つ分スクロールさせる。右矢印アイコン643に対してタップ操作を繰り返すことにより、検索キー候補表示641を左側から右側へ検索キー候補1つ分ずつ順次にスクロールさせることができる。
これら左矢印アイコン642、右矢印アイコン643に対して操作を行うことにより、検索キー候補表示をスクロールさせ、目的とする検索キー候補情報が表示された場合には、その検索キー候補情報を選択する操作を行う。
例えば、図7(a)において、検索キー候補表示中の項目「横浜」が、ユーザーが検索キーとしたい検索キー候補情報であったとする。この場合、ユーザーは、項目「横浜」の表示位置に対応するタッチパネル107の操作面上の位置に指等を接触させて、なぞり操作(ドラッグ操作またはフリック操作)を行う。
制御部120は、タッチパネル107からの座標データと、各表示情報の表示画面6G上の表示位置とに基づいて、項目「横浜」の表示位置からなぞり操作が行われたことを把握する。
この場合、制御部120は、項目「横浜」を検索キーとして選択したと認識し、検索キー候補表示621の表示外に、検索キーとして選択された「横浜」の表示644を表示画面6Gに表示する。これにより、ユーザーは、撮像装置100において、項目「横浜」を検索キーとして選択できたことを認識することができる。
同様にして、カテゴリ「場所」に属する他の項目を検索キーとして選択することもできるようにされる。つまり、同じカテゴリ内において、複数の項目(検索キー候補情報)を、検索キーとして選択することも可能である。
そして、項目「横浜」が検索キーとして選択された後、画像検索自体を終了させたい場合には、ユーザーは、終了アイコン6Aを選択する。これにより、制御部120は、画像の検索処理を終了させ、例えば、メニューが表示された状態に戻るようにする。この場合、選択された検索キーは選択されなかったものとされる。
また、項目「Aさん」、項目「横浜」が検索キーとして選択された後、カテゴリの選択をし直したい場合には、ユーザーは、BKアイコン6Cを選択する。これにより、制御部120は、図6(b)を用いて説明した検索キーの選択画面(3)に戻り、カテゴリの選択をやり直すことができるようにする。この場合、項目「横浜」が検索キーとして選択されたことはなかったものとされる。
また、項目「Aさん」、項目「横浜」が検索キーとして選択された後、OKアイコン6Bが選択された場合には、制御部120は、図7(a)において選択された項目「横浜」を検索キーとして特定する。
そして、制御部120は、図7(b)に示すように、検索キーとして特定した項目「Aさん」の表示631、及び、項目「横浜」の表示651を有し、再度、カテゴリ一覧表示611を表示するようにした検索キーの選択画面(5)を形成する。そして、この図7(b)に示した検索キーの選択画面(5)を表示部106の表示画面6Gに表示する。
このようにして、検索キー候補情報テーブルの7つのカテゴリから必要なカテゴリについて、1つ以上の検索キー候補情報を検索キーとして選択し、特定することができるようにされている。
したがって、同じカテゴリから複数の検索キー候補情報を検索キーとして選択したり、複数のカテゴリのそれぞれから1つ以上の検索キー候補情報を検索キーとして選択したりすることができるようにされる。
そして、図7(b)の状態にあるときに、画像検索自体を終了させたい場合には、ユーザーは、終了アイコン6Aを選択する。これにより、制御部120は、画像の検索処理を終了させ、例えば、メニューが表示された状態に戻るようにする。この場合、検索キーの選択はされなかったものとされる。
また、カテゴリ「場所」においての検索キーの選択をやり直したい場合には、ユーザーは、BKアイコン6Cを選択する。これにより、制御部120は、図7(a)を用いて説明した検索キーの選択画面(4)に戻り、カテゴリ「場所」においての検索キーの選択をやり直すことができるようにする。
この場合、制御部120の制御により、既に選択した検索キーを取り消したり、既に選択した検索キーを取り消して、新たな検索キーを選択したり、既に選択した検索キーに加えてさらに検索キーを選択したりするなどのことができるようにされる。
また、図7(b)の状態にあるときに、検索キーの選択を完了し、選択した検索キーにより画像の検索を行うようにする場合には、ユーザーは、OKアイコン6Bを選択する。これにより、制御部120は、図7(b)において、カテゴリ一覧表示611を消去し、画像の検索処理を実行できるようにする。
この場合、制御部120は、上述もしたように、選択された検索キーに応じた画像検索を実行するため、画像検索の初期画面の表示を指示する所定の操作を受け付けるようにする。
当該所定の操作を受け付けた場合、制御部120は、画像検索の初期画面を表示する処理を行う。すなわち、制御部120は、図5(a)において設定された検索範囲の画像データを読み出し、伸張処理部110、表示画像形成部111、表示処理部105を制御し、表示画面6Gの全面に検索範囲の画像のサムネイル画像をランダムに(バラバラに)表示する。
また、制御部120は、表示画像形成部111、表示処理部105を制御し、図5〜図7を用いて説明したように選択される検索キーに対応する検索キー表示(図7(b)に示した表示631、表示651に対応する表示)を表示画面6Gに表示する。
そして、制御部120は、画像検索の開始を指示する操作である、選択した検索キーに対応する検索キー表示への指示操作(接触操作)を待つ。この後、当該指示操作が行われた場合に、後述もするが、制御部120は、選択された検索キーに基づいて画像検索処理を行うことになる。
なお、図5〜図7を用いて説明した検索キーの選択処理は一例であり、これとは別の態様で、検索キー候補情報の中から目的とする検索キーを選択するようにすることも可能である。
[画像検索の初期画面の表示を指示する所定の操作]
そして、撮像装置100においては、図5〜図7を用いて説明したように、画像検索の範囲が指定されると共に、検索キーか選択され、OKアイコン6Bが操作されると、上述もしたように、画像検索の初期画面を表示するための所定の操作の受け付け待ちとなる。
図8は、この実施の形態の撮像装置100において、画像検索のための検索キーが選択された後において、画像検索の初期画面を表示するための所定の操作として行うことが可能な操作について説明するための図である。
図8(a)は、図5〜図7を用いて説明した画像検索に用いる検索キーの選択処理が実行され、検索範囲と検索キーとが選択された状態にあることを示すものとする。この状態にあるときに、図8(b)に示すように、撮像装置100を倒す操作、傾ける操作、振る操作、叩く操作を、画像検索の初期画面の表示を指示する所定の操作として検出する。
これらの操作が撮像装置100に対して行われた場合、撮像装置100のモーションセンサ137は、そのそれぞれの操作に応じた自機の動きを検出し、その検出結果を制御部120に通知する。
制御部120は、モーションセンサ137からの検出出力に基づき、自機に対してどのような操作が行われたかを判別することができる。そして、制御部120は、図8(b)に示したいずれかの操作、すなわち、倒される、傾けられる、振られる、叩かれるといった操作が行われたと判別した場合には、画像検索の初期画面を表示する。
すなわち、制御部120は、図5(a)において設定された検索範囲の画像データを読み出し、これを伸張処理部110に供給し、伸張処理して、データ圧縮前の元の画像データを復元し、これを表示画像形成部111に供給する。
表示画像形成部111は、伸張処理部110からの画像データを間引き処理するなどしてサムネイル画像(縮小画像)を形成するためのサムネイルデータを形成すると共に、サムネイル画像を表示画面にバラバラに配置した画像を表示する画像信号を形成する。
表示画像形成部111で形成された画像信号は、表示処理部105に供給され、ここで表示部106に供給する形式の信号に変換された後、表示部106に供給される。これにより、表示画面6Gには、図8(c)に示すように、検索範囲の画像ファイルのサムネイル画像がバラバラと表示される。
また、制御部120は、上述もしたように、選択された選択キーに対応する選択キー表示(選択キーアイコン)を形成し、これを表示画像形成部111、表示処理部105を通じて処理して、表示画面6Gに表示する。
このようにして、検索範囲の画像ファイルのサムネイル画像がバラバラと表示されると共に、選択された検索キーに対応する検索キー表示が表示された画像検索の初期画面が表示される。
このように、この実施の形態の撮像装置100においては、画像検索に先立ち、検索範囲と検索キーの選択がされた後、図8(b)に示したように、倒す、傾ける、振る、叩くといった簡単な操作が行われた場合に、画像検索の初期画面を表示することができる。
なお、ここでは、画像検索の初期画面を表示する場合に、検索対象の画像ファイルの画像データを間引き処理するなどしてサムネイル画像表示用のサムネイルデータを形成するものとして説明した。しかし、これの限るものではない。
事前に、各画像ファイルに当該画像ファイルの画像データに基づき、サムネイルデータを形成して、当該画像ファイルに付加しておくことにより、画像ファイルに付加されているサムネイルデータを用いるようにすることができる。
この場合には、伸張処理部110においての伸張処理や、表示画像形成部111でのサムネイルデータの形成処理は必要ないので、撮像装置100の付加を軽減することができる。
また、この実施の形態の撮像装置100のモーションセンサ137は、左右方向に振られた場合と、上下方向に振られた場合とを別々に検出することができる。このため、例えば、左右方向に振られた場合を、画像検索の初期画面の表示指示であると判断したり、上下方向に振られた場合を、画像検索の初期画面の表示指示であると判断したりするなど、振りの方向に応じて判別することもできる。
もちろん、左右方向に振られた場合と上下方向に振られた場合とにおいて、画像検索の初期画面の表示指示であると判断するようにすることも可能である。
また、この実施の形態の撮像装置100は、セット上部のタッチパネル136を備えておいる。このため、撮像装置100を叩く操作は、セット上部のタッチパネル136に対して繰り返しタッチする操作を検出した場合に、撮像装置100が叩かれたと判別するようにすることも可能である。
[画像検索時の画面の遷移例]
次に、上述したように、ユーザーによって検索キーが選択された後に、その選択した検索キーを用いて画像検索を行う場合の画面の遷移例について説明する。図9〜図11は、図5〜図7を用いて説明したようにして2つの検索キーが選択され、図8を用いて説明したように、所定の操作が行われて、画像検索をする場合の画面の遷移例を説明するための図である。
[1つの検索キーを用いる場合]
上述もしたように、目的とする2つの検索キーを選択し、OKアイコン6Bを選択したのち、図8を用いて説明したように、所定の操作が行われることにより、制御部120は、図9(a)に示すように、画像検索画面の初期画面を表示画面6Gに表示する。
この図9(a)に示す画像検索の初期画面は、ユーザーによって選択された検索キーに対応する検索キー表示(検索キーアイコン)K1、K2が表示されると共に、検索範囲の画像がばらばらと表示されたものである。
なお、以下においては、ユーザーによって選択された検索キーであって、検索キー表示K1に対応するものを検索キーk1とし、検索キー表示K2に対応するものを検索キーk2とする。
そして、選択した2つの検索キーの内、検索キー表示K1に対応する検索キーk1に応じた画像検索を実行する場合、ユーザーは、図9(b)に示すように、検索キー表示K1の表示位置に対応するタッチパネル107上の位置に指等を接触させる。
制御部120は、タッチパネル107からの座標データと、当該座標データが示す操作面上の位置に対応する表示画面上の位置に表示されている表示情報とに基づいて、検索キー表示K1が指示されたことを検知し、画像検索の実行指示があったと認識する。
この場合、制御部120は、指示された検索キー表示K1に対応する検索キーk1を用い、検索範囲に属する画像ファイルから当該検索キーに合致するキーワードを有する画像ファイルを抽出する。
そして、制御部120は、検索範囲の画像ファイルについて、検索キーk1に合致するものとして抽出された画像ファイルのサムネイル画像を、表示画面6G上の予め決められた位置(例えば、検索キー表示K1の近傍)に集まるようにして表示する。
当該検索範囲の画像ファイルであっても、検索キーに応じて抽出されなかった画像ファイルのサムネイル画像については、表示画面6G上の予め決められた位置から離れた位置に表示する。
これにより、図9(b)に示すように、検索キーk1に合致するキーワードを有する画像ファイルの画像は、検索キー表示K1の周囲に集まって表示され、それ以外の画像ファイルの画像は、検索キー表示K1から離れた位置に表示される。
なお、図9(b)に示したようにサムネイル画像を表示する処理は、制御部120の制御に応じて動作する伸張処理部110、表示画像形成部111、表示処理部105によって画像処理がなされ、表示部106の表示画面6Gに表示される。
具体的には、検索範囲の画像ファイルの画像データは、伸張処理部110において伸張処理されて表示画像形成部111に供給される。表示画像形成部111は、これに供給された画像データを間引き処理するなどしてサムネイルデータを形成する。
そして、表示画像形成部111は、制御部120の制御に応じて、検索キーk1に合致するキーワードのサムネイル画像は、検索キー表示K1の表示位置の近傍に表示し、それ以外のサムネイル画像は検索キー表示K1から離れた位置に表示する画像データを形成する。
この画像データは、1画面分の画像を形成する画像データであり、当該画像データから表示処理部105に供給する画像信号を形成し、これを表示処理部105に供給する。表示処理部105を制御部120からの制御に応じて、表示部106に供給する表示用の画像信号を形成し、これを表示部106に供給する。これにより、表示部106の表示画面6Gに図9(b)に示した態様で、画像検索の結果の表示が行われる。
なお、上述もしたように、各画像ファイルにサムネイル画像を表示するためのサムネイルデータが既に用意されている場合には、そのサムネイルデータを用いて、図9に示した表示が行われる。
予め各画像ファイルに用意されているサムネイルデータを用いる場合には、上述もしたように、伸張処理部110においての伸張処理や、表示画像形成部111においてのサムネイルデータの形成処理等を行う必要は無く、撮像装置100の負荷を軽減することができる。
このように、ユーザーは、検索キー表示K1に対応する検索キーk1を用いて画像検索が実行されたこと、及び、その画像検索の結果を、表示画面6Gに表示された情報に応じて知ることができる。
また、図9(b)に示したように、検索キーに合致する画像群の概要と共に、検索キーに合致しない画像群の概要をも把握することができるようにされ、ユーザーにとって分り易い態様で画像検索を行うことができる。
そして、制御部120は、図9(c)に示すように、検索キー表示K1へのユーザーの指等の接触が解除された後においては、一定時間Tまで(例えば数秒程度まで)は、画像検索の結果の表示を維持する。この表示が維持されている間において、ユーザーは、画像検索の結果を確定することができるようにされる。
[2つの検索キーを用いる場合]
また、図9を用いて説明した例の場合、選択された2つの検索キーの内、ユーザーにより指示される一方の検索キーを用いて画像検索を行うようにした。しかし、これに限るものではない。選択された2つの検索キーの両方を用いた画像検索を行うようにしてもよい。
図10は、選択された2つの検索キーの両方を用いて画像検索を行う場合について説明するための図である。図10(a)に示すように、ユーザーよって選択された2つの検索キーに対応して、検索キー表示K1、検索キー表示K2が表示されている。
そして、図10(b)に示すように、検索キー表示K1と検索キー表示K2との両方に対してユーザーが指等を接触させるようにしたとする。つまり、検索キー表示K1と検索キー表示K2との両方の表示位置のそれぞれに対応するタッチパネル107の操作面に対してユーザーが指などを接触させたとする。
この場合、タッチパネル107からは、2箇所の接触位置のそれぞれの座標データが制御部120に供給される。そして、制御部120は、タッチパネル107からの座標データと、当該座標データが示す操作面上の位置に対応する表示画面上の位置に表示されている表示情報とに基づいて、検索キーk1、k2が同時に指示されたことを検出する。
この場合、制御部120は、検索キーk1と検索キーk2との両方をキーワードとして有する画像ファイルを検索して抽出し、抽出した画像ファイルのサムネイル画像を、図10(b)に示すように集めるようにして表示画面6Gに表示する。
検索キーk1と検索キーk2との両方をキーワードとして有さない画像ファイルのサムネイル画像については、集めるようにして表示した画像群からは離れた位置にバラバラに表示するようにする。
このような表示も、図9を用いて説明した場合と同様に、制御部120が、伸張処理部110、表示画像形成部111、表示処理部105を制御して行うことができるようにされる。
これにより、複数の検索キーを用いた画像検索を柔軟に行うことができるようにされる。なお、ここでは、2つの検索キーを用いる場合を例にして説明したが、これに限るものではない。2つ以上の検索キーを選択し、そのそれぞれを同時に用いて画像検索を行うようにすることができる。
また、図10に示した例は、検索キーk1と検索キーk2とを同時に満足する画像ファイルを検索するようにした。しかし、これに限るものではない。検索キーk1と検索キーk2とのいずれか一方を満足する画像ファイルを検索することもできるようにされる。
すなわち、複数の検索キーの全てを満足する画像ファイルを検索するか、複数の検索キーのいずれか1つでも満足する画像ファイルを検索するかは、予め撮像装置100に対して設定しておくようにすることができる。
もちろん、画像検索の開始時に、どちらの検索を行うかをユーザーが撮像装置100に対して入力して設定することもできるようにされる。
[画像を検索キーとして用いる場合]
上述した実施の形態の撮像装置100においては、検索キーに合致するキーワードを有する画像ファイルを検索するようにした。すなわち、上述した実施の形態においては、検索キーがキーワード情報の場合である。
しかし、検索キーはキーワード情報に限るものではない。画像自体、具体的には、画像分析の結果の情報を検索キーとして、類似画像を検索することもできる。この例の撮像装置100においては、画像自体を検索キーとして用いて、画像検索を行うものである。
図11は、画像を検索キーとして用いて画像検索を行う場合について説明するための図である。図11(a)に示すように、検索キーとして使用可能な画像については、例えば、ハイライト表示など区別可能な態様で表示されている。
図2を用いて説明したように、各画像ファイルには、その画像ファイルの画像データを画像分析することにより得た画像分析情報がメタデータとして付加されている。この画像分析情報は、上述もしたように、エッジ検出や色彩解析などの種々の手法を用いることにより、各画像データによる画像の特徴を数値化して示すことができるものであり、各画像間において、構図や被写体の類似度を比較することができるものである。
このため、画像分析の結果、例えば、人の顔が大きく写っている画像や、輪郭がはっきりとした建物や風景の画像など、特徴のはっきりした画像であることが判明した画像を、検索キーとして用いることができるようにしておく。
具体的には、検索キーとして利用可能な画像の画像ファイルにはフラグを立てておくなどすることにより、区別できるようにしておく。これにより、図11(a)に示すように、検索キーとなりうる画像のサムネイル画像については、ハイライト表示するなどして区別することができるようにされる。
そして、図11(b)に示すように、検索キーとなりうる画像のサムネイル画像内、ユーザーが目的とする画像のサムネイル画像の表示位置上のタッチパネル107の操作面に指等を接触させる。
この場合、制御部120は、タッチパネル107からの座標データと、当該座標データが示す操作面上の位置に対応する表示画面上の位置に表示されているサムネイル画像とに基づいて、どのサムネイル画像が検索キーとして指定されたかを認識することができる。
制御部120は、指定されたサムネイル画像に対応する画像ファイルから画像分析情報を読み出し、当該画像分析情報を検索キーにして、当該検索キーに類似する画像分析情報を有する画像ファイルを抽出する。そして、制御部120は、抽出した画像ファイルのサムネイル画像を、図11(b)に示すように、表示画面上の所定の位置に集めて表示するようにする。
図11に示した例の場合には、2つのサムネイル画像が検索キーとなるように指定された場合を示している。そして、この例の場合には、指示された2の画像の画像分析結果の両方に類似する画像が抽出される。なお、ユーザーの指示に応じて、指示された2の画像の画像分析結果のいずれか一方に類似する画像を抽出するようにすることも可能である。
このように、画像を検索キーとして指定することによって、当該画像に写っている人物や建物などを検索条件として画像を絞り込むことが可能となる。つまり、検索キーとして指示された画像に類似する画像を抽出することができる。
なお、ここでは、画像分析の結果、特徴のはっきりした画像を検索キーとして指定可能な画像として予め特定しておくものとして説明した。しかし、これに限るものではない。全ての画像を検索キーとして指定可能なようにしてももちろんよい。この場合には、サムネイル画像をハイライト表示する必要もない。
また、ユーザー自身が、予め検索キーとして用いる画像を設定するようにすることも可能である。
[検索キーに類似する情報を有する画像ファイルの検索]
上述した画像検索の場合、指示された検索キー(文字情報)に一致するキーワードを有する画像ファイルを検索したり、指示された画像(画像の画像分析情報)に類似する(関連する)画像データを有する画像ファイルを検索したりできることを説明した。
しかし、これに限るものではない。指示された検索キー(文字情報)に関連するキーワードを有する画像ファイルを検索するように構成することができる。また、指示された画像に関連する画像データを有する画像ファイルを検索する場合にも、さらに目的に応じた画像検索を行うようにすることもできる。
以下においては、指示された検索キー(文字情報)に類似するキーワードを有する画像ファイルを検索する場合と、指示された画像に関連する画像データを有する画像ファイルを検索する場合であって、さらに目的に応じた画像検索を行う場合について説明する。
[検索キー関連度辞書の構成例]
まず、検索キーが文字情報である場合に、検索キーに関連する情報を有する画像データを検索するための構成について説明する。この場合、この実施の形態の撮像装置100は、検索キー関連度辞書を用いるようにしている。
図12は、検索キー関連度辞書の構成例を説明するための図である。検索キー関連度辞書は、検索キーとして用いられる可能性のある文字情報について、当該文字情報に関連する文字情報(キーワード)を、当該文字情報に対する関連度に応じてまとめるようにしたものである。
図12に示す例においては、検索キーに対して、関連度「高」、「中」、「低」と言う3段階に分けて、関連するキーワードが登録されたものである。ここで、検索キーに対して関連度「高」の文字情報(キーワード)は、当該検索キーに対して、同一の文字情報、同義語となる文字情報、同一の文字を有し、ほぼ同一の意味、内容を示す文字情報等である。
また、検索キーに対して関連度「中」の文字情報(キーワード)は、一般的なイメージとして、当該検索キーに対して、直接に結びつく文字情報である。また、検索キーに対して関連度「低」の文字情報(キーワード)は、一般的なイメージとして、当該検索キーに対して、直接結びつくことは少ないが、間に何らかのキーワードが介在するなどすることによって当該検索キーに対して結びつくことが可能な文字情報である。
図12に示す例においては、検索キー「夏」に対して、関連度「高」のキーワードとしては、「夏、サマー、初夏、夏休み、…」などが登録されている。キーワード「夏」は検索キーそのものであり、キーワード「サマー」は検索キー「夏」の同義語であり、キーワード「初夏、夏休み」は、検索キー「夏」と同一の文字を有し、ほぼ同一の意味内容を有するものであるので、これらについては関連度「高」としている。
また、検索キー「夏」に対して、関連度「中」のキーワードとしては、「ひまわり、すいか、花火大会、海、…」などが登録されている。キーワード「ひまわり、すいか」は、主に、「夏」において見られるものであり、検索キー「夏」に直接結びつくので、関連度「中」としている。
また、キーワード「花火大会」は、主に「夏」の風物詩であり、検索キー「夏」に直接結びつくので、関連度「中」としている。また、キーワード「海」は、「夏」をイメージする場合が多いので、関連度「中」としている。
また、検索キー「夏」に対して、関連度「低」のキーワードとしては、「梅雨、宿題、学校、旅行」などが登録されている。キーワード「梅雨」は、夏の直前の気候状態であり、検索キー「夏」を直接的にイメージさせるものではないが、「梅雨」が明ければ「夏」になることから検索キー「夏」に対して関連度「低」としている。
また、キーワード「宿題、学校、旅行」は、例えば、「夏休み」と言う文言を介して、検索キー「夏」に関連付けることが可能であるので、この例では関連度「低」としている。
このように、検索キー関連度辞書は、検索キーとして用いられる可能性のある文言の1つ1つに対して、関連度「高」、「中」、「低」の3段階に分けて、関連するキーワードが予め登録するようにされたものである。
なお、検索キーとして用いられる可能性のある文字情報は、少なくとも、図4を用いて説明した検索キー候補情報テーブルのカテゴリ「人」、「場所」、「色」、「季節」、「被写体」に登録された文字情報である。
したがって、検索キーとして用いられる可能性のある文字情報毎に、図12に示したような検索キー関連度辞書が形成され、撮像装置100の例えばEEPROM124などに記憶保持されている。
また、検索キー関連度辞書は、予め作成されたものが提供されるが、これをユーザーが手直しして使用することもできるようにされている。
そして、図12に示した検索キー関連度辞書の構成例に従えば、検索キーとして「夏」と言う文言を用いるようにした場合、図12に示した、関連度「高」、「中」、「低」の各キーワードを有する画像ファイル(画像データ)を検索して抽出することができるようにされる。
そして、抽出した画像ファイルを関連度に応じて分類し、関連度「高」、「中」、「低」のそれぞれ毎に扱うことができるようにされる。
[画像分析情報に基づく画像の関連度判別基準の例]
次に、検索キーが画像(画像の画像分析情報)である場合に、検索キーに関連する情報を有する画像ファイルを検索するための構成について説明する。この場合、この実施の形態の撮像装置100は、画像分析情報に基づいて画像検索を行う。
この場合、画像分析情報のどの情報に基づいて、画像検索を行うようにするかが重要になる。図13は、画像分析情報の内、画像検索のための検索キーとなりうる情報について説明するための図である。
図2を用いて説明したように、各画像ファイルには、各画像ファイルの画像データを分析することにより得られる画像分析情報がメタデータとして付加されている。この画像分析情報の中には、上述もし、また、図13にも示すように、画像における人物の顔の面積、画像に写っている人物の数、画像に写っている人物の笑顔の度合い、画像全体の特徴を示す情報等が含まれている。
そして、図5(b)等に示したカテゴリ一覧表示611において、カテゴリ「その他」を選択すると、画像分析情報を構成する情報として、図13に示した各情報が表示され、その中から目的とする情報を選択する。これにより、当該選択した画像分析情報に応じた画像検索を行うことができるようにされる。
例えば、画像分析情報として「画像における人物の顔の面積」を選択し、検索キーとして用いる画像を指示したとする。この場合、制御部120は、検索キーとして指示された画像の画像分析情報の「画像における人物の顔の面積」に基づいて、関連する画像を記録媒体135から検索して抽出する。
具体的に制御部120は、「画像における人物の顔の面積」が、第1の所定範囲の画像を関連度「高」の画像とし、第2の所定範囲の画像を関連度「中」の画像として、第3の所定範囲の画像を関連度「低」として、記録媒体135から検索して抽出する。
この場合、第1の所定範囲が、検索キーとした画像における人物の顔の面積に最も近い範囲であり、第2、第3の所定範囲は、徐々に、検索キーとした画像における人物の顔の面積から離れる範囲となるようにされる。
このように、画像分析情報の内の「画像における人物の顔の面積」を用いるようにした場合には、検索キーとして用いるようにした画像の当該画像における人物の顔の面積を基準にして、検索キーとした画像に関連する画像を検索して抽出することができる。
また、画像分析情報として「画像における人物の数」を選択し、検索キーとして用いる画像を指示したとする。この場合、制御部120は、検索キーとして指示された画像の画像分析情報の「画像における人物の数」に基づいて、関連する画像を記録媒体135から検索して抽出する。
具体的に制御部120は、「画像における人物の数」が、第1の所定範囲の画像を関連度「高」の画像とし、第2の所定範囲の画像を関連度「中」の画像として、第3の所定範囲の画像を関連度「低」として、記録媒体135から検索して抽出する。
この場合、第1の所定範囲が、検索キーとした画像における人物の数に最も近い範囲であり、第2、第3の所定範囲は、徐々に、検索キーとした画像における人物の数から離れる範囲となるようにされる。
このように、画像分析情報の内の「画像における人物の数」を用いるようにした場合には、検索キーとして用いるようにした画像の当該画像における人物の数を基準にして、検索キーとした画像に関連する画像を検索して抽出することができる。
また、画像分析情報である「画像における人物の笑顔の度合い」を用いるようにした場合にも、制御部120は、検索キーとして指示された画像の「画像における人物の笑顔の度合い」に基づいて、関連する画像を記録媒体135から検索することができる。
また、画像分析情報である「画像全体の特長」を用いるようにした場合にも、制御部120は、検索キーとして指示された画像の「画像全体の特長」に基づいて、関連する画像を記録媒体135から検索することができる。
この場合には、画像の色合いや複雑さから類似度を求め、当該類似度に応じて、関連する画像を抽出して、関連度「高」、「中」、「低」に分類することができるようにされる。
このように、この実施の形態の撮像装置100においては、検索キー関連度辞書や画像分析情報を用いることにより、指示された検索キーに関連する画像を検索して抽出することができる。そして、撮像装置100においては、検索して抽出した画像を、検索キーに対する関連度に応じて表示するなどのことができるようにしている。
[検索キーに関連する情報を有する画像ファイルの検索結果の表示態様]
次に、上述したように、ユーザーによって検索キーが選択された後に、その選択した検索キーを用いて画像検索を行った場合の検索結果の表示態様について説明する。ここでは、文字情報としての検索キーが選択された場合を例にして説明する。
図14は、図5、図6を用いて説明したようにして1つの検索キー(文字情報)が選択された状態から画像検索を行うようにした場合の検索結果の表示態様を説明するための図である。
図14において、図14(A)は、選択された検索キーにしたがって画像検索が行われた場合の検索結果の表示態様を示し、図14(B)は、図14(A)における検索結果表示領域Arの詳細を説明するための図である。
図5、図6を用いて説明したように、画像の検索範囲が設定され、目的とする1つの検索キーが選択された後に、図8を用いて説明したように、所定の操作が行われると、制御部120は、画像検索のための初期画面を表示する。
具体的に制御部120は、検索範囲の画像データに応じた画像(サムネイル画像)を表示部106の表示画面6Gにバラバラと表示する。また、制御部120は、選択された検索キーに応じた検索キー表示(検索キーアイコン)K1を表示部106の表示画面6Gに表示する。
そして、図14(A)に示すように、ユーザーが表示画面6Gに表示された検索キー表示K1の表示位置に対応するタッチパネル107の操作面上の位置に指等を接触させると、タッチパネル107からは、その接触位置を示す座標データを制御部120に供給する。
制御部120は、上述もしたように、表示画面6G上のどこにどのような情報を表示しているかを管理している。そして、制御部120は、タッチパネル107からの操作面上の指示位置を示す座標データと、当該指示位置に対応する表示部106の表示画面6G上の表示情報とに基づいて、検索キー表示K1が指示されたことを検知することができる。
制御部120は、検索キー表示の指示は、当該検索キー表示に対応する検索キーを用いた画像検索の開始を指示するものであると認識し、選択された検索キーを用いた画像検索を行う。この場合、制御部120は、図12を用いて説明したように構成される検索キー関連度辞書をも参照し、検索キーに関連するキーワードを有する画像ファイルを検索して抽出する。
そして、制御部120は、抽出した画像ファイルの画像データに応じたサムネイル画像を、検索キーに対するキーワードの関連度に応じた位置に表示する。この例の場合には、制御部120は、検索の結果得られた画像データを、表示画面6Gの検索結果表示領域Arが示す領域内であって、検索キーに対するキーワードの関連度に応じた位置に表示する。
すなわち、図14(B)に検索結果表示領域Arだけを示したように、検索結果表示領域Ar内は、その中央部分から外側に向う方向に、関連度「高」の表示領域、関連度「中」の表示領域、関連度「低」の表示領域となっている。
したがって、この例の場合、制御部120は、図14(B)において、検索キーに対して関連度が「高」のキーワードを有する画像ファイルのサムネイル画像を表示領域Arの中央部分ArHに表示する。
そして、制御部120は、検索キーに対して関連度が「中」のキーワードを有する画像ファイルのサムネイル画像を表示領域Arの関連度が「高」の表示領域の外側の領域ArMに表示する。
さらに、制御部120は、検索キーに対して関連度が「低」のキーワードを有する画像ファイルのサムネイル画像を表示領域Arの関連度が「中」の表示領域ArMの外側の領域ArLに表示する。
このようにして、検索キーに対して関連度が「高」、「中」、「低」のキーワードを有する画像ファイルのサムネイル画像を、それぞれの関連度に応じた位置に表示することができるようにしている。
なお、この例の場合、画像検索は、制御部120が、検索キーと検索キー関連度辞書とに基づいて、記録媒体135に格納されている画像ファイルの中から、検索キーに関連するキーワードを有する画像ファイルを検索して抽出する。
抽出した画像ファイルは、例えば、RAM123に一時記憶され、制御部120により画像データが関連度に応じて読み出されて伸張処理部110に供給され、ここで、伸張処理されてデータ圧縮前の画像データが復元される。
そして、伸張処理部110で伸張処理された画像データは、表示画像形成部111に供給され、ここで間引き処理されるなどしてサムネイルデータが形成されて、これが検索キーに対する自己の有するキーワードの関連度に応じた位置に配置される。
このようにして、表示画像形成部111においては、1画面分の画像を構成する画像データを形成し、これを表示処理部105に供給される形式の画像信号に変換して、表示処理部105に供給する。
表示処理部105は、表示画像形成部111からの画像信号の供給を受けて、これから表示部106に供給する画像信号を形成し、これを表示部106に供給する。これにより、表示部106の表示画面には、図14(A)に示したように、選択された検索キーに関連するキーワードを有する画像が、その関連度に応じた位置に表示される。
なお、関連度が低くなるにつれて、絞り込まれた画像の透明度を高くしたり、明度を下げたりすることにより、関連度の異なるサムネイル画像を区別できるよう表示することも可能である。
これにより、検索キーに対して関連度の異なるキーワードを有する画像を、その関連度に応じた位置に表示し、ユーザーがその違いを意識しながら画像検索の結果を確認することができるようにされる。
そして、従来のように、検索キーに一致するキーワードを有する画像だけを検索するのではなく、検索キーに関連するキーワードを有するがお図をも検索することができ、関連度の違いをも考慮して検索結果を表示することができる。したがって、画像検索を効率よく行って、その結果を適切に利用することができる。
なお、ここでは、表示画像形成部111において、画像データを間引き処理するなどしてサムネイル画像を表示するためのサムネイルデータを形成するものとして説明した。しかし、これに限るものではない。
画像データからサムネイルデータを形成する処理には負荷がかかる。そこで、各画像ファイルにおいて、予め画像データからサムネイルデータを形成しておき、これを各画像ファイルにおいて保持するようにしておいてもよい。
このように、予め各画像ファイルにサムネイルデータを形成して付加しておくことにより、伸張処理部110での画像データの伸張処理や、表示画像形成部111でのサムネイルデータの形成処理を省略することができる。
すなわち、各画像ファイルにサムネイルデータが存在する場合には、検索キーに応じた画像ファイルを抽出し、その画像ファイルからサムネイルデータを読み出して表示画像形成部111に供給する。
これにより、図14に示した態様で、検索結果を検索キーに対して関連するキーワードを有する画像ファイルのサムネイル画像を、その関連度に応じた位置に表示することができる。
[画像検索の結果を確定する操作]
そして、この実施の形態の撮像装置100においては、図9〜図14を用いて説明したように、検索キーを用いた画像検索が行われ、その結果が表示部106の表示画面6Gに表示されると、検索結果を確定するための所定の操作の受け付け待ちとなる。
図15は、この実施の形態の撮像装置100において、画像検索の結果を確定するための所定の操作として行うことが可能な操作について説明するための図である。
図15(a)は、図9〜図14を用いて説明したように、選択された検索キーを用いて画像検索を行い、その結果を表示した状態を示すものとする。このように、画像検索の結果が表示された状態にあるときに、図15(b)に示すように、撮像装置100を起こす操作、撮像装置100を傾ける操作、撮像装置100を振る操作、撮像装置100を叩く操作を、検索結果を確定するための所定の操作として検出する。
これらの操作が撮像装置100に対して行われた場合、撮像装置100のモーションセンサ137は、そのそれぞれの操作に応じた自機の動きを検出し、その検出結果を制御部120に通知する。
制御部120は、モーションセンサ137からの検出出力に基づき、自機に対してどのような操作が行われたかを判別することができる。そして、制御部120は、図15(b)に示したいずれかの操作、すなわち、起こされる、傾けられる、振られる、叩かれるといった操作が行われたと判別した場合には、表示されている検索結果を確定するようにする。
すなわち、制御部120は、画像検索の結果、表示画面6Gの所定の位置に集まるように表示されたサムネイル画像に対応する画像ファイルを、画像検索の結果として確定して保持するようにする。
具体的には、当該検索結果が消去されることがないように、制御部120は、当該検索結果を例えばRAM123やEEPROM124などに一時記憶して保持するようにし、明確な解除処理が行われるまで、その状態を維持する。
この後、制御部120は、確定した画像検索の結果の画像ファイル群を処理の対象として所定の処理を行う。例えば、確定した画像検索の結果の画像ファイル群を所定の画像フォルダに格納する処理を行う。
当該フォルダへの格納処理は、制御部120が書き込み/読み出し部134を制御して行う。具体的には、画像検索の結果得られた画像ファイル群のそれぞれの画像ファイルについて、そのそれぞれの画像ファイルにアクセスするための情報を、記録媒体135上に形成される所定の画像フォルダに記録する処理である。
この場合、制御部120は、例えば、表示画像形成部111、表示処理部105を制御して、図15(c)に示すように、画像ファイルを格納するようにする画像フォルダのイメージ画像を表示する。そして、制御部120は、確定した画像検索の結果の画像ファイル群を所定の画像フォルダに格納する処理を行う。
このように、この実施の形態の撮像装置100においては、画像検索を行った後に、図15(b)に示したように、起こす、傾ける、振る、叩くといった簡単な操作が行われた場合に、所定の処理を実行することができる。
この場合、制御部120は、画像検索の結果得られた画像ファイル群を処理の対象とし、所定の処理を実行することができる。
なお、ここでは、画像検索の結果得られた画像ファイル群を、確定して保持した後、所定の画像フォルダに格納する処理を行う場合を例にして説明したが、これに限るものではない。
例えば、画像検索の結果得られた画像ファイル群を再生処理することもできる。この再生処理は、確定して保持した画像ファイル群のそれぞれの画像データを、制御部120の制御により、伸張処理部110、表示画像形成部111、表示処理部105を通じて処理し、再生画像を表示部106の表示画面6Gに表示する処理である。
また、詳しくは後述するが、画像検索の結果得られた画像ファイル群を他の撮像装置などに送信したりするなどのこともできる。この送信処理は、制御部120により制御される通信部141を通じて行われるものである。
この場合、画像検索の結果得られた画像ファイル群に対してどのような処理を実行するかを予め設定するようにしておき、上述したように、所定の操作が撮像装置100に対して行われた場合に、その設定された処理を実行するようにすることもできる。
また、撮像装置100に対して行う、起こす、傾ける、振る、叩くといった各操作に対して、別々の処理を割り当てるようにすることもできる。
例えば、撮像装置100を傾ける操作を画像検索の結果得られた画像ファイル群のフォルダへの格納処理に割り当てる。また、撮像装置100を振る操作を画像検索の結果得られた画像ファイル群の再生処理に割り当てる。また、撮像装置100を叩く操作を画像検索の結果得られた画像ファイル群を他機への送信処理に割り当てる。
このようにすることによって、撮像装置100に対して行う操作に応じて、異なる処理を実行させるようにすることができる。
[画像検索時の処理の詳細]
次に、この実施の形態の撮像装置100において行われる画像検索時の処理について説明する。この画像検索時の処理は、上述もしたように、検索範囲の設定、検索キーの選択、画像検索の初期画面の表示、画像検索処理、画像検索の結果の確定処理を含む一連の処理である。
図16、図17は、撮像装置100において行われる画像検索時の処理について説明するためのフローチャートである。この図16、図17に示すフローチャートの処理は、上述もしたよう、表示されたメニューから、メニュー項目「画像検索」が選択された場合に、主に制御部120によって実行される処理である。
図16、図17に示す処理が実行されると、制御部120は、図5〜図7を用いて説明したように、画像の検索範囲の設定及び検索キーの選択処理を実行する(ステップS101)。
そして、制御部120は、ステップS101の処理において、終了操作がされたか否かを判断する(ステップS102)。ステップS102の判断処理において、終了操作がされたと判断したときには、制御部120は、画像検索処理を終了する処理を行い(ステップS103)、この図16、図17に示す処理を終了して、例えばメニュー表示に戻るようにする。
また、ステップS102の判断処理において、終了操作はされていないと判断したときには、制御部120は、検索キーの選択が適切に行われた判断し、画像検索の初期画面の表示処理を実行する(ステップS104)。
ステップS104においては、詳しくは後述もするが、図8を用いて説明したように、画像検索の初期画面を表示するための所定の操作を受け付けるようにし、当該操作を受け付けた場合に、画像検索の初期画面を表示する処理を行う。
そして、制御部120は、タッチスクリーン108等を通じて使用者からの操作入力を受け付けるようにし(ステップS105)、操作入力を受け付けたか否かを判断する(ステップS106)。
ステップS106の判断処理において、ユーザーからの操作入力を受け付けていないと判断したときには、ステップS105からの処理を繰り返し、ユーザーからの操作入力を待つようにする。
ステップS106の判断処理において、ユーザーからの操作入力を受け付けたと判断したときには、選択された検索キーに対応する検索キー表示がユーザーによって指示するようにされたか否かを判断する(ステップS107)。
ステップS107の判断処理において、選択された検索キーに対応する検索キー表示がユーザーによって指示されていないと判断したときには、制御部120は、ステップS105において受け付けた操作入力に応じた処理を実行する(ステップS108)。
このステップS108においては、ユーザーの操作入力に応じて種々の処理を行うことができるようにされる。例えば、検索キーの変更、追加処理等をも行うことができるようにされている。
そして、ステップS107の判断処理において、検索キー表示がユーザーによって指示されたと判断したときには、制御部120は、指示された検索キー表示に対応する検索キーを用いて画像検索を実行し、検索結果を表示する(ステップS109)。
ステップS109において制御部120は、図9、図10、図11、図14を用いて説明したように、検索キーに応じた画像ファイルのサムネイル画像を表示画面6G上の所定の場所に集めるようにして表示し、図17の処理に進む。
そして、制御部120は、検索キー表示へのユーザーの指等の接触が終了したか否かを判断する(ステップS110)。ステップS110の判断処理において、まだ接触が継続していると判断したときには、ステップS110からの処理を繰り返し、接触が終了するまで待ち状態となる。
ステップS110の判断処理において、検索キー表示へのユーザーの指等の接触が終了したと判断したときは、制御部120は、時計回路の機能を用い、検索キー表示へのユーザーの指等の接触が終了してからの時間Tsの計測を開始する(ステップS111)。当該時計回路は、図1には示さなかったが、上述もしたように、撮像装置100が有するものである。
そして、制御部120は、ステップS111において計測を開始した時間Tsが、予め決められた一定時間T以上になったか否かを判断する(ステップS112)。ステップS112の判断処理において、計測時間Tsが一定時間T以上になっていないと判断したときには、制御部120は、ユーザーからの操作入力を受け付ける(ステップS113)。
そして、制御部120は、ユーザーからの操作入力を受け付けたか否かを判断する(ステップS114)。ステップS114の判断処理において、操作入力は受け付けていないと判断したときには、制御部120は、ステップS112からの処理を繰り返す。
ステップS114の判断処理において、操作入力を受け付けたと判断したときには、制御部120は、受け付けた操作入力は、検索結果の確定操作か否かを判断する(ステップS115)。
ステップS115の判断処理において、受け付けた操作入力は、検索結果の確定操作であると判断したときには、制御部120は、指示された画像群をグループとして確定する(ステップS116)。このステップS116の処理は、画像検索の結果の画像ファイル群をそのまま維持するようにする処理である。
ステップS116の処理の後、制御部120は、確定したグループの画像を所定の画像フォルダに格納したり、再生したり、他機に送信したりするなど、確定したグループの画像についての所定の処理を行うようにする(ステップS117)。この後、制御部120は、例えば、図16のステップS101からの処理を繰り返すようにする。
このステップS115〜ステップS117の処理が、図15を用いて説明した画像検索の結果の確定処理と、確定した画像ファイル群を処理対象とした所定の処理を実行する処理となる。
また、ステップS115の判断処理において、受け付けた操作入力は、検索結果の確定操作ではないと判断したときには、制御部120は、受け付けた操作入力は、検索結果の解除操作か否かを判断する(ステップS118)。
ステップS118の判断処理において、受け付けた操作入力が、検索結果の解除処理ではないと判断したときには、制御部120は、受け付けた操作入力に応じた処理を実行する(ステップS119)。
また、ステップS118の判断処理において、受け付けた操作入力が、検索結果の解除処理であると判断したときには、制御部120は、例えば、画像検索の結果の表示を解除し、画像検索の初期画面に戻る(ステップS120)。
このステップS120の処理の後、制御部120は、図16のステップS105からの処理を繰り返し、表示されている検索キー表示に応じた画像検索を行うようにしたり、新たな検索キーを追加して画像検索を行うようにしたりすることができるようにされる。
また、ステップS112の判断処理において、計測時間Tsが一定時間T以上になったと判断したときには、画像検索の結果の表示を解除し、画像検索の初期画面に戻る(ステップS120)。そして、上述もしたように、図16のステップS105からの処理を繰り返すようにする。
このように、この実施の形態の撮像装置100においては、画像検索の範囲の設定、検索キーの選択を行った後、簡単な操作で、画像検索の初期画面を表示するようにし、画像検索を行うようにすることができる。
さらに、画像検索を実行した後、画像検索の結果得られた画像ファイル群を、簡単な操作で確定するようにし、その確定した画像ファイル群を処理対象として、フォルダへの格納、再生、他機への伝送といった所定の処理を実行することができる。
なお、画像検索の結果得られた画像ファイル群を確定するとは、上述もしたように、当該画像検索の結果を解除することなく、画像検索の結果を保持することを意味している。そして、このようにして確定した、画像検索の結果得られた画像ファイル群を処理対象として、上述もしたように、所定の処理が実行するようにされる。
また、画像検索の結果の表示の解除は、ユーザーがいちいち行うことなく、検索キーを指示する操作を解除した後、一定時間が経過するまでに確定操作が行われない場合に、自動的に解除することができる。
これにより、ユーザーは、画像検索の結果表示をいちいち解除する操作を行うことなく、次の検索キーを用いた画像検索を行うようにするなどのことができるようにされる。
[初期画面の表示処理]
次に、図16、図17を用いて説明した画像検索処理のステップS104において実行される画像検索の初期画面の表示処理について具体的に説明する。図18は、図16に示したステップS104において実行される画像検索の初期画面の表示処理を説明するためのフローチャートである。
まず、制御部120は、表示画像形成部111、表示処理部105を制御し、画像検索の初期画面を表示するための所定の操作を行うことを促すメッセージを形成して、表示部106の表示画面6Gに表示する(ステップS1041)。
ここで画像検索の初期画面を表示するための所定の操作は、図8(b)を用いて説明したように、撮像装置100を倒す操作、傾ける操作、振る操作、叩く操作のいずれかである。
そして、制御部120は、ユーザーからの自機に対する操作(動作)を受け付けるようにし(ステップS1042)、画像検索の初期画面を表示するための所定の操作がなされたか否かを判断する(ステップS1043)。
このステップS1043の判断処理は、制御部120がモーションセンサ137からの検出出力に基づいて判断することができる。なお、撮像装置100が叩かれたか否かについては、セット上部のタッチパネル1036からの検出出力に基づいて判別するように構成することも可能である。
ステップS1043の判断処理において、画像検索の初期画面を表示するための所定の操作が行われていないと判断したときには、ステップS1043からの処理を繰り返し、当該所定の操作が行われるまで待ち状態となる。
ステップS1043の判断処理において、画像検索の初期画面を表示するための所定の操作が行われたと判断したときには、制御部120は、検索範囲の画像ファイルのサムネイル画像を表示画面6Gにバラバラに表示する(ステップS1044)。
このステップS1044の処理は、図16に示したステップS101の処理により設定された検索範囲の画像ファイルのサムネイル画像を表示画面6G上にバラバラに表示する処理である。
すなわち、ステップS1044の処理は、上述したサムネイル画像を表示する処理と同様に、制御部120が、伸張処理部110、表示画像形成部111、表示処理部111を制御して行う処理である。
具体的には、ステップS1044において制御部120は、上記各部を制御し、検索範囲に属する画像ファイルの画像データからサムネイルデータを形成し、これを表示画面6Gにランダムに表示する。
この後、制御部120は、表示画像形成部111、表示処理部111を制御して、ステップS101において選択された検索キーに応じた検索キー表示(検索キーアイコン)を表示画面6Gに表示し、画像検索を可能する(ステップS1045)。そして、この図18に示す処理を終了する。
このように、この実施の形態の撮像装置100においては、画像の検索範囲を設定し、検索キーを選択した後に、撮像装置100を倒す、傾ける、振る、叩くといった簡単な操作により、画像検索の初期画面を表示することができる。すなわち、非常に簡単な操作で、画像検索のための準備を整えることができる。
また、この画像検索の初期画面を表示するための操作と同様の簡単な操作により、画像検索の結果得られた画像ファイル群を確定して、その確定した画像ファイル群を処理対象とする所定の処理を行うようにすることができる。
なお、当該、画像検索の結果得られた画像ファイル群を確定し、これに対して所定の処理を実行する処理は、図16、図17に示した処理の主にステップS115〜ステップS117において行われるものである。
[画像ファイル群の他機への送信]
上述したように、この実施の形態の撮像装置100においては、ユーザーが選択した検索キーを用いて画像検索を行い、その結果得られた画像ファイル群を確定し、その確定した画像ファイル群を処理対象として所定の処理を行えることを説明した。
ここで所定の処理は、上述もしたように、画像ファイル群の画像フォルダへの格納処理、画像ファイル群の再生処理、画像ファイル群の他機への送信処理等である。
画像フォルダへの格納処理は上述もしたように、撮像装置100において閉じた処理である。すなわち、制御部120の制御により、確定した画像ファイル群を所定の画像フォルダに属するものとなるように、当該画像フォルダが有する情報に、当該画像ファイル群のそれぞれの画像ファイルにアクセスするための情報を書き加えればよい。
また、画像ファイル群の再生処理もまた、撮像装置100において閉じた処理である。すなわち、この場合には、制御部120が、伸張処理部110、表示画像形成部111、表示処理部105を制御し、特定した画像ファイル群のそれぞれの画像データに応じた画像を再生し、表示部106の表示画面6Gに表示するようにすればよい。
これに対して、画像ファイル群を他機に送信する処理は、他機との間においてコミュニケーションが必要になり、画像ファイル群を、画像フォルダに格納したり、再生したりする処理とは若干異なる部分がある。
以下においては、この実施の形態の撮像装置100が、画像検索の結果得られた画像ファイル群を、同様に構成された他の撮像装置(他機)に送信する場合について説明する。図19〜図22は、画像検索の結果得られた画像ファイル群を、同様に構成された他の撮像装置(他機)に送信する場合について説明するための図である。
画像検索を行った結果が表示画面6Gに表示されている場合において、撮像装置100に対して、以下の操作が行われた場合には、画像検索の結果得られた画像ファイル群を、同様に構成された他の撮像装置(他機)に送信することが指示されたと判断する。
すなわち、撮像装置100が、図19(a)に示すように傾けられた場合、図19(b)に示すように左右に振られた場合、図19(c)に示すように撮像装置100の上面が叩かれた場合には、他機への送信指示であると判断する。
そして、他機への送信指示を受け付けた撮像装置100は、送信先の機器との間で通信を行い、通信のコネクションを確立した後に、画像検索の結果得られた画像ファイル群を当該送信先の機器に対して送信する。
一方、送信先の機器においては、送信元の撮像装置100からの画像ファイル群を受信し、自機の記録媒体の所定の画像フォルダに格納する処理を行う。
なお、送信元の撮像装置100においては、画像ファイル群の送信途中においては、データ送信中であることを示す表示を行う。また、送信先の機器においては、画像ファイル群の受信途中においては、データ受信中であることを示す表示を行う。
図20〜図21に示すように、図1を示して説明した構成を有する撮像装置100(s)と撮像装置100(R)との間で、データの送受を行う場合について具体的に考える。
図20(a)に示すように、画像検索の結果得られた画像ファイル群(画像ファイルのサムネール画像群)が表示画面6Gに表示された状態にある送信元の撮像装置100(S)が傾けられたとする。この場合、送信元の撮像100(S)は、送信先の撮像装置100(R)との間で相互に通信を行い、通信のコネクションを確立するようにする。
この後、送信元の撮像装置100(S)から画像検索の結果の画像ファイル群を送信する。一方、送信先の撮像装置100(R)は、送信されてくる画像ファイル群を受信し、これを記録媒体に格納する処理を行う。
この場合、送信元の撮像装置100(S)においては、図20(a)、(b)、(c)の上段に示すように、送信対象である画像検索の結果の画像ファイル群の送信状態に応じて、当該画像ファイル群の表示を変化させ、データの送信中であることを示す。
一方、送信先の撮像装置100(R)においては、図20(a)、(b)、(c)の下段に示すように、画像ファイル群の受信状態に応じて、受信した画像ファイル群の表示を変化させ、データの送信中であることを示す。
また、図21(a)に示すように、画像検索の結果得られた画像ファイル群(画像ファイルのサムネール画像群)が表示画面6Gに表示された状態にある送信元の撮像装置100(S)が例えば左右に振られたとする。
この場合も図20を用いて説明した場合と同様に、送信元の撮像100(S)は、送信先の撮像装置100(R)との間で相互に通信を行い、通信のコネクションを確立するようにする。
この後、送信元の撮像装置100(S)から画像検索の結果の画像ファイル群を送信する。一方、送信先の撮像装置100(R)は、送信されてくる画像ファイル群を受信し、これを記録媒体に格納する処理を行う。
そして、送信元の撮像装置100(S)においては、図21(a)、(b)、(c)の上段に示すように、送信対象である画像検索の結果の画像ファイル群の送信状態に応じて、当該画像ファイル群の表示を変化させ、データの送信中であることを示す。
一方、送信先の撮像装置100(R)においては、図21(a)、(b)、(c)の下段に示すように、画像ファイル群の受信状態に応じて、受信した画像ファイル群の表示を変化させ、データの送信中であることを示す。
また、図22(a)に示すように、画像検索の結果得られた画像ファイル群(画像ファイルのサムネール画像群)が表示画面6Gに表示された状態にある送信元の撮像装置100(S)が例えばセットの上面を叩かれたとする。
この場合も図20、図21を用いて説明した場合と同様に、送信元の撮像100(S)は、送信先の撮像装置100(R)との間で相互に通信を行い、通信のコネクションを確立するようにする。
この後、送信元の撮像装置100(S)から画像検索の結果の画像ファイル群を送信する。一方、送信先の撮像装置100(R)は、送信されてくる画像ファイル群を受信し、これを記録媒体に格納する処理を行う。
そして、送信元の撮像装置100(S)においては、図22(a)、(b)、(c)の上段に示すように、送信対象である画像検索の結果の画像ファイル群の送信状態に応じて、当該画像ファイル群の表示を変化させ、データの送信中であることを示す。
一方、送信先の撮像装置100(R)においては、図22(a)、(b)、(c)の下段に示すように、画像ファイル群の受信状態に応じて、受信した画像ファイル群の表示を変化させ、データの送信中であることを示す。
このようにして、この実施の形態の撮像装置100は、画像検索の結果得られた画像ファイル群のサムネイル画像が表示されている状態にあるときに、所定の操作が行われた場合には、相手機器と通信を行い、画像ファイル群を相手先に送信することができる。
以下に、送信元の撮像装置100(S)の上述したデータ送信処理と、送信先の撮像装置100(R)の上述したデータ受信処理との詳細について説明する。
[送信元の撮像装置100(S)のデータ送信処理]
図23は、画像検索の結果得られた画像ファイル群を送信する撮像装置100(S)において実行されるデータ送信処理を説明するためのフローチャートである。この図23に示す処理は、図16、図17を用いて説明した処理のステップS117において行われる処理である。
すなわち、図16、図17を用いて説明したように、画像検索の範囲を設定し、検索キーを選択した後、当該選択した選択キーを用いて画像検索を行って、その画像検索の結果が表示画面6Gに表示された状態にあるとする。
この場合に、図17を用いて説明したように、ユーザーからの操作入力を受け付け(ステップS113)、モーションセンサ137からの検出出力等に基づいて、操作がされたか否かを判断する(ステップS114)。
ステップS114で操作されたと判断したときには、制御部120は、当該受け付けた操作入力は、撮像装置100を傾ける、左右に振る、セット上部を叩く等の所定の操作が行われたか否かを判断する(ステップS115)。
このステップS115の判断処理において、撮像装置100を傾ける、左右に振る、セット上部を叩く等の所定の操作が行われたと判断したときには、画像検索の結果得られた画像ファイル群を検索結果として確定する(ステップS116)。
この後、図17に示したステップS117において、図23に示すデータ送信処理を実行する。この場合、送信元の撮像装置100(S)の制御部120は、データの受信要求を形成し、これを通信部141、送受信アンテナ142を通じて、この例において送信先の機器である撮像装置100(R)に対して送信する(ステップS201)。当該受信要求には、要求元の撮像装置100(S)の識別IDをも有するものである。
そして、制御部120は、ステップS201において送信した受信要求に対する応答を受信するようにする応答受信処理を実行する(ステップS202)。このステップS202の処理は、要求先から何らかの応答が返ってくるか、所定時間内に応答が無い場合には、終了するようにされる。このステップS202の応答受信処理の後、制御部120は、送信先の撮像装置100(R)から受信可能応答を受信したか否かを判断する(ステップS203)。
ステップS203の判断処理において、受信可能応答を受信していないと判断したときには、制御部120は、図23に示した処理を終了し、図17のステップS117の処理に戻り、図16のステップS101からの処理を繰り返すようにする。
ステップS203の判断処理において、受信可能応答を受信したと判断したときには、制御部120は、通信部141、送受信アンテナ142を通じて、画像検索の結果得られた画像ファイル群の、撮像装置100(R)への送信を開始する(ステップS204)。
つまり、受信可能応答には、送信先の撮像装置100(R)の識別IDも付加されている。このため、ステップS204において、制御部120は、送信先の撮像装置100(R)の識別IDをも付加した撮像装置100(R)への送信データを形成し、これを撮像装置100(R)に送信する処理を開始する。
そして、制御部120は、図20、図21、図22の上段に示したように、画像ファイル群の送信状況に応じて、画像検索の結果得られた画像ファイル群の表示状態を変えていくようにする。
具体的に制御部120は、表示画像形成部111、表示処理部105を制御し、送信量に応じて、表示するサムネイル画像の表示数を減らし、かつ、サムネイル画像の表示位置を徐々に表示画面の端部に移動するように表示する処理を行う。
そして、制御部120は、送信対象の画像ファイル群を全て送信したか否かを判断する(ステップS206)。ステップS206の判断処理において、全て送信したと判断したときには、制御部120は、画像ファイルの送信完了コマンドを形成し、これを通信部141、送受信アンテナ142を通じて送信先の撮像装置100(R)に送信する(ステップS208)。
このステップS208の処理の後、制御部120は、図23に示す処理を終了し、図17のステップS117の処理に戻り、図16のステップS101からの処理を繰り返すようにする。
また、ステップS206の判断処理において、全て送信していないと判断したときには、制御部120は、例えば、終了キーが押下されるなどの終了操作が行われたか否かを判断する(ステップS207)。
ステップS207の判断処理において、終了操作は行われていないと判断したときには、制御部120はステップS205からの処理を繰り返し、画像ファイル群の送信を続行する。
ステップS207の判断処理において、終了操作が行われたと判断したときには、制御部120は、画像ファイルの送信完了コマンドを形成し、これを通信部141、送受信アンテナ142を通じて送信先の撮像装置100(R)に送信する(ステップS208)。
このステップS208の処理の後、上述もしたように、制御部120は、図23に示す処理を終了し、図17のステップS117の処理に戻り、図16のステップS101からの処理を繰り返すようにする。
このようにして、送信元の撮像装置100(S)は、画像検索の結果得られた画像ファイル群を、撮像装置100(S)を傾ける、振る、叩くといった簡単な操作を行うだけで、通信の相手先に送信することができるようにされる。
[送信先の撮像装置100(R)のデータ受信処理]
図24は、送信元の撮像装置100(S)から送信されてくる画像ファイル群を受信する撮像装置100(R)において実行されるデータ受信処理を説明するためのフローチャートである。この図24に示す処理は、例えば、撮像装置100(R)が、データ受信モードとされた場合に、撮像装置100(R)の主に制御部120において実行される処理である。
なお、撮像装置100は、撮影を行う撮影モード、記録媒体135に記録されている画像ファイルを再生する再生モード、近距離通信により自機宛のデータの受信を行うデータ受信モード等の動作モードを備えている。そして、例えば、メニューを通じて、目的とする動作モードを選択することにより、動作モードを変更することができる。
そして、上述したように、所定の操作が行われてデータ受信モードとなるようにされると、制御部120は、図24に示す処理を実行し、まず、自機宛の種々の要求を受信する要求受信処理を実行する(ステップS301)。このステップS301の処理は、自機宛の何らか要求を受信するまで行われる処理である。
このステップS301の処理において、自機宛の要求を受信した場合には、制御部120は、受信した自機宛の要求は、データの受信要求か否かを判断する(ステップS302)。ステップS302の判断処理において、受信した要求はデータの受信要求ではないと判断したときには、制御部120は、その受信した要求に応じた処理を実行し(ステップS303)、この後、図24に示す処理を終了する。
また、ステップS302の判断処理において、受信した要求が、データの受信要求であると判断したときには、制御部120は、自機の動作状況を確認する(ステップS304)。このステップS304においては、例えば、バッテリの残量、記録媒体135の空き容量、その他、データの受信処理に支障をきたす状況になっている部分がないか等の確認を行う。
そして、制御部120は、ステップS304において確認した自機の動作状況に基づいて、自機がデータを受信することができる状態にあるか否かを判断する(ステップS305)。
ステップS305の判断処理において、データを受信できる状態にないと判断したときには、制御部120は、受信不能応答を形成し、これを通信部141、送受信アンテナ142を通じて、送信元の撮像装置100(S)に対して送信する(ステップS306)。この後、制御部120は、図24に示す処理を終了する。
また、ステップS305の判断処理において、データを受信できる状態にあると判断したときには、制御部120は、受信可能応答を形成し、これを通信部141、送受信アンテナ142を通じて、送信元の撮像装置100(S)に対して送信する(ステップS307)。
つまり、撮像装置100(S)からの受信要求には、当該撮像装置100(S)の識別IDも付加さている。このため、送信先の撮像装置100(R)は、送信元の撮像装置100(S)の識別IDや、自機の識別IDを含む受信可能応答を形成し、これを送信元の撮像装置100に送信する。
この後、制御部120は、通信部141を制御し、送信先の撮像装置100(S)から送信されてくる自機宛の画像ファイル群の画像データを受信して、記録媒体135に格納する処理を開始する(ステップS308)。
そして、制御部120は、図20、図21、図22の下段に示したように、画像ファイル群の受信状況に応じて、表示部106の表示画面6Gに表示する受信状況を示す表示画像の表示状態を変えていくようにする(ステップS309)。
具体的に制御部120は、表示画像形成部111、表示処理部105を制御し、画像データの受信量に応じて、表示するサムネイル画像の表示数を増やし、かつ、サムネイル画像の表示位置を徐々に表示画面の中央に移動するように表示する処理を行う。
そして、制御部120は、送信元の撮像装置100(S)から完了コマンドが送信されてきたか否かを判断する(ステップS310)。ステップS310の判断処理において、完了コマンドは送信されてきていないと判断したときには、制御部120は、ステップS309からの処理を繰り返し、送信元の撮像装置100(S)からの画像データの受信処理を続行する。
ステップS310の判断処理において、完了コマンドが送信されてきたと判断したときには、送信元からの画像データの送信は完了したので、制御部120は、この図24に示す処理を終了するようにする。
このようにして、送信先の撮像装置100(R)は、送信元の撮像装置100(S)から送信されてくる画像データを順次に受信し、自己の記録媒体135に格納することができるようにされる。
このように、この実施の形態の撮像装置100においては、画像検索の結果得られた画像データを自機において記録媒体に格納したり、再生したりするだけでなく、他の機器に送信することも、簡単な操作で実行することができる。
なお、ここでは、撮像装置100(S)を傾ける、左右に振る、セットの上部を叩く操作を、画像データの送信を行うようにするための操作としたが、これに限るものではない。上下に振る操作や、撮像装置100(S)の側面等を叩く操作についても、画像データの送信を行うようにするための操作することができる。
また、撮像装置100(S)を傾ける、振る、叩くという3つの操作の内、いずれかを画像データの送信処理を行うようにするための指示操作に割り当て、それ以外の操作については、別の処理を割り当てるようにすることも可能である。
また、ここでは、同様に構成される送信元の撮像装置100(S)から、送信先の撮像装置100(R)に、画像データを送信する場合を例にして説明したが、これに限るものではない。
送信元の撮像装置100(S)の通信部141及び送受信アンテナ142を通じて通信することが可能な種々の電子機器に、画像データを送信することができる。例えば、撮像装置100(S)と通信可能なハードディスク装置との間で通信を行い、画像データを当該ハードディスク装置にバックアップするなどのことを簡単に行うようにすることもできる。
また、上述した実施の形態においては、送信元の撮像装置100(S)と相手先の機器とは、無線により通信を行うものとして説明したが、これに限るものではない。つまり、有線接続した相手先の機器との間で、データの送受を行うようにすることももちろん可能である。この場合には、例えば、外部I/F132、入出力端子133を通じて通信を行うようにすればよい。
[実施の形態の効果]
撮像装置100を倒す、起こす、傾ける、振る、叩くといった、撮像装置100に対する極めて簡単な操作により、画像検索の初期画面を表示したり、画像検索の結果得られた画像ファイル群を処理対象とする処理を実行したりすることができる。
つまり、複雑な操作を行うことなく、必ず行う処理、頻繁に行う処理、ありは、確実に行う必要のある処理を確実に実行することができる。
また、モーションセンサ137やセット上部のタッチパネル136などの検出出力に基づいて、ユーザーからの簡単な操作を受け付けるようにし、当該操作に応じて、目的とする処理、例えば、データの送信処理等をも行うことができるようにしている。
また、画像データを、他機に渡すようにする場合に、その経過を、物を渡して、これを受け取るというように、実世界の方法と関連付けて提供することにより、ユーザーに理解しやすいフィードバックを与えることができるようにしている。
[この発明の方法、プログラム]
なお、上述した実施の形態から明らかなように、この発明の方法、プログラムは、主に、図16、図17、図18、図23に示したフローチャートを用いて説明した方法、プログラムとして実現可能である。
すなわち、図16、図17、図18、図23を用いて説明した方法は、この発明の方法である。
そして、図16、図17、図18、図23を用いて説明した処理を実行するプログラムが、この発明のプログラムである。
したがって、この発明のプログラムを実現し、デジタルスチルカメラや種々の画像処理装置に搭載することにより、この発明の画像処理装置を実現することができる。
[その他]
なお、上述した実施の形態において、特定手段、処理制御手段のそれぞれは、制御部120が実現している。また、動き検出手段はモーションセンサ137、セット上部のタッチパネル136が実現している。
また、処理手段は、保持手段としての制御手段120や、再生手段としての書き込み/読み出し部134、伸張処理部110、表示画像形成部111、表示処理部105、表示部106からなる再生系が実現している。さらに、処理手段は、記録手段としての書き込み/読み出し部134や、送信手段である通信部141が実現している。
また、上述した実施の形態においては、検索キー指示手段を、表示部106とタッチパネル107とが協働して実現するようにしたが、これに限るものではない。検索キー指示手段は、例えば、操作部131に設けられるハードウェアキーによっても実現することができる。
具体的には、画像検索に用いる検索キーを指定した後に、当該検索キーを用いて画像検索を実行するための所定のハードウェアキーを押下操作した場合に、当該検索キーを用いた画像検索を行うようにすることができる。
この場合、2つ以上の検索キーを用いる場合には、これに対応して、画像検索を実行するための所定のハードウェアキーを複数個設けるようにしておくことにより、タッチパネルを用いた場合と同様にして、画像検索を行うようにすることができる。
また、当該ハードウェアキーを、例えば、スライド移動可能な2つのハードウェアキーとして設けておくことにより、2つの検索キーを用いた画像検索を、上述した実施の形態で説明したように実行することが可能である。
また、上述した実施の形態においては、検索キーに対して関連度「高」、関連度「中」、関連度「低」の3段階で関連度のある画像ファイルを検索するようにしたが、これに限るものではない。さらに細かく、関連度を分けるようにすることももちろん可能である。
また、上述した実施の形態においては、この発明を撮像装置に適用した場合を例にして説明したが、これに限るものではない。例えば、カメラ機能付きの携帯電話端末、画像データの処理が可能なPDA(Personal Digital Assistant)等と呼ばれる携帯情報端末、その他の画像データの処理が可能な種々の画像処理装置にこの発明を適用することができる。
また、表示対象の画像データは、静止画像の画像データに限るものではない。例えば、記録媒体に蓄積された複数の動画コンテンツの代表画像やサムネイル画像を表示対象とする画像処理装置にこの発明を適用することができる。
また、上述した実施の形態において、撮像装置100が備えるタッチパネル107は、ユーザーの指等の接触を検出できるものとして説明したがこれに限るものではない。例えば、指等を操作面に接触させることなくある程度近づけた場合に、その近づけた位置を検出できるものであれば、この発明の実現に用いることができる。
つまり、タッチパネル107は、接触式のものに限るものではない。例えば、指等がある程度近づいた場合に、近づいた位置の操作面における電位が変化したり、明るさが変化したりしたことを検出し、当該変化した操作面上の位置を指示位置として特定可能な非接触式のタッチパネルを用いるようにしてもよい。
また、上述した実施の形態においては、図9、図10等に示したように、表示されるサムネイル画像の表示位置や表示の向きなどはバラバラに(ランダムに)表示するようにしたが、これに限るものではない。
表示の向きは一定になるようにしてもよい。要は、画像検索を実行した場合に、検索キーに合致する画像のサムネイル画像を表示画面上の所定の位置に集まるように表示する点を特徴とし、その他の部分は種々の態様で表示するようにすることができる。
また、上述もしたが、予め画像データからサムネイルデータを形成しおき、これを各画像ファイルに付加しておくことにより、サムネイル画像の表示時においてサムネイルデータを形成する必要が無いので、装置の負荷を軽減することができる。
この発明の装置、方法、プログラムの一実施の形態が適用された撮像装置100の構成例を説明するためのブロック図である。 撮像装置100の記録媒体135に記録される画像ファイルのレイアウト例を説明するための図である。 撮像装置の100の記録媒体135に形成される画像フォルダのレイアウト例を説明するための図である。 撮像装置100の記録媒体135に、あるいは、EEPROM124などに予め作成される検索キー候補情報テーブルを説明するための図である。 検索キー候補情報テーブルに登録された検索キー候補情報から、画像検索に用いる検索キーを選択する処理について説明するための図である。 検索キー候補情報テーブルに登録された検索キー候補情報から、画像検索に用いる検索キーを選択する処理について説明するための図である。 検索キー候補情報テーブルに登録された検索キー候補情報から、画像検索に用いる検索キーを選択する処理について説明するための図である。 画像検索のための検索キーが選択された後において、画像検索の初期画面を表示するための所定の操作として行うことが可能な操作について説明するための図である。 2つの検索キーが選択された状態から画像検索をする場合の画面の遷移例を説明するための図である。 選択された2つの検索キーの両方を用いて画像検索を行う場合について説明するための図である。 画像を検索キーとして用いて画像検索を行う場合について説明するための図である。 検索キー関連度辞書の構成例を説明するための図である。 画像分析情報の内、画像検索のための検索キーとなりうる情報について説明するための図である。 1つの検索キー(文字情報)が選択された状態から画像検索を行うようにした場合の検索結果の表示態様を説明するための図である。 画像検索の結果を確定するための所定の操作として行うことが可能な操作について説明するための図である。 撮像装置100において行われる画像検索時の処理について説明するためのフローチャートである。 図11に続くフローチャートである。 図16に示したステップS104において実行される画像検索の初期画面表示処理を説明するためのフローチャートである。 画像検索の結果得られた画像ファイル群を、同様に構成された他の撮像装置(他機)に送信する場合について説明するための図である。 画像検索の結果得られた画像ファイル群を、同様に構成された他の撮像装置(他機)に送信する場合について説明するための図である。 画像検索の結果得られた画像ファイル群を、同様に構成された他の撮像装置(他機)に送信する場合について説明するための図である。 画像検索の結果得られた画像ファイル群を、同様に構成された他の撮像装置(他機)に送信する場合について説明するための図である。 画像検索の結果得られた画像ファイル群を送信する撮像装置100(S)において実行されるデータ送信処理を説明するためのフローチャートである。 画像ファイル群を受信する撮像装置100(R)において実行されるデータ受信処理を説明するためのフローチャートである。
符号の説明
100…撮像装置、101…レンズ部、102…撮像素子、103…前処理部、104…画像処理部、105…表示処理部、106…表示部、107…タッチパネル、109…圧縮処理部、110…伸張処理部、111…表示画像形成部、120…制御部、131…操作部、132…外部I/F、133…入出力端子、134…書き込み/読み出し部、135…記録媒体、136…セット上部のタッチパネル、137…モーションセンサ、138…GPS受信部、139…GPS受信アンテナ、141…通信部、142…送受信アンテナ

Claims (6)

  1. 自機の動きを検出する動き検出部と、
    操作部に対する操作に応じて、画像データの検索範囲を設定する設定部と、
    上記設定部により上記検索範囲が設定された状態で、上記動き検出部を通じて、自機に対して特定の操作が行われたことを検出した場合に、上記検索範囲の画像データを表示部に表示する表示処理部と、
    上記操作部に対する操作に応じて、上記検索範囲の画像データから検索キーを用いて画像データの検索を行い、当該検索結果の画像データを表示部に表示する検索部と、
    上記検索結果の画像データが表示部に表示された状態で、上記動き検出部を通じて、自機に対して特定の操作が行われたことを検出した場合に、上記検索結果の画像データを所定の格納先に記録する記録処理部と、
    を具える画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    上記動き検出部を通じて検出される自機に対して行われる操作は、自機を倒したり、起こしたりする操作と、自機を傾ける操作と、自機を振る操作と、自機を叩く操作の1以上である
    画像処理装置。
  3. 請求項1に記載の画像処理装置であって、
    上記検索結果の画像データが表示部に表示された状態で、上記動き検出部を通じて、自機に対して特定の操作が行われたことを検出した場合に、上記検索結果の画像データを再生する再生部
    をさらに具える画像処理装置。
  4. 請求項1に記載の画像処理装置であって、
    上記検索結果の画像データが表示部に表示された状態で、上記動き検出部を通じて、自機に対して特定の操作が行われたことを検出した場合に、上記検索結果の画像データを他機に送信する送信部
    をさらに具える画像処理装置。
  5. 操作部に対する操作に応じて、画像データの検索範囲を設定する設定ステップと、
    上記設定ステップにより上記検索範囲が設定された状態で、自機の動きを検出する動き検出部を通じて、自機に対して特定の操作が行われたことを検出した場合に、上記検索範囲の画像データを表示部に表示する表示ステップと、
    上記操作部に対する操作に応じて、上記検索範囲の画像データから検索キーを用いて画像データの検索を行い、当該検索結果の画像データを表示部に表示する検索ステップと、
    上記検索結果の画像データが表示部に表示された状態で、上記動き検出部を通じて、自機に対して特定の操作が行われたことを検出した場合に、上記検索結果の画像データを所定の格納先に記録する記録ステップと、
    を有する画像処理方法。
  6. 操作部に対する操作に応じて、画像データの検索範囲を設定する設定ステップと、
    上記設定ステップにより上記検索範囲が設定された状態で、自機の動きを検出する動き検出部を通じて、自機に対して特定の操作が行われたことを検出した場合に、上記検索範囲の画像データを表示部に表示する表示ステップと、
    上記操作部に対する操作に応じて、上記検索範囲の画像データから検索キーを用いて画像データの検索を行い、当該検索結果の画像データを表示部に表示する検索ステップと、
    上記検索結果の画像データが表示部に表示された状態で、上記動き検出部を通じて、自機に対して特定の操作が行われたことを検出した場合に、上記検索結果の画像データを所定の格納先に記録する記録ステップと、
    を画像処理装置に搭載されたコンピュータが実行する画像処理プログラム。
JP2008318001A 2008-12-15 2008-12-15 画像処理装置、画像処理方法および画像処理プログラム Expired - Fee Related JP5401962B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008318001A JP5401962B2 (ja) 2008-12-15 2008-12-15 画像処理装置、画像処理方法および画像処理プログラム
US12/582,046 US8823637B2 (en) 2008-12-15 2009-10-20 Movement and touch recognition for controlling user-specified operations in a digital image processing apparatus
CN200910261468A CN101834991A (zh) 2008-12-15 2009-12-15 图像处理装置、图像处理方法和图像处理程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008318001A JP5401962B2 (ja) 2008-12-15 2008-12-15 画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2010140391A JP2010140391A (ja) 2010-06-24
JP5401962B2 true JP5401962B2 (ja) 2014-01-29

Family

ID=42239916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008318001A Expired - Fee Related JP5401962B2 (ja) 2008-12-15 2008-12-15 画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US8823637B2 (ja)
JP (1) JP5401962B2 (ja)
CN (1) CN101834991A (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5429918B2 (ja) * 2008-02-15 2014-02-26 任天堂株式会社 情報処理プログラムおよび情報処理装置
JP4416836B1 (ja) * 2009-07-14 2010-02-17 株式会社ビジョナリスト 画像データ表示システム及び画像データ表示プログラム
EP2407896A1 (en) * 2010-07-16 2012-01-18 Research In Motion Limited Systems and methods of user interface for image display
TWI472988B (zh) 2012-08-03 2015-02-11 Pixart Imaging Inc 光學觸控系統及方法
JP5768361B2 (ja) 2010-11-22 2015-08-26 ソニー株式会社 送信装置、受信装置、コンテンツ送受信システム
JP5756682B2 (ja) * 2011-06-15 2015-07-29 シャープ株式会社 情報処理装置
JP2013047925A (ja) * 2011-07-26 2013-03-07 Toppan Printing Co Ltd 端末装置、プログラム及び画像提供方法
US20140351709A1 (en) * 2011-09-16 2014-11-27 Nec Casio Mobile Communications, Ltd. Information processing device having information management editing function
JP2013105310A (ja) * 2011-11-14 2013-05-30 Sony Corp 情報処理装置、制御方法およびプログラム
JP2013134579A (ja) * 2011-12-26 2013-07-08 Xacti Corp ユーザインタフェース装置
JP6232982B2 (ja) * 2013-12-02 2017-11-22 オムロン株式会社 画像処理装置、画像処理方法およびプログラム
US9519398B2 (en) * 2013-12-16 2016-12-13 Sap Se Search in a nature inspired user interface
US9501205B2 (en) * 2013-12-16 2016-11-22 Sap Se Nature inspired interaction paradigm
JP6114706B2 (ja) * 2014-02-28 2017-04-12 富士フイルム株式会社 検索システム及び検索システムの制御方法
JP2016116598A (ja) * 2014-12-19 2016-06-30 株式会社ソフトウェア・ファクトリー ゴルフ支援装置
JP6455590B2 (ja) * 2015-03-02 2019-01-23 日本電気株式会社 画像処理システム、画像処理方法およびコンピュータプログラム
CN105608104B (zh) * 2015-10-27 2019-04-12 东莞酷派软件技术有限公司 图像添加方法、图像添加装置和终端
JP7099925B2 (ja) * 2018-09-27 2022-07-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP7519776B2 (ja) 2020-01-20 2024-07-22 三菱電機株式会社 画像検索装置、画像検索方法、及び画像検索プログラム
US11550404B2 (en) * 2021-05-14 2023-01-10 Microsoft Technology Licensing, Llc Tilt-responsive techniques for sharing content

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09160716A (ja) * 1995-12-07 1997-06-20 Casio Comput Co Ltd データ入力装置
JPH10240434A (ja) * 1997-02-27 1998-09-11 Matsushita Electric Ind Co Ltd コマンドメニュー選択方法
KR20050104382A (ko) * 2003-02-19 2005-11-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 휴대용 디바이스들 사이의 콘텐트 아이템들의 ad hoc공유를 위한 시스템 및 그를 위한 상호작용 방법들
JP2004343662A (ja) 2003-05-19 2004-12-02 Sony Corp 撮像装置
JP2005142929A (ja) * 2003-11-07 2005-06-02 Sony Ericsson Mobilecommunications Japan Inc 携帯端末
US20050219223A1 (en) * 2004-03-31 2005-10-06 Kotzin Michael D Method and apparatus for determining the context of a device
JP2006146455A (ja) * 2004-11-18 2006-06-08 Konica Minolta Photo Imaging Inc 電子機器、指標付画像の表示方法
US20060164382A1 (en) * 2005-01-25 2006-07-27 Technology Licensing Company, Inc. Image manipulation in response to a movement of a display
US7716157B1 (en) * 2006-01-26 2010-05-11 Adobe Systems Incorporated Searching images with extracted objects
JP2007274381A (ja) 2006-03-31 2007-10-18 Sony Corp 撮像装置、電子機器および表示方法ならびにプログラム
JP4914778B2 (ja) * 2006-09-14 2012-04-11 オリンパスイメージング株式会社 カメラ
JP5358083B2 (ja) * 2007-11-01 2013-12-04 株式会社日立製作所 人物画像検索装置及び画像検索装置
JP4853302B2 (ja) * 2007-01-19 2012-01-11 日本電気株式会社 携帯端末用コマンド入力装置および携帯端末用コマンド入力方法
US8683390B2 (en) * 2008-10-01 2014-03-25 Microsoft Corporation Manipulation of objects on multi-touch user interface
KR20100091434A (ko) * 2009-02-10 2010-08-19 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
US8839150B2 (en) * 2010-02-10 2014-09-16 Apple Inc. Graphical objects that respond to touch or motion input

Also Published As

Publication number Publication date
JP2010140391A (ja) 2010-06-24
CN101834991A (zh) 2010-09-15
US20100149132A1 (en) 2010-06-17
US8823637B2 (en) 2014-09-02

Similar Documents

Publication Publication Date Title
JP5401962B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5268595B2 (ja) 画像処理装置、画像表示方法及び画像表示プログラム
JP4735995B2 (ja) 画像処理装置、画像表示方法および画像表示プログラム
JP5552767B2 (ja) 表示処理装置、表示処理方法および表示処理プログラム
US9471600B2 (en) Electronic device and method for handling tags
JP5316387B2 (ja) 情報処理装置、表示方法及びプログラム
JP7508529B2 (ja) スマートフォン、スマートフォンの制御方法、プログラム
JP2010055343A (ja) 情報処理装置および方法、並びにプログラム
KR101465859B1 (ko) 촬상 장치, 촬상 방법, 및 기억 매체
JP2007266902A (ja) カメラ
US20180198983A1 (en) Image pickup apparatus, image pickup system, image pickup method, image pickup program, and display apparatus for image pickup
JP5820237B2 (ja) コンテンツ管理システム、操作装置およびそれらの制御方法、プログラム
JP2009049886A (ja) 画像検索装置、撮影装置、画像検索方法及びプログラム
WO2023021759A1 (ja) 情報処理装置、情報処理方法
JP4102933B2 (ja) 撮影画像管理装置、撮影画像管理方法及び撮影画像管理プログラム
JP5818634B2 (ja) コンテンツ管理装置、記録装置、操作装置、コンテンツ管理システムおよびそれらの制御方法
JP5517895B2 (ja) 端末装置
JP5655916B2 (ja) 画像検索システム
JP5565271B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2011048506A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131014

R151 Written notification of patent or utility model registration

Ref document number: 5401962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees