JP2010026927A - 表示画面生成装置、表示画面生成方法およびプログラム - Google Patents

Abstract

【課題】大量の画像を一様に把握して所望の画像を効率よく選択する。
【解決手段】表示画面生成装置は、複数の画像を含む第１の表示画面を生成する第１表示画面生成部１０６と、複数の画像のメタデータに基づいて、複数の画像を複数の画像群に分類する分類部１０４と、分類部１０４により分類された複数の画像群の各々に対応付けられている選択ポイントを含む第２の表示画面を生成する第２表示画面生成部１０８と、ユーザ操作に応じて第２の表示画面に含まれる選択ポイントのなかから、いずれかの選択ポイントを選択する選択部１０２と、を備え、第１表示画面生成部１０６は、選択部１０２により選択ポイントが選択される毎に、第１の表示画面に含まれる複数の画像を選択ポイントに対応づけられている複数の画像群の画像に変更する。
【選択図】図３

Description

本発明は、表示画面生成装置、表示画面生成方法およびプログラムに関し、特に、大量の画像を一様に把握可能な表示画面を生成する表示画面生成装置、表示画面生成方法およびプログラムに関する。

近年、大容量のハードディスクや半導体メモリなどの低価格化が進み、動画像や静止画像等のコンテンツを記録媒体に保存することが可能となってきている。そして、大量のコンテンツを保持している情報処理装置から所望のコンテンツを検索するための各種の技術が開示されている。

従来の大量のコンテンツから画像を検索する方法としては、以下の２つに大別することができる。
（１）メタデータを利用した検索方法（例えば、特許文献１、２参照）
（２）特徴量を利用した類似検索、画像内容検索方法（例えば、特許文献３、４参照）
上記（１）の検索方法は、ユーザが入力したキーワードと画像のメタデータを比較して検索する方法である。この方法は、上記（２）の画像の特徴量を利用した検索方法に比較して、より正確に検索できるという利点がある。

特開平１１−３９３１７号公報 特開２００４−２３４２２８号公報 特開２００７−１６４６４８号公報 特開２００６−１８５３６４号公報

しかし、上記（１）の検索を実現するためには、画像にメタデータを付加する必要があり、正確なメタデータの付加方法が問題となる。上記（１）の検索方法における検討事項の大部分がメタデータの付加方法である。自動的にメタデータを付加する仕組みを利用して、正確なメタデータを付加することも考えられる。しかし、この場合においても、大量の画像が保存されている場合にはユーザが画像に付加されたメタデータのすべてを把握することは困難である。また、ユーザはキーワードを入力することにより当該検索が実現するため、キーボード等の入力デバイスが必要となり用途も限られる。

上記（２）の検索方法は、１枚の入力画像から特徴量を抽出することで、大量の画像から類似している画像を検索する方法である。大量の画像から解析した情報をデータベース化して、当該データベースを利用して検索を行うシステムやサービスが多数存在している。また、類似検索方法として、画像に含まれる人、もの、空間などをオブジェクトとして抽出し、それらが含まれる画像を検索する方法も例示できる。この検索方法ではユーザが検索したい画像に対して、比較するための入力画像が必要となる。また、検索のためのデータベースを構築するためには、大量の画像サンプルが必要となりメモリや記憶容量等の大量の資源を確保しなければならないという問題があった。

また、上記検索方法を利用しない場合には、ウィンドウ画面にスクロールバーを配置し、画像をマトリックス状に配置して画像を閲覧しながら検索する方法が考えられる。当該方法によれば、一つのインタフェース上で簡易な操作で検索することができる。しかしながら、大量の画像が存在する場合には、現在ウィンドウ画面に表示されている画像の位置が分からなくなったり、上下のスクロール操作が多くなったりするという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、大量の画像を一様に把握して所望の画像を効率よく選択することが可能な表示画面を生成することが可能な、新規かつ改良された表示画面生成装置、表示画面生成方法およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、複数の画像を含む第１の表示画面を生成する第１表示画面生成部と、複数の画像のメタデータに基づいて、複数の画像を複数の画像群に分類する分類部と、分類部により分類された複数の画像群の各々に対応付けられている選択ポイントを含む第２の表示画面を生成する第２表示画面生成部と、ユーザ操作に応じて第２の表示画面に含まれる選択ポイントのなかから、いずれかの選択ポイントを選択する選択部と、を備え、第１表示画面生成部は、選択部により選択ポイントが選択される毎に、第１の表示画面に含まれる複数の画像を選択ポイントに対応づけられている複数の画像群の画像に変更する、表示画面生成装置が提供される。

かかる構成によれば、複数の画像を含む第１の表示画面が生成され、複数の画像のメタデータに基づいて複数の画像を複数の画像群に分類し、分類された複数の画像群の各々に対応付けられている選択ポイントを含む第２の表示画面が生成される。そして、ユーザ操作に応じて第２の表示画面に表示された選択ポイントが選択されて、当該選択ポイントに対応付けられている複数の画像群が第１の表示画面に表示される。

これにより、大量の画像を一様に把握して所望の画像を効率よく選択することができる。また、現在表示されている画像の絶対位置を把握することができ、ユーザは常に現在プレビューされている画像の位置を意識することが可能となるため、直感的に画像の選択操作を行うことができることとなる。

また、第１表示画面生成部により生成される第１の表示画面に重ねて、第２表示画面生成部により生成される第２の表示画面が表示装置に表示されるようにしてもよい。

また、選択ポイントは、複数の画像を分類する１または２以上のメタデータのうち少なくとも２のメタデータにより特定されるようにしてもよい。

また、上記第２表示画面生成部は、複数の画像のメタデータのうち、一のメタデータを横軸とし、他のメタデータを縦軸とするグラフ上に複数の選択ポイントがプロットされた第２の表示画面を生成するようにしてもよい。

また、上記第１表示画面生成部は、少なくとも選択ポイントに対応付けられた複数の画像群に加えて、選択ポイント付近の選択ポイントに対応付けられた複数の画像を表示させてもよい。

複数の画像のメタデータは、複数の画像の撮影日、撮影時刻、解像度のいずれかであってもよい。

上記第２表示画面生成部は、複数の画像のメタデータの一覧を含むメタデータ選択画面を生成し、選択部は、ユーザ操作に応じてメタデータ選択画面に含まれる複数の画像のメタデータのうちから１または２以上のメタデータを選択してもよい。

上記第２表示画面生成部は、選択部により選択された１または２以上のメタデータを横軸または縦軸とするグラフを含む表示画面を生成してもよい。

分類部は、選択部により選択された１または２以上のメタデータにより、複数の画像を分類してもよい。

上記課題を解決するために、本発明の別の観点によれば、複数の画像を含む第１の表示画面を生成するステップと、複数の画像のメタデータに基づいて、複数の画像を複数の画像群に分類するステップと、分類部により分類された複数の画像群の各々に対応付けられている選択ポイントを含む第２の表示画面を生成するステップと、ユーザ操作に応じて第２の表示画面に含まれる選択ポイントのなかから、いずれかの選択ポイントを選択するステップと、を含み、選択ポイントが選択される毎に、第１の表示画面に含まれる複数の画像を選択ポイントに対応づけられている複数の画像群の画像に変更する、表示画面生成方法が提供される。

上記課題を解決するために、本発明の別の観点によれば、コンピュータを、複数の画像を含む第１の表示画面を生成する第１表示画面生成部と、複数の画像のメタデータに基づいて、複数の画像を複数の画像群に分類する分類部と、分類部により分類された複数の画像群の各々に対応付けられている選択ポイントを含む第２の表示画面を生成する第２表示画面生成部と、ユーザ操作に応じて第２の表示画面に含まれる選択ポイントのなかから、いずれかの選択ポイントを選択する選択部と、を備え、第１表示画面生成部は、選択部により選択ポイントが選択される毎に、第１の表示画面に含まれる複数の画像を選択ポイントに対応づけられている複数の画像群の画像に変更する、表示画面生成装置として機能させるための、プログラムが提供される。

以上説明したように本発明によれば、大量の画像を一様に把握して所望の画像を効率よく選択することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下に示す順序に従って当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕表示画面生成装置の構成および機能
〔３〕表示画面生成装置の動作

〔１〕本実施形態の目的
まず、本発明の実施形態の目的について説明する。近年、大容量のハードディスクや半導体メモリなどの低価格化が進み、動画像や静止画像等のコンテンツを記録媒体に保存することが可能となってきている。そして、大量のコンテンツを保持している情報処理装置から所望のコンテンツを検索するための各種の技術が開示されている。

従来の大量のコンテンツから画像を検索する方法としては、以下の２つに大別することができる。
（１）メタデータを利用した検索方法
（２）特徴量を利用した類似検索、画像内容検索方法
上記（１）の検索方法は、ユーザが入力したキーワードと画像のメタデータを比較して検索する方法である。この方法は、上記（２）の画像の特徴量を利用した検索方法に比較して、より正確に検索できるという利点がある。
しかし、（１）の検索を実現するためには、画像にメタデータを付加する必要があり、正確なメタデータの付加方法が問題となる。（１）の検索方法における検討事項の大部分がメタデータの付加方法である。自動的にメタデータを付加する仕組みを利用して、正確なメタデータを付加することも考えられる。しかし、この場合においても、大量の画像が保存されている場合にはユーザが画像に付加されたメタデータのすべてを把握することは困難である。また、ユーザはキーワードを入力することにより当該検索が実現するため、キーボード等の入力デバイスが必要となり用途も限られる。

上記（２）の検索方法は、１枚の入力画像から特徴量を抽出することで、大量の画像から類似している画像を検索する方法である。大量の画像から解析した情報をデータベース化して、当該データベースを利用して検索を行うシステムやサービスが多数存在している。また、類似検索方法として、画像に含まれる人、もの、空間などをオブジェクトとして抽出し、それらが含まれる画像を検索する方法も例示できる。この検索方法ではユーザが検索したい画像に対して、比較するための入力画像が必要となる。また、検索のためのデータベースを構築するためには、大量の画像サンプルが必要となりメモリや記憶容量等の大量の資源を確保しなければならないという問題があった。

また、上記検索方法を利用しない場合には、ウィンドウ画面にスクロールバーを配置し、画像をマトリックス状に配置して画像を閲覧しながら検索する方法が考えられる。当該方法によれば、一つのインタフェース上で簡易な操作で検索することができる。しかしながら、大量の画像が存在する場合には、現在ウィンドウ画面に表示されている画像の位置が分からなくなったり、上下のスクロール操作が多くなったりするという問題があった。 そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる表示画面生成装置が創作されるに至った。本実施形態にかかる表示画面生成装置によれば、大量の画像を一様に把握して所望の画像を効率よく選択することができる。

例えば、ユーザが画像を検索する場合、何時頃撮影された写真か、誰が写っている写真か、どのような構図の写真かなど、その画像の断片的な情報が浮かび上がってくる。本実施形態では、その断片的な情報を検索条件としてユーザが設定することにより、記録されている画像全体の分布を散布図（以降、グラフとも称する。）に自動変換する。

そして、ユーザによりグラフ上の点（以降選択ポイントとも称する。）が選択されると、ウィンドウ画面に表示されている画像に代えて、当該選択された点に含まれる画像が表示される。このように、現在ウィンドウ画面に表示されている画像のグラフにおける位置を意識することにより、ユーザの直感的な画像選択や画像検索を可能とする。

また、本実施形態では、グラフを生成する際に、１つめの検索条件をユーザが設定すると、より最適な２つめの検索条件を自動で設定することができる。これにより、画像間の意外な関連性を、ユーザが意識することなく見つけることが可能となる。

なお、本実施形態において、表示画面生成装置は、ディスプレイ等の表示装置やカメラの撮像装置とは別体の装置として構成したが、かかる例に限定されない。例えば、表示画面生成装置を表示装置と一体として構成したり、撮像装置と一体として構成したりするようにしてもよい。以下では、表示画面生成装置として、テレビ受像機等に接続して画像や映像等のコンテンツを受信したり記録したりすることが可能なセットトップボックス１を例示して説明する。セットトップボックス１により生成された表示画面は、セットトップボックスの外部に接続された画像表示デバイス１３のウィンドウに接続される。また、ウィンドウに表示される画像は、複数の画像を並べて表示するようにしたが、かかる例に限定されない。例えば、複数の画像を３次的に配置して表示したり、画像の大きさを大小変えて表示したりしてもよいし、円形に配置して表示するようにしてもよい。

〔２〕表示画面生成装置の構成および機能
次に、図１に基づいて、本実施形態にかかる表示画面生成装置の一例であるセットトップボックス１の構成について説明する。図１は本実施形態にかかる表示画面生成装置の一例であるセットトップボックス１の構成を示すブロック図である。図１に示したように、セットトップボックス１は、入力デバイス１０、データメモリ１１、プログラムメモリ１２、画像表示デバイス１３、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）１４、接続コネクタ１７、リムーバブル記録媒体１８、外部記録媒体１９、演算制御デバイス２０、バス２４などを備える。なお、画像表示デバイス１３は、セットトップボックス１とは別体の装置として外部接続される機器である。

セットトップボックス１の主な機能について説明する。演算制御デバイス２０は、演算処理装置および制御装置として機能し、各種プログラムに従ってセットトップボックス１内の動作全般を制御する。また、演算制御デバイス２０は、マイクロプロセッサであってもよい。プログラムメモリ１２は、演算制御デバイス２０が使用する制御プログラムや演算パラメータ等を記憶している。

入力デバイス１０は、例えば、キーボード、リモコン、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、演算制御デバイス２０に出力する入力制御回路などから構成されている。入力デバイス１０は、ユーザの操作を検出して演算制御デバイス２０に通知する機能を有する。

外部記録媒体１９は、大量の画像を記録、格納する機能を有し、例えば、ハードディスクや半導体メモリ（ＳＳＤを含む）などを有する。本実施形態における外部記録媒体１９は、着脱不可能としたが、かかる例に限定されず、着脱可能とする構成としてもよい。また本実施形態では、外部記録媒体１９とは別に、リムーバブル記録媒体１８を設けて、リムーバブル記録媒体１８に記録された画像を取得して外部記録媒体１９に記録する構成とした。

また、ＮＩＣ１４は、インターネット網１５を介してインターネットサービス（サーバ）１６に接続して画像が取得されるが、当該画像も外部記録媒体１９に記録する構成とした。外部記録媒体１９に記録された画像は、演算制御デバイス２０に取得されて、画像解析処理、画像検索処理、画像表示処理等が実行される。各デバイスは、バス２４によって接続されている。

画像解析処理部２１は、Ｅｘｉｆ形式の画像からメタデータ（以降、Ｅｘｉｆ情報とも称する。）を取得したり、画像から特徴量を抽出したりする機能を有する。Ｅｘｉｆとは、ＪＰＥＧ等の画像フォーマットに対応したメタデータのフォーマットであり、画像の撮影日時をはじめとする各種メタデータのほかに縮小画像が記録可能である。

画像検索処理部２２は、入力デバイス１０を介して入力されたユーザ入力に応じて、画像の検索処理を実行する機能を有する。また、画像表示処理部２３は、画像検索処理部２２による画像検索の結果に応じて、画像のソート処理等を行って画像を画像表示デバイス１３に表示する機能を有する。以上、セットトップボックス１の構成について説明した。

次に、図２を参照して、画像表示デバイス１３に表示される表示画面について説明する。上記したように、画像表示デバイス１３は、セットトップボックス１とは別体の装置であって、セットトップボックス１の外部に接続されている機器である。画像表示デバイス１３には、例えば、図２に示した操作画面３００（以降、メイン操作画面３００とも称する。）が表示される。メイン操作画面上には、複数の画像のサムネイルがマトリックス状に並べて表示される。また、メイン操作画面上の右端には、表示画面全体をスクロールしてすべての画像の閲覧を可能とするためのスクロールバー３４が表示される。ユーザによるキーボードやリモコン操作により一つの画像が選択され（選択画像３２）、フォーカス３３が表示される。ユーザは、フォーカス３３を入力デバイスにより上下左右に操作して所望の画像を選択する。

メイン操作画面３００は、パーソナルコンピュータの画像閲覧アプリケーションソフトウェア、画像記録再生のための専用機器の操作画面、オンラインの画像管理サービスのブラウザ上でのＵＩ構成など、画像の閲覧方法として広く一般的に利用されている方法により表示することができる。以下では、メイン操作画面３００に複数の画像が表示される場合について説明する。

次に、図３を参照して、表示画面生成装置の主な機能構成について説明する。以下では、表示画面生成装置の主な機能構成として、セットトップボックス１の演算制御デバイス２０の機能構成について詳細に説明する。図３に示したように、演算制御デバイス２０は、選択部１０２、分類部１０４、第１表示画面生成部１０６、第２表示画面生成部１０８などを含む。

第１表示画面生成部１０６は、複数の画像を含む第１の表示画面を生成する機能を有する。上記した画像表示処理部２３は、第１表示画面生成部１０６の一例である。第１表示画面生成部１０６により生成される表示画面は、図２に示したように複数の画像のサムネイルがマトリックス状に並べて表示される。第１表示画面生成部１０６は、ユーザによりスクロールバー３４が上下左右に操作されたり、表示されている画像のサムネイル３１が選択されたりする毎に、当該操作に応じた表示画面を生成して画像表示デバイス１３に提供する。

分類部１０４は、複数の画像のメタデータに基づいて、複数の画像を複数の画像群に分類する機能を有する。上記した画像検索処理部２２は、分類部１０４の一例である。画像のメタデータとは、複数の画像の撮影日や、撮影時刻、画像の解像度等を含むデータであって、例えば、上記したＪＰＥＧ等の記録フォーマットにより付加されたＥｘｉｆ情報を解析したり、画像を解析したりして得ることができる画像の付加情報である。

分類部１０４は、撮影日や撮影時刻等の画像のメタデータにより、撮影日毎、撮影時刻毎に複数の画像を分類する。画像のメタデータは、画像を検索するときにユーザが設定する検索条件となる。分類部１０４は、例えば、メタデータの種別ごとの度数分布情報を作成することにより複数の画像を分類してもよい。分類部１０４による度数分布情報の作成については、後で詳細に説明する。

第２表示画面生成部１０８は、分類部１０４により分類された複数の画像群の各々に対応付けられている選択ポイントを含む第２の表示画面を生成する機能を有する。上記した画像表示処理部２３は、第２表示画面生成部１０８の一例である。第２表示画面生成部１０８は、第１表示画面生成部１０６により生成される第１の表示画面とは別の表示画面を生成する。第２の表示画面に含まれる選択ポイントは、分類部１０４により分類された複数の画像群の各々に対応付けられている表示画面上の点である。当該選択ポイントの設定方法については後で詳細に説明する。

ここで、図４を参照して、第１表示画面と第２表示画面の表示例について説明する。図４は、表示画面生成装置により生成される表示画面の表示例について説明する説明図である。図４に示したように、メイン操作画面３００に第１表示画面である複数の画像のサムネイル画像３５が表示され、メイン操作画面３００に重ねて第２表示画面である検索ウィンドウ表示画面４０が表示される。

検索ウィンドウ表示画面４０は、グラフ表示エリア４１、詳細情報表示エリア４２、横軸４３、縦軸４４、横軸フォーカス４５、縦軸フォーカス４６などを含む。グラフ表示エリア４１には、複数の画像の全体の分布を散布図として示すグラフが表示される。詳細情報表示エリア４２には、現在選択されている選択ポイントの詳細情報が表示され、例えば、日付、時刻、解像度や選択ポイントを代表するサムネイル画像等が表示される。

横軸４３および縦軸４４には、上記した画像のメタデータが割り当てられる。例えば、横軸４３および縦軸４４に割り当てられるメタデータは、ユーザにより選択されるようにしてもよい。また、横軸４３又は縦軸４４のうち、一方に割り当てられるメタデータはユーザにより選択されるようにしてもよい。図４に示したように、グラフ表示エリア４１上で選択されている選択ポイントがフォーカス表示される。以上、表示画面生成装置により生成される表示画面の表示例について説明した。

図３に戻り、選択部１０２は、ユーザ操作に応じて第２の表示画面に含まれる選択ポイントのなかから、いずれかの画像ポイントを選択する機能を有する。選択部１０２により第２の表示画面に含まれる選択ポイントが選択される毎に、第１表示画面生成部１０６によって、第１の表示画面に含まれる複数の画像が選択ポイントに対応付けられている複数の画像群の画像に変更される。

上記した図４を参照して、選択ポイントが選択された場合の、第１の表示画面の表示について説明する。ユーザ操作により、検索ウィンドウ４０に表示されているグラフ上の選択ポイントの１つが選択される。そして、メイン操作画面３００に表示されている画像のコンテンツが、当該選択ポイントに関連付けられている画像群に変更される。また、ユーザ操作により先に選択された選択ポイントとは異なる他の選択ポイントが選択されると、一覧表示されている画像のコンテンツが当該選択ポイントに関連付けられている画像群に変更される。以上、表示画面生成装置の機能構成について説明した。

〔３〕表示画面生成装置の動作
次に、図５〜図１２を参照して、表示画面生成装置の表示画面生成方法について説明する。図５は、表示画面生成装置の表示画面生成方法の概要を示すフローチャートである。図５に示したように、表示画面生成方法は、主に、画像の登録処理（Ｓ１００）、検索の実行処理（Ｓ２００）、検索結果の表示処理（Ｓ３００）などの処理工程を含む。ここで、ステップＳ１００における画像の登録処理は、表示画面生成装置により実行されてもよいし、表示画面生成装置とは別体の装置により実行されてもよい。以下では、表示画面生成装置が画像の登録処理を実行する場合について説明する。

デジタルカメラ等の撮像機器で撮像された画像等が外部記録媒体１９に記録されるときに、ステップＳ１００の登録処理が実行される。ステップＳ１００において、ステップＳ２００の検索処理を実行するために必要なメタデータの種別ごとのコンテンツデータファイルが新規作成されたり、コンテンツデータファイルの内容が更新されたりする。コンテンツデータファイルには、外部記録媒体１９に記録されている画像全体の度数分布情報が含まれる。また、ステップＳ１００において、検索に必要となる画像の特徴量も抽出される。そして、画像の特徴量もメタデータとしてコンテンツデータファイルが生成される。

ユーザ操作により、上記したメイン操作画面３００に表示される操作メニューなどを選択することにより、ステップＳ２００の検索処理が実行される（Ｓ２００）。ステップＳ２００における検索処理は、メイン操作画面３００上に検索ウィンドウ４０を表示する処理と、ユーザ操作により検索ウィンドウ４０上で操作が行われている処理をいう。検索ウィンドウ４０には、外部記録媒体１９に記録されている画像全体の分布情報がグラフとして表示される。

ステップＳ３００においては、ユーザ操作により検索ウィンドウ４０上で任意の選択ポイントが選択された後、当該選択ポイントが示す画像群が表示されるまでの処理を実行する。以上、表示画面生成方法の概要を説明した。

次に、図６を参照して、ステップＳ１００の画像の登録処理について詳細に説明する。図６に示したように、まず、外部記録媒体１９に記録される画像のＥｘｉｆ情報を解析する（Ｓ１０２）。ステップＳ１０２におけるＥｘｉｆ情報の解析により、各画像の撮影日時や解像度、ＩＳＯ感度等を取得する。

そして、各画像の特徴量を抽出する（Ｓ１０４）。ステップＳ１０４における画像の特徴量の抽出処理では、画像の諧調レベルや、画像の重心位置、構図情報、顔認識技術による人物の特定情報や、画像に写っている人物の人数情報、人物の画像上での位置情報などを取得できる。また、各画像のメタデータとして、画像の登録日時や画像のタイトル情報等を取得するようにしてもよい。図７に、画像のメタデータの例を示した。

図７に示した画像のメタデータが、画像を分類するために用いられる。図７に示した画像のメタデータは、どのような画像検索を実行するかによっても異なってくる。また、画像を撮影する撮像機器や当該機器の設定などの画像撮影条件により、取得できるメタデータも異なってくる。したがってどのような情報を画像のメタデータとするかは、本実施形態が適用されるシステムやサービスによってあらかじめ決められていてもよい。

図６に戻り、ステップＳ１０２およびステップＳ１０４において取得した情報を、各画像のメタデータとして記録する（Ｓ１０６）。ステップＳ１０６において記録された画像のメタデータが、画像の検索条件として初めて登録されるメタデータであるか否かを判定する（Ｓ１０８）。

ステップＳ１０８において、画像の検索条件として初めて登録されるメタデータである場合には、コンテンツデータファイルを新規に作成する（Ｓ１１２）。ステップＳ１１２において、画像の検索条件として初めて登録されるメタデータではない場合には、当該メタデータに対応するコンテンツデータファイルの内容を更新する（Ｓ１１０）。

図８を参照して、コンテンツデータファイルの内容について説明する。図８は、コンテンツデータファイルの内容を説明する説明図である。図８に示したように、撮影日や撮影時刻等の画像のメタデータを検索条件として、コンテンツデータファイルが作成される。例えば、コンテンツデータファイル５１０は、撮影日を検索条件とし、撮影日で画像を分類したときの画像の度数分布情報が記録される。ここで、度数とは、検索条件の各項目に該当する画像数である。以上、画像の登録処理について詳細に説明した。

次に、図９を参照して、ステップＳ２００の検索の実行処理について詳細に説明する。上記したように、ステップＳ２００における検索処理は、メイン操作画面３００上に検索ウィンドウ４０を表示する処理と、ユーザ操作により検索ウィンドウ４０上で操作が行われている処理を含む。

メイン操作画面３００上に検索ウィンドウ４０を表示する処理は、ユーザ操作により、図１０に示したメイン操作画面３００に表示されるメイン操作メニュー５０から検索実行メニューが選択され、さらに検索条件選択メニュー５２から１つの検索条件が選択され、その後検索ウィンドウ４０が表示される。検索条件選択メニュー５２は、複数の画像のメタデータの一覧を含むメタデータ選択画面の一例である。図９を参照して、検索ウィンドウ４０を表示するための処理について詳細に説明する。

図９は、検索ウィンドウ４０を表示するための処理を示すフローチャートである。図９に示したように、まず、検索ウィンドウの設定を取得する（Ｓ２０２）。ステップＳ２０２においては、検索ウィンドウ４０に表示されるグラフ上のポイント間の最小間隔情報（以降、ポイント間隔Ｍと称する。）を取得する。

本実施形態においては、外部記録媒体１９に記録されている画像全体の分布をグラフ化する。この場合に、限られた領域にすべての画像を個々にプロットしてしまうと、画像のコンテンツ数に比例してポイント数が増大してしまうため、大量の画像についてグラフ化する場合には却ってユーザビリティを損なうこととなりかねない。そこで、ポイント間の最小の間隔を設定し、当該設定を考慮してグラフの元データを生成する。

次に、メイン操作画面上で選択されている画像のメタデータを取得する（Ｓ２０４）。本実施形態では、検索ウィンドウ４０を表示したときにフォーカスされている選択ポイントに、メイン操作画面上でフォーカスされている画像を含むこととしている。そのため、ステップＳ２０４において、メイン操作画面上で現在選択されている画像のメタデータを取得する必要がある。

そして、ステップＳ２０２およびステップＳ２０４において取得した情報を元に、検索ウィンドウ４０に表示するグラフを作成する（Ｓ２０６）。以下では、ユーザ操作により、メイン操作メニュー５０から検索条件として「撮影日」が選択された場合について説明する。

ここで、図１１及び図１２を参照して、ステップＳ２０６におけるグラフの作成処理について詳細に説明する。図１１及び図１２は、グラフ作成処理を詳細に説明する説明図である。図１１に示したように、まず、グラフの縦横軸をステップＳ２０２において取得したポイント間隔Ｍで分割する（Ｓ２５０）。

次に、ユーザ操作により選択された検索条件をグラフの横軸とする（Ｓ２５１）。例えば、「撮影日」のコンテンツデータファイルの項目の最小値、最大値をグラフの横軸の最小値、最大値に対応させる。図１１では、最小値を「２０００／１２／３０」とし、最大値を「２００７／１１／１１」とした。

そして、該当するコンテンツデータファイルの最大、最小値項目以外の項目についてもグラフの横軸に最も近いメモリにプロットする（Ｓ２５２）。ポイント間隔Ｍの設定によっては、コンテンツデータファイルの複数の項目が１つの選択ポイントにプロットされる場合もある。

図１２を参照して説明する。ステップＳ２５２においてグラフの横軸に最も近いメモリにプロットした後、２つめの検索条件を縦軸として、横軸にポイントした画像群を縦軸に分散させる（Ｓ２５３）。ここで、２つめの検索条件を選択する方法について詳細に説明する。まず、ステップＳ２５２までにプロットしたポイントから１つのポイントを選択する。このとき、最も度数が高いものを選ぶようにしてもよい。

図１２のステップＳ２５３では左から４番目のポイントが最も度数が高かったと想定している。このポイントに含まれる画像群に対して「撮影日」以外のユーザが選ばなかったメタデータのそれぞれについて標準偏差ｓを算出する。標準偏差は平均値からのデータの散らばり具合を示す値であり、以下の数式１で表すことができる。

標準偏差が最も高かったメタデータが最もこのポイントに含まれる画像群を分散できるメタデータであると判断して、２つめの検索条件とする。２つめの検索条件の選び方として、ここでは自動で判断し選択する方法を説明したが、ユーザが手動で設定できるようにしてもよい。

図１２では、「撮影時刻」が２つめの検索条件に決定したと想定しているが、２つめの検索条件は「撮影時刻」に限らず、標準偏差が最も高いメタデータが選択される。そして、ステップＳ２５３でプロットしたすべてのポイントついて「撮影時刻」によりヒストグラムを作成し、横軸にポイントをプロットしたときと同様に、それぞれのポイントを縦軸に分散させる。このようにグラフを生成することで限られたグラフのスペースに大量の画像を画像群としてプロットすることができる。

図９に戻り、次に、ステップＳ２０４で取得した情報を元に、メイン操作画面でフォーカスがあたっている画像が含まれるポイントにグラフのフォーカスを合わせる。そして、ステップＳ２０６において作成したグラフをメイン操作画面３００の検索ウィンドウ４０上に表示する。ステップＳ２０８において表示される検索ウィンドウ４０は、メイン操作画面３００とは別のウィンドウとして表示されてもよいし、メイン操作画面３００に重ねて表示されるようにしてもよい。以上、検索ウィンドウ４０を表示するための処理について詳細に説明した。

次に、図１３を参照して、ステップＳ３００における検索結果の表示処理について詳細に説明する。図１３は、検索結果の表示処理を示すフローチャートである。図１３に示したように、まず、ユーザが、キーボードやリモコンなどの入力デバイスによりグラフ上のフォーカスを上下左右に移動する。そして、ユーザがポイントを決定することにより、当該ポイントが選択される（ステップＳ３０２）。

また、任意のポイント上でフォーカスを動かすことなく所定の時間が経過した場合には、タイムアウトとなり、選択中の選択ポイントのプレビュー処理が開始される。ここで、プレビュー処理とは、当該選択ポイントに対応付けられた複数の画像のサムネイルをメイン操作画面３００にマトリックス状に並べて表示することである。

次に、検索ウィンドウ４０を表示してから、初めてステップＳ３０２における選択ポイントの決定がなされたか否かが判定される（Ｓ３０６）。ステップＳ３０６において、検索ウィンドウ４０を表示して初めて選択ポイントの決定がなされた場合には、現在の検索条件の情報を取得する（Ｓ３０８）。そして、ステップＳ３０８において取得した情報に基づいて、外部記録媒体１９に記録されている複数の画像をソートする（Ｓ３１０）。ステップＳ３１０において、グラフを作成するために用いられた検索条件の項目により画像がソートされる。

ステップＳ３０６において、選択ポイントの決定が２回目以降である場合には、既に画像のソート処理が行われているため、ステップＳ３１１の処理を実行する。そして、選択されたポイントの情報を取得する(Ｓ３１１)。ステップＳ３１１において選択された選択ポイントに含まれる画像群のサムネイルがメイン操作画面３００に表示される（Ｓ３１２）。ステップＳ３１２において表示される画像群のサムネイルは、選択ポイントに対応付けられた画像群のみを表示するようにしてもよいし、選択された選択ポイント付近の選択ポイントに対応付けられた画像群のサムネイルを表示するようにしてもよい。

次に、ステップＳ３０２において、ユーザがポイントを決定したか否かを判定する（Ｓ３１４）。ステップＳ３１４において、ユーザがポイントを決定したと判定された場合には、ユーザの検索処理が終了したと判断して検索ウィンドウ４０を隠す。また、ステップＳ３１４において、ユーザがポイントを決定することなくタイムアウト処理が実行された場合には、ユーザがまだプレビュー中であると判断して検索ウィンドウを隠すことなく次のユーザ操作を待つ。以上、ステップＳ３００における検索結果の表示処理について詳細に説明した。

本実施形態にかかる表示画面生成装置によれば、複数の画像を含むメイン操作画面（第１の表示画面）が生成され、複数の画像のメタデータに基づいて複数の画像を複数の画像群に分類し、分類された複数の画像群の各々に対応付けられている選択ポイントを含む検索ウィンドウ（第２の表示画面）が生成される。そして、ユーザ操作に応じて検索ウィンドウに表示された選択ポイントが選択されて、当該選択ポイントに対応付けられている複数の画像群がメイン操作画面に表示される。

これにより、大量の画像を一様に把握して所望の画像を効率よく選択することができる。メイン操作画面３００に複数の画像がマトリクス状に表示して、ユーザにより所望の画像が閲覧される場合には現在プレビューされている位置が分からなくなり、ユーザは当該位置を確認するためにスクロールを繰り返すこととなる。しかし、本実施形態により実現されるグラフを利用すれば、現在表示されている画像の絶対位置を把握することができる。これにより、ユーザは常に現在プレビューされている画像の位置を意識することが可能となるため、直感的に画像の選択操作を行うことができることとなる。

また、最適な検索条件を自動で設定することにより、ユーザは記録されている画像全体を最も把握しやすい条件の組み合わせにより検索することができる。さらに、異なる２つの検索条件を組み合わせ、２次元の検索ウィンドウを表示することで、１つの検索条件を選択するごとに表示を切り替える必要がなくなる。

また、２つの検索条件を跨いで、画像全体の分布を表示することにより、画像間の意外な関連性をユーザが意識することなく発見する可能性が増すこととなる。ユーザ操作による選択ポイントの選択については、所定時間ユーザにより選択ポイントの決定操作がされない場合には、自動的に現在フォーカスされている選択ポイントに対応付けられた画像群を表示させることで、ユーザの利便性を上げることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、セットトップボックス等の表示画面生成装置に適用することとしたが、本発明はかかる例に限定されない。例えば、画像閲覧のインタフェースをもったＷｅｂサービスや、ＰＣアプリケーション、ＣＥ機器等さまざまなシーンで利用することができる。また、表示スペースの小さい携帯情報端末や携帯電話、デジタルカメラなどのモバイル機器に利用することにより、限られたスペースでも大量の画像を一様に把握することが可能となる。また、ユーザ操作により、検索ウィンドウの大きさをアクティブに変更できるようにして、グラフのサイズやポイントの配置等を動的に演算して表示するようにしてもよい。

本発明の一実施形態にかかるセットトップボックスの構成を示すブロック図である。 同実施形態にかかる画像表示デバイスに表示される表示画面の一例を説明する説明図である。 同実施形態にかかる表示画面生成装置の主な機能構成を示すブロック図である。 同実施形態にかかる表示画面生成装置により生成される表示画面の表示例について説明する説明図である。 同実施形態にかかる表示画面生成方法の概要を示すフローチャートである。 同実施形態にかかる画像の登録処理を示すフローチャートである。 同実施形態にかかる画像のメタデータの例を示した説明図である。 同実施形態にかかるコンテンツデータファイルの内容を説明する説明図である。 同実施形態にかかる検索の実行処理を示すフローチャートである。 同実施形態にかかるメイン操作画面に表示されるメイン操作メニューを説明する説明図である。 同実施形態にかかるグラフ作成処理を詳細に説明する説明図である。 同実施形態にかかるグラフ作成処理を詳細に説明する説明図である。 同実施形態にかかる検索結果の表示処理を示すフローチャートである。

符号の説明

１ セットトップボックス
１３ 画像表示デバイス
１９ 外部記録媒体
２０ 演算制御デバイス
２１ 画像解析処理部
２２ 画像検索処理部
２３ 画像表示処理部
１０２ 選択部
１０４ 分類部
１０６ 第１表示画面生成部
１０８ 第２表示画面生成部

Claims (11)

1. 複数の画像を含む第１の表示画面を生成する第１表示画面生成部と、
   複数の画像のメタデータに基づいて、前記複数の画像を複数の画像群に分類する分類部と、
   前記分類部により分類された前記複数の画像群の各々に対応付けられている選択ポイントを含む第２の表示画面を生成する第２表示画面生成部と、
   ユーザ操作に応じて前記第２の表示画面に含まれる選択ポイントのなかから、いずれかの選択ポイントを選択する選択部と、
   を備え、
   前記第１表示画面生成部は、前記選択部により前記選択ポイントが選択される毎に、前記第１の表示画面に含まれる複数の画像を前記選択ポイントに対応づけられている前記複数の画像群の画像に変更する、表示画面生成装置。
2. 前記第１表示画面生成部により生成される前記第１の表示画面に重ねて、前記第２表示画面生成部により生成される前記第２の表示画面が前記表示装置に表示される、請求項１に記載の表示画面生成装置。
3. 前記選択ポイントは、前記複数の画像を分類する１または２以上のメタデータのうち少なくとも２のメタデータにより特定される、請求項１または２のいずれかに記載の表示画面生成装置。
4. 前記第２表示画面生成部は、
   前記複数の画像のメタデータのうち、一のメタデータを横軸とし、他のメタデータを縦軸とするグラフ上に前記複数の選択ポイントがプロットされた第２の表示画面を生成する、請求項１〜３のいずれかに記載の表示画面生成装置。
5. 前記第１表示画面生成部は、少なくとも前記選択ポイントに対応付けられた前記複数の画像群に加えて、前記選択ポイント付近の前記選択ポイントに対応付けられた前記複数の画像を表示させる、請求項１〜４のいずれかに記載の表示画面生成装置。
6. 前記複数の画像のメタデータは、前記複数の画像の撮影日、撮影時刻、解像度のいずれかである、請求項１〜５のいずれかに記載の表示画面生成装置。
7. 前記第２表示画面生成部は、前記複数の画像のメタデータの一覧を含むメタデータ選択画面を生成し、
   前記選択部は、ユーザ操作に応じて前記メタデータ選択画面に含まれる前記複数の画像のメタデータのうちから１または２以上のメタデータを選択する、請求項１〜６のいずれかに記載の表示画面生成装置。
8. 前記第２表示画面生成部は、前記選択部により選択された１または２以上のメタデータを横軸または縦軸とするグラフを含む表示画面を生成する、請求項７に記載の表示画面生成装置。
9. 前記分類部は、前記選択部により選択された１または２以上のメタデータにより、前記複数の画像を分類する、請求項７または８のいずれかに記載の表示画面生成装置。
10. 複数の画像を含む第１の表示画面を生成するステップと、
    複数の画像のメタデータに基づいて、前記複数の画像を複数の画像群に分類するステップと、
    前記分類部により分類された前記複数の画像群の各々に対応付けられている選択ポイントを含む第２の表示画面を生成するステップと、
    ユーザ操作に応じて前記第２の表示画面に含まれる選択ポイントのなかから、いずれかの選択ポイントを選択するステップと、
    を含み、
    前記選択ポイントが選択される毎に、前記第１の表示画面に含まれる複数の画像を前記選択ポイントに対応づけられている前記複数の画像群の画像に変更する、表示画面生成方法。
11. コンピュータを、
    複数の画像を含む第１の表示画面を生成する第１表示画面生成部と、
    複数の画像のメタデータに基づいて、前記複数の画像を複数の画像群に分類する分類部と、
    前記分類部により分類された前記複数の画像群の各々に対応付けられている選択ポイントを含む第２の表示画面を生成する第２表示画面生成部と、
    ユーザ操作に応じて前記第２の表示画面に含まれる選択ポイントのなかから、いずれかの選択ポイントを選択する選択部と、
    を備え、
    前記第１表示画面生成部は、前記選択部により前記選択ポイントが選択される毎に、前記第１の表示画面に含まれる複数の画像を前記選択ポイントに対応づけられている前記複数の画像群の画像に変更する、表示画面生成装置として機能させるための、プログラム。
    
    

Images