JP4433327B2 - 情報処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、メタデータに基づいてコンテンツを分類し、ユーザが興味を有する可能性が高い分類を優先的に表示させるようにすることができるようにした情報処理装置および方法、並びにプログラムに関する。

従来、HDD（Hard Disk Drive）レコーダやパーソナルコンピュータなどの機器において、コンテンツに付加されたメタデータを利用してコンテンツの検索を行うことができる。しかしこの場合、ユーザが、能動的にどのメタデータで検索したいかを、機器に対して働きかける必要がある。また、検索された結果が表示されたリストの中から、ユーザが、最終的に１つのコンテンツを選択しなければならない。

銀塩カメラで撮影された写真をアルバムに保存する場合、例えば、イベント毎、撮影された場所毎、日付毎にアルバムを分けたり、ページを分けたりして写真を保存することができる。さらに、撮影された写真に関連した、レシート、パンフレットやチケット等もあわせて保存することができる。これにより、年月が経ってから写真を探すときに、分類されたアルバムやページから、日付やイベント名をキーに容易にさかのぼることができる。

また、写真撮影されたフィルム画像を電子画像に変換し、これに撮影日や場所等の付加情報を付加して電子データとして保存管理し、画像が記録された写真フィルムを電子データと関連付けて保管するようにしたものもある（例えば、特許文献１参照）。

特開平１０−１４３６３１号公報

しかしながら、HDDレコーダやパーソナルコンピュータにおいて、写真や動画などのコンテンツを、銀塩カメラで撮影された写真のアルバムのように、レシート、パンフレットやチケット等に関連させて保存することはできない。

また、上述したように、ユーザが、コンテンツを参照したい場合、ユーザは、能動的にどのメタデータで検索したいかを、機器に対して働きかける必要がある。また、検索された結果がリスト表示されたとしても、ユーザは、複数の検索結果の中から、最終的に１つのコンテンツを選択する必要があるが、検索結果が少ない場合、ユーザは、他のコンテンツを視聴する機会を失ってしまうかもしれないし、検索結果が多い場合、ユーザは、その中から１つを選択するのが困難と感じるかもしれない。

本発明は、このような状況に鑑みてなされたものであり、メタデータに基づいてコンテンツを分類し、ユーザが興味を有する可能性が高い分類を自動的に優先的に表示させるようにすることができるようにするものである。

本発明の一側面の情報処理装置は、１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置であって、前記画像の画像データを記憶する画像データ記憶手段と、前記グループの属性情報を記憶するグループ属性情報記憶手段と、コンテンツデータを記録再生する記録再生手段と、前記コンテンツデータに付随する関連情報を取得する関連情報取得手段と、前記画像を前記グループごとに表示する処理を制御する表示制御手段と、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたとき、それ以前の所定の期間に前記記録再生手段により記録または再生された前記コンテンツデータに関連する前記関連情報に含まれる情報から検索キーを抽出する検索キー抽出手段と、前記グループ属性情報記憶手段により記憶されている前記グループ属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索する検索手段とを備え、前記表示制御手段は、前記検索手段により検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御する。

年月日時を計時する計時手段を更に備えさせるようにすることができ、前記検索キー抽出手段には、さらに、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたときに前記計時手段により計時される年月日時の少なくともいずれかを検索キーとして抽出させるようにすることができる。

ネットワークを介して外部からテキストデータを取得する取得手段を更に備えさせるようにすることができ、前記取得手段には、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたときに外部から前記テキストデータを取得させるようにすることができ、前記検索キー抽出手段には、さらに、前記取得手段により取得された前記テキストデータを検索キーとして抽出させるようにすることができる。

EPGを取得するEPG取得手段を更に備えさせるようにすることができ、前記検索キー抽出手段には、さらに、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたとき、それ以前の所定の期間に前記EPG取得手段により取得された前記EPGに含まれる情報から検索キーを抽出させるようにすることができる。

前記検索手段には、さらに、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索させるようにすることができる。

前記画像データ記憶手段には、前記画像の属性情報を更に記憶させるようにすることができ、前記検索手段には、さらに、前記画像データ記憶手段により記憶されている前記画像の前記属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記画像を検索し、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、検索された前記画像を含む前記グループを検索させるようにすることができる。

本発明の一側面の情報処理方法は、１以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置の情報処理方法であって、前記画像の画像データを記憶し、前記グループの属性情報を記憶し、記録再生手段で記録または再生されたコンテンツデータに付随する関連情報を取得し、前記画像を前記グループごとに表示する処理の開始が指令されたとき、それ以前の所定の期間に前記記録再生手段により記録または再生された前記コンテンツデータに関連する前記関連情報に含まれる情報から検索キーを抽出し、記憶されている前記グループ属性情報を用いて、抽出された前記検索キーに関連する前記グループを検索し、検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御するステップを含む。

本発明の一側面のプログラムは、画像データを記憶する第１の記憶部と、前記画像データに対応する画像をグループごとに分類した場合の前記グループの属性情報を記憶する第２の記憶部とを用い、１以上の前記画像を含むようにグループ分けされた前記画像を前記グループごとに表示する処理をコンピュータに実行させるプログラムであって、記録再生手段で記録または再生されたコンテンツデータに付随する関連情報を取得し、前記画像を前記グループごとに表示する処理の開始が指令されたとき、それ以前の所定の期間に前記記録再生手段により記録または再生された前記コンテンツデータに関連する前記関連情報に含まれる情報から検索キーを抽出し、第２の記憶部に記憶されている前記グループ属性情報を用いて、抽出された前記検索キーに関連する前記グループを検索し、検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御するステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、画像の画像データが記憶され、グループの属性情報が記憶され、記録再生手段で記録または再生されたコンテンツデータに付随する関連情報が取得され、画像をグループごとに表示する処理の開始が指令されたとき、それ以前の所定の期間に記録再生手段により記録または再生されたコンテンツデータに関連する関連情報に含まれる情報から検索キーが抽出され、記憶されているグループ属性情報を用いて、抽出された検索キーに関連するグループが検索され、検索された検索キーに関連するグループが表示順で先頭側になるようにして、グループの一覧が表示される。

ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。

また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。

情報処理装置は、独立した装置であっても良いし、ＨＤＤレコーダ等の記録再生装置の情報処理を行うブロックであっても良い。

以上のように、本発明の一側面によれば、グループの一覧を表示することができ、とくに、アプリケーションの起動時などに、そのときの状況に基づいて、ユーザが好むと推測されるグループを優先的に一覧に表示することができる。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明の一実施の形態であるHDDレコーダの構成の例を示すブロック図である。

図１のHDDレコーダ１は、図示せぬ外部装置から供給されるAV（Audio Video）信号、または図示せぬアナログチューナ若しくは図示せぬラインチューナから供給されるアナログ信号として入力される映像信号および音声信号を記録または再生する。HDDレコーダ１は、再生された映像信号を、外部に接続されているモニタ２に出力する。また、HDDレコーダ１は、再生された音声信号を、外部に接続されているスピーカ３に出力する。

AV信号を供給する外部装置は、例えば、i.LINK（商標）を介して接続される外部装置、デジタルBS（Broadcasting Satellite）チューナもしくはデジタルCS（Communications Satellite）チューナ、デジタルビデオカメラ、デジタルスチルカメラ、またはスキャナなどである。

HDDレコーダ１には、必要に応じてドライブ４が接続される。ドライブ４には、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどのリムーバブルメディア５が必要に応じて装着され、データの授受を行うようになされている。

図１のHDDレコーダ１は、コーデック１１、サンプリングレートコンバータ１２、アナログ入力処理部１３、A/Dコンバータ１４、切換部１５、NTSC（National Television System Committee）デコーダ１６、エンコーダ１７、記録再生部１８、操作部１９、制御部２０、デコーダ２１、NTSCエンコーダ２２、D/Aコンバータ２３、および、ネットワークインタフェース２４から構成される。

コーデック１１は、図示せぬ外部装置から供給されるAV信号のうち、デジタルビデオ信号の圧縮を伸張し、NTSCデコーダ１６に供給する。

サンプリングレートコンバータ１２は、図示せぬ外部装置から供給されるAV信号のうち、デジタルオーディオ信号のサンプリングレートを異なるサンプリングレートに変換する。サンプリングレートコンバータ１２は、変換されたデジタルオーディオ信号を切換部１５に供給する。

アナログ入力処理部１３は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、図示せぬアナログチューナ、または図示せぬラインチューナから供給されるアナログ信号のうちの一方を選択する。アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログビデオ信号をNTSCデコーダ１６に供給する。また、アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログオーディオ信号をA/Dコンバータ１４に供給する。

A/Dコンバータ１４は、アナログ入力処理部１３から供給されたアナログオーディオ信号をA/D変換する。A/Dコンバータ１４は、A/D変換された結果であるデジタルオーディオ信号を切換部１５に供給する。

切換部１５は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、サンプリングレートコンバータ１２から供給されたデジタルオーディオ信号、またはA/Dコンバータ１４から供給されたデジタルオーディオ信号のうちの一方を選択する。切換部１５は、選択されたデジタルオーディオ信号をNTSCデコーダ１６に供給する。

NTSCデコーダ１６は、コーデック１１より供給されたデジタルビデオ信号、またはアナログ入力処理部１３より入力されたアナログビデオ信号を、NTSC方式のデジタルビデオ信号に変換する。NTSCデコーダ１６は、変換されたNTSC方式のデジタルビデオ信号と、切換部１５から供給されたデジタルオーディオ信号とを合成する。

HDDレコーダ１に入力される映像信号および音声信号を記録する場合は、NTSCデコーダ１６は、合成された信号であるデジタルAV信号を、エンコーダ１７に供給する。一方、HDDレコーダ１に入力される映像信号および音声信号を記録せずそのまま再生する場合は、NTSCデコーダ１６は、合成された信号であるデジタルAV信号を、後述するNTSCエンコーダ２２およびD/Aコンバータ２３に供給する。

エンコーダ１７は、NTSCデコーダ１６より供給されたデジタルAV信号に対して、例えば、MPEG（Moving Picture Experts Group）方式などの所定の方式に従ったエンコード処理を施す。エンコーダ１７は、エンコード処理の結果である圧縮符号化された信号データを記録再生部１８に供給する。

記録再生部１８は、例えば、ハードディスクまたは光ディスクなどで構成される。記録再生部１８は、エンコーダ１７から供給された信号データを記録する。また、記録再生部１８は、記録された信号データをデコーダ２１に供給する。即ち、記録再生部１８は、記録された信号データを再生する。

操作部１９は、例えば、各種の操作ボタン、キー、またはタッチパネルなどからなる。ユーザは、HDDレコーダ１に対する指示を入力するために操作部１９を操作する。操作部１９は、ユーザの操作に応じて、ユーザの操作を示す信号を制御部２０に供給する。

制御部２０は、例えば、マイクロプロセッサなどからなり、操作部１９から供給されるユーザの操作を示す信号に基づいて、HDDレコーダ１全体を制御する。

デコーダ２１は、記録再生部１８から供給された信号データに対して、例えば、MPEG（Moving Picture Experts Group）方式など、上述した方式に対応する方式に従ったデコード処理を施す。デコーダ２１は、処理の結果である伸張復号化されたデジタルAV信号のうちのデジタルビデオ信号をNTSCエンコーダ２２に供給する。また、デコーダ２１は、処理の結果である伸張復号化されたデジタルAV信号のうちのデジタルオーディオ信号をD/Aコンバータ２３に供給する。

NTSCエンコーダ２２は、デコーダ２１から供給されたデジタルビデオ信号をNTSC方式のビデオ信号に変換する。NTSCエンコーダ２２は、変換されたビデオ信号をモニタ２に供給する。

D/Aコンバータ２３は、デコーダ２１から供給されたデジタルオーディオ信号をD/A変換する。D/Aコンバータ２３は、変換された結果であるオーディオ信号をスピーカ３に供給する。

ネットワークインタフェース２４は、インターネット、または、LANなどのネットワークと接続されており、外部の機器やサーバなどと、情報の授受を行う。

このような構成により、HDDレコーダ１は入力された映像信号および音声信号を記録、または再生することができる。

図２は、図１のHDDレコーダ１の記録再生部１８および制御部２０の構成の例を示すブロック図である。

記録再生部１８は、画像データベース３１、テンプレートデータベース３２、コンテンツデータベース３３、および辞書データベース３４から構成される。以下、画像データベース３１を画像DB３１と称し、テンプレートデータベース３２をテンプレートDB３２と称し、コンテンツデータベース３３をコンテンツDB３３と称し、辞書データベース３４を辞書DB３４と称することとする。

画像DB３１は、図１のエンコーダ１７から供給された画像のデータである画像データと、画像の属性を示すメタデータを対応づけて記憶する。

テンプレートDB３２は、コンテンツDB３３に記録されるコンテンツであるスクラップブックを表示する場合の、スクラップブックに配置される画像の背景となる背景画像のデータである背景テンプレートおよびスクラップブックにおける画像の配置を設定する情報である配置テンプレートと、背景テンプレートまたは配置テンプレートの属性を示すメタデータとを対応づけて記録する。

コンテンツDB３３は、メタデータに基づいてグループに分けられた画像が、グループ毎に配置されてなるコンテンツであるスクラップブックのデータを記録するとともに、スクラップブックのメタデータを対応つけて記憶する。なお、コンテンツの詳細は後述する。

辞書DB３４は、例えば、国語辞典、英和辞典、和英辞典、類語辞典などの各種の辞典のデータを単語として記録する。

制御部２０は、操作入力取得部５１、記録再生制御部５２、表示制御部５３、特徴抽出部５４、画像判定部５５、メタデータ付加部５６、メタデータ抽出部５７、コンテンツ作成部５８、共通メタデータ数判定部５９、類義語取得部６０、および情報取得部６１から構成される。

操作入力取得部５１は、操作部１９から供給される、ユーザの操作を示す信号に基づいて、ユーザにより操作される内容を示す情報を記録再生制御部５２に供給する。

具体的には、例えば、操作入力取得部５１は、操作部１９から供給される、モニタ２に表示される画像、背景テンプレート、またはスクラップブックを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される画像、背景テンプレート、またはコンテンツを示す情報を記録再生制御部５２に供給する。

また、操作入力取得部５１は、操作部１９から供給される、画像が保存されている所定のフォルダを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される所定のフォルダを示す情報を記録再生制御部５２に供給する。

また、操作入力取得部５１は、操作部１９から供給される、ユーザの操作を示す信号に基づいて、記録再生制御部５２に読み出される画像の画像データから所定の画像データを選択する。

また、操作入力取得部５１は、操作部１９から供給される、同じメタデータを付加した画像の数を判定する閾値を設定するユーザの操作を示す信号に基づいて、ユーザにより設定される閾値を示す情報を共通メタデータ数判定部５９に供給する。

記録再生制御部５２は、記録再生部１８が行う記録、または再生を制御する。また、記録再生制御部５２は、記録再生部１８から画像データ、背景テンプレート、配置テンプレート、またはスクラップブックのデータを読み出す。

記録再生制御部５２は、操作入力取得部５１から供給される、ユーザにより選択される所定のフォルダを示す情報に基づいて、所定のフォルダに保存されている画像データを読み出す。

記録再生制御部５２は、読み出された画像データを特徴抽出部５４に供給する。また、記録再生制御部５２は、新たに読み出され、メタデータ付加部５６から供給されるメタデータが付加された画像データを記録再生部１８に記録させる。

また、記録再生制御部５２は、読み出された画像データ、背景テンプレート、配置テンプレート、またはスクラップブックのデータを、コンテンツ作成部５８に供給する。

表示制御部５３は、記録再生制御部５２により読み出された画像データ、背景テンプレート、配置テンプレート、またはスクラップブックのデータを基に、デコーダ２１のデコード処理を制御する。

特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像の特徴を抽出する。具体的には、特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像のエッジおよび平坦部の特徴を抽出したり、また、顔認識処理を行うための特徴点および特徴量を抽出する。顔認識処理を行うための特徴点および特徴量の抽出と、顔認識処理の方法は、いかなる方法を用いても良い。また、特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像に含まれる文字列の領域を抽出する。

さらに、特徴抽出部５４は、文字認識部７１を有する。文字認識部７１は、抽出された文字列の領域の文字を認識する。

特徴抽出部５４は、抽出された画像のエッジおよび平坦部の特徴の量を表す特徴量、並びに、認識された文字列の文字を、画像判定部５５に供給する。

画像判定部５５は、特徴抽出部５４から供給される、画像のエッジおよび平坦部の特徴の量を表す特徴量、並びに、認識された文字列の文字に基づいて、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定する。画像判定部５５は、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、認識された文字列の文字に基づいて、文字列データを取得する。

また、画像判定部５５は、特徴抽出部５４から供給される、特徴点および特徴量に基づいて、顔認識処理を実行する。

画像判定部５５は、取得された文字列データ、および、顔認識処理結果を、メタデータ付加部５６に供給する。

メタデータ付加部５６は、画像判定部５５から供給される文字列データであるメタデータを記録再生制御部５２に供給する。具体的には、メタデータ付加部５６は、画像判定部５５から供給される文字列データをメタデータとして、記録再生制御部５２に新たに読み出された画像データに付加する。

メタデータ抽出部５７は、記録再生制御部５２に読み出される画像データに付加されているメタデータを抽出する。メタデータ抽出部５７は、抽出されたメタデータをコンテンツ作成部５８に供給する。

また、メタデータ抽出部５７は、抽出されたメタデータのうち、共通するメタデータが存在するか否かを判定する。メタデータ抽出部５７は、共通するメタデータが存在すると判定された場合、共通するメタデータの数、即ち、同じメタデータを付加した画像の数を算出し、共通メタデータ数判定部５９に供給する。メタデータ抽出部５７は、共通するメタデータをコンテンツ作成部５８に供給する。

コンテンツ作成部５８は、メタデータ抽出部５７から供給されるメタデータ、または後述する類義語取得部６０から供給される類義語に基づいて、記録再生制御部５２に読み出された画像であって、メタデータまたは類義語でグループに分けられた複数の画像が、グループ毎に配置されてなるコンテンツであるスクラップブックを作成する。コンテンツ作成部５８は、演算部７２、およびテンプレート設定部７３から構成される。

演算部７２は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に基づいて、メタデータまたは類義語で複数の画像をグループに分ける。演算部７２は、クラスタリング部９１、および階層決定部９２から構成される。

クラスタリング部９１は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に基づいて，画像のクラスタリングを行う。

階層決定部９２は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に基づいて、クラスタリング部９１のクラスタリング結果であるクラスタの階層を決定する。

ここで、図３および図４を参照して、演算部７２がメタデータに基づいて複数の画像をグループに分ける処理について説明する。

図３は、画像のグループ（クラスタ）の例を示す図である。

図３において、画像ｐ1乃至ｐ25は、記録再生部１８の画像DB３１に記録されている画像を示す。図３の１つの四角形は１枚の画像を表す。また、画像ｐ1乃至ｐ25には、それぞれメタデータが付加されている。

図３の例においては、画像ｐ1乃至ｐ12には、イベントを表すメタデータとして「結婚式」が付加されている。画像ｐ13乃至ｐ19には、イベントを表すメタデータとして「お花見」が付加されている。画像ｐ20乃至ｐ25には、イベントを表すメタデータとして「社員旅行」が付加されている。

クラスタリング部９１は、画像ｐ1乃至ｐ25に付加されているイベントを表すメタデータに基づいて、画像のクラスタリングを行う。

具体的には、図３に示すように、クラスタリング部９１は、画像ｐ1乃至ｐ12からなるクラスタ、画像ｐ13乃至ｐ19からなるクラスタ、および画像ｐ20乃至ｐ25からなるクラスタを生成する。

図４は、図３の画像のグループ（クラスタ）を、さらにクラスタリングした例を示す図である。

画像ｐ1乃至ｐ25は、イベントを表すメタデータである「結婚式」、「お花見」、または「社員旅行」の他にもメタデータを有する。具体的には、画像ｐ1乃至ｐ25は、「教会での結婚式」、「披露宴」、「二次会」、「桜」、「宴会」、「犬」、または「温泉」のいずれかのメタデータを有する。

クラスタリング部９１は、画像ｐ1乃至ｐ25に付加されているイベントを表すメタデータに基づいて、画像のクラスタリングを行う。階層決定部９２は、イベントを表すメタデータである「結婚式」、「お花見」、または「社員旅行」、およびイベントの中の下位のイベントであるサブイベントのメタデータである「教会での結婚式」、「披露宴」、「二次会」、「桜」、「宴会」、「犬」、または「温泉」に基づいて、クラスタリング部９１のクラスタリング結果であるクラスタの階層を決定する。

具体的には、図４に示すように、クラスタリング部９１および階層決定部９２は、画像ｐ1乃至ｐ3からなるクラスタ、画像ｐ4乃至ｐ7からなるクラスタ、画像ｐ8乃至ｐ12からなるクラスタ、画像ｐ13およびｐ14からなるクラスタ、画像ｐ15乃至ｐ17からなるクラスタ、画像ｐ18およびｐ19からなるクラスタ、画像ｐ20乃至ｐ22からなるクラスタ、並びに画像ｐ23乃至ｐ25からなるクラスタを生成する。

このように生成されたクラスタによって、作成されるスクラップブックのページが構成される。

図２に戻り、テンプレート設定部７３は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に応じて、記録再生部１８より、記録再生制御部５２に背景テンプレートおよび配置テンプレートを読み出させる。テンプレート設定部７３は、読み出された背景テンプレートおよび配置テンプレートを生成されたクラスタに設定する。

コンテンツ作成部５８は、メタデータまたは類義語でグループに分けられた複数の画像が、グループ毎に配置され、背景テンプレートおよび配置テンプレートが設定されたスクラップブックを、記録再生制御部５２を介して記録再生部１８のコンテンツDB３３に記録させる。

共通メタデータ数判定部５９は、メタデータ抽出部５７から供給される、同じメタデータを付加した画像の数が、操作入力取得部５１より取得した所定の閾値以上であるか否かを判定する。共通メタデータ数判定部５９は、同じメタデータを付加した画像の数が、所定の閾値以上であると判定された場合、コンテンツ作成部５８に、同じメタデータを付加した画像の数が、所定の閾値以上であることを示す情報を供給する。

類義語取得部６０は、メタデータが付加されている画像毎に、メタデータの類義語を取得する。具体的には、記録再生制御部５２に読み出される画像データに付加されているメタデータの類義語を、記録再生部１８の辞書DB３４から取得する。類義語取得部６０は、取得した類義語をコンテンツ作成部５８に供給する。

情報取得部６１は、電源投入時、または、アプリケーションの起動時に、内部に有するタイマから、時刻情報を取得したり、ネットワークインタフェース２４を介して、例えば、インターネット上の検索エンジンの検索キーワードのトップランキングや、いわゆるポータルサイトのトップページの記述内容から、現在流行していると思われるキーワードを抽出して取得する。

また、情報取得部６１は、HDDレコーダ１がユーザログイン機能を有し、あらかじめユーザ情報が登録可能になされている場合、ログインしたユーザの登録情報から、ユーザの嗜好に合致すると思われるキーワードを抽出して取得することもできる。

さらに、情報取得部６１は、HDDレコーダ１が、図示せぬ外部装置から供給されるAV（Audio Video）信号、または図示せぬアナログチューナ若しくは図示せぬラインチューナから供給されるアナログ信号とともに、EPG(Electronic Program Guide)を取得することが可能なようになされている場合、例えば、１週間や１ヶ月などの所定期間に取得したEPGに含まれるキーワードに基づいて、現在流行していると思われるキーワードを抽出して取得することができる。さらに、情報取得部６１は、HDDレコーダ１が、例えば、１週間や１ヶ月などの所定期間に記録再生した番組データのEPGに含まれるキーワードに基づいて、ユーザの嗜好に合致すると思われるキーワードを抽出して取得することもできる。

次に、HDDレコーダ１におけるメタデータの付加処理について説明する。

HDDレコーダ１の制御部２０は、例えば、記録再生部１８の所定のフォルダ内に画像が記録されると処理を開始する。

図５は、HDDレコーダ１におけるメタデータの付加処理の例を示すフローチャートである。

ステップＳ１１において、記録再生制御部５２は、記録再生部１８の所定のフォルダ内に記録された画像の画像データを読み出す。操作入力取得部５１は、記録再生制御部５２に読み出された画像データから所定の画像データを選択する。記録再生制御部５２は、選択された画像データを特徴抽出部５４に供給する。

ステップＳ１２において、特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像のエッジおよび平坦部の特徴を抽出する。なお、特徴抽出部５４は、画像データの画像における模様のくり返しの特徴を抽出したり、画像のダイナミックレンジやアクティビティなどの特徴を抽出したりするようにできる。即ち、特徴抽出部５４は、画像が、証紙、証書、券、または帖の画像である場合と、人物または風景の画像である場合とを区別する場合に用いることができる画像の特徴を抽出する。

ステップＳ１３において、特徴抽出部５４は、記録再生制御部５２から供給される画像データの画像に含まれる文字列の領域を抽出する。例えば、特徴抽出部５４は、ステップＳ１２において検出されたエッジの位置、検出されたエッジに囲まれる領域のトポロジーなどを基に、文字列の領域を抽出する。

ステップＳ１４において、特徴抽出部５４の文字認識部７１は、抽出された領域の画像に含まれる文字列の文字を認識する。特徴抽出部５４は、抽出された画像のエッジおよび平坦部などの特徴の量を表す特徴量、並びに、認識された文字列の文字を、画像判定部５５に供給する。

ステップＳ１５において、画像判定部５５は、特徴抽出部５４から供給される、画像のエッジおよび平坦部などの特徴の量を表す特徴量、並びに、認識された文字列の文字に基づいて、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であるか否かを判定する。即ち、画像判定部５５は、選択された画像が、証紙、証書、券、または帖の画像であるか、人物または風景の画像であるかを判定する。例えば、画像判定部５５は、画像にほぼ同じ大きさの文字が２０文字以上含まれている場合、画像にほぼ同じ大きさの文字が１０文字以上含まれ、かつ、文字におけるエッジが画像のエッジ全体の８０％以上を占め、かつ、平坦部が画像の６０％以上を占める場合など、証書、証紙、券、または帖の面の画像であると判定する。

ステップＳ１５において、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、処理はステップＳ１６に進む。

ステップＳ１６において、画像判定部５５は、認識された文字列に基づいて、文字列データを取得する。画像判定部５５は、取得された文字列データを、メタデータ付加部５６に供給する。

ステップＳ１７において、操作入力取得部５１は、記録再生制御部５２に読み出された画像データから他の画像データを選択する。

ステップＳ１８において、メタデータ付加部５６は、画像判定部５５から供給される文字列データであるメタデータを記録再生制御部５２に供給する。具体的には、画像判定部５５から供給される文字列データをメタデータとして、記録再生制御部５２に読み出されている、操作入力取得部５１により新たに選択された他の画像の画像データに付加し、処理は終了する。

一方、ステップＳ１５において、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像でないと判定された場合、処理は終了する。

なお、ステップＳ１１に戻り、読み出された画像から次の画像を選択し、読み出した画像の全てについて、順に上述した処理を適用するようにしてもよい。

このように、HDDレコーダ１は、証書、証紙、券、または帖の面の画像の文字列の文字列データをメタデータとして、他の画像に付加することができる。

次に、HDDレコーダ１におけるスクラップブックの作成処理について説明する。

HDDレコーダ１の制御部２０は、例えば、操作部１９が操作され、制御部２０がスクラップブックの作成処理の指示を取得すると処理を開始する。

図６および図７は、HDDレコーダ１におけるスクラップブックの作成処理の例を示すフローチャートである。

ステップＳ３１において、操作入力取得部５１は、操作部１９から供給される、画像が保存されている所定のフォルダを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される所定のフォルダを示す情報を記録再生制御部５２に供給する。記録再生制御部５２は、操作入力取得部５１から供給される、ユーザにより選択される所定のフォルダを示す情報に基づいて、所定のフォルダに保存されている画像データを読み出す。記録再生制御部５２は、読み出された画像データを、メタデータ抽出部５７およびコンテンツ作成部５８に供給する。

ステップＳ３２において、コンテンツ作成部５８は、スクラップブックを自動で作成するか否かを判定する。具体的には、コンテンツ作成部５８は、操作部１９から供給される、スクラップブックを自動で作成するか否かを選択するユーザの操作、例えば、自動作成ボタンのクリックを示す信号に基づいて、スクラップブックを自動で作成するか否かを判定する。

ステップＳ３２において、スクラップブックを自動で作成すると判定された場合、処理はステップＳ３３に進む。

ステップＳ３３において、メタデータ抽出部５７は、記録再生制御部５２に読み出された所定のフォルダに保存されている画像データに付加されているメタデータを抽出する。メタデータ抽出部５７は、抽出されたメタデータをコンテンツ作成部５８に供給する。

ステップＳ３４において、コンテンツ作成部５８の演算部７２は、抽出されたメタデータに基づいて、イベント毎に画像をクラスタリングする。即ち、クラスタリング部９１は、所定のフォルダに保存されている画像データに付加されている、イベントを表すメタデータに基づいて、画像をグループに分ける。

ステップＳ３５において、コンテンツ作成部５８のテンプレート設定部７３は、クラスタリングされた、それぞれのイベントに対応するメタデータが付加されている背景テンプレートを読み出す。即ち、テンプレート設定部７３は、メタデータ抽出部５７から供給されるメタデータに応じて、記録再生部１８より、記録再生制御部５２に背景テンプレートを読み出させる。

ステップＳ３６において、テンプレート設定部７３は、クラスタリングされたイベントクラスタに対して、読み出された背景テンプレート、即ち、イベント毎に対応するメタデータが付加されている背景テンプレートを設定する。

図８は、背景テンプレートの構成の例を示す図である。図８に示される１１１−１乃至１１１−３の背景テンプレートは、それぞれメタデータを有する。テンプレート設定部７３は、イベント毎のクラスタであるイベントクラスタを生成する画像データに付加されているメタデータに対応するメタデータを有する背景テンプレートを設定する。

ステップＳ３７において、演算部７２は、各イベントの画像に付加されているメタデータに基づいて、サブイベント毎に画像をクラスタリングする。即ち、演算部７２は、メタデータに基づいて、サブイベント毎に画像をグループ分けし、サブイベント毎のページに画像を分ける。

ステップＳ３８において、テンプレート設定部７３は、それぞれのサブイベントにクラスタリングされた画像の数に応じて、ページ毎の配置テンプレートを読み出す。

ステップＳ３９において、テンプレート設定部７３は、各ページに対して、読み出されたページ毎の配置テンプレートを設定する。

図９は、配置テンプレートの構成の例を示す図である。図９に示される１３１−１乃至１３１−３の配置テンプレートは、それぞれメタデータを有する。テンプレート設定部７３は、サブイベント毎のクラスタであるサブイベントクラスタを生成する画像データに付加されているメタデータ、およびサブイベントの各ページにおける画像の数に対応する配置テンプレートを設定する。

図１０は、作成されるスクラップブックの所定のページの構成の例を示す図である。

図１０の例において、ページ１５１には、背景テンプレート１１１および配置テンプレート１３１が設定されている。背景テンプレート１１１は、例えば、ページ１５１に配置されている４枚の画像のメタデータと同じメタデータを有する。また、配置テンプレート１３１によって、例えば、４枚の画像の配置が決定される。また、ページ１５１には、「○△□×２００５」のコメントが表示されている。ユーザは、操作部１９を操作することによって、ページ１５１の任意の位置に、任意のコメントを設定することができる。

ステップＳ４０において、コンテンツ作成部５８は、スクラップブックのメタデータを生成する。

図１２は、スクラップブックに付与されるメタデータの一例を示す図であり、図１３は、画像に付与されるメタデータの一例を示す図である。

スクラップブックに付与されるメタデータの項目は、あらかじめ決まっているのとしても良く、項目別に、自動的に決定されるものと、スクラップブック内の画像のメタデータから自動的に取得されるものと、ユーザの入力に基づいて決められるものとがそれぞれ存在していても良い。例えば、ＩＤは、スクラップブックの生成順に自動的に決定され、タイトルは、ユーザ入力に基づいて決められても文字認識により自動的に決定されても良く、ページ数は、クラスタリングの結果自動的に決定され、期間および保有写真ＩＤは、スクラップブック内の画像のメタデータから自動的に取得される。スクラップブックのメタデータが文字認識により自動的に付与される処理については、図２０のフローチャートを参照して後述する。

そして、画像に付与されるメタデータは、ＩＤ、撮影日時、コメント、焦点距離などの撮像時の情報、および、顔認識データなどで構成されている。コメントは、ユーザにより入力されたものであっても、図５を用いて上述した処理により画像に含まれる文字列が認識されて取得されたものであっても良い。

ステップＳ４１において、コンテンツ作成部５８は、スクラップブックのメタデータと画像のメタデータを更新するか否かを判断する。

ステップＳ４１において、スクラップブックのメタデータと画像のメタデータを更新すると判断された場合、ステップＳ４２において、図１４を用いて後述するメタデータ更新処理が実行される。

ステップＳ４１において、スクラップブックのメタデータと画像のメタデータを更新しないと判断された場合、または、ステップＳ４２の処理の終了後、ステップＳ４３において、コンテンツ作成部５８は、メタデータに基づいてグループに分けられた複数の画像が、グループ毎に配置され、背景テンプレートおよび配置テンプレートが設定されたスクラップブックを、記録再生制御部５２を介して記録再生部１８のコンテンツDB３３に供給し記録させ、処理は終了する。

図１１は、作成されるスクラップブックの構成の例を示す図である。

図１１の例において、スクラップブック１７１は、ページ１５１乃至ページ１５５の５ページで構成される。スクラップブック１７１のページ１５１乃至ページ１５５に配置されている画像は全て、同じイベントを表すメタデータを有する。スクラップブック１７１には、そのメタデータに対応する背景テンプレート１１１が設定される。ページ１５１は、スクラップブック１７１の表紙となる。ページ１５２乃至ページ１５５には、ページ１５１と同様に、それぞれ配置テンプレート１３１によって決定される所定の数の画像が配置される。

また、ページ１５１乃至ページ１５５のいずれかには、証書、証紙、券、または帖の面の画像を配置するようにしてもよい。

一方、ステップＳ３２において、スクラップブックを自動で作成しないと判定された場合、処理はステップＳ４４に進む。ステップＳ４４乃至ステップＳ４９において、手動でスクラップブックが作成される。

ステップＳ４４において、操作入力取得部５１は、操作部１９から供給される、読み出された所定のフォルダ内から画像を選択するユーザの操作を示す信号に基づいて、ユーザにより選択される所定のフォルダ内の画像を示す情報を記録再生制御部５２に供給する。記録再生制御部５２は、操作入力取得部５１から供給される、ユーザにより選択される画像を示す情報に基づいて、所定のフォルダに保存され、ユーザにより選択された画像データを読み出す。記録再生制御部５２は、選択された画像データをコンテンツ作成部５８に供給する。

ステップＳ４５において、コンテンツ作成部５８の演算部７２は、ステップＳ４４において選択された画像データを、１つのクラスタにグループ化する。

ステップＳ４６において、操作入力取得部５１は、操作部１９から供給される、背景テンプレートを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される背景テンプレートを示す情報を記録再生制御部５２に供給する。

ステップＳ４７において、記録再生制御部５２は、操作入力取得部５１から供給される、ユーザにより選択される背景テンプレートを示す情報に基づいて、記録再生部１８から、背景テンプレートを読み出す。

ステップＳ４８において、テンプレート設定部７３は、記録再生制御部５２から、選択された背景テンプレートを取得する。テンプレート設定部７３は、画像がグループ化されたクラスタに対して、記録再生制御部５２により取得した背景テンプレートを設定する。

ステップＳ４９において、演算部７２は、グループの画像に付加されているメタデータに基づいて、サブイベント毎に画像をクラスタリングし、サブイベント毎のページに画像を分けて処理はステップＳ３８に進む。

このようにして、HDDレコーダ１は、メタデータに基づいてグループに分けられた複数の画像が、グループ毎に配置されてなるスクラップブックを作成することができる。

なお、スクラップブックは、画像データから生成される新たな画像データの組み合わせとしてもよく、また、画像データを参照し、画像の表示位置を指定するデータである編集データとしてもよい。

さらに、スクラップブックは、複数の他のスクラップブックとリンクさせるようにしてもよい。具体的には、例えば、それぞれのスクラップブックに配置されている画像に付加されている所定のメタデータを関連づけることによって、スクラップブック同士をリンクさせることができる。また、例えば、同じ画像が配置されているスクラップブック同士をリンクさせるようにしてもよい。

次に、図１４のフローチャートを参照して、図７のステップＳ４２において実行されるメタデータ更新処理について説明する。

ステップＳ５１において、コンテンツ作成部５８は、スクラップブックに含まれる画像のメタデータを全て抽出する。

ステップＳ５２において、コンテンツ作成部５８は、抽出された全ての画像のメタデータを、項目ごとに、内容の重複がないように、スクラップブックのメタデータに反映させる。

例えば、図１２を用いて説明したようなスクラップブックのメタデータには、図１３を用いて説明したような画像のメタデータの内容のすべてが含まれているわけではない。そこで、コンテンツ作成部５８は、スクラップブックに含まれる画像のメタデータを全て抽出し、項目ごとに、全ての画像のメタデータを、内容の重複がないように、スクラップブックのメタデータに反映させる。ステップＳ５１の処理により、例えば、図１５に示されるように、スクラップブックに含まれる画像にメタデータとして付与されている複数のコメントや顔認識データなどが含まれるメタデータが、スクラップブックのメタデータとして生成される。

ステップＳ５３において、コンテンツ作成部５８は、それぞれの画像のメタデータに、スクラップブックのメタデータの内容の一部を反映させる。

すなわち、コンテンツ作成部５８は、例えば、スクラップブックのタイトルなど、スクラップブックのメタデータの内容の一部をそれぞれの画像のメタデータに追加する。

ステップＳ５４において、コンテンツ作成部５８は、それぞれの画像のメタデータに、スクラップブックの該当ページ数の情報を追加し、処理が終了される。

すなわち、コンテンツ作成部５８は、それぞれの画像が、スクラップブックの何ページ目であるかを示す情報を抽出し、それぞれの画像のメタデータに、スクラップブックの該当ページ数の情報を追加する。

このような処理により、画像のメタデータは、例えば、図１６に示されるように更新される。

次に、HDDレコーダ１におけるスクラップブックの自動生成処理について説明する。

HDDレコーダ１の制御部２０は、例えば、記録再生部１８の画像DB３１に画像が追加されるとスクラップブックの自動生成処理を行う。また、例えば、画像DB３１に記録されている画像の数が所定の数になるとスクラップブックの自動生成処理を行うようにしてもよい。さらに、例えば、所定の時間毎にスクラップブックの自動生成処理を行うようにしてもよい。

図１７および図１８は、HDDレコーダ１におけるスクラップブックの自動生成処理の例を示すフローチャートである。

ステップＳ６１において、記録再生制御部５２は、記録再生部１８からスクラップブックに保存されていない画像の全部の画像データを読み出す。メタデータ抽出部５７は、記録再生制御部５２に読み出されたスクラップブックに保存されていない全部の画像データに付加されているメタデータを抽出する。

ステップＳ６２において、メタデータ抽出部５７は、抽出されたメタデータのうち、共通するメタデータが存在するか否かを判定する。即ち、メタデータ抽出部５７は、共通するメタデータが付加されている画像が存在するか否かを判定する。

ステップＳ６２において、共通するメタデータが存在すると判定された場合、メタデータ抽出部５７は、共通するメタデータの数、即ち、同じメタデータを付加した画像の数を算出し、共通メタデータ数判定部５９に供給し、処理はステップＳ６３に進む。

ステップＳ６３において、共通メタデータ数判定部５９は、メタデータ抽出部５７から供給される、同じメタデータを付加した画像の数が、操作入力取得部５１より取得した所定の閾値以上であるか否かを判定する。ステップＳ６３において、同じメタデータを付加した画像の数が、所定の閾値以上であると判定された場合、コンテンツ作成部５８に、同じメタデータを付加した画像の数が、所定の閾値以上であることを示す情報を供給すると共に、メタデータ抽出部５７は、共通するメタデータをコンテンツ作成部５８に供給し、処理はステップＳ６４に進む。

ステップＳ６４において、コンテンツ作成部５８は、共通メタデータ数判定部５９から供給される同じメタデータを付加した画像の数が、所定の閾値以上であることを示す情報に応じて、メタデータ抽出部５７から供給される共通するメタデータに基づいて、記録再生制御部５２に読み出されたスクラップブックに保存されていない画像データから、共通するメタデータが付加されている画像データを取得する。

ステップＳ６５において、類義語取得部６０は、共通するメタデータが付加されている画像データであって、記録再生制御部５２に読み出される画像データに付加されているメタデータの類義語を、記録再生部１８の辞書DB３４から取得する。類義語取得部６０は、取得した類義語をコンテンツ作成部５８に供給する。コンテンツ作成部５８のテンプレート設定部７３は、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に基づいて、メタデータ抽出部５７から供給されるメタデータ、または類義語取得部６０から供給される類義語に対応するメタデータが付加されている背景テンプレートを読み出す。

ステップＳ６６において、テンプレート設定部７３は、共通するメタデータが付加されている画像に対して、読み出された背景テンプレートを設定する。

ステップＳ６７において、演算部７２は、共通するメタデータが付加されている画像に付加されている他のメタデータに基づいて、サブイベント毎に画像をクラスタリングする。

図１７および図１８のフローチャートにおけるステップＳ６８乃至Ｓ７３の処理は、図６および図７のフローチャートにおけるステップＳ３８乃至Ｓ４３の処理のそれぞれと同様であるのでその説明は省略する。

ステップＳ７４において、メタデータ抽出部５７は、抽出されたメタデータのうち、他の共通するメタデータが存在しないか否かを判定する。ステップＳ７４において、他の共通するメタデータが存在しないと判定された場合、処理は終了される。

一方、ステップＳ７４において、他の共通するメタデータが存在すると判定された場合、処理はステップＳ６３に戻り、ステップＳ６３以降の処理を繰り返す。

また、ステップＳ６２において、共通するメタデータが存在しないと判定された場合、処理は終了する。さらにステップＳ６３において、同じメタデータを付加した画像の数が、所定の閾値以上でないと判定された場合、処理は終了する。

このようにして、HDDレコーダ１は、共通するメタデータが付加された画像の数が、所定の閾値以上になった場合、共通するメタデータが付加されている画像からなるスクラップブックを自動生成することができる。

次に、HDDレコーダ１におけるスクラップブックへの画像の追加処理について説明する。

HDDレコーダ１の制御部２０は、例えば、記録再生部１８の画像DB３１に画像が追加されるとスクラップブックへの画像の追加処理を行う。また、例えば、画像DB３１に記録されている画像の数が所定の数になるとスクラップブックへの画像の追加処理を行うようにしてもよい。さらに、例えば、所定の時間毎にスクラップブックへの画像の追加処理を行うようにしてもよい。

図１９は、HDDレコーダ１におけるスクラップブックのへの画像の追加処理の例を示すフローチャートである。

ステップＳ８１において、記録再生制御部５２は、共通するメタデータが付加されている画像からなるスクラップブックが存在するか否かを判定する。例えば、記録再生制御部５２は、図１７および図１８のスクラップブックの作成処理において、共通するメタデータが付加されている画像からなるスクラップブックが生成されたことを示す履歴情報を参照することによって、共通するメタデータが付加されている画像からなるスクラップブックが存在するか否かを判定する。ステップＳ８１において、共通するメタデータが付加されている画像からなるスクラップブックが存在すると判定された場合、処理はステップＳ８２に進む。

ステップＳ８２において、記録再生制御部５２は、共通するメタデータが付加されている画像からなるスクラップブックが生成されたことを示す履歴情報に基づいて、共通するメタデータが付加されている画像からなるスクラップブックを、記録再生部１８から読み出す。また、記録再生制御部５２は、スクラップブックに保存されていない画像の全部の画像データを読み出す。メタデータ抽出部５７は、記録再生制御部５２に読み出されたスクラップブックのメタデータ、およびスクラップブックに保存されていない全部の画像データに付加されているメタデータを抽出する。

ステップＳ８３において、メタデータ抽出部５７は、抽出されたスクラップブックに保存されていない全部の画像データに付加されているメタデータのうち、スクラップブックに付加されている共通するメタデータが存在するか否かを判定する。即ち、メタデータ抽出部５７は、共通するメタデータが付加されている他の画像が存在するか否かを判定する。

ステップＳ８３において、共通するメタデータが存在すると判定された場合、メタデータ抽出部５７は、メタデータ抽出部５７は、共通するメタデータをコンテンツ作成部５８に供給し、処理はステップＳ８４に進む。

ステップＳ８４において、コンテンツ作成部５８は、メタデータ抽出部５７から供給される共通するメタデータに基づいて、記録再生制御部５２に読み出されたスクラップブックに保存されていない画像データから、共通するメタデータが付加されている他の画像データを選択する。また、コンテンツ作成部５８は、共通するメタデータが付加されている画像からなるスクラップブックに保存されている画像データを選択する。

ステップＳ８５において、演算部７２は、スクラップブックに保存されている画像データおよび共通するメタデータが付加されている他の画像に付加されているメタデータに基づいて、サブイベント毎に画像をクラスタリングする。

図１９のフローチャートにおけるステップＳ８６乃至Ｓ９１の処理は、図６および図７のフローチャートにおけるステップＳ３８乃至Ｓ４３の処理のそれぞれと同様であるのでその説明は省略する。

一方、ステップＳ８１において、共通するメタデータが付加されている画像からなるスクラップブックが存在しないと判定された場合、処理は終了する。

また一方、ステップＳ８３において、共通するメタデータが存在しないと判定された場合、処理は終了する。

このようにして、HDDレコーダ１は、既に生成されている、共通するメタデータが付加されている画像からなるスクラップブックに、画像を追加することができる。

上述した説明では、HDDレコーダ１は、予め画像データに付加されているメタデータに基づいて、スクラップブックを作成するようにしたが、作成されているスクラップブックに、新たにメタデータを付加するようにしてもよい。

より具体的に、HDDレコーダ１におけるスクラップブックへのメタデータの付加処理について説明する。

HDDレコーダ１の制御部２０は、例えば、操作部１９が操作され、制御部２０がメタデータの付加処理の指示を取得すると処理を開始する。

図２０は、HDDレコーダ１におけるスクラップブックへのメタデータの付加処理の例を示す。

ステップＳ１０１において、操作入力取得部５１は、操作部１９から供給される、モニタ２に表示されるスクラップブックを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるスクラップブックを示す情報を記録再生制御部５２に供給する。記録再生制御部５２は、供給されたユーザにより選択されるスクラップブックを示す情報に基づいて、記録再生部１８からユーザにより選択されたスクラップブックのデータを読み出す。

ステップＳ１０２において、操作入力取得部５１は、記録再生制御部５２に読み出されたスクラップブックのデータから所定の画像データを選択する。記録再生制御部５２は、選択された画像データを特徴抽出部５４に供給する。

図２０のフローチャートにおけるステップＳ１０３乃至Ｓ１０５の処理は、図５のフローチャートにおけるステップＳ１２乃至Ｓ１４の処理のそれぞれと同様であるのでその説明は省略する。

ステップＳ１０６において、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像であると判定された場合、処理はステップＳ１０７に進む。

ステップＳ１０７において、画像判定部５５は、認識された文字列に基づいて、文字列データを取得する。画像判定部５５は、取得された文字列データを、メタデータ付加部５６に供給する。

ステップＳ１０８において、メタデータ付加部５６は、画像判定部５５から供給される文字列データであるメタデータを記録再生制御部５２に供給する。具体的には、画像判定部５５から供給される文字列データをスクラップブックのメタデータとして、記録再生制御部５２に読み出されたスクラップブックに付加し、処理は終了する。

一方、ステップＳ１０６において、記録再生制御部５２に読み出された画像が、文字列が記されている証書、証紙、券、または帖の面の画像でないと判定された場合、処理はステップＳ１０９に進む。

ステップＳ１０９において、操作入力取得部５１は、操作部１９から供給される、スクラップブックから他の画像を選択するか否かを表すユーザの操作を示す信号に基づいて、記録再生制御部５２に、スクラップブックから他の画像を選択するか否かを示す情報を供給する。即ち、記録再生制御部５２は、スクラップブックから他の画像を選択するか否かを判定する。

ステップ１０９において、スクラップブックから他の画像を選択すると判定された場合、処理はステップＳ１０２に戻り、ステップＳ１０２以降の処理を繰り返す。

一方、ステップＳ１０９において、スクラップブックから他の画像を選択しないと判定された場合、処理は終了する。

このように、制御部２０は、スクラップブックに保存されている証書、証紙、券、または帖の面の画像の文字列の文字列データをメタデータとして、スクラップブックに付加することができる。

次に、HDDレコーダ１におけるスクラップブックの表示処理について説明する。

HDDレコーダ１の制御部２０は、例えば、操作部１９が操作され、制御部２０がスクラップブックの表示処理の指示を取得すると処理を開始する。

図２１および図２２は、スクラップブックの表示処理の例を示すフローチャートである。

ステップＳ１４１において、情報取得部６１は、起動時の状況から検索キーを設定する。具体的には、情報取得部６１は、電源投入時、または、アプリケーションの起動時に、内部に有するタイマから、年月日、および、時刻情報を取得したり、ネットワークインタフェース２４を介して、例えば、インターネット上の検索エンジンの検索キーワードのトップランキングや、いわゆるポータルサイトのトップページの記述内容から、現在流行していると思われるキーワードを抽出して取得し、検索キーとして設定することができる。

また、情報取得部６１は、HDDレコーダ１がユーザログイン機能を有し、あらかじめユーザ情報が登録可能になされている場合、ログインしたユーザの登録情報から、ユーザの嗜好に合致すると思われるキーワードを抽出して取得し、検索キーとして設定することもできる。

さらに、情報取得部６１は、HDDレコーダ１が、図示せぬ外部装置から供給されるAV（Audio Video）信号、または図示せぬアナログチューナ若しくは図示せぬラインチューナから供給されるアナログ信号とともに、EPG(Electronic Program Guide)を取得することが可能なようになされている場合、例えば、１週間や１ヶ月などの所定期間に取得したEPGに含まれるキーワードに基づいて、現在流行していると思われるキーワードを抽出して取得し、検索キーとして設定する。さらに、情報取得部６１は、HDDレコーダ１が、例えば、１週間や１ヶ月などの所定期間に記録再生した番組データのEPGに含まれるキーワードに基づいて、ユーザの嗜好に合致すると思われるキーワードを抽出して取得し、検索キーとして設定することもできる。

ステップＳ１４２において、図２７のフローチャートを用いて後述するスクラップブック検索処理が実行される。

ステップＳ１４３において、記録再生制御部５２は、記録再生部１８に記録されている全部のスクラップブックを読み出す。記録再生制御部５２は、スクラップブックの一覧を表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２に、検索キーに対応するスクラップブックが一覧表示の先頭側に表示されるように、インデックス形式またはリスト形式でスクラップブックの一覧を表示する

図２３は、インデックス形式で表示されるスクラップブックの一覧の例を示す図である。図２３の例においては、モニタ２の画面１９１上に、それぞれのスクラップブックの表紙となる１ページ目が一覧として表示されている。ユーザは、操作部１９を操作し、カーソル２１１を移動させスクラップブックの１つを選択することができる。

ステップＳ１４４において、操作入力取得部５１は、操作部１９から供給される、ユーザの操作を示す信号に基づいて、スクラップブックの一覧の表示の形式の変更が指令されたか否かを判断する。

ステップＳ１４４において、スクラップブックの一覧の表示の形式の変更が指令されたと判断された場合、ステップＳ１４５において、記録再生制御部５２は、表示制御部５３を制御し、ユーザの指令に基づいて、モニタ２に表示されるスクラップブックの一覧の表示の形式を変更する。

図２４および図２５は、モニタ２に表示されるスクラップブックの一覧の例を示す図である。

図２４は、カレンダーを用いて表示されるスクラップブックの一覧の例を示す図である。モニタ２の画面１９１は、左方に表示されるカレンダー表示領域と、右方に表示されるプレビュー画面表示領域とから構成される。カレンダー表示領域には、スクラップブックに付加されている、日付を表すメタデータに基づいて、カレンダーの対応する日の欄に、それぞれのスクラップブックの表紙となる１ページ目が表示される。プレビュー画面表示領域には、カレンダー表示領域のカーソル２３１−１により選択される日に存在するスクラップブックのプレビュー画面２３１−２が表示される。

図２４の例においては、１１月を表すカレンダー表示領域において、カーソル２３１−１によって１１月１８日が選択されている。プレビュー画面表示領域には、選択された１１月１８日のメタデータが付加されているスクラップブックのプレビュー画面２３１−２が表示される。

図２５は、地図を用いて表示されるスクラップブックの一覧の例を示す図である。モニタ２の画面１９１は、左方に表示される地図表示領域と、右方に表示される一覧表示領域とから構成される。地図表示領域には、所定の地域を表す地図が表示される。ユーザは、表示される地図上の所定の場所を選択することができる。一覧表示領域には、ユーザにより選択された場所のメタデータが付加されているスクラップブックの一覧が表示される。

図２５の例においては、地図表示領域の地図上の「東京都」がカーソル２５１−１により選択されている。一覧表示領域２５１−２には、「東京都」のメタデータが付加されているスクラップブックの表紙が表示される。ユーザは、表示された一覧から、スクラップブックの１つを選択することができる。

このようにして、表示されたスクラップブックの一覧からスクラップブックの１つを選択することができる。

ステップＳ１４４において、スクラップブックの一覧の表示の形式の変更が指令されていないと判断された場合、または、ステップＳ１４５の処理の終了後、ステップＳ１４６において、操作入力取得部５１は、操作部１９から供給される信号に基づいて、スクラップブックの一覧から、いずれかのスクラップブックが選択決定されたか否かを判断する。ステップＳ１４６において、いずれのスクラップブックが選択決定されていないと判断された場合、処理は、ステップＳ１４４に戻り、それ以降の処理が繰り返される。

ステップＳ１４６において、いずれかのスクラップブックが選択決定されたと判断された場合、ステップＳ１４７において、操作入力取得部５１は、モニタ２に表示されるスクラップブックの一覧からスクラップブックの１つを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるスクラップブックの一覧からスクラップブックの１つを示す情報を記録再生制御部５２に供給する。記録再生制御部５２は、選択決定されたスクラップブックのデータを読み出し、表示制御部５３を制御して、モニタ２に、選択されたスクラップブックの最初のページを表示する。

ステップＳ１４８において、操作入力取得部５１は、現在表示中のまたは作成中スクラップブックに対して、「関連のあるスクラップブックをみる」ことが指令されたか否かを判断する。ステップＳ１４８において、「関連のあるスクラップブックをみる」ことが指令されていないと判断された場合、処理は、ステップＳ１５３に進む。

ステップＳ１４８において、「関連のあるスクラップブックをみる」ことが指令されたと判断された場合、ステップＳ１４９において、記録再生制御部５２は、現在表示中または作成中のスクラップブックのメタデータから、検索キーを設定する。

すなわち、記録再生制御部５２は、現在表示中または作成中のスクラップブックのメタデータが、例えば、図１２を用いて説明したものであった場合、検索キーとして、「伊豆旅行」「8/15」「8/16」「8/17」を設定し、現在表示中または作成中のスクラップブックのメタデータが、例えば、図１５を用いて説明したものであった場合、検索キーとして、「伊豆旅行」「8/15」「8/16」「8/17」「浜辺にて」「ＢＢＱ」、それ以外のコメント、および、メタデータとして登録されている顔認識データを設定する。

ステップＳ１５０において、図２７を用いて後述するスクラップブック検索処理が実行される。

ステップＳ１５１において、記録再生制御部５２は、記録再生部１８から、検索されたスクラップブックを読み出す。記録再生制御部５２は、スクラップブックの一覧を表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２に、検索キーとの一致度の高いスクラップブックが一覧表示の先頭側に表示されるように、検索キーに対応するスクラップブックの一覧をリスト形式で表示する。

例えば、スクラップブックが表示されている状態で、例えば、ボタン操作やキー操作などにより、「関連のあるスクラップブックをみる」ことが指令された場合、図２６に示されるように、検索キーとの一致度の高いスクラップブックが一覧表示の先頭側に表示されるように、検索キーに対応するスクラップブックの一覧が記載されたドロップダウンリストボックス２６１が表示される。

ユーザは、ドロップダウンリストボックス２６１に表示されたスクラップブックの中から所望のスクラップブックを選択決定することにより、現在表示中のスクラップブックに関連のあるスクラップブックから、所望のものを選択して表示させるようにすることができる。即ち、現在ユーザが視聴しているグループに関連するグループを検索して、その一覧を表示することができる。

ステップＳ１５２において、操作入力取得部５１は、操作部１９から供給される信号に基づいて、リスト中のいずれかのスクラップブックが選択決定されたか否かを判断する。ステップＳ１５２において、いずれのスクラップブックが選択決定されたと判断された場合、処理は、ステップＳ１４７に戻り、それ以降の処理が繰り返される。

ステップＳ１４８において、「関連のあるスクラップブックをみる」ことが指令されていないと判断された場合、または、ステップＳ１５２において、いずれのスクラップブックが選択決定されていないと判断された場合、ステップＳ１５３において、操作入力取得部５１は、操作部１９から供給される信号に基づいて、現在表示中のスクラップブックの次のページの表示が指令されたか否かを判断する。

ステップＳ１５３において、現在表示中のスクラップブックの次のページの表示が指令されたと判断された場合、ステップＳ１５４において、操作入力取得部５１は、ユーザの操作を示す信号を記録再生制御部５２に供給する。記録再生制御部５２は、表示制御部５３を制御して、モニタ２に、このスクラップブックの次のページを表示し、処理は、ステップＳ１５３に戻り、それ以降の処理が繰り返される。

ステップＳ１５３において、現在表示中のスクラップブックの次のページの表示が指令されていないと判断された場合、ステップＳ１５５において、操作入力取得部５１は、操作部１９から供給される信号に基づいて、スクラップブックの一覧の表示が指令されたか否かを判断する。ステップＳ１５５において、スクラップブックの一覧の表示が指令されたと判断された場合、処理は、ステップＳ１４３に戻り、それ以降の処理が繰り返される。

ステップＳ１５５において、スクラップブックの一覧の表示が指令されていないと判断された場合、ステップＳ１５６において、操作入力取得部５１は、操作部１９から供給される信号に基づいて、操作の終了が指令されたか否かを判断する。ステップＳ１５６において、操作の終了が指令されていないと判断された場合、処理は、ステップＳ１４８に戻り、それ以降の処理が繰り返される。ステップＳ１５６において、操作の終了が指令されたと判断された場合、処理は終了される。

このような処理により、電源オンまたはアプリケーションの起動時の状況や、その時点における流行、または、ユーザの嗜好に基づいて、ユーザが興味を有すると推定されるキーワードで検索されるスクラップブックをリストの先頭側に表示することができるので、メタデータに基づいて分類されたスクラップブックを、ユーザが興味を有する可能性が高い順に優先的に表示させるようにすることができる。さらに、このような処理により、ユーザがいずれかのスクラップブックを参照しているときに、そのスクラップブックに関連性のあるスクラップブックを検索し、推薦することができる。

次に、図２７を参照して、図２１のステップＳ１４２および図２２のステップＳ１５０において実行される、スクラップブック検索処理について説明する。

ステップＳ１８１において、記録再生制御部５２は、検索キーを含むメタデータを有するスクラップブックを、記録再生部１８のコンテンツDB３３から検索する。

図２１のステップＳ１４１において、例えば、年月日および時刻情報が検索キーとして設定された場合、１年前または何年か前の同日、もしくは、同日の同時刻から所定範囲内、例えば、１年前または何年か前の同日の前後１週間の日にちをメタデータに有するスクラップブックが検索される。また、現在流行しているキーワードや、ユーザの嗜好を表すキーワードが検索キーに設定された場合、そのキーワードをメタデータに有するスクラップブックが検索される。

ステップＳ１８２において、記録再生制御部５２は、検索キーを含むメタデータを有する画像データを、記録再生部１８の画像DB３１から検索する。

図２１のステップＳ１４１において、例えば、年月日および時刻情報が検索キーとして設定された場合、１年前または何年か前の同日、もしくは、同日の同時刻から所定範囲内、例えば、１年前または何年か前の同日の前後１週間の日にちをメタデータに有する画像が検索される。また、現在流行しているキーワードや、ユーザの嗜好を表すキーワードが検索キーに設定された場合、そのキーワードをメタデータに有する画像が検索される。

ステップＳ１８３において、記録再生制御部５２は、ステップＳ１８２において検索された画像データを含むスクラップブックを、記録再生部１８のコンテンツDB３３から検索する。

ステップＳ１８４において、記録再生制御部５２は、検索されたスクラップブックを表示制御部５２に出力し、処理は、図２１のステップＳ１４２に戻りステップＳ１４３に進むか、または、図２２のステップＳ１５０に戻りステップＳ１５１に進む。

このような処理により、キーワードに対応するメタデータを有する画像データではなく、キーワードに対応するメタデータを有するスクラップブック、または、キーワードに対応するメタデータを有する画像データを含むスクラップブックを検索する。

なお、図２７を用いて説明した処理は、特に、図１４を用いて説明したメタデータ更新処理が実行されて、スクラップブックのメタデータが、そのスクラップブックに含まれる画像に付与されているメタデータを重複を避けてすべて含んでいるとき、ステップＳ１８１およびステップＳ１８４のみが実行されるものであってもかまわない。また、同様に、図２７を用いて説明した処理は、スクラップブックのメタデータに含まれる情報が、スクラップブックに含まれる画像に付与されたメタデータの内容とほぼ同じであるとき、換言すれば、スクラップブックのメタデータに、ユーザの個別の入力に基づいて付与されるメタデータが少ないような場合、ステップＳ１８２乃至ステップＳ１８４の処理のみが実行されるものであってもかまわない。

なお、上述した説明では、画像データへのメタデータの付加処理は、制御部２０が自動で行うようにしたが、ユーザが操作部１９を操作し、証書、証紙、券、または帖の画像を選択することによって、メタデータの付加処理を行うようにしてもよい。

また、上述した説明では、画像データからスクラップブックを作成するものとしたが、スクラップブックからスクラップブックを作成するようにしてもよい。

また、本発明は、HDDレコーダに限らず、画像やコンテンツを記録または再生できる機器であればよく、例えば、パーソナルコンピュータなどに適用できる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２８に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM（図示せず）や、記憶部３０８を構成するハードディスクなどにより構成される。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明の一実施の形態であるHDDレコーダの例を示す図である。 HDDレコーダの制御部の構成の例を示すブロック図である。 画像のクラスタの例を示す図である。 画像のクラスタを、さらにクラスタリングした例を示す図である。 メタデータの付加処理の例を説明するフローチャートである。 スクラップブックの作成処理の例を説明するフローチャートである。 スクラップブックの作成処理の例を説明するフローチャートである。 背景テンプレートの例を示す図である。 配置テンプレートの例を示す図である。 スクラップブックの所定のページの構成の例を示す図である。 スクラップブックの構成の例を示す図である。 スクラップブックに付与されるメタデータの例を示す図である。 画像に付与されるメタデータの例を示す図である。 メタデータ更新処理の例を説明するフローチャートである。 スクラップブックに付与されるメタデータの例を示す図である。 画像に付与されるメタデータの例を示す図である。 スクラップブックの自動生成処理の例を説明するフローチャートである。 スクラップブックの自動生成処理の例を説明するフローチャートである。 スクラップブックへの画像の追加処理の例を説明するフローチャートである。 メタデータの付加処理の他の例を説明するフローチャートである。 スクラップブックの表示処理の例を説明するフローチャートである。 スクラップブックの表示処理の例を説明するフローチャートである。 スクラップブックの一覧の表示の例を示す図である。 スクラップブックの一覧の表示の他の例を示す図である。 スクラップブックの一覧の表示のさらに他の例を示す図である。 スクラップブックの一覧の表示のさらに他の例を示す図である。 スクラップブック検索処理の例を説明するフローチャートである。 パーソナルコンピュータの構成の例を示す図である。

符号の説明

１ HDDレコーダ， ２ モニタ， １８ 記録再生部， １９ 操作部， ２０ 制御部， ２４ ネットワークインタフェース， ３１ 画像DB， ３２ テンプレートDB， ３３ コンテンツDB， ３４ 辞書DB， ５１ 操作入力取得部， ５２ 記録再生制御部， ５３ 表示制御部， ５４ 特徴抽出部， ５５ 画像判定部， ５６ メタデータ付加部， ５７ メタデータ抽出部， ５８ コンテンツ作成部， ５９ 共通メタデータ数判定部， ６０ 類義語取得部， ６１ 情報取得部， ７１ 文字認識部， ７２ 演算部， ７３ テンプレート設定部， ９１ クラスタリング部， ９２ 階層決定部， ３０８ 記憶部， ３１１ リムーバブルメディア

Claims (8)

1. １以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置において、
   前記画像の画像データを記憶する画像データ記憶手段と、
   前記グループの属性情報を記憶するグループ属性情報記憶手段と、
   コンテンツデータを記録再生する記録再生手段と、
   前記コンテンツデータに付随する関連情報を取得する関連情報取得手段と、
   前記画像を前記グループごとに表示する処理を制御する表示制御手段と、
   前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたとき、それ以前の所定の期間に前記記録再生手段により記録または再生された前記コンテンツデータに関連する前記関連情報に含まれる情報から検索キーを抽出する検索キー抽出手段と、
   前記グループ属性情報記憶手段により記憶されている前記グループ属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索する検索手段と
   を備え、
   前記表示制御手段は、前記検索手段により検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御する
   情報処理装置。
2. 年月日時を計時する計時手段を更に備え、
   前記検索キー抽出手段は、さらに、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたときに前記計時手段により計時される年月日時の少なくともいずれかを検索キーとして抽出する
   請求項１に記載情報処理装置。
3. ネットワークを介して外部からテキストデータを取得する取得手段を更に備え、
   前記取得手段は、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたときに外部から前記テキストデータを取得し、
   前記検索キー抽出手段は、さらに、前記取得手段により取得された前記テキストデータを検索キーとして抽出する
   請求項１に記載情報処理装置。
4. EPGを取得するEPG取得手段を更に備え、
   前記検索キー抽出手段は、さらに、前記表示制御手段により前記画像を前記グループごとに表示する処理の開始が指令されたとき、それ以前の所定の期間に前記EPG取得手段により取得された前記EPGに含まれる情報から検索キーを抽出する
   請求項１に記載情報処理装置。
5. 前記検索手段は、さらに、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、前記検索キー抽出手段により抽出された前記検索キーに関連する前記グループを検索する
   請求項１に記載情報処理装置。
6. 前記画像データ記憶手段は、前記画像の属性情報を更に記憶し、
   前記検索手段は、さらに、前記画像データ記憶手段により記憶されている前記画像の前記属性情報を用いて、前記検索キー抽出手段により抽出された前記検索キーに関連する前記画像を検索し、前記グループ属性情報記憶手段により記憶されている前記グループの前記属性情報から、検索された前記画像を含む前記グループを検索する
   請求項１に記載情報処理装置。
7. １以上の画像を含むようにグループ分けされた前記画像を前記グループごとに表示する情報処理装置の情報処理方法において、
   前記画像の画像データを記憶し、
   前記グループの属性情報を記憶し、
   記録再生手段で記録または再生されたコンテンツデータに付随する関連情報を取得し、
   前記画像を前記グループごとに表示する処理の開始が指令されたとき、それ以前の所定の期間に前記記録再生手段により記録または再生された前記コンテンツデータに関連する前記関連情報に含まれる情報から検索キーを抽出し、
   記憶されている前記グループ属性情報を用いて、抽出された前記検索キーに関連する前記グループを検索し、
   検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御する
   ステップを含む情報処理方法。
8. 画像データを記憶する第１の記憶部と、前記画像データに対応する画像をグループごとに分類した場合の前記グループの属性情報を記憶する第２の記憶部とを用い、１以上の前記画像を含むようにグループ分けされた前記画像を前記グループごとに表示する処理をコンピュータに実行させるプログラムであって、
   記録再生手段で記録または再生されたコンテンツデータに付随する関連情報を取得し、
   前記画像を前記グループごとに表示する処理の開始が指令されたとき、それ以前の所定の期間に前記記録再生手段により記録または再生された前記コンテンツデータに関連する前記関連情報に含まれる情報から検索キーを抽出し、
   第２の記憶部に記憶されている前記グループ属性情報を用いて、抽出された前記検索キーに関連する前記グループを検索し、
   検索された前記検索キーに関連する前記グループが表示順で先頭側になるようにして、前記グループの一覧の表示を制御する
   ステップを含む処理をコンピュータに実行させるプログラム。

Images