[go: up one dir, main page]

JPWO2015107640A1 - アルバム作成プログラム、アルバム作成方法およびアルバム作成装置 - Google Patents

アルバム作成プログラム、アルバム作成方法およびアルバム作成装置 Download PDF

Info

Publication number
JPWO2015107640A1
JPWO2015107640A1 JP2015557625A JP2015557625A JPWO2015107640A1 JP WO2015107640 A1 JPWO2015107640 A1 JP WO2015107640A1 JP 2015557625 A JP2015557625 A JP 2015557625A JP 2015557625 A JP2015557625 A JP 2015557625A JP WO2015107640 A1 JPWO2015107640 A1 JP WO2015107640A1
Authority
JP
Japan
Prior art keywords
event
image
page
period
album
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015557625A
Other languages
English (en)
Other versions
JP6323465B2 (ja
Inventor
泰文 中村
泰文 中村
明希 北
明希 北
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2015107640A1 publication Critical patent/JPWO2015107640A1/ja
Application granted granted Critical
Publication of JP6323465B2 publication Critical patent/JP6323465B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/30Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

画像処理装置は、予め定めた各イベントに該当する各イベント期間にしたがって、撮影された各画像を、イベント期間で撮影されたイベント画像とイベント期間外で撮影された日常画像とに分類する。画像処理装置は、所定の期間ごとに、当該期間内にあるイベントのイベント画像を掲載したイベントページと、当該期間内の日常画像を掲載した日常ページとを作成する。画像処理装置は、前記所定の期間ごとに作成されたイベントページと日常ページとを用いて、アルバムを生成する。

Description

本発明は、アルバム作成プログラム、アルバム作成方法およびアルバム作成装置に関する。
デジタルカメラやビデオカメラの普及に伴い、家庭において、写真を撮ったりビデオを撮影したりする機会が増えている。また、個人が所有する携帯電話やスマートフォンにも撮影機能を保有するものが一般的になっており、日常生活の中の出来事を写真や動画で保存することも増えている。
また、デジタルカメラやスマートフォンは、画像に写っている人物を認識する顔認識技術を搭載しているものも多い。パーソナルコンピュータなどは、取り込んだ画像データを写っている被写体ごとにまとめて管理する機能を搭載しているものも多い。
例えば、ユーザは、このような機能を用いて子供の画像が認識された写真の中から、子供の顔の写りのよい写真等をピックアップし、成長記録としてアルバムを作成する。この場合、ユーザは膨大な枚数の中から所望の写真を選択することになるので、ユーザの作業負担が大きくなる。
近年では、人物が写っている写真を撮影日時や撮影場所をもとにイベントごとに分類し、分類したイベント時の写真を鑑賞中の画像に一緒に表示することで、簡単な操作でアルバムを作る技術が知られている。また、選択したアルバムのテンプレートに、画像データベースから画像を取得し、配置することでアルバムを構成する技術が知られている。また、撮影時刻や撮影場所等にしたがって写真をイベントごとに分類し、分類したイベントの写真を各ページに割り振ってアルバムを自動で生成する技術が知られている。
特開2010−259064号公報 特開2007−249434号公報 特開2006−295890号公報
しかしながら、上記技術では、イベントに該当する写真を用いてアルバムが作成されるので、イベント以外の日常時に撮影した写真が少ないアルバムが作成される。
例えば、子供の成長記録としてのアルバムを作成する場合、誕生日、正月、節分、クリスマスなどのイベント時に撮影した写真が多く使用され、公園や遊園地などの日常時に撮影した写真がないアルバムが作成される。このようにして作成されたアルバムは、子供の成長記録ではなくイベント記録になってしまう。このように、上記技術では、イベントに特化したアルバムが作成されるので、情報の偏りが大きい。
開示の技術は、上記に鑑みてなされたものであって、情報の偏りを抑制したアルバムを作成することができるアルバム作成プログラム、アルバム作成方法およびアルバム作成装置を提供することを目的とする。
本願の開示するアルバム作成プログラムは、一つの態様において、コンピュータに、予め定めた各イベントに該当する各イベント期間にしたがって、撮影された各画像を、イベント期間で撮影されたイベント画像とイベント期間外で撮影された日常画像とに分類する処理を実行させる。コンピュータに、所定の期間ごとに、当該期間内にあるイベントのイベント画像を掲載したイベントページと、当該期間内の日常画像を掲載した日常ページとを作成する処理を実行させる。コンピュータに、前記所定の期間ごとに作成されたイベントページと日常ページとを用いて、アルバムを生成する処理を実行させる。
1実施形態によれば、情報の偏りを抑制したアルバムを作成することができる。
図1は、実施例1に係る画像処理装置を説明する図である。 図2は、実施例1に係る画像処理装置の機能構成を示す機能ブロック図である。 図3は、画像DBに記憶される情報の例を示す図である。 図4は、被写体DBに記憶される情報の例を示す図である。 図5は、被写体情報DBに記憶される情報の例を示す図である。 図6は、被写体情報を説明する図である。 図7は、イベントリストDBに記憶される情報の例を示す図である。 図8は、イベントDBに記憶される情報の例を示す図である。 図9は、日常DBに記憶される情報の例を示す図である。 図10は、テンプレートDBに記憶されるピックアップルールの例を示す図である。 図11は、テンプレートDBに記憶されるページ構成例を示す図である。 図12は、テンプレートDBに記憶されるページレイアウト例を示す図である。 図13は、テンプレートDBに記憶される表紙ページのレイアウト例を示す図である。 図14は、テンプレートDBに記憶されるエンディングページのレイアウト例を示す図である。 図15は、テンプレートDBに記憶されるレイアウトデータの例を示す図である。 図16は、アルバムDBに記憶されるアルバム情報の例を示す図である。 図17は、アルバムDBに記憶されるアルバム例を示す図である。 図18は、アルバム作成処理の全体的な処理の流れを示すフローチャートである。 図19は、被写体認識処理の流れを示すフローチャートである。 図20は、被写体認識処理内の顔検出処理の流れを示すフローチャートである。 図21は、被写体認識処理内の顔認識処理の流れを示すフローチャートである。 図22は、イベント判別処理の流れを示すフローチャートである。 図23は、イベント判別処理内のDB登録処理の流れを示すフローチャートである。 図24は、ピックアップ処理の流れを示すフローチャートである。 図25は、ハードウェア構成例を説明する図である。
以下に、本発明にかかるアルバム作成プログラム、アルバム作成方法およびアルバム作成装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
[全体構成]
図1は、実施例1に係る画像処理装置を説明する図である。図1に示す画像処理装置10は、デジタルカメラ1やビデオカメラ2などで撮影された画像を読み込んで、アルバム3を作成するパーソナルコンピュータやサーバなどの装置であり、アルバム作成装置の一例である。また、画像処理装置10は、スマートフォンなどから画像を読み込むこともできる。なお、本実施例で用いる画像には、静止画、動画、映像などが含まれるものとする。
この画像処理装置10には、画像処理アプリケーションがインストールされている。画像処理アプリケーションは、外部装置や記憶媒体などから画像を読み込み、読み込んだ画像に対して一般的な顔認識処理等を実行して、画像を管理する機能を実行する。
このような画像処理装置10は、予め定めた各イベントに該当する各イベント期間にしたがって、撮影された各画像を、イベント期間で撮影されたイベント画像とイベント期間外で撮影された日常画像とに分類する。続いて、画像処理装置10は、所定の期間ごとに、当該期間内にあるイベントのイベント画像を掲載したイベントページと、当該期間内の日常画像を掲載した日常ページとを作成する。そして、画像処理装置10は、所定の期間ごとに作成されたイベントページと日常ページとを用いて、アルバムを生成する。
例えば、画像処理装置10は、予め用意したイベントを特定する月日にしたがって、撮影した写真をイベントと日常に分類し、月ごとにイベントの写真ページと日常の写真ページとを生成することができる。つまり、画像処理装置10は、イベントや日常の画像を用いたアルバムを作成でき、偏りの少ないアルバムを作成することができる。
[機能構成]
図2は、実施例1に係る画像処理装置の機能構成を示す機能ブロック図である。図2に示すように、画像処理装置10は、画像DB(DB:データベース)11、被写体DB12、被写体情報DB13、イベントリストDB14、イベントDB15、日常DB16、テンプレートDB17、アルバムDB18を有する。また、画像処理装置10は、被写体認識部20、イベント判別部21、被写体選択部22、画像選択部23、画像配置部24、アルバム作成部25を有する。
なお、各DBは、メモリやハードディスクなどの記憶装置に記憶されるデータベースである。また、各処理部は、プロセッサが有する電子回路やプロセッサが実行するプロセスの一例である。
画像DB11は、外部装置や記憶媒体等から読み込まれた画像を記憶するデータベースである。図3は、画像DBに記憶される情報の例を示す図である。図3に示すように、画像DB11は、「画像Index、ファイル名、格納先、画像種別、撮影日時、撮影場所」を対応付けて記憶する。
ここで記憶される「画像Index」は、画像を識別する固有の識別子であり、例えば画像処理アプリケーションや撮影機器によって自動的に割振られた識別子を使用することができる。「ファイル名」は、画像を示すファイルの名称であり、例えば画像処理アプリケーションや撮影機器によって自動的に設定されたファイル名を使用することができる。「格納先」は、画像処理装置10上でファイルを格納されているフォルダのパスを示す情報である。
「画像種別」は、画像の種別を示す情報であり、写真などの静止画の場合には「P」が設定され、動画の場合には「M」が設定される。「撮影日時」は、画像が撮影された日時を示す情報であり、撮影機器によって自動的に設定されたExif情報やタイムスタンプを利用することができる。「撮影場所」は、画像が撮影された場所を示す緯度経度の情報であり、撮影機器によって自動的に設定された情報やGPS(Global Positioning System)等を用いて付加した情報を利用することができる。
図3の画像Index「1」を例にして説明すると、この画像は、ファイル名が「Photo000.jpg」の「静止画」であり、「C:¥20100331」に保存されている。また、この画像は、「2010年3月31日10時00分24秒」に「北緯43´34、東経133度」で撮影されたものである。
被写体DB12は、画像処理アプリケーション等の顔認識技術によって認識された被写体の情報を用いて生成されたデータベースである。図4は、被写体DBに記憶される情報の例を示す図である。図4に示すように、被写体DB12は、「ID、名前、性別、人間関係、生年月日」を対応付けて記憶する。
ここで記憶される「ID」は、被写体を一意に特定する固有の識別子であり、画像処理プログラム等が自動的に設定できる。「名前」は、ユーザが理解できる形の文字列で示した被写体の名前であり、ユーザから設定を受け付ける。「性別」は、ユーザが理解できる形の文字列で示した性別であり、ユーザから設定を受け付けてもよく、特に何も設定しなくてもよい。
「人間関係」は、写体の間の関係を示す値であり、ユーザから設定を受け付けた値である。関係性は二者間のものであるため、便宜上システムの使用者を「本人」とし、他の人物はそのシステム使用者との関係を記入する。また、「家族」という関係の場合には、小分類として妻や夫、子供という指定が可能である。また、何も指定しなくてもよい。「生年月日」は、その被写体の生年月日であり、ユーザから設定を受け付けた値である。
なお、画像処理アプリケーション等の顔認識技術では、通常、顔認識技術を利用して類似する顔でグループ化した場合、同一人物の顔が別のグループに分類される場合がある。また、同一グループ内の顔についても、別の人物が含まれている場合がある。それらの場合に対応するため、一般的な顔認識技術を利用した画像管理アプリでは、同一人物の統合、他の人物の除外という操作ができる。また、同一人物を統合してまとめた場合、その人物に名前などの人物情報を追加し、管理しやすくすることも一般的に行われている。ここでは、それらの画像処理アプリケーションによって、同一人物の整理と人物情報の付加が行われた結果を利用する。
被写体情報DB13は、画像DB11に記憶される各画像中に、被写体DB中のどの被写体が写っているかを管理データベースであり、画像処理アプリケーション等によって生成される。図5は、被写体情報DBに記憶される情報の例を示す図である。図5に示すように、被写体情報DB13は、「Index、画像ID、被写体ID、被写体領域」を対応付けて記憶する。
ここで記憶される「Index」は、データを一意に特定する固有の識別子である。「画像ID」は、画像DB11に記憶される画像を管理する画像Index情報である。「被写体ID」は、被写体DB12で管理される被写体を特定するIDである。「被写体領域」は、画像中の被写体の顔が写っている領域を表し、顔の領域は、顔認識処理時に判断された領域情報を利用する。この例でいえば、顔の領域の「(左上の座標)−(右下の座標)」という形で表している。なお、領域を表す方法については、領域が確定できる他の記述方法で記載してもよい。例えば、「(左上の座標)−縦サイズ×横サイズ」などの記載方法を利用することもできる。
図5と図6を用いて被写体の管理例を説明する。図6は、被写体情報を説明する図である。図6に示すように、画像ID=1201の写真は、被写体として、被写体ID=1のただし、被写体ID=2のゆうこ、被写体ID=4の花子の3人が写っており、各被写体について、顔の領域を点線の枠で示している。
また、画像ID=1201の写真については、Index=223、224、225の3つのレコードが対応している。Index=223は、画像ID=1201の写真の中に、被写体ID=1の被写体の顔が「(13、0)−(157、220)」の領域にあることを示している。同様に、Index=224は、画像ID=1201の写真の中に、被写体ID=2の被写体の顔が「(311、38)−(147、194)」の領域にあることを示している。Index=225は、画像ID=1201の写真の中に、被写体ID=4の被写体の顔が「(181、12)−(108、147)」の領域にあることを示している。
イベントリストDB14は、予め定めた各イベントに該当する各イベント期間を記憶するデータベースである。図7は、イベントリストDBに記憶される情報の例を示す図である。図7に示すように、イベントリストDB14は、「イベント名、期間、優先度」を対応付けて記憶する。
ここで記憶される「イベント名」は、イベントの名称であり、このイベント名は、アルバム中のコメントとして利用される。「期間」は、そのイベントの期間が規定され、その期間に撮影された画像をイベントとみなされる。「優先度」は、イベント間の優先度合いを示す。数値が小さいほど優先度が高いとする。この例の場合は、誕生日のイベントが、一番優先度が高く、その他のイベントが低い。
通常、イベントリストには固定のイベントが一月あたり最大一つ登録されているが、誕生日については対象とする被写体によって変わり、かつ被写体の成長記録という観点では重要なイベントである。このため、図7の例では、誕生日については優先度を一番高くし、同じ月に他のイベントが存在する場合であっても誕生日がイベントとして選択される。
また、図7の例では、1月1日から1月7日までの間に撮影された画像は、イベント「正月」に分類されることを示し、7月7日に撮影された画像は、イベント「七夕」に分類されることを示す。
なお、イベントリストDB14に記憶される情報は、ユーザによって任意に設定変更することができる。例えば、運動会や学芸会などのイベントを追加してもよい。また、画像処理装置10は、イベントリストDB14とカレンダーなどを連携させて、毎年、イベントリストDB14に記憶される情報を更新することができる。
イベントDB15は、イベントに分類された画像の情報を記憶するデータベースである。図8は、イベントDBに記憶される情報の例を示す図である。ここでは、特定の年度の1年分について1ヶ月ごとに分類した例として記載する。また、図8の例は、1年間の撮影日付、撮影枚数の情報と、イベントリストDB14の情報、および「イベント化最低枚数」を10枚とした場合の処理結果である。
図8に示すように、イベントDB15は、「対象ページ、撮影日時、撮影枚数、イベント名」を対応付けて記憶する。「対象ページ」は、配置対象のページを示し、例えば4月は4月用のページであることを示す。「撮影日付」は、対象ページに配置する対象となる撮影日付であり、複数の日付がある場合は、コンマで区切って続けて記載する。なお、対象となるイベントが存在しない場合は、「0」を記入する。「撮影枚数」は、対象となる撮影日付に撮影された画像の枚数であり、複数の日付がある場合は、その日付順にコンマで区切って続けて記載する。なお、対象となるイベントが存在しない場合は、「0」を記入する。「イベント名」は、対象となるイベントのイベント名であり、イベントが存在しなかった場合にはNULLを記入する。
図8の例では、4月については、イベント「GW」の期間に該当する4月29日に撮影された18枚がイベント用の画像として分類されたことを示す。また、6月については、いずれの画像もイベントに該当しなかったことを示す。なお、撮影日時を用いることで、具体的なファイルを特定することができる。
日常DB16は、日常に分類された画像の情報を記憶するデータベースである。図9は、日常DBに記憶される情報の例を示す図である。ここでは、特定の年度の1年分について1ヶ月ごとに分類した例として記載する。図9に示すように、日常DB16は、「対象ページ、撮影日時、撮影枚数」を対応付けて記憶する。
「対象ページ」は、配置対象のページを示し、例えば4月は4月用のページであることを示す。「撮影日付」は、対象ページに配置する対象となる撮影日付であり、複数の日付がある場合は、コンマで区切って続けて記載する。なお、対象となる日付が存在しない場合は、「0」を記入する。「撮影枚数」は、対象となる撮影日付に撮影された画像の枚数であり、複数の日付がある場合は、その日付順にコンマで区切って続けて記載する。なお、対象となる日付が存在しない場合は、「0」を記入する。
テンプレートDB17は、アルバムを作成するためのページごとのテンプレート等を記憶するデータベースである。このテンプレートDB17は、1年間を1ヶ月ごとにイベントページと日常ページとを作成する際のテンプレート、1年間を2ヶ月ごとにイベントページと日常ページとを作成する際のテンプレートなどを記憶する。また、テンプレートDB17は、各ページのテンプレート等を記憶する。なお、ユーザは、テンプレートDB17に記憶されるテンプレートから任意のテンプレートを選択することができる。
本実施例では、一例として、1年間を1ヶ月ごとにイベントページと日常ページとを作成する際の各種テンプレートについて説明する。図10は、テンプレートDBに記憶されるピックアップルールの例を示す図である。ピックアップルールには、どのような画像をどのようにピックアップするのかを定義する情報である。画像処理装置10は、ピックアップルールにしたがって、画像DB11から画像を抽出してアルバムを作成する。
図10に示すように、ピックアップルールは複数のタグを用いて定義される。例えば、「GrowthAlbum」は、成長記録アルバムを示すタグであり、「VolumeType」は、アルバムの形式を示す。1年づつの分冊になる場合は、Yearを記入する。すべての写真を一つのアルバムにする場合は、Allとなる。「StartMonth」は、分冊になる場合の、開始月を示す数値であり、この例では4となっているので、4月始まりとなる。「PageOfDuration」は、1ページの対象となる写真の期間を示す。この例ではMonthとなっているので、1ヶ月となる。
「FrontPage」は、アルバムの表紙を示すタグであり、表紙を含める場合に指定する。「BodyPage」は、アルバム本文を示すタグであり、イベントのページと日常のページから構成される。「EventPage」は、イベントのページを示すタグであり、詳細については以下のタグで規定する。「PageNum」は、イベントページのページ数を示し、この例では、1ページとなる。「Area」は、イベントページ内のエリア情報を示し、詳細については、以下のタグで規定する。「FaceThumbnail」は、顔サムネイルエリアに含まれる写真の枚数を示す。「LargeFace」は、顔大エリアに含まれる写真の枚数を示す。「SmallFace」は、顔小エリアに含まれる写真の枚数を示す。「Relation」は、人間関係エリアに含まれる情報を示し、詳細については以下のタグで規定する。「RelationType」は、人間関係エリアで使用する人間関係のタイプを示し、家族の場合は、Familyとなる。「RelationFace」は、人間関係エリアに含まれる写真の枚数を示す。「UsualPage」は、日常のページを示すタグを示し、詳細については、イベントページと同じタグを使って記述する。「EndingPage」は、エンディングページを示すタグ示し、エンディングページを含める場合に指定する。
なお、ここで示したタグは一例であり、任意に設定変更することができる。例えば、テンプレートDB17は、1年間を2ヶ月ごとにイベントページと日常ページとを作成する際のピックアップルール等については別途規定されているものを保存する。
図11は、テンプレートDBに記憶されるページ構成例を示す図である。図11に示すように、テンプレートDB17は、「表示順序、ページ内容」を対応付けて記憶する。ここでは、一例として、1年間を1ヶ月ごとにイベントページと日常ページとを作成する際のページ構成例を図示している。図11に示すページ構成は、表紙ページのあと各月のページが順番に表示され、各月のページは日常ページのあとにイベントページがくるように配置することを記憶する。また、最後にはエンディングページが表示される。
図12は、テンプレートDBに記憶されるページレイアウト例を示す図である。ここでは、イベントページと日常ページと同じページレイアウトの例を示すが、別々のレイアウトであってもよい。
図12に示すように、各ページ30は、ページタイトル31、顔サムネイルエリア32、顔大エリア33、顔小エリア34、家族写真エリア35を有する。ページタイトル31には、対象となる被写体の名前と、ページに表示される対象のイベント名の情報をもとに、自動的にタイトル情報が記入される。例えば、イベントページの場合は、花子のひな祭りなどが設定され、日常ページの場合は、花子の日常などが設定される。
顔サムネイルエリア32は、対象となるイベントまたは日常で撮影された写真について、被写体の顔部分をくりぬいてサムネイルとして表示するエリアである。このエリアに使う写真は、対象となるイベントからランダムにピックアップするが、サムネイルの並び順は撮影日順になるように配置される。この例では、ランダムに5つ選択し、それを撮影日順に左から右に並べている。
顔大エリア33は、対象の被写体の顔画像を表示するエリアである。このエリアに対しては、対象となるイベントで撮影された写真の中で、被写体の顔の領域が写真全体に対してある特定の比率よりも大きい写真が選択される。これは、顔がアップで撮影された写真をピックアップするためである。
顔小エリア34は、対象の被写体の全身画像を表示するエリアである。このエリアには、対象となるイベントで撮影された写真の中で、被写体の顔の領域が写真全体に対してある特定の比率よりも小さい写真が選択される。これは、全身が入るような写真あるいは集合写真などをピックアップするためである。
家族写真エリア35は、対象の被写体を含む家族画像を表示するエリアである。このエリアには、対象となるイベントで撮影された写真の中で、被写体の家族が一緒に写っている写真からピックアップして表示される。
図13は、テンプレートDBに記憶される表紙ページのレイアウト例を示す図である。図13に示すように、表紙ページ40は、ページタイトル41、表紙エリア42、表紙エリア43を有する。
ページタイトル41には、対象となる被写体の名前の情報と、作成される対象の年度情報をもとに、自動的にタイトル情報が記入される。例えば、ページタイトル41には、花子の成長アルバム2010年度などが設定される。また、表紙エリア42、表紙エリア43には、対象年度の写真の中から、ランダムにピックアップして配置される。
図14は、テンプレートDBに記憶されるエンディングページのレイアウト例を示す図である。図14に示すように、エンディングページ50は、顔サムネイルエリア51を有する。顔サムネイルエリア51には、対象年度の写真の中から、ランダムに15枚ピックアップし、顔部分だけが配置される。これにより、その年度での成長度合いが一目で比較でき、よりアルバムを楽しめる。
図15は、テンプレートDBに記憶されるレイアウトデータの例を示す図である。ここでは、一例として各ページ30の各エリアの領域例を示しているが、テンプレートDB17は、表紙やエンディングページについても同様の情報を記憶する。
図15に示すように、テンプレートDB17は、各ページ30の各エリアの情報として「場所、位置、サイズ」を対応付けて記憶する。このように、テンプレートDB17は、ページ内の各サムネイルエリアについて、配置する位置の情報と写真のサイズの規定を記憶する。なお、「場所」は、対象サムネイルを示し、「位置」は、サムネイル画像の左上の位置を示し、「サイズ」は、縦横サイズを示す。図15の「顔大エリア」について説明すると、当該エリアの左上は、「1000、800」に位置し、サイズが「1200、1200」の正方形であることを示す。
図2に戻り、アルバムDB18は、作成されたアルバムを記憶するデータベースである。図16は、アルバムDBに記憶されるアルバム情報の例を示す図である。図16に示すように、アルバムDB18は、年度ごとに、表紙、各月のイベントページおよび日常ページ、エンディングページを対応付けて記憶する。
図17は、アルバムDBに記憶されるアルバム例を示す図である。図17に示すように、アルバムDB18は、1年分ごとにまとまったアルバムを記憶する。ここで記憶されるアルバムは、イベントのページと、日常のページが交互になるように配置され、横にスクロールして切り替わる。
続いて、各処理部について説明する。被写体認識部20は、画像DB11に記憶される各画像に対して画像認識処理を実行し、被写体DB12や被写体情報DB13を生成する処理部である。なお、被写体認識部20の一例としては、上記画像処理アプリケーションなどが該当する。
例えば、被写体認識部20は、各画像について顔認識処理を実行して、各画像に存在する顔画像を特定する。そして、被写体認識部20は、特定した各顔画像がだれの顔画像であるかをユーザから受け付けて、各顔画像とユーザとの対応付けを行うとともに、どの画像にだれの顔画像が写っているかを特定する。
イベント判別部21は、画像DB11に記憶される各画像がイベントに該当するか日常に該当するかを判別して分類する処理部である。具体的には、イベント判別部21は、各画像の撮影日付とイベントリストDB14に記憶される各イベント期間とを比較して、各画像をイベントと日常とに分類し、イベントDB15と日常DB16とに分けて格納する。
例えば、4月に撮影された画像が、4月7日の4枚と29日の18枚であるとする。このうち、イベント判別部21は、4月29日がイベントリストDB14のGWというイベントに合致するため、4月のページのイベントは4月29日で確定し、撮影日付には4月29日を記録する。また、その日に撮影した枚数18枚を撮影枚数に記録し、イベント名としてGWを記録する。
また、11月に撮影された画像が、11月11日の12枚と23日の5枚であるとする。この場合、イベント判別部21は、いずれもイベントリストには記載がないため、撮影枚数についてイベント化最低枚数と比較する。その結果、イベント判別部21は、11月11日については撮影枚数が12枚であり、イベント化最低枚数の10枚よりも大きく、11月23日の5枚はイベント化最低枚数よりも小さいと判定する。この結果、イベント判別部21は、11月のページのイベントは11月11日で確定する。したがって、イベント判別部21は、撮影日付に11月11日、撮影枚数に12を記録する。なお、イベント判別部21は、イベント名については特に該当するものがないので、「枚数」という名前を記録する。「枚数」というイベント名の場合は、アルバム中にはイベント名を表示しないように制御される。
被写体選択部22は、ユーザからアルバム作成対象の被写体の選択を受け付ける処理部である。具体的には、被写体選択部22は、画面上に被写体一覧を表示し、その画面上においてユーザ操作で対象人物を選択させる。被写体選択部22は、選択された人物をアルバムの対象として設定する。
例えば、被写体選択部22は、被写体情報DB13に記憶される情報から被写体IDを特定し、当該被写体IDに対応する画像IDを特定する。そして、被写体選択部22は、特定したIDに対応する画像をディスプレイ等に表示するとともに、表示させた画像上の顔領域を枠等で囲って表示する。その状態で、被写体選択部22は、アルバムを作成する際の対象人物の選択を受け付ける。
画像選択部23は、アルバムの対象とする人物を選択された場合に、成長記録としてふさわしい画像をピックアップする処理部である。具体的には、画像選択部23は、どのような条件でアルバムを作成するかの条件をユーザから受け付けて、受け付けた条件に対応するテンプレートデータにしたがって画像をピックアップする。そして、画像選択部23は、選択されたテンプレートの情報と選択された画像の情報とを画像配置部24に通知する。
例えば、4月のイベントページのピックアップ処理を例にして説明する。画像選択部23は、イベントDB15を参照すると、撮影日4月29日がイベントに指定されていることを特定する。このため、画像選択部23は、4月29日に撮影された18枚の写真から、各エリアに配置する写真をピックアップする。
まず、画像選択部23は、18枚の写真の中で、家族と一緒に写っているものをピックアップし、家族写真エリア35用候補とする。画像選択部23は、残りの写真について、顔のサイズの割合の大きい順に並べ、上位半分を顔大エリア33用候補、下位半分を顔小エリア34用候補とする。
続いて、画像選択部23は、家族写真エリア35用候補、顔大エリア33候補、顔小エリア34用候補の中から、各エリア用に1枚選択する。ここで、画像選択部23は、選択する際に複数の候補がある場合は、写真の写り具合のよいものから選択することにする。なお、画像選択部23は、1枚も候補がない場合は、すべての対象写真の中で、各エリア用にピックアップされていないものの中からランダムにピックアップする。
その後、画像選択部23は、顔サムネイルエリア32用に、顔大エリア33用、顔小エリア34用、家族写真エリア35用にピックアップされなかった15枚の中から、ランダムに5枚選択する。
なお、上記各エリアに対するピックアップ処理は、家族写真エリア35、顔大エリア33、顔小エリア34、顔サムネイルエリア32という順で優先順位が高い場合の例であり、任意に設定変更できる。また、画像選択部23は、他のページについても、上記と同様のロジックでピックアップを行う。また、画像選択部23は、表紙ページとエンディングページについては、イベントや日常の区別は必要ないので、すべての対象写真からピックアップする。
画像配置部24は、所定の期間ごとに、当該期間内にあるイベントのイベント画像を掲載したイベントページと、当該期間内の日常画像を掲載した日常ページとを作成する処理部である。具体的には、画像配置部24は、各ページについて、画像選択部23によって選択された各写真をテンプレートの所定位置に配置して各ページを生成する。そして、画像配置部24は、写真が掲載された各ページをアルバム作成部25に出力する。
つまり、画像配置部24は、画像選択部23によるピックアップ処理でピックアップされた写真を、レイアウトデータの情報に従い配置する。画像配置部24は、レイアウトデータのサイズが、配置すべき写真のサイズよりも小さい場合は、被写体の顔が入るように画面を切り取って配置する。
アルバム作成部25は、所定の期間ごとに作成されたイベントページと日常ページとを用いて、アルバムを生成する処理部である。上記例では、アルバム作成部25は、4月から3月までの各月について、日常ページとイベントページとを交互に並べたアルバムを作成する。また、アルバム作成部25は、日常ページまたはイベントページがない月については該当ページを削除する。また、アルバム作成部25は、ユーザの指定等によって、日常ページ、イベントページの順でアルバムを作成することもでき、イベントページ、日常ページの順でアルバムを作成することもできる。
また、アルバム作成部25は、作成したアルバムを、成長記録アルバムのデータとしてアルバムDB18に出力する。一例として、アルバム作成部25は、HTML(Hyper Text Markup Language)形式で出力するものとする。なお、画面レイアウト情報は、HTMLの中に記載することもできる。また、画面のアニメーションについても、HTMLに記載したスクリプトで動作することができる。
これらの処理を行うことで、HTML形式でアニメーションがついた形の成長記録アルバムが作成される。この成長記録アルバムは、1年単位で分冊になっており、それぞれの分冊においては、毎月ページが配置されている。毎月のページには、その月の日常で撮影した写真のあと、その月のイベントで撮影された写真が並ぶことで、子供の成長を感じつつ、イベントの思い出に浸ることができる。最後のエンディングページでは、子供の対象年度の顔写真を一覧で並べて見せるため、子供の成長している感じが一目でわかる。
[処理の流れ]
次に、画像処理装置10が実行する各処理について具体的に説明する。ここでは、全体的な処理の流れについて説明した後、各処理の具体的な流れについて説明する。
(全体的な処理)
図18は、アルバム作成処理の全体的な処理の流れを示すフローチャートである。図18に示すように、画像処理装置10は、被写体認識処理を実行した後(S101)、アルバム作成対象の被写体の選択を受け付ける(S102)。
そして、画像処理装置10は、被写体の選択を受け付けると(S102:Yes)、テンプレートの選択を受け付ける(S103)。ここで、画像処理装置10は、どのような期間でどのようなページ形態のアルバムを作成するかの選択を受け付ける。
その後、画像処理装置10は、テンプレートの選択を受け付けると(S103:Yes)、イベント判別処理を実行する(S104)。そして、画像処理装置10は、イベント判別処理完了後、ピックアップ処理を実行する(S105)。
そして、画像処理装置10は、ピックアップ処理でピックアップされた写真等を各ページの所定位置に配置してアルバムを作成する配置処理を実行し(S106)、作成したアルバムをアルバムDB18に格納する出力処理を実行する(S107)。
(被写体認識処理)
図19は、被写体認識処理の流れを示すフローチャートである。この処理は、図18のS101に該当する。図19に示すように、被写体認識部20は、画像DB11に記憶される各画像に対して顔検出処理を実行した後(S201)、顔認識処理を実行する(S202)。
その後、被写体認識部20は、顔認識処理で認識した顔のリスト情報から、未処理の顔をピックアップする(S203)。続いて、被写体認識部20は、未処理の顔が存在する場合は(S204:Yes)、ピックアップした顔が被写体情報DB13に登録済の顔か否かを判定する(S205)。なお、S204において、被写体認識部20は、未処理の顔が存在しない場合(S204:No)、終了する。
そして、被写体認識部20は、ピックアップした顔が被写体情報DB13に登録済である場合(S205:Yes)、被写体情報DB13の各項目について情報を追加する(S206)。例えば、被写体認識部20は、顔が写っている画像の画像IDを被写体情報DB13の画像ID欄に追加する。また、被写体認識部20は、一致する画像の被写体IDを被写体情報DB13の被写体ID欄に追加する。また、被写体認識部20は、顔の写っている領域を被写体情報DB13の被写体領域欄に追加する。
その後、被写体認識部20は、ピックアップした顔を処理済みとして(S207)、S203以降の処理を繰り返す。なお、被写体認識部20は、ピックアップした顔が被写体情報DB13に登録済ではない場合(S205:No)、S206を実行せずに、S207を実行する。
(顔検出処理)
図20は、被写体認識処理内の顔検出処理の流れを示すフローチャートである。この処理は、図19のS201に該当する。図20に示すように、被写体認識部20は、顔検出の対象とする未処理の画像をピックアップし(S301)、未処理の画像が存在するか否かを判定する(S302)。ここで、被写体認識部20は、未処理の画像が存在しない場合(S302:No)、処理を終了する。
続いて、被写体認識部20は、未処理の画像が存在する場合(S302:Yes)、装置に予め保持している、顔を特徴付ける目、鼻、口のテンプレートデータの中で、一番サイズの小さいデータを読み出す(S303)。
そして、被写体認識部20は、選択中のテンプレートデータについて、処理対象の画像の画面全体をパターンマッチング処理で走査する(S304)。例えば、被写体認識部20は、画像画面に対してテンプレートデータを横方向にずらして計算し、一番右まで到達したら、下方向にずらし、そこから横方向にずらして計算する、という処理を繰り返すことで走査する。
その後、被写体認識部20は、S304によって得られたマッチング度合いについて、装置に予め保持される閾値よりも大きい領域があったかどうか判定する(S305)。
そして、被写体認識部20は、閾値よりも大きい領域があった場合(S305:Yes)、顔領域のデータをメモリ等に記録する(S306)。具体的には、被写体認識部20は、領域が重なっていない場合は、特定した領域を記録し、領域が重なっている場合は、マッチング度合いの一番大きい領域を記録する。
その後、被写体認識部20は、テンプレートデータのサイズを1サイズ拡大する(S307)。つまり、被写体認識部20は、選択中のテンプレートデータよりも1つ大きなサイズのテンプレートデータを選択する。なお、被写体認識部20は、閾値よりも大きい領域がない場合(S305:No)、S306を実行することなく、S307を実行する。
そして、被写体認識部20は、拡大したテンプレートデータのサイズが最大サイズよりも大きい場合(S308:Yes)、処理対象の画像を処理済みと判定して(S309)、S301以降を繰り返す。
一方、被写体認識部20は、拡大したテンプレートデータのサイズが最大サイズよりも小さい場合(S308:No)、S304以降を繰り返す。
(顔認識処理)
図21は、被写体認識処理内の顔認識処理の流れを示すフローチャートである。この処理は、図19のS202に該当する。図21に示すように、被写体認識部20は、顔認識の対象とする未処理の顔領域をピックアップする(S401)。
続いて、被写体認識部20は、未処理の顔領域が存在するか否かを判定する(S402)。ここで、被写体認識部20は、未処理の顔領域が存在しない場合(S402:No)、処理を終了する。
一方、被写体認識部20は、未処理の顔領域が存在する場合(S402:Yes)、顔領域内の顔の特徴パラメータを取得する(S403)。例えば、被写体認識部20は、顔全体の位置に対する目の位置、鼻の位置、口の位置などをベクトルデータとしてパラメータにしたものを取得する。
そして、被写体認識部20は、被写体情報DB13内の未処理の被写体について顔の特徴パラメータを取得する(S404)。続いて、被写体認識部20は、被写体情報DB13内に未処理の被写体が存在する場合(S405:Yes)、S406を実行する。すなわち、被写体認識部20は、S403で取得した顔の特徴パラメータとS404で取得した顔の特徴パラメータについて類似度の度合いが閾値よりも大きいかを判定する。なお、類似度は、例えば、特徴パラメータの2つのベクトルについて、それらの差のベクトルの距離を計算し、距離が0の場合に類似度が1となるような計算で求めることができる。
ここで、被写体認識部20は、類似度の度合いが閾値より大きい場合(S406:Yes)、人物候補データとして情報をメモリ等に記録する(S407)。例えば、被写体認識部20は、顔領域の情報、被写体情報DB13内の被写体ID、類似度などを記録する。その後、被写体認識部20は、処理対象の被写体を処理済として(S408)、S404以降を繰り返す。
一方、S406において、被写体認識部20は、類似度の度合いが閾値より小さい場合(S406:No)、S407を実行せずに、S408を実行する。
また、S405において、被写体認識部20は、被写体情報DB13内に未処理の被写体が存在しないと判定した場合(S405:No)、認識結果として人物候補データの中で類似度合いが最大の被写体について情報をメモリ等に記録する(S409)。例えば、被写体認識部20は、顔領域の情報や被写体情報DB13内の被写体IDなどを記録する。
つまり、被写体認識部20は、人物候補データがなければなし、1つの場合はその候補データの値を出力し、人物候補データが複数ある場合は、その中で一番類似度合いが大きいものについて出力する。そして、被写体認識部20は、処理対象の顔領域を処理済として(S410)、S401以降を繰り返す。
(イベント判別処理)
図22は、イベント判別処理の流れを示すフローチャートである。この処理は、図18のS104に該当する。
図22に示すように、イベント判別部21は、テンプレートDB17に記憶される複数のピックアップルールのうちユーザから受け付けたアルバムの作成条件に該当するピックアップルールにしたがって、情報を取得する(S501)。
具体的には、イベント判別部21は、テンプレートデータ選択処理で選択したテンプレートについて、ピックアップルール情報からVolumeType、StartMonth、PageOfDurationの各情報を取得する。そして、イベント判別部21は、VolumeTypeから取得した情報を分冊情報、StartMonthから取得した情報を開始月情報、PageOfDurationから取得した情報をページ期間情報に設定する。
続いて、イベント判別部21は、画像DB11に記憶される画像から、被写体選択部22によって選択された被写体が写っている画像のリストを取得し、撮影日付でグループ化する(S502)。
そして、イベント判別部21は、撮影日付のグループを分冊情報、開始月情報をもとに分冊グループに分ける(S503)。本実施例では、イベント判別部21は、1年ごと4月始まりであることから、「4月から次の年の3月」の区切りの年度でグループ化する。なお、ピックアップルールのVolumeTypeにAllと記載されている場合は、分冊グループは1つになる。
その後、イベント判別部21は、未処理の分冊グループがあるか否かを判定する(S504)。ここで、イベント判別部21は、未処理の分冊グループがない場合(S504:No)、処理を終了する。
一方、イベント判別部21は、未処理の分冊グループがある場合(S504:Yes)、S505を実行する。具体的には、イベント判別部21は、未処理の分冊グループのうち、一番日付の古いものを選択する。続いて、イベント判別部21は、選択した分冊グループに属する撮影日付のグループを、ページ期間情報ごとの期間グループに分ける。本実施例では、イベント判別部21は、ページ期間情報が月単位であることから、選択した分冊グループに属する撮影日付のグループを、月ごとのグループに分ける。
その後、イベント判別部21は、未処理の期間グループがあるか否かを判定する(S506)。本実施例では、イベント判別部21は、未処理の月グループがあるか否かを判定する。
ここで、イベント判別部21は、未処理の期間グループがある場合(S506:Yes)、DB登録処理を実行して(S507)、S506を繰り返す。一方、イベント判別部21は、未処理の期間グループがない場合(S506:No)、S504以降を繰り返す。
(DB登録処理)
図23は、イベント判別処理内のDB登録処理の流れを示すフローチャートである。この処理は、図22のS507に該当する。
図23に示すように、イベント判別部21は、未処理の期間グループの中で、一番日付の古いものを選択し、その期間グループ内の撮影日付について、イベントリストDB14に記載されている日付と合致する撮影日があるかどうかを判定する(S601)。
そして、イベント判別部21は、合致する撮影日がない場合(S601:No)、撮影日でグループ化されたまとまりに含まれる画像の個数により、所定のルールにしたがって、イベント枚数をリストアップする(S602)。
具体的には、イベント判別部21は、撮影日でグループ化されたまとまりに含まれる画像の個数と、システムに規定されている「イベント化最低枚数」とを比較する。イベント判別部21は、画像個数の方が大きい場合は、その日付をイベント候補とする。また、イベント判別部21は、期間グループに属する撮影日すべてについてイベント候補をリストアップ後、イベント候補が連続した日付になっている場合には、その日付をまとめてイベント候補とする。
その後、イベント判別部21は、イベントDB15への登録を実行する(S603)。具体的には、イベント判別部21は、イベント候補が存在する場合は、イベント候補に含まれる撮影枚数が一番多いものをイベントとしてイベントDB15に登録する。イベント判別部21は、イベント候補が一つもない場合は、イベントDB15にはNULLを登録する。
一方、イベント判別部21は、S601において合致する撮影日がある場合(S601:Yes)、合致したイベントリストについて、イベントを1つに絞り込み、その情報をイベントDB15に登録する(S604)。例えば、イベント判別部21は、イベントが1つだけの場合はそのまま登録する。また、イベント判別部21は、イベントが複数ある場合は、イベントの優先度を比較し一番優先度の高いものを選択する。また、イベント判別部21は、優先度が同じものが複数ある場合には、画像個数が一番多いイベントを選択する。なお、イベント判別部21は、個数が同じ場合には、ランダムに一つ選択する。
S603またはS604を実行した後、イベント判別部21は、処理対象の期間グループに属する撮影日について、S603またはS604でイベントとして判断された日付以外の日付を、日常DB16に登録する(S605)。
(ピックアップ処理)
図24は、ピックアップ処理の流れを示すフローチャートである。この処理は、図18のS105に該当する。図24に示すように、画像選択部23は、イベント判別処理で作成した分冊グループ、分冊グループごとの期間グループ情報を取得する(S701)。
そして、画像選択部23は、未処理の分冊グループがあるか否かを判定する(S702)。ここで、画像選択部23は、未処理の分冊グループがない場合(S702:No)、処理を終了する。
一方、画像選択部23は、未処理の分冊グループがある場合(S702:Yes)、未処理の分冊グループの中で、日付が一番古いものを処理対象として選択する(S703)。
続いて、画像選択部23は、処理対象の分冊グループについて、未処理の期間グループがあるか否かを判定する(S704)。ここで、画像選択部23は、処理対象の分冊グループについて、未処理の期間グループがない場合(S704:No)、表紙ページ、エンディングページ用の画像をピックアップし(S705)、S702以降を繰り返す。
一方、画像選択部23は、処理対象の分冊グループについて、未処理の期間グループがある場合(S704:Yes)、未処理の期間グループの中で、一番日付の古いものを処理対象として選択する(S706)。
そして、画像選択部23は、処理対象の期間グループに該当するイベントの撮影日付の一覧を、イベントDB15から取得する(S707)。例えば、画像選択部23は、「4月のイベントページ」の場合には、イベントDB15の4月のページの撮影日付を確認すると、「4/29」と記載されているので、その日付を取得する。
続いて、画像選択部23は、S707で取得したイベントの撮影日付に撮影された画像を用いてS708を実行する。すなわち、画像選択部23は、該当する画像の中から、顔大エリア33用、顔小エリア34用、家族写真エリア35用、顔サムネイルエリア32用の各エリア用の写真をそれぞれピックアップする。なお、画像選択部23は、イベントの撮影日付の一覧が一つもなかった場合は、何もせず次のステップへ進む。
その後、画像選択部23は、処理対象の期間グループに該当する日常の撮影日付の一覧を、日常DB16から取得する(S709)。例えば、画像選択部23は、「7月の日常ページ」を例にすると、日常DB16の7月のページの撮影日付を確認して「7/12、7/23、7/31」と記載されていることから、それらの日付を日常の日付として使用する。
そして、画像選択部23は、S709で取得した日常の撮影日付に撮影された画像から、顔大エリア33用、顔小エリア34用、家族写真エリア35用、顔サムネイルエリア32用の各エリア用の写真をそれぞれピックアップする(S710)。なお、画像選択部23は、日常の撮影日付の一覧が一つもなかった場合は、何もしない。その後、画像選択部23は、S704以降を繰り返す。
[効果]
このように、画像処理装置10は、情報の偏りが少ないアルバムが作成することができる。例えば、画像処理装置10は、子供の成長記録としてのアルバムを作成する場合、誕生日、正月、節分、クリスマスなどのイベント時に撮影した写真のページと、公園や遊園地などの日常時に撮影した写真のページとを含むアルバムを作成することができる。したがって、画像処理装置10は、子供の成長が感じられるような配分で、写真やビデオを自動的に配置したアルバムが作成することができる。
また、画像処理装置10は、ピックアップルールやページフォーマットを任意に設定変更することができるので、ユーザの要望に適したアルバムを作成することができる。このため、ユーザ数の拡大が期待できる。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
(写真のないページの自動編集)
例えば、画像処理装置10は、イベントページのうち画像がないイベントページ、および、日常ページのうち画像がない日常ページを除外してアルバムを生成することができる。つまり、画像処理装置10は、写真が配置されていないページを自動的に削除する。この結果、画像処理装置10は、イベント時や日常時の画像がない場合は、該当ページを削除したアルバムを作成できるので、空白ページがあるような違和感のあるアルバム作成を抑制できる。
(イベントの選択)
例えば、画像処理装置10は、期間内に複数のイベントがある場合、最も多い枚数の多いイベントを特定し、特定したイベントの当該期間のイベントと決定する。また、画像処理装置10は、当該期間内の日常ページについては、決定されたイベント日を除く期間内の画像を日常の画像と決定する。
そして、画像処理装置10は、決定したイベント日の画像を用いてイベントページを生成し、決定した日常の画像を用いて日常ページを生成する。この結果、画像処理装置10は、イベントが複数ある月であっても、イベントページと日常ページとを生成することができるので、子供の成長が感じられるような配分で、写真やビデオを自動的に配置したアルバムが作成することができる。
(アルバムの共有)
画像処理装置10は、作成したアルバムをHTMLデータとして、他の装置に送信することができる。このようにすることで、アルバムを他の装置で閲覧することができる。また、画像処理装置10は、作成したアルバムをプリンタに印刷することもできる。
(クラウドシステムの利用)
画像処理装置10は、クラウドシステム上に配置することもできる。例えば、ユーザは、クラウドシステム上の画像処理装置10に画像を保存してアルバムを作成する。このようにすることで、ユーザは、端末に依存することなく、アルバムの作成やアルバムの編集、閲覧を実行することができる。
(動画の利用)
上記実施例では、主に静止画を用いてアルバムを作成する例を説明したが、これに限定されるものではない。例えば、画像処理装置10は、動画についても1枚1枚の静止画と捉えて同様に処理することができる。また、画像処理装置10は、各ページに動画を張り付けることで、Web上では動画を再生するアルバムを作成することもできる。
(システム)
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともできる。あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
(ハードウェア)
図25は、ハードウェア構成例を説明する図である。図25に示すように、画像処理装置10は、CPU(Central Processing Unit)10a、RAM(Random Access Memory)10b、HDD(Hard Disk Drive)10c、グラフィックインタフェース10d、入力インタフェース10e、光学ドライブ装置10f、通信インタフェース10gを有する。また、図13に示した各部は、バス等で相互に接続される。
HDD10cは、図2等に示した機能を動作させるプログラムやDBを記憶する。グラフィックインタフェース10dは、ディスプレイなどの表示装置に接続され、各種情報を表示装置に出力する。入力インタフェース10eは、マウスやキーボード等に接続され、各種情報の入力を受け付ける。光学ドライブ装置10fは、外部媒体から画像を読み込む装置の一例であり、光ディスクなどから画像を読み込む。通信インタフェース10gは、他の装置との通信を制御するインタフェースであり、例えばネットワークインタフェースカードである。
CPU10aは、図2等に示した各処理部と同様の処理を実行するプログラムをHDD10c等から読み出してRAM10bに展開することで、図2等で説明した各機能を実行するプロセスを動作させる。
すなわち、このプロセスは、画像処理装置10が有する各処理部と同様の機能を実行する。具体的には、CPU10aは、被写体認識部20、イベント判別部21、被写体選択部22、画像選択部23、画像配置部24、アルバム作成部25等と同様の機能を有するプログラムをHDD10c等から読み出す。そして、CPU10aは、被写体認識部20、イベント判別部21、被写体選択部22、画像選択部23、画像配置部24、アルバム作成部25と同様の処理を実行するプロセスを実行する。
このように画像処理装置10は、プログラムを読み出して実行することでアルバム作成方法を実行する情報処理装置として動作する。また、画像処理装置10は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、画像処理装置10によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
1 デジタルカメラ
2 ビデオカメラ
10 画像処理装置
11 画像DB
12 被写体DB
13 被写体情報DB
14 イベントリストDB
15 イベントDB
16 日常DB
17 テンプレートDB
18 アルバムDB
20 被写体認識部
21 イベント判別部
22 被写体選択部
23 画像選択部
24 画像配置部
25 アルバム作成部

Claims (6)

  1. コンピュータに、
    予め定めた各イベントに該当する各イベント期間にしたがって、撮影された各画像を、イベント期間で撮影されたイベント画像とイベント期間外で撮影された日常画像とに分類し、
    所定の期間ごとに、当該期間内にあるイベントのイベント画像を掲載したイベントページと、当該期間内の日常画像を掲載した日常ページとを作成し、
    前記所定の期間ごとに作成されたイベントページと日常ページとを用いて、アルバムを生成する
    処理を実行させることを特徴とするアルバム作成プログラム。
  2. 前記作成する処理は、前記期間内に複数のイベントがある場合、前記イベント画像が最も多い第1イベントを特定し、特定した第1イベントのイベント画像を用いて前記イベントページを作成し、前記期間内の前記日常画像と当該期間内における前記第1イベント以外のイベント画像とを用いて前記日常ページを作成することを特徴とする請求項1に記載のアルバム作成プログラム。
  3. 前記作成する処理は、前記イベントページまたは前記日常ページを作成する際に、ページのタイトルと、該当する画像の中からランダムに選択して撮影日順に並べたサムネイルエリアと、指定された被写体の顔の領域が画像全体に対して所定の比率よりも大きい画像を掲載する顔大エリアと、前記被写体の顔の領域が画像全体に対して所定の比率よりも小さい画像を掲載する顔小エリアと、前記被写体を含む複数人の被写体が写っている画像を掲載する複数人エリアとを有する前記イベントページまたは前記日常ページを作成することを特徴とする請求項1に記載のアルバム作成プログラム。
  4. 前記生成する処理は、前記所定の期間ごとに作成されたイベントページのうち前記イベント画像が掲載されていないイベントページ、および、前記所定の期間ごとに作成された日常ページのうち前記日常画像が掲載されていない日常ページを除外して前記アルバムを生成することを特徴とする請求項1に記載のアルバム作成プログラム。
  5. コンピュータが、
    予め定めた各イベントに該当する各イベント期間にしたがって、撮影された各画像を、イベント期間で撮影されたイベント画像とイベント期間外で撮影された日常画像とに分類し、
    所定の期間ごとに、当該期間内にあるイベントのイベント画像を掲載したイベントページと、当該期間内の日常画像を掲載した日常ページとを作成し、
    前記所定の期間ごとに作成されたイベントページと日常ページとを用いて、アルバムを生成する
    処理を実行することを特徴とするアルバム作成方法。
  6. 各イベントと当該イベントの期間を示すイベント期間とを対応付けて記憶する記憶部と、
    前記記憶部に記憶される各イベント期間にしたがって、撮影された各画像を、イベント期間で撮影されたイベント画像とイベント期間外で撮影された日常画像とに分類する分類部と、
    所定の期間ごとに、当該期間内にあるイベントのイベント画像を掲載したイベントページと、当該期間内の日常画像を掲載した日常ページとを作成する作成部と、
    前記所定の期間ごとに作成されたイベントページと日常ページとを用いて、アルバムを生成する生成部と、
    有することを特徴とするアルバム作成装置。
JP2015557625A 2014-01-15 2014-01-15 アルバム作成プログラム、アルバム作成方法およびアルバム作成装置 Expired - Fee Related JP6323465B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/050606 WO2015107640A1 (ja) 2014-01-15 2014-01-15 アルバム作成プログラム、アルバム作成方法およびアルバム作成装置

Publications (2)

Publication Number Publication Date
JPWO2015107640A1 true JPWO2015107640A1 (ja) 2017-03-23
JP6323465B2 JP6323465B2 (ja) 2018-05-16

Family

ID=53542561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015557625A Expired - Fee Related JP6323465B2 (ja) 2014-01-15 2014-01-15 アルバム作成プログラム、アルバム作成方法およびアルバム作成装置

Country Status (3)

Country Link
US (1) US9972113B2 (ja)
JP (1) JP6323465B2 (ja)
WO (1) WO2015107640A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
EP2480957B1 (en) 2009-09-22 2017-08-09 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8780069B2 (en) 2009-09-25 2014-07-15 Apple Inc. Device, method, and graphical user interface for manipulating user interface objects
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
WO2015107640A1 (ja) * 2014-01-15 2015-07-23 富士通株式会社 アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
WO2015166612A1 (ja) 2014-04-28 2015-11-05 日本電気株式会社 映像解析システム、映像解析方法および映像解析プログラム
CN105138962A (zh) * 2015-07-28 2015-12-09 小米科技有限责任公司 图像显示方法及装置
CN105302315A (zh) * 2015-11-20 2016-02-03 小米科技有限责任公司 图片处理方法及装置
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
DK201670609A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
CN108206968A (zh) * 2016-12-16 2018-06-26 北大方正集团有限公司 基于ReplayKit的屏幕录制及提取方法、系统
JP7057382B2 (ja) * 2018-02-08 2022-04-19 富士フイルム株式会社 電子アルバム装置とその作動方法および作動プログラム
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
JP6967496B2 (ja) * 2018-09-28 2021-11-17 富士フイルム株式会社 画像処理装置,画像処理方法および画像処理プログラム
KR102249865B1 (ko) * 2019-01-22 2021-05-10 김민정 전자앨범 생성 시스템
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
JP6844681B2 (ja) * 2019-12-17 2021-03-17 日本電気株式会社 検索装置、検索方法、およびプログラム
CN111126308B (zh) * 2019-12-26 2021-07-06 西南交通大学 结合灾前和灾后遥感影像信息的损毁建筑物自动识别方法
DK181076B1 (en) 2020-02-14 2022-11-25 Apple Inc USER INTERFACES FOR TRAINING CONTENT

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013088696A1 (ja) * 2011-12-13 2013-06-20 パナソニック株式会社 コンテンツ選択装置、およびコンテンツ選択方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298895B2 (en) * 2003-04-15 2007-11-20 Eastman Kodak Company Method for automatically classifying images into events
JP2006295890A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2007249434A (ja) 2006-03-14 2007-09-27 Fujifilm Corp アルバム作成システム、アルバム作成方法、及びプログラム
US7783085B2 (en) * 2006-05-10 2010-08-24 Aol Inc. Using relevance feedback in face recognition
US20080298643A1 (en) * 2007-05-30 2008-12-04 Lawther Joel S Composite person model from image collection
US8150098B2 (en) * 2007-12-20 2012-04-03 Eastman Kodak Company Grouping images by location
US8055081B2 (en) * 2008-04-14 2011-11-08 Eastman Kodak Company Image classification using capture-location-sequence information
JP2010259064A (ja) 2009-04-03 2010-11-11 Olympus Imaging Corp 表示装置及び撮像装置
US8270731B2 (en) * 2009-08-19 2012-09-18 Eastman Kodak Company Image classification using range information
US20120027293A1 (en) * 2010-07-27 2012-02-02 Cok Ronald S Automated multiple image product method
WO2015107640A1 (ja) * 2014-01-15 2015-07-23 富士通株式会社 アルバム作成プログラム、アルバム作成方法およびアルバム作成装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013088696A1 (ja) * 2011-12-13 2013-06-20 パナソニック株式会社 コンテンツ選択装置、およびコンテンツ選択方法

Also Published As

Publication number Publication date
WO2015107640A1 (ja) 2015-07-23
JP6323465B2 (ja) 2018-05-16
US20160321831A1 (en) 2016-11-03
US9972113B2 (en) 2018-05-15

Similar Documents

Publication Publication Date Title
JP6323465B2 (ja) アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
JP7111632B2 (ja) 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
US8732149B2 (en) Content output device, content output method, program, program recording medium, and content output integrated circuit
JP2020140577A (ja) 装置、方法、及びプログラム
JP2010118056A (ja) コンテンツアルバム化装置及びコンテンツアルバム化方法
EP2549390A1 (en) Data processing device and data processing method
JP2020140576A (ja) 装置、方法、及びプログラム
JP5667069B2 (ja) コンテンツ管理装置、コンテンツ管理方法、コンテンツ管理プログラムおよび集積回路
US12266038B2 (en) Image processing apparatus automatically creating layout of combination image from image group, image processing method, program, and recording medium
JP2020140568A (ja) 装置、方法、及びプログラム
JP6080409B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2015069431A (ja) 合成画像作成アシスト装置、合成画像作成アシスト方法、合成画像作成アシストプログラムおよびその記録媒体
JP7336211B2 (ja) 画像処理装置、制御方法、及びプログラム
JP2019185747A (ja) メディアオブジェクトをグループ化するコンピュータ実装方法及びプログラム、並びに画像取り込み装置
US11935165B2 (en) Proactive creation of personalized products
JP7377325B2 (ja) 画像処理装置,画像処理方法および画像処理プログラム
US20110304644A1 (en) Electronic apparatus and image display method
JP5289211B2 (ja) 画像検索システム、画像検索プログラムおよびサーバ装置
JP7336209B2 (ja) 画像処理装置、制御方法、及びプログラム
JP2016045602A (ja) 画像選択装置及びプログラム及び記憶媒体及び方法
JP7470279B2 (ja) 情報処理装置、画像出力プログラム、及び画像出力方法
US20240265597A1 (en) Proactive creation of personalized products
JP7336212B2 (ja) 画像処理装置、制御方法、及びプログラム
JP7336210B2 (ja) 画像処理装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180326

R150 Certificate of patent or registration of utility model

Ref document number: 6323465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees