JP7263054B2 - 装置、方法、及びプログラム - Google Patents

Description

本発明は、装置、方法、及びプログラムに関し、より具体的には、アルバムを作成する装置、方法、及びプログラムに関する。

デジタルカメラの普及に加え、近年ではスマートデバイスの普及及びスマートデバイスのカメラ性能向上により、ユーザの写真撮影枚数が急激に増加している。撮影枚数の増加に伴い、撮影される被写体のバリエーションも増加している。

従来、デジタルカメラで撮影した写真画像をレイアウトしてアルバムを作成する方法が知られている。特許文献１では、複数のユーザが共同でアルバムを作成する方法が提案されている。

特開２０１６－６６３２８号公報

複数のユーザが写真を提供し合ってアルバムを作成する場合、それぞれのユーザが使いたい写真を考慮してアルバムを作成する必要がある。特許文献１では、各ユーザがアルバム作成に関与してアルバムを作成することができる。しかしながら、特許文献１では、全員に共通する内容と、個人に合わせてカスタマイズされた内容とを併せ持つようなアルバムは考慮されていなかった。

そこで本発明は、上記の課題に鑑み、全員に共通する内容と、個人に合わせた内容との両方を有するアルバムを作成することを目的とする。

本発明は、複数のページを含むアルバムを生成する装置であって、アルバム毎に複数のページを作成する作成手段を備え、前記複数のページは、複数のアルバムに共通する共通ページと、アルバム毎に設定された主被写体に対応した個別ページとを含み、前記作成手段は、前記複数のアルバムにおける前記個別ページの数がアルバム毎に異なる場合であっても、前記複数のアルバムにおいて前記複数のページの数が同じになるように、前記複数のページを作成することを特徴とする装置である。

本発明によれば、全員に共通する内容と、個人に合わせた内容との両方を有するアルバムを作成することが可能となる。

第１の実施形態における画像処理装置のハードウェア構成を示すブロック図である。 第１の実施形態における画像処理装置のソフトウェア構成を示すブロック図である。 第１の実施形態で作成するアルバムにおける画像のレイアウトを説明する図である。 第１の実施形態におけるアルバム作成アプリケーションのＧＵＩ画面を示す図である。 第１の実施形態における自動レイアウト処理のフローチャートである。 第１の実施形態における画像群分割を説明する図である。 第１の実施形態におけるシーン分類を説明する図である。 第１の実施形態における画像選択を説明する図である。 第１の実施形態におけるテンプレート決定を説明するブロック図である。 第１の実施形態におけるテンプレート決定処理のフローチャートである。 第１の実施形態における画像レイアウトの決定手法を説明する図である。 第１の実施形態における見開き結合部の詳細なブロック図である。 第１の実施形態における見開き結合処理のフローチャートである。 第２の実施形態における画像処理装置のソフトウェア構成を示すブロック図である。 第２の実施形態における自動レイアウト処理のフローチャートである。 第２の実施形態における見開き結合部の詳細なブロック図である。 第２の実施形態における見開き結合処理のフローチャートである。 第３の実施形態における画像処理装置のソフトウェア構成を示すブロック図である。 第３の実施形態における自動レイアウト処理のフローチャートである。 第３の実施形態における見開き数算出処理のフローチャートである。 第４の実施形態における画像処理装置のソフトウェア構成を示すブロック図である。 第４の実施形態における自動レイアウト処理のフローチャートである。 第４の実施形態における見開き結合部の詳細なブロック図である。 第４の実施形態における見開き結合処理のフローチャートである。 第５の実施形態における画像処理装置のソフトウェア構成を示すブロック図である。 第５の実施形態における自動レイアウト処理のフローチャートである。 第５の実施形態における見開き結合部の詳細なブロック図である。 第５の実施形態における見開き結合処理のフローチャートである。 第１の実施形態の効果を説明するための図である。 第２の実施形態の効果を説明するための図である。 第３の実施形態の効果を説明するための図である。 第４の実施形態の効果を説明するための図である。 第５の実施形態の効果を説明するための図である。

［第１の実施形態］
本実施形態では、画像処理装置において、アルバム作成のためのアプリケーション（以下、「アプリケーション」または単純に「アプリ」ともいう）を動作させ、該アプリケーション上で複数の写真画像が自動でレイアウトされたアルバムを複数作成する。本実施形態では、少なくとも２つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。各アルバムを構成する見開きの合計数（総見開き数と呼ぶ）又はページの合計数（総ページ数と呼ぶ）は、ユーザの指示に従い全アルバムで同一である。但し、アルバム毎の（つまりユーザ毎の）共通見開きと個別見開きとのそれぞれの数は、画像群及び設定に応じて変化する。見開きおよび見開き内に配置される画像は、撮影時間順に並べる。

＜画像処理装置のハードウェア構成について＞
以下、本実施形態における画像処理装置のハードウェア構成について、図１を用いて説明する。尚、以下では、画像処理装置が情報処理装置（ＰＣ）のケースを説明するが、画像処理装置として、スマートフォン等の他の装置を採用してもよい。

図１に示すように、画像処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、ディスプレイ１０５と、キーボード１０６と、マウス１０７と、データ通信装置１０８と、を有する。これらの部品は、データバス１０９により接続されており、相互にデータを送信または受信することができる。

ＣＰＵ１０１は、画像処理装置１００全体を制御する。また、ＣＰＵ１０１は、本実施形態で説明する画像処理方法をプログラムに従って実行する。尚、図１では、画像処理装置が１個のＣＰＵを有するが、画像処理装置は複数のＣＰＵを有してもよい。

ＲＯＭ１０２には、ＣＰＵ１０１が実行するプログラムが記憶されている。ＲＡＭ１０３は、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供する。ＨＤＤ１０４には、画像ファイルや画像解析等の処理結果を保持するデータベース等が記憶され、本実施形態では、このＨＤＤ１０４に、アルバム作成のためのアプリケーションプログラムが記憶されている。尚、このアプリケーションプログラムについては、図４等を用いて後述する。

ディスプレイ１０５は、本実施形態のユーザインターフェイス（以下ＵＩ）や画像のレイアウト結果を表示して、ユーザに提示するための装置である。ディスプレイ１０５は、タッチセンサー機能を有してもよい。キーボード１０６は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上に所定の情報を入力するために用いられる。本実施形態では、ユーザは、キーボード１０６を介してアルバムの見開き数を入力する。マウス１０７は、画像処理装置１００が有する入力装置の１つであり、例えば、ディスプレイ１０５に表示されたＧＵＩ上のボタンをクリックして押下するために用いられる。

データ通信装置１０８は、プリンタやサーバ等の外部装置と通信するための装置である。例えば、自動レイアウトのデータは、データ通信装置１０８を介して、画像処理装置１００に接続されたプリンタやサーバに送信される。データバス１０９は、上述した各構成要素とＣＰＵ１０１とを接続する。以上が、本実施形態における画像処理装置のハードウェア構成についての内容である。

＜画像処理装置のソフトウェア構成について＞
以下、本実施形態における画像処理装置のソフトウェア構成、言い換えると、画像処理装置にインストールされているアルバム作成アプリケーションにより実現される機能構成について、図２を用いて説明する。アルバム作成アプリケーションは、ディスプレイ１０５に表示されているアプリケーションのアイコンがユーザによりマウス１０７を使ってダブルクリックされることにより起動する。アルバム作成アプリケーションは様々な機能を有するが、以下では主に、本実施形態において特に重要な機能である、自動レイアウト処理部２０２により提供される自動レイアウト機能を説明する。

図２に示すように、このアプリは、アルバム作成条件設定部２０１と、自動レイアウト処理部２０２と、アルバム表示部２１３と、を有する。「自動レイアウト機能」とは、撮影された写真の画像をその内容や属性に基づいて分類ないし選択した上でレイアウトして、アルバム画像を作成する機能である。作成されたアルバム画像は、ディスプレイ１０５に表示される。

アルバム作成条件設定部２０１は、ユーザのマウス操作に応じたアルバム作成条件を、自動レイアウト処理部２０２に設定する。本実施形態では、アルバム作成条件として、アルバムに使用する画像群、１冊のアルバムあたりの総見開き数、アルバムの商材、アルバムの冊数、及びアルバム毎の主被写体を設定する。画像群の設定は、例えば撮影日時など個別の画像データの付随情報や属性情報を用いて設定してもよいし、デバイスやディレクトリの指定など、画像データが保存されているファイルシステムの構造に基づいて設定してもよい。尚、「見開き」とは、例えば表示においてはひとつの表示用ウィンドウに相当し、印刷においては、異なるシートに印刷された、互いに隣接する１対のページに相当する。ここでは、このような見開きの概念を用いて説明するが、印刷時の単一のページに対して画像をレイアウトする場合でもよい。本実施形態では、「見開き」、「単一のページ」を含め、「ページ」と称するものとする。また、主被写体とは、アルバム中で特に強調してレイアウトする被写体である。例えば特定の個人や、犬や猫、花、料理といった物体のカテゴリ、オブジェクトや画像全体の色味等が挙げられる。ここでは、説明のため人物を主被写体とする。

ここで、本実施形態で作成するアルバムについて、図３を用いて説明する。本実施形態では、アルバム作成条件設定部２０１により設定されたアルバムの冊数及びアルバム毎の主被写体に基づき、複数の異なるバリエーションのアルバムが作成される。図３の例では、複数の異なるバリエーションのアルバムとして、アルバム１、アルバム２、アルバム３が作成されている。

各アルバムは、複数の異なるバリエーションのアルバム間で同じ画像が同じ配置でレイアウトされている「共通見開き」と、他のアルバムとは異なる画像または配置でレイアウトされている「個別見開き」とで構成される。図３の例では、アルバム１～アルバム３は夫々、共通見開き３０２を含む。一方、アルバム１は個別見開き３０３を含み、アルバム２は個別見開き３０４を含み、アルバム３は個別見開き３０５を含む。

画像３０１は見開きに配置された画像であり、画像３０１中の文字は画像中に写っている主被写体を表している。図３に示すように、共通見開き３０２は、複数の主被写体が写っている画像を含むようにレイアウトされている。一方、個別見開き３０３は主被写体Ａが写っている画像を含むといった具合に、個別見開き３０３～３０５は夫々、特定の主被写体が写っている画像を含むようにレイアウトされている。このように、本実施形態で複数のアルバムを作成する場合、該複数のアルバムが夫々、異なる基準で作成された見開きを含む。

画像取得部２０３は、ＨＤＤ１０４に保存されている画像の中から、アルバム作成条件設定部２０１により設定されたアルバム作成条件を満たす画像群を取得する。ここでいう画像群とは、アルバム作成の際レイアウト候補となる画像群を指す。例えば、撮影日時として、ＸＸ年１月１日～ＸＸ年１２月３１日が指定された場合は、ＸＸ年１月１日～ＸＸ年１２月３１日に撮影された画像全てが、レイアウト候補の画像群に該当する。ＨＤＤ１０４に保存されている画像としては、静止画像や、動画から切り出された切り出し画像が挙げられる。静止画像や切り出し画像は、デジタルカメラやスマートデバイス等の撮像デバイスから取得したものである。撮像デバイスは、画像処理装置１００が備えていてもよいし、画像処理装置１００の外部装置が備えるものであってもよい。尚、撮像デバイスが外部装置である場合は、画像取得部２０３は、データ通信装置１０８を介して画像を取得する。また、静止画像や切り出し画像は、外部のネットワークやサーバからデータ通信装置１０８を介して取得した画像であってもよい。ネットワークやサーバから取得した画像としては、ソーシャルネットワーキングサービス画像（以下、ＳＮＳ画像）が挙げられる。尚、ＣＰＵ１０１はＯＳのプログラムを実行することで、各画像に対して、画像データに付随するデータを解析し、画像の取得先である保存元を求める。但し、アプリケーションを介してＳＮＳから画像を取得することで、アプリケーション内で該画像の取得先を管理してもよい。尚、画像取得部２０３が取得する画像は、上述したものに限定されるものではなく、他の種類の画像であってもよい。

画像解析部２０４は、画像取得部２０３が取得した画像データを解析する。本実施形態では、画像の特徴量を導出し、画像内のオブジェクト判定、顔検出、検出した顔の表情認識、検出した顔の個人認識を実行する。さらに、画像解析部２０４は、ＨＤＤ１０４から取得した画像データに付随したデータ（例えば、Ｅｘｉｆ情報）を参照して、撮影日時の情報を取得する。尚、画像解析部２０４が画像データを解析した結果得られる情報を「解析情報」と呼ぶ。

主被写体設定部２０５は、アルバム毎に強調する主被写体を設定する。本実施形態では、主被写体設定部２０５は、アルバム作成条件設定部２０１から送られた、アルバム毎に強調する主被写体の情報を取得する。

画像得点部２０８は、アルバム作成条件設定部２０１により設定されたアルバム作成条件および画像解析部２０４で導出した解析情報に基づき、各画像に対して得点付けを行う。本実施形態では、レイアウトに適した画像が高得点になるように各画像に対して得点付けを行う。レイアウトに適した画像が高得点になるように得点付けを行う際は、画像の解析情報、画像の分類結果、画像情報、アルバム作成条件を用いる。但し、他の情報を付加的に或いは代替的に用いてもよい。レイアウトに適した画像とは、例えばコントラストが高い、エッジがシャープである、といった審美性が高い画像や、人や動物、建造物などの主題となる被写体（いわゆる主被写体）が大きく写っている画像が挙げられる。さらに、画像得点部２０８は、主被写体設定部２０５が設定した主被写体毎の得点付けも行う。例えば、非常に審美性が高い画像であっても、設定した主被写体が写っていない画像については、得点を低くする一方、逆光のような撮影状態の悪い画像であっても、設定した主被写体が大きく写っている画像については、得点を高くする。

シーン分割部２０６は、画像解析部２０４で導出した解析情報を用いて、画像取得部２０３で取得した画像群をシーン毎に分ける。ここでいう「シーン」とは、解析情報に応じてグルーピングした画像のまとまり（サブ画像群）を意味する。例えば、撮影時間の異なる２枚の画像に関し、撮影時間の差が所定の閾値以下の画像を同じシーンと判定したり、写っている人物や背景が同じ画像を同じシーンと判定したりする。

シーン分類部２０７は、シーン分割部２０６により得られたシーン毎に該当するカテゴリを判定する。シーンのカテゴリとして、例えば、屋内、屋外といったシチュエーションや、旅行や結婚式といった写真を撮影した時のイベント等が挙げられる。

見開き作成パラメータ生成部２０９は、主被写体設定部２０５で設定された主被写体と画像解析部２０４で導出した解析情報とに基づき、見開きを作成するためのパラメータを複数生成する。ここでいうパラメータとは、見開きの作成基準を決定づける設定値である。このようなパラメータとして、例えば、見開きに使用する画像を選択する際に用いられる、画像得点部２０８で得られた得点の優先度を決める重みや閾値が挙げられる。これは、主被写体設定部２０５で設定した主被写体が写っている画像の中から、特定の主被写体のみが写っている画像を優先するのか、或いは、２つ以上の主被写体が写っている画像を優先するのかを選択する設定値である。複数のパラメータを用いることで、アルバム毎の見開きによって、作成基準が変化する。

見開き作成部２１０は、見開き作成パラメータ生成部２０９が生成したパラメータに従って、見開きで使用する画像を選択および配置することで、見開きを作成する。

見開き結合部２１１は、見開き作成部２１０が作成した見開きを結合する。具体的には、見開き作成部２１０により作成された各見開きの順番を決定することで、アルバム全体のレイアウトを作成する。

レイアウト情報出力部２１２は、見開き結合部２１１が作成したアルバム全体のレイアウトに従って、レイアウト情報を出力する。レイアウト情報は、例えば、所定のレイアウトに従って各画像を配置したビットマップ形式の画像データである。

アルバム表示部２１３は、レイアウト情報出力部２１２が出力したレイアウト情報に基づいて、作成したアルバムの画像をディスプレイ１０５に表示する。

本実施形態におけるアルバム作成アプリケーションのプログラムが、画像処理装置１００にインストールされると、画像処理装置１００上で動作するＯＳ（オペレーティングシステム）のトップ画面（デスクトップ）上にこのアプリの起動アイコンが表示される。ユーザがディスプレイ１０５に表示されているデスクトップ上の起動アイコンをマウス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＡＭ１０３にロードされる。そして、ＲＡＭ１０３にロードされたプログラムがＣＰＵ１０１によって実行されて、アルバム作成アプリケーションが起動する。以上が、本実施形態における画像処理装置のソフトウェア構成についての内容である。

＜ＧＵＩ画面について＞
以下、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面について、図４を用いて説明する。図４は、起動したアルバム作成アプリケーションによって提供され、ディスプレイ１０５に表示されるＧＵＩ画面４０１を示す図である。ユーザは、ＧＵＩ画面４０１を介して、アルバムの作成条件を設定することができる。

ＧＵＩ画面４０１は、アルバムに含ませる写真画像の設定部として、パスボックス４０２及びフォルダ選択ボタン４０３を有する。パスボックス４０２は、アルバム作成の対象となる画像群のＨＤＤ１０４中の保存場所（パス）を示すためのボックスである。フォルダ選択ボタン４０３は、アルバム作成の対象とする画像群を含むフォルダを選択するためのボタンである。ユーザがフォルダ選択ボタン４０３をマウス１０７でクリックすると、複数フォルダから構成されるツリーが表示される。そして、アルバム作成の対象とする画像群を含むフォルダをユーザが選択すると、該選択したフォルダのフォルダパスがパスボックス４０２に表示される。

見開き数ボックス４０４は、１冊のアルバムにおける総見開き数を指定するためのボックスである。ユーザは、キーボード１０６を使って見開き数ボックス４０４に直接数字を入力したり、マウス１０７を使ってリストから見開き数ボックス４０４に数字を入力したりすることができる。アルバム数ボックス４１０は、作成するアルバム冊数を指定するためのボックスである。

主被写体指定部４０５は、アルバム数ボックス４１０に入力した数のアルバムそれぞれに対して、強調する主被写体を指定するための要素である。例えば、ユーザはマウス１０７を用いて、主被写体が写っている画像を主被写体指定部４０５にドラッグ＆ドロップすることで、主被写体を指定することができる。

見開き写真枚数設定部４０６は、作成するアルバムの各見開きに配置する画像の枚数を設定するためのスライダーバーである。スライダーが「多」側に移動されると、各見開きに配置する画像の枚数が増える。一方、スライダーが「少」側に移動されると、各見開きに配置する画像の枚数が減る。

商材指定部４０７は、作成するアルバムの商材を設定するための要素である。設定する商材に関する具体的な項目としては、アルバムのサイズ、アルバムの用紙種類を採用することができる。表紙種類や綴じ部の種類を設定してもよい。

ＯＫボタン４０８は、選択された条件をアルバム作成条件として決定するボタンである。ユーザがＯＫボタン４０８をマウス１０７でクリックすると、アルバム作成条件が確定し、アルバム作成条件設定部２０１を介して、自動レイアウト処理部２０２にアルバム作成条件が伝えられる。具体的に説明すると、パスボックス４０２に入力されているパスの情報は、画像取得部２０３に伝えられる。また、見開き数ボックス４０４に入力されている総見開き数の値は、見開き作成部２１０に伝えられる。アルバム数ボックス４１０に入力されているアルバム数の値および主被写体指定部４０５で指定されている主被写体の情報は、見開き作成パラメータ生成部２０９に伝えられる。

リセットボタン４０９は、表示画面上の各設定内容をリセットするためのボタンである。以上が、本実施形態におけるアルバム作成アプリケーションのＧＵＩ画面についての内容である。

＜自動レイアウト処理について＞
以下、本実施形態における自動レイアウト処理について、図５（ａ）を用いて説明する。図５（ａ）は、本実施形態に係るアルバム作成アプリケーションの自動レイアウトを実行する処理のフローチャートである。尚、図５（ａ）～（ｃ）に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に記憶されたプログラムをＲＯＭ１０２やＲＡＭ１０３に読み出して実行することにより実現される。

ステップＳ５０１において、アルバム作成条件設定部２０１は、アルバム作成条件を設定する。尚以下では、「ステップＳ～」を単純に「Ｓ～」と略記する。本実施形態では、アルバム作成条件として、アルバムに使用する画像群、見開き数、アルバム数、アルバム毎の主被写体、各見開きに配置する画像枚数の多寡、アルバムを作成する商材を設定する（図４参照）。

Ｓ５０２において、画像取得部２０３は、Ｓ５０１で設定されたアルバムに使用する画像群に関する条件を満たす画像を、ＨＤＤ１０４から読み込む。そして、画像取得部２０３は、読み込んだ画像をＲＡＭ１０３に展開する。

Ｓ５０３において、画像解析部２０４は、Ｓ５０２でＲＡＭ１０３に展開された画像を解析する。ここで、本ステップの画像解析について、図５（ｂ）を用いて説明する。

Ｓ５０３０１において、画像解析部２０４は、画像取得部２０３が取得した画像データに対応する撮影日時の情報を取得する。本実施形態では、各画像データに付随するＥｘｉｆ情報に基づき、撮影日時の情報を取得する。

Ｓ５０３０２において、画像解析部２０４は、画像取得部２０３が取得した画像データに対する画質の特徴量を導出する。画質の特徴量としては、例えば、ピント量が挙げられる。ピント量の判別手法として、エッジの検出手法を用いることができ、エッジの検出方法として、公知のソーベルフィルタを用いることができる。ソーベルフィルタで画像のエッジを検出し、エッジの始点と終点との間における輝度差を、始点と終点との間の距離で割ることで輝度勾配、即ちエッジの傾きを算出する。画像中のエッジの平均傾きを算出して、平均傾きが大きい画像は、平均傾きが小さい画像よりもピントが合っているみなすことができる。本実施形態では、算出したエッジの平均傾きの大きさを測るための複数の閾値を設定し、該算出したエッジの傾きが何れの閾値以上か判定することで、許容できるピント量か判定する。具体的には、異なる２つの傾き閾値として、第１の傾き閾値および第２の傾き閾値（尚、第１の傾き閾値＞第２の傾き閾値）を設定し、○△×の３段階でピント量を判別する。画像中のエッジの平均傾きが第１の閾値以上であれば、好適なピント量とする（○で表す）。また、画像中のエッジの平均傾きが第１の閾値未満且つ第２の閾値以上であれば、許容できるピント量とし（△で表す）、画像中のエッジの平均傾きが第２の閾値未満であれば許容できないピント量とする（×で表す）。

Ｓ５０３０３において、画像解析部２０４は、画像取得部２０３が取得した画像データに対し、オブジェクト検出および該検出したオブジェクトの分類を行う。本実施形態では、オブジェクトとして顔を検出する。顔の検出方法として、任意の公知方法を採用することができ、このような公知方法として例えば、複数用意した弱識別器から強識別器を作成するＡｄａＢｏｏｓｔが挙げられる。本実施形態では、ＡｄａＢｏｏｓｔにより作成した強識別器を用いて人物の顔を検出する。Ｓ５０３０３では、顔を検出すると共に、画像における該検出した顔の領域の左上座標値と右下座標値とを取得する。この２種の座標値を求めることにより、顔の位置および顔のサイズを特定することができる。更に、人物の顔と同様に、犬や猫等の動物と、料理とをそれぞれ検出するＡｄａＢｏｏｓｔも併せて実行することで、人物、動物、料理のオブジェクトを検出すると同時に、画像内のオブジェクトが何か分類することができる。尚、検出対象のオブジェクトは上記のものに限らず、花、建物、置物等であってもよい。また、ここでは、ＡｄａＢｏｏｓｔを用いてオブジェクトを分類するケースを説明したが、ディープニューラルネットワークによる画像認識を採用してもよい。

Ｓ５０３０４において、画像解析部２０４は、画像解析部２０４が検出した顔に対して個人認識を行う。まず、抽出した顔画像と、顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像との類似度を導出する。そして、導出した類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤを、抽出した顔画像に対応するＩＤに決定する。つまり、類似度が所定の閾値以上であり且つ最も類似度が高い個人ＩＤに対応する人物が、抽出した顔画像の人物として特定される。尚、個人ＩＤそれぞれに対して導出される類似度の全てが所定の閾値未満の場合、抽出した顔画像の人物を新規の人物とみなし、新規の個人ＩＤを割り振って、顔辞書データベースに登録する。顔辞書データベースは、例えばＨＤＤ１０４に格納されている。

図５（ａ）の説明に戻る。Ｓ５０４において、画像解析部２０４は、Ｓ５０１で設定された条件を満たす画像群の全画像に対して、Ｓ５０２からＳ５０３の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５０５に進む一方、該判定結果が偽の場合、Ｓ５０２に戻る。

Ｓ５０５において、シーン分割部２０６は、画像取得部２０３が取得した画像群に対して、シーン分割を実行する。シーン分割とは、取得した画像群を、複数のサブ画像群に分けることを指す。具体的には、Ｓ５０３０１で取得済みの撮影日時の情報を用いて、画像間の撮影日時の時間差に基づいて画像群を複数に分割する。実際の分割の例は以下の通りである。

画像群のうち、最も撮影時間が古い（または新しい）画像に最初に着目し、その次に古い（または新しい）画像との時間差を算出し、該算出した時間差が所定の閾値以上が判定する。このような処理を、着目画像を撮影時間が新しい（或いは古い）ものに順次置き換えながら、全ての画像に対して行う。尚、本実施形態における「分割」とは、２つの画像間を境に撮影時間の新しい方と古い方とで画像群を分割するという意味である。本実施形態では、着目画像の撮影時間とその次に古い（または新しい）画像の撮影時間との間の差分が１６時間以上の場合は、画像群を分割して、これらの画像が異なるサブ画像群に属するようにする。尚、分割の際に用いる時間差の閾値は、これに限定されるものではない。図６は、上述したシーン分割方法を用いて、画像群を分割した結果を示している。

また、本実施形態では、撮影日時の情報を用いてシーン分割を行ったが、用いる情報はこれに限らない。例えば、撮影位置の情報を用いて、撮影位置が近い画像同士が同一のシーンに属するように、画像群を分割してもよい。別の例として、個人認識結果を用いてもよい。例えば、卒業アルバムにおいて、あるグループ（クラスや部活等）に所属する生徒の画像を事前にアプリケーションに登録しておくことで、グループに所属する生徒が写っている画像をまとめた画像群を１つのシーン（サブ画像群）としてもよい。さらに別の例として、画像情報以外の情報を用いてもよい。ここでは類似するイベントを１つのシーンとしてまとめる方法を説明する。画像が保存されているフォルダ名や、ソーシャルネットワーキングサービス等で付けたタグ情報を画像に付随するメタ情報として取得する。例えば、「運動会」や「修学旅行」などの検索ワードによって、検索ワードを含むメタ情報を持つ画像群を１つのシーンとする。検索ワードの指定に関しては、アルバム作成条件設定部２０１を介してアプリケーションに予め組み込まれている検索ワードの中から、ユーザが選択してもよいし、テキストボックスに検索ワードを入力してもよい。

Ｓ５０６において、シーン分類部２０７は、Ｓ５０５で得たサブ画像群の夫々に対して、シーン分類を行う。尚、以下では、各サブ画像群（各シーン）を「旅行」、「日常」、「セレモニー」の３つカテゴリの何れかに分類する場合を例に挙げて説明するが、分類する項目はこれらに限定されるものではない。

まず、旅行、日常、セレモニーのうち何れに分類されるか予め判定されたサブ画像群を複数取得し、該取得した複数のサブ画像群の夫々についての、撮影の特徴量を取得する。ここで取得する撮影の特徴量とは、例えば、撮影期間、撮影枚数、撮影人数である。撮影期間は、画像群に含まれる画像のうち最も古い画像の撮影時間と最も新しい画像の撮影時間との間の時間差である。撮影枚数は、サブ画像群に含まれる画像の数（つまり写真の枚数）である。撮影人数は、顔が写っている画像における顔の数であり、１つの画像に含まれる顔の数である。そして、複数のサブ画像群に対して、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、１画像あたりの人数の平均値と標準偏差を求める。尚、本実施形態では、１画像あたりの顔の数が、１画像あたりの人数とする。

図７は、複数のサブ画像群に対して求めた、撮影期間（時間）の平均と標準偏差、撮影枚数の平均と標準偏差、１画像あたりの人数の平均と標準偏差の一例を示す。これらの求めた値は、アルバム作成アプリケーションのプログラムに予め組み込んでおく。つまり、アプリケーションの設計段階で、予め集めた画像を用いた学習によってパラメータを生成し、該生成したパラメータをプログラムに組み込んでおく。アルバム作成アプリケーションが起動された後、ユーザがパスボックス４０２を介して指定した画像群に対するＳ５０５での分割の結果得られたサブ画像群毎に、撮影期間と、撮影枚数と、１画像あたりの人数とのそれぞれの平均値を算出する。そして、シーン毎に、前述したアプリに予め組み込まれたパラメータ（具体的には、各サブ画像群の撮影期間、撮影枚数、撮影人数の特徴量についてのそれぞれの平均値と標準偏差）を用いて、以下の式に従って得点を算出する。

シーン毎且つ特徴量毎の得点＝５０－｜１０×（シーン毎且つ特徴量毎の平均値－サブ画像群毎の特徴量）／シーン毎且つ特徴量毎の標準偏差｜・・・式（１）

シーン毎の平均得点＝（シーン毎の撮影期間の得点＋シーン毎の撮影枚数の得点＋シーン毎の撮影人数の得点）／特徴量の項目数・・・式（２）

式（１）により、着目サブ画像群の、各シーンおよび各特徴量についての得点が求められる。例えば、旅行シーンについて、撮影期間と、撮影枚数と、撮影人数とのそれぞれの得点が求められる。これらの得点を式（２）により平均化して、旅行シーンに対する得点とする。同様に、日常、セレモニーという他のシーンについても得点が得られる。以上説明した手法により、旅行シーンの平均得点と、日常シーンの平均得点と、セレモニーシーンの平均得点とが、サブ画像群毎に算出される。尚、式（２）における特徴量の項目数は３である。

サブ画像群毎に算出したシーン毎の得点のうち最高点のシーンをそのサブ画像群のシーンとして分類する。２以上のシーンが同点の場合は、既定の優先度に従ってシーン分類を行う。例えば、本実施形態では、日常＞セレモニー＞旅行の順に優先することが予め決められており、日常の優先度を最も高くする。尚、優先度の順番はこれに限定されるものではなく、また、ユーザが優先度の順番を変更できるようにしてもよい。

図６のサブ画像群（１）～（８）は、画像群に対するシーン分割により得たサブ画像群を示す。これらサブ画像群のうちサブ画像群（５）について、撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であったとする。これに対する旅行の平均得点は４５．３２、日常の平均得点は１８．３８、セレモニーの平均得点は－２９．９２となる結果、サブ画像群（５）のシーンは旅行に分類される。分類したサブ画像群は、シーン識別ができるようにシーンＩＤを関連付けて管理する。尚、本実施形態では撮影期間、撮影枚数、撮影人数を、撮影の特徴量として採用するケースを説明したが、撮影の特徴量はこれらに限らない。例えば、屋内か屋外かを識別するために、機械学習を用いた画像セグメンテーションにより空が写っているか否か、といったフラグを特徴量として採用してもよい。或いは、セレモニーをさらに細かく分類してもよい。例えば、結婚式と披露宴との何れかに分類する場合、個人認識結果を用いて全画像中で最も多く写っている上位二人を新郎新婦とする。そして、新郎新婦のみが写っている写真が多いシーンを結婚式、新郎新婦以外の人も共に写っている写真が多いシーンを披露宴のように分類してもよい。さらには、特徴量を機械学習によって導出してもよい。例えば、分類したいシーンとそのシーンを表す画像群を用意し、Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）を用いて入力を画像、出力をシーン分類結果となる学習を行うことで、シーン分類を行ってもよい。

Ｓ５０７において、主被写体設定部２０５は、アルバム毎の主被写体を設定する。本実施形態では、アルバム作成条件設定部２０１から送信された、アルバム毎の主被写体の情報を取得する。ここでは説明のため、２種類のアルバムに対して、アルバム１に主被写体Ａ、アルバム２に主被写体Ｂを設定したとする。

Ｓ５０８において、画像得点部２０８は、各画像に対する得点付けを行う。この処理を画像得点化処理と呼ぶ。本ステップで導出する「得点」とは、アルバムへの使用適性を評価するためのパラメータであり、画像データ毎に後述する観点で評価した得点が付けられ、後述の画像選択時に参照される。本実施形態では、画質の良し悪しに加えて、Ｓ５０７で設定した主被写体毎の得点を付ける。まず、Ｓ５０３０２で導出した画質の特徴量に応じた得点を付ける。ここでは、ピント量が○（好適）なら１点、△（許容できる）なら０．５点、×（許容できない）なら０点とする。これにより、ピントが合っている画像の得点を高くすることができる。尚、本実施形態では、画質の特徴量としてピント量を採用したが、画質の特徴量はこれに限らない。例えば、画像サイズを用いてもよいし、撮影時に使用したレンズ情報などの撮影情報を用いてもよいし、アプリケーションに入力される画像の圧縮フォーマットを用いてもよい。

画質の特徴量に応じた得点を付けた後、画像得点部２０８は、設定した主被写体毎の得点を付ける。つまり本実施形態では、１つの画像に対して３種類の得点、具体的には、画質が良いか、主被写体Ａが写っているか、主被写体Ｂが写っているか、という３つの観点で評価した得点が付けられる。主被写体毎の得点付けには、Ｓ５０３０３で導出した顔のサイズおよびＳ５０３０４の個人認識結果を用いることができる。画像中に主被写体が写っていない場合は０点とし、写っている場合は、画像サイズに対して主被写体に設定した個人の顔が占める割合を、主被写体毎の得点とする。尚、本実施形態では、顔サイズを用いて主被写体毎の得点付けを行うが、顔サイズ以外のものを用いてもよい。例えば、主被写体である人の表情を判定し、笑顔であれば加点してもよい。また、人以外を主被写体に設定した場合には、Ｓ５０３０３でのオブジェクト検出および分類の結果を用いることで、オブジェクトサイズに応じて同様に得点付けを行う。

Ｓ５０９において、画像得点部２０８は、画像取得部２０３が取得した画像群の全画像に対してＳ５０８の得点付けが完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１０に進む一方、該判定結果が偽の場合、Ｓ５０８に戻る。

Ｓ５１０において、見開き作成パラメータ生成部２０９は、アルバム作成条件設定部２０１からアルバム作成条件を受け取ると共に、主被写体設定部２０５からアルバム毎の主被写体の情報を受け取って、見開き作成パラメータを生成する。見開き作成パラメータとは、後述する見開きを構成する画像の選択やレイアウトを行う際に使用する設定値のことである。例えば、Ｓ５０８で画像に付けた得点に基づいて見開きに使用する画像を選択する際、画質に応じた得点と各主被写体の得点とのうちどの得点を優先するかを制御する重みや、画像選択の基準となる閾値などを生成する。見開き作成パラメータ生成部２０９は、見開き作成パラメータとして、全てのアルバムに共通する「共通パラメータ」と、アルバム毎に異なる「個別パラメータ」とを生成する。即ち、見開き作成パラメータ生成部２０９は、（アルバム数＋１）個の見開き生成パラメータを生成する。これにより、見開きを構成する画像および配置が同一の見開きが、複数のアルバムにおいて出現する「共通見開き」と、見開きを構成する画像および配置が特定のアルバムにおいてのみ出現する「個別見開き」とを作成できる。本実施形態では、共通パラメータには、画像に付けられた各得点が均等に評価される重みを設定する。共通パラメータｗ_iを用いた際の、ある画像Ｉを代表する得点^Iｓｃｏｒｅ_Sを以下の式（３）で表す。

ここで、^Iｓｃｏｒｅ_iは画像Ｉに付けられたｉ番目の得点、ｗ_iは各得点に対する重みを表す。本実施形態では、ｗ_i＝１／３に設定することで、画質の得点、主被写体Ａの得点、主被写体Ｂの得点を均等に評価する。これにより、画質がよく、且つ、より得点の高い人が多く写っている画像が優先される。

一方、個別パラメータには、アルバム毎の主被写体が写っている画像を優先する重みを設定する。個別パラメータｗ_oを用いた際の、ある画像Ｉを代表する得点^Iｓｃｏｒｅ_Iを以下の式（４）で表す。

ここで、^Iｓｃｏｒｅ_qは画像Ｉに付けられた画質の得点、^Iｓｃｏｒｅ_oは画像Ｉに付けられた主被写体Ｏの得点、ｗ_qは画質の得点に対する重み、ｗ_oは主被写体Ｏに対する重みを表す。本実施形態では、ｗ_q＝ｗ_o＝１に設定することで、主被写体が写っている画像のみを評価し、画質と主被写体の大きさにより優先される画像が決まる。尚、本実施形態では見開き作成パラメータとして得点に対する重みを用いたが、見開きパラメータはこれに限らない。例えば、見開きパラメータに、作成する見開き数を含めてもよい。また、^Iｓｃｏｒｅ_Sと^Iｓｃｏｒｅ_Iとは共に主被写体が写っている場合に得点が高くなるように求めたが、これに限らない。風景のような主被写体が全く写っていない画像については、別途画質の得点や、画像情報などに基づいて、得点を算出してもよい。例えば、得点が高い画像との撮影時間の差が小さい画像については、画質の得点を代表得点としてもよい。これにより、主被写体が写っている写真と関連性がある可能性が高い画像にも高得点を付けることができる。

Ｓ５１１において、見開き作成部２１０は、Ｓ５１０で生成されたパラメータを用いてアルバムの見開きを作成する。ここで、本ステップの見開き作成処理について、図２（ｂ）及び図５（ｃ）を用いて説明する。図２（ｂ）は、見開き作成部２１０の詳細なブロック図である。図５（ｃ）は、Ｓ５１１における見開き作成の詳細なフローチャートである。

Ｓ５１１０１において、見開き作成パラメータ設定部２１００１は、Ｓ５１０で生成したパラメータのうち１つを読み込む。本実施形態では、アルバム１の個別パラメータ、アルバム２の個別パラメータ、共通パラメータの順に読み込む。

Ｓ５１１０２において、見開き候補画像取得部２１００２は、Ｓ５０８で付けられた得点と、Ｓ５１１０１で設定された見開き作成パラメータとに基づき、画像取得部２０３が取得した全画像群の中から、見開きに使用する候補画像を取得する。本実施形態では、Ｓ５０８で求めた得点と、Ｓ５１１０１で設定された見開き作成パラメータとに基づき、式（３）または式（４）に従い、各画像に対する得点付けを再び行う（画像の再得点化）。そして、再得点化の結果得られる得点が所定の閾値以上となる画像を候補画像として取得する。候補画像がない場合は、最も得点が高い画像を候補画像とする。尚、ここでは全画像群から候補画像を取得したが、これに限らない。後述する画像選択処理で既に選ばれた画像は除外してもよい。

Ｓ５１１０３において、見開き数設定部２１００３は、直近のＳ５１１０１で設定された見開き作成パラメータが個別パラメータか判定する。本ステップの判定結果が真の場合、Ｓ５１１０４に進む一方、該判定結果が偽の場合、Ｓ５１１０５に進む。

Ｓ５１１０３でＹＥＳの場合（つまり、直近のＳ５１１０１で個別パラメータが設定された場合）、Ｓ５１１０４において、見開き数設定部２１００３は、Ｓ５０５で行ったシーン分割結果と、Ｓ５１１０２で取得した候補画像とに基づき、見開き数を設定する。本実施形態では、以下の式（５）及び式（６）に従って、見開き数を設定する。

シーン毎の見開き数＝ｃｅｉｌ（シーン中の候補画像数÷１見開きあたりの最大画像数）・・・式（５）

個別見開き数＝Σシーン毎の見開き数・・・式（６）

式（５）及び式（６）により、個別パラメータにより作成される見開き数が求まる。１見開きあたりの最大画像枚数は、見開き写真枚数設定部４０６を介するユーザ入力に基づいて設定される。尚、個別見開き数がＳ５０１で設定される総見開き数以上になる場合、以下の式（７）に従う。

個別見開き数＝総見開き数－１・・・式（７）

式（６）及び式（７）により、個別見開き数を総見開き数より１以上小さくすることができる。これにより、個別パラメータと共通パラメータという異なるパラメータで作成された見開きを１アルバム中に混在させることができる。これにより、シーン毎に、主被写体がよく写っている画像数に応じて個別見開き数を設定できる。尚、個別見開き数に対する上限値、下限値を設定してもよい。

一方、Ｓ５１１０３でＮＯの場合（つまり、直近のＳ５１１０１で共通パラメータが設定された場合）、Ｓ５１１０５において、見開き数設定部２１００３は、以下の式（８）に従って、見開き数を設定する。

共通見開き数＝総見開き数－ＭＩＮ（各アルバムの合計個別見開き数）・・・式（８）

式（８）により、個別見開き数と総見開き数との両方に合わせた共通見開き数を設定できる。

尚、ここでは、候補画像数に応じて見開き数を設定するケースを説明したが、見開き数の設定手法はこれに限らない。例えば、見開き作成パラメータ生成部２０９がパラメータ内に見開き数を設定し、見開き数設定部２１００３はパラメータに設定された見開き数を読み込んでもよい。また例えば、見開き作成パラメータ生成部２０９は、アルバム作成アプリケーションのプログラムに予め組み込んでおいた見開き数を設定してもよいし、ユーザ指定の個別見開きと共通見開きとの比率に基づいて、見開き数を算出してもよい。

Ｓ５１１０６において、見開き割当部２１００４は、Ｓ５１１０２で取得した候補画像を、Ｓ５１１０４またはＳ５１１０５で設定した見開き数分のサブ画像群に分割して割り当てる。本実施形態では、候補画像をＳ５０３０１で取得した撮影時間順に並べ、隣り合う画像間の撮影時間の時間差が大きい場所で分割する。このような処理をＳ５１１０４またはＳ５１１０５で設定した見開き数分に分割するまで行う。つまり、（見開き数－１）回の分割を行う。これにより、画像配置基準を撮影時間とする、撮影時間順に画像が並んだアルバムを作成することができる。

Ｓ５１１０７において、見開き画像選択部２１００５は、Ｓ５１１０６で処理対象の見開きに割り当てられた候補画像群の中から、レイアウトに使用する画像を選択する。以下、図８を用いて、ある見開きに割り当てられた候補画像群から画像を４枚選択するケースを例に挙げて説明する。尚、ここでは、見開きとは、２ページを指し、最初の見開き及び最後の見開きは、１ページとする。

図８において、（Ａ）は、見開きに割り当てられた候補画像群に含まれる最初の画像から最後の画像のまでの撮影日時の時間差、言い換えれば、候補画像群の撮影期間を示す。図８の（Ｂ）を使って、４枚選択する際の１枚目を選択する方法を説明する。図８の（Ｂ）に示す候補画像群の撮影期間に撮影された全ての画像のうち、Ｓ５１１０２で再得点化した得点が最も高い画像を、１枚目の画像として選択する。そして、２枚目以降の選択では、候補画像群の撮影期間を細分化して画像を選択することにより、候補画像群の撮影期間の一部に選択画像が集中しないようにする。まず、図８の（Ｃ）に示すように候補画像群の撮影期間を２分割して、２つの撮影区間（期間）とする。つまり、撮影期間を２等分して２つの撮影区間にする（グループ分けする）。次に、図８の（Ｄ）に示すように、１枚目の画像が選ばれていない撮影区間（実線の区間）に属する画像の中から得点が最も高い画像を、２枚目の画像として選択する。次に、図８の（Ｅ）に示すように、（Ｄ）の各撮影区間をそれぞれ２等分する。図８の（Ｆ）において実線で示す撮影区間、即ち、１枚目と２枚目が選ばれていない２つの撮影区間に撮影された画像（２つの撮影区間に対応する画像）のうち得点が最も高い画像を、３枚目の画像として選択する。次に、画像を選択する範囲の撮影区間に画像が存在せず、画像選択できないケースを４枚目の画像選択を例に挙げて説明する。本実施形態では、画像の枚数に関わらず、時間に応じて撮影期間を分割している。従って、分割して得られた撮影区間に画像が存在しない場合がある。例えば、図８の（Ｇ）に示すように、まだ画像が選ばれていない撮影区間（斜線で示す撮影区間）から４枚目を選択したいが、この撮影区間には画像が存在しないとする。このような場合は、図８の（Ｈ）に示すように、画像を選択済みの各撮影区間をそれぞれ２分割する。次に、図８の（Ｉ）に示すように、図中に実線で示す１～３枚目が選ばれていない撮影区間に撮影された画像の中から得点が最も高い画像を、４枚目の画像として選択する。尚、選択する枚数が４枚から増減した場合についても、前述と同様に画像を選択する。

図５（ｃ）の説明に戻る。Ｓ５１１０８において、テンプレート設定部２１００６は、ＨＤＤ１０４に保存されているテンプレートの中から、レイアウトに利用する複数のテンプレートを選択的に設定する。本ステップでは、Ｓ５０１で設定されたアルバム作成条件を満たすデザインのテンプレートが設定される。

Ｓ５１１０９において、見開きレイアウト部２１００７は、処理対象の見開きに対する画像レイアウトを決定する。具体的には、見開きレイアウト部２１００７は、Ｓ５１１０８で設定された複数のテンプレートの中から、Ｓ５１１０７で選択された画像をレイアウトするのに適したテンプレートを決定する。ここで、本ステップにおけるテンプレート決定の方法について、図９を用いて説明する。図９は、テンプレート決定に関する機能ブロック図である。

選択画像情報取得部９０１は、見開き画像選択部２１００５で選択された画像の枚数と、該画像に関する情報とを取得する。取得する画像情報は、画像の幅と高さ、撮影日時情報、画像得点部２０８により算出された得点である。テンプレート選択部９０２は、選択画像枚数と一致するスロット数を持つテンプレートを、テンプレート設定部２１００６で設定されたテンプレートの中から選択する。選択画像ソート部９０３は、選択画像を撮影時間順にソートする。テンプレート選択部９０４は、テンプレート選択部９０２で選択されたテンプレートの内、メイン画像を配置するメインスロットが撮影時間順に並べたメイン画像の順と一致するテンプレートを選択する。ここで「メイン画像」とは、見開き画像として選択された複数の画像のうち、Ｓ５１１０２の再得点化の結果得られる得点が最も得点が高い画像であり、その一方で、該複数の画像のうちメイン画像でない画像を「サブ画像」とする。このテンプレート選択の際、順番に加え、メイン画像のアスペクト比とメイン画像を配置するスロットのアスペクト比も一致していることが選択条件となる。本実施形態では、テンプレートの左上に撮影時間のより古い画像、右下に撮影時間のより新しい画像をレイアウトするものとする。テンプレート選択部９０５は、テンプレート選択部９０４で選択されたテンプレートの内、サブ画像を配置するスロットが撮影時間順に並べたサブ画像の順と一致し、画像とスロットのアスペクト比が一致しているテンプレートを選択する。図１０は、テンプレート決定処理のフローチャートである。

Ｓ１００１において、選択画像情報取得部９０１は、選択画像情報を取得する。本ステップで取得する選択画像情報には、選択画像数が含まれる。ここでは説明のため、選択画像数は３であるものとする。

Ｓ１００２において、テンプレート選択部９０２は、選択画像数とスロット数とが一致するテンプレートを選択する。ここでは、Ｓ１００１で取得した選択画像数３であったと仮定し、スロット数が３のテンプレートが選択されたものとする。以下、本ステップにて、図１１に示す（１－１）～（４－４）のテンプレートが選択されたケースを例に挙げて説明する。

Ｓ１００３において、選択画像ソート部９０３は、選択画像を撮影時間順に並べる。ここでは、選択画像を撮影時間順に並べた結果、図１１の（Ａ）に示す関係が得られたとする。また、画像１１０５がメイン画像であり、画像１１０６及び画像１１０７がサブ画像とする。

Ｓ１００４において、テンプレート選択部９０４は、撮影順に並べた際のメイン画像の配置位置とメイン画像用スロット（メインスロットとする）の配置位置とが一致し、且つ、メイン画像とメインスロットとのアスペクト比が一致するテンプレートを選択する。ここでは、画像１１０５は、撮影時間が一番新しく且つメインスロット用の画像であるため、図１１の（３－１）～（３－４）のテンプレートが候補となる。

Ｓ１００５において、テンプレート選択部９０５は、サブ画像とサブ画像用のスロット（サブスロットとする）とのアスペクト比が一致するテンプレートを選択する。図１１の例では、サブスロット用の古い方の画像１１０６、即ち、左上に配置したい画像が縦画像で、サブスロット用の新しい方の画像１１０７が横画像である。従って、（３－２）のテンプレートが、選択された３枚の画像に最も適したテンプレートとして決まる。このようにＳ５１１０９では、レイアウトに用いるテンプレートと、テンプレートの何れのスロットに何れの画像をレイアウトするかを識別できる情報が決定する。

図５（ｃ）の説明に戻る。Ｓ５１１１０において、見開きレイアウト部２１００７は、処理対象の見開き全てに対して、Ｓ５１１０７～Ｓ５１１０９の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１１１１に進む一方、該判定結果が偽の場合、Ｓ５１１０７に戻る。

Ｓ５１１１１において、見開き作成パラメータ設定部２１００１は、Ｓ５１０で生成された全パラメータに対してＳ５１１０１～Ｓ５１１１０の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１２に進む一方、該判定結果が偽の場合、Ｓ５１１０１に戻る。

図５（ａ）の説明に戻る。Ｓ５１２において、見開き結合部２１１は、見開き作成部２１０により作成された各見開きに対するアルバム内での見開き番号を決定し、アルバム全体のレイアウトを作成する。本実施形態では、見開き配置基準を見開きに配置された画像の撮影時間とし、画像が撮影時間順になるように見開きを並べる。なお、ページ単位で配置を設定する場合、見開き配置基準に替えてページ配置基準としてもよい。

以下、Ｓ５１２の見開き結合について、図１２及び図１３を用いて詳細に説明する。図１２は、本実施形態における見開き結合部２１１の詳細な構成を示すブロック図である。図１３は、見開き結合部２１１が実行する処理のフローチャートである。

Ｓ１３０１において、見開き取得部１２０１は、見開き作成部２１０により作成された見開きのうち、１つのアルバムに関する見開きを取得する。本実施形態では、例えば本ステップで取得するアルバム１に関する見開きとは、共通パラメータで作成された見開きと、アルバム１の個別パラメータで作成された見開きとを含む。

Ｓ１３０２において、ソート基準値算出部１２０２は、見開き取得部１２０１が取得した各見開きに対して、ソートの基準となる値を算出する。本実施形態では、ソートの基準値を見開きに配置された画像の平均撮影時間とする。尚、ソートの基準値は撮影時間に限らない。例えば、見開きに配置された画像の平均撮影位置（緯度経度）としてもよいし、画像枚数でもよいし、色ヒストグラムのように画像解析情報を用いてもよい。

Ｓ１３０３において、ソート部１２０３は、見開き取得部１２０１が取得した見開きを、ソート基準値算出部１２０２が算出したソート基準値に基づいてソートする。本実施形態では、平均撮影時間が早い見開きから昇順に並べる。

Ｓ１３０４において、見開き数調整部１２０４は、アルバムの見開き数がＳ５０１で設定した総見開き数と同じか判定する。本ステップの判定結果が真の場合、Ｓ１３０６に進む。一方、本ステップの判定結果が偽の場合、つまり、Ｓ５１１０３で各アルバムの見開き数が総見開き数以上に設定された結果、アルバムの見開き数が総見開き数を超過した場合、Ｓ１３０５に進む。

Ｓ１３０５において、見開き数調整部１２０４は、見開き取得部１２０１が取得した見開きのうち、不要な見開きを削除することで、アルバムの見開き数がＳ５０１で設定された総見開き数に近づくように調整する。本実施形態では、共通見開きを削除することで見開き数を調整する。具体的には、アルバム内にある共通見開きのうち、ソート基準値算出部１２０２が算出した見開きの撮影時間が、個別見開きの撮影時間に最も近い共通見開きを削除する。削除した後、Ｓ１３０４に移行する。尚、本実施形態では共通見開きを削除したがこれに限らない。個別見開きを削除することで見開き数の合計を調整してもよい。なお、Ｓ１３０４において、Ｓ１３０１で取得された見開き数が総見開き数に満たないことも考えられる。この場合、Ｓ１３０５において、共通見開き、または個別見開きを追加する処理が実行されてもよい。例えば、個別見開きを追加する場合、見開き結合部２１１または見開き作成部２１０は、当該アルバムに対する個別パラメータがＳ５１１０１で設定されたときにＳ５１１０２において取得された候補画像を再度取得する。そして、Ｓ５１００７において選択されていなかった画像から、追加される個別見開きに配置する画像（例えば、より得点が高い画像）を選択する。そして、作成された追加の個別見開きに含まれる画像の撮影時間の平均を求め、Ｓ１３０３でソートされた複数の見開きに追加する。例えば、追加後の複数の見開きの順序が平均撮影時間の順序に沿うような位置に、追加の個別見開きを追加する。共通見開きを追加する場合も同様に、見開き結合部２１１または見開き作成部２１０は、共通パラメータがＳ５１１０１で設定されたときにＳ５１１０２において取得された候補画像から追加の共通見開きを作成、追加する。

Ｓ１３０６において、見開き取得部１２０１は、全てのアルバムに対してＳ１３０１～Ｓ１３０５の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１３に進む一方、該判定結果が偽の場合、１３０１に戻る。これにより、アルバム全体を通して画像を撮影時間順に並べることができる。以上が、本実施形態における自動レイアウト処理についての内容である。

＜本実施形態の効果について＞
図２９は、本実施形態の効果を説明するための図であり、本実施形態で作成される複数のバリエーションのアルバムの例を示す。詳しく説明すると、図２９は、被写体Ａ～Ｃ用のアルバムとしてアルバム１～３が作成され、アルバム１における主被写体は被写体Ａに、アルバム２における主被写体は被写体Ｂに、アルバム３における主被写体は被写体Ｃに、それぞれ設定されたケースを示す。

ここで、総見開き数が４に設定されているものとする。またアルバム１、アルバム３のそれぞれについて、図５（ｃ）のＳ５１１０４が実行されたときに、式（５）により個別見開き数が１に設定され、アルバム２についてＳ５１１０４が実行されたときには、式（５）により個別見開き数が２に設定されたとする。この場合、Ｓ５１１０１において共通パラメータが設定され、Ｓ５１１０５が実行されたとき、式（８）における「ＭＩＮ（各アルバムの合計個別見開き数）」は「１」となる。そして、総見開き数が「４」であるため、式（８）により、共通見開き数は３となる。

そのため、図５（ａ）のＳ５１１において、アルバム１～３について３つの共通見開きが作成され、またアルバム１、３については１つの個別見開き、アルバム２については、２つの個別見開きが作成される。そして、図１３のＳ１３０１～Ｓ１３０３により、アルバム１～３のそれぞれについて、図２９に示すように、共通見開きと個別見開きを合わせたアルバムが作成される。アルバム１、３については、見開き数が総見開き数と同じ４であるため、図１３のＳ１３０４が実行されない。しかし、アルバム２については、見開き数が５であるため、図１３のＳ１３０４が実行される。

図２９は、上記の処理が実行された結果を示しており、共通見開き２９０１は、取得した見開きの数が総見開き数を超過したため調整された結果（図１３のＳ１３０４でＮＯ→Ｓ１３０５）、最終的にアルバム２で使われなかった共通見開きを表現している。

図２９に示すように、本実施形態で作成されるバリエーションのアルバムに関して、総見開き数は、アルバムに依って変わることがなく、常に同一である。図２９の例では、総見開き数は、アルバムに依らず４である。

また、上述ようにアルバムに依って個別見開き数が変わることが許容される。さらに、アルバム毎の個別見開きの位置も変わることが許容される。即ち、図１３のＳ１３０３では、共通見開き、個別見開きが混在している状態でソートが行われる。そのため、各アルバムの個別見開きの平均撮影時間によって、各アルバムで個別見開きが配置される位置が異なる場合がある。

図２９の例では、アルバム１とアルバム３との個別見開き数が１である一方、アルバム２の個別見開き数が２である。各アルバムにおいて、個別見開きは時系列順に並べられる。

また、Ｓ１３０５ではアルバムによって共通見開きの削除が行われるため、アルバムに依って共通見開き数が変わることが許容される。図２９の例では、アルバム１とアルバム３との共通見開き数が３である一方、アルバム２の共通見開き数が２である。

即ち、本実施形態によれば、共通見開きの数、並びに、個別見開きの数および位置をアルバム毎に自動で設定することが可能となる。

［第２の実施形態］
本実施形態では、少なくとも２つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。アルバム毎の総見開き数および個別見開き数、並びに、個別見開きの位置は、画像群及び設定に応じて変化する。見開きおよび見開き内に配置される画像は、撮影時間順に並べる。

＜自動レイアウト処理について＞
以下、本実施形態における自動レイアウト処理について、図１４（ａ）、（ｂ）及び図１５（ａ）～（ｃ）を用いて説明する。図１４（ａ）、（ｂ）は、本実施形態における自動レイアウト処理に関わる機能構成を示すブロック図である。図１５（ａ）～（ｃ）は、本実施形態における自動レイアウト処理を説明するためのフローチャートである。尚、前述の実施形態と同じ符号で表す処理に関しては（図５参照）、前述の実施形態の処理と同じであるため、ここでは説明を割愛する。

Ｓ１５０１において、見開き作成部１４０１は、Ｓ５１０で生成されたパラメータを用いてアルバムの見開きを作成する。ここで、本ステップの見開き作成について、図１５（ｃ）を用いて説明する。

Ｓ１５０１０１において、見開き数設定部１４０１０１は、Ｓ５０５で行ったシーン分割結果と、Ｓ５１１０２で取得した候補画像とに基づき見開き数を設定する。本実施形態では、以下の式（９）及び式（１０）に従って、見開き数を設定する。

シーン毎の見開き数＝ｃｅｉｌ（シーン中の候補画像数÷１見開きあたりの最大画像数）・・・式（９）

見開き数＝Σシーン毎の見開き数・・・式（１０）

式（９）及び式（１０）により、シーン毎に、主被写体がよく写っている画像数に応じた見開き数を設定できる。

図１５（ｃ）と図５（ｃ）における処理の違いとして、図５（ｃ）では、Ｓ５１１０５における式（８）により、共通見開き数が個別見開き数を考慮して求められていた。しかし、図１５（ｃ）では、共通見開き数についても、式（１０）により求められる。

Ｓ１５０２において、見開き結合部１４０２は、見開き作成部１４０１により作成された各見開きに対するアルバム内での見開き番号を決定し、アルバム全体のレイアウトを作成する。本実施形態では、見開きに配置された画像の撮影時間に基づき、画像が撮影時間順になるように見開きを並べる。以下、Ｓ１５０２の見開き結合について、図１６及び図１７を用いて詳細に説明する。図１６は、本実施形態における見開き結合部１４０２の詳細な構成を示すブロック図である。図１７は、見開き結合部１４０２が実行する処理のフローチャートである。

Ｓ１３０１において、見開き取得部１２０１は、見開き作成部１４０１により作成された見開きのうち、１つのアルバムに関する見開きを取得する。本実施形態では、例えば本ステップで取得するアルバム１に関する見開きとは、共通パラメータで作成された見開きと、アルバム１の個別パラメータで作成された見開きとを含む。

Ｓ１３０２において、ソート基準値算出部１２０２は、見開き取得部１２０１が取得した各見開きに対して、各見開きを代表する撮影時間を算出する。本実施形態では、見開きを代表する撮影時間を、見開きに配置された画像の撮影時間の平均とする。

Ｓ１３０３において、ソート部１２０３は、見開き取得部１２０１が取得した見開きを、ソート基準値算出部１２０２が算出した見開きの撮影時間に基づいてソートする。本実施形態では、見開きを撮影時間が早いものから昇順に並べる。

Ｓ１７０１において、見開き取得部１２０１は、全てのアルバムに対してＳ１３０１～Ｓ１３０３の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１３に進む一方、該判定結果が偽の場合、Ｓ１３０１に戻る。これにより、アルバム全体を通して画像を撮影時間順に並べることができる。以上が、本実施形態における自動レイアウト処理についての内容である。

図１３と図１７の処理の違いは、図１７では、図１３のＳ１３０５における見開き数調整が実行されていない点にある。即ち、本実施形態では、個別見開き、共通見開きがそのまま最終的な見開きに採用される。そのため、アルバム間における個別見開き数の違いにより、総見開き数がアルバムごとに異なることが許容される。

＜本実施形態の効果について＞
図３０は、本実施形態の効果を説明するための図であり、本実施形態で作成される複数のバリエーションのアルバムの例を示す。詳しく説明すると、図３０（ａ）は、被写体Ａ～Ｂ用のアルバムとして、アルバム１～２が作成され、アルバム１における主被写体は被写体Ａに設定され、アルバム２における主被写体は被写体Ｂに設定されたケースを示している。また図３０（ｂ）は、被写体Ａ～Ｃ用のアルバムとして、アルバム１～３が作成され、アルバム１における主被写体は被写体Ａに、アルバム２における主被写体は被写体Ｂに、アルバム３における主被写体は被写体Ｃに、夫々設定されたケースを示している。

本実施形態では、作成するバリエーションのアルバムに関し、アルバムに依って総見開き数が変わることを許容する。但し、図３０（ａ）の例では、総見開き数は、アルバムに依らず４であり、図３０（ｂ）の例では、総見開き数は、アルバムに依らず３である。

また、アルバムに依って個別見開き数が変わることを許容し、アルバム毎の個別見開きの位置も変わることを許容する。但し、図３０（ａ）の例では、アルバム１とアルバム２との個別見開き数は１であり、図３０（ｂ）の例では、アルバム１～３との個別見開き数は１である。各アルバムにおいて、個別見開きは時系列順に並べられる。

また、共通見開き数は、アルバムに依って変わることがなく、常に同一である。図３０（ａ）に示すように、アルバム１とアルバム２との共通見開き数は３である。また、図３０（ｂ）に示すように、アルバム１～３の共通見開き数は２である。

本実施形態によれば、アルバムの総見開き数、並びに、個別見開きの数および位置をアルバム毎に自動で設定することが可能となる。

［第３の実施形態］
本実施形態では、少なくとも２つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。全てのアルバムに対する共通見開きと個別見開きとの数を揃える。但し、個別見開きの位置は、アルバム毎に画像群及び設定に応じて変化することを許容する。見開きおよび見開き内に配置される画像は、撮影時間順に並べられる。

＜自動レイアウト処理について＞
以下、本実施形態における自動レイアウト処理について、図１８（ａ）、（ｂ）及び図１９（ａ）～（ｃ）を用いて説明する。図１８（ａ）、（ｂ）は、本実施形態における自動レイアウト処理に関わる機能構成を示すブロック図である。図１９（ａ）～（ｃ）は、本実施形態における自動レイアウト処理を説明するためのフローチャートである。尚、前述の実施形態と同じ符号で表す処理に関しては、前述の実施形態と同じ処理であるため、ここでは説明を割愛する。

Ｓ１９０１において、見開き作成部１８０１は、Ｓ５１０で生成されたパラメータを用いてアルバムの見開きを作成する。ここで、本ステップの見開き作成処理について、図１９（ｃ）を用いて説明する。

Ｓ１９０１０１において、見開き数算出部１８０１０１は、Ｓ５１０で生成したパラメータに基づき、各見開き作成パラメータで作成する見開き数を算出し、各見開き作成パラメータを更新する。具体的には、各見開き作成パラメータに該算出した見開き数を設定する。以下、本実施形態における見開き数算出部１８０１０１が実行する処理について、図２０を用いて説明する。

Ｓ２００１において、見開き作成パラメータ設定部２１００１は、Ｓ５１０で生成したパラメータのうち、見開き数を揃えるパラメータの１つを読み込む。本実施形態では、アルバム１の個別パラメータとアルバム２の個別パラメータとを順に読み込む。

Ｓ２００２において、見開き候補画像取得部２１００２は、Ｓ５０８で付けられた得点と、Ｓ２００１で設定された見開き作成パラメータとに基づき、候補画像をＳ５１１０２と同様の手法で取得する。

Ｓ２００３において、見開き数算出部１８０１０１は、Ｓ２００２で取得した候補画像に基づいて、個別見開き数候補を算出する。本実施形態では、以下の式（１１）に従って、個別見開き数候補を算出する。

個別見開き数候補＝ｃｅｉｌ（候補画像数÷１見開きあたりの最大画像数）・・・式（１１）

式（１１）を用いて算出する個別見開き数候補は、候補画像数に応じて増減する。

Ｓ２００４において、見開き数算出部１８０１０１は、見開き数を揃える対象のパラメータ全てに対してＳ２００１～Ｓ２００３の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ２００５に進む一方、該判定結果が偽の場合、Ｓ２００１に戻る。

Ｓ２００５において、見開き数算出部１８０１０１は、Ｓ２００３で算出した個別見開き数候補群に基づき、見開き数を決定する。本実施形態では、個別見開き数候補のうち最小の見開き数を選択する。これにより、候補画像が少ないパラメータに合わせて同数の個別見開きを作成できる。また、共通パラメータにより作成される共通見開き数は、以下の式（１２）に示すように、個別パラメータにより作成する個別見開き数と、Ｓ５０１で設定される総見開き数とに基づいて、従属的に決まる。

共通見開き数＝総見開き数－個別見開き数・・・式（１２）

Ｓ２００６において、見開き数算出部１８０１０１が、Ｓ２００５で決定した見開き数を、Ｓ５１０で生成したパラメータに追加して、見開き作成パラメータを更新する。

即ち、Ｓ１９０１０１（図２０）における処理によれば、共通見開き数、個別見開き数が、全てのアルバムで同一になるよう設定される。その上で、図１９（ｃ）のＳ５１１０１以降の処理により、共通見開き、個別見開きが作成される。

また、このように見開きが作成される前に、Ｓ１９０１０１において個別見開き数と共通見開き数とを調整するので、Ｓ５１２におけるＳ１３０４およびＳ１３０５のように、見開き作成後の見開き数の調整は不要である。

図１９（ｃ）の説明に戻る。Ｓ１９０１０２において、見開き数設定部１８０１０２は、Ｓ５１１０１で読み込んだ見開き作成パラメータから、Ｓ１９０１０１で設定された見開き数を読み込む。

Ｓ１９０１０３において、見開き割当部１８０１０３は、Ｓ５１１０２で取得した候補画像を、Ｓ１９０１０２で設定した見開き数分のサブ画像群に割り当てる。そして、本実施形態ではさらに、この割り当てたサブ画像群の中から、画像得点の平均が高いものから順に、直近のＳ５１１０１で設定された見開き作成パラメータに含まれる見開き数分のサブ画像群を選択する。

尚、本実施形態では、見開き数を候補画像数に応じて設定したが、見開き数の設定手法はこれに限らない。例えば、アルバム作成アプリケーションのプログラムに予め組み込んでおいた比率によって、個別見開き数と共通見開き数を設定してもよい。具体的には、個別見開き数：共通見開き数＝１：４に設定した場合、Ｓ５０１で設定した総見開き数が１０であれば、個別見開き数は２、共通見開き数は８にする。また別の例として、Ｓ５０６のシーン分類結果によって見開き数を決めてもよい。例えば、シーン分類結果が結婚式である場合を考える。新郎新婦を主被写体に設定した個別パラメータで２見開き、親族または友人を主被写体に設定した個別パラメータで１見開き、共通パラメータで７見開きの計１０見開きのように、シーンに応じた個別見開き数を複数設定してもよい。上記の例においては、見開き数算出部１８０１０１が、見開き数に加えて、見開き数に合うように候補画像を取得するための閾値を増減させてもよい。例えば、Ｓ２００１で取得した見開き作成パラメータでは１枚の候補画像しか取得できないが、見開き数は２以上作成したい場合を考える。見開き候補画像取得部２１００２が２枚以上の候補画像を取得できるまで、選択の基準となる得点の閾値を下げる。変更した閾値も見開き数と同様にＳ５１０で生成したパラメータに追加して、見開き作成パラメータを更新する。これにより、ユーザが要求する見開き数に応じた候補画像を取得できる。以上が、本実施形態における自動レイアウト処理についての内容である。

＜本実施形態の効果について＞
図３１は、本実施形態の効果を説明するための図であり、本実施形態で作成される複数のバリエーションのアルバムの例を示す。詳しく説明すると、図３１（ａ）は、被写体Ａ～Ｂ用のアルバムとして、アルバム１～２が作成され、アルバム１における主被写体は被写体Ａに設定され、アルバム２における主被写体は被写体Ｂに設定されたケースを示している。また図３１（ｂ）は、被写体Ａ～Ｃ用のアルバムとして、アルバム１～３が作成され、アルバム１における主被写体は被写体Ａに、アルバム２における主被写体は被写体Ｂに、アルバム３における主被写体は被写体Ｃに、夫々設定されたケースを示している。

本実施形態では、作成するバリエーションのアルバムに関し、総見開き数は、アルバムに依って変わることがなく、常に同一である。図３１（ａ）の例では、総見開き数は、アルバムに依らず３であり、図３１（ｂ）の例では、総見開き数は、アルバムに依らず２である。

また、個別見開き数は、アルバムに依って変わることがなく、常に同一である。図３１（ａ）の例では、アルバム１とアルバム２との個別見開き数は２であり、図３１（ｂ）の例では、アルバム１～３との個別見開き数は１である。各アルバムにおいて、個別見開きは時系列順に並べられる。

また、共通見開き数は、アルバムに依って変わることがなく、常に同一である。図３１（ａ）の例では、アルバム１とアルバム２との共通見開き数は１であり、図３１（ｂ）の例では、アルバム１～３の共通見開き数は１である。

即ち、見開き作成前に、Ｓ１９０１０１において個別見開き数と共通見開き数とが設定され、その上で見開き作成が行われる。よって、個別見開き数、共通見開き数、総見開き数をアルバム間で同一とすることができるとともに、見開き作成後の見開き数調整を不要とすることができる。

［第４の実施形態］
本実施形態では、少なくとも２つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。全てのアルバムに対する共通見開きと個別見開きとの数および位置を揃える。共通見開きおよび見開き内に配置される画像は、撮影時間順に並べる。個別見開きの位置は、撮影時間に依らず、画像により決定する。

＜自動レイアウト処理について＞
以下、本実施形態における自動レイアウト処理について、図２１（ａ）、（ｂ）及び図２２（ａ）～（ｃ）を用いて説明する。図２１（ａ）、（ｂ）は、本実施形態における自動レイアウト処理に関わる機能構成を示すブロック図である。図２２（ａ）～（ｃ）は、本実施形態における自動レイアウト処理を説明するためのフローチャートである。尚、前述の実施形態と同じ符号で表す処理に関しては、前述の実施形態と同じ処理であるため、ここでは説明を割愛する。

Ｓ２２０１において、見開き作成部２１０１は、Ｓ５１０で生成されたパラメータを用いてアルバムの見開きを作成する。ここで、本ステップの見開き作成処理について、図２２（ｃ）を用いて説明する。

Ｓ２２０１０１において、見開き数設定部２１０１０１は、Ｓ５１１０１で読み込んだ見開き作成パラメータから、Ｓ１９０１０１で設定された見開き数を読み込む。即ち、第３の実施形態で説明したように、Ｓ１９０１０１における処理により、共通見開き数、個別見開き数、総見開き数がアルバム間で同一になるよう設定される。

Ｓ２２０１０２において、見開き割当部２１０１０２は、Ｓ５１１０２で取得した候補画像を、Ｓ２２０１０１で設定した見開き数分のサブ画像群に分割して割り当てる。本実施形態では、直近のＳ５１１０１で設定された見開き作成パラメータが共通パラメータの場合、候補画像をＳ５０３０１で取得した撮影時間に基づき分割する。一方、直近のＳ５１１０１で設定された見開き作成パラメータが個別パラメータの場合、候補画像をＳ５０８で付けた得点に基づき分割する。

具体的には、直近のＳ５１１０１で設定された見開き作成パラメータが共通パラメータの場合、候補画像をＳ５０３０１で取得した撮影時間順に並べ、隣り合う画像間の時間差が最も大きい場所で分割する。このような分割処理をＳ２２０１０１で設定した見開き数分に分割するまで行う。つまり、（見開き数－１）回の分割を行う。これにより、撮影時間順に画像が並んだアルバムを作成することができる。尚、後述する通り、１つの見開き内では、画像は撮影時間の順に並んでいなくてもよい。

また、直近のＳ５１１０１で設定された見開き作成パラメータが個別パラメータの場合、得点が高い候補画像から順に各見開きに割り当てる。例えば見開き数が３の場合、候補画像は得点が高い画像から、見開き１、見開き２、見開き３、見開き１、見開き２、・・・のように割り当てる。これにより、各見開きに得点が高い画像が均等に割り当てられる結果、各見開きは時系列によらず、主被写体にとってよい画像をバランスよく配置できる。

図２２（ａ）の説明に戻る。Ｓ２２０２において、見開き結合部２１０２は、見開き作成部２１０１により作成された各見開きに対するアルバム内での見開き番号を決定し、アルバム全体のレイアウトを作成する。本実施形態では、撮影時間に基づき作成された共通見開きについては、撮影時間順になるように並べる。一方、得点に基づき作成された個別見開きについては、共通見開きの時間差が大きくなる位置に挿入する。

以下、Ｓ２２０２の見開き結合について、図２３及び図２４を用いて説明する。図２３は、見開き結合部２１０２の詳細な構成を示すブロック図である。図２４は、見開き結合部２１０２が実行する処理のフローチャートである。

Ｓ２４０１において、見開き取得部２３０１は、見開き作成部２１０１により作成された見開きのうち、１つのアルバムに関する見開きを取得する。本実施形態では、例えば本ステップで取得するアルバム１に関する見開きとは、共通パラメータで作成された共通見開きと、アルバム１の個別パラメータで作成された個別見開きとを含む。

Ｓ２４０２において、ソート基準値算出部２３０２は、見開き取得部２３０１が取得した各見開きに対して、各見開きを代表する撮影時間を算出する。本実施形態では、見開きを代表する撮影時間を、見開きに配置された画像の撮影時間の平均、最小、最大の３つとする。

Ｓ２４０３において、ソート部２３０３は、見開き取得部２３０１が取得した見開きを、ソート基準値算出部２３０２が求めた見開きの撮影時間に基づきソートする。本実施形態では、共通見開きを、撮影時間の平均が古いものから昇順に並べる。

Ｓ２４０４において、個別見開き挿入部２３０４は、見開き取得部２３０１が取得した見開きのうち、個別見開きの見開き番号を決める。本実施形態では、Ｓ２４０３でソートした共通見開きに対して、共通見開き間の撮影時間差が最大の位置に個別見開きを挿入する。Ｎ番目の共通見開きと、Ｎ＋１番目の共通見開きとの撮影時間差は以下の式（１３）に従って算出する。

Ｎ＋１番目の共通見開きの最小撮影時間－Ｎ番目の共通見開きの最大撮影時間・・・式（１３）

式（１３）により、撮影時間差が大きい（即ち、シーンが変わっている可能性が高い）位置に個別見開きを挿入できる。ここで、Ｓ１９０１０１における処理により、アルバム間において共通見開きの数は同一となっており、また当然に、共通見開きの内容もアルバム間で同一である。そのため、式（１３）により求められた撮影時間差により特定される、個別アルバムが挿入される位置も、アルバム間で同一とすることができる。

尚、ここでは、撮影時間差が最大の共通見開き間に全ての個別見開きを挿入するケースを説明したが、個別見開きの挿入手法は、これに限らない。例えば、撮影時間差がｉ番目に大きい共通見開き間にはｉ番目の個別見開きを挿入する、というように、ばらばらの位置に個別見開きを入れてもよい。また、全ての共通見開きの前あるいは全ての共通見開きの後のように、時間差に依らず共通見開きが分断されない位置に個別見開きを挿入してもよい。

Ｓ２４０５において、見開き取得部２３０１は、全てのアルバムに対してＳ２４０１～Ｓ２４０４の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１３に進む一方、該判定結果が偽の場合、Ｓ２４０１に戻る。これにより、全てのアルバムで同じ見開き番号の位置に共通見開き及び個別見開きを配置できる。以上が、本実施形態における自動レイアウト処理についての内容である。

＜本実施形態の効果について＞
図３２は、本実施形態の効果を説明するための図であり、本実施形態で作成される複数のバリエーションのアルバムの例を示す。詳しく説明すると、図３２は、被写体Ａ～Ｂ用のアルバムとして、アルバム１～２が作成され、アルバム１における主被写体は被写体Ａに設定され、アルバム２における主被写体は被写体Ｂに設定されたケースを示している。

本実施形態では、作成するバリエーションのアルバムに関し、総見開き数は、アルバムに依って変わることがなく、常に同一である。図３２の例では、総見開き数は、アルバムに依らず４である。

また、個別見開き数は、アルバムに依って変わることがなく、常に同一である。図３２の例では、アルバム１とアルバム２との個別見開き数は１である。各アルバムにおいて、個別見開きは時系列順に並んでいない。

また、共通見開き数は、アルバムに依って変わることがなく、常に同一である。図３２の例では、アルバム１とアルバム２との共通見開き数は３である。

ここで、図３２は、共通見開きの後に個別見開きを入れる例を示している。ただし、式（１３）を用いた、共通見開きの間を個別見開きの挿入位置とする方法を採用した場合、図３２に示す３つの共通見開きにおける２つの挿入位置の何れかに、個別見開きが挿入される。

このように本実施形態によれば、アルバムの見開き数および個別見開きの位置を自動で揃えることが可能となる。

［第５の実施形態］
本実施形態では、少なくとも２つのアルバムに共通する見開きと、各アルバムで個別の見開きとを作成する。総見開き数はユーザ指定に従い全アルバムで同一であるが、アルバム毎の共通見開きと個別見開きとのそれぞれの数は、画像群及び設定により変化する。また、共通見開きおよび見開き内に配置される画像は、撮影時間順に並べ、個別見開きの位置は、全てのアルバムで揃える。

＜自動レイアウト処理について＞
以下、本実施形態における自動レイアウト処理について、図２５（ａ）、（ｂ）及び図２６（ａ）～（ｃ）を用いて説明する。図２５（ａ）、（ｂ）は、本実施形態における自動レイアウト処理に関わる機能構成を示すブロック図である。図２６（ａ）～（ｃ）は、本実施形態における自動レイアウト処理を説明するためのフローチャートである。尚、前述の実施形態と同じ符号で表す処理に関しては、前述の実施形態と同じ処理であるため、ここでは説明を割愛する。

Ｓ２６０１において、見開き作成部２５０１は、Ｓ５１０で生成されたパラメータを用いてアルバムの見開きを作成する。ここで、本ステップの見開き作成処理について、図２６（ｃ）を用いて説明する。

Ｓ２６０１０１において、見開き割当部２５０１０１は、Ｓ５１１０２で取得した候補画像を、Ｓ５１１０３で設定した見開き数分のサブ画像群に分割して割り当てる。本実施形態では、直近のＳ５１１０１で設定された見開き作成パラメータが共通パラメータの場合、候補画像をＳ５０３０１で取得した撮影時間に基づき分割する。一方、直近のＳ５１１０１で設定された見開き作成パラメータが個別パラメータの場合、候補画像をＳ５０８で付けた得点に基づき分割する。

具体的には、直近のＳ５１１０１で設定された見開き作成パラメータが共通パラメータの場合、候補画像をＳ５０３０１で取得した撮影時間順に並べ、隣り合う画像間の時間差が大きい場所で分割する。このような分割処理をＳ５１１０３で設定した見開き数分に分割するまで行う。つまり、（見開き数－１）回の分割を行う。これにより、撮影時間順に画像が並んだアルバムを作成することができる。尚、後述する通り、１つの見開き内では、画像は撮影時間の順に並んでいなくてもよい。

また、直近のＳ５１１０１で設定された見開き作成パラメータが個別パラメータの場合、得点が高い候補画像から順に各見開きに割り当てる。例えば見開き数が３の場合、候補画像は得点が高い画像から、見開き１、見開き２、見開き３、見開き１、見開き２、・・・のように割り当てる。これにより、各見開きに得点が高い画像が均等に割り当てられる結果、各見開きは時系列によらず、主被写体にとってよい画像をバランスよく配置できる。

図２６（ａ）の説明に戻る。Ｓ２６０２において、見開き結合部２５０２は、見開き作成部２５０１により作成された各見開きに対するアルバム内での見開き番号を決定し、アルバム全体のレイアウトを作成する。本実施形態では、撮影時間に基づき作成された共通見開きについては、撮影時間順になるように並べる。一方、得点に基づき作成された個別見開きについては、共通見開きの時間差が大きくなる位置に挿入する。

以下、Ｓ２６０２の見開き結合処理について、図２７及び図２８を用いて説明する。図２７は、見開き結合部２５０２の詳細な構成を示すブロック図である。図２８は、見開き結合部２５０２が実行する処理のフローチャートである。

Ｓ２６０２０１において、ソート部２５０２０１は、見開き取得部１２０１が取得した見開きのうち共通見開きを、ソート基準値算出部１２０２が求めたソート基準値に基づきソートする。本実施形態では、共通見開きを撮影時間が早いものから昇順に並べる。

Ｓ２８０４において、見開き数調整部２５０２０２は、アルバムの見開き数がＳ５０１で設定した総見開き数と同じか判定する。本ステップの判定結果が真の場合、Ｓ１３０６に進む。一方、本ステップの判定結果が偽、つまり、Ｓ５１１０３で各アルバムの見開き数が総見開き数以上に設定された結果、アルバムの見開き数が総見開き数を超えた場合、Ｓ２６０２０２に進む。

Ｓ２６０２０２において、見開き数調整部２５０２０２は、見開き取得部１２０１が取得した見開きのうち、不要な見開きを削除することで、アルバムの見開き数がＳ５０１で設定した総見開き数に近づくように調整する。本実施形態では、共通見開きを削除することで見開き数を調整する。具体的には、まず、アルバム内にある共通見開きのうち、ソート基準値算出部１２０２が算出した見開きの撮影時間が隣接する共通見開きと最も近い共通見開きを選ぶ。次に、これら隣接する２つの共通見開きのうち、見開き中に配置されている画像の得点の合計が小さい見開きを削除する。削除した後、Ｓ２８０４に移行する。これにより、共通見開きのうち時間が近い（つまり、同じシーンの可能性が高い）見開きから順に削除される。尚、ここでは、撮影時間に基づいて、削除する共通見開きを選ぶケースを説明したが、削除する見開きの選択手法はこれに限らない。画像の得点が小さい共通見開きを選んでもよいし、個別見開きを削除して総見開き数を調整してもよい。

Ｓ２６０２０３において、個別見開き挿入部２５０２０３は、見開き取得部１２０１が取得した見開きのうち、個別見開きの見開き番号を決める。本実施形態では、Ｓ２６０２０１でソートした共通見開きに対して、共通見開き間の撮影時間が最大の位置に全ての個別見開きを挿入されるように、見開き番号を決める。Ｎ番目の共通見開きと、Ｎ＋１番目の共通見開きとの間の時間差は式（１３）を用いて算出する。尚、本実施形態では時間差が最大となる共通見開き間に全ての個別見開きを挿入したが、個別見開きの挿入手法はこれに限らない。例えば、全ての共通見開きの前あるいは全ての共通見開きの後のように、時間差によらず共通見開きが分断されない位置に個別見開きを挿入してもよい。

Ｓ１３０６において、見開き取得部１２０１は、全てのアルバムに対してＳ１３０１～Ｓ２６０２０３の処理が完了したか判定する。本ステップの判定結果が真の場合、Ｓ５１３に進む一方、該判定結果が偽の場合、Ｓ１３０１に戻る。これにより、全てのアルバムにおいて、同じ見開き番号で開始する位置に個別見開きを配置できる。

上述のように、Ｓ２６０２０１では、共通見開きがソートされるが、個別見開きについてはソートされない。そして、アルバムにより、Ｓ２６０２０２において共通見開きが削除されるか否か、また削除される数が異なる。従って本実施形態によれば、総見開き数はアルバム間で同一となるが、共通見開き数の数、個別見開き数の数はアルバム間で異なることが起こり得る。また、個別見開きは撮影時間に沿わない順序で配置され得る。

以上が、本実施形態における自動レイアウト処理についての内容である。

＜本実施形態の効果について＞
図３３は、本実施形態の効果を説明するための図であり、本実施形態で作成される複数のバリエーションのアルバムの例を示す。図３３は、被写体Ａ～Ｃ用のアルバムとして、アルバム１～３が作成され、アルバム１における主被写体は被写体Ａに、アルバム２における主被写体は被写体Ｂに、アルバム３における主被写体は被写体Ｃに、夫々設定されたケースを示している。

本実施形態では、作成するバリエーションのアルバムに関し、総見開き数は、アルバムに依って変わることがなく、常に同一である。図３３の例では、総見開き数は、アルバムに依らず４である。

また、アルバムに依って個別見開き数が変わることを許容する。図３３の例では、アルバム１とアルバム３との個別見開き数は１である一方、アルバム２の個別見開き数は２である。各アルバムにおいて、個別見開きは、時系列順に並んでいない。

また、アルバムに依って共通見開き数が変わることを許容する。図３３の例では、アルバム１とアルバム３との共通見開き数は３である一方、アルバム２の共通見開き数は２である。

本実施形態によれば、アルバムの総見開き数および個別見開きの位置を自動で揃えることが可能となる。

［その他の実施形態］
上述の実施形態では、印刷時の一対のページに相当する見開きに画像をレイアウトする例について説明した。しかしこれに限らず、印刷時の単一のページに画像をレイアウトする場合であってもよい。即ち、画像がレイアウトされるのが、見開き、印刷時の単一のページのいずれの場合であってもよく、画像がページにレイアウトされるものに、上述の実施形態を適用することができる。例えば、上述の実施形態における共通見開き、個別見開きも、見開きである必要はなく、より広い概念として、アルバム間で共通の共通ページ、アルバムごとに個別の個別ページとして読み替えることができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。尚、前述した第１～第６の実施形態について、各実施形態の構成を適宜組み合わせて用いてもよい。

１００ 画像処理装置
１２０４ 見開き数調整部

Claims (17)

1. 複数のページを含むアルバムを生成する装置であって、
   アルバム毎に複数のページを作成する作成手段
   を備え、
   前記複数のページは、複数のアルバムに共通する共通ページと、アルバム毎に設定された主被写体に対応した個別ページとを含み、
   前記作成手段は、前記複数のアルバムにおける前記個別ページの数がアルバム毎に異なる場合であっても、前記複数のアルバムにおいて前記複数のページの数が同じになるように、前記複数のページを作成する
   ことを特徴とする装置。
2. アルバム毎に、前記複数のアルバムにおける前記個別ページの数がアルバム毎に異なり且つ作成された前記共通ページと前記個別ページの合計数がユーザの指示に基づく総ページ数を超過した場合、前記共通ページの一部を削除することで前記複数のページの数を調整する調整手段をさらに備えたことを特徴とする請求項１に記載の装置。
3. 前記アルバム毎に、前記個別ページの数を変えることが許容されることを特徴とする請求項１又は２に記載の装置。
4. 前記作成手段は、
   アルバムに使用する候補画像を取得する取得手段と、
   前記候補画像を解析して、前記候補画像のそれぞれに対して第１の得点を算出する解析手段と、
   前記候補画像のそれぞれに対して、前記第１の得点と前記複数のアルバムに共通の共通ページの作成基準とに基づき第２の得点を算出し、前記第１の得点とアルバム毎に異なる個別ページの作成基準のそれぞれとに基づき第３の得点を算出する再得点化手段と、
   を含み、
   前記作成手段は、前記候補画像から前記第２の得点に基づき選択された画像を含む共通ページと、前記候補画像から前記第３の得点に基づき選択された画像を含む個別ページとを作成することを特徴とする請求項１乃至３の何れか１項に装置。
5. 前記共通ページの作成基準及び前記個別ページの作成基準を生成する生成手段
   をさらに備え、
   前記個別ページの作成基準は、少なくともアルバム毎に着目する主被写体であり、
   前記共通ページの作成基準は、全ての前記主被写体である
   ことを特徴とする請求項４に記載の装置。
6. 前記第１の得点は、前記候補画像のそれぞれに対する画質に関する得点とアルバム毎の主被写体に関する得点とを含むことを特徴とする請求項４又は５に記載の装置。
7. 前記再得点化手段は、前記候補画像のそれぞれに対して、前記共通ページの作成基準で指定された前記主被写体に関する得点と前記画質に関する得点とに基づき前記第２の得点を算出し、前記個別ページの作成基準で指定された前記主被写体に関する得点と前記画質に関する得点とに基づき前記第３の得点を算出することを特徴とする請求項６に記載の装置。
8. 作成された複数のページの数がユーザ指定の総ページ数を超過した場合、全アルバムにおいて、
   前記複数のアルバムの前記個別ページの数を、前記個別ページの数が前記複数のアルバムのうちの最小の前記個別ページの数と前記総ページ数より１以上小さい数との小さい方とし、
   前記共通ページの数を、前記総ページ数から前記個別ページの数を引いた数とする
   ように、作成された前記共通ページ及び前記個別ページを削除する調整手段をさらに備えたことを特徴とする請求項４乃至７の何れか１項に記載の装置。
9. 前記共通ページ及び前記個別ページに配置される前記候補画像は、所定の画像配置基準に基づき配置されることを特徴とする請求項４乃至８の何れか１項に記載の装置。
10. 前記所定の画像配置基準は、画像の撮影時間、前記第２の得点及び前記第３の得点の少なくとも何れか１つであることを特徴とする請求項９に記載の装置。
11. 前記所定の画像配置基準は、前記共通ページと前記個別ページとで異なることを特徴とする請求項９又は１０に記載の装置。
12. アルバム毎に、前記共通ページとアルバム毎の前記個別ページとを、所定のページ配置基準に基づき配置するページ配置手段をさらに備えたことを特徴とする請求項４乃至１１の何れか１項に記載の装置。
13. 前記ページ配置手段は、前記個別ページを、前記共通ページに含まれる前記候補画像の平均撮影時間に基づき決められた前記共通ページの間に配置することを特徴とする請求項１２に記載の装置。
14. 前記共通ページの作成基準及び前記個別ページの作成基準を含むアルバム作成条件を入力させるためのＧＵＩを提示する提示手段をさらに備えたことを特徴とする請求項１乃至１３の何れか１項に記載の装置。
15. 前記複数のページのそれぞれは、アルバムが印刷されたときに一対のページとなる、見開きであることを特徴とする請求項１乃至１４の何れか１項に記載の装置。
16. 複数のページを含むアルバムを生成する方法であって、
    アルバム毎に複数のページを作成するステップ
    を備え、
    前記複数のページは、複数のアルバムに共通する共通ページと、アルバム毎に設定された主被写体に対応した個別ページとを含み、
    前記作成するステップは、前記複数のアルバムにおける前記個別ページの数がアルバム毎に異なる場合であっても、前記複数のアルバムにおいて前記複数のページの数が同じになるように、前記複数のページを作成する
    ことを特徴とする方法。
17. コンピュータに、請求項１６に記載の方法を実行させるための、プログラム。

Images