JP7187986B2 - 情報処理装置 - Google Patents

Description

本発明は、アルバム作成処理を行う情報処理装置に関する。

例えば、カメラは、家族やイベントの撮影に用いられる。近年では、ディジタルカメラやカメラ機能付のスマートフォンをカメラとして用いることが多い。カメラにより得られた画像データは、プリントされる。特許文献１には、ネットワークを用いて写真の画像データをプリントする技術の一例が記載されている。

具体的に、特許文献１には、コンピューターがサーバーに保管された画像データおよびテンプレート画像データ（背景画像）にネットワーク経由でアクセスし、顧客による画像データおよびテンプレート画像データの加工処理の入力および加工処理により得られる画像データについてのプリントサービスの注文の入力を受け付け、注文情報を生成し、注文情報をサーバーに送信するプリント注文方法が記載されている。注文情報は、画像データについてのプリントービスの注文内容を含む。また、注文情報は、テンプレート画像データに備えた空白領域に画像データを挿入する加工処理手順を含む（特許文献１：請求項１）。

特開２００７－２８７１６１号公報

情報処理装置に写真の画像データを保存することがある。この場合、カメラの写真の画像データが情報処理装置に転送される（写真データの取り込み）。そして、情報処理装置が記憶する写真の画像データを用いて、アルバムを作成したいと考える場合がある。例えば、こどものためのアルバムを作成したい場合がある。この場合、アルバムの各ページには、複数枚の写真の画像データが貼りつけられる。しかし、写真の画像データを貼りつけるだけだと殺風景であるという問題がある。アルバムを華やかにするには、使用者がアルバムを編集、加工する必要がある。作業に大きな時間と手間を要する場合がある。

特許文献１記載の技術では、テンプレート画像に画像データが貼りつけられた用紙が印刷される。テンプレート画像に写真の画像データを貼りつけるだけでは、注文の結果、得られる印刷物が十分に華やかになるとは限らない。特許文献１記載の技術では、上記の問題を十分に解決できない。

本発明は、上記問題点を鑑み、自動的に写真にコメントを付し、使用者が編集する手間をかけなくても、楽しく華やかなアルバムを得られるようにすることを課題とする。

本発明に係る情報処理装置は、記憶部と処理部を含む。前記記憶部は、複数の写真データと、複数のコメントを記憶する。前記処理部は、前記記憶部に記憶される写真データを選択する。前記処理部は、選択した前記写真データを配置して、アルバムの印刷に用いられるアルバムページデータを生成する。前記処理部は、前記アルバムページデータ内の前記写真データに囲み画像を付す。前記処理部は、前記記憶部が記憶する前記コメントの中から前記写真データに付す前記コメントを選択する。前記処理部は、前記囲み画像内に選択した前記コメントを含めることにより、前記写真データに前記コメントを付す。

本発明によれば、アルバムページデータ内のそれぞれの写真データに自動的にコメントを付すことができる。使用者が編集する手間をかけなくても、コメント入りの楽しく華やかなアルバムを得ることができる。

実施形態に係る情報処理装置の一例を示す図である。 実施形態に係る情報処理装置でのアルバムデータの作成の基本的な流れの一例を示す図である。 実施形態に係る情報処理装置を用いたアルバムデータの設定の一例を示す図である。 実施形態に係る情報処理装置でのアルバムページデータの基本設定の一例を示す図である。 実施形態に係る情報処理装置でのアルバムページデータへの写真データの配置の一例を示す図である。 実施形態に係る情報処理装置での写真データへのコメントの付加の一例を示す図である。 実施形態に係るコメントが付されたアルバムページデータの一例を示す。 実施形態に係るコメントの一例を示す図である。 実施形態に係るアルバムページデータの編集の一例を示す図である。

以下、図１～図９を用いて、本発明の実施形態に係る情報処理装置１００を説明する。また、本説明では、情報処理装置１００として、ＰＣ（コンピューター）を用いる場合を説明する。情報処理装置１００は、複合機のような画像形成装置でもよい。本実施形態の説明に記載されている構成、配置等の各要素は、発明の範囲を限定せず単なる説明例にすぎない。また、以下では、写真の画像データ（写真の画像ファイル）を写真データ８と称する。例えば、画像データは、ＪＰＥＧやＲＡＷ形式のファイルである。

（情報処理装置１００）
図１を用いて、実施形態に係る情報処理装置１００の一例を説明する。図１は、実施形態に係る情報処理装置１００の一例を示す図である。

情報処理装置１００は、処理部１、記憶部２、ディスプレイ３、入力デバイス４、通信部５、外部メモリーインターフェイス６を含む。

処理部１は複数の回路、素子を含む電子回路基板である。処理部１は、例えば、ＣＰＵや画像処理用の回路を含む。記憶部２はＯＳ、データ、プログラム、各種ソフトウェアを不揮発的に記憶する。記憶部２はフラッシュＲＯＭ、ＨＤＤ、ＲＡＭを含む。処理部１は、ＯＳ、データ、プログラム、各種ソフトウェアに基づき、情報処理装置１００の動作を制御する。処理部１は、記憶部２の記憶内容に従って、情報処理装置１００の各部を制御する。

処理部１は、画面、情報をディスプレイ３に表示させる。ディスプレイ３は、例えば、液晶パネル又は有機ＥＬパネルを含む。入力デバイス４は使用者の操作を受け付ける。入力デバイス４は、例えば、キーボードやマウスである。入力デバイス４はタッチパネルでもよい。入力デバイス４の出力に基づき、処理部１は操作内容を認識する。

通信部５は通信回路、通信用ソフトウェアを含む。通信部５は処理部１の指示に応じて写真印刷装置２００と通信する。写真印刷装置２００は、アルバムページデータ７に基づきアルバムを印刷する。写真印刷装置２００は、例えば、プリンターや複合機である。

情報処理装置１００の記憶部２には、アルバム作成用ソフトウェア２１がインストールされる。情報処理装置１００は、アルバム作成用ソフトウェア２１を用いて、アルバムデータ２２を生成する。アルバムデータ２２は、１又は複数ページ分のアルバムページデータ７を含む。アルバムページデータ７には、複数枚の写真データ８が配置される。処理部１は、写真印刷装置２００に向けて、アルバムデータ２２を通信部５に送信させる。写真印刷装置２００は、受信したアルバムデータ２２に基づき、アルバムを印刷する。

外部メモリーインターフェイス６は、写真の画像データ（写真データ８、写真のファイル）を記憶するカメラ６１や携帯型メモリー６２と情報処理装置１００を接続するためのインターフェイスである。処理部１は、外部メモリーインターフェイス６に接続されたカメラ６１や携帯型メモリー６２から写真データ８を読み出し、記憶部２に不揮発的に記憶させる（転送する）ことができる。入力デバイス４は、カメラ６１や携帯型メモリー６２に記憶された写真データ８のうち、転送する写真データ８の選択を受け付ける。処理部１は、選択された写真データ８を読み出し、記憶部２に記憶させる。このように記憶部２は写真データ８を記憶する。

（アルバムデータ２２の作成）
次に、図２を用いて、実施形態に係る情報処理装置１００でのアルバムデータ２２の作成の流れの一例を説明する。図２は、実施形態に係る情報処理装置１００でのアルバムデータ２２の作成の基本的な流れの一例を示す図である。

上述のように、アルバムの作成者は、情報処理装置１００でアルバム作成用ソフトウェア２１を起動させる。作成者は、情報処理装置１００を用いてアルバムデータ２２を作成できる。アルバムデータ２２の作成処理は、例えば、以下のような段階を経る。

例えば、（１）アルバムデータ２２の初期設定→（２）アルバムページデータ７の基本設定→（３）アルバムページデータ７への写真データ８の配置→（４）写真データ８へのコメント９付加のよう流れとなる。以下、各段階を説明する。

（アルバムデータ２２の初期設定）
次に、図３を用いて、実施形態に係る情報処理装置１００を用いたアルバムデータ２２の設定の一例を説明する。図３は、実施形態に係る情報処理装置１００を用いたアルバムデータ２２の設定の一例を示す図である。

入力デバイス４はアルバム作成用ソフトウェア２１の起動を受け付ける。処理部１は、アルバム作成用ソフトウェア２１を起動させる。図３のスタートは、処理部１がアルバム作成用ソフトウェア２１を起動した時点である。

処理部１は、まず、作成するアルバムデータ２２（アルバムページデータ７）のページ数を設定するための第１設定画面をディスプレイ３に表示させる（ステップ♯１１）。入力デバイス４は、アルバムデータ２２のページ数の設定を受け付ける（ステップ♯１２）。ページ数の設定後、処理部１は、アルバムデータ２２に含める写真（写真データ８）の総枚数を設定するための第２設定画面をディスプレイ３に表示させる。入力デバイス４は、総枚数の設定を受け付ける（ステップ♯１４）。

次に、処理部１は、アルバムデータ２２に含める写真データ８を選択するため第３設定画面をディスプレイ３に表示させる（ステップ♯１５）。例えば、処理部１は、記憶部２が記憶する写真データ８（画像ファイル）の一覧画面をディスプレイ３に表示させる。処理部１は、記憶部２が記憶するファイルのうち、画像データに用いられる形式のファイルを写真データ８として抽出する。処理部１は、抽出したそれぞれの写真データ８を縮小してサムネイル画像を生成する。処理部１は、一覧画面内に生成したサムネイル画像を表示させる。アルバム作成者は、入力デバイス４を用いて、サムネイル画像を選択する。入力デバイス４は、サムネイル画像の選択を受け付ける。入力デバイス４は、サムネイル画像の選択を、写真データ８の選択として受け付ける（ステップ♯１６）。選択できる写真データ８の最大数は、設定された総枚数である。これにより、アルバムデータ２２の作成に関する初期設定が完了する（エンド）。

（アルバムページデータ７の基本設定）
次に、図４を用いて、実施形態に係る情報処理装置１００でのアルバムページデータ７の基本設定の一例を説明する。図４は、実施形態に係る情報処理装置１００でのアルバムページデータ７の基本設定の一例を示す図である。

図４のスタートは、アルバムデータ２２の初期設定が完了した時点である（図３のフローチャートの終了時点）。まず、処理部１は、初期設定に基づき、アルバムページデータ７を生成する。具体的に、処理部１は、設定されたページ数と同じ数だけアルバムページデータ７を生成する（ステップ♯２１）。アルバムデータ２２のページ数が５ページのとき、処理部１は、５ページのアルバムページデータ７を生成する。

次に、処理部１は、１つのアルバムページデータ７に配置する写真データ８の枚数を決定する（ステップ♯２２）。これにより、アルバムページデータ７の基本設定が完了する（エンド）。処理部１は、初期設定で設定された写真データ８の総枚数に基づき、各アルバムページデータ７に含める写真データ８の枚数を決定する。例えば、処理部１は、写真データ８の総枚数をアルバムページデータ７のページ数で除して、１枚のアルバムページデータ７に含める写真データ８の枚数を決定する。例えば、写真データ８の総枚数が２０枚、アルバムデータ２２のページ数が５ページのとき、処理部１は、１ページに含める写真データ８の枚数を４ページ（２０÷５）と決定する。写真データ８の総枚数を、アルバムデータ２２のページ数で除して余りがあるとき、処理部１は、余りと同じ数のアルバムページデータ７を選択する。選択したアルバムページデータ７に含める写真データ８の枚数を除数＋１枚とする。処理部１は、選択しなかったアルバムページデータ７に含める写真データ８の枚数を除数と同じ数にする。

（アルバムページデータ７への写真データ８の配置）
次に、図５を用いて、実施形態に係る情報処理装置１００でのアルバムページデータ７への写真データ８の配置の一例を説明する。図５は、実施形態に係る情報処理装置１００でのアルバムページデータ７への写真データ８の配置の一例を示す図である。

まず、ページ内の写真データ８の基本的なレイアウトは予め決まっている。ページ内に配する写真データ８の枚数に応じて、配置位置が決まる。例えば、アルバムページデータ７に４枚の写真データ８を配置するとき、処理部１は、２列２行でページ内に写真データ８を配置する。また、例えば、アルバムページデータ７に２枚の写真データ８を配置するとき、処理部１は、１列、または、１行でページ内に写真データ８を配置する。また、例えば、アルバムページデータ７に３枚の写真データ８を配置するとき、処理部１は、Ｖ字状に写真データ８を配置する。なお、アルバムページデータ７が複数ページのとき、処理部１は、先頭側のページから写真データ８を配置してゆく。

図５のスタートは、アルバムページデータ７の基本設定が完了した時点（図４のフローチャートが完了した時点）である。まず、処理部１は、初期設定で（第３設定画面）で選択された写真データ８（作成者が選択した写真データ８）と、記憶部２に記憶され、選択されていない写真データ８に写る人物を判定するための処理を行う（ステップ♯３１）。例えば、処理部１は、記憶部２に記憶される写真データ８の全てについて、写っている人物を判定する。

人物判定のための処理では、処理部１は、写真データ８ごとに、顔画像の検出、顔画像の切り出し、特徴データの生成を行う。まず、処理部１は、各写真データ８（作成者が選択した写真データ８と未選択の写真データ８）のそれぞれについて、顔画像を検出する。例えば、処理部１は、予め記憶部２に記憶される標準的な顔画像とのパターンマッチングによって顔画像を検出してもよい。また、処理部１は、写真データ８中、肌色の画素領域を認識に基づき、顔画像を検出してもよい。この場合、処理部１は、肌色の画素領域のうち、顔のパーツを示す色を含む肌色の画素領域を顔画像と認識してもよい。顔のパーツは、例えば、目、鼻、口、眉毛、耳である。

処理部１は、顔画像が検出された写真データ８から認識した顔画像を切り出す。処理部１は、切り出した顔画像の特徴を抽出する。処理部１は、顔画像ごとに（写真データ８ごとに）、特徴データを生成する。処理部１は、顔画像に基づき、顔のパーツの相対的な位置を示す数値を特徴データとして生成する。また、処理部１は、目、鼻、顎、顔の輪郭のような顔の部位の形状を示す数値を特徴データとして生成してもよい。また、処理部１は、皺の位置、皺の長さ、皺の数を示す数値を特徴データとして生成してもよい。写真データ８が顔画像を複数含む場合、処理部１は、顔画像ごとに特徴データを生成する。

次に、処理部１は、初期設定で（第３設定画面）で選択された写真データ８の数が、初期設定で設定された総枚数未満か否かを確認する（ステップ♯３２）。ステップ♯３２がＮｏのとき、処理部１は、写真データ８を自動選択する（ステップ♯３３）。処理部１は、初期設定で選択された写真データ８の数と、自動選択した写真データ８の数の和が総枚数と同じ数になるまで、写真データ８を自動的に選択する。処理部１は、記憶部２に記憶された写真データ８であって、未選択の写真データ８を自動的に選択する。写真データ８の自動選択を避けたい場合、アルバム作成者は、入力デバイス４を用いて、設定された総数と同じ枚数の写真データ８を選択すればよい。

自動的に写真データ８を選択する手法は適宜定められる。処理部１は、アルバム作成者が選択した写真データ８に写る人物と同じ人物が写る写真データ８を自動的に選択してもよい。この場合、処理部１は、記憶部２に記憶され、未選択の写真データ８であって顔画像を含む写真データ８のうち、作成者が選択した写真データ８と特徴データの差の絶対値が許容値以下の写真データ８を自動的に選択してもよい。差の絶対値が許容値以下の写真データ８が無い場合、処理部１は、作成者が選択した写真データ８に写る人物と同じ人物が写る写真データ８がないと判定する。

また、処理部１は、未選択の写真データ８のうち、アルバム作成者が選択した写真データ８に写る人物と、写真に写る人物の顔が向かい合う関係にある写真データ８を自動的に選択してもよい。この場合、処理部１は、写真データ８ごとに、人物の顔の向きを判定する。例えば、処理部１は、人物（顔画像）ごとに、黒目の向きや顔の輪郭や、顎の形に基づき、顔の向きを判定する。例えば、アルバム作成者が選択した写真データ８に写る人物の顔が右向きのとき、処理部１は、顔が左を向いている人物が写る写真データ８を自動的に選択してもよい。

また、処理部１は、記憶部２に記憶される写真データ８に付されたメタデータを確認してもよい。写真データ８（写真ファイル）には、メタデータが付されることがある。写真データ８に付すメタデータの規格には、Ｅｘｉｆがある。Ｅｘｉｆ対応の写真データ８のメタデータには、撮影日時、カメラ６１のメーカー名、カメラ６１のモデル名のような情報が付される。

処理部１は、記憶部２に記憶された写真データ８のメタデータを確認する。そして、処理部１は、未選択の写真データ８のうち、選択済の写真データ８と撮影月日が同じであって、撮影年が異なる写真データ８を自動的に選択してもよい。誕生日会のようなイベントは、毎年行われるためである。また、処理部１は、撮影年が異なるが、選択済の写真データ８と撮影の月日の日数差が許容範囲内の写真データ８を抽出してもよい。許容範囲は予め定められる。例えば、許容範囲は、選択済の写真データ８と撮影月日に対し、プラス７日～マイナス７日としてもよい。

また、自動的に選択する場合、処理部１は、作成者が選択した写真データ８を収容するフォルダーと同じフォルダーのみから、写真データ８を自動的に選択するようにしてもよい。

ステップ♯３２がＮｏのとき、又は、ステップ♯３３の後、処理部１は、選択された写真データ８をアルバムページデータ７内に配置してゆく。まず、人物が写る写真データ８を複数枚選択したとき、処理部１は、人物が写る写真データ８が左右で並ぶようにアルバムページデータ７に写真データ８を配する（ステップ♯３４）。

このとき、処理部１は、写真に写る人物の顔が向かい合うように、２枚の写真データ８をアルバムページ内に配置してもよい。この場合、処理部１は、写真データ８ごとに、人物の顔の向きを判定する。例えば、処理部１は、人物（顔画像）ごとに、黒目の向きや顔の輪郭や、顎の形に基づき、顔の向きを判定する。顔の向きが向かい合う２つの写真データ８がある場合、処理部１は、当該２つの写真データ８が左と右で隣り合うように、写真データ８をアルバムページデータ７内に配置する。なお、人物が写る写真データ８が無い場合、処理部１は、ステップ♯３４をスキップすればよい。

次に、処理部１は、選択された写真データ８であって、未配置の写真データ８のうち、撮影の月日が同じであって、撮影年が異なる写真データ８、又は、撮影年が異なるが、選択済の写真データ８と撮影の月日の日数差が許容範囲内の写真データ８を複数抽出する（ステップ♯３５）。そして、処理部１は、撮影年月日が古いものから順番に並ぶように、抽出した写真データ８をアルバムページデータ７内に配する（ステップ♯３６）。

次に、処理部１は、選択された写真データ８であって、未配置の写真データ８を残りの空きスペースに配置する（ステップ♯３７）。例えば、処理部１は、先頭側のアルバムページデータ７から、かつ、撮影年月日が古いものから配置してゆく。言い換えると、空きスペースがあるアルバムページデータ７のうち、処理部１は、先頭側のページから順番に、写真データ８を貼りつけていく。最終的に、処理部１は、選択された写真データ８の全てを何れかのアルバムページデータ７に貼りつける（エンド）。

（写真データ８へのコメント９付加）
次に、図６～図８に基づき、実施形態に係る情報処理装置１００での写真データ８へのコメント９の付加の一例を説明する。図６は、実施形態に係る情報処理装置１００での写真データ８へのコメント９の付加の一例を示す図である。図７は、実施形態に係るコメント９が付されたアルバムページデータ７の一例を示す。図８は、実施形態に係るコメント９の一例を示す図である。

図６のスタートは、アルバムページデータ７への選択された写真データ８の貼り付けが完了した時点である。言い換えると、図５のフローチャートが終了した時点である。

まず、図７に示すように、処理部１は、アルバムページデータ７内の写真データ８に囲み画像９０を付す（ステップ＃４１）。

囲み画像９０は、コメント９を収容するための枠である。コメント９の詳細は後述する。図７に示すように、囲み画像９０は吹き出し形状としてもよい。吹き出し形状とすることにより、会話しているように見せることができる。また、吹き出し形状は１種類に限られない。処理部１は、１ページのアルバムページデータ７内に吹き出しの形状が異なる囲み画像９０を貼りつけてもよい。

また、囲み画像９０は、吹き出し形状に限られない。囲み画像９０は、楕円や矩形でもよい。入力デバイス４は、囲み画像９０の形状の設定を受け付けてもよい。この場合、処理部１は、設定された形状の囲み画像９０を写真データ８に付す。

処理部１は、アルバムページデータ７内のすべての写真データ８に囲み画像９０を付す。入力デバイス４は、囲み画像９０を付さない写真データ８の選択を受け付けてもよい。この場合、処理部１は、選択された写真データ８に囲み画像９０を付さない。囲み画像９０が付されない写真データ８には、コメント９も付されない。

ここで、記憶部２は、複数のコメント９を記憶する。図８は、記憶部２が記憶するコメント９の一例を示す。記憶部２は、年齢層に対応するコメント９を記憶する。言い換えると、各コメント９は、年齢層で分類される。年齢層として、例えば、第１～第４の年齢層が設定される。例えば、第１年齢層は幼児（０歳以上６歳未満）、第２年齢層は子供（６歳以上１８歳未満）、成人（１８歳以上６０歳未満）、老人（６０歳以上）と設定できる。あくまで一例であり、年齢層は、４つ以上でもよい。

記憶部２は、年齢層ごとに、数十～数百程度のコメント９を記憶する。入力デバイス４は、記憶部２に追加するコメント９を受け付けてもよい。この場合、処理部１は、追加するために入力されたコメント９を記憶部２に追加記憶させる。

また、記憶部２はイベントに対応するコメント９を記憶してもよい。例えば、誕生日やお正月のようなイベントに対応するコメント９を記憶させることができる。

また、記憶部２は、表情に対応するコメント９を記憶してもよい。例えば、痛い、笑っている、泣いているといった表情に対応するコメント９を記憶させることができる。

また、コメント９ごとに、対応する返答コメント９１を定義することができる。記憶部２は、コメント９に対する返答である返答コメント９１を記憶する。返答コメント９１は、コメント９に対して会話が成立するように定義されることが好ましい。

まず、処理部１は、写真に写る人物の顔が向かい合うように配置した２枚の写真データ８の組み合わせを認識する（ステップ＃４２）。そして、処理部１は、向かい合っている写真データ８のうち、一方の写真データ８（例えば、左側の写真データ８）にコメント９を付す（ステップ＃４３）。このとき、処理部１は、判定した年齢層に対応し、かつ、返答コメント９１が設定されているコメント９を付す。判定した年齢層に対応し、かつ、返答コメント９１が設定されているコメント９が複数ある場合、処理部１はいずれか１つを付す。ランダムに選択されたように見えるように、処理部１は、所定のアルゴリズムに基づき、いずれか１つのコメント９を選ぶ。

顔が向かい合う写真データ８のうち、他方の写真データ８に、処理部１は、一方の写真データ８に付したコメント９に対応する返答コメント９１を付す（ステップ♯４４）。なお、写真に写る人物の顔が向かい合うように配置した２枚の写真データ８の組み合わせがないとき、処理部１は、ステップ♯４２～ステップ♯４４をスキップする。

次に、処理部１は、コメント９を付していない写真データ８を解析し、イベントを判定する。（ステップ＃４５）。なお、イベントを判定は、例えば、予め記憶部２に記憶されたイベント判定用画像とのパターンマッチングによって行ってもよい。例えば、イベント判定用画像は、対応するイベントが予め定義されている。例えば、イベント判定用画像として、ろうそくの画像が用意される。ろうそくの画像に対応するイベントとして、誕生日が定義される。処理部１は、写真データ８の背景に写るろうそくに基づき、写真データ８に対応するイベントを判定する。また、イベント判定用画像として、テントの画像を用意してもよい。テントの画像に対応するイベントとして、キャンプが定義される。写真データ８の背景に写るテントに基づき、写真データ８に対応するイベントを判定する。

処理部１は、コメント９を付していない写真データ８のうち、イベントを判定できた写真データ８に、判定したイベントに対応するコメント９を付す（ステップ＃４６）。処理部１は、コメント９を付していない写真データ８の全てについて、対応するイベントをつきとめなくてもよい。イベント判定用画像とマッチング率が所定値以上の写真データ８についてのみ、 処理部１は、判定したイベントに対応するコメント９を付す。

次に、処理部１は、コメント９を付していない写真データ８を解析し、写真データ８に写る人物の表情を判定する。（ステップ＃４７）。写真データ８に複数人が写っているとき、顔画像が最も大きい人物の表情を判定する。

処理部１は、例えば、痛い、嬉しい、笑っている、泣いている、といった表情を判別する。処理部１は、顔画像のテンプレートと検出された顔画像とのマッチングによって表情を判定してもよい。この場合、記憶部２は、表情の種類に対応する顔画像のテンプレートを多数不揮発的に記憶する。あるいは、処理部１は、「フィッシャー（Ｆｉｓｈｅｒ）の線形判別分析」と称される手法を用いて表情を判定してもよい。

処理部１は、コメント９を付していない写真データ８のうち、表情を判定できた写真データ８に、判定した表情に対応するコメント９を付す（ステップ＃４８）。処理部１は、コメント９を付していない写真データ８の全てについて、対応する表情をつきとめなくてもよい。表情不明な写真データ８については、処理部１は、本ステップでコメント９を付さない。

次に、処理部１は、コメント９を付していない写真データ８のうち、動画から切り出された写真データ８を抽出する（ステップ＃４９）。具体的に、処理部１は、記憶部２に記憶される動画データ８０に含まれる画像を確認する。処理部１は、動画データ８０がコメント９を付していない写真データ８を含むか否かを確認する。処理部１は、コメント９を付していない写真データ８のうち、動画データ８０に含まれる画像と一致する写真データ８を抽出する。

処理部１は、抽出した写真データ８の切り出し元の動画から会話を切り出し、切り出した会話をコメント９として写真データ８に付す（ステップ＃４１０）。具体的に、動画に含まれる画像と一致する写真データ８について、処理部１は、動画中、写真データ８と同じ画像が再生される時間を認識する。処理部１は、動画データ８０から、再生される時間を中心として、所定時間（例えば、数秒）の音声データを抽出する。処理部１は、抽出した音声データの音声認識を行い、文字列に変換する。変換後の文字列をコメント９として用いる。する。例えば、「おめでとう」を再生する音声データのとき、処理部１は、おめでとうの文字列を動画から抜き出された写真データ８に付す。

次に、処理部１は、選択した写真データ８に写る人物のうち、最も写っている回数が多い人物を判定する（ステップ＃４１１）。処理部１は、選択した写真データ８の特徴データに基づき判定する。例えば、処理部１は、特徴データごとに、顔の特徴を示す数値の総和を求める。処理部１は、総和の差が所定範囲内に収まる特徴データのグループを検出する。処理部１は、特徴データの数が最も多いグループに対応する人物を最も写っている回数が多い人物と判定する。次に、処理部１は、最も写っている回数が多い人物の特徴データに基づき、最も写っている回数が多い人物の年齢層を判定する。

子供や親しい友人のように、特定の人のためにアルバムを作成することがある。この場合、アルバムでは、特定の人が写る写真データ８が多く用いられる。年齢層を判定することで、アルバムを贈られる人にあうコメント９を各写真データ８に付すことができる。

処理部１は、コメント９を付していない残りの写真データ８に、記憶部２が記憶するコメント９の中から、判定した年齢層に対応するコメント９を１つずつ写真データ８に付す（ステップ＃４１２）。コメント９を付していない残りの写真データ８が複数あるとき、処理部１は、それぞれの写真データ８に付されるコメント９が異なるように、コメント９を付す。写真データ８へのコメント９の自動付与処理が終了する（エンド）。

最終的に、処理部１は、全ての写真データ８にコメント９を付す。言い換えると、処理部１は、アルバムデータ２２に含まれる全てのアルバムページデータ７に含まれる写真データ８にコメント９が付される。

（アルバムページデータ７の編集）
次に、図９に基づき、実施形態に係る情報処理装置１００でのアルバムページデータ７の編集の一例を説明する。図９は、実施形態に係るアルバムページデータ７の編集の一例を示す図である。

自動的なコメント９付与が終了したとき、処理部１は、コメント９付きのアルバムページデータ７をディスプレイ３に表示させる。言い換えると、処理部１は、アルバムページデータ７のプレビュー画面をディスプレイ３に表示させる。

図９に示すように入力デバイス４は、修正するコメント９（囲み画像９０）の指定を受け付ける。例えば、アルバム作成者は、マウスで囲み画像９０（コメント９）を指定する。そして、入力デバイス４は、指定したコメント９の修正操作を受け付ける。例えば、アルバム作成者は、キーボートでコメント９を入力する。入力デバイス４が修正操作を受け付けたとき、処理部１は、指定されたコメント９を修正（変更する）。このように、アルバム作成者は、自動で付されたコメント９のうち、適切でないコメント９を修正できる（図９参照）。

また、入力デバイス４は、アルバムページデータ７へのみ画像の追加操作と、追加した囲み画像９０に含めるコメント９の設定操作を受け付ける。つまり、アルバム作成者は、囲み画像９０とコメント９を追加できる。処理部１は、追加操作により追加された囲み画像９０に、設定操作がなされたコメント９を含める。

また、入力デバイス４は、囲み画像９０（コメント９）の削除操作を受け付ける。アルバム作成者は不要なコメント９や囲み画像９０を削除できる。処理部１は、削除操作がなされた囲み画像９０をアルバムページデータ７（アルバムデータ２２）から削除する。

コメント９の修正、追加、削除は音声入力により行えてもよい。

入力デバイス４は、作成されたアルバムデータ２２の保存操作を受け付ける。保存操作がなされたとき、処理部１は、アルバムデータ２２を記憶部２に不揮発的に記憶させる。また、入力デバイス４は、作成されたアルバムデータ２２の印刷操作を受け付ける。処理部１は、印刷操作がなされたアルバムデータ２２を写真印刷装置２００に送信する。処理部１は、アルバムデータ２２に基づく印刷を写真印刷装置２００に行わせる。

このようにして、実施形態に係る情報処理装置１００は、記憶部２と処理部１を含む。記憶部２は、複数の写真データ８と、複数のコメント９を記憶する。処理部１は、記憶部２に記憶される写真データ８を選択する。処理部１は、選択した写真データ８を配置して、アルバムの印刷に用いられるアルバムページデータ７を生成する。処理部１は、アルバムページデータ７内の写真データ８に囲み画像９０を付す。処理部１は、記憶部２が記憶するコメント９の中から写真データ８に付すコメント９を選択する。処理部１は、囲み画像９０内に選択したコメント９を含めることにより、写真データ８にコメント９を付す。

この構成によれば、アルバムページデータ７内に配された各写真データ８にコメント９と囲み画像９０を付すことができる。写真データ８に自動的にコメント９を付すことができる。コメント９を付す作業（使用者のデータ編集）の手間は必要ない。自動生成されたアルバムページデータ７に基づき、楽しく華やかなアルバムを印刷することができる。

情報処理装置１００は、操作を受け付ける入力デバイス４を含む。写真データ８を自動的に選択するとき、処理部１は、未選択の写真データ８のうち、入力デバイス４により選択された何れかの写真データ８と顔が向かい合うように人物が写る写真データ８を選択する。顔が向かい合うように配列されたアルバムページデータ７を自動的に生成することができる。関連性の高い写真が近い位置に配されたアルバムページデータ７が自動的に生成される。

記憶部２は、コメント９に対する返答である返答コメント９１を記憶する。処理部１は、写真に写る人物の顔が向かい合うように、隣り合わせて２枚の写真データ８をアルバムページ内に配置する。処理部１は、顔が向かい合う写真データ８のうち、一方の写真データ８にコメント９を付す。顔が向かい合う写真データ８のうち、他方の写真データ８には、一方の写真データ８に付したコメント９に対応する返答コメント９１を付す。会話しているようなコメント９を写真データ８に付すことができる。会話しているように写真データ８が配されたアルバムページデータ７を自動的に生成することができる。

処理部１は、写真データ８に付されたメタデータに基づき、選択した写真データ８の撮影年月日を認識する。写真データ８を自動的に選択するとき、処理部１は、選択済の写真データ８と撮影の月日が同じであって、撮影年が異なる写真データ８、又は、撮影年が異なるが、選択済の写真データ８と撮影の月日の日数差が許容範囲内の写真データ８を抽出する。処理部１は、撮影年月日が古いものから順番に並ぶように、抽出した写真データ８をアルバムページデータ７内に配する。毎年同じ日又は、近い日に撮影された写真データ８を並べることで、成長記録や、１年ごとの変化を追うようなアルバムページデータ７を自動的に生成することができる。

記憶部２は、年齢層に対応するコメント９を記憶する。処理部１は、選択した写真データ８に写る人物のうち、最も写っている回数が多い人物の年齢層を判定する。処理部１は、コメント９のうち、判定した年齢層に対応するコメント９を写真データ８に付す。特定の人のためにアルバムを作成する場合、アルバムには、特定の人が写る写真データ８が多くなる。特定の人は、写っている回数が多くなる。アルバムを贈る対象（特定の個人）の年齢にあわせたコメント９を各写真データ８に付すことができる。

記憶部２は、イベントに対応するコメント９を記憶する。処理部１は、選択した写真データ８に対応するイベントを判定する。処理部１は、写真データ８に判定したイベントに対応するコメント９を付す。誕生日会のようなイベントに合わせたコメント９を写真データ８に付すことができる。写真データ８の内容に適したコメント９を付すことができる。

記憶部２は、表情に対応するコメント９を記憶する。処理部１は、選択した写真データ８に写る人物の表情を判定する。処理部１は、判定した表情に対応するコメント９を写真データ８に付す。写真に写る人物の表情に合わせたコメント９を写真データ８に付すことができる。

処理部１は、選択した写真データ８のうち、動画から切り出された写真データ８を抽出する。処理部１は、写真データ８の切り出し元の動画から会話を切り出し、切り出した会話をコメント９として写真データ８に付す。動画に基づき、写真撮影時の会話を再現したコメント９を写真データ８に付すことができる。

情報処理装置１００は、操作を受け付ける入力デバイス４を含む。入力デバイス４は、コメント９の修正操作を受け付ける。修正操作を入力デバイス４が受け付けたとき、処理部１は、修正操作がなされたコメント９を修正する。写真に写っている人物に適したコメント９を写真データ８に付すことができる。

入力デバイス４は、アルバムページデータ７への囲み画像９０の追加操作と、追加した囲み画像９０に含めるコメント９の設定操作を受け付ける。処理部１は、追加操作により追加された囲み画像９０に、設定操作がなされたコメント９を含める。自動的に挿入されたコメント９を修正することができる。写真にそぐわないコメント９や、アルバム作成者の考えとずれているコメント９を修正することができる。

以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実施することができる。

なお、上記の実施形態の説明では、アルバムページデータ７に写真データ８を配する（貼りつける）例を説明した。入力デバイス４が別に印刷した写真を貼りつけるアルバムの作成指示を受け付けたとき、処理部１は、写真を貼りつけるスペースを破線が描かれたアルバムページデータ７を含むアルバムデータ２２を作成してもよい。この場合、処理部１は、アルバムページデータ７に写真データ８を貼りつけない。囲み画像９０の一部が貼りつけられた写真に隠れるので、処理部１は、囲み画像９０とコメント９を付さない。

本発明は、情報処理装置に利用可能である。

１００ 情報処理装置 １ 処理部
２ 記憶部 ４ 入力デバイス
７ アルバムページデータ ８ 写真データ
９ コメント ９０ 囲み画像
９１ 返答コメント

Claims (8)

1. 複数の写真データと、複数のコメントを記憶する記憶部と、
   前記記憶部に記憶される写真データを選択し、
   選択した前記写真データを配置して、アルバムの印刷に用いられるアルバムページデータを生成し、
   前記アルバムページデータ内の前記写真データに囲み画像を付し、
   前記記憶部が記憶する前記コメントの中から前記写真データに付す前記コメントを選択し、
   前記囲み画像内に選択した前記コメントを含めることにより、前記写真データに前記
   コメントを付す処理部と、
   操作を受け付ける入力デバイスと、
   を含み、
   前記写真データを自動的に選択するとき、
   前記処理部は、
   未選択の前記写真データのうち、前記入力デバイスにより選択された何れかの前記写真データと顔が向かい合うように人物が写る前記写真データを選択し、
   前記記憶部は、前記コメントに対する返答である返答コメントを記憶し、
   前記処理部は、
   前記写真データに写る人物の顔が向かい合うように、隣り合わせて２枚の前記写真データを前記アルバムページデータ内に配置し、
   前記顔が向かい合う前記写真データのうち、一方の前記写真データに前記コメントを付し、
   前記顔が向かい合う前記写真データのうち、他方の前記写真データには、前記一方の前記写真データに付した前記コメントに対応する前記返答コメントを付すことを特徴とする情報処理装置。
2. 前記処理部は、
   前記写真データに付されたメタデータに基づき、選択した前記写真データの撮影年月日を認識し、
   前記写真データを自動的に選択するとき、選択済の前記写真データと撮影の月日が同じであって、撮影年が異なる前記写真データ、又は、撮影年が異なるが、選択済の前記写真データと撮影の月日の日数差が許容範囲内の前記写真データを抽出し、
   撮影年月日が古いものから順番に並ぶように、抽出した前記写真データを前記アルバムページデータ内に配することを特徴とする請求項１に記載の情報処理装置。
3. 前記記憶部は、年齢層に対応する前記コメントを記憶し、
   前記処理部は、
   選択した前記写真データに写る人物のうち、最も写っている回数が多い人物の前記年齢層を判定し、
   前記コメントのうち、判定した前記年齢層に対応する前記コメントを前記写真データに付すことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記記憶部は、
   イベントに対応する前記コメントを記憶し、
   前記処理部は、
   選択した前記写真データに対応する前記イベントを判定し、
   前記写真データに判定した前記イベントに対応する前記コメントを付すことを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記記憶部は、表情に対応する前記コメントを記憶し、
   前記処理部は、
   選択した前記写真データに写る人物の表情を判定し、
   判定した前記表情に対応するコメントを前記写真データに付すことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記処理部は、
   選択した前記写真データのうち、動画から切り出された前記写真データを抽出し、
   前記写真データの切り出し元の動画から会話を切り出し、切り出した前記会話を前記コメントとして前記写真データに付すことを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 操作を受け付ける入力デバイスを含み、
   前記入力デバイスは、前記コメントの修正操作を受け付け、
   前記処理部は、
   前記修正操作を前記入力デバイスが受け付けたとき前記修正操作がなされた前記コメントを修正することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 操作を受け付ける入力デバイスを含み、
   前記入力デバイスは、前記アルバムページデータへの前記囲み画像の追加操作と、追加した前記囲み画像に含める前記コメントの設定操作を受け付け、
   前記処理部は、
   前記追加操作により追加された前記囲み画像に、前記設定操作がなされた前記コメントを含めることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
   

Images