JP7395895B2

JP7395895B2 - 画像処理装置及び画像検索方法

Info

Publication number: JP7395895B2
Application number: JP2019167440A
Authority: JP
Inventors: 晃司大津; 大輔宮本
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2019-09-13
Filing date: 2019-09-13
Publication date: 2023-12-12
Anticipated expiration: 2039-09-13
Also published as: JP2021043887A

Description

本発明は、画像処理装置及び画像検索方法に関する。

マラソンやスポーツ大会、学校行事等のイベントでプロカメラマンが撮影した写真を販売するサービスが知られている。プロカメラマンが撮影した画像データは、ネットワークを介して写真販売システムにアップロードされる。顧客は、アップロードされた画像を閲覧し、好みの画像を選択して購入することができる。購入した画像は、データがダウンロード可能となったり、印刷物が顧客へ配送されたりする。

顧客は、写真販売システムに掲載されている大量の画像の中から、自分自身や家族等が写っている画像を探し出す必要があり、注文に手間がかかっていた。

大量の画像の中から所望の画像を抽出する手法の１つとして、顔検索機能が知られている。この顔検索機能では、例えば、ユーザは、自分自身が写っている画像を写真販売システムにアップロードする。写真販売システムは、ユーザからアップロードされた画像に写っている顔を検出し、検出した顔に類似している顔を含む画像を、販売中の画像から検索する。これにより、ユーザは、自分が写っている画像（自分に似た顔が写っている画像）を容易に見つけ出すことができる。また、親が子供の顔画像を登録し、顔検索機能を利用して、自分の子供が写っている写真を見つけ出すこともある。

幼稚園や保育園等が利用している写真販売システムでは、入園から卒園まで、同じウェブサイトで継続して写真が販売されることが多い。例えば、親は、入園後、最初のイベントの写真購入時に、写真販売システムに子供の顔画像を登録し、顔検索機能を利用する。その後、しばらくは同じ顔画像を用いて、イベント毎に顔検索を行う。そして、年中、年長と学年が上がる際に子供の顔画像を新たに登録して更新することが多い。顔画像が更新されるまでは、以前登録した顔画像が顔検索に利用される。

幼稚園や保育園に通っている幼少期は、子供の成長が早く、顔の変化が大きい。そのため、例えば、年度の初めに登録した顔画像を用いて年度の終わり頃のイベントで撮影された写真を顔検索する場合、検索精度が低下し、自分の子供が写っていない画像が大量に検索結果に含まれたり、自分の子供が写っている画像が検索結果に含まれなくなったりするおそれがあった。

特開２０１１－５９９４０号公報

本発明は、適切な画像を用いて顔検索を行い、検索対象人物が写っている画像を精度良く検索できる画像処理装置及び画像検索方法を提供することを課題とする。

本発明の画像処理装置は、複数のイベントの販売画像を記憶する記憶部と、検索対象人物が写った検索用画像をユーザ端末から受信する画像受信部と、前記検索用画像内の前記検索対象人物の顔画像を用いて顔検索を行い、前記顔画像と類似する顔を含む販売画像を抽出する検索部と、前記検索部による検索結果を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信する閲覧ページ生成部と、を備え、前記画像受信部は、前記ユーザ端末から複数の検索用画像を受信し、前記検索部は、前記複数のイベントの各々に対し、前記複数の検索用画像のうち、撮影日がイベント実施日に最も近い検索用画像を選択し、選択した検索用画像を用いて顔検索を行うものである。

本発明の一態様では、前記画像受信部は、イベント実施日よりも前に第１検索用画像を受信し、前記イベント実施日よりも後に、撮影日が前記第１検索用画像よりも前記イベント実施日に近い第２検索用画像を受信し、前記検索部は、前記第１検索用画像を用いて１回目の顔検索を行い、前記第２検索用画像を用いて２回目の顔検索を行う。

本発明の一態様では、前記ユーザ端末から、前記検索部により抽出された販売画像のうち少なくとも１つの購入選択を受け付け、決済処理を行う販売処理部と、前記ユーザ端末による画像購入履歴を管理する管理部と、をさらに備え、前記検索部は、前記２回目の顔検索の検索結果と、前記画像購入履歴とを比較し、前記２回目の顔検索で抽出した販売画像のうち、未購入の販売画像を抽出し、前記閲覧ページ生成部は、未購入の販売画像にマークを付して閲覧ページを生成する。

本発明の画像検索方法は、複数のイベントの販売画像を登録するステップと、検索対象人物が写った検索用画像をユーザ端末から受信するステップと、前記検索用画像内の前記検索対象人物の顔画像を用いて顔検索を行い、前記顔画像と類似する顔を含む販売画像を抽出するステップと、前記顔検索の検索結果を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信するステップと、をサーバが実行する画像検索方法であって、前記サーバが、前記ユーザ端末から複数の検索用画像を受信し、前記複数のイベントの各々に対し、前記複数の検索用画像のうち、撮影日がイベント実施日に最も近い検索用画像を選択し、選択した検索用画像を用いて顔検索を行うものである。

本発明によれば、適切な画像を用いて顔検索を行い、検索対象人物が写っている画像を精度良く検索できる。

本発明の実施形態に係る画像販売システムの概略図である。同実施形態に係るサーバの概略構成図である。画像処理プログラムを実行することで実現される機能ブロック図である。画像販売イベントの例を示す図である。画像販売方法を説明するフローチャートである。イベント選択画面の例を示す図である。写真一覧画面の例を示す図である。検索用画像選択画面の例を示す図である。顔検索結果の例を示す図である。画像販売方法を説明するフローチャートである。イベント選択画面の例を示す図である。一括顔検索結果の例を示す図である。顔検索結果の例を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。

図１は、本発明の実施形態に係る画像販売システムの概略図である。画像販売システムは、販売画像の閲覧ページをユーザ端末４へ配信する画像処理装置としてのサーバ１、販売画像を登録するために使用される登録端末２などを有する。販売する画像は、例えば、プロカメラマン等が、スポーツ大会や学校行事等のイベントを撮影した画像である。画像を購入するユーザは、イベントに参加した本人や参加者の親などである。本実施形態では、幼稚園のイベントで撮影された画像を、園児の親が購入する場合を例にして説明する。

ユーザ（園児の親）は、スマートフォンやＰＣ等のユーザ端末４を用いて、閲覧ページから好みの画像を選択し、決済処理を行うと、販売画像の画像データをダウンロードしたり、プリント物の注文を行ったりすることができる。大量の販売画像の中から、自分の子供が写っている画像を探し出すのは手間がかかるため、ユーザは、自分の子供（検索対象人物）が写っている画像（検索用画像）をアップロードし、顔検索により、販売画像の中から、自分の子供が写っている画像を絞り込む。この顔検索処理の詳細については、後述する。

サーバ１は、プリント物の注文を受け付けると、購入された画像のデータを工場５へ送信する。工場５で製造されたプリント物６はユーザの元へ配送される。プリント物６は、例えば、写真、ポスター、フォトブック、マグカップ等である。

図２に示すように、サーバ１は、ＣＰＵ１０（中央演算処理装置）、記憶部１１、及び通信部１２等を有するコンピュータである。

通信部１２は、登録端末２やユーザ端末４との通信処理を行い、データの送受信を行う。通信部１２は、登録端末２から販売する画像のデータを受信し、記憶部１１に格納する。また、通信部１２は、登録端末２から、販売する画像に関連するイベントの名称等の情報を受信し、画像データと対応付けて記憶部１１に格納する。

通信部１２は、販売画像の閲覧ページをユーザ端末４へ送信する。また、通信部１２は、ユーザ端末４から購入画像の選択を受け付けたり、決済情報を受信したりする。

記憶部１１は、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ－ｏｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ハードディスク等の組み合わせであり、販売画像の画像データ、画像処理プログラム、顔検索用にユーザ端末４から受信した検索用画像、会員情報等を記憶する。会員情報は、サーバ１が提供する画像販売サイトを利用する会員の情報であり、画像販売サイトにログインするためのＩＤやパスワード、氏名、住所、子供が所属する学校や学年、画像購入履歴等を含む。

ＣＰＵ１０が画像処理プログラムを実行することで、図３に示すように、認証処理部１００、閲覧ページ生成部１０１、画像受信部１０２、検索部１０３、販売処理部１０４及び管理部１０５の機能が実現される。各部の処理は後述する。

この画像販売システムを利用する幼稚園には、図４に示すように、入園から卒園までの間に様々なイベントがあり、各イベントでプロカメラマンが園児を撮影し、撮影した画像を販売する。例えば、２０１７年４月に入園した場合、２０１７年度には、４月の入園式、５月の遠足、１０月の運動会、１２月のクリスマス会、２月の豆まき等のイベントがある。例えば、園児の親は、２０１７年４月に入園式の写真を購入するタイミングで、画像販売システムに子供が写った画像Ｇ１を登録し、画像Ｇ１を用いて顔検索を行い、検索結果の中から購入する画像を選択する。画像Ｇ１は２０１７年４月に撮影したものとする。

子供が写った画像を頻繁に更新するのは手間がかかるため、同年度のイベントの写真を購入する際は登録済みの画像Ｇ１を使用して顔検索を行う親が多い。例えば、５月の遠足、１０月の運動会、１２月のクリスマス会、２月の豆まきの写真を購入する際は、画像Ｇ１を使用して顔検索を行う。

２０１８年４月に進級して最初のイベントである５月の遠足の写真を購入するタイミングで、画像販売システムに子供が写った画像Ｇ２（例えば２０１８年５月に撮影した画像）を新たに登録し、画像Ｇ２を用いて顔検索を行い、検索結果の中から購入する画像を選択する。同年度のイベントである１０月の運動会、１２月のクリスマス会、１月のもちつきの写真を購入する際は、画像Ｇ２を使用して顔検索を行う。

２０１９年４月に進級して最初のイベントである５月の遠足の写真を購入するタイミングで、画像販売システムに子供が写った画像Ｇ３（例えば２０１９年５月に撮影した画像）を新たに登録し、画像Ｇ３を用いて顔検索を行い、検索結果の中から購入する画像を選択する。同年度のイベントである１０月の運動会、１２月のクリスマス会、３月の卒園式の写真を購入する際は、画像Ｇ３を使用して顔検索を行う。

次に、この画像販売システムを用いた画像検索処理を含む画像販売方法を図５に示すフローチャートに沿って説明する。

ユーザ（親）がユーザ端末４を用いて画像販売サイトにアクセスすると、ＩＤやパスワードの入力が求められる。ユーザがＩＤやパスワードを入力すると、認証処理部１００が、記憶部１１に格納されている会員情報を参照し、認証処理を行う（ステップＳ１０１）。

閲覧ページ生成部１０１が、このユーザが所属する学校の写真販売イベントの一覧画面を生成し、ユーザ端末４へ送信する。例えば、図６に示すようなイベント一覧画面が表示される。ユーザは、イベントを選択し、閲覧ボタンＢ１を押す（ステップＳ１０２）。閲覧ページ生成部１０１は、選択されたイベントに対応する販売画像の一覧画面を生成し、ユーザ端末４へ送信する。例えば、図７に示すような一覧画面がユーザ端末４に表示される。

ユーザが顔検索ボタンＢ４を押すと、図８に示すように、顔検索に使用する画像（検索用画像）の選択ボタンが表示される。ここでは、すでに画像Ｇ１が登録されているものとする。登録済みの画像Ｇ１を使用する場合は、画像Ｇ１を選択する（ステップＳ１０３＿Ｎｏ、Ｓ１０５）。新たに画像を登録する場合は、ボタンＢ６を押して、ユーザ端末４内の画像を登録する（ステップＳ１０３＿Ｙｅｓ、Ｓ１０４）。

ユーザが登録済みの画像Ｇ１を選択するか、又は新たに画像を登録し、検索用画像が決定すると、検索部１０３が画像解析を行い、販売画像の中から、検索用画像に含まれる検索対象顔画像に類似している顔画像を含む販売画像（類似画像）を検索・抽出する（ステップＳ１０６）。例えば、検索部１０３は、各販売画像に写っている顔を検出し、検出した顔と検索対象顔画像との類似度を公知の方法で計算し、算出した類似度が所定値以上の場合、類似画像と判定する。閲覧ページ生成部１０１が、検索結果の一覧画面を含む閲覧ページを生成し、ユーザ端末４へ送信する。これにより、図９に示すような顔検索結果がユーザ端末４に表示される。

ユーザは、ユーザ端末４で検索結果一覧を閲覧し、検索結果の中から購入したい画像を選択し、購入ボタンＢ３を押す（ステップＳ１０７）。ユーザが画像の選択を終え、決済ボタンＢ５を押すと、販売処理部１０４が決済処理を行う（ステップＳ１０８）。決済処理後、サーバ１は、購入された画像データをダウンロード可能にしたり、プリント注文内容を工場５へ転送したりする。また、管理部１０５が、記憶部１１内の会員情報に含まれる購入履歴を更新する（ステップＳ１０９）。

ユーザは、図４に示す各イベントでの写真を、図５に示すフローチャートに沿って購入する。ところで、幼稚園に通っている時期は子供の成長が早く、顔の変化が大きい。そのため、例えば、２０１７年４月に登録した画像Ｇ１を用いて、２０１８年２月の豆まきで撮影された写真を顔検索する場合、検索精度が低下し得る。２０１８年２月の豆まきで撮影された写真は、撮影日がより近い２０１８年５月に登録された画像Ｇ２を用いて顔検索することで、検索精度の向上が期待される。

同様に、２０１８年１月のもちつきで撮影された写真は、２０１９年５月に登録された画像Ｇ３を用いて顔検索することで、検索精度の向上が期待される。

このように、イベント前に登録された登録済みの検索用画像を用いて顔検索（第１検索用画像を用いた１回目の顔検索）した場合でも、イベント後に登録された撮影日の近い検索用画像を用いて改めて顔検索（第２検索用画像を用いた２回目の顔検索）することで、より高い精度で顔検索を行えることがある。そこで、本実施形態では、登録された複数の検索用画像のうち、撮影日がイベント実施日に最も近い検索用画像を用いて、写真が販売されている（全ての）イベントを対象に、一括して顔検索を行えるようにする。このような画像販売を行う方法を図１０に示すフローチャートに沿って説明する。

ユーザ（親）がユーザ端末４を用いて画像販売サイトにアクセスし、ＩＤやパスワードを入力すると、認証処理部１００が、記憶部１１に格納されている会員情報を参照し、認証処理を行う（ステップＳ２０１）。

閲覧ページ生成部１０１が、このユーザが所属する学校の写真販売イベントの一覧画面を生成し、ユーザ端末４へ送信する。例えば、図１１に示すようなイベント一覧画面が表示される。ここでは、卒園式後、ユーザが３年間のイベントの写真を再度検索し、購入漏れがないか調べるケースを想定する。

ユーザは、一括顔検索ボタンＢ２を押し、一括顔検索を指示する（ステップＳ２０２）。

検索部１０３が、各イベントに対し、登録されている画像Ｇ１～Ｇ３の中から、最も撮影日時の近い画像を検索用画像として選定する（ステップＳ２０３）。例えば、２０１８年２月の豆まきに対しては、検索用画像として画像Ｇ２を選定する。検索部１０３は、画像Ｇ１～Ｇ３のＥｘｉｆ情報に含まれる撮影日情報に基づいて、検索用画像を選定する。画像データに撮影日情報が含まれていない場合は、ユーザによる画像の登録日を用いてもよい。

検索部１０３が、選定した検索用画像を用いて、顔検索を行う（ステップＳ２０４）。検索部１０３は、顔検索により検出した画像と、会員情報に登録されている購入履歴とを比較して、未購入の画像を抽出する（ステップＳ２０５）。閲覧ページ生成部１０１が、各イベントについての検索結果及び未購入画像数を示すページを生成し、ユーザ端末４へ送信する。これにより、図１２に示すような検索結果がユーザ端末４に表示される。

検索結果には、各イベントで顔検索に使用した画像が表示される。ユーザは、イベント毎に、顔検索に使用した画像を変更して、再度、顔検索を行えるようにしてもよい。

例えば、２０１８年２月の年少（もも組）の豆まきの写真は、当初、画像Ｇ１を用いて顔検索を行い、検索結果から画像を購入していた。しかし、この一括顔検索では、より撮影日の近い画像Ｇ２を用いて顔検索を行ったことで、画像を精度良く検索でき、未購入数（購入漏れ）が他のイベントよりも多くなることが考えられる。

ユーザが、イベントを選択し、閲覧ボタンＢ１を押すと、閲覧ページ生成部１０１が、検索結果の一覧画面を含む閲覧ページを生成し、ユーザ端末４へ送信する。これにより、図１３に示すような顔検索結果がユーザ端末４に表示される。

この一覧画面では、未購入画像にマークが付される。マークは、未購入であることが分かればよく、未購入という文字でもよいし、フラグでもよい。また、購入済みの画像には購入ボタンＢ３が表示されず、未購入の画像にのみ購入ボタンＢ３が表示される。ユーザは、購入したい画像を選択し、購入ボタンＢ３を押す（ステップＳ２０６）。

他のイベントについても画像を確認する場合は、ボタンＢ７を押して図１２の画面に戻る。全てのイベントでの購入画像の選択を終えると、ユーザが決済ボタンＢ５を押し、販売処理部１０４が決済処理を行う（ステップＳ２０７）。決済処理後、サーバ１は、購入された画像データをダウンロード可能にしたり、プリント注文内容を工場５へ転送したりする。また、管理部１０５が、記憶部１１内の会員情報に含まれる購入履歴を更新する（ステップＳ２０８）。

このように、本実施形態によれば、ユーザからアップロードされた複数の検索用画像のうち、撮影日がイベント実施日に最も近い検索用画像を用いて顔検索を行うため、販売画像の中から、検索対象人物が写っている画像を精度良く検索できる。

上記実施形態では、サーバ１が顔検索を行う例について説明したが、検索処理を外部の解析端末（図示略）で行ってもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１サーバ
２登録端末
４ユーザ端末
１０ＣＰＵ
１１記憶部
１２通信部
１００認証処理部
１０１閲覧ページ生成部
１０２画像受信部
１０３検索宇
１０４販売処理部
１０５管理部

Claims

複数のイベントの販売画像を記憶する記憶部と、
検索対象人物が写った検索用画像をユーザ端末から受信する画像受信部と、
前記検索用画像内の前記検索対象人物の顔画像を用いて顔検索を行い、前記顔画像との類似度が所定値以上となる顔を含む販売画像を抽出する検索部と、
前記検索部による検索結果を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信する閲覧ページ生成部と、
を備え、
前記画像受信部は、前記ユーザ端末から複数の検索用画像を受信し、
前記検索部は、前記複数のイベントの各々に対し、前記複数の検索用画像のうち、撮影日がイベント実施日に最も近い検索用画像を選択し、選択した検索用画像を用いて顔検索を行うことを特徴とする画像処理装置。
前記画像受信部は、イベント実施日よりも前に第１検索用画像を受信し、前記イベント実施日よりも後に、撮影日が前記第１検索用画像よりも前記イベント実施日に近い第２検索用画像を受信し、
前記検索部は、前記第１検索用画像を用いて１回目の顔検索を行い、前記第２検索用画像を用いて２回目の顔検索を行うことを特徴とする請求項１に記載の画像処理装置。
前記ユーザ端末から、前記検索部により抽出された販売画像のうち少なくとも１つの購入選択を受け付け、決済処理を行う販売処理部と、
前記ユーザ端末による画像購入履歴を管理する管理部と、
をさらに備え、
前記検索部は、前記２回目の顔検索の検索結果と、前記画像購入履歴とを比較し、前記２回目の顔検索で抽出した販売画像のうち、未購入の販売画像を抽出し、
前記閲覧ページ生成部は、未購入の販売画像にマークを付して閲覧ページを生成することを特徴とする請求項２に記載の画像処理装置。
複数のイベントの販売画像を登録するステップと、
検索対象人物が写った検索用画像をユーザ端末から受信するステップと、
前記検索用画像内の前記検索対象人物の顔画像を用いて顔検索を行い、前記顔画像との類似度が所定値以上となる顔を含む販売画像を抽出するステップと、
前記顔検索の検索結果を含む閲覧ページを生成し、前記閲覧ページを前記ユーザ端末へ送信するステップと、
をサーバが実行する画像検索方法であって、
前記サーバが、前記ユーザ端末から複数の検索用画像を受信し、前記複数のイベントの各々に対し、前記複数の検索用画像のうち、撮影日がイベント実施日に最も近い検索用画像を選択し、選択した検索用画像を用いて顔検索を行うことを特徴とする画像検索方法。