JP5788996B2 - 画像検索システム、画像検索方法、画像検索装置、プログラム、及び情報記憶媒体 - Google Patents

Description

本発明は画像検索システム、画像検索方法、画像検索装置、プログラム、及び情報記憶媒体に関する。

原画像に類似する画像を検索するための画像検索システムが知られている（例えば特許文献１）。例えば、衣服画像に類似する衣服画像を検索するための画像検索システムが知られている。

特開２０１１−１３８４２０号公報

従来の画像検索システムでは、原画像の特定部分が異なるような画像を検索することが困難であった。例えば、衣服画像（原画像）に基づいて画像検索を行うような場合、袖部分の柄（模様）のみが異なるような衣服画像を検索することは困難であった。

本発明は上記課題に鑑みてなされたものであって、その目的は、原画像の特定部分が異なるような画像を検索できるようになる画像検索システム、画像検索方法、画像検索装置、プログラム、及び情報記憶媒体を提供することにある。

上記課題を解決するために、本発明に係る画像検索システムは、原画像を取得する原画像取得手段と、前記原画像のうちの加工の対象となる一部領域の指定と、当該一部領域に対する加工内容と、を受け付ける受付手段と、前記加工内容の加工が前記原画像の前記一部領域に施されてなる加工画像、又は、前記原画像、の前記一部領域以外の領域に関する複数種類の特徴情報と、前記加工画像又は前記原画像の前記一部領域に関する前記複数種類の特徴情報のうちの、前記加工内容に基づいて選択される少なくとも一つの特徴情報と、に基づいて、画像検索を実行する検索手段と、前記検索手段の検索結果を出力手段に出力させる出力制御手段と、を含むことを特徴とする。

また、本発明に係る画像検索方法は、原画像を取得する原画像取得ステップと、前記原画像のうちの加工の対象となる一部領域の指定と、当該一部領域に対する加工内容と、を受け付ける受付ステップと、前記加工内容の加工が前記原画像の前記一部領域に施されてなる加工画像、又は、前記原画像、の前記一部領域以外の領域に関する複数種類の特徴情報と、前記加工画像の前記一部領域に関する前記複数種類の特徴情報のうちの、前記加工内容に基づいて選択される少なくとも一つの特徴情報と、に基づいて、画像検索を実行する検索ステップと、前記検索ステップの検索結果を出力手段に出力させる出力制御ステップと、を含むことを特徴とする。

また、本発明に係る画像検索装置は、原画像の一部領域に対する加工内容を取得する手段と、前記加工内容の加工が前記原画像の前記一部領域に施されてなる加工画像、又は、前記原画像、の前記一部領域以外の領域に関する複数種類の特徴情報と、前記加工画像又は前記原画像の前記一部領域に関する前記複数種類の特徴情報のうちの、前記加工内容に基づいて選択される少なくとも一つの特徴情報と、に基づいて、画像検索のための検索条件を設定する検索条件設定手段と、を含むことを特徴とする。

また、本発明に係るプログラムは、原画像の一部領域に対する加工内容を取得する手段、及び、前記加工内容の加工が前記原画像の前記一部領域に施されてなる加工画像の前記一部領域以外の領域に関する複数種類の特徴情報と、前記加工画像の前記一部領域に関する前記複数種類の特徴情報のうちの、前記加工内容に基づいて選択される少なくとも一つの特徴情報と、に基づいて、画像検索のための検索条件を設定する検索条件設定手段、としてコンピュータを機能させるためのプログラムである。

また、本発明に係る情報記憶媒体は、原画像の一部領域に対する加工内容を取得する手段、及び、前記加工内容の加工が前記原画像の前記一部領域に施されてなる加工画像の前記一部領域以外の領域に関する複数種類の特徴情報と、前記加工画像の前記一部領域に関する前記複数種類の特徴情報のうちの、前記加工内容に基づいて選択される少なくとも一つの特徴情報と、に基づいて、画像検索のための検索条件を設定する検索条件設定手段、としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。

また、本発明の一態様では、前記出力制御手段は、前記検索手段の検索結果に前記原画像が含まれる場合において、前記原画像を前記検索手段の検索結果として前記出力手段に出力させないようにしてもよい。

また、本発明の一態様では、前記出力制御手段は、前記検索手段によって検索された画像と、前記原画像と、の類似度に基づいて、前記検索手段によって検索された画像の出力順序を設定する出力順序設定手段と、前記検索手段によって検索された画像を前記出力順序に従って出力手段に出力させる手段と、を含み、前記出力順序設定手段は、前記原画像との類似度が低い画像の出力順序を、前記原画像との類似度が高い画像の出力順序よりも高く設定するようにしてもよい。

また、本発明の一態様では、前記検索手段は、対象画像が前記加工画像と同一又は類似の画像であるか否かを判定する判定手段を含み、前記加工画像と同一又は類似の画像を検索し、前記判定手段は、前記加工画像又は前記原画像の前記一部領域以外の前記領域に関する前記複数種類の特徴情報と、前記加工画像の前記一部領域以外の前記領域に対応する、前記対象画像の領域に関する前記複数種類の特徴情報と、の間の類似の程度を示す第１類似度が第１基準類似度以上であるか否かを判定する手段と、前記加工画像の前記一部領域に関する前記少なくとも一つの特徴情報と、前記加工画像の前記一部領域に対応する、前記対象画像の領域に関する前記少なくとも一つの特徴情報と、の間の類似の程度を示す第２類似度が、前記第１基準類似度よりも低い第２基準類似度以上であるか否かを判定する手段と、を含み、前記第１類似度が前記第１基準類似度以上であると判定され、かつ、前記第２類似度が前記第２基準類似度以上であると判定された場合に、前記対象画像が前記加工画像と同一又は類似の画像であると判定するようにしてもよい。

また、本発明の一態様では、前記検索手段は、対象画像が前記原画像と類似の画像であるか否かを判定する判定手段を含み、前記原画像と類似の画像を検索し、前記判定手段は、前記原画像の前記一部領域以外の前記領域に関する前記複数種類の特徴情報と、前記原画像の前記一部領域以外の前記領域に対応する、前記対象画像の領域に関する前記複数種類の特徴情報と、の間の類似の程度を示す第１類似度が第１基準類似度以上であるか否かを判定する手段と、前記原画像の前記一部領域に関する前記少なくとも一つの特徴情報と、前記原画像の前記一部領域に対応する、前記対象画像の領域に関する前記少なくとも一つの特徴情報と、の間の類似の程度を示す第２類似度が、前記第１基準類似度よりも低い第２基準類似度以上であるか否かを判定する手段と、を含み、前記第１類似度が前記第１基準類似度以上であると判定され、かつ、前記第２類似度が前記第２基準類似度以上であると判定された場合に、前記対象画像が前記原画像と類似の画像であると判定するようにしてもよい。

本発明によれば、原画像の特定部分が異なるような画像を検索できるようになる。

本発明の実施形態に係る画像検索システムの全体構成の一例を示す図である。 画像検索を行う場合の画面遷移の一例を示す図である。 加工画面の一例を示す図である。 原画像に対する加工の一例について説明するための図である。 原画像に対する加工の他の一例について説明するための図である。 原画像に対する加工の他の一例について説明するための図である。 検索結果画面の一例を示す図である。 画像検索システムの機能ブロック図である。 加工領域及び非加工領域について説明するための図である。 加工領域に対する加工内容と、画像検索に用いる加工領域の特徴情報と、の対応関係の一例を示す図である。 画像検索システムで実行される処理の一例を示すフロー図である。 画像検索システムで実行される処理の一例を示すフロー図である。

以下、本発明の実施形態の例について図面に基づき詳細に説明する。

図１は、本発明の実施形態に係る画像検索システム１の全体構成の一例を示す。図１に示すように、本実施形態に係る画像検索システム１はサーバ１０、データベース１６、及びユーザ端末２０を含む。サーバ１０及びユーザ端末２０は、例えばインターネット等を含んで構成される通信ネットワーク２に接続されており、サーバ１０とユーザ端末２０との間で相互にデータ通信が可能である。

サーバ１０は制御部１１、主記憶部１２、補助記憶部１３、通信部１４、及び光ディスクドライブ部１５を含む。制御部１１は例えば１又は複数のＣＰＵを含み、補助記憶部１３に記憶されたオペレーションシステム又はプログラムに従って情報処理を実行する。主記憶部１２は例えばＲＡＭであり、補助記憶部１３は例えばハードディスク又はソリッドステートドライブである。通信部１４は通信ネットワーク２を介してデータ通信を行うためのものである。光ディスクドライブ部１５は、光ディスク（情報記憶媒体）に記録されたプログラムやデータを読み出すためのものである。

例えば、プログラムやデータは光ディスク（情報記憶媒体）を介して補助記憶部１３に供給される。すなわち、光ディスクに記憶されたプログラムやデータが光ディスクドライブ部１５によって読み出され、補助記憶部１３に記憶される。なお、サーバ１０は、光ディスク以外の情報記憶媒体（例えばメモリカード）に記憶されたプログラム又はデータを読み出すための構成要素を含むようにしてもよい。そして、光ディスク以外の情報記憶媒体（例えばメモリカード）を介してプログラムやデータが補助記憶部１３に供給されるようにしてもよい。また、プログラム及びデータは通信ネットワーク２を介して補助記憶部１３に供給されるようにしてもよい。

サーバ１０はデータベース１６にアクセスできるようになっている。データベース１６には画像検索の対象となる多数の画像が記憶されている。なお、データベース１６はサーバ１０内に構築されるようにしてもよいし、サーバ１０とは別のサーバ内に構築されるようにしてもよい。

ユーザ端末２０はユーザによって使用される情報処理装置である。ユーザ端末２０は制御部２１、主記憶部２２、補助記憶部２３、通信部２４、表示部２５、音声出力部２６、及び操作部２７を含む。制御部２１、主記憶部２２、補助記憶部２３、及び通信部２４はサーバ１０の制御部１１、主記憶部１２、補助記憶部１３、及び通信部１４と同様である。

例えば、プログラム及びデータは通信ネットワーク２を介して補助記憶部２３に供給される。なお、ユーザ端末２０は光ディスクドライブ部を備えるようにしてもよい。そして、プログラムやデータが光ディスク（情報記憶媒体）を介して補助記憶部２３に供給されるようにしてもよい。また、ユーザ端末２０は、光ディスク以外の情報記憶媒体（例えばメモリカード）に記憶されたプログラム又はデータを読み出すための構成要素を含むようにしてもよい。そして、光ディスク以外の情報記憶媒体（例えばメモリカード）を介してプログラムやデータが補助記憶部２３に供給されるようにしてもよい。

表示部２５は例えば液晶ディスプレイ又は有機ＥＬディスプレイ等であり、各種画面を表示する。音声出力部２６は例えばスピーカ又はヘッドホン端子等であり、各種音声を出力する。

操作部２７はユーザが操作を行うためのものである。例えば、表示部２５に表示される画面内の位置をユーザが指示するためのポインティングデバイスが操作部２７として備えられる。例えば、表示部２５の上に重ねて設けられるタッチパネルがユーザ端末２０に備えられる。なお、タッチパネルの代わりに、例えばマウス又はスティック等がユーザ端末２０に備えられるようにしてもよい。

本実施形態に係る画像検索システム１は、原画像の特定部分が異なるような画像を検索できるようになっている。以下、この画像検索機能について説明する。なお以下では、衣服画像の特定部分が異なるような画像を検索する場合を例として説明する。

図２は、画像検索を行う場合にユーザ端末２０の表示部２５に表示される画面の遷移の一例を説明するための図である。

画像検索を行う場合、図２に示すように、まず原画像選択画面が表示部２５に表示される（Ｓ１０１）。原画像選択画面は、画像検索に用いる原画像をデータベース１６に記憶される画像のうちから選択するための画面である。

原画像選択画面において原画像が選択されると、加工画面が表示部２５に表示される（Ｓ１０２）。加工画面は原画像を加工するための画面である。

図３は加工画面の一例を示す。加工画面３０には、原画像選択画面において選択された原画像３２が表示される。図３に示す加工画面３０には長袖カットソーの画像が原画像３２として表示されている。なお、図３は初期状態の加工画面３０を示している。初期状態の加工画面３０には、加工されていない状態の原画像３２が表示される。なお、本実施形態の場合、原画像３２の背景部分（衣服以外の部分）は除去されている。背景部分の除去は、原画像３２が加工画面３０に表示される際に実行されるようにしてもよいし、あらかじめ背景部分が除去された画像がデータベース１６に保存されていてもよい。

また、加工画面３０には、加工内容を指定するためのメニュー３４（プルダウンメニュー）が表示されている。なお、メニュー３４の代わりに、加工内容を指定するためのラジオボタン（オプションボタン）等が表示されるようにしてもよい。

ユーザは、原画像３２に対する加工内容をメニュー３４において指定した後、その加工内容に対応する加工操作を行う。例えば、メニュー３４では下記のような加工内容を指定できるようになっている。
（１）色の削除（色抜き）
（２）色の変更
（３）柄の削除
（４）柄の変更
（５）変形

以下、上記の加工内容について説明する。図４〜図６は、原画像３２に対して加工が施された場合の加工画面３０の例について示している。図４〜図６に示す加工画面３０には、原画像３２に対して加工が施されてなる画像（以下「加工画像」と呼ぶ。）３６が表示されている。

「色の削除」について説明する。図４は、原画像３２のうちの袖部分の色が削除された場合について示している。袖部分の色を削除する場合、まず、ユーザはメニュー３４において「色の削除」を選択する。その後、ユーザは袖部分の画素（すなわち、色を削除したい画素）を指し示すことによって、袖部分の色を削除する。例えば、袖以外の部分を重視し、袖部分の色を重視しないような場合にユーザは図４に示すような加工を行う。

「色の変更」について説明する。例えば、原画像３２のうちの袖部分の色を変更する場合、まず、ユーザはメニュー３４において「色の変更」を選択する。「色の変更」が選択されると、所望の色を選択するためのメニューが表示されるため、ユーザは所望の色を指定する。その後、ユーザは袖部分の画素（すなわち、色を変更したい画素）を指し示すことによって、袖部分の色を上記の所望の色に変更する。例えば、原画像３２に写されている長袖カットソーの袖部分の色を所望の色に変えたような長袖カットソーの画像を検索したい場合にユーザは上記のような加工を行う。

「柄の削除」について説明する。例えば、原画像３２のうちの袖部分の柄を削除する場合、まず、ユーザはメニュー３４において「柄の削除」を選択する。その後、ユーザは袖部分の画素（すなわち、柄を削除したい画素）を指し示すことによって、袖部分の柄を削除する。例えば、袖以外の部分を重視し、袖部分の柄を重視しないような場合にユーザは上記のような加工を行う。

「柄の変更」について説明する。図５は、原画像３２のうちの袖部分の柄が変更された場合について示している。袖部分の柄を変更する場合、まず、ユーザはメニュー３４において「柄の変更」を選択する。「柄の変更」が選択されると、柄を変更するためのメニューが表示され、ユーザは袖部分の柄を所望の柄に変更する。例えば、原画像３２に写されている長袖カットソーの袖部分の柄を所望の柄に変えたような長袖カットソーの画像を検索したい場合にユーザは図５に示すような加工を行う。

「変形」について説明する。図６は、原画像３２のうちの袖部分を変形した場合について示している。図６に示す加工画面３０では、袖部分が上方向に縮ませるようにして変形されている。袖部分を変形する場合、まず、ユーザはメニュー３４において「変形」を選択する。その後、ユーザは袖部分（すなわち、変形したい部分）を囲むような領域を指定し、該領域を例えば上方向に縮ませるようにして該領域を変形させることによって、袖部分を変形させる。例えば、原画像３２に写されている長袖カットソーと同様の色及び柄を有するような半袖カットソーを検索したい場合にユーザは図６に示すような加工を行う。

なお、加工画面３０では、以上に説明した加工内容のいずれか一つしか行えないわけではなく、以上に説明した加工内容のうちの複数を行うことが可能である。例えば、「変形」を行った後に「色の削除」を行うことも可能である。

加工画面３０においてユーザが加工を完了し、検索指示操作を行うと、加工画像３６と類似する画像が検索される。そして、検索結果画面が表示部２５に表示される（Ｓ１０３）。

図７は検索結果画面の一例を示す。なお、図７は、原画像３２の袖部分の色が削除されてなる加工画像３６（図４参照）に基づいて画像検索が実行された場合の検索結果画面４０を示している。

図７に示す検索結果画面４０は、加工画像３６と類似する画像として８個の画像４２Ａ，４２Ｂ，４２Ｃ，４２Ｄ，４２Ｅ，４２Ｆ，４２Ｇ，４２Ｈが見つかったことを示している。なお、図７では画像４２Ｄ，４２Ｅ，４２Ｆ，４２Ｇを省略している。

検索結果画面４０では、検索結果として得られた画像４２Ａ〜４２Ｈが出力順序に従って表示される。検索結果画面４０では出力順序の高い画像から順に表示されるようになっている。このため、画像４２Ａは出力順序が最も高い画像であり、画像４２Ｈは出力順序が最も低い画像である。なお、画像４２Ｈは原画像３２（すなわち、加工が施される前の画像）である。すなわち、原画像３２の出力順序が最も低く設定されている。

画像検索システム１では、原画像３２（すなわち、加工が施される前の画像）との類似度が低い画像ほど、出力順序が高くなるようにして、画像４２Ａ〜４２Ｈの出力順序が設定されるようになっている。ユーザが原画像３２をあえて加工して画像検索を行った場合、原画像３２はユーザが見つけたいと思っている画像ではなく、また、原画像３２との類似度が高い画像もユーザが見つけたいと思っている画像ではない可能性が高い。この点、画像検索システム１では以上のようにして出力順序が設定されていることによって、原画像３２自体や、原画像３２との類似度が高い画像が優先的に表示されないようになっている。

検索結果画面４０に表示される画像４２Ａ〜４２Ｈのうちのいずれかをユーザが選択すると、その画像に写されている商品（衣服）の詳細情報を示す商品画面が表示される（Ｓ１０４）。例えば商品画面では商品を購入することができるようになっている。

ここで、以上に説明したような画像検索機能を実現するための構成について説明する。図８は、画像検索システム１において実現される機能を示す機能ブロック図である。図８に示すように、画像検索システム１は、原画像取得部５０、受付部５２、検索条件設定部５４、検索部５６、及び出力制御部５８を含む。

例えば、これらの機能ブロックはサーバ１０又はユーザ端末２０において実現される。例えば、原画像取得部５０、受付部５２、及び検索条件設定部５４はユーザ端末２０において実現され、検索部５６及び出力制御部５８はサーバ１０において実現される。すなわち、ユーザ端末２０の制御部２１がプログラムに従って処理を実行することによって、制御部２１が原画像取得部５０、受付部５２、及び検索条件設定部５４として機能するようになる。また、サーバ１０の制御部１１がプログラムに従って処理を実行することによって、制御部１１が検索部５６及び出力制御部５８として機能するようになる。

原画像取得部５０は、画像検索に用いるための原画像３２を取得する。本実施形態の場合、原画像取得部５０は、原画像選択画面においてユーザによって選択された原画像３２を取得する。

受付部５２は、原画像３２のうちの加工の対象となる一部領域の指定と、当該一部領域に対する加工内容と、を受け付ける。本実施形態の場合、受付部５２は加工画面３０を表示部２５に表示することによって、原画像３２の一部領域に対する加工を受け付ける。すなわち、受付部５２は、原画像３２の一部領域に対する加工を受け付けることによって、原画像３２のうちの加工の対象となる一部領域の指定と、当該一部領域に対する加工内容と、を受け付ける。

なお、加工画面３０では、ユーザに原画像３２を実際に加工させることによって、加工の対象となる一部領域の指定と、当該一部領域に対する加工内容と、を受け付けるようになっていたが、受付部５２は、ユーザに原画像３２を実際に加工させることなく、加工の対象となる一部領域の指定と、当該一部領域に対する加工内容と、を受け付けるようにしてもよい。

検索条件設定部５４は、ユーザによって指定された加工内容の加工が原画像３２の一部領域に施されてなる加工画像３６の非加工領域に関する複数種類の特徴情報と、加工画像３６の加工領域に関する複数種類の特徴情報のうちの、加工領域に施された加工内容に基づいて選択される少なくとも一つの特徴情報と、に基づいて、加工画像３６と同一又は類似の画像を検索するための検索条件を設定する。

ここで、「加工領域」とは、加工の対象として指定された部分（すなわち、加工が施された部分）を含む領域である。また、「非加工領域」とは加工領域以外の領域である。図９は加工領域及び非加工領域について説明するための図である。図９は、袖部分が加工の対象として指定された場合（すなわち、袖部分に対して加工が施された場合）の加工領域及び非加工領域について示している。図９に示すように、袖部分が加工の対象として指定された場合には、袖部分を含む矩形領域が加工領域６０として設定される。また、加工領域６０以外の領域が非加工領域６２として設定される。

検索条件設定部５４は、加工画像３６の非加工領域６２に関する複数種類の特徴情報を取得する。ここで、「複数種類の特徴情報」とは、例えば下記のような特徴情報である。なお、これらの特徴情報を抽出する方法としては公知の方法を採用することができる。
（１）色に関する特徴情報（特徴値）
（２）柄に関する特徴情報（特徴値）
（３）形状に関する特徴情報（特徴値）

また検索条件設定部５４は、加工画像３６の加工領域６０に関する複数種類の特徴情報のうちの、加工領域６０に施された加工内容に基づいて選択される少なくとも一つの特徴情報を取得する。

この場合の「複数種類の特徴情報」も、例えば上記（１）〜（３）のような特徴情報である。検索条件設定部５４は、加工画像３６の加工領域６０に関する上記（１）〜（３）の特徴情報のうちから、画像検索に用いる特徴情報を、加工領域６０に対する加工内容に基づいて選択する。

図１０は、加工領域６０に対する加工内容と、画像検索に用いる加工領域６０の特徴情報と、の対応関係の一例を示している。

なお、図１０の「加工領域に対する加工内容」欄における丸印は、加工領域６０に対する加工内容として指定された加工内容（すなわち、加工領域６０に施された加工内容）を示している。また、図１０の「画像検索に用いる加工領域の特徴情報」欄において、丸印は特徴情報が画像検索に用いられることを示しており、空欄は特徴情報が画像検索に用いられないことを示している。

例えば、図１０の（Ａ）の場合、「加工領域に対する加工内容」欄において「色−削除」欄に丸印が付されている。これは、加工領域６０に対する加工内容として「色の削除」が指定された場合を示している。また、図１０の（Ａ）の場合、「画像検索に用いる加工領域の特徴情報」欄において、「柄」欄及び「形状」欄に丸印が付されており、「色」欄は空欄になっている。これは、加工領域６０の柄及び形状に関する特徴情報が画像検索に用いられ、加工領域６０の色に関する特徴情報は画像検索に用いられないことを示している。

その結果、例えば図４に示すように袖部分の色が削除された場合、加工領域６０に関する上記（１）〜（３）の特徴情報のうち、柄及び形状に関する特徴情報のみを画像検索に用い、色に関する特徴情報を画像検索に用いないようになっている。例えば、ユーザが袖部分の色を削除した場合とはユーザが袖部分の色を指定していない場合である。このため、加工領域６０の色に関する特徴情報を画像検索に用いないようになっている。また、ユーザが袖部分の柄を削除したり、変更したりしなかった場合とは、原画像３２に写されている袖部分と同一又は類似の柄の袖部分を有する衣服をユーザが検索したいと考えている場合である。同様に、ユーザが袖部分を変形しなかった場合とは、原画像３２に写されている袖部分と同一又は類似の形状の袖部分を有する衣服をユーザが検索したいと考えている場合である。このため、加工領域６０の柄及び形状に関する特徴情報を画像検索に用いるようになっている。

また例えば、図１０の（Ｂ）の場合、「加工領域に対する加工内容」欄において「色−削除」欄及び「形状」欄に丸印が付されている。このため、図１０の（Ｂ）は、加工領域６０に対する加工内容として「色の削除」及び「変形」が指定された場合を示している。また図１０の（Ｂ）の場合、「画像検索に用いる加工領域の特徴情報」欄において、「柄」欄及び「形状」欄に丸印が付されており、「色」欄は空欄になっている。これは、加工領域６０の柄及び形状に関する特徴情報が画像検索に用いられ、加工領域６０の色に関する特徴情報は画像検索に用いられないことを示している。

ユーザが袖部分の色を削除し、かつ、袖部分を変形した場合とは、ユーザが袖部分の色を指定していない場合であって、かつ、袖部分の形状を指定した場合である。このため、加工領域６０の色に関する特徴情報を画像検索に用いないようになっており、一方、加工領域６０の形状に関する特徴情報を画像検索に用いるようになっている。また、ユーザが袖部分の柄を削除したり、変更したりしなかった場合とは、原画像３２に写されている袖部分と同一又は類似の柄の袖部分を有する衣服をユーザが検索したいと考えている場合である。このため、加工領域６０の柄に関する特徴情報を画像検索に用いるようになっている。

また例えば、図１０の（Ｃ）の場合、「加工領域に対する加工内容」欄において「柄−削除」欄に丸印が付されている。これは、加工領域６０に対する加工内容として「柄の削除」が指定された場合を示している。また図１０の（Ｃ）の場合、「画像検索に用いる加工領域の特徴情報」欄において、「色」欄及び「形状」欄に丸印が付されており、「柄」欄は空欄になっている。これは、加工領域６０の色及び形状に関する特徴情報が画像検索に用いられ、加工領域６０の柄に関する特徴情報は画像検索に用いられないことを示している。

ユーザが袖部分の柄を削除した場合とはユーザが袖部分の柄を指定していない場合である。このため、加工領域６０の柄に関する特徴情報を画像検索に用いないようになっている。また、ユーザが袖部分の色を削除したり、変更したりしなかった場合とは、ユーザが原画像３２に写されている袖部分と同一又は類似の色の袖部分を有する衣服を検索したいと考えている場合である。同様に、ユーザが袖部分を変形しなかった場合とは、ユーザが原画像３２に写されている袖部分と同一又は類似の形状の袖部分を有する衣服を検索したいと考えている場合である。このため、加工領域６０の色及び形状に関する特徴情報を画像検索に用いるようになっている。

また例えば、図１０の（Ｄ）の場合、「加工領域に対する加工内容」欄において「柄−削除」欄及び「変形」欄に丸印が付されている。これは、加工領域６０に対する加工内容として「柄の削除」及び「変形」が指定された場合を示している。また図１０の（Ｄ）の場合、「画像検索に用いる加工領域の特徴情報」欄において、「色」欄及び「形状」欄に丸印が付されており、「柄」欄は空欄になっている。これは、加工領域６０の色及び形状に関する特徴情報が画像検索に用いられ、加工領域６０の柄に関する特徴情報は画像検索に用いられないことを示している。

ユーザが袖部分の柄を削除し、かつ、袖部分を変形した場合とは、ユーザが袖部分の柄を指定していない場合であって、かつ、袖部分の形状を指定した場合である。このため、加工領域６０の柄に関する特徴情報を画像検索に用いないようになっており、一方、加工領域６０の形状に関する特徴情報を画像検索に用いるようになっている。また、ユーザが袖部分の色を削除したり、変更したりしなかった場合とは、原画像３２に写されている袖部分と同一又は類似の色の袖部分を有する衣服をユーザが検索したいと考えている場合である。このため、加工領域６０の色に関する特徴情報を画像検索に用いるようになっている。

また例えば、図１０の（Ｅ）の場合、「加工領域に対する加工内容」欄において「色−削除」欄と「柄−削除」欄に丸印が付されている。これは、加工領域６０に対する加工内容として「色の削除」及び「柄の削除」が指定された場合を示している。また図１０の（Ｅ）の場合、「形状」欄のみに丸印が付されており、「色」及び「柄」欄は空欄になっている。これは、加工領域６０の形状に関する特徴情報のみが画像検索に用いられ、加工領域６０の色及び柄に関する特徴情報が画像検索に用いられないことを示している。

ユーザが袖部分の色及び柄を削除した場合とは、ユーザが袖部分の色及び柄を指定していない場合である。このため、加工領域６０の色及び柄に関する特徴情報を画像検索に用いないようになっている。また、ユーザが袖部分を変形しなかった場合とは、原画像３２に写されている袖部分と同一又は類似の形状の袖部分を有する衣服をユーザが検索したいと考えている場合である。このため、加工領域６０の形状に関する特徴情報を画像検索に用いるようになっている。

また例えば、図１０の（Ｆ）の場合、「加工領域に対する加工内容」欄において「色−削除」欄、「柄−削除」、及び「変形」欄に丸印が付されている。これは、加工領域６０に対する加工内容として「色の削除」、「柄の削除」、及び「変形」が指定された場合を示している。また図１０の（Ｆ）の場合、「画像検索に用いる加工領域の特徴情報」欄において、「形状」欄に丸印が付されており、「色」及び「柄」欄は空欄になっている。これは、加工領域６０の形状に関する特徴情報が画像検索に用いられ、加工領域６０の色及び柄に関する特徴情報が画像検索に用いられないことを示している。

ユーザが袖部分の色及び柄を削除し、かつ、袖部分を変形した場合とは、ユーザが袖部分の色及び柄を指定していない場合であって、かつ、袖部分の形状を指定した場合である。このため、加工領域６０の色及び柄に関する特徴情報を画像検索に用いないようになっており、一方、加工領域６０の形状に関する特徴情報を画像検索に用いるようになっている。

なお、図１０に示す対応関係では、以上に説明した場合以外の場合（（Ｇ）〜（Ｍ））には、加工領域６０の色、柄、及び形状に関する特徴情報が画像検索に用いられるようになっている。

例えば、図１０の（Ｇ）の場合、「加工領域に対する加工内容」欄において「色−変更」欄に丸印が付されている。これは、加工領域６０に対する加工内容として「色の変更」が指定された場合を示している。また図１０の（Ｇ）の場合、「画像検索に用いる加工領域の特徴情報」欄において、「色」欄、「柄」欄、及び「形状」欄に丸印が付されている。

ユーザが袖部分の色を変更した場合とはユーザが袖部分の色を積極的に指定した場合である。このため、加工領域６０の色に関する特徴情報を画像検索に用いるようになっている。また、ユーザが袖部分の柄を削除したり、変更したりしなかった場合とは、原画像３２に写されている袖部分と同一又は類似の柄の袖部分を有する衣服をユーザが検索したいと考えている場合である。このため、加工領域６０の柄に関する特徴情報も画像検索に用いるようになっている。同様に、ユーザが袖部分を変形しなかった場合とは、原画像３２に写されている袖部分と同一又は類似の形状の袖部分を有する衣服をユーザが検索したいと考えている場合である。このため、加工領域６０の形状に関する特徴情報も画像検索に用いるようになっている。

また例えば、図１０の（Ｈ）の場合、「加工領域に対する加工内容」欄において「柄−変更」欄に丸印が付されている。これは、加工領域６０に対する加工内容として「柄の変更」が指定された場合を示している。また図１０の（Ｈ）の場合、「画像検索に用いる加工領域の特徴情報」欄において、「色」欄、「柄」欄、及び「形状」欄に丸印が付されている。

その結果、例えば図５に示すように袖部分の柄が変更された場合、加工領域６０に関する上記（１）〜（３）の特徴情報のすべてを画像検索に用いるようになっている。例えば、ユーザが袖部分の柄を変更した場合とはユーザが袖部分の柄を積極的に指定した場合である。このため、加工領域６０の柄に関する特徴情報を画像検索に用いるようになっている。また、ユーザが袖部分の色を削除したり、変更したりしなかった場合とは、原画像３２に写されている袖部分と同一又は類似の色の袖部分を有する衣服をユーザが検索したいと考えている場合である。このため、加工領域６０の色に関する特徴情報も画像検索に用いるようになっている。同様に、ユーザが袖部分を変形しなかった場合とは、原画像３２に写されている袖部分と同一又は類似の形状の袖部分を有する衣服をユーザが検索したいと考えている場合である。このため、加工領域６０の形状に関する特徴情報も画像検索に用いるようになっている。

さらに例えば、図１０の（Ｉ）の場合、「加工領域に対する加工内容」欄において「変形」欄に丸印が付されている。これは、加工領域６０に対する加工内容として「変形」が指定された場合を示している。また図１０の（Ｉ）の場合、「画像検索に用いる加工領域の特徴情報」欄において、「色」欄、「柄」欄、及び「形状」欄に丸印が付されている。

その結果、例えば図６に示すように袖部分を変形させた場合には、加工領域６０に関する上記（１）〜（３）の特徴情報のすべてを画像検索に用いるようになっている。例えば、ユーザが袖部分を変形した場合とはユーザが袖部分の形状を積極的に指定した場合である。このため、加工領域６０の形状に関する特徴情報を画像検索に用いるようになっている。また、ユーザが袖部分の色及び柄を削除したり、変更したりしなかった場合とは、原画像３２に写されている袖部分と同一又は類似の色及び柄の袖部分を有する衣服をユーザが検索したいと考えている場合である。このため、加工領域６０の色及び柄に関する特徴情報も画像検索に用いるようになっている。

なお、図１０の（Ｊ）〜（Ｍ）の場合も、図１０の（Ｇ）〜（Ｉ）と同様の理由により、加工領域６０に関する上記（１）〜（３）の特徴情報のすべてを画像検索に用いるようになっている。

ところで、加工領域６０に対する加工内容として「色の削除」が指定された場合、ユーザは色だけでなく柄も指定するつもりがないと考えることができる場合もある。このため、加工領域６０に対する加工内容として「色の削除」が指定された場合（例えば図１０の（Ａ）及び（Ｂ））には、加工領域６０の色に関する特徴情報だけでなく、加工領域６０の柄に関する特徴情報も画像検索に用いないようにしてもよい。

検索部５６は、検索条件設定部５４によって設定された検索条件に基づいて、加工画像３６と同一又は類似の画像を検索する。詳細については後述する（図１２参照）。

出力制御部５８は、検索部５６の検索結果を出力部に出力させる。本実施形態の場合、出力制御部５８は検索結果画面４０を表示部２５に表示させる。

また本実施形態の場合、出力制御部５８（出力順序設定手段）は、検索部５６によって検索された画像と、原画像３２（すなわち、加工が施されていない元々の画像）と、の類似度に基づいて、検索部５６によって検索された画像の出力順序を設定する。そして、出力制御部５８は、検索部５６によって検索された画像を該出力順序に従って出力部に出力させる。

例えば、出力制御部５８（出力順序設定手段）は、原画像３２との類似度が低い画像の出力順序を、原画像３２との類似度が高い画像の出力順序よりも高く設定する。

例えば、検索部５６によって検索された画像に第１の画像と第２の画像が含まれ、かつ、原画像３２と第１の画像との類似度が、原画像３２と第２の画像との類似度よりも低い場合、出力制御部５８は、第１の画像の出力順序を第２の画像の出力順序よりも高く設定する。言い換えれば、出力制御部５８は、第２の画像の出力順序を第１の画像の出力順序よりも下げる。

次に、画像検索システム１で実行される処理について説明する。図１１は、加工画面３０において原画像３２に対する加工が完了され、ユーザによって検索指示操作が行われた場合に実行される処理の一例を示すフロー図である。ユーザ端末２０の制御部２１がプログラムに従って図１１に示す処理を実行することによって、制御部１１が検索条件設定部５４として機能するようになる。また、サーバ１０の制御部１１がプログラムに従って図１１に示す処理を実行することによって、制御部１１が検索部５６及び出力制御部５８として機能するようになる。

加工画面３０において原画像３２に対する加工が完了され、ユーザによって検索指示操作が行われた場合、図１１に示すように、ユーザ端末２０の制御部２１は、加工画面３０において行われた加工内容に基づいて、加工画像３６の加工領域６０及び非加工領域６２を特定する（Ｓ２０１）。

その後、制御部２１は加工画像３６の非加工領域６２に関する特徴情報を取得する（Ｓ２０２）。例えば、制御部２１は、非加工領域６２の色、柄、及び形状に関する特徴情報を取得する。

また、制御部２１は加工画像３６の加工領域６０に関する特徴情報を取得する（Ｓ２０３）。例えば、制御部２１は、加工領域６０に対して施された加工内容と、図１０に示す対応関係と、に基づいて、加工領域６０の色、柄、及び形状に関する特徴情報のうちの少なくとも一つを取得する。

その後、制御部２１はサーバ１０に画像検索の実行を要求する（Ｓ２０４）。例えば、制御部２１は下記に示すような情報をサーバ１０に送信する。
・原画像３２の識別情報
・加工領域６０及び非加工領域６２を示す情報
・加工領域６０に関する特徴情報
・非加工領域６２に関する特徴情報

上記の要求がサーバ１０で受け付けられた場合、サーバ１０の制御部１１は、ユーザ端末２０から受信した情報に基づいて画像検索を実行する（Ｓ２０５）。

ステップＳ２０５では、データベース１６に記憶された各画像が加工画像３６との比較対象として設定され、例えば図１２に示すような処理が実行される。なお、本実施形態の場合、図１２に示す処理を実行する際に、比較対象画像の背景部分（衣服以外の部分）は除去される。あるいは、あらかじめ背景部分が除去された画像がデータベース１６に保存されている。

すなわち、制御部１１は、加工画像３６との比較対象として設定された画像（比較対象画像）の非加工領域６２の特徴情報を取得する（Ｓ３０１）。なお、ここで、「比較対象画像の非加工領域６２」とは、加工画像３６の非加工領域６２に対応する、比較対象画像の領域のことを意味している。

その後、制御部１１は、加工画像３６の非加工領域６２の特徴情報と、比較対象画像の非加工領域６２の特徴情報との類似度（第１類似度）を算出する（Ｓ３０２）。すなわち、制御部１１は、加工画像３６の非加工領域６２の色、柄、及び形状に関する特徴情報と、比較対象画像の非加工領域６２の色、柄、及び形状に関する特徴情報とを比較することによって上記の類似度を算出する。

そして、制御部１１は、ステップＳ３０２で算出された類似度が閾値（第１基準類似度）以上であるか否かを判定する（Ｓ３０３）。類似度が閾値以上でない場合、制御部１１は比較対象画像と加工画像３６とは類似しないと判定する。

ステップＳ３０２で算出された類似度が閾値以上である場合、制御部１１は、比較対象画像の加工領域６０の特徴情報を取得する（Ｓ３０４）。なお、ここで、「比較対象画像の加工領域６０」とは、加工画像３６の加工領域６０に対応する、比較対象画像の領域のことを意味している。

その後、制御部１１は、加工画像３６の加工領域６０の特徴情報と、比較対象画像の加工領域６０の特徴情報との類似度（第２類似度）を算出する（Ｓ３０５）。

例えば、加工画像３６が、原画像３２の加工領域６０に対して「色の削除」の加工を施してなる画像である場合には、図１０の（Ａ）に示したように、加工画像３６の加工領域６０の柄及び形状に関する特徴情報が用いられ、加工画像３６の加工領域６０の色に関する特徴情報が用いられない。このため、加工画像３６の加工領域６０の柄及び形状に関する特徴情報と、比較対象画像の加工領域６０の柄及び形状に関する特徴情報とを比較することによって上記の類似度が算出される。

また例えば、加工画像３６が、原画像３２の加工領域６０に対して「柄の削除」の加工を施してなる画像である場合には、図１０の（Ｃ）に示したように、加工画像３６の加工領域６０の色及び形状に関する特徴情報が用いられ、加工画像３６の加工領域６０の柄に関する特徴情報が用いられない。このため、加工画像３６の加工領域６０の色及び形状に関する特徴情報と、比較対象画像の加工領域６０の色及び形状に関する特徴情報とを比較することによって上記の類似度が算出される。

また例えば、加工画像３６が、原画像３２の加工領域６０に対して「色の削除」及び「柄の削除」の加工を施してなる画像である場合には、図１０の（Ｅ）に示したように、加工画像３６の加工領域６０の形状に関する特徴情報のみが用いられ、加工画像３６の加工領域６０の色及び柄に関する特徴情報が用いられない。このため、加工画像３６の加工領域６０の形状に関する特徴情報と、比較対象画像の加工領域６０の形状に関する特徴情報とを比較することによって上記の類似度が算出される。

また例えば、加工画像３６が、原画像３２の加工領域６０に対して「柄の変更」の加工のみを施してなる画像である場合には、図１０の（Ｈ）に示したように、加工画像３６の加工領域６０の色、柄、及び形状に関する特徴情報が用いられる。このため、加工画像３６の加工領域６０の色、柄、及び形状に関する特徴情報と、比較対象画像の加工領域６０の色、柄、及び形状に関する特徴情報とを比較することによって上記の類似度が算出される。

また例えば、加工画像３６が、原画像３２の加工領域６０に対して「変形」の加工を施してなる画像である場合には、図１０の（Ｉ）に示したように、加工画像３６の加工領域６０の色、柄、及び形状に関する特徴情報が用いられる。このため、加工画像３６の加工領域６０の色、柄、及び形状に関する特徴情報と、比較対象画像の加工領域６０の色、柄、及び形状に関する特徴情報とを比較することによって上記の類似度が算出される。

ステップＳ３０５の処理が実行された後、制御部１１は、ステップＳ３０５で算出された類似度が閾値（第２基準類似度）以上であるか否かを判定する（Ｓ３０６）。なお、このステップＳ３０６における閾値（第２基準類似度）はステップＳ３０３における閾値（第１基準類似度）よりも低く設定される。すなわち、加工領域６０に関しては非加工領域６２に比べて緩めの検索が実行される。つまり、ユーザがあえて加工した部分に関しては比較的緩めの検索が実行され、なるべく多くの検索結果をユーザに提示できるようになっている。

ステップＳ３０５で算出された類似度が閾値以上でない場合、制御部１１は比較対象画像と加工画像３６とは類似しないと判定する。

一方、ステップＳ３０５で算出された類似度が閾値以上である場合、制御部１１は比較対象画像と加工画像３６とが類似すると判定する（Ｓ３０７）。また、この場合、制御部１１は、比較対象画像と、原画像３２（すなわち、加工が施されていない元々の画像）と、の類似度を取得する（Ｓ３０８）。例えば、制御部１１は、比較対象画像の特徴情報と、原画像３２の特徴情報とを比較することによって上記の類似度を算出する。このステップＳ３０８で算出された類似度は、比較対象画像を検索結果画面４０に表示する場合の出力順序を決定するために用いられる。

図１１に示すように、画像検索（ステップＳ２０５）が実行された後、制御部１１は検索結果をユーザ端末２０に送信する（Ｓ２０６）。すなわち、制御部１１は、ステップＳ２０５において検索された画像（すなわち、ステップＳ３０７において加工画像３６と類似すると判定された画像）のリストを示すデータをユーザ端末２０に送信することによって、検索結果画面をユーザ端末２０の表示部２５に表示させる。なお、この場合、制御部１１は、ステップＳ２０５において検索された画像の出力順序を、ステップＳ３０８において取得された類似度に基づいて設定する。すなわち、ステップＳ３０８において取得された類似度が低い画像ほど、出力順序が高く設定される。

検索結果がユーザ端末２０で受信された場合、ユーザ端末２０の制御部２１は検索結果画面を表示部２５に表示する（Ｓ２０７）。以上で図１１に示す処理の説明を終了する。

以上説明した画像検索システム１によれば、原画像３２の特定部分が異なるような画像を検索できるようになる。例えば、衣服画像（原画像３２）の袖部分の色、柄、及び形状の少なくとも一つが異なるような衣服画像を検索できるようになる。

なお、本発明は以上に説明した実施形態に限定されるものではない。

［１］例えば、原画像３２（すなわち、加工が施されていない元々の画像）が検索部５６の検索結果に含まれる場合であっても、原画像３２を検索結果画面４０に表示しないようにしてもよい。

ユーザが原画像３２をあえて加工して画像検索を行った場合、原画像３２はユーザが見つけたいと思っている画像ではない。この点、以上のようにすれば、ユーザによって必要でない画像が検索結果画面４０に表示されないようになる。

［２］また例えば、加工画像３６の非加工領域６２と原画像３２の非加工領域６２とは同一であるため、加工画像３６の非加工領域６２の特徴情報を取得する代わりに、原画像３２の非加工領域６２の特徴情報を取得するようにしてもよい。

［３］加工画面３０では、ユーザに原画像３２を実際に加工させることによって、原画像３２のうちの加工の対象とする一部領域の指定と、当該一部領域に対する加工内容と、を受け付けるようになっていたが、受付部５２は、ユーザに原画像３２を実際に加工させることなく、原画像３２のうちの加工の対象とする一部領域の指定と、当該一部領域に対する加工内容と、を受け付けるようにしてもよい。

例えば、ユーザがメニュー３４から「色の削除」を選択し、さらに、袖部分の領域を指定したら、受付部５２は、「袖部分の色の削除」が指定されたと判断するようにしてもよい。同様に、例えば、ユーザがメニュー３４から「柄の削除」を選択し、さらに、袖部分の領域を指定したら、受付部５２は、「袖部分の柄の削除」が指定されたと判断するようにしてもよい。

［４］例えば、検索条件設定部５４は、原画像３２の非加工領域６２に関する複数種類の特徴情報と、原画像３２の加工領域６０に関する複数種類の特徴情報のうちの、加工領域６０に対する加工内容に基づいて選択される少なくとも一つの特徴情報と、に基づいて、原画像３２と類似の画像を検索するための検索条件を設定するようにしてもよい。

例えば、袖部分に対する加工内容として「色の削除」が指定された場合、検索条件設定部５４は、原画像３２の非加工領域６２の色、柄、及び形状に関する特徴情報と、原画像３２の加工領域６０の柄、及び形状に関する特徴情報と、に基づいて、原画像３２と類似の画像を検索するための検索条件を設定するようにしてもよい。

この場合、図１１のステップＳ２０２において、制御部２１は原画像３２の非加工領域６２に関する特徴情報を取得する。例えば、制御部２１は、原画像３２の非加工領域６２の色、柄、及び形状に関する特徴情報を取得する。また、ステップＳ２０３において、制御部２１は原画像３２の加工領域６０に関する特徴情報を取得する。例えば、制御部２１は、加工領域６０に対する加工内容として指定された加工内容と、図１０に示す対応関係と、に基づいて、原画像３２の加工領域６０の色、柄、及び形状に関する特徴情報のうちの少なくとも一つを取得する。例えば、袖部分に対する加工内容として「色の削除」が指定された場合（図１０の（Ａ））であれば、制御部２１は、原画像３２の加工領域６０の柄及び形状に関する特徴情報を取得する。

また、図１２のステップＳ３０２において、制御部１１は、原画像３２の非加工領域６２の特徴情報と、比較対象画像の非加工領域６２の特徴情報との類似度（第１類似度）を算出する。また、ステップＳ３０５において、制御部１１は、原画像３２の加工領域６０の特徴情報と、比較対象画像の加工領域６０の特徴情報との類似度（第２類似度）を算出する。例えば、袖部分に対する加工内容として「色の削除」が指定された場合（図１０の（Ａ））であれば、制御部１１は、原画像３２の加工領域６０の柄及び形状に関する特徴情報と、比較対象画像の加工領域６０の柄及び形状に関する特徴情報との類似度を算出する。

このようにしても、例えば、衣服画像（原画像３２）の胴体部分（袖以外の部分）と同一又は類似の色、柄、及び形状の胴体部分を有し、かつ、衣服画像（原画像３２）の袖部分と同一又は類似の柄及び形状の袖部分を有するような衣服画像を検索できるようになる。

同様に、袖部分に対する加工内容として「柄の削除」が指定された場合（図１０の（Ｃ））であれば、ステップＳ２０３において、制御部２１は、原画像３２の加工領域６０の色及び形状に関する特徴情報を取得するようにしてもよい。また、ステップＳ３０５において、制御部１１は、原画像３２の加工領域６０の色及び形状に関する特徴情報と、比較対象画像の加工領域６０の色及び形状に関する特徴情報との類似度を算出するようにしてもよい。このようにしても、例えば、衣服画像（原画像３２）の胴体部分（袖以外の部分）と同一又は類似の色、柄、及び形状の胴体部分を有し、かつ、衣服画像（原画像３２）の袖部分と同一又は類似の色及び形状の袖部分を有するような衣服画像を検索できるようになる。

さらに、袖部分に対する加工内容として「色の削除」及び「柄の削除」が指定された場合（図１０の（Ｅ））であれば、ステップＳ２０３において、制御部２１は、原画像３２の加工領域６０の形状に関する特徴情報のみを取得するようにしてもよい。また、ステップＳ３０５において、制御部１１は、原画像３２の加工領域６０の形状に関する特徴情報と、比較対象画像の加工領域６０の形状に関する特徴情報との類似度を算出するようにしてもよい。このようにしても、例えば、衣服画像（原画像３２）の胴体部分（袖以外の部分）と同一又は類似の色、柄、及び形状の胴体部分を有し、かつ、衣服画像（原画像３２）の袖部分と同一又は類似の形状の袖部分を有するような衣服画像を検索できるようになる。

なお、加工画像３６の非加工領域６２と原画像３２の非加工領域６２とは同一であるため、以上に説明した変形例［４］では、原画像３２の非加工領域６２の特徴情報を取得する代わりに、加工画像３６の非加工領域６２の特徴情報を取得するようにしてもよい。

［５］また例えば、検索部５６及び出力制御部５８はユーザ端末２０において実現されるようにしてもよい。すなわち、ユーザ端末２０がデータベース１６に直接アクセスするようにしてもよい。また、検索条件設定部５４はサーバ１０において実現されるようにしてもよい。

［６］また例えば、データベース１６に記憶される画像を細かいブロックに分割し、各ブロックごとに予め算出された特徴情報をデータベース１６に記憶しておくようにしてもよい。そして、図１２のステップＳ３０１，Ｓ３０４では、データベース１６に記憶されたブロックごとの特徴情報に基づいて、比較対象画像の特徴情報が取得されるようにしてもよい。こうすることによって処理負荷を軽減するようにしてもよい。

［７］以上では、衣服画像を検索する場合を例として説明したが、本発明は、衣服画像以外の画像を検索する場合にも適用することができる。例えば、料理画像を検索する場合にも適用することができる。

１ 画像検索システム、２ 通信ネットワーク、１０ サーバ、１１，２１ 制御部、１２，２２ 主記憶部、１３，２３ 補助記憶部、１４，２４ 通信部、１５ 光ディスクドライブ部、２０ ユーザ端末、２５ 表示部、２６ 音声出力部、２７ 操作部、３０ 加工画面、３２ 原画像、３４ メニュー、３６ 加工画像、４０ 検索結果画面、４２Ａ，４２Ｂ，４２Ｃ，４２Ｄ，４２Ｅ，４２Ｆ，４２Ｇ，４２Ｈ 画像、５０ 原画像取得部、５２ 受付部、５４ 検索条件設定部、５６ 検索部、５８ 出力制御部、６０ 加工領域、６２ 非加工領域。

Claims (16)

1. 原画像の一部領域に対する加工内容を取得する手段と、
   前記加工内容の加工が前記原画像の前記一部領域に施されてなる加工画像、又は、前記原画像、の前記一部領域以外の領域に関する複数種類の特徴情報と、前記加工画像又は前記原画像の前記一部領域に関する前記複数種類の特徴情報のうちから、前記加工内容に色の削除及び柄の削除の少なくとも一方が含まれるか否かに基づいて選択される一部の種類の特徴情報と、に基づいて、画像検索のための検索条件を設定する検索条件設定手段と、
   を含むことを特徴とする画像検索装置。
2. 請求項１に記載の画像検索装置において、
   前記画像検索の検索結果を出力手段に出力させる出力制御手段を含み、
   前記出力制御手段は、前記画像検索の検索結果に前記原画像が含まれる場合において、前記原画像を前記画像検索の検索結果として前記出力手段に出力させない、
   ことを特徴とする画像検索装置。
3. 原画像の一部領域に加工が施されてなる加工画像と同一又は類似の画像を検索する画像検索の検索結果を出力手段に出力させる出力制御手段を含み、
   前記出力制御手段は、
   前記画像検索によって検索された、前記加工画像と同一又は類似の画像と、前記原画像と、の類似度に基づいて、前記画像検索によって検索された、前記加工画像と同一又は類似の画像の出力順序を設定する出力順序設定手段と、
   前記画像検索によって検索された、前記加工画像と同一又は類似の画像を前記出力順序に従って前記出力手段に出力させる手段と、を含み、
   前記出力順序設定手段は、前記画像検索によって検索された、前記加工画像と同一又は類似の画像のうちで、前記原画像との類似度が低い画像の出力順序を、前記原画像との類似度が高い画像の出力順序よりも高く設定する、
   ことを特徴とする画像検索装置。
4. 原画像の一部領域に施された加工内容に基づいて、画像検索を実行する検索手段を含み、
   前記検索手段は、対象画像が、前記加工内容の加工が前記原画像の前記一部領域に施されてなる加工画像と同一又は類似の画像であるか否かを判定する判定手段を含み、前記加工画像と同一又は類似の画像を検索し、
   前記判定手段は、
   前記加工画像又は前記原画像の前記一部領域以外の前記領域に関する複数種類の特徴情報と、前記加工画像の前記一部領域以外の前記領域に対応する、前記対象画像の領域に関する前記複数種類の特徴情報と、の間の類似の程度を示す第１類似度が第１基準類似度以上であるか否かを判定する手段と、
   前記加工画像の前記一部領域に関する少なくとも一つの特徴情報と、前記加工画像の前記一部領域に対応する、前記対象画像の領域に関する前記少なくとも一つの特徴情報と、の間の類似の程度を示す第２類似度が、前記第１基準類似度よりも低い第２基準類似度以上であるか否かを判定する手段と、を含み、
   前記第１類似度が前記第１基準類似度以上であると判定され、かつ、前記第２類似度が前記第２基準類似度以上であると判定された場合に、前記対象画像が前記加工画像と同一又は類似の画像であると判定する、
   ことを特徴とする画像検索装置。
5. 原画像の一部領域に施された加工内容に基づいて、画像検索を実行する検索手段を含み、
   前記検索手段は、対象画像が前記原画像と類似の画像であるか否かを判定する判定手段を含み、前記原画像と類似の画像を検索し、
   前記判定手段は、
   前記原画像の前記一部領域以外の前記領域に関する複数種類の特徴情報と、前記原画像の前記一部領域以外の前記領域に対応する、前記対象画像の領域に関する前記複数種類の特徴情報と、の間の類似の程度を示す第１類似度が第１基準類似度以上であるか否かを判定する手段と、
   前記原画像の前記一部領域に関する少なくとも一つの特徴情報と、前記原画像の前記一部領域に対応する、前記対象画像の領域に関する前記少なくとも一つの特徴情報と、の間の類似の程度を示す第２類似度が、前記第１基準類似度よりも低い第２基準類似度以上であるか否かを判定する手段と、を含み、
   前記第１類似度が前記第１基準類似度以上であると判定され、かつ、前記第２類似度が前記第２基準類似度以上であると判定された場合に、前記対象画像が前記原画像と類似の画像であると判定する、
   ことを特徴とする画像検索装置。
6. 画像検索装置によって実行される画像検索方法において、
   前記画像検索装置が、原画像の一部領域に対する加工内容を取得するステップと、
   前記画像検索装置が、前記加工内容の加工が前記原画像の前記一部領域に施されてなる
   加工画像、又は、前記原画像、の前記一部領域以外の領域に関する複数種類の特徴情報と、前記加工画像又は前記原画像の前記一部領域に関する前記複数種類の特徴情報のうちから、前記加工内容に色の削除及び柄の削除の少なくとも一方が含まれるか否かに基づいて選択される一部の種類の特徴情報と、に基づいて、画像検索のための検索条件を設定する検索条件設定ステップと、
   を含むことを特徴とする画像検索方法。
7. 画像検索装置によって実行される画像検索方法において、
   前記画像検索装置が、原画像の一部領域に加工が施されてなる加工画像と同一又は類似の画像を検索する画像検索の検索結果を出力手段に出力させる出力制御ステップを含み、
   前記出力制御ステップは、
   前記画像検索によって検索された、前記加工画像と同一又は類似の画像と、前記原画像と、の類似度に基づいて、前記画像検索によって検索された、前記加工画像と同一又は類似の画像の出力順序を設定する出力順序設定ステップと、
   前記画像検索によって検索された、前記加工画像と同一又は類似の画像を前記出力順序に従って前記出力手段に出力させるステップと、を含み、
   前記出力順序設定ステップでは、前記画像検索によって検索された、前記加工画像と同一又は類似の画像のうちで、前記原画像との類似度が低い画像の出力順序が、前記原画像との類似度が高い画像の出力順序よりも高く設定される、
   ことを特徴とする画像検索方法。
8. 画像検索装置によって実行される画像検索方法において、
   前記画像検索装置が、原画像の一部領域に施された加工内容に基づいて、画像検索を実行する検索ステップを含み、
   前記検索ステップは、対象画像が、前記加工内容の加工が前記原画像の前記一部領域に施されてなる加工画像と同一又は類似の画像であるか否かを判定する判定ステップを含み、前記検索ステップでは、前記加工画像と同一又は類似の画像が検索され、
   前記判定ステップは、
   前記加工画像又は前記原画像の前記一部領域以外の前記領域に関する複数種類の特徴情報と、前記加工画像の前記一部領域以外の前記領域に対応する、前記対象画像の領域に関する前記複数種類の特徴情報と、の間の類似の程度を示す第１類似度が第１基準類似度以上であるか否かを判定するステップと、
   前記加工画像の前記一部領域に関する少なくとも一つの特徴情報と、前記加工画像の前記一部領域に対応する、前記対象画像の領域に関する前記少なくとも一つの特徴情報と、の間の類似の程度を示す第２類似度が、前記第１基準類似度よりも低い第２基準類似度以上であるか否かを判定するステップと、を含み、
   前記判定ステップでは、前記第１類似度が前記第１基準類似度以上であると判定され、かつ、前記第２類似度が前記第２基準類似度以上であると判定された場合に、前記対象画像が前記加工画像と同一又は類似の画像であると判定される、
   ことを特徴とする画像検索方法。
9. 画像検索装置によって実行される画像検索方法において、
   前記画像検索装置が、原画像の一部領域に施された加工内容に基づいて、画像検索を実行する検索ステップを含み、
   前記検索ステップは、対象画像が前記原画像と類似の画像であるか否かを判定する判定ステップを含み、前記検索ステップでは、前記原画像と類似の画像が検索され、
   前記判定ステップは、
   前記原画像の前記一部領域以外の前記領域に関する複数種類の特徴情報と、前記原画像の前記一部領域以外の前記領域に対応する、前記対象画像の領域に関する前記複数種類の特徴情報と、の間の類似の程度を示す第１類似度が第１基準類似度以上であるか否かを判定するステップと、
   前記原画像の前記一部領域に関する少なくとも一つの特徴情報と、前記原画像の前記一部領域に対応する、前記対象画像の領域に関する前記少なくとも一つの特徴情報と、の間の類似の程度を示す第２類似度が、前記第１基準類似度よりも低い第２基準類似度以上であるか否かを判定するステップと、を含み、
   前記判定ステップでは、前記第１類似度が前記第１基準類似度以上であると判定され、かつ、前記第２類似度が前記第２基準類似度以上であると判定された場合に、前記対象画像が前記原画像と類似の画像であると判定される、
   ことを特徴とする画像検索方法。
10. 原画像の一部領域に対する加工内容を取得する手段、及び、
    前記加工内容の加工が前記原画像の前記一部領域に施されてなる加工画像、又は、前記原画像、の前記一部領域以外の領域に関する複数種類の特徴情報と、前記加工画像又は前記原画像の前記一部領域に関する前記複数種類の特徴情報のうちから、前記加工内容に色の削除及び柄の削除の少なくとも一方が含まれるか否かに基づいて選択される一部の種類の特徴情報と、に基づいて、画像検索のための検索条件を設定する検索条件設定手段、
    としてコンピュータを機能させるためのプログラム。
11. 原画像の一部領域に加工が施されてなる加工画像と同一又は類似の画像を検索する画像検索の検索結果を出力手段に出力させる出力制御手段としてコンピュータを機能させるためのプログラムであって、
    前記出力制御手段は、
    前記画像検索によって検索された、前記加工画像と同一又は類似の画像と、前記原画像と、の類似度に基づいて、前記画像検索によって検索された、前記加工画像と同一又は類似の画像の出力順序を設定する出力順序設定手段と、
    前記画像検索によって検索された、前記加工画像と同一又は類似の画像を前記出力順序に従って前記出力手段に出力させる手段と、を含み、
    前記出力順序設定手段は、前記画像検索によって検索された、前記加工画像と同一又は類似の画像のうちで、前記原画像との類似度が低い画像の出力順序を、前記原画像との類似度が高い画像の出力順序よりも高く設定する、
    ことを特徴とするプログラム。
12. 原画像の一部領域に施された加工内容に基づいて画像検索を実行する検索手段としてコンピュータを機能させるためのプログラムであって、
    前記検索手段は、対象画像が、前記加工内容の加工が前記原画像の前記一部領域に施されてなる加工画像と同一又は類似の画像であるか否かを判定する判定手段を含み、前記加工画像と同一又は類似の画像を検索し、
    前記判定手段は、
    前記加工画像又は前記原画像の前記一部領域以外の前記領域に関する複数種類の特徴情報と、前記加工画像の前記一部領域以外の前記領域に対応する、前記対象画像の領域に関する前記複数種類の特徴情報と、の間の類似の程度を示す第１類似度が第１基準類似度以上であるか否かを判定する手段と、
    前記加工画像の前記一部領域に関する少なくとも一つの特徴情報と、前記加工画像の前記一部領域に対応する、前記対象画像の領域に関する前記少なくとも一つの特徴情報と、の間の類似の程度を示す第２類似度が、前記第１基準類似度よりも低い第２基準類似度以上であるか否かを判定する手段と、を含み、
    前記第１類似度が前記第１基準類似度以上であると判定され、かつ、前記第２類似度が前記第２基準類似度以上であると判定された場合に、前記対象画像が前記加工画像と同一又は類似の画像であると判定する、
    ことを特徴とするプログラム。
13. 原画像の一部領域に施された加工内容に基づいて画像検索を実行する検索手段としてコンピュータを機能させるためのプログラムであって、
    前記検索手段は、対象画像が前記原画像と類似の画像であるか否かを判定する判定手段を含み、前記原画像と類似の画像を検索し、
    前記判定手段は、
    前記原画像の前記一部領域以外の前記領域に関する複数種類の特徴情報と、前記原画像の前記一部領域以外の前記領域に対応する、前記対象画像の領域に関する前記複数種類の特徴情報と、の間の類似の程度を示す第１類似度が第１基準類似度以上であるか否かを判定する手段と、
    前記原画像の前記一部領域に関する少なくとも一つの特徴情報と、前記原画像の前記一部領域に対応する、前記対象画像の領域に関する前記少なくとも一つの特徴情報と、の間の類似の程度を示す第２類似度が、前記第１基準類似度よりも低い第２基準類似度以上であるか否かを判定する手段と、を含み、
    前記第１類似度が前記第１基準類似度以上であると判定され、かつ、前記第２類似度が前記第２基準類似度以上であると判定された場合に、前記対象画像が前記原画像と類似の画像であると判定する、
    ことを特徴とするプログラム。
14. 原画像の一部領域に対する加工内容を取得する手段と、
    前記加工内容の加工が前記原画像の前記一部領域に施されてなる加工画像、又は、前記原画像、の前記一部領域以外の領域に関する複数種類の特徴情報と、前記加工画像又は前記原画像の前記一部領域に関する前記複数種類の特徴情報のうちから、前記加工内容に基づいて選択される一部の種類の特徴情報と、に基づいて、画像検索のための検索条件を設定する検索条件設定手段と、
    を含むことを特徴とする画像検索装置。
15. 画像検索装置によって実行される画像検索方法において、
    前記画像検索装置が、原画像の一部領域に対する加工内容を取得するステップと、
    前記画像検索装置が、前記加工内容の加工が前記原画像の前記一部領域に施されてなる加工画像、又は、前記原画像、の前記一部領域以外の領域に関する複数種類の特徴情報と、前記加工画像又は前記原画像の前記一部領域に関する前記複数種類の特徴情報のうちから、前記加工内容に基づいて選択される一部の種類の特徴情報と、に基づいて、画像検索のための検索条件を設定する検索条件設定ステップと、
    を含むことを特徴とする画像検索方法。
16. 原画像の一部領域に対する加工内容を取得する手段、及び、
    前記加工内容の加工が前記原画像の前記一部領域に施されてなる加工画像、又は、前記原画像、の前記一部領域以外の領域に関する複数種類の特徴情報と、前記加工画像又は前記原画像の前記一部領域に関する前記複数種類の特徴情報のうちから、前記加工内容に基づいて選択される一部の種類の特徴情報と、に基づいて、画像検索のための検索条件を設定する検索条件設定手段、
    としてコンピュータを機能させるためのプログラム。

Images