JP2005108027A - 被写体情報提供方法及び被写体情報提供プログラム - Google Patents

Abstract

【課題】効率的かつより精度の高い検索を行って被写体を特定することができる被写体情報提供方法及び被写体情報提供プログラムを提供する。
【解決手段】携帯電話端末１０は、撮影した花Ｆの撮影条件情報が含まれた画像情報を情報提供システム２０に送信する。情報提供システム２０の管理コンピュータ２１は、撮影条件情報に基づいて地域情報や気象情報を取得し、画像情報に基づいて花Ｆの実際の大きさを算出する。管理コンピュータ２１は、取得した地域情報及び気象情報と、算出された花Ｆの実際の大きさに関するデータと、植物情報記憶部２５に記憶された植物情報の属性情報とを照合し、該当する植物情報を抽出する。更に、管理コンピュータ２１は、抽出した植物情報の画像情報と、携帯電話端末１０から受信した画像情報とを照合し、最も適合する植物情報を抽出する。管理コンピュータ２１は、抽出した植物情報を携帯電話端末１０に送信する。
【選択図】 図１

Description

本発明は、撮影された被写体に関する情報を提供する被写体情報提供方法及び被写体情報提供プログラムに関する。

今日、カメラ付き携帯電話端末の普及により、簡単に写真を撮影し、送信することができるようになった。このようなカメラ付き携帯電話端末を用いることにより、利用者は、興味のある動物や植物を見かけた場合に、簡単にそれらを撮影することができる。もし、動植物の名前が分からない場合、撮影した画像を用いて、後から図鑑などで調べることもできる。この場合、撮影現場で、その動植物の名前などを簡単に調べることができれば便利である。

そこで、撮影した動植物の画像や録音した鳴き声に基づいて、その動植物の名前などを調べることができる技術が開示されている（例えば、特許文献１参照。）。
特許文献１においては、携帯電話端末は、撮影した画像データや録音した音声データを図鑑サーバに送信する。図鑑サーバは、受信したデータに基づいて図鑑辞書を検索し、該当する物に関する情報を取得する。そして、図鑑サーバは、取得した情報を携帯電話端末に送信する。
特開２００３−４４４９７号公報（第２頁〜第３頁）

しかし、受信した画像データや音声データだけでは、その被写体を、的確に特定することが難しい場合がある。そこで、被写体を特定するための検索精度の向上を図るため、撮影したときの状況などの補助情報をユーザに入力してもらう方法も考えられる。しかし、このような補助情報は、ユーザにとって煩雑である。

本発明は、上述した問題に鑑みてなされ、その目的は、効率的かつより精度の高い検索を行って被写体を特定することができる被写体情報提供方法及び被写体情報提供プログラムを提供することにある。

上記問題点を解決するために、請求項１に記載の発明は、アイテムの属性情報とアイテム画像データとを関連付けた図鑑データを記録した図鑑データ記憶手段と、ユーザ端末に接続可能な管理コンピュータとを用いて、被写体に関する情報の提供を行う被写体情報提供方法であって、前記管理コンピュータが、前記ユーザ端末からの要求に基づいて、被写体を撮影した被写体画像データを特定する被写体画像データ特定段階と、前記被写体画像データから撮影時の撮影条件データを抽出し、この撮影条件データから被写体情報を算出する取得段階と、前記被写体情報と前記属性情報とを照合する情報照合段階と、前記被写体画像データと、前記アイテム画像データとを照合する画像照合段階と、前記情報照合段階及び前記画像照合段階の結果に基づいて、前記被写体のアイテムを特定する被写体特定段階と、前記被写体特定段階において特定されたアイテムに関するデータを前記ユーザ端末に送信する送信段階とを含むことを要旨とする。

請求項２に記載の発明は、請求項１に記載の被写体情報提供方法において、前記撮影条件データには、前記被写体までの撮影距離、撮影時の焦点距離に関するデータを含み、前記取得段階は、前記撮影距離及び前記焦点距離に基づいて、前記画像の被写体の長さから
この被写体の実際の大きさを算出する算出段階を含み、前記情報照合段階は、前記算出段階において算出された被写体の大きさに関する情報と、前記属性情報とを照合することを含むことを要旨とする。

請求項３に記載の発明は、請求項１又は２に記載の被写体情報提供方法において、前記撮影条件データには、撮影時刻に関するデータを含み、前記情報照合段階は、前記撮影時刻における前記被写体の情報と、前記属性情報とを照合することを含むことを要旨とする。

請求項４に記載の発明は、請求項１〜３のいずれか１つに記載の被写体情報提供方法において、前記撮影条件データには、前記被写体を撮影したときの方向に関するデータを含み、前記取得段階は、前記被写体を撮影したときの方向に関するデータから前記被写体の向きを算出する算出段階を含み、前記情報照合段階は、前記算出段階において算出された被写体の向きに関する情報と、前記属性情報とを照合することを含むことを要旨とする。

請求項５に記載の発明は、請求項２〜４のいずれか１つに記載の被写体情報提供方法において、前記撮影条件データには、撮影場所に関するデータを含み、前記取得段階は、前記撮影場所に関するデータから前記被写体の場所に関する情報を算出し、前記情報照合段階は、前記被写体の場所に関する情報と、前記属性情報とを照合することを含むことを要旨とする。

請求項６に記載の発明は、請求項１〜５のいずれか１つに記載の被写体情報提供方法において、前記撮影条件データには、撮影時刻及び撮影場所に関するデータを含み、前記取得段階は、前記撮影時刻及び前記撮影場所に関するデータに基づいて天候情報を取得し、前記情報照合段階は、前記天候情報と前記属性情報とを照合することを含むことを要旨とする。

請求項７に記載の発明は、アイテムの属性情報とアイテム画像データとを関連付けた図鑑データを記録した図鑑データ記憶手段と、ユーザ端末に接続可能な管理コンピュータとを用いて、被写体に関する情報の提供を行う被写体情報提供プログラムであって、 前記管理コンピュータを、前記ユーザ端末からの要求に基づいて、被写体を撮影した被写体画像データを特定する被写体画像データ特定手段、前記被写体画像データから撮影時の撮影条件データを抽出し、この撮影条件データから被写体情報を算出する取得手段、前記被写体情報と前記属性情報とを照合する情報照合手段、前記被写体画像データと、前記アイテム画像データとを照合する画像照合手段、前記情報照合手段及び前記画像照合手段の結果に基づいて、前記被写体のアイテムを特定する被写体特定手段、及び前記被写体特定手段において特定されたアイテムに関するデータを前記ユーザ端末に送信する送信手段として機能させることを要旨とする。

請求項８に記載の発明は、請求項７に記載の被写体情報提供プログラムにおいて、前記撮影条件データには、前記被写体までの撮影距離、撮影時の焦点距離に関するデータを含み、前記取得手段は、前記撮影距離及び前記焦点距離に基づいて、前記画像の被写体の長さからこの被写体の実際の大きさを算出する算出手段を含み、前記情報照合手段は、前記算出手段において算出された被写体の大きさに関する情報と、前記属性情報とを照合することを含むことを要旨とする。

請求項９に記載の発明は、請求項７又は８に記載の被写体情報提供プログラムにおいて、前記撮影条件データには、撮影時刻に関するデータを含み、前記情報照合手段は、前記撮影時刻における前記被写体の情報と、前記属性情報とを照合することを含むことを要旨とする。

請求項１０に記載の発明は、請求項７〜９のいずれか１つに記載の被写体情報提供プログラムにおいて、前記撮影条件データには、前記被写体を撮影したときの方向に関するデータを含み、前記取得手段は、前記被写体を撮影したときの方向に関するデータから前記被写体の向きを算出する算出手段を含み、前記情報照合手段は、前記算出手段において算出された被写体の向きに関する情報と、前記属性情報とを照合することを含むことを要旨とする。

請求項１１に記載の発明は、請求項８〜１０のいずれか１つに記載の被写体情報提供プログラムにおいて、前記撮影条件データには、撮影場所に関するデータを含み、前記取得手段は、前記撮影場所に関するデータから前記被写体の場所に関する情報を算出し、前記情報照合手段は、前記被写体の場所に関する情報と、前記属性情報とを照合することを含むことを要旨とする。

請求項１２に記載の発明は、請求項７〜１１のいずれか１つに記載の被写体情報提供プログラムにおいて、前記撮影条件データには、撮影時刻及び撮影場所に関するデータを含み、前記取得手段は、前記撮影時刻及び前記撮影場所に関するデータに基づいて天候情報を取得し、前記情報照合手段は、前記天候情報と前記属性情報とを照合することを含むことを要旨とする。

（作用）
請求項１又は７に記載の発明によれば、管理コンピュータは、被写体画像データに含まれた撮影条件情報から被写体に関する被写体情報を取得し、この被写体情報と属性情報とを照合する。そして、管理コンピュータは、被写体情報と属性情報の照合結果及び被写体画像データの画像情報と図鑑データの画像情報との照合結果に基づいて、被写体に対応する物を特定する。このため、管理コンピュータは、画像データの撮影条件情報から取得した情報に基づいて、被写体の絞り込みを行うので、ユーザに入力の負担をかけさせることなく、精度よく被写体を特定することができる。

請求項２又は８に記載の発明によれば、管理コンピュータは、撮影距離及び焦点距離に基づいて、画像の被写体の長さからこの被写体の実際の大きさを算出する。このため、管理コンピュータは、被写体の実際の大きさを参照しながら被写体を特定することができるので、精度よく被写体を特定することができる。

請求項３又は９に記載の発明によれば、管理コンピュータは、撮影時刻に関する情報と、属性情報との照合を行う。このため、管理コンピュータは、被写体が撮影されたときの時刻情報を得ることができるので、この情報を参照しながら被写体を特定することができる。

請求項４又は１０に記載の発明によれば、管理コンピュータは、撮影された被写体の向きを算出し、この被写体の向きに関する情報を参照しながら、被写体を特定することができる。

請求項５又は１１に記載の発明によれば、管理コンピュータは、撮影場所と属性情報との照合と、他の撮影条件データから算出される被写体情報と属性情報との照合とに基づいて、被写体を特定することができる。

請求項６又は１２に記載の発明によれば、管理コンピュータは、撮影時刻及び撮影場所に関する情報から天候情報を取得し、この天候情報から被写体を特定することができる。

本発明によれば、ユーザに対して被写体に関する情報を、効率的に高い精度で提供することができる。

以下、本発明を具体化した一実施形態を図１〜図９に基づいて説明する。本実施形態では、被写体として撮影された植物を特定するための情報を提供する被写体特定情報提供方法について説明する。

図１に示すように、本実施形態では、ユーザ端末として携帯電話端末１０が用いられる。携帯電話端末１０は、撮像機構を内蔵しており、この撮像機構を用いて被写体を撮影した画像データを生成する。また、本実施形態の携帯電話端末１０は、撮像機構の焦点距離及び撮影距離が調節可能となっている。

携帯電話端末１０は、表示部１０１を備えており、この表示部１０１に撮影する画像を表示させたり受信したデータを表示させたりする。また、携帯電話端末１０は、複数のダイヤル番号ボタン１０２と機能ボタン１０３とを備えている。ダイヤル番号ボタン１０２を用いることにより、各種データを入力することができる。また、機能ボタン１０３は、ポインタ移動機能とクリック機能とを有する。この機能ボタン１０３を用いて方向指示を行うことによりポインタを移動させることができ、機能ボタン１０３を押すことによりポインタが示している項目を選択することができる。更に、携帯電話端末１０は、撮影したときの向き（方位）及び水平角度を測定するジャイロを内蔵している。また、携帯電話端末１０は、携帯電話端末１０の位置（経度及び緯度）を特定するためのＧＰＳ（Global Positioning System ）機能を備えている。

そして、携帯電話端末１０は、基地局１５に接続されている携帯電話網Ｎを介して情報提供システム２０に接続される。携帯電話端末１０は、基地局１５との間でデータの送受信を行うことにより、携帯電話網Ｎを介して情報提供システム２０とデータの送受信を行うことができる。

一方、情報提供システム２０は、管理コンピュータ２１を備える。管理コンピュータ２１は、図示しないＣＰＵ、ＲＡＭ及びＲＯＭ等を有し、後述する処理（被写体画像データ特定段階、算出段階を含む取得段階、情報照合段階、画像照合段階、被写体特定段階及び送信段階等を含む処理）を行う。そして、このための被写体情報提供プログラムを実行することにより、管理コンピュータ２１は、被写体画像データ特定手段、算出手段を含む取得手段、情報照合手段、画像照合手段、被写体特定手段及び送信手段等として機能する。

また、情報提供システム２０の管理コンピュータ２１は、ユーザ情報記憶部２２、地域情報記憶部２３、気象情報記憶部２４、図鑑データ記憶手段としての植物情報記憶部２５及び検索条件情報記憶部２６に接続されている。

図２に示すように、ユーザ情報記憶部２２は、本サービスを受けるユーザに関するユーザ情報２２０を記録している。このユーザ情報２２０は、ユーザが本サービスを受けるためにユーザ登録を行ったときに記録される。また、ユーザ情報２２０は、ユーザ識別子、ユーザ名、端末識別子、パスワード及び連絡先に関するデータを含んで構成される。

ユーザ識別子データ領域には、ユーザを特定するための識別子に関するデータが記録される。
ユーザ名データ領域には、ユーザの名前に関するデータが記録される。

端末識別子データ領域には、ユーザの携帯電話端末１０を特定するための端末識別子に関するデータが記録される。本実施形態では、端末識別子として、携帯電話端末１０の携帯電話番号やメールアドレスを用いる。

パスワードデータ領域には、ユーザのパスワードに関するデータが記録される。このパスワードは、ユーザが情報提供システム２０を利用するときに、ユーザを認証するために用いられる。

連絡先データ領域には、ユーザの連絡先に関するデータが記録される。本実施形態では、連絡先として、利用者の住所を用いる。
図３に示すように、地域情報記憶部２３には、地域に関する地域情報２３０が記録されている。この地域情報２３０は、例えば、地図会社のサイトなどから取得されたデータに基づいて、本サービスを提供前までに登録される。また、この地域情報２３０は、緯度、経度、地域及び分類コードに関するデータを含んで構成される。

緯度データ領域には、地域データ及び分類コードデータを特定するための緯度に関するデータが記録される。
経度データ領域には、地域データ及び分類コードデータを特定するための経度に関するデータが記録される。

地域データ領域には、緯度及び経度に基づいて特定される地域に関するデータが記録される。具体的には、東京の港区など、狭小な地区における細分化された地域である。
分類コードデータ領域には、植物の生息域に関するデータを検索するために用いる分類コードが記録される。この分類データは、例えば標高２０００ｍ付近の針葉樹林帯といった分類によるデータである。

図４に示すように、気象情報記憶部２４には、観測された気象に関する気象情報２４０が記録されている。この気象情報２４０は、図示しない気象情報サイトから取得されて記録される。また、気象情報２４０は、日時、地域、天候及び気温に関するデータを含んで構成される。

日時データ領域には、天候データを特定するための日時（年月日及び時分）に関するデータが記録される。
地域データ領域には、天候データを特定するための地域に関するデータが記録される。この地域データ領域に記録されたデータを介して、地域情報２３０と気象情報２４０とが関連付けられる。

天候データ領域には、日時データ及び地域データに基づいて特定される天候に関するデータが記録される。この天候データ領域に記録されるデータは、具体的には「小雨」、「晴れ」及び「快晴」などである。
気温データ領域に記憶されるデータは、日時データ及び地域データに基づいて定められる気温に関するデータが記録される。

図５に示すように、植物情報記憶部２５には、様々な植物に関する植物情報２５０が記録されている。この植物情報２５０は、既知の植物に関する情報については情報提供システム２０がサービスを提供するまでに記録され、新たな植物に関する情報についてはその植物の生態が明らかになった後に植物情報記憶部２５に記録される。また、植物情報２５０は、植物名、生息分布、特徴、開花条件、花画像及び特徴量に関するデータを含んで構成される。本実施形態では、植物情報２５０の植物名、生息分布、特徴及び開花条件がアイテムの属性情報に相当し、植物情報２５０の花画像がアイテム画像データに相当する。

植物名データ領域には、植物の通常名称、俗称及び学名などに関するデータが記録される。
生息分布データ領域には、植物の生息域に関するデータが記録される。このデータ領域に記録されているデータを介して、地域情報２３０と植物情報２５０とが関連付けられる。

特徴データ領域には、植物の特徴に関するデータが記録される。例えば、花の大きさや葉の形状や刺の有無などである。
開花条件データ領域には、植物が開花するときの条件に関するデータが記録される。この条件は、例えば「気温２５℃以上」や「日中」などである。

花画像データ領域には、植物の花の画像データが記録される。
特徴量データ領域には、花画像データの画像の特徴量に関するデータが記録される。この花画像データの画像の特徴量は、画像内の花の形状及び色彩などに関する各項目の値を含んで構成される。

図６に示すように、検索条件情報記憶部２６は、被写体を特定するために用いられる検索条件に関する検索条件情報２６０を記録している。この検索条件情報２６０の各項目は、管理コンピュータ２１がそれぞれの検索条件を取得したときに記録される。検索条件情報２６０は、画像、撮影条件、特徴量、季節・時刻、地域、気象、方位及び被写体サイズに関するデータを含んで構成される。本実施形態では、季節・時刻、地域、気象、方位及び被写体サイズに関するデータが被写体情報に相当する。

画像データ領域には、検索を行う被写体が含まれた画像情報に関するデータが記録される。
撮影条件データ領域には、画像データに付属されている撮影条件情報に関するデータ（撮影条件データ）が記録される。

特徴量データ領域には、画像データ領域に記録された画像の特徴量に関するデータが記録される。この特徴量は、画像における被写体の形状、模様及び色彩に関する各項目の値を含んで構成される。

季節・時刻データ領域には、画像が撮影された季節や時刻に関するデータが記録される。
地域データ領域には、その画像が撮影された地域に関するデータが記録される。

気象データ領域には、その画像が撮影された気象に関するデータが記録される。本実施形態では、このデータ領域に記録される気象は、具体的には、天候と気温である。
方位データ領域には、その画像が撮影された方向に関するデータが記録される。
被写体サイズデータ領域には、撮影された被写体の実際の大きさに関するデータが記録される。

次に、情報提供システム２０における被写体特定情報提供方法の処理手順について、図７〜図９に基づいて説明する。ここでは、図１に示すように、ユーザが見つけた花Ｆを携帯電話端末１０を用いて撮影し、その花の名称を調べる場合について説明する。

まず、ユーザは、名称を調べたい花を撮影する。具体的には、ユーザが携帯電話端末１０の機能ボタン１０３を操作して、撮像機構を用いて被写体である花Ｆを表示部１０１の中央に表示させる。このとき、携帯電話端末１０は、被写体である花Ｆに焦点を合わせる
。そして、ユーザは、機能ボタン１０３を操作して花Ｆを撮影する。これにより、携帯電話端末１０は、撮影された花Ｆに関する画像データを生成して記録する。

このとき、携帯電話端末１０に記録される画像データには、ＪＰＥＧやＴＩＦＦのような通常の画像記録ファーマットの他に、例えばＥｘｉｆ形式を用いることが可能である。ここで、Ｅｘｉｆ形式とはデジタルカメラの画像記録フォーマットであり、Ｅｘｉｆタグ情報として撮影条件情報などが所定の書式で記録される。本実施形態では、後述するようにＥｘｉｆ形式の画像データを送信する場合を想定する。本実施形態では、撮影条件情報は、具体的には、設定した画素数、焦点距離、撮影距離、携帯電話端末１０のジャイロ値、撮影した日時及び撮影した位置（携帯電話端末１０の緯度及び経度）などに関するデータを含む。

次に、図７に示すように、ユーザは、携帯電話端末１０のダイヤル番号ボタン１０２，機能ボタン１０３を操作して情報提供システム２０に対してアクセスを行う（ステップＳ１−１）。具体的には、携帯電話端末１０は、情報提供システム２０に接続すると、情報提供システム２０からパスワードの送信要求を受ける。これに応じて、携帯電話端末１０は、入力画面を表示部１０１に表示し、ユーザに対してパスワードの入力を促す。パスワードの入力が完了し、送信ボタンが選択されると、携帯電話端末１０は、入力されたパスワードデータを情報提供システム２０に送信する。このとき、携帯電話端末１０は、パスワードデータとともに、携帯電話端末１０の端末識別子に関するデータも送信する。

次に、情報提供システム２０の管理コンピュータ２１は、ユーザ認証を行う（ステップＳ１−２）。具体的には、管理コンピュータ２１は、受信した端末識別子に対応するユーザ情報２２０をユーザ情報記憶部２２から抽出する。そして、管理コンピュータ２１は、抽出したユーザ情報２２０のパスワードと、受信したパスワードとを照合する。照合した結果、両者が一致した場合には、管理コンピュータ２１はユーザ認証を完了する。なお、両者が一致しない場合には、管理コンピュータ２１は、その旨を携帯電話端末１０に通知し、処理を中止する。

ユーザ認証が完了した情報提供システム２０は、携帯電話端末１０に対して、検索対象の画像データの送信を要求する（ステップＳ１−３）。
そこで、携帯電話端末１０は、撮影画像データの送信処理を行う（ステップＳ１−４）。ここでは、ユーザは、携帯電話端末１０の撮像機構を用いて撮影し、携帯電話端末１０に記録された花Ｆの画像データ呼び出し、送信する。本実施形態では、送信される画像データには撮影条件情報が含まれている場合を想定する。

情報提供システム２０の管理コンピュータ２１は、受信した画像データを登録する（ステップＳ１−５）。具体的には、管理コンピュータ２１は、受信した画像データから画像情報に関するデータを抽出し、検索条件情報記憶部２６の画像データ領域に記録する。また、管理コンピュータ２１は、受信した画像データから撮影条件情報に関するデータを抽出し、検索条件情報記憶部２６の撮影条件データ領域に記録する。

次に、管理コンピュータ２１は、登録した画像データの画像情報の特徴量を抽出する（ステップＳ１−６）。具体的には、管理コンピュータ２１は、検索条件情報記憶部２６の画像情報及びその特徴量に基づいて、画像の色分布から被写体である花の特定を行う。すなわち、管理コンピュータ２１は、画像中の花の輪郭や色を抽出する。更に、画像の輪郭や色から画像上の花の大きさを特定する。

そして、管理コンピュータ２１は、抽出した画像の特徴量を検索条件情報記憶部２６の特徴量データ領域に登録する（ステップＳ１−７）。
次に、管理コンピュータ２１は、受信した画像データに撮影条件情報があるか否かを判断する（ステップＳ１−８）。

ここで、携帯電話端末１０から受信した画像データに、撮影条件情報が含まれている場合（ステップＳ１−８において「ＹＥＳ」の場合）には、被写体情報登録処理を行う（ステップＳ１−９）。

この被写体情報登録処理において、管理コンピュータ２１は、図８に示す処理手順に従って処理を行う。
まず、管理コンピュータ２１は、撮影した季節や時刻に関するデータを取得し記録する（ステップＳ２−１）。具体的には、管理コンピュータ２１は、まず画像データに含まれていた撮影条件情報から、撮影した日時データを抽出する。そして、管理コンピュータ２１は、この日時データに対応する季節及び時刻を特定し、検索条件情報記憶部２６の季節・時刻データ領域に記録する。

次に、管理コンピュータ２１は、撮影条件情報に位置情報が含まれているか否かを判断する（ステップＳ２−２）。このとき、撮影条件情報に位置情報が含まれている場合（ステップＳ２−２には「ＹＥＳ」の場合）には、管理コンピュータ２１は、位置情報に基づいて地域情報を取得し記録する（ステップＳ２−３）。具体的には、管理コンピュータ２１は、地域情報記憶部２３から、位置情報に対応する地域データと、分類データとを取得する。

更に、管理コンピュータ２１は、気象情報を取得し記録する（ステップＳ２−４）。具体的には、管理コンピュータ２１は、ステップＳ２−３において取得した地域データと、撮影情報情報から抽出した日時データとに基づいて、それに対応する気象情報２４０を気象情報記憶部２４から抽出する。これにより、管理コンピュータ２１は、画像データが撮影されたときの天候及び気温に関するデータを得る。そして、管理コンピュータ２１は、取得した気候及び気温に関するデータを検索条件情報記憶部２６の気象データ領域に記録する。なお、撮影条件情報に位置情報が含まれていない場合（ステップＳ２−２には「ＮＯ」の場合）には、管理コンピュータ２１はステップＳ２−３〜ステップＳ２−４を実行しない。

次に、管理コンピュータ２１は、方位情報を取得し記録する（ステップＳ２−５）。具体的には、管理コンピュータ２１は、まず画像データの撮影条件情報からジャイロ値を抽出する。そして、管理コンピュータ２１は、抽出したジャイロ値に対応する方位を算出する。そして、管理コンピュータ２１は、算出した方位情報を検索条件情報記憶部２６の方位データ領域に記録する。なお、このとき、東西南北の方位とともに、水平面に対する角度も算出される。

次に、管理コンピュータ２１は、被写体サイズ算出処理を行う（ステップＳ２−６）。この被写体サイズ算出処理を、図９を用いて説明する。
まず、管理コンピュータ２１は、合焦面スケールを算出する（ステップＳ３−１）。具体的には、管理コンピュータ２１は、画像データの撮影条件情報から撮影距離及び焦点距離を抽出する。そして、管理コンピュータ２１は、焦点距離、撮影距離及び撮影角度から撮影範囲中の合焦面スケールを算出する。 次に、管理コンピュータ２１は、被写体サイズを算出する（ステップＳ３−２）。具体的には、管理コンピュータ２１は、検索条件情報２６０の画像のコントラスト調節や色域により、画像上の被写体の大きさと、ステップＳ３−１において算出した合焦面スケールとから、実際の被写体の大きさを算出する。

ここでは、管理コンピュータ２１は、図１に示すように、画面上の「花」の直径Ｇとし
た場合、合焦面スケールを用いて実際の花Ｆの直径Ｒを算出する。そして、算出された被写体のサイズを検索条件情報記憶部２６の被写体サイズに記録する。このようにして、管理コンピュータ２１は、被写体サイズ算出処理において、撮影された被写体の花Ｆの直径に関する情報を得る。

管理コンピュータ２１は、被写体サイズ算出処理が終了すると（ステップＳ２−６）、被写体情報登録処理を終了し、図７に示す処理手順に戻る（ステップＳ１−９）。
次に、管理コンピュータ２１は、情報照合処理を行う（ステップＳ１−１０）。具体的には、管理コンピュータ２１は、ステップＳ１−９の被写体情報登録処理において検索条件情報記憶部２６に登録された情報に基づいて、この情報に該当する植物を、植物情報記憶部２５に記録されている植物情報２５０から検索する。本実施形態では、管理コンピュータ２１は、開花の季節や時刻、方位及びその花Ｆの直径Ｒに関する情報に基づいて、該当する植物情報２５０を植物情報記憶部２５から抽出する。また、管理コンピュータ２１は、撮影条件情報に位置情報があった場合には、抽出した植物情報２５０の中から、ステップＳ２−３において取得した地域データを生息分布に含む植物情報２５０を抽出する。更に、管理コンピュータ２１は、ステップＳ２−４において取得した気象情報に対応する植物情報２５０を抽出する。

なお、携帯電話端末１０から受信した画像データに、撮影条件情報が含まれていない場合（ステップＳ１−８において「ＮＯ」の場合）には、管理コンピュータ２１はステップＳ１−９〜ステップＳ１−１０を実行しない。

次に、管理コンピュータ２１は、画像照合処理を行う（ステップＳ１−１１）。具体的には、管理コンピュータ２１は、ステップＳ１−１０の情報照合処理において該当するとして抽出された植物情報２５０の花画像の特徴量と、携帯電話端末１０から受信した画像の特徴量とを比較する。この比較の結果、管理コンピュータ２１は、画像の類似度が最も高い植物を特定する。このとき、植物の特定は、画像における植物の輪郭や色分布に基づいて行われる。そして、植物の特定を行った管理コンピュータ２１は、その特定した植物の植物情報２５０から植物に関する情報を取得する。

次に、管理コンピュータ２１は、特定した植物の情報を携帯電話端末１０に送信する（ステップＳ１−１２）。このとき、管理コンピュータ２１が送信する情報には、植物の植物名、特徴及び開花条件などの情報が含まれる。

そして、情報を受信した携帯電話端末１０は、特定した植物の情報を携帯電話端末１０の表示部１０１に表示する（ステップＳ１−１３）。これにより、ユーザは、岩の谷間で見た花Ｆに関する情報を入手することができる。

以上、述べたように本実施形態によれば、以下のような効果を得ることができる。
・ 本実施形態においては、管理コンピュータ２１は、撮影条件情報から取得した開花の季節や時刻、方位及びその花Ｆの直径に関する情報に該当する植物情報２５０を抽出する。更に、管理コンピュータ２１は、抽出した植物情報２５０から、携帯電話端末１０から受信した画像の特徴量に基づいて最も類似している植物情報２５０を取得する。すなわち、管理コンピュータ２１は、携帯電話端末１０から受信した画像と、撮影条件から得た被写体に関する情報との両方から、被写体に関する植物情報２５０を特定する。このため、管理コンピュータ２１は、携帯電話端末１０から受信した画像中の被写体に対応する情報を、より高い精度でユーザに提供することができる。

また、管理コンピュータ２１は、画像データに含まれる撮影条件情報から被写体に関する情報を取得するので、ユーザにデータ入力の負担をかけることなく、検索精度を向上す
ることができる。

・ 本実施形態においては、管理コンピュータ２１は、撮影条件情報に含まれる焦点距離及び撮影距離から合焦面スケールを算出し、この合焦面スケールと、花Ｆの画像における直径Ｇから、実際の花Ｆの直径Ｒを算出する。このため、花Ｆの大きさを参照しながら、その花Ｆの特定を行うことができる。

・ 本実施形態においては、管理コンピュータ２１は、撮影条件情報に含まれる撮影時刻に関する情報から、花Ｆが撮影されたときの季節や時刻のデータを取得する。開花する季節や時刻は、植物によって異なる。このため、管理コンピュータ２１は、撮影された季節や時刻のデータに基づいて、その花Ｆの特定を行うことができる。

・ 本実施形態においては、管理コンピュータ２１は、撮影条件情報に含まれるジャイロ値に基づいて、被写体を撮影した方位を算出する。開花する方向（方位）は、植物によって異なる。例えば、向日葵は、太陽の方向に向かって開花する。このため、管理コンピュータ２１は、算出した方位情報に基づいて、その花Ｆの特定を行うことができる。

・ 本実施形態においては、撮影条件情報に位置情報が含まれている場合（ステップＳ２−２には「ＹＥＳ」の場合）には、管理コンピュータ２１は、位置情報に基づいて地域情報を取得し記録する（ステップＳ２−３）。具体的には、管理コンピュータ２１は、地域情報記憶部２３から、位置情報に対応する地域データと、分類データとを取得する。そして、管理コンピュータ２１は、情報照合処理を行う（ステップＳ１−１０）。具体的には、管理コンピュータ２１は、植物情報２５０の中から、ステップＳ２−３において取得した地域データを生息分布に含む植物情報２５０を抽出する。植物は生息地域が異なるので、撮影された場所、すなわち植物が生息している地域の情報を参照しながら、花Ｆの特定を行うことができる。

・ 本実施形態では、管理コンピュータ２１は、撮影条件情報に含まれる撮影条件及び撮影場所に関する情報から天候情報を取得する。植物は、天候状態によって開花状態が異なる場合がある。このため、管理コンピュータ２１は、天候情報を参照しながら、花Ｆの特定を行うことができる。

なお、上記実施形態は以下のように変更してもよい。
○ 上記実施形態においては、花Ｆの直径Ｒを算出する。これに代えて植物の大きさを特定してもよい。例えば、撮影条件情報に含まれる撮影時刻に関する情報を併せて参照して植物の種類を特定してもよい。植物は、季節によって高さが異なる。このため、管理コンピュータ２１は、被写体の大きさとともに、撮影された季節や時刻のデータに基づいて、その種類の特定を行うことができる。

○ 上記実施形態では、管理コンピュータ２１は、検索を行う被写体が含まれた画像データを携帯電話端末１０から受信する。これに代えて、検索する画像を予め所定のサーバに記録し、携帯電話端末１０から、検索する画像データの指定を受けることにより、検索対象である被写体が含まれた画像を受信してもよい。

○ 上記実施形態では、管理コンピュータは、画像データを携帯電話端末１０から受信する。画像データの送信先は、これに限られるものではない。例えば、デジタルカメラにより撮影した画像データをパーソナルコンピュータを用いて送信してもよい。

○ 上記実施形態では、被写体である植物の特定を行う場合について説明した。被写体の対象は、これに限られるものではなく、動物、鉱物、天体、乗り物など、他のアイテム
であってもよい。例えば、出世魚の場合には、その大きさや季節から名前を特定することができる。また、鉱物の場合には、鉱物を撮影した地域や撮影画像から名前を特定することができる。

○ 上記実施形態では、管理コンピュータ２１は、特定した花Ｆに関する植物情報２５０を携帯電話端末１０に送信した。これに限らず、管理コンピュータ２１は、植物情報２５０の一部、例えば名称だけを送信するようにしてもよい。

○ 上記実施形態では、携帯電話端末１０は、ＧＰＳ機能を用いて位置情報を取得する。位置情報の取得は、これに限定されなくてもよい。例えば、携帯電話端末１０がＰＨＳ端末（Personal Handyphone System）の場合には、その基地局の位置情報を取得し、その基地局の位置情報を経度・緯度に換算して、この位置情報を撮影条件データとして被写体画像データに記録してもよい。

○ 上記実施形態では、ジャイロを内蔵しＧＰＳ機能を備えた携帯電話端末１０を用いる。これに限らず、ジャイロやＧＰＳ機能を内蔵していない携帯電話端末であっても、その他の撮影条件データから取得した被写体に関する情報を用いて検索を行ってもよい。これにより精度よく被写体を特定することができる。

本実施形態におけるシステムの概略図。 ユーザ情報記憶部に記録されたデータの説明図。 地域情報記憶部に記録されたデータの説明図。 気象情報記憶部に記録されたデータの説明図。 植物情報記憶部に記録されたデータの説明図。 検索条件情報記憶部に記録されたデータの説明図。 本実施形態の全体処理の処理手順を説明するための流れ図。 本実施形態の被写体情報登録処理の処理手順を説明するための流れ図。 本実施形態の被写体サイズ算出処理の処理手順を説明するための流れ図。

符号の説明

Ｆ…被写体としての花、１０…ユーザ端末としての携帯電話端末、２１…管理コンピュータ、２５…図鑑データ記憶手段としての植物情報記憶部。

Claims (12)

1. アイテムの属性情報とアイテム画像データとを関連付けた図鑑データを記録した図鑑データ記憶手段と、ユーザ端末に接続可能な管理コンピュータとを用いて、被写体に関する情報の提供を行う被写体情報提供方法であって、
   前記管理コンピュータが、
   前記ユーザ端末からの要求に基づいて、被写体を撮影した被写体画像データを特定する被写体画像データ特定段階と、
   前記被写体画像データから撮影時の撮影条件データを抽出し、この撮影条件データから被写体情報を算出する取得段階と、
   前記被写体情報と前記属性情報とを照合する情報照合段階と、
   前記被写体画像データと、前記アイテム画像データとを照合する画像照合段階と、
   前記情報照合段階及び前記画像照合段階の結果に基づいて、前記被写体のアイテムを特定する被写体特定段階と、
   前記被写体特定段階において特定されたアイテムに関するデータを前記ユーザ端末に送信する送信段階と
   を含むことを特徴とする被写体情報提供方法。
2. 前記撮影条件データには、前記被写体までの撮影距離、撮影時の焦点距離に関するデータを含み、
   前記取得段階は、前記撮影距離及び前記焦点距離に基づいて、前記画像の被写体の長さからこの被写体の実際の大きさを算出する算出段階を含み、
   前記情報照合段階は、前記算出段階において算出された被写体の大きさに関する情報と、前記属性情報とを照合することを含むことを特徴とする請求項１に記載の被写体情報提供方法。
3. 前記撮影条件データには、撮影時刻に関するデータを含み、
   前記情報照合段階は、前記撮影時刻における前記被写体の情報と、前記属性情報とを照合することを含むことを特徴とする請求項１又は２に記載の被写体情報提供方法。
4. 前記撮影条件データには、前記被写体を撮影したときの方向に関するデータを含み、
   前記取得段階は、前記被写体を撮影したときの方向に関するデータから前記被写体の向きを算出する算出段階を含み、
   前記情報照合段階は、前記算出段階において算出された被写体の向きに関する情報と、前記属性情報とを照合することを含むことを特徴とする請求項１〜３のいずれか１つに記載の被写体情報提供方法。
5. 前記撮影条件データには、撮影場所に関するデータを含み、
   前記取得段階は、前記撮影場所に関するデータから前記被写体の場所に関する情報を算出し、
   前記情報照合段階は、前記被写体の場所に関する情報と、前記属性情報とを照合することを含むことを特徴とする請求項２〜４のいずれか１つに記載の被写体情報提供方法。
6. 前記撮影条件データには、撮影時刻及び撮影場所に関するデータを含み、
   前記取得段階は、前記撮影時刻及び前記撮影場所に関するデータに基づいて天候情報を取得し、
   前記情報照合段階は、前記天候情報と前記属性情報とを照合することを含むことを特徴とする請求項１〜５のいずれか１つに記載の被写体情報提供方法。
7. アイテムの属性情報とアイテム画像データとを関連付けた図鑑データを記録した図鑑デー
   タ記憶手段と、ユーザ端末に接続可能な管理コンピュータとを用いて、被写体に関する情報の提供を行う被写体情報提供プログラムであって、
   前記管理コンピュータを、
   前記ユーザ端末からの要求に基づいて、被写体を撮影した被写体画像データを特定する被写体画像データ特定手段、
   前記被写体画像データから撮影時の撮影条件データを抽出し、この撮影条件データから被写体情報を算出する取得手段、
   前記被写体情報と前記属性情報とを照合する情報照合手段、
   前記被写体画像データと、前記アイテム画像データとを照合する画像照合手段、
   前記情報照合手段及び前記画像照合手段の結果に基づいて、前記被写体のアイテムを特定する被写体特定手段、及び
   前記被写体特定手段において特定されたアイテムに関するデータを前記ユーザ端末に送信する送信手段
   として機能させることを特徴とする被写体情報提供プログラム。
8. 前記撮影条件データには、前記被写体までの撮影距離、撮影時の焦点距離に関するデータを含み、
   前記取得手段は、前記撮影距離及び前記焦点距離に基づいて、前記画像の被写体の長さからこの被写体の実際の大きさを算出する算出手段を含み、
   前記情報照合手段は、前記算出手段において算出された被写体の大きさに関する情報と、前記属性情報とを照合することを含むことを特徴とする請求項７に記載の被写体情報提供プログラム。
9. 前記撮影条件データには、撮影時刻に関するデータを含み、
   前記情報照合手段は、前記撮影時刻における前記被写体の情報と、前記属性情報とを照合することを含むことを特徴とする請求項７又は８に記載の被写体情報提供プログラム。
10. 前記撮影条件データには、前記被写体を撮影したときの方向に関するデータを含み、
    前記取得手段は、前記被写体を撮影したときの方向に関するデータから前記被写体の向きを算出する算出手段を含み、
    前記情報照合手段は、前記算出手段において算出された被写体の向きに関する情報と、前記属性情報とを照合することを含むことを特徴とする請求項７〜９のいずれか１つに記載の被写体情報提供プログラム。
11. 前記撮影条件データには、撮影場所に関するデータを含み、
    前記取得手段は、前記撮影場所に関するデータから前記被写体の場所に関する情報を算出し、
    前記情報照合手段は、前記被写体の場所に関する情報と、前記属性情報とを照合することを含むことを特徴とする請求項８〜１０のいずれか１つに記載の被写体情報提供プログラム。
12. 前記撮影条件データには、撮影時刻及び撮影場所に関するデータを含み、
    前記取得手段は、前記撮影時刻及び前記撮影場所に関するデータに基づいて天候情報を取得し、
    前記情報照合手段は、前記天候情報と前記属性情報とを照合することを含むことを特徴とする請求項７〜１１のいずれか１つに記載の被写体情報提供プログラム。

Images