[go: up one dir, main page]

JP3994188B2 - マルチメディアデータ検索システム、マルチメディア検索方法および該検索方法を実現するためのプログラム - Google Patents

マルチメディアデータ検索システム、マルチメディア検索方法および該検索方法を実現するためのプログラム Download PDF

Info

Publication number
JP3994188B2
JP3994188B2 JP2002310995A JP2002310995A JP3994188B2 JP 3994188 B2 JP3994188 B2 JP 3994188B2 JP 2002310995 A JP2002310995 A JP 2002310995A JP 2002310995 A JP2002310995 A JP 2002310995A JP 3994188 B2 JP3994188 B2 JP 3994188B2
Authority
JP
Japan
Prior art keywords
multimedia data
keyword
searching
search
desired multimedia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002310995A
Other languages
English (en)
Other versions
JP2004145706A5 (ja
JP2004145706A (ja
Inventor
貴志 花本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002310995A priority Critical patent/JP3994188B2/ja
Publication of JP2004145706A publication Critical patent/JP2004145706A/ja
Publication of JP2004145706A5 publication Critical patent/JP2004145706A5/ja
Application granted granted Critical
Publication of JP3994188B2 publication Critical patent/JP3994188B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、キーワードを用いてマルチメディアデータを検索するマルチメディアデータ検索システム、マルチメディアデータ検索方法および該検索方法を実現するためのプログラムに関する。
【0002】
【従来の技術】
キーワードを用いた検索は、従来から行われており、検索を補助するシステムも多く登場している。例えば、入力されたキーワードの類義語を用いて、検索を行うようにしたものがある(例えば、特許文献1参照)。しかし、実際にキーワードを用いて、所望の画像を検索することは容易ではない。なぜなら、検索用に入力するキーワードは、ユーザ個人の主観によって大きく異なり、類義語ではカバーできないことが多いからである。例えば、ある山の写真を見て、「高い」と感じる人もいれば、「低い」と感じる人もいるからである。そのため、検索結果を得るために何度も検索し直すということが頻繁に発生し得る。
【0003】
また、検索用に登録されたキーワード数が少ない場合もある。例えば、運動会で撮影した画像があり、場所と時間のキーワードしか登録されていないとする。そのような画像に対して、ユーザが「運動会」というキーワードを思いつき、検索を行っても、その画像は検索できない。このような場合、例えば、文書検索においては、検索用にユーザが入力したキーワードを新たなキーワードとして、登録する方法も存在する(例えば、特許文献2参照)。
【0004】
【特許文献1】
特開平11−272706号公報
【特許文献2】
特開平9−198395号公報
【0005】
【発明が解決しようとする課題】
しかし、上記従来の方法は、文書の全文検索に適用できるものの、メタデータを用いた静止画像検索などには適用できない。
【0006】
本発明は、この点に着目してなされたものであり、検索効率をより向上させることが可能となるマルチメディアデータ検索システムを提供することを目的とする。
【0007】
上記目的を達成するため、請求項1に記載のマルチメディアデータ検索システムは、所望のマルチメディアデータを検索するまで、該所望のマルチメディアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索システムにおいて、各マルチメディアデータにそれぞれ、少なくとも1つのキーワードを対応付けて記憶するデータベースと、前記所望のマルチメディアデータを検索するためのクエリとなるキーワードを入力する入力手段と、前記入力手段で前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶手段と、前記入力手段によって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索手段と、前記検索手段で検索されたマルチメディアデータから、前記所望のマルチメディアデータを選択する選択手段と、前記選択手段で前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶手段に累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、前記データベースに追加記憶する検索用キーワード追加記憶手段とを有することを特徴とする。
上記目的を達成するため、請求項2に記載のマルチメディアデータ検索システムは、所望のマルチメディアデータを検索するまで、該所望のマルチメディアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索システムにおいて、各マルチメディアデータにそれぞれ、少なくとも1つのキーワードを含むメタデータを対応付けて記憶するデータベースと、前記所望のマルチメディアデータを検索するためのクエリとなるキーワードを入力する入力手段と、前記入力手段で前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶手段と、前記入力手段によって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索手段と、前記検索手段で検索されたマルチメディアデータから、前記所望のマルチメディアデータを選択する選択手段と、前記選択手段で前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶手段に累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、該マルチメディアデータに対応するメタデータに追加記憶するメタデータ追加記憶手段とを有することを特徴とする。
請求項3に記載のマルチメディアデータ検索システムは、請求項1または2のマルチメディアデータ検索システムにおいて、前記データベースは、検索を行うユーザごとに用意されることを特徴とする。
請求項4に記載のマルチメディアデータ検索システムは、請求項1または2のマルチメディアデータ検索システムにおいて、前記検索手段によって検索されたマルチメディアデータの一覧を表示する一覧表示手段をさらに有することを特徴とする。
請求項5に記載のマルチメディアデータ検索システムは、請求項1または2のマルチメディアデータ検索システムにおいて、前記クエリキーワード記憶手段に記憶されているクエリキーワードを消去する消去手段をさらに有することを特徴とする。
請求項6に記載のマルチメディアデータ検索システムは、請求項1のマルチメディアデータ検索システムにおいて、前記検索用キーワード追加記憶手段は、前記キーワードを前記データベースに追加記憶するときに、前記クエリキーワード記憶手段に記憶されているクエリキーワードのうち、任意の一部のクエリキーワードのみを追加記憶することを特徴とする。
請求項7に記載のマルチメディアデータ検索システムは、請求項2のマルチメディアデータ検索システムにおいて、前記メタデータ追加記憶手段は、キーワードを当該メタデータに追加記憶するときに、前記クエリキーワード記憶手段に記憶されているクエリキーワードのうち、任意の一部のクエリキーワードのみを追加記憶することを特徴とする。
請求項8に記載のマルチメディアデータ検索システムは、請求項2のマルチメディアデータ検索システムにおいて、前記メタデータは、当該マルチメディアデータとは、別のファイルとして保存されており、当該マルチメディアデータと、リンクで結ばれていることを特徴とする。
上記目的を達成するため、請求項9に記載のマルチメディアデータ検索方法は、所望のマルチメディアデータを検索するまで、該所望のマルチメディアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索方法であって、各マルチメディアデータにそれぞれ、少なくとも1つのキーワードを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法において、前記所望のマルチメディアデータを検索するためのクエリとなるキーワードをコンピュータに入力する入力ステップと、コンピュータが、前記入力ステップで前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶ステップと、コンピュータが、前記入力ステップによって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索ステップと、前記検索ステップで検索されたマルチメディアデータから、前記所望のマルチメディアデータをコンピュータで選択する選択ステップと、コンピュータが、前記選択ステップで前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶ステップで累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、前記データベースに追加記憶する検索用キーワード追加記憶ステップとを有することを特徴とする。
上記目的を達成するため、請求項10に記載のマルチメディアデータ検索方法は、所望のマルチメディアデータを検索するまで、該所望のマルチメディアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索方法であって、各マルチメディアデータにそれぞれ、少なくとも1つのキーワードを含むメタデータを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法において、前記所望のマルチメディアデータを検索するためのクエリとなるキーワードをコンピュータに入力する入力ステップと、コンピュータが、前記入力ステップで前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶ステップと、コンピュータが、前記入力ステップによって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索ステップと、前記検索ステップで検索されたマルチメディアデータから、前記所望のマルチメディアデータをコンピュータで選択する選択ステップと、コンピュータが、前記選択ステップで前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶ステップで累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、該マルチメディアデータに対応するメタデータに追加記憶するメタデータ追加記憶ステップとを有することを特徴とする。
上記目的を達成するため、請求項11に記載のプログラムは、所望のマルチメディアデータを検索するまで、該所望のマルチメディアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索方法であって、各マルチメディアデータにそれぞれ、少なくとも1つのキーワードを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法を、コンピュータに実現させるためのプログラムであって、前記マルチメディアデータ検索方法は、前記所望のマルチメディアデータを検索するためのクエリとなるキーワードをコンピュータに入力する入力ステップと、コンピュータが、前記入力ステップで前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶ステップと、コンピュータが、前記入力ステップによって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索ステップと、前記検索ステップで検索されたマルチメディアデータから、前記所望のマルチメディアデータをコンピュータで選択する選択ステップと、コンピュータが、前記選択ステップで前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶ステップで累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、前記データベースに追加記憶する検索用キーワード追加記憶ステップとを有することを特徴とする。
上記目的を達成するため、請求項12に記載のプログラムは、所望のマルチメディアデータを検索するまで、該所望のマルチメディアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索方法であって、各マルチメディアデータにそれぞれ、少なくとも1つのキーワードを含むメタデータを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法を、コンピュータに実現させるためのプログラムであって、前記マルチメディアデータ検索方法は、前記所望のマルチメディアデータを検索するためのクエリとなるキーワードをコンピュータに入力する入力ステップと、コンピュータが、前記入力ステップで前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶ステップと、コンピュータが、前記入力ステップによって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索ステップと、前記検索ステップで検索されたマルチメディアデータから、前記所望のマルチメディアデータをコンピュータで選択する選択ステップと、コンピュータが、前記選択ステップで前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶ステップで累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、該マルチメディアデータに対応するメタデータに追加記憶するメタデータ追加記憶ステップとを有することを特徴とする。
【0008】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【0009】
(第1の実施の形態)
本実施の形態では、画像検索を繰り返すことによって、検索用キーワードを増加させる(検索効率を上げる)ことができる検索システムの構築方法について説明する。
【0010】
図1は、本発明の第1の実施の形態に係るマルチメディアデータ検索システムの概略システム構成を示すブロック図である。
【0011】
同図に示すように、マルチメディアデータ検索システム1は、入力装置2と、表示装置3と、蓄積装置4と、CPU5と、ROM6と、RAM7とにより、主として構成されている。そして、上記構成要素2〜7は、バス8を介して、相互に接続されている。
【0012】
入力装置2は、ユーザからの指示や、データを入力するものであり、キーボードやマウスなどのポインティングシステムを含む。本実施の形態では、文字の入力にはキーボードを用い、ボタンの押下(クリック)にはマウスを用いている。
【0013】
表示装置3は、GUI(Graphical User Interface)などを表示するものであり、通常はCRT(Cathode-ray Tube)や、液晶ディスプレイなどが用いられる。
【0014】
蓄積装置4は、画像データや、検索用キーワードのデータベースを蓄積するものであり、通常は、ハードディスク装置(HDD)が用いられる。
【0015】
CPU5は、上述した各構成要素の処理の全てに関わる。
【0016】
ROM6およびRAM7は、CPU5が実行する処理に必要なプログラム、データおよび作業領域などをCPU5に提供する。また、以降のフローチャートの処理に必要な制御プログラムは、蓄積装置4に格納されているか、ROM6に格納されているものとする。蓄積装置4に格納されている場合は、一旦RAM3に読み込まれてから実行される。
【0017】
なお、本実施の形態のマルチメディアデータ検索システムには、上記以外にも、様々な構成要素が存在するが、本発明の特徴ではないので、その説明は省略する。
【0018】
図2は、画像データ(DCF_0001.jpg)11にメタデータ12が登録されている様子を示した図である。なお、本実施の形態では、説明の都合上、マルチメディアデータとして、画像データ(静止画像データ)を例に挙げて説明するが、これに限らず、動画像データや音声データ等、どのようなデータであってもよい。
【0019】
メタデータとは、データに付随するデータのことで、画像データにおいては、主に撮影日時や被写体の情報などを意味する。通常、画像データを検索する際には、このメタデータをキーワードとして、データベースに登録しておき、このデータベースのキーワードを用いて、検索を行う。もちろん、このメタデータを直接用いて、検索を行っても良い。
【0020】
なお、本実施の形態では、メタデータ12を画像データ11に登録する際には、XML(Extensible Markup Language)で記述する。もちろん、XML以外にも、SGML(Standard Generalized Markup Language)、CSV(Comma Separated Value)など、データを記述できるものなら、何を採用してもよい。
【0021】
図3は、図2のメタデータ12を画像データ11に登録する方法の一例を示した概略図である。
【0022】
図3に示すように、画像データの末尾に、メタデータを付加する形式になっている。もちろん、この方法以外にも、画像データのヘッダ部分にメタデータを記述する方法でも構わないし、メタデータを別ファイルとして持ち、画像データには、メタデータファイルへのリンクのみを記述するような方法であっても構わない。
【0023】
図4は、メタデータから取り出した情報を、キーワードとして、データベースに登録した様子を表した図である。
【0024】
同図に示すように、キーワードデータベース13内には、画像ファイル名、画像ファイルへのパス、メタデータから取り出した検索用キーワードが登録されている。
【0025】
図5は、一般的な画像検索アプリケーションの概要を表した図である。
【0026】
同図に示すように、クエリとなるキーワードを、クエリキーワード入力領域22に入力し、検索開始ボタン24をクリックすると、検索を開始する。検索が終了すると、検索結果一覧表示画面26に、検索された画像群のサムネイル一覧が表示される。サムネイル一覧の中から、サムネイルを一つ選んでクリックすると、画像選択カーソル27がそのサムネイルに移動する。画像選択カーソル27によって、選択されているサムネイルを、ダブルクリックすると、画像表示画面28が現れ、選択されているサムネイルを拡大表示する。拡大表示された画像が検索対象である場合には、OKボタン29をクリックする。検索対象でなかった場合には、Cancelボタン30をクリックする。
【0027】
また、複数のキーワードで検索を行う場合には、AND/OR指定を、検索モード切り替えスイッチ23を用いて行う。なお、本実施の形態では、単数キーワードでの検索を考えているので、特に言及しない。
【0028】
また、検索クリアボタン25は、現在の検索を中止して、新たに検索を行う場合に使用する。
【0029】
図6は、図5の画像検索アプリケーションを用いて、検索を繰り返すことにより、データベースのキーワード数を増加させる手順を示すフローチャートである。
【0030】
同図において、まず、ステップS1では、ユーザが検索を行うかどうかを判別する。検索を行う場合には、ステップS2に進み、検索を行わない場合には、全ての処理を終了する。
【0031】
ステップS2では、クエリとなるキーワードを入力する。
【0032】
次に、ステップS3では、検索開始ボタン24をクリックする。
【0033】
そして、ステップS4では、システム側により、クエリキーワードが、クエリキーワード履歴に保存される。クエリキーワード履歴とは、RAM7に作成されたメモリ領域で、検索に利用したクエリキーワードを全て保存できる。例えば、図7において、始めに「結婚式」(第1クエリキーワード41)というキーワードで、検索を行ったとする。すると、始めは空だったクエリキーワード履歴に、「結婚式」というキーワードが追加される(クエリキーワード履歴42)。同様に、「披露宴」(第2クエリキーワード43)というキーワードで検索を行った場合、クエリキーワード履歴に「披露宴」が追加される(クエリキーワード履歴44)。このように、所望の画像を検索するために、異なるキーワードで検索を何度も繰り返すと、その都度、クエリキーワード履歴にキーワードが追加されていく。
【0034】
次に、ステップS5では、入力したクエリキーワードと、データベースに登録されているキーワードとの一致が、システムにより調査され、データベースに一致するキーワードが見つかれば、その画像データのサムネイルが検索結果一覧表示画面26に表示される。なお、このときの一致とは、全文一致でも、部分一致でも構わない。
【0035】
そして、ステップS6では、検索結果一覧表示画面26に表示されたサムネイルの中から、検索対象と思われる画像があるかどうかを判断し、ある場合には、ステップS7に進む一方、ない場合には、ステップS1に戻る。
【0036】
ステップS1に戻った際に、別の画像を検索する場合は、図5の検索クリアボタン25を押す。すると、クエリキーワード履歴の内容が全て消去され、新たな検索を行える。
【0037】
ステップS7では、検索対象と思われるサムネイルをダブルクリックし、画像表示画面28を用いて、画像を閲覧する。
【0038】
続くステップS8では、閲覧した画像が検索対象であるかどうかを判断し、検索対象であった場合には、OKボタン29をクリックし、ステップS9に進む一方、検索対象でなかった場合には、Cancelボタン30を押し、ステップS6に戻る。
【0039】
ステップS9では、クエリキーワード履歴に保存されているキーワードが、データベースに追加登録される。具体的には、図7のクエリキーワード履歴46の状態で検索対象が見つかったとすると、クエリキーワード履歴46内に保存されている、「結婚式」、「披露宴」、「○×教会」がデータベースへの追加候補として挙げられる。しかし、データベース47には、もともと、「○×教会」が登録済みであるので、「○×教会」はここでは登録されず、結局、「結婚式」、「披露宴」の2つのキーワードがデータベースに追加登録される。もちろん、追加するキーワードをユーザが選定するような構成であっても、構わない。
【0040】
このように、本実施の形態では、ユーザが検索時に思い浮かんだキーワードを、データベースに追加登録できるので、二回目以降の検索においては、直感的に思い浮かんだキーワードで検索できるようになり、検索にかかる煩わしさを軽減することができる。
【0041】
(第2の実施の形態)
本実施の形態では、複数のキーワードを用いて、AND検索を行うことにより、検索用キーワードを増加させる(検索効率を上げる)ことのできる検索システムの構築方法について説明する。
【0042】
本実施の形態におけるシステム構成等は、上記第1の実施の形態のそれを用いればよいので、その説明を省略する。また、検索によって、データベースに登録されるキーワード数が増加する過程も、上記第1の実施の形態と同様であるので、その詳細な説明は省略する。
【0043】
図8は、AND検索によって、データベースに登録されるキーワード数が増加する様子を表した概要図である。AND検索を行う場合は、キーワードとキーワードの間にスペースを入れる。
【0044】
まず始めに、第1クエリキーワード51で、検索を行うと、クエリキーワード履歴52のようになる。ここで、検索対象が見つからなかったとして、第2クエリキーワード53で、再び検索を行う。すると、本来であれば、第2クエリキーワード53に含まれるキーワード全てが、クエリキーワード履歴に追加されるはずであるが、AND検索の場合は、第1クエリキーワード51と、第2クエリキーワード53に同じキーワードが含まれる場合がある。よって、この場合は、「7月1日」はもう既に、クエリキワード履歴に存在するので、「○×教会」のみ、追加される(クエリキーワード履歴54)。ここで、検索対象が見つかったとすると、データベースには、「結婚式」、「披露宴」、「7月1日」および「○×教会」の4つのキーワードが追加されるはずであるが、もともとデータベース55には、「○×教会」と「7月1日」が登録されているので、この場合は、「結婚式」と「披露宴」のみ追加登録される(キーワードデータベース56)。
【0045】
このように、本実施の形態では、AND検索においても、ユーザが検索時に思い浮かんだキーワードを、データベースに追加登録できるので、二回目以降の検索においては、直感的に思い浮かんだキーワードで検索できるようになり、検索にかかる煩わしさを軽減することができる。
【0046】
(第3の実施の形態)
本実施の形態では、複数のキーワードを用いて、OR検索を行うことにより、検索用キーワードを増加させる(検索効率を上げる)ことのできる検索システムの構築方法について説明する。
【0047】
本実施の形態におけるシステム構成等は、上記第1の実施の形態のそれを用いればよいので、その説明を省略する。また、検索によって、データベースに登録されるキーワード数が増加する過程も、上記第1の実施の形態と同様であるので、その詳細な説明は省略する。
【0048】
図9は、OR検索によって、データベースに登録されるキーワード数が増加する様子を表した概要図である。OR検索を行う場合は、キーワードとキーワードの間にスペースを入れる。
【0049】
まず始めに、第1クエリキーワード61で、検索を行うと、クエリキーワード履歴62のようになる。ここで、検索対象が見つからなかったとして、第2クエリキーワード63で、再び検索を行うと、クエリキーワード履歴64のようになる。AND検索と違い、第1クエリキーワードと、第2クエリキーワードが重なることはないので、OR検索の場合は、クエリキーワード全てがクエリキーワード履歴に保存される。
【0050】
ここで、検索対象が見つかったとすると、データベースには、「結婚式」、「披露宴」、「○×教会」および「佐藤○△」の4つのキーワードが追加されるはずであるが、もともとデータベース65には、「○×教会」が登録されてあるので、この場合は、「結婚式」、「披露宴」および「佐藤○△」のみ追加登録される(キーワードデータベース66)。
【0051】
このように、本実施の形態では、OR検索においても、ユーザが検索時に思い浮かんだキーワードをデータベースに追加登録できるので、二回目以降の検索においては、直感的に思い浮かんだキーワードで検索できるようになり、検索にかかる煩わしさを軽減することができる。
【0052】
(第4の実施の形態)
本実施の形態では、異なるユーザごとに、異なるキーワードデータベースを用意することによって、ユーザの個性に合わせた検索システムを構築する方法について説明する。
【0053】
本実施の形態におけるシステム構成等は、前記第1の実施の形態の用いればよいので、その説明を省略する。
【0054】
図10は、異なるユーザごとに、異なるキーワードデータベースを用意することによって、ユーザの個性に合わせた検索システムを構築する手順を示すフローチャートである。
【0055】
同図において、まず、ステップS11で、ユーザが検索システムを立ち上げると、図12の検索システムログインウィンドウが起動される。そこで、初めて検索を行う場合は、ユーザ新規登録ボタン84を押し、ステップS12に進む。もう既に一度以上検索を行ったことがある場合は、ステップS14に進む。
【0056】
ステップS12では、図13のユーザ新規登録ウィンドウ91が起動される。そして、ユーザ名入力フィールド92に希望のユーザ名を入力し、ユーザ登録・検索開始ボタン93を押下することによって、検索システム内で、新規ユーザとして登録され、同時にそのユーザ独自のキーワードデータベースが新規に作成される。
【0057】
次に、ステップS13では、作成された新規キーワードデータベースの読み出しが行われ、図5の画像検索アプリケーション21が起動される。そこで、新規キーワードデータベースを用いた検索システムが提供される。
【0058】
ステップS14では、図12の検索システムログインウィンドウ81の、ユーザ名入力フィールド82にユーザ名を入力し、ログインボタン83を押すことによって、検索システムにログインすることができる。
【0059】
ステップS15では、ログインしたユーザのユーザデータベースが読み出され、画像検索アプリケーション21が起動される。そこで、ユーザ独自のキーワードデータベースを用いた検索システムが提供される。
【0060】
ステップS16では、検索作業を行う。検索作業の詳細については、前記第1〜第3の実施の形態で説明済みであるので、ここでの説明は省略する。
【0061】
ステップS17では、検索が終了すると、検索システムからユーザがログオフする。
【0062】
このように、本実施の形態では、ユーザごとに異なったデータベースを用意し、それぞれが検索を行うことによって、独自のキーワードを追加登録することができ、ユーザの個性に合わせた検索システムを構築することができる。
【0063】
図11は、実際に2人のユーザが、新規にユーザ登録し、「海」の画像を検索する様子を示した図である。
【0064】
画像データDCF_0002.jpgには、エメラルドグリーンの海が写っており、「海」と「夏」の2つのキーワードがデータベースに登録されている(新規キーワードデータベース71)。この画像データDCF_0002.jpg(「海」の写った画像)を、ユーザAとユーザBが検索を行う。
【0065】
ユーザAは、「海」という言葉に対して、「青い」というイメージを持っている。そこで、クエリキーワードを、クエリキーワード72にする。
【0066】
一方、ユーザBは、「海」という言葉に対して、「透明」というイメージを持っている。そこで、クエリキーワードを、クエリキーワード74にする。
【0067】
画像データDCF_0002.jpgをOR検索で検索後、両者のキーワードデータベースは、それぞれ、ユーザA用キーワードデータベース73およびユーザB用キーワードデータベース75となり、ユーザ毎に異なったデータベースが構築される。こうすることで、本来エメラルドグリーンである画像に対しても、ユーザAは「青い」というキーワードで、今後検索できるようになる。同様に、本来エメラルドグリーンである画像に対しても、ユーザBは「透明」というキーワードで、今後検索できるようになる。
【0068】
このように、それぞれのユーザが思い浮かんだキーワードを、そのままデータベースに登録できるので、ユーザは、自分の思い浮かんだキーワードで検索を行うことができるようになる。
【0069】
(第5の実施の形態)
本実施の形態では、画像データに付加されたメタデータから直接、検索・キーワードの追加登録を行う方法について説明する。
【0070】
本実施の形態におけるシステム構成等は、前記第1の実施の形態の用いればよいので、その説明を省略する。
【0071】
ある画像データに、図14のように、メタデータ101が付加されていたとする。前記第1〜第4の実施の形態では、このメタデータ内にあるキーワードをデータベースに登録して、検索を行っていたが、ここでは、メタデータ内にあるキーワードを、そのまま検索用キーワードとして使用する。例えば、クエリキーワード102を用いて、OR検索を行うとする。
【0072】
前記第1〜第4の実施の形態では、データベース内にあるキーワードと、クエリキーワード102との一致を調査したが、この場合は、メタデータ101を直接読み出して、その中にあるキーワードとの一致を調査する。すると、「○×教会」というキーワードが一致し、検索が終了する。このとき、クエリキーワード履歴には、「佐藤○△」が保存されており、このキーワードがメタデータに追加登録される(メタデータ103)。
【0073】
このように、本実施の形態では、ユーザが検索時に思い浮かんだキーワードをメタデータに追加登録できるので、二回目以降の検索においては、直感的に思い浮かんだキーワードで検索できるようになり、検索にかかる煩わしさを軽減することができる。
【0074】
なお、上述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【0075】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0076】
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。
【0077】
また、コンピュータが読出したプログラムコードを実行することにより、上述した各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOSなどが実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0078】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0095】
【発明の効果】
以上説明したように、本発明によれば、一度検索に用いたキーワードを、新たな検索用キーワードとして、データベースやメタデータに追加登録することによって、検索効率を上げることができ、検索にかかる煩わしさを軽減することができる。
【0096】
また、ユーザごとに、異なったデータベースを用意することによって、ユーザの個性に合わせた画像検索システムが構築できる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係るマルチメディアデータ検索システムの概略システム構成を示すブロック図である。
【図2】画像データにメタデータが登録されている様子を示した図である。
【図3】図2のメタデータを画像データに登録する方法の一例を示した概略図である。
【図4】メタデータから取り出した情報を、キーワードとして、データベースに登録した様子を表した図である 。
【図5】一般的な画像検索アプリケーションの概要を表した図である。
【図6】図5の画像検索アプリケーションを用いて、検索を繰り返すことにより、データベースのキーワード数を増加させる手順を示すフローチャートである。
【図7】図5のキーワード追加処理を説明するための図である。
【図8】AND検索によって、データベースに登録されるキーワード数が増加する様子を表した概要図である。
【図9】OR検索によって、データベースに登録されるキーワード数が増加する様子を表した概要図である。
【図10】異なるユーザごとに、異なるキーワードデータベースを用意することによって、ユーザの個性に合わせた検索システムを構築する手順を示すフローチャートである。
【図11】実際に2人のユーザが、新規にユーザ登録し、「海」の画像を検索する様子を示した図である。
【図12】起動された検索システムログインウィンドウの一例を示す図である。
【図13】起動されたユーザ新規登録ウィンドウ91の一例を示す図である。
【図14】メタデータのキーワードが増加する様子を表した概要図である。
【符号の説明】
1 マルチメディアデータ検索システム
2 入力装置
3 表示装置
4 蓄積装置
5 CPU
6 ROM
7 RAM
8 バス

Claims (12)

  1. 所望のマルチメディアデータを検索するまで、該所望のマルチメディアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索システムにおいて、
    各マルチメディアデータにそれぞれ、少なくとも1つのキーワードを対応付けて記憶するデータベースと、
    前記所望のマルチメディアデータを検索するためのクエリとなるキーワードを入力する入力手段と、
    前記入力手段で前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶手段と、
    前記入力手段によって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索手段と、
    前記検索手段で検索されたマルチメディアデータから、前記所望のマルチメディアデータを選択する選択手段と、
    前記選択手段で前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶手段に累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、前記データベースに追加記憶する検索用キーワード追加記憶手段と
    を有することを特徴とするマルチメディアデータ検索システム。
  2. 所望のマルチメディアデータを検索するまで、該所望のマルチメディアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索システムにおいて、
    各マルチメディアデータにそれぞれ、少なくとも1つのキーワードを含むメタデータを対応付けて記憶するデータベースと、
    前記所望のマルチメディアデータを検索するためのクエリとなるキーワードを入力する入力手段と、
    前記入力手段で前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶手段と、
    前記入力手段によって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索手段と、
    前記検索手段で検索されたマルチメディアデータから、前記所望のマルチメディアデータを選択する選択手段と、
    前記選択手段で前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶手段に累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、該マルチメディアデータに対応するメタデータに追加記憶するメタデータ追加記憶手段と
    を有することを特徴とするマルチメディアデータ検索システム。
  3. 前記データベースは、検索を行うユーザごとに用意されることを特徴とする請求項1または2に記載のマルチメディアデータ検索システム。
  4. 前記検索手段によって検索されたマルチメディアデータの一覧を表示する一覧表示手段をさらに有することを特徴とする請求項1または2に記載のマルチメディアデータ検索システム。
  5. 前記クエリキーワード記憶手段に記憶されているクエリキーワードを消去する消去手段をさらに有することを特徴とする請求項1または2に記載のマルチメディアデータ検索システム。
  6. 前記検索用キーワード追加記憶手段は、前記キーワードを前記データベースに追加記憶するときに、前記クエリキーワード記憶手段に記憶されているクエリキーワードのうち、任意の一部のクエリキーワードのみを追加記憶することを特徴とする請求項1に記載のマルチメディアデータ検索システム。
  7. 前記メタデータ追加記憶手段は、キーワードを当該メタデータに追加記憶するときに、前記クエリキーワード記憶手段に記憶されているクエリキーワードのうち、任意の一部のクエリキーワードのみを追加記憶することを特徴とする請求項2に記載のマルチメディアデータ検索システム。
  8. 前記メタデータは、当該マルチメディアデータとは、別のファイルとして保存されており、当該マルチメディアデータと、リンクで結ばれていることを特徴とする請求項2に記載のマルチメディアデータ検索システム。
  9. 所望のマルチメディアデータを検索するまで、該所望のマルチメディアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索方法であって、各マルチメディアデータにそれぞれ、少なくとも1つのキーワードを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法において、
    前記所望のマルチメディアデータを検索するためのクエリとなるキーワードをコンピュータに入力する入力ステップと、
    コンピュータが、前記入力ステップで前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶ステップと、
    コンピュータが、前記入力ステップによって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索ステップと、
    前記検索ステップで検索されたマルチメディアデータから、前記所望のマルチメディアデータをコンピュータで選択する選択ステップと、
    コンピュータが、前記選択ステップで前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶ステップで累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、前記データベースに追加記憶する検索用キーワード追加記憶ステップと
    を有することを特徴とするマルチメディアデータ検索方法。
  10. 所望のマルチメディアデータを検索するまで、該所望のマルチメディアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索方法であって、各マルチメディアデータにそれぞれ、少なくとも1つのキーワードを含むメタデータを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法において、
    前記所望のマルチメディアデータを検索するためのクエリとなるキーワードをコンピュータに入力する入力ステップと、
    コンピュータが、前記入力ステップで前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶ステップと、
    コンピュータが、前記入力ステップによって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索ステップと、
    前記検索ステップで検索されたマルチメディアデータから、前記所望のマルチメディアデータをコンピュータで選択する選択ステップと、
    コンピュータが、前記選択ステップで前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶ステップで累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、該マルチメディアデータに対応するメタデータに追加記憶するメタデータ追加記憶ステップと
    を有することを特徴とするマルチメディアデータ検索方法。
  11. 所望のマルチメディアデータを検索するまで、該所望のマルチメデ ィアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索方法であって、各マルチメディアデータにそれぞれ、少なくとも1つのキーワードを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法を、コンピュータに実現させるためのプログラムであって、
    前記マルチメディアデータ検索方法は、
    前記所望のマルチメディアデータを検索するためのクエリとなるキーワードをコンピュータに入力する入力ステップと、
    コンピュータが、前記入力ステップで前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶ステップと、
    コンピュータが、前記入力ステップによって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索ステップと、
    前記検索ステップで検索されたマルチメディアデータから、前記所望のマルチメディアデータをコンピュータで選択する選択ステップと、
    コンピュータが、前記選択ステップで前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶ステップで累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、前記データベースに追加記憶する検索用キーワード追加記憶ステップと
    を有することを特徴とするプログラム。
  12. 所望のマルチメディアデータを検索するまで、該所望のマルチメディアデータを検索するためのキーワードを繰り返し入力するマルチメディアデータ検索方法であって、各マルチメディアデータにそれぞれ、少なくとも1つのキーワードを含むメタデータを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法を、コンピュータに実現させるためのプログラムであって、
    前記マルチメディアデータ検索方法は、
    前記所望のマルチメディアデータを検索するためのクエリとなるキーワードをコンピュータに入力する入力ステップと、
    コンピュータが、前記入力ステップで前記所望のマルチメディアデータを検索するためのキーワードが入力される度に、該所望のマルチメディアデータを検索するためのキーワードを累積して記憶するクエリキーワード記憶ステップと、
    コンピュータが、前記入力ステップによって入力された前記所望のマルチメディアデータを検索するためのキーワードに基づいて、マルチメディアデータを検索する検索ステップと、
    前記検索ステップで検索されたマルチメディアデータから、前記所望のマルチメディアデータをコンピュータで選択する選択ステップと、
    コンピュータが、前記選択ステップで前記所望のマルチメディアデータが選択されるまでに前記クエリキーワード記憶ステップで累積して記憶された前記所望のマルチメディアデータを検索するためのキーワードを、前記所望のマルチメディアデータに対応付けて、該マルチメディアデータに対応するメタデータに追加記憶するメタデータ追加記憶ステップと
    を有することを特徴とするプログラム。
JP2002310995A 2002-10-25 2002-10-25 マルチメディアデータ検索システム、マルチメディア検索方法および該検索方法を実現するためのプログラム Expired - Fee Related JP3994188B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002310995A JP3994188B2 (ja) 2002-10-25 2002-10-25 マルチメディアデータ検索システム、マルチメディア検索方法および該検索方法を実現するためのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002310995A JP3994188B2 (ja) 2002-10-25 2002-10-25 マルチメディアデータ検索システム、マルチメディア検索方法および該検索方法を実現するためのプログラム

Publications (3)

Publication Number Publication Date
JP2004145706A JP2004145706A (ja) 2004-05-20
JP2004145706A5 JP2004145706A5 (ja) 2005-04-07
JP3994188B2 true JP3994188B2 (ja) 2007-10-17

Family

ID=32456353

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002310995A Expired - Fee Related JP3994188B2 (ja) 2002-10-25 2002-10-25 マルチメディアデータ検索システム、マルチメディア検索方法および該検索方法を実現するためのプログラム

Country Status (1)

Country Link
JP (1) JP3994188B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007164225A (ja) * 2005-12-09 2007-06-28 Toyota Motor Corp 情報検索装置
WO2008114433A1 (ja) * 2007-03-20 2008-09-25 Fujitsu Limited 情報検索システム、情報検索プログラムおよび情報検索方法
JP2009277015A (ja) * 2008-05-14 2009-11-26 Fujitsu Ltd 入力支援プログラム、入力支援装置および入力支援方法
JP5448412B2 (ja) 2008-10-24 2014-03-19 キヤノン株式会社 情報処理装置およびその方法、プログラム、記録媒体
JP5345582B2 (ja) * 2010-03-31 2013-11-20 株式会社ゼンリンデータコム シソーラス構築システム、シソーラス構築方法およびシソーラス構築プログラム
JP4976572B1 (ja) * 2011-04-28 2012-07-18 テンソル・コンサルティング株式会社 商品キーワード管理システム
JP2016024570A (ja) * 2014-07-18 2016-02-08 日本電気株式会社 作業手順書作成装置、作業手順書作成システム及び作業手順書作成方法
JP6310509B2 (ja) * 2016-07-05 2018-04-11 ヤフー株式会社 抽出装置、抽出方法および抽出プログラム
JP7496712B2 (ja) 2020-05-14 2024-06-07 株式会社トヨタマップマスター 検索データベースの更新方法、その装置及びそのコンピュータプログラム
JP7626924B2 (ja) 2020-12-28 2025-02-05 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法、プログラム

Also Published As

Publication number Publication date
JP2004145706A (ja) 2004-05-20

Similar Documents

Publication Publication Date Title
US8332391B1 (en) Method and apparatus for automatically identifying compounds
US7921092B2 (en) Topic-focused search result summaries
US7096218B2 (en) Search refinement graphical user interface
US7606794B2 (en) Active Abstracts
US20090187558A1 (en) Method and system for displaying search results
US20060101503A1 (en) Method and system for performing searches for television content using reduced text input
US20050243188A1 (en) Efficient image categorization
US20080222141A1 (en) Method and System for Document Searching
JPWO2006098031A1 (ja) キーワード管理装置
JP3994188B2 (ja) マルチメディアデータ検索システム、マルチメディア検索方法および該検索方法を実現するためのプログラム
JP2010518514A (ja) 電子装置上でコンテンツを表示しナビゲートするためのシステム及び方法
US7209912B2 (en) Wizard and help file search and management
JP2010102593A (ja) 情報処理装置およびその方法、プログラム、記録媒体
US8001138B2 (en) Word relationship driven search
JP2008234078A (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理プログラムを記録した記録媒体
EP0996072A1 (en) A method for sharing data among a plurality of applications in a hand-held device
JP4477931B2 (ja) 検索リクエスト装置、検索リクエスト方法、検索リクエストプログラムおよび検索リクエストプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003015922A (ja) データ処理方法及び装置及び記憶媒体
JPH1139338A (ja) 文書検索装置、文書検索方法及び文書検索のためのプログラムを記録した媒体
JP2024509824A (ja) ドキュメントの編集方法、装置、デバイス及び記憶媒体
US20060155686A1 (en) Facilitating direct access to live controls for features of a system or application via a keyword search
JP2002132825A (ja) 画像検索システム、画像検索方法、画像検索プログラム、画像検索プログラムを記録したコンピュータ読み取り可能な記憶媒体、および画像検索装置
JP2006048521A (ja) 文書検索装置及びその制御方法、並びに制御プログラム
JPH10222528A (ja) 情報処理装置及びその制御方法
JP7545061B2 (ja) 情報処理システム、情報処理方法、プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040521

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040521

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070306

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070427

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070619

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20070627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070709

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110810

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120810

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120810

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130810

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees