JP2005107793A - キーワード抽出装置、およびキーワード抽出方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】 事前知識を必要とせず、高速かつ効率的なキーワード抽出処理を可能とした装置および方法を提供する。
【解決手段】 キーワード抽出処理対象となる複数の文書データ各々のタイトル等の特定部分データ領域のみを対象とした文字列の照合処理を実行し、さらに文字列長や、包含関係判定などによる絞込みを行なってキーワード候補を選定し、その限られたキーワード候補について、文書データ中の存在確率を算出し、存在確率が許容確率にある場合にのみ、キーワードとして登録する処理を実行する構成とした。本構成により、例えば全文検索に基づく出現頻度算出処理を必要とするような従来のキーワード選定技術に比べて高速なキーワード抽出が可能となる。
【選択図】 図１

Description

本発明は、キーワード抽出装置、およびキーワード抽出方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、データベースに蓄積されたデータあるいはインターネットを介して取得されるデータなど、様々な文書データの分類に有効なキーワードの効率的な抽出を可能としたキーワード抽出装置、およびキーワード抽出方法、並びにコンピュータ・プログラムに関する。

データベースに蓄積された文書データあるいはインターネットを介して取得される文書データなどを分類する手法として、これまでに、様々な手法が提案されている。例えば、文書データに含まれる特徴となる複数の単語（キーワード）を選択し、その分布や出現位置などを解析し、この解析結果に基づいて分類を行う手法が広く知られている。

文書データの分類処理を行う際に重要なのが、「分類を行うのに有効な単語」、すなわち、キーワードの選定である。従来から知られるキーワード選定手法を大きく分類すると、以下の（１）〜（３）の３つの手法に分類される。

（１）辞書データを用いるキーワード選定手法
辞書データを用いるキーワード選定手法は、あらかじめ文書データの分類に有効と考えられる単語群を辞書データとして登録し、登録された単語をキーワードとして用いる手法である。この辞書データをキーワードとして利用する手法は、例えば特許文献１、特許文献２に記載されている。

（２）分類対象の文書データに含まれる文書の文法解析によるキーワード選定手法
分類対象の文書データに含まれる文書の文法解析によるキーワード選定手法は、分類対象の文書データに含まれる文書の文法に基づいた形態素解析、あるいは独自の文法ルールによる解析を行い、その結果として抽出される単語をキーワードまたはその候補として用いる手法である。この手法は、例えば特許文献３、特許文献４に記載されている。

（３）分類対象の文書データの総比較によるキーワード選定手法
分類対象の文書データの総比較によるキーワード選定手法は、分類対象とる様々な文書データ各々の総比較を行い、様々な単語の出現頻度やその組み合わせデータを解析し、その解析結果に基づいてキーワードまたはキーワード候補を抽出する手法である。この手法は、例えば特許文献５に記載されている。

上述したように、キーワードの抽出手法としては、様々な手法が既に提案されている。しかし、例えば上述の「（１）辞書データを用いるキーワード選定手法」は、前提となる辞書を作成するのに専門的な知識と時間がかかる上に、作成された辞書は、想定外の分野の文章に関しては十分な効果をあげないという問題がある。例えば特定の専門分野、例えば医療や金融といった専門分野の文書の分類に有効なキーワードが不十分となったり、あるいは、新しく出現してきた単語に対する対応ができないといった問題がある。

また、「（２）分類対象の文書データに含まれる文書の文法解析によるキーワード選定手法」は、文法ルールを定型処理化するのに専門的な知識が必要である上に、想定外の言語や、文法的に成立しない自由形式の文章に対して十分な効果をあげないという問題点がある。

さらに、「（３）分類対象の文書データの総比較によるキーワード選定手法」は、処理対象となる文書データ量が増えると、その比較の処理にかかる時間が指数的に増え、処理効率が低下するという問題があり、また、日本語であれば文書中に頻出する「です」「ます」など、分類に有効な単語以外の語句が抽出されてしまうといという問題点がある。

特開２００２−２１５６４７ 特開２００２−１０８８８８ 特開２００３−３６２６１ 特開２００２−２４５０６１ 特開２００１−２２７５２

本発明は、このような状況に鑑みてなされたものであり、上述した従来のキーワード抽出手法における問題点を解決したキーワード抽出装置、およびキーワード抽出方法、並びにコンピュータ・プログラムを提供することを目的とする。

具体的には、
ａ．前提となる知識（辞書、文法データ）を使用しない
ｂ．自由形式（含、多言語）の文章に対応可能
ｃ．高速な処理が可能
ｄ．分類に有効な単語のみを抽出する
上記ａ〜ｄを満足することを可能としたキーワード抽出装置、およびキーワード抽出方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
文書データからキーワードを抽出する処理を実行するキーワード抽出装置であり、
キーワード抽出処理対象となる複数の文書データ各々の特定部分データ領域に含まれる文字列の照合処理を実行し、一致する文字列をキーワード候補として抽出するキーワード候補抽出手段と、
前記キーワード候補抽出手段において抽出したキーワード候補が、キーワード抽出処理対象となる複数の文書データ内に含まれる確率としてのキーワード存在確率を算出する存在確率算出手段と、
前記存在確率算出手段において算出したキーワード存在確率が、予め定めた許容値を満足する場合に、該キーワード候補を抽出キーワードとして登録するキーワード選定手段と、
を有することを特徴とするキーワード抽出装置にある。

さらに、本発明のキーワード抽出装置の一実施態様において、前記特定部分データ領域は、文書データにおけるタイトル領域であり、前記キーワード候補抽出手段は、キーワード抽出処理対象となる複数の文書データ各々のタイトル領域に含まれる文字列の照合処理を実行し、一致する文字列をキーワード候補として抽出する処理を実行する構成であることを特徴とする。

さらに、本発明のキーワード抽出装置の一実施態様において、前記キーワード候補抽出手段は、キーワード抽出処理対象となる複数の文書データ各々の特定部分データ領域に含まれる文字列の照合処理を実行し、一致文字列領域から選択される最長文字列をキーワード候補として抽出する処理を実行する構成であることを特徴とする。

さらに、本発明のキーワード抽出装置の一実施態様において、前記キーワード候補抽出手段は、キーワード抽出処理対象となる複数の文書データ各々の特定部分データ領域に含まれる文字列の照合処理を実行し、一致する文字列であり、かつ、予め定めた規定長以上の文字列のみをキーワード候補として抽出する処理を実行する構成であることを特徴とする。

さらに、本発明のキーワード抽出装置の一実施態様において、存在確率算出手段は、前記キーワード候補抽出手段において抽出したキーワード候補が、キーワード抽出処理対象となる複数の文書データ内に出現する頻度を検出し、前記キーワード選定手段は、前記存在確率算出手段において算出したキーワード出現頻度が、予め定めた許容値を満足する場合に、該キーワード候補を抽出キーワードとして登録する処理を実行する構成であることを特徴とする。

さらに、本発明のキーワード抽出装置の一実施態様において、前記キーワード選定手段は、前記存在確率算出手段において算出したキーワード出現頻度が、予め定めた下限許容値から上限許容値の範囲内にあることを条件として、該キーワード候補を抽出キーワードとして登録する処理を実行する構成であることを特徴とする。

さらに、本発明のキーワード抽出装置の一実施態様において、前記キーワード候補抽出手段は、前記照合処理により抽出した文字列と、既に抽出済みのキーワード候補との２つの文字列の一方が、他方の文字列を含む包含関係にあるか否かを判定し、包含関係にある場合に、文字列長の短い文字列のみをキーワード候補として選択する処理を実行する構成であることを特徴とする。

さらに、本発明のキーワード抽出装置の一実施態様において、前記キーワード抽出装置は、さらに、キーワード抽出処理対象となる複数の文書データを格納するデータ蓄積手段と、抽出キーワードを格納する抽出キーワード格納部と、を有する構成であることを特徴とする。

さらに、本発明の第２の側面は、
文書データからキーワードを抽出する処理を実行するキーワード抽出方法であり、
キーワード抽出処理対象となる複数の文書データ各々の特定部分データ領域に含まれる文字列の照合処理を実行し、一致する文字列をキーワード候補として抽出するキーワード候補抽出ステップと、
前記キーワード候補抽出ステップにおいて抽出したキーワード候補が、キーワード抽出処理対象となる複数の文書データ内に含まれる確率としてのキーワード存在確率を算出する存在確率算出ステップと、
前記存在確率算出ステップにおいて算出したキーワード存在確率が、予め定めた許容値を満足する場合に、該キーワード候補を抽出キーワードとして登録するキーワード選定ステップと、
を有することを特徴とするキーワード抽出方法にある。

さらに、本発明のキーワード抽出方法の一実施態様において、前記特定部分データ領域は、文書データにおけるタイトル領域であり、前記キーワード候補抽出ステップは、キーワード抽出処理対象となる複数の文書データ各々のタイトル領域に含まれる文字列の照合処理を実行し、一致する文字列をキーワード候補として抽出する処理を実行するステップであることを特徴とする。

さらに、本発明のキーワード抽出方法の一実施態様において、前記キーワード候補抽出ステップは、キーワード抽出処理対象となる複数の文書データ各々の特定部分データ領域に含まれる文字列の照合処理を実行し、一致文字列領域から選択される最長文字列をキーワード候補として抽出する処理を実行するステップであることを特徴とする。

さらに、本発明のキーワード抽出方法の一実施態様において、前記キーワード候補抽出ステップは、キーワード抽出処理対象となる複数の文書データ各々の特定部分データ領域に含まれる文字列の照合処理を実行し、一致する文字列であり、かつ、予め定めた規定長以上の文字列のみをキーワード候補として抽出する処理を実行するステップであることを特徴とする。

さらに、本発明のキーワード抽出方法の一実施態様において、存在確率算出ステップは、前記キーワード候補抽出ステップにおいて抽出したキーワード候補が、キーワード抽出処理対象となる複数の文書データ内に出現する頻度を検出するステップであり、前記キーワード選定ステップは、前記存在確率算出ステップにおいて算出したキーワード出現頻度が、予め定めた許容値を満足する場合に、該キーワード候補を抽出キーワードとして登録する処理を実行するステップであることを特徴とする。

さらに、本発明のキーワード抽出方法の一実施態様において、前記キーワード選定ステップは、前記存在確率算出ステップにおいて算出したキーワード出現頻度が、予め定めた下限許容値から上限許容値の範囲内にあることを条件として、該キーワード候補を抽出キーワードとして登録する処理を実行するステップであることを特徴とする。

さらに、本発明のキーワード抽出方法の一実施態様において、前記キーワード候補抽出ステップは、前記照合処理により抽出した文字列と、既に抽出済みのキーワード候補との２つの文字列の一方が、他方の文字列を含む包含関係にあるか否かを判定し、包含関係にある場合に、文字列長の短い文字列のみをキーワード候補として選択する処理を実行するステップであることを特徴とする。

さらに、本発明のキーワード抽出方法の一実施態様において、前記キーワード抽出方法は、さらに、抽出キーワードを格納する抽出キーワード格納ステップを有することを特徴とする。

さらに、本発明の第３の側面は、
文書データからキーワードを抽出する処理を実行するコンピュータ・プログラムであり、
キーワード抽出処理対象となる複数の文書データ各々の特定部分データ領域に含まれる文字列の照合処理を実行し、一致する文字列をキーワード候補として抽出するキーワード候補抽出ステップと、
前記キーワード候補抽出ステップにおいて抽出したキーワード候補が、キーワード抽出処理対象となる複数の文書データ内に含まれる確率としてのキーワード存在確率を算出する存在確率算出ステップと、
前記存在確率算出ステップにおいて算出したキーワード存在確率が、予め定めた許容値を満足する場合に、該キーワード候補を抽出キーワードとして登録するキーワード選定ステップと、
を有することを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、キーワードの抽出処理において、キーワード抽出処理対象となる複数の文書データ各々のタイトル等の特定部分データ領域のみを対象とした文字列の照合処理を実行し、さらに文字列長や、包含関係判定などによる絞込みを行なってキーワード候補を選定し、その限られたキーワード候補について、文書データ中の存在確率を算出し、存在確率が許容確率にある場合にのみ、キーワードとして登録する処理を実行する構成としたので、例えば全文検索に基づく出現頻度算出処理を必要とするような従来のキーワード選定技術に比べて高速なキーワード抽出が可能となる。

本発明の構成によれば、上述のように、高速なキーワード検出が可能であり、例えば、入力された文章からリアルタイムにキーワードを取り出し、取り出したキーワードに基づいて新たな文書検索処理を行うといった処理に適用することも可能となる。例えば自由文章入力方式の検索システムなどに応用することも可能となる。

また、本発明によるキーワード抽出処理は、前提とする知識を一切必要としない構成であり、キーワード抽出処理対象となる文書データを入力するのみで、何らの事前知識を持たないユーザであっても容易にキーワードの抽出が可能となる。従って、例えば未知の言語の解読の補助材料として使用するといった応用も可能となる。

また、本発明の構成によれば、
ａ．前提となる知識（辞書、文法データ）を使用しない
ｂ．自由形式（含、多言語）の文章に対応可能
ｃ．高速な処理が可能
ｄ．分類に有効な単語のみを抽出する
これらａ〜ｄの条件を満足するキーワード抽出処理構成が実現される。

以下、図面を参照しながら本発明のキーワード抽出装置、およびキーワード抽出方法、並びにコンピュータ・プログラムの詳細について説明する。

本発明のキーワード抽出装置、およびキーワード抽出方法においては、処理対象となるデータ、すなわちキーワードの抽出処理対象データは、「人間が読むことを前提とした文章」全般であり、言語やその形式は一切問わない。

例えばインターネットを介して閲覧可能なサイトのコンテンツ、あるいは、データベースに格納されたコンテンツなどから、ユーザの希望するカテゴリのコンテンツを的確に検索するためには、コンテンツ中の文書データに含まれる単語、すなわちキーワードを的確に選定することが必要となる。本発明のキーワード抽出装置、およびキーワード抽出方法では、このような、的確なキーワード検索を実行するものであり、
ａ．前提となる知識（辞書、文法データ）を使用しない
ｂ．自由形式（含、多言語）の文章に対応可能
ｃ．高速な処理が可能
ｄ．分類に有効な単語のみを抽出する
上記ａ〜ｄを満足することを可能とした処理を実現する。

例えばインターネット等を介して閲覧可能なホームページ等の情報は、ＨＴＭＬ（Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）によって記述されたデータファイルによって構成され、例えばヘッダ情報、タイトル情報などを予め定められたタグによって区分して記述する構成となっている。

ＨＴＭＬ記述データのみならず、「人間が読むことを前提とした文章」は、多くの場合、目的とする対象の人に読んでもらうために、タイトルがついている場合が多い。タイトルつきの文書データの具体例としては、上述したインターネット上で公開されているホームページの他に、電子メールのメッセージ、また小説、エッセイなどの様々な文書データがある。

本発明のキーワード抽出処理においては、主にタイトルつきの文書データに注目することでキーワードの抽出を行う。

本発明のキーワード抽出処理手順をまとめると、以下の通りである。

ステップ１．文章データの入力（タイトルのある、なしに関わらず）
ステップ２．文章データの蓄積
ステップ３．タイトルつき文章データのタイトルを比較して、最も長く一致する文字列、すなわち、一致文字列領域から選択される最長文字列を取得
ステップ４．抽出した文字列が規定値以上の長さならばキーワード候補として蓄積
ステップ５．新しいキーワード候補が既出のキーワード候補と包含関係にある場合は、長さの短いキーワード候補のみを残す
ステップ６．キーワード候補の全文章（含、タイトルなしデータ）における存在頻度（その単語の存在する文章数／検索対象文章数）を調査
ステップ７．存在頻度の高すぎるキーワード候補と低すぎるキーワード候補を削除
ステップ８．残ったキーワード候補を分類に用いるキーワードとして蓄積

以上の処理手順に従って、キーワード抽出処理を実行する。図１を参照して本発明のキーワード抽出装置の構成について説明する。

本発明のキーワード抽出装置は、図１に示すように、文字列からなる文書データを入力するための入力手段１０１、入力手段１０１から入力した文書データを記憶格納するデータ蓄積手段１０５、データ蓄積手段１０５に格納した複数の文書データから各々特定部分データ領域、例えばタイトルデータ領域を抽出し、抽出した複数の特定部分データ領域（タイトル）に含まれる文字列中から一致文字列領域を抽出し、一致文字列領域から選択される最長文字列を抽出し、抽出した文字列をキーワード候補とするか否かの判定処理を実行するキーワード候補抽出手段１０２を有する。

さらに、キーワード候補抽出手段１０２により抽出されたキーワード候補を格納するキーワード候補格納部１０６、キーワード候補抽出手段１０２により抽出されたキーワード候補の存在頻度（確率）、すなわち、多数の処理対象文書データ中のキーワード候補の存在確率を計算する存在確率算出手段１０３と、存在確率算出手段１０３の算出した各キーワードの存在確率データに基づいてキーワード候補から、最終的な抽出キーワードとして選定するか否かを判定する最終抽出キーワード選定手段１０４、最終抽出キーワード選定手段１０４の選択した最終的な抽出キーワードを格納するキーワード格納部１０７を有する。

図１に示すキーワード抽出装置は、本発明のキーワード抽出装置の実行する処理を説明するために、本発明のキーワード抽出装置の実行する処理、機能毎にブロックとして示したブロック図である。本発明のキーワード抽出装置は、例えばパーソナル・コンピュータなどの情報処理装置によって構成可能であり、後段で説明する本発明のキーワード抽出処理シーケンスを実行するプログラムを実行する制御部（ＣＰＵ）を備え、主記憶装置、外部記憶装置、入力手段１０１としてのマウスおよびキーボード、ならびに表示手段としてのディスプレイ等を備えた構成において実現される。

図２を参照して、本発明のキーワード抽出装置を構成するパーソナル・コンピュータ等の情報処理装置のハードウェア構成例を説明する。

ＣＰＵ(Central Processing Unit)３０１は、各種プログラムを実行するプロセッサである。例えばＲＯＭ(Read Only Memory)３０２、またはＨＤＤ３０４等に記憶されているプログラムに従って、各種の処理を実行し、データ処理手段、あるいは通信制御処理手段として機能する。ＲＯＭ（Read-Only-Memory）３０２は、ＣＰＵ３０１が実行するプログラム、あるいは演算パラメータとしての固定データを格納する。ＲＡＭ（Random Access Memory）３０３は、ＣＰＵ３０１の処理において実行されるプログラム、およびプログラム処理において適宜変化するパラメータの格納エリア、ワーク領域として使用される。ＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３、ＨＤＤ３０４は、バス３０５を介して相互に接続されている。

バス３０５は、例えばＰＣＩ（Peripheral Component Internet/Interface）バス等により構成され、各モジュール、入出力インタフェース３０６を介した各入出力装置とのデータ転送を可能にしている。

入出力インタフェース３０６には、例えば、ユーザにより操作されるキーボード、スイッチ、ボタン、あるいはマウス等により構成される入力部３０７、ユーザに各種の情報を提示するＬＣＤ、ＣＲＴ、スピーカ等により構成される出力部３０８が接続される。さらに、データ送受信手段として機能する通信部３０９、さらに、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体３１１を装着可能で、これらのリムーバブル記録媒体３１１からのデータ読み出しあるいは書き込み処理を実行するドライブ３１０が接続される。

図１に示す入力手段１０１から入力する文書データは、図２において、ユーザにより操作されるキーボード、スイッチ、ボタン、あるいはマウス等により構成される入力部３０７、または、通信部３０９、あるいは磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体３１１から入力される。

すなわち、図１に示す入力手段１０１から入力される文書データは、ユーザがキーボードを操作して入力する文書データ、あるいは通信部を介して例えばインターネット等の通信網から入力するデータ、あるいは、リムーバブル記録媒体からの入力データなど、様々な文書データであり、これらの様々な文書データを対象としてキーワード抽出処理が実行される。

また、図１に示すキーワード候補抽出手段１０２、存在確率算出手段１０３、最終抽出キーワード選定手段１０４は、具体的には、データ処理手段として機能する図２に示すＣＰＵ３０１に対応する。ＣＰＵ３０１が、例えばＨＤＤ３０４、あるいはＲＡＭ３０３に格納された処理プログラムにしたがって図１に示すキーワード候補抽出手段１０２、存在確率算出手段１０３、最終抽出キーワード選定手段１０４に対応した各処理を実行する。具体的な処理シーケンスについては後述する。

さらに、図１に示すデータ蓄積手段１０５、キーワード候補格納部１０６、キーワード格納部１０７は、図２に示すＨＤＤ３０４、リムーバブル記録媒体３１１、ＲＡＭ３０３など、の各種のデータ記憶手段に対応する。

次に、図３を参照して、本発明のキーワード抽出処理の処理アルゴリズムについて説明する。図３に示すフローは、入力文書データからキーワード候補を抽出するアルゴリズムを説明するフロー図である。すなわち、図１に示すキーワード候補抽出手段１０２の実行する処理の詳細を説明するフロー図である。

また図４は、抽出されたキーワード候補から最終的な抽出キーワードを選択するアルゴリズムを説明するフロー図である。すなわち、図１に示す存在確率算手段１０３、および最終抽出キーワード選定手段１０４の実行する処理の詳細を説明するフロー図である。

まず、図３を参照して、キーワード候補抽出手段１０２の実行する処理、すなわち、入力文書データからキーワード候補を抽出する処理の詳細を説明する。

まず、ステップＳ１０１において、データ蓄積手段１０５からキーワードを抽出する任意の２つの文書データを取り出し、取り出した２つの文書データの各々の特定部分データ領域、例えばタイトルデータ領域を抽出する。なお、ここでは、文書データ中の特定部分データ領域としてタイトルデータ領域を抽出し、タイトル中の文字列に対する処理例として説明するが、処理対象とする特定部分データ領域は、必ずしもタイトルとして定義されたデータに限るものではなく、例えば文書データを構成する「見出し語」、文書データを構成する文字列中の最初のｎ文字などを処理対象の特定部分データ領域として抽出して、これらをキーワード抽出処理対象データ領域と設定する構成としてもよい。

処理対象データから容易にタイトルを抽出可能なデータ、例えばＨＴＭＬデータなどの文書データにおいては、タイトルタグによって識別される文字列を、各文書データから抽出する。このようなタグのない文書データについては、最初のｎ文字を抽出する、あるいは、ユーザが入力するタイトル対応の文字列データを適用してもよい。タイトルのない、あるいはタイトル抽出の不可能な文書については、図３に示す処理フローは省略する。ただし、データ蓄積手段１０５への文書データの格納は実行される。これらのタイトル抽出の不可能な文書データについては、後段で説明する図３に示す処理フロー中の存在確率算出処理などにおいて利用される。

なお、図３に示す処理フローは、処理対象となる入力文書データのすべての組み合わせについて行う。以下、説明するステップＳ１０１以下の処理は、その１つの組み合わせ、すなわち、２つの文書データから抽出した２つのタイトルに対応する処理例である。すなわち、キーワード候補抽出手段１０２は、入力文書データのすべての組み合わせについて、図３に示すフローを実行し、キーワード候補の抽出処理を実行する。

ステップＳ１０１において選択した２つの文書データ中のタイトルをＸ，Ｙとする。ステップＳ１０２では、キーワード抽出処理対象となる複数の文書データ各々の特定部分データ領域、すなわち、２つのタイトルＸ，Ｙ中に含まれる文字列の照合処理を実行しタイトルＸ，Ｙ中に含まれる一致文字列領域から選択される最長文字列の集合（最も長く一致する文字列集合）を検索する。

例えば、キーワード抽出対象として、
Ｘ＝「フラワーロックとおもちゃのサイト」というタイトルと、
Ｙ＝「全国のフラワーショップサイトの紹介」というタイトルと、
を選んだ場合は、まず、２つのタイトルＸ，Ｙ中の一致文字列領域から選択される最長文字列の集合［文字列集合Ａ］として、「の」「フラワー」「サイト」の３つの文字列を要素とした集合が検出される。

すなわち、
Ｘ＝「フラワーロックとおもちゃのサイト」というタイトルと、
Ｙ＝「全国のフラワーショップサイトの紹介」というタイトルと、
を選んだ場合の文字列集合Ａは、
文字列集合Ａ＝｛の，フラワー，サイト｝
となる。

なお、「フラワー」の部分集合にあたる「フラ」「ラワー」などの文字列は、一致文字列領域から選択される最長文字列（最も長く一致する文字列）という条件を満たさないため検出されることはない。

ステップＳ１０３では、ステップＳ１０２において検出した文字列集合Ａから文字列をひとつずつ取り出し、文字列Ｓとして設定する。例えば、
文字列集合Ａ＝｛の，フラワー，サイト｝
である場合、
第１番目の文字列Ｓには、
文字列Ｓ＝［の］
として設定される。

ステップＳ１０４では、文字列Ｓの文字数が、あらかじめ定めた規定値よりも少ないか否かを判定する。文字列Ｓの文字数が、あらかじめ定めた規定値よりも少ない場合は、キーワード候補として登録しない。例えば規定値が３であった場合は、上述の文字列集合Ａに含まれる文字列「の」「フラワー」「サイト」のうち、「の」がキーワード候補から外れる。

ステップＳ１０５では、文字列Ｓが既出のキーワード候補Ｋと包含関係にないか判定を行う。例えばすでにキーワード候補Ｋとして「フラワーズ」という文字列が登録されていた場合（キーワード候補格納部１０６に格納済みである場合）、文字列Ｓ＝「フラワー」は、キーワード候補Ｋ＝「フラワーズ」に含まれる文字列、すなわち包含関係にあるため、ステップＳ１０５の判定はＹｅｓとなり、後述のステップＳ１０８に進む。

包含関係にある文字列とは、文字列Ａと文字列Ｂの各構成文字列を比較した場合、一方の構成文字列がすべて他方の構成文字列に含まれる関係をいう。

ステップＳ１０５において、文字列Ｓが既出のキーワード候補Ｋと包含関係にないと判定した場合は、ステップＳ１０５の判定はＮｏとなり、ステップＳ１０６に進み、文字列Ｓはキーワード候補として登録される。すなわち、文字列Ｓは、キーワード候補として、図１に示すキーワード候補格納部１０６に格納される。

ステップＳ１０５の判定がＹｅｓ、すなわち、文字列Ｓが既出のキーワード候補Ｋと包含関係にあると判定した場合は、ステップＳ１０８に進み、文字列Ｓと包含関係にあると判定されたキーワード候補格納部１０６に格納済みのキーワード候補Ｋと、文字列Ｓとの文字列の長さの比較を行う。

文字列Ｓの文字列長が、キーワード候補Ｋの文字列長より短い場合、すなわち、
Ｓの文字列長≧Ｋの文字列長
が否定される場合（ステップＳ１０８：Ｎｏ）
にのみ、ステップＳ１０９に進み、文字列Ｓをキーワード候補Ｋに置き換えてキーワード候補として登録する。この置き換え処理において、文字列Ｓは、キーワード候補として、図１に示すキーワード候補格納部１０６に格納され、キーワード候補Ｋは、キーワード候補格納部１０６から削除される。

Ｓの文字列長≧Ｋの文字列長
が肯定される場合（ステップＳ１０８：Ｙｅｓ）
には、文字列Ｓは、キーワード候補として登録することなく、キーワード候補Ｋのキーワード候補格納部１０６への格納状態を維持する。

このように、包含関係にある場合は、より短い文字列長の文字列が、キーワード候補として選択し、登録する。

前述の例、すなわち、
文字列Ｓ＝「フラワー」
キーワード候補Ｋ＝「フラワーズ」
の場合は、
キーワード候補Ｋ＝「フラワーズ」がキーワード候補格納部１０６から削除され、文字列Ｓ＝「フラワー」が新たに、キーワード候補としてキーワード候補格納部１０６に格納される。

ステップＳ１０７では、文字列集合Ａに含まれる文字列についての処理がすべて実行されたか否かを判定し、未処理文字列がある場合は、ステップＳ１０３以下の処理を未処理文字列について実行し、文字列集合Ａに含まれる文字列についての処理がすべて実行されたことがステップＳ１０７において確認されると処理を終了する。

以上の処理によって、キーワード候補抽出手段１０２の処理が終了する。なお、前述したように、キーワード候補抽出手段１０２は、入力する複数の文書データのすべての組み合わせについて、図３に示すフローを実行し、キーワード候補の抽出処理を実行する。従って、キーワード候補格納部１０６には、入力する複数の文書データのすべての組み合わせについて、図３に示すフローに従って抽出されたキーワード候補が格納されることになる。

次に、図４を参照して、抽出キーワード候補から最終的な抽出キーワードを選択するアルゴリズムについて説明する。この図４に示す処理フローは、図１に示す存在確率算手段１０３、および最終抽出キーワード選定手段１０４が実行する処理である。

なお、図４に示す処理は、キーワード候補格納部１０６に格納されたキーワード候補Ｋについて、順次実行する処理である。

まず、図１に示す存在確率算手段１０３は、ステップＳ２０１において、キーワード候補格納部１０６に格納された１つのキーワード候補Ｋを取り出し、キーワード候補Ｋが、処理対象文書データ、すなわち、図１に示すデータ蓄積手段１０５に格納された文書データの各々に存在している（使用されている）か否かを調べる。

ここで、存在有無の調査対象となる文書データは、データ蓄積手段１０５に格納された文書データであり、タイトルの抽出不可能な文書データも含むデータである。例えば５０の文書データがデータ蓄積手段１０５に格納されている場合は、５０の文書データの各々について、キーワード候補Ｋが使用されているか否かを調べる。

ただし、データ蓄積手段１０５に格納されている文書数が大量である場合は、蓄積文書データから無作為に抽出した所定数の文書データのみを、キーワード候補Ｋの存在有無の調査対象として選択してもよい。

なお、ここではより高速な処理を行うため、キーワード候補Ｋが、データ蓄積手段１０５に格納されている文書データ中に含まれるか否かの存在の有無、すなわち、文書データ内に含まれる確率としてのキーワード存在確率のみを調べる処理例としているが、キーワード候補Ｋが、データ蓄積手段１０５に格納されている文書データ中に出現する頻度、すなわち出現頻度を調べる構成としてもよい。

ステップＳ２０２でキーワード候補Ｋについての出現確率Ｒを計算する。出現確率Ｒは、
出現確率Ｒ＝キーワード候補Ｋを含んでいた文章数／検索対象とした文章数
という式で計算される。

たとえば、
検索対象とした文章数＝５０
キーワード候補Ｋを含んでいた文章数＝２５
の場合は、
出現確率Ｒ＝２５／５０＝０．５
と計算される。

続くステップＳ２０３、Ｓ２０４、Ｓ２０５の処理は、最終抽出キーワード選定手段１０４が実行する処理である。まず、ステップＳ２０３では、キーワード候補Ｋの存在確率Ｒが予め定めた上限閾値［Ｌｍａｘ］以上であるかが判定され、ステップＳ２０４では、キーワード候補Ｋの存在確率Ｒが予め定めた下限閾値［Ｌｍｉｎ］以下であるかが判定される。

存在確率Ｒが、予め定めた上限閾値［Ｌｍａｘ］以上である場合、または、
存在確率Ｒが、予め定めた下限閾値［Ｌｍｉｎ］以下である場合、
には、このキーワード候補Ｋを最終的な抽出キーワードとして登録することなく処理を終了する。

キーワード候補Ｋの存在確率Ｒが、許容確率を持つ場合、すなわち、下記条件、
下限閾値［Ｌｍｉｎ］＜存在確率Ｒ＜上限閾値［Ｌｍａｘ］
を満足する場合にのみ、ステップＳ２０５に進み、キーワード候補Ｋを最終的な抽出キーワードとして登録する。すなわち、図１に示す抽出キーワード格納部１０７に最終的な抽出キーワードとして格納する。

例えば許容確率が３％〜５０％で、
「フラワー」という候補の存在確率が５％、
「サイト」というキーワード候補の存在確率が６０％
であった場合は、
「フラワー」のみが最終的な抽出キーワードとして採用され、抽出キーワード格納部１０７に格納される。

以上の処理により、入力され、データ蓄積手段１０５に格納された複数の文書データを処理対象としたキーワード抽出処理が終了し、最終的な抽出キーワードが抽出キーワード格納部１０７に格納されることになる。

上述したように、本発明によるキーワード抽出処理は、各文書データのタイトルデータのみを対象としたキーワード検索を実行し、さらに文字列比較による絞込みを行なってキーワード候補を選定し、その限られたキーワード候補について、文書データ中の存在確率を算出し、存在確率が許容確率にある場合にのみ、キーワードとして登録する処理を実行する構成である。

本発明によるキーワード抽出処理は、例えば全文検索に基づく出現頻度算出処理を必要とするような従来のキーワード選定技術に比べて高速なキーワード検出が可能となる。従って、入力された文章からリアルタイムにキーワードを取り出し、取り出したキーワードに基づいて検索等の処理を行うといったことが可能であり、例えば自由文章入力方式の検索システムへの応用が可能である。

また、本発明によるキーワード抽出処理は、前提とする知識を一切必要としないため、抽出されたキーワードを、未知の言語の解読の補助材料として使用するといった応用も可能である。

なお、前述したように、図４を参照して説明した実施例では、より高速な処理を行うため、キーワード候補Ｋの存在の有無のみを調べる処理としているが、必要に応じて出現頻度を調べる構成としてもよい。

すなわち、キーワード候補抽出手段１０２において抽出したキーワード候補Ｋが、キーワード抽出処理対象となる複数の文書データ内に出現する頻度を検出し、キーワード選定手段１０３は、キーワード出現頻度が、予め定めた許容値を満足する場合に、そのキーワード候補を抽出キーワードとして登録する処理を実行する。

キーワード出現頻度は、例えば予め定めた一定のデータ量のデータ領域内にそのキーワード候補が、何回出現するかをカウントすることによって計測される。このような出現頻度の検出によって、キーワード候補からの最終抽出キーワードの選定を行なう構成としてもよい。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。

なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、キーワードの抽出処理において、キーワード抽出処理対象となる複数の文書データ各々のタイトル等の特定部分データ領域のみを対象とした文字列の照合処理を実行し、さらに文字列長や、包含関係判定などによる絞込みを行なってキーワード候補を選定し、その限られたキーワード候補について、文書データ中の存在確率を算出し、存在確率が許容確率にある場合にのみ、キーワードとして登録する処理を実行する構成としたので、例えば全文検索に基づく出現頻度算出処理を必要とするような従来のキーワード選定技術に比べて高速なキーワード抽出が可能となる。従って、例えば、入力された文章からリアルタイムにキーワードを取り出し、取り出したキーワードに基づいて新たな文書検索処理を行うといった処理に適用可能であり、自由文章入力方式の検索システムなどへの応用も可能となる。

また、本発明によるキーワード抽出処理は、前提とする知識を一切必要としない構成であり、キーワード抽出処理対象となる文書データを入力するのみで、何らの事前知識を持たないユーザであっても容易にキーワードの抽出が可能となる。従って、例えば未知の言語の解読の補助材料として使用するといった応用も可能となる。

本発明のキーワード抽出装置の構成を示すブロック図である。 本発明のキーワード抽出装置に適用可能な情報処理装置の構成を示す図である。 本発明のキーワード抽出処理におけるキーワード候補抽出アルゴリズムについて説明するフロー図である。 本発明のキーワード抽出処理におけるキーワード候補から最終抽出キーワードを選定する処理アルゴリズムについて説明するフロー図である。

符号の説明

１０１ 入力手段
１０２ キーワード候補抽出手段
１０３ 存在確率算出手段
１０４ 最終抽出キーワード選定手段
１０５ データ蓄積手段
１０６ キーワード候補格納部
１０７ キーワード格納部
３０１ ＣＰＵ(Central Processing Unit)
３０２ ＲＯＭ(Read Only Memory)
３０３ ＲＡＭ（Random Access Memory）
３０４ ＨＤＤ
３０５ バス
３０６ 入出力インタフェース
３０７ 入力部
３０８ 出力部
３０９ 通信部
３１０ ドライブ
３１１ リムーバブル記録媒体

Claims (17)

1. 文書データからキーワードを抽出する処理を実行するキーワード抽出装置であり、
   キーワード抽出処理対象となる複数の文書データ各々の特定部分データ領域に含まれる文字列の照合処理を実行し、一致する文字列をキーワード候補として抽出するキーワード候補抽出手段と、
   前記キーワード候補抽出手段において抽出したキーワード候補が、キーワード抽出処理対象となる複数の文書データ内に含まれる確率としてのキーワード存在確率を算出する存在確率算出手段と、
   前記存在確率算出手段において算出したキーワード存在確率が、予め定めた許容値を満足する場合に、該キーワード候補を抽出キーワードとして登録するキーワード選定手段と、
   を有することを特徴とするキーワード抽出装置。
2. 前記特定部分データ領域は、文書データにおけるタイトル領域であり、
   前記キーワード候補抽出手段は、
   キーワード抽出処理対象となる複数の文書データ各々のタイトル領域に含まれる文字列の照合処理を実行し、一致する文字列をキーワード候補として抽出する処理を実行する構成であることを特徴とする請求項１に記載のキーワード抽出装置。
3. 前記キーワード候補抽出手段は、
   キーワード抽出処理対象となる複数の文書データ各々の特定部分データ領域に含まれる文字列の照合処理を実行し、一致文字列領域から選択される最長文字列をキーワード候補として抽出する処理を実行する構成であることを特徴とする請求項１に記載のキーワード抽出装置。
4. 前記キーワード候補抽出手段は、
   キーワード抽出処理対象となる複数の文書データ各々の特定部分データ領域に含まれる文字列の照合処理を実行し、一致する文字列であり、かつ、予め定めた規定長以上の文字列のみをキーワード候補として抽出する処理を実行する構成であることを特徴とする請求項１に記載のキーワード抽出装置。
5. 存在確率算出手段は、
   前記キーワード候補抽出手段において抽出したキーワード候補が、キーワード抽出処理対象となる複数の文書データ内に出現する頻度を検出し、
   前記キーワード選定手段は、
   前記存在確率算出手段において算出したキーワード出現頻度が、予め定めた許容値を満足する場合に、該キーワード候補を抽出キーワードとして登録する処理を実行する構成であることを特徴とする請求項１に記載のキーワード抽出装置。
6. 前記キーワード選定手段は、
   前記存在確率算出手段において算出したキーワード出現頻度が、予め定めた下限許容値から上限許容値の範囲内にあることを条件として、該キーワード候補を抽出キーワードとして登録する処理を実行する構成であることを特徴とする請求項１に記載のキーワード抽出装置。
7. 前記キーワード候補抽出手段は、
   前記照合処理により抽出した文字列と、既に抽出済みのキーワード候補との２つの文字列の一方が、他方の文字列を含む包含関係にあるか否かを判定し、包含関係にある場合に、文字列長の短い文字列のみをキーワード候補として選択する処理を実行する構成であることを特徴とする請求項１に記載のキーワード抽出装置。
8. 前記キーワード抽出装置は、さらに、
   キーワード抽出処理対象となる複数の文書データを格納するデータ蓄積手段と、
   抽出キーワードを格納する抽出キーワード格納部と、
   を有する構成であることを特徴とする請求項１に記載のキーワード抽出装置。
9. 文書データからキーワードを抽出する処理を実行するキーワード抽出方法であり、
   キーワード抽出処理対象となる複数の文書データ各々の特定部分データ領域に含まれる文字列の照合処理を実行し、一致する文字列をキーワード候補として抽出するキーワード候補抽出ステップと、
   前記キーワード候補抽出ステップにおいて抽出したキーワード候補が、キーワード抽出処理対象となる複数の文書データ内に含まれる確率としてのキーワード存在確率を算出する存在確率算出ステップと、
   前記存在確率算出ステップにおいて算出したキーワード存在確率が、予め定めた許容値を満足する場合に、該キーワード候補を抽出キーワードとして登録するキーワード選定ステップと、
   を有することを特徴とするキーワード抽出方法。
10. 前記特定部分データ領域は、文書データにおけるタイトル領域であり、
    前記キーワード候補抽出ステップは、
    キーワード抽出処理対象となる複数の文書データ各々のタイトル領域に含まれる文字列の照合処理を実行し、一致する文字列をキーワード候補として抽出する処理を実行するステップであることを特徴とする請求項９に記載のキーワード抽出方法。
11. 前記キーワード候補抽出ステップは、
    キーワード抽出処理対象となる複数の文書データ各々の特定部分データ領域に含まれる文字列の照合処理を実行し、一致文字列領域から選択される最長文字列をキーワード候補として抽出する処理を実行するステップであることを特徴とする請求項９に記載のキーワード抽出方法。
12. 前記キーワード候補抽出ステップは、
    キーワード抽出処理対象となる複数の文書データ各々の特定部分データ領域に含まれる文字列の照合処理を実行し、一致する文字列であり、かつ、予め定めた規定長以上の文字列のみをキーワード候補として抽出する処理を実行するステップであることを特徴とする請求項９に記載のキーワード抽出方法。
13. 存在確率算出ステップは、
    前記キーワード候補抽出ステップにおいて抽出したキーワード候補が、キーワード抽出処理対象となる複数の文書データ内に出現する頻度を検出するステップであり、
    前記キーワード選定ステップは、
    前記存在確率算出ステップにおいて算出したキーワード出現頻度が、予め定めた許容値を満足する場合に、該キーワード候補を抽出キーワードとして登録する処理を実行するステップであることを特徴とする請求項９に記載のキーワード抽出方法。
14. 前記キーワード選定ステップは、
    前記存在確率算出ステップにおいて算出したキーワード出現頻度が、予め定めた下限許容値から上限許容値の範囲内にあることを条件として、該キーワード候補を抽出キーワードとして登録する処理を実行するステップであることを特徴とする請求項９に記載のキーワード抽出方法。
15. 前記キーワード候補抽出ステップは、
    前記照合処理により抽出した文字列と、既に抽出済みのキーワード候補との２つの文字列の一方が、他方の文字列を含む包含関係にあるか否かを判定し、包含関係にある場合に、文字列長の短い文字列のみをキーワード候補として選択する処理を実行するステップであることを特徴とする請求項９に記載のキーワード抽出方法。
16. 前記キーワード抽出方法は、さらに、
    抽出キーワードを格納する抽出キーワード格納ステップを有することを特徴とする請求項９に記載のキーワード抽出方法。
17. 文書データからキーワードを抽出する処理を実行するコンピュータ・プログラムであり、
    キーワード抽出処理対象となる複数の文書データ各々の特定部分データ領域に含まれる文字列の照合処理を実行し、一致する文字列をキーワード候補として抽出するキーワード候補抽出ステップと、
    前記キーワード候補抽出ステップにおいて抽出したキーワード候補が、キーワード抽出処理対象となる複数の文書データ内に含まれる確率としてのキーワード存在確率を算出する存在確率算出ステップと、
    前記存在確率算出ステップにおいて算出したキーワード存在確率が、予め定めた許容値を満足する場合に、該キーワード候補を抽出キーワードとして登録するキーワード選定ステップと、
    を有することを特徴とするコンピュータ・プログラム。

Images