JP2009514076A - テキスト表現の類似性を定量化するコンピュータを用いた自動類似度計算システム - Google Patents

Abstract

【課題】本発明はコンピュータを用いてテキスト表現の類似度を自動的に重み付けする装置および方法に関する。
【解決手段】本発明によるシステムまたは方法は、（１）文書データ保存部と、（２）候補表現メモリ部と、（３）類似度重み値計算部を備える。類似度重み値ａｇｗ（ｔ_１、ｔ_２）は、個々の表現ペアについて、表現ペアをなす二つの表現がいくつかのテキストセグメントからなる集合内の同じテキストセグメントにおいて共起する総頻度と、このテキストセグメントの集合における異なる文脈表現の総数の両方を考慮に入れた類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）に基づいて算出される。
【選択図】図４

Description

本発明は、デジタル形式で保存された一つまたはいくつかのテキスト文書由来のテキスト表現（以下「表現」と略する）の意味類似度をコンピュータを用いて自動的にペア単位で調べることのできるシステムおよび対応する類似度計算方法に関する。

したがって、本発明はコンピュータを用いた自動的な情報の構築の分野、特にコンピュータを用いたシソーラスの構築および／またはオントロジーの構築の分野に用いることができる。

まず、下記で使用するいくつかの言葉を以下に定義する。この他の言葉についても、必要に応じて以下の説明中の該当する箇所で定義していく。

まず、「表現」（同意語：「言葉」または「概念」）あるいは「テキスト表現」という言葉は、全体が一つの単語またはいくつかの単語（テキスト中の一語表現または多語表現）からなるひとつながりの文字を指すものとする。ここでの「単語」は空白文字あるいは句読記号で区切られた文字列を指す。類似度は一組つまり二つのこのような表現について決定できる。ここでの「類似度」は与えられた意味関係（「意味論」：自然言語の意味）を意味する。このような二つの言葉すなわち二つの表現間の類似性は統計的手法(二つの表現間の類似度の計算）を用いて定量できる。以下、「類似度」とはこの意味関係を表しかつ以降「類似度重み値」とも称される統計的な指標数を意味する。この値は文献においては「類似尺度」とも称される。表現間の「関係」すなわち「（連合）関係」という言葉もこの「類似度」という言葉と同義語として用いる。

以下「シソーラス」とは、表現すなわち言葉の集合であって、この表現間の関係すなわち類似度の集合を含めたものとする。手動であるいは自動的に作成されたシソーラスが複数存在している。シソーラスは、上記関係つまり連合関係を多数の文書の集りあるいは編集物（集り：個別のテキスト文書の集合）内の個々のテキスト文書またはこの文書内の個々のセクション、文章あるいは文章の部分における単語の共起性から導き出すことによって自動作成される。個々の言葉の出現を調べる対象となるこれらのテキスト部分つまりセクションは、以下テキストセグメントとも称する。したがってこのようなテキストセグメントは、例えばテキスト文書全体、この文書の一つのセクション、あるいはある規定数の連続した個別の単語を含むワードウィンドウを含んでもよい。このようなシソーラスは（シンプルな）オントロジーの記述、すなわち構造化知識ベースとみなすこともできる。

自動的にシソーラスを構築する工程は三つの過程に分けられる：
１．語彙の構築すなわち表現の選択
２．選択された語彙の表現ペア間の統計的な類似度の計算
３．語彙の組織化すなわち構造化（クラスタリング）

ここで本発明はポイント２、すなわち言葉のペア間の統計的な類似度の計算に関する。

この集りの個々のテキスト文書に前処理（正規化）を行うことは、特に語彙の選択にとって有益であるだけでなく、あるテキストセグメント中である表現が出現しているかいないかの判断にも有益である。この表現の正規化は基本的に二つのパート、つまりストップワードの削除と基本形への還元を通じて行われる。ストップワードの削除では、基本的に形容詞と副詞、前置詞と冠詞、数字と非常に一般的な単語（ａｎｄやｏｒなど）がテキスト文書から取り除かれる。必要な場合は固有名詞を取り除くこともできる。語幹への還元では、個々の表現つまり単語はその語幹に還元される。その結果、派生（元の単語から新しい単語を形成すること）語および語形変化（単語の曲用あるいは活用）した語がその語幹の下にまとめられる。以下、「語幹への還元」は「基本形への還元」すなわち「屈折語尾の削除」と同義に用いることとする（以降異なる派生語の還元は行わず、また考慮もしない）。

それぞれの表現ペアすなわち二つの表現間の統計的な類似度の計算が、自動的なシソーリ作成における要点である。したがって、対応する計算方法は従来技術にすでに存在している。方法の第１のグループはテキストセグメントにおける表現の出現頻度に基づいた方法である。このグループを以降「出現に基づく計算方法（英語：ｏｃｃｕｒｒｅｎｃｅ）」と呼ぶ。これらの方法はテキストセグメント中の一つの表現ペア中の二つの表現の共起に基づいているが、この表現ペアが出現する文脈の実際の内容は考慮していない。以降、「文脈」という言葉、すなわちある言語単位つまり表現の前後のテキスト（すなわち表現が出現する意味の文脈）、を「テキストセグメント」（すなわち表現あるいは表現ペアの出現つまり存在の有無が調べられるテキストの、決められたセクション）と同義として用いる。

したがって、最近の方法では表現が含まれる文脈の実際の内容を合わせて考慮する試みが行われている。以降、「内容（ｃｏｎｔｅｎｔ）」または表現の内容環境とは、一つのテキストセグメントまたはテキストセグメントの集合において特定の表現と共起する表現の集合または数を意味するものとする。内容に基づいた従来技術のこの方法の欠点は、重要すなわち本質的な内容と、無関係すなわち本質的でない内容を区別できない点にある。以下の記述では、従来技術のこれらの問題をより詳細に論じる。

上述した従来技術の問題のために、表現ペア間の統計的な類似関係の判断、すなわち類似度重み値の計算は不満足な方法でしか行われていない。このため、意味類似性が存在する表現ペアであるにも関わらずこのペアに低い類似度重み値が誤って割り当てられてしまう場合や、また逆に意味類似性が非常に薄いあるいは全く存在しない表現ペアに高すぎる類似度重み値が誤って割り当てられてしまう場合が少なからずある。

したがって本発明の目的は、表現ペア間の類似度重み値を改良された方法で計算することができ、統計的に決定されるこの表現ペア間の類似度重み値が表現ペアの二つの表現の意味の実際の類似性をより反映する、装置および方法を提供することにある。

この目的は請求項１に記載の類似度計算システムにより達成され、また請求項３１に記載の類似度計算方法によっても達成される。本発明による類似度計算システムの有利な実施の形態および対応する計算方法が各独立請求項に述べられている。

本発明の目的は、二つの表現ｔ_１、ｔ_２（表現ペア（ｔ_１、ｔ_２））に対して改良された類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）を与えることで達成される。この類似尺度はテキストセグメント内のこの二つの表現の共起とこのテキストセグメント内の異なる文脈表現の数（文脈表現とは、少なくとも一つのテキストセグメントでｔ_１とともに出現しかつ少なくとも一つの他のテキストセグメントでｔ_２とともに出現しているが、ｔ_１とｔ_２のいずれとも一致しない表現である）の両方を考慮に入れたものである。本発明によるこの類似尺度ｏｃｃ＿ｃｏｎは出現および内容文脈（ｏｃｃは出現を表し、ｃｏｎは内容を表す）を組み合わせるもので、表現ペアの類似度重み値ａｇｗ（ｔ_１、ｔ_２）の計算に使用される。

以下に詳述するように、本発明によるこの類似尺度はコサイン類似度重み付けやＰＭＩ（相互情報量）類似度重み付けなどの従来技術による類似度重み付けに用いることができる。しかし、本発明の本質をなす特徴は、本発明による類似尺度、特にいくつかの個別の重み値の積に基づいた重み付けｒｅｌ＿ｃｏｍｂを用いて計算される新しい類似度重み付けつまり類似度重み値を可能にした点にある。ｒｅｌ＿ｃｏｍｂについては以下に詳述する。この点については、後述の実施の形態でより詳細に説明する。

本発明による類似尺度および本発明による類似度重み値あるいは本発明による類似度計算システム／方法は最先端の技術と比して非常に優れている。本発明による類似尺度を用いて計算された本発明の類似度重み値を用いた場合、従来技術の文書ベースの出現に基づいた方法よりもＦ値で７０％改善した結果が得られることが実験により示されている。

コンピュータを用いた自動類似度計算システムまたは対応する類似度計算方法は、以下の例で詳細に説明するように実行あるいは使用できる。

以下の実施の形態の説明は、大まかには二つのセクションに分かれている。まず、従来技術による基本的な方法、従来技術で既知の類似度重み付け、またそれらの問題点について示す。続く二番目のセクションでは、本発明による類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）をどのように計算するか、および本発明による類似度重み値つまり重み付けａｇｗ（ｔ_１、ｔ_２）をどのように計算するかを説明する。

テキストの集りの統計分析に基づいた表現間の類似度すなわち関係の決定は多くの用途に重要なものであり、特に自動シソーラス構築の分野あるいは情報検索（ＩＲ）の分野において重要である。これらの方法はすべて、類似度重み値を用いて定量化される表現の共通文脈の特定の言葉（または特定の概念）に基づいている。表現の個々の文脈をその共通文脈（すなわちあるテキストセグメント内で両者が共起する場合のみの出現）と比較する。類似度重み値が高いとは、表現ペア（ｔ_１、ｔ_２）の二つの表現ｔ_１、ｔ_２間に意味関係が存在することを意味する。既知の類似度重み値はどれも特定のタスクにのみ有利に用いることができるが、その一方で他のタスクにはあまり適していない。本発明は、特に自動的なシソーラスの作成に最適化された類似尺度の導出、およびこの尺度を用いてこのタスクに最適化された類似度重み値の計算に関する。

以下、基本的に与えられたテキストの集りに重要な表現はすでに指定されており、本発明は特にこの指定された表現の集合（以下候補表現ｔ_ｉの集合と称する場合もある）内の表現ペアの最適化された類似度重み値の算出にのみ関わると前提する。この候補表現の集合は、例えば以下の文献に示される選択アルゴリズムに基づいて候補表現選択部により編纂される。L. Chen, U. Thiel, M. L'Abbate著「Automatic Thesaurus Production and Query Expansion in an E-commerce Application」 Proceedings 8th International Symposium for Information Technology, 2002、181〜199頁 (以下「文献１」）。

以下、まず最先端の方法による類似度重み付けの概略を説明する。次に最先端の技術で既知の、非常に重要な二つの共通文脈の項について論じる。続けて関連する確率の形式でこれら既知の二つの共通文脈の項を説明する。後者は特に本発明による類似尺度ｏｃｃ＿ｃｏｎに基づいた、本発明による有利な類似度重み値ａｇｗ（ｔ_１、ｔ_２）の導出の準備となる。後者の導出の詳細については、後続のセクションで示す。まず本発明による共通文脈の新しい項の導入を説明し、それは本発明による類似尺度に直接つながる。その後に本発明による類似度重み付け、特に組合せ類似度重み付け形式での類似度重み付けを説明する。最後に、本発明による組合せ類似度重み付けの利点を最先端の類似度重み付けと比較して示すセクションが続く。後者は自動的に決定される関係すなわち類似度重み付けと黄金標準シソーラスの比較によって行う。

最先端の技術による統計的な類似性の定量化
ａ）類似度重み付け
二つの表現すなわち言葉の意味類似関係は、通常その言葉の共通特性に基づいている。類似関係の統計的な定量化は、文脈、言い換えるとテキストの集りやテキスト本文内でのある表現の前後のテキストやこの表現が出現するつながり、を特性としてみなすという原則を利用して行う。（一つの）表現の文脈は、その表現が個別に出現するすべてのテキストセグメントの集合（もしくは数）と定義することができる。二つの表現の共通文脈は、その二つの表現が共に（すなわち同一のテキストセグメントに）出現するすべてのテキストセグメントの集合（もしくは数）と定義することができる。前述の二つの定義は最新技術の出現に基づいた方法、つまり言葉の共起を分析する方法と関係している。ここで、個々のテキストセグメントの内容は考慮されない。これとは逆に、最新技術の内容に基づいた方法では、既に説明したように、テキストセグメント内の調査対象の表現の周辺で出現する内容（すなわちそのテキストセグメント内の他の表現）を用いる。後者の方法の場合、共通文脈は、（調査対象のテキストセグメントの集合に対して）一つのテキストセグメントで表現ペア（ｔ_１、ｔ_２）の第１の表現ｔ_１と少なくとも一回共起しかつある一つのテキストセグメントで表現ペアの第２の表現ｔ_２と少なくとも一回共起する表現の論理積（またはこの論理積内の対応する表現数）として与えられる。以下、第１の文脈の定義を出現文脈と称し、第２の文脈の定義を内容文脈と称する。

表現ペアの類似性の定量用の類似度重み付けの最先端の方法がいくつか知られている。例として、コサイン係数ＣＯＳやいわゆるｄｉｃｅ係数ＤＩＣＥ（L.R. Dice著「Measures of the Amount of Ecologic Association between Species」 J. of Ecology, 26, 297〜302頁）やＪＡＣＣＡＲＤ係数ＪＡＣ（例えばVan Rijsbergen著「Information Retrieval 2nd Edition」1979参照）や相互情報量ＰＭＩ(Pointwise Mutual Information)（K. Church等著「Word Association Norms, Mutual Information and Lexicography」Computational Linguistics, 16. 1, 22〜29頁, 1990参照）を使用した方法が挙げられる。これらの表現ペア（ｔ_１、ｔ_２）の類似度重み値は、図１Ａに示すように、通常分割表で示される四通りの組合せによって表すことができる。ここで、ｔ_ｉと¬ｔ_ｉは一つの文脈での文脈表現ｔ_ｉ（ｉ＝１、２）有りまたは無しを示す。ｆ_ｔ１、ｔ_２は両方の表現ｔ_１、ｔ_２が文脈つまりテキストセグメントで共起する頻度を表す。ｆ_¬ｔ１、ｆ_２およびｆ_ｔ１、ｆ_¬ｔ２は二つの表現の一方のみが文脈つまりテキストセグメントで出現する頻度を表す。最後に、ｆ_¬ｔ１、_¬ｔ２は二つの表現のいずれも文脈つまりテキストセグメントに出現しない頻度を表す。Ｎは考慮対象のテキストセグメントの総数を示す（Ｎ＝ｆ_ｔ１＋ｆ_¬ｔ１＝ｆ_ｔ２＋ｆ_¬ｔ２）。例えば文章全体がテキストセグメントとして選択され、考慮対象の文書の集りが１０^５個の異なる文章を含む場合、ｔ_１＝「猫」に対してｆ_ｔ１＝１０とは、「猫」が１０^５個の文章の中の１０個のテキストセグメントつまり１０個の文章に出現していることを意味する。このときｆ_¬ｔ１は９９９０である。例えばｔ_２＝「犬」に対してｆ_ｔ２＝２０、ｆ_ｔ１，_ｔ２＝３とは、表現ペア（ｔ_１、ｔ_２）＝（「猫」、「犬」）が１０^５個の文章中の３個の文章で共起していることを意味する。

図１ＢはＣＯＳ、ＤＩＣＥ、ＪＡＣ、ＰＭＩの各係数がこれらの頻度からどのように計算されるかを示すものである。もちろん、同一のテキストセグメント中の二つの表現の共起を示す頻度ｆ_ｔ１、_ｔ２が、図示されている類似度重み付けの最も重要な因子をなす。

図１Ｂに示される類似度重み付けの式の上から三つ（すなわちＣＯＳ、ＤＩＣＥ、ＪＡＣ）は、用いられる頻度ｆがある表現が出現するテキストセグメントの数だけでなく、ある表現がテキストセグメント内で出現する頻度も各テキストセグメントについて表すように一般化することもできる。例えばＣＯＳ係数は次のように一般化することができる：

ここでｔ_ｉはｔ_１あるいはｔ_２を意味する。出現文脈の場合、「ｆ_{ｃ（ｔ１，ｔ２）}、_ｔｉ」はｔ_１とｔ_２の共通テキストセグメントｃ、すなわちｃ（ｔ_１、ｔ_２）における言葉ｔ_ｉの頻度を表し（ｔ_１とｔ_２の共通テキストセグメントとは、ｔ_１とｔ_２の両方が出現するテキストセグメントのこと）、「ｆ_{ｃ（ｔｉ）}、_ｔｉ」はｔ_ｉのテキストセグメントｃ、つまりｃ（ｔ_ｉ）における言葉ｔ_ｉの頻度を表す（ｔ_ｉのテキストセグメントｃとは、ｔ_ｉが出現するテキストセグメントのことである）。

内容文脈の場合、ｃ（ｔ_１，ｔ_２）は少なくとも一つのテキストセグメントでｔ_１と共起し、かつ（他の）少なくとも一つのテキストセグメントでｔ_２と共起する表現ｃを指す。「ｆ_{ｃ（ｔ１、ｔ２）}、_ｔｉ」はｃ（ｔ_１，ｔ_２）とｔ_ｉのすべての共通テキストセグメント内での表現ｃ（ｔ_１，ｔ_２）の総頻度を表す。ｃ（ｔ_ｉ）は少なくとも一つのテキストセグメントでｔ_ｉと共起する表現ｃを表す。「ｆ_{ｃ（ｔｉ）}、_ｔｉ」はｃ（ｔ_ｉ）とｔ_ｉのすべての共通テキストセグメント内での表現ｃ（ｔ_ｉ）の総頻度を表す。

以下、ＣＯＳ＿ＡＬＬＧ（ｔ_１、ｔ_２）は二つの表現ｔ_１とｔ_２間の一般化した形でのコサイン距離を表すものとする。

ｂ）条件付き確率モデル：
個別的な文脈と一般的な文脈という異なる項に適用できる条件付き確率モデルを以下に説明する（最先端の技術による出現文脈と内容文脈および本発明による組合せ文脈についても後述する）。

この方法は、一方の表現の他方の表現に対する条件付けの強さ、より一般的に言うと表現ペアの内の表現ｔ_１の個別的な文脈が一般的な文脈（すなわち表現ｔ_１とｔ_２両方の出現）に条件付けられる確かさの大小によって二つの表現間の関係の強さが左右されるという考えに基づいている。これは条件付き確率Ｐ（ｔ_１｜ｔ_２）、つまり表現ｔ_２という条件のもとで（すなわちｔ_２が考慮対象のテキストセグメントで既に出現しているとの条件のもとで）表現ｔ_１が出現する確率によって決定できる。この条件付き確率Ｐ（ｔ_１｜ｔ_２）は、ｔ_１とｔ_２の共通文脈に対する確率Ｐ（ｔ_１，ｔ_２）（すなわちｔ_１とｔ_２が一つのテキストで共起する確率）およびｔ_１が出現またはｔ_１が出現しないｔ_２の文脈の確率Ｐ（ｔ_２）（すなわち考慮対象のテキストセグメント内にｔ_２が出現する確率）から通常通り計算することができる：

ある表現ペア（ｔ_１、ｔ_２）の二つの表現がどの程度相互に依存しているかを決めるには、この条件付き確率を両方向つまり二つの表現それぞれについて乗ずる。その結果、共通条件付き確率が次のように求められる：

ｃ）最先端の技術の出現文脈：
出現文脈は使用されることでもっとも知られている文脈タイプの一つである。（目的）表現ｔの出現文脈はその表現ｔを含むテキストセグメントの集合（または数）として定義される（ここではテキストセグメントにまだ含まれるかも知れない内容あるいは表現は考慮しない）。既に説明したように、例えば文書全体または文書の一部をテキストセグメントとして用いることができる。後者の場合、例えば複数の段落、複数の文章全体、あるいは一定のウィンドウ幅のテキストウィンドウ（すなわち厳密に規定された数の表現を含むテキストセクション）もテキストセグメントとして用いることができる。このとき、大きなテキストセグメント(特に複数の文書全体）は、表現間の関係性を決定する際に通常信頼できる基準とならない、比較的非特異的な文脈を示す。したがって、小さいテキストセグメントを用いた方が有利である。

ウィンドウすなわちテキストセグメントを、目的の言葉すなわち目的の表現ｔ用のウィンドウ（以降「テキストセグメント｜ｔεテキストセグメント」とも称する）と、二つの目的の言葉ｔ_１、ｔ_２用のウィンドウ（以降「テキストセグメント｜ｔ_１、ｔ_２εテキストセグメント」とも称する）からなる二種類のウィンドウすなわちテキストセグメントに分けると有利である。このようなテキストウィンドウの距離の単位、または位置も、常に一つの表現であり、この表現は既に定義したように一つの単語あるいは複数の単語さえ含んでなる。

本実施の形態では、目的の表現およびその右および左にそれぞれ規定数の表現を含んでなるテキストセグメントが用いられる。この規定数はおよそ２０とすると有利である。ちょうど２０とした場合、合計で４１表現のウィンドウ幅となる。目的の表現ｔの上記ウィンドウにおいて、目的の表現ｔのウィンドウは常に文書中の目的の表現ｔの位置に関連付けられ、特定の位置にあるｔのウィンドウは、その位置から左にｎ個および右にｎ個の表現を含んでいる（ただし文書の範囲はウィンドウの両端を超えないことに留意すべきである）。

表現ｔの出現文脈は以下のように定義される：

ここでｏｃｃ（ｔ）は、表現ｔがそれぞれ考慮対象のテキストセグメント内で出現するすべてのテキストセグメントの集合を表す（より正確にはｏｃｃ（ｔ）はこれらのテキストセグメントの数を表す）。表現ｔがあるテキストセグメントで出現する確率はこのようなテキストセグメントの相対数から次のように推定することができる：

ここでＮはテキストの集りの中の全テキストセグメント数を表す。｜ｏｃｃ（ｔ）｜は集合ｏｃｃ（ｔ）の基数すなわちこの集合の要素数を表す。以下、この基数には、表現｜ｏｃｃ（ｔ）｜とその省略形である表現ｏｃｃ（ｔ）のいずれも用いることとする（これは｜ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）｜等の他の基数ついてもあてはまる）。したがって、例えば「ｏｃｃ（ｔ）」がその集合そのものとその基数の省略形のいずれを指しているのかは、それぞれの意味文脈による。

二つの表現ｔ_１とｔ_２の共通文脈はそれぞれｔ_１とｔ_２が共起するテキストセグメントの集合（より正確にはその数で表される）として定義される：

ここで用いられる二つの目的の表現ｔ_１とｔ_２のウィンドウは常に両方の目的の言葉の位置ｐｏｓ（ｔ_１）とｐｏｓ（ｔ_２）に関連付けられ、この二つの目的の言葉間の距離がｎ個の言葉つまり表現を超えることはない。すなわち｜ｐｏｓ（ｔ_１）−ｐｏｓ（ｔ_２）｜≦ｎが成立する。この一般原則を制限することなくｐｏｓ（ｔ_２）＞ｐｏｓ（ｔ_１）と仮定すると、二つの言葉ｔ_１とｔ_２のウィンドウはｐｏｓ（ｔ_２）から左へｎ個の表現分だけ延び、ｐｏｓ（ｔ_１）から右へｎ個の言葉分だけ延びる。

前述した種類のウィンドウ（一つの目的の言葉用のウィンドウと二つの目的の言葉用のウィンドウ）はいずれも動的、すなわち文書上をスライドするように移動可能であるため、重ねることができる。

再び表現ｔ_１とｔ_２の両方が一つのテキストセグメントすなわち共通文脈で共起する（これを以降「ｔ_１ ｗｉｔｈ ｔ_２」と略す）確率は共通テキストセグメントの相対数から推定することができる。

共通の条件付き確率（すなわちこの二つの表現が互いに従属する確率）は以下の式から求められる：

ここで｜・・・｜は、再び対応する集合の基数を表す。

前述したコサイン重み付けに対応する、出現頻度にのみ基づいた類似度重み付けは次のように求められる：

ｄ）最先端の技術による内容文脈：
セクションｃ）で述べたように、出現に基づいた方法の主な問題は、内容（すなわちテキストセグメント内で対象となっている表現ｔ_１とｔ_２と共起する表現）を考慮に入れない点にある。このため、調べる対象となっている表現ｔ_１とｔ_２が同じ内容文脈が複数回共起している（例えばｔ_１とｔ_２がそれぞれ出現する同一の文章が二つある）場合、このペア（ｔ_１、ｔ_２）の類似度重み付けが不適切に大きくなる。この問題を避ける方法の一つが、実際にｔ_１および／またはｔ_２と文脈中で共起する表現を含めて考慮することである。

この方法は、内容文脈を次のように定義することで行う：

ここで、「ｔ_ｃｏｎｗｉｔｈ ｔ」は表現ｔ_ｃｏｎが表現ｔと同じテキストセグメントで共起することを意味する。したがってｃｏｎｔ（ｔ）は、考慮対象のテキストセグメントの集合内の一つのテキストセグメントでそれぞれｔと共起する表現ｔ_ｃｏｎすべての集合（より正確にはその数）を意味する。

したがって、二つの表現ｔ_１とｔ_２の共通内容文脈は以下のように言葉ｔ_１とｔ_２の二つの（個別の）文脈の論理積を用いて定義できる：

上記個別の内容文脈と共通内容文脈の二つの定義は共通条件付き確率の定義にも使用できる：

この定義に文脈の内容も考慮に入れた場合、このペアの二つの言葉ｔ_１とｔ_２が一つのテキスト内では共起しないが同じ文脈表現内ではそれぞれ個別に出現する場合にも、言葉ｔ_１とｔ_２間の関係すなわち類似度が設定できる。こうすることで、例えば考慮対象のテキストセグメントの集合内にテキストセグメント「猫が丘を走り下りる」とテキストセグメント「犬が丘を走り下りる」が出現する場合、たとえ表現「猫」と「犬」が一つのテキストセグメントに共起していなくても表現ｔ_１＝「猫」およびｔ_２＝「犬」間の関係すなわち類似度が導出される。本セクションｄ）で説明したように、特に自動的なシソーラスの構築の分野では、内容にのみ基づいた方法はあまりうまく機能しない。その理由は、一般的な言葉（すなわち比較的広範囲の内容を持つ言葉）は調査対象のテキストセグメント内で多数の表現ｔ_ｃｏｎと共起するが、それらの言葉ｔ_ｃｏｎがこのような一般的な言葉の独特の特徴を何ら示唆できないことにあると推察される。ｔ_１とｔ_２がこのような一般的な言葉であるとすると、少なくともあるテキストセグメント内で第一の一般的な言葉ｔ_１と一回共起しかつ少なくとも他のテキストセグメント内で第二の一般的な言葉ｔ_２と一回共起する表現ｔ_ｃｏｎが多数生じる、言い換えるとｃｏｎ（ｔ_１、ｔ_２）つまり対応する論理積から多数得られることになる。しかし、この場合ｃｏｎ（ｔ_１、ｔ_２）から内容についての意味関係は何も導出されない。上述した例で「男の子が丘を走り下りる」というテキストセグメントが含まれる場合、この言葉のペアの意味類似度が実際には非常に低い場合にも「犬」と「男の子」間に関係性があることになる（「猫」と「男の子」間にも関係性つまり類似度があることになる）。ここでの問題は、内容表現ｔ_ｃｏｎ「丘を走り下りる」は多くの動く物体と共起するため、この内容表現が「男の子」と「猫」間（あるいは「犬」と「男の子」間）に重要な共通の特徴があることを示すものではないということである。

本発明による類似度重み付け
上述の最先端の技術の問題を解決するため、本発明では出現文脈と内容文脈を共通出現および共通内容に基づいた共通文脈の一つの項に組み合わせることを提案している。すなわち、表現ペアの表現ｔ_１とｔ_２の両方がテキストセグメントで共起する総頻度と、このテキストセグメントからなる集合内の異なる文脈表現の総数の両方を考慮に入れて類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）を作成することを提案している。ここでの文脈表現とは、テキストセグメントの集合内の少なくとも一つのテキストセグメントで表現ｔ_１と共起しかつこの集合の他の少なくとも一つのテキストセグメントで表現ｔ_２と共起するが、ｔ_１でもｔ_２でもない（すなわちｔ_１とｔ_２のいずれとも一致しない）表現である。

このような本発明による類似尺度は特に有利であり、以下のように計算される：

このように定義された類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）（基数で表記すると｜ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）｜）は、同一のテキストセグメント内でｔ_１ およびｔ_２と共起するすべての文脈表現ｔ_ｃｏｎの集合（より正確にはその数）に対応する。内容という観点から見ると、この数式の本発明による有利な類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）はｔ_１とｔ_２が共起するテキストセグメントの内容を考慮に含めた内容文脈を表しており、一方出現という観点からは、この数式の指標数によると、二つの対象となっている表現ｔ_１とｔ_２もそれぞれ同一のテキストセグメントで出現している必要がある。前述した出現のみに基づいた共通文脈とは異なり、本発明によるこの有利な類似尺度は出現と内容に基づいており、同じテキストセグメント内でｔ_１とｔ_２と共起する異なる文脈表現ｔ_ｃｏｎのすべてを同じ重要度を持つとして考慮に含める。その際に、ｔ_１とｔ_２のこのような共通文脈が実際に特定のｔ_ｃｏｎと出現する頻度は無視する。したがって同一の内容環境で表現ｔ_１とｔ_２が複数回共起していても、類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）には影響しない（したがってこれをもとに算出される本発明による類似度重み値ａｇｗ（ｔ_１、ｔ_２）も影響を受けない。これについては後述する）。前述した内容にのみ基づいた共通文脈と比較すると、この本発明による有利な類似尺度は一つのテキストセグメントでｔ_１ およびｔ_２と共起する文脈表現ｔ_ｃｏｎを考慮に入れるだけであるため、この類似尺度は、二つの表現ｔ_１とｔ_２の共通の特徴の重要性、すなわち実際に意味類似性が存在することをよりよく示す。

本実施の形態（すなわち前述した類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２））で用いた共通文脈の有利な項を用いて、以下説明する二種類の条件付き確率を計算する（これらの条件付き確率は、それぞれ直接あるいは組み合わせた形で本発明による表現ペアの類似度重み値ａｇｗ（ｔ_１、ｔ_２）の計算に用いられる）：
ａ）上述した類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）を出現文脈を用いて正規化する第一の条件付き確率と、
ｂ）上述した類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）を共通文脈を用いて正規化する第二の条件付き確率

ａ）第一の条件付き確率：
これは、あるテキストセグメントにおいて第一の表現ｔ_１が存在した場合に第二の表現ｔ_２が同じテキストセグメントで共通文脈表現ｔ_ｃｏｎと共起する頻度と、その逆の頻度を測るものである。

この共通条件付き確率は、ｔ_１とｔ_２が同じ（あるいは類似の）内容文脈で複数回共起することによる前述の問題を考慮に入れている。本発明による第一の類似度重み値ａｇｗ（ｔ_１、ｔ_２）を次のように直接求めることにより、最先端の技術による既知のコサイン類似度重み付けＣＯＳとの比較がよりよく行える（最新の技術によるｏｃｃ（ｔ_ｉ）の定義については、前のセクションｃ）参照）：

ｂ）第二の条件付き確率：
これは、二つの表現ｔ_１とｔ_２の両方が別々にある共通文脈の言葉ｔ_ｃｏｎと共起（すなわちｔ_１が第１のテキストセグメントでｔ_ｃｏｎと共起）し、ｔ_２が第二のテキストセグメントでｔ_ｃｏｎと共起するという条件が満たされた場合に、この表現ｔ_１とｔ_２が共起する確率を測るものである。この第二の条件付き確率は次のように定義され、

本発明による類似度重み値ａｇｗ（ｔ_１、ｔ_２）としてこのまま用いることができる（ｃｏｎ（ｔ_１、ｔ_２）の定義については前のセクションｄ）の最先端の技術参照）。こうして計算された類似度重み値ａｇｗ（ｔ_１、ｔ_２）は「アスペクト比（ｔ_１、ｔ_２）」とも呼ばれる。

こうしてＦ２）で計算した条件付き確率は、指標数ｃｏｎ（ｔ_１、ｔ_２）には含まれるが指標数ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）には含まれない共通文脈表現ｔ_ｃｏｎの問題を考慮に入れている。このように計算された類似度重み値（アスペクト比）によって、共通の文脈表現を多く有する傾向のある（その結果ｃｏｎ（ｔ_１、ｔ_２）が大きくなる）一般的な言葉（「月」「星」など）間のみかけの関係性を排除することができる。ここで、このアスペクト比は一般的な言葉と非常に特殊な言葉（例えば「望遠鏡」と「リッチー・クレチアン望遠鏡」など）間に実際に存在する関係性は排除しないという効果がある。後者の効果は、特殊な表現とそれ以外の表現との共通内容文脈は通常比較的低いという事実によるものである。

類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）の正規化において、ｏｃｃ＿ｃｏｎはすでに述べたように一方の観点から見ると二つの表現ｔ_１とｔ_２が共起する総頻度を考慮に入れた出現文脈であり、他方の観点から見ると異なる文脈表現の総数を考慮に入れた内容文脈である。したがって、観点が異なると、ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）を次のように異なる方法で正規化することが考えられる：
１．出現文脈という観点からは、ｏｃｃ＿ｃｏｎは個別の出現文脈、すなわちｏｃｃ（ｔ_１）とｏｃｃ（ｔ_２）で正規化される。

２．内容文脈という観点からは、基本的に更に二通りの正規化が考えられる。：
２．１．ｏｃｃ＿ｃｏｎは個別の内容文脈、すなわちｏｃｃ（ｔ_１）とｏｃｃ（ｔ_２）で正規化される：

２．２．ｏｃｃ＿ｃｏｎはｔ_１とｔ_２の共通内容文脈、すなわちｃｏｎ（ｔ_１、ｔ_２）で正規化され、この場合アスペクト比が得られる。

実験にて確認されたように、１．と２．１．からは関係性の計算で非常に似た結果が得られ、１．からは２．１．よりもややよい結果が得られる。出現文脈ｏｃｃの大きな問題点は、ｔ_１とｔ_２が同じあるいは類似の内容環境で複数回共起する場合、ｔ_１とｔ_２の関係が過大に推定されてしまうことである。この場合、内容環境が似ているため、共通出現の頻度が比較的大きくかつ｜ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）｜、ｃｏｎ（ｔ_１）、ｃｏｎ（ｔ_２）の値が比較的低くなり、その結果｜ｏｃｃ（ｔ_１）｜と｜ｏｃｃ（ｔ_２）｜の値は比較的大きくなる。したがって、後者の三つの集合または基数は異なる文脈表現を少ししか含まない。このように分子と分母が小さい２．１．からは比較的大きな比が得られるが、これは間違っている。反対に、分子が小さく分母が大きな１．の比は常に小さく、これは正しい。２．２．は実は常に２．１．と同じ問題を有するが、前述したように、関係性の計算に２．２．は１．および２．１．とは異なる相関性を用いる。したがって、本発明では１．および２．２．を用いるかあるいは組み合わせている。

これまでに示した内容から、以下の類似度重み値が得られる：

各類似度重み値は、異なる統計方法に基づくかあるいは異なる統計上の裏付けを用いて言葉ｔ_１とｔ_２間の意味関係性の存在を示すものである。

本発明によると、まず類似度重み値Ｆ１あるいは類似度重み値Ｆ２を用いて二つの表現ｔ_１とｔ_２の類似性を定量化する。しかし、本発明によると、Ｆ１×Ｆ２、Ｆ１×Ｆ３、またはＦ２×Ｆ３の組合せの積の一つを類似度重み値ａｇｗ（ｔ_１、ｔ_２）として用いるとより有利である。しかし、本発明によると、これら三つの類似度重み値すべてを組合せた積Ｆ１×Ｆ２×Ｆ３、つまり以下の式を用いると特に有利である：

この三重積の組合せｒｅｌ＿ｃｏｍｂ（ｔ_１、ｔ_２）が有利なのは、特に言葉ｔ_１とｔ_２間に意味関係性が存在することを示すそれぞれの指標について、異なる統計情報を考慮に入れてその関係性を決定しているからである。

本発明による類似度定量化と最先端の技術による類似度定量化の比較
本発明による類似度計算システムは、候補表現ペア（ｔ_ｉ１，ｔ_ｉ２）（ｉ＝１、．．．、ｍ）の設定可能な数ｍ（ｍ≧２である自然数ｍε）を類似度重み値ａｇｗ（ｔ_１、ｔ_２）に基づいて選択することができる目的表現ペア選択部を有しており、有利である。このシステムの重要な要素は既にここまでに説明してある（以降図４を参照してそれぞれの要素についてより正確に説明する）。ここで、ｍ個の候補表現ペアが最大の計算類似度重み値を持つように選択されることが好ましい。これらのｍ個の選択された候補表現ペアは以降「目的表現ペア」と称する場合もある。

本発明による類似度重み値を、このような選択されたｍ個の目的表現ペアの集合を用いて評価することができる。

この評価においてまずは異なる類似度重み付け方法のそれぞれについて比較するため、候補表現ペアの類似度重み値を計算する。ｍ個の目的表現ペアの選択は、特定の指標数よりも類似度重み値が低い候補表現ペアを排除するための閾値の設定とみなすことができる。

完璧な類似度重み付け方法というものは存在しないため、ｍ個の目的の表現の集合がノイズ、すなわち実際には関係性が存在しないにも関わらず誤って高い類似度重み値が与えられる表現ペアを含んでしまうのは避けられない。以下説明する評価の原則は、正確な類似度重み付け方法では実際に存在するつまり関連性がある意味関係に対して不正確な方法よりも高い類似度重み値を設定するので、ｍ個の選択された目的表現ペア中に不正確な類似度重み付け方法の場合よりも多くのペアが意味関係（以降「関連性がある関係」と称する場合もある）を実際に有するという事実に基づいている。

実際に特定の表現ペア（ｔ_ｉ１、ｔ_ｉ２）間に関連性があるか否かは、考慮対象の文書の集りについて手作業で作成したシソーラスと自動比較して評価する。つまり、関連性がある関係であるとみなされた目的表現ペアが、手作業で作成されたシソーラス（黄金標準）内で関連性がある関係と定義されている場合は、正しく分類されている。

類似度重み付け方法の効果は、その精度ＰＲ（ｍ）と合致率Ｒ（ｍ）を、与えられた黄金標準に対する選択された目的表現ペアの個数であるｍの関数として計算することによって評価できる。Ｌが金基準に存在するペア単位の関係の総数、すなわち関連性がある関係の総数と定義した場合、ｍは類似度重み値（ここでは文書中、ペアの両方が黄金標準にも用いられている表現ペアの重み値のみを算出）について対象の方法で選択された目的表現ペアの個数である。ｙ（ｍ）を黄金標準で意味関連性がある関係を持つｍ個の中から選択された目的表現ペアの個数とすると、精度および合致率は次のように定義できる：

Ｆ値（Van Rijsbergen著「Information Retrieval」1979年参照）を用いることで、これら二つの尺度値を一つの尺度値に組合せて記録することができる。

ここでそれぞれ選択されたｍ個の目的表現ペアとそれに関連したＦ値Ｆ（ｍ）を座標にプロットし、異なるＦ（ｍ）カーブを参照することによって異なる類似度重み値を比較することができる。ある類似度重み付け方法の特定の値ｍに対するＦ（ｍ）カーブが他の類似度重み付け方法のＦ（ｍ）カーブよりも上にあるならば、この方法はこの値ｍに関してより正確な方法である。

以降示す比較の結果は、次のようにして得たものである：
・テキストの集りとして、天文学分野の約８０００個のテキスト文書を用いた。このテキスト文書には前述した前処理を行った。
・手作業で作成した約２９００個の個別の言葉を含む天文学のシソーラスを黄金標準として用いた。
・自動的なシソーラスの構築で通常行われるように、第一のステップで適切な表現選択方法を用いて（例えば参考文献１に記述されているように）適切な重み値を各表現に割り当て、それらについて類似度重み値ａｇｗ（ｔ_１、ｔ_２）をペア単位で計算することによって候補表現ｔ_ｉの集合を選択するのではなく、黄金標準表現のペアは、各ペアの表現ｔ_１とｔ_２の両方がそれぞれテキストの集りのうち少なくとも三つの文書で共起するような、簡単な方法で決定された。この結果、約４００００の候補表現ペアが作成された。関連性がある関係（Ｌ＝７４３）が黄金標準シソーラス内の候補表現の７４３個に割り当てられた。類似度重み付け方法の比較の対象は、選択されたｍ個の、もっとも高い重み付けをされた目的表現ペア（ｔ_ｉ１、ｔ_ｉ２）のうち黄金標準で関連性がある関係に割り当てられたｙ個のペアに属するものがいくつあるかで表される（したがってｍは１〜４００００の範囲内の値を取りうる）。異なる類似度重み付け方法による黄金標準の関連性がある関係の抽出は次のセクションで再現される。

図２は最先端の技術で既知のＰＭＩ重み付け方法の、異なる方法による結果を示す。方法が異なると、個々の頻度ｆの計算の種類も異なる。例えば図２Ａの１行目で示した方法の例では、本発明による類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）を用いて頻度ｆ_ｔ１、_ｔ２を計算した一方、言葉ｔ_１またはｔ_２の個別の文脈の頻度は上述したｏｃｃ（ｔ_ｉ）値（ｉ＝１、２）を用いて計算した。これに対し、２行目に示した方法では、共通文脈は例えば最先端の技術による指標数ｏｃｃ（ｔ_１、ｔ_２）を用いて計算した（個別の文脈は１行目に示した方法と同様に計算した）。図２Ａの上から３行に示される方法では、テキストセグメントの大きさは４１（それぞれ中央にある目的の表現と、その左右に２０表現ずつ）に設定した。

一方、４行目に選択された方法（ＰＭＩ＿ｏｃｃ＿ｄｏｃ）だけは、対応する頻度の指標数ｏｃｃ（ｔ_ｉ）つまりｏｃｃ（ｔ_１、ｔ_２）は完全なテキスト文書の形のテキストセグメントに基づいて計算した（したがって指標数すなわちその値をｏｃｃ＿ｄｏｃ（ｔ_ｉ）またはｏｃｃ＿ｄｏｃ（ｔ_１、ｔ_２）と称する）。図２Ｂは、図２Ａに示す最先端の技術において既知のＰＭＩ重み付けのうち異なる方法による推移を示す。なお、上述したように、異なる方法では、個別の文脈と共通文脈に用いた項がそれぞれ異なる。

図２Ｂに示すように、完全なテキスト文書の形でのテキストセグメントに基づいて計算した方法のＦ値が最小であり、したがって四つの類似度重み付け方法のうちでもっとも劣っている。予想通り小さいテキストセグメントを用いた方法は、この方法より優れた結果を示した。しかし、内容文脈に基づいた方法ＰＭＩ＿ｃｏｎは、ほんの少し優れているにすぎない。出現文脈のみに基づいた方法ＰＭＩ＿ｏｃｃは、内容文脈にのみ基づいた方法ＰＭＩ＿ｃｏｎよりもずっと優れている。一番良い結果は、比較的少しの差でしか上回っていないのだが、共通文脈を本発明による類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）に基づいて計算したＰＭＩ類似度重み付け方法、つまりＰＭＩ＿ｏｃｃ＿ｃｏｎによって達成された。類似度重み付けをこのように、本発明による類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）をＰＭＩ類似度重み付けなどの最先端の技術で既知の類似度重み付けに含めることにより、文脈にのみあるいは出現にのみ基づいた共通文脈を用いる方法よりもよい結果が得られることがこの例からわかる。

しかしながら、図３に示すように、本発明による類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）の利点が完全に発揮されるのは後者を前述した本発明による類似度重み付けに用いた場合である。図３はこれらの類似度重み付けを出現にのみ基づいたコサイン類似度重み付けＣＯＳ＿ｏｃｃ＿ｄｏｃ＿ＡＬＬＧと比較したものである。ＣＯＳ＿ｏｃｃ＿ｄｏｃ＿ＡＬＬＧは最先端の技術でよく用いられており、テキスト文書全体の形でのテキストセグメントに基づいている（ＣＯＳ値は前述したように一般化した指標数ＣＯＳ＿ＡＬＬＧによって計算したものである）。比較のため、出現にのみ基づいた類似度重み付けＦ３、すなわちｒｅｌ＿ｏｃｃ（ｔ_１、ｔ_２）も図示してある（前を参照）。予想通りではあるが、文書に基づいた類似度重み付けＣＯＳ＿ｏｃｃ＿ｄｏｃ＿ＡＬＬＧがもっとも悪く、しかも大きな差がついている。部分因子Ｆ１あるいはＦ２にのみ基づいた本発明による類似度重み付けｒｅｌ＿ｏｃｃ＿ｏｃｃ（ｔ_１、ｔ_２）やアスペクト比（ｔ_１、ｔ_２）の方が顕著に優れている。出現にのみ基づいた類似度重み付けｒｅｌ＿ｏｃｃ（ｔ_１、ｔ_２）でさえも、比較的優れている。これら三つの個別の部分因子Ｆ１、Ｆ２、Ｆ３（前を参照）はそれぞれ異なる統計上の裏付けに基づいて関係性の有無を決めるので、実際に関連性のある関係の指標としての類似度重み付けの本発明による類似度重み値ａｇｗ（ｔ_１、ｔ_２）の精度は、乗算で結合される個別の因子の数が多いほどさらに高まる。このようにＦ２×Ｆ３あるいはＦ１×Ｆ３の二重積の組合せ（アスペクト比×ｒｅｌ＿ｏｃｃあるいはｒｅｌ＿ｏｃｃ＿ｃｏｎ×ｒｅｌ＿ｏｃｃ）がＦ値を明らかに改善することは既に示した（第三の組合せＦ１×Ｆ２すなわちｒｅｌ＿ｏｃｃ＿ｃｏｎ×アスペクト比は他の二組の組合せと非常に似ているため、ここでは示さない）。しかしながら、明らかに最良の結果を示すのは、三つの個別の因子Ｆ１、Ｆ２およびＦ３すべてを組合せた積に基づいて計算される、本発明による類似度重み付けｒｅｌ＿ｃｏｍｂ（ｔ_１、ｔ_２）である。

これより得られるＦ値の最大値は０．２４０７であり、ＣＯＳ＿ｏｃｃ＿ｄｏｃ＿ＡＬＬＧ（Ｆ値の最大値＝０．１４２４）から約７０％改善したことになる。ここでＣＯＳ＿ｏｃｃ＿ｄｏｃ＿ＡＬＬＧを比較用の類似度重み付けてとして採用した理由は、自動的なシソーラスの構築の分野においてこの計算方法が現在もっともよく用いられるからである。

最後に、図４は本発明による自動的な、コンピュータを用いた類似度計算システムの具体的な構成を示す。この例では、システムはパーソナルコンピュータＰＣ（Ｒ）を用いたコンピュータシステムとして構成されている。このシステムはまず文書メモリ部すなわち文書データ保存部（１）を含む。ここにはテキスト文書が電子形式で保存される。メモリ部（１）の入力側はＣＤ／ＤＶＤリーダであるアダプタ（１０）に接続されている。この例では、文書データメモリ部（１）に保存されるテキスト文書の集りはまず光ディスクＣＤ（９）上にテキスト文書の集り（１ａ）として保存される。それぞれのテキスト文書はアダプタ（１０）によって光ディスクから読み込まれ、文書データ保存部（１）に保存される。

文書データ保存部（１）の出力側はテキスト文書前処理部（５）に接続されている。テキスト文書前処理部（５）において、個々のテキスト文書は前述したように前処理される。例えば、ｈｔｍｌコントロールコマンドなどのコントロールワードやストップワードを個々のテキスト文書から削除することができる。同様に語幹への還元も行うことができる。ここでのテキスト文書前処理部（５）は前処理されたテキスト文書を保存するメモリを有する。対象となっている文書の集りに特徴的な個別の表現、すなわち候補表現ｔ_ｉの集合がこの前処理されたテキスト文書から候補表現選択部（４）によって選択される。このような候補表現をテキスト文書から選択する方法は最先端の技術で既知であり、ここでは詳細を説明しない。一例のみ挙げると、例えば参考文献１で述べられているように、特定のテキストカテゴリに対するカテゴリ限定表現（例えば天文学を主題とする分野に関する内容のテキスト文書）が分散分析を用いて選択される。選択された候補表現ｔ_ｉの集合は、候補表現選択部（４）に接続された候補表現メモリ部（２）に保存される。

図示の類似度計算システムの核となるのは類似度重み値計算部（３）であり、その入力側は文書前処理部（５）と候補表現メモリ部（２）の両方に接続されている。類似度重み値計算部（３）は既に詳細に説明したようにメモリ部（２）から候補表現（ｔ_１、ｔ_２）のペアを選択し、前処理部（５）に保存されたテキスト文書のテキストセグメント内でのペアの個別の表現あるいは両方の表現の出現を調べ、前述したようなこの他の必要なステップをすべて行い、本発明によるペアの類似度重み値ａｇｗ（ｔ_１、ｔ_２）を計算する。計算部（３）は算出された類似度重み値ａｇｗを保存可能なメモリ部を同様に有する。

類似度重み値計算部（３）の出力側は目的表現ペア選択部（６）に接続されている。この選択部（６）は候補表現ペア（ｔ_ｉ１、ｔ_ｉ２）の規定数ｍ（ｉ＝１、．．．ｍ）を既に計算部（３）によって算出された類似度重み値ａｇｗ（ｔ_ｉ１、ｔ_ｉ２）に基づいて選択できる。目的表現ペア選択部（６）が、重み値が計算された候補表現ペアの集合から、算出される類似度重み値ａｇｗ（ｔ_ｉ１、ｔ_ｉ２）（ｉ＝１、．．．ｍ）が最も高くなるようなｍ個の候補表現ペアを選択することが好ましい。目的表現ペア選択部（６）はハードウェア回路として形成されてもよいし、あるいは対応するプログラムコードとしてメモリ部に保存されてもよい。同様のことが上記の前処理部（５）、候補表現選択部（４）、および以下説明する構築部（８）についてもあてはまる。一部をハードウェア回路とし、一部をプログラムコードとして形成しても良い。最も高い類似度重み値を持つｍ個の候補表現ペアを選択するため、目的表現ペア選択部（６）は重み値に従って候補表現ペアを並び替えることができる目的表現ペア並び替え部（７）を有している。

選択部（６）の出力側は目的表現ペア構築部（８）に接続されている。目的表現ペア構築部（８）は、ｍ個の選択された目的表現ペアの個別の表現をこの目的表現ペアのｍ個の関連する類似度重み値に基づいて階層構造に適切な方法で分類することができる。このような構築部あるいは構築方法は最先端の技術で既知であり、ここではこれ以上取り扱わない。例えば参照文献１記載のレイヤーシード法を用いた階層構築が考えられる。

その後、構築部（８）によって決定された階層構造を、またはｍ個の選択された目的表現ペアも、モニタに表示してもよい（１１）。

本発明による類似尺度を用いて同様に計算される、いくつかの既知の類似度重み付けを示す図である。 比較として、従来の方法で計算されかつ本発明による類似尺度を用いた既知の類似度重み付けＰＭＩを示す図である。 本発明による類似尺度に基づいて計算されたいくつかの本発明による類似度重み付けの比較および本発明による類似尺度を用いずに計算された類似度重み付けとの比較を示す図である。 本発明による類似度計算システムの概略構成図である。

符号の説明

１ 文書データ保存部
２ 候補表現メモリ部
３ 類似度重み値計算部
４ 候補表現選択部
５ テキスト文書前処理部
６ 目的表現ペア選択部
７ 目的表現ペア並び替え部
８ 目的表現ペア構築部
９ メモリ装置
１０ データ転送装置（アダプタ）

Claims (54)

1. 少なくとも一つのテキスト文書を含むテキスト文書の集りをデジタル形式で保存可能でありかつ／または保存する文書データ保存部（１）と、
   それぞれ前記集りのテキスト文書の少なくとも一つに出現する表現ｔ_ｉをいくつか含む候補表現ｔ_ｉの集合を保存可能でありかつ／または保存する候補表現メモリ部（２）と、
   少なくとも一組の候補表現ｔ_１とｔ_２を前記候補表現の集合から選択可能であって、少なくとも前記一組の選択された表現ペアについて類似度重み値ａｇｗ（ｔ_１、ｔ_２）を計算可能な類似度重み値計算部（３）とを備え、
   前記類似度重み値ａｇｗ（ｔ_１、ｔ_２）は、前記テキスト文書の集りから選択可能もしくは選択されたいくつかのテキストセグメントからなるテキストセグメントの集合内の同一テキストセグメントで前記表現ペアの二つの表現ｔ_１とｔ_２が共起する総頻度と、このテキストセグメントの集合内の異なる文脈表現の総数の両方を考慮に入れた類似尺度｜ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）｜に基づいて計算可能であり、
   文脈表現は、このテキストセグメントの集合の少なくとも一つのテキストセグメントで表現ｔ_１と共起しかつ少なくとも一つのセグメントで表現ｔ_２と共起する表現であって、ｔ_１とｔ_２のいずれとも一致しない表現であること、
   を特徴とする、表現ペアの二つの表現の類似度を定量化する表現ペアの類似度重み値を計算するための、コンピュータを用いた類似度自動計算システム。
2. 文脈表現が、前記テキストセグメントの集合の少なくとも一つのテキストセグメントで表現ｔ_１とｔ_２の両方と共起するテキストセグメントであること、
   を特徴とする先行する請求項に記載の類似度計算システム。
3. 前記類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）は前記テキストセグメントの集合の少なくとも一つのテキストセグメントで表現ｔ_１と表現ｔ_２の両方と共起しかつｔ_１とｔ_２のいずれとも対応または一致しない文脈表現の総数であり、一つ以上のテキストセグメントで同じ形で出現する文脈表現は一回の共起としてのみカウントすることで異なる文脈表現の数だけを考慮に入れること、
   を特徴とする先行する請求項のいずれか一項に記載の類似度計算システム。
4. 前記類似度重み値ａｇｗ（ｔ_１、ｔ_２）は、一つあるいは複数の第一表現があるテキストセグメント内で出現しているという条件のもとでこのテキストセグメントに一つあるいは複数の第二の表現が出現する少なくとも一つの条件付き確率に基づいて、あるいはこのような条件付き確率の概算値に基づいて計算可能であること、
   を特徴とする先行する請求項のいずれか一項に記載の類似度計算システム。
5. 前記条件付き確率は二つの条件付き確率または同条件付き確率の二つの概算値の積であること、を特徴とする先行する請求項に記載の類似度計算システム。
6. 前記二つの条件付き確率の一方の条件は一つのテキストセグメント内でｔ_１が出現することであり、他方の条件は一つのテキストセグメント内でｔ_２が出現すること、を特徴とする先行する請求項に記載の類似度計算システム。
7. 前記類似度重み値ａｇｗ（ｔ_１、ｔ_２）は正規化された類似性尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）に基づいて計算され、ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）の正規化は、前記テキストセグメントの集合内でｔ_１が出現するテキストセグメントの総数と前記テキストセグメントの集合内でｔ_２が出現するテキストセグメントの総数の積を用いて行うこと、
   を特徴とする先行する請求項のいずれか一項および請求項３に記載の類似度計算システム。
8. 前記類似度重み値ａｇｗ（ｔ_１、ｔ_２）は以下の二つの数式の一方によって計算可能であり、
   

   

   ここで｜ｏｃｃ（ｔ_ｉ）｜ｗｉｔｈ ｉ＝１、２は前記テキストセグメントの集合内でｔ_１が出現するテキストセグメントの総数であり、
   

   

   ここで｜ｃｏｎ（ｔ_１、ｔ_２）｜は、前記テキストセグメントの集合内で、少なくとも一つのテキストセグメントで表現ｔ_１と共起しかつ少なくとも一つのセグメントで表現ｔ_２と共起する表現であってまたｔ_１とｔ_２のいずれとも一致しない、異なる文脈表現の総数であること、
   を特徴とする先行する請求項のいずれか一項および請求項３に記載の類似度計算システム。
9. 前記類似度重み値ａｇｗ（ｔ_１、ｔ_２）は先行する請求項の、数式Ｆ１と数式Ｆ２の積
   

   

   として計算可能であること、
   を特徴とする先行する請求項のいずれか一項および請求項３に記載の類似度計算システム。
10. 前記類似度重み値ａｇｗ（ｔ_１、ｔ_２）は請求項８の数式Ｆ１とＦ２の一方と次式から求められるｒｅｌ＿ｏｃｃ（ｔ_１、ｔ_２）の積
    

    

    として計算可能であって、ここで｜ｏｃｃ（ｔ_ｉ）｜ｗｉｔｈ ｉ＝１、２は前記テキストセグメントの集合内でｔ_ｉが出現するテキストセグメントの総数、｜ｏｃｃ（ｔ_１、ｔ_２）｜は前記テキストセグメントの集合内でｔ_１とｔ_２が共起するテキストセグメントの総数であること、
    を特徴とする先行する請求項のいずれか一項および請求項３に記載の類似度計算システム。
11. 前記類似度重み値ａｇｗ（ｔ_１、ｔ_２）は請求項８の数式Ｆ１とＦ２および先行する請求項の数式Ｆ３の積として計算可能であって、したがって
    

    

    で表されること、
    を特徴とする先行する請求項のいずれか一項および請求項３に記載の類似度計算システム。
12. 前記テキストセグメントの集合の少なくとも一つのテキストセグメントが完全なテキスト文書であること、を特徴とする先行する請求項のいずれか一項に記載の類似度計算システム。
13. 前記テキストセグメントの集合の少なくとも一つのテキストセグメントがあるテキスト文書の一部であること、を特徴とする先行する請求項のいずれか一項に記載の類似度計算システム。
14. 前記一部は章、節、テキスト段落、一文、もしくは二つの句読点に挟まれた一文の一部であり、あるいは前記一部は空白文字で区切られかつ連続している規定数ｎ個の前記テキスト文書の個別の表現あるいは単語（ウィンドウ幅がｎであるテキストウィンドウ）に対応すること、を特徴とする先行する請求項に記載の類似度計算システム。
15. ３≦ｎ≦１０１、好ましくは１１≦ｎ≦８１、好ましくは２１≦ｎ≦６１、好ましくは３１≦ｎ≦５１、特に好ましくはｎ＝４１が適用されること、を特徴とする先行する請求項に記載の類似度計算システム。
16. 前記テキストセグメントの集合の少なくとも二つのテキストセグメントが互いに重なり合う、すなわち少なくとも一つの共通セグメントセクションを有すること、を特徴とする先行する二つの請求項の一項に記載の類似度計算システム。
17. 候補表現ｔ_ｉを前記テキスト文書あるいは前記集りの文書から選択可能であり、かつ候補表現メモリ部（２）に送信可能な候補表現選択部（４）を備えること、を特徴とする先行する請求項のいずれか一項に記載の類似度計算システム。
18. 前記候補表現ｔ_ｉが選択されて候補表現メモリ部（２）に送信される前に前記集りのテキスト文書を前処理することができるテキスト文書前処理部（５）を備えること、を特徴とする先行する請求項のいずれか一項に記載の類似度計算システム。
19. テキスト文書前処理部（５）が、
    テキスト文書に含まれるコントロールワードを減らすことができるコントロールワード削除部、特にＨＴＭＬコントロールコマンド削除部および／または、
    テキスト文書に含まれるストップワードを減らすことが可能なストップワード削除部および／または
    テキスト文書に含まれる言葉をそれぞれの語幹まで還元することによってテキスト文書を語幹の集りへ還元可能な語幹還元部とを有すること、
    を特徴とする先行する請求項に記載の類似度計算システム。
20. 算出された類似度重み値ａｇｗ（ｔ_ｉ１、ｔ_ｉ２）に基づいて決定可能な数である候補表現ペアｔ_ｉ１およびｔ_ｉ２の数ｍ（ｉ＝１、．．．、ｍ）（ｍは自然数であってｍ≧２）を選択可能な目的表現ペア選択部（６）を備えること、を特徴とする先行する請求項のいずれか一項に記載の類似度計算システム。
21. 前記目的表現ペア選択部（６）は候補表現ペアをそれぞれの重み値の大きさの昇順あるいは降順に並び替えることができる目的表現ペア並び替え部（７）を有し、前記目的表現ペア選択部（６）は算出された類似度重み値が最も高いｍ個の候補表現ペアを選択可能であること、を特徴とする先行する請求項に記載の類似度計算システム。
22. ｍ個の選択された目的表現ペアの個別の表現を前記目的表現ペアのｍ個の類似度重み値に基づいて階層構造に配置することができる目的表現ペア構築部（８）を備えること、を特徴とする先行する二つの請求項の一項に記載の類似度計算システム。
23. テキストセグメントでの表現の出現は大文字／小文字表記の違い、ハイフンの有無、および／または連続した個別の単語間の空白文字の数の違いを無視して決定できること、を特徴とする先行する請求項のいずれか一項に記載の類似度計算システム。
24. コンピュータシステム（Ｒ）、特に、前記文書データ保存部（１）、前記候補表現メモリ部（２）および／または前記類似度重み値計算部（３）を配置可能でありかつ／あるいは配置したパーソナルコンピュータＰＣを備えること、を特徴とする先行する請求項のいずれか一項に記載の類似度計算システム。
25. 前記文書データ保存部（１）、前記候補表現メモリ部（２）および／または前記類似度重み値計算部（３）が少なくとも部分的にコンピュータシステム（Ｒ１）の前記物理メインメモリあるいはその一部によって構成可能でありかつ／あるいは構成されていること、を特徴とする先行する請求項に記載の類似度計算システム。
26. 前記文書データ保存部（１）の少なくとも一部を配置可能でありかつ／または配置された少なくとも一つの好ましくは持ち運び可能なメモリ装置（９）を備えること、を特徴とする先行する請求項のいずれか一項に記載の類似度計算システム。
27. 前記メモリ装置（９）は光ディスク、特にＣＤまたはＤＶＤ、もしくはポータブルハードディスクであること、を特徴とする先行する請求項に記載の類似度計算システム。
28. 前記コンピュータシステム（Ｒ）は少なくとも一つのデータ転送装置（１０）、特に光学読取り装置あるいはハードディスクアダプタを、前記メモリ装置（９）へのデータ転送、特にテキスト文書をデジタル形式で転送するために有すること、を特徴とする先行する二つの請求項および請求項２４の一つに記載の類似度計算システム。
29. デジタル形式で保存された少なくとも一つのテキスト文書を含むテキスト文書の集りと、
    保存されている表現であって、それぞれ前記集りのテキスト文書の少なくとも一つに出現する表現ｔ_ｉをいくつか含む候補表現ｔ_ｉの集合と、
    前記候補表現の集合から選択され、かつ類似度重み値ａｇｗ（ｔ_１、ｔ_２）が計算されている少なくとも一組の候補表現ペアｔ_１とｔ_２とを備え、
    前記類似度重み値ａｇｗ（ｔ_１、ｔ_２）は、前記テキスト文書の集りから選択可能もしくは選択された、いくつかのテキストセグメントからなるテキストセグメントの集合内の同一テキストセグメントで前記表現ペアの二つの表現ｔ_１とｔ_２が共起する総頻度と、このテキストセグメントの集合内の異なる文脈表現の総数の両方を考慮に入れた類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）に基づいて計算され、
    文脈表現は、このテキストセグメントの集合の少なくとも一つのテキストセグメントで表現ｔ_１と共起しかつ少なくとも一つのセグメントで表現ｔ_２と共起する表現であって、ｔ_１とｔ_２のいずれとも一致しない表現であること、
    を特徴とする、表現ペアの二つの表現の類似性を定量化する類似度重み値を計算するための、コンピュータを用いた自動類似度計算方法。
30. 請求項１から２８のいずれか一項に記載の類似度計算システムを用いたこと、を特徴とする先行する請求項に記載の類似度計算方法。
31. 文脈表現として、前記テキストセグメントの集合内で少なくとも一つのテキストセグメントにおいて表現ｔ_１とｔ_２の両方と共起する表現のみを考慮に入れること、を特徴とする先行する二つの請求項の一項に記載の類似度計算方法。
32. 前記類似尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）として、前記テキストセグメントの集合の少なくとも一つのテキストセグメントで表現ｔ_１と表現ｔ_２の両方と共起しかつｔ_１とｔ_２のいずれとも対応または一致しない文脈表現の総数であり、一つ以上のテキストセグメントで同じ形で出現する文脈表現は一回の共起としてのみカウントすることで異なる文脈表現の数だけを考慮に入れること、
    を特徴とする先行する三つの請求項のいずれか一項に記載の類似度計算方法。
33. 前記類似度重み値ａｇｗ（ｔ_１、ｔ_２）は、一つあるいは複数の第一表現があるテキストセグメント内で出現しているという条件のもとでこのテキストセグメントに一つあるいは複数の第二の表現が出現する少なくとも一つの条件付き確率に基づいて、あるいはこのような条件付き確率の概算値に基づいて計算されること、
    を特徴とする請求項２９から３２の一項に記載の類似度計算方法。
34. 前記条件付き確率は二つの条件付き確率または同条件付き確率の二つの概算値の積であること、を特徴とする先行する請求項に記載の類似度計算方法。
35. 前記二つの条件付き確率の一方の条件は一つのテキストセグメント内でのｔ_１の出現であり、他方の条件は一つのテキストセグメント内でのｔ_２の出現であること、を特徴とする先行する請求項に記載の類似度計算方法。
36. 前記類似度重み値ａｇｗ（ｔ_１、ｔ_２）は正規化された類似性尺度ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）に基づいて計算され、前記ｏｃｃ＿ｃｏｎ（ｔ_１、ｔ_２）の正規化は、前記テキストセグメントの集合内でｔ_１が出現するテキストセグメントの総数と前記テキストセグメントの集合内でｔ_２が出現するテキストセグメントの総数の積を用いて行うこと、
    を特徴とする請求項２９から３５の一項および請求項３２に記載の類似度計算方法。
37. 前記類似度重み値ａｇｗ（ｔ_１、ｔ_２）は以下の二つの数式の一方によって計算され、
    

    

    ここで｜ｏｃｃ（ｔ_ｉ）｜ｗｉｔｈ ｉ＝１、２は前記テキストセグメントの集合内でｔ_１が出現するテキストセグメントの総数であり、
    

    

    ここで｜ｃｏｎ（ｔ_１、ｔ_２））｜は、前記テキストセグメントの集合における、少なくとも一つのテキストセグメントで表現ｔ_１と共起しかつ少なくとも一つのセグメントで表現ｔ_２と共起する表現であってまたｔ_１とｔ_２のいずれとも一致しない、異なる文脈表現の総数であること、
    を特徴とする請求項２９から３６の一項および請求項３２に記載の類似度計算方法。
38. 前記類似度重み値ａｇｗ（ｔ_１、ｔ_２）は先行する請求項の、数式Ｆ１と数式Ｆ２の積
    

    

    として計算されること、
    を特徴とする請求項２９から３７の一項および請求項３２に記載の類似度計算方法。
39. 前記類似度重み値ａｇｗ（ｔ_１、ｔ_２）は請求項８の数式Ｆ１とＦ２の一方と次式から求められるｒｅｌ＿ｏｃｃ（ｔ_１、ｔ_２）の積
    

    

    として計算され、ここで｜ｏｃｃ（ｔ_ｉ）｜ｗｉｔｈ ｉ＝１、２は前記テキストセグメントの集合内でｔ_ｉが出現するテキストセグメントの総数を、｜ｏｃｃ（ｔ_１、ｔ_２）｜は前記テキストセグメントの集合内でｔ_１とｔ_２が共起するテキストセグメントの総数を表すこと、
    を特徴とする請求項２９から３８の一項および請求項３２に記載の類似度計算方法。
40. 前記類似度重み値ａｇｗ（ｔ_１、ｔ_２）は請求項３７の数式Ｆ１とＦ２および先行する請求項の数式Ｆ３の積として計算され、したがって
    

    

    で表されること、
    を特徴とする請求項２９から３９の一項および請求項３２に記載の類似度計算方法。
41. 前記テキストセグメントの集合の少なくとも一つのテキストセグメントが完全なテキスト文書であること、を特徴とする請求項２９から４０の一項に記載の類似度計算方法。
42. 前記テキストセグメントの集合の少なくとも一つのテキストセグメントがあるテキスト文書の一部であること、を特徴とする請求項２９から４１の一項に記載の類似度計算方法。
43. 前記一部は章、節、テキスト段落、一文、または二つの句読記号に挟まれた一文の一部であり、もしくは前記一部はテキスト文書の中の空白文字で区切られかつ連続している規定数ｎ個の個別の表現あるいは単語（ウィンドウ幅がｎであるテキストウィンドウ）に対応すること、を特徴とする先行する請求項に記載の類似度計算方法。
44. ３≦ｎ≦１０１、好ましくは１１≦ｎ≦８１、好ましくは２１≦ｎ≦６１、好ましくは３１≦ｎ≦５１、特に好ましくはｎ＝４１が適用されること、を特徴とする先行する請求項に記載の類似度計算方法。
45. 前記テキストセグメントの集合の少なくとも二つのテキストセグメントが互いに重なり合う、すなわち少なくとも一つの共通セグメントセクションを有すること、を特徴とする先行する二つの請求項の一項に記載の類似度計算方法。
46. テキストセグメントでの表現の出現は大文字／小文字表記の違い、ハイフンの有無、および／または連続した個別の単語間の空白文字の数の違いを無視して決定されること、を特徴とする請求項２９から４５の一項に記載の類似度計算方法。
47. コンピュータを用いて、テキストセグメントの集合から情報、表現、または言葉を自動的に選択および／あるいは情報、表現、または言葉を自動的に構築するための類似度計算システムもしくは類似度計算方法の使用。
48. コンピュータを用いた自動的なシソーラスの構築および／またはオントロジーの構築の分野における、請求項１から４６の一項に記載された類似度計算システムまたは類似度計算方法の使用。
49. 前記シソーラスおよび／または前記オントロジーの言葉間の意味関係の構築の分野における先行する請求項に記載の使用。
50. コンピュータを用いたテキスト文書の自動分類の分野における、請求項１から４６の一項に記載された類似度計算システムまたは類似度計算方法の使用。
51. インターネット検索マシンおよび／またはデータバンク検索マシンにおける、コンピュータを用いた自動的な問合せ拡張および／あるいは問合せの改善、特にコンピュータを用いた完全自動および／または一部自動の対話型問合せ拡張および／あるいは問合せの改善の分野における、
    請求項１から４６の一項に記載された類似度計算システムまたは類似度計算方法の使用。
52. 異なる種類のテキスト文書データバンクを統合する目的でのコンピュータを用いた自動的な意味ネットワークの構築の分野における、請求項１から４６の一項に記載された類似度計算システムまたは類似度計算方法の使用。
53. コンピュータを用いた対象範囲の概要説明および／または対象範囲の内容要約の自動作成の分野における、請求項１から４６の一項に記載された類似度計算システムまたは類似度計算方法の使用。
54. 自動化された統合および／または検索索引の構築における、請求項１から４６の一項に記載された類似度計算システムまたは類似度計算方法の使用。

Images