JP3581074B2

JP3581074B2 - 文書ダイジェスト作成方法、文書検索装置および記録媒体

Info

Publication number: JP3581074B2
Application number: JP2000062561A
Authority: JP
Inventors: 準二富田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2000-03-07
Filing date: 2000-03-07
Publication date: 2004-10-27
Anticipated expiration: 2020-03-07
Also published as: JP2001249935A

Description

【０００１】
【発明の属する技術分野】
本発明は、文書から、「文書がどのような内容で書かれているのかを簡潔に表現するダイジェスト」を適切に作成するための方法に関するものであり、文書ダイジェスト作成方法、文書検索装置および記録媒体に関する。
【０００２】
【従来の技術】
（従来のダイジェスト作成方法）
ここで言う、ダイジェストとは、文書がどのような内容であるかを簡潔に表現するものである。文書から作成される要約や本のタイトルといった文形式のものから、表紙に書かれている絵や図等も文書の内容を簡潔に表現するという意味で、一種のダイジェストである。電子化された文書から、このようなダイジェストを作成する方法には、以下のものがあった。
（方法ａ）文書の構造情報を利用し、タイトル，章や節の見出し、概要などのあらかじめ文書に記述されている一部を抜き出してダイジェストとする。
（方法ｂ）言語情報を用いて文書内から重要な文を抽出し、これらを並べてダイジェストとする。例えば、「すなわち」や「つまり」といった接続詞の後の文を重要文としてダイジェストに用いる。
（方法ｃ）文書の中から単語を抽出しそれぞれの単語に重要度を付ける。次に重要度の高い単語が多く含まれている文を重要文として抽出し、これらを並べてダイジェストとする。
（方法ｄ）ユーザが指定した特定の単語を含む文をダイジェストとする。
【０００３】
（従来の文書検索装置）
従来の文書検索装置では、以下のステップによって検索を実行し検索結果をユーザに提示していた。
（１）ユーザは単語，単語集合，単語のブール演算子結合，文，文書，文書集合等によって検索キーを指定する。
（２）検索キーに合致する文書ＩＤの集合を文書索引データベースを用いて取得する。
（３）文書ＩＤに対応する文書のダイジェストと本文へのポインタを並べて検索結果とする。
（４）検索結果をユーザに提示する。
【０００４】
このように検索結果として、ダイジェストを並べることによって、ユーザはそれぞれの文書本文を読まなくても、それぞれがどのような内容で書かれているのかを概観することができる。
【０００５】
これらのダイジェスト作成方法には上記方法ａ〜方法ｄのいずれかの方法が利用されてきた（方法ｄを用いる場合には検索キーに含まれる単語を指定単語として、その単語を含む文をダイジェストとして出力している）。
【０００６】
【発明が解決しようとする課題】
しかしながら従来のダイジェスト作成方法を文書検索装置に用いる場合、以下のような解決すべき課題が従来技術にはあった。
【０００７】
・文書構造を仮定する必要がある。
方法ａでは、文書のどの部分が、タイトル，章や節の見出し、概要に当たるのかと言った文書の構造情報がないとダイジェストを作成することができない。
【０００８】
・言語に依存した情報を利用する必要がある。
方法ｂでは、接続詞の抽出等言語に依存した処理を行なわないといけない。そのため、様々な言語で書かれた文書を同じ方法でダイジェスト作成ができない。
【０００９】
・検索キーに応じたダイジェストが作成できない。
方法ａ，方法ｂ，方法ｃでは、検索キーに応じてダイジェストを作成することができない。そのためユーザはなぜ、自分が入力した検索キーに対してその文書が合致したのかを即座に理解することができない。
【００１０】
・検索キーが複雑になった場合のダイジェストが作成できない。
方法ｄでは、検索キーが少数個のキーワードの場合、文書内のそれらのキーワードを含む文をすべて結合してダイジェストを作成することができる。しかし、検索キーが複雑になり検索キーに含まれるキーワードの個数が増えるとそれらのキーワードを含む文の個数は多数となり、ダイジェストが大きくなり過ぎてしまう。
【００１１】
そこで本発明の目的は、上述の点に鑑みて、文書構造を仮定せず、どのような言語も扱え、ユーザが入力した検索キーに応じたダイジェストを作成可能な、ユーザにとって扱いやすい文書検索装置を構築することができる文書ダイジェスト作成方法、文書検索装置および記録媒体を提供することにある。
【００１２】
【課題を解決するための手段】
このような目的を達成するために、本発明の文書ダイジェスト作成方法は、電子化された文書から、該文書の内容を簡潔に表現するダイジェストを情報処理装置により作成する、文書ダイジェスト作成方法であって、ダイジェストを作成する文書本文および、文書グラフからダイジェストを生成するための規定となるコンテクストを単語とその単語の重要度の対の形態で前記情報処理装置に入力し、前記情報処理装置においては、前記文書本文から全単語を抽出し、該単語の重要度と、抽出された単語間の関連度を求め、前記文書本文を、前記単語の重要度をノードの重みと、前記単語間の関連度をリンクの重みとした文書グラフによって表現し、前記文書グラフと前記コンテクストとから、コンテクストの各単語と文書グラフの各単語との間接関連度を求め、間接関連度から抽出すべき部分グラフを構成する単語を決定して部分グラフを抽出し、当該抽出された部分グラフを、元の文書の内容を図的に表現したダイジェストグラフとすることを特徴とする。
【００１３】
ここで、前記文書グラフから前記コンテクストに応じた部分グラフを抽出する場合に、前記情報処理装置は、前記コンテクストのそれぞれの単語と、前記文書グラフ上のそれぞれの単語との関連の強さを表す間接関連度を計算し、前記コンテクストのそれぞれの単語毎に、該単語と前記文書グラフ上の全ての単語との間接関連度を並べた間接関連度ベクトルを作成し、前記コンテクストの単語の重要度と前記間接関連度ベクトルとから、前記コンテクストと関連の強い単語からなる関連単語集合を求め、前記文書グラフから、前記関連単語集合に含まれる単語を持つノードだけを抽出することによって、前記部分グラフを作成することを特徴とすることができる。
【００１４】
また、前記間接関連度を計算する場合に、前記コンテクストの第１の単語と前記文書グラフ上の第２の単語との間接関連度について、前記情報処理装置は、前記文書グラフ上に前記コンテクストの第１の単語がなければ、前記間接関連度は０となし、もしあった場合には、前記コンテクストの第１の単語から前記文書グラフ上の第２の単語への全てのパスを求め、それぞれのパスの重みを計算し、当該計算されたパスの重みの最大値をもって、前記間接関連度とすることを特徴とすることができる。
【００１５】
また、前記パスの重みを計算する場合に、前記情報処理装置は、経由するノード数およびリンク数が少なければ少ないほどパスの重みを大きくし、経由するそれぞれのノードの重みが大きければ大きいほどパスの重みを大きくし、経由するそれぞれのリンクの重みが大きければ大きいほどパスの重みを大きくするようにパスの重みを計算することを特徴とすることができる。
【００１６】
また、前記コンテクストの単語毎に作られた前記間接関連度ベクトルから前記関連単語集合を求める場合に、前記情報処理装置は、前記間接関連度ベクトルの単語部分が同じ各要素の間接関連度を、前記コンテクストの単語の重要度が大きいものほどその影響が大きくなるように足し合わせることによって、前記コンテクストの全単語に対して足し合わせた間接関連度ベクトルを求め、前記間接関連度ベクトルに含まれる単語の中で、ある定めた値を越える間接関連度を持つ単語だけを選択するか、または、間接関連度が大きな上位定数個の単語を選択することによって、前記関連単語集合を求めることを特徴とすることができる。
【００１７】
また上記目的を達成するために、本発明の文書検索装置は、ユーザに検索キーを入力させる入力手段と、前記検索キーに合致する文書ＩＤの集合を文書索引データベースから取り出す検索実行手段と、前記文書ＩＤに対応したダイジェストを並べて検索結果を作成する検索結果作成手段と、前記検索結果をユーザに提示する結果表示手段とを具え、前記検索結果作成手段は、前記検索キーから単語を抽出し、当該抽出された単語の重要度を計算し、文書グラフからダイジェストを生成するための規定となる、前記単語と前記単語の重要度の対で与えられるコンテクストを作成するコンテクスト作成手段と、それぞれの前記文書ＩＤに対応した文書を文書データベースから取得し、当該取得した文書に対応して、該文書の文書本文から全単語を抽出し、該単語の重要度と、抽出された単語間の関連度を求め、前記文書本文を、前記単語の重要度をノードの重みと、前記単語間の関連度をリンクの重みとした文書グラフによって表現する文書グラフ作成手段と、前記文書グラフの集合と、前記コンテクストとを入力とし、前記文書グラフと前記コンテクストとから、コンテクストの各単語と文書グラフの各単語との間接関連度を求め、間接関連度から抽出すべき部分グラフを構成する単語を決定して部分グラフを抽出し、当該抽出された部分グラフを、元の文書の内容を図的に表現したグラフ形式のダイジェストとするダイジェスト作成手段と、前記グラフ形式のダイジェストと、前記文書の文書本文へのポインタを並べて検索結果とする検索結果作成手段とを具えたことを特徴とする。
【００１９】
また上記目的を達成するために、本発明の記録媒体は、電子化された文書から、該文書の内容を簡潔に表現するダイジェストを情報処理装置により作成する、文書ダイジェスト作成プログラムを記録した記録媒体であって、前記プログラムは、ダイジェストを作成する文書本文および、文書グラフからダイジェストを生成するための規定となるコンテクストを単語とその単語の重要度の対の形態で前記情報処理装置に入力するステップと、前記文書本文から全単語を抽出し、該単語の重要度と、抽出された単語間の関連度を求め、前記文書本文を、前記単語の重要度をノードの重みと、前記単語間の関連度をリンクの重みとした文書グラフによって表現するステップと、前記文書グラフと前記コンテクストとから、コンテクストの各単語と文書グラフの各単語との間接関連度を求め、間接関連度から抽出すべき部分グラフを構成する単語を決定して部分グラフを抽出するステップと、当該抽出された部分グラフを、元の文書の内容を図的に表現したダイジェストグラフとするステップとを具えたことを特徴とする。
【００２０】
ここで、前記文書グラフから前記コンテクストに応じて部分グラフを抽出するステップは、前記コンテクストのそれぞれの単語と、前記文書グラフ上のそれぞれの単語との関連の強さを表す間接関連度を計算し、前記コンテクストのそれぞれの単語毎に、該単語と前記文書グラフ上の全ての単語との間接関連度を並べた間接関連度ベクトルを作成し、前記コンテクストの単語の重要度と前記間接関連度ベクトルとから、前記コンテクストと関連の強い単語からなる関連単語集合を求め、前記文書グラフから、前記関連単語集合に含まれる単語を持つノードだけを抽出することによって、前記部分グラフを作成することを特徴とすることができる。
【００２１】
また、前記間接関連度を計算する場合に、前記コンテクストの第１の単語と前記文書グラフ上の第２の単語との間接関連度について、前記プログラムは、前記文書グラフ上に前記コンテクストの第１の単語がなければ、前記間接関連度は０となし、もしあった場合には、前記コンテクストの第１の単語から前記文書グラフ上の第２の単語への全てのパスを求め、それぞれのパスの重みを計算し、当該計算されたパスの重みの最大値をもって、前記間接関連度とすることを特徴とすることができる。
【００２２】
また、前記パスの重みを計算する場合に、前記プログラムは、経由するノード数およびリンク数が少なければ少ないほどパスの重みを大きくし、経由するそれぞれのノードの重みが大きければ大きいほどパスの重みを大きくし、経由するそれぞれのリンクの重みが大きければ大きいほどパスの重みを大きくするようにパスの重みを計算することを特徴とすることができる。
【００２３】
また、前記コンテクストの単語毎に作られた前記間接関連度ベクトルから前記関連単語集合を求める場合に、前記プログラムは、前記間接関連度ベクトルの単語部分が同じ各要素の間接関連度を、前記コンテクストの単語の重要度が大きいものほどその影響が大きくなるように足し合わせることによって、前記コンテクストの全単語に対して足し合わせた間接関連度ベクトルを求め、前記間接関連度ベクトルに含まれる単語の中で、ある定めた値を越える間接関連度を持つ単語だけを選択するか、または、間接関連度が大きな上位定数個の単語を選択することによって、前記関連単語集合を求めることを特徴とすることができる。
【００２４】
また上記目的を達成するために、本発明の記録媒体は、ユーザに検索キーを入力させるステップと、前記検索キーに合致する文書ＩＤの集合を文書索引データベースから取り出すステップと、前記文書ＩＤに対応したダイジェストを並べて検索結果を作成するステップと、前記検索結果をユーザに提示するステップとを具え、前記検索結果を作成するステップは、前記検索キーから単語を抽出し、当該抽出された単語の重要度を計算し、文書グラフからダイジェストを生成するための規定となる、前記単語と前記単語の重要度の対で与えられるコンテクストを作成するステップと、それぞれの前記文書ＩＤに対応した文書を文書データベースから取得し、当該取得した文書に対応して、該文書の文書本文から全単語を抽出し、該単語の重要度と、抽出された単語間の関連度を求め、前記文書本文を、前記単語の重要度をノードの重みと、前記単語間の関連度をリンクの重みとした文書グラフによって表現するステップと、前記文書グラフの集合と、前記コンテクストとを入力とし、前記文書グラフと前記コンテクストとから、コンテクストの各単語と文書グラフの各単語との間接関連度を求め、間接関連度から抽出すべき部分グラフを構成する単語を決定して部分グラフを抽出し、当該抽出された部分グラフを、元の文書の内容を図的に表現したグラフ形式のダイジェストとするステップと、前記グラフ形式のダイジェストと、前記文書の文書本文へのポインタを並べて検索結果とするステップとを具えた文書検索プログラムを記録したことを特徴とする。
【００２６】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
（実施形態１ダイジェスト作成方法）
本発明に係わる実施形態のダイジェスト作成方法における、ユーザが文書検索装置に入力する情報は、ダイジェストを作成したい「文書本文」とどの様な状況を想定してダイジェストを作成するのかを規定する「コンテクスト」である。
【００２７】
コンテクストは単語とその単語の重要度の対の集合で与える。また、本発明におけるダイジェストは通常の要約やタイトルといった文（文書）形式ではなく、図的に文書の内容を表現する。具体的には、単語をノードとし単語間の関連をリンクで結んだグラフ形式とする（図１）。このようなグラフをダイジェストグラフと呼ぶ。ダイジェストグラフを見たユーザはグラフに使用されている単語と単語の関連の仕方を見て文書の内容を簡単に把握することができる。
【００２８】
文書ＤとコンテクストＣからダイジェストグラフｓ_Ｄを作成する具体的な手順を以下に示す（詳しくは後述）。
１．文書Ｄを、単語の重要度をノードの重み、単語間の関連度をリンクの重みとしたグラフで表現する。以下、このグラフを文書グラフｇ_Ｄと呼ぶ。
２．単語ｋとその単語の重要度ｗ_Ｋの対の集合で、コンテクストＣを与える。文書グラフｇ_Ｄ上のそれぞれの単語ｉと単語ｋとの関連の強さｐ_ｉｋを計算する。Ｐ_ｉｋを間接関連度と呼び、単語ｋ毎に、この値を要素として持つ間接関連度ベクトルｐ_ｋを作成する。
３．単語ｋ毎の間接関連度ベクトルｐ_ｋの総和を計算し、コンテクスト全体に対する間接関連度ベクトルｐを作成する。ｐの中である程度大きな間接関連度を持つ単語だけからなる集合（関連単語集合）Ｍ_Ｄを求める。
４．関連単語集合Ｍ_Ｄに含まれる単語を持つノードだけを文書グラフｇ_Ｄから、抽出し、部分グラフを作成する。この部分グラフを文書Ｄのダイジェストグラフｓ_Ｄとする。
【００２９】
（文書グラフの作成）
文書Ｄからその文書の内容を表現する文書グラフｇ_Ｄを作成する方法は、特願平１０−２９７３２１号に記載されている主題グラフの作成法を用いる。ここでは、その方法を簡単に説明する。
【００３０】
まず、文書Ｄに含まれる全ての単語を抽出する。それぞれの単語ｉの出現頻度情報，出現場所の情報等を用いて、単語の重要度ｖ_ｉを求める。また、単語の共起情報，単語間の係り受け情報を用いて、単語ｉと単語ｊの関連の強さを表す関連度ｒ_ｉｊを求める。このようにして求めた単語の重要度をノードの重み、単語間の関連度をリンクの重みとしたグラフを作成する（図２）。このグラフを文書グラフｇ_Ｄと呼ぶ。文書グラフｇ_Ｄは、以下の２つのベクトルによって表現される。
【００３１】

ここで、Ｎ_Ｄは、文書Ｄに含まれる全ての単語からなる集合を表し、ｎ＝｜Ｎ_Ｄ｜は、総単語数を表す（｜Ｘ｜は集合Ｘの要素数）。また、（０≦ｖ_ｉ，ｒ_ｉｊ≦１）となるように正規化する。
【００３２】
（単語毎の間接関連度ベクトルの作成）
コンテクストＣのそれぞれの単語ｋ毎に間接関連度ベクトルｐ_ｋを求める方法を述べる。コンテクストＣのそれぞれの単語ｋの重要度をｗ_ｋとすると、コンテクストＣは以下のベクトルで表現される。
【００３３】
（ｗ_１，ｗ_２，…，ｗ_ｋ，…，ｗ_ｌ）（ｋ∈Ｌ_Ｃ）
ここで、Ｌ_Ｃは、コンテクストＣに含まれる全ての単語からなる集合を表し、ｌ＝｜Ｌ_Ｃ｜は、コンテクストＣに含まれる総単語数を表す。次に単語ｋと文書グラフｇ_Ｄ上のそれぞれの単語ｉとの間接関連度ｐ_ｉｋを、以下の方法で計算する。
【００３４】

ここで、「パスａの重み」とは、パスａの上の全てのノードの重みとリンクの重みを掛けた値である。これらの値を並べて、コンテクストＣのそれぞれの単語ｋ毎に間接関連度ベクトルｐ_ｋを作成する。
【００３５】
ｐ_ｋ＝（ｐ_１ｋ _，ｐ_２ｋ _，…，ｐ_ｉｋ…，ｐ_ｎｋ）
以下に、図３の文書グラフ上で、単語「検索」と単語「ロボット」間の間接関連度を計算する例を示す。３０１はパス１、３０２はパス２、３０３はパス３である。
【００３６】
まず、３０１のパス１では、

となる。ただし、数字（単語Ａ）は単語Ａの重要度を表し、数字（単語Ａ−単語Ｂ）は単語Ａ，Ｂ間の関連度を表す。
【００３７】
同様に、３０２のパス２では、

３０３のパス３では、
パス３の重み＝０．７＊０．８＊０．３＊０．７＊０．９＊０．８＊０．８＝０．０６７７
となり、これらの最大値を取り単語「検索」と「ロボット」間の間接関連度は０．２３２２となる。
【００３８】
同様に図２における単語「検索」と文書グラフｇ_Ｄの全ての単語との間接関連度を求めることによって、以下の間接関連度ベクトルｐ検索を作成する。
ｐ検索＝（（検索０．７）（エンジン０．５０４）（ＷＷＷ０．３６２８）…（ロボット０．２３２２））
同様に単語「ソフトウェア」の間接関連度ベクトルｐソフトウェアは、以下のようになる。
ｐソフトウェア＝（（検索０．０９０７）（エンジン０．０６５３）（ＷＷＷ０．１０２１）…（ロボット
０．０６５３））
（間接関連度ベクトルの総和）
コンテクストＣのそれぞれの単語ｋ毎に求めた間接関連度ベクトルｐ_ｋを足し合わせて、コンテクストＣに対する間接関連度ベクトルｐを作成する。この際、コンテクストＣで与えられる単語の重要度ｗ_ｋも考慮し、間接関連度ベクトルｐは、

【００３９】
となる。
【００４０】
例えば、コンテクストとして、（検索０．９）（ソフトウェア０．３）が与えられたとする。前節の方法で、それぞれの単語の間接関連度ベクトルｐ_ｋは、
ｐ検索＝（（検索０．７）（エンジン０．５０４）（ＷＷＷ０．３６２８）…（ロボット０．２３２２））
ｐソフトウェア＝（（検索０．０９０７）（エンジン０．０６５３）（ＷＷＷ０．１０２１）…（ロボット０．０６５３））
と求まる。
【００４１】
そのため、

となる。
【００４２】
ここで、ｐの関連単語集合をＭ_ＤとするとＭ_Ｄは、ｐに含まれる要素に対応する単語の中で、
・閾値を越える間接関連度を持つ単語を選択する
または、
・間接関連度が大きな上位定数個の単語を選択
することで求める。
例えば、ｐの上位８単語を関連単語集合Ｍ_Ｄとすると、
Ｍ_Ｄ＝（検索（０．６５７２），エンジン（０．４７３２），ＷＷＷ（０．３５７２），ロボット（０．２２８６）
，ソフトウェア（０．２６１６），システム（０．１９９８），ＵＮＩＸ（０．１４３９），効率（０．０８３７））
となる。ここで、括弧内の数字は間接関連度であり、参考のために記述してある。
【００４３】
（ダイジェストグラフの作成）
関連単語集合Ｍ_Ｄを単語として持つノードを、ｇ_Ｄから抽出することによって、ダイジェストグラフｓ_Ｄを作成する。
Ｍ_Ｄ＝（検索，エンジン，ＷＷＷ，ロボット，ソフトウェア，システム，ＵＮＩＸ，効率）の場合、図２から求めたダイジェストグラフは、図１となる。
【００４４】
（実施形態２文書検索装置）
実施形態１のダイジェストグラフを検索結果としてユーザに提示する文書検索装置として使用可能なコンピュータのシステム構成を図４に示す。
【００４５】
図４において、上記コンピュータはＣＰＵ４０１，ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）４０２、結果表示部４０３、入力部４０４、ＨＤ（ＨａｒｄＤｉｓｋ）４０５、バス４０６を有する。
【００４６】
ＣＰＵ４０１はＲＡＭ４０２にロードされたプログラムを実行する。ＲＡＭ４０２はＣＰＵ４０１に対する入出力データおよびＣＰＵ４０１が実行するプログラムを記憶する。
【００４７】
結果表示部４０３は、検索結果をユーザに提示するディスプレイ等である。入力部４０４はマウスのようなポインティングデバイスおよびキーボードを有する。
【００４８】
ＨＤ４０５はＣＰＵ４０１が実行するプログラムおよびデータベースを保存目的のために記憶する。ＨＤ４０５は図５に示す文書検索プログラム４０５１および検索実行時に使用される文書索引データベース４０５２および文書グラフ作成時に使用される文書データベース４０５３を記憶している。
【００４９】
バス４０６はシステム・バスであり、アドレスを転送するアドレス・バス、制御信号を転送するコントロール・バス、各種データを転送するデータ・バスを備える。
【００５０】
図４および図５のフローチャートを参照して、上記コンピュータで行われる文書検索の処理を説明する。
【００５１】
ユーザが文書検索を行う場合には、ＨＤ４０５に記憶された図５の文書検索プログラムを入力部４０４からの指示で起動する。この指示に応じてＣＰＵ４０１は、ＨＤ４０５に記憶された図５のプログラムをＲＡＭ４０２にロードし、文書検索処理を実行する。
【００５２】
ＣＰＵ４０１はユーザによって入力部４０４から入力された検索キーを取り込み、ＲＡＭ４０２に一時保存する。ここで検索キーは単なるキーワードだけではなく、単語，単語集合，単語のブール演算子結合，文，文書，文書集合等も指定可能である（ステップＳ５００）。
【００５３】
ステップＳ５１０でＣＰＵ４０１は、入力部４０４から取り込んだ検索キーを用いて検索を実行し、文書索引データベース４０５２から検索キーに合致するそれぞれの文書の文書ＩＤを取得する。ＣＰＵ４０１はこれら文書ＩＤの集合をＲＡＭ４０２に一時保存し、ダイジェストグラフ入り検索結果作成処理を行う（ステップＳ５２０）。
【００５４】
ダイジェストグラフ入り検索結果作成処理において、ＣＰＵ４０１はＲＡＭ４０２に保存されている検索キーに基づいて単語を抽出し、それぞれの単語の重要度を計算し、単語と単語の重要度の対の集合を作成する。この集合をコンテクストＣとする。ここで、単語の抽出方法、単語の重要度の計算方法は特に限定しない（ステップＳ５４０）。
【００５５】
ステップＳ５５０でＣＰＵ４０１は、ＲＡＭ４０２に保存されているそれぞれの文書ＩＤに対応した文書を文書データベース４０５３から取得し、文書グラフを作成する。文書グラフの作成には、特願平１０−２９７３２１の方法を用いる。
【００５６】
ＣＰＵ４０１は上記文書グラフの集合と上記コンテクストＣを用いてそれぞれの文書に対応したダイジェストグラフを作成する。ダイジェストグラフの作成方法は実施形態１の方法である（ステップＳ５６０）。
【００５７】
ＣＰＵ４０１はダイジェストグラフとその文書本文へのポインタを並べて検索結果を作成し（ステップＳ５７０）、文書検索処理のステップＳ５３０へ戻る。
【００５８】
ステップＳ５３０でＣＰＵ４０１は、結果表示部４０３に上記検索結果を表示しユーザに提示する。たとえば検索結果は図６のように表示される。
【００５９】
このように、検索結果内にダイジェストグラフがあることによって、ユーザは自分が入力した検索キーに対して、なぜ、それぞれの文書が合致したのかを直感的に把握することができる。
【００６０】
なお、本発明で言う記録媒体とは、ＩＣメモリ、ＨＤ（ＨａｒｄＤｉｓｋ）、ＦＤ（ＦｌｏｐｐｙＤｉｓｋ）、ＣＤ−ＲＯＭおよびその他の携帯可能な記録媒体を意味する。これらの記録媒体に記録された上述のプログラムは、パソコン等の情報処理装置により実行される場合に、情報処理装置が文書検索装置として機能する。
【００６１】
【発明の効果】
以上、説明したように、本発明によれば、文書がどのような構造をしているのかといった情報を全く利用せずにダイジェストを作成することができる。
【００６２】
また、品詞等の言語情報を全く必要としない。そのため、どのような言語で書かれた文書でもダイジェストを作成することができる。
【００６３】
また、検索キーに含まれる単語情報をコンテクストとし、それに応じて文書グラフから部分グラフを抽出するため、検索キーに応じた適切なダイジェストを作成することができる。
【００６４】
さらに、単に単語が含まれている文を出力するのではなく、検索キーに含まれている単語がどの程度重要なのかの情報も考慮することができる。また、最終的にダイジェストグラフとして出力する単語の個数を重要なものから順番に制限して出力することができる。そのため、検索キーが複雑になった場合でも、適切なダイジェストを作成することができる。
【００６５】
したがって、本発明によれば、コンテクストとして単語とその単語の重要度の集合を与えるとそれに応じたダイジェストを作成することができる。また、本発明を検索装置に利用することによって、検索キーに応じたダイジェストを作成することができるので、ユーザは自分の探している文書を検索結果の中から簡単に見つけ出すことができる。
【図面の簡単な説明】
【図１】本実施形態１のダイジェストグラフである。
【図２】本実施形態１の文書グラフである。
【図３】本実施形態１の単語「検索」と単語「ロボット」間の間接関連度を計算する例を示す文書グラフである。
【図４】本実施形態２のコンピュータのシステム構成図である。
【図５】本実施形態２の文書検索プログラムのフローチャートである。
【図６】本実施形態２のダイジェストグラフを用いた検索結果の表示の説明図である。
【符号の説明】
３０１パス１
３０２パス２
３０３パス３
４０１ＣＰＵ
４０２ＲＡＭ
４０３結果表示部
４０４入力部
４０５ＨＤ
４０６バス
４０５１文書検索プログラム
４０５２文書索引データベース
４０５３文書データベース

Claims

電子化された文書から、該文書の内容を簡潔に表現するダイジェストを情報処理装置により作成する、文書ダイジェスト作成方法において、
ダイジェストを作成する文書本文および、文書グラフからダイジェストを生成するための規定となるコンテクストを単語とその単語の重要度の対の形態で前記情報処理装置に入力し、
前記情報処理装置においては、前記文書本文から全単語を抽出し、該単語の重要度と、抽出された単語間の関連度を求め、前記文書本文を、前記単語の重要度をノードの重みと、前記単語間の関連度をリンクの重みとした文書グラフによって表現し、
前記文書グラフと前記コンテクストとから、コンテクストの各単語と文書グラフの各単語との間接関連度を求め、間接関連度から抽出すべき部分グラフを構成する単語を決定して部分グラフを抽出し、
当該抽出された部分グラフを、元の文書の内容を図的に表現したダイジェストグラフとする
ことを特徴とする文書ダイジェスト作成方法。
請求項１に記載の文書ダイジェスト作成方法において、前記文書グラフから前記コンテクストに応じた部分グラフを抽出する場合に、前記情報処理装置は、前記コンテクストのそれぞれの単語と、前記文書グラフ上のそれぞれの単語との関連の強さを表す間接関連度を計算し、前記コンテクストのそれぞれの単語毎に、該単語と前記文書グラフ上の全ての単語との間接関連度を並べた間接関連度ベクトルを作成し、前記コンテクストの単語の重要度と前記間接関連度ベクトルとから、前記コンテクストと関連の強い単語からなる関連単語集合を求め、前記文書グラフから、前記関連単語集合に含まれる単語を持つノードだけを抽出することによって、前記部分グラフを作成することを特徴とする文書ダイジェスト作成方法。
請求項２に記載の文書ダイジェスト作成方法において、前記間接関連度を計算する場合に、前記コンテクストの第１の単語と前記文書グラフ上の第２の単語との間接関連度について、前記情報処理装置は、前記文書グラフ上に前記コンテクストの第１の単語がなければ、前記間接関連度は０となし、もしあった場合には、前記コンテクストの第１の単語から前記文書グラフ上の第２の単語への全てのパスを求め、それぞれのパスの重みを計算し、当該計算されたパスの重みの最大値をもって、前記間接関連度とすることを特徴とする文書ダイジェスト作成方法。
請求項３に記載の文書ダイジェスト作成方法において、前記パスの重みを計算する場合に、前記情報処理装置は、経由するノード数およびリンク数が少なければ少ないほどパスの重みを大きくし、経由するそれぞれのノードの重みが大きければ大きいほどパスの重みを大きくし、経由するそれぞれのリンクの重みが大きければ大きいほどパスの重みを大きくするようにパスの重みを計算することを特徴とする文書ダイジェスト作成方法。
請求項２に記載の文書ダイジェスト作成方法において、前記コンテクストの単語毎に作られた前記間接関連度ベクトルから前記関連単語集合を求める場合に、前記情報処理装置は、前記間接関連度ベクトルの単語部分が同じ各要素の間接関連度を、前記コンテクストの単語の重要度が大きいものほどその影響が大きくなるように足し合わせることによって、前記コンテクストの全単語に対して足し合わせた間接関連度ベクトルを求め、前記間接関連度ベクトルに含まれる単語の中で、ある定めた値を越える間接関連度を持つ単語だけを選択するか、または、間接関連度が大きな上位定数個の単語を選択することによって、前記関連単語集合を求めることを特徴とする文書ダイジェスト作成方法。
ユーザに検索キーを入力させる入力手段と、
前記検索キーに合致する文書ＩＤの集合を文書索引データベースから取り出す検索実行手段と、
前記文書ＩＤに対応したダイジェストを並べて検索結果を作成する検索結果作成手段と、
前記検索結果をユーザに提示する結果表示手段と
を具え、
前記検索結果作成手段は、
前記検索キーから単語を抽出し、当該抽出された単語の重要度を計算し、文書グラフからダイジェストを生成するための規定となる、前記単語と前記単語の重要度の対で与えられるコンテクストを作成するコンテクスト作成手段と、
それぞれの前記文書ＩＤに対応した文書を文書データベースから取得し、当該取得した文書に対応して、該文書の文書本文から全単語を抽出し、該単語の重要度と、抽出された単語間の関連度を求め、前記文書本文を、前記単語の重要度をノードの重みと、前記単語間の関連度をリンクの重みとした文書グラフによって表現する文書グラフ作成手段と、
前記文書グラフの集合と、前記コンテクストとを入力とし、前記文書グラフと前記コンテクストとから、コンテクストの各単語と文書グラフの各単語との間接関連度を求め、間接関連度から抽出すべき部分グラフを構成する単語を決定して部分グラフを抽出し、当該抽出された部分グラフを、元の文書の内容を図的に表現したグラフ形式のダイジェストとするダイジェスト作成手段と、
前記グラフ形式のダイジェストと、前記文書の文書本文へのポインタを並べて検索結果とする検索結果作成手段と
を具えたことを特徴とする文書検索装置。
電子化された文書から、該文書の内容を簡潔に表現するダイジェストを情報処理装置により作成する、文書ダイジェスト作成プログラムを記録した記録媒体において、前記プログラムは、
ダイジェストを作成する文書本文および、文書グラフからダイジェストを生成するための規定となるコンテクストを単語とその単語の重要度の対の形態で前記情報処理装置に入力するステップと、
前記文書本文から全単語を抽出し、該単語の重要度と、抽出された単語間の関連度を求め、前記文書本文を、前記単語の重要度をノードの重みと、前記単語間の関連度をリンクの重みとした文書グラフによって表現するステップと、
前記文書グラフと前記コンテクストとから、コンテクストの各単語と文書グラフの各単語との間接関連度を求め、間接関連度から抽出すべき部分グラフを構成する単語を決定して部分グラフを抽出するステップと、
当該抽出された部分グラフを、元の文書の内容を図的に表現したダイジェストグラフとするステップと
を具えたことを特徴とする情報処理装置により読み取り可能な記録媒体。
請求項７に記載の記録媒体において、前記文書グラフから前記コンテクストに応じて部分グラフを抽出するステップは、前記コンテクストのそれぞれの単語と、前記文書グラフ上のそれぞれの単語との関連の強さを表す間接関連度を計算し、前記コンテクストのそれぞれの単語毎に、該単語と前記文書グラフ上の全ての単語との間接関連度を並べた間接関連度ベクトルを作成し、前記コンテクストの単語の重要度と前記間接関連度ベクトルとから、前記コンテクストと関連の強い単語からなる関連単語集合を求め、前記文書グラフから、前記関連単語集合に含まれる単語を持つノードだけを抽出することによって、前記部分グラフを作成することを特徴とする情報処理装置により読み取り可能な記録媒体。
請求項８に記載の記録媒体において、前記間接関連度を計算する場合に、前記コンテクストの第１の単語と前記文書グラフ上の第２の単語との間接関連度について、前記プログラムは、前記文書グラフ上に前記コンテクストの第１の単語がなければ、前記間接関連度は０となし、もしあった場合には、前記コンテクストの第１の単語から前記文書グラフ上の第２の単語への全てのパスを求め、それぞれのパスの重みを計算し、当該計算されたパスの重みの最大値をもって、前記間接関連度とすることを特徴とする情報処理装置により読み取り可能な記録媒体。
請求項９に記載の記録媒体において、前記パスの重みを計算する場合に、前記プログラムは、経由するノード数およびリンク数が少なければ少ないほどパスの重みを大きくし、経由するそれぞれのノードの重みが大きければ大きいほどパスの重みを大きくし、経由するそれぞれのリンクの重みが大きければ大きいほどパスの重みを大きくするようにパスの重みを計算することを特徴とする情報処理装置により読み取り可能な記録媒体。
請求項８に記載の記録媒体において、前記コンテクストの単語毎に作られた前記間接関連度ベクトルから前記関連単語集合を求める場合に、前記プログラムは、前記間接関連度ベクトルの単語部分が同じ各要素の間接関連度を、前記コンテクストの単語の重要度が大きいものほどその影響が大きくなるように足し合わせることによって、前記コンテクストの全単語に対して足し合わせた間接関連度ベクトルを求め、前記間接関連度ベクトルに含まれる単語の中で、ある定めた値を越える間接関連度を持つ単語だけを選択するか、または、間接関連度が大きな上位定数個の単語を選択することによって、前記関連単語集合を求めることを特徴とする情報処理装置により読み取り可能な記録媒体。
ユーザに検索キーを入力させるステップと、
前記検索キーに合致する文書ＩＤの集合を文書索引データベースから取り出すステップと、
前記文書ＩＤに対応したダイジェストを並べて検索結果を作成するステップと、
前記検索結果をユーザに提示するステップと
を具え、
前記検索結果を作成するステップは、
前記検索キーから単語を抽出し、当該抽出された単語の重要度を計算し、文書グラフからダイジェストを生成するための規定となる、前記単語と前記単語の重要度の対で与えられるコンテクストを作成するステップと、
それぞれの前記文書ＩＤに対応した文書を文書データベースから取得し、当該取得した文書に対応して、該文書の文書本文から全単語を抽出し、該単語の重要度と、抽出された単語間の関連度を求め、前記文書本文を、前記単語の重要度をノードの重みと、前記単語間の関連度をリンクの重みとした文書グラフによって表現するステップと、
前記文書グラフの集合と、前記コンテクストとを入力とし、前記文書グラフと前記コンテクストとから、コンテクストの各単語と文書グラフの各単語との間接関連度を求め、間接関連度から抽出すべき部分グラフを構成する単語を決定して部分グラフを抽出し、当該抽出された部分グラフを、元の文書の内容を図的に表現したグラフ形式のダイジェストとするステップと、
前記グラフ形式のダイジェストと、前記文書の文書本文へのポインタを並べて検索結果とするステップと
を具えたことを特徴とする文書検索プログラムを記録した、情報処理装置により読み取り可能な記録媒体。