JP2002245070A

JP2002245070A - データ表示方法及び装置並びにその処理プログラムを記憶した媒体

Info

Publication number: JP2002245070A
Application number: JP2001042690A
Authority: JP
Inventors: Natsuko Sugaya; 菅谷　　奈津子; Katsumi Tada; 勝己多田; Yoshifumi Sato; 佳史里; Tadataka Matsubayashi; 忠孝松林; Yasuhiko Inaba; 靖彦稲場; Mikihiko Tokunaga; 幹彦徳永
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2001-02-20
Filing date: 2001-02-20
Publication date: 2002-08-30
Also published as: US20020116398A1; CA2348420A1; CA2348420C; US6738786B2; EP1233349A3; EP1233349A2

Abstract

(57)【要約】【課題】分析条件である分析軸の各々の構成要素と共起
する頻度の高い語句を抽出するだけでは、どの構成要素
に対しても同じような語句が抽出されることとなり、
『７月』の「患者」、「症状」、『８月』の「検査」、「食品」
等、他の構成要素の共起語句にほとんど出現しない語句
の存在が埋もれてしまい、構成要素間の相違点をユーザ
に適切に提示することができない。【解決手段】各分析条件に合致する文書における複数の
語句の出現回数を算出して、前記算出された結果に基づ
いて前記語句を表示する。【効果】複数の文書の内容を好適にユーザが分析するこ
とが可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、予め登録された文
書のデータベースを対象として、指定された文書集合に
関する各種データを取得して表示するデータ表示方法お
よび装置に係る。

【０００２】

【従来の技術】近年、ワードプロセッサやパーソナルコ
ンピュータ等の普及により、これらによって作成される
電子化情報は増大してきている。また、WWW（World Wid
e Web）や電子メール、電子ニュース等から入手可能な
電子化情報も急速に増加している。そのため、これらの
電子化情報の内容を分析し、有効に活用することが企業
における重要な課題となっている。

【０００３】一般に多くの電子化情報はテキスト、すな
わち文章形式で記述されていることが多い。このような
テキスト情報、例えば自由回答形式のアンケート等は、
機械的に分析することが困難なため、従来人手による分
析が行われてきた。この人手による分析処理には以下の
ような問題がある。（１）処理対象文書を全て読まなけ
ればならず、文書が増加した場合には実用的ではない。
（２）主観的判断に基づき分析が行われるため、ユーザ
の知識や熟練度によって結果が異なる。このような、人
手による分析を支援する技術としてテキストマイニング
へのニーズが高まっている。テキストマイニングの処理
手順については、「テキストマイニング―膨大な文書デ
ータの自動分析による知識発見―」（那須川他、情報
処理学会誌、Vol.40、No.4、pp.358-364）や「単語の連
想関係によるテキストマイニング」（渡部他、情報処
理学会研究会情報学基礎55-8、pp.57-64）に具体的に記
載されている。以下、これを従来技術１と呼ぶ。テキス
トマイニングは、予め登録されたテキスト情報を対象と
して、処理対象情報に含まれる語句の共起関係や出現傾
向等から新たな知識を発見するものである。具体的に
は、処理対象文書集合に対して、分析を行う視点である
分析軸を設定し、分析軸の構成要素に対応付けて文書集
合の特徴を表す語句を取得する。ここで、「分析軸の構
成要素に対応付けて語句を取得する」とは、例えば「分析
軸の構成要素と予め定められた範囲内で共起する語句を
取得する」ことである。この語句を参照することによ
り、ユーザは文書集合の傾向をつかむことが可能とな
る。例えば、「Ｏ１５７」に関する新聞記事集合を、掲載
月を分析軸として分析する場合の例を図２に示す。すな
わち、「掲載月が『７月』である記事」、「掲載月が
『８月』である記事」、・・・といった条件を分析条件と
する。掲載月を分析軸として分析することにより、分析
軸の構成要素である『７月』と対応付けて「感染、患
者、症状、入院、…」、『８月』と対応付けて「衝撃、
給食、入院、集団感染、…」、『９月』と対応付けて
「売上、マイナス、食料品、生鮮、…」といった語句が
取得される。この語句を参照することにより、ユーザは
『７月』には「Ｏ１５７に感染した患者が入院」、『８
月』には「給食でＯ１５７に集団感染が発生」、『９
月』には「Ｏ１５７の影響で生鮮食品などの売上げが低
下」した話題が文書集合に存在するという傾向を把握す
ることが可能となる。

【０００４】図３のPAD（Problem Analysis Diagram）
図に従来技術１の処理手順の例を示す。まずステップ３
００で、テキストマイニングの処理対象となる文書集合
を限定する。アンケートのように予めある観点に基づい
て集められた文書データベースの場合にはそのまま処理
対象文書集合として設定したり、新聞記事のように、政
治や経済、スポーツ等の多様な観点が含まれる文書デー
タベースの場合にはユーザの分析目的に応じて全文検索
等を行い、文書集合を限定する。全文検索とは、登録時
に処理対象文書中のテキスト全体を計算機システムに入
力してデータベース化し、検索時には該当データベース
中からユーザの指定した文字列を含む全ての文書を探し
出す技術である。全文検索については、「カギを握るイ
ンデクス処理高速全文検索技術の現状と将来」（真
島、日経バイト、OCTOBER 1996、pp.158-167）に詳細に
記載されている。以下、これを従来技術２と呼ぶ。次に
ステップ３０１で、ステップ３００で設定した処理対象
文書集合から内容を特徴付ける語句（以下、特徴語句）
を抽出する。この特徴語句は辞書を参照して抽出しても
よいし、統計情報を用いて抽出してもよい。ここで、抽
出される特徴語句は単語に限るものではない。例えば、
辞書に２つ以上の単語からなる複合語などの語句（「病
原性大腸菌」のような語句）が登録されている場合など
には、このステップで抽出される特徴語句は２つ以上の
単語からなる語句であっても構わない。逆に、抽出され
る特徴語句は単語に限るものとしてもよい。そしてステ
ップ３０２で、分析を行う視点である分析軸を設定す
る。ここでは文書の書誌情報として付与されている日付
や年齢、性別等を分析軸として設定したり、指定された
語句を分析軸の構成要素として設定する。例えば、アン
ケートから年齢による意識の違いを知りたい場合には、
ここで年齢を分析軸として設定する。この場合、「20」や
「30」等の年齢を表す数値が分析軸の構成要素となる。最
後にステップ３０３で、ステップ３０２で設定した分析
軸の構成要素について、ステップ３０４の処理を繰り返
す。ステップ３０４では、ステップ３０１で抽出した特
徴語句の中から、分析軸の該当構成要素と関連の深い語
句、例えば予め定められた範囲内で共起する語句（以
下、共起語句）を取得する。予め定められた範囲内とし
ては、同一文書内、同一段落内、同一文章内またはｍ語
以内、ｎ文字以内（ｍ、ｎは整数）等を用いる。以上の
ように、従来技術１では、分析軸の構成要素に対応付け
て語句を取得することにより、ユーザが文書集合の傾向
を把握することを支援している。このように従来技術１
では、分析軸の構成要素に対応付けて、自動的に処理対
象文書集合を特徴付ける語句を取得しているため、ユー
ザの負担の軽減、ユーザによる分析結果の相違の低減が
図れる。

【０００５】

【発明が解決しようとする課題】以上説明した従来技術
１によると、分析軸の構成要素に対応付けて、自動的に
処理対象文書集合を特徴付ける語句を取得しており、ユ
ーザの負担を軽減し、ユーザの知識や熟練度による分析
結果の相違を低減することが可能となる。

【０００６】しかし、従来技術１には以下のような問題
がある。図４の分析例に示すように、単純に分析軸の各
々の構成要素と共起する頻度の高い語句を抽出するだけ
では、「病原性大腸菌」、「食中毒」、「感染」、「集団」等、
どの構成要素に対しても同じような語句(イタリック書
体で表したもの)が抽出されることとなり、『７月』の
「患者」、「症状」、『８月』の「検査」、「食品」等、他の構
成要素の共起語句にほとんど出現しない語句の存在が埋
もれてしまい、構成要素間の相違点をユーザに適切に提
示することができない。こうした問題に対し、本発明で
は、複数の文書の内容を好適にユーザが分析することが
可能となるデータ表示方法および装置を提供することに
ある。

【０００７】

【課題を解決するための手段】本発明では、上記課題を
以下のように解決する。

【０００８】各分析条件に合致する文書における複数の
語句の出現回数を算出し、前記算出された結果に基づい
て前記語句を表示することを特徴とするデータ表示方法
である。

【０００９】

【発明の実施の形態】従来技術１によると、分析軸の構
成要素に対応付けて、自動的に処理対象文書集合を特徴
付ける語句を取得しており、ユーザの負担を軽減し、ユ
ーザの知識や熟練度による分析結果の相違を低減するこ
とが可能となる。

【００１０】しかし、従来技術１には以下のような問題
がある。図４の分析例に示すように、単純に分析軸の各
々の構成要素と共起する頻度の高い語句を抽出するだけ
では、「病原性大腸菌」、「食中毒」、「感染」、「集団」等、
どの構成要素に対しても同じような語句(イタリック書
体で表したもの)が抽出されることとなり、『７月』の
「患者」、「症状」、『８月』の「検査」、「食品」等、他の構
成要素の共起語句にほとんど出現しない語句の存在が埋
もれてしまい、構成要素間の相違点をユーザに適切に提
示することができない。

【００１１】こうした問題に対し、本発明では以下の課
題を改善することを目的とする。すなわち、本発明の目
的は、分析軸の各々の構成要素と共起する語句の類似点
及び相違点を明確化することが可能なテキストマイニン
グ機能を提供することにより、ユーザが文書集合の傾向
を適切に分析することが可能となる文書処理システムを
提供することにある。上記課題を改善するために、本発
明では、以下の処理ステップを有する。すなわち、予め
登録された文書の集合を対象として、その全体または一
部分を取り出した処理対象文書集合に特徴的に出現する
語句を抽出する特徴語句抽出ステップと、指定された要
素を含む定義情報を設定する定義情報設定ステップと、
前記特徴語句抽出ステップで抽出した語句の中から前記
定義情報に含まれる各々の要素と予め定められた範囲内
で共起する共起語句を取得する共起語句取得ステップを
有するテキストマイニング方法であって、前記定義情報
に含まれる各々の要素間で共起語句を比較し、前記定義
情報に含まれる要素の多くと関わる共起語句を多重共起
語句として取得し、各々の要素の共起語句から多重共起
語句を排除した要素共起語句を作成する多重共起語句抽
出ステップを有するようにしている。

【００１２】上記文書検索方法を用いた本発明の原理を
説明する。テキストマイニング実行指示が入力された場
合には、テキストマイニングの処理対象となる文書集合
から内容を特徴付ける語句、すなわち特徴語句を抽出
し、その中から指定された分析軸の構成要素と関連の深
い語句、例えば予め定められた範囲内で共起する共起語
句を取得する。本処理内容は従来技術１と同様である。
その結果、図４に示すように分析軸の構成要素の各々に
対する共起語句を得ることができる。本発明ではさら
に、分析軸の構成要素間で共起語句を比較し、多くの構
成要素と関わる共起語句を多重共起語句として取得し、
各々の構成要素の共起語句から多重共起語句を排除した
要素共起語句を作成している。

【００１３】以下、図５及び図６の具体例を用いて説明
する。まず、分析軸の構成要素の多くと関わる共起語句
を多重共起語句として取得する。図５に示す例では、
「病原性大腸菌」、「食中毒」、「感染」、「集団」、…がほと
んどの構成要素に対する共起語句として取得されてお
り、これらの語句を多重共起語句として取得する。本図
に示す例では多くの構成要素の共起語句となった語句を
単純に多重共起語句として取得しているが、共起語句の
順位や共起の強さに応じて重みを付けるようにしても良
い。ここで共起の強さとは、その語句の各構成要素との
共起回数や、他の構成要素との共起回数によって算出さ
れる値である。たとえば、他の構成要素にはほとんど共
起しないのに、該当構成要素と多数共起するような特徴
語句は、該当構成要素との共起の強さが大きくなる。次
に、これらの多重共起語句を各々の構成要素の共起語句
から排除した要素共起語句を作成する。図５に示す例で
は、多重共起語句(イタリック書体で表したもの)として
取得した「病原性大腸菌」、「食中毒」、「感染」、「集団」、
…を各々の構成要素の共起語句から排除し、残された語
句を要素共起語句とする。ユーザに結果を提示する際に
は、例えば図６に示すように、多重共起語句を分析軸の
構成要素の類似話題として、要素共起語句を各々の構成
要素における話題として提示することが考えられる。本
図において、重要度として表示している数値はどれだけ
多くの構成要素と関係が深いかを表す度合いである。以
上説明したように、本方式では、分析軸の構成要素間で
共起語句を比較し、多くの構成要素と関わる共起語句を
多重共起語句として取得するとともに、この多重共起語
句を各々の構成要素の共起語句から排除した要素共起語
句を作成している。こうすることにより、分析軸の各々
の構成要素の類似点を多重共起語句として、相違点を要
素共起語句として明確化することができるため、ユーザ
が文書集合の傾向を適切に分析することが可能な文書処
理システムを提供することが可能となる。

【００１４】本発明の原理について図７のPAD図を用い
て説明する。テキストマイニング実行指示が入力された
場合には、まずステップ３００で、テキストマイニング
の処理対象となる文書集合を設定する。次にステップ３
０１で、ステップ３００で設定した処理対象文書集合か
ら内容を特徴付ける語句、すなわち特徴語句を抽出す
る。そしてステップ３０２で、分析を行う視点である分
析軸を設定する。次にステップ３０３で、ステップ３０
２で設定した分析軸の構成要素について、ステップ３０
４の処理を繰り返す。ステップ３０４では、ステップ３
０１で抽出した特徴語句の中から、分析軸の該当構成要
素と関連の深い語句、例えば予め定められた範囲内で共
起する共起語句を取得する。ステップ３００からステッ
プ３０４の処理内容は従来技術１と同様である。その結
果、図４に示すように分析軸の構成要素の各々に対する
共起語句を得ることができる。本発明ではさらに、分析
軸の構成要素間で共起語句を比較し、多くの構成要素と
関わる共起語句を多重共起語句として取得し、各々の構
成要素の共起語句から多重共起語句を排除した要素共起
語句を作成している。本発明では、ステップ７００で、
類似話題抽出指示が入力された場合には、ステップ７０
１で、分析軸の構成要素の多くと関わる共起語句を多重
共起語句として取得する。図５に示す例では、「病原性
大腸菌」、「食中毒」、「感染」、「集団」、…がほとんどの
構成要素に対する共起語句として取得されており、これ
らの語句を多重共起語句として取得する。本図に示す例
では多くの構成要素の共起語句となった語句を単純に多
重共起語句として取得しているが、共起語句の順位や共
起の強さに応じて重みを付けるようにしても良い。次
に、これらの多重共起語句を各々の構成要素の共起語句
から排除した要素共起語句を作成する。図５に示す例で
は、多重共起語句(イタリック書体で表したもの)として
取得した「病原性大腸菌」、「食中毒」、「感染」、「集団」、
…を各々の構成要素の共起語句から排除し、残された語
句を要素共起語句とする。ユーザに結果を提示する際に
は、例えば図６に示すように、多重共起語句を分析軸の
構成要素の類似話題として、要素共起語句を各々の構成
要素における話題として提示することが考えられる。本
図において、重要度として表示している数値はどれだけ
多くの構成要素と関係が深いかを表す度合いである。ま
た、多重共起語句として取得する共起語句の制限をゆる
め、重要度の低い共起語句までを多重共起語句として抽
出すると、要素共起語句として各々の構成要素に固有な
共起語句を取得できるため、各々の構成要素に固有な話
題を提示することも可能である。以上説明したように、
本実施例に示す方法では、分析軸の構成要素間で共起語
句を比較し、多くの構成要素と関わる共起語句を多重共
起語句として取得するとともに、この多重共起語句を各
々の構成要素の共起語句から排除した要素共起語句を作
成している。こうすることにより、分析軸の各々の構成
要素の類似点を多重共起語句として、相違点を要素共起
語句として明確化することができるため、ユーザが文書
集合の傾向を適切に分析することが可能な文書処理シス
テムを提供することが可能となる。

【００１５】本発明の実施例の構成を図１に示す。本発
明を適用した文書処理システムは、図１に示すように、
ディスプレイ１００、キーボード１０１、中央演算処理
装置（ＣＰＵ）１０２、フロッピディスクドライブ（Ｆ
ＤＤ）１０４、磁気ディスク装置１０６、主記憶装置１
０８及びこれらを結ぶバス１０３から構成される。磁気
ディスク装置１０６は二次記憶装置の一つであり、テキ
ストファイル１０７が格納される。フロッピディスク１
０５に格納されている情報は、ＦＤＤ１０４によりアク
セスされる。ＦＤＤ１０４や磁気ディスク装置１０６
は、通信回線（図１には示していない）等で接続された
他の装置と接続するような構成をとってもかまわない。

【００１６】主記憶装置１０８には、システム制御プロ
グラム１０９、処理対象文書集合設定プログラム１１
０、検索プログラム１１１、特徴語句抽出プログラム１
１２、分析軸設定プログラム１１３、共起語句取得プロ
グラム１１４、類似話題抽出プログラム１１５、多重共
起語句取得プログラム１１６、多重共起語句排除プログ
ラム１１７が格納されるとともにワークエリア１１８が
確保される。以上のプログラムは磁気ディスク装置１０
６、フロッピディスク１０５等のコンピュータで読み書
きできる記憶媒体に格納することもできる。

【００１７】以下、本発明の実施例の処理内容につい
て、図８を用いて説明する。システム制御プログラム１
０９はキーボード１０１からのテキストマイニング実行
指示や、他のプログラムからの関数呼び出し等を受け起
動し、処理対象文書集合設定プログラム１１０、特徴語
句抽出プログラム１１２、分析軸設定プログラム１１
３、共起語句取得プログラム１１４及び類似話題抽出プ
ログラム１１５の制御を行う。

【００１８】システム制御プログラム１０９は、まずス
テップ８００で処理対象文書集合設定プログラム１１０
を起動し、テキストファイル１０７の中からテキストマ
イニングの処理対象となる文書集合を限定する。テキス
トファイル１０７がアンケートのように予めある観点に
基づいて集められた文書データベースの場合にはそのま
ま処理対象文書集合として設定したり、新聞記事のよう
に、政治や経済、スポーツ等の多様な観点が含まれる文
書データベースの場合にはユーザの分析目的に応じて全
文検索等を行い、文書集合を限定する。全文検索等を用
いて処理対象文書集合を設定する際には、処理対象文書
集合設定プログラム１１０は検索プログラム１１１を起
動し、指定された検索条件でテキストファイル１０７を
検索し、その検索結果集合を処理対象文書集合として設
定する。検索プログラム１１１には従来技術２で示した
ような既存の検索技術を用いる。次にステップ８０１で
特徴語句抽出プログラム１１２を起動し、ステップ８０
０で設定した処理対象文書集合から内容を特徴付ける語
句である特徴語句を抽出する。この特徴語句は、辞書等
を参照して抽出してもよいし、統計情報を用いて抽出し
てもよい。さらには、同義語辞書等を用いて同じ意味を
持つ語句をまとめて、単一の語句に置き換えるような処
理を施してもよい。ここで、抽出される特徴語句は単語
に限るものではない。例えば、辞書に２つ以上の単語か
らなる複合語などの語句が登録されている場合などに
は、このステップで抽出される特徴語句は２つ以上の単
語からなる語句であっても構わない。逆に、抽出される
特徴語句は単語に限るものとしてもよい。

【００１９】次にステップ８０２で分析軸設定プログラ
ム１１３を起動し、分析を行う視点である分析軸を設定
する。ここでは文書の書誌情報として付与されている日
付や年齢、性別等を分析軸として設定したり、指定され
た語句を分析軸の構成要素として設定する。例えば、ア
ンケートから年齢による意識の違いを知りたい場合に
は、ここで年齢を分析軸として設定する。この場合、「2
0」や「30」等の年齢を表す数値が分析軸の構成要素とな
る。そしてステップ８０３で共起語句取得プログラム１
１４を起動し、ステップ８０２で設定した分析軸の構成
要素について、ステップ８０４の処理を繰り返す。ステ
ップ８０４では、ステップ８０１で抽出した特徴語句の
中から、分析軸の該当構成要素と関連の深い語句を取得
する。例えば、書誌情報として付与されている年齢や性
別等を分析軸の構成要素とする場合、該当する書誌情報
が付与されている文書から抽出された特徴語句を、その
書誌情報と関連の深い語句として取得する。例えば上述
のアンケートの例で、年齢を分析軸とした場合、年齢が
「20」と付与されている文書から抽出された特徴語句を、
「20」という構成要素と関連の深い語句として取得する。
また、指定された語句を分析軸の構成要素とする場合に
は、例えば予め定められた範囲内でその語句と共起する
共起語句を取得する。予め定められた範囲内としては、
同一文書内、同一段落内、同一文章内またはｍ語以内、
ｎ文字以内（ｍ、ｎは整数）等を用いることができる。
このステップ８００からステップ８０４までの処理は従
来技術１と同様である。本実施例ではさらに、ステップ
８０５で類似話題抽出指示がキーボード１０１から入力
されたり、他のプログラムからの関数呼び出し等を受け
た場合には、ステップ８０６で類似話題抽出プログラム
１１５を起動し、類似話題抽出処理を行う。

【００２０】類似話題抽出プログラム１１５における類
似話題抽出処理の処理内容を図９に示す。類似話題抽出
プログラム１１５は、まずステップ９００で、ステップ
８０１で取得した各特徴語句について、共起する分析軸
の構成要素の数に基づいて重要度を算出する。次にステ
ップ９０１で、ステップ９００において算出した重要度
が所定の値を超える特徴語句を、多重共起語句として抽
出する。そしてステップ９０２で、多重共起語句排除プ
ログラム１１７を起動し、分析軸の構成要素について、
ステップ９０３の処理を繰り返す。ステップ９０３で
は、ステップ９０１で取得した多重共起語句を、該当構
成要素の共起語句から排除した要素共起語句を作成す
る。

【００２１】以下、本実施例における処理内容を図８に
沿って具体的に説明する。システム制御プログラム１０
９は、まずステップ８００で処理対象文書集合設定プロ
グラム１１０を起動し、テキストファイル１０７の中か
らテキストマイニングの処理対象となる文書集合を限定
する。テキストファイル１０７がアンケートのように予
めある観点に基づいて集められた文書データベースの場
合にはそのまま処理対象文書集合として設定したり、新
聞記事のように、政治や経済、スポーツ等の多様な観点
が含まれる文書データベースの場合にはユーザの分析目
的に応じて全文検索等を行い、文書集合を限定する。全
文検索等を用いて処理対象文書集合を設定する際には、
処理対象文書集合設定プログラム１１０は検索プログラ
ム１１１を起動し、指定された検索条件でテキストファ
イル１０７を検索し、その検索結果集合を処理対象文書
集合として設定する。検索プログラム１１１には従来技
術２で示したような既存の検索技術を用いる。図１０に
新聞記事データベース中の「Ｏ１５７」関連記事をテキス
トマイニングする場合の例を示す。本図に示す例では、
テキストファイル１０７には新聞記事データベースが格
納されている。そこで、検索プログラム１１１を用いて
本データベースを新聞記事全文に「Ｏ１５７」を含むもの
に限定し、処理対象文書集合として文書００１２、文書
０１３０、文書０２９３、文書０５３５、文書０８２
９、…を得る。ここで、処理対象文書が構造化文書であ
る場合には、任意の構造に「Ｏ１５７」を含むものに限定
するといった方法をとっても構わない。

【００２２】次にステップ８０１で特徴語句抽出プログ
ラム１１２を起動し、ステップ８００で設定した処理対
象文書集合から内容を特徴付ける語句である特徴語句を
抽出する。この特徴語句は、辞書等を参照して抽出して
もよいし、統計情報を用いて抽出してもよい。さらに
は、同義語辞書等を用いて同じ意味を持つ語句をまとめ
て、単一の語句に置き換えるような処理を施してもよ
い。ここで、抽出される特徴語句は単語に限るものでは
ない。例えば、辞書に２つ以上の単語からなる複合語な
どの語句が登録されている場合などには、このステップ
で抽出される特徴語句は２つ以上の単語からなる語句で
あっても構わない。逆に、抽出される特徴語句は単語に
限るものとしてもよい。図１０に示す例では、ステップ
８００で設定した処理対象文書集合から特徴語句として
「小学校、集団、感染、病原性大腸菌、食中毒、患者、
腹痛、出血性、下痢、症状、入院、家庭、二次感染、ス
ーパー、生鮮食料品、売上、打撃、…」が抽出されてい
る。

【００２３】次にステップ８０２で分析軸設定プログラ
ム１１３を起動し、分析を行う視点である分析軸を設定
する。ここでは文書の書誌情報として付与されている日
付や年齢、性別等を分析軸として設定したり、指定され
た語句を分析軸の構成要素として設定する。図１０に示
す例では、新聞記事の書誌情報として付与されている掲
載月を分析軸として設定している。すなわち、「掲載月
が『７月』である記事」、「掲載月が『８月』である記
事」、・・・といった条件を分析条件とする。そしてステ
ップ８０３で共起語句取得プログラム１１４を起動し、
ステップ８０２で設定した分析軸の構成要素について、
ステップ８０４の処理を繰り返す。

【００２４】ステップ８０４では、ステップ８０１で抽
出した特徴語句の中から、分析軸の該当構成要素と関連
の深い語句を取得する。図１０の例では、新聞記事の書
誌情報である掲載月を分析軸として設定している。した
がって分析軸の構成要素である『７月』と関連の深い語
句として、掲載月が『７月』である新聞記事から抽出さ
れた「病原性大腸菌、食中毒、感染、対策、衛生、…」
が取得されている。このとき語句の一覧表示の方法とし
ては、掲載月が『７月』である新聞記事に出現する回数
の順にソートして、『７月』と関連の深い語句として表
示するなどが考えられる。また、全データベース内で出
現文書数が少ない語句ほど上位に表示されるようにソー
トするなどしても良い。すなわち、掲載月が『７月』の
新聞記事には「病原性大腸菌、食中毒、感染、対策、衛
生、…」といった語句が多く出現していたということを
意味している。同様に『８月』と関連の深い語句とし
て、掲載月が『８月』である新聞記事から抽出された
「病原性大腸菌、感染、食中毒、対策、集団、…」が取
得されている。また『９月』と関連の深い語句として、
掲載月が『９月』である新聞記事から抽出された「病原
性大腸菌、食中毒、対策、集団、感染、…」が取得され
ている。このステップ８００からステップ８０４までの
処理は従来技術１と同様である。

【００２５】本実施例ではさらに、ステップ８０５で類
似話題抽出指示がキーボード１０１から入力されたり、
他のプログラムからの関数呼び出し等を受けた場合に
は、ステップ８０６で類似話題抽出プログラム１１５を
起動し、類似話題抽出処理を行う。以下、この類似話題
抽出処理について図９に沿って具体的に説明する。類似
話題抽出プログラム１１５は、まずステップ９００で、
ステップ８０１で取得した各特徴語句について、共起す
る分析軸の構成要素の数に基づいて重要度を算出する。
図１０に示した例では、「病原性大腸菌」という特徴語句
は、６つの分析軸の構成要素のうち６つ全てに共起して
いることがわかる。そのため例えば、重要度を６／６＝
１００％と算出する。また例えば「集団食中毒」という特
徴語句は、６つの分析軸の構成要素のうち４つに共起し
ているため、重要度を４／６＝６７％と算出する。この
とき、各構成要素毎に出現回数の降順に各特徴語句をソ
ートして、所定の順位以降にソートされる特徴語句は、
その構成要素と共起しているものとしてカウントしない
などの方法を用いても良い。また、例えば掲載月が『７
月』である新聞記事に所定数以上出現していない特徴語
句は、『７月』と共起しているものとしてカウントしな
いなどの方法を用いても良い。

【００２６】次にステップ９０１で、ステップ９００に
おいて算出した重要度が所定の閾値を超える特徴語句
を、多重共起語句として抽出する。図１１に多重共起語
句取得の例を示す。本図に示す例は、図１０で示した分
析軸の各構成要素と共起する特徴語句のうち共起回数の
上位１０個の特徴語句から、多重共起語句を取得する例
である。前述の閾値として「５０％」という値を設定し
ているものとする。例えば、「病原性大腸菌」、「食中
毒」、「感染」、「集団」といった語句は、『７月』から「１
２月」までの全ての構成要素と共起しているため重要度
が１００％と算出され、所定の閾値を超えるので、多重
共起語句として取得されている。また「対策」という語句
は、６つの構成要素のうち「１０月」を除く５つの構成要
素と共起しているため重要度が８３％と算出され、所定
の閾値を超えるので、多重共起語句として取得されてい
る。そしてステップ９０２で、多重共起語句排除プログ
ラム１１７を起動し、分析軸の構成要素について、ステ
ップ９０３の処理を繰り返す。ステップ９０３では、ス
テップ９０１で取得した多重共起語句を、該当構成要素
の共起語句から排除した要素共起語句を作成する。図１
２に多重共起語句排除の例を示す。本図に示す例では、
多重共起語句(イタリック書体で表したもの)として取得
した「病原性大腸菌」、「食中毒」、「感染」、「集団」、…を
各々の構成要素の共起語句から排除し、要素共起語句を
作成する。

【００２７】ユーザに結果を提示する際には、例えば図
６に示すように、多重共起語句を分析軸の構成要素の類
似話題として、要素共起語句を各々の構成要素における
話題として提示することが考えられる。本図において、
重要度として表示している数値はどれだけ多くの構成要
素と関係が深いかを表す度合いである。また、多重共起
語句として取得する共起語句の制限をゆるめ、重要度の
低い共起語句までを多重共起語句として抽出すると、要
素共起語句として各々の構成要素に固有な共起語句を取
得できるため、各々の構成要素に固有な話題を提示する
ことも可能である。さらに、多重共起語句、要素共起語
句あるいは両者とも結果として表示することを、画面上
で選択できるようにすることも可能である。また、多重
共起語句として抽出する共起語句の重要度のしきい値を
画面上で指定できるようにすることも可能である。

【００２８】以上が本実施例における処理内容の詳細な
説明である。以上説明したように、本実施例に示す方法
では、分析軸の構成要素間で共起語句を比較し、多くの
構成要素と関わる共起語句を多重共起語句として取得す
るとともに、この多重共起語句を各々の構成要素の共起
語句から排除した要素共起語句を作成している。こうす
ることにより、分析軸の各々の構成要素の類似点を多重
共起語句として、相違点を要素共起語句として明確化し
た分析結果を、ユーザに提示することが可能なテキスト
マイニング機能を実現することができる。この結果、ユ
ーザが文書集合の傾向を適切に分析できる文書処理シス
テムを提供することが可能となる。

【００２９】なお、本実施例では、処理対象となる文書
集合を、単語を指定した全文検索を用いて限定する場合
を例として説明したが、データベースに格納されている
文書集合全体を処理対象文書集合としたり、文章や文書
を検索条件として用いて検索した結果を処理対象文書集
合とする場合についても同様の処理が可能である。ま
た、本実施例では、指定された書誌情報を分析軸として
テキストマイニングを行う場合を例として説明したが、
指定された語句を構成要素とする分析軸を用いてテキス
トマイニングを行う場合についても同様の処理が可能で
ある。この場合は、処理対象文書集合から抽出した特徴
語句を提示し、その中から構成要素を選択させたり、任
意の語句をキーボードから入力させたりすることにより
実現できる。また、分析軸の構成要素間で共起語句を比
較し、多くの構成要素と関係深い共起語句を多重共起語
句として取得するとともに、この多重共起語句を各々の
構成要素の共起語句から排除した要素共起語句を作成し
ている。この結果、分析軸の各々の構成要素の類似点を
多重共起語句として、相違点を要素共起語句として明確
化した分析結果を提示することができるテキストマイニ
ング機能を提供することが可能となり、ユーザが文書集
合の傾向を適切に分析することが可能な文書処理システ
ムを実現することができる。

【００３０】

【発明の効果】本発明によれば、複数の文書の内容を好
適にユーザが分析すること可能になる。

【図面の簡単な説明】

【図１】本発明の実施例の構成を示す図。

【図２】従来技術１の説明図。

【図３】従来技術１の処理内容を示すＰＡＤ図。

【図４】従来技術１の問題点の説明図。

【図５】本発明の多重共起語句抽出の処理内容を示す
図。

【図６】本発明の表示例を示す図。

【図７】本発明の実施例の原理を示すＰＡＤ図。

【図８】本発明の実施例の処理内容を示すＰＡＤ図。

【図９】本発明の実施例の類似話題抽出処理の内容を示
すＰＡＤ図。

【図１０】本発明の実施例の分析処理の内容を示す図。

【図１１】本発明の実施例の多重共起語句取得処理の内
容を示す図。

【図１２】本発明の実施例の多重共起語句排除処理の内
容を示す図。

【符号の説明】１００・・・ディスプレイ、１０１・・・キーボード、
１０２・・・ＣＰＵ、１０３・・・バス、１０４・・
・フロッピディスクドライバ、１０５・・・フロッピデ
ィスク、１０６・・・磁気ディスク装置、１０７・・・
テキストファイル、１０８・・・主記憶装置、１０９・
・・システム制御プログラム、１１０・・・処理対象文
書集合設定プログラム、１１１・・・検索プログラム、
１１２・・・特徴語句抽出プログラム、１１３・・・分
析軸設定プログラム、１１４・・・共起語句取得プログ
ラム、１１５・・・類似話題抽出プログラム、１１６・
・・多重共起語句取得プログラム、１１７・・・多重共
起語句排除プログラム、１１８・・・ワークエリア

───────────────────────────────────────────────────── フロントページの続き (72)発明者里佳史神奈川県川崎市幸区鹿島田890番地株式会社日立製作所ビジネスソリューション事業部内 (72)発明者松林忠孝神奈川県川崎市幸区鹿島田890番地株式会社日立製作所ビジネスソリューション事業部内 (72)発明者稲場靖彦神奈川県川崎市幸区鹿島田890番地株式会社日立製作所ビジネスソリューション事業部内 (72)発明者徳永幹彦神奈川県横浜市戸塚区戸塚町5030番地株式会社日立製作所ソフトウェア事業部内Ｆターム(参考） 5B075 ND03 NK31 NK35 PQ02 PR04 QP03

Claims

【特許請求の範囲】

【請求項１】各分析条件に合致する文書における複数の
語句の出現回数を算出するステップと、前記算出された
結果に基づいて前記語句を表示するステップとを特徴と
するデータ表示方法。
【請求項２】前記各分析条件とは、前記文書に関連付け
られている情報であることを特徴とする請求項1記載の
データ表示方法。
【請求項３】前記語句を表示するステップは、前記分析
条件ごとに表示することを特徴とする請求項1記載のデ
ータ表示方法。
【請求項４】予め登録された文書の集合を対象として、
その全体または一部分を取り出した処理対象文書集合に
特徴的に出現する語句を抽出する特徴語句抽出ステップ
と、指定された要素を含む定義情報を設定する定義情報
設定ステップと、該特徴語句抽出ステップで抽出した語
句の中から該定義情報に含まれる各々の要素と関連する
度合いが高い関連語句を取得する関連語句取得ステップ
を有するテキストマイニング方法において、該定義情報に含まれる各々の要素間で関連語句を比較
し、該定義情報に含まれる要素の多くと関連する関連語
句を多重関連語句として抽出する多重関連語句抽出ステ
ップを有することを特徴としたテキストマイニング方
法。
【請求項５】請求項４記載のテキストマイニング方法に
おいて、前記定義情報に含まれる各々の要素と関連する度合いが
高い関連語句とは、該定義情報に含まれる各々の要素と
予め定められた範囲内で共起する共起語句であることと
し、前記関連語句取得ステップは、前記特徴語句抽出ステッ
プで抽出した語句の中から該定義情報に含まれる各々の
要素と予め定められた範囲内で共起する共起語句を取得
する共起語句取得ステップであり、前記多重関連語句抽出ステップは、該定義情報に含まれ
る各々の要素間で共起語句を比較し、該定義情報に含ま
れる要素の多くと関わる共起語句を多重共起語句として
抽出する多重共起語句抽出ステップであることを特徴と
したテキストマイニング方法。
【請求項６】請求項４記載のテキストマイニング方法に
おいて、前記処理対象文書集合は、語句または文章または文書を
検索条件として用いて検索を行うことにより得られた文
書集合であることを特徴としたテキストマイニング方
法。
【請求項７】請求項４記載のテキストマイニング方法に
おいて、前記多重関連語句抽出ステップは、前記定義情報に含ま
れる各々の要素間で関連語句を比較し、該定義情報に含
まれる要素の多くと関連する関連語句を多重関連語句と
して取得する多重関連語句取得ステップと、該定義情報に含まれる各々の要素の関連語句から該多重
関連語句を排除した要素関連語句を作成する多重関連語
句排除ステップを有することを特徴としたテキストマイ
ニング方法。
【請求項８】請求項５記載のテキストマイニング方法に
おいて、前記多重共起語句抽出ステップは、前記定義情報に含ま
れる各々の要素間で共起語句を比較し、該定義情報に含
まれる要素の多くと関わる共起語句を多重共起語句とし
て取得する多重共起語句取得ステップと、該定義情報に含まれる各々の要素の共起語句から該多重
共起語句を排除した要素共起語句を作成する多重共起語
句排除ステップを有することを特徴としたテキストマイ
ニング方法。
【請求項９】請求項８記載のテキストマイニング方法に
おいて、前記定義情報に含まれる要素の多くと関わる共起語句と
は、予め定められた数以上の要素の共起語句として抽出
された語句であることを特徴としたテキストマイニング
方法。
【請求項１０】請求項８記載のテキストマイニング方法
において、前記定義情報に含まれる要素の多くと関わる共起語句と
は、該共起語句の該定義情報に含まれる各々の要素との
共起の強さと共起する要素の数を基に算出した値が予め
定められた値以上となる語句であることを特徴としたテ
キストマイニング方法。
【請求項１１】請求項９記載のテキストマイニング方法
において、前記多重共起語句取得ステップは、予め定められた算出
式で前記多重共起語句の重要度を算出する重要度算出ス
テップを有することを特徴としたテキストマイニング方
法。
【請求項１２】請求項１０記載のテキストマイニング方
法において、前記多重共起語句取得ステップは、予め定められた算出
式で前記多重共起語句の重要度を算出する重要度算出ス
テップを有することを特徴としたテキストマイニング方
法。
【請求項１３】請求項１１記載のテキストマイニング方
法において、前記重要度は、前記多重共起語句が共起語句となった要
素の数を用いて予め定められた算出式で算出することを
特徴としたテキストマイニング方法。
【請求項１４】請求項１２記載のテキストマイニング方
法において、前記重要度は、前記多重共起語句の前記定義情報に含ま
れる各々の要素との共起の強さと共起する要素の数を用
いて予め定められた算出式で算出することを特徴とした
テキストマイニング方法。
【請求項１５】請求項７記載のテキストマイニング方法
において、前記多重関連語句取得ステップで取得した多重関連語句
と、前記多重関連語句排除ステップで作成した要素関連
語句を提示する関連語句提示ステップを有することを特
徴としたテキストマイニング方法。
【請求項１６】請求項８記載のテキストマイニング方法
において、前記多重共起語句取得ステップで取得した多重共起語句
と、前記多重共起語句排除ステップで作成した要素共起
語句を提示する共起語句提示ステップを有することを特
徴としたテキストマイニング方法。
【請求項１７】請求項１１または請求項１２記載のテキ
ストマイニング方法において、前記多重共起語句取得ステップで取得した多重共起語句
及び重要度と、前記多重共起語句排除ステップで作成し
た要素共起語句を提示する共起語句提示ステップを有す
ることを特徴としたテキストマイニング方法。
【請求項１８】予め登録された文書の集合を対象とし
て、その全体または一部分を取り出した処理対象文書集
合に特徴的に出現する語句を抽出する特徴語句抽出手段
と、指定された要素を含む定義情報を設定する定義情報
設定手段と、該特徴語句抽出手段で抽出した語句の中か
ら該定義情報に含まれる各々の要素と関連する度合いが
高い関連語句を取得する関連語句取得手段を備えるテキ
ストマイニング装置において、該定義情報に含まれる各々の要素間で関連語句を比較
し、該定義情報に含まれる要素の多くと関連する関連語
句を多重関連語句として抽出する多重関連語句抽出手段
を備えることを特徴としたテキストマイニング装置。
【請求項１９】予め登録された文書の集合を対象とし
て、その全体または一部分を取り出した処理対象文書集
合に特徴的に出現する語句を抽出する特徴語句抽出モジ
ュールと、指定された要素を含む定義情報を設定する定
義情報設定モジュールと、該特徴語句抽出モジュールで
抽出した語句の中から該定義情報に含まれる各々の要素
と関連する度合いが高い関連語句を取得する関連語句取
得モジュールを含むテキストマイニングシステムを構築
するためのプログラムを格納した記憶媒体において、該定義情報に含まれる各々の要素間で関連語句を比較
し、該定義情報に含まれる要素の多くと関連する関連語
句を多重関連語句として抽出する多重関連語句抽出モジ
ュールを含むことを特徴とした記憶媒体。