JP3571231B2

JP3571231B2 - 情報自動分類方法および装置と情報自動分類プログラムを記録した記録媒体

Info

Publication number: JP3571231B2
Application number: JP28162198A
Authority: JP
Inventors: 正之杉崎; 雅且大久保; 大二郎森; 一男田中
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1998-10-02
Filing date: 1998-10-02
Publication date: 2004-09-29
Anticipated expiration: 2018-10-02
Also published as: JP2000112971A

Description

【０００１】
【発明の属する技術分野】
本発明は、多量の文書データ等の情報を複数のカテゴリに分類する情報自動分類方法および装置と情報自動分類プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
近年、インターネットなどのコンピュータネットワークを通じて、大量の電子化された文書をやり取りできるようになっている。そのため、個人が必要とする情報を探索できるようなサービスがネットワーク上で実現されている。しかし、そのために自分が獲得した情報が大量になってしまい、個々の情報の持つ特徴を抽出することが困難となる。そこで、獲得した情報を分類し整理する技術が必要となる。
【０００３】
従来から文書情報を自動的に分類する手法の研究が行われている。代表的な手法としては、図書館のように分類するための区切り（カテゴリと呼ぶ）が既知で、新規の情報に対しそれぞれ適切と思われるカテゴリに分類する手法（“分類体系相互の関係を利用したテキストの自動分類”山本，増山（豊橋技術科学大学）内藤（ＮＴＴ），自然言語学会研究会１９９５）や、分類するカテゴリが未知で、文書集合の中から類似する文書を集めて分類カテゴリを作成し割り当てるという方法（“競合学習ニューラルネットワークによる自動分割”菊池，松岡ら（宇都宮大他），電子情報通信学会論文誌１９９５）などがある。これらの技術により、大量の文書の分類整理を行う。
【０００４】
本発明が対象としている分類手法は、あらかじめ分類するためのカテゴリが既知の場合の手法である。このような手法の従来技術においては、あらかじめ分類するためのカテゴリと、そこに入るべきサンプルの文書または単語をシステムに対して与えると、システムはそれらの情報から単語の重要度を計算し、カテゴリの特徴として単語とそのカテゴリに対する重要度が対のベクトルを生成する。分類する文書に対しても同様に、単語と文書に対する重要度を計算し、ベクトルを生成する（“ＡｕｔｏｍａｔｉｃＴｅｘｔＰｒｏｃｅｓｓｉｎｇ”ＧｅｒａｒｄＳａｌｔｏｎ，ＡＤＤＩＳＯＮ−ＷＥＳＬＥＹｐｕｄ，１９８９）。
【０００５】
カテゴリｉそれぞれに生成される特徴ベクトルＷ_ｉは、

となる。ちなみに、Ｎは次元数を表している。同様に分類対象となる文書に対しても特徴ベクトルを生成する。
【０００６】
分類は、カテゴリの持つ特徴ベクトルと文書の持つ特徴ベクトルとの距離を定義し、その値を利用して各文書を類似するカテゴリに割り当てる。また、距離が非常に離れている、すなわち、どのカテゴリとも類似しないと判断した場合は、どのカテゴリにも割り当てない。
【０００７】
【発明が解決しようとする課題】
従来の手法では、分類したいカテゴリの総数や出現する単語の数が多ければ多いほど、その数に比例して計算時間も増大するという問題がある。
【０００８】
本発明は、上記に鑑みてなされたもので、その目的とするところは、多量の文書データ等の情報を複数のカテゴリに短時間で効率的に分類し得る情報自動分類方法および装置と情報自動分類プログラムを記録した記録媒体を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の本発明は、多量の情報を複数のカテゴリに分類する情報自動分類方法であって、予め入力され自然言語で記述された文書データを記憶する第１のステップと、予め入力された分類するためのカテゴリとその特徴から特徴ベクトルを計算し記憶する第２のステップと、予め入力された分類基準を記憶する第３のステップと、前記第２のステップで記憶されたカテゴリおよびその特徴と前記第３のステップで記憶された分類基準とを用いて、カテゴリを新規に作成し、前記第２のステップで記憶されたカテゴリで類似したものを同一の中間カテゴリに割り当てる第４のステップと、前記第２のステップで記憶されたカテゴリと前記第４のステップで得たカテゴリとを用いて、前記文書データを分類する第５のステップとを有することを要旨とする。
【００１０】
請求項１記載の本発明にあっては、文書データを入力して記憶し、分類するためのカテゴリとその特徴を入力し、この入力されたカテゴリと特徴から特徴ベクトルを計算し記憶し、分類基準を入力して記憶し、前記入力されたカテゴリおよびその特徴と前記分類基準とを用いて、カテゴリを新規に作成し、前記入力されたカテゴリで類似したものを同一の中間カテゴリに割り当て、この処理で得たカテゴリと前記入力されたカテゴリとを用いて、入力された文書データを分類するため、多量の文書データを複数のカテゴリに短時間で効率的に分類することができる。
【００１１】
また、請求項２に記載の本発明は、請求項１において、前記第４のステップは、前記カテゴリとその特徴に対して当該カテゴリ間の距離関数を分類基準に応じて作成し、この作成した距離関数を用いて前記カテゴリ間の距離を計算して中間カテゴリを生成することを要旨とする。
【００１２】
請求項２記載の本発明にあっては、入力されたカテゴリとその特徴に対してカテゴリ間の距離関数を分類基準に応じて作成し、この距離関数を用いて入力カテゴリ間の距離を計算して中間カテゴリを生成する。
【００１３】
また、請求項３に記載の本発明は、請求項１または２において、前記第５のステップは、第４のステップで生成した中間カテゴリへの分類を行い、この分類結果と前記分類基準とに基づいて前記カテゴリへの分類の要否を決定することを要旨とする。
【００１４】
請求項３記載の本発明にあっては、前記生成した中間カテゴリへの分類を行い、この分類結果と分類基準とに基づいて入力カテゴリへの分類の要否を決定する。
【００１５】
また、請求項４に記載の本発明は、多量の情報を複数のカテゴリに分類する情報自動分類装置であって、自然言語で記述された文書データを予め入力するための文書入力部と、前記文書入力部に入力された文書データを記憶する文書記憶部と、分類するためのカテゴリとその特徴を予め入力するためのカテゴリ情報入力部と、前記カテゴリ情報入力部に入力されたカテゴリと特徴から特徴ベクトルを計算し記憶するカテゴリ情報記憶部と、分類基準を予め入力するための分類基準入力部と、前記分類基準入力部に入力された分類基準を記憶する分類基準記憶部と、前記カテゴリ情報入力部に入力されたカテゴリおよびその特徴と前記分類基準入力部に入力された分類基準とを用いて、カテゴリを新規に作成し、前記カテゴリ情報入力部に入力されたカテゴリで類似したものを同一の中間カテゴリに割り当てる中間カテゴリ計算部と、前記カテゴリ情報入力部に入力されたカテゴリと前記中間カテゴリ計算部で得たカテゴリとを用いて、前記文書入力部に入力された文書データを分類する実カテゴリ計算部とを有することを要旨とする。
【００１６】
請求項４記載の本発明にあっては、文書データを入力して記憶し、分類するためのカテゴリとその特徴を入力し、この入力されたカテゴリと特徴から特徴ベクトルを計算し記憶し、分類基準を入力して記憶し、前記入力されたカテゴリおよびその特徴と前記分類基準とを用いて、カテゴリを新規に作成し、前記入力されたカテゴリで類似したものを同一の中間カテゴリに割り当て、この処理で得たカテゴリと前記入力されたカテゴリとを用いて、入力された文書データを分類するため、多量の文書データを複数のカテゴリに短時間で効率的に分類することができる。
【００１７】
また、請求項５に記載の本発明は、請求項４において、前記中間カテゴリ計算部は、前記カテゴリ情報入力部に入力されたカテゴリとその特徴に対してカテゴリ間の距離関数を分類基準に応じて作成し、この作成した距離関数を用いて前記カテゴリ情報入力部に入力されたカテゴリ間の距離を計算して中間カテゴリを生成することを要旨とする。
【００１８】
請求項５記載の本発明にあっては、入力されたカテゴリとその特徴に対してカテゴリ間の距離関数を分類基準に応じて作成し、この距離関数を用いて入力カテゴリ間の距離を計算して中間カテゴリを生成する。
【００１９】
また、請求項６に記載の本発明は、請求項４または５において、前記実カテゴリ計算部は、前記中間カテゴリ計算部で生成した中間カテゴリへの分類を行い、この分類結果と前記分類基準入力部に入力された分類基準とに基づいて前記カテゴリ情報入力部で入力されたカテゴリへの分類の要否を決定することを要旨とする。
【００２０】
請求項６記載の本発明にあっては、前記生成した中間カテゴリへの分類を行い、この分類結果と分類基準とに基づいて入力カテゴリへの分類の要否を決定する。請求項７記載の本発明は、多量の情報を複数のカテゴリに分類する情報自動分類プログラムを記録した記録媒体であって、自然言語で記述された文書データを入力する第１の処理と、第１の処理で入力された文書データを記憶する第２の処理と、分類するためのカテゴリとその特徴を入力する第３の処理と、第３の処理で入力されたカテゴリと特徴から特徴ベクトルを計算し記憶する第４の処理と、分類基準を入力する第５の処理と、第５の処理で入力された分類基準を記憶する第６の処理と、第３の処理で入力されたカテゴリおよびその特徴と第５の処理で入力された分類基準とを用いて、カテゴリを新規に作成し、第３の処理で入力されたカテゴリで類似したものを同一の中間カテゴリに割り当てる第７の処理と、第３の処理で入力されたカテゴリと第７の処理で得たカテゴリとを用いて、第１の処理で入力された文書データを分類する第８の処理とを有する情報自動分類プログラムを記録媒体に記録することを要旨とする。
【００２１】
また、請求項７に記載の本発明は、多量の情報を複数のカテゴリに分類する情報自動分類プログラムを記録した記録媒体であって、予め入力され自然言語で記述された文書データを記憶する第１の処理と、予め入力された分類するためのカテゴリとその特徴から特徴ベクトルを計算し記憶する第２の処理と、予め入力された分類基準を記憶する第３の処理と、前記第２の処理で記憶されたカテゴリおよびその特徴と前記第３の処理で記憶された分類基準とを用いて、カテゴリを新規に作成し、前記第２の処理で記憶されたカテゴリで類似したものを同一の中間カテゴリに割り当てる第４の処理と、前記第２の処理で記憶されたカテゴリと前記第４の処理で得たカテゴリとを用いて、前記文書データを分類する第５の処理とを有することを要旨とする。
【００２２】
また、請求項８に記載の本発明は、請求項７において、前記第４の処理は、前記カテゴリとその特徴に対して当該カテゴリ間の距離関数を分類基準に応じて作成し、この作成した距離関数を用いて前記カテゴリ間の距離を計算して中間カテゴリを生成することを要旨とする。
【００２３】
請求項８記載の本発明にあっては、入力されたカテゴリとその特徴に対してカテゴリ間の距離関数を分類基準に応じて作成し、この距離関数を用いて入力カテゴリ間の距離を計算して中間カテゴリを生成する情報自動分類プログラムを記録媒体に記録するため、該記録媒体を用いて、その流通性を高めることができる。
【００２４】
また、請求項９に記載の本発明は、請求項７または８において、第５の処理は、第４のステップで生成した中間カテゴリへの分類を行い、この分類結果と前記分類基準とに基づいて前記カテゴリへの分類の要否を決定することを要旨とする。
【００２５】
請求項９記載の本発明にあっては、前記生成した中間カテゴリへの分類を行い、この分類結果と分類基準とに基づいて入力カテゴリへの分類の要否を決定する情報自動分類プログラムを記録媒体に記録するため、該記録媒体を用いて、その流通性を高めることができる。
【００２６】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について説明する。本発明の情報自動分類方法では、分類したいカテゴリである実カテゴリを予めいくつかの組である中間カテゴリに分けておき、中間カテゴリでの条件を満たした場合のみ実カテゴリとの距離計算を行うことで計算時間を短縮している。従って、まず中間カテゴリの生成について図５を参照しながら説明する。
【００２７】
本発明では、実カテゴリの持つ特徴ベクトルを用いて、カテゴリ間に距離を導入する。各実カテゴリ間の距離を計算し、類似する実カテゴリ同士を抽出し、２つ以上の類似したカテゴリを新規に作成した中間カテゴリに割り当てる。
【００２８】
カテゴリ間の距離関数として、特徴ベクトルの内積やカテゴリ間の単語の共起関係、それらを組み合わせて利用する。例えば、カテゴリｉとカテゴリｊの単語の共起関係Ｉ_ｉｊを、
【数１】

と定義する。共起関係Ｉ_ｉｊはカテゴリｉとカテゴリｊでどれだけ共通の単語を有しているかを表す関数である。また、カテゴリｉとカテゴリｊの単語の重なり具合Ｒ_ｉｊ、
【数２】

などの関数も考えられる。特徴ベクトルの内積の値やカテゴリ間の共起関係の値の組合わせなどで、カテゴリ間の類似度を定義する。
【００２９】
実カテゴリ間の距離関数を利用して、中間カテゴリと実カテゴリの類似度を定義できる。なぜなら、中間カテゴリの特徴ベクトルを、例えば、中間カテゴリに割り当てられた実カテゴリの持つ特徴ベクトルの平均とすれば、中間カテゴリと実カテゴリの距離関数として、上記の式３、４を利用することがきる。同様に、中間カテゴリと中間カテゴリ間の類似度も定義できる。
【００３０】
これらのカテゴリ間の距離関数を用いて、類似しているカテゴリ同士を同一の中間カテゴリに割り当てていく。しかし、カテゴリ間の距離関数を用いて中間カテゴリを生成する際、すべての実カテゴリが一つの中間カテゴリに割り当てられる場合がある。このようにして生成された中間カテゴリには、不要な実カテゴリと文書間の類似度計算を生じさせるようなものが存在する。一般的にそれを避けるために、なんらかの閾値αを導入し、実カテゴリ間の類似度がαより小さくなった場合に中間カテゴリの生成を止める手法をとる。
【００３１】
この閾値αの値を決定するには、人手によって与えるか、いくつかのサンプル文書を用いて動作実験を行った結果を利用することになる。しかし、本発明では、閾値を導入する代わりに、共起関係Ｉ_ｉｊや単語の重なり具合Ｒ_ｉｊの値を中間カテゴリ内の実カテゴリ同士に適用することによって、中間カテゴリの生成を止める。具体的には、中間カテゴリＭ_ｋと中間カテゴリＭ_ｌにおいて「Ｍ_ｋに属するすべての実カテゴリＣ_ｉと、Ｍ_ｌに属するすべての実カテゴリＣ_ｊに対し、実カテゴリ間の距離関数の値が０より大きい」という条件を満たす場合のみ、中間カテゴリＭ_ｋと中間カテゴリＭ_ｌから新たな中間カテゴリを生成するという中間カテゴリ生成条件を導入する。これにより、人手による閾値の入力などのわずらわしい操作が不要なうえ、不必要な実カテゴリと文書間の類似度計算を減らすことができる。
【００３２】
次に、実際の分類処理について説明する。文書の分類には、まず、文書と中間カテゴリとの距離を計算する。この距離により類似していると判断した場合に、中間カテゴリに属している実カテゴリとの距離を計算し分類するかどうかを判断する。
【００３３】
中間カテゴリの生成と分類処理時の判断基準は、実カテゴリでの分類基準に依存している。例えば、文書は実カテゴリのいずれか一つに必ず入るように分類する場合、実カテゴリはすべていずれかの中間カテゴリに属するように分類する。また、どこにも分類されない文書、すなわち、適切な実カテゴリがない文書は分類しない場合、中間カテゴリでの判断によっては実カテゴリとの計算を一度もせずに“どのカテゴリにも分類しない”という判断を下すことができる。また、中間カテゴリの生成に共起関係を利用し、判断基準として分類対象の文書内に存在する単語が中間カテゴリに存在するかどうかを利用すると、容易に分類精度を落とさず高速化できる。
【００３４】
また、中間カテゴリは１層に限ったわけではなく、中間カテゴリ間に距離を導入し中間カテゴリの中間カテゴリを作成し、多段階で分類するかどうかを判断することで、より高速化な分類を行うことができる。
【００３５】
以上の説明に基づき図５に示すフローチャートを参照して中間カテゴリ生成処理について説明する。図５では、まずカテゴリ集合Ｃａ内のすべての実カテゴリ間の距離（類似度）を計算する（ステップＳ１１）。類似度が最も大きい実カテゴリ（あるいは中間カテゴリ）１組をカテゴリ集合Ｃａから選択する（ステップＳ１３）。そして、この選択した実カテゴリの組の類似度の値が０より大きいか否かをチェックする（ステップＳ１５）。０より大きくない場合には処理を終了するが、０より大きい場合には、２つの実カテゴリ（または中間カテゴリ）に対して上述した「中間カテゴリ生成条件」が成立するか否かをチェックする（ステップＳ１７）。成立しない場合には、選択された２つのカテゴリ間の類似度を０とし（ステップＳ１９）、ステップＳ１３に戻って、同じ処理を繰り返すが、成立する場合には、２つのカテゴリを、新たな中間カテゴリを生成して割り当て、カテゴリ集合Ｃａに加える（ステップＳ２１）。それから、２つのカテゴリをカテゴリ集合Ｃａから取り除く（ステップＳ２３）。また、新たに生成した中間カテゴリとカテゴリ集合Ｃａ内の他の実カテゴリ（または中間カテゴリ）との距離を計算する（ステップＳ２５）。それから、ステップＳ１３に戻って、同じ処理を繰り返す。
【００３６】
図１は、本発明の一実施形態に係わる情報自動分類装置の構成を示すブロック図である。同図において、１０１は文書入力部、１０２は文書記憶部、１０３はカテゴリ情報入力部、１０４はカテゴリ情報記憶部、１０５は初期値入力部、１０６は初期値記憶部、１０７は中間カテゴリ計算部、１０８は実カップラ計算部である。
【００３７】
図１に示す情報自動分類装置では、処理を施したい文書を文書入力部１０１で入力する。処理を施したい文書としては、コンピュータに入力した文書すべてが含まれる。例えば、新聞記事やインターネット上のＨＴＭＬファイルやネットニュース、文字放送やＦＭ多重放送やテレビでの放送原稿等がある。また、文書記憶部１０２では、文書入力部１０１において入力した情報を、情報発信媒体それぞれ、あるいは、情報発信媒体のいくつか、あるいは、すべての情報発信媒体全体の文書を取り出せるように記憶する。
【００３８】
カテゴリ情報入力部１０３では、システム利用者が分類したいカテゴリとそれに入るサンプルとなる文書情報やキーワードを入力する。例えば、スポーツのサッカーに関する情報を集めるのであれば、「サッカー」に関するカテゴリと新聞記事やインターネット上から収集したサッカーに関する文書やキーワードを入力する。カテゴリ情報記憶部１０４では、カテゴリ情報入力部１０３で入力された情報の記憶と、入力された情報から特徴ベクトルの計算とその結果の記憶を行う。
【００３９】
初期値入力部１０５では、システムが計算を行う際の分類条件や分類基準等の初期値を入力する。例えば、分類時の誤りの基準や、「すべての文書を類似するいずれか一つの実カテゴリに分類する」や「一つの文書を複数の実カテゴリに分類する」などの分類条件を入力する。初期値記憶部１０６は、初期値入力部１０５で入力された初期値を記憶する。
【００４０】
中間カテゴリ計算部１０７では、カテゴリ情報入力部１０３と初期値入力部１０５で入力された情報から、中間カテゴリを作成する。カテゴリ情報入力部１０３で入力された実カテゴリの情報から特徴ベクトルを生成し、初期値入力部１０５で入力された情報を利用して、実カテゴリ間の距離関数を決定し中間カテゴリを生成する。また、同時に中間カテゴリに属する実カテゴリに対して文書の分類を行うかどうかの判断基準も決定する。
【００４１】
実カテゴリ計算部１０８では、文書入力部１０１で入力された文書を実カテゴリに割り当てる処理を行う。中間カテゴリ計算部１０７の処理結果である中間カテゴリと判断基準を利用して、まず、中間カテゴリと文書との距離を計算する。その結果と中間カテゴリ計算部１０７で決定した中間カテゴリでの判断基準を用いて、中間カテゴリに属する実カテゴリと文書との距離計算を行うかどうかを判断する。計算する必要があれば、実際に文書と実カテゴリとの距離計算を行い、初期値入力部１０５で入力された分類基準に従って、文書を実カテゴリに割り当てる。
【００４２】
次に、図２および図３を参照して、具体例を用いて本発明の処理の流れを具体的に説明する。なお、図２および図３において、実線は類似度の計算を行って、分類し、点線は類似度を計算したが、分類しなかったことを示している。また、システムに入力する文書集合は、新聞社の１９９８年の新聞記事とする。文書集合を文書入力部１０１より入力する。
【００４３】
次に、カテゴリ情報入力部１０３より、収集したいカテゴリとそこに入るサンプルとなる文書や単語を入力する。例えば、「“交通事故”に関する記事を集める分類カテゴリ」や「“電気自動車”に関する記事を集める分類カテゴリ」や「“地震”に関する記事を集める分類カテゴリ」や「“天候”に関する記事を集める分類カテゴリ」を入力し、それぞれのカテゴリに入るべきサンプル文書として、過去の“文通事故”に関するいくつかの記事を「“交通事故”に関する記事を集める分類カテゴリ」へ、“電気自動車”に関するいくつかの記事を「“電気自動車”に関する記事を集める分類カテゴリ」へ、“地震”に関するいくつかの記事を「“地震”に関する記事を集める分類カテゴリ」へ、雷雨や台風や空梅雨などの“天候”に関するいくつかの記事を「“天候”に関する記事を集める分類カテゴリ」に割り当てることを入力する。
【００４４】
カテゴリ情報記憶部１０４では、カテゴリ情報入力部１０３で入力された情報から、各カテゴリの特徴ベクトルを作成し記憶する。例えば、「“交通事故”に関する記事を集める分類カテゴリ」では、入力されたサンプルの文書から特徴ベクトルとして、
（（自動車，０．２３），（スピード，０．１３），（夜間，０．０８），（死者，０．０５）， …）（５）
などを生成し記憶する。また、「“電気自動車”に関する記事を集める分類カテゴリ」では、入力されたサンプルの文書から特徴ベクトルとして、
（（自動車，０．２０），（電気，０．１２），（燃費，０．１０），（スピード，０．０４）， …）（６）
などを生成し記憶する。また、「“地震”に関する記事を集める分類カテゴリ」では、入力されたサンプルの文書から特徴ベクトルとして、
（（地震，０．１５），（震度，０．１０），（死者，０．０７），（津波，０．０４）， …）（７）
などを生成し記憶する。また、「“天候”に関する記事を集める分類カテゴリ」では、入力されたサンプルの文書から特徴ベクトルとして、
（（異常気象，０．１２），（エルニーニョ，０．１０），（雷，０．０７），（電気，０．０４）， …）（８）
などを生成し記憶する。
【００４５】
次に、初期値入力部１０５より、分類するための初期値の入力を行う。ここでは、「いずれか一つの実カテゴリに割合当てる」という条件と「どの実カテゴリにも割り当てられない文書が存在することを許可する」という条件を与えたとする。
【００４６】
以上の入力処理から、まず、中間カテゴリ計算部１０７の処理を行う。例えば、「“交通事故”に関する記事を集める分類カテゴリ」と「“電気自動車”に関する記事を集める分類カテゴリ」と「“地震”に関する記事を集める分類カテゴリ」と「“天候”に関する記事を集める分類カテゴリ」に対し、カテゴリ間の距離関数として単語の共起関係Ｉ_ｉｊを利用する。類似するカテゴリとして、「“交通事故”に関する記事を集める分類カテゴリ」と「“電気自動車”に関する記事を集める分類カテゴリ」が「“電気自動車”に関する記事を集める分類カテゴリ」と「“天候”に関する記事を集める分類カテゴリ」がある。しかし、［中間カテゴリ生成条件］から、「“交通事故”に関する記事を集める分類カテゴリ」と「“電気自動車”に関する記事を集める分類カテゴリ」と「“天候”に関する記事を集める分類カテゴリ」が一つの中間カテゴリに割り当てられることはない。この場合は、単語の共起関係Ｉ_ｉｊの値から、「“交通事故”に関する記事を集める分類カテゴリ」と「“電気自動車”に関する記事を集める分類カテゴリ」が一つの中間カテゴリに割り当てられたとする。この場合に、生成された中間カテゴリ名を話を分かりやすくするために「“自動車”の中間カテゴリ」と呼ぶことにする。「“自動車”の中間カテゴリ」が持つ特徴ベクトルを、「中間カテゴリ内の実カテゴリが持つ特徴ベクトルに共通に存在する単語」として生成すると、
例えば、
（（自動車，０．２１５），（スピード，０．０６５），…）（９）
という特徴ベクトルを生成する。各単語の重みは、元の特徴ベクトルの平均値とした。また、判断基準は「文書に存在する単語が、中間カテゴリが持つ特徴ベクトルに一つでも存在するかどうか」とする。
【００４７】
次に、実カテゴリ計算部１０８で、文書の実カテゴリへの分類処理が行われる。１９９８年の新聞記事で、例えば、「自動車がスピードの出し過ぎでガードレールに衝突」という記事が図２に示すようにあったとする。この記事の特徴ベクトルは、

となったとする。この特徴ベクトルと、「“自動車”の中間カテゴリ」と文書内の単語に比較する。この場合、「自動車」「スピード」という単語が記事の特徴ベクトルと中間カテゴリのそれの両方に存在するため、中間カテゴリでの判断基準を満たす。そのため、実カテゴリの「“交通事故”に関する記事を集める分類カテゴリ」と「“電気自動車”に関する記事を集める分類カテゴリ」との分類を行い、最終的に「“交通事故”に関する記事を集める分類カテゴリ」に割り当てる。
【００４８】
また、「高校生サッカーの試合で、Ａ高校が優勝」という記事が図３に示すようにあったとする。この記事の特徴ベクトルは、
（（高校生，０．１８），（サッカー，０．１５），（優勝，０．１０），（Ａ高校，０．０９）， …）（１１）
となったとする。この場合、「“自動車”の中間カテゴリ」の持つ特徴ベクトルと比較すると、共通の単語が存在せず判断基準を満たさない。そのため、実カテゴリである「“交通事故”に関する記事を集める分類カテゴリ」と「“電気自動車”に関する記事を集める分類カテゴリ」との分類を行わない。
【００４９】
ここで、［中間カテゴリ生成条件］の効果について図４を参照して説明する。もし、［中間カテゴリ生成条件］がなければ、単語の共起関係Ｉ_ｉｊの値から、「“交通事故”に関する記事を集める分類カテゴリ」と「“電気自動車”に関する記事を集める分類カテゴリ」と「“天候”に関する記事を集める分類カテゴリ」が、一つの中間カテゴリに割り当てられる。この中間カテゴリの特徴ベクトルは、
（（自動車，０．１５），（スピード，０．０５），（電気，０．０４）， …）（１２）
となる。この中間カテゴリに対し、前例の「自動車のスピードの出し過ぎでガードレールに衝突」という記事の分類を行うとすると、“自動車”という単語から中間カテゴリでの分類基準を通過する。そのため、自動車とは直接関係しない「“天候”に関する記事を集める分類カテゴリ」との類似度計算を行うことになる。一般に、このような不要な計算を避けるために、少数の実験や人手によって「実カテゴリ間の距離がαより大きい場合、中間カテゴリを生成する」という条件を導入するが、適切なα値を決定するのは難しい。［中間カテゴリ生成条件］を用いることで、中間カテゴリを生成する前に、新たに生成される中間カテゴリ内の実カテゴリ同士がある程度類似しているかどうかを調査を行い、そのおかげで関係のある実カテゴリ同士だけが一つの中間カテゴリ内に存在するようになる。
【００５０】
次に、本発明の効果を確認するために行った実験について説明する。この実験では、分類対象の文書データとしてウェブページ２，０００件を用い、実カテゴリの初期値を８００個、特徴ベクトル要素として単語数を１００，０００語とした。このデータでは分類において最低限５１０，０００回の類似度の計算が必要である。
【００５１】
その結果、中間カテゴリを生成しない従来の方法では、１，６００，０００回（＝５１０，０００＋１，０９０，０００）の類似度の計算を行ったのに対して、本発明の方法では、１，１００，０００回（＝５１０，０００＋６９０，０００）で済むことが明らかになった。すなわち、不要な類似度の計算の回数を１０９万回から６９万回の約半分に低減でき、効率的な分類が可能になった。
【００５２】
【発明の効果】
以上説明したように、本発明によれば、多量の文書データの複数のカテゴリへの分類において、中間カテゴリの生成および該カテゴリへの分類を行うことにより、分類に不要な類似度の計算回数を低減でき、効率化を図ることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わる情報自動分類装置の構成を示すブロック図である
。
【図２】図１の情報自動分類装置による分類処理の一例を示す図である。
【図３】図１の情報自動分類装置による分類処理の他の例を示す図である。
【図４】図１の情報自動分類装置の中間カテゴリ生成処理時において中間カテゴリ生成条件を用いた場合と用いない場合の中間カテゴリの生成例を示す図である。
【図５】中間カテゴリの生成処理を示すフローチャートである。
【符号の説明】
１０１文書入力部
１０２文書記憶部
１０３カテゴリ情報入力部
１０４カテゴリ情報記憶部
１０５初期値入力部
１０６初期値記憶部
１０７中間カテゴリ計算部
１０８実カテゴリ計算部

Claims

多量の情報を複数のカテゴリに分類する情報自動分類方法であって、
予め入力され自然言語で記述された文書データを記憶する第１のステップと、
予め入力された分類するためのカテゴリとその特徴から特徴ベクトルを計算し記憶する第２のステップと、
予め入力された分類基準を記憶する第３のステップと、
前記第２のステップで記憶されたカテゴリおよびその特徴と前記第３のステップで記憶された分類基準とを用いて、カテゴリを新規に作成し、前記第２のステップで記憶されたカテゴリで類似したものを同一の中間カテゴリに割り当てる第４のステップと、
前記第２のステップで記憶されたカテゴリと前記第４のステップで得たカテゴリとを用いて、前記文書データを分類する第５のステップと
を有することを特徴とする情報自動分類方法。
前記第４のステップは、
前記カテゴリとその特徴に対して当該カテゴリ間の距離関数を分類基準に応じて作成し、この作成した距離関数を用いて前記カテゴリ間の距離を計算して中間カテゴリを生成することを特徴とする請求項１記載の情報自動分類方法。
前記第５のステップは、
第４のステップで生成した中間カテゴリへの分類を行い、この分類結果と前記分類基準とに基づいて前記カテゴリへの分類の要否を決定することを特徴とする請求項１または２記載の情報自動分類方法。
多量の情報を複数のカテゴリに分類する情報自動分類装置であって、
自然言語で記述された文書データを予め入力するための文書入力部と、
前記文書入力部に入力された文書データを記憶する文書記憶部と、
分類するためのカテゴリとその特徴を予め入力するためのカテゴリ情報入力部と、
前記カテゴリ情報入力部に入力されたカテゴリと特徴から特徴ベクトルを計算し記憶するカテゴリ情報記憶部と、
分類基準を予め入力するための分類基準入力部と、
前記分類基準入力部に入力された分類基準を記憶する分類基準記憶部と、
前記カテゴリ情報入力部に入力されたカテゴリおよびその特徴と前記分類基準入力部に入力された分類基準とを用いて、カテゴリを新規に作成し、前記カテゴリ情報入力部に入力されたカテゴリで類似したものを同一の中間カテゴリに割り当てる中間カテゴリ計算部と、
前記カテゴリ情報入力部に入力されたカテゴリと前記中間カテゴリ計算部で得たカテゴリとを用いて、前記文書入力部に入力された文書データを分類する実カテゴリ計算部と
を有することを特徴とする情報自動分類装置。
前記中間カテゴリ計算部は、
前記カテゴリ情報入力部に入力されたカテゴリとその特徴に対してカテゴリ間の距離関数を分類基準に応じて作成し、この作成した距離関数を用いて前記カテゴリ情報入力部に入力されたカテゴリ間の距離を計算して中間カテゴリを生成することを特徴とする請求項４記載の情報自動分類装置。
前記実カテゴリ計算部は、
前記中間カテゴリ計算部で生成した中間カテゴリへの分類を行い、この分類結果と前記分類基準入力部に入力された分類基準とに基づいて前記カテゴリ情報入力部で入力されたカテゴリへの分類の要否を決定することを特徴とする請求項４または５記載の情報自動分類装置。
多量の情報を複数のカテゴリに分類する情報自動分類プログラムを記録した記録媒体であって、
予め入力され自然言語で記述された文書データを記憶する第１の処理と、
予め入力された分類するためのカテゴリとその特徴から特徴ベクトルを計算し記憶する第２の処理と、
予め入力された分類基準を記憶する第３の処理と、
前記第２の処理で記憶されたカテゴリおよびその特徴と前記第３の処理で記憶された分類基準とを用いて、カテゴリを新規に作成し、前記第２の処理で記憶されたカテゴリで類似したものを同一の中間カテゴリに割り当てる第４の処理と、
前記第２の処理で記憶されたカテゴリと前記第４の処理で得たカテゴリとを用いて、前記文書データを分類する第５の処理と
を有することを特徴とする情報自動分類プログラムを記録した記録媒体。
前記第４の処理は、
前記カテゴリとその特徴に対して当該カテゴリ間の距離関数を分類基準に応じて作成し、この作成した距離関数を用いて前記カテゴリ間の距離を計算して中間カテゴリを生成することを特徴とする請求項７記載の情報自動分類プログラムを記録した記録媒体。
第５の処理は、
第４のステップで生成した中間カテゴリへの分類を行い、この分類結果と前記分類基準とに基づいて前記カテゴリへの分類の要否を決定することを特徴とする請求項７または８記載の情報自動分類プログラムを記録した記録媒体。