JP5392904B2 - ドキュメントを分類するシステム、方法、およびソフトウェア - Google Patents

Description

（著作権表示および許可）
本特許明細書の一部分は、著作権保護の対象となる資料を含む。著作権所有者は、特許商標庁の特許ファイルまたは記録に記載されるように、特許明細書または特許開示の何者かによるファクシミリでの複製に対する異議はないが、それ以外の、いかなる場合も無断転載が禁止される。以下の著作権表示Ｃｏｐｙｒｉｇｈｔ（Ｃ）２００１、Ｗｅｓｔ Ｇｒｏｕｐが本明細書に適用される。

（技術分野）
本発明は、裁判上の見解の頭注等のテキストおよびドキュメントを分類するシステム、方法、およびソフトウェアに関する。

（背景）
米国法体系、および、世界中の他の法体系は、法に準拠した紛争の解決を明確化または解釈するために裁判官の書面の宣告（判決の書面宣告）に大きく依存する。裁判上の各見解は、特定の法的紛争を解決するためだけでなく、将来における類似の紛争を解決するためにも重要である。そのために、我々の法体系内にある裁判官および弁護士は、新規の紛争を解決するために最も重要であるものについて、刻々と拡大する過去の見解判例法の主体を継続的にリサーチする。

これらのリサーチを容易にするために、ミネソタ州セントポールのＷｅｓｔ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏｍｐａｎｙ（Ｗｅｓｔ Ｇｒｏｕｐとして事業を展開）等の企業は、米国全域にわたる裁判所の裁判上の見解を収集および公表するだけでなく、それらが含まれる法律の原則またはポイントに基づいて、その見解を概括および分類する。Ｗｅｓｔ Ｇｒｏｕｐは、例えば、専用のＷｅｓｔ Ｋｅｙ Ｎｕｍｂｅｒ^ＴＭ Ｓｙｓｔｅｍを用いて。頭注を生成および分類する（裁判上の見解において作成されるポイントの簡単な要約）。（Ｗｅｓｔ Ｋｅｙ Ｎｕｍｂｅｒは、Ｗｅｓｔ Ｇｒｏｕｐの登録商標である）
Ｗｅｓｔ Ｋｅｙ Ｎｕｍｂｅｒ Ｓｙｓｔｅｍは、９０，０００を超える独自の法律カテゴリまたはクラスにまたがる２０００万を越える頭注の階層的分類である。各クラスは、記述的名称を有するだけでなく、キーナンバー分類として公知の固有の英数字コードも有する。

Ｗｅｓｔ Ｋｅｙ Ｎｕｍｂｅｒ Ｓｙｓｔｅｍ等の非常に詳細な分類システムに加えて、裁判官および弁護士は、広範囲な法的論点の徹底的な学術的分析を提供するＡｍｅｒｉｃａｎ Ｌａｗ Ｒｅｐｏｒｔｓ（ＡＬＲ）等の製品を用いてリサーチを行う。実際、ＡＬＲは、注釈として知られる約１４，０００の明確な記事を含み、これらの各々が、一事不再理および言論の自由といった別個の法的論点について教示する。各注釈は、さらに、さらなる法的リサーチを容易にするために適切な裁判上の見解を識別する引用および／または頭注を備える。

リーガルリサーチツールとして通用することを保証するために、ＡＬＲ注釈は、最近の裁判上の見解（または、判例）を引用するために継続的に更新される。しかしながら、国内全体にわたる法廷が、集合的に毎日数百もの新しい見解を発するならば、コストがかかるタスクであり、これらの場合のどれが引用するための良好な候補であるのかを識別するためには、従来技術は非効率的かつ不正確である。

特に、従来技術は、対応する注釈において引用するための候補としてのＷｅｓｔ Ｋｅｙ Ｎｕｍｂｅｒ Ｓｙｓｔｅｍの特定クラスの頭注を有する場合を選択することを必然的に伴う。候補判例は、その後、マニュアルレビュー、および対応する注釈にどれが引用されるべきかを最終的に決定するために専用エディタに送信される。残念ながら、クラスの注釈へのこの過度に簡単なマッピングは、複数の的外れな判例をエディタに送信するだけでなく、重要な複数の判例の送信に失敗し、これらの両方は、ワークロードを増加させ、かつ、更新された注釈の制度を制限する。

従って、裁判上の見解の分類またはＡＬＲ注釈および他のリーガルリサーチツールへの割り当てを容易にするツールが必要とされる。

（例示的実施形態の要旨）
これおよび他の必要に対応するために、本発明者は、ターゲット分類システムによりテキストまたはドキュメントの分類を容易にするシステム、方法、およびソフトウェアを考案した。例えば、ある例示的システムは、頭注をＡＬＲ注釈へ分類することを支援し、別のシステムは、Ａｍｅｒｉｃａｎ Ｊｕｒｉｓｐｒｕｄｅｎｃｅ（別の百科事典スタイルのリーガルリファレンス）のセクションへ頭注を分類することを支援し、さらに別のシステムは、頭注をＷｅｓｔ Ｋｅｙ Ｎｕｍｂｅｒ Ｓｙｓｔｅｍへ分類することを支援する。しかしながら、これら、および他の実施形態は、ｅメール等の他のタイプのドキュメントの分類に適用可能である。

より具体的には、例示的システムのいくつかは、複合スコアのセットを決定することによって入力テキストを分類するか、または、手動の分類を支援し、各複合スコアは、ターゲット分類システムにおけるそれぞれのターゲットクラスに対応する。各複合スコアを決定することは、
スコアターゲットクラスのそれぞれ１つと関連したテキストと入力テキストとの類似に基づいた第１のタイプ、
入力テキストと関連した非ターゲットクラスのセットと、ターゲットクラスのそれぞれ１つと関連した非ターゲットクラスのセットとの類似に基づいた第２のタイプ、
入力テキストと関連した１つ以上の非ターゲットクラスのセットがターゲットクラスの１つに付与される確率に基づいた第３のタイプ、および、
ターゲットクラスのそれぞれ１つと関連したテキストに入力テキストが付与される確率基づいた第４のタイプ
のうちの少なくとも２つにクラス特有の重みを付与することを必然的に伴う。

これらの例示的システムは、次に、入力テキスト（または、入力テキストと関連したドキュメントまたは他のデータ構造）を１つ以上のターゲットクラスに最終的に割り当てるか、または割り当てを推奨するために、閾値等の分類専用決定基準を用いて複合スコアを評価する。
（項目１）
入力テキストを、２つ以上のターゲットクラスを有するターゲット分類システムに分類するためのシステムであって：
該ターゲットクラスの各々について、該入力テキストおよびターゲットクラスに基づく少なくとも第１のスコアおよび第２のスコアを決定するための手段；
該ターゲットクラスの各々について、該ターゲットクラスに対する第１のクラスに固有の重みによりスケーリングされる第１のスコア、および該ターゲットクラスに対する第２のクラスに固有の重みによりスケーリングされる第２のスコアに基づく、対応する複合スコアを決定するための手段；および
該ターゲットクラスの各々について、該対応する複合スコアおよび該ターゲットクラスに対するクラスに固有の決定閾値に基づき、該入力テキストの該ターゲットクラスへの分類を分類または推奨するか否かを決定するための手段を備える、システム。
（項目２）
入力テキストを、２つ以上のターゲットクラスを有するターゲット分類システムに分類するための方法であって：
各ターゲットクラスについて：
少なくとも第１のクラスに固有の重みおよび第２のクラスに固有の重み、ならびにクラスに固有の決定閾値を提供する工程；
該入力テキストおよびターゲットクラスに基づく個々の第１のスコアおよび第２のスコアを決定するために、少なくとも第１の分類方法および第２の分類方法を用いる工程；
該クラスに対する第１のクラスに固有の重みによりスケーリングされた第１のスコア、および該ターゲットクラスに対する第２のクラスに固有の重みによりスケーリングされた第２のスコアに基づき複合スコアを決定する工程；および
該複合スコアおよび該クラスに固有の決定閾値に基づき、該入力テキストの該ターゲットクラスへの分類を分類または推奨する工程、を包含する、方法。
（項目３）
前記第１のスコアおよび第２のスコアの少なくとも１つが、前記入力テキストと関連する１つ以上の名詞ワードのペアのセット、および前記ターゲットクラスと関連する１つ以上の名詞ワードペアのセットに基づき、各セット中の少なくとも１つの名詞ワードのペアが、名詞および非隣接語を含む、項目２に記載の方法。
（項目４）
前記各第１のクラスに固有の重みおよび第２のクラスに固有の重み、ならびにクラスに固有の決定閾値を提供する工程が、前記ターゲット分類システムに分類されるテキストに基づく所定のレベルのリコールで、所定のレベルの正確さを生じる第１のクラスに固有の重みおよび第２のクラスに固有の重みならびにクラスに固有の決定閾値の組合せをサーチすることを包含する、項目２に記載の方法。
（項目５）
非ターゲット分類システムが２つ以上の非ターゲットクラスを含み、そして前記第１のスコアおよび第２のスコアの少なくとも１つが、前記入力テキストと関連している１つ以上の非ターゲットクラス、および前記ターゲットクラスと関連している１つ以上の非ターゲットクラスに基づく、項目２に記載の方法。
（項目６）
前記入力テキストが、法律関係ドキュメントのための頭注であり；そして
前記ターゲット分類システムおよび非ターゲット分類システムが、法律分類システムである、項目５に記載の方法。
（項目７）
前記ターゲット分類システムが、１０００より多いターゲットクラスを含む、項目２に記載の方法。
（項目８）
第１の領域および第２の領域を含むグラフィカルユーザインターフェースを表示する工程であって、該第１の領域が、前記入力テキストの少なくとも一部分を表示または識別し、そして前記第２の領域が、前記ターゲット分類システムおよび該入力テキストが分類のために推奨された少なくとも１つのターゲットクラスに関する情報を表示する工程；および該グラフィカルユーザインターフェース上に選択可能な特徴を表示する工程をさらに包含し、ここで、該特徴を選択することが、該入力テキストの、前記１つのターゲットクラスへの分類を開始する、項目２に記載の方法。
（項目９）
項目２に記載の方法を実装するための命令を含む、機械読出し可能な媒体。
（項目１０）
入力テキストを、２つ以上のターゲットクラスを有するターゲット分類システムに分類する方法であって：
各ターゲットクラスについて：
該入力テキストおよびターゲットクラスに基づく第１のスコアおよび第２のスコアを決定する工程；
該ターゲットクラスに対する第１のクラスに固有の重みによりスケーリングされる第１のスコア、および該ターゲットクラスに対する第２のクラスに固有の重みによりスケーリングされる第２のスコアに基づく、複合スコアを決定する工程；および
該複合スコアおよび該ターゲットクラスに対するクラスに固有の決定閾値に基づく該入力テキストの該ターゲットクラスへの分類のために、該入力テキストを識別するか否かを決定する工程を包含する、方法。
（項目１１）
前記第１のスコアおよび第２のスコアの少なくとも１つが、前記入力テキストと関連する１つ以上の名詞ワードのペアのセット、および前記ターゲットクラスと関連する１つ以上の名詞ワードペアのセットに基づき、各セット中の少なくとも１つの名詞ワードのペアが、名詞および非隣接語を含む、項目１０に記載の方法。
（項目１２）
前記第１のスコアおよび第２のスコアを決定する工程が、以下の任意の２つ：
前記ターゲットクラスと関連するテキストに対する、前記入力テキストの少なくとも１つ以上の部分の類似性に基づくスコア；
前記入力テキストと関連する１つ以上の非ターゲットクラスのセットと該ターゲットクラスと関連する１つ以上の非ターゲットクラスのセットの類似性に基づくスコア；
該入力テキストと関連する１つ以上の非ターゲットクラスのセットが与えられた場合の、該ターゲットクラスの確率に基づくスコア；および
該入力テキストの少なくとも一部分が与えられた場合の、該ターゲットクラスの確率に基づくスコア、を決定することを包含する、項目１０に記載の方法。
（項目１３）
各ターゲットクラスがドキュメントであり、そして該ターゲットクラスと関連するテキストが、該ドキュメントのテキストまたは該ターゲットクラスと関連する別のドキュメントのテキストを含む、項目１２に記載の方法。
（項目１４）
項目１０に記載の方法であって：
各ターゲットクラスに対する第１のスコアおよび第２のスコアを決定する工程が：
該ターゲットクラスと関連するテキストに対する前記入力テキストの少なくとも１つ以上の部分の類似性を基に第１のスコアを決定すること；および
該入力テキストと関連する１つ以上の非ターゲットクラスのセットと、該ターゲットクラスと関連する１つ以上の非ターゲットクラスのセットとの類似性を基に第２のスコアを決定すること、を包含し、
ここで、該方法が、各ターゲットクラスについて以下を決定する工程をさらに包含し：
該入力テキストと関連する１つ以上の非ターゲットクラスのセットが与えられた場合の、該ターゲットクラスの確率に基づく第３のスコア；および
該入力テキストの少なくとも一部分が与えられた場合の、該ターゲットクラスの確率に基づく第４のスコア；そして
ここで、前記複合スコアが、該ターゲットクラスに対する第３のクラスに固有の重みによりスケーリングされる該第３のスコア、および該ターゲットクラスに対する第４のクラスに固有の重みによりスケーリングされる該第４のスコアにさらに基づく、方法。
（項目１５）
項目１０に記載の方法であって：
前記入力テキストが第１のメタデータと関連し、そして各ターゲットクラスが第２のメタデータと関連し；そして
前記第１のスコアおよび第２のスコアの少なくとも１つが、該第１のメタデータおよび第２のメタデータに基づく、方法。
（項目１６）
前記第１のメタデータが前記入力テキストと関連している非ターゲットクラスの第１のセットを包含し、そして前記第２のメタデータが前記ターゲットクラスと関連している非ターゲットクラスの第２のセットを包含する、項目１５に記載の方法。
（項目１７）
項目９に記載の方法を実施するための命令を含む、機械読み出し可能な媒体。
（項目１８）
２つ以上のターゲットクラスを有するターゲット分類システムに従って入力テキストを分類する方法であって：
各ターゲットクラスについて、該ターゲットクラスに対する第１のクラスに固有の重みによりスケーリングされる第１のスコアおよび該ターゲットクラスに対する第２のクラスに固有の重みによりスケーリングされる第２のスコアに基づく複合スコアを決定する工程であって、該第１のスコアおよび第２のスコアが、該入力テキストおよび該ターゲットクラスに関連するテキストに基づく工程；および
各ターゲットクラスについて、該複合スコアおよび該ターゲットクラスに対するクラスに固有の決定閾値に基づく該入力テキストの該ターゲットクラスへの分類を分類または推奨する工程、を包含する、方法。
（項目１９）
前記第１のスコアおよび第２のスコアが：
前記ターゲットクラスと関連するテキストに対する前記入力テキストの少なくとも１つ以上の部分の類似性に基づくスコア；
前記入力テキストと関連する１つ以上の非ターゲットクラスのセットと該ターゲットクラスと関連する１つ以上の非ターゲットクラスのセットの類似性に基づくスコア；
該入力テキストと関連する１つ以上の非ターゲットクラスのセットが与えられた場合の、該ターゲットクラスの確率に基づくスコア；および
該入力テキストの少なくとも一部分が与えられた場合の、該ターゲットクラスの確率に基づくスコア、からなる群から選択される、項目１８に記載の方法。
（項目２０）
前記入力テキストの推奨された分類の受諾または拒絶に基づき、前記ターゲットクラスの１つについて前記クラスに固有の閾値をアップデートする工程をさらに包含する、項目１８に記載の方法。
（項目２１）
テキストをターゲット分類システム中の１つ以上のターゲットクラスに分類する方法であって：テキストの一部分中の１つ以上の名詞ワードのペアを識別する工程を包含する、方法。
（項目２２）
前記テキストの一部分中の１つ以上の名詞ワードを識別する工程が：
該テキストの一部分中の第１の名詞を識別すること；および
該第１の名詞の語の所定の数内の１つ以上の語を識別すること、を包含する、項目２１に記載の方法。
（項目２３）
前記第１の名詞の語の所定の数内の１つ以上の語を識別することが、１つ以上のストップワードのセットを排除することを包含する、項目２１に記載の方法。
（項目２４）
前記テキストの一部分が段落である、項目２１に記載の方法。
（項目２５）
前記テキストの一部分中の識別された名詞ワードのペアの１つ以上、および前記ターゲットクラスの１つと関連するテキスト中の１つ以上の名詞ワードのペアの頻度に基づく１つ以上のスコアを決定する工程をさらに包含する、項目２１に記載の方法。
（項目２６）
前記１つ以上のスコアが：
前記ターゲットクラスと関連するテキストに対する前記入力テキストの少なくとも１つ以上の部分の類似性に基づく少なくとも１つのスコア；
該入力テキストと関連する１つ以上の非ターゲットクラスのセットと、該ターゲットクラスと関連する１つ以上の非ターゲットクラスのセットの類似性に基づく少なくとも１つのスコア；
該入力テキストと関連する１つ以上の非ターゲットクラスのセットが与えられた場合の、該ターゲットクラスの確率に基づく少なくとも１つのスコア；および
該入力テキストの少なくとも一部分が与えられた場合の、該ターゲットクラスの確率に基づく少なくとも１つのスコアを含む、項目２５に記載の方法。
（項目２７）
項目２５に記載の方法であって、前記ターゲットクラスの１つと関連する他のテキスト中で、１つ以上の識別された名詞ワードのペア、および１つ以上の名詞ワードのペアに基づく１つ以上のスコアを決定する工程が：
各識別された名詞ワードのペアに対する個々の重みを決定することであって、該個々の重みが、該テキスト中の識別された語名詞のペアの用語の頻度と該ターゲットクラスの１つと関連する他のテキスト中の名詞ワードのペアのドキュメントの頻度の逆数の積に基づくこと、を包含する、方法。
（項目２８）
入力テキストを、ターゲット分類システム中の１つ以上のターゲットクラスに分類する方法であって：
該入力テキスト中の名詞ワードのペアの第１のセットを識別する工程であって、該第１のセットが、該入力テキスト中の名詞および非隣接語から形成される少なくとも１つの名詞ワードのペアを含む、工程；
名詞ワードのペアの２つ以上の第２のセットを識別する工程であって、各第２のセットが，該ターゲットクラスの個々の１つと関連するテキスト中の名詞および非隣接語から形成される少なくとも１つの名詞ワードのペアを含む、工程；
該名詞ワードのペアの第１および第２のセットに基づくスコアのセットを決定する工程；および
該スコアのセットに基づき、該入力テキストの該ターゲットクラスの１つ以上への分類を分類または推奨する工程、を包含する、方法。

図１は、固有のグラフィカルユーザインターフェース１１４を含む、本発明の教示を具現化する例示的分類システム１００の図である。 図２は、図１の分類システムで具現化された例示的方法を示すフローチャートである。 図３は、例示的頭注３１０、および対応する名詞ワードペアモデル３２０の図である。 図４は、分類システム１００の一部分を形成する例示的グラフィカルユーザインターフェースのファクシミリである。 図５は、システム１００と類似であるが、さらなる分類子含む別の例示的分類システム５００の図である。 図６は、システム１００と類似であるが、いくつかの分類子を省略する、別の例示的分類システム６００の図である。

（例示的な実施形態の詳細な説明）
この説明は、上記の図面を参照にして組み込み、１つ以上の発明の１つ以上の特定の実施形態を説明する。これらの実施形態は、制限するためではなく、例示して１つ以上の発明を教示するために提供され、当業者が本発明を実施するか実践することが出来るように十分詳細に図示されて、説明される。従って、その説明は、発明をあいまいなものにすることを避けるために適宜、当業者に公知の特定の情報を省略し得る。

この説明は、説明の文脈内で当業者の使用法または当業者の使用から導かれた意味を有する多くの用語を含む。しかし、さらなる助けとして、以下の例示的な定義が提示される。

用語「ドキュメント」は、マシーンリーダブルデータの任意のアドレス可能な集合または構成を言う。

用語「データベース」は、ドキュメントの任意の論理集合または構成を含む。

用語「頭注」は、書式の法律的見解（ｊｕｄｉｃｉａｌ ｏｐｉｎｉｏｎ）内の法律の観点に関する電子テキストサマリまたはアブストラクトを言う。法律的見解（またはケース）に関連する頭注の番号は、その番号が指定する事件番号に依存する。

（米国リーガルレポートの頭注を分類するための例示的なシステム）
図１は、ドキュメント分類スキームに従った電子ドキュメントの分類を自動的に分類するか、推奨する例示的なドキュメント分類システム１００の図を示す。例示的な実施形態は、ケース、ケースの引用、または関連する頭注の分類を、１３，７７９のＡＬＲ注釈（全注釈数は、１ヶ月あたり２０〜３０注釈のオーダーの割合で増加している）によって提示された１つ以上のカテゴリに分類するか、推奨する。しかし、本発明は、ドキュメントの任意の特定のタイプ、または分類システムの任意の特定のタイプに制限されない。

例示的な実施形態が別々のコンポーネントの相互に接続した総体として提示されているが、いくつかの他の実施形態は、このコンポーネントの数よりも数が多いコンポーネントを用いて、または、数が少ないコンポーネントを用いて、それらの機能を実施する。さらに、いくつかの実施形態は、ローカルまたはワイドエリアネットワークを通して１つ以上のコンポーネントを相互に結合する。（いくつかの実施形態は、１つ以上のメインフレームコンピュータまたはサーバを用いて１つ以上のシステム１００の一部を実施する。）従って、本発明は、任意の特定の機能的な区分に制限されない。

システム１００は、ＡＬＲ注釈データベース１１０、頭注データベース１２０、分類プロセッサ１３０、予備分類データベース１４０、および編集用ワークステーション１５０を含む。

ＡＬＲ注釈データベース１１０（より一般的には、ターゲット分類スキームに従って分類された電子ドキュメントのデータベース）は、注釈１１２によって概して提示される１３，７７９の注釈の集合を含む。この例示的な実施形態は、各注釈をクラスまたはカテゴリと考える。注釈１１２等の各注釈は、引用１１２．１および１１２．２等の１つ以上のケース引用のセットを含む。

各引用は、電子法律的見解（またはケース）１１５等の少なくとも１つの法律的見解（または、概して電子ドキュメント）を識別して、それらに関連する。法律的見解１１５は、頭注１２２および１２４等の頭注データベース１２０内の１つ以上の頭注を含む、および／またはそれらに関連する。（例示的な実施形態では、典型的な法律的見解またはケースは、約６つの関連頭注を有するが、５０以上を有するケースはまれである。）
サンプルの頭注およびその関連するウエストキー番号クラス識別子が以下に示される。

例示的な頭注：
行政手続法（ＡＰＡ）の訴訟では、審理は２度行われる。最初、裁判所は基本法を審査して、被害者が、法的救済が有効となる前に特定の行政ルートに従うかどうかを決定する。その成文法が沈黙している場合、裁判所は、政府機関の規制が上位の政府機関当局への償還請求を必要とするかどうかを尋ねる。

例示的なキー番号クラス識別子：
１５ＡＫ２２９−行政法および手続−行政権と他の権力との分離−立法権
データベース１２０において、各頭注は、例えば、ウエストキー番号分類システムに基づく１つ以上のクラス識別子に関連する。（ウエストキー番号システムのさらなる詳細は、Ｗｅｓｔ’ｓ Ａｎａｌｙｓｉｓ ｏｆ Ａｍｅｒｉｃａｎ Ｌａｗ：Ｇｕｉｄｅ ｔｏ ｔｈｅ Ａｍｅｒｉｃａｎ Ｄｉｇｅｓｔ Ｓｙｓｔｅｍ，２０００ Ｅｄｉｔｉｏｎ，Ｗｅｓｔ Ｇｒｏｕｐ，１９９９（これは本明細書中に参照として援用される）を参照されたい）。例えば、頭注１２２は、クラス（単数または複数）識別子１２２．１、クラス識別子１２２．２および１２２．３に関連し、頭注１２４は、クラス（単数または複数）識別子１２４．１および１２４．２に関連する。

例示的なシステムでは、頭注データベース１２０は、約２，０００万の頭注を含み、１週間につき約１２０００の頭注のレートで成長する。頭注の約８９％は、１つのクラス識別子に関連し、約１０％は、２つの識別子に関連し、そして、約１％は、２つ以上の識別子に関連する。

さらに、頭注データベース１２０は、頭注１２６および１２８等の多くの頭注を含む。これらは、データベース１１０のＡＬＲ注釈に関連にまだ関連していないか、または関連している。しかし、この頭注は、クラス識別子に関連している。詳細には、頭注１２６は、クラス識別子１２６．１および１２６．２に関連し、頭注１２８は、クラス識別子１２８．１に関連する。

分類プロセッサ１３０は、ＡＬＲ注釈データベース１１０と頭注データベース１２０との両方に結合される。分類プロセッサ１３０は、分類子（ｃｌａｓｓｉｆｉｅｒ）１３１，１３２，１３３および１３４、複合スコアジェネレータ１３５、割り当て決定マーカ１３６、ならびに、決定基準モジュール１３７を含む。プロセッサ１３０は、頭注データベース１２０の頭注に関連する１つ以上のケースが注釈データベース１１０の１つ以上の注釈に割り当てられるか、その中に引用されるかどうかを判定する。プロセッサ１３０また、予備分類データベース１４０に接続される。

予備分類データベース１４０は、割り当てまたは引用のレコメンデーションを格納する、および／または編成する。データベース１４０内では、このレコメンデーションは、１つの注釈または注釈の下位集合に基づいて、１つのファーストインファーストアウト（ＦＩＦＯ）キュー、複数のＦＩＦＯキューとして編成され得る。このレコメンデーションは、ワークセンター１５０に最終的に分配される。

ワークセンター１５０は、予備分類データベース１４０および注釈データベース１１０と通信し、データベース１４０に格納されたレコメンデーションに基づいてデータベース１１０のＡＬＲ注釈を手動で更新する際にユーザを支援する。詳細には、ワークセンター１５０は、ワークステーション１５２，１５４および１５６を含む。ワークステーション１５４および１５６と実質的に同一であるワークステーション１５２は、例えば、キーボードおよびマウス等（図示せず）のグラフィカルユーザインターフェース１５２．１およびユーザインタフェースデバイスを含む。

一般的に、例として示すシステム１００は、以下のように動作する。頭注データベース１２０は、最近決定されたケース用の頭注（頭注１２６および１２８等）の新規の集合を受け、分類プロセッサ１３０は、頭注に関連する１つ以上のケースがＡＬＲ内のいずれの注釈に十分に関連し、頭注（または割り当てられたケース）の１つ以上の注釈への割り当てを推奨することの根拠を示す。（いくつかの他の実施形態は、頭注または割り当てられたケースを注釈に直接割り当てる。）割り当てレコメンデーションは、予備分類データベース１４０に格納され、受領または拒絶のために、ワークステーション１５２，１５４および１５６のグラフィカルユーザインターフェースを介して、ワークセンター１５０のエディタによって後に取り出されるか、それに提示される。受け取られたレコメンデーションは、ＡＬＲ注釈データベース１１０の各注釈に引用として加えられ、拒絶されたレコメンデーションは、加えられない。しかし、受け取られたレコメンデーションと拒絶されたレコメンデーションとの両方は、その決定基準のインクリメンタルトレーニングまたはターニングのために、分類プロセッサ１３０にフィードバックされる。

特に図２は、オペレーティングシステム１００の例示的方法を詳細に示すフローチャート２００を示す。フローチャート２００は、複数のプロセスブロック２１０〜２５０を含む。ブロックは例示的実施形態では順に配列しているが、他の実施形態ではブロックの順を変更したり、１以上のブロックを省略したり、および／または２以上のブロックを平行して実行したりし得る。２以上のブロックを平行して実行することは、複数のプロセッサを用いるか、あるいは２以上の仮想マシンまたはサブプロセッサとして組織された単一のプロセッサを用いることによって行われる。さらに別の実施形態では、ブロックは、１以上の特定の相互接続されたハードウェア、または関連する制御が行われる集積回路モジュールとして実行される。これらのモジュール間、および全モジュールを通してデータ信号が通信される。このように例示的プロセスフローは、ソフトウェア、ファームウェア、ハードウェア、およびこれらの実行の組み合わせに適用可能である。

以下の記載では、次の表示システムを用いる。小文字のａ、ｈおよびｋはそれぞれ、注釈、頭注、および分類または分類識別子（たとえばＷｅｓｔ Ｋｅｙ Ｎｕｍｂｅｒ分類または分類識別子）を表す。大文字のＡ、ＨおよびＫはそれぞれ、すべての注釈のセット、すべての頭注のセット、およびすべてのキーナンバー分類のセットを表す。さらに、ベクトル量を表す変数は、太字の大文字で表す。対応するベクトル成分は小文字で表す。たとえば、Ｖ（太字）はベクトルを表し、ｖはベクトルＶ（太字）の成分を表す。

ブロック２１０において、例示的方法は、注釈データベース１１０（図１）内の注釈をテキストベースの特徴ベクトルとして表すことから開始される。具体的にはこのことは、各注釈ａを１カラム特徴ベクトルＶ_ａとして表すことを伴う。これは注釈内で引用されたケースの頭注に現れる名詞および／または名詞−ワード対に基づいて行われる。（他の実施形態では、頭注がバイグラムまたは名詞句として表される。）
注釈で引用されたケースに関連する頭注のすべてを用いることは可能であるが、例示的実施形態では、ケースに関連する全頭注のセットの中から、現在表されている注釈に最も関連する頭注を選択する。各注釈について、このことは、注釈で引用されたすべてのケース内のすべての頭注を用いて特徴ベクトルを構築し、引用された頭注と引用注釈の頭注との間の類似性に基づいて各ケースから１、２または３の頭注を選択し、最も類似する頭注を関連頭注として表示することを伴う。最も関連のある頭注を決定するために、例示的実施形態は、識別子１３１〜１３４を用いて類似性スコアを演算し、各頭注について４つのスコアの平均値を求め、スコアの最も高い頭注と最も高いスコアの少なくとも８０％のスコアを有する頭注とを最も関連する頭注と定義する。８０％という値は経験的に選択された。

一旦選択されると、関連する頭注（または注釈の実際のテキスト）は、それに含まれる名詞、名詞−名詞、名詞−動詞、および名詞−形容詞対のセットとして表される。ワード対内のワードは必ずしも隣接しているわけではなく、互いに特定のワード数または特定の文字数以内に存在する。すなわち、特定のワード窓または文字窓内に存在する。窓サイズは調整可能であり、１から頭注内の全ワード数または全文字数までの値を取り得る。窓が大きいほど性能は高い傾向があるが、例示的実施形態では、３２の切れ目のないワードよりも大きい窓では変化が見られなかった。しかし便宜上、例示的窓サイズは実際の頭注のサイズに設定する。例示的実施形態では、停止ワードを排除し、すべてのワードの語根形態を用いる。付録Ａは、例示的停止ワードの例示的リストを示すが、他の実施形態では他の停止ワードリストが用いられる。

図３は、例示的実施形態による頭注３１０および名詞−ワード表示３２０の例を示す。図３はさらに、Ｗｅｓｔ Ｋｅｙ Ｎｕｍｂｅｒ分類テキスト３３０および分類識別子３４０を示す。

特定の注釈ベクトルＶ_ａでは、任意の特定の成分ｖ_ａの重みまたは大きさが

と定義される。上記式において

は、注釈ａに関連する語または名詞−語対の語頻度（すなわち現れる全回数）を示す。（例示的実施形態では、これは注釈に関連する頭注のセット内で語が現れる回数である。）

は、関連する語または名詞−語対のドキュメント頻度の逆数を表す。

は

として定義される。上記式において、Ｎは集合内の頭注の総数（たとえば２千万）であり、

は、語または名詞−ワード対を含む頭注（あるいはより包括的にはドキュメント）の数である。プライム「’」は、これらの頻度パラメータはプロキシテスト、たとえば、関連する頭注のテキストに基づくものであり、注釈自体のテキストにもとづくものではないことを示す。（但し他の実施形態では、注釈のテキストのみ、または注釈のテキストとプロキシテスト（たとえば頭注または他の関連ドキュメント）との組み合わせのすべてまたは一部が用いられ得る。）
例示的実施形態は、注釈自体のテキストではなく注釈に関連する頭注を用いるが、注釈−テキストベクトルは、より多数の成分を含み得る。実際、注釈ベクトルによっては、数千数万の語または名詞−ワード対を含み得るものもあり、その大半は語頻度は低い。したがって、語の数を管理可能な数に減少させるのみならず、ベクトル−空間内に存在することが知られている希有のワードの問題を回避するためにも、例示的実施形態は低重み語を除去する。

具体的には例示的実施形態は、必要な限りできるだけ多くの低重み語を除去して、５００語という絶対的下限、または各注釈ベクトル長の７５％減少を達成する。このプロセスが注釈ベクトル内の語数に与える影響は、その重み分布に依存する。たとえば、語が同様の重みを有する場合、語の約７５％が除去される。しかし、重み分布が歪曲された注釈の場合、語の僅か１０％しか除去され得ない。例示的実施形態では、このプロセスにより約７千万〜約８百万語の注釈ベクトルすべてに対してユニークな語の総数が減少した。

他のいくつかの実施形態では、ベクトルサイズを限定するために他の方法が用いられる。たとえば、いくつかの実施形態では、カテゴリ毎の語数、語の頻度、ドキュメント頻度、または重みに固定の閾値が適用される。これらの方法は概して、基礎となるカテゴリが特徴空間で大幅に変化しない場合に効率がよい。他の実施形態では、相互情報などの尺度に基づいて特徴選択が行われる。しかしこれらの方法は、算定数値的には高価である。本実施形態の方法は、これら２つの目的のバランスをとることを試みている。

ブロック２２０は、テキストベースの特徴ベクトルとして注釈を表示した後に実行されるが、データベース１２０（図１）からの１以上の入力頭注を、対応する頭注−テキストベクトルのセットとしてモデル化することを伴う。入力頭注は、頭注データベース１２０に最近追加された頭注、またはデータベース１１０内のＡＬＲ注釈との関連についてこれまで検討されていない頭注を含む。

例示的実施形態は、各入力頭注ｈをベクトルＶ_ｈとして表し、各成文ｖ_ｈは注釈ベクトルの成分同様、頭注内の語または名詞−ワード対と関連づけられる。ｖ_ｈは
Ｖ_ｈ＝ｔｆ_ｈ＊ｉｄｆ_Ｈ （３）
として表される。上記式において、ｔｆ_ｈは、入力頭注内の関連する語または名詞−ワード対の頻度（すなわち、現れる全回数）を示す。ｉｄｆ_Ｈは、すべての頭注内の関連する語または名詞−ワード対のドキュメント頻度の逆数を示す。

ブロック２３０において、本実施例の方法は、分類プロセッサ１３０（図１）の動作を続ける。図２は、ブロック２３０自体がサブプロセスブロック２３１〜２３７を含むことを示す。

ブロック２３１は、分類器１３１の動作を表し、１セットの類似度スコアを各注釈に対応付けられたテキストに対して各入力頭注テキストの類似度に基づいて計算するステップを伴う。すなわち、例示の実施形態は、この類似度を頭注ベクトルＶ_ｈと各注釈ベクトルＶ_ａとの間の角度の余弦として測定する。数学的には、これは以下のように示される。

ここで、「・」は従来のドットすなわち内積演算子を示し、かつＶ_ａ’およびＶ_ｈ’は、それぞれのベクトルＶ_ａおよびＶ_ｈが注釈テキストおよび頭注の両方において見いだされる項または名詞ワードの対に対応する要素を含むように変更されたことを示す。言い換えると、ドット積は、項または名詞ワードの対の交差に基づいて計算される。

は、ベクトル引数の長さを示す。本実施形態において、大きさは、ベクトルのすべての要素に基づいて計算される。

ブロック２３２は、分類器１３２の動作を表し、１セットの類似度スコアを入力頭注に対応付けられたクラス識別子（または他のメタデータ）および各注釈に対応付けられたクラス識別子の類似度に基づいて計算するステップを伴う。この決定がなされる前に、各注釈ａは、注釈クラスベクトル

として表され、各要素

は、注釈によって引用される頭注に割り当てられたクラス識別子の重みを示す。各要素

は、以下として識別される。

ここで、

は対応付けられたクラス識別子の頻度を示し、

はそのドキュメント頻度の逆数を示す。

は、以下として識別される。

ここで、Ｎ_Ｃは、クラスまたはクラス識別子の総数である。例示の実施形態において、Ｎ_Ｃは、Ｗｅｓｔ Ｋｅｙ Ｎｕｍｂｅｒ Ｓｙｓｔｅｍにおけるクラスの総数である９１９９７である。ｄｆ^Ｃは、注釈ａに対するクラス識別子のセットのうちのクラス識別子の頻度である。選択されたセットの注釈頭注に基づく例示の注釈テキストベクトルと異なり、注釈クラスベクトルは、注釈に対応頭注のすべてに対応付けられたクラス識別子を使用する。いくつかの実施形態は、クラス識別子対を使用し得るが、それらは、実施例において逆効果であることが分かる。

同様に、各入力頭注はまた、頭注クラスベクトル

として表され、各要素は、頭注に割り当てられたクラスまたはクラス識別子の重みを示す。各要素

は、以下として適宜される。

ここで、

はクラス識別子の頻度を示し、および

はクラス識別子のドキュメント頻度の逆数を示す。

は、以下として識別される。

ここで、Ｎ_Ｃは、クラスまたはクラス識別子の総数であり、およびｄｆ_ｈは、注釈に対応付けられたクラスまたはクラス識別子のセットのうちのクラス識別子の頻度である。

一旦注釈クラスおよび頭注クラスベクトルが確立されると、分類プロセッサ１３０は、各類似スコアＳ_２をそれらの間の角度の余弦として計算する。これは、以下として表現される。

１つより多い対応付けられたクラス識別子を有する頭注に対して、例示の実施形態は、その頭注に対する他のクラス識別子のうちの各識別子を独立に想定し、結局のところ、最大識別子類似度を生じるクラス識別子を使用する。いくつかの場合、頭注が２つ以上の対応付けられたクラス識別子（またはキーナンバー分類）を有し得るので、最大化基準が使用され、２つ以上のリーガルポイントの議論を示す。しかし、ほとんどの場合、クラス識別子のうちの１つだけが、所定の注釈と関連する。

ブロック２３３において、分類器１３３は、１セットの類似スコアＳ_３を、頭注がクラス識別子（またはメタデータ）統計から所定の注釈に、対応付けられる可能性に基づいて決定する。この確率は、以下によって近似される。

｛ｋ｝_ｈは、頭注ｈに割り当てられたクラス識別子のセットを示す。各注釈条件クラス確率Ｐ（ｋ／ａ）は、以下によって推定される。

ここで、ｔｆ_{（ｋ，ａ）}は、注釈ａの頭注に対応付けられたクラス識別子のうちのｋ番目クラス識別子の項頻度であり；｜ａ｜は、注釈ａに対応付けられたユニークなクラス識別子の総数を示す（すなわち、サンプルの数またはセットの濃度）；および

は、すべてのクラス頻度に対する項頻度の合計を示す。

類似度スコアＳ_３の例示の決定は、クラス識別子が互いに独立に頭注に割り付けられ、かつ｛ｋ｝_ｈのうちの１つのクラス識別子だけが注釈ａに実際に関連するという仮定に依存する。１クラス仮定は、多くの注釈に当てはまらないが、システムの全体の性能を向上させる。

あるいは、注釈に対して条件付きクラス識別子（キーナンバー分類）確率を積算し得るが、これは、単一キーナンバー分類を有する頭注に比較して複数キーナンバー分類を有する。他のいくつかの実施形態は、ベイヤ規則を使用して、アプリオリ確率を分類器１３３に組み込む。しかし、このアプローチを用いたある実験は、システム性能がこの例示の実施例において提供されるシステム性能よりの低い可能性があることを示唆する。

この低いことの理由は、注釈が異なる時間に生成される事実、かつある注釈が別の注釈よりも多くの引用を有する事実は、所定の頭注に対する生起がよりありうることを必ずしも意味しない。実際に、より多くの引用は、ある注釈がより長く存在したことを反映するのみであり得、および／または別よりもより頻繁に更新され得る。したがって、他の実施形態は、クラス番号が注釈に割り当てられる頻度に基づいて事前確率を使用し得る。

ブロック２３４において、分類器１３４は、入力頭注のテキストが与えられた場合の各注釈の確率であるＰ（ａ｜ｈ）に基づいて１セットの類似度スコアＳ_４を決定する。Ｐ（ａ｜ｈ）を計算するための実用の数式を得る際に、例示の実施形態はまず、入力頭注ｈが１セットの記述子Ｔによって完全に表され、各記述子ｔは所定の確率Ｐ（ｔ｜ｈ）を有する頭注に割り当てられる。次いで、全確率の理論およびベイズの定理に基づいて、Ｐ（ａ｜ｈ）は以下に表される。

記述子が頭注と関連するクラス識別子から独立しているとの仮定によって近似を作成することが可能である。

および

にしたがって、値Ｓ_４の類似性を計算する。
ここで、Ｐ（ａ｜ｈ）は

によって近似される。
ｔｆ_{（ｔ，ｈ）}は頭注での用語ｔの頻度を表し、

は頭注におけるすべての用語の頻度の合計を表す。Ｐ（ａ｜ｔ）はベイズの定理

にしたがって定義され、ここでＰ（ａ）は前回の注釈ａの可能性を表し、識別子ｔが与えられる注釈ａの可能性であるＰ（ａ｜ｔ）は

として推定され、

は注釈Ａのセットにおけるすべての注釈ａ’の合計を表す。
すべての前回の可能性注釈Ｐ（ａ）およびＰ（ａ’）は等しいと仮定されるので、Ｐ（ａ｜ｔ）は

を用いて計算される。

集成値ジェネレータ１３５の動作を表すブロック２３５は、分類子１３１から１３５によってブロック２３１から２３５において決定される類似値のセットに基き、各注釈ａに対する入力頭注ｈの類似性を示す各集成値を用いての、集成値

のセットの計算を必然的に伴う。特に、ジェネレータ１３５は、各複合値

を

に従って計算し、ここで、

は入力頭注ｈおよび注釈ａに対するｉ回目の類似値ジェネレータの類似値を表し、ｗ_ｉａは、ｉ回目類似値ジェネレータおよび注釈ａに割り当てられた重みである。例示的方法の実行が次にブロック２３６において継続する。

ブロック２３６において割り当て決定メーカー１３６が、頭注に関連する例えばケース（ｃａｓｅ）などの頭注またはドキュメントの入力が、決定−基準モジュール１３７内の集成値および決定基準のセットに基づき１つ以上の注釈に分類されるかまたは組み込まれることを推奨する。例示的実施形態では、頭注は以下の決定規則に従って注釈に割り当てられる。

ここで、г_ａは決定−基準モジュール１３７からの注釈専用の閾値であり、Ｄｈは、頭注に関連する法律上の見解などのドキュメントを表す。（例示的実施形態では、各ＡＬＲ注釈は関連する頭注の文章およびその事例の完全な引用を含む。）
ｉ＝１から４でありａ∈Ａである注釈−分類子重みｗ_ｉａ、およびａ∈Ａである注釈閾値г_ａは同調位相中に得られる。０≦ｗ_ｉａ≦１である重みは、各類似値を注釈ａにルーティングし得るとの自信を反映する。類似値およびａ∈Ａである注釈閾値г_ａがまた得られ、それらは注釈の同質性を反映する。一般に、狭い話題を扱う注釈は、複数のものに関する話題を扱う注釈よりも高い閾値を有する傾向にある。

このＡＬＲの実施形態では、閾値は、９０％以上の頭注（または関連するドキュメント）はどの注釈にも割り当てられないことを反映する。具体的には、例示的実施形態は、５次元空間上の網羅的な検索を通して最適化される注釈−分類子の重みおよび注釈閾値を推定する。空間は検索を管理し得るようにディスクリート（不連続化）される。最適化された重みは、少なくとも９０％のリコール（想起）レベルにおいて最大の精度に対応するものである。

さらに詳しくは、このことは４つの重みの変数の組み合わせすべてを試すことを必然的に伴い、各組み合わせに対して０から１の区間を超える２０の可能な閾値の値を試す。最良の精度および想起を生成する重みおよび閾値の組み合わせがその後選択される。例示的実施形態は、９０％より少ない結果となる任意の重み−閾値の組み合わせを除外する。

より高い精度レベルを達成するために、例示的実施形態は、それらの割り当てられた注釈または目標とする分類を得るように、割り当てを効率的に必要とする。この獲得は以下の規則の使用を必然的に伴う。

ここでαはゼロより大きく１より小さい、例えば０．８などの経験的に決定された値を表し、

は、注釈ａに割り当てられる頭注のセットである｛Ｈ_ａ｝における頭注に関連する最大の複合類似値を表す。

ブロック２４０は、分類プロセッサ１３０からの分類の推奨を処理することを伴う。この目的のために、プロセッサ１３０は、予備分類データベース１４０（図１に示す）へ分類推奨を送る。データベース１４０は、注釈、管轄、またはその他の関係する基準に基づき、推奨を分類し、それらを例えば、１つのＦＩＦＯ（ファーストインファーストアウト）列などに、１つの注釈または注釈のサブセットに基づき複数のＦＩＦＯ列として格納する。

リクエストによってまたは自動的に、１つ以上の推奨がその後ワークセンター１５０に、具体的にはワークステーション１５２、１５４、および１５６に伝達される。ワークステーションのそれぞれは自動的にまたはユーザの起動に応答して、グラフィックユーザインターフェース１５２．１などの１つ以上のグラフィックユーザインターフェースを表示する。

図４に、例示的な形態のグラフィカルユーザインターフェース１５２．１を示す。インタフェース１５２．１は、同時に表示されるウィンドウまたは領域４１０、４２０、４３０およびボタン４４０〜４９０を含む。

ウィンドウ４１０は、予備的分類データベース１４０からの頭書識別子の推奨リスト４１２を表示する。各頭注識別子は、少なくとも１つの注釈識別子（ウィンドウ４３０に示される）に論理的に関連付けられている。リストに挙げられた頭注識別子のそれぞれは、キーボードまたはマウス、またはマイクなどの選択デバイスを用いて、選択可能である。リスト４１２内の頭注識別子４１２．１は、選択されると、例えば反転映像表示によって、自動的に強調表示される。それに応答して、ウィンドウ４２０は、頭注４２２および判例引用４２４を表示する。これらは、両方とも、互いに対して関連付けられ、強調表示された頭注識別子４１２．１に関連付けられている。さらなる応答において、ウィンドウ４３０は、頭注４１２．１に関連付けられた注釈識別子によって指定される注釈に関連付けられた、注釈アウトライン４３２の少なくとも一部またはセクション（あるいは分類階層）を表示する。

「新規セクション」と書かれたボタン４４０は、ユーザが注釈アウトラインに新規のセクションまたはサブセクションを作成することを可能にする。頭注示唆は良好だが、現行の注釈のセクションに適合しないという場合があるので、この機能は有用である。新規セクションまたはサブセクションの作成は、このようにして注釈を簡便に拡大することを可能にする。

ボタン４５０は、現在のセッションの間に現在の注釈に対して行われた頭注割り当てを記述するテキストボックスの表示のオンおよびオフを切り換える。例示的な実施形態において、テキストボックスは、短縮テキスト形式、例えば、＜注釈または階層識別子＞、＜サブセクションまたはセクション識別子＞、＜頭注識別子＞などで各割り当てを表す。この機能は、ウィンドウ４３０のサイズよりも大きく、ウィンドウのスクロールコンテンツを必要とする注釈アウトラインに特に有用である。

「割り当て解除」と書かれたボタン４６０は、ユーザが、特定の注釈に対する頭注の割り当てを解除、すなわち、分類を解除することを可能にする。従って、ユーザが、以前のセーブされていない分類について考えを変えた場合、ユーザはその分類を無効にすることができる。いくつかの実施形態において、ウィンドウ４１０において識別された頭注は、ユーザがその割り当てを不正確または不適切であると判断しない限り、ウィンドウ４３０において表示される特定の注釈セクションに割り当てられると理解される。（いくつかの実施形態においては、推奨の受け入れは、注釈を判例にリンクし、判例を注釈にリンクするハイパーリンクの自動作成を必要とする。）
「次の注釈」と書かれたボタン４７０は、次の注釈に割り当てることを推奨されている頭注のセットをユーザが表示させることを可能にする。具体的には、これは、予備的分類記憶装置１４０から頭注を取り出し、ウィンドウ４１０に表示することのみを必要とするのではなく、ウィンドウ４３０内に関連する注釈アウトラインを表示することをも必要とする。

「注釈を飛ばす」と書かれたボタン４８０は、ユーザが現在の注釈を示唆とともに飛ばし、次の示唆および関連付けられた注釈のセットに進むことを可能にする。この機能は、例えば、あるエディタが特定の注釈に対する割り当てを他のエディタに再検討してもらうことを所望する場合、または、エディタがこの注釈を違うとき、例えば、注釈テキスト全体を読むか、検討した後に再検討することを所望する場合に特に有用である。示唆は、再検討されるか、または取り除かれるまで、予備的分類データベース１４０に残される。（いくつかの実施形態において、示唆は、タイムスタンプされ、より新しい示唆に取って代わられるか、または所定の期間の後に自動的に消去される。この期間は、いくつかの変形例において、特定の注釈に依存する。）
「出口」と書かれたボタン４９０により、エディタは、エディタセッションを終了させることが可能となる。終了すると、受領および推奨がＡＬＲ注釈データベース１１０に格納される。

図２は、予備的分類の処理の後に、例示的な方法の実行が、ブロック２５０から継続することを示す。ブロック２５０は、分類決定基準のアップデートを必要とする。例示的な実施形態において、これは、各注釈について受け入れられた推奨と拒否された推奨との数を数え、注釈に特有の決定閾値および／または分類子重みを適切に調節することを必要とする。例えば、ある注釈について、分類推奨のうちの８０％が、１日、１週間、１ヶ月、１四半期、または１年の間に拒否される場合、例示的な実施形態は、推奨の数を減らすため、その注釈に関連付けられた決定閾値を増大させ得る。反対に、８０％が受け入れられる場合、充分な数の推奨が考慮されることを確実にするため、閾値は下げられ得る。

（頭注の米国判決記録への分類のための例示的システム）
図５は、米国判決記録（ＡｍＪｕｒ）の１３５，０００のセクションのうちの１つ以上へのドキュメントの分類を容易にするように調節された例示的な分類システム５００の形態のシステム１００の変形例を示す。ＡＬＲ注釈と同様に、各ＡｍＪｕｒ注釈は、裁判所によって決定された、関連する判例を引用する。同様に、ＡｍＪｕｒのアップデートには時間がかかる。

システム１００と比較すると、分類システム５００は、６つの識別子、すなわち、識別子１３１〜１３４、ならびに識別子５１０および５２０と、複合スコアジェネレータ５３０と、割り当て決定マーカ５４０とを含む。識別子１３１〜１３４は、ＡＬＲデータとは反対に、ＡｍＪｕｒについて動作することを除いて、システム１００において用いられるものと同じである。

識別子５１０および５２０は、ＡｍＪｕｒセクション内で引用された頭注に基づく代用データではなく、ＡｍＪｕｒセクションテキスト自体を処理する。より具体的には、識別子５１０は、式に基づいた分類子１３１を用いて動作して、ＡｍＪｕｒセクションテキストにおける名詞の対のｔｆ−ｉｄｆ（用語頻度―ドキュメント頻度の逆数）に基づいて、類似度を生成する。識別子５２０は、式に基づいた分類子１３４を用いて動作して、入力された頭注のセクションテキストの可能性に基づいて、類似度測定値を生成する。

測定値が計算された後、各識別子は、類似度測定値のそれぞれのセットの数値ランキングに基づいて、各ＡｍＪｕｒセクションに類似度のスコアを割り当てる。従って、任意の入力された頭注について、６つの識別子のそれぞれが、その頭注への類似度に従って、１３５，０００個のＡｍＪｕｒセクションを効果的にランキングする。識別子およびそのスコアの基礎となるデータにおける差異を考えると、６つの識別子全てが、最も関連が深いＡｍＪｕｒセクションを一番高くランキングする可能性は低い。識別子および識別子が用いるデータの差異は、概して、このようなことが起こらないことを示唆する。表１は、各識別子のある頭注に対する類似度がどのように点を付けられるか、すなわち、ランキングされるかを示す、部分的にランキングされたＡｍＪｕｒセクションのリスト項目を示す。

複合スコアジェネレータ５３０は、それに対応する６つの類似スコアのセットに基づいた各ＡｍＪｕｒセクションに対して複合類似スコアを生成する。例示的な実施形態において、これは、各ＡｍＪｕｒセクションに対して６つのスコアのメジアンを計算することを伴なう。しかし、他の実施形態は、６つのランキングのすべてまたはサブセットの均一にまたは不均一に重み付けられた平均を計算し得る。さらに他の実施形態は、最大、最小、またはＡｍＪｕｒセクションに対する複合スコアとしてのモードを選択し得る。複合スコアに生成した後、複合スコアジェネレータは、最も高い複合スコアに関連付けられたＡｍＪｕｒセクション、最も高い複合スコア、ならびに、入力頭注を識別するデータを割り当て決定メーカー５４０に転送する。

割り当て決定−メーカー５４０は、固定時間周期ごとの入力頭注の総数に基づいて、頭注分類推奨の固定部分を予備の分類データベース１４０に提供する。推奨の数を統治する固定数および時間周期が、決定−基準モジュール１３７内のパラメータに従って決定される。例えば、ある実施形態は、複合スコアに基づいて時間周期に対する全入来頭注を分類し、かつ、上位１６％を占めるそれらの頭注のみを推奨する。

いくつかの例では、１つより多い頭注は、所与の切り落とされた閾値、例えば、上位１６％に等しい複合スコアを有し得る。これらの状況において、より高い精度を保証するために、例示的な実施形態は、６つの実際の分類子スコアを用いて、切り落とされた閾値と一致する全頭注セクションのペアを順序付けする。

これは、特定の頭注セクションペアに対する６つの分類子スコアを６つのＺスコアに変換し、次に特定の頭注セクションペアに対する６つのＺスコアを乗算することを伴ない、６つの類似測定を作成する。（Ｚスコアは、各分類子スコアが通常分布を有すると仮定し、分布の平均および標準偏差を見積もって、次に、分類子スコアから平均を引いて、標準偏差による結果で割ることによって得られる。）受注基準を満たす頭注セクションのペアは、この新しい類似の測定に従って順序付けられるか、あるいは再ランク付けされる、全推奨の所望の数に達成するように必要とされる数が予備分類データベース１４０に転送される。（他の実施形態は、頭注セクションの全ペアにこの「再順序付け」を適用し、次に、推奨の所望数を得るために必要な合格基準に基づいてこれらをフィルタリングし得る。）
（頭注をＷｅｓｔ Ｋｅｙ Ｎｕｍｂｅｒ Ｓｙｓｔｅｍに分類するための例示的システム）
図６は、Ｗｅｓｔ Ｋｅｙ Ｎｕｍｂｅｒ Ｓｙｓｔｅｍのクラスに対して入力頭注の分類を容易にするように調整された例示的な分類システム６００の形態でシステム１００の別の改変を示す。Ｋｅｙ Ｎｕｍｂｅｒ Ｓｙｓｔｅｍは、４５０の上位レベルのクラスを有する階層的な分類システムである。これは、さらに、９２，０００のサブクラスに細分され、それぞれ、独特なクラスの識別子を有する。システム１００との比較において、システム６００は、分類子１３１および１３４、複合スコアジェネレータ６１０、ならびに割り当て決定−メーカー６２０を含む。

前述の実施形態に従って、分類子１３１および１３４は、各入力頭注を１組の名詞ワードの主要ベクトルとしてモデル化し、各クラス識別子をそれに割り当てられた頭注から抽出された１組の名詞ワードの特性ベクトルとしてモデル化する。分類子１３１は、各クラス識別子および所与の入力頭注に割り当てられた頭注における１組の名詞ワードに対するｔｆ−ｉｄｆ製品に基づいて類似のスコアを生成する。そして、識別子１３４は、入力頭注に与えられるクラス識別子の可能性に基づいて類似のスコアを生成する。従って、システム６００は、１８４，０００を超える類似のスコアを生成する。各スコアは、２つの分類子のそれぞれ１つを用いて、Ｗｅｓｔ Ｋｅｙ Ｎｕｍｂｅｒ Ｓｙｓｔｅｍにおいて９２，０００を超えるクラスの識別子のそれぞれ１つに対して入力頭注の類似性を表す。

複合スコアジェネレータ６１０は、各可能な頭注クラス−識別子に対する２つの類似性測定値を組み合わせて、それぞれの複合類似スコアを生成する。例示的実施形態において、これは、各クラスまたはクラス識別子に対して、クラスに既に割り当てられた頭注に基づいて２つの規格化された累積的なヒストグラム（各分類子に対して１つ）を定義することを伴なう。これらのヒストグラムは、対応する累積的な密度関数に近似し、これは、クラス識別子の所与のパーセンテージが基準の類似スコアよりも下位にスコアされる可能性を決定することを可能にする。

より詳細には、分類子１３１および１３４に基づいて、クラス識別子ｃに対する２つの累積的な規格化ヒストグラムは、それぞれ、

および

と表され、

に従って推定され、ここで、ｃは特定のクラスまたはクラス識別子を表し、ｓ＝０，０．０１，０．０２，０．０３，・・・，１．０、Ｆ（ｓ＜０）＝０、Ｍ_ｃは、クラスまたはクラス識別子ｃに分類されるか、または関連付けられた頭注の数を表し、｜｛Ｂ｝｜はセットＢにおけるエレメントの数を表し、ｈ_ｉ（ｉ＝１，．．．，Ｍ_ｃ）はクラスまたはクラス識別子ｃに既に分類されるか、または関連付けられる頭注のセットを表し、

は、頭注ｈ_ｉに対する類似のスコアを表し、ならびに、分類子１３１によって測定されるようなクラス−識別子ｃおよび

は、頭注ｈ_ｉおよび識別子１３４によって測定されるようなクラス−識別子ｃに対する類似のスコアを表す。（このコンテキストにおいて、各類似のスコアは、クラスｃに割り当てられた頭注全てに所与の割り当てられた頭注の類似性を指し示す。）言いかえると、

は、識別子１３１からｓのスコアを受け取ったクラスｃに割り当てられた頭注の数を表し、かつ、

は、識別子１３４からｓのスコアを受け取ったクラスｃに割り当てられた頭注の数を表す。

従って、全ての可能なスコア値（特定のスコアスペーシングを有する０と１との間）に対して、各ヒストグラムは、特定のスコアよりも高く、および、低くスコアされる割り当てられた頭注のパーセンテージを提供する。例えば、分類器１３１に対して、クラス識別子ｃのヒストグラムは、頭注のセットの６０％が、全体としての頭注のセットと比較されるときに０．７よりも高くスコアされた分類器ｃに割り当てられることを示す。ところが、分類器１３４に対して、ヒストグラムは、割り当てられた頭注の５０％が０．７よりも高くスコアされることを示す。

次に、複合スコアジェネレータ６１０は、入力頭注の各スコアを、対応するヒストグラムを用いて正規化された類似スコアに変換し、正規化されたスコアに基づいて、各分類器に対する各複合スコアを計算する。例示の実施形態において、この変換は、その累積的な可能性を決定するために、対応するヒストグラムに対して各分類器スコアをマッピングし、次に、それぞれの複合類似スコアを計算するために所与のクラスｃに関連付けられたそれぞれの対のスコアの可能性を乗算することを伴なう。次に、入力頭注に対する複合スコアのセットは、割り当ての決定メーカー６２０によって処理される。

割り当て決定メーカー６２０は、トップスコアリングクラス識別子の固定数を予備分類データベース１４０に転送する。例示の実施形態は、全ての入力頭注に対して、トップ５の複合類似スコアを有するクラス分類器を提示する。
（他の例示的適用）
現在の様々な例示のシステムのコンポーネントは、無数の方法で組み合わされ、より重大な複雑性およびより重大でない複雑性の両方の他の分類器システムを形成し得る。さらに、コンポーネントおよびシステムは、頭注以外の他のタイプのドキュメントに対して調整され得る。確かに、コンポーネントおよびシステムおよび実施される教示および動作の原理は、任意のテキストまたはデータ分類器コンテキストに仮想的に関連する。

例えば、１つは、電子音声およびメーリングメッセージを分類器するために、１つ以上の例示的システムおよび関連した変化を適用し得る。いくつかのメール分類器化システムは、送信者がアドレスブックにあるかどうか、受信者と同様のドメインであるかどうか等に基づいて、有用なメッセージかスパムかを分類器する従来のルールと共に１つ以上の分類器を含み得る。

（結論）
本技術の促進において、発明者は、様々な例示のシステム、方法、およびソフトウェアを提示した。様々な例示のシステム、方法、およびソフトウェアは、例えば１４，０００ＡＬＲの注釈で表された、頭注または分類システムに関連したリーガルケースなどといったテキストの分類を容易にする。例示のシステムは、テキストに基づいた分類の推奨およびクラスの類似および確率的な関係を分類するか、または作成する。システムはまた、グラフィカルユーザインターフェースを提供し、推奨された分類の編集処理を容易にし、従って、例えばＡｍｅｒｉｃａｎ Ｌｅｇａｌ Ｒｅｐｏｒｔｓ、Ａｍｅｒｉｃａｎ Ｊｕｒｉｓｐｒｕｄｅｎｃｅ、および無数の他のものといったドキュメント収集の自動化された更新を提供する。

上述される実施形態は、その大きさまたは範囲を限定せず、本発明を実行するか、あるいはインプリメントする１つ以上の方法を例示的に示し、かつ教示するためのみに意図される。本発明の実際の範囲は、本発明の教示を実行するか、あるいはインプリメントする全ての方法を包括し、添付の特許請求の範囲およびそれと等価なものによってのみ定義される。

Claims (14)

1. ターゲット分類システムにおいて入力テキストを１つ以上のターゲットクラスに分類する自動化された方法であって、前記方法は、前記ターゲット分類システムによって実行され、前記ターゲット分類システムは、識別手段と、決定手段とを備え、
   前記方法は、
   前記識別手段が、前記入力テキスト中の複数の頭注の各頭注について、前記頭注中の１つ以上の名詞ワードペアを識別することであって、前記頭注は、法律の観点に関する電子テキストサマリであり、前記頭注中の１つ以上の名詞ワードペアを識別することは、前記頭注中の第１の名詞を識別することと、前記第１の名詞から除去されたワードの数に関係なく前記頭注中のどこかに位置する１つ以上のワードを識別することとを含み、前記第１の名詞から除去されたワードの数に関係なく前記頭注中のどこかに位置する１つ以上のワードを識別することは、１つ以上のストップワードのセットを排除することを含む、ことと、
   前記決定手段が、前記入力テキスト中の前記複数の頭注の各頭注について、前記ターゲットクラスのうちの１つのターゲットクラスに対する前記頭注の類似性を示す１つ以上のスコアを、前記頭注中の前記識別された名詞ワードペアのうちの１つ以上の名詞ワードペアの頻度と前記ターゲットクラスのうちの前記１つのターゲットクラスに割り当てられた注釈または他の頭注のテキスト中の１つ以上の名詞ワードペアの頻度とに基づいて、決定することと
   を含む、方法。
2. 前記１つ以上のスコアは、
   前記ターゲットクラスと関連するテキストに対する前記入力テキストの少なくとも１つ以上の部分の類似性に基づいた少なくとも１つのスコアと、
   前記入力テキストと関連する１つ以上の非ターゲットクラスのセットと、前記ターゲットクラスと関連する１つ以上の非ターゲットクラスのセットとの類似性に基づく少なくとも１つのスコアと、
   前記入力テキストと関連する１つ以上の非ターゲットクラスのセットが与えられた場合の前記ターゲットクラスの確率に基づいた少なくとも１つのスコアと、
   前記入力テキストの少なくとも一部分が与えられた場合の前記ターゲットクラスの確率に基づいた少なくとも１つのスコアと
   を含む、請求項１に記載の方法。
3. 前記１つ以上の識別された名詞ワードペア、およびターゲットクラスのうちの１つと関連する他のテキスト中の１つ以上の名詞ワードペアに基づいて１つ以上のスコアを決定することは、
   前記識別された名詞ワードペアの各々に対するそれぞれの重みを決定することを含み、
   前記それぞれの重みは、前記テキスト中の識別されたワード名詞ペアの用語の頻度と、前記ターゲットクラスのうちの１つと関連する他のテキスト中の名詞ワードペアの逆ドキュメント頻度との積に基づく、請求項１に記載の方法。
4. 前記ターゲット分類システムは、分類手段をさらに備え、
   前記方法は、
   前記分類手段が、前記ターゲットクラスのうちの１つ以上について、前記ターゲットクラスに対するクラス固有の決定閾値および前記１つ以上のスコアに基づいて、前記ターゲットクラスへの前記テキストの分類を分類または推奨することをさらに含む、請求項１に記載の方法。
5. 前記ターゲット分類システムは、アップデート手段をさらに備え、
   前記方法は、
   前記アップデート手段が、前記テキストの推奨された分類の受諾または拒絶に基づいて、前記ターゲットクラスのうちの１つについて前記クラス固有の決定閾値をアップデートすることをさらに包含する、請求項４に記載の方法。
6. 入力テキストを、２つ以上のターゲットクラスを有するターゲット分類システムに分類することに関する命令を含むマシン読み取り可能な媒体であって、前記入力テキストは、法律の観点に関する電子テキストサマリであり、
   前記命令は、
   前記入力テキスト中の複数の頭注の各頭注について、前記ターゲットクラスのうちの１つのターゲットクラスに対する前記頭注の類似性を示す第１のスコアおよび第２のスコアを、前記入力テキストと前記ターゲットクラスのうちの前記１つのターゲットクラスとに基づいて、決定するための第１のセットの命令であって、前記第１のスコアは、前記頭注中のどこかに位置する１つ以上の名詞ワードペアの識別されたセットの頻度、前記ターゲットクラスのうちの前記１つのターゲットクラスに割り当てられた注釈または他の頭注のテキスト中の１つ以上の名詞ワードペアの前記識別されたセットの頻度、前記１つのターゲットクラスに割り当てられた注釈または他の頭注のテキストに対する前記入力テキストの少なくとも１つ以上の部分の類似性、または前記入力テキストと関連する１つ以上の非ターゲットクラスのセットと、前記１つのターゲットクラスと関連する１つ以上の非ターゲットクラスのセットとの類似性に基づき、前記１つ以上の名詞ワードペアのセットは、前記頭注中の第１の名詞を識別することと、前記第１の名詞から除去されたワードの数に関係なく前記頭注中のどこかに位置する１つ以上のワードを識別することとにより、識別され、前記第１の名詞から除去されたワードの数に関係なく前記頭注中のどこかに位置する１つ以上のワードを識別することは、１つ以上のストップワードのセットを排除することを含み、前記第２のスコアは、前記入力テキストと関連する１つ以上の非ターゲットクラスのセットが与えられた場合の前記１つのターゲットクラスの確率、または前記入力テキストの少なくとも一部分が与えられた場合の前記１つのターゲットクラスの確率に基づく、第１のセットの命令と、
   前記第１のスコアおよび前記第２のスコアに基づいて複合スコアを決定するための第２のセットの命令と、
   前記複合スコアを決定閾値と比較するための第３のセットの命令と
   を含む、媒体。
7. 前記第１のスコアおよび前記第２のスコアに基づいて複合スコアを決定するための第２のセットの命令は、
   前記第１のスコアおよび前記第２のスコアを、前記１つのターゲットクラスと関連するそれぞれの第１のクラス固有の重みおよび第２のクラス固有の重みにより重み付けするための命令と、
   前記重み付けされた第１のスコアを前記第２の重み付けされたスコアに追加するための命令と
   を含む、請求項６に記載の媒体。
8. 前記第１のスコアは、前記入力テキストと関連する１つ以上の名詞ワードペアのセットと、前記１つのターゲットクラスと関連する１つ以上の名詞ワードペアのセットとに基づき、各セット中の少なくとも１つの名詞ワードペアは、名詞および非隣接ワードを含む、請求項６に記載の媒体。
9. 前記ターゲットクラスのうちの１つ以上について、前記複合スコアおよび前記決定閾値に基づいて、前記入力テキストの前記ターゲットクラスへの分類を分類または推奨するための命令をさらに含む、請求項６に記載の媒体。
10. 前記入力テキストの推奨された分類の受諾または拒絶に基づいて、前記ターゲットクラスのうちの１つについて前記決定閾値をアップデートするための命令をさらに含む、請求項９に記載の媒体。
11. 入力テキストを、２つ以上のターゲットクラスを有するターゲット分類システムに分類するための命令を含むマシン読み取り可能な媒体であって、前記入力テキストは、法律の観点に関する電子テキストサマリであり、
    前記命令は、
    前記入力テキスト中の複数の頭注の各頭注について、前記ターゲットクラスのうちの１つのターゲットクラスに対する前記頭注の類似性を示す第１のスコアおよび第２のスコアを、前記入力テキストと前記ターゲットクラスのうちの前記１つのターゲットクラスとに基づいて、決定するための第１のセットの命令であって、前記第１のスコアは、前記頭注中のどこかに位置する１つ以上の名詞ワードペアの識別されたセットの頻度、前記ターゲットクラスのうちの前記１つのターゲットクラスに割り当てられた注釈または他の頭注のテキスト中の１つ以上の名詞ワードペアの前記識別されたセットの頻度、前記入力テキストと関連する１つ以上の非ターゲットクラスのセットと、前記１つのターゲットクラスと関連する１つ以上の非ターゲットクラスのセットとの類似性に基づき、前記１つ以上の名詞ワードペアのセットは、前記頭注中の第１の名詞を識別することと、前記第１の名詞から除去されたワードの数に関係なく前記頭注中のどこかに位置する１つ以上のワードを識別することとにより、識別され、前記第１の名詞から除去されたワードの数に関係なく前記頭注中のどこかに位置する１つ以上のワードを識別することは、１つ以上のストップワードのセットを排除することを含み、前記第２のスコアは、前記入力テキストの少なくとも一部分が与えられた場合の前記１つのターゲットクラスの確率に基づく、第１のセットの命令と、
    前記第１のスコアおよび前記第２のスコアの線形結合に基づいて複合スコアを決定するための第２のセットの命令と、
    前記複合スコアを決定閾値と比較するための第３のセットの命令と
    を含む、媒体。
12. 前記第１のスコアは、前記入力テキストと関連する１つ以上の名詞ワードペアのセットと、前記１つのターゲットクラスと関連する１つ以上の名詞ワードペアのセットとに基づき、各セット中の少なくとも１つの名詞ワードペアは、名詞および非隣接ワードを含む、請求項１１に記載の媒体。
13. 前記ターゲットクラスの各々は、ドキュメントであり、前記１つのターゲットクラスに割り当てられた注釈または他の頭注のテキストは、前記ドキュメントのテキスト、または前記ターゲットクラスと関連する別のドキュメントのテキストを含む、請求項１１に記載の媒体。
14. 前記ターゲットクラスのうちの１つ以上について、前記複合スコアおよび前記決定閾値に基づいて、前記入力テキストの前記ターゲットクラスへの分類を分類または推奨するための命令と、
    前記入力テキストの推奨された分類の受諾または拒絶に基づいて、前記ターゲットクラスのうちの１つについて前記決定閾値をアップデートするための命令と
    をさらに包含する、請求項１１に記載の媒体。

Images