JPH11328218A

JPH11328218A - コンテンツ属性情報正規化方法、情報収集・サービス提供システム、属性情報設定装置並びにプログラム格納記録媒体

Info

Publication number: JPH11328218A
Application number: JP10146539A
Authority: JP
Inventors: Tomoharu Hikita; 智治疋田; Masaaki Matsumoto; 政昭松本; Noriko Fujishiro; 典子藤代
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1998-05-12
Filing date: 1998-05-12
Publication date: 1999-11-30
Anticipated expiration: 2018-05-12
Also published as: JP4042830B2

Abstract

(57)【要約】【課題】ネットワーク上に分散したコンテンツ情報を
収集し、検索サービス等に再利用するホスト装置におい
て、情報提供者の閲覧用文書の構造・形式に縛られるこ
となく、サービス提供用データベースの構築を可能とす
る。【解決手段】閲覧用情報と混在してコンテンツ属性情
報が含まれる文書ファイルからコンテンツ属性情報を抽
出する機能、該抽出したコンテンツ属性情報について、
属性構造の正規化処理を行う機能、該構造が正規化され
たコンテンツ属性情報について、文字表現形式の正規
化、数値表現の正規化処理を行う機能を設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ネットワーク上に
分散したコンテンツ情報を自動収集し、検索サービス等
に再利用する技術に係り、詳しくは、複数のＷｅｂサイ
トから収集したコンテンツ情報を統合・整理し、検索サ
ービス等に必要な属性を抽出・正規化する方法、それを
適用した検索エンジンなどの情報収集・サービス提供シ
ステム、並びに、文書ファイルの作成・編集を支援する
属性情報設定装置、さらには、コンテンツ属性情報を正
規化するプログラムを格納した記録媒体に関する。

【０００２】

【従来の技術】ネットワーク上に分散したコンテンツ情
報を自動収集して検索サービス等に再利用するための、
二、三の一般的な従来技術を以下に示す。

【０００３】図２４はコンテンツ属性情報を考慮しない
検索エンジンシステムを示す。図において、２４００は
検索エンジン、２４１０はネットワーク、２４２０は該
ネットワーク上に分散配置されたＷｅｂサイト、２４３
０はユーザ端末である。Ｗｅｂサイト２４２０は、情報
提供者（ＩＰ）の用意した閲覧用文書ファイル（一般的
にはＨＴＭＬで記述）を保持している。検索エンジン２
４００は、制御部２４０３の制御で、自動情報収集部２
４０１にてネットワーク２４１０上のＷｅｂサイト２４
２０を巡回して閲覧用文書ファイル（ＨＴＭＬ文書）を
収集し、解析部２４０２にて、該文書ファイルを解析し
て、ページ単位で要約情報、キーワードインデックス等
を作成し、該ページ単位の情報をコンテンツデータベー
ス（コンテンツＤＢ）２４０４に格納する。一方、検索
部２４０５では、ユーザ端末２４３０から検索要求があ
ると、コンテンツＤＢ２４０４を検索し、検索結果をユ
ーザ端末２４３０へ返送する。ユーザ端末２４３０のユ
ーザは、該検索結果を元に、必要ならＷｅｂサイト２４
２０の文書ファイルを直接閲覧する。

【０００４】図２５に、該従来技術で対象とする文書フ
ァイル（ＨＴＭＬ文書）の構造を示す。また、図２６に
具体例として、ＨＴＭＬ言語で記述された商品カタログ
の一例を示す。図２５（ａ）や図２６に示すように、対
象とする文書ファイル（ＨＴＭＬ文書）には、複数のコ
ンテンツが格納されており、区切りが不明確、コンテン
ツの分野も不明確であり、また、コンテンツの属性情報
は文章の中に含まれている。解析部２４０２は、該文書
ファイルを自然言語解析などして必要情報を抽出する
が、低い精度でしか抽出できず、コンテンツＤＢ２４０
４には各ページが雑多に格納されることになる。図２５
（ｂ）に示すように、文書はツリー構造で表すことがで
きるが、閲覧用の文書（ＨＴＭＬ文書）は、閲覧スタイ
ル、もしくは文章の論理構造に基づき、構造化されてい
るため、サービス提供（検索サービス）に適した属性情
報をそこから抽出することは難しい。

【０００５】図２７は、コンテンツ属性情報が固定的な
自動収集分類システムを示す。図において、２７００は
情報自動収集分類装置、２７１０はネットワーク、２７
２０は該ネットワーク上に分散配置されたＷｅｂサイ
ト、２７３０はユーザ端末である。本従来例では、Ｗｅ
ｂサイト２７２０に、文書本体（ＨＴＭＬ文書）とは別
にコンテンツ属性情報を用意する。図２８に、本従来技
術が対象とする文書の構成例を示す。なお、閲覧用文書
中の文字列をコンテンツ属性情報としてタグでマークア
ップして、閲覧用文書中にコンテンツ属性情報を含ませ
ることも可能である。

【０００６】情報自動収集分類装置２７００では、制御
部２７０４の制御下で、自動情報収集部２７０１にてネ
ットワーク２７１０上のＷｅｂサイト２７２０を巡回し
て該当ファイル（文書ファイル、属性情報ファイル）を
収集し、分離部２７０２にてコンテンツ属性情報を分離
し、属性抽出部２７０３にてコンテンツ属性情報を解釈
し、該コンテンツ属性情報をほぼそのままコンテンツＤ
Ｂ２７０５に格納する。サービス提供部２７０６の動作
は、図２４の検索部２４０５と同様である。本従来例で
は、コンテンツ属性情報を閲覧情報とは別に用意するの
で、サービス提供に便利なような構造とすることができ
る。

【０００７】図２９は、コンテンツ属性情報を閲覧用タ
グ及び文字列と対応づける自動収集分類システムを示
す。図において、２９００は情報自動収集分類装置、２
９１０はネットワーク、２９２０は該ネットワーク上に
分散配置されたＷｅｂサイト、２９３０はユーザ端末で
ある。本従来例は、図２４の検索エンジンシステムと同
様にＷｅｂサイト２９２０には閲覧情報のみの文書ファ
イル（ＨＴＭＬ文書）を用意するが、情報自動収集分類
装置２９００内に、あらかじめ閲覧用文書ファイルの中
の閲覧用タグ、及び文字列とコンテンツ属性との対応ル
ール２９０４を保持しておき、これを参照して閲覧文書
からコンテンツ属性の抽出を可能にするものである。対
応ルール２９０４としては、例えば、「円」という文字
の前には必ず「価格」が出現するなどというルールを作
っておく。

【０００８】情報自動収集分類装置２９００では、制御
部２９０３の制御下で、自動情報収集部２９０１にてネ
ットワーク２９１０上のＷｅｂサイト２９２０を巡回し
て閲覧用文書ファイル（ＨＴＭＬ文書）を収集し、属性
抽出部２９０２にて、文書ファイル中の文字列、及び閲
覧用の構造を表わすタグと属性との対応ルール２９０４
を参照して、コンテンツ属性情報を文書ファイル中から
抽出し、コンテンツＤＢ２９０５に格納する。サービス
提供部２９０６の動作は、図２４の検索部２４０５と基
本的に同様である。本従来例では、コンテンツ単位（例
えば、商品単位）で属性情報をコンテンツＤＢ２９０５
に格納することができるため、コンテンツ分野指定検
索、属性検索、関連付け検索が可能である。

【０００９】次に、属性情報設定装置について説明す
る。属性情報設定装置とは、テキスト情報中の文字列を
マークアップすることで、コンテンツ属性情報を設定す
る装置である。一般の構造化文書作成装置（例えば、Ｓ
ＧＭＬエディタと呼ばれるもの）も同等の機能を持って
いる。

【００１０】図３０は従来の属性情報設定装置のブロッ
ク図を示したもので、全体メニュー部３００１、属性設
定部３００２、属性削除部３００３、属性範囲変更部３
００５、ファイル入力部３００６、ファイル出力部３０
０７、構造検証部３００８等で構成される。ファイル入
力部３００６から対象となる文書ファイルを入力し、全
体メニュー部３００１のエディタ画面を見ながら、属性
設定部３００２、属性削除部３００３、属性変更部３０
０４、属性範囲変更部３００５等の機能を利用してコン
テンツ属性情報の設定、削除、変更、範囲変更を実施
し、ファイル出力部３００７から出力する。文書オブジ
ェクトは閲覧用タグとコンテンツ属性用タグを区別しな
いで管理し、構造検証部３００８で検証する。

【００１１】図３１は、属性タグ付き文書（一般にはＸ
ＭＬ文書）の閲覧用文書構造とコンテンツ属性情報の概
念図である。図中、白丸が閲覧用タグ、黒丸がコンテン
ツ属性用タグを示している。従来の属性情報設定装置３
０００の構造検証部３００８では、閲覧用文書とコンテ
ンツ属性情報を同一に管理するため、例えば親子関係ま
でしか検証できない場合には、白丸と黒丸相互には文法
的な制限が存在せず、白丸同士黒丸同士には制限がある
場合でも、検証できない場合がある。したがって、制限
を緩くすることになってしまい、有効な文法検証ができ
ない。

【００１２】

【発明が解決しようとする課題】上記従来技術におい
て、コンテンツ属性情報を考慮しない検索エンジンシス
テムには次のような問題がある。 (１) 文書内のコンテンツ（例えば、商品情報）の区切
りが不明で、ページ単位で分類、ページ単位でしか検索
できない。 (２) コンテンツの分野を指定できず、検索結果にノイ
ズが多い。例えば、「日本酒が買いたい」と考え、キー
ワード「日本酒」で検索すると、日本酒の通販だけでな
く、日本酒好きの人のウンチクなどまで検索されてしま
う。 (３) コンテンツの属性（たとえば、商品の価格、色な
ど）が認識できない。したがって、属性による検索はで
きない。例えば、「３０００円以下の日本酒」という検
索は不可能である。また、情報の再利用が困難である。
即ち、属性を利用して他のＤＢと関連づけることができ
ない。

【００１３】これに対して、コンテンツ属性情報が固定
的な自動収集分類システムでは、文書内あるいはその文
書とは別にコンテンツ属性情報が用意され、システムが
属性情報を取得できることから、コンテンツ単位での分
類が可能、コンテンツの分野を指定した検索が可能、コ
ンテンツの属性による検索が可能（例：「３０００円以
下の日本酒」という検索が可能）、コンテンツの属性を
利用した他のデータとの関連付けが可能であり、コンテ
ンツ属性情報を考慮しない検索エンジンシステムの問題
点をほぼ解消している。

【００１４】しかしながら、このコンテンツ属性情報が
固定的な自動収集分類システムでは、閲覧用の文書の構
造・表現形式とサービス提供に適した属性情報の構造・
形式は一般に一致しないため、次のような問題点があら
たに生じる。 (１) 閲覧用文書とは別にコンテンツ属性情報を用意す
る場合（いわゆるメタデータと呼ばれる情報）、文書フ
ァイルを直接閲覧した情報と、自動収集して得た情報が
一致しない別能性がある。特に、複数のコンテンツにつ
いて記述した文書ファイルの場合（商品カタログな
ど）、二重にその情報を記述することになり、その可能
性が高い。 (２) 閲覧用文書中の文字列をコンテンツ属性情報とし
てタグでマークアップする場合（これはＸＭＬの一般的
な使い方）、文書ファイル中の文書構造・記述形式を制
限するか、逆にサービス提供の情報を文書ファイル中の
文書構造・記述形式と同一にしなくてはならない。特に
ＸＭＬをそのまま利用するだけでは、同一のコンテンツ
に対する属性の付与の仕方、属性の名称、記述形式等が
作成者によって異ったり、他のサービスへ適用するのに
適した属性が付与されている保証がない。即ち、複数の
計算機（サイト）から収集した文書を他のサービスの提
供を考慮した共通の構造形式（ＤＢテーブル等）に格納
することができない。

【００１５】一方、コンテンツ属性情報を閲覧用タグ、
及び文字列と対応づけるシステムでは、閲覧文書ファイ
ル内には閲覧情報のみ格納し、その中の閲覧用タグ、及
び文字列とコンテンツ属性との対応ルールをシステムが
あらかじめ保持しておき、これを参照して閲覧文書から
コンテンツ属性を抽出する。このため、対応ルールが正
しいという条件の元では、コンテンツ属性情報を考慮し
ない検索エンジンシステムの問題点は解決できる。ま
た、コンテンツ属性情報が固定的な自動収集分類システ
ムの上記（１）の問題も存在しない。しかしながら、閲
覧用文書が対応ルールに従わなくてはならない、という
制約が必要であり、その閲覧文書の構造に強い制約が生
じてしまう。商品カタログなどの場合には、消費者に対
しての表現の自由が制限されてしまい、大きな問題とな
る。これは、コンテンツ属性情報が固定的な自動収集分
類システムの上記（２）と同等の問題である。

【００１６】次に、従来の属性情報設定装置には次のよ
うな問題がある。 (１) 一般ユーザが閲覧した際の結果は見ることができ
るが、自動収集・分類装置などが属性を抽出・正規化
（構造、値形式）処理を行った結果を見る機能は持って
いないので、データ作成者はデータがどのように利用さ
れるかを知ることができない。 (２) 閲覧用タグとコンテンツ属性用のタグを区別して
管理していないため、タグの構造検証が煩雑になる。図
３１でも示したように、一般に閲覧用タグ同士、コンテ
ンツ属性用タグ同士の制限は比較的強いが、閲覧用タグ
とコンテンツ属性用タグの間には緩い制限しかないこと
が多い（たとえば、ＸＭＬ言語における適性形式として
の制限程度）。その場合、それぞれを区別して管理して
いないため、親子関係までしか検証できない構造検証部
では、全体の制限としては緩い制限にせざるをえず、有
効に機能しない。

【００１７】本発明の目的は、上記従来技術の問題点を
解決して、ネットワーク上に分散したコンテンツ情報
を、単なる閲覧以外に自由に再利用可能とするサービス
を実現することにある。

【００１８】より詳しくは、本発明の目的は、サービス
提供時の情報形式と情報提供者の用意した閲覧用文書の
構造形式とを自由に設定可能として、ネットワーク上に
分散したコンテンツ情報を自動収集し、情報提供者の閲
覧用文書の構造・形式に縛られることなく、サービス提
供用データベースの構築を可能とすることにある。

【００１９】本発明の他の目的は、テキスト情報中の文
字列をマークアップすることで、コンテンツ属性情報を
設定する装置において、データ作成者がデータの利用結
果を確認でき、また、閲覧用文書構造とコンテンツ属性
情報構造のより厳しい文法検証等を可能とすることにあ
る。

【００２０】

【課題を解決するための手段】上記目的を達成するため
に、請求項１の発明は、閲覧文書に合わせた構造・形式
を持つコンテンツ属性情報を、該閲覧文書に依らない構
造・形式に正規化する方法であって、閲覧用情報と混在
してコンテンツ属性情報が含まれる文書ファイルからコ
ンテンツ属性情報を抽出するステップと、前記抽出した
コンテンツ属性情報について、属性構造の正規化処理を
行うステップと、前記構造が正規化されたコンテンツ属
性情報について、文字表現形式の正規化、数値表現の正
規化処理を行うステップとを有することを特徴とする。

【００２１】また、請求項２の発明は、上記請求項１記
載のコンテンツ属性情報正規化方法において、属性構造
の正規化処理では、コンテンツの展開、属性名の正規
化、属性の分割、他属性への正規化を行うことを特徴と
する。

【００２２】また、請求項３の発明は、上記請求項１、
２記載のコンテンツ属性情報正規化方法において、正規
化処理の正規化ルールとして、分野非依存・属性非依存
ルール、分野依存・属性非依存ルール、分野非依存・属
性依存ルール、分野依存・属性依存ルールを備え、コン
テンツ分野と属性名で管理することを特徴とする。

【００２３】請求項４の発明は、情報提供者のＷｅｂサ
イト、ホスト装置、ユーザ端末がネットワークを介して
接続された情報収集・サービス提供システムにおいて、
ホスト装置は、ネットワーク上に分散配置されたＷｅｂ
サイトの文書ファイルを自動収集する手段、該収集した
文書ファイルに閲覧用情報と混在して含まれているコン
テンツ属性情報を抽出する手段、該抽出したコンテンツ
属性情報を、サービス提供に適した構造・形式に正規化
する手段、該正規化されたコンテンツ属性情報を蓄積す
る手段と、該蓄積されたコンテンツ属性情報を使用し
て、ユーザ端末からの要求に対してサービスを行う手段
を有することを特徴とする。

【００２４】請求項５の発明は、閲覧用文書中の文字列
をマークアップすることで、コンテンツ属性情報を設定
する属性情報設定装置において、コンテンツ属性情報を
抽出・正規化してプレビューする手段と、閲覧用タグと
コンテンツ属性用タグを別々に管理して、閲覧用情報と
コンテンツ属性情報を相互に無視して検証する手段を有
することを特徴とする。

【００２５】請求項６の発明は、閲覧文書に合わせた構
造・形式を持つコンテンツ属性情報を、該閲覧文書に依
らない構造・形式に正規化するためのプログラムを記録
したコンピュータ読み取り可能な記録媒体であって、閲
覧用情報と混在してコンテンツ属性情報が含まれる文書
ファイルからコンテンツ属性情報を抽出する処理プロセ
スと、前記抽出したコンテンツ属性情報について、属性
構造の正規化処理を行うプロセスと、前記構造が正規化
されたコンテンツ属性情報について、文字表現形式の正
規化、数値表現の正規化処理を行う処理プロセスとを有
することを特徴とする。

【００２６】

【発明の実施の形態】以下、本発明の一実施の形態につ
いて図面により説明する。図１は本発明を適用したシス
テムの一実施例として、ネットワーク上に分散したコン
テンツ情報を自動収集し、属性を抽出・正規化して検索
サービス等に再利用する情報収集・サービス提供システ
ムのブロック図を示したものである。図において、１０
０は検索エンジンなどとなるホスト装置（ここでは、情
報自動収集分類装置と呼ぶ）、１１０はインタネットな
どのネットワーク、１２０はネットワーク上に分散配置
された情報提供者（ＩＰ）のＷｅｂサイト、１３０は情
報自動収集分類装置１００を利用するユーザ端末であ
る。

【００２７】Ｗｅｂサイト１２０は、コンテンツ属性情
報を含んだ閲覧用文書ファイル（例えば、ＸＭＬ文書）
を作成する属性情報設定装置１２５を具備する。この属
性情報設定装置１２５により、多様な構造をとりうる閲
覧用文書（一般にはＨＴＭＬ文書）にコンテンツ属性情
報を一元的に保持する形態で含ませることが可能にな
る。なお、属性情報設定装置１２５の本発明による構成
については後述する。

【００２８】情報自動収集分類装置１００は、ネットワ
ーク１１０上のＷｅｂサイト１２０を巡回し、コンテン
ツ属性情報が含まれた文書ファイル（例えばＸＭＬ文
書）を自動収集する自動情報収集部１０１、該収集した
文書ファイルからコンテンツ属性情報を抽出する属性抽
出部１０２、該抽出したコンテンツ属性情報を、検索サ
ービス等の再利用のために構造変換、属性名・属性値形
式変換等の正規化を行う属性正規化部１０３、これら各
部を制御する制御部１０４、属性正規化部１０３で正規
化されたコンテンツ属性情報を、商品単位等のコンテン
ツ単位で格納するコンテンツデータベース（コンテンツ
ＤＢ）１０５、属性正規化部１０３での正規化処理のた
めのルールを、コンテンツ分野、属性名等で管理する正
規化ルール１０６、コンテンツＤＢ１０５の内容を利用
して、ユーザにコンテンツ属性情報による検索サービス
などを提供するユーザサービス提供部１０８などで構成
される。なお、破線の対応ルール１０７はオプションを
示し、先の図２９の対応ルール２９０４と同様に、閲覧
文書ファイル中の閲覧用タグ及び文字列とコンテンツ属
性との対応ルールを保持することで、属性抽出部１０２
は、閲覧情報のみの文書ファイル（一般にはＨＴＭＬ文
書）からもコンテンツ属性が抽出可能であることを示し
ている。

【００２９】ユーザは、ユーザ端末１３０を利用して情
報自動収集分類装置１００にアクセスして、分野指定検
索、関連付け検索などを行い、検索結果を元にＷｅｂサ
イト１２０の文書ファイルを直接閲覧する。

【００３０】情報自動収集分類装置１００の全体の処理
フローを図２及び図３に、また、ここで対象とする文書
の構造、その処理過程での遷移を図４に示す。以下、図
２乃至図４に従って、本発明によるコンテンツ属性情報
の抽出・正規化処理の一実施例について説明する。な
お、図２及び図３に示すフローチャートの各処理プロセ
スを記述したプログラムは、コンピュータが読み取り可
能な記録媒体、例えばフロッピーディスクやメモリカー
ド、ＣＤ−ＲＯＭなどに記録して提供することが可能で
ある。

【００３１】本実施例で対象とする文書はＸＭＬ文書と
する。ＸＭＬはタグを自由に定義可能な文書構造記述
（マークアップ）言語であり、このＸＭＬで定義したコ
ンテンツ属性用タグを利用することで、コンテンツ属性
を自動的に抽出できる。また、閲覧時は使用しない属性
を含めることも可能である。

【００３２】図１において、情報提供者（ＩＰ）は、属
性情報設定装置１２５を利用して、閲覧用文書（一般に
はＨＴＭＬで記述）中の文字列をタグでマークアップす
ることで、閲覧文書に合わせた構造・形式を持つコンテ
ンツ属性情報の含まれた文書ファイル（ＸＭＬ文書）を
作成し、Ｗｅｂサイト１２０に用意する。図４（ａ）は
ＨＴＭＬ文書の構造、同図（ｂ）はＸＭＬ文書の構造を
示している。なお、Ｗｅｂサイト１２０の文書ファイル
は、はじめからＸＭＬの形式で記述されたものでもよ
い。

【００３３】情報自動収集分類装置１００の自動情報収
集部１０１は、ネットワーク１１０上のＷｅｂサイト１
２０を巡回して、文書ファイル（ＸＭＬ文書）を自動収
集し、該文書ファイルからＩＰ単位の情報、ページ単位
の情報を抽出する（ステップ２０１〜２０３）。ここで
抽出される情報は、閲覧文書に合わせた構造・形式を持
つコンテンツ属性情報が閲覧用情報と混在して含まれた
ＸＭＬ文書そのままのものである（図４の（ｃ））。

【００３４】属性抽出部１０２は、自動情報収集部１０
１で収集・抽出されたＸＭＬ文書について、文字コード
を正規化した後（ステップ２０４）、コンテンツ属性情
報のみを抽出する（ステップ２０５）。ここで、文字コ
ードの正規化は、ネットワーク上の文書ファイルは様々
な文字コードで記述されることが多いので、これに対処
するためである。文書ファイルからのコンテンツ属性情
報のみの抽出は、例えば、タグを解釈するパーサ（ＳＧ
ＭＬパーサ等）をコンテンツ属性情報用タグのみを解釈
するように動作させる（閲覧用のタグは無視）すること
で可能である。どのタグがコンテンツ属性情報用タグな
のかは、設定ファイルとして保持し、それを参照するよ
うにする。例えば、ＳＧＭＬにおけるＤＴＤのデフォル
ト属性として保持する。この場合、文書作成・編集用の
設定ファイルとして再利用が可能である。ここで抽出さ
れたコンテンツ属性情報は、閲覧文書に合わせた構造・
形式を持つ。図４（ｄ）はこれを示している。

【００３５】なお、この属性抽出部１０２では、閲覧用
タグ、及び文字列とコンテンツ属性との対応ルール１０
８（例えば、「円」という文字の前には、必ず「価格」
が出現するなど）を保持しておけば、該ルール１０８を
参照して、閲覧文書からコンテンツ属性情報を抽出する
ことができる。

【００３６】属性正規化部１０３は、正規化ルール１０
４を参照して、属性抽出部１０２で抽出された閲覧文書
に合わせた構造・形式をもつコンテンツ属性情報を、検
索サービスなどのサービス提供に適した形式に正規化す
る。正規化ルール１０４には、分野非依存／属性非依存
ルール、分野依存／属性非依存ルール、分野非依存／属
性依存ルール、分野依存／属性依存ルールなどが存在
し、コンテンツ分野と属性名で管理している。

【００３７】属性正規化部１０３では、まず、対象コン
テンツ（閲覧文書の構造と同形のコンテンツ属性情報）
の分野を、コンテンツ属性情報のカテゴリタグの値で認
識する（ステップ２０６）。これは、分野によって、コ
ンテンツＤＢ１０５のスキーマが異なるため、はじめに
認識しておく必要があるためである。次に、当該対象コ
ンテンツ（コンテンツ属性情報）について、閲覧文書に
合わせた構造をサービス提供に適した構造に正規化し
（ステップ２０７）、更に、該構造が正規化されたコン
テンツ属性情報について、文字表現形式の正規化（ステ
ップ２０８）、数値表現の正規化（ステップ２０９）を
行う。図４（ｅ）は正規化の概念を示す。最後に、この
正規化されたコンテンツ属性情報を、コンテンツＤＢ１
０５にコンテンツ単位で格納する（ステップ２１０）。
なお、文字表現形式の正規化と数値表現の正規化は、処
理順序が逆でもよい。また、例えば数値部分と単位部分
に分けるなど、属性構造の変換を伴う場合もある。

【００３８】以下、属性構造の正規化、文字表現形式の
正規化及び数値表現正規化の処理について詳述する。

【００３９】属性構造の正規化は、コンテンツ展開処
理、属性名の正規化、属性の分割、他属性への変換に大
別される。さらに、コンテンツ展開処理は二つに分けら
れる。ここでは、それらをコンテンツ展開処理（１）、
コンテンツ展開処理（２）と呼ぶことにする。

【００４０】閲覧情報として一つのコンテンツの異形を
表すために、同一属性を複数持つ構造になっていること
があるが、サービス提供時には別コンテンツとして格納
してある方が便利な場合がある。このような場合、コン
テンツ展開処理（１）を適用し、別コンテンツとして展
開する。例えば、ある飲料商品が中身は同一で容量によ
り価格が変化するような場合には、閲覧文書上（商品カ
タログ）は同一商品の異形として表現してあり、再利用
して表現したコンテンツ属性情報も同じような形になっ
ている。サービス提供時にそれぞれの商品として扱う場
合が多く、その場合には、それらを展開する機能が必須
となる。図５に、コンテンツ展開処理（１）の概念図を
示す。なお、先の図４（ｅ）のコンテンツ展開処理の例
は、このコンテンツ展開処理に対応する。

【００４１】一方、閲覧情報として同一のジャンルのコ
ンテンツを一くくりの位置に記述することが多い。その
場合、コンテンツ展開処理（２）を適用して、一くくり
をオブジェクトと考え、そのオブジェクトに設定された
属性情報をその子オブジェクトのデフォルトの属性とし
展開する。例えば、ある飲料商品の一連の商品種がすべ
て吟醸という製品に属する場合、カタログ上では、吟醸
と大きく記述し、その後の商品はすべて暗黙の内に吟醸
であると書く場合がある。サービス提供時には、それぞ
れの商品として扱うため、各商品情報の属性に製法＝吟
醸であると付加する必要がある。図６に、コンテンツ展
開処理（２）の概念図を示す。

【００４２】属性名の正規化は、概念的に同一な属性の
項目名が異なる場合に行う。図７に、属性名の正規化の
一例を示す。逆に、属性の分割は、概念的に複数の属性
に分割した方が扱いやすい場合に行う。図８に、属性の
分割の一例を示す。

【００４３】他属性への変換（正規化）は、単数、ある
いは複数の属性から別の単数、あるいは複数の属性へ変
換する処理である。例えば、日本酒度、酸度から呑み口
を計算し、図９のどの領域に入るかによって、呑み口を
判断する（不等式で計算）。

【００４４】文字表現形式の正規化は、例えば、日本酒
製法を大吟醸、吟醸、普通の３種類に分類して、サービ
ス提供したい場合、閲覧用文書中の表現としては、「大
吟醸酒」でも、「大吟醸のお酒」でも大吟醸と正規化す
ることである（「大吟醸」という表現しか認めないと、
一般のお客様向けの商品カタログの表現が制限されるこ
とになる）。その他、コード体系の正規化などを行う。
この場合、論理式などの条件文が使用できる。

【００４５】数値形式の正規化は、例えば図１０の処理
手順で行う。閲覧文書上では、数値は全角／半角表現、
通常の数値／漢数字、カンマ区切り入り／なし、など表
現にばらつきがあるので、これらを正規化する（ステッ
プ１００１）。単位付きの数値では、単位の表現の仕方
にばらつきがある。たとえば、価格の表現として￥１０
００、１０００円、１０００ｙｅｎなどが存在する。こ
れらを認識する（ステップ１００２）。この認識した単
位系からサービス提供で用いる単位系に変換する（ステ
ップ１００３）。また、複数の値や、範囲のある数値を
認識して変換する（ステップ１００４）。たとえば、
「１０００円以上２０００円未満、及び３０００円以上
４０００円未満」といった情報を元にサービス提供に適
した形式に変換する。サービス提供上、二つの数値範囲
を一つのコンテンツで扱えれば、そのまま格納するし、
一つの数値範囲しかなければ、２つのコンテンツに展開
して格納することになる。

【００４６】図１１乃至図１９に、本実施例によるコン
テンツ属性情報抽出・正規化の具体的処理例を示す。図
１１は情報提供者が提供する文書ファイル（ＸＭＬ文
書）であり、閲覧用文書（ＨＴＭＬ文書）中の文書列を
任意に定義されたタグでマークアップすることで、コン
テンツ属性情報が設定されている。図１１において、太
字で示すタグ（例えば〈ＭＥＭＯ〉・・・〈／ＭＥＭ
Ｏ〉）で囲まれた部分がコンテンツ属性情報である。

【００４７】図１２は、図１１の文書ファイル（ＸＭＬ
文書）中からコンテンツ属性情報をそのまま抽出したデ
ータであり、コンテンツ属性情報は情報提供者の閲覧文
書に合わせた構造・形式のままである。この図１２のコ
ンテンツ属性情報を木構造形式で表現したのが図１３で
ある。図１３から分かるように、これは必ずしも検索サ
ービス等の提供に適した構造・形式になっていない。

【００４８】図１４は、図１２の対象コンテンツ（コン
テンツ属性情報）について、コンテンツ展開処理（２）
を適用した結果を示したものである。図１５は、図１４
の展開結果に対して、さらにコンテンツ展開処理（１）
を適用した結果を示したもので、結局、図１２の対象コ
ンテンツは４つのコンテンツに展開されたことになる。
図１６は、図１５のコンテンツ展開処理結果について、
文字表現形式の正規化と数値形式の正規化を適用した結
果を示したものである。

【００４９】図１６の正規化ずみコンテンツ属性情報を
木構造形式で表現すると、図１７及び図１８のようにな
る。図１３に比べて、一見して検索サービス等の提供に
適した構造・形式になっているのが分かる。

【００５０】図１９は、図１６の正規化ずみコンテンツ
属性情報を表形式で表現したもので、図１のコンテンツ
ＤＢ１０５には、このような形式でコンテンツ属性情報
が格納される。このようにして、閲覧用文書（ＨＴＭＬ
文書）の構造・形式に縛られることなく、検索サービス
提供用等のデータベース（関連データベース）を構築す
ることが可能になる。

【００５１】次に、本発明による属性情報設定装置につ
いて説明する。図２０は本発明による属性情報設定装置
の一実施例を示すブロック図である。本属性情報設定装
置２０００の特徴は、図３０に示した従来の装置に属性
抽出・正規化プレビュー部２００８と複数のタグセット
を別に管理し検証する構造検証部２００９を設けた点に
ある。属性抽出・正規化プレビュー部２００８は、図１
の情報自動収集分類装置１００内の属性抽出部１０２、
属性正規化部１０３などと基本的に同様の機能（同等か
その簡略版）であり、作成された文書ファイル（ＸＭＬ
文書）からコンテンツ属性情報の抽出・正規化を行いプ
レビューする。また、構造検証部２００９は、複数のタ
グセットを閲覧用文書とコンテンツ属性情報とで別々に
管理し、相互に無視して構造を検証する。

【００５２】該属性情報設定装置２００は、図１のシス
テムで装置１２５で示したように、Ｗｅｂサイト１２０
に設置して使用する。この場合、属性情報の抽出・正規
化プレビュー部２００８によれば、情報提供者（ＩＰ）
は、作成した文書ファイル（ＸＭＬ文書）について、情
報自動収集分類装置１００で、コンテンツ属性情報がど
のように抽出・正規化されるか、プレビューして見るこ
とができ、より有効なコンテンツ属性情報の設定を行う
ことが可能となる。図２１に、図１１の文書ファイル
（ＸＭＬ文書）のエデイタ画面、図２２に、これに対応
する属性抽出・正規化結果のプレビュー画面を示す。な
お、この例の属性抽出・正規化結果プレビュー部２００
８は、単位変換機能を持たない簡略版であるため、容量
は「ｌ」と「ｍｌ」表記が混在している。また、構造検
証部２００９によれば、相互の制限が弱く同種のタグ間
での制限が強い複数のタグセットを扱う場合に、閲覧用
文書とコンテンツ属性情報それぞれのタグセットについ
て、例えば相互に無視して文法検証することで、より厳
しい文法検証を行うことが可能となる。図２３に、構造
検証部２００９による複数タグセットの管理・検証の概
念図を示す。

【００５３】

【発明の効果】本発明を適用した情報収集・サービス提
供システムでは、検索エンジンなどのホスト装置に、再
利用する閲覧用文書ファイル中の属性情報の構造、属性
名、属性値形式等を変換する機能を持つことで、閲覧用
文書（たとえば商品カタログ）の表現の自由度を増すこ
とができる。逆に、すでに存在する閲覧用文書の構造・
形式に縛られること無く、サービス提供用のデータベー
スを構築することが可能になる。

【００５４】また、テキスト情報中の文字列をマークア
ップすることで、コンテンツ属性情報を設定する装置
に、属性抽出・正規化プレビュー機能と複数のタグセッ
トを別々に管理し検証する機能を設けることにより、デ
ータ作成者が、ホスト装置が属性を抽出・正規化（構
造、値形式）処理を行った結果を見ることができ、より
有効な属性設定を行うことが可能、相互の制限が弱く同
種のタグ間の制限が強い複数のタグセットを扱う場合
に、それぞれのタグセットについて文法検証すること
で、より厳しい文法検証を行うことが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した情報収集・サービス提供シス
テムの一実施例のブロック図である。

【図２】図１の動作を説明するための全体的処理フロー
チャートの一部である。

【図３】図２の処理フローチャートの続きである。

【図４】本発明の対象とする文書の構造と処理過程の概
要を示す図である。

【図５】本発明による属性構造正規化のコンテンツ展開
処理（１）を説明する図である。

【図６】同じくコンテンツ展開処理（２）を説明する図
である。

【図７】属性名の正規化を説明する図である。

【図８】属性の分割を説明する図である。

【図９】他属性への正規化を説明する図である。

【図１０】数値形式の正規化を説明するフローチャート
である。

【図１１】本発明の対象とする文書ファイルの具体例で
ある。

【図１２】図１１の文書ファイルから抽出したコンテン
ツ属性情報である。

【図１３】図１２のコンテンツ属性情報を木構造形式で
表現した図である。

【図１４】図１１のコンテンツ属性情報にコンテンツ展
開処理（１）を適用した結果を示す図である。

【図１５】図１４のデータについて、さらにコンテンツ
展開処理（２）を適用した結果を示す図である。

【図１６】図１５のデータについて、文字表現形式と数
値形式の正規化を適用した結果を示す図である。

【図１７】図１６のデータを木構造形式で表現した一部
の図である。

【図１８】図１７の木構造形式表現の続きの図である。

【図１９】図１６のデータを表形式で表現した図であ
る。

【図２０】本発明による属性情報設定装置の一実施例の
ブロック図である。

【図２１】本属性情報設定装置での図１１の文書ファイ
ルのエディタ画面を示す図である。

【図２２】本属性情報設定装置での図１９に対応するエ
ディタプレビュー結果を示す図である。

【図２３】本発明による属性情報設定装置での複数タグ
セットの管理・検証を説明する図である。

【図２４】従来のコンテンツ属性情報を考慮しない検索
エンジンシステムのブロック図である。

【図２５】図２４のシステムで対象とする文書の構造を
説明する図である。

【図２６】図２４のシステムが対象とする文書の具体例
を示す図である。

【図２７】従来のコンテンツ属性情報が固定的な自動収
集分類システムのブロック図である。

【図２８】図２７のシステムが対象とする文書の構造を
説明する図である。

【図２９】従来のコンテンツ属性情報を閲覧用タグ及び
文字列と対応づけるシステムのブロック図である。

【図３０】従来の属性情報設定装置のブロック図であ
る。

【図３１】従来の属性情報設定装置でのタグセットの管
理・検証を説明する図である。

【符号の説明】

１００情報自動収集分類装置（ホスト装置）１０１自動情報収集部１０２属性抽出部１０３属性正規化部１０４制御部１０５コンテンツデータベース１０６正規化ルール１０７対応ルール１０８サービス提供部１１０ネットワーク１２０Ｗｅｂサイト１３０ユーザ端末１２０，２０００属性情報設定装置２００８属性抽出・正規化プレビュー部２００９構造検証部

Claims

【特許請求の範囲】

【請求項１】閲覧文書に合わせた構造・形式を持つコ
ンテンツ属性情報を、該閲覧文書に依らない構造・形式
に正規化する方法であって、閲覧用情報と混在してコンテンツ属性情報が含まれる文
書ファイルからコンテンツ属性情報を抽出するステップ
と、前記抽出したコンテンツ属性情報について、属性構造の
正規化処理を行うステップと、前記構造が正規化されたコンテンツ属性情報について、
文字表現形式の正規化、数値表現の正規化処理を行うス
テップと、を有することを特徴とするコンテンツ属性情
報正規化方法。
【請求項２】請求項１記載のコンテンツ属性情報正規
化方法において、属性構造の正規化処理では、コンテン
ツの展開、属性名の正規化、属性の分割、他属性への正
規化を行うことを特徴とするコンテンツ属性情報正規化
方法。
【請求項３】請求項１、２記載のコンテンツ属性情報
正規化方法において、正規化処理の正規化ルールとし
て、分野非依存・属性非依存ルール、分野依存・属性非
依存ルール、分野非依存・属性依存ルール、分野依存・
属性依存ルールを備え、コンテンツ分野と属性名で管理
することを特徴とするコンテンツ属性情報正規化方法。
【請求項４】情報提供者のＷｅｂサイト、ホスト装
置、ユーザ端末がネットワークを介して接続された情報
収集・サービス提供システムにおいて、ホスト装置は、ネットワーク上に分散配置されたＷｅｂ
サイトの文書ファイルを自動収集する手段と、該収集し
た文書ファイルに閲覧用情報と混在して含まれているコ
ンテンツ属性情報を抽出する手段と、該抽出したコンテ
ンツ属性情報を、サービス提供に適した構造・形式に正
規化する手段と、該正規化されたコンテンツ属性情報を
蓄積する手段と、該蓄積されたコンテンツ属性情報を使
用して、ユーザ端末からの要求に対してサービスを行う
手段を有することを特徴とする情報収集・サービス提供
システム。
【請求項５】閲覧用文書中の文字列をマークアップす
ることで、コンテンツ属性情報を設定する装置におい
て、コンテンツ属性情報を抽出・正規化してプレビュー
する手段と、閲覧用タグとコンテンツ属性用タグを別々
に管理して、閲覧用情報とコンテンツ属性情報を相互に
無視して検証する手段を有することを特徴とする属性情
報設定装置。
【請求項６】閲覧文書に合わせた構造・形式を持つコ
ンテンツ属性情報を、該閲覧文書に依らない構造・形式
に正規化するためのプログラムを記録したコンピュータ
読み取り可能な記録媒体であって、閲覧用情報と混在してコンテンツ属性情報が含まれる文
書ファイルからコンテンツ属性情報を抽出する処理プロ
セスと、前記抽出したコンテンツ属性情報について、属性構造の
正規化処理を行うプロセスと、前記構造が正規化されたコンテンツ属性情報について、
文字表現形式の正規化、数値表現の正規化処理を行う処
理プロセスと、を有することを特徴とするプログラム格
納記録媒体。