JP7439913B2 - データカラムの分類方法および分類システム - Google Patents

Description

本発明は、データベースの１つの欄（カラム）に入力されている情報の種類がカラム内で統一されていない場合に、データベース内の情報から規則の候補を抽出するデータカラムの分類方法および分類システムに関する。

通常のデータベース（以下「ＤＢ」）には、１つのデータに関する情報が専用のカラムに入力されている。一方で、備考欄などのように、入力すべき事柄が明確に定まっていないカラムには、様々な種類の情報が入力されることがある。このような備考欄を持つＤＢを別のＤＢと統合する際、ＤＢ間で共通する情報が、この備考欄に格納されている場合には、適切な統合を行なうことができない可能性を生じる。

以下、具体例を用いて説明する。

表１は、備考欄に規則的な文字列の重複があるＤＢの例を示す。備考欄には、(1)住所と(2)電話番号のいずれかが入力されており、(1)住所の場合は「都道府県」「市町村」「番地」の欄にある情報が共通している。ただし、「ＩＤ：４」のデータの備考欄には「都道府県」が入力されていないように、住所の表記がカラム内で統一されていない。

表２は、建築物に関するＤＢの例である。
表１にあるＤＢと表２にあるＤＢとを統合する場合、住所がトリガとなる共通項目であるが、表１には住所に該当するカラムがない上に、一部のデータは電話番号が入力されているために、表１の学校名や電話番号と表２の建物情報とを紐付けることができない。

このような課題に対して従来では、予め規則を登録しておくことにより、入力された文字列がどの規則に従っているのかを判別する技術が提案されている（例えば、特許文献１、２）。

日本国特開２０１６－１３６３４１号公報 日本国特開２０１４－２１９８３３号公報

表１では、備考欄に入力されている情報の種類が複数（住所あるいは電話番号）あり、各備考欄の入力はいずれかの情報を表している。表１の「ＩＤ：１」、「ＩＤ：４」の備考欄では住所の情報が入力されているが、「ＩＤ：１」の備考欄では都道府県名から、「ＩＤ：４」では市町村名から、それぞれ住所が入力されているように、情報の表し方が統一されていない。これは、ヒューマンエラーによるもの、住所の入力の仕方が明文化されていないこと等の原因が考えられる。

このように、備考欄に入力される情報が明文化されていない場合には、特許文献１および特許文献２に記載されるような従来技術では対応することができない。

本発明は前記のような実情に鑑みてなされたもので、その目的とするところは、複数のデータベースの統合時に、データベース間で共通する情報を持つカラムの発見を容易にすることが可能なデータカラムの分類方法および分類システムを提供することにある。

本発明の一態様は、情報の種類が複数存在する混合カラムの各入力値が、別の特定の欄に入力された情報との間に規則的な文字列上の重複があるデータベースを対象としたデータカラムの分類システムにより実行される方法であって、前記データカラムの分類システムの抽出手段により、前記混合カラムの入力値と文字列上の重複がある欄をパターンと称して、前記混合カラムが存在しているデータベースにおいて、前記パターンの中から、前記混合カラムの入力値の表を表すのに最も適したパターンを抽出することと、前記データカラムの分類システムの分類手段により、前記抽出手段が抽出した前記パターンを入力規則と称して、各パターンを予め特定した評価軸により定量的に評価することで、入力規則の候補を決定し、前記混合カラムの各入力値を、入力規則を用いてグループ分けすることと、を備える。

本発明の一態様によれば、複数のデータベースの統合時にデータベース間で共通する情報を持つカラムの発見を容易にすることが可能となる。

以下、本発明をデータカラムの分類方法に適用した場合の一実施形態について説明する。

［概要］
まず本実施形態の概要について説明する。
備考欄の入力値を情報の種類毎にグループ化する。以降、本書では、表１の備考欄のように情報の種類が複数あるカラムを混合カラムと称するものとする。本書で利用するＤＢは、混合カラムの各入力値が、別の特定の欄に入力された情報との間に規則的な文字列上の重複がある。混合カラムの入力値と文字列上の重複がある欄との組み合わせをパターンと称する。重複を許可すると、パターンは混合カラムの入力値の個数分だけ得られる。

表３は、表１のＤＢの備考欄から得られるパターンを示すものである。パターンの中から、混合カラムの入力値の情報（表１では住所、電話番号）を表すのに最も適したパターンを抽出する。抽出されたパターンを入力規則と称するものとする。各パターンを定量的に評価することで、少なくとも１つの入力規則の候補を得る。

混合カラムの各入力値を、得た入力規則を用いてグループ分けする。本書ではパターンの評価軸として、「カラムのばらつき」「入力規則としての確実さ」「混合カラムに入力されている文字列をしめる割合（占有率）」を使用する。

以下、前述した方法により得られる効果について述べる。
各パターンについて、入力規則の候補の中で最も類似しているものを選ぶ。同じ規則を選んだパターンを１つのグループとすることで、混合カラムの各入力がグループ化できる。グループ化によって、ＤＢ統合の際に、ＤＢ間で共通している項目の発見が容易になる。

例えば、表１で入力規則が表３における「ＩＤ：１」と「ＩＤ：３」のパターンであった場合に、新たなカラムを増設し、「ＩＤ：１」「ＩＤ：４」の備考欄に入力されていた情報を入力することで、表２の「住所」と共通するカラムが作成される。

加えて、混合カラムを入力情報ごとに可視化できるので、入力値の分析に使用することが可能となる。

［方法手順］
以下、データカラムの分類方法の詳細な手順について説明する。

なお前提として、混合カラムに該当する欄は既知であるものとする。ＤＢに格納された各データを、ｄ_ｉ(ｉ∈{１，２，…，ｎ})(ｎ：格納データの総数)と表記し、混合カラムが空欄でないもののデータの集合をＤとする。

各ｄ_ｉには、混合カラムを除いて、ｉ番目のデータに関する情報がリスト化されているものとする。
例えば、表１のＤＢでは、ｄ_ｉ＝［「1」「い」「東京都」「港区」「1-11-1」「03」「123」「5678」］が得られる。
このとき、集合Ｄの要素であるデータｄ_ｊに対応する混合カラムをａ_ｊとする。
以下、文字列str1、str2について、共通する文字の集合をstr1 ∩ str2 で表記する。

＜ステップ１＞
混合カラム以外に入力された情報の中で、ａ_ｊと共通する文字列を含むもののインデックスをすべて抽出する。すなわち、ａ_ｊ∩ｄ_ｊ[ｘ]≠φ(ｘ≠ｙ)となるようなインデックスｘを見つける。ここでφは空集合を表す。

ただし、インデックスｘを見つけるに際しては、以下の条件i)～iii)をすべて満たすものとする。すなわち、
i) 共通している文字列の長さが文字列ｄ_ｊ[ｘ]の長さの半分以上であること。ただし、数字または記号(：；－＋＠等)が共通している場合、共通文字列の長さは２以上またはｄ_ｊ[ｘ]に数字と記号以外の文字が含まれている必要があるものとする。
ii) 共通している文字列は文字列ｄ_ｊ[ｘ]の先頭の文字を削除したもの、あるいは末尾の文字を削除したものと一致すること。例えば、ｄ_ｊ[ｘ]＝「福島郡山」であった場合、ａ_ｊと共通している文字列が「福島」や「郡山」であれば条件ii)を満たすが、「福山」は条件ii)を満たさない。

iii) ａ_ｊと共通する文字列で重複してはならないこと。例えば、ａ_ｊ＝「福島郡山」であった場合、ｄ_ｊ[ｘ]＝「福島」、ｄ_ｊ[ｚ]＝「郡山」であれば条件iii)を満たすが、ｄ_ｊ[ｘ]＝「福島」、ｄ_ｊ[ｚ]＝「福島郡山」であれば条件iii)を満たさない。

抽出されるインデックスが複数ある場合、前述した如くその組み合わせをパターンと称する。すべてのｄ_ｊ∈Ｄに対してパターンを抽出する。パターンの集合をＰと表記し、ｉ番目のパターンをｐ_ｉ∈Ｐと表記する。各パターンにはインデックスが格納されている。例えばｐ_ｉ＝[1,4,6]ならば、１番目、４番目、６番目の欄に入力された文字列と共通部分を持つことを表すものとなる。

＜ステップ２＞
ｐ_ｉに属するデータの集合をＤ_ｉと表記し、Ｄ_ｉの各データをｄ_ｉとする。
iv) ｐ_ｉに格納されている各インデックスＩ_ｉｊ∈ｐ_ｉ(ｊ∈{1,2,…,|ｐ_ｉ|})の値から欄のばらつき値ｂ_ｉを下式
ｂ_ｉ:＝(max(ｐ_ｉ)－min(ｐ_ｉ))／(|ｐ_ｉ|)
で計算する。

ただし、max(ｐ_ｉ)、min(ｐ_ｉ)はそれぞれｐ_ｉに格納されているインデックスの最大値、最小値である。要素が一つしかない場合、ｂ_ｉ＝０とする。

この値が小さいと、パターンに所属している欄が物理的に近いということになる。混合カラムを人手で入力する際には、パターンの欄を参照することになるが、欄同士が近くに存在しているほど、入力にかかる負担は少なくなる。逆に、値が大きいと混合カラムを入力する際にはあちこちに離れた情報を見る必要があるので、負担が大きくなる。

v) ｐ_ｉに格納されている各インデックスＩ_ｉｊ∈ｐ_ｉ(ｊ∈{1,2,…,|ｐ_ｉ|})について、ｄ_ｌ[Ｉ_ｉｊ]とａ_ｌ(ｄ_ｌ∈Ｄ_ｌ)とで共通している文字列長の平均値ｌ_ｉｊおよびａ_ｌから共通している文字列をすべて除去した後に残る文字列長の平均値ｅ_ｉと分散値ｖ_ｉを算出する。

例えば、ｐ_ｉ＝[1,4]、Ｄ_ｉのデータ数を５とする。Ｉ_ｉ１＝１で各ｄ_ｌ[1]とａ_ｌとの共通文字列長が２，３，２，４，２、Ｉ_ｉ２＝４で各ｄ_ｌ[4]とａ_ｌとの共通文字列長が３，２，５，４，３である。加えて、各ａ_ｌからｄ_ｌ[1]とｄ_ｌ[4]との共通部を除いた後に残る文字列長は３，３，５，４，３であった。このとき、
Ｉ_ｉ１＝13/5＝2.6、
Ｉ_ｉ２＝17/5＝3.4、
ｅ_ｉ＝18/5＝3.6、
ｖ_ｉ＝3.2/5＝0.64
である。

各ｌ_ｉｊおよびｅ_ｉを用いて、混合カラムに入力されている文字列を占める割合ｒ_ｉを下式
ｒ_ｉ:＝(Σ_ｊｌ_ｉｊ)/(ｅ_ｉ＋Σ_ｊｌ_ｉｊ)
に従って計算する。

同じ要素を含むパターン同士において、この値が大きいほど混合カラムの文字列を多く占有するパターンであるので、より混合カラムと関係が深いといえる。一方で、入力規則によって占有率は変化するので、同じ要素を含まないパターンは違う入力規則に従っていると考えられることから、ｒ_ｉによるパターンの比較は同じ要素を含むパターン同士に使用する。

また、パターンｐ_ｉにおける入力規則としての確実さｓ_ｉは、混合カラムの文字列から共通文字列を除いたときに残る文字列長が、同じパターンに属しているデータ同士でどれほど近いかで表すことができる。この確実さを、残った文字列長の分散値で定量化する。すなわち、
ｓ_ｉ:＝ｖ_ｉ
が小さいほどａ_ｌが各パターンの欄以外に含む文字列がｌに関わらずに固定化されていると考えられるので、入力規則として確立している。

＜ステップ３＞
ばらつき値ｂ_ｉ、割合ｒ_ｉ、確実さｓ_ｉを、各パターンｐ_ｉについて計算する。ここで３項目は、それぞれ単位が異なるので、ベクトル化したデータ

を、それぞれ平均が０、分散が１となるように正規化する。

＜ステップ４＞
各パターンｐ_ｉの評価値ｆ_ｉを、次式
ｆ_ｉ:＝ｂ_ｉ＋ｓ_ｉ
により計算する。ステップ２での定義により、評価値ｆ_ｉは値が小さいほど良いパターンであることとなる。

＜ステップ５＞
ステップ４で得られたパターンの評価値を用いてパターンの絞り込みを行う。ただし、パターンｐ_ｉとｐ_ｊで、次の条件vi)とvii)が成り立つとき、パターンをＰから除外する。
vi) パターンｐ_ｉとｐ_ｊに格納されている要素について、次式
(|ｐ_ｉ∩ｐ_ｊ|／|ｐ_ｉ∪ｐ_ｊ|)≧α、０≦α≦１
(ただし、αは定数で、分子はｐ_ｉとｐ_ｊに共通する要素の総数を、分母はｐ_ｉとｐ_ｊのいずれかに含まれている要素の総数。)
vii) 次のいずれかが成立していること。すなわち、
(1)ｆ_ｉ≦ｆ_ｊ、且つｒ_ｊ≦ｒ_ｉ、
(2)ｆ_ｉ－ｆ_ｊ≦ｒ_ｉ－ｒ_ｊ(ｆ_ｉ≦ｆ_ｊの場合)、且つ、
ｒ_ｊ－ｒ_ｉ≦ｆ_ｊ－ｆ_ｉ(r_ｊ≦r_ｉの場合)。

＜ステップ６＞
Ｐの要素パターンを入力規則の候補として出力する。ステップ５でＰから除外したパターンからなる集合をＳとする。

＜ステップ７＞
各集合Ｓの要素について、入力規則候補の集合Ｐの中で最も類似している候補を、集合類似度を用いて選ぶ。同じ候補を選んだパターンの集合を１つのグループとする。

［実施例］
以下、前述したデータカラムの分類方法の手順に基づいた具体的な実施例について説明する。

表４は、入力規則のあるＤＢの例を示す。ここで備考欄には(1)住所と(2)電話番号のいずれかが入力されており、(1)住所である場合は「都道府県」「市町村」「番地」の欄にある情報が共通している。

＜ステップ１＞
備考欄と共通する文字列を含むような欄の組み合わせを抽出すると、次の表５のようになる。

ここで、「ＩＤ」が共通項にないのは、共通する文字が数字１文字分であることが条件i)に反するためである。表５により、パターンは３種類存在し、
ｐ_１＝[都道府県、市町村、番地]
ｐ_２＝[市外局、番号１、番号２]
ｐ_３＝[学校名、番号２]
となる。

＜ステップ２＞
iv) ｐ_ｉに格納されている各インデックスＩ_ｉｊ∈ｐ_ｉ(ｊ∈{1,2,3})の値から欄のばらつき値ｂ_ｉを計算する。
ｐ_１：都道府県(左から３番目)、市町村(４番目)、番地(５番目)より、
ｂ₁＝(5－3)／3＝2／3
ｐ_２：市外局(左から６番目)、番号１(７番目)、番号２(８番目)より、
ｂ_２＝(8－6)／3＝2／3
ｐ_３：学校名(左から２番目)、番号２(８番目)より、
ｂ_３＝(8－2)／2＝3
となる。

v) ｒ_ｉ、ｅ_ｉ、ｓ_ｉ(ｉ∈{1,2,3})を算出する。
各パターンの欄と混合カラムに共通している文字列の長さを求めると、ｅ_１は以下の表６のように、

となり、以上により
ｒ₁＝(3＋2.75＋5.2)／(0.2＋3＋2.75＋5.2)＝10.95／11.15≒0.982
となる。

同様にｅ_２は以下の表７のように、

となり、以上により
ｒ_２＝(2.75＋3＋3.75)／(2.25＋2.75＋3＋3.75)＝9.5／11.25≒0.844
となる。

ｅ_３は以下の表８のように、

となり、以上により
ｒ_３＝(1＋4.5)／(6.5＋1＋4.5)＝5.5／12≒0.4583
となる。

＜ステップ３＞
ばらつき値ｂ_ｉ、割合ｒ_ｉ、確実さｓ_ｉを、各パターンｐ_ｉについて計算し、ベクトル化したデータを、それぞれ平均が０、分散が１となるように正規化する。すなわち、
ｂ_ｉ:＝[2/3，2/3，3]→[－0.777，－0.77，1.55]
ｒ_ｉ:＝[10.95/11.15，9.5/11.25，5.5/12]→[0.99，0.37，－1.37]
ｓ_ｉ:＝[4/25，3/16，1/4]→[－1.04，－0.31，1.35]
となる。

＜ステップ４＞
正規化したばらつき値ｂ_ｉ、割合ｒ_ｉ、確実さｓ_ｉによる各パターンｐ_ｉの評価値ｆ_ｉを、
ｆ_１＝－1.818，ｆ_２＝－1.088，ｆ_３＝2.905
として算出する。

＜ステップ５＞
本実施例では定数α＝1/5とした。このときにパターンｐ_２、ｐ_３は、
|ｐ_ｉ∩ｐ_ｊ|／|ｐ_ｉ∪ｐ_ｊ|
＝(|{番号２}|)／(|{学校名、市外局、番号１、番号２}|)
＝1/4≧1/5、且つ
ｆ_２≦ｆ_３、且つｒ_３≦ｒ_２、
が成立するために、パターンｐ_３を除去する。

＜ステップ６＞
集合Ｐの要素パターンで、残ったパターンｐ_１、ｐ_２を入力規則の候補として出力する。またステップ５でＰから除外したパターンｐ_３を集合Ｓの要素とする。

＜ステップ７＞
ステップ５で集合Ｐから除外した、集合Ｓのパターンｐ_３について、入力規則の候補のパターンｐ_１、ｐ_２との集合類似度を、Ｊａｃｃａｒｄ関数を用いて計算する。すなわち、
ｐ_１とｐ_３：|ｐ_１∩ｐ_３|／|ｐ_１∪ｐ_３|＝0
ｐ_２とｐ_３：|ｐ_２∩ｐ_３|／|ｐ_２∪ｐ_３|＝1/4
となり、類似度が最大となったパターンｐ_２を選出する。

したがって、表４の備考欄は(1)パターンがｐ_１の入力値、(2)パターンがｐ_２またはｐ_３の入力値でグループ化できる。

［実施形態の効果］
以上に詳述した如く本実施形態によれば、複数のデータベースの統合時にデータベース間で共通する情報を持つカラムの発見を容易にすることが可能となる。

なお本発明の方法は、複数のデータベースを統合するコンピュータシステムによっても実現でき、方法手順を実現するプログラムを記録媒体に記録することも、ネットワークを通して提供することも可能となる。

その他、本願発明は、前記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、前記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

Claims (3)

1. 情報の種類が複数存在する混合カラムの各入力値が、別の特定の欄に入力された情報との間に規則的な文字列上の重複があるデータベースを対象としたデータカラムの分類システムにより実行される方法であって、
   前記データカラムの分類システムの抽出手段により、前記混合カラムの入力値と文字列上の重複がある欄をパターンと称して、前記混合カラムが存在しているデータベースにおいて、前記パターンの中から、前記混合カラムの入力値の表を表すのに最も適したパターンを抽出することと、
   前記データカラムの分類システムの分類手段により、前記抽出手段が抽出した前記パターンを入力規則と称して、各パターンを予め特定した評価軸により定量的に評価することで、入力規則の候補を決定し、前記混合カラムの各入力値を、入力規則を用いてグループ分けすることと、
   を備えるデータカラムの分類方法。
2. 前記分類手段は、
   前記予め特定した評価軸として、前記パターン中のカラムのばらつき、前記入力規則としての確実さ、および前記混合カラムに入力されている文字列中での占有率、の少なくとも１つを用いる、
   請求項１に記載のデータカラムの分類方法。
3. 情報の種類が複数存在する混合カラムの各入力値が、別の特定の欄に入力された情報との間に規則的な文字列上の重複があるデータベースを対象としたデータカラムの分類システムであって、
   前記混合カラムの入力値と文字列上の重複がある欄をパターンと称して、前記混合カラムが存在しているデータベースにおいて、前記パターンの中から、前記混合カラムの入力値の表を表すのに最も適したパターンを抽出する抽出手段と、
   抽出した前記パターンを入力規則と称して、各パターンを予め特定した評価軸により定量的に評価することで、入力規則の候補を決定し、前記混合カラムの各入力値を、入力規則を用いてグループ分けする分類手段と、
   を備えるデータカラムの分類システム。