KR20070112423A

KR20070112423A - 실시간 데이터 웨어하우징

Info

Publication number: KR20070112423A
Application number: KR1020077024459A
Authority: KR
Inventors: 제프리 제임스 조나스
Original assignee: 인터내셔널 비지네스 머신즈 코포레이션
Priority date: 2001-12-28
Filing date: 2002-12-27
Publication date: 2007-11-23
Also published as: MXPA04006390A; CA2471940C; IL162746A0; CN100483333C; KR100850255B1; KR20040088036A; JP4456646B2; JP4366433B2; AU2002367376A1; KR20070112422A; CA2471940A1; US8452787B2; CN101324902A; PL374305A1; JP2006501529A; BR0215411A; WO2003058427A1; US8615521B2; EP1470475A1; EA200400873A1

Abstract

데이터베이스(16)으로 들어가는 데이터와 데이터베이스 내의 데이터를 처리하고, 처리된 데이터를 검색하기 위한 방법 및 시스템이 개싱되었다. 데이터는 복수의 실체(18)를 포함한다. 이러한 방법 및 시스템은, (a) 데이터베이스(16)으로 들어가는 데이터와 데이터베이스 내의 데이터를 처리하는 단계와, (b) 데이터베이스(16)에 저장하기 전에 수신된 데이터(20)를 강화하는 단계와, (c) 데이터 손실이 없이 남아 있는 수신 데이터(20) 내의 기록 사이의 관계에 기초하여 기록을 결정 및 매칭하는 단계와, (d) 사용자 정의 경보 규칙 및 관계에 기초한 경보를 인에이블시키는 단계와, (e) 기록을 매칭하기 위해 사용된 식별자가 이후에 실체를 통해 공통이고 일반적으로 한 실체의 특유한 것이 아니라고 결정되었을 때, 부가적인 매칭을 자동으로 중단하고, 이전의 매칭을 분리시키는 단계와, (f) 데이터베이스(16) 내에 저장된 처리된 데이터를 검색하기 위하여 데이터 조회(46)를 수신하는 단계와, (g) 조회(46)를 처리하기 위하여 동일한 알고리즘을 사용하는 단계와, (h) 처리된 데이터를 동일한 알고리즘을 사용하는 다른 데이터베이스에 전달하는 단계를 포함한다.

Description

실시간 데이터 웨어하우징{REAL TIME DATA WAREHOUSING}

본 발명은 2001년 12월 28일 출원된 미국 가특허출원 제60/344,067호의 이익을 청구한다.

본 발명은 일반적으로 데이터 웨어하우스(data warehouse) 내에서 데이터를 처리하고 검색하기 위한 방법, 프로그램 및 시스템에 관한 것으로, 보다 상세하게는, 데이터 웨어하우스 내의 데이터 및 들어가는 데이터의 처리를 위한 방법, 프로그램 및 시스템, 그리고 데이터 웨어하우스 내에서 데이터의 조회, 및 데이터 웨어하우스 내의 데이터의 분석에 관한 것이다.

데이터 웨어하우스는 기록을 저장하고, 일반적으로 다수의 소스로부터의 조회에 응답하도록 설계된 컴퓨터에 기초한 데이터베이스이다. 이러한 기록은 개인(individuals), 단체(organization) 및 재산(property)과 같은 실체와 교신한다. 각 기록은 예컨대, 이름, 주소 및 개인에 대한 계정 정보와 같은 실체의 식별자를 포함한다.

불행히도, 현재의 데이터 웨어하우스 시스템의 효과성은, 일정한 데이터의 품질, 보전 및 성능 문제를 생성, 영속 및/또는 증가시키는 소정의 한계점 때문에, 줄어들었다. 이러한 한계점은 또한 상기 시스템을 실행하고, 정정하며 보전하기 위해 필요한 위험, 경비 및 시간을 증가시킨다.

이러한 문제점 및 한계점은 한정하는 것은 아니지만, 다음 사항을 포함한다. 즉, (a) 다양한 소스의 데이터로부터 유출되는 다르거나 또는 충돌을 일으키는 포맷에 관련된 과제, (b) 수신할 때 정보의 분실에 기초한 불완전한 데이터, (c) (간혹 사소한) 불일치 또는 틀린 철자로 인해 동일한 실체를 반영하는 입력된 다수의 기록, d) 다수의 기록이 동일한 실체를 반영하는 지 및/또는 다수의 기록 사이에 어떤 관계가 존재하는 지를 식별하는데 불충분한 성능, (e) 동일한 실체를 반영하는 두 개의 기록이 병합되거나 하나의 데이터가 버려질 때 손실된 데이터, (f) 병합된 데이터가 두 개의 다른 실체를 반영하는 것으로 이후에 결정되었을 때 사후에 기록을 분리하는데 있어서 불충분한 성능, (g) 사용자 정의 경보 규칙에 기초한 경보를 실시간으로 발행하는데 있어서 불충분한 성능, (h) 수신된 데이터를 처리하기 위해 사용된 알고리즘 또는 변환 처리와 다른 알고리즘 또는 변환 처리를 사용하는 조회로부터의 부적절한 결과, 및 (i) 일정한 시간 기간 동안과 같이 미리 정해진 표준에 따른 영속적인 조회를 유지하는데 있어서의 무능력.

예컨대, 개인의 식별자가 수신되어 데이터베이스에 저장될 때: (a) 하나의 소스로부터의 기록은 콤마로 구별된 포맷으로 사용될 수 있고, 반면에 다른 소스로부터의 기록은 다른 데이터 포맷으로 수신될 수 있다; (b) 전화번호, 주소 또는 일부 다른 식별 정보와 같은 다양한 기록으로부터의 데이터는 손실될 수 있다; 또는 (c) 왜냐하면 하나의 기록이 현재의 이름에 대응하고, 다른 기록은 처녀 때의 성에 대응하여, 동일한 개인을 반영하는 두 개의 기록이 모르고 수신될 수 있다. 후자의 경우, 시스템은 두 개의 기록이 병합되거나, 또는 (아마도 덜 신뢰성 있는 소스로부터 유출된) 하나의 기록이 버려지도록 결정할 수 있다. 그러나, 병합 처리에 있어서, 현재의 시스템은 전형적으로 데이터를 버리는데, 이는 기록이 두 개의 별도의 실체를 반영한다고 결정된다면, 두 개의 기록을 이 후에 분리시키는 능력을 부정하는 것이다.

또한, 식별자가 수신되어 데이터베이스에 저장될 때, 컴퓨터는 데이터를 데이터베이스에 로딩하기에 앞서 변환 및 강화 처리를 수행할 수 있다. 그러나, 현재 시스템의 조회 도구는 수신된 데이터를 수신하고 처리하는데 사용되는 변환 및 강화 처리가 있다 하더라도 거의 사용하지 않아, 이러한 조회의 임의의 결과가 모순되게, 따라서 부적절하고, 불충분하며 잠재적으로 잘못되게 한다.

마찬가지로, 현재의 데이터 웨어하우징 시스템은, 실체 사이의 관계를 완전히 식별하거나, 또는 이러한 실체가 동일한 실체를 반영하는 지를 실시간으로 결정하는데 필요한 도구를 가지고 있지 않다. 예컨대, 한 개인이 제 2의 개인과 동일한 주소를 가질 수 있고, 제 2의 개인은 제 3의 개인과 동일한 전화번호를 가질 수 있다. 이러한 경우, 제 1 개인이 제 3의 개인과 일정한 관계를 갖는 가능성을 특히 실시간으로 결정하는 것이 유리할 수 있다.

더욱이, 현재의 데이터 웨어하우징 시스템은 실체 사이의 부적절하거나 충돌이 있는 관계를 식별하고, 사용자 정의 경보 규칙에 기초하여 실시간으로 경보를 제공하는데 있어서 제한된 능력을 갖는다. 이러한 제한된 능력은, 제한 없이 상술한 관계를 효율적으로 식별하는데 있어서의 무능력을 포함하는 몇 가지 요인에 기초한다.

더욱이, 현재의 데이터 웨어하우징 시스템은 미리 정해진 기간에 걸쳐 먼저 기록을 변환 및 강화시킬 수 없고, 그 후 영속적인 조회를 유지할 수 없다. 영속적인 조회는, 제한 없이 사람의 이름이 범죄 수사에서 식별되는 경우를 포함하여 다양한 경우에 유익하다. 그 사람과 어울리는 임의의 매칭(matches)을 식별하기 위한 조회는 초기에는 아무 결과도 도출하지 못할 수 있고, 현재의 시스템 내에서 조회된 데이터는 필연적으로 버려진다. 그러나, 조회를 수신된 데이터와 동일한 방식으로 로딩하는 것이 유익할 수 있는데, 여기에서 조회된 데이터는 다른 수신 데이터 또는 조회에 대해 부합시키고, 결과를 위한 양호한 기초를 제공하기 위하여 사용할 수 있다.

그것만으로, 현재의 데이터 웨어하우스 시스템의 임의의 또는 모든 문제 및 한계점(여기에서 식별되었든 안되었든)은 데이터 웨어하우스의 정확성, 신뢰성 및 적시성을 떨어뜨리고, 성능을 극적으로 방해한다. 실제, 이러한 문제점을 가지고 사용하는 것은 이러한 결과에 기초한 부적절한 결과 및 부정확한 결정을 야기할 수 있다.

본 발명은 이들 및 다른 문제점을 다루기 위하여 제공된다.

본 발명의 목적은 데이터 웨어하우스 내의 데이터 및 들어가는 데이터의 처리를 위한 방법, 프로그램 및 시스템을 제공하기 위한 것이다. 본 발명은 바람직하게 (a) 복수의 실체를 위한 데이터를 수신하는 단계, (b) 수신된 데이터를 처리하기 위해 알고리즘을 사용하는 단계, (c) 처리된 데이터를 데이터 베이스 내에 저장하는 단계, (d) 데이터 베이스 내에 저장된 데이터를 검색하기 위해 데이터 조회를 수신하는 단계, 및 (e) 조회를 처리하기 위하여 동일한 알고리즘을 사용하는 단계를 포함한다.

데이터는 하나 이상의 실체를 나타내는 하나 이상의 식별자를 갖는 하나 이상의 기록을 포함한다. 실체는 데이터를 식별함으로써 표현될 수 있는 개인, 재산, 단체, 단백질 또는 다른 것이 될 수 있다.

알고리즘은 표준화된 메시지 포맷으로 변환된 수신 데이터를 포함하고, 소스 시스템과 같은 식별자의 속성, 식별자, 조회 시스템 및/또는 사용자를 위한 소스 시스템의 고유한 값을 보유한다.

알고리즘 처리는 데이터 베이스 내에서 저장 또는 조회에 앞서 데이터를 분석하는 것을 포함하는데, 여기에서 이러한 분석 단계는, (a) 하나 이상의 식별자를 데이터베이스, 목록 또는 다른 전자 포맷에서의 사용자 정의 표준 또는 하나 이상의 데이터 세트와 비교하는 단계, (b) 사용자 정의 표준에 따라 식별자를 포맷팅하는 단계, (c) 수신된 데이터를 임의의 부가적인 식별자로 보완하기 위한 부가적인 식별자에 대한 다른 데이터베이스(제 1 데이터베이스와 동일한 알고리즘을 가질 수 있고 단계적인 방법으로 검색을 지속할 수 있는) 또는 목록 내에서 하나 이상의 데이터 세트를 조회함으로써 저장 또는 조회에 앞서 데이터를 강화하는 단계, (d) 식별자용 해시키(hash keys)를 생성하는 단계와, (d) 처리된 조회를 지정된 시간의 기간과 같은 사용자 정의 표준에 기초하여 저장하는 단계를 포함한다.

방법, 프로그램 및 시스템은, (a) 데이터를 처리하고 기록을 매칭하기 위하여 알고리즘을 사용하는 단계와 (b) 매칭된 기록을 데이터베이스 내에 저장하는 단계를 포함하는 것을 고려할 수 있는데, 여기에서 알고리즘 처리는, (i) 수신된 데이터 내의 식별자와 유사한 식별자를 포함하는 한 그룹의 기록을 데이터베이스로부터 검색하고, (ii) 수신된 데이터에 대한 매칭을 위하여 검색된 그룹의 기록을 분석하고, (iii) 동일한 실체를 반영하기 위하여 결정된 검색된 기록에 대하여 수신된 데이터를 매칭하고, (iv) 임의의 새로운 식별자가 임의의 매칭된 기록에 부가되었는 지의 여부를 분석하고, (v) 임의의 매칭된 기록에 대해 매칭하기 위하여 검색된 그룹의 기록의 다른 기록을 재검색할 수 있다. 부가적으로, 알고리즘은 (a) 매칭된 기록 내에서 식별자와 유사한 식별자를 포함하는 부가적인 그룹의 기록을 데이터베이스로부터 검색하는 것과, (b) 기록을 검색하는 단계, 매칭을 위한 분석 단계, 동일한 실체 기록을 매칭하는 단계, 새로운 식별자를 분석하는 단계, 및 부가적인 매칭이 더 이상 발견되지 않을 때까지 검색된 기록을 재검색하는 단계를 반복하는 것과, (c) 영속하는 키를 기록에 할당하는 것을 포함할 수 있다. 이러한 처리는 일괄적으로 또는 실시간으로 수행될 수 있다.

방법, 프로그램 및 시스템이, 특정 식별자가 실체를 통해 공통이거나 또는 하나의 실체에 대해 특유한 지를 결정하는 것과, 기록을 매칭하기 위하여 사용된 특정 식별자가 실체를 통해 공통이고 한 실체에 대해 특유하지 않다고 이후에 결정되면, 이전에 매칭된 기록을 분리하는 것을 포함하는 것을 추가로 고려할 수 있다. 이러한 결정 단계와 분리 단계는 실시간으로 또는 일괄로 수행될 수 있다. 결정 단계와 분리 단계는, 실체를 통해 공통이고 한 실체에 대해 일반적으로 특유하지 않다고 결정된 식별자를 기초하여 임의의 부가적인 매칭을 중단시키는 단계와, 임의의 분리된 기록을 재처리하는 단계를 포함할 수 있다.

실체 사이의 관계의 존재를 결정하기 위하여 수신된 데이터는 이전에 저장된 적어도 하나의 다른 기록과 비교되는 것과, 관계가 존재하는 매 두 개의 실체에 대해 관계 기록이 생성되는 것을 추가로 고려할 수 있다. 관계 기록은 두 실체 사이의 관계의 가능성 또는 두 실체가 동일할 가능성을 나타내는 신뢰 척도(confidence indicator)를 포함할 수 있다. 관계 기록은 수신된 데이터에 포함되었거나 할당된 실체의 역할을 참조할 수도 있다. 이전에 알지 못한 임의의 관련 기록의 존재를 결정하기 위하여, 사용자 정의 표준에 기초하여 관계 기록이 분석될 수 있다. 관계 기록은 제 1 분리도를 반영할 수 있는데, 이러한 제 1 분리도는 분리도 시험의 최대 수 또는 관계 및/또는 유사 신뢰 척도의 최소 레벨과 같은 미리 정해진 표준에 부합하는 기록들만을 포함하도록 분석되고 네비게이션될 수 있다. 사용자 정의 경보 규칙에 기초하여 관련 기록의 그룹을 식별하는 하나의 경보가 발령될 수 있다. 경보는 전자 우편 메시지, 전화 호출, 개인휴대용 단말기(PDA : personal digial assistant), 또는 무선호출기 메시지와 같은 다양한 전자 통신 수단을 통하여 전달될 수 있다.

방법이 (a) 관계 기록을 하나 이상의 데이터베이스에 복제하는 단계, (b) 수신된 데이터를 작업 부하 기준(criteria)에 기초한 분석을 위하여 하나 이상의 추가 데이터베이스에 분산시키는 단계, 및 (c) 추가적인 데이터베이스로부터 임의의 경고를 발하는 단계를 포함하는 것도 추가로 고려할 수 있다.

방법 및 시스템이 저장된 데이터를 제 1 데이터베이스와 동일한 알고리즘을 사용하는 다른 데이터베이스에 전달하는 것을 포함하는 것도 추가로 고려할 수 있다. 처리 및 전달 단계는, 실시간으로 또는 일괄로 수행될 수 있다.

본 발명의 이들 및 다른 양상 및 속성 다음의 도면과 첨부된 설명서를 참조하여 논의될 것이다.

종래의 소프트웨어 코드는 상술한 방법, 프로그램, 및 시스템의 기능적인 양상을 실행하는데 사용될 수 있다. 이러한 코드는 단일 컴퓨터 또는 인터넷과 같은 컴퓨터의 분산 네트워크에 의한 사용을 위하여 임의의 컴퓨터 판독 가능한 매체에 위치할 수 있다.

본 발명이 많은 다른 형태의 실시예를 구현 가능하지만, 본 설명이 본 발명 원리의 예시로서 간주되어야 하고, 본 발명을 설명된 특정 실시예에 국한하려 하지 않음을 이해하면서, 본 발명의 특정 실시예가 도면에 도시되고 본 명세서에서 상세 하게 기술된다.

데이터베이스 내의 데이터 및 들어가는 데이터를 처리하고, 처리 데이터를 검색하기 위한 데이터 처리 시스템(10)이 도 1 내지 도 4b에 도시되었다. 시스템(10)은 적어도 하나의 프로세서(14)와 메모리(16)를 구비하는 종래의 컴퓨터(12)를 포함한다. 메모리(16)는 시스템(10)을 동작시키기 위한 실행가능한 소프트웨어의 저장장치, 또한 데이터베이스 내의 데이터의 저장장치와 랜덤 액세스 메모리로 사용된다. 그러나, 소프트웨어는 CD, DVD 또는 플로피디스크와 같은 컴퓨터 판독 가능한 임의의 다른 기록매체에 저장 또는 제공될 수 있다. 컴퓨터(12)는 복수의 소스(18₁ 내지 18_n)로부터의 입력을 수신할 수 있다.

데이터는 하나 이상의 실체를 나타내는 하나 이상의 식별자를 구비하는 하나 이상의 기록을 포함한다. 실체는, 개인, 단체, 재산, 단백질, 화학 또는 유기 화합물, 생체인식 또는 원자 구조, 또는 데이터를 식별함으로써 표현될 수 있는 다른 것이 될 수 있다. 개인 형태의 실체에 대한 식별자는 개인의 이름, 주소, 전화번호, 신용카드 번호, 사회 보장 번호, 고용 정보, 항공사 상용고객 또는 다른 충성도 프로그램, 또는 계정 정보를 포함할 수 있다. 일반적으로, 특유 식별자는 한 개인 실체를 위한 사회 보장 번호와 같은 특정 실체에 특유한 것이다.

시스템(10)은 복수의 소스(18₁ 내지 18_n)로부터 데이터를 수신하고, 수신된 데이터(20)를 처리하기 위해 알고리즘(22)을 사용한다. 알고리즘은 메모리(16)에 저장되고, 프로세서(14)에 의해 처리되거나 수행된다.

제한 없이 수신된 데이터의 속성(예, 소스 시스템 인증)을 포함하는 수신된 데이터(20)는 많은 데이터 포맷으로 수신될 것이다. 알고리즘(22)에 의해 처리되기 전에, 수신된 데이터(20)는 범용 메시지 포맷(Universal Message Format)과 같은 표준화된 메시지 포맷(24)으로 변환된다.

이후, 도 3a 내지 도 3c에 도시된 바와 같이, 알고리즘(22)은 (a) 제한 없이 (i) 이름 표준화(30)(예, 루트 이름 목록과 비교), (ii) 주소 예방조치(32)(예, 우편 배달 번호와 비교), (iii) 필드 시험 또는 변환(34)(예, 남성/여성을 확인하기 위해 성 필드를 비교 또는 "Male"을 "M"으로 변환, 등), (iv) 사용자 정의 포맷팅(36)(예, 모든 사회 보장 번호를 999-99-9999 포맷으로 포맷팅)을 포함하는 몇 가지 기능을 수행하기 위하여 수신된 데이터(26)를 사용자 정의 표준 또는 규칙과 비교하고, (b) {수신된 데이터(20)로서 제공될 수 있는} 부가적인 정보를 검색하기 위하여 시스템(10)으로 하여금 {제 1 데이터베이스와 동일한 알고리즘을 포함할 수 있고, 따라서 시스템(10)으로 하여금 단계적인 방법으로 부가적인 데이터베이스를 액세스하게 하는} 하나 이상의 데이터베이스(40)를 액세스하게 함으로써 데이터(38)를 강화하고, (c) 분석된 데이터(44)의 해시키를 구축함으로써, 표준화된 데이터(26)를 수신하고, 데이터베이스에 저장 또는 조회에 앞서 수신된 데이터(26)를 분석한다(28). 변경되거나 강화된 임의의 새로운 데이터는 원래 데이터의 보전을 유지하기 위하여 새로 생성된 필드에 저장될 수 있다. 예컨대, "Bobby Smith"라는 이름이 표준화된 포맷(26)으로 수신되면, 이름 "Bobby"는 루트 이름 목록(30)과 비교되고, 이름 "Robert"로 표준화되어, 표준 이름을 위해 새로 생성된 필드에 저장 된다. 부가적으로, Bobby Smith에 대한 이름과 주소가 수신되면(26), 시스템(10)은 Bobby Smith의 전화번호를 획득하기 위하여 종래의 인터넷에 기초한 인명 검색 데이터베이스(40)를 액세스할 수 있고, 상기 전화번호는 사용자 정의 표준(36)에 기초한 표준 방식으로 포맷될 수 있다. 더욱이, 주소 필드는 주소 목록(32)과 비교될 수 있어서, 표준화된 주소의 마지막에 추가되는 문자 "Street"(가)를 초래한다. 이후 강화된 데이터에 기초하여 해시키가 생성되어(44), 새로 생성된 필드에 저장된다.

시스템(10)은 복수의 소스(18₁ 내지 18_n)로부터 조회를 수신하고(46), 수신된 조회(46)를 분석 및 처리하기 위하여 동일한 알고리즘(22)을 사용한다. 예컨대, "Bobby Smith"에 대한 조회가 수신되면(46), 수신된 이름 "Bobby"를 이름 "Robert"로 표준화한 동일한 알고리즘(22)은 조회된 이름 "Bobby"를 조회된 이름 "Robert"로 표준화할 것이다. 실제, 시스템(10)은 수신된 데이터(20)와 동일하게 수신된 조회(46) 로드시키고 저장하여, 조회 시스템 및 사용자의 온전한 속성을 유지시킨다. 그것만으로, 시스템(10)이 수신된 조회(46)를 처리하기 때문에, 알고리즘(22)은 손실 정보를 찾기 위하여 공공의 기록 데이터베이스와 같은 다른 데이터베이스(40)를 검색할 수 있다. 조회 결과(94)는 정확한 매칭보다 범위가 더 넓을 수 있고, 관계의 매칭을 포함할 수 있다. 예컨대, 조회가 "Bobby Smith"에 대한 것이라면, 조회 결과(94)는 Bobby Smith의 신용카드를 사용해왔거나 Bobby Smith의 주소에서 살아온 사람의 기록을 포함할 수 있다.

알고리즘(22)은 또한 임의의 수신 데이터(26)를 수신할 때 (a) 이러한 수신 데이터에 대응하 실체를 매칭하는 데이터베이스 내의 기존 기록이 있는 지의 여부를 결정하고, (b) 만약 있다면 수신된 데이터를 기존 기록에 대해 매칭하기 위한 기능을 수행한다. 예컨대, 알고리즘은 가능한 후보를 위하여 데이터베이스로부터 기록의 그룹(48)(수신된 데이터 내의 식별자와 유사한 식별자를 포함)을 검색하고, 특유한 식별자(52)에 기초하여 검색된 데이터에 대응하는 기존 저장된 기록을 식별하는 매칭용 검색된 기록 그룹(50)을 일반적으로 분석한다. 매칭이 식별되면(54), 알고리즘은 매칭된 기록이 새롭거나 이전에 알지 못한 임의의 식별자를 포함하는 지를 분석한다(56). 새롭거나 이전에 알지 못한 임의의 식별자(56)가 존재한다면, 알고리즘(22)은 새롭거나 이전에 알지 못한 식별자를 분석하고(58), 매칭된 기록 내의 새롭거나 이전에 알지 못한 식별자에 기초하여 후보 목록/관계 기록(70)을 추가하거나 갱신하고, 임의의 추가 매칭(50)이 존재하는 지를 결정한다. 이러한 처리는 더 이상의 추가 매칭이 인식되지 않을 때까지 반복된다. 그 후 매칭 처리는 모든 매칭된 기록에 동일한 영속 키를 할당한다(60). 더욱이, 임의의 기록에 대해 매칭이 이루어지지 않으면, 매칭되지 않은 기록에는 자신의 영속 키가 할당된다(62). 기록은 데이터의 전체 속성을 보유하고, 매칭 처리는 병합, 정화 또는 제거 기능을 통해 어떠한 데이터도 잃지 않는다.

예컨대, 만약 기록 #1이 개인의 이름, 전화번호 및 주소를 갖고, 기록 #2는 동일한 이름과 신용카드 번호를 갖는다고 가정하자. 이들이 동일한 개인인지를 알 수 없으므로, 기록은 별도로 유지되어야 한다. 그 후, 개인의 이름(기록#1과 동일 ), 주소(기록#1과 동일), 전화번호(기록#1과 동일) 및 신용카드 번호를 포함하는, 기록 #3을 위한 데이터가 수신된다. #1 및 #3에 대한 이름, 전화번호 및 주소가 일치하므로, 시스템(10)은 #1과 #3이 동일한 개인을 기술하고 있다고 결정할 수 있어서, 알고리즘은 #3 데이터에 대해 기록 #1을 매칭한다. 그 후, 시스템(10)은 알고리즘을 다시 실행시켜, 매칭된 기록 #1을, 매칭된 기록과 유사한 식별자를 포함하는, 후보 목록의 다른 기록 또는 부가적인 기록과 비교한다. 매칭된 기록 #1의 이름과 신용카드 번호가 기록 #2의 이름과 신용카드 번호와 일치하므로, 이들 두 기록 또한 매칭된다. 이러한 매칭 기록은 그 후, 더 이상의 매칭이 획득될 수 없을 때까지 매칭(54)을 찾으면서, 후보 목록 또는 검색된 추가 기록에 대해 다시 실행된다.

이따금, 시스템(10)은 두 개의 기록이 부정확하게 매칭되었다고 결정할 수 있다. 예컨대, 사회 보장 번호는 일반적으로 개인에 대해 특유한 식별자로 간주되고, 따라서 기록들은 간혹 동일한 사회 보장 번호에 기초하여 매칭된다. 그러나, 이러한 번호 일정한 환경 하에서 이 후에 한 실체의 일반적으로 특유한 것이 아닌 실체를 통해 공통인 것으로 결정되는 것이 가능하다. 예컨대, 데이터 입력 동작이 요구되는 필드로서 사회 보장 번호를 위한 기록 필드를 갖지만, 개인의 사회 보장 번호를 알지 못하는 데이터 입력 조작자가 각 개인을 위해 단순히 번호 "123-45-6789"를 입력하는 것을 생각해 볼 수 있다.

이러한 경우, 사회 보장 번호는 이러한 개인 형태의 실체를 통해 공통이 되고, 일반적으로 더 이상 이들 개인에 대한 특유한 식별자가 아니다.

따라서, (a) 알려진 공통 식별자는 공통의 식별자 목록에 부가되고, 장래의 모든 처리는 후보를 위해 기록을 검색하거나 알려진 공통 식별자에 기초하여 관계 기록을 생성하거나(70) 하지 않을 것이어서, 장래의 임의의 매칭을 중단시키며(64), (b) 잘못된 사회 보장 번호에 기초하여 매칭된 임의의 기록이 매칭에 앞선 데이터를 반영하기 위하여 분할될 필요가 있어서, 미리 데이터의 손실을 야기하지 않는다. 후자의 목적을 달성하기 위하여, 시스템(10)은 부정확한 가정에 기초하여 발생된(66) 임의의 매칭을 데이터의 완전한 속성을 따라, 데이터의 어떠한 손실도 없이 부정확한 가정에 앞선 시점으로 분리시킨다. 따라서, 만약 "Bobby Smith"에 대한 기록 #1("Robert Smith"로 표준화되었던)이 "Robert Smith"에 대한 기록#2에 대해 매칭되었고, 이후 이들은 두 개의 다른 개인이라고 결정되어, 이들이 원래의 기록 #1 및 #2로 분리될 필요가 있다면, 알고리즘은 기록 #1의 표준화된 "Robert Smith"가 "Bobby"로 알려졌는 지를 식별한다. 더욱이, 결정단계와 분리하는 단계는 실시간으로 또는 일괄로 수행될 수 있다. 더욱이, 별도의 기록은 시스템 내에서 처리될 수신된 새로운 데이터로서 재 공급될 수 있다.

더 이상 명확하지 않은 관계의 평가(68)가 필요할 때가 있다. 예컨대, 개인 #1 및 #2가 단체 #3과 각각 관계를 가질 수 있다. 따라서 개인 #1과 #2 사이의 관계가 존재할 가능성이 있고, 아마도 그러할 것이다. 관계는 몇가지 분리도로 확장될 수 있다. 따라서, 시스템(10)은 수신된 모든 데이터를 저장된 데이터 내의 모든 기록과 비교하고, 각 실체 사이의 일정한 관계가 있는 모든 기록 쌍에 대해 관계 기록(70)을 생성한다. 관계 기록(70)은 관계 형태(예, 아버지, 모의 친구), 신뢰 척도(두 실체의 관계 강도를 나타내는 점수)(72) 및 할당된 영속 키(60 또는 62)를 포함할 수 있다. 예컨대 신뢰 척도(72)는 관계 점수와 유사성 점수를 포함할 수 있다. 관계 점수는 개인 #1과 개인 #2 사이에 관계가 있는 유사성을 나타내는 1과 10 사이의 숫자와 같은 척도일 수 있다. 유사성 점수는 개인 #1이 개인 #2와 동일한 사람인 것에 대한 1과 10 사이의 숫자와 같은 척도이다. 신뢰 척도(72)는 상술한 매칭 처리 도중에 식별될 수 있다.

시스템(10)은 또한, 두 실체 사이의 부적절한 관계와 같은, 또는 미리 결정된 값보다 더 큰 신뢰 척도를 갖거나 및/또는 분리도의 미리 정해진 수보다 적은 관계 기록을 갖는 관계 기록에 기초한 활동의 일정한 패턴과 같은, 사용자 정의 경보 규칙(74)의 표준에 일치하는 조건의 존재를 결정하기 위하여, 수신된 데이터(20)와 조회(46)를 분석한다. 예컨대, 시스템(10)은 수신된 임의의 데이터 또는 임의의 조회가 부정 신용카드 번호 목록 중에 있는 신용카드 번호를 포함하는 지를 결정하기 위하여 부정 신용카드 번호 목록을 포함할 수 있다. 부가적으로, 사용자 정의 경보 규칙(74)은 수신된 데이터 및 조회가 보고될 수 있게 할 수 있다. 예컨대, 새로운 판매자의 데이터를 입력할 때, 새로운 판매자가 현재의 고용인과 동일한 주소를 갖는 다고 결정되어, 아마도 사용자가 조사하기를 희망할 판매자와 사용자 사이의 관계를 나타내었다면, 경보 규칙이 존재할 수 있다. 사용자 정의 경보 규칙을 트리거할 상황의 결정 시, 시스템(10)은 전자우편(e-mail)을 통한 메시지와 같은 다양한 매체를 통해 전달되거나, 또는 문자-숫자 무선호출기, PDA 또는 전화와 같은 휴대형 통신 디바이스에 전달될 수 있는 경보(74)를 발할 수 있다.

예컨대, 최대 6의 분리도(78)에 대한 7보다 큰 관계 신뢰 척도의 유사성을 갖는 모든 기록에 대한 사용자 정의 경보 규칙에 기초하여, 시스템(10)은 (a) 개인 #1에서 시작하고, (b) 7보다 큰 신뢰 척도를 갖는 #1에 관련된 모든 다른 개인(80)을 찾고(76), (c) 제 1 분리도의 개인(80) 모두를 분석하여, 7보다 큰 신뢰 척도를 갖는 제 1 분리도의 개인(80)에 관련된 모든 개인(82)을 결정하고(84), (d) 6의 분리도 파라미터에 일치할 때까지 프로세서를 반복한다(78). 시스템은 해당 개인 또는 추가 동작을 가능케 하는 별도의 시스템에 경보(74)(사용자 정의 표준에 기초한 모든 최종 기록을 포함할 수 있는)를 전자적으로 전달할 수 있다.

더욱이, 관계 기록(70)은 수가지 데이터베이스에 대해 복제될 수 있다. 수신 데이터(20)의 수신 시, 시스템은 다른 데이터베이스 각각의 작업 부하의 특성을 체계적으로 평가하고, 저장된 분석 기록(68)을 가장 효율적으로 분석하기 위하여 매칭/관련/분석된 기록을 데이터베이스에 분산시킬 수 있다. 임의의 경보(74)는 다른 데이터베이스로부터 유출되는 임의의 결과로부터 발령될 수 있다.

최종적으로, 처리된 데이터는 동일한 알고리즘(92)을 사용할 수 있는 단계적인 웨어하우스 출판 목록(86)에 기초한 부가적인 데이터베이스에 실시간 또는 일괄 처리로 전달될 수 있다. 이러한 방식으로, 전달된 데이터(88)는, 이러한 데이터의 관계, 매칭 또는 처리를 식별하기 위하여, 부가적인 데이터베이스 및 임의의 후속하는 데이터베이스 내의 데이터(다른 데이터를 포함하는)에 대해 매칭하기 위하여 사용될 수 있다. 예컨대, 로컬 데이터베이스 내의 신뢰 척도에 기초하여 매칭된 기록은 동일한 알고리즘(92)을 사용하는 데이터에 대해 비교되어 매칭될 영역 데이터 베이스에 전달될 수 있다(88). 이 후, 영역 데이터베이스로부터 나오는 처리된 데이터는 국가 기관에 전달될 수 있다(88). 각 단계에서 처리된 데이터 특히 실시간으로 결합함으로써, 단체 또는 시스템 사용자는 추가 동작을 촉구하는 부적절하거나 충돌이 있는 데이터를 결정할 수 있다.

상술한 설명으로부터, 본 발명의 사상과 범주로부터 벗어남이 없이 다양한 변형 및 변경이 이루어질 수 있음을 알 수 있을 것이다. 본 명세서에서 설명된 특정한 장치에 대해서는 어떠한 제한도 의도되거나 암시되어서는 안됨을 이해해야 한다. 물론, 청구범위의 범주에 드는 이러한 모든 변형은 청구범위로서 보호하려 한다.

도 1은 본 발명에 따른 시스템의 블록도.

도 2는 도 1의 시스템 블록 내에서 데이터 처리를 위한 흐름도.

도 3a 내지 도 3c는 도 2 내의 처리 알고리즘 블록의 흐름도.

도 4a 내지 도 4b는 도 3 내의 저장된 분석 기록의 추정 블록의 흐름도.

Claims

데이터베이스 내에서 데이터를 처리하는 방법으로서,

적어도 하나의 식별자를 구비하는 적어도 하나의 기록을 포함하는 데이터를 수신하는 단계로서, 각 기록은 복수의 실체 중 적어도 하나를 나타내는, 데이터 수신 단계와,

관계의 존재를 결정하기 위하여 상기 수신된 데이터를 데이터베이스 내에 저장된 적어도 하나의 기록과 실시간으로 비교하는 단계와,

수신된 데이터의 적어도 일부와의 관계를 반영한다고 결정된, 데이터베이스 내의 저장된 각 기록에 대해 관계 기록을 실시간으로 생성하는 단계와,

각 관계 기록을 상기 데이터베이스 내에 저장하는 단계를 포함하는, 데이터베이스 내의 데이터 처리 방법.
제 1항에 있어서, 각 관계 기록에 대해 적어도 하나의 신뢰 척도를 실시간으로 생성하는 단계를 더 포함하는, 데이터베이스 내의 데이터 처리 방법.
제 2항에 있어서, 적어도 하나의 신뢰 척도는,

상기 수신된 데이터의 상기 부분과의 관계를 갖는 상기 특정 기록에 의해 표현되는 실체와,

상기 수신된 데이터의 상기 부분에 의해 표현된 실체 사이의 관계의 가능성 을 나타내는, 데이터베이스 내의 데이터 처리 방법.
제 2항에 있어서, 상기 적어도 하나의 신뢰 척도는,

상기 수신된 데이터의 상기 부분과의 관계를 갖는 상기 특정 기록에 의해 표현되는 실체와,

상기 수신된 데이터의 상기 부분에 의해 표현된 실체가 동일할 가능성을 나타내는, 데이터베이스 내의 데이터 처리 방법.
제 1항에 있어서, 상기 관계 기록이 이전에 결정되지 않은 적어도 하나의 관계를 반영하는지를 결정하기 위하여 상기 관계 기록을 분석하는 단계를 더 포함하는, 데이터베이스 내의 데이터 처리 방법.
제 5항에 있어서, 상기 관계 기록을 분석하는 상기 단계는, 분리도의 적어도 하나의 레벨을 반영하는 관계 기록을 분석하는 단계를 포함하는, 데이터베이스 내의 데이터 처리 방법.
제 6항에 있어서, 분리도의 적어도 하나의 레벨을 반영하는 관계 기록을 분석하는 상기 단계는, 적어도 하나의 사용자 정의 표준을 충족시키는 관계 기록을 분석하는 단계를 포함하는, 데이터베이스 내의 데이터 처리 방법.
제 5항에 있어서, 적어도 하나의 사용자 정의 경보 규칙에 기초한 경보를 발하는 단계를 더 포함하는, 데이터베이스 내의 데이터 처리 방법.
제 8항에 있어서, 적어도 하나의 사용자 정의 경보 규칙에 기초한 경보를 발하는 상기 단계는, 상기 경보를 전자 통신 수단을 통하여 전달되도록 하는 단계를 포함하는, 데이터베이스 내의 데이터 처리 방법.
컴퓨터에 청구항 제1항 내지 제9항 중 어느 한 항에 기재한 방법의 각 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.