CN103229223A - 使用多个候选答案评分模型提供问题答案 - Google Patents

Abstract

一种产生问题答案的方法、系统和计算机程序产品。在一个实施例中，所述方法包括接收输入查询；执行搜索以识别所述输入查询的候选答案；以及针对每个所述候选答案产生多个评分。针对每个所述候选答案，从多个候选排序函数中选择一个。将所述选择的排序函数应用于所述每个所述候选答案以根据所述候选答案的所述评分判定所述候选答案的排序。根据所述候选答案的排序，选择一个或多个所述候选答案作为所述输入查询的一个或多个答案。在一个实施例中，所述排序函数选择使用有关所述问题的信息来执行。在一个实施例中，所述排序函数选择使用有关每个答案的信息来执行。

Description

使用多个候选答案评分模型提供问题答案

相关申请相互参考

本申请主张2010年9月28日提交的美国临时专利申请第61/387,180号申请日期的权益，该申请的公开内容在此全部纳入作为参考。

技术领域

本发明一般地涉及信息检索。更具体地说，本发明涉及问答。再具体地说，本发明涉及通过产生和评估多个候选答案执行并行分析以提供问题答案的问/答系统以及方法。

背景技术

一般而言，问答（QA）是一种信息检索。在给定档案集合（例如，万维网或本地集合）的情况下，QA系统应该能够检索以自然语言提出的问题的答案。QA被认为需要比诸如文档检索之类的其他信息检索类型更复杂的自然语言处理（NLP）技术，QA有时被视为超越搜索引擎的下一步。

QA研究尝试处理大范围的问题类型，其包括：事实、列表、定义、方式、原因、假设、语义约束和跨语言问题。从小型本地文档集合到内部组织文档，到编译的新闻专线报道，再到万维网，搜索集合均有所不同。

闭域问答处理特定域下的问题（例如，医药和汽车维修），并且可被视为较轻松的任务，因为NLP系统可利用经常以本体形式化的域特定知识。备选地，闭域可能指示其中仅接受有限类型问题（例如，查询描述性信息而非程序性信息的问题）的情况。开域问答处理有关几乎任何事情的问题，可以仅依赖于一般本体和世界知识。但是开域Q/A系统通常具有更多可从中提取答案的可用数据。

对信息的访问目前主要包括两个范式：数据库查询，所述数据库查询回答有关结构化记录集合之内的问题；以及搜索，所述搜索响应于对非结构化数据集合的查询而传送文档链接集合（文本、html等）。

此类信息查询范式的主要挑战在于提供能够根据大文档集合（所有种类的文档，包括结构化文档和非结构化文档）中包括的信息回答事实问题的计算机程序。此类答案的范围宽到诸如“缺乏维生素K有哪些危害”，窄到诸如“希拉里.克林顿父亲出生在何时、何地”。

用户与此类计算机程序的交互可以是单次用户-计算机交换，也可以是用户与计算机系统之间的多轮对话。此类对话可以涉及一种或多种形式（文本、语音、触觉、手势等）。此类交互的实例包括这样一种情形：其中电话用户使用语音提问，接收语音、文本和图像（例如，带有文本注释的图）及语音（计算机产生的）解释组合而成的答案。另一实例是用户与视频游戏进行交互，并使用机器可识别的手势拒绝或接受答案，或者是计算机产生指示用户的触觉输出。

构建此类计算机系统的挑战在于理解查询，查找可能包含答案的相应文档，以及提取要提供给用户的正确答案。目前，理解查询是一个公开的难题，因为计算机不具备人类理解自然语言的能力，也没有从当前（非常初级的）自然语言理解系统可产生的许多可能解释中做出选择的常识。

通过一轮或多轮对话回答事实查询的能力具有巨大的潜在价值，因为它允许实时存取准确的信息。例如，提高现有问答技术水平具有巨大商业价值，因为这样可以实时了解业务状况、竞争对手、经济条件等。即使QA采取最初级的形式，也可以将信息工作者的生产效率提高好几个量级。

在此全部纳入作为参考的编号为12/152,441的美国专利的公开内容描述了在QA系统中使用模型（也称为答案评分函数）产生答案排序表或产生单个最终答案。

发明内容

本发明的实施例提供一种产生问题答案的方法、系统和计算机程序产品。在一个实施例中，所述方法包括接收输入查询；根据所述查询，在一个或多个数据源中执行搜索以识别所述输入查询的候选答案；以及针对每个所述候选答案产生多个评分。针对每个所述候选答案，从多个候选评分函数中选择一个；将所述选择的评分函数应用于所述每个所述候选答案以根据所述候选答案的所述多个评分判定所述候选答案的所述候选答案分类评分。根据所述候选答案的所述候选答案分类评分，选择一个或多个所述候选答案作为所述输入查询的一个或多个答案。

在一个实施例中，每个候选答案的所述候选评分函数根据所述输入查询来选择。在一个实施例中，将所述同一所述候选评分函数应用于所有所述候选答案。

在一个实施例中，提取有关所述输入查询的已定义信息，并且根据该提取的已定义信息选择所述选择的候选评分函数。

例如，在一个实施例中，所述提取有关所述查询输入的信息可以是所述查询的主题，并且所述选择的候选评分函数可以根据所述查询的所述主题选择。

在一个实施例中，所述选择的候选评分函数可以根据所述候选答案来选择。

在一个实施例中，提取有关每个所述候选答案的信息，并且所述选择的候选评分函数根据该提取的有关每个候选答案的已定义信息来选择。在一个实施例中，该提取的已定义信息是所述候选答案的固有信息。在一个实施例中，该提取的已定义信息基于所述候选答案的上下文。

在一个实施例中，使用包括一个或多个处理单元的计算机系统执行所述选择的候选评分函数。

在本发明的实施例中，每个问题被发送到模型选择组件。对于给定问题，所有答案通过该模型进行评分，然后使用这些评分选择最佳答案和/或对答案列表进行排序。

在本发明的另一实施例中，每个候选答案被发送到模型选择组件。对于给定问题，所述候选答案的某些子集可通过同一模型进行评分，然后使用这些评分选择最佳答案和/或对答案列表进行排序。

附图说明

本发明的目标、特征和优点在下面列出的本发明具体实施例的上下文中理解。本发明具体实施例在附图的上下文中理解，所述附图形成本公开的一个材料部分，其中：

图1是示出本发明的实施例的高级逻辑架构和问答方法的系统图表。

图2示出图1中的架构的变形，其中证据收集模块包括两个子模块：支持段落检索和候选答案评分。

图3示出图1中的查询分析模块和候选答案产生模块的更详细的图表。

图4示出图1和2中的候选答案评分模块和答案排序模块的更详细的图表。

图5是示出根据本发明的实施例处理问题并提供答案的方法步骤的流程图实例。

图6示出一组评分模型，以及根据有关问题的信息选择模型的模型选择器。

图7示出一组评分模型，以及根据有关候选答案的信息选择模型的模型选择器。

图8示出提供一类用于处理CAS数据结构的分析引擎的UIMA框架实现的一方面。

具体实施方式

如在此使用的那样，单词“问题”和“查询”及其扩展词可以互换地使用并指示同一概念，即，信息请求。此类请求通常以疑问句表达，但是可以通过其他形式表达，例如采取提供感兴趣实体描述的陈述句形式（其中可通过上下文推断出实体识别请求）。“结构化信息”（来自“结构化信息源”）在此被定义为其表达的含义很明确，并通过数据结构或格式（例如，数据库表）明确表示的信息。“非结构化信息”（来自“非结构化信息源”）在此被定义为其表达的含义仅通过其内容（例如，自然语言文档）暗示的信息。“半结构化信息”指示其某些含义在数据格式中明确表示的数据，例如文档的一部分可被标记为“标题”。

图1示出本发明的实施例的高级逻辑架构10和方法的系统图表。如图1所示，架构10包括查询分析模块20，该模块实现接收和分析用户查询或问题的功能。根据本发明的一个实施例，“用户”指的是与系统交互的一个或多个人，术语“用户查询”指的是用户提出的查询（及其上下文）19。但是将理解，可以构建其他实施例，其中术语“用户”指的是通过机械手段产生查询的计算机系统22，其中术语“用户查询”指的是此类以机械方式产生的查询及其上下文19'。提供候选答案产生模块30以实现通过遍历主源模块11和答案源知识库模块21（包含从主源提取的关系和列表的集合）中包含的结构化、半结构化和非结构化源搜索候选答案。所有信息源均可存储在本地或通过包括因特网的网络进行分发。候选答案产生模块30根据分析已检索的数据，产生多个包含候选答案的输出数据结构。在图1中，所示的实施例包括与主源11和知识库21连接，以同时执行以下并行处理操作的证据收集模块50：根据包含候选答案的段落分析证据，以及对每个候选答案进行评分。

在一个实施例中，可以采用利用公共分析系统（CAS）候选答案结构，以及实现支持段落检索的架构，本文下面将更具体地进行描述。此处理在图2中示出，其中证据收集模块50包括支持段落检索40A和候选答案评分40B作为独立的处理模块以同时执行并行处理操作：分析段落以及对每个候选答案进行评分。答案源知识库21可以包括一个或多个包括关系集合（例如，类型化列表）结构化或半结构化源（预计算的或其他源）数据库。在实现实例中，答案源知识库可以包括存储在记忆存储系统（例如，硬盘）中的数据库。答案排序模块60提供对候选答案进行排序以及判定响应99的功能，所述响应通过用户的计算机显示界面（未示出）返回给用户或返回给计算机系统22。所述响应可以是响应于问题的答案，也可以是以说明为目的的对现有答案或请求的详述（如果未找到高质量答案）。

将理解，本领域的技术人员可以实现对图1所示系统的进一步扩展以根据但不限于文本、音频、视频、手势、触觉输入和输出等形式采用一个或多个模块启用用户或计算机系统与系统10之间的I/O通信。因此，在一个实施例中，输入查询和所产生的查询响应均可根据包括文本、语音、图像、视频、触觉或手势的多种形式中的一种或多种提供。

图1和2所示的处理可以在本地执行、在服务器上执行或在服务器集群上执行、在企业内执行，或者备选地，可以通过公共或专用搜索引擎进行分发，或与其集成，或以其他方式与其结合执行操作，从而以上述方式增强问答功能。因此，本发明的实施例可以被提供为包括处理设备可执行指令的计算机程序产品，或者被提供为部署计算机程序产品的服务。所述架构采用搜索引擎（文档检索系统）作为候选答案产生模块30的一部分，模块30可以专注于因特网、公用数据库、网站（例如，IMDB.com）或专用数据库。数据库可以存储在任何存储系统中，例如存储在硬盘或闪存中，也可以通过网络或不通过网络进行分发。

如上所述，本发明的实施例使用公共分析系统（CAS）、处理各种UIMA组件（例如，分析引擎和非结构化信息管理应用）之间数据交换的非结构化信息管理架构（UIMA）的子系统。CAS通过独立于程序设计语言的类型系统支持数据建模，通过强大的索引机制提供数据访问，以及支持创建文本数据注释，例如(http://www.research.ibm.com/journal/sj/433/gotz.html)中描述的那样，此网页内容在此纳入作为参考，就像在此列出一样。CAS还允许文档与其注释之间具有多个链接定义，这对于分析图像、视频或其他非文本形式有用。

在一个实施例中，UIMA可以被提供为中间件，用于通过广泛的信息源有效地管理和交换非结构化信息。该架构一般包括搜索引擎，数据存储、包含流水线文档注释器和各种适配器的分析引擎。UIMA系统、方法和计算机程序可用于产生输入查询的答案。所述方法包括输入文档和操作至少一个文本分析引擎，该引擎包括多个相连的注释器以标记文档以及识别和注释特定类型的语义内容。因此可用于分析问题以及从一系列文档中提取有可能是问题答案的实体。

在一个非限制性实施例中，公共分析系统（CAS）数据结构形式根据编号为7,139,752的美国专利中描述实现，该专利的全部内容及其公开在此纳入作为参考，就像完全在此列出一样。

如图3中更详细的逻辑架构图表中更详细地所示，“查询分析”模块20接收包括查询19的输入，该查询例如由用户通过其基于Web的浏览设备输入。输入查询19可以包括诸如“谁是最高的美国总统？”之类的字符串。备选地，问题可以由字符串和暗示的上下文（例如，“谁是最矮的美国总统？”）构成。在该实例中，上下文的范围可以从另一简单字符串（例如，“美国总统”或“谁是最高的美国总统”）扩展到任何数据结构，例如处理上一字符串的所有中间结果——例如，在多轮对话中发生情况。输入查询由查询分析模块20接收，该模块包括但不限于下面的一个或多个子过程：分析和预测论证结构方块202；重点段、重点和修改符方块204；词汇回答类型（Lexical Answer Type）方块206；问题分解方块208；词汇和语义关系模块210；问题分类方块212；以及问题难度模块214。

分析和预测论证结构方块202实现功能和程序设计接口以将输入查询分解为语法和语义分量，例如名词短语、动词短语和预测/论证结构。可使用（English Slot Grammar：英文槽文法）ESG类型分析器实现方块202。重点段、重点和修改符方块204用于计算问题的重点和重点修改符，将在下面进一步描述。词汇回答类型（LAT）方块206实现功能和程序设计接口以提供对答案类型（词汇）的额外约束，本文下面将更详细地进行描述。问题分解方块208实现功能和程序设计接口以分析输入问题来判定有关目标答案的问题指定的约束集。这些约束有多种相互关联的方法：1)嵌套式约束；2)冗余约束；以及3)三角剖分。借助嵌套式约束，“内部”问题的答案实例化“外部”问题。例如，“佛罗里达的哪个城市以从西班牙手里夺取佛罗里达的将军名字命名？”。借助冗余约束，一个约束唯一地识别答案。例如，“最高的哺乳动物每小时奔跑30英里，这是什么动物？”借助三角剖分，每个约束产生一组答案并且正确的答案同时位于两个（或多个）集合中。例如，在“猜谜式”问题“什么是一组同类型事物，或针对戏剧表演构建的场景”中。

词汇和语义关系模块210用于检测查询中的词汇和语义关系（例如，预测-论证关系），问题分类模块212也具有此功能，该模块采用提供信息访问的主题分类器，例如问题涉及哪个方面？问题难度模块214执行提供确定问题难度手段的方法，例如，向问题应用可读性矩阵。将理解，图3所示的一个或多个查询/问题分析处理方块可以针对特定实现进行选择。

分析和预测论证结构方块202实现功能和程序设计接口以通过执行本领域公知的词汇处理和句法与预测论证结构分析将输入分解为其语法分量。对于查询实例：

“在1960年代，这个最大的堪萨斯城市成为世界最大的通用航空飞机生产基地”。

分析和预测论证方块202将在下面产生分析搜索结果树结构实例，其中eX提供树中的索引，例如单词“become”为e8（结果树的第8个结构，e7索引结果树结构的第7个单词），其中7表示单词“city”，它是“become”的第一论证，e13（索引结果数结构的第13个单词）是“producer”，它是“become”在语义结构中的第二论证，如下所示：

in(e1,e3,e8)

the(e2,e3)

1960s(e3,u)

this(e4,e7)

large(e5,e7)

Kansas(e6,e7)

city(e7,u)

become(e8,e7,e13)

the(e9,e10)

world(e10,u,e13)

aposts(e11,e10)

large(e12,e13)

producer(e13,of:e17)

general(e15,e17)

aviation(e16,u,e17)

aircraft(e17)

重点段、重点和修改符方块204检测重点段，该段是问题中被正确答案替换的文本跨度。例如，在下面的查询中，斜体字表示查询中的重点段：“在1960年代，这个最大的堪萨斯城市成为世界最大的通用航空飞机生产基地”。

为了检测重点段，针对预测论证结构和ESG分析实现一组规则，该组规则与预测论证结构（PAS）中的模式匹配。所述模式的实例包括例如，名词短语“什么/哪个/这个/这些X”，其中X是另一对象；“谁/什么/何时/何地/为何/这个/这些”；无指示代词。下面是代词模式实例，其中代词以斜体表示：

作为一个男孩，他创建了模型风车；他的微积分对手戈特弗里德.莱布尼兹成年之后才设计出这样的模型风车。

现在参考词汇回答类型（LAT）方块206，LAT是识别正确答案语义类型的问题词。下面段落中的斜体单词表示以下查询中的LAT：

“哪个堪萨斯城市是世界最大的通用航空飞机生产基地”。

LAT可在更改含义时包括修改符。例如，斜体单词表示以下查询中的LAT：

乔利埃特和科发现密西西比河注入什么水体？

现在参考图3，问题/查询分析方块20的输出29包括查询分析结果数据结构（CAS结构）。在该实施例中，输出数据结构问题/查询分析方块20和候选答案产生方块30可以实现为根据UIMA开源平台在模块之间传递数据。

“候选答案产生”模块30接收来自问题/查询分析方块20的CAS型查询结果数据结构29输出，然后根据主源11和答案源KB（知识库）21中存储的文档产生一组候选答案。“候选答案产生”模块30包括但不限于以下一个或多个功能性子处理模块：词语加权和查询扩展模块302；文档标题（在标题源中检索文档）模块304；检索段落中实体模块308；以及结构源知识库实体模块310。

词语加权和查询扩展模块302实现根据模块11和21创建查询的功能（部分查询产生），其中包括实现查询扩展的实施例（请参阅例如：http://en.wikipedia.org/wiki/Query_expansion）。文档标题（在标题源中检索文档）模块304实现检测候选答案的功能（从源11和21）。检索段落中实体模块308实现在文本段落中检测候选答案的功能，例如根据段落和查询的语法和语义结构。结构源知识库实体模块310实现根据查询中的实体与答案源知识库21中的实体之间关系间的匹配检索候选答案的功能（例如实现为SQL查询）。

作为实现候选答案产生方块30的功能模块的结果，创建查询并针对（本地或分布式）源数据库或类似的记忆存储器件中的所有结构化和非结构化主数据源11运行查询。可针对结构化（KB）、半结构化（例如，维基百科、IMDB数据库、XBRL中的SEC filings集合等）或非结构化数据（文本库）运行查询以产生候选答案列表39（也作为CAS，或现有CAS的扩展）。应该理解，在一个实施例中，针对所列主源数据库的本地副本运行查询，也可访问公用的公共数据库源。而且可以理解，在一个实施例中，并非查询中的所有词需要用于搜索答案——因此需要根据查询分析结果创建查询。例如，在回答问题“波兰首都名称中的前五个字母”时，查询的一部分中不应包含“五个字母”。

如图3进一步所示，答案源知识库21被示出为与结构源实体模块310相连，模块310包括类型化列表（例如，世界上所有国家的列表）、已提取的精确一元体（例如，国家）、二元体（例如，国家+国家元首）、三元体（例如，国家+国家元首+元首夫人）、n元体关系等。

现在参考图2和4，“候选答案评分”模块40B从例如证据收集方块50的支持段落检索（SPR）方块40A接收CAS型数据结构49（即，一个或多个CAS）。“候选答案评分”模块40B包括但不限于以下一个或多个功能性子处理模块：段落中词汇与语义关系模块402；文本对齐模块405；段落中查询词匹配模块407；语法关系方块410；KB（知识库）中答案查找模块413；以及候选答案类型分析模块415。

段落中词汇与语义关系模块402实现计算候选答案段落中的语义（预测/论证）关系满足程度（答案评分的一部分）的功能。文本对齐模块405实现对齐查询（或其中的某些部分）与答案段落以及计算描述对齐程度的评分（例如，当对齐引用的答案时）的功能。段落中查询词匹配模块407实现将查询段落的匹配程度与候选答案段落中的词进行关联的功能（答案评分的一部分）。语法关系方块410实现检测候选答案之间的语法关系（可归入段落中词汇与语义关系模块402之下）的功能。知识库中答案查找模块413实现根据评分排序检测候选答案的功能。候选答案类型分析模块415例如根据对出现候选答案的文档执行语法和语义分析产生测量候选答案为正确答案的概率。“候选答案评分”模块40B的输出为CAS结构，此结构包含一系列评分由模块给定的答案。

如此出描述的那样，可实现多个并行操作模块以计算候选答案的评分，其中所述评分根据上述标准在CAS型数据结构59中提供。例如，答案是否满足类似的词汇和语义关系（例如，对于有关电影女明星的查询，答案是否为女性，候选是否满足电影演员关系？），答案与查询的对齐程度；词语的匹配程度以及词语是否以类似的顺序存在。因此，将理解，多个模块用于处理不同的候选答案，因此，可能根据可能的评分模块数量提供许多评分。

参考图2和4，“答案排序”模块60因此从证据收集方块50（包括实现SPR40A和候选答案评分40B）接收多个CAS型数据结构59输出，并针对每个候选答案产生评分。图4示出机器学习实现，其中“答案排序”模块60包括使用机器学习技术，根据现有数据产生训练模型组件71。现有数据可以编码有关候选答案的特征、候选答案所在段落的特征、候选答案评分模块40B赋予候选答案的评分，以及候选答案是否正确的信息。机器学习算法可应用于CAS的全部内容以及有关候选答案正确性的信息。此类现有数据例如可随时用于技术服务支持功能，或者随时可用于因特网（其中许多网站列出带有正确答案的问题）上更一般的设置。模型对预测功能进行编码，此功能输入到“学习特征组合”模块73。

因此，在图4所示的实施例中，将作为CAS的一系列候选答案以及存储在训练模型子模块71中并且其参数依赖于查询类型的训练模型输入到答案排序模块60。答案排序模块60包括学习特征组合子方块73，方块73实现产生答案排序列表75的功能。答案排序模块60的输出包括查询答案（一个或一系列），还可以选择性地包括说明性问题（如果系统参与对话或者如果所产生的答案没有高排序）。学习特征组合子方块73应用训练模型71产生的预测功能，例如实现根据训练模型对候选答案评分进行加权的方法。训练方块71和学习特征组合73可以参考Ittycheriah,A等人在2001年的文本检索会议上发表的标题为“{IBM}'s Statistical QuestionAnswering System-{TREC}”的文章，地址位于：http://citeseer.ist.psu.edu/cache/papers/cs2/7/http:zSzzSztrec.nist.govzSzpubszSztrec10zSz.zSzpaperszSztrec2001.pdf/ittycheriah01ibms.pdf。

机器学习训练模型71以及学习特征组合73的应用将在下面更详细地进行描述。在一个实施例中，实现由两部分构成的任务以：(1)识别候选中的最佳答案，以及(2)判定最佳答案的置信度。根据此处理，每个问题候选对包括一个实例，从大范围的特征中获取评分，例如，答案与查询词的共现、候选是否匹配问题类型，以及搜索引擎排名。因此，对于问题实例：

“从浓缩蔗汁中去除糖晶体之后，还剩什么液体”？

诸如下面的表1所示的评分实例根据但不限于以下项产生：类型分析、对齐、搜索引擎排名等。TypeAgreement是表示段落中候选答案的词汇形式是否对应于问题中感兴趣的实体词汇类型的评分。Textual Alignment对问题与答案段落之间的对齐进行评分。

表1

候选	类型	对齐	排名	评分
					牛奶	1	0.2	3	0.46
黑砂糖	0	0.6	1	0.48
					糖浆	1	0.5	2	0.8

因此，在该实施例中，候选答案根据其答案评分被表示为实例。如上所述，分类模型71通过实例进行训练（根据现有数据），其中每个候选答案针对问题被分类为真/伪（使用逻辑回归或线性回归函数或本领域公知的其他类型的预测函数）。现在应用该模型，候选答案根据分类评分进行排序，其中所述分类评分被用作答案置信度的测量值，也就是说，通过对完整的特征或其子集应用预测函数，比较和评估可能的候选答案。如果分类评分高于阈值，则该答案被视为可接受的答案。使用表1中“类型”、“对齐”和“排名”中的数值，预测函数（评分）由线性表达式实例给出：=0.5*类型+0.8*对齐+(1-排名)*0.1，分别针对牛奶、黑砂糖和糖浆获取值0.46、0.48和0.8（值越大，表示答案越佳）。这些值在表1中的“评分”列中表示。该评分函数实例出于说明的目的给出，在实际应用中，可使用更复杂的评分函数。例如，数学表达式可以基于逻辑回归函数（由线性表达式和指数函数构成），并且可应用于更大数量的特征。

图5是示出系统操作的方块图500。在步骤510，被设计为执行本发明步骤的系统接收查询。指令集在包括一个或多个处理器或计算设备的计算环境中执行。对查询进行分析并将其解析为适合于搜索引擎511（执行图1和2中模块30的信息检索功能）搜索的元素。

图5还表示定义数据结构的数据模型，所述数据结构作为图1和2所示的系统组件的输入提供，或者作为所述系统组件的输出产生。所述数据模型提供有关给定组件功能的说明文件，它允许以非常高的置信度集成独立开发的组件，这些组件将正确地进行交互操作。所述数据模型被正式定义为UIMA类型系统，在UIMA类型系统描述符中具有描述性规范。众所周知，非结构化信息管理架构（UIMA）框架是开放的工业级可扩展、可延伸平台，用于构建处理文本或其他非结构化信息以查找潜在含义、关系和其中隐藏的相关事实的分析应用或搜索方案（http://incubator.apache.org/uima/）。

所述数据模型通过UIMA CAS（类型系统中各种类型的实例容器）进行实例化。

类型系统具有一些基本设计点。

1.CAS表示单个问题，但是并不限于此，即，包括某些现有重点的问题（种类、现有问题或答案，或问题元数据，还提供上下文的某种元素）；

2.问题是初始CAS视图中的分析主题；

3.处理被分为若干阶段，其中每个阶段可以产生多个带有新分析主题和对应视图的新CAS，但是原始问题视图位于每个CAS中。将理解，各种变形是可能的。

所有处理结果可以添加到原始CAS（中间结果一直保留到处理结束）中，并且系统产生的最终答案作为CAS中的注释发布。

在一个实施例实例中，数据模型包括基注释类型，许多类型扩展uima.tcas.Annotation（请参阅http://incubator.apache.org/UIMA）。每个类别（例如，注释器）也可估计它所创建的注释的正确性。

在一个示例性实施例中，作为在问题处理阶段510执行的问题分析的一部分，接收问题19，并且使用该问题（以及问题上下文）初始化CAS。创建两个初始注释：带有有关问题的元数据的“问题注释”，以及通过直接包含结果，或通过指向表示问题分析结果的其他注释来整合所有问题分析结果的“QaResult注释”。

基问题注释类型被定义为选择性地包括任何关联的元数据，例如问题源（TREC、技术支持、电视节目等）、现有对话或其他上下文信息（例如，有关以其他形式表示的输入所包含的信息）。

问题类型可进一步具体化为建立问题模型的子类型实例，此问题的类别定义Type（即，问题类型，例如，FACTOID、LIST、DEFINITION、OTHER、OPINION或UNCLASSIFIED问题类型之一）。

分析问题的初始步骤是针对问题运行NLP（自然语言处理）堆栈。自然语言处理通常包括句法处理（例如，使用ESG分析器）和推导预测论证结构。该处理根据标准的UIMA方式执行，其中NLP堆栈作为综合分析引擎在CAS上执行。在本发明的实施例中，所有NLP堆栈结果被添加到CAS作为扩展Hutt和ESG类型系统的注释。

在NPL堆栈处理之后，运行问题分析组件，该组件例如包括问题分类、答案类型检测和重点识别，如图3中的查询分析方块所示。问题可以根据问题类型（元数据）进行分类，每个问题可能需要特殊的下游处理。该分类结果可存储在QClass注释中：

下游处理实例可以包括处理猜谜式问题（其中获取答案需要来自多个源的综合信息、推理等）；需要视听处理的audio_visual问题；具有引号或命名实体等的imple_factoid问题；有关可查找的事实的FACTOID；以及包含答案定义并且其中期望问题定义的单词为答案的DEFINITION。

图3示出的典型问题分析过程产生多个注释，其中包括重点、答案类型、语义作用标注和约束，以及标注任何表示定义的问题部分。

对于上述注释类型，图5中的问题分析组件510将创建注释实例，设置问题文本的跨度（如果适用），以及设置注释中的其他任何特征。需要指出，这些注释可以有多个实例。

问题以及问题结果用于产生查询的抽象表示，此表示为了进行描述，被称为AbstractQuery。抽象查询表示问题中的所有可搜索的关键字和短语，以及语义答案类型（如果检测到）。

抽象查询使用以下类型表示：同义词（下面的所有查询概念均互为同义词）；短语（顺序中的所有查询概念均为短语）；并列词（“或”，即论证节点的分离）；加权（下面的概念按照运算符中存储的浮点进行加权）；必要（下面的概念均为必要概念，如果可能）；关系（下面的概念位于关系下，存储在运算符内）。

现在参考图5，在问题处理方块510中，分析问题之后，搜索处理开始，这可以包括搜索结构化和非结构化源，例如，Google、维基百科的本地副本或数据库查找表。

每个搜索引擎具有查询产生器，其从抽象查询产生引擎特定的查询，并使用搜索引擎的查询语法设置其格式。搜索引擎然后处理查询并将搜索结果命中列表添加到CAS。搜索对象包含搜索引擎查询、搜索引擎的标识符，以及搜索结果。

在一个实施例中，搜索结果由SearchResult对象表示，该对象包含结果的标识符（URI）、结果的评分，以及结果的实际内容，即，段落文本、知识库元组等。SearchResult可针对不同的搜索引擎种类以及对应的搜索结果进行特殊化。

可创建Document对象以表示搜索引擎交付的结果。该对象可以包括文档标题和该文档的唯一标识符，以及其他数据和元数据。段落对象可与返回段落的搜索引擎一起使用。它可将偏移（例如，包含该段落的文档内的该段落开头的字符偏移，以及包含该段落的文档内的该段落结尾的字符偏移）以及段落命中的段落长度元数据添加到document对象。

如图5所示，CAS结构实例中的数据是问题分析处理步骤510的搜索结果方块的输出，需要并行处理。使用搜索命中CAS分割装置515启动对候选答案的并行搜索。对于并行操作，搜索列表（搜索结果段落）通过CAS分割元件515进行分发以便应用（工作分割）并行搜索结果处理技术以处理每个找到的搜索结果以及使用本文内候选答案产生方块30（图3）中描述的技术执行候选答案产生（并行）。

在候选答案产生期间，候选答案在搜索结果中识别。在一个实现实例中，候选答案通过两种不同的级别表示：CandidateAnswerVariant；以及Candidate Answers Canon。CandidateAnswerVariant是唯一的候选答案字符串（可能是某些非常简单的正则化的标准）。Candidate Answers Canon是标准化的候选答案，将语义上等效的变体集合在一起。这两个类型均扩展了抽象基类别CandidateaAnswer，该类别定义与该候选答案关联的候选答案字符串和特征。

候选答案的类别（例如，CandidateaAnswer）提供与该候选答案关联的候选答案字符串和特征。在操作中，可实例化它的一个或多个子类型。一个子类型包括已定义的候选答案类别变体（CandidateAnswerVariant），此变体可能出现多次，所有出现收集在变体对象中，该子类别还定义该变体的出现。提供CandidateAnswerOccurrence以注释被识别为候选答案的文本跨度并定义：(1)涵盖文本指示某一实体（例如，NAME、PRONOUN、CITY）的方式；(2)候选答案源；(3)源文本内该候选答案开头的字符偏移；以及(4)源文本内该候选答案结尾的字符偏移。

在一个实现实例中，候选答案通过文档标题推导，另一方法可通过候选段落中的一个或多个元素推导候选答案。候选答案可进行标准化，从而可在一个标准形式中识别多个拼写变体。

搜索结果处理和候选答案产生方块30的CAS结构39输出实例中的数据在此由用于并行放置输入支持段落检索方块40A的候选答案的候选答案CAS分割装置520进行并行处理。对于每组候选答案，CAS被分割为单独的CAS，以便每个CAS包括一个或多个候选答案并被发送到证据收集模块50进行处理。

现在参考图5更详细地描述根据本发明的实施例实现（并行处理）和支持段落检索和答案评分的证据收集模块50（在图1和3中示出）。

一般而言，段落检索在候选答案产生期间使用，其中使用问题中的关键字，从非结构化语料库中找到段落。然后从这些段落中提取候选答案。

根据本发明的实施例，支持段落检索（SPR）在候选答案产生之后执行。对于每个最终的候选段落，将遍历段落内容以查找/找到包含候选答案以及问题词的段落。将理解，如果已知要查找的候选答案，则可以找到更适合的段落。对于每个最终的候选，遍历源以查找包含候选答案以及问题词的段落（即，针对原始主源（数据库）或候选知识库执行另一搜索）。在另一实施例中，可针对缓存的搜索结果（过去的段落）执行搜索。将理解，如果重复搜索包括问题词的候选答案，则可以获取最佳结果。

支持段落然后通过执行以下一个或多个步骤，由多个评分器进行评分：简单词匹配评分；文本对齐；深度分析。简单词匹配评分实现可执行指令来计数匹配词的数量，文本对齐实现可执行指令来判定相同或类似顺序中出现的单词之间具有相似的距离，以便不会相距太远（对齐）。这有利于查找引用。为了查找引用，例如，将执行对齐以获取最佳结果。深度分析实现可执行指令来判定段落/问题的含义（即，词汇和/或语义关系）。其中每个分析产生一个评分。

现在针对非限制的说明目的描述证据收集实例。在该实例中，给出的查询如下所示：

“In2002,who became the first Republican sitting senator ever tohost“Saturday Night Live”？

在实现停用词删除（即，从查询中删除最常用词，例如“a”、“an”、“the”、“is/was/be…”、“become/became…”…）的查询产生中，查询变为

“Republican first sitting senator ever host“Saturday Night Live”2002”

查询产生之后，在一个实施例中，查询被发送到因特网搜索引擎，例如MSN提供的搜索引擎，读取前20个结果文档。下面示出针对“Republican first sitting senator ever host“Saturday Night Live”2002”的问题搜索结果实例的段落提取结果实例（候选答案）。在每个文档中，识别包括每个候选答案（即，John McCain还是Al Gore）以及可能以斜体显示的许多问题关键字的段落。这两个段落实例包括段落评分，在一个示例性实施例中，段落评分被计算为：

段落评分=段落中的查询词数/总查询词数

候选答案：John McCain

文档：http://doney.net/aroundaz/celebrity/mccain_john.htm

段落：Representative from Arizona1st District(1983-1987),POW

(1967-1972),Navy pilot,first sitting Senator to host Saturday Night Live

(2002).Born in the Panama Canal Zone,John McCain shares the

headstrong,blunt,maverick traits of his father and grandfather,who werethe first father and son four star Admirals in the U.S.。

段落评分：8/11=0.73

候选答案：Al Gore

文档：http://www.imdb.com/title/tt0072562/news

段落：17December2002(StudioBriefing)No longer a candidate for thepresidency in2004,Al Gore may have a whole new career cut out for himas the host of a late-night comedy show,judging by the ratings for the Dec.14edition of NBC's Saturday Night Live。

段落评分：5/11=0.45

在一个实施例中，另外计算SPR答案评分，该评分在一个实施例中被计算为包含方程式1)中所示答案的段落的下降式评分总和。

答案评分=P0+nP1+n²P2+n³P3+…1)

其中，Pi是第i个最高段落评分，“n”是常数<1（例如，0.1）。

因此，对于查询实例“Republican first sitting senator ever host“Saturday Night Live2002”，针对候选答案John McCain的SPR“答案评分”被计算为：

1)摘取针对John McCain的第一候选答案段落，其中问题关键字以斜体示出，即：

Representative from Arizona1st District(1983-1987),POW(1967-1972),Navy pilot,first sitting Senator to host Saturday Night Live(2002).Born in the Panama Canal Zone,John McCain shares theheadstrong,blunt,maverick traits of his father and grandfather,who werethe first father and son four star Admirals in the U.S.。计算的段落评分为：[评分：0.74]。

2)摘取针对John McCain的第二候选答案段落实例，即：

John McCain,Meghan regaled reporters with tales of her days as anintern at Saturday Night Live in2004."Slave work,"she says,"but I had an amazing time。计算的段落评分为：[评分：0.27]。

3)摘取针对John McCain的第三候选答案段落实例，即：

The most prominent Republican,Arizona Senator John McCain,wasportrayed as a loser because of his support for staying the course in Iraq。

计算的段落评分为：[评分：0.18]。

因此，根据方程式1)，其中n=0.1，针对候选答案John McCain的综合答案评分变为：

0.74+(0.1)(0.27)+(0.01)(0.18)=0.7688

类似地，

对于查询实例“2002Republican first sitting senator ever host“Saturday Night Live”，针对候选答案Al Gore的SPR“答案评分”被计算为：

1)摘取针对Al Gore的第一候选答案段落，其中问题关键字以斜体示出，即：

17December2002(StudioBriefing)No longer a candidate for thepresidency in2004,Al Gore may have a whole new career cut out forhim as the host of a late-night comedy show,judging by the ratings for theDec.14edition of NBC's Saturday Night Live…，计算的段落评分为：[评分：0.45]。

2)摘取针对Al Gore的第二候选答案段落实例，即：

Also in attendance were former Presidents George Bush,Gerald Ford,Jimmy Carter,former Vice-president Al Gore,former Senator Bob Doleand all their wives.Was portrayed on"Saturday Night Live"(1975)byPhil Hartman,Chris Farley(once),David Spade(once),Chris Elliot(once),Michael McKean,and Darrell Hammond。计算的段落评分为：[评分：0.36]。

3)摘取针对Al Gore的第三候选答案段落实例，即：

Also in attendance were former Presidents George Bush,Gerald Ford,Jimmy Carter,former Vice President Al Gore,former Senator Bob Doleand all their wives.[September2001].Was portrayed on&#34;Saturday Night Live&#34;(1975)by Phil Hartman,Chris Farley(once),David Spade(once),Chris Elliott(once),Michael McKean,andDarrell Hammond。计算的段落评分为：[评分：0.36]。

4)摘取针对Al Gore的第四候选答案段落实例，即：

Remember Al Gore's"Saturday Night Live"skit where he pretendedto be President and the world was a glorious place？计算的段落评分为：[评分：0.27]。

因此，SPR模块根据方程式1)，针对候选答案Al Gore计算的综合答案评分变为：

0.45+(0.1)(0.36)+(0.01)(0.36)=0.4896

注意，根据简单求和机制，Al Gore的答案评分应该为1.44，JohnMcCain的简单求和计算评分为1.19，前者胜出。

每个候选答案的答案评分将包括在CAS中。

现在返回参考图5，在模块530，检索支持段落。功能在CAS分割之后启动。支持段落检索创建的支持段落记录由支持段落分割器540进行分割，由于可能存在许多记录，因此分割器将新的CAS（包含所有之前计算的信息：上下文、查询、候选答案、支持段落）路由到“答案评分”。

结果包含许多CAS，所述CAS包含（除了其他元素）三个重要项：候选答案、问题词和支持段落。由于针对每个问题可产生数百个此类CAS，因此并行评分这些候选答案。在实施例中，由候选评分模块40B执行的候选评分可分为两类：上下文无关评分43（其中独立于段落对答案进行评分），上下文相关评分47（其中答案评分依赖于段落内容）。例如，如果候选答案从文档标题中获取，则评分不依赖于段落内容，为上下文无关评分。与之相对，基于文本对齐（模块405，图4）、语法关系（模块410，图4）或词汇和语义关系（模块402，图4）的其他候选答案评分类型需要比较查询与段落，为上下文相关评分。由于这些方法中的多数依赖于计算段落中的语法和语义关系，因此必须在47中的上下文相关候选答案处理之前处理搜索结果（使用SPR方块40A的搜索结果处理模块）。

答案评分器的结果保存在CAS中。在最后的答案排序处理60的阶段，所有候选答案特征进行加总和合并，然后应用最终候选答案评分函数（如上面参考表1中提供的评分实例描述的那样）。由于给定的候选答案可以出现在多个段落中，因此最终合并/排名注释器必须跨CAS收集结果，标准化和合并候选答案，合并同一答案评分器跨多个候选答案实例产生的特征评分，以及对结果进行汇总。标准化的、合并的以及汇总的结果被输入评分函数以产生候选答案的最终评分。最终排序结果保存为答案和/或交付给用户。在本发明的实施例中，最终合并和排序是递增的，即，只要针对不同节点的计算完成，机器便会提供最佳答案。一旦所有节点完成，便交付最终（位于最上面）答案。因此，在一个实施例中，最终答案列表和答案被添加到原始问题视图，问题解答过程完成。

需要指出，如果系统无法找到答案，或者找到具有高评分答案（例如，基于与预设阈值的比较），则系统可能询问用户说明性问题，或提交答案集，或承认失败并请求用户的进一步指示。本领域的技术人员将能够根据例如编号为6,829,603和6,983,252的美国专利（这两个专利在此纳入作为参考，就像完全在此列出一样），以及Wlodek Zadrozny等人发表的标题为“Natural language dialogue for personalized interaction（个性化交互自然语言对话，可从2000年8月发行的美国计算机协会通讯第43卷、第8刊，116-120页存档中找到）（http://portal.acm.org/citation.cfm?id=345164）”的参考实现此类对话。

本领域的技术人员将能够实现对本发明的系统的进一步扩展以采用多模通信（使用编号为7,136,909的美国专利）的模式，所述多模通信包含文本、音频、视频、手势、触觉输入和输出等做种形式。如上所述，此类交互的实例包括使用语音提问以及通过其他形式（语音、文本和图像）的组合接收答案的蜂窝电话用户，或与视频游戏进行的交互。

此处描述的数据模型和处理模型旨在允许并行处理，允许“流”计算模型，其中结果在所有处理完成之前逐渐变得可用。如果分析能够首先识别和处理最可能的候选，然后使用更多的处理时间持续改进评分估计，则可有利地使用该流模型。

根据本发明的实施例，在最终合并/排序时使用一组模型而非单个模型判定候选答案的最终评分或候选答案分类评分。问题和/或候选答案的特征用于判定使用哪个模型。图6和7示出一组通过这种方式使用的模型。

根据图6的实施例，每个问题被发送到被称为“模型选择”的组件580。该组件针对给定问题，选择多个模型582（将候选答案发送到该模型以获取最终评分）之一。对于给定问题，所有候选答案由该模型进行评分。这些评分在一个实施例中用于选择最佳答案和/或对答案列表进行排序。

现在参考图7，每个候选答案被发送到模型选择组件590。该组件针对每个答案或答案子集选择多个模型592（将所述每个候选答案或答案子集发送到该模型以获取最终评分）之一。对于给定问题，某些候选答案子集可由同一模型进行评分。这些评分在一个实施例中用于选择最佳答案和/或对答案列表进行排序。

图6的实施例要求使用有关问题的信息执行模型选择。该信息可在选择模型时计算，也可在过程中提前计算。具体而言，在图5的组件20中，“问题分析”负责从问题中提取有用信息；这可以包括选择模型所需的信息。例如，如果一个模型非常适合于有关动物的问题，另一模型非常适合于有关植物的问题，而第三个模型非常适合于有关岩石的问题，则“问题分析”可以包括某种问题主题检测功能，标注有关植物、动物或岩石的问题。作为另一实例，如果一个模型非常适合于语法简单的问题，另一模型非常适合于语法复杂的问题，则“问题分析”可以包括某种语法复杂度测定功能。作为第三实例，如果一个模型非常适合于具有明确答案类型的问题（例如，“1加元硬币背面是什么鸟？”），另一模型非常适合于不具有明确答案类型的问题（例如“1加元硬币背面是什么图案”），则“问题分析”可以包括某一对问题是否具有明确答案类型的判定。

图7的实施例要求使用有关候选答案的信息执行模型选择。如上面针对图6的实施例那样，此信息可在模型选择时计算，也可提前计算。如果提前计算，则准备中的相应位置将在上下文无关答案处理（如果特征是候选答案的固有特征，例如长度或词性）或上下文相关答案处理（如果特征依赖于可从中找到答案的上下文）期间。

对于图6和7中两个实施例的任一实施例，如果所用的一组模型为使用机器语言训练的统计模型，则两个模型选择以及引导模型选择的上游计算必须在训练数据上运行。这允许训练系统判定要训练的模型。

如上所述，在一个实施例中，上述图1-7中的模型可表示为UIMA中的功能组件，并且可以体现为用于根据结构化和非结构化信息组合开发集成搜索和分析的应用的硬件和软件组合。采用UIMA组件实现最终用户功能的软件程序通常被称为应用、应用程序或软件应用。

其实施例在图1-7中示出的UIMA高级架构定义协力实现UIM应用的大颗粒组件的作用、接口和通信。这些包括能够分析非结构化源工件（例如包含文本数据和/或图像数据的文档）、集成和访问结构化源以及根据发现的语义内容存储、索引和搜索工件的组件。

尽管未示出，但是UIMA高级架构的非限制性实施例包括语义搜索引擎、文档存储、至少一个文本分析引擎（TAE）、至少一个结构化知识源适配器、收集处理管理器、至少一个收集分析引擎，所有这些均与应用逻辑连接。在一个实施例实例中，UIMA通过操作同时访问结构化信息和非结构化信息以通过此处介绍的方式产生候选答案和答案。非结构化信息可被视为文档集合，并且可以采取文本、图形、静态和动态图像、音频以及它们的各种组合的形式。

UIMA的各方面进一步在图8中示出，其中示出分析引擎（AE）600，该引擎可以是文本分析引擎的一个组件部分。AE600包括公共分析系统（CAS）610、注释器620和控制器630。TAE的第二实施例（未示出）包括由两个或多个组件分析引擎以及CAS构成的综合分析引擎，它与AE600实现同一外部接口。

公共分析系统610

公共分析系统（CAS）60被提供作为通用工具，所有注释器620均可使用它来访问和修改分析结构。因此，CAS610允许注释器620之间进行协调并便利注释器620在不同的应用和不同类型的架构（例如，松散与紧密连接的）内重用。CAS610可被视为约束各种注释器执行操作。

CAS610主要提供数据建模、数据创建和数据检索功能。数据建模优选地定义类型的树层次结构，如下面提供的表2所示。类型具有被称为特征的属性或特性。在本发明的实施例中，存在少量内建（预定义）类型，例如整数（int）、浮点（float）和字符串；UIMA还包括预定义数据类型“Annotation”。数据模型在注释器描述符中定义，并且与其他注释器共享。在表2中，某些被视为从现有技术非结构化信息管理应用进行扩展以适应本发明的实施例中问答的“类型”包括：

表2

在表2中，例如，所有问答类型（在左列中列出）均为新类型并扩展另一新类型或现有类型（在右列中示出）。例如，“Query”和“Query Context”是“Query Record”（一种新类型）的种类；而“Candidate Answer Record”扩展UIMA类型“Annotation”但是添加了类型为“Float”的新特征“CandidateAnswerScore”。

CAS610数据结构可被称为“特征结构”。为创建特征结构，必须指定类型（请参阅表2）。注释（以及-特征结构）存储在索引中。

CAS610可被视为将表达的基于对象的数据结构实现为抽象数据类型的方法集合（实现为类别，例如，在Java或C++中）。优选地，CAS610设计大部分基于TAE130特征特性结构，该结构提供用户定义的对象、特性和值来实现灵活性，提供静态类型层次结构来实现效率，以及提供方法来使用一个或多个迭代器访问存储的数据。

其他特征中，通过CAS610实现的抽象数据模型还为UIMA100提供：平台独立性（即，类型系统以声明的方式定义，独立于程序设计语言）；性能优势（例如，当通过公共数据模型连接以不同的程序设计语言编写的注释器620）；通过注释器620的输入/输出规范实现的流组成（包括允许类型检查和错误检测，以及支持注释器（TAE）作为服务模型的声明性规范）；以及支持通过语义索引、搜索和检索实现第三代搜索程序（即，语义类型是声明性的，并非基于关键字）。

CAS610为注释器620提供有效地构建和搜索分析结构的工具。分析结构是主要由描述原始文档文本子序列的元数据构成的数据结构。分析结构中元数据的示例性类型为注释。注释是一个对象，具有自己的特性，该特性用于注释文本序列。存在任意多个注释类型。例如，注释可以在文档结构（例如，单词、句子、段落等）中根据文本序列的作用。标注文本序列，或根据它们的语法作用（例如，名词、名词短语、动词、形容词等）描述它们。对于注释的数量或应用基本没有限制。其他实例包括注释文本段以将其识别为正确的名称、位置、军事目标、时间、事件、设备、装备、条件、时间条件、关系、生物关系、家庭关系或其他重要的或感兴趣的项。

一般而言，注释器620的功能是分析文本以及现有的分析结构以发现需要识别的新注释集实例，然后将这些注释添加到分析结构进行输入，以便由其他注释器220进一步处理。

除了注释之外，图6中的CAS610还可存储原始文档文本，以及可由注释器620产生的相关文档（例如，原始文档的译文和/或摘要）。优选地，CAS610包括便利通过XML之类的确定格式导出分析结构（例如，一组注释）的不同方面的扩展。

更具体地说，CAS610是TAE中定义和存储文本注释的部分。CASAPI同时由应用和注释器620用于创建和访问注释。CAS API例如包括三个独立的接口。类型系统控制新类型的创建并提供有关类型间关系（继承）以及类型-特征间关系的信息。类型定义的一个非限制性实例在表1中提供。结构访问接口处理新类型的创建以及值的存取和设置。结构查询接口处理现有结构的检索。

类型系统提供系统所知的实体分类，类似于面向对象的程序设计中的类别层次结构。类型对应于类别，并且特征对应于成员变量。优选地，类型系统接口提供以下功能：通过提供新类型名称以及指定层次结构中附加类型的位置添加新类型；通过提供新特征名称以及赋予类型应该附加到的特征和值类型添加新特征；以及查询现有的类型和特征，以及它们之间的关系（例如，哪个（哪些）类型继承自该类型）。

在实施例中，类型系统提供少量内建类型。如上所述，基本类型为int、float和字符串。在Java实现中，这些分别对应于Java int、float和字符串类型。还支持注释和基本数据类型的阵列。内建类型在结构访问接口中具有特殊的API支持。

结构访问接口允许创建结构，以及访问和设置现有结构的值。在实施例中，这提供创建具有给定类型的新结构，获取和设置给定结构上特征的值，以及访问内建类型的方法。特征定义针对域提供，每个特征具有一个范围。

在备选实施例中，图1-7中的模块可表示为GATE（文本工程通用架构）中的功能组件（请参阅：http://gate.ac.uk/releases/gate-2.0alpha2-build484/doc/userguide.html）。GATE采用的组件是可重用的软件块，具有在概念上与GATE本身分离的定义良好的接口。所有组件集都是用户可扩展集合并且共同被称为CREOLE（语言工程可重用对象集合）。GATE框架是其中插入CREOLE组件的底板。用户为系统提供URL列表以搜索它何时启动，这些位置上的组件由系统进行加载。在一个实施例中，启动时仅加载它们的配置数据；实际类别在用户请求实例化资源时加载。GATE组件是三类特殊化的JavaBean之一：1)Resource；2)Processing Resource；3)Language Resource；以及4)Visual Resource。Resource是顶级接口，描述所有组件。所有组件的共同特点是可以在运行时加载，并且组件集可由客户进行扩展。它们具有特征，所述特征在系统外部通过RDF、Plain XML或Java特性之类的格式表示为“元数据”。在一个实施例中，Resource全部可以是Java Bean。ProcessingResource是可运行资源，可以远程调用（通过RMI），并且驻留在class文件中。为了加载PR（Processing Resource），系统了解在何处查找class或jar文件（这些文件也包括元数据）。Language Resource是由数据组成的资源，可通过Java抽象层访问。它们驻留在关系数据库中。VisualResource是可视Java Bean，它是GUI的组件，包括主GATE GUI的组件。与PR相同，这些组件驻留在.class或.jar文件中。

在描述GATE处理模型时，所有主要特征为算法的资源（例如，分析器、产生器等）都被建模为Processing Resource。PR是实现Java Runnable接口的资源。GATE可视化模型实现以显示和编辑其他资源为任务的资源，这些资源被建模为Visual Resource。GATE中的语料库模型是成员为文档的Java Set。Corpora和Documents都是Language Resources（LR）的类型，所有LR具有与其关联的Feature Map（Java Map），存储有关资源的属性/值信息。FeatureMap还用于通过注释模型将任意信息与文档范围（例如，文本片段）进行关联。Documents具有DocumentContent（目前为文本，未来版本可能添加对视听内容的支持），以及一个或多个AnnotationSets（为Java Set）。

作为UIMA，GATE可用作实现自然语言对话系统的和多模对话系统（以公开的问答系统作为主要的子模块之一）的基础。上述在此纳入作为参考的的引用内容（编号为6,829,603、6,983,252和7,136,909的美国专利）允许本领域的技术人员构建此类实现。

本发明的实施例可以采取完全的硬件实施例、完全的软件实施例或同时包含硬件和元件元素的实施例的形式。在实施例中，本发明通过软件实现，所述软件包括但不限于固件、驻留软件、微代码等。

本发明可以采取可从计算机可用或计算机可读介质访问的计算机程序产品的形式，计算机可用或计算机可读介质提供由计算机或任何指令执行系统使用或与其结合的程序代码。为了此描述的目的，计算机可用或计算机可读介质可以是任何可以包含、存储、传送、传播或传输由指令执行系统、装置或器件使用或与其结合的程序的装置。

所述介质可以是电、磁、光、电磁、红外线、或半导体的系统（或装置或器件）或传播介质。计算机可读介质的例子包括半导体或固态存储器、磁带、可移动计算机软盘、随机存取存储器（RAM）、只读存储器(ROM)、硬磁盘和光盘。光盘的当前例子包括紧凑型光盘只读存储器（CD-ROM）、紧凑型光盘读写存储器（CD-R/W）和DVD。

本发明的系统和方法可以在通用计算机或计算机系统上实现或运行。计算机系统可以是任何类型的已知系统或将被获知的系统，通常可以包括处理器、存储器件、存储装置、输入/输出设备、内部总线和/或用于结合通信硬件和软件与其他计算机系统通信的通信接口等。

本发明中可使用的术语“计算机系统”和“计算机网络”包括固定和/或便携式计算机硬件、软件、周边设备和存储设备的各类组合。计算机系统可以包括多个联网或以其他方式连接以协作性地执行操作的单独组件，也可以包括一个或多个独立组件。本发明的计算机系统的硬件和软件组件可以包括诸如桌面计算机、膝上型计算机和服务器之类的固定和便携式设备以及可以包括在它们中。模块可以是设备、软件、程序或系统中用于实现某种“功能”的组件，它可以实现为软件、硬件、固件、电子电路等。

在优选实施例中，术语“用户”指示与系统交互的一个或多个人，术语“用户查询”指示用户提出的查询。但是可以构建其他实施例，其中术语“用户”指示通过机械手段产生查询的计算机系统，其中术语“用户查询”指示此类以机械方式产生的查询及。在此上下文中，“用户查询”可以是自然语言表达，形式语言表达或自然语言和形式语言表达的组合。对自动回答计算机产生的查询的需求开始产生，例如，在机械和电子设备诊断失败的环境下，其中失败的设备以最好的方式产生查询来修复问题，此类查询可由本发明中的系统根据从因特网收集的相关文本数据语料进行回答。之前已经公开了自动根据形式表示产生自然语言表达的方法，例如在编号为5,237,502和6,947,885的美国专利中公开，这两个专利的内容和公开在此纳入作为参考，就像在此完全列出一样，本领域的技术人员可使用这些内容创建自动发出“用户查询”的系统。类似地，在此类诊断案例中，系统可以询问阐述问题，例如查询某些额外的参数。

上述实施例为示例性实例，不应被视为本发明限于这些具体实施例。因此，在不偏离所附权利要求定义的本发明精神或范围的情况下，本领域的技术人员可以实施各种更改和修改。

Claims (25)

1.一种产生问题答案的方法，包括：

接收输入查询；

根据所述查询，在一个或多个数据源中执行搜索以识别所述输入查询的候选答案；

针对每个所述候选答案产生多个评分；

针对每个所述候选答案，从多个候选评分函数中选择一个；

将所述选择的一个候选评分函数应用于所述每个所述候选答案以根据所述每个候选答案的所述多个评分判定所述每个候选答案的候选答案分类评分；以及

根据所述候选答案的所述候选答案分类评分，选择一个或多个所述候选答案作为所述输入查询的一个或多个答案。

2.根据权利要求1的方法，其中所述选择一个所述候选评分函数包括根据所述输入查询选择一个所述候选评分函数。

3.根据权利要求1的方法，其中所述应用包括将所述同一所述候选评分函数应用于所有所述候选答案。

4.根据权利要求2的方法，其中：

所述执行搜索包括提取有关所述输入查询的已定义信息；以及

所述选择一个所述候选评分函数包括根据所述已定义信息选择一个所述候选评分函数。

5.根据权利要求4的方法，其中：

所述提取有关所述输入查询的信息包括提取所述查询的主题；以及

所述选择一个所述候选评分函数包括根据所述查询的所述主题选择一个所述候选评分函数。

6.根据权利要求1的方法，其中所述选择一个所述候选评分函数包括根据所述每个候选答案选择一个所述候选评分函数。

7.根据权利要求6的方法，其中：

所述针对每个所述候选答案产生多个评分包括提取有关每个所述候选答案的已定义信息；以及

所述选择一个所述候选评分函数包括根据所述提取的已定义信息选择一个所述候选积分函数。

8.根据权利要求7的方法，其中所述提取的已定义信息是所述每个候选答案的固有信息。

9.根据权利要求7的方法，其中：

所述每个候选答案具有已定义上下文；以及

所述提取的已定义信息基于所述每个候选答案的所述上下文。

10.根据权利要求1的方法，其中所述将所述选择的候选评分函数应用于所述每个所述候选答案由包括一个或多个执行所述选择的候选评分函数的处理单元的计算机系统执行。

11.一种产生问题答案的系统，包括：

计算机设备，所述计算机设备包括至少一个不同的软件模块，每个不同的软件模块包含在有形的计算机可读介质中；存储器；以及至少一个与所述存储器相连并可通过运行执行以下步骤的处理器：

接收输入查询；

根据所述查询，在一个或多个数据源中执行搜索以识别所述输入查询的候选答案；

针对每个所述候选答案产生多个评分；

针对每个所述候选答案，从多个候选评分函数中选择一个；

将所述选择的一个所述候选评分函数应用于所述每个所述候选答案以根据所述每个候选答案的所述多个评分判定所述每个候选答案的候选答案分类评分；以及

根据所述候选答案的所述候选答案分类评分，选择一个或多个所述候选答案作为所述输入查询的一个或多个答案。

12.根据权利要求11的系统，其中所述选择的一个所述候选评分函数根据所述输入查询来选择。

13.根据权利要求12的系统，其中：

所述执行搜索包括提取有关所述输入查询的已定义信息；以及

所述选择的一个所述候选评分函数根据所述已定义信息来选择。

14.根据权利要求11的系统，其中所述选择的一个所述候选评分函数根据所述每个候选答案来选择。

15.根据权利要求14的系统，其中：

所述针对每个所述候选答案产生多个评分包括提取有关每个所述候选答案的已定义信息；以及

所述选择的一个所述候选评分函数根据所述提取的已定义信息选择。

16.一种制造品，包括：

至少一个有形的计算机可读介质，具有产生问题答案的计算机可读程序代码逻辑，所述计算机可读程序代码逻辑当被执行时，执行以下步骤：

接收输入查询；

根据所述查询，在一个或多个数据源中执行搜索以识别所述输入查询的候选答案；

针对每个所述候选答案产生多个评分；

针对每个所述候选答案，从多个候选评分函数中选择一个；

将所述选择的一个所述候选评分函数应用于所述每个所述候选答案以根据所述每个候选答案的所述多个评分判定所述每个候选答案的候选答案分类评分；以及

根据所述候选答案的所述候选答案分类评分，选择一个或多个所述候选答案作为所述输入查询的一个或多个答案。

17.根据权利要求16的制造品，其中所述选择的一个所述候选评分函数根据所述输入查询来选择。

18.根据权利要求16的制造品，其中：

所述执行搜索包括提取有关所述输入查询的已定义信息；以及

所述选择的一个所述候选评分函数根据所述已定义信息来选择。

19.根据权利要求16的制造品，其中所述选择的一个所述候选评分函数根据所述每个候选答案来选择。

20.根据权利要求19的制造品，其中：

所述针对每个所述候选答案产生多个评分包括提取有关每个所述候选答案的已定义信息；以及

所述选择的一个所述候选评分函数根据所述提取的已定义信息来选择。

21.一种产生问题答案的方法，包括：

接收多个输入查询；

针对每个查询，根据所述每个查询在一个或多个数据源中执行搜索以识别所述每个查询的候选答案；

针对每个所述候选答案产生多个评分；

针对每个所述候选答案，从多个候选评分函数中选择一个；

将所述选择的一个所述候选评分函数应用于所述每个所述候选答案以根据所述每个候选答案的所述多个评分判定所述每个候选答案的候选答案分类评分；以及

根据所述候选答案的所述候选答案分类评分，选择一个或多个所述候选答案作为所述输入查询的一个或多个答案；并且其中：

针对某些所述输入查询的所述候选答案，所述选择一个所述候选评分函数包括根据所述输入查询选择一个所述候选评分函数；以及

针对另一些所述输入查询的所述候选答案，所述选择一个所述候选评分函数包括根据所述每个候选答案选择一个所述候选评分函数。

22.根据权利要求21的方法，其中：

所述执行搜索包括提取有关所述输入查询的已定义信息；以及

所述根据所述输入查询选择一个所述候选评分函数包括根据所述已定义信息选择一个所述候选评分函数；

所述针对每个所述候选答案产生多个评分包括提取有关每个所述候选答案的已定义信息；以及

所述根据所述候选答案选择一个所述候选评分函数包括根据所述提取的已定义信息选择一个所述候选评分函数。

23.根据权利要求22的方法，其中：

所述提取有关所述输入查询的信息包括提取所述查询的主题；

所述根据所述提取的信息选择一个所述候选评分函数包括根据所述查询的所述主题选择一个所述候选评分函数；以及

所述将所述选择的候选排序函数应用于所述每个所述候选答案由包括一个或多个执行所述选择的候选排序函数的处理单元的计算机系统来执行。

24.一种产生问题答案的系统，包括：

计算机设备，所述计算机设备包括至少一个不同的软件模块，每个不同的软件模块包含在有形的计算机可读介质中；存储器；以及至少一个与所述存储器相连并可通过运行执行以下步骤的处理器：

接收多个输入查询；

针对每个查询，根据所述每个查询在一个或多个数据源中执行搜索以识别所述每个查询的候选答案；

针对每个所述候选答案产生多个评分；

针对每个所述候选答案，从多个候选评分函数中选择一个；

将所述选择的一个所述候选评分函数应用于所述每个所述候选答案以根据所述每个候选答案的所述多个评分判定所述每个候选答案的候选答案分类评分；以及

根据所述候选答案的所述候选答案分类评分，选择一个或多个所述候选答案作为所述输入查询的一个或多个答案；并且其中：

针对某些所述输入查询的所述候选答案，所述选择一个所述候选评分函数包括根据所述输入查询选择一个所述候选评分函数；以及

针对另一些所述输入查询的所述候选答案，所述选择一个所述候选评分函数包括根据所述每个候选答案选择一个所述候选评分函数。

25.根据权利要求24的系统，其中：

提取有关所述输入查询的已定义信息；以及

所述根据所述输入查询选择的一个所述候选评分函数根据所述已定义信息来选择；

提取有关每个所述候选答案的已定义信息；以及

所述根据所述候选答案选择的一个所述候选评分函数根据所述提取的有关所述候选答案的已定义信息来选择。

Images