CN100533472C - 信息呈现方法和信息呈现系统 - Google Patents

Abstract

信息呈现方法利用图像输入装置对物体进行成像，并在显示画面中的物体上或显示画面中的物体周围显示对应于该物体的关联信息。物体的关联信息是由在物体上或物体周围排列的多个二维标志的表示内容来表示的。该多个二维标志属于多个信息序列中的任何一个。

Description

信息呈现方法和信息呈现系统

技术领域

本发明涉及使用标志(marker)的信息呈现方法和信息呈现系统。

背景技术

作为一种针对真实世界物体和/或预定标志呈现预设关联信息的信息呈现设备，通常公知的有条形码阅读器。其中，提供了这样一种设备，其通过使用物体的空间信息和/或预定标志来呈现信息。例如，在日本特开No.2000-82107中公开了，通过使用摄像机读取呼叫卡上印刷的二维代码，根据计算机中的程序分析ID，接着在计算机的显示器上显示与该ID相对应的人的面部照片，就好像它位于呼叫卡上的二维代码旁边。图7示出在上面的公报中公开的显示的一个示例，1指示呼叫卡，2指示二维代码，3指示计算机显示器，而4指示面部照片。

条形码阅读器通过例如在正确识别了预定条形码时发声，来通知操作者识别成功或者识别失败。一般地说，因为条形码阅读器在一旦识别出物体时就实现“读取信息并呈现其所指的信息”的目的，所以如果提供发声等的功能，就可以无失败地通知操作者该目的的达成状态。

另一方面，对于真实世界物体和/或预定标志，在对其空间位置信息进行分析并输出预设关联信息的信息呈现设备中，一次识别一个物体和一个预定标志是不够的，而是必需连续识别它们并且连续输出预设关联信息。因为分析了空间位置信息并呈现了关联信息，从而例如即使信息呈现设备与物体及预定标志之间的位置关系随时间改变，也必需继续始终并自适应地呈现正确信息。

此外，在条形码的情况下，在通过使用超市的登记器等中的激光束来扫描物品时，可以以相对高的精度来识别标志ID，但是在很多情况下使用字符、图案、图标等作为ID，以便使得不但可由机械装置而且可由人来识别标志。

因为它们经受了由图像输入装置进行的识别过程，而非由激光扫描进行的识别过程，所以如果设置很多标志，将增加标志之间的错误识别率。

日本特开No.2000-82107中公开的设备是这样一种信息呈现设备，其通过输入预定标志的图像，分析其空间位置信息并识别表示的ID来输出预设关联信息，但是应当明白，标志和预设信息是简单地按一一对应的关系设置的。因为使用空间位置信息来用于显示呼叫卡上的二维代码旁的照片，所以即使通过使用图像输入装置取得所述照片来设置很多标志(二维代码)，在许多情况下也可以获得一定程度的正确识别率。

然而，在设置了非常多(数目超过1000)的标志(二维代码)并且处理方的装置是诸如PDA的便携式终端的情况下，无法期望具有高精度的图像处理。当将标志用于工业用途时，如前所述在许多情况下使用字符或图案作为标志(二维代码)，而且增加了图像识别处理的错误识别率。

发明内容

本发明的一个目的是提供可以减少所用标志的数目并可降低错误识别率的信息呈现方法和信息呈现系统。

在这种情况下，不需要说明，在此使用的便携式信息终端是带有摄像机的便携式电话或所谓的笔记本型PC。

根据本发明的第一方面，提供一种信息呈现方法，由图像输入装置对物体进行拍摄，并在显示画面中的所述物体上或显示画面中的所述物体的周缘上显示对应于所述物体的关联信息，该信息呈现方法包括：

拍摄物体和由能够根据标志之间的组合指定所述物体的关联信息的多个二维标志组成的标志组，所述多个二维标志之间具有上、下位的层级关系，上位层级标志对物体进行粗略分类，通过下位层级标志可以指定与所述物体相关联的关联信息，所述标志组设置在所述物体上或所述物体的周缘上；

根据所述拍摄结果，检测所述多个二维标志；

检索由所述多个二维标志指定的所述物体的关联信息；

在显示画面内显示所述检索到的所述物体的关联信息。

根据本发明的第二方面，提供一种根据第一方面的信息呈现方法，还包括，显示所述检测出的多个二维标志中、所述上位层级的标志的信息序列。

根据本发明的第三方面，提供一种根据第一方面的信息呈现方法，其中，所述图像输入装置为便携式信息终端，还包括，利用所述检测出的多个二维标志中的所述下位层级标志，计算所述便携式信息终端的位置和朝向。

根据本发明的第四方面，提供一种根据第一方面的信息呈现方法，其中，所述标志组被设置成仅在预定物体场景、物体区域或物体时间段中是有效的。

根据本发明的第五方面，提供一种根据第一方面的信息呈现方法，其中，所述标志组包含一上位层级标志和一下位层级标志，而且在只检测到下位层级标志而未检测到上位层级标志时，对于信息呈现独立地使用该下位层级标志。

根据本发明的第六方面，提供一种根据第一方面的信息呈现方法，其中，在单一标志显示中包括多个信息序列。

根据本发明的第七方面，提供一种根据第一方面的信息呈现方法，其中，所述二维标志是由标志框架部分和指示该框架部分的内部部分和外部部分的框架周缘部分来构成的，该框架标志部分用于所述便携式信息终端的位置姿态检测，并且该框架周缘部分用于显示信息的形成。

根据本发明的第八方面，提供一种信息呈现系统，其对物体进行拍摄，并在显示画面中的所述物体上或显示画面中的所述物体的周缘上显示对应于所述物体的关联信息，该信息呈现系统包括：由能够通过标志之间的组合来指定物体的关联信息的多个二维标志组成的标志组，所述多个二维标志之间具有上、下位的层级关系，上位层级标志对物体进行粗略分类，通过下位层级标志可以指定与所述物体相关联的关联信息，所述标志组设置在所述物体上或所述物体的周缘上；

图像输入装置，其拍摄所述物体与标志组；

位置姿态测量装置，其基于由所述图像输入装置拍摄的拍摄图像，计算所述图像输入装置的位置和朝向；

标志检测部，其根据所述拍摄结果，检测所述多个二维标志；

关联信息获取部，其基于所述多个二维标志中的上位层级标志的粗略分类，取得由所述下位层级标志指定的所述物体的关联信息；

图像生成部，其根据由所述位置姿态测量装置计算出的所述图像输入装置的位置和朝向，在显示画面内将由所述下位层级标志指定的所述物体的关联信息和所述物体一起显示。

附图说明

图1是显示应用了本发明的信息呈现系统的示意构成的图；

图2是一流程图，其用于例示直到由本发明的信息呈现系统以叠加形式显示物体的关联信息为止的过程；

图3是用于例示二层标志的层级结构的一个具体示例的图；

图4是示出在将本发明应用到展览室或旅游场所时的二层标志的具体示例的图；

图5是用于例示三层标志的具体层级结构的图；

图6A和6B是示出其中在单一标志中包括多个信息序列的一个示例的图；以及

图7是用于例示常规信息呈现设备的一个示例的图。

具体实施方式

下面将描述本实施例的要点。可以拍摄标志，并且基于从该标志获得的信息，在同一画面中以叠加形式显示真实世界的物体和与该物体相关联的指定关联信息。在这种情况下，真实世界的物体是在真实世界中已经存在的某物体，例如，诸如建筑物或房屋的结构，诸如树等的自然物体，诸如信号、管道或家具的人造物体。

此外，假定标志指示对于信息呈现设备的输出而人工设置并由框架包围的各种代码信息项、数字、字符以及符号。然而，当对于信息呈现设备的输出将真实世界的物体自身登记为标志(界标)时，假定其可以被按相同方式作为标志进行处理。

具体地说，由预定形状的框架部分和包含在其内部或外部(周缘部分)中写入了的字符的符号或图案来构成标志。那么，该标志可以主要具有两个功能，这两个功能包括：位置姿态计算功能，通过图像输入装置对框架的形状进行拍摄，并基于其画面中的形状畸变来计算拍摄位置；和显示信息形成功能，对前面描述的字符、符号、图案以及代码信息进行识别，并对要通过使用预设用语或附加意义或读出希望信息以叠加形式显示的信息或程序进行解码。(当识别出不同信息序列的标志时，通过其组合来确定信息呈现内容。)

另外，有时希望显示很多物体和很多信息项。例如，在工厂等中，如果有100个或更多个站点按叠加方式提供显示，那么仅仅要求提供100种类型或更多类型的标志。然而，移动类型计算机的处理能力一般较低，其上安装的摄像机小且轻，而且其分辨率一般较低。在这样的系统环境下，确定超过100种类型的大量标志变得困难了，而且产生了错误识别率变高的问题。

此外，与使用用于在工厂等中的标识的横截面代码的标志相比，可以通过使用两个或更多数位的数字或字母数字混编字符由人增强标志的识别率，但是在这种情况下，产生了这样的问题，即，字符(例如，B和3或8，或者S和5)之间的错误识别率将变高。

因此，在本发明中，在向物体附加相关信息并以叠加形式显示其的系统中，所述物体的关联信息是由在所述物体或所述物体的周缘上设置的多个标志的表示内容来表示的，并且所述多个标志被设置成属于多个信息序列中的任何一个。即，按叠加方式最终显示的关联信息是由所述多个信息序列规定的。具体地说，在这种情况下，标志被设置成具有层级语义结构，首先通过对指示包含物体的概念范围或空间范围的上位层级的标志进行检测，来获取在该上位层级中的信息(序列)，接着设置下位层级的标志，以指定在检测到下位层级的标志时由所述上位层级指定的范围或域内的信息序列。利用这个配置，即使下位层级的标志是相同的，如果先前检测到的上位层级的标志不同，也从不同信息序列获得待指定或显示的内容，并且将其提供给要以叠加形式显示的显示系统。

换句话说，在本实施例中，将多种类型的标志分类为多个信息序列，通过使用所述多个信息序列的标志中的上位层级的标志，对一组物体进行粗略分类，通过使用下位层级的标志来指定并显示与单个物体相关联的关联信息项，使得可以显著地减少需要的标志数，并且可以降低标志的错误识别率。

例如，变得容易的是，通过使用工厂等中其上安装有摄像机的计算机终端识别上位层级标志来识别一区域，并且通过连续地识别下位层级标志，在上面的区域中按叠加方式，在与使用者所关注的物体同一画面中对应于该物体的位置处，显示与该物体相关联的信息。

在这种情况下，使用上位层级标志的信息序列作为ID，来指示关于分类的存在位置，例如，使用者所在的“房间”或“大规模设备的周围”，但是，对于标志，当然可以具有指示除“位置”之外的“使用者方向”的功能。

此外，如前面描述，标志具有位置姿态计算功能和显示信息形成功能，但是在这种情况下，考虑到标志被分类为层级形式，通过使用下位层级标志的位置姿态计算功能，而不为上位层级标志提供位置姿态计算功能，来检测输入装置的三维位置姿态。

接下来，参照附图详细说明本发明的实施例。图1是示出应用了本发明的信息呈现系统的示意构成的图，它包括：图像输入装置10，其拍摄并输入物体和标志(在这个示例中，为靠近物体设置的第一层级标志和下位层级标志)；图像处理装置20，其对输入的拍摄图像进行稍后将要描述的图像处理；上位层级对应信息数据库(DB)30a和下位层级对应信息数据库(DB)30b，在图像处理装置20搜索物体的关联信息时使用；以及图像信息显示装置40，使用其显示由图像处理装置20形成的图像信息。

图像处理装置20包括标志检测部20a、位置姿态估计部20b、视场内坐标计算部20c、关联信息获取部20d，以及叠加图像形成部20e。此外，在上位层级对应信息数据库(DB)30a中，存储了与上位层级标志组相关联的信息，并且，例如，针对各上位层级标志存储了链接数据(下位层级信息序列的指定)，该链接数据指示下位层级对应信息DB的链接目的地。此外，在下位层级对应信息DB30b中，存储了与下位层级标志组相关联的信息，并且，例如，针对来自各上位层级标志的各链接目的地存储一信息序列，在该信息序列中，将下位层级标志设置成与物体的关联信息项相对应。

在本实施例中，将上位层级对应信息和下位层级对应信息存储在不同的DB中，但是，也可以将上位层级对应信息项和下位层级对应信息项存储在一个DB中。

在上面描述的系统构成中，首先，由图像输入装置10对标志进行拍摄，接着将其输入到图像处理装置20。图像处理装置20的标志检测部20a通过检测输入标志的特征点来识别针对上位层级标志和下位层级标志中的每一个的标志类型。关联信息获取部20d通过参照上位层级对应信息DB 30a来搜索识别出的上位层级标志在下位层级DB 30b中的链接目的地。接下来，关联信息获取部20d通过参照下位层级对应信息DB 30b在搜索到的链接目的地中搜索下位层级标志，获取对应的关联信息，并将其提供到叠加图像形成部20c。

另一方面，还将标志检测部20a中的标志识别结果输入到位置姿态估计部20b，并且估计了图像输入装置10的位置和指向。视场内坐标计算部20c基于位置姿态估计部20b中的估计结果计算用来确定画面中的显示关联信息的位置，并将其提供给叠加图像形成部20c。

叠加图像形成部20c在从图像输入装置10输入的物体图像上，叠加来自关联信息获取部20d的关联信息，以形成叠加图像。所形成的叠加图像由图像信息显示装置40来显示。

图2是用于例示直到由本实施例的信息呈现系统以叠加形式显示物体的关联信息为止的过程的流程图。

首先，由图像处理装置20中的标志检测部20a检测输入的上位层级标志(步骤S1)。接下来，关联信息获取部20d通过参照上位层级对应信息DB 30a(或上位层级对应信息的地址DB 30a’)，搜索与上位层级标志相对应的信息序列(步骤S2)。

接下来，在需要时以叠加方式显示与检测到的上位层级标志相对应的信息序列(步骤S2-1)。接着，通过使用图像处理装置20的标志检测部20a来检测输入的下位层级标志(步骤S3)。接下来，基于下位层级对应信息DB 30b，搜索与检测到的下位层级标志相对应的关联信息(步骤S4)。与此并行地，基于检测到的下位层级标志的框架部分的图像，计算图像输入装置10的三维位置和姿态(步骤S5)。接着，根据图像输入装置10的三维位置和姿态，由图像信息显示装置40一起显示由下位层级标志指定的关联信息与物体(步骤S6)。

图3是用于例示两层标志的层级结构的一个具体示例的图。由W、Y、Z的字母数字混编字符100a、图案100b以及二维条形码100c构成的信息序列来构成上位层级标志100。此外，由11、12、13的字母数字混编字符200a和图案200b构成的信息序列来构成下位层级标志200。此外，作为上位层级标志100中的一个的“W”，和作为上位层级标志100中的另一个的“X”，与同一下位层级标志200相对应。

根据上面的层级结构，考虑下列情况，即在检测到了上位层级标志100中的字母数字混编字符“W”之后检测到下位层级标志200中的字母数字混编字符“11”，和在检测到了上位层级标志100中的字母数字混编字符“X”之后检测到下位层级标志200中的字母数字混编字符“11”，此时，尽管下位层级中检测到的每个标志都是字母数字混编字符“11”，但是因为上位层级中的标志不同，所以对应于字母数字混编字符“11”可以设置不同的关联信息项。

此外，在检测到下位层级标志而没有检测到上位层级标志的情况下，假定显示与下位层级标志相对应的信息序列。

图4是示出在将本发明应用到展览室或游览场所(信息传送库)时的两层标志的具体示例的图。作为上位层级标志600，显示了指定信息传送区域的区域标志，如车站广场区域600a、“Yumeji”纪念物区域600b、“Tsubakimoto Hana”居住区域600c等。作为下位层级标志700，显示了作为用来确定待传送信息的内容标志的字母数字混编标志A1、B1、C1、D1、E1、F1、G1。在这种情况下，即使下位层级标志700中的标志保持相同，也可通过使上位层级标志600不同，来传送不同内容。

此外，具体地说，可以通过在限制时间或限制地区(区域)中调节与下位层级标志相对应的DB信息，增加显示中的变化数。

图5是用于例示三层标志的具体层级结构的图。在两层标志的情况下，使用上位层级标志项和下位层级标志项，但是在三层标志中，使用第一层级标志项、第二层级标志项以及第三层级标志项。

第一层级标志300是表示位置、房间等的字母数字混编标志，并且在图中，“A1”表示展览室300a，“B1”表示厅300b，“C1”表示机械室300c，“D1”表示图书馆300d。

各种类型的第二层级被设置成与各第一层级标志相对应，但是在图5中，只显示了与展览室300a相对应的第二层级标志。作为表示展览室300a中的展览地点和储存位置的字母数字混编标志，“33”表示柜A(400a)，“34”表示柜B(400b)，“35”表示架子1(400c)，“36”表示架子2(400d)。

第三层级标志被设置成与各相应的第二层级标志相对应，但是在图5中，只显示了针对柜A(400a)的第三层级标志。作为表示各展览物品的图案标志，在图中示出了图案标志500a、500b、500c。相应的图案标志500a、500b、500c对应于作为物体501a的“人造花”、作为物体501b的“标本动物1”以及作为物体501c的“标本动物3”。

图6A和6B是示出其中在单一标志中包含多个信息序列的一个示例的图。图中示出的两个标志800由标志框架部分800a、框架内部部分800c以及框架外部部分800b构成，并具有框架内部部分800c中的信息序列900，和框架外部部分800b中的信息序列901、902。在这种情况下，该两个标志800的框架内部部分800c的信息序列900是相同的，但是，通过使框架外部部分800b的信息序列901、902不同(在这种情况下，通过使信息序列901的颜色不同并使信息序列902的位置不同)，可以显示不同的关联信息项。在这种情况下，可将框架内部部分800c的信息序列900和框架外部部分800b的信息序列901、902中的希望一个设置在上位层级标志(或下位层级标志)中。

可以设置标志使其仅在预定物体场景、物体区域或物体时间段中变得有效。当在下位层级标志中设置便利连锁店等的标志牌时，可以不对上位层级进行识别地设置要显示的公共信息。

根据上面描述的实施例，可以显著减少用来以叠加方式显示关联信息项的标志的数目，从而，可以减小错误识别率。例如，假定在诸如大型工厂、大型购物中心等的设施中设置有至少300个信息呈现点。在信息序列被设置成对应于每一标志并且标志不具有层级结构时，必然需要300种类型的标志。

然而，当通过使用两个或三个数位的字母数字混编字符进行标志表示时，往往在相似数字之间产生错误识别。此外，对于图像输入装置、照明环境以及识别确定步骤的设置，需要花费大量工作，以便减少错误识别，从而成为成本增加的因素。此外，在便携式信息终端中，根据其机器电力来判断，极难在50或更多个图案标志之间进行区分。

然而，根据如上所述按层级形式形成标志，可以显著地减少所用标志的数目。例如，当通过使用八个区域的标志作为第一层级标志、八个地区的标志作为第二层级标志，并使用六个地点的标志作为第三层级标志来形成层级结构时，通过使用8+8+6＝22个标志，可以获得8×8×6＝378个地点的信息呈现地点。

工业实用性

根据本发明，可以减少所用标志的数目，而且可以显著地降低错误识别率。

Claims (8)

1、一种信息呈现方法，由图像输入装置对物体进行拍摄，并在显示画面中的所述物体上或显示画面中的所述物体的周缘上显示对应于所述物体的关联信息，该信息呈现方法包括：

拍摄物体和由能够根据标志之间的组合指定所述物体的关联信息的多个二维标志组成的标志组，所述多个二维标志之间具有上、下位的层级关系，上位层级标志对物体进行粗略分类，通过下位层级标志指定与所述物体相关联的关联信息，

所述标志组设置在所述物体上或所述物体的周缘上；

根据所述拍摄结果，检测所述多个二维标志；

检索由所述多个二维标志指定的所述物体的关联信息；

在显示画面内显示所述检索到的所述物体的关联信息。

2、根据权利要求1所述的信息呈现方法，还包括，显示所述检测出的多个二维标志中、所述上位层级的标志的信息序列。

3、根据权利要求1所述的信息呈现方法，其中，所述图像输入装置为便携式信息终端，还包括，利用所述检测出的多个二维标志中的所述下位层级标志，计算所述便携式信息终端的位置和朝向。

4、根据权利要求1所述的信息呈现方法，其中，所述标志组被设置成仅在预定物体场景、物体区域或物体时间段中是有效的。

5、根据权利要求1所述的信息呈现方法，其中，所述标志组包含一上位层级标志和一下位层级标志，而且在只检测到下位层级标志而未检测到上位层级标志时，对于信息呈现独立地使用该下位层级标志。

6、根据权利要求1所述的信息呈现方法，其中，在单一标志显示中包含多个信息序列。

7、根据权利要求1所述的信息呈现方法，其中，所述二维标志是由标志框架部分和指示该框架部分的内部部分和外部部分的框架周缘部分来构成的，该标志框架部分用于所述便携式信息终端的位置姿态检测，并且该框架周缘部分用于显示信息的形成。

8、一种信息呈现系统，其对物体进行拍摄，并在显示画面中的所述物体上或显示画面中的所述物体的周缘上显示对应于所述物体的关联信息，该信息呈现系统包括：

由能够通过标志之间的组合来指定物体的关联信息的多个二维标志组成的标志组，所述多个二维标志之间具有上、下位的层级关系，上位层级标志对物体进行粗略分类，通过下位层级标志指定与所述物体相关联的关联信息，所述标志组设置在所述物体上或所述物体的周缘上；

图像输入装置，其拍摄所述物体与标志组；

位置姿态测量装置，其基于由所述图像输入装置拍摄的拍摄图像，计算所述图像输入装置的位置和朝向；

标志检测部，其根据所述拍摄结果，检测所述多个二维标志；

关联信息获取部，其基于所述多个二维标志中的所述上位层级标志的粗略分类，取得由所述下位层级标志指定的所述物体的关联信息；

图像生成部，其根据由所述位置姿态测量装置计算出的所述图像输入装置的位置和朝向，在显示画面内将由所述下位层级标志指定的所述物体的关联信息和所述物体一起显示。

Images