CN102037476B - 用于印刷资料的解耦合应用 - Google Patents
用于印刷资料的解耦合应用 Download PDFInfo
- Publication number
- CN102037476B CN102037476B CN200980117878.0A CN200980117878A CN102037476B CN 102037476 B CN102037476 B CN 102037476B CN 200980117878 A CN200980117878 A CN 200980117878A CN 102037476 B CN102037476 B CN 102037476B
- Authority
- CN
- China
- Prior art keywords
- smart pen
- application
- printed material
- dot pattern
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000463 material Substances 0.000 title claims abstract description 90
- 230000002452 interceptive effect Effects 0.000 claims abstract description 24
- 238000004590 computer program Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 claims 7
- 230000002596 correlated effect Effects 0.000 claims 2
- 238000003384 imaging method Methods 0.000 description 21
- 239000003550 marker Substances 0.000 description 14
- 238000007639 printing Methods 0.000 description 11
- 238000003032 molecular docking Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013481 data capture Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 229910002804 graphite Inorganic materials 0.000 description 1
- 239000010439 graphite Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
使用运行于智能笔计算系统上的应用来提供针对印刷资料的交互数字内容。该应用和该印刷资料可以由独立的实体开发,但是从智能笔计算系统的用户看来,它们良好集成。获取由第一实体产生的印刷内容。该印刷内容与点模式相关联。由单独的第二实体产生与该印刷内容相关联且与该点模式相联系的应用。该应用包括计算机程序指令,用于响应于在该点模式内的选择,调用与该印刷内容相关的功能。在点模式内的选择可以使用智能笔设备做出,而功能可以包括通过智能笔设备的输出设备(例如,显示器或扬声器)向用户呈现输出。
Description
相关申请的交叉参考
本申请要求2008年4月3日递交的美国临时申请No.61/042,235的权益,通过参考而将其整体并入。
技术领域
本发明总体上涉及基于笔的计算系统,并且更具体地,涉及为与基于笔的计算系统一起使用的印刷资料开发交互内容。
背景技术
诸如书籍、杂志、地图和其他参考资料的印刷资料通常是不可交互的。可以通过增加交互数字内容来增强这些资料,该交互数字内容使得这些资料更具教育意义、更令人愉悦和/或更有吸引力。例如,可以用数字内容来增强印刷的世界地图,以使得用户能够在该地图上选择国家,以及能够向该用户呈现描述该国家的数字文本或音频。
典型地,在印刷资料已经利用数字内容进行了增强或与之进行了结合的系统中,将特别地和/或有意地将印刷资料和数字内容设计为可以一起工作。通常,印刷资料和数字内容经常由同一实体或者协作的实体所创建。然而,创建印刷资料所需要的技术和资源通常不同于创建交互数字内容所需要的技术和资源。而且,通常难以向没有特别地和/或有意地针对数字内容进行设计的印刷资料添加数字内容。另外,交互数字内容的开发者可能不具有针对感兴趣印刷资料的法律权利,但是这些开发者可能能够向印刷资料添加巨大的价值。
因此,需要允许针对印刷资料开发交互数字内容的技术,其中该数字内容与该印刷资料是解耦合的。
发明内容
本发明的实施方式呈现了一种通过使用执行于智能笔计算系统上的应用来提供针对印刷资料的交互数字内容的新方法。应用与同该应用一起使用的印刷资料解耦合,因为该应用和印刷资料可以分别进行开发。尽管应用与印刷资料是分别开发的,但是从智能笔计算系统的用户看来,应用可以与印刷资料很好地集成。
在一个实施方式中,获取由第一实体产生的印刷内容。这种印刷内容与点模式相关联。点模式可以覆盖在印刷内容上。单独的第二实体产生与该印刷内容相关联的且与该点模式联系的应用。该应用包括存储有可执行计算机程序指令的计算机可读介质,用于响应于在该点模式内的选择,调用与该印刷内容相关的功能。在点模式内的选择是使用数字笔设备做出的,而功能则包括通过数字笔设备的输出设备(例如,显示器或扬声器)向用户呈现输出。在一个实施方式中,多个不同应用可以与特定印刷内容相关联。可以由用户选择与印刷内容一起使用的具体应用。
附图说明
图1为根据本发明一个实施方式的基于笔的计算系统的示意图。
图2为根据本发明一个实施方式的在该基于笔的计算系统中使用的智能笔的示意图。
图3示出了使用智能笔计算系统中的应用来提供针对印刷资料的交互数字内容的方法的实施方式。
图4示出了用于提供针对印刷资料的交互数字内容的应用的过程的实施方式。
图5示出了覆盖有点模式的印刷资料的示例。
描述本发明各种实施方式的附图仅用于说明目的。本领域技术人员根据下列讨论容易理解,可以在不脱离这里描述的本发明原理的前提下,采用这里说明的方法和结构的备选实施方式。
具体实施方式
基于笔的计算系统的概述
本发明的实施方式可以实施在基于笔的计算系统的各种实施方式中,以及其他计算系统和/或记录系统中。在图1中示出了基于笔的计算系统的一个实施方式。在这个实施方式中,基于笔的计算系统包括书写表面50、智能笔100、插接站(docking station)110、客户端系统120、网络130以及web服务系统140。智能笔100包括板上处理能力以及输入/输出功能,从而允许基于笔的计算系统将传统计算系统中基于屏幕的交互扩展到用户能够书写的其他表面。例如,智能笔100可以用于捕获书写的电子表征以及在书写期间记录音频,而且智能笔100还可以能够向用户输出视觉信息和音频信息。利用智能笔100上用于各种应用的适当软件,基于笔的计算系统由此向用户提供了用于与电子领域和纸张领域二者中的软件程序和计算服务进行交互的新平台。
在基于笔的计算系统中,智能笔100为计算系统提供输入和输出能力,而且执行该系统的部分或全部计算功能。因此,智能笔100支持用户使用多个模态来与基于笔的计算系统进行交互。在一个实施方式中,智能笔100利用多个模态(例如,捕获用户的书写或其他手势或者记录音频)接收来自用户的输入,并使用各种模态(例如显示视觉信息或播放音频)向用户提供输出。在其他实施方式中,智能笔100包括诸如运动感测或姿势捕获的附加输入模态,和/或诸如振动反馈的附加输出模态。
在图2中示出了智能笔100的一个特定实施方式的组件,在下文中对其进行更详细描述。虽然智能笔100的整体形状可以存在某些变化以适应该笔的其他功能,或者甚至可以是交互多模态的非书写工具,但是智能笔100优选地具有充分形似于笔或其他书写工具的形状因数。例如,智能笔100可以比标准笔略厚,从而使其可以容纳附加组件,或者智能笔100除了具有形成笔形形状因数的结构特征之外,还可以具有附加结构特征(例如,平板显示器)。另外,智能笔100还可以包括用户能够借以向智能笔计算系统提供输入或命令的任何机构,或者可以包括用户能够借由其从智能笔计算系统接收或者以其他方式观察信息的任何机构。
智能笔100被设计用于与书写表面50一起工作,从而使智能笔100能够捕获在书写表面50上产生的书写。在一个实施方式中,书写表面50包括纸张(或能够在其上书写的任何其他合适材料),而且利用能够被智能笔100阅读的模式进行编码。这种书写表面50的一个例子是所谓的“点使能纸”,其可从瑞典的Anoto集团AB(马萨诸塞州沃尔瑟姆的Anoto本地子公司)获得,在美国专利No.7,175,095中进行了描述,这里通过参考将其并入。这种点使能纸具有编码在纸张上的点模式。设计用于与这种点使能纸一起工作的智能笔100包括成像系统以及能够确定智能笔的书写端相对于已编码点模式的位置的处理器。智能笔100的位置可以使用预定义“点空间”中的坐标来参考,而且该坐标既可以是局部的(例如,在书写表面50的页内部的位置)也可以是绝对的(例如,在书写表面50的多页中的唯一位置)。
在其他实施方式中,可以使用除已编码纸张以外的机构来实现书写表面50,以允许智能笔100捕获姿势和其他书写输入。例如,书写表面可以包括对智能笔100所做出的书写进行检测的输入板或其他电子介质。在另一实施方式中,书写表面50包括电子纸张,或称e纸张。可以完全由书写表面50或者由书写表面50结合智能笔100来执行该检测。即使书写表面50的角色仅仅是被动的(如已编码纸张的情形),但可以意识到,智能笔100的设计通常也将取决于基于笔的计算系统针对其进行设计的书写表面50的类型。而且,书写的内容可以机械式(例如,使用智能笔100在纸张上着墨)、电子式(例如,在书写表面50上显示)显示在书写表面50上,或者根本不显示(例如,仅仅保存在存储器中)。在另一实施方式中,智能笔100配备有用于对笔端的移动进行检测的传感器,从而在完全不需要书写表面50的情况下便能够检测书写姿势。这些技术中的任何一个都可以用于并入到智能笔100中的姿势捕获系统。
在各种实施方式中,为了基于笔的计算系统的各种有用应用,智能笔100可以与诸如个人计算机之类的通用计算系统120进行通信。例如,由智能笔100捕获的内容可以传输到计算系统120,以供该系统120进一步使用。例如,计算系统120可以包括允许用户存储、访问、查看、删除或者以其他方式来管理由智能笔100获取的信息的管理软件。将智能笔100获取的数据下载到计算系统120还释放了智能笔100的资源,从而使其能够获取更多数据。反过来,也可以将内容从计算系统120向回传送给智能笔100。除了数据之外,计算系统120提供到智能笔100的内容还可以包括可由智能笔100执行的软件应用。
智能笔100可以经由包括有线通信和无线通信的许多已知通信机制中的任何机制来与计算系统120通信。在一个实施方式中,基于笔的计算系统包括耦合到计算系统的插接站110。插接站110在机械上和电子上配置用于容纳智能笔100,而且当智能笔100被插接时,插接站110可以支持计算系统120和智能笔100之间的电子通信。插接站110还可以提供电功率,以向智能笔100中的电池充电。
图2示出了在例如上述实施方式的基于笔的计算系统中使用的智能笔100的一个实施方式。在图2示出的实施方式中,智能笔100包括标记器205、成像系统210、落笔传感器215、一个或多个麦克风220、扬声器225、音频插头230、显示器235、I/O端口240、处理器245、板上存储器250和电池255。然而,应当理解,并非上述组件的全部都是智能笔100所必需的,而且这也不是智能笔100的所有实施方式的组件或上述组件的所有可能变体的穷举一览表。例如,智能笔100还可以包括诸如电源按钮或音频记录按钮之类的按钮和/或状态指示灯。而且,正如这里在说明书和权利要求中所使用的,除了明确记载的那些特征之外,术语“智能笔”并不表示笔设备具有这里针对特定实施方式而描述的任何特定特征或功能。智能笔可以具有少于这里描述的所有能力和子系统的任何组合。
标记器205支持将智能笔用作在任何适当表面上进行书写的传统书写装置。标记器205因此可以包括任何合适的标记机构,包括基于墨水或基于石墨的任何标记设备或可以用于书写的任何其他设备。在一个实施方式中,标记器205包括可更换的圆珠笔元件。标记器205耦合到落笔传感器215,例如压力传感元件。因此,当标记器205按压表面时,落笔传感器215产生输出,从而指示智能笔100在何时被用于在表面上进行书写。
成像系统210包括足够的光学器件和传感器,用于对标记器205附近的表面区域进行成像。成像系统210可以用于捕获用智能笔100做出的手写和姿势。例如,成像系统210可以包括红外线光源,其照亮标记器205附近的书写表面50,其中书写表面50包括已编码模式。通过处理已编码模式的图像,智能笔100可以确定相对于书写表面50标记器205处于何处。成像系统210的成像阵列随后对标记器205附近的表面进行成像,而且捕获已编码模式在其视场中的部分。由此,成像系统210允许智能笔100使用至少一个输入模态来接收数据,例如接收书写输入。包含用于查看书写表面50一部分的光学器件和电子器件的成像系统210仅仅是可以包含在智能笔100中的、用于电子地捕获利用该笔做出的任何书写姿势的一种类型的姿势捕获系统,而智能笔100的其他实施方式可以使用实现相同功能的任何其他恰当装置。
在一个实施方式中,成像系统210捕获的数据随后被处理,从而允许将诸如字符识别的一个或多个内容识别算法应用于接收的数据。在另一实施方式中,可以使用成像系统210来扫描和捕获已经存在于书写表面50上的书写内容(例如,不是使用智能笔100书写的)。成像系统210还可以与落笔传感器215结合使用,以确定标记器205何时接触书写表面50。随着标记器205在表面上移动,成像阵列捕获的模式发生变化,用户的手写因此可被智能笔100中的姿势捕获系统(例如,图2中的成像系统210)确定和捕获。这种技术还可以用于捕获姿势,诸如当用户在书写表面50的特定位置上敲击标记器205时,从而允许利用运动检测的其他输入模态的数据捕获或姿势捕获。
智能笔100上的另一数据捕获设备是一个或多个麦克风220,其允许智能笔100使用其他输入模态(音频捕获)来接收数据。麦克风220可以用于记录音频,这可以与上述手写捕获进行同步。在一个实施方式中,一个或多个麦克风220耦合到由处理器245或信号处理器(没有示出)执行的信号处理软件,该信号处理软件消除标记器205在书写表面上移动所产生的噪声和/或当智能笔100向下接触书写表面或从书写表面上移开时所产生的噪声。在一个实施方式中,处理器245对捕获的书写数据与捕获的音频数据进行同步。例如,在利用麦克风220记录会议的对话同时,用户做着还可以由智能笔100捕获的笔记。对记录的音频和捕获的手写进行同步允许智能笔100向用户对之前捕获数据的请求提供经协调的响应。例如,响应于用户请求,例如书写的命令、命令参数、用智能笔100做出的姿势、说出的命令或书写命令和说出命令的结合,智能笔100向用户提供音频输出以及视觉输出二者。智能笔100还可以向用户提供触觉反馈。
扬声器225、音频插头230和显示器235向智能笔100的用户提供输出,从而允许经由一个或多个输出模态来向该用户呈现数据。音频插头230可以与耳机耦合,与使用扬声器225不同,用户在不打扰周围人的情况下便能收听该音频输出。耳机还可以允许用户在立体声或利用空间特性进行了增强的全三维音频中收听该音频输出。因此,通过收听由扬声器225或音频插头230播放的音频,扬声器225和音频插头230允许用户使用输出模态的第一类型从智能笔接收数据。
显示器235可以包括用于提供视觉反馈的任何适当显示器系统,例如有机发光二极管(OLED)显示器,从而允许智能笔100通过在视觉上显示信息而使用第二输出模态来提供输出。在使用中,智能笔100可以使用这些输出组件中的任何一个来传达音频或视觉反馈,从而允许使用多个输出模态来提供数据。例如,扬声器225和音频插头230可以根据运行在智能笔100上的应用来传达音频反馈(例如,提示、命令和系统状态),而显示器235可以显示单词短语、静态或动态图像,或由这个应用所指导的提示。另外,扬声器225和音频插头230还可以用于播放已经使用麦克风220记录的音频数据。
如上所述,输入/输出(I/O)端口240允许在智能笔100和计算系统120之间的通信。在一个实施方式中,I/O端口240包括与插接站110上的电触点相对应的电触点,从而当智能笔100放置在插接站110中时,会产生用于数据传送的电气连接。在另一实施方式中,I/O端口240简单地包括用于容纳数据线缆的插头(例如,小型USB或微USB)。备选地,可以在智能笔100中用无线通信电路来代替I/O端口240,从而允许与计算系统120进行无线通信(例如,经由蓝牙、WiFi、红外或超声波)。
处理器245、板上存储器250和电池255(或任何其他合适的电源)支持在智能笔100上执行至少部分的计算功能。处理器245耦合到输入和输出设备以及上述其他组件,从而使得在智能笔100上运行的应用能够使用这些组件。在一个实施方式中,处理器245包括ARM9处理器,而且板上存储器250包括少量的随机访问存储器(RAM)和较大量的闪存或其他永久性存储器。结果,可以在智能笔100上存储和执行可执行应用,而且可以在智能笔100上存储记录的音频和手写,该存储可以是无限期的,也可以到从智能笔100上卸载到计算系统120中为止。例如,智能笔100可以本地存储一个或多个内容识别算法,例如字符识别或语音识别,从而允许智能笔100本地识别来自智能笔100所接收的一个或多个输入模态的输入。
在一个实施方式中,智能笔100还包括操作系统或者支持一个或多个输入模态(诸如手写捕获、音频捕获或姿势捕获)或输出模态(诸如音频回放或视觉数据的显示)的其他软件。操作系统或其他软件可以支持输入模态和输出模态的组合并对输入模态(例如,捕获书写的和/或说出的数据作为输入)和输出模态(例如,呈现音频或视觉数据作为对用户的输出)之间的组合、定序和转换进行管理。例如,输入模态和输出模态之间的这个转换允许用户在收听智能笔100播放的音频的同时,同步地在纸张或其他表面上书写,或者当用户在用智能笔100书写的同时,智能笔100还可以捕获用户说出的音频。输入模态和输出模态的各种其他组合也是可能的。
在一个实施方式中,处理器245和板上存储器250包括一个或多个可执行应用,其支持和启用菜单结构和在文件系统或应用菜单中的导航,从而允许启动应用或应用的功能。例如,菜单项目之间的导航包括在用户和智能笔100之间的对话,其涉及该用户口头的和/或书写的命令和/或姿势,以及来自智能笔计算系统的音频和/或视觉反馈。因此,智能笔100可以接收输入,以导航来自多种模态的菜单结构。
例如,书写姿势、说出的关键字或物理运动可以指示:随后的输入与一个或多个应用命令相关联。例如,用户可以连续两次快速按压智能笔100的表面,接着写单词或词组,例如“解决”、“发送”、“翻译”、“电子邮件”、“语音电子邮件”或其他预定义单词或词组,以触发与书写的单词或词组相关联的命令,或者接收同与预定单词或词组相关联的命令相关联的附加参数。这一输入可以具有空间分量(例如,并排的点)和/或时间分量(例如,一个点在另一个点之后)。因为可以通过不同的格式来提供这些“快速启动”命令,因此菜单的导航或应用的启动得以简化。在传统的写和/或读中,“快速启动”命令优选地易于辨别。
备选地,智能笔100还包括物理控制器,例如小型控制杆、滑块控件、跷板、电容性(或其他非机械式)表面或接收用于导航由智能笔100执行的应用或应用命令的菜单的输入的其他输入机制。
针对印刷资料的应用的概述
本发明的实施方式给出了一种通过使用执行于智能笔计算系统上的应用来提供针对印刷资料的交互数字内容的新方法。应用与同该应用一起使用的印刷资料解耦合,因为该应用和印刷资料可以分别进行开发。尽管应用与印刷资料是分别开发的,但是从智能笔计算系统的用户看来,应用可以和印刷资料很好地集成。
在一个实施方式中,用户接收诸如杂志或地图的印刷资料。印刷资料覆盖有点模式。点模式使得印刷资料能够由智能笔100识别,并且该点模式对用户而言几乎是透明的,从而其不会使印刷资料的外观降低品质。用户还将开发出来以便与特定印刷资料一起工作的一个或多个智能笔应用向智能笔计算系统下载。用户将智能笔100放置在印刷资料的特定位置上,智能笔通过成像系统210读取该位置处的点模式。基于点模式,智能笔100识别印刷资料并且确定与该印刷资料一起使用的一个或多个可用应用。用户选择特定可用应用,并且执行该应用,从而向用户提供了交互数字内容。在一个实施方式中,应用允许用户将智能笔100放置在印刷资料上的特定位置处并且接收与该位置相关联的信息。例如,这种附加信息可以由智能笔的显示器235或扬声器225呈现,或者可以由附接到智能笔的计算系统120呈现。
参照附图在下文中讨论本发明的各种实施方式。图1是用于提供针对印刷资料的交互数字内容的示意性结构框图。图1示出了点使能纸50和可以与纸50结合使用的智能笔100。下面描述的操作可以由在笔100的处理器上运行的应用执行,可以由在所附接的计算系统120上运行的应用执行,或者可以由以上两种应用的结合执行。在一个实施方式中,点使能纸50是覆盖有点模式的印刷资料。
图3示出了使用智能笔计算系统中的应用来提供针对印刷资料的交互数字内容的方法的实施方式。在这个方法中,将智能笔100的成像系统210定位在印刷资料50上的位置处。成像系统210接收300覆盖在印刷资料上的点模式。基于从成像系统210接收的点模式,智能笔识别302印刷资料。智能笔确定304针对识别的印刷资料的可用软件应用。这些应用可以存储在智能笔100上或者存储在所附接的计算系统120中,以及可以事先由用户下载或者以其他方式向用户提供。在一个实施方式中,当用户下载针对印刷资料的应用时,印刷资料的点模式也由智能笔100下载并存储起来,以便智能笔能够在后续时间基于点模式识别应用。
如果针对识别的印刷资料存在不止一个可用的应用,那么智能笔100可以提示306用户选择一个可用应用。例如,智能笔可以通过该智能笔的显示器或者扬声器向用户呈现该提示。作为响应,智能笔接收308用户针对应用的选择。然后,智能笔执行310选择的应用,从而向用户提供与印刷资料有关的交互数字内容。
在一个实施方式中,智能笔并不显式地提示用户选择可用应用。用户可以通过使用智能笔100做出姿势来选择应用,其中所做出的姿势由智能笔识别为对特定应用的选择。例如,用户可以使用智能笔100在覆盖特定印刷单词的点模式上向上一划,这会选择通过智能笔的扬声器用英语说出该单词的应用。用户可以使用智能笔100在相同单词上向下一划,以选择用中文说出该单词的应用。在一个实施方式中,向智能笔100的麦克风说出应用的名称。例如,用户说出“发音”,然后使用智能笔敲击(tap)印刷单词,从而引起发音应用通过智能笔的扬声器读出该单词的发音。取而代之地,用户可以通过说出“定义”以及敲击相同单词来听到该单词的定义。用于从用户接收针对应用的选择的各种其他方法是可能的。
图4示出了用于提供针对印刷资料的交互数字内容的应用方法的实施方式。在这个方法中,已经如图3示出的方式或者通过其他适合的方式识别出了特定的印刷资料和应用。应用被开发用于与印刷资料一起使用,并且具有与印刷资料相关联的点模式的知识。用户将智能笔100的成像系统210放置在覆盖有点模式的印刷资料的特定位置处。智能笔接收402在印刷资料内点模式的位置。智能笔基于特定应用来处理404该位置。例如,如果印刷资料是地图,那么智能笔可以确定与该位置相关联的具体的州或国家。智能笔基于所述处理来向用户提供406输出。继续上述示例,智能笔100可以在其显示器235上显示与具体的州或国家有关的信息。
图5示出了覆盖有点模式的印刷资料的示例。在图5中,印刷资料504是具体国家或地理区域的地图。其他印刷资料示例包括报纸、杂志、书籍和海报。可以在诸如纸或塑料的各种类型的介质上印刷地图,或者可以使用彩色或黑白方式来印刷地图。将覆盖点模式506添加到地图上。这个点模式可以是在印刷地图的同时印刷到地图上的,或者可以是在之前或者之后的单独印刷过程中添加进去的。点模式也可以例如使用透明胶片放置在地图之上。点模式由智能笔100识别,而当用户观看时,又不会明显降低印刷资料质量。
解耦合的应用
将智能笔应用和印刷资料解耦合可以通过令第一实体准备具有编码模式的印刷资料(也称为印刷内容)以及令第二实体(或任何数量的实体)开发具有数字交互内容的软件应用来实现,其中智能笔计算系统结合使用该数字交互内容和印刷资料。这一开发模型允许不同实体专注于其特定专业。而且,在具有解耦合应用的情况下,印刷资料的创建者可以允许第三方来开发有用的交互应用以便与印刷资料一起使用。虽然是单独开发的,但是从用户角度看来,印刷资料和数字内容是统一的产品。
在一个实施方式中,第一实体产生印刷资料,而且不是必须具有覆盖点模式。点模式可以以各种方式与印刷资料相关联。例如,第二实体可以在印刷内容上覆盖点模式,以及提供有关与其他实体的关联信息。在另一个示例中,部分印刷内容可以与各种没有覆盖点模式的片段相关联。可以做出点模式和印刷资料之间的各种关联,以及向开发应用的实体和用户发布关于这些关联的信息。
多个独立实体可以创建用于印刷资料单个项目的数字内容。在一个实施方式中,每个实体创建在智能笔100上运行的软件应用,其将执行上述图4示出的步骤。在一个示例中,已建立的大型地图公司印刷并分发覆盖有点模式的San Francisco Bay地区的高质量街道地图。地图公司还可以向第三方发布关于与地图相关联的点模式区域的信息。然后,感兴趣的第三方可以开发内容,当最终用户下载了该内容后,可以使得用户能够与地图交互,就如同整个产品来自同一公司。多个开发者或者单个开发者可以针对相同基础印刷资料创建不同的交互数字内容。
例如,一个开发者可以创建第一应用,其包括用于地图标记的音频接口,其中用户将智能笔放置在地图标记上,该智能笔将通过其扬声器产生该标记的音频输出。另一个开发者可以创建用于找路的第二应用程序,其中用户使用智能笔在两个点上敲击,该应用将告诉用户两点之间的距离以及从第一点到第二点的运动方向,或者沿从第一点到第二点的路的路线。该应用可以将该信息作为音频输出或者在智能笔的显示器上显示信息。另一开发者可以创建第三应用,其结合了上述两个应用的输出。例如,用户在地图的一个位置上敲击,然后再在另一个位置上敲击。第三应用将从第二应用接收行走方向,并且向第一应用提供这个信息以创建语音导航系统。
通过将印刷资料从软件应用解耦合,可能不拥有感兴趣印刷内容的权利的开发者仍然可以向其添加价值。原始印刷内容的所有者可能对鼓励软件开发者产生交互内容感兴趣,因为这样的内容增加了使各种消费者感兴趣的附加价值。
例如,发行量很大的周刊杂志可以在其所有页面上覆盖点模式,以及可以发布描述了点模式覆盖的区域和/或下层图片的说明。这使得第三方(例如,软件开发者)能够创建例如可以大声阅读页面、使广告可交互、可以为有挑战的单词提供定义、可以提供专家注释和可以提供外文语言翻译的应用。例如,用户可以使用智能笔100指点新故事(或者新故事的部分),然后听见音频的专家注释。用户可以将软件应用下载到智能笔,其提供了特定类型的注释(例如,来自保守党观点或者自由党观点)。通过使得软件开发者更容易访问其内容,杂志可以提供更能吸引有特定兴趣的读者,以及取得更大的竞争优势。
用户可以通过直接购买或者购买定期更新的订阅的方式来购买第三方交互内容。第三方内容可以提供为可下载到智能笔上(例如,通过运行在附接计算系统120上的web浏览器从网站下载)的软件应用。可以下载软件应用,并将其存储在智能笔上,或者在用户有需求时应要求下载,并且在事后擦除之以释放智能笔上存储设备的空间。
在一个实施方式中,一旦用户购买了交互内容,用户将使用智能笔来敲击印刷文档以便访问它。当用户在文档上敲击时,智能笔将从印刷资料接收300点模式,以及智能笔中的基础应用将运行,其搜索第三方应用的数据库以确定是否存在为该印刷文档编写的任何应用,如步骤304所示。这个基础应用通常存在于智能笔中,并且其能够通过分析接收到的点模式来识别感兴趣的印刷文档。在一个实施方式中,用户敲击包括可识别点模式的印刷文档的特定区域。如上文所提到,有可能存在与特定印刷文档相对应的多个应用。在这种情况下,将要求用户选择期望的应用,而这个选择将由智能笔接收308。
用于提供交互内容的软件应用可以与多于一个的印刷文档相关联。应用可以将印刷文档联系在一起,或者使协同使用文档变得容易。例如,用户可能拥有一本中央情报局(CIA)世界百科全书的副本,其中包括大量美国政府撰写的参考资料。用户可能还拥有由国家地理协会绘制的高分辨率挂墙地图。应用开发者可以产生应用,其使得用户能够通过在挂墙地图上敲击国家来访问来自CIA世界百科全书中的该国家的资料。
如上所述,为印刷资料提供解耦合应用的系统中涉及多个参与者。这些参与者包括基础印刷资料版权的所有者、应用的开发者、应用开发者可访问的原始信息的开发者(例如,音频剪辑或参考文本)和将多个应用特征合并的应用开发者。结果,对于为系统中涉及的任何参与者提供共享版税的方式是有用的。
总结
为了阐述目的,已经提供了本发明实施方式的上述描述;并不意指它是穷举的或将本发明限制到所公开的精确形式。相关领域的技术人员可以理解,根据上述公开的许多修改和变化是可能的。
本描述的一些部分就信息操作的符号化表征和算法方面描述了本发明的实施方式。这些算法描述和表征通常被数据处理领域的技术人员所使用,以将他们工作的实质有效地传递给该领域其他技术人员。虽然在功能上、计算上或逻辑上描述了这些操作,不过能够理解:可以由计算机程序或等同的电子电路、微代码等来实施这些操作。此外,已经证明的是,在不失一般性的前提下,将这些操作的布置作为模块进行参考有时是方便的。所描述的操作及其相关联的模块可以在软件、固件、硬件或其任意组合中被具体化。
可以利用一个或多个硬件或软件模块,单独或与其他设备相结合地执行或实施这里描述的任意步骤、操作或处理。在一个实施方式中,用包括计算机可读介质的计算机程序产品实施软件模块,该计算机可读介质包含可以被计算机处理器执行以实施描述的任何或全部步骤、操作或过程的计算机程序代码。
本发明实施方式还涉及用于执行这里的操作的装置。该装置可以针对所需目的而专门构建,和/或可以包括由存储在计算机中的计算机程序有选择地激活或重配置的通用计算设备。这种计算机程序可以存储在有形的计算机可读存储介质中,其可以包括适用于存储电子指令的任何类型的有形介质,并且每个存储介质都与计算机系统总线耦合。此外,说明书中所称的任何计算系统可以包括单个处理器或者可以是使用了用于提高计算能力的多处理器设计的架构。
本发明的实施方式还可以涉及包含在载波中的计算机数据信号,这些计算机数据信号包括计算机程序产品的任何实施方式或这里描述的其他数据结合。计算机数据信号是有形介质或载波中呈现的产品,而且被调制或者以其他方式编码在载波中,它是有形的而且根据任何恰当的传播方法被传播。
最后,说明书中使用的语言原则上是出于可读性和指导目的而选择的,而不是用来约束和限制本发明的主题。因此,期望本发明的范围不局限于这里的详细描述,而是基于在此申请所提出的任何权利要求。因此,本发明实施方式的公开意在说明,而非限定由所附权利要求记载的发明范围。
Claims (13)
1.一种制作针对印刷资料的交互数字内容的方法,包括:
获取由第一实体产生的印刷内容;
接收所述印刷内容与点模式的关联;以及
由一个或多个第二实体产生多个应用,其中产生应用包括定义与所述印刷内容相关联的功能,所定义的功能在所述点模式中的多个位置处可执行,所述应用中的至少两个应用定义在所述位置中的一个位置处可执行的不同的相应功能,并且所述应用包括可执行计算机程序指令,所述指令用于响应于用户在所述点模式内的所述位置中的一个位置处的选择而调用所定义的功能。
2.如权利要求1的方法,其中使用智能笔设备做出在所述点模式内的选择。
3.如权利要求1的方法,其中所述功能包括通过智能笔设备的输出设备向用户呈现输出。
4.如权利要求1的方法,其中所述功能的输出基于在所述点模式内的位置,所述位置是基于所述选择确定的。
5.如权利要求1的方法,其中所述印刷内容覆盖有可由智能笔设备读取的点模式。
6.如权利要求1的方法,其中所述计算机程序指令在智能笔设备中执行。
7.一种用于提供针对印刷内容的交互数字内容的方法,其包括:
接收覆盖在印刷资料上的点模式,所述接收由智能笔设备执行;
基于接收到的所述点模式来识别所述印刷资料;
确定与所识别的印刷资料一起使用的多个可用应用,每个应用被配置为调用与所识别的印刷资料相关的不同的相应功能,每个应用能够在所识别的印刷资料中的多个位置处执行其相应功能,所述可用应用中的至少两个可用应用在所述位置中的一个位置处执行不同的相应功能;
接收来自用户的针对所述多个可用应用中的特定可用应用的选择;以及
执行所述特定可用应用,所述执行包括在所识别的印刷资料中的所述位置中的一个位置处调用所选择的应用的功能。
8.如权利要求7的方法,其中将所述多个可用应用从所述可用应用的提供者向所述智能笔设备下载。
9.一种用于提供针对印刷内容的交互数字内容的设备,包括:
用于接收覆盖在印刷资料上的点模式的装置;
用于基于接收到的所述点模式来识别所述印刷资料的装置;
用于确定与所识别的印刷资料一起使用的多个可用应用的装置,每个应用被配置为调用与所识别的印刷资料相关的不同的相应功能,每个应用能够在所识别的印刷资料中的多个位置处执行其相应功能,所述可用应用中的至少两个可用应用在所述位置中的一个位置处执行不同的相应功能;
用于接收来自用户的针对所述多个可用应用中的特定可用应用的选择;以及
响应于接收到所述选择,用于在所识别的印刷资料中的一个所述位置处调用所选择的应用的功能的装置,其中所述印刷资料由第一实体产生,并且其中计算机可读介质由第二实体产生。
10.如权利要求9的设备,其中在所述点模式内的选择是使用智能笔设备做出的。
11.如权利要求9的设备,其中所述功能包括通过智能笔设备的输出设备向用户呈现输出。
12.如权利要求9的设备,其中所述功能的输出基于在所述点模式内的位置,所述位置是基于所述选择确定的。
13.如权利要求9的设备,其中所述印刷内容覆盖有可由智能笔设备读取的点模式。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US4223508P | 2008-04-03 | 2008-04-03 | |
US61/042,235 | 2008-04-03 | ||
PCT/US2009/039365 WO2009124218A2 (en) | 2008-04-03 | 2009-04-02 | Decoupled applications for printed materials |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102037476A CN102037476A (zh) | 2011-04-27 |
CN102037476B true CN102037476B (zh) | 2015-04-01 |
Family
ID=41136113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200980117878.0A Active CN102037476B (zh) | 2008-04-03 | 2009-04-02 | 用于印刷资料的解耦合应用 |
Country Status (8)
Country | Link |
---|---|
US (2) | US7810730B2 (zh) |
EP (1) | EP2277129A4 (zh) |
JP (1) | JP5524951B2 (zh) |
KR (1) | KR101971161B1 (zh) |
CN (1) | CN102037476B (zh) |
AU (1) | AU2009231671B2 (zh) |
CA (1) | CA2720565A1 (zh) |
WO (1) | WO2009124218A2 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8446298B2 (en) * | 2008-04-03 | 2013-05-21 | Livescribe, Inc. | Quick record function in a smart pen computing system |
US20110041052A1 (en) * | 2009-07-14 | 2011-02-17 | Zoomii, Inc. | Markup language-based authoring and runtime environment for interactive content platform |
US20110131061A1 (en) * | 2009-12-02 | 2011-06-02 | Joseph Shain | Hospital Patient Chart and Database |
US8723820B1 (en) * | 2011-02-16 | 2014-05-13 | Google Inc. | Methods and apparatus related to a haptic feedback drawing device |
US20120242567A1 (en) * | 2011-03-24 | 2012-09-27 | Smile Technology Co., Ltd. | Hand-held displaying device |
US9164598B2 (en) * | 2011-10-28 | 2015-10-20 | Atmel Corporation | Active stylus with surface-modification materials |
KR102348672B1 (ko) * | 2015-03-20 | 2022-01-10 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
IT201900018440A1 (it) * | 2019-10-10 | 2021-04-10 | M Pix Srl | Sistema e metodo per l’identificazione e la siglatura dei cablaggi elettrici negli armadi industriali |
US11380082B2 (en) | 2019-10-11 | 2022-07-05 | Samsung Electronics Co., Ltd. | Electronic device, method and non-transitory storage medium for optical character recognition |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1862471A (zh) * | 2005-11-01 | 2006-11-15 | 跳蛙企业股份有限公司 | 用来把用户笔迹和用户可写单元相关联的方法和设备 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7717344B2 (en) * | 1994-05-25 | 2010-05-18 | Marshall Feature Recognition, Llc | Method and apparatus for accessing electronic data via a familiar printed medium |
US6218964B1 (en) * | 1996-09-25 | 2001-04-17 | Christ G. Ellis | Mechanical and digital reading pen |
JP2000231627A (ja) * | 1998-12-22 | 2000-08-22 | Xerox Corp | フィードバック機構を備えた複数モード走査ペン及びこれを用いた入力方法 |
US7175095B2 (en) | 2001-09-13 | 2007-02-13 | Anoto Ab | Coding pattern |
US20040229195A1 (en) | 2003-03-18 | 2004-11-18 | Leapfrog Enterprises, Inc. | Scanning apparatus |
US20060033725A1 (en) | 2004-06-03 | 2006-02-16 | Leapfrog Enterprises, Inc. | User created interactive interface |
US20060067576A1 (en) | 2004-03-17 | 2006-03-30 | James Marggraff | Providing a user interface having interactive elements on a writable surface |
US20060078866A1 (en) | 2004-03-17 | 2006-04-13 | James Marggraff | System and method for identifying termination of data entry |
US20060077184A1 (en) * | 2004-03-17 | 2006-04-13 | James Marggraff | Methods and devices for retrieving and using information stored as a pattern on a surface |
US7453447B2 (en) | 2004-03-17 | 2008-11-18 | Leapfrog Enterprises, Inc. | Interactive apparatus with recording and playback capability usable with encoded writing medium |
US20060125805A1 (en) | 2004-03-17 | 2006-06-15 | James Marggraff | Method and system for conducting a transaction using recognized text |
US7831933B2 (en) | 2004-03-17 | 2010-11-09 | Leapfrog Enterprises, Inc. | Method and system for implementing a user interface for a device employing written graphical elements |
US20060066591A1 (en) | 2004-03-17 | 2006-03-30 | James Marggraff | Method and system for implementing a user interface for a device through recognized text and bounded areas |
US7853193B2 (en) | 2004-03-17 | 2010-12-14 | Leapfrog Enterprises, Inc. | Method and device for audibly instructing a user to interact with a function |
JP2006309354A (ja) * | 2005-04-26 | 2006-11-09 | Media Drive Corp | デジタルペン入力システム |
US20060283962A1 (en) * | 2005-06-20 | 2006-12-21 | Hewlett-Packard Development Company, L.P. | Data encoding pattern |
US7281664B1 (en) | 2005-10-05 | 2007-10-16 | Leapfrog Enterprises, Inc. | Method and system for hierarchical management of a plurality of regions of an encoded surface used by a pen computer |
US7936339B2 (en) | 2005-11-01 | 2011-05-03 | Leapfrog Enterprises, Inc. | Method and system for invoking computer functionality by interaction with dynamically generated interface regions of a writing surface |
JP2008033885A (ja) * | 2006-01-03 | 2008-02-14 | Shinsedai Kk | 入力装置 |
JP4542050B2 (ja) * | 2006-02-21 | 2010-09-08 | 日本電信電話株式会社 | ディジタルペン入力システム |
US20070280627A1 (en) | 2006-05-19 | 2007-12-06 | James Marggraff | Recording and playback of voice messages associated with note paper |
US8427344B2 (en) | 2006-06-02 | 2013-04-23 | Anoto Ab | System and method for recalling media |
US20080091533A1 (en) * | 2006-10-17 | 2008-04-17 | Silverbrook Research Pty Ltd | Method of delivering an advertisement to a user interacting with a hyperlink |
KR100919841B1 (ko) * | 2007-04-12 | 2009-09-30 | 켄지 요시다 | 도트패턴을 인쇄 형성한 매체 |
US8477095B2 (en) * | 2007-10-05 | 2013-07-02 | Leapfrog Enterprises, Inc. | Audio book for pen-based computer |
-
2009
- 2009-03-31 US US12/415,793 patent/US7810730B2/en active Active
- 2009-04-02 CN CN200980117878.0A patent/CN102037476B/zh active Active
- 2009-04-02 KR KR1020107024272A patent/KR101971161B1/ko active Active
- 2009-04-02 AU AU2009231671A patent/AU2009231671B2/en active Active
- 2009-04-02 WO PCT/US2009/039365 patent/WO2009124218A2/en active Application Filing
- 2009-04-02 JP JP2011503186A patent/JP5524951B2/ja active Active
- 2009-04-02 CA CA2720565A patent/CA2720565A1/en not_active Abandoned
- 2009-04-02 EP EP09728385A patent/EP2277129A4/en not_active Withdrawn
-
2010
- 2010-09-07 US US12/876,957 patent/US8002185B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1862471A (zh) * | 2005-11-01 | 2006-11-15 | 跳蛙企业股份有限公司 | 用来把用户笔迹和用户可写单元相关联的方法和设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2009124218A3 (en) | 2010-02-25 |
KR20100132052A (ko) | 2010-12-16 |
US7810730B2 (en) | 2010-10-12 |
US8002185B2 (en) | 2011-08-23 |
AU2009231671B2 (en) | 2014-04-10 |
EP2277129A2 (en) | 2011-01-26 |
JP2011524028A (ja) | 2011-08-25 |
EP2277129A4 (en) | 2012-07-04 |
US20100327065A1 (en) | 2010-12-30 |
AU2009231671A1 (en) | 2009-10-08 |
KR101971161B1 (ko) | 2019-04-22 |
US20090261169A1 (en) | 2009-10-22 |
CN102037476A (zh) | 2011-04-27 |
WO2009124218A2 (en) | 2009-10-08 |
JP5524951B2 (ja) | 2014-06-18 |
CA2720565A1 (en) | 2009-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102037476B (zh) | 用于印刷资料的解耦合应用 | |
CN102037451B (zh) | 多模态控制器 | |
CN102067153B (zh) | 多模态学习系统 | |
US8265382B2 (en) | Electronic annotation of documents with preexisting content | |
US8374992B2 (en) | Organization of user generated content captured by a smart pen computing system | |
JP5451599B2 (ja) | マルチモーダルスマートペンのコンピューティングシステム | |
US8300252B2 (en) | Managing objects with varying and repeated printed positioning information | |
JP2014515512A (ja) | ペンベースのコンピュータシステムにおけるコンテンツ選択 | |
US8416218B2 (en) | Cyclical creation, transfer and enhancement of multi-modal information between paper and digital domains | |
WO2008150923A1 (en) | Customer authoring tools for creating user-generated content for smart pen applications | |
CN112131926A (zh) | 点阵书写内容的记录方法、装置及电子设备 | |
CN108921154A (zh) | 点读方法、装置、点读设备及音视频文件关联方法 | |
KR101886010B1 (ko) | 전자기기 및 전자기기의 구동방법 | |
CN111914713A (zh) | 点阵书写内容的记录方法、装置及电子设备 | |
US7562822B1 (en) | Methods and devices for creating and processing content | |
KR101796166B1 (ko) | Sns 시스템의 손글씨 공유 방법 | |
KR20190080211A (ko) | 데이터 기록 어플리케이션 제어방법 및 이를 포함한 기록 매체 | |
KR20160124555A (ko) | Sns 시스템의 손글씨 공유 방법 | |
CN104158832A (zh) | 一种基于笔计算机的信息交互系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |