CN106104426B - 用于基于力的对象操纵和触觉检测的系统、方法和计算机可读介质 - Google Patents

Abstract

公开了用于基于力的对象操纵和触觉检测的系统和方法。一个公开的方法包括接收指示用户交互的位置的第一信号和接收指示第一力的第二信号的步骤。方法还包括如果用户交互的位置对应于在显示屏幕上显示的对象：向触觉输出装置输出第一触觉信号以引起第一触觉效果；以及如果所述第一力达到或超过第一力阈值，向所述触觉输出装置输出第二触觉信号以引起第二触觉效果。

Description

用于基于力的对象操纵和触觉检测的系统、方法和计算机可 读介质

相关申请的交叉引用

本申请要求2014年3月21日递交的题为“Systems and Methods for Force-BasedObject Manipulation and Haptic Sensations”的美国临时专利申请No.61/968,913的优先权，该美国临时专利申请的整体据此通过引用并入本文。

技术领域

本公开总体上涉及基于力的触觉方法和装置，且更具体地涉及用于基于力的对象操纵和触觉检测的系统和方法。

背景技术

许多现代的基于处理器的装置配备有触敏输入装置，诸如触摸屏，并且有些还能够输出触觉效果。这样的装置允许用户与诸如图标或微件的图形显示对象交互以执行某些功能或者启动一个或多个应用。当用户与触摸屏交互以执行这些任务时，装置可以在用户触摸这样的图标或微件时输出触觉效果以指示用户已经激活该对象。

发明内容

公开了用于基于力的对象操纵和触觉检测的系统和方法。例如，一个公开的方法包括：接收指示用户交互的位置的第一信号；和接收指示第一力的第二信号。方法还包括如果所述用户交互的位置对应于在显示屏上显示的对象：向触觉输出装置输出第一触觉信号以引起第一触觉效果；以及如果所述第一力达到或超过第一力阈值，向所述触觉输出装置输出第二触觉信号以引起第二触觉效果。在某些示例中，计算机可读介质可以编码有引起处理器执行这样的方法的程序代码。

提到这些示范性的示例不是为了限制或限定本公开的范围，而是为了提供辅助理解本公开的示例。在提供进一步说明的具体实施方式中论述了示范性的示例。可以通过检查本说明书而进一步理解由各种示例提供的优点。

附图说明

并入和构成本说明书的一部分的附图示出一个或多个示例并且与示例的说明一起用于解释用于基于力的对象操纵和触觉检测的系统和方法的原理和实施。其中

图1A-B显示了根据本公开的示例的用于基于力的对象操纵和触觉检测的系统；

图2A-B显示了根据本公开的示例的用于基于力的对象操纵和触觉检测的方法；

图2C显示了根据本公开的示例的用于基于力的对象操纵和触觉检测的状态图；

图3显示了可与根据本公开的示例的用于基于力的对象操纵和触觉检测的系统和方法的示例一起使用的图形用户界面；

图4显示了根据本公开的示例的与力敏感表面的用户交互相关联的力的示例图表；

图5A显示了根据本公开的示例的用于基于力的对象操纵和触觉检测的方法；

图5B显示了根据本公开的示例的用于基于力的对象操纵和触觉检测的状态图；

图6显示了根据本公开的示例的与力敏感表面的用户交互相关联的力的示例图表；

图7显示了根据本公开的示例的用于基于力的对象操纵和触觉检测的方法；

图8A-B显示了根据本公开的示例的用于提供基于力的对象操纵和触觉检测的软件应用；以及

图9显示了根据本公开的示例的用于基于力的对象操纵和触觉检测的方法。

具体实施方式

在用于基于力的对象操纵和触觉检测的系统和方法的背景下在此描述了示例。本领域技术人员将认识到以下说明仅是示例性的并且不旨在以任何方式进行限制。对受益于本公开的这些技术人员而言，其它示例将容易以其自身提供启示。现在将详细参考附图中示出的示例的实施方式。在整个附图和下面的说明中将使用相同的参考标记指代相同的或相似的项。

为了清晰，没有显示和描述本文描述的实施方式的所有常规特征。当然，应理解，在任何这样的实际实施方式的发展中，必须做出许多实施方式特有的判断以便实现开发者的具体目标，诸如符合应用限制和与商务相关的限制，且这些具体目标将在实施方式间以及在开发者间变化。

用于基于力的对象操纵和触觉检测的示例性系统

图1A显示了用于基于力的对象操纵和触觉检测的示例性系统。在图1A显示的示例中，系统包括具有在壳体110中的触敏显示器120(也称为“触摸屏”)的平板计算机100和能够在用户接触触敏显示器120时模拟纹理的触觉输出装置(未显示)。此外，平板电脑100包括能够向触敏显示器120输出振动效果的另一个触觉输出装置(未显示)。平板电脑100提供了图形用户界面(GUI)，以允许用户诸如通过启动应用、操纵对象或在屏幕上显示的图像，或者以其它方式执行各种任务来与平板电脑100交互。在该示例中，因为以触敏显示器120实现了平板电脑100，所以用户可以选择触摸触敏显示器120来选择图标、执行手势，以向由平板电脑的操作系统(OS)提供的或由通过应用、微件(widget)或其它类型的软件可用的其它GUI提供的GUI提供输入。

此外，平板电脑100配备有诸如当用户使用她的手指接触触敏显示器120时感测施加到触敏显示器120的力的一个或多个力传感器。在该示例中，触敏显示器120具有多触摸能力。也就是说，触敏显示器120能够解释多个同时的(或基本上同时的)接触和对应的力，以允许用户利用多个手指(或其它输入装置，诸如触控笔)执行手势。随着用户触摸触敏显示器120，触敏显示器120和力传感器向平板电脑100的处理器发送位置和力信息，该处理器被配置成基于用户的接触位置和力而采取某些动作。

例如，平板电脑100可以在GUI中显示代表安装在平板电脑100中的不同应用或微件的图标布置。在某些情形中，用户可能希望在不激活或以其它方式与GUI的部件交互的情况下与触敏显示器120交互。例如，平板电脑100被配置成允许用户轻微地接触触敏显示器120并且基于接触来接收触觉反馈，而不激活图标或微件，或者不以其它方式操纵GUI。因此，用户可以将她的手指拖过触敏显示器120以基于各种触觉效果来感觉不同的图标或微件定位在什么地方，且基于那些触觉效果在不同的图标或微件之间进行区分而不需要查看触敏显示器120。这样的功能在用户注意力集中在其它地方的情形中可以特别有利，诸如当用户正在开车时，但是尝试改变无线电台或调节气候控制设置。如果用户决定选择图标或微件，或者以其它方式操纵GUI(例如，轻扫至图标的另一页)，用户将更用力地在触敏显示器120上按压并且执行期望的手势。通过增加触敏显示器是120上的力，平板电脑100从“探测”模式改变到“操纵”模式，在“探测”模式，用户可以在触觉上探测屏幕，在“操纵”模式，用户可以激活图标或微件，或者以其它方式操纵GUI。在某些示例中，用户可以通过减少触敏显示器120上的力来返回到探测模式。

为了实现该功能，平板电脑100包括确定力阈值的软件，该力阈值可以由用户定制或可以由装置随着时间自动调整。这样的调整可以直白地或交互地发生，诸如通过向用户呈现消息——例如“启动应用…你想要启动应用？”——以及向用户提供选择“是”或“否”的选项。这样的信息可以被反馈到力阈值的自适应确定中。因此，通过比较用户的接触力与力阈值，装置可以在探测模式和操纵模式之间切换。此外，装置可以提供其它类型的反馈以指示模式或模式的变化，诸如另外的触觉效果；视觉效果，诸如弹出消息或显示器中的变化(例如，通过在探测模式时使特征灰化)；或者如钟声或和弦的听觉效果。

除探测模式和操纵模式之外，平板电脑100还包括第二力阈值，在该第二力阈值之上，GUI的操纵在性质上改变。当用户特别用力地按压时，为了阻止这样的力量，GUI可以变得对操纵不太响应。在这种情形下，图标可以更缓慢地移动，就好像它们正在被拖动通过粘性材料或者正经历基于在图标下方的虚拟表面的摩擦阻力，或者应用图标可以开始从用户手指下方滑出而不是容易地可选择的。此外，在用户的接触力达到或超过第二阈值时，平板电脑100可以向用户输出触觉效果以指示已经达到了第二力阈值。类似地，随着用户将力减少到第二力阈值以下，另一个触觉效果可以被输出以向用户确认力水平对于操纵GUI而言是合适的。在下面更详细论述的某些示例中，阈值可以具有两个不同的值，一个是当力正被增加时所使用的力，而另一个是当力正被减小时所使用的力。或者，在某些示例中，在模式切换之前，力必须下降到阈值(包括在迟滞阈值的情形中)之下达最小的持续时间。换句话说，某些力可以是迟滞的或“粘性的”。这可以在用户在操纵期间无意地减少力的情形中提供了更为用户友好的界面，因为在交互模式意外地改变中间操纵的情况下用户将不会受挫。

除上面论述的多模式力界面之外，平板电脑100还对基于力的手势进行响应以与各种用户界面交互。例如，平板电脑100的主GUI屏幕可以包括代表以平铺格式布置的应用的多个图标。为了观察用户界面的另外的屏幕，用户可以沿着触敏显示器120向左或向右轻扫以显露带有另外的应用的其它屏幕。然而，用户界面还允许用户增加用户施加到触敏显示器120上的力以“放大”界面。例如，用户可以仅通过较用力地在触敏显示器120上按压而被导航到在界面上显示的文件夹。作为另一个示例，如果用户与绘图应用交互，用户可以通过增加或减小力来增加或减小放大水平。在某些示例中，用户可以选择改变在特定的用户界面水平下显示的信息类型。例如，用户可以定制在特定放大水平下显示的信息类型，诸如从道路和公路的路线图到图的可见部分的地形图、卫星图像或街景视图。因此，力的使用可以提高以其它方式显现为二维界面的自由度数。

平板电脑100还利用力感测来基于与装置的用户交互向用户提供更拟真的触觉检测。如上面论述的，用户界面的主GUI屏幕可以包括以平铺格式布置的多个图标。当用户在触敏显示器120上轻微地拖动她的手指时，她可能感觉到触觉效果，诸如当她的手指滑过图标以指示她正在图标上“徘徊”时的静电摩擦效果。为了获得提供更多信息的触觉检测，用户可以增加接触力。当接触力增加时，装置提供逐渐增加地详细的触觉检测，诸如与由图标代表的应用有关的纹理效果。例如，如果用户开始按压用于日历应用的图标，则平板电脑100输出感觉像代表月历的形状的格栅的触觉纹理。或者如果用户开始按压打电话的图标，则平板电脑100输出对应于电话手机形状的纹理，诸如通过使用使触敏显示器120上的接触表面变形的触觉输出装置。在某些情形中，可以使用振动触觉效果。例如，如果在平板电脑100被锁定时用户尝试定位拨打紧急呼叫的图标，则平板电脑100输出重复序列的触觉效果以模仿用于SOS的莫尔斯码序列——即，三个短的振动后面是三个较长的振动，然后后面是三个短的振动——以指示用户她已经定位在正确的图标上。

因此，图1A显示的示例性装置提供了全特征力敏感触觉用户界面，以给予用户在她对用户界面的探测和操纵期间更大的控制和敏感反馈。这些示例性的示例被给出以给读者引出本文论述的一般主题并且公开不限于这些示例。下面的部分描述了基于力的对象操纵和触觉检测的系统和方法的各种附加的非限制性示例。

现在参考图1B，图1B显示了根据本公开的一个示例的用于基于力的对象操纵和触觉检测的系统200。在图1B中显示的该示例中，系统200包括壳体210、处理器220、存储器230、触敏显示器250、触觉输出装置240、通信接口260、扬声器270和力传感器290。此外，系统200与触觉输出装置280通信，触觉输出装置280可以可选地联接到或并入到某些示例中。处理器220与存储器230通信，并且在该示例中，处理器220和存储器230两者都布置在壳体210内。

包括触敏表面或与之通信的触敏显示器250部分地布置在壳体210内使得触敏显示器250的至少一部分暴露于系统200的用户。在某些示例中，触敏显示器250可以不布置在壳体210内。例如，系统200可以连接到布置在分离的壳体内的触敏显示器250或以其它方式与之通信。在某些示例中，壳体210可以包括可以滑动地联接到彼此、可转动地联接到彼此或可释放地联接到彼此的两个壳体。在其它实施方式中，系统200可以包括显示器或与之通信并且可以包括其它用户输入装置或与之通信，诸如鼠标、键盘、按钮、旋钮、滑动控件、开关、轮子、滚子、操纵杆、其它操纵器或其组合。

在某些示例中，一个或多个触敏表面可被包括在或布置在系统200的一个或多个侧面内。例如，触敏表面可以布置在系统200的后表面内或包括系统200的后表面。在另一个示例中，第一触敏表面布置在系统200的后表面内或包括系统200的后表面，且第二触敏表面布置在系统200的侧表面内或包括系统200的侧表面。在某些示例中，系统200可包括两个或更多个壳体部件，诸如以翻盖布置方式或可滑动布置方式。例如，系统200可以具有翻盖构造，其中触敏显示器120布置在翻盖的每一个部分中。而且，在某些示例中，触敏显示器250可以不包括触敏表面(例如，触敏显示器250可以是没有触摸输入能力的显示器)。在某些示例中，一个或多个触敏表面可以是柔性的或可变形的。在其它示例中，一个或多个触敏表面可以是刚性的。系统200可以包括柔性和刚性触敏表面两者。

在图1B中显示的示例中，触敏显示器250与处理器220通信并且被配置成向处理器220或存储器230提供信号并且接收来自处理器220或存储器230的信号。存储器230被配置成存储由处理器220使用的程序代码、数据或两者。处理器220被配置成执行存储在存储器230上的程序代码并且向触敏显示器250输送信号且接收来自触敏显示器250的信号。在图1B中显示的示例中，处理器220还与通信接口260通信。处理器220被配置成接收来自通信接口260的信号并且向通信接口260输出信号，以与其它部件或装置(诸如一个或多个远程计算机或服务器)通信。

此外，处理器220与触觉输出装置240和触觉输出装置280通信并且进一步被配置成输出信号以使触觉输出装置240、触觉输出装置280或两者输出一个或多个触觉效果。而且，处理器220与扬声器270通信并且被配置成输出信号以使扬声器270输出声音。在各种示例中，系统200可包括较少的或另外的部件或装置或者与之通信。例如，其它用户输入装置，诸如鼠标、轨迹球、轨迹板、键盘、另外的触敏装置或者这些的任何组合，可以被包括在系统200中或者与之通信。作为另一个示例，系统200可包括一个或多个加速计、陀螺仪、数字式罗盘和/或其它传感器和/或与之通信。

图1B中显示的系统200的壳体210为系统200的至少某些部件提供保护。例如，壳体210可以是保护处理器220和存储器230免于诸如雨水的外来颗粒的影响的塑料壳。在某些示例中，如果用户掉落了系统200，壳体210保护壳体210中的部件免于破坏。壳体210可以由任何合适的材料制成，包括但不限于塑料、橡胶或金属。各种示例可包括不同类型的壳体或多个壳体。例如，在某些示例中，系统200可以是便携式装置、手持装置、玩具、轨迹球、鼠标、轨迹板、游戏操纵台、手持视频游戏系统、游戏手柄、游戏控制器、台式计算机、电子阅读器、照相机、摄像机、诸如手机的便携式多功能装置、智能电话、个人数字助理(PDA)、笔记本计算机、平板计算机、数字音乐播放器等等。

在图1B中显示的示例中，触觉输出装置240和280与处理器220通信并且被配置成提供一个或多个触觉效果。例如，当处理器220向触觉输出装置240、触觉输出装置280或两者输送致动信号时，触觉输出装置240、280基于致动信号输出触觉效果。在某些示例中，处理器220被配置成向触觉输出装置240输送包括模拟驱动信号的触觉输出信号。在其它示例中，处理器220被配置成向触觉输出装置280输送高级别命令。该命令可包括命令标识符和零个或多个参数，以用于产生引起触觉输出装置280输出触觉效果的合适的驱动信号。不同的信号和不同的信号类型可以被发送到一个或多个触觉输出装置中的每一个。例如，处理器可以输送低级别驱动信号以驱动触觉输出装置240输出触觉效果。这样的驱动信号可以通过放大器被放大，或者可以使用调整正被驱动的特定的触觉输出装置240的合适的处理器或电路将这样的驱动信号从数字信号转变为模拟信号，或者从模拟信号转变为数字信号。

为了产生触觉效果，许多装置利用某些类型的致动器或触觉输出装置240、280。触觉输出装置240、280可包括电磁致动器，诸如其中偏心质量被马达移动的偏心旋转质量(“ERM”)、其中被附接到弹簧的质量被来回驱动的线性谐振致动器(“LRA”)或者诸如压电聚合物、电活性聚合物或形状记忆合金的“智能材料”。触觉输出装置还宽泛地包括其它装置(例如，非机械和非振动装置)诸如使用静电摩擦(ESF)、超声表面摩擦(USF)的那些，或者利用超声触觉换能器引起声辐射压力的那些，或者使用触觉基材和柔性或可变形表面的那些，或者利用空气喷射提供设计的诸如喷出空气的触觉输出的那些，等等。

在某些示例中，可以使用一个或多个部件的变形来产生触觉效果。例如，一个或多个触觉效果可以被输出，以改变表面的形状或表面的摩擦系数。在一个示例中，通过产生用于改变表面上的摩擦的静电力和/或超声力来产生一个或多个触觉效果。在其它示例中，可以使用透明变形元件的阵列来产生触觉效果，诸如包括智能凝胶的一个或多个区域。

某些示例包括覆盖在触敏显示器250上或者以其它方式联接到触敏显示器250的触觉输出装置240、280。触觉输出装置240、280可以对触敏显示器250的敏感表面输出摩擦或变形效果。在某些示例中，系统的其它部分可以提供这样的力，诸如可以由用户接触的壳体的部分或者在联接到系统200的分离的触敏输入装置中。2011年4月22日提交的题为“Systems and Methods for Providing Haptic Effects”的共同待决的美国专利申请13/092,484描述了可以产生一个或多个触觉效果的方式并且描述了各种触觉输出装置240、280，该美国专利申请的整体据此通过引用被并入。

将认识到，可以使用任何类型的输入合成方法根据一个或多个触觉效果信号产生交互参数，该输入合成方法包括但不限于在下面的表1中列出的合成示例的方法。

表1——合成方法

在图1B中，通信接口260与处理器220通信并且提供从系统200到其它部件或其它装置的有线或无线通信。例如，通信接口260可以在系统200和通信网络之间提供无线通信。在某些示例中，通信接口260可以向一个或多个其它装置——诸如另一个系统200和/或一个或多个其它装置(诸如电视、DVR或其它视听部件)，提供通信。通信接口260可以是使得系统200能够与另一个部件、装置或网络通信的任何部件或部件的集合。例如，通信接口260可以包括PCI通信适配器、USB网络适配器或以太网适配器。通信接口260可以使用无线以太网(包括802.11a、g、b或n标准)通信。在一个示例中，通信接口260可以使用射频(RF)、蓝牙、CDMA、TDMA、FDMA、GSM、Wi-Fi、卫星或其它蜂窝技术或无线技术来通信。在其它示例中，通信接口260可以通过有线连接通信并且可以与诸如以太网、令牌环、USB、FireWire1394、光纤等一个或多个网络通信。在某些示例中，系统200包括单个通信接口260。在其它示例中，系统200包括两个、三个、四个或更多个通信接口。

图1B中显示的示例还包括力传感器290，尽管某些示例可以不包括力传感器或可以包括多个力传感器。另外，力传感器290可以容纳在与系统200的其它部件相同的部件中或在分离的部件中。例如，处理器220、存储器230和力传感器290可以全都包括在壳体210中。力传感器290与处理器220通信并且被配置成将包括力信息的一个或多个信号输送到处理器220。这样的力信息可以包括振幅、位置、区域、力变化、力变化速率和其它类型的力信息。在某些示例中，力传感器290可以包括测压元件、力感测电阻(FSR)或量子隧道复合材料(QTC)，例如，这些可以安装在触敏表面下方以测量施加的压力或力。还可以基于接触面积的变化或指垫颜色的变化来估计施加的压力或力。例如，处理器220可以从力传感器290接收指示用户的指垫相对触敏显示器250的接触面积的传感器信号。处理器220可以基于接触面积(例如，较大的接触面积可以指示较高的力)估计正被施加到触敏显示器250的力量。

在某些示例中，力传感器290被配置成感测期望范围内的力。例如，力传感器290被配置成连续地感测和测量1到200克力的范围中的力，具有8位或更高的分辨率。在某些示例中，力传感器290可以提供更多的粗测量。例如，一个合适的力传感器290能够输出三个值：没有施加力、低的力和高的力。

其它类型的力传感器290可以适合于与根据本公开的示例一起使用。例如，力传感器290可以包括两个开关。第一开关可以在用户向力传感器290施加超过第一阈值的力时激活。第二开关可以在用户向力传感器290施加超过第二阈值的力时激活。开关中的每一个可以在激活时向处理器220输送信号。以此方式，力传感器290可以检测不同的力量并且向处理器220输送相关的信号。力传感器290可以包括响应于任何数量或配置的力水平以任何方式致动的任何数量或配置的开关。

在某些示例中，系统200可以不包括力传感器290，而是可以确定伪力。例如，触敏表面可以基于与触敏表面的接触而产生伪力信号。在一个这样的示例中的伪力可以是基于从触摸触敏表面的导体(例如，用户手指)而导致的电容量。因此，电容量不是力的直接度量而是伪力。由触敏表面提供的伪力可以不是由在触敏表面上的单个点处的导体进行的实际垂直位移的度量，而是基于电容变化的大小的垂直位移的估计。伪力可以或可以不精确地代表实际运用在触敏表面上的力量。例如，在触敏表面上使用的导体(例如，用户的手指)的表面越大，每运用的力量所导致的电容变化越大。如果用户利用手指的多肉部分重重地按压在触敏表面上，由手指覆盖的触敏表面面积的量比当手指的相同部分轻微地触摸时要大。在某些示例中，覆盖的面积以及相应的伪力也比当用户利用手指的多骨部分重重地按压时要大。

在某些示例中，另外的传感器(未显示)可以并入系统200内。例如，传感器可以布置在壳体210内或者在与容纳存储器230和/或处理器220的另一个部件分离的部件中。例如，可穿戴传感器可以经由有线或无线连接与处理器220和存储器230、用户装置或可穿戴装置通信。在某些示例中，这样的传感器可以被配置成感测环境因素，该环境因素可代表周围条件或施加到传感器的力中的至少一种。另外的传感器可以包括任何数量或类型的感测部件。作为一个示例，传感器可以包括加速计或陀螺仪。在下面提供了传感器和环境因素的示例的非限制性列表：

传感器	感测的环境因素
		加速计	在一个、两个或三个方向的力
高度计	高度
		温度计	环境温度；用户体温
心率监测器	装置用户的心率
		皮肤阻力检测器	装置用户的皮肤阻力
氧传感器	装置用户的氧使用
		音频传感器/麦克风	环境音频和/或由装置用户产生的音频
光传感器	环境光
		IR/光传感器	用户眼睛运动、位置、体温
湿度计	相对湿度
		速度计	速度
计步器/里程表	行进距离
		计时计	一天中的时间、日期

表1：示例性传感器和因素

环境因素可以包括上面提到的环境因素的任何一者，或代表施加到或引导到系统200的装置的环境条件或力的任何其它量。另外，环境因素可以根据传感器数据被直接评估或者可以通过装置被处理，以导出其它环境因素。例如，加速数据可用于确定装置定向、速度和/或运动模式。作为另外的示例，诸如心率、皮肤阻力和其它因素的生理数据可以用于确定装置用户的生理状态(例如，醒着、紧张、睡着、浅睡眠，等等)。

在某些示例中，系统200包括鼠标、轨迹球、轨迹板、操纵杆、游戏手柄或其它用户界面装置。处理器200、存储器230、力传感器290和/或触觉输出装置240、280可以布置在用户界面装置内或联接到用户界面装置。在某些示例中，力传感器290可以被配置成检测施加到用户界面装置的一个或多个操纵器(例如，轨迹球、触敏表面、按钮或操纵杆)的力量并且向处理器220输送相关联的传感器信号。

在某些示例中，系统200被配置成由用户穿戴。例如，系统200可以被嵌入到诸如腕表、其它珠宝、手套等的可穿戴装置中或者联接到其。在一个示例中，系统200可以包括联接到手套的指尖的一个或多个力传感器290。用户可以穿戴手套并且与诸如桌子、墙壁或书桌的表面交互。系统200可以通过力传感器290检测用户与表面的交互并且向处理器220输送相关联的传感器信号。例如，系统200可以在显示器上输出(可见的或不可见的)虚拟对象或者将虚拟对象(例如，经由投影仪)投射到表面上。系统200可以检测为与虚拟对象交互用户在特定位置处和/或以特定的力量接触显示器或表面。基于用户交互，系统200可以操纵GUI(在显示器上输出或投射到表面上)、在系统状态或模式之间切换、在用户界面水平之间切换和/或输出相关联的触觉效果。

例如，随着用户以不同的力量将手指按压在桌子上，系统200可以在用户界面水平之间切换，或者在探测模式和操纵模式之间切换。作为另一个示例，系统200可以基于用户交互通过触觉输出装置240、280输出触觉效果。触觉输出装置240、280可以联接到可穿戴装置、显示器、表面或者这些的任何组合。例如，可穿戴装置可以包括联接到手套的指尖的触觉输出装置240、280。可穿戴装置可以通过触觉输出装置240、280向用户的指尖输出触觉效果。作为另一个示例，系统200可以向联接到显示器或表面的触觉输出装置240、280(例如，无线地)输送触觉信号，从而引起显示器或表面分别地输出触觉效果(例如，振动)。

现在参考图2A，图2A显示了根据本公开的一个示例的用于基于力的对象操纵和触觉检测的方法300。关于图1B中显示的系统200执行的软件应用来描述图2A；然而，本文公开的方法不限于仅由图1B中显示的装置执行，而是可以由根据本公开的任何合适的系统执行。

方法300以框310开始，在框310，系统200确定第一阈值。为了确定第一阈值，系统200可以使用编码在软件应用内的缺省值，可以从计算机可读介质中读取第一阈值——诸如从存储在硬盘中的配置文件中，可以从在通信网络上的远程装置接收第一阈值，或者可以从用户偏好设置中接收第一阈值——诸如通过用户输入期望的阈值。在某些示例中，第一阈值可以是基于使用模式而自适应的——其中系统200使用第一阈值的初始值，并且随着时间向上或向下调节第一阈值。例如，系统200可以基于用户如何随着时间使用装置来向上调节第一阈值。

在某些示例中，系统200可以确定迟滞的第一阈值。例如，在图4中显示的示例中，第一阈值包括两个不同的力量：低的力和高的力。取决于系统200的模式而使用不同的力。如在图4中可看到的，系统200可以处于探测模式或操纵模式。当系统200处于探测模式时，第一阈值对应于高的力值，在图4中被识别为“操纵阈值”。然而，当系统200处于操纵模式中时，第一阈值对应于低的力值，被识别为“探测阈值”。这样的迟滞阈值可以用于要求用户施加明显的力以从探测模式转换到操纵模式，但是允许用户减少用于更舒适水平的力，而不恢复到探测模式。在某些示例中，迟滞阈值可以包括50克力的第一力值和100克力的第二力值。

在某些示例中，第一阈值可以包括力水平和持续时间两者。在这样的示例中，系统200将针对力阈值检测用户的力水平，但是系统200将仅确定在用户维持力水平达要求的持续时间之后已经达到或超过第一阈值。类似地，在达到第一阈值之后，系统200还要求在指示降回到阈值以下之前力在该持续时间内下降到第一阈值力水平以下。这样的条件可以提供减少基于无意的手势的用户挫折的较友好的用户界面。一旦第一阈值已经被确定，方法300进行到框320。

在框320，系统200接收指示与力敏感表面(例如，触敏表面或力敏感按钮)的用户交互(例如，接触)的一个或多个信号，该一个或多个信号包括第一力和/或第一位置。例如，当用户触摸触敏显示器250时，力敏感表面可以提供指示用户交互的位置和力量的一个或多个信号。在某些示例中，如上面论述的，系统200可以包括提供指示用户交互的位置的信号的触敏显示器250，和提供力信息的分离的力传感器290。因此，可以根据本公开的某些示例接收和使用多个信号。在某些示例中，单个信号可以包括位置信息和力信息两者。在接收到一个或多个信号之后，方法300进行到框330。

在框330，系统200确定用户交互是否与在显示屏幕(例如，触敏显示器250)上显示的对象对应。例如，系统200可以确定用户输入装置可控制的虚拟游标的位置是否与显示屏幕上显示的对象对应。在某些示例中，系统200可以基于第一位置确定用户交互是否与对象对应。例如，如果显示屏幕显示具有多个图标和微件的主屏幕，处理器220确定用户界面是否在对应于图标或微件的位置。在某些示例中，可以通过系统200显示其它对象。例如，系统200可以在显示屏幕上显示用于汽车的用户界面系统的控制，诸如图3中显示的气候控制系统402。在这样的示例中，系统200可以确定用户交互是否对应于在显示屏幕上显示的控制，诸如“A/C控制或除霜器控制”。在对应于基于触摸的游戏的另一个示例中——诸如图3中显示的游戏404，系统200可确定用户交互是否对应于用于操纵在冲浪板上的狗的控制中的一种。诸如在图3中显示的那些，其它对象可包括打火机406的图像、岩石408的图像或者羽毛410的图像。这种图像也可以传达与对象交互所需的压力或力的感觉。例如，用户可以预期可能需要更多的力与岩石交互而不是与羽毛交互，或者不同的力可以触发不同的结果——诸如与打火机。如果系统200确定用户交互对应于在显示屏幕上的对象，方法300进行到框340，否则方法300返回到框320。

在框340，系统200将第一力与第一阈值进行比较并且确定第一力是否达到或超过第一阈值。如果第一力达到或超过第一阈值，则方法300进行到框350。如上面论述的，在其中迟滞阈值被采用的某些示例中，系统200可以根据系统200的状态使用用于第一阈值的不同的值。参考图2C中显示的状态图302，如果系统200处于探测模式380，则第一阈值可以对应于第一值，而如果系统200处于操纵模式354，则第一阈值可以对应于第二值。此外，在某些示例中，阈值确定还可以包括定时部件，其中力必须达到或超过(或下降低于)第一阈值达最小持续时间。否则方法300进行到框342。

在框342，系统200确定是否输出触觉效果。在该示例中，如果用户交互在对应于对象的位置处，则系统200输出触觉效果，并且系统200将因此进行到框344。然而，如果用户正与显示的对象交互，在某些示例中，方法返回到框320以接收另外的用户交互信号。在某些示例中，方法300返回到框310。方法300可以返回到框310以基于装置的使用重新确定第一阈值，诸如在自适应的第一阈值的情形中。

在框350，系统200向第一触觉输出装置输出第一触觉信号，该第一触觉信号被配置成引起第一触觉效果。在图2A中显示的示例中，第一触觉效果被配置成向用户指示第一阈值已经被达到。在某些示例中，在达到或超过第一阈值时，系统200从“探测”模式转换到“操纵”模式。因此，触觉效果被配置成向用户指示系统200的操作模式的变化或者接触的对象的激活，而不是简单地指示已经达到阈值。如果系统200已经处于探测模式，则系统200可以确定没有触觉效果应被输出以指示转换，尽管在用户交互(例如，用户的接触)对应于在触敏显示器250上显示的对象的情况下，其仍可以输出触觉效果。在某些示例中，触觉效果可以反而仅被配置成指示用户已经开始操纵对象。在输出触觉效果信号之后，方法300进行到框360。

在框360，系统200基于用户交互确定关于对象将采取的动作。例如，如果对象是对应于应用的图标，则系统200可以确定该动作是启动应用。可替代地，系统200可以确定用户正尝试移动图标并且可以基于用户交互的移动(例如，接触位置)“捡起”待移动的附图。稍后，如果力下降到第一阈值以下，则系统200可以确定用户正使图标下降，并且可以将图标留在对应于用户交互位置的位置。

在图3中显示的用于汽车的气候控制系统402中，系统200可以确定动作包括改变按钮的状态，或者选择新的选项或设置以进行控制，诸如温度设置或激活/去激活空调控制。在图3中显示的游戏应用中，系统200可以确定对应于游戏的动作，以便改变在冲浪板上的狗的定向或冲浪板自身的定向。在系统200确定了待采取的动作之后，方法300进行到框370。

在框370，系统200执行该动作。如上面论述的，系统200可以响应于确定待采取的动作而执行诸如启动应用、改变控制设置和/或向游戏应用进行输入的动作。

图2C描述了对应于图2A中显示的方法300的状态图302。如可以看到的，状态图代表系统200的两个操作状态，探测模式380和操纵模式354。初始地，系统200处于探测模式380中，其中用户可以在各种位置接触显示屏幕，但是没有超过第一阈值，用户的接触不触发将由系统200采取的任何动作。而当用户的接触对应于在显示屏幕上显示的对象时，系统200输出触觉效果。然而，如果用户的接触达到或超过第一阈值，则系统200转换到操纵模式354，其中对应于对象的用户的接触可以触发相对于对象的动作。而且，如果处于操纵模式354中，如果接触力不再满足第一阈值，则系统200可以返回到探测模式380。在某些示例中，当系统200在状态之间转换时——从探测模式380到操纵模式354，或者从操纵模式354到探测模式380，系统200可以输出触觉效果。这样的转换触觉效果可以用于通知用户操作模式的变化并且提供更直观的基于力的界面。在其它示例中，系统200可以仅在系统200在状态之间改变之前——例如，当接触力接近第一阈值时，输出触觉效果。这可以向用户指示系统200即将改变状态，因此用户可以避免无意地改变状态。

现在参考图2B，关于图1B中显示的系统200执行的软件应用来描述图2B；然而，本文公开的方法不限于仅由图1B中显示的装置执行，而是可以由根据本公开的任何合适的系统执行。

图2B的方法304在框309中开始。在框309中，系统200确定第一阈值。在上面关于图2A的框310提供了确定第一阈值的说明并且该说明通过引用并入此处。此外，系统200还确定大于第一阈值的第二阈值。在此上下文中，如果第二阈值的大小的绝对值大于第一阈值的大小的绝对值，则第二阈值大于第一阈值。在某些示例中，第二阈值可以包括迟滞阈值。第二阈值还可以包括持续时间。在确定第一和第二阈值之后，方法304进行到框320。

框320-344的说明与上面图2A中的相同，并且该说明通过引用并入此处。然而，在框340中比较第一力与第一阈值之后，方法304进行到框351。

在框351中，系统200比较第一力与第二阈值。如果第一力小于第二阈值，则方法304进行到框350。否则，方法304进行到框352。

在框350、360和370，如上面关于图2A论述的，通过引用并入此处：系统200分别地输出触觉效果信号，基于用户交互确定关于对象待采取的动作，并且执行该动作。方法304然后进行到框320。

在框352，系统200输出触觉效果信号。该步骤可以基本上与上面关于图2A论述的框350类似地执行。在输出触觉效果信号之后，方法304进行到框361。

在框361，系统200确定动作。该步骤可以基本上与上面关于图2A论述的框350类似地执行。在确定该动作之后，方法304进行到框362。

在框362，系统200修改待采取的动作。例如，如果所确定的动作是将启动对应于图标的应用，则系统200可以反而确定修改该动作以将图标移动离开用户交互(例如，游标位置或用户的接触)并且提供振动的触觉效果。再次参考图3，如果用户正与气候控制系统402交互并且接触A/C按钮，则系统200可以确定该动作将启动A/C并且也将温度设置改变到最小温度设置。或者如果用户正与游戏404交互，则系统200可以确定该动作应被修改为翻转冲浪板，从而引起狗落入水中。在其它示例中，所确定的动作可以以不同的方式被修改。在修改该动作之后，方法304进行到框372。

在框372，系统200执行所修改的动作。该步骤可以基本上与上面关于图2A论述的框370类似地执行。

图2C还描述了对应于图2B中显示的方法304的状态图306。状态图306代表方法200的三个操作模式或状态，即探测模式380、操纵模式354和修改的操纵模式364。初始地，系统200处于探测模式380中，其中用户可以在各种位置接触屏幕，但没有超过第一阈值。用户的接触不触发将由系统采取的任何动作。而当用户的接触对应于在屏幕上显示的对象时，系统200输出触觉效果。然而，如果用户的接触达到或超过第一阈值，则系统200转换到操纵模式354，其中对应于对象的用户的接触可以触发关于对象的动作。如上面关于方法304描述的，如果然后用户的阈值进一步达到或超过第二阈值，则系统200转换到修改的操纵模式364。而且，如果处于操纵模式354中，如果接触力不再满足第一阈值，则系统200可以返回到探测模式380。同样，如果处于修改的操纵模式364，如果接触力不再满足第二阈值，则系统200可以返回到操纵模式354。

现在参考图4，图4显示了在采用两个模式——即探测模式和操纵模式的示例中随着时间施加到力敏感表面(例如，力敏感按钮、鼠标、轨迹球、操纵杆或触敏表面)的用户力的图表。在关于图2A中显示的方法300来考虑图4中显示的图表时，在该示例中图2A的第一阈值包括迟滞阈值，其中，第一阈值具有两个值：当系统200在探测模式中时使用的一个值，和当系统200在操纵模式中时使用的第二值。在这样的示例中，用户可以使用探测模式直到施加的力超过用于第一阈值的两个值中较高的值，在此点处，系统200转换到操纵模式。随着用户继续与系统200交互，用户接触的力可以改变并且下降到第一阈值的两个值中较高的值以下，而停留在第一阈值的两个值中较低的值以上。因此，用户将停留在操纵模式中，尽管接触力下降到触发从探测转换到操纵的阈值的上界以下。

现在参考图5A，图5A显示了根据本公开的一个示例的用于基于力的对象操纵和触觉检测的方法500。图5B显示了与图5A的方法500相关联的状态图502。关于图1B中显示的系统200执行的软件应用来描述图5A；然而，本文公开的方法不限于仅由图1B中显示的装置执行，而是可以由根据本公开的任何合适的系统执行。

图5A的方法可以有利地用于在具有多个层的用户界面中提供基于力的导航。例如，如上面关于某些说明性示例论述的，用于地图应用的用户界面可以具有地图的相同部分的多个不同的视图。在一个示例中，地图可以提供城市地图层、道路地图层和地形地图层。当用户增加力敏感表面(例如，触敏显示器250)上的接触力时，用户界面可以基于接触力在用户界面的层之间转换。这可以允许用户容易地且无缝地转换到不同的视图，而不需要定位执行功能的菜单选项或控件。在某些示例中，用户可以定制在用户界面的每一个层输出什么样的信息。例如，用户能够定制是否在用户界面的特定层输出城市地图、道路地图或地形地图。

此外，通过转换到不同的层，系统200可以提供不同组的触觉检测。例如，在具有具备不同类型的视觉信息的多个层的绘图应用中，系统200可以在不同组的触觉信息之间切换，或者可以从较大的触觉效果库选择不同的触觉效果。例如，当绘图应用正显示关于第一层(例如，城市地图层)的信息时，系统200可以在用户经由力敏感表面(例如，通过接触触敏显示器250上的位置或经由游标)与地图上显示的虚拟城市交互时提供触觉效果。这样的触觉效果可以包括诸如由ESF提供的增加的摩擦，或者可以包括由致动器输出的脉冲振动。例如，振动的强度或者具有增加的摩擦的面积的大小，可以随着城市人口或城市地形尺寸而变化。

在某些示例中，系统200可以输出被配置成向用户提供关于层的信息的触觉效果。例如，系统200可以输出对应于层数的振动脉冲的数量。用户可以感知脉冲并且能够例如在没有在视觉上集中在输入装置或显示器的情况下，确定用户与用户界面的哪个层交互或者系统200处于什么状态。如果系统200是在汽车中这可以是特别有利的，因为用户可以集中在道路上。作为另一个示例，系统200可以输出被配置成向用户提供关于可用的用户界面水平的数量的信息的触觉效果。例如，在用户使用输入装置与对象交互时，系统200可以输出对应于用户可以交互的用户界面水平的数量的振动脉冲的数量。这可以向用户提供关于用户界面的信息，在某些示例中否则用户可能不知道该信息。

如果用户增加施加到力敏感表面的力，则系统200转换到绘图应用的第二层，其可以对应于道路地图层。在这样的示例中，当用户的接触对应于道路时，系统200可以输出ESF触觉效果。而且，系统200可以产生对应于道路形状的触觉效果，以允许用户在触觉上跟踪道路；或者产生对应于道路类型(未铺设柏油的、城市街道、州公路、州际公路)的触觉效果，以允许用户体验与绘图应用更丰富的或更直观的交互。在某些示例中，系统可以在转换到第二层之后改变视觉显示和触觉效果两者，或者可以保持视觉显示不被改变，而改变触觉效果以提供与第二层相关联的效果。因此，用户可以继续查看一个区域的卫星地图，但是通过更用力地按压，可以从感觉城市转换到感觉不同的道路。

如果用户再次增加施加到力敏感表面的力，则系统200转换到第三层以提供地图的显示部分的地形的视觉表现。系统200然后提供对应于不同类型的显示的地形的触觉效果。例如，系统200可以使力敏感表面的表面变形，以感觉为指示树而尖锐或有刺地，而草原或开放空间可以具有减少的摩擦以感觉平坦。可以诸如通过使用各种尺寸的隆起，或者通过输出不同频率的振动或具有不同定时的脉冲来在触觉上显示诸如小山或山脉的其他特征。而且，并且如上面论述的，在某些示例中，系统可以保持视觉显示不被改变，而改变触觉效果以提供与第三层相关联的效果。因此，用户可以继续查看一个区域的卫星地图，但是通过更用力地按压，可以从感觉不同的道路转换到感觉在地图上显示的各种类型的地形。

其它示例可以包括或多或少数量的层，并且可以基于由用户选择的层而使用不同的触觉效果，或不同的触觉输出装置或触觉输出装置的组合。

在另一个示例中，可以在制图应用中使用这样的分层用户界面，以为辅助草图过程而暴露用户界面提示。例如，通过增加力敏感表面上的力量，用户界面可以显示诸如水平线、对齐格栅、透视线的辅助，或者在CAD系统中，可以剥掉前景对象的层以暴露其它对象，该其它对象否则在制图内被“更接近”用户的对象隐藏。在另一个示例中，用户能够通过三维图像的不同层导航，诸如由医疗程序(诸如CT扫描或MRI)所产生的三维扫描。

另一个示例可以包括多层或三维用户界面。例如，用户界面可以作为对应于应用的平铺的图标组而被显示，但是在用户界面的较深的“平面”或层中显示另外的图标。为了接近这些另外的层，用户可以增加力敏感表面上的力。一旦用户已经接近较深的层，用户可以减少力敏感表面上的力并且停留在新的层，或者可以进一步减少力敏感表面上的力以返回到先前的层。

另外的示例可以包括多层化的“圆形”用户界面。例如，用于绘图应用的用户界面可以具有三个层：城市层、道路层和地形层。每次用户向力敏感表面施加超过阈值的力量，系统可以转换到下一层。在到达最后层时，如果用户施加超过阈值的力量，则系统可以转换回到第一层。例如，用于绘图应用的用户界面可以(例如，默认地)输出城市层。用户可以施加超过阈值的力量以循环到道路层。用户可以再次施加超过阈值的力量以循环到地形层。如果用户再次施加超过阈值的力量，则系统可以循环回到城市层。以此方式，用户可以通过施加超过阈值的力量来循环或转换通过用户界面层。

图5的方法500在框510开始，其中系统200确定第一阈值和第二阈值。在上面关于图2B的框309提供了确定第一阈值和第二阈值的说明，其通过引用并入此处。在系统200确定第一阈值和第二阈值之后，方法500进行到框520。

在框520，系统200接收指示与力敏感表面的用户交互的一个或多个信号，该一个或多个信号包括第一力和/或第一位置。力敏感表面可以与基于处理器的装置通信，并且基于处理器的装置可以与显示屏幕通信并且提供具有多个层的图形用户界面(GUI)。显示屏幕可以显示GUI的第一层。

在框530，系统200比较第一力与第一阈值。如果第一力达到或超过第一阈值，方法进行到框540。否则，方法返回到框520。

在框540，系统200产生被配置成引起GUI的第二层在显示屏幕上被显示的信号，并且输送该信号以引起第二层被显示。在改变到第二层之后，如果存在另外的层，则方法进行到框550。

在框550，系统200比较第一力与第二阈值。如果第一力达到或超过第二阈值，则方法进行到框560。否则，如框555描述的，系统停留在第二层。

在框550，系统200产生被配置成引起GUI的第三层在显示屏幕上被显示的信号，并且输送该信号以引起第三层被显示。

在某些示例中，可以采用多于三个层。在某些这样的示例中，可以使用另外的阈值以触发转换到另外的层。

图5B描述了状态图502，该状态图502描述了对应于图5A中显示的方法500的状态和状态之间的转换。状态图502代表系统200的GUI的三个不同的层：层1状态532，层2状态534和层3状态552。初始地，系统200处于层1状态532，其中用户可以在各种位置接触显示屏幕，而不超过第一阈值，用户的动作不触发到另一个层的改变。然而，如果用户的接触达到或超过第一阈值，则系统200转换到层2状态534。如上面关于方法304描述的，如果然后用户的接触进一步达到或超过第二阈值，则系统转换到层3状态552。

现在参考图6，图6显示了在利用具有三个层的绘图应用的用户界面的示例中随着时间施加到力敏感表面的用户力的图表，这三个层为城市层、道路层和地形层。图6显示的图表对应于图5A中显示的方法500的一个示例。在该示例中，图5A的第一阈值和第二阈值各自包括迟滞阈值，其中阈值各自具有两个值：当系统200在较高层时使用的一个值，以及当系统200在较低层时使用的第二值。在这样的示例中，用户可以与用户界面的城市层交互直到施加的力超过第一阈值的两个值中较高的值，在此点处，系统200转换到绘图应用的道路层。随着用户继续与系统200交互，用户接触的力可以增加到第二阈值以上，从而引起系统200转换到绘图应用的地形层。

随着用户继续在绘图应用内导航，由用户施加到力敏感表面的力可以下降到第二阈值以下，从而将系统返回到绘图应用的道路层。并且最终，用户将力减少到第一阈值以下，并且系统200将绘图应用转换到城市层。

在某些示例中，第一阈值和第二阈值可以被配置成使得力范围(力间隙)在第一阈值和第二阈值之间。如果用户施加落入该力范围内的力量，则系统200可以输出触觉效果。例如，如果由用户施加的力落入用于城市层的力阈值和用于道路层的力阈值之间，则系统200可以输出包括脉冲的触觉效果。这可以增加系统200的稳定性，因为其可以警告该用户她即将改变层和/或防止用户意外地在用户界面层之间切换。

现在参考图7，图7显示了根据本公开的一个示例的基于力的对象操纵和触觉检测的方法700。参考图1B中显示的系统200执行的软件应用描述图7；然而，本文公开的方法不限于仅由图1B中显示的装置执行，而是可以由根据本公开的任何合适的系统执行。

图7的方法700在系统200接收到指示与力敏感表面的用户交互的一个或多个信号时的框710开始，该一个或多个信号包括第一力和/或第一位置。例如，当用户触摸触敏显示器250时，触敏显示器250可以提供指示接触位置和力量的一个或多个信号。在某些示例中，如上面公开的，系统200可以包括提供指示接触位置的信号的触敏显示器250，和提供力信息的分离的力传感器290。因此，根据某些示例，多个信号可以被接收和使用。在某些示例中，单个信号可以包括位置信息和力信息两者。在接收到一个或多个信号之后，方法700进行到框720。

在框720，系统200确定用户界面是否与显示屏幕上显示的对象对应(例如，基于第一位置和相关的游标的位置)。例如，如果显示屏幕显示具有多个图标和微件的主屏幕，则系统200确定与触敏显示器250的交互是否在对应于图标或微件的位置处。在某些示例中，可以通过系统200显示其它对象。例如，系统200可以在显示屏幕上显示对用于汽车的用户界面系统的控制，诸如图3中显示的气候控制系统402。在这样的示例中，系统200可以确定用户交互是否对应于在屏幕上显示的控制，诸如“A/C”控制或除霜器控制。在对应于基于触摸的游戏的另一个示例中——诸如图3中显示的游戏404，系统200可确定用户界面是否对应于用于操纵在冲浪板上的狗的控制中的一种。诸如在图3中显示的那些，其它对象可包括打火机406的图像、岩石408的图像或者羽毛410的图像。在确定用户交互对应于对象之后，方法7300进行到框730。

在框730，系统200产生被配置成使触觉输出装置240、280输出具有第一强度的第一触觉效果的第一触觉信号(例如，基于第一力和与对象相关联的纹理)，并且将第一触觉信号输出到触觉输出装置240、280。例如，图标、微件或其它图形对象可以与纹理相关联。当用户将手指拖过图形对象时，她可以感觉基于纹理的触觉效果。在该示例中，纹理检测基于由用户运用在力敏感表面上的力而改变。因此，如果用户仅在对应于图形对象的位置处轻微地接触触敏显示器250，则她可以仅感觉到对象的边缘(例如，边缘触觉效果)，但是很少或没有感觉到关于对象纹理的触觉信息。然而，当用户增加接触力时，系统200产生和输出逐渐地更代表与对象相关联的纹理的触觉效果。

例如，参考图3中显示的图像，接触岩石的用户当轻微地按压在触敏显示器250上时可以仅感觉到岩石的大体形状。然而，如果用户增加接触力，用户可以感觉到岩石的部分的粗糙度和其它部分的光滑度。而且如果用户继续增加接触力，她可以感觉到关于岩石的纹理的细微细节，诸如岩石上的小裂纹或隆起或者岩石的粒度。而且，通过增加岩石上的力，岩石的外观尺寸(视觉地、触觉地或者两者)可以增加以允许用户通过进一步增加岩石上的力来更详细地在触觉上探测岩石上的表面特征。在该示例中，触觉检测的细节水平与接触力的增加近似线性地增加。在其它示例中，触觉检测的细节水平可以不线性地增加。例如，触觉检测的细节的水平可以对数地增加。在某些示例中，纹理可以具有不同的纹理“层”，类似于上面关于图5-6描述的用户界面层，使得随着用户的力增加，其达到通过触觉效果呈现不同的纹理层的阈值。

某些示例可以基于用户交互提供另外的触觉纹理效果。例如，参考图8A，两个不同的触觉使能的软件应用810、820被显示。第一软件应用810向用户提供具有不同类型的用户可以在触觉上与之交互以感觉不同的纹理的皮肤或毛皮的多个不同的动物。例如，如果用户经由力敏感表面与羊交互，系统200可以输出对用户而言感觉柔软或韧性的变形效果，以模仿羊的羊毛、或狼的坚硬表皮的粗纹理、或者金鱼的光滑或滑的(例如，低摩擦)纹理、或者犰狳壳体的脊状纹理。

此外，系统200被配置成当用户较用力地按压力敏感表面(例如，触敏显示器250)时增加效果的强度。例如，系统200可以利用以下绘图功能来调节触觉效果的强度：

公式1：V(...)＝k(P)·F(...)

在公式1中，V对应于触觉输出装置240、280的输出电压，F(…)标识别理或其它渲染效果，以及k(p)提供将力P映射到在0.0和1.0之间的值的绘图函数。在某些示例中，可以使用不同的函数，诸如以下函数：

公式2：V(...)＝k(P)·F(...)+(1-k(P))·G(...)

在公式2中，V对应于触觉输出装置240、280的输出电压，F(…)和G(…)提供纹理或其它渲染效果，以及k(p)提供将力P映射到在0.0和1.0之间的值的绘图函数。其它示例可以提供另外的纹理或呈现效果的函数，或者在那些效果函数之间的不同权重关系。

在图8A中显示的第二软件应用820中，用户能够操纵显示的锯以切断任一个绳子或两个绳子。在一个示例中，为了操纵锯，用户可以在锯上按压并且在锯切运动中来回移动她的手指。在另一个示例中，为了操纵锯，用户可以在锯切运动中来回移动力敏感表面(例如，鼠标或操纵杆)同时以特定的力量与操纵器(例如，鼠标或操纵杆按钮)交互。这可以来回地移动虚拟锯。系统200基于用户锯切的速度，但是也基于由用户运用在力敏感表面上的力，来提高振动或摩擦效果。随着用户增加施加到力敏感表面的力，锯可以更深地切入绳子，并且因此用户可以感觉增加的摩擦或者增加的振动，以指示锯正运用更大的力或更多的绳子纤维正被切割。根据第二软件应用820的示例还利用类似于上面论述的关于第一软件应用810所使用的那些绘图公式的绘图公式。而且当该软件应用并入锯的使用时，其它应用，诸如制图或绘画应用，或利用工具的其它应用，可以基于用户对各个工具(诸如，钢笔或画笔)的操纵以及施加到工具的力提供类似的效果和响应。

现在参考图8B，显示了用于提供基于力的对象操纵和触觉检测的三个另外的软件应用850、860、870。软件应用850初始地显示封在冰或霜中的大脚兽的图像，并且用户能够通过刮掉霜来解放他。在某些示例中，当用户轻微地拖动她的手指来回地经过平面时，没有霜被刮掉，但是用户可以感觉到光滑的均匀纹理或减少的摩擦以模仿她的手指在冰上滑动。如果她轻微地增加力来刮掉霜，她感觉到由ESF输出装置提供的轻微的摩擦力以及由致动器提供的低振幅振动以模仿她的手指刮掉霜的感觉。随着用户增加接触力，系统200利用诸如上面在公式2中显示的绘图函数，以增加触觉效果的强度，其也可以触发仅当足够的力被施加时所呈现的触觉效果的方面，诸如霜中的不平整。例如，F(…)可以对应于摩擦效果，而G(…)可以对应于振动效果。此外，可以移除较大量的霜。

在软件应用860中，系统200向用户显示外观上均匀的沙场，其被覆盖在硬的脊状表面上。也就是说，较低的虚拟对象(如硬的刚性表面)可以在上部虚拟对象(如沙场)的下层。在某些示例中，随着用户与表面交互(例如，轻微地在其上拖动她的手指)，系统200产生和输出与上部虚拟对象的特性(例如，纹理)相关联的触觉效果。例如，系统200可以产生和输出与沙场相关联的纹理效果，诸如包括晶粒感或砂砾感纹理的触觉效果。可以通过ESF或者可变形的触觉输出装置提供这样的效果。如果用户向表面施加较大强度的力，系统200可以产生和输出与较低的虚拟对象相关联的一个或多个触觉效果。例如，随着用户增加接触力，下面的硬表面从纹理效果的变化中变得明显。在该示例中，不是简单地改变用于例如公式1的比例因子，而是代替地系统200增加第二触觉纹理，诸如通过转换到公式2。在某些示例中，尽管系统200可以总是使用公式2，但是代替地可以对纹理效果提供低于最小力的对应于硬表面的零权重。因此，用户能够在触觉上确定没有在视觉上呈现的信息的存在，即在沙的下方的硬表面的存在。

软件应用870提供类似于软件应用860的功能的功能，其中用户初始地被呈现第一纹理。在该示例中，第一纹理可以是提供柔软或湿软感觉以模仿胶质感觉的变形效果。然而，在胶质内的某些区域中，硬对象可以存在，诸如在图8B中显示的豆。在某些情形中，对象可以是可见的，而在其它情形中，对象可以是不可见的。在某些示例中，随着用户在显示屏幕上拖动她的手指并且遇到豆，触觉效果的性质可以改变以指示豆的存在。例如，随着用户以逐渐增加的力向下按压，系统200输出较坚硬的变形以指示由对应于胶质的较软变形所包围的豆的存在。在某些示例中，较坚硬的变形的大小可以对应于豆的大小，而在其它示例中，只要用户的接触对应于豆的位置，则提供较坚硬的变形效果。

现在参考图9，图9显示了根据本公开的一个示例的用于基于力的对象操纵和触觉检测的方法900。关于图1B中显示的系统200执行的软件应用来描述图9；然而，本文公开的方法不限于仅由图1B中显示的装置执行，而是可以由根据本公开的任何合适的系统执行。

图9的方法900在系统200接收到指示与力敏感表面的用户交互的一个或多个信号时的框910开始，该一个或多个信号包括第一力和/或第一位置。该信号可以来自触敏显示器250或力传感器290。例如，当用户触摸触敏显示器250时，力敏感表面可以提供指示接触位置和接触力量的一个或多个信号。在某些示例中，如上面公开的，系统200可以包括提供指示接触位置的信号的触敏显示器250和提供力信息的分离的力传感器290。因此，多个信号可以被系统200接收和使用。在某些示例中，单个信号可以包括位置信息和力信息两者。在接收到一个或多个信号之后，方法900进行到框920。

在框920，系统200确定用户和系统200之间的交互。这样的交互可以实际上包括用户与系统200的任何交互。例如，用户可能希望将图标从触敏显示器250上的一个位置移动到另一个位置。在这样的示例中，用户可以按压位于触敏显示器250上的图标。随着用户增加触敏显示器250上的力，用户的接触可以通过阈值，在该阈值处，系统200确定用户正尝试移动图标。方法900然后进行到框930。

在框930，在确定用户正尝试移动图标之后，系统200输出触觉效果，诸如简短的棘爪效果。方法900然后返回到框910，并且再次进行到框920。在框920的第二迭代中，用户移动她的手指到屏幕上的新位置。在此情形中，因为用户已经“捡起”图标，系统200通过跟随用户的手指运动将图标移动到新的位置。方法900再次进行到框930。在框930，系统200提供触觉效果以促进图标的移动，诸如减少触敏显示器250上的摩擦力(例如，经由ESF或USF触觉输出装置)。再次，方法返回到框910。

在框910，系统200继续接受用户交互信号。这可以从用户与力敏感表面(例如，触敏显示器250)的继续接触中产生，并且进行到框920。然而，此时，用户减少力敏感表面上的力，但是不将她的手指整个地提升离开力敏感表面，以在新的位置使图标“下降”。系统200确定用户的接触力已经下降到允许移动图标的阈值以下，并且系统200确定图标正在下降。方法900进行到框930，其中系统200输出另一个触觉效果，诸如简短的棘爪。这可以指示移动操作的完成。此后，方法900再次返回到框910以等待与系统200的继续交互。

上面的示例是利用根据本公开的系统的基于力的交互的使用的示例。然而，考虑其它基于力的交互。例如，用户可以使用力在三维环境内导航游标。在一个这样的示例中，在触敏显示器250上的横向运动可以对应于在环境内的X轴和Y轴位移，而增加的或减少的力可以导致在Z轴中的基于速率的位移。为了在沿着Z轴的正运动和负运动之间进行区分，系统200可以输出不同的振动或其它触觉效果。或者系统200可以在中间点力处输出触觉效果，在此处，没有发生Z轴运动以辅助用户维持Z轴位置，同时在X轴或Y轴中横向地移动。

在另外的示例中，系统200可以提供用于在装置已经被闲置达延长的时间段之后解锁装置的提高的能力。例如，在不活动的时段，系统200可以锁定自身以防止未经许可的使用。为了解锁装置，用户可以输入密码。可替代地，用户可以执行基于力的手势。例如，用户可以使她的手指从左到右扫过屏幕并且快速连续地重重地按压三次以解锁装置。或者这样的基于力的手势可以与传统的基于运动的手势组合。例如，用户可以锯齿形模式扫过触敏显示器250，并且在每一次方向改变期间重重地按压以解锁装置。

此外，这样的解锁机制可以包括触觉以辅助用户的力的使用。例如，当执行力增加的轻扫手势时，一个示例可以提供对应于三个不同的力水平“带”的三个不同触觉纹理中的一种。在该示例中，纹理在“砂砾”上增加，因为用户从较低的力带转换到较高的力带。在某些示例中，系统可以输出简短的棘爪以指示力带的变化。因此，当用户尝试施加合适的力量时，用户由装置辅助。这样的示例还可以辅助用户记住作为触觉响应的序列，或者甚至作为对应于不同的力带的数量的序列的力序列。例如，用户的力代码可以有助记忆地被记起为1、2、3、2、3、1，以对应于3个力带中的每一个。尽管在该示例中使用了三个力带，但是某些示例可以利用更大数量或更小数量的力带。

在某些示例中，接触力可以是播放视频游戏的完整部分。例如，播放高尔夫游戏的用户可以通过在一个方向首先轻扫来挥动球杆以产生反冲，并且任何在相反方向挥动以挥动球杆。为了增强游戏，可能还需要用户在挥杆期间在用户的手指经过球上的时刻用力地按压以击打球。用户的高力接触越精确地对应于球的位置，球击打可能是更精确的，或者驱动可能更长的距离。为了辅助用户执行挥杆，示例可以提供对应于高尔夫挥杆方面的触觉效果。例如，触觉效果可以向用户提供基于挥杆“质量”的触觉反馈。在一个这样的示例中，当用户在反冲时往回拉动球杆杆头时，可能需要用户跟随特定的路径，或者在特定时间施加合适的力。系统200可以输出触觉效果，诸如减少沿着正确的反冲路径的摩擦，并且提供在力点处的纹理。而且，在力点处，系统200可以输出被配置成辅助用户施加正确的力量的触觉效果。例如，在达到力点时，用户可以增加力直到系统200输出棘爪，在此点，用户可以继续反冲运动。而且，在挥杆和与球接触期间，用户可以增加力来击打球，并且可以接收立即的触觉反馈，诸如基于施加到球上的力的精度度和力的位置改变幅度的振动效果。

此外，与反冲一样，系统200可以提供在球的位置处的纹理效果以辅助用户在适当的位置处施加增加的力。而且，系统200可以在球处提供对应于击打球的力量的一个或多个力激活的振动棘爪。因此，用户可以通过施加变化水平的力与系统200交互，但是也可以接收触觉反馈，来辅助用户施加合适的力量，以及在执行某些任务时引导用户。

除允许用户将力变化包含到与根据本公开的系统200交互中，某些示例还可以在这样的基于力的操纵期间辅助用户。例如，当用户增加与触敏显示器250的接触力时，系统200可以输出被配置成减少滑动摩擦的系数的触觉效果。这可以允许用户更容易地将她的手指拖过装置。在一个示例中，系统200以与由用户施加到装置的力成正比地增加触觉效果。这样的功能可以允许用户更容易地向装置施加较高的力，而还不施加增加的允许她的手指移动经过装置的表面的横向力。在其它示例中，系统200可以通过施加接触力将触觉效果的幅度改变到另一个算法，诸如对数尺度。在某些示例中，系统200可以向触敏显示器250施加变化的纹理以指示由装置感测到的增加的力。这样的变化的纹理可以指示用户她可能进入不同的交互模式，诸如上面描述的操纵模式，如果她继续增加接触力的话。

尽管借助在各种机器上执行的软件描述了本文的方法和系统，但是方法和系统还可以作为特别配置的硬件被实施，诸如特别用于执行各种方法的现场可编程门阵列(FPGA)。例如，示例可以在数字电子电路中或者在计算机硬件、固件、软件或其组合中被实施。在一个示例中，装置可以包括一个或多个处理器。处理器包括计算机可读介质，诸如联接到处理器的随机存取存储器(RAM)。处理器执行存储在存储器中的计算机可执行程序指令，诸如执行一个或多个编辑图像的计算机程序。这样的处理器可包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和状态机。这样的处理器还可以包括诸如PLC的可编程电子装置、可编程中断控制器(PIC)、可编程逻辑装置(PLD)、可编程只读存储器(PROM)、电子可编程只读存储器(EPROM或EEPROM)或其它类似装置。

这样的处理器可包括例如计算机可读介质的介质或者可以与之通信，该介质可以存储指令，当该指令由处理器执行时，该指令可以使处理器执行本文描述的如由处理器执行的或者由处理器辅助的步骤。计算机可读介质的示例可以包括但不限于电子存储装置、光学存储装置、磁性存储装置或能够向诸如网络服务器中的处理器的处理器提供计算机可读指令的其它存储装置。介质的其它示例包括但不限于软盘、CD-ROM、磁盘、存储芯片、ROM、RAM、ASIC、配置的处理器、所有光学介质、所有磁带或其它磁性介质，或者计算机处理器可以从其读取的任何其它介质。描述的处理器和处理可以是在一个或多个结构中，并且可以分散在一个或多个结构中。处理器可以包括用于执行本文描述的方法(或方法的部分)中的一个或多个的代码。

本发明的某些示例的前述说明已经出于图示和说明的目的被呈现，并且并不意图是详尽的或将本发明限制到公开的精确形式。在不偏离本发明的精神和范围的情况下对本发明的各种修改和改变对本领域技术人员来说是明显的。

本文参考“一个示例”或“示例”意味着关于该示例描述的特定特征、结构和操作或其它特性可以包括在本发明的至少一个实施中。本发明不限于这样描述的特定示例。在说明书中各个地方出现的短语“在一个示例中”或“在示例中”不一定指相同的示例。在本说明书中关于“一个示例”描述的任何特定特征、结构、操作或其它特性可以与关于任何其它示例描述的其它特征、结构、操作或其它特性组合。

Claims (24)

1.一种生成触觉效果的方法，所述方法包括：

通过处理器并且从传感器接收一个或多个信号，所述信号指示与表面的交互的位置和力；

通过所述处理器，确定所述交互的位置对应于显示屏幕上显示的对象：以及

通过所述处理器，使触觉输出装置输出触觉效果，所述触觉效果被配置为以响应于所述力的增加而逐渐增加细节的方式或者以响应于所述力的减小而逐渐降低细节的方式来模拟所述对象的纹理，

其中，所述触觉效果是根据以下(i)和(ii)之间的关系来被生成的：

(i)与触觉效果相关联的触觉函数，以及

(ii)将所述力绘制成值的绘图函数。

2.根据权利要求1所述的方法，还包括：

响应于所述力是低于力阈值而产生第一层信号，该第一层信号被配置成使具有多个层的图形用户界面的第一层显示在所述显示屏幕上；以及

响应于所述力达到或超过所述第一力阈值而产生第二层信号，该第二层信号被配置成使所述图形用户界面的第二层显示在所述显示屏幕上。

3.根据权利要求2所述的方法，其中，所述力阈值是第一力阈值，并且所述方法还包括：

确定所述力是否达到或超过所述第一力阈值和大于所述第一力阈值的第二力阈值这两者；以及

响应于确定所述第一力达到或超过所述第一力阈值和所述第二力阈值这两者：

产生被配置成使所述图形用户界面的第三层显示在所述显示屏幕上的第三层信号，所述第三层不同于所述第一层和所述第二层；并且

将所述第三层信号发送到所述显示屏幕。

4.根据权利要求3所述的方法，其中，

所述第二层和所述第三层在视觉上呈现所述对象的不同的视图。

5.根据权利要求1所述的方法，其中，

所述触觉效果是第一触觉效果，并且

所述关系进一步包括与和所述第一触觉效果不同的第二触觉效果相关联的第二触觉函数。

6.根据权利要求1所述的方法，还包括：

响应于与所述对象相对应的所述交互的位置以及低于力阈值的所述力，输出第一触觉效果，该第一触觉效果被配置为模拟所述对象的第一层的第一特征；并且

响应于与所述对象相对应的所述交互的位置以及达到或超过所述力阈值的所述力，输出第二触觉效果，该第二触觉效果被配置为模拟以下(i)或(ii)的第二特征：

(i)位于所述第一层的表面下方的虚拟项目，

(ii)位于所述第一层下方的第二层。

7.根据权利要求6所述的方法，其中，

所述第二特征包括位于所述第一层的表面下方的所述虚拟项目的纹理。

8.根据权利要求6所述的方法，其中，

所述第二特征包括位于所述第一层下方的所述第二层的纹理。

9.根据权利要求6所述的方法，其中：

所述第一特征包括第一纹理，并且

所述第二特征包括第二纹理。

10.根据权利要求6所述的方法，其中，

所述力阈值是基于用户的使用模式而随时间改变的。

11.根据权利要求1所述的方法，还包括：

使所述触觉输出装置输出模拟了所述对象的第一层的第一触觉效果和模拟了所述对象的第二层的第二触觉效果的混合体。

12.根据权利要求11所述的方法，其中：

所述对象的所述第二层是位于所述对象的所述第一层的下方。

13.根据权利要求1所述的方法，还包括：

使所述触觉输出装置输出模拟了所述对象的第一层的第一触觉效果和模拟了位于所述对象内部的虚拟项目的第二触觉效果的混合体。

14.一种非瞬态的计算机可读介质，其包括能够由处理器执行以使得所述处理器进行以下操作的代码：

从传感器接收一个或多个信号，所述信号指示与表面的交互的位置和力；

确定所述交互的位置对应于在显示屏幕上显示的对象；并且

使触觉输出装置输出触觉效果，所述触觉效果被配置为以响应于所述力的增加而逐渐增加细节的方式或者以响应于所述力的减小而逐渐降低细节的方式来模拟所述对象的纹理，

其中，所述触觉效果是根据以下(i)和(ii)之间的关系来被生成的：

(i)与触觉效果相关联的触觉函数，以及

(ii)将所述力绘制成值的绘图函数。

15.根据权利要求14所述的非瞬态的计算机可读介质，还包括能够由处理器执行以使得所述处理器进行以下操作的代码：

响应于所述力是低于力阈值而产生第一层信号，该第一层信号被配置成使具有多个层的图形用户界面的第一层显示在所述显示屏幕上；以及

响应于所述力达到或超过所述第一力阈值而产生第二层信号，该第二层信号被配置成使所述图形用户界面的第二层显示在所述显示屏幕上。

16.根据权利要求15所述的非瞬态的计算机可读介质，其中，所述力阈值是第一力阈值，并且

所述计算机可读介质还包括能够由处理器执行以使得所述处理器进行以下操作的代码：

确定所述力是否达到或超过所述第一力阈值和大于所述第一力阈值的第二力阈值这两者；以及

响应于确定所述第一力达到或超过所述第一力阈值和所述第二力阈值这两者：

产生被配置成使所述图形用户界面的第三层显示在所述显示屏幕上的第三层信号，所述第三层不同于所述第一层和所述第二层；并且

将所述第三层信号发送到所述显示屏幕。

17.根据权利要求16所述的非瞬态的计算机可读介质，其中，

所述第二层和所述第三层在视觉上呈现所述对象的不同的视图。

18.根据权利要求14所述的非瞬态的计算机可读介质，其中，

所述触觉效果是第一触觉效果，并且

所述关系进一步包括与和所述第一触觉效果不同的第二触觉效果相关联的第二触觉函数。

19.根据权利要求14所述的非瞬态的计算机可读介质，还包括能够由处理器执行以使得所述处理器进行以下操作的代码：

响应于与所述对象相对应的所述交互的位置以及低于力阈值的所述力，输出第一触觉信号到所述触觉输出装置以使得所述触觉输出装置输出第一触觉效果，该第一触觉效果被配置为模拟所述对象的第一层的第一特征；并且

响应于与所述对象相对应的所述交互的位置以及达到或超过所述力阈值的所述力，输出第二触觉信号到所述触觉输出装置以使得所述触觉输出装置输出第二触觉效果，该第二触觉效果被配置为模拟以下(i)或(ii)的第二特征：

(i)位于所述第一层的表面下方的虚拟项目，

(ii)位于所述第一层下方的第二层。

20.一种生成触觉效果的系统，所述系统包括：

触觉输出装置，其被配置为接收触觉信号和输出触觉效果；

处理器，其以可通信的方式被耦合到所述触觉输出装置；以及

存储器，在该存储器上储存有能够由所述处理器执行的用于使得所述处理器进行以下操作的代码：

从传感器接收一个或多个信号，所述信号指示与表面的交互的位置和力；

确定所述交互的位置对应于在显示屏幕上显示的对象，以及所述力达到或超过力阈值；并且

使所述触觉输出装置输出触觉效果，所述触觉效果被配置为以响应于所述力的增加而逐渐增加细节的方式或者以响应于所述力的减小而逐渐降低细节的方式来模拟所述对象的纹理，

其中，所述触觉效果是根据以下(i)和(ii)之间的关系来被生成的：

(i)与触觉效果相关联的触觉函数，以及

(ii)将所述力绘制成值的绘图函数。

21.根据权利要求20所述的系统，其中，所述存储器还包括能够由处理器执行以使得所述处理器进行以下操作的代码：

响应于所述力是低于力阈值而产生第一层信号，该第一层信号被配置成使具有多个层的图形用户界面的第一层显示在所述显示屏幕上；并且

响应于所述力达到或超过所述第一力阈值而产生第二层信号，该第二层信号被配置成使所述图形用户界面的第二层显示在所述显示屏幕上。

22.根据权利要求21所述的系统，其中，

所述力阈值是第一力阈值，并且，

其中，所述存储器还包括能够由处理器执行以使得所述处理器进行以下操作的代码：

确定所述力是否达到或超过所述第一力阈值和大于所述第一力阈值的第二力阈值这两者；

响应于确定所述第一力达到或超过所述第一力阈值和所述第二力阈值这两者：

产生被配置成使所述图形用户界面的第三层显示在所述显示屏幕上的第三层信号，所述第三层不同于所述第一层和所述第二层；并且

将所述第三层信号发送到所述显示屏幕。

23.根据权利要求22所述的系统，其中，

所述第一层、所述第二层和所述第三层在视觉上呈现所述对象的不同的视图。

24.根据权利要求20所述的系统，其中，所述存储器还包括能够由处理器执行以使得所述处理器进行以下操作的代码：

响应于与所述对象相对应的所述交互的位置以及低于力阈值的所述力，输出第一触觉信号到所述触觉输出装置以使得所述触觉输出装置输出第一触觉效果，该第一触觉效果被配置为模拟所述对象的第一层的第一特征；并且

响应于与所述对象相对应的所述交互的位置以及达到或超过所述力阈值的所述力，输出第二触觉信号到所述触觉输出装置以使得所述触觉输出装置输出第二触觉效果，该第二触觉效果被配置为模拟以下(i)或(ii)的第二特征：

(i)位于所述第一层的表面下方的虚拟项目，

(ii)位于所述第一层下方的第二层。

Images