CN106774817A

CN106774817A - 触觉激活的柔性装置

Info

Publication number: CN106774817A
Application number: CN201610505799.9A
Authority: CN
Inventors: V·利沃斯克
Original assignee: Immersion Corp
Current assignee: Immersion Corp
Priority date: 2015-11-20
Filing date: 2016-06-30
Publication date: 2017-05-31
Also published as: EP3171247B1; KR20170059368A; US20170147067A1; US10860105B2; US20190107893A1; JP2017097830A; EP3171247A1; US10152125B2

Abstract

本公开涉及一种触觉效果激活的柔性装置，包括柔性框架、处理器、柔性显示器以及致动器系统。处理器被配置用于接收数据流，其中该数据流包含视觉内容。柔性显示器连接到柔性框架并且被设计用于显示来自数据流的视觉内容。致动器系统还连接到柔性框架并且从处理器接收作为处理器执行多个触觉指令的结果的驱动命令。驱动命令指导致动器系统使柔性装置变形。多个触觉指令的执行同步于在柔性显示装置上视觉内容的显示。

Description

触觉激活的柔性装置

技术领域

一个实施例一般地涉及触觉效果。更具体地，实施例涉及柔性显示装置中的触觉效果。

背景技术

触觉学是一种触觉和力反馈技术，其通过对用户应用诸如力、振动以及运动之类的触觉反馈效果(即，“触觉效果”)来利用用户的触感。可以配置诸如移动装置、触屏装置以及个人计算机之类的装置，来生成触觉效果。一般而言，对能够生成触觉效果的嵌入硬件(诸如致动器)的调用可以编程在装置的操作系统(“OS”)中。这些调用指定播放何种触觉效果。例如，当用户使用例如按钮、触屏、手柄、操纵杆、方向盘或一些其他控件与装置交互时，装置的OS可以通过控制电路向该嵌入硬件发送播放命令。该嵌入硬件然后产生由用户感知的合适的触觉效果。

通常，触觉效果依赖振动来改善视听媒体的体验。例如，在游戏背景下，当游戏包括诸如机关枪开火、爆炸或撞车的动作时，触觉效果包括与每个事件相关联的具有变化的强度以及持续时间的振动。这些振动以及其他效果，通过使用某个类型的致动器或触觉输出装置在许多装置中生成。已知用于此目的的致动器包括诸如螺线管致动器的电磁致动器、偏心惯量由马达移动的偏转转动惯量(“ERM”)致动器、线性谐振致动器(“LRA”)振动马达、电活性聚合物致动器或压电致动器。进一步地，动觉致动器可以用于通过装置的机械移动来提供触觉反馈。

发明内容

本发明的一个实施例为一种能够被变形的触觉效果激活的柔性装置。该柔性装置包括柔性框架、接收数据流的处理器以及附接到柔性框架的柔性显示器，该柔性显示器被用来显示由处理器从数据流接收的视觉内容。使柔性显示器和框架变形的触觉效果通过使致动器系统从处理器接收指导致动器使显示器和框架变形为新的形状的驱动命令来完成。该变形可以沿单轴、沿双轴或沿三个轴。

本发明的另一个实施例为一种使柔性显示器变形的方法。该方法包括在包含视觉内容的数据流中接收内容并且提取该视觉内容。该视觉内容随后被显示在柔性显示器上。触觉效果由处理器生成，处理器产生驱动命令来控制致动器系统。致动器系统随后基于该驱动命令使柔性显示器变形。

附图说明

图1是根据本发明的实施例的触觉激活的显示系统的示意图。

图2示出根据实施例，在单轴、双轴和三轴中柔性显示器变形的各种形状。

图3示出根据实施例，在单轴中的多个致动器以及可变形部件。

图4A、4B和4C示出根据实施例，柔性装置的弯曲。

图5示出根据实施例，同步于柔性装置的各种变形的音频输入轨道。

图6示出根据实施例，同步于柔性显示装置的各种变形的视觉输入轨道。

图7是根据实施例的方法流程图，其示出数据流中内容的接收以及触觉指令的执行，所述触觉指令使柔性显示器同步于相对应的视觉内容的显示而变形。

具体实施方式

柔性显示器是下一代智能电话最令人期待的特征之一，并且其吸引了工业及学术界的大量注意力。柔性显示器可以允许大量交互并且甚至可以卷绕或符合特别的曲线形状。因此，柔性显示器可以与柔性框架及致动器系统相结合从而允许将触觉效果合并和集成到可变形的显示装置中。

触觉效果激活的柔性装置的实施例包括柔性框架、处理器、柔性显示器以及致动器系统。处理器被配置用于接收数据流，其中数据流包含视觉内容。柔性显示器连接到柔性框架并且被设计用于显示来自数据流的视觉内容。致动器系统也连接到柔性框架并且接收来自处理器的驱动命令。驱动命令指导致动器系统来使柔性装置变形。

在另一个实施例中，触觉效果激活的柔性装置还包括触觉效果子系统，该触觉效果子系统存储触觉指令，当处理器执行触觉指令时，所述触觉指令使处理器生成驱动命令。在一个实施例中，在数据流中发送触觉指令之前，编写触觉指令。在另一个实施例中，不在数据流中发送任何触觉指令。而是处理器使用计算机视觉软件分析视频内容并且自动地生成触觉指令。在任一情况下，触觉指令的执行与柔性显示装置上的视觉内容的显示同步。

在另一个实施例中，介绍了使柔性显示器变形的方法。该方法以接收数据流开始，其中数据流包括视觉内容。该方法接着从数据流中提取视觉内容并且随后将其显示在柔性显示器上。处理器然后生成驱动命令来控制致动器系统。该致动器系统随后响应于驱动命令使柔性显示器变形。

在另一个实施例中，该方法进一步包括执行多个触觉指令来生成驱动命令。在一个实施例中，在接收数据流之前编写触觉指令，而在另一个实施例中，由处理器基于视觉内容自动地得到触觉指令。

图1为根据本发明实施例的柔性显示系统100的框图。系统100包括柔性显示装置110。柔性显示装置110包含柔性显示屏112和柔性框架114。柔性显示装置110还包括处理器120、包含致动器152的致动器系统150、包含操作系统132和触觉效果指令134的存储器130、音频输出140和传感器160。进一步地，柔性显示系统100经由数据流170接收内容和数据。

柔性显示屏112可以并入柔性有源矩阵有机发光二极体(“AMOLED”)显示技术或电子纸技术，或本领域普通技术人员已知的任何其他柔性显示技术。

柔性显示屏112还可以是触摸敏感的。因此，除了显示图像外，柔性显示屏112还能够识别诸如由用户提供的触摸，并且还可以识别在表面上的触摸的位置、压力量级以及持续时间中的任何一个。对应于触摸的数据被发送到处理器120或系统100内的另一个处理器，并且处理器120解释所述触摸并作为响应生成触觉效果信号。触摸表面可以使用包括电容式感应、电阻式感应、声表面波感应、压力感应、光感应等的任意感应技术来感知触摸。触摸表面可以感知多触摸接触并且能够区分同时发生的多个触摸以及触摸的位置。

柔性显示装置110还包括柔性框架114，该柔性框架114围绕包括例如处理器120、存储器130、致动器系统150以及音频输出140的柔性显示装置110的其他组件。柔性框架114还可以包括未示出的其他必要的组件，诸如电源、I/O插座、麦克风、控制按钮、相机等。

柔性显示装置110包括处理器120，其耦接到存储器130，该存储器130除了触觉效果指令134之外还可以存储操作系统。触觉效果指令134还被称为“触觉轨道”并且向处理器120提供控制致动器系统150以产生所期望的触觉效果的命令流。致动器系统150耦接到一个或多个致动器152。处理器120通过数据流170接收内容。该内容可以包括数据、指令、视频和/或音频内容。数据流120还可以包括与音频/视频内容相关联的触觉效果指令的触觉轨道。触觉效果可以包括变形、振动或二者的组合。进一步地，变形和振动可以包含在其自身的“轨道”内，得到包括振动轨道和变形轨道的触觉轨道。在一些情况中，触觉轨道还包括与音频/视频内容一致的时间标记，以确保在柔性显示屏112和音频输出140上的内容的回放与由处理器120对触觉效果指令的执行之间的同步。

处理器120可以根据高级参数决定将播放哪些触觉效果以及播放效果的顺序。一般而言，定义特定触觉效果的高级参数包括量级、频率和持续时间。低级参数(诸如流马达命令)也可以用于确定特定触觉效果。若当生成触觉效果时触觉效果包括这些参数的一些变化或基于用户交互的这些参数的某种变化，则触觉效果可以被认为是“动态的”。

致动器152可以包括一个或多个致动器，其中这种致动器可以包括变形和振动类型致动器，或其中变形致动器可以被用来变形和振动。致动器可以包括任意类型的马达，非限制地包括偏转转动惯量(“ERM”)、线性谐振致动器(“LRA”)振动马达、压电马达或螺线管致动器。除了致动器152或代替致动器152，系统100可以包括其他类型的触觉输出装置(未示出)，其可以是非机械或振动触觉的触觉装置，诸如生成静电摩擦(“ESF”)、超声表面摩擦(“USF”)的装置；用超声触觉换能器引起听辐射压力的装置；使用触觉基底以及柔性的或可变形的表面或形状变化的装置并且可以附接到用户身体的装置；提供诸如使用空气喷嘴来喷出空气的所预期的触觉输出的装置；提供电肌肉刺激的装置等。进一步地，致动器152可以利用形状记忆合金(“SMA”)线来促使柔性显示装置110沿一个或多个轴(例如沿着角)弯曲或扭转。其他技术(诸如智能材料、由马达牵引的绳或活动销阵列)也可以被用于致动。

致动器系统150和致动器152产生包括各种振动及摇动效果的触觉效果。致动器系统150和致动器152还被用于使柔性显示装置110的形状变形。如下面将要更详细讨论的，这样的变形可以发生在单轴、双轴或三轴中。这样的变形可以产生柔性显示装置在一个、两个或三个维度中的延伸、扭转或弯曲。因此，可以用振动、变形或这二者来增强柔性显示装置110上的所显示图像。

处理器120可以是任意类型的通用处理器，或可以是专门设计以提供触觉效果的处理器，诸如应用专用集成电路(“ASIC”)。处理器120可以与操作整个系统100的处理器是同一个处理器，或者可以是分开的处理器。处理器120从存储器130取回触觉效果指令134，所述触觉效果指令134指导处理器120将由致动器系统150产生何种特定的触觉效果。触觉效果指令134可以被预先加载并驻留于存储器内，或者其可以从集成端口(如通用串行总线(“USB”))加载，或者经由数据流170下载。处理器120还可以基于数据流170中接收的内容生成触觉效果指令134。数据流170可以包含随后会被存储在存储器130中的实际触觉效果指令134，或者数据流170可以包含音频和/或视觉内容，从该音频和/或视觉内容中处理器120可以实时地构造触觉效果指令，或该音频和/或视觉内容可以用来存储在存储器130中以便以后的回放。在经由数据流170发送和/或接收数据的实施例中，系统100进一步包括通信装置(未示出)，诸如Wi-Fi子系统或蜂窝链接。

存储器130可以是任意类型的存储装置或计算机可读介质，诸如随机存取存储器(“RAM”)或只读存储器(“ROM”)或任意其他类型的计算机可读存储器。存储器130存储由处理器120执行的包括操作系统132的指令。所述指令还包括触觉效果指令134，所述触觉效果指令134是：当由处理器120执行时，生成用于致动器系统150和致动器152的提供触觉效果的驱动命令，如下面更详细的公开。存储器130还可以位于处理器120的内部，或是内部及外部存储器的任意组合。

处理器120将命令以及控制信号输出到致动器系统150，该致动器系统150包括用于为致动器152供应所需要的电流及电压(如，“马达信号”)以导致所期望的触觉效果的电路以及电子组件。如之前提到的，系统100可以包括多于一个致动器152，并且每个致动器可以包括分开的驱动回路(未示出)，多个致动器152耦接到处理器120。

系统100可以包括各种传感器，诸如传感器160，用于感知与柔性显示装置110的交互。传感器160可以由以下组件构成：用于测量交互期间的变形量级的应变仪传感器、用于测量施加于柔性显示结构的力/压力的力感应电阻(“FSR”)传感器、用于检测触摸激活的显示器中单个或多个触摸输入的位置的多触摸触摸传感器、用于测量在每个触摸位置下施加的压力的多触摸压力传感器、用于捕获环境条件的温度/湿度/气压传感器、用于表征显示的运动、速度、加速度以及定向的加速计/陀螺仪/磁力计、用于捕获用户的语音命令或环境音频信息的麦克风、用于无线地从其他装置接收信息/将信息发送到其他装置的无线发射机、以及其他组件。对应于传感器160的数据被发送到处理器120或系统100内的另一个处理器，并且处理器120解释传感器数据并作为响应可以生成触觉效果信号、通过数据流170反馈音频响应以及柔性显示屏112上的视觉图像。

除了上述致动器，系统100可以包括用于提供振动触觉或动觉反馈的各种致动器，包括柔性的、半刚性的或刚性的致动器，包括电活性聚合物(“EAP”)致动器、智能流体致动器、流变流体致动器、宏纤维复合材料(“MFC”)致动器、形状记忆合金(“SMA”)致动器、压电致动器以及微机电系统(“MEMS”)致动器。

系统100可以为手持装置，诸如蜂窝电话、个人数字助手(“PDA”)、智能电话、平板电脑、游戏机、基于车辆的接口等，或可以为包括具有一个或多个致动器的触觉效果系统的任何其他类型的柔性装置。用户接口可以是触摸敏感表面，或可以是任意其他类型的用户接口，诸如麦克风、相机等。在具有多于一个致动器的实施例中，具有转动能力的每个致动器可以具有不同的转动能力以便在装置上创建广泛的触觉效果，例如每个致动器可以被独立地控制；而且一些转动致动器使其转动轴与其他转动致动器的转动轴构成角度。同样地，在具有具备其他能力的多个致动器的实施例中，每个致动器可以被独立控制以在装置上展示广泛的触觉效果。例如，可以使用多个致动器从而独立地使柔性显示装置110的四个角的每个角变形，每个角在变形率和变形角度上是不同的。

柔性显示器总体上允许通过利用变形作为额外的方法来传达信息而得到大量新的交互。然而，得自于与柔性显示器的变形交互的统一/持续的反馈可能不提供使数字地发生的事件与来自非数字空间的物理交互相关的直观表现。换句话说，用户通常不在非数字空间与尺寸为手机或平板电脑那样的小的扁平物体交互，这与实际的书、杂志或其他物体相反。实施例通过触觉通信通道向用户提供用于关于数字环境的附加信息以及引人注目的用户交互的系统。实施例扩展了用户接口设计空间、增强了与柔性显示器的交互体验，并且使得基于变形的姿态更加直观和自然。此外，实施例以触觉形式提供转化及传递关于数字世界的信息的有效方式。

柔性显示装置可以同时在三个轴内提供广泛的用户体验，而非单个表面显示。在一个实施例中，当预期事件时，柔性显示器可以远离用户弯曲，而随后当事件发生时释放或向外弯曲。例如，在观看有人试图用棒球棍击球的视频时，柔性显示器可以在棒球棍往回运动时向内弯曲并且随后当其挥向球时向外弯曲。在另一个实施例中，变形效果可以被用来标记出乎意料的事件。例如，当电影中的主角突然在一阵风中丢掉了一张纸时，平板电脑可以突然向外弯曲，并且随后缓慢地弯曲回其伸直的状态，从而回到伸直状态的转变不是易感知的。

在一个实施例中，柔性显示器可以弯曲以强调正在屏幕上发生的某些事件。例如，爆炸可以导致装置的剧烈运动，而掉入水中的卵石可以引发柔性显示器的小波纹。此外，屏幕的弯曲可以反映出观看者应该在哪里集中其注意力。当关注目标位于前景中时，具有柔性屏112的柔性显示装置110可以向外弯曲，并且随后当其位于背景中时向内弯曲。

柔性屏112的变形可以模拟经常在三维电影中产生的效果，诸如强调物体正在向观看者走来。例如，当球飞向观看者时，柔性显示装置110可以向外弯曲。

进一步地，柔性显示装置110的弯曲可以跟随在柔性屏112上显示的视频的变焦或聚焦的变化。例如，当相机拉远时，显示器可以缓慢地向外弯曲。这可以潜在地用于创建类似于眩晕效果的响应。当相机镜头拉近在主体上，而相机本身物理地远离该主体时，创建眩晕效果，反之亦然。移动有效地改变镜头的焦距而不更改图像构图，并且在图像构图中前景图像看起来相对于彼此改变尺寸。

柔性显示装置110的弯曲和变形允许用户带着更加强烈的体验来观看音频/视觉部分，例如电影。例如，爱丽丝正在她的柔性平板电脑上观看动作电影。到当角色准备用拳击打时，她感受平板电脑缩回，并且在角色击打出拳时突然向前弹出。随后当汽车爆炸时她感受到她的平板电脑随着力来回弯曲。当手榴弹扔向镜头时，她感受到她的平板电脑朝向她凸出。总之，相比于没有触觉效果时她所体验的，爱丽丝在观看电影是接收到了强烈得多的体验。

图2是根据本发明的实施例的柔性装置的各种形式的变形的图解。本说明书中对柔性装置的引用还包括对包含柔性屏的柔性装置的引用。此处，柔性装置200示出在初始未变形状态S₀，其在Y轴上的长度为Y1，在X轴上的深度为X1，并且在Z轴上的高度为Z1。

通过执行如图1中介绍的预先加载在柔性装置200内的存储器中或经由数据流接收的触觉指令，可以指示柔性装置200沿单一轴变形。例如，示出在状态S₁中的柔性装置200，在该状态下，宽度Y2比初始长度Y1增长。虽然柔性装置沿Y轴显示出变形，但是这样的变形可以沿任何轴。柔性装置200的状态S₂示出沿着两个轴的变形。在该例子中，宽度Y2比初始宽度Y1增长并且柔性装置200的深度从X1增长到了X2。以类似地方式，状态S₃示出在全部三个轴上的变形，其中Y2比初始Y1增长，X2比初始X1增长，并且现在的高度Z2比初始高度Z1增长。虽然这些变形都以“增长”示出，变形也可以是在尺寸上的缩短，或增长和缩短二者的组合。图2示出在任意轴上的仅一个变形，但是可以如下面将要描述的那样进行相当的扩展。

图3是根据本发明的实施例的在柔性装置的轴上使用多个致动器的各种形式的变形的图解。系统300包括由致动器315和320变形的可变形的外部壳体310以及325。进一步地，在实施例中，外部壳体310和325包括多个部分，此处以310a-e和325a-e示出，以允许由指令的柔性轨道驱动的柔性显示装置呈现无数种类的形状。随着致动器315和320，外部壳体310和325可以被沿着x轴、y轴以及z轴重塑(reproduce)从而允许柔性显示装置在全部三个轴上变形。

图4A是用于使用跨部分(section)410a-e的弯曲作用来使柔性装置变形的致动器415a-e的图解。此处仅以举例方式示出致动器，多种其他类型的致动器可以被用来以弯曲的方式使柔性装置变形。进一步地，尽管图4A中示出多个部件，根据所使用的致动器系统的类型，柔性装置可以由单个易弯的框架或外形构成。

图4B是根据实施例，使柔性装置的部分420a-g变形以产生波浪或波纹弯曲效果的致动器425a-g的图解。图4B可以是静态形状的表现，或是单个时间点的图解。例如，如果期望触觉轨道来传达波纹感受，例如卵石掉进湖中，那么图4B可以是单个快照，因为一个或多个波纹会从柔性装置的一端移动向另一端。根据实施例，在图4C中借助柔性装置430进一步示出这样的感受。

图5示出根据实施例，从音频输入数据流生成触觉轨道以在柔性显示装置上产生同步的变形事件的过程500。过程500包括音频输入轨道505，其在该例子中展现音频事件510、515和520并且在x轴上跨时间绘出及在y轴上示出幅度。事件510、515和520可以是任意类型的声音或多个声音。在该例子中，在时间段Δt₁期间不产生音频，因此在此时间段期间不产生相对应的触觉事件。然而，在时间段Δt₂中，存在声音510的短突发。因此，在时间段Δt₂期间在柔性装置上将会产生短的触觉效果525。触觉效果可以是柔性装置的包括弯曲在内的某个类型的变形。时间段Δt₃是另一个没有音频输入的时间段，于是因此再次地不产生触觉效果。时间段Δt₄包括更长持续时间的音频时间515，于是因此所产生的相对应的触觉效果530将具有比时间段Δt₂中的效果更长的持续时间。由触觉效果设计者进行关于何种类型的触觉效果以及实际持续时间的选择，该触觉效果设计者然后对如在图1的系统100中介绍的合适的触觉指令进行编程。

过程500在时间段Δt₅中以另一个安静间隔继续。然而，时间段Δt₆包含音频事件520，在该例子中最长的音频部分。在这个时间段期间，在柔性装置中将会产生触觉效果535。例如，如果音频事件520是一系列的隆隆声，相对应的触觉效果可以是会跨如535所示的柔性装置前进的一系列波纹。

图6示出根据实施例，作为过程600中输入的视频序列，而不是音频输入轨道。过程600示出11个帧(F₁-F₁₁)，其描绘水滴碰撞到光滑水面，生成一些波纹，并且两个小水珠向上溅起。过程600还可以包括音频轨道，诸如在图5中所示出的。如前所述，可能的触觉轨道可以包括当预期事件时，使柔性显示装置远离用户弯曲，例如，由柔性显示装置在元件610中示出的帧F₁和F₂。随后，当事件发生时，例如，当水珠碰撞水面时，如在由柔性显示装置在元件620中示出的帧F₃和F₄中向外弯曲。接下来的序列是从帧F₅到F₁₁中的水中的一系列波纹，该序列如在元件630中描绘的跨柔性显示装置被模拟。

图7为示出根据实施例的方法700的流程图，包括接收数据流、分析数据流、提取内容、同步地执行指令以生成命令来控制致动器从而产生触觉效果。在一些实施例中，图7的流程图的功能由存储在存储器或其他计算机可读或有形介质中的软件实现，并且由处理器执行。在其他实施例中，该功能可以由硬件(如，通过使用应用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等)或硬件及软件的任意组合执行。

在705，在柔性装置上起动应用。该应用可以是在柔性装置上操作的任意软件程序，包括柔性显示装置110。应用可以被配置为专门工作于在柔性显示装置110上提供触觉反馈的环境中。在710，柔性显示装置110接收数据流170。数据流170通常会包括音频内容或音频/视觉内容，并且还可以包括包含触觉效果指令134的触觉轨道。该内容还可以包括支持听觉受损用户的隐藏式字幕(closed-caption)轨道。数据流170也是用于传递处理器操作指令、操作系统更新以及用于处理器120的其他相关联的软件和更新的源。

在715，处理器120确定数据流170的内容。处理器120分析数据流170以确定数据流170是否包含任何待显示的视频内容和/或待播放的音频内容。处理器120还分析数据流170以确定是否存在关于所接收到的内容的任何相对应的触觉效果指令134。这些指令控制致动器系统150，该致动器控制系统150使用致动器152生成对应于由柔性显示装置110播放的音频、或音频/视觉内容的所期待的触觉效果。例如，触觉效果指令134可以指导处理器120来向致动器系统150生成命令，所述命令使致动器152产生与柔性显示装置110的屏幕上的爆炸的显示相关联的振动。在另一个例子中，触觉效果指令134会指示处理器120、致动器系统150和致动器152以引起柔性显示装置110中的各种弯曲，从而模拟当看到水滴碰撞光滑的湖面时的波纹效果。

在发送数据流170之前，触觉效果指令134可以由设计者使用触觉软件设计工具编写。设计者做出关于待并入将被发送至柔性显示装置的音频和/或视听内容的所需触觉事件的类型的决定。在做出关于所需触觉事件的类型的这些决定时，设计者开发通常称为触觉轨道的触觉效果“脚本”。触觉轨道可以包括用于一个或多个触觉致动器的驱动命令。存在可以被配置到柔性显示装置中的多种类型的致动器，包括振动致动器、挤压致动器和可变形系统致动器。

触觉轨道被发送至柔性显示装置110，在柔性显示装置110上，触觉轨道可以被存储在处理器120的存储器上，直到选择和播放相对应的内容为止。触觉轨道与内容同步，这样，触觉效果在合适的时间被生成。触觉轨道还可以包括时间戳标记从而确保触觉效果在恰当的时间被生成并且恰当地对应于在柔性显示装置上的显示内容。

还可能利用已经先前产生的某些效果(诸如用在高端电影剧场平台中的D-Box系统)来作为用于柔性显示装置的触觉轨道的基础，而不是从头开始编写触觉轨道。例如，在装有D-Box的剧场座椅中向右的倾斜可以被转化为柔性显示装置的左侧向上弯曲而右侧向下弯曲。

根据实施例，如果处理器120分析数据流170并且识别内容，但是未能识别任何相对应的触觉指令，那么该方法转向717。在717，在处理器120上使用计算机视觉软件来分析视频内容。计算机视觉系统可以用于检测聚焦或变焦中的变化、帧中的显著物体的深度(例如移动)以及可以映射到柔性显示装置的变形的其他特性。该分析产生可以由设计者进一步核实或编辑的半自动触觉轨道。进一步地，如果所识别的内容包括隐藏式字幕轨道，那么该隐藏式字幕轨道可以被分析用于触发振动(例如，爆炸)，此处触觉指令的生成将是合适的。

然而，处理器120还可以分析来自数据流170的内容从而自动地生成并执行触觉效果指令。如前所述，可以选择触觉效果指令134来使柔性显示装置当预期事件时远离地弯曲，随后当事件发生时，释放或向外弯曲。这些事件可以由设计者标记或使用计算机视觉或音频分析自动地检测。还可以自动地产生用于某些事件的触觉效果指令。例如，可以通过音频或视频签名来识别爆炸，并且选择用于在恰当时间标记执行的相对应的触觉效果指令。

触觉显示装置110的弯曲可以被用来反映出观看者应该将其注意力集中在哪里。虽然该动作可以由设计者识别，但是也可以基于相机聚焦以及通过分析视频中随后场景中的物体的重要性来做出自动化的近似。计算机视觉系统还可以识别快速改变深度、变焦或聚焦的物体，作为观看者应该将其注意力集中在哪里的指示。触觉轨道的这种构造和分析可以由处理器120实时或近似实时地完成。进一步地，为了留出处理时间，系统可以在将视频流显示在柔性屏上之前，使用缓冲存储器来存储和分析视频流。

进一步地，可以类似地使用包含在三维电影中的深度信息。随后可以使用在717收集的视频信息作为基础来编写与在数据流170中发送的内容相关联的触觉轨道。

在实施例中，随着视听内容正在播放，触觉轨道可以由设计者通过直接操纵装备有传感器的柔性显示装置110而编写。例如，为了产生爆炸效果，随着视频正在被观看，设计者会使显示器快速地来回弯曲。

根据实施例，方法继续到720，其中视觉和/或视听内容在柔性屏装置110上显示。如果仅存在音频内容，那么也可以由柔性显示装置播放该内容。继续到725，处理器120会执行先前识别的触觉轨道来生成用于致动器系统150的驱动命令，从而控制致动器152来产生所期望的触觉效果。如前所述，处理器120同步于所显示的内容地执行触觉轨道，从而柔性显示装置110的用户将会在恰当的时间、同步于在柔性显示装置110的屏幕上所显示的图像地感受到触觉效果。

最后，在730，随着触觉轨道中的触觉效果指令134正在被执行，处理器120及致动器系统150对致动器152生成适当的信号来使柔性显示装置110如由触觉效果指令134指导的那样变形。

本说明书所描述的本发明的特征、结构或特性在一个或多个实施例中可以任意适宜的方式组合。例如，本说明书中使用的“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其他类似语言指如下事实：结合实施例所描述的特定特征、结构或特性可以包括在本发明的至少一个实施例中。因此，本发明书中出现的短语“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其他类似语言并非必须全部涉及相同的实施例组，并且在一个或多个实施例中，所述特征、结构或特性可以任意适宜的方式合并。

本领域技术人员将轻易地理解到：上述本发明可以不同顺序的步骤和/或与所公开的配置中的元素不同的元素实施。因此，尽管本发明基于这些优选实施例被描述，对于本领域技术人员，某些修改、变形、和替换的构造会是显然的，同时保持在本发明的精神及范围内。因此，为了确定本发明的边界及界限，应当参考所附权利要求。

Claims

1.一种触觉效果激活的柔性装置，包括：

柔性框架；

被配置用于接收数据流的处理器，其中所述数据流包括视觉内容；

耦接到柔性框架并被配置用于显示所述视觉内容的柔性显示器；以及

耦接到柔性框架并被配置用于接收由所述处理器生成的驱动命令的致动器系统，

其中在接收到来自所述处理器的所述驱动命令时，所述致动器系统被配置用于使所述柔性装置变形。

2.根据权利要求1所述的触觉激活的柔性装置，进一步包括被配置用于存储多个触觉指令的触觉效果子系统，当所述多个触觉指令由所述处理器执行时，使处理器向所述致动器系统产生所述驱动命令。

3.根据权利要求2所述的触觉激活的柔性装置，其中所述多个触觉指令的执行同步于来自所述数据流的所述视觉内容的显示。

4.根据权利要求1所述的触觉激活的柔性装置，其中所述数据流进一步包括音频组件。

5.根据权利要求1所述的触觉激活的柔性装置，其中所述数据流进一步包括多个触觉指令。

6.根据权利要求2所述的触觉激活的柔性装置，其中所述多个触觉指令在所述数据流的接收之前被编写。

7.根据权利要求2所述的触觉激活的柔性装置，其中所述多个触觉指令由所述处理器基于所接收的内容自动地得到。

8.根据权利要求1所述的触觉激活的柔性装置，其中所述变形沿三个轴发生。

9.根据权利要求8所述的触觉激活的柔性装置，其中所述变形包括Z轴中的多个同时发生的变形。

10.根据权利要求1所述的触觉激活的柔性装置，进一步包括被配置用于检测交互的传感器子系统。

11.根据权利要求10所述的触觉激活的柔性装置，其中，所述交互为施加到所述柔性显示器的力。

12.一种使柔性显示器变形的方法，包括：

接收数据流，其中所述数据流包括视觉内容；

从所述数据流提取所述视觉内容；

在所述柔性显示器上显示所述视觉内容；

由处理器生成驱动命令来控制致动器系统；以及

由致动器系统响应于所述驱动命令来使所述柔性显示器变形。

13.根据权利要求12所述的方法，进一步包括由处理器执行多个触觉指令来向所述驱动器系统生成所述驱动命令。

14.根据权利要求13所述的方法，其中所述多个触觉指令的执行同步于所述视觉内容的显示。

15.根据权利要求12所述的方法，其中所述数据流进一步包括音频组件。

16.根据权利要求12所述的方法，其中所述数据流进一步包括触觉指令。

17.根据权利要求13所述的方法，其中所述多个触觉指令在所述数据流的接收之前被编写。

18.根据权利要求13所述的方法，其中所述多个触觉指令由所述处理器基于所述视觉内容自动地得到。

19.根据权利要求12所述的方法，其中所述变形沿三个轴发生。

20.根据权利要求19所述的方法，其中所述变形包括在Z轴中的多个同时发生的变形。

21.一种具有存储在其上的指令的非临时性计算机可读介质，当由处理器执行所述指令时，使处理器实现触觉效果，所述实现包括：

接收数据流，其中所述数据流包括视觉内容；

从所述数据流中提取所述视觉内容；

在柔性显示器上显示所述视觉内容；

由所述处理器生成驱动命令来控制致动器系统；以及

由所述致动器系统响应于所述驱动命令来使所述柔性显示器变形。

22.根据权利要求21所述的非临时性计算机可读介质，所述实现进一步包括由所述处理器执行多个触觉指令来向所述致动器系统生成驱动命令。

23.根据权利要求21所述的非临时性计算机可读介质，其中所述数据流进一步包括触觉指令。

24.根据权利要求23所述的非临时性计算机可读介质，所述实现进一步包括从所述数据流提取所述触觉指令，并由所述处理器基于所提取的触觉指令生成所述驱动命令。