[go: up one dir, main page]

CN111258443B - 信息输入装置 - Google Patents

信息输入装置 Download PDF

Info

Publication number
CN111258443B
CN111258443B CN201911147813.2A CN201911147813A CN111258443B CN 111258443 B CN111258443 B CN 111258443B CN 201911147813 A CN201911147813 A CN 201911147813A CN 111258443 B CN111258443 B CN 111258443B
Authority
CN
China
Prior art keywords
information
input
touch
distance
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911147813.2A
Other languages
English (en)
Other versions
CN111258443A (zh
Inventor
新仓谦太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Priority to CN202410628614.8A priority Critical patent/CN118567511A/zh
Publication of CN111258443A publication Critical patent/CN111258443A/zh
Application granted granted Critical
Publication of CN111258443B publication Critical patent/CN111258443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186Touch location disambiguation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开的实施例涉及信息输入装置。本发明的目的在于提供一种能够实现高精度的触摸操作的信息输入装置。信息输入装置包括:第一表面,用于显示输入请求信息;第二表面,用于输入输入请求信息;视点计算器,用于计算输入人员的视点方向;以及坐标校正器,用于响应于输入人员的视点方向来将输入到第二表面的位置校正为第二位置,并且在第一表面上输入与第二位置相对应的输入请求信息。信息输入装置还提供存储装置,用于保存关于第一表面与第二表面之间的距离的距离信息。

Description

信息输入装置
相关申请的交叉引用
于2018年12月3日提交的日本专利申请No.2018-226226的公开内容(包括说明书、附图和摘要)通过引用全部结合于此。
背景技术
本公开涉及一种信息输入装置,并且更具体地,本公开适用于包括触摸表面和显示表面的信息输入装置。
存在一种具有触摸检测功能的显示装置,该显示装置通过以下方式来实现信息输入:在诸如液晶显示装置等显示装置的显示屏上安装诸如触摸面板等触摸检测装置,或者将触摸检测装置和显示装置的显示屏集成在一起以显示用于在显示装置的显示屏上输入的信息的各种按钮图像。这种具有触摸检测功能的显示装置例如被用于诸如平板电脑或智能电话等便携式信息终端、汽车导航装置、游戏机、自动售货机、电子公告板机等。例如,公开的日本专利文献JP-A-2017-199062、JP-A-2018-60404。
发明内容
在具有触摸检测功能的显示装置中,触摸检测在其上被执行的触摸表面和按钮图像等在其上被显示的显示表面彼此不同。也就是说,就装置的结构而言,触摸表面和显示表面不必在深度方向(即,垂直于显示表面的方向)上彼此一致。因此,根据装置结构和操作者的视点,“从操作者观察的手指相对于显示表面的位置(期望值)”和“由触摸装置检测到的触摸点的坐标(检测值)”可能不会彼此一致。特别地,期望值与检测值之间的偏差随着连接操作者的视点和操作者的手指的直线偏离垂直于显示表面的直线而增加。这种偏离可能会给操作者带来不适和压力。
此外,当触摸表面由弯曲表面形成时,当触摸表面上设置有保护面板时,或者当在显示表面与触摸表面之间存在用于散热或吸收震动的空间或层时,期望值与检测值之间的偏离在手指和显示表面彼此分离时变大,并且存在操作不舒适或受到阻碍的可能性。
本公开的目的是提供一种能够实现高精度的触摸操作的信息输入装置。
从本说明书的描述和附图,其他目的和新颖特征将变得很清楚。
以下将简要描述对本公开的代表性实施例的概述。
也就是说,信息输入装置包括:用于显示输入请求信息的第一表面;用于输入输入请求信息的第二表面;用于检测输入人员的视点的检测器;以及用于响应于检测到的输入人员的视点来将输入到第二表面的信息转换为第一表面的信息的校正器。
根据上述信息输入装置,可以实现高精度的触摸操作。
附图说明
图1是图示根据实施例的信息输入装置的示意性配置的图;
图2是图示根据实施例1的信息输入装置的配置的图;
图3是图示操作者的输入条件的示例的图;
图4是图示方位角(γ)的计算方法的图;
图5是图示仰角(θ)的计算方法的图;
图6是图示仰角(θ)的计算方法的另一图;
图7是图示存储在存储装置中的距离图的示例的图;
图8是图示关于触摸坐标中的距离的信息的计算的示例的图;
图9是图示将触摸坐标P(x1,y1,D)校正为坐标P'(x2,y2、0)的方法的图;
图10是图示根据实施例2的信息输入装置的配置的示意图;
图11是图示根据实施例2的信息输入装置的示例性配置的图;
图12是图示根据实施例3的信息输入装置的显示表面的示例性显示的图;
图13是图示具有使用优先级感知的空间触摸表面的图;
图14是图示当从上面观察图13时的空间触摸表面的图;以及
图15是图示根据第三实施例的信息输入装置的配置的图。
具体实施方式
下面将参考附图描述这些实施例。然而,在以下描述中,相同的组件由相同的附图标记表示,并且其重复描述可以被省略。应当注意,为了清楚地说明,与实际实施例相比,附图可以被示意性地示出,但是附图仅是示例,而不限制本发明的解释。
图1是图示根据本发明的实施例的信息输入装置的示意性配置的图。信息输入装置1包括显示装置2、触摸检测装置3、保护层4、检测器5、存储装置6和校正器7。
显示装置2具有用于显示输入请求信息的显示表面2a。显示装置2例如可以由诸如液晶显示装置或有机电致发光显示装置等显示装置配置。输入请求信息例如可以是指示链接目的地的按钮、图标或字符串。
触摸检测装置3是用于检测手指或笔的触摸操作的装置。触摸检测装置3可以由触摸面板、触摸传感器、触摸装置等配置。
保护层4是用于保护触摸检测装置3的保护层。保护层4具有用于输入输入请求信息的触敏表面(第二表面)4a。保护层4可以由丙烯酸树脂、玻璃等制成。触摸检测装置3检测操作者A的手指相对于触摸表面4a的位置Af。在这种情况下,触摸坐标P对应于由触摸检测装置3检测到的实际检测值。
检测器5检测操作者A的视点的方向Ae和操作者A的面部或眼睛的位置。检测器5可以由诸如相机等成像装置组成。
存储装置6是将触摸表面4a与显示表面2a之间的多个点的距离信息d预先保存为距离图的存储单元。例如,存储装置6可以由诸如EEPROM、EPROM、ROM或闪存等非易失性存储装置配置。距离信息d可以在信息输入装置1的设计时被预先生成为设计值,并且被存储在存储装置6中。
校正器7基于由检测器5获取的操作者的视点(面部或眼睛位置)的信息以及来自存储装置6的触摸表面4a以及显示表面2a的距离信息d来将由触摸检测装置3检测到的触摸坐标P校正为触摸坐标P'。触摸坐标P'被输入到设置有信息输入装置1的系统。触摸坐标P'是从操作者A看到的触摸坐标(期望值)。
接下来,将描述信息输入装置1的操作。按钮被显示在显示装置2的显示表面2a上的坐标P'的位置处。
当按下显示在坐标P'的位置处的按钮时,操作者A首先将视线指向按钮,并且然后用指尖按下触摸表面4a。在这种情况下,通常,按钮被显示在方向Ae从操作者A的视点开始的延长线上,并且指尖移动到按钮的位置。因此,操作者A的指尖的位置Af也位于方向Ae从操作者A的视点开始的延长线上。
在此,如图1中所示,当触摸表面4a与显示表面2a分离并且操作者A的视线方向Ae从显示表面2a的垂直方向倾斜时,即使操作者A试图按下显示在坐标P'的位置处的按钮,触摸检测装置3仍然将操作者A的指尖的位置Af检测为坐标P。因此,操作者A无法选择显示在坐标P'的位置处的按钮。
在一个实施例中,校正器7基于由检测器5获取的操作者的视点的信息(面部/眼睛位置)以及来自存储装置6的距离信息d,将由触摸检测装置3检测到的触摸坐标P校正为触摸坐标P'。因此,可以实现高精度的触摸操作。另外,可以解决操作者的不适感和压力。另外,即使当触摸表面由弯曲表面形成时,在操作中引起不适感或麻烦的可能性也可以被减少。
(实施例1)
图2是图示根据实施例1的信息输入装置的配置的图。图3是图示操作者的输入条件的示例的图。
信息输入装置1包括显示装置2、显示信息生成器21、触摸检测装置3、检测器5、存储装置6和校正器7。校正器7包括图像识别单元71、视点方向计算器72和坐标校正器73。保护层4被省略。显示装置2、触摸检测装置3、检测器5和存储装置6与实施例中的相同,因此省略其描述。
图像识别单元71从检测器5接收操作者A的面部、眼睛等的捕获图像CIMG。捕获图像CIMG例如由水平坐标X和竖直坐标Y配置,并且构成图像的多个像素可以通过水平坐标X和竖直坐标Y而被标识。图像识别单元71从捕获图像CIMG中检测操作者A的面部、眼等,并且提取面部和眼睛在图像上的坐标信息。通过该坐标信息,面部或眼睛的中心的坐标信息以及面部或眼睛的大小的信息可以被获取。为了确定操作者A的面部在空间中的位置,在单眼相机的情况下,距离(深度)可以根据来自相机的输入图像中的面部的大小来被确定。另外,诸如ToF(飞行时间)相机等能够同时获取对象的图像信息和对象的距离信息的技术可以被使用。另外,除了相机之外的方法(红外线、语音、超声波等)可以被使用,或者除了相机之外的方法(声音、超声波等)和相机可以被组合使用。
视点方向计算器72从图像识别单元71接收图像上的面部和眼睛的坐标信息,并且根据面部和眼睛的坐标信息计算操作者的视点方向。例如,在图3所示的情况下,视点方向计算器72将操作者A的视点方向计算为方位角(γ)和仰角(θ)。由视点方向计算器72计算出的方位角(γ)和仰角(θ)作为(θ,γ)被输入到坐标校正器73。
坐标校正器73基于由触摸检测装置3检测到的触摸坐标P来参考存储在存储装置6中的距离图,并且获取触摸表面4a与显示表面2a之间的距离信息d。例如,在图3所示的状态下,坐标校正器73基于由触摸检测装置3检测到的触摸坐标P(x1,y1)来参考存储在存储装置6中的距离图,并且获取触摸表面4a与显示表面2a之间的距离信息d(x1,y1)。在本说明书中,对于触摸坐标P(x1,y1)和触摸表面4a与显示表面2a之间的距离信息d(x1,y1),操作者A的手指相对于显示表面2a的空间坐标被表示为(x1,y1,d)。坐标校正器73计算通过从操作者A的视点方向(θ,γ)开始延长操作者的手指的空间坐标(x1,y1,d)而获取的显示表面2a上的点P'(x2,y2),作为校正后的坐标。
基于校正坐标点P'(x2,y2),显示信息生成器21选择要在显示装置2的显示信息DI中的坐标(x2,y2)上显示的输入请求信息(按钮)BT。因此,操作者A想要的输入请求信息(按钮)BT可以被选择,而不会使操作者A感到不适和压力。
接下来,将描述通过视点方向计算器72计算方位角(γ)和仰角(θ)的方法的示例。
图4是图示计算方位角(γ)的方法的图。图5和6是示出计算仰角(θ)的方法的图。图5图示了捕获图像的平面图。图6是从侧面看时图5的侧视图。在此,与智能电话一样,当显示表面2a与作为检测器5的相机彼此接近,并且显示表面2a的法线方向与相机(5)的视场彼此平行时,当相机(5)也近似地存在于显示表面2a的中央时,视点方向的计算可以被简化。
首先,假定图4或5中所示的捕获图像是响应于操作者A的触摸操作而从相机(5)输入到图像识别单元71。图像识别单元71从捕获图像中提取操作者A的面部或眼睛的坐标信息(中心和大小)。视点方向计算器72根据捕获图像的中心(cx,cy)以及通过将距离转换为角度而获取的值(仰角(θ))来获取“面部”或“眼睛”的中心坐标(tx,ty)的方向(方位角(γ))。例如,可以通过以下等式将其转换(近似)为指示面部和眼睛相对于观察表面2a的方向的信息:
参考图4,方位角(γ)可以通过以下等式(1)和(2)来获取。
γ≈atan((ty-cy)/(tx-cx)×180×PI (等式1)
=atan((ty-cy)/(tx-cx)×180×PI+180 (等式2)
其中等式1是当(tx-cx)为正时的等式,而等式2是当(tx-cx)为负时的等式,PI是圆周系数。
参考图5和6,仰角(θ)可以通过以下等式3来获取。
如图5和6中所示,K是相机的对角线视角。L表示捕获图像的中心(cx,cy)与“面部”或“眼睛”的中心坐标(tx,ty)之间的距离。S是捕获图像的中心(cx,cy)与捕获图像的角部之间的距离。
接下来,将描述通过坐标校正器73计算触摸表面4a与显示表面2a之间的距离信息D的示例性方法。在此,将描述计算示例,其中显示表面2a和触摸表面4a的距离信息(距离图)以网格形式被保存在存储装置6中。
图7是图示存储在存储装置6中的示例性距离图的图。在本实施例中,存储装置6以X方向上四个点和Y方向上四个点(总共16个点)的网格形式保存显示表面2a的距离信息和触摸表面4a的距离信息。在各个网状点d[x,y](x=0,1,2,3,y=0,1,2,3)处,显示表面2a与触摸表面4a之间的距离信息d被存储。存储在存储装置6中的距离图不限于图7。距离信息可以被保存为诸如计算公式或CAD数据等值。
图8是图示触摸坐标中的距离信息的计算的示例的图。该示例示出了当存储装置6存储图7中所示的距离信息时计算距离信息的示例。在图8中,操作者A触摸触摸表面4a的触摸坐标P(xs,ys)。在该实施例中,操作者A的手指触摸由触摸表面4a上的四个点(d(x,y)、d(x+1,y)、d(x,y+1)和d(x+1),y+1))组成的矩形表面,并且手指的坐标被定义为触摸坐标P(xs,ys)。
在这种情况下,与触摸坐标P(xs,ys)相对应的显示表面2a与触摸表面4a之间的距离信息D可以通过以下等式4来计算。
D={dt1×(1-b)}+{dt2 x b}={(d[x,y]×(1-a)+d[x+1,y]×a)×(1-b)}+{(d[x,y+1]×(1-a)+d[x+1,y+1]×a)×b} (等式4)
接下来,将解释用于将触摸坐标P(x1,y1,D)校正为操作者A使用通过等式1至3获取的视点方向(θ,γ)和通过等式4获取的距离信息D所看到的触摸点的坐标P'(x2,y2,0)的过程。
图9是图示将触摸坐标P(x1,y1,D)校正为坐标P'(x2,y2,0)的方法的图。在此,触摸坐标P(x1,y1,D)指示操作者A的手指在触摸表面2a上的空间坐标。坐标P'(x2,y2,0)指示当从操作者A观察时显示表面2a的空间坐标。坐标P(x1,y1,0)是视差校正之前的坐标,而坐标P'(x2,y2,0)是视差校正之后的坐标。
坐标P(x1,y1,D)可以通过以下等式5至等式7校正为坐标P'(x2,y2,0)。
m=D×sin(θ)/cos(θ) (等式5)
x2=m×cos(γ)+x1 (等式6)
y2=m×sin(γ)+y1 (等式7)。
在此,m是当考虑视差时显示表面2a上的移动距离。
根据实施例1,校正器7基于由检测器5获取的操作者的视点(面部或眼睛位置)的信息(方位角(γ)和仰角(θ))以及来自存储装置6的距离信息d,来执行由触摸检测装置3检测到的触摸表面4a上的触摸坐标P到显示表面2a上的触摸坐标P'的校正。结果,具有高精度的触摸操作可以被实现。另外,操作者的不适感和压力可以被解决。另外,即使当触摸表面由弯曲表面形成时,在操作中引起不适感或麻烦的可能性也可以被减少。
(实施例2)
图10是图示根据实施例2的信息输入装置的示意性配置的图。图10中所示的信息输入装置1a是实施例或实施例1的应用。图10与图1的不同之处在于,图10中设置有触摸检测装置30、包括触摸表面40a的保护膜40、以及检测器50。也就是说,图10所示的信息输入装置1a包括被提供用于一个显示装置2的多个触摸检测装置3和30、以及用于检测多个操作者的多个检测器(相机A和B)5和50,并且实现例如从操作者A到触摸检测装置3的触摸输入以及从操作者B到触摸检测装置30的触摸输入。
存储装置6存储包括在触摸表面4a与显示表面2a之间的多个点的距离信息d的距离图、以及包括触摸表面40a与显示表面2a之间的多个点的距离信息d的距离图。
检测器(相机A)5是用于检测操作者A的视点的方向以及操作者A的面部和眼睛的位置的单元。检测器(相机B)50是用于检测操作者B的视点的方向以及操作者B的面部和眼睛的位置的单元。
校正器7基于由检测器5、50获取的操作者A、B的视点的信息(面部和眼睛的位置)以及来自存储装置6的触摸表面4a、40a以及显示表面2a的距离信息d来执行由触摸检测装置3、30检测到的触摸坐标Pa(X1a,Y1a,Z1a)、Pb(X1b,Y1b,Z1b)到触摸坐标Pa'(X2a,Y2a,0)和Pb'(X2b,Y2b,0)的校正。也就是说,在信息输入装置1a中,以与实施例或实施例1中相同的方式将操作者A的手指在触摸表面4a上的触摸坐标Pa(X1a,Y1a,Z1a)校正为显示装置2的显示表面2a上的触摸坐标Pa'(X2a,Y2a,0)。操作者B的手指在触摸表面40a上的触摸坐标Pb(X1b,Y1b,Z1b)被校正为显示装置2的显示表面2a上的触摸坐标Pb'(X2b,Y2b,0)。其余配置与实施例或实施例1相同,因此省略其说明。
图11是图示根据实施例2的信息输入装置的示例性配置的图。图11中所示的信息输入装置1a与图1中所示的信息输入装置的不同之处在于,在图11中,检测装置50的捕获图像被输入到图像识别单元71,并且触摸检测装置30的检测结果被输入到坐标校正器73。其余配置与图2中的相同,将省略其描述。
除了实施例1中描述的提取操作者A的面部和眼睛的坐标信息的功能以外,图像识别单元71还具有对检测器(相机B)50的捕获图像执行识别功能以及在图像上提取操作者B的面部和眼睛的坐标信息的功能。
视点方向计算器72具有将操作者A的视点方向计算为方位角(γ)和仰角(θ)的功能、以及将操作者B的视点方向计算为方位角(γ)和仰角(θ)的功能。
坐标校正器73具有将操作者A的手指的触摸坐标Pa(X1a,Y1a,Z1a)校正为显示装置2的显示表面2a上的触摸坐标Pa'(X2a,Y2a,0)的功能、以及将操作者B的手指在触摸表面40a上的触摸坐标Pb(X1b,Y1b,Z1b)校正为显示装置2的显示表面2a上的触摸坐标Pb'(X2b,Y2b,0)的功能。因此,多个检测器(相机A和B)5和50用作用于标识输入是操作者A的输入还是操作者B的输入的标识单元。
尽管在图11中的校正器7由触摸检测装置3、检测器5、触摸检测装置30和检测器50共享,但是校正器7的配置不限于图11。例如,可以设置两个校正器7,一个校正器可以被分配给触摸检测装置3和检测器5,另一校正器可以被分配给触摸检测装置30和检测器50。
根据实施例2,可以提供一种信息输入装置,其中通过在复杂的触摸表面上进行输入并且考虑到视差,多个操作者A和B可以在不干扰彼此的操作的情况下访问单个显示装置(显示表面2a)。在包括实施例2的信息输入装置的系统中,可以通过标识和掌握操作者A和操作者B中的哪个操作来实现多点触摸控制。
尽管多个手指的触摸操作的标识可以通过多点触摸技术来执行,但是存在无法确定哪个触摸是哪个触摸的问题。在利用本实施例的信息输入装置1a的系统中,可以为每个操作者分离和标识触摸表面。因此,即使触摸操作在相同显示装置上被执行,系统也可以提供期望的服务,同时系统掌握执行触摸操作的人员。
另外,校正器7基于由检测器5、50获取的操作者A、B的视点的信息以及来自存储装置6的距离信息d来执行由触摸检测装置3、30检测到的触摸坐标Pa、Pb到触摸坐标Pa'、Pb'的校正。结果,可以实现高精度的触摸操作。另外,对操作者A和操作者B的不适感和压力感可以被消除。另外,即使当触摸表面由弯曲表面形成时,在操作中引起不适感或麻烦的可能性也可以被减少。
(实施例3)
图12是图示根据实施例3的信息输入装置的显示表面的示例性显示的图。在该实施例中,在假定操作者A的手指Af接触触摸表面4a的情况下来配置实施例1和实施例2,但是本发明不限于此。例如,诸如被安装在汽车导航装置上的运动控件等触摸表面可以被形成在显示表面的正规空间的一部分中。也就是说,本实施例应用于非接触型信息输入装置,其不包括物理触摸表面,并且通过识别来自相机的捕获图像的图像来实现手指在空间中的位置的触摸操作。
在这种情况下,通过利用被保存在存储装置6中的距离图,向下触摸确定(touch-down determination)的空间深度响应于显示在显示装置2的显示表面2a上的输入请求信息的内容而被改变。结果,可以为操作者提供改善的可操作性。此外,由于错误操作而导致的错误输入可以被防止。代替如实施例1至实施例2中那样在存储装置6中具有固定距离图,距离图可以根据显示内容被动态地生成,从而将可能由操作者A操作的输入请求信息的空间触摸表面设置为距操作者A的短距离。结果,操作者A的可操作性可以被提高。另一方面,操作者A不想操作太多的输入请求信息或操作者A不需要操作的输入请求信息的空间触摸表面被设置为相对于操作者A的长距离,从而抑制了错误操作。
图12示出了显示装置2的显示表面2a上的显示图像。在该实施例中,显示屏幕包括用于请求回答“是否可以?”的字符串、以及第一按钮BT1、第二按钮BT2和第三按钮BT3作为输入请求信息。例如,第一按钮BT1包括“是”显示,第二按钮BT2包括“否”显示,并且第三按钮BT3具有“再次开始”显示。按钮是示例,并且可以是字符串、图形或图标。
在如图12所示的显示图像的情况下,通常,第一按钮BT1和第二按钮BT2的使用优先级倾向于更高,并且第三按钮BT3的使用优先级被认为是低于第一按钮BT1和第二按钮BT2的使用优先级。应当注意,“使用优先级高”可以是指“操作者A想要操作”,而“使用优先级低”可以是指“操作者A不想操作太多”。
图13是图示其中考虑了使用优先级的空间触摸表面的图。图14是图示当从上面观察图13时的空间触摸表面的图。如图13和14中所示,使用优先级很高的第一按钮BT1的空间触摸表面(第一触摸表面)TBT1和第二按钮BT2的空间触摸表面TBT2存在于距显示装置2的显示表面2a的距离DT1的空间中。另一方面,具有较低使用优先级的第三按钮BT3的空间触摸表面(第二触摸表面)TBT3存在于距显示装置2的显示表面2a的距离DT2的空间中。距离DT2短于距离DT1(DT2<DT1)。当从操作者A的手指Af的位置观察时,与第三按钮BT3的空间触摸表面TBT3相比,第一按钮BT1的空间触摸表面TBT1和第二按钮BT2的空间触摸表面TBT2被布置为更靠近操作者A的手指Af的位置。因此,与第一按钮BT1和第二按钮BT2相比,操作者A处于易于选择第一按钮BT1和第二按钮BT2并且难以选择第三按钮BT3的状态。
图15是图示根据实施例3的信息输入装置的配置的图。信息输入装置1b包括显示装置2、显示信息生成器21、触摸检测装置3、检测器5、存储装置6、以及图像识别单元74。检测器(相机)5不限于相机,并且除了相机之外的方法(红外、声音、超声波等)可以被使用。
检测器(相机)5拍摄操作者A的手指Af的位置,并且将捕获图像输入到图像识别单元71。图像识别单元74从捕获图像中识别手指Af的位置的坐标,并且将手指Af输入到触摸检测装置3。
显示信息生成器21生成要在显示装置2上显示的显示图像。在此,假定显示图像包括用于请求答复“OK”的字符串、第一按钮BT1、第二按钮BT2和第三按钮BT3作为输入请求信息(第一输入请求信息和第二输入请求信息),如参考图12所述。当显示图像包括作为输入请求信息的第一按钮BT1、第二按钮BT2和第三按钮BT3时,显示信息生成器21将第一按钮BT1、第二按钮BT2和第三按钮BT3的空间触摸表面TBT1、TBT2和TBT3的距离信息(DT1,DT2和DT3)存储在存储装置6中。距离信息根据显示在显示装置2上的显示图像而被改变。
触摸检测装置3基于从图像识别单元74输入的捕获图像中手指Af的位置坐标、以及当前显示在显示图像中的第一按钮BT1、第二按钮BT2和第三按钮BT3的空间触摸表面TBT1、TBT2和TBT3距离信息(DT1、DT2和DT3)来确定由操作者A选择的第一按钮BT1、第二按钮BT2或第三按钮BT3。确定结果被输入到显示信息生成器21。结果,显示信息生成器21将由操作者A选择的第一按钮BT1、第二按钮BT2或第三按钮BT3的信息输入到包括信息输入装置1b的系统。
利用这种配置,可以为操作者提供改善的可操作性。此外,由于错误操作而导致的错误输入可以被防止。
实施例3不限于汽车导航装置。本发明还适用于用于在汽车的挡风玻璃上显示字符、图形等的平视显示技术。例如,本发明可以用于以下情况:在自动驾驶等中在防护玻璃上从多个车辆中选择要跟随的车辆,或者改变或重置行程计。
以上,基于实施例对本发明人的发明进行了详细说明,但是本发明并不限于上述实施例,可以对本发明进行各种修改。
(附录)
Apx1.一种信息输入装置,包括:
显示装置,包括显示表面;
显示信息生成器,可以在所述显示表面上显示第一输入请求信息和第二输入请求信息;
图像识别单元,识别输入人员的手指的位置;以及
触摸检测装置,检测由所述图像识别单元识别出的所述输入人员的手指是否触摸了触摸表面,所述触摸表面包括输入所述第一输入请求信息并且与所述显示表面相距第一距离布置的第一触摸表面、以及输入所述第二输入请求信息并且与所述显示表面相距第二距离布置的第二触摸表面;
其中所述第二距离从所述第一距离缩短,以及
其中当所述显示信息生成器在所述显示表面上显示所述第一输入请求信息和所述第二输入请求信息时,所述第二触摸表面被布置在所述显示表面与所述第一触摸表面之间。
Apx2.根据权利要求15所述的信息输入装置,还包括存储包括所述第一距离和所述第二距离的信息的存储装置。
Apx3根据权利要求16所述的信息输入装置,其中当所述显示信息生成器在所述显示表面上显示所述第一输入请求信息和所述第二输入请求信息时,所述显示信息生成器将包括所述第一距离和所述第二距离的信息存储在所述存储装置中。

Claims (14)

1.一种信息输入装置,选择通过输入人员的操作而输入的输入信息,所述信息输入装置包括:
第一表面,显示第一输入请求信息和第二输入请求信息;
第二表面,形成在所述第一表面上并且包括第一位置,并且通过触摸所述第一位置,在与所述第一位置垂直的方向上在第二位置处输入所述第一输入请求信息;
校正器,根据捕获图像计算所述输入人员的视点方向,并且响应于计算出的所述输入人员的视点方向来将所述第二位置校正为第三位置,并且选择所述第三位置处的所述第二输入请求信息作为所述输入信息;以及
触摸检测装置,将与所述第一位置相对应的坐标作为第一触摸坐标输入到所述校正器;
其中所述校正器包括:
图像识别单元,从所述捕获图像中提取所述输入人员的面部和眼睛的坐标信息;
视点方向计算器,根据所述坐标信息计算所述输入人员的所述视点方向;以及
坐标校正器,基于所述视点方向和距离信息,通过将所述第一触摸坐标校正为包括所述第三位置的所述坐标,来将所述第二位置校正为所述第三位置,
其中所述视点方向是所述输入人员的所述眼睛相对于所述第一表面的方向,并且
其中所述距离信息包括所述第一表面与所述第二表面之间的距离。
2.根据权利要求1所述的信息输入装置,其中朝向所述第一表面的所述视点方向从所述第一表面的垂直方向倾斜。
3.根据权利要求1所述的信息输入装置,还包括存储所述距离信息的存储装置。
4.根据权利要求1所述的信息输入装置,还包括捕获和输出所述输入人员的所述捕获图像的检测器。
5.根据权利要求1所述的信息输入装置,所述输入人员是第一输入人员,所述第一表面还显示第三输入请求信息和第四输入请求信息,并且所述信息输入装置还包括第三表面,所述第三表面形成在所述第一表面上并且包括第四位置,并且所述第三表面通过触摸第二输入人员的所述第四位置,在与所述第四位置垂直的方向上在第五位置处输入所述第三输入请求信息,
其中所述校正器还根据捕获图像计算所述第二输入人员的视点方向,并且响应于计算出的所述第二输入人员的视点方向来将所述第五位置校正为第六位置,并且选择所述第六位置处的所述第四输入请求信息作为所述输入信息。
6.根据权利要求5所述的信息输入装置,其中朝向所述第一输入人员和所述第二输入人员的所述第一表面的所述视点方向分别从所述第一表面的垂直方向倾斜。
7.根据权利要求6所述的信息输入装置,
其中显示在所述第三位置的所述第二输入请求信息和显示在所述第六位置的所述第四输入请求信息相同,
其中所述第二位置和所述第五位置不同,
其中所述第三位置和所述第六位置相同。
8.根据权利要求7所述的信息输入装置,
其中所述第一表面包括第一区域和不与所述第一区域重叠的第二区域,
其中所述第二位置被包括在所述第一区域中,并且所述第五位置被包括在所述第二区域中。
9.根据权利要求8所述的信息输入装置,
其中所述第三位置被包括在所述第二区域中,
其中所述第六位置被包括在所述第一区域中。
10.根据权利要求5所述的信息输入装置,
其中所述校正器响应于计算出的所述第一输入人员的所述视点方向、以及包括所述第一表面与所述第二表面之间的距离的第一距离信息,来将所述第二位置校正为所述第三位置,
其中所述校正器还响应于计算出的所述第二输入人员的所述视点方向、以及包括所述第一表面与所述第三表面之间的距离的第二距离信息,来将所述第五位置校正为所述第六位置。
11.根据权利要求10所述的信息输入装置,还包括存储所述第一距离信息和所述第二距离信息的存储装置。
12. 根据权利要求10所述的信息输入装置,还包括:
第一触摸检测装置,将包括所述第一位置的坐标作为第一触摸坐标输入到所述校正器;以及
第二触摸检测装置,将包括所述第四位置的坐标作为第二触摸坐标输入到所述校正器;
其中所述校正器通过将第一触摸坐标和所述第二触摸坐标校正为分别包括所述第三位置和所述第六位置的坐标,来将所述第二位置和所述第五位置校正为所述第三位置和所述第六位置。
13.根据权利要求12所述的信息输入装置,还包括捕获和输出所述第一输入人员和所述第二输入人员的所述捕获图像的检测器,其中
所述图像识别单元从所述捕获图像中提取所述第一输入人员和所述第二输入人员的面部和眼睛的坐标信息;
所述视点方向计算器根据所述坐标信息计算所述第一输入人员和所述第二输入人员的所述视点方向;并且
所述坐标校正器基于所述第一输入人员和所述第二输入人员的所述视点方向、以及所述第一距离信息和所述第二距离信息,将所述第一触摸坐标和所述第二触摸坐标校正为包括所述第三位置和所述第六位置的所述坐标。
14.根据权利要求1所述的信息输入装置,还包括标识所述输入人员的标识单元,其中所述标识单元包括相机。
CN201911147813.2A 2018-12-03 2019-11-21 信息输入装置 Active CN111258443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410628614.8A CN118567511A (zh) 2018-12-03 2019-11-21 信息输入装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-226226 2018-12-03
JP2018226226A JP7178888B2 (ja) 2018-12-03 2018-12-03 情報入力装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410628614.8A Division CN118567511A (zh) 2018-12-03 2019-11-21 信息输入装置

Publications (2)

Publication Number Publication Date
CN111258443A CN111258443A (zh) 2020-06-09
CN111258443B true CN111258443B (zh) 2024-06-07

Family

ID=68581567

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911147813.2A Active CN111258443B (zh) 2018-12-03 2019-11-21 信息输入装置
CN202410628614.8A Pending CN118567511A (zh) 2018-12-03 2019-11-21 信息输入装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202410628614.8A Pending CN118567511A (zh) 2018-12-03 2019-11-21 信息输入装置

Country Status (4)

Country Link
US (2) US20200174641A1 (zh)
EP (1) EP3663897B1 (zh)
JP (1) JP7178888B2 (zh)
CN (2) CN111258443B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4152128B1 (en) * 2021-09-17 2024-01-03 Bayerische Motoren Werke Aktiengesellschaft Control unit for improving a user touch control, method and computer program
JP2023131286A (ja) * 2022-03-09 2023-09-22 マクセル株式会社 入力装置およびエレベータシステム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011165141A (ja) * 2010-02-15 2011-08-25 Sharp Corp 電子機器および電子機器の制御方法
WO2011114590A1 (ja) * 2010-03-16 2011-09-22 シャープ株式会社 位置入力装置、位置入力システム、位置入力方法、位置入力プログラム及びコンピュータ読み取り可能な記録媒体
CN102365610A (zh) * 2009-03-31 2012-02-29 三菱电机株式会社 显示输入装置
CN102812420A (zh) * 2010-03-18 2012-12-05 富士胶片株式会社 立体显示装置和立体成像装置、用于上述装置的优势眼判定方法和优势眼判定程序以及记录介质
JP2014049023A (ja) * 2012-09-03 2014-03-17 Sharp Corp 入力装置
TW201416930A (zh) * 2012-10-25 2014-05-01 Acer Inc 觸碰位置補償方法及裝置
US8884928B1 (en) * 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays
CN104298412A (zh) * 2014-11-10 2015-01-21 上海摩软通讯技术有限公司 移动终端及其触摸屏操作校准方法
CN104423884A (zh) * 2013-09-05 2015-03-18 罗伯特·博世有限公司 数据和/或通信设备及其控制方法
CN104662499A (zh) * 2012-10-01 2015-05-27 阿尔卡特朗讯 具有视差补偿的触摸屏装置
JP2017134709A (ja) * 2016-01-29 2017-08-03 富士通株式会社 電子機器、電子機器の制御プログラム及びその方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296304A (ja) * 1998-04-10 1999-10-29 Ricoh Co Ltd 画面表示入力装置及び視差補正方法
JP2009110275A (ja) * 2007-10-30 2009-05-21 Sharp Corp 表示入力装置及びその視差補正方法
WO2014147715A1 (ja) * 2013-03-18 2014-09-25 株式会社 東芝 情報処理装置、制御方法およびプログラム
US9280234B1 (en) * 2013-06-25 2016-03-08 Amazon Technologies, Inc. Input correction for touch screens
US20160196002A1 (en) * 2013-09-04 2016-07-07 Sharp Kabushiki Kaisha Display device
JP2015114682A (ja) * 2013-12-09 2015-06-22 小島プレス工業株式会社 タッチパネル装置
KR102224478B1 (ko) * 2014-04-15 2021-03-08 엘지전자 주식회사 터치 센서티브 플렉서블 디스플레이 디바이스 및 그 제어 방법
JP6611501B2 (ja) * 2015-07-17 2019-11-27 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
US9778792B2 (en) * 2015-11-12 2017-10-03 Dell Products L.P. Information handling system desktop surface display touch input compensation
JP6583113B2 (ja) * 2016-04-15 2019-10-02 株式会社デンソー 情報処理装置及び表示システム
JP6504107B2 (ja) 2016-04-25 2019-04-24 京セラドキュメントソリューションズ株式会社 操作入力装置、画像形成装置及び操作入力方法
JP2018060404A (ja) 2016-10-06 2018-04-12 株式会社ジャパンディスプレイ 表示装置およびタッチ操作の補正方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102365610A (zh) * 2009-03-31 2012-02-29 三菱电机株式会社 显示输入装置
JP2011165141A (ja) * 2010-02-15 2011-08-25 Sharp Corp 電子機器および電子機器の制御方法
WO2011114590A1 (ja) * 2010-03-16 2011-09-22 シャープ株式会社 位置入力装置、位置入力システム、位置入力方法、位置入力プログラム及びコンピュータ読み取り可能な記録媒体
CN102812420A (zh) * 2010-03-18 2012-12-05 富士胶片株式会社 立体显示装置和立体成像装置、用于上述装置的优势眼判定方法和优势眼判定程序以及记录介质
US8884928B1 (en) * 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays
JP2014049023A (ja) * 2012-09-03 2014-03-17 Sharp Corp 入力装置
CN104662499A (zh) * 2012-10-01 2015-05-27 阿尔卡特朗讯 具有视差补偿的触摸屏装置
TW201416930A (zh) * 2012-10-25 2014-05-01 Acer Inc 觸碰位置補償方法及裝置
CN104423884A (zh) * 2013-09-05 2015-03-18 罗伯特·博世有限公司 数据和/或通信设备及其控制方法
CN104298412A (zh) * 2014-11-10 2015-01-21 上海摩软通讯技术有限公司 移动终端及其触摸屏操作校准方法
JP2017134709A (ja) * 2016-01-29 2017-08-03 富士通株式会社 電子機器、電子機器の制御プログラム及びその方法

Also Published As

Publication number Publication date
US20200174641A1 (en) 2020-06-04
EP3663897B1 (en) 2023-11-01
EP3663897A1 (en) 2020-06-10
JP7178888B2 (ja) 2022-11-28
CN118567511A (zh) 2024-08-30
US20210165551A1 (en) 2021-06-03
JP2020091509A (ja) 2020-06-11
US11455061B2 (en) 2022-09-27
CN111258443A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
JP5412227B2 (ja) 映像表示装置、および、その表示制御方法
KR102079097B1 (ko) 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
US20120320198A1 (en) Imaging sensor based multi-dimensional remote controller with multiple input mode
JP6733731B2 (ja) 制御装置、プログラムおよび制御方法
US10168769B2 (en) Input apparatus, input method, and program
RU2598598C2 (ru) Устройство обработки информации, система обработки информации и способ обработки информации
US8416189B2 (en) Manual human machine interface operation system and method thereof
JP5766957B2 (ja) ジェスチャ入力装置
US20150301647A1 (en) Touch panel-type input device, method for controlling the same, and storage medium
CN111258443B (zh) 信息输入装置
JP6792721B2 (ja) 電子機器、プログラム、制御装置および制御方法
TWI499938B (zh) 觸控系統
US11023050B2 (en) Display control device, display control method, and computer program
US11082615B2 (en) Mobile terminal device that generates picture where person&#39;s eye direction in shot image has been modified
CN113867562A (zh) 触摸屏报点的校正方法、装置和电子设备
KR101542671B1 (ko) 공간 터치 방법 및 공간 터치 장치
JP2014049023A (ja) 入力装置
JP2017157135A (ja) 入力装置及び入力方法
JP7179334B2 (ja) ジェスチャ認識装置及びジェスチャ認識装置用プログラム
US11899834B2 (en) Information processing device and method
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
JP2015162079A (ja) タッチ位置補正システムおよび自動取引装置
US9116573B2 (en) Virtual control device
WO2019003747A1 (ja) ウエアラブル端末
TWM662766U (zh) 三維物件控制系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant