[go: up one dir, main page]

CN109891382B - 基于手势的用户界面 - Google Patents

基于手势的用户界面 Download PDF

Info

Publication number
CN109891382B
CN109891382B CN201680090312.3A CN201680090312A CN109891382B CN 109891382 B CN109891382 B CN 109891382B CN 201680090312 A CN201680090312 A CN 201680090312A CN 109891382 B CN109891382 B CN 109891382B
Authority
CN
China
Prior art keywords
wearable device
occupant
movement
vehicle
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680090312.3A
Other languages
English (en)
Other versions
CN109891382A (zh
Inventor
陈一凡
阿布舍克·夏尔马
汪谦益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Motor Co
Original Assignee
Ford Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Motor Co filed Critical Ford Motor Co
Publication of CN109891382A publication Critical patent/CN109891382A/zh
Application granted granted Critical
Publication of CN109891382B publication Critical patent/CN109891382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/164—Infotainment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种计算机被编程为从乘员可穿戴装置接收数据并基于移动分类器检测所述可穿戴装置相对于车辆方向盘的移动。基于地面实况数据创建移动分类器，所述地面实况数据指示当乘员的手接触所述车辆方向盘时所述可穿戴装置的所述移动。所述计算机还被编程为然后根据所述检测到的移动在所述车辆中引起动作。

Description

基于手势的用户界面
背景技术
车辆通常配备有一个或多个人机界面。人机界面(通常被称为HMI)可以采用多种形式，并且可以用于向各种车辆元件提供输入和/或接收来自各种车辆元件的输出，所述各种车辆元件例如信息娱乐系统、气候控制系统、通信系统、抬头显示器和/或内置式显示器等。现有的HMI通常要求车辆操作者将视线移开道路或车辆正在操作的其他区域和/或可能以其他方式分散操作者的注意力。例如，当车辆驾驶员致动诸如物理旋钮、按钮等HMI和/或车辆触摸屏时，操作者可以将他或她的一只手或两只手从车辆方向盘上移开。
附图说明
图1是示出车辆、可穿戴装置和移动电话的图示。
图2A是示出图1的可穿戴装置相对于方向盘的移动的图示。
图2B是示出图1的可穿戴装置相对于方向盘的另一移动的图示。
图3是基于图2A至图2B中所示的移动的人机界面的示例性状态图。
图4是用于识别可穿戴装置的移动分类器的示例性过程的流程图。
图5是用于为特定用户创建图4的移动分类器的示例性过程的流程图。
图6是用于检测可穿戴装置的移动的另一示例性过程的流程图。
技术领域
本发明涉及一种计算机，其被编程为从乘员可穿戴装置接收数据并基于移动分类器检测可穿戴装置相对于车辆方向盘的移动。
发明内容
一种计算机被编程为从乘员可穿戴装置接收数据；基于移动分类器检测可穿戴装置相对于车辆方向盘的移动，其中基于地面实况数据来创建移动分类器，所述地面实况数据指示当乘员的手接触车辆方向盘时可穿戴装置的移动；以及根据检测到的移动在车辆中引起动作。
计算机还可以被编程为至少通过检测可穿戴装置围绕横向于车辆方向盘的轴的旋转来检测可穿戴装置的移动。
计算机还可以被编程为至少通过检测可穿戴装置围绕与车辆方向盘相切的轴的旋转来检测可穿戴装置的移动。
计算机还可以被编程为接收与从乘员可穿戴装置接收的数据同步的地面实况数据，所述接收的地面实况数据指示装置的移动；计算从乘员可穿戴装置接收的数据的包括平均、最大、最小和标准偏差中的至少一者的统计特征；基于地面实况数据确定与可穿戴装置的移动相关的一个或多个统计特征；并且至少基于所确定的与可穿戴装置的移动相关的一个或多个统计特征来识别移动分类器，每个移动分类器至少包括可穿戴装置的移动中的一个与相应的一个或多个统计特征的关联。
所述接收的地面实况数据可以指示乘员的手是否与车辆方向盘接触。
所述接收的地面实况数据可以指示可穿戴装置围绕横向于车辆方向盘的轴的旋转。
所述地面实况数据可以指示可穿戴装置围绕与车辆方向盘相切的轴的旋转。
计算机还可以被编程为至少部分地基于移动分类器来检测可穿戴装置相对于车辆方向盘的移动。
可以从可穿戴装置接收地面实况数据。
动作可以是致动触觉模块、在与车辆和可穿戴装置中的至少一着相关联的显示器上输出图形信号中的一者。
计算机还可以被编程为至少基于检测到的移动的速度、方向和重复次数中的一者来选择动作。
一种方法包括：从可穿戴装置接收数据；使用接收的数据，基于移动分类器检测可穿戴装置相对于车辆方向盘的移动，其中基于地面实况数据来创建移动分类器，所述地面实况数据指示当乘员的手接触车辆方向盘时可穿戴装置的移动；以及至少基于检测到的移动在车辆中引起动作。
检测可穿戴装置的移动可以包括检测可穿戴装置围绕横向于车辆方向盘的轴的旋转。
检测可穿戴装置的移动可以包括检测可穿戴装置围绕与车辆方向盘相切的轴的旋转。
动作可以是致动车辆致动器、向车辆控制器输出致动信号、在与车辆和可穿戴装置中的至少一者相关联的显示器上输出图形信号中的一者。
所述方法还可以包括：接收与从乘员可穿戴装置接收的数据同步的地面实况数据，所述接收的地面实况数据指示可穿戴装置的移动；计算从可穿戴装置接收的数据的包括平均、最大、最小和标准偏差中的至少一者的统计特征；基于所述接收的地面实况数据确定与可穿戴装置的移动相关的一个或多个统计特征；以及至少基于所确定的与可穿戴装置的移动相关联的一个或多个统计特征来识别移动分类器，每个移动分类器至少包括可穿戴装置的移动中的一个与相应的一个或多个统计特征的关联。
所述接收的地面实况数据可以指示乘员的手是否与车辆方向盘接触。
所述接收的地面实况数据可以指示可穿戴装置围绕横向于车辆方向盘的轴的旋转。
所述接收的地面实况数据可以指示可穿戴装置围绕与车辆方向盘相切的轴的旋转。
可以从可穿戴装置接收地面实况数据。
具体实施方式
引言
参考附图，其中相同的附图标记在各个附图中表示相同的零件，可穿戴装置210的计算机、移动装置230和/或车辆100的计算机110被编程为从可穿戴装置210接收数据。计算机110被编程为检测可穿戴装置210相对于车辆100的方向盘220的移动。计算机110还被编程为基于所接收的数据确定在检测到移动的同时乘员的手是否与方向盘220物理接触，即触摸。计算机还被编程为至少基于检测到的移动和在乘员的一只手或两只手触摸方向盘220时发生检测到的移动的确定来致动一个或多个车辆100部件。
系统元件
图1示出了车辆100、可穿戴在乘员手上的装置210以及移动装置230。车辆100的计算机110可以例如经由无线通信网络与移动装置230和/或可穿戴装置210通信。
可以以各种已知方式(例如，利用电动马达和/或内燃发动机)来对车辆100提供动力。车辆100包括计算机110、致动器120和包括如下所述的其他部件。
计算机110包括诸如已知的处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并存储可由计算机110执行的用于执行包括如本文所公开的各种操作的指令。
计算机110可以以自主、半自主或非自主模式操作车辆100。出于本公开的目的，自主模式被定义为其中车辆100的推进、制动和转向中的每一者由计算机110控制的模式。在半自主模式中，计算机110控制车辆100的推进、制动和转向中的一者或两者。在非自主模式下，推进、制动和转向由车辆100的人类操作者控制。
因此，计算机110可以包括编程以操作以下一者或多者：车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆的加速)、转向、气候控制、内部灯和/或外部灯等，以及确定计算机110(而非人类操作者)是否并且何时控制此类操作。
计算机110一般被布置用于在车辆通信网络上进行通信，所述车辆通信网络诸如车辆中的总线，诸如控制器局域网(CAN)等。计算机110可以包括多于一个处理器，或者例如经由车辆通信总线通信地耦合到多于一个处理器，所述多于一个处理器例如包括在车辆中用于监控和/或控制例如动力传动系统控制器、制动控制器、转向控制器等各种车辆控制器等的控制器或类似装置。
经由车辆网络，计算机110可以向车辆中的各种装置传输消息和/或从各种装置接收消息，所述各种装置例如致动器120等。替代地或另外，在计算机110实际上包括多种装置的情况下，车辆通信网络可以用于在本公开中表示为计算机110的装置之间的通信。此外，如下文所述，各种装置和/或传感器可以经由车辆通信网络向计算机110提供数据。
经由诸如BluetoothTM等无线通信网络，计算机110可以向诸如可穿戴装置210、移动装置230等装置传输消息和/或从其接收消息。
车辆100中的致动器120经由电路、芯片或可以根据如已知的适当控制信号来致动车辆100的各种部件的其他电子部件来实施。例如，致动器120可以包括诸如显示器、扬声器、触觉模块等装置，或用于车辆100的操作控制的致动器，诸如继电器和伺服马达等。因此，致动器120可以用于与人类操作者交互和/或控制主车辆100的制动、加速和转向中的一者或多者。用于控制致动器120的控制信号可以由计算机110、位于车辆100中的控制单元(例如，制动控制器)等生成。作为另一个示例，车辆100的计算机110可以发送信号以致动触觉模块致动器120，以在车辆100的显示器致动器120或与可穿戴装置210相关联的显示器上输出图形信号，和/或以将音频信号输出到车辆100的扬声器致动器120。
可穿戴装置210(例如，智能手表)可以包括传感器、芯片或可以测量与可穿戴装置210的对准和移动相关联的物理参数的其他电子部件。例如，物理参数可以包括可穿戴装置210的取向(例如，在具有平行于地面的两个轴和一个垂直轴的三维坐标系中)、速度的方向和/或大小、加速度或装置210的位移等中的一者或多者。特定地说，可穿戴装置210可以包括诸如已知的加速度计和/或陀螺仪。可穿戴装置210可以包括诸如BluetoothTM等无线网络接口，以与移动装置230和/或车辆100的计算机110通信。
移动装置230(例如，智能电话)包括诸如已知的处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储可由移动装置230的计算机执行以执行各种操作的指令，所述各种操作例如与车辆100的计算机110和/或可穿戴装置210通信。
如下所述，当乘员的手在方向盘220上时，可穿戴装置210和/或移动装置230的计算机可以检测可穿戴装置210相对于车辆100的方向盘220的移动。此外，移动装置230的计算机和/或可穿戴装置210可以基于从可穿戴装置210的传感器接收的数据识别可穿戴装置210的特定移动，例如，乘员的手腕的顺时针或逆时针旋转。
为了检测可穿戴装置210的移动，可穿戴装置210和/或移动装置230的计算机可以基于所接收的数据满足与可穿戴装置210的特定移动相关联的一个或多个标准来检测特定移动。例如，可穿戴装置210的加速度矢量可以包括加速度大小和加速度方向。因此，可穿戴装置210的特定移动可以与可穿戴装置210的加速度大小范围和/或加速度方向范围相关联。范围可以指两个预定阈值之间的值，例如标量大小和/或方向。特定移动的一个或多个标准可以由用于特定移动的移动分类器指定。如本文使用的术语“移动分类器”可以包括一组一个或多个逻辑语句，包括至少基于接收的数据的逻辑和/或数学运算，例如，第一移动分类器可以指定加速度大小小于第一阈值，并且1秒的时间窗口中加速度方向的变化大于第二阈值。
可以使用各种技术来生成移动分类器。作为一个示例，计算机(例如，测试实验室中的计算机、移动装置230的计算机和/或车辆100的计算机110)可以被编程为接收与从可穿戴装置210接收的数据同步的地面实况数据，即已知与特定移动的执行有关的参考数据，指示装置210的移动。“同步”意指在任何给定时间包括在测量中的地面实况数据对应于在相应时间从可穿戴装置210接收的数据。地面实况数据可以包括指示特定移动的名称以及特定移动的速度、方向、持续时间或其他属性的数据。另外，地面实况数据可以包括指示当获得地面实况数据时乘员的手是否与方向盘220接触的数据。例如，地面实况数据可以包括与从装置210接收的数据同步的手的状态信号。手的状态信号可以包括接通和断开状态，指示乘员的手是否与方向盘220接触。
然后，车辆100的计算机110、可穿戴装置210的计算机、移动装置230的计算机或它们的任何组合可以计算从装置210接收的数据(例如，位移、速度矢量、加速度矢量等)的统计特征，例如，最大、平均、最小、标准偏差等，并基于地面实况数据确定与装置210的移动相关的统计特征。每个移动分类器可以包括装置210的移动与相应统计特征的至少一个关联。下面参考图2A至图2B讨论用于特定移动的移动分类器。
如上所述，地面实况数据可以指示当获得地面实况数据时，乘员的手是否与方向盘220接触。计算机可以被编程为基于手的状态信号和从装置210接收的数据识别用于仅在乘员的手与方向盘220接触时检测特定移动的分类器。换句话说，计算机可以被编程为识别从可穿戴装置210接收的数据的与地面实况数据相关的特定统计特征，所述地面实况数据指示乘客的手与方向盘220接触时的移动。
图2A示出了可穿戴装置210围绕横向于车辆100的方向盘220的轴A1的移动。“横向于方向盘220”在本文中意指方向盘220的圆圈和轴A1的相交。轴A1和方向盘220之间的角度可以至少取决于乘员的手如何与方向盘220接触，例如，基于乘员的手抓握方向盘220时乘员的手的姿势。在一个示例中，当乘员的手与方向盘220接触时，例如，当乘员的手抓握方向盘220时，可穿戴装置210在示例性路径P1上围绕轴A1移动。从图2A中所示的示例性第一位置开始，装置210可以在两个方向上在路径P1上移动，例如，朝向路径P1的两端中的任何一个。例如，右侧速度矢量vr1示出了装置210在移动到路径P1的与第一位置隔开距离D1的第一端时在第一位置处的速度。作为另一示例，左侧速度矢量vl1示出了装置210从第一位置朝向路径P1的第二端的移动。速度矢量vr1、vl1包括大小值和方向元素。装置210可以包括加速度计。速度矢量，例如vr1、vl1，可以通过从加速度计获得的加速度矢量随时间的数值积分来计算。速度矢量可以由计算机(例如车辆100的计算机110、移动装置230等)计算。
在一个示例中，路径P1可以是围绕轴A1的二维线，例如曲线，或者替代地是三维空间曲线。因此，装置210围绕轴A1的移动可以是围绕轴A1的旋转。考虑到速度矢量vr1、vl1的大小和方向两者，加速度矢量a2可以表示装置210的加速度的大小和方向。取决于装置210的速度大小和速度方向的变化，加速度矢量a2方向可以在各个方向上，例如，朝向轴A1或远离轴A1。当路径P1是三维空间路径时，则a2可以是三维矢量，即加速度矢量a2的方向元素可以包括三维坐标。在一个示例中，装置210可以包括向车辆100的计算机110、移动装置230等输出加速度矢量a2的传感器。另外或替代地，诸如车辆100的计算机110或移动装置230等计算机可以至少基于速度大小和方向，例如，速度矢量vr1、vl1，来计算加速度矢量a2。
在另一示例中，装置210可以包括在三维空间中输出装置210的取向的传感器。例如，装置210的取向可以由垂直于装置210的表面215的三维矢量表示。这种三维矢量例如包括三个标量分量，标量分量例如包括标量分量的三元组。车辆100的计算机110可以从装置210接收取向数据。
在一个示例中，地面实况数据可以包括指示装置210围绕轴A1的移动的数据，如图2A所示。另外，地面实况数据可以包括指示围绕轴A1的移动方向(例如，装置210是朝向路径P1的第一端还是第二端移动)的数据。实验室计算机等，即，在其中执行测试以收集用于对车辆计算机110和/或装置210进行编程的经验数据的设施中的计算机，可以被编程为从装置210接收包括加速度矢量a2、取向O1、位移值D1和可能的其他数据的一者或多者的数据。计算机可以基于地面实况数据确定所接收的数据的与装置210围绕轴A1的移动(例如，旋转)相关的统计特征。例如，这样的统计特征可以包括平均、最大、最小、标准偏差等。此外，计算机可以被编程为至少基于所确定的与装置210围绕轴A1的移动相关的统计特征来识别围绕轴A1的移动的移动分类器。然后，车辆100的计算机110可以被编程为至少基于移动分类器和从装置210接收的数据来检测装置210围绕横向于车辆100的方向盘220的轴A1的旋转。
另外，基于指示乘员的手是否在方向盘220上的地面实况数据，计算机可以确定在乘员的手与方向盘220接触时围绕轴A1的移动的移动分类器。基于这样的移动分类器，车辆100的计算机110可以仅当在围绕轴A1旋转时乘员的手与方向盘220接触时检测装置210围绕轴A1的旋转。
图2B示出了可穿戴装置210围绕与车辆100的方向盘220相切的轴A3的移动。“与方向盘220相切”意指轴A3在单个点处接触方向盘220的圆圈。在一个示例中，乘员的手抓握方向盘220的一段，所述段包括轴A3接触方向盘220的单个点。当乘员的手与方向盘220接触时，例如，当乘员的手抓握方向盘220时，可穿戴装置210可以在示例性路径P2上围绕轴A3移动。从图2B中所示的示例性第一位置开始，装置210可以在两个方向上在路径P2上移动，例如，朝向路径P2的两端中的任何一个。例如，右侧速度矢量vr2示出了装置210在移动到路径P2的与第一位置隔开距离D2的第一端时在第一位置处的速度。作为另一示例，左侧速度矢量vl2示出了装置210从第一位置朝向路径P2的第二端的移动。速度矢量vr2、vl2包括大小值和方向元素。装置210可以包括向计算机(例如，车辆100的计算机110、移动装置230等)输出速度矢量vr2、vl2的速度传感器。
在一个示例中，路径P2可以是围绕轴A3的二维线，例如曲线，或者替代地是三维空间曲线。因此，装置210围绕轴A3的移动可以称为围绕轴A3的旋转。考虑到速度矢量vr2、vl2的大小和方向两者，加速度矢量a4可以表示装置210的加速度的大小和方向。取决于装置210的速度的大小和/或方向的变化，加速度矢量a4方向可以在各个方向上，例如，朝向轴A3或远离轴A3。在一个示例中，装置210可以包括向车辆100的计算机110、移动装置230等输出加速度矢量a4的传感器。另外或替代地，车辆100的计算机110或移动装置230可以至少基于速度大小和方向，例如，速度矢量vr2、vl2，来计算加速度矢量a4。车辆100的计算机110可以从装置210(例如，传感器)接收取向数据O2。注意，以上对取向O1的说明同样适用于取向O2。
在一个示例中，地面实况数据可以包括指示装置210围绕轴A3的移动的数据，如图2B所示。此处应当理解，地面实况数据可以指示各种类型的移动，例如，围绕轴A1的移动(参见图2B)和/或围绕轴A3的移动。例如，可以在地面实况数据中使用各种标识符来区分各种移动。另外，地面实况数据可以包括指示围绕轴A3的移动方向(例如，装置210是朝向路径P2的第一端还是第二端移动)的数据。可以对实验室计算机等进行编程以从装置210接收包括速度矢量vr2、vl2、加速度矢量a4、取向O2、位移值D2和可能的其他数据中的一者或多者的数据。计算机可以基于地面实况数据确定所接收的数据的与装置210围绕轴A3的移动(例如，旋转)相关的统计特征。此外，计算机可以被编程为至少基于所确定的与装置210围绕轴A3的移动相关的统计特征来识别围绕轴A3的移动的移动分类器。
如参考图2A说明，基于指示乘员的手是否在方向盘220上的地面实况数据，计算机110可以确定在乘员的手与方向盘220接触时围绕轴A3的移动的移动分类器。基于这样的移动分类器，装置210或/和移动装置230的计算机可以仅当在围绕轴A3旋转时乘员的手与方向盘220接触时检测装置210围绕轴A3的旋转。
参考图2A至图2B，应当理解，图中所示的移动可以在不干扰车辆100转向(即握住车辆100的方向盘220和/或使其旋转)的情况下进行。换句话说，当乘员握住方向盘220和/或使其旋转以使车辆100转向时，乘员可以进行上述移动。
继续参考图2A至图2B，乘员的手可以在车辆100的各种操作模式下与方向盘220接触。例如，当车辆100以非自主模式操作时，乘员的手可以与方向盘220接触。另外，乘员的手可以在其他操作模式(诸如半自主和/或自主操作模式)下与方向盘220接触。
图3示出了基于上面参考图2A至图2B描述的移动的检测的HMI的示例性状态图300。可以根据状态图300对移动装置230的计算机和/或车辆100的计算机110进行编程，以基于乘员的输入(即，移动G1、G2、G3、G4、G1*、G2*、G1**和/或G2**)来控制车辆100的各种操作，如表1所述。
Figure GDA0002035612840000121
表1
示例性状态图300可以包括多个状态306、308、310、318和326，以提供用于配置和/或调整车辆100的音频播放器、巡航控制和/或导航操作的HMI。在本上下文中，“配置”表示启用或禁用与相应车辆操作相关联的特征，例如，打开或关闭音频播放器。在本上下文中，“调整”表示修改与相应的车辆操作相关联的参数，例如，改变车辆巡航控制操作的设定速度，改变气候控制系统的设定温度等。另外或替代地，状态图300可以包括与一个或多个其他车辆操作(例如，车辆座椅调整、后视镜调整、挡风玻璃擦拭物配置和/或调整等)相关联的其他状态。
状态图300在初始化点302开始，其中移动装置230的计算机和/或装置210检测初始化触发，例如，乘员摇动装置210等，并且通过转变304前进到状态306以控制车辆音频播放器操作，即，车辆100的计算机110将状态306设定为活动状态。替代地，在初始化时，状态图300可以具有到某个其他状态的转变，例如导航状态310。
在检测到G3或G1**移动时，移动装置230的计算机与车辆100的计算机110通信并命令车辆100的计算机110经由转变320将状态318设置为活动状态以将音频播放器状态改变为开启或关闭。在检测到每个G2移动时，移动装置230的计算机与车辆100的计算机110通信并命令它经由返回转变324在音频播放器在检测到移动G2之前为打开时将音频播放器关闭，或反之亦然。
在检测到G4或G2**移动时，车辆100的计算机110经由转变322将状态306设定为活动状态。另外或替代地，状态图300可以包括经由转变连接到状态306的其他状态，例如，用于选择无线电信道、音乐轨道等。
在检测到G1移动时，移动装置230的计算机与车辆100的计算机110通信并命令它经由转变312将状态308设定为活动状态以控制车辆100的巡航控制操作。例如，在检测到G3或G1**移动时，车辆100的计算机110经由转变328将状态326设置为活动状态以调整车辆巡航控制操作的设定速度。在检测到移动G1*、G2*时，车辆100的计算机110经由转变332、334增加或减小设定速度，如图3所示。例如，移动G1*、G2*中的每一者可以将设定速度增加或减少3km/h，或者与执行G1*和G2*的速度成比例的某一其他间隔。
在检测到G4或G2**移动时，移动装置230的计算机与车辆100的计算机110通信并命令车辆100的计算机110经由转变330将状态308设定为活动状态。另外或替代地，状态图300可以包括经由转变连接到状态308的其他状态，例如，用于打开或关闭巡航控制操作。
在检测到G1移动时，移动装置230的计算机与车辆100的计算机110通信并命令车辆100的计算机110经由转变314将状态310设定为活动状态以控制导航操作。例如，状态图300可以包括具有连接到状态310的转变的其他状态，用于提供车辆导航操作的配置，例如，以开始或停止经由显示器提供的导航指令。
在检测到G1移动时，移动装置230的计算机与车辆100的计算机110通信并命令车辆100的计算机110经由转变316将状态306设定为活动状态以控制车辆音频播放器操作，即，乘员可以通过连续的G1移动浏览各种车辆操作(由状态306、308和310示出)以便实现车辆操作，所述车辆操作意在进行配置和/或调整。
示例性状态图300未示出结束状态；然而，作为示例，移动装置230的计算机和/或车辆100的计算机110可以在没有检测到与活动状态相关的任何移动时，在超过最大时间阈值之后禁用状态图300。相关表示可能触发诸如从活动状态的转变等动作的移动。此处应当理解，移动装置230的计算机可以与车辆100的计算机110通信并命令车辆100的计算机110以在任何进一步的初始化触发时从初始化点302重新初始化状态图300，如上所述。
示例性过程流程
图4是用于校准可穿戴装置210的移动分类器的示例性过程400的流程图。可以根据过程400对设施中的实验室计算机进行编程，在该设施中执行测试以收集用于对车辆计算机110和/或车辆100的计算机110进行编程的经验数据。
过程400在框405中开始，其中可穿戴装置210从可穿戴装置210的传感器接收地面实况数据。所述地面实况数据包括同从装置210接收的数据(例如，位移、速度、取向等)同步的已知与一个或多个特定移动的执行相关的数据，如上所述。地面实况数据可以包括来自执行预期的手移动(手势)同时握住方向盘的多个用户的数据，以根据每个用户的移动行为减少数据的变化。
接下来，在框410中，实验室计算机或可穿戴装置210的计算机进一步计算从装置210接收的数据的统计特征，例如，最小、最大、标准偏差等。
接下来，在框415中，实验室计算机从可穿戴装置210接收统计特征，并计算从装置210接收的数据的统计特征与地面实况数据中的每个移动(例如，参考图2A至图2B描述的移动)的相关性。
接下来，在框420中，计算机110基于框415的相关性分析结果识别哪些统计特征与每个移动相关。具有高相关性得分的特征将被选为重要特征并用在下一个框中。例如，当统计特征和指示移动的数据的相关性系数高于预定系数阈值时，计算机110可以识别统计特征与移动相关。
接下来，在框425中，实验室计算机识别与框420的重要特征识别结果相关联的移动分类器。所述分类器能够将装置210的移动(诸如图2A中所示的移动)与其重要的统计特征(例如，从装置210接收的数据(例如角速度的大小)的标准偏差)区分开。另外，对分类器进行训练以仅在乘员的手接触车辆100的方向盘220时才被触发。
在框425之后，过程400结束。
图5是用于调整移动分类器适于特定用户的过程500的流程图。例如，可穿戴装置210的计算机可以被编程为执行过程500的框，如下所述。
过程500在框505中开始，其中可穿戴装置210的计算机从可穿戴装置210的一个或多个传感器接收地面实况数据。所述地面实况数据包括已知与基于例如输出给用户的音频指令执行的一个或多个特定移动的执行有关的数据，所述音频指令请求用户进行类似于图2A中所示的移动的移动。如下所述，可以使用从用户接收的地面实况数据来调整用户的移动分类器。
接下来，在框510中，可穿戴装置210的计算机基于框420的相关性分析结果来计算地面实况数据的重要统计特征。
接下来，在框515中，可穿戴装置210的计算机可以调整分类器，例如，根据从用户接收的地面实况数据来调整分类器中使用的阈值。
在框515之后，过程500结束。
图6是用于检测可穿戴装置210的移动的过程600的流程图。可穿戴装置210的计算机、车辆100的计算机110和/或移动装置230可以被编程为执行如下所述的过程600的框。
过程600在框605中开始，其中可穿戴装置210从装置210的移动传感器接收数据。例如，所接收的数据可以包括可穿戴装置210的一个或多个物理属性，诸如可穿戴装置210相对于三维坐标系的取向、角速度的方向和/或大小、加速度或装置210的相对于坐标系的位移等。
接下来，在框610中，可穿戴装置210的计算机计算从可穿戴装置接收的数据的重要统计特征，例如，在移动分类器中使用的统计特征。
接下来，在决策框615中，可穿戴装置210的计算机可以检测装置210的移动，诸如上面参考图2A至图2B所描述的。作为一个示例，如果乘员的手接触车辆100的方向盘220，即，在检测到移动的同时，乘员的手与方向盘220物理接触，则装置210可以基于所接收的数据和与移动相关联的分类器来检测移动。如果根据过程500针对可穿戴装置210的用户调整移动分类器，则与基于移动分类器(其是基于从多个用户接收的数据识别)的检测相比，可穿戴装置210的计算机可能更有可能检测到用户的移动。如果可穿戴装置210的计算机检测到由移动分类器指定的一个或多个移动，则过程600前进到框620；否则，过程600结束或者替代地返回到框605以接收数据。
接下来，在框620中，框615的识别结果可以经由移动装置230发送到车辆100的计算机110。车辆100的计算机110基于检测到的移动引起动作，例如，将一个或多个致动信号发送到车辆100的致动器120。例如，车辆100的计算机110可以向与车辆100相关联的显示器和/或涉及要显示的信息的装置210发送信号，将致动信号发送到车辆100的控制器(诸如巡航控制器)，将致动信号发送到车辆100的触觉模块等。
在框620之后，过程600结束或返回到框605以接收数据。
如本文所讨论的计算装置通常各自包括指令，所述指令可由诸如以上识别的那些的一个或多个计算装置执行，并且用于执行上述过程的框或步骤。计算机可执行指令可以由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术包括但不限于以下单一形式或组合形式：JavaTM、C、C++、Visual Basic、Java Script、Perl、HTML等。通常，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的指令，并且执行这些指令，从而执行一个或多个过程，包括本文所述的过程中的一个或多个。可以使用多种计算机可读介质来存储和传输这样的指令和其他数据。计算装置中的文件通常是存储在计算机可读介质(诸如存储介质、随机存取存储器等)上的数据的集合。
计算机可读介质包括参与提供可以由计算机读取的数据(例如，指令)的任何介质。这种介质可以采用许多形式，其包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他持久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、任何其他具有孔图案的物理介质、RAM、PROM、EPROM、FLASH、EEPROM、任何其他存储器芯片或盒式磁带、或者计算机可从中读取的任何其他介质。
就本文所描述的介质、过程、系统、方法等而言，应当理解，虽然此类过程的步骤等已经被描述为按照特定的顺序发生，但是可以在按照本文所述顺序以外的顺序执行所述步骤的情况下实践此类过程。还应理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文所描述的某些步骤。换句话说，本文对系统和/或过程的描述是出于说明某些实施例的目的而提供的，并且绝不应被解释为限制所公开的主题。
因此，应当理解，包括以上描述和附图以及以下权利要求的本公开意为说明性的而非限制性的。在阅读了以上描述之后，除了所提供的示例之外的许多实施例和应用对于所属领域技术人员而言将是明显的。本发明的范围不应当参考以上描述来确定，而应当参考所附的和/或基于此包括在非临时专利申请中的权利要求连同此类权利要求所赋予权利的等同物的全部范围来确定。可以设想并预期未来的发展将在本文讨论的技术中发生，并且所公开的系统和方法将结合到此类未来实施例中。总之，应当理解，所公开的主题能够进行修改和变化。

Claims (18)

1.一种计算机，其被编程为：
从乘员可穿戴装置接收数据；
基于移动分类器检测所述乘员可穿戴装置相对于车辆方向盘的移动，其中基于地面实况数据创建所述移动分类器，所述地面实况数据指示当乘员的手接触所述车辆方向盘时所述乘员可穿戴装置的所述移动；
根据所述检测到的移动在所述车辆中引起动作；
接收与从所述乘员可穿戴装置接收的所述数据同步的地面实况数据，所述接收的地面实况数据指示所述乘员可穿戴装置的移动；
计算从所述乘员可穿戴装置接收的所述数据的包括平均、最大、最小和标准偏差中的至少一者的统计特征；
基于所述地面实况数据确定与所述乘员可穿戴装置的所述移动相关的一个或多个统计特征；以及
至少基于所述确定的与所述乘员可穿戴装置的所述移动相关的一个或多个统计特征来识别移动分类器，每个移动分类器至少包括所述乘员可穿戴装置的所述移动中的一个与相应的一个或多个统计特征的关联。
2.如权利要求1所述的计算机，其还被编程为至少通过检测所述乘员可穿戴装置围绕横向于所述车辆方向盘的轴的旋转来检测所述乘员可穿戴装置的所述移动。
3.如权利要求1所述的计算机，其还被编程为至少通过检测所述乘员可穿戴装置围绕与所述车辆方向盘相切的轴的旋转来检测所述乘员可穿戴装置的所述移动。
4.如权利要求1所述的计算机，其中所述接收的地面实况数据指示所述乘员的手是否与所述车辆方向盘接触。
5.如权利要求1所述的计算机，其中所述接收的地面实况数据指示所述乘员可穿戴装置围绕横向于所述车辆方向盘的轴的旋转。
6.如权利要求1所述的计算机，其中所述地面实况数据指示所述乘员可穿戴装置围绕与所述车辆方向盘相切的轴的旋转。
7.如权利要求1所述的计算机，其还被编程为至少部分地基于所述移动分类器来检测所述乘员可穿戴装置相对于所述车辆方向盘的所述移动。
8.如权利要求1所述的计算机，其中从所述乘员可穿戴装置接收所述地面实况数据。
9.如权利要求1所述的计算机，其中所述动作是致动触觉模块、在与所述车辆和所述乘员可穿戴装置中的至少一者相关联的显示器上输出图形信号中的一者。
10.如权利要求1所述的计算机，其还被编程为至少基于所述检测到的移动的速度、方向和重复次数中的一者来选择所述动作。
11.一种基于手势控制车辆的方法，其包括：
从乘员可穿戴装置接收数据；
使用所述接收的数据，基于移动分类器检测所述乘员可穿戴装置相对于车辆方向盘的移动，其中基于地面实况数据创建所述移动分类器，所述地面实况数据指示当乘员的手接触所述车辆方向盘时所述乘员可穿戴装置的所述移动；
至少基于所述检测到的移动在所述车辆中引起动作；
接收与从所述乘员可穿戴装置接收的所述数据同步的地面实况数据，所述接收的地面实况数据指示所述乘员可穿戴装置的移动；
计算从所述乘员可穿戴装置接收的所述数据的包括平均、最大、最小和标准偏差中的至少一者的统计特征；
基于所述接收的地面实况数据确定与所述乘员可穿戴装置的所述移动相关的一个或多个统计特征；以及
至少基于所述确定的与所述乘员可穿戴装置的所述移动相关的一个或多个统计特征来识别移动分类器，每个移动分类器至少包括所述乘员可穿戴装置的所述移动中的一个与相应的一个或多个统计特征的关联。
12.如权利要求11所述的方法，其中检测所述乘员可穿戴装置的所述移动包括检测所述乘员可穿戴装置围绕横向于所述车辆方向盘的轴的旋转。
13.如权利要求11所述的方法，其中检测所述乘员可穿戴装置的所述移动包括检测所述乘员可穿戴装置围绕与所述车辆方向盘相切的轴的旋转。
14.如权利要求11所述的方法，其中所述动作是致动车辆致动器、向车辆控制器输出致动信号、在与所述车辆和所述乘员可穿戴装置中的至少一者相关联的显示器上输出图形信号中的一者。
15.如权利要求11所述的方法，其中所述接收的地面实况数据指示所述乘员的手是否与所述车辆方向盘接触。
16.如权利要求11所述的方法，其中所述接收的地面实况数据指示所述乘员可穿戴装置围绕横向于所述车辆方向盘的轴的旋转。
17.如权利要求11所述的方法，其中所述接收的地面实况数据指示所述乘员可穿戴装置围绕与所述车辆方向盘相切的轴的旋转。
18.如权利要求11所述的方法，其中从所述乘员可穿戴装置接收所述地面实况数据。
CN201680090312.3A 2016-10-24 2016-10-24 基于手势的用户界面 Active CN109891382B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2016/058394 WO2018080419A1 (en) 2016-10-24 2016-10-24 Gesture-based user interface

Publications (2)

Publication Number Publication Date
CN109891382A CN109891382A (zh) 2019-06-14
CN109891382B true CN109891382B (zh) 2023-06-30

Family

ID=62025249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680090312.3A Active CN109891382B (zh) 2016-10-24 2016-10-24 基于手势的用户界面

Country Status (4)

Country Link
US (1) US10890981B2 (zh)
CN (1) CN109891382B (zh)
DE (1) DE112016007259T5 (zh)
WO (1) WO2018080419A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017007119B4 (de) * 2017-07-27 2022-12-29 Mercedes-Benz Group AG Verfahren zur Fernsteuerung einer Funktion eines Fahrzeugs
DE102018117006B4 (de) * 2018-07-13 2021-10-28 Grammer Aktiengesellschaft Fahrzeugsitz mit Sitzbedienungseinrichtung
US11029837B2 (en) * 2018-08-30 2021-06-08 Rovi Guides, Inc. System and method to alter a user interface of a self-driving vehicle in cases of perceived emergency based on accelerations of a wearable user device
US11573644B2 (en) * 2020-04-21 2023-02-07 Hyundai Mobis Co., Ltd. Apparatus and method for recognizing gesture
US20230195214A1 (en) * 2021-12-17 2023-06-22 Lenovo (Singapore) Pte. Ltd. Presentation of electronic content according to device and head orientation

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8289162B2 (en) 2008-12-22 2012-10-16 Wimm Labs, Inc. Gesture-based user interface for a wearable portable device
US20150138086A1 (en) 2009-04-02 2015-05-21 John S. Underkoffler Calibrating control device for use with spatial operating system
KR102165060B1 (ko) 2013-08-20 2020-10-13 삼성전자주식회사 착용형 생체신호 인터페이스 및 착용형 생체신호 인터페이스의 동작 방법
KR20160077070A (ko) * 2013-10-24 2016-07-01 애플 인크. 손목 움직임을 이용한 손목밴드 디바이스 입력
US9248840B2 (en) * 2013-12-20 2016-02-02 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
CN103943106B (zh) 2014-04-01 2017-01-25 北京豪络科技有限公司 一种手势语音识别的智能手环
KR102244856B1 (ko) 2014-04-22 2021-04-27 삼성전자 주식회사 웨어러블 장치와의 사용자 인터랙션을 제공하는 방법 및 이를 수행하는 웨어러블 장치
US9690387B2 (en) 2014-06-13 2017-06-27 Ford Global Technologies, Llc Vehicle computing system in communication with a wearable device
KR102301240B1 (ko) * 2014-07-09 2021-09-13 엘지이노텍 주식회사 웨어러블 기기를 이용한 차량 제스쳐 인식 장치와 제스쳐 인식 방법 및 이를 위한 웨어러블 기기
JP2017530757A (ja) 2014-09-09 2017-10-19 トーヴェック・インコーポレーテッド 装着型装置を用いて個人の注意力を監視し通知を提供するための方法及び装置
US9248839B1 (en) * 2014-09-26 2016-02-02 Nissan North America, Inc. Vehicle interface system
US20160091965A1 (en) 2014-09-30 2016-03-31 Microsoft Corporation Natural motion-based control via wearable and mobile devices
KR101603553B1 (ko) * 2014-12-15 2016-03-15 현대자동차주식회사 차량에서 웨어러블 기기를 이용한 제스쳐 인식 방법 및 이를 수행하는 차량
CN104698831B (zh) 2015-03-03 2017-05-10 惠州Tcl移动通信有限公司 一种可随手势而自动旋转界面的智能手表及其控制方法
JP2017009573A (ja) * 2015-03-06 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 装着端末、及び、装着端末の制御方法
US10459524B2 (en) * 2015-04-14 2019-10-29 Northrop Grumman Systems Corporation Multi-sensor control system and method for remote signaling control of unmanned vehicles
KR101668248B1 (ko) * 2015-05-12 2016-10-21 엘지전자 주식회사 차량용 입력 장치 및 차량
US10620232B2 (en) * 2015-09-22 2020-04-14 Apple Inc. Detecting controllers in vehicles using wearable devices
CN105334770B (zh) * 2015-11-03 2017-10-13 广州迪奥信息科技有限公司 基于可穿戴设备进行手势识别的语音匹配方法
CN106945634A (zh) * 2015-11-03 2017-07-14 通用汽车环球科技运作有限责任公司 基于姿态的车辆‑用户交互
US10478099B2 (en) * 2016-09-22 2019-11-19 Apple Inc. Systems and methods for determining axial orientation and location of a user's wrist

Also Published As

Publication number Publication date
WO2018080419A1 (en) 2018-05-03
CN109891382A (zh) 2019-06-14
US20190294251A1 (en) 2019-09-26
US10890981B2 (en) 2021-01-12
DE112016007259T5 (de) 2019-06-06

Similar Documents

Publication Publication Date Title
CN109891382B (zh) 基于手势的用户界面
US9389695B2 (en) Steering wheel input device having gesture recognition and angle compensation capabilities
US10394375B2 (en) Systems and methods for controlling multiple displays of a motor vehicle
CN108569338B (zh) 车道变换装置、包括该车道变换装置的系统及其方法
US9104243B2 (en) Vehicle operation device
US9703472B2 (en) Method and system for operating console with touch screen
US9248839B1 (en) Vehicle interface system
US20160170493A1 (en) Gesture recognition method in vehicle using wearable device and vehicle for carrying out the same
KR102084032B1 (ko) 사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법
EP3040844A1 (en) Feedback by modifying stiffness
EP3040252B1 (en) Steering wheel control system
CN111137302A (zh) 远程车辆控制件
CN110088509A (zh) 档位选择系统和方法
WO2018061603A1 (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
US11738794B2 (en) Wireless steering wheel
JP2024086869A (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法およびプログラム
JP2015132905A (ja) 電子システム、検出範囲の制御方法、及び制御プログラム
JP7512976B2 (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法およびプログラム
US20140163818A1 (en) Apparatus and method for controlling kick down of accelerator pedal
KR20160047738A (ko) 입력 장치, 이를 포함하는 차량 및 그 제어 방법
EP4478157A1 (en) Gesture recognition system and method for gesture recognition
JP7608929B2 (ja) 入力受付装置、入力受付方法、入力受付プログラム
CN117584983A (zh) 具有身体耦合通信的车辆感测
JP2024167743A (ja) 車両用入力装置及び車両用入力方法
KR20190078711A (ko) 터치 입력장치, 이를 포함하는 차량, 및 제어방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant