[go: up one dir, main page]

CN109213470B - 一种基于语音识别的光标控制方法 - Google Patents

一种基于语音识别的光标控制方法 Download PDF

Info

Publication number
CN109213470B
CN109213470B CN201811055720.2A CN201811055720A CN109213470B CN 109213470 B CN109213470 B CN 109213470B CN 201811055720 A CN201811055720 A CN 201811055720A CN 109213470 B CN109213470 B CN 109213470B
Authority
CN
China
Prior art keywords
word
mark
smart device
coordinate system
cursor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811055720.2A
Other languages
English (en)
Other versions
CN109213470A (zh
Inventor
殷继彬
谢海浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201811055720.2A priority Critical patent/CN109213470B/zh
Publication of CN109213470A publication Critical patent/CN109213470A/zh
Application granted granted Critical
Publication of CN109213470B publication Critical patent/CN109213470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及一种基于语音识别的光标控制方法，属于光标控制领域。它包括以下步骤：创建语音标记词库、方向命令词库与操作命令词库；创建语音命令监听器；将屏幕分区并关联语音标记词；用户说出网格标记词则将光标移动至网格区域中；以光标位置为原点生成直角坐标系，并关联刻度标记词；用户说出刻度标记词，则将光标移动至刻度点；用户说出方向命令词，则获取该方向上的目标位置，并将光标移动到该位置；用户说出操作命令词，则进行相关系统操作。本发明注重给无法正常使用鼠标的用户必须找到可用于替代鼠标的光标控制方法，使用户不需要对智能设备进行手动物理按键操作，只需以语音命令的形式即可实现对智能设备的操作。

Description

一种基于语音识别的光标控制方法
技术领域
本发明涉及光标控制领域，特别是涉及一种基于语音识别的光标控制方法。
背景技术
现有的语音光标控制技术，需要用户指定光标移动方向或者单位，例如：“向左移动3个单位”，或“向左移动”直到用户发出“停止”命令为止，然而这种技术即缓慢又容易出错。又或者需要用户说出指定目标的名称，然后再将光标移动至目标上，然而这种技术只有当目标具有名称时才能起作用，若目标没有名称或多个目标名称相同则无法准确选择。
发明内容
为解决上述技术问题，本发明提供一种基于语音识别的光标控制方法。
本发明的技术方案是：提供一种基于语音识别的光标控制方法，其中，它包括以下步骤：
第一步，在智能设备中创建一个语音标记词库，并在该语音标记词库中设置至少一类标记词，且该类标记词至少含有一个标记词，且多个标记词不能重复，同时在智能设备中创建一个方向命令词库，并在该方向命令词库中设置至少一个方向命令词，同时在智能设备中创建一个操作命令词库，并在该操作命令词库中设置至少一个操作命令词；
第二步，将智能设备的屏幕均分成若干网格区域，并将网格分界线清楚显示在智能设备的屏幕上；
第三步，将智能设备的屏幕上的每一个网格区域与语音标记词库中的某一类标记词相关联，并将该标记词显示在对应网格区域中；
第四步，判断用户是否说出智能设备的屏幕中所显示的网格区域的标记词，若用户未说出该标记词则进行等待，若用户说出该标记词，则将鼠标光标移动至以该标记词所对应的网格区域的中心点；
第五步，以第四步中鼠标光标所在位置为原点，生成一个直角坐标系，将直角坐标系的X轴与Y轴分别均分成若干份并标注出刻度点，将标注后的直角坐标系显示在智能设备的屏幕上；
第六步，将第五步中所述的直角坐标系的每一个刻度点与某一类标记词相关联，并将该标记词显示在对应直角坐标系的刻度点周围；
第七步，判断用户是否说出智能设备的屏幕中的所显示的直角坐标系的标记词，若用户未说出该标记词则进行等待，若用户说出该标记词，则将鼠标光标移动至以该标记词所对应的刻度点位置，将第五步中所生成的直角坐标系删除，并解除第六步中刻度点与标记词的关联；
第八步，判断用户是否说出智能设备的方向命令词库的方向命令词，若用户未说出该方向命令词则进行等待，若用户说出该方向命令词，则判断该方向命令词所示方向的位置上是否有可选择目标，如果没有则等待用户再次说出方向命令词，如果有则获取该目标的中心点位置，并将鼠标光标位置移动到该点所在的位置；
第九步，判断用户是否说出智能设备的操作命令词库的操作命令词，若用户说出该操作命令词则在光标所在位置进行相应的操作。
进一步的，所述智能设备是指拥有语音识别功能的计算机。
进一步的，所述第一步中的语音标记词库包括数字标记词、字母标记词、文字标记词和组合标记词。
进一步的，所述第一步中的方向命令词库可设置常见方向，包括上、下、左、右、左上、左下、右上和右下。
进一步的，所述第一步中的操作命令词库，可设置常见鼠标操作，包括单击、双击和右击。
进一步的，所述第五步中直角坐标系X轴与Y轴的均分份数依据屏幕尺寸确定。
本发明的有益效果：本发明通过对屏幕进行分割，准确定位，给出用户明确的显示，节约了通过语音控制光标的时间，提高了光标控制的准确度。
附图说明
图1是本发明基于语音识别的光标控制方法中网格区域与网格标记词加载完毕后的效果图；
图2是本发明基于语音识别的光标控制方法中生成直角坐标系与刻度标记词加载完毕后的效果图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明。
实施例1：本发明基于语音识别的图形界面目标选择方法包括以下步骤：
第一步，在智能设备中创建一个语音标记词库，并在该语音标记词库中设置至少一类标记词，且该类标记词至少含有一个标记词，且多个标记词不能重复，标记词可以为字母标记词、文字标记词或者是组合标记词；同时在智能设备中创建一个方向命令词库，并在该方向命令词库中设置至少一个方向命令词，同时在智能设备中创建一个操作命令词库，并在该操作命令词库中设置至少一个操作命令词；语音标记词库。
第二步，将智能设备的屏幕均分成若干网格区域，并将网格分界线清楚显示在智能设备的屏幕上；
第三步，将智能设备的屏幕上的每一个网格区域与语音标记词库中的某一类标记词相关联，并将该标记词显示在对应网格区域中；
第四步，判断用户是否说出智能设备的屏幕中所显示的网格区域的标记词，若用户未说出该标记词则进行等待，若用户说出该标记词，则将鼠标光标移动至以该标记词所对应的网格区域的中心点；
第五步，以第四步中鼠标光标所在位置为原点，生成一个直角坐标系，将直角坐标系的X轴与Y轴分别均分成若干份并标注出刻度点，均分的份数依据屏幕尺寸确定，将标注后的直角坐标系显示在智能设备的屏幕上；
第六步，将第五步中所述的直角坐标系的每一个刻度点与某一类标记词相关联，并将该标记词显示在对应直角坐标系的刻度点周围；
第七步，判断用户是否说出智能设备的屏幕中的所显示的直角坐标系的标记词，若用户未说出该标记词则进行等待，若用户说出该标记词，则将鼠标光标移动至以该标记词所对应的刻度点位置，将第五步中所生成的直角坐标系删除，并解除第六步中刻度点与标记词的关联；
第八步，判断用户是否说出智能设备的方向命令词库的方向命令词，若用户未说出该方向命令词则进行等待，若用户说出该方向命令词，则判断该方向命令词所示方向的位置上是否有可选择目标，如果没有则等待用户再次说出方向命令词，如果有则获取该目标的中心点位置，并将鼠标光标位置移动到该点所在的位置；
第九步，判断用户是否说出智能设备的操作命令词库的操作命令词，若用户说出该操作命令词则在光标所在位置进行相应的操作。
实施例2：下面以用户在使用拥有语音识别功能的计算机时通过语音命令操纵光标双击打开屏幕中随机出现的目标文件夹为例对本发明基于语音识别的光标控制方法作进一步的详细说明。
第一步，在智能设备中创建一个语音标记词库，并在该语音标记词库中设置“网格”类标记词：“一号网格”，“二号网格”，“三号网格”，“四号网格”，“五号网格”，“六号网格”，“七号网格”，“八号网格”，“九号网格”，以及“刻度”类标记词，包括“X1”，“X2”，“X3”，“X4”，“X5”，“X6”，“X7”，“X8”，“X9”，“X0”，“Y1”，“Y2”，“Y3”，“Y4”，“Y5”，“Y6”，“Y7”，“Y8”，“Y9”，“Y0”，同时创建一个方向命令词库，并设置常见方向命令词：“上”，“下”，“左”，“右”，“左上”，“左下”，“右上”，“右下”，和一个操作命令词库，并设置常见鼠标操作命令：“单击”、“双击”、“右击”；
第二步，在智能设备中创建一个语音命令监听器，当用户发出语音命令时，实时进行语音识别，并获得语音识别结果；
第三步，将智能设备的屏幕按3*3格式均等分配成九个网格区域，并将网格分界线清楚显示在智能设备的屏幕上；
第四步，将智能设备的屏幕上的3*3网格区域与语音标记词库中的网格标记词相关联，并将网格标记词显示在网格区域中，如图1所示；
第五步，在智能设备中进行语音命令监听；
第六步，判断用户是否说出语音标记词库、方向命令词库与操作命令词库中的任意一个语音命令词，若用户说出相应语音命令则进行相关操作，若用户没有说出相应语音命令则进行等待，直至用户说出相应语音命令；
第七步，假设屏幕中随机出现的文件夹在屏幕右上角，三号网格区域中，根据语音命令监听器，若用户说出“三号网格”，则将鼠标光标移动至以“三号网格”所对应的网格区域的中心点；
第八步，以鼠标光标所在位置为原点，生成一个直角坐标系，其中该坐标系的X轴与Y轴的单位长度分别设置为屏幕高度的十分之一与宽度的十分之一，然后将该坐标系显示在智能设备的屏幕上；
第九步，将第八步中所述的直角坐标系的每一个单位长度的刻度点与刻度标记词相关联，并将该标记词显示在对应直角坐标系的刻度点周围，如图2所示，返回第六步；
第十步，假设屏幕中随机出现的文件夹在直角坐标系X3标记词附近，根据语音命令监听器，若用户说出“X3”，则将鼠标光标移动至“X3”所对应的刻度点位置，将第八步中所生成的直角坐标系删除，并解除第九步中刻度点与标记词的关联，然后返回第八步；
第十一步，假设屏幕中随机出现的文件夹在光标位置的上方，根据语音命令监听器，若用户说出“上”，则获取该文件夹的中心点位置，并将鼠标光标位置移动到该点所在的位置，然后将第八步中所生成的直角坐标系删除，并解除第九步中刻度点与标记词的关联，然后返回第八步；
第十二步，假设鼠标光标已经在屏幕中随机出现的文件夹上，根据语音命令监听器，若用户说出“双击”，则在鼠标光标所在位置进行双击操作，然后返回第六步。
本实施例中的基于语音识别的光标控制方法适合在残疾用户或双手不便的用户控制光标移动到屏幕中随机一个任意目标位置进行相关系统操作的情况下使用。
以上的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (6)

1.一种基于语音识别的光标控制方法，其特征在于：包括以下步骤：
第一步，在智能设备中创建一个语音标记词库，并在该语音标记词库中设置至少一类标记词，且该类标记词至少含有一个标记词，且多个标记词不能重复，同时在智能设备中创建一个方向命令词库，并在该方向命令词库中设置至少一个方向命令词，同时在智能设备中创建一个操作命令词库，并在该操作命令词库中设置至少一个操作命令词；
第二步，将智能设备的屏幕均分成若干网格区域，并将网格分界线清楚显示在智能设备的屏幕上；
第三步，将智能设备的屏幕上的每一个网格区域与语音标记词库中的某一类标记词相关联，并将该标记词显示在对应网格区域中；
第四步，判断用户是否说出智能设备的屏幕中所显示的网格区域的标记词，若用户未说出该标记词则进行等待，若用户说出该标记词，则将鼠标光标移动至以该标记词所对应的网格区域的中心点；
第五步，以第四步中鼠标光标所在位置为原点，生成一个直角坐标系，将直角坐标系的X轴与Y轴分别均分成若干份并标注出刻度点，将标注后的直角坐标系显示在智能设备的屏幕上；
第六步，将第五步中所述的直角坐标系的每一个刻度点与某一类标记词相关联，并将该类标记词显示在对应直角坐标系的刻度点周围；
第七步，判断用户是否说出第六步中智能设备的屏幕中的所显示的直角坐标系的该类标记词，若用户未说出该类标记词则进行等待，若用户说出该类标记词，则将鼠标光标移动至以该类标记词所对应的刻度点位置，将第五步中所生成的直角坐标系删除，并解除第六步中刻度点与该类标记词的关联；
第八步，判断用户是否说出智能设备的方向命令词库的方向命令词，若用户未说出该方向命令词则进行等待，若用户说出该方向命令词，则判断该方向命令词所示方向的位置上是否有可选择目标，如果没有则等待用户再次说出方向命令词，如果有则获取该目标的中心点位置，并将鼠标光标位置移动到该目标的中心点所在的位置；
第九步，判断用户是否说出智能设备的操作命令词库的操作命令词，若用户说出该操作命令词则在光标所在位置进行相应的操作。
2.根据权利要求1所述的基于语音识别的光标控制方法，其特征在于：所述智能设备是指拥有语音识别功能的计算机。
3.根据权利要求1所述的基于语音识别的光标控制方法，其特征在于：所述第一步中的语音标记词库包括数字标记词、字母标记词、文字标记词和组合标记词。
4.根据权利要求1所述的基于语音识别的光标控制方法，其特征在于：所述第一步中的方向命令词库包括上、下、左、右、左上、左下、右上和右下。
5.根据权利要求1所述的基于语音识别的光标控制方法，其特征在于：所述第一步中的操作命令词库包括单击、双击和右击。
6.根据权利要求1所述的基于语音识别的光标控制方法，其特征在于：所述第五步中直角坐标系X轴与Y轴的均分份数依据屏幕尺寸确定。
CN201811055720.2A 2018-09-11 2018-09-11 一种基于语音识别的光标控制方法 Active CN109213470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811055720.2A CN109213470B (zh) 2018-09-11 2018-09-11 一种基于语音识别的光标控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811055720.2A CN109213470B (zh) 2018-09-11 2018-09-11 一种基于语音识别的光标控制方法

Publications (2)

Publication Number Publication Date
CN109213470A CN109213470A (zh) 2019-01-15
CN109213470B true CN109213470B (zh) 2021-06-18

Family

ID=64987555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811055720.2A Active CN109213470B (zh) 2018-09-11 2018-09-11 一种基于语音识别的光标控制方法

Country Status (1)

Country Link
CN (1) CN109213470B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110007826A (zh) * 2019-04-12 2019-07-12 深圳市语芯维电子有限公司 语音控制光标移动的方法和装置
CN110136718A (zh) * 2019-05-31 2019-08-16 深圳市语芯维电子有限公司 语音控制的方法和装置
CN110379424B (zh) * 2019-07-29 2021-11-02 方毅 一种通过语音控制精确到点的方法
CN110675874A (zh) * 2019-09-29 2020-01-10 深圳欧博思智能科技有限公司 一种基于智能音箱的虚拟角色与ui交互的实现方法
CN111045638B (zh) * 2019-12-03 2023-09-19 捷开通讯(深圳)有限公司 光标控制方法、装置、存储介质和终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1866314A (zh) * 2006-04-19 2006-11-22 秦国锋 多线路动态调度车载终端
CN101673168A (zh) * 2008-09-09 2010-03-17 联想(北京)有限公司 在交互界面上进行目标对象选中的方法及装置
CN103186231A (zh) * 2011-12-30 2013-07-03 上海博泰悦臻电子设备制造有限公司 语音鼠标装置
CN105426357A (zh) * 2015-11-06 2016-03-23 武汉卡比特信息有限公司 语音快速选择方法
CN106383603A (zh) * 2016-09-23 2017-02-08 安徽声讯信息技术有限公司 一种基于语音鼠标的语音控制系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0416773D0 (en) * 2004-07-28 2004-09-01 Ibm A voice controlled cursor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1866314A (zh) * 2006-04-19 2006-11-22 秦国锋 多线路动态调度车载终端
CN101673168A (zh) * 2008-09-09 2010-03-17 联想(北京)有限公司 在交互界面上进行目标对象选中的方法及装置
CN103186231A (zh) * 2011-12-30 2013-07-03 上海博泰悦臻电子设备制造有限公司 语音鼠标装置
CN105426357A (zh) * 2015-11-06 2016-03-23 武汉卡比特信息有限公司 语音快速选择方法
CN106383603A (zh) * 2016-09-23 2017-02-08 安徽声讯信息技术有限公司 一种基于语音鼠标的语音控制系统

Also Published As

Publication number Publication date
CN109213470A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN109213470B (zh) 一种基于语音识别的光标控制方法
DE102014002848B4 (de) Austausch von Zeichenfolgen
JP2572521B2 (ja) スタイラス・ストローク処理方法及びシステム
US9836192B2 (en) Identifying and displaying overlay markers for voice command user interface
EP1958056B1 (en) A method of tracking data objects using related thumbnails in a palette window
US7584436B2 (en) Method, system, and program product for controlling a display on a data editing screen
US6861951B2 (en) Methods and apparatus for generating a data structure indicative of an alarm system circuit
US6992575B2 (en) Methods and apparatus for generating a data structure indicative of an alarm system circuit
MX2014002955A (es) Entrada de formula para dispositivos de presentacion limitada.
CN107368996B (zh) 现场项目的问题处理/监管方法/系统，存储介质，终端
US7161478B2 (en) Methods and apparatus for generating a data structure indicative of an alarm system circuit
US6970078B2 (en) Methods and apparatus for generating a data structure indicative of an alarm system circuit
CN202904558U (zh) 一种界面建模器装置
CN111694501A (zh) 用于流程模拟器中的流连接的触摸手势
CN104732007B (zh) 具有包括用于复制和操作建模对象的机制的触控式显示器的设备
US20130091413A1 (en) Rich Data Label Formatting
US12189870B2 (en) Learned computer control using pointing device and keyboard actions
CN103678383A (zh) 一种数据处理方法及电子设备
JPH1049700A (ja) ペン入力装置、ペン入力方法、入力装置及び入力方法
JPH01255955A (ja) 複数データ・ブロツクの処理方法およびそのシステム
CN102479046B (zh) 触控装置及其操作方法
US20060259345A1 (en) User input interpreter and a method of interpreting user input
JP2014048894A (ja) 表示制御装置およびプログラム
CN109635413B (zh) 一种创建球栅阵列bga封装标签的方法及装置
US8810580B2 (en) Method and tool for creating irregular-shaped tables

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant