[go: up one dir, main page]

CN111077997B - 一种点读模式下的点读控制方法及电子设备 - Google Patents

一种点读模式下的点读控制方法及电子设备 Download PDF

Info

Publication number
CN111077997B
CN111077997B CN201910498915.2A CN201910498915A CN111077997B CN 111077997 B CN111077997 B CN 111077997B CN 201910498915 A CN201910498915 A CN 201910498915A CN 111077997 B CN111077997 B CN 111077997B
Authority
CN
China
Prior art keywords
area
finger
user
learning
electronic equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910498915.2A
Other languages
English (en)
Other versions
CN111077997A (zh
Inventor
彭婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201910498915.2A priority Critical patent/CN111077997B/zh
Publication of CN111077997A publication Critical patent/CN111077997A/zh
Application granted granted Critical
Publication of CN111077997B publication Critical patent/CN111077997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/04Electrically-operated educational appliances with audible presentation of the material to be studied
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及电子设备技术领域,公开一种点读模式下的点读控制方法及电子设备,包括:当电子设备处于点读模式时,拍摄用户手指处于学习区域时的目标图像;从目标图像中确定出用户手指在学习区域中的投影面积;判断投影面积是否大于预设的标准面积,标准面积为预先采集到的手指触及学习区域时的触及面积;若大于,控制电子设备暂停播报学习区域中的与所述投影面积对应的内容。实施本发明实施例,能够投影面积与标准面积的大小关系确定用户手指所处的位置,从而根据确定的手指的位置实现对电子设备的点读控制,在提高手指位置识别的准确率的基础上,提升了用户的使用体验。

Description

一种点读模式下的点读控制方法及电子设备
技术领域
本发明涉及电子设备技术领域,具体涉及一种点读模式下的点读控制方法及电子设备。
背景技术
随着电子设备的快速发展,越来越多的电子设备(如家教机)可以满足学生的点读需求。目前,电子设备实现点读的方式通常为:电子设备检测学生在书本上点击的需要点读的内容,进而播放与该内容匹配的音频。然而,在实践中发现,由于当前的电子设备无法对手指的空间状态进行识别,因此,当手指在书本页面与摄像头之间处于腾空状态时,电子设备有可能识别出手指在书本页面执行点击操作,从而出现手指位置识别错误的情况,影响用户的使用体验。
发明内容
本发明实施例公开一种点读模式下的点读控制方法及电子设备,能够提高手指位置识别的准确率,从而提升用户的使用体验。
本发明实施例第一方面公开一种点读模式下的点读控制方法,所述方法包括:
当电子设备处于点读模式时,拍摄用户手指处于学习区域时的目标图像;
从所述目标图像中确定出所述用户手指在所述学习区域中的投影面积;
判断所述投影面积是否大于预设的标准面积,所述标准面积为预先采集到的手指触及所述学习区域时的触及面积;
若大于,控制所述电子设备暂停播报所述学习区域中的与所述投影面积对应的内容。
作为一种可选的实施方式,在本发明实施例第一方面中,在判断出所述投影面积大于预设的所述标准面积之后,所述方法还包括:
计算所述投影面积相对于所述标准面积的当前比例;
判断所述当前比例是否大于预设比例;
如果小于等于所述预设比例,输出提示信息,并执行所述的控制所述电子设备暂停播报所述学习区域中的与所述投影面积对应的内容,其中,所述提示信息用于提示用户所述用户手指未与所述学习区域接触。
作为一种可选的实施方式,在本发明实施例第一方面中,在判断出所述当前比例大于所述预设比例时,所述方法还包括:
判断所述电子设备的显示屏是否检测到按压操作;
如果是,确定所述用户手指在所述显示屏上执行触摸操作;
识别所述触摸操作对应的操作指令,并控制所述电子设备执行所述操作指令对应的目标操作。
作为一种可选的实施方式,在本发明实施例第一方面中,所述判断所述投影面积是否大于预设的标准面积之前,所述方法还包括:
获取预先存储的若干张历史图像,其中,每张所述历史图像均为所述用户手指处于所述学习区域时的图像;
获取各个所述历史图像中所述用户手指在所述学习区域中的历史投影面积;
从若干个所述历史投影面积中选取最小的历史投影面积作为标准面积。
作为一种可选的实施方式,在本发明实施例第一方面中,在判断出所述投影面积小于等于预设的所述标准面积之后,所述方法还包括:
获取所述学习区域中的与所述投影面积对应的文字内容;
将所述文字内容确定为点读内容,并获取所述点读内容的标准读音;
通过所述电子设备的扬声器播报所述标准读音。
本发明实施例第二方面公开一种电子设备,包括:
拍摄单元,用于当所述电子设备处于点读模式时,拍摄用户手指处于学习区域时的目标图像;
第一确定单元,用于从所述目标图像中确定出所述用户手指在所述学习区域中的投影面积;
第一判断单元,用于判断所述投影面积是否大于预设的标准面积,所述标准面积为预先采集到的手指触及所述学习区域时的触及面积;
控制单元,用于在所述第一判断单元的判断结果为是时,控制所述电子设备暂停播报所述学习区域中的与所述投影面积对应的内容。
作为一种可选的实施方式,在本发明实施例第二方面中,所述电子设备还包括:
计算单元,用于在所述第一判断单元的判断结果为是时,计算所述投影面积相对于所述标准面积的当前比例;
第二判断单元,用于判断所述当前比例是否大于预设比例;
输出单元,用于在所述第二判断单元的判断结果为否时,输出提示信息,并触发所述控制单元执行所述的控制所述电子设备暂停播报所述学习区域中的与所述投影面积对应的内容,其中,所述提示信息用于提示用户所述用户手指未与所述学习区域接触。
作为一种可选的实施方式,在本发明实施例第二方面中,所述电子设备还包括:
第三判断单元,用于在所述第二判断单元的判断结果为是时,判断所述电子设备的显示屏是否检测到按压操作;
第二确定单元,用于在所述第三判断单元的判断结果为是时,确定所述用户手指在所述显示屏上执行触摸操作;
识别单元,用于识别所述触摸操作对应的操作指令,并控制所述电子设备执行所述操作指令对应的目标操作。
作为一种可选的实施方式,在本发明实施例第二方面中,所述电子设备还包括:
第一获取单元,用于在所述第一判断单元判断所述投影面积是否大于预设的标准面积之前,获取预先存储的若干张历史图像,其中,每张所述历史图像均为所述用户手指处于所述学习区域时的图像;
第二获取单元,用于获取各个所述历史图像中所述用户手指在所述学习区域中的历史投影面积;
选取单元,用于从若干个所述历史投影面积中选取最小的历史投影面积作为标准面积。
作为一种可选的实施方式,在本发明实施例第二方面中,所述电子设备还包括:
第三获取单元,用于在所述第一判断单元的判断结果为否时,获取所述学习区域中的与所述投影面积对应的文字内容;
第三确定单元,用于将所述文字内容确定为点读内容,并获取所述点读内容的标准读音;
播报单元,用于通过所述电子设备的扬声器播报所述标准读音。
本发明实施例第三方面公开另一种电子设备,包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行第一方面的任意一种方法的部分或全部步骤。
本发明实施例第四方面公开一种计算机可读存储介质,所述计算机可读存储介质存储了程序代码,其中,所述程序代码包括用于执行第一方面的任意一种方法的部分或全部步骤的指令。
本发明实施例第五方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
本发明实施例第六方面公开一种应用发布平台,所述应用发布平台用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,当电子设备处于点读模式时,拍摄用户手指处于学习区域时的目标图像;从目标图像中确定出用户手指在学习区域中的投影面积;判断投影面积是否大于预设的标准面积,标准面积为预先采集到的手指触及学习区域时的触及面积;若大于,控制电子设备暂停播报学习区域中的与所述投影面积对应的内容。可见,实施本发明实施例,能够从拍摄的包含用户手指的图像中确定手指在学习区域中的投影面积,并且将投影面积与标准面积进行对比,以根据投影面积与标准面积的大小关系确定用户手指所处的位置,从而根据确定的手指的位置实现对电子设备的点读控制,在提高手指位置识别的准确率的基础上,提升了用户的使用体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种点读模式下的点读控制方法的流程示意图;
图2是本发明实施例公开的另一种点读模式下的点读控制方法的流程示意图;
图3是本发明实施例公开的另一种点读模式下的点读控制方法的流程示意图;
图4是本发明实施例公开的一种电子设备的结构示意图;
图5是本发明实施例公开的另一种电子设备的结构示意图;
图6是本发明实施例公开的另一种电子设备的结构示意图;
图7是本发明实施例公开的另一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开一种点读模式下的点读控制方法及电子设备,能够根据确定的手指的位置实现对电子设备的点读控制,在提高手指位置识别的准确率的基础上,提升了用户的使用体验。以下分别进行详细说明。
实施例一
请参阅图1,图1是本发明实施例公开的一种点读模式下的点读控制方法的流程示意图。如图1所示,该点读模式下的点读控制方法可以包括以下步骤:
101、当电子设备处于点读模式时,电子设备拍摄用户手指处于学习区域时的目标图像。
本发明实施例中,电子设备可以为家教机、学习平板等。点读状态可以为电子设备实时检测用户对学习区域是否执行点击操作,如果是,电子设备可以从学习区域中获取点击操作对应的点读内容,并输出点读内容的标准音频。电子设备可以通过图像采集设备采集用户手指处于学习区域时的图像,图像采集设备可以为摄像头、相机等,且图像采集设备可以设置在电子设备上的任意位置,也可以设置在电子设备以外的地方,且图像采集设备可以与电子设备通过无线或有线的方式进行通讯连接,以使图像采集设备可以将采集到的图像传输至电子设备。由于图像采集设备拍摄到的用户手指处于学习区域时的目标图像为二维的图像,因此目标图像中用户手指的实际位置可以在学习区域至图像采集设备之间的任意位置,根据近大远小的原理,如果用户手指越靠近图像采集设备(即用户手指越远离学习区域),则拍摄到的用户手指在学习区域中的投影面积越大;如果用户手指越远离图像采集设备(即用户手指越靠近学习区域),则拍摄到的用户手指在学习区域中的投影面积越小。
102、电子设备从目标图像中确定出用户手指在学习区域中的投影面积。
作为一种可选的实施方式,电子设备从目标图像中确定出用户手指在学习区域中的投影面积的方式可以包含以下步骤:
电子设备对目标图像进行二值化处理,得到目标黑白图像;
电子设备从目标黑白图像中识别得到若干个连通区域;
电子设备计算各个连通区域的面积;
电子设备将面积最大的连通区域确定为目标连通区域;
电子设备将目标连通区域的面积确定为用户手指在学习区域中的投影面积。
其中,实施这种实施方式,由于识别黑白图像中的特征点更为准确,因此可以通过二值化处理将目标图像处理为目标黑白图像,并从目标黑白图像中识别出面积最大的目标连通区域,由于学习区域中可能包含较多的字符,因此与字符中的连通区域的面积相比手指在学习区域中投影对应的连通区域的面积更大,因此电子设备可以将识别出的面积最大的连通区域确定为用户手指在学习区域中投影的目标连通区域,进而使得确定的用户手指在学习区域中的投影面积更加精确。
103、电子设备判断投影面积是否大于预设的标准面积,如果是,执行步骤104;如果否,结束本流程,标准面积为预先采集到的手指触及学习区域时的触及面积。
104、电子设备控制电子设备暂停播报学习区域中的与投影面积对应的内容。
本发明实施例中,电子设备如果检测到投影面积大于预设的标准面积,可以认为用户手指在学习区域与图像采集设备之间悬空,即用户手指并没有在学习区域中点击需要点读的内容,因此需要控制电子设备暂停播报学习区域中的与投影面积对应的内容。
作为一种可选的实施方式,电子设备执行步骤104之后,还可以执行以下步骤:
电子设备在用户手指处于图形采集设备的拍摄区域中时拍摄包含用户手指的视频;
电子设备对视频中的用户手指进行分析,得到用户手指对应的目标运动姿态;
电子设备检测该目标运动姿态是否与任一预设的手指指令对应的运动姿态匹配;
如果是,电子设备确定与该目标运动姿态匹配的目标手指指令;
电子设备控制电子设备执行与该目标手指指令对应的操作。
其中,实施这种实施方式,可以在确定用户手指未与学习区域接触且用户手指处于电子设备的图像采集设备的拍摄区域中时,检测用户是否通过手指的运动姿态向电子设备出输入任一指令,从而提高了但是这边对于用户通过手指输入的指令的响应速度。
在图1所描述的方法中,能够根据确定的手指的位置实现对电子设备的点读控制,在提高手指位置识别的准确率的基础上,提升了用户的使用体验。此外,实施图1所描述的方法,使得确定的用户手指在学习区域中的投影面积更加精确。此外,实施图1所描述的方法,提高了但是这边对于用户通过手指输入的指令的响应速度。
实施例二
请参阅图2,图2是本发明实施例公开的另一种点读模式下的点读控制方法的流程示意图。如图2所示,该点读模式下的点读控制方法可以包括以下步骤:
201、当电子设备处于点读模式时,电子设备拍摄用户手指处于学习区域时的目标图像。
202、电子设备从目标图像中确定出用户手指在学习区域中的投影面积。
203、电子设备判断投影面积是否大于预设的标准面积,如果是,执行步骤204~步骤205;如果否,结束本流程,标准面积为预先采集到的手指触及学习区域时的触及面积。
204、电子设备计算投影面积相对于标准面积的当前比例。
本发明实施例中,电子设备可以计算得到投影面积除以标准面积的商,并且将该商作为投影面积相对于标准面积的当前比例,以使当前比例的计算更加简化。
205、电子设备判断当前比例是否大于预设比例,如果是,执行步骤208;如果否,执行步骤206~步骤207。
本发明实施例中,预设比例的确定可以根据电子设备的显示屏与学习区域的距离来确定,电子设备可以采集用户手指接触显示屏时的当前图像,并且计算得到当前图像中最小的当前手指面积,电子设备计算当前手指面积相对于标准面积的当前比例,并且可以将该当前比例确定为预设比例,由于小于预设比例的当前手指面积可以认为是用户手指处于学习区域与电子设备的显示屏之间,则当电子设备检测到当前比例大于预设比例时,可以认为用户手指需要与电子设备的显示屏接触,当电子设备检测到当前比例小于等于预设比例时,可以认为用户手指未与电子设备的显示屏接触,
206、电子设备输出提示信息,其中,提示信息用于提示用户该用户手指未与学习区域接触。
作为一种可选的实施方式,电子设备执行步骤206之后,还可以执行以下步骤:
电子设备通过音频采集设备采集电子设备所处环境中的声音;
电子设备检测声音中是否包含电子设备的用户的语音;
如果包含电子设备的用户的语音,电子设备对语音进行语义识别,判断该语音中是否包含指示电子设备识别错误的语言;
如果包含指示电子设备识别错误的语言,电子设备通过超声波传感器检测用户手指距超声波传感器的当前距离,并获取预存储的超声波传感器距学习区域的标准距离;
电子设备计算当前距离与标准距离的差值的绝对值是否大于预设最小误差;
如果小于等于预设最小误差,电子设备确定用户手指与学习区域接触;
如果大于预设最小误差,电子设备确定用户手指未与学习区域接触,并输出二次提示信息,该二次提示信息用于提示电子设备的用户该用户手指未与学习区域接触。
其中,实施这种实施方式,可以在初次检测到用户手指未与学习区域接触时,检测用户是否通过语音的方式反馈用户手指与学习区域接触的信息,如果用户进行了反馈,则电子设备可以进一步通过超声波传感器测量手指距超声波传感器的距离,以使电子设备通过超声波传感器二次检测用户手指与学习区域的位置关系,从而提高了电子设备检测用户手指与学习区域的位置关系的准确性。
207、电子设备控制电子设备暂停播报学习区域中的与投影面积对应的内容。
本发明实施例中,实施上述的步骤204~步骤207,可以计算投影面积相对于标准面积的当前比例,并且根据当前比例确定用户手指所处的位置状态,并且可以向用户提示电子设备根据用户手指位置需要执行的操作,从而提升用户与电子设备的交互性。
208、电子设备判断电子设备的显示屏是否检测到按压操作,如果是,执行步骤209~步骤210;如果否,结束本流程。
209、电子设备确定用户手指在显示屏上执行触摸操作。
本发明实施例中,当电子设备检测到显示屏上存在按压操作时,可以认为用户手指与显示屏接触,因此可以确定用户手指在显示屏上执行触摸操作。
210、电子设备识别触摸操作对应的操作指令,并控制电子设备执行操作指令对应的目标操作。
本发明实施例中,实施上述的步骤208~步骤210,可以在确定用户手指未与学习区域接触的情况下检测用户手指是否在显示屏上执行触摸操作,由于电子设备检测到用户手指未与学习区域接触但出现在学习区域以及图像采集设备之间的区域,因此电子设备可以认为用户手指可能在电子设备的显示屏上执行任意操作,从而提高了检测用户在显示屏上执行的操作的灵敏度。
在图2所描述的方法中,能够根据确定的手指的位置实现对电子设备的点读控制,在提高手指位置识别的准确率的基础上,提升了用户的使用体验。此外,实施图2所描述的方法,提高了电子设备检测用户手指与学习区域的位置关系的准确性。此外,实施图2所描述的方法,提升用户与电子设备的交互性。此外,实施图2所描述的方法,提高了检测用户在显示屏上执行的操作的灵敏度。
实施例三
请参阅图3,图3是本发明实施例公开的另一种点读模式下的点读控制方法的流程示意图。如图3所示,该点读模式下的点读控制方法可以包括以下步骤:
301、电子设备获取预先存储的若干张历史图像,其中,每张历史图像均为用户手指处于学习区域时的图像。
302、电子设备获取各个历史图像中用户手指在学习区域中的历史投影面积。
303、电子设备从若干个历史投影面积中选取最小的历史投影面积作为标准面积。
本发明实施例中,实施上述的步骤301~步骤303,可以获取预先存储的以往拍摄的历史图像,且历史图像中也可以包含用户手指与学习区域,电子设备可以计算每个历史图像中用户手指在学习区域中的投影面积,并且将最小的投影面积确定为标准面积,由于学习区域距电子设备的图像采集设备最远,因此,在学习区域与图像采集设备这一距离中,只有与学习区域发生接触的手指在学习区域上的投影面积最小,可见,将以往拍摄的最小的手指投影面积确定为标准面积的方式可以使确定的标准投影面积与用户的手指实际触摸到学习区域的面积更加相符。
可选的,步骤301~步骤303可以在步骤306之前的任意步骤的之前或之后执行,对本发明实施例不造成影响。
304、当电子设备处于点读模式时,电子设备拍摄用户手指处于学习区域时的目标图像。
305、电子设备从目标图像中确定出用户手指在学习区域中的投影面积。
306、电子设备判断投影面积是否大于预设的标准面积,如果是,执行步骤307;如果否,执行步骤308~步骤310,标准面积为预先采集到的手指触及学习区域时的触及面积。
307、电子设备控制电子设备暂停播报学习区域中的与投影面积对应的内容。
308、电子设备获取学习区域中的与投影面积对应的文字内容。
本发明实施例中,电子设备可以对学习区域中的投影面积进行图像分析,以从投影面积中识别出用户手指的指尖,并且电子设备可以在学习区域中得到用户手指的指尖对应的选择区域,进而从学习区域中的选择区域中读取文字内容。
309、电子设备将文字内容确定为点读内容,并获取点读内容的标准读音。
310、电子设备通过电子设备的扬声器播报标准读音。
本发明实施例中,实施上述的步骤308~步骤310,可以在确定用户手指与学习区域接触的情况下,获取用户手指在学习区域的投影面积对应的文字内容,并将该文字内容作为点读内容,并输出点读内容的标准读音,以使电子设备在确定用户手指与学习区域接触之后立即获取用户指示的点读内容的读音,从而提高电子设备对检测到的用户在学习区域触发的操作的响应速度。
在图3所描述的方法中,能够根据确定的手指的位置实现对电子设备的点读控制,在提高手指位置识别的准确率的基础上,提升了用户的使用体验。此外,实施图3所描述的方法,可以使确定的标准投影面积与用户的手指实际触摸到学习区域的面积更加相符。此外,实施图3所描述的方法,提高电子设备对检测到的用户在学习区域触发的操作的响应速度。
实施例四
请参阅图4,图4是本发明实施例公开的一种电子设备的结构示意图。如图4所示,该电子设备可以包括:
拍摄单元401,用于当电子设备处于点读模式时,拍摄用户手指处于学习区域时的目标图像。
第一确定单元402,用于从拍摄单元401拍摄的目标图像中确定出用户手指在学习区域中的投影面积。
作为一种可选的实施方式,第一确定单元402从目标图像中确定出用户手指在学习区域中的投影面积的方式具体可以为:
对目标图像进行二值化处理,得到目标黑白图像;
从目标黑白图像中识别得到若干个连通区域;
计算各个连通区域的面积;
将面积最大的连通区域确定为目标连通区域;
将目标连通区域的面积确定为用户手指在学习区域中的投影面积。
其中,实施这种实施方式,由于识别黑白图像中的特征点更为准确,因此可以通过二值化处理将目标图像处理为目标黑白图像,并从目标黑白图像中识别出面积最大的目标连通区域,由于学习区域中可能包含较多的字符,因此与字符中的连通区域的面积相比手指在学习区域中投影对应的连通区域的面积更大,因此电子设备可以将识别出的面积最大的连通区域确定为用户手指在学习区域中投影的目标连通区域,进而使得确定的用户手指在学习区域中的投影面积更加精确。
第一判断单元403,用于判断第一确定单元402确定的投影面积是否大于预设的标准面积,标准面积为预先采集到的手指触及学习区域时的触及面积。
控制单元404,用于在第一判断单元403的判断结果为是时,控制电子设备暂停播报学习区域中的与投影面积对应的内容。
作为一种可选的实施方式,控制单元404还可以用于:
在用户手指处于图形采集设备的拍摄区域中时拍摄包含用户手指的视频;
对视频中的用户手指进行分析,得到用户手指对应的目标运动姿态;
检测该目标运动姿态是否与任一预设的手指指令对应的运动姿态匹配;
如果是,确定与该目标运动姿态匹配的目标手指指令;
控制电子设备执行与该目标手指指令对应的操作。
其中,实施这种实施方式,可以在确定用户手指未与学习区域接触且用户手指处于电子设备的图像采集设备的拍摄区域中时,检测用户是否通过手指的运动姿态向电子设备出输入任一指令,从而提高了但是这边对于用户通过手指输入的指令的响应速度。
可见,实施图4所描述的电子设备,能够根据确定的手指的位置实现对电子设备的点读控制,在提高手指位置识别的准确率的基础上,提升了用户的使用体验。此外,实施图4所描述的电子设备,使得确定的用户手指在学习区域中的投影面积更加精确。此外,实施图4所描述的电子设备,提高了但是这边对于用户通过手指输入的指令的响应速度。
实施例五
请参阅图5,图5是本发明实施例公开的另一种电子设备的结构示意图。其中,图5所示的电子设备是由图4所示的电子设备进行优化得到的。图5所示的电子设备还可以包括:
计算单元405,用于在第一判断单元403的判断结果为是时,计算投影面积相对于标准面积的当前比例。
第二判断单元406,用于判断计算单元405计算的当前比例是否大于预设比例。
输出单元407,用于在第二判断单元406的判断结果为否时,输出提示信息,并触发控制单元404执行控制电子设备暂停播报学习区域中的与投影面积对应的内容,其中,提示信息用于提示用户该用户手指未与学习区域接触。
本发明实施例中,可以计算投影面积相对于标准面积的当前比例,并且根据当前比例确定用户手指所处的位置状态,并且可以向用户提示电子设备根据用户手指位置需要执行的操作,从而提升用户与电子设备的交互性。
作为一种可选的实施方式,输出单元407还可以用于:
通过音频采集设备采集电子设备所处环境中的声音;
检测声音中是否包含电子设备的用户的语音;
如果包含电子设备的用户的语音,对语音进行语义识别,判断该语音中是否包含指示电子设备识别错误的语言;
如果包含指示电子设备识别错误的语言,通过超声波传感器检测用户手指距超声波传感器的当前距离,并获取预存储的超声波传感器距学习区域的标准距离;
计算当前距离与标准距离的差值的绝对值是否大于预设最小误差;
如果小于等于预设最小误差,确定用户手指与学习区域接触;
如果大于预设最小误差,确定用户手指未与学习区域接触,并输出二次提示信息,该二次提示信息用于提示电子设备的用户该用户手指未与学习区域接触。
其中,实施这种实施方式,可以在初次检测到用户手指未与学习区域接触时,检测用户是否通过语音的方式反馈用户手指与学习区域接触的信息,如果用户进行了反馈,则电子设备可以进一步通过超声波传感器测量手指距超声波传感器的距离,以使电子设备通过超声波传感器二次检测用户手指与学习区域的位置关系,从而提高了电子设备检测用户手指与学习区域的位置关系的准确性。
作为一种可选的实施方式,图5所示的电子设备还可以包括:
第三判断单元408,用于在第二判断单元406的判断结果为是时,判断电子设备的显示屏是否检测到按压操作;
第二确定单元409,用于在第三判断单元408的判断结果为是时,确定用户手指在显示屏上执行触摸操作;
识别单元410,用于识别第二确定单元409确定的触摸操作对应的操作指令,并控制电子设备执行操作指令对应的目标操作。
其中,实施这种实施方式,可以在确定用户手指未与学习区域接触的情况下检测用户手指是否在显示屏上执行触摸操作,由于电子设备检测到用户手指未与学习区域接触但出现在学习区域以及图像采集设备之间的区域,因此电子设备可以认为用户手指可能在电子设备的显示屏上执行任意操作,从而提高了检测用户在显示屏上执行的操作的灵敏度。
可见,实施图5所描述的电子设备,能够根据确定的手指的位置实现对电子设备的点读控制,在提高手指位置识别的准确率的基础上,提升了用户的使用体验。此外,实施图5所描述的电子设备,提高了电子设备检测用户手指与学习区域的位置关系的准确性。此外,实施图5所描述的电子设备,提升用户与电子设备的交互性。此外,实施图5所描述的电子设备,提高了检测用户在显示屏上执行的操作的灵敏度。
实施例六
请参阅图6,图6是本发明实施例公开的另一种电子设备的结构示意图。其中,图6所示的电子设备是由图5所示的电子设备进行优化得到的。图6所示的电子设备还可以包括:
第一获取单元411,用于在第一判断单元403判断投影面积是否大于预设的标准面积之前,获取预先存储的若干张历史图像,其中,每张历史图像均为用户手指处于学习区域时的图像。
第二获取单元412,用于获取第一获取单元411获取的各个历史图像中用户手指在学习区域中的历史投影面积。
选取单元413,用于从第二获取单元412获取的若干个历史投影面积中选取最小的历史投影面积作为标准面积。
本发明实施例中,可以获取预先存储的以往拍摄的历史图像,且历史图像中也可以包含用户手指与学习区域,电子设备可以计算每个历史图像中用户手指在学习区域中的投影面积,并且将最小的投影面积确定为标准面积,由于学习区域距电子设备的图像采集设备最远,因此,在学习区域与图像采集设备这一距离中,只有与学习区域发生接触的手指在学习区域上的投影面积最小,可见,将以往拍摄的最小的手指投影面积确定为标准面积的方式可以使确定的标准投影面积与用户的手指实际触摸到学习区域的面积更加相符。
作为一种可选的实施方式,图6所示的电子设备还可以包括:
第三获取单元414,用于在第一判断单元403的判断结果为否时,获取学习区域中的与投影面积对应的文字内容;
第三确定单元415,用于将第三获取单元414获取的文字内容确定为点读内容,并获取点读内容的标准读音;
播报单元416,用于通过电子设备的扬声器播报第三确定单元415确定的标准读音。
其中,实施这种实施方式,可以在确定用户手指与学习区域接触的情况下,获取用户手指在学习区域的投影面积对应的文字内容,并将该文字内容作为点读内容,并输出点读内容的标准读音,以使电子设备在确定用户手指与学习区域接触之后立即获取用户指示的点读内容的读音,从而提高电子设备对检测到的用户在学习区域触发的操作的响应速度。
可见,实施图6所描述的电子设备,能够根据确定的手指的位置实现对电子设备的点读控制,在提高手指位置识别的准确率的基础上,提升了用户的使用体验。此外,实施图6所描述的电子设备,可以使确定的标准投影面积与用户的手指实际触摸到学习区域的面积更加相符。此外,实施图6所描述的电子设备,提高电子设备对检测到的用户在学习区域触发的操作的响应速度。
实施例七
请参阅图7,图7是本发明实施例公开的另一种电子设备的结构示意图。如图7所示,该电子设备可以包括:
存储有可执行程序代码的存储器701;
与存储器701耦合的处理器702;
其中,处理器702调用存储器701中存储的可执行程序代码,执行以上各方法实施例中的方法的部分或全部步骤。
本发明实施例还公开一种计算机可读存储介质,其中,计算机可读存储介质存储了程序代码,其中,程序代码包括用于执行以上各方法实施例中的方法的部分或全部步骤的指令。
本发明实施例还公开一种计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
本发明实施例还公开一种应用发布平台,其中,应用发布平台用于发布计算机程序产品,其中,当计算机程序产品在计算机上运行时,使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
应理解,说明书通篇中提到的“本发明实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在本发明实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在本发明的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
另外,本文中术语“系统”和“网络”在本文中常可互换使用。应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
在本发明所提供的实施例中,应理解,“与A对应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其他信息确定B。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
以上对本发明实施例公开的一种点读模式下的点读控制方法及电子设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种点读模式下的点读控制方法,其特征在于,所述方法包括:
当电子设备处于点读模式时,拍摄用户手指处于学习区域时的目标图像;
对所述目标图像进行二值化处理,得到目标黑白图像;从所述目标黑白图像中识别得到若干个连通区域;计算各个所述连通区域的面积;将面积最大的连通区域确定为目标连通区域;将所述目标连通区域的面积确定为所述用户手指在所述学习区域中的投影面积;
判断所述投影面积是否大于预设的标准面积,所述标准面积为预先采集到的手指触及所述学习区域时的触及面积;
若大于,控制所述电子设备暂停播报所述学习区域中的与所述投影面积对应的内容。
2.根据权利要求1所述的方法,其特征在于,在判断出所述投影面积大于预设的所述标准面积之后,所述方法还包括:
计算所述投影面积相对于所述标准面积的当前比例;
判断所述当前比例是否大于预设比例;
如果大于所述预设比例,输出提示信息,并执行所述的控制所述电子设备暂停播报所述学习区域中的与所述投影面积对应的内容,其中,所述提示信息用于提示用户所述用户手指未与所述学习区域接触。
3.根据权利要求2所述的方法,其特征在于,在判断出所述当前比例小于等于所述预设比例时,所述方法还包括:
判断所述电子设备的显示屏是否检测到按压操作;
如果是,确定所述用户手指在所述显示屏上执行触摸操作;
识别所述触摸操作对应的操作指令,并控制所述电子设备执行所述操作指令对应的目标操作。
4.根据权利要求1~3任一项所述的方法,其特征在于,所述判断所述投影面积是否大于预设的标准面积之前,所述方法还包括:
获取预先存储的若干张历史图像,其中,每张所述历史图像均为所述用户手指处于所述学习区域时的图像;
获取各个所述历史图像中所述用户手指在所述学习区域中的历史投影面积;
从若干个所述历史投影面积中选取最小的历史投影面积作为标准面积。
5.根据权利要求1~3任一项所述的方法,其特征在于,在判断出所述投影面积小于等于预设的所述标准面积之后,所述方法还包括:
获取所述学习区域中的与所述投影面积对应的文字内容;
将所述文字内容确定为点读内容,并获取所述点读内容的标准读音;
通过所述电子设备的扬声器播报所述标准读音。
6.一种电子设备,其特征在于,包括:
拍摄单元,用于当所述电子设备处于点读模式时,拍摄用户手指处于学习区域时的目标图像;
第一确定单元,用于对所述目标图像进行二值化处理,得到目标黑白图像;从所述目标黑白图像中识别得到若干个连通区域;计算各个所述连通区域的面积;将面积最大的连通区域确定为目标连通区域;将所述目标连通区域的面积确定为所述用户手指在所述学习区域中的投影面积;
第一判断单元,用于判断所述投影面积是否大于预设的标准面积,所述标准面积为预先采集到的手指触及所述学习区域时的触及面积;
控制单元,用于在所述第一判断单元的判断结果为是时,控制所述电子设备暂停播报所述学习区域中的与所述投影面积对应的内容。
7.根据权利要求6所述的电子设备,其特征在于,所述电子设备还包括:
计算单元,用于在所述第一判断单元的判断结果为是时,计算所述投影面积相对于所述标准面积的当前比例;
第二判断单元,用于判断所述当前比例是否大于预设比例;
输出单元,用于在所述第二判断单元的判断结果为是时,输出提示信息,并触发所述控制单元执行所述的控制所述电子设备暂停播报所述学习区域中的与所述投影面积对应的内容,其中,所述提示信息用于提示用户所述用户手指未与所述学习区域接触。
8.根据权利要求7所述的电子设备,其特征在于,所述电子设备还包括:
第三判断单元,用于在所述第二判断单元的判断结果为否时,判断所述电子设备的显示屏是否检测到按压操作;
第二确定单元,用于在所述第三判断单元的判断结果为是时,确定所述用户手指在所述显示屏上执行触摸操作;
识别单元,用于识别所述触摸操作对应的操作指令,并控制所述电子设备执行所述操作指令对应的目标操作。
9.根据权利要求6~8任一项所述的电子设备,其特征在于,所述电子设备还包括:
第一获取单元,用于在所述第一判断单元判断所述投影面积是否大于预设的标准面积之前,获取预先存储的若干张历史图像,其中,每张所述历史图像均为所述用户手指处于所述学习区域时的图像;
第二获取单元,用于获取各个所述历史图像中所述用户手指在所述学习区域中的历史投影面积;
选取单元,用于从若干个所述历史投影面积中选取最小的历史投影面积作为标准面积。
10.根据权利要求6~8任一项所述的电子设备,其特征在于,所述电子设备还包括:
第三获取单元,用于在所述第一判断单元的判断结果为否时,获取所述学习区域中的与所述投影面积对应的文字内容;
第三确定单元,用于将所述文字内容确定为点读内容,并获取所述点读内容的标准读音;
播报单元,用于通过所述电子设备的扬声器播报所述标准读音。
CN201910498915.2A 2019-06-09 2019-06-09 一种点读模式下的点读控制方法及电子设备 Active CN111077997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910498915.2A CN111077997B (zh) 2019-06-09 2019-06-09 一种点读模式下的点读控制方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910498915.2A CN111077997B (zh) 2019-06-09 2019-06-09 一种点读模式下的点读控制方法及电子设备

Publications (2)

Publication Number Publication Date
CN111077997A CN111077997A (zh) 2020-04-28
CN111077997B true CN111077997B (zh) 2023-08-25

Family

ID=70310067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910498915.2A Active CN111077997B (zh) 2019-06-09 2019-06-09 一种点读模式下的点读控制方法及电子设备

Country Status (1)

Country Link
CN (1) CN111077997B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111552367B (zh) * 2020-05-25 2023-09-26 广东小天才科技有限公司 一种点击操作的识别方法及电子设备、存储介质
CN111711758B (zh) * 2020-06-29 2021-06-18 广东小天才科技有限公司 多指定位的试题拍摄方法、装置、电子设备和存储介质
CN115116093A (zh) * 2022-06-30 2022-09-27 北京有竹居网络技术有限公司 点读方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104157171A (zh) * 2014-08-13 2014-11-19 三星电子(中国)研发中心 一种点读系统及其方法
CN105652568A (zh) * 2016-04-13 2016-06-08 江南大学 一种投影仪
CN105652567A (zh) * 2016-04-13 2016-06-08 江南大学 一种投影方法
CN107248329A (zh) * 2017-07-06 2017-10-13 广东小天才科技有限公司 一种点读装置及其点读方法
CN108268634A (zh) * 2018-01-17 2018-07-10 广东小天才科技有限公司 拍照及搜索方法、智能笔、搜索终端及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104157171A (zh) * 2014-08-13 2014-11-19 三星电子(中国)研发中心 一种点读系统及其方法
CN105652568A (zh) * 2016-04-13 2016-06-08 江南大学 一种投影仪
CN105652567A (zh) * 2016-04-13 2016-06-08 江南大学 一种投影方法
CN107248329A (zh) * 2017-07-06 2017-10-13 广东小天才科技有限公司 一种点读装置及其点读方法
CN108268634A (zh) * 2018-01-17 2018-07-10 广东小天才科技有限公司 拍照及搜索方法、智能笔、搜索终端及存储介质

Also Published As

Publication number Publication date
CN111077997A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN109635772B (zh) 一种听写内容的批改方法及电子设备
CN109240576B (zh) 游戏中的图像处理方法及装置、电子设备、存储介质
CN106210836B (zh) 一种视频播放过程中的互动学习方法及装置、终端设备
CN111077997B (zh) 一种点读模式下的点读控制方法及电子设备
CN111077996B (zh) 一种基于点读的信息推荐方法及学习设备
CN105975550B (zh) 一种智能设备的题目搜索方法和装置
CN110210040A (zh) 文本翻译方法、装置、设备和可读存储介质
CN111026949A (zh) 一种基于电子设备的搜题方法及系统
CN111079494B (zh) 一种学习内容推送方法及电子设备
US20210287011A1 (en) Information interaction method and apparatus, electronic device, and storage medium
CN105844241A (zh) 一种触控压力检测方法及终端
CN105224448B (zh) 记录测试场景的方法和装置
CN113743237A (zh) 跟随动作的准确度判定方法、装置、电子设备及存储介质
CN110084187B (zh) 基于计算机视觉的位置识别方法、装置、设备及存储介质
CN111077990B (zh) 一种待点读内容的确定方法及学习设备
CN111078983B (zh) 一种待识别页面的确定方法及学习设备
CN111722711B (zh) 增强现实场景输出方法及电子设备、计算机可读存储介质
CN111026924A (zh) 一种待搜索内容的获取方法及电子设备
WO2021136298A1 (zh) 一种语音处理方法、装置、智能设备及存储介质
CN106370883B (zh) 一种测速方法及终端
CN111077993B (zh) 一种学习场景的切换方法、电子设备及存储介质
JP6292672B2 (ja) 操作支援装置、操作支援方法及び操作支援プログラム
CN111736693A (zh) 智能设备的手势控制方法及装置
CN108280184B (zh) 一种基于智能笔的试题摘录方法、系统及智能笔
CN111077989B (zh) 一种基于电子设备的屏幕控制方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant