[go: up one dir, main page]

CN107688385A - 一种控制方法及装置 - Google Patents

一种控制方法及装置 Download PDF

Info

Publication number
CN107688385A
CN107688385A CN201610629333.XA CN201610629333A CN107688385A CN 107688385 A CN107688385 A CN 107688385A CN 201610629333 A CN201610629333 A CN 201610629333A CN 107688385 A CN107688385 A CN 107688385A
Authority
CN
China
Prior art keywords
user
control
behavior characteristics
control object
eye behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610629333.XA
Other languages
English (en)
Inventor
涂畅
张扬
王砚峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sogou Technology Development Co Ltd
Original Assignee
Beijing Sogou Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sogou Technology Development Co Ltd filed Critical Beijing Sogou Technology Development Co Ltd
Priority to CN201610629333.XA priority Critical patent/CN107688385A/zh
Publication of CN107688385A publication Critical patent/CN107688385A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供一种控制方法和装置,所述方法包括:采集用户眼部行为特征;当用户眼部行为特征符合预设条件时,根据所述用户眼部行为特征确定控制对象以及确定与所述眼部行为特征对应的控制命令;根据所述控制命令实现对所述控制对象的控制。本发明实施例无需用户进行手动操作即可以实现对电子设备的控制,简单方便,解放了用户的双手,提高了用户的操作效率。

Description

一种控制方法及装置
技术领域
本发明实施例涉及电子设备技术领域,具体涉及一种控制方法及装置。
背景技术
随着触控技术的发展,具有触摸感应单元的电子设备被广泛使用,例如手机、平板电脑、笔记本、遥控器等。用户通过手指、触摸笔等操作体接触或接近触摸感应单元,即可通过获取的触点位置信息,实现对电子设备的控制操作。然而,由于用户需要使用手指或触摸笔来实现对电子设备的控制,用户至少有一只手会被占用,影响用户的其他操作。当用户双手被其他事务占用时,则无法方便地实现对电子设备的控制操作。因此,现有技术提供的电子设备控制方法存在操作不便的缺陷。
发明内容
本发明实施例提供了一种控制方法及装置,可以通过检测用户的眼部行为特征,实现对电子设备的控制,方便用户操作,提升用户体验。
为此,本发明实施例提供如下技术方案:
第一方面,本发明实施例提供了一种控制方法,包括:采集用户眼部行为特征;当用户眼部行为特征符合预设条件时,根据所述用户眼部行为特征确定控制对象以及确定与所述眼部行为特征对应的控制命令;根据所述控制命令实现对所述控制对象的控制。
第二方面,本发明实施例提供了一种控制装置,包括:采集模块,用于采集用户眼部行为特征;确定模块,用于当所述采集模块采集的用户眼部行为特征符合预设条件时,根据所述用户眼部行为特征确定控制对象以及确定与所述眼部行为特征对应的控制命令;控制模块,用于根据所述确定模块生成的控制命令实现对所述控制对象的控制。
第三方面,本发明实施例提供了一种控制装置,包括:有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:采集用户眼部行为特征;当用户眼部行为特征符合预设条件时,根据所述用户眼部行为特征确定控制对象以及确定与所述眼部行为特征对应的控制命令;根据所述控制命令实现对所述控制对象的控制
本发明实施例提供的控制方法及装置,可以根据采集的用户的眼部行为特征,确定控制对象以及控制命令,实现对控制对象的控制操作。本发明实施例提供的方法无需用户进行手动操作即可以实现对电子设备的控制,简单方便,解放了用户的双手,提高了用户的操作效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性地示出了本发明实施例可以应用的一个场景;
图2为本发明一实施例提供的控制方法流程图;
图3为本发明另一实施例提供的控制方法流程图;
图4示意性地示出了本发明实施例可以应用的另一个场景;
图5为本发明一实施例提供的控制装置示意图;
图6为本发明一实施例提供的控制装置示意图;
图7是本发明实施例中服务器的结构示意图。
具体实施方式
本发明实施例提供了一种控制方法及装置,可以通过检测用户的眼部行为特征,实现对电子设备的控制,方便用户操作,提高用户操作效率,提升用户体验。
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
参见图1,为本发明实施例的示例性应用场景。本发明实施例提供的方法可以应用于如图1所示的场景,其中,本发明实施例提供的方法可以应用于如图1所示的电子设备100中,所述电子设备100可以是现有的、正在研发的或将来研发的任何电子设备,包括但不限于:现有的或正在研发的或将来研发的、台式计算机、膝上型计算机、移动终端(包括智能手机、非智能手机、各种平板电脑)等。如图1所示,电子设备100的用户界面可以包括各种显示对象,例如显示对象101和显示对象102。用户200在操作电子设备100时,其眼球可以移动,如图1所示从视线1移动到视线2所指向的位置。在一个可能的应用场景中,本发明实施例提供的方法和装置可以采集用户200的眼部行为特征,当用户移动眼球,将视线从视线1聚焦点对应的显示对象101移动到视线2聚焦点对应的显示对象102时,本发明提供的方法和装置可以采集用户眼部行为特征,确定用户眼球的移动方向为从上向下移动,从而将用户眼睛观看的对象作为控制对象进行移动,从而使得用户想要查看的显示对象102移动到电子设备屏幕的正中央,方便用户观看。由此,根据采集的用户眼部行为特征确定了控制对象和控制命令,并根据所述控制命令实现了对控制对象的控制。当然,以上仅为本发明实施例的一个示例性说明,本发明实施例提供的方法和装置还可以应用于其他场景,在此不进行限制。需要注意的是,上述应用场景仅是为了便于理解本发明而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
下面将结合附图2至附图3对本发明实施例示出的控制方法进行介绍。
参见图2,为本发明一实施例提供的控制方法流程图。如图2所示,可以包括:
S201,采集用户眼部行为特征。
其中,本发明提供的控制装置可以包括采集模块,用于采集用户眼部行为特征。所述采集模块具体可以为摄像头。当然,本发明提供的控制装置也可以通过其他外部途径,例如与所述控制装置通信连接的其他电子设备或装置,获取用户眼部行为特征。需要说明的是,当所述控制装置通过外部途径获取用户眼部行为特征时,其他电子设备或装置可以为具有处理器的独立设备,其具有采集模块,所述采集模块用于采集用户眼部行为特征。当然,控制装置也可以通过与其进行通信连接的外部采集模块获取用户眼部行为特征,这时,所述外部采集模块可以是不具有处理器的模块,其能够实现采集用户眼部行为特征的功能。
其中,所述用户眼部行为特征可以包括但不限于用户眼球的移动方向、用户眼球的移动速度、用户眼球的移动距离、用户眼球移动的起始位置和/或终止位置、用户瞳孔的大小、用户眼睛处于张开或者闭合状态、用户上下眼睑的间距、用户眨眼的次数、用户眨眼的频率中的任意一种或多种的组合。当然,以上仅为示例性说明,本发明对采集的眼部行为特征的类型不进行限制。具体实现时,控制装置可以采集多帧用户眼部图像,通过比较各帧图像,分析获取用户眼部行为特征。举例说明,可以定时捕捉用户眼部图像,通过对比相邻帧图像获取用户眼部状态的变化。当然,也可以通过其他方式识别用户眼部状态的变化作为用户眼部行为特征。
S202,当用户眼部行为特征符合预设条件时,根据所述用户眼部行为特征确定控制对象以及确定与所述眼部行为特征对应的控制命令。
具体实现时,所述用户眼部行为特征符合预设条件包括下述中的任意一种或多种的组合:
(1)用户眼球的移动距离和/或移动速度大于设定阈值。举例说明,当用户眼球快速移动时,可以表明用户想要变换观看对象。当用户眼球的移动距离大于设定阈值时,也可以表明用户想要变换观看对象。这时,可以确定用户眼部行为特征符合预设条件。设定阈值的大小可以根据经验或者需要设定。
(2)用户眼球的移动方向与预设方向相同。
(3)用户眼球移动的起始位置和/或终止位置为预设位置。
(4)用户瞳孔的大小变大或者缩小。
(5)用户上下眼睑的间距变大或者缩小。
(6)用户眨眼的次数符合预设次数。
(7)用户眨眼的频率大于设定阈值。
(8)其他情况。
以上仅为示例性说明,本领域技术人员还可以设置其他条件作为预设条件,在此不进行限定。
具体实现时,在确定用户眼部行为特征对应的控制对象时,可以将用户观看的对象作为控制对象。例如,在一些实施方式中,可以获取用户眼睛聚焦点对应的显示对象,将所述显示对象确定为控制对象。举例说明,如图1所示,用户视线1对应的聚焦点为显示对象101。若采集的用户眼部行为特征为瞳孔放大,则将显示对象101作为控制对象,对应的控制命令可以是放大控制对象101。又如,在一些实施方式中,可以获取用户眼球的移动轨迹,确定所述用户眼球移动轨迹的开始位置或者结束位置,将所述移动轨迹的开始位置或者结束位置对应的显示对象确定为控制对象。举例说明,如图1所示,用户眼球的移动轨迹的开始位置对应的显示对象为101,用户眼球移动轨迹的结束位置对象的显示对象为102,这时,可以将用户眼球移动轨迹的结束位置对象的显示对象102所在区域作为控制对象。在一些实施方式中,可以将用户眼球移动轨迹的开始位置对应的显示对象确定为控制对象。如图4所示,则是将用户眼球移动轨迹的开始位置对象的显示对象103作为控制对象,将其移动到与控件104重合的位置。
在一些实施方式中,所述方法还包括:响应于用户的触发操作,显示第一指示对象;其中,所述第一指示对象用于指示用户眼球的移动轨迹或者聚焦位置;所述根据所述用户眼部行为特征确定控制对象包括:当用户的眼球在所述第一指示对象上聚焦时,将所述第一指示对象作为控制对象;或者,当所述第一指示对象与第一控件重合时,将所述第一控件作为控制对象。
具体实现时,所述控制命令可以是移动显示对象的命令、放大或者缩小显示对象的命令、单击或者双击控制对象的命令等,在此不进行限定。在确定与所述眼部行为特征对应的控制命令时,可以根据预先保存的眼部行为特征与控制命令的对应关系确定控制命令。
下面结合几种可能的实行方式,对如何根据所述用户眼部行为特征确定控制对象以及确定与所述眼部行为特征对应的控制命令进行说明。
在一些实施方式中,所述确定与所述眼部行为特征对应的控制命令可以包括:确定用户眼球的移动方向,根据所述用户眼球的移动方向确定控制对象的移动方向;生成根据所述控制对象的移动方向移动所述控制对象的控制命令。举例说明,如图1所示,假设采集的用户眼部行为特征为用户眼球的移动方向、用户眼球的移动速度、用户眼球的移动距离,当用户眼球的移动速度和/或移动距离大于设定阈值,确定用户眼部行为特征符合预设条件。在确定控制对象时,将用户眼球的移动轨迹的结束位置(对应显示对象102)所在的整体区域作为控制对象。而后,确定用户眼球的移动方向为从上向下移动,这时确定控制对象的移动方向为从下向上移动,生成的控制命令为从下向上移动控制对象。
在一些实施方式中,所述确定与所述眼部行为特征对应的控制命令可以包括:获取预先设置的目标移动位置,生成移动所述控制对象至所述目标移动位置的控制命令。仍以图1为例进行说明,假设在确定控制对象时,将用户眼球的移动轨迹的结束位置(对应显示对象102)所在的整体区域作为控制对象。预先设置的目标移动位置为电子设备显示屏幕的中央位置,这时生成的控制命令为移动控制对象至显示屏幕的中央位置。在这一实施方式中,无需确定控制对象的移动方向,直接将控制对象移动至预先设定的目标移动位置即可。
在一些实施方式中,所述方法还可以包括:当检测到用户的眼球停止移动或者用户的眼球聚焦在预设位置时,停止移动控制对象的操作。举例说明,当将控制对象移动到屏幕中央位置时,用户眼球凝视屏幕中央,停止移动,则可以停止针对所述控制对象的移动操作。又举例说明,假设用户眼球聚焦到预设位置,则可能说明所述预设位置对应的显示对象正是用户想要观看的对象,这时,则停止移动控制对象的操作。
在一些实施方式中,所述方法还可以包括:当检测到用户的眼球停止移动且用户的眼球聚焦在电子设备的显示单元的边缘时,控制所述控制对象持续移动。在一些实施方式中,假设用户眼球停止移动一直聚焦在电子设备的屏幕的边缘,可以控制控制对象持续移动,直到用户的眼球聚焦点离开电子设备的屏幕的边缘。具体地,当用户眼球聚焦在电子设备屏幕的上边缘时,控制屏幕的显示对象持续向上移动;当用户眼球聚焦在电子设备屏幕的下边缘时,控制屏幕的显示对象持续向下移动;当用户眼球聚焦在电子设备屏幕的左边缘时,控制屏幕的显示对象持续向左移动;当用户眼球聚焦在电子设备屏幕的右边缘时,控制屏幕的显示对象持续向右移动。
在一些实施方式中,所述确定与所述眼部行为特征对应的控制命令可以包括:确定用户瞳孔的大小或者上下眼睑的间距变大时,生成放大控制对象的命令;确定用户瞳孔大小或者上下眼睑的间距变小时,生成缩小控制对象的命令。举例说明,用户通过睁大眼睛使瞳孔放大,捕获用户眼睛睁大、瞳孔放大的信息,对显示屏幕显示的地图进行放大操作。用户通过眯着眼睛缩小瞳孔,这时对显示屏幕显示的地图进行缩小操作。其中,用户眼睛睁大的表现可以是上下眼睑的间距变大,也就是说,用户上下眼睑张开的幅度变大。同样地,用户眼睛眯着的表现可以是上下眼睑的间距变小,也就是说,用户上下眼睑张开的幅度变小。
在一些实施方式中,所述确定与所述眼部行为特征对应的控制命令包括下述中的任意一种或多种的组合:
(1)确定用户眨眼的次数为第一预设次数时,生成放大控制对象的命令。具体实现时,可以确定在预设时间段内用户连续眨眼的次数为第一预设次数时,生成放大控制对象的命令。例如,可以设置用户在2秒内眨眼1次,为放大控制对象的命令。
(2)确定用户眨眼的次数为第二预设次数时,生成缩小控制对象的命令。具体实现时,可以确定在预设时间段内用户眨眼的次数为第二预设次数时,生成缩小控制对象的命令。例如,可以设置用户在2秒内眨眼2次,为缩小控制对象的命令。
(3)确定用户眨眼的次数为第三预设次数时,生成单击控制对象的命令。具体实现时,可以确定在预设时间段内用户眨眼的次数为第三预设次数时,生成单击控制对象的命令。例如,可以设置用户在2秒内眨眼4次,为单击控制对象的命令。
(4)确定用户眨眼的次数为第四预设次数时,生成双击控制对象的命令。具体实现时,可以确定在预设时间段内用户眨眼的次数为第四预设次数时,生成双击控制对象的命令。例如,可以设置用户在2秒内眨眼6次,为双击控制对象的命令。
当然,以上仅为示例性说明,本发明对此不进行限制。
S203,根据所述控制命令实现对所述控制对象的控制。
为了便于本领域技术人员更清楚地理解本申请在具体场景下的实施方式,下面以一个具体示例对本申请实施方式进行介绍。需要说明的是,该具体示例仅为使得本领域技术人员更清楚地了解本发明,但本发明的实施方式不限于该具体示例。
下面以一个实例对图1和图2所示的方法进行说明。在一个可能的应用场景中,本发明提供的方法和装置可以用于用户与地图应用程序进行交互的过程中。用户打开地图应用程序进行查看。本发明提供的控制装置通过摄像头实时捕捉用户的眼球,识别用户的操作意图,例如通过捕获用户的眼球移动方向相对用户正视地图时的方向,操作地图展示界面向上、下、左、右移动;当用户眼球停止转动凝视地图时,地图展示界面停止移动。举例说明,可以设置定时对用户眼睛图像进行采集。当用户眼球向左偏移的时候,通过摄像头实时捕捉这一图像,经过分析对比之前的图像之后,获取用户的偏移方向,从而实时控制地图应用程序的显示界面可以从左向右移动,当将用户想要查看的区域移到屏幕正中间时,用户眼球停止偏移,正视地图中央区域,摄像头实时捕获这一变化,立刻停止移动地图。同理,用户眼球向右偏移的时候,地图应用程序通过摄像头捕获用户的眼球动作,可以将用户想要查看的区域左移到屏幕中央。类似的,可以通过追踪眼球进行上移、下移、左上、右上、左下、右下等操作。此外,当用户目光集中瞳孔放大(或眼睛睁大)时,通过捕获用户瞳孔放大(或眼睛睁大)的信息,将地图进行放大;而当用户瞳孔缩小(或者眼睛缩小)时,可以将地图进行缩小操作。本发明实施例通过采集用于眼部行为特征,实现相应的控制,从而满足用户的各种交互需求,这样,可以将用户从繁琐的手工操作中解放出来,无需触屏即可与应用程序的显示对象进行基本的移动定位和放大缩小操作。
以上以控制对象为用户聚焦点对应的显示对象所在的整体区域作为控制对象进行说明,当然,本领域技术人员可以理解的是,还可以将用户聚焦点对应的单个元素作为控制对象。下面参照图3和图4对另一个实例进行说明。
S301,响应于用户的触发操作,显示第一指示对象。
其中,所述第一指示对象用于指示用户眼球的移动轨迹或者聚焦位置。所述第一指示对象例如可以是图4所示的箭头式光标103。其中,用户的触发操作可以是预先设置的接触性操作,例如用户轻触屏幕或者长按屏幕的操作。当然,也可以是非接触性操作,例如用户在预设时间内眨眼两次等。在此对触发操作的类型不进行限定,只要能够与其他操作区分,能够触发显示第一指示对象即可以。
S302,当用户的眼球在所述第一指示对象上聚焦时,将所述第一指示对象作为控制对象。
S303,采集用户眼球的移动方向和/或移动轨迹,确定控制命令。
例如,可以采集用户眼球的移动方向,以便确定第一指示对象的移动方向,移动第一指示对象。例如,如图4所示,确定用户眼球的移动方向从上向下移动,这时从上向下移动第一指示对象103。又如,还可以采集用户眼球的移动轨迹,将第一指示对象103从视线3聚焦的位置移动到视线4聚焦的位置。
S304,根据控制命令移动第一指示对象。
S305,采集用户眼部行为特征,当所述第一指示对象与第一控件重合时,将所述第一控件作为控制对象。
如图4所示,显示对象104即为一个控件,所述控件可以实现某种功能。通过上述操作,将第一指示对象从用户视线3聚焦的位置移动到视线4聚焦的位置,这时第一指示对象103与显示对象104即第一控件重合或者部分重合。例如,当用户的眼部行为特征是聚焦在第一指示对象且眨眼三次时,还可以将与第一指示对象重合的控件(例如图4中的104)作为控制对象,并生成相应的控制命令。
S306,根据用户眼部行为特征与控制命令的对应关系,生成点击第一控件的命令。
下面参照图4进行说明。参见图4,为本发明实施例的另一个示例性应用场景。本发明实施例提供的方法可以应用于如图4所示的场景,其中,本发明实施例提供的方法可以应用于如图4所示的电子设备100中,所述电子设备100可以是现有的、正在研发的或将来研发的任何电子设备,包括但不限于:现有的、正在研发的或将来研发的、台式计算机、膝上型计算机、移动终端(包括智能手机、非智能手机、各种平板电脑)等。如图4所示,电子设备100的用户界面可以包括各种显示对象,例如显示对象103和显示对象104。其中,显示对象103例如可以是箭头式光标,显示对象104例如可以是控件,所述控件可以实现某种功能。用户200在操作电子设备100时,其眼球可以移动,例如如图4所示从视线3移动到视线4所指向的位置。在一个可能的应用场景中,本发明实施例提供的方法和装置可以采集用户200的眼部行为特征,将用户视线3聚焦点对应的显示对象确定为控制对象103,并可以根据用户眼球的移动方向,将控制对象103从视线3聚焦的位置移动到视线4聚焦的位置,例如可以是与控件104重合的位置,图4虚线所示的箭头103即为移动后的控制对象103。由此,根据采集的用户眼部行为特征确定了控制对象和控制命令,并根据所述控制命令实现了对控制对象的控制。当然,以上仅为本发明实施例的一个示例性说明,本发明实施例提供的方法和装置还可以应用于其他场景,在此不进行限制。需要注意的是,上述应用场景仅是为了便于理解本发明而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
下面以一个示例说明图4的应用场景。仍以地图应用程序为例进行说明,可以在地图应用程序中显示光标(例如103),通过追踪用户的眼球,对光标进行移动。当光标移动到特定位置时,例如移动到与第一控件104重合时,可以通过两次眨眼进行执行点击控件104的操作。而当光标在无控件区域时,可以通过两次眨眼或三次眨眼,分别进行放大或缩小的操作。
在一些实施方式中,本发明实施例提供的方法既可以控制多个元素或者多个元素的整体,例如图1所示的应用场景。在一些实施方式中,本发明实施例提供的方法可以控制单个元素,例如图4所示的应用场景,可以控制光标103。在另一实施方式中,可以实现两种方式的结合,即既可以实现对多个元素或者多个元素的整体的控制,也可以实现对单个元素的控制。以移动元素为例,本发明实施例提供的方法,可以采集用于眼球的移动轨迹,将单个元素例如光标103从视线3聚焦的位置移动到视线4聚焦的位置。当用户的眼球移动,且眼球移动轨迹的结束位置为电子设备显示单元的边缘时,可以控制多个元素或者多个元素的整体移动。例如,这时,可以控制显示屏幕显示的多个显示元素整体向上、向下、向左或者向右移动。当然,这仅是一种示例性说明,不视为对本发明的限制。
以上对本发明实施例提供的方法进行详细说明,下面对本发明实施例提供的控制装置进行说明。
参见图5,为本发明一实施例提供的控制装置示意图。
一种控制装置500,包括:
采集模块,用于采集用户眼部行为特征;
确定模块,用于当所述采集模块采集的用户眼部行为特征符合预设条件时,根据所述用户眼部行为特征确定控制对象以及确定与所述眼部行为特征对应的控制命令;
控制模块,用于根据所述确定模块生成的控制命令实现对所述控制对象的控制。
在一些实施方式中,所述采集模块具体用于采集用户眼球的移动方向、用户眼球的移动速度、用户眼球的移动距离、用户眼球移动的起始位置和/或终止位置、用户瞳孔的大小、用户眼睛处于张开或者闭合状态、用户上下眼睑的间距、用户眨眼的次数、用户眨眼的频率中的任意一种或多种的组合。
在一些实施方式中,所述确定模块具体包括下述中的任意一个或多个子模块:
第一确定子模块,用于当用户眼球的移动距离和/或移动速度大于设定阈值时,确定用户眼部行为特征符合预设条件;
第二确定子模块,用于当用户眼球的移动方向与预设方向相同时,确定用户眼部行为特征符合预设条件;
第三确定子模块,用于当用户眼球移动的起始位置和/或终止位置为预设位置时,确定用户眼部行为特征符合预设条件;
第四确定子模块,用于当用户瞳孔的大小变大或者缩小时,确定用户眼部行为特征符合预设条件;
第五确定子模块,用于当用户上下眼睑的间距变大或者缩小时,确定用户眼部行为特征符合预设条件;
第六确定子模块,用于当用户眨眼的次数符合预设次数时,确定用户眼部行为特征符合预设条件;
第七确定子模块,用于当用户眨眼的频率大于设定阈值时,确定用户眼部行为特征符合预设条件。
在一些实施方式中,所述确定模块具体用于:获取用户眼睛聚焦点对应的显示对象,将所述显示对象确定为控制对象;或者,获取用户眼球的移动轨迹,确定所述用户眼球移动轨迹的开始位置或者结束位置,将所述移动轨迹的开始位置或者结束位置对应的显示对象确定为控制对象。
在一些实施方式中,所述确定模块具体用于:确定用户眼球的移动方向,根据所述用户眼球的移动方向确定控制对象的移动方向;生成根据所述控制对象的移动方向移动所述控制对象的控制命令;或者,获取预先设置的目标移动位置,生成移动所述控制对象至所述目标移动位置的控制命令。
在一些实施方式中,所述控制模块还用于:当检测到用户的眼球停止移动或者用户的眼球聚焦在预设位置时,停止移动控制对象的操作。
在一些实施方式中,所述控制模块还用于:当检测到用户的眼球停止移动且用户的眼球聚焦在电子设备的显示单元的边缘时,控制所述控制对象持续移动。
在一些实施方式中,所述确定模块具体用于:确定用户瞳孔大小或者上下眼睑的间距变大时,生成放大控制对象的命令;确定用户瞳孔大小或者上下眼睑的间距变小时,生成缩小控制对象的命令。
在一些实施方式中,所述确定模块具体用于:确定用户眨眼的次数为第一预设次数时,生成放大控制对象的命令;和/或,确定用户眨眼的次数为第二预设次数时,生成缩小控制对象的命令;和/或,确定用户眨眼的次数为第三预设次数时,生成单击控制对象的命令;和/或,确定用户眨眼的次数为第四预设次数时,生成双击控制对象的命令。
在一些实施方式中,所述装置还包括:
显示模块,用于响应于用户的触发操作,显示第一指示对象;其中,所述第一指示对象用于指示用户眼球的移动轨迹或者聚焦位置。
所述确定模块还用于:当用户的眼球在所述第一指示对象上聚焦时,将所述第一指示对象作为控制对象;或者,当所述第一指示对象与第一控件重合时,将所述第一控件作为控制对象。
其中,本发明装置各单元或模块的设置可以参照图1至图4所示的方法而实现,在此不赘述。
参见图6,为根据一示例性实施例示出的一种控制装置的框图。例如,装置600可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图6,装置600可以包括以下一个或多个组件:处理组件602,存储器604,电源组件606,多媒体组件608,音频组件610,输入/输出(I/O)的接口612,传感器组件614,以及通信组件616。
处理组件602通常控制装置600的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件602可以包括一个或多个模块,便于处理组件602和其他组件之间的交互。例如,处理部件602可以包括多媒体模块,以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件606为装置600的各种组件提供电力。电源组件606可以包括电源管理系统,一个或多个电源,及其他与为装置600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件608包括一个前置摄像头和/或后置摄像头。当设备600处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如,音频组件610包括一个麦克风(MIC),当装置600处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中,音频组件610还包括一个扬声器,用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器,用于为装置600提供各个方面的状态评估。例如,传感器组件614可以检测到设备600的打开/关闭状态,组件的相对定位,例如所述组件为装置600的显示器和小键盘,传感器组件614还可以检测装置600或装置600一个组件的位置改变,用户与装置600接触的存在或不存在,装置600方位或加速/减速和装置600的温度变化。传感器组件614可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件614还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件616被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信部件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信部件616还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
具体地,本发明实施例提供了一种控制装置600,包括有存储器604,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器604中,且经配置以由一个或者一个以上处理器620执行所述一个或者一个以上程序包含用于进行以下操作的指令:
采集用户眼部行为特征;
当用户眼部行为特征符合预设条件时,根据所述用户眼部行为特征确定控制对象以及确定与所述眼部行为特征对应的控制命令;
根据所述控制命令实现对所述控制对象的控制。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器604,上述指令可由装置600的处理器620执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行一种控制方法,所述方法包括:
采集用户眼部行为特征;
当用户眼部行为特征符合预设条件时,根据所述用户眼部行为特征确定控制对象以及确定与所述眼部行为特征对应的控制命令;
根据所述控制命令实现对所述控制对象的控制。
图7是本发明实施例中服务器的结构示意图。该服务器700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)722(例如,一个或一个以上处理器)和存储器732,一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中,存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器722可以设置为与存储介质730通信,在服务器700上执行存储介质730中的一系列指令操作。
服务器700还可以包括一个或一个以上电源726,一个或一个以上有线或无线网络接口750,一个或一个以上输入输出接口758,一个或一个以上键盘756,和/或,一个或一个以上操作系统741,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。以上所述仅是本发明的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种控制方法,其特征在于,包括:
采集用户眼部行为特征;
当用户眼部行为特征符合预设条件时,根据所述用户眼部行为特征确定控制对象以及确定与所述眼部行为特征对应的控制命令;
根据所述控制命令实现对所述控制对象的控制。
2.根据权利要求1所述的方法,其特征在于,所述用户眼部行为特征包括用户眼球的移动方向、用户眼球的移动速度、用户眼球的移动距离、用户眼球移动的起始位置和/或终止位置、用户瞳孔的大小、用户眼睛处于张开或者闭合状态、用户上下眼睑的间距、用户眨眼的次数、用户眨眼的频率中的任意一种或多种的组合。
3.根据权利要求1或2所述的方法,其特征在于,所述用户眼部行为特征符合预设条件包括下述中的任意一种或多种的组合:
用户眼球的移动距离和/或移动速度大于设定阈值;
用户眼球的移动方向与预设方向相同;
用户眼球移动的起始位置和/或终止位置为预设位置;
用户瞳孔的大小变大或者缩小;
用户上下眼睑的间距变大或者缩小;
用户眨眼的次数符合预设次数;
用户眨眼的频率大于设定阈值。
4.根据权利要求1所述的方法,其特征在于,所述根据所述用户眼部行为特征确定控制对象包括:
获取用户眼睛聚焦点对应的显示对象,将所述显示对象确定为控制对象;或者,
获取用户眼球的移动轨迹,确定所述用户眼球移动轨迹的开始位置或者结束位置,将所述移动轨迹的开始位置或者结束位置对应的显示对象确定为控制对象。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
响应于用户的触发操作,显示第一指示对象;其中,所述第一指示对象用于指示用户眼球的移动轨迹或者聚焦位置;
所述根据所述用户眼部行为特征确定控制对象包括:
当用户的眼球在所述第一指示对象上聚焦时,将所述第一指示对象作为控制对象;或者,当所述第一指示对象与第一控件重合时,将所述第一控件作为控制对象。
6.根据权利要求1所述的方法,其特征在于,所述确定与所述眼部行为特征对应的控制命令包括:
确定用户眼球的移动方向,根据所述用户眼球的移动方向确定控制对象的移动方向;生成根据所述控制对象的移动方向移动所述控制对象的控制命令;
或者,
获取预先设置的目标移动位置,生成移动所述控制对象至所述目标移动位置的控制命令。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
当检测到用户的眼球停止移动或者用户的眼球聚焦在预设位置时,停止移动控制对象的操作。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
当检测到用户的眼球停止移动且用户的眼球聚焦在电子设备的显示单元的边缘时,控制所述控制对象持续移动。
9.一种控制装置,其特征在于,包括:
采集模块,用于采集用户眼部行为特征;
确定模块,用于当所述采集模块采集的用户眼部行为特征符合预设条件时,根据所述用户眼部行为特征确定控制对象以及确定与所述眼部行为特征对应的控制命令;
控制模块,用于根据所述确定模块生成的控制命令实现对所述控制对象的控制。
10.一种控制装置,其特征在于,包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
采集用户眼部行为特征;
当用户眼部行为特征符合预设条件时,根据所述用户眼部行为特征确定控制对象以及确定与所述眼部行为特征对应的控制命令;
根据所述控制命令实现对所述控制对象的控制。
CN201610629333.XA 2016-08-03 2016-08-03 一种控制方法及装置 Pending CN107688385A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610629333.XA CN107688385A (zh) 2016-08-03 2016-08-03 一种控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610629333.XA CN107688385A (zh) 2016-08-03 2016-08-03 一种控制方法及装置

Publications (1)

Publication Number Publication Date
CN107688385A true CN107688385A (zh) 2018-02-13

Family

ID=61151296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610629333.XA Pending CN107688385A (zh) 2016-08-03 2016-08-03 一种控制方法及装置

Country Status (1)

Country Link
CN (1) CN107688385A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563238A (zh) * 2018-06-15 2018-09-21 歌尔科技有限公司 一种遥控无人机的方法、装置、设备及系统
CN108613683A (zh) * 2018-06-26 2018-10-02 威马智慧出行科技(上海)有限公司 车载导航装置、方法和汽车
CN109298782A (zh) * 2018-08-31 2019-02-01 阿里巴巴集团控股有限公司 眼动交互方法、装置及计算机可读存储介质
CN110514219A (zh) * 2019-09-20 2019-11-29 广州小鹏汽车科技有限公司 一种导航地图显示方法、装置、车辆及机器可读介质
CN110825228A (zh) * 2019-11-01 2020-02-21 腾讯科技(深圳)有限公司 交互控制方法和装置、存储介质及电子装置
CN110908513A (zh) * 2019-11-18 2020-03-24 维沃移动通信有限公司 一种数据处理方法及电子设备
CN112506344A (zh) * 2020-12-09 2021-03-16 上海龙旗科技股份有限公司 视觉控制方法及设备
CN113138659A (zh) * 2020-01-16 2021-07-20 七鑫易维(深圳)科技有限公司 一种工作模式的控制方法、装置、设备及存储介质
CN114327082A (zh) * 2022-03-04 2022-04-12 深圳市信润富联数字科技有限公司 工业应用屏幕的操控方法、系统、终端设备以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1740951A (zh) * 2004-08-25 2006-03-01 西门子公司 用于利用人眼进行设备控制的装置
CN1889016A (zh) * 2006-07-25 2007-01-03 周辰 眼睛对电脑光标自动定位控制方法和系统
US20110169730A1 (en) * 2008-06-13 2011-07-14 Pioneer Corporation Sight line input user interface unit, user interface method, user interface program, and recording medium with user interface program recorded
CN103914151A (zh) * 2014-04-08 2014-07-09 小米科技有限责任公司 信息显示方法及装置
CN104951070A (zh) * 2015-06-02 2015-09-30 无锡天脉聚源传媒科技有限公司 一种基于眼睛操控设备的方法及装置
CN105095849A (zh) * 2014-05-23 2015-11-25 财团法人工业技术研究院 对象识别方法与装置
CN105338192A (zh) * 2015-11-25 2016-02-17 努比亚技术有限公司 移动终端及其操作处理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1740951A (zh) * 2004-08-25 2006-03-01 西门子公司 用于利用人眼进行设备控制的装置
CN1889016A (zh) * 2006-07-25 2007-01-03 周辰 眼睛对电脑光标自动定位控制方法和系统
US20110169730A1 (en) * 2008-06-13 2011-07-14 Pioneer Corporation Sight line input user interface unit, user interface method, user interface program, and recording medium with user interface program recorded
CN103914151A (zh) * 2014-04-08 2014-07-09 小米科技有限责任公司 信息显示方法及装置
CN105095849A (zh) * 2014-05-23 2015-11-25 财团法人工业技术研究院 对象识别方法与装置
CN104951070A (zh) * 2015-06-02 2015-09-30 无锡天脉聚源传媒科技有限公司 一种基于眼睛操控设备的方法及装置
CN105338192A (zh) * 2015-11-25 2016-02-17 努比亚技术有限公司 移动终端及其操作处理方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563238B (zh) * 2018-06-15 2021-08-24 歌尔科技有限公司 一种遥控无人机的方法、装置、设备及系统
CN108563238A (zh) * 2018-06-15 2018-09-21 歌尔科技有限公司 一种遥控无人机的方法、装置、设备及系统
CN108613683A (zh) * 2018-06-26 2018-10-02 威马智慧出行科技(上海)有限公司 车载导航装置、方法和汽车
CN109298782A (zh) * 2018-08-31 2019-02-01 阿里巴巴集团控股有限公司 眼动交互方法、装置及计算机可读存储介质
CN109298782B (zh) * 2018-08-31 2022-02-18 创新先进技术有限公司 眼动交互方法、装置及计算机可读存储介质
CN110514219A (zh) * 2019-09-20 2019-11-29 广州小鹏汽车科技有限公司 一种导航地图显示方法、装置、车辆及机器可读介质
CN110514219B (zh) * 2019-09-20 2022-03-18 广州小鹏汽车科技有限公司 一种导航地图显示方法、装置、车辆及机器可读介质
CN110825228A (zh) * 2019-11-01 2020-02-21 腾讯科技(深圳)有限公司 交互控制方法和装置、存储介质及电子装置
CN110908513A (zh) * 2019-11-18 2020-03-24 维沃移动通信有限公司 一种数据处理方法及电子设备
CN110908513B (zh) * 2019-11-18 2022-05-06 维沃移动通信有限公司 一种数据处理方法及电子设备
CN113138659A (zh) * 2020-01-16 2021-07-20 七鑫易维(深圳)科技有限公司 一种工作模式的控制方法、装置、设备及存储介质
CN112506344A (zh) * 2020-12-09 2021-03-16 上海龙旗科技股份有限公司 视觉控制方法及设备
CN114327082A (zh) * 2022-03-04 2022-04-12 深圳市信润富联数字科技有限公司 工业应用屏幕的操控方法、系统、终端设备以及存储介质

Similar Documents

Publication Publication Date Title
CN107688385A (zh) 一种控制方法及装置
CN112118380B (zh) 相机操控方法、装置、设备及存储介质
EP3293620A1 (en) Multi-screen control method and system for display screen based on eyeball tracing technology
EP2660681A2 (en) Mobile terminal and control method thereof
CN107515669B (zh) 显示方法及装置
CN104317402B (zh) 描述信息的显示方法及装置、电子设备
RU2635904C2 (ru) Способ и устройство для отображения целевого объекта
KR20130081117A (ko) 이동 단말기 및 그 제어방법
CN112015277B (zh) 信息显示方法、装置及电子设备
CN107102772A (zh) 触控方法及装置
CN111970566A (zh) 视频播放方法、装置、电子设备及存储介质
CN111061372B (zh) 设备控制方法及相关设备
CN111522498A (zh) 触控响应方法、装置及存储介质
US9148537B1 (en) Facial cues as commands
CN112114653B (zh) 终端设备的操控方法、装置、设备及存储介质
CN110636383A (zh) 一种视频播放方法、装置、电子设备及存储介质
CN106775210B (zh) 壁纸更换的方法和装置
CN112286392B (zh) 触控屏的触控检测方法及装置、存储介质
CN106990893B (zh) 触屏操作的处理方法和装置
CN107179866B (zh) 应用控制的方法、装置及存储介质
CN110636377A (zh) 视频处理方法、装置、存储介质、终端及服务器
CN114063876A (zh) 虚拟键盘设置方法、装置及存储介质
CN112650437A (zh) 光标控制方法及装置、电子设备、存储介质
CN111381667A (zh) 界面布局的调整方法、装置及存储介质
CN114816161A (zh) 图标显示方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180213