CN114527865B - 基于注意力方向的装置互动方法 - Google Patents
基于注意力方向的装置互动方法 Download PDFInfo
- Publication number
- CN114527865B CN114527865B CN202011321609.0A CN202011321609A CN114527865B CN 114527865 B CN114527865 B CN 114527865B CN 202011321609 A CN202011321609 A CN 202011321609A CN 114527865 B CN114527865 B CN 114527865B
- Authority
- CN
- China
- Prior art keywords
- angle
- attention
- display
- target
- display picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000009471 action Effects 0.000 claims abstract description 18
- 230000001815 facial effect Effects 0.000 claims abstract description 13
- 210000001508 eye Anatomy 0.000 claims description 19
- 210000003128 head Anatomy 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 210000005252 bulbus oculi Anatomy 0.000 claims 6
- 230000003213 activating effect Effects 0.000 claims 2
- 230000000875 corresponding effect Effects 0.000 description 27
- 241000699666 Mus <mouse, genus> Species 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 4
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 2
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本公开提出一种基于注意力方向的装置互动方法,包含获取一目标的输入影像、根据输入影像判断目标的多个脸部特征、根据脸部特征判断目标相对于一参考方向的一注意力角度、根据目标与一第一显示画面之间的一距离信息判断相对参考方向而对应于第一显示画面的一角度范围阈值、判断注意力角度是否符合角度范围阈值、当注意力角度符合角度范围阈值,判断目标的注意力方向朝向该第一显示画面以执行对应的一第一作动、以及当注意力角度不符合角度范围阈值,判断注意力方向朝向一第二显示画面以执行对应的一第二作动。
Description
技术领域
本公开涉及一种基于注意力方向的装置互动方法。
背景技术
随着技术的进步,人们与电子产品之间的互动需求大幅地提升,可通过各类输入装置(包含键盘或鼠标)来实现人机互动,且人们可同时互动于多个装置,以提升工作效率或可同时享受多种娱乐。然而,若在人机互动的过程中,人们需执行许多且繁琐的控制动作才能与装置互动,反而导致其互动效率降低,且亦降低使用者的使用意愿。举例来说,使用者使用多屏幕工作或娱乐时,若使用者需在不同屏幕之间切换视窗或切换工作,或需来回地设定不同屏幕,将使人与多装置互动的效果大幅地下降,反而造成使用者的不便。
发明内容
在一些实施例中,一种基于注意力方向的装置互动方法包含获取一目标的输入影像、根据输入影像判断目标的多个脸部特征、根据脸部特征判断目标相对于一参考方向的一注意力角度、根据目标与一第一显示画面之间的一距离信息判断相对参考方向而对应于第一显示画面的一角度范围阈值、判断注意力角度是否符合角度范围阈值、当注意力角度符合角度范围阈值,判断目标的一注意力方向朝向该第一显示画面以执行对应的一第一作动、以及当注意力角度不符合角度范围阈值,判断注意力方向朝向一第二显示画面以执行对应的一第二作动。
附图说明
图1为应用本公开的基于注意力方向的装置互动方法的电子装置的一实施例的方框示意图。
图2为根据本公开的基于注意力方向的装置互动方法的一应用情境的一实施例的示意图。
图3为根据本公开的注意力方向判断方法的一实施例的流程图。
图4A为目标的注意力方向朝向第一显示装置的一实施例的示意图。
图4B为目标的注意力方向朝向第二显示装置的一实施例的示意图。
图4C为目标的注意力方向朝向第三显示装置的一实施例的示意图。
图5为不同的第一垂直距离及第二垂直距离所对应的方向性角度的一实施例的曲线示意图。
符号说明
1:电子装置
11:影像获取装置
12:处理电路
21:第一显示装置
22:第二显示装置
23:第三显示装置
24a:第一影像获取装置
24b:第二影像获取装置
24c:第三影像获取装置
A1:注意力角度
T:目标
D0:参考方向
D:注意力方向
D1:第一垂直距离
D2:第二垂直距离
DEG:角度范围阈值
DEGR:第一方向性角度
DEGL:第二方向性角度
S1:输入影像
L1-L4:曲线
L5-L8:曲线
S01~S08:步骤流程
具体实施方式
图1为应用本公开的基于注意力方向的装置互动方法的电子装置的一实施例的方框示意图。图2为根据本公开的基于注意力方向的装置互动方法的一应用情境的一实施例的示意图。请合并参照图1及图2,电子装置1包含影像获取装置11及处理电路12。影像获取装置11耦接处理电路12。以第一显示装置21显示第一显示画面且第二显示装置22显示第二显示画面为例,若目标T位于第一显示装置21及第二显示装置22前,影像获取装置11可获取目标T的输入影像S1,输入影像S1为数字影像。在本发明中数字影像的格式种类可以是但不限定为RGB影像,也可以是CMYK、HSV(Hue,Saturation,Value)、HSI(Hue,Saturation,Intensity)、HSL(Hue,Saturation,Lightness)、HSB(Hue,Saturation,Brightness)、YCbCr、CIE XYZ、CIE Lab、YUV(Luminance,Chrominance,Chroma)或其他色域种类的数字影像。
影像获取装置11可传送输入影像S1至处理电路12,处理电路12可根据输入影像S1判断目标T的注意力方向D是否朝向第一显示装置21上的第一显示画面。图2是表示以目标T为圆心并可观看两侧边,而目标T的视线方向(意即图2的注意力方向D)是以俯视角的投影所示出。实际上注意力方向D可以包含水平方向的变量与垂直方向的变量。若处理电路12判断出注意力方向D未朝向第一显示装置21上的第一显示画面,处理电路12可判断出以下两种状况:(1)注意力方向D朝向第二显示装置22上的第二显示画面,或(2)注意力方向D未朝向第一显示装置21也未朝向第二显示装置22上的显示画面。于是,处理电路12可根据注意力方向D的朝向使对应装置作动。
其中,值得说明的是,图2是以独立的第一显示装置21及第二显示装置22分别显示第一显示画面与第二显示画面(例如,第二显示画面可为第一显示画面的延伸画面)为示例,然本公开不以此为限,第一显示画面与第二显示画面亦可为同一独立屏幕上的不同显示区域,亦即,本公开可适用于同一屏幕上包含不同显示区域的状况。在一些实施例中,第一显示装置21、第二显示装置22可为液晶显示器,电子装置1可为笔记本电脑、手机、平板电脑或台式电脑,但不以此为限。
请合并参照图1至图3,在处理电路12接收影像获取装置11获取目标T的输入影像S1(即图3的步骤S01)之后,处理电路12根据输入影像S1判断目标T的多个脸部特征(步骤S02)以在输入影像S1中定位出目标T的脸部,处理电路12再根据输入影像S1中的脸部特征进一步判断注意力方向D与参考方向D0之间的注意力角度A1(步骤S03),即处理电路12基于目标T的面向方向判断目标T的注意力方向D偏移于预设的参考方向D0的右侧偏移量或左侧偏移量。
为了判断注意力方向D是否朝向第一显示画面,处理电路12进一步根据参考方向D0判断对应于第一显示画面的角度范围阈值DEG(步骤S04),前述角度范围阈值DEG是与目标T与第一显示画面之间的距离信息有关。举例来说,若目标T距离第一显示画面较远,则对应于第一显示画面的角度范围阈值DEG较小;若目标T距离第一显示画面较近,则对应于第一显示画面的角度范围阈值DEG较大。
因此,处理电路12在步骤S04中是根据参考方向D0及目标T与第一显示画面之间的距离信息判断对应于第一显示画面的角度范围阈值DEG。在得到注意力角度A1及角度范围阈值DEG之后,处理电路12判断注意力角度A1是否落于角度范围阈值DEG,以识别目标T的注意力方向D(步骤S05)。
当注意力角度A1落于角度范围阈值DEG(根据图2,可理解为注意力方向D落于角度范围阈值DEG内)时,表示注意力方向D是朝向第一显示装置21显示的第一显示画面,当注意力角度A1未落于角度范围阈值DEG(根据图2,可理解为注意力方向D落于角度范围阈值DEG外)时,表示注意力方向D是朝向第二显示装置22显示的第二显示画面,或是注意力方向D并未朝向第一显示画面及第二显示画面。处理电路12再基于注意力方向D是朝向第一显示画面、第二显示画面、或未朝向第一显示画面及第二显示画面使对应的装置作动。
举例来说,若注意力方向D是朝向第一显示画面,处理电路12执行对应的第一作动(步骤S06)。处理电路12可以有线或无线的方式耦接第一显示装置21及第二显示装置22,并在步骤S06中调整第二显示装置22的显示亮度,使第二显示画面的显示亮度降低,或关闭第二显示装置22以关闭第二显示画面。而前述的对于各装置的动作组合,定义为第一作动,实际上可以根据不同应用场域对各装置与作动有不同的搭配组合。处理电路12在步骤S06中亦可将目标T操作的视窗及鼠标显示在第一显示画面中,处理电路12可将表示前述视窗及鼠标的信号发送至第一显示装置21,使目标T便于操作视窗及鼠标。
在一些实施例中,第一影像获取装置(例如,影像获取装置11)及第二影像获取装置(图2中无标号)分别设置于第一显示装置21与第二显示装置22时,处理电路12在步骤S06中可启动第一影像获取装置,并关闭第二影像获取装置,使目标T便于操作第一影像获取装置且节省第二影像获取装置消耗的电力。反之,若注意力方向D是朝向第二显示画面,处理电路12执行对应的第二作动(步骤S07)。
处理电路12在步骤S07中可调整第一显示装置21的显示亮度,以降低第一显示画面的显示亮度,或关闭第一显示装置21以关闭第一显示画面。处理电路12亦可将表示前述视窗及鼠标的信号发送至第二显示装置22,使目标T操作的视窗及鼠标显示在第二显示画面中,使目标T便于操作视窗及鼠标。或者处理电路12在步骤S07中可启动第二影像获取装置,并关闭第一影像获取装置,使目标T便于操作第二影像获取装置且节省第一影像获取装置消耗的电力。另一方面,若注意力方向D并未朝向第一显示画面及第二显示画面,处理电路12可执行对应的第三作动(步骤S08),处理电路12可调整第一显示装置21、第二显示装置22的显示亮度使第一显示画面及第二显示画面的显示亮度降低,或处理电路12可关闭第一显示装置21、第二显示装置22以关闭第一显示画面及第二显示画面。
于是,电子装置1可重复地执行步骤S01-S05以判断目标T的注意力方向D是否改变,当注意力方向D改变时,处理电路12可再执行对应的作动步骤S06、S07或S08,以关闭第一显示装置21并启动第二显示装置22,或启动第一显示装置21并关闭第二显示装置22,并将视窗位置及鼠标位置由第一显示画面切换至第二显示画面,或将视窗位置及鼠标位置由第二显示画面切换至第一显示画面,且关闭第一影像获取装置并启动第二影像获取装置,或启动第一影像获取装置并关闭第二影像获取装置,或放大/缩小/提升亮度/降低亮度来显示第二显示画面或第一显示画面当中的特定视窗或内容。应理解,以上作动的内容、组合及连动关系仅是用以说明而非用以限制本公开的范围。
基此,处理电路12可自动地根据注意力方向D对应地控制第一显示装置21、第二显示装置22、视窗位置及鼠标位置及前述的两影像获取装置,使用者在使用多屏幕时不需要手动地在多个屏幕之间拖拉视窗位置及移动鼠标位置,且使用者不需要手动地调整多个屏幕的显示设定,进而提高其操作便利性,且可节省不必要的电力消耗并保护信息安全。
在一些实施例中,在步骤S02中,处理电路12可执行梯度分布直方图(Histogramof Oriented Gradients;HOG)演算法来定位出脸部及眼部,以定位出目标T的多个脸部特征。再者,由于影像获取装置11在不同时间所获取的目标T的多个输入影像S1之间可能具有不同色彩亮度及背景色彩,因此,处理电路12可根据影像获取装置11在不同时间所获取的目标T的多个输入影像S1以光流法(Optical Flow)对多个输入影像S1执行平滑处理,以定位出稳定的脸部位置及眼部位置。
在一些实施例中,注意力角度A1可为具有三维角度信息的头部朝向角度。在步骤S03中,处理电路12可通过步骤S02中判断出的脸部特征点的检测模型所得的结果作估计,处理电路12将数个于影像上的二维坐标点利用影像获取装置11的内部参数作投影,投至预设的人脸平均立体模型的三维坐标点,并据此推算目标T的脸部于输入影像S1的三维坐标。于推算过程中,处理电路12将得到投影转换的旋转矩阵,前述旋转矩阵可为四元数(Unitquaternion)与尤拉角(Euler angles)的转换矩阵,处理电路12产生头部朝向的三维角度信息作为注意力角度A1。
在一些实施例中,注意力角度A1可为具有二维向量信息的视线方向角度,处理电路12在步骤S03中可执行影像识别演算法,处理电路12执行影像识别演算法时可根据预设眼球位置识别输入影像S1中目标T的眼球的位移向量,以在输入影像S1中定位出目标T的眼球位置。在一些实施例中,所述的预设眼球位置为本发明的装置互动方法启动时,影像获取装置11对于目标T拍摄具有眼球位置的数字影像。处理电路12根据初始时所拍摄的数字影像与眼球位置,将此一位置定义为预设眼球位置。在一些实施例中,所述的预设眼球位置可为存储于特定数据库(例如,云端数据库)中根据单个或多个目标(例如,各地收集的人脸)分析/统计而得的平均眼球位置。但预设眼球位置不以前述实施例为限。
或者,在步骤S03中,处理电路12亦可执行深度学习,处理电路12以深度学习模型架构进行估算。在学习阶段中,深度学习模型的输入为学现有的多个眼部区域影像及多个脸部区域影像的眼球位置,处理电路12根据学习数据执行深度学习后产生学习结果,并存储学习结果。在处理电路12判断注意力角度A1时,处理电路12根据学习结果判断出输入影像S1中的眼球位置,并产生二维向量以表示视线方向角度,二维向量包含视线方向于X方向的角度以及于Y方向的角度。前述的深度学习模型可为卷积神经网络(Convolutionalneural network,CNN)架构,处理电路12可通过多个卷积层提取眼部的特征点,以输出前述视线方向角度作为注意力角度A1。
在一些实施例中,注意力角度A1可包含前述的头部朝向角度以及视线方向角度,处理电路12可一并考量头部朝向角度及视线方向角度,以计算出对应注意力方向D的注意力角度A1。
在一些实施例中,第一显示装置21与第二显示装置22可大致沿着X轴方向毗邻地摆放或大致沿着Y轴方向毗邻地摆放。图2是以第一显示装置21与第二显示装置22大致沿着X轴方向毗邻地摆放且第一显示装置21与第二显示装置22之间具有一夹角为例,如图2所示,第一显示装置21包含邻近于第二显示装置22的侧边(以下称为第一侧边)以及远离于第二显示装置22的侧边(以下称为第二侧边),且目标T是面向第一显示装置21,影像获取装置11可设置于第一显示装置21以获取目标T的输入影像S1。基此,根据目标T与第一显示装置21的相对位置关系,参考方向D0是通过目标T且垂直于第一显示装置21的方向,目标T与第一显示装置21之间的前述距离信息可包含第一垂直距离D1及第二垂直距离D2,第一垂直距离D1为自目标T沿着参考方向D0延伸至第一显示装置21的垂直距离(即,目标T与第一显示装置21之间的垂直距离),第二垂直距离D2为目标T沿着参考方向D0于第一显示装置21的垂直投影与第一显示装置21的第一侧边之间的垂直距离。一般而言,影像获取装置大多架设于第一显示装置21上。因此可以在计算第一垂直距离D1,处理电路12可以将第一显示装置21与目标T的距离直接视为第一垂直距离D1。
再者,基于参考方向D0,如图2所示,角度范围阈值DEG包含第一方向性角度DEGR及第二方向性角度DEGL。在此一实施例中,以目标T为基准至第一显示装置21的参考方向D0,第一方向性角度DEGR是位于参考方向D0的右侧,第二方向性角度DEGL是位于参考方向D0的左侧。第一显示装置21、参考方向D0以及目标T至第一显示装置21的第一侧边的延伸方向三者共同形成一直角三角形(以下称为右侧三角形),第一显示装置21、参考方向D0以及目标T至第一显示装置21的第二侧边的延伸方向三者共同形成另一直角三角形(以下称为左侧三角形)。在步骤S04中,基于右侧三角形,处理电路12可根据第一垂直距离D1、第二垂直距离D2判断出偏离于参考方向D0的右侧的第一方向性角度DEGR。并且,基于左侧三角形,处理电路12可根据第一垂直距离D1以及目标T于第一显示装置21的垂直投影与第二侧边之间的垂直距离判断出偏离于参考方向D0的左侧的第二方向性角度DEGL。
判断出第一方向性角度DEGR、第二方向性角度DEGL之后,处理电路12在步骤S05中再比对第一方向性角度DEGR、第二方向性角度DEGL与偏移于参考方向D0的右侧或左侧的注意力角度A1。在本发明中,以目标T为圆心且以参考方向D0为起点并以图2中顺时针为正角度,以逆时针为负角度。处理电路12在步骤S05中可判断注意力角度A1是否落于第一方向性角度DEGR或是注意力角度A1落于第一方向性角度DEGR与第二方向性角度DEGL之间(意即角度范围阈值DEG)。
当注意力角度A1大于第一方向性角度DEGR时,处理电路12在步骤S05中判断出目标T的注意力方向D是朝向第二显示装置22。当注意力角度A1落于第一方向性角度DEGR或第二方向性角度DEGL之间,处理电路12在步骤S05中判断目标T的注意力方向D是朝向第一显示装置21。在一些实施例中,若有第三显示装置23(请参考图4C)设置于第一显示装置21的左侧,当注意力角度A1落于第二方向性角度DEGL时,处理电路12在步骤S05中可判断出目标T的注意力方向D是朝向第三显示装置。
举例来说,第一显示装置21的宽度可为17.95cm,第一垂直距离D1可为27cm,第二垂直距离D2可为10cm,第一方向性角度DEGR可为19°,第二方向性角度DEGL可为-43°。若注意力角度A1为2°,处理电路12并已得到第一方向性角度DEGR为19°且第二方向性角度DEGL为-43°。处理电路12可以判断注意力角度A1(2°)落于第一方向性角度DEGR(19°)与第二方向性角度DEGL(-43°)之间。
据此,处理电路12可以判断目标T的注意力方向D是朝向第一显示装置21,如图4A所示。若注意力角度A1为25°,则注意力角度A1(25°)大于第一方向性角度DEGR(19°)。处理电路12判断目标T的注意力方向D是朝向第二显示装置22,如图4B所示。若注意力角度A1为-50°,则注意力角度A1(-50度)落于第二方向性角度DEGL(-43°)。处理电路12可判断出目标T的注意力方向D是朝向第一显示装置21的左侧。承接前文的第三显示装置23,若第三显示装置23设置于第一显示装置21的左侧时,且注意力角度A1(-50°),目标T可以被视为观看第三显示装置23,如图4C所示。
如图4C所示,目标T观看第一显示装置21时,则由第一影像获取装置24a进行影像拍摄并由处理电路12进行相应的计算。若目标T的注意力角度A1为25°,处理电路12可以将第一显示装置21的影像切换第二显示装置22,并开启第二影像获取装置24b且关闭第一影像获取装置24a。同理,若目标T的注意力角度A1为-50度时,处理电路12可以将第一显示装置21的影像切换第三显示装置23,并开启第三影像获取装置24c且关闭第一影像获取装置24a。
在一些实施例中,根据目标T的不同位置,第一垂直距离D1与第一方向性角度DEGR、第二方向性角度DEGL的绝对值之间是呈现反比关系,第二垂直距离D2与第一方向性角度DEGR、第二方向性角度DEGL的绝对值之间亦呈现反比关系。如图5所示,横轴表示第二垂直距离D2,纵轴表示第一方向性角度DEGR、第二方向性角度DEGL的绝对值。曲线L1是表示固定为27cm的第一垂直距离D1与0cm至35cm之间的多个第二垂直距离D2所对应的多个第二方向性角度DEGL,曲线L2是表示固定为40cm的第一垂直距离D1与0cm至35cm之间的多个第二垂直距离D2所对应的多个第二方向性角度DEGL,曲线L3是表示固定为54cm的第一垂直距离D1与0cm至35cm之间的多个第二垂直距离D2所对应的多个第二方向性角度DEGL,曲线L4是表示固定为64cm的第一垂直距离D1与0cm至35cm之间的多个第二垂直距离D2所对应的多个第二方向性角度DEGL;曲线L5是表示固定为27cm的第一垂直距离D1与0cm至35cm之间的多个第二垂直距离D2所对应的多个第一方向性角度DEGR,曲线L6是表示固定为40cm的第一垂直距离D1与0cm至35cm之间的多个第二垂直距离D2所对应的多个第一方向性角度DEGR,曲线L7是表示固定为54cm的第一垂直距离D1与0cm至35cm之间的多个第二垂直距离D2所对应的多个第一方向性角度DEGR,曲线L8是表示固定为64cm的第一垂直距离D1与0cm至35cm之间的多个第二垂直距离D2所对应的多个第一方向性角度DEGR。由图5可得知前述的反比关系。
在一些实施例中,在步骤S04中,处理电路12可在取得输入影像S1的后根据输入影像S1执行影像分析以自动地判断出第一垂直距离D1,并根据预设的第一显示装置21的宽度计算出第二垂直距离D2,也就是处理电路12可根据实际可变动的垂直距离D1、D2判断出对应的第一方向性角度DEGR、第二方向性角度DEGL,再基于第一方向性角度DEGR、第二方向性角度DEGL判断出注意力方向D是朝向第一显示装置21或第二显示装置22。或者,第一垂直距离D1、第二垂直距离D2亦可为预设的固定值,也就是目标T仅能处于固定的预设位置。于是,在步骤S04中,处理电路12可以数学运算式根据第一垂直距离D1、第二垂直距离D2计算出对应的第一方向性角度DEGR、第二方向性角度DEGL,或者,第一垂直距离D1、第二垂直距离D2与第一方向性角度DEGR、第二方向性角度DEGL的对应关系可预先产生并存储在电子装置1中,处理电路12在执行基于注意力方向D的装置互动方法时再根据实际判断所得的第一垂直距离D1、第二垂直距离D2或预设的第一垂直距离D1、第二垂直距离D2以查表法得到对应的第一方向性角度DEGR、第二方向性角度DEGL。
综上所述,根据本公开的基于注意力方向的装置互动方法的一实施例,可广泛地结合于具有影像获取装置的电子产品,自动地根据注意力方向对应地控制多屏幕之间的显示设定以及对应地控制不同屏幕设置的装置,使用者不需以手动的方式执行前述设定及控制,可提高其操作便利性,且可节省不必要的电力消耗并保护信息安全。
虽然本公开已以实施例公开如上然其并非用以限定本公开,任何所属技术领域中技术人员,在不脱离本公开的构思和范围内,当可作些许的变动与润饰,故本公开的保护范围当视专利申请范围所界定者为准。
Claims (10)
1.一种基于注意力方向的装置互动方法,包括以下步骤:
获取一目标的一输入影像;
根据该输入影像判断该目标的多个脸部特征;
根据所述多个脸部特征判断该目标的一注意力方向相对于一参考方向的一注意力角度;
根据该目标与一第一显示画面之间的一距离信息判断相对该参考方向而对应于该第一显示画面的一角度范围阈值,该参考方向是通过该目标且垂直于该第一显示画面的方向,该目标与该第一显示画面之间的该距离信息包含一第一垂直距离及一第二垂直距离,该第一垂直距离为自该目标沿着该参考方向延伸至该第一显示画面的垂直距离,该第二垂直距离为该目标沿着该参考方向于该第一显示画面的垂直投影与该第一显示画面的第一侧边、第二侧边之间的垂直距离;
判断该注意力角度是否落于该角度范围阈值;
当该注意力角度落于该角度范围阈值时,执行该目标的该注意力方向朝向该第一显示画面以执行对应的一第一作动;及
当该注意力角度未落于该角度范围阈值时,根据该注意力方向执行对应的一第二作动。
2.如权利要求1所述的基于注意力方向的装置互动方法,其中该注意力角度包含一头部朝向角度及一视线方向角度,其中判断该注意力角度的步骤包含:
根据所述多个脸部特征定位该目标的头部,以判断该头部朝向角度;
根据所述多个脸部特征定位该目标的一眼球位置;及
根据该眼球位置判断于二维方向上的该视线方向角度。
3.如权利要求2所述的基于注意力方向的装置互动方法,其中定位该眼球位置的步骤包含:根据一预设眼球位置判断该目标的眼球的位移,以定位该眼球位置。
4.如权利要求2所述的基于注意力方向的装置互动方法,其中定位该眼球位置的步骤包含:
于获取该输入影像之前根据多个眼部区域影像及多个脸部区域影像的眼球位置执行深度学习,以产生一学习结果;及
根据该学习结果定位该眼球位置。
5.如权利要求1所述的基于注意力方向的装置互动方法,其中该第一显示画面是显示于一第一显示装置,一第二显示画面是显示于一第二显示装置,该第一显示装置包含邻近于该第二显示装置的一侧边,其中该侧边是该第一侧边或该第二侧边。
6.如权利要求5所述的基于注意力方向的装置互动方法,其中该角度范围阈值包含一第一方向性角度及一第二方向性角度,该第一方向性角度是对应该参考方向的第一侧的偏移量,该第二方向性角度是对应该参考方向的第二侧的偏移量,其中判断该注意力角度落于该角度范围阈值的步骤包含:
当该注意力角度落于该第一方向性角度与该第二方向性角度之间时,判断该注意力方向为朝向该第一显示画面;
其中,判断该注意力角度未落于该角度范围阈值的步骤包含:
当该注意力角度大于该第一方向性角度或落于该第二方向性角度时,判断该注意力方向为朝向该第二显示画面。
7.如权利要求1所述的基于注意力方向的装置互动方法,其中该第一作动包含关闭一第二显示画面,其中该第二作动包含关闭该第一显示画面,该装置互动方法还包含:
当该注意力方向未朝向该第一显示画面及该第二显示画面时,关闭该第一显示画面及该第二显示画面。
8.如权利要求1所述的基于注意力方向的装置互动方法,还包含:
当该注意力方向由该第一显示画面改变至一第二显示画面时,控制一鼠标位置或一视窗位置由该第一显示画面切换至该第二显示画面;以及
当该注意力方向由该第二显示画面改变至该第一显示画面时,控制该鼠标位置或该视窗位置由该第二显示画面切换至该第一显示画面。
9.如权利要求1所述的基于注意力方向的装置互动方法,其中该第一作动包含启动对应该第一显示画面的一第一影像获取装置,并关闭对应一第二显示画面的一第二影像获取装置,该第二作动包含启动该第二影像获取装置并关闭该第一影像获取装置。
10.如权利要求1所述的基于注意力方向的装置互动方法,其中该第一作动包含降低一第二显示画面的亮度,其中该第二作动包含降低该第一显示画面的亮度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011321609.0A CN114527865B (zh) | 2020-11-23 | 2020-11-23 | 基于注意力方向的装置互动方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011321609.0A CN114527865B (zh) | 2020-11-23 | 2020-11-23 | 基于注意力方向的装置互动方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114527865A CN114527865A (zh) | 2022-05-24 |
CN114527865B true CN114527865B (zh) | 2024-05-14 |
Family
ID=81619501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011321609.0A Active CN114527865B (zh) | 2020-11-23 | 2020-11-23 | 基于注意力方向的装置互动方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114527865B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115268718B (zh) * | 2022-09-23 | 2023-02-03 | 深圳市心流科技有限公司 | 用于专注力训练的图像显示方法、装置、终端及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008102902A (ja) * | 2006-07-18 | 2008-05-01 | Advanced Telecommunication Research Institute International | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
JP2010182029A (ja) * | 2009-02-04 | 2010-08-19 | Zenrin Datacom Co Ltd | 画像表示装置、画像表示方法、およびコンピュータプログラム |
CN102043942A (zh) * | 2009-10-12 | 2011-05-04 | 纬创资通股份有限公司 | 目视方向判断方法、影像处理方法及其装置、和显示装置 |
TW202009786A (zh) * | 2018-08-09 | 2020-03-01 | 宏碁股份有限公司 | 可由頭部操控的電子裝置與其操作方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140152538A1 (en) * | 2012-11-30 | 2014-06-05 | Plantronics, Inc. | View Detection Based Device Operation |
US10564915B2 (en) * | 2018-03-05 | 2020-02-18 | Microsoft Technology Licensing, Llc | Displaying content based on positional state |
-
2020
- 2020-11-23 CN CN202011321609.0A patent/CN114527865B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008102902A (ja) * | 2006-07-18 | 2008-05-01 | Advanced Telecommunication Research Institute International | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
JP2010182029A (ja) * | 2009-02-04 | 2010-08-19 | Zenrin Datacom Co Ltd | 画像表示装置、画像表示方法、およびコンピュータプログラム |
CN102043942A (zh) * | 2009-10-12 | 2011-05-04 | 纬创资通股份有限公司 | 目视方向判断方法、影像处理方法及其装置、和显示装置 |
TW202009786A (zh) * | 2018-08-09 | 2020-03-01 | 宏碁股份有限公司 | 可由頭部操控的電子裝置與其操作方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114527865A (zh) | 2022-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10783353B2 (en) | Method for detecting skin region and apparatus for detecting skin region | |
US20220076000A1 (en) | Image Processing Method And Apparatus | |
WO2020125631A1 (zh) | 视频压缩方法、装置和计算机可读存储介质 | |
EP3637763B1 (en) | Colour detection method and terminal | |
WO2018171493A1 (zh) | 图像处理方法、装置及存储介质 | |
JP2019504386A (ja) | 顔画像処理方法および装置、ならびに記憶媒体 | |
CN107992794A (zh) | 一种活体检测方法、装置和存储介质 | |
JP2016531362A (ja) | 肌色調整方法、肌色調整装置、プログラム及び記録媒体 | |
TW201126298A (en) | Data processing device and method for regulating the lighting power of a display | |
RU2016107189A (ru) | Устройства, системы и способы виртуализации зеркала | |
CN107613202A (zh) | 一种拍摄方法及移动终端 | |
CN108038836A (zh) | 一种图像处理方法、装置及移动终端 | |
WO2021218696A1 (zh) | 肤色检测方法、装置、终端和存储介质 | |
WO2020114097A1 (zh) | 一种边界框确定方法、装置、电子设备及存储介质 | |
CN109727212B (zh) | 一种图像处理方法及移动终端 | |
CN114527865B (zh) | 基于注意力方向的装置互动方法 | |
CN114283473A (zh) | 人脸检测方法、装置、计算机设备和存储介质 | |
WO2021218105A1 (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
US10824237B2 (en) | Screen display control method and screen display control system | |
TWI763126B (zh) | 基於注意力方向之裝置互動方法 | |
CN112333385A (zh) | 电子防抖控制方法及装置 | |
CN112040202A (zh) | 场景识别方法、装置及存储介质 | |
CN112070096A (zh) | 颜色识别方法、装置、终端设备和存储介质 | |
CN108038889A (zh) | 一种图像偏色的处理方法及移动终端 | |
CN110944163A (zh) | 一种图像处理方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |