[go: up one dir, main page]

CN103530623B - 信息观察方法及信息观察装置 - Google Patents

信息观察方法及信息观察装置 Download PDF

Info

Publication number
CN103530623B
CN103530623B CN201310419430.2A CN201310419430A CN103530623B CN 103530623 B CN103530623 B CN 103530623B CN 201310419430 A CN201310419430 A CN 201310419430A CN 103530623 B CN103530623 B CN 103530623B
Authority
CN
China
Prior art keywords
observer
observation
important information
eyes
important
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310419430.2A
Other languages
English (en)
Other versions
CN103530623A (zh
Inventor
黄伟才
周涵宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201310419430.2A priority Critical patent/CN103530623B/zh
Priority to PCT/CN2014/071130 priority patent/WO2015035745A1/zh
Priority to US14/787,745 priority patent/US9946341B2/en
Publication of CN103530623A publication Critical patent/CN103530623A/zh
Priority to US15/488,699 priority patent/US10684680B2/en
Application granted granted Critical
Publication of CN103530623B publication Critical patent/CN103530623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种信息观察方法及信息观察装置，涉及多媒体信息处理技术领域。所述方法包括步骤：检测步骤，检测观察者视线对焦点位置；判断步骤，当检测到观察者视线对焦点离开观察对象时，判断观察者是否已观察了所述观察对象中所有的重要信息；提示步骤，当判断出观察者未观察所述观察对象中所有的重要信息时，提示观察者。本发明实施例的方法及装置从观察者的实际观察行为出发，通过对观察者视线对焦点位置的检测来确定观察者对重要信息的观察行为，能够从根本上防止漏看重要信息。

Description

信息观察方法及信息观察装置
技术领域
本发明涉及多媒体信息处理技术领域，尤其涉及一种信息观察方法及信息观察装置。
背景技术
研究表明，当人的眼睛观看某个对象（包括人、景物、文章、图片及计算机显示的图像等）时，即使给定足够的时间，在大部分情况下，人们也不会注意到这个对象中的每一个细节，不可避免地，人们容易忽略重要的内容。比如在看一个有很多数据的财务报表时，不容易注意到隐藏在大量数据中的某个关键数据。
为了使观察者不要漏看重要信息，现有技术中存在着通过提取出图像中的重要部分，并高亮以及改变重要区域的颜色等，从而吸引观察者的目光，降低漏看重要信息的概率的方法。
但是，这样的方法只是提高了防止漏看重要内容的概率，不能从根本上防止重要信息漏看的可能。
发明内容
本发明要解决的技术问题是：提供一种信息观察方法和信息观察装置，能够从根本上防止漏看重要信息。
为实现上述目的，第一方面，本发明实施例提供了一种信息观察方法，所述方法包括步骤：
检测步骤，检测观察者视线对焦点位置；
判断步骤，当检测到观察者视线对焦点离开观察对象时，判断观察者是否已观察了所述观察对象中所有的重要信息；
提示步骤，当判断出观察者未观察所述观察对象中所有的重要信息时，提示观察者。
结合第一方面，在第一种可能的实现方式中，所述检测步骤进一步包括：
采集观察者眼睛眼底呈现的图像；
进行观察者眼睛与采集位置之间光路的成像参数的调节直至采集到最清晰的图像；
根据采集到所述最清晰图像时观察者眼睛与所述采集位置之间光路的成像参数以及眼睛的光学参数，计算得到所述对焦点位置。
结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述眼睛的光学参数包括眼睛的光轴方向。
结合第一方面的第一种可能的实现方式，在第三种可能的实现方式中，所述进行观察者眼睛与采集位置之间光路的成像参数的调节包括：
对用于眼睛与采集位置之间的光路上光学器件的焦距和/或在光路中的位置进行调节。
结合第一方面的第一种可能的实现方式，在第四种可能的实现方式中，所述进行观察者眼睛与采集位置之间光路的成像参数的调节直至采集到最清晰的图像包括：
分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到采集位置。
结合第一方面的第一种可能的实现方式，在第五种可能的实现方式中，所述方法还包括：
向眼底投射光斑图案。
结合第一方面，在第六种可能的实现方式中，在所述检测步骤中：
根据瞳孔-角膜反射向量法、眼电图发、虹膜-巩膜边缘法、角膜反射法、双普金野象法、或接触镜法检测观察者视线对焦点位置。
结合第一方面或第一方面的上述任一种可能的实现方式，在第七种可能的实现方式中，在所述判断步骤中：
当检测到观察者视线对焦点移出所述观察对象对应区域达到第一预设时间时，判断检测到观察者视线对焦点离开所述观察对象。
结合第一方面或第一方面的上述任一种可能的实现方式，在第八种可能的实现方式中，在所述判断步骤中：
当检测到所述观察对象切换时，判断检测到观察者视线对焦点离开所述观察对象。
结合第一方面或第一方面的上述任一种可能的实现方式，在第九种可能的实现方式中，在所述判断步骤中：
当观察者视线对焦点位置落在重要信息对应区域达到第二预设时间时，判断观察者已观察对应的重要信息。
结合第一方面或第一方面的上述任一种可能的实现方式，在第十种可能的实现方式中，在所述判断步骤中：
当观察者视线对焦点位置落在重要信息对应区域达到预设次数时，判断观察者已观察对应的重要信息。
结合第一方面，在第十一种可能的实现方式中，所述方法还包括：
识别步骤，识别观察对象中的所有重要信息。
结合第一方面的第十一种可能的实现方式，在第十二种可能的实现方式中，在所述识别步骤中：
根据观察对象的内容识别所述观察对象中的所有重要信息。
结合第一方面的第十一种可能的实现方式，在第十三种可能的实现方式中，在所述识别步骤中：
根据观察对象的元数据识别所述观察对象中的所有重要信息。
结合第一方面的第十一至第十三种可能的实现方式中的任一种，在第十四种可能的实现方式中，所述方法还包括：
标识步骤，标识观察对象中的重要信息。
结合第一方面的第十四种可能的实现方式，在第十五种可能的实现方式中，在所述标识步骤中：
对观察对象中的重要信息和/或重要信息对应的区域进行可视化标识。
结合第一方面，在第十六种可能的实现方式中，所述方法还包括步骤：
标注观察者已观察的重要信息和/或重要信息对应的区域。
结合第一方面的第十六种可能的实现方式，在第十七种可能的实现方式中，在所述已观察的重要信息和/或重要信息对应的区域存在标识时，去除所述标识。
结合第一方面的第十六种可能的实现方式，在第十八种可能的实现方式中，在所述已观察的重要信息和/或重要信息对应的区域存在标识时，用与所述标识不同的可视化标识进行标注。
结合第一方面的第十六种可能的实现方式，在第十九种可能的实现方式中，在所述已观察的重要信息和/或重要信息对应的区域不存在标识时，用可视化标识进行标注。
结合第一方面或第一方面的上述任一种可能的实现方式，在第二十种可能的实现方式中，在所述提示步骤中通过以下方式中的一种或几种进行提示：音频方式、可视化方式、触感方式、震动方式、限制观察者操作的方式。
结合第一方面或第一方面的上述任一种可能的实现方式，在第二十一种可能的实现方式中，在所述提示步骤中对观察者未观察的重要信息和/或重要信息对应的区域进行可视化提示。
第二方面，本发明实施例提供了一种信息观察装置，所述装置包括：
检测模块，用于检测观察者视线对焦点位置；
判断模块，用于在所述检测模块检测到观察者视线对焦点离开观察对象时，判断观察者是否已观察了所述观察对象中所有的重要信息；
提示模块，用于在所述判断模块判断出观察者未观察所述观察对象中所有的重要信息时，提示观察者。
结合第二方面，在第一种可能的实现方式中，所述检测模块进一步包括：
图像采集设备，用于采集观察者眼睛眼底呈现的图像；
可调成像设备，用于进行观察者眼睛与所述图像采集设备之间光路的成像参数的调节直至所述图像采集设备采集到最清晰的图像；
图像处理设备，用于根据采集到所述最清晰图像时观察者眼睛与所述采集位置之间光路的成像参数以及眼睛的光学参数，计算得到所述对焦点位置。
结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述可调成像设备包括：
可调透镜单元，位于观察者眼睛与所述图像采集设备之间的光路上，自身焦距可调和/或在光路中的位置可调。
结合第二方面的第一种可能的实现方式，在第三种可能的实现方式中，所述可调成像设备包括：
曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到采集位置。
结合第二方面的第一种可能的实现方式，在第四种可能的实现方式中，所述检测模块还包括：
投射设备，用于向观察者眼底投射光斑图案。
结合第二方面，在第五种可能的实现方式中，所述检测模块根据瞳孔-角膜反射向量法、眼电图发、虹膜-巩膜边缘法、角膜反射法、双普金野象法、或接触镜法检测观察者视线对焦点位置。
结合第二方面或第二方面的上述任一种可能的实现方式，在第六种可能的实现方式中，所述判断模块在检测到观察者视线对焦点移出所述观察对象对应区域达到第一预设时间时，判断检测到观察者视线对焦点离开所述观察对象。
结合第二方面或第二方面的上述任一种可能的实现方式，在第七种可能的实现方式中，所述判断模块在检测到所述观察对象切换时，判断检测到观察者视线对焦点离开所述观察对象。
结合第二方面或第二方面的上述任一种可能的实现方式，在第八种可能的实现方式中，所述判断模块在观察者视线对焦点位置落在重要信息对应区域达到第二预设时间时，判断观察者已观察对应的重要信息。
结合第二方面或第二方面的上述任一种可能的实现方式，在第九种可能的实现方式中，所述判断模块在观察者视线对焦点位置落在重要信息对应区域达到预设次数时，判断观察者已观察对应的重要信息。
结合第二方面，在第十种可能的实现方式中，所述装置还包括：
识别模块，用于识别观察对象中的所有重要信息。
结合第二方面的第十种可能的实现方式，在第十一种可能的实现方式中，所述识别模块根据观察对象的内容识别所述观察对象中的所有重要信息。
结合第二方面的第十种可能的实现方式，在第十二种可能的实现方式中，所述识别模块根据观察对象的元数据识别所述观察对象中的所有重要信息。
结合第二方面的第十至第十二种可能的实现方式中的任一种，在第十三种可能的实现方式中，所述装置还包括：
标识模块，用于标识观察对象中的重要信息。
结合第二方面的第十三种可能的实现方式，在第十四种可能的实现方式中，所述标识模块对观察对象中的重要信息和/或重要信息对应的区域进行可视化标识。
结合第二方面，在第十五种可能的实现方式中，所述装置还包括：
标注模块，用于标注观察者已观察的重要信息和/或重要信息对应的区域。
结合第二方面的第十五种可能的实现方式，在第十六种可能的实现方式中，所述标注模块在所述已观察的重要信息和/或重要信息对应的区域存在标识时，去除所述标识。
结合第二方面的第十五种可能的实现方式，在第十七种可能的实现方式中，所述标注模块在所述已观察的重要信息和/或重要信息对应的区域存在标识时，用与所述标识不同的可视化标识进行标注。
结合第二方面的第十五种可能的实现方式，在第十八种可能的实现方式中，所述标注模块在所述已观察的重要信息和/或重要信息对应的区域不存在标识时，用可视化标识进行标注。
结合第二方面或第二方面的上述任一种可能的实现方式，在第十九种可能的实现方式中，所述提示模块通过以下方式中的一种或几种进行提示：音频方式、可视化方式、触感方式、震动方式、限制观察者操作的方式。
结合第二方面或第二方面的上述任一种可能的实现方式，在第二十种可能的实现方式中，所示提示模块对观察者未观察的重要信息和/或重要信息对应的区域进行可视化提示。
本发明实施例的方法及装置从观察者的实际观察行为出发，通过对观察者视线对焦点位置的检测来确定观察者对重要信息的观察行为，能够从根本上防止漏看重要信息。
附图说明
图1为本发明实施例的信息观察方法的流程图；
图2（a）为一个光斑图案的示例图；
图2（b）为依照本发明实施例的方法在有图2（a）所示的光斑图案投射时采集到的观察者眼底的图像；
图3为本发明实施例的信息观察装置的结构示意图；
图4（a）为本发明实施例的信息观察装置的眼睛对焦点检测系统的一种结构框图；
图4（b）为本发明实施例的信息观察装置的眼睛对焦点检测系统的另一种结构框图；
图4（c）为本发明实施例的信息观察装置的眼睛对焦点检测系统眼睛成像的光路示意图；
图4（d）为本发明实施例的信息观察装置的眼睛对焦点检测系统根据系统已知成像参数和眼睛的光学参数得到眼睛对焦点到眼睛的距离的示意图；
图5为本发明实施例的信息观察装置的眼睛对焦点数检测系统应用在眼镜上的示意图；
图6为本发明实施例的信息观察装置的眼睛对焦点检测系统应用在眼镜上的示意图；
图7为本发明实施例的信息观察装置的再一种结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
人眼在观看目标对象时将对象清晰地在视网膜上成像的过程可称为眼睛的对焦，相应地，在视网膜上成像最清晰的点即为人眼在观看该目标对象时视线的对焦点。
在本发明的各实施例中，观察对象可为任意文本信息、多媒体信息等任意可视化信息，且可以具有传统的纸质载体，或在具有显示功能的任意设备上显示。
如图1所示，本发明实施例提供了一种信息观察方法，所述方法包括步骤：
S110.检测步骤，检测观察者视线对焦点位置；
S120.判断步骤，当检测到观察者视线对焦点离开观察对象时，判断观察者是否已观察了所述观察对象中所有的重要信息；
S130.提示步骤，当判断出观察者未观察所述观察对象中所有的重要信息时，提示观察者。
本发明实施例的方法从观察者的实际观察行为出发，通过对观察者视线对焦点位置的检测来确定观察者对重要信息的观察行为，能够从根本上防止漏看重要信息。
在本发明实施例的方法中，对于观察者视线对焦点位置的检测方式可以为多种，例如：
a）瞳孔-角膜反射向量法。通过摄像机获取眼球图像，提取出眼球图像内的瞳孔，计算得到瞳孔中心位置坐标就表示视线的位置。参见“一种新的基于瞳孔-角膜反射技术的视线追踪方法”-第33卷第7期2010年7月计算机学报。
b）眼电图法（EOG）。将两对氯化银皮肤表面电极分别置于眼睛左右、上下两侧,就能引起眼球变化方向上的微弱电信号,经放大后得到眼球运动的位置信息，并推导出眼睛视线。参见“采集眼电图(EOG)的导联方式”，第19卷第6期计算机技术与发展C(MPUTEI)
c）虹膜-巩膜边缘法。在眼部附近安装两只红外光敏管。用红外光照射眼部。当眼球向左或向右运动时，两只红外光敏管接收的红外线会发生变化，利用这个差分信号就能测出眼动。参见“眼动跟踪系统中的检测装置”，计算机与数字工程，2007年03期。
d）角膜反射法。当眼球运动时,光以变化的角度射到角膜,得到不同方向上的反光。角膜表面形成的虚像因眼球旋转而移动,实时检测出图像的位置,经信号处理可得到眼动信号。参见“眼动跟踪系统中的检测装置”，计算机与数字工程，2007年03期。
e）双普金野象法。参见FreeGaze:a gaze tracking system for everyday gazeinteraction，ETRA'02Proceedings of the2002symposium on Eye tracking research&applications。
f）接触镜法（Contact Lens）。是将一块反射镜固定在角膜或巩膜上,眼球运动时将固定光束反射到不同方向,从而获得眼动信号。参见Y.Kuno,T.Yagi,Y.Uchikawa,Development of fish-eye VR system with human visual function and biologicalsignal,in:IEEE Internat.Conf.on Multi-sensor Fusion and Integration forIntelligent Systems,1996,pp.389–394。
g）根据采集到眼睛的成像面呈现的最清晰图像时图像采集位置与观察者眼睛之间光路的光学参数，得到所述眼睛视线对焦点位置。此种方式的检测精度最高，采用此方式时，步骤S110可进一步包括：
S111.采集观察者眼睛眼底呈现的图像；
S112.进行观察者眼睛与采集位置之间光路的成像参数的调节直至采集到最清晰的图像；
S113.对所述采集到的图像进行处理，根据采集到所述最清晰图像时观察者眼睛与所述采集位置之间光路的成像参数以及眼睛的光学参数，计算得到所述对焦点位置，所述眼睛的光学参数包括眼睛的光轴方向。
通过对眼睛眼底的图像进行分析处理，得到采集到最清晰图像时眼睛的光学参数，从而计算得到视线当前的对焦点位置，为进一步基于该精确的对焦点的位置对观察者的观察行为进行检测提供基础。
这里的“眼底”呈现的图像主要为在视网膜上呈现的图像，其可以为眼底自身的图像，或者可以为投射到眼底的其它物体的图像。
在步骤S112中，可通过对眼睛与采集位置之间的光路上的光学器件的焦距和/或在光路中的位置进行调节，可在该光学器件在某一个位置或状态时获得眼底最清晰的图像。该调节可为连续实时的。
在本发明实施例的方法的一种可能的实施方式中，该光学器件可为焦距可调透镜，用于通过调整该光学器件自身的折射率和/或形状完成其焦距的调整。具体为：1）通过调节焦距可调透镜的至少一面的曲率来调节焦距，例如在双层透明层构成的空腔中增加或减少液体介质来调节焦距可调透镜的曲率；2）通过改变焦距可调透镜的折射率来调节焦距，例如焦距可调透镜中填充有特定液晶介质，通过调节液晶介质对应电极的电压来调整液晶介质的排列方式，从而改变焦距可调透镜的折射率。
在本发明实施例的方法的另一种可能的实施方式中，该光学器件可为：透镜组，用于通过调节透镜组中透镜之间的相对位置完成透镜组自身焦距的调整。
除了上述两种通过光学器件自身的特性来改变系统的光路参数以外，还可以通过调节光学器件在光路上的位置来改变系统的光路参数。
此外，在本发明实施例的方法中，步骤S113进一步包括：
S1131.对在步骤S111中采集到的图像进行分析，找到最清晰的图像；
S1132.根据所述最清晰的图像、以及得到所述最清晰图像时已知的成像参数计算眼睛的光学参数。
步骤S112中的调整使得能够采集到最清晰的图像，但是需要通过步骤S113来找到该最清晰的图像，根据所述最清晰的图像以及已知的光路参数就可以通过计算得到眼睛的光学参数。
在本发明实施例的方法中，步骤S113中还可包括：
S1133.向眼底投射光斑。所投射的光斑可以没有特定图案仅用于照亮眼底。所投射的光斑还可包括特征丰富的图案。图案的特征丰富可以便于检测，提高检测精度。如图2（a）所示为一个光斑图案200的示例图，该图案可以由光斑图案生成器形成，例如毛玻璃；图2（b）所示为在有光斑图案200投射时采集到的眼底的图像。
为了不影响眼睛的正常观看，优选的，所述光斑为眼睛不可见的红外光斑。此时，为了减小其它光谱的干扰：可进行滤除投射的光斑中除了眼睛不可见光透射滤镜之外的光的步骤。
相应地，本发明实施的方法还可包括步骤：
S1134.根据步骤S1131分析得到的结果，控制投射光斑亮度。该分析结果例如步骤S111采集到的图像的特性，包括图像特征的反差以及纹理特征等。
需要说明的是，控制投射光斑亮度的一种特殊的情况为开始或停止投射，例如观察者持续注视一点时可以周期性停止投射；观察者眼底足够明亮时可以停止投射，利用眼底信息来检测眼睛当前视线对焦点到眼睛的距离。
此外，还可以根据环境光来控制投射光斑亮度。
优选地，在本发明实施例的方法中，步骤S113还包括：
S1135.进行眼底图像的校准，获得至少一个与眼底呈现的图像对应的基准图像。具言之，将采集到的图像与所述基准图像进行对比计算，获得所述最清晰的图像。这里，所述最清晰的图像可以为获得的与所述基准图像差异最小的图像。在本实施方式的方法中，通过现有的图像处理算法计算当前获得的图像与基准图像的差异，例如使用经典的相位差值自动对焦算法。
在步骤S1132中所得到的眼睛的光学参数可包括根据采集到所述最清晰图像时眼睛的特征得到的眼睛光轴方向。这里眼睛的特征可以是从所述最清晰图像上获取的，或者也可以是另外获取的。眼睛光轴方向表示眼睛视线注视的方向。具言之，可根据得到所述最清晰图像时眼底的特征得到眼睛光轴方向。通过眼底的特征来确定眼睛光轴方向精确度更高。
在向眼底投射光斑图案时，光斑图案的大小有可能大于眼底可视区域或小于眼底可视区域，其中：
当光斑图案的面积小于等于眼底可视区域时，可以利用经典特征点匹配算法（例如尺度不变特征转换（Scale Invariant Feature Transform，SIFT）算法）通过检测图像上的光斑图案相对于眼底位置来确定眼睛光轴方向。
当光斑图案的面积大于等于眼底可视区域时，可以通过得到的图像上的光斑图案相对于原光斑图案（通过图像校准获得）的位置来确定眼睛光轴方向确定观察者视线方向。
在本发明实施例的方法的另一种可能的实施方式中，还可根据得到所述最清晰图像时眼睛瞳孔的特征得到眼睛光轴方向。这里眼睛瞳孔的特征可以是从所述最清晰图像上获取的，也可以是另外获取的。通过眼睛瞳孔特征得到眼睛光轴方向为已有技术，此处不再赘述。
此外，在本发明实施例的方法中，还可包括对眼睛光轴方向的校准步骤，以便更精确的进行上述眼睛光轴方向的确定。
在本发明实施例的方法中，所述已知的成像参数包括固定的成像参数和实时成像参数，其中实时成像参数为获取最清晰图像时所述光学器件的参数信息，该参数信息可以在获取所述最清晰图像时实时记录得到。
在得到眼睛当前的光学参数之后，就可以计算得到眼睛对焦点到眼睛的距离（具体过程将结合装置部分详述）。
通过检测观察者视线对焦点位置，在步骤S120中，当检测到观察者视线对焦点移出所述观察对象对应区域达到第一预设时间时，判断检测到观察者视线对焦点离开所述观察对象。观察对象对应的区域为预先设置的，可根据观察对象的内容设置，例如，特定的段落所对应的区域；还可根据观察对象的面积设置，例如，对于纸质阅读物，该区域可为一页，而对于电子读物，该区域可为该电子读物的显示区域或电子读物所显示的一页。该第一预设时间可根据实际情况设置，例如，根据观察者所处场景和/或观察对象区域的大小等等，以排除观察者下意识动作造成的视线对焦点移出观察对象区域的情况，例如，眨眼、短暂的头部动作等等。
在步骤S120中，当检测到所述观察对象切换时，判断检测到观察者视线对焦点离开所述观察对象。观察对象切换指的是由观察者触发的或自动触发的观察对象的变换，例如翻页、页面滚动等。
对于一个观察对象来讲，重要信息可能不止一个或一处。当观察者视线对焦点离开观察对象时需判断观察者是否已经遍历了全部重要信息。在本发明实施例的方法中，当观察者视线对焦点位置落在重要信息对应区域达到第二预设时间或达到预设次数时，即可判断观察者已观察对应的重要信息。该第二预设时间以及预设次数也可根据实际情况设置，只要能够排除观察者非主观意图的视线对焦点落在重要信息所对应的区域的可能。
此外，本发明实施例的方法还可包括步骤：
S130.识别步骤，识别观察对象中的所有重要信息。
在对观察者的视线对焦点位置进行检测之前或同时，需要识别出观察对象中的所有重要信息。对重要信息的识别可根据观察对象的内容进行，例如，通过语义识别出需要特别注意的内容；或者观察对象本身上对重要信息或重要信息对应的区域具有可视化特征，例如：重要信息或重要信息对应的区域的特殊标记、该处的文字、图像、字体、颜色、以及版面特征等等，通过这些可视化特征来识别重要信息。对重要信息的识别还可根据观察对象的元数据进行，元数据为用于描述数据及其环境的数据，在本发明实施例的方法中为观察对象的描述信息，在观察对象的生成过程中即可生成，其中说明了观察对象中哪些区域包含重要信息，观察对象的元数据能够被观察者所获取。
识别出观察对象的全部重要信息之后，为了充分的引起观察者在观察过程中的注意，本发明实施例的方法还包括对对重要信息的标识步骤，例如，可通过对重要信息或重要信息所对应的区域进行加粗、加黑、下划线、对应区域的高亮颜色等处理进行标识。
另外，在检测观察者视线对焦点位置的过程中，本发明实施例的方法还包括标注观察对象中观察者已经观察了的重要信息的步骤。具言之，当观察者已经观察了某一重要信息和/或重要信息对应的区域后，可通过去除该重要信息和/或重要信息对应的区域处原有的标识、用与原有标识不同的可视化标识来对其进行标注。在重要信息和/或重要信息对应的区域不存在标识时还可用可视化标识进行标注等方式对其进行标注。据此，在观察者发现有漏看的重要信息时能够更有效率的过滤掉已经观察过的重要信息。
在步骤S130中，可通过以下方式中的一种或几种来对观察者进行提示：音频方式，通过输出提示音来提示观察者有未查看的重要信息；可视化方式，可以观察者看见的方式（例如，闪烁）提示观察者有未查看的重要信息，或者更直接有效地，对未查看的重要信息进行可视化的标注（区别于对重要信息和/或已观察的重要信息已做的标识）来提示观察者；触感方式，例如，突出；震动方式；以及限制观察者操作的方式，尤其对于观察行为发生在具有显示功能的设备上时，通过禁止观察者滚动、翻动页面等的方式提示其还有未观察的重要信息。
综上所述，本发明实施例的方法通过精确地检测观察者视线对焦点位置，根据该对焦点位置检测观察者的观察行为，能够从根本上防止漏看重要信息；此外，对全部/已观察/未观察的重要信息进行标注，能够进一步提高观察者观察重要信息的效率。
如图3所示，本发明实施例还提供了一种信息观察装置300。该装置可为由观察者持有、佩戴的独立设备，或部分由观察者持有、佩戴，当观察对象由具有显示功能的设备显示时，本发明实施例的装置还部分或全部属于该设备。如图3所示，本发明实施例的信息观察装置300包括：
检测模块310，用于检测观察者视线对焦点位置；
提醒模块320，用于在检测模块310检测到观察者视线对焦点离开观察对象时，判断观察者是否已观察了所述观察对象中所有的重要信息；
提示模块330，用于在判断模块320判断出观察者未观察所述观察对象中所有的重要信息时，提示观察者。
本发明实施例的装置从观察者的实际观察行为出发，通过对观察者视线对焦点位置的检测来确定观察者对重要信息的观察行为，能够从根本上防止漏看重要信息。
在本发明实施例的装置中，检测模块310对于观察者视线对焦点位置的检测方式可以为图1所示的方法实施例中所提到的a）至g）中的任一种。其中，在本发明实施例的装置中采用检测精度最高的g）方式，相应地，所述检测模块310可以为图4（a）-图4（d）、图5、图6所示的对焦点检测系统中的任一种。
如图4（a）所示，所述对焦点检测系统400包括：
图像采集设备410，用于采集眼睛眼底呈现的图像；
可调成像设备420，用于进行眼睛与所述图像采集设备410之间光路成像参数的调节以使得所述图像采集设备410得到最清晰的图像；
图像处理设备430，用于对所述图像采集设备410得到的图像进行处理，根据得到所述最清晰图像时所述图像采集设备410与眼睛之间光路的成像参数以及眼睛的光学参数，计算得到眼睛的对焦点位置。
该系统400通过对眼睛眼底的图像进行分析处理，得到所述图像采集设备获得最清晰图像时眼睛的光学参数，就可以计算得到眼睛当前的对焦点位置，为进一步基于该精确的对焦点的位置对观察者的观察行为进行检测提供基础。
如图4（b）所示，在一种可能的实施方式中，所述图像采集设备410为微型摄像头，在本发明实施例的另一种可能的实施方式中，所述图像采集设备410还可以直接使用感光成像器件，如CCD或CMOS等器件。
如图4（b）所示，在一种可能的实施方式中，所述可调成像设备420包括：可调透镜单元421，位于眼睛与所述图像采集设备410之间的光路上，自身焦距可调和/或在光路中的位置可调。通过该可调透镜单元421，使得从眼睛到所述图像采集设备410之间的系统等效焦距可调，通过可调透镜单元421的调节，使得所述图像采集设备410在可调透镜单元421的某一个位置或状态时获得眼底最清晰的图像。在本实施方式中，所述可调透镜单元421在检测过程中连续实时的调节。
在一种可能的实施方式中，所述可调透镜单元421为：焦距可调透镜，用于通过调节自身的折射率和/或形状完成自身焦距的调整。具体为：1）通过调节焦距可调透镜的至少一面的曲率来调节焦距，例如在双层透明层构成的空腔中增加或减少液体介质来调节焦距可调透镜的曲率；2）通过改变焦距可调透镜的折射率来调节焦距，例如焦距可调透镜中填充有特定液晶介质，通过调节液晶介质对应电极的电压来调整液晶介质的排列方式，从而改变焦距可调透镜的折射率。
在另一种可能的实施方式中，所述可调透镜单元421包括：透镜组，用于调节透镜组中透镜之间的相对位置完成透镜组自身焦距的调整。
除了上述两种通过调节可调透镜单元421自身的特性来改变系统的光路参数以外，还可以通过调节所述可调透镜单元421在光路上的位置来改变系统的光路参数。
此外，为了不影响观察者对观察对象的观看体验，并且为了使得系统可以便携应用在穿戴式设备上，所述可调成像设备420还包括：分光单元422，用于形成眼睛和观察对象之间、以及眼睛和图像采集设备410之间的光传递路径。这样可以对光路进行折叠，减小系统的体积，同时尽可能不影响观察者的其它体验。
所述分光单元422可包括：第一分光子单元，位于眼睛和观察对象之间，用于透射观察对象到眼睛的光，传递眼睛到图像采集设备的光。所述第一分光单元可以为分光镜、分光光波导（包括光纤）或其它适合的分光设备。
此外，图像处理设备430可包括光路校准单元，用于对系统的光路进行校准，例如进行光路光轴的对齐校准等，以保证测量的精度。
图像分析单元431，用于对所述图像采集设备得到的图像进行分析，找到最清晰的图像；
参数计算单元432，用于根据所述最清晰的图像、以及得到所述最清晰图像时系统已知的成像参数计算眼睛的光学参数。
在本实施方式中，通过可调成像设备420使得所述图像采集设备410可以得到最清晰的图像，但是需要通过所述图像分析单元431来找到该最清晰的图像，此时根据所述最清晰的图像以及系统已知的光路参数就可以通过计算得到眼睛的光学参数。
在一种可能的实施方式中，所述系统400还包括：投射设备440，用于向眼底投射光斑。可以通过微型投影仪来视线该投射设备440的功能。所投射的光斑可以没有特定图案仅用于照亮眼底。所投射的光斑还可包括特征丰富的图案。图案的特征丰富可以便于检测，提高检测精度。光斑图案以及有光斑时采集到的眼底的图像分别如图2（a）、图2（b）所示。
为了不影响眼睛的正常观看，优选的，所述光斑为眼睛不可见的红外光斑。此时，为了减小其它光谱的干扰：
所述投射设备440的出射面可以设置有眼睛不可见光透射滤镜。
所述图像采集设备410的入射面设置有眼睛不可见光透射滤镜。
优选地，在一种可能的实施方式中，所述图像处理设备430还包括：
投射控制单元434，用于根据图像分析模块431得到的结果，控制所述投射设备440的投射光斑亮度。
例如所述投射控制单元434可以根据图像采集设备410得到的图像的特性自适应调整亮度。这里图像的特性包括图像特征的反差以及纹理特征等。
需要说明的是，控制所述投射设备440的投射光斑亮度的一种特殊的情况为打开或关闭投射设备440，例如观察者持续注视一点时可以周期性关闭所述投射设备440；观察者眼底足够明亮时可以关闭发光源只利用眼底信息来检测眼睛当前视线对焦点到眼睛的距离。
此外，所述投射控制单元434还可以根据环境光来控制投射装置的投射光斑亮度。
优选地，在一种可能的实施方式中，所述图像处理设备430还包括：图像校准单元433，用于进行眼底图像的校准，获得至少一个与眼底呈现的图像对应的基准图像。
所述图像分析单元431将图像采集设备430得到的图像与所述基准图像进行对比计算，获得所述最清晰的图像。这里，所述最清晰的图像可以为获得的与所述基准图像差异最小的图像。在本实施方式中，通过现有的图像处理算法计算当前获得的图像与基准图像的差异，例如使用经典的相位差值自动对焦算法。
优选地，在一种可能的实施方式中，所述参数计算单元432包括：
眼睛光轴方向确定子单元4321，用于根据得到所述最清晰图像时眼睛的特征得到眼睛光轴方向。眼睛的特征可以是从所述最清晰图像上获取的，或者也可以是另外获取的。眼睛光轴方向表示眼睛视线注视的方向。
在一种可能的实施方式中，所述眼睛光轴方向确定子单元4321包括：第一确定部分，用于根据得到所述最清晰图像时眼底的特征得到眼睛光轴方向。与通过瞳孔和眼球表面的特征得到眼睛光轴方向相比，通过眼底的特征来确定眼睛光轴方向精确度更高。
在向眼底投射光斑图案时，光斑图案的大小有可能大于眼底可视区域或小于眼底可视区域，其中：
当光斑图案的面积小于等于眼底可视区域时，可以利用经典特征点匹配算法（例如SIFT算法）通过检测图像上的光斑图案相对于眼底位置来确定眼睛光轴方向。
当光斑图案的面积大于等于眼底可视区域时，可以通过得到的图像上的光斑图案相对于原光斑图案（通过图像校准单元获得）的位置来确定眼睛光轴方向确定观察者视线方向。
在另一种可能的实施方式中，所述眼睛光轴方向确定子单元4321包括：第二确定部分，用于根据得到所述最清晰图像时眼睛瞳孔的特征得到眼睛光轴方向。这里眼睛瞳孔的特征可以是从所述最清晰图像上获取的，也可以是另外获取的。通过眼睛瞳孔特征得到眼睛光轴方向为已有技术，此处不再赘述。
在一种可能的实施方式中，所述图像处理设备430还包括：眼睛光轴方向校准单元435，用于进行眼睛光轴方向的校准，以便更精确的进行上述眼睛光轴方向的确定。
在本实施方式中，所述系统已知的成像参数包括固定的成像参数和实时成像参数，其中实时成像参数为获取最清晰图像时所述可调透镜单元的参数信息，该参数信息可以在获取所述最清晰图像时实时记录得到。
在得到眼睛当前的光学参数之后，就可以计算得到眼睛对焦点到眼睛的距离，具体为：
图4（c）所示为眼睛成像示意图，结合经典光学理论中的透镜成像公式，由图4（c）可以得到公式(1)：
其中do和de分别为眼睛当前观察对象4010和视网膜上的实像4020到眼睛等效透镜4030的距离，fe为眼睛等效透镜4030的等效焦距，X为眼睛的光轴方向（即视线的光轴）。
图4（d）所示为根据系统已知光学参数和眼睛的光学参数得到眼睛对焦点到眼睛的距离的示意图，4（d）中光斑4040通过可调透镜单元421会成一个虚像（未示出），假设该虚像距离可调透镜单元421距离为x，结合公式(1)可以得到如下方程组：
其中dp为光斑4040到可调透镜单元421的光学等效距离，di为可调透镜单元421到眼睛等效透镜4030的光学等效距离，fp为可调透镜单元421的焦距值，di为所述眼睛等效透镜4030到可调透镜单元421的距离。
由(1)和(2)可以得出当前观察对象4010（眼睛对焦点）到眼睛等效透镜4030的距离do如公式(3)所示：
根据上述计算得到的观察对象4010到眼睛的距离，又由于之前的记载可以得到眼睛光轴方向，则可以轻易得到眼睛的对焦点位置。
如图5所示为一种可能的眼睛对焦点检测系统500应用在眼镜A（这里的眼镜A即可为本发明实施例的信息观察装置）上的实施例，其包括图4（b）所示实施方式的记载的内容，具体为：由图5可以看出，在本实施方式中，在眼镜A右侧（不局限于此）集成了本实施方式的系统500，其包括：
微型摄像头510，其作用与图4（b）实施方式中记载的图像采集设备相同，为了不影响观察者正常观看对象的视线，其被设置于眼睛B右外侧；
第一分光镜520，其作用与图4（b）实施方式中记载的第一分光单元相同，以一定倾角设置于眼睛B注视方向和摄像头510入射方向的交点处，透射观察对象进入眼睛B的光以及反射眼睛到摄像头510的光；
焦距可调透镜530，其作用与图4（b）实施方式中记载的焦距可调透镜相同，位于所述第一分光镜520和摄像头510之间，实时进行焦距值的调整，使得在某个焦距值时，所述摄像头510能够拍到眼底最清晰的图像。
在本实施方式中，所述图像处理单元在图5中未表示出，其功能与图4（b）所示的图像处理设备相同。
由于一般情况下，眼底的亮度不够，因此，最好对眼底进行照明，在本实施方式中，通过一个发光源540来对眼底进行照明。为了不影响观察者的体验，这里优选的发光源540为眼睛不可见光，优选对眼睛B影响不大并且摄像头510又比较敏感的近红外光发光源。
在本实施方式中，所述发光源540位于右侧的眼镜架外侧，因此需要通过一个第二分光镜550与所述第一分光镜520一起完成所述发光源540发出的光到眼底的传递。本实施方式中，所述第二分光镜550又位于摄像头510的入射面之前，因此其还需要透射眼底到第二分光镜550的光。
可以看出，在本实施方式中，为了提高观察者体验和提高摄像头510的采集清晰度，所述第一分光镜520优选地可以具有对红外反射率高、对可见光透射率高的特性。例如可以在第一分光镜520朝向眼睛B的一侧设置红外反射膜实现上述特性。
由图5可以看出，由于在本实施方式中，所述眼睛对焦点检测系统500位于眼镜500的镜片远离眼睛B的一侧，因此进行眼睛光学参数进行计算时，可以将镜片也看成是眼镜的一部分，此时不需要知道镜片的光学特性。
在本发明实施例的其它实施方式中，所述眼睛对焦点检测系统500可能位于眼镜A的镜片靠近眼睛B的一侧，此时，需要预先得到镜片的光学特性参数，并在计算对焦点距离时，考虑镜片的影响因素。
发光源发出的光通过第二分光镜550的反射、焦距可调透镜530的投射、以及第一分光镜520的反射后再透过眼镜A的镜片进入观察者眼睛，并最终到达眼底的视网膜上；摄像头510经过所述第一分光镜520、焦距可调透镜530以及第二分光镜550构成的光路透过眼睛B的瞳孔拍摄到眼底的图像。
如图6所示为另一种眼睛对焦点检测系统600的结构示意图。由图6可以看出，本实施方式与图5所示的实施方式相似，包括微型摄像头610、第二分光镜620、焦距可调透镜630，不同之处在于，在本实施方式中的投射装置640为投射光斑图案的投射装置640，并且通过一个曲面分光镜650作为曲面分光单元取代了图5实施方式中的第一分光镜。
这里采用了曲面分光镜650分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到图像采集设备。这样摄像头可以拍摄到眼球各个角度混合叠加的成像，但由于只有通过瞳孔的眼底部分能够在摄像头上清晰成像，其它部分会失焦而无法清晰成像，因而不会对眼底部分的成像构成严重干扰，眼底部分的特征仍然可以检测出来。因此，与图5所示的实施方式相比，本实施方式可以在眼睛注视不同方向时都能很好的得到眼底的图像，使得本实施方式的眼睛对焦点检测系统适用范围更广，检测精度更高。
根据上述任一种检测模块310的检测，判断模块320在检测到观察者视线对焦点移出所述观察对象对应区域达到第一预设时间时，判断检测到观察者视线对焦点离开所述观察对象。观察对象对应的区域为预先设置的，且可根据观察对象的内容设置，例如，特定的段落所对应的区域；还可根据观察对象的面积设置，例如，对于纸质阅读物，该区域可为一页，而对于电子读物，该区域可为该电子读物的显示区域或电子读物所显示的一页。该第一预设时间可根据实际情况设置，例如，根据观察者所处场景和/或观察对象的大小等等，以排除观察者下意识动作造成的视线对焦点移出观察对象区域的情况，例如，眨眼、短暂的头部动作等等。
判断模块320在检测到所述观察对象切换时，判断检测到观察者视线对焦点离开所述观察对象。观察对象切换指的是由观察者触发的或自动触发的观察对象的变换，例如翻页、页面滚动等。
在本发明实施例的装置中，当观察者视线对焦点位置落在重要信息对应区域达到第二预设时间或达到预设次数时，即可判断观察者已观察对应的重要信息。该第二预设时间以及预设次数也可根据实际情况设置，只要能够排除观察者非主观意图的视线对焦点落在重要信息所对应的区域的可能。
此外，仍如图3所示，发明实施例的装置300还可包括步骤：
识别模块340，用于识别观察对象中的所有重要信息。识别模块340对重要信息的识别可根据观察对象的内容进行，例如，通过语义识别出需要特别注意的内容；或者观察对象本身上对重要信息或重要信息对应的区域具有可视化特征，例如：重要信息或重要信息对应的区域的特殊标记、该处的文字、图像、字体、颜色、以及版面特征等等，通过这些可视化特征来识别重要信息。对重要信息的识别还可根据观察对象的元数据进行，元数据为用于描述数据及其环境的数据，在本发明实施例的方法中为观察对象的描述信息，在观察对象的生成过程中即可生成，其中说明了观察对象中哪些区域包含重要信息，观察对象的元数据能够被由识别模块340所获取。
为了充分的引起观察者在观察过程中的注意，本发明实施例的方装置300还包括标识模块350，用于对对重要信息的标识步骤，例如，可通过对重要信息或重要信息所对应的区域进行加粗、加黑、下划线、对应区域的高亮颜色等处理进行标识。
另外，本发明实施例的装置300还包括标注模块360，用于在识别模块350识别出重要信息的同时或之后，标注观察对象中观察者已经观察了的重要信息的步骤。具言之，当观察者已经观察了某一重要信息和/或重要信息对应的区域后，标注模块360可通过去除该重要信息和/或重要信息对应的区域处原有的标识、用与原有标识不同的可视化标识来对其进行标注。在重要信息和/或重要信息对应的区域不存在标识时还可用可视化标识进行标注等方式对其进行标注。据此，在观察者发现有漏看的重要信息时能够更有效率的过滤掉已经观察过的重要信息。
此外，提示模块330可通过以下方式中的一种或几种来对观察者进行提示：音频方式，通过输出提示音来提示观察者有未查看的重要信息；可视化方式，可以观察者看见的方式（例如，闪烁）提示观察者有未查看的重要信息，或者更直接有效地，对未查看的重要信息进行可视化的标注（区别于对重要信息和/或已观察的重要信息已做的标识）来提示观察者；触感方式，例如，突出；震动方式；以及限制观察者操作的方式，尤其对于观察行为发生在具有显示功能的设备上时，通过禁止观察者滚动、翻动页面等的方式提示其还有未观察的重要信息。
综上所述，本发明实施例的装置通过精确地检测观察者视线对焦点位置，根据该对焦点位置检测观察者的观察行为，能够从根本上防止漏看重要信息；此外，对全部/已观察/未观察的重要信息进行标注，能够进一步提高观察者观察重要信息的效率。
图7为本发明实施例提供的一种提醒装置700的结构示意图，本发明具体实施例并不对提醒装置700的具体实现做限定。如图7所示，该提醒装置700可以包括：
处理器(processor)710、通信接口(communication interface)720、存储器(memory)730、以及通信总线740。其中：
处理器710、通信接口720、以及存储器730通过通信总线740完成相互间的通信。
通信接口720，用于与比如客户端等的网元通信。
处理器710，用于执行程序732，具体可以执行上述图1所示的方法实施例中的相关步骤。
具体地，程序732可以包括程序代码，所述程序代码包括计算机操作指令。
处理器710可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器730，用于存放程序732。存储器730可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。程序732具体可以包括：
检测模块，用于检测观察者视线对焦点位置；
判断模块，用于在所述检测模块检测到观察者视线对焦点离开观察对象时，判断观察者是否已观察了所述观察对象中所有的重要信息；
提示模块，用于在所述判断模块判断出观察者未观察所述观察对象中所有的重要信息时，提示观察者。
程序732中各单元的具体实现可以参见图3所示实施例中的相应单元，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本发明的实施例还提供了一种可穿戴式光学设备，所述可穿戴式光学设备可以为图5或图6示出的框架眼镜、或者还可以为隐形眼睛，该可穿戴式光学设备包括上面各实施例记载的信息观察装置。
在本发明实施例的其它可能的实施方式中，所述信息观察装置还可能应用于其它与眼睛相关的设备上，例如望远镜等非穿戴式光学设备等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (41)

1.一种信息观察方法，其特征在于，所述方法包括步骤：
检测步骤，检测观察者视线对焦点位置；所述检测步骤进一步包括：采集观察者眼睛眼底呈现的图像；进行观察者眼睛与采集位置之间光路的成像参数的调节直至采集到最清晰的图像；根据采集到所述最清晰图像时观察者眼睛与所述采集位置之间光路的成像参数以及眼睛的光学参数，计算得到所述对焦点位置；
判断步骤，当检测到观察者视线对焦点离开观察对象时，判断观察者是否已观察了所述观察对象中所有的重要信息；
提示步骤，当判断出观察者未观察所述观察对象中所有的重要信息时，提示观察者。
2.根据权利要求1所述的方法，其特征在于，所述眼睛的光学参数包括眼睛的光轴方向。
3.根据权利要求1所述的方法，其特征在于，所述进行观察者眼睛与采集位置之间光路的成像参数的调节包括：
对用于眼睛与采集位置之间的光路上光学器件的焦距和/或在光路中的位置进行调节。
4.根据权利要求1所述的方法，其特征在于，所述进行观察者眼睛与采集位置之间光路的成像参数的调节直至采集到最清晰的图像包括：
分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到采集位置。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
向眼底投射光斑图案。
6.根据权利要求1所述的方法，其特征在于，在所述检测步骤中：
根据瞳孔-角膜反射向量法、眼电图发、虹膜-巩膜边缘法、角膜反射法、双普金野象法、或接触镜法检测观察者视线对焦点位置。
7.根据权利要求1至6中任一项所述的方法，其特征在于，在所述判断步骤中：
当检测到观察者视线对焦点移出所述观察对象对应区域达到第一预设时间时，判断检测到观察者视线对焦点离开所述观察对象。
8.根据权利要求1至6中任一项所述的方法，其特征在于，在所述判断步骤中：
当检测到所述观察对象切换时，判断检测到观察者视线对焦点离开所述观察对象。
9.根据权利要求1至6中任一项所述的方法，其特征在于，在所述判断步骤中：
当观察者视线对焦点位置落在重要信息对应区域达到第二预设时间时，判断观察者已观察对应的重要信息。
10.根据权利要求1至6中任一项所述的方法，其特征在于，在所述判断步骤中：
当观察者视线对焦点位置落在重要信息对应区域达到预设次数时，判断观察者已观察对应的重要信息。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
识别步骤，识别观察对象中的所有重要信息。
12.根据权利要求11所述的方法，其特征在于，在所述识别步骤中：
根据观察对象的内容识别所述观察对象中的所有重要信息。
13.根据权利要求11所述的方法，其特征在于，在所述识别步骤中：
根据观察对象的元数据识别所述观察对象中的所有重要信息。
14.根据权利要求11至13中任一项所述的方法，其特征在于，所述方法还包括：
标识步骤，标识观察对象中的重要信息。
15.根据权利要求14所述的方法，其特征在于，在所述标识步骤中：
对观察对象中的重要信息和/或重要信息对应的区域进行可视化标识。
16.根据权利要求1所述的方法，其特征在于，所述方法还包括步骤：
标注观察者已观察的重要信息和/或重要信息对应的区域。
17.根据权利要求16所述的方法，其特征在于，在所述已观察的重要信息和/或重要信息对应的区域存在标识时，去除所述标识。
18.根据权利要求16所述的方法，其特征在于，在所述已观察的重要信息和/或重要信息对应的区域存在标识时，用与所述标识不同的可视化标识进行标注。
19.根据权利要求16所述的方法，其特征在于，在所述已观察的重要信息和/或重要信息对应的区域不存在标识时，用可视化标识进行标注。
20.根据权利要求1所述的方法，其特征在于，在所述提示步骤中通过以下方式中的一种或几种进行提示：音频方式、可视化方式、触感方式、震动方式、限制观察者操作的方式。
21.根据权利要求1所述的方法，其特征在于，在所述提示步骤中对观察者未观察的重要信息和/或重要信息对应的区域进行可视化提示。
22.一种信息观察装置，其特征在于，所述装置包括：
检测模块，用于检测观察者视线对焦点位置；
判断模块，用于在所述检测模块检测到观察者视线对焦点离开观察对象时，判断观察者是否已观察了所述观察对象中所有的重要信息；
提示模块，用于在所述判断模块判断出观察者未观察所述观察对象中所有的重要信息时，提示观察者；
所述检测模块进一步包括：
图像采集设备，用于采集观察者眼睛眼底呈现的图像；
可调成像设备，用于进行观察者眼睛与所述图像采集设备之间光路的成像参数的调节直至所述图像采集设备采集到最清晰的图像；
图像处理设备，用于根据采集到所述最清晰图像时观察者眼睛与采集位置之间光路的成像参数以及眼睛的光学参数，计算得到所述对焦点位置。
23.根据权利要求22所述的装置，其特征在于，所述可调成像设备包括：
可调透镜单元，位于观察者眼睛与所述图像采集设备之间的光路上，自身焦距可调和/或在光路中的位置可调。
24.根据权利要求22所述的装置，其特征在于，所述可调成像设备包括：
曲面分光单元，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到采集位置。
25.根据权利要求22所述的装置，其特征在于，所述检测模块还包括：
投射设备，用于向观察者眼底投射光斑图案。
26.根据权利要求22所述的装置，其特征在于，所述检测模块根据瞳孔-角膜反射向量法、眼电图发、虹膜-巩膜边缘法、角膜反射法、双普金野象法、或接触镜法检测观察者视线对焦点位置。
27.根据权利要求22至26中任一项所述的装置，其特征在于，所述判断模块在检测到观察者视线对焦点移出所述观察对象对应区域达到第一预设时间时，判断检测到观察者视线对焦点离开所述观察对象。
28.根据权利要求22至26中任一项所述的装置，其特征在于，所述判断模块在检测到所述观察对象切换时，判断检测到观察者视线对焦点离开所述观察对象。
29.根据权利要求22至26中任一项所述的装置，其特征在于，所述判断模块在观察者视线对焦点位置落在重要信息对应区域达到第二预设时间时，判断观察者已观察对应的重要信息。
30.根据权利要求22至26中任一项所述的装置，其特征在于，所述判断模块在观察者视线对焦点位置落在重要信息对应区域达到预设次数时，判断观察者已观察对应的重要信息。
31.根据权利要求22所述的装置，其特征在于，所述装置还包括：
识别模块，用于识别观察对象中的所有重要信息。
32.根据权利要求31所述的装置，其特征在于，所述识别模块根据观察对象的内容识别所述观察对象中的所有重要信息。
33.根据权利要求31所述的装置，其特征在于，所述识别模块根据观察对象的元数据识别所述观察对象中的所有重要信息。
34.根据权利要求31至33中任一项所述的装置，其特征在于，所述装置还包括：
标识模块，用于标识观察对象中的重要信息。
35.根据权利要求34所述的装置，其特征在于，所述标识模块对观察对象中的重要信息和/或重要信息对应的区域进行可视化标识。
36.根据权利要求22所述的装置，其特征在于，所述装置还包括：
标注模块，用于标注观察者已观察的重要信息和/或重要信息对应的区域。
37.根据权利要求36所述的装置，其特征在于，所述标注模块在所述已观察的重要信息和/或重要信息对应的区域存在标识时，去除所述标识。
38.根据权利要求36所述的装置，其特征在于，所述标注模块在所述已观察的重要信息和/或重要信息对应的区域存在标识时，用与所述标识不同的可视化标识进行标注。
39.根据权利要求36所述的装置，其特征在于，所述标注模块在所述已观察的重要信息和/或重要信息对应的区域不存在标识时，用可视化标识进行标注。
40.根据权利要求22所述的装置，其特征在于，所述提示模块通过以下方式中的一种或几种进行提示：音频方式、可视化方式、触感方式、震动方式、限制观察者操作的方式。
41.根据权利要求22所述的装置，其特征在于，所示提示模块对观察者未观察的重要信息和/或重要信息对应的区域进行可视化提示。
CN201310419430.2A 2013-09-16 2013-09-16 信息观察方法及信息观察装置 Active CN103530623B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201310419430.2A CN103530623B (zh) 2013-09-16 2013-09-16 信息观察方法及信息观察装置
PCT/CN2014/071130 WO2015035745A1 (zh) 2013-09-16 2014-01-22 信息观察方法及信息观察装置
US14/787,745 US9946341B2 (en) 2013-09-16 2014-01-22 Information observation method and information observation device
US15/488,699 US10684680B2 (en) 2013-09-16 2017-04-17 Information observation method and information observation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310419430.2A CN103530623B (zh) 2013-09-16 2013-09-16 信息观察方法及信息观察装置

Publications (2)

Publication Number Publication Date
CN103530623A CN103530623A (zh) 2014-01-22
CN103530623B true CN103530623B (zh) 2017-08-01

Family

ID=49932622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310419430.2A Active CN103530623B (zh) 2013-09-16 2013-09-16 信息观察方法及信息观察装置

Country Status (3)

Country Link
US (2) US9946341B2 (zh)
CN (1) CN103530623B (zh)
WO (1) WO2015035745A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9491365B2 (en) * 2013-11-18 2016-11-08 Intel Corporation Viewfinder wearable, at least in part, by human operator
JP2016163150A (ja) * 2015-02-27 2016-09-05 株式会社リコー 通信端末、面談システム、通信方法及びプログラム
CN105635561A (zh) * 2015-07-31 2016-06-01 宇龙计算机通信科技(深圳)有限公司 一种图像获取系统及方法
CN105528577B (zh) * 2015-12-04 2019-02-12 深圳大学 基于智能眼镜的识别方法
CN105824419B (zh) * 2016-03-18 2018-12-11 苏州佳世达电通有限公司 穿戴装置交互系统及穿戴装置交互方法
CN106959749B (zh) * 2017-02-20 2019-11-29 浙江工业大学 一种基于眼动跟踪数据的视觉注意行为协同式可视化方法和系统
CN106951171B (zh) * 2017-03-14 2021-10-12 北京小米移动软件有限公司 虚拟现实头盔的控制方法和装置
CN110531853B (zh) * 2019-08-23 2021-01-19 西安交通大学 一种基于人眼注视点检测的电子书阅读器控制方法及系统
TWI761930B (zh) * 2019-11-07 2022-04-21 宏達國際電子股份有限公司 頭戴式顯示裝置以及距離量測器
CN111352507A (zh) * 2020-02-27 2020-06-30 维沃移动通信有限公司 信息提示方法及电子设备
CN115113784B (zh) * 2021-03-08 2025-02-21 北京七鑫易维信息技术有限公司 一种显示方法、装置、设备及存储介质
CN113190318B (zh) * 2021-04-30 2024-04-02 平安证券股份有限公司 信息确认方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
CN101548546A (zh) * 2006-12-05 2009-09-30 富士胶片株式会社 输出设备、输出方法和程序
CN103020983A (zh) * 2012-09-12 2013-04-03 深圳先进技术研究院 一种用于目标跟踪的人机交互装置及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7184602B2 (en) * 2003-05-02 2007-02-27 Microsoft Corp. System and method for low bandwidth video streaming for face-to-face teleconferencing
US7486988B2 (en) * 2004-12-03 2009-02-03 Searete Llc Method and system for adaptive vision modification
EP1961622B1 (en) * 2005-12-12 2018-06-13 Panasonic Intellectual Property Corporation of America Safety-travel assistance device
JP2010039646A (ja) * 2008-08-01 2010-02-18 Dainippon Printing Co Ltd 契約端末装置、契約管理システム、方法、プログラム、記録媒体
WO2010018459A2 (en) * 2008-08-15 2010-02-18 Imotions - Emotion Technology A/S System and method for identifying the existence and position of text in visual media content and for determining a subject's interactions with the text
CN101893934A (zh) * 2010-06-25 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种智能调整屏幕显示的方法和装置
CN102708358A (zh) 2012-04-18 2012-10-03 北京十分科技有限公司 一种阅读轨迹识别的方法
CN102945128A (zh) * 2012-10-30 2013-02-27 广州市动景计算机科技有限公司 一种页面显示方法和页面显示装置
CN103190883B (zh) * 2012-12-20 2015-06-24 苏州触达信息技术有限公司 一种头戴式显示装置和图像调节方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101548546A (zh) * 2006-12-05 2009-09-30 富士胶片株式会社 输出设备、输出方法和程序
CN101311882A (zh) * 2007-05-23 2008-11-26 华为技术有限公司 视线跟踪人机交互方法及装置
CN103020983A (zh) * 2012-09-12 2013-04-03 深圳先进技术研究院 一种用于目标跟踪的人机交互装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"视线跟踪技术与视线输入的人机系统研究";黄乔;《中国优秀硕士学位论文全文数据库（信息科技辑）》;20080915(第09期);第2.2.2节 *

Also Published As

Publication number Publication date
US20160070345A1 (en) 2016-03-10
US10684680B2 (en) 2020-06-16
WO2015035745A1 (zh) 2015-03-19
US9946341B2 (en) 2018-04-17
US20170220108A1 (en) 2017-08-03
CN103530623A (zh) 2014-01-22

Similar Documents

Publication Publication Date Title
CN103530623B (zh) 信息观察方法及信息观察装置
CN103431840B (zh) 眼睛光学参数检测系统及方法
CN103500331B (zh) 提醒方法及装置
CN103439801B (zh) 视力保护成像装置及方法
US10194793B2 (en) Imaging for local scaling
US10002293B2 (en) Image collection with increased accuracy
CN103558909B (zh) 交互投射显示方法及交互投射显示系统
CN103605208B (zh) 内容投射系统及方法
CN103475893B (zh) 三维显示中对象的拾取装置及三维显示中对象的拾取方法
US9961257B2 (en) Imaging to facilitate object gaze
CN103630116B (zh) 图像采集定位方法及图像采集定位装置
KR101300671B1 (ko) 안경 렌즈 제작을 위해 필요한 파라미터 측정 방법 및 이를 구현하기 위한 측정 장치
CN107193383A (zh) 一种基于人脸朝向约束的二级视线追踪方法
CN103424891A (zh) 成像装置及方法
CN109964230B (zh) 用于眼睛度量采集的方法和设备
CN105579884A (zh) 用于确定人的两个眼睛的瞳孔中间点的方法和眼镜
US12114931B2 (en) Method and device for remote optical monitoring of intraocular pressure
KR102444768B1 (ko) 안경 렌즈의 국부적 굴절력 및/또는 굴절력 분포를 측정하기 위한 방법 및 장치
CN103605199B (zh) 成像装置及方法
CN103604412A (zh) 定位方法及定位装置
JP6220627B2 (ja) 計測方法、眼鏡レンズ選択方法、眼鏡レンズ設計方法、眼鏡レンズ製造方法および計測装置
CN107832699A (zh) 基于阵列镜头的兴趣点关注度测试方法及装置
Pansing et al. Optimization of illumination schemes in a head-mounted display integrated with eye tracking capabilities
CN103761652A (zh) 防伪方法及防伪装置
JPH0928727A (ja) 視力補正装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant