CN108139582A - 用于数据采集和评估环境数据的方法和装置 - Google Patents

Abstract

本发明涉及用于借助于场景图像拍摄装置(16)对用户的环境(12)的环境数据进行数据采集且用于借助于评估装置(22)评估所采集的环境数据的装置和方法。在此，关于借助于所述场景图像拍摄装置(16)采集所述环境数据和/或将所述环境数据由所述场景图像拍摄装置(16)传输到评估装置(22)和/或通过所述评估装置(22)评估所述环境数据做出空间选择(36a，36b，36c)和/或时间选择。此外，取决于至少一个所采集的、随着时间可变的第一参数(30，32)做出所述选择(36a，36h，36c)，以便从选择的重要性方面挑选选择，并且因此使得通过限于不太重要的数据的减少措施使得减少数据量成为可能。

Description

用于数据采集和评估环境数据的方法和装置

说明书：

本发明以用于借助于场景图像拍摄装置对用户的环境的环境数据进行数据采集且用于借助于评估装置评估所采集的环境数据的方法为出发点。此外本发明以相应的具有用于对用户的环境的环境数据进行数据采集的场景图像拍摄装置且具有用于评估所采集的环境数据的评估装置的装置为出发点。

从现有技术中已知大量的应用方法，在其中借助于场景摄像机对例如以图像形式的环境数据进行数据采集以及评估环境数据扮演着重要的角色。例如增强现实系统如例如增强现实眼镜可具有布置在前侧的场景摄像机或者说环境摄像机，该场景摄像机或者说环境摄像机拍摄用户的环境的图像。此外可通过这样的眼镜使以计算机生成的物体渐显到由用户感知的现实中，该物体尤其可与真实环境的物体结合。例如可通过眼镜给环境中的物体叠加附加信息。为了使这成为可能，对由场景摄像机拍摄的图像进行评估且针对存在的或者说规定的物体进行彻底搜寻。如果在图像拍摄中找到这样的物体，可通过眼镜渐显对应的信息。与移动式眼动追踪系统相联合会得到很多的其他应用可行性。例如如果这样的眼镜还具有眼动追踪器，可将眼动追踪数据与拍摄的场景图像数据进行比较，以便例如确定用户在环境中正看向何处，尤其是还看向环境中的哪个物体。附加地在此还可使用这样的记录方法，即该记录方法使得针对例如另一视角拍摄的参考图像复制图像拍摄成为可能。这样的记录方法可用于通过如下方式以简单的方式随着时间以及还有关多个用户积累例如视向数据，即通过将这些视向数据传输到共同的参考图像上。对于记录方法而言可例如在参考图像中限定特定的物体、显著的区域或显著的点，例如图案、边缘或边缘的交叉点，在评估场景图像时在该场景图像中对其进行找寻和识别。通过在场景图像中识别的点或区域和参考图像的点或区域之间的一致性可推导出转变，该转变将场景图像复制到参考图像上。该转变可例如以相同的方式用于将在场景图像中的用户的视点转变到参考图像上。

对于所有这些其中会拍摄并评估场景图像或场景视频的方法而言均存在问题，即产生的数据量可能非常大。因此不仅数据传送而且数据评估都相应地费时，并且对计算能力的要求也很高。由此实时系统仅仅受限地可实现或完全不可实现，至少当在或者图像拍摄本身方面或者也在评估时的高品质是所期望的或必要的，以便例如当在图像中辨别物体时使高的可靠性成为可能时。此外还已知用于减少数据的方法，例如压缩方法。但是这些方法又有大的缺点：通过这种数据减少，对于评估可能尤其非常重要的信息也会丢失，并且因此这样的系统或装置的品质又会极度降低。

因此本发明的任务是，提供用于数据采集和环境数据评估的方法和装置，该方法和装置使得降低数据量成为可能并且在此同时可将重要数据的损失保持在尽可能小。

该任务通过具有根据独立权利要求的特征的方法和装置解决。本发明的有利的构造方案在从属权利要求中。根据本发明的用于借助于场景图像拍摄装置，例如场景摄像机对用户的环境的环境数据进行数据采集且用于借助于评估装置评估所采集的环境数据的方法通过以下方式而出众，即做出空间选择和/或时间选择，该空间选择和/或时间选择涉及借助于场景图像拍摄装置采集环境数据和/或将环境数据从场景图像拍摄装置传输到评估装置和/或通过评估装置评估环境数据。在此，该选择取决于至少一个所采集的且随着时间可变的第一参数做出，并且尤其受控或还受到调节。

通过做出选择有利地可行的是，数据例如在其重要性方面以通过所采集的第一参数指定的方式进行分类。在此还可做出多个时间选择和/或空间选择，例如针对带有最高重要性的环境数据的第一选择、针对带有中等重要性的环境数据的第二选择、针对带有低重要性的环境数据的第三选择等等。那么各种减少措施可有利地限于不重要的或不太重要的数据，从而可整体上减少数据量并且在此不必放弃重要的信息。

此外，这样的选择可在此有利地在从采集直到评估的整个数据路径上做出，从而提供用于数据减少的大量可行性。例如关于环境数据的采集做出的选择可指定，从场景图像拍摄装置的图像传感器中读出借助于场景图像拍摄装置拍摄的图像数据中的哪一些以及不读出哪一些，或每隔多久并且以何种比率读数。关于环境数据的传输做出的选择可例如指定，传输所采集的数据中的哪一些，不传输哪一些，或以如何的品质例如以压缩的方式或以不压缩的方式传输。关于评估做出的选择可例如确认，评估数据中的哪一些，不评估哪一些，或首先评估哪一些。时间选择可相应地指定，何时例如采集、读出、传输或评估数据，何时不采集、读出、传输或评估或以何种比率采集、读出、传输或评估。由此总体上提供大量可行性，一方面用于做出选择且另一方面可如何处理选出的和未选出的数据，由此在带宽效率和数据重要性方面提供许多优化可行性。本发明由此使得明显降低基础带宽成为可能，其中可又以较快的帧速、较快的加工、较少的等待时间、较少的能量或处理器功率需求、较简单的接口和成本更低的部件转换在带宽方面的收益。

在此场景图像拍摄装置可通常构造为一个或多个摄像机，例如构造为传统的2D传感器、所谓的基于事件的传感器和/或3D摄像机(例如TOF、深度图、立体摄像机等等)。

在本发明的一种有利的构造方案中，以可预定的第一方式处理根据选择选出的环境数据，尤其利用场景图像拍摄装置采集和/或从场景图像拍摄装置中读出和/或传输到评估装置处和/或由评估装置评估，并且不处理未根据选择选出的环境数据或以至少一种不同于第一方式的可预定的第二方式处理，尤其继而采集和/或读出和/或传输和/或评估。由此可有利地将不同的减少措施应用于选出的以及未选出的环境数据。例如选出的环境数据可以最高品质采集、传输和评估，而未选出的环境数据例如完全不使用，由此数据量总体上可以尤其有效的方式减少，或至少以较低的品质采集、传送或以较低的优先权评估，但是这有利地允许在数据减少的同时应用这些数据。

在本发明的一种尤其有利的构造方案中，未根据选择选出的环境数据减少，尤其其中根据选择选出的环境数据不减少。这样的减少可对于空间选择而言例如通过以下方式进行，即未选出的图像区域完全不拍摄，不传送到评估装置处或不由评估装置评估，或未选出的图像区域压缩，结构方面例如在其颜色深度方面削弱等等。空间选择可例如在存在场景图像拍摄装置的多个摄像机时还通过选择这些摄像机中的一个来进行以用于环境数据的数据采集。备选地从单个或多个摄像机中仅仅拍摄、读出、传输或加工选出的信息层面。这可例如涉及减少边缘、深度信息、灰度值、某些频率范围。在此，空间选择尤其不依赖于其是否涉及采集、传送还是评估导致，为了进行评估提供相对于原始拍摄的图像在其数据量方面减少的图像。对于时间选择而言可例如通过以下方式实现减少，即图像数据或者完全不采集或者以低的图像频率拍摄、传输和/或评估。通过所有这些措施可有利地总体上减少数据量，其中通过以下方式，即减少优选地只受限于未选出的环境数据，就重要数据而言的信息丢失可保持尽可能小。

在此尤其有利的是，为了未根据选择选出的环境数据的减少尤其结构减少，压缩未根据选择选出的环境数据。备选地或附加地，可过滤未根据选择选出的环境数据。数据压缩可例如通过分箱或颜色压缩实现，而在过滤时例如可使用颜色过滤器，以便例如降低颜色深度。以这种方式可减少未选出的数据量，而其未完全丢失。对于然而选出的数据不包含期望的信息的情况，因此可仍然动用未选出的数据。备选地或附加地，为了减少未选出的数据还可设置成，相对于关于对根据选择选出的环境数据进行的采集和/或读出和/或传输和/或评估的比率减小关于对未根据选择选出的环境数据进行的采集和/或读出和/或传输和/或评估的比率。只要例如在图像拍摄时没有重要的信息可预期，这可例如通过至少一个第一参数(取决于该至少一个第一参数做出选择)指定，可例如将图像拍摄比率保持较低并且因此将待采集的、待传输的以及最后待评估的数据量也保持较低-类似处于针对数据拍摄的睡眠模式中。以相同方式还可相应地减小传输率或评估率。备选地或附加地还可设置成，尤其在评估时未根据选择选出的环境数据关联有相对于根据选择选出的环境数据更小的时间优先权。由此可例如实现，首先评估并分析重要的图像区域，并且只有当在重要的图像区域中未找到找寻的信息例如待探测的物体时，才可然后在时间方面也评估未选出的数据。该变型方案在评估时节约了极其多的时间，因为可在这样的图像区域中开始分析，即对于该图像区域而言在该处找寻的信息或者说物体被找到的可能性是高的。在3D场景摄像机作为场景图像拍摄装置的情况下还可设想，作为减少措施仅使用所谓的深度图的一部分。该部分继而可取决于用户的眼睛参数以及取决于一个或多个图像特性确定或者说选出，例如基于所测定的视向及其与物体的交点，或基于眼睛的聚散度、视力调节状态等等。

以何种方式减少未根据选择选出的环境数据例如应用上文提及的减少措施中的哪一种可或者事先规定或者取决于一个或多个另外的参数确定。例如这可取决于图像特性实现。在预分析拍摄的图像的过程中可例如测定，在图像中在视点的区域周围究竟是否存在物体或其他的物体。如果用户例如观看在白色壁上的某个点，则可基于预分析确定，未根据选择选出的数据例如完全不应继续处理，而不仅仅压缩传输或评估。环境数据减少的方式还可取决于在传送和/或评估时在最大数据量或数据比率方面的预设实现，从而相应地选出满足该预设的压缩方式。减少的方式还可取决于应用或通常取决于数据分析和加工的目的。在此如果例如颜色信息扮演次要的角色且相反地重要的是良好的对比度或高的分辨率，则可例如选出颜色过滤器作为减少措施，而不使用总体上降低分辨率的压缩方法。在此，所描述的用于减少措施的选出参数尤其在应用于在结构方面和/或在时间方面的减少措施上时是有利的。

根据本发明的另一有利的构造方案根据选择选出的环境数据可通过与场景图像拍摄装置不同的数据源的附加的数据而累加。这样的累加可例如表示事先定义的尤其在颜色方面或还在对比度方面的强调、通过用户例如通过语音输入进行的注解、生物统计的或其他用户数据的注解，和/或有关恰好由用户执行的操作、任务或应用的性能数据的注解或组合。在评估选出的环境数据时，可有利地利用另外的附加的数据评估选出的环境数据，并且例如恰好就附加的信息进行评估。数据源可例如表示另外的采集装置，例如语音采集装置、姿势采集装置、心率监测器、EEG或还可为存储器，在该存储器中储存附加的数据。

为了现在可合适地规定，例如拍摄的图像的哪些图像区域或图像拍摄何时包含重要的信息，对于该至少一个所采集的且随着时间可变的第一参数同样考虑多个有利的可行性，这些可行性在下文进一步解释。

尤其有利的是，该至少一个采集的第一参数表示用户的至少一只眼睛的眼睛参数。例如眼动追踪器可用于采集眼睛参数。在此，尤其眼睛参数可表示视向和/或视点和/或视觉模式，尤其眼睛运动和/或视序运动和/或视点时间序列，和/或眼睛睁开状态和/或关于视点与用户的距离的信息，例如用户的两只眼睛的会聚角。在此本发明基于这样的认识，即尤其物体或显著的点例如物体的拐角或边缘会引起眼睛的注意力，尤其相比于例如在颜色方面均匀的且未结构化的面。如果用户例如在其环境中环顾四周，则用户的眼睛十分自动地观看突出的点和区域，如拐角、边缘或通常物体。这可以尤其有利的方式用于在用户的环境中进行物体探测，因为可假设，在用户恰好观看的环境所在的地方有非常大的可能性存在重要的物体、点或区域。采集的视向可例如与借助于场景图像拍摄装置所采集的环境数据进行比较，以便测定用户在对应的场景图像中的视点。

接着可例如在场景图像中在空间方面围绕测定的视点选出区域，并且因此将该区域作为重要的图像区域以可预定的第一方式进行处理，而在该区域之外的图像区域可分级为不重要或不太重要，并且因此可不处理或可以可预定的第二方式进行处理以为了减少数据量。例如可从两只眼睛的会聚角或至少一只眼睛的视力调节状态中测定的有关视点与用户的距离的信息也可有利地被用于做出空间选择，尤其也用于做出三维数据选择。例如在3D场景摄像机作为场景图像拍摄装置的情况下可仅仅使用所谓的深度图的一部分，尤其还仅仅针对选出的三维区域。

用户在场景图像中的视点，尤其作为2D视点或还作为3D视点，可在此尤其通过以下方式测定，即通过场景图像拍摄装置和用于测定视向和/或视点的眼动追踪器同步工作。例如眼动追踪器可在相同时刻进行用户的眼睛的图像拍摄且由此测定视向，在该相同时刻场景图像拍摄装置进行环境的对应的图像拍摄以便采集环境数据。在此场景图像拍摄装置优选地还如此布置和/或构造，即使得场景图像拍摄装置的视野大部分与用户的视野或用户的至少一个可能的视野重叠，且尤其完全包围用户的视野或用户的至少一个可能的视野。在此例如尤其有利的是，场景图像拍摄装置在此是可戴在头部的、此外还包括眼动追踪器的装置的一部分。因此在用户的头部运动时有利地场景图像拍摄装置也一起运动，从而场景图像拍摄装置也一直有利地对准用户的视野的方向。但是还可设想这样的构造方案，即在该构造方案中场景图像拍摄装置不是布置在用户的头部或用户的其余身体部分处，而是例如位置固定地布置。场景图像拍摄装置可例如包括一个或多个摄像机，该一个或多个摄像机优选地覆盖空间的尽可能大的空间角区域。在该情况下例如还可通过场景图像拍摄装置依照场景摄像机坐标系测定用户或其头部的位置，并且可将相应测定的视向换算成场景摄像机系统。这在场景摄像机系统远离用户安置且用于数据传输的带宽小或不可靠时尤其有利。在这种情况下，本发明允许使用针对对于用户而言重要的信息的供使用的带宽。

但是与在某一时刻进行的场景图像拍摄装置的图像拍摄对应的视向不必一定基于在相同时刻由用户的眼睛接收的图像数据测定。视向和/或由此得出的视点还可例如基于眼睛的一个或多个在时间方面先前拍摄的图像拍摄预测，例如借助于卡尔曼滤波器或其他方法。在此作为视点预估的基础的思想在于，眼睛运动或者说观看运动可划分为扫视和注视，尤其运动的和不运动的注视。在此扫视表示在两个注视之间的切换。在这样的扫视期间眼睛不接收信息，而是仅仅在注视期间眼睛接收信息。此外这样的扫视跟随弹道式眼睛运动，从而例如通过采集这样的扫视的初始值，如例如初始速度、初始加速度及其方向，可确定并且因此预估最终成为注视的这样的扫视的终点的时刻和位置。这样的视点预估可有利地还在当前的情况下使用，以用于例如在这样的时刻预估视向或者说视点，即在该时刻场景图像拍摄装置拍摄对应的环境图像。尤其可对于扫视而言测定终点，且该终点可在扫视结束时用于接下来的时间选择和/或空间选择。由此可有利地附加地缩短等待时间。那么可通过在预测窗中将待选出的区域或第二空间区域移动到可行的一个或多个视点处进行空间选择。

但是为了选择重要和不重要的数据有利地可不仅使用视点或视向，而且例如可使用视觉模式或者说眼睛运动或视点时间序列或独特的眼睛运动序列，如刚刚描述的扫视和注视。在此，这样的视觉模式可优选地尤其有利地用于时间选择，因为如描述的那样用户在扫视期间不接收环境信息。由此，在由场景图像拍摄装置在扫视期间拍摄的图像中的视点也不太适用于给出有关在图像中存在重要的物体、点或区域的说明。但是相反地，在场景图像中与注视待相关联的视点非常适用于给出关于存在重要的图像区域、物体或点的指示。由于基于针对扫视和注视的独特的眼睛运动这两个状态可区分开且由此采集，因而这些状态尤其适用于就重要的环境数据而言做出时间选择。例如可设置成，只有当辨识到注视时，才进行环境的图像拍摄。图像拍摄比率还可在未运动的注视期间相对于运动的注视降低，例如还在所采集的或预测的注视阶段期间限于一个或少量比率，因为在未运动的注视期间，用户的视点就其环境而言也未改变。还是可辨识视序运动且由此指出具有特别意义的运动的物体。也可从瞳孔反应中推断出某些图像内容的意义且由此支持针对拍摄、传输或分析的选择。针对图像拍摄所描述的选择和减少措施还可以相同的方式附加地或备选地用于图像数据的读出、传送及其评估。

同样适用于眼睛睁开状态，眼睛睁开状态同样尤其适用于针对环境数据的采集、读出、传送和/或评估做出时间选择。由于眼睛例如在瞬目反射时不可提供关于重要的图像区域的信息，因而可设置成，只有当眼睛睁开时，才借助于场景图像拍摄装置进行环境的图像拍摄，或才传送或评估数据，而当探测到瞬目反射时，可放弃图像拍摄、其传送或评估或其以较低的时间比率执行，或以压缩的方式传送，或以通过其他减少措施减少的方式处理。

采集的眼睛参数因此提供大量有利的关于下面两个方面的信息，即在用户的环境中或者说在对应的由场景图像拍摄装置拍摄的图像中在何处且在何时存在重要的信息。这有利地使得如此做出或者说还控制空间选择和/或时间选择成为可能，即一方面数据量可尤其有效地减少且另一方面重要的数据的丢失可减少到最小。

备选地或附加地还可设置成，所采集的至少一个参数表示在借助于场景图像拍摄装置采集环境数据时拍摄的图像的图像特性和/或就至少一个时间上先前拍摄的图像而言图像特性的改变。在此例如尤其有利的是，作为图像特性考虑拍摄的图像的图像内容或者说就时间上先前拍摄的图像而言拍摄的图像的图像内容的改变作为至少一个第一参数，因为当图像内容未或仅稍微相对于先前拍摄的图像改变时，例如可动用先前已经测定的结果，而不必评估新拍摄的图像。例如还可设置成，只要图像内容未显著地改变，就以较低的比率或者说频率拍摄、传送或评估图像，由此可继而极大节约数据。图像内容比较可例如在预加工过程中执行，尤其在图像数据传送到评估装置处且由评估装置评估之前执行。与详细的图像分析相比，这样的图像内容比较可以具有明显更小的耗时和计算强度的方式执行。在此，这样的图像内容比较可针对所有分别拍摄的场景图像或也仅仅针对这些场景图像的部分区域，例如继而针对先前在空间方面选出的围绕测定的用户的视点的区域。然后根据这样的比较的结果可例如决定，拍摄的图像数据究竟是否传送到评估装置处或由评估装置评估。可作为至少一个第一参数使用的其他有利的图像特性，例如也为在拍摄的场景图像中的空间频率、对比度或对比度变化、物体、区域或显著的点在图像中的存在、在图像中存在的物体、区域、点的数量或还有在图像中存在的物体、区域、点、结构等等的布置。这样的图像参数或者说图像特性可有利地用于尤其做出或者说控制空间选择，这稍后进一步解释。

在本发明的另一有利的构造方案中，该至少一个第一参数表示用户输入或采集的用户特性或还有来自另外的信号源或输入模态的任何其他外部的事件。这样的参数可备选地或附加地同样用于例如触发且尤其还控制或调节单个图像或图像序列的拍摄、传送或者说转移和/或分析或者说评估。为了采集用户输入，传统的控制元件如按键、鼠标等可有用，可使用姿势采集，等等。由此用户可例如主动地用信号告知，令人感兴趣的或者说重要的物体何时处于用户的视野中或何时观看到令人感兴趣的或者说重要的物体。用户特性可例如通过采集用户的运动、用户的姿势示意、通过EEG信号等等采集。这样的特性可同样给出关于令人感兴趣的物体是否恰好处于用户的视野中的情况。在此尤其有利的是，对于重要数据的时间选择设置这样的参数。

在本发明的另一有利的构造方案中，空间选择规定，环境的哪些区域作为环境数据尤其以可预定的第一方式借助于场景图像拍摄装置采集和/或从场景图像拍摄装置中读出和/或传送到评估装置处和/或由评估装置评估。由此在从采集直至评估的整个数据路径上可有利地在空间方面选出数据，并且由此使重要的数据特性化。

根据本发明的另一有利的构造方案，空间选择如此取决于所采集的用户的视点做出，即该区域包围视点。如已经描述的那样视点尤其适合于，可在重要的和不重要的或不太重要的数据之间进行挑选。由此视点尤其适用于作为采集的参数，取决于该采集的参数做出并且如有可能还在时间方面控制空间选择。

就此而言此外可设置成，区域的大小固定地预设，也就是说不可变或者说恒定。例如可确定用户在场景图像拍摄装置的对应的图像中的视点，并且然后选出围绕视点的根据其大小确认的区域作为重要的数据。该区域可例如通过围绕视点的固定预设的半径预设，或还作为就整个拍摄的场景图像而言固定的图像部分预设。这表示用于选择和确认带有重要图像数据的区域的尤其简单的、计算强度不太大的且尤其节约时间的可行性。

备选地还可设置成，区域的大小取决于至少一个第二参数确认或者说控制。由此提供在重要的图像数据方面尤其灵活的选择可行性。这使得例如适应性匹配成为可能，以便可更好地区分围绕视点的重要和不重要的数据。在此，首先再次在借助于场景图像拍摄装置采集环境数据时拍摄的图像的图像特性和/或针对测定的用户的视点的精度和/或动态性的量度和/或至少一个设备参数，例如传输品质、等待时间或加工设备、包括场景图像拍摄装置和/或评估装置的装置的性能，和/或在借助于场景图像拍摄装置采集环境数据时拍摄的图像中在视点的预定的附近或还与用户的视点至少部分重叠的物体的大小适合作为第二参数。如果第二参数例如表示图像特性，则可例如基于图像内容的特性，例如围绕视点的空间频率、物体或重要的点的数量或唯一性、物体群、特征群、围绕视点的对比度或在视点之后、在视点之前或围绕视点的辨识的物体使用，以便确认或者控制待确认的区域的大小和边界走向。这使得例如如此确认区域成为可能，即使得用户恰好观看的整个物体总是可覆盖或例如连续的面，或以视点为出发点直到最接近的边缘的所有一切(放射状)等等总是可覆盖。因此还尤其有利的是，取决于物体(视点处于该物体上或该物体至少处于用户的视点的预定的附近)的大小确认或者控制区域的大小，尤其从而总是一起选出整个物体或物体组。这有利地提高了重要的待采集的信息还完全由选出的区域包括的可能性。还尤其有利的是，设置用于测定的用户的视点的精度的量度作为第二参数。如果眼动追踪品质例如是差的，则可能出现，所测定的视点与用户的实际的视点大幅偏差。尽管如此为了尽可能采集或者说选出所有重要的数据，尤其有利的是，在测定的视点的精度较低时与在测定的视点的精度较高的情况下相比扩大围绕视点的待选出的区域。测定的视点的精度可通过已知的方法计算或者说评价，例如根据由眼动追踪器拍摄的图像的观察品质、视点值的在时间方面的方差等等。有利地在控制区域的大小时也可考虑视点的动态性。如果视点在其时间进程中具有高的动态性，也就是说视点例如在短时间中在大的环境区域之内运动或者跳跃，则还可相应地更大地挑选待选出的区域的大小。在确认区域的大小时还可考虑不同的其他设备参数。例如在装置的性能总体较低或计算功率较低、传输带宽较小等的情况下待选出的区域在其大小方面可相应地挑选成较小，以便减少待传送的或待评估的数据量并且由此缩短等待时间或将等待时间保持在可预设的极限内。与此相反在装置的性能或效率较高的情况下区域也可相应地挑选成较大。这样的性能参数可例如不仅涉及传输而且涉及评估以及装置的各种其他部件。还可例如设置成，用户本身或其他人员可给系统预设第二参数以用于确认区域的大小。由此用户本身可确认其在时间效率或者说数据减少和结果的品质方面的优先权。挑选的区域越大，该区域包含所有重要信息的可能性越大，而挑选的区域越小，必须读出、传输和/或评估的数据越少。

在本发明的另一有利的构造方案中时间选择确认，何时尤其以可预定的第一方式借助于场景图像拍摄装置采集环境的区域作为环境数据，和/或从场景图像拍摄装置中读出和/或传送到评估装置处和/或由评估装置评估。由此可以与在空间选择时相同的方式有利地在整个数据路径方面进行数据的选择。由此提供大量用于数据减少的可行性，例如已经在数据采集时进行数据减少，或在传送时才进行数据减少以及最终还在评估所采集的数据时才进行数据减少。

在此此外尤其有利的是，时间选择如此取决于至少一个第一参数做出，即只有当该至少一个第一参数满足预定的标准时才或以可预定的第一方式(例如以提高的时间比率、未压缩地、未过滤地等等)利用场景图像拍摄装置拍摄图像和/或图像细节和/或读出拍摄的图像数据和/或将其传送到评估装置处和/或由评估装置评估。因此在数据挑选时存在如下可行性：或者完全不进一步处理尤其完全不采集未选出的数据，或者以减少的方式如例如通过压缩或过滤或不太频繁地读出、传送和/或加工未选出的数据。因此通过所采集的该至少一个第一参数可有利地进行选择的在时间方面的控制，从而继而可通过以下方式减少数据量，即通过完全不处理或由于减少至少以较低的品质处理分级为不太重要的数据，而在此不影响重要数据的品质。

在此本发明的一种尤其有利的构造方案此外设置成，预定的标准在于，采集到，作为至少一个第一参数采集和/或预测的眼睛的视觉模式和/或眼睛运动和/或视序和/或注视具有预定的特性。如已经描述的那样，可由于存在眼睛的注视推断出存在重要的环境数据，缓慢且连续的眼睛运动也例如允许推断出，眼睛跟随运动的物体，该运动的物体可分类为重要的环境数据，等等。备选地或附加地预定的标准可在于，基于作为至少一个第一参数的眼睛的睁开状态采集和/或预测，用户的至少一只眼睛是睁开的。恰好对于这样的方法而言，即在该方法中用户就物体而言在其环境中的视点应被分析和评估，尤其有利的可行性是，通过以下方式减少数据量，即通过完全不考虑在图像拍摄期间用户例如由于瞬目反射已经闭上其眼睛的图像拍摄，因为该图像拍摄不包含重要信息。备选地或附加地预定的标准还可在于，基于作为至少一个第一参数的图像特性采集到，图像内容的至少一部分相对于时间上先前拍摄的至少一个图像的图像内容的至少一部分的改变超过可预定的程度。如果图像内容未改变或未显著地改变，则新拍摄的图像同样未包含附加的、新的或重要的信息，从而还由此可有利地减少数据量。备选地或附加地预定的标准还可在于，探测用户输入，作为至少一个第一参数。由此用户本身可通知系统，何时在其视野中存在尤其重要的信息。备选地或附加地还可设置成，用户例如通过以下方式被动地给出有关在其视野中存在重要的信息的说明，即基于作为至少一个第一参数的用户特性如例如EEG信号辨识和/或预测预定的用户状态。还可分析用户行为例如姿势等，以便给出有关在用户的环境中存在重要信息的说明。所提及的这些标准可或者单独地或者还以组合设置，这提供了大量可行性，可使在其中存在重要的信息尤其重要的环境数据的情形和在其中不存在这样的重要的环境数据的情形特性化。

在本发明的另一有利的构造方案中，在采集环境数据之后且在评估环境数据之前执行环境数据的预加工，在预加工时做出选择和/或在预加工时确定可预定的第一方式，该第一方式与根据选择选出的环境数据相关联，和/或在预加工时确定第二方式，该第二方式与未根据选择选出的环境数据相关联。当空间选择和/或时间选择应取决于作为图像所采集的环境数据的图像特性做出时，这样的预加工是尤其特别有利的。在此此外还可设置成，第一选择已经在环境数据的预加工之前执行，从而仅仅选出的环境数据实际上经受预加工。例如可设置成，第一选择基于在对应的场景图像拍摄中所测定的用户的视点做出，并且在预加工中相应地在图像特性方面(例如连续的面或物体的存在、在视点的区域中的边缘)只检查图像的围绕测定的视点的区域，由此那么例如根据第二选择确认围绕视点的区域的最终大小，从而仅仅还传送或最终评估涉及该区域的数据。在这样的预加工过程中还可确定，实际拍摄的场景图像的图像内容是否已经以显著的方式相对于先前拍摄的图像内容改变。通过这样的预加工，可以尤其时间高效的方式进行重要图像信息和不太重要的图像信息的挑选，且相应地还可针对相关的选出的或未选出的数据确认进一步处理数据的方式。

此外本发明还涉及带有用于对用户的环境的环境数据进行数据采集的场景图像拍摄装置且带有用于评估所采集的环境数据的评估装置的装置。在此装置设计成，取决于至少一个所采集的、随着时间可变的第一参数关于借助于场景图像拍摄装置采集环境数据和/或将环境数据从场景图像拍摄装置传输到评估装置和/或通过评估装置评估环境数据做出空间选择和/或时间选择。

针对根据本发明的方法及其构造方案提及的优点以相同的方式适用于根据本发明的装置。此外结合根据本发明的方法及其构造方案提及的方法步骤使得通过其他代表性的特征改进根据本发明的装置成为可能。尤其装置设计成执行根据本发明的方法或其构造方案中的一个。

优选地装置此外具有眼动追踪装置，该眼动追踪装置设计成，采集至少一个第一参数。这是尤其有利的，因为眼睛参数如视向、视点等等尤其适合于将利用场景图像拍摄装置拍摄的图像数据挑选为更重要的或不太重要的数据。

此外有利的是，装置包括可戴在头部的装置例如增强现实眼镜，其中可戴在头部的装置具有场景图像拍摄装置和至少一个显示装置，和优选地眼动追踪装置。通过增强现实眼镜可渐显附加信息和物体且将附加信息和物体叠加到实际环境。为了使得相对于这样渐显的物体或信息的实际环境进行正确的定位成为可能，必要的是，在用户的环境中识别有关的物体，这可通过本发明以尤其时间高效且计算强度不太大的方式实现。评估装置可例如同样集成在可戴在头部的装置中，或还作为外部的评估装置例如作为计算器、计算机等提供，其中那么可戴在头部的装置设计成，根据选择选出的数据以可预定的第一方式例如缆线连结地或无线地传送到外部的评估装置处，且相应地未根据选择选出的数据以可预定的第二方式传送或完全不传送。因此通过相关的图像数据的选择可在接着的场景视频或视频图像的视频分析时也明显地降低耗时。总体上本发明可以有利的方式使用在大量应用领域中，例如在移动式眼动追踪中用于通过限定在用户的中央凹或扩宽的中央凹视点的区域中来降低场景视频的带宽，在增强现实应用中同样用于降低带宽。由此附加地可缩小场景的区域，覆盖物也就是说待渐显的信息或物体必须对准到该区域上。此外可视觉上标记物体，以便将利用场景摄像机进行的拍摄限制于此。本发明还提供在自动场景视频分析时的有利的且大量的使用可行性，对于自动场景视频分析而言例如仅仅传输在场景中在视点周围的区域，并且例如与参考物也就是说与参考视频或参考图像对准。因此在所有领域中可实现基础带宽的明显降低。因此有利地可总体上以某些可用的控制标准控制图像细节、图像细节内容和拍摄、传输以及加工频率，从而数据量相对于原始的视频明显减少，而分别关键的也就是说重要的信息不丢失。

本发明的其他优点、特征和细节从下面对优选实施例的描述以及借助于图纸得出。

在此：

图1显示了根据本发明的实施例的用于环境数据的数据采集且用于评估所采集的环境数据的装置的示意图；

图2显示了根据本发明的实施例的用于数据采集和评估的装置的示意性横截面图；

图3显示了根据本发明的实施例的用于阐明用于数据采集和评估的方法的以场景图像的形式的所采集的环境数据的示意图；

图4显示了根据本发明的实施例的用于阐明用于数据采集和评估的方法的流程图；

图5显示了根据本发明的实施例的用于阐明尤其通过环境数据的空间选择进行数据采集和评估的方法的流程图；以及

图6显示了根据本发明的实施例的用于阐明尤其通过时间选择进行数据采集和评估的方法的流程图。

图1显示了根据本发明的实施例的用于对用户的环境12的环境数据进行数据采集且用于评估环境数据的装置10的示意图。在此，装置10包括在此示范性地构造为眼镜14的可穿戴在头部的装置，该装置例如可构造为增强现实眼镜或数据眼镜，或还可构造为具有或也不具有眼镜镜片的传统眼镜。可穿戴在头部的装置也可以任意其他方式构造为例如头盔或类似装备。

眼镜14此外包括构造为场景摄像机16的场景图像拍摄装置，该场景图像拍摄装置布置在前侧且布置在眼镜14的中间。场景摄像机16具有视野18，该视野18在图1中应通过虚线阐明。环境12的在场景摄像机14的视野18之内的区域可复制在场景摄像机16的图像传感器上并且因此作为环境数据采集。视野18在此优选地如此构造，即使得该视野18至少部分地与穿戴眼镜14的用户的视野重合，优选地大部分地或还完全地叠合。此外眼镜14包括具有两个眼睛摄像机20a，20b的眼动追踪器，这两个眼睛摄像机20a，20b在该示例中布置在眼镜14的框架的内侧处，从而这两个眼睛摄像机20a，20b可分别拍摄戴眼镜14的用户的分别的眼睛的图像，以便评估图像拍摄例如用于测定视向、测定视点、辨别视觉模式、用于探测瞬目反射等等。此外眼镜14具有可选的预加工装置23，由该预加工装置23可执行尤其场景摄像机16的图像拍摄的稍后还进一步解释的预加工步骤。此外装置10具有评估装置22，该评估装置22在该示例中表示位于眼镜之外的装置。评估装置22此外可通过可通信的连接25例如数据线无线地或有线地与眼镜14联结。例如还可设置成，场景摄像机16首先拍摄场景视频并且将相应的数据首先储存到眼镜14的存储器(未示出)中，并且在稍后的时刻才建立在眼镜14和评估装置22之间的可通信的连接25，以便读出在存储器中储存的数据且将该数据传送到评估装置22处。但是备选地评估装置22也可集成到眼镜14中。此外眼镜14可具有可选的显示器21，借助于这些可选的显示器21例如视野的附加数字信息或物体可以叠加到环境12上的方式渐显。

这样的装置10现在可应用于大量应用。在用户戴上眼镜14且例如在环境12中运动期间，例如可借助于场景摄像机16拍摄场景视频。与此同时眼睛摄像机20a，20b可拍摄用户的眼睛，以便由此测定与场景视频的分别的图像拍摄对应的视向。所采集的数据现在可例如传送到评估装置22处，该评估装置22评估场景摄像机16和眼睛摄像机20a，20b的图像数据。由此例如可通过在分别的时刻标记用户的视点创建场景视频。此外可行的是，还将视点的随时间发生的变化阐明为视点在唯一的图像例如参考拍摄中的积累。这样的参考拍摄可例如同样为环境12的同样借助于场景摄像机16或还借助于另一图像拍摄装置实行的图像拍摄。为了现在可将拍摄的视点转移到参考拍摄上，场景摄像机16的图像拍摄必须与参考图像对准。这可例如通过以下方式实现，即在参考图像中标记显著的点或物体，在场景视频的分别的图像中找寻并识别这些显著的点或物体，以便由此例如推导出转变，该转变将分别的场景图像复制到参考图像上。那么以这种方式还可将用户的在分别的时刻下的视点复制到该参考图像上。通过积累这样的视点可例如做出有关在环境12中哪些对象引起了用户的注意且哪些不太引起注意的结论。这样的措施可例如用于消费者行为调查或其他研究。在此，这样的程序可不仅对于一个用户而且对于例如分别戴上这样的眼镜14或相继戴上眼镜14的多个用户执行。此外还可使用记录方法，以用于使得例如多个用户之间的相互作用成为可能，以及还使得例如在观察或体验销售商品/物品时进行实时分析成为可能。例如可测定对于第一用户在其环境方面的分别实际的视点并且，第一用户的视点通过例如然而从另一视角观察相同的环境的第二用户的眼镜14的显示器21在对应的部位处尤其还实时地渐显给第二用户，从而使第二用户可理解，在环境中第一用户正在看哪些物体。

对于这样的方法而言通常会产生非常大的数据量，从而不仅数据传送而且其评估都极其费时且需要大量计算。对于其他应用而言(在这些应用中例如在线数据评估是必要的，尤其为了可提供实时系统，且在这些应用中此外评估装置例如不应作为外部的评估装置而应作为集成到眼镜14中的评估装置22提供，由此通过评估装置22提供的计算能力就额外受到限制)，大的数据量此外意味着大的问题。这适用于例如这样的增强现实眼镜，即在该增强现实眼镜中附加的数字信息应通过眼镜14渐显到环境12中，且此外在环境12方面还在正确的位置渐显。与在场景图像与参考图像对准时类似，在此相应待渐显的叠加物与通过场景图像提供的环境拍摄对准。

通过本发明现在以有利的方式使得减少巨大的数据量成为可能，而在此主要的信息并未丢失，否则这会大大降低这样的方法的品质。这通过以下方式实现，即做出关于环境数据的选择。该选择可在借助于场景摄像机16进行数据采集时、在从场景摄像机16或者说其图像传感器中读出数据时、在数据传送到评估装置22处时以及在通过评估装置22进行评估时发生。为此装置10可具有至少一个控制装置，该控制装置例如可为预加工装置23、评估装置22、场景摄像机16和/或眼动追踪器的一部分，或也可构造为另一单独的控制装置，以用于控制数据采集、数据的读出、数据传送和数据评估以及选择的做出。尤其该一个或多个控制装置可具有处理器装置，该处理器装置设定成，执行根据本发明的方法的一个或多个实施方式。为此处理器装置可具有至少一个微处理器和/或至少一个微控制器。此外处理器装置可具有程序代码，该程序代码设定成，在通过处理器装置实施时执行根据本发明的方法的实施方式。程序代码可存储在处理器装置的数据存储器中。

通过关于环境数据的选择可有利地进行在重要的和不太重要的数据方面的数据选择。在此可有利地不仅在时间方面而且在空间方面做出选择。在下文示范性地借助于图2和图3进一步描述对于空间选择的示例。

在此取决于至少一个所采集的参数做出选择。该参数用于，对环境数据的重要性进行分类或者说评价。在此考虑大量的参数，借助于这些参数可进行这样的分类。在此首先用户在拍摄的场景图像方面的视向或者视点是尤其有利的。这通过以下方式决定，即眼睛自动地瞄准在其环境中的显著的区域、点或物体。由此在图像中的视点可有利地被使用，以便找寻在场景图像中的显著的点、物体或区域的最大可能的停留地点。

图2在此以横截面图显示了装置10的眼镜14的示意图以及显示了通过眼镜14进行观看的用户的眼睛24。在此场景摄像机16拍摄环境区域28的图像26(参见图3)，该环境区域28处于场景摄像机16的视野18中。此外眼动追踪器利用眼睛摄像机20a拍摄用户的眼睛24的一个或多个图像，基于该一个或多个图像测定在拍摄环境图像26的时刻眼睛24的视向30。基于所测定的视向30和对应拍摄的场景图像26可计算在拍摄的场景图像26中的视点32。

图3显示了这样的拍摄的场景图像26的示意图，具有就场景图像26而言计算的视点32。此外利用34a和34b标明在场景图像26中的物体。在此现在可选出在视点32周围的区域作为重要的图像数据，因为，在视点32附近找到物体、显著的点或区域的可能性最高。现在对于区域的选择同样存在多种可行性。在一种尤其简单的构造方案中区域的大小可通过固定的参数，如例如图片份额或围绕视点32的半径固定地预设，如这在图3中的示例中对于区域36a所阐明的那样。例如当该区域可例如借助于反馈回路进行适应性匹配时，可获得更好的结果。对于这种适应性匹配可例如考虑图像内容的特性，例如围绕视点32的空间频率、特征或特征群的数量或唯一性、物体、令人感兴趣的区域、围绕视点32的对比度。在所测定的视点32的区域中对图像特性的检查可例如在预加工过程中通过预加工装置23执行。由此可辨别出连续的面或物体，如在该示例中物体34a，并且然后可如此选择待选出的区域36b，即恰好被察看的整个物体34a或连续的面或以视点32出发点直到最接近的边缘的一切总是通过选出的区域36b包围。

这样的选择现在以特别有利的方式使得数据减少成为可能。例如可设置成，仅仅选出的区域36a，36b由场景摄像机16拍摄、从场景摄像机16中读出、传送到评估装置22处或由评估装置22评估。备选地还可设置成，场景图像26的不同于选出的区域36a，36b的图像区域以减少的方式继续处理，这些图像区域例如以较低的分辨率采集并且以通过压缩算法压缩的方式传送或评估。

此外可不是提供仅仅一个选出的区域，而是例如还提供两个或更多个选出的区域，如应在图3中借助于选出的第一区域36a和选出的另一区域36c阐明的那样。由此例如可使得自所采集的视点32逐渐地或还连续地减少数据成为可能。因此例如可以未减少的方式处理在视点32的附近不远处的图像数据，以便实现最高品质，而以减少的方式处理例如压缩或以更小的优先权处理在第一区域36a之外且在第二区域36c之内的数据，而在区域36c和区域36a之外的其余数据完全不处理或相对于在区域36c中的数据以进一步减少的方式处理。由此例如可实现，就视点32而言布置在越外围的图像区域利用越高的压缩或其他减少措施处理，和在中央凹区域中的图像区域作为未压缩的场景视频提供(例如利用H264每个宏模块16x16)。由此可使图像数据与多个重要性级别关联，其中优选地图像区域离视点32越远，关联越小的重要性。由此还可按照人的视力设置压缩的不同等级和/或类型。

但是不是仅仅空间选择可用于取决于重要性进行数据减少，而是例如也做出数据的时间选择。这样的时间选择例如意味着，当多个图像26作为图像序列拍摄时，可取决于其拍摄时刻分级为重要或不太重要且可相应地在时间方面选出。这样的时间选择可例如为事件受控的。如果例如探测到用户的瞬目反射，或由于其他原因对于某个时刻或时间段不可确定视点32，则在该时间段期间所采集的图像数据可分级为不太重要，或在分级为不太重要的时间段期间还甚至不进行图像拍摄。还可设置成，只有当图像数据相对于先前拍摄的图像具有显著的内容改变时，才将该图像数据划分为重要的。此外还可有利地任意地组合时间选择和空间选择。例如可设置成，在空间方面选出的区域36a，36b之外的图像数据以比与选出的区域36a，36b相关联的图像数据更低的频率或者说比率读出、传送或加工。

图4显示了根据本发明的实施例的用于阐明用于环境数据采集和评估的尤其结合了空间选择和时间选择的方法的流程图。根据该示例借助于场景摄像机16以时间序列例如以视频的方式拍摄用户的环境12的图像26，其中分别的图像拍摄通过S16阐明。此外在S18中对于分别的图像拍摄基于由眼动追踪器采集的观看数据测定视向，且基所测定的视向以及在S20中基于对应的图像拍摄确定用户在相应的图像26中的视点。但是在该示例中为了减少数据在该流程之前已经前置有时间选择。为此首先在步骤S10中检查，例如用户的眼睛是否是睁开的和/或是否辨识出眼睛的注视或对于接下来在S16中的图像拍摄的时刻是否预测出眼睛的注视。这些信息可例如同样基于由眼动追踪器所测定的观看或眼睛数据采集。根据第一实施例可设置成，只有当眼睛睁开或者说辨识出或预测出注视时，才发生图像拍摄和对应的视向测定。如果不是这种情况，则重复检查眼睛是否睁开或是否辨识出或预测出注视，直到是这种情况。但是根据另一实施方式还可设置成，对于眼睛睁开或辨识出特定的眼睛运动如注视或还有扫视的情况，为了图像拍摄和视向测定在S12中确认第一比率，而当眼睛闭上或例如未辨识或预测出注视时，为了在S16中的图像拍摄和在S18中的视向测定在S14中确认第二比率，该第二比率比第一比率小。比率在此涉及针对在S16中的图像拍摄的图像拍摄比率和如有可能还涉及在S18中的对应的视向测定。换句话说只要眼睛闭上或眼睛未注视到某个点或区域，就不太频繁地或者说以降低的比率进行图像拍摄。相反地如果探测到眼睛是睁开的或发生注视，则变换成更高的拍摄比率。该更高的拍摄比率得以保持直到再次探测到，眼睛闭上，或对于例如还仅仅在可预定的时段内辨识出眼睛的注视的情况。在时间选择的框架内还可设置成，对于每次注视实现减少到一个或仅仅几个图像。注视还可例如基于离线的注视辨别进行探测，这例如可在后来进行的数据评估时用于环境数据的附加的或备选的选择。

可选地还能够在S20中当在图像26中测定视点32时进行另一时间选择。如果用户的视点32例如处于场景摄像机14的视野18之外且由此不处于拍摄的图像32中，则该图像拍摄可放弃且转入到下一图像拍摄。

作为另外的可选的选出标准或者说作为另外的选出参数还可备选地或附加地使用其他的生物统计特性或还可使用外部信号，这应在S0中阐明。在此生物统计信号基于所采集的用户的生物统计特性，如例如脉搏率、瞳孔缩小等检验是否满足标准。备选地或附加地还可在S0中检查，是否接收外部的装置的信号和/或这样的外部信号是否满足标准。那么例如可利用这样的信号，以便触发或者说启动方法并且然后才开始S10中的检查。这样的生物统计的和/或外部的信号还可附加地或备选地用于在S10中的检查，从而例如只有当在S0中接收信号或这样的信号满足标准时，才在S18中进行视向测定且在S16中进行图像拍摄。可选地还可使用这样的信号，以便决定何时根据S22执行下文还进一步描述的图像区域的大小确定以及何时不执行并且例如立刻转入S24。

如果现在在S16中拍摄图像26且在S18中测定对应的视向，以及还在S20中确定用户在图像26中对应的视点，则在S22中在空间选择的过程中测定围绕视点32的图像区域的大小。为了使得尽可能良好的情形匹配成为可能，在该示例中图像区域的大小确定动态地也就是说取决于一个或多个另外的参数进行。这样的参数可例如表示视点精度，该视点精度在S22a中测定。视点精度的评定可例如基于通过眼动追踪器拍摄的为了测定视向和视点的图像的图像特性或图像品质，通过静态评估多个观看数据例如其方差或还有众多的其他参数进行。由此有利地可实现，当视点精度相比于较大的视点精度更小时，选择更大的区域大小。由此可实现，动态地取决于视点精度或通常取决于测定的视点32的品质度控制区域大小，从而当视点测定的精度下降时，例如扩大围绕视点32的区域的细节半径。

附加地可在S22b中测定或预设其他参数，例如对于上文描述的视点精度的阈值，从而例如当视点精度低于阈值且要不然图像区域的大小总是呈现相同的预定值或在S22c中独立于视点精度进行区域大小的确认时，才进行图像区域的相应的大小匹配。在S22b中还可备选地或附加地测定其他参数，例如再次生物统计的和/或外部的信号，从而在S22c中还可取决于这样的信号进行区域大小的确认。

作为用于大小确定的其他参数还可例如使用拍摄的图像26的图像特性。例如包围视点32的区域应如此选择，即使得用户恰好观看的物体也完全包含在该区域中。这样的图像特性可在拍摄的图像26的预分析或者说预加工的框架中测定，对于预分析或者说预加工而言图像内容可通过分析围绕视点32的空间频率而分析，可考虑围绕视点32的对比度，可考虑围绕视点32的物体、边缘或类似物的存在。最后取决于在S22a，S22b和S22d中测定的参数在S22c中确认图像26的包围视点32的图像区域的区域大小。

紧接着空间选择，现在再次可选地可有下面描述的时间选择。根据时间选择现在可在S24中检查，或者整个图像26的图像内容或者仅仅在S22中选出的区域的图像内容是否已经相对于先前的图像拍摄显著地改变。如果不是这种情况，可根据第一实施方式放弃关于当前图像拍摄的所有图像数据且转入下一图像拍摄。这可如此一直重复，即直到在S24中确定图像内容的显著改变。然后才在S28中将数据，至少选出的图像区域的图像数据传送到评估装置22处。但是根据另一实施方式还可在此再次确认针对图像数据传送的第一和第二比率。如果例如在S24中确定有显著的改变，则可在S25中以第一比率进行选出的图像区域的图像数据的传送。相反地如果在S24中未确定显著的改变，则可在S26中以比第一比率小的第二比率进行至少选出的图像区域的图像数据的传送，因为在这种情况下图像数据可分级为不太重要。如果现在最后在S28中选出的图像区域的图像数据传送到评估装置23处，并且尤其由评估装置23评估，则可在步骤S30中检查，图像数据的评估是否成功。这可例如借助于预定的标准衡量，例如取决于，在选出的且评估的图像区域中是否探测到物体、在该图像区域中是否探测到预定的物体、在该图像区域中是否可再次辨识出预定的显著的点或区域，等等。如果是这种情况，则可至少对于当前的图像拍摄结束方法并且可选地以相同的方式对于其他图像拍摄执行所描述的方法。相反地如果在S30中评估不成功，例如当不可识别物体或显著的点时，则可继续分析未选出的图像区域。为此可首先在S32中压缩在S22中未选出的图像区域或者说与此相关联的图像数据，以便减少数据量，在S34中传送到评估装置22处且接着在S36中由评估装置22评估。

因此本发明提供了大量可行性，可根据数据的重要性不仅在空间方面而且在时间方面尤其以最不同的方式且按照大量可行的标准对其进行选择，以使得在不丢失重要的图像内容的情况下减少数据成为可能。在此所描述的选出步骤可以任意组合实现以及还可单独地实现，如应按照图5和图6按照简化的示例阐明。

图5在此显示了根据本发明的另一实施例的用于阐明用于环境数据的数据采集和评估的方法的流程图，根据该方法尤其只做出空间选择。根据该方法在S16中再次借助于场景摄像机16进行用户的环境12的图像拍摄，其中在S18中眼动追踪器测定或预测在图像拍摄时刻对应的视向。在S20中再次从测得的视向和图像拍摄中确定用户在拍摄的图像26中的视点32。接着在S23中确定围绕视点32的区域的区域大小。区域大小可例如通过固定的参数，如围绕视点32预定的半径预设。接着在S28中围绕视点32的选出的区域的图像数据传送到评估装置22处。相反地位于在S23中确认的区域之外的图像数据首先在S32中压缩且接着才在S34中传送到评估装置22处。然后在S38中评估装置22评估传送的数据，如有可能以预定的顺序进行评估，例如首先是选出的图像区域且接着才是未选出的图像区域。有利地通过该方法还可通过图像区域的空间选择以重要的和不太重要的数据挑选图像数据并通过压缩不太重要的数据总体上实现数据的减少，而不必放弃重要的信息。对于该方法而言可选地也可设置采集其他参数，如生物统计信号或外部信号，如在S00中阐明的那样，该其他参数例如触发在S16中的图像拍摄和/或在S20中的视点确定和/或取决于该其他参数进行在S23中的区域大小的确认。

图6显示了根据本发明的一种实施例的用于阐明用于环境数据的数据采集和评估的方法的另一流程图，对于该方法而言尤其做出关于数据采集的时间选择。在该时间选择的过程中再次在步骤S10中检查，用户的眼睛或用户的两只眼睛是否已睁开和/或是否辨识出眼睛的注视或至少对于接着的在S16中的图像拍摄的时刻是否预测出眼睛的注视。如果是这种情况，则在S12中确认用于在S16中的图像拍摄的第一比率。只要继续在S10中采集到眼睛睁开和/或辨识出注视，第一比率也就是说图像拍摄比率就会保持不变，也就是说尤其对于后续的图像拍摄。如果相反不是这种情况或不再是这种情况，则在S14中确认用于在S16中的图像拍摄的比第一比率小的第二比率，因为那么可以此为出发点，即相关的图像拍摄可包含不太重要的信息且由此同时可节省数据量。在S16中进行图像拍摄之后，在S21中在例如通过预加工装置23进行的图像数据的预加工的过程中测定一个或多个图像特性。该图像特性可例如涉及拍摄的图像26的图像内容，其中在接着的步骤S24中检查，该图像内容是否已经以显著的方式例如以预定的程度相对于先前的图像拍摄发生改变。如果是这种情况，在S33中将图像数据传送到评估装置22处。但是如果不是这种情况，则可以不太重要的图像数据为出发点，并且接着首先在S31中压缩不太重要的图像数据且接着才在S33中将其传送到评估装置22处，该评估装置22接着在S38中评估传送的图像数据。

利用眼动追踪器计算的视点32(2D或3D)在此还可就场景摄像机坐标系而言使用，以便在空间方面且如有可能附加地在时间方面确认重要的图像细节。那么图像细节也可单独地或与附加的参考细节，例如在场景图像26的外边缘处的框架、在场景图像26中的上面的、下面的或侧向的一些行一起从场景摄像机传感器中只读出、传输或继续加工。也就是说由此明确地包含：传输整个场景图像26但是仅仅分析一个作为AOI(感兴趣的区域)的区域。

此外在所有情况中可进行一部分或整个图像26的预加工，以便精确地确定数据减少的规模和方式。为此，读出或者整个图像26或者图像26的某个部分区域，然后完全或部分地预分析，以用于然后为了进一步的读出、传输/或最后的加工确定特性和如有可能进一步的数据减少或者说压缩。

由此可提供大量的可行性：通过根据其重要性的评价进行的空间选择和/或时间选择读出、传输或评估环境数据，由此数据量可总体明显减少，而同时重要的数据或信息丢失的可能性可保持较小。由此总体上提供一种装置和一种方法，用于以视线受控的方式拍摄视频，以便高效地传送、加工且优选地使重要的图像内容相互和与其他参考物如视频和图像对准，该装置和方法需利用下者：或者在挑选物体时单次地使用，或者在确定重要目标区域时连续地使用在图像中的视点和/或另外的外部参数和/或信息或图像内容或图像结构并且在此一方面或者使用连续的观看数据或者基于在线注视辨别仅仅使用注视数据，并且另一方面使用图像区域的分析。那么仅仅场景图像或场景视频的如此规定的重要的目标区域可由摄像机拍摄、读出或传输并且然后由系统尤其评估装置继续加工并且例如为了对准而使用。

最终通过时间选择和/或空间选择提供的环境数据可以有利的方式使用，以便进行与先前拍摄的参考图像或视频的高效地对准且基于该对准(还可对于多个用户和由此多个图像流、观察数据流如有可能附加的输入或触发数据并行地或相继地进行该对准)并且基于此进行视觉和量的积累和/或观察进程和如有可能所属的其他事件的比较。参考图像还可例如表示减少的或未改变的场景图像或由多个减少的场景图像或还有未改变的场景图像组合而成。此外图像数据还可被使用，以便实现更高效地将例如通过长时间的注视或通过注视和语音命令或键击等等引起的视觉上标记的或持续观察的物体或场景区域与在透明的头戴式显示器中的叠加物对准，该对准不必加工和/或彻底搜寻整个场景视频，例如如同在内容分析时如通过用于铭牌的OCR(光学字符识别)，以便例如仅仅翻译用户刚好看着的铭牌。其他应用可行性还有：基于眼睛是最好的“特征提取者”的想法，在参考图像中确定重要的物体或区域并且由此逐渐减少待分析的图像流的带宽。

此外由此得到大量其他应用可行性，在这些应用可行性中可以相同的方式节约大量数据。例如可给用户提供观察的物体的详细视图、放大视图或X射线视图，优选地在使用在拍摄的注视之间的角度和聚散深度的情况下使得高效地同时定位和构图(SLAM)和场景或者说在场景中的物体的拼合成为可能，以便创造尤其有关时间和或多个用户的空间的3D图。在此可为此还使用在传感器上选出的区域的相关的位置，或者说可设想，使在传感器上可能其他的选出的区域与当前选出的区域相关，以便使得更牢靠的辨别成为可能。此外提供通过背景信息例如距离、视线走向、注视行为等提升针对对准的物体或场景细节的特性的价值的可行性，以便使特征关联和创建更牢靠。使得参考图像的拼嵌成为可能，以及使得有关时间并且有关用户的参考图像的空间分辨率的改善成为可能。此外叠加物也可作为视点或视线走向与目标物体如目标视点或目标路线的偏差的函数进行计算并且然后基于目标和实际进行定位。

因此根据本发明的装置和根据本发明的方法可针对大量的应用可行性得到使用，在这些应用可行性中由此使得到明显改善的同时极大地节约时间和节约计算成为可能。

参考标号列表：

10 装置

12 环境

14 眼镜

16 场景摄像机

18 场景摄像机的视野

20a，20b 眼睛摄像机

22 评估装置

21 显示器

23 预加工装置

24 眼睛

25 可通信连接

26 图像

28 环境区域

30 视向

32 视点

34a，34b 物体

36a，36b，36c 区域

Claims (19)

1.一种用于借助于场景图像拍摄装置(16)对用户的环境(12)的环境数据进行数据采集且用于借助于评估装置(22)评估所采集的环境数据的方法，

其特征在于，

关于

–借助于所述场景图像拍摄装置(16)采集所述环境数据和/或

–将所述环境数据从所述场景图像拍摄装置(16)传输到所述评估装置(22)和/或

–通过所述评估装置(22)评估所述环境数据，

做出空间选择(36a，36b，36c)和/或时间选择，其中所述选择(36a，36b，36c)取决于至少一个所采集的、随着时间可变的第一参数(30，32)而做出。

2.根据权利要求1所述的方法，

其特征在于，

根据所述选择(36a，36b，36c)选出的环境数据以可预定的第一方式处理，尤其为通过所述场景图像拍摄装置被采集和/或从所述场景图像拍摄装置读出和/或传输到所述评估装置和/或被所述评估装置评估，并且未根据所述选择(36a，36b，36c)选出的环境数据不被处理或至少以不同于第一方式、尤其在采集和/或读出和/或传输和/或评估方面不同的可预定的第二方式处理。

3.根据前述权利要求中任一项所述的方法，

其特征在于，

减少未根据所述选择(36a，36b，36c)选出的环境数据。

4.根据权利要求3所述的方法，

其特征在于，

为了减少未根据所述选择(36a，36b，36c)选出的环境数据

–压缩未根据所述选择(36a，36b，36c)选出的环境数据；和/或

–过滤未根据所述选择(36a，36b，36c)选出的环境数据；和/或

–与关于对根据所述选择(36a，36b，36c)选出的环境数据进行的采集和/或读出和/或传输和/或评估的比率相比减小关于对未根据所述选择(36a，36b，36c)选出的环境数据进行的采集和/或读出和/或传输和/或评估的比率；和/或

–未根据所述选择(36a，36b，36c)选出的环境数据分配有与根据所述选择(36a，36b，36c)选出的环境数据相比更小的时间优先权，尤其在评估时。

5.根据前述权利要求中任一项所述的方法，

其特征在于，

根据所述选择(36a，36b，36c)选出的环境数据得到由来自于不同于场景图像拍摄装置的数据源的附加数据的补充。

6.根据前述权利要求中任一项所述的方法，

其特征在于，

所采集的所述至少一个第一参数(30，32)表示用户的至少一只眼睛(24)的眼睛参数(30，32)，尤其其中所述眼睛参数(30，32)为下组中的一个：

–视向(30)；

–视点(32)；

–视觉模式，尤其眼睛运动和/或视点时间序列；

–眼睛睁开状态；

–关于所述视点与用户的距离的信息，尤其用户的两只眼睛的会聚角的信息。

7.根据前述权利要求中任一项所述的方法，

其特征在于，

所采集的所述至少一个第一参数表示借助于所述场景图像拍摄装置(16)拍摄的图像(26)的图像特性和/或该图像特性相对于至少一个先前拍摄的图像的改变。

8.根据前述权利要求中任一项所述的方法，

其特征在于，

所述至少一个第一参数表示用户输入和/或采集的用户特性。

9.根据前述权利要求中任一项所述的方法，

其特征在于，

所述空间选择(36a，36b，36c)确定所述环境(12)的哪些区域(36a，36b，36c)作为环境数据，尤其以所述可预定的第一方式，进行以下处理：

–借助于所述场景图像拍摄装置(16)采集和/或

–从所述场景图像拍摄装置(16)读出和/或

–传输到所述评估装置(22)处和/或

–由所述评估装置(22)评估。

10.根据权利要求9所述的方法，

其特征在于，

取决于用户的所采集的视点(32)做出所述空间选择(36a，36b，36c)，使得所述区域(36a，36b，36c)包围所述视点(32)。

11.根据权利要求9或10中任一项所述的方法，

其特征在于，

所述区域的大小固定地预设，也就是说不可变或者是恒定的。

12.根据权利要求9或10中任一项所述的方法，

其特征在于，

所述区域(36a，36b，36c)的大小取决于至少一个第二参数被确定或者控制，尤其取决于

–在采集所述环境数据时借助于所述场景图像拍摄装置(16)拍摄的图像(26)的图像特性；和/或

–针对所测定的用户的视点(32)的精度和/或动态性的量度；和/或

–包括所述场景图像拍摄装置(16)和/或所述评估装置(22)的装置(10)的至少一个设备参数；和/或

–在采集所述环境数据时借助于所述场景图像拍摄装置(16)拍摄的图像(26)中处于用户的所述视点(32)的预定的附近的物体(34a，34b)的大小。

13.根据前述权利要求中任一项所述的方法，

其特征在于，

所述时间选择规定了所述环境(12)的区域(26；36a，36b，36c)作为环境数据何时尤其以可预定的第一方式

–借助于所述场景图像拍摄装置(16)得到采集；和/或

–从所述场景图像拍摄装置(16)中读出；和/或

–传送到所述评估装置(22)处；和/或

–由所述评估装置(22)评估。

14.根据前述权利要求中任一项所述的方法，

其特征在于，

取决于所述至少一个第一参数(30，32)做出所述时间选择，使得只有当所述至少一个第一参数(30，32)满足预定的标准时才或当所述至少一个第一参数(30，32)满足预定的标准时以可预定的第一方式

–利用所述场景图像拍摄装置(16)拍摄图像(26)和/或图像细节；和/或

–读出拍摄的图像数据；和/或

–传输到所述评估装置(22)处；和/或

–由所述评估装置(22)评估。

15.根据权利要求14所述的方法，

其特征在于，

预定的标准在于，

–采集到，作为所述至少一个第一参数采集和/或预测的眼睛(24)的视觉模式和/或眼睛运动和/或视序和/或注视具有预定的特性；和/或

–采集和/或预测作为所述至少一个第一参数的眼睛(24)的睁开状态，并且基于此采集到，用户的至少一只眼睛(24)是睁开的；和/或

–基于作为所述至少一个第一参数的所述图像特性采集到，图像内容的至少一部分相对于先前拍摄的至少一个图像的图像内容的至少一部分的改变超过可预定的程度；和/或

–探测作为所述至少一个第一参数的用户输入；和/或

–基于作为所述至少一个第一参数的用户特性辨别和/或预测预定的用户状态。

16.根据前述权利要求中任一项所述的方法，

其特征在于，

在采集所述环境数据之后且在评估所述环境数据之前执行所述环境数据的预加工，在预加工时做出所述选择(36a，36b，36c)和/或在预加工时确定所述可预定的第一方式，该第一方式与根据所述选择(36a，36b，36c)选出的环境数据相关联，和/或在预加工时确定所述第二方式，该第二方式与未根据所述选择(36a，36b，36c)选出的环境数据相关联。

17.一种具有用于对用户的环境(12)的环境数据进行数据采集的场景图像拍摄装置(16)且具有用于评估所采集的环境数据的评估装置(22)的装置(10)，

其特征在于，

所述装置(10)被设计成，关于

–借助于所述场景图像拍摄装置(16)采集所述环境数据和/或

–将所述环境数据从所述场景图像拍摄装置(16)传输到所述评估装置(22)和/或

–通过所述评估装置(22)评估所述环境数据，

取决于至少一个所采集的、随着时间可变的第一参数(30，32)做出空间和/或时间选择(36a，36b，36c)。

18.根据权利要求17所述的装置(10)，

其特征在于，

所述装置具有眼动追踪装置(20a，20b)，该眼动追踪装置被设计成采集所述至少一个第一参数(30，32)。

19.根据权利要求17或18所述的装置(10)，

其特征在于，

所述装置(10)包括可穿戴在头部的装置(14)，尤其为增强现实眼镜，其中可穿戴在头部处的装置(14)具有场景图像拍摄装置(16)和至少一个显示装置(21)。