CN103202010B - 增强现实感提供设备 - Google Patents

Abstract

本发明提供了能够防止第三方的图像晕动病及增强现实感降低的增强现实感提供设备。当通过位置测定单元（11）计算出的全局坐标的位置测定可靠度为第一阈值或更大且通过角速度传感器（16）检测出的HMD（100）的移动量小于第二阈值时，HMD（100）将与显示在显示单元（3R、3L）上图像相同的虚拟合成图像输出至外部显示装置。当位置测定可靠度小于第一阈值或HMD（100）的移动量为第二阈值或更大时，HMD（100）不向外部显示装置输出与显示在显示单元（3R、3L）上的图像相同的虚拟合成图像，而将已存储在图像存储单元（17）内并且先前显示在显示单元（3R、3L）上的虚拟合成图像输出至外部显示装置。

Description

增强现实感提供设备

技术领域

本发明涉及增强现实感提供设备，其为用户和用户以外的第三方提供增强现实感。

背景技术

已经公开了一种图像显示设备，其中将虚拟对象图像叠加在通过相机拍摄的图像（拍摄图像）上的合成图像显示在显示单元上，以为显示单元的观看者提供增强现实感。关于这样的设备，我们已经知道了一种使用附带有相机的头戴式显示器（HMD）的装置（例如，见专利文献1）。

专利文献1公开了一种系统，其通过HMD和显示器为戴有具有相机的HMD的观看者和观看与HMD分开提供的固定型显示器的第三方提供增强现实感。该系统显示了将虚拟对象图像叠加在通过提供在HMD上的相机拍摄的图像上的合成图像，将该合成图像传输至外部显示器，并且使该合成图像显示在外部显示器上。

在这样的系统内，戴有HMD的观看者可以观看到响应其头部运动的图像。因此，即使当显示在HMD上的图像抖动或倾斜时，观看者也没有不适感。

然而，由于通过显示器观看相同图像的第三方可能感觉图像不是按照他的意图来变化的，因此可能使第三方感觉到图像晕动病（image motion sickness）。因此，在该系统内，当在显示在HMD上的图像内存在倾斜时，校正要显示在显示器上的图像的倾斜，以为第三方提供不会导致不适感的图像。

同样，专利文献2公开了一种方法，该方法根据输入图像计算出运动向量，并且为了减轻图像晕动病，当运动向量的大小或方向很大时，保持向外输出的图像。

引用列表

专利文献

专利文献1：JP-A-2007-299326

专利文献2：JP-A-2010-50645

发明内容

技术问题

在专利文献1中描述的系统内，当出现观看者的头部剧烈运动等情况时，合成虚拟对象图像所需的位置测定信息的可靠性降低，使得可能存在虚拟对象图像的合成失败的情况。因此，还存在这样一个待解决的问题：虚拟对象图像从在显示在HMD或显示器上的图像上消失或出现在显示在HMD或显示器上的图像上，减小了增强现实感。

在专利文献1内，没有具体地考虑所述待解决的问题。同样，由于专利文献2没有涉及提供增强现实感的技术，因此不存在对上述问题的描述。

在可以在HMD和外部显示器之间共享增强现实感的系统内，如何减小观看外部显示器的第三方的不适感是很重要的，并且仅通过传统的方法不足以减小不适感。

考虑到上述问题和目的，做出本发明以提供能够防止第三方的图像晕动病出现并且防止第三方的增强现实感降低的增强现实感提供设备。

技术手段

本发明的增强现实感提供设备具有针对每个帧周期捕获图像的图像捕获单元，所述设备包括：全局坐标计算单元，其根据利用图像捕获单元进行图像捕获而得到的现实图像，计算出指示虚拟对象要求被叠加在全局坐标系统内的位置，该全局坐标系统定义了与现实世界相对应的虚拟空间；虚拟图像合成单元，其生成使用从全局坐标计算单元计算出的全局坐标将虚拟对象图像与现实图像结合起来的虚拟合成图像；显示单元，其显示现实图像和虚拟合成图像中的任何一个图像；移动量检测单元，其检测增强现实感提供设备的移动量；以及输出控制单元，在通过全局坐标计算单元计算出的全局坐标的可靠度为第一阈值或更大且通过移动量检测单元检测到的移动量小于第二阈值的帧周期（在下文中，称为第一帧周期）内，该输出控制单元进行正常输出控制，该正常输出控制使得在第一帧周期内通过虚拟图像合成单元生成的虚拟合成图像被输出至设置在外部的外部显示装置，并且在全局坐标的可靠度变得小于第一阈值或所述移动量变得大于第二阈值的帧周期（在下文中，称为第二帧周期）内，该输出控制单元进行保持输出控制，该保持输出控制使得已经在第二帧周期之前的帧周期内被虚拟图像合成单元生成且存储了的前一个虚拟合成图像输出至设置在外部的外部显示装置。

发明的有益效果

根据本发明，可以提供能够防止第三方的图像晕动病出现及增强现实感降低的增强现实感提供设备。

附图说明

图1是示出了作为增强现实感提供设备的头戴式显示器（HMD）100的外观的视图，其用于解释本发明的一个实施例。

图2是示出了图1所示的HMD的内部结构的框图。

图3是用于解释在图1所示的HMD100的单个帧周期内HMD100的操作的流程图。

图4是用于解释图1所示的HMD100的操作的状态转换图。

图5是用于解释图1所示的HMD100的操作的状态转换图。

图6是用于解释图1所示的HMD100的操作的状态转换图。

图7是用于解释图1所示的HMD100的操作的状态转换图。

图8是示出了HMD100的第一变形示例中的输出控制单元15的内部结构的框图。

图9是用于解释在HMD100的第一变形示例的单个帧周期内的操作的流程图。

图10是用于解释HMD100的第一变形示例的操作的状态转换图。

图11是示出了HMD100的第二变形示例内的输出控制单元15的内部结构的框图。

图12是用于解释在HMD100的第二变形示例的单个帧周期内的操作的流程图。

图13是用于解释HMD100的第二变形示例的操作的状态转换图。

图14是用于解释HMD100的第二变形示例的操作的状态转换图。

图15是用于解释HMD100的第三变形示例的操作的状态转换图。

图16是用于解释HMD100的第三变形示例的操作的状态转换图。

具体实施方式

在下文中，将会参照附图对本发明的实施例进行描述。

图1是示出了作为增强现实感提供设备的头戴式显示器（HMD）100的外观的视图，其用于解释本发明的一个实施例。

图1所示的HMD100包括：眼镜型壳体1、设置在壳体1上的右眼用图像捕获单元2R和左眼用图像捕获单元2L、以及右眼用显示单元3R和左眼用显示单元3L，显示单元3R提供在与戴着HMD100的人的右眼相对的一部分壳体4R上，显示单元3L提供在与戴着HMD100的人的左眼相对的一部分壳体4L上。

图2是示出了图1所示的HMD100的内部结构的框图。

除了图像捕获单元2R、2L和显示单元3R、3L以外，HMD100还包括：现实图像处理单元10R、10L；位置测定单元11；虚拟图像存储单元12；虚拟图像处理单元13；虚拟图像合成单元14R、14L；输出控制单元15；检测HMD100的移动量的角速度传感器16；以及图像存储单元17。

图像捕获单元2R、2L对捕获的图像信号进行模拟处理，该捕获图像信号可以利用图像捕获元件进行捕获而得到；模拟处理后对捕获图像信号进行数字转换；以及将数字化后的捕获图像信号输出至现实图像处理单元10R、10L。

现实图像处理单元10R对从图像捕获单元2R输出的捕获图像信号进行已知的数字信号处理，以生成右眼用捕获图像数据（右眼用现实图像）。

现实图像处理单元10L对从图像捕获单元2L输出的捕获图像信号进行已知的数字信号处理，以生成左眼用捕获图像数据（左眼用现实图像）。

位置测定单元11利用现实图像处理单元10R生成的右眼用现实图像和现实图像处理单元10L生成的左眼用现实图像来计算全局坐标，该全局坐标指示了在定义了与现实世界对应的虚拟空间的全局坐标系内虚拟对象被叠加的位置。

例如，位置测定单元11提取出通常包含在右眼用现实图像和左眼用现实图像中的特征点，并根据所提取的特征点来计算全局坐标。另一种方式，位置测定单元11检测通常包含在右眼用现实图像和左眼用现实图像中的标志物，并根据所检测到的标志物的位置来计算全局坐标。

位置测定单元11在计算全局坐标的同时，还判定所计算出的全局坐标的计算精度（可靠度）是否为第一阈值或更大。例如，在根据特征点来计算全局坐标的情况下，将特征点的数量设置为用于估计可靠度的估计值。在根据标志物来计算全局坐标的情况下，进行图案匹配时的误差平方和设置为用于估计可靠度的估计值。位置测定单元11将可靠度的判定结果输入到虚拟图像处理单元13和输出控制单元15。

虚拟图像存储单元12存储要被结合至现实图像处理单元10R、10L生成的现实图像的多种三维虚拟对象图像。

虚拟图像处理单元13根据位置测定单元11中计算出的全局坐标，将从虚拟图像存储单元12中读取的任意三维虚拟对象图像变成二维图像。这时，虚拟图像处理单元13根据每个显示单元3R、3L的视点，进行二维操作。

当在位置测定单元11内计算出的全局坐标的可靠度（与估计值的意思相同）为第一阈值或更大时，虚拟图像处理单元13将被转化为二维的右眼用虚拟对象图像输出至虚拟图像合成单元14R，并将被转化为二维的左眼用虚拟对象图像输出至虚拟图像合成单元14L。同时，当在位置测定单元11内计算出的全局坐标的可靠度小于第一阈值时，虚拟图像处理单元13不会将被转化为二维的虚拟对象图像输出至虚拟图像合成单元14R、14L。

当虚拟图像处理单元13输出了右眼用二维虚拟对象图像时，虚拟图像合成单元14R将从现实图像处理单元10R输出的右眼用现实图像与右眼用虚拟对象图像结合，生成右眼用虚拟合成图像，并将该虚拟合成图像输出至显示单元3R和输出控制单元15。同时，当虚拟图像处理单元13没有输出右眼用二维虚拟对象图像时，虚拟图像合成单元14R不会生成虚拟合成图像，而是将现实图像输出至显示单元3R和输出控制单元15。

当虚拟图像处理单元13输出了左眼用二维虚拟对象图像时，虚拟图像合成单元14L将从现实图像处理单元10L输出的左眼用现实图像与左眼用虚拟对象图像结合，生成左眼用虚拟合成图像，并将该虚拟合成图像输出至显示单元3L和输出控制单元15。同时，当虚拟图像处理单元13没有输出左眼用二维虚拟对象图像时，虚拟图像合成单元14L不会生成虚拟合成图像，而是将现实图像输出至显示单元3L和输出控制单元15。

显示单元3R显示从虚拟图像合成单元14R输出的现实图像或虚拟合成图像。

显示单元3L显示从虚拟图像合成单元14L输出的现实图像或虚拟合成图像。

输出控制单元15将虚拟合成图像输出至设置在HMD100外部的外部显示装置。为了使观看者看到立体图像，外部显示装置被构造为显示右眼用图像和左眼用图像。

输出控制单元15将输出至外部显示装置的虚拟合成图像存储在图像存储单元17内。只有最新的虚拟合成图像被覆写并存储在图像存储单元17内。当有必要根据角速度传感器16检测到的HMD100的移动量进行判定时，输出控制单元15停止覆写（更新）存储在图像存储单元17内的虚拟合成图像。

输出控制单元15根据位置测定单元11得到的全局坐标可靠度的判定结果以及角速度传感器16检测到的HMD100的移动量在正常输出控制和保持输出控制之间进行可切换操作，正常输出控制使由虚拟图像合成单元14R、14L生成的虚拟合成图像输出至外部显示装置，而保持输出控制使存储在图像存储单元17内的虚拟合成图像输出至外部显示装置。

图3是用于解释在图1所示的HMD100的单个帧周期内HMD100的操作的流程图。

在步骤S1，当图像捕获单元2R、2L捕获了图像时，输出控制单元15使用来自角速度传感器16的信息，检测HMD100的移动量（当前的帧周期与前一个帧周期之间的移动量）（步骤S2）。

其后，在现实图像处理单元10R、10L内生成从各捕获单元2R、2L输出的捕获图像数据（现实图像）（步骤S3）。

其后，在位置测定单元11内根据在步骤S3中生成的两个现实图像来进行全局坐标计算（位置测定）（步骤S4）。

其后，在位置测定单元11内判定全局坐标可靠度（位置测定可靠度）。当位置测定可靠度为第一阈值或更大（步骤S5中为“是”）时，进行步骤S6的处理，而当位置测定可靠度小于第一阈值（在步骤S5中为“否”）时，进行步骤S12的处理。

在步骤S6，根据在步骤S4中计算出的全局坐标来将虚拟对象图像变成二维的，生成由二维虚拟对象图像和在步骤S3中生成的现实图像结合而成的虚拟合成图像（步骤S7），以及将该虚拟合成图像显示在显示单元3R、3L上（步骤S8）。

在步骤S8后，输出控制单元15判定在步骤S2中检测到的移动量是否为第二阈值或更大，当移动量为第二阈值或更大时进行步骤S13，而当移动量小于第二阈值时进行步骤S10。

在步骤S10中，输出控制单元15将在步骤S8中显示在显示单元3R、3L上的虚拟合成图像存储在图像存储单元17内（存储在图像存储单元17内的虚拟图像被覆写，从而进行更新）。其后，输出控制单元15将在步骤S8中显示在显示单元3R、3L上的虚拟合成图像输出至外部显示装置（步骤S11），并终止单个帧周期内的处理。

在步骤S13中，输出控制单元15不将在步骤S8中显示在显示单元3R、3L上的虚拟合成图像存储在图像存储单元17内（不对存储在图像存储单元17内的虚拟合成图像进行更新），读取存储在图像存储单元17内的虚拟合成图像以及然后将所读取的虚拟合成图像输出至外部显示装置（步骤S14），由此终止单个帧周期内的处理。

回到步骤S5的描述，当位置测定可靠度小于第一阈值（在步骤S5中为“否”）时，将在步骤S3中生成的现实图像显示在显示单元3R、3L上（步骤S12）。在步骤S12后，进行步骤S13和步骤S14，并将存储在图像存储单元17内的虚拟合成图像显示在外部显示装置上。

尽管以上描述解释了在HDM100的单个帧周期内的操作，但下面将参照图4至图7来描述HMD100的多个帧周期内的操作。

图4是用于解释图1所示的HMD100的操作的状态转换图。图4示出了一种状态转换的操作，该状态转换为从位置测定可靠度为第一阈值或更大并且移动量小于第二阈值的状态转换至位置测定可靠度为第一阈值或更大并且移动量为第二阈值或更大的状态。

在图4内，横坐标轴表示帧周期的开始时间。在时间T0至T5中的每个时间的上方，示出了显示在显示单元3R上的虚拟合成图像（显示在HMD上的图像）、存储在图像存储单元17内的虚拟合成图像（存储图像）、以及在完成了在每个时间处开始的帧周期之后输出到外部显示装置上的用于外部输出的图像。

在图4内，在显示在HMD上的每个图像、存储图像和用于外部输出的图像内标注有参考符号，并且对相同的图像给出相同的符号。此外，在图4中仅示出了对应于右眼的图像。

在时间T0至T2中的每个时间处开始的帧周期内，由于HMD100的移动量小于第二阈值，因此在捕获了图像后生成的虚拟合成图像显示在显示单元3R上，该虚拟合成图像被输出至外部显示装置（进行了正常输出控制），并且该虚拟合成图像被存储在图像存储单元17内。

因此，在T0至T2的时间段内，与显示在HMD100的显示单元上的图像相同的图像被显示在外部显示装置上，使得戴着HMD100的人和观看外部显示装置的人可以共享增强现实感，其中星星的虚拟图像叠加在人的现实图像上。

当在时间T3处HMD100的移动量为第二阈值或更大时，在时间T3开始的帧周期内，在捕获了图像后生成的虚拟合成图像4被显示在显示单元3R上，但是虚拟合成图像4没有被输出至外部显示装置。相反，存储在图像存储单元17内的存储图像3被输出至外部显示装置（进行了保持输出控制）。

同样，在时间T4和T5处，由于HMD100的移动量不小于第二阈值，因此存储图像3被输出至外部显示装置（进行了保持输出控制）。

因此，在时间T3后，虚拟合成图像4至6依次被切换并显示在HMD100的显示单元上，但是就在HMD100的移动量达到第二阈值或更大之前显示的虚拟合成图像3继续被显示在外部显示装置上。因此，观看外部显示装置的人可以跳过诸如大幅度变化的虚拟合成图像4至6之类的图像，使得能够防止出现图像晕动病。

图5是用于解释图1所示的HMD100的操作的状态转换图。图5示出了一种状态转换的操作，该状态转换为从位置测定可靠度为第一阈值或更大且移动量为第二阈值或更大的状态转换至位置测定可靠度为第一阈值或更大且移动量小于第二阈值的状态。图5中表示的符号与图4中表示的符号相同。

在时间T10和T11中的每个时间处开始的帧周期内，由于HMD100的移动量为第二阈值或更大，因此在捕获了图像后生成的虚拟合成图像显示在显示单元3R上。但是，该虚拟合成图像没有被输出至外部显示装置并且取而代之的是，存储在图像存储单元17内的存储图像A被输出至外部显示装置（进行了保持输出控制）。

当在时间T12处HMD100的移动量小于第二阈值时，在时间T12开始的帧周期内，在捕获了图像后生成的虚拟合成图像3被显示在显示单元3R上，虚拟合成图像3被输出至外部显示装置（进行了正常输出控制），并且该虚拟合成图像3被存储在图像存储单元17内。

同样，在时间T13至T15中的各个时间处，由于HMD100的移动量小于第二阈值，因此在每个帧周期内生成的虚拟合成图像4至6被输出至外部显示装置（进行了正常输出控制）。

因此，即使输出至外部显示装置的图像被保持，当HMD100的移动量变得较小时，在外部显示装置上也可以显示与显示在HMD100内的图像相同的虚拟合成图像。

图6是用于解释图1所示的HMD100的操作的状态转换图。图6示出了一种状态转换的操作，该状态转换从位置测定可靠度为第一阈值或更大并且所述移动量小于第二阈值的状态转换至位置测定可靠度小于第一阈值的状态。图6中表示的符号与图4中表示的符号相同。

在时间T0至T2中的每个时间处开始的帧周期内，由于位置测定可靠度为第一阈值或更大，因此在捕获了图像后生成的虚拟合成图像显示在显示单元3R上，该虚拟合成图像被输出至外部显示装置（进行了正常输出控制），并且该虚拟合成图像被存储在图像存储单元17内。

因此，在T0至T2的时间段内，与显示在HMD100的显示单元上的图像相同的图像被显示在外部显示装置上，使得戴着HMD100的人和观看外部显示装置的人可以共享增强现实感，其中星星的虚拟图像叠加在人的现实图像上。

当在时间T3处位置测定可靠度小于第一阈值时，在T3开始的帧周期内，在捕获了图像后生成的现实图像4被显示在显示单元3R上，但是该现实图像4没有被输出至外部显示装置。相反，存储在存储单元17内的存储图像3被输出至外部显示装置（进行了保持输出控制）。

同样，在时间T4和T5处，由于位置测定可靠度不小于第一阈值，因此存储图像3被输出至外部显示装置（进行了保持输出控制）。

因此，在时间T3后，现实图像4至6被依次切换并显示在HMD100的显示单元上，但是就在位置测定可靠度变成小于第一阈值之前显示的虚拟合成图像3继续被显示在外部显示装置上。

由于这些操作，消除了在时间T3后显示在外部显示装置上的星星的虚拟图像会频繁地突然消失的情况。由此，可以防止观看外部显示装置的人感觉到由于虚拟图像的突然消失导致的增强现实感降低。此外，戴着HMD100的人可以通过显示在显示单元3R、3L上的现实图像来保证视场，所以可以确保安全。

图7是用于解释图1所示的HMD100的操作的状态转换图。图7示出了一种状态转换的操作，该状态转换从位置测定可靠度小于第一阈值的状态转换至位置测定可靠度为第一阈值或更大并且所述移动量小于第二阈值的状态。图7中表示的符号与图4中表示的符号相同。

在时间T10和T11中的每个时间处开始的帧周期内，由于位置测定可靠度小于第一阈值，因此在捕获了图像后生成的现实图像被显示在显示单元3R上，但是，该现实图像没有被输出至外部显示装置。取而代之的是，存储在图像存储单元17内的存储图像A被输出至外部显示装置（进行了保持输出控制）。

当在时间T12处位置测定可靠度为第一阈值或更大并且所述移动量小于第二阈值时，在时间T12开始的帧周期内，在捕获了图像后生成的虚拟合成图像3被显示在显示单元3R上，虚拟合成图像3被输出至外部显示装置（进行了正常输出控制），并且虚拟合成图像3被存储在图像存储单元17内。

同样，在时间T13至T15的各个时间处，由于位置测定可靠度为第一阈值或更大并且HMD100的移动量小于第二阈值，因此在各帧周期内生成的虚拟合成图像4至6被输出至外部显示装置（进行了正常输出控制）。

如上所述，根据HMD100，当位置测定可靠度为第一阈值或更大并且HMD100的移动量小于第二阈值时，输出控制单元15进行正常输出控制。为此，在这种情况下，可以在戴着HMD100的人和观看外部显示装置的人之间共享增强现实感。

此外，根据HMD100，当在位置测定可靠度小于第一阈值而不管移动量如何的情况下虚拟合成图像的生成不可能成功时，输出控制单元15进行保持输出控制。为此，同样在该情况下，继续将存储在图像存储单元17内的虚拟合成图像显示在外部显示装置上。因此，可以防止减小带给观看外部显示装置的人的增强现实感。

此外，根据HMD100，即使位置测定可靠度为第一阈值或更大，当HMD100的移动量为第二阈值或更大时，输出控制单元15也进行保持输出控制，使得继续将存储在图像存储单元17内的虚拟合成图像显示在外部显示装置上。因此，可以防止观看外部显示装置的人遭受图像晕动病。

下面，将描述HMD100的变形示例。

（第一变形示例）

除了在输出控制单元15的结构方面的差异外，HMD100的第一变形示例的内部模块构造与图2所示的相同。

图8是示出了HMD100的第一变形示例内的输出控制单元15的内部结构的框图。

图8中示出的输出控制单元15包括加权平均单元151、输出判定单元152和格式转换单元153。

加权平均单元151对在虚拟图像合成单元14R、14L内生成的虚拟合成图像（显示在HMD上的图像）和存储在图像存储单元17内的虚拟合成图像（存储图像）进行加权平均，以生成要输出至外部显示装置的用于外部输出的图像。具体来说，进行｛(显示在HMD上的图像)×α＋(存储图像)×β｝/(α＋β)运算来生成用于外部输出的图像。

输出判定单元152根据来自位置测定单元11的位置测定可靠度的判定结果和通过角速度传感器16检测到的HMD100的移动量，在三种控制之间进行可切换操作。第一种控制是正常输出控制，其使得由虚拟图像合成单元14R、14L生成的虚拟合成图像通过格式转换单元153输出至外部显示装置。第二种控制是保持输出控制，其使得存储在图像存储单元17内的虚拟合成图像通过格式转换单元153输出至外部显示装置。第三种控制是迁移输出控制，其使得在加权平均单元151内生成的用于外部输出的图像被输出至外部显示装置。

当进行保持输出控制时，输出判定单元152将表示外部显示装置的显示被固定（保持）的保持标志存储在内部存储器内。此外，当进行正常输出控制时，输出判定单元152清除所有存储在内部存储器内的标志。另外，当进行迁移输出控制时，输出判定单元152存储表示外部显示装置正在从固定显示迁移至正常显示的保持退出进行中标志。每当进行迁移输出控制时，输出判定单元152则增加保持退出进行中标志的数量。每次进行正常输出控制时，输出判定单元152不会增加保持标志的数量。

格式转换单元153将输入图像转变为用于外部显示装置的数据，并将输入图像发送至外部显示装置。

图9是用于解释在单个帧周期内HMD100的第一变形示例的操作的流程图。在图9中，相同的标记对应图3中相同的处理。步骤S9、步骤S10、步骤S11、步骤S13、以及步骤S14的处理由输出判定单元152执行。

在步骤S14后，输出判定单元152将保持标志存储在内部存储器内（步骤S22），然后结束该处理。此外，在步骤S11后，输出判定单元152清除所有存储在内部存储器内的标志（标志S21），然后结束该处理。

在步骤S9的判定中，当HMD100的移动量小于第二阈值（在步骤S9中为“否”）时，输出判定单元152判定保持标志是否存储在内部存储器内（步骤S23）。若保持标志没有存储在其内，输出判定单元152则进行步骤S10的处理。若保持标志存储在其内，输出判定单元152则进行步骤S24的处理。

在步骤S24，输出判定单元152判定在内部存储器内是否存储有n（n是大于等于1的自然数）个保持退出进行中标志。

其后，当存在n个保持退出进行中标志时，输出判定单元152进行步骤S10的处理。当保持退出进行中标志的个数小于n时，输出判定单元152进行步骤S25的处理（迁移输出控制）。

在步骤S25，输出判定单元152使得在加权平均单元151内生成通过对在步骤S8中显示的虚拟合成图像和存储在图像存储单元17内的虚拟合成图像进行加权平均而形成的用于外部输出的图像，使得用于外部输出的图像在格式转换单元153内进行格式转换，以及然后将用于外部输出的图像输出至外部显示装置。

当结束了步骤S25时，输出判定单元152将单个保持退出进行中标志存储在内部存储器内（步骤S26），并结束该处理。

以上描述了在HMD100的第一变形示例的一个帧周期内进行的操作。在下文中，将参照图10来描述在HMD100的第一变形示例的多个帧周期内的操作。

图10是用于解释HMD100的第一变形示例的操作的状态转换图。图10示出了一种状态转换的操作，该状态转换从位置测定可靠度为第一阈值或更大并且移动量为第二阈值或更大的状态转换至位置测量可靠度为第一阈值或更大并且所述移动量小于第二阈值的状态。

此外，图10中表示的符号与图4中表示的符号相同。另外，图10中仅示出了对应于右眼的图像。图10中示出了当n=3并且加权系数α，β=1/2时的操作。

此外，从位置测定可靠度小于第一阈值的状态至位置测定可靠度为第一阈值或更大并且移动量小于第二阈值的状态的状态转换对应于这样一种状态转换：图4和图10之间的差异仅仅是以下情况，其中在时间T12处，位置测定可靠度变为第一阈值或更大并且移动量变为小于第二阈值，以及在时间T10、11处显示在HMD上的图像变为不是虚拟合成图像而是现实图像，并且他们的基本操作相同。

此外，从位置测定可靠度为第一阈值或更大并且所述移动量小于第二阈值的状态至位置测定可靠度小于第一阈值并且所述移动量为第二阈值或更大的状态转换操作与图4和图6所示的操作相同。

在时间T10和T11中的每个时间处开始的帧周期内，由于HMD100的移动量为第二阈值或更大，因此在捕获了图像后生成的虚拟合成图像被显示在显示单元3R上，但是虚拟合成图像没有被输出至外部显示装置，而存储在图像存储单元17内的存储图像A代替虚拟合成图像被输出至外部显示装置（进行了保持输出控制）。在从时间T10、T11中的每个时间开始的帧周期结束后，输出判定单元152的内部存储器内仅存储保持标志。

当在时间T12处HMD100的移动量小于第二阈值时，在时间T12存储保持标志，但是在输出判定单元152的内部存储器内没有存储任何保持退出进行中标志。为此，在时间T12开始的帧周期内，通过将正显示在HMD上的虚拟合成图像（1）与存储在图像存储单元17内的虚拟合成图像A相加并将它们的和除以2而生成的图像B被输出至外部显示装置（进行了第一迁移输出控制）。当图像B被输出至外部显示装置时，一个保持退出进行中标志被存储在输出判定单元152的内部存储器内。

在接下来的时间T13处，在输出判定单元152的内部存储器内存储有保持标志和保持退出进行中标志。

为此，在时间T13开始的帧周期内，通过将正显示在HMD上的虚拟合成图像（2）与存储在图像存储单元17内的虚拟合成图像A相加并将他们的和除以2而生成的图像C被输出至外部显示装置（进行了第二迁移输出控制）。

当图像C被输出至外部显示装置时，一个保持退出进行中标志被添加至输出判定单元152的内部存储器内。

在接下来的时间T14处，在输出判定单元152的内部存储器内存储保持标志和2个保持退出进行中标志。

为此，在时间T14处开始的帧周期内，通过将正显示在HMD上的虚拟合成图像（3）与存储在图像存储单元17内的虚拟合成图像A相加并将它们的和除以2而生成的图像D被输出至外部显示装置（进行了第三移动输出控制）。

当图像D被输出至外部显示装置时，一个保持退出进行中标志被添加至输出判定单元152的内部存储器内。

在接下来的时间T15处，在输出判定单元152的内部存储器内存储有保持标志和三个（等于n）保持退出进行中标志。

为此，在时间T15处开始的帧周期内，正显示在HMD上的虚拟合成图像（4）被覆写到图像存储单元17内，并且虚拟合成图像（4）被输出至外部显示装置（进行了正常控制）。

当虚拟合成图像（4）被输出至外部显示装置时，存储在输出判定单元152的内部存储器内的所有保持标志和保持退出进行中标志均被清除。为此，在时间T15后，显示在HMD上的虚拟合成图像如实地被显示在外部显示装置上。

因此，在第一变形示例中，当出现从HMD的移动量为第二阈值或更大的状态改变为HMD的移动量小于第二阈值的状态的状态转换时，输出控制单元15进行的控制不会直接从保持输出控制切换到正常输出控制，而是在进行了n次迁移输出控制后切换到正常输出控制，所述迁移输出控制使得通过对在图像合成单元14R、14L中生成的虚拟合成图像和存储在图像存储单元17内的虚拟合成图像进行加权平均而得到的用于外部输出的图像被输出至外部显示装置。

通过进行迁移输出控制，显示在外部显示装置上的图像不会突然从虚拟合成图像A变为虚拟合成图像（4），而是能够逐渐地从虚拟合成图像A变为虚拟合成图像（4）。

为此，可以防止给观看外部显示装置的人带来由于较大的图像变化而导致的图像刺激。此外，如图10所示，在迁移输出控制过程中显示在外部显示装置上的图像B、C、D变为与在保持输出控制和正常输出控制过程中显示的图像A和图像4在外观上完全不同的图像，所以容易知道从保持状态返回至正常状态的时刻。

此外，在上述描述中，在进行n次迁移输出控制中，在加权平均单元151内使用的加权系数均相同，但是加权系数并不局限于此。

例如，显示在HMD上的虚拟合成图像的加权系数可以与存储在输出判定单元152的内部存储器内的保持退出进行中标志的数量成比例地增长。

具体地说，从图10的时间T13处开始的帧周期内，将显示在HMD上的图像的加权系数设置为三分之二（2/3）而将存储图像的加权系数设置为三分之一（1/3），并且在图10的时间T14开始的帧周期内，将显示在HMD上的图像的加权系数设置为四分之三（3/4）而将存储图像的加权系数设置为四分之一（1/4）。

通过这样做，可以逐步地减小包含在显示在外部显示装置上的图像内的存储图像的比例，使得图像可以更加自然地变化。

（第二变形示例）

HMD100的第二变形示例具有与第一变形示例相同的结构，除了以下方面：在图9所示的步骤S25内的加权平均图像生成方法与第一变形示例不同，图像存储单元17被构造为存储多个虚拟合成图像，以及在图9所示的步骤S12后的处理与第一变形示例不同。

图11是示出了HMD100的第二变形示例内的输出控制单元15的内部结构的框图。除了加权平均单元151被加权平均单元151a取代以外，图11所示的输出控制单元15具有与图8所示的输出控制单元15相同的结构。

加权平均单元151a要么对存储在图像存储单元17内的虚拟合成图像和通过虚拟图像合成单元14R、14L生成的虚拟合成图像进行加权平均来生成用于外部输出的图像，要么对存储在图像存储单元17内的多个虚拟合成图像进行加权平均来生成用于外部输出的图像。

图12是用于解释在HMD100的第二变形示例的单个帧周期内的操作的流程图。在图12内，相同的附图标记与图9中相同的处理对应。

图12示出了流程图，其中图9中的步骤S25由步骤S35取代，添加步骤S30至S33来作为当在步骤S9中的判定结果为“是”时要进行的步骤，并且当在步骤S30或S31中的判定结果为“是”时进行步骤S13的处理。

在步骤S35，输出判定单元152进行第一迁移输出控制，使得在加权平均单元151a内生成通过对在虚拟图像合成单元14R、14L内生成的虚拟合成图像和在比这些虚拟合成图像更早生成的至少一个虚拟合成图像进行加权平均而形成的用于外部输出的图像，并将用于外部输出的图像通过格式转换单元153输出至外部显示装置。

在步骤S30，输出判定单元152判定在内部存储器内是否存储有保持标志。若其中没有存储保持标志，该处理进行至步骤S31。否则，该处理进行至步骤S13。

在步骤S31，输出判定单元152判定内部存储器内是否存储有n个保持退出进行中标志。若在步骤S31中的判定结果为“是”，输出判定单元152则进行步骤S13的处理。若在步骤S31中的判定结果为“否”，输出判定单元152则进行步骤S32的处理。

在步骤S32中，输出判定单元152进行第二迁移输出控制，使得在加权平均单元151a内生成通过对在虚拟图像合成单元14R、14L内生成的虚拟合成图像和从比这些虚拟合成图像更早生成的虚拟合成图像中选择的多个虚拟合成图像进行加权平均而形成的用于外部输出的图像，并将用于外部输出的图像通过格式转换单元153输出至外部显示装置。

在步骤S32后，输出判定单元152将一个保持进入进行中标志存储在内部存储器内（步骤S33），并结束处理。

在下文中，将参照附图13对在第一迁移输出控制的过程中在加权平均单元151a内生成用于外部输出的图像的方法的细节，以及参照附图14对在第二迁移输出控制过程中在加权平均单元151a内生成用于外部输出的图像的方法的细节进行描述。

图13是用于解释HMD100的第二变形示例的操作的状态转换图。图13示出了一种状态转换的操作，该状态转换为从位置测定可靠度为第一阈值或更大且移动量为第二阈值或更大的状态转换至位置测定可靠度为第一阈值或更大且移动量小于第二阈值的状态。

在图13中表示的符号与图4中表示的符号相同。此外，在图13内仅示出了对应于右眼的图像。图13内示了当n=5时的操作。

此外，从位置测定可靠度小于第一阈值的状态向位置测定可靠度为第一阈值或更大并且移动量小于第二阈值的状态的状态转换对应于图4和图13之间的差异仅为以下情况的状态转换：在时间T12处，位置测定可靠度变为第一阈值或更大且移动量变为小于第二阈值，并且在时间T10和T11处显示在HMD上的图像没有变成虚拟合成图像，而是变成现实图像，并且它们的基本操作相同。

在时间T10和T11的每个时间处，HMD100的移动量为第二阈值或更大，并且在输出判定单元152的内部存储器内存储有保持标志。

为此，在时间T10和T11中的每个时间处开始的帧周期内，在捕获了图像后生成的虚拟合成图像被显示在显示单元3R上，但是该虚拟合成图像没有被输出至外部显示装置。存储在图像存储单元17内的“存储区域1”内的存储图像A取代虚拟合成图像被输出至外部显示装置（进行了保持输出控制）。

当在时间T12处HMD100的移动量小于第二阈值时，在时间T12处在输出判定单元152的内部存储器内存储有保持标志但是没有存储任何保持退出进行中标志。为此，在时间T12处开始的帧周期内，利用加权平均处理生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第一次进行第一迁移输出控制）。

具体来说，通过将显示在HMD上的虚拟合成图像（1）与存储在图像存储单元17的“存储区域1”内的虚拟合成图像A相加，并将它们的和除以2而生成的图像B被输出至外部显示装置。

当图像B被输出至外部显示装置时，一个保持退出进行中标志被存储在输出判定单元152的内部存储器内。此外，当图像B被输出至外部显示装置时，虚拟合成图像（1）被存储在图像存储单元17的“存储区域2”内。

在接下来的时间T13处，在输出判定单元152的内部存储器内存储有保持标志和一个保持退出进行中标志。

为此，在时间T13处开始的帧周期内，利用加权平均处理生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第二次进行第一迁移输出控制）。

具体来说，通过将显示在HMD上的虚拟合成图像（2）、存储在图像存储单元17的“存储区域1”内的虚拟合成图像A以及存储在图像存储单元17的“存储区域2”内的虚拟合成图像（1）相加，并将这些图像的和除以3而生成的图像C被输出至外部显示装置。

当图像C被输出至外部显示装置时，一个保持退出进行中标志被添加至输出判定单元152的内部存储器内。此外，当图像C被输出至外部显示装置时，虚拟合成图像（2）被存储在图像存储单元17的“存储区域3”内。

在接下来的时间T14处，在输出判定单元152的内部存储器内存储有保持标志和两个保持退出进行中标志。

为此，在时间T14开始的帧周期内，利用加权平均处理来生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第三次进行第一迁移输出控制）。

具体来说，通过将显示在HMD上的虚拟合成图像（3）、存储在图像存储单元17的“存储区域1”内的虚拟合成图像A、存储在图像存储单元17的“存储区域2”内的虚拟合成图像（1）、存储在图像存储单元17内的“存储区域3”内的虚拟合成图像（2）相加，并将这些图像的和除以4而生成的图像D被输出至外部显示装置。

当图像D被输出至外部显示装置时，一个保持退出进行中标志被添加至输出判定单元152的内部存储器内。此外，当图像D被输出至外部显示装置时，虚拟合成图像（3）被存储在图像存储单元17的“存储区域4”内。

在接下来的时间T15处，在输出判定单元152的内部存储器内存储有保持标志和三个保持退出进行中标志。

为此，在时间T15处开始的帧周期内，利用加权平均处理来生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第四次进行第一迁移输出控制）。

具体来说，通过将显示在HMD上的虚拟合成图像（4）、存储在图像存储装置17的“存储区域3”内的虚拟合成图像（2）、存储在图像存储装置17的“存储区域4”内的虚拟合成图像（3）相加，并将这些图像的和除以3而生成的图像E输出至外部显示装置。

当图像E被输出至外部显示装置时，一个保持退出进行中标志被添加至输出判定单元152的内部存储器内。此外，当图像E被输出至外部显示装置时，虚拟合成图像（4）被覆写到图像存储单元17的“存储区域1”内，并且存储在“存储区域2”内的虚拟合成图像（1）被清除。

在接下来的时间T16处，在输出判定单元152的内部存储器内存储有保持标志和四个保持退出进行中标志。

为此，在时间T16处开始的帧周期内，利用加权平均处理来生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第五次进行第一迁移输出控制）。

具体来说，通过将显示在HMD上的虚拟合成图像（5）和存储在图像存储装置17的“存储区域1”内的虚拟合成图像（4）相加，并将它们的和除以2而生成的图像F输出至外部显示装置。

当图像F被输出至外部显示装置时，一个保持退出进行中标志被添加至输出判定单元152的内部存储器内。此外，当图像F被输出至外部显示装置时，存储在图像存储单元17的“存储区域3”和“存储区域4”内的虚拟合成图像（2）和（3）被分别清除。

在接下来的时间T17处，在输出判定单元152的内部存储器内存储有保持标志和五个保持退出进行中标志。

为此，显示在HMD上的虚拟合成图像（6）被覆写到图像存储器17的“存储区域1”内，并且虚拟合成图像（6）被输出至外部显示装置（进行了正常输出控制）。

当虚拟合成图像（6）被输出至外部显示装置时，存储在输出判定单元152的内部存储器内的保持标志和所有的保持退出进行中标志被清除。为此，在时间T17以后，显示在HMD上的虚拟合成图像被直接输出至外部显示装置。

图14是用于解释HMD100的第二变形示例的操作的状态转换图。图14示出了一种状态转换的操作，该状态转换从位置测定可靠度为第一阈值或更大并且移动量小于第二阈值的状态转换至位置测定可靠度为第一阈值或更大且移动量为第二阈值或更大的状态。

图14中表示的符号与图4中表示的符号相同。此外，在图14内仅示出了对应于右眼的图像。而且，图14内示了当n=5时的操作。

此外，从位置测定可靠度为第一阈值或更大且移动量小于第二阈值的状态到位置测定可靠度小于第一阈值的状态的状态转换的操作与图6所示的操作相同。

在时间T0处开始的帧周期内，位置测定可靠度为第一阈值或更大且移动量小于第二阈值，并且没有存储保持标志。为此，在捕获了图像后生成的虚拟合成图像A被显示在显示单元3R上，虚拟合成图像A被输出至外部显示装置（进行了正常输出控制），并且虚拟合成图像A被存储在图像存储单元17的“存储区域1”内。

当在时间T1处位置测定可靠度为第一阈值或更大且HMD100的移动量为第二阈值或更大时，在时间T1处在输出判定单元152的内部存储器内没有存储任何保持退出进行中标志（hold-outin-progress flag）。为此，在T1开始的帧周期内，利用加权平均处理生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第一次进行第二迁移输出控制）。

具体来说，通过将显示在HMD上的虚拟合成图像（1）与存储在图像存储单元17的“存储区域1”内的虚拟合成图像A相加，并将这些图像的和除以2而生成的图像B被输出至外部显示装置。

当图像B被输出至外部显示装置时，一个保持退出进行中标志被存储在输出判定单元152的内部存储器内。此外，当图像B被输出至外部显示装置时，虚拟合成图像（1）被存储在图像存储单元17的“存储区域2”内。

在下一个时间T2处，在输出判定单元152的内部存储器内存储有一个保持退出进行中标志。

为此，在时间T2开始的帧周期内，利用加权平均处理生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第二次进行第二迁移输出控制）。

具体来说，通过将显示在HMD上的虚拟合成图像（2）乘以二分之一（1/2）后生成的图像、存储在图像存储单元17的“存储区域1”内的虚拟合成图像A乘以四分之一（1/4）后生成的图像、以及存储在图像存储单元17的“存储区域2”内的虚拟合成图像（1）乘以四分之一（1/4）后生成的图像相加而生成的图像C被输出至外部显示装置。

当图像C被输出至外部显示装置时，一个保持退出进行中标志被添加至输出判定单元152的内部存储器内。此外，当图像C被输出至外部显示装置时，虚拟合成图像（2）被存储在图像存储单元17的“存储区域3内”。

在接下来的时间T3处，在输出判定单元152的内部存储器内存储有两个保持退出进行中标志。

为此，在时间T3处开始的帧周期内，利用加权平均处理来生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第三次进行第二迁移输出控制）。

具体来说，通过将显示在HMD上的虚拟合成图像（3）乘以二分之一（1/2）后生成的图像、存储在图像存储单元17的“存储区域1”内的虚拟合成图像A乘以八分之一（1/8）后生成的图像、存储在图像存储单元17的“存储区域2”内的虚拟合成图像（1）乘以八分之一（1/8）后生成的图像、存储在图像存储单元17内的“存储区域3”内的虚拟合成图像（2）乘以四分之一（1/4）后生成的图像相加而生成的图像D被输出至外部显示装置。

当图像D被输出至外部显示装置时，一个保持退出进行中标志被添加至输出判定单元152的内部存储器内。此外，当图像D被输出至外部显示装置时，虚拟合成图像（3）被存储在图像存储单元17的“存储区域4”内。

在接下来的时间T4处，在输出判定单元152的内部存储器内存储有三个保持退出进行中标志。

为此，在时间T4处开始的帧周期内，利用平均加权处理来生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第四次进行第二迁移输出控制）。

具体来说，通过将存储在图像存储装置17的“存储区域3”内的虚拟合成图像（2）乘以四分之一（1/4）后生成的图像、存储在图像存储装置17的“存储区域4”内的虚拟合成图像（3）乘以四分之三（3/4）后生成的图像相加而生成的图像E输出至外部显示装置。

当图像E被输出至外部显示装置时，一个保持退出进行中标志被添加至输出判定单元152的内部存储器内。此外，当图像E被输出至外部显示装置时，存储在“存储区域1”和“存储区域2”内的数据被清除。

在接下来的时间T5处，在输出判定单元152的内部存储器内存储有四个保持退出进行中标志。

为此，在时间T5处开始的帧周期内，利用加权平均处理来生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第五次进行第二迁移输出控制）。

具体来说，通过将存储在图像存储单元17的“存储区域3”内的虚拟合成图像（2）乘以八分之一（1/8）后生成的图像和存储在图像存储装置17的“存储区域4”内的虚拟合成图像（3）乘以八分之七（7/8）后生成的图像相加而生成的图像F输出至外部显示装置。

当图像F被输出至外部显示装置时，一个保持退出进行中标志被添加至输出判定单元152的内部存储器内。此外，当图像F被输出至外部显示装置时，存储在图像存储单元17的“存储区域3”内的数据被清除。

在接下来的时间T6处，在输出判定单元152的内部存储器内存储有五（等于n）个保持退出进行中标志。

为此，在时间T6开始的帧周期内，存储在图像存储器17的“存储区域4”内的虚拟合成图像（3）被输出至外部显示装置（进行了保持输出控制）。

同样，在时间T6之后，外部显示装置上继续显示存储在“存储区域4”内的虚拟合成图像（3）。

如上所述，在第二变形示例中，当出现从HMD100的移动量为第二阈值或更大的状态至HMD100的移动量小于第二阈值的状态的状态转换时，输出控制单元15进行的控制没有直接从保持输出控制切换至正常输出控制，而是在进行n次第一迁移输出控制以后切换至正常输出控制。

第一迁移输出控制是这样一种控制：其使得将通过对在图像合成单元14R、14L内生成的虚拟合成图像和存储在图像存储单元17内的虚拟合成图像进行加权平均而得到的用于外部输出的图像输出至外部显示装置。同样，在第二变形示例中，在进行第一迁移输出控制的每个帧周期内设置的加权系数对于每个帧周期都发生变化，这样可以在逐渐减小包含在用于外部输出的图像内的虚拟合成图像A的比例的同时，在时间序列上逐渐增大新的虚拟合成图像被包含在用于外部输出的图像内的比例。

通过进行第一迁移输出控制，显示在外部显示装置上的图像不会突然从虚拟合成图像A变为虚拟合成图像（6），而是可以逐渐地从虚拟合成图像A变为虚拟合成图像（6）。

为此，可以防止给观看外部显示装置的人带来由于较大的图像变化而导致的图像刺激。此外，如图13所示，在迁移输出控制过程中显示在外部显示装置上的图像B、C、D、E、F变成了与在保持输出控制和正常输出控制过程中显示的图像A和图像6在外观上完全不同的图像，所以容易知道从保持状态返回至正常状态的时间。

此外，在第二变形示例中，当出现从HMD100的移动量小于第二阈值的状态变化为HMD100的移动量为第二阈值或更大的状态的状态转换时，输出控制单元15进行的控制不会直接从正常输出控制切换至保持输出控制，而是在进行n次第二迁移输出控制以后切换至保持输出控制。

第二迁移输出控制使得对在虚拟图像合成单元14R、14L内生成的虚拟合成图像和选自比在虚拟图像合成单元14R、14L内生成的虚拟合成图像更早生成的虚拟合成图像中的多个虚拟合成图像进行加权平均，以生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置。

在图14的示例中，在进行第二迁移输出控制的五个帧周期中的第三帧周期（在时间T3处开始的帧周期）被设置为保持帧周期，并且在该保持帧周期内的虚拟合成图像被设置为在进行正常输出控制的帧周期（在时间T6开始的帧周期）内要输出至外部显示装置的图像。

同样，在该保持帧周期以前的帧周期（从时间T1至T3中的每个时间处开始的帧周期）内，对在该帧周期内生成的虚拟合成图像和在对应于该帧周期之前的至少一个帧周期的周期内通过虚拟图像合成单元14R、14L生成的至少一个虚拟合成图像进行加权平均处理，以生成用于外部输出的图像。

同样，在该保持帧周期之后的帧周期（在图14所示的时间T4和T5处开始的帧周期）内对在该保持帧周期内生成的虚拟合成图像（3）和在该保持帧周期之前的一个帧周期内生成的虚拟合成图像（2）进行加权平均处理，以生成用于外部输出的图像。

在n个帧周期内，各帧周期的加权系数均发生变化，以逐渐增加新的虚拟合成图像在对应于进行加权平均的目标图像的虚拟合成图像中的比例。

通过进行n次第二迁移输出控制，显示在外部输出装置上的图像不会突然从虚拟合成图像A变化为虚拟合成图像（3），而是能够逐渐从虚拟合成图像A变化为虚拟合成图像（3）。

通过这样做，可以消除由于要显示的图像从虚拟合成图像A突变为虚拟合成图像（3）而导致的不适感。

同样，当控制从保持输出控制切换至正常输出控制时所进行的控制的次数n需要是大于等于2的自然数。此外，需要将进行第二迁移输出控制的n个帧周期中的第一至第n-1个帧周期中的任何一个帧周期设置为保持帧周期。

（第三变形示例）

在下文中将参照附图15来描述图13中的T12至T16中的每个时间处HMD100的操作的变形示例，并且参照图16来描述图14中的T1至T5的每个时间处HMD100的操作的变形示例。

图15是用于解释HMD100的第三变形示例的操作的状态转换图。在图15中，除了在时间T12至T16处的状态以外的状态均与图13所示的相同。

当在时间T12处HMD100的移动量小于第二阈值时，在输出判定单元152的内部存储器内存储有保持标志，而没有存储任何保持退出进行中标志。

为此，在时间T12处开始的帧周期内，利用加权平均处理来生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第一次进行第一迁移输出控制）。

具体来说，通过将显示在HMD上的虚拟合成图像（1）与存储在图像存储单元17的“存储区域1”内的虚拟合成图像A相加，并将它们的和除以2而生成的图像B被输出至外部显示装置。

当图像B被输出至外部显示装置时，一个保持退出进行中标志被存储在输出判定单元152的内部存储器内。此外，当图像B被输出至外部显示装置时，图像B被存储在图像存储单元17的“存储区域2”内。

在下一个时间T13处，在输出判定单元152的内部存储器内存储有保持标志和一个保持退出进行中标志。

为此，在时间T13开始的帧周期内，利用加权平均处理生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第二次进行第一迁移输出控制）。

具体来说，通过将显示在HMD上的虚拟合成图像（2）和存储在图像存储单元17的“存储区域2”内的虚拟合成图像B相加，并将这些图像的和除以2而生成的图像C被输出至外部显示装置。

当图像C被输出至外部显示装置时，一个保持退出进行中标志被添加至输出判定单元152的内部存储器内。此外，当图像C被输出至外部显示装置时，图像C被覆写到图像存储单元17的“存储区域1”内。

在接下来的时间T14处，在输出判定单元152的内部存储器内存储有保持标志和两个保持退出进行中标志。

为此，在时间T14处开始的帧周期内，利用加权平均处理来生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第三次进行第一迁移输出控制）。

具体来说，通过将显示在HMD上的虚拟合成图像（3）和存储在图像存储单元17的“存储区域1”内的虚拟合成图像C相加，并将它们的和除以2而生成的图像D被输出至外部显示装置。

当图像D被输出至外部显示装置时，一个保持退出进行中标志被添加至输出判定单元152的内部存储器内。此外，当图像D被输出至外部显示装置时，图像D被覆写到图像存储单元17的“存储区域2”内。

在接下来的时间T15处，在输出判定单元152的内部存储器内存储有保持标志和三个保持退出进行中标志。

为此，在时间T15处开始的帧周期内，利用平均加权处理来生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第四次进行第一迁移输出控制）。

具体来说，通过将显示在HMD上的虚拟合成图像（4）乘以三分之二（2/3）后生成的图像和存储在图像存储装置17的“存储区域2”内的虚拟合成图像D乘以三分之一（1/3）后生成的图像相加而得到的图像E被输出至外部显示装置。

当图像E被输出至外部显示装置时，一个保持退出进行中标志被添加至输出判定单元152的内部存储器内。此外，当图像E被输出至外部显示装置时，图像E被覆写到图像存储单元17的“存储区域1”内。

在接下来的时间T16处，在输出判定单元152的内部存储器内存储有保持标志和四个保持退出进行中标志。

为此，在时间T16处开始的帧周期内，利用加权平均处理来生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第五次进行第一迁移输出控制）。

具体地讲，通过将显示在HMD上的虚拟合成图像（5）乘以四分之三（3/4）后生成的图像和存储在图像存储装置17的“存储区域1”内的虚拟合成图像E乘以四分之一（1/4）后生成的图像相加而得到的图像F输出至外部显示装置。

当图像F被输出至外部显示装置时，一个保持退出进行中标志被添加至输出判定单元152的内部存储器内。此外，当图像F被输出至外部显示装置时，存储在图像存储单元17的“存储区域2”内的图像D被清除。

在接下来的时间T17处，在输出判定单元152的内部存储器内存储有保持标志和五个保持退出进行中标志。

为此，显示在HMD上的虚拟合成图像（6）被覆写到图像存储器17的“存储区域1”内，并且虚拟合成图像（6）被输出至外部显示装置（进行了正常输出控制）。

当虚拟合成图像（6）被输出至外部显示装置时，存储在输出判定单元152的内部存储器内的所有保持标志和保持退出进行中标志被清除。为此，在时间T17后，显示在HMD上的虚拟合成图像如实地被直接输出至外部显示装置。

图16是用于解释HMD100的第三变形示例的操作的状态转换图。在图16中，除了在时间T1至T5处的状态以外的状态都与图14中的相同。

当在时间T1处HMD100的移动量为第二阈值或更大时，在输出判定单元152的内部存储器内没有存储保持标志和任何保持进入进行中标志。

为此，在T1开始的帧周期内，利用加权平均处理生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第一次进行第二迁移输出控制）。

具体来说，通过将显示在HMD上的虚拟合成图像（1）与存储在图像存储单元17的“存储区域1”内的虚拟合成图像A相加，并将这些图像的和除以2而生成的图像B被输出至外部显示装置。

当图像B被输出至外部显示装置时，一个保持进入进行中标志被存储在输出判定单元152的内部存储器内。此外，当图像B被输出至外部显示装置时，图像B被存储在图像存储单元17的“存储区域2”内。

在下一个时间T2处，在输出判定单元152的内部存储器内存储有一个保持进入进行中标志。

为此，在时间T2开始的帧周期内，利用加权平均处理生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第二次进行第二迁移输出控制）。

具体来说，通过将显示在HMD上的虚拟合成图像（2）和存储在图像存储单元17的“存储区域2”内的图像B相加，并将这些图像的和除以2而生成的图像C被输出至外部显示装置。

当图像C被输出至外部显示装置时，一个保持进入进行中标志被添加至输出判定单元152的内部存储器内。此外，当图像C被输出至外部显示装置时，图像C被覆写到图像存储单元17的“存储区域1”内。

在接下来的时间T3处，在输出判定单元152的内部存储器内存储有两个保持进入进行中标志。

为此，在时间T3处开始的帧周期内，利用加权平均处理来生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第三次进行第二迁移输出控制）。

具体来说，通过将显示在HMD上的虚拟合成图像（3）和存储在图像存储单元17的“存储区域1”内的图像C相加，并将它们的和除以2而生成的图像D被输出至外部显示装置。

当图像D被输出至外部显示装置时，一个保持进入进行中标志被添加至输出判定单元152的内部存储器内。此外，当图像D被输出至外部显示装置时，虚拟合成图像（3）被存储在图像存储单元17的“存储区域2”内。

在接下来的时间T4处，在输出判定单元152的内部存储器内存储三个保持进入进行中标志。

为此，在时间T4处开始的帧周期内，利用加权平均处理来生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第四次进行第二迁移输出控制）。

具体来说，通过将存储在图像存储装置17的“存储区域1”内的虚拟合成图像C乘以四分之一（1/4）后生成的图像和存储在图像存储装置17的“存储区域2”内的虚拟合成图像（3）乘以四分之三（3/4）后生成的图像相加而生成的图像E被输出至外部显示装置。

当图像E被输出至外部显示装置时，一个保持进入进行中标志被添加至输出判定单元152的内部存储器内。

在接下来的时间T5处，在输出判定单元152的内部存储器内存储有四个保持进入进行中标志。

为此，在时间T5处开始的帧周期内，利用加权平均处理来生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置（第五次进行第二迁移输出控制）。

具体来说，通过将存储在图像存储单元17的“存储区域1”内的虚拟合成图像C乘以八分之一（1/8）后生成的图像和存储在图像存储装置17的“存储区域2”内的虚拟合成图像（3）乘以八分之七（7/8）后生成的图像相加而生成的图像F被输出至外部显示装置。

当图像F被输出至外部显示装置时，一个保持进入进行中标志被添加至输出判定单元152的内部存储器内。此外，当图像F被输出至外部显示装置时，存储在“存储区域1”内的数据被清除。

在接下来的时间T6处，在输出判定单元152的内部存储器内存储有五（等于n）个保持进入进行中标志。

为此，在时间T6开始的帧周期内，存储在图像存储单元17的“存储区域2”内的虚拟合成图像（3）被输出至外部显示装置（进行了保持输出控制）。

而且，在时间T6之后，外部显示装置上继续显示存储在“存储区域2”内的虚拟合成图像（3）。

在图15所示的时间T12至T16中的各时间处开始的帧周期内进行的第一迁移输出控制是这样一种控制：其使得要对在该帧周期内生成的虚拟合成图像和在该帧周期的前一个帧周期内显示在外部显示装置上的虚拟合成图像进行加权平均处理，以生成用于外部输出的图像，并将生成的用于外部输出的图像输出至外部显示装置。

根据第一迁移输出控制，在图像存储单元17内可以包括存储区域1和存储区域2这两个区域，与第二变形示例的情况相比可以减小存储器容量。

在从图16所示的时间T1至T5的每个时间处开始的帧周期内进行的第二迁移输出控制是这样一种控制：其使得对在该帧周期内生成的虚拟合成图像、在该帧周期之前的前一个帧周期内生成的前一个虚拟合成图像和选自在该帧周期之前的帧周期内输出至外部显示装置的虚拟合成图像中的多个虚拟合成图像进行加权平均处理，以生成用于外部输出的图像，并将用于外部输出的图像输出至外部显示装置。

在图16的示例中，输出控制单元15将在进行第二迁移输出控制过程中的n个帧周期中的第三帧周期（在时间T3处开始的帧周期）设置为保持帧周期，并且在该保持帧周期及其之前的帧周期（从时间T1至T3中的每处开始的帧周期）内，对在该帧周期内生成的虚拟合成图像和在该帧周期之前的前一帧周期内输出至外部显示装置的虚拟合成图像进行加权平均，以生成用于外部输出的图像。此外，在该保持帧周期之后的帧周期（在时间T4和T5中的每个时间处开始的帧周期）内，输出控制单元15对在该保持帧周期内生成的虚拟合成图像和在该保持帧周期之前的前一个帧周期内输出至外部显示装置的虚拟合成图像进行加权平均，以生成用于外部输出的图像。

此外，在该保持帧周期之后的帧周期内，加权系数对于每个帧周期都发生变化，使得虚拟合成图像（3）包含在用于外部输出的图像中的比例随着帧周期趋近于进行正常输出控制的帧周期而增大。

根据进行n次的第二迁移输出控制，图像存储单元17内可以存在存储区域1和存储区域2这两个区域，比第二变形示例的情况进一步减小了存储器容量。

此外，同样在第三变形示例中，当控制从保持输出控制切换至正常输出控制时进行的第二迁移输出控制的次数（n）需要设置为大于等于2的自然数，并且需要将进行第二迁移输出控制的n个帧周期中的第一至第n-1个帧周期中的任何一个帧周期设置为保持帧周期。

如上所述，在本说明书中公开了以下事项。

公开的具有针对每个帧周期捕获图像的图像捕获单元的增强现实感提供设备包括：全局坐标计算单元，其根据利用图像捕获单元的图像捕获而得到的现实图像，计算出指示在全局坐标系内虚拟对象被要求叠加在的位置，该全局坐标系定义了与现实世界相对应的虚拟空间；虚拟图像合成单元，其使用从全局坐标计算单元计算出的全局坐标，生成合成了虚拟对象图像与现实图像的虚拟合成图像；显示单元，其显示现实图像和虚拟合成图像中的任何一个图像；移动量检测单元，其检测增强现实感提供设备的移动量；以及输出控制单元，在通过全局坐标计算单元计算出的全局坐标的可靠度为第一阈值或更大且通过移动量检测单元检测到的移动量小于第二阈值的帧周期（在下文中，称为第一帧周期）内，该输出控制单元进行正常输出控制，使得在第一帧周期内通过虚拟图像合成单元生成的虚拟合成图像被输出至设置在外部的外部显示装置，并且在全局坐标的可靠度变为低于所述第一阈值或所述移动量变为大于第二阈值的帧周期（在下文中，称为第二帧周期）内，输出控制单元进行保持输出控制，使得在第二帧周期之前的帧周期内已由虚拟图像合成单元生成且存储的前一个虚拟合成图像被输出至设置在外部的外部显示装置。

在公开的增强现实感提供设备中，当已从第二帧周期迁移至第一帧周期时，在转换后执行的帧周期中的包括紧接着转换之后的一个帧周期在内的至少一个连续的帧周期中的每个帧周期内，输出控制单元进行控制，使得通过对从虚拟图像合成单元生成的虚拟合成图像和在第二帧周期内输出至外部显示装置的虚拟合成图像进行加权平均处理而得到的图像被输出至外部显示装置，并且进行所述控制之后，在所述至少一个帧周期之后的帧周期内进行正常输出控制。

在公开的增强现实感提供设备中，随着帧周期趋近至少一个帧周期之后的帧周期，输出控制单元增大要进行加权平均处理且从所述虚拟图像合成单元生成的目标虚拟合成图像的加权系数。

在公开的增强现实感提供设备中，当已从第二帧周期迁移至第一帧周期时，在转换后进行的帧周期中的包括紧接着转换之后的一个帧周期在内的多个连续的帧周期中的每个帧周期内，输出控制单元进行控制，使得通过对从虚拟图像合成单元生成的虚拟合成图像和在该帧周期之前的至少一个帧周期中的每个帧周期内通过虚拟图像合成单元生成的至少一个虚拟合成图像进行加权平均而得到的图像被输出至外部显示装置，并且进行所述控制之后，在所述多个帧周期之后的帧周期内进行正常输出控制。

在公开的增强现实感提供设备中，输出控制单元针对每个帧周期改变加权平均处理期间的加权系数，使得逐渐增大被包括在加权平均处理后的图像内并且生成时间较新的虚拟合成图像的比例。

在公开的增强现实感提供设备中，当已从第一帧周期迁移至可靠度为第一阈值或更大且所述移动量为第二阈值或更大的帧周期时，在转换后的帧周期中的包括紧接着转换之后的一个帧周期在内的多个连续的帧周期之后的帧周期内，输出控制单元进行保持输出控制，在保持输出控制中，在所述多个帧周期中的除了最后一个帧周期之外的帧周期中的任何一个帧周期（在下文中，称为第三帧周期）内，从虚拟图像合成单元生成的虚拟合成图像被输出至外部显示装置，在所述多个帧周期中的第三帧周期之前的帧周期内，通过对从虚拟图像合成单元生成的虚拟合成图像和在所述帧周期之前的至少一个帧周期中的每个帧周期内通过所述虚拟图像合成单元生成的至少一个虚拟合成图像进行加权平均处理而得到的图像被输出至外部显示装置，并且在第三帧周期之后的帧周期内，通过对在第三帧周期内从虚拟图像合成单元生成的虚拟合成图像和在第三帧周期的前一帧周期内从虚拟图像合成单元生成的虚拟合成图像进行加权平均处理而得到的图像被输出至外部显示装置。

在公开的增强现实感提供设备中，当已从第二帧周期迁移至第一帧周期时，在转换后执行的帧周期中的包括紧接着转换之后的一个帧周期的多个连续的帧周期中的每个帧周期内，输出控制单元进行控制，使得通过对从虚拟图像合成单元生成的虚拟合成图像和在所述帧周期的前一帧周期内输出至外部显示装置的虚拟合成图像进行加权平均处理而得到的图像被输出至外部显示装置，并且在进行了所述控制后，在所述多个帧周期后的帧周期内，输出控制单元进行正常输出控制。

在公开的增强现实感提供设备中，当已从第一帧周期迁移至可靠度为第一阈值或更大且移动量为第二阈值或更大的帧周期时，在转换后的帧周期中的包括紧接着转换之后的一个帧周期在内的多个连续的帧周期之后的帧周期内，输出控制单元进行保持输出控制，在保持输出控制中，在所述多个帧周期中的除了最后一个帧周期之外的帧周期中的任何一个帧周期（在下文中，称为第三帧周期）内，从虚拟图像合成单元生成的虚拟合成图像被输出至外部显示装置，在所述多个帧周期中的第三帧周期之前的一个帧周期内，通过对从虚拟图像合成单元生成的每个帧周期的虚拟合成图像和在所述帧周期的前一个帧周期内输出至所述外部显示装置的图像进行加权平均处理而得到的图像被输出至外部显示装置，并且在第三帧周期之后的帧周期内，通过对在第三帧周期内从虚拟图像合成单元生成的虚拟合成图像和在第三帧周期的前一帧周期内输出至外部显示装置的虚拟合成图像进行加权平均处理而得到的图像被输出至外部显示装置。

在公开的增强现实感提供设备中，输出控制单元为每个帧周期改变在第三帧周期之后的帧周期内进行的加权平均处理时的加权系数，使得逐渐增大在第三帧周期内从虚拟图像合成单元生成并且被包括在加权平均处理后生成的图像内的虚拟合成图像的比例。

工业实用性

根据本发明，可以提供能够防止第三方的图像晕动病和增强现实感降低的增强现实感提供设备。

尽管已经参照具体的实施例对本发明进行了详细描述，但对本领域的技术人员显而易见的是，可以在不偏离本发明的精神和范围的情况下做出各种修改或更正。

本申请要求于2010年11月9日在日本提交的专利申请No.2010-251304的优先权，其所有内容通过引用方式并入本文。

附图标记列表

100 HMD

3R、3L 显示单元

11  位置测定单元

16  角速度传感器

Claims (9)

1.一种增强现实感提供设备，其配备有针对每个帧周期捕获图像的图像捕获单元，所述增强现实感提供设备包括：

全局坐标计算单元，其根据利用所述图像捕获单元进行图像捕获而得到的现实图像，计算指示在全局坐标系内虚拟对象被要求叠加在的位置的全局坐标，该全局坐标系定义了与现实世界相对应的虚拟空间；

虚拟图像合成单元，其使用从所述全局坐标计算单元计算出的全局坐标，生成其中合成了虚拟对象图像与所述现实图像的虚拟合成图像；

显示单元，其显示所述现实图像和所述虚拟合成图像中的任何一个图像；

移动量检测单元，其检测所述增强现实感提供设备的移动量；以及

输出控制单元，

在通过所述全局坐标计算单元计算出的全局坐标的可靠度为第一阈值或更大且通过所述移动量检测单元检测到的移动量小于第二阈值的第一帧周期内，该输出控制单元进行正常输出控制，使得在所述第一帧周期内通过所述虚拟图像合成单元生成的虚拟合成图像被输出至设置在外部的外部显示装置，并且

在所述全局坐标的可靠度变为低于所述第一阈值或所述移动量变为大于所述第二阈值的第二帧周期内，所述输出控制单元进行保持输出控制，使得在第二帧周期之前的帧周期内已由所述虚拟图像合成单元生成且存储的在前虚拟合成图像被输出至设置在外部的外部显示装置。

2.如权利要求1所述的增强现实感提供设备，

其中，当已从所述第二帧周期迁移至所述第一帧周期时，在转换后执行的帧周期中的包括紧接着转换之后的一个帧周期在内的至少一个连续的帧周期中的每个帧周期内，所述输出控制单元进行控制，使得通过对从所述虚拟图像合成单元生成的虚拟合成图像和在第二帧周期内输出至所述外部显示装置的虚拟合成图像进行加权平均处理而得到的图像被输出至所述外部显示装置，并且进行所述控制之后，在至少一个帧周期之后的帧周期内进行正常输出控制。

3.如权利要求2所述的增强现实感提供设备，

其中，随着帧周期趋近至少一个帧周期之后的帧周期，所述输出控制单元增大要进行加权平均处理的且从所述虚拟图像合成单元生成的目标虚拟合成图像的加权系数。

4.如权利要求1所述的增强现实感提供设备，

其中，当已从所述第二帧周期迁移至所述第一帧周期时，在转换后执行的帧周期中的包括紧接着转换之后的一个帧周期在内的多个连续帧周期中的每个帧周期内，所述输出控制单元进行控制，使得通过对从所述虚拟图像合成单元生成的虚拟合成图像和在该帧周期之前的至少一个帧周期中的每个帧周期内通过所述虚拟图像合成单元生成的至少一个虚拟合成图像进行加权平均而得到的图像被输出至所述外部显示装置，并且进行所述控制之后，在所述多个连续的帧周期之后的帧周期内进行正常输出控制。

5.如权利要求4所述的增强现实感提供设备，

其中，所述输出控制单元针对每个帧周期改变加权平均处理期间的加权系数，使得逐渐增大生成时间较新的虚拟合成图像在加权平均处理后的图像内所占的比例。

6.如权利要求1、4或5所述的增强现实感提供设备，

其中，当已从所述第一帧周期迁移至所述可靠度为第一阈值或更大且所述移动量为第二阈值或更大的帧周期时，在转换后的帧周期中的包括紧接着转换之后的一个帧周期在内的多个连续的帧周期之后的帧周期内，所述输出控制单元进行保持输出控制，

在所述保持输出控制中，在第三帧周期内从所述虚拟图像合成单元生成的虚拟合成图像被输出至外部显示装置，其中所述第三帧周期是所述多个连续的帧周期中除了最后一个帧周期之外的任意一个帧周期，

在所述多个连续的帧周期中的所述第三帧周期之前的帧周期内，通过对从所述虚拟图像合成单元生成的虚拟合成图像和在所述帧周期之前的至少一个帧周期中的每个帧周期内通过所述虚拟图像合成单元生成的至少一个虚拟合成图像进行加权平均处理而得到的图像被输出至所述外部显示装置，并且

在所述第三帧周期之后的帧周期内，通过对在所述第三帧周期内从所述虚拟图像合成单元生成的虚拟合成图像和在所述第三帧周期的前一帧周期内从虚拟图像合成单元生成的虚拟合成图像进行加权平均处理而得到的图像被输出至所述外部显示装置。

7.如权利要求1所述的增强现实感提供设备，

其中，当已从所述第二帧周期迁移至所述第一帧周期时，在转换后执行的帧周期中的包括紧接着转换之后的一个帧周期的多个连续的帧周期中的每个帧周期内，所述输出控制单元进行控制，使得通过对从所述虚拟图像合成单元生成的虚拟合成图像和在所述帧周期的前一帧周期内输出至外部显示装置的虚拟合成图像进行加权平均处理而得到的图像被输出至所述外部显示装置，并且在进行了所述控制后，在所述多个连续的帧周期后的帧周期内，所述输出控制单元进行正常输出控制。

8.如权利要求1或7所述的增强现实感提供设备，

其中，当已从所述第一帧周期迁移至可靠度为第一阈值或更大且移动量为第二阈值或更大的帧周期时，在转换后的帧周期中的包括紧接着转换之后的一个帧周期在内的多个连续的帧周期之后的帧周期内，所述输出控制单元进行保持输出控制，

在所述保持输出控制中，在第三帧周期内从所述虚拟图像合成单元生成的虚拟合成图像被输出至所述外部显示装置，其中所述第三帧周期是所述多个连续的帧周期中除了最后一个帧周期之外的任意一个帧周期，

在所述多个连续的帧周期中的所述第三帧周期之前的帧周期内，通过对从所述虚拟图像合成单元针对每个帧周期生成的虚拟合成图像和在所述帧周期的前一个帧周期内输出至所述外部显示装置的图像进行加权平均处理而得到的图像被输出至所述外部显示装置，并且

在所述第三帧周期之后的帧周期内，通过对在所述第三帧周期内从所述虚拟图像合成单元生成的虚拟合成图像和在所述第三帧周期的前一帧周期内输出至所述外部显示装置的虚拟合成图像进行加权平均处理而得到的图像被输出至所述外部显示装置。

9.如权利要求8所述的增强现实感提供设备，

其中，所述输出控制单元针对每个帧周期改变在所述第三帧周期之后的帧周期内进行的加权平均处理时的加权系数，使得逐渐增大在所述第三帧周期内从所述虚拟图像合成单元生成的虚拟合成图像在所述加权平均处理后生成的图像内所占的比例。