CN108353154B - 投影仪、影像显示装置以及影像显示方法 - Google Patents

Abstract

在使用投影仪来与立体物的形状相匹配地对影像进行投影的情况下，从投影仪投影网格等图案并用摄像机进行摄影，通过计算投影对象的位置、形状，能够对投影影像进行适当的几何变换。但是，当在影像内容显示过程中重叠投影网格时，对于观察影像的人也能够看到网格，所以存在无法在影像内容显示过程中进行投影对象的位置、形状的计算这样的课题。为了解决上述课题，利用色轮的颜色的表现方法的自由度以及颜色冗余性，将人的眼睛看不到的不可见图案嵌入到影像中，并且使用摄像机来与色轮的旋转同步地对影像进行摄影，从而能够识别嵌入的不可见图案。

Description

投影仪、影像显示装置以及影像显示方法

技术领域

本发明涉及投影仪、影像显示装置以及影像显示方法，特别涉及用于投影对象物的形状认识等的向投影影像的不可见图案重叠。

背景技术

近年来，如下被称为所谓的投影映射的技术得到重视：针对放置于真实世界的物体，使用投影仪等影像显示装置来投影影像。

当使用该技术时，不仅能够针对与投影仪正对的平面的屏幕投影影像，还能够针对与投影仪不正对而具有角度地放置的屏幕、具有凹凸的物体等投影影像。在屏幕等投影对象未正对投影仪的情况、即投影仪的光轴与投影对象面未以直角相交的情况下，在被投影的影像中产生几何学上的失真。例如在以使屏幕的上边靠近投影仪并使下边远离投影仪的方式设置屏幕的情况下，当从投影仪投影正方形的影像时，产生正方形的上边被投影得比下边短的所谓的梯形失真。实际上不仅在上下方向上产生这种现象，在左右方向上也产生同样的现象，所以从投影仪投影的正方形的影像可能被投影成没有平行的边的失真的四边形。

在该情况下，以消除该失真的方式对预先投影的影像施加反向的几何校正，从而能够正确地显示成正方形。该几何校正(几何变换)被称为透视变换或者投射变换，能够通过矩阵计算来实现。

为了计算该矩阵，需要通过某些手段来获取投影对象物的形状、位置的信息。

用于实现上述技术的一个方法记载于日本特开2005-37771号公报(专利文献1)。在专利文献1中，利用红外光从投影仪投影网格，利用红外摄像机进行摄影，从而获取到投影对象的形状。

现有技术文献

专利文献

专利文献1：日本特开2005-37771号公报

发明内容

在专利文献1中，在作为光调制元件而使用了单板式的微镜阵列的投影仪中，将仅使红外光通过的区域设置于色轮，从而实现了网格等不可见图案的投影。但是，为了实现本发明，需要搭载专用的色轮，所以在成本上是不利的，而且在不进行图案投影的情况下，色轮上的红外光区域也成为无法用于影像显示的期间，所以存在成为使投影影像的亮度下降的主要原因的课题。

为了解决上述课题，关于本发明，举出其一个例子，是一种投影仪，将输入影像分解为多个颜色分量的影像，通过将各颜色分量的影像分时投影到投影对象物的相同的位置，从而在投影对象物的表面光学地合成多个颜色分量的影像并对输入影像进行彩色显示，上述投影仪具备：光源；色轮，通过仅使与来自光源的光的各颜色分量对应的波长的光分时通过；光调制设备，根据被供给的颜色分量影像对通过了色轮的光源的光进行调制；透镜，将由光调制设备调制后的光投射到投影对象物；投影影像生成电路，将输入影像分解为多个颜色分量的影像，在与色轮的动作同步的定时供给到光调制设备，颜色分量包括作为三原色的RGB这3个分量以及除了RGB以外的颜色分量中的至少1个分量，在投影影像生成电路中，构成为将第1重叠影像图案重叠于除了RGB以外的颜色分量的影像，并且将当在时间方向上进行了平均时在所述投影对象物的表面上以抵消第1重叠影像图案的方式生成的第2重叠影像图案重叠于RGB的各颜色分量影像。

根据本发明，能够直接利用使用了微镜阵列的投影仪的色轮，使用一般的可见光摄像机来进行不可见图案的投影和识别。

附图说明

图1是实施例1中的影像投影系统的结构图。

图2A是作为实施例1的前提的RGB色轮的结构图。

图2B是实施例1中的RGBW色轮的结构图。

图3是嵌入有实施例1中的不可见图案的影像序列的例子。

图4是将图3中的标记周边进行放大后的图。

图5是示出实施例1中的不可见图案嵌入前的亮度分布的图。

图6是示出实施例1中的不可见图案嵌入后的亮度分布的图。

图7是嵌入有实施例1中的网格图案的影像序列的例子。

图8是实施例2中的RGBCMY的色轮结构图。

图9是示出实施例2中的不可见图案嵌入前的亮度分布的图。

图10是示出实施例2中的不可见图案嵌入后的亮度分布的图。

图11是实施例3中的场景0中的网格图案嵌入例子。

图12是实施例3中的场景1中的网格图案嵌入例子。

图13是使用了实施例4中的多台投影仪的多投影仪投影的例子。

图14是将图13的重合区域的一部分进行扩大后的图。

图15是示出实施例5中的被编码的图案的嵌入例子的图。

图16是示出实施例6中的定时不同的干扰图案嵌入例子的图。

图17是示出实施例6中的定时不同的干扰图案嵌入定时的例子的图。

附图标记说明

1：投影仪；2：投影对象物；3：影像分割机；4：屏幕；5：输入影像；6：控制总线；7：控制用PC；10：光源；11：色轮；12：光调制设备；13：透镜；14：投影影像；20：投影影像生成电路；21：帧缓冲器；22：子帧化电路；23：图案合成电路；24：几何变换电路；30：摄像机；31：图案检测电路；32：参数计算电路；40：定时生成电路；41：总线I/F电路；42：控制微机；100：R子帧；101：G子帧；102：B子帧：103：W子帧；110～113：标记；120～123：网格；70：输入影像(整体)；71：分割后影像(左侧)；72：分割后影像(右侧)；73：投影仪A投影影像；74：投影仪B投影影像；400：由投影仪A重叠的不可见标记；401：由投影仪B重叠的不可见标记。

具体实施方式

以下，使用附图，说明本发明的实施例。

实施例1

图1是示出本实施例中的影像投影系统的结构例的图。在图1中，1为投影仪，在对输入影像5进行了影像处理之后，投影到投影对象物2。在本实施例中，关于投影对象物2，不仅设想是通常的平面屏幕，还设想是如立方体、人体模型那样的立体的物体的情况，投影仪1在使输入影像5以与投影对象物2的形状一致的方式变形之后投影到投影对象物2的表面上。

接下来，说明投影仪1的内部结构。在本实施例中投影仪的影像投影部是以使用了单板式的微镜阵列的投影仪为基础的构造，关于没有特别记载的部分，是与使用了单板式的微镜阵列的投影仪相同的构造及动作。10为光源，从光源10发出的光在通过了色轮11之后，被光调制设备12实施与投影影像14相应的调制，经由透镜13投影到投影对象物2。光调制设备12是在二维平面铺设极小的镜子而成的构造，各个镜子是其朝向根据构成投影影像14的各像素的值而能改变的构造，与各像素值相应的量的光被投影到投影对象物2。

在本实施例中，输入影像由RGB这3原色构成，但在仅搭载有1个光调制设备12的单板结构的投影仪中，无法同时调制影像中的多个颜色分量。因此，针对各颜色分量的每个颜色分量分时地进行处理，从而实现了彩色影像的投影。即，在光源10与光调制设备12之间配置高速地旋转的色轮11，分时地将RGB各分量的影像投影到投影对象物2，从而实现彩色显示。

首先，考虑使用如图2A所示的RGB色轮11a作为色轮11的情况。在此被记载为R的区域800是仅透射与R对应的波长的光分量并吸收G、B的区域。被记载为G、B的部分也同样地仅透射作为对象的光分量。当以使该RGB色轮在输入影像5的1帧期间正好旋转1转的方式使中心801绕轴旋转时，从光源10照射的光的RGB各分量在各1/3帧期间照射到光调制设备12。

在此，由处于投影影像生成电路20之中的子帧化电路22生成作为仅取出输入影像5的R(红色)分量的影像的R影像、仅取出G(绿色)分量的G影像、仅取出B(蓝色)分量的B影像。从1帧量的输入影像得到R影像、G影像、B影像这三张影像，所以将这些影像称为子帧。子帧化电路22具有使用帧缓冲器21将这些子帧在时间上错开而分时输出的功能。

投影影像生成电路20使从输入影像5的各帧生成的RGB三张子帧与色轮11的旋转同步地分时驱动光调制设备12。即，在色轮11为R时用R子帧的影像来驱动光调制设备12，在为G时用G子帧的影像来驱动光调制设备12，在为B时用B子帧的影像来驱动光调制设备12，从而输入影像5的R分量、G分量、B分量分时地投影到投影对象物2。人的眼睛具有在时间方向上对进入到眼睛的影像进行积分而认识的性质，所以只要子帧的切换的速度足够高，则分时投影的RGB影像就被认识为彩色影像。

当在RGB色轮中各颜色分量的投影期间相等的情况下，光源10产生的光的约1/3被用作向投影对象物2的投影光，剩余的2/3被色轮11反射、吸收而被废弃。为了减少该被废弃的光而使投影亮度变明亮，例如有使用图2B所示的RGBW的色轮11b的方法。W意味着白色光，是使所输入的光直接透射的区域。当考虑投影全白影像的情况时，在色轮为R、G、B的期间，仅利用光源光的1/3，但在W的期间，能够将光源光全部利用。其结果，在使用了RGBW的色轮的情况下，在全白影像投影时，能够利用光源光的1/2(＝1/3×3/4+1×1/4)。

在使用RGBW的色轮时，投影影像生成电路20从输入影像5生成具有作为可见光的R、G、B、W分量的投影影像14，进行分时输出。

另一方面，通过这样对色轮追加RGB三原色以外的颜色，在颜色的表现方法中产生自由度，产生颜色冗余性。例如，在使用RGBW的色轮并使RGB的像素值相等的情况下，在被调整成能够得到与同一像素值的W相同的颜色以及亮度的情况下，为了投影白色，既可以以相同的像素值投影RGB，将白色熄灭，也可以将RGB进行熄灭，仅利用白色以前述像素值进行投影。

在本实施例中，利用RGBW的色轮具有的自由度以及颜色冗余性将不可见图案重叠于影像。在此，为了简化说明，考虑在设为R∶G∶B∶W＝1∶1∶1∶0时和设为R∶G∶B∶W＝0∶0∶0∶1时以使投影对象物2上的颜色以及亮度一致的方式调整色轮11的情况。即使实际上该条件不成立，也事先施加校正像素值的处理，从而能够利用本实施例的方式。

在使用该色轮时，屏幕上的像素位置(xi，yi)的点处的RGB各分量的亮度值(Ri，Gi，Bi)与各子帧的像素值(Rp，Gp，Bp，Wp)的关系能够用以下的式子表示。

Ri＝Kr×g(Rp)+Kwr×g(Wp)...(式1a)

Gi＝Kg×g(Gp)+Kwg×g(Wp)...(式1b)

Bi＝Kb×g(Bp)+Kwb×g(Wp)...(式1c)

在此，g()为表示像素值与亮度的关系的伽马函数，通常设计成幂函数。Kr、Kg、Kb、Kwr、Kwg、Kwb为比例常数。在此，考虑使白色分量的像素值Wp减少ΔW的情况。在该情况下，能够唯一地决定满足

Ri＝Kr×g(Rp+ΔR)+Kwr×g(Wp-ΔW)...(式2a)

Gi＝Kg×g(Gp+ΔG)+Kwg×g(Wp-ΔW)...(式2b)

Bi＝Kb×g(Bp+ΔB)+Kwb×g(Wp-ΔW)...(式2c)

的ΔR、ΔG、ΔB的组。这意味着在将各子帧的像素值设为(Rp，Gp，Bp，Wp)的情况和设为(Rp+ΔR，Gp+ΔG，Bp+ΔB，Wp-ΔW)的情况下对各子帧进行分时投影而得到的投影对象物2上的影像的RGB各分量的亮度值相等。即，成为ΔR+ΔG+ΔB＝ΔW，以相互抵消的方式进行作用。在本实施例中，利用该作用将不可见图案嵌入到投影影像。

在本实施例中，以将“十”这样的字符形状的不可见标记嵌入到各子帧中的同一位置的情况为例进行说明。将该标记的纵线上的一点的坐标设为(xi，yi)。图3、图4示出该情形。图3是以时间序列在横向上排列与RGBW色轮对应的子帧影像的图。将标记110嵌入到帧N的R子帧100，将标记111嵌入到G子帧101，将标记112嵌入到B子帧102，将标记113嵌入到W子帧103。图4示出将R子帧100中的标记110周边进行放大后的图。

在此，图5、图6示出着眼于由y＝yi表示的与X轴平行的直线A上的像素，使标记周边区域的x坐标与像素值的关系图形化的图。图5是标记嵌入前的投影影像的像素值的图形，图6是标记嵌入后的投影影像的像素值的图形。坐标(xi，yi)的像素值在图5中为(Rp，Gp，Bp，Wp)，在图6中为(Rp+ΔR，Gp+ΔG，Bp+ΔB，Wp-ΔW)。各子帧被分时投影，但只要其周期足够短，则由于人的眼睛所具有的积分效果而被认识成使各子帧的亮度平均化后的影像。在该情况下，ΔR+ΔG+ΔB与ΔW抵消，标记嵌入前后的亮度都成为(Ri，Gi，Bi)，不因标记的有无而变化。即，嵌入于图3的各子帧的标记110～113成为人的眼睛看不到的不可见标记。

另一方面，当用快门速度快的摄像机30对投影到该投影对象物2的影像进行摄影时，几乎不产生积分效果，所以重叠有标记的影像被摄影。

为了更可靠地对标记进行摄影，与色轮11的旋转同步地进行摄像机摄影即可。例如，当控制成始终在W的子帧期间中进行摄像机摄影时，亮度比周围的像素相对低的标记映在摄影影像中。此外，无论R、G、B哪一个都可以在其子帧期间中进行摄像机摄影。

在摄像机的摄影影像中，以与输入影像5重叠的形式得到标记影像，所以能够利用图1所示的、图案检测电路31、参数计算电路32等对摄影影像进行解析的影像解析电路，使用图案匹配等手法来检测标记坐标。另外，当在输入影像5中包含与标记相似的图案的情况下，将重叠的标记的形状变更成其它形状，从而能够降低图案匹配的误动作。

此外，有时无法利用标记投影前的像素值来重叠标记。关于这一点在实施例3中示出应对策略。

在以上的例子中，说明了将十字的不可见标记嵌入的方法。在本实施例中嵌入的不可见图案并不限定于此，能够将任意形状的图案嵌入。例如，以下示出将网格等规则的图案嵌入的情况下的利用例子。

图7是以时间序列在横向上排列与RGBW色轮对应的子帧影像的图。在图7中，按照与前述十字标记相同的方法将格子状的网格图案重叠于各子帧。即，将网格120嵌入到帧N的R子帧100，将网格121嵌入到G子帧101，将网格122嵌入到B子帧102，将网格123嵌入到W子帧103。由此，与前述同样地，能够使观察测定对象的立体物的人看不到不需要的网格显示地对网格图案进行摄影。特别是作为进行立体物的3D测量的方法之一，有利用投影仪将网格图案、条状图案投影到测定对象物，用摄像机对其进行摄影的方法。因而，能够通过图7所示的网格图案重叠而使观察测定对象的立体物的人看不到不需要的网格显示地进行3D测量。

如上那样，在本实施例中，将人的眼睛看不到的不可见图案嵌入到影像中，并且使用摄像机来与色轮的旋转同步地对影像进行摄影，从而能够识别嵌入的不可见图案。

具体而言，一种投影仪，将输入影像分解为多个颜色分量的影像，通过将各颜色分量的影像分时投影到投影对象物的同一位置，从而在投影对象物的表面光学地合成多个颜色分量的影像而对输入影像进行彩色显示，上述投影仪具备：光源；色轮，仅使与来自光源的光的各颜色分量对应的波长的光分时通过；光调制设备，根据被供给的颜色分量影像调制通过了色轮的光源的光；透镜，将由光调制设备调制后的光投射到投影对象物；投影影像生成电路，将输入影像分解为多个颜色分量的影像，在与色轮的动作同步的定时供给到光调制设备，颜色分量包括至少1个作为三原色的RGB这3个分量以及除了RGB以外的颜色分量，在投影影像生成电路中，构成为将第1重叠影像图案重叠于除了RGB以外的颜色分量的影像，并且将当在时间方向上进行了平均时在投影对象物的表面上以抵消第1重叠影像图案的方式生成的第2重叠影像图案重叠于RGB的各颜色分量影像。

另外，一种影像显示装置，将所输入的彩色影像分割为4种颜色以上的颜色分量影像并分时进行显示，从而显示彩色影像，上述影像显示装置构成为具有影像生成电路，该影像生成电路使当将显示影像在时间方向上在1帧周期的期间平均化了时相互抵消的重叠影像图案重叠于4种颜色以上的各颜色分量影像。

另外，一种影像显示方法，将所输入的彩色影像分割为4种颜色以上的颜色分量影像并分时进行显示，从而显示彩色影像，在所述影像显示方法中，构成为使当将显示影像在时间方向上在1帧周期期间平均化了时相互抵消的图案重叠于各颜色分量影像。

由此，能够直接利用使用了微镜阵列的投影仪的色轮，使用一般的可见光摄像机来进行不可见图案的投影和识别。

实施例2

在实施例1中，以使用RGBW色轮的情况为例进行了说明，但本实施例并不限定于此，只要在各子帧的颜色分量之间具有自由度以及颜色冗余性，则即使是不同的颜色的组合的色轮也能够实现，对这点进行说明。

图8示出在本实施例中使用的RGBCMY的色轮的例子。R为红色，G为绿色，B为蓝色，CMY为各自的补色即C：青色、M：品红色、Y：黄色。这些补色能够通过将RGB进行混合而作成。例如，通过将R：红色与G：绿色进行混合，能够生成Y：黄色。利用该原理，能够与实施例1同样地将不可见图案嵌入。

首先，标记嵌入前的各子帧的像素值与亮度的关系成为如下那样。

Ri＝Kr×g(Rp)+Kcr×g(Cp)+Kmr×g(Mp)+Kyr×g(Yp) (式3a)

Gi＝Kg×g(Gp)+Kcg×g(Cp)+Kmr×g(Mp)+Kyr×g(Yp) (式3b)

Bi＝Kb×g(Bp)+Kcb×g(Cp)+Kmr×g(Mp)+Kyr×g(Yp) (式3c)

在此，(Ri，Gi，Bi)为投影对象物2上的像素位置(xi，yi)的点处的RGB各分量的亮度值，(Rp，Gp，Bp，Cp，Mp，Yp)为标记嵌入前的像素值，g()为表示像素值与亮度的关系的伽马函数，Kr、Kg、Kb、Kcr、Kcg、Kcb、Kmr、Kmg、Kmb、Kyr、Kyg、Kyb为比例常数。在此，考虑使Y分量的像素值减少ΔY。在该情况下，能够唯一地决定满足

Ri＝Kr×g(Rp+ΔR)+Kcr×g(Cp)+Kmr×g(Mp)+Kyr×g(Yp-ΔY) (式4a)

Gi＝Kg×g(Gp+ΔG)+Kcg×g(Cp)+Kmr×g(Mp)+Kyr×g(Yp-ΔY) (式4b)

Bi＝Kb×g(Bp+ΔB)+Kcb×g(Cp)+Kmr×g(Mp)+Kyr×g(Yp-ΔY) (式4c)

的ΔR、ΔG、ΔB的组。在此，B与Y处于补色关系，所以即使如式4c那样使Y分量减少ΔY，Bi也不变化。

即，ΔB成为0，所以能够仅利用R、G、Y这3个子帧将不可见标记嵌入。图9、10示出该情形。图9是标记嵌入前的投影影像的像素值的图形，图10是标记嵌入后的投影影像的像素值的图形。此外，B、C、M分量不影响到上述标记的嵌入，所以在这些图中进行了省略。

坐标(xi，yi)处的投影影像14的像素值在图9中为(Rp，Gp，Bp，Cp，Mp，Yp)，在图10中为(Rp+ΔR，Gp+ΔG，Bp，Cp，Mp，Yp-ΔY)(ΔB为0)。各子帧被分时投影，但只要其周期足够短，则由于人的眼睛具有的积分效果而被认识成使各子帧的亮度平均化后的影像。即，ΔR+ΔG与ΔY抵消，嵌入于各子帧的标记成为人的眼睛看不到的不可见标记。

另一方面，当用快门速度快的摄像机对该投影影像进行摄影时，几乎没有积分效果，所以重叠有标记的影像被摄影。为了更可靠地检测标记，与色轮的旋转同步地进行摄像机摄影即可。例如，如果控制成始终在Y的子帧期间中进行摄像机摄影，则标记影像就始终是亮度比周围的像素低的十字记号。

在该RGBCMY色轮中，不仅能够利用R、G、Y之间，还能够利用G、B、C及R、B、M之间的自由度以及颜色冗余性来将图案嵌入。当利用这种情况时，利用色轮的Y、C、M的各期间来进行摄像机摄影，从而能够在每1帧周期将3个不同的图案影像独立地嵌入。当利用该3个图案时，将每帧3比特的信息嵌入到各像素位置，所以还能够采取使用该信息对各标记分配ID来进行区分这样的使用方法。

实施例3

在此前的实施例中，以输入能够对影像中的任意的部位嵌入不可见图案的影像为前提进行了说明，但有时在实际的影像中存在不能嵌入图案的区域。这相当于在式2a～c或者式4a～c中作为伽马函数g()的参数的标记嵌入后的像素值上溢(在每1像素Nbit的像素表现中成为2^N以上)或者下溢(成为负的值)的情况。

图11示出其例子。图11是在夜空中拍摄月亮和行星的场景。在此，在如左图所示夜空的部分漆黑即全部分量的像素值为0的情况下，无法将图案嵌入到该部分。这是因为当将使用了RGBW的色轮的情况取为例子时，当针对(Rp，Gp，Bp，Wp)＝(0，0，0，0)的像素从Wp减去ΔW时，Wp成为负的值的缘故。但是，在该影像中，能够如图11的右图所示将不可见图案(在此为网格图案)嵌入到夜空以外的部分。

在此，在各颜色分量的像素值为8比特宽，能够取0～255的值的情况下，能够通过以下的式子来判定在RGBW的色轮使用时是否为由式2a～c规定的能够进行图案嵌入的区域。

0≤Rp+ΔR≤255 (式5a)

0≤Gp+ΔG≤255 (式5b)

0≤Bp+ΔB≤255 (式5c)

0≤Wp-ΔW≤255 (式5d)

式5a～d全部成立的区域为能够嵌入图案的区域。

在输入影像如动态图像那样随着时间而变化的情况下，根据式5a～d，如图11、场景不同的图12那样，将图案嵌入到针对每个场景而不同的位置，从而作为影像序列整体而能够将图案嵌入到画面整体。在投影对象物的形状、位置不随着时间变化、或者变化速度慢到可以忽略的情况下，能够这样花费时间地将图案依次嵌入到投影区域整体并使用它来进行3D测量等。

实施例4

如以上说明，只要能够将不可见标记嵌入到投影影像，就还能够在多投影仪投影中，不对投影中的影像内容造成影响地进行由于振动、投影仪的自重等影响而影像的叠加区域在设置、调整之后随着时间发生偏移的情况下的校正。关于本实施例，说明实现这一情况的例子。

图13示出了使用了本实施例中的两台投影仪的多投影仪投影的例子。在图13中，设想了使用两台投影仪A、B来将横长的影像70投影到横长的屏幕4的情况。影像分割机3从所输入的影像70切出左右两张影像71、72，送出到投影仪A、B。此时，关于影像71和影像72，以为了使接合部分不显眼而使某种程度的区域重合的方式切出。在此，投影仪A、B是与图1的投影仪1相同的内部结构，经由控制总线6而与影像分割机3、控制用PC7连接。

投影仪A、B使被输入的影像71、72如73、74那样重合于屏幕4上而投影。此时，各投影仪中的几何变换电路24进行梯形失真的校正、投影尺寸及位置的调整。

理论上，提供给几何变换电路24的几何变换参数理应在设置投影仪A、B和投影对象物2时，通过测试图案投影调整一次即可，但实际上由于投影仪的自重所致的设置角度的经时变化、振动的影响等，当时间流逝时，投影仪的投影位置逐渐偏移，所以需要定期地调整几何变换参数。

在本实施例中，通过使用在实施例1等中说明的不可见图案投影，从而不对通常的影像内容再生造成影响而实现几何变换参数的自动调整。

在几何变换中，关于4个点，只要能够获取输入影像中的该点的坐标和在应用几何变换之后的投影影像中对应的坐标，就能够通过解联立方程来求出几何变换参数。使用图14，说明使用不可见标记来实现上述情况的方法。

图14是将图13的重合区域的下方的区域75周边进行放大后的图。在图14中，标记400是由投影仪A投影的不可见标记，标记401是由投影仪B投影的不可见标记。这些标记都是被嵌入于与输入影像70中的点402相当的坐标的标记，如果影像73与影像74准确地叠加，就应该完全重叠。即，通过以使标记400与标记401一致的方式调整透视变换参数，能够使重合区域不偏移地叠加。

在本实施例中，使用搭载于投影仪A的摄像机30来对标记400和标记401进行摄影。此外，该摄像机未必需要内置于投影仪，也可以使用与控制用PC7连接的外部摄像机。在该情况下，摄影定时经由控制总线6从投影仪A送到控制用PC7，但也可以不控制摄影定时，从连续地摄影的图像之中选择能够识别标记的图像来使用。

在此，当设为从影像分割机3输出到投影仪A、B的两个影像送出定时在时钟等级下完全同步、各投影仪的内部与输入影像同步地进行动作时，投影仪A与B的色轮的相位大致一致。

其结果，当用投影仪A对标记400进行摄影时，标记401也同时被摄影。在此，当将标记400的形状设为“+”、将标记401的形状设为“×”时，能够唯一地识别摄像机影像中的两个标记从哪一个投影仪被投影。因而，利用搭载于投影仪A的控制微机42以使标记400与标记401的投影位置的距离变小的方式更新几何变换参数，进行反馈处理，从而能够使标记400与标记401的投影位置一致，使投影像73与74无偏移地叠加。

此外，即使在投影仪A与B的色轮的相位偏移的情况下，通过从多张图像检测各标记的位置，从而也能够进行同样的处理。

实施例5

在本实施例中，说明作为嵌入于投影仪的投影影像的不可见图案，投影如二维条形码那样对URL等进行了编码的图案的例子。

图15是示出本实施例中的被编码的图案的嵌入例子的图。在图15中，在如左图所示存在全黑和除了全黑以外的部分的场景中，能够如右图所示作为不可见图案而将二维条形码嵌入到不是全黑的部分。

由此，例如通过使编码后的图案成为不可见状态而嵌入到使用了投影仪的数字标牌等，能够实现仅对立在标牌的前面用智能手机等的摄像机进行摄影的人分配优惠券这样的使用方式。由于对数字标牌进行摄影的人增加，从而将摄影而得到的照片投稿到社交媒体等的人增加从而期待广告的披露增加。另外，还考虑如下用途：如果将图案仅嵌入到数字标牌影像的特定的场景的特定部位，则以如寻宝那样的游戏感觉来寻找优惠券。

在这样不特定人群对投影仪的投影影像进行摄影的情况下，在摄像机侧与色轮同步地进行摄影是非常困难的。但是，如果在摄像机侧对静止图像连续地进行摄影，则只要摄像机的摄影间隔与色轮的旋转不完全一致，在几张中就有一张左右能够获取能够识别不可见图案的影像，能够从摄影影像中的图案得到嵌入的代码。即，在摄影时在不同的定时对多张静止图像进行摄影，从多张静止图像选择易于识别嵌入图案的影像而进行嵌入图案信息的获取。

实施例6

与实施例5相反地，在由于数字标牌等影像内容中的人物的肖像权、著作权的制约等而不想将用智能手机等的摄像机对投影仪的投影影像进行摄影而得到的影像投稿到社交媒体等而扩散的情况下，通过此前叙述的方法将不可见图案作为干扰图案来嵌入也是有效的。在本实施例中，对这种情况进行说明。

图16是示出本实施例中的定时不同的干扰图案嵌入例子的图。在图16中，在如左图所示存在全黑和除了全黑以外的部分的场景中，能够如右图所示作为不可见图案而将干扰图案510～513嵌入到不是全黑的部分不同的位置。在该例子中嵌入字符，但也可以一边改变如条状那样的图案位置，一边嵌入到画面整体。

在该情况下，也与实施例5同样地无法限制用摄像机进行摄影的定时，但与能够通过进行多张摄影来选择最佳的影像而应对的实施例5不同，在本实施例中，要求当在不同的定时进行了多张摄影的情况下，干扰图案映入到所有的照片。

在本实施例中，通过在不同的定时将多个不可见图案嵌入到投影仪的投影影像的不同的位置来实现上述要求。图17示出了将这些干扰图案嵌入到不同的子帧的例子。在图17中，一边在当干扰图案510使用帧N的R、G、B、W的子帧来进行嵌入、干扰图案511使用帧N的G、B、W的子帧和帧N+1的R子帧来进行嵌入时进行的情形下依次使嵌入定时偏移，一边将嵌入位置不同的干扰图案嵌入。由此，如果快门速度高到某种程度(投影仪影像的几帧量以下)，则即使在任意定时进行摄影，都有几个干扰图案映入到照片。

此外，如果使快门速度变得足够慢，则能够使所有的嵌入图案不被摄影，但在显示影像是有活动的内容的情况下，在以慢的快门速度进行摄影而得到的照片中发生被摄体抖动而无法成为清晰的照片，所以可以说在社交媒体等中被扩散的风险低。

本发明并不限定于上述实施例，包括各种变形例。例如，上述实施例是为了易于理解地说明本发明而详细地进行说明的，未必限定于具备所说明的所有结构的例子。另外，还能够对某个实施例的结构添加其它实施例的结构。另外，能够对各实施例的一部分进行其它结构的追加、删除、置换。

另外，关于上述各结构，它们的一部分或者全部既可以由硬件构成，也可以构成为通过由处理器执行程序而实现。

Claims (9)

1.一种投影仪，将输入影像分解为多个颜色分量的影像，通过将各颜色分量的影像分时投影到投影对象物的相同的位置，从而在所述投影对象物的表面光学地合成多个所述颜色分量的影像而对所述输入影像进行彩色显示，所述投影仪的特征在于，具备：

光源；

色轮，仅使与来自所述光源的光的各颜色分量对应的波长的光分时通过；

光调制设备，根据被供给的颜色分量影像来调制通过了所述色轮的所述光源的光；

透镜，将由所述光调制设备调制后的光投射到所述投影对象物；以及

投影影像生成电路，将所述输入影像分解为多个颜色分量的影像，在与所述色轮的动作同步的定时供给到所述光调制设备，

所述颜色分量包括作为三原色的RGB这3个分量以及除了RGB以外的颜色分量中的至少1个分量，

在所述投影影像生成电路中，将第1重叠影像图案重叠于除了所述RGB以外的颜色分量的影像，并且将当将显示影像在时间方向上在1帧周期的期间进行了平均时在所述投影对象物的表面上以抵消所述第1重叠影像图案的方式生成的第2重叠影像图案重叠于RGB的各颜色分量影像。

2.根据权利要求1所述的投影仪，其特征在于，具备：

摄像机，对投影到所述投影对象物的影像进行摄影；以及

影像解析电路，解析由该摄像机摄影而得到的影像，

所述摄像机通过与所述色轮的动作同步地进行摄影，从而对除了所述RGB以外的颜色分量的影像被投影到所述投影对象物的期间的影像进行摄影，利用所述影像解析电路从摄影影像中求出所述第1重叠影像图案的投影位置。

3.根据权利要求2所述的投影仪，其特征在于，

所述投影影像生成电路使用所述第1重叠影像图案的投影位置，生成针对所述输入影像以适合于所述投影对象物的投影面的形状以及朝向的方式实施了几何变换的第2投影影像，

经由所述光调制设备和所述透镜向所述投影对象物投影所述第2投影影像。

4.根据权利要求1至3中的任意一项所述的投影仪，其特征在于，

除了所述RGB以外的颜色分量为白色或者青色、品红色、黄色中的任意颜色。

5.一种影像显示装置，将被输入的彩色影像分割为4种颜色以上的颜色分量影像并分时进行显示，从而显示彩色影像，所述影像显示装置的特征在于，

所述4种颜色以上的颜色分量是RGB这三原色以及通过使用RGB的颜色能够表现RGB以外的颜色的白色、青色、品红色或黄色中的至少一种，

所述影像显示装置具有生成在1帧期间各颜色的颜色分量影像按照子帧被依次显示的影像的影像生成电路，该影像生成电路在1帧期间使在显示RGB的至少一个颜色分量影像的子帧中与重叠影像图案对应的部分的颜色分量影像的像素值增加，并在该1帧期间使所述RGB以外的颜色的颜色分量影像的与所述重叠影像图案对应的部分的像素值减少，当在该1帧中将颜色分量影像平均化了时，以使在与所述重叠影像图案对应的部分中增加的颜色的像素值和在与所述重叠影像图案对应的部分中减少的颜色的像素值相互抵消的方式生成影像。

6.根据权利要求5所述的影像显示装置，其特征在于，具备：

摄像机，对显示的所述彩色影像进行摄影；以及

影像解析电路，解析由该摄像机摄影而得到的影像，

所述摄像机通过与所述1帧的周期同步地进行摄影，对重叠有所述重叠影像图案的颜色分量影像进行摄影，从由所述影像解析电路摄影而得到的影像求出所述重叠影像图案的重叠位置。

7.根据权利要求6所述的影像显示装置，其特征在于，

所述影像生成电路使用所述重叠影像图案的重叠位置，生成针对被输入的所述彩色影像实施了几何变换的显示影像。

8.根据权利要求6所述的影像显示装置，其特征在于，

被输入的所述彩色影像构成内容随着时间而变化的一连串的影像序列，

所述影像生成电路在各影像中确定适合于所述重叠影像图案的重叠的区域，对适合于所述重叠的区域重叠所述重叠影像图案，

所述影像解析电路进行在重叠有所述重叠影像图案的区域求出所述重叠影像图案的重叠位置的处理，

通过针对所述影像序列整体依次实施该处理，获取影像显示区域整体的重叠影像图案。

9.根据权利要求5所述的影像显示装置，其特征在于，

在显示影像中嵌入改变了重叠位置和重叠期间的多个重叠影像图案，从而不论对显示影像进行摄影的定时如何，所述多个重叠影像图案中的至少1个以上的重叠影像图案都被包含于被摄影的影像。

Images